CN101834981A - 基于在线聚类的视频背景提取方法 - Google Patents

Abstract

本发明公开了一种基于在线聚类的视频背景提取方法，对视频训练帧中的每个像素点采用聚类方法提取背景灰度值，其特征在于：以视频第一帧中灰度值初始化第一个聚类；通过比对自适应更新阈值并进行聚类，最终统计各聚类的元素数目获得背景值。本方法鲁棒性较强，对各种不同视频无需事先设定任何参数即可提取出较优的视频背景，为检测运动目标打下良好的基础。本方法在聚类的过程中聚类阈值进行自适应的更新，逐渐向前后帧背景相差较大的趋势发展。阈值的逐渐增大抑制了聚类数目的增加，同时加快了聚类的收敛速度。这种阈值的动态更新对不同的视频具有良好的自适应性，避免了传统聚类方法使用固定阈值造成的不良背景提取。

Description

基于在线聚类的视频背景提取方法

技术领域

本发明涉及一种视频背景提取的方法，尤其涉及一种快速的、鲁棒性较强的基于自适应在线聚类的背景提取方法，属于运动目标检测领域。

背景技术

视频背景提取是运动目标检测和分割的基础。由于视频存在运动物体视觉目标本身及周边环境复杂多变，因此获得鲁棒而高效的背景提取方法目前仍旧是计算机视觉中一个极具挑战性的研究课题。

视频中运动目标的检测和分割是计算机视觉领域的基础课题。常用的运动目标检测方法有光流法、帧差法和背景差分法等。背景差分法由于其能够完整地分割出运动对象，并且在背景构建好之后能实现实时的运动检测，因而被广泛应用于视频监视、交通自动监控等场合。背景差分法主要由背景提取，运动检测，背景更新三部分构成，其中背景提取是背景差分效果好坏的基础。其中，一种常用的背景提取方法是基于聚类的方法。

使用聚类方法提取视频背景基于一个合理的假设“在一段视频中，背景总是以较大的频率出现”。图2显示了某视频中两个不同像素点在100帧中的灰度值变化情况。其中pixel1是没有受到前景目标影响的点，pixel2是受到前景运动目标影响的像素点。理想情况下，一段时间内任何像素点的灰度值应是一个恒定的值，但如图2中pixel1所示，由于受到各种噪声的干扰，像素灰度值会在恒定值附近小幅度地波动；而在pixel2中，由于前景运动目标的出现，像素灰度值会发生相对较大的变化，但是变化持续时间较短，随着运动目标离开该像素点，该像素灰度值又回归到稳定的灰度值处小幅波动。这个较稳定的灰度值即可被用来代表该像素点的背景值。因此，通过聚类方法对每个像素点一段时间内的若干个灰度值进行聚类，将波动幅度较小的灰度值聚成一类，即可得到该像素点的背景值，而该聚类必然对应着包含元素数目最多的灰度类。

传统的聚类方法如使用C-均值聚类(K-均值聚类)来提取背景。这种聚类方法对每个像素维护三个动态三元组用以记录像素值在整个训练视频中的变化并进行K均值聚类来实现背景提取。但是以上方法没有考虑到K-均值聚类在提取视频背景应用中的局限性：必须预先设定聚类数目。肖梅、韩崇昭等人提出对像素点灰度值使用在线聚类(最简单的相似性尺度阈值方法)来提取背景，并通过选取频率超过一定阈值的聚类来进行背景值的设定，解决了预先给定聚类数目的局限性，同时也避免了大量像素值的预先存储。但此方法仍然需要人工设定两种阈值，对不同视频不能自适应地实现背景提取。

发明内容

本发明的目的是提供一种基于自适应在线聚类的背景提取方法，其采用的在线聚类算法，能够使用自适应更新的聚类阈值对视频像素进行在线聚类，通过使阈值不断向优化算法效果的方向发展，克服普通聚类方法需要人工设定各种阈值，对不同视频缺乏自适应性的缺点。

为了达到以上目的，本发明的总体构思是，在现有各类聚类方法的基础上，对聚类方法提取视频背景时存在两个关键参数：聚类数目和聚类阈值的选取进行改进。提出一种自适应在线聚类方法，能够使用自适应更新的聚类阈值对视频像素进行在线聚类。通过使聚类数目和聚类阈值不断向优化算法效果的方向发展，克服了普通聚类方法需要人工设定各种阈值，对不同视频缺乏自适应性的缺点。

本发明采用的技术方案是：一种基于在线聚类的视频背景提取方法，采用聚类方法实现，对一段视频训练帧，以像素点的灰度值为聚类分类依据，分别提取每个像素点的背景灰度值，视频训练帧的帧数为N，N≥30，对视频训练帧中的每个像素点，分别按下列步骤处理：

[1]取视频第一帧，以帧中灰度值初始化第一个聚类，并同时初始化聚类中心和类中包含的元素数目，第一帧中该像素点的灰度值即为第一个聚类的聚类中心，初始的元素数目为1，初始的聚类阈值为0；

[2]依次取视频的第t帧，1＜t≤N，每次进行如下两步操作：

[2-1]更新阈值：在当前帧和前一帧所有对应像素灰度差值的绝对值中找到最大的，与上一轮的聚类阈值进行比较，取其中大的一个作为本一轮的聚类阈值；

[2-2]聚类：计算在第t帧中该像素灰度值与已存在的各灰度类聚类中心之间的距离，寻找距离最近的灰度类类别；进一步判断最近距离与聚类阈值的关系，如果最近距离的绝对值小于聚类阈值，则该像素灰度值被归入该灰度类聚聚类中，并对该灰度类聚类中的所有灰度值求算术平均值，作为该灰度类聚类的新的聚类中心；如果最近距离的绝对值大于聚类阈值，则创建一个新的灰度类聚类，并进行初始化：以该像素在第t帧的灰度作为新聚类的聚类中心，同时定义新聚类的数目为1；

[3]统计各聚类的元素数目，用包含元素数目最多的聚类的聚类中心作为该像素点的当前背景值。

上文中，视频训练帧的帧数N可以根据情况设定，但帧数过少可能造成背景提取效果变差，帧数过多会造成计算量的增大，本领域技术人员可以根据实际效果情况选择，优选的技术方案，N为50至150之间的整数。

上述技术方案中，所述步骤[1]中，设第t个视频帧为F_t，像素点(x，y)的灰度值为I_i(x，y)。C_i(x，y)表示第i个聚类的聚类中心，m_i(x，y)是第i个聚类包含的元素数目，初始化聚类阈值α为0。

帧中灰度值初始化第一个聚类，并同时初始化聚类中心和类中包含的元素数目可表为：

t＝1帧，初始化第一个聚类，

C₁(x，y)＝I_t(x，y)            (1)

m₁(x，y)＝1                   (2)

其中，(1)(2)式分别用来初始化聚类中心和类中包含的元素数目。

上述技术方案中，所述步骤[2-1]中的更新阈值可表示为：

${\mathrm{\α}}_t=\arg \max (\frac{\underset{y=0}{\overset{\mathrm{Height}}{\mathrm{\Σ}}}\underset{x=0}{\overset{\mathrm{Width}}{\mathrm{\Σ}}}|I_t(x,y)-I_{t-1}(x,y)|}{\mathrm{Height}\×\mathrm{Width}},{\mathrm{\α}}_{t-1}).---\left(3\right)$

式中，

用于在当前帧和前一帧所有对应像素灰度差值的绝对值中找到平均值，其中Height/Width分别为视频帧中的高度像素值和宽度像素值，如果大于上一轮的聚类阈值α，则用其更新α；否则聚类阈值不改变。

上述技术方案中，所述步骤[2-2]中的聚类：计算I_t(x，y)与已存在的各灰度类聚类中心之间的距离，寻找距离最近的灰度类类别Dist_min：

Dist_min＝arg min(|I_t(x，y)-C₁(x，y)|，|I_t(x，y)-C₂(x，y)|，…，|I_t(x，y)-C_i(x，y)|)  (4)

其中i为在t帧时最后被创建的聚类，并自动将I_t(x，y)归入能够取距离最近的聚类C_j(x，y)。

进一步判断最近距离与聚类阈值α的关系，如果

Dist_min＝|I_t(x，y)-C_j(x，y)|≤α_t            (5)

则I_t(x，y)应被归入该灰度类中，于是对该灰度类做如下更新：

$C_j(x,y)=\frac{C_j(x,y)\×m_j(x,y)+I_t(x,y)}{m_j(x,y)+1}---\left(6\right)$

$m_j(x,y)=m_j(x,y)+1.---\left(7\right)$

其中，式(6)用于更新灰度类j的聚类中心，本质上是对灰度类中的所有灰度值求算术平均值。式(7)用于更新灰度类中元素的数目。

如果灰度I_t(x，y)与距离最近的灰度类之间的关系不满足式(5)，则应创建一个新的灰度类C_i+1(x，y)，并进行初始化：

C_i+1(x，y)＝I_t(x，y)                        (8)

m_i+1(x，y)＝1                        (9)

上述技术方案中，所述步骤[3]中的统计各聚类的元素数目，用最大聚类(包含元素数目最多的)的聚类中心作为该像素点的当前背景值。

m_r(x，y)＝arg max(m₁(x，y)，m₂(x，y)，…)            (10)

B_t(x，y)＝C_r(x，y)                                   (11)

其中，式(10)用于寻找最大聚类，r为寻找到的最大聚类的名称；式(11)将t时刻(x，y)像素点的背景值设置为其所对应的最大聚类的聚类中心值C_r(x，y)。

由于上述技术方案的运用，本发明与现有技术相比具有下列优点：

1.本方法在聚类的过程中聚类阈值进行自适应的更新，逐渐向前后帧背景相差较大的趋势发展。

2.本方法中随着聚类阈值的逐渐增大抑制了聚类数目的增加，同时加快了聚类的收敛速度。

3.本方法聚类阈值的动态更新对不同的视频具有良好的自适应性，避免了传统聚类方法使用固定阈值造成的不良背景提取。实验证明本方法具有良好的背景提取能力和可行性。

4.本方法在智能交通系统、汽车辅助运动、人体运动分析和机器人视觉等领域有着广阔的应用前景和发展潜力。这种自适应的在线聚类方法算法具有较快的收敛性，应用于上述系统中时，能够提高目标跟踪的效率和准确性。

附图说明

图1是本发明实施例中基于在线聚类的视频背景提取方法的流程图；

图2是视频像素点灰度值变化情况示意图；

图3是实施例(视频一)中均值聚类法效果图；

图4是实施例(视频一)中自适应在线聚类法效果图；

图5是实施例(视频二)中传统在线聚类方法效果图；

图6是实施例(视频二)中自适应在线聚类法效果图；

图7是实施例(视频三)中Kmeans聚类方法效果图；

图8是实施例(视频三)中传统在线聚类方法效果图。

图9是实施例(视频三)中自适应在线聚类法效果图。

具体实施方式

为了更好的理解本发明的技术方案，下面结合附图及实施例对本发明作进一步描述：

实施例：图1为本发明实施的基于自适应在线聚类的背景提取方法的流程图，数据文件为交通视频中道路的视频文件。

使用一段500×600像素的交通视频中(274，583)像素点从第1帧到第50帧的灰度值作为具体分析实例。以下为每帧中该点的灰度值：

68	69	69	69	69	68	64	67	66	66
										66	66	66	66	67	63	65	66	66	67
69	187	183	192	162	20	29	24	187	190
										191	70	69	66	65	64	66	66	66	67
67	67	68	68	67	69	65	66	66	66

方法如下：

设第t个视频帧为F_t，像素点(274，583)的灰度值为I_t(274，583)。C_i(274，583)表示第i个聚类，m_i(274，583)是第i个聚类包含的元素数目，初始化聚类阈值α为0，则对1-50视频训练帧中的每个像素点(x，y)，本算法可具体描述如下：

(1)t＝1帧，初始化第一个聚类，

C₁(274，583)＝I_t(274，583)＝68                    (1)

m₁(274，583)＝1                                   (2)

其中，(1)(2)式分别用来初始化聚类中心和类中包含的元素数目。

(2)第t(1＜t≤50)帧到来，作如下步骤：

更新阈值(这里假设前一帧阈值α为4)：

${\mathrm{\α}}_t=\arg \max (\frac{\underset{y=0}{\overset{600}{\mathrm{\Σ}}}\underset{x=0}{\overset{500}{\mathrm{\Σ}}}|F_t(x,y)-F_{t-1}(x,y)|}{500\×600},4).---\left(3\right)$

假设当前帧和前一帧所有对应像素灰度差值的绝对值中找到的平均值为7，大于上一阈值4，则用其更新α；否则聚类阈值不改变。

(3)聚类：

中心为计算I_t(274，583)与已存在的各灰度类聚类中心之间的距离，寻找距离最近的灰度类类别j：

j＝arg min|I_t(274，583)-C_i(274，583)|                (4)

进一步判断最近距离与聚类阈值α的关系，如果

|I_t(274，583)-C_j(274，583)|≤α                      (5)

则I_t(x，y)应被归入该灰度类中，于是对该灰度类做如下更新：

$C_j\left(\mathrm{274,583}\right)=\frac{C_j\left(\mathrm{274,583}\right)\×m_j\left(\mathrm{274,583}\right)+I_t\left(\mathrm{274,583}\right)}{m_j\left(\mathrm{274,583}\right)+1}---\left(6\right)$

$m_j\left(\mathrm{274,583}\right)=m_j\left(\mathrm{274,583}\right)+1.---\left(7\right)$

经计算第31帧(274，583)点有一个聚类C₁(274，583)＝67.67聚类数m₁(274，583)＝31

当到达第32帧时I₃₁(274，583)＝187，|I₃₂(274，583)-C₁(274，583)|≥7关系不满足式(5)式，所以创建一个新聚类C₂(274，583)＝187，m₂(274，583)＝1。

以此类推

(4)统计各聚类的元素数目，用最大聚类(包含元素数目最多的)的聚类中心作为该像素点的当前背景值。

m_r(x，y)＝arg max(m₁(x，y)＝40，m₂(x，y)＝6，…)                (8)

(274，583)像素点得到四个聚类：C₁(274，583)＝67.3  m_j(274，583)＝40、C₂(274，583)＝188  m₂(274，583)＝6、C₃(274，583)＝162  m₃(274，583)＝1、C₄(274，583)＝24.3m₄(274，583)＝3

经计算得r＝1

B_t(274，583)＝C₁(274，583)＝67.3                    (9)

所以最后(274，583)像素点该点的背景值设置为其所对应的最大聚类的聚类中心值67.3。

实施例中以视频中(274，583)像素点在1-50帧中的处理过程得到该点的背景值，在视频帧中的其他各像素点也遵循以上处理步骤，得到其背景值。

分别选择三个视频采用本实施例的方法和现有技术的方法进行比较，效果如附图3-9所示。

附图3是视频一中均值聚类法效果图；

附图4是视频一中自适应在线聚类法效果图；

图3与图4对比可见，本专利使用方法在背景提取效果上优于均值聚类法，而且无需人工设定聚类数和阈值。

附图5是视频二中传统在线聚类方法效果图；

附图6是视频二中自适应在线聚类法效果图；

图5与图6对比可见，本专利使用方法在背景提取效果上优于传统在线聚类法，而且无需人工设定聚类阈值。

附图7是视频三中Kmeans聚类方法效果图；

附图8是视频三中传统在线聚类方法效果图；

附图9是视频三中自适应在线聚类法效果图；

图7、图8与图9对比可见，本专利使用方法在背景提取效果上优于Kmeans聚类法和传统在线聚类方法，而且无需人工设定聚类数和阈值。

Claims (1)

1.一种基于在线聚类的视频背景提取方法，采用聚类方法实现，对一段视频训练帧，以像素点的灰度值为聚类分类依据，分别提取每个像素点的背景灰度值，视频训练帧的帧数为N，N≥30，其特征在于：对视频训练帧中的每个像素点，分别按下列步骤处理：

[1]取视频第一帧，以帧中灰度值初始化第一个聚类，并同时初始化聚类中心和类中包含的元素数目，第一帧中该像素点的灰度值即为第一个聚类的聚类中心，初始的元素数目为1，初始的聚类阈值为0；

[2]依次取视频的第t帧，1＜t≤N，每次进行如下两步操作：

[2-1]更新阈值：在当前帧和前一帧所有对应像素灰度差值的绝对值中找到最大的，与上一轮的聚类阈值进行比较，取其中大的一个作为本一轮的聚类阈值；

[2-2]聚类：计算在第t帧中该像素灰度值与已存在的各灰度类聚类中心之间的距离，寻找距离最近的灰度类类别；进一步判断最近距离与聚类阈值的关系，如果最近距离的绝对值小于聚类阈值，则该像素灰度值被归入该灰度类聚聚类中，并对该灰度类聚类中的所有灰度值求算术平均值，作为该灰度类聚类的新的聚类中心；如果最近距离的绝对值大于聚类阈值，则创建一个新的灰度类聚类，并进行初始化：以该像素在第t帧的灰度作为新聚类的聚类中心，同时定义新聚类的数目为1；

[3]统计各聚类的元素数目，用包含元素数目最多的聚类的聚类中心作为该像素点的当前背景值。

Images