CN103985142A - 联合数据关联的Mean Shift多目标跟踪方法 - Google Patents

Abstract

一种图像处理技术领域的联合数据关联的Mean Shift多目标跟踪方法，首先从视频中提取得到运动前景并分割，针对分割后的前景块生成数据关联矩阵，并通过逐行扫描优化后使用Mean Shift算法完成对每个目标的跟踪。本发明能够解决已有Mean Shift目标跟踪算法在抗遮挡，即两个目标之间遮挡，以及抗相似颜色方面不佳的问题。

Description

联合数据关联的Mean Shift多目标跟踪方法

技术领域

本发明涉及的是一种图像处理技术领域的方法，具体是一种联合数据关联的Mean Shift多目标跟踪方法。

背景技术

随着视频监控技术的普及，以及监控探头数量的剧增和海量视频数据的产生，人们对监控视频内容的自动分析技术需求也愈加迫切。视频单目标跟踪技术或多目标跟踪技术在很多场合下具有重要的用途，如在智能视频监控、视频索引、新型人机交互、交通监测、车辆自动驾驶等方面均有大量的应用。

Mean Shift跟踪算法是一种经典的无参密度估计算法，在1975年由Fukunaga等人在《IEEE Transactions on Information Theory》的“The estimation of the gradient of a densityfunction,with applications in pattern recognition”一文中提出。2002和2003年，Comaniciu等人在《IEEE Transactions on Pattern Analysis and Machine Intelligence》的两篇文献“Mean shift:a robust approach toward feature space analysis”和“Kernel‐Based Object Tracking”中进一步利用Mean Shift对图像进行分析，前者对图像的特征空间进行分析，使Mean Shift成功应用在图像平滑、图像分割等计算机视觉领域的多个方向，证明了在满足一定条件时，Mean Shift算法具有收敛的特性，利用该特性可以检测概率密度函数中存在的模态；后者将目标跟踪问题转化为一个Mean Shift最优化的问题，从而将Mean Shift算法成功地应用在目标跟踪领域，由于Mean Shift算法不需要穷尽的搜索，使得高性能目标跟踪成为了可能。

然而，在实际环境中，目标及周围情况较为复杂。一系列因素，包括图像信息采集过程中信息的丢失，场景光照条件的变化，目标在运动过程中被部分或全部遮挡等等，都将对MeanShift的处理效果产生负面的影响。当目标与周围干扰物或者遮挡物颜色相近时，对采用HSV直方图作为统计特征的跟踪方法来说，极易发生目标丢失或者漂移的现象，这严重影响了算法的广泛应用。

经过对现有技术的检索发现，中国专利文献号CN102831622公开了一种基于Mean Shift的目标跟踪方法，它首先利用卡尔曼滤波算法对目标当前位置进行预测，然后设计模糊判定准则在线调整目标尺度值，利用Mean Shift迭代运算逐步逼近目标来完成跟踪，最后，利用相似度和置信度系数设计模型更新准则，以实现模板的自适应更新。

中国专利文献号CN101162525公开了一种基于Mean Shift和人工鱼群智能优化的人体多关节特征跟踪方法，首先基于目标模型的颜色分布特征，根据前一帧图像的信息利用人工鱼群智能优化算法得到被跟踪人体多关节特征目标在当前帧的优化位置，然后根据目标模型的颜色分布特征运用Mean Shift迭代算法在其优化位置的领域内进行目标搜索，其中与目标模型颜色分布最相似的候选目标即为被跟踪目标。

中国专利文献号CN101867798公开了一种基于视频压缩域分析的Mean Shift运动目标跟踪方法,该方法将压缩域分析与Mean Shift跟踪算法相结合，即首先对视频编码过程中产生的运动矢量进行概率统计分析，以获取目标运动方向与运动速度的估计值，再以此修正Mean Shift运动候选区域的中心位置，使每次搜索开始时，候选中心位置更接近实际目标中心位置。

中国专利文献号CN102231207公开了一种基于Mean Shift和块匹配的运动目标跟踪方法，首先确定目标模型与次要目标模型，然后用Mean Shift算法求出次要目标模型在当前帧所处位置，根据该次要目标模型位置，采用块匹配在次要目标模型范围内得出首要目标模型的最佳位置。

中国专利文献号CN102142085公开了一种林区监控视频中运动火焰目标的鲁棒跟踪方法，提出了使用基于高斯混合模型的改进Mean Shift窗口自适应算法获得当前帧中林区目标的形状变化。

中国专利文献号CN102800106公开了一种基于光流场估计的自适应Mean Shift目标跟踪方法。该方法在基于传统均值漂移矢量法的同时，引入光流法，在目标上找寻特征点，通过特征点前后变化的信息，修正跟踪窗口中心位置和大小，再根据Bhattacharyya系数二分法分别自适应得到更为精确的窗口长宽。而针对目标被静止物体遮挡的情况，通过色差分析观测目标被遮挡区域，利用Bhattacharyya系数重新捕捉目标。但上述技术无法有效解决多目标跟踪过程中目标间相互遮挡的问题。

发明内容

本发明针对现有技术存在的上述不足，提出一种联合数据关联的Mean Shift多目标跟踪方法，能够解决已有Mean Shift目标跟踪算法在抗遮挡，即两个目标之间遮挡，以及抗相似颜色方面不佳的问题。

本发明是通过以下技术方案实现的，本发明首先从视频中提取得到运动前景并分割，针对分割后的前景块生成数据关联矩阵，并通过逐行扫描优化后使用Mean Shift算法完成对每个目标的跟踪。

本发明具体包括以下步骤：

1)利用前景提取算法对运动目标前景进行提取并得到运动前景；

2)对提取出的运动前景进行分割，得到若干前景块；

3)对分割获得的前景块(即前景区域目标)和基于MeanShift跟踪获得的目标区域(即历史目标)，进行数据关联；

4)逐行扫描数据关联矩阵，检测并处理目标的合并信息和分裂信息，并对目标样本进行更新；

5)使用MeanShift算法完成对每个目标的跟踪。

技术效果

本发明提供的方法能够通过对目标前景的提取以及数据关联的分裂‐合并判定，实现对受干扰物或者遮挡物影响的目标的位置的有效估计，应用于多目标跟踪，得到较为满意的跟踪效果。

附图说明

图1是本发明所提出的跟踪方法处理流程图。

图2是前景检测处理流程图。

图3是多线程Mean Shift目标跟踪处理流程图。

图4是多线程中子线程Mean Shift目标跟踪处理流程图。

图5是有无数据关联情况下跟踪效果对比图。

图6为实施例中目标合并‐分裂景象示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

如图1所示，本实施例包括以下步骤：

步骤1)如图2所示，利用前景提取算法对运动目标前景进行提取并得到运动前景，具体是：

1.1)为视频序列每一帧的每个像素点维护一个样本集，样本集中的采样值来自该像素点过去的像素值和邻居点的像素值；

1.2)在新的一帧中，将每一个像素点的像素值和样本集进行比较来判断其是否属于背景点，并生成背景样本集。

所述的背景点的判断是指：记v(x)为x点处的像素值；M(x)＝{x₁,x₂,...,x_N}为x处的背景样本集，其中：N表示样本集的大小；S_R(v(x))是以x为中心R为半径的区域，当M(x)[S_R(v(x))∩{x₁,x₂,...x_N}]大于背景阈值，则x点属于背景点，反之则属于前景点。

所述的背景样本集在初始化中，完成了对背景模型的建立过程，背景模型的建立过程也就是填充模型中样本集的过程，即根据背景样本集进行学习；由于在一帧图像中不可能包含像素点的时空分布信息，通过利用相近像素点拥有相近时空分布特性这一规律，具体来讲就是：

对于一个像素点，随机地选择它的邻居点的像素值作为它的模型样本值：

M₀(x)＝{v₀(y)|y∈N_G(x)}   (1)

其中：M₀(x)表示第一帧中的背景样本集，N_G(x)为邻居点。该方法的优点是初始化速度非常快，通常只需要一帧视频图像即可完成对目标模型的初始化；并且引入的Ghost区域在模型不断更新过程中将会很快消失。

1.3)通过前景提取算法对模型进行更新，使得背景模型不断适应背景的诸如光照、背景物体的变化。

所述的前景提取算法是指：采用前景点计数方法，对像素点进行统计，当某个背景模型中的像素点连续N帧被统计为前景点，则将其更新为前景点。

1.4)将统计为前景点的图像输出便获得了运动前景。

步骤2)对提取出的运动前景进行分割，得到若干前景块；

所述的分割采用cvBlobs库实现，具体为调用cvBlobs库(http://code.google.com/p/cvblob/)中的函数cvLabel()，将运动前景作为输入参数，返回值是一个链表，记录了所有分割的前景块。

所述的前景块中包含有该前景块位于运动前景中的位置、面积等信息。

所述的分割过程中，针对前景块在目标跟踪的过程中由于被非目标(如电线杆、树等)遮挡而导致分裂的情况，根据每个前景块的位置、面积，判断异常的分裂并对这些分裂块进行合并，即取多个团块的最小外接矩形构成更大的团块。

步骤3)：对分割获得的前景块(即前景区域目标)和基于Mean Shift跟踪获得的目标区域(即历史目标)进行数据关联，具体步骤包括：

3.1)构造历史目标T_i和前景区域目标D_j的匹配矩阵M：

其中：表示历史目标T_i和观测目标D_j的重叠部分的面积，和分别表示T_i和D_j的外接矩形的面积，c是规范化常数，目的是使得M(i,j)∈[0,1]，易知c＝2。

所述的匹配矩阵M矩阵表示了历史目标和前景区域的覆盖信息，历史目标和观测目标的相似性越高，M矩阵中对应的元素值越大，当M矩阵中计算出来的某一元素值小于阈值，将其设为0，即取消对应的历史目标和观测目标之间的关联。

3.2)获得匹配矩阵M后，根据相似度的大小，构造数据关联矩阵C：

3.2.1)初始化：设置数据关联矩阵C的所有元素为0；

3.2.2)逐行对矩阵M扫描，找出每行中最大元素所在位置的列号j_max，并将矩阵C对应的位置加1：

j_max＝arg max M(i,j),j＝1,2,...N₁   (3)

C(i,j_max)＝C(i,j_max)+1   (4)

3.2.3)逐列对矩阵M扫描，找出每列中最大元素所在位置的行号i_max，并将矩阵C对应的位置加1：

i_max＝arg max M(i,j),i＝1,2,...N₁   (5)

C(i_max,j)＝C(i_max,j)+1   (6)

所述的数据关联矩阵C的元素包括：0、1或2，其中：0表示该行对应的历史目标和该列对应的前景目标区域(以下简称观测)之间没有关联，2表示该行对应的历史目标和该列对应的观测之间相互关联，1表示该行对应的历史目标和该列对应的观测只有单向关联，发生这种情况的可能性很多：比如目标消失、目标被景物遮挡、目标合并、漏检、目标分裂等等。

步骤4)如图6所示，逐行扫描数据关联矩阵，检测并处理目标的合并信息，具体步骤包括：

4.1)逐行扫描数据关联矩阵C，记录每一行中的最大值Max和非零元素的个数N₀，当Max等于1且N₀等于1，则判断为该行对应的历史跟踪目标T_A与另一个历史跟踪目标T_B合并，否则跳过步骤4.2～步骤4.3，重新执行步骤4.1并扫描下一行；

4.2)通过数据关联矩阵C的对应关系，找到历史跟踪目标T_A对应的新观测D_AB，即与T_A相似度最大的观测目标，由于发生了合并，该观测D_AB必然与另一个历史跟踪目标相互关联，在关联矩阵C中搜索并找到T_B；

4.3)将T_A和T_B的跟踪状态改变，由没有遮挡变为相互遮挡，并通过记录其地址信息链接到T_AB；

4.4)利用D_AB的区域以及该区域的视觉特征，新增加一个合并目标T_AB进行跟踪，并记录下T_AB与目标T_A、T_B的对应关系。

步骤5)如图6所示，逐行扫描数据关联矩阵C，检测并处理目标的分裂信息，具体步骤包括：

5.1)逐行扫描数据关联矩阵C，记录该行中的最大值Max和非零元素的个数N₀，当Max等于1且N₀等于2，则判断为该行对应的历史跟踪目标T_AB分裂，否则跳过步骤5.2～步骤5.3，重新执行步骤5.1并扫描下一行；

5.2)将目标T_AB对应的目标T_A、T_B以及分裂后的观测D_A，D_B通过目标颜色直方图特征进行匹配；

5.3)将T_A和T_B的跟踪状态改变，由相互遮挡变为没有遮挡。

步骤6)逐行扫描数据关联矩阵C，并在没有分裂或合并情况发生时，对目标样本进行更新，具体是：扫描数据关联矩阵，检测处理目标的合并‐分裂；当没有合并或分裂情况发生时，利用观测D对目标T进行更新，即将观测和目标的中心位置进行加权得到该目标的最终位置，从而校正目标。

除此之外，为了在跟踪时尽可能的将非目标区域排除在目标候选区之外，在完成目标间遮挡和分离的检测之后，还对目标外接矩形框进行了处理。

所述的处理是指：当跟踪质量较高时，即目标内前景像素比例较高，将目标关联的观测的外接矩形框作为跟踪目标的矩形框；当跟踪质量下降到一个阈值时，使用目标关联的观测的中心作为跟踪目标的中心，使用目标在的矩形框长宽重新计算候选区域。

如图5所示，其中图5(a)为无数据关联情况下跟踪效果对比图，(b)为有数据关联情况下跟踪效果对比图

步骤7)如图3所示，使用Mean Shift算法完成对每个目标的跟踪，具体包括以下步骤：

7.1)当输入视频图像为第一帧时，人工选择目标区域。

所述的人工选择通过OpenCV(http://opencv.willowgarage.com/wiki/)提供的鼠标回调函数实现。

7.2)主流程产生若干个与单目标对象一一相对的子流程，该子流程接口函数实现了MeanShift跟踪算法的整个流程。当鼠标完成目标区域的选择后，就会产生n个trackmode为第二个状态的单目标类的对象，然后主流程会产生n个子流程分别处理这n个对象，每个子线程的流程如图4所示。

进入子流程后，各个对象并行地运算，即检测trackmode：

当trackmode等于1时，调用成员函数完成对目标特征直方图的计算，并将trackmode改为2；

当trackmode等于2时，调用成员函数计算当前帧中候选区的直方图，完成Mean Shift过程，更新目标区域。

所述的Mean Shift过程是指：首先将候选区设为上一帧目标所在的区域，然后计算候选区的直方图，利用相似性函数计算相似程度以及Mean Shift向量；不断地更新候选区的位置，直到Mean Shift向量的步长小于阈值或者循环的次数到达最大值时，将候选区的位置赋给目标区域，完成目标位置的更新。

上述Mean Shift过程中，当目标运动到摄像头对应的有效跟踪视野之外，将trackmode改为3，并退出该子流程，完成跟踪。

与现有类似技术相比，本实施例的技术效果和优点在于：该方法能够有效处理跟踪过程中目标间的相互遮挡问题，尤其是长时间、大范围的遮挡。

Claims (10)

1.一种联合数据关联的Mean Shift多目标跟踪方法，其特征在于，首先从视频中提取得到运动前景并分割，针对分割后的前景块生成数据关联矩阵，并通过逐行扫描优化后使用MeanShift算法完成对每个目标的跟踪；所述方法包括以下步骤：

1)利用前景提取算法对运动目标前景进行提取并得到运动前景；

2)对提取出的运动前景进行分割，得到若干前景块；

3)对分割获得的前景块，即前景区域目标和基于MeanShift跟踪获得的目标区域，即历史目标进行数据关联；

4)逐行扫描数据关联矩阵，检测并处理目标的合并信息和分裂信息，并对目标样本进行更新；

5)使用MeanShift算法完成对每个目标的跟踪。

2.根据权利要求1所述的方法，其特征是，所述的前景提取算法是指：采用前景点计数方法，对像素点进行统计，当某个背景模型中的像素点连续N帧被统计为前景点，则将其更新为前景点。

3.根据权利要求1所述的方法，其特征是，步骤1)具体包括：

1.1)为视频序列每一帧的每个像素点维护一个样本集，样本集中的采样值来自该像素点过去的像素值和邻居点的像素值；

1.2)在新的一帧中，将每一个像素点的像素值和样本集进行比较来判断其是否属于背景点，并生成背景样本集；

1.3)通过前景提取算法对模型进行更新，使得背景模型不断适应背景的变化；

1.4)将统计为前景点的图像输出便获得了运动前景。

4.根据权利要求3所述的方法，其特征是，所述的背景点的判断是指：记v(x)为x点处的像素值；M(x)＝{x₁,x₂,...,x_N}为x处的背景样本集，其中：N表示样本集的大小；S_R(v(x))是以x为中心R为半径的区域，当M(x)[S_R(v(x))∩{x₁,x₂,...x_N}]大于背景阈值，则x点属于背景点，反之则属于前景点；

所述的背景样本集在初始化中，完成了对背景模型的建立过程，背景模型的建立过程也就是填充模型中样本集的过程，即根据背景样本集进行学习，具体对于一个像素点，随机地选择它的邻居点的像素值作为它的模型样本值：M₀(x)＝{v₀(y)|y∈N_G(x)}，其中：M₀(x)表示第一帧中的背景样本集，N_G(x)为邻居点。

5.根据权利要求1所述的方法，其特征是，所述的数据关联矩阵C的元素包括：0、1或2，其中：0表示该行对应的历史目标和该列对应的前景目标区域，即观测之间没有关联，2表示该行对应的历史目标和该列对应的观测之间相互关联，1表示该行对应的历史目标和该列对应的观测只有单向关联。

6.根据权利要求1所述的方法，其特征是，所述的步骤3具体包括：

3.1)构造历史目标T_i和前景区域目标D_j的匹配矩阵M：其中：表示历史目标T_i和观测目标D_j的重叠部分的面积，和分别表示T_i和D_j的外接矩形的面积，c是规范化常数；

3.2)获得匹配矩阵M后，根据相似度的大小，构造数据关联矩阵C：

3.2.1)初始化：设置数据关联矩阵C的所有元素为0；

3.2.2)逐行对矩阵M扫描，找出每行中最大元素所在位置的列号j_max，并将矩阵C对应的位置加1：j_max＝argmaxM(i,j),j＝1,2,...N₁，C(i,j_max)＝C(i,j_max)+1；

3.2.3)逐列对矩阵M扫描，找出每列中最大元素所在位置的行号i_max，并将矩阵C对应的位置加1：i_max＝argmaxM(i,j),i＝1,2,...N₁，C(i_max,j)＝C(i_max,j)+1。

7.根据权利要求1所述的方法，其特征是，所述的步骤4中：

4.1)逐行扫描数据关联矩阵C，记录每一行中的最大值Max和非零元素的个数N₀，当Max等于1且N₀等于1，则判断为该行对应的历史跟踪目标T_A与另一个历史跟踪目标T_B合并，否则跳过步骤4.2～步骤4.3，重新执行步骤4.1并扫描下一行；

4.2)通过数据关联矩阵C的对应关系，找到历史跟踪目标T_A对应的新观测D_AB，即与T_A相似度最大的观测目标，由于发生了合并，该观测D_AB必然与另一个历史跟踪目标相互关联，在关联矩阵C中搜索并找到T_B；

4.3)将T_A和T_B的跟踪状态改变，由没有遮挡变为相互遮挡，并通过记录其地址信息链接到T_AB；

4.4)利用D_AB的区域以及该区域的视觉特征，新增加一个合并目标T_AB进行跟踪，并记录下T_AB与目标T_A、T_B的对应关系。

8.根据权利要求1所述的方法，其特征是，所述的步骤4中：

5.1)逐行扫描数据关联矩阵C，记录该行中的最大值Max和非零元素的个数N₀，当Max等于1且N₀等于2，则判断为该行对应的历史跟踪目标T_AB分裂，否则跳过步骤5.2～步骤5.3，重新执行步骤5.1并扫描下一行；

5.2)将目标T_AB对应的目标T_A、T_B以及分裂后的观测D_A，D_B通过目标颜色直方图特征进行匹配；

5.3)将T_A和T_B的跟踪状态改变，由相互遮挡变为没有遮挡。

9.根据权利要求1所述的方法，其特征是，所述的步骤4中，目标样本进行更新是指：逐行扫描数据关联矩阵C，并在没有分裂或合并情况发生时，对目标样本进行更新，具体是：扫描数据关联矩阵，检测处理目标的合并‐分裂；当没有合并或分裂情况发生时，利用观测D对目标T进行更新，即将观测和目标的中心位置进行加权得到该目标的最终位置，从而校正目标。

10.根据权利要求1所述的方法，其特征是，所述的步骤5具体包括以下步骤：

7.1)当输入视频图像为第一帧时，人工选择目标区域；

7.2)主流程产生若干个与单目标对象一一相对的子流程，该子流程接口函数实现了MeanShift跟踪算法的整个流程，即各个对象并行地运算，即检测trackmode：

当trackmode等于1时，调用成员函数完成对目标特征直方图的计算，并将trackmode改为2；

当trackmode等于2时，调用成员函数计算当前帧中候选区的直方图，完成Mean Shift过程，更新目标区域；

所述的Mean Shift过程是指：首先将候选区设为上一帧目标所在的区域，然后计算候选区的直方图，利用相似性函数计算相似程度以及Mean Shift向量；不断地更新候选区的位置，直到Mean Shift向量的步长小于阈值或者循环的次数到达最大值时，将候选区的位置赋给目标区域，完成目标位置的更新。