CN103281477A - 基于多级别特征数据关联的多目标视觉跟踪方法 - Google Patents

Abstract

本发明属于安防监控领域，涉及一种基于多级别特征数据关联的多目标视觉跟踪算法对监控场景中的多目标进行检测和跟踪的方法：获取目标对象，从视频场景背景中分离出目标作为跟踪目标；建立目标模型，提取目标的全局特征和局部特征作为描述目标对象模型的特点，并通过过滤处理去掉匹配度极低的目标；关联度计算，以目标相似性、纹理相似性和局部颜色相似性为基础进行关联度计算，从整体特征和局部特征两个级别进行匹配策略；采用遮挡判断机制处理目标遮挡；根据不断迭代的关联算法，获得较长较准确的目标轨迹。本发明不仅提高了目标跟踪的准确度，还有效地解决了目标间遮挡问题，与仅使用整体特征建模的关联追踪算法相比，精确度更高。

Description

基于多级别特征数据关联的多目标视觉跟踪方法

技术领域

本发明属于安防监控及计算机视觉领域，涉及一种基于多级别特征数据关联的多目标视觉跟踪算法对监控场景中的多目标进行检测和跟踪的方法。

背景技术

近年来随着安防监控技术的不断发展，视频监控在社会生活中的应用日趋广泛，在交通管理、交通事故分析、社区安防、银行监控和社会稳定等方面对监控系统的要求更不断地增加。目标跟踪是智能视频监控中最核心的功能，通过跟踪监测出的目标得到其运动轨迹或高进一步分析其运动行为，为智能化监控提供可靠支持。

目前目标跟踪算法已经广泛地应用在实际的监控系统中，但大部分的算法仅适用于单个目标的跟踪。将单目标跟踪算法应用于场景中同时出现多个目标的跟踪情况，算法的效果及性能会有明显的下降，研究方法也比较有限。此外，多个目标跟踪本身存在着比单个目标跟踪更复杂的问题，例如，目标之间的重叠与换位，相似目标的混淆等，尤其在追踪行人目标时，人的行为活动会引起目标形状的不一致，而且行人间衣着发型的相似度较高等情况。

多目标跟踪算法是由单目标跟踪算法扩展而来，单目标跟踪算法主要分为：基于点的追踪算法，基于核的追踪算法和基于轮廓的追踪算法。单目标跟踪算法应用于多目标跟踪情况中复杂度较大，导致算法性能的急速下降，因此仅对已有的单目标跟踪算法进行扩展无法达到理想的多目标追踪期望。目前，已经存在许多多目标跟踪研究的方法期望解决上述的问题。在多目标运动过程中，物体间的遮挡会极大影响追踪的效果，而颜色特征的加入解决了部分遮挡问题，但单一的特征应用仍不能达到准确追踪的要求。此外，还有红外线和多摄像头辅助监控等手段以实现多目标跟踪研究，尽管成效明显但对场景中搭建的硬件环境要求很高。

发明内容

针对目前方法的缺陷，基于单视频下同一个场景内的多目标行人跟踪的需求，本发明提出了多级别特征数据关联的多目标视觉跟踪算法，通过对关联匹配目标的全局特征和局部特征的相似度进而提高多目标追踪的准确性。本发明主要包括模型建立和关联度计算两部分，步骤如下：

一种基于多级别特征数据关联的多目标视觉跟踪方法，包括下列步骤：

第一步，对于一段输入的监控视频，先采用背景差分法分离目标和背景，提取出视频帧中的目标，记录所有目标的位置及区域；

第二步，在记录每个目标的整体特征的同时，计算目标的局部特征，目标的整体特征主要包括：目标大小、目标位置、目标出现时间和目标整体颜色直方图；目标的局部特征主要包括局部纹理特征和局部区块目标的颜色统计值；

第三步，将上述得到的多个目标及各自的整体特征和局部特征结合；

第四步，过滤得到的目标，去除不同帧之间相似度低的目标组合，得到相似度高的目标组合；

第五步，对于相似度高的目标组合，计算各个目标的目标相似度、纹理相似度和局部颜色相似度，其中，目标相似度的计算包括目标位置相似度A_posO,目标大小相似度A_sizeO及整体颜色相似度A_apprO,纹理相似度通过计算两个相邻帧间目标对象的对应区块间的欧氏距离，加权求和后得到A_tex(r_j,r_i),同理，局部颜色相似度也为加权对应区块局部颜色统计值间的欧氏距离得到A_color(r_j,r_i);

第六步，将整体的所有相似度关联，若j，i为前后两帧，则整体关联度P_global(r_j,r_i)为A_posO,A_sizeO和A_apprO的乘积，否则为0；将局部的所有相似度关联，若j，i为前后两帧，则局部关联度P_local(r_j,r_i)为A_tex(r_j,r_i)和A_color(r_j,r_i)的乘积，否则为0；最后，将整体关联度和局部关联度结合起来，得到最终关联度P_link(r_j,r_i)=P_global(r_j,r_i)P_local(r_j,r_i);

第七步，如果发现上一帧中两个目标的大小之和大于当前帧中两个目标的大小之和，则认为出现了遮挡问题，若遮挡部分小于预设的第二阈值，则匹配目标特征时去除遮挡块信息，避免匹配错误；否则，启动卡曼滤波算法，根据目标在前几帧中的运动状态预测当前时刻目标的位置；

第八步，根据上述关联度计算并结合遮挡机制，每个目标都会在相邻帧中得到一个最终关联度值最大的目标，经过多帧计算后，将这些最终关联度值最大的目标连接起来形成较短的目标运动轨迹，完成初步数据关联；然后再利用初步关联得到的运动轨迹作为下一次关联度计算的输入，采用多级迭代关联计算，即从第五步计算目标相似度、纹理相似度和局部颜色相似度开始迭代计算优化运动轨迹，经过多次迭代后，得到较长较准确的目标轨迹。

作为优选实施方式，所述的一种基于多级别特征数据关联的多目标视觉跟踪方法，第二步中，通过SAD算法计算相邻帧中任意两个目标的特征差值，根据差值分布情况，选择合适的第一阈值，过滤差值大于第一阈值的组合，得到相似度高的目标组合。

本发明的跟踪方法在进行目标对象建模中，加入了局部特征与整体特征相结合的方法，明显提高了建模的准确度，并通过过滤排除了相似度较低的目标对，为目标关联度计算减少了复杂度；多级别特征关联度计算的应用提高了目标匹配的准确度；使用遮挡判断机制有效地解决了场景中目标运动引起的遮挡问题。在单摄像机较复杂的场景中，能较好的实现多目标的跟踪，与仅用整体特征建模的关联追踪算法相比，准确度明显提升，可应用于智能视频监控系统作为有效的监控功能，并促进安防系统的发展。

附图说明

图1多级别特征关联度计算算法总体流程图；

图2LBP和CS-LBP原理图；

图3遮挡处理图；

图4整体特征关联度计算方法导致目标离开再出现时的错标情况；

图5采用多级别特征关联计算方法目标离开后再出现时正确标注；

图6未采用遮挡机制的多级别特征关联方法的错标情况；

图7采用遮挡机制的多级别特征关联方法的正确标注。

具体实施方式

本发明属于安防监控可视化领域，涉及一种多级别特征关联度计算的算法，主要包括以下步骤：获取目标对象，从视频场景背景中分离出目标作为跟踪目标（矩形框表示）；建立目标模型，提取目标的全局特征和局部特征作为描述目标对象模型的特点；关联度计算，以目标相似性、纹理相似性和局部颜色相似性为基础进行关联度计算，从整体特征和局部特征两个级别进行匹配策略；处理目标遮挡，采用遮挡判断机制（使用卡曼滤波算法处理大面积遮挡，去除遮挡块方法处理小面积遮挡）；获得目标轨迹，根据不断迭代的关联算法，获得较长较准确的目标轨迹。

本发明算法的具体实施方案主要对目标模型建立和关联度计算两部分，附图1为总体流程图，具体实施步骤如下：

1、目标模型建立

目标模型是通过整体特征和局部特征联合表示的方式建立的。整体特征包括目标矩形区域的整体颜色直方图、目标的大小、目标所在位置和目标出现的帧序号等。单单使用整体特征不足以完成准确的目标关联，例如当两个目标相距很近，或者运动状态相似且衣着颜色和形状大小都相似时，就会出现目标的匹配错误。因此，本发明中增加局部特征来提高目标之间的区别度，解决匹配错误问题。本发明中采用的局部特征包括目标的纹理特征信息和局部颜色统计值，其中纹理特征具有对光照变化不敏感的特点，局部颜色信息能够区别整体颜色累计误差。

1）结合局部特征的建模

本发明算法中计算的全局特征包括目标整体的颜色直方图（RGB）、目标的大小（矩形的高*宽，即h*w）和目标的位置（x,y）；计算的局部特征包括目标的纹理特征以及局部区域的颜色统计值。

目标的纹理特征采用中心对称的局部二值模式（CS-LBP）来表示（可参见M.Heikkila,M.Pietikainen,and C.Schmid,Description of Interest Regions with Local Binary Patterns,Pattern Recognition,vol.42,no.3,pp.425-436,2009.一文），此方法是基于局部二值模式（LBP）而改进的算法，对光照变化具有较强的鲁棒性。在一块半径为R的区域中，LBP算子由中心元素邻域内像素与中心像素的灰度差组成，附图2展示了一个3*3像素区域的LBP算子的计算方法，其结果为一个8位的二进制序列，每一位数字表示邻域像素与中心像素的灰度值差，如果邻域像素灰度值高于中心像素灰度值为1，反之则为0。CS-LBP（中心对称纹理描述算子）在LBP的基础上稍作了改进，由邻域内每个像素与中心像素灰度值的对比，改为邻域内对称位置两个像素灰度值的对比，如公式（1）所示，其中R为算子区域半径；N为区域内中心像素点周围的像素个数；n_i和n_i+(N/2)表示中心对称的两个像素的灰度值；T表示阈值，当灰度差值大于该阈值时，该位二进制值为1，否则为0。改进后，CS-LBP算子的比较次数减半，在计算效率、对纹理平坦区域的鲁棒性方面均有所提高。如附图2所示，对于一个3*3区域，LBP算子产生一个8位的二进制数，其算子描述维数为256（2⁸），而CS-LBP算子结果为一个4位的二进制数，算子描述维数为16（2⁴）。

${\mathrm{LBP}}_{R,N,T}(x,y)={\mathrm{\Σ}}_{i=0}^{\left(\frac{N}{2}\right)-1}s(n_i-n_{i+\left(\frac{N}{2}\right)})2^i,s\left(x\right)=\left\{\begin{array}{cc}1& x>T\\ 0& \mathrm{otherwise}\end{array}\right.---\left(1\right)$

颜色信息统计值则由目标局部区域的颜色均值和方差来表示，我们将每个目标矩形区域划分为5*3个小区域，在15个局部区块中进行颜色值统计值，获得目标局部颜色特征lc_i=(u_i,1,σ_i,1,u_i,2,σi,2...u_i,15,σ_i,15).其中u_i,1,σ_i,1分别表示i序号目标的第一块局部区域的颜色均值和方差。

2）目标过滤

本发明使用背景差分法检测视频图像序列，获得多个目标，目标表示为：r_i=(x_i,y_i,s_i,t_i,gc_i,tex_i,lc_i),其中i为检测到的目标序号，（x_i,y_i）表示目标位置即目标矩形框的中心点坐标，s_i表示目标矩形框的大小，t_i表示目标出现的帧，gc_i表示目标对象的整体颜色直方图，tex_i为目标对象的纹理特征，lc_i表示目标对象的局部颜色统计特征。得到每个目标的运动轨迹

其中k为对象的轨迹序号，一条轨迹由n个出现在不同的帧中的对象集合表示，T为所有目标运动轨迹的集合。在目标不重叠的情况下，每个目标对象只可能属于一条运动轨迹，即非重叠约束，在此约束条件下不同运动轨迹的交集为空集合，如公式（2）所示：

在单摄像机的复杂场景中，场景中的每一帧中有多个目标对象，假设t帧和t+1帧中分别都检测到m个目标，则在关联度计算时需要对t帧和t-1帧中检测到的m个目标一一计算关联度，再选择最佳的关联组合，共需计算n²个关联度值，其计算和排序的复杂度较大，尤其是当m比较大的时候，会造成较长的计算延时，所以本算法中在进行目标关联之前先进行过滤处理。过滤处理的目的是去除相似度低的目标组合。假设相邻两帧内目标对象的大小变化很微小，场景光照不出现突变，则通过计算相邻帧中任意两个目标的特征差值，过滤掉差值大于阈值的组合，缩小匹配待选集。在过滤处理中，计算两个目标对象区域的差值时采用SAD（Sum of Absolute Difference，图像序列中对应像素差的绝对值）算法，该方法计算量较小，且能取得较好的效果，其计算过程如公式（3）所示。

$\mathrm{SAD}(r_i,r_j)={\mathrm{\Σ}}_{i=0}^w{\mathrm{\Σ}}_{j=0}^h|I(x_i,y_i)-I(x_i^{\′},y_i^{\′})|---\left(3\right)$

其中，r_i，r_j分别表示相邻两帧内检测到的目标对象，w和h表示目标对象矩形区域的长度和宽度，I(x,y)为点(x,y)的灰度值，(x_i,y_i)表示r_i区域内任一点的坐标，(x′_i,y′_i)表示r_j中与(x_iy_i)对应点的坐标。若SAD(r_i,r_j)>θ(θ为用户定义阈值），则认为目标对象r_i和r_j差别较大，不再进行进一步关联;若SAD（r_i,r_j)<θ，则目标对象r_i和r_j可进行下一步关联度计算。阈值与视频内容相关，对于不同的视频库列是不同的，应根据计算出的SAD差值分布情况，选择合适的值作为过滤时的阈值。

2、关联度计算

本发明的数据关联度计算方法和多次迭代关联计算过程，分别对整体特征和局部特征两个特征级别进行了关联度计算，得到更加准确的追踪结果。

1）整体特征与局部特征相结合的关联度计算

方法中使用的整体特征信息有目标整体颜色直方图、目标大小、目标位置和目标出现的时间帧，根据以上信息，目标整体特征的相似度计算公式如公式4,5,6所示：

$A_{\mathrm{pos}}(r_j,r_i)=A_{\mathrm{pos}}\left(P_{j,}{P}_i\right)=\exp [-\frac{{(x_j-x_i)}^2}{w_x}]\exp [-\frac{{(y_j-y_i)}^2}{w_y}]---\left(4\right)$

$A_{\mathrm{size}}(r_j,r_i)=A_{\mathrm{size}}+(S_j,S_i)=\exp [-\frac{{(s_j-s_i)}^2}{w_s}]---\left(5\right)$

A_appr(r_j,r_i)=A_appr(C_j,C_i)=D(C_j,C_i)   (6)

A_posO，A_sizeO,A_apprO表示从整体特征考虑计算出的不同特征值的相似度，分别为目标位置相似度，目标大小相似度以及整体颜色相似度。其中P_j=(x_j,y_j),P_i=(x_i,y_i)表示目标中心点的位置坐标，S_j和S_i表示目标的大小，C_j和C_i表示目标的颜色直方图，w_x,w_y,w_s为归一化权值。D(C_j,C_i)表示两个目标颜色直方图C_j和C_i之间的欧式距离。

根据整体特征的相似度，两个目标之间的整体关联度使用公式(7)计算得到：

$P_{\mathrm{global}}(r_j,r_i)=\left\{\begin{array}{cc}{A}_{\mathrm{pos}}(r_j,r_i)A_{\mathrm{size}}(r_j,r_i)A_{\mathrm{appr}}(r_j,r_i),& {\mathrm{itf}}_j-t_i=1\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(7\right)$

计算目标的局部特征时，目标区域被划分为5*3个块。纹理特征关联度计算中按照3*3区域范围对每块区域进行CS-LBP特征直方图计算，计算结果为该块目标区域纹理特征的n个4位的二进制数，则目标区域内的每个局部区块得到一个n维纹理向量，可以将目标对象i的第j个区块的纹理特征形式化表示为te_i,j=(a_i,j,1,a_i,j,2,.._.a_i,j,n),计算两个相邻帧目标对象的对应区块之间的欧式距离，加权求和得到整体的纹理特征相似度值（若欧式距离超过一定阈值，即两个目标纹理相似度较低，为避免影响整体纹理特征相似度计算，会赋予极小的权值），如公式（8）所示。

$A_{\mathrm{tex}}(r_j,r_i)={\mathrm{\&Sigma;}}_{k=0}^{14}{w}_k\mathrm{sqrt}{\mathrm{\&Sigma;}}_{l=0}^n{(a_{r_j,k,l}-a_{r_i,k,l})}^2---\left(8\right)$

目标局部区块的颜色统计值能够去除整体直方图比对时出现的错误匹配情况，比如目标A着黑白相间的条纹衣服，目标B着上身白色下身黑色的衣服，两人外形相似时，他们俩的整体直方图是非常相似的，很有可能会匹配为同一个目标。我们使用与纹理特征计算时相同的区块划分方法，计算每个局部区块的均值和方差得到目标对象的局部颜色特征向量，将目标对象i的局部颜色特征向量形式化的表示为lc_i=(u_i,1,σ_i,1,u_i,2σ_i,2...u_i,15,σ_i,15),两个目标对象的局部颜色相似度通过加权对应区块局部颜色统计值之间的欧式距离得到，权值的设定与纹理特征相似度计算类似，如公式（9）所示。

$A_{\mathrm{color}}(r_j,r_i)={\mathrm{\&Sigma;}}_{k=0}^{14}{w}_k\mathrm{sqrt}[{(u_{r_j,k}-u_{r_i,k})}^2+{({\mathrm{\&sigma;}}_{\mathrm{rj},k}-{\mathrm{\&sigma;}}_{\mathrm{rj},k})}^2]---\left(9\right)$

根据局部特征的相似度，两个目标之间的局部关联度使用公式（10）计算得到：

$P_{\mathrm{local}}(r_j,r_i)=\left\{\begin{array}{cc}{A}_{\mathrm{tex}}(r_j,r_i)A_{\mathrm{color}}(r_j,r_i),& {\mathrm{ift}}_j-t_i=1\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(10\right)$

将整体关联度与局部关联度综合起来，得到最终的关联度计算公式（11）：

P_link(r_j,r_i)=P_global(r_j,r_i)P_local(r_j,r_i)   (11)

上述的关联只发生在相邻两帧中，当且仅当两个目标之间的相似度足够高，并且高于其他所有相关组合时才被认为是最佳关联对。在非重叠限制的约束条件下，如果得出的匹配对(r_i,r_j)和(r_k,r_l)中，i=k或者j=1，则被认为是错误的匹配。

通过上述整体特征和局部特征的关联度筛选，每个目标都会在相邻帧中得到一个最佳关联目标，我们将这些最佳关联目标连接起来形成较短的目标运动轨迹，完成初步的数据关联，再利用初步关联得到的运动轨迹作为输入，采用多级迭代关联度计算，得到更长的目标运动轨迹。

2）遮挡处理

本发明中为了解决目标与目标之间的遮挡问题引入了目标遮挡机制。判断机制根据目标中心点的坐标和目标的大小来判断，若发现上一帧中两个目标的大小之和大于当前帧中两个目标区域的总面积时，则认为出现了目标之间的遮挡，如果发现上一帧中目标大小明显大于当前帧中目标大小时，则认为目标的一部分被场景遮挡。首先判断被遮挡部分的大小，当被遮挡部分较小时，如附图3左图所示，在计算目标整体颜色直方图和局部纹理特征、颜色特征时去掉被遮挡的部分，只计算剩余部分的特征值和相似程度；当被遮挡部分较大时，如附图3右图所示，使用卡曼滤波算法，根据目标之前的运动状态来估计该目标在下一帧中的位置信息，用估计的坐标信息和实际检测结果相比对，得出模糊的最佳组合。

在本发明的跟踪方法的测试试验中与仅使用目标整体特征进行关联度计算的追踪方法、使用本算法中多级特征关联追踪方法以及增加遮挡处理机制后的追踪方法进行比较。采用CAVIAR提供的公共数据集作为测试数据，对比结果后发现，本发明提出的基于多级别特征的多目标追踪算法能够在单相机较为拥挤的场景中取得更好的追踪效果。

附图4和附图5作为一组对比图。附图4中从左至右的三幅图表示了追踪的目标从场景中消失后再次出现的情况，目标6号离开场景后再一次出现后被标注为2，这是由于整体特征无法正确区分两个相似的目标，从而发生了错标现象。而采用多级别特征从整体和局部联合进行关联度计算的附图5中，可以避免同一目标从场景中消失后再出现时错标的问题。

附图6和附图7作为一组对比图。附图6的结果中可看到由于目标间存在遮挡，出现了目标标号错乱的现象，目标2与目标7标号在中途出现标注的序号颠倒互换，而采用了遮挡处理机制后的附图7中解决此问题。

综合上述实验分析，进一步证明了本发明在目标追踪的准确性上有了显著的提高。

Claims (2)

1.一种基于多级别特征数据关联的多目标视觉跟踪方法，包括下列步骤：

第一步，对于一段输入的监控视频，先采用背景差分法分离目标和背景，提取出视频帧中的目标，记录所有目标的位置及区域;

第二步，在记录每个目标的整体特征的同时，计算目标的局部特征，目标的整体特征主要包括:目标大小、目标位置、目标出现时间和目标整体颜色直方图;目标的局部特征主要包括局部纹理特征和局部区块目标的颜色统计值。

第三步，将上述得到的多个目标及各自的整体特征和局部特征结合;

第四步，过滤得到的目标，去除不同帧之间相似度低的目标组合，得到相似度高的目标组合;

第五步，对于相似度高的目标组合，计算各个目标的目标相似度、纹理相似度和局部颜色相似度，其中，目标相似度的计算包括目标位置相似度A_posO,目标大小相似度A_sizeO及整体颜色相似度A_apprO，纹理相似度通过计算两个相邻帧间目标对象的对应区块间的欧氏距离，加权求和后得到A_tex(r_j,r_i)，同理，局部颜色相似度也为加权对应区块局部颜色统计值间的欧氏距离得到A_color(r_j,r_i);

第六步，将整体的所有相似度关联，若j，i为前后两帧，则整体关联度p_global(r_j,r_i)为A_posO，A_sizeO和A_apprO的乘积，否则为0;将局部的所有相似度关联，若ji为前后两帧，则局部关联度P_local(r_j,r_i)为A_tex(r_j,r_i)和A_color(r_j.r_i)的乘积，否则为0;最后，将整体关联度和局部关联度结合起来，得到最终关联度p_link(r_j,r_i)=P_global(r_j,r_i)P_local(r_j,r_i);

第七步，如果发现上一帧中两个目标的大小之和大于当前帧中两个目标的大小之和，则认为出现了遮挡问题，若遮挡部分小于预设的第二阈值，则匹配目标特征时去除遮挡块信息，避免匹配错误;否则，启动卡曼滤波算法，根据目标在前几帧中的运动状态预测当前时刻目标的位置;

第八步，根据上述关联度计算并结合遮挡机制，每个目标都会在相邻帧中得到一个最终关联度值最大的目标，经过多帧计算后，将这些最终关联度值最大的目标连接起来形成较短的目标运动轨迹，完成初步数据关联;然后再利用初步关联得到的运动轨迹作为下一次关联度计算的输入，采用多级迭代关联计算，即从第五步计算目标相似度、纹理相似度和局部颜色相似度开始迭代计算优化运动轨迹，经过多次迭代后，得到较长较准确的目标轨迹。

2.根据权利要求1所述的一种基于多级别特征数据关联的多目标视觉跟踪方法，其特征在于，第二步中，通过SAD算法计算相邻帧中任意两个目标的特征差值，根据差值分布情况，选择合适的第一阈值，过滤差值大于第一阈值的组合，得到相似度高的目标组合。

Images