CN104091348A - 融合显著特征和分块模板的多目标跟踪方法 - Google Patents

Abstract

本发明提供一种融合显著特征和分块模板的多目标跟踪方法，采用RGB分量背景差分和迭代阈值检测目标运动区域，提高了运动检测算法的场景光照变化自适应能力；基于目标区域分块、运动像素色彩显著度加权的块质心模型、块质心转移融合和尺度更新方法，计算效率高、抗部分遮挡和相似色彩场景干扰能力强；采用两级数据关联解决多目标测量-跟踪间分配问题，能准确定位发生遮挡的局部区域，从而利用遮挡矩阵指导模板自适应更新、利用块有效色彩和运动信息获得可靠的全局质心转移向量，最终实现复杂场景中多目标持续、稳定和快速跟踪，应用于智能视频监控、空中多目标跟踪与攻击、多任务跟踪智能机器人等领域。

Description

融合显著特征和分块模板的多目标跟踪方法

技术领域

本发明涉及一种融合显著特征和分块模板的多目标跟踪方法，属于智能视频信息处理和计算机视觉领域，主要用于智能视频监控系统中。

背景技术

基于视觉的多目标跟踪是计算机视觉领域的一个重要研究课题，在地面交通管制、工业机器人手眼系统、空中超视距多目标跟踪与攻击、港口监视等多方面都具有广泛应用。近年来，针对测量-跟踪间分配问题，基于外观模型的多目标跟踪研究逐渐成为热点。

多目标跟踪方法自报道以来，国内外均不断有改进跟踪方法的专利报道，但由于复杂场景中遮挡、相似特征目标(或场景)干扰、目标外观变化等影响，多目标跟踪的鲁棒、准确和实时性问题仍未得到完善解决。

遮挡目标跟踪和目标外观模型鲁棒更新是多目标跟踪的难点之一。从模型构建上看，对目标区域分块，建立合理的块特征目标外观模型，可使部分遮挡判断精确到块级，其目标描述力高于全局特征描述方法。W.M.Hu等在IEEETransonPatternAnalysisandMachineIntelligence(2012,34(12):2420-2440)发表的文章“SingleandMultipleObjectTrackingUsingLog-EuclideanRiemannianSubspac eandBlock-DivisionAppearanceModel”中，在Log-euclidean块分割外观模型中融入全局和局部外观空间分布信息建立目标观测模型，具有抗部分遮挡性能和光照鲁棒性。由于该算法基于贝叶斯推理的粒子滤波器定位目标，大量粒子的使用影响了跟踪实时性；遮挡判别依赖块自身特征的协方差计算，没有发挥多目标间相互作用。

在仅基于色彩特征的目标描述中，融入色彩空间分布信息相比经典色彩直方图方法能够提高目标描述力。S.H.Lee等在IETComputerVision(2010,4(2):73-84)发表的文章“MotionTrackingBasedonAeaandLevelSetWeightedCentroidShifting”中针对单目标跟踪提出面积加权的色彩质心描述和目标一步质心定位概念，利用目标区域中各色彩覆盖面积计算该色彩质心在目标定位中的权值。由于色彩质心对像素数目变化不敏感，在目标定位方面具有稳定性。但当目标与所处背景色彩大面积相似或有其它相似特征目标影响时，将产生跟踪漂移。一步质心定位克服了经典迭代搜索和大量样本训练方法的计算量问题，但目前仅局限于单目标跟踪应用，若合理拓展到多目标跟踪框架中，可提高跟踪效率。

基于运动检测的多目标跟踪能自动起始跟踪，快速关联独立运动目标，若辅以鲁棒的目标外观模型匹配跟踪，则有利于实现互遮挡目标合并区域中测量-跟踪间准确分配。C.Beyan等在IETComputerVision(2012,6(1):1-12)发表的文章“AdaptiveMean-shiftforAutomatedMultiObjectTracking”中，利用目标运动检测框间重叠与否判断遮挡，并将互遮挡目标作为一个整体进行Mean-shift跟踪。由于遮挡目标全局模板在整个遮挡过程中不更新，因此在长期部分遮挡并发生目标外观渐变时，难以持续准确跟踪。若互遮挡目标外观相似，则将会因缺乏合并过程中目标个体的确切位置信息，引起目标分离时单个目标定位错乱。

发明内容

本发明目的在于克服现有技术的不足，提供一种复杂视频场景中更有效平衡多目标跟踪系统鲁棒、准确和实时性间关系的自动检测和跟踪方法。

本发明的技术解决方案是：

一种融合显著特征和分块模板的多目标跟踪方法，

步骤一、利用阈值迭代算法计算当前帧与参考背景间RGB分量差分图像的分割阈值，融合分量运动目标二值区域计算运动检测区域的尺度和中心坐标；

步骤二、将目标区域均匀分块，获取各块中心坐标、尺度和运动像素占空比等参数，并根据各运动像素处背景差分值计算该像素色彩显著度，以作为色彩质心统计的权值，建立基于块的运动、色彩显著质心模型；

步骤三、建立上一帧跟踪目标和当前运动检测区域间基于目标全局的一级关联，对满足一对一关联的目标建立测量-跟踪对应；对新出现目标初始化；对消失目标暂存模板；对互遮挡目标，建立其在当前帧映射区域间全局二级关联以判断哪些目标间发生了遮挡，并进一步利用块间二级关联定位发生遮挡的块；对断裂目标只需获得其当前帧映射区域；

步骤四、建立块遮挡标志矩阵，并融入模板更新过程，对发生遮挡的块采用遮挡前的模板计算色彩质心转移量，对未发生遮挡的块以上一帧跟踪结果为模板计算当前色彩质心转移量；

步骤五、在当前帧映射扩展区域中选择有效色彩质心，并根据块区域中有效色彩占空比和运动像素占空比计算块融合权值，获得目标全局质心转移向量和最优位置；

步骤六、在目标最优位置处的新映射扩展区域中，分别沿水平和垂直方向顺序统计未发生遮挡的块间有效色彩质心距离，经邻块有效色彩显著度加权获得目标尺度缩放参数。

进一步地，步骤一具体为：

采用式(1)的阈值迭代算法获取当前帧与参考背景间RGB分量绝对差分图像{|ΔI_r,t|,|ΔI_g,t|,|ΔI_b,t|}的分割阈值，经对二值运动检测图像B_t形态学滤波等处理，获得多个运动检测区域(联通域)外接矩形框尺度和中心坐标，为多目标跟踪限定搜索区域；

${\mathrm{\&tau;}}_{r,t}^{l+1}=\frac{1}{2}(\frac{\underset{|\mathrm{\&Delta;}{I}_{r,t}\left(x\right)|{\&GreaterEqual;\mathrm{\&tau;}}_{r,t}^l}{\mathrm{\&Sigma;}}\left|\mathrm{\&Delta;}{I}_{r,t}\left(x\right)\right|}{\underset{\left|\mathrm{\&Delta;}{I}_{r,t}\left(x\right)\right|\&GreaterEqual;{\mathrm{\&tau;}}_{t,t}^l}{\mathrm{\&Sigma;}}1}+\frac{\underset{\left|{\mathrm{\&Delta;I}}_{r,t}\left(x\right)\right|<{\mathrm{\&tau;}}_{r,t}^l}{\mathrm{\&Sigma;}}\left|{\mathrm{\&Delta;I}}_{r,t}\left(x\right)\right|}{\underset{\left|{\mathrm{\&Delta;I}}_{r,t}\left(x\right)\right|<{\mathrm{\&tau;}}_{r,t}^l}{\mathrm{\&Sigma;}}})---\left(1\right)$

其中，x为像素坐标，B_t(x)＝1和0分别对应运动前景和背景，l为迭代次数，当时，迭代结束，得到R分量背景差分阈值

进一步地，步骤二具体为：

各运动像素背景绝对差分值进行归一化，获得各运动像素x_i处目标相对背景的色彩u＝[u_r,u_g,u_b]显著度w(u,x_i)；

将目标区域均匀分为L₁×L₂(L₁,L₂∈[2,10])块，根据下式(3)计算第n个块的像素色彩显著度wⁿ(u,x_i)，色彩质心统计时通过式(4)进行坐标显著度加权；同时通过式(5)计算质心显著度，以赋予强鉴别力色彩更高的质心决定权，建立基于运动、色彩显著特征的目标块质心模型；

$w(u,x_i)=\frac{\left|\mathrm{\&Delta;}{I}_{r,t}\left(x_i\right)\right|M^2+\left|\mathrm{\&Delta;}{I}_{g,t}\left(x_i\right)\right|M+\left|\mathrm{\&Delta;}{I}_{b,t}\left(x_i\right)\right|}{\underset{i}{\mathrm{\&Sigma;}}\left(\right|\mathrm{\&Delta;}{I}_{r,t}\left(x_i\right)|M^2+|\mathrm{\&Delta;}{I}_{g,t}\left(x_i\right)|M+|\mathrm{\&Delta;}{I}_{b,t}\left(x_i\right)\left|\right)}---\left(3\right)$

其中，为第n个块二值区域中“1”的个数，I(x_i)为原图的(M+1)×(M+1)×(M+1)降维图像，为色彩u的质心，δ为狄拉克函数。

进一步地，步骤三具体为：

基于中心和尺度关联通过式(6)建立一级全局关联，对满足一对一关联的上一帧跟踪目标和当前运动检测区域建立测量-跟踪对应；

对新出现目标即不存在与k对应的s1且第t帧映射区域与检测区域间交集为空集，进行初始化；

对消失目标即不存在与s1对应的k且映射区域中无运动像素，进行暂存模板，若后续连续10～15帧中均未检测到运动像素存在，则退出跟踪；

对互遮挡目标即多个s1对应同一个k，在其上一帧跟踪矩形的当前帧映射区域间通过式(7)建立二级全局关联，以判断哪些目标间发生了互遮挡；并利用式(8)所示的二级块级关联定位发生遮挡的块；对断裂目标即多个k(k≥1)满足空集，只需获得目标s1的映射区域

一级全局关联： $\left(\right|{\hat{x}}_{t-1}^{s1}-{\stackrel{\&OverBar;}{x}}_t^k|\&le;{\mathrm{\&alpha;}}_1{\hat{S}}_{t-1}^{s1})\&cap;\left(\right|{\hat{S}}_{t-1}^{s1}-{\stackrel{\&OverBar;}{S}}_t^k|\&le;{\mathrm{\&alpha;}}_2{\hat{S}}_{t-1}^{s1})---\left(6\right)$

二级全局关联： $|{\tilde{x}}_t^{s1}-{\tilde{x}}_t^{s2}|\&le;\frac{1}{2}\mathrm{\&beta;}({\tilde{S}}_t^{s1}+{\tilde{S}}_t^{s2})---\left(7\right)$

二级块级关联： $|{\tilde{x}}_t^{n1,s1}-{\tilde{x}}_t^{n2,s2}|\&le;\frac{1}{2}\mathrm{\&beta;}({\tilde{S}}_t^{n1,s1}+{\tilde{S}}_t^{n2,s2})---\left(8\right)$

其中，和分别表示第k个运动检测矩形框中心坐标和尺度；、和分别表示第s1个目标跟踪矩形框中心坐标和尺度；和分别表示目标映射矩形框中心坐标、第n1个块中心坐标和尺度；确定的检测区域；确定的映射区域；比例因子α₁∈[0.3,0.5]、α₂∈[0.1,0.3]和β∈[0.7,0.9]。

进一步地，步骤四具体为：

对满足式(8)中二级块级关联的块赋予遮挡标志“1”，否则置为“0”，即未发生遮挡，通过式(9)建立L₁×L₂遮挡标志矩阵；并将该矩阵融入模板更新过程，以使目标模板更新具有遮挡自适应能力；

式(10)、式(11)给出目标s1的第n1个块模板更新算法，当目标满足一对一全局关联、为新出现或断裂目标时，块遮挡标志为“0”，使得该更新算法具有普遍适用性；

$X_{u,t}^{n1,s1}={\mathrm{\&upsi;}}_t^{n1,s1}\&CenterDot;X_{u,t-1}^{n1,s1}+(1-{\mathrm{\&upsi;}}_t^{n1,s1})\&CenterDot;{\hat{X}}_{u,t-1}^{n1,s1}---\left(10\right)$

$p_{u,t}^{n1,s1}={\mathrm{\&upsi;}}_t^{n1,s1}\&CenterDot;p_{u,t-1}^{n1,s1}+(1-{\mathrm{\&upsi;}}_t^{n1,s1})\&CenterDot;{\hat{p}}_{u,t-1}^{n1,s1}---\left(11\right)$

其中，和分别为块色彩u质心和显著度模板，和分别为目标跟踪结果框对应块色彩质心和显著度。

进一步地，步骤五具体为：

根据确定的映射扩展矩形区域的块色彩质心模型与模板间共有质心显著度通过式(12)选择有效色彩质心，质心显著度重新归一化后利用式(13)计算块质心转移向量其中，Δ取2～8个像素。

${\stackrel{\&RightArrow;}{\mathrm{\&gamma;}}}_t^{n1,s1}={\mathrm{\&upsi;}}_t^{n1,s1}\&CenterDot;(X_{u,t}^{n1,s1}-X_{u,t-1}^{n1,s1})+\frac{1}{\underset{u}{\mathrm{\&Sigma;}}{q}_{u,t}^{n1,s1}}\underset{u}{\mathrm{\&Sigma;}}({\tilde{X}}_{u,t}^{n1,s1}-X_{u,t}^{n1,s1})\&CenterDot;q_{u,t}^{n1,s1}---\left(13\right);$

通过式(14)、式(15)、式(16)，利用块区域中有效色彩占空比运动像素占空比的Sigmoid函数值计算块融合权值以提高包含重要质心转移信息块在目标全局质心转移向量计算中的表决权，最终获得目标最优中心位置运动像素占空比为零时，有效色彩占空比为零，从而有其中，为第n1个块的面积。

${\stackrel{\&RightArrow;}{x}}_t^{s1}=\frac{1}{\underset{n1=1}{\overset{L_1\&times;L_2}{\mathrm{\&Sigma;}}}{\mathrm{\&Phi;}}_t^{n1}}\underset{n1=1}{\overset{L_1\&times;L_2}{\mathrm{\&Sigma;}}}({\mathrm{\&Phi;}}_t^{n1}\&CenterDot;{\stackrel{\&RightArrow;}{\mathrm{\&gamma;}}}_t^{n1,s1})---\left(15\right)$

${\hat{x}}_t^{s1}={\hat{x}}_{t-1}^{s1}+{\stackrel{\&RightArrow;}{x}}_t^{s1}---\left(16\right).$

进一步地，步骤六具体为：

对为中心的目标新映射扩展区域分块，根据上述过程获得块有效色彩质心和显著度分别沿水平和垂直方向顺序计算未发生遮挡的相邻块间有效色彩质心距离，并利用相邻块有效色彩显著度乘积的归一化值对块质心距离加权，获得目标平均质心距离

通过式(17)、式(18)、式(19)，利用邻帧质心距离比值计算水平和垂直方向目标尺度缩放参数以自适应更新目标尺度

${\widehat{\mathrm{\&upsi;}}}_t^{n1,s1}=(1-{\mathrm{\&upsi;}}_t^{n1,s1})\&CenterDot;(1-{\mathrm{\&upsi;}}_t^{n1+1,s1})---\left(18\right)$

其中，遗忘因子γ∈[0,1]。

本发明有益效果：本发明采用RGB分量背景差分和迭代阈值检测目标运动区域，提高了运动检测算法的场景光照变化自适应能力；基于目标区域分块、运动像素色彩显著度加权的块质心模型、块质心转移融合和尺度更新方法，计算效率高、抗部分遮挡和相似色彩场景干扰能力强；利用两级数据关联解决多目标测量-跟踪间分配问题，能准确定位发生遮挡的局部区域，从而利用遮挡矩阵指导模板自适应更新、利用块有效色彩和运动信息获得可靠的全局质心转移向量，最终实现复杂场景中多目标持续、稳定和快速跟踪。

首先，采用阈值迭代算法计算RGB分量背景差分图像分割阈值，有利于场景光照变化时实现运动目标区域的自适应检测；利用运动像素处背景差分值计算色彩显著度以加权像素坐标获得块色彩质心和显著度，有助于在前景主色彩和背景色彩相似时，依靠覆盖面积较小但具有强对比度的局部运动、色彩显著特征提高质心模型描述力；对区域分块，在目标发生遮挡时，能利用块有效信息获得可靠的全局质心转移向量。

其次，基于一级一对一全局数据关联建立当前运动检测区域与上一帧跟踪目标间测量-跟踪对应，有利于提高多目标跟踪的整体速度；针对多目标互遮挡问题，先基于二级全局数据关联判断哪些目标间发生了互遮挡，再对其进行二级块级数据关联以判断哪些块间发生了互遮挡，前者缩小了块级关联的范围，后者提高了遮挡定位的精度，有助于综合提高遮挡目标的检测和判断快速、鲁棒性。

第三，利用目标各块有效色彩占空比、运动像素占空比的Sigmoid函数计算块融合权值，获得目标全局质心转移向量，增强了目标轮廓所在块及包含重要信息块的质心转移表决权；将块遮挡标志融入目标模板更新过程，有利于实现块级质心模板和目标尺度更新的自适应性，保证了遮挡、外观和尺度渐变目标的鲁棒跟踪。

第四，本发明设计合理，实现了遮挡、相似目标或背景的色彩干扰、外观渐变和目标尺度变化情况下的多目标跟踪，提高了跟踪鲁棒性、准确性和实时性。在智能视频信息处理和计算机视觉领域具有广泛的应用前景，可应用于智能视频监控、空中多目标跟踪与攻击、多任务跟踪智能机器人等领域。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例中运动像素色彩显著度示意图；

图2中，(a)为原图的16×16×16(这里取M＝15)降维图像，蓝色外接矩形框包围的为目标区域；(b)为阈值自适应背景差分得到的二值运动区域；(c)为运动像素色彩显著度。

图3为实施例中目标区域分块和遮挡判断示意图；

图3中，(a)中目标s1和s2满足二级全局关联，如(a)所示；在两目标间进行二级块关联，得到(b)和(c)所示遮挡标志矩阵，这里取L₁＝6，L₂＝3，其中“1”和“0”分别表示对应块发生了遮挡和未发生遮挡。

图4为针对分辨率为288×384的一段CAVIAR视频序列第1帧、第22帧和第67帧的多目标跟踪结果图；

实线框为目标跟踪结果；(a)～(f)中虚线框为运动检测二值联通域外接矩形，点线框为上一帧跟踪目标在当前帧中的映射区域，实线框为跟踪结果；(b)和(e)中绿色框与蓝色、红色框跟踪的目标同时发生了互遮挡，三者检测为一个合并框；(c)和(f)中绿色和蓝色框跟踪的目标从三者合并中分离，但二者间保持互遮挡，检测为一个合并框，紫红框跟踪的为连续帧中稳定出现、满足一级一对一全局关联、系统自动起始跟踪的新目标(该目标为绿色框跟踪目标在走廊壁上的映像)。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

处于互遮挡中的多目标经常是部分可观测的，若能准确的判断遮挡发生的位置和区域，则可利用即使是片段的部分可观测信息实现目标定位和模板更新。另一方面，人眼跟踪目标时，依据的不仅仅是目标主色彩(覆盖面积大)对视觉的刺激，那些相对背景对比度大的运动像素和显著色彩，即使覆盖面较小，在主色彩和背景色彩相近、目标被部分遮挡时，却往往能成为目标定位的重要依据。

据此分析，1)如果将目标区域均匀分块，建立基于块的运动和色彩显著质心模型，发挥强鉴别力运动像素色彩在目标定位中的主导作用，则可提高目标描述力和块色彩质心转移向量计算可靠性；2)如果建立不同目标间基于块的数据关联，则可将遮挡判断精确到块级，同时可利用局部可观测块及块有效信息提高测量-跟踪间分配效率；3)如果将遮挡因素和历史跟踪信息融入块色彩质心模型更新框架，则可提高多目标(包括遮挡目标)模板(包括色彩和尺度)更新鲁棒、准确性；4)运动像素占空比较低的块(如：目标边缘轮廓块)往往包含重要质心转移信息，而占空比较大的块却可能包含无效质心转移信息，如果能根据各块包含的有效信息量合理融合各块，则可提高目标全局质心转移向量计算可靠性，最终提高多目标跟踪鲁棒、准确和实时性能。

实施例采用RGB分量背景差分和自适应迭代阈值检测运动区域及其中心坐标、尺度；将目标区域分块，利用各块运动像素处的背景差分值计算色彩显著度以加权像素坐标，建立块质心模型。实施例建立基于中心和尺度关联的一级全局数据关联、基于全局遮挡判别和局部遮挡定位的二级数据关联，将遮挡定位、质心转移向量计算和模板更新精确到块级。根据有效色彩占空比和运动像素占空比计算块融合权值，获得目标全局质心转移向量；利用目标水平和垂直方向未发生遮挡块的有效色彩质心距离在邻帧间的变化率计算目标尺度缩放参数。可应用于智能视频监控、空中多目标跟踪与攻击、多任务跟踪智能机器人等领域。

实施例的融合显著特征和分块模板的多目标跟踪方法包括以下步骤：

第一，利用像素灰度归类法重构场景初始参考背景，之后每隔m分钟重构背景(m＝5～10)，然后采用式(1)所示阈值迭代算法获取当前帧与背景RGB分量绝对差分图像{|ΔI_r,t,|ΔI_g,t|,|ΔI_b,t|}的自适应分割阈值{τ_r,t,τ_g,t,τ_b,t}，经对二值运动检测图像B_t形态学滤波等处理，获得多个运动检测区域(联通域)外接矩形框尺度和中心坐标。该步骤在第一帧和目标新出现时用于初始化目标。其中：x为像素坐标，B_t(x)＝1和0分别对应运动前景和背景，l为迭代次数，当时，迭代结束，得到R分量背景差分阈值

${\mathrm{\&tau;}}_{r,t}^{l+1}=\frac{1}{2}(\frac{\underset{|\mathrm{\&Delta;}{I}_{r,t}\left(x\right)|{\&GreaterEqual;\mathrm{\&tau;}}_{r,t}^l}{\mathrm{\&Sigma;}}\left|{\mathrm{\&Delta;I}}_{r,t}\left(x\right)\right|}{\underset{\left|\mathrm{\&Delta;}{I}_{r,t}\left(x\right)\right|\&GreaterEqual;{\mathrm{\&tau;}}_{t,t}^l}{\mathrm{\&Sigma;}}1}+\frac{\underset{\left|{\mathrm{\&Delta;I}}_{r,t}\left(x\right)\right|<{\mathrm{\&tau;}}_{r,t}^l}{\mathrm{\&Sigma;}}\left|{\mathrm{\&Delta;I}}_{r,t}\left(x\right)\right|}{\underset{\left|{\mathrm{\&Delta;I}}_{r,t}\left(x\right)\right|<{\mathrm{\&tau;}}_{r,t}^l}{\mathrm{\&Sigma;}}})---\left(1\right)$

第二，将目标区域沿水平和垂直方向均分为L₁×L₂(L₁,L₂∈[2,10])块，建立块级运动像素色彩显著度加权质心模型。如式(3)示，运动像素x_i处色彩u＝[u_r,u_g,u_b]显著度w(u,x_i)为该像素RGB分量背景绝对差分的归一化值；以块中像素色彩显著度wⁿ(u,x_i)加权各色彩坐标获得色彩质心，以及质心显著度，如式(4)～(5)示。其中，I(x_i)为原图的(M+1)×(M+1)×(M+1)降维图像，为第n个块中二值区域“1”的个数，δ为狄拉克函数。

$w(u,x_i)=\frac{\left|\mathrm{\&Delta;}{I}_{r,t}\left(x_i\right)\right|M^2+\left|\mathrm{\&Delta;}{I}_{g,t}\left(x_i\right)\right|M+\left|\mathrm{\&Delta;}{I}_{b,t}\left(x_i\right)\right|}{\underset{i}{\mathrm{\&Sigma;}}\left(\right|\mathrm{\&Delta;}{I}_{r,t}\left(x_i\right)|M^2+|\mathrm{\&Delta;}{I}_{g,t}\left(x_i\right)|M+|\mathrm{\&Delta;}{I}_{b,t}\left(x_i\right)\left|\right)}---\left(3\right)$

第三，基于中心和尺度关联，建立上一帧跟踪目标矩形框s1＝1,2,…,N₁与当前运动检测区域k＝1,2,…,N₂间一级全局关联，将满足(6)式的一对一关联(对任意s1，只有唯一k与之对应，反之亦然)目标的检测区域与上一帧跟踪区域加权作为跟踪结果，即：对新出现目标(不存在与k对应的s1且空集)初始化；对消失目标(不存在与s1对应的k且映射区域中无运动像素)暂存模板，若后续连续10～15帧中均未检测到运动像素存在，则退出跟踪；对互遮挡目标(多个s1对应同一个k)，利用式(7)建立上一帧跟踪目标在当前帧映射矩形区域间二级全局关联，以判别目标间互遮挡关系；对满足式(7)的目标对(以s1,s2为例)利用式(8)在块n1＝1,2,…,L₁×L₂(s1的块)和n2＝1,2,…,L₁×L₂(s2的块)间进行二级块关联，以定位发生遮挡的块；对断裂目标(多个k满足空集，k≥1)，只计算目标s1的映射区域其中，和分别表示第k个运动检测矩形框中心坐标和尺度和分别表示第s1个目标跟踪矩形框中心坐标和尺度；和分别表示目标映射矩形框中心坐标、第n1个块中心坐标和尺度；确定的检测区域；确定的映射区域；比例因子λ∈[0.8,1]，α₁∈[0.3,0.5]，α₂∈[0.1,0.3]和β∈[0.7,0.9]。

一级全局关联： $\left(\right|{\hat{x}}_{t-1}^{s1}-{\stackrel{\&OverBar;}{x}}_t^k|\&le;{\mathrm{\&alpha;}}_1{\hat{S}}_{t-1}^{s1})\&cap;\left(\right|{\hat{S}}_{t-1}^{s1}-{\stackrel{\&OverBar;}{S}}_t^k|\&le;{\mathrm{\&alpha;}}_2{\hat{S}}_{t-1}^{s1})---\left(6\right)$

二级全局关联： $|{\tilde{x}}_t^{s1}-{\tilde{x}}_t^{s2}|\&le;\frac{1}{2}\mathrm{\&beta;}({\tilde{S}}_t^{s1}+{\tilde{S}}_t^{s2})---\left(7\right)$

二级块级关联： $|{\tilde{x}}_t^{n1,s1}-{\tilde{x}}_t^{n2,s2}|\&le;\frac{1}{2}\mathrm{\&beta;}({\tilde{S}}_t^{n1,s1}+{\tilde{S}}_t^{n2,s2})---\left(8\right)$

第四，根据两级关联结果建立块遮挡标志矩阵，并融入目标模板块级更新，以使更新过程具有遮挡和外观自适应性。以下给出第s1个目标第n1个块模板更新算法，当目标满足一对一全局关联、为新出现或断裂目标时，块遮挡标志为“0”，这样就使得该更新算法具有普遍适用性。首先，根据式(9)将每个遮挡块标志置为“1”，非遮挡块置为“0”；然后，利用式(10)～(11)实时更新块级色彩质心和显著度。对未发生遮挡的块，以前一帧跟踪结果区域的质心和显著度更新模板；对发生遮挡的块，保存遮挡前一帧跟踪结果区域的质心和显著度作为模板和直至遮挡结束。

$X_{u,t}^{n1,s1}={\mathrm{\&upsi;}}_t^{n1,s1}\&CenterDot;X_{u,t-1}^{n1,s1}+(1-{\mathrm{\&upsi;}}_t^{n1,s1})\&CenterDot;{\hat{X}}_{u,t-1}^{n1,s1}---\left(10\right)$

$p_{u,t}^{n1,s1}={\mathrm{\&upsi;}}_t^{n1,s1}\&CenterDot;p_{u,t-1}^{n1,s1}+(1-{\mathrm{\&upsi;}}_t^{n1,s1})\&CenterDot;{\hat{p}}_{u,t-1}^{n1,s1}---\left(11\right)$

第五，根据式(12)选择当前帧确定的目标映射扩展矩形分块区域与模板对应块间共有色彩质心显著度利用该显著度加权色彩质心和获得块质心转移向量如式(13)示；根据块有效色彩占空比运动像素占空比的Sigmoid函数计算块融合权值以提高有效色彩比率高及边缘轮廓块的表决权值，如式(14)示；根据式(15)～(16)获得全局质心转移向量和目标最优中心位置其中，Δ取2～8个像素，为第n1个块的面积；运动像素占空比为零时，有效色彩占空比为零，对应块的

${\stackrel{\&RightArrow;}{\mathrm{\&gamma;}}}_t^{n1,s1}={\mathrm{\&upsi;}}_t^{n1,s1}\&CenterDot;(X_{u,t}^{n1,s1}-X_{u,t-1}^{n1,s1})+\frac{1}{\underset{u}{\mathrm{\&Sigma;}}{q}_{u,t}^{n1,s1}}\underset{u}{\mathrm{\&Sigma;}}({\tilde{X}}_{u,t}^{n1,s1}-X_{u,t}^{n1,s1})\&CenterDot;q_{u,t}^{n1,s1}---\left(13\right);$

${\stackrel{\&RightArrow;}{x}}_t^{s1}=\frac{1}{\underset{n1=1}{\overset{L_1\&times;L_2}{\mathrm{\&Sigma;}}}{\mathrm{\&Phi;}}_t^{n1}}\underset{n1=1}{\overset{L_1\&times;L_2}{\mathrm{\&Sigma;}}}({\mathrm{\&Phi;}}_t^{n1}\&CenterDot;{\stackrel{\&RightArrow;}{\mathrm{\&gamma;}}}_t^{n1,s1})---\left(15\right)$

${\hat{x}}_t^{s1}={\hat{x}}_{t-1}^{s1}+{\stackrel{\&RightArrow;}{x}}_t^{s1}---\left(16\right)$

第六，对为中心的目标新映射扩展区域分块，根据上述过程获得块有效色彩质心和显著度并根据未发生遮挡块间质心距离获得水平和垂直方目标尺度缩放参数。根据式(17)～(18)沿水平(或垂直)方向按n1→n1+1顺序计算相邻且未发生遮挡的第n1和第n1+1个块间有效色彩质心距离；并以有效质心显著度乘积的归一化值作为质心距离权值，经各邻块质心距离加权得到平均质心距离；通过计算目标在邻帧间的质心距离比值得到水平(或垂直)方向目标尺度缩放参数，如式(19)所示，以自适应更新目标尺度其中遗忘因子γ∈[0,1]。

${\widehat{\mathrm{\&upsi;}}}_t^{n1,s1}=(1-{\mathrm{\&upsi;}}_t^{n1,s1})\&CenterDot;(1-{\mathrm{\&upsi;}}_t^{n1+1,s1})---\left(18\right)$

Claims (7)

1.一种融合显著特征和分块模板的多目标跟踪方法，其特征在于：

步骤一、利用阈值迭代算法计算当前帧与参考背景间RGB分量差分图像的分割阈值，融合分量运动目标二值区域计算运动检测区域的尺度和中心坐标；

步骤二、将目标区域均匀分块，获取各块中心坐标、尺度和运动像素占空比等参数，并根据各运动像素处背景差分值计算该像素色彩显著度，以作为色彩质心统计的权值，建立基于块的运动、色彩显著质心模型；

步骤三、建立上一帧跟踪目标和当前运动检测区域间基于目标全局的一级关联，对满足一对一关联的目标建立测量-跟踪对应；对新出现目标初始化；对消失目标暂存模板；对互遮挡目标，建立其在当前帧映射区域间全局二级关联以判断哪些目标间发生了遮挡，并进一步利用块间二级关联定位发生遮挡的块；对断裂目标只需获得其当前帧映射区域；

步骤四、建立块遮挡标志矩阵，并融入模板更新过程，对发生遮挡的块采用遮挡前的模板计算色彩质心转移量，对未发生遮挡的块以上一帧跟踪结果为模板计算当前色彩质心转移量；

步骤五、在当前帧映射扩展区域中选择有效色彩质心，并根据块区域中有效色彩占空比和运动像素占空比计算块融合权值，获得目标全局质心转移向量和最优位置；

步骤六、在目标最优位置处的新映射扩展区域中，分别沿水平和垂直方向顺序统计未发生遮挡的块间有效色彩质心距离，经邻块有效色彩显著度加权获得目标尺度缩放参数。

2.如权利要求1所述的融合显著特征和分块模板的多目标跟踪方法，其特征在于，步骤一具体为：

采用式(1)的阈值迭代算法获取当前帧与参考背景间RGB分量绝对差分图像{|ΔI_r,t|,|ΔI_g,t|,|ΔI_b,t|}的分割阈值，经对二值运动检测图像B_t形态学滤波等处理，获得多个运动检测区域(联通域)外接矩形框尺度和中心坐标，为多目标跟踪限定搜索区域；

${\mathrm{\&tau;}}_{r,t}^{l+1}=\frac{1}{2}(\frac{\underset{|\mathrm{\&Delta;}{I}_{r,t}\left(x\right)|{\&GreaterEqual;\mathrm{\&tau;}}_{r,t}^l}{\mathrm{\&Sigma;}}\left|\mathrm{\&Delta;}{I}_{r,t}\left(x\right)\right|}{\underset{\left|\mathrm{\&Delta;}{I}_{r,t}\left(x\right)\right|\&GreaterEqual;{\mathrm{\&tau;}}_{t,t}^l}{\mathrm{\&Sigma;}}1}+\frac{\underset{\left|{\mathrm{\&Delta;I}}_{r,t}\left(x\right)\right|<{\mathrm{\&tau;}}_{r,t}^l}{\mathrm{\&Sigma;}}\left|{\mathrm{\&Delta;I}}_{r,t}\left(x\right)\right|}{\underset{\left|{\mathrm{\&Delta;I}}_{r,t}\left(x\right)\right|<{\mathrm{\&tau;}}_{r,t}^l}{\mathrm{\&Sigma;}}})---\left(1\right)$

其中，x为像素坐标，B_t(x)＝1和0分别对应运动前景和背景，l为迭代次数，当时，迭代结束，得到R分量背景差分阈值

3.如权利要求1所述的融合显著特征和分块模板的多目标跟踪方法，其特征在于，步骤二具体为：

各运动像素背景绝对差分值进行归一化，获得各运动像素x_i处目标相对背景的色彩u＝[u_r,u_g,u_b]显著度w(u,x_i)；

将目标区域均匀分为L₁×L₂(L₁,L₂∈[2,10])块，根据式(3)计算第n个块的运动像素色彩显著度wⁿ(u,x_i)，色彩质心统计时通过式(4)进行坐标显著度加权；同时通过式(5)计算质心显著度，以赋予强鉴别力色彩更高的质心决定权，建立基于运动、色彩显著特征的目标块质心模型；

$w(u,x_i)=\frac{\left|\mathrm{\&Delta;}{I}_{r,t}\left(x_i\right)\right|M^2+\left|\mathrm{\&Delta;}{I}_{g,t}\left(x_i\right)\right|M+\left|\mathrm{\&Delta;}{I}_{b,t}\left(x_i\right)\right|}{\underset{i}{\mathrm{\&Sigma;}}\left(\right|\mathrm{\&Delta;}{I}_{r,t}\left(x_i\right)|M^2+|\mathrm{\&Delta;}{I}_{g,t}\left(x_i\right)|M+|\mathrm{\&Delta;}{I}_{b,t}\left(x_i\right)\left|\right)}---\left(3\right)$

其中，为第n个块二值区域中“1”的个数，I(x_i)为原图的(M+1)×(M+1)×(M+1)降维图像，为色彩u的质心，δ为狄拉克函数。

4.如权利要求1所述的融合显著特征和分块模板的多目标跟踪方法，其特征在于，步骤三具体为：

基于中心和尺度关联通过式(6)建立一级全局关联，对满足一对一关联的上一帧跟踪目标和当前运动检测区域建立测量-跟踪对应；

对新出现目标即不存在与k对应的s1且第t帧映射区域与检测区域间交集为空集，进行初始化；

对消失目标即不存在与s1对应的k且映射区域中无运动像素，进行暂存模板，若后续连续10～15帧中均未检测到运动像素存在，则退出跟踪；

对互遮挡目标即多个s1对应同一个k，在其上一帧跟踪矩形的当前帧映射区域间通过式(7)建立二级全局关联，以判断哪些目标间发生了互遮挡；并利用式(8)所示的二级块级关联定位发生遮挡的块；对断裂目标即多个k(k≥1)满足空集，只需获得目标s1的映射区域

一级全局关联： $\left(\right|{\hat{x}}_{t-1}^{s1}-{\stackrel{\&OverBar;}{x}}_t^k|\&le;{\mathrm{\&alpha;}}_1{\hat{S}}_{t-1}^{s1})\&cap;\left(\right|{\hat{S}}_{t-1}^{s1}-{\stackrel{\&OverBar;}{S}}_t^k|\&le;{\mathrm{\&alpha;}}_2{\hat{S}}_{t-1}^{s1})---\left(6\right)$

二级全局关联： $|{\tilde{x}}_t^{s1}-{\tilde{x}}_t^{s2}|\&le;\frac{1}{2}\mathrm{\&beta;}({\tilde{S}}_t^{s1}+{\tilde{S}}_t^{s2})---\left(7\right)$

二级块级关联： $|{\tilde{x}}_t^{n1,s1}-{\tilde{x}}_t^{n2,s2}|\&le;\frac{1}{2}\mathrm{\&beta;}({\tilde{S}}_t^{n1,s1}+{\tilde{S}}_t^{n2,s2})---\left(8\right)$

其中，和分别表示第k个运动检测矩形框中心坐标和尺度；、和分别表示第s1个目标跟踪矩形框中心坐标和尺度；和分别表示目标映射矩形框中心坐标、第n1个块中心坐标和尺度；确定的检测区域；确定的映射区域；比例因子α₁∈[0.3,0.5]、α₂∈[0.1,0.3]和β∈[0.7,0.9]。

5.如权利要求4所述的融合显著特征和分块模板的多目标跟踪方法，其特征在于，步骤四具体为：

对满足式(8)中二级块级关联的块赋予遮挡标志“1”，否则置为“0”，即未发生遮挡，通过式(9)建立L₁×L₂遮挡标志矩阵；并将该矩阵融入模板更新过程，以使目标模板更新具有遮挡自适应能力；

式(10)、式(11)给出目标s1的第n1个块模板更新算法，当目标满足一对一全局关联、为新出现或断裂目标时，块遮挡标志为“0”，使得该更新算法具有普遍适用性；

$X_{u,t}^{n1,s1}={\mathrm{\&upsi;}}_t^{n1,s1}\&CenterDot;X_{u,t-1}^{n1,s1}+(1-{\mathrm{\&upsi;}}_t^{n1,s1})\&CenterDot;{\hat{X}}_{u,t-1}^{n1,s1}---\left(10\right)$

$p_{u,t}^{n1,s1}={\mathrm{\&upsi;}}_t^{n1,s1}\&CenterDot;p_{u,t-1}^{n1,s1}+(1-{\mathrm{\&upsi;}}_t^{n1,s1})\&CenterDot;{\hat{p}}_{u,t-1}^{n1,s1}---\left(11\right)$

其中，和分别为块色彩u质心和显著度模板，和分别为目标跟踪结果框对应块色彩质心和显著度。

6.如权利要求1-5任一项所述的融合显著特征和分块模板的多目标跟踪方法，其特征在于，步骤五具体为：

根据确定的映射扩展矩形区域的块色彩质心模型与模板间共有质心显著度通过式(12)选择有效色彩质心，质心显著度重新归一化后利用式(13)计算块质心转移向量其中，Δ取2～8个像素。

${\stackrel{\&RightArrow;}{\mathrm{\&gamma;}}}_t^{n1,s1}={\mathrm{\&upsi;}}_t^{n1,s1}\&CenterDot;(X_{u,t}^{n1,s1}-X_{u,t-1}^{n1,s1})+\frac{1}{\underset{u}{\mathrm{\&Sigma;}}{q}_{u,t}^{n1,s1}}\underset{u}{\mathrm{\&Sigma;}}({\tilde{X}}_{u,t}^{n1,s1}-X_{u,t}^{n1,s1})\&CenterDot;q_{u,t}^{n1,s1}---\left(13\right);$

通过式(14)、式(15)、式(16)，利用块区域中有效色彩占空比运动像素占空比的Sigmoid函数值计算块融合权值以提高包含重要质心转移信息块在目标全局质心转移向量计算中的表决权，最终获得目标最优中心位置运动像素占空比为零时，有效色彩占空比为零，从而有其中，为第n1个块的面积。

${\stackrel{\&RightArrow;}{x}}_t^{s1}=\frac{1}{\underset{n1=1}{\overset{L_1\&times;L_2}{\mathrm{\&Sigma;}}}{\mathrm{\&Phi;}}_t^{n1}}\underset{n1=1}{\overset{L_1\&times;L_2}{\mathrm{\&Sigma;}}}({\mathrm{\&Phi;}}_t^{n1}\&CenterDot;{\stackrel{\&RightArrow;}{\mathrm{\&gamma;}}}_t^{n1,s1})---\left(15\right)$

${\hat{x}}_t^{s1}={\hat{x}}_{t-1}^{s1}+{\stackrel{\&RightArrow;}{x}}_t^{s1}---\left(16\right).$

7.如权利要求1-5任一项所述的融合显著特征和分块模板的多目标跟踪方法，其特征在于，步骤六具体为：

对为中心的目标新映射扩展区域分块，根据上述过程获得块有效色彩质心和显著度分别沿水平和垂直方向顺序计算未发生遮挡的相邻块间有效色彩质心距离，并利用相邻块有效色彩显著度乘积的归一化值对块质心距离加权，获得目标平均质心距离

通过式(17)、式(18)、式(19)，利用邻帧质心距离比值计算水平和垂直方向目标尺度缩放参数以自适应更新目标尺度

${\widehat{\mathrm{\&upsi;}}}_t^{n1,s1}=(1-{\mathrm{\&upsi;}}_t^{n1,s1})\&CenterDot;(1-{\mathrm{\&upsi;}}_t^{n1+1,s1})---\left(18\right)$

其中，遗忘因子γ∈[0,1]。