CN102129695A - 基于遮挡物建模的有遮挡情况下的目标跟踪方法 - Google Patents

Abstract

本发明为一种基于遮挡物建模的有遮挡情况下的目标跟踪方法，步骤包括：对于每一帧输入图像，根据在初始帧建立的目标模型，利用均值漂移算法求目标的状态；检测遮挡是否发生，当检测到目标被其他物体遮挡时，对遮挡物建模，以确定目标可能重现的区域，当没有检测到目标被遮挡，则输出目标的状态；通过寻找遮挡物的轮廓对遮挡物进行建模，遮挡物的轮廓通过改进的主动轮廓方法来实现；在目标可能重现的区域搜索目标，并对目标进行确认，若是目标，则输出目标的状态，若不是目标，则在目标可能重现的区域继续搜索目标，在对目标的搜索过程中遮挡物的轮廓也在进行动态的更新，以保证搜索区域的准确性。

Description

基于遮挡物建模的有遮挡情况下的目标跟踪方法

技术领域

本发明属于图像处理技术领域，具体涉及一种动态场景下基于遮挡物建模的有遮挡情况下的目标跟踪方法。

背景技术

基于视觉信息的目标跟踪已经成为当前计算机视觉领域中的热点问题之一，并被广泛地应用到视频监控、智能交通、图像压缩、视频检索、机器人导航、人机交互、虚拟现实以及军事等众多领域中。

遮挡问题是目标跟踪过程中存在的具有挑战性的问题，它能导致跟踪精度的下降甚至跟踪失败，特别当目标发生深度遮挡或全部被遮挡时。针对目标跟踪过程中存在的遮挡问题，研究人员提出了众多的解决方法。H.T.Nguyen和A.W.M.Smeulders(H.T.Nguyen and A.W.M.Smeulders.“FastOccluded Object Tracking by a Robust Appearance Filter，”IEEE Trans.Pattern Anal.Mach.Intell.，vol.26，no.8，pp.1099-1104，Aug.2004)针对遮挡情况对模板匹配方法进行了改进，提出了一种基于鲁棒表面滤波器的快速跟踪算法。在对模板升级时，目标的表面特征采用了鲁棒的卡尔曼滤波器对每一个像素进行实时平滑，这样处理后的模板对部分遮挡具有较强的鲁棒性，并对严重遮挡具有精确的检测和处理能力。C.Gentile等(C.Gentile，O.Camps，and M.Sznaier.“Segmentation for Robust Tracking in the Presence of Severe Occlusion，”IEEE Trans.Image Process.，vol.13，no.2，pp.166-178，Feb.2004)在传统分割算法的基础上提出了一种新的目标分割方法，将目标分割成为多个部分，分别采用模板匹配的方法进行跟踪，并通过表决方法选择最佳的全局变换，对部分遮挡或严重遮挡具有较强的鲁棒性。A.Yilmaz和M.Shah，(A.Yilmaz and M.Shah，“Contour-Based Object Tracking with Occlusion Handling in Video Acquired Using MobileCameras，”IEEE Trans.Pattern Anal.Mach.Intell.，Vol.26，No.11.pp.1531-1536，Nov.，2004)提出了一种能够跟踪整个目标区域，并对目标形状、光线变化以及遮挡鲁棒的方法，当遮挡发生时，通过重现被遮挡目标的轮廓，实现对遮挡目标的跟踪。J.Maccormick和A.Blake(J.Maccormick and A.Blake.“AProbabilistic Exclusion Principle for Tracking Multiple Objects，”Int.J.Comput.Vis.，vol.39，no.1，pp.57--71，2000)针对多目标跟踪中，目标间的相互遮挡问题，提出了一种概率排除法则，避免目标间交互时，由于目标具有相近的特征，出现错误的跟踪。H.Tao等(H.Tao，H.S.Sawhney，and R.Kumar，“Object Trackingwith Bayesian Estimation of Dynamic Layer Representations，”IEEE Trans.Pattern Anal.Mach.Intell.，vol.24，no.1，pp.75-89，Jan.，2002)将每一帧图像分解为一个背景层和多个前景层，并利用了运动层的时间连续性和目标形状的空间限制特性，引入了包括形状、运动和表面信息，将这些量的建模和估计归结到最大后验概率(MAP)框架中去，并应用最大期望算法(EM)去优化，为了减少计算量，应用了运动层的高斯先验形状模型。C.Lerdsudwichai等(C.Lerdsudwichai，M.Abdel-Mottaleb，A-N.Ansari，“Tracking multiple people with recoveryfrom partial and total occlusion，”Pattern Recog.，38，1059-1070，2005)首先检测人脸的存在，继而建立人脸的非参数模型，利用均值漂移算法来跟踪目标，为了处理全部遮挡问题，该方法在跟踪人的过程中建立了每个人所穿衣服的颜色模型，并通过目标运动速度和轨迹来预测目标发生遮挡后可能出现的位置。W.Hu等(W.Hu，X.Zhou，M.Hu，and S.Maybank，“Occlusion Reasoning forTracking Multiple People，”IEEE Trans.Circuits Syst.Video Technol.，Vol..19，No.1，pp.114-121，Jan.2009)针对多人跟踪中存在的目标检测互相遮挡问题，提出了一种遮挡推理策略，通过推测目标间的遮挡关系来处理遮挡问题。

这类方法往往通过对目标模型和跟踪方法的改进来解决遮挡问题，但多数只适用于短时部分遮挡，当目标被严重遮挡或全部长时间遮挡时，由于目标可观测信息较少，这类方法往往会失效。

发明内容

(一)要解决的技术问题

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于遮挡物建模的有遮挡情况下的目标跟踪方法，通过对遮挡物的建模，来处理目标被部分遮挡和全部遮挡情况下的目标跟踪问题。

(二)技术方案

为达到上述目的，本发明提供基于遮挡物建模的有遮挡情况下的目标跟踪方法，该方法包括步骤如下：

步骤S1：对于第t帧输入图像，根据在初始帧建立的目标模型，利用均值漂移算法求目标的状态，包括目标在输入图像中的位置和目标尺寸；

步骤S2：检测遮挡是否发生，当检测到目标被其他物体遮挡时，则执行步骤S3；当没有检测到目标被遮挡，则输出目标的状态；

步骤S3：对遮挡物建模，确定目标重现的区域，通过寻找遮挡物的轮廓来实现对遮挡物的建模，并根据遮挡物的轮廓来确定目标可能重现的区域；

步骤S4：在目标可能重现的区域搜索目标，并对目标进行确认，若是目标，则输出目标的状态；若不是目标则返回步骤S3，继续搜索目标，在对目标的搜索过程中遮挡物的轮廓也在进行动态的更新，以保证搜索区域的准确性。

(三)有益效果：

本发明的有益效果在于：本发明通过对遮挡物进行建模来确定被遮挡目标可能出现的区域并搜索目标，从而实现跟踪过程中对目标被部分遮挡或全部遮挡情况的处理。解决了现有技术在目标跟踪中，当目标发生深度遮挡甚至完全遮挡时，由于目标可观测信息较少，只通过对目标模型和跟踪方法的改进来解决遮挡，往往难以获得的好的处理结果的问题。本发明(1)解决了传统目标跟踪算法难以处理目标被长时间全部遮挡的问题；(2)可靠性高，不存在传统预测算法存在的不确定性因素；(3)实时性好，准确性和稳定性高。

附图说明

图1为本发明的总体流程图

图2为当目标被完全遮挡情况下的目标跟踪实例。

具体实施方式

下面结合附图对本发明的实施例作详细的说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述实施例。

如图1所示，本发明包括以下步骤：

第一步，对于第t帧输入图像，根据在初始帧建立的目标模型，利用均值漂移算法求目标的状态，包括目标在输入图像中的位置和目标尺寸；

第二步，检测遮挡是否发生，当检测到目标被其他物体遮挡时，则执行第三步；当没有检测到目标被遮挡，则输出目标的状态；

第三步，对遮挡物建模，确定目标重现的区域，通过寻找遮挡物的轮廓来实现对遮挡物的建模，并根据遮挡物的轮廓来确定目标可能重现的区域；

第四步，在目标可能重现的区域搜索目标，并对目标进行确认，若是目标，则输出目标的状态；若不是目标则返回第三步，继续搜索目标，在对目标的搜索过程中遮挡物的轮廓也在进行动态的更新，以保证搜索区域的准确性。

所述第一步基于均值漂移算法的目标跟踪，具体如下：

目标外观的表示采用YCbCr颜色空间的Cb、Cr分量的概率密度分布来表示，以减少光线变化对跟踪和遮挡检测带来的影响，具体为采用具有H个区间的直方图来表示。目标模型表示为{q_h}_{h＝1，...，H}且满足

位置坐标为y的候选目标可以表示为{p_h(y)}_{h＝1，...，H}，且满足

那么，候选目标和目标模型间的相似性度量可以用Bhattacharyya系数ρ(y)来表示：

$\mathrm{\ρ}\left(y\right)=\underset{u=1}{\overset{H}{\mathrm{\Σ}}}\sqrt{p_u\left(y\right)q_u}---\left(1\right)$

那么目标跟踪就是要寻找目标的最优位置坐标y，使目标模型和候选目标最相似，这个过程是利用均值漂移算法通过循环迭代来实现的。

所述第二步遮挡的检测，具体如下：

为了检测遮挡的发生，将目标外观均匀地分成多块，根据目标子块相似性的变化来判断遮挡的发生，以及遮挡发生的方向。这里将目标在运动方向上分成三部分，依次记为A，B，C，其对应的目标子块模型分别记为{q_h ^A}_{h＝1，...，H}，{q_h ^B}_{h＝1，...，H}和{q_h ^C}_{h＝1，...，H}。在跟踪过程中，目标位置确定后每个子块与对应目标子块模型的相似性度量分别记为ρ_A(y)，ρ_B(y)和ρ_C(y)，它们都采用Bhattacharyya系数来度量。那么目标在跟踪过程中遮挡的发生可以通过下式来检测：

其中，Occ表示遮挡是否发生以及遮挡发生的方向，当Occ＝0时表示没有遮挡发生，当Occ＝1时表示遮挡发生在目标的运动方向上，当Occ＝-1时表示遮挡发生在目标运动的反方向上。

通过上面可以检测到遮挡是否发生，以及遮挡发生的方向，如果检测到了遮挡的发生，则进行下面的第三步，对遮挡物进行建模，以确定目标的搜索区域。

所述第三步遮挡物建模，具体如下：

当目标被遮挡时，特别是被深度遮挡或全部遮挡时，如果能够确定遮挡物的边缘轮廓，那么目标重新出现的区域便可以确定。这里采用改进的主动但轮廓方法来寻找遮挡物的边缘轮廓，这里的主动轮廓并非封闭的曲线，而是具有首尾控制点的线段，线段由多个控制点连接构成，通过最小化总的能量函数使控制点移动到遮挡物的边缘。

遮挡物建模的主要步骤包括：在目标被遮挡区域初始化控制点，并对首尾控制点增加一个在运动方向的约束；同时，为了解决主动轮廓对初始控制点敏感以及收敛速度慢或数值不稳定的问题，在能量函数中加入一个外部能量函数，使控制点稳定快速地收敛到遮挡物的边缘；最后，采用贪心算法寻找遮挡物的轮廓。对于运动的遮挡物，以及运动的摄像头的情况，由于遮挡物的边缘轮廓会随时间发生变化，在遮挡物轮廓确定后，需要对遮挡物轮廓进行实时的更新，直至重新搜索到目标。

(1)控制点初始化。当检测到目标被遮挡时，首先对构成主动轮廓的控制点进行位置初始化：

$\left\{\begin{array}{c}{x}_{i0}=X_0+\mathrm{Occ}\·w\\ y_{i0}=Y_0-h/2+h\·i/n\end{array}\right.---\left(3\right)$

其中，(X₀，Y₀)表示目标的中心坐标，(x_i0，y_i0)表示第i个控制点的初始位置，n为控制点的个数，w是和目标框宽度成正比例的常数，h是和目标框的高度成正比例的常数。

(2)能量函数。所有控制点的集合可以表示为S＝[s₁，s₂，…，s_n]，其中s_i＝(x_i，y_i)，i∈{1，n}，那么可以通过最小化以下总的能量函数E来使控制点移动到遮挡物的边缘处：

$E=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{\α}\left(s_i\right)E_{\mathrm{cont}}\left(s_i\right)+\mathrm{\β}\left(s_i\right)E_{\mathrm{curv}}\left(s_i\right)+\mathrm{\γ}\left(s_i\right)E_{\mathrm{image}}\left(s_i\right)+\mathrm{\η}\left(s_i\right)E_{\mathrm{push}}\left(s_i\right)+\mathrm{\ξ}\left(s_i\right)E_{\mathrm{cons}}\left(s_i\right)---\left(4\right)$

其中，s_i表示第i个控制点，n为所用控制点的个数，E表示总的能量函数，第一个能量分量E_cont(s_i)用来保证控制点的连续性，第二个能量分量E_curv(s_i)用来保证控制点所构成曲线的光滑性，第三个能量分量E_image(s_i)用来保证控制点收敛到遮挡物的边缘，第四个能量分量E_push(s_i)是为了解决主动轮廓对控制点初始位置敏感的问题以及减少噪声的干扰，保证控制点沿着要求的方向移动，第五个能量分量E_cons(s_i)表示外部限制，是为了控制所有控制点中的第一个和最后一个沿着要求的轨迹移动；参数α(s_i)，β(s_i)，γ(s_i)，η(s_i)，ξ(s_i)表示每个能量分量对应的权值。

第一个能量分量E_cont(s_i)是为了保证控制点的连续性，当相邻控制点间存在较大间隙时，E_cont(s_i)的值会变大，可以用下式来计算：

E_cont(s_i)＝|d-|s_i-s_i-1||＝|d-(x_i-x_i-1)²-(y_i-y_i-1)²|    (5)

其中，|s_i-s_i-1|表示相邻控制点s_i和s_i-1之间的距离，

表示所有控制点间的平均距离。

第二个能量分量E_curv(s_i)用来保证控制点所构成曲线的光滑性，可以用下式计算：

$E_{\mathrm{curv}}\left(s_i\right)=\frac{{\stackrel{\→}{\mathrm{\μ}}}_i\·{\stackrel{\→}{\mathrm{\μ}}}_{i+1}}{\left|{\stackrel{\→}{\mathrm{\μ}}}_i\right|\·\left|{\stackrel{\→}{\mathrm{\μ}}}_{i+1}\right|}$

$=\frac{(x_i-x_{i-1})(x_{i+1}-x_i)+(y_i-y_{i-1})(y_{i+1}-y_i)}{{\left(\right[{(x_i-x_{i-1})}^2+{(y_i-y_{i-1})}^2\left]\right[{(x_{i+1}-x_i)}^2+{(y_{i+1}-y_i)}^2\left]\right)}^{1/2}}---\left(6\right)$

其中，

表示两个相邻点构成连线的法向量。

第三个能量分量E_image(s_i)用来保证控制点收敛到遮挡物的边缘，通常用图像的梯度来表示，可以通过下式来计算：

E_image(s_i)＝-(|grad_x(s_i)|²+|grad_y(s_i)|²)

＝-(|I(x_i-1，y_i)-I(x_i+1，y_i)|²+|I(x_i，y_i-1)-I(x_i，y_i+1)|²)    (7)

其中，grad_x(s_i)表示控制点s_i在x坐标方向的梯度，grad_y(s_i)表示控制点s_i在y坐标方向的梯度，I(x_i，y_i)为图像在点(x_i，y_i)的像素值。

第四个能量分量E_push(s_i)是为了解决主动轮廓对控制点初始位置敏感的问题以及减少噪声的干扰，假设目标沿图像上的X方向移动，且遮挡发生在目标的运动方向上，那么E_push(s_i)可以定义为：

E_push(s_i)＝-Occ·(x_i-x_i0)²    (8)

其中，Occ表示检测到的遮挡发生的方向，E_push(s_i)能防止主动轮廓收敛到总的能量函数E的局部极小值，同时推动控制点向着遮挡物的边缘移动，使控制点稳定快速地收敛到遮挡物的边界。

第五个能量分量E_cons(s_i)表示外部约束。传统的主动轮廓方法往往构成封闭的曲线，这里采用的是非封闭的曲线来寻找遮挡物某一方向上的边缘位置，E_cons(s_i)是为了控制第一个和最后一个沿着要求的轨迹移动：

其中，Inf表示无穷大的正数，f(x_i，y_i)＝0表示对第一个和最后一个控制点设定的约束，即E_cons(s_i)是针对第一个和最后一个控点设计的，对于不在首尾处的控制点E_cons(s_i)＝0。

下一步将介绍如何最小化总的能量函数和寻找遮挡物的边缘轮廓。

(3)搜索遮挡物边缘轮廓。在每个控制点周围取m个相邻点，利用贪婪算法在这些相邻点中寻找使总的能量函数最小的点，通过不断的循环，直到搜索到遮挡物的边缘轮廓。总的能量函数的每一分量须经过归一化：

${\hat{E}}_{\mathrm{\φ}}\left(s\right)=(\min -E_{\mathrm{\φ}}\left(s\right))/(\max -\min )---\left(10\right)$

其中，为归一化后的能量函数分量，φ∈{cont，curv，image，push，cons}，max和min表示能量函数分量E_φ(s)在所有m个相邻点中的最大值和最小值。

对于所有控制点，循环搜索其最优位置，直到移动的控制点的个数小于某一阈值，则认为已搜索到最优轮廓。为了减小计算量，在能够有效描述遮挡物局部轮廓的前提下，控制点的个数应尽可能的少。

下一步将在遮挡物建模的基础上，搜索和重新捕获目标。

所述第四步目标的搜索和重现，具体如下：

在得到遮挡物的轮廓信息后，目标重新出现的区域便可以限定，在这些区域搜索目标并对其进行确认，直至重新捕获目标。

在对目标的搜索过程中遮挡物的轮廓也在进行动态的更新，以保证搜索区域的准确性。在对遮挡物轮廓进行更新时，由于控制点初始位置距离真实的遮挡物边缘较近，为了提高轮廓更新的稳定性，令E_push(s_i)＝0。

本实施例具体实施过程如下：

步骤1：在第一帧图像上手动选取目标区域，目标区域采用矩形框表示，建立目标的颜色直方图模型，颜色直方图模型采用YCbCr颜色空间的Cb、Cr分量，直方图区间个数为16×16。

步骤2：将目标外观在目标运动方向上分为三部分，分别建立三个部分的子目标模型，在跟踪过程中根据目标整体相似性的变化，以及各子目标相似性的变化，利用公式(2)来检测遮挡的发生，遮挡发生的阈值设为th＝0.6。

步骤3：当检测到遮挡发生时，初始化主动轮廓控制点，并搜索遮挡物的边缘轮廓。控制点个数为25个，总的能量函数(公式(4))中每个分量对应的权值设为常数，即α＝γ＝ξ＝1，β＝0.6，η＝0.4；在计算grad_x(s_i)和grad_y(s_i)时，为了减少噪声的干扰，当grad_x(s_i)和grad_y(s_i)的绝对值小于15时，则令grad_x(s_i)和grad_y(s_i)分别为0；每一个控制点在3×3的邻域上寻找使能量函数最小的点；当移动的控制点的个数小于2时，则认为已找到遮挡物的轮廓。

步骤4：当遮挡物轮廓确定后，在遮挡物轮廓附近的区域搜索目标，直到目标重新出现，并被确认。在对目标的搜索过程中对遮挡物的轮廓进行动态的更新，以保证搜索区域的准确性。

如图2示出当目标被完全遮挡情况下的目标跟踪实例，实施例证明本发明所提供的方法，能够有效处理跟踪过程中的目标被长时间和全部遮挡的情况。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.一种基于遮挡物建模的有遮挡情况下的目标跟踪方法，其特征是通过对遮挡物的建模，来处理目标被部分遮挡和全部遮挡情况下的目标跟踪问题，包括以下步骤：

步骤S1：对于第t帧输入图像，根据在初始帧建立的目标模型，利用均值漂移算法求目标的状态，包括目标在输入图像中的位置和目标尺寸；

步骤S2：检测遮挡是否发生，当检测到目标被其他物体遮挡时，则执行步骤S3；当没有检测到目标被遮挡，则输出目标的状态；

步骤S3：对遮挡物建模，确定目标重现的区域，通过寻找遮挡物的轮廓来实现对遮挡物的建模，并根据遮挡物的轮廓来确定目标可能重现的区域；

步骤S4：在目标可能重现的区域搜索目标，并对目标进行确认，若是目标，则输出目标的状态；若不是目标则返回步骤S3，继续搜索目标，在对目标的搜索过程中遮挡物的轮廓也在进行动态的更新，以保证搜索区域的准确性。

2.根据权利要求1所述的基于遮挡物建模的有遮挡情况下的目标跟踪方法，其特征在于，所述遮挡物的轮廓是采用改进的主动轮廓方法来确定，遮挡物的轮廓通过多个的控制点来描述，并通过最小化总的能量函数E使控制点收敛到遮挡物的边缘：

$E=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{\α}\left(s_i\right)E_{\mathrm{cont}}\left(s_i\right)+\mathrm{\β}\left(s_i\right)E_{\mathrm{curv}}\left(s_i\right)+\mathrm{\γ}\left(s_i\right)E_{\mathrm{image}}\left(s_i\right)+\mathrm{\η}\left(s_i\right)E_{\mathrm{push}}\left(s_i\right)+\mathrm{\ξ}\left(s_i\right)E_{\mathrm{cons}}\left(s_i\right),$

其中，s_i表示第i个控制点，n为所用控制点的个数，E表示总的能量函数，第一个能量分量E_cont(s_i)用来保证控制点的连续性，第二个能量分量E_curv(s_i)用来保证控制点所构成曲线的光滑性，第三个能量分量E_image(s_i)用来保证控制点收敛到遮挡物的边缘，第四个能量分量E_push(s_i)是为了解决主动轮廓对控制点初始位置敏感的问题以及减少噪声的干扰，保证控制点沿着要求的方向移动，第五个能量分量E_cons(s_i)表示外部限制，是为了控制所有控制点中的第一个和最后一个沿着要求的轨迹移动；参数α(s_i)，β(s_i)，γ(s_i)，η(s_i)，ξ(s_i)分别表示每个能量分量对应的权值。

3.根据权利要求2所述的基于遮挡物建模的有遮挡情况下的目标跟踪方法，其特征在于，所述第四个能量分量E_push(s_i)表示如下：

E_push(s_i)＝-Occ·(x_i-x_i0)²，

其中，Occ表示检测到的遮挡发生的方向，x_i表示第i个控制点的横坐标位置，x_i0表示第i个控制点的初始横坐标位置，E_push(s_i)能防止主动轮廓收敛到总的能量函数E的局部极小值，同时推动控制点向着遮挡物的边缘移动，使控制点稳定快速地收敛到遮挡物的边界，这里假设目标在水平方向移动。

4.根据权利要求2所述的基于遮挡物建模的有遮挡情况下的目标跟踪方法，其特征在于，所述第五个能量分量E_cons(s_i)表示如下：

通过第五个能量分量E_cons(s_i)的外界约束，使第一个和最后一个控制点沿着要求的轨迹移动，其中，Inf表示无穷大的正数，(x_i，y_i)表示第i个控制点的坐标位置，f(x_i，y_i)＝0表示对第一个和最后一个控制点设定的约束，即E_cons(s_i)是针对第一个和最后一个控点设计的，对于不在首尾处的控制点E_cons(s_i)＝0。