CN101777184B - 基于局部距离学习和排序队列的视觉目标跟踪方法 - Google Patents

Abstract

本发明为基于局部距离学习和排序队列的视觉目标跟踪方法，包括：步骤1：用目标框和背景框在第一帧图像中选定目标及其附近背景，在各框中随机采样得到表示目标及其局部背景的两个小图像片集；学习各目标小图像片的局部距离度量函数并建立其排序队列，计算该排序队列的纯净度并建立目标模型；步骤2：对下一帧图像随机采样得到一个新的小图像片集；计算目标模型中各小图像片与所有新小图像片的距离并建立一个排序队列；根据新小图像片在各排序队列中的位置计算其置信度并建立置信图；步骤3：利用置信图确定新一帧图像中目标的位置；步骤4：更新目标小图像片集和背景小图像片集；步骤5：更新目标模型及局部距离度量函数和纯净度，返回步骤2。

Description

基于局部距离学习和排序队列的视觉目标跟踪方法

技术领域

本发明属于计算机视觉领域，涉及一种序列图像目标跟踪方法。

背景技术

视觉目标跟踪是视频分析的一个基础环节，不仅在视频监视、智能交通、人机交互等有广泛的应用前景，而且对视频序列中目标运动轨迹和行为分析等高级语义的提取和检索具有重要的意义。视频序列场景复杂多变，被跟踪目标多数处于运动状态，使得其背景变化无常。准确稳定的跟踪对于后续算法性能的提高有极大帮助。

一类重要的、也是当前主流的序列图像目标跟踪算法是基于目标检测与分类的判别式方法。这类方法主要由以下三部分组成。第一部分是目标的表达，现有的方法包括用图像像素直接构成目标向量、目标轮廓曲线、整体或区域直方图、随机小图像片集合等。第二部分是分类器的选择与设计，现有的方法包括SVM、AdaBoost等。第三部分是具体模型或分类器的实时更新，各种跟踪算法基本上采用启发式的更新规则。通过第二部分和第三部分的反复循环，这类方法不断在下一帧中确定目标的位置，从而实现对目标的跟踪。

现有的以上这类主流方法的主要问题出现在模型或者分类面的更新上。因为判别式方法是采用分类面来对目标和背景建模的，而这样的模型对于目标来说往往过于粗糙了，所以在更新过程中很容易造成分类面的偏差。偏差的积累就造成了被跟踪目标的丢失。

发明内容

现有技术在视频目标跟踪中经常遇到的经典困难包括视频序列中被跟踪目标与背景相似，以及目标和背景外观随时间变化等，现有技术受这些困难的影响比较大。本发明的目的是提供一种基于局部距离学习和排序队列的视觉目标跟踪方法来大大减轻上述经典困难对目标跟踪算法性能的不利影响。

为了达成所述目的，本发明提供一种基于局部距离学习和排序队列的视觉目标跟踪方法，该方法的步骤包括：

步骤1：用目标框和背景框在一个视频文件的第一帧图像中选定需要被跟踪的目标以及该被跟踪目标附近的背景，并在两个框中随机采样得到表示图像中被跟踪目标及被跟踪目标局部背景的两个小图像片集合；图像中被跟踪目标的小图像片集合由多个目标小图像片组成，图像中被跟踪目标的局部背景的集合由多个背景小图像片组成；用机器学习的方法学习每一个目标小图像片的局部距离度量函数；根据每个目标小图像片的局部距离度量函数，计算该目标小图像片与第一帧图像中除了该目标小图像片之外的所有其它小图像片之间的距离，根据这些距离的大小建立该目标小图像片所对应的排序队列，计算该排序队列的纯净度，并由能产生高纯净度排序队列的目标小图像片组成目标模型；

步骤2：从视频文件中读取紧接着上一帧图像的新一帧图像，对新一帧图像随机采样，得到一个新的小图像片集合；

步骤3：对于目标模型中的每个目标小图像片，根据该目标小图像片的局部距离度量函数，计算该目标小图像片与在新一帧图像中采样得到的所有小图像片之间的距离，根据这些距离的大小建立新一帧图像中所有小图像片的一个排序队列；

步骤4：对于每个新一帧图像中的小图像片，根据这个小图像片在各排序队列中的位置，并利用算得的纯净度计算这个小图像片的置信度；根据所有小图像片的置信度及所有小图像片在新一帧图像中的位置建立在新一帧图像中的置信图；

步骤5：根据置信图，利用均值移动算法确定被跟踪目标在新一帧图像中最有可能的位置，并将该位置认定为被跟踪目标在新一帧图像中的新位置，将目标框移至该新位置，并输出显示该新位置；

步骤6：根据被跟踪目标的新位置和新一帧图像中各小图像片的置信度，更新目标小图像片集合和背景小图像片集合；

步骤7：更新目标模型中的部分目标小图像片及其局部距离度量函数，返回步骤2。

其中，所述目标小图像片所对应的排序队列，是由若干和该目标小图像片距离最近的小图像片构成，其距离越小的小图像片在排序队列中的位置越靠前。

其中，所述采用随机采样方法是从包围被跟踪目标的目标框中提取小图像片，目标框是与被跟踪目标大小基本一致的矩形图像区域，用所有这些小图像片中具有高纯净度排序队列的小图像片所构成的集合表示被跟踪目标；以及所述采用随机采样的方法是从包围目标框的更大的矩形背景框中提取小图像片，用所有这些小图像片所构成的集合表示图像中被跟踪目标的局部背景。

其中，以所述用机器学习的方法学习每一个目标小图像片的局部距离度量函数，是使目标小图像片集与背景小图像片集分别作为正、负训练样本集，利用凸二次优化方法，学习每一个目标小图像片的局部距离度量函数。

其中，所述一个排序队列的纯净度的计算是计算该排序队列中目标小图像片的统计规律。

其中，所述置信度计算是根据在新一帧图像中采样得到的小图像片在各排序队列中的位置统计量，以及各排序队列的纯净度，计算新一帧图像中小图像片属于被跟踪目标可能性的统计量。

其中，所述更新目标小图像片集合和背景小图像片集合是根据新一帧图像中小图像片的二维像素坐标及其置信度，标示那些位于新位置上的目标框内且具有足够大置信度的小图像片为新一帧图像中的目标小图像片，其余为背景小图像片。

其中，更新部分目标小图像片的局部距离度量函数是根据在新一帧图像中新确定的目标小图像片集合和背景小图像片集合，利用上一帧目标小图像片集合中各目标小图像片所对应局部距离度量函数，建立新一帧图像中的所有小图像片的排序队列，并计算所有排序队列的纯净度，保留纯净度大的上一帧图像中的目标小图像片和相应局部距离度量函数在新一帧图像中继续有效；纯净度小的目标小图像片被从新一帧图像中选出的目标小图像片替代，并学习新选出的目标小图像片的局部距离度量函数，计算新的纯净度；在新一帧图像中继续有效的目标小图像片和替代原来纯净度低的目标小图像片的新的目标小图像片构成了新的目标模型。

本发明的有益效果：本发明使得上述经典困难对于新方法跟踪性能的不利影响要明显小于对现有视觉目标跟踪方法性能的不利影响。本发明针对序列图像中目标和场景外观复杂变化的特点，利用小图像片集合表达被跟踪目标及其局部背景，并通过机器学习的方法学习局部距离度量函数并计算排序队列纯净度的实时变化，从而明显提高了跟踪算法处理复杂目标和背景的准确度和稳定性。本发明适用于视频序列中一般物体的跟踪。本发明通过在现有技术的第二部分和第三部分引入距离学习和排序队列方法，极大地增强了本发明所采用的模型描述目标和背景的能力。从本质上讲，引入上述距离学习和排序队列方法就是将判别式模型和产生式或者说描述式模型结合起来，从而使模型在更新过程中更能适应目标的真实变化，本发明的方法也就更加鲁棒。

附图说明

图1是本发明的方法流程图；

图2是目标小图像片集合和背景小图像片集合示意图；

图3是局部距离学习样本选取示意图；

图4是置信图示意图。

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

请参考图1，描述本发明的方法具体实施步骤如下。

在以下步骤中，t表示一个视频文件的帧序号，比如t＝1表示第1帧图像，t＝2表示第2帧图像，以此类推。在一个视频文件的第一帧图像中，人工标定一个初始目标框X₁，表示被跟踪目标在第1帧图像中所在的位置，如图2中实线框示出为目标框。从初始目标框X₁中随机抽取N个目标小图像片，构成目标小图像片集合 $P_t^F=\left\{p_i\right\},$ 这里及以下叙述中，F表示目标，如图2中左上方椭圆中的小图像片所示；如图2中虚线框内与实线框外的区域示出的为目标框外周围区域，从目标框外周围区域随机抽取M个背景小图像片，构成局部背景小图像片集合 $P_t^B=\left\{p_j\right\},$ 这里及以下叙述中，B表示背景，如图2中左下方椭圆中的小图像片所示。对于每个目标小图像片p_i，取该目标小图像片在特征空间中的若干邻近小图像片作为训练样本集合，如图3示出的表示全体样本集合的大椭圆中，其中虚线所包围的样本所示。训练样本集合中的目标小图像片是正训练样本，而局部背景小图像片是负训练样本。在以下叙述中，背景小图像片即指局部背景小图像片。通过构造一个凸2次优化函数来学习局部距离度量函数的权向量 $w_t^i=[w_t^{i,1},w_t^{i,2},...,w_t^{i,K}],$ 使得目标小图像片p_i和任意一个目标或者背景小图像片p_j之间的距离D_ij按如下公式计算：

$D_{\mathrm{ij}}=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_t^{i,k}\·d_{\mathrm{ij},k},$

其中d_ij，k表示两个小图像片特征向量中第k种(如颜色或梯度等)特征之间的距离d_ij，k，第k种特征之间的距离d_ij，k用欧氏距离计算，K＝1，2，3.....，i和j是小图像片的标号，t表示第t帧图像。

凸2次优化函数如下。

$\arg \underset{w_t^i,{\mathrm{\ξ}}_{i,j,l}}{\min }\frac{1}{2}{\left|\right|w_t^i\left|\right|}^2+C\underset{j,l}{\mathrm{\Σ}}{\mathrm{\ξ}}_{i,j,l}$

$s.t.\∀j,l,$ $w_t^i\·(D_{\mathrm{il}}-D_{\mathrm{ij}})>1-{\mathrm{\ξ}}_{i,j,l}$

$\∀k,$ $w_t^{i,k}\≥0$

$\∀j,l,$ ξ_i，j，l≥0

其中，s.t.表示约束条件，C是折衷参数，ξ_i，j，l是松弛变量，D_il是目标小图像片p_i与背景小图像片p_l之间的距离，D_ij是目标小图像片p_i与目标小图像片p_j之间的距离，i是目标小图像片的标号，l是背景小图像片的标号，j是目标小图像片的标号。此式用以下迭代方式求解。初始时α_i＝0，以下两公式交替执行直至收敛。

(1) $w_t^i\←\max \{\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i(D_{\mathrm{il}}-D_{\mathrm{ij}}),\stackrel{\→}{0}\},$

(2) ${\mathrm{\α}}_i\←\min \left\{\max \right\{1-\frac{w_t^i\·(D_{\mathrm{il}}-D_{\mathrm{ij}})}{{\left|\right|D_{\mathrm{il}}-D_{\mathrm{ij}}\left|\right|}^2}+{\mathrm{\α}}_i,0\},C\}.$

利用学得的局部距离度量函数计算目标小图像片集合P_t ^F中的每个目标小图像片p_i与所有小图像片p_ik的距离，并根据距离值从小到大取K个小图像片构成一个排序队列R_t ⁱ，共形成N个排序队列。根据以下公式计算每个排序队列R_t ⁱ的纯净度α_t ⁱ，

${\mathrm{\α}}_t^i=\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}l\left(p_{\mathrm{ik}}\right),p_{\mathrm{ik}}\∈R_t^i,$

其中 $p_{\mathrm{ik}}\∈(P_t^F-\{p_i\left\}\right)\∪P_t^B,$ 如果小图像片 $p_{\mathrm{ik}}\∈P_t^F,$ 则指标函数l(p_ik)＝1，否则l(p_ik)＝0。由能产生高纯净度排序队列的目标小图像片集P_t ^F中的M_F个小图像片组成目标模型Ω_t。

2.从视频文件中新取出一帧图像，即第t+1帧图像。根据第t帧图像中目标框的位置，在第t+1帧图像中的同样位置及其附近随机抽取第t+1帧图像中的L个小图像片，形成目标、背景类标未知的小图像片组成的集合P_i+1。利用学得的局部距离度量函数计算目标模型Ω_t中的每个目标小图像片p_i与目标、背景类标未知的小图像片集P_t+1中所有小图像片之间的距离，并根据距离值从小到大取目标、背景类标未知的小图像片集合P_t+1中的K个类标未知的小图像片构成一个排序队列Q_t+1 ⁱ，

$Q_{t+1}^i=\{p_{i1},p_{i2},...,p_{\mathrm{iK}}\},$

其中p_ik代表与Ω_t中目标小图像片p_i第k近的目标、背景类标未知的小图像片集合P_t+1中的小图像片。共形成M_F个排序队列。

3.给所有类标未知的小图像片p_j∈P_t+1赋予置信度c_t+1 ^j，表示类标未知的小图像片p_i来自被跟踪目标的可能性。置信度的计算公式如下。

$c_{t+1}^j=\underset{i=1}{\overset{M_F}{\mathrm{\Σ}}}{\mathrm{\α}}_t^i\·I(p_j\∈Q_{t+1}^i),$

其中，I(x)为指标函数，即当x为真时I(x)＝1，否则I(x)＝0。显而易见，没有排入M_F个排序队列的目标、背景类标未知的小图像片集合P_t+1中的小图像片的置信度为0。

4.根据目标、背景类标未知的小图像片集合P_t+1中小图像片在第t+1帧图像中的二维位置坐标及其置信度得到如图4所示的在第t+1帧图像中的置信图C_t+1。

5.利用均值移动算法在置信图C_t+1上确定第t+1帧图像中被跟踪目标的目标框位置X_t+1。具体步骤如下。

5.1设：循环变量k＝0，q₀是第t帧图像中目标框X_t的中心，是该中心在第t+1帧图像中的图像坐标，是在第t+1帧图像中以

为中心的一个半径为δ的圆形邻域。

5.2

$(x_{q_{k+1}},y_{q_{k+1}})=\frac{1}{N_{q_k}}\underset{p\∈S_{q_k}}{\mathrm{\Σ}}(x_p,y_p),$

这里，

表示

中具有非零置信度的小图像片的个数，第t+1帧图像中的小图像片p具有非零置信度，(x_p，y_p)表示小图像片p的中心在第t+1帧图像中的图像坐标。k＝k+1，循环执行步骤5.2，直至收敛。收敛时的中心在的目标框即为X_t+1。

6.处在目标框X_t+1内、且有足够大置信值(比如大于0.9)的小图像片构成第t+1帧图像的目标小图像片样本集P_t+1 ^F，其余构成第t+1帧图像的背景小图像片集P_t+1 ^B。

7.利用第t+1帧目标小图像片样本集P_t+1 ^F和背景小图像片集P_t+1 ^B，按照第2步中纯净度α_t ⁱ的计算公式，重新计算目标模型Ω_t中所有目标小图像片的纯净度α_t+1 ⁱ，若纯净度足够大，则该小图像片被继承保留；否则选取目标小图像片样本集P_t+1 ^F中的小图像片代替之，并学习相应局部距离度量函数，构建排序队列，计算新的纯净度。第7步要反复执行多次。

8.通过第7步中的继承、替代和学习，构成第t+1帧图像的目标模型Ω_t+1、局部距离度量函数的权向量{w_t+1 ⁱ}和纯净度{α_t+1 ⁱ}。t＝t+1，返回第2步循环。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (7)

1.基于局部距离学习和排序队列的视觉目标跟踪方法，其特征在于：该方法包括如下：

步骤1：用目标框和背景框在一个视频文件的第一帧图像中选定需要被跟踪的目标以及该被跟踪目标附近的背景，并在两个框中随机采样得到表示图像中被跟踪目标及被跟踪目标局部背景的两个小图像片集合；图像中被跟踪目标的小图像片集合由多个目标小图像片组成，图像中被跟踪目标的局部背景的集合由多个背景小图像片组成；用机器学习的方法学习每一个目标小图像片的局部距离度量函数；根据每个目标小图像片的局部距离度量函数，计算该目标小图像片与第一帧图像中除了该目标小图像片之外的所有其它小图像片之间的距离，根据这些距离的大小建立该目标小图像片所对应的排序队列，计算该排序队列的纯净度，并由能产生高纯净度排序队列的目标小图像片组成目标模型；

步骤2：从视频文件中读取紧接着上一帧图像的新一帧图像，对新一帧图像随机采样，得到一个新的小图像片集合；

步骤3：对于目标模型中的每个目标小图像片，根据该目标小图像片的局部距离度量函数，计算该目标小图像片与在新一帧图像中采样得到的所有小图像片之间的距离，根据这些距离的大小建立新一帧图像中所有小图像片的一个排序队列；

步骤4：对于每个新一帧图像中的小图像片，根据这个小图像片在各排序队列中的位置，并利用算得的纯净度计算这个小图像片的置信度；根据所有小图像片的置信度及所有小图像片在新一帧图像中的位置建立在新一帧图像中的置信图；

步骤5：根据置信图，利用均值移动算法确定被跟踪目标在新一帧图像中最有可能的位置，并将该位置认定为被跟踪目标在新一帧图像中的新位置，将目标框移至该新位置，并输出显示该新位置；

步骤6：根据被跟踪目标的新位置和新一帧图像中各小图像片的置信度，更新目标小图像片集合和背景小图像片集合；

步骤7：更新目标模型中的部分目标小图像片及其局部距离度量函数，返回步骤2，其中，更新部分目标小图像片的局部距离度量函数是根据在新一帧图像中新确定的目标小图像片集合和背景小图像片集合，利用上一帧目标小图像片集合中各目标小图像片所对应局部距离度量函数，建立新一帧图像中的所有小图像片的排序队列，并计算所有排序队列的纯净度，保留纯净度大的上一帧图像中的目标小图像片和相应局部距离度量函数在新一帧图像中继续有效；纯净度小的目标小图像片被从新一帧图像中选出的目标小图像片替代，并学习新选出的目标小图像片的局部距离度量函数，计算新的纯净度；在新一帧图像中继续有效的目标小图像片和替代原来纯净度低的目标小图像片的新的目标小图像片构成了新的目标模型。

2.如权利要求1所述的视觉目标跟踪方法，其特征在于，所述目标小图像片所对应的排序队列，是由若干和该目标小图像片距离最近的小图像片构成，其距离越小的小图像片在排序队列中的位置越靠前。

3.如权利要求1所述的视觉目标跟踪方法，其特征在于，所述随机采样是从包围被跟踪目标的目标框中提取小图像片，目标框是与被跟踪目标大小基本一致的矩形图像区域，用所有这些小图像片中具有高纯净度排序队列的小图像片所构成的集合表示被跟踪目标；以及从包围目标框的更大的矩形背景框中提取小图像片，用所有这些小图像片所构成的集合表示图像中被跟踪目标的局部背景。

4.如权利要求1所述的视觉目标跟踪方法，其特征在于，所述用机器学习的方法学习每一个目标小图像片的局部距离度量函数，是使目标小图像片集与背景小图像片集分别作为正、负训练样本集，利用凸二次优化方法，学习每一个目标小图像片的局部距离度量函数。

5.如权利要求1所述的视觉目标跟踪方法，其特征在于，所述排序队列的纯净度的计算是计算该排序队列中目标小图像片的统计规律。

6.如权利要求1所述的视觉目标跟踪方法，其特征在于，所述置信度计算是根据在新一帧图像中采样得到的小图像片在各排序队列中的位置统计量，以及各排序队列的纯净度，计算新一帧图像中小图像片属于被跟踪目标可能性的统计量。

7.如权利要求1所述的视觉目标跟踪方法，其特征在于，所述更新目标小图像片集合和背景小图像片集合是根据新一帧图像中小图像片的二维像素坐标及其置信度，标示那些位于新位置上的目标框内且具有足够大置信度的小图像片为新一帧图像中的目标小图像片，其余为背景小图像片。

Images