CN105069488B - 基于模板在线聚类的跟踪方法 - Google Patents

Abstract

本发明公开了一种基于模板在线聚类的跟踪方法，使用模板在线聚类方法更新正模板集，并通过候选目标与正、负模板集的类内距离和类间距离构建似然函数，由似然函数判别出最佳候选目标。本发明的跟踪算法简单准确、鲁棒性强。此外目标跟踪是计算机视觉一个重要的应用领域，在运动分析、视频监控、车辆导航和人机交互等方面具有重要的应用价值。

Description

基于模板在线聚类的跟踪方法

技术领域

本发明涉及一种基于模板在线聚类的跟踪方法，属于图像处理和计算机视觉技术领域，可应用于人机交互和视频监控等领域。

背景技术

视觉跟踪是计算机视觉一个重要的应用领域，在运动分析、视频监控、车辆导航和人机交互等方面具有重要的应用价值。在克服目标遮挡、形变、干扰、旋转、光照影响等难题上，许多研究者在理论上和应用上取得了一些成果。

在基于模板的目标跟踪方法上一般采用模板匹配的方法，ROSS等人(ROSS D A,LIM J,LIN R S et al.Incremental learning for robust visual tracking[J].International Journal of Computer Vision,2008,77(1-3):125-141)提出的方法是基于模板匹配的一个经典跟踪方法，且取得了较好的效果。该算法使用特征基来构建目标字典，并用特征基对候选目标进行线性表示，同时使用模板的加权和作为候选目标度量的参考模板，最终将跟踪问题转化为寻找具有最小重构误差的候选目标问题。有研究者们基于该方法进行改进，天津工业大提出的专利申请“一种基于模板匹配的目标跟踪方法”(专利申请号：号201010529681，公开号：CNIO2004898A)公开了一种基于模板匹配的目标跟踪算法，对目标形变、旋转、光照变化等情况具有很强的鲁棒性。此发明和大多基于模板跟踪方法一样，是通过模板距离度量的方式来判别目标，但是基于模板的跟踪算法都存在着模板冗余、状态集中的不足，难以跟踪状态多变的目标。针对此问题，本发明提出一种采用模板在线聚类的目标跟踪算法。

基于模板跟踪算法的好与坏主要取决与模板更新是否能够及时适应目标的状态改变。近年来有关目标模板的更新方法总体可分为以下四类：1)子空间更新，不考虑目标是否被遮挡或污染，对复杂情况较为敏感；2)子空间局部更新，是对子空间更新的一种改进，针对目标局部遮挡或完全遮挡进行相应局部更新或者不更新。虽然可以解决遮挡的问题，但是子空间数量有限，并不能很好地适应目标外观变化；3)模板的替换更新，替换更新是稀疏表示的主要外观模型更新方法，是用当前的跟踪结果替换模板字典中与当前目标距离最远的一个模板，该方法由于计算量约束，模板的数量有限，无法适应剧烈变化的目标跟踪；4)遗忘值加权更新，此更新方法是基于模板匹配算法常用的更新方法。该方法给每个模板赋予一个特定权值，用加权模板和作为度量参考中心。该方法对刚性目标跟踪效果显著，但缺点是模板冗余度高，计算加权和模板时容易削弱目标多变区域的局部信息和引入局部误差。

针对上述模板更新方法的不足，本发明提出了一种基于粒子滤波框架下模板在线聚类的跟踪算法，对目标的跟踪结果和正模板集进行聚类，用各聚类中心表示目标模板的各个不同状态类。每隔固定帧数，利用均值漂移方法对最近一次更新间隔内的跟踪结果和所有正模板进行聚类，并用聚类中心更新当前的正模板集。而对于负模板，则每一帧都进行更新。在粒子滤波框架下构建似然函数，最终判别出最佳候选目标。本发明的跟踪算法简单准确、鲁棒性强。

发明内容

目的：为了克服现有技术中存在的不足，解决由目标形变、遮挡，光照，旋转等情况引起的目标跟踪失败问题，本发明提供一种基于模板在线聚类的跟踪方法，在复杂场景下能保持目标跟踪的稳定性，提高跟踪器的精度；简单且鲁棒。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

一种基于模板在线聚类的跟踪方法，包括以下步骤：

1)步骤一：构建初始正模板集；根据目标的初始状态参数Ω_T＝(x,y,w,h,θ)，提取目标外观模型作为正模板集其中x,y,w,h,θ分别表示目标的中心位置x和y坐标，宽度、高度和旋角，t为视频帧时刻数，I为视频图像，F为图像上像素点在状态参数Ω_T上的像素映射函数；

2)步骤二：构建初始负模板集；在目标周围区域根据v个背景状态参数{Ω_N,1，Ω_N,2，...，Ω_N,v}，提取背景的外观模型作为负模板集其中v为负模板个数；

3)步骤三：抽取候选目标；在目标跟踪过程中，相邻帧之间目标移动很小，对新的一帧图像，在上一帧跟踪目标位置周围进行高斯采样p(Ω^t|Ω^t-1)～N(Ω^t；Ω^t-1,σ)，σ为以Ω为中心的正态分布的方差矩阵，抽取候n个候选粒子{Ω_Y,1，Ω_Y,2，...，Ω_Y,n}，并提取其外观模型作为候选目标

4)步骤四：对候选目标构建似然函数；设t时刻有u个正模板构成的正模板集T^t和v个负模板构成的负模板集N^t，以及n个候选目标构成的候选目标集Y^t，则候选目标与正模板之间的距离为：

其中W是加权矩阵：

W＝K((x_x-x)²+(y_y-y)²) (2)

其中K(x)为高斯核函数，x_x,y_y为像素点在目标模板中的坐标位置，x,y为目标的坐标位置中心；为t时刻第i个候选目标与第j个正模板之间的距离，Dis(A,B)为A,B之间的欧式距离，为标准化系数；则第i个候选目标与所有正模板的距离向量为同样的方式可以得到第i个候选目标与所有负模板的距离向量为：η₂为标准化系数；

设与第i个候选目标距离最近的正、负模板索引分别为a^*,b^*，并定义第i个候选目标到正模板集的类内距离为：

其中α,β为加权系数，为第i个候选目标到离它最近的一个正模板距离，并将作为此候选目标到正模板集的类内距离；同时取候选目标到与它最近那个负模板的距离作为此候选目标到负模板集的类内距离为：

其中为第i个候选目标与第j个负模板间的距离；此外将距离候选目标最近的负模板和正模板之间的距离作为基于此候选目标的正模板集到负模板集的类间距离：其中η₃为标准化系数；最后构建以正模板类内距离为主，负模板类内距离为辅，并加入正、负模板类间距离作为补偿的似然函数；则对第i个候选目标构建似然函数为：

其中ε是一个常系数，在实验中取ε＝5；通过公式(5)将候选目标似然函数值最大的那个候选目标作为跟踪结果；

5)步骤五：正模板集更新；使用在线聚类方法更新正模板集，聚类的主要思想是在一定的相似范围内，仅用一个目标状态来表示相似范围内的一类目标状态；首先要确定每一类能够代表的范围，即确定聚类半径；通过聚类半径上边界和下边界两部分共同确定聚类半径，然后通过均值漂移算法联合正模板集和最近一次更新间隔内的跟踪结果进行聚类，各类的聚类中心则作为新的正模板集，从而实现了模板集的在线更新；

聚类半径下边界：

设用于聚类的目标状态集T＝{T₁,...,T_u,T_u+1,...,T_u+l}，其中u是正模板集内模板的个数，l为更新间隔；由于目标在相邻视频帧中变化缓慢，可认为连续l个最佳候选目标的相似度很高；所以在状态集T中先找出每个模板与其最近的l个模板；设状态集T内任意一个模板与其他模板之间的距离作为该模板距离集的元素，则第i个模板距离集为：

G_i＝{Dis(W·T_i,W·T_j)|j∈1,2,...u+l,j≠i},i∈1,2,...u+l (6)

然后将第i个模板距离集G_i内的元素按由小到大重新进行排列，并取出前l个元素，构成新的模板距离集H_i＝{h_i,1,h_i,2,...,h_i,l},i∈1,2,...,u+l；将H_i中所有元素求和，和最小的模板距离集索引为：

然后对该第i^*个模板距离集H_i*中元素作差分运算，求出相邻模板间变化最快的那个模板索引：

此模板与第i^*个模板的距离作为半径下边界θ₁：

聚类半径上边界：

将第i^*个模板距离集中最大元素所对应的模板作为目标当前状态类内最边缘的一个状态，视为一个单独的新类，是不可以划为当前状态类的；将此模板与第i^*个模板的距离作为半径上边界设聚类半径则为：

θ＝γ(θ₁+θ₂) (10)

其中γ为补偿系数，取γ＝0.45；

模板聚类：

首先在目标状态集T内随机选取一个模板作为初始类中心T_c s.t.c∈1,2,...,u+l，根据聚类半径θ在T内找出与当前状态相似模板S_φ＝{T_i|Dis(W·T_i,W·T)＜θ}，并求出当前类的新聚类中心其中φ是S_φ中模板的个数；以及初始类中心指向新聚类中心的均值漂移量再以新聚类中心为初始类中心进行重复迭代，直到均值漂移量收敛此时新聚类中心可用来表示在聚类半径范围内目标的一个状态类；接着在剩下的正模板集中再随机选取一个模板作为另一类的初始类中心，进行如上迭代，直到对T内所有模板最佳聚类，并用各状态新聚类中心更新当前正模板集；

(6)步骤六：负模板集更新；因为引入负模板集主要是为了增加算法对背景的判别能力，所以对于负模板采用每帧都更新来适应背景的变化。

有益效果：本发明提供的基于模板在线聚类的跟踪方法，在基于粒子滤波框架下加入了旋转和尺度变化的仿射参数，使得本算法具有适应目标旋转、尺度变化的能力。同时本发明通过模板聚类的更新方法更新正模板集，可以使正模板集保留目标的各个不同的状态类，使本发明更好地适应目标的外观状态变化。最后本发明在似然函数的构建中引入了负模板集增加对背景的判别能力，使得本发明的跟踪算法对背景杂乱具有很好的抗干扰能力。本发明提出的基于模板在线聚类的跟踪方法，在目标发生形变、遮挡，光照，旋转，运动模糊等复杂情况下，仍然能够准确地跟踪目标。

附图说明

图1为本发明的系统流程图；

图2为本发明构建初始正模板集、初始负模板集和候选目标集的示意图；

图3为本发明模板分块、去均值化处理过程；

图4为本发明模板聚类流程图；

图5为本发明对3个测试视频跟踪结果抽样帧；

图6为本发明在3种评估方式下与10种跟踪器的综合跟踪性能比较图。

具体实施方式

下面结合具体实施例对本发明作更进一步的说明。

为使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施方式，进一步阐明本发明。本发明提供的基于模板在线聚类跟踪方法，流程图如图1所示，具体包括以下操作步骤：

(1)步骤一：构建初始正模板集。根据目标的初始状态参数Ω_T＝(x,y,w,h,θ)，提取目标外观模型如图2实线圆内区域。其中x,y,w,h,θ分别表示目标的中心位置x和y坐标，宽度、高度和旋角，t为视频帧时刻数，I为视频图像，F为图像上像素点在状态参数Ω_T上的像素映射函数。然后对正模板进行不重叠分块和取均值化处理，设表示第i个模板的第j个分块内像素，则有：

其中s为像素个数，块内像素的均值，如图3所示，并将处理后结果作为正模板集

(2)步骤二：构建初始负模板集。在目标周围区域内(如图2环形区域内)根据v个背景状态参数{Ω_N,1，Ω_N,2，...，Ω_N,v}，提取背景的外观模型并对提取的背景外观模型作不重叠分块和去均值化处理，将处理后结果作为负模板集

(3)步骤三：抽取候选目标。在目标跟踪过程中，相邻帧之间目标移动很小，对新的一帧图像，在上一帧跟踪目标位置周围进行高斯采样p(Ω^t|Ω^t-1)～N(Ω^t；Ω^t-1,σ)，σ为以Ω为中心的正态分布的方差矩阵，如图2虚线圆形搜索区域内，抽取候n个候选粒子{Ω_Y,1，Ω_Y,2，...，Ω_Y,n}，并提取其外观模型并对提取的外观模型并作不重叠分块和取均值化处理，将处理后结果作为候选目标

(4)步骤四：对候选目标构建似然函数。设t时刻有u个正模板T^t和v个负模板N^t，以及n个候选目标Y^t，则候选目标与正模板距离：

其中W是加权矩阵：

W＝K((x_x-x)²+(y_y-y)²) (13)

设与第i个候选目标距离最近的正、负模板索引为a^*,b^*，并定义第i个候选目标到正模板集的类内距离为：

其中α,β为加权系数，为第i个候选目标到离它最近的一个正模板距离，本发明将作为此候选目标到正模板集的类内距离。同时本发明取候选目标到与它最近那个负模板的距离作为此候选目标到负模板集的类内距离。即

其中ε＝5。最终通过式(16)将候选目标似然函数值最大的那个候选目标作为跟踪结果。

(5)步骤五：正模板集更新。本发明使用在线聚类方法更新正模板集。首先确定每一类能够代表的范围，即确定聚类半径。本发明通过聚类半径上边界和下边界两部分共同确定聚类半径，然后通过均值漂移算法联合正模板集和最近一次更新间隔内的跟踪结果进行聚类，各类的聚类中心则作为新的正模板集，从而实现了模板的在线更新，如图4所示。

聚类半径下边界：

设用于聚类的目标状态集T＝{T₁,…,T_u,T_u+1,…,T_u+l}，其中u是正模板集内模板的个数，l为更新间隔。由于目标在相邻视频帧中变化缓慢，可认为连续l个(本发明l＝5)最佳候选目标的相似度很高。所以在状态集T中先找出每个模板与其最近的l个模板。设状态集T内任意一个模板与其他模板之间的距离作为该模板距离集的元素，则第i个模板距离集为：

然后将第i个模板距离集G_i内的元素按由小到大重新进行排列，并取出前l个元素，构成新的模板距离集H_i＝{h_i,1,h_i,2,...,h_i,l},i∈1,2,...,u+l。将H_i中所有元素求和，和最小的模板距离集索引为：

然后对该对第i^*个模板距离集中元素作差分运算，求出相邻模板间变化最快的那个模板索引：

此模板与第i^*个模板的距离作为半径下边界θ₁：

聚类半径上边界：

将第i^*个模板距离集中最大元素所对应的模板作为目标当前状态类内最边缘的一个状态，视为一个单独的新类，是不可以划为当前状态类的。将此模板与第i^*个模板的距离作为半径上边界设聚类半径则为：

θ＝γ(θ₁+θ₂) (21)

其中γ为补偿系数，本实施例中取γ＝0.45。

模板聚类：

首先在目标状态集T内随机选取一个模板作为初始类中心T_c s.t.c∈1,2,...,u+l，根据聚类半径θ在T内找出与当前状态相似模板并求出当前类的新聚类中心其中φ是S_φ中模板的个数。以及初始类中心指向新聚类中心的均值漂移量再以新聚类中心为初始类中心进行重复迭代，直到均值漂移量收敛此时新聚类中心可用来表示在聚类半径范围内目标的一个状态类。接着在剩下的正模板集中再随机选取一个模板作为另一类的初始类中心，进行如上迭代，直到对T内所有模板最佳聚类，并用各状态新聚类中心更新当前正模板集。

(6)步骤六：负模板集更新。在以当前帧的最佳候选粒子中的位置参数x,y为中心的环形区域内(如图2中环形区域)抽取与最佳候选粒子等大小的v个背景状态参数{Ω_N,1，Ω_N,2，...，Ω_N,v}，对当前帧提取背景粒子的外观模型作不重叠分块和去均值化处理，使用处理后结果来更新并用于下一帧视频图像的目标跟踪。因为引入负模板集主要是为了增加算法对背景的判别能力，所以对于负模板采用每帧都更新来适应背景的变化。

评估标准。本发明通过三种评估标准来衡量跟踪器的性能，1)TRE(TemporalRobustness Evaluation)时间鲁棒性评估，对视频序列从不同帧开始跟踪，作分段评估，试验中设置为20段，验证跟踪器对目标初始值的敏感程度对跟踪器性能好坏的影响；2)OPE(One-pass Evaluation)跟踪器对视频序列一次性评估，传统的一次性评估跟踪器精度与成功率；3)SRE(Spatial Robustness Evaluation)：空间鲁棒性评估，稍微改变目标的初始位置及大小，通过对中心位置的4个方向平移(上，下，左，右)，对目标框的4个尺度比率改变(0.8,0.9,1.1,1.2)来评估跟踪器的鲁棒性能。通过上述三种评价方式，选取30个视频序列验证本实施例提供的目标跟踪方法，对50个不同属性的视频序列进行测试，并与其它跟踪器(如L1APG，SCM，CSK，Struck等10种跟踪器)在不同的挑战因素下，如光照变化，快速运动，遮挡等情况下进行对比。图5是本发明与3种跟踪器对singer2、skating1、lemming三个视频序列跟踪效果的抽样帧，图6从精确度(Precision)和成功率(Success rate)两个方面给出了本发明与其他10种跟踪器的性能对比图。由此可见，本发明提供的目标跟踪方法，与已有的算法相比，算法精度有了明显的提高，跟踪结果更为稳定。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于模板在线聚类的跟踪方法，包括以下步骤：

1)步骤一：构建初始正模板集；根据目标的初始状态参数Ω_T＝(x,y,w,h,θ)，提取目标外观模型T₁ ^t＝F(I^t,Ω_T)作为正模板集T^t＝{T₁ ^t}，其中x,y,w,h,θ分别表示目标的中心位置x和y坐标，宽度、高度和旋角，t为视频帧时刻数，I为视频图像，F为图像上像素点在状态参数Ω_T上的像素映射函数；

2)步骤二：构建初始负模板集；在目标周围区域根据v个背景状态参数{Ω_N,1，Ω_N,2，...，Ω_N,v}，提取背景的外观模型作为负模板集其中v为负模板个数；

3)步骤三：抽取候选目标；在目标跟踪过程中，相邻帧之间目标移动很小，对新的一帧图像，在上一帧跟踪目标位置周围进行高斯采样p(Ω^t|Ω^t-1)～N(Ω^t；Ω^t-1,σ)，σ为以Ω为中心的正态分布的方差矩阵，抽取候n个候选粒子{Ω_Y,1，Ω_Y,2，...，Ω_Y,n}，并提取其外观模型Y_i ^t＝F(I^t,Ω_Y,i)作为候选目标

4)步骤四：对候选目标构建似然函数；设t时刻有u个正模板构成的正模板集T^t和v个负模板构成的负模板集N^t，以及n个候选目标构成的候选目标集Y^t，则候选目标与正模板之间的距离为：

其中W是加权矩阵：

W＝K((x_x-x)²+(y_y-y)²) (2)

其中K(x)为高斯核函数，x_x,y_y为像素点在目标模板中的坐标位置，x,y为目标的坐标位置中心；为t时刻第i个候选目标Y_i ^t与第j个正模板之间的距离，Dis(A,B)为A,B之间的欧式距离，为标准化系数；则第i个候选目标与所有正模板的距离向量为同样可得到第i个候选目标与所有负模板的距离向量为：η₂为标准化系数；

设与第i个候选目标距离最近的正、负模板索引分别为a^*,b^*，并定义第i个候选目标到正模板集的类内距离为：

其中α,β为加权系数，为第i个候选目标到离它最近的一个正模板距离，并将作为此候选目标到正模板集的类内距离；同时取候选目标到与它最近那个负模板的距离作为此候选目标到负模板集的类内距离为：

其中为第i个候选目标与第j个负模板间的距离；此外将距离候选目标最近的负模板和正模板之间的距离作为基于此候选目标的正模板集到负模板集的类间距离：其中η₃为标准化系数；最后构建以正模板类内距离为主，负模板类内距离为辅，并加入正、负模板类间距离作为补偿的似然函数；则对第i个候选目标构建似然函数为：

其中ε是一个常系数，通过公式(5)将候选目标似然函数值最大的那个候选目标作为跟踪结果；

5)步骤五：正模板集更新；使用在线聚类方法更新正模板集，聚类的主要思想是在一定的相似范围内，仅用一个目标状态来表示相似范围内的一类目标状态；首先要确定每一类能够代表的范围，即确定聚类半径；通过聚类半径上边界和聚类半径下边界两部分共同确定聚类半径，然后通过均值漂移算法联合正模板集和最近一次更新间隔内的跟踪结果进行模板聚类，各类的聚类中心则作为新的正模板集，从而实现模板集的在线更新；

(6)步骤六：负模板集更新；引入负模板集是为了增加算法对背景的判别能力，所以对于负模板采用每帧都更新来适应背景的变化。

2.根据权利要求1所述的基于模板在线聚类的跟踪方法，其特征在于：步骤五中，聚类半径下边界：

设用于聚类的目标状态集T＝{T₁,...,T_u,T_u+1,...,T_u+l}，其中u是正模板集内模板的个数，l为更新间隔；由于目标在相邻视频帧中变化缓慢，可认为连续l个最佳候选目标的相似度很高；所以在状态集T中先找出每个模板与其最近的l个模板；设状态集T内任意一个模板与其他模板之间的距离作为该模板距离集的元素，则第i个模板距离集为：

G_i＝{Dis(W·T_i,W·T_j)|j∈1,2,...u+l,j≠i},i∈1,2,...u+l (6)

然后将第i个模板距离集G_i内的元素按由小到大重新进行排列，并取出前l个元素，构成新的模板距离集H_i＝{h_i,1,h_i,2,...,h_i,l},i∈1,2,...,u+l；将H_i中所有元素求和，和最小的模板距离集索引为：

然后对该第i^*个模板距离集H_i*中元素作差分运算，求出相邻模板间变化最快的那个模板索引：

此模板与第i^*个模板的距离作为半径下边界θ₁：

3.根据权利要求2所述的基于模板在线聚类的跟踪方法，其特征在于：步骤五中，聚类半径上边界：

将第i^*个模板距离集中最大元素所对应的模板作为目标当前状态类内最边缘的一个状态，视为一个单独的新类，是不可以划为当前状态类的；将此模板与第i^*个模板的距离作为半径上边界设聚类半径则为：

θ＝γ(θ₁+θ₂) (10)

其中γ为补偿系数。

4.根据权利要求3所述的基于模板在线聚类的跟踪方法，其特征在于：步骤五中，模板聚类：

首先在目标状态集T内随机选取一个模板作为初始类中心T_c s.t.c∈1,2,...,u+l，根据聚类半径θ在T内找出与当前状态相似模板S_φ＝{T_i|Dis(W·T_i,W·T)＜θ}，并求出当前类的新聚类中心其中φ是S_φ中模板的个数；以及初始类中心指向新聚类中心的均值漂移量再以新聚类中心为初始类中心进行重复迭代，直到均值漂移量收敛此时新聚类中心可用来表示在聚类半径范围内目标的一个状态类；接着在剩下的正模板集中再随机选取一个模板作为另一类的初始类中心，进行迭代，直到对T内所有模板最佳聚类，并用各状态新聚类中心更新当前正模板集。

5.根据权利要求1所述的基于模板在线聚类的跟踪方法，其特征在于：取ε＝5。

6.根据权利要求3所述的基于模板在线聚类的跟踪方法，其特征在于：取γ＝0.45。