CN106815859A - 基于尺度自适应相关滤波和特征点匹配的目标跟踪算法 - Google Patents

Abstract

本发明属于视觉跟踪领域，提供一种基于尺度自适应相关滤波和特征点匹配的目标跟踪算法，解决长时间目标跟踪的问题，包括：建立尺度自适应相关滤波跟踪模块CFF，对每一帧图像进行处理；基于特征点匹配和光流的跟踪模块MTF；建立CFF和MTF的协同处理判定模块。本发明将跟踪问题分解成能够相互辅助的两部分CFF和MTF，通过判断目标被遮挡的程度或者是否已经消失于视野，决定是否去更新算法，从而避免模型被背景信息污染产生漂移现象；对于目标重新出现于视野时，本发明能够实现目标的重新检测，更新相应模块实现持续长久稳定的跟踪；而且本发明的处理速度完全满足实时处理要求，针对实际复杂场景具有非常好的效果。

Description

基于尺度自适应相关滤波和特征点匹配的目标跟踪算法

技术领域

本发明属于视觉跟踪领域，涉及一种基于尺度自适应相关滤波和特征点匹配的目标跟踪算法，解决长时间目标跟踪问题。

背景技术

最近几年，随着目标跟踪算法的不断提出，大部分的跟踪算法可以很好的解决简单环境下单一目标的轻微遮挡问题。然而在更加复杂的情形如严重遮挡或者目标离开视野等，依然需要更加健壮的长期、实时跟踪算法。

现有的基于相关滤波的跟踪算法已经能够获得非常高速的处理速度从而保证了目标跟踪的实时处理要求，不过对于遮挡问题仍然不能很好地避免目标模型被污染并且不能适应目标的尺寸变化。另外，基于特征点匹配的跟踪算法中如何选取有代表性的特征点来表示目标将直接影响跟踪的效果，而且基于特征点匹配的跟踪算法难以达到实时的处理速度、不能很好的剔除游离的点。

发明内容

针对以上问题，本发明提供一种基于尺度自适应相关滤波和特征点匹配的目标跟踪算法，该方法能够判断目标被遮挡的程度或者是否已经消失于视野，进而决定是否更新算法，避免模型被背景信息污染产生漂移现象。此外对于目标重新出现于视野时，本发明能够实现目标的重新检测，通过更新相应模块实现持续长久稳定的目标跟踪。而且该算法处理速度完全满足实时处理要求，针对实际复杂场景有非常好的效果。

为了达到上述目的，本发明的技术方案为：

一种基于尺度自适应相关滤波和特征点匹配的目标跟踪算法，包括以下步骤：

第一步，建立尺度自适应相关滤波跟踪模块CFF，对每一帧图像进行处理；

第二步，建立基于特征点匹配和光流的跟踪模块MTF；

第三步，建立CFF和MTF的协同处理判定模块。

本发明的有益效果为：本发明能够有效的长时间进行目标跟踪，能够解决严重遮挡以及目标离开视野之后目标重现时的再次成功跟踪问题。将跟踪问题分解成能够相互辅助的两部分CFF和MTF。其中MTF利用初始帧的静态信息和处理过程中上一相邻帧的动态信息，采用前景特征点的数量表明遮挡的程度，进而决定是否更新CFF和MTF。同时CFF利用从MTF得到的自适应目标尺寸参数使得本身就非常优秀的相关滤波算法能够处理目标的尺度变化问题。并且CFF能够在目标被严重遮挡时停止训练和更新，进一步减少了误差信息的引入，因此拥有更加卓越的表现。在两个非常有代表性的大型数据集上进行评价，效果表明，能够利用CFF和MTF模块来提高跟踪性能，并且能够应用到实际场景。

附图说明

图1为基于CFF和MTF模块的算法框架图；

图2为具有代表性的前景特征点变化示意图；(a)为初始帧特征点示意图；(b)为从被遮挡物重新出现时稳定特征点示意图；(c)为目标旋转时的特征点示意图；(d)为长时间跟踪的特征点示意图；

图3为算法在OTB数据集上的整体性能评价；(a)为精度图；(b)为成功率图；

图4为算法在OTB数据集上对遮挡、离开视野两个属性的性能评价；(a)为遮挡属性下的性能评价；(b)为离开视野属性下的性能评价；

图5为算法在Vojir数据集上基于帧的性能评价；

图6为算法在Vojir数据集上基于序列的性能评价。

具体实施方式

以下对本发明做进一步说明。

第一步，建立尺度自适应相关滤波跟踪模块CFF，对每一帧图像进行处理

给定初始信息，将初始帧的目标区域框作为正样本，采用W×H的图像块x_w,h来表达，目标区域中心周围循环移位得到负样本，采用目标周围区域的循环矩阵采集正负样本；所述的初始信息包括初始帧和对应的目标区域框；

a)训练目标检测器

采用所述图像块训练得到相关滤波的目标检测器，即找到回归函数f(z)＝ω^Tz，得到如公式(1)所示的最小化平方误差：

min_ωΣ_w，h|<φ(x_w,h),ω>-y(w,h)|²+λ||w||²。 (1)

其中，φ是通过核函数κ将线性回归映射到非线性回归的映射函数；<φ(x_w,h),ω>表示φ(x_w,h)和ω的内积；ω为回归函数的参数；λ是用来控制过拟合的参数；y(w,h)是x_w,h的标签，回归目标y遵从高斯分布；在非线性特征空间里，ω＝∑_w,hα(w,h)φ(x_w,h)。

b)检测初始帧之后的下一帧预测位置

给定初始帧的位置，采用步骤a)训练得到的目标检测器检测下一帧运动目标所在位置，采集搜索区域内所有测试样本，根据公式(3)得到目标检测器的响应输出，其中响应输出最大的位置即为下一帧运动目标所在位置；所述的测试样本通过循环移位得到，进而极大地提高运算效率；所述的搜索区域为以目标区域为中心，目标区域框2.5倍大小的区域；尺度自适应相关滤波跟踪利用循环矩阵(即所述的测试样本)在傅里叶空间能够对角化的性质将矩阵的运算转化为向量的Hadamad积，即元素的点乘，得到

其中，和代表傅立叶变换和它的逆；(k^x)＝κ(x_w,h,x)；向量α包含所有相关系数α(w,h)。

为进一步增强跟踪的性能，采用自适应目标尺度表达目标外观，引入尺度自适应参数，采用z＝ζx_w,h表示目标尺度的变化，ζ是目标尺寸的变化系数；此时计算目标检测器的响应输出为：

其中，⊙代表元素的点乘运算；找到响应输出最大的对应的表示新检测到的运动目标所在位置；

采用新的运动目标所在位置更新目标检测器；重复上述步骤处理每一帧图像；

第二步，建立基于特征点匹配和光流的跟踪模块MTF

首先检测初始帧的所有特征点，并计算其相应特征描述符

其中，和分别代表前景特征点和背景特征点的特征描述符数据库，和代表对应特征点的数量；d_i为二进制描述符d_i∈{0,1}^d；为坐标，

前景特征点含有固定的索引值，在初始帧之后的每一帧，由特征点静态匹配和动态光流两种方式得到每一帧对应的特征点K_t；

其中，m为中对应特征点的索引；a代表坐标；为特征点K_t的数量；

得到K_t的具体步骤为：

b)特征点静态匹配

采用BRISK全图探测特征点，并计算特征描述符

其中，d_k为特征描述符，p_k是绝对坐标，N_D为特征点的数量；采用公式(7)所示的汉明距离计算每个候选描述符与初始特征描述符中每一个特征描述符之间的距离d，得到最近邻特征描述符和第二近邻特征描述符

为了有效剔除异常匹配的特征点，计算和以及根据公式(8)计算它们的比率r(d_k)，当比率r(d_k)<0.8时，得到成功匹配的特征点，记为匹配特征点 得到对应的前景特征点的索引值；公式(8)具体为：

c)动态光流

每一帧保持一组活跃前景特征点其中p_i ^t-1表示特征点在第t-1帧的坐标，而p_i ^o是特征点在初始模版中的坐标。

采用LK光流法获取前一帧特征点在第t帧光流匹配的特征点，并且利用

Forward-Backward策略获得可靠的特征点提高鲁棒性能；移除跟踪无效的特征点之后，得到跟踪特征点

d)融合特征点静态匹配和动态光流两种方式得到的结果

将跟踪特征点和匹配特征点融合；在融合过程中，如果和对应到初始特征点的索引一致，只保留移除光流跟踪的得到融合的特征点；如果不一致，和都保留，得到融合的特征点；

再根据几何约束策略判定上述融合的特征点为前景特征点或背景特征点，根据前景特征点的数量直接判定跟踪是否成功，即采用公式(9)判断结果是否可信：当前景特征点数量超过阈值时，G_C＝True意味着跟踪结果可信；否则表示结果不可信；

其中，θ_I表示目标成功跟踪的阈值；N_I为前景特征点的数量；

第三步，CFF和MTF的协同处理判定模块

a)部分或完全遮挡情形：在跟踪过程中，当前景特征点数量锐减至阈值以下时，表示发生部分遮挡或完全遮挡；此时MTF的动态光流停止工作，即当G_C＝False时，另外还需停止更新CFF模块，避免CFF模块引入背景杂乱信息导致漂移；MTF的静态匹配需要持续进行，实现重新跟踪；

b)目标离开遮挡物重新出现或者目标离开视野之后再次出现在视野中时的情形：MTF的静态匹配操作持续进行，当目标区域重新出现在视野时，部分目标前景特征点被成功匹配，根据这些前景特征点得到新的目标位置；采用新的目标位置重新启动CFF模块和MTF的动态光流跟踪，恢复两个模块协同工作模式。

c)目标稳定运行情形：对于目标稳定、缓慢运行时经历的轻微形变、旋转情形，将动态光流得到的新的、稳定的特征点逐步添加到在处理过程中如果判断相邻帧匹配得到的特征点和初始帧前景特征点为有效的前景特征点，则保留，如果为无效的前景特征点，则删除，能够避免无限扩张导致的计算压力，保证在一个合理的大小水平。

选取当前效果最为显著并且能够达到实时处理速度的六个算法进行对比，它们分别是Struck、KCF、TLD、OAB、CT和CMT。

首先是在OTB数据集上的评价。利用精度图和成功率图这两个指标来衡量算法的性能。图3为七个算法的总体性能的定量分析，本发明提供的算法在两种指标下能够排在第三位，并且和第二位非常接近，而且比非常优秀的长期跟踪算法TLD得到更好的跟踪效果。另外注意到CMT这种单纯基于特征点匹配思路的跟踪算法，在实际场景中并没有取得非常好的跟踪效果。这也侧面证明了本发明提供的算法有效地提高了特征点匹配模块的跟踪性能。由于OTB提供了基于属性的性能评价，因此在图4中衡量了七个算法在遮挡、离开视野属性下的表现，本发明提供的算法获得排名第二的优异成绩。

其次是在Vojir数据集上的评价。为了能够充分的在具有严重遮挡和离开视野属性的序列中进行评价，进而衡量本发明提供的算法在处理这种极具挑战的情形下的表现。选取更有挑战性的Vojir跟踪数据集，它是由几个非常有影响力的论文所采用的数据集汇集到一起组成。因此这个数据集包含更多复杂的情形，非常适合衡量本发明提供的算法。依然采用成功率图进行衡量7个算法的性能。图5展示了7个算法在Vojir数据集上基于帧的性能评价，本发明提供的算法在这种大范围实际场景中表现更加突出，具有绝对的优势，一直处于第一名。此外考虑到每一个序列长度并不相同，因此在最终衡量结果中贡献不一致，即具有较多帧的序列具有较高的贡献值。因此进一步采用基于序列的衡量方式，图6展示了7个算法基于序列的性能评价，本发明提供的算法能够排在第二位，通过和图5的结果对比发现，也侧面证明了本发明提供的算法更善于处理含有大量帧的序列，即在长时间跟踪过程中表现更加优越。由此可以证明：本发明提供的算法在长时间目标跟踪方面具有更优越的性能。

Claims (3)

1.一种基于尺度自适应相关滤波和特征点匹配的目标跟踪算法，其特征在于以下步骤：

第一步，建立尺度自适应相关滤波跟踪模块CFF，对每一帧图像进行处理

给定初始信息，将初始帧的目标区域框作为正样本，采用W×H的图像块x_w,h表达，目标区域中心周围循环移位得到负样本，采用目标周围区域的循环矩阵采集正负样本；所述的初始信息包括初始帧和对应的目标区域框；

a)训练目标检测器

采用图像块训练得到相关滤波的目标检测器，即找到回归函数f(z)＝ω^Tz，得到如公式(1)所示的最小化平方误差：

min_ω∑_w,h|<φ(x_w,h),ω>-y(w,h)|²+λ||w||²； (1)

其中，φ是通过核函数κ将线性回归映射到非线性回归的映射函数；<φ(x_w,h),ω>表示φ(x_w,h)和ω的内积；ω为回归函数的参数；λ是用来控制过拟合的参数；y(w,h)是x_w,h的标签，回归目标y遵从高斯分布；在非线性特征空间里，ω＝∑_w,hα(w,h)φ(x_w,h)；

b)检测初始帧之后的下一帧预测位置

给定初始帧的位置，采用步骤a)训练得到的目标检测器检测下一帧运动目标所在位置，采集搜索区域内所有测试样本，根据公式(3)得到目标检测器的响应输出，其中响应输出最大的位置即为下一帧运动目标所在位置；所述的测试样本通过循环移位得到；尺度自适应相关滤波跟踪利用循环矩阵(即所述的测试样本)在傅里叶空间能够对角化的性质将矩阵的运算转化为向量的Hadamad积，即元素的点乘，得到：

其中，和代表傅立叶变换和它的逆；(k^x)＝κ(x_w,h,x)；向量α包含所有相关系数α(w,h)；所述的循环矩阵为测试样本；

为增强跟踪性能，采用自适应目标尺度表达目标外观，引入尺度自适应参数，采用z＝ζx_w,h表示目标尺度的变化，ζ是目标尺寸的变化系数；此时计算目标检测器的响应输出为：

其中，⊙代表元素的点乘运算；找到响应输出最大的对应的表示新检测到的运动目标所在位置；

采用新的运动目标所在位置更新目标检测器；重复上述步骤处理每一帧图像；

第二步，建立基于特征点匹配和光流的跟踪模块MTF

首先检测初始帧的所有特征点，并计算其相应特征描述符

其中，和分别代表前景特征点和背景特征点的特征描述符数据库，和代表对应特征点的数量；d_i为二进制描述符d_i∈{0,1}^d；为坐标，

前景特征点含有固定的索引值，在初始帧之后的每一帧，由特征点静态匹配和动态光流两种方式得到每一帧对应的特征点K_t；

$K_t={\left\{(a_i,m_i)\right\}}_{i=1}^{N^{K_t}},---\left(5\right)$

其中，m为中对应特征点的索引；a代表坐标；为特征点K_t的数量；

得到K_t的具体步骤为：

a)特征点静态匹配

采用BRISK全图探测特征点，并计算特征描述符

其中，d_k为特征描述符，p_k是绝对坐标，N_D为特征点的数量；采用公式(7)所示的汉明距离计算每个候选描述符与初始特征描述符中每一个特征描述符之间的距离d，得到最近邻特征描述符和第二近邻特征描述符

$d(d^1,d^2)={\mathrm{\&Sigma;}}_{i=1}^{d}XOR(d_i^1,d_i^2);---\left(7\right)$

为了有效剔除异常匹配的特征点，计算和以及根据公式(8)计算它们的比率r(d_k)，由比率r(d_k)得到成功匹配的特征点，记为匹配特征点 得到对应的前景特征点的索引值；公式(8)具体为：

b)动态光流

每一帧保持一组活跃前景特征点其中p_i ^t-1表示特征点在第t-1帧的坐标，而p_i ^o是特征点在初始模版中的坐标；

采用LK光流法获取前一帧特征点在第t帧光流匹配的特征点，并且利用Forward-Backward策略得到特征点，提高鲁棒性能；移除跟踪无效的特征点之后，得到跟踪特征点

c)融合特征点静态匹配和动态光流两种方式得到的结果

将跟踪特征点和匹配特征点融合；在融合过程中，如果和对应到初始特征点的索引一致，只保留移除光流跟踪的得到融合的特征点；如果不一致，和都保留，得到融合的特征点；

再根据几何约束策略判定上述融合的特征点为前景特征点或背景特征点，根据前景特征点的数量直接判定跟踪是否成功，即采用公式(9)判断结果是否可信：当前景特征点数量超过阈值时，G_C＝True意味着跟踪结果可信；否则表示结果不可信；

$G_C=\left\{\begin{array}{c}True,N_I>{\mathrm{\&theta;}}_I\\ False,otherwise\end{array}\right.---\left(9\right)$

其中，θ_I表示目标成功跟踪的阈值；N_I为前景特征点的数量；

第三步，CFF和MTF的协同处理判定模块

a)部分或完全遮挡情形：在跟踪过程中，当前景特征点数量锐减至阈值以下时，表示发生部分遮挡或完全遮挡；此时MTF的动态光流停止工作，即当G_C＝False时，另外还需停止更新CFF模块，避免CFF模块引入背景杂乱信息导致漂移；MTF的静态匹配需要持续进行，实现重新跟踪；

b)目标离开遮挡物重新出现或者目标离开视野之后再次出现在视野中时的情形：MTF的静态匹配操作持续进行，当目标区域重新出现在视野时，部分目标前景特征点被成功匹配，根据这些前景特征点得到新的目标位置；采用新的目标位置重新启动CFF模块和MTF的光流跟踪，恢复两个模块协同工作模式；

c)目标稳定运行情形：对于目标稳定、缓慢运行时经历的轻微形变、旋转情形，将动态光流得到的新的、稳定的特征点逐步添加到在处理过程中如果判断相邻帧匹配得到的特征点和初始帧前景特征点为有效的前景特征点，则保留，如果为无效的前景特征点，则删除，能够避免无限扩张导致的计算压力，保证在一个合理的大小水平。

2.根据权利要求1所述的一种基于尺度自适应相关滤波和特征点匹配的目标跟踪算法，其特征在于，第一步步骤b)中所述的搜索区域为以目标区域为中心，目标区域框2.5倍大小的区域。

3.根据权利要求1或2所述的一种基于尺度自适应相关滤波和特征点匹配的目标跟踪算法，其特征在于，第二步步骤a)中所述的成功匹配的特征点的比率r(d_k)<0.8。