CN107644432B - 基于Kalman目标预测多特征压缩融合的快速运动目标跟踪方法 - Google Patents

Abstract

本发明为基于Kalman目标预测多特征压缩融合的快速运动目标跟踪方法，包括：1.在特征提取阶段，对多特征进行压缩，以降低特征维数、减少训练时间。2.采用背景加权技术对压缩后的多特征进行自适应融合，形成跟踪使用的特征向量，以有效降低相似物和遮挡的干扰。3.在跟踪过程中，采用Kalman滤波预测目标位置，并进行目标跟踪优化：(1)在分类过程中，计算样本位置与Kalman预测位置的距离权重，然后将该权重输入贝叶斯分类器，以增强分类性能、降低错误跟踪率。(2)在参数更新过程中：采用自适应学习率代替恒定不变的学习率，以减小噪声对分类性能的干扰。本发明可以有效提高在复杂情况下快速运动物体的跟踪准确率。

Description

基于Kalman目标预测多特征压缩融合的快速运动目标跟踪 方法

(一)技术领域

本发明涉及一种快速运动目标的视频跟踪方法。

(二)背景技术

传统的压缩感知方法对于慢速移动的物体有较好的跟踪效果，但是在目标保持持久的快速移动的情境下，一旦出现出现跟踪漂移，就会造成误差累积很难找回目标。目前针对快速目标的跟踪，大多数的研究都是基于卡尔曼滤波(Kalmanfilter)来实现的。

Kalman滤波器是一种通过递归滤波来估计系统状态的线性最小均方差的方法，该方法能对目标的速度、位置等得到好的预估值，因而在目标跟踪中得到了广泛的应用。把这种思想运用到对快速运动目标的跟踪中，Kalman滤波可以从不同角度预测目标，及时的矫正目标位置，这样可以大大提高跟踪的准确度。文献[1]针对快速运动的目标跟踪，提出使用背景差分法来检测移动目标区域，然后使用卡尔曼滤波器预测目标位置，最后根据组合质心加权方法来优化预测、校正状态值，实现了对移动物体的有效检测、跟踪。文献[2]则在跟踪时将卡尔曼粒子滤波器和最小二乘支持向量回归相结合增加跟踪的鲁棒性，但时间消耗较大。文献[3]提出基于Kalman滤波的Camshift目标跟踪方法，提高了跟踪准确性，但在目标遮挡时会出现局部最大值，不利于跟踪。文献[4]提出的快速运动目标的跟踪算法中，利用Kalman预测的目标位置作为下一帧Camshift的搜索区域，并用Camshift确定的目标位置来更新Kalman的参数，可跟踪被遮挡的目标，但跟踪时间较长。文献[5]为了实现快速运动物体的跟踪，提出了结合Kalman滤波和Meanshift结合的快速目标跟踪方法，在Meanshift框架下,用Kalman滤波器对快速运动的目标位置进行矫正与预测，该方法比Camshift的运算时间要少，但在特征描述方面只使用了颜色信息，且缺乏必要的模板更新，因此不适用于复杂情境下的跟踪。同时，这些快速运动目标的跟踪方法都有一个不足就是跟踪时间消耗大，不满足跟踪实时性需要。

参考文献：

[1]Fu Z X,Han Y.Centroid weighted Kalman filter for visual objecttracking[J].Measurement,2012:650-655.

[2]Zhou Z Y,Wu D C,Zhu Z F.Object tracking based on Kalman particlefilter with LSSVR[J].Optik,2016:613-619.

[3]万中田,冼钟业,胡明宇.基于Kalman预测器的多特征Camshift运动目标跟踪算法[J].武汉大学学报,2015,48(5):712-722.

[4]闫钧华,陈少华,艾淑芳.基于Kalman预测器的改进的CAMShift目标跟踪[J].中国惯性技术学报,2014,22(4):536-542.

[5]朱胜利,朱善安,李旭超.快速运动目标的Meanshift跟踪算法[J].浙江大学学报,2006,33(5):66-70.

(三)发明内容

为了实现对快速运动目标的实时跟踪，本发明进行了以下改进：

1.在特征提取阶段，对多特征进行压缩，以降低特征维数、减少训练时间。

2.采用背景加权技术对压缩后的多特征进行自适应融合，形成跟踪使用的特征向量，以有效降低相似物和遮挡的干扰，提高跟踪准确率。

3.在跟踪过程中，采用Kalman滤波预测目标位置，并进行目标跟踪优化：

(1)在压缩跟踪的分类过程中，计算压缩跟踪的样本位置与Kalman滤波的预测位置的距离权重，然后将位置权重输入贝叶斯分类器进行分类，可以增强分类器的分类性能，降低错误跟踪率。

(2)在参数更新过程中：采用自适应改变的学习率来代替恒定不变的学习率，当目标分类出错时迅速减小学习当前目标的学习率，增大学习已有目标的学习率，以此来减小噪声对分类性能的干扰。

本发明采用的技术方案：

1.在特征提取阶段，对多特征进行压缩：分别提取目标的颜色和纹理特征来代替传统算法的单一特征，然后采用两个相互独立分布稀疏投影矩阵将图像的LBP(LocalBinary Pattern)纹理特征和H(Hue)空间上的颜色特征投影到低维的空间上。

2.对压缩后的多特征进行自适应融合，形成跟踪使用的特征向量：采用背景加权法^[6]对压缩域的两种特征进行自适应融合。背景加权法最初是用于目标模板与候选目标模板的修正，减少背景像素的干扰。本发明中采用背景加权法对提取的颜色和纹理特征进行权值调整。

对于不同的图像，侧重的彩色特征和纹理特征也不一样。因此需要采用合适的特征融合算法，对两种特征分配不同的权重，让它在保留尽量多原始信息的同时，也能将这两种特征融合成互补的特征信息。根据这点，本发明采用的是背景加权融合(Background-weighted Histogram,BWH)^[6]算法来自适应融合颜色和纹理特征。

设背景模板直方图为O_t＝{o_t|t＝1,...,m},

目标模板直方图为q_t(t＝1,2,...,m)，当前帧候选目标直方图为p_t(t＝1,2,...,m)，式中t为颜色直方图索引。令

为背景模板O_t中的非零最小值，得BWH^[6]为：

k_t＝{min(o_t ^*/o_t,1)|t＝1,2...m} (1)

则经过BWH修正的目标模板直方图

为：

分别对像素x_i的颜色特征μ'与纹理特征ν'进行BWH修正，修正后的彩色特征目标模板直方图为q_μ'，纹理特征直方图模板为q_ν'。则经过BWH修正的候选目标区域像素x_i的权重w_i为：

其中

3.在跟踪过程中：使用Kalman滤波跟踪算法来预测目标位置。由于检测的目标位置和预测的目标位置必然十分接近，我们对样本位置与预测位置的距离进行加权，并以此权值来训练分类器，可以有效降低错误跟踪率：对于离预测位置较远的样本被检测为目标的概率较小，则对它赋予较小的权重；而离预测位置较近的样本被检测为目标的概率较大，则对它赋予较大的权重。然后把这个距离权值引入到贝叶斯分类器判别函数H中，得到新的判别函数：

该判别函数H'(v)可以根据样本的位置权值ω_k来放大背景和目标的差异，以此来增强分类可信度。当越靠近目标时，ω_k越大，p(v_i|y＝1)越大，则(1-ω_k)和p(v_i|y＝0)越小，则H'(v)的值越大，即背景和目标的差异越大。这就说明当ω_k越大时，越能较好的区分目标和背景。

4.选取分类器判别函数值最大的位置作为目标的位置，并进行参数更新。

目标位置确定之后，需要更新相关的参数来适应目标和背景的更新。以往的目标和背景的参数更新策略中的学习率是固定的，当分类器分类错误造成了目标跟踪丢失后，这种不准确的参数将继续影响下一帧的分类，也就很难再找回目标的位置。针对这个问题，本发明提出采用自适应改变的学习率来代替恒定不变的学习率，当目标分类出错时应当迅速减小学习当前目标的学习率，增大学习已有目标的学习率，以此来减小噪声对分类性能的干扰。

(1)目标均值更新：

其中，β₁表示当前帧目标均值

与已有目标均值

的偏差，该值越大表示当前帧目标和已有目标的偏差度越大，即当前帧的结果越不可信，则应该增大对已有目标

的学习率；式(6)为S型曲线，β₁越大则ε₁越大，则由式(7)可知对已有目标

的学习率越大，对当前帧目标

的学习率越小。

(2)目标方差更新：

其中，β₂为当前帧目标的方差

与已有目标方差

的偏差，该值越大表示当前帧目标和已有目标的偏差度越大，即当前帧的结果越不可信，则应该增大对已有目标

的学习率；由式(9)可知，β₂越大则ε₂越大，则由式(10)可知对已有目标

的学习率越大，对当前帧目标

的学习率越小。

(3)背景均值更新：

其中，β₃表示当前帧背景均值

与已有背景均值

的偏差，该值越大表示当前帧背景和已有背景的偏差度越大，即当前帧的结果越不可信，则应该增大对已有背景

的学习率；由式(12)可知，β₃越大则ε₃越大，则由式(13)可知对已有背景

的学习率越大，对当前帧背景

的学习率越小；

(4)背景方差更新：

其中，β₄为当前帧背景方差

与已有背景方差

的偏差，该值越大表示当前帧背景和已有背景的偏差度越大，即当前帧的结果越不可信，则应该增大对已有背景

的学习率；由式(15)可知，β₄越大则ε₄越大，则由式(16)可知对已有背景

的学习率越大，对当前帧背景

的学习率越小。

本发明通过将多特征压缩融合与Kalman预测及目标跟踪优化技术结合，有效提高了跟踪的速度和准确率。与传统压缩跟踪方法以及基于Kalman滤波的Meanshift方法相比较，本发明对复杂情况下快速运动物体的跟踪准确率更高，用时也较短。

参考文献：

[6]Comaniciu D,Ramesh V,Meer p.Kernal based object tracking[J].IEEETransactions on Pattern Analysis and Machine Intelligence,2003,25(5):564-576.

(四)附图说明

图1(a)是原CT方法对单个快速运动目标的跟踪。

图1(b)是Kalman+Meanshift方法对单个快速运动目标的跟踪。

图1(c)是本发明方法对单个快速运动目标的跟踪。

图1(a)—图1(c)中：图片左上角数字为帧序号，随着时间推移，帧序号增加；被跟踪目标为跳水运动员；图中方框为跟踪框，跟踪运动员。

图2(a)是原CT方法对有多个相似物干扰的快速运动目标的跟踪。

图2(b)是Kalman+Meanshift方法对有多个相似物干扰的快速运动目标的跟踪。

图2(c)本发明方法对有多个相似物干扰的快速运动目标的跟踪。

图2(a)—图2(c)中：图片左上角数字为帧序号，随着时间推移，帧序号增加；图中方框为跟踪框，以设定的视频中某只大雁为跟踪目标。被跟踪目标为视频帧4(即左上角帧序号为4的视频)中央方框内的大雁，其余大雁为相似物干扰。

图3(a)是原CT方法对有相似物体遮挡的快速运动目标跟踪。

图3(b)是Kalman+Meanshift方法对有相似物体遮挡的快速运动目标跟踪。

图3(c)是本发明方法对有相似物体遮挡的快速运动目标跟踪。

图3(a)—图3(c)中：图片左上角数字为帧序号，随着时间推移，帧序号增加；图中方框为跟踪框，以设定的视频中某位运动员为跟踪目标；被跟踪目标为视频帧6(即左上角帧序号为6的视频)中央方框内的白衣运动员，其余运动员为相似物，有时会对被跟踪目标造成遮挡。

(五)具体实施方式

下面结合附图通过具体实施方式对本发明作进一步说明，但本发明的保护范围并不限于此。实施软件工具是Win7 32位操作系统，MATLABR2010b编程环境，硬件环境是Corei3，CPU 2.4GHz，4GB内存。

1.实施例一：单个快速运动目标的跟踪

如图1所示Diving视频序列中只有一个无遮挡的快速移动的目标，且发生目标的旋转、倾斜。图1(a)—图1(c)显示了CT方法、Kalman+Meanshift以及本发明方法对一个快速运动目标的跟踪效果。从选取的第99帧到第176帧中的这五帧的实验结果来看，这期间运动员正在完成的是空中360度的两次转体运动，几乎是保持统一姿势进行旋转的，这时三种方法都能对运动员进行跟踪，但由于速度过快，另两种算法的跟踪框都出现了一定程度的偏差。在第187帧之后，运动员完成了空中转体动作，迅速改变姿势迅速入水，这时原CT方法将目标跟丢，Kalman+Meanshift方法虽然能跟踪到目标，但是也出现了较大的偏差，而本发明提出的方法由于加入了预测机制，在目标迅速改变姿势入水时，仍能准确跟踪目标。

2.实施例二：多个相似物干扰的快速运动目标跟踪

由图2(a)—图2(c)的视频序列可以看出，从第110帧开始大雁开始进入云层，被云遮挡直至完全模糊。现有的CT方法在大雁进入云层的过程中，将跟踪目标丢失，Kalman+Meanshift方法在大雁进入云层之后就将跟踪对象转向了另外一只相似的大雁，跟踪出错。本发明却可以得到很好地跟踪效果，在目标从开始进入云层直至渐渐模糊的过程中，一直保持锁定未丢失。

3.实施例三：有相似物体遮挡的快速运动目标跟踪

图3(a)—图3(c)中也出现了相似物体对目标的干扰，同时从第21帧开始被两个球员遮挡，另两种算法均将跟踪对象指向了最外围的另一白衣球员。而由于在本算法中引入了分辨率高的融合颜色特征，因此能更好的与其他球员区分，即使被相似目标遮挡住，也能排除干扰；同时由于预测目标的作用，在目标从遮挡中出来时能实现目标的准确定位。

Claims (6)

1.基于Kalman目标预测多特征压缩融合的快速运动目标跟踪方法，包括：

(1)在特征提取阶段，对多特征进行压缩；

(2)对压缩后的多特征进行自适应融合，形成跟踪使用的特征向量；

(3)采用Kalman滤波预测目标位置，并进行目标跟踪优化；

所述步骤(2)中的自适应融合是采用背景加权法对压缩域的颜色和纹理特征进行自适应融合：

设背景模板直方图为O_t＝{o_t|t＝1，...，m}，

目标模板直方图为q_t，t＝1，2，...，m，当前帧候选目标直方图为p_t，t＝1，2，...，m，则经过BWH修正的目标模板直方图

为：

其中，k_t＝{min(o_t ^*/o_t，1)|t＝1，2...m}，

为背景模板O_t中的非零最小值；

分别对像素x_i的颜色特征m′与纹理特征n′进行BWH修正，修正后的彩色特征目标模板直方图为q_m′，纹理特征直方图模板为q_n′，则经过BWH修正的候选目标区域像素x_i的权重

为：

其中

2.根据权利要求1所述的基于Kalman目标预测多特征压缩融合的快速运动目标跟踪方法，其特征在于：所述步骤(1)中的多特征压缩具体方法为：分别提取目标的颜色和纹理特征来代替传统算法的单一特征，然后采用两个相互独立分布稀疏投影矩阵将图像的LBP纹理特征和H空间上的颜色特征投影到低维的空间上，所述LBP纹理特征为Local BinaryPattern纹理特征，所述H空间为Hue色调空间。

3.根据权利要求1所述的基于Kalman目标预测多特征压缩融合的快速运动目标跟踪方法，其特征在于：所述步骤(3)中采用Kalman滤波预测目标位置，并进行目标跟踪优化为：

(3-1)计算预测位置与压缩跟踪样本检测位置的距离，用距离权重来训练贝叶斯分类器，选取分类器判别函数值最大的位置作为目标的位置；

(3-2)采用自适应学习率更新目标和背景的参数。

4.根据权利要求3所述的基于Kalman目标预测多特征压缩融合的快速运动目标跟踪方法，其特征在于：所述步骤(3-1)中贝叶斯分类器的判别函数为：

其中，V＝[v₁，v₂，...v_n]为样本z∈R^m的低维向量且n＜m，V中的每个元素是独立分布的；y＝1表示目标样本，y＝0表示背景样本；p(y＝1)为目标样本的先验概率，p(y＝0)为背景样本的先验概率；判别函数H′(v)根据样本的位置权值ω_k来放大背景和目标的差异，以此来增强分类可信度：当越靠近目标时，ω_k越大，p(v_i|y＝1)越大，则(1-ω_k)和p(v_i|y＝0)越小，因而H′(v)的值越大，即背景和目标的差异越大，这就说明当ω_k越大时，越能较好的区分目标和背景。

5.根据权利要求3所述的基于Kalman目标预测多特征压缩融合的快速运动目标跟踪方法，其特征在于：所述步骤(3-2)中，采用自适应学习率更新目标参数的具体方法为：

(3-2-1)目标均值更新：

其中，β₁表示当前帧目标均值

与已有目标均值

的偏差，该β₁值越大表示当前帧目标和已有目标的偏差度越大，即当前帧的结果越不可信，则应该增大对已有目标

的学习率；式(5)为S型曲线，β₁越大则ε₁越大，则由式(6)可知对已有目标

的学习率越大，对当前帧目标

的学习率越小；

(3-2-2)目标方差更新：

其中，β₂为当前帧目标的方差

与已有目标方差

的偏差，该β₂值越大表示当前帧目标和已有目标的偏差度越大，即当前帧的结果越不可信，则应该增大对已有目标

的学习率；由式(8)可知，β₂越大则ε₂越大，则由式(9)可知对已有目标

的学习率越大，对当前帧目标

的学习率越小。

6.根据权利要求3所述的基于Kalman目标预测多特征压缩融合的快速运动目标跟踪方法，其特征在于：所述步骤(3-2)中，采用自适应学习率对更新背景参数的具体方法为：

(3-2-3)背景均值更新：

其中，β₃表示当前帧背景均值

与已有背景均值

的偏差，该β₃值越大表示当前帧背景和已有背景的偏差度越大，即当前帧的结果越不可信，则应该增大对已有背景

的学习率；由式(11)可知，β₃越大则ε₃越大，则由式(12)可知对已有背景

的学习率越大，对当前帧背景

的学习率越小；

(3-2-4)背景方差更新：

其中，β₄为当前帧背景方差

与已有背景方差

的偏差，该β₄值越大表示当前帧背景和已有背景的偏差度越大，即当前帧的结果越不可信，则应该增大对已有背景

的学习率；由式(14)可知，β₄越大则ε₄越大，则由式(15)可知对已有背景

的学习率越大，对当前帧背景

的学习率越小。

Images