CN111563915B - 一种融合运动信息检测和Radon变换的KCF目标跟踪方法 - Google Patents

Abstract

本发明公布了一种融合运动信息检测和Radon变换的KCF目标跟踪方法，所述方法对输入的当前帧图像分别提取HOG特征和经Radon变换提取矩特征；采用光流法和帧间差分法相结合，预测运动目标大致的范围；输入HOG特征并训练KCF位置滤波器，预测目标区域中心点位置；输入矩特征并训练KCF尺度滤波器，预测目标的尺度；结合目标区域中心点位置和目标的尺度，确定出目标的准确位置；对模型进行自适应策略更新；重复上述步骤，直至视频帧跟踪结束，确定出待跟踪的目标。本发明将光流法、帧间差分法、Radon变换和相关滤波器相结合，解决了KCF算法在目标发生遮挡、尺度变化和环境光照发生变化时，实时性差、跟踪精度和成功率下降的问题。

Description

一种融合运动信息检测和Radon变换的KCF目标跟踪方法

技术领域

本发明属于视觉目标跟踪技术领域，特别是融合运动信息检测和Radon变换的KCF目标跟踪方法。

技术背景

目标跟踪作为计算机视觉领域重要研究内容，在视频监控、智能交通、人机交互和无人机协同合作领域得到广泛应用。国内外学者对此进行了大量研究，并取得了很大进展。但对于诸如目标在发生尺度变化、遮挡和环境出现光照变化等复杂问题时，如何保证算法的实时性、准确性和鲁棒性，依然是视觉目标跟踪研究的难点。

视觉目标跟踪根据目标的外观模型表达可分为生成式和判别式两类算法。生成式跟踪算法主要通过对目标外观模型进行建模，然后根据目标和图像之间的最佳匹配度确定目标的位置。典型的生成式算法有Mean Shift算法和粒子滤波算法等。Mean Shift算法采用核函数直方图进行建模，通过迭代搜索与目标相似度最大的候选区域实现对目标的跟踪。粒子滤波算法主要基于序贯重要性采样，通过蒙特卡罗仿真方法实现递推贝叶斯滤波预测目标新时刻的位置。但该类算法存在部分目标描述模型的构建困难，环境中复杂的背景信息未得到有效利用等问题。判别式算法通过提取有效特征对分类器进行训练，然后将跟踪划分为目标和背景的二分问题得到目标模型估计从而完成跟踪。支持向量机(SupportVector Machine，SVM)为典型的判别式跟踪算法，Zhang Shunli等提出了一种新型的模糊跟踪框架为训练样本分配权重，将跟踪问题转换为模糊分类问题，训练模糊最小二乘支持向量机分类器成功提高了跟踪的鲁棒性。自2010年基于判别式跟踪方法框架下的相关滤波(Correlation Filters，CF)算法被用于视觉跟踪以来，由于具有跟踪效果优异，运算速度快的优点，成为图像目标跟踪领域的研究热点。相关学者在相关滤波算法基础上采用HOG(Histogram of Oriented Gradients)、SIFT(Scale Invariant Feature Transform)和CN(Color Name)特征来提高特征的表征能力和算法的迭代速度，跟踪速度快，在简单环境下跟踪精度较好，但对于目标出现尺度变化、遮挡和环境出现光照变化等情况下的复杂跟踪问题，由于提取到的目标外观信息不完整等原因，导致跟踪效果不理想。M Danelljan等人通过建立尺度金字塔和训练尺度滤波器来实现尺度自适应，但因为其本质上是利用穷尽式搜索策略，增加了尺度估计环节，计算量增大，故跟踪速度和性能并不十分理想。

发明内容

本发明的目的在于提供一种融合运动信息检测和Radon变换的KCF目标跟踪方法，该方法针对目标发生尺度变化、遮挡和环境出现光照变化等复杂情况，将光流法、帧间差分法、Radon变化和相关滤波器相融合，在保证实时性的前提下能有效提高目标跟踪的实时性，精度和成功率。

为实现上述目的，本发明采用以下技术方案：

一种融合运动信息检测和Radon变换的KCF目标跟踪方法，包括：

第一步，输入待处理的第一帧图像，标记待跟踪的目标。

第二步，对当前帧图像分别提取HOG特征和经Radon变换提取k阶矩特征。

第三步，采用光流法预测出目标运动的大致区域，采用帧间差分法确定前景区域，通过这两种方法的结合，保证预测的目标运动大致范围的准确性。

第四步，输入HOG特征并训练KCF位置滤波器，预测目标区域中心点位置；

第五步，输入矩特征并训练KCF尺度滤波器，预测目标的尺度。

第六步，结合预测的目标区域中心点位置和目标的尺度，确定出目标的准确位置。

第七步，采用改进的模型更新策略进行模型更新。

第八步，判断是否为最后一帧，是则确定出待跟踪的目标，跟踪结束；否则视频帧数加一并返回第二步。

本发明具有以下优点：

1.本发明针对目标存在尺度变换、遮挡和环境光照变化时目标跟踪性能下降的问题，利用光流法和帧间差分法提前预测目标所在区域，以缩小KCF的搜索范围，提高了算法的速度。在传统KCF算法的基础上，根据模型更新策略中学习率与响应图峰值的非线性关系，构造抛物型学习率曲线实现对模型的自适应更新，保证了算法的实时性、跟踪精度和成功率。

2.本发明针对目标存在尺度变化的情况，对当前帧图像经Radon变换提取矩特征来训练KCF尺度滤波器。由于Radon变换具有对噪声不敏感及矩平移伸缩不变性，当目标存在尺度变化或受到强光照干扰时，仍能快速找到最优的尺度，有效解决了传统KCF算法存在的跟踪丢失问题。

附图表说明

图1为算法流程图。

图2为目标发生遮挡和光照变化情况下本发明方法与传统KCF的性能比较。

图3为光照变化和目标存在遮挡情况下，本发明方法与排在前十名的传统经典跟踪方法成功率的排序结果。

图4为光照变化和目标存在遮挡情况下，本发明方法与排在前十名的传统经典跟踪方法精度的排序结果。

图5为目标发生尺度变化情况下本发明方法与传统KCF的性能比较。

图6在目标存在尺度变化情况下，本发明方法与排在前十名的传统经典跟踪方法精度和成功率的排序结果。

具体实施方式

结合所附图表，对本发明的技术方案作具体说明。

如图1所示，本发明的一种融合运动信息检测和Radon变换的KCF目标跟踪方法，具体包括以下步骤：

步骤1选取包括目标发生尺度变化、遮挡和光照变化等复杂情况下的视频图像，输入待处理的第一帧图像，标记待跟踪的目标。

步骤2对当前帧图像分别提取HOG特征和经Radon变换提取矩特征，具体过程为：

(2.1)对输入的图像提取HOG特征，具体步骤为：

(1)对图像灰度化处理，并采用Gamma法进行归一化。

(2)计算图像上点(x，y)处的梯度值和梯度方向。

(3)将图像化为四个单元，并采用直方图统计每个单元的梯度信息。

(4)将这些单元化为一个图像块，并将这些单元的特征串联成一行，得到图像块的HOG特征。

(2.2)对输入的图像经Radon变换提取矩特征，具体的k阶矩特征η_k(θ)表达式为：

式中，μ₀为初始矩，μ_k(θ)由下式计算：

其中，r为幅值，表示坐标原点到目标的距离，二维图像经Radon变换得到R_θ(r)满足：

R_θ(r)＝∫∫f(x，y)δ(r-xcosθ-ysinθ)dxdy (2)

这里，f(x，y)为二维图像点(x，y)的强度，δ为dirac-delta函数，θ∈[0，π)为幅角。

满足：

特别地，当k＝0时，μ₀为初始矩。

步骤3根据图像上点(x，y)的光流迭代公式(3)求出光流(u，v，x，y)，预测出前一帧图像中目标框的中心在下一帧的位置，即可预测出目标运动的大致区域。

式中，u^(k+1)和v^(k+1)分别是点(x，y)在水平和垂直方向上的运动分量，

和

为局部平均，

为t时点(x，y)处的灰度值I(x，y，t)相对于x，y，t的偏导，λ为权重系数。

考虑到运动场景可能受到其他诸如摇动的树木、变化的光线等干扰，会导致运动区域的误差较大。作为补偿，这里利用帧间差分法确定出前景区域。通过这两种方法的结合，保证了提取的检测区域的高准确率。

设相邻两帧图像的灰度函数差分为D_k(x，y)＝|f_k(x，y)-f_k-1(x，y)|，这里，f_k(x，y)表示第k帧图像的灰度函数，f_k-1(x，y)为第k-1帧图像的灰度函数。定义R_k(x，y)具体表达式为：

式中，T₀为给定的阈值。

R_k(x，y)为二值函数，当R_k(x，y)取0时，则表示该像素的灰度没有发生变化，或变化很小，说明没有运动物体，于是，取0的区域可近似认为背景区域；当R_k(x，y)取1时，说明该像素在前后两帧的灰度发生了较大的变化，可认为有运动物体，于是，取1的区域可近似认为前景区域。

步骤4输入HOG特征并训练KCF位置滤波器，预测目标区域中心点位置，具体步骤为：

(4.1)令x＝[x₁ x₂ x₃ … x_n]为目标图像块的HOG特征向量，对其进行循环移位得到循环矩阵X为：

式中，X第一个行向量x＝[x₁ x₂ x₃ … x_n]为基础样本，其它每个行向量通过对第一个行向量进行位移作为训练样本。

(4.2)对X采用矩阵F进行对角化，具体表达式为：

式中，F为常量矩阵，

为x经过离散傅里叶变换后的向量，diag表示以

各分量为主对角线元素的对角阵，F^H为F的Hermitian转置矩阵。

(4.3)构建岭回归模型训练分类器，模型的目标优化函数为：

式中，X_j为循环矩阵X第j个行向量，y为标签向量，y_j为其分量，由X对应的高斯函数得到，λ为正则化参数，w为分类器参数。

(4.4)设f(z)为z循环移位得到的所有样本对应的回归值向量，借助核函数K(·，·)进行内积运算，在傅里叶变换域上得到其最优解

为：

式中，k^xz为训练样本集和候选样本集构成的核函数矩阵的第一行向量，

为其离散傅里叶变换，

的第i个分量满足：

这里，

为训练样本核函数矩阵K第一行向量的离散傅里叶变换的分量，

为标签向量y的离散傅里叶变换的分量。

(4.5)对最优解

进行傅里叶反变化即可得到f(z)。由于f(z)是待测样本z循环移位得到的所有样本对应的回归值向量，在所有候选样本中回归值最大的位置就是这一帧图像检测到的目标区域中心点位置。

步骤5输入矩特征并训练KCF尺度滤波器，预测目标的尺度，具体步骤为：

(5.1)将步骤2中(2.2)提取到的k阶矩特征η_k(θ)构成矩特征向量

训练KCF滤波器。

(5.2)利用DSST尺度估计的尺度金字塔方法建立尺度池。

(5.3)对由位置滤波器预测出来的目标，通过尺度池获得不同尺度的目标窗口，经Radon变换后提取其检测特征样本，计算滤波器的相应输出，其最大响应值就是尺度估计的结果。

由于矩特征向量的维数与窗口尺度大小无关，所以无需经双线性插值把图像块的尺寸统一到滤波器的尺度上，这在减少了计算量的同时还提高了算法的精度。

步骤6结合位置滤波器预测的目标区域中心点位置和尺度滤波器预测的目标尺度，确定出目标的准确位置，完成本帧图像的检测。

步骤7采用改进的模型更新策略进行模型更新，具体的模型更新公式为：

x_new＝(1-μ(F))x_old+μ(F)x′ (9)

式中，x_old与x_new分别为前一帧和当前帧的训练基础样本，x′为前一帧图像中输出值最高的检测样本，μ(F)为自适应学习率，满足：

这里，定义M＝Ef，表示滤波器扫描一帧图像得出的输出值f的数学期望，M取0.2，F为一帧图像的输出值f的峰值，μ₀为调节参数。

步骤8判断是否为最后一帧，是则确定出待跟踪的目标，跟踪结束；否则视频帧数加一并返回第二步。

为了验证方法的可行性和有效性，下面结合实例对本发明做进一步详细的描述。

本实验的硬件平台为Intel(R)Core(TM)i5-3337，1.80Ghz CPU，4.00GB RAM的台式计算机，软件平台为Matlab 2014b，采用OTB 50中的视频测试序列进行实验，测试本发明方法的性能。

下表为本发明中融合运动信息检测和Radon变换的KCF仿真参数。

图2为目标发生遮挡和光照变化情况下本发明方法与传统KCF的性能比较。图中，黑色框为本发明方法，白色框为传统KCF方法。图2(a)为目标发生遮挡变化的情况，本发明方法与传统KCF对不同帧图像的跟踪性能的比较。可以看出，CarScale序列在91帧时，两种方法虽然都保持了对目标的跟踪，但随着车辆前行，目标逐渐被树木遮挡，传统KCF方法的成功率逐渐降低，本发明方法的跟踪效果更好；图2(b)为环境存在光照变化情况下，本发明方法与传统KCF对不同帧图像的跟踪性能的比较。可以看出，Trellis序列在第231帧时，两种方法跟踪效果相差不大，但随着时间的推移，目标所处环境的光线逐渐变暗时，传统KCF的精度逐渐降低，在第477帧时，本发明方法仍然可以实现较高精度的跟踪。

此外，通过对本发明方法与传统KCF跟踪性能指标每秒帧数的计算，本发明为78FPS，传统KCF为121FPS，本发明方法的实时性得到了明显提高。

图3为光照变化和目标存在遮挡下，本发明方法与传统KCF以及TLD、Struck、VTD和ASLA等23种经典跟踪方法中排在前十名的方法成功率的排序结果。由图3(a)可以看出，环境光照发生变化的情况下，覆盖阈值处于[0.2，0.8]时，本发明方法跟踪效果最好，对比传统KCF跟踪的成功率提高了7.4％；由图3(b)可以看出，当目标存在遮挡且覆盖阈值处于[0.3，0.9]时，本发明方法的效果最好，对比传统KCF跟踪的成功率提高了2.2％。

图4为光照变化和目标存在遮挡下，本发明方法与传统KCF以及TLD、Struck、VTD和ASLA等23种经典跟踪方法中排在前十名的方法精度的排序结果。由图4(a)可以看出，当环境存在光照变化时，误差阈值取20像素，本发明方法的精度较排名第二的传统KCF提高了0.7％。由图4(b)可以看出，当目标存在遮挡时，误差阈值取20像素，本发明方法的精度均高于其他方法，较排名第二的传统KCF精度提高了5.0％。

综上所述，本发明方法有效提高了目标存在遮挡和环境存在光照变化情况时跟踪的成功率和精度，且实时性得到明显提高。

图5为目标发生尺度变化情况下本发明方法与传统KCF的性能比较。图中，黑色框为本发明方法，白色框为传统KCF方法。由图中可以看出，在目标发生尺度变化的情况，Car序列从42帧至147帧时，两种方法都保持了对目标的跟踪，当小车继续前进，从第三幅图第231帧开始，随着小车尺度不断变化，传统方法的精度逐渐下降，而本发明方法依然保持较好的跟踪精度。

图6在目标存在尺度变化情况下，本发明方法与传统KCF以及TLD、Struck、VTD和ASLA等23种经典跟踪方法，排名前十名的跟踪算法的精度和成功率的排序结果。由图6(a)和图6(b)分别可以看出，排在前三名的依次是本发明方法、传统KCF及Struck算法。本发明方法相比传统KCF和Struck算法，跟踪精度分别提高了3.3％和9.5％，平均跟踪成功率分别提高了3.6％和12.1％，整体跟踪效果有所提升。

Claims (5)

1.一种融合运动信息检测和Radon变换的KCF目标跟踪方法，其特征在于，包括以下步骤：

第一步，输入待处理的第一帧图像，标记待跟踪的目标；

第二步，对当前帧图像分别提取HOG特征和经Radon变换提取k阶矩特征；

第三步，采用光流法预测出目标运动的大致区域，采用帧间差分法确定前景区域，通过这两种方法的结合，保证预测的目标运动大致范围的准确性；

第四步，输入HOG特征并训练KCF位置滤波器，预测目标区域中心点位置；

第五步，输入矩特征并训练KCF尺度滤波器，预测目标的尺度；

第六步，结合预测的目标区域中心点位置和目标的尺度，确定出目标的准确位置；

第七步，采用改进的模型更新策略进行模型更新；

第八步，判断是否为最后一帧，是则确定出待跟踪的目标，跟踪结束；否则视频帧数加一并返回第二步。

2.如权利要求1所述的一种融合运动信息检测和Radon变换的KCF目标跟踪方法，其特征在于，所述第二步中对当前帧图像经Radon变换提取k阶矩特征，具体的k阶矩特征η_k(θ)表达式为：

式中，μ₀为初始矩，μ_k(θ)由下式计算：

其中，r为幅值，表示坐标原点到目标的距离，二维图像经Radon变换得到R_θ(r)满足：

R_θ(r)＝∫∫f(x，y)δ(r-x cosθ-y sinθ)dxdy (2)

这里，f(x，y)为二维图像点(x，y)的强度，δ为dirac-delta函数，θ∈[0，π)为幅角；

满足：。

3.如权利要求1所述的一种融合运动信息检测和Radon变换的KCF目标跟踪方法，其特征在于，所述第三步中采用光流法预测出目标运动的大致区域，采用帧间差分法确定前景区域，具体步骤为：

(3.1)根据图像上点(x，y)的光流迭代公式(3)求出光流(u，v，x，y)，预测出前一帧图像中目标框的中心在下一帧的位置，即可预测出目标运动的大致区域；

式中，u^(k+1)和v^(k+1)分别是点(x，y)在水平和垂直方向上的运动分量，和为局部平均，为t时点(x，y)处的灰度值I(x，y，t)相对于x，y，t的偏导，λ为权重系数；

(3.2)设相邻两帧图像的灰度函数差分为D_k(x，y)＝|f_k(x，y)-f_k-1(x，y)|，这里，f_k(x，y)表示第k帧图像的灰度函数，f_k-1(x，y)为第k-1帧图像的灰度函数；定义R_k(x，y)具体表达式为：

式中，T₀为给定的阈值；

R_k(x，y)为二值函数，当R_k(x，y)取0时，表示取0的区域为背景区域；当R_k(x，y)取1时，表示取1的区域可近似认为前景区域。

4.如权利要求1所述的一种融合运动信息检测和Radon变换的KCF目标跟踪方法，其特征在于，所述第五步中输入矩特征并训练KCF尺度滤波器，预测目标的尺度，具体步骤为：

(4.1)将提取到的k阶矩特征构成矩特征向量训练KCF滤波器；

(4.2)利用DSST尺度估计的尺度金字塔方法建立尺度池；

(4.3)对由位置滤波器预测出来的目标，通过尺度池获得不同尺度的目标窗口，经Radon变换后提取其检测特征样本，计算滤波器的相应输出，其最大响应值就是尺度估计的结果。

5.如权利要求1所述的一种融合运动信息检测和Radon变换的KCF目标跟踪方法，其特征在于，所述第七步中采用改进的模型更新策略进行模型更新，具体的模型更新公式为：

x_new＝(1-μ(F))x_old+μ(F)x′ (5)

式中，x_old与x_new分别为前一帧和当前帧的训练基础样本，x′为前一帧图像中输出值最高的检测样本，μ(F)为自适应学习率，满足：

这里，定义M＝Ef，表示滤波器扫描一帧图像得出的输出值f的数学期望，F为一帧图像的输出值f的峰值，μ₀为调节参数。

Images