CN110992402A - 基于特征融合的相关滤波目标跟踪方法 - Google Patents

Abstract

本发明公开了基于特征融合的相关滤波目标跟踪方法，包括以下步骤：S10，采用CN特征代替颜色直方图；S20，分别对HOG特征和CN特征进行相关滤波处理产生响应输出；利用平均相关峰能量和平滑约束性进行自适应特征融合；S30，采用平均相关峰能量置信评价指标分别衡量HOG和CN的响应的可靠度，当判决可靠时，采用平均相关峰能量和平滑约束性共同决定的模板影响因子进行自适应的模型更新。本发明对背景和目标相似，光照变化强烈，目标被遮挡等情况具有较好的鲁棒性。

Description

基于特征融合的相关滤波目标跟踪方法

技术领域

本发明属于图像处理技术领域，涉及一种基于特征融合的相关滤波目标跟 踪方法。

背景技术

目标跟踪是国内外计算机视觉研究的一个重要方向，其在人机交互、视频 监控、自动驾驶等方面都有着极其广泛的应用。近年来，在视频目标跟踪领域， 基于相关滤波的目标跟踪方法得到了快速发展。Bolme等人在2010年提出了 MOSSE方法，首次把相关滤波的方法引入到了目标跟踪中来，MOSSE方法使 用输出结果的最小均方误差来训练滤波器，运行速度超过600帧/s。Danelljan 等人在2014年提出了DSST方法，是一种基于MOSSE方法的尺度自适应变化 的目标跟踪方法，DSST方法分别训练了位置和尺度两个滤波器，分别对目标 进行位置和尺度的预估，然后对目标进行定位，再根据尺度滤波器，对目标进 行尺度变化。YANG Li等人在2014年提出融合颜色特征(CN)和梯度直方图 (HOG)特征的SAMF方法，并且加入了一种新的尺度变化方法。Henriques 等人在2015年提出了核相关滤波目标跟踪方法(KCF)，KCF方法中使用了多 通道的HOG特征，将相关滤波方法的单通道特征提升到多通道特征，并且强 化了循环矩阵的方法，将跟踪精度进一步提升。Bertinetto等人在2016年提出 了Staple方法，Staple方法利用HOG和颜色直方图，对HOG和颜色直方图分 别进行相关滤波处理计算出两个响应输出，再由固定权重系数将两个响应图进 行结合，计算出最终的响应，确定目标位置。Danelljan等人在2017年在DSST 方法的基础上，加入PCA降维的方法，提出fDSST(fast DSST)方法，进一 步提升对尺度变化的目标的跟踪效果。

Staple方法中使用的颜色直方图特征易受光照、阴影等因素影响，且采用 固定的权重系数进行特征融合，在复杂颜色场景下的容易跟踪失败，其采用固 定模板更新策略，当目标发生遮挡时跟踪飘移严重。

发明内容

为解决上述问题，本发明的目的在于提供一种基于CN特征和HOG特征相 融合的相关滤波目标跟踪方法，利用HOG特征和CN特征互补特性，在Staple 跟踪框架下实现目标跟踪，即兼顾了方法的实时性又使跟踪结果具有很好的鲁 棒性。

为实现上述目的，本发明的技术方案为基于特征融合的相关滤波目标跟踪 方法，包括以下步骤：

S10，采用CN特征代替颜色直方图；

S20，分别对HOG特征和CN特征进行相关滤波处理产生响应输出；利用 平均相关峰能量和平滑约束性进行自适应特征融合；

S30，采用平均相关峰能量置信评价指标分别衡量HOG和CN的响应的可 靠度，当判决可靠时，采用平均相关峰能量和平滑约束性共同决定的模板影响 因子进行自适应的模型更新。

优选地，所述对CN特征进行相关滤波处理产生响应输出包括以下步骤：

S21，将RGB图像映射到CN颜色特征；

S22，采用PCA降维的方法，将D₁维CN颜色特征降维到D₂维。

S23，计算CN特征的响应输出。

优选地，所述计算CN特征的响应输出，为通过最小化一个损失函数来训 练其相关滤波器，然后计算CN颜色特征响应输出，损失函数由下式：

其中，

是在高斯RBF核函数k(f,g)＝<φ(f),φ(k)>下的希尔伯特空 间的映射，λ为正则化系数，y^j(m,n)为标准高斯响应输出，

a为滤波器系数；

通过将式(1)最小化，得到相应滤波器系数，由下式计算出最终响应输出：

其中，

Φ为离散傅里叶变换，Y^j为标准高斯输出的傅里叶变换。

优选地，所述对HOG特征进行相关滤波处理产生响应输出，为采用岭回 归的框架，针对HOG特征训练一个相关滤波器，再进行计算得出响应输出， 训练由下式：

其中，t为帧数，h为HOG特征滤波器的模型参数，φⁱ为对应特征通道的 特征图，y为理想高斯输出，λ_tmpl为滤波器的正则项系数；利用式(3)训练完 毕滤波器，将下一帧图片提取的候选区域进行计算，得到HOG特征的响应输 出，由下式：

其中f_tmpl(·)为候选区域在滤波器计算下的响应输出，h_t-1为式(3)计算 得到的HOG特征滤波器模型参数，

为本帧HOG特征图。

优选地，所述利用平均相关峰能量和平滑约束性进行自适应特征融合包括 以下步骤：

S24，计算响应图平滑约束性S_p；

S25，计算平均相关峰能量E_p；

S26，自适应特征融合确定目标位置。

优选地，所述自适应特征融合确定目标位置中，融合权重的计算由下式：

其中，v_i为平均相关峰能量置信指标控制权重，μ_i为响应图平滑约束性控 制权重，i＝1,2，α₁,α₂分别为HOG特征和CN特征的平滑约束性和平均相关 峰能量影响因子；

融合权重的自适应方式由下式：

其中，i＝1,2，Φ₁，Φ₂分别为HOG特征和CN特征的融合权重；

最终融合响应输出f_tot由下式：

f_tot＝Φ₁×f_HOG+Φ₂×f_CN (8)

其中，f_HOG为HOG特征响应输出，f_CN为CN颜色特征响应输出。

优选地，所述S30包括以下步骤：

S31，采用平均相关峰能量置信评价指标，分别对HOG特征和CN特征的 响应输出进行跟踪质量置信评价，只有两个特征的响应输出分别大于其历史均 值时，进行模型更新，判决条件由下式：

其中，当计算HOG特征的

时，τ＝0.8，当计算CN特征的

时，τ＝0.65；

S31，自适应的模型更新，

时，即当前帧的平均相关峰能量值

大于其历史均值，进行模型的 更新，更新由下式：

其中，

为当前帧的模型更新学习率，

为本帧计算出的相关 滤波器模型参数，h为控制参数，设为0.01；

当

即响应输出的置信度过低，则不进行模型的更新，

本发明至少具有以下有益效果：

1、使用具有一定光学不变性的Color Names(CN)颜色特征和梯度直方图(HOG)特征结合的目标跟踪方法，HOG特征和CN特征互补，使跟踪更有鲁 棒性，同时兼顾了方法的实时性；

2、在特征融合方面，将响应图平滑约束性(SCCM)方法和平均相关峰能 量(APCE)方法结合，计算出基于置信度的特征融合系数，使特征融合从原来 的固定系数变为自适应特征融合；

3、利用APCE的置信指标来控制模板的更新，分别衡量HOG特征和CN 特征的响应输出的置信度，进行高置信度的模板更新，进一步提升在复杂环境 下的跟踪效果。

附图说明

图1为本发明实施例的基于特征融合的相关滤波目标跟踪方法的步骤流程 图；

图2为本发明实施例的基于特征融合的相关滤波目标跟踪方法的流程示意 图；

图3为现有技术中颜色直方图特征响应输出图；

图4为本发明实施例的基于特征融合的相关滤波目标跟踪方法的CN特征 响应输出图；

图5为本发明实施例的基于特征融合的相关滤波目标跟踪方法的HOG特 征响应输出图；

图6为现有技术中Staple方法的最终响应输出图；

图7为本发明实施例的基于特征融合的相关滤波目标跟踪方法的最终响应 输出图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅 仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替 代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解， 在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技 术人员来说没有这些细节部分的描述也可以完全理解本发明。

方法实施例1

参见图1，为本发明实施例的本发明的技术方案为基于特征融合的相关滤 波目标跟踪方法的步骤流程图，包括以下步骤：

S10，采用CN特征代替颜色直方图；

S20，分别对HOG特征和CN特征进行相关滤波处理产生响应输出；利用 平均相关峰能量和平滑约束性进行自适应特征融合；

S30，采用平均相关峰能量置信评价指标分别衡量HOG和CN的响应的可 靠度，当判决可靠时，采用平均相关峰能量和平滑约束性共同决定的模板影响 因子进行自适应的模型更新。

采用CN特征代替颜色直方图，增强了颜色特征对光照、阴影、形变的鲁 棒性。CN特征包括11种基本的颜色：black，blue，brown，grey，green，orange， pink，purple，red，white，yellow。计算机视觉中颜色属性一般分为RGB三色， CN则是把RGB三色细分映射到11维的颜色空间去，CN颜色特征在应用的时 候有两种标准化的方法：抽取每种颜色的1/11，这样就可以将11维映射变成 10维或者直接将11维的颜色特征映射到标准正交基的10维子空间。

具体实施例中

S20中对CN特征进行相关滤波处理产生响应输出包括以下步骤：

S21，将RGB图像映射到CN颜色特征；

S22，采用PCA降维的方法，将D₁维CN颜色特征降维到D₂维。

S23，计算CN特征的响应输出。

其中，S22中，PCA方法是在降维的同时选择出有用信息剔除干扰信息， 本发明通过最小化损失函数，来选择一个最适合每帧的颜色特征降维映射：

其中，

为本帧影响因子由式(11)得到，

为前面i帧的平滑影响 因子由式(12)得到，

为总的影响因子，α_p为当前帧权重系数，α_i为前 面第i帧图像权重系数；

其中，B_p为D₁×D₂的当前帧映射矩阵，[M,N]当前帧搜索区域的大小，(m,n) 为上一帧确定的目标位置，

为当前帧D₁维的特征图；在最小化式(11)， 求取当前帧的降维矩阵B_p，就是对本帧目标D₁维特征图采用PCA降维方法进 行高效计算。

如果仅仅根据式(12)来确定每帧的映射矩阵，不考虑前面帧的影响因素， 遮挡、形变等跟踪环境突变会引起特征选择不当等问题，严重影响跟踪的准确 性和鲁棒性。因此，加入如式(12)所示的前面帧的平滑影响因子，防止跟踪 环境突变，提高方法的鲁棒性，且式(12)所示平滑影响因子，仅在新的映射 矩阵B_p和前面帧的映射矩阵B_j在特征子空间跨度不一样时才会加入到总的 影响因素计算中去：

其中，

为前面帧映射矩阵B_j的基向量，

为基向量

的权重系数。

S23，计算CN特征的响应输出，为通过最小化一个损失函数来训练其相关 滤波器，然后计算CN颜色特征响应输出，损失函数由下式：

其中，

是在高斯RBF核函数k(f,g)＝<φ(f),φ(k)>下的希尔伯特空 间的映射，λ为正则化系数，y^j(m,n)为标准高斯响应输出，

a为滤波器系数；

通过将式(1)最小化，得到相应滤波器系数，由下式计算出最终响应输出：

其中，

Φ为离散傅里叶变换，Y^j为标准高斯输出的傅里叶变换。

现有技术中颜色直方图特征的响应输出图参见图3，本发明CN特征的响 应输出图参见图4。图3和图4均是对同一幅背景颜色干扰信息严重的图的响 应输出，可以看出当背景颜色干扰信息较为严重时，颜色直方图特征响应输出 所受影响较大，目标区域的判定较为模糊，CN颜色特征在次复杂背景环境下 经滤波器处理后，依然保持明显峰值，相比于颜色直方图，有着更强的抗干扰 能力。在本发明在处理的过程中，CN颜色特征由10维降到2维后，来训练滤 波器

本发明方法的流程示意图参见图2，首先，对输入视频序列第一帧提取训 练集，分别训练HOG和CN特征的相关滤波器，计算跟踪目标模型。当跟踪进 入下一帧图片时，利用训练好的滤波器和模型对搜索区域进行计算，分别得出 HOG和CN特征的响应输出，并计算各自的APCE值和SCCM值，进行置信 度评价。利用APCE和SCCM的值，计算特征融合权重，进行自适应特征融合， 得到最终响应输出来确定跟踪目标位置。并且在高置信度下，进行模型更新。

具体实施步骤中所涉及的参数设置如下：

(1)在跟踪视频序列的第一帧，提取目标的CN特征和HOG特征，HOG 特征基本单元尺寸设置为4，CN颜色特征经PCA维降到2维。

(2)利用提取的特征作为训练集，分别训练HOG和CN特征的相关滤波 器，计算跟踪目标的模型。最小化CN特征损失函数时，学习率β_j为0.075， CN颜色特征正则项系数λ为10^-2。最小化HOG特征损失函数时，正则项系数 λ_tmpl为10^-3。

(3)提取新的一帧图片特征图，并对CN颜色特征进行PCA降维处理。 在最小化影响因子时，当前帧的权重参数α_p和前面i帧参数α_i分别为0.85和 0.15。

(4)利用训练好的滤波器和跟踪目标模型，对新一帧图片的特征图进行处 理，计算得出HOG和CN各自的响应输出。

(5)计算HOG和CN响应输出的APCE和SCCM值，评价其响应输出的 置信度，计算特征融合权重。在融合权重计算时，HOG特征置信度影响参数μ₁和ν₁分别为0.5、1，CN特征置信度影响参数μ₂和ν₂分别为0.6、0.8。

(6)将HOG和CN特征响应输出依据自适应融合权重结合，计算得出最 终响应输出，确定目标位置。并在高置信度下，进行模型更新，模型更新判决 参数τ在HOG特征和CN特征中分别为0.8和0.65，模型更新学习率控制参数 h为0.01。

S20中对HOG特征进行相关滤波处理产生响应输出，为采用岭回归的框架， 针对HOG特征训练一个相关滤波器，再进行计算得出响应输出，训练由下式：

其中，t为帧数，h为HOG特征滤波器的模型参数，φⁱ为对应特征通道的 特征图，y为理想高斯输出，λ_tmpl为滤波器的正则项系数；利用式(3)训练完 毕滤波器，将下一帧图片提取的候选区域进行计算，得到HOG特征的响应输 出，由下式：

其中f_tmpl(·)为候选区域在滤波器计算下的响应输出，h_t-1为式(3)计算 得到的HOG特征滤波器模型参数，

为本帧HOG特征图。

图5所示为HOG特征响应输出，处理的对象为目标发生运动模糊时的图 片，HOG特征响应输出受到一定的影响，此时需要颜色特征在跟踪过程中发挥 主要作用。本发明使用的自适应特征融合系数，在HOG特征受到明显干扰时， 会自适应降低HOG响应输出在总响应中的占比，会显著提高跟踪的鲁棒性。

S20中，利用平均相关峰能量和平滑约束性进行自适应特征融合包括以下 步骤：

S24，计算响应图平滑约束性S_p；

S25，计算平均相关峰能量E_p；

S26，自适应特征融合确定目标位置。

其中，S24，计算响应图平滑约束性(SCCM)：

响应图平滑约束性(SCCM)的定义为：

其中，S_p表示当前帧的SCCM值，φ_t和φ_t-1表示相邻两帧的相关滤波输 出，

表示移位操作，Δ表示两个相关滤波最大峰值的位置的相对位移。

S25，平均相关峰能量(APCE)：

平均相关峰能量(APCE)，是一种评价相关滤波器的置信程度的指标，当 可靠程度越高，则APCE的值越大：

其中E_p为本帧APCE值，F_w,h表示特征图的第ω行，第h列，F_max，F_min分 别为响应输出的最大值和最小值。

S26，自适应特征融合确定目标位置中，融合权重的计算由下式：

其中，v_i为平均相关峰能量置信指标控制权重，μ_i为响应图平滑约束性控 制权重，i＝1,2，α₁,α₂分别为HOG特征和CN特征的平滑约束性和平均相关 峰能量影响因子；

融合权重的自适应方式由下式：

其中，i＝1,2，Φ₁，Φ₂分别为HOG特征和CN特征的融合权重；

最终融合响应输出f_tot由下式：

f_tot＝Φ₁×f_HOG+Φ₂×f_CN (7)

其中，f_HOG为HOG特征响应输出，f_CN为CN颜色特征响应输出。

S30包括以下步骤：

S31，采用平均相关峰能量置信评价指标，分别对HOG特征和CN特征的 响应输出进行跟踪质量置信评价，只有两个特征的响应输出分别大于其历史均 值时，进行模型更新，判决条件由下式：

其中，当计算HOG特征的

时，τ＝0.8，当计算CN特征的

时，τ＝0.65；

S32，自适应的模型更新，

时，即当前帧的平均相关峰能量值

大于其历史均值，进行模型的 更新，更新由下式：

其中，

为当前帧的模型更新学习率，

为本帧计算出的相关 滤波器模型参数，h为控制参数，设为0.01；

当

即响应输出的置信度过低，则不进行模型的更新，

图6所示分别为HOG特征与颜色直方图、CN颜色特征进行特征融合后的 响应输出，可以看到在HOG特征响应输出一样且不是很理想的情况下，本发 明采用的CN特征很好的和HOG特征形成互补，且较颜色直方图，有更强的抗 干扰能力，具体跟踪效果提升如图7所示。

与现有技术的方法相比，跟踪成功率和跟踪精度对比：

表1：跟踪成功率和跟踪精度(％)

从表1可以看出，本发明方法在OTB—2013和OTB—2015两个数据集上 的跟踪成功率和跟踪精度都是四种方法中最好的。

表2：四种属性下跟踪成功率

由表2可以看出，在背景干扰、遮挡、光照变化、旋转等跟踪干扰因素发 生后，本发明方法在四项属性上均为第一，表现优秀。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发 明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明 的保护范围之内。

Claims (7)

1.基于特征融合的相关滤波目标跟踪方法，其特征在于，包括以下步骤：

S10，采用CN特征代替颜色直方图；

S20，分别对HOG特征和CN特征进行相关滤波处理产生响应输出；利用平均相关峰能量和平滑约束性进行自适应特征融合；

S30，采用平均相关峰能量置信评价指标分别衡量HOG和CN的响应的可靠度，当判决可靠时，采用平均相关峰能量和平滑约束性共同决定的模板影响因子进行自适应的模型更新。

2.根据权利要求1所述的方法，其特征在于，所述对CN特征进行相关滤波处理产生响应输出包括以下步骤：

S21，将RGB图像映射到CN颜色特征；

S22，采用PCA降维的方法，将D₁维CN颜色特征降维到D₂维。

S23，计算CN特征的响应输出。

3.根据权利要求2所述的方法，其特征在于，所述计算CN特征的响应输出，为通过最小化一个损失函数来训练其相关滤波器，然后计算CN颜色特征响应输出，损失函数由下式：

其中，

是在高斯RBF核函数k(f，g)＝<φ(f)，φ(k)>下的希尔伯特空间的映射，λ为正则化系数，y^j(m，n)为标准高斯响应输出，

a为滤波器系数；

通过将式(1)最小化，得到相应滤波器系数，由下式计算出最终响应输出：

其中，

Φ为离散傅里叶变换，Y^j为标准高斯输出的傅里叶变换。

4.根据权利要求1所述的方法，其特征在于，所述对HOG特征进行相关滤波处理产生响应输出，为采用岭回归的框架，针对HOG特征训练一个相关滤波器，再进行计算得出响应输出，训练由下式：

其中，t为帧数，h为HOG特征滤波器的模型参数，φⁱ为对应特征通道的特征图，y为理想高斯输出，λ_tmpl为滤波器的正则项系数；利用式(3)训练完毕滤波器，将下一帧图片提取的候选区域进行计算，得到HOG特征的响应输出，由下式：

其中f_tmpl(·)为候选区域在滤波器计算下的响应输出，h_t-1为式(3)计算得到的HOG特征滤波器模型参数，

为本帧HOG特征图。

5.根据权利要求4所述的方法，其特征在于，所述利用平均相关峰能量和平滑约束性进行自适应特征融合包括以下步骤：

S24，计算响应图平滑约束性S_p；

S25，计算平均相关峰能量E_p；

S26，自适应特征融合确定目标位置。

6.根据权利要求5所述的方法，其特征在于，所述自适应特征融合确定目标位置中，融合权重的计算由下式：

其中，v_i为平均相关峰能量置信指标控制权重，μ_i为响应图平滑约束性控制权重，i＝1，2，α₁，α₂分别为HOG特征和CN特征的平滑约束性和平均相关峰能量影响因子；

融合权重的自适应方式由下式：

其中，i＝1，2，Φ₁，Φ₂分别为HOG特征和CN特征的融合权重；

最终融合响应输出f_tot由下式：

f_tot＝Φ₁×f_HOG+Φ₂×f_CN (7)

其中，f_HOG为HOG特征响应输出，f_CN为CN颜色特征响应输出。

7.根据权利要求1所述的方法，其特征在于，所述S30包括以下步骤：

S31，采用平均相关峰能量置信评价指标，分别对HOG特征和CN特征的响应输出进行跟踪质量置信评价，只有两个特征的响应输出分别大于其历史均值时，进行模型更新，判决条件由下式：

其中，当计算HOG特征的

时，τ＝0.8，当计算CN特征的

时，τ＝0.65；

S31，自适应的模型更新，

时，即当前帧的平均相关峰能量值

大于其历史均值，进行模型的更新，更新由下式：

其中，

为当前帧的模型更新学习率，

为本帧计算出的相关滤波器模型参数，h为控制参数，设为0.01；

当

即响应输出的置信度过低，则不进行模型的更新，

Images