CN107578423A - 多特征分层融合的相关滤波鲁棒跟踪方法 - Google Patents

Abstract

本发明涉及一种多特征分层融合的相关滤波鲁棒跟踪方法。为提高目标跟踪的鲁棒性，针对相关滤波跟踪中的多特征融合问题，本发明提出了一种多特征分层融合策略。从目标和周围背景区域分别提取HOG特征、CN特征和颜色直方图特征三种特征。采用自适应加权融合策略进行HOG特征和CN特征的特征响应图融合。将该层融合结果与基于颜色直方图特征获得的特征响应图进行第二层融合时，采用固定系数融合策略进行特征响应图的融合。本发明在保证跟踪准确率的前提下，跟踪鲁棒性优于其它算法。当相关滤波跟踪算法采用了多个特征时，本发明的分层融合策略具有一定的借鉴性。

Description

多特征分层融合的相关滤波鲁棒跟踪方法

技术领域

本发明属于目标跟踪领域，涉及一种多特征分层融合的相关滤波鲁棒跟踪方法。

背景技术

视觉跟踪用来确定感兴趣的目标在视频序列中连续的位置，其是计算机视觉领域的热点问题之一，具有广泛的研究与应用价值。目前主要的视觉跟踪算法包括基于在线学习的视觉跟踪算法、基于稀疏表示的视觉跟踪算法、基于相关滤波的视觉跟踪算法和基于卷积神经网络的视觉跟踪算法。近年来基于相关滤波的视觉跟踪算法由于具有实时性好和跟踪性能高的优点，在VOT视觉跟踪竞赛中取得了优异成绩。

影响相关滤波跟踪算法性能的主要因素包括相关滤波器的设计，图像特征的提取、选择和融合两个方面。当在相关滤波跟踪算法中采用多源特征时，根据融合的层次不同，融合策略可分为特征提取层融合和特征响应图层融合两种，如图1所示。融合策略一在特征提取层将多种特征合并成多通道特征，融合策略二在特征响应图层进行融合，主要方法可概括为固定系数加权融合、自适应加权融合、自适应特征选择融合和分层融合等。

目前主流的基于相关滤波的目标跟踪算法，通过采用多源特征来提高跟踪性能。CN和DSST采用融合策略一，分别将颜色名(Color Name,CN)、方向梯度直方图(Histogramof Oriented Gradient,HOG)和灰度(Gray)特征合并成多通道特征。SAMF采用融合策略一，直接将Gray、HOG和CN特征合并成多通道特征。将不同类型的特征直接组合成多通道特征，虽然融合方法实现简单，但是融合特征固定不变，无法根据目标周围环境的变化，自适应的改变融合特征，以提高融合特征的显著性。Staple采用融合策略二，用固定系数加权策略将HOG特征和颜色直方图特征在特征响应图层进行特征融合，使其能有效处理目标形变。但在不同跟踪场景中，不同类型的特征描述目标的能力不同，应根据不同特征的判别性采取分层融合策略。

发明内容

为提高目标跟踪的鲁棒性，针对相关滤波跟踪中的上述多特征融合问题，本发明设计了一种多特征分层融合的相关滤波鲁棒跟踪算法。本发明采用多通道相关滤波跟踪算法进行目标跟踪，从目标和周围背景区域分别提取HOG特征、CN特征和颜色直方图特征三种特征。HOG特征和CN特征分别描述了目标的梯度和颜色特征，不同跟踪场景下目标的HOG特征和CN特征的显著性不同，本发明采用自适应加权融合策略进行第一层的HOG特征和CN特征的特征响应图融合，以增强目标特征的显著性。当目标发生形变时，HOG和CN这类模板特征几乎失效，而颜色直方图特征能保留一部分目标信息，可以依赖颜色直方图特征响应图来定位目标，从而提高跟踪算法的鲁棒性。由于颜色直方图特征的判别性较弱，易受背景相似颜色的干扰，当模板特征和颜色直方图特征融合时，本发明将颜色直方图特征作为一种辅助特征。将第一层融合结果与基于颜色直方图特征获得的特征响应图进行第二层融合时，本发明采用固定系数融合策略进行特征响应图的融合。

为解决上述技术问题，本发明采用的技术方案包括以下步骤：

步骤(1).在当前帧中的上一帧目标估计位置和尺度上，分别提取HOG、CN和颜色直方图三种特征的位置候选样本；基于多通道相关滤波算法，通过位置相关滤波器分别得到HOG和CN特征响应图；通过颜色直方图滤波器和积分图技术，得到颜色直方图特征响应图；

步骤(2).多特征分层融合：通过自适应加权融合策略，进行第一层的HOG特征和CN特征的特征响应图融合；将第一层融合结果与颜色直方图特征响应图进行第二层融合时，采用固定系数融合策略进行特征响应图的融合；

步骤(3).位置估计：通过步骤(2)的融合后响应图的峰值位置得到当前帧目标估计位置；

步骤(4).尺度估计：在当前帧的目标估计位置处提取HOG特征尺度候选样本，基于多通道相关滤波算法，通过尺度相关滤波器得到尺度响应图；通过尺度响应图的峰值位置得到当前帧目标估计尺度；

步骤(5).模板更新：在当前帧的目标估计位置和尺度上，分别提取HOG、CN和颜色直方图三种特征，通过线性插值方法更新位置相关滤波器、尺度相关滤波器和颜色直方图滤波器。

本发明采用HOG、CN和颜色直方图三种特征，基于多通道相关滤波跟踪算法进行目标跟踪。采用自适应加权融合策略，进行第一层的HOG特征和CN特征的特征响应图融合，将第一层融合结果与基于颜色直方图特征获得的特征响应图进行第二层固定系数特征响应图融合。通过融合后的响应图进行目标位置估计，并采用尺度估计算法估计目标尺度。本发明与现有技术相比，其显著优点为：(1)在保证跟踪准确率的前提下，本发明的跟踪鲁棒性优于其它算法。(2)当相关滤波跟踪算法采用了多个特征时，本发明提出的分层融合策略具有一定的借鉴性。

附图说明

图1为相关滤波跟踪算法中的多特征融合策略示意图；

图2为本发明方法的目标位置估计示意图；

图3为6种跟踪算法在OTB-2013公开测试集中得到的成功率曲线和距离精度曲线法。

具体实施方式

以下结合附图对本发明作进一步说明。

结合图2，本发明具体实施步骤如下：

步骤(1).在当前帧中的上一帧目标估计位置和尺度上，分别提取HOG、CN和颜色直方图三种特征的位置候选样本。基于多通道相关滤波算法，通过位置相关滤波器分别得到HOG和CN特征响应图。通过颜色直方图滤波器和积分图技术，得到颜色直方图特征响应图。

1.1多通道相关滤波跟踪算法

记d通道目标外观模板为f，其每个通道特征表示为f^l,l∈{1,...,d}。记相关滤波器为h，其由d个单通道滤波器h^l组成。通过最小化训练损失函数ε求取h，如式(1)所示。

其中*代表循环相关操作，用f正样本和其所有由循环移位产生的负样本当做训练集，用g表示相关滤波器h的训练输出，是带有权重系数λ的正则项。求解式(1)时，通过将时域的卷积转化为频域的点乘，能极大地降低计算量。式(1)是一个线性最小二乘问题，其闭环解为：

其中H、G、F分别表示h、g、f、的离散傅里叶变换形式，和分别表示G和F的复数共轭形式。

在目标跟踪过程中，目标的外观会发生变化，为了能持续跟踪目标，滤波器需要在线更新。第t帧相关滤波器h更新公式为：

其中和B_t分别是滤波器的分子和分母，η是学习系数。

在上一帧估计目标位置处提取候选样本Z_t进行观测，在频率内计算相关滤波器输出y_t，计算公式如下：

其中F^-1表示离散傅里叶反变换。通过y_t的峰值位置得到当前帧目标估计位置。

1.2颜色直方图特征

早期的跟踪算法仅将颜色直方图特征用于计算目标模板和候选样本间的Bhattacharyya系数，算法只能求得一个最优目标位置，无法得到候选区域响应图。Staple通过线性脊回归方程求取了颜色直方图滤波器，直接通过目标和背景颜色直方图来计算单个像素的相似度，能得到候选区域的响应图，其将颜色直方图特征引入到了相关滤波跟踪算法中。

记颜色直方图滤波器为β，目标特征为单个像素特征e_i是长度为M的向量，其只在下标为i的位置为1，其它位置为0，k[u]是位置u处的像素在颜色直方图中的区间值，M是颜色直方图的bin数目。滤波器和单个像素特征的乘积转化为查表操作，在目标和背景区域的每个像素上，通过线性脊回归方程进行训练，训练函数ε_hist如下：

其中O和B分别表示目标和背景区域，|O|和|B|分别表示目标和背景区域内的像素数目。利用的特性，公式(5)可转换为对β的每一特征维度进行求解，β计算公式为：

其中ρ(O)和ρ(B)分别为目标和背景的颜色直方图特征。假定P代表目标或背景区域，则ρ^j(P)＝N^j(P)/|P|，N^j(P)是P中所有位于颜色直方图j区间的像素数目。先利用k[u]计算位置u处像素所对应的区间值j，然后通过式(6)便可计算出位置u处像素的相似度，为降低背景像素的干扰，通过积分图技术求得基于目标区域的相似度。

本发明首先提取HOG和CN特征位置候选样本，通过式(4)分别得到HOG特征响应图y_t,HOG和CN特征响应图y_t,CN。提取颜色直方图特征，通过式(6)和积分图技术(现有成熟技术)得到颜色直方图特征响应图y_t,hist。

步骤(2).多特征分层融合：

通过自适应加权融合策略，进行第一层的HOG特征和CN特征的特征响应图融合。将第一层融合结果与颜色直方图特征响应图进行第二层融合时，采用固定系数融合策略进行特征响应图的融合。

2.1自适应加权特征融合

为计算各特征在跟踪过程中的判别能力，本发明采用响应图平滑约束性(SmoothConstraint of Response Maps,SCRM)和峰值旁瓣比(Peak to Sidelobe Ratio,PSR)两个指标来计算模板特征融合权重。

SCRM的定义为：

其中y_t和y_t-1代表相邻两帧的相关滤波输出，代表移位操作，Δ代表相邻帧相关滤波输出峰值位置之间的相对位移。通常情况下，相邻帧中目标和背景的相对位置不会发生较大改变，相邻帧相关滤波输出的空间分布应该是相似的，因此SCRM的值很小。

PSR的计算方法如下：

其中max(y_t)是相关滤波输出y_t的峰值，u_Φ(y_t)和σ_Φ(y_t)分别是以y_t峰值为中心的10％响应区域的均值和标准差，Φ＝0.10。

SCRM越小，PSR值越大，表明对应特征的跟踪结果可信度越高，在模板特征融合时应该赋予更大的权重。基于以上考虑，本发明设计的自适应特征融合权重计算公式为：

其中w_CN是CN特征的融合权重。在每一帧中都对w_CN进行在线更新，更新公式如下：

w_CN＝(1-τ)×w_CN+τ×w_CN 式(10)

其中τ是学习系数。

本发明通过自适应加权融合策略融合HOG和CN特征响应图。自适应加权融合公式如下：

y_tmpl＝w_CN×y_CN+(1-w_CN)×y_HOG 式(11)

其中y_tmpl为HOG和CN特征的自适应加权融合输出，y_HOG和y_CN分别为HOG和CN特征的相关滤波输出。

2.2固定系数特征融合

本发明借鉴Staple算法的特征融合策略，将第一层融合结果y_tmpl和颜色直方图特征响应图进行固定系数融合，融合公式如下所示：

y_trans＝α×y_hist+(1-α)×y_tmpl 式(12)

其中α为固定融合系数，y_trans为第二层融合的融合响应图。

步骤(3).位置估计：

在基于步骤(2)得到的融合响应图y_trans上，通过y_trans的峰值位置得到当前帧目标估计位置。

步骤(4).尺度估计：

在当前帧的目标估计位置处提取HOG特征尺度候选样本，通过式(4)得到尺度响应图y_scale，通过y_scale的峰值位置得到当前帧目标估计尺度。

步骤(5).模板更新：

在当前帧的目标估计位置和尺度上，分别提取HOG、CN和颜色直方图三种特征，通过式(3)更新位置相关滤波器、尺度相关滤波器。和位置相关滤波器的式(3)更新方法一样，采用线性插值方法对ρ(O)和ρ(B)进行在线更新。

为验证本发明的有效性，采用OTB-2013和VOT-2014公开测试集验证算法性能。本发明只利用了OTB-2013中35段彩色序列，选取阀值为20像素时的距离精度曲线值(Distance Precision,DP)作为典型值，其评价了算法的鲁棒性。选取成功率曲线下方的面积(Area under curve,AUC)作为典型值，其评价了算法的准确性。本发明使用VOT-2014上的准确率(Accuracy)和鲁棒性(Robustness)两种评价指标。实验参数如下：位置滤波器学习系数η_trans为0.01，正则化系数λ_HOG为10-3，λ_CN为10-4，λ_scale为10-3，Φ为0.1，w_CN初始值为0.5，τ为0.2，α为0.3。本发明的颜色直方图滤波器和尺度滤波器采用的其它参数分别与Staple和DSST相同。在VOT-2014和OTB-2013公开测试集上，将本发明所对应的Ours算法与5种主流基于相关滤波的目标跟踪算法，包括CN、KCF、SAMF、DSST和Staple进行对比分析。表1对6种算法所采用的特征和融合策略进行了总结。

表1 6种算法的总结对比

注：√表示是，×表示否

图3为本发明与5种算法在OTB-2013上的跟踪结果，可以看出本发明在准确率和鲁棒性上均要好于其它算法。相比于Staple算法，本发明的DP和AUC分别提高了5.9％(0.840vs 0.781)和3.2％(0.633vs 0.601)。一是因为加入了CN特征，其能够提取丰富的颜色特征，CN和HOG特征具有一定的互补性。二是因为本发明提出的多特征分层融合策略，能根据不同跟踪场景下特征描述目标的能力，自适应的调整融合权重，减少了算法跟丢目标的可能性，提高了算法的鲁棒性。

VOT-2014的实验类型包含baseline和region noise两种。其中region noise实验测试算法在干扰情况下的跟踪性能。本发明没有随机性，在baseline实验上做了3次仿真卡罗模拟，在region noise实验上做了5次仿真卡罗模拟。表2为本发明与对比算法在VOT-2014上的跟踪结果，可以看出，本发明在baseline和region noise实验中的鲁棒性均好于其它算法，这进一步说明了提出的多特征分层融合策略的有效性。当相关滤波跟踪算法采用了多个特征时，本发明提出的分层融合策略具有一定的借鉴性。

表2 VOT-2014上6种算法跟踪结果汇总

Claims (3)

1.多特征分层融合的相关滤波鲁棒跟踪方法，其特征在于该方法的具体步骤是：

步骤(1)、在当前帧中的上一帧目标估计位置和尺度上，分别提取HOG、CN和颜色直方图三种特征的位置候选样本；基于多通道相关滤波算法，通过位置相关滤波器分别得到HOG和CN特征响应图；通过颜色直方图滤波器和积分图技术，得到颜色直方图特征响应图；

步骤(2)、多特征分层融合：通过自适应加权融合策略，进行第一层的HOG特征和CN特征的特征响应图融合；将第一层融合结果与颜色直方图特征响应图进行第二层融合时，采用固定系数融合策略进行特征响应图的融合；

步骤(3)、位置估计：通过步骤(2)的融合后响应图的峰值位置得到当前帧目标估计位置；

步骤(4)、尺度估计：在当前帧的目标估计位置处提取HOG特征尺度候选样本，基于多通道相关滤波算法，通过尺度相关滤波器得到尺度响应图；通过尺度响应图的峰值位置得到当前帧目标估计尺度；

步骤(5)、模板更新：在当前帧的目标估计位置和尺度上，分别提取HOG、CN和颜色直方图三种特征，通过线性插值方法更新位置相关滤波器、尺度相关滤波器和颜色直方图滤波器。

2.根据权利要求1所述的多特征分层融合的相关滤波鲁棒跟踪方法，其特征在于步骤(1)基于多通道相关滤波算法，通过位置相关滤波器分别得到HOG和CN特征响应图，具体如下：

记d通道目标外观模板为f，其每个通道特征表示为f^l,l∈{1,...,d}；记相关滤波器为h，其由d个单通道滤波器h^l组成；通过最小化训练损失函数ε求取h，如式(1)所示：

其中*代表循环相关操作，用f正样本和其所有由循环移位产生的负样本当做训练集，用g表示训练输出；是带有权重系数λ的正则项；求解式(1)时，通过将时域的卷积转化为频域的点乘，能极大地降低计算量；式(1)是一个线性最小二乘问题，其闭环解为：

其中H、G、F分别表示h、g、f、的离散傅里叶变换形式，和分别表示G和F的复数共轭形式；

在目标跟踪过程中，目标的外观会发生变化，为了能持续跟踪目标，滤波器需要在线更新；第t帧相关滤波器h更新公式为：

其中和B_t分别是滤波器的分子和分母，η是学习系数；

在上一帧估计目标位置处提取候选样本Z_t进行观测，在频率内计算相关滤波器输出y_t，计算公式如下：

其中F^-1表示离散傅里叶反变换；通过y_t的峰值位置得到当前帧目标估计位置；

首先提取HOG和CN特征位置候选样本，通过式(4)分别得到HOG特征响应图y_t,HOG和CN特征响应图y_t,CN。

3.根据权利要求1所述的多特征分层融合的相关滤波鲁棒跟踪方法，其特征在于步骤(2)提出的多特征分层融合策略具体如下：

首先采用自适应加权融合策略进行HOG特征和CN特征的特征响应图融合，通过计算特征响应图的SCRM和PSR两个指标得到融合权重；将该层融合结果与基于颜色直方图特征获得的特征响应图进行第二层融合时，采用固定系数融合策略进行特征响应图的融合；

3.1自适应加权特征融合

为计算各特征在跟踪过程中的判别能力，采用SCRM和PSR两个指标来计算模板特征融合权重；

SCRM的定义为：

其中y_t和y_t-1代表相邻两帧的相关滤波输出，代表移位操作，Δ代表相邻帧相关滤波输出峰值位置之间的相对位移；通常情况下，相邻帧中目标和背景的相对位置不会发生较大改变，相邻帧相关滤波输出的空间分布应该是相似的，因此SCRM的值很小；

PSR的计算方法如下：

其中max(y_t)是相关滤波输出y_t的峰值，u_Φ(y_t)和σ_Φ(y_t)分别是以y_t峰值为中心的10％响应区域的均值和标准差，Φ＝0.10；

SCRM越小，PSR值越大，表明对应特征的跟踪结果可信度越高，在模板特征融合时应该赋予更大的权重；基于以上考虑，自适应特征融合权重计算公式为：

其中w_CN是CN特征的融合权重；在每一帧中都对w_CN进行在线更新，更新公式如下：

w_CN＝(1-τ)×w_CN+τ×w_CN 式(8)

其中τ是学习系数；

通过自适应加权融合策略融合HOG和CN特征响应图；自适应加权融合公式如下：

y_tmpl＝w_CN×y_CN+(1-w_CN)×y_HOG 式(9)

其中y_tmpl为HOG和CN特征的自适应加权融合输出，y_HOG和y_CN分别为HOG和CN特征的相关滤波输出；

3.2固定系数特征融合

将第一层融合结果和颜色直方图特征响应图进行固定系数融合，融合公式如下所示：

y_trans＝α×y_hist+(1-α)×y_tmpl 式(10)

其中α为固定融合系数，y_trans为第二层融合的融合响应图。