CN110211157B - 一种基于相关滤波的目标长时跟踪方法 - Google Patents

Abstract

本发明公开了一种基于相关滤波的目标长时跟踪方法，属于计算机视觉技术的目标跟踪领域。首先在视频第一帧提取目标的梯度方向直方图特征和局部强度直方图特征作为目标的特征表示，并且用于训练平移相关滤波器和长时相关滤波器，利用梯度方向直方图特征训练一个尺度相关滤波器。然后，在跟踪过程中，利用长时相关滤波器与目标产生的最大响应值与检测阈值来判断目标跟踪是否发生失败，若发生跟目标跟踪失败，激活在线检测器对目标重新定位；最后，更新在线检测器。同时，使用动态的学习率对目标特征模型和滤波器系数进行更新，以及检测阈值自适应更新。本发明用于运动目标跟踪能适应更加复杂的运动场景，可以明显提高目标跟踪的精确度和成功率。

Description

一种基于相关滤波的目标长时跟踪方法

技术领域

本发明涉及计算机视觉领域以及目标跟踪领域，尤其涉及一种基于相关滤波的目标长时跟踪方法。

背景技术

目标跟踪是计算机视觉领域中的一项基本研究任务，在计算机视觉领域中应用广泛，如：行为识别、安全检测、人机交互等。在实际应用中，由于目标所处的周围环境不同，以及目标自身会发生形变、快速运动、平面外旋转、平面内旋转等情况，以及目标容易受光照、遮挡等影响，目标跟踪成为计算机视觉领域的难点和热点问题。

近年来，基于判别式的目标跟踪方法备受人们关注，尤其是基于相关滤波的目标跟踪方法。

一)：基于相关滤波的目标跟踪方法。Blome首次在目标跟踪领域中应用相关滤波理论，提出一种最小均方误差相关滤波算法，提高了跟踪速度。详见文献“Bolme D S,Beveridge J R,Draper B A,et al.Visual object tracking using adaptivecorrelation filters[C]//The Twenty-Third IEEE Conference on Computer Visionand Pattern Recognition,CVPR 2010,San Francisco,CA,USA,13-18June2010.IEEE,2010.”Henriques首次将多通道方向梯度直方图(Histogram of Oriented Gradients,HOG)特征引入至相关滤波跟踪框架中，提出核化相关滤波跟踪算法，提高了跟踪精度，详见文献“Henriques J F,Caseiro R,Martins P,et al.High-Speed Tracking withKernelized Correlation Filters[J].IEEE Transactions on Pattern Analysis andMachine Intelligence,2015,37(3):583-596.”，Danelljan针对目标尺度变化，提出判别式多尺度相关滤波跟踪算法，详见文献“Danelljan M,Hager G,Khan F S,etal.Discriminative Scale Space Tracking[J].IEEE Transactions on PatternAnalysis&Machine Intelligence,2017,39(8):1561-1575.”，Ma提出一种具有目标长短时记忆的相关滤波跟踪算法，该算法在对目标进行表观建模的过程中考虑了目标上下文信息，增强了目标的特征表达，并且在跟踪过程中引入在线检测模型，在目标发生跟踪失败或漂移时，可以重新定位目标，进行持续跟踪。详见文献“Ma C,Huang J B,Yang X,etal.Adaptive Correlation Filters with Long-Term and Short-Term Memory forObject Tracking[J].International Journal of Computer Vision,2017(2):1-26.”

从这些方法中，可以得出模型学习率都采用固定的经验值，以及在判断目标是否发生跟踪失败的阈值设置为固定值。

发明内容

本发明的本发明旨在解决以上现有技术的问题。提出了一种跟踪更具有广适性、明显提高跟踪精度和成功率的基于相关滤波的目标长时跟踪方法。本发明动态调整模型学习率和采用自适应阈值。本发明用于目标跟踪可以提高目标跟踪的广适性，可以明显提高目标跟踪的精确度和成功率。

本发明的技术方案如下：一种基于相关滤波的目标长时跟踪方法，包括以下步骤：

输入数据集，包含所要跟踪目标的视频序列帧；

根据初始帧的目标，提取目标图像的特征；

为目标图像训练相关滤波器，包括平移相关滤波器，长时相关滤波器，尺度相关滤波器；

利用上一步训练获得的平移相关滤波器估计下一帧的目标位置；

利用长时相关滤波器对此次跟踪结果进行可靠性判断；

动态调整学习率η；

利用尺度相关滤波器对定位好的目标位置进行尺度估计；

模型更新与自适应阈值更新；

输出目标位置。

本发明的优点及有益效果如下：

(1)本发明在学习率设置阶段，采用动态的学习率调整方法，能够反映视频内容的特性。

(2)在判断是否发生跟踪失败的阈值设置阶段，使用自适应阈值来进行阈值的更新，提高了跟踪的广适性以及增强了总体跟踪结果的联系性。

附图说明

图1是本发明提供优选实施例的处理流程框架图。(其中f_L、f_S、f_T分别为长时相关滤波器、尺度相关滤波器，平移相关滤波器，HOG表示方向梯度直方图特征，HOI表示局部强度直方图特征，T_r表示检测阈值，T_s表示更新阈值，max(·)表示最大值，

表示在当前帧长时相关滤波器产生的响应值)

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细的描述。所描述的实施例仅仅是本发明的一部分实施例。

如图1所示，本发明的实现流程包括如下步骤：

步骤S1，输入数据集，包含所要跟踪目标的视频序列帧；

步骤S2，根据初始帧的目标，提取目标的特征；在视频第一帧提取目标的梯度方向直方图特征和局部强度直方图特征作为目标的特征表示，并且将梯度方向方向直方图和局部强度直方图特征进行融合，然后训练平移相关滤波器f_T和长时相关滤波器f_L，利用梯度方向直方图特征训练一个尺度相关滤波器f_S，用于估计跟踪过程中目标的尺度变化。

步骤S3，采用同样的方式，训练平移相关滤波器f_T，长时相关滤波器f_L，尺度相关滤波器f_S；

上述三种相关滤波器均采用以下步骤训练：

在大小为M×N的图像块p上训练的相关滤波器等价于岭回归模型，该岭回归模型将x的所有循环移位产生的图像作为训练样本，对于每一个训练样本x_i，i∈{1,2,...,M}×{1,2,...,N}，都有一个目标分数y_i。M、N为图像块的高和宽，其中目标中心处的目标分数y_i＝1，(m,n)表示在水平方向和垂直方向上的移动的位置，当位置(m,n)远离目标中心时，y_i从1逐渐衰减到0。训练相关滤波器的线性岭回归的目标函数为：

其中f为分类器函数，λ为正则化参数，防止训练产生过拟合，x_i和y_i分别表示第i个训练样本和期望输出，w'表示权重矩阵。由于该目标函数的解是一个线性估计，即f(x)＝w^Tx，因此，岭回归问题对于循环矩阵X具有近似解w。计算w的公式为w＝(X^TX+λI)^-1X^Ty，I表示单位矩阵、y表示回归分数。由于在傅里叶域计算速度比较快，所以设/>

为x的傅里叶变换，则/>

所以得到傅里叶域上W的解为：

其中W为w在傅里叶域的对应表示，/>

为y的复共轭矩阵，χ表示为X在傅里叶域上的对应表示；/>

表示χ的复共轭矩阵。为了提高相关滤波器的判别能力，利用核函数在核空间训练相关滤波器，核函数表示为：k(x,x')＝<φ(x),φ(x')>，最后得出f(x)＝w^Tφ(x)＝∑_iα_ik(x_i,x')，f(x)，φ(x)，φ(x')其中f(x)为分类器函数，φ(x)和φ(x')分别为x和x'的傅里叶变换函数，α_i为w_i的对偶向量，α_i的求解公式为：/>

为核相关矩阵k的傅里叶转换形式。其公式表示为：/>

x＝[x₁,x₂,...,x_c]定义为目标对象的多特征通道，c表示特征通道的总数，x'为训练阶段x的另一种表示形式，σ为尺度参数，/>

为傅里叶逆变换，χ_c为在特征通道上的特征，/>

为训练阶段特征通道上的特征的复共轭矩阵表示。

步骤S4，利用平移相关滤波器进行目标位置估计；

本步骤的具体实现如下：

4.1以上一帧图像中的目标位置为中心，裁剪和图像块p大小相同的图像块z，

4.2利用之前在傅里叶域上学习的f_T计算z的响应图。计算公式为

通过搜索响应图中的最大值，估计目标的位置。

步骤S5，跟踪结果可靠性判断；

本步骤的具体实现如下：

5.1利用S4步骤中响应图的计算公式，计算长时相关滤波器的相关响应图

5.2比较

中的最大值/>

与检测阈值T_r的大小，若/>

则此次跟踪结果可靠；反之，此次跟踪结果不可靠，则此时激活在线检测器重新检测目标，然后利用平移相关滤波器对目标进行重定位。

步骤S6，动态调整学习率η；

本步骤的具体实现如下：

利用当前帧的响应信息与上一帧的响应信息动态调整学习率η，计算公式为

其中η₀表示初始学习率，t表示视频帧序号，max(·)表示目标响应图的输出最大值，v_t表示当前帧的响应值。

步骤S7，对目标位置进行尺度估计；

本步骤的具体实现如下：

7.1以目标位置为中心，设置不同的尺度池S以及目标的宽和高P^M和P^N,尺度池的大小设置为33。

7.2对于每一个尺度s'，以目标为中心截取大小为s'P^M×s'P^N的图像块，然后将这些截取的图像块重新调整统一的大小为P^M×P^N，通过提取每一个样本块的HOG特征构建一个包含目标多尺度表示的特征金字塔。

7.3对于每一个目标尺度目标特征x_s'，都有一个回归目标分数g，计算公式为：

s'表示每一个尺度，σ₁尺度控制参数，N为尺度池的个数。

7.4通过该响应分数表示了目标特征与滤波模板的相似度，最优的尺度的求解公式为：

s^*表示最优尺度，x_s表示在此尺度下的目标特征。

步骤S8，模型更新与自适应阈值更新；

本步骤具体实现如下：

8.1更新目标的运动特征模型x和滤波器系数α，更新公式为：x^t＝(1-η)x^t-1+ηx^t，α^t＝(1-η)α^t-1+ηα^t，其中η为学习率，t为视频帧序号。

8.2为了保持在线检测器的分类能力，更新在线检测器，更新公式为：

τ表示超参数，h表示分类超平面。为了保持f_L的判断准确性，使用步骤S8.1中的模型更新公式更新目标外观特征模型和f_L。

8.3自适应阈值更新的公式为T＝1-δ+δ·V_max，T_r＝0.6·T，V_max当前帧的最大响应值。δ表示阈值更新率。

步骤S9，输出目标位置。

将本发明在两个标准的视频数据集上进行测试：OTB-2013、OTB-2015。实验结果表明，本发明提出的技术方案相较于传统方案具有更高的跟踪精度和成功率，使目标跟踪更能适应复杂场景的变化和自身因素的变化。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (3)

1.一种基于相关滤波的目标长时跟踪方法，其特征在于，包括以下步骤：

输入数据集，包含所要跟踪目标的视频序列帧；

根据初始帧的目标，提取目标图像的特征；

为目标图像训练相关滤波器，包括平移相关滤波器f_T，长时相关滤波器f_L，尺度相关滤波器f_S；

所述训练相关滤波器，在大小为M×N的图像块p上训练的相关滤波器等价于岭回归模型，训练相关滤波器的线性岭回归的目标函数为：

其中f为分类函数，λ为正则化参数，防止训练产生过拟合，x_i表示第i个训练样本，y_i表示第i个期望输出，M表示图像块的高，N表示图像块的宽，w'表示权重矩阵；

利用上一步训练获得的平移相关滤波器估计下一帧的目标位置；

估计目标位置具体包括：在每一帧的跟踪过程中，以上一帧图像中的目标位置为中心，裁剪和图像块p大小相同的图像块z，利用之前在傅里叶域上学习的f_T计算z的响应图，计算公式为

通过搜索响应图中的最大值，估计目标的位置；

利用长时相关滤波器对此次跟踪结果进行可靠性判断；

所述跟踪结果可靠性判断具体包括：利用所述响应图的计算公式，计算相关滤波器的相关响应图

比较/>

中的最大值/>

与检测阈值T_r的大小，若/>

则此次跟踪结果可靠；反之，此次跟踪结果不可靠，则此时激活在线检测器重新检测，再次利用平移相关滤波器对目标进行重定位；

动态调整学习率η，按照以下公式进行，

其中η₀表示初始学习率，t表示视频帧序号，max(·)表示目标响应图的输出最大值，/>

表示在第t帧时候的相关响应值；

利用尺度相关滤波器对定位好的目标位置进行尺度估计，具体包括：以目标位置为中心，设置不同的尺度池S以及目标的宽P^M和高P^N，对于每一个尺度，以目标位置为中心截取大小为s'P^M×s'P^N的图像块，然后将这些截取的图像块重新调整统一的大小为P^M×P^N，通过提取每一个样本块的HOG特征构建一个包含目标多尺度表示的特征金字塔，对于每一个目标尺度目标特征x_s'，都有一个回归目标分数g，

s'表示每一个尺度，σ₁尺度控制参数，最优的尺度的求解公式为：/>

s^*表示最优尺度，x_s表示在此尺度下的目标特征；

模型更新与自适应阈值更新，具体包括：

更新目标的运动特征模型

和相关滤波器系数/>

更新公式为：

其中η为学习率，t为视频帧序号；

为了保持在线检测器的分类能力，更新在线检测器，更新公式为：

l(h:(v,c))，τ表示超参数，h表示分类超平面，c表示特征通道的总数；

为了保持f_L的判断准确性，使用运动特征模型更新公式更新目标外观特征模型和f_L；

自适应阈值更新的公式为T＝1-δ+δ·V_max，T_r＝0.6·T，V_max表示当前帧的最大响应值；

输出目标位置。

2.根据权利要求1所述一种基于相关滤波的目标长时跟踪方法，其特征在于：所述目标函数的解是一个线性估计，即f(x)＝w^Tx，则岭回归模型对于循环矩阵X具有近似解w，w＝(X^TX+λI)^-1X^Ty，I表示单位矩阵、y表示回归分数，令

为x的傅里叶变换，则

所以得到傅里叶域上W的解为：/>

其中W为w在傅里叶域的对应表示，/>

为y的复共轭矩阵，χ表示为X在傅里叶域上的对应表示；/>

表示χ的复共轭矩阵。

3.根据权利要求2所述一种基于相关滤波的目标长时跟踪方法，其特征在于：进一步用核函数在核空间训练相关滤波器，核函数表示为：k(x,x')＝<φ(x),φ(x')>，则f(x)＝w^Tφ(x)＝∑_iα_ik(x_i,x')，其中f(x)为分类器函数，φ(x)和φ(x')分别为x和x'的傅里叶变换函数，α_i为w_i的对偶向量，α_i的求解公式为：

为核相关矩阵k的傅立叶转换形式，表示为：/>

x＝[x₁,x₂,...,x_c]为目标对象的多特征通道，c表示特征通道的总数，x'为训练阶段x的另一种表示形式，σ为尺度参数，/>

为傅里叶逆变换，χ_c为在特征通道上的特征，/>

为训练阶段特征通道上的特征的复共轭矩阵表示。/>

Images