CN112037272A - 一种基于相关滤波的快速区域搜索的目标跟踪方法 - Google Patents

Abstract

本发明提供一种基于相关滤波的快速区域搜索的目标跟踪方法，通过对跟踪过程中前一帧的目标位置及大小进行确定，以前一帧确定的目标中心位置作为中心点，并以目标高度和宽度按照一定公式求取下一帧的目标搜索区域。通过相邻帧目标在图像中移动的距离，求取当前状态下目标的移动速度及其加速度，得到模型更新率与速度的关系式，从而依据加速度对目标运动的预测作用进行更新率调整。本发明设计改进的确定目标搜索区域的方法，使得搜索区域均匀分布于目标周围，缩小了搜索区域，加快目标跟踪速度；通过设计的自适应目标速度与加速度的模型更新方式，使得滤波器模型能够更好的表示目标，提高了跟踪精度。

Description

一种基于相关滤波的快速区域搜索的目标跟踪方法

技术领域

本发明涉及一种基于相关滤波的快速区域搜索的目标跟踪方法，属于目标检测跟踪领域，适用于无人机追踪、视频监控等目标跟踪方面的对不同运动速度目标跟踪的问题。

背景技术

目标跟踪技术是近些年才发展并投入应用的一项技术，也是当前一个重要的课题和研究热点，目标跟踪通过在连续的视频图像序列中估计跟踪目标的位置、形状所占区域，确定目标的运动速度、方向及轨迹等运动信息，实现对运动目标行为的分析和理解，以便完成更高级的任务，像导弹制导、军用无人机侦察、道路交通监控、智能监控等技术都离不开目标跟踪，并且目标跟踪对跟踪的实时性要求越来越高。

基于相关滤波跟踪思想的目标跟踪算法，由于使用的特征复杂，以及在一个跟踪循环内要进行搜索、匹配、更新模型等多个过程，在跟踪精度提高的情形下，是以牺牲一定跟踪速度为前提，所以设计一个能够快速准确反映目标状态的滤波器模型是设计方法的关键所在。李大湘在文章《改进的SAMF目标跟踪算法》中提到利用图像分块的方法来改善跟踪效果，一般搜索目标是在一定搜索的区域内(这个区域一般大于目标尺寸，一般为2～3倍关系)依像素点密集搜索，该方法对搜索区域进行分块搜索，当分块数量越多时，跟踪精度越高，同样受到分块时运算成本时间也会越高，这在一定程度上降低了目标跟踪的速度。文献《自适应尺度的快速相关滤波跟踪算法》引入对数极坐标变换，把目标的尺度变化转化为位移信号，并对对目标模板变换前后分别提取HOG特征，在相关滤波框架下将跟踪目标的位移与尺度因子融合得到目标跟踪框，该方法以牺牲部分精度的条件将跟踪速度提升两倍以上，但是目标一旦出现旋转、严重遮挡和较大形变时，该算法无法达到预期效果。2012年Henriques等人发表的文章《High-Speed Tracking with Kernelized CorrelationFilters》中提到，采用核函数的思想，对高维复杂的目标进行降维，保留特征的关键信息，以减少算法的计算量，提升算法的跟踪速度，但是该方法由于只保留了特征的关键信息，所以对目标的跟踪效果不理想。文献《Interacting Acceleration Compensation AlgorithmFor Tracking Maneuvering Targets》对机动提出使用两个并行降阶解耦的滤波器来实现目标跟踪，然而由于该方法的加速度不是基于实际目标模型计算的，因而对高机动目标的跟踪性能并不理想，并且滤波器的增益不会因为目标运动状态变化而立即发生变化，也使得该时刻的跟踪误差增大。在文章《一种基于加速度预估计的机动目标跟踪算法》中，宋振宇提出了一种加速度预估计模型，首先要通过位置量测值对加速度进行预估计，然后用卡尔曼滤波算法进行跟踪滤波，该方法中对位置和速度的修正存在一定延迟，存在一定的跟踪误差。

目前，对于目标跟踪方法中速度的改进大多是通过对目标特征进行处理或者是多区域并行搜索来提升目标跟踪精度；而在对目标模型的建立方面则大多数通过每一帧单独建立或者按照固定更新速率把目标特征加入到模型中去，从而得到准确的目标模型。因此，本发明在提升目标跟踪速度的过程中通过缩减搜索目标时的区域，去除无关的背景区域部分，从而减少运算量，提升目标跟踪速度；并对目标跟踪过程中不同状态下的目标采用合适的模型更新率，把能够准确地反映目标形态的特征要以较大的更新率加入到模型中，保证目标模型对目标准确的表示，在进行相关滤波计算时才能得到较大的置信度，获得目标的准确位置。

发明内容

针对上述现有技术，本发明要解决的技术问题是改进目标搜索区域，将目标搜索区域改为能适应不同形状的目标，并将搜索区域的背景信息均匀分布在目标周围，减少一部分不必要的背景区域，减少计算量，提升目标跟踪速度；同时提供一种能够适应不同运动速度目标的滤波器模型更新方法，保证滤波器模型对目标准确的表示。

本发明的目的是这样实现的：步骤如下：

步骤一：读取图像序列，对第一帧图像手动选定目标，提取初始目标区域特征并建立最初的滤波器模型；

步骤二：对于后续图像序列，需要对目标搜索区域进行改进，通过对跟踪过程中前一帧的目标位置及大小进行确定，以前一帧确定的目标中心位置作为中心点，并以目标高度和宽度按照一定公式求取下一帧的目标搜索区域，同时提取搜索区域的目标特征；

步骤三：通过滤波器模型求取目标区域响应图，确定最大响应值以及最佳尺度，估计目标中心点的最佳位置；

步骤四：根据相邻帧目标在图像中移动的距离，求取当前状态下目标的移动速度及其加速度，得到模型更新率与速度的关系式，依据加速度对目标运动的预测作用求取模板更新率，更新相关滤波器模型；

步骤五：判断视频帧是否到达最后一帧，如果是，则结束跟踪过程，否则跳转到下一帧的目标跟踪过程中，重复步骤二～步骤五。

本发明还包括这样一些结构特征：

1.步骤二是改进目标搜索区域的方法包括：

步骤2.1：确定当前跟踪过程中目标的大小，设目标的高度和宽度分别为h和w，下一帧的搜索区域高度和宽度分别为H和W，其中搜索区域的中心位置与目标中心位置重合，而H、W由下式计算得到：

步骤2.2：对通过上一步骤得到目标搜索区域进行修正，定义目标高度与宽度之比k，k按下式确定：

k越大表示目标越狭长，当k≥2时，认为目标比例失衡，需对搜索区域进行再调整，当h＝max(h,w)时，调整方法如下：

其中，H′为修正后目标搜索区域的高度，W′为修正后目标搜索区域的宽度，为调整系数，显然

当高度比宽度长时，目标上下可搜索的区域应该增大，通过乘以

来进行；同样，目标左右区域可搜索面积应该缩小，通过除以

来实现；反之，当w＝max(h,w)时，调整方法如下：

此时宽度比高度长，目标左右可搜索的区域应该增大，通过乘以

来进行；同样，目标上下区域可搜索面积应该缩小，通过除以

来实现；当k<2时，则无需修正。

2.步骤四是改进的更新滤波器模型的方法，具体包括：

步骤4.1：定义目标跟踪过程中目标速度为相邻帧预测框中心像素点在图像中的欧式距离，即速度v的计算公式为：

其中，点(x_n,y_n)为当前帧预测目标位置的中心在图像中像素点位置，点(x_n-1,y_n-1)为前一帧目标位置的中心在图像中像素点位置；

步骤4.2：根据上一步得到的目标速度，依据研究得到的滤波器模型的更新率η与v的关系式，对η进行自适应调整，调整的方法如下：

步骤4.3：计算目标跟踪过程中的加速度a，依据加速度对更新率进行预测调整，速度变化与图像帧间隔相关，假设某个视频序列帧速率为f_r，即一秒钟内包含多少幅图像，则目标加速度为：

其中，v_n为当前帧目标速度，v_n-1为前一帧目标速度，Δt为相邻帧时间差，为f_r的倒数，此时求得的加速度相邻帧之间的平均加速度；当目标速度减小时，即a<0，模型更新率不仅要按照之前的关系式进行调整，还要根据a的值进行修正，提前减小模板更新率，适应目标减速过程；因此得到如下模型更新率的修正公式：

η′＝η+δa

其中，δ为修正系数，η′为修正后滤波器模型实际更新速率，δa为滤波器模型更新速率的修正值，最后将修正后的更新率再代入该方法中，改善跟踪效果。

3.修正值的量级一般要比η小一个量级，通过对不同序列的跟踪实验，确定δ的值以获取最佳跟踪效果，对于一般帧速率在24～30fps的视频序列，δ取值范围为3×10^-4～4×10^-4，帧速率越大则δ取值应越小。

与现有技术相比，本发明的有益效果是：本发明设计了一种能随着目标改变而不断自适应调整目标搜索区域的方法，通过对不同形状大小的目标进行修正目标搜索区域的高度和宽度，使得搜索区域对目标高度与宽度之比有了一定适应性，对各种尺寸、狭长、矮胖的目标都能确定更适宜的搜索区域，减少不必要的背景区域，优化对目标的跟踪速度；本发明设计了依据目标速度和加速度进行自适应调整更新率的模型更新方法，预先把目标将发生速度变化的这一趋势修正到模型更新率中去，对目标速度和特征变化有一个更迅速的自适应，使得整个跟踪过程中滤波器模型能够很好的将目标特征的变化融入到模型中去，从而优化滤波结构，达到改善跟踪效果的目的。

附图说明

图1目标跟踪方法流程图；

图2(a)是k≥2时改进前目标搜索区域，图2(b)是k<2时改进前目标搜索区域；

图3(a)是k≥2时改进后目标搜索区域，图3(b)是k<2时改进后目标搜索区域；

图4为模型更新率与目标速度的关系式。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述。

本发明具体实施步骤为：

结合图1，本发明提供的一种基于相关滤波的快速区域搜索的目标跟踪方法，其流程包括：

步骤一：在读取图像序列后，对第一帧图像手动选定目标，提取初始目标区域特征并建立最初的滤波器模型；

步骤二：对于后续图像序列，需要对目标搜索区域进行改进，通过对跟踪过程中前一帧的目标位置及大小进行确定，以前一帧确定的目标中心位置作为中心点，并以目标高度和宽度按照一定公式求取下一帧的目标搜索区域，同时提取搜索区域的目标特征；

步骤三：通过滤波器模型求取目标区域响应图，从而确定最大响应值以及最佳尺度，估计目标中心点的最佳位置；

步骤五：判断视频帧是否到达最后一帧，如果是，则结束跟踪，否则跳转到下一帧的目标跟踪过程中去，重复步骤二～步骤五。

具体的，本发明的第一个改进之处为：步骤二中提到的改进目标搜索区域的方法，其步骤包括：

步骤2.1：在相关滤波算法中，算法在图像中跟踪目标并不是对图像全图进行搜索，而是在前一帧确定的目标位置周围一定范围进行搜索，通常这个范围被设定为2倍于目标的大小，搜索区域中心与目标中心重合。搜索区域越小，计算量越小，跟踪速度快，但包含的背景信息少，目标有可能跑出搜索范围导致跟踪失败；搜索区域越大，则会拖慢跟踪速度。且不同形状尺寸的目标对搜索区域的范围要求也是不同的，不能以固定的方式来确定目标的搜索区域。

为了适应不同图像序列目标自身尺寸大小以及高度与宽度之比的不同，本文提出一种新的确定搜索区域的方法，首先确定当前跟踪过程中目标的大小，设目标的高度和宽度分别为h和w，下一帧方法的搜索区域高度和宽度分别为H和W，其中搜索区域的中心位置与目标中心位置重合，而H、W由下式计算得到：

步骤2.2：为了适应不同形状的目标，需对通过上一步骤得到目标搜索区域进行修正，定义目标高度与宽度之比k，k按下式确定：

k越大表示目标越狭长，当k≥2时，认为目标比例失衡，需对搜索区域进行再调整，当h＝max(h,w)时，调整方法如下：

其中，H′为修正后目标搜索区域的高度，W′为修正后目标搜索区域的宽度，

为调整系数，显然

当高度比宽度长时，目标上下可搜索的区域应该增大，通过乘以

来进行；同样，目标左右区域可搜索面积应该缩小，通过除以

来实现。反之，当w＝max(h,w)时，调整方法如下：

此时宽度比高度长，目标左右可搜索的区域应该增大，通过乘以

来进行；同样，目标上下区域可搜索面积应该缩小，通过除以

来实现。当k<2时，则无需修正。通过这一步的改进，使得搜索区域对目标高度与宽度有了一定适应性，对各种尺寸、狭长、矮胖的目标都能确定更适宜的搜索区域，减少不必要的背景区域，减少跟踪过程中的计算量，加快跟踪速度。

图2(a)与图2(b)的右侧图像是通过对图2(a)与图2(b)的左侧图像采用SAMF算法提取到的，首先通过滤波器找到目标最可能出现的位置，再以这个位置为中心，将目标搜索区域设定为目标区域的2倍大小(常规方法，例如文献《改进的SAMF目标跟踪算法》)，提取候选框目标，然后使用预测目标框对每个比例的目标特征执行相关运算，并找到响应值最大的对应的比例，得到目标的最佳位置及最佳尺度，从而确定目标搜索区域。图3(a)与图3(b)的右侧图像是通过对图3(a)与图3(b)的左侧图像采用改进目标搜索的区域的方法(本专利的方法)提取到的，该方法在提取候选框目标时不再是按图2所示那样，仅将目标搜索区域设定为目标区域的2倍大小，而是如图3所示能适应不同形状的目标，将搜索区域的背景信息均匀分布在目标周围，从而减少一部分不必要的背景区域。

当目标高度与宽度之比k≥2时，通过对比图3(a)与图2(a)中的目标搜索区域，可以发现对于目标上下方向区域明显减少，而左右方向区域依旧提供较多的区域进行搜索；当目标高度与宽度之比k<2时，通过对比图3(b)与图2(b)中的目标搜索区域，可以发现目标四周区域均衡，但整体搜索区域对比改进前出现明显缩小。通过这一步的改进，使得搜索区域对目标高度与宽度之比有了一定适应性，对各种尺寸、狭长、矮胖的目标都能确定更适宜的搜索区域，减少不必要的背景区域，减少跟踪过程中计算量，加快跟踪速度。

具体的，本发明中的第二个改进之处为:步骤四中提到的一种滤波器模型更新的方法，其步骤包括：

步骤4.1：在相关滤波算法中，滤波器模型按照模板更新的方式进行，即：

Y_i＝(1-η)Y_i-1+ηX_i

其中，Y_i为第i帧滤波器模型，X_i为第i帧提取的目标特征，且

即使用第一帧图像的目标特征生成滤波器模型，η是模板更新率。

如果使用较低的更新率，则它会缓慢更新模板，跟踪器与目标差别会越来越大，且更新率低会限制跟踪器随着目标改变而改变的特性。但是，选择较大的学习率可以使模板快速更新，跟踪器更倾向于对在背景中快速移动的目标的跟踪，因此设计自适应目标速度的滤波器模型更新方法，使η随着目标速度变化进行自适应调整。首先，定义目标跟踪过程中目标速度为相邻帧预测框中心像素点在图像中的欧式距离，即速度v的计算公式为：

其中，点(x_n,y_n)为当前帧预测目标位置的中心在图像中像素点位置，点(x_n-1,y_n-1)为前一帧目标位置的中心在图像中像素点位置。

步骤4.2：根据上一步得到的目标速度，通过大量实验，不断对不同运动快慢的目标进行更新率调整，使得跟踪效果最佳，最终得到的滤波器模型的更新率η与v的近似拟合关系式，即v越小，η也应该越小，随着v增大，η出现一个增长率先增后减的过程，最终收敛于1，拟合曲线如图4所示，其大致拟合的关系式如下：

步骤4.3：计算目标跟踪过程中的加速度a，依据加速度对更新率进行预测调整。根据本文速度的定义，速度变化与图像帧间隔相关，假设某个视频序列帧速率为f_r，即一秒钟内包含多少幅图像，那么目标加速度按下式求得：

其中，v_n为当前帧目标速度，v_n-1为前一帧目标速度，Δt为相邻帧时间差，为f_r的倒数，此时求得的加速度相邻帧之间的平均加速度。当目标速度减小时，即a<0，模型更新率不仅要按照之前的关系式进行调整，还要根据a的值进行修正，提前减小模板更新率，适应目标减速过程。因此得到如下模型更新率的修正公式：

η′＝η+δa

其中，δ为修正系数，η′为修正后滤波器模型实际更新速率，δa为滤波器模型更新速率的修正值。此外，对更新率进行修正要不影响原本更新率与目标速度的整体变化趋势，因此修正值的量级一般要比η小一个量级，通过对不同序列的跟踪实验，确定δ的值以获取最佳跟踪效果，对于一般帧速率在24～30fps的视频序列，δ取值范围为3×10^-4～4×10^-4，帧速率越大则δ取值应越小。

通过添加这一步改进，当目标速度增加时，v_n＞v_n-1，a＞0，目标处于加速过程，修正后的η′应当大于η；当目标速度减小时，v_n＜v_n-1，a＜0，目标处于减速过程，修正后的η′应当小于于η；当目标速度不变时，v_n＝v_n-1，a＝0，目标处于匀速过程，修正后的η′应当等于η。总之应当预先把目标将发生速度变化的这一趋势修正到模型更新率中去，这样该方法能对目标速度和特征变化有一个更迅速的自适应。最后将修正后的更新率再代入到方法中，改善目标的跟踪效果。

综上，本发明公开了一种基于相关滤波的快速区域搜索的目标跟踪方法。通过对跟踪过程中前一帧的目标位置及大小进行确定，以前一帧确定的目标中心位置作为中心点，并以目标高度和宽度按照一定公式求取下一帧的目标搜索区域。通过相邻帧目标在图像中移动的距离，求取当前状态下目标的移动速度及其加速度，得到模型更新率与速度的关系式，从而依据加速度对目标运动的预测作用进行更新率调整。本发明设计改进的确定目标搜索区域的方法，使得搜索区域均匀分布于目标周围，缩小了搜索区域，加快目标跟踪速度；通过设计的自适应目标速度与加速度的模型更新方式，使得滤波器模型能够更好的表示目标，提高了跟踪精度。

Claims (4)

1.一种基于相关滤波的快速区域搜索的目标跟踪方法，其特征在于：步骤如下：

步骤一：读取图像序列，对第一帧图像手动选定目标，提取初始目标区域特征并建立最初的滤波器模型；

步骤二：对于后续图像序列，需要对目标搜索区域进行改进，通过对跟踪过程中前一帧的目标位置及大小进行确定，以前一帧确定的目标中心位置作为中心点，并以目标高度和宽度按照一定公式求取下一帧的目标搜索区域，同时提取搜索区域的目标特征；

步骤三：通过滤波器模型求取目标区域响应图，确定最大响应值以及最佳尺度，估计目标中心点的最佳位置；

步骤四：根据相邻帧目标在图像中移动的距离，求取当前状态下目标的移动速度及其加速度，得到模型更新率与速度的关系式，依据加速度对目标运动的预测作用求取模板更新率，更新相关滤波器模型；

步骤五：判断视频帧是否到达最后一帧，如果是，则结束跟踪过程，否则跳转到下一帧的目标跟踪过程中，重复步骤二～步骤五。

2.根据权利要求1所述的一种基于相关滤波的快速区域搜索的目标跟踪方法，其特征在于：步骤二是改进目标搜索区域的方法包括：

步骤2.1：确定当前跟踪过程中目标的大小，设目标的高度和宽度分别为h和w，下一帧的搜索区域高度和宽度分别为H和W，其中搜索区域的中心位置与目标中心位置重合，而H、W由下式计算得到：

步骤2.2：对通过上一步骤得到目标搜索区域进行修正，定义目标高度与宽度之比k，k按下式确定：

k越大表示目标越狭长，当k≥2时，认为目标比例失衡，需对搜索区域进行再调整，当h＝max(h,w)时，调整方法如下：

其中，H′为修正后目标搜索区域的高度，W′为修正后目标搜索区域的宽度，

为调整系数，显然

当高度比宽度长时，目标上下可搜索的区域应该增大，通过乘以

来进行；同样，目标左右区域可搜索面积应该缩小，通过除以

来实现；反之，当w＝max(h,w)时，调整方法如下：

此时宽度比高度长，目标左右可搜索的区域应该增大，通过乘以

来进行；同样，目标上下区域可搜索面积应该缩小，通过除以

来实现；当k<2时，则无需修正。

3.根据权利要求1或2所述的一种基于相关滤波的快速区域搜索的目标跟踪方法，其特征在于：步骤四是改进的更新滤波器模型的方法，具体包括：

步骤4.1：定义目标跟踪过程中目标速度为相邻帧预测框中心像素点在图像中的欧式距离，即速度v的计算公式为：

其中，点(x_n,y_n)为当前帧预测目标位置的中心在图像中像素点位置，点(x_n-1,y_n-1)为前一帧目标位置的中心在图像中像素点位置；

步骤4.2：根据上一步得到的目标速度，依据研究得到的滤波器模型的更新率η与v的关系式，对η进行自适应调整，调整的方法如下：

步骤4.3：计算目标跟踪过程中的加速度a，依据加速度对更新率进行预测调整，速度变化与图像帧间隔相关，假设某个视频序列帧速率为f_r，即一秒钟内包含多少幅图像，则目标加速度为：

其中，v_n为当前帧目标速度，v_n-1为前一帧目标速度，Δt为相邻帧时间差，为f_r的倒数，此时求得的加速度相邻帧之间的平均加速度；当目标速度减小时，即a<0，模型更新率不仅要按照之前的关系式进行调整，还要根据a的值进行修正，提前减小模板更新率，适应目标减速过程；因此得到如下模型更新率的修正公式：

η′＝η+δa

其中，δ为修正系数，η′为修正后滤波器模型实际更新速率，δa为滤波器模型更新速率的修正值，最后将修正后的更新率再代入该方法中，改善跟踪效果。

4.根据权利要求3所述的一种基于相关滤波的快速区域搜索的目标跟踪方法，其特征在于：修正值的量级一般要比η小一个量级，通过对不同序列的跟踪实验，确定δ的值以获取最佳跟踪效果，对于一般帧速率在24～30fps的视频序列，δ取值范围为3×10^-4～4×10^-4，帧速率越大则δ取值应越小。

Images