CN111210461A - 一种自适应尺度变化的实时相关滤波跟踪算法 - Google Patents

Abstract

本发明公开了一种自适应尺度变化的实时相关滤波跟踪算法，包括以下步骤：S1、获取视频序列，设定初始帧的目标位置和尺度，对目标进行采样并进行宽高比调整初始化三个滤波器；S2、读入下一帧图像，将滤波器和候选区图像进行相关滤波获得置信图，获取目标位置；S3、在目标位置处根据滤波器中每种宽高比进行三种不同尺度的采样，将采样结果进行缩放并进行相关滤波获得各尺度置信图，获取目标尺度；S4、将目标位置和目标尺度加入到下一帧的训练中并对三个滤波器进行模型更新；S5、判断视频是否结束，若是，则结束；若否，则进入步骤S2。本发明通过初始化不同比例的滤波器来解决宽高比不同带来的影响，从而达到自适应尺度估计的目的，提高跟踪效果。

Description

一种自适应尺度变化的实时相关滤波跟踪算法

技术领域

本发明涉及计算机视觉领域，特别是一种自适应尺度变化的实时相关滤波跟踪算法。

背景技术

目标跟踪是计算机视觉领域的焦点和最具挑战的基础工作之一，其目的在于对图像序列中的感兴趣目标进行定位，并且持续、稳定和准确的跟踪。相关滤波跟踪算法通过利用循环矩阵理论和最小化误差模型来建立目标与背景之间的分类器。一般的相关滤波跟踪算法在很多复杂条件下的跟踪效果并不理想，比如复杂背景、尺度估计、遮挡等。尺度变化问题是现实场景中最为常见的问题之一，该问题会严重影响目标跟踪的精度，当目标尺度变小时，目标模型中会引入多余的背景信息，其可能包含一些干扰项，造成目标跟踪的偏移或跟丢；若目标尺度变大时，则只能跟踪到目标的部分信息，影响目标跟踪的准确性。针对这类尺度变化问题，Danelljan等人提出的DSST算法，通过加入一个尺度滤波器(ScaleFilter)，并构建一个包含33个尺度的金字塔模型来进行尺度估计；Li等人提出的SAMF算法，通过引入尺度池的方法，在检测时对候选区域的目标做七个尺度的响应值计算，与上一帧目标比较，得到响应最大的尺度即为变化后的目标尺度；Zhang等人给出了STC算法，通过引入尺度参数，并根据之前帧的置信图来更新尺度参数，从而实现尺度估计。这些解决方法都是根据相关滤波的特性，要求模板和候选区域必须保持固定的比例来解决的，而现实场景中，目标尺度变化的同时往往也伴随着角度或者形状的变化，并不是以固定的比例来增大缩小的，这就导致了目标的尺度变化无法准确的去找到目标，还是会引入误差累计，影响跟踪效果。

发明内容

为解决现有技术中存在的问题，本发明提供了一种自适应尺度变化的实时相关滤波跟踪算法，针对不同的尺度变化以及形变等问题，通过初始化三种不同比例的滤波器，并在后续帧中通过原DCF中的方法使用目标原尺寸进行目标位置的预测，确定目标位置后对目标的三种比例分别进行三种不同尺度的采样，分别对这九种采样目标和三个相关滤波器对应比例进行相关滤波，取置信图最大者为该帧目标尺度，提高跟踪效果。

本发明采用的技术方案是：

一种自适应尺度变化的实时相关滤波跟踪算法，包括以下步骤：

S1、获取视频序列，设定初始帧的目标位置P_t和尺度S_t，对目标进行采样，并通过双线性插值法按照预设的尺度比例对目标进行宽高比调整，通过二维高斯模型初始化三个滤波器

S2、读入下一帧图像，将滤波器和候选区图像进行相关滤波获得置信图R_t+1，获取其最大峰值V_max所在位置，即目标位置P_t+1；

S3、在目标位置P_t+1处根据滤波器

中每种宽高比进行三种不同尺度的采样，通过双线性插值法将采样结果进行缩放到与

中的尺寸相同并进行相关滤波获得各尺度置信图，计算最大置信值，获取目标尺度s_t+1；

S4、将目标位置P_t+1和目标尺度s_t+1加入到下一帧的训练中并对三个滤波器进行模型更新；

S5、判断视频图像是否加载完毕，如果是，则结束；如果否，则进入步骤S2。

首先假设滤波器尺度为S_T＝(s_x，s_y)，并定义三种不同的尺度比例rate_w×h＝{1:1.2,1:1,1.2:1}，将目标根据三种不同的比例拉伸变换后初始化三个滤波器

在跟踪时，根据原图尺寸经相关滤波后得出目标位置，而后定义尺度池S＝{t₁，t₂，t₃}，这样，每一帧中，根据下{t_is_trate|t_i∈S}中的不同尺度在目标中心位置抽取9个不同比例和不同尺度的目标样本。由于滤波器的尺度大小是固定的，通过双线性插值法将图像对不同尺度的目标样本进行缩放，将不同尺度的目标样本调整为不同比例下固定大小rate*S_T并进行相关滤波检测。比较各尺度置信图并计算出其中的最大置信值，通过max操作来得到最大响应，所对应的尺度t_is_trate即为估计所得的尺度，也即为与目标最相近的尺度。根据不同尺度和比例的调整来进行不同的更新，三种比例的滤波器都要进行更新，直至视频结束。当目标宽高比未发生改变时，模板正常更新，并分别通过双线性插值法调整至不同比例，对另外两种比例的滤波器进行更新。若跟踪过程中目标比例发生变化了，则会以变化比例大小为中心，之前的正常比例就变为了一种调整后的比例，并且类似开始时重新初始化一个滤波器。

针对不同的尺度变化以及形变等问题，通过初始化三种不同比例的滤波器，并在后续帧中通过原DCF中的方法使用目标原尺寸进行目标位置的预测，确定目标位置后对目标的三种比例分别进行三种不同尺度的采样，分别对这九种采样目标和三个相关滤波器对应比例进行相关滤波，取置信图最大者为该帧目标尺度，提高跟踪效果。

进一步地，步骤S1中初始帧的尺度为S_t＝(s_x,s_y)，尺度比例为rate_w×h＝{1:1.2,1:1,1.2:1}。

预设定三种不同尺度比例，通过使用多个不同尺度比例的滤波器来进行相关滤波，选取最佳尺度大小，通过初始化不同比例的滤波器来解决宽高比不同带来的影响，从而达到自适应尺度估计的目的。

进一步地，步骤S1包括以下步骤：

S11、获取视频序列，设定初始帧的目标位置P_t和尺度S_t，；

S12、对目标进行采样，并通过双线性插值法按照预设的尺度比例对目标进行宽高比调整，得三张目标图片f＝{f₁,f₂,f₃}，并根据预设定的目标尺度设定三个对应的二维高斯模型g＝{g₁,g₂,g₃}；

S13、通过

初始化三个滤波器

其中W_i、G_i和F_i分别为傅里叶变换下的

g_i和f_i。

对三个滤波器进行初始化调节，保证初始数据的准确性。

进一步地，步骤S3包括以下步骤：

S31、设定尺度池S＝{t₁，t₂，t₃}，根据{t_is_trate|t_i∈S}，在目标位置P_t+1处根据滤波器

中每种宽高比进行三种不同尺度的采样，获取9个不同比例和不同尺度的目标样本；

S32、通过双线性插值法将不同尺度的目标样本进行缩放至与

中的尺寸相同，并进行相关滤波获得得各尺度置信图，计算最大置信值，获取目标尺度s_t+1。

在跟踪时，根据原图尺寸经相关滤波后得出目标位置，而后定义尺度池S＝{t₁，t₂，t₃}，这样，每一帧中，根据{t_is_trate|t_i∈S}中的不同尺度在目标中心位置抽取9个不同比例和不同尺度的目标样本。由于滤波器的尺度大小是固定的，通过双线性插值法将图像对不同尺度的目标样本进行缩放，将不同尺度的目标样本调整为不同比例下固定大小rate*S_T并进行相关滤波检测，取最大置信值所在尺度rate_i×t_j即为变换后的比例和尺度s_t+1，即为与目标最相近的尺度，保证跟踪效果。

进一步地，步骤S3中计算最大置信值的公式为

其中，

为采样尺度为t_is_trate的目标样本。

通过max操作来得到最大响应，所对应的尺度t_is_trate即为估计所得的尺度，也即为与目标最相近的尺度。

进一步地，步骤S5中模型更新的公式为F(α)_t＝(1-η)F(α)_t-1+ηF(α)_t。

当目标宽高比未发生改变时，模板正常更新，并分别通过双线性插值法调整至不同比例，对另外两种比例的滤波器进行更新；若跟踪过程中目标比例发生变化了，则会以变化比例大小为中心，之前的正常比例就变为了一种调整后的比例，并且类似开始时重新初始化一个滤波器。根据不同尺度和比例的调整来进行不同的更新，实现实时跟踪，提高跟踪效率。

本发明的有益效果是：

1、针对不同的尺度变化以及形变等问题，通过初始化三种不同比例的滤波器，并在后续帧中通过原DCF中的方法使用目标原尺寸进行目标位置的预测，确定目标位置后对目标的三种比例分别进行三种不同尺度的采样，分别对这九种采样目标和三个相关滤波器对应比例进行相关滤波，取置信图最大者为该帧目标尺度，提高跟踪效果；

2、预设定三种不同尺度比例，通过使用多个不同尺度比例的滤波器来进行相关滤波，选取最佳尺度大小，通过初始化不同比例的滤波器来解决宽高比不同带来的影响，从而达到自适应尺度估计的目的；

3、对三个滤波器进行初始化调节，保证初始数据的准确性；

4、抽取9个不同比例和不同尺度的目标样本，通过双线性插值法将不同尺度的目标样本进行缩放至与

中的尺寸相同，并进行相关滤波获得得各尺度置信图，计算最大置信值，获取目标尺度s_t+1，即为与目标最相近的尺度，保证跟踪效果；

5、通过max操作来得到最大响应，所对应的尺度t_is_trate即为估计所得的尺度，也即为与目标最相近的尺度；

6、根据不同尺度和比例的调整来进行不同的更新，实现实时跟踪，提高跟踪效率。

附图说明

图1为本发明实施例所述一种自适应尺度变化的实时相关滤波跟踪算法的流程图。

具体实施方式

下面结合附图对本发明的实施例进行详细说明。

实施例

如图1所示，一种自适应尺度变化的实时相关滤波跟踪算法，包括以下步骤：

S1、获取视频序列，设定初始帧的目标位置P_t和尺度S_t，对目标进行采样，并通过双线性插值法按照预设的尺度比例对目标进行宽高比调整，通过二维高斯模型初始化三个滤波器

S2、读入下一帧图像，将滤波器和候选区图像进行相关滤波获得置信图R_t+1，获取其最大峰值V_max所在位置，即目标位置P_t+1；

S3、在目标位置P_t+1处根据滤波器

中每种宽高比进行三种不同尺度的采样，通过双线性插值法将采样结果进行缩放到与

中的尺寸相同并进行相关滤波获得各尺度置信图，计算最大置信值，获取目标尺度s_t+1；

S4、将目标位置P_t+1和目标尺度s_t+1加入到下一帧的训练中并对三个滤波器进行模型更新；

S5、判断视频图像是否加载完毕，如果是，则结束；如果否，则进入步骤S2。

首先假设滤波器尺度为S_T＝(s_x，s_y)，并定义三种不同的尺度比例rate_w×h＝{1:1.2,1:1,1.2:1}，将目标根据三种不同的比例拉伸变换后初始化三个滤波器

在跟踪时，根据原图尺寸经相关滤波后得出目标位置，而后定义尺度池S＝{t₁，t₂，t₃}，这样，每一帧中，根据下{t_is_trate|t_i∈S}中的不同尺度在目标中心位置抽取9个不同比例和不同尺度的目标样本。由于滤波器的尺度大小是固定的，通过双线性插值法将图像对不同尺度的目标样本进行缩放，将不同尺度的目标样本调整为不同比例下固定大小rate*S_T并进行相关滤波检测。比较各尺度置信图并计算出其中的最大置信值，通过max操作来得到最大响应，所对应的尺度t_is_trate即为估计所得的尺度，也即为与目标最相近的尺度。根据不同尺度和比例的调整来进行不同的更新，三种比例的滤波器都要进行更新，直至视频结束。当目标宽高比未发生改变时，模板正常更新，并分别通过双线性插值法调整至不同比例，对另外两种比例的滤波器进行更新。若跟踪过程中目标比例发生变化了，则会以变化比例大小为中心，之前的正常比例就变为了一种调整后的比例，并且类似开始时重新初始化一个滤波器。

针对不同的尺度变化以及形变等问题，通过初始化三种不同比例的滤波器，并在后续帧中通过原DCF中的方法使用目标原尺寸进行目标位置的预测，确定目标位置后对目标的三种比例分别进行三种不同尺度的采样，分别对这九种采样目标和三个相关滤波器对应比例进行相关滤波，取置信图最大者为该帧目标尺度，提高跟踪效果。

在其中一个实施例中，步骤S1中初始帧的尺度为S_t＝(s_x,s_y)，尺度比例为rate_w×h＝{1:1.2,1:1,1.2:1}。

预设定三种不同尺度比例，通过使用多个不同尺度比例的滤波器来进行相关滤波，选取最佳尺度大小，通过初始化不同比例的滤波器来解决宽高比不同带来的影响，从而达到自适应尺度估计的目的。

在其中一个实施例中，步骤S1包括以下步骤：

S11、获取视频序列，设定初始帧的目标位置P_t和尺度St，；

S12、对目标进行采样，并通过双线性插值法按照预设的尺度比例对目标进行宽高比调整，得三张目标图片f＝{f₁,f₂,f₃}，并根据预设定的目标尺度设定三个对应的二维高斯模型g＝{g₁,g₂,g₃}；

S13、通过

初始化三个滤波器

其中W_i、G_i和F_i分别为傅里叶变换下的

g_i和f_i。

对三个滤波器进行初始化调节，保证初始数据的准确性。

在其中一个实施例中，步骤S3包括以下步骤：

S31、设定尺度池S＝{t₁，t₂，t₃}，根据{t_is_trate|t_i∈S}，在目标位置P_t+1处根据滤波器

中每种宽高比进行三种不同尺度的采样，获取9个不同比例和不同尺度的目标样本；

S32、通过双线性插值法将不同尺度的目标样本进行缩放至与

中的尺寸相同，并进行相关滤波获得得各尺度置信图，计算最大置信值，获取目标尺度s_t+1。

在跟踪时，根据原图尺寸经相关滤波后得出目标位置，而后定义尺度池S＝{t₁，t₂，t₃}，这样，每一帧中，根据{t_is_trate|t_i∈S}中的不同尺度在目标中心位置抽取9个不同比例和不同尺度的目标样本。由于滤波器的尺度大小是固定的，通过双线性插值法将图像对不同尺度的目标样本进行缩放，将不同尺度的目标样本调整为不同比例下固定大小rate*S_T并进行相关滤波检测，取最大置信值所在尺度rate_i×t_j即为变换后的比例和尺度s_t+1，即为与目标最相近的尺度，保证跟踪效果。

在其中一个实施例中，步骤S3中计算最大置信值的公式为

其中，

为采样尺度为t_is_trate的目标样本。

通过max操作来得到最大响应，所对应的尺度t_is_trate即为估计所得的尺度，也即为与目标最相近的尺度。

在其中一个实施例中，步骤S5中模型更新的公式为F(α)_t＝(1-η)F(α)_t-1+ηF(α)_t。

当目标宽高比未发生改变时，模板正常更新，并分别通过双线性插值法调整至不同比例，对另外两种比例的滤波器进行更新；若跟踪过程中目标比例发生变化了，则会以变化比例大小为中心，之前的正常比例就变为了一种调整后的比例，并且类似开始时重新初始化一个滤波器。根据不同尺度和比例的调整来进行不同的更新，实现实时跟踪，提高跟踪效率。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (6)

1.一种自适应尺度变化的实时相关滤波跟踪算法，其特征在于，包括以下步骤：

S1、获取视频序列，设定初始帧的目标位置P_t和尺度S_t，对目标进行采样，并通过双线性插值法按照预设的尺度比例对目标进行宽高比调整，通过二维高斯模型初始化三个滤波器

S2、读入下一帧图像，将滤波器和候选区图像进行相关滤波获得置信图R_t+1，获取其最大峰值V_max所在位置，即目标位置P_t+1；

S3、在目标位置P_t+1处根据滤波器

中每种宽高比进行三种不同尺度的采样，通过双线性插值法将采样结果进行缩放到与

中的尺寸相同并进行相关滤波获得各尺度置信图，计算最大置信值，获取目标尺度s_t+1；

S4、将目标位置P_t+1和目标尺度s_t+1加入到下一帧的训练中并对三个滤波器进行模型更新；

S5、判断视频图像是否加载完毕，如果是，则结束；如果否，则进入步骤S2。

2.根据权利要求1所述的自适应尺度变化的实时相关滤波跟踪算法，其特征在于，步骤S1中初始帧的尺度为S_t＝(s_x,s_y)，尺度比例为rate_w×h＝{1:1.2,1:1,1.2:1}。

3.根据权利要求2所述的自适应尺度变化的实时相关滤波跟踪算法，其特征在于，步骤S1包括以下步骤：

S11、获取视频序列，设定初始帧的目标位置P_t和尺度S_t，；

S12、对目标进行采样，并通过双线性插值法按照预设的尺度比例对目标进行宽高比调整，得三张目标图片f＝{f₁,f₂,f₃}，并根据预设定的目标尺度设定三个对应的二维高斯模型g＝{g₁,g₂,g₃}；

S13、通过

初始化三个滤波器

其中W_i、G_i和F_i分别为傅里叶变换下的

g_i和f_i。

4.根据权利要求3所述的自适应尺度变化的实时相关滤波跟踪算法，其特征在于，步骤S3包括以下步骤：

S31、设定尺度池S＝{t₁，t₂，t₃}，根据{t_is_trate|t_i∈S}，在目标位置P_t+1处根据滤波器

中每种宽高比进行三种不同尺度的采样，获取9个不同比例和不同尺度的目标样本；

S32、通过双线性插值法将不同尺度的目标样本进行缩放至与

中的尺寸相同，并进行相关滤波获得得各尺度置信图，计算最大置信值，获取目标尺度s_t+1。

5.根据权利要求4所述的自适应尺度变化的实时相关滤波跟踪算法，其特征在于，步骤S3中计算最大置信值的公式为

其中，

为采样尺度为t_is_trate的目标样本。

6.根据权利要求5所述的自适应尺度变化的实时相关滤波跟踪算法，其特征在于，步骤S5中模型更新的公式为F(α)_t＝(1-η)F(α)_t-1+ηF(α)_t，其中，其中，F(α)_t-1表示上一帧时目标特征图和相关滤波器，F(α)_t表示更新后的目标特征和滤波器，η为常数。

Images