CN109584271B - 基于高置信度更新策略的高速相关滤波跟踪方法 - Google Patents

Abstract

本发明涉及一种基于高置信度更新策略的高速相关滤波跟踪方法，分别设计了目标定位模块和高置信度更新模块。跟踪过程中，目标定位模块通过融合灰度、方向梯度直方图和颜色空间特征，并结合特征降维方法训练相关滤波器，基于相关滤波算法实现对目标中心的快速定位；高置信度更新模块利用目标定位模块得到的响应图设计了一种高置信度更新策略，即计算响应图的最高响应值和平均峰值相关能量(Average Peak‑to‑Correlation Energy,APCE)两个指标值，当两个指标值同时满足条件时才进行尺度估计和模型更新，从而避免了在低置信度情况下进行冗余的尺度估计操作和可能引入噪声并导致跟踪漂移的滤波器模型更新操作，以适应背景繁杂、遮挡等复杂场景。

Description

基于高置信度更新策略的高速相关滤波跟踪方法

技术领域

本发明属计算机视觉领域，涉及一种基于高置信度更新策略的高速相关滤波跟踪方法。

背景技术

近年来，目标跟踪方法的研究从传统的光流法、均值漂移、稀疏表示、粒子滤波等跟踪方法，逐渐转向基于相关滤波和深度学习的方法。其中，基于深度学习的目标跟踪方法虽然能够显著提升跟踪精度，却会极大地影响算法的运算速度；而基于相关滤波的跟踪方法凭借其良好的跟踪性能和极高的计算效率，更加适合于在实时性要求较高的在线跟踪场景中应用。

相关滤波跟踪方法通常需要进行滤波器模型更新和尺度估计，以适应跟踪过程中目标可能发生的形变、旋转、尺度变化等情况。目前大多数跟踪算法在每一帧(或间隔几帧)进行尺度估计，并以一定比例固定地更新滤波器模型。这样的机制在背景单一、目标能够被准确定位时是简单有效的。但是在现实环境下，目标在运动过程中可能较长一段时间内被部分甚至完全遮挡，此时进行尺度估计将可能得到不可靠的尺度估计结果，并带来冗余；而此时进行频繁的模型更新则会持续地引入背景噪声，从而造成滤波器模型的污染和快速退化，最终导致跟踪失败。因此，在应对背景繁杂、长时的遮挡等挑战因素时，现有的相关滤波跟踪方法容易出现由于误差累计而引起的跟踪漂移现象，算法的鲁棒性仍然有待提高。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于高置信度更新策略的高速相关滤波跟踪方法，在现有相关滤波跟踪方法的基础上进一步提高跟踪速度和鲁棒性，解决在线跟踪场景中背景繁杂、目标被遮挡等情况下容易引入冗余，及导致模型退化等问题。

技术方案

一种基于高置信度更新策略的高速相关滤波跟踪方法，其特征在于步骤如下：

步骤1：视频中第一帧图像数据及目标所在的初始位置信息[x,y,w,h]，其中x和y表示目标中心的横坐标和纵坐标，w和h表示目标的宽和高；将(x,y)对应的坐标点记为P，以P为中心，大小为w×h的目标初始区域记为R_init，再将目标的尺度记为v_scale，初始化为v_scale＝1；

步骤2：以P为中心，确定一个大小为M×N包含目标及背景信息的区域R_bkg，M＝3w,N＝3h，对R_bkg分别提取1维灰度、31维HOG和10维CN特征的42维；通过主成分分析算法PCA将42维降到28维，将降维后的特征向量记为f₁；

构建目标定位模块的平移滤波器模型H_trans：

式中：变量G和F₁分别为相应的变量g和f₁经过离散傅里叶变换后在频域上的表示，⊙代表对应元素相乘运算，

表示F₁的复共轭，λ表示正则化参数，设定为λ＝0.01；

所述

为二维高斯函数，自变量m和n分别在m＝0,1,2,…,M-1和n＝0,1,2,…,N-1范围内取值，σ为高斯核的带宽，

步骤3：以P为中心，提取L个不同尺度的图像子块，L设定为17，每个子块的大小为s(M×N)，变量s为图像子块的尺度因子，取值范围是s∈[0.7,1.4]；然后分别提取每个图像子块的31维HOG特征，采用主成分分析算法PCA算法降维至17维，再通过上采样或下采样将所有图像子块的特征向量统一恢复到M×N大小，并依次串联从而合并成一个特征向量f_1,sc；

构建尺度滤波器H_scale：

式中：变量G'和F_1,sc分别为变量g'和f_1,sc在频域上的表示，

所述

为一维高斯函数，自变量l在l＝0,1,2,…,L-1范围内取值，σ'为高斯核的带宽，设定为σ'＝2；

步骤4：初始化两个集合

和

S_z和S_A分别用于保存平移响应图的最高响应值和平均峰值相关能量两个指标的历史值；

步骤5：读取下一帧图像为第t帧，仍然以P为中心，提取一个大小为v_scaleR_bkg的经过尺度缩放后的目标搜索区域；然后执行步骤2进行特征提取和特征降维，并上采样或下采样恢复到M×N大小，得到对应的特征向量记为f_t，转换到频域为F_t，再利用平移滤波器模型计算平移相关响应图z_t,trans：

式中，H_t-1,trans表示第t-1帧(上一帧)的平移滤波器模型，

为傅里叶逆变换；

将响应图z_t,trans中最大的响应值所对应的坐标位置标记为当前帧新的目标中心，即将P的坐标更新为

式中，自变量x和y分别在x＝0,1,2,…,M-1和y＝0,1,2,…,N-1范围内取值；

步骤6：计算平移响应图z_t,trans的最高响应值z_t,max和平均峰值相关能量E_t,APC，并将得到的z_t,max和E_t,APC分别加入到集合S_z和S_A中；

式中：z_t,min为z_t,trans的最低响应值；

步骤7：判断z_t,max和E_t,APC是否同时满足高置信度条件：

若上式成立，转步骤8，否则转步骤10；

式中：

分别表示两个历史指标集合S_z和S_A中所有元素的均值，α₁和α₂两个参数用来控制置信度条件的严格程度，分别设定为α₁＝0.6和α₂＝0.45；

步骤8：以P为中心，按照步骤3的方式通过对多个图像子块进行特征提取、特征降维和合并后，得到第t帧特征向量f_t,sc，转换到频域为F_t,sc，再利用上一帧的尺度滤波器模型H_t-1,scale计算尺度相关响应图z_t,scale：

将z_t,scale中最大响应值所对应的尺度因子作为最优的尺度因子

式中：自变量s'的取值范围是l＝0,1,2,…,L-1，然后，将步骤1中v_scale更新为

步骤9：利用当前第t帧计算得到的F_t、F_t,sc，以及上一帧的平移滤波器H_t-1,trans和尺度滤波器模型H_t-1,scale，分别以加权求和的方式进行模型更新：

式中：β为模型更新的学习率，设定为β＝0.025；

步骤10：以P为中心，宽和高分别为v_scalew、v_scaleh的矩形框在图像中标示出新的目标区域为当前帧跟踪结果，最后判断是否处理完视频中所有的图像帧，若处理完则算法结束，否则转步骤5继续执行。

有益效果

本发明提出的一种基于高置信度更新策略的高速相关滤波跟踪方法，分别设计了目标定位模块和高置信度更新模块。跟踪过程中，目标定位模块通过融合灰度、方向梯度直方图(Histogram of Oriented Gradient,HOG)和颜色空间(Color Names,CN)特征，并结合特征降维方法训练相关滤波器，基于相关滤波算法实现对目标中心的快速定位；高置信度更新模块利用目标定位模块得到的响应图设计了一种高置信度更新策略，即计算响应图的最高响应值和平均峰值相关能量(Average Peak-to-Correlation Energy,APCE)两个指标值，当两个指标值同时满足条件时才进行尺度估计和模型更新，从而避免了在低置信度情况下进行冗余的尺度估计操作和可能引入噪声并导致跟踪漂移的滤波器模型更新操作，以适应背景繁杂、遮挡等复杂场景。

本发明有益效果：通过在跟踪模块中使用多特征融合和特征降维的方式，增强了滤波器模型对目标外观的表征能力，从而提高了目标定位的准确性，且能够保持较高的运算效率；又通过引入的高置信度判别机制，将尺度估计和滤波器模型更新捆绑进行，防止当目标处于繁杂的背景中或经历长时遮挡时造成滤波器模型的退化，且通过高置信度更新策略能够去除冗余操作，进一步提高算法的速度。实测中，本发明在通用的PC机硬件条件下，平均跟踪速度能够达到上百帧/秒，具有较强的实际应用价值。

附图说明

图1：基于高置信度更新策略的高速相关滤波跟踪方法流程图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

步骤1读取视频中第一帧图像数据以及目标所在的初始位置信息[x,y,w,h]，其中x和y表示目标中心的横坐标和纵坐标，w和h表示目标的宽和高。将(x,y)对应的坐标点记为P，以P为中心，大小为w×h的目标初始区域记为R_init，再将目标的尺度记为v_scale，初始化为v_scale＝1。

步骤2以P为中心，确定一个包含目标及背景信息的区域R_bkg，R_bkg的大小为M×N，M＝3w,N＝3h。对R_bkg分别提取灰度、HOG和CN特征，共42维(灰度、HOG和CN特征分别为1维、31维和10维)。通过主成分分析(Principal Component Analysis,PCA)算法降维到28维，将降维后的特征向量记为f₁。然后构建目标定位模块的平移滤波器模型H_trans，计算方法如下：

式中，大写的变量G和F₁分别为相应的小写变量g和f₁经过离散傅里叶变换(Discrete fourier transform,DFT)后在频域上的表示，g为二维高斯函数，

自变量m和n分别在m＝0,1,2,…,M-1和n＝0,1,2,…,N-1范围内取值，σ为高斯核的带宽，

⊙代表对应元素相乘运算，

表示F₁的复共轭，λ表示正则化参数，设定为λ＝0.01。

步骤3以P为中心，提取L个不同尺度的图像子块，L设定为17。每个子块的大小为s(M×N)，变量s为图像子块的尺度因子，取值范围是s∈[0.7,1.4]。然后分别提取每个图像子块的31维HOG特征，同样使用PCA算法降维到17维，再通过上采样或下采样将所有图像子块的特征向量统一恢复到M×N大小，并依次串联从而合并成一个特征向量f_1,sc。类似于构建平移滤波器H_trans，可以计算出尺度滤波器H_scale：

式中，大写的变量G'和F_1,sc分别为相应的小写变量g'和f_1,sc在频域上的表示，g'为一维高斯函数，

自变量l在l＝0,1,2,…,L-1范围内取值，σ'为高斯核的带宽，设定为σ'＝2，λ和式(1)中相同。

步骤4初始化两个集合

和

S_z和S_A分别用于保存平移响应图的最高响应值和平均峰值相关能量两个指标的历史值。

步骤5读取下一帧图像，假设当前帧为第t帧，仍然以P为中心，提取一个大小为v_scaleR_bkg的经过尺度缩放后的目标搜索区域。然后按照步骤2中的方式进行特征提取和特征降维，并上采样或下采样恢复到M×N大小，对应的特征向量记为f_t，转换到频域为F_t，再利用平移滤波器模型计算平移相关响应图z_t,trans，计算方法如下：

式中，H_t-1,trans表示第t-1帧(上一帧)的平移滤波器模型，

为傅里叶逆变换。将响应图z_t,trans中最大的响应值所对应的坐标位置标记为当前帧新的目标中心，即将P的坐标更新为

的计算方法如下：

式中，自变量x和y分别在x＝0,1,2,…,M-1和y＝0,1,2,…,N-1范围内取值。

步骤6对步骤5中得到的平移响应图z_t,trans，分别计算最高响应值z_t,max和平均峰值相关能量E_t,APC，计算方法如下：

式中，z_t,min为z_t,trans的最低响应值，自变量x和y同样在x＝0,1,2,…,M-1和y＝0,1,2,…,N-1范围内取值。

步骤7对步骤6中得到的z_t,max和E_t,APC，判断是否同时满足高置信度条件，即：

式中，

和

分别表示两个历史指标集合S_z和S_A中所有元素的均值(如S_z和S_A为空集，取

和

)，α₁和α₂两个参数用来控制置信度条件的严格程度，分别设定为α₁＝0.6和α₂＝0.45。当式(6)成立时，转步骤8，否则转步骤10。

步骤8以P为中心，按照步骤3的方式通过对多个图像子块进行特征提取、特征降维和合并后，得到一个第t帧特征向量f_t,sc，转换到频域为F_t,sc，再利用上一帧的尺度滤波器模型H_t-1,scale计算尺度相关响应图z_t,scale，计算方法如下：

将z_t,scale中最大响应值所对应的尺度因子作为最优的尺度因子

即：

式中，自变量s'的取值范围是l＝0,1,2,…,L-1，L和步骤3中相同，即L＝17。然后，将步骤1中v_scale更新为

步骤9利用当前第t帧计算得到的F_t、F_t,sc，以及上一帧的平移滤波器H_t-1,trans和尺度滤波器模型H_t-1,scale，分别以加权求和的方式进行模型更新，计算方法如下：

式中，β为模型更新的学习率，设定为β＝0.025，G、G'、λ等参数和式(1)、式(2)中相同。

步骤10将步骤6中得到的z_t,max和E_t,APC分别加入到集合S_z和S_A中。然后用以P为中心，宽和高分别为v_scalew、v_scaleh的矩形框在图像中标示出新的目标区域即为当前帧跟踪结果，w和h为步骤1中目标初始的宽和高。最后判断是否处理完视频中所有的图像帧，若处理完则算法结束，否则转步骤5继续执行。

Claims (1)

1.一种基于高置信度更新策略的高速相关滤波跟踪方法，其特征在于步骤如下：

步骤1：视频中第一帧图像数据及目标所在的初始位置信息[x,y,w,h]，其中x和y表示目标中心的横坐标和纵坐标，w和h表示目标的宽和高；将(x,y)对应的坐标点记为P，以P为中心，大小为w×h的目标初始区域记为R_init，再将目标的尺度记为v_scale，初始化为v_scale＝1；

步骤2：以P为中心，确定一个大小为M×N包含目标及背景信息的区域R_bkg，M＝3w,N＝3h，对R_bkg分别提取1维灰度、31维HOG和10维CN特征的42维；通过主成分分析算法PCA将42维降到28维，将降维后的特征向量记为f₁；

构建目标定位模块的平移滤波器模型H_trans：

式中：变量G和F₁分别为相应的变量g和f₁经过离散傅里叶变换后在频域上的表示，⊙代表对应元素相乘运算，

表示F₁的复共轭，λ表示正则化参数，设定为λ＝0.01；

所述

为二维高斯函数，自变量m和n分别在

和n＝0,1,2,…,N-1范围内取值，σ为高斯核的带宽，

步骤3：以P为中心，提取L个不同尺度的图像子块，L设定为17，每个子块的大小为s(M×N)，变量s为图像子块的尺度因子，取值范围是s∈[0.7,1.4]；然后分别提取每个图像子块的31维HOG特征，采用主成分分析算法PCA算法降维至17维，再通过上采样或下采样将所有图像子块的特征向量统一恢复到M×N大小，并依次串联从而合并成一个特征向量f_1,sc；

构建尺度滤波器H_scale：

式中：变量G'和F_1,sc分别为变量g'和f_1,sc在频域上的表示，

所述

为一维高斯函数，自变量l在l＝0,1,2,…,L-1范围内取值，σ'为高斯核的带宽，设定为σ'＝2；

步骤4：初始化两个集合

和

S_z和S_A分别用于保存平移响应图的最高响应值和平均峰值相关能量两个指标的历史值；

步骤5：读取下一帧图像为第t帧，仍然以P为中心，提取一个大小为v_scaleR_bkg的经过尺度缩放后的目标搜索区域；然后执行步骤2进行特征提取和特征降维，并上采样或下采样恢复到M×N大小，得到对应的特征向量记为f_t，转换到频域为F_t，再利用平移滤波器模型计算平移相关响应图z_t,trans：

式中，H_t-1,trans表示第t-1帧的平移滤波器模型，

为傅里叶逆变换；

将响应图z_t,trans中最大的响应值所对应的坐标位置标记为当前帧新的目标中心，即将P的坐标更新为

式中，自变量x和y分别在x＝0,1,2,…,M-1和y＝0,1,2,…,N-1范围内取值；

步骤6：计算平移响应图z_t,trans的最高响应值z_t,max和平均峰值相关能量E_t,APC，并将得到的z_t,max和E_t,APC分别加入到集合S_z和S_A中；

式中：z_t,min为z_t,trans的最低响应值；

步骤7：判断z_t,max和E_t,APC是否同时满足高置信度条件：

若上式成立，转步骤8，否则转步骤10；

式中：

和

分别表示两个历史指标集合S_z和S_A中所有元素的均值，α₁和α₂两个参数用来控制置信度条件的严格程度，分别设定为α₁＝0.6和α₂＝0.45；

步骤8：以P为中心，按照步骤3的方式通过对多个图像子块进行特征提取、特征降维和合并后，得到第t帧特征向量f_t,sc，转换到频域为F_t,sc，再利用上一帧的尺度滤波器模型H_t-1,scale计算尺度相关响应图z_t,scale：

将z_t,scale中最大响应值所对应的尺度因子作为最优的尺度因子

式中：自变量s'的取值范围是l＝0,1,2,…,L-1，然后，将步骤1中v_scale更新为

步骤9：利用当前第t帧计算得到的F_t、F_t,sc，以及上一帧的平移滤波器H_t-1,trans和尺度滤波器模型H_t-1,scale，分别以加权求和的方式进行模型更新：

式中：β为模型更新的学习率，设定为β＝0.025；

步骤10：以P为中心，宽和高分别为v_scalew、v_scaleh的矩形框在图像中标示出新的目标区域为当前帧跟踪结果，最后判断是否处理完视频中所有的图像帧，若处理完则算法结束，否则转步骤5继续执行。

Images