CN111260689A - 一种有效的置信度增强相关滤波视觉跟踪算法 - Google Patents

Abstract

本发明涉及一种基于置信度评价机制的置信度增强相关滤波跟踪算法，包括滤波器训练，训练两个二维滤波器用于预测目标位置和一个一维滤波器用于预测目标尺度；置信度计算，根据二维滤波器的响应值计算当前帧的次峰均值与主峰之比和峰值旁瓣比，用于评价响应图的置信度；位置估计，对于置信度表现不好的情况，采用最小二乘法通过历史帧目标位置信息估计当前帧目标位置；响应图融合，根据置信度对两个二维滤波器输出进行自适应权重融合，增强跟踪的精度与鲁棒性；滤波器更新，对于目标被遮挡或超出视野的情况，采取自适应学习率的更新策略。本发明在置信度的基础上，针对目标遮挡、背景干扰等异常情况提出的解决方案，提高了跟踪的准确度与精度。

Description

一种有效的置信度增强相关滤波视觉跟踪算法

技术领域

本发明涉及一种基于相关滤波的目标跟踪方法，属于计算机视觉技术领域。

背景技术

在计算机视觉领域，目标跟踪一直是重要的研究分支，在视频监控、运动特征分析、智能交通、无人驾驶等领域有着广泛的应用。单目标跟踪的本质是在给定视频序列初始帧的位置和尺度的情况下，搜索目标在后续视频帧中的位置和尺度。随着新的目标跟踪算法被提出和计算机硬件性能的提升，计算机视觉跟踪算法取得了较快且明显的突破。但由于在真实的客观环境中，目标往往存在被遮挡、尺度变化、光照变化、所处背景变化、外观变化、快速移动、短暂消失等问题，因此，实现高精度并且具有较好鲁棒性的跟踪依旧面临较大的挑战。

目前，长时间的单目标跟踪算法可以分为两类，分别是生成式模型和判别式模型。生成式模型通过在初始帧中的目标位置建立模型，并把在下一帧寻找的与所建立的模型最相似的区域作为目标所在的位置。代表的算法如卡尔曼滤波，粒子滤波，mean-shift。判别式模型把目标跟踪问题转化为分类问题，目标所在区域视为正样本，背景区域视为负样本，通过正负样本进行分类器的训练，在视频后续帧中用分类器将目标从背景中分离出来，从而确定目标的位置。在这一方法中，基于相关滤波的跟踪算法因具有相对理想的效果，在2010年之后成为目标跟踪算法的主流。相关滤波器算法利用最小化误差的思想训练分类器，在线学习一个相关滤波器模型，通过提取输入目标图像的信息与相关滤波器作相关运算，得到一组目标可能所在位置的响应值，响应值最大的位置为目标所在的中心位置。输入信息、滤波器模型、输出信息均为尺度相同的矩阵，为了提升矩阵运算的速度，在计算过程中应用快速傅里叶变换将矩阵变换至频域进行计算，保证了跟踪的实时性。这里的滤波器模型的作用实质上是对输入信息与输出信息相似度的衡量。其过程如图1所示。遮挡问题一直是目标跟踪问题中的一大难题，目标被遮挡时面临输入特征无法正确提取，同时，找到能够及时正确的反映目标被遮挡或情况异常的判断依据也格外重要。加之目标被遮挡时准确定位目标位置的难度变大，正确的历史帧位置信息没有被充分利用起来；而采取每一帧更新模型的策略会导致滤波器被污染，容易进一步导致目标跟踪失败或漂移。

发明内容

本发明的目的是：更好地应对目标被遮挡或超出视野情况下的跟踪难题，以提高目标跟踪的成功率和精度。

为了达到上述目的，本发明的技术方案是提供了一种有效的置信度增强相关滤波视觉跟踪算法，其特征在于，包括以下步骤：

步骤1、位置滤波器和尺度滤波器训练，包括以下步骤：

步骤101、在视频序列的第一帧图像中，在初始化信息中获取目标的位置坐标和尺度，并设置目标候选框的尺寸；

步骤102、设计两个二维的相关滤波器用于预测目标的位置，其中一个二维的相关滤波器直接提取目标候选框的方向梯度直方图特征和灰度特征作为输入特征，另一个二维的相关滤波器则先对候选框进行循环移位处理后，再进行提取颜色特征、方向梯度直方图特征和灰度特征作为输入特征；

设计一个一维的相关滤波器用于预测目标的尺度，一维的相关滤波器只提取方向梯度直方图特征构成一维特征作为输入特征；

步骤103、用二维和一维高斯分布函数生成理想的响应图作为第一帧图像的理想输出；

步骤104、由输入特征和理想输出得到对应的最初相关滤波器模型，用于后续帧的目标检测与跟踪和模型更新的基础；

步骤2、根据响应图计算置信度，对候选框提取输入特征，与步骤1中的对应的相关滤波器模型作相关运算得到当前帧的输出响应图；找出输出响应图中的主峰和所有次峰，并计算次峰均值与主峰均值的比值SMR，用于作为是否进行位置估计和决定更新策略的依据；将比值SMR和峰值旁瓣比PSR的组合值conf作为输出响应图的置信度评价标准；

步骤3、利用历史帧位置信息通过最小二乘法拟合轨迹估计目标位置，计算步骤2中主峰均值的比值SMR的均值，在此基础上设置阈值，如果当前帧的输出响应图的输出响应值大于该阈值，说明目标可能被遮挡或存在异常，则利用历史帧的目标位置信息对当前帧的目标位置预测，对目标位置进行微调；

步骤4、不同相关滤波器响应图的融合

为了进一步提高目标跟踪的精度和成功率，将两个具有不同采样方式和提取特征的滤波器模型根据步骤2提出的作为置信度评价标准的组合值conf进行融合，并把最终响应图最大值所在的位置作为目标的中心位置；

步骤5、自适应学习率更新滤波器模型

为了避免目标在被遮挡或经历较大外部信息干扰时模型更新造成滤波器被污染，根据步骤1提出的主峰均值SMR设置不同的阈值区间，赋予滤波器模型不同的学习率，制定自适应的模型更新策略，缓解滤波器被污染的问题。

优选地，步骤2中，对于相关滤波响应，在峰值位置x处的PSR(x)定义为：

式中，max(x)为响应图中的峰值，μ(x)和σ(x)分别为均值和标准差，PSR(x)的值越大表示响应图的置信度越高，反之则表示响应图的置信度较差。

优选地，步骤2中，相关滤波响应的主峰均值SMR定义为：

式中，mean(secpeaks)为次峰均值，mainpeak为主峰均值。

优选地，步骤3中，利用历史帧的目标位置信息对当前帧的目标位置预测包括以下步骤：

设帧与帧之间的时间间隔Δt为1个单位，对于当前时刻t的当前帧f_t的前若干帧，存在目标水平的位置(t-1,x_t-1)，(t-2,x_t-2)，(t-3,x_t-3)，…，(t-m,x_t-m)，(m>1)，即相对当前帧的前若干帧，相同的时间间隔时刻对应目标位置的水平坐标x_t和垂直坐标y_t；

设后续帧的目标位置为(x_t+1,y_t+1)，为了充分利用历史帧的正确的位置信息，设有多项式P(t)：

式中k是多项式的最高次数，用最小二乘法的思想求解系数a₀,......,a_k，对于

令σ＝0，则上式可以表示为矩阵TA＝X，其中

通过矩阵的基本运算可解得系数矩阵A的解，即有：

A＝W^-1T^TX

其中W＝T^TT，T^T为T的转置矩阵，由a₀,a₁,......,a_k、b₀,b₁,......,b_k估计下一帧中的目标位置为：

式中，b₀,b₁,......,b_k为预测坐标点纵坐标对应的多项式系数。

优选地，步骤2中，所述组合值conf的计算公式为：

则步骤4中，通过将两个具有不同采样方式和提取特征的滤波器模型根据步骤2提出的作为置信度评价标准的组合值conf进行融合得到的当前帧的实际响应值为y：

式中，

为傅里叶逆变换，conf_K、conf_F为两个二维的相关滤波器在当前帧的置信度；

为核函数矩阵

的离散傅里叶变换，

为x的非线性映射函数，

为z的非线性映射函数；

为滤波器一的频域中的滤波器模型；

为滤波器二的滤波器模型分子；Z^l为当前帧的输入；B为滤波器二的滤波器模型分母；λ_F为正则化项系数。

本发明提供的一种置信度增强相关滤波视觉跟踪算法，根据输出响应图评估当前帧目标被遮挡程度或是否异常情况，在此基础上，对目标位置进行重新估计，并融合两种具有不同采样方式和提取特征的滤波器响应图增强置信度，不同学习率的模型更新参数可以适应目标的变化，自适应的模型更新策略可以降低模型污染的程度，从而有效提高模型针对不同场景下目标跟踪的适应能力，增强跟踪器的鲁棒性。

附图说明

图1为相关滤波跟踪算法通用框架图；

图2为本发明跟踪算法流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

相关滤波器可以实现在线的单目标长时间跟踪，并且在跟踪精度和成功率有较好的变现。但当目标发生被遮挡或超出视野等异常情况，导致候选框中目标特征无法正确提取，极易导致跟踪失败。因此，本发明引入用于评价目标被遮挡或异常情况的置信度机制，当目标可能存在遮挡或超出视野的情况，对目标的位置进行重新估计；并且本发明将两种不同采样方式和提取特征的相关滤波器响应值融合，进一步提升跟踪的精度；逐帧更新滤波器模型的策略在当目标被遮挡时容易引入背景信息，导致模型污染而使跟踪失败，针对此问题本发明提出根据置信度采用自适应学习率的跟踪策略。所以，本发明提出一种增强置信度的相关滤波器跟踪算法。具体流程图如图2。

下面对基于置信度评价机制的置信度增强相关滤波跟踪算法的原理及定义加以说明。

1.滤波器训练

根据第一帧图像中的目标位置和尺度信息，确定目标的候选区域。设计两个二维的相关滤波器用于预测目标的位置和一个一维的相关滤波器用于估计目标的尺度。其中一个二维相关滤波器直接提取目标候选框的方向梯度直方图特征和灰度特征作为输入特征，二维高斯分布函数生成理想响应图作为第一帧图像的输出，滤波器的训练过程本质上是通过最小化误差函数，求解h的过程，h为相关滤波器。误差函数如下：

其中，l表示特征的某一维度，λ是正则项系数，作用是消除f频谱中的零频分量的影响，避免上式解的分子为零，g为输出矩阵。这是线性最小二乘问题，其可以在通过FFT变换的频域中有效地求解。因此，通过最小化函数，对函数求导并令导数为零，得到滤波器的解为：

在公式中，大写字母表示快速傅里叶变换(FFT)，F^k为输入矩阵的傅里叶变换，G为输出矩阵的傅里叶变换，H表示频域中的相关滤波器。

表示滤波器的分子，B_t表示滤波器的分母。

的上划线表示复数的共轭。则当前帧的响应分数可表示为：

其中，

为傅里叶逆变换，Z^l表示从待检测帧中提取的31维HOG加1维Gray特征，A^l为滤波器的分子，B为滤波器的分母。

代表快速傅里叶逆变换(IFFT)。y最大值所在的位置是当前帧目标的中心位置。

另一个二维相关滤波器则先对候选框进行循环移位处理后，再进行提取颜色特征、方向梯度直方图特征和灰度特征作为输入。通过最小化误差函数：

解得：

其中w为分类器的待求参数，也是相关滤波跟踪器的模型。将误差平方作为损失函数，可解得w。x_i代表提取的目标输入特征，y_i代表检测输出的结果。λ是防止过拟合的正则化系数。⊙代表矩阵点乘，

和

分别代表的是x、y和w离散傅里叶变换，

是x的离散傅里叶变换的复共轭。通过核函数的方法将输入x映射到高维特征空间中，则w可以在其对偶空间中表示为：

为x_i的非线性映射函数。w的求解问题可以转换为求α，α在频域中的表示形式是：

式中，

是核函数矩阵

的离散傅里叶变换。则对于新的图像z的输出响应为：

为核函数矩阵

的离散傅里叶变换，

为x的非线性映射函数，

为z的非线性映射函数。

2.置信度计算

在相关滤波中，峰值旁瓣比(Peak to Sidelobe Rate，PSR)代表了一个相关滤波响应的峰值尖锐度，通常用于衡量目标跟踪的置信度，对于相关滤波响应，在峰值位置x处的PSR(x)定义为：

式中：max(x)为响应图中的峰值，μ(x)和σ(x)分别为它的均值和标准差。PSR的值越大表示响应图的置信度越高，反之则表示响应图的置信度较差。本发明定义响应图的次峰均值mean(secpeaks)与主峰mainpeak的比值(Second peaks to Main peak Rate,，SMR)来衡量响应图的当前情况。对于相关滤波响应的SMR定义为：

在得到每帧响应图的SMR值后，可以得到一组当前帧的前若干帧SMR均值SMRM。对于成功跟踪的情况，特定序列的SMR和SMRM值可以稳定在一定范围内；而当跟踪失败或者漂移时，则会导致SMR的值持续异常增大，同时SMRM值会持续保持在相对稳定的区间。

3.位置估计

在一组视频序列中，帧与帧之间的时间间隔Δt是固定的，这里不妨假设Δt为1个单位。对于当前帧f_t的前若干帧，存在目标水平的位置(t-1,x_t-1)，(t-2,x_t-2)，(t-3,x_t-3)，…，(t-m,x_t-m)，(m>1)。即相对当前帧的前若干帧，相同的时间间隔时刻对应目标位置的水平坐标x_t和垂直坐标y_t。设后续帧的目标位置为(x_t+1,y_t+1)。为了充分利用历史帧的正确的位置信息，设有多项式：

这里k是多项式的最高次数。因为曲线P(t)未必会通过所有的点P(t_i,x_i)，所以R_i(i＝1,2,...,m)不是全零值。用最小二乘法的思想求解系数a_i，对于

令σ＝0，则上式可以表示为矩阵TA＝X，其中

通过矩阵的基本运算可解得系数矩阵A的解，即

A＝W^-1T^TX

其中W＝T^TT，T^T为T的转置矩阵。可由a₀,a₁,......,a_k，b₀,b₁,......,b_k估计下一帧中的目标位置为，b₀,b₁,......,b_k为预测坐标点纵坐标对应的多项式系数：

4.响应图融合

PSR用来评价目标跟踪响应图的置信度，SMR则从响应图的峰值角度判定目标是否出现异常，本发明提出了新的置信度评价函数：

当前帧的实际响应值为：

其中，

为滤波器一的频域中滤波器模型；

为滤波器二的滤波器模型分子；Z^l为当前帧的输入；B为滤波器二的滤波器模型分母；λ_F为正则化项系数；conf_K、conf_F为两个二维的相关滤波器在当前帧的置信度。

5.模型更新

在目标跟踪过程中，因为目标难免会面临严重的背景干扰或遮挡。但如果固定采用在起始帧获得的跟踪模型，便不能适应目标外观的轻微变化，因此相关滤波在跟踪过程中对跟踪模型更新以适应目标变化。如果对跟踪模型逐帧更新，则在目标被遮挡或干扰较大，容易将噪声引入跟踪模型。本发明提出根据SMR值设置阈值制定更新方法。当前帧的SMR值小于SMRM值时，意味着跟踪不存在干扰或干扰较小，模型采取按初始化学习率逐帧更新的方式；当SMR值在SMRM值之间，目标可能存在干扰，但属于正常现象，此时如果采取不更新的策略，则可能降低模型的鲁棒性。这种情况下，可以认为在连续若干帧中SMR的值大于SMRM的值时，目标存在干扰，此时用更小的学习率更新模型；当SMR值大于阈值，模型不更新。具体更新策略如下：

其中，η_K，η_F,pos，η_F,scale分别为两个位置模型学习率与尺度模型学习率，β为设置的阈值系数。

Claims (5)

1.一种有效的置信度增强相关滤波视觉跟踪算法，其特征在于，包括以下步骤：

步骤1、位置滤波器和尺度滤波器训练，包括以下步骤：

步骤101、在视频序列的第一帧图像中，在初始化信息中获取目标的位置坐标和尺度，并设置目标候选框的尺寸；

步骤102、设计两个二维的相关滤波器用于预测目标的位置，其中一个二维的相关滤波器直接提取目标候选框的方向梯度直方图特征和灰度特征作为输入特征，另一个二维的相关滤波器则先对候选框进行循环移位处理后，再进行提取颜色特征、方向梯度直方图特征和灰度特征作为输入特征；

设计一个一维的相关滤波器用于预测目标的尺度，一维的相关滤波器只提取方向梯度直方图特征构成一维特征作为输入特征；

步骤103、用二维和一维高斯分布函数生成理想的响应图作为第一帧图像的理想输出；

步骤104、由输入特征和理想输出得到对应的最初相关滤波器模型，用于后续帧的目标检测与跟踪和模型更新的基础；

步骤2、根据响应图计算置信度，对候选框提取输入特征，与步骤1中的对应的相关滤波器模型作相关运算得到当前帧的输出响应图；找出输出响应图中的主峰和所有次峰，并计算次峰均值与主峰均值的比值SMR，用于作为是否进行位置估计和决定更新策略的依据；将比值SMR和峰值旁瓣比PSR的组合值conf作为输出响应图的置信度评价标准；

步骤3、利用历史帧位置信息通过最小二乘法拟合轨迹估计目标位置，计算步骤2中主峰均值的比值SMR的均值，在此基础上设置阈值，如果当前帧的输出响应图的输出响应值大于该阈值，说明目标可能被遮挡或存在异常，则利用历史帧的目标位置信息对当前帧的目标位置预测，对目标位置进行微调；

步骤4、不同相关滤波器响应图的融合

为了进一步提高目标跟踪的精度和成功率，将两个具有不同采样方式和提取特征的滤波器模型根据步骤2提出的作为置信度评价标准的组合值conf进行融合，并把最终响应图最大值所在的位置作为目标的中心位置；

步骤5、自适应学习率更新滤波器模型

为了避免目标在被遮挡或经历较大外部信息干扰时模型更新造成滤波器被污染，根据步骤1提出的主峰均值SMR设置不同的阈值区间，赋予滤波器模型不同的学习率，制定自适应的模型更新策略，缓解滤波器被污染的问题。

2.如权利要求1所述的一种有效的置信度增强相关滤波视觉跟踪算法，其特征在于，步骤2中，对于相关滤波响应，在峰值位置x处的PSR(x)定义为：

式中，max(x)为响应图中的峰值，μ(x)和σ(x)分别为均值和标准差，PSR(x)的值越大表示响应图的置信度越高，反之则表示响应图的置信度较差。

3.如权利要求1所述的一种有效的置信度增强相关滤波视觉跟踪算法，其特征在于，步骤2中，相关滤波响应的主峰均值SMR定义为：

式中，mean(secpeaks)为次峰均值，mainpeak为主峰均值。

4.如权利要求1所述的一种有效的置信度增强相关滤波视觉跟踪算法，其特征在于，步骤3中，利用历史帧的目标位置信息对当前帧的目标位置预测包括以下步骤：

设帧与帧之间的时间间隔Δt为1个单位，对于当前时刻t的当前帧f_t的前若干帧，存在目标水平的位置(t-1,x_t-1)，(t-2,x_t-2)，(t-3,x_t-3)，…，(t-m,x_t-m)，(m>1)，即相对当前帧的前若干帧，相同的时间间隔时刻对应目标位置的水平坐标x_t和垂直坐标y_t；

设后续帧的目标位置为(x_t+1,y_t+1)，为了充分利用历史帧的正确的位置信息，设有多项式P(t)：

式中k是多项式的最高次数，用最小二乘法的思想求解系数a₀,......,a_k，对于

令σ＝0，则上式可以表示为矩阵TA＝X，其中

通过矩阵的基本运算可解得系数矩阵A的解，即有：

A＝W^-1T^TX

其中W＝T^TT，T^T为T的转置矩阵，由a₀,a₁,......,a_k、b₀,b₁,......,b_k估计下一帧中的目标位置为：

式中，b₀,b₁,......,b_k为预测坐标点纵坐标对应的多项式系数。

5.如权利要求1所述的一种有效的置信度增强相关滤波视觉跟踪算法，其特征在于，步骤2中，所述组合值conf的计算公式为：

则步骤4中，通过将两个具有不同采样方式和提取特征的滤波器模型根据步骤2提出的作为置信度评价标准的组合值conf进行融合得到的当前帧的实际响应值为y：

式中，

为傅里叶逆变换，conf_K、conf_F为两个二维的相关滤波器在当前帧的置信度；

为核函数矩阵

的离散傅里叶变换，

为x的非线性映射函数，

为z的非线性映射函数；

为滤波器一的频域中的滤波器模型；

为滤波器二的滤波器模型分子；Z^l为当前帧的输入；B为滤波器二的滤波器模型分母；λ_F为正则化项系数。

Images