CN114359347A - 基于样本可靠性的时空正则化自适应相关滤波目标跟踪算法 - Google Patents

Abstract

本发明属于计算机视觉技术领域，涉及基于样本可靠性的时空正则化自适应相关滤波目标跟踪算法。首先，本发明通过图像的空间可靠性自适应调节空间权重参考矩阵，自适应空间正则项结合空间权重参考矩阵在一定程度上降低了边界效应的影响。然后，使用前后两帧响应图的变化程度确定时间正则项的超参数参考值，避免模型发生突变造成跟踪漂移问题。最后本文通过交替方向乘子法(ADMM)迭代求解目标函数，保证算法的运行效率。本发明根据图像的可靠性对空间正则项进行自适应更新，及时适应目标形变或遮挡情况，同时引入自适应时间正则项，从而获得稳健的相关滤波器，减少模型漂移对性能的影响，提升了目标跟踪算法的性能，能够较好的处理复杂环境下的目标跟踪问题。

Description

基于样本可靠性的时空正则化自适应相关滤波目标跟踪算法

技术领域

本发明属于计算机视觉领域，涉及基于样本可靠性的时空正则化自适应相关滤波目标跟踪算法。

背景技术

目标跟踪是计算机视觉领域中一个基础性问题，在无人驾驶、人机交互、视频监控等领域具有广泛的应用。目标跟踪的任务是通过给定第一帧的初始化边界框来估计目标物在下一帧的边界框。一般来说，影响目标跟踪性能的问题有很多，如快速运动、旋转、物体遮挡、光照变化以及图像分辨率低等挑战。近十几年来，目标跟踪算法的研究不断深入，出现了大量优秀的算法，目标跟踪的性能得到了显著的提升，面临的困难也得到了进一步的解决，但实现一种在复杂场景下跟踪准确、快速和稳健的目标跟踪算法依然是一项艰巨的任务。

基于相关滤波的目标跟踪算法借助循环矩阵和频域计算与传统方法相比，其性能更好、速度更快，得到广泛应用。但循环位移会导致边界效应，引入背景杂波而导致模型学习到错误样本降低模型的准确性。在2010年，Bolme等提出了平方误差最小输出相关滤波器(MOSSE)，MOSSE相关滤波器首次将相关滤波引入到目标跟踪领域，在各大主流数据集上表现优秀，研究基于相关滤波的目标跟踪算法的潮流开始兴起。为缓解边界效应，Danelljan等提出了一种基于空间正则项的相关滤波目标跟踪(SRDCF)算法，该算法引入空间权重矩阵对滤波器进行抑制，对远离目标中心的特征抑制较强，能较好的解决边界效应问题，但引入空间权重矩阵以后，目标函数的封闭解被破坏，跟踪速度只能达到4frame/s，同时其预设的是固定的负高斯形状的空间权重矩阵，在快速运动、遮挡等场景下，无法自适应目标的变化，导致跟踪漂移。Li等以SRDCF为基础，提出了基于时空正则化的相关滤波目标跟踪(STRCF) 算法，将前后两帧滤波器的信息充分利用，避免跟踪模型发生退化。但时间正则项的超参数是一个固定值，在跟踪的过程中对时间正则项的惩罚力度固定，在发生相似背景干扰的时候无法自适应增强对时间正则项的约束，容易导致跟踪漂移。以上方法虽然在一定程度上减轻了边界效应对目标跟踪的影响，但在解决边界效应时引入的空间权重矩阵无法自适应目标变化和时间正则项超参数固定无法自适应更新，容易引入背景噪声导致模型漂移等问题。

发明内容

本发明旨在解决以上现有技术的问题，其目的在于提供一种鲁棒性好、准确度高的基于样本可靠性的时空正则化自适应相关滤波目标跟踪算法，能有效缓解边界效应和模型漂移等问题。

为达到上述目的，本发明提供如下技术方案：

一种基于样本可靠性的时空正则化自适应相关滤波目标跟踪方法，该方法包括以下步骤：

步骤1)在目标区域提取手工特征：本发明通过提取FHOG特征，CN特征和灰度特征以增强算法对目标外观的表达能力。FHOG特征抗光照变化能力较强，CN特征对快速运动、运动模糊等场景下的目标外观表征能力较强，灰度特征维度低提取简单，多特征融合可增强算法对目标外观的表达能力。

步骤2)在目标函数中结合自适应时间正则项和基于样本可靠性的参考空间权重矩阵的空间正则项。

步骤2-1)构建基于样本可靠性的参考空间权重矩阵

利用前后两帧响应图的局部变化作为空间参考权重矩阵，当前后两帧响应图的局部变化较激烈时，该部分的可靠性较低，对不可靠部分执行较高的约束，反之亦然。其空间参考权重矩阵w_r定义为：

公式中：R_t[ψΔ]为当前样本生成的响应图，R_t-1为上一帧样本生成的响应图。η为学习率，设置为1000；w_r-1为上一帧的空间权重矩阵，w初始化为固定的空间权重矩阵，即为负高斯形状的空间权重矩阵。

步骤2-2)构建自适应时间正则化超参数

根据前后两帧的异常情况获取时间正则项超参数的参考值，在跟踪的过程中利用时间正则项超参数的参考值调整时间正则项对模型的约束程度，其参考值设置如下：

公式中：R_t[ψΔ]为当前样本生成的响应图，R_t-1为上一帧样本生成的响应图。参数α、β分别设置为10、10。

步骤2-3)构建目标函数，训练位置相关滤波器

在目标函数中通过样本可靠性构建空间参考权重矩阵，利用自适应空间正则项缓解边界效应，同时使用前后两帧响应图的全局变化程度确定时间正则项的超参数，适应复杂背景防止模型发生突变，缓解跟踪漂移。其目标函数定义如公式(3)所示：

其中，D为样本特征通道数，X＝[x¹,x²,...,x^d]为样本各特征通道的样本集，y∈R^{T ×1}表示理想的期望响应，f^d∈R^T×1表示第d通道的滤波器，w_r为空间参考权重矩阵，其具体定义可参考公式(2)，||w-w_r||²为自适应空间正则项，u_r为时间正则项的超参数，其具体定义可参考公式(3)。

为自适应时间正则项。

步骤3)采用交替方向乘子法(ADMM)对位置相关滤波器进行优化迭代求解

为求解公式(4)，可使用交替方法乘子法(ADMM)进行迭代求解，加快求解效率，提升本文目标跟踪算法的运行速度。引入辅助变量g＝f，可将式(3)写出增广拉格朗日公式，即：

其中，V＝[v¹,v²,...,v^d]∈R^T*D为拉格朗日乘子，γ为步长系数，令

公式(4)可化简为：

采用ADMM可将(6)式分解为四个子问题，其表达式为

mⁱ⁺¹＝mⁱ+fⁱ⁺¹-gⁱ⁺¹ (9)

对上述4个子问题分别进行求解得最优值。

(1)子问题f

子问题f计算复杂度较高，根据帕塞瓦尔定理将式(6)从时域转换到频域，可显著降低算法复杂度，公式(6)转换后如下：

其中，"∧"为离散傅里叶变换(DFT)标识符。由于标签

的第i个元素依赖于

与

在整个D通道的第i个元素，故可考虑单独计算，提高运算效率，因此可得元素级表达式如下：

式中，G_i(·)∈R^D表示对整个D通道上的第i个元素进行取值并向量化。对式(11)进行求导整理可得

的封闭解为：

由于公式(12)中矩阵求逆耗时长，根据Sherman-Morrsion公式可得：

(2)子问题g

对于公式(7)未存在相关性计算，因此不必引入离散傅里叶变换，可直接在时域进行求解，对公式(7)求导可得：

gⁱ⁺¹＝(W^TW+γI)^-1γ(f_t+m_t) (14)

式中，W＝diag(w)∈R^T×T为空间权重矩阵w的对角矩阵，推导可得w·h＝Wh。

(3)子问题w

子问题w的求解与子问题g类似，可直接在时域上对公式(8)进行求导，可得：

式中，G＝diag(g)∈R^T×T为辅助矩阵g的对角矩阵，推导可得g·w＝Gw。

(4)更新惩罚参数γ

惩罚参数γ的更新公式如下：

γⁱ⁺¹＝min(γ^max,ργ⁽ⁱ⁾) (16)

式中，γ^max为γ的最大值，ρ为γ的固定参数。

步骤4)目标定位

在目标定位阶段，把前一帧学习到的位置相关滤波器

与当前帧输入

作相关计算，得到目标响应结果图为：

公式中，R表示响应图矩阵。响应图中的峰值最高点为目标位置。

步骤5)训练尺度相关滤波器，并进行尺度估计

步骤5-1)确定尺度集合，其尺度集合计算公式如下：

aⁿP×aⁿR (18)

式中，

P和R分别表示前一帧的宽和高，尺度因子取a＝1.02，尺度滤波器的总级数S＝33。

步骤5-2)提取目标的FHOG特征用于尺度相关滤波器训练：以目标位置中心提取33种不同尺度下的样本，然后把所有样本resize到固定的尺寸，在这个固定的尺寸下提取FHOG 特征，每个样本的特征串成一个特征向量，大小和resize的大小有关。

步骤5-3)尺度估计：通过尺度滤波器与步骤5-2)中提取的33种不同尺度下的样本特征进行相关性计算，可得到S个尺度对应的响应值，取最大响应值对应的尺度作为跟踪框在当前帧图像上需要变化的尺度。

步骤6)模型更新

在跟踪的过程中，相关滤波器的模型跟踪很重要，合适的更新策略可以是滤波器适应目标的变化。本算法采用固定更新率更新位置滤波器和目标特征。

(1)位置滤波器更新公式如下：

f_t＝ηf_t+(1-η)f_t-1 (19)

(2)目标特征更新公式如下：

x_t＝ηx_t+(1-η)x_t-1 (20)

公式中，η表示学习率，f_t-1表示上一帧的位置滤波器，x_t-1表示从上一帧提前的目标特征。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明做详细描述，其中：

图1为本发明整体框架图。

图2为本发明实施例提供的本发明方法与现有技术中不同跟踪方法在0TB2013数据集上的精度与成功率的对比图；其中，(a)为精度对比图，(b)为成功率对比图；

图3为本发明实施例提供的本发明方法与现有技术中不同跟踪方法在0TB2015数据集上的精度与成功率的对比图；其中，(a)为精度对比图，(b)为成功率对比图；

具体实施方式

以下将结合附图，对本发明进行详细的描述。

本发明提供一种基于样本可靠性的时空正则化自适应相关滤波目标跟踪算法，如图1所示为本发明整体框架图。

步骤1：输入视频序列，根据第一帧中目标的初始化信息，确定采样区域

步骤2：在采用区域范围内，提前目标特征，包含FHOG、CN、灰度特征。

步骤3：计算高斯分布的回归标签信息，以及利用快速傅里叶变换生成相应的余弦窗口。

步骤4：根据样本可靠性计算空间权重参考矩阵

利用前后两帧响应图的局部变化作为空间参考权重矩阵，当前后两帧响应图的局部变化较激烈时，该部分的可靠性较低，对不可靠部分执行较高的约束，反之亦然。其空间参考权重矩阵w_r定义为：

公式中：R_t[ψΔ]为当前样本生成的响应图，R_t-1为上一帧样本生成的响应图。η为学习率，设置为1000；w_r-1为上一帧的空间权重矩阵，w初始化为固定的空间权重矩阵，即为负高斯形状的空间权重矩阵。

步骤5：根据前后两帧相应图的全局变化获得时间正则项超参数

根据前后两帧的异常情况获取时间正则项超参数的参考值，在跟踪的过程中利用时间正则项超参数的参考值调整时间正则项对模型的约束程度，其参考值设置如下：

公式中：R_t[ψΔ]为当前样本生成的响应图，R_t-1为上一帧样本生成的响应图。参数α、β分别设置为10、10。

步骤6：位置滤波器训练

在目标函数中通过样本可靠性构建空间参考权重矩阵，利用自适应空间正则项缓解边界效应，同时使用前后两帧响应图的全局变化程度确定时间正则项的超参数，适应复杂背景防止模型发生突变，缓解跟踪漂移。其目标函数定义如公式(3)所示：

其中，D为样本特征通道数，X＝[x¹,x²,...,x^d]为样本各特征通道的样本集，y∈R^{T ×1}表示理想的期望响应，f^d∈R^T×1表示第d通道的滤波器，w_r为空间参考权重矩阵，其具体定义可参考公式(2)，||w-w_r||²为自适应空间正则项，u_r为时间正则项的超参数，其具体定义可参考公式(3)。

为自适应时间正则项。

为求解公式(4)，可使用交替方法乘子法(ADMM)进行迭代求解，加快求解效率，提升本文目标跟踪算法的运行速度。引入辅助变量g＝f，可将式(3)写出增广拉格朗日公式，即：

其中，γ为步长系数。

采用交替方向乘子法(ADMM)对位置相关滤波器进行优化迭代求解，可得：

其中，"∧"为离散傅里叶变换(DFT)标识符。G_i(·)∈R^D表示对整个D通道上的第i个元素进行取值并向量化。

步骤7：利用位置滤波器更新目标位置

在目标定位阶段，把前一帧学习到的位置相关滤波器

与当前帧输入

作相关计算，得到目标响应结果图为：

公式中，R表示响应图矩阵。响应图中的峰值最高点为目标位置。

步骤8：以目标位置中心提取33种不同尺度下的样本

确定尺度集合，其尺度集合计算公式如下：

aⁿP×aⁿR (7)

式中，

P和R分别表示前一帧的宽和高，尺度因子取a＝1.02，尺度滤波器的总级数S＝33。

提取目标的FHOG特征用于尺度相关滤波器训练：以目标位置中心提取33种不同尺度下的样本，然后把所有样本resize到固定的尺寸，在这个固定的尺寸下提取FHOG特征，每个样本的特征串成一个特征向量，大小和resize的大小有关。

步骤9：尺度估计，更新目标尺度

通过尺度滤波器与步骤8中提取的33种不同尺度下的样本特征进行相关性计算，可得到 S个尺度对应的响应值，取最大响应值对应的尺度作为跟踪框在当前帧图像上需要变化的尺度。

步骤10：模型更新

在跟踪的过程中，相关滤波器的模型跟踪很重要，合适的更新策略可以是滤波器适应目标的变化。本算法采用固定更新率更新位置滤波器和目标特征。

位置滤波器更新公式如下：

f_t＝ηf_t+(1-η)f_t-1 (8)

目标特征更新公式如下：

x_t＝ηx_t+(1-η)x_t-1 (9)

公式中，η表示学习率，f_t-1表示上一帧的位置滤波器，x_t-1表示从上一帧提前的目标特征。

本实施例中，OTB2013数据集与OTB2015数据集作为流行的跟踪基准，具有现实中复杂的11种场景视频序列，包含了低分辨率(low resolution，LR)、光照变化(illumination variation， IV)、平面外旋转(out-of-plane Rotation，OPR)、出视野(out-of-view，OV)、尺度变化(scale variation，SV)、形变(deformation，DEF)、遮挡(occlusion，OCC)、快速运动(fast motion， FM)、运动模糊(motion blur，MB)、平面内旋转(in-plane rotation，IPR)以及背景杂乱(background clutters，BC)共11种跟踪挑战，满足本文试验需求。OTB2013数据集包含51个视频序列，而OTB2015数据集包含100个视频序列，更能全面的评估算法的整体性能。

在实验中，比较重要的两个指标是：成功率(SR)与距离精度(DP)，采用一次通过评估标准(OPE)。成功率(SR)表示为跟踪序列中标注目标框和跟踪目标框重叠得分大于给定阈值(＝20 pixel)的帧数占比，能有效评估跟踪算法的位置与尺度的精度。距离精度(DP)为跟踪序列中目标中心定位误差小于给定阈值(＝0.5)的帧数占比，能有效评估跟踪算法的目标定位精度。

选取了近几年优秀的基于相关滤波的目标跟踪算法在数据集OTB-2013与OTB-2015进行了对比实验，包含KCF、DSST、SRDCF、BACF、STRCF、ARCF和AutoTracker。图2 展示了8种对比算法在OTB-2013数据集上的距离精度和成功率。图3展示了8种对比算法在OTB-2015数据集上的距离精度和成功率。

通过实验可知：本文算法根据图像的可靠性对空间正则项进行自适应更新，及时适应目标形变或遮挡情况，同时根据前后两帧的相应图的变化情况对时间正则项的超参数进行自适应的跟踪，减少模型漂移对性能的影响，提升了目标跟踪算法的性能，能够较好的处理复杂环境下的目标跟踪问题，其距离精度和跟踪成功率优于其他对比算法。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过上述实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (1)

1.基于样本可靠性的时空正则化自适应相关滤波目标跟踪算法，其特征在于：该方法包括以下步骤：

步骤1：输入视频序列，根据第一帧中目标的初始化信息，确定采样区域

步骤2：在采用区域范围内，提前目标特征，包含FHOG、CN、灰度特征。

步骤3：计算高斯分布的回归标签信息，以及利用快速傅里叶变换生成相应的余弦窗口。

步骤4：根据样本可靠性计算空间权重参考矩阵

利用前后两帧响应图的局部变化作为空间参考权重矩阵，当前后两帧响应图的局部变化较激烈时，该部分的可靠性较低，对不可靠部分执行较高的约束，反之亦然。其空间参考权重矩阵w_r定义为：

公式中：R_t[ψΔ]为当前样本生成的响应图，R_t-1为上一帧样本生成的响应图。η为学习率，设置为1000；w_r-1为上一帧的空间权重矩阵，w初始化为固定的空间权重矩阵，即为负高斯形状的空间权重矩阵。

步骤5：根据前后两帧相应图的全局变化获得时间正则项超参数

根据前后两帧的异常情况获取时间正则项超参数的参考值，在跟踪的过程中利用时间正则项超参数的参考值调整时间正则项对模型的约束程度，其参考值设置如下：

公式中：R_t[ψΔ]为当前样本生成的响应图，R_t-1为上一帧样本生成的响应图。参数α、β分别设置为10、10。

步骤6：位置滤波器训练

在目标函数中通过样本可靠性构建空间参考权重矩阵，利用自适应空间正则项缓解边界效应，同时使用前后两帧响应图的全局变化程度确定时间正则项的超参数，适应复杂背景防止模型发生突变，缓解跟踪漂移。其目标函数定义如公式(3)所示：

其中，D为样本特征通道数，X＝[x¹,x²,...,x^d]为样本各特征通道的样本集，y∈R^T×1表示理想的期望响应，f^d∈R^T×1表示第d通道的滤波器，w_r为空间参考权重矩阵，其具体定义可参考公式(2)，||w-w_r||²为自适应空间正则项，u_r为时间正则项的超参数，其具体定义可参考公式(3)。

为自适应时间正则项。

为求解公式(4)，可使用交替方法乘子法(ADMM)进行迭代求解，加快求解效率，提升本文目标跟踪算法的运行速度。引入辅助变量g＝f，可将式(3)写出增广拉格朗日公式，即：

其中，γ为步长系数。

采用交替方向乘子法(ADMM)对位置相关滤波器进行优化迭代求解，可得：

其中，"∧"为离散傅里叶变换(DFT)标识符。G_i(·)∈R^D表示对整个D通道上的第i个元素进行取值并向量化。

步骤7：利用位置滤波器更新目标位置

在目标定位阶段，把前一帧学习到的位置相关滤波器

与当前帧输入

作相关计算，得到目标响应结果图为：

公式中，R表示响应图矩阵。响应图中的峰值最高点为目标位置。

步骤8：以目标位置中心提取33种不同尺度下的样本

确定尺度集合，其尺度集合计算公式如下：

aⁿP×aⁿR (7)

式中，

P和R分别表示前一帧的宽和高，尺度因子取a＝1.02，尺度滤波器的总级数S＝33。

提取目标的FHOG特征用于尺度相关滤波器训练：以目标位置中心提取33种不同尺度下的样本，然后把所有样本resize到固定的尺寸，在这个固定的尺寸下提取FHOG特征，每个样本的特征串成一个特征向量，大小和resize的大小有关。

步骤9：尺度估计，更新目标尺度

通过尺度滤波器与步骤8中提取的33种不同尺度下的样本特征进行相关性计算，可得到S个尺度对应的响应值，取最大响应值对应的尺度作为跟踪框在当前帧图像上需要变化的尺度。

步骤10：模型更新

在跟踪的过程中，相关滤波器的模型跟踪很重要，合适的更新策略可以是滤波器适应目标的变化。本算法采用固定更新率更新位置滤波器和目标特征。

位置滤波器更新公式如下：

f_t＝ηf_t+(1-η)f_t-1 (8)

目标特征更新公式如下：

x_t＝ηx_t+(1-η)x_t-1 (9)

公式中，η表示学习率，f_t-1表示上一帧的位置滤波器，x_t-1表示从上一帧提前的目标特征。

Images