CN115239760A - 一种目标跟踪方法、系统、设备及存储介质 - Google Patents

Abstract

本发明提供一种目标跟踪方法、系统、设备及存储介质，方法包括：根据训练样本的当前帧确定目标区域，对目标区域进行方向梯度直方图HOG、颜色命名CN和颜色空间HSV特征提取并融合，得到目标模板；根据目标模板和空间正则化权重因子确定目标函数；在交替方向乘子法ADMM中引入Sherman‑Morrison公式对目标函数加速求解，得到响应值；在响应值满足预设置信阈值时迭代目标跟踪模型，直至训练完成得到训练后的目标跟踪模型，利用训练后的目标跟踪模型对待观测视频中的目标进行跟踪。本发明引入基于ADMM的空间正则化权重降低了迭代的复杂度，弱化了边界效应，提高了方法的稳定性和运行效率。

Description

一种目标跟踪方法、系统、设备及存储介质

技术领域

本发明涉及图像识别技术领域，更具体地，涉及一种目标跟踪方法、系统、设备及存储介质。

背景技术

随着计算机技术的发展，人工智能理论和技术日益成熟，应用领域也不断扩大，其涉及的领域包括机器人、语言识别、图像识别、自然语言处理和专家系统等。目标跟踪是计算机视觉研究领域的热点之一，目标跟踪是指对图像序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运动参数，实现对运动目标的行为理解，在军事制导、视频监控、机器人视觉导航、人机互动以及医疗诊断等许多方面有着广泛的应用。

目前视觉目标跟踪算法根据其观测模型又可以分为生成式和判别式两类。生成式跟踪方法，即在当前帧对目标区域建模，下一帧寻找与模型最相似的区域即为预测位置。与生成式的方法相反，判别式跟踪方法将跟踪任务视为目标检测中的分类问题，通过前景和背景的外观表示来训练分类器，然后根据分类器响应确定目标状态。

然而，现有的目标的视觉目标跟踪算法中相关滤波中心图像块循环位移后的样本往往存在边界效应，因此，如何弱化边界效应是亟待解决的问题。

发明内容

本发明针对现有技术中存在的技术问题，提供一种目标跟踪方法、系统、电子设备及存储介质，用以解决弱化边界效应的问题。

根据本发明的第一方面，提供了一种目标跟踪方法，包括：

根据训练样本的当前帧确定目标区域，对所述目标区域进行方向梯度直方图HOG、颜色命名CN和颜色空间HSV特征提取并融合，得到目标模板；

根据所述目标模板和空间正则化权重因子确定目标函数；

在交替方向乘子法ADMM中引入Sherman-Morrison公式对所述目标函数加速求解，得到响应值；

在所述响应值满足预设置信阈值时迭代目标跟踪模型，直至训练完成得到训练后的目标跟踪模型，利用所述训练后的目标跟踪模型对待观测视频中的目标进行跟踪。

在上述技术方案的基础上，本发明还可以作出如下改进。

可选的，所述根据所述目标模板和空间正则化权重因子确定目标函数的步骤，包括：

引入权重因子θ后的损失函数为：

其中，⊙为点乘操作，ψ_t表示第t帧时分类器的训练误差，t表示当前帧的序号，i表示历史帧的序号，x_i表示第i帧的输入样本，f(x_i)表示输入第i帧样本后的响应得分，y_i表示第i帧样本的期望响应，ω为训练的滤波器系数，j为表示滤波器的通道数，d为分类器的维数，正则化权重定义为：

θ(m,n)＝θ_base+θ_shift(m,n)；

其中，m,n表示循环样本的偏移量，θ_base为空间正则化的基础权重为常数，θ_shift表示训练样本的正则化权重偏移量；

θ_shift定义为：

其中，m,n表示循环样本的偏移量，ρ_width与ρ_height分别表示搜索图像的宽度和高度，θ_width和θ_height分别表示水平与竖直方法的权重因子，训练样本离目标中心越远的θ_shift值越大，即背景区域正则化权重较大，目标区域的权重较小。

可选的，所述在交替方向乘子法ADMM中引入Sherman-Morrison公式对所述目标函数加速求解，得到响应值的步骤，包括：

构造辅助变量β，将所述辅助变量β代入所述滤波器的损失函数中，得到转换后的损失函数；

对所述损失函数进行傅里叶变换得到对应的频域公式；

根据所述频域公式构建增广拉格朗日函数，在交替方向乘子法ADMM中引入Sherman-Morrison公式对所述拉格朗日函数加速求解，得到响应值。

可选的，所述在交替方向乘子法ADMM中引入Sherman-Morrison公式对所述拉格朗日函数加速求解的步骤，包括：

利用交替方向乘子法将所述增广拉格朗日函数分解成多个子问题；

根据样本的带状稀疏矩阵将每个子问题分解成预设个独立的小目标；

根据Sherman-Morrison公式对每个独立的小目标进行加速求解。

可选的，所述将所述辅助变量β代入所述滤波器的损失函数中，得到转换后的损失函数为：

s.t.β＝ω；

其中，⊙为点乘操作，ω为训练的滤波器系数,β为辅助变量，t表示当前帧的序号，i表示历史帧的序号，d为分类器的维数，j为表示滤波器的通道数，x_i表示第i帧的输入样本，y_i表示第i帧样本的期望响应，θ为权重因子；

所述对所述损失函数进行傅里叶变换得到对应的频域公式：

其中，∧表示变量的傅里叶变换，ω为训练的滤波器系数,β为辅助变量，θ为权重因子，一个一维信号a的离散傅立叶变换表示为

F为t×t大小的正交傅立叶变换矩阵，

大小为t×dt，其为多通道的循环样本构成的矩阵，

大小为dt×1；

所述根据所述频域公式构建增广拉格朗日函数为：

其中，μ为惩罚因子，

是大小为dt×1的傅立叶域内的拉格朗日矢量，∧表示变量的傅里叶变换，ω为训练的滤波器系数,β为辅助变量，θ为权重因子，一个一维信号a的离散傅立叶变换表示为

F为t×t大小的正交傅立叶变换矩阵，

大小为t×dt，其为多通道的循环样本构成的矩阵，

大小为dt×1；

所述利用交替方向乘子法将所述增广拉格朗日函数分解成多个子问题：

其中，μ为惩罚因子，

是大小为dt×1的傅立叶域内的拉格朗日矢量，∧表示变量的傅里叶变换，ω为训练的滤波器系数,β为辅助变量，θ为权重因子，一个一维信号a的离散傅立叶变换表示为

F为t×t大小的正交傅立叶变换矩阵，

大小为t×dt，其为多通道的循环样本构成的矩阵，

大小为dt×1，样本

为带状稀疏矩阵，因此

中的每个元素都只与

和

中的k有关，运算符conj将复共轭应用于复数向量。因此上式中的

可以将其等同得表示为t个独立的小目标

所述根据样本的带状稀疏矩阵将每个子问题分解成预设个独立的小目标：

其中，

解得：

所述根据Sherman-Morrison公式对每个独立的小目标进行加速求解：

其中，

可选的，还包括尺度自适应的步骤为：

根据训练样本中当前帧的模板的尺寸构建尺度池；

根据所述尺度池中的不同尺度对训练样本中的后一帧图像进行滑动采样，得到不同尺度的样本；

根据预设尺度滤波器计算每个尺度的样本的响应值，获取所述响应值最大的尺度的样本；

通过双线性插值法将所述响应值最大的尺度的样本调整为与所述当前帧的模板相同的维度，得到所述训练样本中后一帧图像的候选区域。

可选的，所述在所述响应值满足预设置信阈值时迭代目标跟踪模型的步骤，包括：

根据响应值对应的分布图获取对应的相关峰平均差值比；

根据所述相关峰平均差值比获取模型更新速率，并根据所述模型更新速率对所述目标模型进行更新。

根据本发明的第二方面，提供一种目标跟踪系统，包括：

构建模板模块，用于根据训练样本的当前帧确定目标区域，对所述目标区域进行方向梯度直方图HOG、颜色命名CN和颜色空间HSV特征提取并融合，得到目标模板；

目标函数模块，用于根据所述目标模板和空间正则化权重因子确定目标函数；

模型训练模块，用于在交替方向乘子法ADMM中引入Sherman-Morrison公式对所述目标函数加速求解，得到响应值；

目标跟踪模块，用于在所述响应值满足预设置信阈值时迭代目标跟踪模型，直至训练完成得到训练后的目标跟踪模型，利用所述训练后的目标跟踪模型对待观测视频中的目标进行跟踪。

根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现上述第一方面中任一目标跟踪方法的步骤。

根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现上述第一方面中任一目标跟踪方法的步骤。

本发明提供的一种目标跟踪方法、系统、电子设备及存储介质，上述方法通过根据训练样本的当前帧确定目标区域，对上述目标区域进行方向梯度直方图HOG、颜色命名CN和颜色空间HSV特征提取并融合，得到目标模板；根据上述目标模板和空间正则化权重因子确定目标函数；在交替方向乘子法ADMM中引入Sherman-Morrison公式对上述目标函数加速求解，得到响应值；在上述响应值满足预设置信阈值时迭代目标跟踪模型，直至训练完成得到训练后的目标跟踪模型，利用上述训练后的目标跟踪模型对待观测视频中的目标进行跟踪。本发明通过对目标区域进行方向梯度直方图HOG、颜色命名CN和颜色空间HSV特征提取并融合，从而加强了特征响应的判别性，提高了目标的区分度，增强了目标在形变和光照变化时的稳定性，通过基于交替方向乘子法ADMM的空间正则化确定目标函数，从而在引入空间正则化惩罚边界的同时，使用ADMM算法降低迭代复杂度，弱化了边界效应，提高了算法的运行效率，从而大大的提升了相关滤波跟踪算法在目标跟踪时的稳定性和跟踪速度。

附图说明

图1为本发明提供的一种目标跟踪方法流程图；

图2为本发明提供的特征融合过程示意图；

图3为本发明提供的融合响应图；

图4为本发明提供的根据尺度池获取不同尺度尺候选区域过程示意图；

图5为本发明提供的尺度模型训练流程示意图；

图6为基础KFC算法跟踪效果图；

图7为本发明提供的添加了高置信度模型更新策略的KCF算法跟踪效果图；

图8a为本发明提供的距离误差成功率示意图；

图8b为本发明提供的重合度成功率示意图；

图9为本发明提供的一种目标跟踪系统结构示意图；

图10为本发明提供的一种可能的设备的硬件结构示意图；

图11为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1为本发明提供的一种目标跟踪方法流程图，如图1所示，方法包括：

步骤S100：根据训练样本的当前帧确定目标区域，对所述目标区域进行方向梯度直方图HOG、颜色命名CN和颜色空间HSV特征提取并融合，得到目标模板；

需要说明的是，本实施例方法的执行主体可以是具有数据处理、网络通信及程序运行功能的计算机终端设备，例如：电脑、平板电脑等；也可以是具有相同相似功能的服务器设备，还可以是具有相似功能的云服务器，本实施例对此不做限制。为了便于理解，本实施例及下述各实施例将以服务器设备为例进行说明。

可以理解的是，上述训练样本可以是使用OTB50数据集作为的训练样本，也可以是使用OTB100数据集作为的训练样本，还可以是根据实际需要自行采集的数据作为的训练样本，本实施例对此不作限制。

应理解的是，上述方向梯度直方图HOG是应用在计算机视觉和图像处理领域，用于目标检测的特征描述器，上述方向梯度直方图技术是用来计算局部图像梯度的方向信息的统计值。HOG描述器是在一个网格密集的大小统一的细胞单元上计算，而且为了提高性能，还采用了重叠的局部对比度归一化技术。

还可以理解的是，上述特征融合的过程可以是将上述三种特征进行融合获取对应的45维的集成特征，参见图2，图2为本发明提供的特征融合过程示意图，在上述特征融合中本发明实施例综合了表示梯度变化的HOG特征，用于表示颜色信息的CN颜色空间以及表示更详细信息的HSV空间。HOG特征是31维的(全零通道除外)，CN特征是11维的，HSV特征是3维的，将这三个特征进行融合可以获得45维的集成正在，因此融合特征的通道为45。

参见图3，图3为本发明提供的融合响应图，在图3中，可以看到，单个特征的响应图收到周围大量噪声的影响，导致目标无法准确区分，而融合后的特征响应辨识性更强，提高了目标的区分度。

步骤S200：根据所述目标模板和空间正则化权重因子确定目标函数；

在具体实现中，在现有的KCF相关滤波算法中，其中的正则化因子为常数，在训练过程中正则化因子将背景区域的样本与目标区域的样本同等看待，但是在实际跟踪中，目标区域比背景区域更加重要，因此目标区域样本的正则化权重应小于背景部分的正则化权重，为此我们引入了空间正则化权重因子，构建空间正则化相关滤波器，以此弱化背景区域的干扰，提高分类器在杂乱背景下的分类能力，同时我们还可以利用该特征扩大搜索区域，解决目标因快速移动而丢失的问题。

步骤S300：在交替方向乘子法ADMM中引入Sherman-Morrison公式对所述目标函数加速求解，得到响应值；

在具体实现中，确定目标函数后，需要对滤波器系数进行求解，这是相关滤波类算法中的核心问题，随着对相关滤波跟踪器的不断研究改进，如CFLB与BACF等算法在滤波器的训练中引入了空间约束来处理边界效应，虽然算法解决了边界效应的问题，却使得滤波器的模型越来越复杂，计算速度越来越慢，相关滤波算法在计算速度上的优势越来越不明显。为解决这一问题，我们引入了交替方向乘子法(ADMM)对相关滤波器进行求解，ADMM把一个大优化问题分成可分布式同时求解的多个子问题，通过对子问题的迭代可以快速得到滤波器的近似解，从而大大提高了计算效率。

步骤S400：在所述响应值满足预设置信阈值时迭代目标跟踪模型，直至训练完成得到训练后的目标跟踪模型，利用所述训练后的目标跟踪模型对待观测视频中的目标进行跟踪。

需要说明的是，上述预设置信阈值可以是管理员根据经验设定的，还可以是进行实验结果认定后更新的，本实施例对此不作限制。上述满足预设置信度可以是指只有当前帧目标框内的部分具有较高的置信度时(目标未被遮挡或模糊)，才对模型更新。

在具体实现中，在响应值满足预设置信度阈值时，根据当前帧对目标跟踪模型进行迭代更新，直至目标跟踪结束得到训练后的目标跟踪模型，并利用上述目标跟踪模型对待观测视频中的目标进行跟踪。

可以理解的是，基于背景技术中的缺陷，本发明实施例提出了一种目标跟踪方法。方法通过根据训练样本的当前帧确定目标区域，对上述目标区域进行方向梯度直方图HOG、颜色命名CN和颜色空间HSV特征提取并融合，得到目标模板；根据上述目标模板和空间正则化权重因子确定目标函数；在交替方向乘子法ADMM中引入Sherman-Morrison公式对上述目标函数加速求解，得到响应值；在上述响应值满足预设置信阈值时迭代目标跟踪模型，直至训练完成得到训练后的目标跟踪模型，利用上述训练后的目标跟踪模型对待观测视频中的目标进行跟踪。本发明通过对目标区域进行方向梯度直方图HOG、颜色命名CN和颜色空间HSV特征提取并融合，从而加强了特征响应的判别性，提高了目标的区分度，增强了目标在形变和光照变化时的稳定性，通过基于交替方向乘子法ADMM的空间正则化确定目标函数，从而在引入空间正则化惩罚边界的同时，使用ADMM算法降低迭代复杂度，弱化了边界效应，提高了算法的运行效率，从而大大的提升了相关滤波跟踪算法在目标跟踪时的稳定性和跟踪速度。

在一种可能的实施例方式中，所述根据所述目标模板和空间正则化权重因子确定目标函数的步骤，包括：

引入权重因子θ后的损失函数为：

其中，⊙为点乘操作，ψ_t表示第t帧时分类器的训练误差，t表示当前帧的序号，i表示历史帧的序号，x_i表示第i帧的输入样本，f(x_i)表示输入第i帧样本后的响应得分，y_i表示第i帧样本的期望响应，ω为训练的滤波器系数，j为表示滤波器的通道数，d为分类器的维数，正则化权重定义为：

θ(m,n)＝θ_base+θ_shift(m,n)；

其中，m,n表示循环样本的偏移量，θ_base为空间正则化的基础权重为常数，θ_shift表示训练样本的正则化权重偏移量；

θ_shift定义为：

其中，m,n表示循环样本的偏移量，ρ_width与ρ_height分别表示搜索图像的宽度和高度，θ_width和θ_height分别表示水平与竖直方法的权重因子，训练样本离目标中心越远的θ_shift值越大，即背景区域正则化权重较大，目标区域的权重较小。

本实施例方法中，通过在目标跟踪算法中引入空间正则化惩罚边界，根据训练样本与目标空间的位置信息设置对应的正则化权重，从而实现了弱化了边界效应的目的。

在一种可能的实施例方式中，所述在交替方向乘子法ADMM中引入Sherman-Morrison公式对所述目标函数加速求解，得到响应值的步骤，包括：

步骤S301：构造辅助变量β，将所述辅助变量β代入所述滤波器的损失函数中，得到转换后的损失函数；

步骤S302：对所述损失函数进行傅里叶变换得到对应的频域公式；

步骤S303：根据所述频域公式构建增广拉格朗日函数，在交替方向乘子法ADMM中引入Sherman-Morrison公式对所述拉格朗日函数加速求解，得到响应值。

本实施例方法中，通过在目标跟踪算法的求解过程中引入Sherman-Morrison公式对所述目标函数加速求解，从而降低了迭代复杂度，提高了目标跟踪算法的运行效率。

在一种可能的实施例方式中，所述在交替方向乘子法ADMM中引入Sherman-Morrison公式对所述拉格朗日函数加速求解的步骤，包括：

步骤S3031：利用交替方向乘子法将所述增广拉格朗日函数分解成多个子问题；

步骤S3032：根据样本的带状稀疏矩阵将每个子问题分解成预设个独立的小目标；

步骤S3033：根据Sherman-Morrison公式对每个独立的小目标进行加速求解。

本实施例方法中，通过在目标跟踪算法的求解过程中引入Sherman-Morrison公式对所述目标函数加速求解，从而降低了迭代复杂度，提高了目标跟踪算法的运行效率。

在一种可能的实施例方式中，基于ADMM的空间正则化加速求解的过程可以是：

在KCF相关滤波算法中，利用循环移位样本训练分类器，获得最小均方误差下的最优分类器，训练过程中的损失函数定义为

其中ψ_t表示第t帧时分类器的训练误差，t表示当前帧的序号，i表示历史帧的序号，x_i表示第i帧的输入样本，f(x_i)表示输入第i帧样本后的响应得分，y_i表示第i帧样本的期望响应，ω为训练的滤波器系数，j为表示滤波器的通道数，a_i为第i帧的分类器学习权重因子，d为分类器的维数，λ为防止过拟合的正则化因子，其为常数。

从上式可以看出正则化因子λ为常数，在训练过程中其将背景区域的样本与目标区域的样本同等看待，但在实际跟踪中，目标区域比背景区域更加重要，因此，目标区域样本的正则化权重应小于背景部分的正则化权重，为此我们引入了空间正则化权重因子θ，构建空间正则化相关滤波器，以此弱化背景区域的干扰，提高分类器在杂乱背景下的分类能力，同时我们还可以利用该特点扩大搜索区域，解决目标因快速移动而丢失的问题。

引入权重因子θ后原式可变为

其中，⊙为点乘操作，当

时，(3-1)(3-2)式相同。我们将正则化权重定义为

θ(m,n)＝θ_base+θ_shift(m,n) (3-3)

其中，m,n表示循环样本的偏移量，θ_base为空间正则化的基础权重，其为常数，

θ_shift表示训练样本的正则化权重偏移量，将θ_shift定义为

其中ρ_width与ρ_height分别表示搜索图像的宽度和高度，θ_width和θ_height分别表示水平与竖直方向的权重因子。由(3-4)式可知训练样本离目标中心越远θ_shift的值越大，即背景区域正则化权重较大，目标区域的权重较小。

接下来的主要工作便同KCF跟踪器一样，对滤波器系数ω进行求解，这是相关滤波类算法中的核心问题，随着对相关滤波跟踪器的不断研究改进，如CFLB与BACF等算法在滤波器的训练中引入了空间约束来处理边界效应，虽然算法解决了边界效应的问题，却使得滤波器的模型越来越复杂，计算速度越来越慢，相关滤波算法在计算速度上的优势越来越不明显。

为解决这一问题，我们引入了交替方向乘子法(ADMM)对相关滤波器进行求解，ADMM把一个大优化问题分成可分布式同时求解的多个子问题，通过对子问题的迭代可以快速得到滤波器的近似解。

ADMM算法通常用来解决以下形式的最小化问题：

这种问题的增广拉格朗日函数定义为

经典ADMM算法框架如下：

1.初始化y⁰，

μ＞0，置k＞0；

2.迭代步骤为：

3.若满足终止条件，则停止迭代，输出结果，否则返回继续迭代。因此，我们可以将式(3-2)转化为增广拉格朗日函数的形式，因ADMM迭代需要两个变量，因此我们构造辅助变量β，令β＝ω。

则式(3-2)转换为

将其转换到频域得

其中∧表示变量的傅里叶变换，一个一维信号a的离散傅立叶变换表示为

F为t×t大小的正交傅立叶变换矩阵，

大小为t×dt，其为多通道的循环样本构成的矩阵，

大小为dt×1。

其增广拉格朗日表达式为：

其中μ为惩罚因子，

是大小为dt×1的傅立叶域内的拉格朗日矢量。我们可以根据公式(3-7)运用ADMM算法对上式进行迭代求解，每个子问题ω和

都具有封闭形式的解。

对于子问题

直接求解该式的复杂度为O(t³d³)，因为每次ADMM迭代时都需要求解

这极大的影响了算法的实时性。但是，样本

为带状稀疏矩阵，因此

中的每个元素都只与

和

中的k有关，运算符conj将复共轭应用于复数向量。因此上式中的

可以将其等同得表示为t个独立的小目标

其中，

解得

公式(3-13)的计算复杂度为O(td³)，这一过程仍然需要处理t个独立的K×K的线性系统。在这里因为分母上变量都是d维，因此我们引入Sherman-Morrison formula(uv^T+A)^-1＝A^-1-(v^TA^-1u)^-1A^-1uv^TA^-1)进行加速运算，我们令A＝μtI_k，

原式可化简为

其中

此时，公式的计算复杂度减小为O(td)。

迭代更新：

其中

与ω^k+1表示在ADMM中迭代k+1步是上述子问题的当前解。

μ^k+1＝min(μ_max,αμ^k)。

本实施例中，通过在交替方向乘子法ADMM和Sherman-Morrison公式，从而简化了计算的复杂度，大大提升了目标跟踪算法求解的速度。

在一种可能的实施例方式中，还包括尺度自适应的步骤为：

步骤S001：根据训练样本中当前帧的模板的尺寸构建尺度池；

步骤S002：根据所述尺度池中的多个不同尺度对训练样本中的后一帧图像进行滑动采样，得到多个不同尺度的样本；

步骤S003：根据预设尺度滤波器计算每个不同尺度的样本的响应值，获取所述响应值最大的尺度的样本；

步骤S001：通过双线性插值法将所述响应值最大的尺度的样本调整为与所述当前帧的模板相同的维度，得到所述训练样本中后一帧图像的候选区域。

参见图4，图4为本发明提供的根据尺度池获取不同尺度尺候选区域过程示意图，对于大多数跟踪方法，目标的模板大小是固定的。为了处理尺度变化，我们提出将尺度空间从可数整数空间扩展到不可数浮点空间。假设原始图像中模版的尺寸为s_k，我们定义了d个不同尺度构成尺度池S＝{d₁s_k,d₂s_k,...,d_ds_k}，在进行跟踪时，我们在新一帧的图像中按照S取d个不同尺度的图像块，然后通过双线性插值法将这些图像块调整为与初始帧模版s_k相同的维度。

参见图5，图5为本发明提供的尺度模型训练流程示意图，本发明中还可以在跟踪算法中专门训练了一个尺度滤波器用来估计目标的尺度，其具体训练过程同KCF跟踪器相似，新一帧目标的尺度根据输入尺度池中响应最大的尺度值。

本发明实施例中，通过在目标跟踪算法中加入自适应尺度池，提出包含7个尺度大小的尺度池，使得目标跟踪算法能够很好的适应尺度的变化，从而解决了以往目标尺度无法根据目标大小自适应调整，影响跟踪精度，目标跟踪过程中，当目标尺度缩小时，造成选取图像块中包含大量背景信息，当目标尺度扩大时，会造成选取图像块中只包含目标的局部信息的情况，提高了目标跟踪算法的适应性。

在一种可能的实施例方式中，所述在所述响应值满足预设置信阈值时迭代目标跟踪模型的步骤，包括：

步骤S401：根据响应值对应的分布图获取对应的相关峰平均差值比；

步骤S402：根据所述相关峰平均差值比获取模型更新速率，并根据所述模型更新速率对所述目标模型进行更新。

在当前现有的目标跟踪算法中几乎都是每一帧都对模型进行更新，并不考虑目标检测是否准确，如果新的跟踪结果不准确，所得到的结果依然会对模型进行更新，这样就会使得模型收到污染，导致目标跟踪漂移。因此本发明实施例提出只有当前帧目标框内的部分具有较高的置信度时(目标未被遮挡或模糊)才对模型进行更新，从而实现基于高置信度的模型更新策略不仅能够解决模型的污染问题，提高跟踪算法对遮挡等问题的鲁棒性，也能提高跟踪速度，还能防止过拟合。

从大量的关于KCF的实验可以发现，当准确跟踪的时候，KCF的响应分布图有且仅有一个很明显的峰值，其整体分布近似为一个二维高斯分布，而当跟踪过程中出现了复杂情况(特别是遮挡、丢失、模糊等)，响应图就会发生剧烈的振荡。响应图的峰值和波动可以在一定程度上体现跟踪结果的置信度。当检测到的目标与正确目标非常匹配时，理想的响应图应该只有一个尖峰，其他的区域会趋于平滑，相关峰值越高，定位精度越好。如果定位不够准确，响应图就会剧烈震荡，其形状与正确匹配时的形状差别明显。据此我们采用一个判断公式，相关峰平均差值比(CPMDR)：

其中，f_max表示响应图中的最大值，f_min表示响应图的最小值，f_m,n表示响应图在(m,n)处的值，M,N代表的峰值。

相关峰平均差值比(CPMDR)可以反映响应图的波动情况，当其小于一定阈值时，就可以判断目标跟踪过程丢失了目标，出现了遮挡或离开视野的情况。

在传统KCF跟踪中，使用简单模型更新方法：

其中，η为模型更新速率，按照此方法每一帧分类器都要进行更新，一旦跟踪失败，就无法继续跟踪。为解决此问题，我们使用学习率自适应的高置信度模型的更新策略。为了防止模型受到污染，当目标区域被遮挡时，不应再对目标模型进行更新，当CPMDR值超过一定阈值后才可以更新，我们设定模型更新速率与CPMDR值成正相关。我们令

η₁我们设为0.02，则自适应更新模型为：

我们用此更新模型来计算

经实验测得，当CPMDR值大于50时，可以被认定为准确跟踪，因此我们将阈值设定为0.0196。

参见图6和图7，通过两组图片的对比，可以明显看出添加了高置信度模型的更新策略的KCF算法优于基础KCF算法，因为改进后的KCF算法在被遮挡时没有进行模型更新，所以模型没有被污染，在目标重新出现后，算法又重新跟踪到了目标。

参见图8a和图8b，图8a和图8b是不同的算法跟踪OTB-50数据集测试的成功率对比示意图，红色的线是我们的算法测试结果，其中，图(a)为距离误差成功率示意图，图(b)为重合度成功率示意图。可以明显看出我们的不仅提高了跟踪的精度，也加快了运算的速度，实验数据表明我们的算法具有更高的跟踪精确度和鲁棒性。

本发明实施例中，通过使用相关峰平均差值比来判断遮挡状态的方法，以此实现了模型的自适应更新，处理了目标遮挡带来的模型污染问题，提高了算法的稳定性。

图9为本发明实施例提供的一种目标跟踪系统结构图示意图，如图9所示，一种目标跟踪系统，包括构建模板模块100、目标函数模块200、模型训练模块300和目标跟踪模块400，其中：

构建模板模块100，用于根据训练样本的当前帧确定目标区域，对上述目标区域进行方向梯度直方图HOG、颜色命名CN和颜色空间HSV特征提取并融合，得到目标模板；目标函数模块200，用于根据上述目标模板和空间正则化权重因子确定目标函数；模型训练模块300，用于在交替方向乘子法ADMM中引入Sherman-Morrison公式对上述目标函数加速求解，得到响应值；目标跟踪模块400，用于在上述响应值满足预设置信阈值时迭代目标跟踪模型，直至训练完成得到训练后的目标跟踪模型，利用上述训练后的目标跟踪模型对待观测视频中的目标进行跟踪。

可以理解的是，本发明提供的一种目标跟踪系统与前述各实施例提供的目标跟踪方法相对应，目标跟踪系统的相关技术特征可参考目标跟踪方法的相关技术特征，在此不再赘述。

请参阅图10，图10为本发明实施例提供的设备的实施例示意图。如图10所示，本发明实施例提供了一种电子设备，包括存储器1310、处理器1320及存储在存储器1310上并可在处理器1320上运行的计算机程序1311，处理器1320执行计算机程序1311时实现以下步骤：

根据训练样本的当前帧确定目标区域，对上述目标区域进行方向梯度直方图HOG、颜色命名CN和颜色空间HSV特征提取并融合，得到目标模板；根据上述目标模板和空间正则化权重因子确定目标函数；在交替方向乘子法ADMM中引入Sherman-Morrison公式对上述目标函数加速求解，得到响应值；在上述响应值满足预设置信阈值时迭代目标跟踪模型，直至训练完成得到训练后的目标跟踪模型，利用上述训练后的目标跟踪模型对待观测视频中的目标进行跟踪。

请参阅图11，图11为本发明提供的一种计算机可读存储介质的实施例示意图。如图11所示，本实施例提供了一种计算机可读存储介质1400，其上存储有计算机程序1411，该计算机程序1411被处理器执行时实现如下步骤：

根据训练样本的当前帧确定目标区域，对上述目标区域进行方向梯度直方图HOG、颜色命名CN和颜色空间HSV特征提取并融合，得到目标模板；根据上述目标模板和空间正则化权重因子确定目标函数；在交替方向乘子法ADMM中引入Sherman-Morrison公式对上述目标函数加速求解，得到响应值；在上述响应值满足预设置信阈值时迭代目标跟踪模型，直至训练完成得到训练后的目标跟踪模型，利用上述训练后的目标跟踪模型对待观测视频中的目标进行跟踪。

本发明提供的一种目标跟踪方法、系统、电子设备及存储介质，上述方法通过根据训练样本的当前帧确定目标区域，对上述目标区域进行方向梯度直方图HOG、颜色命名CN和颜色空间HSV特征提取并融合，得到目标模板；根据上述目标模板和空间正则化权重因子确定目标函数；在交替方向乘子法ADMM中引入Sherman-Morrison公式对上述目标函数加速求解，得到响应值；在上述响应值满足预设置信阈值时迭代目标跟踪模型，直至训练完成得到训练后的目标跟踪模型，利用上述训练后的目标跟踪模型对待观测视频中的目标进行跟踪。本发明通过对目标区域进行方向梯度直方图HOG、颜色命名CN和颜色空间HSV特征提取并融合，从而加强了特征响应的判别性，提高了目标的区分度，增强了目标在形变和光照变化时的稳定性，通过基于交替方向乘子法ADMM的空间正则化确定目标函数，从而在引入空间正则化惩罚边界的同时，使用ADMM算法降低迭代复杂度，弱化了边界效应，提高了算法的运行效率，从而大大的提升了相关滤波跟踪算法在目标跟踪时的稳定性和跟踪速度。

需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种目标跟踪方法，其特征在于，所述方法包括：

根据训练样本的当前帧确定目标区域，对所述目标区域进行方向梯度直方图HOG、颜色命名CN和颜色空间HSV特征提取并融合，得到目标模板；

根据所述目标模板和空间正则化权重因子确定目标函数；

在交替方向乘子法ADMM中引入Sherman-Morrison公式对所述目标函数加速求解，得到响应值；

在所述响应值满足预设置信阈值时迭代目标跟踪模型，直至训练完成得到训练后的目标跟踪模型，利用所述训练后的目标跟踪模型对待观测视频中的目标进行跟踪。

2.根据权利要求1所述的目标跟踪方法，其特征在于，所述根据所述目标模板和空间正则化权重因子确定目标函数的步骤，包括：

引入权重因子θ后的损失函数为：

其中，⊙为点乘操作，ψ_t表示第t帧时分类器的训练误差，t表示当前帧的序号，i表示历史帧的序号，x_i表示第i帧的输入样本，f(x_i)表示输入第i帧样本后的响应得分，y_i表示第i帧样本的期望响应，ω为训练的滤波器系数，j为表示滤波器的通道数，d为分类器的维数，正则化权重定义为：

θ(m,n)＝θ_base+θ_shift(m,n)；

其中，m,n表示循环样本的偏移量，θ_base为空间正则化的基础权重为常数，θ_shift表示训练样本的正则化权重偏移量；

θ_shift定义为：

其中，m,n表示循环样本的偏移量，ρ_width与ρ_height分别表示搜索图像的宽度和高度，θ_width和θ_height分别表示水平与竖直方法的权重因子，训练样本离目标中心越远的θ_shift值越大，即背景区域正则化权重较大，目标区域的权重较小。

3.根据权利要求1所述的目标跟踪方法，其特征在于，所述在交替方向乘子法ADMM中引入Sherman-Morrison公式对所述目标函数加速求解，得到响应值的步骤，包括：

构造辅助变量β，将所述辅助变量β代入所述滤波器的损失函数中，得到转换后的损失函数；

对所述损失函数进行傅里叶变换得到对应的频域公式；

根据所述频域公式构建增广拉格朗日函数，在交替方向乘子法ADMM中引入Sherman-Morrison公式对所述拉格朗日函数加速求解，得到响应值。

4.根据权利要求3所述的目标跟踪方法，其特征在于，所述在交替方向乘子法ADMM中引入Sherman-Morrison公式对所述拉格朗日函数加速求解的步骤，包括：

利用交替方向乘子法将所述增广拉格朗日函数分解成多个子问题；

根据样本的带状稀疏矩阵将每个子问题分解成预设个独立的小目标；

根据Sherman-Morrison公式对每个独立的小目标进行加速求解。

5.根据权利要求1所述的目标跟踪方法，其特征在于，所述将所述辅助变量β代入所述滤波器的损失函数中，得到转换后的损失函数为：

s.t.β＝ω；

其中，⊙为点乘操作，ω为训练的滤波器系数,β为辅助变量，t表示当前帧的序号，i表示历史帧的序号，d为分类器的维数，j为表示滤波器的通道数，x_i表示第i帧的输入样本，y_i表示第i帧样本的期望响应，θ为权重因子；

所述对所述损失函数进行傅里叶变换得到对应的频域公式：

其中，∧表示变量的傅里叶变换，ω为训练的滤波器系数,β为辅助变量，θ为权重因子，一个一维信号a的离散傅立叶变换表示为

F为t×t大小的正交傅立叶变换矩阵，

大小为t×dt，其为多通道的循环样本构成的矩阵，

大小为dt×1；

所述根据所述频域公式构建增广拉格朗日函数为：

其中，μ为惩罚因子，

是大小为dt×1的傅立叶域内的拉格朗日矢量，∧表示变量的傅里叶变换，ω为训练的滤波器系数,β为辅助变量，θ为权重因子，一个一维信号a的离散傅立叶变换表示为

F为t×t大小的正交傅立叶变换矩阵，

大小为t×dt，其为多通道的循环样本构成的矩阵，

大小为dt×1；

所述利用交替方向乘子法将所述增广拉格朗日函数分解成多个子问题：

其中，μ为惩罚因子，

是大小为dt×1的傅立叶域内的拉格朗日矢量，∧表示变量的傅里叶变换，ω为训练的滤波器系数,β为辅助变量，θ为权重因子，一个一维信号a的离散傅立叶变换表示为

F为t×t大小的正交傅立叶变换矩阵，

大小为t×dt，其为多通道的循环样本构成的矩阵，

大小为dt×1，样本

为带状稀疏矩阵，因此

中的每个元素都只与

和

中的k有关，运算符conj将复共轭应用于复数向量。因此上式中的

可以将其等同得表示为t个独立的小目标

所述根据样本的带状稀疏矩阵将每个子问题分解成预设个独立的小目标：

其中，

解得：

所述根据Sherman-Morrison公式对每个独立的小目标进行加速求解：

其中，

6.根据权利要求1所述的目标跟踪方法，其特征在于，还包括尺度自适应的步骤为：

根据训练样本中当前帧的模板的尺寸构建尺度池；

根据所述尺度池中的多个不同尺度对训练样本中的后一帧图像进行滑动采样，得到多个不同尺度的样本；

根据预设尺度滤波器计算每个不同尺度的样本的响应值，获取所述响应值最大的尺度的样本；

通过双线性插值法将所述响应值最大的尺度的样本调整为与所述当前帧的模板相同的维度，得到所述训练样本中后一帧图像的候选区域。

7.根据权利要求1所述的目标跟踪方法，其特征在于，所述在所述响应值满足预设置信阈值时迭代目标跟踪模型的步骤，包括：

根据响应值对应的分布图获取对应的相关峰平均差值比；

根据所述相关峰平均差值比获取模型更新速率，并根据所述模型更新速率对所述目标模型进行更新。

8.一种目标跟踪系统，其特征在于，包括

构建模板模块，用于根据训练样本的当前帧确定目标区域，对所述目标区域进行方向梯度直方图HOG、颜色命名CN和颜色空间HSV特征提取并融合，得到目标模板；

目标函数模块，用于根据所述目标模板和空间正则化权重因子确定目标函数；

模型训练模块，用于在交替方向乘子法ADMM中引入Sherman-Morrison公式对所述目标函数加速求解，得到响应值；

目标跟踪模块，用于在所述响应值满足预设置信阈值时迭代目标跟踪模型，直至训练完成得到训练后的目标跟踪模型，利用所述训练后的目标跟踪模型对待观测视频中的目标进行跟踪。

9.一种设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1-7任一项所述的目标跟踪方法的步骤。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-7任一项所述的目标跟踪方法的步骤。

Images