CN108734723B - 一种基于自适应权重联合学习的相关滤波目标跟踪方法 - Google Patents

Abstract

一种基于自适应权重联合学习的相关滤波目标跟踪方法，属于机器视觉领域。该方法将相关滤波模型与基于颜色直方图的颜色模型相结合，充分利用相关滤波模型的判别特性来有效区分目标和背景，同时通过颜色模型获取直方图分数来更好的应对遮挡、闭塞、变形和其他复杂的环境。为了充分利用这两个模型的优势，本发明提出置信度权重来自适应联合这两个模型。同时在训练相关滤波器时，充分利用背景信息构建空间正则化项，有效抑制背景信息的干扰，进一步提高了算法在跟踪过程中的鲁棒性。为使目标模型在跟踪过程中更好地应对目标尺度的不断变化，本发明构建了单独的快速尺度检测模型。

Description

一种基于自适应权重联合学习的相关滤波目标跟踪方法

技术领域

本发明属于机器视觉领域，特别涉及一种基于自适应权重联合学习的相关滤波目标跟踪方法。

背景技术

机器视觉是目前最具发展潜力的学科之一，试图建立从语音、图像、视频等多维数据中获取信息的人工智能系统。目标跟踪作为机器视觉的一个重要研究方向，它的主要任务是确定感兴趣的目标在连续视频序列中的位置，同时获取目标的运动参数，从而进行更深层次的处理和分析。在自动监控系统、智能交通系统、人机交互、精确军事侦察、机器人视觉导航、智能医学诊断等领域有着广泛的应用。近年来，国内外的研究学者提出了许多新颖的算法，在该领域也取得了很多的进步。但令人遗憾的是，目标跟踪的实现一直面临着诸多干扰。这些干扰主要在于视觉信息的各种内在变化和外在变化，通常包含尺度变化、部分遮挡、背景杂乱、光照变化、运动模糊等。除此之外，目标跟踪技术在准确率和处理速度上的矛盾也对其提出了极大挑战。

正是由于目标跟踪的广泛应用以及诸多挑战，目标跟踪技术吸引了众多国内外学者及研究机构对其进行研究，一些先进的思想和技术相继被提出。相关滤波器因其优秀的计算速度和定位性能，成为了近年来视觉跟踪领域的热门。但在光照变化、背景杂乱、目标形变等复杂情况下，传统的基于相关滤波的跟踪算法常常在跟踪过程中因为环境因素导致非目标像素的逐渐累积，最终跟踪结果发生漂移而失败。因而，本发明针对实际的复杂场景下，在相关滤波模型对目标进行建模时，引入空间正则化项来抑制背景信息的负面影响，同时结合对形变、遮挡等因素较为不敏感的颜色模型，利用自适应权重更好的联合相关滤波模型和颜色模型，提出一种基于自适应权重联合学习的相关滤波目标跟踪方法，实现鲁棒目标跟踪。

发明内容

本发明的主要目的是提出一种基于自适应权重联合学习的相关滤波目标跟踪方法，在目标形变、运动模糊、光照变化和局部遮挡等干扰影响下，准确定位目标区域。

本发明的技术方案：

一种基于自适应权重联合学习的相关滤波目标跟踪方法，步骤如下：

步骤一、读入第一帧图像Image₁及跟踪目标初始矩形信息；

步骤二、训练位置相关滤波器

(2-1)针对位置滤波器，在相关滤波框架下，围绕第一帧图像目标的中心点位置，依据初始矩形尺度在候选区域内循环采样得到候选样本，并对每一个候选样本提取方向梯度直方图HOG(Histogram of Oriented Gradient)特征，得到训练样本集合X₁，其中每个训练样本为

d为特征维度；

(2-2)对训练样本x(m，n)构建目标函数，并添加空间正则化项γ||c＊f||²来提高位置滤波器区分背景与目标的能力，其中γ为惩罚系数，＊表示卷积运算，c表示从背景区域提取的HOG特征向量；

(2-3)对目标函数进行最小化计算，训练得到初始化的位置相关滤波器f；

步骤三、训练尺度相关滤波器

(3-1)针对尺度滤波器，在相关滤波框架下，围绕第一帧图像目标的中心点位置，在候选区域内依据不同矩形尺度采样得到候选样本，并对每一个候选样本提取HOG特征，并统一候选样本大小，得到训练样本集合X_scale，其中每个训练样本

(3-2)对训练样本x_scale(m，n)构建目标函数，训练得到初始的尺度相关滤波器f_scale；

步骤四、读入下一帧图像Image_t，t＞1，获得相关滤波模型和颜色模型的置信度响应图

(4-1)，在候选区域内提取HOG特征，添加一个余弦窗后，将HOG特征与上一帧图像得到的位置相关滤波器做卷积操作，确保得到平滑的响应图；将卷积操作转换到傅里叶域变成点乘操作，将点乘操作的结果做傅里叶反变换，获得相关滤波模型的置信度响应图S_f；

(4-2)在候选区域内提取颜色直方图特征I，对颜色直方图特征做积分图运算，得到颜色模型的置信度响应图S_h；

步骤五、将平均峰值能量APE(average-peak energy)作为置信度指标决定融合权重的配比，将步骤四得到的置信度响应图S_f和S_h联合，自适应地融合相关滤波模型和颜色模型，得到最终的位置响应图S(x)，S(x)＝ω_fS_f+ω_hS_h，位置响应图S(x)的峰值点即为预测的目标中心位置；其中ω_f和ω_h分别为相关滤波模型和颜色模型的融合权重；

步骤六、在当前帧预测的中心位置处的候选区域内，依据不同尺度的矩形采样得到不同尺度样本并提取HOG特征，统一尺度样本大小；在傅里叶域，将每个尺度样本的HOG特征与上一帧得到的尺度相关滤波器f_scale做点乘运算得到响应图，其中峰值最大的响应图所对应的尺度即为当前帧目标的最优尺度值；

步骤七、视频未结束时，则利用已经获得的当前帧目标信息重复步骤二和步骤三在线更新f和f_scale，随后重复步骤四，读入下一帧图像；视频结束时则跟踪结束。

本发明的有益效果：

1.通过步骤二提出改进的相关滤波的目标函数，引入空间正则化项，能更加有效的利用背景信息，缓解跟踪过程中产生的非目标信息的累积状况，提高滤波器区分背景与目标的能力，增强算法的鲁棒性。

2.通过步骤五利用置信度指标自适应的联合相关滤波器和颜色模型，互补优势，当目标发生形变或遮挡时，置信度指标将显著减少并趋近于0，联合颜色模型来更好的应对闭塞、变形和其他复杂的环境。

3.通过步骤六的快速尺度检测机制，克服了大部分跟踪算法在目标发生改变时的不足。

附图说明

图1为基于自适应权重联合学习的相关滤波目标跟踪方法流程图。

图2为篮球视频序列进行算法效果的展示图。

图3为慢跑视频序列进行算法效果的展示图。

图4为散步视频序列进行算法效果的展示图。

图5为可乐视频序列进行算法效果的展示图。

图6为汽车视频序列进行算法效果的展示图。

具体实施方式

以下结合具体实施例对本发明的技术方案进行进一步说明。

一种基于自适应权重联合学习的相关滤波目标跟踪方法，其流程图如图1 所示，步骤如下：

步骤一、读入第一帧图像Image₁及跟踪目标初始矩形信息；

步骤二、训练位置相关滤波器

(2-1)针对位置滤波器，在相关滤波框架下，围绕第一帧图像目标的中心点位置，依据初始矩形尺度在候选区域内循环采样得到候选样本，并对每一个候选样本提取方向梯度直方图HOG(Histogram of Oriented Gradient)特征，得到训练样本集合X₁，其中每个训练样本为

d为特征维度；

(2-2)对训练样本x(m，n)构建目标函数，并添加空间正则化项γ||c＊f||²来提高位置滤波器区分背景与目标的能力，其中γ为惩罚系数，＊表示卷积运算，c表示从背景区域提取的HOG特征向量；

(2-3)对目标函数进行最小化计算，训练得到初始化的位置相关滤波器f；

步骤三、训练尺度相关滤波器

(3-1)针对尺度滤波器，在相关滤波框架下，围绕第一帧图像目标的中心点位置，在候选区域内依据不同尺度的矩形采样得到候选样本，并对每一个候选样本提取HOG特征，并统一候选样本大小，得到训练样本集合X_scale，其中每个训练样本

(3-2)对训练样本x_scale(m，n)构建目标函数，训练得到初始的尺度相关滤波器f_scale；

步骤四、读入下一帧图像Image_t，t＞1，获得相关滤波模型和颜色模型的置信度响应图

(4-1)，在候选区域内提取HOG特征，添加一个余弦窗后，将HOG特征与上一帧图像得到的位置相关滤波器做卷积操作，确保得到平滑的响应图；将卷积操作转换到傅里叶域变成点乘操作，将点乘操作的结果做傅里叶反变换，获得相关滤波模型的置信度响应图S_f；

(4-2)在候选区域内提取颜色直方图特征I，对颜色直方图特征做积分图运算，得到颜色模型的置信度响应图S_h；

步骤五、将平均峰值能量APE(average-peak energy)作为置信度指标决定融合权重的配比，将步骤四得到的置信度响应图S_f和S_h联合，自适应地融合相关滤波模型和颜色模型，得到最终的位置响应图S(x)，S(x)＝ω_fS_f+ω_hS_h，位置响应图S(x)的峰值点即为预测的目标中心位置；其中ω_f和ω_h分别为相关滤波模型和颜色模型的融合权重；

步骤六、在当前帧预测的中心位置处的候选区域内，依据不同矩形尺度采样得到不同尺度样本并提取HOG特征，统一尺度样本大小；在傅里叶域，将每个尺度样本的HOG特征与上一帧得到的尺度相关滤波器f_scale做点乘运算得到响应图，其中峰值最大的响应图所对应的尺度即为当前帧目标的最优尺度值；

步骤七、视频未结束时，则利用已经获得的当前帧目标信息重复步骤二和步骤三在线更新f和f_scale，随后重复步骤四，读入下一帧图像；视频结束时则跟踪结束。

上述方法中，步骤二提出改进的相关滤波的目标函数，引入空间正则化项：

传统的相关滤波目标跟踪算法使用的是脊回归模型训练滤波器，也就是采用平方损失。传统的目标函数为

其中，x是循环采样得到的样本，特征层l∈{1，…，d}，y为期望值，λ为惩罚系数。在跟踪的过程中，理想情况下学习得到的滤波器f的高响应处应为目标，而其他信息块接近于零响应。但往往由于在学习阶段的初始化边界矩形框会使跟踪模型提取部分背景信息作为目标信息，导致不必要的边界效应。因此，我们通过添加背景信息正则化项来缓解边界效应。在每一帧，c包含从背景信息块中提取的特征，γ为惩罚系数，由此，改进的目标函数表示为：

上述目标函数在运算时可以化简为下面的形式：min_f||g＊f-y′||²+λ||f||²，其中

新得到的期望值y′＝{y；0；…；0}。对上式中的f求导，并令其导数为0，可以得到如下解： f＝(g^Tg+λI)^-1g^Ty′。由于接下来的计算需要转换到傅里叶域内，因而将上式转化成复数域的表达形式：f＝(g^Hg+λI)^-1g^Hy′，其中g^H＝(g^*)^T，g^*表示g的复共轭矩阵，g^H表示g的复共轭转置矩阵。利用循环矩阵能够使用离散傅里叶变换进行对角化的性质求解上式，得到

由此，

可以通过逆傅里叶变换方便的将求解结果返回到时域中得到解f。同时由于大部分数据都不是线性可分的，我们可以将其映射到非线性高维空间中，在高维空间中对其分类。对于解f可以通过映射后的样本的线性组合进行表示：f＝∑_iα_ix_i，则求解结果为：

α＝(gg^T+λI)^-1y′。对于测试样本z的滤波器响应值可以表示为：

由此得到，步骤四中的相关滤波模型的置信度响应图

上述方法中，步骤四中的基于颜色直方图的颜色模型：

基于相关滤波器的跟踪方法有一个固有问题是刚性模板无法适应跟踪过程中的目标形变，而基于颜色直方图的方法正是由于其应对形变的出色效果在以前的跟踪算法中广泛应用。理想情况下，为了区分出背景中与目标特征相似的像素，我们使用基于颜色直方图的贝叶斯分类器处理样本图像。Ω表示直方图计算分数时的一个有限区域，r表示图像像素，I为直方图特征，β表示直方图权向量，y为期望值，则基于颜色的损失函数模型可以表示为：

取样的有限区域Ω可以划分为包含目标的区域块O和不含目标的背景区域块B，则上式可以化简为：

对上式中的β求导，并令其导数为0，可以得到如下解：

其中

指区域

中非0特征像素的数量，

由此得到，步骤四中的颜色模型的置信度响应图

上述方法中，步骤五中我们提出了高置信度自适应权重的联合方法，结合滤波器的相关性分数S_f(x)和直方图的分数S_h(x):S(x)＝ω_fS_f(x)+ω_hS_h(x)。其中，权重ω_f＝1-ω_h，同时这取决于两个模型的置信度。一般来说，大部分的视觉跟踪算法都是通过搜索响应图获得最后得分来定位目标的。当检测到当前帧中的正确目标时，响应图一般只有一个波峰和基本平滑的边缘，波峰越尖锐，定位精度越好。因而，响应图可以在一定程度上代表跟踪结果的置信度。但是，如果对象是阻挡严重，甚至失踪，整个响应图都将剧烈的波动，导致响应图明显不同。所以，除了响应图的最大响应值映射外，我们提出一种新的置信度指标平均峰值能量(Average-peak Energy,APE):

其中，P_max、P_mean和P_r分别表示最大响应值、平均响应值和每个像素的响应值。APE可以体现出响应图的波动程度和最大响应值的置信度。当目标发生形变或遮挡，APE将显著减少并趋近于0，此时我们需要更多的依赖的颜色模型来调整最终的跟踪结果，将ω_h设置为较高的值。

上述方法中，步骤六中快速尺度检测模型：设上一帧的目标大小为Q×R，在目标处提取大小为a^eQ×a^eR目标子样本，其中尺度因子

U 为尺度滤波的大小。通过公式计算每个子样本的响应

得到的最大响应值所对应的目标大小作为当前帧的目标尺度。上式中的v和w分别为尺度滤波器f_scale的分子和分母，我们通过下面的公式对其进行更新，其中τ为学习率，下标t表示第t帧。

为验证本发明的准确性和鲁棒性，本发明在著名的OTB视频数据集上进行了实验。该数据集在2013年被提出，包含50个视频序列，随后在2015年，其包含的视频序列被扩充到了100个。为了直观的体现出本发明的跟踪效果，我们从OTB2015库中选取了五个具有各种干扰因素的视频序列进行算法效果的展示，这五个视频序列包含的干扰因素如表1所示。

表1:视频序列说明

视频序列	干扰因素
		篮球	光照变化、遮挡、形变、旋转、背景混杂
慢跑	遮挡、形变、旋转
		散步	尺度变化、遮挡、低分辨率
可乐	光照变化、遮挡、快速运动、旋转、背景混杂
		汽车	尺度变化、遮挡、快速运动、旋转

Claims (1)

1.一种基于自适应权重联合学习的相关滤波目标跟踪方法，其特征在于，步骤如下：

步骤一、读入第一帧图像Image₁及跟踪目标初始矩形信息；

步骤二、训练位置相关滤波器

(2-1)针对位置滤波器，在相关滤波框架下，围绕第一帧图像目标的中心点位置，依据初始矩形尺度在候选区域内循环采样得到候选样本，并对每一个候选样本提取方向梯度直方图HOG特征，得到训练样本集合X₁，其中每个训练样本为

d为特征维度；

(2-2)对训练样本x(m，n)构建目标函数，并添加空间正则化项γ||c＊f||²来提高位置滤波器区分背景与目标的能力，其中γ为惩罚系数，＊表示卷积运算，c表示从背景区域提取的HOG特征向量；

(2-3)对目标函数进行最小化计算，训练得到初始化的位置相关滤波器f；

步骤三、训练尺度相关滤波器

(3-1)针对尺度滤波器，在相关滤波框架下，围绕第一帧图像目标的中心点位置，在候选区域内依据不同矩形尺度采样得到候选样本，并对每一个候选样本提取HOG特征，并统一候选样本大小，得到训练样本集合X_scale，其中每个训练样本

(3-2)对训练样本x_scale(m，n)构建目标函数，训练得到初始的尺度相关滤波器f_scale；

步骤四、读入下一帧图像Image_t，t＞1，获得相关滤波模型和颜色模型的置信度响应图

(4-1)在候选区域内提取HOG特征，添加一个余弦窗后，将HOG特征与上一帧图像得到的位置相关滤波器做卷积操作，确保得到平滑的响应图；将卷积操作转换到傅里叶域变成点乘操作，将点乘操作的结果做傅里叶反变换，获得相关滤波模型的置信度响应图S_f；

(4-2)在候选区域内提取颜色直方图特征I，对颜色直方图特征做积分图运算，得到颜色模型的置信度响应图S_h；

步骤五、将平均峰值能量APE作为置信度指标决定融合权重的配比，将步骤四得到的置信度响应图S_f和S_h联合，自适应地融合相关滤波模型和颜色模型，得到最终的位置响应图S(x)，S(x)＝ω_fS_f+ω_hS_h，位置响应图S(x)的峰值点即为预测的目标中心位置，其中ω_f和ω_h分别为相关滤波模型和颜色模型的融合权重；

其中，P_max、P_mean和P_r分别表示最大响应值、平均响应值和每个像素的响应值；

步骤六、在当前帧预测的中心位置处的候选区域内，依据不同尺度的矩形采样得到不同尺度样本并提取HOG特征，随后统一尺度样本大小；在傅里叶域，将每个尺度样本的HOG特征与上一帧得到的尺度相关滤波器f_scale做点乘运算得到响应图，其中峰值最大的响应图所对应的尺度即为当前帧目标的最优尺度值；

步骤七、视频未结束时，则利用已经获得的当前帧目标信息重复步骤二和步骤三在线更新f和f_scale，随后重复步骤四，读入下一帧图像；视频结束时则跟踪结束。

Images