CN111951297B - 一种基于结构化逐像素目标注意机制的目标跟踪方法 - Google Patents

Abstract

本发明提出了一种基于结构化逐像素目标注意机制的目标跟踪方法，属于目标跟踪技术领域，用于解决传统暹罗跟踪算法为抑制背景利用余弦窗加权作为位置约束的方法无法精确获得目标边界，难以有效提高跟踪鲁棒性的问题。本发明首先建立逐像素目标注意机制，评估像素属于目标的概率，有效地区分目标边界，突出目标区域。同时，利用结构信息解决逐像素干扰，结合互补标签约束，得到结构逐像素目标注意模型，提高最终响应图的置信度，实现更可靠的目标定位。然后通过记忆器评估跟踪结果的置信度，保留高质量的样本更新结构化逐像素目标注意模型，提高模型的表达能力，从而实现更鲁棒性的跟踪性能。

Description

一种基于结构化逐像素目标注意机制的目标跟踪方法

技术领域

本发明涉及目标跟踪的技术领域，特别是指一种基于结构化逐像素目标注意机制的目标跟踪方法。

背景技术

目标跟踪是计算机视觉领域中基础的研究课题之一，在图像理解、自动驾驶、视频监控等方面具有广泛的应用。目标跟踪是给定任意目标在第一帧中的位置，然后在不断变化的视频序列中自动定位。虽然视觉跟踪在最近的研究中得到了很大的进步，但由于背景杂乱、形变、遮挡等因素的影响，实现鲁棒的跟踪一直被认为是一项极具挑战性的任务。

近年来，基于孪生网络的跟踪算法因其速度快、精度高而受到视觉跟踪界的广泛关注。通过将目标跟踪转换为一个相似度学习问题，孪生跟踪器的目标是从大量视频中离线学习一般的相似度函数。虽然上述的跟踪方法取得了优异的跟踪性能，特别是在良好的平衡精度和速度，暹罗学习框架仍有一些限制。首先，在面对背景杂乱时暹罗跟踪器很难保持其优越的性能。大多数暹罗跟踪器都能有效地从简单的背景中分离目标。然而，背景干扰总是会影响跟踪性能，这是提高跟踪性能的关键。因此，当背景具有杂波时，跟踪性能无法得到保证。

一些传统孪生跟踪方法为了抑制背景信息对目标建模的影响，传统的孪生跟踪方法采用高斯加权、余弦窗口加权作为结构约束来突出目标区域。然而，存在两个问题。一是结构约束只与目标位置有关(根据到前一帧目标中心的距离)，没有利用目标的特征。该方法不能准确区分前景和背景，不能识别前景和背景的轮廓，特别是在背景杂乱的情况下。其次，由于目标运动的不确定性，目标在下一帧中的位置是任意的。当发生快速运动时，简单基于距离的结构约束会导致位置偏见问题，因为远距离处的低权值使得位移较大的目标成为背景。通常情况下，目标不是规则的矩形，结构约束没有充分利用目标特征，不能有效地识别目标轮廓，抑制干扰物，还会造成位置偏见问题。

因此，针对现有的利用时间上下文先验作为位置约束存在的问题，有必要提出一种能准确识别目标边界，有效突出目标的注意力机制。

发明内容

针对传统孪生跟踪方法以距离为基础的高斯加权、余弦加权作为结构位置约束由于无法精确获得目标背景和前景的边界，难以有效抑制背景干扰的技术问题，本发明提供了一种基于结构化逐像素目标注意机制的目标跟踪方法，利用逐像素的目标识别能够有效判别不规则目标边界，突出目标区域以提高最终响应图的置信度，提高跟踪的鲁棒性。

本发明的技术方案是这样实现的：

一种基于结构化逐像素目标注意机制的目标跟踪方法，其步骤如下：

步骤一、根据初始帧图像中目标的位置信息，在初始帧图像中截取包含背景的图像，并将含背景的图像分为目标图像和背景图像；

步骤二、分别将目标图像和背景图像转化至HSV颜色空间，利用标准Epanechnikov核函数提取目标图像的颜色直方图H_O，利用标准方法提取背景图像的颜色直方图H_B；

步骤三、提取目标图像的特征图，并对特征图进行求解获得记忆器；

步骤四、获取下一帧图像作为当前处理图像，根据上一帧图像的目标位置信息截取当前处理图像的搜索区域图像；

步骤五、利用目标图像的颜色直方图H_O、背景图像的颜色直方图H_B和贝叶斯法则对搜索区域图像进行计算得到逐像素目标概率图；

步骤六、根据帧间运动信息，利用余弦分布作为时间结构化约束生成的结构化目标概率图，并将逐像素目标概率图和结构化目标概率图进行线性组合获得结构化逐像素目标概率图；

步骤七、将搜索区域图像输入VGG-16网络，分别输出VGG-16的conv4-3和conv4-1层的搜索区域特征，并将搜索区域特征和特征图输入相似性比较网络，通过相似性计算获得搜索区域的得分图；

步骤八、将搜索区域的得分图与结构化逐像素目标概率图相加得到当前处理图像的最终响应图，将最终响应图中响应值的最大值处为当前处理图像的目标位置；

步骤九、截取当前处理图像的目标区域图像作为跟踪结果，并将跟踪结果输入记忆器得到跟踪结果的置信度，判断置信度是否大于稳定阈值，若是，执行步骤十，否则，返回步骤四，直至视频结束；

步骤十、根据跟踪结果截取目标图像及目标周围的背景图像，分别提取目标图像和背景图像的颜色直方图，更新目标图像的颜色直方图H_O与背景图像的颜色直方图H_B，同时更新记忆器，返回步骤四，直至视频结束。

所述提取目标图像的特征图，并对特征图进行求解获得记忆器的方法为：

S31、将目标图像输入VGG-16网络，分别输出VGG-16网络中的conv4-3层的第一特征图和conv4-1层的第二特征图，然后利用梯度，从特征图中保留固定数量的滤波器得到目标图像的特征图；

S32、提取目标图像的标准HOG特征和Colornames特征；

S33、根据标准HOG特征和Colornames特征构建记忆器模型对应的目标函数，通过求解目标函数的最优解得到目标图像对应的记忆器。

所述记忆器模型对应的目标函数为：

其中，f_d是具有d个通道的特征图，

是具有N_d个通道的特征图，h_d是与特征图相对应的记忆器，

是与特征图相对应的记忆器，g是期望输出，λ是正则化参数。

所述利用目标图像的颜色直方图H_O、背景图像的颜色直方图H_B和贝叶斯法则对搜索区域图像进行计算得到逐像素目标概率图的方法为：

计算空间逐像素目标概率图m，其中，每个元素m∈{0,1}表示每个像素的目标概率；通过贝叶斯法则计算在在外观条件y下位置l处目标概率为：

其中，p(m∈O|y,l)表示每个像素属于目标的概率，p(y|m∈O)表示目标图像的似然矩阵，p(y|m∈S)表示背景图像的似然矩阵；

p(m∈O)＝k(l；σ)，

其中，k(l；σ)为修正的Epanechnikov核，k(r；σ)＝1-(r/σ)²，σ为卷积核的尺寸参数，r表示位置l处像素与中心像素的距离。

所述结构化逐像素目标概率图为：

其中，m_c表示结构化逐像素目标概率图，m_s表示利用结构化信息生成的结构化目标概率图，T_m表示逐像素目标概率的最大值，T_c表示给定阈值，α表示加权系数。

所述最终响应图为：

其中，z为搜索区域图像，x目标图像，f(x,z)为最终响应图，

表示提取输入图像特征操作，corr(·)表示互相关操作。

所述跟踪结果的置信度的获得方法为：

其中，T_P表示跟踪结果的置信度，p(f'_d*h_d)是目标区域图像与记忆器中的目标图像的相关性的值，p(f'_d)由跟踪结果计算出的信道可靠性的先验概率。

所述目标图像的颜色直方图H_O与背景图像的颜色直方图H_B更新方法为：

记忆器的更新方法为：

其中，t为当前帧数，η_f记忆器的更新速率，η_c为颜色直方图的更新速率，

表示累积目标颜色直方图，

表示t-1帧的历史目标颜色直方图，H_O,t表示当前帧目标的颜色直方图，

表示累积背景颜色直方图，

表示t-1帧的历史背景颜色直方图，H_B,t表示当前帧跟踪目标周围背景的颜色直方图。

本技术方案能产生的有益效果：

(1)本发明采用逐像素的目标判别以识别目标边界，同时结合结构性信息解决像素级的干扰，有效的识别目标边界以突出目标区域，调整最终相应以提高其置信度。

(2)本发明利用记忆模型判别跟踪结果的置信度，选择性的更新颜色直方图，保证在目标外观变化下注意力模型的外观表达能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程图。

图2为结构化约束概率图与结构化逐像素目标概率图比较示意图；其中，(a)搜索窗口，(b)为结构化约束概率图，(c)为结构化逐像素目标概率。

图3为本发明与其他算法在背景杂乱属性下的比较图。

图4为本发明与其他算法在OTB-50、OTB-100视频库中比较图。

图5为本发明与其他算法的跟踪效果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于结构化逐像素目标注意机制的目标跟踪方法，其步骤如下：

步骤一、根据初始帧图像中目标的位置信息，在初始帧图像中截取包含背景的图像，并根据给定的目标位置将含背景的图像分为目标图像和背景图像；

步骤二、分别将目标图像和背景图像转化至HSV颜色空间，HSV颜色空间将颜色空间划分为16个颜色区间，利用标准Epanechnikov核函数提取目标图像的颜色直方图H_O，利用标准方法提取背景图像的颜色直方图H_B；目标图像是利用标准Epanechnikov核函数给定每个像素一个权重，在统计直方图时，当像素值落在某个颜色区间内时，统计时则是加像素的权重。利用标准方法提取背景图像的颜色直方图H_B；

步骤三、提取目标图像的特征图，并对特征图进行求解获得记忆器；具体方法为：

S31、将目标图像输入VGG-16网络，分别输出VGG-16网络中的conv4-3层的第一特征图和conv4-1层的第二特征图，然后利用梯度，从特征图中保留固定数量的滤波器得到目标图像的特征图；

S32、通过计算和统计图像局部区域的梯度方向直方图来提取特征图的标准HOG特征和利用标准方法提取Colornames特征；

S33、根据标准HOG特征和Colornames特征构建记忆器模型对应的目标函数，通过求解目标函数的最优解得到目标图像对应的记忆器。

所述记忆器模型对应的目标函数为：

其中，

是具有N_d个通道的特征图，

是与特征图相对应的记忆器，g是期望输出，λ是正则化参数。通过求解目标函数得到一个多通道的记忆器

步骤四、获取下一帧图像作为当前处理图像，根据上一帧图像的目标位置信息截取当前处理图像的搜索区域图像；

步骤五、利用目标图像的颜色直方图H_O、背景图像的颜色直方图H_B和贝叶斯法则对搜索区域图像进行计算得到逐像素目标概率图；

计算空间逐像素目标概率图m，其中，每个元素m∈{0,1}表示每个像素的目标概率；根据目标图像的颜色直方图H_O和背景图像的颜色直方图H_B，利用反向投影的方法分别获得目标图像的似然矩阵p(y|m∈O)和背景图像的似然矩阵p(y|m∈S)。同时定义一个空间先验p(m∈O)＝k(l；σ)，其中k(l；σ)为修正的Epanechnikov核，它等于小边界框的轴长裁剪为区间[0.5,0.9]使得目标在中心的先验概率是0.9，远离中心时成为一个均匀的先验。之后通过贝叶斯法则计算在外观条件y下位置l处目标概率为：

其中，p(m∈O|y,l)表示每个像素属于目标的概率，p(y|m∈O)表示目标图像的似然矩阵，p(y|m∈S)表示背景图像的似然矩阵，p(m∈A)表示像素属于A的先验概率，A＝{O,S}；

p(m∈O)＝k(l；σ)，

其中，k(l；σ)为修正的Epanechnikov核，k(r；σ)＝1-(r/σ)²，σ为大小参数，r表示位置l处像素与中心像素的距离。

步骤六、根据帧间运动信息，利用余弦分布作为时间结构化约束生成的结构化目标概率图，并将逐像素目标概率图和结构化目标概率图进行线性组合获得结构化逐像素目标概率图；

由于颜色直方图易受光照变化的影响，因此设定一个阈值T_c，在空间逐像素目标概率的最大值T_m小于给定阈值T_c时，仅使用结构化目标概率作为位置约束。所述结构化逐像素目标概率图为：

其中，m_c表示结构化逐像素目标概率图，m_s表示利用结构化信息生成的结构化目标概率图，T_m表示逐像素目标概率的最大值，T_c表示给定阈值，α表示加权系数。

步骤七、将搜索区域图像输入VGG-16网络，分别输出VGG-16的conv4-3和conv4-1层的搜索区域特征，并将搜索区域特征和特征图输入相似性比较网络，通过相似性计算获得搜索区域的得分图；然后，采用双三次插值对的得分图进行上采样，获得更加精确的目标位置。

步骤八、将搜索区域的得分图与结构化逐像素目标概率图相加得到当前处理图像的最终响应图，将最终响应图中响应值的最大值处为当前处理图像的目标位置；

所述最终响应图为：

其中，z为搜索区域图像，x目标图像，f(x,z)为最终响应图，

表示提取输入图像特征操作，corr(·)表示互相关操作。

步骤九、截取当前处理图像的目标区域图像作为跟踪结果，并将跟踪结果输入记忆器得到跟踪结果的置信度，判断置信度是否大于稳定阈值，若是，执行步骤十，否则，返回步骤四，直至视频结束；

利用记忆器计算跟踪结果的置信度，因为记忆器输出响应是二维的，因此以记忆器输出响应的最大值作为跟踪结果的置信度：

其中，T_P表示跟踪结果的置信度，p(f'_d*h_d)是目标区域图像与记忆器中的目标图像的相关性的值，p(f'_d)由跟踪结果计算出的信道可靠性的先验概率。

通过每个通道记忆模型的最大响应来衡量信道的可靠性：

w_d＝ζmax(f'_d*h_d)，

其中，ζ表示归一化标量，用来确保∑_dw_d＝1。

步骤十、根据跟踪结果截取目标图像及目标周围的背景图像，分别提取目标图像和背景图像的颜色直方图，更新目标图像的颜色直方图H_O与背景图像的颜色直方图H_B，同时更新记忆器，返回步骤四，直至视频结束。

所述目标图像的颜色直方图H_O与背景图像的颜色直方图H_B更新方法为：

记忆器的更新方法为：

其中，t为当前帧数，η_f记忆器的更新速率，η_c为颜色直方图的更新速率，

表示累积目标颜色直方图，

表示t-1帧的历史目标颜色直方图，H_O,t表示当前帧跟踪结果的颜色直方图，

表示累积背景颜色直方图，

表示t-1帧的历史背景颜色直方图，H_B,t表示当前帧跟踪结果周围背景的颜色直方图。

本发明的实验是在Intel i7-9700CPU(3.00GHZ)，16GB RAM和NVDIA GeForce RTX2060的计算机上使用MATLAB R2019a实现的。

如图2所示，本发明通过逐像素的目标判别可以更精确的获得目标边界，突出目标区域，更有效的抑制了背景干扰。如图3所示，在OTB-50与OTB-100数据集上背景干扰属性下不同算法的对比，本发明所提供的基于结构化逐像素目标注意机制的目标跟踪方法在两个属性下的表现优于现有跟踪方法，表明，本发明的注意力机制可以有效抑制背景干扰，提高跟踪的鲁棒性。如图4所示，本发明实例所提供的基于结构化逐像素目标注意机制的目标跟踪方法(ours)与其他先进的目标跟踪算法(CREST、SRDCF、Staple、SiamFC、CSR-DCF、DSST、KCF、)在OTB-50与OTB-50数据集上的比较，在成功率和精度上都优于这些的目标跟踪方法。

如图5所示，本发明实例所提供的基于结构化逐像素目标注意机制的目标跟踪方法和各种代表性方法在部分帧内的跟踪效果图，分别是Bolt2、matrix、MotorRolling、Soccer四个视频。在Bolt2中，干扰外观表现出与目标极高的相似性，在matrix、MotorRolling、Soccer中，背景杂乱，这使得其他算法很难适应这种复杂场景，甚至跟踪失败，而本发明提出的方法获得了好的跟踪效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于结构化逐像素目标注意机制的目标跟踪方法，其特征在于，其步骤如下：

步骤一、根据初始帧图像中目标的位置信息，在初始帧图像中截取包含背景的图像，并将含背景的图像分为目标图像和背景图像；

步骤二、分别将目标图像和背景图像转化至HSV颜色空间，利用标准Epanechnikov核函数提取目标图像的颜色直方图H_O，利用标准方法提取背景图像的颜色直方图H_B；

步骤三、提取目标图像的特征图，并对特征图进行求解获得记忆器；

S31、将目标图像输入VGG-16网络，分别输出VGG-16网络中的conv4-3层的第一特征图和conv4-1层的第二特征图，然后利用梯度，从特征图中保留固定数量的滤波器得到目标图像的特征图；

S32、提取目标图像的标准HOG特征和Colornames特征；

S33、根据标准HOG特征和Colornames特征构建记忆器模型对应的目标函数，通过求解目标函数的最优解得到目标图像对应的记忆器；

步骤四、获取下一帧图像作为当前处理图像，根据上一帧图像的目标位置信息截取当前处理图像的搜索区域图像；

步骤五、利用目标图像的颜色直方图H_O、背景图像的颜色直方图H_B和贝叶斯法则对搜索区域图像进行计算得到逐像素目标概率图；

计算空间逐像素目标概率图m，其中，每个元素m∈{0,1}表示每个像素的目标概率；通过贝叶斯法则计算在在外观条件y下位置l处目标概率为：

其中，p(m∈O|y,l)表示每个像素属于目标的概率，p(y|m∈O)表示目标图像的似然矩阵，p(y|m∈S)表示背景图像的似然矩阵；

p(m∈O)＝k(l；σ)，

其中，k(l；σ)为修正的Epanechnikov核，k(r；σ)＝1-(r/σ)²，σ为卷积核的尺寸参数，r表示位置l处像素与中心像素的距离；

步骤六、根据帧间运动信息，利用余弦分布作为时间结构化约束生成的结构化目标概率图，并将逐像素目标概率图和结构化目标概率图进行线性组合获得结构化逐像素目标概率图；

步骤七、将搜索区域图像输入VGG-16网络，分别输出VGG-16的conv4-3和conv4-1层的搜索区域特征，并将搜索区域特征和特征图输入相似性比较网络，通过相似性计算获得搜索区域的得分图；

步骤八、将搜索区域的得分图与结构化逐像素目标概率图相加得到当前处理图像的最终响应图，将最终响应图中响应值的最大值处为当前处理图像的目标位置；

步骤九、截取当前处理图像的目标区域图像作为跟踪结果，并将跟踪结果输入记忆器得到跟踪结果的置信度，判断置信度是否大于稳定阈值，若是，执行步骤十，否则，返回步骤四，直至视频结束；

步骤十、根据跟踪结果截取目标图像及目标周围的背景图像，分别提取目标图像和背景图像的颜色直方图，更新目标图像的颜色直方图H_O与背景图像的颜色直方图H_B，同时更新记忆器，返回步骤四，直至视频结束。

2.根据权利要求1所述的基于结构化逐像素目标注意机制的目标跟踪方法，其特征在于，所述记忆器模型对应的目标函数为：

其中，f_d是具有d个通道的特征图，

是具有N_d个通道的特征图，h_d是与特征图相对应的记忆器，

是与特征图相对应的记忆器，g是期望输出，λ是正则化参数。

3.根据权利要求1所述的基于结构化逐像素目标注意机制的目标跟踪方法，其特征在于，所述结构化逐像素目标概率图为：

其中，m_c表示结构化逐像素目标概率图，m_s表示利用结构化信息生成的结构化目标概率图，T_m表示逐像素目标概率的最大值，T_c表示给定阈值，α表示加权系数。

4.根据权利要求3所述的基于结构化逐像素目标注意机制的目标跟踪方法，其特征在于，所述最终响应图为：

其中，z为搜索区域图像，x目标图像，f(x,z)为最终响应图，

表示提取输入图像特征操作，corr(·)表示互相关操作。

5.根据权利要求2所述的基于结构化逐像素目标注意机制的目标跟踪方法，其特征在于，所述跟踪结果的置信度的获得方法为：

其中，T_P表示跟踪结果的置信度，p(f'_d*h_d)是目标区域图像与记忆器中的目标图像的相关性的值，p(f'_d)由跟踪结果计算出的信道可靠性的先验概率。

6.根据权利要求1所述的基于结构化逐像素目标注意机制的目标跟踪方法，其特征在于，所述目标图像的颜色直方图H_O与背景图像的颜色直方图H_B更新方法为：

记忆器的更新方法为：

其中，t为当前帧数，η_f记忆器的更新速率，η_c为颜色直方图的更新速率，

表示累积目标颜色直方图，

表示t-1帧的历史目标颜色直方图，H_O,t表示当前帧目标的颜色直方图，

表示累积背景颜色直方图，

表示t-1帧的历史背景颜色直方图，H_B,t表示当前帧跟踪目标周围背景的颜色直方图。

Images