CN110335290A - 基于注意力机制的孪生候选区域生成网络目标跟踪方法 - Google Patents

Abstract

本发明涉及基于注意力机制的孪生候选区域生成网络目标跟踪方法，属于图像处理技术领域。具体步骤如下：第一步利用孪生网络提取初始目标模板特征和目标搜索区域特征；第二步构建空间注意力网络增强目标模板前景以及抑制语义背景；第三步构建通道注意力网络激活目标模板强相关性特征，剔除冗余；第四步构建候选区域生成网络实现多尺度目标跟踪。本发明的效果和益处是利用注意力机制构建适应性目标外观特征模型，旨在增强目标前景和抑制语义背景，突出目标前景与干扰背景的差异特征，剔除冗余信息，从而获取高效外观特征表达能力，有效缓解目标漂移问题。

Description

基于注意力机制的孪生候选区域生成网络目标跟踪方法

技术领域

本发明涉及基于注意力机制的孪生候选区域生成网络目标跟踪方法，属于图像处理技术领域。

背景技术

随着计算机硬件能力的提高以及人工智能时代的到来，深度神经网络由于其高效的数据计算能力和特征提取能力被广泛应用在目标跟踪领域。基于卷积神经网络的跟踪方法能够显著提高跟踪结果的精确率和成功率，展现了目标跟踪方法的良好性能。然而，卷积神经网络的在线更新过程以及候选样本生成过程耗费大量时间，极大地限制跟踪方法运行速度。为使跟踪速度能够达到实时，孪生网络摒弃在线更新过程，利用大量图像数据预训练网络模型获得显著特征表达能力，避免在线跟踪过程的时耗问题。但孪生网络跟踪方法具有只能预测目标位置，却无法获取尺度信息的固有缺陷。对此，孪生候选区域生成网络将区域建议网络与孪生网络相结合，利用锚点结构生成多尺度候选样本边界框，有效解决目标多尺度表达问题。然而，基于孪生候选区域生成网络的跟踪方法对目标前景和语义干扰背景的判别能力较弱，易导致跟踪结果迅速偏离真实目标，从而造成目标漂移问题。

发明内容

本发明旨在克服现有技术存在的不足，针对孪生候选区域生成网络的目标前景与语义干扰背景间判别能力较弱的问题，提出了一种基于注意力机制的孪生候选区域生成网络目标跟踪方法。

本发明所采用的技术方案是：

在孪生候选区域生成网络的基础上引入软注意力机制来构建适应性外观特征模型。一方面，构建沙漏型残差网络关注卷积特征图的空间特征，即学习平面特征权值。空间注意力网络的主要思想是增强目标前景和抑制语义背景，分配目标前景和背景图像内容不同的重要性权值。另一方面，构建通道注意力网络优化维度特征，关注不同卷积核对应的特征类型，学习通道特征权值。通道注意力网络的主要思想是利用多种卷积核提取的外观特征存在冗余，采用通道特征选择策略剔除冗余来精简特征表达，同时激活与目标相关性高的通道特征来构建显著外观特征模型。此外，根据空间注意力网络和通道注意力网络的结构差异，分别对不同网络层次特征进行注意力选择，即针对低层特征进行空间注意力选择，关注目标外观相似性结构特征；针对高层特征进行通道注意力选择，重点关注有助于分类任务的目标语义特征。

基于注意力机制的孪生候选区域生成网络目标跟踪方法，包括以下步骤：

第一步，利用孪生网络提取初始目标模板特征和目标搜索区域特征；

第二步，构建空间注意力网络增强目标模板前景以及抑制语义背景；

第三步，构建通道注意力网络激活目标模板强相关性特征，剔除冗余；

第四步，构建候选区域生成网络实现多尺度目标跟踪。

本发明的效果和益处：为解决孪生候选区域生成网络对目标前景和语义背景判别能力较弱的问题，本发明提出了基于注意力机制的孪生候选区域生成网络目标跟踪方法。该方法利用空间注意力机制和通道注意力机制相结合的方式对目标外观特征进行视觉注意力选择，旨在增强目标前景和抑制语义背景，突出目标前景与干扰背景的差异特征，剔除冗余信息，从而获取高效外观特征表达能力。与现有的目标跟踪方法和孪生候选区域生成网络基准方法相比，该方法具有较高的准确性和鲁棒性，能够显著提高目标前景与语义背景间的判别能力，从而有效缓解目标漂移问题。

附图说明

图1是基于注意力机制的孪生候选区域生成网络结构示意图；

图2是描述中心位置误差的精确率曲线对比图。

图3是描述边界框重叠率的成功率曲线对比图。

具体实施方式

以下结合技术方案和附图，进一步说明本发明的具体实施方式。

基于注意力机制的孪生候选区域生成网络目标跟踪方法，包括以下步骤：

第一步，利用孪生网络提取初始目标模板特征和目标搜索区域特征。

采用孪生神经网络(孪生网络)提取初始目标模板卷积特征和目标搜索区域卷积特征。孪生网络主要包含两个结构相同的分支，即两个分支是相同的卷积神经网络模型，具有权值共享的特性。将初始目标模板和目标搜索区域同时送入孪生网络可获取对应卷积特征表达。

第二步，构建空间注意力网络增强目标模板前景以及抑制语义背景。

采用类残差网络结构中的空间注意力网络，突出目标模板前景以及抑制语义背景；空间注意力网络采用沙漏型网络结构，通过卷积和下采样等操作缩小特征图尺寸，凸显全局感受野对应的高层目标语义特征；然后通过去卷积和上采样等操作扩大特征图尺寸，放大高层特征中激活的前景显著区域，从而突出目标模板前景与语义背景的差异性特征，得到空间注意力特征图，具体过程如下：

输入的目标模板特征图经过空间注意力网络获得权值图，权值图上的像素值代表初始目标模板特征图相应权值；利用Sigmoid激活函数将权值图元素限制在0至1之间，使加权处理后得到的目标模板特征图不发生显著变化，而且能够在一定程度上抑制背景信息。为避免多次加权处理破坏训练网络的数据特性，将加权处理后的目标模板特征图与初始目标模板特征图进行叠加获得最终的空间注意力特征图，处理过程表示为：

F_s(x)＝F_o(x)+F_o(x)*F_w(x) (1)

其中，F_o(x)表示原始特征图，F_w(x)表示权值图，F_s(x)表示最终空间注意力特征图，符号*代表元素级乘法，符号+代表元素级加法。当极端情况F_w(x)＝0时，空间注意力特征图即为初始目标模板特征图，体现了残差网络的恒等映射思想。采用空间注意力机制能够增强目标前景特征，抑制嘈杂语义背景，从而有效提高对目标前景和语义背景的判别能力。

第三步，构建通道注意力网络激活目标模板强相关性特征，剔除冗余。

通过构建通道注意力网络学习特征通道权值，激活与目标模板外观表达相关性高的特征类型，抑制并剔除冗余特征信息。通道注意力网络对输入的空间注意力特征图进行池化和全连接等操作获得通道权值，利用Sigmoid函数将学习得到的特征通道权值限制在0至1之间，然后对输入的空间注意力特征图进行加权处理实现通道特征选择，即将各个特征通道的元素值与对应权值进行元素级乘法，赋予各特征类型不同权值来实现通道特征选择。

通道注意力网络的设计原理在于利用深度网络获取的特征图各通道对目标特征表达的贡献程度存在差异，不同目标激活不同特征通道。通道注意力网络的作用是提高目标相关程度高的通道权值，抑制相关程度低或者冗余的通道权值。本发明中依据目标初始状态得到的通道权值在跟踪过程中保持不变，从而降低计算量，减少时耗。

第四步，构建候选区域生成网络实现多尺度目标跟踪。

构建由分类模块和回归模块组成的候选区域生成网络，将经过空间注意力网络和通道注意力网络优化后的目标模板特征和目标搜索区域特征进行互相关卷积计算，分别获得前/背景分类概率估计和边界框位置回归估计；

候选区域生成网络预设尺度生成的锚点边界框C_anc表示为：

其中，I、J和P是相应索引集合，i、j和p代表各个索引值，分别代表各锚点边界框的中心坐标和宽高尺度，表示边界框的宽，表示边界框的高。

回归模块计算得到的边界框位置回归值C_reg表示为：

其中，分别代表各边界框中心坐标和宽高尺度的变化量。

利用锚点边界框C_anc和回归模块的边界框位置回归值C_reg计算得到候选边界框，计算过程表示为：

其中，分别代表候选边界框的中心坐标和宽高尺度，e是自然对数的底数。

为进一步提高边界框预测的准确性，采用边界框回归策略调整候选边界框得到最终跟踪结果。边界框回归策略的目的是学习得到候选边界框与真实边界框的映射关系，对候选边界框进行参数变换以此减小预测误差。边界框回归策略的数学模型L_bb表示为：

其中，w_*代表模型参数，代表模型参数转置，代表第i个候选边界框参数，代表第i个真实边界框参数，*代表位置坐标和尺度信息(x,y,w,h)，N代表边界框样本数目，i代表样本索引，μ代表超参数。由公式(8)定义的正则化目标损失函数可知，边界框回归模型经过多次迭代训练能够逐渐最小化目标损失函数，最终获得最优损失函数对应的模型参数

边界框回归模型得到的参数实质是边界框映射关系，即则边界框回归模型调整选边界框得到最终跟踪结果的过程表示为：

其中，e是自然对数的底数，分别代表候选边界框的中心坐标和宽高尺度，[x,y,w,h]代表最终跟踪边界框的中心坐标和宽高尺度参数。

根据当前跟踪结果的边界框信息重新确定目标搜索区域，目标模板特征图保持不变，重复第一步～第四步的过程直到测试视频序列结束，实现连续多尺度目标跟踪。

基于注意力机制的孪生候选区域生成网络结构如图1所示。

本发明利用目标跟踪标准数据集OTB的部分测试序列，将基于注意力机制的孪生候选区域生成网络目标跟踪方法与经典跟踪方法以及孪生候选区域生成网络基准方法进行实验对比，通过绘制精确率和成功率对比曲线验证其准确性和鲁棒性。

精确率本质描述的是中心位置误差低于预设阈值时的帧数占总帧数的百分比，中心位置误差具体是指预测目标中心位置与人工标注目标中心位置之间的欧式距离，可表示为：

||E_p-E_g||_e≤T_p (13)

其中，E_p代表预测目标中心位置，E_g代表人工标注目标中心位置，T_p代表预设阈值，||·||_e代表计算欧式距离。通常情况下，设定阈值为20时的帧数百分比作为最终精确率。两种跟踪方法的精确率对比曲线如图2所示。由图可知，基于注意力机制的孪生候选区域生成网络目标跟踪方法相较其他经典跟踪方法和孪生候选区域生成网络基准方法有着更高的精确率，展现本发明方法的准确性。

成功率本质描述的是预测目标边界框与人工标注目标边界框的重叠率超过预设阈值时的帧数占总帧数的百分比，重叠率具体是指预测目标边界框和人工标注目标边界框的交集面积与并集面积的比率，可表示为：

其中，S_p代表预测目标边界框，S_g代表人工标注目标边界框，T_s代表预设阈值，符号∩代表交集，符号∪代表并集。通常情况下，会选择成功率曲线图AUC(Area Under Curve)面积作为最终成功率。两种跟踪方法的成功率对比曲线如图3所示。由图可知，基于注意力机制的孪生候选区域生成网络目标跟踪方法较其他经典跟踪方法和孪生候选区域生成网络基准方法有着更高的成功率，展现本发明方法的鲁棒性。

Claims (1)

1.基于注意力机制的孪生候选区域生成网络目标跟踪方法，其特征在于，步骤如下：

第一步，利用孪生网络提取初始目标模板特征和目标搜索区域特征

采用孪生神经网络提取初始目标模板卷积特征和目标搜索区域卷积特征；孪生网络包含两个结构相同的分支，即两个分支是相同的卷积神经网络模型，具有权值共享的特性；将初始目标模板和目标搜索区域同时送入孪生网络获取对应卷积特征表达；

第二步，构建空间注意力网络增强目标模板前景以及抑制语义背景

空间注意力网络采用沙漏型网络结构，通过卷积和下采样操作缩小特征图尺寸，凸显全局感受野对应的高层目标语义特征；然后通过去卷积和上采样操作扩大特征图尺寸，放大高层特征中激活的前景显著区域，从而突出目标模板前景与语义背景的差异性特征，得到空间注意力特征图，具体过程如下：

输入的目标模板特征图经过空间注意力网络获得权值图，权值图上的像素值代表初始目标模板特征图相应权值；利用Sigmoid激活函数将权值图元素限制在0至1之间；将加权处理后的目标模板特征图与初始目标模板特征图进行叠加获得最终的空间注意力特征图，处理过程表示为：

F_s(x)＝F_o(x)+F_o(x)*F_w(x) (1)

其中，F_o(x)表示原始特征图，F_w(x)表示权值图，F_s(x)表示最终空间注意力特征图，符号*代表元素级乘法，符号+代表元素级加法；当极端情况F_w(x)＝0时，空间注意力特征图即为初始目标模板特征图；

第三步，构建通道注意力网络激活目标模板强相关性特征，剔除冗余

通过构建通道注意力网络学习特征通道权值，激活与目标模板外观表达相关性高的特征类型，抑制并剔除冗余特征信息；通道注意力网络对输入的空间注意力特征图进行池化和全连接操作获得通道权值，利用Sigmoid函数将学习得到的特征通道权值限制在0至1之间，然后对输入的空间注意力特征图进行加权处理实现通道特征选择，即将各个特征通道的元素值与对应权值进行元素级乘法，赋予各特征类型不同权值来实现通道特征选择；

第四步，构建候选区域生成网络实现多尺度目标跟踪

构建由分类模块和回归模块组成的候选区域生成网络，将经过空间注意力网络和通道注意力网络优化后的目标模板特征和目标搜索区域特征进行互相关卷积计算，分别获得前/背景分类概率估计和边界框位置回归估计；

候选区域生成网络预设尺度生成的锚点边界框C_anc表示为：

其中，I、J和P是相应索引集合，i、j和p代表各个索引值，分别代表各锚点边界框的中心坐标和宽高尺度，表示边界框的宽，表示边界框的高；

回归模块计算得到的边界框位置回归值C_reg表示为：

其中，分别代表各边界框中心坐标和宽高尺度的变化量；

利用锚点边界框C_anc和回归模块的边界框位置回归值C_reg计算得到候选边界框，计算过程表示为：

其中，分别代表候选边界框的中心坐标和宽高尺度，e是自然对数的底数；

为提高边界框预测的准确性，采用边界框回归策略调整候选边界框得到最终跟踪结果；边界框回归策略的数学模型L_bb表示为：

其中，w_*代表模型参数，代表模型参数转置，代表第i个候选边界框参数，代表第i个真实边界框参数，*代表位置坐标和尺度信息(x,y,w,h)，N代表边界框样本数目，i代表样本索引，μ代表超参数；

边界框回归模型得到的参数是边界框映射关系，即则边界框回归模型调整选边界框得到最终跟踪结果的过程表示为：

其中，e是自然对数的底数，分别代表候选边界框的中心坐标和宽高尺度，[x,y,w,h]代表最终跟踪边界框的中心坐标和宽高尺度参数；

根据当前跟踪结果的边界框信息重新确定目标搜索区域，目标模板特征图保持不变，重复第一步～第四步的过程直到测试视频序列结束，实现连续多尺度目标跟踪。