CN113297959B - 一种基于角点注意力孪生网络的目标跟踪方法及系统 - Google Patents

Abstract

本发明公开了一种基于角点注意力孪生网络的目标跟踪方法及系统，所述方法包括：获取孪生网络上下支路输入的待跟踪目标视频帧图像；提取待跟踪目标视频帧图像中三层图像信息特征，生成密集的特征图；对特征图进行分类，回归以及中心点预测处理，生成预测单个跟踪候选区域；基于角点注意力并行通道注意力机制对生成的跟踪候选区域验证定位目标，输出准确的目标跟踪位置。本发明克服现有技术中的目标跟踪对产生形变、遮挡以及小目标的跟丢、跟错的问题，通过多阶段的细化，提升了目标跟踪的实时性和鲁棒性。

Description

一种基于角点注意力孪生网络的目标跟踪方法及系统

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于角点注意力孪生网络的目标跟踪方法及系统。

背景技术

目标跟踪是计算机视觉领域的重点和难点课题，一直以来都受到广泛关注。目标跟踪的应用和发展具有十分重要的意义，例如在无人机、智能交通、精确制导、机器人、人机交互等军用和民用领域都有着重要作用。目标跟踪的研究已有几十年的时间，目前也取得了不少成果。然而，尽管很多跟踪方法已经被提出，但是由于跟踪过程的复杂多变，实现跟踪鲁棒性和辨别能力仍然是一个巨大挑战。

当前的目标跟踪一般分为相关滤波法和深度学习法两大方向，相关滤波法速度快而准确度不高，单纯深度学习法准确度高但速度慢，但近年来深度学习中Siamese Tracker因同时实现了高精度及高速率而广受关注。视觉跟踪领域主流的实时跟踪方法是以SiamFC为代表的孪生网络结构，通过相同的网络提取出图像的特征，通过类似卷积的相关操作方法，可以快速的实现模板与搜索区域中图像进行比对，输出响应图，计算每个位置和模板帧的相似度。后续SiamRPN、SiamFC++、SiamRPN++、等网络的提出使得速度精度方面越来越完善，孪生网络在目标跟踪领域的大范围使用则解决了单纯深度学习带来的问题，孪生网络既可以利用卷积得到特征，也避免了大量的计算，可以达到实时的要求。现阶段，目标检测网络的思路与跟踪网络广泛结合，使得其跟踪领域的表现更为精彩，给识别目标的形变，遮挡等困难方面提出了新的思路和方法。

发明内容

本发明的目的是提供一种基于角点注意力孪生网络的目标跟踪方法及系统，克服现有技术中的目标跟踪对产生形变、遮挡以及小目标的跟丢、跟错的问题，提升了目标跟踪的实时性和鲁棒性。

本发明为实现上述发明目的采用如下技术方案：

本发明提供了一种基于角点注意力孪生网络的目标跟踪方法，包括：

获取孪生网络上下支路输入的待跟踪目标视频帧图像；

提取待跟踪目标视频帧图像中三层图像信息特征，生成密集的特征图；

对特征图进行分类，回归以及中心点预测处理，生成预测单个跟踪候选区域；

对生成的跟踪候选区域验证定位目标，输出准确的目标跟踪位置。

进一步地，提取待跟踪目标视频图像中三层图像信息特征，生成密集的特征图，包括：

上支路使用卷积神经网络提取目标区域图像的特征，并采用多尺度特征融合机制，得到最终目标区域特征图；

下支路使用卷积神经网络提取搜索区域图像的特征，并采用多尺度特征融合机制，得到最终搜索区域特征图。

进一步地，所述多尺度特征融合机制用于从卷积神经网络中res3层、res4层、res5层提取特征进行融合：

由res3、res4和Res5经过卷积操作、元素求和操作和Relu操作得到融合后的特征图res5_1、res4_1和res3_1。

进一步地，对特征图进行分类，回归以及中心点预测处理，生成预测单个跟踪候选区域，包括：

将融合后的特征图res5_1、res4_1和res3_1输入Anchor-free网络，基于anchor-free策略对特征图进行分类，回归以及中心点预测处理，来生成预测单个跟踪区域。

进一步地，所述anchor-free策略包括相关运算和监督部分；

所述相关运算用于生成最终目标区域特征图与最终搜索区域特征图的响应特征图。

所述监督部分用于对响应特征图进行分类、回归以及中心点预测，以生成跟踪候选区域。

进一步地，所述相关运算的公式如下：

F_W×H×C(m)＝Φ_m(z)*Φ_m(x)

其中m表示res层数，此处m＝1，2，3，Φ_m(z)表示m层模板特征，Φ_m(x)表示m层搜索区域特征。

进一步地，所述监督部分包括分类分支和回归分支，所述分类分支和回归分支均包括4个3×3卷积层和2个1×1卷积层。

进一步地，所述角点注意力包括hourglass结构层和sigmoid结构层；

所述hourglass结构层对跟踪候选区域特征图进行bottom-up处理，将图片从高分辨率降到低分辨率；

将低分辨率图经过top-down过程升至高分辨率；

将低分辨率图与高分辨率图按元素位置进行相加，当到达输出分辨率的时候，通过两个卷积层来进行预测，输出一组heatmap，对于给定的heatmap，网络预测在每个像素处存在目标的概率。

进一步地，所述通道注意力用于对跟踪候选区域进行压缩和激发，包括：

在跟踪候选区域特征图上执行Global Average Pooling，得到当前Feature Map的全局压缩特征量；

将全局压缩特征量通过两层全连接的bottleneck结构，运算得到Feature Map中每个通道的权值，并得到加权后的Feature Map，网络预测在每个通道处存在目标的概率，获得最终准确的目标跟踪位置。

本发明还提供一种基于角点注意力孪生网络的目标跟踪系统，包括：

获取模块，用于获取孪生网络上下支路输入的待跟踪目标视频帧图像：

特征提取模块，用于提取待跟踪目标视频帧图像中三层图像信息特征，生成密集的特征图；

候选区域提取模块，用于对特征图进行分类，回归以及中心点预测处理，生成预测单个跟踪候选区域；

区域细化模块，用于基于角点注意力并行通道注意力机制对生成的跟踪候选区域验证定位目标，输出准确的目标跟踪位置。

本发明的有益效果如下：

本发明通过对低层特征提取对于小目标检测更有效的边缘信息，对高层特征的提取更有效、有利于提取目标分类的语义信息，将特征信息与语义信息进行融合，生成密集的特征图；将特征图进行分类，回归及中心点预测处理，生成跟踪目标候选区域；再通过角点并行注意力机制强化对目标的精准定位，得到准确的目标跟踪位置。通过多阶段的细化，提升了目标跟踪的实时性和鲁棒性。

附图说明

图1为根据本发明实施例提供的一种基于角点注意力孪生网络的目标跟踪方法的流程框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，本发明提供一种基于角点注意力孪生网络的目标跟踪方法及系统，包括：

步骤1：获取孪生网络上下支路输入的待跟踪目标视频帧图像。

步骤2：对待跟踪目标视频第一帧图像构建目标区域，作为孪生结构的上支路的输入，待跟踪目标视频中的后续帧图像作为孪生结构的下支路的输入。

进一步地，所述基于孪生网络的目标跟踪模型分为三部分：特征提取模块，候选区域提取模块，区域细化模块。

步骤3：将获取的待跟踪目标视频输入预先训练好的目标跟踪模型。

步骤4：通过将卷积神经网络最后三层应用于特征提取，获取待跟踪目标视频图像中三层图像信息特征，生成密集的特征图。

步骤4-1：上支路使用卷积神经网络提取目标区域图像的特征，并采用多尺度特征融合机制，得到最终目标区域特征图；

步骤4-2：下支路使用卷积神经网络提取搜索区域图像的特征，并采用多尺度特征融合机制，得到最终搜索区域特征图；

进一步地，所述上支路、下支路的卷积神经网络是以ResNet为基础网络，采用改进的ResNet-50构建孪生网络。res4和res5块的步幅从16和32像素变为8像素，通过扩大的卷积增加感受野。采用了一种空间感知采样策略来训练模型，解决在深度网络中由于填充而破坏绝对平移不变性的问题。模板特征的空间大小为15×15，裁剪中心7×7区域为模板特征捕获整个目标区域。

步骤4-3：多尺度特征融合，从卷积神经网络最后三个残差块res3、res4、res5提取的特征进行融合，解决了只用最后一层高级语义特征，没有充分挖掘多级特征而存在的干扰引发性能退化问题。

卷积神经网络的最后一层包含的高度抽象的语义信息，这些信息虽然能够更精确的确定目标的具体位置，但是设计候选区域提取模块的作用是通过尽可能多的搜寻可能存在的相似目标去提高方法的鲁棒性。如果仅仅使用最后一层网络特征，当跟踪目标出现一些变化时，由于缺乏目标特征的细粒度信息，可能会出现候选区域提取模块的漏寻结果。

步骤4-3-1：res5_1由res5通过3×3卷积得到，保持空间分辨率不变，通道数变为256。res4和res5_1通道数相同，后接卷积操作，元素求和操作和Relu操作。其中“元素总和”操作是将两个要素图的相同位置的元素值相加，而不改变其尺寸。Res4_1是Res4和res5_1的融合结果，分辨率相同，但语义信息更丰富。因此res4_1中的分类和包围盒回归可以得到更好的结果。

步骤4-3-2：res4_1由步骤4-3-1得到，保持空间分辨率不变，通道数为256。Res3和res4_1通道数相同，后接卷积操作，元素求和操作和Relu操作。Res3_1是Res3和res4_1的融合结果，分辨率相同，但语义信息更丰富。

步骤4-3-3：Res5_1、res4_1和res3_1特征由res3、res4和Res5融合得到，它们将一起送入Anchor-free网络进行目标的分类和回归。

步骤5：候选区域提取，基于anchor-free策略对特征提取模块产生的特征图进一步处理，分为三个分支，分类，回归以及中心点预测，来生成预测单个跟踪区域；

步骤5-1：将步骤4得到上支路、下支路的Res5_1、res4_1和res3_1特征送入Anchor-free分支。

进一步地，所述Anchor-free候选区域提取策略由一对相关运算和监督部分组成。

步骤5-2：采用DW_C深度互相关，通过通道对输入模板、搜索区域特征图进行相关计算，获得的响应图保持通道数256不变。

F_W×H×C(m)＝Φ_m(z)*Φ_m(x) (1)

其中m表示res层数，此处m＝1,2,3，Φ_m(z)表示m层模板特征Φ_m(x)m层搜索区域特征。

进一步地，监督部分包括两个分支，一个用于前景分类，另一个用于提议回归。分类分支、回归分支由4个3×3卷积层和2个1×1卷积层组成。

步骤5-3：由步骤5-2得到的响应图，进行分类、回归，输出为表示正负置信度的2D分类得分{ci}和4D回归距离{ti}。

当前搜索帧目标gt定义为B＝(x0，y0，x1，y1)，这里(x0，y0)和(x1，y1)分别代表框的左上角、右下角点的坐标。对于响应图中点(x，y)，映射回搜索帧中的位置为大致在(x，y)感受野中心，s表示该层之前的步长。

步骤5-3-1：用一个2维的向量A*作为分类结果，分出前景背景。

步骤5-3-2：用一个4维的向量B*＝(l*，t*，r*，b*)作为回归目标，其中l*，t*，r*，b*分别代表当前像素与GT Bounding Box左、上、右、下边的距离，回归函数可以按下式进行计算：

l^*＝x-x₀，t^*＝y-y₀，r^*＝x₁-x，b^*＝y₁-y (2)

进一步地，由于Anchor-free策略引入了一些低质量的包围盒(远离目标的中心)，所以增加了一个平行于分类网络分支的中心策略，以测量当前位置和对象中心之间的距离，滤除低质量包围框。

步骤5-3-3：对于给定的一个位置的回归目标(l*，t*，r*，b*)而言，center-ness的定义如下所示：

测试时，用预测的center-ness乘上对应分类置信度，可以降低距离目标中心很远的边界框分数的权重，非极大值抑制(NMS)就能够轻松滤除这些低质量的边界框，提高跟踪性能。对比基于anchor的RPN网络设置两个Intersection over union(IOU)的阈值用于对anchors进行正负性标记，它可以看做是一个软阈值，可以在网络训练的过程中学习得到，不需要进行微调。

步骤5-4：由于本实例设计三个Anchor-free候选区域提取模块，即三阶段，则前一阶段输出作为下一阶段输入，并结合当前阶段输入特征图计算结果进行回归修正，并输入下一阶段。

步骤5-5：模板特征图结合GT Box，搜索区域特征图结合生成预测区域ROI，经过ROI Align进行特征增强以便后续角点检测。

步骤6：进一步细化所生成的跟踪区域，基于角点注意力并行通道注意力机制对目标角点进行检测，进一步验证定位目标。

进一步地，所述角点注意力，由hourglass结构和sigmoid层构成。Hourglass模块是对称结构，bottom-up过程将跟踪候选区域特征图从高分辨率降到低分辨率，top-down过程将低分辨率图升至高分辨率。

步骤6-1：网络输入的候选区域特征图片分辨率为256×256，在hourglass模块中的最大分辨率为64×64，整个网络最开始要经过一个7×7的步长为2的卷积层，之后再经过一个残差块和Max pooling层使得分辨率从256降到64。

步骤6-2：在每一个max pooling步骤中，网络产生分支并在原来提前池化的分辨率下使用更多的卷积，牵出来一个Skip Layer来处理原来分辨率的信息(后面跟升起来分辨率的相对应的特征图做融合)。当到达最低的分辨率的时候，网络开始upsample得到捕获全局信息的不同分辨率的特征图。

步骤6-3：将低分辨率图与高分辨率图按元素位置相加。当到达输出分辨率的时候，再接两个1×1的卷积层来进行最后的预测，网络的输出是一组heatmap，对于给定的heatmap，网络预测在每个像素处存在目标的概率。

进一步地，所述通道注意力由全局池化层，全连接层1，relu激活层，全连接层2，sigmiod层构成，对跟踪候选区域进行压缩和激发。

步骤6-4：压缩即为在跟踪候选区域特征图上执行Global Average Pooling，得到当前Feature Map的全局压缩特征量。

步骤6-5：激发则将全局压缩特征量通过两层全连接的bottleneck结构，运算得到Feature Map中每个通道的权值，并得到加权后的Feature Map，网络预测在每个通道处存在目标的概率

步骤7：将角点注意力和通道注意力添加到搜索区域ROI特征中，突出目标角点区域特征。

步骤8：进行角点检测，将强化后的特征图进行上采样，然后进行Soft-argmax得到归一化的概率分布图，最后使用elastic net loss计算损失。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种基于角点注意力孪生网络的目标跟踪方法，其特征在于，所述方法包括：

获取孪生网络上下支路输入的待跟踪目标视频帧图像，对待跟踪目标视频第一帧图像构建目标区域，作为孪生结构的上支路的输入，待跟踪目标视频中的后续帧图像作为孪生结构的下支路的输入；

提取待跟踪目标视频帧图像中三层图像信息特征，生成密集的特征图；

对特征图进行分类，回归以及中心点预测处理，生成预测单个跟踪候选区域；

基于角点注意力并行通道注意力机制对生成的跟踪候选区域验证定位目标，输出准确的目标跟踪位置；

提取待跟踪目标视频图像中三层图像信息特征，生成密集的特征图，包括：

上支路使用卷积神经网络提取目标区域图像的特征，并采用多尺度特征融合机制，得到最终目标区域特征图；

下支路使用卷积神经网络提取搜索区域图像的特征，并采用多尺度特征融合机制，得到最终搜索区域特征图；

所述多尺度特征融合机制用于从卷积神经网络中res3层、res4层、res5层提取特征进行融合：

由res3、res4和Res5经过卷积操作、元素求和操作和Relu操作得到融合后的特征图res5_1、res4_1和res3_1。

2.根据权利要求1所述的一种基于角点注意力孪生网络的目标跟踪方法，其特征在于，对特征图进行分类，回归以及中心点预测处理，生成预测单个跟踪候选区域，包括：

将融合后的特征图res5_1、res4_1和res3_1输入Anchor-free网络，基于anchor-free策略对特征图进行分类，回归以及中心点预测处理，来生成预测单个跟踪区域。

3.根据权利要求2所述的一种基于角点注意力孪生网络的目标跟踪方法，其特征在于，所述anchor-free策略包括相关运算和监督部分；

所述相关运算用于生成最终目标区域特征图与最终搜索区域特征图的响应特征图；

所述监督部分用于对响应特征图进行分类、回归以及中心点预测，以生成跟踪候选区域。

4.根据权利要求3所述的一种基于角点注意力孪生网络的目标跟踪方法，其特征在于，所述相关运算的公式如下：

；

其中m表示res层数，此处m=1,2,3，表示m层模板特征，表示m层搜索区域特征。

5.根据权利要求3所述的一种基于角点注意力孪生网络的目标跟踪方法，其特征在于，所述监督部分包括分类分支和回归分支，所述分类分支和回归分支均包括4个3×3卷积层和2个1×1卷积层。

6.根据权利要求1至5任一项所述的一种基于角点注意力孪生网络的目标跟踪方法，其特征在于，所述角点注意力包括hourglass结构层和sigmoid结构层；

所述hourglass结构层对跟踪候选区域特征图进行bottom-up处理，将图片从高分辨率降到低分辨率；

将低分辨率图经过top-down过程升至高分辨率；

将低分辨率图与高分辨率图按元素位置进行相加，当到达输出分辨率的时候，通过两个卷积层来进行预测，输出一组heatmap，对于给定的heatmap，网络预测在每个像素处存在目标的概率。

7.根据权利要求6所述的一种基于角点注意力孪生网络的目标跟踪方法，其特征在于，所述通道注意力用于对跟踪候选区域进行压缩和激发，包括：

在跟踪候选区域特征图上执行Global Average Pooling，得到当前Feature Map的全局压缩特征量；

将全局压缩特征量通过两层全连接的bottleneck结构，运算得到Feature Map中每个通道的权值，并得到加权后的Feature Map，网络预测在每个通道处存在目标的概率，获得最终准确的目标跟踪位置。

8.一种基于角点注意力孪生网络的目标跟踪系统，其特征在于，包括：

获取模块，用于获取孪生网络上下支路输入的待跟踪目标视频帧图像；其中，对待跟踪目标视频第一帧图像构建目标区域，作为孪生结构的上支路的输入，待跟踪目标视频中的后续帧图像作为孪生结构的下支路的输入；

特征提取模块，用于提取待跟踪目标视频帧图像中三层图像信息特征，生成密集的特征图；

候选区域提取模块，用于对特征图进行分类，回归以及中心点预测处理，生成预测单个跟踪候选区域；

区域细化模块，用于基于角点注意力并行通道注意力机制对生成的跟踪候选区域验证定位目标，输出准确的目标跟踪位置；

其中，提取待跟踪目标视频图像中三层图像信息特征，生成密集的特征图，包括：

上支路使用卷积神经网络提取目标区域图像的特征，并采用多尺度特征融合机制，得到最终目标区域特征图；

下支路使用卷积神经网络提取搜索区域图像的特征，并采用多尺度特征融合机制，得到最终搜索区域特征图；

所述多尺度特征融合机制用于从卷积神经网络中res3层、res4层、res5层提取特征进行融合：

由res3、res4和Res5经过卷积操作、元素求和操作和Relu操作得到融合后的特征图res5_1、res4_1和res3_1。