CN110675423A - 一种基于孪生神经网络和注意力模型的无人机跟踪方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体为一种基于孪生神经网络和注意力机制的无人机跟踪方法，应用于连续跟踪可视化单目标无人机。本发明使用两种注意力机制实现通道注意力和空间注意力的权重再分配，通过对孪生网络的模板分支使用注意力模型增强了模型对无人机目标外观模型的表征能力；通过多尺度缩放的方式预处理搜索图像并分别进行响应图计算，用该方式模拟无人机在画面中尺度变化的逆变换，将能够产生更大响应值的搜索因子作为无人机的尺度逆变换以纠正用来标记目标的边框大小，不改变边框的横纵比例。本发明测试得到0.513的跟踪精度(以平均重合率为量化精度标准)，相较于其他前沿跟踪方法具有明显的性能提升。

Description

一种基于孪生神经网络和注意力模型的无人机跟踪方法

技术领域

本发明涉及图像处理技术领域，具体为一种基于孪生神经网络和注意力机制的无人机跟踪方法，应用于连续跟踪可视化单目标无人机。

背景技术

无人机是无人驾驶飞机的简称，是指利用无线电遥控设备操控的不载人飞机；无人机在军用领域主要用于侦察，在民用领域则广泛应用于视频拍摄、航拍测绘、灾害救险、电力巡检、农业植保等方面，但由于目前无人机产业的行业监管、政策执行等方面仍然存在问题；在民用领域，无人机的使用仍然缺乏规范，黑飞等现象背后应隐藏着巨大的安全隐患。针对于无人机的跟踪是行之有效的监测手段，能够帮助地面人员更好的掌握无人机的飞行信息并且为地面的无人机反制手段提供强有力的帮助。

目前民用领域的无人机主要为四旋翼飞行器，商用技术成熟；但针对其的跟踪问题仍然存在较大的困难：飞行姿态多变、背景多变、活动范围大、环境影响大。无人机的跟踪一方面属于目标跟踪领域的具体问题，具有目标跟踪方面上的普遍难点，另一方面，无人机的形态、飞行等方面具有其特殊性。对于同于目标的跟踪，主要有两种不同的解决方向；其一是相关滤波类的方法，其核心在于学习一个滤波器模板并将该模板与输入图像求相关性，得到的相关图描述目标响应，与目标越接近则响应越大；其二是卷积神经网络类的方法，其核心在于利用深度神经网络优秀的特征表达能力对目标的表观特征进行学习与建模，在后续图像序列中对目标进行定位并确定边框；对目标的定位方式以及边框适应的方法各式各样，包括前后景二分类、mask掩模、边框回归、块匹配等。

对于任意目标的跟踪可以理解为在后续图像中求解与目标最相似的物体并实现定位框选标记，即学习一个函数来学习比较模板图像与搜索图像的相似性，如果两幅图像描述的是同一个目标则返回高分；使用深度神经网络来模拟上述函数，而孪生结构是相似度学习的典型结构；图像经过特征提取映射至特征空间之后使用一个相似度度量函数进行运算得到相似性的得分图；但对于深度特征而言，高层语义特征对目标外观的变化具有鲁棒性，使得跟踪器判别力不强。基于此，本发明提供一种基于孪生神经网络和注意力模型的无人机跟踪方法。

发明内容

本发明的目的在于提供一种基于孪生神经网络和注意力模型的无人机跟踪方法，使用注意力模型增强深度网络对无人机目标的外观模型的表征能力；进而实现更好的跟踪效果。

为实现上述目的，本发明采用的技术方案为：

一种基于孪生神经网络与注意力模型的无人机跟踪方法，包括如下步骤：

步骤1：构建孪生神经网络结构和注意力模型；

步骤1.1：采用共享参数的孪生神经网络分别提取模板图像Z和待搜索图像X的特征空间，得到各自对应的特征空间F_Z和F_X：

F_Z＝φ(Z)，F_X＝φ(X)

所述变换φ为全卷积网络，结构层次为：

[C(96,11,2)-B-R-M(3,2)]-[C(256,5,1)-B-R-M(3,2)]-[C(384,3,1)-B-R]-[C(384,3,1)-B-R]-[C(256,3,1)]

其中，C表示卷积层，B表示批标准化层，R表示ReLU激活层，M表示最大值池化层；

步骤:1.2：采用注意力模型对模板图像特征空间进行注意力的重新分配，得到特征空间F_Za：

其中，注意力模块

包含顺序计算的通道注意力模型M_C(F)和空间注意力模块M_S(F)：

其中，

分别表示在通道方向上对特征空间F的平均池化和最大池化，W₀、W₁表示两层感知机，R表示ReLU函数激活，σ表示sigmoid激活；

其中，分别表示在二维空间上对特征空间F的平均池化和最大池化，C表示卷积操作；

步骤1.3：采用特征卷积层对模板图像特征空间F_Za和搜索图像特征空间F_X进行卷积得到响应图；

步骤2：使用目标跟踪数据集对网络模型进行端到端训练，设置损失函数对模型进行反向传播，得到网络模型；

步骤2.1：利用不限定目标种类的图像序列数据集进行模型的训练，模板图像为图像序列中第一帧图像中的目标，且对同一序列的训练中不做改变；搜索图像在图像序列中随机选取与模板图像之间的时间间隔不超过阈值的图像；

模板图像与搜索图像根据已知的目标位置进行中心缩放，使模板图像为127×127，搜索图像为255×255；将目标置于图像中心并使用像素平均值填充空余部分，变换公式：

s(w+2p)×s(h+2p)＝A，

其中，A为矩形缩放面积，s表示中心缩放，w×h为目标边框的大小，p为目标边框上下边距：p＝(w+h)/4；

步骤2.2：设置损失函数为采用带逻辑值的二进制交叉熵函数，对模型进行反向传播，得到网络模型；所述逻辑值为：

其中，k为特征卷积层的步长，u为响应图中的所有位置，c为图像中心，R为预设距离阈值，||u-c||表示计算当前位置与图像中心的曼哈顿距离；

步骤3：利用步骤2中已训练模型集成为无人机跟踪器，在包含无人机的指定图像序列或视频中初始化目标之后实现对该目标的跟踪，再使用矩形边框标识无人机；

步骤3.1：以指定图像序列或视频中第1帧图像作为模板图像，后续待跟踪图像为搜索图像；设定多个尺度变化因子δ，对待跟踪图像进行中心缩放；

步骤3.2：模型输入模板图像和搜索图像，得到原始响应图；将响应图进行二次线性插值使其分辨率为255×255，并根据权重因子weight将其与余弦窗口进行加和，得到最终响应图res：

res＝(1-weight)×response+weight×windows

其中，response为原始响应图，windows为汉宁窗口；

针对同一搜索图像，认定响应值最大的最终响应图对应的尺度变化因子为无人机的尺度变化，使用该因子修正框定无人机的矩形边框大小；且此最终响应图res中最大值所在位置对应于搜索图像中无人机的相对位置；

步骤3.3：依次迭代计算每张搜索图像中目标位置以及边框大小，实现无人机连续跟踪。

本发明的有益效果在于：

本发明提供的基于孪生神经网络和注意力模型的无人机跟踪方法，使用两种注意力机制实现通道注意力和空间注意力的权重再分配，通过对孪生网络的模板分支使用注意力模型增强了模型对无人机目标外观模型的表征能力。使用通用的目标跟踪数据集进行模型训练是的模型具有良好的泛化性能以及普适性，即对无人机的姿态、运动具有较好的适应性；端到端的计算方式方便了训练过程，降低了模型复杂度，以适应实时跟踪的实际场景要求。通过多尺度缩放的方式预处理搜索图像并分别进行响应图计算，用该方式模拟无人机在画面中尺度变化的逆变换，将能够产生更大响应值的搜索因子作为无人机的尺度逆变换以纠正用来标记目标的边框大小，不改变边框的横纵比例。本发明测试得到0.513的跟踪精度(以平均重合率为量化精度标准)，相较于其他前沿跟踪方法具有明显的性能提升。

附图说明

图1为本发明实施例中的孪生网络模型结构示意图；

图2为本发明实施例中的通道注意力模型示意图；

图3为本发明实施例中的空间注意力模型示意图；

图4为本发明实施例中无人机跟踪算法流程示意图；

图5为本发明实施例中无人机跟踪效果的成功率曲线对比图；

图6为本发明实施例中无人机跟踪结果示意图，其中(a)～(d)，(e)～(h)分别为两个无人机视频的跟踪结果。

具体实施方式

下面结合附图和实施例对本发明做进一步详细说明，该实施例仅用于解释本发明，而不能解释为对本发明的限制。

实施例

本实施例提供了一种基于孪生神经网络和注意力模型的单个无人机跟踪方法，包括如下步骤：

步骤1：构建孪生神经网络结构和模块化的注意力模型，将注意力模型用于增强孪生网络得到的特征；

使用共享参数的孪生神经网络分别提取模板图像Z和待搜索图像X的特征，孪生网络对两个输入图像进行相同的变换φ，得到各自对应的特征空间F_Z和F_X：

F_Z＝φ(Z)

F_X＝φ(X)

上述的变换φ为全卷积网络，结构层次为：

[C(96,11,2)-B-R-M(3,2)]-[C(256,5,1)-B-R-M(3,2)]-[C(384,3,1)-B-R]-[C(384,3,1)-B-R]-[C(256,3,1)]

其中，C表示卷积层，B表示批标准化层，R表示ReLU激活层，M表示最大值池化层，符号“-”表示顺序连接；进一步地，C(96,11,2)表示该卷积层卷积核数量为96、卷积核大小为11、卷积操作的步长为2，M(3,2)表示最大值池化层的池化核大小为3、操作步长为2，以此类推；

进一步地，将注意力模型与孪生结构的模板分支进行衔接，利用注意力模型在特征空间中增加权重分配学习分支，实现对特征平面的二维空间注意力权重分配和空间通道的一维通道注意力权重分配；

所述的经过权重分配的特征空间为F_a：

F_a＝a⊙F

其中，F表示为图像经孪生神经网络提取得到的特征空间，⊙表示特征空间中元素对应相乘的运算，a表示注意力网络

根据输入F计算得到的注意力掩模或者向量；利用注意力模型对模板图像特征空间进行注意力的重新分配，：

其中，

表示模板图像特征空间F_Z经注意力模块

得到注意力权重分配向量；

进一步地，使用两种注意力机制及其两种池化方式进行注意力权重计算；注意力模块包含顺序计算的通道注意力模型M_C(F)和空间注意力模块M_S(F)，两者都由特征空间F计算得到：

通道注意力模型的最终目的是产生一个长度和特征向量相同通道数的一维向量，该向量和各个通道对应相乘，实现不同通道的权重分配；使用多层感知机MLP组成的共享参数网络对特征空间进行计算得到通道注意力向量；为了减少特征分辨率从而减小计算量通常采用池化的方式，使用两种池化方式得到两种池化特征作为多层感知机的输入；其中，多层感知机中通道的缩减比例设置为16，即输入256通道的特征图，感知机中间层缩减至256÷16＝16通道，通道注意力向量计算如下公式：

其中，

分别表示在通道方向上对特征空间F的平均池化和最大池化，W₀、W₁表示两层感知机，R表示ReLU函数激活，σ表示sigmoid激活，F表示图像的特征空间，具有channel×width×height的形状；

空间注意力机制是对空间位置信息的二维注意力分配，即产生关于特征空间的二维权重分布，实现对重点信息的关注以及空间背景信息的抑制；

空间注意力模型采用两种池化方式，进行一次卷积操作并使用sigmoid函数激活得到注意力的空间分布；其中卷积核大小设为3×3；和通道注意力类似，在通道轴的方向上分别使用最大池化和平均池化得到特征空间的二维描述矩阵并将两个矩阵合并；然后利用一个卷积层生成二维的空间注意力分布图，空间计算过程如下：

其中，F表示图像的特征空间，

分别表示在二维空间上对特征空间F的平均池化和最大池化，C表示具有3×3卷积核的卷积操作、对两种池化方式得到的特征图进行合并卷积，经过sigmoid激活得到空间注意力权重分布图；

最后采用特征卷积层对模板图像特征F_Za和搜索图像特征F_X进过卷积得到响应图；

步骤2：使用目标跟踪数据集对网络模型进行端到端训练，设置损失函数对模型进行反向传播，得到网络模型；

利用不限定目标种类的图像序列数据集进行模型的训练，模板图像为图像序列中第一帧图像中的目标，且对同一序列的训练中不做改变；搜索图像在图像序列中随机选取但与模板图像之间的时间间隔应当不超过指定值；

模板图像与搜索图像根据已知的目标位置进行中心缩放，使模板图像为127×127，搜索图像为255×255；将目标置于图像中心并使用像素平均值填充空余部分，变换公式：s(w+2p)×s(h+2p)＝A，其中，s表示中心缩放；

如果目标边框具有w×h的大小且上下文边距为p，将矩形缩放至固定面积A：127×127或255×255；将目标上下文的值p设置为平均尺度的一半：

p＝(w+h)/4

利用相似度计算的方式实现对搜索图像中目标的定位，使用互相关作为相似度计算函数；将模板图像的特征空间作为核，对搜索图像特征空间进行卷积运算，即在密集采样的条件下计算所有滑动窗口与模板图像的相似度；上述操作将得到搜索图像中关于目标相似度的度量图；响应最大值位置就是搜索图像中与目标相似度最高的窗口位置，将该位置认定为目标在搜索图像中的定位；产生的响应图应当具有对中心区域的高响应值，即中心逻辑值为1而背景区域逻辑值为0：

其中，k是特征卷积层的步长，u是响应图中的所有位置，c是图像中心即目标区域，R是设定的距离阈值，||u-c||表示计算当前位置与图像中心的曼哈顿距离；损失函数是采用带逻辑值的二进制交叉熵函数；

步骤3：利用步骤2中已训练模型集成为无人机跟踪器，在包含无人机的指定图像序列或视频中初始化目标之后实现对该目标的跟踪，再使用矩形边框标识无人机；

以指定图像序列或视频中第1帧图像初始化目标，后续图像均为搜索图像；

待跟踪的无人机图像序列应当是具有因果关系的连续图像，根据上一帧图像中目标位置对待跟踪图片进行中心缩放，使用多个尺度变化因子δ控制缩放程度，模拟无人机的尺度变化，本实施例中，δ采用1.075^{-1,0,+1}；

模型输入模板图像和搜索图像，得到二维响应图；将该图进行二次线性插值使其分辨率为255×255，并根据权重因子weight(0.235)将其与余弦窗口进行加和，公式如下：

res＝(1-weight)×response+weight×windows

其中，weight＝0.235，response为原始响应图，windows为汉宁窗口；

将最终响应图res作为目标无人机的定位依据：最终响应图res中最大值所在位置对应于搜索图像中无人机的相对位置；多个尺度变化因子将产生多个响应图，响应值最大的响应图对应的尺度变化因子代表无人机的尺度变化，使用该因子修正框定无人机的矩形边框大小；

依次迭代计算每张图像中目标位置以及边框大小，实现无人机连续跟踪。

根据上述实施方案所述，对四旋翼无人飞行器的效果进行对比分析，其成功率曲线对比如图5所示；无人机跟踪结果示意图如图6所示；使用本发明中设计的跟踪器以及其他5个跟踪算法对包含9个无人机视频的测试样本，共计1252张序列化图像进行无人机跟踪：使用平均重合率、跟踪成功率、跟踪帧率进行量化评估；

跟踪方法	平均重合率	成功率	帧率
				Ours	0.513	0.671	18.34
DCF	0.498	0.617	30.61
				DaSiamRPN	0.431	0.571	20.34
KCF	0.156	0.109	29.66
				TLD	0.113	0.098	9.62
GOTURN	0.102	0.071	14.46

测试表明，在平衡跟踪精度与跟踪速度的实际要求下，得益于注意力模型对模板图像特征空间的增强特性，本实施例的无人机跟踪方法具有更好的跟踪效果与量化指标。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (1)

1.一种基于孪生神经网络与注意力模型的无人机跟踪方法，包括如下步骤：

步骤1：构建孪生神经网络结构和注意力模型；

步骤1.1：采用共享参数的孪生神经网络分别提取模板图像Z和待搜索图像X的特征空间，得到各自对应的特征空间F_Z和F_X：

F_Z＝φ(Z)，F_X＝φ(X)

所述变换φ为全卷积网络，结构层次为：

[C(96,11,2)-B-R-M(3,2)]-[C(256,5,1)-B-R-M(3,2)]-[C(384,3,1)-B-R]-[C(384,3,1)-B-R]-[C(256,3,1)]

其中，C表示卷积层，B表示批标准化层，R表示ReLU激活层，M表示最大值池化层；

步骤:1.2：采用注意力模型对模板图像特征空间进行注意力的重新分配，得到特征空间F_Za：

其中，注意力模块

包含顺序计算的通道注意力模型M_C(F)和空间注意力模块M_S(F)：

其中，

分别表示在通道方向上对特征空间F的平均池化和最大池化，W₀、W₁表示两层感知机，R表示ReLU函数激活，σ表示sigmoid激活；

其中，

分别表示在二维空间上对特征空间F的平均池化和最大池化，C表示卷积操作；

步骤1.3：采用特征卷积层对模板图像特征空间F_Za和搜索图像特征空间F_X进行卷积得到响应图；

步骤2：使用目标跟踪数据集对网络模型进行端到端训练，设置损失函数对模型进行反向传播，得到网络模型；

步骤2.1：利用不限定目标种类的图像序列数据集进行模型的训练，模板图像为图像序列中第一帧图像中的目标，且对同一序列的训练中不做改变；搜索图像在图像序列中随机选取与模板图像之间的时间间隔不超过阈值的图像；

模板图像与搜索图像根据已知的目标位置进行中心缩放，使模板图像为127×127，搜索图像为255×255；将目标置于图像中心并使用像素平均值填充空余部分，变换公式：

s(w+2p)×s(h+2p)＝A，

其中，A为矩形缩放面积，s表示中心缩放，w×h为目标边框的大小，p为目标边框上下边距：p＝(w+h)/4；

步骤2.2：设置损失函数为采用带逻辑值的二进制交叉熵函数，对模型进行反向传播，得到网络模型；所述逻辑值为：

其中，k为特征卷积层的步长，u为响应图中的所有位置，c为图像中心，R为预设距离阈值，||u-c||表示计算当前位置与图像中心的曼哈顿距离；

步骤3：利用步骤2中已训练模型集成为无人机跟踪器，在包含无人机的指定图像序列或视频中初始化目标之后实现对该目标的跟踪，再使用矩形边框标识无人机；

步骤3.1：以指定图像序列或视频中第1帧图像作为模板图像，后续待跟踪图像为搜索图像；设定多个尺度变化因子δ，对待跟踪图像进行中心缩放；

步骤3.2：模型输入模板图像和搜索图像，得到原始响应图；将响应图进行二次线性插值使其分辨率为255×255，并根据权重因子weight将其与余弦窗口进行加和，得到最终响应图res：

res＝(1-weight)×response+weight×windows

其中，response为原始响应图，windows为汉宁窗口；

针对同一搜索图像，认定响应值最大的最终响应图对应的尺度变化因子为无人机的尺度变化，使用该因子修正框定无人机的矩形边框大小；且此最终响应图res中最大值所在位置对应于搜索图像中无人机的相对位置；

步骤3.3：依次迭代计算每张搜索图像中目标位置以及边框大小，实现无人机连续跟踪。

Images