CN114299111B - 一种基于半监督孪生网络的红外弱小目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于半监督孪生网络的红外弱小目标跟踪方法，首先根据目标位置获取目标图像和搜寻区域图像，接着将搜寻区域图像输入至滤波网络进行编解码操作得到响应权值图，利用响应权值图对搜寻区域图像进行激活得到滤波图像，再将目标图像和滤波图像输入至特征提取网络提取特征并分别计算自注意力和交叉注意力，最后对各自分支的两种注意力融合后将两个分支的最终输出进行相关性计算，得到目标在当前帧的准确位置。本发明所提出的红外弱小目标跟踪方法，使用半监督的方式训练滤波网络，能够有效抑制红外图像中的背景噪声；充分利用目标图像和搜寻区域的注意力信息，在满足实时性要求的基础上显著的提高了对红外弱小目标的跟踪精度。

Description

一种基于半监督孪生网络的红外弱小目标跟踪方法

技术领域

本发明涉及红外图像处理技术领域，具体涉及一种半监督孪生网络的红外弱小目标(在红外热成像图像中所占像素少于8*8个像素点的暗淡目标)跟踪方法。

背景技术

红外热成像技术由于具有很强的抗干扰能力而被广泛应用于制导、遥感和预警等领域。当目标距离红外热成像设备距离较远时，在红外图像中目标所占据的像素点极少，并且由于距离衰减导致目标非常暗淡。在遥感和预警等领域中需要在远距离对飞行器等弱小目标进行跟踪，容易受到背景噪声和遮挡的影响导致目标丢失。

目前，主流目标跟踪的方法分为两类：相关滤波和卷积神经网络。相关滤波法具有较快的计算速度但无法有效应对目标出现形变、遮挡等情况，基于卷积神经网络的跟踪方法具有较高的跟踪精度和鲁棒性但是计算速度较慢。同时，大部分跟踪算法都是针对常规目标，对于红外弱小目标的跟踪效果并不理想，所以高精度、高计算速度的红外弱小目标跟踪算法的研究就显得尤为重要。

发明内容

本发明的目的在于提供一种基于半监督孪生网络的红外弱小目标跟踪方法，在满足实时性要求的同时提高对红外弱小目标的跟踪精度，能够广泛应用于红外遥感、制导和预警等领域。

实现本发明目的的技术解决方案为：一种基于半监督孪生网络的红外弱小目标跟踪方法，步骤如下：

步骤S1，采集一段包含跟踪目标的红外视频序列，以第一帧图像中目标所在位置为中心获取目标图像，转入步骤S2。

步骤S2，根据上一帧图像中目标所在位置获取当前帧中的搜寻区域图像，将搜寻区域图像输入构建的滤波网络中进行编解码操作，得到响应权值图，利用响应权值图对搜寻区域图像进行激活得到滤波图像，转入步骤S3。

步骤S3，利用孪生网络对目标图像和滤波图像进行计算，得到目标位置响应图，目标位置响应图中响应值最大的点即目标在当前帧中的准确位置，返回步骤S2，对红外视频中后续所有帧进行跟踪。

本发明与现有技术相比，其显著优点在于：本发明设计了滤波网络对红外图像中的背景噪声进行抑制，滤波网络使用伪标签监督信息进行训练，能够更好的减少背景噪声对跟踪算法的干扰，孪生网络中的特征提取网络层数和参数量较少，能够快速计算从而对高速移动的目标进行跟踪，同时利用注意力计算层进行注意力计算，将目标图像和搜寻区域图像进行关联，让网络更注重弱小目标所在的位置并能够更好的区分前景和背景，提高了跟踪精度和网络的鲁棒性，实现对红外弱小目标的快速精准跟踪。

附图说明

图1为本发明基于孪生网络的红外弱小目标跟踪网络整体架构图。

图2为本发明特征提取网络结构图。

图3为本发明滤波网络结构图。

图4为本发明滤波网络中的残差单元结构图。

图5为本发明注意力计算结构图。

图6为本发明方法的流程图。

具体实施方式

下面结合附图对本发明作进一步详细描述。

结合图1～图6，一种基于半监督孪生网络的红外弱小目标跟踪方法，步骤如下：

步骤S1，采集一段包含跟踪目标的红外视频序列，以第一帧图像中目标所在位置为中心获取目标图像，转入步骤S2。

步骤S2，根据上一帧图像中目标所在位置获取当前帧中的搜寻区域图像，将搜寻区域图像输入构建的滤波网络中进行编解码操作，得到响应权值图，利用响应权值图对搜寻区域图像进行激活得到滤波图像。在红外图像中小目标距离采集设备较远，热辐射衰减严重，在图像中较为暗淡，并且由于传感器噪声等因素的影响，跟踪算法的性能并不理想，因此设计滤波网络对搜寻区域图像进行滤波处理，过滤掉大量噪声并在图像中凸显出弱小目标从而提升跟踪算法的性能，具体如下：

首先构建三层卷积层对搜寻区域图像进行下采样，并且使用残差单元对前两个卷积层的输出进行特征提取得到残差特征，对经过两次下采样的特征输入残差单元进行计算，然后进行线性插值并与对应尺寸的残差特征相加，上采样后与对应尺寸的残差特征相加，最终得到和搜寻区域图像尺寸一致的响应权值图，利用响应权值图对搜寻区域图像进行激活得到滤波图像。

转入步骤S3。

步骤S3，利用孪生网络对目标图像和滤波图像进行计算，得到目标位置响应图，在孪生网络(包括特征提取网络、自注意力计算层、交叉注意力计算层和注意力融合层)和滤波网络的训练过程中，利用目标的真实位置作为监督信息对孪生网络进行训练，利用孪生网络输出的目标位置响应图作为监督信息对滤波网络进行训练，目标位置响应图中响应值最大的点即目标在当前帧中的准确位置，返回步骤S2，对红外视频中后续所有帧进行跟踪。

进一步地，使用孪生网络对目标图像和滤波图像进行计算，得到目标位置响应图，目标位置响应图中响应值最大的点即目标在当前帧中的准确位置，具体如下：

步骤S3-1，使用特征提取网络提取目标图像中目标的形状信息、语义信息以及背景信息，得到初始目标特征，使用特征提取网络提取滤波图像中目标的形状信息、语义信息以及背景信息，得到初始搜寻区域特征，所使用的特征提取网络不同于常规卷积神经网络使用的主干网络结构，为了让网络能够进行快速计算，特征提取网络只使用五层卷积层和两个残差块，由于红外弱小目标在图像中缺乏纹理等信息，整个特征提取网络没有下采样操作并通过残差连接来保留红外弱小目标的外观信息，转入步骤S3-2。

步骤S3-2，利用自注意力计算层和交叉注意力计算层对初始目标特征进行计算得到初始目标特征的自注意力和交叉注意力，再利用自注意力计算层和交叉注意力计算层对初始搜寻区域特征进行计算得到初始搜寻区域特征的自注意力和交叉注意力，使用注意力融合层对相应特征的自注意力和交叉注意力进行融合，得到最终目标特征和最终搜寻区域特征。由于小目标在图像中所占的像素点非常少，并且为了保留小目标的外观信息，特征提取网络中并没有下采样层，网络的感受野非常有限，平等的对待每一个位置的信息会降低网络的学习能力，因此设计自注意力层和交叉注意力层来学习丰富的上下文信息以及整合两个分支之间的上下文相关性来提升网络的跟踪精度，具体步骤如下：

使用自注意力计算层对初始目标特征和初始搜寻区域特征分别计算各自的自注意力，自注意力计算公式为：

x代表输入特征，y代表输出特征，i和j均代表位置索引，C表示归一化函数，f、g表示由卷积、矩阵乘法和尺度变换等操作组成的注意力计算函数；使用交叉注意力计算层对初始目标特征和初始搜寻区域特征分别计算初始目标特征交叉注意力和初始搜寻区域特征交叉注意力，交叉注意力的计算公式为：

a代表输入主特征，b代表输入次特征，z代表输出特征，h表示尺度变化函数；使用注意力融合层对初始目标特征的自注意力和交叉注意力进行融合得到最终目标特征，对初始搜寻区域特征的自注意力和交叉注意力进行融合得到最终搜寻区域特征，转入步骤S3-3。

步骤S3-3，对最终目标特征和最终搜寻区域特征进行相关性计算，得到目标位置响应图，目标位置响应图中响应值最大的点即目标在当前帧中的准确位置。

进一步地，在孪生网络和滤波网络的训练过程中，利用目标的真实位置作为监督信息对孪生网络进行训练，利用孪生网络输出的目标位置响应图作为监督信息对滤波网络进行训练，故两个网络的训练以半监督的方式进行。由于位置相应图和响应权值图输出的尺寸一致，并且都应在搜寻区域图像中目标所在位置具有较高的响应值，故将目标位置响应图作为伪标签监督信息对滤波网络进行训练，这样做的优势在于：通常红外弱小目标数据集只有目标位置坐标的标签数据，没有能供滤波网络进行训练的二值掩膜标签数据，通过使用网络生成的伪标签来训练滤波网络，能够在只有目标位置标签的数据集上对整个网络进行训练；相比于严格分割响应区域的硬标签，目标位置响应图的数值更加平滑，能够对滤波网络进行更合适的指导，达到更好的滤波效果，具体步骤如下：

在孪生网络和滤波网络的训练过程中，利用目标在搜寻区域图像中所处位置，即目标的真实位置作为监督信息与孪生网络输出的目标位置响应图计算损失并更新参数，利用孪生网络最终输出的目标位置响应图作为监督信息与滤波网络输出的响应权值图计算损失并更新参数。

利用孪生网络对目标图像和滤波图像进行计算得到目标位置响应图，表示为：

其中，s为目标位置响应图，

表示相关性计算，φ表示特征提取操作，ψ表示滤波网络编解码操作，t_o表示第一帧中目标图像，u_o表示搜寻区域图像，

表示偏置项；利用目标的真实位置作为监督信息对孪生网络进行训练，利用孪生网络输出的目标位置响应图作为监督信息对滤波网络进行训练，表示为：

L＝L_si+L_fi

其中，L表示总体训练损失，L_si表示孪生网络的训练损失，L_fi表示滤波网络的训练损失，D表示目标位置响应图的大小，γ表示二值交叉熵损失，ζ表示目标真实位置标签，λ表示响应权值图。

实施例1

结合图1～图6，本发明所述的一种半监督孪生网络的红外弱小目标跟踪方法，步骤如下：

步骤S1：使用红外图像采集设备获取一系列连续图像，并给定第一帧中目标所在位置。在第一帧图像中以弱小目标为中心截取25*25像素图像得到目标图像，若目标处于图像边缘则用0值补全至25*25大小。

步骤S2：以上一帧图像中弱小目标所在位置为中心在当前帧图像中截取65*65像素图像作为搜寻区域图像，若目标处于图像边缘则用0值补全至65*65大小，输入滤波网络。滤波网络如图3所示，由三个卷积层和三个残差单元组成，Conv_F1卷积核大小为3*3、步长为1，Conv_F2和Conv_F3卷积核大小为3*3、步长为2，残差单元将输入经过1*1卷积层Conv_R1和3*3卷积层Conv_R2计算后与原始输入相加后输出。输入图像首先输入Conv_F1，输出同时输入Conv_F1和残差单元3，Conv_F2的输出同时输入Conv_F3和残差单元2，Conv_F3的输出输入残差单元1后进行上采样，然后与残差单元2的输出相加后再进行上采样，然后与残差单元3的输出相加得到响应权值图。将搜寻区域图像用响应权值图进行激活，即将搜寻区域图像与响应权值图进行点乘操作，得到滤波图像。

步骤S3，利用孪生网络对目标图像和滤波图像进行计算，得到目标位置响应图，在孪生网络和滤波网络的训练过程中，利用目标的真实位置作为监督信息对孪生网络进行训练，利用孪生网络输出的目标位置响应图作为监督信息对滤波网络进行训练，目标位置响应图中响应值最大的点即目标在当前帧中的准确位置，返回步骤S2，对红外视频中后续所有帧进行跟踪，具体如下：

步骤S3-1：将目标图像和滤波图像分别输入至特征提取网络进行计算。特征提取网络如图2所示，包含五个卷积核大小为3*3、步长为1的卷积层和两个由卷积核大小为1*1和3*3的卷积层组成的残差连接，残差连接1的输入为Conv1的输出，残差连接1的输出和Conv2的输出进行拼接后送入Conv3；同理，残差连接2的输入为Conv3的输出，残差连接2的输出和Conv4的输出进行拼接后送入Conv5，目标图像经过特征提取网络计算后得到初始目标特征，滤波图像经过特征提取网络计算后得到初始搜寻区域特征。

步骤S3-2：利用自注意力计算层和交叉注意力计算层对初始目标特征进行计算得到初始目标特征的自注意力和交叉注意力，利用自注意力计算层和交叉注意力计算层对初始搜寻区域特征进行计算得到初始搜寻区域特征的自注意力和交叉注意力，具体操作如图5所示：

分别使用三个1*1卷积层和reshape操作对输入特征进行计算得到自查询特征q_s、自键特征k_s、自值特征v_s，用自查询特征q_s和自键特征k_s进行矩阵相乘计算后输入softmax层，将softmax层的输出和自值特征v_s进行矩阵相乘计算后输入一个1*1卷积层并reshape，将输出结果与输入特征对应元素求和后得到自注意力；分别使用两个1*1卷积层和reshape操作对输入次特征进行计算得到交叉查询特征q_c、交叉键特征k_c，使用1*1卷积层和reshape操作对输入主特征进行计算并上采样得到交叉值特征v_c，用交叉查询特征q_c和交叉键特征k_c进行矩阵相乘计算后输入softmax层，将softmax层的输出和交叉值特征v_c进行矩阵相乘计算后输入一个1*1卷积层并reshape，将输出结果上采样后与输入特征对应元素求和后得到交叉注意力。

使用注意力融合层对相应特征的自注意力和交叉注意力进行融合，得到最终目标特征和最终搜寻区域特征。

步骤S3-3：使用最终目标特征和最终搜寻区域特征进行相关性计算，可表示为：

其中，s为目标位置响应图，

表示相关性计算，t_r表示最终目标特征，u_r表示最终搜寻区域特征，

表示偏置项，相关性计算具体实现方式为：将最终目标特征作为卷积核对最终搜寻区域特征进行卷积操作，得到目标位置响应图，响应值最大的点即目标在当前帧中的准确位置。判断跟踪是否结束，若未结束则返回步骤S2，直至跟踪结束。

按照如上步骤，便可实现对红外弱小目标快速准确地跟踪。

Claims (7)

1.一种基于半监督孪生网络的红外弱小目标跟踪方法，其特征在于，步骤如下：

步骤S1，采集一段包含跟踪目标的红外视频序列，以第一帧图像中目标所在位置为中心获取目标图像，转入步骤S2；

步骤S2，根据上一帧图像中目标所在位置获取当前帧中的搜寻区域图像，将搜寻区域图像输入构建的滤波网络中进行编解码操作，得到响应权值图，利用响应权值图对搜寻区域图像进行激活，即将搜寻区域图像与响应权值图进行点乘操作，得到滤波图像，转入步骤S3；

步骤S3，利用孪生网络对目标图像和滤波图像进行计算，得到目标位置响应图，在孪生网络和滤波网络的训练过程中，利用目标的真实位置作为监督信息对孪生网络进行训练，利用孪生网络输出的目标位置响应图作为监督信息对滤波网络进行训练，目标位置响应图中响应值最大的点即目标在当前帧中的准确位置，返回步骤S2，对红外视频中后续所有帧进行跟踪。

2.根据权利要求1所述的基于半监督孪生网络的红外弱小目标跟踪方法，其特征在于：步骤S2中，根据上一帧图像中目标所在位置获取当前帧中的搜寻区域图像，将搜寻区域图像输入构建的滤波网络中进行编解码操作，得到响应权值图，利用响应权值图对搜寻区域图像进行激活得到滤波图像，具体如下：

首先构建三层卷积层对搜寻区域图像进行下采样，并且使用残差单元对前两个卷积层的输出进行特征提取得到残差特征，对经过两次下采样的特征输入残差单元进行计算，然后进行线性插值并与对应尺寸的残差特征相加，上采样后与对应尺寸的残差特征相加，最终得到和搜寻区域图像尺寸一致的响应权值图，利用响应权值图对搜寻区域图像进行激活得到滤波图像。

3.根据权利要求2所述的基于半监督孪生网络的红外弱小目标跟踪方法，其特征在于：孪生网络包括特征提取网络、自注意力计算层、交叉注意力计算层和注意力融合层。

4.根据权利要求3所述的基于半监督孪生网络的红外弱小目标跟踪方法，其特征在于：步骤S3中，使用孪生网络对目标图像和滤波图像进行计算，得到目标位置响应图，目标位置响应图中响应值最大的点即目标在当前帧中的准确位置，具体如下：

步骤S3-1，使用特征提取网络提取目标图像中目标的形状信息、语义信息以及背景信息，得到初始目标特征，使用特征提取网络提取滤波图像中目标的形状信息、语义信息以及背景信息，得到初始搜寻区域特征，转入步骤S3-2；

步骤S3-2，利用自注意力计算层和交叉注意力计算层对初始目标特征进行计算得到初始目标特征的自注意力和交叉注意力，再利用自注意力计算层和交叉注意力计算层对初始搜寻区域特征进行计算得到初始搜寻区域特征的自注意力和交叉注意力，使用注意力融合层对相应特征的自注意力和交叉注意力进行融合，得到最终目标特征和最终搜寻区域特征，转入步骤S3-3；

步骤S3-3，对最终目标特征和最终搜寻区域特征进行相关性计算，得到目标位置响应图，目标位置响应图中响应值最大的点即目标在当前帧中的准确位置。

5.根据权利要求4所述的基于半监督孪生网络的红外弱小目标跟踪方法，其特征在于，步骤S3-2中，利用自注意力计算层和交叉注意力计算层对初始目标特征进行计算得到初始目标特征的自注意力和交叉注意力，再利用自注意力计算层和交叉注意力计算层对初始搜寻区域特征进行计算得到初始搜寻区域特征的自注意力和交叉注意力，使用注意力融合层对相应特征的自注意力和交叉注意力进行融合，得到最终目标特征和最终搜寻区域特征，具体步骤如下：

使用自注意力计算层对初始目标特征和初始搜寻区域特征分别计算各自的自注意力，自注意力计算公式为：

x代表输入特征，y代表输出特征，i和j代表位置索引，C、f、g表示抽象函数；使用交叉注意力计算层对初始目标特征和初始搜寻区域特征分别计算初始目标特征交叉注意力和初始搜寻区域特征交叉注意力，交叉注意力的计算公式为：

a代表输入主特征，b代表输入次特征，z代表输出特征，h表示抽象函数；使用注意力融合层对初始目标特征的自注意力和交叉注意力进行融合得到最终目标特征，对初始搜寻区域特征的自注意力和交叉注意力进行融合得到最终搜寻区域特征。

6.根据权利要求5所述的基于半监督孪生网络的红外弱小目标跟踪方法，其特征在于，步骤S3中，在孪生网络和滤波网络的训练过程中，利用目标的真实位置作为监督信息对孪生网络进行训练，利用孪生网络输出的目标位置响应图作为监督信息对滤波网络进行训练，故两个网络的训练以半监督的方式进行，具体步骤如下：

在孪生网络和滤波网络的训练过程中，利用目标在搜寻区域图像中所处位置，即目标的真实位置作为监督信息与孪生网络输出的目标位置响应图计算损失并更新参数，利用孪生网络最终输出的目标位置响应图作为监督信息与滤波网络输出的响应权值图计算损失并更新参数。

7.根据权利要求6所述的基于半监督孪生网络的红外弱小目标跟踪方法，其特征在于，步骤S3中，利用孪生网络对目标图像和滤波图像进行计算得到目标位置响应图，表示为：

其中，s为目标位置响应图，

表示相关性计算，φ表示特征提取操作，ψ表示滤波网络编解码操作，t_o表示第一帧中目标图像，u_o表示搜寻区域图像，

表示偏置项；利用目标的真实位置作为监督信息对孪生网络进行训练，利用孪生网络输出的目标位置响应图作为监督信息对滤波网络进行训练，表示为：

L＝L_si+L_fi

其中，L表示总体训练损失，L_si表示孪生网络的训练损失，L_fi表示滤波网络的训练损失，D表示目标位置响应图的大小，γ表示二值交叉熵损失，ζ表示目标真实位置标签，λ表示响应权值图。

Images