CN114066937B - 一种大尺度遥感影像多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种大尺度遥感影像多目标跟踪方法，属于遥感影像识别技术领域。本发明对于已标注的高分辨率遥感影像，进行数据预处理和数据扩增，然后利用扩增后的数据对遥感影像目标跟踪模型进行训练。同时，通过自监督的方式训练背景运动评估网络。对于未标注的影像，将它分割为较小的图像块，输入目标跟踪网络中得到对应结果，再拼接起来并进行后处理，得到最终大尺寸跟踪结果。本发明可通过背景运动评估网络获取视频帧中的背景运动参数，结合目标跟踪结果以及背景运动参数得到最终的目标运动参数。

Description

一种大尺度遥感影像多目标跟踪方法

技术领域

本发明属于遥感影像识别技术领域，尤其是指一种大尺度遥感影像多目标跟踪方法。

背景技术

近年来，随着遥感技术的快速发展，高分辨率的遥感影像数据越来越丰富，针对卫星遥感视频影像的目标跟踪也逐渐成为一个重要的研究方向。目标跟踪任务需要对遥感视频中指定类型的运动目标进行检测，并基于目标在时间和空间上的一致性关系实现目标的关联。然而，由于遥感影像本身的大尺度特性，目标在遥感影像中像素占比小。而不同类目标的外观特征不明显，容易导致误检；同类目标之间相似性大，难以区分，导致目标关联失误。这些都增加了遥感影像目标跟踪的难度。

传统方法采用相关滤波类算法实现遥感影像的目标跟踪。相关运算属于信号处理中的内容，反应了两个信号之间相似性的度量，相关滤波跟踪的基本思想就是，设计一个滤波模板，利用该模板与目标候选区域做相关运算，最大输出相应的位置即为当前帧的目标位置。目前最具代表性的相关滤波类跟踪算法是KCF算法，该算法通过对目标区域循环采样生成样本进行训练，利用循环矩阵的性质简化了计算，速度高达100+FPS。以KCF为代表的相关滤波类算法适合目标尺度变化小、无形变的场景，而且对目标遮挡的情况处理较差。此外，相关滤波类算法是单目标跟踪的算法，无法满足多目标跟踪的需求。随着深度学习方法的普及，人们提出了一系列基于卷积神经网络CNN的方法用于处理目标跟踪任务，如Siamese网络、deepSORT框架等。Siamese网络是近几年单目标跟踪上性能表现突出的单目标跟踪算法，目标模板和待跟踪的图像输入到两个相同的网络分支提取特征图，然后以模板提取的特征图为卷积核来对待跟踪图像提取的特征图做卷积操作，由此得到目标的位置。deepSORT是典型的多目标跟踪方法，该方法将跟踪分成两个阶段：检测以及关联，具体来讲就是先将图像输入到一个检测框架提取目标框的位置，然后对相邻两帧的目标框做关联操作，属于同一个目标的目标框分配相同的目标身份id，目前的关联操作一般是基于图匹配的方式，使用匈牙利算法来做优化。然而，这些方法均是针对自然场景设计的，难以处理好具有复杂场景的大尺度变化的遥感图像。

发明内容

本发明的目的在于提供一种大尺度遥感影像多目标跟踪方法，该方法能够实现具有复杂场景和大尺度变化的高精确遥感影像多目标跟踪。

为了实现上述目的，本发明采用的技术方案为：

一种大尺度遥感影像多目标跟踪方法，包括以下步骤：

步骤1：对遥感影像进行标注，将标注后的遥感影像进行数据预处理和数据扩增；

步骤2：将标注后的遥感影像输入目标跟踪网络，对目标跟踪网络进行训练；将无标注的遥感影像输入背景运动评估网络，进行自监督学习；

步骤3：将无标注的遥感影像输入训练好的目标跟踪网络以及背景运动评估网络，得到对应的跟踪结果和目标的运动参数。

进一步的，所述目标跟踪网络的工作方式为：

输入的遥感影像经过ResNet34得到初步特征结果，假设输入的遥感影像尺寸为(H,W)，则经过ResNet34得到尺寸分别为(H/4,W/4)、(H/8,W/8)、(H/16,W/16)、(H/32,W/32)的特征图，即为初步特征结果；初步特征结果再经过深层特征融合进行非线性、混合式地聚合，得到特征图；

将每帧的特征图分别送入到检测分支和多目标关联分支中，并将相邻两帧图像送入到背景运动评估网络中；

检测分支有三个任务头，特征图分别送入热度图任务头、目标框尺寸任务头以及目标中心偏移任务头中，每个任务头都包含一个256通道3×3卷积层以及1×1卷积层进行降维，得到最终的特征图，用于生成检测分支的结果；其中，热度图任务头用于生成目标框的中心点，目标框尺寸任务头用于回归目标框的长宽，目标中心偏移任务头用于回归中心点的偏移；

输入到多目标关联分支的特征图经过一个128通道的卷积核生成一个R^128×W×H的特征图，根据检测分支提取的目标框在该特征图中提取Re-id特征，通过计算Re-id特征和已跟踪目标之前的相似性对目标身份进行识别并关联到已有的跟踪轨迹中，得到目标跟踪结果；

所述背景运动评估网络的工作方式为：

背景运动评估网络同时接收相邻两帧的图像，先后经过两个64通道128×128卷积层、最大池化层、两个64通道64×64卷积层、最大池化层、两个128通道32×32卷积层、最大池化层、两个128通道16×16卷积层、1024维全连接层、2维全连接层，输出连续两帧背景分别在x,y方向上的偏移。

进一步的，步骤1中，对遥感影像进行标注的具体方式为，在每一帧视频图像中的目标位置处画上标注框，并为连续帧中的同一目标分配一个目标身份id；

对于多目标跟踪网络，数据扩增的具体方式为，采用旋转、缩放、翻转、提取舰船样本嵌入视频、添加云雾或海浪的方式对已有的遥感影像视频进行扩充；

对于背景运动评估网络，输入为一系列的初始图像，网络在初始图像中裁剪图像得到切片P1，对该图像的裁剪区域平移(x,y)得到切片P2，(P1，P2)即构成训练样本对，得到一系列的样本对以及真实的标签用于网络的训练。

进一步的，步骤3的具体方式为：

将无标注的遥感影像视频分割成大小为2000×1000的片段，输入网络得到跟踪结果；

将跟踪结果进行拼接，并进行拼接后处理；在拼接后处理中，将在物理位置上相邻的视频片段中存在的跨越视频片段的目标进行身份关联，判断是否存在目标进出视频片段的情况，并根据目标在相邻视频片段中离开以及进入视频中的位置进行匹配，得到最终的大尺度遥感视频跟踪结果。

本发明与现有技术相比，具有以下有益效果：

1.本发明利用基于深度残差网络的深层特征聚合模块，可以有效处理既有弱小目标又有大尺度变化的遥感影像，增加对目标纹理特征弱以及目标尺度变化大场景的检测能力。

2.本发明利用多目标关联网络模块，可以进一步区分同类目标中的不同目标个体并实现目标的关联。

3.本发明采用端到端的方式处理遥感影像目标跟踪问题，实现了多目标跟踪。

总之，本发明基于深层特征聚合骨干网络和目标检测模块、多目标关联网络模块、背景运动评估模块，采用多任务头输出的方式，实现了遥感影像的多目标跟踪。

附图说明

图1为本发明的操作流程步骤图。

图2为典型的海面港口遥感影像。

图3为提出的遥感影像目标跟踪网络结构图。

图4为提出的深度残差网络ResNet34的网络结构。

图5为提出的深层特征聚合网络。

图6为提出的目标检测后处理任务头。

图7为提出的目标关联后处理任务头。

图8为提出的背景运动评估网络结构图。

图9为网络输出的遥感影像目标跟踪结果图。

具体实施方式

为使本发明的目的，技术方案及效果更加清楚、明确，以下参考附图对本发明做进一步的详细说明。

一种大尺度遥感影像多目标跟踪方法，具体操作流程步骤如图1所示，包括以下步骤：

A：对遥感影像进行标注，将标注后的遥感影像进行数据预处理和数据扩增。

B：将标注后的遥感影像输入构建的目标跟踪网络，对目标跟踪网络进行训练；将无标注的遥感影像输入背景运动评估网络，进行自监督学习。

C：将无标注的遥感影像切割后输入训练好的目标跟踪网络以及背景运动评估网络中，得到对应的跟踪结果和目标的运动参数，然后进行拼接后处理。

其中，步骤A具体包括：

A1：对未标注数据进行标注，在每一帧视频图像中基于目标位置画上标注框，对连续帧的同一目标分配一个目标身份id，生成标注文件；

A2：采用旋转、缩放、翻转、提取舰船样本嵌入视频、添加云雾或海浪的复杂环境等方式对已有的遥感影像视频进行扩充。

步骤B具体包括：

B1：输入的遥感影像通过骨干网络ResNet34提取初步的特征结果；

B2：利用深层特征聚合对骨干网络提取的初步特征进行非线性、混合式地融合；

B3：将深层特征聚合提取的特征分别输入到检测分支、Re-id分支中，通过真实标签计算损失函数，网络训练30个批次；

B4：将视频按帧生成的图像集输入到背景运动评估网络中，自监督训练网络收敛。

步骤C具体包括：

C1：将测试视频分割成大小为2000×1000的片段，输入目标跟踪网络以及背景运动评估网络得到跟踪结果和背景运动参数；

C2：将跟踪结果进行拼接以及拼接后处理，输出原视频的跟踪结果和目标运动参数。

以下为一个更具体的例子：

一种大尺度遥感影像多目标跟踪方法，典型大尺度遥感影像如图2所示，模型结构如图3所示，主要由骨干网络-基于ResNet34的深层特征聚合网络、目标检测分支、多目标关联分支以及背景运动评估模块构成。首先通过骨干网络提取初步特征，然后利用目标检测分支获取目标框的位置，利用目标关联分支来给目标分配身份id，利用背景运动评估网络得到背景的运动参数，提高目标运动参数的精度，最后得到目标跟踪的结果和目标的运动参数。

其中，背景运动评估网络用于生成视频中连续两帧图像的配准误差。目标跟踪网络会输出图像序列中目标的位置，结合该信息和图像的配准误差得到目标的运动参数。

下面对各个步骤进行详细描述：

步骤S100：对遥感影像进行标注，将标注后的遥感影像进行数据预处理和数据扩增；具体方式如下：

步骤S101：对未标注数据进行标注，在每一帧视频图像中基于目标位置画上标注框，对连续帧的同一目标分配一个目标身份id，生成标注文件；

步骤S102：采用旋转、缩放、翻转、提取舰船样本嵌入视频、添加云雾或海浪的复杂环境等方式对已有的遥感影像视频进行扩充。具体地，基于旋转、缩放、翻转的扩充是在训练过程中完成的，在训练阶段通过数据集中的transform函数对数据集做以上操作，以增强模型的鲁棒性。构建复杂环境是通过模拟云雾环境以及在现有数据集中添加运动船只得到合成视频，这样的合成视频也作为训练数据送入网络。

步骤S200：将标注后的遥感影像输入构建的目标跟踪网络，对目标跟踪网络进行训练；具体方式如下：

步骤S201：输入的遥感影像经过骨干网络ResNet34得到初步的特征提取结果。具体地，输入的遥感影像经过连续的卷积或池化操作得到4个不同阶段输出的特征，浅层的特征空间分辨率高，具有丰富的结构信息，但缺乏语义信息；深层的特征空间分辨率低，具有高层次语义信息，但缺乏细节结构信息。4个阶段的输出分别对应原图1/4、1/8、1/16、1/32的尺寸，如图4所示。然后，图5中的深层特征融合机制利用基于可形变卷积的上采样以及简单的求和操作进行深层特征融合，这样提取的特征既包含丰富的结构信息，也包含丰富的语义信息。

步骤S202：通过检测分支来生成目标检测框。将骨干网络提取的特征图送入到检测分支中，如图6所示，检测分支有三个任务头，特征图分别送入热度图任务头、目标框尺寸任务头以及目标中心偏移任务头中，每个任务头都包含一个256通道3×3卷积层以及1×1卷积层进行降维。热度图任务头(heatmap)用于提取目标框的中心点，目标框尺寸任务头(boxsize)用于回归目标框的长宽，目标中心偏移任务头(centeroffset)任务头用于回归中心点的偏移，用于减少网络在下采样过程中位置信息的精度损失。

步骤S203：通过多目标关联分支来生成目标身份特征的嵌入。将骨干网络提取的特征图送入到多目标关联分支中，连续帧中同一id的不同目标视为一类，多目标关联分支用于生成区分不同目标的特征，同一目标不同框之间的相似性要大于不同目标框。具体来讲，在骨干网络提取的特征之后加上一个128通道的卷积核，然后在每一个目标位置提取Re-id特征生成一个特征向量，如图7所示。在训练数据中，所有的目标数量即是多目标关联分支中分类的数量，通过计算相似性损失来学习Re-id的特征嵌入。

步骤S204：通过背景运动评估网络来分析背景运动参数。具体来讲，将当前帧的图像和下一帧的图像送入背景运动评估网络中，如图8所示，连续两帧的图像在同一位置经过切片生成尺寸为128×128的样本对，然后经过一系列卷积和池化操作生成特征图，特征图经过两个全连接层输出连续两帧背景分别在x,y方向上的偏移。

步骤S300：将无标注的遥感影像输入训练好的目标跟踪网络，得到对应的跟踪结果和目标的运动参数；具体方式如下：

步骤S301：将无标记的测试视频进行分割，得到2000×1000的小尺寸图像。然后，输入训练好的目标跟踪网络，得到相同尺寸大小的分割结果。

步骤S302：将跟踪结果进行拼接以及拼接后处理。在拼接后处理中，将在物理位置上相邻的视频片段中存在的跨越视频片段的目标进行身份id关联，具体地，对于相邻的视频片段，判断是否存在目标进出视野，并根据目标在相邻视频片段中离开以及进入视频中的位置进行匹配，得到最终的大尺度遥感视频跟踪结果，如图9所示。

总之，本发明对于已标注的高分辨率遥感影像，首先进行数据预处理和数据扩增，然后利用扩增后的数据对遥感影像目标跟踪模型进行训练。训练过程中，图像首先经过骨干网络提取初步特征，然后该特征送入三个分支。在目标检测分支，生成多目标的检测框；在目标关联分支，学习一个区分不同目标的分类器，给不同目标分配不同的身份id，三个分支得到了多目标跟踪的结果以及多目标运动状态。同时，为了获取背景运动的偏移，通过自监督的方式训练背景运动评估网络。对于未标注的影像，首先将它分割为较小的图像块，输入目标跟踪网络中得到对应结果，再拼接起来并进行后处理，得到最终大尺寸跟踪结果。通过背景运动评估网络获取视频帧中的背景运动参数，结合目标跟踪结果以及背景运动参数得到最终的目标运动参数。

本发明将深层特征聚合应用于遥感影像，提升了对遥感影像中小目标的识别检测能力，以端到端的方式实现了多目标的跟踪。此外，本发明通过自监督方式训练背景运动评估网络，能够学习视频连续帧中的背景运动参数以生成更加精确的目标运动参数。

Claims (3)

1.一种大尺度遥感影像多目标跟踪方法，其特征在于，包括以下步骤：

步骤1：对遥感影像进行标注，将标注后的遥感影像进行数据预处理和数据扩增；

步骤2：将标注后的遥感影像输入目标跟踪网络，对目标跟踪网络进行训练；将无标注的遥感影像输入背景运动评估网络，进行自监督学习；所述目标跟踪网络的工作方式为：

输入的遥感影像经过ResNet34得到初步特征结果，假设输入的遥感影像尺寸为（H,W），则经过ResNet34得到尺寸分别为（H/4,W/4）、（H/8,W/8）、（H/16,W/16）、（H/32,W/32）的特征图，即为初步特征结果；初步特征结果再经过深层特征融合进行非线性、混合式地聚合，得到特征图；

将每帧的特征图分别送入到检测分支和多目标关联分支中，并将相邻两帧图像送入到背景运动评估网络中；

检测分支有三个任务头，特征图分别送入热度图任务头、目标框尺寸任务头以及目标中心偏移任务头中，每个任务头都包含一个256通道3×3卷积层以及1×1卷积层进行降维，得到最终的特征图，用于生成检测分支的结果；其中，热度图任务头用于生成目标框的中心点，目标框尺寸任务头用于回归目标框的长宽，目标中心偏移任务头用于回归中心点的偏移；

输入到多目标关联分支的特征图经过一个128通道的卷积核生成一个

的特征 图，根据检测分支提取的目标框在该特征图中提取Re-id特征，通过计算Re-id特征和已跟 踪目标之前的相似性对目标身份进行识别并关联到已有的跟踪轨迹中，得到目标跟踪结 果；

所述背景运动评估网络的工作方式为：

背景运动评估网络同时接收相邻两帧的图像，先后经过两个64通道128×128卷积层、最大池化层、两个64通道64×64卷积层、最大池化层、两个128通道32×32卷积层、最大池化层、两个128通道16×16卷积层、1024维全连接层、2维全连接层，输出连续两帧背景分别在x,y方向上的偏移；

步骤3：将无标注的遥感影像输入训练好的目标跟踪网络以及背景运动评估网络，得到对应的跟踪结果和目标的运动参数；

其中，背景运动评估网络用于生成视频中连续两帧图像的配准误差，目标跟踪网络会输出图像序列中目标的位置，根据图像序列中目标的位置和图像的配准误差得到目标的运动参数。

2.根据权利要求1所述的一种大尺度遥感影像多目标跟踪方法，其特征在于，步骤1中，对遥感影像进行标注的具体方式为，在每一帧视频图像中的目标位置处画上标注框，并为连续帧中的同一目标分配一个目标身份id；

对于多目标跟踪网络，数据扩增的具体方式为，采用旋转、缩放、翻转、提取舰船样本嵌入视频、添加云雾或海浪的方式对已有的遥感影像视频进行扩充；

对于背景运动评估网络，输入为一系列的初始图像，网络在初始图像中裁剪图像得到切片P1，对该图像的裁剪区域平移（x,y）得到切片P2，（P1，P2）即构成训练样本对，得到一系列的样本对以及真实的标签用于网络的训练。

3.根据权利要求1所述的一种大尺度遥感影像多目标跟踪方法，其特征在于，步骤3的具体方式为：

将无标注的遥感影像视频分割成大小为2000×1000的片段，输入网络得到跟踪结果；

将跟踪结果进行拼接，并进行拼接后处理；在拼接后处理中，将在物理位置上相邻的视频片段中存在的跨越视频片段的目标进行身份关联，判断是否存在目标进出视频片段的情况，并根据目标在相邻视频片段中离开以及进入视频中的位置进行匹配，得到最终的大尺度遥感视频跟踪结果。

Images