CN112308881A - 一种基于遥感图像的舰船多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于遥感图像的舰船多目标跟踪方法。解决了跟踪过程中无法同时兼顾实时性和准确性的技术问题。实现包括，建立深度特征模型；用改进的YOLO v3网络目标检测；用卡尔曼滤波器对目标进行跟踪并关联检测和跟踪结果；判断关联匹配结果；对未匹配结果进行处理；遍历所有图像，完成基于遥感图像的舰船多目标跟踪。本发明使用改进的YOLO v3网络完成目标的检测，使用马氏距离关联目标运动信息，引入MGN深度网络，关联目标外观信息。对未匹配的检测与跟踪结果进行处理。本发明提高目标跟踪准确率的同时，实时性也大幅提升，数据证明本发明FPS有3倍的提升，降低了预测时间。用于海洋及近海舰船目标的检测与跟踪。

Description

一种基于遥感图像的舰船多目标跟踪方法

技术领域

本发明属于目标跟踪技术领域，特别涉及舰船多目标跟踪，具体是一种基于遥感图像的舰船多目标跟踪方法，用于海洋及近海舰船目标跟踪。

背景技术

随着计算机科学和空间技术的进步，遥感技术，包括传感器技术、航天航空平台技术以及数据通信技术都得到了飞跃式的发展。遥感技术凭借其迅猛的发展以及在获取地面信息方面所特有的优势，广泛地应用到军事和国民经济的各个领域。基于遥感图像的目标跟踪在现代战争情报搜集、导弹预警、战场动态分析中起着重要的作用。

多目标跟踪(Multi-Obeject-Tracking)，相较于单目标跟踪，多目标跟踪主要考虑新目标进入和旧目标消失的问题，因此跟踪策略大不相同。多目标跟踪通常采用基于检测的跟踪策略TBD(Tracking-by-Detection)和基于初始框无需检测的跟踪策略DFT(Detection Free Tracking)。TBD的跟踪策略是即通过每一帧的目标检测，再依据目标检测的结果进行目标跟踪，最后进行数据关联。传统的多目标跟踪方法通常采用帧间差分法、光流法，虽然实时性较好，但是跟踪准确性较低且不稳定。随着深度学习算法的引入，SORT、LSST等跟踪算法通过结合目标运动信息、外观信息等更加丰富的信息进行预测跟踪。采用多维度、多层次的信息，会拥有更好的鲁棒性，但同时会带来较高的计算复杂度，导致实时性较差。深度特征使相似性的计算更准确，但它也需要同一场景更多的视场信息。

综上，传统跟踪方法计算较为简便，实时性好，但无法保证跟踪的准确性；而深度学习的跟踪方法依靠多种信息的计算使得跟踪准确率大大提升，但是计算复杂的巨幅增加使得实时性较差。随着遥感卫星技术的不断发展，遥感图像的篇幅日益增大，更大的图片尺寸包含的背景信息也就越多。如何在复杂的背景条件下，排除环境影响，完成对舰船目标精确的实时跟踪是一个亟需解决的问题。

发明内容

为了克服现有技术的不足，本发明提出了一种实时性更好，准确性更好的基于遥感图像的舰船多目标跟踪方法。

本发明是一种基于遥感图像的舰船多目标跟踪方法，其特征在于，包括有以下步骤：

步骤1：建立舰船目标的深度特征模型：构建的深度特征模型通过keras-YOLO网络训练得到。首先，采集遥感图像中的不同舰船目标图像，对其进行旋转、对比度增强、镜像、以及多尺度采样的预处理操作，使用LabelImg标注工具完成所有图像中的舰船目标标注，得到舰船目标数据集。将目标数据集按照9:1的比例分为训练集、测试集。把训练集投入keras-YOLO网络训练迭代20000次，获得目标的深度特征模型；

步骤2：用改进的YOLO v3网络进行目标检测：对于遥感卫星获得的待检遥感图像，使用改进YOLO v3网络对每幅待检图像进行逐帧图像的所有目标进行目标检测。为每张图像中的每个检测目标分配ID，并记录检测目标的状态信息，目标状态信息表示为：

其中u代表目标的中心位置的直角坐标系的横坐标，v代表目标的中心位置的直角坐标系的纵坐标，h代表目标边界框的高度，s表示目标边界框的长宽比，长宽比是常数，需要保持不变，

分别为目标在图像坐标系的速度信息的水平分量和竖直分量。得到所有被检测图像目标的状态信息，即得到跟踪目标的检测位置；

步骤3：用卡尔曼滤波器对目标进行跟踪，关联目标检测结果和跟踪结果：具体跟踪方法是根据目标检测所得的目标状态信息，使用匀速运动模型的标准卡尔曼滤波器对目标的运动状态进行预测，得到目标的预测位置。采用匈牙利算法完成目标预测位置与目标检测位置的关联匹配，得到目标的跟踪结果。利用马氏距离公式计算跟踪结果位置中心与检测目标中心的空间距离，匹配目标的运动轨迹。引入深度特征提取网络，计算跟踪目标的所有特征向量，计算目标特征向量与目标位置的最小余弦距离。使用最小余弦距离匹配目标外观特征，得到关联目标检测和跟踪结果；

步骤4：判断目标检测与跟踪的匹配结果：对得到关联目标检测和跟踪结果是否全部关联成功进行判断。如果全部匹配成功，执行步骤6，继续后续帧的跟踪。否则执行步骤5，对未匹配的目标检测与跟踪结果进行处理；

步骤5：对未匹配的目标检测与跟踪结果的处理：对于未匹配的跟踪结果、没有跟踪结果匹配的检测结果均进行IOU匹配，利用匈牙利算法进行指派。对于无任何匹配检测结果的跟踪结果，表示目标可能被遮挡，将当前跟踪结果状态置为待定。若后续3帧中皆未出现该目标检测结果，表示该目标已经消失，删除该目标的跟踪结果。对于没有跟踪结果匹配的检测结果，表示可能出现新目标。如果后续连续的3帧中潜在的新的追踪器对目标位置的预测结果都能够与检测结果正确关联，那么则确认是出现了新的运动目标。针对没有跟踪结果匹配的检测结果，如果不能达到该要求，则认为是出现了“虚警”，需要删除该运动目标。对于确认出现的新目标，记录跟踪结果，分配新的ID，更新所有正确匹配的跟踪结果以及目标特征集，用于下一帧运算；

步骤6：继续计算后续图像：获取下一帧图像，重复步骤2、3、4、5，完成后续帧图像的跟踪，直至完成所有待测图像的目标检测与跟踪；

步骤7：结束跟踪过程：当处理完所有图像后，结束基于遥感图像的舰船多目标跟踪过程。

本发明解决了现有跟踪方法无法同时兼顾目标跟踪实时性和准确性的技术问题。本发明结合深度特征，完成在线舰船多目标跟踪，提高了目标跟踪的实时性和准确性，并且具有较好的鲁棒性。

与现有技术相比，本发明的技术优势：

提高对大目标的敏感性和检测精度：引入YOLOv3网络完成目标检测过程，并针对本发明目标特征对YOLOv3网络进行改进。修改网络参数，提高检测速度，进一步提高对大目标的敏感性和检测精度。

提升目标跟踪准确性：在目标检测结果与跟踪结果关联过程中，使用马氏距离关联目标运动信息，引入深度特征网络提取目标外观特征，使用最小余弦距离关联目标外观信息。最终综合两种度量方式关联目标检测和跟踪结果，提高目标跟踪的准确率。整个跟踪过程中还对未匹配的检测结果和跟踪结果作进一步处理，减少目标消失和新目标出现导致的目标检测和跟踪结果匹配不准确的问题。

提升目标跟踪实时性：在目标检测过程中，修改YOLOv3网络，减少网络的预测类别，修改损失函数，降低YOLO算法预测时间。在跟踪过程中，使用计算量较小的卡尔曼滤波器进行预测跟踪、匈牙利算法进行匹配，计算更为简便，使得跟踪的实时性更好。

附图说明

图1是本发明的整体方案的流程图；

图2是本发明改进的YOLOv3算法示意图；

图3是本发明的检测结果和跟踪结果的匹配流程图；

图4是本发明舰船多目标跟踪效果图，其中图4(a)为连续两帧目标跟踪中前一帧效果图，图4(b)为连续两帧目标跟踪中后一帧效果图。

下面结合附图和实施例对本发明作详细描述，应当理解，以下所描述具体实施例用以解释本发明，并不限定本发明。

具体实施方式

实施例1

在现有的舰船目标跟踪方法中，传统跟踪方法计算较为简便，实时性好，但在长期的跟踪过程中无法保证跟踪的准确性；而深度学习的跟踪方法依靠多种维度的信息计算使得跟踪准确率大大提升，但是复杂的计算又使得该方法实时性较差。随着遥感图像的篇幅日益增大，针对复杂的背景条件，本发明意在改进现有方法，提出了一种对舰船多目标精确的实时跟踪方法。

本发明是一种基于遥感图像的舰船多目标跟踪方法，参见图1，包括有以下步骤：

步骤1：建立舰船目标的深度特征模型：构建的深度特征模型需要通过keras-YOLO网络训练得到，模型构建过程是，首先，采集遥感图像中的不同舰船目标图像，对其进行旋转、对比度增强、镜像、以及多尺度采样的预处理操作，使用LabelImg标注工具完成所有图像中的舰船目标标注，得到图像中的所有舰船目标数据集；将目标数据集按照9:1的比例分为训练集、测试集；把训练集投入keras-YOLO网络训练迭代20000次，获得目标的深度特征模型。

步骤2：用改进的YOLO v3网络进行目标检测：对于遥感卫星获得的待检遥感图像，使用改进YOLO v3网络对每幅待检图像进行逐帧图像检测，在每一帧中进行舰船目标检测，为每张图像中的每个检测目标分配ID，并记录检测目标的状态信息，目标状态信息表示为：

其中u代表目标的中心位置的直角坐标系的横坐标，v代表目标的中心位置的直角坐标系的纵坐标，h代表目标边界框的高度，s表示目标边界框的长宽比，长宽比是常数，需要保持不变，

分别为目标在图像坐标系的速度信息的水平分量和竖直分量，得到所有被检测图像中目标的状态信息，即得到跟踪目标的检测位置。

步骤3：用卡尔曼滤波器对目标进行跟踪，关联目标检测结果和跟踪结果：具体跟踪方法是根据目标检测所得的目标状态信息，使用匀速运动模型的标准卡尔曼滤波器对目标的运动状态进行预测，得到目标的预测位置，它的表达维度与目标检测的状态信息一致。采用匈牙利算法完成目标预测位置与目标检测位置的关联匹配，得到目标的跟踪结果，目标的跟踪结果中有目标中心位置坐标、速度信息。通过连续的目标跟踪结果可以得到目标运动轨迹。利用马氏距离公式计算跟踪结果位置中心与检测目标中心的空间距离，匹配目标的运动轨迹，完成目标运动信息的关联。引入深度特征提取网络，计算跟踪目标的所有特征向量，该特征向量即为目标的外观信息，计算目标特征向量与目标位置的最小余弦距离，使用最小余弦距离匹配目标外观特征，得到关联目标检测和跟踪结果。关联的目标检测结果就是目标的检测位置，跟踪结果即为目标匹配成功的预测位置。

步骤4：判断目标检测与跟踪的匹配结果：对得到关联目标检测和跟踪结果是否全部关联成功进行判断，如果全部匹配成功，执行步骤6，继续后续帧的跟踪；否则执行步骤5，对未匹配的目标检测与跟踪结果进行处理。为了提高目标跟踪的准确率，减少新目标产生和旧目标消失带来的误检、漏检的影响，本发明还专门对整个跟踪过程中对未匹配的检测结果和跟踪结果又进行了一次判断和处理。

步骤5：对未匹配的目标检测与跟踪结果的处理：对于未匹配的跟踪结果、没有跟踪结果匹配的检测结果均进行IOU匹配，利用匈牙利算法进行指派，对于无任何匹配检测结果的跟踪结果，表示目标可能被遮挡，将当前跟踪结果状态置为待定，若后续3帧中皆未出现该目标检测结果，表示该目标已经消失，删除该目标的跟踪结果。对于没有跟踪结果匹配的检测结果，表示可能出现新目标，如果后续连续的3帧中潜在的新的追踪器对目标位置的预测结果都能够与检测结果正确关联，那么则确认是出现了新的运动目标。针对没有跟踪结果匹配的检测结果，如果不能达到该要求，则认为是出现了“虚警”，需要删除该运动目标。对于确认出现的新目标，记录跟踪结果，分配新的ID，更新所有正确匹配的跟踪结果以及目标特征集，用于下一帧运算。针对未匹配的跟踪结果和没有跟踪结果匹配的检测结果，完成所有的匹配操作，直至全部匹配完成。本发明对整个跟踪过程中对未匹配的检测结果和跟踪结果作进一步处理，减少了目标消失和新目标出现导致的目标检测和跟踪结果匹配不准确的问题，大幅度提升目标跟踪的正确率。

步骤6：继续计算后续图像：获取下一帧图像，重复步骤2、3、4、5，完成后续帧图像的跟踪，遍历所有待测图像，直至完成所有待测图像的目标检测与跟踪。

步骤7：结束跟踪过程：当处理完所有图像后，结束基于遥感图像的舰船多目标跟踪过程。

针对现有技术的不足，本发明排除环境影响，结合了传统跟踪方法和深度学习方法的优点，提供了一种基于遥感图像的舰船多目标跟踪方法的整体技术方案。本发明的思路是引入YOLOv3网络完成目标检测过程，并针对本发明目标特征对YOLOv3网络进行改进。修改网络参数，减少网络的预测类别，提高检测速度；修改损失函数，降低YOLO算法预测时间；进一步提高对大目标的敏感性和检测精度。在跟踪过程中，使用计算量较小的卡尔曼滤波器进行预测跟踪、匈牙利算法进行匹配，计算更为简便，使得目标跟踪的实时性更好。在目标检测结果与跟踪结果关联过程中，使用马氏距离关联目标运动信息；引入深度特征网络提取目标外观特征，使用最小余弦距离关联目标外观信息，最终综合两种度量方式关联目标检测和跟踪结果，提高目标跟踪的准确率。整个跟踪过程中还对未匹配的检测结果和跟踪结果作进一步处理，减少目标消失和新目标出现导致的目标检测和跟踪结果匹配不准确的问题。

实施例2

基于遥感图像的舰船多目标跟踪方法同实施例1，本发明步骤2中用改进的YOLOv3进行目标检测由于本方法只针对遥感图像中的舰船目标，且该目标在图中多为大目标。因此对YOLO v3网络模型进行如下优化：具体包括有如下步骤，

2.1收集卫星拍摄的遥感图像，作为待检遥感图像。

2.2修改YOLO网络结构：引入YOLOv3检测网络，YOLO算法采用多尺度预测，共输出三层，将每层划分为S×S个网格，分别在13×13、26×26和52×52三个不同尺度上进行预测。然后每个网格负责去检测那些中心点落在该格子内的目标，每层特征图最终预测值为S×S×A(4+1+B)大小的张量，其中，S为网格数量、A为每层anchor box数量、B为预测类别。对其预测类别、预测尺度、采样anchor box以及预测损失函数进行修改，减少预测时间，加强对大目标的检测精度和敏感性。

2.3调整YOLO的损失函数：在损失函数中加入针对背景的损失调节因子focalloss，降低预测损失。

2.4完成对所有待检目标的检测：使用改进的YOLOv3网络完成对所有待检目标的检测，并记录目标的状态信息，用于后续跟踪过程。

本发明引入YOLOv3网络完成目标检测过程，并针对本发明要检测的目标特征对YOLOv3网络进行改进。修改网络参数，提高检测速度，进一步提高对大目标的敏感性和检测精度。经本发明修改的YOLOv3网络，减少网络的预测类别，修改损失函数，降低YOLO算法预测时间，提高目标检测的准确率和实时性。

实施例3

基于遥感图像的舰船多目标跟踪方法同实施例1-2，步骤2.2所述的修改YOLO网络结构，具体修改包括：

2.2.1减少预测类别class的数量，降低预测时间。

2.2.2只输出13×13以及26×26两个尺度的预测结果，舍弃适合小目标特征的52×52尺度的预测，提高对大目标的检测精度和速度。

2.2.3对于每种尺度采样，使用4组较大的anchor box值，提高检测时对大目标的敏感性。

本发明只针对遥感图像中的舰船目标，因此将预测类别可设为1，大大降低检测过程中的预测时间。在目标较大的情况下，在52×52的尺度层输出特征图的感受野对应目标的部分极小，此时使用锚点框进行预测，目标边框将很难保证锚点框对于大目标的覆盖率。本例中结合目标特征，修改YOLO网络结构参数，只输出13×13以及26×26两个尺度的预测，舍弃适合小目标特征的52×52的特征图，提高对大目标的检测精度和速度。设置8组较大的anchor box值，提高检测时对大目标的敏感性。

实施例4

基于遥感图像的舰船多目标跟踪方法同实施例1-3，步骤3所述的关联目标检测和跟踪结果，具体是：

3.1得到目标预测位置：根据目标检测所得的目标状态信息，使用匀速运动模型的标准卡尔曼滤波器对目标的运动状态进行预测，得到目标的预测位置。

3.2预测位置和检测位置关联匹配，得到目标的跟踪位置：采用匈牙利算法完成目标预测位置与目标检测位置的关联匹配，得到目标的跟踪位置。匈牙利算法是一种在多项式时间内求解任务分配问题的组合优化算法，通过增广路径来求得最大匹配。

3.3利用马氏距离表达目标的运动轨迹：针对得到目标的跟踪位置，用马氏距离表达目标的运动轨迹，马氏距离公式如下：

d⁽¹⁾(i,j)＝(d_j-y_i)^TS_i ^-1(d_j-y_i)

d _j表示第j个检测目标的边界框的位置，y_i表示第i个追踪器对目标的跟踪位置，Si表示检测位置与平均追踪位置之间的协方差矩阵，完成马氏距离对目标轨迹的表达。

3.4匹配目标的运动轨迹：马氏距离通过计算检测位置和平均追踪位置之间的标准差，将状态测量的不确定性进行了考虑。对实时计算获得的马氏距离d(i,j)表示的目标运动轨迹进行判断，如果某次关联的马氏距离小于等于指定的阈值t⁽¹⁾，则表示运动状态关联成功，也即匹配成功。否则，某次关联的马氏距离小于等于指定的阈值t⁽¹⁾，表示目标运动状态关联失败；使用的判断公式为：

式中，b_i,j ⁽¹⁾表示目标运动状态的关联结果，b_i,j ⁽¹⁾值为1表示关联成功，b_i,j ⁽¹⁾值为0表示关联失败。以从逆χ²分布计算得到的95％置信区间对马氏距离进行阈值化处理，阈值t⁽¹⁾值为9.4877。

3.5引入深度特征提取网络，计算得到关联目标检测和跟踪结果：引入深度特征提取网络Multiple Granularity Network(多粒度网络，MGN)。MGN是一个多分支的深度网络，包括一个全局特征表示的分支和两个局部特征表示的分支。通过将图片划分成多个条带，并且改变不同局部分支的条带数量来获得多粒度局部特征表示。MGN主干网络使用resnet50，并且将block res_conv4_1之后的部分分成三个分支，这三个分支的结构相似，但是下采样率不同；加载训练模型，输出128维归一化特征，可用于计算最小余弦距离，完成外观信息的匹配。

3.6使用最小余弦距离作为度量，匹配目标外观特征：计算第i个跟踪器的最近100个成功关联的特征集与当前帧第j个检测结果的特征向量间的最小余弦距离，余弦距离计算公式如下：

r_j表示当前帧第j个检测结果的特征向量，对于跟踪器i，

是存储每一个跟踪目标成功关联的最近100帧的特征向量的集合。如果某次关联的最小余弦距离小于指定的阈值t⁽²⁾，则表示外观信息关联成功，使用的公式为：

式中，b_i,j ⁽²⁾表示目标外观信息的关联结果，b_i,j ⁽²⁾值为1表示关联成功，b_i,j ⁽²⁾值为0表示关联失败，完成目标的外观匹配。阈值t⁽²⁾由MGN网络训练所得，t⁽²⁾值为0.9。

3.7确定目标的最终度量方式：鉴于距离度量对短期的预测和匹配效果很好，而对于长时间的遮挡的情况，使用外观特征的度量比较有效。因此，使用马氏距离和最小余弦距离两种度量方式的线性加权作为最终的度量方式，最终度量公式如下：

c_i,j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j)

式中，d⁽¹⁾(i,j)为目标第i个检测结果和第j个跟踪结果的马氏距离，d⁽²⁾(i,j)为目标第i个检测结果和第j个跟踪结果最小余弦距离，λ为常数，c_i,j即为计算得到的最终度量结果。

相较于传统的欧氏距离度量，马氏距离对状态测量的不确定性进行了考虑，它能有效计算两个样本的相似度。本发明在目标检测结果与跟踪结果关联过程中，使用马氏距离关联目标运动信息，排除变量之间的相关性干扰，使关联更加准确。本发明引入深度特征网络提取目标外观特征，使用最小余弦距离关联目标外观信息。最终综合马氏距离和最小余弦距离两种度量方式关联目标检测和跟踪结果，提高目标跟踪的准确率。整个跟踪过程中还对未匹配的检测结果和跟踪结果作进一步处理，减少目标消失和新目标出现导致的目标检测和跟踪结果匹配不准确的问题。

实施例5

基于遥感图像的舰船多目标跟踪方法同实施例1-4，步骤5所述的对未匹配的目标检测与跟踪结果的处理是指对目标检测位置和跟踪结果进行IOU匹配时，IOU计算的是目标预测位置和目标检测位置的交集区域大小和并集区域大小的比值，计算IOU值的公式如下：

匹配需要设定一个IOU阈值，IOU_MIN＝0.7，拒绝检测与目标重叠小于IOU_MIN的匹配。

本发明中，IOU计算值都在[0,1]之间，一般设置在0.5以上。理论上IOU值越大，表示相关度越大，结果越精确。最理想的情况是完全重叠，即IOU＝1。实际运用中，通常根据目标不同而设置不同。本发明根据舰船目标特征以及精度要求进行综合考虑，最终确定本例中IOU阈值，IOU_MIN＝0.7。

下面给出一个更加详细的例子对本发明进一步说明。

实施例6

基于遥感图像的舰船多目标跟踪方法同实施例1-5，如图1所示，本实施例给出了一种基于遥感图像的舰船多目标跟踪方法。具体步骤如下所述：

步骤1：建立舰船目标的深度特征模型：首先，舰船目标的深度特征模型通过keras-YOLO网络训练所得。采集遥感图像中的不同舰船目标图像，共计1354张。对其进行旋转、对比度增强、镜像、以及多尺度采样的预处理操作，获得共计38850张图片，作为深度特征模型的原始数据集。使用LabelImg标注工具完成所有图像中的舰船目标标注，得到舰船目标数据集。将目标数据集按照9:1的比例分为训练集、测试集。把训练集投入keras-YOLO网络训练迭代20000次，获得目标的深度特征模型。将深度特征模型加载到YOLOv3网络，完成全局初始化，为后续跟踪过程做准备。

步骤2：用改进的YOLO v3网络进行目标检测：如图2所示，对于遥感卫星获得的待检遥感图像，使用改进YOLO v3网络对每幅待检图像进行逐帧图像的所有目标进行目标检测，为每张图像中的每个检测目标分配ID，并记录检测目标的状态信息，其具体步骤如下：

步骤2.1：收集卫星拍摄的遥感图像，作为待检遥感图像。输入待检测图像，进行网络划分。

步骤2.2：卷积神经网络提取特征，预测分类：使用YOLOv3网络提取待检图像中的舰船目标特征，进行预测分类。YOLO算法采用多尺度预测，共输出三层预测值，将每一层划分为S×S个网格，分别在13×13、26×26和52×52三个不同尺度上进行预测，然后每个网格负责去检测那些中心点落在该格子内的目标。每层特征图最终预测值S×S×A(4+1+B)大小的张量，其中，S为网格数量、A为每层anchor box数量、B为预测类别。

本例中，只需检测遥感图像中的舰船目标，因此将预测类别B设为1，可大大降低检测过程中的预测时间。在目标较大的情况下，在52×52的尺度层输出特征图的感受野对应目标的部分极小，此时使用锚点框进行预测，目标边框将很难保证锚点框对于大目标的覆盖率。因此，结合本例目标特征，修改YOLO网络结构参数，只输出13×13以及26×26两个尺度的预测，舍弃适合小目标特征的52×52的特征图，提高对大目标的检测精度和速度；设置8组较大的anchor box值，提高检测时对大目标的敏感性。这8组值通过对原始尺度进行线性尺度拉升所得，计算公式为：

x'₈＝βx₈

x_i为第i个原始anchor box的初始横向尺寸大小，y_i为第i个原始anchor box的初始纵向尺寸大小，α为x1的缩放系数、β为x8的缩放系数，x_i为第i个原始anchor box线性拉升后的横向尺寸大小，y_i为第i个原始anchor box线性拉升后的纵向尺寸大小。经线性拉升后，8组anchor box值分别为(89×80)、(116×90)、(148×291)、(156×198)、(166×141)、(237×330)、(313×193)、(373×326)。在最小的13×13特征图上(有最大的感受野)应用较大的先验框(166×141)，

(237×330)，(313×193)，(373×326)，适合检测较大的对象。中等的26×26特征图上(中等感受野)应用中等的先验框(89×80)，(116×90)，(148×291)，(156×198)，适合检测中等大小的对象。在训练过程中，调整YOLO的损失函数，使用针对背景加入loss调节因子的focal loss降低预测loss值，focal loss的计算公式为：

F_L(p_t)＝-(1-p_t)^γlog(p_t)

其中，γ为大于等于0的调制因子，用于减少易分类样本的损失，p_t为预测概率。

步骤2.3：边界框回归，拒绝置信度低于阈值的检测：对单目标物体、多检测框的检测进行非极大抑制计算。首先从所有的检测框中找到置信度最大的那个框，然后计算它与所有剩余检测框的IOU值，如果其值大于设定的阈值，那么就删除该检测框。保留小于或等于阈值的检测框，对保留的检测框结果重复上述过程，继续与剩余检测框的IOU值，直至剩余唯一检测框，保留剩余的唯一结果类别作为作为该目标的最终检测结果，输出最终检测信息。本例中，非极大抑制阈值设为0.4。

步骤3：根据目标的状态信息，使用卡尔曼滤波器对目标下一帧的位置进行预测。采用匈牙利算法完成预测位置与目标检测位置匹配的关联部分。如图3所示，包括以下步骤：

3.1得到目标预测位置：根据目标检测所得的目标状态信息，使用匀速运动模型的标准卡尔曼滤波器对目标的运动状态进行预测，得到目标的预测位置。

3.2预测位置和检测位置关联匹配，得到目标的跟踪位置：采用匈牙利算法完成目标预测位置与目标检测位置的关联匹配，得到目标的跟踪位置。匈牙利算法是一种在多项式时间内求解任务分配问题的组合优化算法，通过增广路径来求得最大匹配。

3.3：利用马氏距离来计算预测位置中心位置与检测目标中心位置的空间距离，关联目标运动信息。引入MGN(Multiple Granularity Network)深度特征提取网络，使用跟踪目标所有特征向量与目标的最小余弦距离作为度量，关联目标外观信息；MGN是一个多分支的深度网络，包括一个全局特征表示的分支和两个局部特征表示的分支。通过将输入图片，即待检测图像划分成多个条带，并且改变不同局部分支的条带数量来获得多粒度局部特征表示。MGN主干网络使用resnet50，并且将block res_conv4_1之后的部分分成三个分支，这三个分支的结构相似，但是下采样率不同。加载训练模型，输出128维归一化特征，可用于计算最小余弦距离，完成外观信息的匹配。计算第i个跟踪器的最近100个成功关联的特征集与当前帧第j个检测结果的特征向量间的最小余弦距离。过滤余弦距离大于阈值的外观信息。此处，本例设定余弦距离阈值为0.9。

3.4：确定目标的最终度量方式：鉴于距离度量对短期的预测和匹配效果很好，而对于长时间的遮挡的情况，使用外观特征的度量比较有效。因此，本发明使用马氏距离和最小余弦距离两种度量方式的线性加权作为最终的度量方式。

步骤4：判断目标检测与跟踪的匹配结果：对得到关联目标检测和跟踪结果是否全部关联成功进行判断。如果全部匹配成功，执行步骤6，继续后续帧的跟踪；否则，还存在有未成功匹配的目标检测与跟踪结果，则执行步骤5，对未匹配的目标检测与跟踪结果进行处理。

步骤5：对未匹配的目标检测与跟踪结果的处理：对于未匹配的跟踪结果、没有跟踪结果匹配的检测结果均进行IOU匹配，利用匈牙利算法进行指派。对于无任何匹配检测结果的跟踪结果，表示目标可能被遮挡，将当前跟踪结果状态置为待定。若后续3帧中皆未出现该目标检测结果，表示该目标已经消失，删除该目标的跟踪结果。对于没有跟踪结果匹配的检测结果，表示可能出现新目标。如果后续连续的3帧中潜在的新的追踪器对目标位置的预测结果都能够与检测结果正确关联，那么则确认是出现了新的运动目标。针对没有跟踪结果匹配的检测结果，如果不能达到该要求，则认为是出现了“虚警”，需要删除该运动目标。对于确认出现的新目标，记录跟踪结果，分配新的ID，更新所有正确匹配的跟踪结果以及目标特征集，用于下一帧运算。

步骤6：继续计算后续图像：获取下一帧图像，重复步骤2、3、4、5，完成后续帧图像的跟踪，直至完成所有待测图像的目标检测与跟踪。

步骤7：结束跟踪过程：当处理完所有图像后，结束基于遥感图像的舰船多目标跟踪过程。

本发明提供的一种基于遥感图像的舰船多目标跟踪方法，涉及目标跟踪领域。采用TBD(Tracking by Detection)的在线跟踪策略，使用改进的YOLO v3网络完成目标的检测，记录目标的状态信息。根据目标状态信息，使用kalman滤波器完成目标的位置预测，通过运动信息和外观信息关联目标。使用马氏距离关联目标运动信息，计算中添加协方差矩阵，相比欧式距离，规避了对于数据特征方差不同的风险。引入MGN深度网络，提取目标外观信息，提升对部分遮挡目标的追踪效果。使用匈牙利算法完成检测目标和跟踪目标的匹配。忽略低于IOU阈值的匹配对，完成跟踪过程。

下面通过仿真实验对本发明效果再做说明。

实施例7

基于遥感图像的舰船多目标跟踪方法同实施例1-6，设计仿真实验对本方法进行验证。

仿真条件与内容：

本实例实验硬件环境为Intel Core i5-8300H CPU，主频为2.30GHz，8G内存，GPU为RTX 20606G，算法基于keras框架，CUDA库，在Windows10下python3.7环境运行。对固定区域的连续1100帧图像进行跟踪，单帧输入图片尺寸为5420×3580。

仿真结果与分析：

参见图4，图4为本发明舰船多目标跟踪部分仿真结果效果图，其中图4(a)为连续两帧目标跟踪中前一帧效果图，图4(b)为连续两帧目标跟踪中后一帧效果图。图4(a)中，检测跟踪到了4艘舰船目标，并为检测到的每艘舰船目标分配了不同的ID，参见图4(a)中的1、2、3、4。对于运动的舰船目标还给出了该目标在相邻帧间的运动轨迹。对每幅图像中的舰船目标有一个计数的功能，并给出了每幅图像的实时处理速度FPS。图4(b)中，对于上一帧中出现的ID为1、2、3、4的舰船目标继续完成跟踪过程，标识出与上一帧之间的运动轨迹。对新出现的舰船目标，为它分配新的ID，5。完成本帧图像的目标计数，计算实时处理速度FPS。两帧图像中，对所有舰船目标都完成精准的跟踪。对于已出现的目标，下一帧中保留它的ID，持续跟踪。并根据它的航向，精准的给出它的航迹。对于新出现的目标，能完成精准检测跟踪，分配新的ID。

仅从连续两帧的跟踪效果图目视可见，本发明能捕捉相邻两帧图像之间秒级的变化信息，如ID为2的舰船方向的变化和ID为5的舰船的初次出现，可见本发明得到信息的精准，证明本发明具有较高的检测和跟踪精度。

实施例8

基于遥感图像的舰船多目标跟踪方法同实施例1-6，仿真条件与内容同实施例7。

本例中给出本发明与其他算法性能进行对比，表1为本发明与SORT算法指标对比表，

表1本发明与SORT算法指标对比表

	FPS	MOTA	MOTP	IDSwitch
					SORT	0.95	79.7％	73.5％	86
本发明	3.23	96.2％	91.5％	23

表1为本发明与SORT算法对1100帧连续待检图像的目标跟踪仿真实验数据。表1中，FPS(Frames Per Second)表示每秒处理的图像帧数，它代表了算法的处理速度，FPS数值越高表示算法实时性越好。MOTA(Multiple Object Tracking Accuracy)代表结合误检和漏检的跟踪准确率。MOTA取值在[0,1]之间，MOTA值为1时，表示不存在漏检和误判的情况。MOTP(Multiple Object Tracking precision)代表目标位置和跟踪框的匹配度。理论上，MOTP值越接近1越好，当MOTP值为1时，表示目标跟踪位置与目标实际完全重合。IDSwitch代表为目标分配的ID发生变化的次数，ID Switch值越大说明目标ID变化次数越多，即跟踪准确率越低。

由实验结果可以看出，相较于SORT算法，本发明引入改进的YOLOv3深网络进行目标检测，提升运算速率和准确率，每秒处理帧数FPS有3倍以上的提升，确保了实时性。相较于SORT算法，多目标跟踪准确率MOTA和多目标跟踪精准度MOTP分别有16.5％和18.0％的提高，均达到了90％以上。表明本发明能对舰船目标跟踪的过程中，漏检和误判的情况大大减少，目标的跟踪位置也更加准确，与实际目标的重合度有较大提升。本发明在检测结果和跟踪结果关联匹配的模块中，使用马氏距离关联目标运动信息，引入MGN网络提取的深度外观特征关联外观信息。本发明还在跟踪过程中对未匹配的检测结果和跟踪结果作进一步处理，减少目标消失和新目标出现导致的目标检测和跟踪结果匹配不准确的问题。相较于SORT算法，本发明ID Switch次数减少了73.3％，只出现了23次。表明本发明具有较高的跟踪准确率。

综上所述，本发明的一种基于遥感图像的舰船多目标跟踪方法，涉及目标跟踪领域。解决了舰船目标跟踪过程中无法同时兼顾目标跟踪实时性和准确性的技术问题。实现包括，通过建立舰船目标的深度特征模型；用改进的YOLO v3网络进行目标检测；用卡尔曼滤波器对目标进行跟踪，关联目标检测结果和跟踪结果；判断目标检测与跟踪的匹配结果；对未匹配的目标检测与跟踪结果的处理；继续计算后续图像；结束跟踪过程，完成基于遥感图像的舰船多目标跟踪。本发明结合深度特征，完成在线舰船多目标跟踪，提高了目标跟踪的实时性和准确性，并且具有较好的鲁棒性。本发明采用TBD(Tracking by Detection)的在线跟踪策略，使用改进的YOLO v3网络完成目标的检测，记录目标的状态信息。根据目标状态信息，使用kalman滤波器完成目标的位置预测，通过运动信息和外观信息关联目标。使用马氏距离关联目标运动信息，计算中添加协方差矩阵，相比欧式距离，规避了对于数据特征方差不同的风险。引入MGN深度网络，提取目标外观信息，提升对部分遮挡目标的追踪效果。使用匈牙利算法完成检测目标和跟踪目标的匹配。忽略低于IOU阈值的匹配对，完成跟踪过程。本发明在提高目标跟踪准确率的同时，实时性也有大幅提升，并具有好的鲁棒性。本发明用于海洋及近海舰船目标的检测与跟踪。

Claims (5)

1.一种基于遥感图像的舰船多目标跟踪方法，其特征在于，包括有以下步骤：

步骤1：建立舰船目标的深度特征模型：构建的深度特征模型通过keras-YOLO网络训练得到，首先，采集遥感图像中的不同舰船目标图像，对其进行旋转、对比度增强、镜像、以及多尺度采样的预处理操作，使用LabelImg标注工具完成所有图像中的舰船目标标注，得到舰船目标数据集；将目标数据集按照9:1的比例分为训练集、测试集；把训练集投入keras-YOLO网络训练迭代20000次，获得目标的深度特征模型；

步骤2：用改进的YOLO v3网络进行目标检测：对于遥感卫星获得的待检遥感图像，使用改进YOLO v3网络对每幅待检图像进行逐帧图像的所有目标进行目标检测，为每张图像中的每个检测目标分配ID，并记录检测目标的状态信息，目标状态信息表示为：

其中u代表目标的中心位置的直角坐标系的横坐标，v代表目标的中心位置的直角坐标系的纵坐标，h代表目标边界框的高度，s表示目标边界框的长宽比，长宽比是常数，保持不变，

为别为目标在图像坐标系的速度信息的水平分量和竖直分量，得到所有被检测图像目标的状态信息，即得到跟踪目标的检测位置；

步骤3：用卡尔曼滤波器对目标进行跟踪，关联目标检测结果和跟踪结果：具体跟踪方法是根据目标检测所得的目标状态信息，使用匀速运动模型的标准卡尔曼滤波器对目标的运动状态进行预测，得到目标的预测位置；采用匈牙利算法完成目标预测位置与目标检测位置的关联匹配，得到目标的跟踪结果；利用马氏距离公式计算跟踪结果位置中心与检测目标中心的空间距离，匹配目标的运动轨迹；引入深度特征提取网络，计算跟踪目标的所有特征向量，计算目标特征向量与目标位置的最小余弦距离，使用最小余弦距离匹配目标外观特征，得到关联目标检测和跟踪结果；

步骤4：判断目标检测与跟踪的匹配结果：对得到关联目标检测和跟踪结果是否全部关联成功进行判断，如果全部匹配成功，执行步骤6，继续后续帧的跟踪；否则执行步骤5，对未匹配的目标检测与跟踪结果进行处理；

步骤5：对未匹配的目标检测与跟踪结果的处理：对于未匹配的跟踪结果、没有跟踪结果匹配的检测结果均进行IOU匹配，利用匈牙利算法进行指派，对于无任何匹配检测结果的跟踪结果，表示目标可能被遮挡，将当前跟踪结果状态置为待定，若后续3帧中皆未出现该目标检测结果，表示该目标已经消失，删除该目标的跟踪结果；对于没有跟踪结果匹配的检测结果，表示可能出现新目标，如果后续连续的3帧中潜在的新的追踪器对目标位置的预测结果都能够与检测结果正确关联，那么则确认是出现了新的运动目标；针对没有跟踪结果匹配的检测结果，如果不能达到该要求，则认为是出现了“虚警”，需要删除该运动目标；对于确认出现的新目标，记录跟踪结果，分配新的ID，更新所有正确匹配的跟踪结果以及目标特征集，用于下一帧运算；

步骤6：继续计算后续图像：获取下一帧图像，重复步骤2、3、4、5，完成后续帧图像的跟踪，直至完成所有待测图像的目标检测与跟踪；

步骤7：结束跟踪过程：当处理完所有图像后，结束基于遥感图像的舰船多目标跟踪过程。

2.根据权利要求1所述的基于遥感图像的舰船多目标跟踪方法，其特征在于，步骤2所述的用改进的YOLO v3进行目标检测，具体包括有如下步骤，

2.1收集卫星拍摄的遥感图像，作为待检遥感图像；

2.2修改YOLO网络结构：引入YOLOv3检测网络，YOLO算法采用多尺度预测，共输出三层，将每层划分为S×S个网格，分别在13×13、26×26和52×52三个不同尺度上进行预测，然后每个网格负责去检测那些中心点落在该格子内的目标，每层特征图最终预测值为S×S×A(4+1+B)大小的张量，其中，S为网格数量、A为每层anchor box数量、B为预测类别；对其预测类别、预测尺度、采样anchor box以及预测损失函数进行修改，减少预测时间，加强对大目标的检测精度和敏感性；

2.3调整YOLO的损失函数：在损失函数中加入针对背景的损失调节因子focal loss，降低预测损失；

2.4完成对所有待检目标的检测：使用改进的YOLOv3网络完成对所有待检目标的检测，并记录目标的状态信息，用于后续跟踪过程。

3.根据权利要求2所述的基于遥感图像的舰船多目标跟踪方法，其特征在于，步骤2.2所述的修改YOLO网络结构，具体修改包括：

2.2.1减少预测类别class的数量，降低预测时间；

2.2.2只输出13×13以及26×26两个尺度的预测结果，舍弃适合小目标特征的52×52尺度的预测，提高对大目标的检测精度和速度；

2.2.3对于每种尺度采样，使用4组较大的anchor box值，提高检测时对大目标的敏感性。

4.根据权利要求1所述的基于遥感图像的舰船多目标跟踪方法，其特征在于，步骤3所述的关联目标检测和跟踪结果，具体是：

3.1得到目标预测位置：根据目标检测所得的目标状态信息，使用匀速运动模型的标准卡尔曼滤波器对目标的运动状态进行预测，得到目标的预测位置；

3.2预测位置和检测位置关联匹配，得到目标的跟踪位置：采用匈牙利算法完成目标预测位置与目标检测位置的关联匹配，得到目标的跟踪位置；匈牙利算法是一种在多项式时间内求解任务分配问题的组合优化算法，通过增广路径来求得最大匹配；

3.3利用马氏距离表达目标的运动轨迹：针对得到目标的跟踪位置，用马氏距离表达目标的运动轨迹，马氏距离公式如下：

d⁽¹⁾(i,j)＝(d_j-y_i)^TS_i ^-1(d_j-y_i)

d_j表示第j个检测目标的边界框的位置，y_i表示第i个追踪器对目标的跟踪位置，Si表示检测位置与平均追踪位置之间的协方差矩阵，完成马氏距离对目标轨迹的表达；

3.4匹配目标的运动轨迹：对实时计算获得的马氏距离d(i,j)表示的目标运动轨迹进行判断，如果某次关联的马氏距离小于等于指定的阈值t⁽¹⁾，则表示运动状态关联成功，也即匹配成功，否则，表示目标运动状态关联失败；使用的判断公式为：

式中，b_i,j ⁽¹⁾表示目标运动状态的关联结果，b_i,j ⁽¹⁾值为1表示关联成功，b_i,j ⁽¹⁾值为0表示关联失败，以从逆χ²分布计算得到的95％置信区间对马氏距离进行阈值化处理，阈值t⁽¹⁾值为9.4877；

3.5计算得到关联目标检测和跟踪结果：引入深度特征提取网络即多粒度网络MGN；MGN是一个多分支的深度网络，包括一个全局特征表示的分支和两个局部特征表示的分支；通过将图片划分成多个条带，并且改变不同局部分支的条带数量来获得多粒度局部特征表示；MGN主干网络使用resnet50，并且将block res_conv4_1之后的部分分成三个分支，这三个分支的结构相似，但是下采样率不同；加载训练模型，输出128维归一化特征，可用于计算最小余弦距离，完成外观信息的匹配；

3.6使用最小余弦距离作为度量，匹配目标外观特征：计算第i个跟踪器的最近100个成功关联的特征集与当前帧第j个检测结果的特征向量间的最小余弦距离，余弦距离计算公式如下：

r_j表示当前帧第j个检测结果的特征向量，对于跟踪器i，

是存储每一个跟踪目标成功关联的最近100帧的特征向量的集合；如果某次关联的最小余弦距离小于指定的阈值t⁽²⁾，则表示外观信息关联成功，使用的公式为：

式中，b_i,j ⁽²⁾表示目标外观信息的关联结果，b_i,j ⁽²⁾值为1表示关联成功，b_i,j ⁽²⁾值为0表示关联失败；完成目标的外观匹配；阈值t⁽²⁾由MGN网络训练所得，t⁽²⁾值为0.9；

3.7确定目标的最终度量方式：鉴于距离度量对短期的预测和匹配效果很好，而对于长时间的遮挡的情况，使用外观特征的度量比较有效；因此，使用马氏距离和最小余弦距离两种度量方式的线性加权作为最终的度量方式，最终度量公式如下：

c_i,j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j)

式中，d⁽¹⁾(i,j)为目标第i个检测结果和第j个跟踪结果的马氏距离，d⁽²⁾(i,j)为目标第i个检测结果和第j个跟踪结果最小余弦距离，λ为常数，c_i,j即为计算得到的最终度量结果。

5.根据权利要求1所述的基于遥感图像的舰船多目标跟踪方法，其特征在于，步骤5所述的对未匹配的目标检测与跟踪结果的处理是指对目标检测位置和跟踪结果进行IOU匹配时，IOU计算的是目标预测位置和目标检测位置的交集区域大小和并集区域大小的比值，计算IOU值的公式如下：

匹配需要设定一个IOU阈值，IOU_MIN＝0.7，拒绝检测与目标重叠小于IOU_MIN的匹配。

Images