CN111553934A - 一种采用多维度融合的多船舶跟踪方法 - Google Patents

Abstract

本发明公开了一种采用多维度融合的多船舶跟踪方法，包括：图像预处理；通过前端特征提取模块提取船舶特征；将当前帧船舶目标特征图分别与之前所有帧中船舶目标的特征图经特征融合模块进行融合，得到融合后特征；将融合后特征经后端特征提取层得到当前帧船舶目标与之前所有帧中船舶目标之间的关联矩阵，根据相似性得到预跟踪的结果；将预跟踪的结果利用运动匹配优化模块进行优化得到最终跟踪结果。本发明引入ASPP模块提高网络对于不同尺寸目标的建模能力，使得特征更能表达语义信息；提出了联合检测区域建模模块，进一步提升建模能力；提出运动匹配优化模块达到对预跟踪结果的优化与精修，使得跟踪器更为稳定，不过度于依赖检测器的性能。

Description

一种采用多维度融合的多船舶跟踪方法

技术领域

本发明涉及一种多船舶跟踪方法，特别是一种采用多维度融合的多船舶跟踪方法，属于数字图像处理领域。

背景技术

海洋监测是海洋环境保护和沿海国家执法的主要内容。随着海上交通的快速发展，船舶进出海道的数量不断增加，导致海道运输密度不断增大。与陆地交通不同，海洋上没有任何交通信号灯和交通标记来规范船舶的航行，从而使得船舶碰撞事故的发生成为一种可能。因此，对于利用计算机视觉和图像处理技术来分析每个船舶的运动轨迹，进而可以处理上述意外问题的多船舶跟踪技术的研究显得尤为重要。

现有的多船舶跟踪方法主要分为以下5类：基于特征点的多船舶跟踪方法、基于水平集的多船舶跟踪方法、基于贝叶斯网络的多船舶跟踪方法、基于光流的多船舶跟踪方法和基于卡尔曼滤波的多船舶跟踪方法。然而，由于海洋背景的局限性和特殊性，对多船舶跟踪问题的研究相对有限。现有的多目标跟踪方法主要可以归纳为7类：基于前景建模的多目标跟踪方法，基于动态规划的多目标跟踪方法，基于光流的多目标跟踪方法，基于聚类的多目标跟踪方法，基于条件随机场的多目标跟踪方法，传统的基于机器学习的多目标跟踪方法和基于神经网络的多目标跟踪方法。其中根据目标的初始化方式的不同，多目标跟踪算法又遵循着两条主线：基于检测的多目标跟踪方法和脱离检测的多目标跟踪方法，由于检测算法的逐步完善，基于检测的多目标跟踪方法较多。但是，由于多船舶跟踪问题的特殊性，即与多目标常见跟踪背景(行人、车辆)不同的是，由于海天背景的广阔性，导致远海目标和近海目标总是同时存在，因此需要将多尺度目标的跟踪问题考虑在内，这就导致当前性能优异的多目标跟踪方法也不能直接适用于多船舶跟踪问题；同时，基于检测的多目标跟踪技术过分的依赖于检测器性能的优劣，导致跟踪器的性能也会受到影响。

发明内容

针对上述现有技术，本发明要解决的技术问题是提供一种更稳定精度更高的适用于多船舶跟踪问题采用多维度融合的多船舶跟踪方法，以解决利用现有的多目标跟踪算法进行多船舶跟踪任务时出现的精度下降的问题。

为解决上述问题，本发明的一种采用多维度融合的多船舶跟踪方法，包括以下步骤：

S1：对全部输入图片进行预处理；

S2：将预处理后的图片输入到前端特征提取模块中进行船舶特征的提取，具体为：输入的图像首先经过32个特征提取层进行特征的初步提取；在32个体征提取层中随机挑选两处添加ASPP模块；接着从这34个特征提取层中选择9层，并提取这9层各自的输出特征图；最后，将挑选的特征图输入联合全局检测区域建模模块进行特征的提取与表达，输出对应于输入图像帧中所有船舶目标的特征表达结果；

S3：将按照S2的方式得到的当前帧船舶目标的特征图分别与之前所有帧中船舶目标的特征图经特征融合模块进行融合，得到融合后的特征；

S4：将融合后的特征经后端特征提取层得到当前帧船舶目标与之前所有帧中船舶目标之间的关联矩阵

Nm代表每帧图像最大的船舶目标个数，表示当前帧中的船舶与先前帧中的船舶之间的相似性，得到预跟踪的结果；

S5：将预跟踪的结果利用运动匹配优化模块进行优化得到最终的跟踪结果。

进一步的，S1中对输入图片进行预处理具体包括：

对全部图片采用随机方式进行预处理，预处理方式包括：对比度变换、空间转换、饱和度变换、色调变换，随机方式为服从[0，1]的均匀分布，即X～U(0,1)，在上述任一一种预处理方式执行前按照[0，1]均匀分布进行随机抽样，当X≥0.5时对输入图片进行对应的预处理操作，经过随机预处理后全部图片进行尺度扩充与重置。

进一步的，S2中ASPP模块具体为：特征图输入至ASPP模块后，模块对特征图进行4个不同空洞率的空洞卷积操作，然后将不同空洞率得到的特征图进行拼接，最后，将拼接结果按通道数进行压缩以减少网络的计算量并作为ASPP模块的输出。

进一步的，S2中联合全局检测区域建模模块具体为：由Sq-AgC层和特征统计层组成；

Sq-AgC层是一个由压缩、扩充和拼接三层组成的复合层，首先将特征图分别输入至压缩层中进行通道数的压缩，减少特征图的总数；然后，将所有的特征图扩充到相同的大小，降低网络在此部分的运行时间；最后将这些相同大小的特征图进行拼接，从而为接下来的为特征统计层做准备；

特征统计层选择使用平均值来表达整体检测区域内的特征，在Sq-AgC层之后，特征图均被扩充到相同大小并拼接在一起，对这些特征图的同一位置区域同时地进行特征均值求取操作；最后，将从不同特征图中得到的均值拼接在一起，形成对应船舶目标的特征向量，对于一帧图像最终形成的是一幅二维的特征表达映射图，每一行表征一个当前帧中的船舶目标。

进一步的，S3中将按照S2的方式得到的当前帧船舶目标的特征图分别与之前所有帧中船舶目标的特征图经特征融合模块进行融合，得到融合后的特征具体包括：

将当前帧的特征表达映射图Φ按行拆分成Nm个不同的特征向量，然后每个特征向量复制Nm次，为每艘船形成一个新的特征图Φ_1k，k表示是Φ₁中的第k张特征图片，即第k艘船，0≤k≤Nm,Φ₁＝{Φ₁₁，Φ₁₂，......Φ_1Nm}；接下来分别从每个新的特征图Φ_1k中均提取第j列，0≤j≤520，以逐行的方式将提取的特征列进行拼接，形成新的特征图Φ_2j，全部Φ_2j构成特征图Φ₂，Φ₂＝{Φ₂₁，Φ₂₂，......Φ₂₅₂₀}，最终将Φ₂中的所有特征图按顺序进行拼接形成一个特征立方体Ψ_t，t指当前时刻；接着，将之前的每一帧按照和当前帧同样的处理方式得到对应的特征立方体Ψ_τ，0≤τ≤t-1，即Ψ_τ＝{Ψ₁，Ψ₂，...，Ψ_t-1}，此时，将特征立方体Ψ_t分别与不同的Ψ_τ按顺序拼接形成不同的特征体Ψ_t，τ＝{Ψ_t,1，Ψ_t,2，...，Ψ_t,t-1}，最终将不同的特征体Ψ_t，τ按通道对应进行叠加构成最终的融合后的特征体Π_t；其中，对于第一帧图片只得到特征立方体Ψ₁而不形成第一帧图片的Π₁。

进一步的，S5中将预跟踪的结果利用运动匹配优化模块进行优化得到最终的跟踪结果具体包括：

运动匹配优化模块首先把轨迹库中的当前轨迹划分为三个集合：疑似匹配的轨迹，疑似丢失的轨迹，和疑似新出现的轨迹；对于疑似匹配的轨迹，首先采用过滤操作来确保该船舶与匹配的轨迹是一个正确的匹配对，使用两帧之间船舶目标的位置来计算相似度值，并将其值与给定的阈值进行比较，如果相似度值大于或等于该阈值，便认为当前船舶被正确跟踪并获得最终匹配的轨迹，否则将当前船舶位置归并到新出现的轨迹库中；

对于每个疑似丢失的轨迹和疑似新出现的轨迹，首先依次遍历疑似新出现轨迹库中的每一条轨迹并计算其与疑似丢失轨迹库中每一条轨迹的相似度值，在疑似丢失轨迹库中找到与当前疑似新出现轨迹相似度值最高的一条轨迹，如果相似度大于给定的阈值，则认为这两条轨迹表征同一个船舶目标，此时，将该疑似丢失的轨迹末端拼接上该疑似新出现轨迹在当前帧中的位置，将拼接后的新轨迹归并到匹配轨迹库中，同时，从疑似新出现的轨迹库以及疑似丢失轨迹库中删除这两条疑似轨迹，否则，该疑似新出现的轨迹和该疑似丢失的轨迹应继续保留在各自的轨迹库中；

所述相似度值为：

其中，β∈{0,1}表征二者匹配的相似度，进一步地，β＝1表征当前的这条疑似新轨迹和当前这条疑似丢失轨迹属于同一个目标，应给予匹配；β＝0表征当前的这两条轨迹分别代表两条不同的船舶目标，此时这两条轨迹应该保留在各自的轨迹库中不给予任何调整；m表征疑似丢失轨迹库中的第m条轨迹，n表征疑似新出现轨迹库中的第n条轨迹；Lm与Ln表征当前两条轨迹在当前帧中的位置；

表征本操作为二值化操作；IOU为交并比在英文中首字母的缩写；Γ²为选取的阈值；

在当前帧中未被匹配上任何检测目标的轨迹为丢失轨迹，利用每个丢失轨迹的最后一次的位置，加以放大以获得一个延拓位置，如果该位置还在图像区域内，则将这个延拓位置分配给丢失的轨迹，设置一个阈值来限制连续延拓操作的次数，如果连续的延拓次数大于或等于该阈值，则当前丢失的轨迹为丢失而不再进行延拓。

本发明的有益效果：本发明在Deep Affinity Network的基础上融合了尺度，区域，运动三个维度的信息，形成了一种鲁棒的多船舶跟踪方法，解决了Deep AffinityNetwork不适用于多船舶跟踪的问题。对于尺度维度，引入了ASPP模块来提高网络对于不同尺寸目标的建模能力，使得特征更能表达语义信息；对于区域维度，提出了联合检测区域建模模块，弥补Deep Affinity Network对于目标特征表达能力的不足，进一步提升建模能力；对于运动维度，提出运动匹配优化模块，达到对预跟踪结果的优化与精修，使得跟踪器更为稳定，以及不过度于依赖检测器的性能。主要用于图像中船舶的跟踪任务。

本发明对Deep Affinity Network进行改进，在结构上将ASPP与联合全局检测区域建模模块嵌入到前端特征提取模块中，将运动匹配优化模块嵌入到后端，进而优化预跟踪的结果。本发明最终解决了由于目标尺度变化，以及检测器不稳定造成的跟踪精度降低的问题，是一种更稳定精度更高的适用于多船舶跟踪问题的跟踪算法。

附图说明

图1为本发明一种采用多维度融合的多船舶跟踪方法的整体结构图；

图2为ASPP结构图；

图3为特征融合模块结构图；

图4为运动匹配优化模块流程图；

图5为IOU示意图；

图6为跟踪结果展示图；

具体实施方式

下面结合附图对本发明具体实施方式做进一步说明。

具体实施方式一：

结合图1，本发明一种采用多维度融合的多船舶跟踪方法，包括以下步骤：

本发明基于Deep Affinity Network(DAN)，对于当前帧中待跟踪的所有船舶目标，首先将其输入到前端特征提取模块中进行船舶特征的提取，同时以同样方式提取之前所有帧中所有船舶目标的特征；接着将当前帧与之前所有帧中船舶目标的特征经特征融合模块进行融合，将融合后的特征经后端特征提取层得到两帧船舶目标之间的关联矩阵，给出预跟踪的结果；最后将预跟踪的结果利用运动匹配优化模块进行优化得到最终的跟踪结果；

所述前端特征提取模块、特征融合模块、后端特征提取层和运动匹配优化模块，如下：

针对前端特征提取模块，采用特征提取层，Atrous Spatial Pyramid Pooling(ASPP)模块与联合全局检测区域建模模块组合的方式进行特征的提取；利用训练集进行训练；

针对特征融合模块，采用特征拆分与重组的方式对两帧图像中的船舶目标的特征进行融合，再经后端特征提取层得到关联矩阵从而得到预跟踪结果；利用训练集进行训练；

针对运动匹配模块，借助船舶行进的特性，对预跟踪结果进行优化；无需训练；

进一步地，在训练网络之前需要对所有输入图像随机进行预处理操作。

进一步地，所述的预处理操作包括：对比度变换、空间转换、饱和度变换、色调变换、尺度扩充与重置，其中前四种预处理方式是按照[0，1]均匀分布的实验方式随机进行的，例如在进行对比度变换前先按照[0，1]均匀分布进行随机抽样，当抽样结果X≥0.5时对当前图片进行对比度变换，以同样的方式在进行空间变换，饱和度变换，色调变换前均按照均匀分布进行随机抽样，按照各自的抽样结果决定对应的预处理方式是否进行，尺度扩充与重置是针对所有图片均进行的预处理操作而无需随机处理。

进一步地，对比度变换遵循着如下的公式：

I′＝I×α (1)

式中，I指输入图像，指I'输出图像，α是在[0.7，1.5]之间按均匀分布取值的随机值；

空间转换指RGB颜色空间与HSV颜色空间的相互转换；

饱和度变换指对HSV空间中的S维度像素值进行着如下的变换：

I₁”＝I'_S×β (2)

式中，I'_S指图像在HSV空间中的S维，I₁”指输出图像，β是在[0.7，1.5]之间按均匀分布取值的随机值；

色调变换指对HSV空间中的H维度像素值进行着如下的变换：

式中，I'_H指图像在HSV空间中的H维，I₂”指输出图像，

是在[0.7，1.5]之间按均匀分布取值的随机值；

尺度扩充与重置指对图像首先利用固定值在四周进行填充，接着对图像大小重置至固定的尺寸。

进一步地，针对前端特征提取模块的实现具体如下：

输入的图像首先经过32个特征提取层进行特征的初步提取，此时特征图尺寸在逐渐减小；

其中，为了解决目标尺度变化的问题，在32个体征提取层中随机挑选两处添加ASPP模块；

接着从这34个特征提取层中选择9层，并提取这9层各自的输出特征图；

最后，将挑选的特征图输入联合全局检测区域建模模块进行进一步的特征的提取与表达，输出对于当前帧中所有船舶目标的特征表达结果。

进一步地，所述的特征提取层指卷积(Convolution)、激活(ReLU)、池化(MaxPooling)组合而成。

进一步地，所述的ASPP模块如下：

特征图输入至ASPP模块后，该模块会对特征图进行4个不同空洞率的空洞卷积操作，这样即可以得到不同尺寸下的特征图，接着将不同空过率得到的特征图进行拼接，最后，将拼接结果按通道数进行压缩以减少网络的计算量并作为ASPP模块的输出。

进一步地，所述的联合全局检测区域建模模块的实现具体如下：

为了弥补DAN只用检测目标中心点来表达检测目标特征的不足，我们提出了联合全局检测区域建模的特征提取模块，该模块是由Sq-AgC层和特征统计(SI)层组成。

Sq-AgC层是一个由压缩、扩充和拼接三层组成的复合层。当我们从9个特征提取层中提取到特征图后(注意，9处特征图的大小以及通道数都是不同的)，首先将特征图分别输入至压缩层中进行通道数的压缩，以减少特征图的总数，从而缓解网络的计算负担。接着，我们将所有的特征图(9处)扩充到相同的大小，从而降低网络在此部分的运行时间(因为只有这样，我们才能在后面特征提取过程中同时提取所有特征图同一检测区域内的所有特征)。接着将这些相同大小的特征图进行拼接，从而为接下来的为SI层做准备。

SI层是为了提高对各种形状的船舶的外观建模能力，弥补DAN只利用每个检测区域的中心特征点进行建模的不足。借助统计方法，例如，众数、中位数或平均值，以充分利用检测内部的所有特征。通过考虑时间成本和实现复杂性，本发明最终选择使用平均值来表达整体检测区域内的特征。在Sq-AgC层之后，特征图均被扩充到相同大小并拼接在一起，因此一旦我们从检测器获得目标检测区域，便可对这些特征图的同一位置同时地进行特征均值求取操作。最后，将从不同特征图中得到的均值拼接在一起，形成对应船舶目标的特征向量。由于每艘船的特征经过上述操作后都会被转换为一个一维的特征向量，因此，对于一帧图像而言，最终形成的是一幅二维的特征表达映射图(每一行表征一个当前帧中的船舶目标)。

进一步地，所述的特征融合模块的实现具体如下：

利用特征融合模块融合从当前帧获得的特征表达映射图和从之前所有帧获得的特征表达映射图。特征的拆分与重组过程如下：

将当前帧的特征表达映射图Φ按行拆分成Nm个不同的特征向量，然后每个特征向量复制Nm次，为每艘船形成一个新的特征图Φ_1k，k表示是Φ₁中的第k张特征图片，即第k艘船，0≤k≤Nm,Φ₁＝{Φ₁₁，Φ₁₂，......Φ_1Nm}；接下来分别从每个新的特征图Φ_1k中均提取第j列，0≤j≤520，以逐行的方式将提取的特征列进行拼接，形成新的特征图Φ_2j，全部Φ_2j构成特征图Φ₂，Φ₂＝{Φ₂₁，Φ₂₂，......Φ₂₅₂₀}，最终将Φ₂中的所有特征图按顺序进行拼接形成一个特征立方体Ψ_t，t指当前时刻；接着，将之前的每一帧按照和当前帧同样的处理方式得到对应的特征立方体Ψ_τ，0≤τ≤t-1，即Ψ_τ＝{Ψ₁，Ψ₂，...，Ψ_t-1}，此时，将特征立方体Ψ_t分别与不同的Ψ_τ按顺序拼接形成不同的特征体Ψ_t，_τ＝{Ψ_t,1，Ψ_t,2，...，Ψ_t,t-1}，最终将不同的特征体Ψ_t，_τ按通道对应进行叠加构成最终的融合后的特征体Π_t；其中，对于第一帧图片只得到特征立方体Ψ₁而不形成第一帧图片的Π₁。

进一步地，所述后端特征提取层即由卷积(Convolution)、Batch-Normalization和激活(ReLU)组成。在得到特征立方体Ψ后，将其输入至后端特征提取层中，得到一个关联矩阵

表示当前帧中的船舶与先前帧中的船舶之间的相似性，得到预跟踪的结果。

进一步地，对于运动匹配优化模块的实现具体如下：

运动匹配优化模块用于对关联矩阵给出的预跟踪结果进行优化。首先把轨迹库中的当前轨迹划分为三个集合：疑似匹配的轨迹，疑似丢失的轨迹，和疑似新出现的轨迹。对于疑似匹配的轨迹，首先采用了过滤操作来确保该船舶与匹配的轨迹是一个正确的匹配对，实验发现，船舶行进过程是相对较为缓慢的，因此本发明使用两帧之间船舶目标的位置来计算相似度值，并将其值与给定的阈值进行比较，如果相似度值大于或等于该阈值，便认为当前船舶被正确跟踪并获得最终匹配的轨迹，否则将当前船舶位置归并到新出现的轨迹库中。

对于每个疑似丢失的轨迹和疑似新出现的轨迹，本发明选用匹配搜索操作来进一步确保跟踪结果的准确性。具体来说，为了使跟踪器更鲁棒，对于每个疑似丢失的轨迹和疑似新出现的轨迹，首先依次遍历疑似新出现轨迹库中的每一条轨迹并计算其与疑似丢失轨迹库中每一条轨迹的相似度值，在疑似丢失轨迹库中找到与当前疑似新出现轨迹相似度值最高的一条轨迹，如果相似度大于给定的阈值，则认为这两条轨迹表征同一个船舶目标，此时，将该疑似丢失的轨迹末端拼接上该疑似新出现轨迹在当前帧中的位置，将拼接后的新轨迹归并到匹配轨迹库中，同时，从疑似新出现的轨迹库以及疑似丢失轨迹库中中删除这两条疑似轨迹，否则，该疑似新出现的轨迹和该疑似丢失的轨迹应继续保留在各自的轨迹库中。同时，为真正丢失的轨迹，即那些在当前帧中未被匹配上任何检测目标的轨迹的跟踪问题，本发明充分利用了海上场景下的多船舶跟踪问题的特殊性，即船舶行进较为缓慢的特性，对每一条真正丢失的轨迹进行对应的延拓处理，即本发明利用每个丢失轨迹的最后一次的位置，加以稍许的放大以获得一个延拓位置，如果该位置还在图像区域内，则将这个延拓位置分配给各自丢失的轨迹，于此同时，本发明还设置了一个阈值来限制连续延拓操作的次数，这意味着如果连续的延拓次数大于或等于该阈值，表示当前丢失的轨迹实属丢失而不应该再进行延拓。

具体实施方式二：

本实施方式为基于多维度融合的多船舶跟踪方法；在本实施方式及实施例中，所采用的数据集均是来自于Singapore Maritime Dataset(SMD)。

基于多维度融合的多船舶跟踪方法，包括以下步骤：

步骤a：对输入图片进行预处理：

对所有图片进行随机比度变换、随机空间转换、随机饱和度变换、随机色调变换、尺度扩充与重置。其中采用的随机方式是服从[0，1]均匀分布的，即X～U(0,1)，当X≥0.5时对输入图片进行上述的预处理操作，即在进行空间变换，饱和度变换，色调变换前均按照均匀分布进行随机抽样，按照各自的抽样结果决定对应的预处理方式是否进行，尺度扩充与重置是针对所有图片均进行的预处理操作而无需随机处理。

注意，重置操作不是随机的而是针对所有输入图片均进行重置操作。

其中，对比度变换遵循着如下的公式：

I′＝I×α (1)

式中，I指输入图像，指I'输出图像，α是在[0.7，1.5]之间按均匀分布取值的随机值；

空间转换指RGB颜色空间与HSV颜色空间的相互转换；

饱和度变换指对HSV空间中的S维度像素值进行着如下的变换：

I₁”＝I'_S×β (2)

式中，I'_S指图像在HSV空间中的S维，I₁”指输出图像，β是在[0.7，1.5]之间按均匀分布取值的随机值；

色调变换指对HSV空间中的H维度像素值进行着如下的变换：

式中，I′_H指图像在HSV空间中的H维，I₂″指输出图像，

是在[0.7，1.5]之间按均匀分布取值的随机值；

尺度扩充与重置指对图像首先利用固定值在四周进行填充，填充的行数和列数在本实施例中也是按照均匀分布随机选取，接着对图像大小重置至固定的尺寸从而使得训练过程更为友好，本发明最终将图像重置至650×650，即尺度扩充与重置操作的进行不是随机而是必须进行的，但扩充的行数和列数是随机的。

步骤b：对前端特征提取模块与特征融合模块同时进行训练，本发明称之为训练网络：

训练网络部分框架参阅图1中训练网络部分。

b1：输入的图像首先经过特征提取层(Conv)进行特征的初步提取：

参阅图1可见，此时特征图尺寸在逐渐减小，特征提取层(Conv)是由Convlution，ReLU和MaxPooling层组合而成，特征提取层的具体结构如表1。

表1

由表1可见，特征提取层一共由2+1+2+1+3+1+3+1+3+1+2+12＝32层构成。其中，为了解决目标尺度变化的问题，在32个体征提取层中随机挑选两处添加ASPP模块，本发明定位到特征提取层的第7，第26层的输出位置处添加ASPP模块。ASPP模块的结构图参阅图2。我们利用四个不同扩张率大小的卷积核进行空洞卷积，获得不同尺寸下特征图，并将所有特征图拼接起来。最后，我们在后端添加了一个压缩层来压缩特征图的数量以减少计算量。

此时，特征提取层的结构重新调整如表2所示。

表2特征提取层的结构重新调整

接着从这34(32+2×ASPP)个特征提取层中选择9层，并提取这9层各自的输出特征图，其中选取的9层如表3所示；

表3

b2：将挑选的9层特征图输入联合全局检测区域建模模块进行进一步的特征的提取与表达，输出对于当前帧中所有船舶目标的特征表达结果：

其中，联合全局检测区域建模模块的结构参阅图1，该模块是由Sq-AgC层和特征统计(SI)层组成；

Sq-AgC层是一个由压缩、扩充和拼接三层组成的复合层。当我们从9个特征提取层中提取到特征图后(表3)，首先将特征图分别输入至压缩层中对各自特征图的通道数进行压缩，以减少特征图的总数，从而缓解网络的计算负担。接着，我们将所有的特征图(9处)扩充到相同的大小，从而降低网络在此部分的运行时间。因为只有这样，我们才能在后面特征提取过程中同时提取所有特征图同一检测区域内的所有特征。接着将这些相同大小的特征图进行拼接，从而为接下来的为SI层做准备，整个过程如表4所示。

表4

SI层是为了进一步提高对各种形状的船舶的外观建模能力，弥补DAN只利用每个检测区域的中心特征点进行建模的不足。借助统计方法，例如，众数、中位数或平均值，以充分利用检测区域内部的所有特征。通过考虑时间成本和实现复杂性，本发明最终选择使用平均值来表达整体区域内的特征。在Sq-AgC层之后，特征图均被扩充到相同大小并拼接在一起，因此一旦我们从检测器获得目标检测区域，便可对这些特征图的同一位置同时地进行特征均值求取操作。最后，将从60+80+100+80+60+50+40+30+20＝520(表4)张不同的特征图中得到的均值拼接在一起，形成对应船舶目标的特征向量。由于每艘船的特征经过上述操作后都会被转换为一个一维的特征向量，因此，对于一帧图像而言，最终形成的是一幅二维的特征表达映图Φ(每一行表征一个当前帧中的船舶目标)。

b3：将当前帧与之前所有帧图像的二维特征表达映射图Φ输入至特征融合模块进行特征的融合：

利用特征融合模块融合从当前帧获得的特征表达映射图和从之前帧获得的所有特征表达映射图。特征的拆分与重组过程，参考图3，实现具体如下：

将当前帧的特征表达映射图Φ按行拆分成不同的特征向量，参考图3步骤①；然后每个特征向量复制Nm次，为每艘船形成一个新的特征图Φ_1k，k表示是Φ₁中的第几张特征图片，即第几艘船，显然k≥0，参阅图3步骤②；接下来从每个新的特征图Φ_1k中提取每个列，以逐行的方式将提取的特征列进行拼接，形成新的特征图Φ₂，参阅图3步骤③，此时特征图Φ₂的数量也是大于等于0的，即Φ₂中的第1个特征图Φ₂₁为所有特征图Φ₁＝{Φ₁₁，Φ₁₂，......}中的第一列以按行的方式拼接所得，Φ₂中的第2个特征图Φ₂₂为所有特征图Φ₁中第二列以按行的方式拼接所得，以上述的方式直至得到Φ₂中的最后一个特征图，最终将Φ₂中的所有特征图按顺序进行拼接形成一个特征立方体Ψ_t，t指当前时刻，参阅图3步骤④。

将当前帧的特征表达映射图Φ按行拆分成Nm个不同的特征向量，参考图3步骤①；然后每个特征向量复制Nm次，为每艘船形成一个新的特征图Φ_1k，k表示是Φ₁中的第k张特征图片，即第k艘船，0≤k≤Nm,Φ₁＝{Φ₁₁，Φ₁₂，......Φ_1Nm}，参阅图3步骤②；接下来分别从每个新的特征图Φ_1k中均提取第j列，0≤j≤520，以逐行的方式将提取的特征列进行拼接，形成新的特征图Φ_2j，参阅图3步骤③；全部Φ_2j构成特征图Φ₂，Φ₂＝{Φ₂₁，Φ₂₂，......Φ₂₅₂₀}，最终将Φ₂中的所有特征图按顺序进行拼接形成一个特征立方体Ψ_t，t指当前时刻，参阅图3步骤④。

接着，将之前的每一帧按照和当前帧同样的处理方式得到对应的特征立方体Ψ_τ，0≤τ≤t-1，即Ψ_τ＝{Ψ₁，Ψ₂，...，Ψ_t-1}，此时，将特征立方体Ψ_t分别与不同的Ψ_τ按顺序拼接形成不同的特征体Ψ_t，_τ＝{Ψ_t,1，Ψ_t,2，...，Ψ_t,t-1}，即

最终将不同的特征体Ψ_t，_τ按通道对应进行叠加构成最终的融合后的特征体Π_t，同样

注意，对于第一帧图片只得到特征立方体Ψ₁而不形成第一帧图片的Π₁。在得到特征体Π_t后，将其输入至接下来的5个卷积层中，参阅图1中Π_t后的Conv层，Conv层具体结构如表5所示：

表5

最终得到一个关联矩阵

表示当前帧中的船舶与先前帧中的船舶之间的相似性。此时，可以对当前帧的检测目标进行一个预分配，得到的便是预跟踪结果。

步骤c：利用运动匹配优化模块对预跟踪结果进行优化：

运动匹配模块流程图参阅图4。该模块是用来对关联矩阵给出的预跟踪结果进行优化。首先把轨迹库中的当前轨迹划分为三个集合：疑似匹配的轨迹，疑似丢失的轨迹，和疑似新出现的轨迹；

对于疑似匹配的轨迹，首先采用了过滤操作来确保该船舶与匹配的轨迹是一个正确的匹配对。实验发现，船舶行进过程是相对较为缓慢的，因此本发明使用两帧之间船舶目标的位置来计算相似度值，具体计算如式4：

其中，k表征疑似匹配库中的第k条轨迹，a∈{0,1}表征判断结果，例如当α＝1表征疑似匹配库中的第k条轨迹是正确匹配的，α＝0反之；

表征本操作为二值化操作；IOU为交并比(Intersection over Union operation)在英文中首字母的缩写；Li、Lj表征同一个船舶目标在第i帧和第j帧中的位置；Γ¹为选取的阈值。之所以选取IOU就是因为船舶行进速度相对较为缓慢，两帧帧差时间内目标有重合，该重合度即此处计算的相似度IOU，并将该值与给定的阈值Γ¹进行比较，如果相似度值大于或等于该阈值，便认为当前船舶被正确跟踪并获得最终匹配的轨迹，否则将当前船舶位置归并到新出现的轨迹库中。IOU的计算参阅图5以及式(5)。

其中，region表征区域面积。

对于每条疑似丢失的轨迹和疑似新出现的轨迹，本发明选用匹配搜索操作来进一步确保跟踪结果的准确性。具体来说，为了使跟踪器更鲁棒，对于每个疑似丢失的轨迹和疑似新出现的轨迹，首先依次遍历疑似新出现轨迹库中的每一条轨迹并按照公式6给出的准则计算其与疑似丢失轨迹库中每一条轨迹的相似度值，在疑似丢失轨迹库中找到与当前疑似新出现轨迹相似度值最高的一条轨迹，如果相似度大于给定的阈值Γ²，则认为这两条轨迹表征同一个船舶目标，此时，将该疑似丢失的轨迹末端拼接上该疑似新出现轨迹在当前帧中的位置，将拼接后的新轨迹归并到匹配轨迹库中，同时，从疑似新出现的轨迹库以及疑似丢失轨迹库中中删除这两条疑似轨迹，否则，该疑似新出现的轨迹和该疑似丢失的轨迹应继续保留在各自的轨迹库中。

其中，β∈{0,1}表征二者匹配的相似度，进一步地，β＝1表征当前的这条疑似新轨迹和当前这条疑似丢失轨迹属于同一个目标，应给予匹配；β＝0表征当前的这两条轨迹分别代表两条不同的船舶目标，此时这两条轨迹应该保留在各自的轨迹库中不给予任何调整；m表征疑似丢失轨迹库中的第m条轨迹，n表征疑似新出现轨迹库中的第n条轨迹；

IOU同公式1；Lm与Ln表征当前两条轨迹在当前帧中的位置。

同时，为真正丢失的轨迹，即那些在当前帧中未被匹配上任何检测目标的轨迹的跟踪问题，本发明充分利用了海上场景下的多船舶跟踪问题的特殊性，即船舶行进较为缓慢的特性，对每一条真正丢失的轨道进行对应的延拓处理，即本发明利用每个丢失轨迹的最后一次的位置，加以适当的放大以获得一个延拓位置，如果该延拓位置还在图像区域内，则将这个延拓位置分配给各自丢失的轨迹。于此同时，本发明还设置了一个阈值Γ³来限制连续延拓操作的次数，这意味着如果连续的延拓次数大于或等于该阈值，表示当前丢失的轨迹实属丢失而不应该再进行延拓操作。

在进行多船舶跟踪的实际应用时，将训练好的训练网络部分的结果直接输入到运动匹配优化模块中，给出最终的跟踪结果。

具体实施方式三：

实施例：

本实施例具体是按照以下步骤进行的：

一、数据准备阶段

本实施例1所采用的所有用于训练和测试的数据均来源于SMD(该数据集为本领域技术人员所公知，本发明实施例对此不做赘述)。SMD数据库的细节信息如表6所示。表7给出了本实施例对于训练集、测试集的分配方式，表7中均为SMD跟踪数据集中视频的名称，例如1448_Haze全称为MVI_1448_VIS_Haze，1478全称为MVI_1478_VIS，其余以此类推。

表6

表7

二、训练阶段

对于训练网络的训练过程重复步骤b1、b2、b3。

b1：初始化网络训练参数及超参数。本实施例设置最大迭代次数Iteration＝50；批量训练大小由于硬件的限制，设置为Batch-Size＝3；为了在训练初期有着较快的收敛速度，设置初始学习率initial_lr＝0.01，并且在后期训练的过程中为了使得损失进一步降低，选择在每10个Iteration处将学习率根据lr＝lr×0.1^λ重置，其中λ初始值＝0，每10个Iteration处自加1；引入随机梯度下降法(Stochastic Gradient Descent)优化算法作为优化器，权值衰减系数L2＝0.0001，momentum＝0.9；所有网络参数均是按照Xavier方式进行初始化的；损失函数选择的是Deep Affinity Network中的DAN_Loss。

b1：初始化各模块参数。设置ASPP模块中的空洞率rate＝(1,2,4,8)；设置联合全局检测区域建模模块的最大船舶目标个数Nm＝80。

b3：将步骤a所得到的图像作为训练网络的输入，开始训练网络。训练整体上为迭代过程，每一次迭代均要首先计算该次正向传播的损失值，秉着最小化损失值的目标接着反向更新网络的所有参数。

三、测试阶段

对于测试阶段的过程重复步骤一～步骤四。

步骤一：对测试图片重复步骤a；

步骤二：将经过步骤一的测试图像输入到经过步骤b1、b2、b3训练好的训练网络中，并给出预跟踪的结果；

步骤三：初始化运动匹配优化模块参数，设置Γ¹为0.25，Γ²为0.05，Γ³为50；

步骤四：将步骤二的预跟踪结果输入至经过步骤三初始化的运动匹配优化模块中进行预跟踪结果的精修与优化。

试验结果如表8所示(A表征ASPP模块，J表征联合全局检测区域建模模块，M表征运动匹配优化模块，下同)，该结果展示了本发明的最终模型在多船舶跟踪领域的12个指标下(IDF1、Rcll、MT、MP、ML、FP、FN、IDS、FM、MOTA、MOTAL、MOTP、Hz为本领域技术人员所公知的多目标跟踪指标，本发明实施例对此不做赘述)，本算法得到的跟踪效果明显比DAN更适用于海天背景的复杂场合。同时，由于IDF1、Rcll、MOTP、MOTA、MOTA L值越高，跟踪器性能越优异，本实施例将ID F1、Rcll、MOTP、MOTA、MOTAL整体整体求和并除以5；由于MT和PT总数在总轨迹数中所占百分比越高，跟踪器性能越优异，本实施例将MT和PT求和并除以总轨迹数；由于FN、FP、IDS、FM越低，跟踪器性能越优异，本实施例便对FN，FP，IDS，FM分别取倒数并给予求和。最后，将三个部分相加，得到CMOTA，即本实施例引入的一种新的评价指标──综合多目标跟踪精度(CMOTA)度量指标，用于评估跟踪器的整体性能，具体计算如公式7所示。

表8

从表8中的试验结果可以观察到，本发明在11种(占84.6％)指标中达到了最优，其中，本发明的Ours_AJM算法就占了其中的10种(占90.9％，表8最后一行黑色粗体所示)，对于指标CMOTA，Ours_AJM算法较DAN整体上提升了6.73％，特别的，对于指标IDS、FM，Ours_AJM算法相对DAN精度提升了67.9％和87.4％，可见本算法可以更加稳定的跟踪每一个船舶目标。

同时，多船舶跟踪实验结果我们取出了一个视频(MVI_A640_VIS)中的5帧进行效果展示，参阅图6，第一列为原版DAN算法的跟踪结果，第二列为本算法添加ASPP模块后的跟踪结果(Ours_A)；第三列为本算法添加ASPP以及联合全局检测区域建模模块后的跟踪结果(Ours_AJ)；第四列为本算法添加ASPP以及运动匹配优化模块后的跟踪结果(Ours_AM)；第五列为本算法添加ASPP、联合全局检测区域建模模块、运动匹配优化模块后的跟踪结果(Ours_AJM)。

从结果中可以观察到，DAN算法中(第一列)，船舶目标6的ID在第256帧中切换至19，在267帧中切换至18，之后ID保持在18，本算法添加ASPP模块后(第二列)，目标6却是一直保持在同一个ID上未切换，这得益于ASPP模块的添加，多尺度的特征提取使得提取的特征更具有语义信息，从而消除干扰因素(人物)的影响；

从结果中可以观察到，DAN算法中(第一列)目标0的ID在第275帧、294帧中均出现了切换，本算法+ASPP后(第二列)目标0在第275帧中也出现了切换，在294帧中保持，但是在本算法+ASPP+J后(第三列)，目标0却始终未发生切换，这得益于联合全局检测区域建模模块的增强特征提取能力的作用，因为此时目标0由于经历了一个完全遮挡的过程，因此想要在这个过程中进行准确的跟踪，则需要更加准确的特征提取，而ASPP与联合全局检测区域建模模块的组合使得特征提取能力进一步增强，解决了该问题；

从结果中可以观察到，DAN算法(第一列)、本算法+ASPP(第二列)、本算法+ASPP+J(第三列)中，干扰物体(人物)始终由于检测器的失误检测从而出现了矩形框，当本算法在ASPP+J的基础上再添加运动匹配优化模块(M)后，该问题得已解决。这得益于运动匹配优化模块对于每条轨迹的优化作用，使得人物的矩形框得以消除，因为本算法均是在船舶的数据集上进行训练的，而人物的出现无疑是一种干扰，势必会形成不稳定的轨迹，而这些不稳定的人物轨迹均会被运动匹配优化模块中的过滤操作得以抑制，使得本算法可以不过度的依赖于检测器的性能，同时还可以从294帧中观察到当船舶目标被遮挡时，添加运动匹配优化模块(Ours+AM、Ours+AJM)的两种算法均仍可以定位出船舶目标的位置，这也得益于运动匹配优化模块中的延拓操作。综上可见，我们提出的新算法相对于DAN是更适用于海天背景下多船舶跟踪问题的。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种采用多维度融合的多船舶跟踪方法，其特征在于，包括以下步骤：

S1：对全部输入图片进行预处理；

S2：将预处理后的图片输入到前端特征提取模块中进行船舶特征的提取，具体为：输入的图像首先经过32个特征提取层进行特征的初步提取；在32个体征提取层中随机挑选两处添加ASPP模块；接着从这34个特征提取层中选择9层，并提取这9层各自的输出特征图；最后，将挑选的特征图输入联合全局检测区域建模模块进行特征的提取与表达，输出对应于输入图像帧中所有船舶目标的特征表达结果；

S3：将按照S2的方式得到的当前帧船舶目标的特征图分别与之前所有帧中船舶目标的特征图经特征融合模块进行融合，得到融合后的特征；

S4：将融合后的特征经后端特征提取层得到当前帧船舶目标与之前所有帧中船舶目标之间的关联矩阵

Nm代表每帧图像最大的船舶目标个数，表示当前帧中的船舶与先前帧中的船舶之间的相似性，得到预跟踪的结果；

S5：将预跟踪的结果利用运动匹配优化模块进行优化得到最终的跟踪结果。

2.根据权利要求1所述的一种采用多维度融合的多船舶跟踪方法，其特征在于：S1所述对输入图片进行预处理具体包括：

对全部图片采用随机方式进行预处理，预处理方式包括：对比度变换、空间转换、饱和度变换、色调变换，随机方式为服从[0，1]的均匀分布，即X～U(0,1)，在上述任一一种预处理方式执行前按照[0，1]均匀分布进行随机抽样，当X≥0.5时对输入图片进行对应的预处理操作，经过随机预处理后全部图片进行尺度扩充与重置。

3.根据权利要求2所述的一种采用多维度融合的多船舶跟踪方法，其特征在于：S2所述ASPP模块具体为：特征图输入至ASPP模块后，模块对特征图进行4个不同空洞率的空洞卷积操作，然后将不同空洞率得到的特征图进行拼接，最后，将拼接结果按通道数进行压缩以减少网络的计算量并作为ASPP模块的输出。

4.根据权利要求3所述的一种采用多维度融合的多船舶跟踪方法，其特征在于：S2所述联合全局检测区域建模模块具体为：由Sq-AgC层和特征统计层组成；

Sq-AgC层是一个由压缩、扩充和拼接三层组成的复合层，首先将特征图分别输入至压缩层中进行通道数的压缩，减少特征图的总数；然后，将所有的特征图扩充到相同的大小，降低网络在此部分的运行时间；最后将这些相同大小的特征图进行拼接，从而为接下来的为特征统计层做准备；

特征统计层选择使用平均值来表达整体检测区域内的特征，在Sq-AgC层之后，特征图均被扩充到相同大小并拼接在一起，对这些特征图的同一位置区域同时地进行特征均值求取操作；最后，将从不同特征图中得到的均值拼接在一起，形成对应船舶目标的特征向量，对于一帧图像最终形成的是一幅二维的特征表达映射图，每一行表征一个当前帧中的船舶目标。

5.根据权利要求4所述的一种采用多维度融合的多船舶跟踪方法，其特征在于：S3所述将按照S2的方式得到的当前帧船舶目标的特征图分别与之前所有帧中船舶目标的特征图经特征融合模块进行融合，得到融合后的特征具体包括：

将当前帧的特征表达映射图Φ按行拆分成Nm个不同的特征向量，然后每个特征向量复制Nm次，为每艘船形成一个新的特征图Φ_1k，k表示是Φ₁中的第k张特征图片，即第k艘船，0≤k≤Nm,Φ₁＝{Φ₁₁，Φ₁₂，......Φ_1Nm}；接下来分别从每个新的特征图Φ_1k中均提取第j列，0≤j≤520，以逐行的方式将提取的特征列进行拼接，形成新的特征图Φ_2j，全部Φ_2j构成特征图Φ₂，Φ₂＝{Φ₂₁，Φ₂₂，......Φ₂₅₂₀}，最终将Φ₂中的所有特征图按顺序进行拼接形成一个特征立方体Ψ_t，t指当前时刻；接着，将之前的每一帧按照和当前帧同样的处理方式得到对应的特征立方体Ψ_τ，0≤τ≤t-1，即Ψ_τ＝{Ψ₁，Ψ₂，...，Ψ_t-1}，此时，将特征立方体Ψ_t分别与不同的Ψ_τ按顺序拼接形成不同的特征体Ψ_t，τ＝{Ψ_t,1，Ψ_t,2，...，Ψ_t,t-1}，最终将不同的特征体Ψ_t，τ按通道对应进行叠加构成最终的融合后的特征体Π_t；其中，对于第一帧图片只得到特征立方体Ψ₁而不形成第一帧图片的Π₁。

6.根据权利要求5所述的一种采用多维度融合的多船舶跟踪方法，其特征在于：S5所述将预跟踪的结果利用运动匹配优化模块进行优化得到最终的跟踪结果具体包括：

运动匹配优化模块首先把轨迹库中的当前轨迹划分为三个集合：疑似匹配的轨迹，疑似丢失的轨迹，和疑似新出现的轨迹；对于疑似匹配的轨迹，首先采用过滤操作来确保该船舶与匹配的轨迹是一个正确的匹配对，使用两帧之间船舶目标的位置来计算相似度值，并将其值与给定的阈值进行比较，如果相似度值大于或等于该阈值，便认为当前船舶被正确跟踪并获得最终匹配的轨迹，否则将当前船舶位置归并到新出现的轨迹库中；

对于每个疑似丢失的轨迹和疑似新出现的轨迹，首先依次遍历疑似新出现轨迹库中的每一条轨迹并计算其与疑似丢失轨迹库中每一条轨迹的相似度值，在疑似丢失轨迹库中找到与当前疑似新出现轨迹相似度值最高的一条轨迹，如果相似度大于给定的阈值，则认为这两条轨迹表征同一个船舶目标，此时，将该疑似丢失的轨迹末端拼接上该疑似新出现轨迹在当前帧中的位置，将拼接后的新轨迹归并到匹配轨迹库中，同时，从疑似新出现的轨迹库以及疑似丢失轨迹库中删除这两条疑似轨迹，否则，该疑似新出现的轨迹和该疑似丢失的轨迹应继续保留在各自的轨迹库中；

所述相似度值为：

其中，β∈{0,1}表征二者匹配的相似度，进一步地，β＝1表征当前的这条疑似新轨迹和当前这条疑似丢失轨迹属于同一个目标，应给予匹配；β＝0表征当前的这两条轨迹分别代表两条不同的船舶目标，此时这两条轨迹应该保留在各自的轨迹库中不给予任何调整；m表征疑似丢失轨迹库中的第m条轨迹，n表征疑似新出现轨迹库中的第n条轨迹；Lm与Ln表征当前两条轨迹在当前帧中的位置；

表征本操作为二值化操作；IOU为交并比在英文中首字母的缩写；Γ²为选取的阈值；

在当前帧中未被匹配上任何检测目标的轨迹为丢失轨迹，利用每个丢失轨迹的最后一次的位置，加以放大以获得一个延拓位置，如果该位置还在图像区域内，则将这个延拓位置分配给丢失的轨迹，设置一个阈值来限制连续延拓操作的次数，如果连续的延拓次数大于或等于该阈值，则当前丢失的轨迹为丢失而不再进行延拓。

Images