CN110751077A - 一种基于部件匹配与距离约束的光学遥感图片船舶检测方法 - Google Patents

Abstract

为了解决由于光学遥感图像易受天气、陆地或船舶尾迹的影响，图像内容复杂导致大量虚警框的问题，通过对数据集进行部件和整体双重标注，引入部件位置信息，再通过部件和整体之间的距离约束，有效减少检测虚警框。本发明公开了一种基于部件匹配与距离约束的光学遥感图片船舶检测方法，通过对数据集进行部件标注的添加，从而提高训练图像数据中的可学习信息；将训练过程中输出的目标候选框相互进行部件匹配，找到每个船舶目标对应的部件框；接着在网络计算损失函数并将梯度反传时，将船舶目标与之部件之间的距离作为参数约束结合到检测网络的参数学习过程中，使得训练过程中目标定位更加准确。

Description

一种基于部件匹配与距离约束的光学遥感图片船舶检测方法

技术领域

本发明属于图像处理技术领域，特别涉及一种基于部件匹配与距离约束信息的光学遥感图片船舶检测方法。

背景技术

光学遥感图像具有空间分辨率高，图像内容丰富、几何变形小、易直观理解等特点。其在很多领域具有重要研究价值，在如资源调查、地质结构研究、海洋研究、军事探测等任务中备受关注。其中遥感图像中的目标识别更是图像处理领域里的热点和难点问题，其主要任务是判断光学遥感图像中物体目标的类别以及具体坐标位置。而对于拍摄的海上遥感图像来说，船舶作为海上的主要运输载体和运动目标，对其进行目标检测是遥感图像领域最受关注的课题之一，在民用、军用以及科研领域都具有重要意义。例如，在渔业管控、环境污染监控、海上救援等民用领域发挥助力；在军事领域可作为分析敌情、收集情报、监视动向的重要工具；另外在科研领域也可为海域资源研究提供更多目标信息。

同时随着近年来卫星通信技术、空间定位技术、遥感技术和地理信息系统等技术的不断发展，使得人们能够快速获取大量地表图像观测信息，例如美国的WorldView-I卫星是全球分辨率最高、响应最敏捷的商业成像卫星，每天可拍摄多达50万平方千米的0.5m分辨率图像，能够精准定位拍摄目标并快速响应。由此可以看出，光学遥感图像数据正在飞速增长，无法再单纯依靠传统人工办法完成海上船舶目标检测任务。目前已经有一些公开报道或投入使用的船舶检测方法，主要是将检测与识别任务分开来，针对不同场景遥感图片首先提取疑似目标的候选区域，再通过区域图像特征进一步分析确定真实船舶目标。

虽然这些船舶检测方法已经取得一定成果，但在光学遥感图像应用上仍旧存在一些难题。例如由于光学遥感图像内容丰富，往往会存在海陆共存、陆地背景复杂、自然环境中天气(云层、海雾等)和海况(海浪等)的影响，同时由于船舶特征与港口特征区分性较差，云层存在遮挡、阴影等问题，使得复杂背景中检测出大量虚警框。另外由于船舶运动形成的尾迹在图像中特征表现与船舶目标相似，往往也容易被错分为船舶目标，使得检测任务虚警率升高。

本发明提供的基于部件匹配以及距离约束的改进检测方法能够有效的减少光学遥感图像中船舶检测的虚警框，同时在低阈值配置下，提高检测准确率。通过对数据集进行部件标注的添加，从而提高训练图像数据中的可学习信息；将训练过程中输出的目标候选框相互进行部件匹配，找到每个船舶目标对应的部件框；接着在网络计算损失函数并将梯度反传时，将船舶目标与之部件之间的距离作为参数约束结合到检测网络的参数学习过程中，使得训练过程中目标定位更加准确。

发明内容

本发明的目的在于在数据集中添加部件框信息，同时引入船舶主体与部件之间的距离约束参数，解决传统方法中由于图片质量限制导致大量虚警框的问题。

本发明的技术方案为一种基于部件匹配与距离约束的光学遥感图片船舶检测方法，包括以下步骤：

步骤1，准备检测光学遥感图像船舶数据集，收集成像条件各异、图片背景不同的光学遥感船舶图像数据，在图像中对船舶目标进行整体标注以及对应船头、船尾的标注，将整体框和部件框标注为两类；

步骤2，构建添加了基于部件匹配层的船舶检测网络模型，其中基于部件匹配层的船舶检测网络模型包含基础特征提取网络和部件匹配层，具体实现方式如下：

其中基础特征提取网络为YOLO-V3网络结构，在YOLO-V3网络最后一个特征输出层后添加一层部件匹配层，该层主要用于训练过程；

部件匹配层中首先统计YOLO-V3网络输出的不同尺度特征图中对应检测到的所有检测框并根据类别进行区分，包括船舶检测框以及部件检测框；然后对每一个船舶检测框采用K邻近算法，搜索两个坐标距离最近的部件检测框；接着找到船舶检测框中心点到对应匹配上的两个部件检测框连线的投影点，并分别计算船舶检测框中心点与投影点横纵坐标的距离偏移量(D_X,D_Y)；

步骤3，训练步骤2中构建的基于部件匹配层的船舶检测网络模型，将步骤2中计算得到的坐标偏移量(D_X,D_Y)添加到损失函数的计算中；

步骤4，利用训练好的网络模型对待检测光学遥感图片进行检测，得到最终的检测结果。

进一步的，所述步骤1中，具体的数据标注方式为：

对每张图片上的船舶目标添加标注框，记录船舶目标在整图上的中心点横纵坐标(X_b,Y_b)以及目标框长宽(W_b,H_b)来写入此张图片的标签文件；同时将每个船舶目标对应的船头和船尾部分也进行标注框标注，记录对应中心点坐标(X_c,Y_c)和标注框长宽(W_c,H_c)数据写入同一标签文件；在标签文件中将船舶目标的类别标号记为‘0’，将船头、船尾的类别标号都标记为‘1’；所有图片标注完成后每一张图片文件都有一个对应的同名标签文件，然后将整个数据集按照1：3的比例分为训练集和测试集。

进一步的，步骤2中首先统计YOLO-V3网络输出的不同尺度特征图中对应检测到的所有检测框并根据类别进行区分的具体实现方式如下，

在YOLO-V3结构中存在三个输出尺度不同的[yolo]层，它们输出特征图为M1,M2,M3,特征图尺度分别为13*13，26*26，52*52；在最小的13*13特征图M1上由于其具有最大的感受野因此能更多的检测到大的目标，指的是船舶类目标；而最大的52*52特征图M3上由于其具有较小的感受野故其更适合检测较小的目标，指的是船头和船尾类目标；在训练过程中每一个尺度的特征图上都会检测到船舶目标以及部件目标，也即：

其中，i表示第i个[yolo]层，box^Mi表示每一个[yolo]输出层输出特征图中目标框的集合，

表示当前层输出特征图中船舶检测框的集合，

表示当前层输出特征图中部件检测框的集合；

YOLO-V3网络输出的检测框除了包含框的坐标信息之外，还包含目标置信度参数P(f)以及在包含目标的情况下框属于每一个类别的概率P(c)，目标置信度参数P(f)表示当前检测框存在目标的概率，取值范围为(0,1)；

为了使船舶目标框能够匹配上对应的两个部件框，在训练网络的最后加入部件匹配层；首先，部件匹配层计算三个[yolo]层输出的所有检测框的类别置信度P(class|object)：

P(class|object)＝P(c)*P(f) (2)

接着，将每个检测框中类别置信度P(class|object)最大的类别c确定为检测框的类别，根据检测框的类别将所有检测框分为船舶检测框以及部件类检测框：

进一步的，所述步骤3中，损失函数的计算公式为：

Loss(object)＝Loss(coordinate)+Loss(confident)+Loss(classes) (5)

其中，Loss(coordinate)表示检测框位置误差，Loss(confident)表示目标置信度误差，Loss(classes)表示目标类别误差；

在Loss(coordinate)中，添加对检测框中心点坐标(x,y)的距离约束项T，距离约束项T的计算公式如下：

则检测框位置误差为：

具体损失函数计算公式为：

其中K表示最后输出特征图的大小，特征图上每一点对应原图上一个网格区域，每个网格区域预测M个检测框，λ_coord为检测框位置误差项和目标类别误差的权重，λ_noobj为目标置信度误差项的权重，x_i,y_i是第i个网格区域内目标检测框的中心点位置坐标，

是对应的标签文件中标注框的中心点位置坐标；w_i,h_i第i个网格区域内目标检测框的宽和高，

是对应的标签文件中标注框的宽和高；C_i是检测框置信度，

是标注框置信度，取值为0或1；p_i(c)表示检测框为类别c的概率，是标注框目标类别概率，取值为0或1；损失函数第二项为船舶检测框与部件框连线投影点的距离误差项，

在当前检测框为船舶检测框时值为1。

进一步的，步骤3的损失函数中，检测框位置误差采用均方误差来计算，目标置信度误差和目标类别误差采用交叉熵误差来计算。

与现有技术相比，本发明的优点：本发明在YOLO-V3算法上进行改进，添加部件匹配层，构建用于检测光学遥感图像中船舶目标的端到端单阶段检测网络。在训练过程中使用k最邻近搜索算法进行船舶目标框与对应部件目标框进行匹配，并且在损失函数中添加船舶检测框和部件检测框之间的距离约束项。对检测网络进行充分的训练，并利用得到的检测网络对测试集进行船舶目标的检测。本发明方法能够有效减少虚警率，提高检测结果的准确率。

附图说明

图1是本发明实施例的方法流程图。

图2是本发明实施例中数据标注示意图。

图3是本发明中添加部件匹配层的船舶检测网络模型的示意图。

具体实施方式

本发明的具体方法流程图如图1所示，具体步骤如下：

步骤1，准备检测光学遥感图像船舶数据集，实施例具体的实施过程说明如下：

在海量光学遥感图片中收集光学遥感船舶图像数据，包括背景有港口地标、海面有云层遮挡、海面上有船舶行驶尾迹等成像条件各异、图片背景复杂的图像；同时收集没有船舶的背景图添加到数据集。接着，如图2所示，对每张图片上的船舶目标添加标注框，记录船舶目标在整图上的中心点横纵坐标(X_b,Y_b)以及目标框长宽(W_b,H_b)来写入此张图片的标签文件；同时将每个船舶目标对应的船头和船尾部分也进行标注框标注，记录对应中心点坐标(X_c,Y_c)和标注框长宽(W_c,H_c)数据写入同一标签文件。在标签文件中将船舶目标的类别标号记为‘0’，将船头、船尾的类别标号都标记为‘1’。所有图片标注完成后每一张图片文件都有一个对应的同名标签文件，然后将整个数据集按照1：3的比例分为训练集和测试集。

步骤2，构建添加了部件匹配层的船舶检测网络模型，网络结构图如图3所示，实施例具体的实施过程说明如下：

在YOLO-V3结构中存在三个输出尺度不同的[yolo]层，它们输出特征图为M1,M2,M3,特征图尺度分别为13*13，26*26，52*52。在最小的13*13特征图M1上由于其具有最大的感受野因此能更多的检测到大的目标，在本实施例中指的是船舶类目标；而较大的52*52特征图M3上由于其具有较小的感受野故其更适合检测较小的目标，在本实施例中指的是船头和船尾类目标。在训练过程中每一个尺度的特征图上都会检测到船舶目标以及部件目标，也即：

其中i表示第i个[yolo]层。box^Mi表示每一个[yolo]输出层输出特征图中目标框的集合，

表示当前层输出特征图中船舶检测框的集合，

表示当前层输出特征图中部件检测框的集合。

YOLO-V3网络输出的检测框除了包含框的坐标信息之外，还包含目标置信度参数P(f)以及在包含目标的情况下框属于每一个类别的概率P(c)，目标置信度参数P(f)表示当前检测框存在目标的概率，取值范围为(0,1)。

为了使船舶目标框能够匹配上对应的两个部件框(船头框、船尾框)，在训练网络的最后加入部件匹配层。首先，部件匹配层计算三个[yolo]层输出的所有检测框的类别置信度P(class|object)：

P(class|object)＝P(c)*P(f) (2)

接着，将每个检测框中类别置信度P(class|object)最大的类别c确定为检测框的类别，根据检测框的类别将所有检测框分为船舶类检测框集合以及部件类检测框集合：

其中，i表示第i个[yolo]层。接着，采用K邻近算法求取第一个船舶检测框集合中船舶检测框周围距离最近的两个部件框，并将其配对。然后计算船舶框中心点到部件框中心点连线的距离，计算之后将船舶检测框和部件检测框从原集合中删除，进行下一个船舶检测框的搜索匹配。

具体操作方式为：

获取所有检测框的中心点坐标，接着通过K邻近算法找到距离船舶检测框中心点(X_b,Y_b)直线距离最近的两个部件检测框中心点(X_c1,Y_c1)和(X_c2,Y_c2)。

接着计算船舶检测框在部件检测框两点连线上的投影点坐标(X′,Y′)，然后计算船舶检测框中心点(X_b,Y_b)到投影点(X′,Y′)的坐标偏移量(D_X,D_Y)。然后对下一个船舶检测框进行相同操作，最终得到所有船舶检测框的坐标偏移量。

步骤3，使用训练集训练步骤2中构建的添加部件匹配层的船舶检测网络模型，在目标损失函数中将步骤2中计算得到的距离约束项T添加到位置损失项计算。具体实现方式如下：

本发明提出的检测网络的训练目标函数是基于YOLO-V3网络改进的。YOLO-V3网络的损失函数由三部分构成：检测框位置误差、目标置信度误差、目标类别误差。其中检测框位置误差采用均方误差(MSE)来计算，目标置信度误差和目标类别误差采用交叉熵误差来计算。

添加部件匹配层的船舶检测网络的目标损失函数在YOLO-V3损失函数的基础上添加船舶检测框与对应部件框连线投影点之间的距离约束项T，改进的损失函数为：

Loss(object)＝Loss(coordinate)+Loss(confident)+Loss(classes) (5)

其中，Loss(coordinate)表示检测框位置误差，Loss(confident)表示目标置信度误差，Loss(classes)表示目标类别误差；

在Loss(coordinate)中，添加对检测框中心点坐标(x,y)的距离约束项T，距离约束项T的计算公式如下：

具体改进的损失函数计算公式为：

其中K表示最后输出特征图的大小，特征图上每一点对应原图上一个网格区域，每个网格区域预测M个检测框，λ_coord为检测框位置误差项和目标类别误差的权重，λ_noobj为目标置信度误差项的权重，x_i,y_i是第i个网格区域内目标检测框的中心点位置坐标，

是对应的标签文件中标注框的中心点位置坐标；w_i,h_i第i个网格区域内目标检测框的宽和高，是对应的标签文件中标注框的宽和高；C_i是检测框置信度，

是标注框置信度，取值为0或1；p_i(c)表示检测框为类别c的概率，是标注框目标类别概率，取值为0或1；损失函数第二项为船舶检测框与部件框连线投影点的距离误差项，

在当前检测框为船舶检测框(类别编号为0)时值为1。

步骤4，为了验证本发明技术方案中的目标检测方法的有效性和实用性，采用测试集测试船舶检测训练网络模型的目标检测性能，并与现行技术中的YOLO-V3目标检测方法进行对比。

待检测的图像为在卫星图像上截取海面范围内多张包含船舶目标的光学遥感图像，裁切成1024像素×1024像素的图像并标注船舶所在位置，组成共有200张图像的测试集。

实验环境：Ubuntu16.04系统、显卡NVIDIA titanX pascal，深度学习框架Darknet；评价指标使用mAP(均值平均精度Mean Average Precision),可以反映出精确度和准确度的整体水平，实验结果如表1所示。

表1.光学遥感图像目标检测平均精度

方法	YOLO-V3	本发明
			mAP(％)	79.14％	81.26％

YOLO-V3算法作为当前光学图像目标检测领域的主流算法，具有检测速度快，适合检测小目标物体的特点。本发明的方法与原始YOLO-V3模型相比，其平均精度提升了大约2％，由此可以说明本发明方法在检测小尺度船舶目标上具有优秀的检测效果，适合部署在卫星等移动设备上。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于部件匹配与距离约束信息的光学遥感图片船舶检测方法，其特征在于，包含以下步骤：

步骤1，准备检测光学遥感图像船舶数据集，收集成像条件各异、图片背景不同的光学遥感船舶图像数据，在图像中对船舶目标进行整体标注以及对应船头、船尾的标注，将整体框和部件框标注为两类；

步骤2，构建添加了基于部件匹配层的船舶检测网络模型，其中基于部件匹配层的船舶检测网络模型包含基础特征提取网络和部件匹配层，具体实现方式如下：

其中基础特征提取网络为YOLO-V3网络结构，在YOLO-V3网络最后一个特征输出层后添加一层部件匹配层，该层主要用于训练过程；

部件匹配层中首先统计YOLO-V3网络输出的不同尺度特征图中对应检测到的所有检测框并根据类别进行区分，包括船舶检测框以及部件检测框；然后对每一个船舶检测框采用K邻近算法，搜索两个坐标距离最近的部件检测框；接着找到船舶检测框中心点到对应匹配上的两个部件检测框连线的投影点，并分别计算船舶检测框中心点与投影点横纵坐标的距离偏移量(D_X,D_Y)；

步骤3，训练步骤2中构建的基于部件匹配层的船舶检测网络模型，将步骤2中计算得到的坐标偏移量(D_X,D_Y)添加到损失函数的计算中；

步骤4，利用训练好的网络模型对待检测光学遥感图片进行检测，得到最终的检测结果。

2.如权利要求1所述的一种基于部件匹配与距离约束信息的光学遥感图片船舶检测方法，其特征在于：所述步骤1中，具体的数据标注方式为：

对每张图片上的船舶目标添加标注框，记录船舶目标在整图上的中心点横纵坐标(X_b,Y_b)以及目标框长宽(W_b,H_b)来写入此张图片的标签文件；同时将每个船舶目标对应的船头和船尾部分也进行标注框标注，记录对应中心点坐标(X_c,Y_c)和标注框长宽(W_c,H_c)数据写入同一标签文件；在标签文件中将船舶目标的类别标号记为‘0’，将船头、船尾的类别标号都标记为‘1’；所有图片标注完成后每一张图片文件都有一个对应的同名标签文件，然后将整个数据集按照1：3的比例分为训练集和测试集。

3.如权利要求1或2所述的一种基于部件匹配与距离约束信息的光学遥感图片船舶检测方法，其特征在于：步骤2中首先统计YOLO-V3网络输出的不同尺度特征图中对应检测到的所有检测框并根据类别进行区分的具体实现方式如下，

在YOLO-V3结构中存在三个输出尺度不同的[yolo]层，它们输出特征图为M1,M2,M3,特征图尺度分别为13*13，26*26，52*52；在最小的13*13特征图M1上由于其具有最大的感受野因此能更多的检测到大的目标，指的是船舶类目标；而最大的52*52特征图M3上由于其具有较小的感受野故其更适合检测较小的目标，指的是船头和船尾类目标；在训练过程中每一个尺度的特征图上都会检测到船舶目标以及部件目标，也即：

其中，i表示第i个[yolo]层，box^Mi表示每一个[yolo]输出层输出特征图中目标框的集合，

表示当前层输出特征图中船舶检测框的集合，

表示当前层输出特征图中部件检测框的集合；

YOLO-V3网络输出的检测框除了包含框的坐标信息之外，还包含目标置信度参数P(f)以及在包含目标的情况下框属于每一个类别的概率P(c)，目标置信度参数P(f)表示当前检测框存在目标的概率，取值范围为(0,1)；

为了使船舶目标框能够匹配上对应的两个部件框，在训练网络的最后加入部件匹配层；首先，部件匹配层计算三个[yolo]层输出的所有检测框的类别置信度P(class|object)：

P(class|object)＝P(c)*P(f) (2)

接着，将每个检测框中类别置信度P(class|object)最大的类别c确定为检测框的类别，根据检测框的类别将所有检测框分为船舶检测框以及部件类检测框：

4.如权利要求3所述的一种基于部件匹配与距离约束信息的光学遥感图片船舶检测方法，其特征在于：所述步骤3中，损失函数的计算公式为：

Loss(object)＝Loss(coordinate)+Loss(confident)+Loss(classes) (5)

其中，Loss(coordinate)表示检测框位置误差，Loss(confident)表示目标置信度误差，Loss(classes)表示目标类别误差；

在Loss(coordinate)中，添加对检测框中心点坐标(x,y)的距离约束项T，距离约束项T的计算公式如下：

则检测框位置误差为：

具体损失函数计算公式为：

其中K表示最后输出特征图的大小，特征图上每一点对应原图上一个网格区域，每个网格区域预测M个检测框，λ_coord为检测框位置误差项和目标类别误差的权重，λ_noobj为目标置信度误差项的权重，x_i,y_i是第i个网格区域内目标检测框的中心点位置坐标，是对应的标签文件中标注框的中心点位置坐标；w_i,h_i第i个网格区域内目标检测框的宽和高，

是对应的标签文件中标注框的宽和高；C_i是检测框置信度，

是标注框置信度，取值为0或1；p_i(c)表示检测框为类别c的概率，

是标注框目标类别概率，取值为0或1；损失函数第二项为船舶检测框与部件框连线投影点的距离误差项，

在当前检测框为船舶检测框时值为1。

5.如权利要求4所述的一种基于部件匹配与距离约束信息的光学遥感图片船舶检测方法，其特征在于：步骤3的损失函数中，检测框位置误差采用均方误差来计算，目标置信度误差和目标类别误差采用交叉熵误差来计算。

Images