CN112347895A - 一种基于边界优化神经网络的舰船遥感目标检测方法 - Google Patents

Abstract

本发明公开了一种基于边界优化神经网络的舰船遥感目标检测方法，包括：高分辨率卫星影像舰船数据的标注；在舰船目标数据标注后，进行训练样本数据的生成和数据增广；设计基于边界优化神经网络的舰船目标检测模型，将增广后的数据输入至舰船目标检测模型，获得检测目标区域；采用NMS算法进行去重，获取最后的舰船遥感目标检测结果。本发明可以提取更多的边界特征，实现对任意旋转方向的遥感舰船目标的定位进行优化，同时提高遥感舰船目标的检测准确性。

Description

一种基于边界优化神经网络的舰船遥感目标检测方法

技术领域

本发明属于图像处理技术领域，更具体的说是涉及一种基于边界优化神经网络的舰船遥感目标检测方法。

背景技术

舰船作为海上重要的军事目标和主要的运输载体，在军用领域和民用领域有重要的意义和广阔的应用场景。在军用领域，可以监测目标区域重点港口和目标海域的舰船位置、型号、数量等相关信息，获取舰船战略部署情况、战场环境态势等情报信息，为战略决策的制定提供有效依据；在民用领域，可以监测重点海域和港口，辅助救援遇难船只、打击非法倾倒油污、非法捕鱼、走私和海盗等违法行为，为海运运输和安全管理部门提供支持。

近年来，随着对地观测技术的不断发展，卫星遥感已经进入了前所未有的新阶段，拥有高空间分辨率、高时间分辨率、高光谱分辨率等的成像卫星不断涌现，为舰船目标的监视提供了丰富的数据源。面对海量的遥感影像数据，仅依靠人工目视解译识别舰船目标无法满足现代社会对高效信息的需求，如何基于遥感数据进行舰船目标的快速自动检测识别已成为热点课题。由于合成孔径雷达(Synthetic aperture radar，SAR)可获取全天时、全天候成像数据，可见光影像易受光照和云雾等因素的影响，目前基于卫星遥感影像的舰船目标检测大多围绕SAR影像展开且相对成熟，基于光学卫星遥感影像的舰船目标检测研究起步较晚，技术相对滞后，目前大部分仍处于理论研究阶段。

目前，为了快速准确地获取舰船目标，舰船目标检测方法通常采用由粗到精的策略。首先对获取影像进行预处理，从大幅影像中提出检测候选区域，利用舰船目标中最为明显且计算量小的特征，获取舰船目标可能存在区域，再利用舰船精细特征进一步确认，去除虚假目标，获取真实舰船目标。

基于传统舰船检测识别算法，当面对复杂海洋背景时，检测的虚警率升高，难以满足舰船智能检测的需要。

因此，如何提供一种基于边界优化神经网络的舰船遥感目标检测方法成为了本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于边界优化神经网络的舰船遥感目标检测方法，可以提取更多的边界特征，实现对任意旋转方向的遥感舰船目标的定位进行优化，同时提高遥感舰船目标的检测准确性。

为了实现上述目的，本发明采用如下技术方案：

一种基于边界优化神经网络的舰船遥感目标检测方法，包括如下步骤：

(1)高分辨率卫星影像舰船数据的标注；

(2)在舰船目标数据标注后，进行训练样本数据的生成和数据增广；

(3)设计基于边界优化神经网络的舰船目标检测模型，将增广后的数据输入至舰船目标检测模型，获得检测目标区域；

(4)采用NMS算法进行去重，获取最后的舰船遥感目标检测结果。

优选的，高分辨率卫星影像舰船数据的标注的方法为：利用图片标注工具对高分辨率卫星影像中的舰船目标使用四点法进行四边形标注框绘制，并将所有标注好的目标框信息以及类别信息以XML格式的形成的文件存储到本地。

优选的，存储到本地的信息包括四边形四个点的坐标以及舰船类别信息，每个文件中不同舰船目标需要相应的标注信息。

优选的，训练样本数据生成的方法为：舰船目标数据标注后，先对舰船目标的长、宽以及长宽比做初步分析，根据较大目标的长宽、及长宽比结果确定适合于目标网络输入的固定大小的输入尺寸，确定舰船目标检测模型输入所需大小后，根据标注的XML文件，将标注好的高分辨率卫星影像，裁剪成多个固定输入大小的样本数据。

优选的，将标注好的高分辨率卫星影像，裁剪成多个固定输入大小的样本数据的方法为：将分析得到的图像大小作为滑动窗口的大小，按照一定的步幅，在大场景高分辨率卫星影像上滑动；若当前滑动窗口中包含有效舰船目标，则将当前滑动窗口对应的图像裁剪出来，同时，将当前窗口内舰船相对于整幅卫星影像的坐标更新为在当前窗口内的坐标，并保存为该裁剪图像对应的XML标注文件。

优选的，舰船有效目标判别方式如下：以滑动窗口面积和舰船目标四边形区域重叠面积与舰船四边形区域面积之比为判据，若面积之比大于0.5，则视为有效舰船目标。

优选的，数据增广的方法采用如下方式中的任一种：

1)通过采用平移、部分置黑、旋转、翻转或截切的方式扩充训练样本数据；

2)通过增加噪声和滤波、变化通道、调整对比度和亮度的像素变换方式扩充训练和测试样本数据；

3)采用基于超分辨率对抗生成网络生成多尺度高分辨率影像，生成2倍、4倍分辨率影像以扩充训练和验证样本数据。

优选的，设计基于边界优化神经网络的舰船目标检测模型的方法为：提取不同尺度的特征，在每个尺度特征中，使用Fcos Head模块筛选得到粗糙的Regression提议区域和粗糙的Clas Score，在定位分支中，使用边界优化模块对粗糙的提议区域进行最优的定位回归框，在分类分支中，使用BOM模块得到粗糙区域优化后的特征区域来得到分类结果；融合FCOS的区域筛选网络与BOM模块后，采用两阶段训练的方法，形成一个端到端的目标检测网络框架。

优选的，设计基于边界优化神经网络的舰船目标检测模型的方法具体包括如下步骤：

S1，由backbone产生三个不同尺度的feature map，经过feature pyramid阶段后，得到不同尺度的特征图；

S2，通过Focs Head获得多个正样本块后，采用loss函数进行训练，经过两阶段交替训练，在第一个阶段训练过程中，控制另一个优化分支不参与训练，在本分支达到收敛后，得到粗糙的Regression提议区域和粗糙的Clas Score；

S3，采用边界优化模块对粗糙的边界进行优化，两个分支分别得到包含边界优化过后的BOM分类预测特征图和BOM标注框预测图；

S4，通过空间变换网络将BOM分类预测特征图矫正，并输入到分类的网络中，得到最后的分类结果，使用focal loss方法，得到分类损失值；使用CIoU函数方法，将真实的标注框和预测的标注框进行多边形填充，得到精确标注框损失值。

优选的，loss函数包含两部分，L_cls表示分类loss，L_reg表示回归loss，loss函数采用如下公式进行表示：

其中，p_x,y代表预测分类结果，t_x,y表示在特征图上的回归后预测的位置，

分别代表分类目标和位置目标，N_pos代表了正样本的数量，λ是L_reg在式中的平衡权重，

是指示函数，当

是为1，其余为0。

本发明有益效果在于：

本发明针对目前目标检测算法检测目标区域任意方向舰船检测定位不准确、准确率不高等问题，使用一种边界优化模块，可以提取更多的边界特征，实现对任意旋转方向的遥感舰船目标的定位进行优化，同时提高遥感舰船目标的检测准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明的方法流程图；

图2附图为本发明基于边界优化神经网络的舰船目标检测网络结构图；

图3附图本发明Fcos Head示意图；

图4附图本发明BOM模块及其处理流程；

图5附图本发明舰船目标检测结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅附图1，本发明实施例公开了一种基于边界优化神经网络的舰船遥感目标检测方法，包括如下步骤：

(1)高分辨率卫星影像舰船数据的标注；

(2)在舰船目标数据标注后，进行训练样本数据的生成和数据增广；

(3)设计基于边界优化神经网络的舰船目标检测模型，将增广后的数据输入至舰船目标检测模型，获得检测目标区域；

(4)采用NMS算法进行去重，获取最后的舰船遥感目标检测结果。

本实施例中，高分辨率卫星影像舰船数据的标注的方法为：利用图片标注工具对高分辨率卫星影像中的舰船目标使用四点法进行四边形标注框绘制，并将所有标注好的目标框信息以及类别信息以XML格式的形成的文件存储到本地。存储到本地的信息必须包括四边形四个点的坐标以及舰船类别信息，每个文件中不同舰船目标需要相应的标注信息。

本实施例中，训练样本数据生成的方法为：舰船目标数据标注后，先对舰船目标的长、宽以及长宽比做初步分析，根据较大目标的长宽、及长宽比结果确定适合于目标网络输入的固定大小的输入尺寸，本发明采用的是800×1024的大小。确定舰船目标检测模型输入所需大小后，根据标注的XML文件，将标注好的高分辨率卫星影像，裁剪成多个固定输入大小的样本数据。具体方法如下：将分析得到的图像大小作为滑动窗口的大小，按照一定的步幅，在大场景高分辨率卫星影像上滑动。若当前滑动窗口中包含有效舰船目标，则将当前滑动窗口对应的图像裁剪出来，同时，将当前窗口内舰船相对于整幅卫星影像的坐标更新为在当前窗口内的坐标，并保存为该裁剪图像对应的XML标注文件。舰船有效目标判别方式如下：以滑动窗口面积和舰船目标四边形区域重叠面积与舰船四边形区域面积之比为判据，若面积之比大于0.5，则视为有效舰船目标。

本实施例中，深度学习是以数据为驱动的学习方式，为了满足学习训练样本数量的要求、在不改变图像类别的情况下，提高目标检测模型的泛化能力，防止检测模型过度拟合，采取以下任一方法对训练样本进行数据增广：

1)通过采用平移、部分置黑、旋转、翻转或截切等方式扩充训练样本数据；

2)通过增加噪声和滤波、变化通道、调整对比度和亮度等像素变换方式扩充训练和测试样本数据；

3)采用基于超分辨率对抗生成网络(SRGAN)生成多尺度高分辨率影像，生成2倍、4倍分辨率影像以扩充训练和验证样本数据。

本实施例中，设计基于边界优化神经网络的舰船目标检测模型的方法为：提取不同尺度的特征，在每个尺度特征中，使用Fcos Head模块筛选得到粗糙的Regression提议区域和粗糙的Clas Score，在定位分支中，使用边界优化模块对粗糙的提议区域进行最优的定位回归框，在分类分支中，使用BOM模块得到粗糙区域优化后的特征区域来得到分类结果；融合FCOS的区域筛选网络与BOM模块后，采用两阶段训练的方法，形成一个端到端的目标检测网络框架。

本实施例中，按照图2中的网络结构图进行构建设计基于边界优化神经网络的舰船目标检测模型的方法具体包括如下步骤：

S1，由backbone产生C3、C4、C5三个不同尺度的feature map，在C3、C4、C5后接1x1的卷积，得到之后的五个尺度P3、P4、P5以及P6和P7，其中P6、P7在分别在P5、P6上依次设置stride为2并增加卷积层得到。最终，P3，P4，P5，P6，P7的stride分别为8，16，32，64，128。经过feature pyramid阶段后，就可以得到不同尺度的特征图，这些特征图由后期的模块共用。

S2，由Focs Head产生粗糙Box Reg和粗糙cls score。其中的详细结构如图3所示。

Focs Head是一种无锚点的目标检测算法，在每个尺度的feature map上，对每一个点进行回归操作。首先需要将每个点映射回原始的输入图片中，根据映射后的点是否在相应的标注框的范围中，得到相应的正负样本块；之后，回归目标为(l^*,t^*,r^*,b^*)，即中心点做的推荐框的left、top、right和bottom之间的距离，改位置处的训练回归目标为如下公式，其中(x0，y0)和(x1，y1)分别表示第i个真实框的左上角和右下角坐标值，(x,y)表示最终特征图中某个位置。

由于FCOS可以通过这样方式获得很多正样本块，然后使用这样正样本块进行回归操作，因此获得了比较好的性能提升，之后使用如下的loss函数公式来进行训练。该loss函数如下所示，同样包含两部分，L_cls表示分类loss，本文使用的是Focal_loss；L_reg表示回归loss，本文使用的是IOU loss。

其中，p_x,y代表预测分类结果，t_x,y表示在特征图上的回归后预测的位置，

分别代表分类目标和位置目标，N_pos代表了正样本的数量，λ是L_reg在式中的平衡权重，

是指示函数，当

是为1，其余为0。

本发明中的模型需要两阶段交替训练，在第一个阶段训练过程中，控制另一个优化分支不参与训练，在本分支达到收敛后，可以得到粗糙的Regression提议区域和粗糙的Clas Score。

S3，边界优化模块对粗糙的边界进行优化，优化过程如图4的上半部分所示，通过对原有的卷积特征图H*W*256进行1*1卷积操作，BOM提取到H*W*5C维度的border特征图，之后通过Border Optimize操作，组合得到包含边界优化过后的新的特征图H*W*256，再经过1*1卷积操作转化得到的特征图可以作为下一部分分类或者回归任务的输入。

Border Optimize操作的过程：Border Optimize使用H*W*(4+1)C作为输入，其中，4C维度对应于4条边，另外C维对应于上个步骤中Fcos Head中使用的单(i，j)特征。假定特征图顺序为((i，j)，left border，top border，right border和bottom border)，对点(i，j)对应的每条边均匀采取10个采样点，采样点的值使用双线性插值计算，最后针对特征图进行channel-wise操作，并根据以下公式做全局最大池化(global max pooling)操作得到BOM分类预测特征图和BOM标注框预测图。

其中，F_c(i,j)表示输出特征图中第c个通道上第(i，j)个点，(x₀,y₀,x₁,y₁)表示在(x，y)的基础上预测的边界框，w和h是(x₀,y₀,x₁,y₁)的宽和高，I_c通过双线性插值的方法算得到。

S4，由BOM模块处理后，两个分支分别得到分类预测特征图和标注框预测特征图。由于分类预测特征图得到的区域是倾斜的，不能够输入到深度学习神经网络中，需要将其通过空间变换网络(STN，Spatial Transformer Networks)将其矫正，并输入到分类的网络中，得到最后的分类结果，使用focal loss方法，统计下式中的分类损失值

同时，由于舰船目标方向任意，标注框预测特征图中预测的结果方向也是任意的，需要使用CIoU函数方法，将真实的标注框和预测的标注框进行多边形填充，得到精确的下式中

部分。

其中，P^B表示表示经过STN转化后的预测分类结果，C^*表示目标的真实结果，Δ表示预测的边界偏差，Δ^*表示目标为正样本时(c^*＜0)真实的边界偏差。

对所有尺度进行以上的同样流程完毕之后，在大幅卫星影像上获得的检测目标区域可能会有重叠，因此为了得到唯一的目标检测区域，采用NMS算法进行去重，获取最后的目标检测结果。舰船目标检测检测结果如图5所示。

本发明采用一种端到端的目标检测框架，使用两阶段交替训练的方法，通过先粗略定位，然后再利用边界优化模块精确回归的方式进一步提高端到端目标检测网络目标检测的准确性；设计使用边界优化模块提取更多的边界特征，实现对任意旋转方向的遥感舰船目标的定位进行优化，同时提高遥感舰船目标的检测准确性；采用CIoU(ConvexIntersection over Union)来解决不规则多边形的交并比，准确计算标注框与预测框之间的损失值，帮助模型更好的收敛。

本发明在多尺度特征金字塔网络提取特征的基础上，结合通用的目标检测算法FCOS得到的粗糙的舰船目标定位结果，使用一种边界优化模块，提取更多的边界特征，设计CIoU方法解决不规则多边形面积loss值计算问题，实现对任意旋转方向的遥感舰船目标的定位优化，同时提高遥感舰船目标的检测准确性。

通过与现有技术对比，本发明具备如下技术特点：

第一，现有大部分的深度学习目标检测算法(SSD、Faster RCNN、FCOS)使用特征图中的单个锚点进行定位和分类，但是，这些方法没有做够的信息来表达完整的舰船目标实例以及舰船目标的边界信息，而这些边界对定位是十分重要的。本发明提出的边界优化模块，可以更多提取更多的边界特征来优化已有的粗糙的舰船目标，实现定位的精确性。

第二，基于单个锚点的的定位与分类方法均是面向目标的水平检测，而遥感图像由于是俯瞰拍摄，使得舰船目标的方向任意，目标标注框往往是任意方向，所以，需采用不同于水平检测的旋转检测方法。本发明采用的边界优化模块，在粗糙的舰船目标定位结果基础上，实现边界框的任意方向的生成，同时对目标边界进行逼近，得到最优化的目标定位。

第三，深度神经网络随着深度的增加，特征尺度逐渐变小，在高层次的尺度上进行目标检测，不能充分得到低层尺度中舰船目标的细节信息，本方法使用多尺度的特征金字塔网络，并在每个尺度的网络中加入边界优化模块，实现多尺度的舰船目标的精确定位与检测。

第四，现有常用的深度学习中使用的计算交并比，(简称IoU，Intersection overUnion)均是基于规则矩形的计算方法，针对任意方向的标注框与预测框可能出现的任意多边形，在本发明中，采用CIoU(Convex Intersection over Union)来准确计算标注框与预测框之间的损失值，帮助模型更好的收敛。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于边界优化神经网络的舰船遥感目标检测方法，其特征在于，包括如下步骤：

(1)高分辨率卫星影像舰船数据的标注；

(2)在舰船目标数据标注后，进行训练样本数据的生成和数据增广；

(3)设计基于边界优化神经网络的舰船目标检测模型，将增广后的数据输入至舰船目标检测模型，获得检测目标区域；

(4)采用NMS算法进行去重，获取最后的舰船遥感目标检测结果。

2.根据权利要求1所述的一种基于边界优化神经网络的舰船遥感目标检测方法，其特征在于，高分辨率卫星影像舰船数据的标注的方法为：利用图片标注工具对高分辨率卫星影像中的舰船目标使用四点法进行四边形标注框绘制，并将所有标注好的目标框信息以及类别信息以XML格式的形成的文件存储到本地。

3.根据权利要求2所述的一种基于边界优化神经网络的舰船遥感目标检测方法，其特征在于，存储到本地的信息包括四边形四个点的坐标以及舰船类别信息，每个文件中不同舰船目标需要相应的标注信息。

4.根据权利要求1所述的一种基于边界优化神经网络的舰船遥感目标检测方法，其特征在于，训练样本数据生成的方法为：舰船目标数据标注后，先对舰船目标的长、宽以及长宽比做初步分析，根据较大目标的长宽、及长宽比结果确定适合于目标网络输入的固定大小的输入尺寸，确定舰船目标检测模型输入所需大小后，根据标注的XML文件，将标注好的高分辨率卫星影像，裁剪成多个固定输入大小的样本数据。

5.根据权利要求4所述的一种基于边界优化神经网络的舰船遥感目标检测方法，其特征在于，将标注好的高分辨率卫星影像，裁剪成多个固定输入大小的样本数据的方法为：将分析得到的图像大小作为滑动窗口的大小，按照一定的步幅，在大场景高分辨率卫星影像上滑动；若当前滑动窗口中包含有效舰船目标，则将当前滑动窗口对应的图像裁剪出来，同时，将当前窗口内舰船相对于整幅卫星影像的坐标更新为在当前窗口内的坐标，并保存为该裁剪图像对应的XML标注文件。

6.根据权利要求5所述的一种基于边界优化神经网络的舰船遥感目标检测方法，其特征在于，舰船有效目标判别方式如下：以滑动窗口面积和舰船目标四边形区域重叠面积与舰船四边形区域面积之比为判据，若面积之比大于0.5，则视为有效舰船目标。

7.根据权利要求4所述的一种基于边界优化神经网络的舰船遥感目标检测方法，其特征在于，数据增广的方法采用如下方式中的任一种：

1)通过采用平移、部分置黑、旋转、翻转或截切的方式扩充训练样本数据；

2)通过增加噪声和滤波、变化通道、调整对比度和亮度的像素变换方式扩充训练和测试样本数据；

3)采用基于超分辨率对抗生成网络生成多尺度高分辨率影像，生成2倍、4倍分辨率影像以扩充训练和验证样本数据。

8.根据权利要求1所述的一种基于边界优化神经网络的舰船遥感目标检测方法，其特征在于，设计基于边界优化神经网络的舰船目标检测模型的方法为：提取不同尺度的特征，在每个尺度特征中，使用Fcos Head模块筛选得到粗糙的Regression提议区域和粗糙的Clas Score，在定位分支中，使用边界优化模块对粗糙的提议区域进行最优的定位回归框，在分类分支中，使用BOM模块得到粗糙区域优化后的特征区域来得到分类结果；融合FCOS的区域筛选网络与BOM模块后，采用两阶段训练的方法，形成一个端到端的目标检测网络框架。

9.根据权利要求8所述的一种基于边界优化神经网络的舰船遥感目标检测方法，其特征在于，设计基于边界优化神经网络的舰船目标检测模型的方法具体包括如下步骤：

S1，由backbone产生三个不同尺度的feature map，经过feature pyramid阶段后，得到不同尺度的特征图；

S2，通过Focs Head获得多个正样本块后，采用loss函数进行训练，经过两阶段交替训练，在第一个阶段训练过程中，控制另一个优化分支不参与训练，在本分支达到收敛后，得到粗糙的Regression提议区域和粗糙的Clas Score；

S3，采用边界优化模块对粗糙的边界进行优化，两个分支分别得到包含边界优化过后的BOM分类预测特征图和BOM标注框预测图；

S4，通过空间变换网络将BOM分类预测特征图矫正，并输入到分类的网络中，得到最后的分类结果，使用focal loss方法，得到分类损失值；使用CIoU函数方法，将真实的标注框和预测的标注框进行多边形填充，得到精确标注框损失值。

10.根据权利要求9所述的一种基于边界优化神经网络的舰船遥感目标检测方法，其特征在于，loss函数包含两部分，L_cls表示分类loss，L_reg表示回归loss，loss函数采用如下公式进行表示：

其中，p_x,y代表预测分类结果，t_x,y表示在特征图上的回归后预测的位置，

分别代表分类目标和位置目标，N_pos代表了正样本的数量，λ是L_reg在式中的平衡权重，

是指示函数，当

是为1，其余为0。

Images