CN109711295A - 一种光学遥感图像近岸舰船检测方法 - Google Patents

Abstract

本发明公开了一种光学遥感图像近岸舰船检测方法，包括：S1创建海陆分割网络，并训练海陆分割网络；S2创建候选区域提取网络，并训练所述候选区域提取网络；S3构建Fast R‑CNN预测网络，并训练Fast R‑CNN预测网络；S4将训练好的海陆分割网络、训练好的候选区域提取网络以及训练好的Fast R‑CNN预测网络进行连接，得到端到端网络；S5基于所述端到端网络对输入的遥感图像进行舰船检测。本发明提供的舰船检测方法能够对光学遥感图像中近岸舰船进行准确检测，输出遥感图像中的近岸舰船目标的得分、边界框位置和分割掩码，虚警少。该网络还能够检测出大型的航母、中型的驱逐舰以及小型的民船等，总体检测效果好。

Description

一种光学遥感图像近岸舰船检测方法

技术领域

本发明涉及数字图像处理技术领域，更具体的说是涉及一种光学遥感图像近岸舰船检测方法。

背景技术

近年来，随着光学遥感卫星的商业化和普及化，获取不同时相、不同分辨率和不同场景的光学遥感图像数据已经不是一件难事。而如何充分有效地利用这些数据，在尽可能减少人工交互、人工判读的情况下，自动挖掘并提取出需要的信息成为发展光学遥感技术的应用前景。光学遥感图像近岸舰船检测技术，能够自动从大幅面遥感图像中迅速提取出近岸舰船的位置等关键信息，有着广泛的应用前景。

光学遥感图像近岸舰船检测是遥感图像理解领域中的一个热门方向，同时充满了挑战。如：舰船目标一般呈现为长条形，且在遥感图像中呈各种方向停靠；近岸舰船与港口在灰度水平和纹理特征上十分相似，检测结果容易导致较多虚警；近岸舰船常常处于密集停靠状态，舰船之间会产生相互干扰。传统的光学遥感图像近岸舰船检测方法通常采用三个步骤：先对输入的遥感图像进行预处理，如去噪、去云等；然后进行海陆分割；接着根据舰船目标的特点进行舰船检测，并剔除虚警。

传统近岸舰船检测方法的核心是构建目标特征，然后利用这个特征去进行检测。常用的舰船特征是舰船的“V”型船头，然而这样的特征对于那些没有“V”型船头的舰船而言，如航母、两栖舰等，效果一般，容易导致漏检。同时，传统近岸舰船检测方法出现的虚警较多，总体来说，检测效果差。

因此，如何提供一种检测效果好的近岸舰船检测方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种光学遥感图像近岸舰船检测方法，实现了对光学遥感图像中近岸舰船的准确检测。

为了实现上述目的，本发明采用如下技术方案：

一种光学遥感图像近岸舰船检测方法，包括：

S1：创建海陆分割网络，并对所述海陆分割网络进行训练；

S2：创建候选区域提取网络，并对所述候选区域提取网络进行训练；

S3：构建Fast R-CNN预测网络，并对所述Fast R-CNN预测网络进行训练；

S4：将训练好的海陆分割网络、训练好的候选区域提取网络以及训练好的FastR-CNN预测网络进行连接，得到端到端网络；

S5：基于所述端到端网络对输入的遥感图像进行舰船检测。

优选的，步骤S1具体包括：

海陆分割网络采用ResNet-50，其中ResNet-50由5个层级组成，分别计为C₁,C₂,C₃,C₄,C₅，将后四个层级的特征进行上采样操作，均放大到C₂层级特征大小，然后进行融合操作，将融合后得到的特征进行上采样操作，放大到原始输入图像大小，然后进行3×3卷积操作，获得一个原图大小、两个维度的特征，最后在此特征上逐点应用softmax操作，获得最终的网络预测特征图，所述网络预测特征图上的每个点的值代表了对应遥感图像像素点属于海洋和陆地的概率值，是一个二维向量；网络采用输入遥感图像的海陆分割真值图作为监督信息来训练网络，其中，海陆分割网络采用平均softmax交叉熵损失函数进行训练，平均softmax交叉熵损失函数如下：

其中，P(x,y)指网络预测的特征图中的点(x,y)的值，S(x,y)指海陆分割真值图的点(x,y)的值。H和W分别代表特征图的高和宽，L是单个像素点处的交叉熵损失函数。

优选的，在步骤S2中，候选区域提取网络包括：特征提取部分和特征融合部分；

其中，特征提取部分采用特征金字塔网络结构，产生多个不同分辨率的特征；

特征融合部分将特征金字塔网络生成的特征与海陆分割网络生成的特征进行融合，构成一个新的特征，在新的特征的基础上进行候选框预测，得到候选框。

优选的，在步骤S3中，Fast R-CNN预测网络包括：分类分支、回归分支和分割分支；所述分类分支对候选框中的目标进行分类；所述回归分支对候选框的位置、大小进行回归；所述分割分支对候选框中的目标进行掩码分割。

优选的，将遥感图像输入至所述端到端网络中，所述端到端网络输出遥感图像中近岸舰船目标的得分、边界框位置以及分割掩码。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种光学遥感图像近岸舰船检测方法，将训练好的海陆分割网络、候选区域提取网络和Fast R-CNN预测网络三部分连接，组成一个完整的端到端网络，能够对光学遥感图像中近岸舰船进行准确检测，输出遥感图像中的近岸舰船目标的得分、边界框位置以及分割掩码，虚警少。同时，该网络还能够检测出大型的航母、中型的驱逐舰以及小型的民船等，总体检测效果好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的光学遥感图像近岸舰船检测方法的流程示意图；

图2为本发明提供的光学遥感图像近岸舰船检测结果图一；

图3为本发明提供的光学遥感图像近岸舰船检测结果图二；

图4为本发明提供的光学遥感图像近岸舰船检测结果图三。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见附图1，本发明实施例公开了一种光学遥感图像近岸舰船检测方法，包括：

S1：创建海陆分割网络，并对所述海陆分割网络进行训练；

海陆分割网络本质上是一个语义分割网络。语义分割网络就是对图像的每个点进行类别预测。该网络的骨干网络采用ResNet-50。ResNet-50由5个层级组成，分别计为：C₁,C₂,C₃,C₄,C₅。因为网络中的卷积和池化操作，每个层级输出的特征大小发生了变化，分别为原图的1/2,1/4,1/8,1/16,1/32。将后四个层级的特征进行上采样操作，均放大到C₂层级特征大小，然后进行融合操作。最后将这个融合后的特征进行上采样操作，放大到原始输入图像大小，然后进行一个3×3卷积操作，获得一个原图大小、两个维度的特征，最后在此特征上逐点应用softmax操作，获得最终的网络预测特征图，网络预测特征图上的每个点的值代表了对应遥感图像像素点属于海洋和陆地的概率值，是一个二维向量；海陆分割网络采用输入遥感图像的海陆分割真值图作为监督信息来训练网络。网络采样平均softmax交叉熵损失函数进行训练。该损失函数如下：

其中，P(x,y)指网络预测的特征图中的点(x,y)的值，S(x,y)指海陆分割真值图的点(x,y)的值。H和W分别代表特征图的高和宽，L是单个像素点处的交叉熵损失函数。

值得注意的是：训练海陆分割网络需要人为进行海陆分割标注信息，因为海陆分割网络的分割结果为：海洋和陆地。其中，本发明将近岸舰船划分为海洋区域进行训练。

S2：创建候选区域提取网络，并对所述候选区域提取网络进行训练；

候选区域提取网络的目的是生成近岸舰船候选区域，主要由三个部分构成：特征提取部分、特征融合部分和候选框预测部分。其中，特征提取部分采用特征金字塔网络结构，基础网络采用ResNet-50结构。特征金字塔网络能够产生多个不同分辨率的特征，有利于检测多尺度的舰船类目标。在候选区域提取网络中，特征金字塔网络生成的特征与海陆分割网络生成的特征融合，构成一个新的特征。然后在这个新的特征上面进行候选框预测。候选区域提取网络的损失函数定义如下：

L＝L_c+λ₁L_b

其中，L_c表示目标分类损失，L_b表示候选框回归损失，λ₁是超参数，设置为1，控制两个损失的比例。进一步分类损失和候选框回归损失定义如下：

其中，l_i表示物体的标签，p_i表示经过softmax函数后计算出的类别概率，t_i表示预测的坐标偏移向量，表示真值和正锚点(positive anchors)之间的偏移距离，其中，真值为训练过程中人为标注的。

候选框预测分为分类分支和回归分支，其中，分类分支采用上述的分类损失函数，目的在于使得训练结果让分类结果更准确，回归分支采用上述的候选框回归损失函数，其目的在于使得训练结果让候选框与真值框更加接近。

S3：构建Fast R-CNN预测网络，并对所述Fast R-CNN预测网络进行训练；

Fast R-CNN预测网络主要由三个分支构成，分别是：分类分支、回归分支和分割分支。Fast R-CNN预测网络的输入是候选区域提取网络生成的舰船候选框。三个分支的功能分别是：分类分支对候选框中的目标进行分类，回归分支对候选框的位置、大小进行回归，分割分支对候选框中的目标进行掩码分割。分类分支和回归分支的损失函数同上一步中的候选区域提取网络相同。分割分支采用全卷积形式，其本质也是一个语义分割网络，其输出是一个分辨率r×r大小的近岸舰船掩码概率图P_i，其损失函数为平均二值交叉熵损失函数。具体定义如下：

其中，p(x,y)是舰船掩码概率图P_i上点(x,y)的概率值经sigmoid函数处理后的值，p^*(x,y)是其对应的真值。

S4：将训练好的海陆分割网络、训练好的候选区域提取网络以及训练好的Fast R-CNN预测网络进行连接，得到端到端网络；

S5：基于所述端到端网络对输入的遥感图像进行舰船检测。

将训练好的海陆分割网络、候选区域提取网络、Fast R-CNN预测网络三个部分进行连接，组成一个完整的端到端网络。在测试阶段，网络输入遥感图像，输出图中舰船目标的得分、边界框位置以及分割掩码。其中，得分表示目标区域是舰船的置信度，得分越高，目标是舰船的置信度就越高。

结合附图2-4，附图2-4为光学遥感图像近岸舰船检测结果图，可以看出，每一艘近岸舰船都被检测出来了，检测结果包括：舰船目标的得分、边界框和分割掩码。同时，该网络能够检测出大型的航母、中型的驱逐舰以及小型的民船等。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种光学遥感图像近岸舰船检测方法，其特征在于，包括：

S1：创建海陆分割网络，并对所述海陆分割网络进行训练；

S2：创建候选区域提取网络，并对所述候选区域提取网络进行训练；

S3：构建Fast R-CNN预测网络，并对所述Fast R-CNN预测网络进行训练；

S4：将训练好的海陆分割网络、训练好的候选区域提取网络以及训练好的FastR-CNN预测网络进行连接，得到端到端网络；

S5：基于所述端到端网络对输入的遥感图像进行舰船检测。

2.根据权利要求1所述的一种光学遥感图像近岸舰船检测方法，其特征在于，步骤S1具体包括：

海陆分割网络采用ResNet-50，其中ResNet-50由5个层级组成，分别计为C₁,C₂,C₃,C₄,C₅，将后四个层级的特征进行上采样操作，均放大到C₂层级特征大小，然后进行融合操作，将融合后得到的特征进行上采样操作，放大到原始输入图像大小，然后进行3×3卷积操作，获得一个原图大小、两个维度的特征，最后在此特征上逐点应用softmax操作，获得网络预测特征图，所述网络预测特征图上的每个点的值代表了对应遥感图像像素点属于海洋和陆地的概率值，是一个二维向量；海陆分割网络采用输入遥感图像的海陆分割真值图作为监督信息来训练网络，其中，海陆分割网络采用平均softmax交叉熵损失函数进行训练，平均softmax交叉熵损失函数如下：

其中，P(x,y)指网络预测的特征图中的点(x,y)的值，S(x,y)指海陆分割真值图的点(x,y)的值，H和W分别代表特征图的高和宽，L是单个像素点处的交叉熵损失函数。

3.根据权利要求2所述的一种光学遥感图像近岸舰船检测方法，其特征在于，在步骤S2中，候选区域提取网络包括：特征提取部分和特征融合部分；其中，特征提取部分采用特征金字塔网络结构，产生多个不同分辨率的特征；

特征融合部分将特征金字塔网络生成的特征与海陆分割网络生成的特征进行融合，构成一个新的特征，在新的特征的基础上进行候选框预测，得到候选框。

4.根据权利要求3所述的一种光学遥感图像近岸舰船检测方法，其特征在于，在步骤S3中，Fast R-CNN预测网络包括：分类分支、回归分支和分割分支；所述分类分支对候选框中的目标进行分类；所述回归分支对候选框的位置、大小进行回归；所述分割分支对候选框中的目标进行掩码分割。

5.根据权利要求1-4任意一项所述的一种光学遥感图像近岸舰船检测方法，其特征在于，将遥感图像输入至所述端到端网络中，所述端到端网络输出遥感图像中近岸舰船目标的得分、边界框位置以及分割掩码。