CN108090911A - 一种光学遥感图像的近岸舰船分割方法 - Google Patents

Abstract

本发明公开了一种光学遥感图像的近岸舰船分割方法，包括：对光学遥感图像进行逐个像素标注，构成网络训练集；利用所述网络训练集对候选区域提取网络进行训练，并生成近岸舰船候选区域；利用所述近岸舰船候选区域训练区域分类网络和语义分割网络；对所述候选区域提取网络、所述区域分类网络和所述语义分割网络进行微调；将微调后的所述候选区域提取网络、微调后的所述区域分类网络和微调后的所述语义分割网络进行级联，得到端到端深度卷积神经网络；基于所述端到端深度卷积神经网络进行近岸舰船分割，不仅将近岸舰船从背景中分割出来，还能够实现在近岸舰船之间进行分割，分割效果好。

Description

一种光学遥感图像的近岸舰船分割方法

技术领域

本发明涉及图像分割技术领域，更具体的说是涉及一种光学遥感图像的近岸舰船分割方法。

背景技术

近年来，随着航空航天技术和遥感成像技术的不断提升，光学遥感图像的数据量迅速增加；如何利用算法从海量的光学遥感数据中提取所需要的目标信息成为研究重点。其中，近岸舰船分割技术能够自动从大幅面遥感图像中迅速提取出近岸舰船的位置等关键信息，应用比较广泛。

光学遥感图像近岸舰船分割是一个具有挑战性的问题，主要体现为两点：一是光学遥感图像近岸舰船具有任意旋转角度、多个尺度、光照不均等特征；二是近岸舰船的纹理等特征与路上地物特征比较相近，极其容易受到地物的干扰。

目前，大多数舰船检测的算法都是基于目标底层特征，如“V”型结构、目标纹理等，检测的精度不高，导致后续对舰船区域的分割效果不佳；另外，对舰船区域的分割多采用阈值分割，导致对复杂分割区域的适应性不强。这些手动设计的特征以及阈值分割方法泛化能力较差，难以满足多尺度、复杂背景下的光学遥感图像近岸舰船分割的应用需求。

因此，如何提供一种分割效果好的近岸舰船分割方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种光学遥感图像的近岸舰船分割方法，不仅将近岸舰船从背景中分割出来，还能够实现在近岸舰船之间进行分割，分割效果好。

为了实现上述目的，本发明采用如下技术方案：

一种光学遥感图像的近岸舰船分割方法，包括：

对光学遥感图像进行逐个像素标注，构成网络训练集；

利用所述网络训练集对候选区域提取网络进行训练，并生成近岸舰船候选区域；

利用所述近岸舰船候选区域训练区域分类网络和语义分割网络；

对所述候选区域提取网络、所述区域分类网络和所述语义分割网络进行微调；

将微调后的所述候选区域提取网络、微调后的所述区域分类网络和微调后的所述语义分割网络进行级联，得到端到端深度卷积神经网络；

基于所述端到端深度卷积神经网络进行近岸舰船分割。

可选的，所述逐个像素标注具体包括：

利用如下公式进行标注：

其中f(i,j)为光学遥感图像在点(i,j)的像素，T(i,j)为该光学遥感图像对应的标注图像在点(i,j)的像素，num表示近岸舰船索引值，从0开始。

可选的，利用所述网络训练集对候选区域提取网络进行训练具体包括：

对所述候选区域提取网络进行初始化；

利用初始化好的候选区域提取网络对光学遥感图像进行前向传播，生成多个近岸舰船候选区域；

从所述近岸舰船候选区域中随机选择N个计算损失函数，并根据随机梯度下降方法对候选区域提取网络中的参数进行更新。

可选的，对所述候选区域提取网络进行初始化具体包括：

特征提取网络初始化：特征提取网络采用迁移学习，利用在ImageNet数据集上训练好的参数进行初始化；

区域评价网络初始化：利用均值为0，标准差为0.01的高斯分布对区域评价网络进行初始化；

其中，所述特征提取网络和所述区域评价网络为所述候选区域提取网络的子网络。

可选的，利用所述近岸舰船候选区域训练区域分类网络和语义分割网络具体包括：

将提取到的所述近岸舰船候选区域以及对应的逐像素标注真值作为所述区域分类网络和所述语义分割网络的训练数据，对所述区域分类网络和所述语义分割网络进行训练；其中，所述区域分类网络和所述语义分割网络共用一个特征提取网络。

可选的，对所述候选区域提取网络、所述区域分类网络和所述语义分割网络进行微调具体包括：

利用训练好的所述区域分类网络和所述语义分割网络中的特征提取网络去初始化所述候选区域提取网络中的特征提取网络，并固定此时初始化好的特征提取网络，对区域评价网络进行微调；

固定所述区域分类网络和所述语义分割网络中的特征提取网络，对所述区域分类网络中的全连接层参数和所述语义分割网络中的全卷积层参数进行微调。

可选的，基于所述端到端深度卷积神经网络进行近岸舰船分割具体包括：

将光学遥感图像输入至所述端到端深度卷积神经网络中，所述端到端深度卷积神经网络输出近岸舰船所在区域的外界矩形框的左上、右下点坐标，评估出其为近岸舰船的概率，以及近岸舰船的分割掩码。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种光学遥感图像的近岸舰船分割方法，利用候选区域提取网络提取舰船候选区域，然后输入到区域分类网络和语义分割网络中，形成一个能够自动提取候选区域，对候选区域进行分类和语义分割的网络，从而完成端到端的光学遥感图像近岸舰船分割处理任务。

本发明提供的光学遥感图像的近岸舰船分割方法不仅能够实现将近岸舰船从背景中分割出来，还能够实现在近岸舰船之间进行分割，分割效果好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的光学遥感图像的近岸舰船分割方法的流程图；

图2附图为本发明提供的光学遥感图像的近岸舰船分割结果图一；

图3附图为本发明提供的光学遥感图像的近岸舰船分割结果图二；

图4附图为本发明提供的光学遥感图像的近岸舰船分割结果图三。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种光学遥感图像的近岸舰船分割方法，将深度卷积神经网络引入到光学遥感图像近岸舰船分割中，首先利用深度卷积神经网络提取特征信息，利用特征信息进行近岸舰船检测，对检测的舰船区域进行语义分割，获得更加准确的分割结果。

参见附图1，本发明实施例公开了一种光学遥感图像的近岸舰船分割方法，包括：

S101：对光学遥感图像进行逐个像素标注，构成网络训练集；

S102：利用网络训练集对候选区域提取网络进行训练，并生成近岸舰船候选区域；

S103：利用近岸舰船候选区域训练区域分类网络和语义分割网络；

S104：对候选区域提取网络、区域分类网络和语义分割网络进行微调；

S105：将微调后的候选区域提取网络、微调后的区域分类网络和微调后的语义分割网络进行级联，得到端到端深度卷积神经网络；

S106：基于端到端深度卷积神经网络进行近岸舰船分割。

为了进一步优化上述技术方案，逐个像素标注具体包括：

利用如下公式进行标注：

其中f(i,j)为光学遥感图像在点(i,j)的像素，T(i,j)为该光学遥感图像对应的标注图像在点(i,j)的像素，num表示近岸舰船索引值，从0开始。

本发明的目的是实现对近岸舰船的分割。根据网格训练的要求，需要事先对光学遥感图像近岸舰船进行逐像素标注。逐像素标注后，光学遥感图像能够提供近岸舰船的矩形框、掩码等信息，满足在后续的候选区域提取网络、区域分类网络以及语义分割网络中的训练。

本发明对近岸舰船进行的是实例分割，不仅要将近岸舰船从背景中分割出来，还需要在近岸舰船之间进行分割。因此，在标注时，需要区分背景与近岸舰船，同时还要区分出不同近岸舰船实例。利用上述公式进行标注，第一艘近岸舰船像素值标注为12000，第二艘近岸舰船像素值为12001，依次类推，采用该标注方法对光学遥感图像进行逐像素标注，得到一张单通道高比特位标注图。

为了进一步优化上述技术方案，利用网络训练集对候选区域提取网络进行训练具体包括：

对候选区域提取网络进行初始化；

利用初始化好的候选区域提取网络对光学遥感图像进行前向传播，生成多个近岸舰船候选区域；

从近岸舰船候选区域中随机选择N个计算损失函数，并根据随机梯度下降方法对候选区域提取网络中的参数进行更新。

候选区域提取网络的作用是生成近岸舰船候选区域，由特征提取网络和区域评价网络构成。为了提供多个层次特征信息，特征提取网络采用特征金字塔网络结构，特征金字塔网络整合多个尺度特征的信息，能够获得更高的目标定位精度。本发明正是利用这一特征对遥感图像舰船进行检测，获得比较精确的舰船候选区域。而区域评价网络由普通的卷积层构成。

接下来介绍该网络中使用的损失函数，损失函数Loss由区域分类损失函数和区域回归损失函数相加构成，具体如下：

其中，i表示Num个候选区域之中的第i个候选区域。R_i表示网络预测该候选区域是舰船区域的概率，取值在0～1之间；是对应真值，取值为0或1。区域分类损失函数就是对R_i求负对数。B_i表示网络预测该候选区域的位置信息，是个4维向量，包括中心点位置和长宽。是其对应真值。区域回归损失函数采用定义，其定义如下：

为了进一步优化上述技术方案，对候选区域提取网络进行初始化具体包括：

特征提取网络初始化：特征提取网络采用迁移学习，利用在ImageNet数据集上训练好的参数进行初始化；

区域评价网络初始化：利用均值为0，标准差为0.01的高斯分布对区域评价网络进行初始化；

其中，特征提取网络和区域评价网络为候选区域提取网络的子网络。

为了进一步优化上述技术方案，利用近岸舰船候选区域训练区域分类网络和语义分割网络具体包括：

将提取到的近岸舰船候选区域以及对应的逐像素标注真值作为区域分类网络和语义分割网络的训练数据，对区域分类网络和语义分割网络进行训练；其中，区域分类网络和语义分割网络共用一个特征提取网络。

区域分类网络和语义分割网络共用一个特征提取网络，其结构与候选区域提取网络的特征提取网络相同。利用上一步训练好的候选区域提取网络对训练数据中的每一幅光学遥感图像提取舰船候选区域，将提取到的舰船候选区域与对应的逐像素标注真值作为区域分类网络和语义分割网络的训练数据，对区域分类网络和语义分割网络进行训练。

区域分类网络包括对候选区域的分类和回归，其损失函数由区域分类损失函数和区域回归损失函数两部分组成，其定义和候选区域提取网络相同。

为了获得近岸舰船的分割掩码，语义分割网络采用全卷积形式，输出分辨率r×r大小的近岸舰船掩码概率图M_i，损失函数由掩码精度损失函数组成，定义为平均二值交叉熵损失。具体定义如下：

其中，p(x,y)是舰船掩码概率图M_i上点(x,y)的概率值经sigmoid函数处理后的值，p^T(x,y)是其对应的真值。

为了进一步优化上述技术方案，对候选区域提取网络、区域分类网络和语义分割网络进行微调具体包括：

利用训练好的区域分类网络和语义分割网络中的特征提取网络去初始化候选区域提取网络中的特征提取网络，并固定此时初始化好的特征提取网络，对区域评价网络进行微调；

固定区域分类网络和语义分割网络中的特征提取网络，对区域分类网络中的全连接层参数和语义分割网络中的全卷积层参数进行微调。

其中，损失函数与初次训练区域分类网络和语义分割网络的损失函数相同。

为了进一步优化上述技术方案，基于端到端深度卷积神经网络进行近岸舰船分割具体包括：

将光学遥感图像输入至端到端深度卷积神经网络中，端到端深度卷积神经网络输出近岸舰船所在区域的外界矩形框的左上、右下点坐标，评估出其为近岸舰船的概率，以及近岸舰船的分割掩码，具体可参见附图2-附图4。

附图2-附图4为利用本发明的方法得到的3个分割结果图。其中，黄色轮廓线为舰船的真值轮廓线，每个舰船目标均有一个外界矩形框，一个评估其为舰船的概率，以及网络估计的分割掩码。由附图可知，每个舰船的分割掩码基本与真值轮廓线包围的区域重合，说明了利用本发明提供的分割方法得到的分割结果比较精确。另外，从附图4中可以看出，两艘并排停靠的舰船也被分割出来了，说明本发明提供的方法对并排停靠的近岸舰船同样具有很好的分割效果。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种光学遥感图像的近岸舰船分割方法，其特征在于，包括：

对光学遥感图像进行逐个像素标注，构成网络训练集；

利用所述网络训练集对候选区域提取网络进行训练，并生成近岸舰船候选区域；

利用所述近岸舰船候选区域训练区域分类网络和语义分割网络；

对所述候选区域提取网络、所述区域分类网络和所述语义分割网络进行微调；

将微调后的所述候选区域提取网络、微调后的所述区域分类网络和微调后的所述语义分割网络进行级联，得到端到端深度卷积神经网络；

基于所述端到端深度卷积神经网络进行近岸舰船分割。

2.根据权利要求1所述的光学遥感图像的近岸舰船分割方法，其特征在于，所述逐个像素标注具体包括：

利用如下公式进行标注：

其中f(i,j)为光学遥感图像在点(i,j)的像素，T(i,j)为该光学遥感图像对应的标注图像在点(i,j)的像素，num表示近岸舰船索引值，从0开始。

3.根据权利要求1所述的光学遥感图像的近岸舰船分割方法，其特征在于，利用所述网络训练集对候选区域提取网络进行训练具体包括：

对所述候选区域提取网络进行初始化；

利用初始化好的候选区域提取网络对光学遥感图像进行前向传播，生成多个近岸舰船候选区域；

从所述近岸舰船候选区域中随机选择N个计算损失函数，并根据随机梯度下降方法对候选区域提取网络中的参数进行更新。

4.根据权利要求3所述的光学遥感图像的近岸舰船分割方法，其特征在于，对所述候选区域提取网络进行初始化具体包括：

特征提取网络初始化：特征提取网络采用迁移学习，利用在ImageNet数据集上训练好的参数进行初始化；

区域评价网络初始化：利用均值为0，标准差为0.01的高斯分布对区域评价网络进行初始化；

其中，所述特征提取网络和所述区域评价网络为所述候选区域提取网络的子网络。

5.根据权利要求4所述的光学遥感图像的近岸舰船分割方法，其特征在于，利用所述近岸舰船候选区域训练区域分类网络和语义分割网络具体包括：

将提取到的所述近岸舰船候选区域以及对应的逐像素标注真值作为所述区域分类网络和所述语义分割网络的训练数据，对所述区域分类网络和所述语义分割网络进行训练；其中，所述区域分类网络和所述语义分割网络共用一个特征提取网络。

6.根据权利要求5所述的光学遥感图像的近岸舰船分割方法，其特征在于，对所述候选区域提取网络、所述区域分类网络和所述语义分割网络进行微调具体包括：

利用训练好的所述区域分类网络和所述语义分割网络中的特征提取网络去初始化所述候选区域提取网络中的特征提取网络，并固定此时初始化好的特征提取网络，对区域评价网络进行微调；

固定所述区域分类网络和所述语义分割网络中的特征提取网络，对所述区域分类网络中的全连接层参数和所述语义分割网络中的全卷积层参数进行微调。

7.根据权利要求1所述的光学遥感图像的近岸舰船分割方法，其特征在于，基于所述端到端深度卷积神经网络进行近岸舰船分割具体包括：

将光学遥感图像输入至所述端到端深度卷积神经网络中，所述端到端深度卷积神经网络输出近岸舰船所在区域的外界矩形框的左上、右下点坐标，评估出其为近岸舰船的概率，以及近岸舰船的分割掩码。