CN114266795A - 一种基于金字塔池化u型网络的遥感图像海陆分割方法 - Google Patents

Abstract

本发明提供一种基于金字塔池化U型网络的遥感图像海陆分割方法，包括下列步骤：获取高分遥感图像，对所述高分遥感图像进行裁剪，并绘制相对应的海陆分割真值图；将裁剪后的高分遥感图像依次进行分块以及图像刚性变换，并基于变换结果划分训练集以及测试集；建立金字塔U型卷积神经网络，将训练集输入金字塔U型卷积神经网络进行学习训练获得高分遥感影像海陆分割模型；将所述测试集中的数据输入金字塔U型卷积神经网络中，得到遥感图像海陆分割结果。

Description

一种基于金字塔池化U型网络的遥感图像海陆分割方法

技术领域

本发明涉及遥感影像分割技术领域，尤其涉及一种基于金字塔池化U型网络的遥感图像海陆分割方法。

背景技术

我国是一个海洋大国，海岸线作为非常重要的地标之一是海洋和陆地的交界线。随着海洋经济的迅猛发展，我国南部沿海地区凭借地理位置的优越性，逐渐成为人们活动的主要区域。海岸线由于外界因素和人为因素的影响会发生相应的变化，例如海水侵蚀、淤泥排放、滩涂围垦和海沙采集等都会导致海岸线的扩张和收缩。近年来，我国遥感技术随着遥感卫星事业的迅速发展取得了进步。遥感技术的优势是不会受到地表变化、天气差异以及地理环境的影响，因此在海洋开发事业中取得了广泛的应用。高分遥感图像因其清晰度较高，有利于人们获取图像信息、提取图像特征和解释图像，其中图像语义分割在遥感图像应用中发挥着关键的作用。尤其是对海洋和陆地的分割可以准确获取海岸线信息，对于海岸的动态变迁以及重要信息提取具有重要的作用。

随着人工智能技术的不断发展，机器学习方法被广泛的应用于各个领域，是图像语义分割的研究重点和热点问题。卷积神经网络(CNN)以其巨大的优势在遥感图像处理领域取得了显著的成绩。高分辨率遥感图像成像质量好，清晰度高，对于检测海岸线变动、岸滩宏观变化趋势具有重要意义。在遥感图像中提取海岸线信息对于海洋周边的发展意义重大，通常都是通过海洋和陆地图像分割的方式提取海岸线。但是，传统方法在进行遥感图像海陆分割时容易忽略海岸线上下语义关系，进而得到错误的特征判别机制，导致泥沙浓度较高的海水和其他沿海水体、养殖水池等难以区分。现有的用于高分辨率遥感影像分割方法主要有阈值分割法、边缘检测法、小波变换法、区域生长法和机器学习算法。传统的算法大多数根据遥感图像的像素值差异原理进行图像分割，但是仅仅基于像素的理论很容易出现误分割。传统机器学习算法以特征的形式区分海洋和陆地，但是对于上下语义特征不明显的遥感图像，想要得到更精准的海岸线信息同样困难重重。

发明内容

本发明的目的在于提供一种基于金字塔池化U型网络的遥感图像海陆分割方法，通过将金字塔池化加入到U-net的跳跃连接中学习多尺度遥感图像中海洋和陆地特征，解决边界模糊问题，提升高分辨率遥感图像的海陆分割精度，以解决上述背景技术中提出的问题。

本发明是通过以下技术方案实现的：本发明公开了一种基于金字塔池化U型网络的遥感图像海陆分割方法，将金字塔池化加入到U-net的跳跃连接中学习多尺度遥感图像中海洋和陆地特征，所述方法包括下列步骤：

获取高分遥感图像，并对所述高分遥感图像进行裁剪，并绘制相对应的海陆分割真值图；

将裁剪后的高分遥感图像依次进行分块以及图像刚性变换，并基于变换结果划分训练集以及测试集；

建立金字塔U型卷积神经网络，将训练集中的数据输入金字塔U型卷积神经网络进行学习训练获得高分遥感影像海陆分割模型；

将所述测试集中的数据输入金字塔U型卷积神经网络中，得到遥感图像海陆分割结果。

可选的，对所述高分遥感图像进行裁剪，裁剪后的图像包含海岸线附近区域和陆地所有信息。

可选的，所述绘制相对应的海陆分割真值图时，其过程包括：基于ArcGIS10.2工具，在裁剪后的高分遥感影像中手动绘制海洋和陆地区域，得到点线面构成的shp格式的矢量文件作为真值图。

可选的，所述将裁剪后的高分遥感图像依次进行分块以及图像刚性变换时，其过程包括：

将裁剪后的高分遥感图像进行分块处理，分块大小为N×N，其中N为不超过256的自然数；

将分块后的图像进行上下、左右翻转，并旋转一定角度扩充样本量。

可选的，所述将训练集中的数据输入金字塔U型卷积神经网络进行学习训练获得高分遥感影像海陆分割概率图时，其过程包括：

设定A＝{A₁,A₂,…,A_i}包含所有高分遥感影像训练数据集

其中d_m,d_n表示样本A_i尺寸；

将所述训练集A_i输入金字塔U型卷积神经网络的第一层进行卷积，获得特征E1，将所述特征E1输入金字塔U型卷积神经网络的池化层进行下采样，获得特征F1；

将所述特征E1输入金字塔U型卷积神经网络的金字塔池化模块，获得特征P1；

对所述特征F1进行卷积，获得特征E2，同时将所述特征E2输入金字塔U型卷积神经网络的池化层进行下采样，获得特征F2；

将所述特征E2输入金字塔U型卷积神经网络的金字塔池化模块，获得特征P2；

对所述特征F2进行卷积，获得特征E3，同时将所述特征E3输入金字塔U型卷积神经网络的池化层进行下采样，获得特征F3；

将所述特征F3输入金字塔U型卷积神经网络的解码器进行双线性上采样，获得特征D3；

将所述特征E3、特征P2、特征D3进行级联融合，获得特征C1，并对所述特征C1进行卷积，将卷积结果输入解码器进行双线性上采样，获得特征D2；

将所述特征E2、特征P1、特征D2进行级联融合，获得特征C2，并对所述特征C2进行卷积，将卷积结果输入解码器进行双线性上采样，获得特征D1；

将所述特征E1与所述特征D1级联融合，获得特征C3，将所述特征C3进行卷积，获得高分遥感影像海陆分割模型。

可选的，所述金字塔池化模块包括四个层级，其中，

第一层级，使用全局池化生成单个输出；

第二层级，将特征图划分为2×2个子区域，对每个子区域进行池化，最后组合包含位置信息的输出；

第三层级，将特征图划分为3×3个子区域，对每个子区域进行池化，最后组合包含位置信息的输出；

第四层级，将特征图划分为6×6个子区域，对每个子区域进行池化，最后组合包含位置信息的输出。

可选的，所述方法还包括：

将所述高分遥感影像海陆分割概率图与所述真值图进行对比，若相似度高，说明所述高分遥感影像海陆分割概率图正确，金字塔U型卷积神经网络训练完成，否则将训练集中的数据重新输入金字塔U型卷积神经网络进行学习训练。

与现有技术相比，本发明达到的有益效果如下：

本发明提供的一种金字塔池化U型网络的海洋遥感影像海陆分割方法，通过金字塔U型网络能够实现在高分遥感影像海陆分割中达到与专家手动分割的高度一致性；将金字塔池化结构嵌入到U型网络中，进行两种池化操作并合并不同尺度的特征图，提升了高分遥感影像不同尺度的分割精度；在解码器阶段加入深度监督功能，从而聚合特征途中学习分层表示，提高海岸线信息提取的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的优选实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于金字塔池化U型网络的遥感图像海陆分割方法的流程图；

图2为本发明实施例提供的金字塔U型卷积神经网络结构图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本发明的范围完全地传递给本领域技术人员。

在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制。在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”，当在该说明书中使用时，确定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。

为了彻底理解本发明，将在下列的描述中提出详细的结构，以便阐释本发明提出的技术方案。本发明的可选实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。

本发明的目的是提出一种金字塔池化U型网络的海洋遥感影像海陆分割方法，即将金字塔池化加入到U-net的跳跃连接中学习多尺度遥感图像中海洋和陆地特征，解决边界模糊问题，提升高分辨率遥感图像的海陆分割精度，参见图1至图2，其包括下列步骤：

S1、获取高分遥感图像，并对所述高分遥感图像进行裁剪，并绘制相对应的海陆分割真值图；

S2、将裁剪后的高分遥感图像依次进行分块以及图像刚性变换，并基于变换结果划分训练集以及测试集；

S3、建立金字塔U型卷积神经网络，将训练集中的数据输入金字塔U型卷积神经网络进行学习训练获得高分遥感影像海陆分割模型；

S4、将所述测试集中的数据输入金字塔U型卷积神经网络中，得到遥感图像海陆分割结果。

本实施例中所采集的高分遥感图像来源于高分一号(GF-1)卫星拍摄的中国南海范围内沿海区域假彩色图像，在步骤S1中，由于卫星拍摄的高分遥感影像形状不规则，增加了海岸线提取难度，因此将采集到的遥感影像进行裁剪，裁剪后的图像包含海岸线附近区域和陆地所有信息

进一步的，基于ArcGIS10.2工具，在裁剪后的高分遥感影像中手动绘制海洋和陆地区域，得到点线面构成的shp格式的矢量文件作为真值图。

在步骤S2中，由于高分遥感影像分辨率较高，图像尺寸太大，将裁剪后的高分遥感图像进行分块处理，分块大小为N×N，其中N为不超过256的自然数，例如N＝256；

深度学习需要大量训练样本，因此，将分块后的图像进行上下、左右翻转，并旋转一定角度扩充样本量；

最后将将分块并扩充好的样本数据按照一定的比例划分为训练集和测试集，其中训练集和测试集的比例为4：1

在步骤S3中，本发明进一步公开了将所述训练集中的数据输入金字塔U型卷积神经网络进行学习训练获得高分遥感影像海陆分割概率图时的训练方法，其过程包括：

S301、设定A＝{A₁,A₂,…,A_i}包含所有高分遥感影像训练数据集

其中d_m,d_n表示样本A_i尺寸；

S302、将所述训练集A_i输入金字塔U型卷积神经网络的第一层进行做m×m的卷积操作两次，并且跟随一个衰减率为0.85的ReLU函数，m为3，获得特征E1，将所述特征E1输入金字塔U型卷积神经网络的池化层进行下采样，获得特征F1；

S303、将所述特征E1输入金字塔U型卷积神经网络的金字塔池化模块，获得特征P1；

S304、对所述特征F1进行做m×m的卷积两次，并且跟随一个衰减率为0.85的ReLU函数，m为3，获得特征E2，同时将所述特征E2输入金字塔U型卷积神经网络的池化层进行下采样，获得特征F2；

S305、将所述特征E2输入金字塔U型卷积神经网络的金字塔池化模块，获得特征P2；

S306、对所述特征F2进行m×m的卷积两次，并且跟随一个衰减率为0.85的ReLU函数，m为3，获得特征E3，同时将所述特征E3输入金字塔U型卷积神经网络的池化层进行下采样，获得特征F3；

S307、将所述特征F3输入金字塔U型卷积神经网络的解码器进行双线性上采样，在解码器的最后一层执行深度监督，获得特征D3；

在S307中，深度监督是将解码器的最后一层馈送到一个m×m卷积层，此阶段以像素为单位的交叉熵损失计算为：l₁＝∑_x∈Ωω(x)logp(x)，m为3；

S308、将所述特征E3、特征P2、特征D3进行级联融合，获得特征C1，并对所述特征C1进行m×m的卷积两次，并且跟随一个衰减率为0.85的ReLU函数，m为3，最终将卷积结果输入解码器进行双线性上采样，在解码器的最后一层执行深度监督，获得特征D2；

在S308中，深度监督是将解码器的最后一层馈送到一个m×m卷积层，此阶段以像素为单位的交叉熵损失计算为：l₂＝∑_x∈Ωω(x)logp(x)，m为3；

S309、将所述特征E2、特征P1、特征D2进行级联融合，获得特征C2，并对所述特征C2进行m×m的卷积，并且跟随一个衰减率为0.85的ReLU函数，m为3，最终将卷积结果输入解码器进行双线性上采样，在解码器的最后一层执行深度监督，获得特征D1；

在S309中，深度监督是将解码器的最后一层馈送到一个m×m卷积层，此阶段以像素为单位的交叉熵损失计算为：l₃＝∑_x∈Ωω(x)logp(x)，m为3；

S310、将所述特征E1与所述特征D1级联融合，获得特征C3，将所述特征C3进行两次m×m的卷积，并且跟随一个衰减率为0.85的ReLU函数，获得高分遥感影像海陆分割概率图。

进一步，本实施例中所述金字塔池化模块包括四个不同尺度的层级特征，其中，

第一层级，使用全局池化生成单个输出；

第二层级，将特征图划分为2×2个子区域，对每个子区域进行池化，最后组合包含位置信息的输出；

第三层级，将特征图划分为3×3个子区域，对每个子区域进行池化，最后组合包含位置信息的输出；

第四层级，将特征图划分为6×6个子区域，对每个子区域进行池化，最后组合包含位置信息的输出。

进一步的，本实施例使用Dice函数作为损失函数的一部分，用以解决类别不平衡问题，并结合深度监督过程中的三个损失函数，最终损失函数表示为：Loss＝L(Θ)+DL(X)＝αl₁+βl₂+γl₃+DL(X)其中，L(Θ)＝αl₁+βl₂+γl₃，

可选的，所述方法还包括：

S311、将所述高分遥感影像海陆分割概率图与所述真值图进行对比，若相似度高，说明所述高分遥感影像海陆分割概率图正确，金字塔U型卷积神经网络训练完成，否则将训练集中的数据重新输入金字塔U型卷积神经网络进行学习训练。

在步骤S4中，将测试集中的数据输入到训练完成的金字塔U型卷积神经网络中，得到最终的高分遥感影像海陆分割概率图。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (7)

1.一种基于金字塔池化U型网络的遥感图像海陆分割方法，其特征在于，将金字塔池化加入到U-net的跳跃连接中学习多尺度遥感图像中海洋和陆地特征，所述方法包括下列步骤：

获取高分遥感图像，对所述高分遥感图像进行裁剪，并绘制相对应的海陆分割真值图；

将裁剪后的高分遥感图像依次进行分块以及图像刚性变换，并基于变换结果划分训练集以及测试集；

建立金字塔U型卷积神经网络，将训练集中的数据输入金字塔U型卷积神经网络进行学习训练获得高分遥感影像海陆分割模型；

将所述测试集中的数据输入金字塔U型卷积神经网络中，得到遥感图像海陆分割结果。

2.根据权利要求1所述的一种基于金字塔池化U型网络的遥感图像海陆分割方法，其特征在于，对所述高分遥感图像进行裁剪，裁剪后的图像包含海岸线附近区域和陆地所有信息。

3.根据权利要求2所述的一种基于金字塔池化U型网络的遥感图像海陆分割方法，其特征在于，所述绘制相对应的海陆分割真值图时，其过程包括：基于ArcGIS10.2工具，在裁剪后的高分遥感影像中手动绘制海洋和陆地区域，得到点线面构成的shp格式的矢量文件作为真值图。

4.根据权利要求3所述的一种基于金字塔池化U型网络的遥感图像海陆分割方法，其特征在于，所述将裁剪后的高分遥感图像依次进行分块以及图像刚性变换时，其过程包括：

将裁剪后的高分遥感图像进行分块处理，分块大小为N×N，其中N为不超过256的自然数；

将分块后的图像进行上下、左右翻转，并旋转一定角度扩充样本量。

5.根据权利要求1-4任一项所述的一种基于金字塔池化U型网络的遥感图像海陆分割方法，其特征在于，所述将训练集中的数据输入金字塔U型卷积神经网络进行学习训练获得高分遥感影像海陆分割模型时，其过程包括：

设定A＝{A₁,A₂,…,A_i}包含所有高分遥感影像训练数据集

其中d_m,d_n表示样本A_i尺寸；

将所述训练集A_i输入金字塔U型卷积神经网络的第一层进行卷积，获得特征E1，将所述特征E1输入金字塔U型卷积神经网络的池化层进行下采样，获得特征F1；

将所述特征E1输入金字塔U型卷积神经网络的金字塔池化模块，获得特征P1；

对所述特征F1进行卷积，获得特征E2，同时将所述特征E2输入金字塔U型卷积神经网络的池化层进行下采样，获得特征F2；

将所述特征E2输入金字塔U型卷积神经网络的金字塔池化模块，获得特征P2；

对所述特征F2进行卷积，获得特征E3，同时将所述特征E3输入金字塔U型卷积神经网络的池化层进行下采样，获得特征F3；

将所述特征F3输入金字塔U型卷积神经网络的解码器进行双线性上采样，获得特征D3；

将所述特征E3、特征P2、特征D3进行级联融合，获得特征C1，并对所述特征C1进行卷积，将卷积结果输入解码器进行双线性上采样，获得特征D2；

将所述特征E2、特征P1、特征D2进行级联融合，获得特征C2，并对所述特征C2进行卷积，将卷积结果输入解码器进行双线性上采样，获得特征D1；

将所述特征E1与所述特征D1级联融合，获得特征C3，将所述特征C3进行卷积，获得高分遥感影像海陆分割模型。

6.根据权利要求5所述的一种基于金字塔池化U型网络的遥感图像海陆分割方法，其特征在于，所述金字塔池化模块包括四个层级，其中，

第一层级，使用全局池化生成单个输出；

第二层级，将特征图划分为2×2个子区域，对每个子区域进行池化，最后组合包含位置信息的输出；

第三层级，将特征图划分为3×3个子区域，对每个子区域进行池化，最后组合包含位置信息的输出；

第四层级，将特征图划分为6×6个子区域，对每个子区域进行池化，最后组合包含位置信息的输出。

7.根据权利要求5所述的一种基于金字塔池化U型网络的遥感图像海陆分割方法，其特征在于，所述方法还包括：

将所述高分遥感影像海陆分割概率图与所述真值图进行对比，若相似度高，说明所述高分遥感影像海陆分割概率图正确，金字塔U型卷积神经网络训练完成，否则将训练集中的数据重新输入金字塔U型卷积神经网络进行学习训练。

Images