CN112861829A - 一种基于深度卷积神经网络的水体提取方法及系统 - Google Patents

Abstract

本公开提出了一种基于深度卷积神经网络的水体提取方法及系统，包括：将获得的遥感图像进行预处理；针对预处理后的图像送入特征提取网络中进行特征提取，获得第一特征图及第二特征图；选择第一特征图送入主要分割网络获得分割结果，将预测结果与对应的标签进行比对，用交叉熵损失函数计算主要损失，用于反向传播；选择第二特征图送入辅助分割网络获得分割结果，预测结果与对应的标签进行比对，用交叉熵损失函数计算辅助损失，再进行一次反向传播；基于主要分割网络及辅助分割网络的输出结果进行训练，获得训练后的深度融合模型；利用训练后的深度融合模型对待测试图片进行测试，获得一张二值图，一类代表水体，一类代表背景，从而将水体提取的结果可视化。

Description

一种基于深度卷积神经网络的水体提取方法及系统

技术领域

本公开属于深度卷积神经网络和遥感图像技术领域，尤其涉及一种基于深度卷积神经网络的水体提取方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

地表水体是地球上最常见的资源，也是全球水循环的重要组成部分，随着环境保护意识的不断发展和资源保护政策的不断完善，对地表水体的识别和提取越来越成为研究和关注的重点。

最常用的水体提取方法包括：波段阈值法、水体指数法和谱间关系法。单波段阈值法是最简单易行的水体提取方法，但往往无法完全区分水体与山区阴影，导致提取到的水体面积比实际要大；水体指数法利用水体反射的强光与弱光波段的比值构建水体指数，然后通过阈值来区分水体和非水体，谱间关系法通过分析水体与非水体在各波段上的光谱曲线特征，通过各个波段光谱值得相互关系来构建逻辑判别式，从而区分水体和非水体，但水体指数法和谱间关系法的鲁棒性较差，不能同时适用于不同的数据和气候条件。

随着计算机视觉技术的发展，深度学习技术在各个行业得到了广泛应用。在遥感图像领域，深度学习主要用于地面物体的分类、检测和分割、水体提取与地面变化检测等。水体分割是从遥感图像中提取水体的一个关键步骤，由于遥感图像中的水体颜色复杂多变，且存在光照反射，大气遮挡等问题的存在，如何从复杂多变的遥感图像中快速而准确的提取出水体是一个极具挑战性的问题。

发明内容

为克服上述现有技术的不足，本公开提供了一种基于深度卷积神经网络的水体提取方法，可以进一步提高水体提取的速度和精度。

为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：

第一方面，公开了一种基于深度卷积神经网络的水体提取方法，包括：

将获得的遥感图像进行预处理；

针对预处理后的图像送入特征提取网络中进行特征提取，获得第一特征图及第二特征图；

选择第一特征图送入主要分割网络获得分割结果，将预测结果与对应的标签进行比对，用交叉熵损失函数计算主要损失，用于反向传播；

选择第二特征图送入辅助分割网络获得分割结果，预测结果与对应的标签进行比对，用交叉熵损失函数计算辅助损失，再进行一次反向传播；

基于主要分割网络及辅助分割网络的输出结果进行训练，获得训练后的深度融合模型；

利用训练后的深度融合模型对待测试图片进行测试，获得一张二值图，一类代表水体，一类代表背景，从而将水体提取的结果可视化。

进一步的技术方案，对获得的遥感图像进行随机裁剪获得包含水体的图片，对裁剪出的图片进行目视解译，勾画出水体所在区域，形成标签数据。

进一步的技术方案，裁剪出的图片按照比例随机划分数据集，得到训练集及测试集。

进一步的技术方案，将用于训练的图片和标签的尺寸全部进行缩放，将缩放好的图片进行裁剪得到所需尺寸的正方形图块，随机选取设定比例的图块进行左右上下随机翻转；计算所有图块RGB三个通道的均值和标准差，进行输入图块的标准化。

进一步的技术方案，所述特征提取网络用于提取输入图像的特征，使输出特征图的尺寸与输入图像一致，包括编码器和解码器，将裁剪得到的遥感图块输入到特征提取网络中，先进入编码器，得到不同尺寸的编码特征图；

然后进入解码器，从最后一层特征图开始，进行解码操作，将解码得到的特征图与其对应尺寸的编码特征图拼接得到解码特征图，然后将得到的解码特征图用于下次解码操作，得到不同尺寸的解码特征图；

进一步的技术方案，所述编码器中，每经过两层卷积核为3*3，步长为1的卷积层和一层卷积核大小为2*2，步长为2的下采样层称为一次编码操作，依次进行5次编码后得到5个尺寸的编码特征图。

进一步的技术方案，所述解码器中，从最后一层特征图开始，每经过一层尺度因子为2的上采样层和两层卷积核为3*3，步长为1的卷积层称为解码操作，将解码得到的特征图与其对应尺寸的编码特征图拼接得到解码特征图，然后将得到的解码特征图用于下次解码操作，依次进行5次解码后得到5个尺寸的解码特征图。

第二方面，公开了一种基于深度卷积神经网络的水体提取系统，包括：

图像预处理模块，被配置为：将获得的遥感图像进行预处理；

特征提取模块，被配置为：针对预处理后的图像送入特征提取网络中进行特征提取，获得第一特征图及第二特征图；

选择第一特征图送入主要分割网络获得分割结果，将预测结果与对应的标签进行比对，用交叉熵损失函数计算主要损失，用于反向传播；

选择第二特征图送入辅助分割网络获得分割结果，预测结果与对应的标签进行比对，用交叉熵损失函数计算辅助损失，再进行一次反向传播；

模型训练模块，被配置为：基于主要分割网络及辅助分割网络的输出结果进行训练，获得训练后的深度融合模型；

测试模块，被配置为：利用训练后的深度融合模型对待测试图片进行测试，获得一张二值图，一类代表水体，一类代表背景，从而将水体提取的结果可视化。

以上一个或多个技术方案存在以下有益效果：

本公开基于深度卷积神经网络的水体提取方法，克服了现有常用水体提取方法存在的缺点，对环境变化更加鲁棒，并且进一步提高了水体提取的速度和精度；构建了更深层的深度学习图像分割模型，相较于现有方法，具有更好的学习性能和更合理的参数设置；在特征提取网络中设置了编码解码结构，能够充分的提取输入图像的特征，使输出特征图的尺寸与输入图像一致，增强了细小水体的检测性能；在主要分割网络中，引入了空洞卷积的概念，增大了感受野，加强了分割任务中周围像素与目标像素的联系；引入了辅助损失的概念，使用一个参数极少的辅助分割网络预测分割结果并计算损失，帮助加速反向传播；在复杂的遥感图像上进行水体检测时可以达到97.24％的精度，且不受天气变化和光照反射的影响。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例基于深度卷积神经网络的水体提取方法流程图；

图2为本公开实施例水体提取网络结构图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

目前存在的相关专利中，在使用卷积神经网络进行水体提取时，只采用了一个分割网络，对于水体颜色变化，光照反射和大气遮挡现象不具备很好的鲁棒性，本公开技术方案同时训练两个不同的分割网络，能够提升此算法在不同环境下的鲁棒性。

实施例一

本实施例公开了一种基于深度卷积神经网络的水体提取方法，包括：

步骤一、构建数据集，并划分训练集和测试集。

步骤二、预处理。

步骤三、将训练集输入特征提取网络中进行特征提取。

步骤四、将尺寸为128*128的特征图送入主要分割网络计算损失值。

步骤五、将尺寸为64*64的特征图送入辅助分割网络计算损失值。

步骤六、得到训练好的水体提取模型。

步骤七、将测试集送入训练好的模型，得到精细水体提取结果。水体提取具体流程见图1，网络结构图见图2。

步骤一中，构建数据集，并划分训练集和测试集；

具体为：从原始遥感图像中随机裁剪出包含水体的图片共1100张，对裁剪出的图片进行目视解译，勾画出水体所在区域，形成标签数据，按照7：3的比例随机划分数据集，得到训练集770张，测试集330张。上述标签数据用于步骤四、五中计算损失值时使用。

步骤二中，预处理：将训练集图片和标签的尺寸全部缩放为1024*768；将缩放好的图片进行裁剪，得到尺寸为128*128的正方形图块；随机选取50％的图块进行左右上下随机翻转；计算所有图块RGB三个通道的均值和标准差，进行输入图块的标准化。

步骤三中，将预处理后的训练集输入特征提取网络中进行特征提取，特征提取网络包括编码器和解码器两部分，将尺寸为128*128的遥感图块输入到特征提取网络中，先进入编码器，每经过两层卷积核为3*3，步长为1的卷积层和一层卷积核大小为2*2，步长为2的下采样层称为一次编码操作，依次进行5次编码后得到5个尺寸的编码特征图，分别为128*128、64*64、32*32、16*16、8*8。

需要说明的是，在特征提取网络的编码器中，每经过两层卷积和一次下采样即得到一层特征图，经过五次编码后得到五个尺度的特征图，浅层即大尺寸的特征图具有很好的位置信息，深层即小尺寸的特征图具有很好的语义信息，都对后续操作有帮助。

然后进入解码器，从最后一层特征图开始，每经过一层尺度因子为2的上采样层和两层卷积核为3*3，步长为1的卷积层称为解码操作，将解码得到的特征图与其对应尺寸的编码特征图拼接得到解码特征图，然后将得到的解码特征图用于下次解码操作，依次进行5次解码后得到5个尺寸的解码特征图，分别为8*8、16*16、32*32、64*64、128*128。

需要说明的是，在特征提取网络的解码器中，依次将每层特征图与更大一点的特征图融合，即从小到大依次融合上去，得到的特征图既有很好的位置信息，也有很好的语义信息。

步骤四中，将尺寸为128*128的特征图送入主要分割网络计算损失值；理论上来讲，经过编码解码后，最大尺寸的特征图具有最好的特征，所以将最大尺度的特征图送入主要分割网络。

主要分割网络包含2个卷积核为1*1，步长为1的卷积层，3个卷积核为3*3，步长为1，填充系数分别为12、24、36，膨胀系数分别为12、24、36的空洞卷积层。卷积操作执行后，进行批次归一化和Relu函数激活，将得到的5个16*128*128的特征图进行合并得到一个80*128*128的特征图，经过一层卷积核为1，步长为1的卷积层后得到16*128*128的特征图，最后再经过一层卷积核为1，步长为1的卷积层得到尺寸为128*128的分割结果，将分割结果与对应的标签进行比对，用交叉熵损失函数计算主要损失，主要损失就是用于神经网络的反向传播，更新参数的。

步骤五中，将尺寸为64*64的特征图送入辅助分割网络计算损失值，此处为了避免与主要分割网络重复，所以使用与主要分割网络不同的特征图，第二大尺寸的特征图。辅助分割网络包含1个卷积核为3*3，步长为1的卷积层。卷积操作执行后，进行批次归一化和Relu函数激活，最后经过一层卷积核为1*1，步长为1的卷积层得到尺寸为64*64的分割结果，经过一个上采样层，将分割结果上采样到128*128，预测结果与对应的标签进行比对，用交叉熵损失函数计算辅助损失，再进行一次反向传播，从而加速模型训练。反向传播即为训练过程，主要分割网络和辅助分割网络分别得到两个损失值，都用于反向传播。

步骤六中，测得到训练好的深度融合模型，训练使用SGD优化器，动量为0.9，开始训练时，学习率采用预热的方法逐渐增大至0.01。损失函数采用交叉熵损失。类别数为2，分别代表背景和水体。将批大小设置为4，即训练时四张图片算作一次迭代，共四万次迭代，每次迭代完成后分别输出损失。每当训练集全部迭代一次后进行一次测试，输出测试精度，以便进行神经网络训练程度的预测。四万次迭代后即得到训练好的模型，最后一次测试得到测试精度为97.24％。

步骤七中，试时的输入与训练时一样，均是128*128尺寸的遥感图片，将测试集送入训练好的模型，得到精细水体提取结果，将330张测试集图片或其他包含水体的遥感图片送入训练好的模型中，即可输出一张二值图，一类代表水体，一类代表背景，从而将水体提取的结果可视化。

实施例二

本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。

实施例三

本实施例的目的是提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述方法的步骤。

实施例四

本实施例的目的是提供了一种基于深度卷积神经网络的水体提取系统，包括：

图像预处理模块，被配置为：将获得的遥感图像进行预处理；

特征提取模块，被配置为：针对预处理后的图像送入特征提取网络中进行特征提取，获得第一特征图及第二特征图；

选择第一特征图送入主要分割网络获得分割结果，将预测结果与对应的标签进行比对，用交叉熵损失函数计算主要损失，用于反向传播；

选择第二特征图送入辅助分割网络获得分割结果，预测结果与对应的标签进行比对，用交叉熵损失函数计算辅助损失，再进行一次反向传播；

模型训练模块，被配置为：基于主要分割网络及辅助分割网络的输出结果进行训练，获得训练后的深度融合模型；

测试模块，被配置为：利用训练后的深度融合模型对待测试图片进行测试，获得一张二值图，一类代表水体，一类代表背景，从而将水体提取的结果可视化。

以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本公开中的任一方法。

本领域技术人员应该明白，上述本公开的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本公开不限制于任何特定的硬件和软件的结合。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种基于深度卷积神经网络的水体提取方法，其特征是，包括：

将获得的遥感图像进行预处理；

针对预处理后的图像送入特征提取网络中进行特征提取，获得第一特征图及第二特征图；

选择第一特征图送入主要分割网络获得分割结果，将预测结果与对应的标签进行比对，用交叉熵损失函数计算主要损失，用于反向传播；

选择第二特征图送入辅助分割网络获得分割结果，预测结果与对应的标签进行比对，用交叉熵损失函数计算辅助损失，再进行一次反向传播；

基于主要分割网络及辅助分割网络的输出结果进行训练，获得训练后的深度融合模型；

利用训练后的深度融合模型对待测试图片进行测试，获得一张二值图，一类代表水体，一类代表背景，从而将水体提取的结果可视化。

2.如权利要求1所述的一种基于深度卷积神经网络的水体提取方法，其特征是，对获得的遥感图像进行随机裁剪获得包含水体的图片，对裁剪出的图片进行目视解译，勾画出水体所在区域，形成标签数据。

3.如权利要求1所述的一种基于深度卷积神经网络的水体提取方法，其特征是，裁剪出的图片按照比例随机划分数据集，得到训练集及测试集。

4.如权利要求1所述的一种基于深度卷积神经网络的水体提取方法，其特征是，将用于训练的图片和标签的尺寸全部进行缩放，将缩放好的图片进行裁剪得到所需尺寸的正方形图块，随机选取设定比例的图块进行左右上下随机翻转；计算所有图块RGB三个通道的均值和标准差，进行输入图块的标准化。

5.如权利要求1所述的一种基于深度卷积神经网络的水体提取方法，其特征是，所述特征提取网络用于提取输入图像的特征，使输出特征图的尺寸与输入图像一致，包括编码器和解码器，将裁剪得到的遥感图块输入到特征提取网络中，先进入编码器，得到不同尺寸的编码特征图；

然后进入解码器，从最后一层特征图开始，进行解码操作，将解码得到的特征图与其对应尺寸的编码特征图拼接得到解码特征图，然后将得到的解码特征图用于下次解码操作，得到不同尺寸的解码特征图。

6.如权利要求1所述的一种基于深度卷积神经网络的水体提取方法，其特征是，所述编码器中，每经过两层卷积核为3*3，步长为1的卷积层和一层卷积核大小为2*2，步长为2的下采样层称为一次编码操作，依次进行5次编码后得到5个尺寸的编码特征图。

7.如权利要求1所述的一种基于深度卷积神经网络的水体提取方法，其特征是，所述解码器中，从最后一层特征图开始，每经过一层尺度因子为2的上采样层和两层卷积核为3*3，步长为1的卷积层称为解码操作，将解码得到的特征图与其对应尺寸的编码特征图拼接得到解码特征图，然后将得到的解码特征图用于下次解码操作，依次进行5次解码后得到5个尺寸的解码特征图。

8.一种基于深度卷积神经网络的水体提取系统，其特征是，包括：

图像预处理模块，被配置为：将获得的遥感图像进行预处理；

特征提取模块，被配置为：针对预处理后的图像送入特征提取网络中进行特征提取，获得第一特征图及第二特征图；

选择第一特征图送入主要分割网络获得分割结果，将预测结果与对应的标签进行比对，用交叉熵损失函数计算主要损失，用于反向传播；

选择第二特征图送入辅助分割网络获得分割结果，预测结果与对应的标签进行比对，用交叉熵损失函数计算辅助损失，再进行一次反向传播；

模型训练模块，被配置为：基于主要分割网络及辅助分割网络的输出结果进行训练，获得训练后的深度融合模型；

测试模块，被配置为：利用训练后的深度融合模型对待测试图片进行测试，获得一张二值图，一类代表水体，一类代表背景，从而将水体提取的结果可视化。

9.一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现上述权利要求1-7任一所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时执行上述权利要求1-7任一所述的方法的步骤。

Images