CN113343861B - 一种基于神经网络模型的遥感图像水体区域提取方法 - Google Patents

Abstract

本发明公开了一种基于神经网络模型的遥感图像水体区域提取方法，属于遥感图像处理领域。本发明的核心在于设计了一个基于ResNet的多孔卷积金字塔模型的语义分割网络(ResASPN)，用于作为水体提取模型。该网络模型具备一定的优势，基本框架可以概括为：第一，在特征提取部分使用ResNet网络,增强了网络的特征提取能力；第二，网络中使用了多孔卷积金字塔模型，其中的多孔卷积金字塔池化结构能够对图像中任意尺度的区域进行准确的分类，最终使模型具有提取多尺度信息的能力。本发明能够实现遥感图像水体区域的自动提取，且其准确率相对于现有技术而言得到了明显提升。

Description

一种基于神经网络模型的遥感图像水体区域提取方法

技术领域

本发明属于遥感图像处理领域，具体涉及一种基于神经网络模型的遥感图像水体区域提取方法。

背景技术

水资源是生物体生存所需的物质，并且其也与人类社会密不可分。但是近几十年来，随着城镇化进程的不断推进，以及人类活动范围与强度的不断增加，在促进了社会进步和经济发展同时，也造成了自然水土流失、水资源污染、生态空间割裂、环境恶化和生物多样性锐减等一系列问题。因此，对水资源的精准检测以及有效管理是刻不容缓的，其将会对人类及其日常生活产生重要的影响，这其中对水体区域的提取是对水资源监测的重要环节之一。

水体提取是指从指定的图像中提取水体目标，其应用很广泛，诸如土地使用分析、地貌变化检测、生态环境监测等。早期的水体提取方法很简单，主要采取人为地面测量，但是传统的水体提取方法有着明显的弊端即会消耗大量的人力、物力和财力，并且通过此种方法得到的水体数据量也很有限。由于自动化程度很低，基于人为地面测量获取水体数据的方法难以获得大范围的应用。而随着高分卫星遥感技术的快速发展，因其具有检测时间短、检测范围广和检测精度高的优点，从而能够快速、客观、准确地获取水体信息并且能够及时地监测地表水资源，所以近些年遥感技术在水体信息提取任务中得到了广泛的应用。

根据水体的遥感机理及光谱特征分析，提出了很多方法：1.光谱分类法，依据影响上地物光谱特征差异，将水体从背景地物中分类出来。2.单波段阈值法，选择使水体与非水体的反射率方差最大值作为阈值，将影像的直方图分割为水体信息和背景信息。3.谱间关系法，利用水体在各个波段中不同的光谱响应特征，针对诊断波谱，通过建立组合模型，提取水体信息。4.水体指数法，通过计算绿光和近红外波段的归一化差异值，加强水体信息，抑制非水体信息，实现水体的提取。5.植被指数法，计算红光波段和近红外波段的植被指数，滤除植被的干扰，接着通过阈值调整，将水体与其他地物提取出来。6.微分光谱法，根据某段波长范围内土壤、植被和建筑物的反射率逐渐升高，而水体反射率逐渐下降的特征差异，计算该段波长范围内的光谱微分值，实现水体提取。对于这些早期的检测方法来说，只能提取图像的浅层特征信息，并且此类方法都不需要经过训练，所以提取结果的精度不高。

根据机器学习方法，提出了基于传统机器学习方法、以及深度语义分割方法的水体提取策略。基于传统机器学习的语义分割方法出现在深度卷积神经网络还未普及之前，一般采用聚类、搜索匹配的方法来实现。近些年，因为深度神经网络的兴起，基于深度语义分割网络对遥感图像中的水体进行提取成为了热门的研究点，目前，大多数都是依赖U-net网络框架来构建模型，而U-net本身为简单的编码-解码网络，编码部分为VGG网络，提取特征能力不强。

现有技术中存在的问题主要可以分为以下两方面：

第一：基于水体遥感本身机理的提取方法，大多需要人为全程参与，耗费大量人力，其中选取阈值本身就是一个反复实验的过程，而阈值的选取将会对分割结果产生很大的影响。

第二：随着遥感图像的分辨率越来越高，使得地物类内差异越来越大，简单的网络模型如U-net网络等难以从海量数据中充分挖掘数据之间的关联，泛化能力较弱，过程耗时耗力，且难以得到好的提取结果。

因此，亟需提供一种性能优越的遥感图像水体区域自动提取算法。

发明内容

本发明的目的在于解决现有技术中存在的问题，并提供一种基于神经网络模型的遥感图像水体区域提取方法。

本发明所采用的具体技术方案如下：

一种基于神经网络模型的遥感图像水体区域提取方法，其步骤如下：

S1、将遥感图像集中的每张带有水体标签的遥感图像分割为不重叠的图像块，形成训练数据；

S2、利用训练数据对基于神经网络构建的水体提取模型进行训练，所述水体提取模型由编码模块、特征融合模块以及解码模块组成；

所述编码模块采用ResNet网络，其输入为图像块，图像块经过ResNet网络中一系列残差单元以实现水体特征提取，并最终输出编码后的原始特征图；

所述特征融合模块中包含扩张率依次递增的4个卷积核；其中，第一个卷积核的输入为所述原始特征图，输出为第一特征图；第二个卷积核的输入为所述原始特征图和第一特征图的拼接结果，输出为第二特征图；第三个卷积核的输入为所述原始特征图、第一特征图和第二特征图的拼接结果，输出为第三特征图；第四个卷积核的输入为所述原始特征图、第一特征图、第二特征图和第三特征图的拼接结果，输出为第四特征图；所述原始特征图、第一特征图、第二特征图、第三特征图和第四特征图的拼接结果作为所述特征融合模块的最终输出特征图；

所述解码模块对输入的所述最终输出特征图进行上采样后，通过softmax层输出图像块中每个像素是否属于水体区域的预测结果；

S3、将待提取的遥感图像分割为与训练数据相同大小且不重叠的的图像块，并将其输入S2中训练完毕的水体提取模型中，将每个图像块的输出结果重新按序拼接，得到待提取的遥感图像中水体区域的预测结果。

作为优选，所述遥感图像集中的遥感图像和标签预先进行数据增强，以扩充训练样本。

进一步的，所述数据增强方式为仿射变换。

作为优选，所述训练数据中图像块的大小为256*256。

作为优选，所述ResNet网络为ResNet18网络或ResNet34网络。

作为优选，所述特征融合模块中第一个卷积核、第二个卷积核、第三个卷积核、第四个卷积核的扩张率分别为6、12、18、24。

作为优选，所述水体提取模型的损失设为交叉熵损失。

作为优选，所述水体提取模型在训练过程中采用Adam作为优化器对模型参数进行优化。

本发明相对于现有技术而言，具有以下有益效果：

现有技术中多采用U-net网络作为编码网络框架来进行遥感图像的水体提取，而本发明使用残差网络，可以学习到更强的特征并可以对高层特征与底层特征进行融合。

现有技术中一般会在网络最后添加条件随机场来对精细化预测图，而本发明在编码模块中使用多孔卷积并利用多分别率架构的特征融合模型，可挖掘到更充分的目标特征，将不同阶段特征融合的特征图进行组合，使不同层次的特征得到最大增益，从而确保结果的客观准确。

附图说明

图1为本发明中水体提取模型的结构示意图；

图2为两层的残差学习单元示意图；

图3为特征融合模块结构图；

图4为第一个图像块示例的水体区域真值a)与预测值b)对比结果；

图5为第二个图像块示例的水体区域真值a)与预测值b)对比结果；

图6为第三个图像块示例的水体区域真值a)与预测值b)对比结果；

图7为第四个图像块示例的水体区域真值a)与预测值b)对比结果。

图8为第五个图像块示例的水体区域真值a)与预测值b)对比结果。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。

本发明的核心在于设计了一个基于ResNet的多孔卷积金字塔模型的语义分割网络(ResASPN)，用于作为水体提取模型。该网络模型具备一定的优势，基本框架可以概括为：第一，在特征提取部分使用ResNet网络,增强了网络的特征提取能力；第二，网络中使用了多孔卷积金字塔模型，其中的多孔卷积金字塔池化结构能够对图像中任意尺度的区域进行准确的分类，最终使模型具有提取多尺度信息的能力。

如图1所示，为该ResASPN模型的结构示意图，它由编码模块(Encode)、特征融合模块以及解码模块(Decode)组成。

编码模块采用残差网络ResNet作为基础框架，其输入为图像块，图像块经过ResNet网络中一系列残差单元以实现水体特征提取，并最终输出编码后的原始特征图。本发明中的ResNet网络可以采用ResNet18或者ResNet34，这两种网络的具体结构属于现有技术。其中ResNet18中共使用8个残差单元，其残差单元都属于两层的残差学习单元，两层的残差学习单元如图2所示。具体来说：前两个残差单元中，每个残差单元使用两次的3×3×64的卷积操作，依次以每两个残差单元为一组使用相同的卷积操作，即3×3×128、3×3×256、3×3×512。而在ResNet34中，与ResNet18最大的区别在于34层的网络具有更多的残差模块，一共有16个残差模块。

由于遥感图像的地物尺度较大，编码模块得到的原始特征图需要输入到特征融合模块以实现多尺度特征融合目的。特征融合模块主要包含两个部分，即多孔卷积池化单元和拼接单元，多孔卷积池化单元通过一个具有一定扩张率的卷积核实现。通过不同的扩张率的卷积核对特征图进行扩张卷积计算从而提取不同尺度的物体特征，且不同的采样率的多孔卷积被级联起来，借助于合并拼接的手段可以获得新的特征图。

如图3所示，在本发明中，特征融合模块中包含扩张率依次递增的4个卷积核(多孔卷积，扩张率d＝6,12,18,24)，且每个卷积核后跟一个特征图拼接单元(Concat)。其中，第一个卷积核(d＝6)的输入为编码模块输出的原始特征图，输出记为第一特征图；第二个卷积核(d＝12)的输入为前述原始特征图和第一特征图的拼接结果，输出记为第二特征图；第三个卷积核(d＝18)的输入为前述原始特征图、第一特征图和第二特征图的拼接结果，输出记为第三特征图；第四个卷积核(d＝24)的输入为前述原始特征图、第一特征图、第二特征图和第三特征图的拼接结果，输出记为第四特征图；前述原始特征图、第一特征图、第二特征图、第三特征图和第四特征图的拼接结果作为该特征融合模块的最终输出特征图。

解码模块对输入的最终输出特征图进行上采样后，通过softmax层输出图像块中每个像素是否属于水体区域的预测结果。本发明中，上采样方式采用线性插值，作用是恢复图像原始尺寸；softmax层的输出结果大小为256*256*2，每一个像素点均对应于两个概率值，分别代表属于水体区域的概率p₁和不属于水体区域的概率p₂，若p₁＞p₂则视为该像素属于水体区域，否则视为该像素不属于水体区域。

由此，该ResASPN模型通过训练，就可以用于进行水体区域提取。提取过程中，通过解码模块可以得到图像块中每一个位置的二分类结果，所有图像块重新按序拼接后就得到了整张遥感图像的水体区域预测结果。

下面描述一种基于上述图1所示ResASPN模型的遥感图像水体区域提取方法，其步骤如下：

S1、将遥感图像集中的每张带有水体标签的遥感图像分割为不重叠的256*256图像块，形成训练数据。为了增加模型训练的数据量，遥感图像集中的遥感图像和标签可以预先通过仿射变换等方式进行数据增强，以扩充训练样本。

S2、利用训练数据对上述基于ResASPN的水体提取模型进行训练，如前所述，ResASPN由编码模块、特征融合模块以及解码模块组成，具体结构参见图1。

模型的训练属于现有技术，在本发明中ResASPN模型的损失可设为交叉熵损失，训练过程中采用Adam作为优化器对模型参数进行优化，训练完毕后即可得到水体提取模型。

S3、将待提取的遥感图像分割为256*256大小的不重叠的图像块，并将其输入S2中训练完毕的水体提取模型中，将每个图像块的输出结果重新按序拼接，得到待提取的遥感图像中水体区域的预测结果。

下面将图1所示的水体提取模型以及上述S1～S3的提取方法应用于一个具体实施例中，以展示其具体实现方式和技术效果。

实施例

本实施例中，遥感图像水体区域提取方法实现步骤如下：

1.获取15张大小为4000*4000的带有水体的高分辨率遥感图像以及其对应的标签。

2.将获取的遥感图像进行一系列仿射变化以实现数据增强，对应的标签也做相应处理。

3.由于GPU等计算资源的限制，对数据增强后的遥感图像进行非重叠切块处理，得到将近40000张大小为256*256的图像块，对应的标签也做相应处理。

4.为了训练所提出的模型，将切好的图像块按照70％、30％比例分成训练集和测试集，对应的标签也做相应处理。

5.将训练集输入前述图1所示的ResASPN模型中，其中编码模块的ResNet采用了ResNet34网络。模型训练时，将训练轮数设置为150轮，学习速率设置为1e^-3。所提出的模型采用Adam作为优化器，以交叉熵作为损失函数。考虑到有限的计算资源，批量大小设置为8。最终经过150轮迭代后，得到训练好的水体提取模型。

6.调用训练好的水体提取模型，使用测试集对模型进行验证，得到水体区域提取的具体精度值，若精度不满足则需要重新进行训练，若满足精度要求即可利用该水体提取模型进行后续的水体区域提取。

为了展示上述水体提取模型的水体区域提取效果，基于Sentinel-2、Landsat-7、Landsat-8三种卫星的遥感图像水体数据集，将本发明的水体提取模型与现有的四种技术进行对比，并对其效果进行验证。其中，对于Sentinel-2数据集来说，本发明采用ResNet34的水体提取模型获得了96.99％的mIoU精度，比传统方法Graphcut高出了36.78％；比现有的利用深度学习进行水体提取的Deep-WaterMap方法高出了6.56％；比SegNet高出了6.36％。这说明了本发明中编码网络中密集连接的残差块可以使网络的特征提取能力增强，在加上网络中密集的多孔卷积金字塔模型使得网络各个层级的特征利用度提高。对于Landsat-7以及Landsat-8数据集来说，本发明也体现了其优势，在这两个数据集上，采用ResNet34的水体提取模型比传统方法Graphcut的mIoU分别高出了28.14％以及26％；比现有的利用深度学习进行水体提取的Deep-WaterMap方法的mIoU分别高出了0.16％以及7.13％，比SegNet的mIoU分别高出了6.36％以及7.45％。图4～图8展示部分图像块的真值与预测值对比结果，图中可见本发明的提取精度基本符合实际情况。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (6)

1.一种基于神经网络模型的遥感图像水体区域提取方法，其特征在于，步骤如下：

S1、将遥感图像集中的每张带有水体标签的遥感图像分割为不重叠的图像块，形成训练数据；

S2、利用训练数据对基于神经网络构建的水体提取模型进行训练，所述水体提取模型由编码模块、特征融合模块以及解码模块组成；

所述编码模块采用ResNet网络，其输入为图像块，图像块经过ResNet网络中一系列残差单元以实现水体特征提取，并最终输出编码后的原始特征图；所述ResNet网络为ResNet18网络或ResNet34网络；

所述特征融合模块中包含扩张率依次递增的4个卷积核；其中，第一个卷积核的输入为所述原始特征图，输出为第一特征图；第二个卷积核的输入为所述原始特征图和第一特征图的拼接结果，输出为第二特征图；第三个卷积核的输入为所述原始特征图、第一特征图和第二特征图的拼接结果，输出为第三特征图；第四个卷积核的输入为所述原始特征图、第一特征图、第二特征图和第三特征图的拼接结果，输出为第四特征图；所述原始特征图、第一特征图、第二特征图、第三特征图和第四特征图的拼接结果作为所述特征融合模块的最终输出特征图；所述特征融合模块中第一个卷积核、第二个卷积核、第三个卷积核、第四个卷积核的扩张率分别为6、12、18、24；

所述解码模块对输入的所述最终输出特征图进行上采样后，通过softmax层输出图像块中每个像素是否属于水体区域的预测结果；所述上采样方式采用线性插值，作用是恢复图像原始尺寸；

S3、将待提取的遥感图像分割为与训练数据相同大小且不重叠的的图像块，并将其输入S2中训练完毕的水体提取模型中，将每个图像块的输出结果重新按序拼接，得到待提取的遥感图像中水体区域的预测结果。

2.如权利要求1所述的基于神经网络模型的遥感图像水体区域提取方法，其特征在于，所述遥感图像集中的遥感图像和标签预先进行数据增强，以扩充训练样本。

3.如权利要求2所述的基于神经网络模型的遥感图像水体区域提取方法，其特征在于，所述数据增强方式为仿射变换。

4.如权利要求1所述的基于神经网络模型的遥感图像水体区域提取方法，其特征在于，所述训练数据中图像块的大小为256*256。

5.如权利要求1所述的基于神经网络模型的遥感图像水体区域提取方法，其特征在于，所述水体提取模型的损失设为交叉熵损失。

6.如权利要求1所述的基于神经网络模型的遥感图像水体区域提取方法，其特征在于，所述水体提取模型在训练过程中采用Adam作为优化器对模型参数进行优化。