CN110427836B - 一种基于多尺度优化的高分辨率遥感影像水体提取方法 - Google Patents

Abstract

本发明公开了一种基于多尺度优化的高分辨率遥感影像水体提取方法，包括如下步骤：搭建待训练卷积神经网络，基于该网络从输入遥感影像中提取多尺度特征，从最低分辨率的特征中获取初始粗糙水体分割结果；通过擦除注意力方法，结合多尺度特征和初始分割结果，输出全分辨率下的水体提取结果；构建多尺度损失函数，获得训练好的卷积神经网络；将待提取的高分辨率遥感影像输入训练好的网络，得到水体提取结果。该方法通过对具有真实水体标注的遥感影像训练数据集进行学习与训练，通过擦除注意力机制的引导，结合多尺度优化策略，在显著提高了总体水体提取精度的同时，还加强了对细小水体的识别与提取。

Description

一种基于多尺度优化的高分辨率遥感影像水体提取方法

技术领域

本发明涉及到遥感影像信息自动提取技术领域，具体涉及一种基于多尺度优化的高分辨率遥感影像水体提取方法。

背景技术

水体提取是遥感影像信息自动提取领域中的一个经典问题，它的主要目标是识别并提取出遥感影像中的水体区域。水体提取的结果在许多领域中都有着广泛的应用，比如军事侦察、环境保护、地图制图和地理分析等。因此，水体提取具有着重要的研究价值。

传统的水体提取方法中大多数是基于水体指数来进行水体提取的，主要利用了水体在不同波段的反射率差异来识别水体。但是，这些方法经常会误分类一些与水体有着相似波段特性的目标，如山体阴影、建筑物阴影等。同时，这些方法也需要近红外或中红外波段的红外影像，在只有可见光波段的影像时无法提取水体。

近年来的一些研究表明，基于卷积神经网络的深度学习技术可以被应用在遥感影像水体提取任务中。早期的一些方法主要是基于全卷积神经网络进行改进的，利用手工标注的遥感影像和端到端的训练，来替代手工设计水体指数的方法。然而，这种方法通常是从原图的 1/8甚至1/16、1/32分辨率上采样到原图大小得到水体提取的二值分割图。由于分辨率的限制，这种方法通常很难捕捉影像的细节信息，导致无法识别一些细小的水体和边缘区域识别不准确。

发明内容

针对现有技术的不足，本发明的目的是提供一种基于多尺度优化的高分辨率遥感影像水体提取方法，该方法通过对已标注真实水体区域的高分辨率遥感影像进行有监督的学习与训练，最终得到一个能够稳定地进行水体提取的深度卷积神经网络，并输出对应原始输入影像的水体提取二值分割图。

为达到上述目的，本发明采用的技术方案如下：

一种基于多尺度优化的高分辨率遥感影像水体提取方法，其关键在于包括以下步骤：

步骤1：搭建待训练卷积神经网络，利用待训练卷积神经网络中的预训练卷积神经网络从输入遥感影像中提取多尺度特征图，并通过待训练卷积神经网络中的第一分类器从多尺度特征图中最低分辨率的特征图中获取初始粗糙水体分割结果；

步骤2：结合提取的多尺度特征图，利用擦除注意力法对所述初始粗糙水体分割结果进行迭代优化，得到原始分辨率水体分割概率图；

步骤3：根据水体分割概率图构建多尺度损失函数，并结合多尺度损失函数结合样本训练集对所述待训练卷积神经网络进行训练，得到具有最优精度的卷积神经网络；

步骤4：将待提取的高分辨率遥感影像输入步骤3中训练好的卷积神经网络，得到水体提取结果。

进一步的，步骤1中所述多尺度特征图提取的具体步骤为：

将一张遥感影像作为输入，利用去掉全连接层的预训练卷积神经网络进行卷积和降采样操作，获得多尺度特征图。

进一步的，所述的多尺度特征图分辨率分别为

其中，W和 H分别代表输入遥感影像的宽度和高度。

再进一步的，步骤1中所述初始粗糙水体分割结果的获取步骤为：

选取最低分辨率的多尺度特征图，输入待训练卷积神经网络的第一分类器中，输出最低分辨率的初始粗糙水体分割结果。

进一步的，步骤2中获取原始分辨率水体分割概率图的具体步骤为：

步骤2.1：将步骤1得到的初始粗糙水体分割结果进行上采样，获得待优化的水体分割概率图；

步骤2.2：采用擦除注意力法对所述待优化的水体分割概率图进行权重缩放处理，得到输出权重矩阵；

步骤2.3：采用所述输出权重矩阵对当前多尺度特征图中未优化的最低分辨率特征图进行加权处理，得到加权后的特征图；

步骤2.4：将步骤2.3得到的特征图输入待训练卷积神经网络的第二分类器，输出水体分割概率残差图，并将该水体分割概率残差图与当前待优化的水体分割概率图相加，从而得到当前优化后的水体分割概率图；

步骤2.5：将步骤2.4中所述当前优化后的水体分割概率图作为下一次待优化的水体分割概率图，重复步骤2.2到步骤2.4，按照分辨率从低到高的顺序对步骤1获得的多尺度特征图进行迭代优化，直至得到原始分辨率水体分割概率图。

更进一步的，所述擦除注意力法的具体过程为：

首先用0.5减去待优化的水体分割概率图，得到一个反转的权重矩阵，对于权重矩阵中数值小于0的位置的权重置为0，擦除待优化的水体分割概率图中概率大于0.5的部分，再用2乘以权重矩阵，将权重缩放到0至1之间，获得所述输出权重矩阵。

进一步的，步骤3中所述多尺度损失函数的构建步骤为：

步骤3.1：按照公式

计算尺度i下的监督损失函数Loss_i，其中，i＝(1，M)， M为选取的除原始分辨率外的尺度总个数，G_j为像素j的真实标签， G_j＝1表示为水体像素，G_j＝0表示为非水体像素；P_j是像素j为水体像素的预测概率；N为一张图像中的像素总数；

步骤3.2：基于监督损失函数Loss_i与原始分辨率下的监督损失函数Loss₀按照公式

构建多尺度损失函数 Loss。

更进一步的，所述尺度总个数M的取值为5，5个尺度损失函数的总权重设置为1，原始分辨率的监督损失函数Loss₀的权重设置为1。

本方法通过对具有真实水体标注的遥感影像训练数据集进行学习与训练，通过擦除注意力机制的引导，结合多尺度优化策略，在显著提高了总体水体提取精度的同时，还加强了对细小水体的识别与提取。

本发明的显著效果是：

1)特征学习，泛化能力强

本发明使用基于卷积神经网络的深度学习方法，通过训练一个端到端的网络，输入一幅遥感影像，输出一幅与输入图像同分辨率的水体分割图。该过程不需要人工设计的特征来进行引导，网络本身可以从训练数据中学习得到所需要的特征，并加以合理的利用，因此具有更好地泛化能力，即便是在面对复杂场景的时候，也能有稳定的表现。

2)网络复杂度低，易于训练

本发明设计的擦除注意力方法和多尺度优化策略，可以引导网络在已有水体分割结果的基础上，更多地关注未被准确分类的区域，逐步提升水体提取的结果；并且擦除注意力方法没有引入任何额外的参数，因此，本发明设计的网络结构简单，复杂度低，并且易于训练。

3)水体提取精度高，细小水体提取效果好

与其他方法直接从较低分辨率上采样到原始分辨率不同，本发明设计的网络是逐步将水体分割结果上采样到原始分辨率大小，不会丢失太多的细节信息，显著提高了最终得到的水体提取结果的精度，并且在细小水体提取上效果好。

附图说明

图1是本发明的方法流程图；

图2是本实施例中所述待训练卷积神经网络的网络结构图；

图3是本发明的效果对比图；

图3(a)是本发明的输入图像示意图；

图3(b)是本发明的提取结果示意图。

具体实施方式

下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。

如图1所示，一种基于多尺度优化的高分辨率遥感影像水体提取方法，具体步骤如下：

步骤1：基于现有的预训练卷积神经网络搭建待训练卷积神经网络，如图2所示，并利用所述预训练卷积神经网络从输入遥感影像中提取多尺度特征图，然后通过待训练卷积神经网络中的第一分类器从多尺度特征图中最低分辨率的特征图中获取初始粗糙水体分割结果，包括以下子步骤：

所述多尺度特征图提取的具体步骤为：

步骤1.1：多尺度特征提取。将一张遥感影像作为输入，利用去掉全连接层的如图2所示的预训练卷积神经网络网络进行卷积和降采样操作，通过一系列的卷积和降采样操作，来获取分辨率分别为

和

的多尺度特征图，其中W和H分别代表原输入遥感影像图像的宽度和高度。

在本实施例中，为了提高识别准确率，优选所述预训练卷积神经网络为残差网络。

从图2中可以看出，本实施例输入遥感影像的宽度W和高度H 均为512，则获得的多尺度特征图的分辨率分别为256×256×64、 128×128×256、64×64×512、32×32×1024和16×16×2048。

所述初始粗糙水体分割结果的获取步骤为：

步骤1.2：初始粗糙水体分割结果获取。将步骤1.1得到的多尺度特征中分辨率为16×16×2048的特征图输入待训练卷积神经网络内由全局卷积层构成的第一分类器中，如图2所示，输出分辨率为16×16×1的低分辨率初始粗糙水体分割概率图P₀，也即是所述初始粗糙水体分割结果。

步骤2：结合提取的多尺度特征图，利用擦除注意力法对所述初始粗糙水体分割结果进行迭代优化，得到原始分辨率水体分割概率图，具体步骤为：

步骤2.1：将步骤1.2得到的初始粗糙水体分割结果P₀进行两倍上采样(如图2中虚线箭头所示)，作为新一轮待优化的水体分割概率图；

步骤2.2：采用擦除注意力法对所述待优化的水体分割概率图进行权重缩放处理，得到输出权重矩阵；

其中，所述擦除注意力法的具体过程为：

首先用0.5减去待优化的水体分割概率图，得到一个反转的权重矩阵，对于权重矩阵中数值小于0的位置的权重置为0，擦除待优化的水体分割概率图中概率大于0.5的部分，再用2乘以权重矩阵，将权重缩放到0至1之间，获得所述输出权重矩阵。

步骤2.3：采用所述输出权重矩阵乘以步骤1.1中分辨率为 32×32×1024的特征图，得到加权后的特征图；

步骤2.4：将步骤2.3得到的特征图输入待训练卷积神经网络的第二分类器，输出水体分割概率残差图，并将该水体分割概率残差图与当前待优化的水体分割概率图相加，也即是图2中的“+”所示，从而得到当前优化后的水体分割概率图，即图2中的P₁；

步骤2.5：将步骤2.4中所述当前优化后的水体分割概率图P₁作为下一次待优化的水体分割概率图；

再利用如步骤2.2到步骤2.4的方式，按照分辨率从低到高的顺序对步骤1获得的多尺度特征图进行迭代优化，分别获取其余尺度下的水体分割概率图P₂、P₃、P₄……，直至得到原始分辨率水体分割概率图即P₅。

步骤3：根据水体分割概率图P₀～P₅构建多尺度损失函数，并结合多尺度损失函数结合样本训练集对所述待训练卷积神经网络进行监督训练，也即是图2中粗实线箭头所示过程，从而得到具有最优精度的卷积神经网络，具体构建步骤如下：

步骤3.1：按照公式

计算尺度i下(分辨率为W/2ⁱ×H/2ⁱ)的监督损失函数 Loss_i，其中，i＝(1，M)，M为选取的除原始分辨率外的尺度总个数， G_j为像素j的真实标签，G_j＝1表示为水体像素，G_j＝0表示为非水体像素；P_j是像素j为水体像素的预测概率；N为一张图像中的像素总数；

步骤3.2：基于监督损失函数Loss_i与原始分辨率下的监督损失函数Loss₀按照公式

构建多尺度损失函数 Loss。

本例中，考虑到步骤1中选取包括原始分辨率在内的总共六个尺度，所述尺度总个数M的取值为5，5个尺度损失函数的总权重设置为1，原始分辨率的监督损失函数Loss₀的权重设置为1。

利用构建的这个总损失函数Loss，对网络进行训练，直到整个网络收敛至最优精度为止。

步骤4：将待提取的高分辨率遥感影像输入步骤3中训练好的卷积神经网络，得到水体提取结果。

本发明对部分实验数据进行水体提取得到的二值分割结果示例如图3所示，可以看出，本发明能稳定、精确地对不同场景下的遥感影像进行水体提取。

相比传统基于水体指数的水体提取方法，本发明可以通过端到端的训练，直接从训练数据中学习到易于分类的特征，泛化能力更强。而与最近基于全卷积神经网络的方法相比，本发明采用多尺度优化的方法，通过先在较低分辨率上得到一个较粗糙的水体分割结果，进行优化，然后结合多尺度特征逐步上采样分割结果，进一步优化，最终得到与原始影像尺寸相同的水体提取的分割结果。

以上对本发明所提供的技术方案进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (7)

1.一种基于多尺度优化的高分辨率遥感影像水体提取方法，其特征在于包括以下步骤：

步骤1：搭建待训练卷积神经网络，利用待训练卷积神经网络中的预训练卷积神经网络从输入遥感影像中提取多尺度特征图，并通过待训练卷积神经网络中的第一分类器从多尺度特征图中最低分辨率的特征图中获取初始粗糙水体分割结果；

步骤2：结合提取的多尺度特征图，利用擦除注意力法对所述初始粗糙水体分割结果进行迭代优化，得到原始分辨率水体分割概率图；

步骤3：根据水体分割概率图构建多尺度损失函数，并结合多尺度损失函数结合样本训练集对所述待训练卷积神经网络进行训练，得到具有最优精度的卷积神经网络；

步骤4：将待提取的高分辨率遥感影像输入步骤3中训练好的卷积神经网络，得到水体提取结果；

所述擦除注意力法的具体过程为：

首先用0.5减去待优化的水体分割概率图，得到一个反转的权重矩阵，对于权重矩阵中数值小于0的位置的权重置为0，擦除待优化的水体分割概率图中概率大于0.5的部分，再用2乘以权重矩阵，将权重缩放到0至1之间，获得输出权重矩阵。

2.根据权利要求1所述的基于多尺度优化的高分辨率遥感影像水体提取方法，其特征在于：步骤1中所述多尺度特征图提取的具体步骤为：

将一张遥感影像作为输入，利用去掉全连接层的预训练卷积神经网络进行卷积和降采样操作，获得多尺度特征图。

3.根据权利要求2所述的基于多尺度优化的高分辨率遥感影像水体提取方法，其特征在于：所述的多尺度特征图分辨率分别为

其中，W和H分别代表输入遥感影像的宽度和高度。

4.根据权利要求1或2或3所述的基于多尺度优化的高分辨率遥感影像水体提取方法，其特征在于：步骤1中所述初始粗糙水体分割结果的获取步骤为：

选取最低分辨率的多尺度特征图，输入待训练卷积神经网络的第一分类器中，输出最低分辨率的初始粗糙水体分割结果。

5.根据权利要求1所述的基于多尺度优化的高分辨率遥感影像水体提取方法，其特征在于：步骤2中获取原始分辨率水体分割概率图的具体步骤为：

步骤2.1：将步骤1得到的初始粗糙水体分割结果进行上采样，获得待优化的水体分割概率图；

步骤2.2：采用擦除注意力法对所述待优化的水体分割概率图进行权重缩放处理，得到输出权重矩阵；

步骤2.3：采用所述输出权重矩阵对当前多尺度特征图中未优化的最低分辨率特征图进行加权处理，得到加权后的特征图；

步骤2.4：将步骤2.3得到的特征图输入待训练卷积神经网络的第二分类器，输出水体分割概率残差图，并将该水体分割概率残差图与当前待优化的水体分割概率图相加，从而得到当前优化后的水体分割概率图；

步骤2.5：将步骤2.4中所述当前优化后的水体分割概率图作为下一次待优化的水体分割概率图，重复步骤2.2到步骤2.4，按照分辨率从低到高的顺序对步骤1获得的多尺度特征图进行迭代优化，直至得到原始分辨率水体分割概率图。

6.根据权利要求1所述的基于多尺度优化的高分辨率遥感影像水体提取方法，其特征在于：步骤3中所述多尺度损失函数的构建步骤为：

步骤3.1：按照公式

计算尺度i下的监督损失函数Loss_i，其中，i＝(1，M)，M为选取的除原始分辨率外的尺度总个数，G_j为像素j的真实标签，G_j＝1表示为水体像素，G_j＝0表示为非水体像素；P_j是像素j为水体像素的预测概率；N为一张图像中的像素总数；

步骤3.2：基于监督损失函数Loss_i与原始分辨率下的监督损失函数Loss₀按照公式

构建多尺度损失函数Loss。

7.根据权利要求6所述的基于多尺度优化的高分辨率遥感影像水体提取方法，其特征在于：所述尺度总个数M的取值为5，5个尺度损失函数的总权重设置为1，原始分辨率的监督损失函数Loss₀的权重设置为1。

Images