CN112862774A - 一种遥感影像建筑物精确分割方法 - Google Patents

Abstract

本发明公开了一种遥感影像建筑物精确分割方法，包括步骤：构建包括特征提取模块、空洞卷积模块、注意力模块、上采样模块与卷积预测模块的建筑物提取网络；基于训练样本集，采用Dice Loss与BCE Loss相结合的多尺度复合损失函数，对构建的建筑物提取网络进行训练；将待提取的遥感影像输入训练好的建筑物提取网络，得到建筑物提取结果。其显著效果是：特征学习，泛化能力强；网络复杂度低，易于训练；建筑物提取精度高。

Description

一种遥感影像建筑物精确分割方法

技术领域

本发明涉及到遥感影像信息自动提取技术领域，具体涉及一种遥感影像建筑物精确分割方法。

背景技术

建筑物提取是遥感影像信息自动提取领域中的一个经典问题，它的主要目的是识别并提取遥感影像中的建筑物区域。建筑物提取的结果在许多领域中都有着广泛的应用，比如军事侦察、环境保护、地图制图和地理分析等等。因此，建筑物提取有着重要的研究价值。

大多数的传统方法采用基于建筑物边缘线性特征的识别算法，这类方法具有简单高效的优点，但存在识别率较低、错误较多等缺陷。这类方法对建筑物阴影经常造成误判，而且对于大建筑表现欠缺。

近年来的一些研究表明，基于卷积神经网络的深度学习技术可以被应用在遥感影像建筑物提取任务中。早期的一些方法主要是基于全卷积神经网络进行改进的，利用手工标注的遥感影像和端到端的训练，来替代手工设计特征的方法。然而，这种方法通常是从原图的1/8甚至1/16、1/32分辨率上采样到原图大小得到建筑物提取的二值分割图。由于分辨率的限制，这种方法通常很难捕捉影像的细节信息，导致对建筑物边缘区域识别不准确。

发明内容

针对现有技术的不足，本发明的目的是提供一种遥感影像建筑物精确分割方法，该方法通过对已经标注真实建筑物区域的高分辨率遥感影像进行有监督的学习与训练，最终得到一个能够稳定地进行建筑物提取的深度卷积神经网络，并输出对应原始输入影像的建筑物提取二值分割图。

为达到上述目的，本发明采用的技术方案如下：

一种遥感影像建筑物精确分割方法，其关键在于包括以下步骤：

步骤1：构建包括特征提取模块、空洞卷积模块、注意力模块、上采样模块与卷积预测模块的建筑物提取网络，其中：

所述特征提取模块用于对输入遥感影像进行多尺度特征提取，获得多尺度特征图；

所述空洞卷积模块用于采用空洞空间卷积池化金字塔结构，对多尺度特征图中的最底层特征图进行空洞卷积处理后输入注意力模块与上采样模块；

所述注意力模块用于采用门控机制对多尺度特征图中其余每个尺度的特征图以及上采样模块输出的相对应尺度的特征图进行处理；

所述上采样模块用于对空洞卷积模块与注意力模块输出的不同尺度的特征图进行上采样处理；

所述卷积预测模块用于对所述空洞卷积模块与注意力模块输出的不同尺度的特征图进行卷积和预测，获得基于不同尺度的建筑物预测概率图；

步骤2：基于训练样本集，采用Dice Loss与BCE Loss相结合的多尺度复合损失函数，对构建的建筑物提取网络进行训练；

步骤3：将待提取的遥感影像输入训练好的建筑物提取网络，得到建筑物提取结果。

进一步的，步骤1中所述特征提取模块对输入遥感影像进行多尺度特征提取的具体过程如下：

将建筑物提取网络中去掉全连接层的预训练残差网络作为特征提取模块，通过卷积和逐步下采样操作，获得若干分辨率不同的多尺度特征图。

进一步的，步骤1中获得的所述多尺度特征图的分辨率分别为

和

其中W和H分别代表原输入遥感影像图像的宽度和高度。

进一步的，所述上采样模块包括一个二倍上采样操作和一个卷积操作。

进一步的，所述注意力模块包括第一部分、第二部分与第三部分，其中：

所述第一部分包括第一卷积单元、第二卷积单元、第一激活函数单元、第三卷积单元、第二激活函数单元、第一乘法处理单元，所述多尺度特征图中除最底层特征图外的其余尺度的特征图依次输入所述第一卷积单元，所述上采样模块输出的不同尺度的特征图依次输入所述第二卷积单元，所述第一卷积单元输出的特征图与第二卷积单元输出的相同尺度的特征图相加后输入第一激活函数单元，所述第一激活函数单元强化特征图中建筑物的特征后将特征图经第三卷积单元卷积处理后输入第二激活函数单元，所述第二激活函数单元在抑制特征图中的背景响应后将特征图输入所述第一乘法处理单元，所述第一乘法处理单元将其与输入所述第一卷积单元的相同尺度的特征图进行相乘处理后输出；

所述第二部分包括第二乘法处理单元与第三激活函数单元，所述多尺度特征图中除最底层特征图外的其余尺度的特征图依次输入所述第二乘法处理单元，该第二乘法处理单元将其与经过上采样处理后相同尺度的特征图中的前一半进行相乘处理，所述第二乘法处理单元输出的特征图与相同尺度的经过上采样处理后特征图中的另一半相加后输入第三激活函数单元进行处理后输出；

所述第三部分用于将第一部分输出的特征图与第二部分输出的特征图进行加法处理。

进一步的，所述第一激活函数单元与第三激活函数单元均选用ReLU函数，所述第二激活函数单元选用Sigmoid函数。

进一步的，所述多尺度复合损失函数的表达式如下：

其中，BCELoss_i为尺度i下的BCE Loss，DiceLoss_i为尺度i下的Dice Loss，i的取值范围为{0,2,3,…，n}，n为所选取的尺度的个数。

本发明的显著效果是：

1)特征学习，泛化能力强

本发明使用基于卷积神经网络的深度学习方法，通过训练一个端到端的网络，输入一幅遥感影像，输出一幅与输入图像同分辨率的建筑物分割图和四个不同分辨率的建筑物分割图。该过程不需要人工设计的特征来进行引导，网络本身可以从训练数据中学习得到所需要的特征，并加以合理的利用，因此具有更好地泛化能力，即便是在面对复杂场景的时候，也能有稳定的表现。

2)网络复杂度低，易于训练

本发明采用的空洞卷积和多尺度监督策略，可以在多层次对建筑物提取的特征图进行监督，逐步提高建筑物分割的结果，而且采用的注意力结构能够关注于更重要的通道特征，降低了网络复杂度。

3)建筑物提取精度高

与其他方法那样直接从较低分辨率上采样到原始分辨率不同，本发明设计的网络是逐步将深层次特征图上采样到原始分辨率大小，在最深层采用空洞卷积，使得感受野更大，对大建筑更友好，采用Encoder-Decoder对称结构，不会丢失太多的细节信息，显著提高了最终得到的建筑物提取结果的精度。

附图说明

图1是本发明的方法流程图；

图2是建筑物提取网络的网络结构图；

图3是注意力模块的网络结构图；

图4是本发明在WHU数据集上的实验结果图。

具体实施方式

下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。

如图1所示，一种遥感影像建筑物精确分割方法，具体步骤如下：

步骤1：构建包括特征提取模块、空洞卷积模块、注意力模块、上采样模块与卷积预测模块的建筑物提取网络，如图2所示，其中：

所述特征提取模块用于对输入遥感影像进行多尺度特征提取，获得多尺度特征图；

具体的，所述特征提取模块对输入遥感影像进行多尺度特征提取的具体过程如下：

将建筑物提取网络中去掉全连接层的预训练残差网络作为特征提取模块，通过卷积和逐步下采样操作，获得若干分辨率不同的多尺度特征图。

所述空洞卷积模块用于采用空洞空间卷积池化金字塔结构，对多尺度特征图中的最底层特征图进行空洞卷积处理后输入注意力模块与上采样模块；

所述注意力模块用于采用门控机制对多尺度特征图中其余每个尺度的特征图以及上采样模块输出的相对应尺度的特征图进行处理，具体的：

如图3所示，所述注意力模块包括第一部分、第二部分与第三部分，其中：

所述第一部分包括第一卷积单元、第二卷积单元、第一激活函数单元、第三卷积单元、第二激活函数单元、第一乘法处理单元，所述多尺度特征图中除最底层特征图外的其余尺度的特征图依次输入所述第一卷积单元，所述上采样模块输出的不同尺度的特征图依次输入所述第二卷积单元，所述第一卷积单元输出的特征图与第二卷积单元输出的相同尺度的特征图相加后输入第一激活函数单元，所述第一激活函数单元强化特征图中建筑物的特征后将特征图经第三卷积单元卷积处理后输入第二激活函数单元，所述第二激活函数单元在抑制特征图中的背景响应后将特征图输入所述第一乘法处理单元，所述第一乘法处理单元将其与输入所述第一卷积单元的相同尺度的特征图进行相乘处理后输出；

所述第二部分包括第二乘法处理单元与第三激活函数单元，所述多尺度特征图中除最底层特征图外的其余尺度的特征图依次输入所述第二乘法处理单元，该第二乘法处理单元将其与经过上采样处理后相同尺度的特征图中的前一半进行相乘处理，所述第二乘法处理单元输出的特征图与相同尺度的经过上采样处理后特征图中的另一半相加后输入第三激活函数单元进行处理后输出；

所述第三部分用于将第一部分输出的特征图与第二部分输出的特征图进行加法处理。

进一步的，所述第一激活函数单元与第三激活函数单元均选用ReLU函数，所述第二激活函数单元选用Sigmoid函数。

所述上采样模块用于对空洞卷积模块与注意力模块输出的不同尺度的特征图进行上采样处理，所述上采样模块包括一个二倍上采样操作和一个卷积操作；

所述卷积预测模块用于对所述空洞卷积模块与注意力模块输出的不同尺度的特征图进行卷积和预测，获得基于不同尺度的建筑物预测概率图；

在具体实施过程中，将一张遥感影像作为输入，利用去掉全连接层的预训练残差网络作为特征提取模块，通过一系列的卷积和降采样操作，来获取分辨率分别为

和

的多尺度特征图，分别命名为E1、E2、E3、E4，其中W和H分别代表原输入遥感影像图像的宽度和高度。

为了获得更大范围的感受野，以捕获更多空间信息。将得到的多尺度特征图中分辨率为

的特征图通过一个并联的不同间距的空洞卷积结构也即是所述空洞卷积模块，考虑到遥感影像建筑物尺寸的大小，为了捕获更多不同的尺寸信息，将膨胀系数分别设为1、4、8、12，加上额外一个全局池化操作，输出大小均为

然后将这五个输出并联，得到一个

的输出，然后再次卷积最终得到一个

的输出，命名D4。

接下来，对D4进行两种操作，一种是通过所述卷积预测模块输出一个

的建筑物预测概率图，命名P4；一种是通过上采样模块进行上采样操作，对D4通过2倍上采样和一个卷积操作得到一个

的输出，命名G3。

之后，通过注意力模块对G3同时进行两个操作，一是将G3和E3分别通过3x3卷积得到两个

输出，相加后通过ReLU激活函数，强化特征图中建筑物特征，再将结果通过3x3卷积得到

的输出，将这个输出通过Sigmoid函数激活之后与E3相乘得到

的输出，命名H3，抑制特征图中背景响应。二是将G3前一半通道即前256通道作为w，后一半通道即后256通道作为b，将w×E3+b通过ReLU激活函数，将特征精炼，命名K3，将K3与H3相加得到D3。

然后，对D3进行类似于D4的操作得到P3、D2，然后对D2重复操作得到P2、D1，对D1重复操作得到P2、D1。对D1进行一次卷积预测得到建筑物预测概率图P1，然后两次二倍上采样得到W×H×64的输出，再进行一次卷积预测，得到建筑物预测概率图P0，一共预测了五个输出，分别是建筑物预测概率图P4、P3、P2、P1、P0，如附图2所示。预测的概率图的分辨率分别是W/2⁵×H/2⁵，W/2⁴×H/2⁴，W/2³×H/2³，W/2²×H/2²，W×H。

最后，基于建筑物预测概率图P4、P3、P2、P1、P0获得高精度的建筑物提取结果。

步骤2：基于训练样本集，采用Dice Loss与BCE Loss相结合的多尺度复合损失函数，对构建的建筑物提取网络进行训练；

BCE Loss函数如下：

其中，BCELoss_i为尺度i下(即预测的概率图分辨率为W/2ⁱ×H/2ⁱ)的BCE Loss，i的取值范围为{0,2,3,…，n}；G_j为像素j的真实标签，G_j＝1表示为建筑物像素，G_j＝0表示为非建筑物像素；P_j是像素j为建筑物像素的预测概率；N为一张图像中的像素总数。

DiceLoss函数如下：

其中，DiceLoss_i为尺度i下(即预测的概率图的分辨率为W/2ⁱ×H/2ⁱ)的DiceLoss，i的取值范围为{0,2,3,…，n}；|G∩P|是真实标签和预测标签的交集，|G|和|P|表示真实标签和预测标签的像素值之和。

所述多尺度复合损失函数的表达式如下：

其中，BCELoss_i为尺度i下的BCE Loss，DiceLoss_i为尺度i下的Dice Loss，i的取值范围为{0,2,3,…，n}，n为所选取的尺度的个数。

由于本实施例的建筑物提取网络中有四个尺度的特征，且都输出了预测图，加上原始图像大小的预测，总共五个尺度，一共预测了五个热度图，则多尺度复合损失函数的表达式如下：

其中，i的取值范围为{0，2，3，4，5}，由于最终的预测是在原始分辨率上的建筑物提取结果最优，因此测试时候预测图只采用P0，所以在训练的时候提高P0的比重，故将Loss₀权重设置为1，其他4个尺度损失函数的总权重设置为1。利用这个总损失函数，对网络进行训练，直到整个网络收敛至最优精度为止。

步骤3：将待提取的遥感影像输入训练好的建筑物提取网络，得到建筑物提取结果。

本发明对部分实验数据进行建筑物提取得到的二值分割结果示例如图4所示，可以看出，本发明能稳定、精确地对不同场景下的遥感影像进行建筑物提取。

以上对本发明所提供的技术方案进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (7)

1.一种遥感影像建筑物精确分割方法，其特征在于包括如下步骤：

步骤1：构建包括特征提取模块、空洞卷积模块、注意力模块、上采样模块与卷积预测模块的建筑物提取网络，其中：

所述特征提取模块用于对输入遥感影像进行多尺度特征提取，获得多尺度特征图；

所述空洞卷积模块用于采用空洞空间卷积池化金字塔结构，对多尺度特征图中的最底层特征图进行空洞卷积处理后输入注意力模块与上采样模块；

所述注意力模块用于采用门控机制对多尺度特征图中其余每个尺度的特征图以及上采样模块输出的相对应尺度的特征图进行处理；

所述上采样模块用于对空洞卷积模块与注意力模块输出的不同尺度的特征图进行上采样处理；

所述卷积预测模块用于对所述空洞卷积模块与注意力模块输出的不同尺度的特征图进行卷积和预测，获得基于不同尺度的建筑物预测概率图；

步骤2：基于训练样本集，采用Dice Loss与BCE Loss相结合的多尺度复合损失函数，对构建的建筑物提取网络进行训练；

步骤3：将待提取的遥感影像输入训练好的建筑物提取网络，得到建筑物提取结果。

2.根据权利要求1所述的遥感影像建筑物精确分割方法，其特征在于：步骤1中所述特征提取模块对输入遥感影像进行多尺度特征提取的具体过程如下：

将建筑物提取网络中去掉全连接层的预训练残差网络作为特征提取模块，通过卷积和逐步下采样操作，获得若干分辨率不同的多尺度特征图。

3.根据权利要求2所述的遥感影像建筑物精确分割方法，其特征在于：步骤1中获得的所述多尺度特征图的分辨率分别为

和

其中W和H分别代表原输入遥感影像图像的宽度和高度。

4.根据权利要求1所述的遥感影像建筑物精确分割方法，其特征在于：所述上采样模块包括一个二倍上采样操作和一个卷积操作。

5.根据权利要求1所述的遥感影像建筑物精确分割方法，其特征在于：所述注意力模块包括第一部分、第二部分与第三部分，其中：

所述第一部分包括第一卷积单元、第二卷积单元、第一激活函数单元、第三卷积单元、第二激活函数单元、第一乘法处理单元，所述多尺度特征图中除最底层特征图外的其余尺度的特征图依次输入所述第一卷积单元，所述上采样模块输出的不同尺度的特征图依次输入所述第二卷积单元，所述第一卷积单元输出的特征图与第二卷积单元输出的相同尺度的特征图相加后输入第一激活函数单元，所述第一激活函数单元强化特征图中建筑物的特征后将特征图经第三卷积单元卷积处理后输入第二激活函数单元，所述第二激活函数单元在抑制特征图中的背景响应后将特征图输入所述第一乘法处理单元，所述第一乘法处理单元将其与输入所述第一卷积单元的相同尺度的特征图进行相乘处理后输出；

所述第二部分包括第二乘法处理单元与第三激活函数单元，所述多尺度特征图中除最底层特征图外的其余尺度的特征图依次输入所述第二乘法处理单元，该第二乘法处理单元将其与经过上采样处理后相同尺度的特征图中的前一半进行相乘处理，所述第二乘法处理单元输出的特征图与相同尺度的经过上采样处理后特征图中的另一半相加后输入第三激活函数单元进行处理后输出；

所述第三部分用于将第一部分输出的特征图与第二部分输出的特征图进行加法处理。

6.根据权利要求5所述的遥感影像建筑物精确分割方法，其特征在于：所述第一激活函数单元与第三激活函数单元均选用ReLU函数，所述第二激活函数单元选用Sigmoid函数。

7.根据权利要求1所述的遥感影像建筑物精确分割方法，其特征在于：所述多尺度复合损失函数的表达式如下：

其中，BCELoss_i为尺度i下的BCE Loss，DiceLoss_i为尺度i下的Dice Loss，i的取值范围为{0,2,3,…，n}，n为所选取的尺度的个数。

Images