CN115841625A - 一种基于改进U-Net模型的遥感建筑物影像提取方法 - Google Patents

Abstract

本发明提出了一种基于改进U‑Net模型的遥感建筑物影像提取方法。使用U‑Net模型作为骨干网络，在模型的跳跃连接阶段，加入协调注意力门控模块，以更好定位建筑物主体信息并有效整合不同级别语义信息。在模型的桥梁连接部分，引入了高效连续金字塔模块，使用分组的小尺度空洞卷积进行特征提取，并在组内进行特征分层叠加，强化了模型对于捕获建筑物主体间可能存在的空间上下文关系的能力。在模型的解码器部分，引入双向联级深度监督模块，按照从深到浅和从浅到深两个方向依次融合相邻解码器阶段所得的预测图，以实现对不同网络层特定监督，有效提升了模型的多尺度建筑物主体提取能力。

Description

一种基于改进U-Net模型的遥感建筑物影像提取方法

技术领域

本发明属于图像处理技术领域，涉及遥感影像中的建筑物提取，具体涉及一种基于改进U-Net模型的遥感建筑物影像提取方法。

背景技术

建筑物为城市居民的居住、工作、休闲以及其他社会经济活动提供了基本的功能活动空间，对建筑物进行合理管控是实现可持续协调发展城市建设道路的必然之举。随着遥感技术的飞速发展，遥感图像分辨率也在不断提升，高分辨率遥感建筑物影像包含更精确的几何结构、更丰富的纹理特征以及地物特征，快速提取高分辨率遥感影像数据中的建筑物信息，对城市规划、地表动态监测、地图制图和土地利用管理等具有重要意义。近年来，深度学习技术给图像分割领域带来了革命性的影响。过去十年中，基于卷积神经网络的方法在遥感建筑物影像提取中得到了快速地发展。总体而言，现有技术通过基于深度学习的遥感影像建筑物提取模型已经能够实现自动化提取建筑，且各方面效果均优于传统提取方法。

最新的遥感影像建筑物提取模型中，BRRNet首次引入空洞卷积应用于模型桥接阶段，通过级联不同膨胀率的空洞卷积以提取更多的建筑物全局特征信息，但空洞卷积膨胀率的不合理选取容易导致特征提取时失去建筑物部分的局部细节。BMFRNet在深度监督阶段加入多尺度输出融合约束结构，一定程度上提升了模型聚合多尺度语义信息的能力，但其并不能有效凸显出不同解码层提取特征的特性，导致模型多尺度建筑物提取能力差。BOMSCNet在模型桥接阶段引入多尺度上下文感知模块，有效得捕获了建筑物主体的全局上下文特征信息，但遥感影像中建筑物尺度差异大，其模型的多尺度提取能力依旧有待进一步提高。

由于不同的建筑物主体存在形状复杂、边缘信息丰富、尺度大小不一的特点，目前鲜有方法综合考虑诸多特性，同时建筑物本身所具有颜色、纹理等低级特征也未能有效整合利用，因此遥感影像建筑物的自动化精准提取算法仍待进一步研究思考。

发明内容

针对现有技术的不足，本发明提出了一种基于改进U-Net模型的遥感建筑物影像提取方法，采用U-Net作为骨干网络，在跳跃连接阶段增加协调注意力门控模块，在桥接阶段添加高效连续空间金字塔模块，并使用双向联级监督结构，解决遥感影像建筑物提取中建筑物主体难定位、多尺度主体难以充分提取、建筑物形状以及空间上下文信息未能有效利用等问题，提高建筑物提取的准确率，节约人力物力。

一种基于改进U-Net模型的遥感建筑物影像提取方法，具体包括以下步骤：

步骤1、对原始的遥感建筑物图像进行预处理，使用滑动窗口将其裁剪为多张大小相同的子图像，再进行灰度归一化，将图像的灰度值统一在0到1之间。

步骤2、构建一个U-Net模型，然后对其跳跃连接部分、桥接部分以及解码结构进行改进，得到BDS-UNet网络模型，具体操作如下：

步骤2-1、在U-Net模型的跳跃连接部分加入协调注意力门控模块，对每一层卷积编码结果进行门控激活。所述协调注意力门控模块将通道注意力分解为两个一维特征编码过程，分别沿两个空间方向聚合编码器的输入特征，生成的协调注意力热图包含了两个不同空间方向上建筑物主体的空间信息，可以将其互补地应用于输入特征图，以增强关注对象的表示。

步骤2-2、进一步在U-Net模型的桥接部分添加高效连续金字塔模块，对编码器的输出进行分组特征提取，在每个分组内并行使用三个不同膨胀率的空洞卷积，按照膨胀率递增的顺序对空洞卷积的结果进行逐级递加与融合，最终再对不同分组提取到的特征进行融合，得到高效连续金字塔模块的输出。

步骤2-3、在解码器阶段引入双向联级监督结构，具体是在U-Net模型的解码器部分增加两个分支。所述分支对每一层卷积解码结果进行卷积和上采样操作，得到与编码器输入图像大小相同的中间特征图。然后在两个分支内分别按照由浅到深、由深到浅的顺序对中间特征图进行逐层融合，得到不同层级的边缘特征图。最后通过卷积操作将所有边缘特征图进行融合，得到BDS-UNet网络模型的输出预测图。双向联级监督结构通过传播来自相邻上下层的预测结果，迫使每一层都专注于一个特定的规模，以有效提升模型的多尺度建筑物提取能力。

步骤3、向步骤2构建的BDS-UNet网络模型输入带标签的遥感建筑物图像，将双向联级监督结构得到的边缘特征图和模型的输出预测图作为监督依据，使用Adam优化算法进行优化。最后使用训练后的BDS-UNet网络模型完成遥感建筑物影像提取。

本发明具有以下有益效果：

1、本方法提出协调注意力门控模块，对编码器传入跳跃连接的特征进行门控激活，不仅能够减少不同层级特征融合所存在的语义鸿沟，有效整合建筑物本身所具有的颜色、纹理等低级特征，同时还可以更加精准地定位建筑物主体相对位置。

2、利用高效连续金字塔模块提取编码器输出的特征，可以消除空洞卷积在特征提取时带来的栅格化问题，有效整合建筑物主体不同感受野下的空间上下文信息。

3、在解码器部分使用双向联级监督结构对模型进行深度监督，通过传播来自相邻上下层的预测结果，以更好地实现对不同解码层的特定监督，在有效保留小尺度建筑物边缘信息的同时，提升了模型多尺度建筑物主体提取能力。

附图说明

图1 为实施例中构建的BDS-UNet网络模型示意图。

图2 为U-Net网络模型结构示意图。

图3 为协调注意力门控模块结构示意图。

图4 为高效连续金字塔模块结构示意图。

图5 为双向联级监督结构示意图。

图6 为实施例中基于WHU建筑物数据集的实验可视化对比图，其中（a）、（b）分别为原始遥感影像和对应的建筑物影像标签，（c）、（d）、（e）、（f）、（g）分别为使用现有技术中的SegNet、Unet、Deeplab、BRRNet、BMFRNet网络模型从原始遥感影像提取到的建筑物影像，（h）为使用本方法从原始遥感影像提取到的建筑物影像。

具体实施方式

以下结合附图对本发明作进一步的解释说明；

下面根据附图结合WHU建筑物数据集对本发明进行详细说明。本发明整体模型结构如附图1所示，具体步骤如下：

步骤1、对WHU建筑物数据集中的原始数据进行剪裁和归一化，具体操作如下：

步骤1-1、从左上角开始使用滑动窗口，按照从左到右、从上到下的顺序，将原始图像的分辨率统一裁剪到256×256，对于裁剪后分辨率小于256×256的图片进行扩展操作。剔除不完整的图像后，将裁剪得到的4392张图像作为训练集，其余144张图像作为验证集。

步骤1-2、采用图像处理中较为通用的零均值归一化方法对裁剪后图像的灰度值进行归一化处理，将其灰度值统一在0到1之间：

（1）

其中，

表示经过归一化处理后的图像，/>

表示裁剪后的图像，mean（f(x,y)）表示灰度平均值，std(f(x,y))表示方差。

步骤2、构建如图1所示的BDS-UNet网络模型，该模型以U-Net结构为骨干，对跳跃连接部分、桥接部分以及解码结构进行改进。如图2所示，所述U-Net结构包括编码器、解码器、跳跃连接部分和桥接部分。图中横向的数值表示图像的通道数，纵向的数值表示图像的分辨率大小。在U-Net结构中编码器对输入图像进行3层卷积和最大池化操作，逐步缩小输入图像的分辨率大小，增加通道数，从而输出不同尺寸的编码特征图。桥接部分将编码器的输出特征图送入解码器。所述解码器通过3层卷积和上采样操作，逐步将特征图的尺寸恢复到与输入图像大小一致，输出预测结果。跳跃连接部分将同尺寸的编码特征图送入解码器，令解码器在每次进行上采样前都与相同尺寸的编码特征图拼接。

步骤2-1、使用协调注意力门控模块提取模型跳跃连接阶段编码器传入的特征，所述协调注意力门控模块的结构如图3所示，该模块包括协调池化、通道压缩和门控激活三个步骤：

步骤2-1-1、将编码器每一层卷积编码结果作为模块输入，分别在水平和垂直两个方向进行尺寸为(H,1)和(1,W)的全局池化操作，得到沿水平和垂直两个空间方向的聚合特征。其中H、W、C分别表示模块输入的高度、宽度和通道数。

步骤2-1-2、对步骤2-1-1得到的两个空间方向的聚合特征进行拼接，得到保存了两个不同方向上的空间上下文特征信息的特征图，大小为（H+W）x1，通道数为C。再使用1×1卷积操作将其通道数缩小为原始通道数的1/r，以减少计算量。在本实施例中r=32。

步骤2-1-3、针对通道数缩小后的特征图分别使用两个1×1卷积操作，生成横向注意力权重图和纵向注意力权重图，然后与模块输入进行点乘，转化为将要传入解码器部分的输出，完成协调注意力门控激活过程。其中，横向注意力图的大小为Wx1，纵向注意力图的大小为1xH，经过1×1卷积操作后，通道数均恢复到C。

步骤2-2、使用高效连续金字塔模块对编码器的输出作进一步的特征提取，如图4所示，所述高效连续金字塔模块包括点积压缩、组内特征逐级融合和组间特征融合三个步骤：

步骤2-2-1、将编码器最后一层的输出特征作为该模块的输入，并分为三个不同分组，在每个分组内均通过逐点卷积压缩空间特征，减少参数量以提升模块特征提取效率。

步骤2-2-2、在每个分组内将压缩后的特征送入三个并联的空洞卷积分支中，然后按照膨胀率从低到高的顺序，逐级叠加三个空洞卷积分支提取到的特征信息，再对叠加的结果进行融合，完成组内层次特征融合。

步骤2-2-3、将三个分组输出的特征进行组间相加融合，得到高效连续金字塔模块的输出特征。

在步骤2-2中，第一个分组内的三个空洞卷积膨胀率分别为（1,2,3），第二个分组的三个空洞卷积膨胀率分别为（1,3,5），第三个分组内的三个空洞卷积膨胀率分别为（1,3,9）。合理的空洞卷积膨胀率可以有效减少栅格化效应带来的影响，同时分组内逐级叠加不同膨胀率空洞卷积提取的特征，这种类残差的结构能够更好地实现梯度回传，有效提升模型捕获不同距离感受野下的空间上下文特征的能力。

步骤2-3、使用双向联级监督结构对解码器部分进行改进，如图5所示：解码器部分在每层使用两次大小为3×3、步长为1的卷积操作，特征图在卷积操作前后的大小不变，每次卷积后都使用批量归一化BN与ReLU函数进行激活，然后再进行一次上采样操作，经过3次上采样后，特征图恢复的尺寸恢复到与输入图像相等。双向联级监督结构在解码器每层的上采样操作之前添加两条分支，每条分支都会进行大小为1x1、步长为1的卷积操作和不同倍数的上采样操作，从而得到与输入图像大小相等的中间特征图。然后再分别按照特征由浅入深和由深入浅的顺序，对两条支路得到的中间特征图进行逐级融合，获得8张边缘特征图：

（2）

（3）

其中，

表示由浅到深融合过程中第s层所得的边缘特征图，/>

表示被由浅到深融合的第i层中间特征图，/>

表示由深到浅融合过程中第s层所得的边缘特征图，/>

表示被由深到浅融合的第i层中间特征图。由于每一张边缘特征图都是通过双向级联结构推断出来的，因此可以有效区分不同层次解码器所提取特征表达出的多尺度信息，从而提升模型的多尺度建筑物提取能力。

最后，将两个分支获得的边缘特征图通过1×1卷积操作进行融合，输出BDS-UNet网络模型的最终预测图。

步骤3、使用训练集图像对步骤2构建的BDS-UNet网络模型进行训练。将双向联级监督结构两个分支得到的8张边缘特征图和1张最终预测图作为监督依据，使用Adam优化算法进行优化，边缘损失函数

和总损失函数/>

分别表示为：

（4）

（5）

其中

和/>

分别是边缘损失和融合损失的权重，在本实施例中

=0.5、/>

=1.1。/>

为所有编码器特征图融合后所得的最终预测结果，/>

是图像中建筑物主体的对应真实值，/>

表示Dice损失函数：

（6）

其中，

为图像中的像素总数，/>

为地面真实值中的第i个像素是否属于一个建筑，/>

表示预测结果中的第i个像素为建筑物的概率。

为了进一步说明本方法的有效性，在步骤1得到的验证集上与SOTA方法进行对比实验，出于全面性考虑，选取了语义分割经典模型U-Net、SegNet和DeeplabV3+，以及遥感建筑物提取模型BRRNet、BMFRNet和BOMSC-Net。

可视化对比结果如图6所示，根据图片可知，本方法所提出的BDS-UNet网络模型的表现均好于其他现有的遥感建筑物提取模型。BRRNet提取出的建筑物主体不完整不连续，而BMFR-Net在多尺度建筑物提取方面表现较差。数值结果如表1所示：

表1

模型	OA(%)	Precision(%)	Recall(%)	IOU(%)	F1(%)
						U-Net	98.20	90.25	94.00	85.34	92.09
DeepLabV3+	98.28	91.80	92.84	85.73	92.32
						SegNet	98.03	89.43	93.36	84.08	91.35
BRRNet	98.33	91.52	93.68	86.19	92.58
						BMFR-Net	97.92	95.06	92.86	88.59	93.95
BOMSC-Net	98.20	95.14	94.50	90.15	94.80
						BDS-UNet(ours)	98.91	95.35	94.87	90.68	95.11

其中，OA表示总体精度，是指正确预测的所有像素在所有参与预测的像素中的比例，反映了模型对整体影像样本的建筑物预测能力。Precision表示准确率，是指正确预测为正例的像素在所有被预测正例的像素中所占的比例，反映了模型建筑物提取的全局准确程度。Recall表示召回率，是指正确预测为正例的像素在实际为正例的像素中所占的比例，可以反映模型提取建筑物正例的全面性。IOU表示交并比是所有预测的正例像素在实际正例像素与其并集中的比例。F1分数是准确率和召回率的调和平均值，能够有效评价模型整体分析效果。从表1中的数值可知，本申请提出的BDS-UNet网络模型在各项指标上均优于现有模型。

Claims (9)

1.一种基于改进U-Net模型的遥感建筑物影像提取方法，其特征在于：具体步骤如下：

步骤1、对原始的遥感建筑物图像进行预处理；

步骤2、构建一个U-Net模型，然后在跳跃连接部分加入协调注意力门控模块，对每一层卷积编码结果进行门控激活；接着在U-Net模型的桥接部分添加高效连续金字塔模块，对编码器的输出进行分组特征提取，提取结果传入解码器；最后在解码器部分引入双向联级监督结构，生成边缘特征图，并将边缘特征图的融合结果作为改进U-Net模型的输出预测图；

步骤3、将双向联级监督结构得到的边缘特征图和模型输出预测图作为监督依据，对改进U-Net模型进行优化训练；将步骤1处理后的图像输入训练后的改进U-Net模型完成遥感建筑物影像提取。

2.如权利要求1所述一种基于改进U-Net模型的遥感建筑物影像提取方法，其特征在于：步骤1中对原始的遥感建筑物图像进行预处理的具体方法为：

步骤1-1、从左上角开始使用滑动窗口，按照从左到右、从上到下的顺序，将原始图像的分辨率统一裁剪到256×256，对于裁剪后分辨率小于256×256的图片进行扩展操作，并剔除不完整的图像；

步骤1-2、采用零均值归一化方法对步骤1-1得到的图像进行灰度归一化处理，将其灰度值统一在0到1之间：

（1）

其中，

表示经过归一化处理后的图像，

表示裁剪后的图像，

表示灰度平均值，

表示方差。

3.如权利要求1所述一种基于改进U-Net模型的遥感建筑物影像提取方法，其特征在于：所述改进U-Net模型在编码阶段对输入图像进行3层卷积和下采样操作，每层卷积操作得到的特征图输入协调注意力门控模块进行门控激活；在解码阶段对高效连续金字塔模块的输出特征进行3层卷积和上采样操作，并在每次卷积操作前与协调注意力门控模块输出的同尺度特征图进行拼接。

4.如权利要求1或3所述一种基于改进U-Net模型的遥感建筑物影像提取方法，其特征在于：所述协调注意力门控模块对每一层卷积编码结果进行门控激活，包括协调池化、通道压缩和门控激活三个步骤：

步骤2-1-1、将编码器一层的卷积编码结果作为模块输入，分别在水平和垂直两个方向进行尺寸为(H,1)和(1,W)的全局池化操作，得到沿水平和垂直两个空间方向的聚合特征；

步骤2-1-2、对步骤2-1-1得到的两个空间方向的聚合特征进行拼接，得到保存了两个不同方向上的空间上下文特征信息的特征图；再使用1×1卷积操作将其通道数缩小为原始通道数的1/32；

步骤2-1-3、针对通道数缩小后的特征图分别使用两个1×1卷积操作，生成横向注意力权重图和纵向注意力权重图，然后与模块输入进行点乘，转化为将要传入解码器部分的输出，完成协调注意力门控激活过程。

5.如权利要求1或3所述一种基于改进U-Net模型的遥感建筑物影像提取方法，其特征在于：所述高效连续金字塔模块将编码器最后一层的输出特征作为模块输入，包括点积压缩、组内特征逐级融合和组间特征融合三个步骤：

步骤2-2-1、将模块输入分为三个不同分组，在每个分组内均通过逐点卷积压缩空间特征；

步骤2-2-2、在每个分组内将压缩后的特征送入三个并联的空洞卷积分支中，然后按照膨胀率从低到高的顺序，逐级叠加三个空洞卷积分支提取到的特征信息，再对叠加的结果进行融合，完成组内层次特征融合；

步骤2-2-3、将三个分组输出的特征进行组间相加融合，得到高效连续金字塔模块的输出特征。

6.如权利要求5所述一种基于改进U-Net模型的遥感建筑物影像提取方法，其特征在于：第一个分组内的三个空洞卷积膨胀率分别为（1,2,3），第二个分组的三个空洞卷积膨胀率分别为（1,3,5），第三个分组内的三个空洞卷积膨胀率分别为（1,3,9）。

7.如权利要求1或3所述一种基于改进U-Net模型的遥感建筑物影像提取方法，其特征在于：双向联级监督结构在解码器每层的上采样操作之前添加两条支路，在支路内进行大小为1x1、步长为1的卷积操作和不同倍数的上采样操作，从而得到与输入图像大小相等的中间特征图；然后再分别按照特征由浅入深和由深入浅的顺序，对两条支路得到的中间特征图进行逐级融合，获得8张边缘特征图：

（2）

（3）

其中，

表示由浅到深融合过程中第s层所得的边缘特征图，

表示由深到浅融合过程中第s层所得的边缘特征图；

最后将所有边缘特征图通过1×1卷积操作进行融合，得到改进U-Net模型的输出预测图。

8.如权利要求1所述一种基于改进U-Net模型的遥感建筑物影像提取方法，其特征在于：使用Adam优化算法对改进U-Net模型进行优化，设置总损失函数L为：

（4）

其中

为边缘损失函数，

表示Dice损失函数：

（5）

（6）

和

分别是边缘损失和融合损失的权重，

表示由浅到深融合过程中第s层所得的边缘特征图，

表示由深到浅融合过程中第s层所得的边缘特征图；

为所有编码器特征图融合后所得的最终预测结果，

是图像中建筑物主体的对应真实值；

为图像中的像素总数，

为地面真实值中的第i个像素是否属于一个建筑，

表示预测结果中的第i个像素为建筑物的概率。

9.如权利要求8所述一种基于改进U-Net模型的遥感建筑物影像提取方法，其特征在于：设置

=0.5、

=1.1。

Images