CN117649609B - 面向跨时空尺度域的遥感图像建筑物信息提取方法 - Google Patents

Abstract

本发明公开了一种面向跨时空尺度域的遥感图像建筑物信息提取方法，属于数据识别领域。本方法构建了目标提取网络，包括依次连接的特征提取模块、ASPP模块和解码器；特征提取模块用于提取输入的遥感图像中的特征信息。特征提取模块融合了标准卷积和空洞卷积，可以更好的关注目标的细节纹理和空间结构特征，使得目标信息得到充分利用。同时，训练使用的损失函数中加入了超参数，增强了模型对目标提取中真阳性部分的关注，可以避免复杂背景的干扰。并且，残差单元中的归一化层中加入了实例归一化，有效解决了跨时空尺度域提取精度低的问题。

Description

面向跨时空尺度域的遥感图像建筑物信息提取方法

技术领域

本发明属于数据识别领域，具体涉及一种从遥感图像中建筑物信息的方法。

背景技术

从遥感图像中提取目标的相关基础理论研究始于20世纪80年代，至今已有多种方法相继提出。根据自动化程度的不同，这些方法可以分为自动提取、半自动提取和人工（目标判读）提取。由于遥感图像中背景的复杂性，人工提取目标区域十分耗时，因此需要自动的方法来高效地提取众多目标组成的区域。

传统的目标提取方法，按提取原理可以分为三种类型：基于对象分割的方法、基于目标特征提取的方法和结合辅助信息的方法。这些方法存在一定的局限性：对图像中背景信息敏感，受数据质量的影响较大；目标形态、尺度的多样性也会影响到目标提取的结果。

近年来，随着深度学习网络的兴起，在遥感领域出现了许多基于语义分割的新型目标提取方法，为突破传统方法的技术困境提供了新的解决思路。尽管语义分割网络已经发展得非常成熟，但是对于目标提取任务还存在一些难题，例如：目标特征信息利用不充分、边界信息提取较弱和背景复杂影响提取精度等。因此，本领域技术人员在语义分割为基准网络的基础上，针对目标提取任务，进一步对现有的语义分割网络进行了调整。目前，按结构设计理念可大致分为：空洞卷积策略、融合多尺度特征策略、扩宽网络深度策略、添加注意力机制策略。

上述各种策略都有自己的优点：一些方法添加了新的模块对预测的图像进行处理，提高目标提取的准确性；另一些方法专注于使用不同的模块处理特征图中的信息，来减少计算量的同时保持目标提取的精度；还有一些方法针对于目标边缘加入了边缘优化的后处理手段或者边缘损失函数，来达到目标边缘提取优化的效果。

但是，现有的基于语义分割深度学习网络的目标提取方法依然存在如下问题：1、可见光卫星遥感图像背景复杂，给目标提取造成了很大的干扰；2、现有的提取方法对目标信息的利用不够充分，没有关注目标的细节纹理和空间结构特征；3、现有方法采用的训练数据和测试数据都是独立和同分布的（即同时空尺度域），针对具有复杂背景和跨时空尺度域的遥感图像目标提取精度较低。

发明内容

本发明提出了一种面向跨时空尺度域的遥感图像建筑物信息提取方法，其目的是：1、减少复杂背景对目标提取造成的干扰；2、解决对目标信息利用不充分的问题；3、解决跨时空尺度域提取精度低的问题。

本发明技术方案如下：

一种面向跨时空尺度域的遥感图像建筑物信息提取方法，步骤包括：

步骤1、构建目标提取网络，所述目标提取网络包括依次连接的特征提取模块、ASPP模块和解码器；

所述特征提取模块用于提取输入的遥感图像中的特征信息；特征提取模块中包括若干层依次连接的融合模块；融合模块中将输入的特征分别输入至两个并行的分支，其中一个分支包含基于标准卷积的残差单元，另一个分支包含基于空洞卷积的残差单元，然后将两个分支的输出进行逐像素相加，作为该融合模块的输出；所述残差单元中的归一化层中包含实例归一化；

所述ASPP模块基于特征提取模块输出的特征信息进一步提取多尺度特征；

所述解码器基于ASPP模块输出的多尺度特征转换生成预测图，预测图中每个像素的标签代表该像素是否属于目标；

步骤2、对上述目标提取网络进行训练，训练时，使用DICE+Loss损失函数计算损失值，然后根据损失值更新目标提取网络的参数值；

步骤3、使用训练好的目标提取网络对输入的遥感图像进行处理，得到预测图，然后根据预测图提取遥感图像中的目标建筑物。

作为所述面向跨时空尺度域的遥感图像建筑物信息提取方法的进一步改进：所述特征提取模块中包括6层依次连接的融合模块。

作为所述面向跨时空尺度域的遥感图像建筑物信息提取方法的进一步改进：6层依次连接的融合模块中，第1层和第2层融合模块中的每个分支只包含一个残差单元，而第3层、第4层、第5层及第6层融合模块中的每个分支包含两个依次连接的残差单元。

作为所述面向跨时空尺度域的遥感图像建筑物信息提取方法的进一步改进：所述特征提取模块还包括依次连接在第6层融合模块之后的两个基于标准卷积的残差单元。

作为所述面向跨时空尺度域的遥感图像建筑物信息提取方法的进一步改进：残差单元的第一个归一化层中包含并列的批归一化和实例归一化，残差单元的第一个卷积层的输出分别输入到批归一化和实例归一化中，再将二者的输出进行拼接操作，将拼接结果作为后续层的输入。

作为所述面向跨时空尺度域的遥感图像建筑物信息提取方法的进一步改进：所述DICE+Loss损失函数的计算公式为：

；

其中，pred∩true表示预测图中的目标区域与真实的目标区域的交集所包含的像素数，pred∪true表示预测图中的目标区域和真实的目标区域的并集所包含的像素数；为超参数。

作为所述面向跨时空尺度域的遥感图像建筑物信息提取方法的进一步改进：超参数的取值范围为0.05至0.15。

作为所述面向跨时空尺度域的遥感图像建筑物信息提取方法的进一步改进，步骤2的具体过程为：

步骤2.1、将可见光卫星遥感图像进行分块，得到分块遥感图像；

步骤2.2、在分块遥感图像中进行标注，将带有标注的分块遥感图像分为训练集和验证集；

步骤2.3、将训练集和验证集输入到所述目标提取网络中进行训练：将训练集中的遥感图像输入到目标提取网络中得到预测图，然后根据标注和预测图使用DICE+Loss损失函数计算损失值，然后根据损失值更新目标提取网络的参数值；并且，使用验证集判断训练中的目标提取网络是否过拟合，最终得到训练后的目标提取网络。

相对于现有技术，本发明具有以下积极效果：

1、本发明在Dice Loss的基础上加入超参数，增强了模型对目标提取中真阳性部分的关注，可以避免复杂背景的干扰。

2、本发明使用了标准卷积和空洞卷积融合的特征提取模块，特征提取模块包括六层由基于标准卷积的残差单元与基于空洞卷积的残差单元组成的融合模块，每一层将相同的信息分别输入两个不同的残差单元，然后将二者的输出进行逐像素相加操作，实现细节纹理特征和空间结构特征的融合，从而更好的关注目标的细节纹理和空间结构特征，使得目标信息得到充分利用。进一步的，特征提取模块的后两层为单独的基于标准卷积的残差单元，可以抑制经过反复下采样所产生的不良影响。在这种策略下，特征提取模块不仅关注目标纹理特征，还注重了目标结构特征，并且补偿了因下采样而产生的感受野减小，同时还能解决使用空洞卷积提取特征时因信息缺失造成的网格效应问题。

3、本发明利用实例归一化改进残差单元。实例归一化能够过滤掉不同风格图片的风格信息，仅保留图片的内容信息，从而消除外观上的特征差异，实现特征对齐，有效解决跨时空尺度域提取精度低的问题。

附图说明

图1为目标提取网络的整体框架图；

图2为特征提取模块的框架图；

图3为改进后的残差单元的示意图。

具体实施方式

下面结合附图详细说明本发明的技术方案：

一种面向跨时空尺度域的遥感图像建筑物信息提取方法，步骤包括：

步骤1、构建目标提取网络。为了实现目标信息的充分利用以及排除遥感图像中复杂背景的影响，目标提取网络使用了标准卷积和空洞卷积融合的特征提取模块，并在损失函数中给加入了超参数。同时，为了提高跨时空尺度域目标提取的精度，对于网络中的残差单元进行了改进。

如图1，所述目标提取网络包括依次连接的特征提取模块、ASPP模块和解码器。

所述特征提取模块用于提取输入的遥感图像中的特征信息，它融合了标准卷积与空洞卷积，并采用加入了实例归一化的改进的残差单元构成的Resnet作为骨干网。

具体的，如图1和2，特征提取模块中包括若干层依次连接的融合模块。融合模块中将输入的特征分别输入至两个并行的分支，其中一个分支包含基于标准卷积的残差单元，另一个分支包含基于空洞卷积的残差单元，然后将两个分支的输出进行逐像素相加，作为该融合模块的输出。

对于有着明显拓扑结构、并且不同个体外观和大小都有一定差异性的目标，本发明在特征提取的过程中，使用了空洞卷积和标准卷积相融合的策略。标准卷积感受野相对较小，更关注目标的细节纹理特征；空洞卷积感受野相对较大，更注重目标空间结构的特征。

本实施例中，所述特征提取模块中包括6层依次连接的融合模块。特征提取模块中最开始的两个模块用于对输入进行预处理，然后将预处理结果融合后输出，以便其适配于后续的融合模块。后续的依次连接的6层融合模块中，第1层和第2层融合模块中的每个分支只包含一个残差单元，而第3层、第4层、第5层及第6层融合模块中的每个分支包含两个依次连接的残差单元。

进一步的，所述特征提取模块还包括依次连接在第6层融合模块之后的两个基于标准卷积的残差单元，以便抑制经过反复下采样所产生的不良影响。

在这种策略下，特征提取模块不仅关注目标纹理特征，还注重了目标结构特征，并且补偿了网络中因下采样而产生的感受野减小的缺陷，同时还能解决使用空洞卷积提取特征时因信息缺失造成的网格效应问题。

进一步的，各所述残差单元中的归一化层中包含实例归一化。实例归一化在编解码网络中的应用能够过滤风格不同的图片的风格信息，仅保留图片的内容信息，从而消除外观上的特征差异，实现特征对齐，提升网络学习外观不变性的能力。同时，不同域的卫星遥感图像大都存在颜色、纹理、光照、分辨率等一些图像外观上的差异，即域偏移。在残差单元中合理的加入实例归一化，能有效的提升跨时空尺度域目标提取的精度。

具体的，如图3，残差单元的第一个归一化层中包含并列的批归一化和实例归一化，残差单元的第一个卷积层的输出分别输入到批归一化和实例归一化中，再将二者的输出进行拼接操作，将拼接结果作为后续层的输入。

所述ASPP模块基于特征提取模块输出的特征信息进一步提取多尺度特征。本实施例中，ASPP模块使用了DeepLabv3+中的结构，它将融合了细节纹理特征和空间结构特征的完整信息传递到后续模块中。

所述解码器基于ASPP模块输出的多尺度特征转换生成预测图。预测图中每个像素的标签代表该像素是否属于目标。本实施例中，解码器也使用了DeepLabv3+中的结构，它将前序提取、处理好的特征转化为掩码图，以便计算损失用于模型训练以及得到最终的提取结果。

步骤2、对上述目标提取网络进行训练，训练时，使用DICE+Loss损失函数计算损失值，然后根据损失值更新目标提取网络的参数值。

具体的训练步骤为：

步骤2.1、将可见光卫星遥感图像进行分块，得到分块遥感图像。

步骤2.2、在分块遥感图像中进行标注，将带有标注的分块遥感图像分为训练集和验证集。

步骤2.3、将训练集和验证集输入到所述目标提取网络中进行训练：将训练集中的遥感图像输入到目标提取网络中得到预测图，然后根据标注和预测图使用DICE+Loss损失函数计算损失值。

所述DICE+Loss损失函数的计算公式为：

。其中，pred∩true表示预测图中的目标区域与真实的目标区域的交集所包含的像素数，pred∪true表示预测图中的目标区域和真实的目标区域的并集所包含的像素数。/>为超参数，当/>由1向上调整时，模型的整体精度呈先上升后下降的趋势，且当/>=1.5时模型能最大程度的关注真阳性部分。/>由1向下调整时，模型的整体精度也呈先上升后下降的趋势，且当/>=0.1时模型能更加关注真阴性部分。为了排除背景的干扰，综合上述对比情况，模型在β=0.1时能预测出更接近标签图的结果。取值范围为0.05至0.15，优选为0.1。

然后根据损失值更新目标提取网络的参数值。并且，使用验证集判断训练中的目标提取网络是否过拟合，最终得到训练后的目标提取网络。

步骤3、使用训练好的目标提取网络对输入的遥感图像进行处理，得到预测图，然后根据预测图提取遥感图像中的目标建筑物。

Claims (7)

1.一种面向跨时空尺度域的遥感图像建筑物信息提取方法，其特征在于步骤包括：

步骤1、构建目标提取网络，所述目标提取网络包括依次连接的特征提取模块、ASPP模块和解码器；

所述特征提取模块用于提取输入的遥感图像中的特征信息；特征提取模块中包括若干层依次连接的融合模块；融合模块中将输入的特征分别输入至两个并行的分支，其中一个分支包含基于标准卷积的残差单元，另一个分支包含基于空洞卷积的残差单元，然后将两个分支的输出进行逐像素相加，作为该融合模块的输出；所述残差单元中的归一化层中包含实例归一化；

所述ASPP模块基于特征提取模块输出的特征信息进一步提取多尺度特征；

所述解码器基于ASPP模块输出的多尺度特征转换生成预测图，预测图中每个像素的标签代表该像素是否属于目标；

步骤2、对上述目标提取网络进行训练，训练时，使用DICE+Loss损失函数计算损失值，然后根据损失值更新目标提取网络的参数值；

所述DICE+Loss损失函数的计算公式为：

；

其中，pred∩true表示预测图中的目标区域与真实的目标区域的交集所包含的像素数，pred∪true表示预测图中的目标区域和真实的目标区域的并集所包含的像素数；为超参数；

步骤3、使用训练好的目标提取网络对输入的遥感图像进行处理，得到预测图，然后根据预测图提取遥感图像中的目标建筑物。

2.如权利要求1所述的面向跨时空尺度域的遥感图像建筑物信息提取方法，其特征在于：所述特征提取模块中包括6层依次连接的融合模块。

3.如权利要求2所述的面向跨时空尺度域的遥感图像建筑物信息提取方法，其特征在于：6层依次连接的融合模块中，第1层和第2层融合模块中的每个分支只包含一个残差单元，而第3层、第4层、第5层及第6层融合模块中的每个分支包含两个依次连接的残差单元。

4.如权利要求2所述的面向跨时空尺度域的遥感图像建筑物信息提取方法，其特征在于：所述特征提取模块还包括依次连接在第6层融合模块之后的两个基于标准卷积的残差单元。

5.如权利要求1所述的面向跨时空尺度域的遥感图像建筑物信息提取方法，其特征在于：残差单元的第一个归一化层中包含并列的批归一化和实例归一化，残差单元的第一个卷积层的输出分别输入到批归一化和实例归一化中，再将二者的输出进行拼接操作，将拼接结果作为后续层的输入。

6.如权利要求1所述的面向跨时空尺度域的遥感图像建筑物信息提取方法，其特征在于：超参数的取值范围为0.05至0.15。

7.如权利要求1至6任一所述的面向跨时空尺度域的遥感图像建筑物信息提取方法，其特征在于，步骤2的具体过程为：

步骤2.1、将可见光卫星遥感图像进行分块，得到分块遥感图像；

步骤2.2、在分块遥感图像中进行标注，将带有标注的分块遥感图像分为训练集和验证集；

步骤2.3、将训练集和验证集输入到所述目标提取网络中进行训练：将训练集中的遥感图像输入到目标提取网络中得到预测图，然后根据标注和预测图使用DICE+Loss损失函数计算损失值，然后根据损失值更新目标提取网络的参数值；并且，使用验证集判断训练中的目标提取网络是否过拟合，最终得到训练后的目标提取网络。