CN115311555A - 一种基于批风格混合的遥感影像建筑物提取模型泛化方法 - Google Patents

Abstract

本发明涉及一种基于批风格混合的遥感影像建筑物提取模型泛化方法。本发明方法充分利用已有标签大数据集信息，结合一个多输出的带有位置注意力和通道注意力模块的编码‑解码结构的卷积神经网络建筑物提取模型，通过附加在建筑物模型前端的即插即用的批风格混合模块种的多策略图像扩充技术，包括几何增强、色彩增强以及基于深度学习的风格混合，以增强语义分割模型的泛化能力，有效提高了在任意无标签影像上的建筑物提取性能。本发明有如下优点：鲁棒性强，只需要在大数据集上的一次训练，建筑物模型即可在任意高分辨率影像上进行建筑物提取任务，提高了建筑物提取的智能化、自动化程度，大大减少了人工标记的人力物力，在城市规划、数字化城市建设等方面具有较高的应用价值。

Description

一种基于批风格混合的遥感影像建筑物提取模型泛化方法

技术领域

本发明涉及一种基于批风格混合的遥感影像建筑物提取模型泛化方法，只需要利用已有的大规模有标签遥感数据集进行一次训练，即可在任意无标签遥感影像上自动提取建筑物，有效提高了无标签遥感影像上的建筑物提取精度，在无标签影像质量较优的情况下甚至能获得接近于人工绘制水平的建筑物提取结果，大大降低了标记成本，极大提高了建筑物提取速度，是遥感影像自动化建筑物提取研究的重要一步，具有较高的应用价值。

背景技术

建筑物是遥感影像尤其是城市区域遥感影像上最普遍存在的地物类型之一。遥感影像上建筑物的自动提取任务是遥感影像处理分析领域重要且基础的任务，对于城市规划、地形图制作与更新、数字化城市建设等等意义重大。随着遥感技术的飞速发展，遥感影像的分辨率不断提高，高分辨率影像提供的精细丰富的信息为建筑物提取提供了非常有利的条件。

近年来，依托于大数据以及高性能计算设备的发展，深度学习技术在计算机视觉和自然语言处理等领域取得爆炸式发展，显现出了强大的性能。将深度学习技术应用于高分辨率遥感影像上进行自动智能化建筑物提取具有巨大的潜力，受到了国内外学者的极大关注。

现有的从遥感影像上提取建筑物的深度学习方法多为监督学习语义分割方法，需要大量的逐像素标记的训练样本进行模型训练学习。因此，为了促进高分辨率遥感影像建筑物提取研究发展，国内外研究单位耗费巨大人力物力建设并公开发布了一些建筑物提取遥感数据集。在这些数据集内部，深度学习模型已经获得很高的建筑物提取精度。然而，在实际应用中，将这样训练好的模型应用于数据集外的影像时提取效果并不理想。这是因为光照辐射、摄影角度、摄影时间等获取条件差异以及影像拍摄区域间的景观差异等造成了数据集内外影像间的表观差异，从而造成了数据分布间的巨大差异，而一般的有监督深度学习模型服从于独立同分布假设，认为训练数据和测试数据来源于相同的分布，缺乏对分布外数据的泛化能力。一种解决方案是重新为新获取影像进行人工标注建筑物再训练，但是这是一个相当费力费财的过程，并不现实。

因此，利用已有建筑物标记的大规模遥感数据库，动态扩大样本空间，提高深度学习模型的泛化能力，从而提高模型在无标签的任意高分辨率遥感影像上的建筑物提取准确度，是遥感影像自动化建筑物提取研究的必然趋势。一种用于遥感影像建筑物提取的深度学习模型泛化方法至关重要。

发明内容

本发明针对现有遥感影像建筑物提取深度学习方法实际应用中面临的模型泛化能力低的问题，提供了一种基于批风格混合的遥感影像建筑物提取模型泛化方法，在训练建筑物提取模型时通过附加在模型前的批风格混合模块对小批次上的图像执行多策略图像动态扩充技术，促进了模型对于影像色彩、风格、几何等不变性特征的学习。训练得到的建筑物提取模型可在任意无标签影像上进行自动建筑物提取，有效提高了无标签遥感影像上的建筑物提取性能，在一定程度上解决了有监督语义分割深度学习方法在跨传感器、跨时间、跨空间、跨大气条件建筑物提取任务中性能下降明显的问题。

实现本发明目的采用的技术方案是：一种基于批风格混合的遥感影像建筑物提取模型泛化方法，包括如下步骤：

步骤1，根据已有影像及其对应的建筑物标注文件构建大规模训练集，无标签待提取建筑物影像构建测试集；

步骤2，构建一个带有位置注意力和通道注意力模块的编码-解码结构的卷积神经网络建筑物提取模型；

步骤3，使用训练集影像进行建筑物提取模型的训练。训练过程中，对从训练集中随机抽取的小批次(mini-batch)上的图像，首先将其输入批风格混合模块，在一定的概率下执行几何增强、色彩增强和基于深度学习的风格混合，渐进地为建筑提取模型学习数据不变性特征提供一个广阔的数据分布。其次，将处理得到的图像小批次送入建筑物提取模型，计算损失函数并通过反向传播实现模型在GPU上的训练。通过更广阔的数据训练，实现建筑物提取模型的泛化能力增强。

步骤3.1，几何增强操作：训练过程中，对小批次上每一张待送入建筑物提取模型的图像及其对应的标签，以一定的概率执行几何增强操作，包括垂直翻转、水平翻转、随机旋转、随机缩放裁剪；

步骤3.2，色彩增强操作：训练过程中，对经过步骤3.1的小批次上每一张图像，以一定的概率执行色彩增强操作，包括亮度、色彩均衡水平、对比度、锐度调整以及高斯随机噪声；

步骤3.3，风格混合操作：训练过程中，对经过步骤3.2的小批次，以一定的概率执行基于深度学习的风格混合。步骤3.2输出的小批次称为内容小批次，小批次内的图像按顺序编号。首先打乱内容小批次图像的顺序，形成另一个小批次(称为风格小批次)，风格小批次与内容小批次编号相同的图像为待风格混合的图像。将内容小批次和风格小批次输入风格迁移模型的VGG-19结构编码器，得到对应深层特征f_c和f_s。其次，对f_c进行重标准化操作，使其通道维度的均值和方差和f_s一致，得到特征f_cs，此时f_cs携带的风格信息与f_s相同或相似，但内容信息保持不变。对f_cs和f_c进行一定比例的线性插值，以混合两个特征携带的风格信息，得到特征f_ccs。将f_ccs经过风格迁移网络的VGG-19镜像结构的解码器，输出风格混合小批次。得到的混合风格小批次上，第i张图像的内容与内容小批次上第i张图像相同，风格则为内容小批次和风格小批次上第i张图像风格的混合。其中，风格迁移网络编码器和解码器采用加载在大规模计算机视觉数据集MS-COCO和WikiArt上预训练的模型参数；

步骤3.4，建筑物提取模型训练：将从批风格混合模块输出的图像小批次输入建筑物提取模型，对批次上的每张图像，模型输出五个预测结果图，分别计算预测结果图与标签间的交叉熵损失函数，将它们加权求和作为总损失函数并通过反向传播实现模型训练。

步骤4，利用训练好的建筑物提取模型，对测试集影像进行预测，得到像素级的建筑物提取结果，拼接该结果并矢量化，输出最终的建筑物多边形矢量文件。

进一步的，步骤1的具体实现包括如下子步骤：

步骤1.1，标签数据制作：将训练集影像的建筑物矢量标签栅格化，也就是将建筑物矢量对应的像素标记为255，剩余的非建筑物区域标记为0，得到栅格的二值标签数据；

步骤1.2，样本裁剪：综合考虑计算机性能、地物大小，将训练集的遥感影像与其对应的标签数据按照地表覆盖范围进行无重叠裁剪为大小适宜的样本块；对于待测试的影像，按照和训练集影像相同方式裁剪。

进一步的，步骤2的具体实现包括如下子步骤：

步骤2.1，构建编码部分：构建VGG-16形式的编码器，将影像通过五个阶段的卷积和下采样进行特征提取。选取在ImageNet数据集上预训练好的VGG16模型参数来加速模型收敛；

步骤2.2，构建注意力模块：引入通道注意力模块和位置注意力模块放置到编码器和解码器中间。将编码部分的输出分别输入两个注意力模块，输出特征进行加和作为解码部分的输入；

步骤2.3，构建解码部分：解码器与编码器结构相反，将注意力模块输出的特征图逐级上采样并与编码器中同级特征进行串联，直至原始影像大小，输出原始影像大小的分类图(主分类图)。在这过程中通过另四个输出分支对不同阶段特征进行直接上采样，输出原始影像大小的分类图(辅助分类图)，即建筑物提取网络共输出五个原始影像大小的分类图。

进一步的，步骤4中的具体实现包括如下子步骤：

步骤4.1，模型预测：加载训练好的模型权重，将测试集中的影像逐一输入建筑物提取模型，模型输出的主分类图即最终建筑物预测结果图；

步骤4.2，预测结果矢量化：将预测结果图进行拼接恢复最初影像大小，然后将结果进行矢量化得到测试集影像的建筑物提取矢量文件。

本发明具有如下优点：1)提出了一种基于批风格混合的用于遥感影像建筑物提取的深度学习模型泛化方法，充分利用已有数据库知识，针对训练过程中的小批次，使用了即插即用的批风格混合模块中的多策略图像动态扩充技术以构建更广阔的样本空间，增强了建筑物提取模型对数据不变性特征的学习与提取，获取的模型可有效提高无标签遥感影像上的建筑物提取效果，大大降低人工标记成本；2)泛化方法中批风格混合模块与建筑物提取模型解耦，因此只需要一次在已有数据集上的预训练，建筑物模型即可用于任意无标签遥感影像的建筑物提取，效率极高，具有很高的实际价值。

附图说明

图1是本发明的总体框架图。

图2是本发明中的卷积神经网络建筑物提取模型架构图。

图3是本发明中的批风格混合模块流程图。

图4是本发明中建筑物提取网络训练的流程图。

具体实施方式

下面通过实施例和附图说明本发明的具体实施方式。

本发明实施例提供一种基于批风格混合的遥感影像建筑物提取模型泛化方法，如图1所示，包括如下步骤：

步骤1，根据已有的影像及其对应标注文件构建训练集、无标签影像构建测试集；步骤2，构建一个多输出的带有位置注意力和通道注意力模块的编码-解码结构的卷积神经网络模型；步骤3，使用训练集影像进行训练，每次迭代过程中影像小批次先通过批风格混合模块再通过建筑物提取模型进行训练；步骤4，利用训练好的建筑物提取网络对测试集影像进行预测得到建筑物提取结果，对其拼接并矢量化得到最终测试集影像建筑物提取结果的矢量文件。

首先构建训练集和测试集。对于训练集影像，将其对应的矢量标签栅格化，得到栅格的建筑物二值标签：建筑物矢量对应的像素标记为255，剩余的非建筑物区域标记为0。综合考虑计算机性能、地物大小，将训练集遥感影像与其对应的标签数据进行无重叠裁剪为大小适宜的样本块(如512×512像素)；测试集影像采用和训练集影像相同的裁剪方式。

对于本发明中的多输出的带有位置注意力和通道注意力模块的编码-解码结构的卷积神经网络建筑物提取模型架构图，其网络架构图参见图2。通过PyTorch深度学习框架实现网络模型的搭建，以影像块(如512×512像素)的红绿蓝三通道作为输入，其结构主要分为三个部分：编码部分、解码部分、注意力模块。编码部分选取在ImageNet数据集上预训练好的VGG16网络，网络使用五个阶段的卷积、最大池化层组合组成的下采样层(Stage 1–Stage 5)来对影像进行特征提取。除最后一组下采样外，特征通道数在编码部分的每个阶段的下采样后都会加倍，最终得到特征通道数为512的32×32大小的特征图。编码器与解码器之间连接了注意力模块，编码器的输出进入注意力模块，两个注意力模块输出的特征进行加和后进入解码部分。注意力模块中，通道注意力模块用于提取通道特征间的相关性，位置注意力模块用于提取特征图上的像素点间的相关性。解码器结构与编码器相反类似，通过逐级卷积和上采样并与编码器中同级特征进行串联，直至原始影像大小，输出原始影像大小的分类图(主分类图)。在这过程中在每次上采样前设置一个输出分支，共四个输出分支对不同阶段特征进行直接上采样(分别为16倍、8倍、4倍和2倍上采样)到原始影像大小，输出分类图(辅助分类图)，即网络共输出五个原始影像大小的特征图。

对于批风格混合模块，技术流程图参见图3。对于训练过程中的一个小批次X，我们首先分别以一定的概率(设为0.5)执行几何增强和色彩增强操作。几何增强包括垂直翻转、水平翻转、随机旋转、随机缩放裁剪；色彩增强包括亮度、色彩均衡水平、对比度、锐度调整以及高斯随机噪声。得到的小批次称为内容小批次X_c，以一定的概率(设为0.5)执行以下风格混合操作：沿着批次维度打乱X_c上图像的顺序，形成另一个小批次(称为风格小批次)X_s，风格小批次上与内容小批次批维度相同的图像即为其对应的待风格混合的图像。然后，将X_c和X_s送入风格迁移网络的编码器得到深层特征f_c和f_s。其次，对f_c进行重标准化操作，使其通道维度的均值和方差和f_s一致，得到特征f_cs，此时f_cs携带的风格信息与f_s相同或相似，但内容信息与f_c一致，保持不变。接着，我们对f_cs和f_c进行权重为0.5的线性插值以混合两个特征携带的风格信息，得到特征f_ccs。最后，将f_ccs经过风格迁移网络的解码器输出风格混合小批次X_ccs。得到的X_ccs上，第i张图像的内容与内容小批次上第i张图像相同，风格则为内容小批次和风格小批次上第i张图像风格的混合。其中，编码器为VGG-19结构，解码器结构为编码器的镜像。编码器和解码器使用在MS-COCO和WikiArt数据集上预训练得到的参数，风格混合过程中参数冻结不更新。

对于建筑物提取网络模型的训练，流程参见图4。训练过程中，对于训练集中抽取得到的图像小批次，以一定的概率执行上述批风格混合模块中的几何变换、色彩变换和风格混合，得到动态扩充图像组成的小批次，将图像小批次输入建筑物提取模型。对批次上的每张图像，模型输出一张主分类图和四张辅助分类图，分别计算它们与标签间的交叉熵损失函数，将它们按照0.5,0.25,0.25,0.25,0.25的权重加权求和作为总损失函数并通过反向传播实现模型训练。

建筑物提取模型训练好后，加载模型最优权重，作为待预测的网络模型。将测试集的影像输入该模型，模型输出的主分类图即最终建筑物预测结果图。

最后进行预测结果矢量化。将预测结果进行拼接恢复最初影像大小，然后将预测结果进行矢量化得到测试集影像的建筑物提取矢量文件。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种基于批风格混合的遥感影像建筑物提取模型泛化方法，其特征在于，包括如下步骤：

步骤1，根据已有影像及其对应的建筑物标注文件构建大规模训练集，无标签待提取建筑物影像构建测试集；

步骤2，构建一个带有位置注意力和通道注意力模块的编码-解码结构的卷积神经网络建筑物提取模型；

步骤3，使用训练集影像进行建筑物提取模型的训练，训练过程中，对从训练集中随机抽取的小批次上的图像，首先将其输入批风格混合模块，在一定的概率下执行几何增强、色彩增强和基于深度学习的风格混合，渐进地为建筑提取模型学习数据不变性特征提供一个广阔的数据分布；其次，将处理得到的图像小批次送入建筑物提取模型，计算损失函数并通过反向传播实现模型在GPU上的训练，通过更广阔的数据训练，实现建筑物提取模型的泛化能力增强；

其中批风格混合模块中基于深度学习的风格混合的具体方式如下：

记经过几何增强、色彩增强输出的小批次称为内容小批次，小批次内的图像按顺序编号；首先打乱内容小批次图像的顺序，形成另一个小批次，称为风格小批次，风格小批次与内容小批次编号相同的图像为待风格混合的图像；将内容小批次和风格小批次输入风格迁移模型的VGG-19结构编码器，得到对应深层特征f_c和f_s；其次，对f_c进行重标准化操作，使其通道维度的均值和方差和f_s一致，得到特征f_cs，此时f_cs携带的风格信息与f_s相同或相似，但内容信息保持不变；对f_cs和f_c进行一定比例的线性插值，以混合两个特征携带的风格信息，得到特征f_ccs；将f_ccs经过风格迁移网络的VGG-19镜像结构的解码器，输出风格混合小批次；得到的混合风格小批次上，第i张图像的内容与内容小批次上第i张图像相同，风格则为内容小批次和风格小批次上第i张图像风格的混合；

步骤4，利用训练好的建筑物提取模型，对测试集影像进行预测，得到像素级的建筑物提取结果，拼接该结果并矢量化，输出最终的建筑物多边形矢量文件。

2.如权利要求1所述的一种基于批风格混合的遥感影像建筑物提取模型泛化方法，其特征在于：步骤1的具体实现包括如下子步骤；

步骤1.1，标签数据制作：将训练集影像的建筑物矢量标签栅格化，也就是将建筑物矢量对应的像素标记为255，剩余的非建筑物区域标记为0，得到栅格的二值标签数据；

步骤1.2，样本裁剪：综合考虑计算机性能、地物大小，将训练集的遥感影像与其对应的标签数据按照地表覆盖范围进行无重叠裁剪为大小适宜的样本块；对于待测试的影像，按照和训练集影像相同方式裁剪。

3.如权利要求1所述的一种基于批风格混合的遥感影像建筑物提取模型泛化方法，其特征在于：批风格混合模块中的几何增强操作包括垂直翻转、水平翻转、随机旋转和随机缩放裁剪。

4.如权利要求1所述的一种基于批风格混合的遥感影像建筑物提取模型泛化方法，其特征在于：批风格混合模块中的色彩增强操作包括亮度、色彩均衡水平、对比度、锐度调整以及高斯随机噪声。

5.如权利要求1所述的一种基于批风格混合的遥感影像建筑物提取模型泛化方法，其特征在于：风格迁移网络编码器和解码器采用加载在大规模计算机视觉数据集MS-COCO和WikiArt上预训练的模型参数。

6.如权利要求1所述的一种基于批风格混合的遥感影像建筑物提取模型泛化方法，其特征在于：步骤3中对建筑物提取模型进行训练的过程如下；

将从批风格混合模块输出的图像小批次输入建筑物提取模型，对批次上的每张图像，模型输出五个预测结果图，分别计算预测结果图与标签间的交叉熵损失函数，将它们加权求和作为总损失函数并通过反向传播实现模型训练。

7.如权利要求1所述的一种基于批风格混合的遥感影像建筑物提取模型泛化方法，其特征在于：步骤2的具体实现包括如下子步骤；

步骤2.1，构建编码部分：构建VGG-16形式的编码器，将影像通过五个阶段的卷积和下采样进行特征提取，选取在ImageNet数据集上预训练好的VGG16模型参数来加速模型收敛；

步骤2.2，构建注意力模块：引入通道注意力模块和位置注意力模块放置到编码器和解码器中间，将编码部分的输出分别输入两个注意力模块，输出特征进行加和作为解码部分的输入；

步骤2.3，构建解码部分：解码器与编码器结构相反，将注意力模块输出的特征图逐级上采样并与编码器中同级特征进行串联，直至原始影像大小，输出原始影像大小的分类图，即主分类图，在这过程中通过另四个输出分支对不同阶段特征进行直接上采样，输出原始影像大小的分类图，即辅助分类图，共输出五个原始影像大小的分类图。

8.如权利要求1所述的一种基于批风格混合的遥感影像建筑物提取模型泛化方法，其特征在于：步骤4的具体实现包括如下子步骤；

步骤4.1，模型预测：加载训练好的建筑物模型权重，将测试集中的影像逐一输入建筑物提取模型，模型输出的主分类图即最终建筑物预测结果图；

步骤4.2，预测结果矢量化：将预测结果图进行拼接恢复最初影像大小，然后将结果进行矢量化得到测试集影像的建筑物提取矢量文件。

Images