CN113343775A - 一种用于遥感影像地表覆盖分类的深度学习泛化方法 - Google Patents

Abstract

本发明涉及一种新颖的用于遥感影像地表覆盖分类的深度学习泛化方法。本发明方法通过第一阶段风格迁移将源域影像风格转换为目标域影像风格，从像素级空间缩小源域和目标域间的数据分布差异；通过第二阶段特征级别的语义分割域自适应方法，进一步将源域分布映射到目标域分布上，增强语义分割模型的泛化能力。本发明有效解决了现有地表覆盖分类深度学习方法实际应用中面临的数据集差异过大和模型泛化能力低的问题。本发明有如下优点：鲁棒性强，可适应不同尺度的不同影像风格的无标签影像数据，能提供精度接近于有监督训练的地表覆盖分类图，在城市规划、地图制作和灾害响应等方面具有较高的应用价值。

Description

一种用于遥感影像地表覆盖分类的深度学习泛化方法

技术领域

本发明涉及一种两阶段的深度学习泛化方法，利用已有的有标签遥感数据集，即可对任意无标签遥感影像实行地表覆盖分类，分类效果接近于人工标注样本进行有监督训练得到的地表覆盖分类结果，极高程度上复用了现有的数据集知识，大大降低了标记成本，可有效辅助大规模地图制作和更新，具有较高的应用价值。

背景技术

地表覆盖分类图是一种重要的基础地理数据，对城市规划、地图绘制、灾害应急响应等等工作有至关重要的作用。传统的依靠目视判读进行地表覆盖分类图制作的方法是对人力物力的极大消耗。随着遥感技术的不断发展，米级、亚米级等高分辨率遥感影像的获取已经不再困难，从这样的遥感影像上获取精确地表覆盖分类图显示出了极大的潜力。

同时，深度学习技术获得了极大的发展，其与很多传统产业技术比如医疗、教育相融合产生了极大的促进作用。深度学习技术也逐渐被利用到遥感领域。将深度学习技术与遥感技术相融合，从高分辨率遥感影像上自动获得地表覆盖分类图受到国内外研究人员越来越多的关注。

为了促进地表覆盖分类深度学习技术的研究，国内外各单位花费了很多精力与时间制作了很多大规模的高分辨率遥感数据集并公开发布，样本数量已经不小于百万级。短短几年时间，现有的深度学习遥感方法获得了极大的发展，在大规模高分辨率遥感数据集内部执行时，已经能够达到很高的精度，获得几近人工判读的效果。但是，在实际生产中，将这样在大规模遥感数据集上充分训练好的模型直接应用于新获取的遥感影像时通常精度很低，无法产生令人满意的分类结果。一方面问题来自于遥感影像间的表观差异。由于光照辐射、摄影角度、季节变化等影响，不同时期获取的同一地区遥感影像间存在着色彩、亮度等差异；而不同地区获取的遥感影像间不仅存在色彩差异，还存在着景观布局本身的差异。另一方面问题来自于现有的有监督深度学习模型缺乏泛化能力，在应对影像差异过大的情况时没有足够的鲁棒性。

因此，为了充分利用现有昂贵数据集的丰富知识、提高地表覆盖分类深度学习方法实际应用能力，缩小已有大规模遥感数据集(源域)和新获取遥感数据集(目标域)间的分布差异、提高地表覆盖分类深度学习模型的泛化能力势在必行。一种用于遥感影像地表覆盖分类的深度学习泛化方法的发明至关重要。

发明内容

本发明针对现有地表覆盖分类深度学习方法实际应用中面临的数据集差异过大和模型泛化能力低的问题，提供了一种用于遥感影像地表覆盖分类的两阶段解决方案，通过第一阶段风格迁移将源域影像风格转换为目标域影像风格，缩小源域和目标域间的数据分布差异，通过第二阶段特征级别的语义分割域自适应方法，进一步将源域分布映射到目标域分布上，增强语义分割模型的泛化能力。本发明可对任意无标签遥感影像实行地表覆盖分类，分类效果接近于人工标注样本进行有监督训练得到的地表覆盖分类结果。实现本发明目的采用的技术方案是：一种用于遥感影像地表覆盖分类的两阶段深度学习泛化方法，包括如下步骤：

步骤1，根据已有的源域影像及其对应的地表覆盖类别标注文件构建源域样本库；根据无地表覆盖类别标注的目标域影像构建目标域样本库；

步骤2，进行方法的第一阶段：风格迁移。利用步骤1构建的源域样本库中的源域影像和目标域样本库中的目标域影像，通过深度学习风格迁移方法进行无需训练的风格迁移，这一阶段将源域影像的风格转换成目标域影像的风格，生成风格迁移后的源域影像；

步骤3，进行方法的第二阶段：特征级别的域自适应。构建一个包含两个结构相同的双分支输出卷积神经网络的自集成模型；利用步骤2中得到的风格迁移后的源域影像及其对应标签和目标域影像，共同输入到该模型中计算损失函数并通过反向传播进行训练；

步骤4，利用训练好的模型，对目标域影像进行预测得到像素级的地表覆盖分类结果，拼接该结果并矢量化，输出为最终的目标域影像地表覆盖分类矢量文件。

进一步的，步骤1的具体实现包括如下子步骤：

步骤1.1，影像预处理：对于源域影像，若待处理影像为分幅影像，则对多幅遥感影像进行拼接得到完整的影像，并将完整影像按地表覆盖范围进行裁剪，然后以某一影像分辨率为基准，对其它影像进行重采样；对于目标域影像，将其重采样到源域影像的分辨率；

步骤1.2，将源域影像的矢量标签栅格化，也就是将各类别矢量对应的像素标记为该类别，得到栅格的地表覆盖类别标签数据；

步骤1.3，样本裁剪：综合考虑计算机性能、地物大小，将遥感影像与其对应的标签数据裁剪为大小适宜的样本块。对于源域影像，若影像数据充足则按照地表覆盖范围进行无重叠裁剪，若影像数据不充分则按照地表覆盖范围进行50％有重叠裁剪；对于源域影像标签数据，按照和源域影像相同方式裁剪；对于目标域影像，按照和源域影像相同方式裁剪。

进一步的，步骤2的具体实现包括如下子步骤：

步骤2.1，风格迁移模型准备：选定一种真实感风格迁移深度学习方法，例如StyleNAS，加载其在大规模计算机视觉数据集例如MS_COCO上预训练的深度学习风格迁移模型参数；

步骤2.2，风格迁移：若源域数据集和目标域数据集为不同时期、同一地理位置的对应影像，则按照地理位置将源域数据集和目标域数据集中的图像一一对应；若源域数据集和目标域数据集地理位置不对应，则将源域数据集和目标域数据集中图像进行随机对应。将这样成对的源域影像和目标域影像输入到步骤2.1所述风格迁移模型中对源域影像进行风格预测，得到目标域影像风格的源域影像。

进一步的，步骤3的具体实现包括如下子步骤：

步骤3.1，构建双分支输出卷积神经网络：网络采用Unet结构。编码部分采用VGG16结构将影像逐级下采样进行特征提取，选取在ImageNet数据集上预训练好的VGG16模型参数来加速模型收敛。解码部分，包括两个分支，一个分支(分支一)将特征图逐级上采样并与编码时同级特征进行串联，直至原始影像大小，输出原始影像大小的特征图；另一个分支(分支二)将特征图逐级上采样并与编码时同级特征进行串联，直至原始影像的二分之一大小，输出原始影像二分之一大小的特征图，然后将该特征图上采样至影像原始大小；

步骤3.2，构建自集成模型：构建两个完全相同的如步骤2.1中的双分支输出卷积神经网络。一个作为学生模型，另一个作为教师模型；

步骤3.3，模型训练：将目标域风格的源域影像输入学生模型，得到两个分支输出的预测结果图，分别计算其与对应标签间的交叉熵损失函数；将加上高斯噪声的目标域影像分别输入学生模型和教师模型，分别计算教师模型分支一的预测结果图与学生模型分支二的预测结果图之间、教师模型分支二的预测结果图与学生模型分支一的预测结果图之间的均方根损失函数，将以上这些损失函数加权求和作为总的损失函数通过反向传播训练学生模型。教师模型不参与反向传播过程，采用指数移动平均方法将学生模型参数集成得到教师模型参数。

进一步的，步骤4中的具体实现包括如下子步骤：

步骤4.1，模型预测：加载教师模型权重，将目标域的影像输入教师模型，对模型两个分支输出的预测结果图取平均得到最终预测结果图；

步骤4.2，预测结果矢量化。将预测结果进行拼接恢复最初影像大小，然后将预测结果进行矢量化得到目标域影像的地表覆盖分类矢量文件。

本发明具有如下优点：1)提出了一种鲁棒性强的用于遥感影像地表覆盖分类的两阶段深度学习泛化方法，充分利用已有数据集知识，有效提高了无标签遥感影像上的地表覆盖分类效果，大大降低了人工标记成本；2)采用无须训练的深度学习风格迁移方法进行源域影像到目标域影像的风格转换，相比于采取依赖训练的风格迁移方法如CycleGAN，性能几乎没有差别，但效率有了极大的提升；3)设计了一个由双分支卷积神经网络组成的教师-学生模型，利用分支间的交叉一致性约束更好地引导语义分割模型学习目标域分布。

附图说明

图1是本发明的总体框架图。

图2是本发明中组成自集成分割模型的双分支卷积神经网络架构图。

图3是本发明中自集成分割模型训练的流程图。

图4是本发明中自集成分割模型预测的流程图。

具体实施方式

下面通过实施例和附图说明本发明的具体实施方式。

本发明实施例提供一种用于遥感影像地表覆盖分类的深度学习泛化方法，如图1所示，包括如下步骤：

步骤1，根据已有的源域影像及其对应标注文件、目标域影像构建样本库；步骤2，使用风格迁移网络生成目标域风格的源域影像；步骤3，利用步骤2得到的目标域风格的源域影像及其对应标签和目标域影像一同送入自集成分割网络进行训练；步骤4，利用训练好的自集成分割网络对目标域影像进行预测得到地表覆盖分类结果，对其拼接并矢量化得到最终目标域影像地表覆盖分类结果的矢量文件。

首先构建样本库。对于源域影像，若待处理影像为分幅影像，则对多幅遥感影像进行拼接得到完整的影像，并将完整影像按地表覆盖范围进行裁剪，然后以某一影像分辨率为基准，对其它影像进行重采样；对于目标域影像，将其重采样到源域影像的分辨率；将源域影像的矢量标签栅格化，得到栅格的地表覆盖类别标签数据；综合考虑计算机性能、地物大小，将遥感影像与其对应的标签数据裁剪为大小适宜的样本块(如512×512像素)。对于源域影像，若影像数据充足则按照地表覆盖范围进行无重叠裁剪，若影像数据不充分则按照地表覆盖范围进行50％有重叠裁剪；源域标签和目标域影像采用和源域影像相同的裁剪方式。

其次进行风格迁移。选定一种真实感风格迁移深度学习方法，例如StyleNAS，加载其在MS_COCO数据集上预训练的深度学习风格迁移模型参数。若源域数据集和目标域数据集为不同时期、同一地理位置的对应影像，则按照地理位置将源域数据集和目标域数据集中的图像一一对应；若源域数据集和目标域数据集地理位置不对应，则将源域数据集和目标域数据集中图像进行随机对应。将这样成对的源域影像和目标域影像输入到上述风格迁移模型中对源域影像进行风格预测，得到目标域影像风格的源域影像。

对于组成自集成分割模型的双分支卷积神经网络，其网络架构图参见图2。通过PyTorch深度学习框架实现网络模型的搭建，以影像块(如512×512像素)的红绿蓝或红外红绿三通道作为输入，其结构主要分为三个部分：编码部分、解码部分分支一、解码部分分支二。编码部分选取在ImageNet数据集上预训练好的VGG16网络，网络由一组卷积组成的输入层和四组卷积、最大池化层组合组成的下采样层，完成对影像特征提取的过程。除最后一组下采样外，特征通道数在编码部分的每组下采样后都会加倍，最终得到特征通道数为512的32×32大小的特征图。通过一组卷积操作将该特征图通道数减少为256，进入解码部分，包括两个分支。分支一使用四组卷积加步长为2的反卷积操作将特征图的分辨率从32×32上采样到512×512，特征通道数在第三组操作后减少为1/4，在第四组操作后再减半。从32×32到512×512大小的编码特征图通过跳跃连接添加到解码部分的相应特征图。最终通过两组卷积操作得到原始影像大小的特征图。分支二与分支一共享前三组卷积加反卷积操作和相应的跳跃连接操作，将特征图分辨率从32×32上采样到256×256，通过一组卷积操作得到原始影像二分之一大小的特征图，然后直接将该特征图上采样至影像原始大小。两个分支得到的特征图输出得到预测结果图并取平均，形成最终输出的预测结果图。两个如上所述结构的卷积神经网络构成自集成模型，一个作为学生模型，一个作为教师模型。

对于自集成分割网络模型的训练，流程参见图3。将目标域风格的源域影像输入学生模型，得到解码部分两个分支输出的预测结果图，分别计算其与对应标签间的交叉熵损失函数；将加上高斯噪声的目标域影像分别输入学生模型和教师模型，分别计算教师模型分支一的预测结果图与学生模型分支二的预测结果图之间、教师模型分支二的预测结果图与学生模型分支一的预测结果图之间的均方根损失函数，将以上这些损失函数加权求和作为总的损失函数通过反向传播并结合Adam优化器来实现学生模型在GPU上的训练。教师模型不参与反向传播过程，采用指数移动平均方法将学生模型参数集成得到教师模型参数。

对于自集成分割网络模型的预测，流程参见图4。加载教师模型权重，作为待预测的网络模型。将目标域的影像输入该模型，对模型两个分支输出的预测结果图取平均得到最终预测结果图。

最后进行预测结果矢量化。将预测结果进行拼接恢复最初影像大小，然后将预测结果进行矢量化得到目标域影像的地表覆盖分类矢量文件。

为了验证本发明在遥感影像地表覆盖分类中的作用，我们在ISPRS语义分割数据集对本发明方法进行评价。下面的表格详细介绍了ISPRS语义分割数据集的具体情况。

表1 ISPRS语义分割数据集的详细情况说明

根据步骤1最终构建样本库情况如下：

表2 ISPRS语义分割数据集构建源域和目标域数据库情况

主要评价指标为交并比(各类别交并比和平均交并比，简称为IoU和mIoU)，和总体精度(简称OA)。IoU为两个集合的交集和并集之比，在语义分割的问题中，这两个集合为真实值(ground truth)和预测值(predicted segmentation)。模型在所有测试集上预测正确的与总体数量之间的比值称为OA。两个评价指标的值越高，说明方法地表覆盖分类效果越好。

实验结果见下表：

表3实验结果

从表3实验结果中可以看到，直接用源域数据训练得到的模型来对目标域影像进行预测，相比于用目标域影像监督训练的结果来说效果很差，mIoU相差了约32％，OA相差了约31％。使用了本发明提出的用于遥感影像地表覆盖分类的深度学习泛化方法后，在目标域影像上进行预测，相比直接用源域数据训练得到的模型预测mIoU提高了约11％，OA提高了约14％，说明了方法能够有效提高地表覆盖分类深度学习模型的泛化能力，大大帮助了任意无标签遥感影像上的地表覆盖分类任务。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种用于遥感影像地表覆盖分类的深度学习泛化方法，其特征在于，包括如下步骤：

步骤1，根据已有的源域影像及其对应的地表覆盖类别标注文件构建源域样本库，根据无地表覆盖类别标注的目标域影像构建目标域样本库；

步骤2，第一阶段：风格迁移；利用步骤1构建的源域样本库中的源域影像和目标域样本库中的目标域影像，通过深度学习风格迁移方法进行无需训练的风格迁移，这一阶段将源域影像的风格转换成目标域影像的风格，生成风格迁移后的源域影像；

步骤3，第二阶段：特征级别的域自适应；构建一个包含两个结构相同的双分支输出卷积神经网络的自集成模型；利用步骤2中得到的风格迁移后的源域影像及其对应标签和目标域影像，共同输入到自集成模型中计算损失函数并通过反向传播进行训练；

步骤4，利用训练好的自集成模型，对目标域影像进行预测得到像素级的地表覆盖分类结果，拼接该结果并矢量化，输出为最终的目标域影像地表覆盖分类矢量文件。

2.如权利要求1所述的一种用于遥感影像地表覆盖分类的深度学习泛化方法，其特征在于：步骤1的具体实现包括如下子步骤；

步骤1.1，影像预处理：对于源域影像，若待处理影像为分幅影像，则对多幅遥感影像进行拼接得到完整的影像，并将完整影像按地表覆盖范围进行裁剪，然后以某一影像分辨率为基准，对其它影像进行重采样；对于目标域影像，将其重采样到源域影像的分辨率；

步骤1.2，将源域影像的矢量标签栅格化，也就是将各类别矢量对应的像素标记为该类别，得到栅格的地表覆盖类别标签数据；

步骤1.3，样本裁剪：综合考虑计算机性能、地物大小，将遥感影像与其对应的标签数据裁剪为大小适宜的样本块；对于源域影像，若影像数据充足则按照地表覆盖范围进行无重叠裁剪，若影像数据不充分则按照地表覆盖范围进行p％有重叠裁剪；对于源域影像标签数据，按照和源域影像相同方式裁剪；对于目标域影像，按照和源域影像相同方式裁剪。

3.如权利要求1所述的一种用于遥感影像地表覆盖分类的深度学习泛化方法，其特征在于：步骤2的具体实现包括如下子步骤；

步骤2.1，风格迁移模型准备：选定一种真实感风格迁移深度学习方法，StyleNAS风格迁移模型，加载其在大规模计算机视觉数据集上预训练的深度学习风格迁移模型参数；

步骤2.2，风格迁移：若源域数据集和目标域数据集为不同时期、同一地理位置的对应影像，则按照地理位置将源域数据集和目标域数据集中的图像一一对应；若源域数据集和目标域数据集地理位置不对应，则将源域数据集和目标域数据集中图像进行随机对应；将这样成对的源域影像和目标域影像输入到步骤2.1所述风格迁移模型中对源域影像进行风格预测，得到目标域影像风格的源域影像。

4.如权利要求1所述的一种用于遥感影像地表覆盖分类的深度学习泛化方法，其特征在于：步骤3的具体实现包括如下子步骤；

步骤3.1，构建双分支输出卷积神经网络：网络采用Unet结构，编码部分采用VGG16结构将影像逐级下采样进行特征提取，选取在ImageNet数据集上预训练好的VGG16模型参数来加速模型收敛；解码部分，包括两个分支，分支一将特征图逐级上采样并与编码时同级特征进行串联，直至原始影像大小，输出原始影像大小的特征图；分支二将特征图逐级上采样并与编码时同级特征进行串联，直至原始影像的二分之一大小，输出原始影像二分之一大小的特征图，然后将该特征图上采样至影像原始大小；

步骤3.2，构建自集成模型：构建两个完全相同的如步骤3.1中的双分支输出卷积神经网络，一个作为学生模型，另一个作为教师模型；

步骤3.3，模型训练：将目标域风格的源域影像输入学生模型，得到两个分支输出的预测结果图，分别计算其与对应标签间的交叉熵损失函数；将加上高斯噪声的目标域影像分别输入学生模型和教师模型，分别计算教师模型分支一的预测结果图与学生模型分支二的预测结果图之间、教师模型分支二的预测结果图与学生模型分支一的预测结果图之间的均方根损失函数，将以上这些损失函数加权求和作为总的损失函数通过反向传播训练学生模型，教师模型不参与反向传播过程，采用指数移动平均方法将学生模型参数集成得到教师模型参数。

5.如权利要求1所述的一种用于遥感影像地表覆盖分类的深度学习泛化方法，其特征在于：步骤3.1解码部分中的分支一包括四组卷积和步长为2的反卷积操作，最终通过两次卷积操作得到原始影像大小的特征图，其中编码特征图通过跳跃连接添加到解码部分的相应特征图；分支二与分支一共享前三组卷积加反卷积操作和相应的跳跃连接操作，并通过卷积操作得到原始影像二分之一大小的特征图，然后直接将该特征图上采样至影像原始大小。

6.如权利要求1所述的一种用于遥感影像地表覆盖分类的深度学习泛化方法，其特征在于：步骤4的具体实现包括如下子步骤；

步骤4.1，模型预测：加载教师模型权重，将目标域的影像输入教师模型，对模型两个分支输出的预测结果图取平均得到最终预测结果图；

步骤4.2，预测结果矢量化，将预测结果进行拼接恢复最初影像大小，然后将预测结果进行矢量化得到目标域影像的地表覆盖分类矢量文件。

Images