CN111797703A - 基于鲁棒深度语义分割网络的多源遥感影像分类方法 - Google Patents

Abstract

本发明公开了一种基于鲁棒深度语义分割网络的多源遥感影像分类方法(Robust Loss Function of Remote Sensing Imagery，RSRLF)，该方法由容错性损失函数与自适应类别权重组成。基于开源土地覆盖分类数据集进行遥感语义分割能够极大地减少样本标注工作，但是开源土地覆盖分类数据集中包含一定的标注错误样本。本发明中的容错性损失函数能够抑制模型学习噪声标签，避免模型对噪声标签过拟合；类别均衡约束模块能够解决地物类别在全球分布样本规模差异大、类别间混淆度不一致的问题。两者结合能够有效解决使用开源土地覆盖分类数据集进行遥感语义分割中噪声标签与类别样本不均衡问题，提高基于开源土地覆盖分类数据集进行地物分类的精度。

Description

基于鲁棒深度语义分割网络的多源遥感影像分类方法

技术领域

本发明属于遥感解译与人工智能的交叉领域，涉及一种基于鲁棒深度语义分割网络的多源遥感影像分类方法，具体包含容错性深度学习和自适应类别均衡权重协同学习的遥感语义分割鲁棒学习方法。

背景技术

土地利用与土地覆盖变化直接地影响着世界范围内的气候与生物多样性。快速、有效地获取真实、可靠的土地覆盖数据，能够为全球气候变化研究、土地覆盖变化检测、生态模型建立提供重要支持。随着遥感影像的空间分辨率的不断提高，大范围土地覆盖分类制图的分辨率也在不断的提升。如何快速、准确地获取土地覆盖分类制图受到国内外学者地广泛关注。

深度学习的优越性能高度依赖数据集标签的规模与质量。随着越来越多卫星载荷的在轨运行，遥感卫星数据可以更容易、更便捷地获取，但可靠的标注数据却仍旧耗费大量人力物力。开源土地覆盖分类产品能够一定程度上替代标注数据，如2005年欧盟发布的1km分辨率土地覆盖分类制图GLC2000、2019年清华大学发布的10米分辨率土地覆盖制图FROM-GLC10等。利用现有开源地物覆盖分类产品来创建深度学习亟需的标签数据，能够克服面向大范围土地覆盖分类所呈现出的标签监督数据收集困难的问题。然而，开源地物覆盖分类产品中不可避免地存在一定的错误。利用开源地物覆盖产品进行深度语义分割网络训练的核心问题是解决噪声标签对深度语义分割网络训练带来的不利影响。

容错性方法旨在抑制或消除噪声标签在网络训练过程中的不利影响，从而达到甚至超越无噪声训练模型。近年来，容错性方法在机器视觉领域的目标识别任务中发展迅速。如Goldberger等提出在softmax层后添加一个全连接层，从而更新噪声转换矩阵。噪声转换矩阵定义了一类转换为另一类的可能性，能够修正损失函数，从而获取噪声鲁棒的模型。Wang等提出的Symmetric Cross Entropy(SCE)损失函数，通过使用Reverse CrossEntropy(RCE)抑制简单类学习，从而达到简单类与困难类共同提升的目的，避免简单类噪声已经过拟合，困难类却出现欠拟合的现象。Yuan等提出Iterative Cross Learning(ICL)结构，使用多个独立的神经网络进行学习，由于每个网络输入数据是独立的，因此不同的网络的分类性能存在差异，通过多模型投票进行标签修正，能够减少噪声标签。再基于更新后的数据再次进行模型训练。遥感影像区别于自然图像，一方面遥感影像受到季节、拍摄角度等原因存在类内差异大、类间相似度高等问题，另一方面，全球范围内不同地物类别的样本规模差异大，不同地物类别间混淆度不同。现有的容错性方法多用于解决计算机视觉领域的目标识别问题，针对遥感图像语义分割问题的容错性学习方法研究较少，因此亟待发展适用于遥感影像语义分割的容错性学习技术。

发明内容

本发明主要是解决现有技术在基于开源土地覆盖分类数据的遥感影像地物分类过程中所存在的分类结果精度低问题，提供了一种基于鲁棒深度语义分割网络的多源遥感影像分类方法(Robust Loss Function of Remote Sensing Imagery，RSRLF)，由容错性损失函数与自适应类别均衡权重组成，可以有效地提高基于开源土地覆盖分类数据集的遥感影像地物分类的精度。

深度语义分割的优越性能依赖于大量高质量的数据集标签，人工标注标签耗费大量的人力物力。基于开源土地覆盖分类数据集进行遥感语义分割能够极大地减少人工标注工作，但是开源土地覆盖分类数据集中存在一定的标注错误。噪声标签会对模型学习造成不利影响。在语义分割任务中，常用的损失函数为交叉熵(Cross Entropy)损失函数。交叉熵损失函数对模型预测概率小的样本给与更高的学习权重，从而加速模型拟合。但是在包含噪声标签中，噪声标签的预测概率较低，交叉熵损失函数令模型拟合噪声标签，导致模型过拟合噪声。为了解决这个问题，计算机视觉领域的学者提出了容错性方法，如平均绝对误差(MAE)、对称交叉熵(SCE)等容错性损失函数，以及迭代交叉学习(ICL)、联合优化(JointOptimization)等标签修订机制。但是在遥感语义分割领域，容错性相关研究较少，现有容错性方法无法简单地扩展到遥感语义分割问题中。遥感语义分割中，不同类别混淆都不一致且样本规模差异大。在保留噪声鲁棒性的基础上解决以上遥感语义分割问题，即可得到适用于遥感语义分割的容错性方法。

在遥感影像语义分割时，当A₁地物类别存在相似度高类别{A_i，…，A_k}，且A₁地物在相似度高类别中的样本规模较小时，隐性学习权重较小，模型难以学习到准确的A₁与其相似度高类别间分类边界，导致A₁地物的分类性能低。为了解决这个问题，本发明提出基于自适应类别均衡权重。在此基础上，联合容错性损失函数与自适应类别均衡权重能够有效地解决基于开源土地覆盖分类数据的遥感语义分割问题，既利用了容错性方法善于抑制噪声标签过拟合的优点，又结合了自适应类别均衡权重的减弱样本不均衡学习特点。容错性损失函数方法抑制预测概率小的样本学习，从而抑制模型噪声过拟合；自适应类别均衡权重可以促进易混淆且样本规模小类别学习，避免容错性方法过度抑制导致的分类问题。本发明可以在基于开源土地覆盖分类数据深度语义分割方法的基础上进一步提高地物分类的精度。

本发明所采用的技术方案是：基于鲁棒深度语义分割网络的多源遥感影像分类方法(RSRLF)，包括以下步骤：

步骤1，以遥感影像数据集作为深度语义分割网络的输入数据进行训练，所述深度语义分割网络中的损失函数为RSRLF鲁棒损失函数，RSRLF鲁棒损失函数包括容错性损失函数和自适应类别均衡权重，，通过后向传播算法随机梯度下降(Stochastic GradientDescent,SGD)优化深度语义分割网络，得到鲁棒遥感深度语义分割模型；

步骤2，基于开源土地覆盖分类数据集计算自适应类别均衡权重，修正RSRLF鲁棒损失函数以优化鲁棒遥感深度语义分割模型；

步骤3，最后利用优化后的鲁棒遥感深度语义分割模型对多源遥感影像数据进行分类。

进一步的，步骤1所述深度语义分割网络为编码器-解码器结构；编码器中特征提取网络使用ResNet，ResNet由1个输入模块和4个计算模块组成，输入模块由卷积层与最大池化层组成，计算模块由不同数量的残差单元组成；在特征提取网络后使用空洞空间金字塔池化ASPP进行高层次特征提取，包含4个并行的卷积层与1个全局平均池化层，共5个分支，最后，将ASPP不同分支的输出结果拼接到一起，输入到1×1卷积层，得到高层次特征；解码器通过对低层次特征与高层次特征进行融合，并上采样到输入图像大小，得到更加清晰的物体边界；其中低层次特征为编码器中1个计算模块的输出特征，解码器先将低层次特征输入1×1卷积层，再将输出特征与上采样4倍的高层次特征拼接在一起，然后输入3×3卷积层，最后上采样4倍得到分割结果。

进一步的，4个计算模块均使用瓶颈块残差单元，瓶颈块由1×1、3×3、1×1卷积层堆叠组成，卷积层中使用批归一化和ReLU激活函数；4个计算模块分别有3、4、23、3个瓶颈块残差单元，计算模块1残差单元中卷积层通道数为64、64、256，计算模块2残差单元中卷积层通道数为128、128、512，计算模块3残差单元中卷积层通道数为256、256、1024，计算模块4残差单元中卷积层使用空洞卷积，膨胀率分别为2、4、8，通道数为512、512、2048。

进一步的，ASPP的4个并行的卷积层中使用批归一化和ReLU激活函数，分别为1个1×1与3个3×3卷积层，3个3×3的卷积层的扩张率分别为6、12、18，所有分支包含256个通道，其中全局池化层输出特征通过双线性上采样输出还原到对应尺寸。

进一步的，步骤1中，利用输入影像及其对应的开源地物覆盖分类标签来训练深度语义分割网络，假设遥感影像原始数据为X，样本X大小为W×H，令θ为深度语义分割网络的模型参数，如式壹所示，对于观测样本X的给定i列j行像素属于类别k的预测概率为f_(i，j)(k|X；θ)；

其中，

代表深度语义分割网络的层次化映射函数；

RSRLF鲁棒损失函数如式贰，通过后向传播算法随机梯度下降优化深度语义分割网络；

L_RSRLF＝L_GCE×w_k (式贰)

其中，L_GCE为容错性损失函数，w_k为自适应类别均衡权重；

RSRLF鲁棒损失函数中容错性损失函数使用广义交叉熵损失函数GCE，表示如式叁所示：

其中，K为分类类别的数量，q∈(0，1]，e_(i，j)(k|X)表示样本X在标签上的真实分布，如果该类别与样本的类别相同，e_(i，j)(k|X)为1，否则为0；由洛必达法则可知，lim_q→0L_GCE＝L_CE，当q＝1时，GCE等价于MAE损失函数；因此GCE目标函数是CE与MAE的归一化形式，GCE损失函数的梯度如式肆所示：

其中，

为f_(i，j)(k|X；θ)是对模型参数θ的梯度；

RSRLF损失函数的梯度如式伍所示：

进一步的，步骤2中，自适应类别均衡权重具体内容如下：

k类的类别均衡权重的具体计算公式如式陆所示：

其中，B_k为k类占相似度高类别的比例；

其中，B_k为k类在相似度高类别中的比例，R_k为k类在开源土地覆盖分类数据集中的比例，L为k类相似度高类别数，R_i为k类相似度高类在开源土地覆盖分类数据集中的比例。

本发明具有以下优点：通过引入自适应类别均衡权重解决了遥感语义分割中的不同类别混淆度差异和样本规模差异大问题。同时将计算机视觉领域的容错性损失函数引入遥感语义分割领域，消除了开源土地覆盖分类数据中噪声标签对语义分割的不利影响。使用本发明方法能够使用开源土地覆盖分类数据进行遥感语义分割工作，开源土地覆盖分类数据减少了样本标注工作。

附图说明

图1：本发明实施例的总体流程图。

图2：本发明实施例的深度语义分割网络结构图

图3：本发明实施例的地物分类结果示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于鲁棒深度语义分割网络的多源遥感影像分类方法，由容错性损失函数与自适应类别权重组成。包括以下步骤：

步骤1：深度语义分割网络训练和地物分类。以遥感影像数据集作为深度语义分割网络的输入数据进行训练，所述深度语义分割网络中的损失函数为RSRLF鲁棒损失函数，RSRLF鲁棒损失函数包括容错性损失函数和自适应类别均衡权重，通过后向传播算法随机梯度下降(Stochastic Gradient Descent,SGD)优化深度语义分割网络。本发明基于2020IEEE Data Fusion Contest(DFC2020)提供的SEN12MS遥感地物分类数据集与FROM-GLC10地物分类产品创建的SEN12GLC数据集为例，该数据集的地物类别包括8类，分别为森林(Forest)、裸地(Barren)、灌木(Shrubland)、草原(Grassland)、水体(Water)、湿地(Wetlands)、耕地(Cropland)和城市/建筑用地(Urban)。训练集共包含180662组数据，验证集与测试集为DFC2020提供的精确标注的标签数据，共包含986组数据。随机选取300组数据作为验证集数据，剩余数据为测试集数据。本发明利用验证集数据对模型进行优选；

步骤2：基于步骤1中创建的SEN12GLC数据集计算自适应类别均衡权重，修正RSRLF鲁棒损失函数以优化鲁棒遥感深度语义分割模型；

步骤3，最后利用优化后的鲁棒遥感深度语义分割模型对多源遥感影像数据进行分类。

本发明中的深度语义分割网络的网络结构请见图2，该深度语义分割网络为编码器-解码器结构。编码器中特征提取网络使用ResNet，ResNet由1个输入模块和4个计算模块组成，输入模块由步长为2的7×7×64卷积层与步长为2的3×3最大池化层组成；计算模块由不同数量的残差单元组成，本发明使用瓶颈块残差单元，瓶颈块由1×1、3×3、1×1卷积层堆叠组成，卷积层中使用批归一化和ReLU激活函数。本发明使用ResNet101，四个计算模块分别有3、4、23、3个瓶颈块残差单元，计算模块1残差单元中卷积层通道数为64、64、256，计算模块2残差单元中卷积层通道数为128、128、512，计算模块3残差单元中卷积层通道数为256、256、1024，计算模块4残差单元中卷积层使用空洞卷积，膨胀率分别为2、4、8，通道数为512、512、2048。在特征提取网络后使用空洞空间金字塔池化(ASPP)进行特征提取，包含4个并行的卷积层与1个全局平均池化层，共5个分支，卷积层中使用批归一化和ReLU激活函数，分别为1个1×1与3个3×3卷积层(扩张率分别为6、12、18)，所有分支包含256个通道。其中全局池化层输出特征通过双线性上采样输出还原到对应尺寸。最后，将ASPP不同分支的输出结果拼接到一起，输入到1×1卷积层，得到高层次特征。解码器通过对低层次特征与高层次特征进行融合，并上采样到输入图像大小，得到更加清晰的物体边界。其中低层次特征为编码器中计算模块1的输出特征。解码器先将低层次特征输入1×1卷积层，再将输出特征与上采样4倍的高层次特征拼接在一起，然后输入3×3卷积层，最后上采样4倍得到分割结果。

利用输入影像及其对应的开源地物覆盖分类标签来训练DeepLabv3+网络，假设遥感影像原始数据为X，样本X大小为W×H，令θ为深度语义分割网络的模型参数，如式壹所示，对于观测样本X的给定i列j行像素属于类别k的预测概率为f_(i，j)(k|X；θ)。本发明考虑映射函数为常见的具有softmax输出层的分类器，即输出概率

其中，

代表深度语义分割网络的层次化映射函数；

RSRLF鲁棒损失函数如式贰，通过后向传播算法随机梯度下降(StochasticGradient Descent,SGD)优化深度语义分割网络，发明方法分类结果如图3所示；

L_RSRLF＝L_GCE×w_k (式贰)

其中，L_GCE为容错性损失函数，w_k为自适应类别均衡权重；

RSRLF中容错性损失函数使用广义交叉熵损失函数(GCE)，表示如式叁所示：

其中，K为分类类别的数量，q∈(0，1]，e_(i，j)(k|X)表示样本X在标签上的真实分布，如果该类别与样本的类别相同，e_(i，j)(k|X)为1，否则为0。由洛必达法则可知，lim_q→0L_GCE＝L_CE，当q＝1时，GCE等价于MAE损失函数。因此GCE目标函数是CE与MAE的归一化形式。GCE损失函数的梯度如式肆所示：

其中，

为f_(i，j)(k|X；θ)对模型参数θ的梯度；

RSRLF损失函数的梯度如式伍所示：

当f_(i，j)(k|X；θ)较小时，f_(i，j)(k|X；θ)^q-1较小，使用GCE损失函数进行训练时，将更少地关注softmax输出与标签一致性差的样本，从而提升了模型对噪声标签的鲁棒性。与MAE相比，将q设置在0到1之间，能够在噪声鲁棒性与更好的学习间得到平衡，从而控制反向传播时对某些类别的学习倾向程度。GCE损失函数可以针对特定数据集调整参数，从而获得适应该数据集的鲁棒损失函数。正是基于该特性，本发明使用GCE损失函数作为RSRLF中的容错性损失函数。

自适应类别均衡权重用于解决由于类别样本规模差异导致的隐性学习权重。如湿地类别在全球范围较少，开源地物分类数据中湿地样本规模小，因此模型难以学习湿地类。通过自适应类别均衡权重能够人为地修正模型类别学习权重，从而保证遥感语义分割时各个类别都能够得到有效的学习。k类的类别均衡权重具体实现方法如式陆所示：

其中，B_k为k类占相似度高类别(相似度大于20％)的比例；

其中，B_k为k类在相似度高类别中的比例，R_k为k类在SEN12GLC数据集中的比例，L为k类相似度高类别数(包含k类)，R_i为k类相似度高类在SEN12GLC数据集中比例；

与仅使用GCE损失函数相比，本发明方法在SEN12GLC数据集训练得到的模型在OA(overall accuracy)与mIoU上分别提升了1.08％、2.35％，分类结果见图3。本发明方法由容错性深度学习方法与自适应类别均衡权重联合优化深度语义分割网络组成。在进行优化前，基于开源土地覆盖分类数据集计算自适应类别均衡权重，并将自适应类别均衡权重加入容错性损失函数中，组成RSRLF鲁棒损失函数。基于RSRLF鲁棒损失函数进行深度语义分割网络优化，得到噪声鲁棒深度语义分割模型。使用开源土地覆盖分类数据集极大地减少了样本标注工作，本发明有效解决了开源地物分类数据集错误标签导致的不利影响，提高了基于开源土地覆盖分类数据集的遥感影像地物分类方法的分类精度。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于鲁棒深度语义分割网络的多源遥感影像分类方法，其特征在于，包括以下步骤：

步骤1，以遥感影像数据集作为深度语义分割网络的输入数据进行训练，所述深度语义分割网络中的损失函数为RSRLF鲁棒损失函数，RSRLF鲁棒损失函数包括容错性损失函数和自适应类别均衡权重，通过后向传播算法随机梯度下降优化深度语义分割网络，得到鲁棒遥感深度语义分割模型；

步骤2，基于开源土地覆盖分类数据集计算自适应类别均衡权重，修正RSRLF鲁棒损失函数以优化鲁棒遥感深度语义分割模型；

步骤3，最后利用优化后的鲁棒遥感深度语义分割模型对多源遥感影像数据进行分类。

2.根据权利要求1所述的基于鲁棒深度语义分割网络的多源遥感影像分类方法，其特征在于：步骤1所述深度语义分割网络为编码器-解码器结构；编码器中特征提取网络使用ResNet，ResNet由1个输入模块和4个计算模块组成，输入模块由卷积层与最大池化层组成，计算模块由不同数量的残差单元组成；在特征提取网络后使用空洞空间金字塔池化ASPP进行高层次特征提取，包含4个并行的卷积层与1个全局平均池化层，共5个分支，最后，将ASPP不同分支的输出结果拼接到一起，输入到1×1卷积层，得到高层次特征；解码器通过对低层次特征与高层次特征进行融合，并上采样到输入图像大小，得到更加清晰的物体边界；其中低层次特征为编码器中1个计算模块的输出特征，解码器先将低层次特征输入1×1卷积层，再将输出特征与上采样4倍的高层次特征拼接在一起，然后输入3×3卷积层，最后上采样4倍得到分割结果。

3.根据权利要求2所述的基于鲁棒深度语义分割网络的多源遥感影像分类方法，其特征在于：4个计算模块均使用瓶颈块残差单元，瓶颈块由1×1、3×3、1×1卷积层堆叠组成，卷积层中使用批归一化和ReLU激活函数；4个计算模块分别有3、4、23、3个瓶颈块残差单元，计算模块1残差单元中卷积层通道数为64、64、256，计算模块2残差单元中卷积层通道数为128、128、512，计算模块3残差单元中卷积层通道数为256、256、1024，计算模块4残差单元中卷积层使用空洞卷积，膨胀率分别为2、4、8，通道数为512、512、2048。

4.根据权利要求2所述的基于鲁棒深度语义分割网络的多源遥感影像分类方法，其特征在于：ASPP的4个并行的卷积层中使用批归一化和ReLU激活函数，分别为1个1×1与3个3×3卷积层，3个3×3的卷积层的扩张率分别为6、12、18，所有分支包含256个通道，其中全局池化层输出特征通过双线性上采样输出还原到对应尺寸。

5.根据权利要求1所述的一种基于鲁棒深度语义分割网络的多源遥感影像分类方法，其特征在于：步骤1中，利用输入影像及其对应的开源地物覆盖分类标签来训练深度语义分割网络，假设遥感影像原始数据为X，样本X大小为W×H，令θ为深度语义分割网络的模型参数，如式壹所示，对于观测样本X的给定i列j行像素属于类别k的预测概率为f_(i，j)(k|X；θ)；

其中，

代表深度语义分割网络的层次化映射函数；

RSRLF鲁棒损失函数如式贰，通过后向传播算法随机梯度下降优化深度语义分割网络；

L_RSRLF＝L_GCE×w_k (式贰)

其中，L_GCE为容错性损失函数，w_k为自适应类别均衡权重；

RSRLF鲁棒损失函数中容错性损失函数使用广义交叉熵损失函数GCE，表示如式叁所示：

其中，K为分类类别的数量，q∈(0，1]，e_(i，j)(k|X)表示样本X在标签上的真实分布，如果该类别与样本的类别相同，e_(i，j)(k|X)为1，否则为0；由洛必达法则可知，lim_q→0L_GCE＝L_CE，当q＝1时，GCE等价于MAE损失函数；因此GCE目标函数是CE与MAE的归一化形式，GCE损失函数的梯度如式肆所示：

其中，

为f_(i，j)(k|X；θ)是对模型参数θ的梯度；

RSRLF损失函数的梯度如式伍所示：

6.根据权利要求5所述的一种基于鲁棒深度语义分割网络的多源遥感影像分类方法，其特征在于：步骤2中，自适应类别均衡权重具体内容如下：

k类的类别均衡权重具体实现方法如式陆所示：

其中，B_k为k类占相似度高类别的比例；

其中，B_k为k类在相似度高类别中的比例，R_k为k类在开源土地覆盖分类数据集中的比例，L为k类相似度高类别数，R_i为k类相似度高类在开源土地覆盖分类数据集中的比例。

Images