CN113298817A - 一种准确率高的遥感图像语义分割方法 - Google Patents

Abstract

本发明公开一种准确率高的遥感图像语义分割方法，该方法基于密集特征提取设计Dens‑inception模块以减小网络结构参数，通过浅层连接RFB多尺度模块来加强上下文信息的连接，提取浅层特征与解码器进行特征融合；在编码器中引入伴随损失神经网络，通过训练模型与最终层的损失自适应的调节模型的参数，使模型具有更好的分割性能；本发明能提高语义分割的准确率。

Description

一种准确率高的遥感图像语义分割方法

技术领域

本发明涉及一种准确率高的遥感图像语义分割方法，属于遥感图像语义分割技术领域。

背景技术

性能良好的语义分割模型对于遥感图像的实际运用至关重要。遥感图像与普通光学图像相比，样本存在类间分布不均衡和物体大小比例失衡的问题。因此，需要根据RSI的特点建立语义分割模型进行像素级分类识别。

目前，大部分基于主流网络的语义分割模型从物体尺度和超像素角度解决以上问题，但是准确率仍有待提高。

即：现需要一种遥感图像语义分割方法，能提高语义分割的准确率。

发明内容

本发明要解决的技术问题是提供一种准确率高的遥感图像语义分割方法，能提高语义分割的准确率；可以克服现有技术的不足。

本发明的技术方案是：一种准确率高的遥感图像语义分割方法，该方法基于密集特征提取设计Dens-inception模块以减小网络结构参数，通过浅层连接RFB多尺度模块来加强上下文信息的连接，提取浅层特征与解码器进行特征融合；在编码器中引入伴随损失神经网络，通过训练模型与最终层的损失自适应的调节模型的参数，使模型具有更好的分割性能。

该方法包括在编码器上设有Dens-Inception模块、Reduction模块、浅层连接RFB多尺度模块；在解码器上设有上采样卷积模块，在编码器与解码器之间设有伴随损失神经网络；

Dens-Inception模块：为多个，连接在原有的stem模块后，使用两个并行且有不同膨胀率的空洞卷积，得到的特征图与之前1×1卷积层进行级联操作，在依次相连的Dens-Inception模块中，所述膨胀率随着特征图尺寸大小的减小而减小；

Reduction模块：用于在每个Dens-Inception模块之间，将特征图尺寸缩小，同时减少通道数；

浅层连接RFB多尺度模块：负责将浅层特征图中的位置信息进行多尺度提取，扩大的感受野可以更好地结合上下文，连接编码器和解码器，最后建立解码模块；

上采样卷积模块：将编码器提取到的高级语义信息恢复至原始图像大小；

伴随损失神经网络:用于解决网络隐藏层过深引起的梯度消失和冗余特征问题，其在Dens-Inception模块中引入与最终损失函数一致的方法作为该网络的伴随损失函数。

在每一个Dens-Inception模块后设有突出特征用的注意力机制模块。

所述注意力模块中，Global Average Pooling(GAP)被应用于特征图x，即可得到一维矢量，随后经过一个MLP网络，特征图转化为一个收缩参数，在注意力模块的最后，连接着一个Sigmiod函数，为了将最终的缩放参数的数值范围框定在(0，1)之间；将最终的缩放参数与特征图进行相乘，重要的通道被突出表达，从而得到最后的生成特征图。

所述浅层连接RFB多尺度模块由多个并行的分支组成，由不同大小和不同膨胀率的卷积核堆叠而成，方便网络进一步提取更多的空间特征上下文信息；通过浅层连接RFB多尺度模块与Dens-Inception的两个浅层模块连接，用以弥补深层网络提取的特征图空间信息的不足。

在浅层连接RFB多尺度模块后设有调节特征图大小用的Global AveragePooling。

上采样卷积模块包括第一个解码器模块和中间两个解码器模块及最后一个解码器模块；第一个解码器模块用于输入为编码器的最后一层；中间两个解码器模块与编码器下采样的模块一一对应形成对称结构，每一层的输入由上一层的输出及对应编码器层通过浅层连接RFB多尺度模块提取到的多尺度特征构成；最后一个解码器模块使用两个上采样层。

所述伴随损失神经网络中，使用softmax作为分类，softmax与the NegativeLogarithmic Likelihood Loss Function(NLLLoss)目标函数共同作为伴随损失函数，最终的损失函数如下所示：

其中，L代表损失函数的总数，α为不同损失函数的权重系数，所有的损失函数通过线性相加得到最终的总损失，网络在训练过程中通过反向传播，自适应的学习不同损失函数的权重，调节伴随损失函数的系数。

与现有技术比较，本发明准确率高的遥感图像语义分割方法，具有一下优点：

(1)与基于原有Inception block结构相比，本文提出的网络结构参数为原有的四分之一，网络在ISPRS Vaihingen data set上有较高的mean intersection over union(mIoU)scores，可以灵活应用于其他语义分割网络

(2)使用RFB模块作为浅层特征提取的方法，与上采样步骤进行特征融合，作为解码器的一部分，使用RFB模块在测试数据集上进一步提升了图像分割的准确率。

(3)在网络的中间层引入伴随损失函数，利用神经网络的反向传播，自适应地调节最终层和中间层多个损失函数的权重，汇集形成总的损失函数，提高神经网络隐藏层的透明度，共同监督神经网络提取更具有识别性的特征图。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1是本发明是具体Dens-Inception单元结构示意图。

图2是本发明的是Dens-Inception模块的示意图。

图3是本发明的浅层连接RFB多尺度模块连接结构示意图。

图4是本发明的模型的整体框架图。

图5是图4的编码器部分的结构示意图。

图6是图4的解码器部分的结构示意图。

图7是5种主流模型和我们提出的方法在Vaihingen Dataset上的分割效果图。

具体实施方式

以下将参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

实施例1.

针对目前方法在提取不规则物体边界不准确的问题，特别是小样本物体情况下，本文提出使用Inception-ResNet和DenseNet的变体Dens-Inception作为编码器，通过下采样进行特征提取，在此过程中引入通道注意力机制。

随后将Receptive Field Block(RFB)提取到的特征与上采样进行特征融合作为网络的解码器，通过对深层语义特征图不断上采样恢复至图形原始尺寸大小。采用中间层的伴随损失函数，自适应地与最终层损失函数相结合。因此，本节将详细介绍网络的基本思想、关键组件及其总体架构。

A.编码器

1)Dens-Inception模块

我们结合DensNet网络使用特征密集身份映射的思想，设计了Dens-Inception模块，图1是其具体的模块结构，连接在原有的stem模块后。具体而言，在1×1卷积层后，使用两个并行且有不同膨胀率的空洞卷积，得到的特征图与之前1×1卷积层进行级联操作。在本文中我们的3个Dens-Inception使用膨胀率随着特征图尺寸大小的减小而减小，分别是4、3、2。在每个Dens-Inception模块之间我们使用Reduction模块将特征图尺寸缩小，同时也减少通道数。此外，训练时，我们使用了的可分离卷积[2]，将Group设置为16。由于遥感图像数据量大，需要采用深层特征提取网络作为编码器主干部分，使之可以提取更多抽象的高级特征。

如图1 Dens-Inception细节图，与DensNet相比增加了一个空洞卷积，膨胀率随着特征图的减小而减小。

图2是Dens-Inception模块的示意图，通过密集卷积不断累加特征图。

2)注意力机制模块

每个Dens-Inception block最后输出时，由于之前所有层的密集短连接汇聚于最后一层，因此存在层数激增的问题，而大量通道意味着存在冗余的干扰特征，为了抑制网络非重要信息通道的干扰，显示网络重要特征通道的表达，针对这一问题，我们添加了注意力机制Squeeze-and-Excitation(SE)模块[3]。在注意力模块中，Global Average Pooling(GAP)被应用于特征图x，即可得到一维矢量，随后经过一个MLP网络，特征图转化为一个收缩参数。在注意力模块的最后，连接着一个Sigmiod函数，为了将最终的缩放参数的数值范围框定在(0，1)之间。将最终的缩放参数与特征图进行相乘，重要的通道被突出表达，从而得到最后的生成特征图。

这是一个通道注意力的模块的流程，在三个Dens-Inception模块后分别接入注意力机制，加强主干网络重要特征表达，进一步提升编码器提取特征的表达效果。

B.解码器

1)浅层连接RFB多尺度模块模块与上采样

浅层连接RFB多尺度模块模块是由多个并行的分支组成，由不同大小和不同膨胀率的卷积核堆叠而成，主要是负责模拟人类视觉系统中population Receptive Field(pRF)[4]，方便网络进一步提取更多的空间特征上下文信息。图3展示了浅层连接RFB多尺度模块多尺度级联后，相比ASPP模块可以更好地对特征图进行覆盖提取特征。遥感图像语义分割要求特征图包含高级特征的同时具有足够的空间位置信息，能够准确预测每个像素的所属分类，在本文中，我们将浅层连接RFB多尺度模块与Dens-Inception的两个浅层模块连接，用以弥补深层网络提取的特征图空间信息的不足。在浅层连接RFB多尺度模块-A中输入的特征图大小为35×35，为了与解码器的特征图相匹配，我们在空洞卷积之后添加了Global Average Pooling，使得输出的特征图大小为32×32，与此相类似，在浅层连接RFB多尺度模块-B中，特征图大小由17×17变为16×16。

图3为浅层连接RFB多尺度模块图示，不同的颜色代表不同大小的卷积核，红点代表膨胀率分别为2，3，5时空洞卷积作用区域。

为了将编码器提取到的高级语义信息恢复至原始图像大小，我们共使用了4个简易的上采样卷积模块，前三个解码器模块中，每个模块包含一个双线性插值的上采样层和两个卷积层，最后一个模块使用两个的上采样层。第一个解码器模块的输入为编码器的最后一层。中间两个解码器模块与编码器下采样的模块一一对应形成对称结构，每一层的输入由来自上一层的输出，以及对应编码器层通过浅层连接RFB多尺度模块模块提取到的多尺度特征构成。最后一层的上采样的输入为上一层的输出，通过两个上采样和两个卷积层输出分类后的图。

至此，我们建造了由编码器和解码器组成的提取深层特征的语义分割网络。该网络的编码器部分，通过下采样和多尺度特征提取模块，可以获得高级复杂的语义特征，网络的解码器部分通过上采样和特征融合模块，使得特征图包含更多图像空间位置信息，并恢复至原始图像大小。

2)伴随损失

针对遥感图像中类间分布不均匀，小样本物体难以准确预测的问题，我们考虑引入伴随损失。伴随损失主要目的是为了解决网络隐藏层过深引起的梯度消失和冗余特征问题，仅通过最终层输出对训练过程观察有限，通过引入伴随损失可有效的提升网络的精度。为了加强Dens-Inception网络隐藏层的透明性，综合网络计算开销的因素，我们在Reduction-B模块处引入与最终损失函数一致的方法作为该网络的伴随损失函数。具体而言，考虑到Reduction-B模块的特征图输出大小与原始输入图像不一致，我们分别将获得的特征图使用双线性插值恢复至原始图像大小后，使用softmax作为分类与the NegativeLogarithmic Likelihood Loss Function(NLLLoss)目标函数共同作为伴随损失函数。最终的损失函数如下所示：

其中，L代表损失函数的总数，α为不同损失函数的权重系数，所有的损失函数通过线性相加得到最终的总损失。网络在训练过程中通过反向传播，自适应的学习不同损失函数的权重，调节伴随损失函数的系数。至此，获得了网络的总损失函数；图4、图5及图6为展示了网络的总体框架图或部分结构示意图。

与传统的Inception-ResNet网络相比，作为编码器部分，基于空洞卷积的Dens-Inception网络在其基础上进行了改进，使网络同时加深了宽度和深度方面，提高了训练质量，同时参数大幅降低。在Dens-Inception net(D-INet)的基础上，引入注意力机制获得更感兴趣的通道。为获取更多的上下文语义信息，将浅层连接RFB多尺度模块模块嵌入主干网中，浅层连接RFB多尺度模块模块负责将浅层特征图中的位置信息进行多尺度提取，扩大的感受野可以更好地结合上下文，连接编码器和解码器，最后建立解码模块。此外，通过引入伴随损失，可以很好地监督深层网络的隐藏层信息，进一步提高语义分割网络的准确性和有效性。为验证模型良好分割效果，我们的实验将在ISPRS 2D Semantic LabelingContest Vaihingen上开展。

3.实验及分析

A.1)数据集

Vaihingen Dataset：是由国际摄影测量及遥感探测学会(ISPRS)组织发布的具有语义标注的高分辨率航空图像数据集，该数据集包含33幅大小不一的城镇场景遥感图像，每个图像都是从正射影像中提取出来的，与之对应的有33幅语义标签图像(The data setcontains 33patches(of different sizes)，每一张图片都来自正射影像(TOP))。图像由不同的通道组成，分别有IRRG(IR-R-G，3通道)、RGB(R-G-B，3通道)和RGBIR(R-G-B-IR，4通道)三种图像格式。数据集标签分为六类，包括Impervious surfaces、Building、Lowvegetation、Tree、Car和Clutter/background。有必要说明的是，我们仅使用顶部IRRG图像进行实验，随机挑选6张原始patch作为测试集，2张作为验证集，其余的为训练集。

与自然图像分类数据集相比，遥感图像数据集较小，因此我们对数据集进行扩充。在本节中，Vaihingen Dataset按照最小尺寸300对图像进行必要的切割，随后进行数据扩充，将图像进行上下翻转，左右翻转以及逆时针旋转90度，Vaihingen Dataset共得到训练集10102张、测试集2690张、验证集673张符合要求的图像。

2)参数设置

在本论文中我们对实验参数设置进行说明，为了训练，我们的模型训练200个EPOCH，批量大小为16，使用自适应学习率算法Adam训练我们的模型，学习率设置为0.0005，动量系数根据[5]设置为0.9，以此来加速模型收敛。此外，使用惩罚项系数为0.0001的L2正则化以降低过度拟合，达到提高精度的效果。该神经网络模型部署在NVIDIA Tesla V100(32GBRAM)服务器上，采用CUDA10.0。训练后，选取评价指标最优的模型进行测试。

B.评价指标

为了公平客观的定量评估我们提出的网络模型分割性能，我们使用公认的语义分割评价指标：平均交并集mIoU、总体类别准确度OA、Precision、Recall和F1-score。采用以上各项指标来进行综合评价对比。各评价指标公式如下：

其中，TP意思True Positive，代表预测结果为正样本，真实标签为正样本；FPmeans False Positive，代表预测结果为正样本，真实标签为负样本；FN意思FalseNegative，代表预测结果为负样本，真实标签为正样本；TN意思True Negative，代表预测结果为负样本，真实标签也为负样本。k+1是总体类别个数(包含背景)。

C.实验结构及分析

在本节中，我们分别报告了提出的模型与主流模型在Vaihingen Dataset上的对比结果。经过实验证明，我们的模型有较好的表现。

1)在Vaihingen Dataset上的实验数据比较

我们在公开数据集ISPRS发布的Vaihingen航空影像标注数据集上测试了我们的模型。本项工作提出的方法获得较好的性能。图4展示了我们在验证数据集上随机挑选的5张效果图做进一步分析。通过与主流网络对比观察后发现，本文方法对不同对象进行语义分割时，分割错误区域较少，更接近真实值，尤其是对于小物体和数据量较少样本的分割。由于测试集上需要同时计算多项评估指标，验证集只需要使用训练好的模型对图像进行分割，因此我们使用验证集的执行时间来观察模型的实施效率。我们的模型对于每张图片的预测执行时间是0.150s，与其他模型的预测时间相当。可以满足现阶段遥感图像实际应用的需求。

图7上图是5种主流模型和我们提出的方法在Vaihingen Dataset上的分割效果图，其中第一行是输入图片，第二行是Ground Truth的原始标签。可以看出我们的方法比其他几种主流分割方法效果更接近Ground Truth。

上图表明我们的方法可以有效地区分树木和灌木丛，对边界分割能够较好的预测，同时对于建筑物和小目标车辆的预测误判较少。通过以上对比，我们提出的方法能够提高遥感图像语义分割的性能。

4.结论

在本工作中，我们使用Dens-inception构造了编码器，并设计了一个由四个模块组成的简单解码器。在解码器上采样的期间，利用浅层连接RFB多尺度模块模块提取浅层语义特征图，并与高层语义特征图相结合，补充浅层-低层的详细信息。同时研究了伴随损失对提高网络准确率的影响，它通过与最终层的损失同时作用，加强网络表达的准确度。我们先后在Vaihingen DataSet数据集上验证了我们的想法，结果显示我们的方法具有较好的分割性能。而且我们的网络与轻量级网络相比，仍然存在参数量和计算复杂度较大的问题，这将是我们后续的研究内容。

上文，各个英文代表的中文含义如下：

Dens-inception模块-密集单元模块；stem模块-初始模块

；Global Average Pooling(GAP)-全局平均池化；MLP网络-多层感知器网络；Softmax-Softmax-逻辑回归模型；he Negative Logarithmic Likelihood Loss Function(NLLLoss)-对数似然损失函数

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种准确率高的遥感图像语义分割方法，其特征在于：该方法基于密集特征提取设计Dens-inception模块以减小网络结构参数，通过浅层连接RFB多尺度模块来加强上下文信息的连接，提取浅层特征与解码器进行特征融合；在编码器中引入伴随损失神经网络，通过训练模型与最终层的损失自适应的调节模型的参数，使模型具有更好的分割性能。

2.根据权利要求1所述的准确率高的遥感图像语义分割方法，其特征在于：该方法包括在编码器上设有Dens-Inception模块、Reduction模块、浅层连接RFB多尺度模块；在解码器上设有上采样卷积模块，在编码器与解码器之间设有伴随损失神经网络；

Dens-Inception模块：为多个，连接在原有的stem模块后，使用两个并行且有不同膨胀率的空洞卷积，得到的特征图与之前1×1卷积层进行级联操作，在依次相连的Dens-Inception模块中，所述膨胀率随着特征图尺寸大小的减小而减小；

Reduction模块：用于在每个Dens-Inception模块之间，将特征图尺寸缩小，同时减少通道数；

浅层连接RFB多尺度模块：负责将浅层特征图中的位置信息进行多尺度提取，扩大的感受野可以更好地结合上下文，连接编码器和解码器，最后建立解码模块；

上采样卷积模块：将编码器提取到的高级语义信息恢复至原始图像大小；

伴随损失神经网络:用于解决网络隐藏层过深引起的梯度消失和冗余特征问题，其在Dens-Inception模块中引入与最终损失函数一致的方法作为该网络的伴随损失函数。

3.根据权利要求1或2任意一项所述的准确率高的遥感图像语义分割方法，其特征在于：在每一个Dens-Inception模块后设有突出特征用的注意力机制模块。

4.根据权利要求2所述的准确率高的遥感图像语义分割方法，其特征在于：所述注意力模块中，Global Average Pooling(GAP)被应用于特征图χ,即可得到一维矢量，随后经过一个MLP网络，特征图转化为一个收缩参数，在注意力模块的最后，连接着一个Sigmiod函数，为了将最终的缩放参数的数值范围框定在(0,1)之间；将最终的缩放参数与特征图进行相乘，重要的通道被突出表达，从而得到最后的生成特征图。

5.根据权利要求2所述的准确率高的遥感图像语义分割方法，其特征在于：所述浅层连接RFB多尺度模块由多个并行的分支组成，由不同大小和不同膨胀率的卷积核堆叠而成，方便网络进一步提取更多的空间特征上下文信息；通过浅层连接RFB多尺度模块与Dens-Inception的两个浅层模块连接，用以弥补深层网络提取的特征图空间信息的不足。

6.根据权利要求5所述的准确率高的遥感图像语义分割方法，其特征在于：在浅层连接RFB多尺度模块后设有调节特征图大小用的Global Average Pooling。

7.根据权利要求1所述的准确率高的遥感图像语义分割方法，其特征在于：上采样卷积模块包括第一个解码器模块和中间两个解码器模块及最后一个解码器模块；第一个解码器模块用于输入为编码器的最后一层；中间两个解码器模块与编码器下采样的模块一一对应形成对称结构，每一层的输入由上一层的输出及对应编码器层通过浅层连接RFB多尺度模块提取到的多尺度特征构成；最后一个解码器模块使用两个上采样层。

8.根据权利要求1所述的准确率高的遥感图像语义分割方法，其特征在于：所述伴随损失神经网络中，使用softmax作为分类，softmax与the Negative Logarithmic LikelihoodLoss Function(NLLLoss)目标函数共同作为伴随损失函数，最终的损失函数如下所示：

其中，L代表损失函数的总数，α为不同损失函数的权重系数，所有的损失函数通过线性相加得到最终的总损失，网络在训练过程中通过反向传播，自适应的学习不同损失函数的权重，调节伴随损失函数的系数。

Images