CN111339862A - 一种基于通道注意力机制的遥感场景分类方法及装置 - Google Patents

Abstract

本发明公开了一种基于通道注意力机制的遥感场景分类方法及装置，属于遥感图像信息提取领域。本发明主要包括以下步骤：1.数据集预处理。将公开的场景数据集进行增强和归一化等预处理，增强网络的鲁棒性；2.建立基于通道注意力的密集连接网络。基于通道注意力的密集连接网络包括密集连接网络，通道注意力机制，和标签平滑损失函数三个部分。3.训练网络后进行精度评价。将预处理后的数据输入特征复用网络进行训练，然后利用训练完成后的网络完成对待分类的遥感场景数据的场景分类。

Description

一种基于通道注意力机制的遥感场景分类方法及装置

技术领域

本发明属于遥感图像信息提取领域，更具体地，一种基于通道注意力机制的遥感场景分类方法及装置。

背景技术

遥感场景分类是对地观测工程的基础任务之一，它对土地利用分类，城市规划等实际需求具有重要意义。在过去的几十年中，研究人员一直在努力提取各种对于遥感场景分类有效特征表示形式。从最初的基于人工设计的底层特征到基于底层特征编码的中层特征，再到基于深度学习的深层特征，用于遥感场景分类特征越来越复杂，分类效果也越来越好。

早期，遥感场景分类方法主要基于低级或手工制作的功能，着重于设计局部或整体浅层特征，例如颜色，纹理，形状，空间和光谱信息。2008年Newsam团队提出的SIFT和Gabor纹理特征相结合的遥感场景分类方法，比单个特征分类效果出色；中层特征则是尝试用图像局部特征描述算子来表示图像，比如张良培团队在2016年提出的基于视觉词袋的特征构建，将多种局部特征用视觉词袋的方法结合在了一起。

由于深度神经网络优秀的特征提取能力，近年来出现了许多利用深度特征的方法，比传统的底层特征和中层特征分类效果更好。比如，Chaib.S在2017年提出的深层特征融合网络，用深度判别模型来融合VGG网络提取的多层特征；Zhu在2018年提出了使用CaffeNet来提取图像特征，然后融合其他中低层特征。

然而，传统的深度学习方法，大多数是基于卷积神经网络提取图像特征，然后通过特征再编码以及特征融合的方法。这种模式存在如下问题：首先，传统的网络没有考虑到遥感场景数据集的多尺度地物的空间特性，同一个类别中不同图像的地物尺度可能不同；然后，每类图像中有构成场景的主要特征，比如高速公路场景中含有高速公路，汽车，草地等地物，但是它们的特征重要程度不一样；最后，遥感场景数据集类间相似性也给分类造成了难点，而普通的交叉熵损失函数只考虑到了单类的损失值，没有考虑到类间的损失。如何解决这些问题是该领域内的技术难点。

发明内容

本发明要解决的技术问题在于，针对上述的技术缺陷，提供了一种基于通道注意力机制的遥感场景分类方法及装置。

根据本发明的其中一方面，本发明为解决其技术问题，所提供的基于通道注意力机制的遥感场景分类方法包括以下步骤：

S1、数据集的预处理：将公开的遥感场景数据集进行增强和归一化预处理，提高训练时的收敛速度和鲁棒性；

S2、建立基于通道注意力的密集连接网络，包括：密集连接网络、通道注意力机制，和标签平滑的损失函数三个部分；在空间域中利用密集连接网络来提取多个尺度和交叉连接的空间特征，在特征域中采用特征注意力网络结合到密集残差网络进一步提升特征提取能力，在损失函数中，采用基于标签平滑的交叉熵损失函数，减小类间相似性带来的影响；

S3、将预处理后的遥感场景数据集输入给基于通道注意力的密集连接网络进行训练，训练完成后将待分类的遥感场景数据进行与步骤S1同样的预处理，然后将预处理后的待分类的遥感场景数据输入到训练完成的基于通道注意力的密集连接网络中，完成对待分类的遥感场景数据的场景分类。

进一步地，在本发明的基于通道注意力机制的遥感场景分类方法中，步骤S1具体为：

S11：对遥感场景数据集内图像进行数据增强，数据增强包括水平翻转和垂直翻转操作；

S12：将经过步骤S11数据增强后的图像进行归一化处理，以适配后续神经网络输入，提高训练时的收敛速度和鲁棒性。

进一步地，在本发明的基于通道注意力机制的遥感场景分类方法中，步骤S11中数据增强的具体方法为：

以每张图像的图像中心为点，首先是随机垂直翻转，其概率为50％，然后为随机水平翻转，其概率同为50％。

进一步地，在本发明的基于通道注意力机制的遥感场景分类方法中，步骤S2具体包括：

S21、在空间域中，密集连接层可以提取多个尺度和交叉连接的空间特征，密集连接网络通过多个密集连接层来提取深度特征，并通过池化操作来减小特征图的大小，从而减少计算量；密集连接层中卷积层运算的公式如下:

x_l＝T_l(x₀,x₁,x₂,...,x_l-1)；

其中，x₀,x₁,x₂,...,x_l-1是前l层的卷积层，T_l是并联操作；

S22、在特征域中，然后采用特征注意力网络结合到密集连接网络，进一步提升特征提取能力，特征注意力网络中的通道注意力模块通过把空间域压缩到一维，对特征通道赋予一个权重，在训练网络的过程中，提高重要特征的权重，降低次要特征的权重,公式如下：

U_C(i,j)＝s_c×u_C(i,j)

U_C(i,j)是变化后的c个的通道的特征值，s_c是特征注意力c个通道的权重，u_C(i,j)是原始特征c个的通道的特征值，i和j分别表示特征层的横纵坐标点；

将上述的通道注意力模块嵌入密集连接网络，在每个密集连接层之前都可以得到经过自适应调整的权重，这样可以让密集连接层更好的提取特征；

S23：在损失函数中，采用基于标签平滑的交叉熵损失函数，减小类间相似性带来的影响，基于标签平滑的交叉熵损失函数，调整了标签的权重，使得每类的标签都参与到了反向传播，公式如下：

Y＝(1-∈)×y+∈×u(I)；

Y是调整后的标签值，∈是标签平滑参数，y是调整前的标签值，u(I)是类别总数I的固定分布。

进一步地，在本发明的基于通道注意力机制的遥感场景分类方法中，步骤S21中，所述特征复用网络通过密集连接层来提取深度特征具体是指：特征复用网络通过6个、12个、38个、32个密集连接层来提取深度特征。

根据本发明的另一方面，本发明为解决其技术问题，所提供的基于通道注意力机制的遥感场景分类装置，具有处理器和存储器，所述处理器用于加载并执行所述存储器内的计算机程序，用于实现上述任一项中的基于通道注意力机制的遥感场景分类方法。

本发明的有益效果为：基于通道注意力机制的密集连接网络巧妙地将注意力机制和密集连接网络结合在一起，用于遥感场景分类，能显著提取重要特征，有效提升分类精度。具体效益如下：一是该网络轻量化而且层数深，因此对于数量小的遥感场景数据集相比于传统的神经网络更不易过拟合。二是该网络在空间域中有着强大的特征表示能力，因为密集连接的神经网络结构能有效地提取多个尺度的空间信息并融合在一起。三是为了增强重要特征的提取，该网络进一步在通道域上做了提升，采用了通道注意力机制提升重要信息的权重，降低无用信息的权重。四是该网络采用了一个改进后的损失函数，基于标签平滑的交叉熵损失函数被用于反向传播。该损失函数能考虑不同类别的关系，能减小类间相似性的影响。该网络在三个公共数据集上进行了评估。实验结果表明，与其他方法相比，该网络可以实现更好的遥感场景分类效果。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明的基于通道注意力机制的遥感场景分类方法一实施例的流程图；

图2是密集连接层的示意图；

图3是基于通道注意力的密集连接网络中密集连接网络的示意图；

图4是基于通道注意力的密集连接网络中通道注意力模块的示意图；

图5是基于通道注意力的密集连接网络总体架构示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

参考图1，图1是本发明的基于通道注意力机制的遥感场景分类方法一实施例的流程图。本实施例所提供的基于通道注意力机制的遥感场景分类方法包括以下步骤：

S1、数据集的预处理：将公开的遥感场景数据集进行增强和归一化预处理，提高训练时的收敛速度和鲁棒性。具体包含如下步骤：

S11：对遥感场景数据集内图像进行数据增强，数据增强包括水平翻转和垂直翻转操作。以每张图像的图像中心为点，首先是随机垂直翻转，其概率为50％，然后为随机水平翻转，其概率同为50％。

S12：为了适配后续网络输入，将经过步骤S11数据增强后的图像进行归一化处理，归一化在0-1之间是统计的概率分布，以适配后续神经网络输入，提高训练时的收敛速度和鲁棒性。

S2、建立基于通道注意力的密集连接网络，包括：密集连接网络、通道注意力机制，和标签平滑的损失函数三个部分；在空间域中利用密集连接网络来提取多个尺度和交叉连接的空间特征，在特征域中采用特征注意力网络结合到密集残差网络进一步提升特征提取能力，在损失函数中，采用基于标签平滑的交叉熵损失函数，减小类间相似性带来的影响。

步骤2具体包含如下步骤：

S21、在空间域中，密集连接层可以提取多个尺度和交叉连接的空间特征，密集连接层具体可参考图2。密集连接网络(具体可参考图3)通过6个、12个、38个、32个密集连接层来提取深度特征，并通过池化操作来减小特征图的大小，从而减少计算量。密集连接层中卷积层运算的公式如下:

x_l＝T_l(x₀,x₁,x₂,...,x_l-1)；

其中，x₀,x₁,x₂,...,x_l-1是前l层的卷积层，T_l是并联操作；

S22、如图4所示，在特征域中，然后采用特征注意力网络结合到密集连接网络，进一步提升特征提取能力。特征注意力网络中的通道注意力模块通过把空间域压缩到一维，对特征通道赋予一个权重，在训练网络的过程中，提高重要特征的权重，降低次要特征的权重,公式如下：

U_C(i,j)＝s_c×u_C(i,j)

U_C(i,j)是变化后的c个的通道的特征值，s_c是特征注意力c个通道的权重，uC(i,j)是原始特征c个的通道的特征值，i和j分别表示特征层的横纵坐标点；

如图5所示，将上述的通道注意力模块嵌入密集连接网络，在每个密集连接层之前都可以得到经过自适应调整的权重，这样可以让密集连接层更好的提取特征；

S23：在损失函数中，采用基于标签平滑的交叉熵损失函数，减小类间相似性带来的影响，基于标签平滑的交叉熵损失函数，调整了标签的权重，使得每类的标签都参与到了反向传播，公式如下：

Y＝(1-∈)×y+∈×u(I)；

Y是调整后的标签值，∈是标签平滑参数，y是调整前的标签值，u(I)是类别总数I的固定分布。

S3、将预处理后的遥感场景数据集输入给基于通道注意力的密集连接网络进行训练，训练完成后将待分类的遥感场景数据进行与步骤S1同样的预处理，然后将预处理后的待分类的遥感场景数据输入到训练完成的基于通道注意力的密集连接网络中，完成对待分类的遥感场景数据的场景分类。

为了进一步说明本发明的优势，本发明以UCM,AID,NWPU45这三个公开的数据集作为遥感场景数据集进行处理，并使用这三个公开数据集对本发明的网络进行精度评价和结果评估。

基于通道注意力的密集连接网络与其他网络在三个数据集UCM,AID,NWPU45的分类结果分别如表1，表2，表3所示。从表中可知，采用基于通道注意力的密集连接网络时，分类结果比其他网络的精度都要高。其中CaffeNet和VGG-16优于GoogLeNet，但是在自然场景中GoogLeNet的性能是这三个网络中最好的。由于GoogLeNet是一个更深入，更广泛的网络，因此更容易学习一些更详细的功能。如果未通过重新训练对其进行微调，则会提取自然场景的许多详细特征进行分类。因此，在遥感场景分类中，GoogLeNet无法提供传统网络(例如CaffeNet和VGG-16)的效果。但是，经过微调的GoogLeNet展示了更深更广的网络强大的功能提取功能，并获得了更好的性能。此外，我们提出的方法比这些网络更深，并且更容易受到梯度消失问题的影响。但是，该网络却显示出最佳的性能，体现了密集连接层和通道注意力模块的先进性。结果表明本发明提出的通道注意力的密集连接网络能够提升遥感场景分类的分类精度。

表1在UCM数据集上精度评价对比

表2在AID数据集上精度评价对比

表3在NWPU45数据集上精度评价对比

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (6)

1.一种基于通道注意力机制的遥感场景分类方法，其特征在于，包括以下步骤：

S1、数据集的预处理：将公开的遥感场景数据集进行增强和归一化预处理，提高训练时的收敛速度和鲁棒性；

S2、建立基于通道注意力的密集连接网络，包括：密集连接网络、通道注意力机制，和标签平滑的损失函数三个部分；在空间域中利用密集连接网络来提取多个尺度和交叉连接的空间特征，在特征域中采用特征注意力网络结合到密集残差网络进一步提升特征提取能力，在损失函数中，采用基于标签平滑的交叉熵损失函数，减小类间相似性带来的影响；

S3、将预处理后的遥感场景数据集输入给基于通道注意力的密集连接网络进行训练，训练完成后将待分类的遥感场景数据进行与步骤S1同样的预处理，然后将预处理后的待分类的遥感场景数据输入到训练完成的基于通道注意力的密集连接网络中，完成对待分类的遥感场景数据的场景分类。

2.根据权利要求1所述的基于通道注意力机制的遥感场景分类方法，其特征在于，步骤S1具体为：

S11：对遥感场景数据集内图像进行数据增强，数据增强包括水平翻转和垂直翻转操作；

S12：将经过步骤S11数据增强后的图像进行归一化处理，以适配后续神经网络输入，提高训练时的收敛速度和鲁棒性。

3.根据权利要求2所述的基于通道注意力机制的遥感场景分类方法，其特征在于，步骤S11中数据增强的具体方法为：

以每张图像的图像中心为点，首先是随机垂直翻转，其概率为50％，然后为随机水平翻转，其概率同为50％。

4.根据权利要求1所述的基于通道注意力机制的遥感场景分类方法，其特征在于，步骤S2具体包括：

S21、在空间域中，密集连接层可以提取多个尺度和交叉连接的空间特征，密集连接网络通过多个密集连接层来提取深度特征，并通过池化操作来减小特征图的大小，从而减少计算量；密集连接层中卷积层运算的公式如下:

x_l＝T_l(x₀,x₁,x₂,...,x_l-1)；

其中，x₀,x₁,x₂,...,x_l-1是前l层的卷积层，T_l是并联操作；

S22、在特征域中，然后采用特征注意力网络结合到密集连接网络，进一步提升特征提取能力，特征注意力网络中的通道注意力模块通过把空间域压缩到一维，对特征通道赋予一个权重，在训练网络的过程中，提高重要特征的权重，降低次要特征的权重,公式如下：

U_C(i,j)＝s_c×u_C(i,j)

U_C(i,j)是变化后的c个的通道的特征值，s_c是特征注意力c个通道的权重，u_C(i,j)是原始特征c个的通道的特征值，i和j分别表示特征层的横纵坐标点；

将上述的通道注意力模块嵌入密集连接网络，在每个密集连接层之前都可以得到经过自适应调整的权重，这样可以让密集连接层更好的提取特征；

S23：在损失函数中，采用基于标签平滑的交叉熵损失函数，减小类间相似性带来的影响，基于标签平滑的交叉熵损失函数，调整了标签的权重，使得每类的标签都参与到了反向传播，公式如下：

Y＝(1-∈)×y+∈×u(I)；

Y是调整后的标签值，∈是标签平滑参数，y是调整前的标签值，u(I)是类别总数I的固定分布。

5.根据权利要求4所述的基于通道注意力机制的遥感场景分类方法，其特征在于，步骤S21中，所述密集连接网络通过多个密集连接层来提取深度特征具体是指：密集连接网络通过6个、12个、38个、32个密集连接层来提取深度特征。

6.一种基于通道注意力机制的遥感场景分类装置，具有处理器和存储器，其特征在于，所述处理器用于加载并执行所述存储器内的计算机程序，用于实现如权利要求1-5任一项所述的基于通道注意力机制的遥感场景分类方法。

Images