CN114092833B - 遥感图像分类方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种遥感图像分类方法、装置、计算机设备和存储介质。所述方法获取遥感图像，并对遥感图像进行标注，得到训练样本；将训练样本输入到预设的输入网络中进行特征提取，并将提取到的特征输入CAT模块中经过通道切分处理后，其中一部分特征信息通过Transformer结构进行全局特征提取，另一部分特征信息则通过CNN结构和1×1点卷积操作进行局部特征提取，并将提取的全局特征和局部特征进行通道拼接，实现并行通道下的多特征提取，最后利用分类器输出分类结果。本方法在计算量与参数量大大低于经典网络的同时，准确率也较高。

Description

遥感图像分类方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种遥感图像分类方法、装置、计算机设备和存储介质。

背景技术

在目前的遥感图像分类过程中, 其分类结果由于遥感图像本身空间分辨率的限制以及同物异谱、异物同谱现象的存在，往往出现较多的错分、漏分现象，导致分类精度不高。现阶段，卷积神经网络（CNN）在一些困难的计算机视觉任务上也能表现十分卓越，然而这些网络在空间上是局部建模的，较强的细节捕捉能力使得它的全局建模能力较弱，对于全局表征信息的学习欠佳，所以如何使CV模型同时捕获全局特征和局部特征逐渐成为研究热点。Transformer的动态注意力机制、全局建模能力很好的弥补了CNN全局建模能力较弱的问题，相反，视觉信号具有很强的2D结构信息，并且与局部特征具有很强的相关性，在CV领域，二者各有优势。传统遥感图像分类模型的参数量比较大，准确率也比较低。

发明内容

基于此，有必要针对上述技术问题，提供一种同时具备全局建模能力和局部建模能力的遥感图像分类方法、装置、计算机设备和存储介质。

一种遥感图像分类方法，所述方法包括：

获取遥感图像，并对所述遥感图像进行标注，得到训练样本。

将所述训练样本输入到预设的输入网络中，得到卷积池化特征；所述预设的输入网络包括：多个不同尺度的卷积层和最大池化层。

将所述卷积池化特征输入到预设的特征提取主干网络中，经过三个连续的CAT 模块进行多尺度的特征提取，得到多尺度特征；所述预设的特征提取主干网络包括三个CAT模块，所述CAT模块用于对输入的特征按照预设比例进行通道切分，将切分后的第一特征采用若干个连续的瓶颈残差模块和点卷积层进行局部特征提取，将切分后的第二特征采用若干个连续的Swin Transformer模块进行全局特征提取，并将提取到的局部特征和全局特征进行通道拼接。

将所述多尺度特征输入到预设的分类器中，得到遥感图像分类结果。

在其中一个实施例中，所述预设的输入网络中卷积层的数量为3，卷积核分别为：

；将所述训练样本输入到预设的输入网络中，得到卷积池化特征，包括：

将所述训练样本输入到卷积核为

的卷积层中，并将得到卷积特征输入到最大池化层，得到第一卷积池化特征。

将所述第一卷积池化特征输入到卷积核为

的卷积层中，并将得到的输出输入到卷积核为

的卷积层中，得到卷积池化特征。

在其中一个实施例中，所述CAT模块包括通道切分模块、由若干个连续的瓶颈残差模块和1个点卷积层组成的卷积神经网络支路、由分片嵌入层和若干个连续的SwinTransformer模块组成的Transformer支路、通道拼接模块；多尺度特征包括：浅层全局与局部特征、中层全局与局部特征和深层全局与局部特征；将所述卷积池化特征输入到预设的特征提取主干网络中，经过三个连续的CAT 模块进行多尺度的特征提取，得到多尺度特征，包括：

将所述卷积池化特征输入到第一个CAT 模块的通道切分模块中，采用预设比例进行切分，得到第一组特征和第二组特征。

将所述第一组特征输入到第一个CAT 模块的卷积神经网络支路中，得到浅层局部特征；将所述第二组特征输入到第一个CAT 模块的Transformer支路中，得到浅层全局特征。

将所述浅层局部特征和所述浅层全局特征输入到第一个CAT 模块的通道拼接模块中，得到浅层全局与局部特征。

将所述浅层全局与局部特征输入到第二个CAT 模块的输入，得到中层全局与局部特征。

将所述中层全局与局部特征输入到第三个CAT 模块的输入，得到深层全局与局部特征。

在其中一个实施例中，预设的分类器包括预设的主分类器、预设的浅层辅助分类器、预设的中层辅助分类器。

将所述多尺度特征输入到预设的分类器中，得到遥感图像分类结果，包括：

将所述浅层全局与局部特征输入到预设的浅层辅助分类器中，得到浅层辅助分类结果。

将所述中层全局与局部特征输入到预设的中层辅助分类器中，得到中层辅助分类结果。

将所述深层全局与局部特征输入到预设的主分类器中，得到主分类结果。

将所述浅层辅助分类结果、所述中层辅助分类结果以及所述主分类结果进行加权平均后，得到遥感图像的分类结果。

在其中一个实施例中，将所述浅层全局与局部特征输入到预设的浅层辅助分类器中，得到浅层辅助分类结果，步骤中预设的浅层辅助分类器由平均池化层、点卷积层、卷积核为3×3的卷积层以及两个全连接层组成。

在其中一个实施例中，将所述中层全局与局部特征输入到预设的中层辅助分类器中，得到中层辅助分类结果，步骤中预设的中层辅助分类器由平均池化层、点卷积层以及两个全连接层组成。

在其中一个实施例中，将所述深层全局与局部特征输入到预设的主分类器中，得到主分类结果，步骤中所述预设的主分类器由平均池化层和1个全连接层组成。

一种遥感图像分类装置，所述装置包括：

样本获取模块，用于获取遥感图像，并对所述遥感图像进行标注，得到训练样本。

输入网络训练模块，用于将所述训练样本输入到预设的输入网络中，得到卷积池化特征；所述预设的输入网络包括：多个不同尺度的卷积层和最大池化层。

特征提取主干网络训练模块，用于将所述卷积池化特征输入到预设的特征提取主干网络中，经过三个连续的CAT 模块进行多尺度的特征提取，得到多尺度特征；所述预设的特征提取主干网络包括三个CAT模块，所述CAT模块用于对输入的特征按照预设比例进行通道切分，将切分后的第一特征采用若干个连续的瓶颈残差模块和点卷积层进行局部特征提取，将切分后的第二特征采用若干个连续的Swin Transformer模块进行全局特征提取，并将提取到的局部特征和全局特征进行通道拼接。

分类结果确定模块，用于将所述多尺度特征输入到预设的分类器中，得到遥感图像分类结果。

上述遥感图像分类方法、装置、计算机设备和存储介质，获取遥感图像，并对遥感图像进行标注，得到训练样本；将训练样本输入到预设的输入网络中进行特征提取，并将提取到的特征输入CAT模块中经过通道切分处理后，其中一部分特征信息通过Transformer结构进行全局特征提取，另一部分特征信息则通过CNN结构和1×1点卷积操作进行局部特征提取，并将提取的全局特征和局部特征进行通道拼接，实现并行通道下的多特征提取，最后利用分类器输出分类结果。本方法在计算量与参数量大大低于经典网络的同时，准确率也较高。

附图说明

图1为一个实施例中遥感图像分类方法的流程示意图；

图2为另一个实施例中CAT模块的结构图示意图；

图3为另一个实施例中遥感图像分类网络模型组成框图；

图4为另一个实施例中辅助分类步骤的流程示意图；

图5为另一个实施例中增加辅助分类器后的遥感图像分类网络模型结构示意图；

图6为另一个实施例中辅助分类器结构，其中（a）为预设的浅层辅助分类器，（b）为预设的中层辅助分类器；

图7为一个实施例中遥感图像分类装置的结构框图；

图8为一个实施例中计算机设备的内部结构图；

图9为一个实施例中数据集样本示意图，其中（a）为草地遥感图像，（b）为田地遥感图像，（c）为工业区域遥感图像，（d）为河流湖泊遥感图像，（e）为森林遥感图像，（f）为居民区遥感图像，（g）为停车场遥感图像。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

遥感图像分类网络模型：英文简称FT-CATNet，是基于CNN和Transformer特征并用的遥感图像分类网络模型。

在一个实施例中，如图1所示，提供了一种遥感图像分类方法，该方法包括以下步骤：

步骤100：获取遥感图像，并对遥感图像进行标注，得到训练样本。

具体的，遥感图像可以为：草地遥感图像、田地遥感图像、工业区域遥感图像、河流湖泊遥感图像、森林遥感图像、居民区遥感图像、停车场遥感图像。

步骤102：将训练样本输入到预设的输入网络中，得到卷积池化特征；预设的输入网络包括：多个不同尺度的卷积层和最大池化层。

步骤104：将卷积池化特征输入到预设的特征提取主干网络中，经过三个连续的CAT 模块进行多尺度的特征提取，得到多尺度特征。

预设的特征提取主干网络包括三个CAT模块。

CAT模块用于对输入的特征按照预设比例进行通道切分，将切分后的第一特征采用若干个连续的瓶颈残差模块和点卷积层进行局部特征提取，将切分后的第二特征采用若干个连续的Swin Transformer模块进行全局特征提取，并将提取到的局部特征和全局特征进行通道拼接。CAT模块的结构图如图2所示。

步骤106：将多尺度特征输入到预设的分类器中，得到遥感图像分类结果。

遥感图像分类网络模型包括预设的输入网络、预设的特征提取主干网络以及预设的分类器，其组成框图如图3所示。

上述遥感图像分类方法中，所述方法获取遥感图像，并对遥感图像进行标注，得到训练样本；将训练样本输入到预设的输入网络中进行特征提取，并将提取到的特征输入CAT模块中经过通道切分处理后，其中一部分特征信息通过Transformer结构进行全局特征提取，另一部分特征信息通过CNN结构和1×1点卷积操作进行局部特征提取，并将提取的全局特征和局部特征进行通道拼接，实现并行通道下的多特征提取，最后利用分类器输出分类结果。本方法在计算量与参数量大大低于经典网络的同时，准确率也较高。

在其中一个实施例中，预设的输入网络中卷积层的数量为3，卷积核分别为：

；步骤102包括：将训练样本输入到卷积核为

的卷积层中，并将得到卷积特征输入到最大池化层，得到第一卷积池化特征；将第一卷积池化特征输入到卷积核为

的卷积层中，并将得到的输出输入到卷积核为

的卷积层中，得到卷积池化特征。

在其中一个实施例中，如图2所示，CAT模块包括通道切分模块、由若干个连续的瓶颈残差模块和1个点卷积层组成的卷积神经网络支路、由分片嵌入层和若干个连续的SwinTransformer模块组成的Transformer支路、通道拼接模块；多尺度特征包括：浅层全局与局部特征、中层全局与局部特征和深层全局与局部特征；步骤104包括：将卷积池化特征输入到第一个CAT 模块的通道切分模块中，采用预设比例进行切分，得到第一组特征和第二组特征；将第一组特征输入到第一个CAT 模块的卷积神经网络支路中，得到浅层局部特征；将第二组特征输入到第一个CAT 模块的Transformer支路中，得到浅层全局特征；将浅层局部特征和浅层全局特征输入到第一个CAT 模块的通道拼接模块中，得到浅层全局与局部特征；将浅层全局与局部特征输入到第二个CAT 模块的输入，得到中层全局与局部特征；将中层全局与局部特征输入到第三个CAT 模块的输入，得到深层全局与局部特征。

作为优选，预设比例设置为1:1。

具体的， CAT 模块是一种高效的并行结构模块，两条支路分别采用了自注意力模块和卷积神经模块作为主干，充分将CNN和Transformer的优势结合到了一起。作为优选，本专利中选取了两种分类效果较为突出的网络结构进行特征提取，一种是瓶颈残差模块（Resnet Bottleneck模块），一种是Swin Transformer模块。CAT 模块的结构如图2所示。

假设给定一组输入大小为（H,W,C）的特征图,其中H和W分别代表特征图大小的高和宽，C代表特征图的通道数。在通道切分操作之后，特征图通道数C按照t的比例进行切分（该模块默认切分比例t为1:1），于是得到了两份尺寸大小一样，通道数一样的特征图，形状为（H,W,C/2），依次通过两条支路。在Transformer支路（支路1）中，输入图像经过分片嵌入（Patch Embedding）层操作后，将原始的二维图像转换成一系列的一维patches块，其中Patch的大小为2×2，输出的维度为d，所以经过Patch Embedding操作后，形状为（H,W,C/2）的特征图被拉升成了大小为（HW/4,d）的一维特征向量。接着经过若干个连续的SwinTransformer 模块特征提取后，将特征向量扩展成形状为（H/2,W/2,d）的特征图。在卷积神经网络支路（支路2）中，特征图首先经过若干个连续的Resnet Bottleneck模块进行特征提取，在此过程中特征图下采样两倍，通道数扩充为原来的2倍，则得到的特征图形状为（H/2,W/2,C），接着经1×1点卷积操作将特征图形状调整为（H/2,W/2,d）。至此，两条支路通过特征提取分别得到了形状为（H/2,W/2,d）的特征图，最后通过通道拼接将两条支路的特征图拼接到一起，得到形状为（H/2,W/2,2d）的特征图。

在其中一个实施例中，如图4所示，预设的分类器包括预设的主分类器、预设的浅层辅助分类器、预设的中层辅助分类器；步骤106包括具体步骤：

步骤200：将浅层全局与局部特征输入到预设的浅层辅助分类器中，得到浅层辅助分类结果。

步骤202：将中层全局与局部特征输入到预设的中层辅助分类器中，得到中层辅助分类结果。

步骤204：将深层全局与局部特征输入到预设的主分类器中，得到主分类结果。

步骤206：将浅层辅助分类结果、中层辅助分类结果以及主分类结果进行加权平均后，得到遥感图像的分类结果。

具体的作为优选，浅层辅助分类结果和中层辅助分类结果的权值为0.4，主分类结果的取值为1。利用辅助分类器的方法，将浅层特征信息进行保留，同时加快网络的收敛能力。

FT-CATNet网络的中间层还采用了辅助分类器，增加了两个损失函数（Loss）来保证梯度回传消失的问题，保留浅层网络提取的特征，并加强网络的收敛能力。两个辅助分类器的结构如图6所示。辅助分类器由若干个平均池化层、卷积层和全连接层组成，特征图在进入全连接层之前，针对不同大小的特征图输入，通过平均池化层和卷积层操作将特征图大小调整为（4，4，128），减少了全连接层的参数量和计算量，最后通过两层全连接层进行输出。

在一个具体的实施例中，遥感图像分类网络模型还包括预设的浅层辅助分类器和预设的中层辅助分类器，其网络结构如图5所示。

遥感图像分类网络模型首先经过多个不同尺寸的卷积层和最大池化层进行下采样、提升通道维度等处理，然后经过三个CAT 模块进行多尺度的特征提取，最后利用分类器输出标签。

FT-CATNet中采用了三个CAT模块作为网络特征提取的主干，分别学习特征图的浅层、中层、深层信息，通过多个分类器保留特征图信息，从而进一步提升模型整体的性能。一般来说，提升网络性能最直接的办法就是增加网络深度和宽度，我们的网络采用并行连接的方式增加网络宽度,从不同尺度学习特征信息。同时在三个CAT模块中包括SwinTransformer模块的数量分别为2、8、2，包括Resnet Bottleneck模块数量分别为3、 10、 3，增加了网络的深度，确保网络可以学习到深层信息。由于网络越深，梯度越往后越容易消失，因此，在每一个CAT模块后都会进行一次Loss输出，来保证梯度回传消失的现象。

网络越大，计算复杂度越大，越难以应用。通过实验发现，利用特征并用的方式，经过支路1和支路2的特征提取，各模块在输出通道数相对较少的情况下已经可以达到较高的特征提取能力，因此三个CAT模块的输入通道数和输出通道数分别为[128,160,192]和[160,192,192],降低模型参数量的同时，确保了模型的有效性。

在其中一个实施例中，步骤200中预设的浅层辅助分类器由平均池化层、点卷积层、卷积核为3×3的卷积层以及两个全连接层组成。预设的浅层辅助分类器的结构如图6中（a）所示。

在其中一个实施例中，步骤202预设的中层辅助分类器由平均池化层、点卷积层以及两个全连接层组成。预设的中层辅助分类器的结构如图6中（b）所示。

在其中一个实施例中，步骤204中预设的分类器由平均池化层、和1个全连接层组成。

应该理解的是，虽然图1、4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种遥感图像分类装置，包括：样本获取模块、输入网络训练模块、特征提取主干网络训练模块和分类结果确定模块，其中：

样本获取模块，用于获取遥感图像，并对遥感图像进行标注，得到训练样本。

输入网络训练模块，用于将训练样本输入到预设的输入网络中，得到卷积池化特征；预设的输入网络包括：多个不同尺度的卷积层和最大池化层。

特征提取主干网络训练模块，用于将卷积池化特征输入到预设的特征提取主干网络中，经过三个连续的CAT 模块进行多尺度的特征提取，得到多尺度特征；预设的特征提取主干网络包括三个CAT模块，CAT模块用于对输入的特征按照预设比例进行通道切分，将切分后的第一特征采用若干个连续的瓶颈残差模块和点卷积层进行局部特征提取，将切分后的第二特征采用若干个连续的Swin Transformer模块进行全局特征提取，并将提取到的局部特征和全局特征进行通道拼接。

分类结果确定模块，用于将多尺度特征输入到预设的分类器中，得到遥感图像分类结果。

在其中一个实施例中，预设的输入网络中卷积层的数量为3，卷积核分别为：

，输入网络训练模块，还用于将训练样本输入到卷积核为

的卷积层中，并将得到卷积特征输入到最大池化层，得到第一卷积池化特征；将第一卷积池化特征输入到卷积核为

的卷积层中，并将得到的输出输入到卷积核为

的卷积层中，得到卷积池化特征。

在其中一个实施例中，CAT模块包括通道切分模块、由若干个连续的瓶颈残差模块和1个点卷积层组成的卷积神经网络支路、由分片嵌入层和若干个连续的SwinTransformer模块组成的Transformer支路、通道拼接模块；多尺度特征包括：浅层全局与局部特征、中层全局与局部特征和深层全局与局部特征；特征提取主干网络训练模块，还用于将卷积池化特征输入到第一个CAT 模块的通道切分模块中，采用预设比例进行切分，得到第一组特征和第二组特征；将第一组特征输入到第一个CAT 模块的卷积神经网络支路中，得到浅层局部特征；将第二组特征输入到第一个CAT 模块的Transformer支路中，得到浅层全局特征；将浅层局部特征和浅层全局特征输入到第一个CAT 模块的通道拼接模块中，得到浅层全局与局部特征；将浅层全局与局部特征输入到第二个CAT 模块的输入，得到中层全局与局部特征；将中层全局与局部特征输入到第三个CAT 模块的输入，得到深层全局与局部特征。

在其中一个实施例中，预设的分类器包括预设的主分类器、预设的浅层辅助分类器、预设的中层辅助分类器；分类结果确定模块，还用于将浅层全局与局部特征输入到预设的浅层辅助分类器中，得到浅层辅助分类结果；将中层全局与局部特征输入到预设的中层辅助分类器中，得到中层辅助分类结果；将深层全局与局部特征输入到预设的主分类器中，得到主分类结果；将浅层辅助分类结果、中层辅助分类结果以及主分类结果进行加权平均后，得到遥感图像的分类结果。

在其中一个实施例中，预设的浅层辅助分类器由平均池化层、点卷积层、卷积核为3×3的卷积层以及两个全连接层组成。

在其中一个实施例中，预设的中层辅助分类器由平均池化层、点卷积层以及两个全连接层组成。

在其中一个实施例中，预设的主分类器由平均池化层、和1个全连接层组成。

关于遥感图像分类装置的具体限定可以参见上文中对于遥感图像分类方法的限定，在此不再赘述。上述遥感图像分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种遥感图像分类方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现实施例中方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

在一个验证性实施例中，实验数据来自2015年武汉大学发布的遥感影像数据集RSSCN7 Data Set，该数据集是遥感图像场景分类常用数据集，其中共有 Grass、Field、Industry、RiverLake、Forest、Resident、Parking 等 7 类数据，有代表自然因素的Grass、Field、RiverLake、Forest，也有代表人类生产生活场景的 Industry、Resident 和Parking 等，具有覆盖范围广的特点。每幅图片的像素是 400*400，每个类别有 400 幅图像，共有 2800 张。本实验是将这个数据集按照 4:1 的比例设置训练集和测试集，即训练集中共有 7 类，每类 320 幅，共 2240 幅；测试集中也是 7 类，每类 80 幅，共 560 幅，其数据集样本如图9所示，其中（a）为草地遥感图像，（b）为田地遥感图像，（c）为工业区域遥感图像，（d）为河流湖泊遥感图像，（e）为森林遥感图像，（f）为居民区遥感图像，（g）为停车场遥感图像。

（1）模型复杂度和有效性

在实验中，我们将自己的网络与几个经典的基于CNN架构和Transformer架构的网络进行了对比，实验结果如表1所示。

表1实验结果

如表1所示，我们的网络在计算量和参数量大幅低于经典网络的情况下，准确率依旧高于其它网络，达到最高的95.4%，其中计算量仅为分类效果较好的Resnet50网络的1/10左右，参数量是其的1/25左右。综上所述，我们的网络在性能上显著优于其它网络，具有高效性的特点。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种遥感图像分类方法，其特征在于，所述方法包括：

获取遥感图像，并对所述遥感图像进行标注，得到训练样本；

将所述训练样本输入到预设的输入网络中，得到卷积池化特征；所述预设的输入网络包括：多个不同尺度的卷积层和最大池化层；

将所述卷积池化特征输入到预设的特征提取主干网络中，经过三个连续的CAT 模块进行多尺度的特征提取，得到多尺度特征；所述预设的特征提取主干网络包括三个CAT模块，所述CAT模块用于对输入的特征按照预设比例进行通道切分，将切分后的第一特征采用若干个连续的瓶颈残差模块和点卷积层进行局部特征提取，将切分后的第二特征采用若干个连续的Swin Transformer模块进行全局特征提取，并将提取到的局部特征和全局特征进行通道拼接；

将所述多尺度特征输入到预设的分类器中，得到遥感图像分类结果；

其中：所述CAT模块包括通道切分模块、由若干个连续的瓶颈残差模块和1个点卷积层组成的卷积神经网络支路、由分片嵌入层和若干个连续的Swin Transformer模块组成的Transformer支路、通道拼接模块；

多尺度特征包括：浅层全局与局部特征、中层全局与局部特征和深层全局与局部特征；

步骤：将所述卷积池化特征输入到预设的特征提取主干网络中，经过三个连续的CAT模块进行多尺度的特征提取，得到多尺度特征，包括：

将所述卷积池化特征输入到第一个CAT 模块的通道切分模块中，采用预设比例进行切分，得到第一组特征和第二组特征；

将所述第一组特征输入到第一个CAT 模块的卷积神经网络支路中，得到浅层局部特征；将所述第二组特征输入到第一个CAT 模块的Transformer支路中，得到浅层全局特征；

将所述浅层局部特征和所述浅层全局特征输入到第一个CAT 模块的通道拼接模块中，得到浅层全局与局部特征；

将所述浅层全局与局部特征输入到第二个CAT 模块的输入，得到中层全局与局部特征；

将所述中层全局与局部特征输入到第三个CAT 模块的输入，得到深层全局与局部特征。

2.根据权利要求1所述的方法，其特征在于，所述预设的输入网络中卷积层的数量为3，卷积核分别为：7×7、1×1和3×3；

将所述训练样本输入到预设的输入网络中，得到卷积池化特征，包括：

将所述训练样本输入到卷积核为7×7的卷积层中，并将得到卷积特征输入到最大池化层，得到第一卷积池化特征；

将所述第一卷积池化特征输入到卷积核为1×1的卷积层中，并将得到的输出输入到卷积核为3×3的卷积层中，得到卷积池化特征。

3.根据权利要求1所述的方法，其特征在于，预设的分类器包括预设的主分类器、预设的浅层辅助分类器、预设的中层辅助分类器；

将所述多尺度特征输入到预设的分类器中，得到遥感图像分类结果，包括：

将所述浅层全局与局部特征输入到预设的浅层辅助分类器中，得到浅层辅助分类结果；

将所述中层全局与局部特征输入到预设的中层辅助分类器中，得到中层辅助分类结果；

将所述深层全局与局部特征输入到预设的主分类器中，得到主分类结果；

将所述浅层辅助分类结果、所述中层辅助分类结果以及所述主分类结果进行加权平均后，得到遥感图像的分类结果。

4.根据权利要求3所述的方法，其特征在于，将所述浅层全局与局部特征输入到预设的浅层辅助分类器中，得到浅层辅助分类结果，步骤中预设的浅层辅助分类器由平均池化层、点卷积层、卷积核为3×3的卷积层以及两个全连接层组成。

5.根据权利要求1所述的方法，其特征在于，将所述中层全局与局部特征输入到预设的中层辅助分类器中，得到中层辅助分类结果，步骤中预设的中层辅助分类器由平均池化层、点卷积层以及两个全连接层组成。

6.根据权利要求1所述的方法，其特征在于，将所述深层全局与局部特征输入到预设的主分类器中，得到主分类结果，步骤中所述预设的主分类器由平均池化层、和1个全连接层组成。

7.一种遥感图像分类装置，其特征在于，所述装置包括：

样本获取模块，用于获取遥感图像，并对所述遥感图像进行标注，得到训练样本；

输入网络训练模块，用于将所述训练样本输入到预设的输入网络中，得到卷积池化特征；所述预设的输入网络包括：多个不同尺度的卷积层和最大池化层；

特征提取主干网络训练模块，用于将所述卷积池化特征输入到预设的特征提取主干网络中，经过三个连续的CAT 模块进行多尺度的特征提取，得到多尺度特征；所述预设的特征提取主干网络包括三个CAT模块，所述CAT模块用于对输入的特征按照预设比例进行通道切分，将切分后的第一特征采用若干个连续的瓶颈残差模块和点卷积层进行局部特征提取，将切分后的第二特征采用若干个连续的Swin Transformer模块进行全局特征提取，并将提取到的局部特征和全局特征进行通道拼接；

分类结果确定模块，用于将所述多尺度特征输入到预设的分类器中，得到遥感图像分类结果；

其中：特征提取主干网络训练模块，还用于将所述卷积池化特征输入到第一个CAT 模块的通道切分模块中，采用预设比例进行切分，得到第一组特征和第二组特征；将所述第一组特征输入到第一个CAT 模块的卷积神经网络支路中，得到浅层局部特征；将所述第二组特征输入到第一个CAT 模块的Transformer支路中，得到浅层全局特征；将所述浅层局部特征和所述浅层全局特征输入到第一个CAT 模块的通道拼接模块中，得到浅层全局与局部特征；将所述浅层全局与局部特征输入到第二个CAT 模块的输入，得到中层全局与局部特征；将所述中层全局与局部特征输入到第三个CAT 模块的输入，得到深层全局与局部特征；所述CAT模块包括通道切分模块、由若干个连续的瓶颈残差模块和1个点卷积层组成的卷积神经网络支路、由分片嵌入层和若干个连续的Swin Transformer模块组成的Transformer支路、通道拼接模块；多尺度特征包括：浅层全局与局部特征、中层全局与局部特征和深层全局与局部特征。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images