CN114758203B - 用于高光谱图像分类的残差密集视觉转换方法和系统 - Google Patents

Abstract

本申请提供了一种用于高光谱图像分类的残差密集视觉转换方法、系统、计算机可读存储介质和电子设备。该方法通过残差密集视觉转换网络执行，残差密集视觉转换网络包括：跨尺度自注意投影模块、局部残差转换模块和全局残差连接模块；通过跨尺度自注意投影模块的多尺度卷积层，对高光谱图像进行局部空间的光谱信息提取，得到跨尺度自注意力特征；通过多个局部残差转换模块对高光谱图像局部空间的光谱信息进行多尺度投影，并对多尺度投影的结果沿光谱通道进行编码，得到多个多尺度投影特征；通过全局残差连接模块对多个多尺度投影特征进行分层特征融合，并将跨尺度自注意力特征与分层特征融合后的输出特征进行叠加，得到高光谱图像的残差融合特征。

Description

用于高光谱图像分类的残差密集视觉转换方法和系统

技术领域

本申请涉及图像分类技术领域，特别涉及一种用于高光谱图像分类的残差密集视觉转换方法、系统、计算机可读存储介质和电子设备。

背景技术

高光谱图像(Hyperspectral Image，简称HSI)在每个像素的光谱维度上收集有数百个波段，为细粒度级别的土地覆盖识别提供了丰富的空间和光谱信息，为高精度地球观测任务(比如，土地覆盖识别、城市变化检测、环境检测等)提供了巨大的潜力。

目前，高光谱图像进行分类时主要包括三个步骤：首先，对高光谱图像进行图像预处理，以去除图像中的噪声、恢复缺失数据等；然后，对预处理后的图像进行降维；最后，采用支持向量机(SVM)、K近邻(KNN)分类器等对降维图像进行特征提取，比如，主成分分析方法、独立成分分析方法以及非参数加权特征提取方法等。然而，传统的线性特征提取方法丢弃了光谱中的详细光谱信息，降维操作使得图像失去了“高光谱”的意义；而且使用独立的光谱曲线来识别像素，忽略了图像的空间信息。

因而，亟需提供一种针对上述现有技术不足的技术方案。

发明内容

本申请的目的在于提供一种用于高光谱图像分类的残差密集视觉转换方法和系统，以解决或缓解上述现有技术中存在的问题。

为了实现上述目的，本申请提供如下技术方案：

本申请提供一种用于高光谱图像分类的残差密集视觉转换方法，所述方法通过残差密集视觉转换网络执行，所述残差密集视觉转换网络包括：跨尺度自注意投影模块、局部残差转换模块和全局残差连接模块；所述方法包括：通过所述跨尺度自注意投影模块的多尺度卷积层，对所述高光谱图像进行局部空间的光谱信息提取，得到跨尺度自注意力特征；通过多个所述局部残差转换模块对所述高光谱图像局部空间的光谱信息进行多尺度投影，并对所述多尺度投影的结果沿光谱通道进行编码，得到多个多尺度投影特征；通过全局残差连接模块对多个所述多尺度投影特征进行分层特征融合，并将所述跨尺度自注意力特征与所述分层特征融合后的输出特征进行叠加，得到所述高光谱图像的残差融合特征。

优选的，所述跨尺度自注意投影模块的多尺度卷积层为多个不同尺度的卷积层；所述通过所述跨尺度自注意投影模块的多尺度卷积层，对所述高光谱图像进行局部空间的光谱信息提取，得到跨尺度自注意力特征，具体为：通过所述跨尺度自注意投影模块的多个不同尺度的卷积层，对所述高光谱图像分别进行局部空间的光谱信息提取，得到所述高光谱图像的多个不同尺度的局部空间特征；对所述高光谱图像的多个不同尺度的局部空间特征进行特征融合，并使用1x1卷积层重新加权，得到所述跨尺度自注意力特征。

优选的，所述局部残差转换模块包括：多尺度投影子模块和通道多层感知器；对应的，所述通过多个所述局部残差转换模块对所述光谱信息进行多尺度投影，并对所述多尺度投影的结果沿光谱通道进行编码，得到多个多尺度投影特征，具体为：由第i个所述局部残差转换模块的所述多尺度投影子模块分别沿高度、宽度和光谱维度对所述高光谱图像局部空间的光谱信息进行编码,得到第i个所述局部残差转换模块的多尺度投影子特征；其中，i为正整数；由第i个所述局部残差转换模块的所述通道多层感知器沿光谱通道对第i个所述局部残差转换模块的多尺度投影子特征进行编码，得到第i个所述局部残差转换模块的所述多尺度投影特征。

优选的，所述由第i个所述局部残差转换模块的所述多尺度投影子模块分别沿高度、宽度和光谱维度对所述高光谱图像局部空间的光谱信息进行编码,得到第i个所述局部残差转换模块的多尺度投影子特征，包括：在第i个所述局部残差转换模块的多尺度投影子模块中，采用多个不同深度的卷积层，分别沿高度、宽度和光谱维度对所述高光谱图像局部空间的光谱信息进行编码，对应得到所述高光谱图像的高度特征、宽度特征和光谱特征；基于逐元素加法，通过第i个所述局部残差转换模块的多尺度投影子模块的全连接层，对第i个所述局部残差转换模块的多尺度投影子模块得到的所述高光谱图像的高度特征、宽度特征和光谱特征进行特征融合，得到第i个所述局部残差转换模块的多尺度投影子特征。

优选的，所述通过全局残差连接模块对多个所述多尺度投影特征进行分层特征融合，具体为：通过所述全局残差连接模块，对多个所述多尺度投影特征执行全局残差操作，获取所述高光谱图像的局部空间信息，以融合多个所述多尺度投影特征。

优选的，所述将所述跨尺度自注意力特征与所述分层特征融合后的输出特征进行叠加，得到所述高光谱图像的残差融合特征，具体为：在所述全局残差连接模块中，通过全局残差将所述跨尺度自注意力特征加入所述分层特征融合后的输出特征中，得到所述高光谱图像的残差融合特征。

优选的，所述残差密集视觉转换网络包括：分类模块，对应的，在所述由第i个所述局部残差转换模块的所述通道多层感知器沿光谱通道对第i个所述局部残差转换模块的多尺度投影子特征进行编码，得到第i个所述局部残差转换模块的所述多尺度投影特征之后，所述用于高光谱图像分类的残差密集视觉转换方法还包括：通过所述分类模块的全局平均池化层和全连接层，根据所述高光谱图像的残差融合特征，对所述高光谱图像进行分类预测。

本申请实施例还提供一种用于高光谱图像分类的残差密集视觉转换系统，所述用于高光谱图像分类的残差密集视觉转换系统中部署有残差密集视觉转换网络，所述残差密集视觉转换网络包括：跨尺度自注意投影模块、多个局部残差转换模块和全局残差连接模块；所述跨尺度自注意投影模块，配置为通过多尺度卷积层，对所述高光谱图像进行局部空间的光谱信息提取，得到跨尺度自注意力特征；多个所述局部残差转换模块，配置为分别对所述高光谱图像局部空间的光谱信息进行多尺度投影，并对所述多尺度投影的结果沿光谱通道进行编码，得到多个多尺度投影特征；所述全局残差连接模块，配置为对多个所述多尺度投影特征进行分层特征融合，并将所述跨尺度自注意力特征与所述分层特征融合后的输出特征进行叠加，得到所述高光谱图像的残差融合特征。

本申请实施例还提供一种计算机可读存储机制，其上存储有计算机程序，所述程序为如上任一所述的用于高光谱图像分类的残差密集视觉转换方法。

本申请实施例还提供一种电子设备，包括：存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的程序，所述处理器执行所述程序时实现如上任一所述的用于高光谱图像分类的残差密集视觉转换方法。

有益效果：

本申请提供的技术方案，通过残差密集视觉转换网络执行，在残差密集视觉转换网络中包含跨尺度自注意投影模块、局部残差转换模块和全局残差连接模块；通过跨尺度自注意投影模块的多尺度卷积层，对高光谱图像进行局部空间的光谱信息提取，得到跨尺度自注意力特征；然后，通过多个局部残差转换模块对高光谱图像局部空间的光谱信息进行多尺度投影，并对多尺度投影的结果沿光谱通道进行编码，得到多个多尺度投影特征；最后，通过全局残差连接模块对多个多尺度投影特征进行分层特征融合，并将跨尺度自注意力特征与分层特征融合后的输出特征进行叠加，得到高光谱图像的残差融合特征。

籍此，通过跨尺度卷积投影模块的多尺度卷积层获取输入高光谱图像丰富的局部空间特征(即多尺度投影特征)，使得能够获取输入高光谱图像的大感受野的局部空间光谱信息；利用局部残差转换模块沿光谱通道对多吃图投影结果进行编码，获取了输入高光谱图像的密集分层特征(即多尺度投影特征)，最后，利用全局残差连接模块对输入高光谱图像的密集分层特征进行分层特征融合，并将输入高光谱图像的局部空间特征进行融合后，得到的输入的高光谱图像的残差融合特征，利用高光谱图像的丰富的空间光谱信息和分层特征对高光谱图像进行识别分类，不但有效解决了现有技术中无法捕获细微的光谱差异的难题，而且，进一步提高了高光谱图像的分类精度。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。其中：

图1为根据本申请的一些实施例提供的一种用于高光谱图像分类的残差密集视觉转换方法的流程示意图；

图2为根据本申请的一些实施例提供的跨尺度自注意投影模块的逻辑示意图；

图3为根据本申请的一些实施例提供的局部残差转换模块的逻辑示意图；

图4为根据本申请的一些实施例提供的分别沿高度、宽度和光谱维度对高光谱图像进行多尺度投影的逻辑示意图；

图5为根据本申请的一些实施例提供的一种用于高光谱图像分类的残差密集视觉转换系统的结构示意图；

图6为根据本申请的一些实施例提供的电子设备的结构示意图；

图7为根据本申请的一些实施例提供的电子设备的硬件结构图。

具体实施方式

下面将参考附图并结合实施例来详细说明本申请。各个示例通过本申请的解释的方式提供而非限制本申请。实际上，本领域的技术人员将清楚，在不脱离本申请的范围或精神的情况下，可在本申请中进行修改和变型。例如，示为或描述为一个实施例的一部分的特征可用于另一个实施例，以产生又一个实施例。因此，所期望的是，本申请包含归入所附权利要求及其等同物的范围内的此类修改和变型。

随着深度学习技术的发展，基于深度学习架构的图像识别分类方法，在自然图像识别方面表现出了强大的特征提取能力，比如，基于递归神经网络、卷积神经网络的自然图像识别方法，虽然具有从高光谱图像中获取局部上下文信息的能力，在高光谱图像识别分类上取得了更高的分类精度，但是缺乏从相邻光谱带中不会细微光谱差异的功能，均无法捕获高光谱图像的细微光谱差异，无法将图像的局部空间光谱信息由浅层传递至深层；而且，这类方法过于关注图像的空间序列信息，导致在图像的特征提取过程中容易对图像的光谱序列信息形成错误表达，使得更加难以获取更深层次的光谱信息。

与递归神经网络、卷积神经网络的自然图像识别方法不同的基于转换网络的自然图像分类方法，比如，基于视觉转换的分类模型有VIT、Deep ViT和CaiT，虽然能够从序列的角度对图像进行挖掘，利用固定视野的卷积层提取局部空间信息，但是却无法捕获更丰富的局部空间信息，限制了分类精度的提升。而且，随着网络深度的增加，每个注意块的特征具有不同属性的分层特征，可以为物体识别提供更加丰富的信息，但是现有的基于视觉转换的分类模型无法充分使用分层特征，极大的限制了高光谱图像分类性能的提升。

为此，申请人提出了一种针对高光谱图像的残差密集视觉转换技术，通过构建残差密集视觉转换网络，充分利用层次特征并获取多尺度局部空间特征，进一步提高了高光谱图像的分类精度。利用跨尺度卷积投影、局部残差转换获得输入的高光谱图像密集的局部特征后，使用全局残差连接对局部特征进行分层特征融合，然后将融合后的特征输入平均池化层和分类器对高光谱图像进行预测分类，籍此，不但有效解决了现有技术中无法捕获细微的光谱差异的难题，而且，充分利用了高光谱图像的分层特征，进一步提高了高光谱图像的分类精度。

在本申请实施例中，在残差密集视觉转换网络中，定义输入为input，输出为output，卷积层为Conv，平均池化层为pool，融合层为concate，全连接层为Local residualconnection，线性层为Liner projcetion；卷积层范数为Layer Norm，高度通道为Heightprojcetion，高度通道的输出为Height output；宽度通道为Width projcetion，宽度通道的输出为Width output；光谱通道为Spectral projcetion，光谱通道的输出为Spectraloutput；多尺度投影子特征的输出为Final output；局部残差转换模块为LRTB，多尺度投影为Multi-scale projcetion；通道多层感知器为Channel-MLP。

示例性方法

如图1所示，该用于高光谱图像分类的残差密集视觉转换方法由残差密集视觉转换网络执行，残差密集视觉转换网络包括：跨尺度自注意投影模块、局部残差转换模块和全局残差连接模块；该用于高光谱图像分类的残差密集视觉转换方法包括：

步骤S101、通过所述跨尺度自注意投影模块的多尺度卷积层，对所述高光谱图像进行局部空间的光谱信息提取，得到跨尺度自注意力特征。

在本申请实施例中，通过跨尺度自注意投影模块的多尺度卷积层提取具有大感受野的局部空间特征，在此，多尺度卷积层为具有多个不同尺度的卷积层。首先，通过跨尺度自注意投影模块的多个不同尺度的卷积层，对高光谱图像分别进行局部空间的光谱信息提取，得到高光谱图像的多个不同尺度的局部空间特征。然后，多高光谱图像的多个不同尺度的局部空间特征进行特征融合，得到局部多尺度总特征，并使用1x1卷积层对局部多尺度总特征重新加权，得到加权后的局部多尺度总特征，即跨尺度自注意力特征。

在本申请实施例中，如图2所示，通过卷积层对高光谱图像进行卷积操作，从高光谱图像中提取局部空间的光谱信息；通过不同尺度的卷积操作，对应得到多个不同尺度的局部空间特征(特征向量)；然后，将得到的局部空间特征(特征向量)进行特征融合，即将多个特征向量按照并行方法组合，得到新的特征向量(局部多尺度总特征)；将新的特征向量再与1x1卷积层相乘(重新加权)，执行卷积操作，输出跨尺度的自注意力特征。需要说明的是，局部空间特征融合还可以采用相关性多元统计分析、核典型相关分析、协方差矩阵等方法实现。

跨尺度自注意投影模块具有多个不同尺度的卷积层分支，分别提取输入高光谱图像的局部空间的光谱信息。在此，定义跨尺度自注意投影模块的每个卷积层分支的输出为R_0，j，其中，j为正整数，表示卷积层分支的序号。在一具体的例子中，跨尺度自注意投影模块具有4个不同尺度的卷积层分支，每个卷积层分支的输出如下：

R_0，1＝F₁(X)

R_0，2＝F₁(F_pool(X))

R_0，3＝F_(3，1)(F_(1，3)(F₁(X)))

R_0，4＝F_(3，1)(F_(1，3)(F_(3，3)(F₁(X))))

其中，R_0，1表示第1个卷积层分支的输出，R_0，2表示第2个卷积层分支的输出，R_0，1表示第3个卷积层分支的输出，R_0，4表示第4个卷积层分支的输出；F₁表示1x1卷积层，F_(1，3)表示1x3卷积层，F_(3，1)表示3x1卷积层，F_(3，3)表示3x3卷积层，F_pool表示平均池化层，X表示输入的高光谱图像。

在提取不同尺度的局部空间特征(输入图像的局部空间的光谱信息)后，在融合层采用1x1卷积层重新加权，最终输出R_A(跨尺度自注意力特征)如下：

其中，R₀表示多个不同尺度的局部空间特征R_0，1，R_0，2，R_0，3，R_0，4融合后得到的局部多尺度总特征；R_A表示在融合层采用1x1卷积层对局部多尺度总特征进行加权后，得到的局部多尺度总特征，即跨尺度自注意力特征。

步骤S102、通过多个所述局部残差转换模块对所述高光谱图像局部空间的光谱信息进行多尺度投影，并对所述多尺度投影的结果沿光谱通道进行编码，得到多个多尺度投影特征。

在本申请实施例中，局部残差转换模块中部署有多尺度投影子模块和通道多层感知器，如图3所示。其中，多尺度投影子模块用于执行多尺度深度卷积操作，提取局部空间光谱信息的多尺度投影；通道多层感知器用于沿光谱通道对光谱信息进行编码。

具体的，在通过多个局部残差转换模块对光谱信息进行多尺度投影，并对多尺度投影的结果沿光谱通道进行编码，得到多个多尺度投影特征时，首先，由第i个局部残差转换模块的多尺度投影子模块分别沿高度、宽度和光谱维度对高光谱图像局部空间的光谱信息进行编码，得到第i个局部残差转换模块的多尺度投影子特征；然后，由第i个局部残差转换模块的通道多层感知器沿光谱通道对第i个局部残差转换模块的多尺度投影子特征进行编码，得到第i个局部残差转换模块的多尺度投影特征。其中，i为正整数。

在本申请实施例中，多尺度投影子模块用于提取高光谱图像的局部空间光谱信息，通道多层感知器用于提取高光谱图像的通道信息。

其中，第i个局部残差转换模块的输出通过下式获得：

其中，Layer Norm(简称LN)表示多尺度投影子模块的卷积层的层范数，Multi-scale projection(简称MSP)表示多尺度投影子模块对光谱信息进行编码，Channel-MLP表示通道多层感知器沿光谱通道对多尺度投影子特征进行编码；R_i，1表示第i个局部残差转换模块的多尺度投影子特征；R_i-1表示第i-1个局部残差转换模块的多尺度投影特征；R_i表示第i个局部残差转换模块的多尺度投影特征。

进一步的，如图4所示，在通过多个局部残差转换模块对光谱信息进行多尺度投影，并对多尺度投影的结果沿光谱通道进行编码，得到多个多尺度投影特征时，首先，在第i个所述局部残差转换模块的多尺度投影子模块中，采用多个不同深度的卷积层，分别沿高度、宽度和光谱维度对所述高光谱图像局部空间的光谱信息进行编码，对应得到所述高光谱图像的高度特征、宽度特征和光谱特征；然后，基于逐元素加法，通过第i个所述局部残差转换模块的多尺度投影子模块的全连接层(Local residual connection)，对第i个所述局部残差转换模块的多尺度投影子模块得到的所述高光谱图像的高度特征、宽度特征和光谱特征进行特征融合，得到第i个所述局部残差转换模块的多尺度投影子特征。籍此，在MSP中，采用多尺度深度卷积操作获取丰富的局部空间信息，然后，基于逐元素加法操作和全连接层将获得的高度特征、宽度特征、光谱特征进行融合，输出第i个局部残差转换模块的多尺度投影特征R_i。具体如下述公式所示：

R_Hi＝W_1×5(W_1×3(W_1×1(R)))

R_Wi＝W_3×1(W_3×1(W_1×1(R)))

R_si＝F_1×1R

R_i＝F(R_Hi+R_Wi+R_Si)

其中，R_Hi、R_Wi、R_Si分别表示第i个所述局部残差转换模块的多尺度投影子模块得到的所述高光谱图像的高度特征、宽度特征和光谱特征；W_1×5、W_1×3、W_1×1、W_3×1分别为具有不同大小滤波器的深度卷积层，卷积核大小分别为1×5、1×3、1×1、3×1；F_1×1表示逐点卷积层；F(·)表示全连接层；R表示输入的高光谱图像的局部空间的光谱信息。

步骤S103、通过全局残差连接模块对多个所述多尺度投影特征进行分层特征融合，并将所述跨尺度自注意力特征与所述分层特征融合后的输出特征进行叠加，得到所述高光谱图像的残差融合特征。

在本申请实施例中，分层特征融合旨在融合来自全部局部残差转换模块输出的多尺度投影特征。具体的，通过全局残差连接模块，对多个所述多尺度投影特征执行全局残差操作，获取所述高光谱图像的局部空间信息，以融合多个所述多尺度投影特征。具体按照下述公式执行：

R_HF＝F_LN([R₁，R₂，R₃])

其中，[R₁，R₂，R₃]是由3个全局残差转换模块生成的多尺度投影特征的融合，F_LN表示全局残差连接模块的线性层(Linear projection)；R_HF表示多个所述多尺度投影特征进行分层特征融合后的输出特征。

然后，在全局残差连接模块中，通过全局残差将跨尺度自注意力特征加入分层特征融合后的输出特征中，得到高光谱图像的残差融合特征。具体的，按照下述公式：

R_output＝R_HF+R_A

执行全局残差连接操作来获得残差融合特征；其中，R_output表示残差融合特征，R_HF表示多个所述多尺度投影特征进行分层特征融合后的输出特征，R_A表示跨尺度自注意投影模块输出的跨尺度自注意力特征。需要说明的是，R_A表征高光谱图像的浅层局部空间信息。

在一些可选实施例中，所述残差密集视觉转换网络包括：分类模块，对应的，在所述由第i个所述局部残差转换模块的所述通道多层感知器沿光谱通道对第i个所述局部残差转换模块的多尺度投影子特征进行编码，得到第i个所述局部残差转换模块的所述多尺度投影特征之后，所述用于高光谱图像分类的残差密集视觉转换方法还包括：通过所述分类模块的全局平均池化层和全连接层，根据所述高光谱图像的残差融合特征，对所述高光谱图像进行分类预测。

也就是说，将残差融合特征输入分类模块中，在分类模块中使用全局平均池化层和全连接层对残差融合特征按照像素进行分类，获得相对应的单元矩阵，然后，将元素的单元矩阵输入分类模块的分类其中，实现对高光谱图像的识别分类。籍此，利用高光谱图像的丰富的空间光谱信息和分层特征对高光谱图像进行识别分类，不但有效解决了现有技术中无法捕获细微的光谱差异的难题，而且，进一步提高了高光谱图像的分类精度。

示例性系统

图5为根据本申请的一些实施例提供的一种用于高光谱图像分类的残差密集视觉转换系统的结构示意图；如图5所示，该用于高光谱图像分类的残差密集视觉转换系统中部署有残差密集视觉转换网络，所述残差密集视觉转换网络包括：跨尺度自注意投影模块501、多个局部残差转换模块502和全局残差连接模块503；

所述跨尺度自注意投影模块501，配置为通过多尺度卷积层，对所述高光谱图像进行局部空间信息的光谱信息提取，得到跨尺度自注意力特征；多个所述局部残差转换模块502，配置为分别对所述高光谱图像局部空间的光谱信息进行多尺度投影，并对所述多尺度投影的结果沿光谱通道进行编码，得到多个多尺度投影特征；所述全局残差连接模块503，配置为对多个所述多尺度投影特征进行分层特征融合，并将所述跨尺度自注意力特征与分层特征融合后的输出特征进行叠加，得到所述高光谱图像的残差融合特征。

本申请实施例提供的用于高光谱图像分类的残差密集视觉转换系统能够实现上述任一实施例所述的用于高光谱图像分类的残差密集视觉转换方法的步骤、流程，并达到相同的技术效果，在此不再一一赘述。

示例性设备

图6为根据本申请的一些实施例提供的电子设备的结构示意图；如图6所示，该电子设备包括：

一个或多个处理器601；

计算机可读介质，可以配置为存储一个或多个程序602，一个或多个处理器601执行一个或多个程序602时，实现如下步骤：通过跨尺度自注意投影模块的多尺度卷积层，对高光谱图像进行局部空间的光谱信息提取，得到跨尺度自注意力特征；通过多个局部残差转换模块对高光谱图像局部空间的光谱信息进行多尺度投影，并对多尺度投影的结果沿光谱通道进行编码，得到多个多尺度投影特征；通过全局残差连接模块对多个多尺度投影特征进行分层特征融合，并将跨尺度自注意力特征与分层特征融合后的输出特征进行叠加，得到高光谱图像的残差融合特征。

图7为根据本申请的一些实施例提供的电子设备的硬件结构；如图7所示，该电子设备的硬件结构可以包括：处理器701、通信接口702、计算机可读介质703和通信总线704。

其中，处理器701、通信接口702、计算机可读存储介质703通过通信总线704完成相互间的通信。

可选地，通信接口702可以为通信模块的接口，如GSM模块的接口。

其中，处理器701具体可以配置为：通过跨尺度自注意投影模块的多尺度卷积层，对高光谱图像进行局部空间的光谱信息提取，得到跨尺度自注意力特征；通过多个局部残差转换模块对高光谱图像局部空间的光谱信息进行多尺度投影，并对多尺度投影的结果沿光谱通道进行编码，得到多个多尺度投影特征；通过全局残差连接模块对多个多尺度投影特征进行分层特征融合，并将跨尺度自注意力特征与分层特征融合后的输出特征进行叠加，得到高光谱图像的残差融合特征。

处理器701可以是通用处理器，包括中央处理器(central processing unit，简称CPU)、网络处理器(Network Processor，简称NP)等，还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本申请实施例的电子设备以多种形式存在，包括但不限于：

(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如：iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如：iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其它具有数据交互功能的电子装置。

需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可以将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。

上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器存储介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的用于高光谱图像分类的残差密集视觉转换方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和涉及约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

以上所描述得设备及系统实施例仅仅是示意性的，其中作为分离不见说明的单元可以使或者也可以不是物理上分开的，作为单元提示的不见可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的优选实施例，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种用于高光谱图像分类的残差密集视觉转换方法，其特征在于，所述方法通过残差密集视觉转换网络执行，所述残差密集视觉转换网络包括：跨尺度自注意投影模块、局部残差转换模块、全局残差连接模块和分类模块；所述方法包括：

通过所述跨尺度自注意投影模块的多尺度卷积层，对所述高光谱图像进行局部空间的光谱信息提取，得到跨尺度自注意力特征；

通过多个所述局部残差转换模块对所述高光谱图像局部空间的光谱信息进行多尺度投影，并对所述多尺度投影的结果沿光谱通道进行编码，得到多个多尺度投影特征；

通过全局残差连接模块对多个所述多尺度投影特征进行分层特征融合，并将所述跨尺度自注意力特征与所述分层特征融合后的输出特征进行叠加，得到所述高光谱图像的残差融合特征；

其中，

所述跨尺度自注意投影模块的多尺度卷积层为多个不同尺度的卷积层；所述通过所述跨尺度自注意投影模块的多尺度卷积层，对所述高光谱图像进行局部空间的光谱信息提取，得到跨尺度自注意力特征，具体为：通过所述跨尺度自注意投影模块的多个不同尺度的卷积层，对所述高光谱图像分别进行局部空间的光谱信息提取，得到所述高光谱图像的多个不同尺度的局部空间特征；对所述高光谱图像的多个不同尺度的局部空间特征进行特征融合，并使用1x1卷积层重新加权，得到所述跨尺度自注意力特征；

所述局部残差转换模块包括：多尺度投影子模块和通道多层感知器；所述通过多个所述局部残差转换模块对所述高光谱图像局部空间的光谱信息进行多尺度投影，并对所述多尺度投影的结果沿光谱通道进行编码，得到多个多尺度投影特征，具体为：由第i个所述局部残差转换模块的所述多尺度投影子模块分别沿高度、宽度和光谱维度对所述高光谱图像局部空间的光谱信息进行编码,得到第i个所述局部残差转换模块的多尺度投影子特征；i为正整数；由第i个所述局部残差转换模块的所述通道多层感知器沿光谱通道对第i个所述局部残差转换模块的多尺度投影子特征进行编码，得到第i个所述局部残差转换模块的所述多尺度投影特征；第i个局部残差转换模块的输出通过下式获得：

式中，LN表示多尺度投影子模块的卷积层的层范数，MSP表示多尺度投影子模块对光谱信息进行编码，Channel-MLP表示通道多层感知器沿光谱通道对多尺度投影子特征进行编码；R_i,1表示第i个局部残差转换模块的多尺度投影子特征；R_i-1表示第i-1个局部残差转换模块的多尺度投影特征；R_i表示第i个局部残差转换模块的多尺度投影特征；

在所述由第i个所述局部残差转换模块的所述通道多层感知器沿光谱通道对第i个所述局部残差转换模块的多尺度投影子特征进行编码，得到第i个所述局部残差转换模块的所述多尺度投影特征之后，所述用于高光谱图像分类的残差密集视觉转换方法还包括：

通过所述分类模块的全局平均池化层和全连接层，根据所述高光谱图像的残差融合特征，对所述高光谱图像进行分类预测。

2.根据权利要求1所述的用于高光谱图像分类的残差密集视觉转换方法，其特征在于，所述由第i个所述局部残差转换模块的所述多尺度投影子模块分别沿高度、宽度和光谱维度对所述高光谱图像局部空间的光谱信息进行编码,得到第i个所述局部残差转换模块的多尺度投影子特征，包括：

在第i个所述局部残差转换模块的多尺度投影子模块中，采用多个不同深度的卷积层，分别沿高度、宽度和光谱维度对所述高光谱图像局部空间的光谱信息进行编码，对应得到所述高光谱图像的高度特征、宽度特征和光谱特征；

基于逐元素加法，通过第i个所述局部残差转换模块的多尺度投影子模块的全连接层，对第i个所述局部残差转换模块的多尺度投影子模块得到的所述高光谱图像的高度特征、宽度特征和光谱特征进行特征融合，得到第i个所述局部残差转换模块的多尺度投影子特征。

3.根据权利要求1所述的用于高光谱图像分类的残差密集视觉转换方法，其特征在于，所述通过全局残差连接模块对多个所述多尺度投影特征进行分层特征融合，具体为：

通过所述全局残差连接模块，对多个所述多尺度投影特征执行全局残差操作，获取所述高光谱图像的局部空间信息，以融合多个所述多尺度投影特征。

4.根据权利要求1所述的用于高光谱图像分类的残差密集视觉转换方法，其特征在于，所述将所述跨尺度自注意力特征与所述分层特征融合后的输出特征进行叠加，得到所述高光谱图像的残差融合特征，具体为：

在所述全局残差连接模块中，通过全局残差将所述跨尺度自注意力特征加入所述分层特征融合后的输出特征中，得到所述高光谱图像的残差融合特征。

5.一种用于高光谱图像分类的残差密集视觉转换系统，其特征在于，所述用于高光谱图像分类的残差密集视觉转换系统中部署有残差密集视觉转换网络，所述残差密集视觉转换网络包括：跨尺度自注意投影模块、多个局部残差转换模块、全局残差连接模块和分类模块；

所述跨尺度自注意投影模块，配置为通过多尺度卷积层，对所述高光谱图像进行局部空间的光谱信息提取，得到跨尺度自注意力特征；

多个所述局部残差转换模块，配置为分别对所述高光谱图像局部空间的光谱信息进行多尺度投影，并对所述多尺度投影的结果沿光谱通道进行编码，得到多个多尺度投影特征；

所述全局残差连接模块，配置为对多个所述多尺度投影特征进行分层特征融合，并将所述跨尺度自注意力特征与所述分层特征融合后的输出特征进行叠加，得到所述高光谱图像的残差融合特征；

其中，

所述跨尺度自注意投影模块的多尺度卷积层为多个不同尺度的卷积层；所述跨尺度自注意投影模块，进一步配置为：通过所述跨尺度自注意投影模块的多个不同尺度的卷积层，对所述高光谱图像分别进行局部空间的光谱信息提取，得到所述高光谱图像的多个不同尺度的局部空间特征；对所述高光谱图像的多个不同尺度的局部空间特征进行特征融合，并使用1x1卷积层重新加权，得到所述跨尺度自注意力特征；

所述局部残差转换模块包括：多尺度投影子模块和通道多层感知器；所述局部残差转换模块，进一步配置为：由第i个所述局部残差转换模块的所述多尺度投影子模块分别沿高度、宽度和光谱维度对所述高光谱图像局部空间的光谱信息进行编码,得到第i个所述局部残差转换模块的多尺度投影子特征；i为正整数；由第i个所述局部残差转换模块的所述通道多层感知器沿光谱通道对第i个所述局部残差转换模块的多尺度投影子特征进行编码，得到第i个所述局部残差转换模块的所述多尺度投影特征；第i个局部残差转换模块的输出通过下式获得：

式中，LN表示多尺度投影子模块的卷积层的层范数，MSP表示多尺度投影子模块对光谱信息进行编码，Channel-MLP表示通道多层感知器沿光谱通道对多尺度投影子特征进行编码；R_i,1表示第i个局部残差转换模块的多尺度投影子特征；R_i-1表示第i-1个局部残差转换模块的多尺度投影特征；R_i表示第i个局部残差转换模块的多尺度投影特征；

所述分类模块，配置为：通过其全局平均池化层和全连接层，根据所述高光谱图像的残差融合特征，对所述高光谱图像进行分类预测。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4任一所述的用于高光谱图像分类的残差密集视觉转换方法。

7.一种电子设备，其特征在于，包括：存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的程序，所述处理器执行所述程序时实现如权利要求1-4任一所述的用于高光谱图像分类的残差密集视觉转换方法。

Images