CN115578632A

CN115578632A - 基于膨胀卷积的高光谱图像分类方法

Info

Publication number: CN115578632A
Application number: CN202111449114.0A
Authority: CN
Inventors: 石翠萍; 廖帝灵; 吴海洋
Original assignee: Qiqihar University
Current assignee: Qiqihar University
Priority date: 2021-11-30
Filing date: 2021-11-30
Publication date: 2023-01-06

Abstract

基于膨胀卷积的高光谱图像分类方法，本发明涉及高光谱图像分类方法。本发明的目的是为了解决现有利用深度学习进行高光谱图像分类方法中存在有限的训练样本、巨大的计算成本，以及训练精度的下降的问题。过程为：一、采集高光谱图像数据集X和相对应的标签向量数据集Y；二、建立FECNet网络；所述FECNet网络为基于类反馈注意力机制的膨胀卷积网络；三、将高光谱图像数据集X和相对应的标签向量数据集Y输入到建立的FECNet网络中，进行迭代优化，得到最优FECNet网络；四、向最优FECNet网络中输入待测高光谱图像进行分类结果预测。本发明用于高光谱图像分类领域。

Description

基于膨胀卷积的高光谱图像分类方法

技术领域

本发明涉及高光谱图像分类方法。

背景技术

在过去的几十年，高光谱技术得到快速发展，且广泛应用于许多领域。例如植被、估算土壤盐度、地球勘探等[1]-[5]。

高光谱图像(HSIs)是具有很大研究活力的领域，同样也得到了遥感领域的广泛关注 [6]。在HSIs的研究早期，很多基于光谱的特征提取方法被相继提出，包括支持向量机(SVM)[7]、多项逻辑回归[8]-[9]以及动态或随机子空间[10]-[11]。此外，一些基于特征提取或降维的方法也被人们所关注，例如主成分分析(PCA)[12]、独立成分分析(ICA) [13]以及线性判别分析(LDA)[14]。但以上这些基于像素级分类器获得的分类结果并不令人满意。为了对高光谱图像较好的分类，一些有效的空谱特征表示方法被提出[15]-[16]。其中，基于空间和光谱特征提取的经典方法包括通过多种形态来提取空间特征的扩展形态学轮廓法(EMPs)[17]、多核学习[18][19]。在[20]-[22]，稀疏表示模型考虑了相邻的空间信息。另外，在[23]-[25]，根据纹理的相似性，将HSIs分割成多个超像素来探索空间的一致性。尽管这些基于空间与光谱特征提取的方法较为有效，但在样本的类间相似性较高，类内差异较大的情况下，这些方法很难提供较好的分类性能。因此，获得更具判别能力的特征，是进一步提高分类性能的关键。

随着大数据时代的到来，深度学习在过去几年快速发展，且被应用在多个领域，如图像处理[26]、自然语言处理[27]等。在深度学习发展早期，自动堆叠编码器(SAE)[28]和递归自动编码器(RAEs)[29]被提出且获得了良好的性能。然而，由于该方法只能处理1-D向量，这就导致HSIs的空间信息被破坏。随后，在[30]，限制性玻尔兹曼机(therestricted Boltzmannmachine)和深度置信网络被用来提取特征和像素分类，保留了HSIs的大部分特征信息。此外，一些基于2-D CNN的方法被相继提出，包括R-VCANet[31]、2-DCNN[32]等等。为了更好的表示数据，一般将HSIs视为三维立方体。因此，用基于2-D CNN 的方法去处理HSIs，会导致CNN中的卷积变得复杂。为了弥补2-D CNN的不足，一些 3-D CNN的方法被提出。在[33]，Lee and Kwon提出了一种上下文深度CNN(CDCNN)，这种方法能够联合提取高光谱图像的空谱信息。但随着网络加深，很有可能出现休斯现象 (Hughes)[34]。为了缓解这个问题，He等人在2016提出了新的网络结构ResNet[35]。此外，zhong等人提出了一种基于空间光谱的残差网络(SSRN)[36]。Paoletti等人提出了金字塔残差网络(PyResNet)[37]，该方法在CNN中加入附加链路，且在所有的Conv 层逐渐增加特征图的维度。在[38]，一种基于密集连接卷积神经网络(DenseNet)被提出，通过在网络中引入密集的连接，使得特征传播加强，且获得了较好的分类性能。由于尺度单一的卷积核获取特征不够丰富，许多基于多尺度卷积核的方法被用来提取丰富的特征，从而使得高光谱图像分类性能改善[39]-[41]。最近，提出了一些用于高光谱图像分类的新方法。例如，Roy等人提出一种2-D CNN与3-DCNN结合来降低3D-CNN复杂度的方法 (Hybrid-SN)[42]。在[43]，Meng等人提出了一种双混合链路网络，能够提取高光谱图像中更具判别能力的特征。同时，Roy等人提出一种基于注意力的自适应光谱与空间核改进的残差网络(A2S2K-ResNet)[44]，该方法采用自适应卷积核来扩大感受野，从而提取更有效的特征。虽然标准卷积能够提供较好的图像分类性能，但往往会带来大量的参数和计算量。因此，在[45]，Cui等人提出一种新的网络结构(LiteDepthwiseNet)，通过将标准卷积分解为深度卷积和点态卷积，大大降低了训练参数的数量。Ma等人提出了一种端到端的深度反卷积网络[46]，该网络采用非池化和反卷积的方法来恢复池化操作丢失的特征信息，从而保留了HSIs的大部分原始信息。在[47]，Yu等人提出一种基于多尺度上下文聚合的膨胀卷积网络。同样地，为了解决池化层导致分辨率和覆盖范围损失的问题， Pan等人提出了一种基于膨胀卷积的语义分割网络(DSSNet)[48]，这说明膨胀卷积对高光谱图像处理具备一定的潜力。

近年来，注意力机制在计算机视觉中也展现出巨大的潜力。在认知科学中，人类更倾向于注意更重要的信息，且忽视其他信息。注意力机制可以看作是人类视觉的模仿，并在计算机视觉的多个领域中得到广泛应用[49]-[51]。Wang等人提出了一种挤压和激励模块 (SE)[52]嵌入在ResNet网络中。在[53]，Ma等人提出了一种双分支多注意力网络(DBMA)来提取重要的空间与光谱信息。同样地，Li等人提出了一种双注意网络(DANet)[54]，且获得了较好的分类效果。为了进一步的提高HSIs的分类性能，Li等人又提出了双分支双注意力网络(DBDA)[55]。但由于注意力机制的空间注意力与通道注意力通常是相互分离的，所以Cui等人提出了一种新的双三重注意力网络(DTAN)[56]，该网络通过捕获跨维的交互式信息实现对高光谱图像的有效分类。

尽管现有基于深度学习的方法能有效提取高光谱图像特征，高光谱图像分类依然面临着很多的挑战。例如，有限的训练样本[57]、巨大的计算成本[58]，以及训练精度的下降 [59]-[60]。

发明内容

本发明的目的是为了解决现有利用深度学习进行高光谱图像分类方法中存在有限的训练样本、巨大的计算成本，以及训练精度的下降的问题，而提出基于膨胀卷积的高光谱图像分类方法。

基于膨胀卷积的高光谱图像分类方法具体过程为：

步骤一、采集高光谱图像数据集X和相对应的标签向量数据集Y；

步骤二、建立FECNet网络；

所述FECNet网络为基于类反馈注意力机制的膨胀卷积网络；

FECNet网络包括FECNet网络包括：输入层、第一三维卷积层、第一批归一化层BN层、膨胀卷积单元、类反馈机制SFB、第二三维卷积层、第二批归一化层BN层、第二 ReLU激活层、光谱注意力块SAB、第三批归一化层BN层、第三ReLU激活层、第三 Dropout、第三全局最大池化层、FC、Softmax和输出层；

步骤三、将高光谱图像数据集X和相对应的标签向量数据集Y输入到建立的FECNet网络中，进行迭代优化，得到最优FECNet网络；

步骤四、向最优FECNet网络中输入待测高光谱图像进行分类结果预测。

本发明的有益效果为：

本文提出了一种基于膨胀卷积的端到端高光谱图像分类网络(ECNet)。由于膨胀卷积的计算成本不会随着感受野的增大而增加，所以ECNet选择膨胀卷积进行特征提取。为了进一步改善ECNet的分类性能，在ECNet的基础上引入了一个类反馈模块(SFB) 得到改进后的网络(FECNet)。

本文的主要贡献有以下几点：

1)为了能够充分地提取HSIs的光谱特征，本文提出了一种膨胀卷积模块(ECB)。这种模块在增大感受野的同时，不会增加计算负担，从而缓解了训练所需的计算成本问题。此外，基于ECB的方法具有很好的泛化能力。

2)提出了一种类反馈模块(SFA)。具体地说，SFA是使得深层特征经过SFA得到注意图后，反馈给浅层特征的一种机制。其中，深层丰富的语义信息和大感受野的特征参与了注意图的计算，从而使得分类性能显著提升。

3)为了进一步加强特征的传播，SFA被密集地连接，构成一种类反馈模块(SFB)。实验证明，SFB能够大幅提升高光谱图像的分类性能。

近年来，卷积神经网络(CNN)在高光谱图像分类任务中取得了优异的性能并得到广泛的应用。但由于传统的CNN采用的卷积核具有尺度单一的局限性，因而深层网络的训练所获得的特征通常较为有限。在分类任务中，采用单一尺度的卷积核不利于性能的提升。此外，基于有限的标记样本训练高维数据的分类网络依然是高光谱图像分类的挑战之一。针对以上问题，本文提出了一种基于膨胀卷积的高光谱图像分类网络(ECNet)。膨胀卷积在原有标准卷积的基础上注入空洞，使得感受野扩大，从而提取更多的上下文特征。由于高光谱图像的浅层特征包含更多的位置及细节信息，而深层特征包含更强的语义信息，为进一步加强深层与浅层信息的相关性，受ResNet思想的启发，在ECNet的基础上引入类反馈模块(SFB)，通过该反馈机制将深层特征与浅层特征进行融合，从而得到 ECNet方法的改进版本，称为FECNet。本研究在四种普遍使用的高光谱数据集(即印度松树(IP)、帕维亚大学(UP)、肯尼迪航空中心(KSC)，萨利纳斯山谷(SV))，以及一种更高分辨率的数据集(休斯顿大学(HT))上进行了实验。实验结果表明，与经典和最先进的方法相比，提出的方法获得了更好的分类性能，这表明FECNet在高光谱图像分类中具有一定的潜力。

在本发明中提出了一种基于膨胀卷积的ECNet，它通过膨胀卷积层的叠加来扩大感受野，从而获得更具判别能力的特征。该方法缓解了由于感受野增大所带来的计算负担，也避免了小训练样本下的过拟合现象。此外，膨胀卷积的等效卷积核与标准卷积的卷积核相同的情况下，膨胀卷积模块不仅所需的参数比标准卷积模块更少，且提供的分类精度也更高。为了进一步增强特征的传播，我们在ECNet的基础上引入了SFB。实验结果表明，SFB的加入能够明显改善分类性能，也充分证明了该模块在高光谱图像分类中的有效性。将提出的ECNet和FECNet在四种经典的数据集和一种更高分辨率的数据集上进行实验，并与多种最新的分类方法进行对比。实验结果表明，ECNet和FECNet能提供最好的分类性能，且具有很强的泛化能力。在未来的工作中，我们将考虑更加有效地联合空间和光谱的膨胀卷积模块，以更有效提取高光谱图像特征，进而提高对高光谱图像的分类性能。

附图说明

图1为本发明提出的FECNet网络的结构层次图；图2为二维膨胀卷积图；图3为三维膨胀卷积图；图4为标准卷积与膨胀卷积计算量和参数量关系图，(a)为参数量之间的关系，(b)为计算量之间的关系；图5为本发明设计的膨胀卷积模块(ECB)图；图 6为光谱注意力机制模块(SAB)图；图7为类反馈机制结构(SFA)图；图8为SFB 结构图；

图9为IP场景的真实地物图，(a)为真实地物，(b)为IP数据集的标签；

图10为UP场景的真实地物图，(a)为真实地物，(b)为UP数据集的标签；

图11为KSC场景的真实地物图，(a)为真实地物，(b)为KSC数据集的标签；

图12为SV场景的真实地物图，(a)为真实地物，(b)为SV数据集的标签；

图13为HT场景的真实地物图，(a)为真实地物，(b)为HT数据集的标签；

图14为IP数据集的分类结果(样本比例为3％)图，(a)为真实地物，(b)为 SVM(68.76％)，(c)为SSRN(90.25％)，(d)为CDCNN(64.86％)，(e)为PyResNet(85.65％)， (f)为DBMA(87.95％)，(g)为DBDA(93.58％)，(h)为Hybird-SN(82.18％)，(i)为 A²S²K-ResNet(92.55％)，(j)为DSSNet(48.32％)，(k)为ECNet(95.33％)，(l)为 FECNet(95.81％)；

图15为UP数据集的分类结果(样本比例为0.5％)图，(a)为真实地物图，(b) 为SVM(82.06％)，(c)为SSRN(92.50％)，(d)为CDCNN(87.94％)，(e)为PyResNet(83.01％)， (f)为DBMA(91.80％)，(g)为DBDA(96.01％)，(h)为Hybird-SN(82.09％)，(i)为 A²S²K-ResNet(86.81％)，(j)为DSSNet(57.9％)，(k)为ECNet(97.12％)，(l)为FECNet(97.50％)；

图16为KSC数据集的分类结果(样本比例为5％)图，(a)为真实地物图，(b) 为SVM(87.96％)，(c)为SSRN(94.52％)，(d)为CDCNN(89.33％)，(e)为PyResNet(96.97％)， (f)为DBMA(94.12％)，(g)为DBDA(96.76％)，(h)为Hybird-SN(79.72％)，(i)为 A²S²K-ResNet(98.34％)，(j)为DSSNet(83.4％)，(k)为ECNet(99.12％)，(l)为 FECNet(99.27％)；

图17为SV数据集的分类结果(样本比例为0.5％)图，(a)为真实地物图，(b) 为SVM(86.98％)，(c)为SSRN(92.04％)，(d)为CDCNN(88.36％)，(e)为PyResNet(92.73％)， (f)为DBMA(92.95％)，(g)为DBDA(93.74％)，(h)为Hybird-SN(87.78％)，(i)为 A²S²K-ResNet(95.15％)，(j)为DSSNet(69.4％)，(k)为ECNet(97.41％)，(l)为 FECNet(97.85％)；

图18为HT数据集的分类结果(样本比例为2％)图，(a)为真实地物图(b)为 SVM(84.12％)。(c)为SSRN(88.09％)，(d)为CDCNN(74.64％)，(e)为PyResNet(80.09％)， (f)为DBMA(90.73％)，(g)为DBDA(92.17％)，(h)为Hybird-SN(89.31％)，(i)为 A²S²K-ResNet(92.18％)，(j)为DSSNet(52.61％)，(k)为ECNet(92.90％)，(l)为 FECNet(93.43％)；

图19为比较输入的不同空间大小图；

图20a为所有方法IP数据集的OA比较图；图20b为所有方法在UP数据集上不同训练样本比例的OA比较图；图20c为所有方法在UP数据集上不同训练样本比例的OA 比较图；图20d为所有方法在UP数据集上不同训练样本比例的OA比较图；图20e为所有方法在UP数据集上不同训练样本比例的OA比较图。

具体实施方式

具体实施方式一：本实施方式基于膨胀卷积的高光谱图像分类方法具体过程为：

步骤二、建立FECNet网络；

所述FECNet网络为基于类反馈注意力机制的膨胀卷积网络；

FECNet网络包括FECNet网络包括：输入层、第一三维卷积层(1×1×7)、第一批归一化层BN层、膨胀卷积单元、类反馈机制SFB、第二三维卷积层(1×1×7)、第二批归一化层BN层、第二ReLU激活层、光谱注意力块SAB、第三批归一化层BN层、第三 ReLU激活层、第三Dropout、第三全局最大池化层、FC、Softmax和输出层；

本发明构建的FECNet框架的流程图如图1所示。它主要由几个组件构成：膨胀卷积块(ECB)、光谱注意力块(SAB)，以及类反馈机制(SFB)。特别地，设计的FECNet 网络与ECNet相比不同的是，FECNet加入了SFB。其中，采用ECB获取更具上下文信息的特征，在相同卷积感受野的情况下，与标准卷积相比，该模块所需要的训练参数更少。为了更好的提取重要的特征，且抑制无用的特征，SAB模块用来强调波段的有效性。为了进一步充分提高浅层特征与深层特征的表示能力，采用SFB模块将深层特征融合到浅层特征，进行再次特征提取。

FECNet网络的结构层次图主要由三个模块构成：基于ResNet思想的类反馈机制模块 (SFB)，能够扩大卷积感受野的膨胀卷积模块(ECB)及具有强调功能的光谱注意力模块(SAB)。此外，为了更有效地分类，将原始输入HSI进行逐像素样本处理并作为网络的输入(左上角)，网络的最后对获取的深层特征通过简单的分类结构进行分类。特别地，所设计的ECNet不具备FECNet的类反馈机制模块(SFB)。

提出的方法ECNet

ECNet结构主要由膨胀卷积模块(ECB)和注意力机制模块(SAB)构成。为了较好的描述本文提出的ECB模块，将先对二维膨胀卷积及三维膨胀卷积的原理进行简单介绍，然后将详细介绍ECNet中的组件ECB以及SAB。

1)二维及三维膨胀卷积

近年来，卷积神经网络CNN由于其强大的特征提取能力，在深度学习领域得到广泛应用。然而，由于传统的标准卷积其自身的局限性，多种不同的卷积方式得到衍生。其中，膨胀卷积因其能够获取更大感受野的优点，在深度学习中也得到了广泛应用。

为了说明二维膨胀卷积与标准卷积的区别，以3×3卷积核为例，二维膨胀卷积过程如图2所示(其中,p×p表示空间大小)。从感受野大小的角度分析，感受野随着膨胀卷积的扩张率的增大而增大；从计算复杂度的角度分析，膨胀卷积与标准卷积相比，在相同卷积感受野的情况下(不包括扩张率为1)，膨胀卷积训练所需的参数比标准卷积少，且随着扩张率的增大，两者所需参数差异越大。为了更一般地表示二维膨胀卷积关系，假设卷积核的大小为r×r，扩张率为d，等效卷积核大小为r'×r'，则

r'＝r+(r-1)(d-1) (1)

可以看出，当扩张率为1时，膨胀卷积与标准卷积结果一致；当扩张率为2时，膨胀卷积的卷积核为3×3与标准卷积的卷积核为5×5的感受野一致；同理，当扩张率为3时，膨胀卷积的卷积核为3×3与标准卷积的卷积核为7×7的感受野一致。因此，感受野的一般的表达式为

R_i+1＝R_i+(r'-1)S_i (2)

其中，R_i为第i层的感受野，R_i+1为第i+1层的感受野，S_i为前面i层的所有步长的乘积。

图2为二维膨胀卷积图，图2中从左到右，膨胀卷积的扩张率分别为1，2和3。三角形表示注入的空洞点，且值为0。

图3为三维膨胀卷积图，图3中从左到右，膨胀卷积的扩张率分别为1，2和3。深色点表示扩展率为1时，卷积核对应位置的值，而浅色点表示注入的空洞点，且值为0。

与二维膨胀卷积不同的是，三维膨胀卷积的原理及相应关系建立在三维空间上，如图 3所示。同样地，为了说明三维膨胀卷积的工作过程，图示采用的卷积核大小为3×3×3。三维膨胀卷积与三维标准卷积的关系依然遵循二维卷积的规律。从感受野大小的角度来看，感受野依然随着扩展率的增大而增大；从计算复杂度的角度来看，膨胀卷积与标准卷积在相同卷积感受野的情况下(不包括扩张率为1)，膨胀卷积训练所需的参数依然比标准卷积少，且随着扩张率的增大，两者所需参数差异越大。

具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤二中类反馈机制 SFB包括第一SFA、第二SFA、第三SFA；

所述第一SFA包括：第四全局最大池化层、第四全局平均池化层、第五全局平均池化层、第五三维卷积层(1×1×1)、第五批归一化层BN层、第五ReLU激活层；

所述第二SFA包括：第六全局最大池化层、第六全局平均池化层、第七全局平均池化层、第七三维卷积层(1×1×1)、第七批归一化层BN层、第七ReLU激活层；

所述第三SFA包括：第八全局最大池化层、第八全局平均池化层、第九全局平均池化层、第九三维卷积层(1×1×1)、第九批归一化层BN层、第九ReLU激活层。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述步骤二中膨胀卷积单元包括第一膨胀卷积模块ECB和第二膨胀卷积模块ECB；

所述第一膨胀卷积模块ECB包括：第十膨胀卷积层(扩展率为1，卷积核大小1×1×3)、第十批归一化层BN、第十ReLU激活层、第十一膨胀卷积层(扩展率为2，卷积核大小 1×1×3)、第十一批归一化层BN、第十一ReLU激活层、第十二膨胀卷积层(扩展率为 3，卷积核大小1×1×3)、第十二批归一化层BN、第十二ReLU激活层；

所述第二膨胀卷积模块ECB包括：第十三膨胀卷积层(扩展率为1，卷积核大小 1×1×3)、第十三批归一化层BN、第十三ReLU激活层、第十四膨胀卷积层(扩展率为 2，卷积核大小1×1×3)、第十四批归一化层BN、第十四ReLU激活层、第十五膨胀卷积层(扩展率为3，卷积核大小1×1×3)、第十五批归一化层BN、第十五ReLU激活层。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述FECNet网络连接关系为：

输入层连接第一三维卷积层，第一三维卷积层连接第一批归一化层BN，第一批归一化层BN连接第一膨胀卷积模块ECB，第一膨胀卷积模块ECB的输出分别连接第一SFA 和第二膨胀卷积模块ECB；

第一SFA的输出作为第一膨胀卷积模块ECB的输入；

第二膨胀卷积模块ECB的输出分别作为第二SFA的输入、第三SFA的输入和第二三维卷积层(1×1×7)的输入；(第二膨胀卷积模块ECB的输出和第一膨胀卷积模块ECB 的输出共同作为第二膨胀卷积模块ECB的输入)；

第二SFA的输出作为第二膨胀卷积模块ECB的输入；

第三SFA的输出作为第一膨胀卷积模块ECB的输入；

(第一批归一化层BN的输出、第一SFA的输出和第三SFA的输出共同作为第一膨胀卷积模块ECB的输入)；

第二三维卷积层的输出连接第二批归一化层BN，第二批归一化层BN的输出连接第二ReLU激活层，第二ReLU激活层的输出作为光谱注意力块SAB的输入；

光谱注意力块SAB的输出和第二ReLU激活层的输出共同作为第三批归一化层BN的输入，第三批归一化层BN的输出连接第三ReLU激活层，第三ReLU激活层的输出连接第三Dropout层，第三Dropout层的输出连接第三全局最大池化层，第三全局最大池化层的输出连接FC，FC的输出连接Softmax，Softmax的输出通过输出层输出。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述第一批归一化层BN连接第一膨胀卷积模块ECB，第一膨胀卷积模块ECB的输出分别连接第一SFA和第二膨胀卷积模块ECB；具体过程为：

第一批归一化层BN连接第一膨胀卷积模块ECB中的第十膨胀卷积层，第十膨胀卷积层的输出连接第十批归一化层BN，第十批归一化层BN的输出连接第十ReLU激活层，第十ReLU激活层的输出连接第十一膨胀卷积层，第十一膨胀卷积层的输出连接第十一批归一化层BN，第十一批归一化层BN的输出连接第十一ReLU激活层，第十一ReLU激活层的输出连接第十二膨胀卷积层，第十二膨胀卷积层的输出连接第十二批归一化层 BN，第十二批归一化层BN的输出连接第十二ReLU激活层；

第十二ReLU激活层的输出分别连接第一SFA和第二膨胀卷积模块ECB。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述第十二ReLU激活层的输出连接第二膨胀卷积模块ECB；具体过程为：

第十二ReLU激活层的输出连接第二膨胀卷积模块ECB中的第十三膨胀卷积层，第十三膨胀卷积层的输出连接第十三批归一化层BN，第十三批归一化层BN的输出连接第十三ReLU激活层，第十三ReLU激活层的输出连接第十四膨胀卷积层，第十四膨胀卷积层的输出连接第十四批归一化层BN，第十四批归一化层BN的输出连接第十四ReLU激活层，第十四ReLU激活层的输出连接第十五膨胀卷积层，第十五膨胀卷积层的输出连接第十五批归一化层BN，第十五批归一化层BN的输出连接第十五ReLU激活层。

其它步骤及参数与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述第十二ReLU激活层的输出连接第一SFA；具体过程为：

第十二ReLU激活层的输出分别连接第一SFA中的第四全局最大池化层和第四全局平均池化层，第四全局最大池化层的输出和第四全局平均池化层的输出共同作为第五全局平均池化层的输入，第五全局平均池化层的输出连接第五三维卷积层(1×1×1)，第五三维卷积层的输出连接第五批归一化层BN层，第五批归一化层BN层的输出连接第五ReLU 激活层；

所述第二膨胀卷积模块ECB的输出分别作为第二SFA的输入、第三SFA的输入和第二三维卷积层的输入；具体过程为：

第二膨胀卷积模块ECB的输出分别连接第二SFA中的第六全局最大池化层和第六全局平均池化层，第六全局最大池化层的输出和第六全局平均池化层的输出共同作为第七全局平均池化层的输入，第七全局平均池化层的输出连接第七三维卷积层(1×1×1)，第七三维卷积层的输出连接第七批归一化层BN层，第七批归一化层BN层的输出连接第七ReLU激活层；

第二膨胀卷积模块ECB的输出分别连接第三SFA中的第八全局最大池化层和第八全局平均池化层，第八全局最大池化层的输出和第八全局平均池化层的输出共同作为第九全局平均池化层的输入，第九全局平均池化层的输出连接第九三维卷积层(1×1×1)，第九三维卷积层的输出连接第九批归一化层BN层，第九批归一化层BN层的输出连接第九ReLU激活层。

其它步骤及参数与具体实施方式一至六之一相同。

具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述第二ReLU 激活层的输出作为光谱注意力块SAB的输入；

光谱注意力块SAB的输出和第二ReLU激活层的输出共同作为第三批归一化层BN的输入；具体过程为：

第二ReLU激活层的输出作为光谱注意力块SAB的输入，光谱注意力块SAB对第二ReLU激活层的输出进行变形，变形后进行转置得到X₁；光谱注意力块SAB对第二ReLU 激活层的输出进行变形，得到X₂；光谱注意力块SAB对第二ReLU激活层的输出进行变形，得到X₃；对X₁和X₂进行矩阵乘法，矩阵乘法后输入激活函数层f(·)，得到G；G 的输出、X₂的输出和X₃的输出进行矩阵乘法，矩阵乘法后进行变形，将变形后输出与第二ReLU激活层的输出进行矩阵相加，输出图像；

SAB组件：在神经网络当中，注意力机制能够动态管理信息流和特征，从而改善学习效果。该机制过滤掉无关刺激，并帮助网络处理长期的依赖关系。为了关注有用特征，本文在网络中设计了一个光谱注意力机制模块(SAB)。下面内容将详细介绍所设计的 SAB的工作过程。

SAB结构如图6所示。可以看出，光谱注意力机制是通过理解光谱通道之间的关系，且将每个输入元素设置为0至1的阈值，该阈值能够体现该元素在特征中的重要程度或者依赖程度。具体地说，假设输入为P∈R^d×d×k(其中，d×d为空间大小，k为通道数量)，为方便计算不同位置之间的依赖关系，首先将输入进行相关变形或转置得到X₁,X₂及X₃，将X₁和X₂进行矩阵乘法及f(·)；

所述激活函数层f(·)＝softmax(·) (9)

f(·)表示激活函数层，该函数能够将注意力图整理成每个通道加权之和为1的概率分布，记为G∈R^k×k

这里，g_ji为第i个通道对第j个通道的权重系数，即第i个通道对第j个通道的重要程度，X_n(n＝1,2,...,k)表示X的第n个通道。设α为注意力参数(若α＝0时，注意力机制不工作)

这里，Y_n(n＝1,2,...,k)表示Y∈R^d×d×k的第n个通道。

其它步骤及参数与具体实施方式一至七之一相同。

具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，所述第十膨胀卷积层(扩展率为1，卷积核大小1×1×3)、第十一膨胀卷积层(扩展率为2，卷积核大小1×1×3)、第十二膨胀卷积层(扩展率为3，卷积核大小1×1×3)、第十三膨胀卷积层(扩展率为1，卷积核大小1×1×3)、第十四膨胀卷积层(扩展率为2，卷积核大小1×1×3)、第十五膨胀卷积层(扩展率为3，卷积核大小1×1×3)中每个膨胀卷积层的参数量和计算量如下

f_EXP＝r²MNH'W' (7)

F_EXP＝HWr²MNH'W' (8)

其中，f_EXP表示膨胀卷积的参数量，F_EXP表示膨胀卷积的计算量，r²表示卷积核的空间大小，M为输入的特征图数量，N为输出的特征图数量，H为输入特征图的高度， W为输入特征图的宽度，H'为输出特征图的高度，W'为输出特征图的宽度。

ECB组件

在深度学习中，卷积是非常有效的特征提取方法。具体地说，设输入为X∈R^H×W×L(其中，H，W和L分别为输入的高度，宽度和通道数量)，输出为Y∈R^H'×W'×L'，则输入经过卷积运算之后

Y＝X*W+b (4)

这里，W∈R^r×r×M×N为加权张量(其中，r×r为卷积核的空间大小，M,N分别为输入和输出的特征图数量)，b为偏置项；为了进一步比较膨胀卷积与标准卷积，假设膨胀卷积的扩展率为d，则标准卷积的参数量和计算量如下

f_STD＝(r+2(d-1))²MNH'W' (5)

F_STD＝HW(r+2(d-1))²MNH'W' (6)

这里，f_STD表示标准卷积的参数量，F_STD表示标准卷积的计算量。由上述介绍可知，膨胀卷积是在不降低图像分辨率，也不增加额外参数和计算量的情况下，扩大卷积感受野。膨胀卷积的参数量和计算量如下

f_EXP＝r²MNH'W' (7)

F_EXP＝HWr²MNH'W' (8)

可见，标准卷积是膨胀卷积的一个特殊形式。其中，f_EXP表示膨胀卷积的参数量，F_EXP表示膨胀卷积的计算量。

为了更直观地表示在标准卷积感受野与膨胀卷积的等效感受野一致的情况下，标准卷积与膨胀卷积计算量和参数量的区别，图4给出了两者的关系。从图中4可以看出，随着感受野的增大，膨胀卷积的计算量和参数量均不变化，而标准卷积的计算量和参数量呈指数型增长。

对于高光谱图像，提取丰富的多尺度信息能够大幅改善分类的性能。然而，在进行网络设计时，依然存在着一些矛盾，如感受野和计算复杂度之间的矛盾，大的感受野和小的感受野之间的矛盾。为了比较好地解决以上矛盾，本发明采用膨胀卷积作为提出网络的主要特征提取方法。设计的ECB如图5所示。该模块主要有三部分组成，分别为膨胀卷积层，批归一化层(BN)，以及激活函数单元(ReLU)。其中，膨胀卷积层表示为“卷积核大小-输出特征图数量-扩张率”。例如，第一膨胀卷积层1×1×3-c-1表示卷积核大小为 1×1×3，输出特征图数量为c，扩张率为1。

为了进一步体现膨胀卷积的优势，设计中采用多个膨胀卷积层串行连接的方式来搭建网络。根据膨胀卷积的原理，这种方式能够使得感受野最大化。简单地说，当前层的感受野大小是该层扩张的感受野叠加上一层的感受野。由于本发明提出的卷积核空间大小为 1×1，故卷积核为1×1×3的三维膨胀卷积的感受野计算原理与二维膨胀卷积的原理类似。

设计的ECNet采用两个ECB串行连接，且ECB中三个膨胀卷积层的扩张率分别为1，2和3。

ECNet的改进方法FECNet：在ECNet的基础上引入类反馈模块(SFB)，该模块由多个类反馈机制(SFA)密集连接构成。

在深度学习中，由于浅层特征包含更多的位置及细节信息，而深层特征包含更强的语义信息。浅层特征的提取能够有助于深层特征的提取，而深层特征也可以为浅层特征提供反馈。因此，将深层的多尺度特征与浅层特征融合，是提高高光谱图像分类性能的一个重要手段。因此，本文设计了SFA，该机制通过深层特征以一种注意图的方式反馈给浅层特征，浅层特征与反馈注意图融合，从而实现深层特征与浅层特征的深度融合。以下将详细介绍SFA的结构。

SFA的具体结构如图7所示。假设中间输入X₀为2c个R^d×d×b(其中，d×d为立方体的空间大小，b为通道数量)，X₀经过一个最大池化层和平均池化层之后生成两个映射，分别X₁和X₂。为了平衡局部信息与全局不变性，将所得到的X₁和X₂进行级联操作得到 X₃。然后，将结果经过一个全局平均池化层得到X。最后，X与K卷积得到校正矩阵Y，即

Y＝G(X)＝XK+b (4)

上式中，G(·)表示卷积函数，m和n分别表示卷积核的行和列，b表示卷积的偏置项。在 SFB中，X＝{x|x₁,x₂,...,x_4c}∈R^1×1×4c，K＝{k|k₁,k₂,...,k_2c}∈R^1×1×2c，b＝[b₁,b₂,...,b_2c]^T， Y∈R^1×2c。

为了充分地反馈后面层的语义信息，SFA被密集连接，构成SFB，如图8所示。这种密集连接方法是受到ResNet思想的启发，该方法将深层特征反馈给前面所有层。深层特征经过SFB模块得到反馈的校正矩阵，该矩阵能够表示深层特征的语义信息，将所得到的校正矩阵加载到浅层的特征中，使得浅层特征能够得到深层特征相关的权重初值。这种类反馈模块能够很好地结合深层与浅层特征信息，且形成深层特征与浅层特征的直接相关性，这对于特征的有效提取非常有利。

其它步骤及参数与具体实施方式一至八之一相同。

具体实施方式十：本实施方式与具体实施方式一至九之一不同的是，所述第十膨胀卷积层扩展率为1，卷积核大小为1×1×3；第十一膨胀卷积层扩展率为2，卷积核大小为1×1×3；第十二膨胀卷积层扩展率为3，卷积核大小为1×1×3；第十三膨胀卷积层扩展率为1，卷积核大小为1×1×3；第十四膨胀卷积层扩展率为2，卷积核大小为1×1×3；第十五膨胀卷积层扩展率为3，卷积核大小为1×1×3；第一三维卷积层卷积核大小为1×1×7；第二三维卷积层卷积核大小为1×1×7；第五三维卷积层卷积核大小为1×1×1；第七三维卷积层卷积核大小为1×1×1；第九三维卷积层卷积核大小为1×1×1。

其它步骤及参数与具体实施方式一至九之一相同。

采用以下实施例验证本发明的有益效果：

实施例一：

为验证提出的ECNet和改进的FECNet的有效性，在五个HSI数据集上进行了大量的实验。

A、实验数据描述：实验采用四种普遍使用的公开数据集和一种更高分辨率的数据集，包括印度松树(IP)、帕维亚大学(UP)、肯尼迪航空中心(KSC)，萨利纳斯山谷(SV) 以及休斯顿大学(HT)数据集。数据集的彩色复合图像，地物真实分类图以及每一类的详细信息如图9-13所示。

1)IP：印度松树数据集是1992年6月由机载可见红外成像光谱仪(AVIRIS)传感器捕获而来。数据集的空间大小为145×145，波段数为220，波长范围为0.2-2.4微米。其中，除去吸水和低信噪比的波带数(波段为108-112，150-163和220)，还剩下200个波段可用于实验。该图像的真实地物类别为16(如图9所示)。2)UP：帕维亚大学数据集是由反射光学光谱成像系统(ROSIS-3)传感器获得。该数据集包含9个真实地物类别，图像大小为610×340，且空间分辨率为1.3m，具有115个波段，波长范围为0.43-0.86微米。除13个噪声波段外，还剩下103个波段被用于实验(如图10所示)。3)KSC：肯尼迪航空中心数据集的获取工具与IP数据集一样，是1996年在弗罗里达州使用AVIRIS传感器捕获而来。该图像的空间大小为512×614，除去吸水带，还剩下176个波段可用于实验。图像的空间分辨率为20m，光谱范围包括400-2500纳米。该图像包含13个不同的土地覆盖类别(如图11所示)。4)SV：萨利纳斯山谷数据集也是由AVIRIS传感器收集的。该数据集的特点是不同地物覆盖类别规律性分布。图像包含16个地物类别且空间大小为 512×217，除去吸水波段(108-112，154-167和224)，还剩下204个波段用于实验(如图12所示)。5)HT：休斯顿大学数据集是2012年6月在休斯顿大学校园由紧凑型机载光谱成像仪(CASI)传感器获取。这个场景的空间大小为349×1905，且波段数为114，波长范围为380-1050纳米。该图像包含15个地物覆盖类别(如图13所示)。

B、实验设置：本发明提出的网络批处理大小和训练轮次分别设置为16和200，且采用Adam算法进行优化。在实验过程中，学习率的设置范围为0.001，0.005，0.0001，0.0005和0.00005，通过对每一个学习率进行多次实验，最终将学习率设置为0.0005。设计的网络采用Pytorch框架设计与实现。所有的数据结果都是30次实验结果的平均值，且都在相同的配置下实现的。其中，实验的硬件平台是Intel(R)Core(TM)i9-9900K CPU、 NVIDIAGeForce RTX 2080Ti GPU和32GBRAM，实验软件平台基于Windows10 VSCODE操作系统，包括CUDA10.0、Pytorch 1.2.0和Python 3.7.4。

为了评估不同方法的分类性能，使用整体精度(OA)、平均精度(AA)和卡帕系数(Kappa)作为评价指标。

C、分类结果：为了验证本文方法ECNet和FECNet在高光谱图像分类中的有效性，所提出方法与两类不同的方法进行比较：一类是经典方法SVM，另一类是8种基于深度学习的方法，包括SSRN,CDCNN,PyResNet,DBMA,DBDA,Hybrid-SN,A²S²KResNet和 DSSNet。

SVM是一种基于径向基函数(RBF)的光谱分类器。CDCNN是一种深度上下文CNN，通过联合单个像素向量的空间光谱关系最优地探索局部上下文。PyResNet是一种ResNet 的改进，它在普通的CNN中加入附加链路，且在所有的Conv层逐渐增加特征图的维度。与上述方法不同的是，DBMA与DBDA设计了双分支结构，且分别用来提取空间和光谱特征。Hybrid-SN是一种3D-CNN和2D-CNN混合模型，该模型分别使用3D-CNN与 2D-CNN提取光谱和空间特征。A²S²KResNet使用自适应光谱与空间核改进了ResNet，通过端到端的训练捕获更具鉴别特征的空间光谱特征。DSSNet是一种基于膨胀卷积的分割网络，旨在解决池化操作可能会导致分辨率和覆盖面积损失的问题。

由于不同的空间输入大小对分类性能的影响较大，为了公平比较，将所有方法的输入空间大小设置为9×9。此外，IP、UP、KSC、SV及HT数据集的训练样本百分比设为3％、0.5％、5％、0.5％及2％。

IP数据集的结果：表Ⅰ和图14给出了ECNet与FECNet方法与其他方法比较的数值和可视化结果。在表Ⅰ可以看到，ECNet和FECNet的三个指标OA、AA和Kappa均高于其他方法。其中，FECNet获得最佳的OA(95.81％)、AA(93.48％)和Kappa(95.22％)，而ECNet获得的OA、AA和Kappa仅比FECNet的结果低0.48％、0.41和0.54％。此外，与其他方法相比，ECNet的OA比其他比较方法高出26.57％(SVM)、5.08％(SSRN)、 30.47％(CDCNN)、9.68％(PyResNet)、7.38％(DBMA)、1.75％(DBDA)、13.15％ (Hybrid-SN)、2.78％(A²S²K-ResNet)以及47.01％(DSSNet)。图14是可视化结果。由于原始IP数据集不同类别之间混合严重，很多先进的比较方法分类结果不够理想，比如Hybrid-SN和DSSNet。同样，从图14的分类图可以看出，SVM、SSRN、CDCNN、 PyResNet和DSSNet的分类图存在较多的噪声。此外，DBDA、DBDA、Hybrid-SN以及 A²S²K-ResNet也存在很多错误的分类。然而，本发明提出的方法ECNet和FECNet得到了很好的分类结果图，如图13。

表Ⅰ使用3％训练样本的IP数据集分类结果

UP数据集的结果：表Ⅱ和图15给出了具体的分类结果。UP数据集有9个类别，比 IP数据集少了7个，UP光谱波段数约是IP的一半，但从分类结果来看，UP数据集更易于分类。从表Ⅱ可以看出，基于双分支结构的DBMA和DBDA在UP数据集上获得的结果比SSRN、CDCNN、PyResNet、Hybrid-SN以及DSSNet的结果要好。然而，本文提出的ECNet与FECNet的OA、AA和Kappa比上述比较方法更高。ECNet与FECNet两个方法当中，ECNet的三个指标OA、AA和Kappa稍低于FECNet。从分类图来看，如图 15所示，标签分类错误较多的方法是SVM、PyResNet、A²S²K-ResNet以及DSSNet。从表Ⅲ的分类结果也能得到相同的结论。然而，采用本文方法ECNet和FECNet得到的分类结果图效果最好，特别是红色框内的类别，如图15的(k)和(l)。

表Ⅱ使用0.5％训练样本的UP数据集分类结果

图15为UP数据集的分类结果(样本比例为0.5％)图，(a)为真实地物图，(b) 为SVM(82.06％)，(c)为SSRN(92.50％)，(d)为CDCNN(87.94％)，(e)为PyResNet(83.01％)， (f)为DBMA(91.80％)，(g)为DBDA(96.01％)，(h)为Hybird-SN(82.09％)，(i)为 A²S²K-ResNet(86.81％)，(j)为DSSNet(57.9％)，(k)为ECNet(97.12％)，(l)为 FECNet(97.50％)；

KSC数据集的结果：表Ⅲ和图16分别给出了所有方法分类结果。通过表Ⅲ可以看到，与表Ⅱ中UP数据集的分类结果相比，KSC数据集的分类结果有较大的改善，这得益于KSC数据集内包含的噪声较少，以及KSC数据集的空间分辨率比UP更高。此外，更值得注意的是，本文提出的ECNet和FECNet依然得到了最高的OA、AA和Kappa值。其中，FECNet的OA、AA和Kappa依然稍高于ECNet。而ECNet与其他的比较方法相比， ECNet的OA高出11.16％(SVM)、4.60％(SSRN)、9.79％(CDCNN)、5.15％(PyResNet)、 5.00％(DBMA)、2.36％(DBDA)、19.40％(Hybrid-SN)、0.78％(A²S²K-ResNet) 以及15.72％(DSSNet)。不同方法对KSC数据集的分类结果见图16。Oak/broadleaf(C5) 是KSC数据集中难以分类的类别。为了更易于观察，将分类结果图的部分区域放大，如图16的红色框标记处。可以看出，对于那些用于比较的方法，除了A²S²K-ResNet的C5 分类效果较好，SVM、SSRN、CDCNN、PyResNet、DBMA、DBDA、Hybrid-SN以及 DSSNet的C5类别几乎全被错误分类。然而，与上述比较方法相比，ECNet与FECNet 分类效果更好。

表Ⅲ使用5％训练样本的KSC数据集分类结果

SV数据集的分类结果：每个方法的分类结果如表Ⅳ和图17。从表Ⅳ可以看出，对于Grapes-untrained(C8)，本发明的方法ECNet和FECNet能得到较好的分类结果，而其他方法对该类别的分类效果较差，这说明对于较难分类的类别，本文提出方法依然能有效地提取特征，进一步说明了提出方法具有较强的鲁棒性。此外，与其他比较方法相比，ECNet 的OA高出10.43％(SVM)、5.37％(SSRN)、9.05％(CDCNN)、4.68％(PyResNet)、 4.46％(DBMA)、3.67％(DBDA)、9.63％(Hybrid-SN)、2.26％(A²S²K-ResNet)以及28.01％(DSSNet)。所有方法的可视化结果如图17所示。可以看出，ECNet与FECNet 的分类图比其他分类图更加平滑，这证明了在类别比较相似且土地覆盖具有规律性的数据集中，本文提出方法更具有优越性。

表Ⅳ使用0.5％训练样本的SV数据集分类结果

图17为SV数据集的分类结果(样本比例为0.5％)图，(a)为真实地物图，(b) 为SVM(86.98％)，(c)为SSRN(92.04％)，(d)为CDCNN(88.36％)，(e)为PyResNet(92.73％)。 (f)为DBMA(92.95％)，(g)为DBDA(93.74％)，(h)为Hybird-SN(87.78％)，(i)为 A²S²K-ResNet(95.15％)，(j)为DSSNet(69.4％)，(k)为ECNet(97.41％)，(l)为 FECNet(97.85％)；

HT数据集的分类结果：表Ⅴ和图18给出了所有方法的分类结果。从图18中的(a)、(k)和(l)可以看出，ECNet和FECNet的分类图与真实地物图的视觉效果基本一致。从表Ⅴ可以看出，提出方法在HT数据集上能提供最高的OA、AA和Kappa。其中，FECNet 与其他比较方法中三种指标最高的A²S²K-ResNet相比，FECNet的OA、AA和Kappa分别高出1.25％、0.37％和1.34％。

表Ⅴ使用2％训练样本的HT数据集分类结果

图18为HT数据集的分类结果(样本比例为2％)图，(a)为真实地物图，(b)为 SVM(84.12％)，(c)为SSRN(88.09％)，(d)为CDCNN(74.64％)，(e)为PyResNet(80.09％)， (f)为DBMA(90.73％)，(g)为DBDA(92.17％)，(h)为Hybird-SN(89.31％)，(i)为 A²S²K-ResNet(92.18％)，(j)为DSSNet(52.61％)，(k)为ECNet(92.90％)，(l)为 FECNet(93.43％)。

综上分析，本发明提出的ECNet和FECNet方法，在五个数据集上均得到了最好的分类结果，这充分证明了提出方法具有很强的泛化能力。在类别较多且分布不均的IP数据集和分辨率更高的HT数据集，ECNet和FECNet依然能够获得比其他方法更好的分类精度。此外，在类别比较相似的SV数据集与波段较少的UP数据集，我们的方法能够将比较难区分的类别实现高精度分类。

提出方法的分析

将对本发明所提出方法的参数进行分析，且选择模型中适合的参数。

1)提出方法各模块的贡献：为了验证本文提出方法中各模块的有效性，对各模块进行了消融实验，结果如表Ⅵ所示。从表中可以看出，与标准CNN相比，提出的ECB能提供更高的OA值，这表明通过膨胀卷积来扩大光谱特征提取的感受野比较有效。此外，我们在ECB的基础上加入了SFB模块，该模块能将深层特征反馈给浅层特征，使得浅层特征能够进行自我调节。实验结果表明，SFB能够进一步提高分类性能。对于数据集IP与 HT，当网络加入ECB与SFB模块后，分类效果改善更加明显。

表Ⅵ提出方法采用不同模块的OA值比较(％)

2)比较不同的输入大小：参数的设置能够影响分类性能，而输入的空间大小对网络的分类性能影响较大。为了进一步验证不同输入大小对性能的影响，选择空间输入大小为5 ×5、7×7、9×9、11×11以及13×13进行实验。图19给出了FECNet方法的输入空间大小比较结果。从图19可以看出：第一，当输入的空间尺寸较小，训练所获得的OA值相对较低。第二，对于IP、UP、KSC数据集，OA在达到较优性能后，随着空间大小的增加，OA值变化不大。而对于SV与HT数据集，OA先上升后下降。第三，对于数据集 IP、UP和KSC在空间尺寸为9×9的时候取得最优的性能。虽然SV和HT在空间尺寸为 9×9时没能获得最优分类性能，但也取得了次优的分类性能。因此，本次实验所有数据集采用的输入空间大小为9×9。

3)不同方法的运行时间和参数量比较：表Ⅶ给出了所有方法的训练时间和参数量的比较结果。由于PyResNet在CNN中加入附加链路，且在所有的Conv层逐渐增加特征图的维度，这就导致该模型训练需要的参数较大。ECNet与FECNet基于膨胀卷积建立模型，使得网络所需要的参数相对较少。同样地，ECNet与FECNet与基于双分支的DBMA和 DBDA相比，两者所需的训练参数与时间相差不大，但是ECNet与FECNet的性能更好。虽然基于膨胀卷积的DSSNet参数量与ECNet和FENet相差不大，但训练时间较长，特别是IP和SV数据集。综上分析，与所有方法相比，ECNet与FECNet在五个数据集上训练所需的参数较少，且运行时间也比较适中。

表Ⅶ所有比较的方法与提出方法训练所需运行时间(s)和参数

4)不同方法在不同训练样本比例的OA比较：所有方法在五个数据集中不同训练样本比例下的OA比较结果如图20所示。这里，纵坐标表示整体精度OA，横坐标表示训练样本比例。从图20可以看出，ECNet与FECNet在所有样本比例中的OA，均比其他方法得到的OA更高，这说明本文提出方法不仅在小样本下能够实现高精度分类，在大样本下依然能够保持最佳的分类性能，进一步证明了提出方法的有效性。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

[1]L.Liang,L.Di,L.Zhang,M.Deng,Z.Qin,S.Zhao,and H.Lin,“Estimation ofcrop lai using hyperspectral vegetation indices and ahybrid inversionmethod,”Remote Sens.Environ.,vol.165,pp. 123–134,Aug.2015.[2]X.Yang and Y.Yu,“Estimating soil salinity under various moistureconditions:An experimentalstudy,”IEEE Trans.Geosci.Remote Sens.,vol.55,no.5,pp.2525–2533,May 2017.[3]N.Yokoya,J.C.-W.Chan,and K.Segl,“Potential of resolutionenhanced hyperspectraldata for mineral mapping using simulatedenmap and sentinel-2images,”RemoteSens.,vol.8,no.3,pp.172–189,Feb.2016.[4]S.Li, R.Dian,L.Fang,and J.M.Bioucas-Dias,“Fusing hyperspectraland multispectral images via coupled sparse tensorfactorization,”IEEETrans.Image Process.,vol.27,no.8,pp.4118–4130,Aug.2018.[5]S.Zhang,J. Li,Z.Wu,and A.Plaza,“Spatial discontinuity-weightedsparse unmixingof hyperspectral images,”IEEE Trans.Geosci.RemoteSens.,vol.56,no.10,pp.5767–5779,Oct.2018.[6]P.Ghamisi,N.Yokoya,J.Li,W. Liao,S.Liu,J.Plaza,B.Rasti,andA.Plaza,“Advances in hyperspectral image and signal processing:Acomprehensive overview of the state of the art,”IEEE Geosci.RemoteSens.Mag.,vol.5,no.4,pp.37–78, Dec.2017.[7]F.Melgani and L.Bruzzone,“Classification ofhyperspectral remotesensing images with support vector machines,”IEEETrans.Geosci.Remote Sens.,vol.42,no.8,pp.1778–1790,Aug.2004.[8]J. Li,J.M.Bioucas-Dias,and A.Plaza,“Semisupervised hyperspectralimage segmentationusing multinomial logistic regression with activelearning,”IEEETrans.Geosci.Remote Sens.,vol.48,no.11,pp.4085–4098, Nov.2010.[9]J.Li,J.M.Bioucas-Dias,and A.Plaza,“Spectral–spatial hyperspectralimagesegmentation using subspace multinomial logistic regression andmarkov randomfields,”IEEE Trans.Geosci.Remote Sens., vol.50,no.3,pp.809–823,Mar.2012.[10]B.Du and L.Zhang,“Random-selection-based anomaly detector forhyperspectralimagery,”IEEE Trans.Geosci.Remote Sens.,vol.49,no.5,pp.1578–1589,May 2011.[11] B.Du and L.Zhang,“Target detection based on a dynamic subspace,”PatternRecog.,vol.47,no.1,pp. 344–358,Jan.2014.[12]G.Licciardi,P.R.Marpu,J.Chanussot,and J.A.Benediktsson,“Linear versus nonlinear PCA for theclassification of hyperspectraldata based on the extended morphologicalprofiles,” IEEE Geosci.Remote Sens.Lett.,vol.9,no.3,pp.447–451,May 2012.[13]A.Villa,J.A.Benediktsson,J. Chanussot,and C.Jutten,“Hyperspectralimageclassification with independent component discriminantanalysis,”IEEETrans.Geosci.Remote Sens.,vol.49,no.12,pp.4865–4876,Dec.2011.[14]T. V.Bandos,L.Bruzzone,and G.Camps-Valls,“Classification ofhyperspectral images withregularized linear discriminant analysis,”IEEE Trans.Geosci.Remote Sens.,vol.47,no.3,pp.862–873,Mar.2009.[15]P. Ghamisi et al.,“New frontiers inspectral-spatial hyperspectral imageclassification:The latest advances basedon mathematical morphology,markov random fields,segmentation,sparserepresentation,and deeplearning,” IEEE Geosci.Remote Sens.Mag.,vol.6,no.3,pp.10–43,Sep.2018.[16]L.He,J.Li,C.Liu,and S.Li, “Recent advances on spectral-spatialhyperspectral image classification:An overview and new guidelines,”IEEE Trans.Geosci.Remote Sens.,vol.56,no.3,pp.1579–1597,Mar.2018.[17]J.A.Benediktsson,J.Palmason,and J.R.Sveinsson,“Classification ofhyperspectraldata from urban areas based on extended morphologicalprofiles,”IEEETrans.Geosci.Remote Sens.,vol.43,no.3,pp.480–491,Mar. 2005.[18]G.Camps-Valls,L.Gomez-Chova,J.Munoz-Mar～′1,J.Vila-Frances,′and J.Calpe-Maravilla,“Composite kernels for hyperspectral imageclassification,”IEEETrans.Geosci.Remote Lett.,vol.3,no.1, pp.93–97,Jan.2006.[19]Ma.Fauvel,J.Chanussot,and J.A.Benediktsson,“A spatial–spectralkernel-based approach forthe classification of remote-sensing images,”Pattern Recog.,vol.45,no.1,pp.381–392,Jan. 2012.[20]Y.Chen,N.M.Nasrabadi,and T.D.Tran,“Hyperspectralimageclassification using dictionary-based sparse representation,”IEEETrans.Geosci.Remote Sens.,vol.49,no.10,pp.3973–3985, Oct.2011.[21]L.Fang,S.Li,X.Kang,and J.A.Benediktsson,“Spectral–spatialhyperspectral imageclassification via multiscale adaptive sparse representation,”IEEETrans.Geosci.Remote Sens.,vol.52,no. 12,pp.7738–7749,Dec.2014.[22]L.Fang,C.Wang,S.Li,and J.A.Benediktsson,“Hyperspectralimage classification viamultiple-feature-based adaptive sparse representation,”IEEETrans.Instrum.Meas.,vol.66, no.7,pp.1646–1657,Jul.2017.[23]S.Li,T.Lu,L.Fang,X.Jia,and J.A.Benediktsson,“Probabilisticfusion of pixel-level andsuperpixel-level hyperspectral image classification,”IEEE Trans.Geosci.RemoteSens., vol.54,no.12,pp.7416–7430,Dec.2016.[24]T.Lu,S.Li,L.Fang,X.Jia,andJ.A.Benediktsson,“From subpixelto superpixel:A novel fusion framework forhyperspectral imageclassification,”IEEE Trans.Geosci. Remote Sens.,vol.55,no.8,pp.4398–4411,Aug.2017.[25]L.Fang,N.He,S.Li,P.Ghamisi,and J.A.Benediktsson,“Extinctionprofiles fusion for hyperspectral imagesclassification,”IEEE Trans.Geosci. Remote Sens.,vol.56,no.3,pp.1803–1815,Mar.2018.[26]A.Plaza et al.,“Recent advances in techniques for hyperspectralimageprocessing,”Remote Sens.Environ.,vol.113,no.1,pp.110–122,Sep.2009.[27]A.Bordes,X.Glorot,J.Weston,and Y.Bengio,“Joint learning ofwords and meaningrepresentations for open-text semantic parsing,”inProc.Int.Conf.Art.Intell.Stat,2012,pp.127–135.[28]B.Rasti et al., “Featureextraction for hyperspectral imagery:Theevolution from shallow to deep,”IEEEGeosci.Remote Sens.Mag.,vol.8,no.4,pp.60–88,Dec.2020.[29]X.Zhang,Y.Liang,C.Li,N.Huyan,L.Jiao,and H. Zhou,“Recursive autoencoders-based unsupervisedfeature learning for hyperspectralimage classification,” IEEE Geosci.RemoteSens.Lett.,vol.14,no.11,pp.1928–1932,Nov.2017.[30]T.Li,J.Zhang,and Y. Zhang,“Classification of hyperspectral imagebased on deep belief networks,”inProc.IEEE Int.Conf.Image Process.,Oct.2014,pp.5132–5136.[31]B.Pan,Z.Shi,andX.Xu,“R-VCANet:A new deep-learning-basedhyperspectral image classificationmethod,”IEEE J.Sel.Topics Appl.Earth Observ. Remote Sens.,vol.10,no.5,pp.1975–1986,May 2017.[32]X.Cao,F.Zhou,L.Xu,D.Meng,Z.Xu,and J. Paisley,“Hyperspectral image classification with Markov random fields and aconvolutional neural network,” IEEE Trans.Image Process.,vol.27,no.5,pp.2354–2367,May 2018.[33]H.Lee and H.Kwon,“Going deeper with contextual CNN forhyperspectral image classification,”IEEE Trans.Image Process.,vol.26,no. 10,pp.4843–4855,Oct.2017.[34]G.Hughes,“On the mean accuracy of statisticalpattern recognizers,” IEEE Transactions on Information Theory,vol.14,no.1,pp.55-63,1968.[35]K.He,X.Zhang,S.Ren,and J. Sun,“Deep residual learningforimage recognition,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognition.(CVPR),Jun.2016,pp.770–778.[36]Z.Zhong,J.Li,Z.Luo,and M.Chapman, “Spectral–Spatial residual network for hyperspectral image classification:A 3-D deeplearning framework,” IEEE Trans.Geosci.Remote Sens.,vol.56,no.2,pp.847–858,Feb.2018.[37]M.E.Paoletti,J.M.Haut,R. Fernandez-Beltran,J.Plaza,A.J.Plaza,andF.Pla,“Deep pyramidal residual networks for spectral-spatial hyperspectralimage classification,”IEEE Trans.Geosci.Remote Sens.,vol.57,no.2,pp.740–754,Feb.2019. [38]G.Huang,Z.Liu,L.Van Der Maaten,and K.Q.Weinberger,“Denselyconnected convolutional networks,”in Proc.IEEE Conf.Comput.Vision PatternRecognit.,Jul.2017,pp.2261–2269.[39]P.Duan,X. Kang,S.Li,and P.Ghamisi,"Noise-robust hyperspectral image classification via multi-scale total variation,"IEEE Journal of Selected Topics in Applied Earth Observations and RemoteSensing.,vol.12,no.6,pp. 1948-1962,Jun.2019.[40]S.Fang,D.Quan,S.Wang,L.Zhang,and L.Zhou,"A two-branch network with semi-supervised learning forhyperspectral classification,"in IGARSS 2018-2018 IEEE InternationalGeoscience and Remote Sensing Symposium.,Jul.2018:IEEE,pp.3860-3863.[41]B.-s.Liu and W.-l. Zhang,"Multi-Scale Convolutional Neural Networks Aggregationfor Hyperspectral Images Classification," in 2019 Symposium onPiezoelectrcity,Acoustic Waves and Device Applications(SPAWDA).,Jan.2019:IEEE,pp.1-6.[42]S.K.Roy,G.Krishna,S.R.Dubey,and B.B.Chaudhuri,“HybridSN:Exploring 3-D–2-D CNN feature hierarchy for hyperspectral imageclassification,”IEEE Geosci.Remote Sens.Lett., vol.17,no.2,pp.277–281,Feb.2020.[43]Z.Meng,L.Jiao,M.Liang,and F.Zhao,“Hyperspectral imageclassification with mixed link networks,”IEEE J.Sel.TopicsAppl.EarthObserv.Remote Sens.,vol.14,pp. 2494–2507,2021.[44]Roy S K,Manna S,Song T,et al.Attention-Based Adaptive Spectral-Spatial Kernel ResNet forHyperspectral Image Classification[J].IEEE Transactions on Geoscience andRemote Sensing,2020:1-13.[45]Cui B,Dong X M,Zhan Q,et al.LiteDepthwiseNet:AnExtreme Lightweight Network for Hyperspectral Image Classification[J].2020.[46]Ma X,Fu A,Wang J,et al.Hyperspectral Image Classification Based on DeepDeconvolution Network With Skip Architecture[J].IEEE Transactions onGeoscience and Remote Sensing,2018,PP:1-11.[47]F.Yu and V.Koltun,“Multi-scalecontext aggregation by dilated convolutions,”2015,arXiv:1511.07122.[Online].Available:http://arxiv.org/abs/1511.07122.[48]Pan B,Xu X,Shi Z,et al.“DSSNet:A Simple Dilated Semantic Segmentation Network for Hyperspectral ImageryClassification”.IEEE Geoscience and Remote Sensing Letters,2020,PP(99):1-5.[49]A.Vaswani et al.,“Attention is all you need,”in Proc.Adv.NeuralInf.Process.Syst.,2017,pp.5998–6008.[50]H.Jie,S.Li,S.Gang,H.Jie,S.Li,andS.Gang,“Squeeze-and excitation networks,”in Proc.IEEE Conf.Comput.VisionPattern Recognit.,Jun.2018,pp.7132–7141.[51] Q.Wang,B.Wu,P.Zhu,P.Li,W.Zuo,andQ.Hu,“ECA-Net:Efficient channel attention for deep convolutional neuralnetworks,”in Proc.IEEE Conf.Comput.Vision Pattern Recognit.,Jun.2020,pp.11534–11542.[52]S.Woo,J.Park,J.-Y.Lee,and I.S.Kweon,“CBAM:Convolutionalmodule attention module,”in Proc.Eur.Conf.Comput.Vision,2018,p.17.[53]W.Ma,Q.Yang,Y.Wu,W.Zhao,and X. Zhang,“Double-branch multiattention mechanismnetwork for hyperspectral image classification,”Remote Sens.,vol.11,no.11,p.1307,Jun.2019.[Online].Available:https://www.mdpi.com/2072-4292/11/11/1307.[54]J.Fu et al.,“Dual attention network for scene segmentation,”in Proc.IEEE/CVF Conf.Comput.Vis. Pattern Recognit.(CVPR),Jun.2019,pp.3146–3154.[55]R.Li,S.Zheng,C.Duan,Y.Yang,and X.Wang, “Classification ofhyperspectral image basedon double-branch dual-attention mechanismnetwork,”Remote Sens.,vol.12,no.3,p.582,Feb.2020.[Online].Available:https://www.mdpi.com/2072-4292/12/3/582.[56] Y.Cui,Z.Yu,J Han,S.Gao,and L.Wang,“Dual-Triple Attention Network forHyperspectralImage Classification UsingLimited Training Samples”IEEEGeoscience and Remote Sensing Letters,2021.[57]D. Erhan，Y.Bengio，A.Courville，P.-A.Manzagol，P.Vincent，and S.Bengio，“Why does unsupervised pre-training helpdeep learning？”Journal of Machine Learning Research，vol.11，no.Feb，pp.625-660,2010. [58]M.Z.Alom,T.M.Taha,C.Yakopcic,S.Westberg,P.Sidike,M.S.Nasrin,M.Hasan,B.C.Van Essen，A.A. Awwal,and V.K.Asari,"A state-of-the-art survey ondeep learning theory and architectures,”Electronics， vol.8,no.3,p.292,2019.[59]M.Z.Alom,T.M.Taha,C.Yakopcic,S.Westberg,P.Sidike,M.S. Nasrin,M.Hasan,B.C.Van Essen，A.A.Awwal,and V.K.Asari,"A state-of-the-art survey on deeplearning theory and architectures,”Electronics，vol.8,no.3,p.292,2019.[60]Y.Bengio,P.Simard,and P. Frasconi,"Learning long-term dependencieswithgradient descent is difficult,IEEE transactions on neural networks,vol.5,no.2,pp.157-166，1994.

Claims

1.基于膨胀卷积的高光谱图像分类方法，其特征在于：所述方法具体过程为：

步骤二、建立FECNet网络；

所述FECNet网络为基于类反馈注意力机制的膨胀卷积网络；

FECNet网络包括FECNet网络包括：输入层、第一三维卷积层、第一批归一化层BN层、膨胀卷积单元、类反馈机制SFB、第二三维卷积层、第二批归一化层BN层、第二ReLU激活层、光谱注意力块SAB、第三批归一化层BN层、第三ReLU激活层、第三Dropout、第三全局最大池化层、FC、Softmax和输出层；

2.根据权利要求1所述基于膨胀卷积的高光谱图像分类方法，其特征在于：所述步骤二中类反馈机制SFB包括第一SFA、第二SFA、第三SFA；

所述第一SFA包括：第四全局最大池化层、第四全局平均池化层、第五全局平均池化层、第五三维卷积层、第五批归一化层BN层、第五ReLU激活层；

所述第二SFA包括：第六全局最大池化层、第六全局平均池化层、第七全局平均池化层、第七三维卷积层、第七批归一化层BN层、第七ReLU激活层；

所述第三SFA包括：第八全局最大池化层、第八全局平均池化层、第九全局平均池化层、第九三维卷积层、第九批归一化层BN层、第九ReLU激活层。

3.根据权利要求2所述基于膨胀卷积的高光谱图像分类方法，其特征在于：所述步骤二中膨胀卷积单元包括第一膨胀卷积模块ECB和第二膨胀卷积模块ECB；

所述第一膨胀卷积模块ECB包括：第十膨胀卷积层、第十批归一化层BN、第十ReLU激活层、第十一膨胀卷积层、第十一批归一化层BN、第十一ReLU激活层、第十二膨胀卷积层、第十二批归一化层BN、第十二ReLU激活层；

所述第二膨胀卷积模块ECB包括：第十三膨胀卷积层、第十三批归一化层BN、第十三ReLU激活层、第十四膨胀卷积层、第十四批归一化层BN、第十四ReLU激活层、第十五膨胀卷积层、第十五批归一化层BN、第十五ReLU激活层。

4.根据权利要求3所述基于膨胀卷积的高光谱图像分类方法，其特征在于：所述FECNet网络连接关系为：

输入层连接第一三维卷积层，第一三维卷积层连接第一批归一化层BN，第一批归一化层BN连接第一膨胀卷积模块ECB，第一膨胀卷积模块ECB的输出分别连接第一SFA和第二膨胀卷积模块ECB；

第一SFA的输出作为第一膨胀卷积模块ECB的输入；

第二膨胀卷积模块ECB的输出分别作为第二SFA的输入、第三SFA的输入和第二三维卷积层的输入；

第二SFA的输出作为第二膨胀卷积模块ECB的输入；

第三SFA的输出作为第一膨胀卷积模块ECB的输入；

5.根据权利要求4所述基于膨胀卷积的高光谱图像分类方法，其特征在于：所述第一批归一化层BN连接第一膨胀卷积模块ECB，第一膨胀卷积模块ECB的输出分别连接第一SFA和第二膨胀卷积模块ECB；具体过程为：

第一批归一化层BN连接第一膨胀卷积模块ECB中的第十膨胀卷积层，第十膨胀卷积层的输出连接第十批归一化层BN，第十批归一化层BN的输出连接第十ReLU激活层，第十ReLU激活层的输出连接第十一膨胀卷积层，第十一膨胀卷积层的输出连接第十一批归一化层BN，第十一批归一化层BN的输出连接第十一ReLU激活层，第十一ReLU激活层的输出连接第十二膨胀卷积层，第十二膨胀卷积层的输出连接第十二批归一化层BN，第十二批归一化层BN的输出连接第十二ReLU激活层；

6.根据权利要求5所述基于膨胀卷积的高光谱图像分类方法，其特征在于：所述第十二ReLU激活层的输出连接第二膨胀卷积模块ECB；具体过程为：

7.根据权利要求6所述基于膨胀卷积的高光谱图像分类方法，其特征在于：所述第十二ReLU激活层的输出连接第一SFA；具体过程为：

第十二ReLU激活层的输出分别连接第一SFA中的第四全局最大池化层和第四全局平均池化层，第四全局最大池化层的输出和第四全局平均池化层的输出共同作为第五全局平均池化层的输入，第五全局平均池化层的输出连接第五三维卷积层，第五三维卷积层的输出连接第五批归一化层BN层，第五批归一化层BN层的输出连接第五ReLU激活层；

第二膨胀卷积模块ECB的输出分别连接第二SFA中的第六全局最大池化层和第六全局平均池化层，第六全局最大池化层的输出和第六全局平均池化层的输出共同作为第七全局平均池化层的输入，第七全局平均池化层的输出连接第七三维卷积层，第七三维卷积层的输出连接第七批归一化层BN层，第七批归一化层BN层的输出连接第七ReLU激活层；

第二膨胀卷积模块ECB的输出分别连接第三SFA中的第八全局最大池化层和第八全局平均池化层，第八全局最大池化层的输出和第八全局平均池化层的输出共同作为第九全局平均池化层的输入，第九全局平均池化层的输出连接第九三维卷积层，第九三维卷积层的输出连接第九批归一化层BN层，第九批归一化层BN层的输出连接第九ReLU激活层。

8.根据权利要求7所述基于膨胀卷积的高光谱图像分类方法，其特征在于：所述第二ReLU激活层的输出作为光谱注意力块SAB的输入；具体过程为：

第二ReLU激活层的输出作为光谱注意力块SAB的输入，光谱注意力块SAB对第二ReLU激活层的输出进行变形，变形后进行转置得到X₁；

光谱注意力块SAB对第二ReLU激活层的输出进行变形，得到X₂；

光谱注意力块SAB对第二ReLU激活层的输出进行变形，得到X₃；

对X₁和X₂进行矩阵乘法，矩阵乘法后输入激活函数层f(·)，得到G；

G的输出、X₂的输出和X₃的输出进行矩阵乘法，矩阵乘法后进行变形，将变形后输出与第二ReLU激活层的输出进行矩阵相加，输出图像。

9.根据权利要求8所述基于膨胀卷积的高光谱图像分类方法，其特征在于：所述第十膨胀卷积层、第十一膨胀卷积层、第十二膨胀卷积层、第十三膨胀卷积层、第十四膨胀卷积层、第十五膨胀卷积层中每个膨胀卷积层的参数量和计算量如下

f_EXP＝r²MNH'W' (7)

F_EXP＝HWr²MNH'W' (8)

其中，f_EXP表示膨胀卷积的参数量，F_EXP表示膨胀卷积的计算量，r²表示卷积核的空间大小，M为输入的特征图数量，N为输出的特征图数量，H为输入特征图的高度，W为输入特征图的宽度，H'为输出特征图的高度，W'为输出特征图的宽度。

10.根据权利要求9所述基于膨胀卷积的高光谱图像分类方法，其特征在于：所述第十膨胀卷积层扩展率为1，卷积核大小为1×1×3；

第十一膨胀卷积层扩展率为2，卷积核大小为1×1×3；

第十二膨胀卷积层扩展率为3，卷积核大小为1×1×3；

第十三膨胀卷积层扩展率为1，卷积核大小为1×1×3；

第十四膨胀卷积层扩展率为2，卷积核大小为1×1×3；

第十五膨胀卷积层扩展率为3，卷积核大小为1×1×3；

第一三维卷积层卷积核大小为1×1×7；

第二三维卷积层卷积核大小为1×1×7；

第五三维卷积层卷积核大小为1×1×1；

第七三维卷积层卷积核大小为1×1×1；

第九三维卷积层卷积核大小为1×1×1。