CN113486851A - 基于双分支光谱多尺度注意力网络的高光谱图像分类方法 - Google Patents

基于双分支光谱多尺度注意力网络的高光谱图像分类方法 Download PDF

Info

Publication number
CN113486851A
CN113486851A CN202110856236.5A CN202110856236A CN113486851A CN 113486851 A CN113486851 A CN 113486851A CN 202110856236 A CN202110856236 A CN 202110856236A CN 113486851 A CN113486851 A CN 113486851A
Authority
CN
China
Prior art keywords
layer
output
dimensional
convolution
dimensional convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110856236.5A
Other languages
English (en)
Other versions
CN113486851B (zh
Inventor
石翠萍
廖帝灵
王天毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qiqihar University
Original Assignee
Qiqihar University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qiqihar University filed Critical Qiqihar University
Priority to CN202110856236.5A priority Critical patent/CN113486851B/zh
Publication of CN113486851A publication Critical patent/CN113486851A/zh
Application granted granted Critical
Publication of CN113486851B publication Critical patent/CN113486851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

基于双分支光谱多尺度注意力网络的高光谱图像分类方法，本发明涉及高光谱图像分类方法。本发明的目的是为了解决现有高光谱图像提取的过程中，由于高光谱图像的高维特性以及小训练样本的情况，导致高光谱图像分类准确率低的问题。过程为：步骤一、采集高光谱图像数据集和相对应的标签向量数据集；步骤二、建立双分支光谱多尺度注意力网络DBSMA；步骤三、将训练数据、验证数据和对应标签向量数据输入到建立的双分支光谱多尺度注意力网络DBSMA中，采用Adam算法进行迭代优化，得到最优网络DBSMA；步骤四、向最优网络DBSMA中输入测试数据进行分类结果预测。本发明用于图像分类领域。

Description

基于双分支光谱多尺度注意力网络的高光谱图像分类方法
技术领域
本发明涉及高光谱图像分类方法。
背景技术
近年来，随着科学技术的快速发展，遥感图像被应用于许多领域。高光谱图像具有较高的空间分辨率以及丰富的光谱波段[1]，这使其应用领域十分广泛，如地球勘探[2]、环境监测[3]、生态科学[4]等。
高光谱图像分类是高光谱技术的重要应用之一。由于高光谱图像含有丰富的空间和光谱信息，充分地提取图像的空间特征和光谱特征，能够有效提高高光谱图像分类精度。因此，很多提取空间特征和光谱特征的方法被提出，以提高对高光谱图像的分类性能。在早期，基于线性的分类方法被提出，如判别约束分析[5]、主成分分析[6]，以及平衡局部判别方法[7]等。但由于线性方法表达能力较弱，应用在较复杂的问题中，分类效果较差。为了改善分类性能，一些基于流型学习的分类方法被提出，如C.Zhao等人[8]提出了基于稀疏低秩近等距线性嵌入方法，以及F.Luo等人[9]提出的半监督稀疏流型识别分析方法等。
关于图像分类，涌现出很多具有代表性的分类器。例如，基于无监督聚类的k最近邻的分类器[10]、适用于高维数据的半监督方法的逻辑回归分类器[11]、结构非常简单的极端学习分类器[12]、基于稀疏表示的分类器[13]，以及支持向量机分类器[14]。其中，基于支持向量机的分类器在训练样本较少的情况下，相比其他分类器，对图像的分类效果更佳。
高光谱图像具有丰富的信息。然而，传统的机器学习方法并不能充分挖掘高光谱图像的特征，虽然能够提取图像的浅层特征，但对高光谱图像的分类效果较差，且泛化能力较弱。随着图像处理技术的快速发展及硬件性能的提升，一些能够学习更深层特征的深度学习方法被相继提出。由于深度学习方法的先进性，它已经被广泛应用于图像处理领域。特别地，研究工作证明深度学习方法在高光谱图像分类中同样具有很好的表现[15]。为了改进传统的手工空间-光谱学习方法，Tao等人[16]提出一种基于堆叠稀疏自动编码器的方法(SAE)，从未标记数据中自适应地学习合适的特征表示，最后用支持向量机分类器进行分类。在[17]，提出了一种通过空间-光谱局域化和分类的方式来提高分类精度的深度置信网络(DBN)。但SAE和DBN两个网络具有参数量较大的完整的连接层，且空间扁平化操作也使得空间信息被破坏。
目前，有很多深度学习的方法被应用在高光谱图像分类中，并且得到了很好的分类性能。递归神经网络(RNNs)因其较好的数据建模能力[18]-[20]，被人们关注并广泛地应用于图像分类。但由于RNNs在小样本情况下提取图像的特征效果不佳，导致分类性能并不理想。为缓解这一问题，一种生成对抗网络被提出，它能够生成高质量的数据样本[21]-[28]。同样地，通过图结构数据建模的图卷积神经网络(GCNs)利用半监督的方式缓解了小样本带来的问题[29][30]。
受人类视觉的启发，CNN通过采用局部连接的权值共享方式来训练模型，能够提供较好的高光谱图像分类性能。在高光谱图像分类研究中，大多数方法都是基于空间-光谱联合方式提取特征[31]。在[32]，Zhang等人提出了一种双通道卷积神经网络(DCCNN)，一个通道利用1-D CNN提取图像的光谱信息，另一个通道则是利用2-D CNN提取图像的空间信息，最后通过回归分类器将两个通道分别提取的光谱信息和空间信息融合分类。为了降低需要的参数，Chen等人[33]提出了一种同时提取深层光谱和空间信息的方法3DCNN。在[34]，Mei等人为探究五层CNN在高光谱分类中的特征学习能力，提出了一种新的深度学习方法C-CNN，即通过将空间上下文信息和光谱信息集成到C-CNN，从而提高空间和光谱信息的表征能力。虽然基于CNN的方法能够提取较好的特征，但为了避免过拟合，参数的微调通常需要大量的数据样本。然而，数据样本的获取昂贵并且耗时。因此，一种层之间快捷连接的网络(DenseNet)[35]被提出，能够较好地提高网络对高光谱图像的泛化能力。为了提高深层网络的学习能力，避免梯度爆炸以及梯度消散的问题发生，He等人[36]设计一个深度残差网络(ResNet)，该网络能够使深层网络后面的层与浅层网络进行恒等映射，从而使深层网络后面的层具有与浅层网络一样的性能。为了联合学习高光谱图像的空间和光谱信息，Zhong等人[37]提出了一种空间残差和光谱残差的监督残差网络(SSRN)。但由于SSRN的训练时间较长，Wang等人[38]提出了一种快速密集的空间光谱卷积网络(FDSSC)，能够有效降低数据维度。在[39]，Paoletti等人提出一种残差金字塔网络(pResNet)，在平衡所有单元的工作负载的同时，能够逐渐增加各层之间的特征映射维度。从高光谱图像中提取的特征，不可避免地存在大量的冗余信息。受人类视觉注意力的启发，Juan等人[40]提出一种A-ResNet与注意力结合的模型，能够从视觉角度识别数据中最具代表性的特征。同样地，Woo等人[41]将ResNet网络与一种前馈卷积神经网络的注意力模块结合，提出了一种卷积注意模块(CBAM)，很好地保留有用特征并抑制无用特征，最后得到了较好的高光谱图像分类结果。为了提取更有判别力的空间特征和光谱特征，Ma等人[42]提出一种双分支多注意力网络(DBMA)，即通过双分支分别使用不同的注意力机制提取高光谱图像的空间特征和光谱特征，然后将提取的两种特征融合分类。实验结果表明DBMA网络在高光谱分类中具有很好的表现。为了进一步研究，Li等人[43]提出了一种用于人机交互的双分支双注意力机制网络(DBDA)，在小训练样本数量的情况下，具有很好的分类性能。
相比于传统的机器学习方法，上述方法虽然在高光谱图像分类中更有优势，且具有一定的泛化能力。然而，在小样本情况下，提高高光谱图像的分类性能依然是一项重大的挑战。由于高光谱图像提取的过程中，包含大量的冗余信息以及不同标记样本之间的不平衡性，这大大降低了高光谱图像的分类性能。因此，如何在有限的样本情况下获取更多的样本特征依然值得深入研究。
发明内容
本发明的目的是为了解决现有高光谱图像提取的过程中，由于高光谱图像的高维特性以及小训练样本的情况，导致高光谱图像分类准确率低的问题，而提出基于双分支光谱多尺度注意力网络的高光谱图像分类方法。
基于双分支光谱多尺度注意力网络的高光谱图像分类方法具体过程为：
步骤一、采集高光谱图像数据集X和相对应的标签向量数据集Y；具体过程为：
步骤一一、从高光谱图像数据集X中以目标像素为中心分别提取9×9×L大小的立方体，其中L是光谱波段；9×9代表空间大小；步骤一二、将高光谱图像数据集X随机分配成x1,x2,x3,分别表示训练数据、验证数据和测试数据；
同理，Y包括Y1、Y2、Y3；Y1是x1的对应标签向量数据，Y2是x2的对应标签向量数据，Y3是x3的对应标签向量数据；
步骤二、建立双分支光谱多尺度注意力网络DBSMA；
步骤三、将x1,x2和Y1,Y2输入到建立的双分支光谱多尺度注意力网络DBSMA中，采用Adam算法进行迭代优化，得到最优网络DBSMA；
步骤四、向最优网络DBSMA中输入x3进行分类结果预测。
本发明的有益效果为：
本发明提出了一种基于双分支光谱多尺度注意力网络的高光谱图像分类方法，该网络由两个分支构成：在光谱分支中，利用金字塔多尺度卷积模块MSSP与光谱注意力的结构提取光谱信息；在空间分支中，利用密集连接块与空间注意力机制的结构提取空间信息。此外，将两个分支得到的特征融合分类。本文提出的网络模型具有较好的分类性能以及较强的泛化能力。实验结果表明，在DBSMA网络中利用金字塔卷积模块MSSP，能够获得不同感受野的光谱特征，有利于提高对高光谱图像的分类性能。在未来的研究中，我们拟进一步对MBSMA方法进行改进，以更有效地提取高光谱图像的空谱特征，并增强网络的泛化能力。
为了在有限的样本情况下获取更多的图像特征，我们提出了DBSMA方法，该方法以DenseNet为基础，在光谱分支采用多尺度的卷积核提取高光谱图像不同层次的特征。此外，在光谱分支和空间分支均引入注意力机制，在大量冗余信息中学习更具代表性的特征信息，增强图像特定区域的表征能力。
多尺度光谱金字塔卷积结构是在高光谱分类中首次尝试光谱分支，实验表明该方法能够提供较好的分类效果，且具有较好的泛化能力。
由于单一尺度的卷积核具有局限性，本文提出了一种多尺度光谱金字塔结构，这种结构通过不同大小的卷积核获取图像不同邻域的特征，使提取的特征更加全面，包括全局特征和局部特征。最后，将提取的特征信息融合，以利于提高高光谱图像的分类性能。
为加强深层特征信息流动性，将三个多尺度金字塔结构密集连接，即上一层的输出作为所有后面层的输入，这种密集连接结构有利于更充分地提取高光谱图像特征。为减少训练参数，对多尺度金字塔结构的不同分支采用不同大小的分组卷积，从而缩短训练时间，并改善分类性能。
附图说明
图1为图1DBSMA总体流程图；图2为多尺度金字塔结构图；图3为分组卷积图；
图4为光谱多尺度金字塔卷积结构图；图5为密集连接MSSP结构图；图6为空间密集连接图；图7为光谱注意力模块图；图8为空间注意力模块图；图9为四种常见数据集的真实地物、假彩色图，以及可用样本数量图；图10a为印度松树数据集(IN)不同数量MSSP密集连接的分类性能图；图10b为帕维亚大学数据集(UP)不同数量MSSP密集连接的分类性能图；图10c为肯尼亚航空中心数据集(KSC)不同数量MSSP密集连接的分类性能图；图10d为萨利纳斯数据集(SV)不同数量MSSP密集连接的分类性能图；
图11为IN数据集的分类图，(a)为真实地物图，(b)为SVM，(c)为SSRN，(d)为CDCNN，(e)为pResNet，(f)为DBMA，(g)为DBDA，(h)为DBSMA；图12为UP数据集的分类图，(a)为真实地物图，(b)为SVM，(c)为SSRN，(d)为CDCNN，(e)为pResNet，(f)为DBMA，(g)为DBDA，(h)为DBSMA；图13为KSC数据集的分类结果及局部放大图，(a)为真实地物图，(b)为SVM，(c)为SSRN，(d)为CDCNN，(e)为pResNet，(f)为DBMA，(g)为DBDA，(h)为DBSMA；图14为SV数据集的分类图，(a)为真实地物图，(b)为SVM，(c)为SSRN，(d)为CDCNN，(e)为pResNet，(f)为DBMA，(g)为DBDA，(h)为DBSMA；
图15a为损失与轮次关系函数曲线图；图15b为精度与轮次关系函数曲线图；
图16a为SSRN方法对KSC数据集分类结果的混淆矩阵图，True Classes为真实分类，Predicted Classes为预测分类；图16b为DBDA方法对KSC数据集分类结果的混淆矩阵图；图16c为Proposed方法对KSC数据集分类结果的混淆矩阵图；
图17a为在IN数据集中不同训练样本比例下，不同方法的分类性能比较图，accuracy为预测精度，Percentage of training data为训练样本的百分比；图17b为在UP数据集中不同训练样本比例下，不同方法的分类性能比较图；图17c为在KSC数据集中不同训练样本比例下，不同方法的分类性能比较图；图17d为在SV数据集中不同训练样本比例下，不同方法的分类性能比较图；图18为本发明网络连接图。
具体实施方式
具体实施方式一：本实施方式基于双分支光谱多尺度注意力网络的高光谱图像分类方法具体过程为：
步骤一、采集高光谱图像数据集X和相对应的标签向量数据集Y；具体过程为：
步骤一一、从高光谱图像数据集X中以目标像素为中心分别提取9×9×L大小的立方体，其中L是光谱波段；9×9代表空间大小；
步骤一二、将高光谱图像数据集X随机分配成x1,x2,x3,分别表示训练数据、验证数据和测试数据；
同理，Y包括Y1、Y2、Y3；Y1是x1的对应标签向量数据，Y2是x2的对应标签向量数据，Y3是x3的对应标签向量数据；
步骤二、建立双分支光谱多尺度注意力网络DBSMA；
步骤三、将x1,x2和Y1,Y2输入到建立的双分支光谱多尺度注意力网络DBSMA中，采用Adam算法进行迭代优化，得到最优网络DBSMA；
步骤四、向最优网络DBSMA中输入x3进行分类结果预测。
具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤二中建立双分支光谱多尺度注意力网络DBSMA；具体过程为：
双分支光谱多尺度注意力网络DBSMA包括第一输入层、第一三维卷积层、第二三维卷积层、多尺度光谱金字塔密集连接模块、空间密集连接块、空间注意力模块、第七BN批归一化层、第七Mish激活层、第十三维卷积层、光谱注意力模块、第八BN批归一化层、第八Mish激活层、第九BN批归一化层、第九Mish激活层、第一Dropout层、第二Dropout层、全局均值池化层、全连接层以及分类器。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述双分支光谱多尺度注意力网络DBSMA连接关系为：
第一输入层的输出层分别连接第一三维卷积层和第二三维卷积层；
第一三维卷积层的输出连接空间密集连接块，空间密集连接块的输出连接空间注意力模块；
第二三维卷积层的输出连接多尺度光谱金字塔密集连接模块，多尺度光谱金字塔密集连接模块的输出连接第七BN批归一化层，第七BN批归一化层的输出连接第七Mish激活层，第七Mish激活层的输出连接第十三三维卷积层，第十三三维卷积层的输出连接光谱注意力模块；
空间注意力模块的输出连接第八BN批归一化层，第八BN批归一化层的输出连接第八Mish激活层，第八Mish激活层的输出连接第一Dropout层；
光谱注意力模块的输出连接第九BN批归一化层，第九BN批归一化层的输出连接第九Mish激活层，第九Mish激活层的输出连接第二Dropout层；
将第一Dropout层的输出和第二Dropout层的输出进行级联，级联后输入全局均值池化层，全局均值池化层的输出连接全连接层，全连接层输出结果通过分类器实现分类。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述空间密集连接块包括第一BN批归一化层、第一Mish激活层、第三三维卷积层、第二BN批归一化层、第二Mish激活层、第四三维卷积层、第三BN批归一化层、第三Mish激活层、第五三维卷积层。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述第一三维卷积层的输出连接空间密集连接块，空间密集连接块的输出连接空间注意力模块；具体连接关系为：
第一三维卷积层的输出分别作为第一BN批归一化层、第二BN批归一化层、第三BN批归一化层和空间注意力块中第二输入层的输入；
第一BN批归一化层的输出连接第一Mish激活层，第一Mish激活层连接第三三维卷积层，第三三维卷积层的输出分别作为第二BN批归一化层、第三BN批归一化层和空间注意力块中第二输入层的输入；
第二BN批归一化层的输出连接第二Mish激活层，第二Mish激活层连接第四三维卷积层，第四三维卷积层的输出分别作为第三BN批归一化层和空间注意力块中第二输入层的输入；
第三BN批归一化层的输出连接第三Mish激活层，第三Mish激活层连接第五三维卷积层，第五三维卷积层的输出作为空间注意力块中第二输入层的输入。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述空间注意力模块的输出连接第八BN批归一化层，第八BN批归一化层的输出连接第八Mish激活层，第八Mish激活层的输出连接第一Dropout层；具体连接关系为：
空间注意力模块中第二输入层的输出分别连接第二十六三维卷积层、第二十七三维卷积层、第二十八三维卷积层；
对第二十六三维卷积层输出特征进行变形得到特征a，对特征a进行转置得到特征b；
对第二十七三维卷积层输出特征进行变形得到特征c，将特征b和特征c相乘得到特征d，将特征d经过softmax激活层得到特征e；
对第二十八三维卷积层输出特征进行变形得到特征f，将特征f和特征e相乘得到特征g，对特征g进行变形得到特征h，将特征h和第二输入层的输出特征相乘得到特征i；
特征i输入第八BN批归一化层，第八BN批归一化层的输出连接第八Mish激活层，第八Mish激活层的输出连接第一Dropout层。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述多尺度光谱金字塔密集连接模块包括第四BN批归一化层、第四Mish激活层、第六三维卷积层、第十四三维卷积层、第十五三维卷积层、第十六三维卷积层、第二十三三维卷积层、第七三维卷积层、第五BN批归一化层、第五Mish激活层、第八三维卷积层、第十七三维卷积层、第十八三维卷积层、第十九三维卷积层、第二十四三维卷积层、第九三维卷积层、第六BN批归一化层、第六Mish激活层、第十三维卷积层、第二十三维卷积层、第二十一三维卷积层、第二十二三维卷积层、第二十五三维卷积层、第十一三维卷积层。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述第二三维卷积层的输出连接多尺度光谱金字塔密集连接模块，多尺度光谱金字塔密集连接模块的输出连接第七BN批归一化层，第七BN批归一化层的输出连接第七Mish激活层，第七Mish激活层的输出连接第十三三维卷积层，第十三三维卷积层的输出连接光谱注意力模块；具体连接关系为：
第二三维卷积层的输出分别作为第四BN批归一化层、第五BN批归一化层、第六BN批归一化层、第七BN批归一化层和第二十三三维卷积层的输入；
第四BN批归一化层的输出连接第四Mish激活层，第四Mish激活层连接第六三维卷积层，第六三维卷积层的输出分别连接第十四三维卷积层、第十五三维卷积层、第十六三维卷积层；对第十四三维卷积层的输出、第十五三维卷积层的输出和第十六三维卷积层的输出进行级联，级联后输入第七三维卷积层；
第七三维卷积层的输出分别作为第五BN批归一化层、第六BN批归一化层、第七BN批归一化层的输入；
第二十三三维卷积层的输出作为第五BN批归一化层的输入；
第五BN批归一化层的输出连接第五Mish激活层，第五Mish激活层连接第八三维卷积层，第八三维卷积层的输出分别连接第十七三维卷积层、第十八三维卷积层、第十九三维卷积层；对第十七三维卷积层、第十八三维卷积层和第十九三维卷积层的输出进行级联，级联后输入第九三维卷积层；
第九三维卷积层的输出分别作为第六BN批归一化层、第七BN批归一化层的输入；
第七三维卷积层的输出和第二十三三维卷积层的输出作为第二十四三维卷积层的输入，第二十四三维卷积层的输出作为第六BN批归一化层的输入；
第六BN批归一化层的输出连接第六Mish激活层，第六Mish激活层连接第十三维卷积层，第十三维卷积层的输出分别连接第二十三维卷积层、第二十一三维卷积层、第二十二三维卷积层；对第二十三维卷积层、第二十一三维卷积层和第二十二三维卷积层的输出进行级联，级联后输入第十一三维卷积层；
第十一三维卷积层的输出作为第七BN批归一化层的输入；
第九三维卷积层的输出和第二十四三维卷积层的输出作为第二十五三维卷积层的输入，第二十五三维卷积层的输出作为第七BN批归一化层的输入；
第七BN批归一化层的输出连接第七Mish激活层，第七Mish激活层连接第十三三维卷积层，第十三三维卷积层的输出连接光谱注意力模块。
其它步骤及参数与具体实施方式一至七之一相同。
具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，所述第十三三维卷积层的输出连接光谱注意力模块；
光谱注意力模块的输出连接第九BN批归一化层，第九BN批归一化层的输出连接第九Mish激活层，第九Mish激活层的输出连接第二Dropout层；
具体连接关系为：
第十三三维卷积层的输出连接光谱注意力模块，光谱注意力模块对第十三三维卷积层输出特征进行变形得到特征j，对特征j进行转置得到特征k，将特征j和特征k进行相乘得到特征l，特征l经过softmax激活层得到特征m，将特征m和特征j进行相乘得到特征n，对特征n进行变形得到特征o，将特征o和第十三三维卷积层输出特征相乘得到特征p，特征p输入第九BN批归一化层，第九BN批归一化层的输出连接第九Mish激活层，第九Mish激活层的输出连接第二Dropout层。
其它步骤及参数与具体实施方式一至八之一相同。
具体实施方式十：本实施方式与具体实施方式一至九之一不同的是，所述第一三维卷积层的卷积核大小为3×3×1，卷积核个数为24；
第二三维卷积层的卷积核大小为1×1×7，卷积核个数为24；
第三三维卷积层的卷积核大小为3×3×1，卷积核个数为12；
第四三维卷积层的卷积核大小为3×3×1，卷积核个数为12；
第五三维卷积层的卷积核大小为3×3×1，卷积核个数为12；
第六三维卷积层的卷积核大小为1×1×1，卷积核个数为96；
第七三维卷积层的卷积核大小为1×1×1，卷积核个数为12；
第八三维卷积层的卷积核大小为1×1×1，卷积核个数为96；
第九三维卷积层的卷积核大小为1×1×1，卷积核个数为12；
第十三维卷积层的卷积核大小为1×1×1，卷积核个数为96；
第十一三维卷积层的卷积核大小为1×1×1，卷积核个数为12；
第十三三维卷积层的卷积核大小为1×1×((L-6)/2)，卷积核个数为60；
第十四三维卷积层的卷积核大小为1×1×3，卷积核个数为24；
第十五三维卷积层的卷积核大小为1×1×5，卷积核个数为24；
第十六三维卷积层的卷积核大小为1×1×7，卷积核个数为48；
第十四三维卷积层的输出为9x9x((L-6)/2)，24；第十五三维卷积层的输出为9x9x((L-6)/2)，24；第十六三维卷积层的输出为9x9x((L-6)/2)，48；
第十七三维卷积层的卷积核大小为1×1×3，卷积核个数为24；
第十八三维卷积层的卷积核大小为1×1×5，卷积核个数为24；
第十九三维卷积层的卷积核大小为1×1×7，卷积核个数为48；
第十七三维卷积层的输出为9x9x((L-6)/2)，24；第十八三维卷积层的输出为9x9x((L-6)/2)，24；第十九三维卷积层的输出为9x9x((L-6)/2)，48；
第二十三维卷积层的卷积核大小为1×1×3，卷积核个数为24；
第二十一三维卷积层的卷积核大小为1×1×5，卷积核个数为24；
第二十二三维卷积层的卷积核大小为1×1×7，卷积核个数为48；
第二十三维卷积层的输出为9x9x((L-6)/2)，24；第二十一三维卷积层的输出为9x9x((L-6)/2)，24；第二十二三维卷积层的输出为9x9x((L-6)/2)，48；
第二十三三维卷积层的卷积核大小为1×1×1，卷积核个数为12；
第二十四三维卷积层的卷积核大小为1×1×1，卷积核个数为12；
第二十五三维卷积层的卷积核大小为1×1×1，卷积核个数为12；
第二十六三维卷积层的卷积核大小为1×1×1，卷积核个数为60；
第二十七三维卷积层的卷积核大小为1×1×1，卷积核个数为7；
第二十八三维卷积层的卷积核大小为1×1×1，卷积核个数为7。
其它步骤及参数与具体实施方式一至九之一相同。
所述第十四三维卷积层、第十五三维卷积层和第十六三维卷积层进行分组卷积操作；
其中第十四三维卷积层将输入特征图分为1组进行分组卷积操作；第十五三维卷积层将输入特征图分为4组进行分组卷积操作；第十六三维卷积层将输入特征图分为8组进行分组卷积操作；
所述第十七三维卷积层、第十八三维卷积层和第十九三维卷积层进行分组卷积操作；
其中第十七三维卷积层将输入特征图分为1组进行分组卷积操作；第十八三维卷积层将输入特征图分为4组进行分组卷积操作；第十九三维卷积层将输入特征图分为8组进行分组卷积操作；
所述第二十三维卷积层、第二十一三维卷积层和第二十二三维卷积层进行分组卷积操作；
其中第二十三维卷积层将输入特征图分为1组进行分组卷积操作；第二十一三维卷积层将输入特征图分为4组进行分组卷积操作；第二十二三维卷积层将输入特征图分为8组进行分组卷积操作；
具体过程为：
输入Ni个大小为H×W×L的特征图，卷积核大小为1×1×k；将输入特征图分为m组，则每组输入为
Figure BDA0003184256640000081
个H×W×L；
卷积核为
Figure BDA0003184256640000082
个1×1×k，输入与同组的卷积核组对应的卷积核卷积生成
Figure BDA0003184256640000083
个大小为H×W×L的特征图，而所有组的特征图输出总数
Figure BDA0003184256640000084
个；
其中，标准卷积与分组卷积的计算量表示如下
f＝k2×L×H×W×l (1)
Figure BDA0003184256640000091
其中，Ni和No分别为输入和输出特征图数量，H,W,L分别为特征图的长、宽、高；f为标准卷积所需的计算量，F为分组卷积所需要的计算量，k2为卷积核的空间大小，L为输入特征图的波段，l为输出特征图的波段，m为输入分组组数，H和W分别为输出特征图的高和宽。显然，F＜f，即分组卷积的计算量仅为标准卷积的
Figure BDA0003184256640000092
通过三个分支之后，三个分别得到24，24，48个特征图的输入，在第二个分支，也即是份4组的情况下，24张特征图被分成4组，分组就是24/4＝6张。
其它步骤及参数与具体实施方式一至八之一相同。
在高光谱图像分类中，图像的空间和光谱信息的提取对于分类性能来说至关重要。本文提出了一种DBSMA网络，对于光谱分支，由三个密集连接的MSSP与光谱注意力机制组成的结构来提取光谱特征；对于空间分支，由Dense Block和空间注意力结构协同来提取空间特征。下面将详细介绍四部分：DBSMA的总体结构、光谱特征提取策略、空间特征提取策略和非局部特征选择策略。
A.DBSMA总体结构图
提出的DBSMA模型由多尺度光谱金字塔密集连接模块、空间密集连接块、光谱注意力模块与空间注意力模块、全连接层、全局平均池化层以及分类器组成，总体结构如图1所示。以输入数据帕维亚大学(UP)为例，输入图像立方体P∈R9×9×200。为保持输入立方体与输出立方体的大小不变，我们采取了填充策略；光谱和空间注意力模型的输入大小都为9×9×1；为避免发生数据爆炸和梯度消失，采用BN+Mish作为归一化和激活函数，以规范输入数据。特别地，为了保持信息流较大流动和尽可能地保留有用信息，采用光谱注意力和空间注意力来改善网络的性能。注意力模块的输出立方体经过Dropout层和全局平均池化层后，变为1×1×60的一维向量；然后，将光谱分支和空间分支注意力的两个输出向量级联为1×1×120的向量，并且使用softmax激活函数将向量整理成所有元素之和为1的概率分布后，通过分类器进行分类。
光谱特征提取策略
多尺度光谱金字塔模型(MSSP)
提出的多尺度金字塔结构如图2所示。对于多尺度金字塔，卷积核空间大小不变，从金字塔顶端至底层，依次增大卷积核的深度，即卷积核可以从较小接收场过渡到较大接收场，以获取更多互补的信息。尺度较小的卷积核能够获取细节的信息，而尺度较大的卷积核可以获取全局上下文信息。因此，多种尺度卷积核可以获得图像更多的特征。在光谱分支上，多尺度金字塔不同分支均采用大小为1×1×k(k＝3,5,7,…)的卷积核来提取光谱特征。
为了更好地提取光谱特征，并降低模型的计算复杂度，将随机打乱的输入数据在MSSP进行分组卷积处理(例如将输入特征图分组为1,2,4,8,…)，如图4所示。这里，就是将4个输入特征图分为2组。与标准卷积相比，分组卷积复杂度降低了。特别地，分组卷积会出现两种情况：若分为1组(即不分组的情况)，卷积计算复杂度与标准卷积相同；反之，随着分组组数越来越多，计算复杂度将会越来越低。假设，输入Ni个大小为H×W×L的特征图，卷积核大小为1×1×k；将输入特征图分为m组，则每组输入为
Figure BDA0003184256640000101
个H×W×L；
卷积核为
Figure BDA0003184256640000102
个1×1×k，输入与同组的卷积核卷积生成
Figure BDA0003184256640000103
个大小为H×W×L的特征图，而所有组的特征图输出总数
Figure BDA0003184256640000104
个；
其中，标准卷积与分组卷积的计算量表示如下
f＝k2×L×H×W×l (1)
Figure BDA0003184256640000105
其中，Ni和No分别为输入和输出特征图数量，H,W,L分别为特征图的长、宽、高；f为标准卷积所需的计算量，F为分组卷积所需要的计算量，k2为卷积核的空间大小，L为输入特征图的波段，l为输出特征图的波段，m为输入分组组数，H和W分别为输出特征图的高和宽。显然，F＜f，即分组卷积的计算量仅为标准卷积的
Figure BDA0003184256640000106
图4为光谱多尺度卷积结构。输入大小为H×W×L，为了能更好的提取光谱信息，利用1×1×1卷积单元将输入衍生扩展。光谱金字塔特征提取单元分别采用不同大小的卷积核1×1×k，在不同尺度卷积核卷积分支中，将输入分别分为1组、4组、8组进行分组卷积，并通过多尺度金字塔对卷积后的输出特征相互融合；但随着网络层数越来越多，可能会出现网络退化的现象，导致模型训练结果不够理想。因此，本文将输入通过非线性卷积后，采用跳线连接实现残差映射，从而避免梯度消失和爆炸发生。即：
P(x)＝σ(x)+q(x) (3)
其中P(x)为残差特征输出(比如第七三维卷积层和第二十三三维卷积层输出的融合)，σ(x)为经过非线性卷积后的输出，q(x)为经过金字塔分组卷积后的输出。
MSSP密集连接
为了加强各层之间信息流动，进一步将三个MSSP密集连接,如图5所示。第i层输入是前面i-1层的输出之和，输入与输出之间的关系可表示为
yi＝h(x0,x1,…,xi-1) (4)
其中，xi表示i层的输入，yi表示第i层的输出，h(·)表示MSSP密集连接函数。
假设输入为P∈RH×W×L，经过每个MSSP的输出均为Q个大小为H×W×L的特征图。经过i个MSSP之后，输出特征图总数Qi与每一层MSSP输出特征图数量Q的线性关系为
Qi＝L+(i-1)Q (5)
其中，Qi表示输入经过i个MSSP之后输出的特征图总数，L表示输入特征的波段数，Q表示经过一个MSSP之后的输出波段数。
空间特征提取策略
高光谱图像的空间特征相对稀疏，浅层神经网络不能获取图像深层特征。为了建立不同层之间的连接关系，利用跳线连接各层，使各层之间密集连接，这样不仅能够加大信息在各层的信息流动，还能避免信息丢失。
空间分支中密集块与光谱分支中多尺度金字塔卷积密集块基本原理类似。空间分支密集块的结构如图6所示。空间密集连接块的输入与输出之间的关系可表示为
xi＝H([x0,x1,...,xi-1]) (6)
这里，H(·)为空间密集连接函数，xi为i层的特征图数。
输入x0个大小为
Figure BDA0003184256640000111
的特征图，为了避免输入数据梯度爆炸，采用BN归一化操作，Mish为输入数据的激活函数，卷积核大小为r×r×1，空间密集块输出的特征图总数x与光谱分支的多尺度金字塔卷积密集块的输出总数Q的计算方式相同。
非局部特征选择策略——注意力及融合机制
注意力机制是一种弹性模块，它不仅能够自动学习光谱和空间重要特征，还能抑制在光谱或空间中无用的信息。由于在图像分类中能提供较好的分类效果，所以注意力机制在图像处理领域得到了广泛应用。在DBSMA中，注意力机制分别作用在光谱分支和空间分支上。结合MSSP密集网络连接块以及空间密集块，分别提取HSI的光谱特征以及空间特征，将得到的光谱特征以及空间特征进一步融合。下面详细介绍注意力机制在DBSMA网络中的工作过程。
光谱注意力机制结构如图7所示。可以看出，在光谱分支中，注意力机制通过理解通道之间的关系，强调特征图重要的部分，生成注意力图。为了提高光谱通道的注意力，并降低模型参数，将空间信息压缩；假设输入大小为X∈Rs×s×c(其中s×s是输入的空间大小，c为输入的波段数)，通过矩阵乘法以及softmax激活函数，得到具有通道间注意力的权重图。一方面，softmax函数进行归一化处理，将注意力图整理成每个通道加权之和为1的概率分布；另一方面，可以通过softmax函数突出比较重要的部分。设Xn(n＝0,1,2,...,i,...,j,...)为输入立方体的第n个通道，则通过softmax层后光谱注意力图
Figure BDA0003184256640000121
这里，gji为第i个通道对第j个通道的权重系数，即第i个通道对第j个通道的重要程度。设α为注意力参数(若α＝0时，表示没有加入注意力图融合)，则光谱注意力机制的输出为
Figure BDA0003184256640000122
这里，Yn(n＝0,1,2,...,i,...,j,...)为输出立方体Y＝Rs×s×c的第n个通道特征图。
光谱注意力机制结构如图8所示。可以看出，空间注意力机制与光谱注意力机制原理相似。与光谱注意力机制不同的是，输入X∈Rs×s×c与大小为r×r×b的卷积核进行卷积，分别得到三个新的特征图A,B,C，其中{A,B,C}∈Rs×s×c。接下来，将A,B,C矩阵变形，生成Rss ×c的二维矩阵(其中，ss表示像素数量)。然后，将B与AT相乘，并通过softmax层计算后得到空间注意力图E∈Rss×ss：
Figure BDA0003184256640000123
这里，eji为第i个像素对第j个像素的权重系数，即第i个像素对第j个像素的重要程度。随后，将矩阵C和ET相乘，并将结果与原始输入X残差连接，最终输出为Z∈Rs×s×c：
Figure BDA0003184256640000124
这里，Zn(n＝0,1,2,...,i,...,j,...)为输出立方体Z∈Rs×s×c空间位置n的值，β为注意力参数。
采用以下实施例验证本发明的有益效果：
首先介绍实验所使用的数据集，然后给出网络的超参数设置以及参数的详细分析，最后对本发明提出的方法进行性能分析，并与其它先进方法进行比较。为了对DBSMA进行定量分析，采用常用的三种定量指标，即总体精度(OA)、平均精度(AA)、卡帕系数(Kappa)。为了避免随机性带来的数据偏差，每种实验都重复10次，取这些实验结果的平均值作为最终结果。
高光谱实验数据集
在这部分，将详细介绍四个数据集，分别为印度松树(IN)、帕维亚大学(UP)、肯尼迪航空中心(KSC)，以及萨利纳斯山谷(SV)的数据集。数据集中地物真实图像、假彩色图像以及每个数据的类信息如图9所示。
IN：印度松树数据集是在美国印第安纳州的西北部，通过机载可见红外成像光谱仪获取高光谱图像，图像空间大小为145×145，波段数为220个，波长范围在200-2400nm，光谱和空间的分辨率分别为10nm和20m；除去背景像素，一般用于实验的空间像素有10249个；地物真实类别有16种，但由于其中的一些类别的数据标签较少，最后只取16个类别中的9种；在220波段中，由于有20个不可用，实验只取剩下的200个波段进行研究。
UP：该数据集是通过反射光学系统成像光谱仪(ROSIS)进行图像获取。图像空间大小为610×340，空间分辨率为1.3m；其中，数据集分为9个类别，115个波段，除去12个噪声波段，还剩下103个可用波段。
KSC：该数据集是1996在佛罗里达州通过AVIRIS传感器获得，空间大小为512×614，空间分辨率为18m；此外，图像由13种地物类别组成，176个波段。
SV：该数据集是在美国通过AVIRIS传感器得到的高光谱图像；图像的空间大小为512×217，空间分辨率为1.7m；其中地物有16中类别，有224个波段，但有20个吸水带频带被移除，剩下的204个波段用于高光谱图像分类实验。
实验设置
在实验过程中，学习率设置范围为0.001，0.005，0.0001，0.0005和0.00005，通过对每一个学习率进行多次实验，最终在四种数据集中表现最好的学习率是0.0005；实验的迭代次数设置为200，批处理大小设置为16。实验所使用的硬件平台是Intel(R)Core(TM)i7-9750H CPU、NVIDA GeForce GTX1060 Ti GPU和8G的内存。软件环境是CUDA 10.0、pytorch 1.2.0和python 3.7.4。实验中，将本发明方法与高光谱分类中的经典分类器及较新网络模型，包括SVM、SSRN、CDCNN、pResNet、DBMA，以及DBDA进行了比较。对提出的DBSMA网络，基于不同数据集输入的数据尺寸均为P∈R9×9×L，L为数据集的波段数。实验中，采用OA、AA、KAPPA作为模型性能的衡量指标，且实验结果均为30次实验结果的平均值。在小样本数据的情况下，实验结果表明，提出的网络模型比其他方法的分类性能更好，且具有较好的泛化能力。
参数分析
1)对于提出的DBSMA方法，光谱分支与空间分支的特征提取方式不同。光谱分支的目的是提取图像的光谱特征；而对于空间分支，其采用了降维的方式，即压缩光谱信息，避免相互干扰。此外，在IN、UP、KSC和SV四个数据集中，随机选取了3％、0.5％、0.5％、5％的数据作为训练样本，其余数据作为测试样本。
2)多尺度金字塔卷积的密集连接数对分类精度的影响：由于MSSP密集连接块中，前一个MSSP的输出影响后一个MSSP的卷积的输入，即表征的是特征重复利用程度，故网络的分类性能会受到多尺度金字塔卷积的密集连接个数影响。MSSP密集连接数为2、3、4时，实验结果如图10所示。由图10可以看出，在IN、UP和KSC数据集中，2个MSSP密集连接与4个MSSP密集连接得到的OA、AA和KAPPA值，均低于3个MSSP的密集连接块对应的OA、AA和KAPPA值，且3个MSSP组成的密集连接块在四个数据集的分类精度均在93.5％以上；在SV数据集中，4个MSSP密集连接块的组合方式得到的OA和KAPPA值，均超过其余2个组合方式。然而，虽然4个MSSP的密集连接方式得到的OA和KAPPA，分别比3个MSSP密集连接方式多出0.26％和0.29％，但所需要的训练时间却多出了1/3，如表Ⅰ所示。根据上述分析，采用3个MSSP组成的密集连接块能够更有效地提取图像特征。
表Ⅰ 对四种数据集，不同MSSP数量组合下训练和测试所消耗的时间(秒)
Figure BDA0003184256640000131
3)MSSP中多尺度金字塔卷积核1×1×k组合方式对分类精度的影响：在HSI分类中，CNN的卷积核大小直接关系到接受场的大小，图像的全局上下文信息以及细节特征影响着分类精度。为了降低空间维度，使得光谱特征提取不受空间信息的干扰，通常选择的卷积核大小为1×1×3、1×1×5、1×1×7、1×1×9以及1×1×11。但随着尺度的增加，计算参数也随之增加；因此，小尺度卷积核的使用相对广泛。为了进一步探讨金字塔多尺度卷积核的组合方式对分类性能的影响，将以上几种卷积核，根据金字塔多尺度原则分组进行实验。采用不同的多尺度卷积核组合得到不同的分类精度，实验结果如表Ⅱ所示。其中，1×1×3、1×1×5、1×1×7在IN、UP和KSC数据集中具有最高的分类精度。虽然这种组合方式在SV数据集中分类精度不是最高，但其OA仅比最高值低0.24％，而所需参数量却比最高精度值对应的多尺度组合低很多。此外，这种最高精度对应的多尺度组合，在其他数据集中表现均较差，即泛化能力弱。因此，金字塔多尺度卷积核的组合方式为1×1×3、1×1×5、1×1×7综合表现最好。
表Ⅱ：MSSP中多尺度卷积核的大小组合对分类精度的影响(％)
Figure BDA0003184256640000141
实验结果与分析
为了验证本发明提出的方法，根据参数设置，将本发明提出的DBSMA方法在四个数据集上进行实验，并在多种情况下，与一些主流方法及最先进的方法，如SVM、SSRN、CDCNN、pResNet、DBMA和DBDA，进行了性能比较。
实验一：图11-14是不同方法在四个数据集上的分类结果比较。从图11-14可以看出，基于SVM的分类结果中存在很多噪声，分类效果并不理想；与SVM方法相比，通过相邻单个像素向量的局部空间光谱，探索最优的局部上下文依赖关系的CDCNN方法分类性能更好；而与CDCNN方法相比，pResNet、SSRN通过残差连接设计的深层结构来提取空间光谱特征，得到的分类结果较好；为充分提取空间光谱特征并且避免空间光谱信息相互干扰，DBMA和DBDA利用两个分支分别提取高光谱图像的空间光谱特征，得到了很好的分类效果。从类间角度来看，本发明提出的DSBMA方法所提取的细节特征对于图像分类作用效果更好；从类内角度来看，本发明提出的DSBMA方法的类内噪声较少。
表Ⅲ：使用3％训练样本的IN数据集的分类结果(值±标准偏差)
Figure BDA0003184256640000142
表Ⅳ：使用0.5％训练样本的UP数据集的分类结果(值±标准偏差)
Figure BDA0003184256640000143
表Ⅴ：使用5％训练样本的KSC数据集的分类结果(值±标准偏差)
Figure BDA0003184256640000151
表Ⅲ-Ⅵ给出的是不同的分类方法在IN、UP、KSC以及SV数据上全局以及各类别的分类结果。其中，分类精度最低的是SVM，而基于空谱联合的先进方法中，即SSRN、pResNet、DBMA和DBDA方法，基于双分支双注意力的DBDA方法分类精度略高于SSRN、pResNet和DBMA；与上述方法相比较，提出的方法具有最高的分类精度；在四个数据集中，本发明提出方法得到的OA比DBDA方法得到的OA分别高出1.81％、1.01％、1.73％以及2.54％。特别地，DBSMA在KSC数据集中的C9(Spartina marsh)和C10(Cattail marsh)，以及SV数据集中的C2(Brocoil_green_weeds_2)达到了最高的分类精度；图9-12和表Ⅰ-Ⅳ证明了本发明DBSMA的有效性。
表Ⅵ：使用0.5％训练样本的SV数据集的分类结果(值±标准偏差)
Figure BDA0003184256640000152
实验二：图15比较了不同方法在80个世代验证集的准确性和损失收敛性。可以看出，相比于SSRN与DBDA方法，本发明提出方法的收敛速度更快，大约在30个世代就已经收敛。由于SSRN的网络更深，故收敛速度较慢。而对于DBDA，虽然模型参数较少，但是与SSRN相比，该网络具有双分支结构，这使得DBDA方法收敛速度也同样较慢。
为进一步验证本发明方法的有效性，对上述的三个方法在KSC数据集上得到的混淆矩阵进行了比较，实验结果如图16所示。对于SSRN方法，Slash pine和Oak/Broadleaf两个分类误差较大，其中，真实标签Slash pine与CP hammock、Oak/Broadleaf混淆比例分别为6％、7％，真实标签Oak/Broadleaf分类错误率为26％；对于DBDA，CP hammock、Slashpine和Oak/Broadleaf均具有一定的混淆，真实标签Slash pine和Oak/Broadleaf分类较差，准确率仅有77％和75％.相比于上述两种方法，本发明提出方法在易分类的类别中分类准确度达到100％外，对Slash pine和Grass-pasture-mowed的分类精度也能达到94％以上，这说明所提出方法对于易混淆的类别依然具有较好的分类性能。
实验三：本实验在不同训练样本比例下对不同方法的分类性能进行比较。对IN、UP、KSC以及SV四个数据集，将各数据集的训练数据集设置为1％、5％、10％、15％和20％，采用了SVM、CDCNN、SSRN、pResNet、DBMA、DBDA，以及本发明提出的DBSMA方法进行实验，实验比较结果如图17所示。可以看出，在训练样本较少的情况下，CDCNN和SVM的分类性能都相对较差，分类性能最好的是DBSMA；随着样本数量的增加，各个方法都能得到较高的分类精度，但本发明DBSMA的分类精度依然能够比其他方法更高。这表明了本发明提出方法具有更好的泛化能力。
参考文献
[1]J.M.Bioucas-Dias,A.Plaza,G.Camps-Valls,P.Scheunders,N.Nasrabadi,and J.Chanussot,“Hyperspectral remote sensing data analysis and futurechallenges,”IEEE Geosci.Remote Sens.Mag.,vol.1,no.2,pp.6–36,Jun.2013.
[2]F.van der Meer,“Analysis of spectral absorption features inhyperspectral imagery,”Int.J.Appl.Earth Observ.Geoinf.,vol.5,no.1,pp.55–68,Feb.2004.
[3]X.Kang,S.Li,L.Fang,M.Li,and J.A.Benediktsson,“Extended randomwalker-based classification of hyperspectral images,”IEEE Trans.Geosci.RemoteSens.,vol.53,no.1,pp.144–153,Jan.2015.
[4]A.Ghiyamat and H.Z.Shafri,“A review on hyperspectral remotesensing for homogeneous and heterogeneous forest biodiversity assessment,”Int.J.Remote Sens.,vol.31,no.7,pp.1837–1856,2010.
[5]X.Wang,Y.Kong,Y.Gao,and Y.Cheng,“Dimensionality reduction forhyperspectral data based on pairwise constraint discriminative analysis andnonnegative sparse divergence,”IEEE J.Sel.Topics Appl.Earth Observ.RemoteSens.,vol.10,no.4,pp.1552–1562,Apr.2017.
[6]X.Kang,X.Xiang,S.Li,and J.A.Benediktsson,“PCA-based edgepreserving features for hyperspectral image classification,”IEEETrans.Geosci.Remote Sens.,vol.55,no.12,pp.7140–7151,Dec.2017.
[7]W.Zhao and S.Du,“Spectral–spatial feature extraction forhyperspectral image classification:A dimension reduction and deep learningapproach,”IEEE Trans.Geosci.Remote Sens.,vol.54,no.8,pp.4544–4554,Aug.2016.
[8]W.Sun,G.Yang,B.Du,L.Zhang,and L.Zhang,“A sparse and low rank near-isometric linear embedding method for feature extraction in hyperspectralimagery classification,”IEEE Trans.Geosci.Remote Sens.,vol.55,no.7,pp.4032–4046,Jul.2017.
[9]F.Luo,H.Huang,Z.Ma,and J.Liu,“Semisupervised sparse manifolddiscriminative analysis for feature extraction of hyperspectral images,”IEEETrans.Geosci.Remote Sens.,vol.54,no.10,pp.6197–6211,Oct.2016.
[10]C.Cariou and K.Chehdi,“A new k-nearest neighbor density-basedclustering method and its application to hyperspectral images,”in Proc.IEEEInt.Geosci.Remote Sens.Symp.,Jul.2016,pp.6161–6164.
[11]J.Li,J.M.Bioucas-Dias,and A.Plaza,“Semisupervised hyperspectralimage segmentation using multinomial logistic regression with activelearning,”IEEE Trans.Geosci.Remote Sens.,vol.48,no.11,pp.4085–4098,Nov.2010.
[12]W.Li,C.Chen,H.Su,and Q.Du,“Local binary patterns and extremelearning machine for hyperspectral imagery classification,”IEEETrans.Geosci.Remote Sens.,vol.53,no.7,pp.3681–3693,Jul.2015.
[13]Y.Chen,N.M.Nasrabadi,and T.D.Tran,“Hyperspectral imageclassification using dictionary-based sparse representation,”IEEETrans.Geosci.Remote Sens.,vol.49,no.10,pp.3973–3985,Oct.2011.
[14]F.Melgani and L.Bruzzone,“Classification of hyperspectral remotesensing images with support vector machines,”IEEE Trans.Geosci.Remote Sens.,vol.42,no.8,pp.1778–1790,Aug.2004.
[15]L.He,J.Li,C.Liu,and S.Li,“Recent advances on spectral–spatialhyperspectral image classifification:An overview and new guidelines,”IEEETrans.Geosci.Remote Sens.,vol.56,no.3,pp.1579–1597,Mar.2018.
[16]C.Tao,H.Pan,Y.Li,and Z.Zou,“Unsupervised spectral–spatial featurelearning with stacked sparse autoencoder for hyperspectral imageryclassification,”IEEE Geosci.Remote Sens.Lett.,vol.12,no.12,pp.2438–2442,Dec.2015.
[17]Y.Chen,X.Zhao,and X.Jia,“Spectral–spatial classification ofhyperspectral data based on deep belief network,”IEEE J.Sel.Topics Appl.EarthObserv.Remote Sens.,vol.8,no.6,pp.2381–2392,Jun.2015.
[18]Y.Chen,H.Jiang,C.Li,X.Jia,and P.Ghamisi,“Deep feature extractionand classification of hyperspectral images based on convolutional neuralnetworks,”IEEE Trans.Geosci.Remote Sens.,vol.54,no.10,pp.6232–6251,Oct.2016.
[19]H.Wu and S.Prasad,“Convolutional recurrent neural networks forhyperspectral data classification,”Remote Sens.,vol.9,no.3,p.298,2017.
[20]L.Mou,P.Ghamisi,and X.X.Zhu,“Deep recurrent neural networks forhyperspectral image classifification,”IEEE Trans.Geosci.Remote Sens.,vol.55,no.7,pp.3639–3655,Jul.2017.
[21]I.Goodfellow et al.,“Generative adversarial nets,”inProc.Adv.Neural Inf.Process.Syst.,2014,pp.2672–2680.
[22]Y.Zhan,D.Hu,Y.Wang,and X.Yu,“Semisupervised hyperspectral imageclassification based on generative adversarial networks,”IEEE Geosci.RemoteSens.Lett.,vol.15,no.2,pp.212–216,Feb.2018.
[23]Y.Zhan et al.,“Semi-supervised classification of hyperspectraldata based on generative adversarial networks and neighborhood majorityvoting,”in Proc.IEEE Int.Geosci.Remote Sens.Symp.(IGARSS),Jul.2018,pp.5756–5759.
[24]X.Chen,Y.Duan,R.Houthooft,J.Schulman,I.Sutskever,and P.Abbeel,“InfoGAN:Interpretable representation learning by information maximizinggenerative adversarial nets,”in Proc.Adv.Neural Inf.Process.Syst.,2016,pp.2172–2180.
[25]L.Zhu,Y.Chen,P.Ghamisi,and J.A.Benediktsson,“Generativeadversarial networks for hyperspectral image classification,”IEEETrans.Geosci.Remote Sens.,vol.56,no.9,pp.5046–5063,Sep.2018.
[26]J.Feng,H.Yu,L.Wang,X.Cao,X.Zhang,and L.Jiao,“Classifification ofhyperspectral images based on multi-class spatial–spectral generativeadversarial networks,”IEEE Trans.Geosci.Remote Sens.,vol.57,no.8,pp.5329–5343,Aug.2019.
[27]X.Wang,K.Tan,Q.Du,Y.Chen,and P.Du,“CVA2E:A conditionalvariational autoencoder with an adversarial training process forhyperspectral imagery classification,”IEEE Trans.Geosci.Remote Sens.,vol.58,no.8,pp.5676–5692,Aug.2020.
[28]J.Feng et al.,“Generative adversarial networks based oncollaborative learning and attention mechanism for hyperspectral imageclassification,”Remote Sens.,vol.12,no.7,p.1149,Apr.2020.
[29]F.F.Shahraki and S.Prasad,“Graph convolutional neural networksfor hyperspectral data classification,”in Proc.IEEE Global Conf.SignalInf.Process.(GlobalSIP),Nov.2018,pp.968–972.
[30]A.Qin,Z.Shang,J.Tian,Y.Wang,T.Zhang,and Y.Yan Tang,“Spectral–spatial graph convolutional networks for semisupervised hyperspectral imageclassification,”IEEE Geosci.Remote Sens.Lett.,vol.16,no.2,pp.241–245,Feb.2019.
[31]P.Ghamisi et al.,“Advances in hyperspectral image and signalprocessing:A comprehensive overview of the state of the art,”IEEEGeosci.Remote Sens.Mag.,vol.5,no.4,pp.37–78,Dec.2017.
[32]H.Zhang,Y.Li,Y.Zhang,and Q.Shen,“Spectral-spatial classificationof hyperspectral imagery using a dual-channel convolutional neural network,”Remote Sens.Lett.,vol.8,no.5,pp.438–447,May 2017.
[33]Y.Chen,H.Jiang,C.Li,X.Jia,and P.Ghamisi,“Deep feature extractionand classification of hyperspectral images based on convolutional neuralnetworks,”IEEE Trans.Geosci.Remote Sens.,vol.54,no.10,pp.6232–6251,Oct.2016.
[34]S.Mei,J.Ji,J.Hou,X.Li,and Q.Du,"Learning sensor-specific spatial-spectral features of hyperspectral images via convolutional neural networks,"IEEE Trans.Geosci.Remote Sens.,vol.55,no.8,pp.4520-4533,Aug.2017.
[35]M.E.Paoletti,J.M.Haut,J.Plaza,and A.Plaza,“Deep&denseconvolutional neural network for hyperspectral image classification,”RemoteSens.,vol.10,no.9,p.1454,2018.
[36]K.He,X.Zhang,S.Ren,and J.Sun,“Deep residual learning for imagerecognition,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,Jun.2016,pp.770–778.
[37]Z.Zhong,J.Li,Z.Luo,and M.Chapman,"Spectral–spatial residualnetwork for hyperspectral image classification:A 3-D deep learningframework,"IEEE Trans.Geosci.Remote Sens.,vol.56,no.2,pp.847-858,Feb.2017.
[38]W.Wang,S.Dou,Z.Jiang,and L.Sun,"A fast dense spectral–spatialconvolution network framework for hyperspectral images classification,"Remote.Sens.,vol.10,no.7,p.1068,2018.
[39]M.E.Paoletti,J.M.Haut,R.Fernandez-Beltran,J.Plaza,A.J.Plaza,andF.Pla,“Deep pyramidal residual networks for spectral–spatial hyperspectralimage classification,”IEEE Trans.Geosci.Remote Sens.,vol.57,no.2,pp.740–754,Feb.2019.
[40]Z.M.Haut,M.E.Paoletti,J.Plaza,A.Plaza and J.Li,"Visual attention-driven hyperspectral image classification,"IEEE Trans.Geosci.Remote Sens.,vol.57,no.10,pp.8065-8080,Oct.2019.
[41]Woo,S.；Park,J.；Lee,J.；Kweon,I.Cbam:Convolutional block attentionmodule.In Proceedings of the European Conference on Computer Vision(ECCV),Amsterdam,The Netherlands,8–16October 2018；pp.3–19.
[42]Ma,W.；Yang,Q.；Wu,Y.；Zhao,W.；Zhang,X.Double-Branch Multi-AttentionMechanism Network for Hyperspectral Image Classification.Remote Sens.2019,11,1307.
[43]R.Li,S.Zheng,C.Duan,Y.Yang,and X.Wang,“Classification ofhyperspectral image based on double-branch dual-attention mechanism network,”Remote Sens.,vol.12,no.3,p.582,Feb.2020.
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.基于双分支光谱多尺度注意力网络的高光谱图像分类方法，其特征在于：所述方法具体过程为：
步骤一、采集高光谱图像数据集X和相对应的标签向量数据集Y；具体过程为：
步骤一一、从高光谱图像数据集X中以目标像素为中心分别提取9×9×L大小的立方体，其中L是光谱波段；9×9代表空间大小；
步骤一二、将高光谱图像数据集X随机分配成x1,x2,x3,分别表示训练数据、验证数据和测试数据；
同理，Y包括Y1、Y2、Y3；Y1是x1的对应标签向量数据，Y2是x2的对应标签向量数据，Y3是x3的对应标签向量数据；
步骤二、建立双分支光谱多尺度注意力网络DBSMA；
步骤三、将x1,x2和Y1,Y2输入到建立的双分支光谱多尺度注意力网络DBSMA中，采用Adam算法进行迭代优化，得到最优网络DBSMA；
步骤四、向最优网络DBSMA中输入x3进行分类结果预测。
2.根据权利要求1所述基于双分支光谱多尺度注意力网络的高光谱图像分类方法，其特征在于：所述步骤二中建立双分支光谱多尺度注意力网络DBSMA；具体过程为：
双分支光谱多尺度注意力网络DBSMA包括第一输入层、第一三维卷积层、第二三维卷积层、多尺度光谱金字塔密集连接模块、空间密集连接块、空间注意力模块、第七BN批归一化层、第七Mish激活层、第十三维卷积层、光谱注意力模块、第八BN批归一化层、第八Mish激活层、第九BN批归一化层、第九Mish激活层、第一Dropout层、第二Dropout层、全局均值池化层、全连接层以及分类器。
3.根据权利要求2所述基于双分支光谱多尺度注意力网络的高光谱图像分类方法，其特征在于：所述双分支光谱多尺度注意力网络DBSMA连接关系为：
第一输入层的输出层分别连接第一三维卷积层和第二三维卷积层；
第一三维卷积层的输出连接空间密集连接块，空间密集连接块的输出连接空间注意力模块；
第二三维卷积层的输出连接多尺度光谱金字塔密集连接模块，多尺度光谱金字塔密集连接模块的输出连接第七BN批归一化层，第七BN批归一化层的输出连接第七Mish激活层，第七Mish激活层的输出连接第十三三维卷积层，第十三三维卷积层的输出连接光谱注意力模块；
空间注意力模块的输出连接第八BN批归一化层，第八BN批归一化层的输出连接第八Mish激活层，第八Mish激活层的输出连接第一Dropout层；
光谱注意力模块的输出连接第九BN批归一化层，第九BN批归一化层的输出连接第九Mish激活层，第九Mish激活层的输出连接第二Dropout层；
将第一Dropout层的输出和第二Dropout层的输出进行级联，级联后输入全局均值池化层，全局均值池化层的输出连接全连接层，全连接层输出结果通过分类器实现分类。
4.根据权利要求3所述基于双分支光谱多尺度注意力网络的高光谱图像分类方法，其特征在于：所述空间密集连接块包括第一BN批归一化层、第一Mish激活层、第三三维卷积层、第二BN批归一化层、第二Mish激活层、第四三维卷积层、第三BN批归一化层、第三Mish激活层、第五三维卷积层。
5.根据权利要求4所述基于双分支光谱多尺度注意力网络的高光谱图像分类方法，其特征在于：所述第一三维卷积层的输出连接空间密集连接块，空间密集连接块的输出连接空间注意力模块；具体连接关系为：
第一三维卷积层的输出分别作为第一BN批归一化层、第二BN批归一化层、第三BN批归一化层和空间注意力块中第二输入层的输入；
第一BN批归一化层的输出连接第一Mish激活层，第一Mish激活层连接第三三维卷积层，第三三维卷积层的输出分别作为第二BN批归一化层、第三BN批归一化层和空间注意力块中第二输入层的输入；
第二BN批归一化层的输出连接第二Mish激活层，第二Mish激活层连接第四三维卷积层，第四三维卷积层的输出分别作为第三BN批归一化层和空间注意力块中第二输入层的输入；
第三BN批归一化层的输出连接第三Mish激活层，第三Mish激活层连接第五三维卷积层，第五三维卷积层的输出作为空间注意力块中第二输入层的输入。
6.根据权利要求5所述基于双分支光谱多尺度注意力网络的高光谱图像分类方法，其特征在于：所述空间注意力模块的输出连接第八BN批归一化层，第八BN批归一化层的输出连接第八Mish激活层，第八Mish激活层的输出连接第一Dropout层；具体连接关系为：
空间注意力模块中第二输入层的输出分别连接第二十六三维卷积层、第二十七三维卷积层、第二十八三维卷积层；
对第二十六三维卷积层输出特征进行变形得到特征a，对特征a进行转置得到特征b；
对第二十七三维卷积层输出特征进行变形得到特征c，将特征b和特征c相乘得到特征d，将特征d经过softmax激活层得到特征e；
对第二十八三维卷积层输出特征进行变形得到特征f，将特征f和特征e相乘得到特征g，对特征g进行变形得到特征h，将特征h和第二输入层的输出特征相乘得到特征i；
特征i输入第八BN批归一化层，第八BN批归一化层的输出连接第八Mish激活层，第八Mish激活层的输出连接第一Dropout层。
7.根据权利要求6所述基于双分支光谱多尺度注意力网络的高光谱图像分类方法，其特征在于：所述多尺度光谱金字塔密集连接模块包括第四BN批归一化层、第四Mish激活层、第六三维卷积层、第十四三维卷积层、第十五三维卷积层、第十六三维卷积层、第二十三三维卷积层、第七三维卷积层、第五BN批归一化层、第五Mish激活层、第八三维卷积层、第十七三维卷积层、第十八三维卷积层、第十九三维卷积层、第二十四三维卷积层、第九三维卷积层、第六BN批归一化层、第六Mish激活层、第十三维卷积层、第二十三维卷积层、第二十一三维卷积层、第二十二三维卷积层、第二十五三维卷积层、第十一三维卷积层。
8.根据权利要求7所述基于双分支光谱多尺度注意力网络的高光谱图像分类方法，其特征在于：所述第二三维卷积层的输出连接多尺度光谱金字塔密集连接模块，多尺度光谱金字塔密集连接模块的输出连接第七BN批归一化层，第七BN批归一化层的输出连接第七Mish激活层，第七Mish激活层的输出连接第十三三维卷积层，第十三三维卷积层的输出连接光谱注意力模块；具体连接关系为：
第二三维卷积层的输出分别作为第四BN批归一化层、第五BN批归一化层、第六BN批归一化层、第七BN批归一化层和第二十三三维卷积层的输入；
第四BN批归一化层的输出连接第四Mish激活层，第四Mish激活层连接第六三维卷积层，第六三维卷积层的输出分别连接第十四三维卷积层、第十五三维卷积层、第十六三维卷积层；对第十四三维卷积层的输出、第十五三维卷积层的输出和第十六三维卷积层的输出进行级联，级联后输入第七三维卷积层；
第七三维卷积层的输出分别作为第五BN批归一化层、第六BN批归一化层、第七BN批归一化层的输入；
第二十三三维卷积层的输出作为第五BN批归一化层的输入；
第五BN批归一化层的输出连接第五Mish激活层，第五Mish激活层连接第八三维卷积层，第八三维卷积层的输出分别连接第十七三维卷积层、第十八三维卷积层、第十九三维卷积层；对第十七三维卷积层、第十八三维卷积层和第十九三维卷积层的输出进行级联，级联后输入第九三维卷积层；
第九三维卷积层的输出分别作为第六BN批归一化层、第七BN批归一化层的输入；
第七三维卷积层的输出和第二十三三维卷积层的输出作为第二十四三维卷积层的输入，第二十四三维卷积层的输出作为第六BN批归一化层的输入；
第六BN批归一化层的输出连接第六Mish激活层，第六Mish激活层连接第十三维卷积层，第十三维卷积层的输出分别连接第二十三维卷积层、第二十一三维卷积层、第二十二三维卷积层；对第二十三维卷积层、第二十一三维卷积层和第二十二三维卷积层的输出进行级联，级联后输入第十一三维卷积层；
第十一三维卷积层的输出作为第七BN批归一化层的输入；
第九三维卷积层的输出和第二十四三维卷积层的输出作为第二十五三维卷积层的输入，第二十五三维卷积层的输出作为第七BN批归一化层的输入；
第七BN批归一化层的输出连接第七Mish激活层，第七Mish激活层连接第十三三维卷积层，第十三三维卷积层的输出连接光谱注意力模块。
9.根据权利要求8所述基于双分支光谱多尺度注意力网络的高光谱图像分类方法，其特征在于：所述第十三三维卷积层的输出连接光谱注意力模块；
光谱注意力模块的输出连接第九BN批归一化层，第九BN批归一化层的输出连接第九Mish激活层，第九Mish激活层的输出连接第二Dropout层；
具体连接关系为：
第十三三维卷积层的输出连接光谱注意力模块，光谱注意力模块对第十三三维卷积层输出特征进行变形得到特征j，对特征j进行转置得到特征k，将特征j和特征k进行相乘得到特征l，特征l经过softmax激活层得到特征m，将特征m和特征j进行相乘得到特征n，对特征n进行变形得到特征o，将特征o和第十三三维卷积层输出特征相乘得到特征p，特征p输入第九BN批归一化层，第九BN批归一化层的输出连接第九Mish激活层，第九Mish激活层的输出连接第二Dropout层。
10.根据权利要求9所述基于双分支光谱多尺度注意力网络的高光谱图像分类方法，其特征在于：所述第一三维卷积层的卷积核大小为3×3×1，卷积核个数为24；
第二三维卷积层的卷积核大小为1×1×7，卷积核个数为24；
第三三维卷积层的卷积核大小为3×3×1，卷积核个数为12；
第四三维卷积层的卷积核大小为3×3×1，卷积核个数为12；
第五三维卷积层的卷积核大小为3×3×1，卷积核个数为12；
第六三维卷积层的卷积核大小为1×1×1，卷积核个数为96；
第七三维卷积层的卷积核大小为1×1×1，卷积核个数为12；
第八三维卷积层的卷积核大小为1×1×1，卷积核个数为96；
第九三维卷积层的卷积核大小为1×1×1，卷积核个数为12；
第十三维卷积层的卷积核大小为1×1×1，卷积核个数为96；
第十一三维卷积层的卷积核大小为1×1×1，卷积核个数为12；
第十三三维卷积层的卷积核大小为1×1×((L-6)/2)，卷积核个数为60；
第十四三维卷积层的卷积核大小为1×1×3，卷积核个数为24；
第十五三维卷积层的卷积核大小为1×1×5，卷积核个数为24；
第十六三维卷积层的卷积核大小为1×1×7，卷积核个数为48；
第十七三维卷积层的卷积核大小为1×1×3，卷积核个数为24；
第十八三维卷积层的卷积核大小为1×1×5，卷积核个数为24；
第十九三维卷积层的卷积核大小为1×1×7，卷积核个数为48；
第二十三维卷积层的卷积核大小为1×1×3，卷积核个数为24；
第二十一三维卷积层的卷积核大小为1×1×5，卷积核个数为24；
第二十二三维卷积层的卷积核大小为1×1×7，卷积核个数为48；
第二十三三维卷积层的卷积核大小为1×1×1，卷积核个数为12；
第二十四三维卷积层的卷积核大小为1×1×1，卷积核个数为12；
第二十五三维卷积层的卷积核大小为1×1×1，卷积核个数为12；
第二十六三维卷积层的卷积核大小为1×1×1，卷积核个数为60；
第二十七三维卷积层的卷积核大小为1×1×1，卷积核个数为7；
第二十八三维卷积层的卷积核大小为1×1×1，卷积核个数为7。
CN202110856236.5A 2021-07-28 2021-07-28 基于双分支光谱多尺度注意力网络的高光谱图像分类方法 Active CN113486851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110856236.5A CN113486851B (zh) 2021-07-28 2021-07-28 基于双分支光谱多尺度注意力网络的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110856236.5A CN113486851B (zh) 2021-07-28 2021-07-28 基于双分支光谱多尺度注意力网络的高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN113486851A true CN113486851A (zh) 2021-10-08
CN113486851B CN113486851B (zh) 2023-04-18

Family

ID=77944252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110856236.5A Active CN113486851B (zh) 2021-07-28 2021-07-28 基于双分支光谱多尺度注意力网络的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN113486851B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114462596A (zh) * 2022-02-10 2022-05-10 黑龙江省农业科学院 一种工业大麻生长期的病虫害监测方法及监测系统
CN114677606A (zh) * 2022-04-28 2022-06-28 电子科技大学 基于注意力机制和双分支网络的柑橘细粒度病害识别方法
CN114792315A (zh) * 2022-06-22 2022-07-26 浙江太美医疗科技股份有限公司 医学图像视觉模型训练方法和装置、电子设备和存储介质
CN115393596A (zh) * 2022-10-28 2022-11-25 武汉纺织大学 一种基于人工智能的服装图像分割方法
CN116310572A (zh) * 2023-03-23 2023-06-23 齐齐哈尔大学 金字塔多尺度卷积和自注意力结合的高光谱图像分类方法
CN116883726A (zh) * 2023-06-25 2023-10-13 内蒙古农业大学 基于多分支与改进的Dense2Net的高光谱图像分类方法及系统
CN117257322A (zh) * 2023-09-21 2023-12-22 齐鲁工业大学(山东省科学院) 一种基于双分支网络的多标签心电信号分类方法
CN117423346A (zh) * 2023-12-19 2024-01-19 青岛科技大学 基于tbta网络的海洋哺乳动物叫声识别分类方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020160485A1 (en) * 2019-01-31 2020-08-06 Alfred E. Mann Institute For Biomedical Engineering At The University Of Southern California A hyperspectral imaging system
CN111723685A (zh) * 2020-06-01 2020-09-29 齐齐哈尔大学 基于支路特征融合卷积网络的遥感场景分类方法
CN112052755A (zh) * 2020-08-24 2020-12-08 西安电子科技大学 基于多路注意力机制的语义卷积高光谱图像分类方法
CN113011499A (zh) * 2021-03-22 2021-06-22 安徽大学 一种基于双注意力机制的高光谱遥感图像分类方法
CN113095409A (zh) * 2021-04-13 2021-07-09 西安电子科技大学 基于注意力机制和权值共享的高光谱图像分类方法
CN113159189A (zh) * 2021-04-23 2021-07-23 南京理工大学 基于双分支多注意力卷积神经网络的高光谱图像分类方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020160485A1 (en) * 2019-01-31 2020-08-06 Alfred E. Mann Institute For Biomedical Engineering At The University Of Southern California A hyperspectral imaging system
CN111723685A (zh) * 2020-06-01 2020-09-29 齐齐哈尔大学 基于支路特征融合卷积网络的遥感场景分类方法
CN112052755A (zh) * 2020-08-24 2020-12-08 西安电子科技大学 基于多路注意力机制的语义卷积高光谱图像分类方法
CN113011499A (zh) * 2021-03-22 2021-06-22 安徽大学 一种基于双注意力机制的高光谱遥感图像分类方法
CN113095409A (zh) * 2021-04-13 2021-07-09 西安电子科技大学 基于注意力机制和权值共享的高光谱图像分类方法
CN113159189A (zh) * 2021-04-23 2021-07-23 南京理工大学 基于双分支多注意力卷积神经网络的高光谱图像分类方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HAO SHI 等: "Double-Branch Network with Pyramidal Convolution and Iterative Attention for Hyperspectral Image Classification", 《REMOTE SENSING》 *
WENPING MA 等: "Double-Branch Multi-Attention Mechanism Network for Hyperspectral Image Classification", 《REMOTE SENSING》 *
吴鹏 等: "自学习稀疏密集连接卷积神经网络图像分类方法", 《信号处理》 *
邢珍杰: "基于样本扩充与深度学习的高光谱图像分类方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114462596A (zh) * 2022-02-10 2022-05-10 黑龙江省农业科学院 一种工业大麻生长期的病虫害监测方法及监测系统
CN114677606A (zh) * 2022-04-28 2022-06-28 电子科技大学 基于注意力机制和双分支网络的柑橘细粒度病害识别方法
CN114677606B (zh) * 2022-04-28 2023-04-18 电子科技大学 基于注意力机制和双分支网络的柑橘细粒度病害识别方法
CN114792315A (zh) * 2022-06-22 2022-07-26 浙江太美医疗科技股份有限公司 医学图像视觉模型训练方法和装置、电子设备和存储介质
CN115393596A (zh) * 2022-10-28 2022-11-25 武汉纺织大学 一种基于人工智能的服装图像分割方法
CN116310572A (zh) * 2023-03-23 2023-06-23 齐齐哈尔大学 金字塔多尺度卷积和自注意力结合的高光谱图像分类方法
CN116310572B (zh) * 2023-03-23 2024-01-23 齐齐哈尔大学 金字塔多尺度卷积和自注意力结合的高光谱图像分类方法
CN116883726A (zh) * 2023-06-25 2023-10-13 内蒙古农业大学 基于多分支与改进的Dense2Net的高光谱图像分类方法及系统
CN117257322A (zh) * 2023-09-21 2023-12-22 齐鲁工业大学(山东省科学院) 一种基于双分支网络的多标签心电信号分类方法
CN117257322B (zh) * 2023-09-21 2024-04-19 齐鲁工业大学(山东省科学院) 一种基于双分支网络的多标签心电信号分类方法
CN117423346A (zh) * 2023-12-19 2024-01-19 青岛科技大学 基于tbta网络的海洋哺乳动物叫声识别分类方法

Also Published As

Publication number Publication date
CN113486851B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN113486851B (zh) 基于双分支光谱多尺度注意力网络的高光谱图像分类方法
Roy et al. Attention-based adaptive spectral–spatial kernel ResNet for hyperspectral image classification
Zheng et al. Hyperspectral image classification using mixed convolutions and covariance pooling
Dong et al. Weighted feature fusion of convolutional neural network and graph attention network for hyperspectral image classification
Gao et al. Multiscale residual network with mixed depthwise convolution for hyperspectral image classification
Shen et al. Efficient deep learning of nonlocal features for hyperspectral image classification
CN112836773B (zh) 一种基于全局注意力残差网络的高光谱图像分类方法
Hu et al. Deep convolutional neural networks for hyperspectral image classification
CN111126256B (zh) 一种基于自适应空谱多尺度网络的高光谱图像分类方法
Hu et al. Band selection of hyperspectral images using multiobjective optimization-based sparse self-representation
CN109766858A (zh) 结合双边滤波的三维卷积神经网络高光谱影像分类方法
Wang et al. A novel cubic convolutional neural network for hyperspectral image classification
CN111353531B (zh) 基于奇异值分解和空谱域注意力机制高光谱图像分类方法
CN108229551B (zh) 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法
CN114821164A (zh) 基于孪生网络的高光谱图像分类方法
Gao et al. Hyperspectral image classification with pre-activation residual attention network
Gao et al. A multiscale dual-branch feature fusion and attention network for hyperspectral images classification
Sun et al. Multi-structure KELM with attention fusion strategy for hyperspectral image classification
Liang et al. Multiscale DenseNet meets with bi-RNN for hyperspectral image classification
CN112580480B (zh) 一种高光谱遥感影像分类方法及装置
Qi et al. Global-local three-dimensional convolutional transformer network for hyperspectral image classification
Ge et al. Adaptive hash attention and lower triangular network for hyperspectral image classification
CN111860124A (zh) 基于空谱胶囊生成对抗网络的遥感图像分类方法
Lv et al. ESSINet: Efficient spatial–spectral interaction network for hyperspectral image classification
Yu et al. Unsupervised hyperspectral band selection via hybrid graph convolutional network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant