CN114937173A - 一种基于动态图卷积网络的高光谱图像快速分类方法 - Google Patents

一种基于动态图卷积网络的高光谱图像快速分类方法 Download PDF

Info

Publication number
CN114937173A
CN114937173A CN202210535223.2A CN202210535223A CN114937173A CN 114937173 A CN114937173 A CN 114937173A CN 202210535223 A CN202210535223 A CN 202210535223A CN 114937173 A CN114937173 A CN 114937173A
Authority
CN
China
Prior art keywords
network
hyperspectral
remote sensing
classification
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210535223.2A
Other languages
English (en)
Inventor
董燕妮
刘权威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202210535223.2A priority Critical patent/CN114937173A/zh
Publication of CN114937173A publication Critical patent/CN114937173A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于动态图卷积网络的高光谱图像快速分类方法，包括：S1：获取高光谱遥感图像
Figure DDA0003647707930000011
及其对应的标签Y，其中H,W,B分别表示高光谱遥感图像的长、宽、高；S2：对高光谱遥感图像X进行数据预处理，并对预处理后的图像进行划分像素块处理，得到与每个像素块对应的真实标签；S3：将步骤S2处理后的像素块输入到由多个分支组成的神经网络中；S4：对多个分支的网络输出进行拼接之后，通过Softmax层转化为类别概率信息，选择最大的类别概率作为像素块的预测标签，然后与真实标签比较，计算损失，经过多次迭代，得到融合分类模型。本发明的有益效果是：本发明充分考虑了样本的多种表示，全面地考虑特征的各个层次，提高了分类精度。

Description

一种基于动态图卷积网络的高光谱图像快速分类方法
技术领域
本发明涉及遥感图像处理技术领域，尤其涉及一种基于动态图卷积网络的高光谱图像快速分类方法。
背景技术
高光谱遥感图像处理在物质信息探测方面有着重要的地位，是遥感领域的重要课题。高光谱遥感图像能提供连续的辐射光谱波段，承载着丰富的地物信息，能用于处理不同的应用领域，如房屋的变化检测、农作物评估、地质矿产资源调查等(He,Li et al.,2018；Ahmad；Shabbir et al.,2022)。高光谱遥感图像处理领域中，分类问题是其中的一个主要任务，所谓高光谱图像分类即为确定每个高光谱图像像素点的类别。现有分类方法主要是基于深度学习的方法研究，即使用诸如卷积神经网络，循环神经网络等模型进行端到端的图像分类。
卷积神经网络(Liang,Li,2016；Hamida,Benoit et al.2018)作为一种深度学习模型，已经成功地运用到高光谱遥感图像分类中，基于卷积神经网络的方法能处理高维数据并对样本噪声有很好的鲁棒性，但是基于深度特征提取的卷积网络，随着层数的增多伴随着大量可训练参数的增加，造成训练时间急剧增加，推理时间延长。图卷积网络(Ye,Heet al.2020)能够充分利用高光谱图像中的拓扑结构信息，以较少的层数达到和多层的卷积神经网络相当的精度表现。但是通常，图卷积神经网络是基于半监督的方式在整个图上计算邻接矩阵，需要消耗大量的内存资源，无法应用到诸如遥感图像这种大图之上。
借助高光谱图像像素块划分策略，以图卷积网络为基础，能够以监督学习方式快速的进行高光谱图像分类。但是由于像素级块划分造成的像素块的多样性，会对分类结果造成一定的影响，考虑浅层卷积网络也能够提取有用的特征，所以本发明结合图卷积网络和卷积神经网络特征，引入一种有效的基于动态图卷积神经网络的方法，针对现有方法的问题，结合标签平滑和丢弃块正则化策略，更好地将完成高光谱图像分类任务。
发明内容
为了解决上述问题，本发明提供了一种精度高、效率高的基于动态图卷积神经网络的高光谱图像快速分类法方法，高光谱图像为一个数据立方体，可以用张量表示，张量中各点的向量为各波段对应的像元辐射值，该方法主要包括以下步骤：
S1：获取高光谱遥感图像X及其对应的标签Y；
Figure BDA0003647707910000021
地面参考图的标签
Figure BDA0003647707910000022
其中H,W,B和C分别表示高光谱图像的长度、宽度、高度和总类别数；
S2：对高光谱遥感图像X进行数据预处理，即利用主成分分析法对高光谱图像降维，并对每个像素划分像素块，得到与每个像素块对应的真实标签；
S3：将步骤S2得到的像素块输入到由多个分支组成的神经网络中；
S4：对多个分支的网络输出进行拼接之后，通过Softmax层转化为类别概率信息，选择最大的类别概率作为像素块的预测标签，然后与真实标签比较，计算损失，经过多次迭代，得到融合分类模型，将高光谱遥感图像输入至该融合分类模型，最终得到分类结果。
步骤S2具体为：
将高光谱图像降维至指定维度：
X＝QΛQ-1
其中，Q是这个矩阵X的特征向量组成的矩阵，Q-1代表Q的逆矩阵，Λ是一个对角矩阵，每一个对角线元素就是一个特征值，特征值是由小排列的。选择其中最大的几个特征值，进行特征降维。
所述多个分支组成的神经为由两个带有丢弃块的卷积神经网络分支和一个动态图卷积网络分支组成的神经网络，步骤S3具体为：
(1)首先使用普通卷积进行初级特征提取，然后将提取得到的初级特征传入到使用两个带有丢弃块的2维卷积神经网络进行特征提取，均可表示为：：
Figure BDA0003647707910000023
其中*指的是卷积算子。矩阵
Figure BDA0003647707910000024
和
Figure BDA0003647707910000025
分别是当前层和下一层的特征图。
Figure BDA0003647707910000026
和
Figure BDA0003647707910000027
分别表示(l+1)th卷积层的滤波器和偏置。σ(·)表示LeakyReLU激活函数。丢弃块的作用是将提取到的特征的一部分值随机转化为0。
根据上述原理，通过神经网络第一个分支和第二个分支后，得到分类特征O1和O2，具体如下：
在第一个分支采用了特征展平操作得到分类特征O1：
O1＝Flatten(h1)
其中h1为第一个分支得到的卷积特征，Flatten(·)为展平操作。
在第二个分支采用了特征全局平均池化操作得到分类特征O2：
O1＝GAP(h2)
其中h2为第二个分支得到的卷积特征，GAP(·)为全局平均池化操作。
(2)采用节点编码器对2维卷积神经网络处理后得到的初级特征进行处理，得到节点特征传入到神经网络的第三个分支中，首先根据隐藏层的特征图，由卷积神经网络计算特定类别的激活图
Figure BDA0003647707910000031
然后用它们将转换后隐藏层的特征图h转换成节点序列表示
Figure BDA0003647707910000032
Figure BDA0003647707910000033
其中
Figure BDA0003647707910000034
表示特征图h经过一层卷积后的转置，
Figure BDA0003647707910000035
表示变形后的特征向量。
图卷积层：
利用高光谱像素节点编码特征向量计算节点嵌入特征：
V'＝σ(AfVWf)
其中邻接矩阵
Figure BDA0003647707910000036
记录了每个节点之间的关系，Af和Wf是随机初始化的。
σ(·)是LeakyReLU激活函数，V'是经过一层图卷积网络编码后的节点嵌入特征。
Figure BDA0003647707910000037
其中η为斜率系数。
利用高光谱像素计算动态邻接矩阵：
Figure BDA0003647707910000041
Figure BDA0003647707910000042
其中αji为得到注意力信息，表示隐藏层中第i维对第j维的影响，特征向量E,F和G由节点特征V经全连接网络的转换得到，K为节点编码特征向量V的维度总数，β为可学习参数，
Figure BDA0003647707910000043
代表动态更新的邻接矩阵。
动态图卷积层：
根据动态邻接矩阵计算第二层节点嵌入特征：
V”＝σ(AsV'Ws)
其中Ws代表可学习参数。σ(·)表示LeakyReLU激活函数，V”是经过一层图卷积网络编码后的节点嵌入特征。
(3)利用如下所示的融合分类模型进行特征融合：
O＝O1||O2||O3
其中||运算符表示沿光谱维度串联两个特征，O1,O2和O3分别为基于两个带有丢弃块的卷积神经网络分支和动态图卷积网络分支之后产生的分类特征，O3＝V”。
利用交叉熵损失函数和反向传播函数对整个网络反复迭代训练，获得训练好的融合分类模型。使用交叉熵损失函数计算损失：
Figure BDA0003647707910000044
其中，U是小批次中的样本数量，C是数据集中的总类别数，yc和
Figure BDA0003647707910000045
分别是第c类的地面真实参考图和预测标签。
本发明提供的技术方案带来的有益效果是：
1、提出了一种基于动态图卷积神经网络的深度学习框架，通过整合动态图卷积网络和卷积神经网络来实现HSI分类，该框架使用三个分支来并行处理HSI，以实现快速的信息提取。
2、提出了一个新颖的动态图卷积网络模块，该模块可以通过监督学习的方式自适应地捕获内容感知的类别依赖性，将图卷积网络扩展到大图中。
3、所提出的网络框架优于最先进的卷积神经网络，并在推理速度上大幅超越现在深度学习和机器学习模型。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例中一种基于动态图卷积网络的高光谱图像快速分类方法的流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
本发明的实施例提供了一种基于动态图卷积网络的高光谱图像快速分类方法。该方法首先通过对卷积层的结果实施扁平化和池化操作来获得两个分类特征，这充分地利用了高光谱数据立方体中包含的空间-光谱信息。然后应用动态图卷积模块来提取每个像素块的内在结构信息。最后，该方法可以根据这些空间、光谱和结构特征获得高光谱图像的分类结果。通过使用三个分支，该方法可以监督学习的方式同时处理高光谱图像的多个特征，快速完成高光谱图像分类。此外，该方法还应用了丢弃块和标签平滑等正则化技术来进一步提高模型的泛化能力。
本发明具体实施方式采用PYTHON语言编写，采用经典深度学习框架PYTORCH实现，PYTHON遥感图像读写函数为实施基础。调用数据处理库NUMPY，SCIPY和SPECTRAL库，输入待读取遥感图像文件名，遥感图像就被读入大小为H×W×B的张量中，张量中各元素为各波段对应的像元辐射值，其中，H为遥感图像的长度，W为遥感图像的宽度，B为遥感图像波段数。PYTHON遥感图像读写函数为本技术领域的公知技术，在此不作赘述。
如图1所示，基于动态图卷积神经网络的高光谱图像分类，具体操作如下：
(1)对于高光谱影像X，由于其为具有几百个非常窄的连续光谱组成，具有丰富的信息的待挖掘，因此首先利用2维卷积神经网络处理原始高光谱影像，提取初级特征，即利用：
Figure BDA0003647707910000051
其中*指的是卷积算子，矩阵
Figure BDA0003647707910000052
和
Figure BDA0003647707910000053
分别是当前层和下一层的特征图，
Figure BDA0003647707910000054
和
Figure BDA0003647707910000061
分别表示(l+1)th卷积层的滤波器和偏置向量，σ(·)表示LeakyReLU激活函数。通过上述操作，第一次得到隐藏特征，第一个隐藏特征是由原始特征，即输入数据X得到的，基于深度学习的知识得到h1和h2，下面是一个示意表达式：
h1＝X*w
h2＝h1*w＝X*w*w
h3＝h2*w＝X*w*w*w
......
其中X为输入特征，w是可学习参数。
(2)为了进一步挖掘高光谱图像蕴含的丰富特征，将初始两个卷积层提取得到的特征分别传入到三个分支中，如(1)中所述，三个分支同时进行处理。第一个和第二个分支由卷积层组成，其中在卷积模块中插入了丢弃块正则化策略，丢弃块的作用是将提取到的特征的一部分值随机转化为0。
(3)在第一个分支采用了特征展平操作得到分类特征O1：
O1＝Flatten(h1)
其中h1为第一个分支得到的卷积特征，Flatten(·)为展平操作。
(4)在第二个分支采用了特征全局平均池化操作得到分类特征O2：
O1＝GAP(h2)
其中h2为第二个分支得到的卷积特征，GAP(·)为全局平均池化操作。
(5)节点编码器：第三个分支由两层组成，首先根据隐藏层的特征图，由卷积神经网络计算特定类别的激活图
Figure BDA0003647707910000062
然后用它们将转换后隐藏层的特征图
Figure BDA0003647707910000063
转换成节点序列表示
Figure BDA0003647707910000064
Figure BDA0003647707910000065
其中
Figure BDA0003647707910000066
表示特征图h经过一层卷积后的转置，
Figure BDA0003647707910000067
表示隐藏特征h变形后的特征向量，两者的数据组织方式不同，可以理解为h是横排的数据，h’为竖排的数据，比如，若h为H*W*D，则变形后的h'为(H*W)*D，这里把前两个维度展成了一列。
(6)利用顶点表征V，第一层执行常规的图卷积操作。对于顶点特征
Figure BDA0003647707910000068
图卷积层的目标是利用邻接矩阵
Figure BDA0003647707910000071
和可学习参数Wf来得到其值V'。具体形式上，这个过程可以被表述为：
V'＝σ(AfVWf)
其中邻接矩阵
Figure BDA0003647707910000072
记录了每个节点之间的关系。第一层中的Af和Wf是随机初始化的，在训练中通过梯度学习。σ(·)是LeakyReLU激活函数激活函数。
(7)对于第二层，引入邻接矩阵As来更新节点V'.
Figure BDA0003647707910000073
是由编码V得到的，这与第一层不同，第一层Af在训练后是固定的。As可以随着输入特征的变化而动态地更新。可以得到
Figure BDA0003647707910000074
Figure BDA0003647707910000075
其中特征向量E,F和G由隐藏层特征h'经全连接网络的，β是一个可学习的参数。因此，每个像素块都会产生不同的As，这大大增强了模型的表现力，减少了过度拟合的风险。具体地，V”输出可以定义为：
V”＝σ(AsV'Ws)
其中As和Ws分别代表动态更新的邻接矩阵和可学习参数，σ(·)表示LeakyReLU激活函数。
(8)为了充分挖掘高光谱图像所包含的信息，使用三个分支从不同角度提取高光谱图像特征。如图1所示，三个分支的输出分别是O1,O2和O3。为了统一表示，将图卷积层得到的特征V”以O3表示。从这三个不同角度得到的特征被融合，然后进行分类。输出的最终分类特征O可以表示为：
O＝O1||O2||O3
其中||运算符表示沿光谱维度串联两个特征。
(9)为了优化所提出的FDGC，使用交叉熵损失函数为：
Figure BDA0003647707910000076
其中，U是小型批次中的样本数，C是数据集中的总类别数，yc和
Figure BDA0003647707910000081
分别是第c类的地面真实参考图和预测标签。在该分类框架下，经过不断的迭代得到最好的模型。
印度松树和萨利纳斯高光谱数据集被用作验证模型有效的实验数据集。印度松树由机载可视红外成像光谱仪(AVIRIS)于1992年对美国印第安纳州一块印度松树进行成像，然后截取尺寸为145×145的大小进行标注作为高光谱图像分类测试用途。AVIRIS成像光谱仪成像波长范围为0.4-2.5μm，是在连续的220个波段对地物连续成像的，但是由于第104-108，第150-163和第220个波段不能被水反射，因此，一般使用的是剔除了这20个波段后剩下的200个波段作为研究的对象。该数据总共有21025个像素，但是其中只有10249个像素是地物像素，其余10776个像素均为背景像素，在实际分类中，这些像素是需要剔除的，由于截取的这块区域均是庄稼，总共有16类，因此不同的地物具有较为相似的光谱曲线，而且这16类中，样本的分布极不均匀。同印度松树图像一样，萨利纳斯数据也是由AVIRIS成像光谱仪所拍摄的，它是对美国加利福尼亚州的萨利纳斯山谷所成的像。同印度松树数据集不同的是，它的空间分辨率达到了3.7m。该图像原本也有224个波段，同样的，一般使用的也是剔除了第108-112，154-167，和第224波段，这几个不能被水反射的波段后剩下的204个波段的图像。该图像的尺寸为512×217，因此共包含111104个像素，其中有56975个像素是背景像素，可应用于分类的像素有54129个，这些像素总共分为16类，包括休耕地(Fallow)、芹菜(Celery)等。本发明分别采用经典的支持向量机(方法1)、3维卷积神经网络(方法2)、深度卷积网络(方法3)、空谱联合的残差网络(方法4)、深度特征融合网络(方法5)、混合空谱网络(方法6)、光谱划分残差网络(方法7)和本发明方法进行分类对比，以证明本发明的有效性。
分类评价指标：采用定量评价方法，数据集一总共选择了1260个像素的作为训练样本和8989个像素作为测试样本，数据集二总共选择了1600个像素作为训练样本和52529个像素作为测试样本。评价指标采用如下两个指标：
1)kappa系数：
kappa系数是用来评价分类问题的权威评价指标。kappa系数越大，精度越高。本试验中，选取的是方法1～3所能获得的最高Kappa系数来评价方法1～7的检测能力。
样本获取混淆矩阵如表1所示：
表1混淆矩阵
Figure BDA0003647707910000091
表1中，TTO表示标签为类别一预测也为类别一的数量；TF表示实际为类别二但是预测为类别一的数量。FT表示实际为类别一，但是预测为类别二的数量。TTT标签为类别二预测也为类别二的数量；NCO为TTO和FT之和，NCT为TF和TTT之和，NRO为TTO和TF之和，NRT为FT和TTT之和，N为总样本数。
根据样本获取混淆矩阵，计算Kappa系数，其计算公式为：
Figure BDA0003647707910000092
2)整体精度：
整体精度(OverallAccuracy，OA)是用来评价分类问题的评价指标。整体精度越高，检测精度越高。OA的计算方法同样基于表1所示的混淆矩阵，整体精度OA计算公式为：
Figure BDA0003647707910000093
采用kappa系数和整体精度评价两个评价指标，用1～7的对比实验和本发明的方法的分类能力进行比较，评价指标见表2：
表2对比试验结果1
Figure BDA0003647707910000094
Figure BDA0003647707910000101
从表2可见，本发明方法能获得更高的整体精度和kappa值，表明本发明方法具有更强的分类能力。本发明方法和对比方法，在总体分类精度和kappa值这两个指标上均取得了最好的结果，由此可得出结论，与传统和最近下深度学习分类方法相比，本发明方法拥有更高的分类精度。本发明充分考虑了样本的多种表示，全面的考虑特征的各个层次，提高了分类精度。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于动态图卷积网络的高光谱图像快速分类方法，其特征在于：包括以下步骤：
S1：获取高光谱遥感图像
Figure FDA0003647707900000016
及其对应的标签Y，其中H,W,B分别表示高光谱遥感图像的长、宽、高；
S2：对高光谱遥感图像X进行数据预处理，并对预处理后的图像进行划分像素块处理，得到若干像素块及与每个像素块对应的真实标签；
S3：将步骤S2处理后的像素块输入到由多个分支组成的神经网络中；
S4：对多个分支的网络输出进行拼接之后，通过Softmax层转化为类别概率信息，选择最大的类别概率作为像素块的预测标签，然后与真实标签比较，计算损失，经过多次迭代，得到融合分类模型，将高光谱遥感图像输入至该融合分类模型，最终得到分类结果。
2.如权利要求1所述的一种基于动态图卷积网络的高光谱图像快速分类方法，其特征在于：步骤S2中，所述数据预处理是指利用主成分分析法对高光谱遥感图像降维处理：
X＝QΛQ-1
其中，Q是高光谱遥感图像矩阵X的特征向量组成的矩阵，Q-1代表Q的逆矩阵，Λ是一个对角矩阵，每一个对角线元素就是一个特征值，特征值是由小到达排列的，选择最大的几个特征值，进行特征降维。
3.如权利要求1所述的一种基于动态图卷积网络的高光谱图像快速分类方法，其特征在于：步骤S3中，所述多个分支组成的神经为由两个带有丢弃块的卷积神经网络分支和一个动态图卷积网络分支组成的神经网络，步骤S3的具体实现过程为：
(1)首先使用普通卷积进行初级特征提取，然后将提取得到的初级特征传入到两个带有丢弃块的2维卷积神经网络进行特征提取，均可表示为：
Figure FDA0003647707900000011
其中*指的是卷积算子，矩阵
Figure FDA0003647707900000012
和
Figure FDA0003647707900000013
分别是当前层和下一层的特征图，
Figure FDA0003647707900000014
和
Figure FDA0003647707900000015
分别表示第(l+1)个卷积层的权重和偏置，σ(·)表示LeakyReLU激活函数；丢弃块的作用是将提取到的特征的一部分值随机转化为0；
根据上述原理，通过神经网络第一个分支和第二个分支后，得到分类特征O1和O2；
(2)将2维卷积神经网络处理后得到的初级特征传入到神经网络的第三个分支中，首先根据隐藏层的特征图，由神经网络计算特定类别的激活图
Figure FDA0003647707900000021
然后根据特定类别的激活图将转换后隐藏层的特征图h转换成节点编码特征向量
Figure FDA0003647707900000022
Figure FDA0003647707900000023
其中
Figure FDA0003647707900000024
表示特征图h经过一层卷积后的转置，
Figure FDA0003647707900000025
表示变形后的特征向量；
(3)利用高光谱像素节点编码特征向量计算节点嵌入特征：
V'＝σ(AfVWf)
其中邻接矩阵
Figure FDA0003647707900000026
记录了每个节点之间的关系，Wf代表随机初始化的权重；σ(·)是LeakyReLU激活函数，V'是经过一层图卷积网络编码后的节点嵌入特征；
Figure FDA0003647707900000027
其中η为斜率系数；
(4)利用高光谱像素计算动态邻接矩阵：
Figure FDA0003647707900000028
Figure FDA0003647707900000029
其中αji为得到注意力信息，表示隐藏层种第i维对第j维的影响，特征向量E,F和G由节点特征V经全连接网络的转换得到，K为节点编码特征向量V的维度总数，β为可学习参数，
Figure FDA00036477079000000210
代表动态更新的邻接矩阵。
(5)根据动态邻接矩阵计算第二层节点嵌入特征：
V”＝σ(AsV'Ws)
其中Ws代表可学习参数，σ(·)表示LeakyReLU激活函数，V”是经过一层图卷积网络编码后的节点嵌入特征；
(6)对三个所得到的特征执行特征拼接，得到最终分类特征：
O＝O1||O2||O3
其中||运算符表示沿光谱维度串联两个特征，O1,O2和O3分别为基于两个带有丢弃块的卷积神经网络分支和动态图卷积网络分支之后产生的分类特征，O3＝V”。
4.如权利要求4所述的一种基于动态图卷积网络的高光谱图像快速分类方法，其特征在于：
在第一个分支采用了特征展平操作得到分类特征O1：
O1＝Flatten(h1)
其中h1为第一个分支得到的卷积特征，Flatten(·)为展平操作。
5.如权利要求4所述的一种基于动态图卷积网络的高光谱图像快速分类方法，其特征在于：
在第二个分支采用了特征全局平均池化操作得到分类特征O2：
O1＝GAP(h2)
其中h2为第二个分支得到的卷积特征，GAP(·)为全局平均池化操作。
6.如权利要求1所述的一种基于动态图卷积网络的高光谱图像快速分类方法，其特征在于：利用交叉熵损失函数和反向传播函数对整个网络反复迭代训练，获得训练好的融合分类模型。
7.如权利要求6所述的一种基于动态图卷积网络的高光谱图像快速分类方法，其特征在于：使用交叉熵损失函数计算损失：
Figure FDA0003647707900000031
其中，U是小型批次中的样本数，C是数据集中的总类别数，yc和
Figure FDA0003647707900000032
分别是第c类的地面真实参考图和预测标签，L为一轮训练所得到的损失值。
CN202210535223.2A 2022-05-17 2022-05-17 一种基于动态图卷积网络的高光谱图像快速分类方法 Pending CN114937173A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210535223.2A CN114937173A (zh) 2022-05-17 2022-05-17 一种基于动态图卷积网络的高光谱图像快速分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210535223.2A CN114937173A (zh) 2022-05-17 2022-05-17 一种基于动态图卷积网络的高光谱图像快速分类方法

Publications (1)

Publication Number Publication Date
CN114937173A true CN114937173A (zh) 2022-08-23

Family

ID=82865136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210535223.2A Pending CN114937173A (zh) 2022-05-17 2022-05-17 一种基于动态图卷积网络的高光谱图像快速分类方法

Country Status (1)

Country Link
CN (1) CN114937173A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861824A (zh) * 2023-02-23 2023-03-28 汕头大学 基于改进Transformer的遥感图像识别方法
CN116030355A (zh) * 2023-03-30 2023-04-28 武汉城市职业学院 一种地物分类方法及系统
CN116994071A (zh) * 2023-09-25 2023-11-03 云南联合视觉科技有限公司 一种基于自适应光谱残差的多光谱激光雷达点云分类方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861824A (zh) * 2023-02-23 2023-03-28 汕头大学 基于改进Transformer的遥感图像识别方法
CN116030355A (zh) * 2023-03-30 2023-04-28 武汉城市职业学院 一种地物分类方法及系统
CN116030355B (zh) * 2023-03-30 2023-08-11 武汉城市职业学院 一种地物分类方法及系统
CN116994071A (zh) * 2023-09-25 2023-11-03 云南联合视觉科技有限公司 一种基于自适应光谱残差的多光谱激光雷达点云分类方法

Similar Documents

Publication Publication Date Title
Ghaderizadeh et al. Hyperspectral image classification using a hybrid 3D-2D convolutional neural networks
CN111191736B (zh) 基于深度特征交叉融合的高光谱图像分类方法
KR102197297B1 (ko) 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법
CN111191514B (zh) 一种基于深度学习的高光谱图像波段选择方法
Liu et al. A spark-based parallel fuzzy $ c $-Means segmentation algorithm for agricultural image Big Data
Fu et al. A novel band selection and spatial noise reduction method for hyperspectral image classification
Ortac et al. Comparative study of hyperspectral image classification by multidimensional Convolutional Neural Network approaches to improve accuracy
CN107145836B (zh) 基于栈式边界辨别自编码器的高光谱图像分类方法
CN113723255B (zh) 一种高光谱影像分类方法和存储介质
CN114937173A (zh) 一种基于动态图卷积网络的高光谱图像快速分类方法
Huang et al. Nonlocal graph theory based transductive learning for hyperspectral image classification
CN111783884B (zh) 基于深度学习的无监督高光谱图像分类方法
Xue et al. Training convolutional neural networks and compressed sensing end-to-end for microscopy cell detection
Feng et al. Dual-graph convolutional network based on band attention and sparse constraint for hyperspectral band selection
CN113988147B (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
Roy et al. Lightweight heterogeneous kernel convolution for hyperspectral image classification with noisy labels
He et al. Multi-spectral remote sensing land-cover classification based on deep learning methods
Rajendran et al. Hyperspectral image classification model using squeeze and excitation network with deep learning
Gatto et al. Tensor analysis with n-mode generalized difference subspace
Chen et al. An Offset Graph U-Net for Hyperspectral Image Classification
CN116206158A (zh) 基于双超图神经网络的场景图像分类方法及系统
Sarpong et al. Hyperspectral image classification using second-order pooling with graph residual unit network
Kumawat et al. Time-Variant Satellite Vegetation Classification Enabled by Hybrid Metaheuristic-Based Adaptive Time-Weighted Dynamic Time Warping
Qadir et al. Active learning with Bayesian CNN using the BALD method for hyperspectral image classification
Swain et al. Evaluation of dimensionality reduction techniques on hybrid CNN–based HSI classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination