CN113723255B - 一种高光谱影像分类方法和存储介质 - Google Patents
一种高光谱影像分类方法和存储介质 Download PDFInfo
- Publication number
- CN113723255B CN113723255B CN202110972593.8A CN202110972593A CN113723255B CN 113723255 B CN113723255 B CN 113723255B CN 202110972593 A CN202110972593 A CN 202110972593A CN 113723255 B CN113723255 B CN 113723255B
- Authority
- CN
- China
- Prior art keywords
- pixel
- hyperspectral
- neural network
- image
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000004927 fusion Effects 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 25
- 230000007246 mechanism Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000014509 gene expression Effects 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 9
- 230000003595 spectral effect Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 229910052698 phosphorus Inorganic materials 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 229910052757 nitrogen Inorganic materials 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 241000522669 Parkia Species 0.000 description 3
- 235000017333 Parkia speciosa Nutrition 0.000 description 3
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 3
- 235000011613 Pinus brutia Nutrition 0.000 description 3
- 241000018646 Pinus brutia Species 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 239000012633 leachable Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种高光谱影像分类方法，高光谱影像分类方法包括：构建卷积网络和图注意力网络的加权融合模型；输入高光谱遥感图像至该模型，从而获取高光谱遥感图像的影像数据；对影像数据降维并去噪，利用去噪数据通过两个分支分别获取像素级特征和超像素级特征进行加权融合，然后迭代训练加权融合模型，利用交叉熵损失函数和反向传播函数对加权融合模型反复迭代训练，利用训练后的加权融合模型对高光谱影像进行像素级分类。本发明充分考虑了样本的多尺度深层特征，全面地考虑特征的各个尺度和层次，提高了分类精度。
Description
技术领域
本发明涉及遥感图像处理技术领域，具体涉及基于卷积神经网络和图注意力网络加权融合一种高光谱影像分类方法和存储介质。
背景技术
高光谱遥感图像处理在物质信息探测方面有着重要的地位，是遥感领域的重要课题。高光谱遥感图像能提供连续的辐射光谱波段，承载着丰富的地物信息，能用于处理不同的应用领域，如房屋的变化检测、农作物评估、地质矿产资源调查等(Manolakis,Siracusaet al.,2001；Nasrabadi,N.M.,2014)。高光谱遥感图像处理领域中，分类问题是其中的一个主要任务，所谓高光谱影像分类即为确定每个高光谱影像像素点的类别。现有分类方法主要是基于卷积神经网络的方法研究，即使用卷积神经网络模型进行端到端的影像分类。
卷积神经网络作为一种深度学习模型，已经成功地运用到高光谱遥感图像分类中，基于卷积神经网络的方法能处理高维数据并对样本噪声有很好的鲁棒性，但是需要大量的先验训练样本，才能取得比较好的效果。但是，在高光谱影像分类应用中，高光谱遥感影像往往具有光谱可变性的特点，会导致目标训练样本极其有限，甚至只有单一的训练样本，训练样本和待预测影像的像元数目往往差别很大，从而没有足够的训练样本用于重新构造对测试样本同样有效的机器学习模型。如果直接将卷积神经网络直接用到高光谱影像分类中，并不能将模型很好的推广到整个数据集上，得到理想的分类结果。
发明内容
本发明解决的一个主要问题是如何利用有限的训练样本构建多特征表达模型，较好地处理不均衡训练样本的情况。
根据本发明的一个方面，本发明提供一种高光谱影像分类方法，所述高光谱影像分类方法包括：
构建卷积网络和图注意力网络的加权融合模型；
将高光谱遥感图像输入所述加权融合模型，从而获取所述高光谱遥感图像的影像数据；
对所述影像数据降维并去噪，得到去噪数据；
利用所述去噪数据迭代训练所述加权融合模型，训练步骤包括：
对所述去噪数据进行超像素特征嵌入和归一化，获得归一化数据；
利用空间注意力机制提取所述去噪数据中的空间注意力信息和通道注意力信息；
利用2维卷积神经网络对所述空间注意力信息和所述通道注意力信息抽取高光谱影像特征；
将抽取到的所述高光谱影像特征进行多维特征加权融合，获得复合超像素和像素级特征的特征信息，至此完成一次训练；
利用交叉熵损失函数和方向传播函数对所述加权融合模型反复迭代训练，获得训练好的所述加权融合模型；
利用训练后的所述加权融合模型对高光谱影像进行分类。
进一步地，所述对所述影像数据降维并去噪，得到去噪数据包括：
利用1维卷积神经网络处理对高光谱影像降维并去噪：
其中，经过1维卷积神经网络处理后的特征输出，h,w,m分别为特征图的长、宽和通道数，Ki,j,b,m为1维卷积神经网络的卷积核，i、j和b分别为卷积核所处的不同位置，Bh,w,m为1维卷积神经网络的偏置，σ(表示leakyReLU激活函数。
进一步地，所述对所述影像数据降维并去噪，得到去噪数据还包括：
对降维并去噪后的所述高光谱影像的像素级特征和超像素特征进行编码，编码过程的第一数学表达式为：
其中，X为输入的三维高光谱影像，为按照光谱维度展平的高光谱影像，/>为i位置的按照光谱维度展平的高光谱影像Sj为超像素级别高光谱影像，Oi,j为在位置i,j的联系矩阵；
编码过程的第二数学表达式为：
其中，V为超像素特征，Encoder(X；O)为像素级特征编码器，Flatten(X)为将高光谱数据展开成一维向量，且o为数据预处理部分得到的联系矩阵，/>为超像素构建的联系矩阵的转置。
进一步地，对降维并去噪后的所述高光谱影像的像素级特征和超像素特征进行编码后还包括：
对编码后的所述高光谱影像的像素级特征和超像素特征进行解码，解码过程的数学表达式为：
其中，为解码后的三维高光谱影像，Decoder(为超像素特征解码器，Rshape(表示执行维度变换操作。
进一步地，所述利用空间注意力机制提取所述去噪数据中的空间注意力信息和通道注意力信息包括：
首先通过空间注意力机制提取空间注意力信息，所述空间注意力信息表示为第三表达式：
其中，Zj为得到的空间注意力信息，mp为通过自注意力机制得到空间注意力系数，为位置i和位置j的相关程度，Ci为通过1维卷积神经网络对原始特征图进行变换得到的新特征图，且i＝1,2,...,N，N为空间中像素总数，/>为输入的特征的第j个通道，α为可学习参数；
再通过空间注意力机制得到通道注意力信息，所述通道注意力信息表示为第四表达式：
其中，Zj为得到通道注意力信息，mc为通过自注意力机制得到通道注意力图，mc ji为通道i和通道j的相关程度，为输入的特征图的第i个通道，/>为输入的特征图的第j个通道，且i＝1,2,...,N，C为空间中通道总数，β为可学习参数。
进一步地，所述利用2维深度可分离卷积神经网络对所述空间注意力信息和所述通道注意力信息抽取高光谱影像特征还包括：
使用2维深度可分离卷积神经网络进行特征抽取：
其中，经过2维深度可分离卷积神经网络处理后的特征输出，/>为2维深度可分离卷积神经网络的卷积核，/>为2维深度可分离卷积神经网络的偏置，σ(为leakyReLU激活函数。
进一步地，所述将抽取到的所述高光谱影像特征进行多维特征加权融合包括：
利用下述表达式进行多维特征融合：
F＝η·AC+(1-η)·SG
其中，η为权重参数，F为融合的影像特征，AC,SG分别为基于卷积神经网络分支和基于图卷积网络分支产生的影像特征。
进一步地，所述利用交叉熵损失函数和方向传播函数对所述加权融合模型反复迭代训练，获得训练好的所述加权融合模型包括；
使用交叉熵损失函数计算损失，所述交叉熵损失函数为：
其中，L(Y,P)为损失值，Y指分类标签图，P为预测的标签图，N为预测的标签总数，D为地物类别总数，且d＝1,2,...,D，yi,d为第i个像素预测为d类，pi,d为将第i个像素预测为d类的该概率。
根据本发明的另一方面，还公开一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质中存储有如前任一所述的一种高光谱影像分类方法。
本发明利用基于超像素分割的图注意力网络，能找到有效地提取高光谱影像的特征，特别是在样本数很少，正负样本数不均衡的情况下，能够弥补卷积神经网络的探测缺陷。此外，大多数现存的图注意力网络方法存在训练不稳定的问题，在训练过程中容易出现梯度消失和梯度爆炸等问题。因此，本发明方法引入一种有效的基于卷积神经网络和图注意力网络的方法，针对现有方法的问题，结合超像素分割和特征归一化技术，更好地将完成高光谱影像分类任务。
附图说明
本发明构成说明书的一部分附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。
图1为本发明实施例中一种高光谱影像分类流程示意图。
具体实施方式
下面将结合附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
实施例一，如图1所示，为本实施例基于卷积神经网络和图注意力网络加权特征融和的一种对高光谱影像分类方法。
本实施例采用PYTHON语言编写，采用经典深度学习框架PYTORCH实现，PYTHON遥感图像读写函数为实施基础。调用遥感图像处理库SPECTRAL，输入待读取遥感图像文件名，遥感图像就被读入大小为H×W×B的张量中，张量中各元素为各波段对应的像元辐射值，其中，H为遥感图像的长度，W为遥感图像的宽度，B为遥感影像波段数。调用遥感图像读写函数，将待分析高光谱遥感图像读入张量X。PYTHON遥感影像读写函数为本技术领域的公知技术，在此不作赘述。
基于卷积神经网络和图注意力网络加权特征融的高光谱影像分类，具体操作步骤如下：
(1)对于高光谱影像X，由于其为具有几百个非常窄的连续光谱组成，具有丰富信息的同时，它也是包含很多冗余信息，且由于大气，传感器，环境干扰，人为标注等的影像，光谱信息未必准确，因为首先利用1维卷积神经网络处理原始高光谱影像，即利用：
其中，经过1维卷积神经网络处理后的特征输出，h,w,m分别为特征图的长、宽和通道数，Ki,j,b,m为1维卷积神经网络的卷积核，i、j和b分别为卷积核所处的不同位置，Bh,w,m为1维卷积神经网络的偏置，σ(表示leakyReLU激活函数。
(2)为了利用超像素对高光谱影像分类带来的增益，首先需要像构建素级特征和超像素特征的编码器和解码器，根据：
构建联系矩阵，其中，X为输入的三维高光谱影像，为按照光谱维度展平的高光谱影像，Sj为超像素级别高光谱影像，Oi,j为在位置i,j的联系矩阵；
然后根据联系矩阵，构建超像素和像素的编码器，即
其中V为超像素特征，Encoder(X；O)为像素级特征编码器，Flatten(X)为将高光谱数据展开成一维向量，且o为数据预处理部分得到的联系矩阵，/>为超像素构建的联系矩阵的转置。
利用编码器将高光谱影像从栅格数据转化为超像素节点数据。节点数据经过节点信息嵌入后，为了和卷积神经网络的特征进行聚合需要从节点数据返回到栅格数据，即利用下式(4)表达的解码器将节点数据转化为栅格数据：
X％＝Decoder(V；O)＝Reshape(OV) (4)
其中，为解码后的三维高光谱影像，Decoder(为超像素特征解码器，Rshape表示执行维度变换操作。
(3)利用编码器得到的节点特征，利用图注意力网络计算节点嵌入信息：
其中，αij为注意力系数，leakyReLU为激活函数，W和a为不同的可学习参数，k∈Ni为只计算节点邻居的注意力系数，vi和vj分别为i位置和j位置的超像素特征，K为多头注意力机制的头数，δ为leakyReLU激活函数，aT为转置的可学习参数。
将得到的节点嵌入信息经过解码器解码返回到栅格数据，由于图注意力网络具有不稳定性，所以采用全连接层和归一化层对图注意力网络进行处理，得到归一化的特征，即：
其中为归一化的特征图，x*为从超像素节点转换回像素的特征，E[x*]为x*的均值，Var[x*]为x*的方差，γ,β为两个不同位置的可学习参数。
(4)降维和去噪后的特征进入另一个分支中抽取像素级特征，但是为了抽取长程信息，首先利用注意机制对特征进行编码，即：
其中Zj为得到注意力信息，为通过自注意力机制得到位置注意力图，/>为j位置的原始特征图，Ci为通过1维卷积神经网络对对原始特征图进行变换得到的值，α为对应位置的可学习参数。
以相似的方法可以得到通道注意力信息：
其中Zj为得到注意力信息，mC ji为通过自注意力机制得到的位置注意力图，为i位置的原始特征图，β为可学习参数，C为空间中通道总数。通过以上步骤即得到使用空间注意力模块和通道注意力模型进行编码的像素级特征。
(5)为了提高高层抽象复杂的高光谱特征，使用2维可分离卷积进行特征抽取：
其中，经过1维卷积神经网络处理后的特征输出，h,w,b分别为特征图的长、宽和通道数，/>为卷积核，/>为偏置，σ表示激活函数，这里用的激活函数为leakyReLU激活函数。2维可分离卷积极大地降低的整个模型的参数量，另一方面降低卷积神经网络面临的小样本问题。
(6)重复进行一次注意力机制编码和卷积神经网络特征抽取之后，执行多维特征加权融合，即：
F＝η·AC+(1-η)·SG (11)
η为权重参数，F为融合特征，C,G分别为基于卷积神经网络分支和图卷积网络分支产生的特征。使用两种神经网络模型抽取高光谱影像特征后，即得到复合超像素和像素级特征的特征信息。
(7)使用两种神经网络模型抽取高光谱影像特征后，即得到复合超像素和像素级特征的特征信息。最后需要利用反向传播训练整个网络，使用交叉熵损失函数来进行反向传播
其中，其中，L(Y,P)为损失值，Y指分类标签图，P为预测的标签图，N为预测的标签总数，D为地物类别总数，且d＝1,2,...,D，yi,d为第i个像素预测为d类，pi,d为将第i个像素预测为d类的概率。
上述方法提出一种卷积神经网络和图注意力网络加权特征融方法，将基于超像素分割的图注意力网络和集合注意力机制的卷积网络结合来处理有限的训练样本问题。该方法基于卷积神经网络框架，通过结合像素级和超像素级特征转换器，不仅能够使用卷积神经网络的提取复杂的边界信息，还能够利用图卷积网络平滑特征，减少误分率。本质上说，该方法利用图注意网络分支计算超像素的平滑特征，使得在小样本情况下依然能够保持分类图的光滑，同时利用卷积神经网络，将一些容易误分的小目标区域进行微调，提高分类效率。
以下通过对比试验来验证本发明的有益效果。
本试验采用的数据为印度松树和帕维亚大学高光谱数据用作验证模型有效的实验数据集。印度松树由机载可视红外成像光谱仪(AVIRIS)于1992年对美国印第安纳州一块印度松树进行成像，然后截取尺寸为145×145的大小进行标注作为高光谱图像分类测试用途。AVIRIS成像光谱仪成像波长范围为0.4-2.5μm，是在连续的220个波段对地物连续成像的，但是由于第104-108，第150-163和第220个波段不能被水反射，因此，一般使用的是剔除了这20个波段后剩下的200个波段作为研究的对象。该数据总共有21025个像素，但是其中只有10249个像素是地物像素，其余10776个像素均为背景像素，在实际分类中，这些像素是需要剔除的，由于截取的这块区域均是庄稼，总共有16类，因此不同的地物具有较为相似的光谱曲线，而且这16类中，样本的分布极不均匀。
帕维亚大学的数据集捕捉了意大利帕维亚大学周围的城市区域，由位于意大利北部的ROSIS-03传感器于2001年收集。该数据的尺寸为610×340，因此共包含2207400个像素,空间分辨率为1.3米/像素的和光谱覆盖范围从0.43到0.86μm。但是其中包含大量的背景像素，包含地物的像素总共只有42776个，这些像素中共包含9类地物，包括树、沥青道路、砖块、牧场等,除去12个非常嘈杂的波段后，有103个光谱波段。
参照表2，分别采用经典的支持向量机(方法1)、1维卷积神经网络(方法2)、联合空谱注意力网络(方法3)、混合空谱网络(方法4)、图卷积网络(方法5)、多维图卷积网络(方法6)、卷积网络增强图卷积网络(方法7)和本发明的方法进行变化检测。
分类评价指标：采用定量评价方法，数据集一共选择了110个像素的作为训练样本和9619个像素作为测试样本，数据集二总共选择了48个样本作为训练样本和42680的各样作为测试样本。
评价指标采用如下两个指标：
(1)kappa系数：
kappa系数是用来评价分类问题的权威评价指标。kappa系数越大，精度越高。在变化检测中，可以将变化检测结果看做二分类问题(变化和未变化)。本试验中，选取的是方法1～3所能获得的最高Kappa系数来评价方法1～7的检测能力。
kappa系数计算方法为：
根据样本获取混淆矩阵，见表1：
表1混淆矩阵
表1中，TTO表示标签为类别一预测也为类别一的数量；TF表示实际为类别二但是预测为类别一的数量。FT表示实际为类别一，但是预测为类别二的数量。TTT标签为类别二预测也为类别二的数量；NCO为TTO和FT之和，NCT为TF和TTT之和，NRO为TTO和TF之和，NRT为FT和TTT之和，N为总样本数。Kappa系数的计算公式为：
(2)整体精度：
整体精度(Overall Accuracy，OA)是用来评价分类问题的评价指标。整体精度越高，检测精度越高。OA的计算方法同样基于表1所示的混淆矩阵，整体精度OA计算公式为：
采用Kappa系数和整体精度评价方法1～7和本发明方法的变化检测能力，对比试验结果见表2。
表2对比试验结果
从表2可见，本发明方法能获得更高的整体精度和Kappa系数，表明本发明方法具有更强的分类能力。本发明方法和方法一到七的Kappa系数的差异，比整体精度差异更加明显，因为整体精度未考虑分类正确标签和分类错误标签的数量问题，而Kappa系数考虑到了该问题，因此，Kappa系数的评价更加客观。
由此可得出结论，与传统变化检测方法相比，本发明方法拥有更高的分类精度。本发明充分考虑了样本的多尺度深层特征，全面的考虑特征的各个层次，提高了分类精度。
以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则范围之内所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
Claims (2)
1.一种高光谱影像分类方法，其特征在于，所述高光谱影像分类方法包括：
构建卷积网络和图注意力网络的加权融合模型；
将高光谱遥感图像输入所述加权融合模型，从而获取所述高光谱遥感图像的影像数据；
对所述影像数据降维并去噪，得到去噪数据；
利用所述去噪数据迭代训练所述加权融合模型，训练步骤包括：
对所述去噪数据进行超像素特征嵌入和归一化，获得归一化数据；
利用空间注意力机制提取所述去噪数据中的空间注意力信息和通道注意力信息；
利用2维卷积神经网络对所述空间注意力信息和所述通道注意力信息抽取高光谱影像特征；
将抽取到的所述高光谱影像特征进行多维特征加权融合，获得复合超像素和像素级特征的特征信息，至此完成一次训练；
利用交叉熵损失函数和方向传播函数对所述加权融合模型反复迭代训练，获得训练好的所述加权融合模型；
利用训练后的所述加权融合模型对高光谱影像进行分类；
所述对所述影像数据降维并去噪，得到去噪数据包括：
利用1维卷积神经网络处理对高光谱影像降维并去噪：
其中，经过1维卷积神经网络处理后的特征输出，h,w,m分别为特征图的长、宽和通道数，Ki,j,b,m为1维卷积神经网络的卷积核，i、j和b分别为卷积核的不同位置，Bh,w,m为1维卷积神经网络的偏置，σ(表示leakyReLU激活函数；
所述对所述影像数据降维并去噪，得到去噪数据还包括：
对降维并去噪后的所述高光谱影像的像素级特征和超像素特征进行编码，首先构建联系矩阵，所述联系矩阵为第一数学表达式：
其中，X为输入的三维高光谱影像，为按照光谱维度展平的高光谱影像，/>为i位置的按照光谱维度展平的高光谱影像，Sj为超像素级别高光谱影像，Oi,j为在位置i,j的联系矩阵；
然后构建超像素和像素的编码器，所述编码器为第二数学表达式：
其中，V为超像素特征，Encoder(X；O)为像素级特征编码器，Flatten(X)为将高光谱数据展开成一维向量，且o为数据预处理部分得到的联系矩阵，/>为超像素构建的联系矩阵的转置；
对降维并去噪后的所述高光谱影像的像素级特征和超像素特征进行编码后还包括：
对编码后的所述高光谱影像的像素级特征和超像素特征进行解码，解码器的数学表达式为：
其中，为解码后的三维高光谱影像，Decoder(为超像素特征解码器，Rshape(表示执行维度变换操作；
利用编码器得到的节点特征，利用图注意力网络计算节点嵌入信息：
其中，αij为注意力系数，leakyReLU为激活函数，W和a为不同的可学习参数，k∈Ni为只计算节点邻居的注意力系数，vi和vj分别为i位置和j位置的超像素特征，K为多头注意力机制的头数，δ为leakyReLU激活函数，aT为转置的可学习参数；
将得到的节点嵌入信息经过解码器解码返回到栅格数据，得到归一化的特征，即：
其中为归一化的特征图，x*为从超像素节点转换回像素的特征，E[x*]为x*的均值，Var[x*]为x*的方差，γ,β为两个不同位置的可学习参数；
所述利用空间注意力机制提取所述去噪数据中的空间注意力信息和通道注意力信息包括：
首先通过空间注意力机制提取空间注意力信息，所述空间注意力信息表示为第三表达式：
其中，Zj为得到的空间注意力信息，mp为通过自注意力机制得到空间注意力系数，为位置i和位置j的相关程度，Ci为通过1维卷积神经网络对原始特征图进行变换得到的新特征图，且i＝1,2,...,N，N为空间中像素总数，/>为输入的特征图的第j个通道，α为第一可学习参数；
再通过空间注意力机制得到通道注意力信息，所述通道注意力信息表示为第四表达式：
其中，Zj为得到通道注意力信息，mc为通过自注意力机制得到通道注意力图，mc ji为位置i和位置j的相关程度，为输入的特征图的第i个通道，且i＝1,2,...,N，C为空间中通道总数，β为第二可学习参数；
所述利用2维深度可分离卷积神经网络对所述空间注意力信息和所述通道注意力信息抽取高光谱影像特征还包括：
使用2维深度可分离卷积神经网络进行特征抽取：
其中，经过2维深度可分离卷积神经网络处理后的特征输出，/>为2维深度可分离卷积神经网络的卷积核，/>为2维深度可分离卷积神经网络的偏置，σ为leakyReLU激活函数，i、j和b分别为卷积核的不同位置；
所述将抽取到的所述高光谱影像特征进行多维特征加权融合包括：
利用下述表达式进行多维特征融合：
F＝η·AC+(1-η)·SG
其中，η为权重参数，F为融合的影像特征，AC,SG分别为基于卷积神经网络分支和基于图卷积网络分支产生的影像特征；
所述利用交叉熵损失函数和方向传播函数对所述加权融合模型反复迭代训练，获得训练好的所述加权融合模型包括；
使用交叉熵损失函数计算损失，所述交叉熵损失函数为：
其中，L(Y,P)为损失值，Y指分类标签图，P为预测的标签图，N为预测的标签总数，D为地物类别总数，且d＝1,2,...,D，yi,d为第i个像素预测为d类，pi,d为将第i个像素预测为d类的概率。
2.一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质中存储有如权利要求1所述的一种高光谱影像分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110972593.8A CN113723255B (zh) | 2021-08-24 | 2021-08-24 | 一种高光谱影像分类方法和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110972593.8A CN113723255B (zh) | 2021-08-24 | 2021-08-24 | 一种高光谱影像分类方法和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113723255A CN113723255A (zh) | 2021-11-30 |
| CN113723255B true CN113723255B (zh) | 2023-09-01 |
Family
ID=78677552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110972593.8A Active CN113723255B (zh) | 2021-08-24 | 2021-08-24 | 一种高光谱影像分类方法和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113723255B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021041772A1 (en) | 2019-08-30 | 2021-03-04 | The Research Foundation For The State University Of New York | Dilated convolutional neural network system and method for positron emission tomography (pet) image denoising |
| TWI771250B (zh) * | 2021-12-16 | 2022-07-11 | 國立陽明交通大學 | 用於降低資料維度的裝置及方法、用於轉換資料維度的裝置的操作方法 |
| CN114973305B (zh) * | 2021-12-30 | 2023-03-28 | 昆明理工大学 | 一种针对拥挤人群的精确人体解析方法 |
| CN114663777B (zh) * | 2022-03-07 | 2024-04-05 | 辽宁师范大学 | 基于时空联合图注意机制的高光谱影像变化检测方法 |
| CN114898109B (zh) * | 2022-04-14 | 2023-05-02 | 中国自然资源航空物探遥感中心 | 一种基于深度学习的斑岩型矿产预测方法及系统 |
| CN115249332B (zh) * | 2022-09-23 | 2023-01-20 | 山东锋士信息技术有限公司 | 基于空谱双分支卷积网络的高光谱图像分类方法及设备 |
| CN116824282B (zh) * | 2023-08-31 | 2023-11-10 | 中国石油大学(华东) | 融合多跳图卷积和注意力的半监督高光谱图像分类方法 |
| CN116934754B (zh) * | 2023-09-18 | 2023-12-01 | 四川大学华西第二医院 | 基于图神经网络的肝脏影像识别方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017215284A1 (zh) * | 2016-06-14 | 2017-12-21 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
| CN107590515A (zh) * | 2017-09-14 | 2018-01-16 | 西安电子科技大学 | 基于熵率超像素分割的自编码器的高光谱图像分类方法 |
| WO2018045626A1 (zh) * | 2016-09-07 | 2018-03-15 | 深圳大学 | 基于超像素级信息融合的高光谱图像的分类方法及系统 |
| CN111652039A (zh) * | 2020-04-13 | 2020-09-11 | 上海海洋大学 | 基于残差网络和特征融合模块的高光谱遥感地物分类方法 |
| CN111695467A (zh) * | 2020-06-01 | 2020-09-22 | 西安电子科技大学 | 基于超像素样本扩充的空谱全卷积高光谱图像分类方法 |
| CN111695636A (zh) * | 2020-06-15 | 2020-09-22 | 北京师范大学 | 一种基于图神经网络的高光谱图像分类方法 |
| CN112232280A (zh) * | 2020-11-04 | 2021-01-15 | 安徽大学 | 基于自编码器与3d深度残差网络的高光谱图像分类方法 |
| CN113239938A (zh) * | 2021-05-11 | 2021-08-10 | 中国人民解放军火箭军工程大学 | 一种基于图结构的高光谱分类方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018081929A1 (zh) * | 2016-11-01 | 2018-05-11 | 深圳大学 | 一种高光谱遥感图像特征提取和分类方法及其系统 |
-
2021
- 2021-08-24 CN CN202110972593.8A patent/CN113723255B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017215284A1 (zh) * | 2016-06-14 | 2017-12-21 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
| WO2018045626A1 (zh) * | 2016-09-07 | 2018-03-15 | 深圳大学 | 基于超像素级信息融合的高光谱图像的分类方法及系统 |
| CN107590515A (zh) * | 2017-09-14 | 2018-01-16 | 西安电子科技大学 | 基于熵率超像素分割的自编码器的高光谱图像分类方法 |
| CN111652039A (zh) * | 2020-04-13 | 2020-09-11 | 上海海洋大学 | 基于残差网络和特征融合模块的高光谱遥感地物分类方法 |
| CN111695467A (zh) * | 2020-06-01 | 2020-09-22 | 西安电子科技大学 | 基于超像素样本扩充的空谱全卷积高光谱图像分类方法 |
| CN111695636A (zh) * | 2020-06-15 | 2020-09-22 | 北京师范大学 | 一种基于图神经网络的高光谱图像分类方法 |
| CN112232280A (zh) * | 2020-11-04 | 2021-01-15 | 安徽大学 | 基于自编码器与3d深度残差网络的高光谱图像分类方法 |
| CN113239938A (zh) * | 2021-05-11 | 2021-08-10 | 中国人民解放军火箭军工程大学 | 一种基于图结构的高光谱分类方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| Spectral–Spatial Graph Attention Network for Semisupervised Hyperspectral Image Classification;zhengangzhao;IEEE;第19卷;1-5 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113723255A (zh) | 2021-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113723255B (zh) | 一种高光谱影像分类方法和存储介质 | |
| Xin et al. | Research on image classification model based on deep convolution neural network | |
| CN111860612B (zh) | 无监督高光谱图像隐低秩投影学习特征提取方法 | |
| Zhao et al. | Hyperspectral anomaly detection based on stacked denoising autoencoders | |
| CN109214452B (zh) | 基于注意深度双向循环神经网络的hrrp目标识别方法 | |
| Chen et al. | Statistical pattern recognition in remote sensing | |
| CN111191514A (zh) | 一种基于深度学习的高光谱图像波段选择方法 | |
| CN111783884B (zh) | 基于深度学习的无监督高光谱图像分类方法 | |
| Sowmya et al. | Hyperspectral image: Fundamentals and advances | |
| He et al. | Multi-spectral remote sensing land-cover classification based on deep learning methods | |
| CN114937173A (zh) | 一种基于动态图卷积网络的高光谱图像快速分类方法 | |
| Dong et al. | Joint contextual representation model-informed interpretable network with dictionary aligning for hyperspectral and LiDAR classification | |
| Shi et al. | Deep generative model for spatial–spectral unmixing with multiple endmember priors | |
| Imani et al. | Discriminant analysis in morphological feature space for high-dimensional image spatial–spectral classification | |
| Zhang et al. | Hyperspectral anomaly detection based on spectral–spatial background joint sparse representation | |
| Mantripragada et al. | The effects of spectral dimensionality reduction on hyperspectral pixel classification: A case study | |
| Feng et al. | Land-cover classification of high-resolution remote sensing image based on multi-classifier fusion and the improved Dempster–Shafer evidence theory | |
| CN112381144B (zh) | 非欧与欧氏域空谱特征学习的异构深度网络方法 | |
| CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
| Wang et al. | Detecting occluded and dense trees in urban terrestrial views with a high-quality tree detection dataset | |
| Ge et al. | Self-training algorithm for hyperspectral imagery classification based on mixed measurement k-nearest neighbor and support vector machine | |
| Kong et al. | Regularized multiple sparse Bayesian learning for hyperspectral target detection | |
| Li et al. | Wavelet-based nearest-regularized subspace for noise-robust hyperspectral image classification | |
| Zhao et al. | Classification of hyperspectral images based on two-channel convolutional neural network combined with support vector machine algorithm | |
| Varma et al. | HSIS-Net: Hyperspectral Image Segmentation Using Multi-view Active Learning Based FCSN. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |