CN117830848A - 基于类引导注意力机制的高光谱图像分类方法 - Google Patents
基于类引导注意力机制的高光谱图像分类方法 Download PDFInfo
- Publication number
- CN117830848A CN117830848A CN202410008244.8A CN202410008244A CN117830848A CN 117830848 A CN117830848 A CN 117830848A CN 202410008244 A CN202410008244 A CN 202410008244A CN 117830848 A CN117830848 A CN 117830848A
- Authority
- CN
- China
- Prior art keywords
- feature
- channel
- layers
- graph
- hyperspectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000007246 mechanism Effects 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000013145 classification model Methods 0.000 claims abstract description 28
- 238000012360 testing method Methods 0.000 claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000001228 spectrum Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000009467 reduction Effects 0.000 claims abstract description 7
- 238000012847 principal component analysis method Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 64
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 14
- 230000003595 spectral effect Effects 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000513 principal component analysis Methods 0.000 claims description 4
- 238000005096 rolling process Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 4
- ZZMVLMVFYMGSMY-UHFFFAOYSA-N 4-n-(4-methylpentan-2-yl)-1-n-phenylbenzene-1,4-diamine Chemical compound C1=CC(NC(C)CC(C)C)=CC=C1NC1=CC=CC=C1 ZZMVLMVFYMGSMY-UHFFFAOYSA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 240000005160 Parkia speciosa Species 0.000 description 1
- 235000017333 Parkia speciosa Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/58—Extraction of image or video features relating to hyperspectral data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及高光谱遥感图像分类技术领域，尤其涉及一种基于类引导注意力机制的高光谱图像的分类方法。包括：S1：通过主成分分析法对原始高光谱图像进行光谱降维，获得特征图A；S2：将特征图A进行数据集获取与划分，并进行数据扩充和处理，对应获得邻域图像块和图样本；S3：搭建高光谱图像分类模型，将训练集输入至高光谱图像分类模型进行特征融合，获得训练集中每个样本的分类结果；S4：根据训练集的分类结果，利用交叉熵函数对高光谱图像分类模型进行优化，获得精度最高的模型参数；S5：将测试集输入至高光谱图像分类模型，获得分类结果。本发明解决了高光谱遥感图像分类中的样本间的特征提取不充分问题和特征不兼容问题。
Description
技术领域
本发明涉及高光谱遥感图像分类和深度学习技术领域，尤其涉及一种基于类引导注意力机制的高光谱图像分类方法。
背景技术
在对地观测技术中，高光谱成像可以捕获几十甚至上百个连续的光谱波段。这种丰富的光谱信息可以被用于挖掘人眼感光范围之外的光谱特征，为后续进行地物分析任务提供了更细致的数据支持。卷积神经网络以邻域图像块的输入形式进行高光谱图像分类，但使用卷积神经网络难以充分的探索高光谱图像的数据分布特性。图卷积网络在非欧数据的处理方面表现出了良好的性能。然而，现有的图卷积网络将邻接矩阵与特征图限制在二维空间，难以从多个维度提取高光谱图像的样本间特征。
在高光谱图像分类任务中，图卷积网络可以更有效的捕获样本之间的信息，而卷积神经网络拥有优秀的空谱特征提取能力。为了协同两者的优势，通常在使用图卷积网络时会加入卷积神经网络。然而，这两种网络所得的特征之间存在一定程度的不兼容性，使得大多数混合网络在全连接层才得以将这两种特征进行融合。由于过于依赖这两种网络的独立分类性能，因此无法充分协调这两种网络对不同特征的提取能力。
发明内容
本发明为解决现有技术中存在的对样本间的特征利用不充分，以及对不同中间特征融合的关注不足的问题，提出了一种基于类引导注意力机制的高光谱图像分类方法，采用类注意力引导机制解决了高光谱遥感图像分类中的样本间的特征提取不充分问题和特征不兼容问题。
本发明提出的基于类引导注意力机制的高光谱图像分类方法，具体包括如下步骤：
S1：通过主成分分析法对原始高光谱图像进行光谱降维，获得保留b个分量的特征图A；
S2：将特征图A进行数据集获取与划分，获得训练集和测试集，对训练集和测试集进行数据扩充和处理，对应获得邻域图像块和图样本；
S3：搭建基于类引导注意力机制的高光谱图像分类模型，将训练集的邻域图像块和图样本均输入至高光谱图像分类模型进行特征融合，获得训练集中每个样本的分类结果；
S4：根据训练集的分类结果，利用交叉熵函数对高光谱图像分类模型的可学习参数进行优化，获得具有最高精度模型参数的高光谱图像分类模型；
S5：将测试集的邻域图像块和图样本均输入至步骤S4获得的高光谱图像分类模型，获得测试集中每个样本的分类结果。
优选地，步骤S1具体包括如下步骤：
S11：将原始高光谱图像展开为二维矩阵；
S12：将二维矩阵通过最大化光谱向量差异的方式进行主成分分析，获得保留b个分量的特征图A。
优选地，步骤S2具体包括如下步骤：
S21：在所述特征图A中随机选取一部分有标签像素作为训练集，其余有标签像素作为测试集，训练集的有标签像素的总数小于测试集的有标签像素的总数；
S22：在训练集和测试集中分别选择尺寸为w*h*b的邻域作为邻域图像块；
S23：在训练集和测试集中分别选取目标像素点，以目标像素点为中心，随机选取n个像素点作为随机邻居节点，利用随机邻居节点并通过下式构建图像本的前三个通道的邻接矩阵：
其中，r1，r2，r3分别为前第一个通道、前第二个通道和前第三个通道，Aij为邻接矩阵中的第i行第j列像素，j＝i或j×i＝0，ci为第i个像素的空间位置，cj为第j个像素的空间位置，vi和vj分别为第i个像素和第j个像素的光谱特征，k为权重，σ为用于控制不同度量方式输出数据的范围；
S24：在训练集和测试集中随机选取n个相素点作为固定邻居节点，利用固定邻居节点并通过下式构建后三个通道的邻接矩阵：
其中，f1，f2，f3分别为后第一个通道、后第二个通道和后第三个通道；
S25：在前三个通道的邻接矩阵和后三个通道的邻接矩阵中均加入单位矩阵，通过下式构建六个通道的包含自身节点信息的总邻接矩阵和度矩阵：
其中，I为单位矩阵，p可取r1，r2，r3，f1，f2，f3，分别表示六个不同的通道，表征了包含自身节点信息的总邻接矩阵中第i个节点与第j个节点的关系，/>为总邻接矩阵对应的度矩阵的对角线元素；
S26：根据六个通道的总邻接矩阵和六个通道的节点信号矩阵构建图样本。
优选地，依次采用垂直翻转和水平翻转的方式对邻域图像块进行数据扩充。
优选地，通过下式对图样本进行数据扩充：
(x′i,y′i)＝(xi,yi)+random(r) (9)；
其中，(xi,yi)为原图样本的目标像素点的位置，(x′i,y′i)为新图样本的目标像素点的位置，random(r)为随机生成一组长和宽的范围均在-r到r的二维坐标增量(Δx,Δy)。
优选地，高光谱图像分类模型包括四个级联的多通道卷积网络、卷积神经网络、第一组全连接层、第二组全连接层和第三组全连接层，将邻域图像块和图样本对应输入至卷积神经网络和四个级联的多通道图卷积网络，对应获得特征图Q和四组三维特征图，每组三维特征图均包括特征图K和特征图V，将特征图Q按通道维分别与四个特征图K进行矩阵乘法运算，获得每个多通道图卷积网络对应的权重值，按照每个多通道图卷积网络对应的权重值将四个特征图V依次进行点对点相加融合，获得融合特征图B，将特征图Q、融合特征图B和四个特征图V均展开成向量，并分别通过第一组全连接层、第二组全连接层和第三组全连接层进行加权融合，其中，四个特征图V共享第三组全连接层的所有参数，获得最终的分类结果。
优选地，多通道图卷积网络包括四层图卷积层、三层级联的2D卷积层和两层级联的3D卷积层，且每两层图卷积层之间均设有ReLU激活函数，图样本经ReLU激活函数进行激活操作后，依次输入至四层图卷积层进行图卷积及相应的激活运算，输出特征图C，特征图C经三层级联的2D卷积层进行补零和转置操作，获得特征图D，特征图D经两层级联的3D卷积层进行补零操作后，输出特征图K和特征图V。
优选地，两个级联的多通道图卷积层之间的各个通道的传播公式为：
其中，为总邻接矩阵对应的度矩阵，Hl为输出特征图的第l层特征，Wl为第l层特征的可学习参数权重，bl为第l层特征的偏置，f(·)为激活函数。
优选地，融合特征图B的计算公式为：
Hout＝∑iCiVi＝∑i(softmax(∑lKilQil))Vi(11)；
其中，Ci和Vi分别为第i个多通道图卷积网络的权重和特征图V，Kil为第i个多通道图卷积网络的第l个通道的特征图K，Qil为与第i个多通道图卷积网络相乘的卷积神经网络的第l个通道的特征图Q，Hout为融合特征图B，softmax(·)表示权重归一化函数。
优选地，交叉熵损失函数的公式为：
其中，L为交叉熵损失函数，bs为批处理的尺寸，Cn为类别数，y为真实标签，为预测标签。
与现有技术相比，本发明能够取得如下有益效果：
(1)本发明提出了类引导注意力机制和融合框架(包括第一全连接层、第二全连接层和第三全连接层)，分别实现了中间特征的融合和全连接特征的融合，且充分协调了卷积神经网络和多通道图卷积网络的优势，有效提升了对高光谱图像的分类精度。
(2)本发明采用了批处理的训练方式训练高光谱图像分类模型，继而利用训练后的高光谱图像分类模型直接预测新的数据，有效降低了实际应用中的内存成本与计算成本。
附图说明
图1是根据本发明实施例提供的基于类引导注意力机制的高光谱图像分类方法的流程示意图；
图2是根据本发明实施例提供的扩充图像本的结构示意图；
图3是根据本发明实施例提供的高光谱图像分类模型的网络结构示意图；
图4是根据本发明实施例提供的多通道卷积网络的网络结构示意图；
图5是根据本发明实施例提供的构建图样本的结构示意图；
图6是根据本发明实施例提供的高光谱图像分类方法与其他方法的对比结果示意图。
具体实施方式
在下文中，将参考附图描述本发明的实施例。在下面的描述中，相同的模块使用相同的附图标记表示。在相同的附图标记的情况下，它们的名称和功能也相同。因此，将不重复其详细描述。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
本发明实施例提出的基于类引导注意力机制的高光谱图像分类方法，首先，通过主成分分析法对原始高光谱图像进行降维操作后，构造高光谱图像的邻域图像块和包含多个邻接矩阵的图样本，并对所有样本进行数据增强。然后，将构建好的训练集分别输入多通道图卷积网络和卷积神经网络，对应获得每个样本的空谱特征和与邻居样本的关系特征，并获得相同尺寸的中间特征与全连接层特征，最后通过类引导注意力机制和全连接层融合策略将两种网络提取的特征进行多次融合，利用交叉熵损失函数和批处理的方式对高光谱图像分类模型进行训练，训练后高光谱图像分类模型可用于提取丰富的样本间特征，且会使得多通道图卷积网络和卷积神经网络进行充分协作，有效地提升高光谱图像的分类精度。
图1示出了根据本发明实施例提供的基于类引导注意力机制的高光谱图像分类方法的流程。
如图1所示，本发明提出的基于类引导注意力机制的高光谱图像分类方法，具体包括如下步骤：
S1：通过主成分分析法对原始高光谱图像进行光谱降维，获得保留b个分量的特征图A。
步骤S1具体包括如下步骤：
S11：将原始高光谱图像展开为二维矩阵；
S12：将二维矩阵通过最大化光谱向量差异的方式进行主成分分析，获得保留b个分量的特征图A。
S2：将特征图A进行数据集获取与划分，获得训练集和测试集，对训练集和测试集进行数据扩充和处理，对应获得邻域图像块和图样本。
步骤S2具体包括如下步骤：
S21：在所述特征图A中随机选取一部分有标签像素作为训练集，其余有标签像素作为测试集，训练集的有标签像素的总数小于测试集的有标签像素的总数；
S22：在训练集和测试集中分别选择尺寸为w*h*b的邻域作为邻域图像块；
S23：在训练集和测试集中分别选取目标像素点，以目标像素点为中心，随机选取n个像素点作为随机邻居节点，利用随机邻居节点并通过下式构建图像本的前三个通道的邻接矩阵：
其中，r1，r2，r3分别为前第一个通道、前第二个通道和前第三个通道，Aij为邻接矩阵中的第i行第j列像素，j＝i或j×i＝0，ji为第i个像素的空间位置，cj为第j个像素的空间位置，vi和vj分别为第i个像素和第j个像素的光谱特征，k为权重，σ为用于控制不同度量方式输出数据的范围；
S24：在训练集和测试集中随机选取n个相素点作为固定邻居节点，利用固定邻居节点并通过下式构建后三个通道的邻接矩阵：
其中，f1，f2，f3分别为后第一个通道、后第二个通道和后第三个通道；
S25：在前三个通道的邻接矩阵和后三个通道的邻接矩阵中均加入单位矩阵，通过下式构建六个通道的包含自身节点信息的总邻接矩阵和度矩阵：
其中，I为单位矩阵，p可取r1，r2，r3，f1，f2，f3，分别表示六个不同的通道，表征了包含自身节点信息的总邻接矩阵中第i个节点与第j个节点的关系，/>为总邻接矩阵对应的度矩阵的对角线元素；
S26：根据六个通道的总邻接矩阵和六个通道的节点信号矩阵构建图样本。
六个通道的邻接矩阵对应多通道卷积网络的六个通道的节点信号矩阵，每个通道的节点信号矩阵分别由对应通道的邻居节点的光谱特征依次排列构成。
S3：搭建基于类引导注意力机制的高光谱图像分类模型，将训练集的邻域图像块和图样本均输入至高光谱图像分类模型进行特征融合，获得训练集中每个样本的分类结果；
S4：根据训练集的分类结果，利用交叉熵函数对高光谱图像分类模型的可学习参数进行优化，获得具有最高精度模型参数的高光谱图像分类模型；
S5：将测试集的邻域图像块和图样本均输入至步骤S4获得的高光谱图像分类模型，获得测试集中每个样本的分类结果。
交叉熵损失函数的公式为：
其中，L为交叉熵损失函数，bs为批处理的尺寸，Cn为类别数，y为真实标签，为预测标签。
图2示出了根据本发明实施例提供的扩充图像本的结构。
如图2所示，在构造真实标签的图样本时，首先选择目标像素点构造图样本。构造额外样本的方式与其相似，在选择目标像素点的空间位置时加入扰动，以临近像素点代替目标像素点构建额外图样本，并保持原目标像素点的标签不变。即在构造图样本的过程中，保持固定邻居节点不变，并重新选择随机邻居节点。由于数据集具有同类地物相互聚集的特性以及较低的空间分辨率特性，加入像素级扰动所构造的额外样本可以保持较高标签置信度。在本发明实施例中，所选的扰动范围的长和宽各为两个像素。
考虑到高光谱遥感图像的空间分辨率较低，存在端元混合现象，且同类地物多表现出相互聚集的分布特性。因此，目标像素点的标签可以在较高置信度的情况下代替相邻像素点的标签。这种临近像素点的选择区域在几个像素范围内时，不仅可以提升额外样本标签的置信度，还可以通过利用随机邻居节点构建的三个邻接矩阵与原样本产生足够的差异性，从而有效缓解过拟合现象。
通过下式对图样本进行数据扩充：
(x′i,y′i)＝(xi,yi)+random(r) (10)；
其中，(xi,yi)为原图样本的目标像素点的位置，(x′i,y′i)为新图样本的目标像素点的位置，random(r)为随机生成一组长和宽的范围均在-r到r的二维坐标增量(Δx,Δy)。
依次采用垂直翻转和水平翻转的方式对邻域图像块进行数据扩充。
图3示出了根据本发明实施例提供的高光谱图像分类模型的网络结构。
如图3所示，高光谱图像分类模型包括四个级联的多通道卷积网络、卷积神经网络、第一组全连接层、第二组全连接层和第三组全连接层，将邻域图像块和图样本对应输入至卷积神经网络和四个级联的多通道图卷积网络，对应获得特征图Q和四组三维特征图，每组三维特征图均包括特征图K和特征图V，将特征图Q按通道维分别与四个特征图K进行矩阵乘法运算，对应获得每个多通道图卷积网络的权重值，按照每个多通道图卷积网络对应的权重值将四个特征图V依次进行点对点相加融合，获得融合特征图B，将特征图Q、融合特征图B和四个特征图V均展开成向量，并分别通过第一组全连接层、第二组全连接层和第三组全连接层进行加权融合，其中，四个特征图V共享第三组全连接层的所有参数，获得最终的分类结果。
融合特征图B的计算公式：
Hout＝∑iCiVi＝∑i(softmax(∑lKilQil))Vi (11)；
其中，Ci和Vi分别为第i个多通道图卷积网络的权重和特征图V，Kil为第i个多通道图卷积网络的第l个通道的特征图K，Qil为与第i个多通道图卷积网络相乘的卷积神经网络的第l个通道的特征图Q，Hout为融合特征图B，softmax(·)表示权重归一化函数。
图4示出了根据本发明实施例提供的多通道卷积网络的网络结构。
如图4所示，多通道图卷积网络通过不同的初始化可以在一定程度上提取更加丰富的特征，本发明实施例中包含四个相同的多通道图卷积网络，每个多通道图卷积网络都采用了相互独立且随机的初始化策略。
多通道图卷积网络包括四层图卷积层、三层级联的2D卷积层和两层级联的3D卷积层，且每两层图卷积层之间均设有ReLU激活函数，图样本经ReLU激活函数进行激活操作后，依次输入至四层图卷积层进行图卷积及相应的激活运算，输出特征图C，特征图C经三层级联的2D卷积层进行补零和转置操作，获得特征图D，特征图D经两层级联的3D卷积层进行补零操作后，输出特征图K和特征图V。
两个级联的多通道图卷积层之间的各个通道的传播公式为：
其中，，为总邻接矩阵对应的度矩阵，Hl为输出特征图的第l层特征，Wl为第l层特征的可学习参数权重，bl为第l层特征的偏置，f(·)为激活函数。
图5示出了根据本发明实施例提供的构建图样本的结构。
如图5所示，传统的图卷积网络在构建邻接矩阵时采用空间位置或光谱向量差等方式度量样本间相关性，受图卷积网络的二维矩阵运算方式的限制，仅能选择一种方式来获取样本间信息，即不能充分发挥图卷积网络的特征提取能力。以帕维亚大学的高光谱图像为例。该图像的尺寸为610×340×103，其中包含610×340个像素的空间范围，覆盖103个波段。通过主成分分析法将该数据集降维至610×340×9并将其用于构建样本。每个图样本包含六个通道的邻接矩阵，分别由三个通道的随机邻居节点和三个通道的固定邻居节点构成。在随机邻居节点的邻接矩阵中，以目标像素点为中心，在目标像素点的周围长宽均为27个像素的范围内进行随机选取8个邻居节点，将包含目标像素点在内的9个节点分别依据空间位置、光谱向量差和光强差构建三个通道的邻接矩阵，对应的节点信号矩阵为该9个节点的光谱向量依次排列构成，其中，节点信号矩阵的长为节点数，宽为原始高光谱图像经降维后的波段数，在本发明实施例的降维中，经主成分分析后保留原高光谱波段的9个主成分。固定邻居节点的邻接矩阵构建方式与随机邻居节点的构建方式相同，仅在选取邻居节点和参数时存在差异。固定邻居节点是通过在整个高光谱数据集中随机选择的8个样本点，该组邻居节点尽可能选择于自不同的类别当中，且一旦选定后，所有的目标像素点在构建固定邻居的邻接矩阵时均选择该组邻居节点。图样本包含了三种样本间相关性的度量方式，更加充分的聚合了样本之间的特征。在本发明实施例中，
图6示出了根据本发明实施例提供的高光谱图像分类方法与其他方法的对比结果。
为了证明本发明的可行性与优越性，将SVM、A2S2K、SSCNN、DBDA、P-ResNet、miniGCN、MRViT的结果与本发明所提出方法的结果进行比较，其中SVM为支持向量机，A2S2K为基于自适应核的空谱注意力与残差块的3D卷积神经网络，SSCNN为两层3D卷积层的卷积神经网络，DBDA为空谱双路的卷积神经网络，P-ResNet是基于残差网络的金字塔网络，miniGCN是基于批处理的图卷积神经网络和3D卷积神经网络的混合网络，MRViT是基于混合残差网络的Transformer模型。采用总体准确率，平均准确率，kappa系数和每类样本的准确率作为对上述方法的评估基准，每类方法均选择100个样本用于训练。为了得到可靠的结论，每类方法均重复实验5次再取平均，如表1所示，本发明相较于目前的先进技术得到的分类精度提升了约1％～2％，且如图6所示，本发明实施例得到的分类图具有相对较少的噪声，并且边缘分界较为清晰，具有较好的分类性能。
表1
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种基于类引导注意力机制的高光谱图像分类方法，其特征在于，具体包括如下步骤：
S1：通过主成分分析法对原始高光谱图像进行光谱降维，获得保留b个分量的特征图A；
S2：将所述特征图A进行数据集获取与划分，获得训练集和测试集，对所述训练集和所述测试集进行数据扩充和处理，对应获得邻域图像块和图样本；
S3：搭建基于类引导注意力机制的高光谱图像分类模型，将所述训练集的邻域图像块和图样本均输入至所述高光谱图像分类模型进行特征融合，获得所述训练集中每个样本的分类结果；
S4：根据所述训练集的分类结果，利用交叉熵函数对所述高光谱图像分类模型的可学习参数进行优化，获得具有最高精度模型参数的高光谱图像分类模型；
S5：将所述测试集的邻域图像块和图样本均输入至所述步骤S4获得的高光谱图像分类模型，获得所述测试集中每个样本的分类结果。
2.根据权利要求1所述的基于类引导注意力机制的高光谱图像分类方法，其特征在于，所述步骤S1具体包括如下步骤：
S11：将所述原始高光谱图像展开为二维矩阵；
S12：将所述二维矩阵通过最大化光谱向量差异的方式进行主成分分析，获得保留b个分量的特征图A。
3.根据权利要求2所述的基于类引导注意力机制的高光谱图像分类方法，其特征在于，所述步骤S2具体包括如下步骤：
S21：在所述特征图A中随机选取一部分有标签像素作为训练集，其余有标签像素作为测试集，所述训练集的有标签像素的总数小于所述测试集的有标签像素的总数；
S22：在所述训练集和所述测试集中分别选择尺寸为w*h*b的邻域作为邻域图像块；
S23：在所述训练集和所述测试集中分别选取目标像素点，以所述目标像素点为中心，随机选取n个像素点作为随机邻居节点，利用所述随机邻居节点并通过下式构建所述图像本的前三个通道的邻接矩阵：
其中，r1，r2，r3分别为前第一个通道、前第二个通道和前第三个通道，Aij为所述邻接矩阵中的第i行第j列像素，j＝i或j×i＝0，ci为第i个像素的空间位置，cj为第j个像素的空间位置，vi和vj分别为第i个像素和第j个像素的光谱特征，k为权重，σ为用于控制不同度量方式输出数据的范围；
S24：在所述训练集和所述测试集中随机选取n个相素点作为固定邻居节点，利用所述固定邻居节点并通过下式构建后三个通道的邻接矩阵：
其中，f1，f2，f3分别为后第一个通道、后第二个通道和后第三个通道；
S25：在前三个通道的邻接矩阵和后三个通道的邻接矩阵中均加入单位矩阵，通过下式构建六个通道的包含自身节点信息的总邻接矩阵和度矩阵：
其中，I为单位矩阵，p可取r1，r2，r3，f1，f2，f3，分别表示六个不同的通道，表征了包含自身节点信息的总邻接矩阵中第i个节点与第j个节点的关系，/>为总邻接矩阵对应的度矩阵的对角线元素；
S26：根据六个通道的总邻接矩阵和六个通道的节点信号矩阵构建图样本。
4.根据权利要求3所述的基于类引导注意力机制的高光谱图像分类方法，其特征在于，依次采用垂直翻转和水平翻转的方式对所述邻域图像块进行数据扩充。
5.根据权利要求3所述的基于类引导注意力机制的高光谱图像分类方法，其特征在于，通过下式对所述图样本进行数据扩充：
(x′i,y′i)＝(xi,yi)+random(r) (9)；
其中，(xi,yi)为原图样本的目标像素点的位置，(x′i,y′i)为新图样本的目标像素点的位置，random(r)为随机生成一组长和宽的范围均在-r到r的二维坐标增量(Δx,Δy)。
6.根据权利要求1所述的基于类引导注意力机制的高光谱图像分类方法，其特征在于，所述高光谱图像分类模型包括四个级联的多通道卷积网络、卷积神经网络、第一组全连接层、第二组全连接层和第三组全连接层，将所述邻域图像块和所述图样本对应输入至所述卷积神经网络和四个级联的多通道图卷积网络，对应获得特征图Q和四组三维特征图，每组三维特征图均包括特征图K和特征图V，将所述特征图Q按通道维分别与四个特征图K进行矩阵乘法运算，获得每个多通道图卷积网络对应的权重值，按照每个多通道图卷积网络对应的权重值将四个特征图V依次进行点对点相加融合，获得融合特征图B，将所述特征图Q、所述融合特征图B和四个特征图V均展开成向量，并分别通过所述第一组全连接层、所述第二组全连接层和所述第三组全连接层进行加权融合，其中，四个特征图V共享所述第三组全连接层的所有参数，获得最终的分类结果。
7.根据权利要求6所述的基于类引导注意力机制的高光谱图像分类方法，其特征在于，所述多通道图卷积网络包括四层图卷积层、三层级联的2D卷积层和两层级联的3D卷积层，且每两层图卷积层之间均设有ReLU激活函数，所述图样本经所述ReLU激活函数进行激活操作后，依次输入至四层图卷积层进行图卷积及相应的激活运算，输出特征图C，所述特征图C经三层级联的2D卷积层进行补零和转置操作，获得特征图D，所述特征图D经两层级联的3D卷积层进行补零操作后，输出特征图K和特征图V。
8.根据权利要求7所述的基于类引导注意力机制的高光谱图像分类方法，其特征在于，两个级联的多通道图卷积层之间的各个通道的传播公式为：
其中，为总邻接矩阵对应的度矩阵，Hl为输出特征图的第l层特征，Wl为第l层特征的可学习参数权重，bl为第l层特征的偏置，f(·)为激活函数。
9.根据权利要求6所述的基于类引导注意力机制的高光谱图像分类方法，其特征在于，所述融合特征图B的计算公式为：
Hout＝∑iCiVi＝∑i(softmax(∑lKilQil))Vi(11)；
其中，Ci和Vi分别为第i个多通道图卷积网络的权重和特征图V，Kil为第i个多通道图卷积网络的第l个通道的特征图K，Qil为与第i个多通道图卷积网络相乘的卷积神经网络的第l个通道的特征图Q，Hout为融合特征图B，softmax(·)表示权重归一化函数。
10.根据权利要求6所述的基于类引导注意力机制的高光谱图像分类方法，其特征在于，所述交叉熵损失函数的公式为：
其中，L为交叉熵损失函数，bs为批处理的尺寸，Cn为类别数，y为真实标签，为预测标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410008244.8A CN117830848B (zh) | 2024-01-03 | 2024-01-03 | 基于类引导注意力机制的高光谱图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410008244.8A CN117830848B (zh) | 2024-01-03 | 2024-01-03 | 基于类引导注意力机制的高光谱图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117830848A true CN117830848A (zh) | 2024-04-05 |
| CN117830848B CN117830848B (zh) | 2024-10-18 |
Family
ID=90511373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410008244.8A Active CN117830848B (zh) | 2024-01-03 | 2024-01-03 | 基于类引导注意力机制的高光谱图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117830848B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017215284A1 (zh) * | 2016-06-14 | 2017-12-21 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
| CN113095409A (zh) * | 2021-04-13 | 2021-07-09 | 西安电子科技大学 | 基于注意力机制和权值共享的高光谱图像分类方法 |
| CN113408455A (zh) * | 2021-06-29 | 2021-09-17 | 山东大学 | 一种基于多流信息增强图卷积网络的动作识别方法、系统及存储介质 |
| CN115564996A (zh) * | 2022-09-29 | 2023-01-03 | 安徽大学 | 一种基于注意力联合网络的高光谱遥感图像分类方法 |
| CN116664954A (zh) * | 2023-06-30 | 2023-08-29 | 西安电子科技大学 | 基于图卷积与卷积融合的高光谱地物分类方法 |
-
2024
- 2024-01-03 CN CN202410008244.8A patent/CN117830848B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017215284A1 (zh) * | 2016-06-14 | 2017-12-21 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
| CN113095409A (zh) * | 2021-04-13 | 2021-07-09 | 西安电子科技大学 | 基于注意力机制和权值共享的高光谱图像分类方法 |
| CN113408455A (zh) * | 2021-06-29 | 2021-09-17 | 山东大学 | 一种基于多流信息增强图卷积网络的动作识别方法、系统及存储介质 |
| CN115564996A (zh) * | 2022-09-29 | 2023-01-03 | 安徽大学 | 一种基于注意力联合网络的高光谱遥感图像分类方法 |
| CN116664954A (zh) * | 2023-06-30 | 2023-08-29 | 西安电子科技大学 | 基于图卷积与卷积融合的高光谱地物分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| FENG, H: "Hyperspectral Image Classification Framework Based on Multichannel Graph Convolutional Networks and Class-Guided Attention Mechanism", 《 ISI_WEB OF SCIENCE》, vol. 62, 5 April 2024 (2024-04-05) * |
| 李竺强;朱瑞飞;高放;孟祥玉;安源;钟兴;: "三维卷积神经网络模型联合条件随机场优化的高光谱遥感影像分类", 光学学报, no. 08, 3 April 2018 (2018-04-03) * |
| 王永成: "紫外成像光谱仪主动热控系统的设计与实现", 《宇航学报》, vol. 35, no. 08, 31 August 2014 (2014-08-31) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117830848B (zh) | 2024-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114529825B (zh) | 用于消防通道占用目标检测的目标检测模型、方法及应用 | |
| CN109584337B (zh) | 一种基于条件胶囊生成对抗网络的图像生成方法 | |
| CN109948693B (zh) | 基于超像素样本扩充和生成对抗网络高光谱图像分类方法 | |
| CN108537192B (zh) | 一种基于全卷积网络的遥感影像地表覆盖分类方法 | |
| CN111523521B (zh) | 一种双支路融合多尺度注意神经网络的遥感图像分类方法 | |
| WO2021018163A1 (zh) | 神经网络的搜索方法及装置 | |
| CN109993220A (zh) | 基于双路注意力融合神经网络的多源遥感图像分类方法 | |
| CN111695467A (zh) | 基于超像素样本扩充的空谱全卷积高光谱图像分类方法 | |
| CN112396002A (zh) | 一种基于SE-YOLOv3的轻量级遥感目标检测方法 | |
| CN110084159A (zh) | 基于联合多级空谱信息cnn的高光谱图像分类方法 | |
| CN109344698A (zh) | 基于可分离卷积和硬阈值函数的高光谱波段选择方法 | |
| CN111369442B (zh) | 基于模糊核分类与注意力机制的遥感图像超分辨重建方法 | |
| CN111353531B (zh) | 基于奇异值分解和空谱域注意力机制高光谱图像分类方法 | |
| US20210142175A1 (en) | Neural networks having reduced number of parameters | |
| CN110084311A (zh) | 基于三元权值卷积神经网络的高光谱图像波段选择方法 | |
| CN114419381A (zh) | 一种语义分割方法及应用其的道路积水检测方法和装置 | |
| CN113239736A (zh) | 一种基于多源遥感数据的土地覆盖分类标注图获取方法、存储介质及系统 | |
| CN110647909A (zh) | 一种基于三维密集卷积神经网络的遥感图像分类方法 | |
| CN115240072A (zh) | 一种基于多方向多尺度光谱-空间残差卷积神经网络的高光谱多类变化检测方法 | |
| Hua et al. | LAHNet: A convolutional neural network fusing low-and high-level features for aerial scene classification | |
| CN112508066A (zh) | 一种基于残差全卷积分割网络的高光谱图像分类方法 | |
| Zhang et al. | Joint spatial-spectral pattern optimization and hyperspectral image reconstruction | |
| Teimoorinia et al. | Assessment of astronomical images using combined machine-learning models | |
| Gao et al. | NWPU-MOC: A Benchmark for Fine-grained Multi-category Object Counting in Aerial Images | |
| Laban et al. | Enhanced pixel based urban area classification of satellite images using convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |