CN116310459B - 基于多视图空谱联合的高光谱图像子空间聚类方法 - Google Patents
基于多视图空谱联合的高光谱图像子空间聚类方法 Download PDFInfo
- Publication number
- CN116310459B CN116310459B CN202310313453.9A CN202310313453A CN116310459B CN 116310459 B CN116310459 B CN 116310459B CN 202310313453 A CN202310313453 A CN 202310313453A CN 116310459 B CN116310459 B CN 116310459B
- Authority
- CN
- China
- Prior art keywords
- spatial spectrum
- texture
- hyperspectral image
- self
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 61
- 230000003595 spectral effect Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 5
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/58—Extraction of image or video features relating to hyperspectral data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Remote Sensing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，提供了一种基于多视图空谱联合的高光谱图像子空间聚类方法，包括：获取高光谱图像，对所述高光谱图像进行预处理获得空谱样本；提取所述空谱样本的纹理特征和空谱特征；分别根据所述纹理特征和所述空谱特征确定对应的纹理图和空谱图；将所述纹理图和所述空谱图输入构建好的多视图图卷积子空间聚类网络，输出所述高光谱图像的聚类结果，所述多视图图卷积子空间聚类网络包括双分支自表达模块、注意力融合模块和谱聚类模块。本发明提出的多视图图卷积子空间聚类网络，以注意力融合的方式并基于纹理信息和空谱信息，提高了高光谱图像的聚类精度，降低了计算复杂度。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种基于多视图空谱联合的高光谱图像子空间聚类方法。
背景技术
高光谱图像是一种遥感图像，具有多个波段，能够提供大量的地表覆盖信息。目前，高光谱图像的处理和分析已成为遥感技术研究的热点领域之一。由于人工标注价格昂贵，标注质量参差不齐，因此在无标签的情况下对高光谱图像聚类非常重要。
在现有技术中，采用子空间聚类方法对高光谱图像进行处理，它是一种在低维子空间中对数据进行聚类的方法。然而，现有的高光谱图像子空间聚类方法存在着聚类精度低、计算复杂度高等问题。
发明内容
本发明解决的问题是如何提高聚类精度、降低计算复杂度中的至少一者。
为解决上述问题，本发明提供一种基于多视图空谱联合的高光谱图像子空间聚类方法，该方法包括：
获取高光谱图像，对所述高光谱图像进行预处理获得空谱样本；
提取所述空谱样本的纹理特征和空谱特征；
分别根据所述纹理特征和所述空谱特征确定对应的纹理图和空谱图；
将所述纹理图和所述空谱图输入构建好的多视图图卷积子空间聚类网络，输出所述高光谱图像的聚类结果，所述多视图图卷积子空间聚类网络包括双分支自表达模块、注意力融合模块和谱聚类模块。
可选地，所述双分支自表达模块包括纹理分支和空谱分支；所述将所述纹理图和所述空谱图输入构建好的多视图图卷积子空间聚类网络，输出所述高光谱图像的聚类结果包括：
分别将所述纹理图和所述空谱图输入所述纹理分支和所述空谱分支，输出对应的自表达系数矩阵；
在所述注意力融合模块中对所述纹理分支和所述空谱分支输出的所述自表达系数矩阵进行融合，得到融合后的自表达系数矩阵；
将所述融合后的自表达系数矩阵输入所述谱聚类模块，获得所述高光谱图像的所述聚类结果。
可选地，所述纹理分支和所述空谱分支均包括图卷积神经网络和自表达层；所述分别将所述纹理图和所述空谱图输入所述纹理分支和所述空谱分支，输出对应的自表达系数矩阵包括：
分别将所述纹理图和所述空谱图输入图卷积神经网络，输出对应的深度特征；
利用对比学习方法分别对所述深度特征进行处理获得对应的鲁棒特征；
将所述鲁棒特征输入自表达层，通过所述自表达层获得两个自表达系数矩阵。
可选地，所述将所述融合后的自表达系数矩阵输入所述谱聚类模块，获得所述高光谱图像的所述聚类结果包括：
根据所述融合后的自表达系数矩阵得到相似度矩阵；
对所述相似度矩阵进行谱聚类得到所述高光谱图像的所述聚类结果。
可选地，所述提取所述空谱样本的纹理特征和空谱特征包括：
采用EMP方法提取所述空谱样本的所述纹理特征；
通过卷积神经网络提取所述空谱样本的所述空谱特征。
可选地，所述分别根据所述纹理特征和所述空谱特征确定对应的纹理图和空谱图包括：
采用最近邻算法分别根据所述纹理特征和所述空谱特征确定对应的图邻接矩阵；
基于所述图邻接矩阵分别构建EMP纹理图和所述空谱图。
可选地，所述在所述注意力融合模块中对所述纹理分支和所述空谱分支输出的所述自表达系数矩阵进行融合，得到融合后的自表达系数矩阵包括：
通过注意力机制学习两个所述自表达系数矩阵之间的权重分配，所述注意力机制包括全连接层和softmax层；
根据所述权重分配对两个所述自表达系数矩阵进行加权平均，获得所述融合后的自表达系数矩阵。
可选地，所述对所述高光谱图像进行预处理获得空谱样本包括：
利用主成分分析方法对所述高光谱图像进行波段降维，获得降维后的高光谱图像；
在所述降维后的高光谱图像上滑动窗口，获得所述空谱样本。
可选地，在所述获得所述空谱样本后，还包括：
对所述空谱样本进行标准化处理。
可选地，所述对比学习方法的损失函数为InfoNCE损失函数。
本发明所述的基于多视图空谱联合的高光谱图像子空间聚类方法的有益效果是：通过提取空谱样本的纹理特征和空谱特征，很好地保留了高光谱图像的空间和光谱信息，提高了图像的特征表达能力；另外，多视图图卷积子空间聚类网络以注意力融合的方式并基于纹理信息和空谱信息，提高了高光谱图像的聚类精度，降低了计算复杂度。
附图说明
图1为本发明实施例的一种基于多视图空谱联合的高光谱图像子空间聚类方法的流程示意图之一；
图2为本发明实施例的一种基于多视图空谱联合的高光谱图像子空间聚类方法的流程示意图之二；
图3为本发明实施例的多视图图卷积子空间聚类网络的示意图；
图4为本发明实施例的图卷积神经网络的结构示意图；
图5为本发明实施例的对比学习方法的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
本发明实施例提供的一种基于多视图空谱联合的高光谱图像子空间聚类方法，如图1和图2所示，该方法包含以下步骤：
101、获取高光谱图像，对所述高光谱图像进行预处理获得空谱样本。
在遥感监测中，高光谱遥感是其中最为典型的代表，它以远距离、高空的形式来摄影或扫描地物，从而接收来自各类地物反射回来的不同波段的光谱信号，以此形成高光谱图像。
具体地，对获取到的原始高光谱图像进行预处理，从而可以得到空谱样本。
在一种可能的实施方式中，所述对所述高光谱图像进行预处理获得空谱样本包括：
利用主成分分析方法对所述高光谱图像进行波段降维，获得降维后的高光谱图像；
在所述降维后的高光谱图像上滑动窗口，获得所述空谱样本。
具体地，采用主成分分析(PCA)方法对高光谱图像进行降维处理，以减少数据的维度，提高处理效率，并保留高光谱数据的重要信息。
在降维后的高光谱图像上滑动窗口提取像素周围邻域，从而获取空谱样本，其中，空间平滑方法采用的窗口大小可以为7×7或9×9。
在一种可能的实施方式中，在所述获得所述空谱样本后，还包括：
对所述空谱样本进行标准化处理。
具体地，在获得空谱样本后，对该空谱样本进行标准化处理，使所有值处于[0,1]之间，以保证数据的可比性和稳定性。标准化处理方法可以采用最大-最小归一化处理方法。
102、提取所述空谱样本的纹理特征和空谱特征。
纹理特征是一种全局特征，反映的是图像中同质现象的视觉特征，体现物体表面的具有缓慢变换或周期性变化的表面组织结构排列属性。
空谱特征包含空间特征和光谱特征。
具体地，在获得空谱样本后，提取该空谱样本所包含的纹理特征和空谱特征，此处的纹理特征和空谱特征为浅层纹理特征和浅层空谱特征。
103、分别根据所述纹理特征和所述空谱特征确定对应的纹理图和空谱图。
具体地，根据纹理特征构建纹理图，根据空谱特征构建空谱图。
104、将所述纹理图和所述空谱图输入构建好的多视图图卷积子空间聚类网络，输出所述高光谱图像的聚类结果，所述多视图图卷积子空间聚类网络包括双分支自表达模块、注意力融合模块和谱聚类模块。
具体地，构建好的多视图图卷积子空间聚类网络的输入为纹理图和空谱图，输出为高光谱图像的聚类结果。
其中，双自表达模块的输入为纹理图和空谱图，输出为纹理图和空谱图分别对应的自表达系数矩阵。注意力融合模块的输入为双自表达模块输出的自表达系数矩阵，注意力融合模块的输出为融合后的自表达系数矩阵。谱聚类模块的输入为注意力融合模块输出的融合后的自表达系数矩阵，输出为高光谱图像的聚类结果。
在本发明实施例中，通过提取空谱样本的纹理特征和空谱特征，很好地保留了高光谱图像的空间和光谱信息，提高了图像的特征表达能力；通过提出多视图图卷积子空间聚类网络，以注意力融合的方式并基于纹理信息和空谱信息，提高了高光谱图像的聚类精度，降低了计算复杂度。
在一种可能的实施方式中，所述提取所述空谱样本的纹理特征和空谱特征包括：
采用EMP方法提取所述空谱样本的所述纹理特征；
通过卷积神经网络提取所述空谱样本的所述空谱特征。
具体地，EMP(Extend Morphological Profiles，扩展形态学剖面)方法是一种纹理特征提取方法，通过EMP方法可以提取空谱样本的纹理特征，将空谱样本输入卷积神经网络，通过该卷积神经网络输出空谱特征，该空谱特征为空谱样本的空谱特征。
在一种可能的实施方式中，所述分别根据所述纹理特征和所述空谱特征确定对应的纹理图和空谱图包括：
采用最近邻算法分别根据所述纹理特征和所述空谱特征确定对应的图邻接矩阵；
基于所述图邻接矩阵分别构建EMP纹理图和所述空谱图。
具体地，邻接矩阵是一种图存储结构，通常采用一个一维数组存储图中的节点信息，采用一个二维数组存储图中节点之间的邻接关系，使用最近邻算法(KNN算法)构建两个图邻接矩阵，其中K值根据数据集的不同选择不同大小，然后利用这两个图邻接矩阵及其对应的特征构造EMP纹理图和空谱图。
在本实施例中，利用EMP和卷积神经网络提取特征的方法可以很好地保留空谱样本的纹理信息与空谱信息，从而提高图像的特征表达能力。
在一种可能的实施方式中，所述双分支自表达模块包括纹理分支和空谱分支；所述将所述纹理图和所述空谱图输入构建好的多视图图卷积子空间聚类网络，输出所述高光谱图像的聚类结果包括：
分别将所述纹理图和所述空谱图输入所述纹理分支和所述空谱分支，输出对应的自表达系数矩阵；
在所述注意力融合模块中对所述纹理分支和所述空谱分支输出的所述自表达系数矩阵进行融合，得到融合后的自表达系数矩阵；
将所述融合后的自表达系数矩阵输入所述谱聚类模块，获得所述高光谱图像的所述聚类结果。
具体地，图3为多视图图卷积子空间聚类网络的示意图，如图3所示，该网络包括双分支自表达模块、注意力融合模块和谱聚类模块，其中，纹理和空谱图构造模块为数据处理模块，通过该纹理和空谱图构造模块获得网络的输入数据，即纹理图和空谱图，该纹理图为图3中的EMP图。将纹理图输入纹理分支，通过该纹理分支输出纹理图对应的自表达系数矩阵，将空谱图输入空谱分支，通过该空谱分支输出空谱图对应的自表达系数矩阵。基于注意力融合模块通过执行加权求和运算自适应地融合这两个自表达系数矩阵，得到融合后的自表达系数矩阵。基于该融合后的自表达系数矩阵从而获得聚类结果。
在本实施例中，通过提出多视图图卷积子空间聚类网络，以注意力融合的方式并基于纹理信息和空谱信息，提高了高光谱图像的聚类精度，降低了计算复杂度。
在一种可能的实施方式中，所述纹理分支和所述空谱分支均包括图卷积神经网络和自表达层；所述分别将所述纹理图和所述空谱图输入所述纹理分支和所述空谱分支，输出对应的自表达系数矩阵包括：
分别将所述纹理图和所述空谱图输入图卷积神经网络，输出对应的深度特征；
利用对比学习方法分别对所述深度特征进行处理获得对应的鲁棒特征；
将所述鲁棒特征输入自表达层，通过所述自表达层获得两个自表达系数矩阵。
具体地，图卷积神经网络的结构如图4所示，该图卷积神经网络与提取空谱样本的空谱特征时所采用的卷积神经网络不同，利用图卷积神经网络聚合邻域节点信息，得到深度特征，该深度特征包含深度纹理特征和深度空谱特征。对比学习方法的示意图如图5所示，采用对比学习方法最大化EMP纹理图和空谱图中同一节点或来自同一土地覆盖类别的节点之间的一致性，以此提高特征学习能力获取鲁棒特征，该鲁棒特征为深度鲁棒特征，并利用自表达层对输出的鲁棒特征做自表达，得到自表达系数矩阵CE和CS。
图卷积神经网络有三个图卷积层来聚合特征，每一层均使用批归一化和ReLU激活函数。训练图卷积神经网络分别三步：首先，每一个节点将自身的特征信息经过变换后发送给邻居节点，这一步是在对节点的特征信息进行抽取变换。其次，将邻居节点的特征信息聚集起来，这一步是在对节点的局部结构信息进行融合。最后把前面的信息聚集之后做非线性变换，增加模型的表达能力。
对比学习的目标即学习一个函数：
Score(f(x)，f(x+))＞＞score(f(x)，f(x-))
式中，x表示图卷积神经网络的输入数据，x+表示另一视图中与x对应的数据或相似的数据，即正样本，x-表示与x无关的数据，即负样本，f()是特征提取器，即图卷积神经网络，Score是用于评价两个特征之间相似性的度量函数。
在一种可能的实施方式中，所述对比学习方法的损失函数为InfoNCE损失函数。
采用InfoNCE损失函数作为对比学习的损失函数，最小化该损失函数可以达到最大化正样本之间互信息下限的效果。
自表达层对鲁棒特征进行自表达的数学模型可以表示为：
式中，X表示鲁棒特征，C表示自表达系数矩阵，C∈RN×N，表示具有自循环的归一化邻接矩阵，/>I是单位矩阵，/>是/>的度矩阵，p表示第一矩阵范数，q表示第二矩阵范数，λ是权衡系数。
可以被视为由C参数化的特殊线性图卷积运算或特殊的图自动编码器，它将图嵌入到向量空间中，图的结构和固有属性得以保留。
在一种可能的实施方式中，所述在所述注意力融合模块中对所述纹理分支和所述空谱分支输出的所述自表达系数矩阵进行融合，得到融合后的自表达系数矩阵包括：
通过注意力机制学习两个所述自表达系数矩阵之间的权重分配，所述注意力机制包括全连接层和softmax层；
根据所述权重分配对两个所述自表达系数矩阵进行加权平均，获得所述融合后的自表达系数矩阵。
具体地，基于注意力融合模块通过执行加权求和运算自适应地融合这两个自表达系数矩阵得到融合后的自表达系数矩阵CF，即在获得CE和CS之后，将它们融合在一起以构建最终的自表达系数矩阵CF。具体来说，利用一个注意力机制来学习两个矩阵之间的权重分配，即使用一个全连接层和一个softmax层来输出两个权重值。最后，根据学习到的权重值，对CE和CS进行加权平均，得到最终的融合矩阵CF。
在本实施例中，通过图卷积神经网络能够聚合周围节点特征，利用远程空间信息优化特征的提取；采用对比学习方法最大化两个视图中节点特征的一致性，利用自表达层对输出的鲁棒特征做自表达，从而提高了特征表达能力。
在一种可能的实施方式中，所述将所述融合后的自表达系数矩阵输入所述谱聚类模块，获得所述高光谱图像的所述聚类结果包括：
根据所述融合后的自表达系数矩阵得到相似度矩阵；
对所述相似度矩阵进行谱聚类得到所述高光谱图像的所述聚类结果。
具体地，相似度矩阵M的公式为：
M＝|CF|+|CF|T
虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。
Claims (8)
1.一种基于多视图空谱联合的高光谱图像子空间聚类方法，其特征在于，包括：
获取高光谱图像，对所述高光谱图像进行预处理获得空谱样本；
提取所述空谱样本的纹理特征和空谱特征；
分别根据所述纹理特征和所述空谱特征确定对应的纹理图和空谱图；
将所述纹理图和所述空谱图输入构建好的多视图图卷积子空间聚类网络，输出所述高光谱图像的聚类结果，所述多视图图卷积子空间聚类网络包括双分支自表达模块、注意力融合模块和谱聚类模块；
其中，所述双分支自表达模块包括纹理分支和空谱分支；所述将所述纹理图和所述空谱图输入构建好的多视图图卷积子空间聚类网络，输出所述高光谱图像的聚类结果包括：
分别将所述纹理图和所述空谱图输入所述纹理分支和所述空谱分支，输出对应的自表达系数矩阵；
在所述注意力融合模块中对所述纹理分支和所述空谱分支输出的所述自表达系数矩阵进行融合，得到融合后的自表达系数矩阵；
将所述融合后的自表达系数矩阵输入所述谱聚类模块，获得所述高光谱图像的所述聚类结果；
其中，所述纹理分支和所述空谱分支均包括图卷积神经网络和自表达层；所述分别将所述纹理图和所述空谱图输入所述纹理分支和所述空谱分支，输出对应的自表达系数矩阵包括：
分别将所述纹理图和所述空谱图输入图卷积神经网络，输出对应的深度特征；
利用对比学习方法分别对所述深度特征进行处理获得对应的鲁棒特征；
将所述鲁棒特征输入自表达层，通过所述自表达层获得两个自表达系数矩阵。
2.根据权利要求1所述的基于多视图空谱联合的高光谱图像子空间聚类方法，其特征在于，所述将所述融合后的自表达系数矩阵输入所述谱聚类模块，获得所述高光谱图像的所述聚类结果包括：
根据所述融合后的自表达系数矩阵得到相似度矩阵；
对所述相似度矩阵进行谱聚类得到所述高光谱图像的所述聚类结果。
3.根据权利要求1所述的基于多视图空谱联合的高光谱图像子空间聚类方法，其特征在于，所述提取所述空谱样本的纹理特征和空谱特征包括：
采用EMP方法提取所述空谱样本的所述纹理特征；
通过卷积神经网络提取所述空谱样本的所述空谱特征。
4.根据权利要求3所述的基于多视图空谱联合的高光谱图像子空间聚类方法，其特征在于，所述分别根据所述纹理特征和所述空谱特征确定对应的纹理图和空谱图包括：
采用最近邻算法分别根据所述纹理特征和所述空谱特征确定对应的图邻接矩阵；
基于所述图邻接矩阵分别构建EMP纹理图和所述空谱图。
5.根据权利要求1所述的基于多视图空谱联合的高光谱图像子空间聚类方法，其特征在于，所述在所述注意力融合模块中对所述纹理分支和所述空谱分支输出的所述自表达系数矩阵进行融合，得到融合后的自表达系数矩阵包括：
通过注意力机制学习两个所述自表达系数矩阵之间的权重分配，所述注意力机制包括全连接层和softmax层；
根据所述权重分配对两个所述自表达系数矩阵进行加权平均，获得所述融合后的自表达系数矩阵。
6.根据权利要求1所述的基于多视图空谱联合的高光谱图像子空间聚类方法，其特征在于，所述对所述高光谱图像进行预处理获得空谱样本包括：
利用主成分分析方法对所述高光谱图像进行波段降维，获得降维后的高光谱图像；
在所述降维后的高光谱图像上滑动窗口，获得所述空谱样本。
7.根据权利要求6所述的基于多视图空谱联合的高光谱图像子空间聚类方法，其特征在于，在所述获得所述空谱样本后，还包括：
对所述空谱样本进行标准化处理。
8.根据权利要求1所述的基于多视图空谱联合的高光谱图像子空间聚类方法，其特征在于，所述对比学习方法的损失函数为InfoNCE损失函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310313453.9A CN116310459B (zh) | 2023-03-28 | 2023-03-28 | 基于多视图空谱联合的高光谱图像子空间聚类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310313453.9A CN116310459B (zh) | 2023-03-28 | 2023-03-28 | 基于多视图空谱联合的高光谱图像子空间聚类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116310459A CN116310459A (zh) | 2023-06-23 |
| CN116310459B true CN116310459B (zh) | 2024-01-19 |
Family
ID=86803087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310313453.9A Active CN116310459B (zh) | 2023-03-28 | 2023-03-28 | 基于多视图空谱联合的高光谱图像子空间聚类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116310459B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612337A (zh) * | 2023-07-19 | 2023-08-18 | 中国地质大学（武汉） | 基于高光谱图像的物体检测方法、装置、系统及存储介质 |
| CN117934975B (zh) * | 2024-03-21 | 2024-06-07 | 安徽大学 | 一种全变分正则引导图卷积的无监督高光谱图像分类方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110598740A (zh) * | 2019-08-08 | 2019-12-20 | 中国地质大学（武汉） | 一种基于多样性和一致性学习的谱嵌入多视图聚类方法 |
| CN111144463A (zh) * | 2019-12-17 | 2020-05-12 | 中国地质大学（武汉） | 一种基于残差子空间聚类网络的高光谱图像聚类方法 |
| CN111652041A (zh) * | 2020-04-14 | 2020-09-11 | 河北地质大学 | 基于深度子空间聚类的高光谱波段选择方法、设备和装置 |
| CN111667489A (zh) * | 2020-04-30 | 2020-09-15 | 华东师范大学 | 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统 |
| CN112215267A (zh) * | 2020-09-25 | 2021-01-12 | 天津大学 | 一种面向高光谱图像的深度空谱子空间聚类方法 |
| WO2021003951A1 (zh) * | 2019-07-08 | 2021-01-14 | 南京信息工程大学 | 一种基于标签约束弹性网图模型的高光谱图像分类方法 |
| CN114743009A (zh) * | 2022-06-10 | 2022-07-12 | 中国地质大学（武汉） | 一种高光谱影像波段选择方法、系统及电子设备 |
| WO2022263839A1 (en) * | 2021-06-17 | 2022-12-22 | Monolith Ai Limited | Computer implemented method for generating a 3d object |
| WO2022267388A1 (zh) * | 2021-06-21 | 2022-12-29 | 深圳大学 | 红树林高光谱图像分类方法、装置、电子设备及存储介质 |
| CN115546525A (zh) * | 2022-10-20 | 2022-12-30 | 重庆长安汽车股份有限公司 | 多视图聚类方法、装置、电子设备及存储介质 |
-
2023
- 2023-03-28 CN CN202310313453.9A patent/CN116310459B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021003951A1 (zh) * | 2019-07-08 | 2021-01-14 | 南京信息工程大学 | 一种基于标签约束弹性网图模型的高光谱图像分类方法 |
| CN110598740A (zh) * | 2019-08-08 | 2019-12-20 | 中国地质大学（武汉） | 一种基于多样性和一致性学习的谱嵌入多视图聚类方法 |
| CN111144463A (zh) * | 2019-12-17 | 2020-05-12 | 中国地质大学（武汉） | 一种基于残差子空间聚类网络的高光谱图像聚类方法 |
| CN111652041A (zh) * | 2020-04-14 | 2020-09-11 | 河北地质大学 | 基于深度子空间聚类的高光谱波段选择方法、设备和装置 |
| CN111667489A (zh) * | 2020-04-30 | 2020-09-15 | 华东师范大学 | 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统 |
| CN112215267A (zh) * | 2020-09-25 | 2021-01-12 | 天津大学 | 一种面向高光谱图像的深度空谱子空间聚类方法 |
| WO2022263839A1 (en) * | 2021-06-17 | 2022-12-22 | Monolith Ai Limited | Computer implemented method for generating a 3d object |
| WO2022267388A1 (zh) * | 2021-06-21 | 2022-12-29 | 深圳大学 | 红树林高光谱图像分类方法、装置、电子设备及存储介质 |
| CN114743009A (zh) * | 2022-06-10 | 2022-07-12 | 中国地质大学（武汉） | 一种高光谱影像波段选择方法、系统及电子设备 |
| CN115546525A (zh) * | 2022-10-20 | 2022-12-30 | 重庆长安汽车股份有限公司 | 多视图聚类方法、装置、电子设备及存储介质 |
Non-Patent Citations (6)
| Title |
|---|
| Superpixel-Based Reweighted Low-Rank and Total Variation Sparse Unmixing for Hyperspectral Remote Sensing Imagery;Li, H (Li, Hao) ; Feng, RY (Feng, Ruyi) ; Wang, LZ (Wang, Lizhe) ; Zhong, YF (Zhong, Yanfei) ; Zhang, LP (Zhang, Liangpei);《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;第59卷(第01期);第629-647页 * |
| 一种新的高光谱遥感图像纹理特征提取方法研究;冯静;舒宁;;《武汉理工大学学报》(第03期);全文 * |
| 多视角判别度量学习的乳腺影像检索方法;周国华;蒋晖;顾晓清;殷新春;;《液晶与显示》(第06期);全文 * |
| 综合纹理特征的高光谱遥感图像分类方法;吴昊;;《计算机工程与设计》(第05期);全文 * |
| 联合局部二值模式的CNN高光谱图像分类;魏祥坡;余旭初;张鹏强;职露;杨帆;;《遥感学报》(第08期);全文 * |
| 高分二号卫星影像融合及质量评价;孙攀;董玉森;陈伟涛;马娇;邹毅;王金鹏;陈华;;《国土资源遥感》(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116310459A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116310459B (zh) | 基于多视图空谱联合的高光谱图像子空间聚类方法 | |
| CN107358260B (zh) | 一种基于表面波cnn的多光谱图像分类方法 | |
| CN111652038B (zh) | 基于卷积神经网络的遥感的海冰图像分类方法 | |
| CN111914611B (zh) | 城市绿地高分遥感监测方法与系统 | |
| CN102829739B (zh) | 一种面向对象的作物叶面积指数遥感反演方法 | |
| CN111738329A (zh) | 一种面向时间序列遥感影像的土地利用分类方法 | |
| CN107103306B (zh) | 基于小波分析与支持向量机的冬小麦白粉病遥感监测方法 | |
| CN112949416B (zh) | 一种监督的高光谱多尺度图卷积分类方法 | |
| CN112668615B (zh) | 一种基于深度跨尺度外推融合的卫星云图预测方法 | |
| CN110689065A (zh) | 一种基于扁平混合卷积神经网络的高光谱图像分类方法 | |
| CN111160392A (zh) | 一种基于小波宽度学习系统的高光谱分类方法 | |
| CN114972885A (zh) | 基于模型压缩的多模态遥感图像分类方法 | |
| Guo et al. | CNN‐combined graph residual network with multilevel feature fusion for hyperspectral image classification | |
| Feng et al. | Land-cover classification of high-resolution remote sensing image based on multi-classifier fusion and the improved Dempster–Shafer evidence theory | |
| CN117576467B (zh) | 一种融合频率域和空间域信息的农作物病害图像识别方法 | |
| CN117892059A (zh) | 一种基于多模态图像融合与ResNetXt-50的电能质量扰动识别方法 | |
| CN105719323A (zh) | 一种基于优化图谱理论的高光谱降维方法 | |
| CN117392065A (zh) | 一种云边协同太阳能板覆灰状况自主评估方法 | |
| CN116958709A (zh) | 一种轻量级张量卷积长短时记忆网络的高光谱分类方法 | |
| CN116704378A (zh) | 一种基于自生长卷积神经网络的国土测绘数据分类方法 | |
| Jing et al. | Time series land cover classification based on semi-supervised convolutional long short-term memory neural networks | |
| CN113378924B (zh) | 一种基于空-谱特征联合的遥感影像监督分类方法 | |
| Hu et al. | Spatial dynamic selection network for remote-sensing image fusion | |
| CN115457325A (zh) | 一种基于面向对象和光谱规则的多光谱遥感图像非监督分类方法 | |
| CN113902013A (zh) | 一种基于三维卷积神经网络与超像素分割的高光谱分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |