CN116152544A - 基于残差增强空谱融合超图神经网络的高光谱图像分类方法 - Google Patents
基于残差增强空谱融合超图神经网络的高光谱图像分类方法 Download PDFInfo
- Publication number
- CN116152544A CN116152544A CN202211378204.XA CN202211378204A CN116152544A CN 116152544 A CN116152544 A CN 116152544A CN 202211378204 A CN202211378204 A CN 202211378204A CN 116152544 A CN116152544 A CN 116152544A
- Authority
- CN
- China
- Prior art keywords
- hypergraph
- matrix
- hyperspectral
- neural network
- hyperspectral image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
一种基于残差增强空谱融合超图神经网络的高光谱图像分类方法,包括以下步骤:S1:通过不同的特征提取策略分别提取高光谱图像的光谱‑空间特征,即将原始图像展平成矩阵计算光谱特征,由像素的水平和垂直坐标生成空间特征;S2:将不同模态的特征分别生成超图并进行融合,生成多模态超图关联矩阵;并且根据超图结构计算出超边和顶点;S3:将超图和高光谱原始特征输入到残差增强的超图神经网络进行训练,通过反向传播动态更新超图,得到每个像素的预测分类标签。本发明可以充分表示高光谱图像中丰富且复杂的信息,而且解决了高光谱在传统深度学习中随着深度增加带来的性能显著下降问题,以达到最好的训练效果。
Description
技术领域
本发明涉及计算机视觉、遥感图像数据处理等技术领域,具体涉及一种基于残差增强空谱融合超图神经网络的高光谱图像分类方法。
技术背景
高光谱遥感图像与传统的全色图像或多光谱图像相比具有大量的光谱信息。因此,在经典的土地覆盖分类任务中具有令人满意的性能和更大的研究价值,但大量光谱信息同时带来信息冗余问题。如何精准有效的提取高光谱数据信息并发掘潜在特征已成为高光谱图像分类任务的关键。
传统依赖光谱特征的机器学习分类方法(如支持向量机、神经网络、核方法、多项式逻辑回归等及其变种)存在Hughes现象且对噪声比较敏感,导致分类精度较低。由于深度学习已经在计算机视觉方面取得了很好的效果,我们想以深度模型分布式特征表达替代传统人工设计的特征提取方式,解决高光谱数据结构多样化及复杂噪声影响所带来的多种问题。空谱融合策略能充分挖掘和利用高光谱图像内局部像元依赖关系,通过利用地物邻域聚集属性提升高光谱图像监督分类性能。超图结构可以表示更多复杂信息,但传统超图神经网络存在过度平滑问题,即当层堆叠时,其性能显著下降。
发明内容
为了克服现有技术的不足,本发明提供一种基于残差增强空谱融合超图神经网络的高光谱图像分类方法,能够精准有效的提取高光谱图像信息并挖掘高光谱数据的潜在特征,以解决传统超图神经网络随着深度增加带来的性能显著下降问题,具有较好的实用性和鲁棒性。
为了解决上述技术问题本发明提供如下的技术方案:
一种基于残差增强空谱融合超图神经网络的高光谱图像分类方法,包括以下步骤:
步骤S1:通过不同的特征提取策略分别提取高光谱图像的光谱-空间特征,即将原始图像展平成矩阵计算光谱特征,由像素的水平和垂直坐标生成空间特征;
步骤S2:将不同模态的特征分别生成超图并进行融合,生成多模态超图关联矩阵;并且根据超图结构计算出超边和顶点;
步骤S3:将超图和高光谱原始特征输入到残差增强的超图神经网络进行训练,通过反向传播动态更新超图,得到每个像素的预测分类标签。
进一步,所述步骤S1包含以下步骤:
步骤S11:高光谱图像数据集读取:读取预处理后的训练集和带有标注信息的测试集,对每个分类类别选取5-15个测试样本;
Xspa[i]=[x(i),y(j)] (1)
其中,x(i)和y(i)分别表示像素i的水平和垂直坐标。
再一步,所述步骤S2包含以下步骤:
步骤S21:生成超图关联矩阵:对步骤S1得到的光谱特征Xspe和空间特征Xspa通过公式(2)分别构造超图Hspe和Hspa:
其中,Xi∈Νk(Xj)表示顶点Xi是顶点Xj的k个最近邻,mean表示所有k最近邻顶点之间的平均欧氏距离,σ为可调节超参数,e为超边;
步骤S22:由超图计算超边和顶点,参照公式(3):
其中,d(v)表示顶边度的对角矩阵,w(e)是超边权重参数,δ(e)表示边度的对角矩阵。
更进一步,所述步骤S3中,构建残差增强的超图神经网络包括以下步骤:
步骤S31:超图拉普拉斯矩阵生成:拉普拉斯矩阵是图的一种矩阵表示,传统图的拉普拉斯矩阵定义为:
L=D-A (4)
其中,D为图的度矩阵,A为图的邻接矩阵,超图的邻接矩阵可定义为:
超图拉普拉斯矩阵有如下变换:
因此,经过推导对给定图像特征X,超图上的卷积操作可以定义为:
其中,Dv表示超边度矩阵,De表示顶点度矩阵,H为原始超图的关联矩阵,W表示超边的权重矩阵,其对角线上的元素表示每条超边的权值,Θ表示超参数;
步骤S32:残差增强的超图神经网络构造:整个网络的开头和结尾都分别增加一个线性层,将处理好的数据先通过一个线性层实现数据的线性组合,采用非线性激活函数,在激活函数前后分别使用一次归一化操作;操作是将超图和高光谱图像同时输入到网络中,首先是对高光谱原始特征进行归一化和Dropout处理,防止过拟合;随后传入残差增强的超图卷积层中,在第l层的传播过程定义为:
X(l+1)=σ(((1-αl)YXl+αlX(0))((1-βl)I+βW(l))) (8)
其中,αl、βl是超参数,分别设置为0.5和0.1,I是单位矩阵。
本发明中,残差的引入可以有效避免传统超图神经网络引起的过度平滑问题,同时基于残差增强的超图神经网络可以有效融合多个超图信息。因此本发明在计算机视觉领域和遥感领域具有重要意义。
本发明的有益效果表现在:能够精准有效的提取高光谱图像信息并挖掘高光谱数据的潜在特征,以解决传统超图神经网络随着深度增加带来的性能显著下降问题,具有较好的实用性和鲁棒性。
附图说明
图1为一种基于残差增强空谱融合超图神经网络的高光谱图像分类方法的流程示意图;
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
参照图1,一种基于残差增强空谱融合超图神经网络的高光谱图像分类方法,所述方法一共包含三个模块,分别为高光谱空谱特征提取、超图生成、超图动态更新和特征图像分类,所述方法包括以下步骤:
步骤S1:通过不同的特征提取策略分别提取高光谱图像的光谱-空间特征,即将原始图像展平成矩阵计算光谱特征,由像素的水平和垂直坐标生成空间特征;过程如下:
步骤S11:高光谱图像数据集读取:读取预处理后的训练集和带有标注信息的测试集,对每个分类类别选取5-15个测试样本,其中对于标记样本数量较大的图像均分成四部分进行分类。读取的原始图像为其中n,m,d分别为空间维度上的长和宽以及光谱通道数;
Xspa[i]=[x(i),y(j)] (1)
其中,x(i)和y(i)分别表示像素i的水平和垂直坐标。
图1中空谱特征提取完成之后,融合空谱特征来进行超图生成。
步骤S2:将不同模态的特征分别生成超图并进行融合,生成多模态超图关联矩阵;并且根据超图结构计算出超边和顶点,过程如下:
步骤S21:生成超图关联矩阵:超图定义为G(V,E,W),W是超边权重矩阵,在具体实现中,我们使用关联矩阵H表示超图,H的大小为|V|×|E|,V和E分别表示超图的顶点和超边。对步骤S1得到的光谱特征Xspe和空间特征Xspa通过公式(2)分别构造超图Hspe和Hspa:
其中,Xi∈Νk(Xj)表示顶点Xi是顶点Xj的k个最近邻,mean表示所有k最近邻顶点之间的平均欧氏距离,σ为可调节超参数,e为超边;优选的,设置光谱和空间超图的最近邻k均为16;
步骤S22:由超图计算超边和顶点,参照公式(3):
其中,d(v)表示顶边度的对角矩阵,w(e)是超边权重参数,δ(e)表示边度的对角矩阵;
步骤S3:将超图和高光谱原始特征输入到残差增强的超图神经网络进行训练,通过反向传播动态更新超图,得到每个像素的预测分类标签,过程如下:
步骤S31:超图拉普拉斯矩阵生成:由步骤(1)生成的多模态特征X[X1,X2,X3,…,Xm],使用公式(2)计算每个Xi的超图关联矩阵Hi,并进行串联生成H[H1,H2,H3,…,Hm]。传统图的拉普拉斯矩阵定义为:
L=D-A (4)
其中,D为图的度矩阵,A为图的邻接矩阵,超图的邻接矩阵又可定义为:
超图拉普拉斯矩阵有如下变换:
因此,经过推导对给定图像特征X,超图上的卷积操作可以定义为:
其中,Dv表示超边度矩阵,De表示顶点度矩阵,H为原始超图的关联矩阵,W表示超边的权重矩阵,其对角线上的元素表示每条超边的权值,Θ表示超参数;
步骤S32:残差增强的超图神经网络构造:整个网络的开头和结尾都分别增加一个线性层,将处理好的数据先通过一个线性层实现数据的线性组合,采用非线性激活函数,在激活函数前后分别使用一次归一化操作;操作是将超图和高光谱图像同时输入到网络中,首先是对高光谱原始特征进行归一化和Dropout处理,防止过拟合;随后传入残差增强的超图卷积层中,虽然ResNet中的残差连接解决了网络深度训练问题,但它只能缓解过平滑问题,这里的残差卷积使用了初始残差和恒等映射两种操作,不仅解决了过平滑问题,且随着网络深度的增加还可以不断提高分类效果,在第l层的传播过程定义为:
X(l+1)=σ(((1-αl)YXl+αlX(0))((1-βl)I+βW(l))) (8)
其中,αl、βl是超参数,分别设置为0.5和0.1,I是单位矩阵。
初始残差:为了模拟ResNet中的跳转连接,将平滑表示YX(l)与第一层X(0)的初始连接进行组合,初始残差连接可以使每层网络输出的结果至少保留初始输入特征的一小部分;
恒等映射:在第l层,将单位矩阵I添加到权重矩阵W(l)中。βl可以确保权重矩阵的衰减随着层数的增加进行自适应增加。具体的,βl=log(λ/(l+1)+1),λ表示超参数,设置为0.1;
为了增加神经网络各层之间的非线性关系,每一层增加一个Relu操作。在网络的最后一层添加一个线性层,用于数据像素预测标签输出,从而实现下层分类任务。整个网络全梯度下降,学习率可动态调节,学习率初始值设置为0.01,每经过30个训练批次动态减半。
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举,仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式,本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。
Claims (4)
1.一种基于残差增强空谱融合超图神经网络的高光谱图像分类方法,其特征在于,所述方法包括以下步骤:
步骤S1:通过不同的特征提取策略分别提取高光谱图像的光谱-空间特征,即将原始图像展平成矩阵计算光谱特征,由像素的水平和垂直坐标生成空间特征;
步骤S2:将不同模态的特征分别生成超图并进行融合,生成多模态超图关联矩阵;并且根据超图结构计算出超边和顶点;
步骤S3:将超图和高光谱原始特征输入到残差增强的超图神经网络进行训练,通过反向传播动态更新超图,得到每个像素的预测分类标签。
2.根据权利要求1所述的基于残差增强空谱融合超图神经网络的高光谱图像分类方法,其特征在于,所述步骤S1包括以下步骤:
步骤S11:高光谱图像数据集读取:读取预处理后的训练集和带有标注信息的测试集,对每个分类类别选取5-15个测试样本;
Xspa[i]=[x(i),y(j)] (1)
其中,x(i)和y(i)分别表示像素i的水平和垂直坐标。
4.根据权利要求1或2所述的基于残差增强空谱融合超图神经网络的高光谱图像分类方法,其特征在于,所述步骤S3包括以下步骤:
步骤S31:超图拉普拉斯矩阵生成:拉普拉斯矩阵是图的一种矩阵表示,传统图的拉普拉斯矩阵定义为:
L=D-A (4)
其中,D为图的度矩阵,A为图的邻接矩阵,超图的邻接矩阵可定义为:
超图拉普拉斯矩阵有如下变换:
因此,经过推导对给定图像特征X,超图上的卷积操作可以定义为:
其中,Dv表示超边度矩阵,De表示顶点度矩阵,H为原始超图的关联矩阵,W表示超边的权重矩阵,其对角线上的元素表示每条超边的权值,Θ表示超参数;
步骤S32:残差增强的超图神经网络构造:整个网络的开头和结尾都分别增加一个线性层,将处理好的数据先通过一个线性层实现数据的线性组合,采用非线性激活函数,在激活函数前后分别使用一次归一化操作;操作是将超图和高光谱图像同时输入到网络中,首先是对高光谱原始特征进行归一化和Dropout处理,防止过拟合;随后传入残差增强的超图卷积层中,在第l层的传播过程定义为:
X(l+1)=σ(((1-αl)YXl+αlX(0))((1-βl)I+βW(l))) (8)
其中,αl、βl是超参数,分别设置为0.5和0.1,I是单位矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211378204.XA CN116152544A (zh) | 2022-11-04 | 2022-11-04 | 基于残差增强空谱融合超图神经网络的高光谱图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211378204.XA CN116152544A (zh) | 2022-11-04 | 2022-11-04 | 基于残差增强空谱融合超图神经网络的高光谱图像分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116152544A true CN116152544A (zh) | 2023-05-23 |
Family
ID=86351398
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211378204.XA Pending CN116152544A (zh) | 2022-11-04 | 2022-11-04 | 基于残差增强空谱融合超图神经网络的高光谱图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116152544A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116994071A (zh) * | 2023-09-25 | 2023-11-03 | 云南联合视觉科技有限公司 | 一种基于自适应光谱残差的多光谱激光雷达点云分类方法 |
CN117315381A (zh) * | 2023-11-30 | 2023-12-29 | 昆明理工大学 | 一种基于二阶有偏随机游走的高光谱图像分类方法 |
CN117830752A (zh) * | 2024-03-06 | 2024-04-05 | 昆明理工大学 | 一种用于多光谱点云分类的自适应空-谱掩码图卷积方法 |
-
2022
- 2022-11-04 CN CN202211378204.XA patent/CN116152544A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116994071A (zh) * | 2023-09-25 | 2023-11-03 | 云南联合视觉科技有限公司 | 一种基于自适应光谱残差的多光谱激光雷达点云分类方法 |
CN117315381A (zh) * | 2023-11-30 | 2023-12-29 | 昆明理工大学 | 一种基于二阶有偏随机游走的高光谱图像分类方法 |
CN117315381B (zh) * | 2023-11-30 | 2024-02-09 | 昆明理工大学 | 一种基于二阶有偏随机游走的高光谱图像分类方法 |
CN117830752A (zh) * | 2024-03-06 | 2024-04-05 | 昆明理工大学 | 一种用于多光谱点云分类的自适应空-谱掩码图卷积方法 |
CN117830752B (zh) * | 2024-03-06 | 2024-05-07 | 昆明理工大学 | 一种用于多光谱点云分类的自适应空-谱掩码图卷积方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Spectral–spatial multi-feature-based deep learning for hyperspectral remote sensing image classification | |
US10699166B2 (en) | Font attributes for font recognition and similarity | |
CN116152544A (zh) | 基于残差增强空谱融合超图神经网络的高光谱图像分类方法 | |
CN111723731B (zh) | 基于空谱卷积核的高光谱图像分类方法、存储介质及设备 | |
Zhou et al. | Point cloud denoising review: from classical to deep learning-based approaches | |
Gao et al. | Cross-scale mixing attention for multisource remote sensing data fusion and classification | |
Gao et al. | Small sample classification of hyperspectral image using model-agnostic meta-learning algorithm and convolutional neural network | |
Mignotte | A bicriteria-optimization-approach-based dimensionality-reduction model for the color display of hyperspectral images | |
CN110599502B (zh) | 一种基于深度学习的皮肤病变分割方法 | |
Liu et al. | Painting completion with generative translation models | |
CN117274608B (zh) | 基于空间细节感知和注意力引导的遥感图像语义分割方法 | |
Ding et al. | Robust spatial–spectral block-diagonal structure representation with fuzzy class probability for hyperspectral image classification | |
CN115205672A (zh) | 一种基于多尺度区域注意力的遥感建筑物语义分割方法及系统 | |
Wang et al. | Urban building extraction from high-resolution remote sensing imagery based on multi-scale recurrent conditional generative adversarial network | |
Tan et al. | Deep global-local transformer network combined with extended morphological profiles for hyperspectral image classification | |
Guan et al. | Contrastive multi-view subspace clustering of hyperspectral images based on graph convolutional networks | |
Jing et al. | Object-based change detection for VHR remote sensing images based on a Trisiamese-LSTM | |
Chen et al. | Quality evaluation of arbitrary style transfer: Subjective study and objective metric | |
CN115457311A (zh) | 一种基于自表达迁移学习的高光谱遥感影像波段选择方法 | |
Li et al. | DCI-PGCN: dual-channel interaction portable graph convolutional network for landslide detection | |
Zhang et al. | Satellite image super-resolution based on progressive residual deep neural network | |
Wang et al. | Generative image inpainting with enhanced gated convolution and Transformers | |
Ye et al. | Superpixel guided network for three-dimensional stereo matching | |
Gonzalez | DL4DS—Deep learning for empirical downscaling | |
Xiao et al. | Image inpainting network for filling large missing regions using residual gather |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |