CN113537239B - 一种基于全局关系感知注意力的高光谱图像波段选择方法 - Google Patents
一种基于全局关系感知注意力的高光谱图像波段选择方法 Download PDFInfo
- Publication number
- CN113537239B CN113537239B CN202110774474.1A CN202110774474A CN113537239B CN 113537239 B CN113537239 B CN 113537239B CN 202110774474 A CN202110774474 A CN 202110774474A CN 113537239 B CN113537239 B CN 113537239B
- Authority
- CN
- China
- Prior art keywords
- band
- attention
- hyperspectral image
- spatial
- above formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于全局关系感知注意力的高光谱图像波段选择方法,包括步骤:对原始高光谱图像数据进行分块处理;生成空间部分注意力;生成波段部分注意力;将空间部分注意力和波段部分注意力汇总融合,生成全局关系感知注意力;高光谱图像重建;损失函数优化完成之后,通过计算各个波段信息熵、光谱角和相关系数的比值,选择值最大的前k个波段作为波段选择的结果。本发明的有益效果是:本发明通过联合提取高光谱数据的空谱信息,学习局部自身和全局关系注意力,并利用学习到的注意力对高光谱图像进行加权后送入重建网络优化参数,进而通过指标选择波段。
Description
技术领域
本发明属于遥感图像处理领域,尤其涉及一种基于全局关系感知注意力的高光谱图像波段选择方法;
背景技术
高光谱遥感利用拥有数百个连续窄波段的传感器收集地物详细的光谱响应。由于高光谱图像光谱的波段范围广且光谱分辨率非常高,其被广泛应用于农作物精细分类、地质探查、水质评价、环境监测等多个方面。然而,因为高光谱图像的高维特点以及波段之间的强相关性,使其具有大量的冗余数据,增大了其处理难度。此外,高光谱图像的高维特点还会带来“维数灾难”。所谓的“维数灾难”就是指:当训练样本数量确定时,随着参与处理的波段不断增加,分类精度出现先升后降的现象。增加训练样本数量可以缓解“维数灾难”。但在遥感应用中,收集制作大量的训练样本需要的人力物力是非常惊人的。因此,有必要在高光谱图像应用之前对其进行降维。
对高光谱图像进行波段选择可以有效降低高光谱图像的维度。波段选择是在原始高光谱图像的波段集合中选择具有高信息量、低相关性、低冗余的波段。波段选择的方法可分为监督、半监督、无监督。由于标签数据非常难获取,不需要标签数据的无监督方法成为了研究的热点。无监督的波段选择方法则又可以分为基于排序、基于聚类、基于搜索、基于稀疏四种类型。
但是这四种方法忽视了高光谱图像的空间信息,且未能考虑高光谱图像空间、光谱的全局信息。鉴于此,申请号为CN201911232855.6的《一种基于深度学习的高光谱图像波段选择方法》的专利申请,公开了一种基于深度学习的高光谱图像波段选择方法,该方法提供的波段选择网络框架通过波段注意力模块得到波段注意力,并由自编码器完成光谱重建。虽然该方法同时利用了高光谱图像的空间、波段信息,但是由于卷积核大小的限制,不能很好的以非线性的视角利用空间、波段的全局信息。且该方法的参数数量庞大,计算难度高。
发明内容
本发明的目的是克服现有技术中的不足,提供一种基于全局关系感知注意力的高光谱图像波段选择方法。
这种基于全局关系感知注意力的高光谱图像波段选择方法,包括以下步骤:
步骤1、对原始高光谱图像数据进行分块处理:在原始高光谱图像中,将每个像素作为中心划分出h×w个子立方体X的大小为s×s×b,w、h、b分别为原始高光谱图像的宽、高和波段数;s×s×b中的s表示划分出的子立方体X的宽和高均为s,;
步骤6、高光谱图像重建;
作为优选,步骤2具体包括以下步骤:
步骤2.1、通过函数Fs(·)映射第m个空间特征与第n个空间特征之间的双向亲和关系:
RVm=[AMs(m,:),AMs(:,m)]
上式中,AMs(m,:)表示亲和力矩阵AMs的第m行,AMs(:,m)表示亲和力矩阵AMs的第m列;
得到子立方体X中所有空间特征的相关性向量集合:
上式中,m表示子立方体X中第m个空间特征,s×s表示所有空间特征的空间亲和力矩阵的行数和列数;
步骤2.3、获取空间特征的局部特征:
步骤2.4、将步骤2.2和步骤2.3中的相关性向量集合以及局部特征Ls通过堆栈函数相堆栈,获得堆栈之后的空间关系特征;由于相关性向量与局部特征的维数不同,因此还通过转换函数Ψs(·)统一RVs和Ls的维数:
SF=CAT[(Ls),Ψs(RVs)]
上式中,CAT[·]为堆栈函数,Ψs(·)为转换函数;
步骤2.5、将堆栈之后的空间关系特征送入sigmoid层得到空间部分的注意力:
AS=Sigmoid(sa(SF;θsa))
上式中,Sigmoid(·)为激活函数,用于把输入数据映射到(0,1)的范围内;sa(·)用于学习空间部分的注意力权重;θsa为待训练的参数;SF表示堆栈之后的空间关系特征。
作为优选,步骤3具体包括以下步骤:
步骤3.1、通过函数Fb(·)映射波段特征p与波段特征q之间的双向亲和关系:
RVp=[AMb(p,:),AMb(:,p)]
上式中,AMb(p,:)表示波段特征的亲和力矩阵AMb的第p行,AMb(:,p)表示波段特征的亲和力矩阵AMb的第p列;
得到子立方体X中所有波段特征的相关性向量集合:
上式中,p表示子立方体X中第p个波段特征,b表示构建的波段特征的亲和力矩阵维度是形式为b×b的二维;
步骤3.3、获取波段特征的局部特征:
步骤3.4、将步骤3.2和步骤3.3中的相关性向量集合以及局部特征Lb通过堆栈函数相堆栈,获得堆栈之后的波段关系特征,由于相关性向量与局部特征的维度不同,因此还通过转换函数Ψb(·)使局部特征的相关性向量与局部特征的维数相统一:
BF=CAT[(Lb),Ψb(RVb)]
上式中,CAT[·]为堆栈函数;
步骤3.5、将堆栈之后的波段关系特征BF送入到sigmoid层得到波段部分的注意力:
Ab=Sigmoid(ba(BF;θba))
上式中,Sigmoid(·)为激活函数,用于把输入数据映射到(0,1)的范围内;ba(·)用于学习波段部分的注意力权重,θba为待训练的参数。
作为优选,步骤6具体包括以下步骤:
步骤6.1、通过步骤5加权后的高光谱图像重建原始高光谱图像:
步骤6.2、构建损失函数评价高光谱图像的重建效果:
步骤6.3、利用随机梯度下降法对步骤6.2中的损失函数进行优化:
作为优选,步骤7具体包括以下步骤:
上式中,bi为第i个波段,g表示第i个波段bi中某一像元值,p(g)表示为bi的灰度直方图中g出现的概率;I(bi)指的是第i个波段bi的信息熵,IE(bi)表示归一化后的第i个波段bi的信息熵;
步骤7.2、计算波段bi和波段bj之间的光谱角SAM(bi,bj),将波段bi与其余波段光谱角的总和作为该波段的光谱角参数S(bi),并进行归一化得到SS(bi):
上式中,bi和bj分别为第i、第j个波段;SAM(bi,bj)为波段bi之间的波段bj的光谱角;S(bi)为波段bi与其他波段的光谱角的总和;SS(bi)为S(bi)归一化后的结果;
步骤7.3、计算波段bi和波段bj之间的相关系数corf(bi,bj),将波段bi与其余波段相关系数的总和作为该波段的相关系数参数C(bi),并进行归一化得到CC(bi):
步骤7.4、利用归一化之后的信息熵、光谱角和相关系数构建波段选择指标,并应用于经过步骤5加权后的高光谱图像中:
选择波段选择指标ISC值最大的前k个波段作为波段选择的结果。
本发明的有益效果是:
本发明通过联合提取高光谱数据的空谱信息,学习局部自身和全局关系注意力,并利用学习到的注意力对高光谱图像进行加权后送入重建网络优化参数,进而通过指标选择波段。
本发明利用关系感知模块对高光谱图像的全局空间、波段信息进行关系建模,摆脱了现有技术中卷积核的限制,获取全局的空间、波段特征。
本发明构建了用于提取高光谱图像局部的空间、波段特征的注意力模块,并将局部特征与全局特征进行堆栈,学习全局关系感知注意力特征,能更好的挖掘信息。
本发明是一种端到端的无监督的波段选择结构,将特征提取与波段选择结合再一起,与现有技术相比,本发明构建的网络的参数量较低,且具有良好的鲁棒性。
附图说明
图1为本发明的实施流程图;
图2-1为获取空间注意力模块的逻辑示意图;
图2-2为获取波段注意力模块的逻辑示意图;
图3-1为本发明的方法与对比方法所选波段的OA量化分类精度对比图;
图3-2为本发明的方法与对比方法所选波段的AA量化分类精度对比图;
图3-3为本发明的方法与对比方法所选波段的Kappa量化分类精度对比图。
具体实施方式
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出,对于本技术领域的普通人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
本发明通过双向亲和关系表征高光谱图像中丰富的空谱信息的全局特征,并与局部特征相堆栈,利用高光谱图像的全局特征和局部特征共同构建高光谱图像的注意力权重。经过3×3的卷积层后,利用最大池化层与均值池化层之差来突出特征,提取空间局部特征;对于波段局部特征,则使用1×1的卷积层,其余操作与空间局部特征提取过程相同。利用归一化之后的各波段信息熵、光谱角和相关系数构建波段评价指标ISC,并应用于加权后的高光谱图像中,选择ISC值最大的前k个波段作为的结果。
实施例一
本申请实施例一提供了一种如图1所示基于全局关系感知注意力的高光谱图像波段选择方法,包括以下步骤:
步骤1、对原始高光谱图像数据进行分块处理:在原始高光谱图像中,将每个像素作为中心划分出h×w个子立方体X的大小为s×s×b,w、h、b分别为原始高光谱图像的宽、高和波段数;s×s×b中的s表示划分出的子立方体X的宽和高均为s,;
步骤2.1、通过函数Fs(·)映射第m个空间特征与第n个空间特征之间的双向亲和关系:
RVm=[AMs(m,:),AMs(:,m)]
上式中,AMs(m,:)表示亲和力矩阵AMs的第m行,AMs(:,m)表示亲和力矩阵AMs的第m列;
得到子立方体X中所有空间特征的相关性向量集合:
上式中,m表示子立方体X中第m个空间特征,s×s表示所有空间特征的空间亲和力矩阵的行数和列数;
步骤2.3、获取空间特征的局部特征:
步骤2.4、将步骤2.2和步骤2.3中的相关性向量集合以及局部特征Ls通过堆栈函数相堆栈,获得堆栈之后的空间关系特征;由于相关性向量与局部特征的维数不同,因此还通过转换函数Ψs(·)统一RVs和Ls的维数:
SF=CAT[(Ls),Ψs(RVs)]
上式中,CAT[·]为堆栈函数,Ψs(·)为转换函数;
步骤2.5、将堆栈之后的空间关系特征送入sigmoid层得到空间部分的注意力:
AS=Sigmoid(sa(SF;θsa))
上式中,Sigmoid(·)为激活函数,用于把输入数据映射到(0,1)的范围内;sa(·)用于学习空间部分的注意力权重;θsa为待训练的参数;SF表示堆栈之后的空间关系特征;
步骤3.1、通过函数Fb(·)映射波段特征p与波段特征q之间的双向亲和关系:
RVp=[AMb(p,:),AMb(:,p)]
上式中,AMb(p,:)表示波段特征的亲和力矩阵AMb的第p行,AMb(:,p)表示波段特征的亲和力矩阵AMb的第p列;
得到子立方体X中所有波段特征的相关性向量集合:
上式中,p表示子立方体X中第p个波段特征,b表示构建的波段特征的亲和力矩阵维度是形式为b×b的二维;
步骤3.3、获取波段特征的局部特征:
步骤3.4、将步骤3.2和步骤3.3中的相关性向量集合以及局部特征Lb通过堆栈函数相堆栈,获得堆栈之后的波段关系特征,由于相关性向量与局部特征的维度不同,因此还通过转换函数Ψb(·)使局部特征的相关性向量与局部特征的维数相统一:
BF=CAT[(Lb),Ψb(RVb)]
上式中,CAT[·]为堆栈函数;
步骤3.5、将堆栈之后的波段关系特征BF送入到sigmoid层得到波段部分的注意力:
Ab=Sigmoid(ba(BF;θba))
上式中,Sigmoid(·)为激活函数,用于把输入数据映射到(0,1)的范围内;ba(·)用于学习波段部分的注意力权重,θba为待训练的参数;
步骤6、高光谱图像重建;
步骤6.1、通过步骤5加权后的高光谱图像重建原始高光谱图像:
步骤6.2、构建损失函数评价高光谱图像的重建效果:
步骤6.3、利用随机梯度下降法对步骤6.2中的损失函数进行优化:
上式中,bi为第i个波段,g表示第i个波段bi中某一像元值,p(g)表示为bi的灰度直方图中g出现的概率;I(bi)指的是第i个波段bi的信息熵,IE(bi)表示归一化后的第i个波段bi的信息熵;
步骤7.2、计算波段bi和波段bj之间的光谱角SAM(bi,bj),将波段bi与其余波段光谱角的总和作为该波段的光谱角参数S(bi),并进行归一化得到SS(bi):
上式中,bi和bj分别为第i、第j个波段;SAM(bi,bj)为波段bi之间的波段bj的光谱角;S(bi)为波段bi与其他波段的光谱角的总和;SS(bi)为S(bi)归一化后的结果;
步骤7.3、计算波段bi和波段bj之间的相关系数corf(bi,bj),将波段bi与其余波段相关系数的总和作为该波段的相关系数参数C(bi),并进行归一化得到CC(bi):
步骤7.4、利用归一化之后的信息熵、光谱角和相关系数构建波段选择指标,并应用于经过步骤5加权后的高光谱图像中:
选择波段选择指标ISC值最大的前k个波段作为波段选择的结果。
实施例二
在实施例一的基础上,本申请实施例二提供了该种基于全局关系感知注意力的高光谱图像波段选择方法的应用实例:
本发明可在python3.6的环境下,采用pytorch 1.6实现自动运行流程。以下结合附图详述波段选择的步骤。
步骤一、对原始高光谱图像数据进行分块处理:将原始高光谱图像每个像素作为中心提取出h×w个子立方体作为神经网络的输入,子立方体X的大小为5×5×b。其中,w、h、b分别为原始高光谱图像的宽、高以及波段数;
步骤二、生成空间部分注意力:
首先,通过函数Fs(·)得到子立方体X的空间特征m与空间特征n之间的双向亲和关系。具体实现如下:
RVm=[AMs(m,:),AMs(:,m)]
其中,AMs(m,:)表示亲和力矩阵AMs的第m行,AMs(:,m)表示亲和力矩阵AMs的第m列。
接着,通过3×3卷积层、最大池化层、均值池化层获取局部特征。具体实现如下:
SF=CAT[(Ls),Ψs(RVs)]
其中,CAT[·]为堆栈函数。
最后,将堆栈之后的空间关系特征送入到sigmoid层得到空间部分的注意力。具体实现如下:
AS=Sigmoid(sa(SF;θsa))
其中,Sigmoid(·)为激活函数,用于把输入数据映射到(0,1)的范围内;sa(·)用于学习空间部分的注意力权重,θsa为待训练的参数。
步骤三、生成波段部分注意力:
首先,通过函数Fb(·)映射波段特征p与波段特征q之间的双向亲和关系。
RVp=[AMb(p,:),AMb(:,p)]
其中,AMb(p,:)表示亲和力矩阵AMb的第p行,AMb(:,p)表示亲和力矩阵AMb的第p列。
接着,通过1×1卷积层、最大池化层、均值池化层获取局部特征。具体实现如下:
BF=CAT[(Lb),Ψb(RVb)]
其中,CAT[·]为堆栈函数。
最后,将堆栈之后的波段关系特征送入到sigmoid层得到波段部分的注意力。具体实现如下:
Ab=Sigmoid(ba(BF;θba))
其中,Sigmoid(·)为激活函数,用于把输入数据映射到(0,1)的范围内;ba(·)用于学习波段部分的注意力权重,θba为待训练的参数。
步骤六、高光谱图像重建:
首先,利用加权后的高光谱图像重建原始高光谱图像:
其中,Frc(·)为重建网络,θrc为待训练的参数;
接着,通过构建损失函数评价重建效果:
其中,||·||1为L1范数,S为训练样本的数量。
并利用随机梯度下降法对损失函数进行优化:
计算各个波段的信息熵,并进行归一化:
其中,g表示bi中某一像元值,p(g)表示为bi的灰度直方图中g出现的概率
计算波段之间的光谱角参数,将某一波段与其余波段光谱角的总和作为该波段的光谱角参数,并进行归一化:
其中,bi和bj分别为第i、j个波段。
计算波段之间的相关系数,将某一波段与其余波段相关系数的总和作为该波段的相关系数,并进行归一化:
利用归一化之后的信息熵、光谱角和相关系数构建波段选择指标:
最后,选择ISC值最大的前k个波段作为波段选择的结果。
下面结合模拟实验结果对本发明的效果进一步分析:
如图3-1至图3-3,为了分析本发明提出的波段选择方法的有效性,利用不同方法所选择的波段对高光谱图像进行分类,使用OA、AA、Kappa量化分类精度。本模拟实验所对比的方法包括4种传统方法、两种深度学习方法以及全波段。本模拟实验的数据集为Indianpines dataset。Indian pines dataset是由AVIRIS传感器在印第安纳州西北部的印第安松树测试站点上获得的。本实验使用的分类器为SVM,选择的训练样本的比例为10%。模拟实验结果见附图3。从图3-1至图3-3中可以看出本发明所提出的方法具有最好的分类精度。当选择波段数为5时,本发明的效果明显优于其他的对比方法。当选择波段数大于20时,本发明的分类精度优于全波段。这说明了本发明的有效性。
本模拟实验进一步统计了当选择波段数为25时,不同方法在Indian Pines的16类地物的分类情况,其结果见下表1,其中每类地物分类精度以及AA、OA的数值均为百分比,kappa系数为0-1之间的数值。分类效果最好的结果为粗体数据。
表1 Indian Pines每类地物的分类精度表
No | E-FDPC | LP | ISSC | OCF | BS-Conv | DARec-net | 本发明 | 全波段 |
1(%) | 31.71±26.44 | 35.37±7.01 | 52.03±12.96 | 70.73±5.97 | 53.66±5.59 | 46.34±5.97 | 87.8±5.01 | 60.98±13.36 |
2(%) | 46.3±2.09 | 60.95±2.84 | 75.28±1.8 | 76.52±0.46 | 79.69±1.07 | 78.68±1.24 | 74.4±0.75 | 80.08±2.04 |
3(%) | 45.38±1.04 | 55.46±4.56 | 64.44±3.88 | 56.72±4.39 | 61.98±4.93 | 63.86±4.77 | 61.98±4.59 | 68.54±3.55 |
4(%) | 32.86±10.59 | 45.77±3.33 | 54.93±4.52 | 69.48±4.32 | 53.05±4.92 | 61.5±4.57 | 66.2±4.79 | 56.34±5.05 |
5(%) | 77.93±4.35 | 87.01±2.45 | 83.52±2.01 | 83.07±3.69 | 94.02±1.96 | 88.28±2.12 | 86.21±1.47 | 86.21±1.47 |
6(%) | 89.95±2.05 | 94.37±0.54 | 96.25±1.09 | 92.24±1.63 | 89.35±1.85 | 91.63±1.36 | 96.65±1.11 | 96.65±1.39 |
7(%) | 32±4.99 | 49±6.56 | 70.67±18.86 | 58.67±19.14 | 88.00±5.92 | 76.00±3.27 | 88.00±6.53 | 68.00±21.92 |
8(%) | 84.42±1.43 | 95.12±1.58 | 98.29±1.16 | 97.21±0.95 | 98.60±1.01 | 99.77±0.96 | 96.98±1.16 | 97.21±1.52 |
9(%) | 11.11±6.98 | 25±12.11 | 27.78±9.07 | 37.04±22.38 | 83.33±11.79 | 16.67±13.61 | 50±13.61 | 33.33±15.20 |
10(%) | 28.46±2.65 | 68±3.58 | 76.61±2.38 | 69.26±1.63 | 77.03±1.57 | 78.63±1.36 | 77.83±1.75 | 75.43±2.21 |
11(%) | 75.69±2.84 | 77.35±1.72 | 80.01±0.67 | 77.59±0.74 | 82.07±0.88 | 77.59±0.67 | 82.8±0.96 | 79.90±1.61 |
12(%) | 52.43±6.9 | 53.79±6.53 | 75.97±3.29 | 72.47±4.38 | 73.41±1.78 | 77.34±2.02 | 84.27±1.08 | 61.24±4.54 |
13(%) | 96.2±7.14 | 94.16±3.18 | 95.47±1.02 | 91.49±2.23 | 94.57±0.71 | 98.91±0.77 | 99.46±0.77 | 95.65±1.39 |
14(%) | 91.12±1.19 | 94.84±1.2 | 94.17±0.77 | 93.67±0.76 | 95.87±0.82 | 93.23±0.89 | 96.49±0.9 | 95.96±1.19 |
15(%) | 23.63±7.78 | 47.69±3.78 | 48.41±1.84 | 59.65±1.93 | 56.77±3.58 | 59.94±4.11 | 50.14±2.12 | 57.93±4.74 |
16(%) | 60.71±0.97 | 83.63±3.89 | 77.78±8.49 | 84.52±4.45 | 89.29±9.01 | 67.86±7.92 | 79.76±9.03 | 83.33±4.64 |
AA(%) | 54.99±3.6 | 66.75±1.26 | 73.23±0.84 | 74.75±2.35 | 79.42±0.93 | 73.5±0.70 | 79.9±0.98 | 74.8±2.31 |
OA(%) | 63.63±1.36 | 73.89±0.88 | 79.72±0.82 | 78.57±0.64 | 81.27±0.39 | 80.22±0.44 | 81.72±0.43 | 80.5±0.51 |
Kappa | 0.579±0.016 | 0.701±0.001 | 0.768±0.009 | 0.755±0.007 | 0.786±0.44 | 0.774±0.005 | 0.791±0.004 | 0.778±0.005 |
从上表1中可以看出,本发明在在六类地物上具有最高的分类精度,且本发明的分类精度评价指标AA、OA以及Kappa均优于对比方法。这进一步证明了本发明效果的优异性。
综上,本发明利用高光谱遥感数据,通过关系注意力模块学习高光谱数据的全局关系特征,同时利用局部注意力学习模块保留了局部特征。通过学习到的注意力对高光谱图像进行加权,抑制不重要的波段以及噪声波段,增强重要波段。本发明利用信息熵、光谱角和相关系数构建波段选择指标,在加权后的高光谱图像中选择波段。本发明通过波段选择降低了高光谱遥感图像的数据量,同时降低了高光谱遥感图像后续处理应用的难度。
Claims (5)
1.一种基于全局关系感知注意力的高光谱图像波段选择方法,其特征在于,包括以下步骤:
步骤1、对原始高光谱图像数据进行分块处理:在原始高光谱图像中,将每个像素作为中心划分出h×w个子立方体X的大小为s×s×b,w、h、b分别为原始高光谱图像的宽、高和波段数;s×s×b中的s表示划分出的子立方体X的宽和高均为s;
步骤6、高光谱图像重建;
2.根据权利要求1所述基于全局关系感知注意力的高光谱图像波段选择方法,其特征在于,步骤2具体包括以下步骤:
步骤2.1、通过函数Fs(·)映射第m个空间特征与第n个空间特征之间的双向亲和关系:
RVm=[AMs(m,:),AMs(:,m)]
上式中,AMs(m,:)表示亲和力矩阵AMs的第m行,AMs(:,m)表示亲和力矩阵AMs的第m列;
得到子立方体X中所有空间特征的相关性向量集合:
上式中,m表示子立方体X中第m个空间特征,s×s表示所有空间特征的空间亲和力矩阵的行数和列数;
步骤2.3、获取空间特征的局部特征:
SF=CAT[(Ls),Ψs(RVs)]
上式中,CAT[·]为堆栈函数,Ψs(·)为转换函数;
步骤2.5、将堆栈之后的空间关系特征送入sigmoid层得到空间部分的注意力:
AS=Sigmoid(sa(SF;θsa))
上式中,Sigmoid(·)为激活函数,用于把输入数据映射到(0,1)的范围内;sa(·)用于学习空间部分的注意力权重;θsa为待训练的参数;SF表示堆栈之后的空间关系特征。
3.根据权利要求1所述基于全局关系感知注意力的高光谱图像波段选择方法,其特征在于,步骤3具体包括以下步骤:
步骤3.1、通过函数Fb(·)映射波段特征p与波段特征q之间的双向亲和关系:
RVp=[AMb(p,:),AMb(:,p)]
上式中,AMb(p,:)表示波段特征的亲和力矩阵AMb的第p行,AMb(:,p)表示波段特征的亲和力矩阵AMb的第p列;
得到子立方体X中所有波段特征的相关性向量集合:
上式中,p表示子立方体X中第p个波段特征,b表示构建的波段特征的亲和力矩阵维度是形式为b×b的二维;
步骤3.3、获取波段特征的局部特征:
BF=CAT[(Lb),Ψb(RVb)]
上式中,CAT[·]为堆栈函数;
步骤3.5、将堆栈之后的波段关系特征BF送入到sigmoid层得到波段部分的注意力:
Ab=Sigmoid(ba(BF;θba))
上式中,Sigmoid(·)为激活函数,用于把输入数据映射到(0,1)的范围内;ba(·)用于学习波段部分的注意力权重,θba为待训练的参数。
4.根据权利要求1所述基于全局关系感知注意力的高光谱图像波段选择方法,其特征在于,步骤6具体包括以下步骤:
步骤6.1、通过步骤5加权后的高光谱图像重建原始高光谱图像:
步骤6.2、构建损失函数评价高光谱图像的重建效果:
步骤6.3、利用随机梯度下降法对步骤6.2中的损失函数进行优化:
5.根据权利要求1所述基于全局关系感知注意力的高光谱图像波段选择方法,其特征在于,步骤7具体包括以下步骤:
上式中,bi为第i个波段,g表示第i个波段bi中的其中一个像元值,p(g)表示为bi的灰度直方图中g出现的概率;I(bi)指的是第i个波段bi的信息熵,IE(bi)表示归一化后的第i个波段bi的信息熵;
步骤7.2、计算波段bi和波段bj之间的光谱角SAM(bi,bj),将波段bi与其余波段光谱角的总和作为该波段的光谱角参数S(bi),并进行归一化得到SS(bi):
上式中,bi和bj分别为第i、第j个波段;SAM(bi,bj)为波段bi之间的波段bj的光谱角;S(bi)为波段bi与其他波段的光谱角的总和;SS(bi)为S(bi)归一化后的结果;
步骤7.3、计算波段bi和波段bj之间的相关系数corf(bi,bj),将波段bi与其余波段相关系数的总和作为该波段的相关系数参数C(bi),并进行归一化得到CC(bi):
步骤7.4、利用归一化之后的信息熵、光谱角和相关系数构建波段选择指标,并应用于经过步骤5加权后的高光谱图像中:
选择波段选择指标ISC值最大的前k个波段作为波段选择的结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110774474.1A CN113537239B (zh) | 2021-07-08 | 2021-07-08 | 一种基于全局关系感知注意力的高光谱图像波段选择方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110774474.1A CN113537239B (zh) | 2021-07-08 | 2021-07-08 | 一种基于全局关系感知注意力的高光谱图像波段选择方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113537239A CN113537239A (zh) | 2021-10-22 |
CN113537239B true CN113537239B (zh) | 2022-02-18 |
Family
ID=78098071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110774474.1A Active CN113537239B (zh) | 2021-07-08 | 2021-07-08 | 一种基于全局关系感知注意力的高光谱图像波段选择方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113537239B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115457311B (zh) * | 2022-08-23 | 2023-08-29 | 宁波大学 | 一种基于自表达迁移学习的高光谱遥感影像波段选择方法 |
CN116188946B (zh) * | 2023-04-24 | 2023-07-11 | 简阳市人民医院 | 一种基于神经网络的血糖浓度预测系统 |
CN117557917B (zh) * | 2024-01-11 | 2024-05-03 | 杭州海康威视数字技术股份有限公司 | 水质检测方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109376804A (zh) * | 2018-12-19 | 2019-02-22 | 中国地质大学(武汉) | 基于注意力机制和卷积神经网络高光谱遥感图像分类方法 |
CN111191514A (zh) * | 2019-12-04 | 2020-05-22 | 中国地质大学(武汉) | 一种基于深度学习的高光谱图像波段选择方法 |
CN112241765A (zh) * | 2020-10-26 | 2021-01-19 | 三亚中科遥感研究所 | 一种基于多尺度卷积和注意力机制的图像分类模型及方法 |
CN112836666A (zh) * | 2021-02-19 | 2021-05-25 | 河海大学 | 一种高光谱图像分类识别方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111563520B (zh) * | 2020-01-16 | 2023-01-13 | 北京航空航天大学 | 一种基于空间-光谱联合注意力机制的高光谱图像分类方法 |
CN112116065A (zh) * | 2020-08-14 | 2020-12-22 | 西安电子科技大学 | 一种rgb图像光谱重建方法、系统、存储介质及应用 |
CN112116563A (zh) * | 2020-08-28 | 2020-12-22 | 南京理工大学 | 一种基于谱维与空间协作邻域注意力的高光谱图像目标检测方法与系统 |
-
2021
- 2021-07-08 CN CN202110774474.1A patent/CN113537239B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109376804A (zh) * | 2018-12-19 | 2019-02-22 | 中国地质大学(武汉) | 基于注意力机制和卷积神经网络高光谱遥感图像分类方法 |
CN111191514A (zh) * | 2019-12-04 | 2020-05-22 | 中国地质大学(武汉) | 一种基于深度学习的高光谱图像波段选择方法 |
CN112241765A (zh) * | 2020-10-26 | 2021-01-19 | 三亚中科遥感研究所 | 一种基于多尺度卷积和注意力机制的图像分类模型及方法 |
CN112836666A (zh) * | 2021-02-19 | 2021-05-25 | 河海大学 | 一种高光谱图像分类识别方法 |
Non-Patent Citations (1)
Title |
---|
"Feedback Attention-Based Dense CNN for Hyperspectral Image Classification";Chunyan Yu etal.;《IEEE》;20210206;第1-16页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113537239A (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113537239B (zh) | 一种基于全局关系感知注意力的高光谱图像波段选择方法 | |
CN112232280B (zh) | 基于自编码器与3d深度残差网络的高光谱图像分类方法 | |
CN107316013B (zh) | 基于nsct变换和dcnn的高光谱图像分类方法 | |
US11875500B2 (en) | Failure diagnosis method for power transformer winding based on GSMallat-NIN-CNN network | |
CN111191514B (zh) | 一种基于深度学习的高光谱图像波段选择方法 | |
CN112200090B (zh) | 基于交叉分组空谱特征增强网络的高光谱图像分类方法 | |
US20230186606A1 (en) | Tensor Collaborative Graph Discriminant Analysis Method for Feature Extraction of Remote Sensing Images | |
Huang et al. | Hyperspectral image denoising with group sparse and low-rank tensor decomposition | |
CN108154094B (zh) | 基于子区间划分的高光谱图像非监督波段选择方法 | |
CN108197650B (zh) | 局部相似性保持的高光谱图像极限学习机聚类方法 | |
CN111310598B (zh) | 一种基于3维和2维混合卷积的高光谱遥感图像分类方法 | |
CN104299232B (zh) | 一种基于自适应窗方向波域和改进fcm的sar图像分割方法 | |
CN102938072A (zh) | 一种基于分块低秩张量分析的高光谱图像降维和分类方法 | |
CN115457311B (zh) | 一种基于自表达迁移学习的高光谱遥感影像波段选择方法 | |
CN107292258A (zh) | 基于双边加权调制与滤波的高光谱图像低秩表示聚类方法 | |
CN113139512B (zh) | 基于残差和注意力的深度网络高光谱影像分类方法 | |
CN115564996A (zh) | 一种基于注意力联合网络的高光谱遥感图像分类方法 | |
Paul et al. | Dimensionality reduction using band correlation and variance measure from discrete wavelet transformed hyperspectral imagery | |
CN116843975A (zh) | 结合空间金字塔注意力机制的高光谱图像分类方法 | |
CN107273919B (zh) | 一种基于置信度构造类属字典的高光谱无监督分类方法 | |
CN110674848A (zh) | 联合稀疏表示与二部图分割的高维数据联合聚类方法 | |
CN113052130B (zh) | 基于深度残差网络和边缘保护滤波的高光谱影像分类方法 | |
CN105719323A (zh) | 一种基于优化图谱理论的高光谱降维方法 | |
CN109460788B (zh) | 基于低秩-稀疏信息组合网络的高光谱图像分类方法 | |
CN110516727B (zh) | 基于fpga深度边缘滤波器的高光谱图像分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |