CN112200090B - 基于交叉分组空谱特征增强网络的高光谱图像分类方法 - Google Patents
基于交叉分组空谱特征增强网络的高光谱图像分类方法 Download PDFInfo
- Publication number
- CN112200090B CN112200090B CN202011084356.XA CN202011084356A CN112200090B CN 112200090 B CN112200090 B CN 112200090B CN 202011084356 A CN202011084356 A CN 202011084356A CN 112200090 B CN112200090 B CN 112200090B
- Authority
- CN
- China
- Prior art keywords
- grouping
- spectral
- channel
- cross
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N2021/1793—Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biochemistry (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于交叉分组空谱特征增强网络的高光谱图像分类方法,包括:1)光谱特征交叉分组;2)多通道分组光谱特征提取;3)空间特征交叉分组;4)分组空间特征提取;5)光谱‑空间通道信息交互;6)高光谱图像像元分类。这种方法利用光谱‑空间特征信息,分别对光谱特征和空间特征进行交叉分组和特征提取操作,能有效减弱相邻光谱间相关性;采用通道自注意力和像素位置自注意力操作对交叉分组得到的特征进行增强,对空间特征和光谱特征进行信息交互及融合,将融合后特征用于分类,能够提高网络分类性能。
Description
技术领域
本发明涉及智能图像处理技术领域,具体是一种基于交叉分组光谱-空间特征增强与融合网络的高光谱图像分类方法。
背景技术
高光谱遥感图像(Hyperspectral image,简称HSI)同时具有空间信息与光谱信息的特点,使得其在地物分类、目标分割与识别、动态目标追踪等研究领域具有非常大的应用价值。目前已经广泛应用于农业检测、矿物勘探、安全监测和环境科学等领域。高光谱遥感图像的分类研究是高光谱图像信息提取的重要手段之一,是高光谱研究技术的基础,通过划分不同地物各个光谱波段的差异来对每个像素点进行类别的区分。
在传统的机器学习高光谱图像分类方法,如线性支持向量机Line-SVM,贝叶斯模型(Bayes Model),随机森林(Random forest)等在高光谱遥感图像分类中的缺陷是无法使用高光谱遥感图像的空间特征,所提取的高光谱图像特征的不变性及判别性较差。近年来,随着深度学习方法在高光谱图像分类中广泛应用,大大提升了高光谱图像的分类性能。Zhong等人利用3D-CNN构建残差网络(ResNets)提出了一种光谱-空间残差网络(Spectral–Spatial Residual Network for Hyperspectral Image Classification,简称SSRN),它包含光谱残差块和空间残差块,直接从空间尺寸为7×7×200的原始高光谱数据块,以顺序提取光谱特征和空间特征;Zhou等人提出了光谱-空间长短期记忆网络(Hyperspectralimage classification using spectral-spatial LSTMs,简称SSLSTMs),将高光谱图像的光谱带看作图像序列,使用长短期记忆网络提取相邻光谱之间的上下文特征,同时将空间特征行向量转化为序列使用长短期记忆网络提取空间特征;Zhang等人提出了一种基于多尺度密集网络的高光谱图像分类方法(Multi-Scale Dense Networks for HyperspectralRemote Sensing Image Classification,简称MSDN),利用3D-CNN构建多尺度密集网络模型,利用了网络结构中的不同尺度信息,并对不同层次的特征进行聚合,同时提取空间-光谱特征。
尽管这些基于深度学习的高光谱图像分类方法在分类性能的提高上均有显著成效,但仍有不足之处。首先,由于高光谱图像光谱波段多、数据量大,直接使用原始高光谱数据块作为模型的输入,容易出现维数灾难;其次,三维CNN相对二维CNN计算复杂度高,构建深层三维CNN分类模型容易出现过拟合问题,无法提取更深层次的特征;最后,这些方法在提取光谱特征时没有考虑到高光谱图像相邻光谱间相关性较强的问题,忽略了对光谱维的处理。
发明内容
本发明的目的是针对现有技术的不足,而提供一种基于交叉分组空谱特征增强网络的高光谱图像分类方法。这种方法利用光谱-空间特征信息,分别对光谱特征和空间特征进行交叉分组和特征提取操作,能有效减弱相邻光谱间相关性;采用通道自注意力和像素位置自注意力操作对交叉分组得到的特征进行增强,对空间特征和光谱特征进行信息交互及融合,将融合后特征用于分类,能够提高网络分类性能。
实现本发明目的的技术方案是:
一种基于交叉分组空谱特征增强网络的高光谱图像分类方法,与现有技术不同的是,包括如下步骤:
2)多通道分组光谱特征提取:将分组光谱特征输入第一多通道分组光谱通道模型进行分组卷积、卷积和批量归一化光谱特征操作Fspe,得到光谱特征并采用通道自注意力模块对sn′进行增强操作Fca,得到增强后的光谱特征Sn=Fca(sn′),最后将Sn输入全连接层获得光谱通道的输出特征其中,K为全连接层的神经元个数;
3)空间特征交叉分组:对高光谱图像每个波段在空间维上进行归一化处理,并进行交叉分组降维操作Fpg,得到分组降维空间特征其中,h和w为高光谱图像空间维的长宽尺寸,压缩后的光谱维数为k′=g×kg,k′<<B,kg为每组降维后的光谱维,g为分组组数;
4)分组空间特征提取:选取分组降维空间特征PGPCA中与第二多通道分组光谱通道模型输入相对应的第n个像素邻域块作为空间通道的输入,进行卷积和批量归一化操作Fspa,得到空间特征并采用像素位置自注意力模块对进行增强操作Fpa,得到增强后的空间特征最后将Pn输入全连接层获得空间通道的输出特征空间通道特征维数与光谱通道特征维数相同,其中W为空间邻域块的长宽尺寸;
5)光谱-空间通道信息交互:将步骤3)和步骤4)所提取的增强光谱特征Sn与增强空间特征Pn进行全局平均池化信息交互操作:Sn与Pn进行点乘得到M(x),M(x)再与Sn和Pn相加后进行全局平均池化操作,得到交互特征
6)高光谱图像像元分类:将步骤3)、步骤4)和步骤5)所提取的特征F1(Sn)、F2(Pn)和J(x)进行特征融合并传入顶端softmax线性分类器对每个像元进行分类。
步骤1)中所述的交叉分组整形操作Fsg过程为:
2-1)对在光谱维归一化后的高光谱图像的第n个像素的光谱带进行交叉分组得到分组光谱:其中B为光谱带长度,bi表示第i个光谱,x(i)表示第i组的光谱矢量,g表示分组组数,表示向下取整,即m表示每一组光谱带数量,则光谱被划分为sn=[x(1),x(2),...,x(i),...,x(g)];
步骤2)中所述的第一多通道分组光谱通道模型为:设定分组光谱特征的分组数为分组卷积模块通道数,完成分组光谱多通道卷积操作,其中一个支路设有卷积核大小为n1×1分组卷积模块和两个卷积层、每个卷积层后紧接着批量标准化层,另一支路设有卷积核大小为n2×1分组卷积模块和两个卷积层、每个卷积层后紧接着批量标准化层。
步骤2)中所述的通道自注意力模块针对光谱特征增强过程为:
通道自注意力模块首先将输入步骤2)中所提取到的光谱特征进行重新整形操作,分别生成新的三个特征图和N=W×1,然后将V(x)进行矩阵转置操作与K(x)进行矩阵乘法操作,并采用softmax层依据公式(1)计算通道相似矩阵
其中,Zj,i表示第i个通道对第j个通道的影响,两个位置的通道越相似,其响应值越大,它们之间的关联性就越大,将通道相似矩阵Zj,i与O(x)进行矩阵乘法操作得到特征再将得到的特征FZO(x)进行重新整型操作,将结果乘以权重β,β从0开始训练,最后与通道注意力模块的输入特征Fspe(x)进行逐元素相加,最后得到通道注意力特征Fca(x),由公式(2)表示:
步骤3)中所述的交叉分组降维操作Fpg过程为:
步骤4)中所述的第二多通道分组光谱通道模型为:分组空间通道由两支路不同2D核的卷积神经网络组成,其中一个支路有3个卷积核大小为n1×n1卷积层,另一支路有3个卷积核大小为n2×n2卷积层,每个卷积层后紧接着批量标准化层,这样能提取高光谱空间多尺度特征。
位置自注意力模块首先将输入步骤4)中所提取到的空间特征进行卷积操作和重新整形操作,分别生成新的三个特征图和N=W×W,将A(x)进行矩阵转置操作与E(x)进行矩阵乘法操作,并采用softmax层依据公式(3)计算位置像素相似矩阵
其中,Hj,i表示第i个位置像素对第j个位置像素的影响,两个位置的像素越相似,其响应值越大,它们之间的关联性就越大,将T(x)与位置像素相似矩阵Hj,i进行矩阵乘法操作得到特征将得到的特征FHT(x)进行重新整型操作,将结果乘以权重α,α从0开始训练,最后与位置注意力模块的输入特征Fspa(x)进行逐元素相加,得到最后的位置注意力特征Fpa(x),由公式(4)表示:
步骤5)中所述的全局平均池化信息交互操作过程为:
5-1)增强光谱特征Sn与增强空间特征Pn进行点乘,依据公式(5):
M(x)=Sn*Pn (5);
5-2)点乘结果M(x)与Sn和Pn进行相加依据公式(6):
U(x)=M(x)+Sn+Pn (6);
本技术方案,有效解决了高光谱图像波段数多,相邻光谱波段之间相关性强,及信息冗余容易产生维数灾难和过拟合的问题:
(1)利用多通道分组光谱通道单独处理交叉分组整型后的光谱信息,分组卷积构成多通道结构,每个通道对应一部分谱段进行卷积操作,可以减少计算量,通道注意力模块通过光谱特征之间的依赖性进行建模,有助于提高特征的可辨性,能够有效减弱相邻光谱间相关性;
(2)对高光谱图像进行交叉分组降维操作,使提取到丰富的空间信息的同时,能减弱对因常规降维操作对光谱信息的损害,利用分组空间通道单独提取空间信息,位置注意力模块丰富了每个像元的全局上下文信息,提高了特征类内紧凑性和可判别性;
(3)对光谱特征和空间特征进行通道信息交互融合,互补了光谱-空间信息,增加了特征多样性,并与光谱特征和空间特征级联,提高了网络的分类性能。
这种方法不仅能解决因高光谱图像分类时因相邻光谱波段之间相关性强,导致的分类错分,因波段数多,信息冗余容易产生维数灾难和过拟合的问题,提高了高光谱图像分类性能。
附图说明
图1为实施例的方法流程示意图;
图2为实施例中分类模型的结构原理示意图;
图3为实施例中交叉分组操作和自注意力模块对网络性能的影响示意图。
具体实施方式
下面结合附图和实施例对本发明内容作进一步的说明,但不是对本发明的限定。
实施例:
参照图1,一种基于交叉分组空谱特征增强网络的高光谱图像分类方法,包括如下步骤:
2)多通道分组光谱特征提取:参照图2,将分组光谱特征输入第一多通道分组光谱通道模型进行分组卷积、卷积和批量归一化光谱特征操作Fspe,得到光谱特征并采用通道自注意力模块对sn′进行增强操作Fca,得到增强后的光谱特征Sn=Fca(sn′),最后将Sn输入全连接层获得光谱通道的输出特征其中,K为全连接层的神经元个数;
3)空间特征交叉分组:对高光谱图像每个波段在空间维上进行归一化处理,并进行交叉分组降维操作Fpg,得到分组降维空间特征其中,h和w为高光谱图像空间维的长宽尺寸,压缩后的光谱维数为k′=g×kg,k′<<B,kg为每组降维后的光谱维,g为分组组数;
4)分组空间特征提取:选取分组降维空间特征PGPCA中与第二多通道分组光谱通道模型输入相对应的第n个像素邻域块作为空间通道的输入,进行卷积和批量归一化操作Fspa,得到空间特征并采用像素位置自注意力模块对进行增强操作Fpa,得到增强后的空间特征最后将Pn输入全连接层获得空间通道的输出特征空间通道特征维数与光谱通道特征维数相同,其中W为空间邻域块的长宽尺寸;
5)光谱-空间通道信息交互:将步骤3)和步骤4)所提取的增强光谱特征Sn与增强空间特征Pn进行全局平均池化信息交互操作:Sn与Pn进行点乘得到M(x),M(x)再与Sn和Pn相加后进行全局平均池化操作,得到交互特征
6)高光谱图像像元分类:将步骤3)、步骤4)和步骤5)所提取的特征F1(Sn)、F2(Pn)和J(x)进行特征融合并传入顶端softmax线性分类器对每个像元进行分类。
步骤1)中所述的交叉分组整形操作Fsg过程为:
2-1)对在光谱维归一化后的高光谱图像的第n个像素的光谱带进行交叉分组得到分组光谱:其中B为光谱带长度,bi表示第i个光谱,x(i)表示第i组的光谱矢量,g表示分组组数,表示向下取整,即m表示每一组光谱带数量,则光谱被划分为sn=[x(1),x(2),...,x(i),...,x(g)];
步骤2)中所述的第一多通道分组光谱通道模型为:设定分组光谱特征的分组数为分组卷积模块通道数,完成分组光谱多通道卷积操作,其中一个支路设有卷积核大小为n1×1分组卷积模块和两个卷积层、每个卷积层后紧接着批量标准化层,另一支路设有卷积核大小为n2×1分组卷积模块和两个卷积层、每个卷积层后紧接着批量标准化层。
步骤2)中所述的通道自注意力模块针对光谱特征增强过程为:
通道自注意力模块首先将输入步骤2)中所提取到的光谱特征进行重新整形操作,分别生成新的三个特征图和N=W×1,然后将V(x)进行矩阵转置操作与K(x)进行矩阵乘法操作,并采用softmax层依据公式(1)计算通道相似矩阵
其中,Zj,i表示第i个通道对第j个通道的影响,两个位置的通道越相似,其响应值越大,它们之间的关联性就越大,将通道相似矩阵Zj,i与O(x)进行矩阵乘法操作得到特征再将得到的特征FZO(x)进行重新整型操作,将结果乘以权重β,β从0开始训练,最后与通道注意力模块的输入特征Fspe(x)进行逐元素相加,最后得到通道注意力特征Fca(x),由公式(2)表示:
步骤3)中所述的交叉分组降维操作Fpg过程为:
3-1)对在空间维归一化后的高光谱图像进行与步骤1)相同的交叉分组操作,高光谱图像由原来的重新分组为P=[P1,P2,...,PG],其中G=1,2,...,g,h和w分别为高光谱原图像的长和宽,每一组空间可以表示为:
P1=[p1,p1+g,...,p1+g(m-1)]
P2=[p2,p2+g,...,p2+g(m-1)]
Pi=[pi,pi+g,...,pi+g(m-1)]
...
Pg=[pg,p2g,...,pgm]
pi表示第i个波段对应的高光谱空间数据,将其交叉划分为g组;
步骤4)中所述的第二多通道分组光谱通道模型为:分组空间通道由两支路不同2D核的卷积神经网络组成,其中一个支路有3个卷积核大小为n1×n1卷积层,另一支路有3个卷积核大小为n2×n2卷积层,每个卷积层后紧接着批量标准化层,这样能提取高光谱空间多尺度特征。
位置自注意力模块首先将输入步骤4)中所提取到的空间特征进行卷积操作和重新整形操作,分别生成新的三个特征图和N=W×W,将A(x)进行矩阵转置操作与E(x)进行矩阵乘法操作,并采用softmax层依据公式(3)计算位置像素相似矩阵
其中,Hj,i表示第i个位置像素对第j个位置像素的影响,两个位置的像素越相似,其响应值越大,它们之间的关联性就越大,将T(x)与位置像素相似矩阵Hj,i进行矩阵乘法操作得到特征将得到的特征FHT(x)进行重新整型操作,将结果乘以权重α,α从0开始训练,最后与位置注意力模块的输入特征Fspa(x)进行逐元素相加,得到最后的位置注意力特征Fpa(x),由公式(4)表示:
公式(4)结果表示了每个位置结果的空间特征是所有位置的空间特征和原始空间特征的加权和,因此,它具有丰富的全局上下文信息,并根据空间注意特征有选择性地聚合上下文信息,具有相似语义的空间特征实现了信息互补,从而提高了类内紧凑性和特征可判别性。
步骤5)中所述的全局平均池化信息交互操作过程为:
5-1)增强光谱特征Sn与增强空间特征Pn进行点乘,依据公式(5):
M(x)=Sn*Pn (5);
5-2)点乘结果M(x)与Sn和Pn进行相加依据公式(6):
U(x)=M(x)+Sn+Pn (6);
如图3所示,将本例的方法在图中用“GSSAMIF-Net”表示,与仅移除空间通道的网络-简称GSCA-Net;仅移除光谱通道的网络-简称SFPA-Net,无分组交叉操作的光谱-空间双通道网络-简称SSAMIF-Net,以及移除通道自注意力模块和位置自注意力模块的网络-简称GSSF-Net,在数据集Indian Pines上比较四个方法对总体分类精度(Overallaccuracy,OA)和Kappa系数的作用,本例的方法与SSAMIF-Net的OA和Kappa系数比GSCA-Net和SFPA-Net要高,说明光谱-空间双通道网络能够充分利用光谱空间特征。本例的方法比SSAMIF-Net的OA和Kappa系数分别提高了0.6%和0.69%,也就是说本例方法有效减弱高光谱图像相邻光谱波段之间相关性较强的问题,本例的方法比GSSF-Net的OA和Kappa系数分别提高了0.33%和0.34%,说明通道注意力模块和位置注意力模块能分别增强光谱特征和空间特征,提高特征判别性从而提高了模型的分类性能。
Claims (8)
1.基于交叉分组空谱特征增强网络的高光谱图像分类方法,其特征在于,包括如下步骤:
2)多通道分组光谱特征提取:将分组光谱特征输入第一多通道分组光谱通道模型进行分组卷积、卷积和批量归一化光谱特征操作Fspe,得到光谱特征并采用通道自注意力模块对sn′进行增强操作Fca,得到增强后的光谱特征Sn=Fca(sn′),最后将Sn输入全连接层获得光谱通道的输出特征其中,K为全连接层的神经元个数;
3)空间特征交叉分组:对高光谱图像每个波段在空间维上进行归一化处理,并进行交叉分组降维操作Fpg,得到分组降维空间特征其中,h和w为高光谱图像空间维的长宽尺寸,压缩后的光谱维数为k′=g×kg,k′<<B,kg为每组降维后的光谱维,g为分组组数;
4)分组空间特征提取:选取分组降维空间特征PGPCA中与第二多通道分组光谱通道模型输入相对应的第n个像素邻域块作为空间通道的输入,进行卷积和批量归一化操作Fspa,得到空间特征并采用像素位置自注意力模块对进行增强操作Fpa,得到增强后的空间特征最后将Pn输入全连接层获得空间通道的输出特征空间通道特征维数与光谱通道特征维数相同,其中W为空间邻域块的长宽尺寸;
5)光谱-空间通道信息交互:将步骤3)和步骤4)所提取的增强光谱特征Sn与增强空间特征Pn进行全局平均池化信息交互操作:Sn与Pn进行点乘得到M(x),M(x)再与Sn和Pn相加后进行全局平均池化操作,得到交互特征
6)高光谱图像像元分类:将步骤3)、步骤4)和步骤5)所提取的特征F1(Sn)、F2(Pn)和J(x)进行特征融合并传入顶端softmax线性分类器对每个像元进行分类。
3.根据权利要求1所述的基于交叉分组空谱特征增强网络的高光谱图像分类方法,其特征在于,步骤2)中所述的第一多通道分组光谱通道模型为:设定分组光谱特征的分组数为分组卷积模块通道数,完成分组光谱多通道卷积操作,其中一个支路设有卷积核大小为n1×1分组卷积模块和两个卷积层、每个卷积层后紧接着批量标准化层,另一支路设有卷积核大小为n2×1分组卷积模块和两个卷积层、每个卷积层后紧接着批量标准化层。
4.根据权利要求1所述的基于交叉分组空谱特征增强网络的高光谱图像分类方法,其特征在于,步骤2)中所述的通道自注意力模块针对光谱特征增强过程为:
通道自注意力模块首先将输入步骤2)中所提取到的光谱特征进行重新整形操作,分别生成新的三个特征图和然后将V(x)进行矩阵转置操作与K(x)进行矩阵乘法操作,并采用softmax层依据公式(1)计算通道相似矩阵
其中,Zj,i表示第i个通道对第j个通道的影响,将通道相似矩阵Zj,i与O(x)进行矩阵乘法操作得到特征再将得到的特征FZO(x)进行重新整型操作,将结果乘以权重β,β从0开始训练,最后与通道注意力模块的输入特征Fspe(x)进行逐元素相加,最后得到通道注意力特征Fca(x),由公式(2)表示:
6.根据权利要求1所述的基于交叉分组空谱特征增强网络的高光谱图像分类方法,其特征在于,步骤4)中所述的第二多通道分组光谱通道模型为:分组空间通道由两支路不同2D核的卷积神经网络组成,其中一个支路有3个卷积核大小为n1×n1卷积层,另一支路有3个卷积核大小为n2×n2卷积层,每个卷积层后紧接着批量标准化层。
位置自注意力模块首先将输入步骤4)中所提取到的空间特征进行卷积操作和重新整形操作,分别生成新的三个特征图和将A(x)进行矩阵转置操作与E(x)进行矩阵乘法操作,并采用softmax层依据公式(3)计算位置像素相似矩阵
其中,Hj,i表示第i个位置像素对第j个位置像素的影响,将T(x)与位置像素相似矩阵Hj,i进行矩阵乘法操作得到特征将得到的特征FHT(x)进行重新整型操作,将结果乘以权重α,α从0开始训练,最后与位置注意力模块的输入特征Fspa(x)进行逐元素相加,得到最后的位置注意力特征Fpa(x),由公式(4)表示:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011084356.XA CN112200090B (zh) | 2020-10-12 | 2020-10-12 | 基于交叉分组空谱特征增强网络的高光谱图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011084356.XA CN112200090B (zh) | 2020-10-12 | 2020-10-12 | 基于交叉分组空谱特征增强网络的高光谱图像分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112200090A CN112200090A (zh) | 2021-01-08 |
CN112200090B true CN112200090B (zh) | 2022-07-01 |
Family
ID=74012797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011084356.XA Active CN112200090B (zh) | 2020-10-12 | 2020-10-12 | 基于交叉分组空谱特征增强网络的高光谱图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112200090B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113281323B (zh) * | 2021-06-29 | 2024-01-26 | 集美大学 | 一种复杂体系中有机污染物特征信息提取方法及其快速检测方法、系统 |
CN113781466B (zh) * | 2021-09-22 | 2024-01-19 | 河北工业大学 | 基于多尺度注意力密集网络的太阳能电池板缺陷识别方法 |
CN113887645B (zh) * | 2021-10-13 | 2024-02-13 | 西北工业大学 | 一种基于联合注意力孪生网络的遥感图像融合分类方法 |
CN113920323B (zh) * | 2021-11-18 | 2023-04-07 | 西安电子科技大学 | 基于语义图注意力网络的不同混乱度高光谱图像分类方法 |
CN114742985A (zh) * | 2022-03-17 | 2022-07-12 | 苏州大学 | 一种高光谱特征提取方法、装置及存储介质 |
CN114943893B (zh) * | 2022-04-29 | 2023-08-18 | 南京信息工程大学 | 一种土地覆盖分类的特征增强方法 |
CN114863173B (zh) * | 2022-05-06 | 2023-06-23 | 南京审计大学 | 一种面向土地资源审计的自互注意力高光谱图像分类方法 |
CN116051896B (zh) * | 2023-01-28 | 2023-06-20 | 西南交通大学 | 一种轻量化混合张量神经网络的高光谱图像分类方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107180248A (zh) * | 2017-06-12 | 2017-09-19 | 桂林电子科技大学 | 基于联合损失增强网络的高光谱图像分类方法 |
CN110110596A (zh) * | 2019-03-29 | 2019-08-09 | 西北大学 | 高光谱图像特征提取、分类模型构建及分类方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108596248B (zh) * | 2018-04-23 | 2021-11-02 | 上海海洋大学 | 一种基于改进深度卷积神经网络的遥感影像分类方法 |
US11257213B2 (en) * | 2018-10-25 | 2022-02-22 | Koninklijke Philips N.V. | Tumor boundary reconstruction using hyperspectral imaging |
CN111079544B (zh) * | 2019-11-21 | 2022-09-16 | 湖南理工学院 | 一种基于加权联合最近邻的多任务稀疏表示检测方法 |
CN111062403B (zh) * | 2019-12-26 | 2022-11-22 | 哈尔滨工业大学 | 基于一维组卷积神经网络的高光谱遥感数据深度光谱特征提取方法 |
CN111353531B (zh) * | 2020-02-25 | 2023-03-28 | 西安电子科技大学 | 基于奇异值分解和空谱域注意力机制高光谱图像分类方法 |
CN111667489B (zh) * | 2020-04-30 | 2022-04-05 | 华东师范大学 | 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统 |
CN111652330B (zh) * | 2020-08-05 | 2020-11-13 | 深圳市优必选科技股份有限公司 | 图像处理方法、装置、系统、电子设备及可读存储介质 |
-
2020
- 2020-10-12 CN CN202011084356.XA patent/CN112200090B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107180248A (zh) * | 2017-06-12 | 2017-09-19 | 桂林电子科技大学 | 基于联合损失增强网络的高光谱图像分类方法 |
CN110110596A (zh) * | 2019-03-29 | 2019-08-09 | 西北大学 | 高光谱图像特征提取、分类模型构建及分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112200090A (zh) | 2021-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112200090B (zh) | 基于交叉分组空谱特征增强网络的高光谱图像分类方法 | |
CN110321963B (zh) | 基于融合多尺度多维空谱特征的高光谱图像分类方法 | |
CN111274869B (zh) | 基于并行注意力机制残差网进行高光谱图像分类的方法 | |
CN108830296B (zh) | 一种改进的基于深度学习的高分遥感影像分类方法 | |
CN111695467B (zh) | 基于超像素样本扩充的空谱全卷积高光谱图像分类方法 | |
Cui et al. | LiteDepthwiseNet: A lightweight network for hyperspectral image classification | |
CN111259828B (zh) | 基于高分辨率遥感图像多特征的识别方法 | |
CN107451565B (zh) | 一种半监督小样本深度学习图像模式分类识别方法 | |
CN107239759B (zh) | 一种基于深度特征的高空间分辨率遥感图像迁移学习方法 | |
CN112347888B (zh) | 基于双向特征迭代融合的遥感图像场景分类方法 | |
CN108491849A (zh) | 基于三维稠密连接卷积神经网络的高光谱图像分类方法 | |
CN110348357B (zh) | 一种基于深度卷积神经网络的快速目标检测方法 | |
CN111310598B (zh) | 一种基于3维和2维混合卷积的高光谱遥感图像分类方法 | |
CN108038501B (zh) | 基于多模态压缩双线性池化的高光谱图像分类方法 | |
CN113139512B (zh) | 基于残差和注意力的深度网络高光谱影像分类方法 | |
CN109190511B (zh) | 基于局部与结构约束低秩表示的高光谱分类方法 | |
CN111814685A (zh) | 基于双支路卷积自编码器的高光谱图像分类方法 | |
CN114694039B (zh) | 一种遥感高光谱与激光雷达图像融合分类方法及装置 | |
CN113537239B (zh) | 一种基于全局关系感知注意力的高光谱图像波段选择方法 | |
CN113052216A (zh) | 基于双路图u-net卷积网络的溢油高光谱图像检测方法 | |
CN116977723A (zh) | 基于空间-光谱混合自注意力机制的高光谱图像分类方法 | |
CN114596463A (zh) | 一种基于图像的地块类型分类方法 | |
CN113052130B (zh) | 基于深度残差网络和边缘保护滤波的高光谱影像分类方法 | |
CN109145950B (zh) | 一种基于图信号采样的高光谱图像主动学习方法 | |
DOUTOUM et al. | Classification of Guava Leaf Disease using Deep Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |