CN112200090B - 基于交叉分组空谱特征增强网络的高光谱图像分类方法 - Google Patents

基于交叉分组空谱特征增强网络的高光谱图像分类方法 Download PDF

Info

Publication number
CN112200090B
CN112200090B CN202011084356.XA CN202011084356A CN112200090B CN 112200090 B CN112200090 B CN 112200090B CN 202011084356 A CN202011084356 A CN 202011084356A CN 112200090 B CN112200090 B CN 112200090B
Authority
CN
China
Prior art keywords
grouping
spectral
channel
cross
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011084356.XA
Other languages
English (en)
Other versions
CN112200090A (zh
Inventor
林乐平
李祖锋
欧阳宁
莫建文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202011084356.XA priority Critical patent/CN112200090B/zh
Publication of CN112200090A publication Critical patent/CN112200090A/zh
Application granted granted Critical
Publication of CN112200090B publication Critical patent/CN112200090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793—Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于交叉分组空谱特征增强网络的高光谱图像分类方法，包括：1）光谱特征交叉分组；2）多通道分组光谱特征提取；3）空间特征交叉分组；4）分组空间特征提取；5）光谱‑空间通道信息交互；6）高光谱图像像元分类。这种方法利用光谱‑空间特征信息，分别对光谱特征和空间特征进行交叉分组和特征提取操作，能有效减弱相邻光谱间相关性；采用通道自注意力和像素位置自注意力操作对交叉分组得到的特征进行增强，对空间特征和光谱特征进行信息交互及融合，将融合后特征用于分类，能够提高网络分类性能。

Description

基于交叉分组空谱特征增强网络的高光谱图像分类方法
技术领域
本发明涉及智能图像处理技术领域，具体是一种基于交叉分组光谱-空间特征增强与融合网络的高光谱图像分类方法。
背景技术
高光谱遥感图像(Hyperspectral image,简称HSI)同时具有空间信息与光谱信息的特点，使得其在地物分类、目标分割与识别、动态目标追踪等研究领域具有非常大的应用价值。目前已经广泛应用于农业检测、矿物勘探、安全监测和环境科学等领域。高光谱遥感图像的分类研究是高光谱图像信息提取的重要手段之一，是高光谱研究技术的基础，通过划分不同地物各个光谱波段的差异来对每个像素点进行类别的区分。
在传统的机器学习高光谱图像分类方法，如线性支持向量机Line-SVM，贝叶斯模型(Bayes Model)，随机森林(Random forest)等在高光谱遥感图像分类中的缺陷是无法使用高光谱遥感图像的空间特征，所提取的高光谱图像特征的不变性及判别性较差。近年来，随着深度学习方法在高光谱图像分类中广泛应用，大大提升了高光谱图像的分类性能。Zhong等人利用3D-CNN构建残差网络(ResNets)提出了一种光谱-空间残差网络(Spectral–Spatial Residual Network for Hyperspectral Image Classification，简称SSRN)，它包含光谱残差块和空间残差块，直接从空间尺寸为7×7×200的原始高光谱数据块，以顺序提取光谱特征和空间特征；Zhou等人提出了光谱-空间长短期记忆网络(Hyperspectralimage classification using spectral-spatial LSTMs，简称SSLSTMs)，将高光谱图像的光谱带看作图像序列,使用长短期记忆网络提取相邻光谱之间的上下文特征，同时将空间特征行向量转化为序列使用长短期记忆网络提取空间特征；Zhang等人提出了一种基于多尺度密集网络的高光谱图像分类方法(Multi-Scale Dense Networks for HyperspectralRemote Sensing Image Classification，简称MSDN),利用3D-CNN构建多尺度密集网络模型，利用了网络结构中的不同尺度信息，并对不同层次的特征进行聚合，同时提取空间-光谱特征。
尽管这些基于深度学习的高光谱图像分类方法在分类性能的提高上均有显著成效，但仍有不足之处。首先，由于高光谱图像光谱波段多、数据量大，直接使用原始高光谱数据块作为模型的输入，容易出现维数灾难；其次，三维CNN相对二维CNN计算复杂度高，构建深层三维CNN分类模型容易出现过拟合问题，无法提取更深层次的特征；最后，这些方法在提取光谱特征时没有考虑到高光谱图像相邻光谱间相关性较强的问题，忽略了对光谱维的处理。
发明内容
本发明的目的是针对现有技术的不足，而提供一种基于交叉分组空谱特征增强网络的高光谱图像分类方法。这种方法利用光谱-空间特征信息，分别对光谱特征和空间特征进行交叉分组和特征提取操作，能有效减弱相邻光谱间相关性；采用通道自注意力和像素位置自注意力操作对交叉分组得到的特征进行增强，对空间特征和光谱特征进行信息交互及融合，将融合后特征用于分类，能够提高网络分类性能。
实现本发明目的的技术方案是：
一种基于交叉分组空谱特征增强网络的高光谱图像分类方法，与现有技术不同的是，包括如下步骤：
1)光谱特征交叉分组：对高光谱图像中每个像素点的光谱维进行归一化处理，对第n个像素的光谱带进行交叉分组整形操作Fsg，得到的分组光谱特征为
Figure GDA0003656787710000021
2)多通道分组光谱特征提取：将分组光谱特征
Figure GDA0003656787710000022
输入第一多通道分组光谱通道模型进行分组卷积、卷积和批量归一化光谱特征操作Fspe，得到光谱特征
Figure GDA0003656787710000023
并采用通道自注意力模块对sn′进行增强操作Fca，得到增强后的光谱特征Sn＝Fca(sn′)，最后将Sn输入全连接层获得光谱通道的输出特征
Figure GDA0003656787710000024
其中，K为全连接层的神经元个数；
3)空间特征交叉分组：对高光谱图像每个波段在空间维上进行归一化处理，并进行交叉分组降维操作Fpg，得到分组降维空间特征
Figure GDA0003656787710000025
其中，h和w为高光谱图像空间维的长宽尺寸，压缩后的光谱维数为k′＝g×kg，k′＜＜B，kg为每组降维后的光谱维，g为分组组数；
4)分组空间特征提取：选取分组降维空间特征PGPCA中与第二多通道分组光谱通道模型输入相对应的第n个像素邻域块
Figure GDA0003656787710000026
作为空间通道的输入，进行卷积和批量归一化操作Fspa，得到空间特征
Figure GDA0003656787710000027
并采用像素位置自注意力模块对
Figure GDA0003656787710000028
进行增强操作Fpa，得到增强后的空间特征
Figure GDA0003656787710000029
最后将Pn输入全连接层获得空间通道的输出特征
Figure GDA00036567877100000210
空间通道特征维数与光谱通道特征维数相同，其中W为空间邻域块的长宽尺寸；
5)光谱-空间通道信息交互：将步骤3)和步骤4)所提取的增强光谱特征Sn与增强空间特征Pn进行全局平均池化信息交互操作：Sn与Pn进行点乘得到M(x)，M(x)再与Sn和Pn相加后进行全局平均池化操作，得到交互特征
Figure GDA00036567877100000211
6)高光谱图像像元分类：将步骤3)、步骤4)和步骤5)所提取的特征F1(Sn)、F2(Pn)和J(x)进行特征融合并传入顶端softmax线性分类器对每个像元进行分类。
步骤1)中所述的交叉分组整形操作Fsg过程为：
2-1)对在光谱维归一化后的高光谱图像的第n个像素的光谱带
Figure GDA0003656787710000031
进行交叉分组得到分组光谱：
Figure GDA0003656787710000032
其中B为光谱带长度，bi表示第i个光谱，x(i)表示第i组的光谱矢量，g表示分组组数，
Figure GDA0003656787710000033
表示向下取整，即m表示每一组光谱带数量，则光谱被划分为sn＝[x(1),x(2),...,x(i),...,x(g)]；
2-2)对sn进行重新整形操作，构成大小形为
Figure GDA0003656787710000034
的张量。
步骤2)中所述的第一多通道分组光谱通道模型为：设定分组光谱特征的分组数为分组卷积模块通道数，完成分组光谱多通道卷积操作，其中一个支路设有卷积核大小为n1×1分组卷积模块和两个卷积层、每个卷积层后紧接着批量标准化层，另一支路设有卷积核大小为n2×1分组卷积模块和两个卷积层、每个卷积层后紧接着批量标准化层。
步骤2)中所述的通道自注意力模块针对光谱特征增强过程为：
通道自注意力模块首先将输入步骤2)中所提取到的光谱特征
Figure GDA0003656787710000035
进行重新整形操作，分别生成新的三个特征图
Figure GDA0003656787710000036
和
Figure GDA0003656787710000037
N＝W×1，然后将V(x)进行矩阵转置操作与K(x)进行矩阵乘法操作，并采用softmax层依据公式(1)计算通道相似矩阵
Figure GDA0003656787710000038
Figure GDA0003656787710000039
其中，Zj,i表示第i个通道对第j个通道的影响，两个位置的通道越相似,其响应值越大，它们之间的关联性就越大，将通道相似矩阵Zj,i与O(x)进行矩阵乘法操作得到特征
Figure GDA00036567877100000310
再将得到的特征FZO(x)进行重新整型操作，将结果乘以权重β，β从0开始训练，最后与通道注意力模块的输入特征Fspe(x)进行逐元素相加，最后得到通道注意力特征Fca(x)，由公式(2)表示：
Figure GDA00036567877100000311
步骤3)中所述的交叉分组降维操作Fpg过程为：
3-1)对在空间维归一化后的高光谱图像进行与步骤1)相同的交叉分组操作，高光谱图像由原来的
Figure GDA0003656787710000041
重新分组为P＝[P1,P2,...,PG]，其中
Figure GDA0003656787710000042
G＝1,2,...,g，h和w分别为高光谱原图像的长和宽，
Figure GDA0003656787710000043
3-2)对分组后的P进行主成分分析降维处理并进行连接合并，压缩后的光谱维数为k′＝g×kg，k′＜＜B，kg为每组降维后的光谱维，则得到分组降维空间特征
Figure GDA0003656787710000044
3-3)选取与光谱通道输入相对应的第n个像素邻域块
Figure GDA0003656787710000045
作为空间通道的输入。
步骤4)中所述的第二多通道分组光谱通道模型为：分组空间通道由两支路不同2D核的卷积神经网络组成,其中一个支路有3个卷积核大小为n1×n1卷积层，另一支路有3个卷积核大小为n2×n2卷积层，每个卷积层后紧接着批量标准化层，这样能提取高光谱空间多尺度特征。
步骤4)中所述的位置自注意力模块对
Figure GDA0003656787710000046
进行增强操作Fpa过程为：
位置自注意力模块首先将输入步骤4)中所提取到的空间特征
Figure GDA0003656787710000047
进行卷积操作和重新整形操作，分别生成新的三个特征图
Figure GDA0003656787710000048
和
Figure GDA0003656787710000049
N＝W×W，将A(x)进行矩阵转置操作与E(x)进行矩阵乘法操作，并采用softmax层依据公式(3)计算位置像素相似矩阵
Figure GDA00036567877100000410
Figure GDA00036567877100000411
其中，Hj,i表示第i个位置像素对第j个位置像素的影响，两个位置的像素越相似,其响应值越大，它们之间的关联性就越大，将T(x)与位置像素相似矩阵Hj,i进行矩阵乘法操作得到特征
Figure GDA00036567877100000412
将得到的特征FHT(x)进行重新整型操作，将结果乘以权重α，α从0开始训练，最后与位置注意力模块的输入特征Fspa(x)进行逐元素相加，得到最后的位置注意力特征Fpa(x)，由公式(4)表示：
Figure GDA00036567877100000413
步骤5)中所述的全局平均池化信息交互操作过程为：
5-1)增强光谱特征Sn与增强空间特征Pn进行点乘，依据公式(5)：
M(x)＝Sn*Pn (5)；
5-2)点乘结果M(x)与Sn和Pn进行相加依据公式(6)：
U(x)＝M(x)+Sn+Pn (6)；
5-3)对U(x)进行全局平均池化操作，得到交互特征
Figure GDA0003656787710000051
本技术方案，有效解决了高光谱图像波段数多，相邻光谱波段之间相关性强，及信息冗余容易产生维数灾难和过拟合的问题：
(1)利用多通道分组光谱通道单独处理交叉分组整型后的光谱信息，分组卷积构成多通道结构，每个通道对应一部分谱段进行卷积操作，可以减少计算量，通道注意力模块通过光谱特征之间的依赖性进行建模，有助于提高特征的可辨性，能够有效减弱相邻光谱间相关性；
(2)对高光谱图像进行交叉分组降维操作，使提取到丰富的空间信息的同时，能减弱对因常规降维操作对光谱信息的损害，利用分组空间通道单独提取空间信息，位置注意力模块丰富了每个像元的全局上下文信息，提高了特征类内紧凑性和可判别性；
(3)对光谱特征和空间特征进行通道信息交互融合，互补了光谱-空间信息，增加了特征多样性，并与光谱特征和空间特征级联，提高了网络的分类性能。
这种方法不仅能解决因高光谱图像分类时因相邻光谱波段之间相关性强，导致的分类错分，因波段数多，信息冗余容易产生维数灾难和过拟合的问题，提高了高光谱图像分类性能。
附图说明
图1为实施例的方法流程示意图；
图2为实施例中分类模型的结构原理示意图；
图3为实施例中交叉分组操作和自注意力模块对网络性能的影响示意图。
具体实施方式
下面结合附图和实施例对本发明内容作进一步的说明，但不是对本发明的限定。
实施例：
参照图1，一种基于交叉分组空谱特征增强网络的高光谱图像分类方法，包括如下步骤：
1)光谱特征交叉分组：对高光谱图像中每个像素点的光谱维进行归一化处理，对第n个像素的光谱带进行交叉分组整形操作Fsg，得到的分组光谱特征为
Figure GDA0003656787710000052
2)多通道分组光谱特征提取：参照图2，将分组光谱特征
Figure GDA0003656787710000053
输入第一多通道分组光谱通道模型进行分组卷积、卷积和批量归一化光谱特征操作Fspe，得到光谱特征
Figure GDA0003656787710000054
并采用通道自注意力模块对sn′进行增强操作Fca，得到增强后的光谱特征Sn＝Fca(sn′)，最后将Sn输入全连接层获得光谱通道的输出特征
Figure GDA0003656787710000061
其中，K为全连接层的神经元个数；
3)空间特征交叉分组：对高光谱图像每个波段在空间维上进行归一化处理，并进行交叉分组降维操作Fpg，得到分组降维空间特征
Figure GDA0003656787710000062
其中，h和w为高光谱图像空间维的长宽尺寸，压缩后的光谱维数为k′＝g×kg，k′＜＜B，kg为每组降维后的光谱维，g为分组组数；
4)分组空间特征提取：选取分组降维空间特征PGPCA中与第二多通道分组光谱通道模型输入相对应的第n个像素邻域块
Figure GDA0003656787710000063
作为空间通道的输入，进行卷积和批量归一化操作Fspa，得到空间特征
Figure GDA0003656787710000064
并采用像素位置自注意力模块对
Figure GDA0003656787710000065
进行增强操作Fpa，得到增强后的空间特征
Figure GDA0003656787710000066
最后将Pn输入全连接层获得空间通道的输出特征
Figure GDA0003656787710000067
空间通道特征维数与光谱通道特征维数相同，其中W为空间邻域块的长宽尺寸；
5)光谱-空间通道信息交互：将步骤3)和步骤4)所提取的增强光谱特征Sn与增强空间特征Pn进行全局平均池化信息交互操作：Sn与Pn进行点乘得到M(x)，M(x)再与Sn和Pn相加后进行全局平均池化操作，得到交互特征
Figure GDA0003656787710000068
6)高光谱图像像元分类：将步骤3)、步骤4)和步骤5)所提取的特征F1(Sn)、F2(Pn)和J(x)进行特征融合并传入顶端softmax线性分类器对每个像元进行分类。
步骤1)中所述的交叉分组整形操作Fsg过程为：
2-1)对在光谱维归一化后的高光谱图像的第n个像素的光谱带
Figure GDA0003656787710000069
进行交叉分组得到分组光谱：
Figure GDA00036567877100000610
其中B为光谱带长度，bi表示第i个光谱，x(i)表示第i组的光谱矢量，g表示分组组数，
Figure GDA00036567877100000611
表示向下取整，即m表示每一组光谱带数量，则光谱被划分为sn＝[x(1),x(2),...,x(i),...,x(g)]；
2-2)对sn进行重新整形操作，构成大小形为
Figure GDA00036567877100000612
的张量。
步骤2)中所述的第一多通道分组光谱通道模型为：设定分组光谱特征的分组数为分组卷积模块通道数，完成分组光谱多通道卷积操作，其中一个支路设有卷积核大小为n1×1分组卷积模块和两个卷积层、每个卷积层后紧接着批量标准化层，另一支路设有卷积核大小为n2×1分组卷积模块和两个卷积层、每个卷积层后紧接着批量标准化层。
步骤2)中所述的通道自注意力模块针对光谱特征增强过程为：
通道自注意力模块首先将输入步骤2)中所提取到的光谱特征
Figure GDA0003656787710000071
进行重新整形操作，分别生成新的三个特征图
Figure GDA0003656787710000072
和
Figure GDA0003656787710000073
N＝W×1，然后将V(x)进行矩阵转置操作与K(x)进行矩阵乘法操作，并采用softmax层依据公式(1)计算通道相似矩阵
Figure GDA0003656787710000074
Figure GDA0003656787710000075
其中，Zj,i表示第i个通道对第j个通道的影响，两个位置的通道越相似,其响应值越大，它们之间的关联性就越大，将通道相似矩阵Zj,i与O(x)进行矩阵乘法操作得到特征
Figure GDA0003656787710000076
再将得到的特征FZO(x)进行重新整型操作，将结果乘以权重β，β从0开始训练，最后与通道注意力模块的输入特征Fspe(x)进行逐元素相加，最后得到通道注意力特征Fca(x)，由公式(2)表示：
Figure GDA0003656787710000077
步骤3)中所述的交叉分组降维操作Fpg过程为：
3-1)对在空间维归一化后的高光谱图像进行与步骤1)相同的交叉分组操作，高光谱图像由原来的
Figure GDA0003656787710000078
重新分组为P＝[P1,P2,...,PG]，其中
Figure GDA0003656787710000079
G＝1,2,...,g，h和w分别为高光谱原图像的长和宽，
Figure GDA00036567877100000710
每一组空间可以表示为：
P1＝[p1,p1+g,...,p1+g(m-1)]
P2＝[p2,p2+g,...,p2+g(m-1)]
Pi＝[pi,pi+g,...,pi+g(m-1)]
...
Pg＝[pg,p2g,...,pgm]
pi表示第i个波段对应的高光谱空间数据，将其交叉划分为g组；
3-2)对分组后的P进行主成分分析降维处理并进行连接合并，压缩后的光谱维数为k′＝g×kg，k′＜＜B，kg为每组降维后的光谱维，则得到分组降维空间特征
Figure GDA00036567877100000711
3-3)选取与光谱通道输入相对应的第n个像素邻域块
Figure GDA0003656787710000081
作为空间通道的输入。
步骤4)中所述的第二多通道分组光谱通道模型为：分组空间通道由两支路不同2D核的卷积神经网络组成,其中一个支路有3个卷积核大小为n1×n1卷积层，另一支路有3个卷积核大小为n2×n2卷积层，每个卷积层后紧接着批量标准化层，这样能提取高光谱空间多尺度特征。
步骤4)中所述的位置自注意力模块对
Figure GDA0003656787710000082
进行增强操作Fpa过程为：
位置自注意力模块首先将输入步骤4)中所提取到的空间特征
Figure GDA0003656787710000083
进行卷积操作和重新整形操作，分别生成新的三个特征图
Figure GDA0003656787710000084
和
Figure GDA00036567877100000810
N＝W×W，将A(x)进行矩阵转置操作与E(x)进行矩阵乘法操作，并采用softmax层依据公式(3)计算位置像素相似矩阵
Figure GDA0003656787710000085
Figure GDA0003656787710000086
其中，Hj,i表示第i个位置像素对第j个位置像素的影响，两个位置的像素越相似,其响应值越大，它们之间的关联性就越大，将T(x)与位置像素相似矩阵Hj,i进行矩阵乘法操作得到特征
Figure GDA0003656787710000087
将得到的特征FHT(x)进行重新整型操作，将结果乘以权重α，α从0开始训练，最后与位置注意力模块的输入特征Fspa(x)进行逐元素相加，得到最后的位置注意力特征Fpa(x)，由公式(4)表示：
Figure GDA0003656787710000088
公式(4)结果表示了每个位置结果的空间特征
Figure GDA0003656787710000089
是所有位置的空间特征和原始空间特征的加权和，因此，它具有丰富的全局上下文信息，并根据空间注意特征有选择性地聚合上下文信息，具有相似语义的空间特征实现了信息互补，从而提高了类内紧凑性和特征可判别性。
步骤5)中所述的全局平均池化信息交互操作过程为：
5-1)增强光谱特征Sn与增强空间特征Pn进行点乘，依据公式(5)：
M(x)＝Sn*Pn (5)；
5-2)点乘结果M(x)与Sn和Pn进行相加依据公式(6)：
U(x)＝M(x)+Sn+Pn (6)；
5-3)对U(x)进行全局平均池化操作，得到交互特征
Figure GDA0003656787710000091
如图3所示，将本例的方法在图中用“GSSAMIF-Net”表示，与仅移除空间通道的网络-简称GSCA-Net；仅移除光谱通道的网络-简称SFPA-Net,无分组交叉操作的光谱-空间双通道网络-简称SSAMIF-Net，以及移除通道自注意力模块和位置自注意力模块的网络-简称GSSF-Net，在数据集Indian Pines上比较四个方法对总体分类精度(Overallaccuracy,OA)和Kappa系数的作用，本例的方法与SSAMIF-Net的OA和Kappa系数比GSCA-Net和SFPA-Net要高，说明光谱-空间双通道网络能够充分利用光谱空间特征。本例的方法比SSAMIF-Net的OA和Kappa系数分别提高了0.6％和0.69％，也就是说本例方法有效减弱高光谱图像相邻光谱波段之间相关性较强的问题，本例的方法比GSSF-Net的OA和Kappa系数分别提高了0.33％和0.34％，说明通道注意力模块和位置注意力模块能分别增强光谱特征和空间特征，提高特征判别性从而提高了模型的分类性能。

Claims (8)

1.基于交叉分组空谱特征增强网络的高光谱图像分类方法，其特征在于，包括如下步骤：
1)光谱特征交叉分组：对高光谱图像中每个像素点的光谱维进行归一化处理，对第n个像素的光谱带
Figure FDA0003656787700000011
进行交叉分组整形操作Fsg，得到的分组光谱特征为
Figure FDA0003656787700000012
2)多通道分组光谱特征提取：将分组光谱特征
Figure FDA0003656787700000013
输入第一多通道分组光谱通道模型进行分组卷积、卷积和批量归一化光谱特征操作Fspe，得到光谱特征
Figure FDA0003656787700000014
并采用通道自注意力模块对sn′进行增强操作Fca，得到增强后的光谱特征Sn＝Fca(sn′)，最后将Sn输入全连接层获得光谱通道的输出特征
Figure FDA0003656787700000015
其中，K为全连接层的神经元个数；
3)空间特征交叉分组：对高光谱图像每个波段在空间维上进行归一化处理，并进行交叉分组降维操作Fpg，得到分组降维空间特征
Figure FDA0003656787700000016
其中，h和w为高光谱图像空间维的长宽尺寸，压缩后的光谱维数为k′＝g×kg，k′＜＜B，kg为每组降维后的光谱维，g为分组组数；
4)分组空间特征提取：选取分组降维空间特征PGPCA中与第二多通道分组光谱通道模型输入相对应的第n个像素邻域块
Figure FDA0003656787700000017
作为空间通道的输入，进行卷积和批量归一化操作Fspa，得到空间特征
Figure FDA0003656787700000018
并采用像素位置自注意力模块对
Figure FDA0003656787700000019
进行增强操作Fpa，得到增强后的空间特征
Figure FDA00036567877000000110
最后将Pn输入全连接层获得空间通道的输出特征
Figure FDA00036567877000000111
空间通道特征维数与光谱通道特征维数相同，其中W为空间邻域块的长宽尺寸；
5)光谱-空间通道信息交互：将步骤3)和步骤4)所提取的增强光谱特征Sn与增强空间特征Pn进行全局平均池化信息交互操作：Sn与Pn进行点乘得到M(x)，M(x)再与Sn和Pn相加后进行全局平均池化操作，得到交互特征
Figure FDA00036567877000000112
6)高光谱图像像元分类：将步骤3)、步骤4)和步骤5)所提取的特征F1(Sn)、F2(Pn)和J(x)进行特征融合并传入顶端softmax线性分类器对每个像元进行分类。
2.根据权利要求1所述的基于交叉分组空谱特征增强网络的高光谱图像分类方法，其特征在于，步骤1)中所述的交叉分组整形操作Fsg过程为：
2-1)对在光谱维归一化后的高光谱图像的第n个像素的光谱带
Figure FDA00036567877000000113
进行交叉分组得到分组光谱：
Figure FDA00036567877000000114
其中B为光谱带长度，bi表示第i个光谱，x(i)表示第i组的光谱矢量，g表示分组组数，
Figure FDA0003656787700000021
Figure FDA0003656787700000022
表示向下取整，即m表示每一组光谱带数量，则光谱被划分为sn＝[x(1),x(2),...,x(i),...,x(g)]；
2-2)对sn进行重新整形操作，构成大小形为
Figure FDA0003656787700000023
的张量。
3.根据权利要求1所述的基于交叉分组空谱特征增强网络的高光谱图像分类方法，其特征在于，步骤2)中所述的第一多通道分组光谱通道模型为：设定分组光谱特征的分组数为分组卷积模块通道数，完成分组光谱多通道卷积操作，其中一个支路设有卷积核大小为n1×1分组卷积模块和两个卷积层、每个卷积层后紧接着批量标准化层，另一支路设有卷积核大小为n2×1分组卷积模块和两个卷积层、每个卷积层后紧接着批量标准化层。
4.根据权利要求1所述的基于交叉分组空谱特征增强网络的高光谱图像分类方法，其特征在于，步骤2)中所述的通道自注意力模块针对光谱特征增强过程为：
通道自注意力模块首先将输入步骤2)中所提取到的光谱特征
Figure FDA0003656787700000024
进行重新整形操作，分别生成新的三个特征图
Figure FDA0003656787700000025
和
Figure FDA0003656787700000026
然后将V(x)进行矩阵转置操作与K(x)进行矩阵乘法操作，并采用softmax层依据公式(1)计算通道相似矩阵
Figure FDA0003656787700000027
Figure FDA0003656787700000028
其中，Zj,i表示第i个通道对第j个通道的影响，将通道相似矩阵Zj,i与O(x)进行矩阵乘法操作得到特征
Figure FDA0003656787700000029
再将得到的特征FZO(x)进行重新整型操作，将结果乘以权重β，β从0开始训练，最后与通道注意力模块的输入特征Fspe(x)进行逐元素相加，最后得到通道注意力特征Fca(x)，由公式(2)表示：
Figure FDA00036567877000000210
5.根据权利要求1所述的基于交叉分组空谱特征增强网络的高光谱图像分类方法，其特征在于，步骤3)中所述的交叉分组降维操作Fpg过程为：
3-1)对在空间维归一化后的高光谱图像进行与步骤1)相同的交叉分组操作，高光谱图像由原来的
Figure FDA00036567877000000211
重新分组为P＝[P1,P2,...,PG]，其中
Figure FDA00036567877000000212
h和w分别为高光谱原图像的长和宽，
Figure FDA00036567877000000213
3-2)对分组后的P进行主成分分析降维处理并进行连接合并，压缩后的光谱维数为k′＝g×kg，k′＜＜B，kg为每组降维后的光谱维，则得到分组降维空间特征
Figure FDA0003656787700000031
3-3)选取与光谱通道输入相对应的第n个像素邻域块
Figure FDA0003656787700000032
作为空间通道的输入。
6.根据权利要求1所述的基于交叉分组空谱特征增强网络的高光谱图像分类方法，其特征在于，步骤4)中所述的第二多通道分组光谱通道模型为：分组空间通道由两支路不同2D核的卷积神经网络组成,其中一个支路有3个卷积核大小为n1×n1卷积层，另一支路有3个卷积核大小为n2×n2卷积层，每个卷积层后紧接着批量标准化层。
7.根据权利要求1所述的基于交叉分组空谱特征增强网络的高光谱图像分类方法，其特征在于，步骤4)中所述的位置自注意力模块对
Figure FDA0003656787700000033
进行增强操作Fpa过程为：
位置自注意力模块首先将输入步骤4)中所提取到的空间特征
Figure FDA0003656787700000034
进行卷积操作和重新整形操作，分别生成新的三个特征图
Figure FDA0003656787700000035
和
Figure FDA0003656787700000036
将A(x)进行矩阵转置操作与E(x)进行矩阵乘法操作，并采用softmax层依据公式(3)计算位置像素相似矩阵
Figure FDA0003656787700000037
Figure FDA0003656787700000038
其中，Hj,i表示第i个位置像素对第j个位置像素的影响，将T(x)与位置像素相似矩阵Hj,i进行矩阵乘法操作得到特征
Figure FDA0003656787700000039
将得到的特征FHT(x)进行重新整型操作，将结果乘以权重α，α从0开始训练，最后与位置注意力模块的输入特征Fspa(x)进行逐元素相加，得到最后的位置注意力特征Fpa(x)，由公式(4)表示：
Figure FDA00036567877000000310
8.根据权利要求1所述的基于交叉分组空谱特征增强网络的高光谱图像分类方法，其特征在于，步骤5)中所述的全局平均池化信息交互操作过程为：
5-1)增强光谱特征Sn与增强空间特征Pn进行点乘，依据公式(5)：
M(x)＝Sn*Pn (5)；
5-2)点乘结果M(x)与Sn和Pn进行相加依据公式(6)：
U(x)＝M(x)+Sn+Pn (6)；
5-3)对U(x)进行全局平均池化操作，得到交互特征
Figure FDA0003656787700000041
CN202011084356.XA 2020-10-12 2020-10-12 基于交叉分组空谱特征增强网络的高光谱图像分类方法 Active CN112200090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011084356.XA CN112200090B (zh) 2020-10-12 2020-10-12 基于交叉分组空谱特征增强网络的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011084356.XA CN112200090B (zh) 2020-10-12 2020-10-12 基于交叉分组空谱特征增强网络的高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN112200090A CN112200090A (zh) 2021-01-08
CN112200090B true CN112200090B (zh) 2022-07-01

Family

ID=74012797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011084356.XA Active CN112200090B (zh) 2020-10-12 2020-10-12 基于交叉分组空谱特征增强网络的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN112200090B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113281323B (zh) * 2021-06-29 2024-01-26 集美大学 一种复杂体系中有机污染物特征信息提取方法及其快速检测方法、系统
CN113781466B (zh) * 2021-09-22 2024-01-19 河北工业大学 基于多尺度注意力密集网络的太阳能电池板缺陷识别方法
CN113887645B (zh) * 2021-10-13 2024-02-13 西北工业大学 一种基于联合注意力孪生网络的遥感图像融合分类方法
CN113920323B (zh) * 2021-11-18 2023-04-07 西安电子科技大学 基于语义图注意力网络的不同混乱度高光谱图像分类方法
CN114742985A (zh) * 2022-03-17 2022-07-12 苏州大学 一种高光谱特征提取方法、装置及存储介质
CN114943893B (zh) * 2022-04-29 2023-08-18 南京信息工程大学 一种土地覆盖分类的特征增强方法
CN114863173B (zh) * 2022-05-06 2023-06-23 南京审计大学 一种面向土地资源审计的自互注意力高光谱图像分类方法
CN116051896B (zh) * 2023-01-28 2023-06-20 西南交通大学 一种轻量化混合张量神经网络的高光谱图像分类方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107180248A (zh) * 2017-06-12 2017-09-19 桂林电子科技大学 基于联合损失增强网络的高光谱图像分类方法
CN110110596A (zh) * 2019-03-29 2019-08-09 西北大学 高光谱图像特征提取、分类模型构建及分类方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596248B (zh) * 2018-04-23 2021-11-02 上海海洋大学 一种基于改进深度卷积神经网络的遥感影像分类方法
US11257213B2 (en) * 2018-10-25 2022-02-22 Koninklijke Philips N.V. Tumor boundary reconstruction using hyperspectral imaging
CN111079544B (zh) * 2019-11-21 2022-09-16 湖南理工学院 一种基于加权联合最近邻的多任务稀疏表示检测方法
CN111062403B (zh) * 2019-12-26 2022-11-22 哈尔滨工业大学 基于一维组卷积神经网络的高光谱遥感数据深度光谱特征提取方法
CN111353531B (zh) * 2020-02-25 2023-03-28 西安电子科技大学 基于奇异值分解和空谱域注意力机制高光谱图像分类方法
CN111667489B (zh) * 2020-04-30 2022-04-05 华东师范大学 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统
CN111652330B (zh) * 2020-08-05 2020-11-13 深圳市优必选科技股份有限公司 图像处理方法、装置、系统、电子设备及可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107180248A (zh) * 2017-06-12 2017-09-19 桂林电子科技大学 基于联合损失增强网络的高光谱图像分类方法
CN110110596A (zh) * 2019-03-29 2019-08-09 西北大学 高光谱图像特征提取、分类模型构建及分类方法

Also Published As

Publication number Publication date
CN112200090A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN112200090B (zh) 基于交叉分组空谱特征增强网络的高光谱图像分类方法
CN111274869B (zh) 基于并行注意力机制残差网进行高光谱图像分类的方法
Cui et al. LiteDepthwiseNet: A lightweight network for hyperspectral image classification
CN111259828B (zh) 基于高分辨率遥感图像多特征的识别方法
CN107451565B (zh) 一种半监督小样本深度学习图像模式分类识别方法
CN112347888B (zh) 基于双向特征迭代融合的遥感图像场景分类方法
CN107239759B (zh) 一种基于深度特征的高空间分辨率遥感图像迁移学习方法
CN110348357B (zh) 一种基于深度卷积神经网络的快速目标检测方法
CN108491849A (zh) 基于三维稠密连接卷积神经网络的高光谱图像分类方法
CN111814685B (zh) 基于双支路卷积自编码器的高光谱图像分类方法
CN108038501B (zh) 基于多模态压缩双线性池化的高光谱图像分类方法
CN111310598B (zh) 一种基于3维和2维混合卷积的高光谱遥感图像分类方法
CN109190511B (zh) 基于局部与结构约束低秩表示的高光谱分类方法
CN113052216B (zh) 基于双路图u-net卷积网络的溢油高光谱图像检测方法
CN113139512B (zh) 基于残差和注意力的深度网络高光谱影像分类方法
Qi et al. Global-local three-dimensional convolutional transformer network for hyperspectral image classification
CN113537239A (zh) 一种基于全局关系感知注意力的高光谱图像波段选择方法
CN115564996A (zh) 一种基于注意力联合网络的高光谱遥感图像分类方法
CN114494846A (zh) 基于多尺度内卷网络的高光谱图像分类的方法
CN114596463A (zh) 一种基于图像的地块类型分类方法
CN113052130B (zh) 基于深度残差网络和边缘保护滤波的高光谱影像分类方法
CN109145950B (zh) 一种基于图信号采样的高光谱图像主动学习方法
CN108446723B (zh) 一种高光谱图像的多尺度空谱协同分类方法
CN115578632A (zh) 基于膨胀卷积的高光谱图像分类方法
Song et al. Using dual-channel CNN to classify hyperspectral image based on spatial-spectral information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant