CN112381144B - 非欧与欧氏域空谱特征学习的异构深度网络方法 - Google Patents

非欧与欧氏域空谱特征学习的异构深度网络方法 Download PDF

Info

Publication number
CN112381144B
CN112381144B CN202011273501.9A CN202011273501A CN112381144B CN 112381144 B CN112381144 B CN 112381144B CN 202011273501 A CN202011273501 A CN 202011273501A CN 112381144 B CN112381144 B CN 112381144B
Authority
CN
China
Prior art keywords
network
european
pixel
domain
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011273501.9A
Other languages
English (en)
Other versions
CN112381144A (zh
Inventor
肖亮
刘启超
杨劲翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202011273501.9A priority Critical patent/CN112381144B/zh
Publication of CN112381144A publication Critical patent/CN112381144A/zh
Application granted granted Critical
Publication of CN112381144B publication Critical patent/CN112381144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种非欧与欧氏域空谱特征学习的异构深度网络方法，该方法包括：对高光谱图像执行超像素分割并构建像素到超像素的关联矩阵；根据超像素的邻接关系构建邻接矩阵；构建光谱变换子网络对光谱数据进行去冗余；构建超像素级图卷积子网络提取非欧域空谱特征；构建像素级空谱卷积子网络提取欧氏域空谱特征；融合非欧与欧氏域空谱特征并分类；使用交叉熵损失函数训练网络。本发明方法具有同时在欧氏与非欧域中提取高光谱图像空谱特征的能力，应用于高光谱图像监督分类具有优异性能。

Description

非欧与欧氏域空谱特征学习的异构深度网络方法
技术领域
本发明涉及一种用于高光谱图像数据分类的新型深度学习方法，特别是一种非欧与欧氏域空谱特征学习的异构深度网络方法。
技术背景
高光谱图像(HSI)是含有丰富空谱信息的三维立方体数据。由于能够在像素级区分物质，HSI技术已被广泛应用于环境检测、地质勘探等领域。随着深度学习的快速发展，目前基于深度学习的HSI分类已成为该类领域的重要研究内容之一。
由于卷积神经网络(CNN)主要用于处理欧氏结构数据(如图像、视频等)，能够自然地应用于HSI提取深度空谱特征，因此受到研究者广泛关注。目前，基于CNN的多种HSI分类方法已被提出，例如一维卷积结构CNN(1D-CNN)、二维卷积结构CNN(2D-CNN)与三维卷积结构CNN(3D-CNN)等。而结合不同卷积结构的复合CNN也已被探索并应用于HSI分类，例如双分支CNN(TC-CNN)、多分支CNN(MC-CNN)以及多卷积结构交替CNN(HybridSN)等，相较于单一结构CNN，能够更有效地提取深度空谱特征并提升分类精度。此外，先进网络架构，如基于残差网络(ResNet)的空谱残差卷积网络(SSRN)、基于稠密网络(DenseNet)的稠密空谱卷积网络(FDSSC)以及基于注意力机制的空谱注意力网络(DBDA)等，进一步提升了HSI分类精度。然而，受限于CNN中形状固定且相对较小的卷积核，基于CNN的方法通常难以建模HSI的大尺度地物空间结构，因而无法有效利用不同形状和尺度的地物空间结构信息。
最近，有研究者将图卷积网络(GCN)应用于HSI分类，并取得了较好效果。由于GCN能够处理任意非欧结构数据，将其应用于HSI可更灵活地建模不同形状、尺度的地物空间结构。例如，Qin等人[A.Qin,Z.Shang,J.Tian,Y.Wang,T.Zhang,and Y.Y.Tang,“Spectral–spatial graph convolutional networks for semisupervised hyperspectral imageclassification,”IEEE Geoscience and Remote Sensing Letters,vol.16,no.2,pp.241–245,Feb.2019.]基于GCN提出半监督HSI分类方法，通过将HSI编码为图结构数据，然后根据相邻像素节点的相似度及空间距离进行特征传播。然而，由于HSI包含大量像素，将每个像素视为一个节点将会导致庞大的图，其计算量难以承受，因而该方法难以应用于较大的HSI。为了解决这一不足，Wan等人[S.Wan,C.Gong,P.Zhong,B.Du,L.Zhang,andJ.Yang,“Multiscale dynamic graph convolutional network for hyperspectralimage classification,”IEEE Transactions on Geoscience and Remote Sensing,vol.58,no.5,pp.3162–3177,May 2020.]提出先将HSI超像素化，然后根据超像素的邻接关系构建图，有效缓解了GCN难以应用于较大HSI的限制。然而，将HSI预处理为超像素将导致大量细节信息的丢失，即，HSI中的小尺度目标区域会随着超像素分割而被融入大尺度目标中，进而造成小目标区域丢失以及分类图过平滑的问题。
发明内容
本发明的目的在于提供一种非欧与欧氏域空谱特征学习的异构深度网络方法。
实现本发明目的的技术解决方案为：一种非欧与欧氏域空谱特征学习的异构深度网络方法，包括以下步骤：
第一步，联合线性判别分析及简单线性迭代聚类方法将原始高光谱图像分割为若干超像素，并构建像素到超像素的关联矩阵；
第二步，根据超像素间是否有公共边建立其邻接关系；
第三步，构建光谱变换子网络对原始高光谱图像进行逐像素降维与去冗余处理；
第四步，利用像素与超像素间的关联矩阵，将降维后的高光谱数据转换到非欧域，并利用图卷积子网络提取其在非欧域中的空谱特征；
第五步，构建空谱卷积子网络从降维后的高光谱数据提取其在欧氏域中的空谱特征；
第六步，将在非欧与欧氏域提取到的空谱特征沿光谱维拼接，并由Softmax分类器进行分类；
第七步，使用交叉熵损失函数训练网络。
本发明与现有技术相比，其显著特点在于：(1)基于超像素分割构建了高光谱图像从欧氏域到非欧域的空间变换及其反变换关系；(2)利用双分支异构网络同时从欧氏与非欧域中提取高光谱图像空谱特征并融合，可显著提高分类性能；(3)该网络结构简洁，计算复杂度低，具有训练时间短、推理速度快以及分类精度高等优点；(4)本发明能够有效整合CNN与GCN，可同时在欧式与非欧空间中提取HSI的像素级与超像素级空谱特征，模型鲁棒性高，分类精度优异，可广泛应用于工程领域。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是本发明方法的结构图。
图2是Indian Pines数据集上不同方法的分类结果。其中(a)伪彩色图.(b)Groundtruth.(c)2D-CNN.(d)TC-CNN.(e)MC-CNN.(f)SSRN.(g)FDSSC.(h)HybridSN.(i)DBDA.(j)TENet.
图3是Pavia University数据集上不同方法的分类结果。其中(a)伪彩色图.(b)Ground truth.(c)2D-CNN.(d)TC-CNN.(e)MC-CNN.(f)SSRN.(g)FDSSC.(h)HybridSN.(i)DBDA.(j)TENet.
图4是Salinas数据集上不同方法的分类结果。其中(a)伪彩色图.(b)Groundtruth.(c)2D-CNN.(d)TC-CNN.(e)MC-CNN.(f)SSRN.(g)FDSSC.(h)HybridSN.(i)DBDA.(j)TENet.
具体实施方式
为了缓解现有技术存在的问题，本发明提出利用CNN产生的像素级空谱特征来补充GCN产生的超像素级空谱特征，通过融合不同尺度、模态的空谱特征，在大尺度空间结构建模下实现像素级精细特征的提取，进而提升HSI分类性能。
下面结合图1，详细说明本发明的实施过程：
第一步，对高光谱图像执行超像素分割并构建像素到超像素的关联矩阵，即联合线性判别分析(LDA)及简单线性迭代聚类(SLIC)方法将原始高光谱图像分割为若干超像素，并构建像素到超像素的关联矩阵。
记
Figure BDA0002778403450000031
和
Figure BDA0002778403450000032
分别为高光谱图像数据和其训练样本集，其中L(pt)表示在空间坐标为pt＝(x,y)处的像素X(pt)的标签，H、W、B、C、N分别为高光谱图像数据的高、宽、波段数、类别数以及训练样本数。首先，利用LDA和训练样本集将高光谱图像进行监督降维。然后，利用SLIC算法将降维后的高光谱图像分割为
Figure BDA0002778403450000033
个超像素并得到超像素集合
Figure BDA0002778403450000034
其中
Figure BDA0002778403450000035
为第i个超像素，
Figure BDA0002778403450000036
为Si中的第j个像素，Ni为Si中像素个数，λ(1≤)为超像素分割尺度。最后，通过像素与超像素间的映射关系，构建关联矩阵
Figure BDA0002778403450000038
具体为
Figure BDA0002778403450000041
其中，Flatten(·)表示将HSI数据的空间维展平，
Figure BDA0002778403450000042
表示
Figure BDA0002778403450000043
中的第i个像素，Sj表示第j个超像素，Qi,j表示Q中(i,j)处的数据。
第二步，根据超像素的邻接关系构建邻接矩阵，即根据超像素间是否有公共边建立其邻接关系，并定义为邻接矩阵
Figure BDA0002778403450000044
具体为
Figure BDA0002778403450000045
其中Mean(·)表示取均值函数，exp(·)表示以自然常数e为底的指数函数，‖·‖2表示L2范数，σ为先验参数，Ai,j即为A中(i,j)处的数据。先验参数σ可用于调整图中边的强弱，本实施例中固定为10。
第三步，构建光谱变换子网络对光谱数据进行去冗余，即构建光谱变换子网络对原始高光谱图像进行逐像素降维与去冗余处理。光谱变换子网络是由多层1×1卷积层构成。在每层卷积层前均使用批归一化(BN)以减少数据协方差漂移。记第l层光谱卷积层的输出为Xl，则其变换过程表示为
Figure BDA0002778403450000046
其中
Figure BDA0002778403450000047
表示经过BN处理的输入特征图，
Figure BDA0002778403450000048
与
Figure BDA0002778403450000049
分别表示第l层第j个一维卷积核与偏差，p0＝(x,y)表示像素的空间坐标，运算符·表示内积，f表示激活函数。在该方法中，设光谱卷积子网络由LS(1≤LS)层1×1卷积层堆叠而成，其输入为原始高光谱图像X，输出记为FS。本实施例中，网络统一采用Leaky ReLU激活函数。
第四步，构建超像素级图卷积子网络提取非欧域空谱特征，即利用像素与超像素间的关联矩阵，将降维后的高光谱数据转换到非欧域，并利用图卷积子网络提取其在非欧域中的空谱特征。
光谱特征数据FS可通过像素到超像素的关联矩阵Q转换到非欧域，具体为
Figure BDA00027784034500000410
其中，
Figure BDA00027784034500000411
为按列归一化的映射关系矩阵，即
Figure BDA00027784034500000412
H0表示转换到非欧域的高光谱数据。记图卷积子网络中第l层输出为Hl，则其变换过程表示为
Figure BDA0002778403450000051
其中，
Figure BDA0002778403450000052
为经过BN处理的输入数据，
Figure BDA0002778403450000053
为重整化的邻接矩阵，I为单位矩阵，
Figure BDA0002778403450000054
为
Figure BDA0002778403450000055
的度矩阵，Wl为可学习参数。设图卷积子网络由LT(1≤LT)层图卷积层构成，初始输入为H0，则其输出为
Figure BDA0002778403450000056
由于
Figure BDA0002778403450000057
为非欧结构的空谱特征数据，须要再将其转换到欧氏域，具体为
Figure BDA0002778403450000058
其中，Reshape(·)表示恢复扁平化数据的空间维度，即H×W，FT即为图卷积子网络输出的超像素级非欧空谱特征图。
第五步，构建像素级空谱卷积子网络提取欧氏域空谱特征，即构建空谱卷积子网络从降维后的高光谱数据提取其在欧氏域中的空谱特征。该卷积子网络由若干空谱卷积层构成。记第l层输出为Tl，则其变换过程表示为
Figure BDA0002778403450000059
其中，
Figure BDA00027784034500000510
为经过BN处理的输入数据，
Figure BDA00027784034500000511
与
Figure BDA00027784034500000512
分别表示第l卷积层中的第j个光谱一维核、空间二维核与偏差，p0表示当前的卷积采样位置，pn为采样网格(接受域)
Figure BDA00027784034500000513
中的坐标，例如
Figure BDA00027784034500000514
可表示一个3×3的采样网格。设卷积子网络由LE(1≤LE)层空谱卷积层构成，则其初始输入为FS，输出FE即为像素级欧氏空谱特征图。实验中，接受域统一采用5×5大小。
第六步，融合非欧与欧氏域空谱特征并分类，即将在非欧与欧氏域提取到的空谱特征沿光谱维拼接，并由Softmax分类器进行分类。
高光谱图像的非欧特征及欧氏特征分别表示为FT与FE，则其最终的融合特征F表示为
F＝[FT,FE]
其中[…]表示将数据沿光谱维度拼接。
非欧与欧氏域的融合特征F由Softmax分类器进行分类，以获取像素级的分类结果，具体为
Figure BDA0002778403450000061
其中，km与bm分别表示第m个一维核与偏差，C为类别数，Y(p0)即为处于p0位置处的像元的类属概率向量。
第七步，使用交叉熵损失函数训练网络，网络的最终输出为Y，监督样本集为
Figure BDA0002778403450000062
其中L(pt)表示监督样本X(pt)的真实标签，则训练该网络的交叉熵损失函数表示为
Figure BDA0002778403450000063
其中，Lc(pt)表示标签Yc(pt)中第c个元素，Yc(pt)表示像素X(pt)属于第c类的概率。
本发明的效果可通过以下仿真实验进一步说明：
(1)仿真条件
仿真实验采用三组真实高光谱数据：Indian Pines数据集、Pavia University数据集和Salinas数据集。Indian Pines数据集为机载可见红外成像光谱仪(AVIRIS)在美国印第安纳州Indian Pines实验区采集的高光谱遥感图像。该图像共包含220个波段，空间分辨率为20m，图像大小为145×145。去除20个水汽吸收和低信噪比波段后(波段号为104-108，150-163，220)，选择剩下的200个波段作为研究对象。该地区共包含16种已知地物共10366个样本。Pavia University数据集是由帕维亚的ROSIS传感器采集，共包含115个波段，图像大小为610×340，在去除噪声波段之后，选择剩下的103个波段作为研究对象。Salinas数据集为机载可见红外成像光谱仪(AVIRIS)在加利福尼亚州的萨利纳斯山谷采集的高光谱遥感图像。该图像共包含224波段，空间分辨率为3.7m，图像大小为512×217。去除20个水汽吸收和低信噪比波段后(波段号为108-112，150-163，224)，选择剩下的204个波段作为研究对象。
对于Indian Pines、Pavia University和Salinas数据集，实验中每类样本分别随机取10％、1％、1％作为训练样本，1％、1％、1％作为验证样本，剩余样本作为测试样本。三组实验均采用总精度(OA)、平均精度(AA)以及Kappa(Kpp)统计量作为评价指标，每个指标均重复测试五次取均值及标准差最为最终结果，并与前文所述的2D-CNN、TC-CNN、MC-CNN、SSRN、FDSSC、HybridSN与DBDA对比。实验中本发明方法记为ETNet。仿真实验均在Windows10操作系统下采用Python-3.6+Tensorflow-1.12+Pytorch-1.1完成。此外，本实施例中的LS、LT、LE均设置为2，激活函数统一采用Leaky ReLU。网络使用Adam优化器训练网络，学习率统一设置为0.0005，迭代次数固定为600，其它网络结构超参数配置总结在表1中。
表1
Figure BDA0002778403450000071
(2)仿真实验结果分析
表2为本发明方法及其对比方法对Indian Pines、Pavia University及Salinas数据集进行仿真实验的分类性能。
表2
Figure BDA0002778403450000072
实验结果表明，在基准数据集Indian Pines上10％监督样本训练下平均测试分类精度可达99.26％，在Pavia University数据集上1％监督样本训练下平均测试分类精度可达99.53％，在Salinas数据集上1％监督样本训练下平均测试分类精度可达99.66％。在常用训练样本比例下，本发明方法三组不同数据集上均获得了超过99％的准确率，显著超越对比方法。不同对比方法在三组数据集上的分类图如图2-4所示。以上三组真实数据集的仿真实验结果表明了本发明方法的有效性。本发明方法具有同时在欧氏与非欧域学习深度空谱特征的能力，应用于高光谱图像监督分类具有优异性能。

Claims (8)

1.一种非欧与欧氏域空谱特征学习的异构深度网络方法，其特征在于，包括以下步骤：
第一步，联合线性判别分析及简单线性迭代聚类方法将原始高光谱图像分割为若干超像素，并构建像素到超像素的关联矩阵；
第二步，根据超像素间是否有公共边建立其邻接关系；
第三步，构建光谱变换子网络对原始高光谱图像进行逐像素降维与去冗余处理；
第四步，利用像素与超像素间的关联矩阵，将降维后的高光谱数据转换到非欧域，并利用图卷积子网络提取其在非欧域中的空谱特征；
第五步，构建空谱卷积子网络从降维后的高光谱数据提取其在欧氏域中的空谱特征；
第六步，将在非欧与欧氏域提取到的空谱特征沿光谱维拼接，并由Softmax分类器进行分类；
第七步，使用交叉熵损失函数训练网络。
2.根据权利要求1所述的非欧与欧氏域空谱特征学习的异构深度网络方法，其特征在于，第一步，联合线性判别分析及简单线性迭代聚类方法将原始高光谱图像分割为若干超像素，并构建像素到超像素的关联矩阵，具体为：
记
Figure FDA0003746360560000011
和
Figure FDA0003746360560000012
分别为高光谱图像数据和其训练样本集，其中L(pt)表示在空间坐标为pt＝(x,y)处的像素x(pt)的标签，H、W、B、N分别为高光谱图像数据的高、宽、波段数以及训练样本数；
首先，利用LDA和训练样本集将高光谱图像进行监督降维；
然后，利用SLIC算法将降维后的高光谱图像分割为
Figure FDA0003746360560000013
个超像素并得到超像素集合
Figure FDA0003746360560000014
其中
Figure FDA0003746360560000015
为第i个超像素，
Figure FDA0003746360560000016
为
Figure FDA0003746360560000017
中的第j个像素，Ni为
Figure FDA0003746360560000018
中像素个数，λ为超像素分割尺度，1≤λ；
最后，通过像素与超像素间的映射关系，构建关联矩阵
Figure FDA0003746360560000019
具体为
Figure FDA00037463605600000110
其中Flatten(·)表示将HSI数据的空间维展平，
Figure FDA0003746360560000021
表示
Figure FDA0003746360560000022
中的第i个像素，
Figure FDA0003746360560000023
表示第j个超像素，Qi,j表示Q中(i,j)处的数据。
3.根据权利要求2所述的非欧与欧氏域空谱特征学习的异构深度网络方法，其特征在于，第二步，根据超像素间是否有公共边建立其邻接关系，并定义为邻接矩阵
Figure FDA0003746360560000024
具体为
Figure FDA0003746360560000025
其中Mean(·)表示取均值函数，exp(·)表示以自然常数e为底的指数函数，‖·‖2表示L2范数，σ为先验参数，Ai,j即为A中(i,j)处的数据。
4.根据权利要求3所述的非欧与欧氏域空谱特征学习的异构深度网络方法，其特征在于，第三步，构建光谱变换子网络对原始高光谱图像进行逐像素降维与去冗余处理；
光谱变换子网络是由多层1×1卷积层构成；在每层卷积层前均使用批归一化处理；记第l层光谱卷积层的输出为Xl，则其变换过程表示为
Figure FDA0003746360560000026
其中
Figure FDA0003746360560000027
表示经过BN处理的输入特征图，
Figure FDA0003746360560000028
与
Figure FDA0003746360560000029
分别表示第l层第j个一维卷积核与偏差，p0＝(x,y)表示像素的空间坐标，运算符·表示内积，f表示激活函数；设光谱卷积子网络由LS层1×1卷积层堆叠而成，其输入为原始高光谱图像X，输出记为FS。
5.根据权利要求4所述的非欧与欧氏域空谱特征学习的异构深度网络方法，其特征在于，第四步，利用像素与超像素间的关联矩阵，将降维后的高光谱数据转换到非欧域，并利用图卷积子网络提取其在非欧域中的空谱特征；
光谱特征数据FS可通过像素到超像素的关联矩阵Q转换到非欧域，具体为
Figure FDA00037463605600000210
其中，
Figure FDA00037463605600000211
为按列归一化的映射关系矩阵，即
Figure FDA00037463605600000212
H0表示转换到非欧域的高光谱数据；
记图卷积子网络中第l层输出为Hl，则其变换过程表示为
Figure FDA0003746360560000031
其中，
Figure FDA0003746360560000032
为经过BN处理的输入数据，
Figure FDA0003746360560000033
为重整化的邻接矩阵，
Figure FDA0003746360560000034
为
Figure FDA0003746360560000035
的度矩阵，Wl为可学习参数；
设图卷积子网络由LT层图卷积层构成，初始输入为H0，则其输出为
Figure FDA0003746360560000036
由于
Figure FDA0003746360560000037
为非欧结构的空谱特征数据，须要再将其转换到欧氏域，具体为
Figure FDA0003746360560000038
其中，Reshape(·)表示恢复扁平化数据的空间维度，FT即为图卷积子网络输出的超像素级非欧空谱特征图。
6.根据权利要求5所述的非欧与欧氏域空谱特征学习的异构深度网络方法，其特征在于，第五步，构建空谱卷积子网络从降维后的高光谱数据提取其在欧氏域中的空谱特征；该卷积子网络由若干空谱卷积层构成；记第l层输出为Tl，则其变换过程表示为
Figure FDA0003746360560000039
其中，
Figure FDA00037463605600000310
为经过BN处理的输入数据，
Figure FDA00037463605600000311
与
Figure FDA00037463605600000312
分别表示第l卷积层中的第j个光谱一维核、空间二维核与偏差，p0表示当前的卷积采样位置，pn为采样网格
Figure FDA00037463605600000313
中的坐标；设卷积子网络由LE层空谱卷积层构成，则其初始输入为FS，输出FE即为像素级欧氏空谱特征图。
7.根据权利要求6所述的非欧与欧氏域空谱特征学习的异构深度网络方法，其特征在于，第六步，将在非欧与欧氏域提取到的空谱特征沿光谱维拼接，并由Softmax分类器进行分类；
高光谱图像的非欧特征及欧氏特征分别表示为FT与FE，则其最终的融合特征F表示为F＝[FT,FE]
其中[...]表示将数据沿光谱维度拼接；
非欧与欧氏域的融合特征F由Softmax分类器进行分类，以获取像素级的分类结果，具体为
Figure FDA0003746360560000041
其中，km与bm分别表示第m个一维核与偏差，C为类别数，Y(p0)即为处于p0位置处的像元的类属概率向量。
8.根据权利要求7所述的非欧与欧氏域空谱特征学习的异构深度网络方法，其特征在于，第七步，使用交叉熵损失函数训练网络，具体为
Figure FDA0003746360560000042
其中，Lc(pt)表示标签Yc(pt)中第c个元素，Yc(pt)表示像素X(pt)属于第c类的概率。
CN202011273501.9A 2020-11-13 2020-11-13 非欧与欧氏域空谱特征学习的异构深度网络方法 Active CN112381144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011273501.9A CN112381144B (zh) 2020-11-13 2020-11-13 非欧与欧氏域空谱特征学习的异构深度网络方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011273501.9A CN112381144B (zh) 2020-11-13 2020-11-13 非欧与欧氏域空谱特征学习的异构深度网络方法

Publications (2)

Publication Number Publication Date
CN112381144A CN112381144A (zh) 2021-02-19
CN112381144B true CN112381144B (zh) 2022-09-13

Family

ID=74582521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011273501.9A Active CN112381144B (zh) 2020-11-13 2020-11-13 非欧与欧氏域空谱特征学习的异构深度网络方法

Country Status (1)

Country Link
CN (1) CN112381144B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160177A (zh) * 2021-04-23 2021-07-23 杭州电子科技大学 一种基于超像素和图卷积网络的平面分割方法
CN113239938B (zh) * 2021-05-11 2024-01-09 中国人民解放军火箭军工程大学 一种基于图结构的高光谱分类方法及系统
CN113298129B (zh) * 2021-05-14 2024-02-02 西安理工大学 基于超像素和图卷积网络的极化sar图像分类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10270642B2 (en) * 2012-12-05 2019-04-23 Origin Wireless, Inc. Method, apparatus, and system for object tracking and navigation
CN109376753B (zh) * 2018-08-31 2022-06-28 南京理工大学 一种三维空谱空间维像元类属概率计算方法
CN110399909B (zh) * 2019-07-08 2021-07-27 南京信息工程大学 一种基于标签约束弹性网图模型的高光谱图像分类方法

Also Published As

Publication number Publication date
CN112381144A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
Zhu et al. A spectral-spatial-dependent global learning framework for insufficient and imbalanced hyperspectral image classification
CN110321963B (zh) 基于融合多尺度多维空谱特征的高光谱图像分类方法
Zhou et al. Split depth-wise separable graph-convolution network for road extraction in complex environments from high-resolution remote-sensing images
CN111860612B (zh) 无监督高光谱图像隐低秩投影学习特征提取方法
Zhang et al. Hyperspectral unmixing via deep convolutional neural networks
CN112381144B (zh) 非欧与欧氏域空谱特征学习的异构深度网络方法
CN107316013B (zh) 基于nsct变换和dcnn的高光谱图像分类方法
Venugopal Automatic semantic segmentation with DeepLab dilated learning network for change detection in remote sensing images
CN113723255B (zh) 一种高光谱影像分类方法和存储介质
Wang et al. Meta-learning based hyperspectral target detection using Siamese network
Alipourfard et al. A novel deep learning framework by combination of subspace-based feature extraction and convolutional neural networks for hyperspectral images classification
CN108197650B (zh) 局部相似性保持的高光谱图像极限学习机聚类方法
Yang et al. A deep multiscale pyramid network enhanced with spatial–spectral residual attention for hyperspectral image change detection
CN110458192B (zh) 基于视觉显著性的高光谱遥感图像分类方法及系统
CN112308873B (zh) 多尺度Gabor小波PCA融合图像边缘检测方法
CN109034213B (zh) 基于相关熵原则的高光谱图像分类方法和系统
CN114581773A (zh) 基于图卷积网络的多模态遥感数据分类方法
Verma et al. Wild animal detection from highly cluttered images using deep convolutional neural network
CN112052758B (zh) 基于注意力机制和循环神经网络的高光谱图像分类方法
Yuan et al. ROBUST PCANet for hyperspectral image change detection
Li et al. You only train once: Learning a general anomaly enhancement network with random masks for hyperspectral anomaly detection
CN115240072A (zh) 一种基于多方向多尺度光谱-空间残差卷积神经网络的高光谱多类变化检测方法
CN117058558A (zh) 基于证据融合多层深度卷积网络的遥感图像场景分类方法
Li et al. Spectral-spatial sparse subspace clustering based on three-dimensional edge-preserving filtering for hyperspectral image
Zhang et al. Hyperspectral image classification using spatial and edge features based on deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant