CN113920442A - 一种结合图结构与卷积神经网络的高光谱分类方法 - Google Patents

一种结合图结构与卷积神经网络的高光谱分类方法 Download PDF

Info

Publication number
CN113920442A
CN113920442A CN202111150852.5A CN202111150852A CN113920442A CN 113920442 A CN113920442 A CN 113920442A CN 202111150852 A CN202111150852 A CN 202111150852A CN 113920442 A CN113920442 A CN 113920442A
Authority
CN
China
Prior art keywords
graph
neural network
convolutional neural
scale
hyperspectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111150852.5A
Other languages
English (en)
Inventor
丁遥
张志利
蔡伟
赵晓枫
阳能军
尉成果
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rocket Force University of Engineering of PLA
Original Assignee
Rocket Force University of Engineering of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rocket Force University of Engineering of PLA filed Critical Rocket Force University of Engineering of PLA
Priority to CN202111150852.5A priority Critical patent/CN113920442A/zh
Publication of CN113920442A publication Critical patent/CN113920442A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种图结构与卷积神经相结合的高光谱图像分类方法。所述的卷积神经网络是可将三维分解为一维和二维卷积神经网络，超像素图网络是可用于后续的多尺度二维处理的超像素图网络；包括五大步骤：高光谱图像分割和光谱特征提取、基于图网络的多尺度特征提取、基于卷积神经网络的多尺度特征提取、特征融合和像素分类、损失函数和模型训练。与现有技术相比：本发明提供了一种新的多尺度融合网络及一种谱变换机制，可以提取基于多尺度超像素的图形特征和局部像素特征，利用一维提取图节点的谱特征；可抑制原始高光谱图像的噪声，提高图卷积神经网络对不同高光谱图像的适应性，提高分类精度，自动提取高光谱特征并完成分类。分类正确率达到93％以上。

Description

一种结合图结构与卷积神经网络的高光谱分类方法
技术领域
本发明涉及地理遥感技术领域，涉及一种图结构与卷积神经相结合的高光谱图像分类方法。
背景技术
从卫星或机载采集的高光谱图像包含数百个相邻波段，包含丰富的光谱-空间信息。由于高光谱的独特优势，可以在像素级区分土地覆盖类别，因此将每个像素分类为特定标签的高光谱分类引起了广泛关注。高光谱分类已应用于各个领域，如土地管理、环境监测、军事调查和农业评估。然而，高光谱高维度、标记训练样本不足和复杂的光谱噪声效应给高光谱分类带来了很大的困难，人们研究了各种方法来解决上述问题。N
在过去几十年中，各种机器学习分类方法已被用于高光谱分类。在早期阶段，光谱和空间信息通常是分开处理的，大多数分类器的都是在高维空间中分离光谱信息。例如，极限学习机(ELM)、逻辑回归和支持向量机(SVM)等分类方法。然而，这些方法通常侧重于光谱维度，而忽略了空间信息的分析，并且容易分类结果中产生了较大的误差或异常值。为了从高光谱图像中提取空间信息，已经提出了各种基于空间光谱的方法，例如形态轮廓(MP)和扩展的不均匀分布轮廓(EMAP)。此外，Gabor滤波器、小波、扩展形态轮廓滤波器和边缘保持滤波器都已应用于高光谱图像分类，用以提取高光谱图像的纹理特征。传统的机器学习方法为高光谱图像分类做出了巨大贡献。然而，上述方法都是经验性的，严重依赖专业知识，致使传统机器学习方法的鲁棒性和分类准确率低于深度学习方法，例如由Y.Cai,X.Liu,and Z.Cai发表在,"BS-Nets:An End-to-End Framework for Band Selection ofHyperspectral Image,"IEEE Geosci.Remote Sens.,vol.58,pp.1969-1984,2020一文中所披露的内容。与传统的特征提取技术相比，深度学习方法能够从标记数据中自动提取鲁棒的自适应深度特征。由于深度学习强大的特征学习能力，被广泛应用到各个领域。当然，深度学习在高光谱图像分类任务中也得到了很好的应用，并且表现出了优异的性能。例如，利用递归神经网络、堆叠自动编码器(SAE)和卷积神经网络(CNN)来提取高光谱图像的深层特征。在这些方法中，基于CNN的方法已成为高光谱图像分类最广泛采用的框架。此外，从一维CNN到三维CNN，从单一CNN到混合CNN，从高光谱图像中提取深度光谱空间特征的不同结构相继出现。然而，深度CNN方法面临着一些局限性。首先，深层CNN计算复杂，需要更高的计算能力。此外，由于对标记样本的需求，大多数CNN不适合使用有限的标记样本进行分类。最重要的是，上述深度学习方法是针对欧几里德数据设计的，而高光谱图像分类是高光谱图像覆盖类型之间的相关性容易被忽略，例如，由D.Hong,N.Yokoya,G.Xia,J.Chanussot,X.Zhu.发表在“X-ModalNet:A Semi-Supervised Deep Cross-Modal Network forClassification of Remote Sensing Data[J],”ISPRS J.Photogram.Remote Sens.,2020,167:12-23.一文中所披露的内容。因此，不管是传统机器学习方法还是深度学习中的卷积神经网络在高光谱分类中都面临一定的局限性。
发明内容
针对上述现有技术状况，本发明的目的在于，提供一种结合图结构与卷积神经网络的高光谱分类方法。
现将本发明方法构思及技术解决方案叙述如下：
本发明的基本构思是：首先提出一种结合图网络和卷积神经网络的高光谱图像多特征融合网络，在该网络中，利用基于超像素图网络来提取图像特征，利用多尺度图形机制从高光谱图像中提取多尺度空间特征，既解决超像素HSI特征提取问题，又集成图网络和卷积神经网络两个网络，然后提出一种双核卷积神经网络，用于从超所像素HSI中提取像素的多尺度局部特征，最后，引入级联运算融合四个分支的多尺度特征。
本发明一种结合图结构与卷积神经网络的高光谱分类方法所采用的技术方案是：提取图像特征和多尺度空间特征在超像素图网络和卷积神经网络进行，其特征在于：所述的卷积神经网络CNN是可将三维CNN分解为一维CNN和二维CNN的卷积神经网络CNN；所述的超像素图网络HSI是可用于后续的多尺度二维CNN处理的超像素图网络HSI；具体包括以下步骤：
步骤1：高光谱图像分割和光谱特征提取
步骤1.1：采用线性判别分析(LDA)降低光谱维数，采用简单线性迭代聚类(SLIC)将高光谱图片分割为超像素；具体而言，采用LDA-SLIC方法将高光谱图片分割为K＝[(H×W)/S]超级像素，其中H和W分别表示高光谱图片的高度和宽度，S(1≤S)是超级像素的分段比例，超级像素的数量由S决定；给定高光谱立方体IB＝{x1,x2,…,xm},具有m＝H×W个像素和B个波段，则超像素HSI可表示为
Figure BDA0003287126440000021
步骤1.2：两层一维卷积神经网络CNN的构建
为了通过网络训练抑制和消除原始高光谱图像的噪声，提取具有鉴别能力和鲁棒性的光谱特征，则采用两层一维卷积神经网络CNN，第b频谱段l卷积层的输出特性
Figure BDA0003287126440000031
表示为：
Figure BDA0003287126440000032
其中p0＝(x,y)是像素在高光谱图像中的空间位置，
Figure BDA0003287126440000033
和
Figure BDA0003287126440000034
分别是可训练权重(1×1卷积核)和偏差；σ(·)为激活功能，即ReLU；如等式(3)所示，所提出方法中空间位置p_0处像素的光谱特征向量可以写成
Figure BDA0003287126440000035
步骤1.3：将图网络与卷积神经网络紧密结合
关联矩阵
Figure BDA0003287126440000036
表示像素与超像素之间的关系，在像素与超像素之间架起一座桥梁，具体而言M可以计算为
Figure BDA0003287126440000037
其中xi是IB的第i个像素，“展平”(HSI)表示高光谱图像在空间维度中的展平操作。如等式(4)所述，可以实现空间像素和超级像素之间的映射；
步骤1.4：将每个超像素的平均光谱特征作为一个节点特征向量，图形节点特征可以数学表示为
Figure BDA0003287126440000038
其中Hi是第i个节点特征向量，Ni表示超级像素中包含的像素数量，
Figure BDA0003287126440000039
是如等式(3)所示的像素的光谱特征向量；
步骤2：基于图网络的多尺度特征提取
步骤2.1：为解决节点之间的空间关系丢失问题，采用整形操作，即
HSI＝reshape(Mi,j,H) (6)
通过整形操作，可以将图形特征投影回空间维度；
步骤2.2：为提高计算效率，将超像素作为图节点，给定一个图
Figure BDA00032871264400000310
邻接矩阵
Figure BDA0003287126440000041
可以表示为
Figure BDA0003287126440000042
其中Hi和Hj表示节点i,j的光谱特征，
Figure BDA0003287126440000043
是Hi的t跳邻居节点，γ＝0.2是一个经验值，可以通过聚集不同跳邻居节点来实现多尺度操作；
步骤2.3：采用多尺度GCN网络来处理该图，分支1中图卷积的第l层输出可计算为
Figure BDA0003287126440000044
其中，
Figure BDA0003287126440000045
是归一化后的l-1层输出；与式(8)类似，分支2中图卷积的l层输出可以表示为
Figure BDA0003287126440000046
步骤3：基于卷积神经网络的多尺度特征提取
步骤3.1：为解决三维卷积神经网络CNN不能很好地与图卷积神经网络GCN集成问题，本步骤采用三维CNN分解的策略将每个三维卷积核分解为二维卷积核和一维卷积核，一维卷积核用于从超像素HSI提取光谱特征，二维CNN用于从HSI中提取空间特征，该策略解决了CNN和GCN的融合问题，同时降低了参数并增强了鲁棒性；
步骤3.2：根据不同卷积核的CNN具有不同的感受野的不同提取的局部特征，本步骤采用多尺度具有不同内核的双分支网络结构CNN来提取特征，分支1采用3×32D内核，分支2采用5×52D内核，分支1中的l层卷积层的输出可计算为
Figure BDA0003287126440000047
其中，
Figure BDA0003287126440000048
是归一化后的第l-1层输出，
Figure BDA0003287126440000049
和
Figure BDA00032871264400000410
表示分支1中的第j个2D卷积核、1D卷积核和偏差，
Figure BDA00032871264400000411
定义标准采样网格，pn为卷积核位置；
步骤4：特征融合和像素分类
步骤4.1：多尺度图网络通过半监督学习解决两个基于图网络分支和两个基于卷积神经网络的分支标记样本不足的问题，多尺度卷积神经网络可以提取多尺度像素级特征，弥补基于超像素的方法的不足，最后采用级联操作融合四个分支的特征，即
Figure BDA00032871264400000412
其中，Y是多特征融合的输出，Cat(·)表示连接操作；
步骤4.2：为了确定每个像素的标签，使用softmax分类器对输出特征进行分类，即
Figure BDA0003287126440000051
其中，C表示土地覆盖物类别的数量ki和bi表示可训练参数和偏差；
步骤5：损失函数和模型训练
本步骤采用交叉熵函数来惩罚网络输出与原始标记标签之间的差异，即
Figure BDA0003287126440000052
其中yG是标签集合；C表示类的数量，Yzf是训练标签矩阵；本发明采用端到端的训练，并采用Adam更新发明的网络参数，至此，图结构与卷积神经网络相结合的高光谱分类方法完成。
本发明与现有技术相比的有益效果是：一是我们提出了一种新的多尺度融合网络，将多尺度图卷积神经网络GCN与多尺度卷积神经网络CNN相结合，可以提取基于多尺度超像素的图形特征和局部像素特征；二是提出了一种谱变换机制，利用一维CNN提取图节点的谱特征；三是抑制原始高光谱图像的噪声，提高GCN对不同高光谱图像的适应性，提高分类精度。本发明能够自动提取高光谱特征并完成分类。分类正确率达到93％以上。
附图说明
图1：本发明一种结合图结构与卷积神经网络的高光谱分类方法流程示意框图
具体实施方法
现结合附图对本发明的具体实施方式作进一步详细说明如下：
本发明实验是用GeForce GTX 1080Ti 11G GPU和3.70G Intel i9-10900K CPU的电脑上，在pytorch 1.8对本发明进行训练。在Pavia University、Salinas和Houston 2013数据集上利用本发明进行分类。
首先，首先对原始高光谱图像进行超像素分割，提取每个超像素块光谱特征；随后构建以超像素为节点的多尺度图；然后利用图网络对多尺度图进行特征提取，利用多尺度卷积神经网络对光谱特征进行特征提取；最后，对特征进行融合，利用交叉熵损失对图像特征进行解释，得到每个像素的标签，对节点进行预测。
本发明方法主要包括两个分支，即基于多尺度GCN的高光谱图像分类方法和基于多尺度CNN的高光谱图像分类方法。分支1采用半监督分类方法解决标记不足问题，分支2采用CNN解决单个像素分类错误问题。本发明将原始高光谱数据利用线性判别分析方法(LDA)降维后，利用线性迭代聚类算法(SLIC)对高光谱图像进行分割形成超像素，利用1×1卷积神经网络提取每个超像素的光谱特征，并作为作为后续多尺度卷积神经网络的输入特征；随后利用图理论构建超像素图网络；然后利用对尺度图算法对构建的图网络进行特征提取，利用多尺度卷积神经网络提取像素级多尺度特征；然后引入级联运算融合四个分支的多尺度特征，最后利用交叉熵来预测各像素标签。
在“高光谱图像分割和光谱特征提取”的步骤1中：采用LDA-SLIC方法将高光谱图片分割为K＝[(H×W)/S]超级像素，其中H和W分别表示高光谱图片的高度和宽度；S(1≤S)是超级像素的分段比例，它控制超级像素中包含的平均像素。也就是说，超级像素的数量由S决定。给定高光谱立方体IB＝{x1,x2,…,xm},具有m＝H×W个像素和B个波段；超像素HSI表示见式(1)；在实际应用中，提取超像素的光谱特征是一项困难的任务。一般的方法是直接从原始高光谱图像中提取每个像素的光谱值，然后计算超级像素中像素的光谱平均值。该方法简单直观，但不能通过网络训练抑制和消除原始高光谱图像的噪声。为了提取具有鉴别能力和鲁棒性的光谱特征，我们提出的一种新的两层一维CNN。第b频谱段l卷积层的输出特性
Figure BDA0003287126440000061
表示见式(2)、(3)；关联矩阵
Figure BDA0003287126440000062
表示像素与超像素之间的关系，在像素与超像素之间架起一座桥梁，将图网络与卷积神经网络紧密结合，M的计算见式(4)；每个超像素的平均光谱特征作为一个节点特征向量，图形节点特征的数学表示见式(5)。
在“基于图网络的多尺度方法”的步骤2中，为解决像素到区域转换和光谱特征提取后悔导致节点之间的空间关系丢失，给图的构造带来困难问题，采用了整形操作，见(6)；通过整形操作，我们可以将图形特征投影回空间维度；为了提高计算效率，在本算法中将超像素HST作为图节点，给定一个图
Figure BDA0003287126440000063
邻接矩阵
Figure BDA0003287126440000064
见式(7)；用多尺度图卷积神经网络GCN网络来处理该图；分支1中图卷积的第l层输出计算见式(8)；分支2中图卷积的l层输出计算见式(9)；
在“基于卷积神经网络的多尺度方法”的步骤3中：三维卷积神经网络结构具有从HSI中提取局部光谱空间信息的良好能力，在HSI分类中得到了广泛的应用，然而，3DCNN不能很好地与GCN集成，为了解决这个问题，我们采用了三维CNN分解的方法，即将每个三维卷积核分解为二维卷积核和一维卷积核。具体来说，一维卷积核用于从HSI提取光谱特征，用于超像素和随后的多尺度二维CNN。二维CNN用于从HSI中提取空间特征。该策略解决了CNN和GCN的融合问题，同时降低了参数并增强了鲁棒性。不同卷积核的CNN具有不同的感受野，因此网络提取的局部特征不同。在实践中，不同的分类目标需要不同尺度的局部特征。在这项工作中，我们提出了一种多尺度CNN来提取特征，即采用具有不同内核的双分支网络结构。具体来说，分支1采用3×32D内核，分支2采用5×52D内核。分支1中的l层卷积层的输出计算见式(10)；
在“特征融合和像素分类”的步骤4中：图1显示了四个分支网络，即两个基于图网络分支和两个基于卷积神经网络的分支。多尺度图网络通过半监督学习解决了标记样本不足的问题。同时，多尺度卷积神经网络可以提取多尺度像素级特征，弥补基于超像素的方法的不足。最后，采用级联操作融合四个分支的特征，见式(11)；为了确定每个像素的标签，使用softmax分类器对输出特征进行分类，见式(12)；
在“损失函数和模型训练”的步骤5中，采用了交叉熵函数来惩罚网络输出与原始标记标签之间的差异，见式(13)。
在本发明中，应设置三个超参数，即超像素个数S、迭代次数T和学习率lr。最优超参数设置如表1所示。
表1:不同数据集的超参数设置
Figure BDA0003287126440000071
分类结果：
实验是用GeForce GTX 1080Ti 11G GPU和3.70G Intel i9-10900K CPU的电脑上，在pytorch 1.8对本发明进行训练。在Pavia University、Salinas和Houston 2013数据集上利用本发明进行分类，采用整体分类精度(OA)、平均分类精度(AA)和卡帕系数(Kappa)作为衡量指标，每次试验运行10次，取平均值得到结果为
表2:三个标准数据集实验结果
Figure BDA0003287126440000072
Figure BDA0003287126440000081
表2三个标准数据集结果表明本发明对各数据集都具有良好的分类效果，对不同数据集都具有较好的适应性，达到了很高的分类精度。

Claims (6)

1.一种结合图结构与卷积神经网络的高光谱分类方法，提取图像特征和多尺度空间特征在超像素图网络和卷积神经网络进行，其特征在于：所述的卷积神经网络CNN是可将三维CNN分解为一维CNN和二维CNN的卷积神经网络CNN；所述的超像素图网络HSI是可用于后续的多尺度二维CNN处理的超像素图网络HSI；具体包括以下步骤：
步骤1：高光谱图像分割和光谱特征提取；
步骤2：基于图网络的多尺度特征提取；
步骤3：基于卷积神经网络的多尺度特征提取；
步骤4：特征融合和像素分类；
步骤5：损失函数和模型训练。
2.根据权利要求1所述的一种结合图结构与卷积神经网络的高光谱分类方法，其特征在于：步骤1中所述的“高光谱图像分割和光谱特征提取”的具体步骤如下：
步骤1.1：采用线性判别分析(LDA)降低光谱维数，采用简单线性迭代聚类(SLIC)将高光谱图片分割为超像素；具体而言，采用LDA-SLIC方法将高光谱图片分割为K＝[(H×W)/S]超级像素，其中H和W分别表示高光谱图片的高度和宽度，S(1≤S)是超级像素的分段比例，超级像素的数量由S决定；给定高光谱立方体IB＝{x1，x2，…，xm}，具有m＝H×W个像素和B个波段，则超像素HSI可表示为
Figure FDA0003287126430000011
步骤1.2：两层一维卷积神经网络CNN的构建
为了通过网络训练抑制和消除原始高光谱图像的噪声，提取具有鉴别能力和鲁棒性的光谱特征，则采用两层一维卷积神经网络CNN，第b频谱段l卷积层的输出特性
Figure FDA0003287126430000012
表示为：
Figure FDA0003287126430000013
其中p0＝(x，y)是像素在高光谱图像中的空间位置，
Figure FDA0003287126430000014
和
Figure FDA0003287126430000015
分别是可训练权重(1×1卷积核)和偏差；σ(·)为激活功能，即ReLU；如等式(3)所示，所提出方法中空间位置p_0处像素的光谱特征向量可以写成
Figure FDA0003287126430000016
步骤1.3：将图网络与卷积神经网络紧密结合
关联矩阵
Figure FDA0003287126430000021
表示像素与超像素之间的关系，在像素与超像素之间架起一座桥梁，具体而言M可以计算为
Figure FDA0003287126430000022
其中xi是IB的第i个像素，″展平″(HSI)表示高光谱图像在空间维度中的展平操作，如等式(4)所述，可以实现空间像素和超级像素之间的映射；
步骤1.4：将每个超像素的平均光谱特征作为一个节点特征向量，图形节点特征可以数学表示为
Figure FDA0003287126430000023
其中Hi是第i个节点特征向量，Ni表示超级像素中包含的像素数量，
Figure FDA0003287126430000024
是如等式(3)所示的像素的光谱特征向量。
3.根据权利要求1所述的一种结合图结构与卷积神经网络的高光谱分类方法，其特征在于：步骤2中所述的“基于图网络的多尺度特征提取”具体步骤如下：
步骤2.1：为解决节点之间的空间关系丢失问题，采用整形操作，即
HSI＝reshape(Mi，j，H) (6)
通过整形操作，可以将图形特征投影回空间维度；
步骤2.2：为提高计算效率，将超像素作为图节点，给定一个图
Figure FDA0003287126430000025
邻接矩阵
Figure FDA0003287126430000026
可以表示为
Figure FDA0003287126430000027
其中Hi和Hj表示节点i，j的光谱特征，
Figure FDA0003287126430000028
是Hi的t跳邻居节点，γ＝0.2是一个经验值，可以通过聚集不同跳邻居节点来实现多尺度操作；
步骤2.3：采用多尺度GCN网络来处理该图，分支1中图卷积的第l层输出可计算为
Figure FDA0003287126430000029
其中，
Figure FDA00032871264300000210
是归一化后的l-1层输出；与式(8)类似，分支2中图卷积的l层输出可以表示为
Figure FDA0003287126430000031
4.根据权利要求1所述的一种结合图结构与卷积神经网络的高光谱分类方法，其特征在于：步骤3中所述的“基于卷积神经网络的多尺度特征提取”的具体步骤如下：
步骤3.1：为解决三维卷积神经网络CNN不能很好地与图卷积神经网络GCN集成问题，本步骤采用三维CNN分解的策略将每个三维卷积核分解为二维卷积核和一维卷积核，一维卷积核用于从超像素HSI提取光谱特征，二维CNN用于从HSI中提取空间特征，该策略解决了CNN和GCN的融合问题，同时降低了参数并增强了鲁棒性；
步骤3.2：根据不同卷积核的CNN具有不同的感受野的不同提取的局部特征，本步骤采用多尺度具有不同内核的双分支网络结构CNN来提取特征，分支1采用3×3 2D内核，分支2采用5×5 2D内核，分支1中的l层卷积层的输出可计算为
Figure FDA0003287126430000032
其中，
Figure FDA0003287126430000033
是归一化后的第l-1层输出，
Figure FDA0003287126430000034
和
Figure FDA0003287126430000035
表示分支1中的第j个2D卷积核、1D卷积核和偏差，
Figure FDA0003287126430000036
定义标准采样网格，pn为卷积核位置。
5.根据权利要求1所述的一种结合图结构与卷积神经网络的高光谱分类方法，其特征在于：步骤4中所述的“特征融合和像素分类”的具体步骤如下：
步骤4.1：多尺度图网络通过半监督学习解决两个基于图网络分支和两个基于卷积神经网络的分支标记样本不足的问题，多尺度卷积神经网络可以提取多尺度像素级特征，弥补基于超像素的方法的不足，最后采用级联操作融合四个分支的特征，即
Figure FDA0003287126430000037
其中，Y是多特征融合的输出，Cat(·)表示连接操作；
步骤4.2：为了确定每个像素的标签，使用softmax分类器对输出特征进行分类，即
Figure FDA0003287126430000038
其中，C表示土地覆盖物类别的数量ki和bi表示可训练参数和偏差。
6.根据权利要求1所述的一种结合图结构与卷积神经网络的高光谱分类方法，其特征在于：步骤5中所述的“损失函数和模型训练”的具体步骤如下：
本步骤采用交叉熵函数来惩罚网络输出与原始标记标签之间的差异，即
Figure FDA0003287126430000041
其中yG是标签集合；C表示类的数量，Yzf是训练标签矩阵；本发明采用端到端的训练，并采用Adam更新发明的网络参数，至此，图结构与卷积神经网络相结合的高光谱分类方法完成。
CN202111150852.5A 2021-09-29 2021-09-29 一种结合图结构与卷积神经网络的高光谱分类方法 Pending CN113920442A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111150852.5A CN113920442A (zh) 2021-09-29 2021-09-29 一种结合图结构与卷积神经网络的高光谱分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111150852.5A CN113920442A (zh) 2021-09-29 2021-09-29 一种结合图结构与卷积神经网络的高光谱分类方法

Publications (1)

Publication Number Publication Date
CN113920442A true CN113920442A (zh) 2022-01-11

Family

ID=79236952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111150852.5A Pending CN113920442A (zh) 2021-09-29 2021-09-29 一种结合图结构与卷积神经网络的高光谱分类方法

Country Status (1)

Country Link
CN (1) CN113920442A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114373080A (zh) * 2022-03-22 2022-04-19 中国石油大学(华东) 基于全局推理的轻量化混合卷积模型的高光谱分类方法
CN116205928A (zh) * 2023-05-06 2023-06-02 南方医科大学珠江医院 腹腔镜手术视频的图像分割处理方法、装置和设备、介质
CN116824282A (zh) * 2023-08-31 2023-09-29 中国石油大学(华东) 融合多跳图卷积和注意力的半监督高光谱图像分类方法
US11847811B1 (en) 2022-07-26 2023-12-19 Nanjing University Of Posts And Telecommunications Image segmentation method combined with superpixel and multi-scale hierarchical feature recognition
WO2024021413A1 (zh) * 2022-07-26 2024-02-01 南京邮电大学 一种结合超像素和多尺度分层特征识别的图像分割方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114373080A (zh) * 2022-03-22 2022-04-19 中国石油大学(华东) 基于全局推理的轻量化混合卷积模型的高光谱分类方法
CN114373080B (zh) * 2022-03-22 2022-07-29 中国石油大学(华东) 基于全局推理的轻量化混合卷积模型的高光谱分类方法
US11847811B1 (en) 2022-07-26 2023-12-19 Nanjing University Of Posts And Telecommunications Image segmentation method combined with superpixel and multi-scale hierarchical feature recognition
WO2024021413A1 (zh) * 2022-07-26 2024-02-01 南京邮电大学 一种结合超像素和多尺度分层特征识别的图像分割方法
CN116205928A (zh) * 2023-05-06 2023-06-02 南方医科大学珠江医院 腹腔镜手术视频的图像分割处理方法、装置和设备、介质
CN116824282A (zh) * 2023-08-31 2023-09-29 中国石油大学(华东) 融合多跳图卷积和注意力的半监督高光谱图像分类方法
CN116824282B (zh) * 2023-08-31 2023-11-10 中国石油大学(华东) 融合多跳图卷积和注意力的半监督高光谱图像分类方法

Similar Documents

Publication Publication Date Title
CN113920442A (zh) 一种结合图结构与卷积神经网络的高光谱分类方法
CN110399909B (zh) 一种基于标签约束弹性网图模型的高光谱图像分类方法
CN108830326B (zh) 一种mri图像的自动分割方法及装置
CN105046276B (zh) 基于低秩表示的高光谱图像波段选择方法
Alidoost et al. A CNN-based approach for automatic building detection and recognition of roof types using a single aerial image
Ortac et al. Comparative study of hyperspectral image classification by multidimensional Convolutional Neural Network approaches to improve accuracy
Zhu et al. Multiscale short and long range graph convolutional network for hyperspectral image classification
Sharma et al. A survey on object instance segmentation
Guo et al. Dual graph U-Nets for hyperspectral image classification
CN114155443A (zh) 一种基于多感受野图注意力网络的高光谱图像分类方法
CN113592894A (zh) 一种基于边界框和同现特征预测的图像分割方法
Singh et al. Survey on machine learning and deep learning techniques for agriculture Land
Mhatre et al. Cotton leaves disease detection and cure using deep learning
CN115761240B (zh) 一种混沌反向传播图神经网络的图像语义分割方法及装置
CN104268535A (zh) 一种二维图像的特征提取方法
Zhu et al. Computer image analysis for various shading factors segmentation in forest canopy using convolutional neural networks
Pan et al. Enhanced FCN for farmland extraction from remote sensing image
CN115272670A (zh) 一种基于掩膜注意交互的sar图像舰船实例分割方法
CN111415350B (zh) 一种用于检测宫颈病变的阴道镜图像识别方法
Jannat et al. Supervised linear discriminant analysis for dimension reduction and hyperspectral image classification method based on 2d-3d cnn
Jing et al. Time series land cover classification based on semi-supervised convolutional long short-term memory neural networks
CN113989671A (zh) 基于语义感知与动态图卷积的遥感场景分类方法及系统
Wang et al. Strawberry ripeness classification method in facility environment based on red color ratio of fruit rind
Guedes et al. Image analysis for automatic measurement of crustose lichens
Patel et al. Survey on image fusion: Hand designed to deep learning algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination