CN115331063A - 基于动态超图卷积网络的高光谱图像分类方法及系统 - Google Patents

基于动态超图卷积网络的高光谱图像分类方法及系统 Download PDF

Info

Publication number
CN115331063A
CN115331063A CN202211069817.5A CN202211069817A CN115331063A CN 115331063 A CN115331063 A CN 115331063A CN 202211069817 A CN202211069817 A CN 202211069817A CN 115331063 A CN115331063 A CN 115331063A
Authority
CN
China
Prior art keywords
hypergraph
spectral
superpixel
super
hyperspectral image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211069817.5A
Other languages
English (en)
Inventor
徐沁
徐淑萌
刘金培
汤进
罗斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202211069817.5A priority Critical patent/CN115331063A/zh
Publication of CN115331063A publication Critical patent/CN115331063A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种基于动态超图卷积网络的高光谱图像分类方法及系统，属于深度学习及图像处理技术领域。本申请通过获取高光谱图像，对高光谱图像进行降维和超像素分割，通过两次超图构造，实现了特征的动态提取。由于是将整个高光谱图像作为输入，使用超像素分割技术将原始像素划分成超像素点，从而大幅度减少了计算量。并且本申请通过超像素点的特征标签可以确定一些未知原始像素点的特征标签，相当于隐式增加了样本数量，这使本申请的模型在少量训练样本的情况下就可以达到较高的分类精度。

Description

基于动态超图卷积网络的高光谱图像分类方法及系统
技术领域
本申请涉及深度学习及图像处理技术领域，特别涉及一种基于动态超图卷积网络的高光谱图像分类方法及系统。
背景技术
随着高光谱实时分类的技术逐步成熟，应用领域也逐渐从航天遥测、农业、食品安全、医学诊断等领域拓展到工业领域的产品质量检测和分类方面。
高光谱遥感是成像技术和细分光谱技术有机结合的成像光谱遥感。高光谱图像是由高光谱遥感器系统通过获取、记录带有地物信息的太阳辐射信号得到的含有上百通道且波段连续的图像。高光谱图像含有丰富的光谱和空间信息，由于不同成分对光谱吸收程度不同，在某个特定波长下图像对某个缺陷会有较显著的反映，这使得高光谱图像不仅可以反映样本的大小、形状、缺陷等外部品质特征，还可以充分反映样品内部的物理结构、化学成分的差异。
通过搭载在不同空间平台上的高光谱传感器，即成像光谱仪，捕获到的高光谱图像具有图谱合一且光谱信息丰富的特点，与普通图像和多光谱图像不同，高光谱图像具有上百个光谱特征。高光谱图像的高维特性、波段间高度相关性、光谱混合等特点使得高光谱图像分类面临巨大挑战。
现有的高光谱图像分类的方法大多数是基于卷积神经网络的，而卷积神经网络通常需要足够多的标记样本进行训练，这对于高光谱图像分类是非常困难的。同时，大部分的卷积神经网络架构都是将图片进行分批输入网络，这会导致网络不能捕捉到远距离上的像素之间的关系。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种基于动态超图卷积网络的高光谱图像分类方法及系统，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
第一方面，本申请提供一种基于动态超图卷积网络的高光谱图像分类方法包括：
获取高光谱图像，并对所述高光谱图像进行图像预处理；
对图像预处理后的所述高光谱图像进行超像素分割，以获得若干超像素点，每个超像素点对应若干原始像素点；
根据所述超像素点的第一光谱特征进行超图构造，以获取第一超图；
对所述第一超图进行超图卷积处理，得到所述超像素点的第二光谱特征；
根据所述超像素点的第二光谱特征重新进行超图构造，以获取第二超图；
对所述第二超图进行动态超图卷积处理，以获取每个所述超像素点的第三光谱特征；
根据所述超像素点与原始像素点的对应关系，将所述超像素的光谱特征转换成对应原始像素点的光谱特征；
基于所述原始像素点的光谱特征对所述原始像素点进行分类。
可选地，对图像预处理后的所述高光谱图像进行超像素分割，以获得若干超像素点的步骤，包括：
采用简单线性迭代聚类对图像预处理后的所述高光谱图像中的原始像素点进行聚类分组，以生成若干超像素点。
可选地，根据所述超像素点的第一光谱特征进行超图构造，以获取第一超图的步骤，具体包括：
根据图像预处理后的所述高光谱图像的原始像素点的光谱特征，计算获取每个所述超像素点的第一光谱特征，其中，每个所述超像素点的第一光谱特征为对应所述超像素点所包含的所有原始像素点的光谱特征的平均值；
基于所述超像素点的第一光谱特征的相似度构建第一超边，以获取超图关联矩阵，完成所述第一超图的构建。
可选地，在基于所述超像素点的第一光谱特征的相似度构建第一超边的步骤中，所述第一超边ei的定义公式如下：
Figure BDA0003829245280000031
其中，vi为一个超像素点节点，
Figure BDA0003829245280000032
为与超像素点节点vi相似度满足预设阈值的若干其他超像素点节点组成的邻域。
可选地，在对所述第一超图进行超图卷积处理，得到所述超像素点的第二光谱特征的步骤中，所述超图卷积的公式为：
Figure BDA0003829245280000033
其中，X表示输入的超像素点的光谱特征，H是超图关联矩阵，Dv和De分别是节点度矩阵和超边度矩阵，θ是可训练的参数矩阵，Y超图卷积输出的超像素点的光谱特征。
可选地，在根据所述超像素点的第二光谱特征重新进行超图构造，以获取第二超图的步骤中，根据所述超像素点的第二光谱特征，采用KNN方法和k-means聚类方法构成第二超边。
可选地，对所述第二超图进行动态超图卷积处理，以获取每个所述超像素点的第三光谱特征的步骤，具体包括：
对所述第二超图进行顶点卷积，以将每个所述超像素点的第二光谱特征聚合到所述第二超边，以获取超边特征；
对所述超边特征进行超边卷积，以将邻近超边特征聚集到所述超像素点，以获取所述超像素点的第三光谱特征。
可选地，所述对所述第二超图进行顶点卷积，以将每个所述超像素点的第二光谱特征聚合到所述第二超边，以获取超边特征的步骤，具体包括：
对所述超像素点的第二光谱特征进行全局平均池化操作，以获取所述超像素点的第四光谱特征；
在光谱维度上对所述超像素点的第四光谱特征进行一维卷积操作，并经过Sigmoid激活函数得到各个光谱维度的权重矩阵；
将权重矩阵与所述超像素点的第二光谱特征相乘，得到所述超像素点的第五光谱特征；根据所述超像素点的第五光谱特征，使用多层感知机学习以获取变换矩阵；
使用所述变换矩阵对所述超像素点的第五光谱特征进行变换，并使用一维卷积对变换后的特征进行压缩，以获取所述超边特征。
可选地，通过主成分分析或者卷积神经网络进行图像预处理。
另一方面，本申请还提供一种基于动态超图卷积网络的高光谱图像分类装置，包括：
图像降维模块，用于获取高光谱图像，并对所述高光谱图像进行图像预处理；
像素分割模块，用对图像预处理后的所述高光谱图像进行超像素分割，以获得若干超像素点，每个超像素点对应若干原始像素点；
第一超图构造模块，用于根据所述超像素点的第一光谱特征进行超图构造，以获取第一超图；
超图卷积模块，用于对所述第一超图进行超图卷积处理，得到所述超像素点的第二光谱特征；
第二超图构造模块，用于根据所述超像素点的第二光谱特征重新进行超图构造，以获取第二超图；
动态图卷积模块，用于对所述第二超图进行动态超图卷积处理，以获取每个所述超像素点的第三光谱特征；
特征转换模块，用于根据所述超像素点与原始像素点的对应关系，将所述超像素的光谱特征转换成对应原始像素点的光谱特征；
像素点分类模块，用于基于所述原始像素点的光谱特征对所述原始像素点进行分类。
上述基于动态超图卷积网络的高光谱图像分类方法及系统，通过获取高光谱图像，并对所述高光谱图像进行图像预处理；对图像预处理后的所述高光谱图像进行超像素分割，以获得若干超像素点，每个超像素点对应若干原始像素点；根据所述超像素点的第一光谱特征进行超图构造，以获取第一超图；对所述第一超图进行超图卷积处理，得到所述超像素点的第二光谱特征；根据所述超像素点的第二光谱特征重新进行超图构造，以获取第二超图；对所述第二超图进行动态超图卷积处理，以获取每个所述超像素点的第三光谱特征；根据所述超像素点与原始像素点的对应关系，将所述超像素的光谱特征转换成对应原始像素点的光谱特征；基于所述原始像素点的光谱特征对所述原始像素点进行分类。通过两次超图构造，能够实现超像素点的光谱特征/原始像素点的光谱特征的动态提取，并且由于是将整个高光谱图像作为输入，而不是像多数CNN划分成块，这可以使网络更好的提取全局特征。同时，使用超像素分割技术将原始像素划分成超像素，大幅度减少了计算量，并且通过超像素的标签可以确定一些未知像素点的标签，相当于隐式增加了样本数量，这让本申请提出的模型在少量训练样本的情况下就可以达到较高的分类精度。
附图说明
图1本申请的基于动态超图卷积网络的高光谱图像方法的一流程示意图。
图2示出了本申请的网络架构示意图。
图3示出了本申请的降维和维度重塑的示意图。
图4示出了高光谱图像中的目标像素点和相似像素点的位置关系示意图。
图5示出了顶点卷积的示意图。
图6示出了超边卷积的示意图。
图7a-7e分别示出了伪彩色图像、地面真实图、训练样本图、测试样本图及分类结构图。
图8示出了本申请的基于动态超图卷积网络的高光谱图像装置的一功能模块图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。
请参阅图1-8。需要说明的是，本实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
高光谱图像是由高光谱遥感器系统通过获取、记录带有地物信息的太阳辐射信号得到的含有上百通道且波段连续的图像。高光谱图像含有丰富的光谱和空间信息，由于不同成分对光谱吸收程度不同，在某个特定波长下图像对某个缺陷会有较显著的反映，这使得高光谱图像不仅可以反映样本的大小、形状、缺陷等外部品质特征，还可以充分反映样品内部的物理结构、化学成分的差异。这些特点决定了高光谱图像技术在精准农业领域的独特优势。
精准农业是一种将信息技术与农业生产全面结合的新型农业。精准农业以信息技术为支撑，采用3S(GPS、GIS和RS)等高新技术与现代农业技术相结合，根据空间变异，定位、定时、定量地实施一整套现代化农事操作与管理的系统。精准农业可最大限度地提高农业生产力，是实现优质、高产、低耗和环保的可持续发展农业的有效途径。
由于高光谱图像的高维特性、波段间高度相关性、光谱混合等特点使得高光谱图像分类面临巨大挑战。现有的高光谱图像分类的方法大多数是基于卷积神经网络的，而卷积神经网络通常需要足够多的标记样本进行训练，这对于高光谱图像分类是非常困难的。同时，大部分的卷积神经网络架构都是将图片进行分批输入网络，这会导致网络不能捕捉到远距离上的像素之间的关系。
基于此，本申请公开一种基于动态超图卷积网络的高光谱图像分类方法，可应用于精准农业的高光谱图像分类。图1示出了本申请的一实施例的基于动态超图卷积网络的高光谱图像分类方法。如图1所示，所述基于动态超图卷积网络的高光谱图像分类方法，包括：
S10：获取高光谱图像，并对所述高光谱图像进行图像预处理；
S20：对图像预处理后的所述高光谱图像进行超像素分割，以获得若干超像素点，每个超像素点对应若干原始像素点；
S30：根据所述超像素点的第一光谱特征进行超图构造，以获取第一超图；
S40：对所述第一超图进行超图卷积处理，得到所述超像素点的第二光谱特征；
S50：根据所述超像素点的第二光谱特征重新进行超图构造，以获取第二超图；
S60：对所述第二超图进行动态超图卷积处理，以获取每个所述超像素点的第三光谱特征；
S70：根据所述超像素点与原始像素点的对应关系，将所述超像素的光谱特征转换成对应原始像素点的光谱特征；
S80：基于所述原始像素点的光谱特征对所述原始像素点进行分类。
需要说明的是，本实施例的基于动态超图卷积网络的高光谱图像分类方法除了可应用于精准农业领域，还可以应用于航天领域、食品安全、医学诊断、流水线工业分类质检、军事领域、地质勘测等领域。
本实施例的基于动态超图卷积网络的高光谱图像分类方法通过图2所示的网络架构实现，下面将结合该网络架构来详细阐述本实施例的技术方案。
首先，执行步骤S10：获取高光谱图像，并对所述高光谱图像进行图像预处理。
由于高光谱图像与普通图像及高光谱图像不同，高光谱图像光谱波段具有上百维，将主成分分析(PCA)应用于高光谱图像上，可以有效的去除光谱冗余波段，方便更好得提取光谱特征。如图3所示，通过PCA降维操作，也即图像预处理操作，将原本高光谱图像的光谱波段数由c维降低至d维。
需要说明的是，在其他实施例中，也可通过一维卷积神经网络(1D CNN)对所述高光谱图像进行图像预处理来去除高光谱图像中的冗余波段，方便更好得提取光谱特征。譬如利用BN和二维卷积(1×1的卷积核)实现)对所述高光谱图像进行图像预处理。
其次，执行步骤S20：对图像预处理后的所述高光谱图像进行超像素分割，以获得若干超像素点，每个超像素点对应若干原始像素点。
由于高光谱图像中的原始像素点有上千个，虽然我们可以将图像中的原始像素视为超图中的节点，但超图的构建需要邻接矩阵，这个矩阵是十分庞大的，这将大幅提高计算成本。
为了解决这一问题，如图2和3所示，在申请的网络架构中，采用简单线性迭代聚类(SLIC)将图像预处理后所述高光谱图像的原始像素点进行分组。大致将n个原始像素点通过k-means聚类的方法生成一个超像素点，将SLIC生成的m个超像素点作为超图中的节点。
Figure BDA0003829245280000081
H和W分别表示高光谱图像的高度和宽度。超像素分割可以根据光谱和空间的加权欧氏距离将相似的像素分割成均匀的区域，分割后得到的超像素S＝{s1，s2，…sm}具有局部同质性。需要说明的是，实际处理时，每个超像素点中包含的原始像素的个数并不相同。
通过超像素分割，每一个原始像素点都对应一个超像素点，而高光谱图像的最后分类是针对每一个原始像素点进行分类的，需要将得到的超像素点的光谱特征分配给每一个原始像素。
由于不同的超像素包含不同数量的原始像素，很难通过网络直接计算，为此，可利用np.reshape对超像素分割后的高光谱图像进行维度重塑，将原三维高光谱图像中的长和宽相乘转换为二维矩阵，如图3所示。从图3可以看出来维度重塑后的二维矩阵的维度分别是H×W和d，d是降维后的高光谱图像的光谱波段数，H×W的值表示高光谱图像中所有原始像素点的个数。
编码器(Encoder)和解码器(Decoder)中定义了一个映射矩阵O∈RHW×m将超像素与原始像素进行相互转换。其中X∈RHW×d表示的是由3D的高光谱图像沿着光谱空间维度重塑成的2D矩阵。映射矩阵O的表示为
Figure BDA0003829245280000091
通过以下公式实现特征转换：
Figure BDA0003829245280000092
Figure BDA0003829245280000093
其中
Figure BDA0003829245280000094
是按列进行归一化的映射矩阵O，V表示由超像素点构成的节点，
Figure BDA0003829245280000095
为经过特征提取后超像素垫构成的节点，
Figure BDA0003829245280000096
表示经过解码器操作后得到的原始像素点。经过SLIC操作、维度重塑及编码器(Encoder)后得到V，分割后的特征可以看作是一个无向图G＝(V，E)，其中V和E分别表示节点和边。
接着，执行步骤S30：根据所述超像素点的第一光谱特征进行超图构造，以获取第一超图。
超图是一种广义的图模型，与所有边的度都是2的简单图相比，超图的特点是一条超边可以连接多个点。超图的描述比较自由化，在多模态和异构的情况下更易于扩展。超图可以结合邻接矩阵，对物体的高阶关系进行建模，这在许多计算机视觉任务中显示出强大的数据表示能力，如语义划分、图数据的分割、三维物体分类、多模态数据分析。超图中的超边可以连接多个顶点，这更有利于网络捕获到更多远距离相似节点的特征，这对高光谱图像分类是很有意义。
在一示例性实施例中，根据所述超像素点的第一光谱特征进行超图构造，以获取第一超图的步骤，具体包括：
根据图像预处理后的所述高光谱图像的原始像素点的光谱特征，计算获取每个所述超像素点的第一光谱特征，其中，每个所述超像素点的第一光谱特征为对应所述超像素点所包含的所有原始像素点的光谱特征的平均值；
基于所述超像素点的第一光谱特征的相似度构建第一超边，以获取超图关联矩阵，完成所述第一超图的构建。
本申请将每一个超像素点作为超图的一个节点进行构图，超图的节点特征(也即对应超级像素点的第一光谱特征)是超像素点中所包含的所有像素特征的平均值。假设第i个超像素点是由j个原始像素构成的，每一个原始像素点的光谱向量d可以表示为dα∈R1×d(α＝1，2，…，j)。节点的特征fβ(也即对应超级像素点的第一光谱特征)计算公式为
Figure BDA0003829245280000101
高光谱图像的一个原始像素点的分类不仅可能受益于邻居像素点，还有可能是远端的像素点。与CNN卷积不同，CNN的感受野较小，无法获取远端像素的有效信息。而图结构不受限于距离，是将整张高光谱图像作为输入，而不是像大部分基于CNN的网络架构要分割成块再输入，这可以使网络更好的提取全局特征。图4说明了高光谱图像中的目标像素点和相似像素点的位置关系，这更能体现基于图结构的网络框架的优势。
本申请通过构建超图模型进行特征提取。与普通图一条边只连接两个节点不同，超图中的每一条超边都可以连接多个节点。超边的这种多节点连接方式，可以更好得提取特征。每一个像素点可以与多个相似像素点相连接，提取的特征更全面。
为了更好得获取高光谱图像的全局特征，利用KNN方法，根据节点之间的光谱特征相似度构建超边。给定一个节点vi，选择与vi最相似的n个节点vj，这与目标节点相近，也即与目标节点相似度满足预设阈值的n个其他节点vj组成了节点vi的邻域
Figure BDA0003829245280000102
超边ei的定义公式如下
Figure BDA0003829245280000103
从而每个节点对应一个超边，也即超边的个数与节点的个数一致，均为m。
超图的关联矩阵H∈Rm×m可以定义为
Figure BDA0003829245280000111
在构建超图时将每一条超边的权重都设为1，那么超边的权重矩阵W∈Rm×m即为单位矩阵。节点度矩阵Dv∈Rm×m表示为
Figure BDA0003829245280000112
超边度矩阵De∈Rm×m表示为
Figure BDA0003829245280000113
接着，执行步骤S40：对所述第一超图进行超图卷积处理，得到所述超像素点的第二光谱特征。
超图卷积是一种基于超图模型的卷积方法。超图卷积能够通过超图结构计算复杂的高阶数据相关性，并通过信息传播来更新节点的特征。超图卷积通过节点-边缘-节点变换有效地提取超图的高阶相关性。
本申请的架构将超像素点作为节点，用KNN的方法获取超边后，得到了超图结构。为了进一步提取特征，我们在构建的超图上进行了两次(当然也可以是一次，三次及三次以上)超图卷积运算，最后一层超图卷积的输出值作为超像素点的第二光谱特征。
对于一个超图G＝(V，E，W)，其中V和E分别表示为顶点集和超边集，对角矩阵W表示为超边权重矩阵。顶点的个数即为划分的超像素的个数m个，超图卷积的公式为
Figure BDA0003829245280000114
其中
Figure BDA0003829245280000115
表示m个节点和c1维的特征，也即输入的超像素点的光谱特征，H∈Rm×m是超图关联矩阵，Dv和De分别是节点度矩阵和超边度矩阵，
Figure BDA0003829245280000116
是可训练的参数矩阵，在超图的节点上应用θ过滤器来提取特征。经过卷积操作得到
Figure BDA0003829245280000117
也即Y是超图卷积输出的超像素点的光谱特征。经过超图卷积操作节点的特征由
Figure BDA0003829245280000118
转换成
Figure BDA0003829245280000119
l表示层数(对应超图卷积的个数，在图2中取值为2)，每一层的超图卷积公式为
Figure BDA0003829245280000121
接着，执行步骤S50：根据所述超像素点的第二光谱特征重新进行超图构造，以获取第二超图。在第二超图的构造过程中，根据所述超像素点的第二光谱特征，采用KNN方法和k-means聚类方法构成第二超边。
经过两次超图卷积操作后，得到的顶点特征为X＝[x1；x2；…；xm]，其中xi(i＝1，2，…，m表示的是第i个超像素顶点的光谱特征。通过图2中的动态超图模块DHG，利用这些顶点的特征，重新构建一个超图。在DHG模块中，我们采用KNN方法和k-means聚类方法分别基于局部特征和全局特征更新超图结构。采用KNN方法生成基本超边，并通过聚类算法扩展相邻超边集，即k-means聚类。对于KNN方法，我们计算了每个顶点u和其k-1(k值可配置，例如可以取值为12，18等)个最邻近的顶点，这些邻近顶点与顶点u一起，构成了一条超边。对于k-means方法，我们根据欧氏距离将所有的顶点分成S个簇，对于每个顶点，最近的S-1簇将被分配为该顶点的相邻超边。通过动态超图构造方法可以提取局部和全局特征。
接着，执行步骤S60：对所述第二超图进行动态超图卷积处理，以获取每个所述超像素点的第三光谱特征。
在一示例性实施例中，对所述第二超图进行动态超图卷积处理，以获取每个所述超像素点的第三光谱特征的步骤，包括：
对所述第二超图进行顶点卷积，以将每个所述超像素点的第二光谱特征聚合到所述第二超边，以获取超边特征。
对所述超边特征进行超边卷积，以将邻近超边特征聚集到所述超像素点，以获取所述超像素点的第三光谱特征。
在一示例性实施例中，在对所述第二超图进行顶点卷积，以将每个所述超像素点的第二光谱特征聚合到所述第二超边，以获取超边特征时，首先，对所述超像素点的第二光谱特征进行全局平均池化操作，以获取所述超像素点的第四光谱特征；接着，在光谱维度上对所述超像素点的第四光谱特征进行一维卷积操作，并经过Sigmoid激活函数得到各个光谱维度的权重矩阵；将权重矩阵与所述超像素点的第二光谱特征相乘，得到所述超像素点的第五光谱特征；根据所述超像素点的第五光谱特征，使用多层感知机学习以获取变换矩阵；使用所述变换矩阵对所述超像素点的第五光谱特征进行变换，并使用一维卷积对变换后的特征进行压缩，以获取所述超边特征。
下面将结合具体示例来分别说明顶点卷积(Vertex Conv)和超边卷积(HyperedgeConv)。
顶点卷积(Vertex Conv)
如图5所示，假设第二超图中的每一条超边上有n个顶点，每个顶点的光谱维特征为d维，首先将输入原始顶点特征进行全局平均池化(GAP)操作，然后在光谱维度上进行一维卷积操作，卷积核大小为k，并经过Sigmoid激活函数得到各个光谱维度的权重矩阵W，公式为
W＝σ(Conv1k(y))
其中，Conv1表示一维卷积，k是卷积核的大小，y是全局平均池化操作后的特征(也即所述超像素点的第四光谱特征)。得到的权重矩阵W与原始顶点特征的对应元素相乘，得到一个新的顶点特征
Figure BDA0003829245280000131
(也即所述超像素点的第五光谱特征)。我们从新顶点特征图中使用多层感知机(MLP)学习变换矩阵T(Transformmatrix)，进行特征排列和加权，并使用一维卷积对变换后的特征进行压缩。公式如下
Figure BDA0003829245280000132
Figure BDA0003829245280000133
通过以上操作将顶点特征聚合到超边得到超边特征Xe，对光谱特征进行进一步提取。
超边卷积(Hyperedge Cony)
通过超边卷积将由顶点卷积得到的超边特征聚合为质心顶点特征。如图6所示，对于超边卷积，我们采用注意机制，利用多层感知机(MLP)生成每条超边的权值。输出质心顶点特征计算为输入超边特征的加权和。过程公式为
w＝softmax(XeW+b)
Figure BDA0003829245280000141
其中，Xe是由顶点卷积得到的质心顶点所在的超边xe组成的，即所有的相邻超边特征。n表示相邻超边集的超边数量，X表示超边卷积后得到的质心顶点特征(也即所述超像素点的第三光谱特征)，W和b为可学习参数。
接着，S70：根据所述超像素点与原始像素点的对应关系，将所述超像素的光谱特征转换成对应原始像素点的光谱特征。
经过超像素的特征提取后，通过解码器(Decoder))将超像素点的光谱特征转换成了原始像素的光谱特征。
最后，S80：基于所述原始像素点的光谱特征对所述原始像素点进行分类。
具体地是将获取的原始像素点的光谱特征输入到全连接层中，实现原始像素的分类。全连接层的表达式为：
Figure BDA0003829245280000142
其中，
Figure BDA0003829245280000143
表示经过解码器操作后得到的原始像素，FC()为全连接层，Y为最终像素级分类结果。
分类后，可以计算损失函数(Loss Function)来评价分类的准确定。
损失函数采用的是交叉熵损失函数，公式为
Figure BDA0003829245280000144
其中，C是高光谱图像中原始像素点的类别总数，T是训练原始像素点的总数，如果第t个原始像素点属于第c个类的真值为
Figure BDA0003829245280000151
是第t个像素的预测输出。
数据集分类示意图如图7a-7e所示，其中，图7a-7e分别示出了伪彩色图像、地面真实图、训练样本图、测试样本图及分类结构图。从图中可以看出，训练样本图只采用少量像素作为训练样本(图7e中小点)，而测试样本集采用除训练样本之外的其他像素。采用少量训练样本是因为通过超像素的特征标签可以确定一些未知像素点的特征标签，相当于隐式增加了样本数量，这让本申请提出的模型在少量训练样本的情况下就可以达到较高的分类精度。
需要说明的是，上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
图8为本申请实施例提供的基于动态超图卷积网络的高光谱图像装置的一个功能模块图。请参阅图5所示，所述基于动态超图卷积网络的高光谱图像装置11，包括图像获取降维模块111，像素分割模块112，第一超图构造模块113，超图卷积模块114，第二超图构造模块115，动态图卷积模块116，特征转换模块117及像素点分类模块118。
其中，图像获取降维模块111，用于获取高光谱图像，并对所述高光谱图像进行图像预处理；像素分割模块112，用对图像预处理后的所述高光谱图像进行超像素分割，以获得若干超像素点，每个超像素点对应若干原始像素点；第一超图构造模块113，用于根据所述超像素点的第一光谱特征进行超图构造，以获取第一超图；超图卷积模块114，用于对所述第一超图进行超图卷积处理，得到所述超像素点的第二光谱特征；第二超图构造模块115，用于根据所述超像素点的第二光谱特征重新进行超图构造，以获取第二超图；动态图卷积模块116，用于对所述第二超图进行动态超图卷积处理，以获取每个所述超像素点的第三光谱特征；特征转换模块117，用于根据所述超像素点与原始像素点的对应关系，将所述超像素的光谱特征转换成对应原始像素点的光谱特征；像素点分类模块118，用于基于所述原始像素点的光谱特征对所述原始像素点进行分类。
需要说明的是，本实施例的基于动态超图卷积网络的高光谱图像装置11是与上述基于动态超图卷积网络的高光谱图像方法相对应的装置，基于动态超图卷积网络的高光谱图像装置11中的功能模块或者分别对应基于动态超图卷积网络的高光谱图像方法中的相应步骤。本实施例的基于动态超图卷积网络的高光谱图像装置11可与基于动态超图卷积网络的高光谱图像方法相互相配合实施。相应地，本实施例的基于动态超图卷积网络的高光谱图像装置11中提到的相关技术细节也可应用在上述基于动态超图卷积网络的高光谱图像方法中。
需要说明的是，上述的各功能模块实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的部分或全部步骤，或以上的各功能模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
综上所述，本申请的基于动态超图卷积网络的高光谱图像分类方法及系统，通过获取高光谱图像，并对所述高光谱图像进行图像预处理；对图像预处理后的所述高光谱图像进行超像素分割，以获得若干超像素点，每个超像素点对应若干原始像素点；根据所述超像素点的第一光谱特征进行超图构造，以获取第一超图；对所述第一超图进行超图卷积处理，得到所述超像素点的第二光谱特征；根据所述超像素点的第二光谱特征重新进行超图构造，以获取第二超图；对所述第二超图进行动态超图卷积处理，以获取每个所述超像素点的第三光谱特征；根据所述超像素点与原始像素点的对应关系，将所述超像素的光谱特征转换成对应原始像素点的光谱特征；基于所述原始像素点的光谱特征对所述原始像素点进行分类。通过两次超图构造，能够实现超像素点的光谱特征/原始像素点的光谱特征的动态提取，并且由于是将整个高光谱图像作为输入，而不是像多数CNN划分成块，这可以使网络更好的提取全局特征。同时，使用超像素分割技术将原始像素划分成超像素，大幅度减少了计算量，并且通过超像素的标签可以确定一些未知像素点的标签，相当于隐式增加了样本数量，这让本申请提出的模型在少量训练样本的情况下就可以达到较高的分类精度。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。
以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (10)

1.一种基于动态超图卷积网络的高光谱图像分类方法，其特征在于，包括：
获取高光谱图像，并对所述高光谱图像进行图像预处理；
对图像预处理后的所述高光谱图像进行超像素分割，以获得若干超像素点，每个超像素点对应若干原始像素点；
根据所述超像素点的第一光谱特征进行超图构造，以获取第一超图；
对所述第一超图进行超图卷积处理，得到所述超像素点的第二光谱特征；
根据所述超像素点的第二光谱特征重新进行超图构造，以获取第二超图；
对所述第二超图进行动态超图卷积处理，以获取每个所述超像素点的第三光谱特征；
根据所述超像素点与原始像素点的对应关系，将所述超像素的光谱特征转换成对应原始像素点的光谱特征；
基于所述原始像素点的光谱特征对所述原始像素点进行分类。
2.根据权利要求1所述的基于动态超图卷积网络的高光谱图像分类方法，其特征在于，对图像预处理后的所述高光谱图像进行超像素分割，以获得若干超像素点的步骤，包括：
采用简单线性迭代聚类对图像预处理后的所述高光谱图像中的原始像素点进行聚类分组，以生成若干超像素点。
3.根据权利要求1所述的基于动态超图卷积网络的高光谱图像分类方法，其特征在于，根据所述超像素点的第一光谱特征进行超图构造，以获取第一超图的步骤，具体包括：
根据图像预处理后的所述高光谱图像的原始像素点的光谱特征，计算获取每个所述超像素点的第一光谱特征，其中，每个所述超像素点的第一光谱特征为对应所述超像素点所包含的所有原始像素点的光谱特征的平均值；
基于所述超像素点的第一光谱特征的相似度构建第一超边，以获取超图关联矩阵，完成所述第一超图的构建。
4.根据权利要求3所述的基于动态超图卷积网络的高光谱图像分类方法，其特征在于，在基于所述超像素点的第一光谱特征的相似度构建第一超边的步骤中，所述第一超边ei的定义公式如下：
Figure FDA0003829245270000021
其中，vi为一个超像素点节点，
Figure FDA0003829245270000022
为与超像素点节点vi相似度满足预设阈值的若干其他超像素点节点组成的邻域。
5.根据权利要求2所述的基于动态超图卷积网络的高光谱图像分类方法，其特征在于，在对所述第一超图进行超图卷积处理，得到所述超像素点的第二光谱特征的步骤中，所述超图卷积的公式为：
Figure FDA0003829245270000023
其中，X是输入的超像素点的光谱特征，H是超图关联矩阵，Dv和De分别是节点度矩阵和超边度矩阵，θ是可训练的参数矩阵，Y是超图卷积输出的超像素点的光谱特征。
6.根据权利要求1所述的基于动态超图卷积网络的高光谱图像分类方法，其特征在于，在根据所述超像素点的第二光谱特征重新进行超图构造，以获取第二超图的步骤中，根据所述超像素点的第二光谱特征，采用KNN方法和k-means聚类方法构成第二超边。
7.根据权利要求1所述的基于动态超图卷积网络的高光谱图像分类方法，其特征在于，对所述第二超图进行动态超图卷积处理，以获取每个所述超像素点的第三光谱特征的步骤，具体包括：
对所述第二超图进行顶点卷积，以将每个所述超像素点的第二光谱特征聚合到所述第二超边，以获取超边特征；
对所述超边特征进行超边卷积，以将邻近超边特征聚集到所述超像素点，以获取所述超像素点的第三光谱特征。
8.根据权利要求7所述的基于动态超图卷积网络的高光谱图像分类方法，其特征在于，所述对所述第二超图进行顶点卷积，以将每个所述超像素点的第二光谱特征聚合到所述第二超边，以获取超边特征的步骤，具体包括：
对所述超像素点的第二光谱特征进行全局平均池化操作，以获取所述超像素点的第四光谱特征；
在光谱维度上对所述超像素点的第四光谱特征进行一维卷积操作，并经过Sigmoid激活函数得到各个光谱维度的权重矩阵；
将权重矩阵与所述超像素点的第二光谱特征相乘，得到所述超像素点的第五光谱特征；根据所述超像素点的第五光谱特征，使用多层感知机学习以获取变换矩阵；
使用所述变换矩阵对所述超像素点的第五光谱特征进行变换，并使用一维卷积对变换后的特征进行压缩，以获取所述超边特征。
9.根据权利要求1-8中任意一项所述的基于动态超图卷积网络的高光谱图像分类方法，其特征在于，通过主成分分析或者卷积神经网络进行图像预处理。
10.一种基于动态超图卷积网络的高光谱图像分类装置，其特征在于，包括：
图像获取降维模块，用于获取高光谱图像，并对所述高光谱图像进行图像预处理；
像素分割模块，用对图像预处理后的所述高光谱图像进行超像素分割，以获得若干超像素点，每个超像素点对应若干原始像素点；
第一超图构造模块，用于根据所述超像素点的第一光谱特征进行超图构造，以获取第一超图；
超图卷积模块，用于对所述第一超图进行超图卷积处理，得到所述超像素点的第二光谱特征；
第二超图构造模块，用于根据所述超像素点的第二光谱特征重新进行超图构造，以获取第二超图；
动态图卷积模块，用于对所述第二超图进行动态超图卷积处理，以获取每个所述超像素点的第三光谱特征；
特征转换模块，用于根据所述超像素点与原始像素点的对应关系，将所述超像素的光谱特征转换成对应原始像素点的光谱特征；
像素点分类模块，用于基于所述原始像素点的光谱特征对所述原始像素点进行分类。
CN202211069817.5A 2022-09-02 2022-09-02 基于动态超图卷积网络的高光谱图像分类方法及系统 Pending CN115331063A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211069817.5A CN115331063A (zh) 2022-09-02 2022-09-02 基于动态超图卷积网络的高光谱图像分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211069817.5A CN115331063A (zh) 2022-09-02 2022-09-02 基于动态超图卷积网络的高光谱图像分类方法及系统

Publications (1)

Publication Number Publication Date
CN115331063A true CN115331063A (zh) 2022-11-11

Family

ID=83929598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211069817.5A Pending CN115331063A (zh) 2022-09-02 2022-09-02 基于动态超图卷积网络的高光谱图像分类方法及系统

Country Status (1)

Country Link
CN (1) CN115331063A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188829A (zh) * 2022-12-12 2023-05-30 湖南工商大学 基于超图正则深度非负矩阵分解的图像聚类方法
CN117034778A (zh) * 2023-08-28 2023-11-10 黑龙江省网络空间研究中心(黑龙江省信息安全测评中心、黑龙江省国防科学技术研究院) 基于Hypergraph-Transformer结构反演地上生物量的方法
CN117315381A (zh) * 2023-11-30 2023-12-29 昆明理工大学 一种基于二阶有偏随机游走的高光谱图像分类方法
CN118072180A (zh) * 2024-04-17 2024-05-24 昆明理工大学 一种基于关键子超图增强的高光谱图像分类方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188829A (zh) * 2022-12-12 2023-05-30 湖南工商大学 基于超图正则深度非负矩阵分解的图像聚类方法
CN116188829B (zh) * 2022-12-12 2024-01-05 湖南工商大学 基于超图正则深度非负矩阵分解的图像聚类方法
CN117034778A (zh) * 2023-08-28 2023-11-10 黑龙江省网络空间研究中心(黑龙江省信息安全测评中心、黑龙江省国防科学技术研究院) 基于Hypergraph-Transformer结构反演地上生物量的方法
CN117315381A (zh) * 2023-11-30 2023-12-29 昆明理工大学 一种基于二阶有偏随机游走的高光谱图像分类方法
CN117315381B (zh) * 2023-11-30 2024-02-09 昆明理工大学 一种基于二阶有偏随机游走的高光谱图像分类方法
CN118072180A (zh) * 2024-04-17 2024-05-24 昆明理工大学 一种基于关键子超图增强的高光谱图像分类方法

Similar Documents

Publication Publication Date Title
CN115331063A (zh) 基于动态超图卷积网络的高光谱图像分类方法及系统
CN113128134B (zh) 一种矿区生态环境演变驱动因子权重量化分析方法
Zhao et al. Fractional Fourier image transformer for multimodal remote sensing data classification
Dua et al. Convolution neural network based lossy compression of hyperspectral images
CN110084311B (zh) 基于三元权值卷积神经网络的高光谱图像波段选择方法
CN111310666A (zh) 一种基于纹理特征的高分辨率影像地物识别与分割方法
CN111626267B (zh) 一种利用空洞卷积的高光谱遥感图像分类方法
CN113344103B (zh) 基于超图卷积神经网络的高光谱遥感图像地物分类方法
CN117475216A (zh) 一种基于aglt网络的高光谱与激光雷达数据融合分类方法
Zhao et al. High-resolution remote sensing bitemporal image change detection based on feature interaction and multitask learning
CN115578632A (zh) 基于膨胀卷积的高光谱图像分类方法
CN116258914B (zh) 基于机器学习及局部和全局特征融合的遥感图像分类方法
CN112446256A (zh) 一种基于深度isa数据融合的植被类型识别方法
CN116912550A (zh) 一种基于地物依赖关系的异构卷积网络遥感影像土地利用并行分类方法
CN111274936A (zh) 多光谱图像地物分类方法、系统、介质及终端
CN115272766A (zh) 一种基于混合傅立叶算子Transformer网络的高光谱图像分类方法
Chen et al. Hyperspectral remote sensing IQA via learning multiple kernels from mid-level features
CN113887656B (zh) 一种联合深度学习与稀疏表示的高光谱图像分类方法
CN112907495B (zh) 高光谱图像的空间分辨率增强方法、装置及电子设备
Gupta et al. Remote sensing image classification using deep learning
Varma et al. HSIS-Net: Hyperspectral Image Segmentation Using Multi-view Active Learning Based FCSN.
CN114998725A (zh) 基于自适应空谱注意力核生成网络的高光谱图像分类方法
Khanzadi et al. Robust fuzzy rough set based dimensionality reduction for big multimedia data hashing and unsupervised generative learning
Shen et al. Graph-Represented Distribution Similarity Index for Full-Reference Image Quality Assessment
Xu et al. High–Low frequency reduction model for real-time change detection and coregistration in location discrepancy sensing images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination