CN115375941A - 基于gat和3d-cnn的多特征融合高光谱图像分类方法 - Google Patents

基于gat和3d-cnn的多特征融合高光谱图像分类方法 Download PDF

Info

Publication number
CN115375941A
CN115375941A CN202211007408.2A CN202211007408A CN115375941A CN 115375941 A CN115375941 A CN 115375941A CN 202211007408 A CN202211007408 A CN 202211007408A CN 115375941 A CN115375941 A CN 115375941A
Authority
CN
China
Prior art keywords
gat
classifier
hyperspectral image
feature fusion
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211007408.2A
Other languages
English (en)
Inventor
尤佳
李京兵
龚诚
郑俊华
唐浩
刘婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainan University
Original Assignee
Hainan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainan University filed Critical Hainan University
Priority to CN202211007408.2A priority Critical patent/CN115375941A/zh
Publication of CN115375941A publication Critical patent/CN115375941A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及高光谱图像处理领域，公开了一种基于GAT和3D‑CNN的多特征融合高光谱图像分类方法，该方法包括：构建多特征融合模型；多特征融合模型包括3D‑CNN分类器和GAT分类器；将待测高光谱图像数据输入至多特征融合模型中；利用3D‑CNN分类器从待测高光谱图像数据中提取高级特征图；利用GAT分类器从待测高光谱图像数据中提取超像素级特征图；将高级特征图和超像素级特征图进行线性特征融合，输出待测高光谱图像数据的分类结果。这样可以实现较好的高光谱图像分类结果，整体计算效率高，时间消耗低。

Description

基于GAT和3D-CNN的多特征融合高光谱图像分类方法
技术领域
本发明涉及高光谱图像处理领域，特别是涉及一种基于GAT和3D-CNN的多特征融合高光谱图像分类方法。
背景技术
随着高光谱遥感技术的快速发展，高光谱遥感在对地观测方面的应用越来越广泛。高光谱图像(Hyperspectral Image，HSI)分类是高光谱遥感图像分析的主要方法，它在自然资源评价、城市土地利用规划、精细化农业和林业、环境保护等国民经济相关领域受到广泛关注。HSI提供了非常高维的数据，涵盖了从可见光到短波红外的整个电磁波谱。虽然HSI能够对相似表面进行离散分离，但光谱特征通常是相关的，尤其是在相邻波段中，这就产生了冗余的信息。由于存在冗余和相关的特征，HSI分类在时间和存储都可能是低效的。因此，设计一个合适的、稳定的高光谱分类方法是当务之急。
目前，HSI的分类面临两个主要挑战：一个挑战是由于图像的高维性，难以评估两个像素之间的相似性，这就需要较长的分类时间才能获得更好的结果；另一个挑战是缺乏足够的训练样本，因为要获得大量的像素级语义标签进行训练是非常耗时耗力的。在早期阶段，研究人员经常使用传统方法对HSI进行分类，如k-最近邻分类器、支持向量机、极限学习机、基于稀疏表示的分类器等。传统的HSI方法往往只使用光谱信息，然而由于光谱的可变性，仅靠光谱信息还不足以准确区分物体的确切类别，例如非线性测量的线性判别分析、二次判别分析和对数判别分析使用判别函数来最大化判别能力。此外，由于高光谱的高度相关性，数据可能驻留在光谱空间的一个非常低维的子流形上，直接使用高光谱向量对每个像素进行分类是不合理且低效的。
特征提取是一种处理休斯(Hughes)现象的常用方法，如主成分分析、最小噪声分离、离散小波变换和典型相关分析。其它广泛使用的特征提取方法包括非参数加权特征提取、决策边界特征提取、基于类的可分离度量(如欧氏距离、互信息以及巴氏距离)，或针对更复杂的类可分离度量的特征选择方法等。但这些技术都不足以改善HSI的分类。
近年来，卷积神经网络(Convolutional Neural Network，CNN)已经慢慢成为HSI分类方法的一个强大工具，但是传统的CNN只能对方形区域进行卷积运算，所以它们不能捕捉到HSI中目标区域的几何变化。因此，在特征获取过程中，类别的边界信息可能被忽略，从而导致错误分类。换句话说，一个固定大小、固定形状和固定权重的卷积核不能适应所有的HSI区域。此外，基于CNN的模型有太多需要学习的参数，导致模型收敛时间很长。由于CNN不能处理非结构化的图形数据，许多研究已经开始扩展神经网络，希望利用神经网络强大的学习能力来处理非结构化的图形数据。为此，有些研究者将图卷积网络(GraphConvolutional Network，GCN)方法引入HSI分类，以获得更有效的模型，但在GCN中，通过迭代来学习目标节点的表示，这在计算上是很昂贵的，并且节点之间的权重是固定的，不能改变，这限制了网络的表达能力。
发明内容
有鉴于此，本发明的目的在于提供一种基于GAT和3D-CNN的多特征融合高光谱图像分类方法，可以实现较好的高光谱图像分类结果。其具体方案如下：
一种基于GAT和3D-CNN的多特征融合高光谱图像分类方法，包括：
构建多特征融合模型；所述多特征融合模型包括3D-CNN分类器和GAT分类器；
将待测高光谱图像数据输入至所述多特征融合模型中；
利用所述3D-CNN分类器从所述待测高光谱图像数据中提取高级特征图；
利用所述GAT分类器从所述待测高光谱图像数据中提取超像素级特征图；
将所述高级特征图和所述超像素级特征图进行线性特征融合，输出所述待测高光谱图像数据的分类结果。
优选地，在本发明实施例提供的上述多特征融合高光谱图像分类方法中，在构建所述3D-CNN分类器的过程中，包括：
利用双卷积池化结构构建所述3D-CNN分类器。
优选地，在本发明实施例提供的上述多特征融合高光谱图像分类方法中，利用双卷积池化结构构建所述3D-CNN分类器，包括：
利用两个卷积层、两个批归一化BN层和一个池化层构建所述3D-CNN分类器；其中，
所述池化层设置在两个所述卷积层之后；所述池化层的池化类型为最大池化；
每个所述批归一化BN层设置在每次卷积之后，以实现数据归一化操作。
优选地，在本发明实施例提供的上述多特征融合高光谱图像分类方法中，在所述3D-CNN分类器中，采用Relu函数作为激活函数，以产生非线性运算。
优选地，在本发明实施例提供的上述多特征融合高光谱图像分类方法中，在利用所述GAT分类器提取超像素级特征的过程中，包括：
利用所述GAT分类器对所述待测高光谱图像数据中各视图的每一层进行学习，计算每一层视图的节点表示；
在不同视图之间引入注意力机制，学习不同视图的权重；
根据学习到的权重，对每个视图进行加权相加，得到全局节点表示。
优选地，在本发明实施例提供的上述多特征融合高光谱图像分类方法中，所述GAT分类器包括第一GAT分类器；
构建所述GAT分类器的过程中，包括：
利用第一GAT层，在所述第一GAT层之后依次设置的三个模块和一个第一线性层构建所述第一GAT分类器；其中每个所述模块包括第一3D-CNN层和第一最大池化层。
优选地，在本发明实施例提供的上述多特征融合高光谱图像分类方法中，所述GAT分类器包括第二GAT分类器；
构建所述GAT分类器的过程中，包括：
利用第二GAT层、与所述第二GAT层并行的第二3D-CNN层，在所述第二3D-CNN层之后设置的第二最大池化层，分别与所述第二GAT层和所述第二最大池化层连接的第二线性层构建所述第二GAT分类器。
优选地，在本发明实施例提供的上述多特征融合高光谱图像分类方法中，所述多特征融合模型包括第一多特征融合模型和第二多特征融合模型；
所述第一多特征融合模型包括所述第一GAT分类器与所述3D-CNN分类器；所述第二多特征融合模型包括所述第二GAT分类器与所述3D-CNN分类器。
优选地，在本发明实施例提供的上述多特征融合高光谱图像分类方法中，将待测高光谱图像数据输入至所述多特征融合模型中，包括：
将待测高光谱图像数据输入至所述第一多特征融合模型或所述第二多特征融合模型中。
优选地，在本发明实施例提供的上述多特征融合高光谱图像分类方法中，利用所述GAT分类器从所述待测高光谱图像数据中提取超像素级特征图，包括：
利用所述第一GAT分类器或第二GAT分类器从所述待测高光谱图像数据中提取超像素级特征图。
从上述技术方案可以看出，本发明所提供的一种基于GAT和3D-CNN的多特征融合高光谱图像分类方法，包括：构建多特征融合模型；多特征融合模型包括3D-CNN分类器和GAT分类器；将待测高光谱图像数据输入至多特征融合模型中；利用3D-CNN分类器从待测高光谱图像数据中提取高级特征图；利用GAT分类器从待测高光谱图像数据中提取超像素级特征图；将高级特征图和超像素级特征图进行线性特征融合，输出待测高光谱图像数据的分类结果。
本发明提供的上述多特征融合高光谱图像分类方法，首先构建包括3D-CNN分类器和GAT分类器的多特征融合模型，其中3D-CNN分类器可以提取待测高光谱图像数据的高级特征，GAT分类器可以提取待测高光谱图像数据的超像素级特征，不需要预先知道图结构，也不需要任何一种昂贵的矩阵操作，在3D-CNN分类器和GAT分类器提取出待测高光谱图像数据不同的特征图后，将两种特征图进行线性特征融合，可以实现较好的高光谱图像分类结果，整体计算效率高，时间消耗低。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的基于GAT和3D-CNN的多特征融合高光谱图像分类方法的流程图；
图2为本发明实施例提供的使用GAT和3D-CNN的多特征融合模型的结构示意图；
图3为本发明实施例提供的3D-CNN结构的结构示意图；
图4为本发明实施例提供的高光谱图像特征注意力的示意图；
图5a为本发明实施例提供的GAT-1的结构示意图；
图5b为本发明实施例提供的GAT-2的结构示意图；
图5c为本发明实施例提供的MFFCG模型、MFFCG-1模型和MFFCG-2模型的特征融合示意图；
图6为本发明实施例提供的对于三个实验数据集的ground truth和分类比较示意图；
图7为本发明实施例提供的不同方法在Salinas数据集上获得的分类图；
图8为本发明实施例提供的不同方法在IndianPines数据集上获得的分类图；
图9为本发明实施例提供的不同方法在Pavia数据集上获得的分类图；
图10为本发明实施例提供的使用提出的方法进行分类的结果准确度；
图11为本发明实施例提供的不同数据集下的训练时间对应的示意图；
图12为本发明实施例提供的不同数据集下的测试时间对应的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种基于GAT(Graph Attention Network，图注意力网络)和3D-CNN(三维卷积神经网络)的多特征融合高光谱图像分类方法，如图1所示，包括以下步骤：
S101、构建多特征融合模型；多特征融合模型包括3D-CNN分类器和GAT分类器；
需要说明的是，由于高光谱图像的结构是三维的，本发明使用了更适合的3D-CNN。另外，为了解决GCNs的计算成本大的技术难题，使用了在多数任务中比GCN结构更好的GAT结构，GAT结构能够为邻域中的不同节点指定不同的权重，不需要预先知道图结构，也不需要任何一种昂贵的矩阵操作。这样，本发明构建了多特征融合模型，该模型设计了两个简单的分类器，即3D-CNN分类器和GAT分类器，来探索和结合它们的特征并进行特征融合。
S102、将待测高光谱图像数据输入至多特征融合模型中；
图2示出了多特征融合模型的结构示意图。待测高光谱图像数据作为输入，并行地通过3DCNN分类器和标准GAT分类器。在实际应用中，待测高光谱图像数据为3D高光谱立方体数据。
S103、利用3D-CNN分类器从待测高光谱图像数据中提取高级特征图；
S104、利用GAT分类器从待测高光谱图像数据中提取超像素级特征图；
S105、将高级特征图和超像素级特征图进行线性特征融合，输出待测高光谱图像数据的分类结果。
具体地，对3D-CNN分类器和GAT分类器提取的特征图进行线性特征融合，最后可经过全连接层得到待测高光谱图像的分类结果。
在本发明实施例提供的上述多特征融合高光谱图像分类方法中，首先构建包括3D-CNN分类器和GAT分类器的多特征融合模型，其中3D-CNN分类器可以提取待测高光谱图像数据的高级特征，GAT分类器可以提取待测高光谱图像数据的超像素级特征，不需要预先知道图结构，也不需要任何一种昂贵的矩阵操作，在3D-CNN分类器和GAT分类器并行提取出待测高光谱图像数据不同的特征图后，将两种特征图进行线性特征融合，可以实现更快、更准确的高光谱图像分类结果，更低的时间消耗。本发明属于深度学习在高维图像分类上的应用。
进一步地，在具体实施时，在本发明实施例提供的上述多特征融合高光谱图像分类方法中，在构建所述3D-CNN分类器的过程中，包括：利用双卷积池化结构构建所述3D-CNN分类器。也就是说，3D-CNN分类器可以设置为双卷积池化结构，该双卷积池化结构用于处理小样本高光谱图像数据，这样可以解决CNN在小样本情况下难以达到良好的准确率的问题。
具体地，如图3所示，3D-CNN分类器可以包括两个卷积层、两个批归一化BN层和一个池化层；其中，两个连续的卷积层之间没有设置池化层来实现特征信息的保留和传输；池化层具体设置在两个卷积层之后；池化层的池化类型为最大池化；在每次卷积之后，设置一个BN层来实现数据归一化操作。另外，3D-CNN分类器的激活函数可以为Relu函数，用于产生非线性运算；激活函数是在3D卷积之后设计的，产生非线性运算，进一步增加了神经网络的复杂度。
在实际应用中，3D-CNN神经元在(xyz)处的值vij在公式中：
Figure BDA0003809487000000071
其中，i代表第i层神经元，j代表第j个特征图，Pi和Qi是卷积核的高和宽，Ri是卷积核沿谱维度的维度大小，m代表个数与前一层相连的特征的个数，与每一层的特征维度有关。
Figure BDA0003809487000000072
是第m个特征中连接到第(p,q,r)个神经元的权重，bij是第j个特征图在第i层神经元上的偏差值。g是激活函数，本发明使用Relu函数，在小数据集上效率很高。3D-CNN DL模型由多层非线性神经元组成，可以从样本图像中学习具有代表性的高级抽象特征。由于CNNs强大的特征表达能力，对于小样本训练数据，随着网络深度的增加，模型的分类精度得到提高。
进一步地，在具体实施时，在本发明实施例提供的上述多特征融合高光谱图像分类方法中，在执行步骤S104利用GAT分类器提取超像素级特征的过程中，具体可以包括：利用GAT分类器对待测高光谱图像数据中各视图的每一层进行学习，计算每一层视图的节点表示；在不同视图之间引入注意力机制，学习不同视图的权重；根据学习到的权重，对每个视图进行加权相加，得到全局节点表示，并执行节点表示、链路预测等后续任务。
在实际应用中，受CNNs的启发，出现了许多重新定义卷积算子以适应非结构化数据的方法，这些方法都属于GCNs的范畴。早期的研究主要集中在通过迭代来表示目标节点，计算量大，后来经历了谱图理论图卷积和空间图卷积等变体的发展。
通过对拉普拉斯矩阵进行归一化，可以获得更鲁棒的图结构数据表示，表示为：
Figure BDA0003809487000000081
其中，A是图的邻接矩阵，D是节点度矩阵，记录了每个节点的度数：
Di＝∑jAij (3)
归一化的拉普拉斯矩阵具有实对称半正定的性质。根据矩阵分解原理，分解L得到：
L＝u^uT (4)
其中，L是由特征值组成的对角矩阵，u是由按照特征值排序的特征向量组成的矩阵，图拉普拉斯矩阵的特征向量形成一个正交空间，即uTu＝I，具体为：
u＝[u0，u1，，，，un-1]∈RNxN (5)
在图信号处理中，图信号X∈RN是图中第i个节点xi的特征向量，信号x的图傅里叶变换定义为：
F(x)＝uTx (6)
傅里叶逆变换是：
Figure BDA0003809487000000082
其中
Figure BDA0003809487000000083
表示信号x的图傅里叶变换的输出。
从定义可以看出，图拉普拉斯算子可以将图输入信号投影到一个以L的特征向量为基的正交空间中。信号
Figure BDA0003809487000000084
的组成元素表示信号在新正交空间中的坐标。此时输入信号可表示为：
Figure BDA0003809487000000085
式(8)是图形信号的傅里叶逆变换。因此，输入信号x经过g∈RN滤波后的图卷积形式可以表示为：
y＝hx＝x*Gg＝F-1(F(x)(.)F(g)) (9)
其中(.)表示Hadamard乘积，即矩阵对应元素的乘积。如果过滤器定义为ge＝diag(uTg)，则图卷积简化为：
y＝hx＝x*Gge＝ugeuTx (10)
该模型将相同的权重分配给同阶邻域上的不同邻居，这限制了模型捕捉空间信息相关性的能力，这也是它在许多任务中不如GAT的根本原因。当GCN结合附近节点的特征时，它是如何做到这一点的，这与图的结构密切相关，这意味着经过训练的模型泛化不同图架构的能力是有限的。
GAT提出了使用注意力机制对相邻节点特征进行加权求和。相邻节点特征的权重完全依赖于节点特征，与图结构无关。基于图的注意力GAT模型实现了一种注意力方法来代替GCN的固定归一化过程。本质上，GAT用注意力加权的邻居节点特征聚合方法替代了原始GCN的归一化算法。
图注意力层的输入是一个节点特征向量集合
Figure BDA0003809487000000091
其中N是节点数，F是节点特征的数量。矩阵的大小代表所有节点的特征，而R只代表某个节点的特征，所以它的大小小于F。每一层的输出是一组新的节点特征向量
Figure BDA0003809487000000092
其中F′表示新的节点特征向量维度(可能不等于F)。
为了得到对应的输入输出转换，需要根据输入特征进行至少一次线性变换得到输出特征，所以需要为所有节点训练一个权重矩阵：W∈RF’xF。这个权重矩阵就是输入F个特征和输出F′个特征之间的关系。
每个节点都实现了自注意的注意力机制，注意力系数为：
Figure BDA0003809487000000093
注意：W是权重矩阵乘以特征，a不是常数也不是矩阵，a()是一个函数，类似于f(x)的自定义函数。这个公式表达了节点j对节点i的重要性，没有考虑图结构的信息。如前所述，向量h是节点的特征向量。下标i，j代表第i个节点和第j个节点。
自注意力机制通过直接计算图结构中任意两个节点之间的关系，一步获得图结构的全局几何特征。自注意利用注意力机制分三个阶段进行计算：引入不同的函数和计算机制，并基于query和a keyi计算两者之间的相似性或相关性；引入类似于softmax的计算方法，将第一阶段的分数进行数值转换，一方面可以归一化，另一方面可以通过softmax的内部机制突出重要元素的权重；第二阶段的计算结果ai为对应权重系数的valuei，然后加权求和得到注意力值。
GAT通过masked attention在图结构中使用注意机制。Masked attention是指只将注意力分配给节点i的邻居节点集合Ni，即j∈Ni。在本发明中，节点i也是Ni的一部分。为了使注意力系数更容易计算和比较，本发明使用softmax对i的所有相邻节点j进行正则化：
Figure BDA0003809487000000101
注意力机制aij是一个单层前馈神经网络，而一个
Figure BDA0003809487000000102
是神经网络中的连接层和层间的权重矩阵。LeakyReLu函数也被添加到前馈神经网络的输出层。
ReLu将所有负值设置为零。相反，LeakyReLu为所有负值分配一个非零斜率。在本发明中，可以用数学方法将其表示为：
Figure BDA0003809487000000103
结合上述公式1和2，可以得到完整的注意力机制如下：
Figure BDA0003809487000000104
其中，||表示串联操作，T表示转置。eij和aij都称为“注意系数”，但aij在eij的基础上进行了归一化。
通过以上操作得到不同节点之间的正则化注意力系数，可以用来预测每个节点的输出特征：
Figure BDA0003809487000000105
其中，a是前面计算的注意力互相关系数，σ是非线性激活函数。遍历的j代表与i相邻的所有节点。这个公式意味着节点的输出特征与其相邻的所有节点有关，是在对其线性和进行非线性激活后得到的。
为了稳定自注意力机制的学习过程，扩展机制以采用多头注意力是有益的。但是，如果在最后的网络层进行多头注意力，则加入操作不再合理。相反，采用k-means而不是join操作并延迟最终非线性函数的应用以获得最终公式
Figure BDA0003809487000000106
其中，一共需要考虑k个注意力机制，k代表k中的第k个。第k个注意力机制是ak。第k个注意机制下输入特征的线性变换权重矩阵记为wk。
图4是节点
Figure BDA0003809487000000111
在其邻域上的多头注意力(k＝3个头)的图示。不同的箭头样式和颜色表示独立的注意力计算，来自每个头部的聚合特征被连接或平均以获得
Figure BDA0003809487000000112
在具体实施时，在本发明实施例提供的上述多特征融合高光谱图像分类方法中，针对GAT分类器的结构进行了改进，得到了第一GAT分类器(GAT-1)和第二GAT分类器(GAT-2)。
由于高光谱图像的高维和冗余以及高光谱数据集中存在类不平衡，提高分类性能仍然是一个巨大的挑战。本发明开发了两个优化的GAT模型(即GAT-1和GAT-2)，与3D-CNN的不同层一起使用，很好的解决了CNNs在低样本下难以达到良好的准确率，GCNs的计算成本巨大的缺陷，进而能够获得更好的结果。
具体地，如图5a所示，GAT-1包括第一GAT层(Gate layers)，设置在第一GAT层之后的三个模块和一个第一线性层(Linear layer)；每个模块均包括第一3D-CNN层(3Dconvolutional layer)和第一最大池化层(Max pooling layer)。
具体地，如图5b所示，GAT-2包括第二GAT层(Gate layers)、与第二GAT层并行的第二3D-CNN层(3D convolutional layer)，设置在第二3D-CNN层之后的第二最大池化层(Maxpooling layer)，分别与第二GAT层和第二最大池化层连接的第二线性层(Linear layer)。
进一步地，在MFFCG的基础上，由于开发了两个改进模型GAT-1和GAT-2用于构建GAT分类器。这样，就得到了另外两种多特征融合模型：第一多特征融合模型(MFFCG-1)、第二多特征融合模型(MFFCG-2)。
具体地，如图5c所示，标准GAT与3D-CNN分类器组成MFFCG模型；GAT-1与3D-CNN分类器组成MFFCG-1模型；GAT-2与3D-CNN分类器组成MFFCG-2模型。MFFCG-1模型和MFFCG-2模型的主要结构与MFFCG模型一样，只是把标准GAT模型分别替换成了GAT-1模型和GAT-2模型。
在具体实施时，在本发明实施例提供的上述多特征融合高光谱图像分类方法中，步骤S102将待测高光谱图像数据输入至多特征融合模型中，具体可以包括：将待测高光谱图像数据输入至MFFCG-1模型或MFFCG-2模型中。同理，步骤S104利用GAT分类器从待测高光谱图像数据中提取超像素级特征图，具体可以包括：利用GAT-1或GAT-2从待测高光谱图像数据中提取超像素级特征图。
下面对本发明实施例提供的上述多特征融合高光谱图像分类方法进行实验测试，实验测试的对象是三个标准数据集(即公共高光谱图像数据集)：Indian Pines(IP)、Salinas(SA)和Pavia University(PU)。每个数据集的详细信息如表一、表二和表三所示，ground truth和分类比较如图6所示，其中，图6中各图依次表示印度松树数据的假彩色图像，印度松树数据的地面真实度，萨利纳斯数据的假彩色图像，萨利纳斯数据的地面真实度，帕维亚大学数据的假彩色图像，帕维亚大学数据的地面真实度。
所提出的算法是通过Python 3.8.5和Pytorch1.7.0实现的。用于训练的硬件是i7-10700K CPU和NVIDIA GeForce RTX 3090GPU。表四显示了本研究中使用的所有模型的超参数设置。为了比较各种分类算法的性能，采用了高光谱图像分类任务中常用的三个评价标准：总体分类准确率(OA)、平均准确率(AA)和kappa系数。
除了与OA、AA和kappa进行比较外，本发明还使用了另外两个评估标准，测试时间和训练时间，来比较本发明提出的方法的有效性。本发明进一步比较了不同训练样本的方法，以评估所提出的方法是对低样本更好还是只对更高的训练样本准确。数据集类别以30％和70％的比率进行划分，样本的划分结果如表一、表二和表三所示。
本实验还将结果与几种最先进的深度学习(DL)方法进行了比较，包括基于机器学习的方法，例如SVM和基于CNN的方法，基于CNN的方法又可分为1D-CNN、2D-CNN和3D-CNN。基于图的方法也被用于比较和验证，包括GCN、miniGCN和FuNet-M。此外还进行了算法的内部比较，包括GAT、GAT-1和GAT-2。为了公平比较，所有实验都是在相同的环境中使用原始论文中的超参数和建议的样本大小进行的。
表一 Indian Pines数据集的样本
Figure BDA0003809487000000121
Figure BDA0003809487000000131
表二 Pavia University数据集的样本
Figure BDA0003809487000000132
表三 Salinas数据集的样本
Figure BDA0003809487000000133
表四 模型超参数设置
Figure BDA0003809487000000134
表五 不同方法在Indian Pines数据集上的比较结果，包括分类精度、OA、AA和KAPPA
Figure BDA0003809487000000141
表六 不同方法在Salinas数据集上的比较结果，包括分类精度、OA、AA和KAPPA
Figure BDA0003809487000000142
表七 不同方法在pavia数据集上的比较结果，包括分类精度、OA、AA和KAPPA
Figure BDA0003809487000000151
表八 样本数不同的情况下的分类结果
Figure BDA0003809487000000152
下面本发明通过具体的实验结果来判断该高光谱图像分类方法的性能。
不同方法对每个数据集的分类精度详见表五-表七，方法分类的可视化表示如图7-9所示，其中a表示Ground truth，b表示k-NN，c表示SVM，d表示1D-CNN，e表示2D-CNN，f表示3D-CNN，g表示mini-GCN，h表示MFFCG，i表示MFFCG-1，j表示MFFCG-2。
对于Indian Pines数据集，MFFCG的OA为90.20％，而改进模型MFFCG的OA为94.25％，在基于GCN的方法、传统方法和基于CNN的方法中包含的所有算法中最高。由于HSI数据的立方体结构，3D-CNN的个体分类结果优于MFFCG的结果。同样，MFFCG的AA为89.58％，而MFFCG-2的AA为93.99％。基于单个GAT的分类也以92.16％的准确率实现了更好的AA，几乎接近基于3D-CNN的分类，即92.11％。k-NN和SVM不会为任何验证组件(包括OA、AA和kappa系数)产生更好的结果。在所有验证因素中，基于图的方法比1D-CNN和2D-CNN产生更好的结果，但这些结果并不比使用3D-CNN好多少。因此，本发明提出的方法明显更好，MFFCG-1和MFFCG-2的所有结果的准确率均超过90％。对于Salinas数据集，MFFCG-1的OA结果优于基于图、基于CNN和传统方法。但几乎没有一个算法的结果接近90％以上，除了MFFCG-1，其OA为91.25％，AA为90.45％。主要原因是Pavia数据集的HSI数据中观察到的复杂场景，但在该数据集上改进了传统的算法分类。对于传统算法，KNN的AA为83.22％，而SVM为90.28％。这接近2D-CNN的92.68％准确率的结果。所有方法的kappa系数都没有达到90％，但在MFFCG-1中接近89.48％，是所有算法中最高的。
表五-表七详细说明了每个数据集上不同方法的分类准确度，每个类别的准确度结果如图10所示。MFFCG-2对于Indian Pines的分类准确率几乎达到100％，而对于其它类的分类准确率也都在90％以上，这表明该方法在分类方面是有效的。Salinas数据集也观察到了类似的结果，但没有一个类接近100％的准确度。然而，对于MFFCG-1和MFFCG-2，分类准确度的最高水平超过90％。对于Pavia数据集，MFFCG-2中所有类别的分类准确率均超过90％，其中三个类别100％准确分类。
对于MFFCG、MFFCG-1和MFFCG-2，三种方法的结果都超过了80％。同时，对于IndianPines数据集，MFFCG-1的分类精度更好，而MFFCG-2则稍差些。对于Salinas数据集，MFFCG在类别分类方面的表现并不比MFFCG-1和MFFCG-2好，它们在每种情况下的结果都超过70％。
验证所提出方法的另一个重要指标是比较在不同数量的训练样本下方法的性能。表八显示了样本量为10％到30％的分类结果。对于Indian Pines数据集，在10％的比率下，MFFCG-2的OA结果为82.85％；在30％的比率下，MFFCG-2的OA结果是最好的，为91.2％。10％样本的MFFCG的AA为85.11％，高于MFFCG-1的AA(77.35％)，这表明MFFCG在低样品中优于MFFCG-1。对于Salinas数据集，10％的低训练率提高了MFFCG-1(82.52％)和MFFCG-2(82.89％)的OA，两者均高于MFFCG(81.03％)。Salinas数据集的结果表明，对于低样本比率，MFFCG-1和MFFCG-2在所有验证指标下的表现都很好。对于Pavia数据集，MFFCG-1和MFFCG-2的OA和AA在任何大小的训练比例下都超过85％，高于MFFCG。因此，所提出的方法在低样本率下的分类效果更好，这证明了本发明算法的有效性。
图像分类还有一个重要的性能指标是训练和测试所花费的时间，它们能够说明方法是否更好且耗时更少。图11显示了不同数据集下的训练时间，而图12显示了不同数据集下的测试时间(以秒为单位)。从图12观察到MFFCG-2在Salinas和Pavia数据集中的性能优于GAT、MFFCG和MFFCG-1，但在Indian Pines数据集上稍差些。由于分类精度低，3D-CNN在更短的时间内执行所有操作，但与其他方法相比，MFFCG-2的结果在分类上更好，训练时间也可以接受。对于测试时间，在Salinas和Pavia数据集中观察到MFFCG-2的类似结果，但有趣的是，在Indian pines数据集中测试时间也较短，这使得所提出的方法更适合分类，并在测试时间方面也可以接受。
在三个公共高光谱图像数据集上的实验表明，本发明所提出的方法在使用有限的训练样本和低分类时间的情况下相比于其他方法表现更好。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
综上，本发明实施例提供的一种基于GAT和3D-CNN的多特征融合高光谱图像分类方法，包括：构建多特征融合模型；多特征融合模型包括3D-CNN分类器和GAT分类器；将待测高光谱图像数据输入至多特征融合模型中；利用3D-CNN分类器从待测高光谱图像数据中提取高级特征图；利用GAT分类器从待测高光谱图像数据中提取超像素级特征图；将高级特征图和超像素级特征图进行线性特征融合，输出待测高光谱图像数据的分类结果。这样不需要预先知道图结构，也不需要任何一种昂贵的矩阵操作，在3D-CNN分类器和GAT分类器提取出待测高光谱图像数据不同的特征图后，将多个特征图进行线性特征融合，可以实现较好的高光谱图像分类结果，整体计算效率高，时间消耗低，解决CNN在小样本情况下难以达到良好的准确率以及GCN的计算成本大的技术难题。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的基于GAT和3D-CNN的多特征融合高光谱图像分类方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于GAT和3D-CNN的多特征融合高光谱图像分类方法，其特征在于，包括：
构建多特征融合模型；所述多特征融合模型包括3D-CNN分类器和GAT分类器；
将待测高光谱图像数据输入至所述多特征融合模型中；
利用所述3D-CNN分类器从所述待测高光谱图像数据中提取高级特征图；
利用所述GAT分类器从所述待测高光谱图像数据中提取超像素级特征图；
将所述高级特征图和所述超像素级特征图进行线性特征融合，输出所述待测高光谱图像数据的分类结果。
2.根据权利要求1所述的多特征融合高光谱图像分类方法，其特征在于，在构建所述3D-CNN分类器的过程中，包括：
利用双卷积池化结构构建所述3D-CNN分类器。
3.根据权利要求2所述的多特征融合高光谱图像分类方法，其特征在于，利用双卷积池化结构构建所述3D-CNN分类器，包括：
利用两个卷积层、两个批归一化BN层和一个池化层构建所述3D-CNN分类器；其中，
所述池化层设置在两个所述卷积层之后；所述池化层的池化类型为最大池化；
每个所述批归一化BN层设置在每次卷积之后，以实现数据归一化操作。
4.根据权利要求3所述的多特征融合高光谱图像分类方法，其特征在于，在所述3D-CNN分类器中，采用Relu函数作为激活函数，以产生非线性运算。
5.根据权利要求1所述的多特征融合高光谱图像分类方法，其特征在于，在利用所述GAT分类器提取超像素级特征的过程中，包括：
利用所述GAT分类器对所述待测高光谱图像数据中各视图的每一层进行学习，计算每一层视图的节点表示；
在不同视图之间引入注意力机制，学习不同视图的权重；
根据学习到的权重，对每个视图进行加权相加，得到全局节点表示。
6.根据权利要求1所述的多特征融合高光谱图像分类方法，其特征在于，所述GAT分类器包括第一GAT分类器；
构建所述GAT分类器的过程中，包括：
利用第一GAT层，在所述第一GAT层之后依次设置的三个模块和一个第一线性层构建所述第一GAT分类器；其中每个所述模块包括第一3D-CNN层和第一最大池化层。
7.根据权利要求6所述的多特征融合高光谱图像分类方法，其特征在于，所述GAT分类器包括第二GAT分类器；
构建所述GAT分类器的过程中，包括：
利用第二GAT层、与所述第二GAT层并行的第二3D-CNN层，在所述第二3D-CNN层之后设置的第二最大池化层，分别与所述第二GAT层和所述第二最大池化层连接的第二线性层构建所述第二GAT分类器。
8.根据权利要求7所述的多特征融合高光谱图像分类方法，其特征在于，所述多特征融合模型包括第一多特征融合模型和第二多特征融合模型；
所述第一多特征融合模型包括所述第一GAT分类器与所述3D-CNN分类器；所述第二多特征融合模型包括所述第二GAT分类器与所述3D-CNN分类器。
9.根据权利要求8所述的多特征融合高光谱图像分类方法，其特征在于，将待测高光谱图像数据输入至所述多特征融合模型中，包括：
将待测高光谱图像数据输入至所述第一多特征融合模型或所述第二多特征融合模型中。
10.根据权利要求9所述的多特征融合高光谱图像分类方法，其特征在于，利用所述GAT分类器从所述待测高光谱图像数据中提取超像素级特征图，包括：
利用所述第一GAT分类器或第二GAT分类器从所述待测高光谱图像数据中提取超像素级特征图。
CN202211007408.2A 2022-08-22 2022-08-22 基于gat和3d-cnn的多特征融合高光谱图像分类方法 Pending CN115375941A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211007408.2A CN115375941A (zh) 2022-08-22 2022-08-22 基于gat和3d-cnn的多特征融合高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211007408.2A CN115375941A (zh) 2022-08-22 2022-08-22 基于gat和3d-cnn的多特征融合高光谱图像分类方法

Publications (1)

Publication Number Publication Date
CN115375941A true CN115375941A (zh) 2022-11-22

Family

ID=84067234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211007408.2A Pending CN115375941A (zh) 2022-08-22 2022-08-22 基于gat和3d-cnn的多特征融合高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN115375941A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116595409A (zh) * 2023-04-17 2023-08-15 中煤科工集团上海有限公司 一种基于主成分分析的煤岩识别方法、电子设备和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116595409A (zh) * 2023-04-17 2023-08-15 中煤科工集团上海有限公司 一种基于主成分分析的煤岩识别方法、电子设备和介质
CN116595409B (zh) * 2023-04-17 2024-01-09 中煤科工集团上海有限公司 一种基于主成分分析的煤岩识别方法、电子设备和介质

Similar Documents

Publication Publication Date Title
Ding et al. Semi-supervised locality preserving dense graph neural network with ARMA filters and context-aware learning for hyperspectral image classification
Bhatti et al. MFFCG–Multi feature fusion for hyperspectral image classification using graph attention network
Huang et al. Hyperspectral remote sensing image change detection based on tensor and deep learning
Sha et al. Semisupervised classification for hyperspectral images using graph attention networks
Chen et al. Deep feature extraction and classification of hyperspectral images based on convolutional neural networks
Li et al. Classification of hyperspectral image based on deep belief networks
CN104751191B (zh) 一种稀疏自适应半监督多流形学习的高光谱影像分类方法
Kong et al. Spectral–spatial feature extraction for HSI classification based on supervised hypergraph and sample expanded CNN
CN110569860B (zh) 结合判别分析和多核学习的图像有趣性二分类预测方法
CN107590515A (zh) 基于熵率超像素分割的自编码器的高光谱图像分类方法
CN114155443B (zh) 一种基于多感受野图注意力网络的高光谱图像分类方法
Jia et al. A multiscale superpixel-level group clustering framework for hyperspectral band selection
CN106778885A (zh) 基于局部流形嵌入的高光谱图像分类方法
Gao et al. Densely connected multiscale attention network for hyperspectral image classification
CN112613536A (zh) 一种基于smote和深度学习的近红外光谱柴油牌号识别方法
CN112115961B (zh) 一种基于稀疏图正则化的高光谱遥感影像分类方法
CN115564996A (zh) 一种基于注意力联合网络的高光谱遥感图像分类方法
Huang et al. Local linear spatial–spectral probabilistic distribution for hyperspectral image classification
CN111160392A (zh) 一种基于小波宽度学习系统的高光谱分类方法
CN117349743A (zh) 一种基于多模态数据的超图神经网络的数据分类方法及系统
CN116977723A (zh) 基于空间-光谱混合自注意力机制的高光谱图像分类方法
CN115375941A (zh) 基于gat和3d-cnn的多特征融合高光谱图像分类方法
Shang et al. Spectral-spatial hypergraph-regularized self-representation for hyperspectral band selection
CN115578632A (zh) 基于膨胀卷积的高光谱图像分类方法
CN114399642A (zh) 一种卷积神经网络荧光光谱特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination