CN114581773A - 基于图卷积网络的多模态遥感数据分类方法 - Google Patents

基于图卷积网络的多模态遥感数据分类方法 Download PDF

Info

Publication number
CN114581773A
CN114581773A CN202210187175.2A CN202210187175A CN114581773A CN 114581773 A CN114581773 A CN 114581773A CN 202210187175 A CN202210187175 A CN 202210187175A CN 114581773 A CN114581773 A CN 114581773A
Authority
CN
China
Prior art keywords
image
fusion
matrix
features
hyperspectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210187175.2A
Other languages
English (en)
Inventor
谢卫莹
李艳林
张佳青
雷杰
李云松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210187175.2A priority Critical patent/CN114581773A/zh
Publication of CN114581773A publication Critical patent/CN114581773A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出的一种基于图卷积网络的多模态数据图像融合分类方法，主要解决现有高光谱图像分类精度低的问题。其实现方案是：获取高光谱图像数据集；通过GS融合方式将原始HSI和LiDAR图像进行多源数据融合得到高光谱图像GS融合图；分别提取HSI和LiDAR图像的不变属性特征并通过基于加权融合图的特征融合方式得到不变属性特征融合图；将高光谱图像GS融合图和不变属性特征融合结果输入到miniGCN和2DCNN支路进一步提取光谱特征和空间特征；通过乘性融合策略对提取的光谱特征和空间特征进行特征融合；通过分类网络对乘性特征融合结果进行分类。本发明减小了特征信息损失，提高了分类性能，可用于高光谱图像分类。

Description

基于图卷积网络的多模态遥感数据分类方法
技术领域
本发明属于图像处理技术领域，更进一步涉及一种多模态遥感数据分类方法，可用于高光谱图像分类。
背景技术
随着图像分类技术的不断发展，遥感图像分类发挥着越来越重要的作用。城市规划、土地检测、植被分类等均依赖于特定区域的物质分类结果。高光谱图像HSI包含丰富的光谱信息，可用来观测地物信息并进行分类，但HSI对由相同物质构成的物质类别无法区分。由此说明在某些特定场景，单一源图像不利于进行分类，而遥感多源图像分类逐渐应用于物质分类工作中。激光雷达图像LiDAR包含场景的空间结构信息，所提供的高程信息与HSI提供的光谱信息结合，可提高物质分类结果的准确性,多源图像的应用有利于对物质进行更加全面的观测。
在将多源图像应用于物质分类工作的过程中，多源数据的融合工作显得尤为重要。HSI和LiDAR的融合技术在不断革新并成功应用于不同的分类任务中。特征级融合可结合HSI和LiDAR图像特征，最终通过分类器生成类别标签，Wenzhi Liao等人提出通过提取HSI和LiDAR图像的形态学特征MPs，并采用基于加权融合图的方式进行特征融合，最终通过SVM分类器取得较好的分类结果。然而，由于HSI包含丰富的光谱信息，在特定高光谱区域中，复杂的空间结构特征使得结构化元素(SEs)难以从高光谱图像中提取MPs，由此增加了MPs的应用局限性。
为将形态学特征更加灵活地应用在高光谱图像分类工作中，M.D.Mura等人对MPs进行了广义扩展，提出通过应用属性滤波器生成了形态属性剖面APs,对于几何结构形状、大小等各种基于区域的属性均可被APs轻松捕获。APs可分层提取几何特征，有利于对遥感图像进行详细分析。但APs并没有考虑到局部语义变化，在某一特定场景下，本该具有相同特征的两个相似面片或者中心像素代表同一物质的两个面片，由于无法很好地合并空间结构信息，导致最终提取的特征产生实质性差异。为减小IAPs对局部语义变化过于敏感产生的误差，Danfeng Hong提出通过增强属性滤波器AFs的不变性来提取对高光谱场景中的语义变化具有鲁棒性的不变属性IAs，从而生成由空间不变特征SIF和频率不变特征FIF两部分组成的不变属性剖面IAPs。
上述特征提取算法虽说有效提升了遥感图像分类性能，但仍然缺乏强大的数据拟合能力，在物质特征识别方面存在局限性。随着深度学习技术的大力发展，多种深度神经网络逐渐应用于遥感图像分类任务。卷积神经网络CNN可模拟HSI中的近距离空间关系，有效提取HSI的空间、光谱特征，从而进行更精确地分类。HSI的长距离空间关系可由图卷积网络GCN进行模拟，GCN是一种新兴的网络结构，通过建模样本间的关系有效处理图结构数据。由于GCN计算成本过高，为将其应用于大批量数据处理，Danfeng Hong等人提出miniGCN的网络结构，以小批量的形式在小采样图上有效地进行分类，同时提出基于CNN和mini GCN的联合网络框架，通过提取HSI的空间、光谱特征，经过特征融合后进行分类。但此种方法仅针对于单独的HSI分类任务，不涉及多源图像的分类应用，从而难以达到较高精度的分类结果。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于图卷积网络的多模态遥感数据分类方法，以提取多源图像的光谱、空间特征并进行有效特征融合，实现对多源图像的高精度分类。
为实现发明目的，本发明采用的技术方案是：获取高光谱图像数据集；通过GS融合方式将原始HSI和LiDAR图像进行多源数据融合，得到多源图像融合图；分别提取HSI和LiDAR图像的IAPs；通过基于加权融合图的特征融合方式进行多源数据融合；通过基于2DCNN和miniGCN的联合网络框架，将经过预处理的多源图像融合图和特征融合结果分别输入到2DCNN和miniGCN两条支路中进一步提取特征；通过乘性融合策略对最终提取的特征进行特征融合；通过完全连接层FCN和softmax函数构成的分类网络进行分类；通过计算总体精度OA,平均精度AA，Kappa系数k对分类结果进行评估，其具体实现包括如下：
(1)从公开数据集中获取Houston2012高光谱数据集，其包含有144个波段的高光谱图像HSI和单个波段的激光雷达LiDAR图像的多源图像，像素值大小均为349*1905，图像共包含有15个物质类别；
(2)通过GS融合方法将高空间分辨率的LiDAR图像和低空间分辨率的高光谱图像HSI进行数据融合，得到高光谱GS融合图像；
(3)分别从空间域、频率域两方面提取HSI图像和LiDAR图像的不变属性特征fIAPs：
3a)空间域特征提取：通过各向同性滤波，从HSI图像中提取鲁棒卷积特征RCF，并进行超像素分割，获取空间不变特征SIF，再将空间不变特征SIF进行堆叠获得全部的空间不变特征
Figure BDA0003524045200000031
再用相同的方法从LiDAR图像中提取全部的空间不变特征
Figure BDA0003524045200000032
3b)频率域特征提取：首先通过像素级特征提取方式，将傅里叶变换应用于HSI和LiDAR图像的每个像素，分别提取HSI图像和LiDAR图像的像素傅里叶特征，再通过多尺度卷积核将像素傅里叶特征聚合为基于区域的特征描述子，从HSI和LiDAR图像中分别获取频率不变特征
Figure BDA0003524045200000033
和
Figure BDA0003524045200000034
3c)根据3a)和3b)最终从HSI中获取的不变属性特征为
Figure BDA0003524045200000035
从LiDAR图像中获取的不变属性特征为：
Figure BDA0003524045200000036
(4)将分别从HSI和LiDAR图像中提取的不变属性特征
Figure BDA0003524045200000037
和
Figure BDA0003524045200000038
采用广义的基于加权图的方式进行多源数据特征融合，得到不变属性特征融合图；
(5)将高光谱GS融合图像和不变属性特征融合图分别输入到现有的微型图卷积网络miniGCN和二维卷积神经网络2DCNN支路进一步提取特征：
5a)获取适用于高光谱GS融合图像的训练样本矩阵、测试样本矩阵、训练标签矩阵、测试标签矩阵及表示样本点间相互关系的邻接矩阵；获取适用于不变属性特征融合图的训练样本矩阵、测试样本矩阵、训练标签矩阵、测试标签矩阵；
5b)将高光谱GS融合图像对应的训练样本矩阵、标签矩阵及邻接矩阵输入微型图卷积网络miniGCN支路，提取出高光谱GS融合图像包含的光谱特征；将不变属性特征融合图对应的训练样本矩阵、标签矩阵输入到二维卷积神经网络2DCNN支路，提取出不变属性特征融合图包含的空间特征；
(6)选用乘性融合策略对来自2DCNN和miniGCN两条支路的空间、光谱特征进行融合，得到乘性融合后的特征融合结果HM；
(7)选用由完全连接层FCN和softmax函数构成的分类网络，将乘性融合后的特征融合结果HM输入到该分类网络中，得到最终的目标分类结果。
本发明与现有的技术相比具有以下优点：
1.提取多源图像的特征丰富多样
现有技术中，多数是从单一模态图像中提取特征，导致物体特征信息不够完整，即使从多源图像中提取形态学剖面MPs进行融合后用于分类任务，但在复杂的高光谱场景中并不能灵活地提取特定区域的属性特征。本发明由于通过对多模态图像进行GS数据融合，同时获取图像的光谱、空间、高程信息，丰富了特征的多样性，同时由于本发明在融合数据的基础上，使用特征描述符IAP从空间和频率两个方面提取物体不变属性特征IAPs，避免了在复杂的空间结构中因为局部语义变化导致从相同材质中提取的特征产生实质性差异的结果。
2.提高卷积层提取多样性特征的能力
现有技术中，大多采取单独将HSI输入到2DCNN框架中分层构建图像高级特征，但最终获取的特征信息比较单一，欠缺对多样性特征提取的能力，本次发明就2DCNN的模型输入而言，首次将HSI和LiDAR数据图像的不变属性特征IAPs融合结果作为原始输入,经预处理后输入到网络模型中，提高了卷积层提取多样性特征的能力。
3.丰富基于图结构图像数据的节点特征
现有技术中，对于基于图结构的高光谱图像，图卷积网络通过提取图结构数据中每一个节点特征作为模型输入之一，但从中提取的特征信息仅包含高光谱图像的光谱和空间信息，本发明提出的miniGCN网络框架用于处理基于图结构的多源图像，将HSI和LiDAR数据的融合图像作为miniGCN框架的原始输入，使节点特征信息更加多样化，节点与节点间的结构信息也更加完整，提高了多源图像的分类精度。
附图说明
图1是本发明的实现的流程图；
图2是本发明中对HSI和LiDAR数据图像进行GS融合后的图像；
图3是用本发明和现有五种高光谱图像分类方法的分类结果对比图。
具体实施方式
以参照附图对本发明的实施例和效果做进一步详细描述。
参见图1，该实例步骤如下：
步骤1，获取高光谱数据集。
本实例从现有的公开数据集中获取到Houston2012高光谱数据集，该高光谱数据集来源于休斯顿大学和其邻近市区的场景图，其包含有144个波段的高光谱图像HSI和单个波段的激光雷达LiDAR图像，像素值大小均为349*1905，共包含有15个物质类别。
步骤2，对多源图像数据进行GS融合。
GS光谱锐化方法是一种将Gram-Schmidt算法应用到遥感图像的融合方法，本实例是通过GS融合方法将高空间分辨率的LiDAR图像和低空间分辨率的HSI进行数据融合，由此提高HSI的空间分辨率，如图所示，其中：
图2(a)和图2(b)分别是融合前的高光谱图像HSI和LiDAR图像，
图2(c)是融合后的图像，
由图2(c)可见，融合后的图像相对于单个高光谱图像HSI和LiDAR图像有着更高的对比度，有利于更好地区分物质类别；
(2.1)计算LiDAR图像和高光谱图像HSI重叠区域，并对其进行裁剪，得到裁剪后的LiDAR图像和高光谱图像HSI；
(2.2)模拟产生低分辨率的LiDAR图像作为施密特正交GS变换的第一分量：将低分辨率的高光谱图像HSI根据光谱响应函数按设定权重进行模拟，得到模拟的LiDAR图像灰度值，或对LiDAR图像进行模糊操作，将其缩小到与高光谱图像HSI的大小相同；
(2.3)以模拟LiDAR图像灰度值的波段为第一波段，将高光谱图像HSI的所有波段为后续波段，做施密特正交GS变换；
(2.4)根据施密特正交GS变换的第一分量均值和方差，对LiDAR图像波段进行修改；
(2.5)将修改后的LiDAR图像波段作为第一分量，进行施密特正交逆变换，去除输出波段中的第一个波段后，得到最终的GS融合图像。
步骤3，分别提取高光谱图像HSI和LiDAR图像的不变属性特征IAPs。
由于属性滤波器AFs对局部语义变化不敏感，可通过AFs的应用提取遥感高光谱图像HSI和LiDAR图像的不变属性特征IAPs，首先通过各项同性滤波器和超像素分割技术的应用提取空间不变特征SIFs；再通过在傅里叶极坐标系中模拟图像块的移动或旋转行为将离散的AP转换为连续的轮廓，由此得到频率不变特征FIFs，其具体实现如下：
(3.1)空间域特征提取：
通过各向同性滤波，从遥感图像中提取鲁棒卷积特征RCF，并将其通过特征集形式表示为：
fRCF＝[f1,…fk,…fD]，
其中，
Figure BDA0003524045200000051
表示从多源图像的第k个波段上提取的鲁棒卷积特征，Ik表示多源图像的第k个波段，Kconv表示卷积核，通过Ik与卷积核Kconv进行卷积运算，以各向同性地聚合局部空间信息；
为增强特征的不变性，可运用线性迭代聚类SLIC方法对鲁棒卷积特征RCF进行超像素分割，得到第i个像素的空间不变特征SIF可表示为：
Figure BDA0003524045200000061
其中，Nq表示第q个超像素的像素个数；
Figure BDA0003524045200000062
表示由第q个超像素组成，且包含第i个目标像素的像素集，
Figure BDA0003524045200000063
表示第j个鲁棒卷积特征RCF；
最终从多源图像中提取的空间不变特征fSIFs可简单堆叠为：
Figure BDA0003524045200000064
其中，
Figure BDA0003524045200000065
表示第i个像素的空间不变特征，i∈[1,N]，N＝W×H表示多源图像场景中的像素个数。
(3.2)频率域特征提取：
首先是像素级特征提取，通过将图像分成小的各像素点的梯度或边缘的方向直方图并将其组合起来构成特征描述符。为进一步提高性能，可以进行基于区域的表示，将这些局部直方图在图像的区间内进行对比度归一化。传统的离散直方图不能对局部图像的旋转行为进行很好地建模，本实例利用连续傅立叶变换对任意角度的旋转行为进行有效模拟，即对于遥感多源图像，按以下步骤提取图像的旋转不变特征：
(3.2.1)将傅里叶变换应用于多源图像的每个像素，对于不同的傅里叶阶数，得到相对应的幅度特征
Figure BDA00035240452000000611
Figure BDA0003524045200000066
其中，||D(x,y)||表示给定像素的幅度信息，m表示傅里叶阶数；
(3.2.2)在极坐标系下，根据傅里叶基的自导向性，将两个具有相同旋转行为的傅里叶基进行卷积，其表达式为：
Figure BDA0003524045200000067
其中，m1和m2分别表示两个不同的傅里叶阶数，g°表示旋转度数，
Figure BDA0003524045200000068
表示坐标变换，Fm1(x,y)和Fm2(x,y)分别表示傅里叶阶数为m1和m2时在位置(x,y)处提取的特征在极坐标系下的傅里叶形式，当m1+m2＝0时，可完全消除特征的相位信息，得到绝对旋转不变性特征输出
Figure BDA0003524045200000069
Figure BDA00035240452000000610
(3.2.3)将获得的绝对旋转不变性特征输出
Figure BDA0003524045200000071
与其在卷积区域上任意两个相邻
卷积核半径进行耦合，得到相对旋转不变特征
Figure BDA0003524045200000072
Figure BDA0003524045200000073
其中，r1和r2分别表示两个不同的卷积核半径；
(3.2.4)根据以上获取到的
Figure BDA0003524045200000074
这三种不同特征，得到在多源图像特定位置(x,y)处的像素傅里叶特征f'PWFF(x,y)：
Figure BDA0003524045200000075
(3.2.5)根据像素傅里叶特征f'PWFF(x,y)得到像素值大小为W×H的遥感多源图像上所有位置的像素傅里叶特征fPWFF(x,y)为：
Figure BDA0003524045200000076
(3.2.6)通过多尺度卷积核将像素傅里叶特征fPWFF(x,y)聚合为基于区域的特征描述子，得到的频率不变特征fFIFs为：
Figure BDA0003524045200000077
其中，
Figure BDA0003524045200000078
表示像素傅里叶特征与第j个卷积核进行运算后的的区域描述符，j∈[1,J]，J表示全部的卷积核个数；
(3.2.7)根据上述方法提取的空间不变特征fSIFs和频率不变特征fFIFs，得到不变属性特征fIAPs为：
fIAPs＝[fSIFs,fFIFs]；
本实例中对高光谱图像HSI和LiDAR图像的不变属性特征提取均使用上述方法实现，为了对这种图像进行区分，故用
Figure BDA0003524045200000079
和
Figure BDA00035240452000000710
分别作为高光谱图像HSI和LiDAR图像的不变属性特征的表示符号。
步骤4，通过基于加权图的特征融合方式进行多源数据融合。
由于高光谱图像HSI包含丰富的光谱和空间信息，LiDAR图像包含物体的高程信息，因而对这种图像的特征融合使通过将高光谱图像HSI的不变属性特征
Figure BDA0003524045200000081
和LiDAR图像中的不变属性特征
Figure BDA0003524045200000082
进行融合，实现如下：
(4.1)标准化
Figure BDA0003524045200000083
和
Figure BDA0003524045200000084
的维度；
(4.2)获取一个转换矩阵W，使其结合特征降维和特征融合：
(4.2.1)将融合图结构定义为G＝(X,QGGF)，其中：
X＝[Xspe,Xspa,Xele]，Xspe，Xspa分别表示来自
Figure BDA0003524045200000085
的光谱、空间信息，Xele表示来自
Figure BDA0003524045200000086
的高程信息；
QGGF表示相连接的两个数据点xi和xj之间的边缘，定义为：
Figure BDA0003524045200000087
其中，xi∈Ni，xj∈Ni，Ni表示通过计算当前数据点xi与其相连接的数据点之间的欧氏距离后，经过排序得到的距离最小的K个数据点的集合，如果
Figure BDA0003524045200000088
时，则QGGF＝0；
(4.2.2)由QGGF得到其对角矩阵DGGF,计算融合拉普拉斯矩阵LGGF：
LGGF＝DGGF-QGGF
(4.2.3)根据已得到的特征信息X、融合拉普拉斯矩阵LGGF、对角矩阵DGGF，通过如下的广义特征值公式得到不同的特征值λ及其对应的特征向量q：
XLGGFX丅q＝λXDGGFXTq
式中，XT表示X的转置，λ表示特征值，λ∈[λ1,λ2,…λi,…λr]且λ1≤λ2≤…λi…≤λr，r表示特征值的数量；
根据每一个特征值对应一个特征向量，则有q∈[q1,q2,…，qi,…qr]，由所有的特征向量得到到转换矩阵W:
W＝(q1,q2,…，qi,…qr)
其中，qi表示第i个特征值对应的特征向量；
(4.2.3)根据转换矩阵W和特征信息X，计算高光谱图像HSI的不变属性特征和LiDAR图像中的不变属性特征的融合结果，得到不变属性特征融合图Z：
Z＝WTX
其中，WT表示W的转置。
步骤5，获取适用于高光谱GS融合图像的训练样本矩阵、测试样本矩阵、训练标签矩阵、测试标签矩阵及表示样本点间相互关系的邻接矩阵。
(5.1)从Houston2012高光谱数据集中获取仅包含背景点和目标点的初始训练样本矩阵、初始测试样本矩阵；
(5.2)将初始训练样本矩阵、初始测试样本矩阵的目标点的数值提取出来构成适用于高光谱GS融合图像的训练标签矩阵、测试标签矩阵；
(5.3)确定目标点在初始训练样本矩阵、初始测试样本矩阵中的位置，并将高光谱GS融合图像上同样位置的训练样本数据点、测试样本数据点提取出来，以构成适用于高光谱GS融合图像的训练样本、测试样本矩阵；
(5.4)运用径向基函数计算出高光谱GS融合图像中表示样本点间相互关系的邻接矩阵Ai,j：
Figure BDA0003524045200000091
其中，xi和xj表示在高光谱GS融合图像上的两个相邻像素点i和j处的特征信息，σ表示控制径向基函数宽度的参数。
步骤6，获取适用于不变属性特征融合图Z中的训练样本矩阵、测试样本矩阵和训练标签矩阵、测试标签矩阵。
(6.1)从Houston2012高光谱数据集中获取仅包含背景点和目标点的初始训练样本矩阵、初始测试样本矩阵；
(6.2)将初始训练样本矩阵、初始测试样本矩阵的目标点的数值提取出来构成适用于不变属性特征融合图的训练标签矩阵、测试标签矩阵；
(6.3)确定目标点在初始训练样本矩阵、初始测试样本矩阵中的位置，并将不变属性特征融合图上同样位置的训练样本数据点、测试样本数据点提取出来，以构成适用于不变属性特征融合图的训练样本、测试样本矩阵。
步骤7，提取高光谱GS融合图像包含的光谱特征。
将高光谱GS融合图像包含的图结构数据作为输入数据，通过矩阵形式输入到微型图卷积网络miniGCN中，通过小批量minibatch方式在网络中对该输入数据进行训练，并在训练过程中对输入数据进行特征提取并输出，表示为:
Figure BDA0003524045200000101
其中，
Figure BDA0003524045200000102
I是单位矩阵，A是邻接矩阵，Wl是图卷积网络的第l层的权重，
Figure BDA0003524045200000103
表示
Figure BDA0003524045200000104
的对角矩阵，σ表示非线性激活函数Relu，Hl表示在提取特征过程中图卷积网络的第l层特征输出，当l＝0时，Hl为原始特征输入，Hl+1表示图卷积网络的第l+1层的特征输出，即为最终输出的光谱特征。
步骤8，提取不变属性特征融合图包含的空间特征。
(8.1)将不变属性特征融合图包含的特征信息通过矩阵形式输入到二维卷积网络2DCNN中，不变属性特征融合图的特征信息所在区域与一个可学习的卷积核进行卷积运算，用卷积结果通过激活函数得到的输出形成该卷积层的神经元，即构成该卷积层的特征图；
(8.2)将经过卷积运算后生成的特征图分割成不重叠的区域，对每个区域通过池化运算进行特征压缩，并提取其更为显著的空间特征；
(8.3)重复(8.1)和(8.2)共四次，输出为多组特征，再对其进行全连接运算，将多组特征依次组合为一组特征，即为二维卷积网络2DCNN最终输出的空间特征。
步骤9，对空间、光谱特征进行乘性融合，获取目标分类结果。
(9.1)选用乘性融合策略对来自2DCNN和miniGCN两条支路的空间、光谱特征进行融合,得到待分类的特征融合结果HM：
HM＝H2DCNNs⊙HminiGCNs
其中，H2DCNNs表示从二维卷积网络2DCNN中提取的空间特征，HminiGCNs表示从微型图卷积网络miniGCN中提取的光谱特征，⊙表示乘性融合操作符；
(9.2)通过完全连接层FCN对待分类的特征融合结果HM进行加权求和，得到HM包含的每一种物质类别所对应的分数(wk·HM+bk)，其中，wk表示第k类物质特征的权重，k∈[1,15]，bk表示偏置项；
(9.3)将得到的分数(wk·HM+bk)经过softmax函数映射成概率：yk＝softmax(wk·HM+bk)，yk即为第k类物质类别的分类结果。
本发明的效果可通过以下仿真实验和指标分析进一步说明：
一.仿真条件：
实验使用的数据集是Houston2012数据集，其为休斯顿大学和其邻近市区的场景图，共包含15种类别。用于实验的高光谱图像HSI如图2(a)所示，其包含144个波段，图像的尺寸为349*1905，用于实验的LiDAR数据图像如图2(b)所示，其包含单个波段，图像的尺寸为349*1905。
二.仿真内容：
在上述条件下，使用本发明和现有的五种高光谱图像分类方法分别在Houston2012数据集上对多源图像进行分类，分类结果如图3所示，其中：
图3(a)是现有OTVCA分类方法产生的分类结果图；
图3(b)是现有MSTV+RF分类方法产生的分类结果图；
图3(c)是现有Endnet方法产生的分类结果图；
图3(d)现有GGF方法产生的分类结果图；
图3(e)是现有Cross fusion FC方法产生的分类结果图；
图3(f)是本发明的分类结果图。
从图3可见，本发明的分类图更加平滑，清晰，真实，相较对比方法其分类效果有显著提升。
三.分类精度对比
分类性能可通过计算总体精度OA,平均精度AA和Kappa系数这三个指标对各自的分类性能进行评估，三个指标的数值越大，分类精度越高，分类性能越好。
总体精度OA，表示被正确分类的测试样本数与测试样本总数的比值；
平均精度AA表示在某一类别中，被正确分类的测试样本数与测试样本总数的比值；
Kappa系数表示为：
Figure BDA0003524045200000111
其中N表示样本点总数，xii表示分类后获得的混淆矩阵的对角线的值，x'i和x″i表示某一种类别的样本总数以及此类中被分类的样本总数。
将上述本发明和现有的五种高光谱图像分类方法对于Houston2012数据集分类结果的性能进行评估指标对比，结果如下表：
表1评价指标对比结果
method OA AA K
OTVCA 85.80 87.66 0.8458
MSTV+RF 84.54 85.63 0.8320
Endnet 87.82 89.34 0.8684
GGF 90.79 90.95 0.9001
Cross fusion FC 87.08 89.09 0.8598
本发明 92.11 93.03 0.9144
从表1可见，相比现有的其他分类方法，本发明表现出的分类性能更好，其在总体分类精度OA、平均分类精度AA、Kappa系数这三方面的指标值均优于其他五种算法，进一步证明了本发明在遥感多源图像分类方面的优良性能。

Claims (10)

1.一种基于图卷积网络的多模态遥感数据分类方法，其特征在于，包括如下步骤：
(1)从公开数据集中获取Houston2012高光谱数据集，其包含有144个波段的高光谱图像HSI和单个波段的激光雷达LiDAR图像的多源图像，像素值大小均为349*1905，图像共包含有15个物质类别；
(2)通过GS融合方法将高空间分辨率的LiDAR图像和低空间分辨率的高光谱图像HSI进行数据融合，得到高光谱GS融合图像；
(3)分别从空间域、频率域两方面提取HSI图像和LiDAR图像的不变属性特征fIAPs：
3a)空间域特征提取：通过各向同性滤波，从HSI图像中提取鲁棒卷积特征RCF，并进行超像素分割，获取空间不变特征SIF，再将空间不变特征SIF进行堆叠获得全部的空间不变特征
Figure FDA0003524045190000011
再用相同的方法从LiDAR图像中提取全部的空间不变特征
Figure FDA0003524045190000012
3b)频率域特征提取：首先通过像素级特征提取方式，将傅里叶变换应用于HSI和LiDAR图像的每个像素，分别提取HSI图像和LiDAR图像的像素傅里叶特征，再通过多尺度卷积核将像素傅里叶特征聚合为基于区域的特征描述子，从HSI和LiDAR图像中分别获取频率不变特征
Figure FDA0003524045190000013
和
Figure FDA0003524045190000014
3c)根据3a)和3b)最终从HSI中获取的不变属性特征为
Figure FDA0003524045190000015
从LiDAR图像中获取的不变属性特征为：
Figure FDA0003524045190000016
(4)将分别从HSI和LiDAR图像中提取的不变属性特征
Figure FDA0003524045190000017
和
Figure FDA0003524045190000018
采用广义的基于加权图的方式进行多源数据特征融合，得到不变属性特征融合图；
(5)将高光谱GS融合图像和不变属性特征融合图分别输入到现有的微型图卷积网络miniGCN和二维卷积神经网络2DCNN支路进一步提取特征：
5a)获取适用于高光谱GS融合图像的训练样本矩阵、测试样本矩阵、训练标签矩阵、测试标签矩阵及表示样本点间相互关系的邻接矩阵；获取适用于不变属性特征融合图的训练样本矩阵、测试样本矩阵、训练标签矩阵、测试标签矩阵；
5b)将高光谱GS融合图像对应的训练样本矩阵、标签矩阵及邻接矩阵输入微型图卷积网络miniGCN支路，提取出高光谱GS融合图像包含的光谱特征；将不变属性特征融合图对应的训练样本矩阵、标签矩阵输入到二维卷积神经网络2DCNN支路，提取出不变属性特征融合图包含的空间特征；
(6)选用乘性融合策略对来自2DCNN和miniGCN两条支路的空间、光谱特征进行融合，得到乘性融合后的特征融合结果HM；
(7)选用由完全连接层FCN和softmax函数构成的分类网络，将乘性融合后的特征融合结果HM输入到该分类网络中，得到最终的目标分类结果。
2.根据权利要求1所述的方法，其特征在于，步骤(2)通过施密特正交GS融合方法将高空间分辨率的LiDAR图像和低空间分辨率的高光谱图像HSI进行数据融合，实现如下：
(2a)计算LiDAR图像和高光谱图像HSI重叠区域，并对其进行裁剪，得到裁剪后的LiDAR图像和高光谱图像HSI；
(2b)模拟产生低分辨率的LiDAR图像作为施密特正交GS变换的第一分量：将低分辨率的高光谱图像HSI根据光谱响应函数按设定权重进行模拟，得到模拟的LiDAR图像灰度值，或对LiDAR图像进行模糊操作，将其缩小到与高光谱图像HSI的大小相同；
(2c)以模拟LiDAR图像灰度值的波段为第一波段，将高光谱图像HSI的所有波段为后续波段，做施密特正交GS变换；
(2d)根据施密特正交GS变换的第一分量均值和方差，对LiDAR图像波段进行修改；
(2e)将修改后的LiDAR图像波段作为第一分量，进行施密特正交逆变换，去除输出波段中的第一个波段后，得到最终的GS融合图像。
3.根据权利要求1所述的方法，其特征在于，步骤(3a)中从空间域提取HSI图像和LiDAR图像的不变属性特征，实现如下：
(3a1)通过各向同性滤波，从多源图像中提取鲁棒卷积特征RCF，并将其通过特征集形式表示为：fRCF＝[f1,…fk,…fD]
其中，
Figure FDA0003524045190000021
I表示多源图像，Ik表示多源图像的第k个波段，Kconv表示卷积核；
(3a2)将像素值大小为W×H，波段数为D的多源图像与卷积核Kconv进行卷积运算，以各向同性地聚合局部空间信息，再运用线性迭代聚类SLIC方法进行超像素分割，获取多源图像所包含的各个像素的空间不变特征fSIFs：
Figure FDA0003524045190000031
其中，
Figure FDA0003524045190000032
表示第i个像素的空间不变特征，i∈[1,N]，N＝W×H表示多源图像场景中的像素个数，
Figure FDA0003524045190000033
其中，Nq表示第q个超像素的像素个数；
Figure FDA0003524045190000034
表示由第q个超像素组成，且包含第i个目标像素的像素集，
Figure FDA0003524045190000035
表示第j个鲁棒卷积特征RCF。
4.根据权利要求1所述的方法，其特征在于，步骤(3b)中从频率域提取高光谱图像HSI和LiDAR图像的不变属性特征，实现如下：
(3b1)提取多源图像在位置(x,y)处的的旋转不变特征：
首先，将傅里叶变换应用于高光谱图像HSI和LiDAR图像的每个像素，对于不同的傅里叶阶数，得到相对应的幅度特征
Figure FDA0003524045190000036
Figure FDA0003524045190000037
其中，||D(x,y)||表示给定像素的幅度信息，m表示傅里叶阶数，m∈N，N表示自然数；
其次，根据傅里叶基的自导向性，在极坐标系下将两个具有相同旋转行为的傅里叶基进行相乘或者卷积，并且完全消除相位信息后，得到绝对旋转不变性特征输出
Figure FDA0003524045190000038
Figure FDA0003524045190000039
其中，m1和m2分别表示两个不同的傅里叶阶数，且m1+m2＝0，Fm1(x,y)和Fm2(x,y)分别表示在傅里叶阶数为m1和m2时，在位置(x,y)处提取的特征在极坐标系下的傅里叶形式；
最后，将获得的绝对旋转不变性特征输出
Figure FDA00035240451900000310
与其在卷积区域上任意两个相邻卷积核半径进行耦合，得到相对旋转不变特征
Figure FDA00035240451900000311
Figure FDA0003524045190000041
其中，r1和r2分别表示两个不同的卷积核半径，m1和m2分别表示两个不同的傅里叶阶数，且m1≠m2；
(3b2)由(3b1)获取到的
Figure FDA0003524045190000042
这三种不同特征，可得到在多源图像位置(x,y)处的像素傅里叶特征f′PWFF(x,y)：
Figure FDA0003524045190000043
最终得到像素值大小为W×H的遥感多源图像上所有位置的像素傅里叶特征fPWFF：
Figure FDA0003524045190000044
(3b3)通过多尺度卷积核将多源图像上所有位置的像素傅里叶特征fPWFF聚合为基于区域的特征描述子，最终从多源图像中获取到的频率不变特征fFIFs：
Figure FDA0003524045190000045
其中，
Figure FDA0003524045190000046
表示像素傅里叶特征与第j个卷积核进行运算后的的区域描述符，j∈[1,J]，J表示全部的卷积核个数。
5.根据权利要求1所述的方法，其特征在于，步骤(4)中采用广义的基于加权图的方式对分别从HSI和LiDAR图像中提取的不变属性特征
Figure FDA0003524045190000047
和
Figure FDA0003524045190000048
进行多源数据特征融合，实现如下：
(4a)标准化
Figure FDA0003524045190000049
和
Figure FDA00035240451900000410
的维度；
(4b)获取一个转换矩阵W：
首先，将融合图结构可定义为G＝(X,QGGF)，其中：
X＝[Xspe,Xspa,Xele]，Xspe，Xspa分别表示来自
Figure FDA00035240451900000411
的光谱、空间信息，Xele表示来自
Figure FDA00035240451900000412
的高程信息；
QGGF表示相连接的两个数据点xi和xj之间的边缘，定义为：
Figure FDA00035240451900000413
其中，xi∈Ni，xj∈Ni，Ni表示通过计算当前数据点xi与其相连接的数据点之间的欧氏距离后，经过排序得到的距离最小的K个数据点的集合，
Figure FDA0003524045190000051
时，QGGF＝0；
其次，由QGGF得到其对角矩阵DGGF,并由LGGF＝DGGF-QGGF获取融合拉普拉斯矩阵LGGF，得到转换矩阵W:
W＝(q1,q2,…，qi,…qr)
其中，qi表示第i个特征值对应的特征向量，其由广义特征值公式
Figure FDA0003524045190000055
得到，式中，λ表示特征值，λ∈[λ1,λ2,…λi,…λr]且λ1≤λ2≤…λi…≤λr，r表示特征值的数量，
Figure FDA0003524045190000056
表示X的转置；
(4c)根据公式
Figure FDA0003524045190000057
获取不变属性特征
Figure FDA0003524045190000052
和
Figure FDA0003524045190000053
的特征融合结果Z。
6.根据权利要求1所述的方法，其特征在于，步骤5a)获取适用于高光谱GS融合图像的训练样本矩阵、测试样本矩阵、训练标签矩阵、测试标签矩阵及表示样本点间相互关系的邻接矩阵，实现如下：
5a1)从Houston2012高光谱数据集中获取仅包含背景点和目标点的初始训练样本矩阵、初始测试样本矩阵；
5a2)将初始训练样本矩阵、初始测试样本矩阵的目标点的数值提取出来构成适用于高光谱GS融合图像的训练标签矩阵、测试标签矩阵；
5a3)确定目标点在初始训练样本矩阵、初始测试样本矩阵中的位置，并将高光谱GS融合图像上同样位置的训练样本数据点、测试样本数据点提取出来，以构成适用于高光谱GS融合图像的训练样本、测试样本矩阵；
5a4)运用径向基函数计算出高光谱GS融合图像中表示样本点间相互关系的邻接矩阵Ai,j：
Figure FDA0003524045190000054
其中，xi和xj表示在高光谱GS融合图像上的两个相邻像素点i和j处的特征信息，σ表示控制径向基函数宽度的参数。
7.根据权利要求1所述的方法，其特征在于，步骤5a)中获取适用于不变属性特征融合图中的训练样本矩阵、测试样本矩阵和训练标签矩阵、测试标签矩阵实现如下：
5a5)从Houston2012高光谱数据集中获取仅包含背景点和目标点的初始训练样本矩阵、初始测试样本矩阵；
5a6)将初始训练样本矩阵、初始测试样本矩阵的目标点的数值提取出来构成适用于不变属性特征融合图的训练标签矩阵、测试标签矩阵；
5a7)确定目标点在初始训练样本矩阵、初始测试样本矩阵中的位置，并将不变属性特征融合图上同样位置的训练样本数据点、测试样本数据点提取出来，以构成适用于不变属性特征融合图的训练样本、测试样本矩阵。
8.根据权利要求1所述的方法，其特征在于，步骤5b)中提取出高光谱GS融合图像包含的光谱特征及不变属性特征融合图包含的空间特征，实现如下：
5b1)将高光谱GS融合图像包含的图结构数据作为原始特征输入，通过小批量minibatch方式在网络中进行训练，数据在训练过程中进行特征提取并输出，表示为:
Figure FDA0003524045190000061
其中，
Figure FDA0003524045190000062
I是单位矩阵，A是邻接矩阵Wl是图卷积网络的第l层的权重，
Figure FDA0003524045190000063
表示
Figure FDA0003524045190000064
的对角矩阵，σ表示非线性激活函数Relu，Hl表示在提取特征过程中图卷积网络的第l层特征输出，当l＝0时，Hl为原始特征输入，Hl+1表示图卷积网络的第l+1层的特征输出，即为最终输出的光谱特征；
5b2)将输入二维卷积网络2DCNN的不变属性特征融合图的特征区域与一个可学习的卷积核进行卷积运算，卷积的结果通过激活函数得到的输出形成该卷积层的神经元，即构成该卷积层的特征图；
5b3)将经过卷积运算后生成的特征图分割成不重叠的区域，对每个区域通过池化运算进行特征压缩，并提取更为显著的空间特征；
5b4)重复5b2)和5b3)共四次，输出为多组特征，再对其进行全连接运算，将多组特征依次组合为一组特征，即为二维卷积网络2DCNN最终输出的空间特征。
9.根据权利要求1所述的方法，其特征在于，步骤(6)中选用乘性融合策略对来自2DCNN和miniGCN两条支路的空间、光谱特征进行融合，得到待分类的特征融合结果HM：
HM＝H2DCNNs⊙HminiGCNs
其中，H2DCNNs表示从二维卷积网络2DCNN中提取的空间特征，HminiGCNs表示从微型图卷积网络miniGCN中提取的光谱特征，⊙表示乘性融合操作符。
10.根据权利要求1所述的方法，其特征在于，步骤(7)中将待分类的特征融合结果HM输入到分类网络中，得到最终的目标分类结果，是先通过完全连接层FCN对特征融合结果HM进行加权求和，得到HM包含的每一种物质类别所对应的分数(wk·HM+bk)，该分数再经过softmax函数映射成概率：yk＝softmax(wk·HM+bk)，yk即为第k类物质类别的分类结果，其中，wk表示第k类物质特征的权重，k∈[1,15]，bk表示偏置项。
CN202210187175.2A 2022-02-28 2022-02-28 基于图卷积网络的多模态遥感数据分类方法 Pending CN114581773A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210187175.2A CN114581773A (zh) 2022-02-28 2022-02-28 基于图卷积网络的多模态遥感数据分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210187175.2A CN114581773A (zh) 2022-02-28 2022-02-28 基于图卷积网络的多模态遥感数据分类方法

Publications (1)

Publication Number Publication Date
CN114581773A true CN114581773A (zh) 2022-06-03

Family

ID=81771898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210187175.2A Pending CN114581773A (zh) 2022-02-28 2022-02-28 基于图卷积网络的多模态遥感数据分类方法

Country Status (1)

Country Link
CN (1) CN114581773A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972885A (zh) * 2022-06-17 2022-08-30 西安电子科技大学 基于模型压缩的多模态遥感图像分类方法
CN116051976A (zh) * 2022-11-23 2023-05-02 河南理工大学 一种融合高程信息的遥感影像的处理方法
CN116644205A (zh) * 2023-07-27 2023-08-25 北京元图科技发展有限公司 一种地理信息数据处理系统及方法
CN116934754A (zh) * 2023-09-18 2023-10-24 四川大学华西第二医院 基于图神经网络的肝脏影像识别方法及装置
CN117876890A (zh) * 2024-03-11 2024-04-12 成都信息工程大学 一种基于多级特征融合的多源遥感图像分类方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972885A (zh) * 2022-06-17 2022-08-30 西安电子科技大学 基于模型压缩的多模态遥感图像分类方法
CN114972885B (zh) * 2022-06-17 2024-06-07 西安电子科技大学 基于模型压缩的多模态遥感图像分类方法
CN116051976A (zh) * 2022-11-23 2023-05-02 河南理工大学 一种融合高程信息的遥感影像的处理方法
CN116051976B (zh) * 2022-11-23 2023-09-19 河南理工大学 一种融合高程信息的遥感影像的处理方法
CN116644205A (zh) * 2023-07-27 2023-08-25 北京元图科技发展有限公司 一种地理信息数据处理系统及方法
CN116644205B (zh) * 2023-07-27 2023-10-31 北京元图科技发展有限公司 一种地理信息数据处理系统及方法
CN116934754A (zh) * 2023-09-18 2023-10-24 四川大学华西第二医院 基于图神经网络的肝脏影像识别方法及装置
CN116934754B (zh) * 2023-09-18 2023-12-01 四川大学华西第二医院 基于图神经网络的肝脏影像识别方法及装置
CN117876890A (zh) * 2024-03-11 2024-04-12 成都信息工程大学 一种基于多级特征融合的多源遥感图像分类方法
CN117876890B (zh) * 2024-03-11 2024-05-07 成都信息工程大学 一种基于多级特征融合的多源遥感图像分类方法

Similar Documents

Publication Publication Date Title
Zhao et al. Superpixel-based multiple local CNN for panchromatic and multispectral image classification
CN114581773A (zh) 基于图卷积网络的多模态遥感数据分类方法
CN109146889B (zh) 一种基于高分辨率遥感图像的农田边界提取方法
CN107392925B (zh) 基于超像素编码和卷积神经网络的遥感影像地物分类方法
CN107239759B (zh) 一种基于深度特征的高空间分辨率遥感图像迁移学习方法
CN110458192B (zh) 基于视觉显著性的高光谱遥感图像分类方法及系统
Dibs et al. Multi-fusion algorithms for detecting land surface pattern changes using multi-high spatial resolution images and remote sensing analysis
CN107563442A (zh) 基于稀疏低秩正则图张量化嵌入的高光谱图像分类方法
CN112381144B (zh) 非欧与欧氏域空谱特征学习的异构深度网络方法
Pan et al. Simplified object-based deep neural network for very high resolution remote sensing image classification
Chen et al. Hyperspectral remote sensing image classification based on dense residual three-dimensional convolutional neural network
Tamilarasi et al. Automated building and road classifications from hyperspectral imagery through a fully convolutional network and support vector machine
Chen et al. SuperBF: Superpixel-based bilateral filtering algorithm and its application in feature extraction of hyperspectral images
Hung et al. Image texture, texture features, and image texture classification and segmentation
Yuan et al. ROBUST PCANet for hyperspectral image change detection
CN107633264B (zh) 基于空谱多特征极限学习的线性共识集成融合分类方法
CN113673556A (zh) 一种基于多尺度密集卷积网络的高光谱图像分类方法
CN116843975A (zh) 结合空间金字塔注意力机制的高光谱图像分类方法
Tombe et al. Adaptive deep co-occurrence feature learning based on classifier-fusion for remote sensing scene classification
CN111444835A (zh) 一种基于多源遥感数据提取地物空间分布位置的方法
CN114299382A (zh) 高光谱遥感图像分类方法及系统
Yang et al. GTFN: GCN and transformer fusion with spatial-spectral features for hyperspectral image classification
Qin et al. Color image denoising by means of three-dimensional discrete fuzzy numbers
CN113139515A (zh) 基于条件随机场和深度特征学习的高光谱图像分类方法
Wang et al. Fast high-order sparse subspace clustering with cumulative MRF for hyperspectral images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination