CN113111863B - 基于微型批处理与级联融合的图卷积网络高光谱分类方法 - Google Patents
基于微型批处理与级联融合的图卷积网络高光谱分类方法 Download PDFInfo
- Publication number
- CN113111863B CN113111863B CN202110520751.6A CN202110520751A CN113111863B CN 113111863 B CN113111863 B CN 113111863B CN 202110520751 A CN202110520751 A CN 202110520751A CN 113111863 B CN113111863 B CN 113111863B
- Authority
- CN
- China
- Prior art keywords
- graph
- convolution
- matrix
- batch processing
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012545 processing Methods 0.000 title claims abstract description 29
- 230000004927 fusion Effects 0.000 title claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims abstract description 39
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000001228 spectrum Methods 0.000 claims abstract description 4
- 230000009466 transformation Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 26
- 230000003595 spectral effect Effects 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000010923 batch production Methods 0.000 claims description 4
- 238000006467 substitution reaction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000004088 simulation Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Mathematical Analysis (AREA)
- Computing Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Complex Calculations (AREA)
Abstract
本发明提供一种基于微型批处理与级联融合的图卷积网络高光谱分类方法，涉及高光谱图像处理与应用技术领域。将输入的高光谱影像数据集进行微型批量处理,CNN使用minibatch策略进行培训，得到数据集的所有子集，构造高光谱影像数据集的邻接矩阵，构建拉普拉斯矩阵，进行谱域中的图卷积，将通过傅里叶变换后的图信号进行卷积处理，从而提取特征，将miniGCNs与CNNs级联融合后，输出样本类别。本发明利用一种新的有监督的miniGCN进行网络训练，具有更大的灵活性，同时融合了卷积神经网络为HS图像分类任务提取更多样化和更具鉴别能力的特征表示，方法更具有有效性和优越性。
Description
技术领域
本发明涉及高光谱图像处理与应用技术领域，尤其涉及一种基于微型批处理与级联融合的图卷积网络高光谱分类方法。
背景技术
高光谱图像具有丰富而详细的光谱信息，通过捕捉与像素相关联的光谱特征曲线中连续形状的更细微差异，可以更有效的识别感兴趣的物体(特别是光谱相似类的物体)。与RGB和多光谱(MS)数据相比，高光谱图像能够以更精细和更准确的探测和识别地球表面的物质。然而，地物之间的高度光谱混合性和光谱可变性、复杂的噪声效应给高光谱数据的有效判别信息提取带来了困难。
在过去的几十年里，各种手工处理和基于学习的特征提取(FE)算法(非监督或监督)已经成功地设计并应用于(高光谱)HS图像分类。其中形态学(MPs)是一种有效的工具，它可以从HS图像中手动提取空间光谱特征。将MPs提取的特征作为支持向量机(SVM)分类器的输入向量，获得了满意的分类结果。在此基础上最大稳定极值区域引导MPs被提出，并且在MS图像上获得了高分类性能。为了进一步增强特征表示，研究人员还提出了其他形态学处理方法在图像分类上的研究，包括属性轮廓(APs)和不变APs。另一种典型的FE学习策略是基于子空间的学习，如稀疏矩阵和流形学习。这些方法通过使用新的、潜在的、低维的子空间表示来管理高维原始空间，从而学习获得变换或投影。尽管上述方法已经被证明在HS分类任务中是有效的，但是由于缺乏强大的数据拟合和表示能力，特征识别仍然有限。
受深度学习(DL)技术的启发，堆叠式自动编码器被应用于通过主成分分析(PCA)获得的降维HS图像来实现HS图像分类。卷积神经网络(CNNs)被证明能够从HS图像中更有效地提取空间光谱特征，从而产生更高的分类性能。递归神经网络可以将光谱特征作为序列数据进行处理。
在上述研究的基础上，图卷积网络(GCNs)是一个热点和新兴的网络体系结构，它能够通过对样本(或顶点)之间的关系进行建模来有效地处理图结构数据。因此，可以使用GCNs来模拟HS图像中的像素之间存在的空间关系，从而改进CNNs中存在的问题。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于微型批处理与级联融合的图卷积网络高光谱分类方法，对高光谱图像进行分类，提高高光谱数据的分类精度。
为解决上述技术问题，本发明所采取的技术方案是：
一种基于微型批处理与级联融合的图卷积网络高光谱分类方法，包括以下步骤：
步骤1：输入待分类的原始高光谱影像数据集X，其中，n＝a1×b为一个a1行b列的高光谱影像的像素点个数，d表示高光谱影像的波段数，xnd表示第d个波段第n个像素点；d个波段也代表具有d个特征；
步骤2：将输入的数据集进行微型批量处理，得到数据集的所有子集m1m2...mn；
步骤3：对所输入的高光谱影像数据集X，构造其邻接矩阵A定义顶点即邻接矩阵中的每个节点之间的关系或边；邻接矩阵A的形式如下：
A中的每个元素通过以下基函数RBF进行计算：
其中，i、j的取值范围为1～n，n是第n个像素点，σ是控制RBF宽度的参数；向量xi和xj表示与顶点vi和vj相关的谱特征；
步骤4：构建拉普拉斯矩阵，具体方法如下：
步骤4.1：在给定邻接矩阵A的情况下，创建相应的图拉普拉斯矩阵L，L＝D-A，其中，D是表示A的度数的对角矩阵，即Di,i＝∑jAi,j；
步骤4.2：使用对称归一化拉普拉斯矩：
其中，I是单位矩阵；
步骤4.3：对L进行谱分解，L＝UΛU-1，其中，U＝(u1,u2,...un)是L的特征集；Λ为L的特征值的对角阵；
步骤5：进行谱域中的图卷积，具体步骤如下：
步骤5.1：给定两个函数f和g，卷积写为：
其中，τ是移动距离，*表示卷积算子；
步骤5.2：图上的傅里叶变换，将图上的卷积运算转换为定义傅里叶变换或找到一组基函数；
步骤6：将通过傅里叶变换后的图信号进行卷积处理，从而提取特征；
步骤7：将微型批量处理GCN(即miniGCNs)与CNNs使用端到端的融合即FuNet，使用级联融合策略：级联(C)，表示为：
其中，运算符[·,·]表示级联；和/>分别表示为从CNNs和miniGCNs中提取的l层特征；
步骤8：输出结果：输出样本类别。
进一步地，所述步骤2包括以下步骤：
步骤2.1：将输入的数据集进行微型批量处理，即miniGCNs，具体步骤如下：
步骤2.1.1：给定一个标集上|V|＝N的全图G，其中V是顶点，N是节点个数，构造一个预算为M的随机节点采样器，M<<N，表示小批量的大小；在训练每个时期之前，对全图G重复应用采样器，直到完成每个节点的采样，得到一组子图，其中，/>表示上限操作，Gs、Vs、εs分别表示子图、子图中的顶点、子图中的边；M是采样器选择的M个节点；
步骤2.1.2：通过命题：给定一个从某个子图Gs中抽样的节点v，即v∈Vs，通过将v与第l卷积层所有节点u∈Vs的特征集合起来，计算出第l+1miniGCN层中节点v的无偏估计量zv (l+1)：
其中，和/>分别定义为A和D的重正化项，以增强网络训练中的稳定性；上式代表对称归一化后的拉普拉斯矩阵，euv是规范化常数W(l)代表第l个miniGCN层的权重，bu (l)代表第l个miniGCN层节点的偏差；
即如果规范化euv的常数设置为Cuv/Cv，其中Cuv和Cv被定义为节点或边在所有采样子图中出现的次数，即euv＝1；
直接给出批处理中的更新规则，其中s不仅表示第s个子图，而且是网络训练中的第s次微型批处理；
步骤2.1.3：通过简单地设置Cuv＝Cv＝1，即euv＝1，进行没有替换的随机节点抽样；通过收集所有批次即每一次批处理的结果的输出，第l+1层中的最终输出可以重新表示为：
步骤2.2：卷积神经网络CNN使用minibatch策略进行培训，得到数据集的所有子集m1m2…mn。
进一步地，所述步骤5.2的具体方法为：
两个函数f和g的卷积的Fourier变换是它们相应Fourier变换的乘积，表述为：
F[f(t)*g(t)]＝F[f(t)·F[g(t)]]；
其中，F和·分别表示傅里叶变换和逐点乘法；
两个函数f和g的卷积的傅里叶逆变换F-1等于2π乘以它们相应的傅里叶逆变换的乘积：
F-1[f(t)*g(t)]＝2πF-1[f(t)]·F-1[g(t)]；
借助于上述两式所示的定理，卷积推广到图信号：
f(t)*g(t)＝F-1{F[f(t)]·F[g(t)]}。
所述步骤6的具体方法为：
步骤6.1：通过引理：F的基函数可以等价地表示为L的一组特征向量，L＝UΛU-1其中，U＝(u1,u2,...un)是L的特征向量集，即F的基；
步骤6.2：由于U是正交矩阵，即UUT＝E，或写成L＝UΛU-1＝UΛUT
步骤6.3：f在图上的F为GF[f]＝UTf，逆变换为f＝UGF[f]；f和g在图上的卷积表示为G[f*g]＝U{[UTf]·[UTg]}；
步骤6.4：把UTg写成gθ，图上的卷积最终表示为G[f*gθ]＝UgθUTf，gθ视为L的特征值(Λ)相对于变量θ的函数，即gθ(Λ)；
步骤6.5：通过应用Chebyshev多项式的第k阶截断展开来近似拟合gθ，卷积表达式为：式中Tk(·)和θk'是关于该变量的Chebyshev多项式和切比雪夫系数；/>表示归一化L；
步骤6.6：通过限制K＝1并指定最大特征值λmax，赋值为2，进一步限制参数的数量以解决过拟合并最小化每层的操作数量，进一步简化为：
步骤6.7：通过卷积计算得到激活层传播规则为：
其中，和/>分别定义为A和D的重正化项。此外，H(l)为第l层输出。h(·)为激活函数关于要学习的权重/>和所有层的偏差/>
采用上述技术方案所产生的有益效果在于：本发明提供的基于微型批处理与级联融合的图卷积网络高光谱分类方法，利用一种新的有监督的miniGCN进行网络训练，具有更大的灵活性，同时融合了卷积神经网络为HS图像分类任务提取更多样化和更具鉴别能力的特征表示，方法更具有有效性和优越性。
附图说明
图1为本发明实施例提供的基于微型批处理与级联融合的图卷积网络高光谱分类方法的流程图；
图2为本发明实施例提供的仿真实验选取的高光谱图像数据集的伪彩色影像；
图3为本发明实施例提供的仿真实验选取的高光谱图像数据集的地面参考数据；
图4为本发明实施例提供的采用四种方法进行仿真实验的分类结果图；其中，(a)为采用KNN方法的分类结果图，(b)为采用2D CNN方法的分类结果图，(c)为采用miniGCN方法的分类结果图，(d)为采用本发明方法的分类结果图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本实施例以某高光谱遥感影像为例，使用本发明的一种基于微型批处理与级联融合的图卷积网络高光谱分类方法对该高光图像中的地物进行分类。
如图1所示，本实施例的方法如下所述。
步骤1：输入待分类的原始高光谱影像数据集X，其中，n＝a1×b为一个a1行b列的高光谱影像的像素点个数，d表示高光谱影像的波段数，xnd表示第d个波段第n个像素点；d个波段也代表具有d个特征。
本实施例中，选取由来源于AVIRIS传感器的高光谱遥感影像数据集IndianPines，反映美国印第安纳西北部地区的植被种植情况，该场景由145×145像素组成，地面采样距离(GSD)为20m，220个光谱波段，波长范围为400至2500nm，光谱分辨率为10nm。通过去除20个噪声和吸水带(即104-108、150-163和220)保留了200个通道。表1列出了本研究场景中涉及的16种主要土地覆盖类型，以及用于分类任务的训练和测试样本数量。相应地，图2给出了该场景的假彩色图像以及训练和测试样本的空间分布。图3给出了高光谱图像数据集的地面参考数据。
表1土地覆盖类型
步骤2：将输入的数据集进行微型批量处理，得到数据集的所有子集m1m2...mn。
步骤2.1：由于GCN的计算成本随着图形大小的增加而增加。为了避免大型图的计算负担，一个可行的解决方案(类似于CNNs)是使用小批量处理，即miniGCNs。将输入的数据集进行微型批量处理，即miniGCNs，具体步骤如下：
步骤2.1.1：给定一个标集上|V|＝N的全图G，其中V是顶点，N是节点个数，构造一个预算为M的随机节点采样器，M<<N，表示小批量的大小；在训练每个时期之前，对全图G重复应用采样器，直到完成每个节点的采样，得到一组子图，其中，/>表示上限操作，Gs、Vs、εs分别表示子图、子图中的顶点、子图中的边；M是采样器选择的M个节点；
步骤2.1.2：通过命题：给定一个从某个子图Gs中抽样的节点v，即v∈Vs，通过将v与第l卷积层所有节点u∈Vs的特征集合起来，可以计算出第l+1miniGCN层中节点v的无偏估计量zv (l+1)：
其中，和/>分别定义为A和D的重正化项，以增强网络训练中的稳定性；上式代表对称归一化后的拉普拉斯矩阵，euv是规范化常数W(l)代表第l个miniGCN层的权重，bu (l)代表第l个miniGCN层节点的偏差；
即如果规范化euv的常数设置为Cuv Cv，其中Cuv和Cv被定义为节点或边在所有采样子图中出现的次数，即euv＝1；
可以直接给出批处理中的更新规则，其中s不仅表示第s个子图，而且是网络训练中的第s次微型批处理；
步骤2.1.3：通过简单地设置Cuv＝Cv＝1，即euv＝1，进行没有替换的随机节点抽样；通过收集所有批次即每一次批处理的结果的输出，第l+1层中的最终输出可以重新表示为：
步骤2.2：卷积神经网络CNN使用minibatch策略进行培训，得到数据集的所有子集m1m2…mn。
步骤3：对所输入的高光谱影像数据集X，构造其邻接矩阵A定义顶点即邻接矩阵中的每个节点之间的关系或边，A中每个节点都是高光谱影像的像素点，A∈Rn*n表示一张图的结构特性，A的值只有1或0，其中0代表两个点没有关系，1代表两个点直接有特征关系；邻接矩阵A的形式如下：
A中的每个元素通过以下基函数RBF进行计算：
其中，i、j的取值范围为1～n，n是第n个像素点，σ是控制RBF宽度的参数；向量xi和xj表示与顶点vi和vj相关的谱特征，顶点就是像素点，邻接矩阵A表示的是顶点之间的关系。
步骤4：构建拉普拉斯矩阵。
由于拉普拉斯矩阵是对称矩阵，可以进行特征分解(谱分解)，同时拉普拉斯矩阵具有只在中心顶点和一阶相连的顶点上有非0元素，其余地方均为0的特征。具体方法如下：
步骤4.1：在给定邻接矩阵A的情况下，创建相应的图拉普拉斯矩阵L，L＝D-A，其中，D是表示A的度数的对角矩阵，即Di,i＝∑jAi,j；
步骤4.2：为了增强图的泛化能力，使用对称归一化拉普拉斯矩：
其中，I是单位矩阵；
步骤4.3：对L进行谱分解，L＝UΛU-1，其中，U＝(u1,u2,...un)是L的特征集；Λ为L的特征值的对角阵。
步骤5：进行谱域中的图卷积，具体步骤如下：
步骤5.1：给定两个函数f和g，它们的卷积写为：
其中，τ是移动距离，*表示卷积算子；
步骤5.2：图上的傅里叶变换，将图上的卷积运算转换为定义傅里叶变换或找到一组基函数；具体方法为：
两个函数f和g的卷积的Fourier变换是它们相应Fourier变换的乘积，这可以表述为：
F[f(t)*g(t)]＝F[f(t)·F[g(t)]]
其中，F和·分别表示傅里叶变换和逐点乘法；
两个函数f和g的卷积的傅里叶逆变换F-1等于2π乘以它们相应的傅里叶逆变换的乘积：
F-1[f(t)*g(t)]＝2πF-1[f(t)]·F-1[g(t)]
借助于上述两式所示的定理，卷积可以推广到图信号：
f(t)*g(t)＝F-1{F[f(t)]·F[g(t)]}。
因此，可以将图上的卷积运算转换为定义傅里叶变换(F)或找到一组基函数。
步骤6：将通过傅里叶变换后的图信号进行卷积处理，从而提取特征。具体方法为：
步骤6.1：通过引理：F的基函数可以等价地表示为L的一组特征向量，L＝UΛU-1其中，U＝(u1,u2,...un)是L的特征向量集，即F的基；
步骤6.2：由于U是正交矩阵，即UUT＝E，或写成L＝UΛU-1＝UΛUT
步骤6.3：f在图上的F为GF[f]＝UTf，逆变换为f＝UGF[f]；f和g在图上的卷积可以表示为G[f*g]＝U{[UTf]·[UTg]}；
步骤6.4：把UTg写成gθ，则图上的卷积最终表示为G[f*gθ]＝UgθUTf，gθ视为L的特征值(Λ)相对于变量θ的函数，即gθ(Λ)；
步骤6.5：为了降低计算复杂度，通过应用Chebyshev多项式的第k阶截断展开来近似拟合gθ，卷积表达式为：式中Tk(·)和θk'是关于该变量的Chebyshev多项式和切比雪夫系数；/>表示归一化L；
步骤6.6：通过限制K＝1并指定最大特征值λmax，赋值为2，进一步限制参数的数量以解决过拟合并最小化每层的操作数量，进一步简化为：
步骤6.7：通过卷积计算得到激活层传播规则为：
其中，和/>分别定义为A和D的重正化项。此外，H(l)为第l层输出。h(·)为激活函数关于要学习的权重/>和所有层的偏差/>
步骤7：将miniGCNs与CNNs级联融合。
不同的网络结构能够提取HS图像的不同表示，例如CNNs中的空间-光谱特征或GCNs中样本之间的拓扑关系。一般来说，由于缺乏特征多样性，单个模型可能无法提供最佳的性能结果。
将微型批量处理GCN(即miniGCNs)与CNNs使用端到端的融合即FuNet，使用级联融合策略：级联(C)，表示为：
其中，运算符[·,·]表示级联；和/>分别表示为从CNNs和miniGCNs中提取的l层特征；
步骤8：输出结果：输出样本类别。
由于GCNs的性能在一定程度上取决于邻接矩阵的质量，即因此本实施例研究通过调整/>邻接矩阵的邻接数(K)和RBF函数的宽度(σ)来获得的性能增益非常重要。参数K(在很大程度上)支配性能增益，随着K值的增加，GCNs和miniGCNs的OAs保持稳定。另一方面，改变参数σ只会产生轻微的性能波动，这表明该参数可能没有得到正确的微调。最重要的是，随着这两个参数的逐渐变化，miniGCNs的性能增益或减损相对缓慢而平缓。反过来，在不同的参数组合下，GCN产生的结果相对更受干扰。此外，由于GCNs的整批训练策略往往无法找到较好的局部最优解，使得GCNs的整体分类性能也出现了瓶颈。综合而言，在本实施例中，(K，σ)的参数组合被设置为(10,1)，因为这个参数范围相对稳定。
本实施例中，还给出了采用本发明方法、KNN方法、二维CNN方法及miniGCN四种不同方法对Indian Pines数据集进行分类的对比，各方法对应的各类地物分类精度、OA(总体分类精度)、AA(平均分类精度)和Kappa系数如表1所示，图4给出了随机一次的分类结果图。其中，本发明方法的分类结果OA、AA和Kappa系数分别约为80.01％、91.23％和77.97％，相比KNN方法、二维CNN方法及miniGCN方法的分类结果均有所提高，OA分别提高了约20.84％、5.03％和3.12％，AA分别提高了约27.33％、5.71％和12.75％，Kappa系数分别提高了约23.87％、6.08％和6.41％。
由图4可以看出，KNN由于仅利用了光谱特征，分类结果图中出现严重的“椒盐现象”，三维CNN增加了局部卷积，能更有效地从HS图像中提取空间光谱信息，获得更高的分类精度，miniGCN通过局部保留图(或流形)结构来提取HS特征实现了稳定的性能改进，这意味着与全图保留相比，本发明提出方法采用的批处理策略可以消除由手动计算邻接矩阵引起的错误，并进一步减少错误在层与层之间的累积和传播。与其他方法相比，本发明方法的融合策略获得了更平滑、更精确的分类结果，这主要是由于有效地结合了不同的特征，进一步增强了HS的特征表示能力。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。
Claims (4)
1.一种基于微型批处理与级联融合的图卷积网络高光谱分类方法，其特征在于：该方法包括以下步骤：
步骤1：输入待分类的原始高光谱影像数据集X，其中，n＝a1×b为一个a1行b列的高光谱影像的像素点个数，d表示高光谱影像的波段数，xnd表示第d个波段第n个像素点；d个波段也代表具有d个特征；
步骤2：将输入的数据集进行微型批量处理，得到数据集的所有子集m1m2...mn；
步骤3：对所输入的高光谱影像数据集X，构造其邻接矩阵A定义顶点即邻接矩阵中的每个节点之间的关系或边；邻接矩阵A的形式如下：
A中的每个元素通过以下基函数RBF进行计算：
其中，i、j的取值范围为1～n，n是第n个像素点，σ是控制RBF宽度的参数；向量xi和xj表示与顶点vi和vj相关的谱特征；
步骤4：构建拉普拉斯矩阵，具体方法如下：
步骤4.1：在给定邻接矩阵A的情况下，创建相应的图拉普拉斯矩阵L，L＝D-A，其中，D是表示A的度数的对角矩阵，即Di,i＝∑jAi,j；
步骤4.2：使用对称归一化拉普拉斯矩：
其中，I是单位矩阵；
步骤4.3：对L进行谱分解，L＝UΛU-1，其中，U＝(u1,u2,...un)是L的特征集；Λ为L的特征值的对角阵；
步骤5：进行谱域中的图卷积，具体步骤如下：
步骤5.1：给定两个函数f和g，卷积写为：
其中，τ是移动距离，*表示卷积算子；
步骤5.2：图上的傅里叶变换，将图上的卷积运算转换为定义傅里叶变换或找到一组基函数；
步骤6：将通过傅里叶变换后的图信号进行卷积处理，从而提取特征；
步骤7：将微型批量处理GCN与CNNs使用端到端的融合即FuNet，使用级联融合策略：级联(C)，表示为：
其中，运算符[·,·]表示级联；和/>分别表示为从CNNs和miniGCNs中提取的l层特征；
步骤8：输出结果：输出样本类别。
2.根据权利要求1所述的基于微型批处理与级联融合的图卷积网络高光谱分类方法，其特征在于：所述步骤2包括以下步骤：
步骤2.1：将输入的数据集进行微型批量处理，即miniGCNs，具体步骤如下：
步骤2.1.1：给定一个标集上|V|＝N的全图G，其中V是顶点，N是节点个数，构造一个预算为M的随机节点采样器，M<<N，表示小批量的大小；在训练每个时期之前，对全图G重复应用采样器，直到完成每个节点的采样，得到一组子图，其中，/>表示上限操作，Gs、Vs、εs分别表示子图、子图中的顶点、子图中的边；M是采样器选择的M个节点；
步骤2.1.2：通过命题：给定一个从某个子图Gs中抽样的节点v，即v∈Vs，通过将v与第l卷积层所有节点u∈Vs的特征集合起来，计算出第l+1miniGCN层中节点v的无偏估计量zv (l +1)：
其中，和/>分别定义为A和D的重正化项，以增强网络训练中的稳定性；上式代表对称归一化后的拉普拉斯矩阵，euv是规范化常数，W(l)代表第l个miniGCN层的权重，bu (l)代表第1个miniGCN层节点的偏差；
即规范化euv的常数设置为Cuv/Cv，其中Cuv和Cv被定义为节点或边在所有采样子图中出现的次数，即euv＝1；
直接给出批处理中的更新规则，其中s不仅表示第s个子图，而且是网络训练中的第s次微型批处理；
步骤2.1.3：通过简单地设置Cuv＝Cv＝1，即euv＝1，进行没有替换的随机节点抽样；通过收集所有批次即每一次批处理的结果的输出，第l+1层中的最终输出可以重新表示为：
步骤2.2：卷积神经网络CNN使用minibatch策略进行培训，得到数据集的所有子集m1 m2... mn。
3.根据权利要求2所述的基于微型批处理与级联融合的图卷积网络高光谱分类方法，其特征在于：所述步骤5.2的具体方法为：
两个函数f和g的卷积的Fourier变换是它们相应Fourier变换的乘积，表述为：
F[f(t)*g(t)]＝F[f(t)·F[g(t)]]；
其中，F和·分别表示傅里叶变换和逐点乘法；
两个函数f和g的卷积的傅里叶逆变换F-1等于2π乘以它们相应的傅里叶逆变换的乘积：
F-1[f(t)*g(t)]＝2πF-1[f(t)]·F-1[g(t)]；
借助于上述两式所示的定理，卷积推广到图信号：
f(t)*g(t)＝F-1{F[f(t)]·F[g(t)]}。
4.根据权利要求3所述的基于微型批处理与级联融合的图卷积网络高光谱分类方法，其特征在于：所述步骤6的具体方法为：
步骤6.1：通过引理：F的基函数可以等价地表示为L的一组特征向量，L＝UΛU-1其中，U＝(u1,u2,...un)是L的特征向量集，即F的基；
步骤6.2：由于U是正交矩阵，即UUT＝E，或写成L＝UΛU-1＝UΛUT
步骤6.3：f在图上的F为GF[f]＝UTf，逆变换为f＝UGF[f]；f和g在图上的卷积表示为G[f*g]＝U{[UTf]·[UTg]}；
步骤6.4：把UTg写成gθ，图上的卷积最终表示为G[f*gθ]＝UgθUTf，gθ视为L的特征值(Λ)相对于变量θ的函数，即gθ(Λ)；
步骤6.5：通过应用Chebyshev多项式的第k阶截断展开来近似拟合gθ，卷积表达式为：式中Tk(·)和θ′k是关于该变量的Chebyshev多项式和切比雪夫系数；/>表示归一化L；
步骤6.6：通过限制K＝1并指定最大特征值λmax，赋值为2，进一步限制参数的数量以解决过拟合并最小化每层的操作数量，进一步简化为：
步骤6.7：通过卷积计算得到激活层传播规则为：
其中，和/>分别定义为A和D的重正化项；此外，H(l)为第l层输出；h(·)为激活函数关于要学习的权重/>和所有层的偏差/>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110520751.6A CN113111863B (zh) | 2021-05-13 | 2021-05-13 | 基于微型批处理与级联融合的图卷积网络高光谱分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110520751.6A CN113111863B (zh) | 2021-05-13 | 2021-05-13 | 基于微型批处理与级联融合的图卷积网络高光谱分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113111863A CN113111863A (zh) | 2021-07-13 |
| CN113111863B true CN113111863B (zh) | 2023-11-24 |
Family
ID=76722095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110520751.6A Active CN113111863B (zh) | 2021-05-13 | 2021-05-13 | 基于微型批处理与级联融合的图卷积网络高光谱分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113111863B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169535A (zh) * | 2017-07-06 | 2017-09-15 | 谈宜勇 | 生物多光谱图像的深度学习分类方法及装置 |
| WO2017161892A1 (zh) * | 2016-03-23 | 2017-09-28 | 深圳大学 | 一种高光谱遥感图像的分类方法及其系统 |
| WO2017215284A1 (zh) * | 2016-06-14 | 2017-12-21 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
| CN111476287A (zh) * | 2020-04-02 | 2020-07-31 | 中国人民解放军战略支援部队信息工程大学 | 一种高光谱影像小样本分类方法及装置 |
| CN112232280A (zh) * | 2020-11-04 | 2021-01-15 | 安徽大学 | 基于自编码器与3d深度残差网络的高光谱图像分类方法 |
-
2021
- 2021-05-13 CN CN202110520751.6A patent/CN113111863B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017161892A1 (zh) * | 2016-03-23 | 2017-09-28 | 深圳大学 | 一种高光谱遥感图像的分类方法及其系统 |
| WO2017215284A1 (zh) * | 2016-06-14 | 2017-12-21 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
| CN107169535A (zh) * | 2017-07-06 | 2017-09-15 | 谈宜勇 | 生物多光谱图像的深度学习分类方法及装置 |
| CN111476287A (zh) * | 2020-04-02 | 2020-07-31 | 中国人民解放军战略支援部队信息工程大学 | 一种高光谱影像小样本分类方法及装置 |
| CN112232280A (zh) * | 2020-11-04 | 2021-01-15 | 安徽大学 | 基于自编码器与3d深度残差网络的高光谱图像分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| 利用卷积神经网络的高光谱图像分类;赵漫丹;任治全;吴高昌;郝向阳;测绘科学技术学报;第34卷(第5期);全文 * |
| 综合纹理特征的高光谱遥感图像分类方法;吴昊;;计算机工程与设计(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113111863A (zh) | 2021-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109145992B (zh) | 协作生成对抗网络和空谱联合的高光谱图像分类方法 | |
| CN111126256B (zh) | 一种基于自适应空谱多尺度网络的高光谱图像分类方法 | |
| CN113239938B (zh) | 一种基于图结构的高光谱分类方法及系统 | |
| Ye et al. | Hyperspectral image classification using principal components-based smooth ordering and multiple 1-D interpolation | |
| CN111950406A (zh) | 一种手指静脉识别方法、装置及存储介质 | |
| Tabbakh et al. | A deep features extraction model based on the transfer learning model and vision transformer “tlmvit” for plant disease classification | |
| Zhang et al. | Spectral–spatial feature learning using cluster-based group sparse coding for hyperspectral image classification | |
| CN114581773A (zh) | 基于图卷积网络的多模态遥感数据分类方法 | |
| Zhang et al. | Spectral variability augmented sparse unmixing of hyperspectral images | |
| Zhu et al. | Multiscale short and long range graph convolutional network for hyperspectral image classification | |
| Fu et al. | Contextual online dictionary learning for hyperspectral image classification | |
| CN113920442A (zh) | 一种结合图结构与卷积神经网络的高光谱分类方法 | |
| CN108090913B (zh) | 一种基于对象级Gauss-Markov随机场的图像语义分割方法 | |
| CN115527056A (zh) | 基于双混合卷积生成对抗网络的高光谱图像分类方法 | |
| Yin et al. | Deep forest-based classification of hyperspectral images | |
| Xie et al. | Mutually exclusive-KSVD: Learning a discriminative dictionary for hyperspectral image classification | |
| Ye et al. | Supervised functional data discriminant analysis for hyperspectral image classification | |
| CN113111863B (zh) | 基于微型批处理与级联融合的图卷积网络高光谱分类方法 | |
| CN113139515A (zh) | 基于条件随机场和深度特征学习的高光谱图像分类方法 | |
| CN112329818A (zh) | 基于图卷积网络嵌入表征的高光谱图像非监督分类方法 | |
| Falco et al. | Supervised classification methods in hyperspectral imaging—recent advances | |
| CN111985501B (zh) | 一种基于自适应高阶张量分解的高光谱图像特征提取方法 | |
| Ma et al. | Graph-based logarithmic low-rank tensor decomposition for the fusion of remotely sensed images | |
| Zhu et al. | Computer image analysis for various shading factors segmentation in forest canopy using convolutional neural networks | |
| Nair et al. | Hyperspectral image fusion using fast high-dimensional denoising |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |