CN116994093A - 基于对偶图卷积神经网络的高光谱图像分类方法 - Google Patents
基于对偶图卷积神经网络的高光谱图像分类方法 Download PDFInfo
- Publication number
- CN116994093A CN116994093A CN202310968428.4A CN202310968428A CN116994093A CN 116994093 A CN116994093 A CN 116994093A CN 202310968428 A CN202310968428 A CN 202310968428A CN 116994093 A CN116994093 A CN 116994093A
- Authority
- CN
- China
- Prior art keywords
- network
- hyperspectral image
- features
- convolution
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 37
- 230000009977 dual effect Effects 0.000 claims abstract description 19
- 230000003595 spectral effect Effects 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 238000012795 verification Methods 0.000 claims abstract description 4
- 238000010606 normalization Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 102100028162 ATP-binding cassette sub-family C member 3 Human genes 0.000 claims description 5
- 102100028187 ATP-binding cassette sub-family C member 6 Human genes 0.000 claims description 5
- 101000986633 Homo sapiens ATP-binding cassette sub-family C member 3 Proteins 0.000 claims description 5
- 101000986621 Homo sapiens ATP-binding cassette sub-family C member 6 Proteins 0.000 claims description 5
- 101001014572 Homo sapiens MARCKS-related protein Proteins 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims 4
- 238000011478 gradient descent method Methods 0.000 abstract 1
- 238000012847 principal component analysis method Methods 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明基于对偶图卷积神经网络的高光谱图像分类方法属于图像分类技术领域；该方法依次执行以下步骤：步骤a、输入待分类的高光谱图像，并使用主成分分析方法去除光谱冗余；步骤b、利用不同窗口尺寸的滑窗进行裁剪，将去除光谱冗余的高光谱图像划分为训练样本、验证样本和测试样本；步骤c、将训练样本输入到残差连接和深度可分离卷积构造的DPRN(Deep Pyramidal Residual Networks,深度金字塔残差网络)，进行浅层特征提取；步骤d、将提取的浅层特征输入DGCN(Dual Graph Convolutional Network,对偶图卷积网络)中，利用对偶图结构进一步提取深层特征；步骤e、采用随机梯度下降法进行模型参数训练，将深层特征输入softmax层得到分类结果；本发明利用对偶图卷积网络充分提取了高光谱图像的光谱‑空间维度信息，提高了高光谱图像的分类精度。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于对偶图卷积神经网络的高光谱遥感图像地物分类方法。
背景技术
高光谱遥感图像处理在物质信息探测方面有着重要的地位，是遥感领域的重要课题。高光谱成像技术可同时探测到目标物体的二维几何空间信息和一维连续的光谱信息，使得高光谱图像具有“图谱合一”的特点。几何空间信息可以反映出目标物体的大小，形状等外部特征，而光谱信息能够反映目标物体内部的物理结构和化学成分。高光谱遥感被广泛应用于各个领域，如岩矿物质检测、海洋植物检测、土地管理、环境监测、军事调查和农业评估。然而，由于高光谱高维度、标记训练样本不足等问题给高光谱图像分类带来了很大的困难。
高光谱数据具有数据量大、相关性、多维度、非线性等特点，深度学习成为了高光谱遥感图像数据分析的有利工具。根据深度学习的特点，在高光谱图像分类任务中引入深度神经网络的理论和模型，使得通过高光谱遥感获取的丰富信息被充分利用，对现实应用有着重要的意义。图卷积神经网络作为一种典型的图神经网络模型，在高光谱图像分类任务中发挥着越来越重要的作用，图卷积神经网络主要通过聚合来自节点邻域结构自适应地控制，从而可以灵活地保留高光谱图像中不规则的类边界信息。但是通常，图卷积神经网络是基于半监督的方式在拓扑图上计算邻接矩阵，需要消耗大量的内存资源。所以本发明结合对偶图卷积网络和深度可分离卷积神经网络特征，设计了一种高效的高光谱遥感图像地物分类方法，分类精度高、速度快。
发明内容
本发明提供了一种基于对偶图卷积神经网络的高光谱图像分类方法，将训练样本输入到残差连接和深度可分离卷积构造的深度金字塔残差网络中对高光谱样本数据进行光谱-空间浅层特征提取，将提取到的浅层特征输入到对偶图卷积网络对高光谱数据进行深层特征提取，提高了高光谱图像的分类精度。
本发明的目的是这样实现的：
1、基于对偶图卷积神经网络的高光谱图像分类方法，其特征在于，包括以下步骤：
步骤a、输入待分类的高光谱图像，并使用PCA去除光谱冗余；
步骤b、利用滑窗对去除光谱冗余的高光谱图像裁剪，并进行归一化处理划分训练样本(10％)、验证样本(10％)与测试样本(80％)，窗口的重叠率设为50％；；
步骤c、将归一化处理后的训练集样本输入到深度金字塔残差网络，该网络由三个金字塔结构的残差单元组成，每个残差单元中的普通卷积更新为深度可分离的卷积，用于提取高光谱图像中光谱-空间联合的浅层特征；
步骤d、将提取到的高光谱图像浅层特征输入到对偶图卷积网络，利用对偶图卷积网络种的点图网络计算上一层网络输出特征的相似性，分布图网络利用标签分布学习来获得相同标签样本之间的高相关特征，以上两个图网络相互集成，可以充分提取训练样本之间光谱-空间联合的深层特征；
步骤e、将对偶图卷积网络提取的光谱-空间联合的深层特征输入至Softmax激活函数，再采用随机梯度下降算法进行模型参数训练，最后经过输出层得到分类结果。
2、根据权利要求1所述的基于对偶图卷积神经网络的高光谱图像分类方法，其特征在于，步骤a具体包括以下步骤：
步骤a1、利用PCA对高光谱图像数据立方体进行降维处理，提取光谱维特征信息；
3、根据权利要求1所述的基于对偶图卷积神经网络的高光谱图像分类方法，其特征在于，步骤b具体包括以下步骤：
步骤b1、高光谱图像经过PCA降维后，对样本数据使用min-max归一化操作；
4、根据权利要求1所述的基于对偶图卷积神经网络的高光谱图像分类方法，其特征在于，步骤c具体包括以下步骤：
步骤c1、将归一化处理后的训练集样本输入深度金字塔残差网络，提取高光谱图像的浅层特征。该网络由三个金字塔结构的残差单元组成，每个残差单元的具体执行顺序为BN→Conv→BN→ReLU→Conv→BN，并采用Zero-padded跳跃连接方式。其中，BN(BatchNormalization,批处理归一化)用来保证深度神经网络训练过程中，每一层输入数据保持相同分布，用于加快网络的收敛速度；Conv表示卷积；ReLU表示非线性激活函数，用于克服训练过程中梯度消失问题。
步骤c2、R1，R2，R3为三个金字塔结构的残差单元，将每个残差单元中的普通卷积更新为尺寸3×3的深度可分离卷积；用于提取图像中光谱-空间信息，具体执行顺序为BN→3×3(D-S Conv)→BN→ReLU→3×3(D-S Conv)→BN，3×3(D-S Conv)即为尺寸为3×3的深度可分离卷积，并采用Zero-padded跳跃连接方式；
5、根据权利要求1所述的基于对偶图卷积神经网络的高光谱图像分类方法，其特征在于，步骤d具体包括以下步骤：
步骤d1、将提取到的高光谱图像浅层特征输入到对偶图卷积网络，其是由点图和分布图构成的混合网络，其中点图计算上一层网络输出特征的相似性。首先，初始化两个图网络的节点和边特征。将节点和边特征输入到第一个MLP(Multilayer Perceptron,多层感知器)网络中，简称为MLP1，该网络包括两个卷积块和一个卷积层，每个卷积块包含一个卷积层、一个BN层和一个Leaky-ReLU操作。
步骤d2、构造分布图利用标签分布学习来获得具有相同标签的样本之间的高相关特征。分布图的边特征由点图中边特征通过迭代计算得到，节点特征由上一层节点特征以及本层节点特征进行迭代计算得到。
步骤d3、利用分布图中的边特征表示节点之间的分布相似性，每个边特征以1对N的方式表示当前节点与所有其他节点的关系。将得到的特征输入到第二个MLP中，简称为MLP2，该网络由两个卷积块和一个Sigmoid层组成，每个卷积块包含一个卷积层、一个BN层和一个Leaky-ReLU操作。
步骤d4、将点图提取的特征与分布图获得的信息结合起来，点图中节点和边特征通过MLP1网络，生成新的节点和边进入分布图中，再根据迭代计算生成的边特征和节点特征通过MLP2网络送入到点图网络中，重复多次循环，两个图网络相互集成，充分提取高光谱图像训练样本之间的光谱-空间深层特征。
6、根据权利要求1所述的基于对偶图卷积神经网络的高光谱图像分类方法，其特征在于，在步骤e中：将对偶图卷积网络提取的光谱-空间联合的深层特征输入至Softmax激活函数，再采用随机梯度下降算法进行模型参数训练，最后经过输出层得到分类结果的具体方法为：
采用Softmax的全连接层，对光谱-空间信息联合特征进行线性加权，获得预测输出结果，通过损失函数计算与实际结果的差距，获得损失：
再采用反向传播算法，获得高光谱图像特征，将高光谱图像特征经过Softmax输出层得到分类结果，其中，y为输入样本，n为类别数，p(vi)是训练样本的标签，q(vi)是模型预测的类别。
有益效果：
本发明基于对偶图卷积神经网络的高光谱图像分类方法，在高光谱数据分类中，提出一种基于对偶图卷积神经网络的高光谱图像分类方法。构建深度金字塔残差网络，用于提取高光谱图像中光谱-空间联合的浅层特征。该网络由三个金字塔结构的残差单元组成，保留卷积神经网络可以获取更丰富图像特征的前提下，将每个残差单元中的普通卷积更新为深度可分离卷积，减少网络模型参数，提高模型训练速度。将提取到的浅层特征输入到对偶图卷积网络中，因为对偶图卷积中的边是通过计算节点之间的相似度来定义和更新的，它更多地关注样本之间相似度形式的关系，可以充分提取训练样本之间光谱-空间联合的深层特征，提高了高光谱图像的分类精度。
下面通过附图，对本发明的技术方案做进一步的详细描述。
附图说明
图1是本发明方法中的基于对偶图卷积神经网络的高光谱图像分类方法的流程图。
图2是本发明方法中的基于对偶图卷积神经网络的高光谱图像分类方法的网络原理示意图。
图3是本发明方法中的深度金字塔残差单元的结构示意图。
图4是本发明方法中的对偶图卷积网络的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明。
如图1所示，基于对偶图卷积神经网络的高光谱图像分类方法，包括：
步骤a、输入待分类的高光谱图像，并使用PCA去除光谱冗余；
步骤a1、利用PCA对高光谱图像数据立方体进行降维处理，提取光谱维特征信息；
步骤b、利用滑窗对去除光谱冗余的高光谱图像裁剪，并进行归一化处理划分训练样本(10％)、验证样本(10％)与测试样本(80％)，窗口的重叠率设为50％；；
步骤b1、高光谱图像经过PCA降维后，对样本数据进行归一化操作；使用min-max归一化，即对样本数据进行线性变换，使结果映射到[-0.5,0.5]之间，转换公式如式(2)：
其中，max为图像样本数据集的最大值，min为图像样本数据集的最小值，x是样本数据集中的样本数据值，x*表示归一化后的样本数据集中的样本数据值；对样本数据进行归一化操作，不仅提升训练模型的收敛速度，还能够提升训练模型的精度。
步骤c、将归一化处理后的训练集样本输入到深度金字塔残差网络，该网络由三个金字塔结构的残差单元组成，每个残差单元中的普通卷积更新为深度可分离的卷积，用于提取高光谱图像中光谱-空间联合的浅层特征，将残差连接和深度可分离卷积相结合，构造了一个训练参数较少的残差单元；具体为：
步骤c1、将归一化处理后的训练集样本输入深度金字塔残差网络，提取高光谱图像的浅层特征。该网络由三个金字塔结构的残差单元组成，每个残差单元的具体执行顺序为BN→Conv→BN→ReLU→Conv→BN，并采用Zero-padded跳跃连接方式。其中，BN(BatchNormalization,批处理归一化)用来保证深度神经网络训练过程中，每一层输入数据保持相同分布，用于加快网络的收敛速度；Conv表示卷积；ReLU表示非线性激活函数，用于克服训练过程中梯度消失问题。
步骤c2、R1，R2，R3为三个金字塔结构的残差单元，将每个残差单元中的普通卷积更新为尺寸3×3的深度可分离卷积；用于提取图像中光谱-空间信息，具体执行顺序为BN→3×3(D-S Conv)→BN→ReLU→3×3(D-S Conv)→BN，3×3(D-S Conv)即为尺寸为3×3的深度可分离卷积，并采用Zero-padded跳跃连接方式。
首先在R1的两个3×3卷积均采用步长为1(Stride＝1)，Padding为1的SAME卷积操作，使得输入和输出特征图的大小相同，保留特征图的邻域空间信息。R2，R3为下采样残差单元，R2，R3残差单元上的两层3×3卷积分别采用步长为2(Stride＝2)，Padding为1的VAILD卷积操作和步长为1，Padding为1的SAME卷积操作，用于提取高光谱图像空-谱联合更抽象层次的特征(空间特征)。采用了Zero-padded跳跃连接方式，对于缺少的通道数全部使用0元素进行填充，这样不仅不存在额外的参数，同时保证了残差连接的正常相加运算。这种方式不仅不会导致过拟合，而且表现出更好的泛化性能。
假设输入到第二个和第三个残差单元的特征图尺寸均为N×N，则经过第二，三层下采样单元后，特征图的大小则变为为保证输入和输出特征图尺寸大小相同，将当前层的输入特征图进行2×2的平均池化操作，同时对于缺少的通道数仍采用Zero-padded跳跃连接方式。
步骤d、将提取到的高光谱图像浅层特征输入到对偶图卷积网络，利用对偶图卷积网络种的点图网络计算上一层网络输出特征的相似性，分布图网络利用标签分布学习来获得相同标签样本之间的高相关特征，以上两个图网络相互集成，可以充分提取训练样本之间光谱-空间联合的深层特征；
步骤d1、对偶图卷积网络中的点图可以描述为它的节点特征集描述为/>且边特征集描述为/>当循环L＝0时，初始化/>中的节点特征集/>和边特征集/>边特征/>使用相邻节点构造。在这里，每个边缘特征代表不同高光谱图像样本之间的相似性，其定义如式(3)：
其中在/>中的i表示不同Ii′的CNN输出特征。特别是当L＝0时，/>表示FC第一层的输出特征，当L＞0时，/>表示CNN中FC第二层的输出特征。/>表示一个变换网络，该网络包括两个卷积块和一个卷积层，每个卷积块包含一个卷积层、一个批处理归一化(BN)层和一个Leaky-ReLU操作。其中，/>不仅被当前特征更新，而且被之前的边缘特征/>更新。
步骤d2、构造对偶图卷积网络中分布图，可描述为和/>分别表示/>中的节点特征集和边缘特征集。该过程旨在得到/>其中节点特征/>的顺序遵循/>中的位置顺序，可以通过公式(4)来描述。当L＝0时，yi和yj是样本Ii′和Ij′的标签。δ(·)和||表示串联算子和Kroneckerdelta函数。
当L＞0时，最后一步从中得到/> 聚合网络MLP1，其中包含FC层和Leaky-ReLU操作。
步骤d3、利用公式(5)计算中的/> 表示/>之间的分布相似性。每个边特征以1对N的方式表示当前节点与所有其他节点的关系。这里，/>是一个由两个卷积块和一个Sigmoid层组成的MLP2，用于计算/>中的/>
步骤d4、在每次结束时，为了合并两个图中提取的所有特征(即节点和边特征)，在中生成的/>送入/>在/>中生成一个新的节点集/>其中在/>中的每个/>中的i表示一个新的节点。/>是用/>通过最后一步对所有节点特征进行聚合得到的，根据公式(6)：
其中表示一个聚合网络，其中包含两个卷积块来更新/>在这一步确定了L,可以将点图提取的特征(即节点和边)与分布图获得的信息结合起来。上述四个阶段重复多次循环L，以充分融合/>和/>
步骤e、将提取的高光谱图像训练样本之间的深层光谱-空间特征采用随机梯度下降算法进行模型参数训练，然后输入到Softmax层得到分类结果的具体方法为：
采用Softmax的全连接层，对光谱-空间信息联合特征进行线性加权，获得预测输出结果，通过损失函数计算与实际结果的差距，获得损失：
再采用反向传播算法，获得高光谱图像特征，将高光谱图像特征经过Softmax输出层得到分类结果，其中，y为输入样本，n为类别数，p(vi)是训练样本的标签，q(vi)是模型预测的类别
进一步地，本发明中，Softmax输出层的函数为：
其中，zg是第g个节点的输出值，l是输出节点的个数，即分类器的类别个数，L为类别总数。
Claims (6)
1.基于对偶图卷积神经网络的高光谱图像分类方法，其特征在于，包括以下步骤：
步骤a、输入待分类的高光谱图像，并使用PCA(Principal ComponentAnalysis,主成分分析)去除光谱冗余；
步骤b、利用滑窗对去除光谱冗余的高光谱图像裁剪，并进行归一化处理划分训练样本(10％)、验证样本(10％)与测试样本(80％)，窗口的重叠率设为50％；
步骤c、将归一化处理后的训练集样本输入到DPRN(Deep Pyramidal ResidualNetworks,深度金字塔残差网络)，该网络由三个金字塔结构的残差单元组成，每个残差单元中的普通卷积更新为深度可分离卷积，用于提取高光谱图像中光谱-空间联合的浅层特征；
步骤d、将提取到的高光谱图像浅层特征输入到DGCN(Dual Graph ConvolutionalNetwork,对偶图卷积网络)，利用对偶图卷积网络中的点图网络计算上一层网络输出特征的相似性，分布图网络利用标签分布学习来获得相同标签样本之间的高相关特征，以上两个图网络相互集成，可以充分提取训练样本之间光谱-空间联合的深层特征；
步骤e、将对偶图卷积网络提取的光谱-空间联合的深层特征输入至Softmax激活函数，再采用随机梯度下降算法进行模型参数训练，最后经过输出层得到分类结果。
2.根据权利要求1所述的基于对偶图卷积神经网络的高光谱图像分类方法，其特征在于，步骤a具体包括以下步骤：
步骤a1、利用PCA对高光谱图像数据立方体进行降维处理，提取光谱维特征信息。
3.根据权利要求1所述的基于对偶图卷积神经网络的高光谱图像分类方法，其特征在于，步骤b具体包括以下步骤：
步骤b1、高光谱图像经过PCA降维后，使用min-max对其进行归一化操作。
4.根据权利要求1所述的基于对偶图卷积神经网络的高光谱图像分类方法，其特征在于，步骤c具体包括以下步骤：
步骤c1、将归一化处理后的训练集样本输入深度金字塔残差网络，提取高光谱图像的浅层特征。该网络由三个金字塔结构的残差单元组成，每个残差单元的具体执行顺序为BN→Conv→BN→ReLU→Conv→BN，并采用Zero-padded跳跃连接方式。其中，BN(BatchNormalization,批处理归一化)用来保证深度神经网络训练过程中，每一层输入数据保持相同分布，用于加快网络的收敛速度；Conv表示卷积；ReLU表示非线性激活函数，用于克服训练过程中梯度消失问题。
步骤c2、R1，R2，R3为三个金字塔结构的残差单元，将每个残差单元中的普通卷积更新为尺寸3×3的深度可分离卷积；用于提取图像中光谱-空间信息，具体执行顺序为BN→3×3(D-S Conv)→BN→ReLU→3×3(D-S Conv)→BN，3×3(D-S Conv)即为尺寸为3×3的深度可分离卷积，并采用Zero-padded跳跃连接方式。
5.根据权利要求1所述的基于对偶图卷积神经网络的高光谱图像分类方法，其特征在于，步骤d具体包括以下步骤：
步骤d1、将提取到的高光谱图像浅层特征输入到对偶图卷积网络，其是由点图和分布图构成的混合网络，其中点图(GL P)计算上一层网络输出特征的相似性。首先，初始化两个图网络的节点和边特征。将节点和边特征输入到第一个MLP(Multilayer Perceptron,多层感知器)网络中，简称为MLP1。该网络包括两个卷积块和一个卷积层，每个卷积块包含一个卷积层、一个BN层和一个Leaky-ReLU操作。
步骤d2、构造分布图(GL d)，利用标签分布学习来获得具有相同标签的样本之间的高相关特征。分布图的边特征由点图中边特征通过迭代计算得到，节点特征由上一层节点特征以及本层节点特征进行迭代计算得到。
步骤d3、利用分布图中的边特征表示节点之间的分布相似性，每个边特征以1对N的方式表示当前节点与所有其他节点的关系。将得到的特征输入到第二个MLP中，简称为MLP2，该网络由两个卷积块和一个Sigmoid层组成，每个卷积块包含一个卷积层、一个BN层和一个Leaky-ReLU操作。
步骤d4、将点图提取的特征与分布图获得的信息结合起来，点图中节点和边特征通过MLP1网络，生成新的节点和边进入分布图中，再根据迭代计算生成的边特征和节点特征通过MLP2网络送入到点图网络中，重复多次循环，两个图网络相互集成，充分提取高光谱图像训练样本之间的光谱-空间深层特征。
6.根据权利要求1所述的基于对偶图卷积神经网络的高光谱图像分类方法，其特征在于，在步骤e中：将对偶图卷积网络提取的光谱-空间联合的深层特征输入至Softmax激活函数，再采用随机梯度下降算法进行模型参数训练，最后经过输出层得到分类结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310968428.4A CN116994093A (zh) | 2023-08-02 | 2023-08-02 | 基于对偶图卷积神经网络的高光谱图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310968428.4A CN116994093A (zh) | 2023-08-02 | 2023-08-02 | 基于对偶图卷积神经网络的高光谱图像分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116994093A true CN116994093A (zh) | 2023-11-03 |
Family
ID=88533460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310968428.4A Pending CN116994093A (zh) | 2023-08-02 | 2023-08-02 | 基于对偶图卷积神经网络的高光谱图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116994093A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117830752A (zh) * | 2024-03-06 | 2024-04-05 | 昆明理工大学 | 一种用于多光谱点云分类的自适应空-谱掩码图卷积方法 |
| CN118470545A (zh) * | 2024-07-11 | 2024-08-09 | 南京信息工程大学 | 一种基于图掩码自编码器的遥感图像自监督学习方法 |
-
2023
- 2023-08-02 CN CN202310968428.4A patent/CN116994093A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117830752A (zh) * | 2024-03-06 | 2024-04-05 | 昆明理工大学 | 一种用于多光谱点云分类的自适应空-谱掩码图卷积方法 |
| CN117830752B (zh) * | 2024-03-06 | 2024-05-07 | 昆明理工大学 | 一种用于多光谱点云分类的自适应空-谱掩码图卷积方法 |
| CN118470545A (zh) * | 2024-07-11 | 2024-08-09 | 南京信息工程大学 | 一种基于图掩码自编码器的遥感图像自监督学习方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ghaderizadeh et al. | Hyperspectral image classification using a hybrid 3D-2D convolutional neural networks | |
| Tang et al. | Deeply learned compositional models for human pose estimation | |
| Kaushik et al. | Tomato leaf disease detection using convolutional neural network with data augmentation | |
| Verma et al. | Application of convolutional neural networks for evaluation of disease severity in tomato plant | |
| Zhao et al. | TBC-Net: A real-time detector for infrared small target detection using semantic constraint | |
| Khan et al. | Scale and density invariant head detection deep model for crowd counting in pedestrian crowds | |
| CN116994093A (zh) | 基于对偶图卷积神经网络的高光谱图像分类方法 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN113780584B (zh) | 标签预测方法、设备、存储介质 | |
| CN110222760A (zh) | 一种基于winograd算法的快速图像处理方法 | |
| CN113988147B (zh) | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 | |
| Kumar et al. | Tobacco Plant Disease Detection and Classification using Deep Convolutional Neural Networks | |
| CN112801063A (zh) | 神经网络系统和基于神经网络系统的图像人群计数方法 | |
| Wang et al. | Lightweight deep neural networks for ship target detection in SAR imagery | |
| Eerapu et al. | Dense refinement residual network for road extraction from aerial imagery data | |
| Hong et al. | Variational gridded graph convolution network for node classification | |
| CN116977723A (zh) | 基于空间-光谱混合自注意力机制的高光谱图像分类方法 | |
| CN116258877A (zh) | 土地利用场景相似度变化检测方法、装置、介质及设备 | |
| Mahajan et al. | Scene based classification of aerial images using convolution neural networks | |
| Le et al. | A deep belief network for classifying remotely-sensed hyperspectral data | |
| Rajalakshmi et al. | Hyperspectral Remote Sensing Image Classification Using Improved Metaheuristic with Deep Learning. | |
| Dong et al. | Densely connected convolutional neural network based polarimetric SAR image classification | |
| Barthakur et al. | Deep learning based semantic segmentation applied to satellite image | |
| US20230089476A1 (en) | Cell Complex Neural Networks for 3D Object Recognition and Segmentation from Point Cloud Data | |
| Quazi et al. | Image Classification and Semantic Segmentation with Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |