CN112926452A - 一种基于GCN和GRU增强U-Net特征的高光谱分类方法及系统 - Google Patents
一种基于GCN和GRU增强U-Net特征的高光谱分类方法及系统 Download PDFInfo
- Publication number
- CN112926452A CN112926452A CN202110212923.3A CN202110212923A CN112926452A CN 112926452 A CN112926452 A CN 112926452A CN 202110212923 A CN202110212923 A CN 202110212923A CN 112926452 A CN112926452 A CN 112926452A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- features
- gcn
- net
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000005070 sampling Methods 0.000 claims abstract description 44
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 24
- 238000007781 pre-processing Methods 0.000 claims description 17
- 238000010276 construction Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 241000288105 Grus Species 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims 1
- 230000008878 coupling Effects 0.000 abstract description 5
- 238000010168 coupling process Methods 0.000 abstract description 5
- 238000005859 coupling reaction Methods 0.000 abstract description 5
- 238000001228 spectrum Methods 0.000 abstract description 5
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 230000000739 chaotic effect Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 12
- 241001466077 Salina Species 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 3
- 235000011613 Pinus brutia Nutrition 0.000 description 3
- 241000018646 Pinus brutia Species 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于GCN和GRU增强U‑Net特征的高光谱分类方法，所述方法为解决高光谱波段数据之间的类内高变异性和类间的相似性提供了新的解决方案。针对传统模型忽略特征之间所存在的潜在关系，提出使用图神经网络(GCN)和门控循环单元(GRU)获取U‑Net下采样特征之间的潜在关系，同时注意力机制用于根据上下文特征的重要程度学习得到新的特征。该方法将下采样得到的较混乱的特征转化为高内聚低耦合的特征，为下游的任务提供干净可靠的数据。同时该方法在小样本高光谱上只需要迭代很少次就能取得十分优异的结果。
Description
技术领域
本发明是一种基于GCN和GRU增强U-Net特征的高光谱分类方法及系统，属于数据图像处理领域。
背景技术
高光谱遥感影像是由不同的波段下的地表物体的位置和分布信息组成的，因此高光谱比普通图像具有更多的细节特征，同时大量信息图层的叠加给数据特征处理带来了更大的挑战和更多的机遇。正是由于这一特性，高光谱遥感影像被广泛的应用于生态科学，农业信息学，地质学等领域。尤其是在农业和林业领域，多波段的高光谱遥感影像能够更加清晰地获得地物的分布状况，对学者研究地区生态变化和森林分布情况能起到极大的辅助作用。
早期的高光谱图像处理主要通过Band Selection和PCA算法对高光谱不同波段的数据进行融合并使用传统的统计学方法对像素点进行分类。在融合波段数据方面，PCA通过计算数据矩阵的协方差矩阵，将协方差矩阵的特征向量作为映射后的数据不仅会耗费大量的时间，而且会丢失波段中的大量有用的特征信息。Band Selection虽然在时间上优于PCA,但是同样会丢失数据中的有用信息。在分类算法方面，早期传统的机器学习算法被广泛的应用于高光谱的分类，如支持向量机、线性回归、决策树等.但这些传统的分类算法的精度远远低于工业最低误差标准要求，无法很好的应用于实际的领域。
发明内容
为了解决传统的分类算法的精度低，耗时以及丢失波段中的大量有用的特征信息的问题，本发明提供了一种基于GCN和GRU增强U-Net特征的高光谱分类方法及系统，针对传统模型忽略特征之间所存在的固有关系，提出使用图神经网络对U-Net下采样得到的特征数据进行增强，其中注意力机制用于根据上下文对特征的重要程度进行学习得到新的特征，本发明的具体方案如下：
方案一：一种基于GCN和GRU增强U-Net特征的高光谱分类系统，该系统包括数据预处理模块、数据划分模块、特征采样模块、矩阵构建模块和分类模块；数据预处理模块、数据划分模块、特征采样模块、矩阵构建模块和分类模块顺次连接；
其中，数据预处理模块负责数据预处理操作；
数据划分模块用于将数据划分全部输入和按组类输入；
特征采样模块负责对高光谱数据特征结点采样；
矩阵构建模块将数据构建为图数据的特征矩阵和相邻矩阵；
分类模块用于将像素点分类完成高光谱分类。
进一步地，所述的矩阵构建模块进一步划分，包括GCN模块和GRU模块。
方案二：一种基于GCN和GRU增强U-Net特征的高光谱分类系方法，是基于上述的系统为基础而实现的，具体方法步骤如下：
步骤S101，收集高光谱数据并存放在磁盘中；
步骤S102，利用所述的数据预处理模块读取高光谱数据，对数据进行清洗、去重预处理操作；
步骤S103，所述的数据划分模块用于将数据划分为全部输入和按组类输入两种数据；
步骤S104，通过所述的特征采样模块进行U-Net对高光谱数据采样，得到特征结点；
步骤S105，计算特征结点的attention和欧式距离，并利用所述的矩阵构建模块构建图数据的特征矩阵和邻接矩阵；
步骤S106，构建对应的GCN模块，接受原始数据；
步骤S107，构建对应的图GRU模块，接收经过GCN处理的数据和原始数据；
步骤S108，最终由所述的分类模块将U-Net中的高光谱数据进行上采样，得到每个像素点的分类结果，完成高光谱分类。
进一步地，在步骤S103中，划分数据的过程利用Dataloader工具对数据进行批次划分，包括如下过程：
S1031.全部高光谱数据作为输入；
S1032.均匀的从每个组内取相邻的点，每个类取总数据的10％，同类不同块内取的数据是连续的。
进一步地，在步骤S104中，所述的U-Net由下采样和上采样两部分组成，使用大小为3x3卷积核,通过copy and crop工具将图像的底层信息的位置信息与深层特征的语义信息进行结合，使得后面的layer层在浅层特征与深层特征自由选择；下采样之后的深层特征语义信息将会构建一个节点和边对应关系的网络，在encoder-decoder结构的同时保证了网络的端对端的训练，并充分考虑了所有波段特征的静态和动态关系，通过增加语义特征信息的，促进网络高光谱分类的准确性。
进一步地，在步骤S105中，构建邻接矩阵的过程，具体细化步骤为：
步骤S201，将下采样得到的特征转换为图中结点；
步骤S202，判断结点是否满足attention机制和欧氏距离，若否，返回S201，反之进行步骤S203；
步骤S203，连接结点，构建出邻接矩阵。
进一步地，所述的判断是否满足attention机制和欧氏距离，具体过程如下：
对于高光谱，通过U-Net特征抽取之后得到集合的特征信息，这些特征信息在相邻和相似特征之间都存在可聚合性，在GCN网络对象相互关系的构建，通过自适应二维平均池化压缩特征值作为attention机制的输入；经过Sigmoid函数后得到特征的attention数值；同时要满足欧式距离：
|Xi-Xj|≤η
Xi和Xj为两个特征，η为欧氏距离，当两个特征同等重要且同时满足欧式距离阈值，证明两个特征具有相似性；
另外，在ChebNet网络中使用切比雪夫多项式取代分解过程，降低网络时间复杂度；GCN通过设置多项式阶数为1，矩阵的大特征值为2，从而简化了ChebNet。
进一步地，构建特征矩阵和邻接矩阵的过程中，存在U-Net下采样和U-Net上采样过程中用于特征增强的中间模块，则中间模块具体包括:
A.每个正方形的颜色代表像素值；
B.节点连接方式随快照更新进行动态更改；
C.特征矩阵和邻接矩阵作为模型输入；
并且，随着模型的迭代，功能节点变得更加内聚。
进一步地，所述的用于特征增强的中间模块，主要是用于图卷积，对U-Net中下采样抽取得到的特征信息做数据增强。
进一步地，所述的用于特征增强的中间模块，所处理的高光谱中相邻波段具有一定相似性，同时相邻波段数据下采样之后得到的特征也相邻，利用这些相邻特征之间具有潜在的关系，通过GRU获取相邻节点的关系，结合GCN所获得的相似关系，对特征数据进一步的加强，同时减少encoder-decoder网络深度来弥补GCN和GRU带来的参数数量，进而保证网络在相同的训练时间和数据量下的效果。
相对于现有技术的突出有益效果如下：
(1)相比于传统卷积方法，图卷积网络(GCN)能有效地聚合相邻结点的特征，通过不断学习迭代出更加优秀的结点，GCN将U-Net下采样得到的混乱状态的特征转换为具有高内聚低耦合的特征，为U-Net后续的上采样模块提供了更干净可靠的数据。
(2)更进一步的，门控循环单元(GRU)通过获取U-Net下采样相邻特征之间的关系进一步的增强了数据之间固有的关系。
(3)注意力机制用于捕获上下文的语义，通过不断迭代得到特征之间的重要性数值并对修改了特征对最后结果的影响程度。
(4)对比现有方法，本发明更深刻的考虑并获取了特征内部的固有关系以及特征之间的潜在关系，解决传统方法无法捕捉到的高光谱波段数据之间的类内高变异性和类间的相似性的缺陷，如表1此方法和其他方法在美国加利福尼亚州的Salinas山谷成像高光谱数据集(Salinas Scene)上的分类结果对比所示，此方法在高光谱分类任务上有更优秀的表现，更多对比如具体实施方式中表2和表3所示。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一种基于GCN和GRU增强U-Net特征的高光谱分类系统结构图；
图2为本发明一种基于GCN和GRU增强U-Net特征的高光谱分类方法实施例流程图；
图3为构建邻接矩阵过程流程图；
图4为本发明基于GCN和GRU增强U-Net特征的高光谱分类系统的模块图，
其中图4为本方法的数据流动过程，(a)为传统U-Net数据流动，(b)为本方法的数据流动
图5为本发明基于GCN和GRU增强U-Net特征的高光谱分类方法的具体结构细节图；
其中图5描述该方法的内部实现过程，其中左模块为获取下采样特征；中间模块为特征增强；右模块为上采用获取输出；具体细节：大方格为特征图；方格中小方格特征图中的像素值(对应灰度像素变化)；
图6为本发明在某国某州的某山谷成像高光谱数据(Salinas Scene)数据集上评价指标变换图，
其中图6描述本方法在Salinas Scene数据集上评价指标的变化，其中(a):为训练过程中的平均分类精度(AA)、总体分类精度(OA)和卡帕系数(Kappa)的变化，(b)训练过程Loss的变化。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明。
具体实施方式一：本实施例提供一种基于GCN和GRU增强U-Net特征的高光谱分类系统，该系统包括针对传统模型忽略特征之间所存在的固有关系，提出使用图神经网络对U-Net下采样得到的特征数据进行增强，其中注意力机制用于根据上下文对特征的重要程度进行学习得到新的特征。该方法将下采样得到的较混乱的特征转为高内聚低耦合的特征，为下游的任务提供更干净可靠的数据；
该系统包括数据预处理模块、数据划分模块、特征采样模块、矩阵构建模块和分类模块；其中，数据预处理模块负责数据预处理操作；数据划分模块用于将数据划分全部输入和按组类输入；特征采样模块负责对高光谱数据特征结点采样；矩阵构建模块将数据构建为图数据的特征矩阵和相邻矩阵；分类模块用于将像素点分类完成高光谱分类。
具体实施方式二：本发明通过如下方法来实现，一种基于GCN和GRU增强U-Net特征的高光谱分类方法及系统，包括：
系统将高光谱数据从文件系统中读取到内存中并以Numpy的矩阵形式存储。
对内存中的数据进行预处理并划分为两种输入数据：1)全部高光谱数据作为输入；2)均匀的从每个组内取相邻的点，每个类取总数据的10％，同类不同块内取的数据是连续。
使用Dataloader工具对数据进行批次划分。
构建U-Net下采样网络，将Dataloader中的数据循环输入模型中得到大小相同的特征。
特征无法直接输入到图神经网络中。将特征转换为结点：
不同特征(结点)之间固有的关系保存在整个图中，通过构建结点之间的单位邻接矩阵和特征矩阵来进一步展示这种关系。
在构建邻接矩阵的过程中，需要考虑结点之间是否同等重要，即对比结点的注意力数值。
完成图数据的构建后，构建图卷积网络。
将数据特征矩阵和邻接矩阵作为网络的输入，在反复的计算损失和迭代中不断增强结点内在的内聚关系，同时降低结点之间的耦合性。同时结点的Attention在迭代中也会不断的调整，最后得到更新到的特征。
在获取到相似结点内的关系后，通过GRU获取相邻节点的关系，结合GCN所获得的相似关系，对特征数据进一步的加强，同时减少U-Net网络的深度来弥补GCN和GRU带来的参数数量，保证模型在同等时间和数据下有更优秀的结果。
将原始的特征和经过GCN增强的特征分别输入到GRU中，获取到新的特征。
将经过增强的特征传递给U-Net上采样模型中，对每个像素点进行分类。
统计每一个像素点的分类结果，构建混淆矩阵来计算分类结果的总体精度(OA),平均精度(AA),Kappa系数。
所述方法中U-Net由下采样和上采样组成，使用大小为3x3卷积核,通过copy andcrop将图像的底层信息的位置信息与深层特征的语义信息进行结合，使得后面的layer可以在浅层特征与深层特征自由选择，这对语义分割任务来说更有优势。下采样之后的深层特征语义信息将会构建一个节点和边对应关系的网络，在encoder-decoder结构的同时保证了网络的端对端的训练，并充分考虑了所有波段特征的静态和动态关系，通过增加语义特征信息的，促进网络高光谱分类的准确性。
所述方法中的特征增强模型主要是由于图卷积可以高效聚合相似特征的优点，对下采样抽取得到的特征信息做数据增强。高光谱中相邻波段具有一定相似性，同时相邻波段数据下采样之后得到的特征也相邻，这些相邻特征之间具有潜在的关系，通过GRU获取相邻节点的关系，结合GCN所获得的相似关系，对特征数据进一步的加强，同时减少encoder-decoder网络深度来弥补GCN和GRU带来的参数数量，保证网络在相同的训练时间和数据量下有更好的效果。
由于特征在迭代中会发生变化，因此邻接矩阵也会相应进行微小调整，attention在学习过程中也能学习到更好的值。
方法输出最后分类需要经过一个softmax函数，为了有效提高分类的准确率，使用ex偶数次泰勒展开式来替代ex，由于多项式的增加/衰减速率低于指数函数，不容易出现置信度过高问题，可以有效提高模型的准确率。
具体实施方式三；除具体实施方式二所描述的方法，通过如下过程也可实现一种基于GCN和GRU增强U-Net特征的高光谱分类方法，具体步骤流程如图2所示，包括：
S101：收集高光谱数据存放在磁盘中。
S102：读取高光谱数据，对数据进行清洗去重等预处理操作。
S103：划分为两种数据：1)全部高光谱数据作为输入2)均匀的从每个组内取相邻的点，每个类取总数据的10％，同类不同块内取的数据是连续的。
S104：U-Net对高光谱数据进行下采样，得到一定数量的特征(结点)。
S105：计算特征(结点)attention和欧式距离构建图数据的特征矩阵和邻接矩阵。
S106：构建对应的GRU模块，接收经过GCN处理的数据和原始数据。
S107：构建对应的GCN模块，接受原始数据。
本发明在使用GCN和Attention增强U-Net特征的高光谱分类方法，通过增强特征的思想，使用U-Net对高光谱的每个像素点进行分类。
图3展示了构建邻接矩阵的过程，包括：
S201:将下采样得到的特征转换为图中结点。
S202:判断结点之间是否满足attention和欧式距离。
S203:连接结点，构建邻接矩阵。
此方法的总视图如图5所示，图的左边和右边分别是U-Net下采样模块和上采样模块。中间模块:1)每个正方形的颜色为像素值；2)节点连接方式随快照动态更改；3)特征和邻接矩阵作为模型输入。随着模型的迭代，功能(节点)变得更加内聚，如中间模块的左侧所示。
对于高光谱，它的输入为IW×H×B，B为波段数,H是图像高度，W是宽度，模型输出每个像素分类对应one-hot编码L1×1×C,C是总的类别数。通过U-Net特征抽取之后得到集合R的特征信息，如下所示：
这些特征信息在相邻和相似特征之间都存在可聚合性，在GCN网络对象相互关系的构建，通过自适应(Adaptive)二维平均池化压缩特征值作为注意力机制的输入：
经过Sigmoid函数后得到特征的注意力数值
fi,c 1是自适应(Adaptive)二维平均池化函数，Conv卷积核大小为1*1，fi,c 2保存了各个特征注意力数值，在实验中，当两个对象之间有连接，注意力机制需要满足如下：
同时要满足欧式距离
|Xi-Xj|≤η
ε是注意力阈值，当两个特征同等重要且都大于β的同时满足欧式距离阈值，认为Xi和Xj具有相似性。谱域图卷积分解拉普拉斯矩阵是多项式时间，网络的训练十分缓慢，卷积核如下：
gθ＝diag(UTg)
ChebNet网络中使用切比雪夫多项式取代分解过程，降低了网络时间复杂度，卷积核如下：
k代表多项式的最高阶数，同时也是卷积核的“感受野半径”，这一步近似将卷积核的参数数量从n个减少到了k个，把卷积操作的复杂度为O(K|E|)，K为多项式的阶数，E为图中边的数量。
GCN则是通过设置多项式阶数为1，矩阵的大特征值为2进一步简化了ChebNet：
X(l)结点在第l层的特征，σ是非线性变换，
是邻接矩阵A加上自循环，
是
对应的度矩阵，W(l)为第l层权重，b(l)是l层的偏置项。对比ChebNet和GCN，ChebNet的复杂度和参数量比GCN要高，但是表达能力强，ChebNet的K阶卷积算子可以覆盖节点的K阶邻居节点，而GCN则只覆盖一阶相邻节点，但是通过堆叠多个GCN层可以扩大图卷积的感受域，灵活性比较高。
GRU将LSTM的遗忘门和选择门合并为更新门，减少了网络的参数量。GRU可以获取数据的时序信息，对于输入节点特征Rt,x和GCN更新后的节点特征
GRU更新公式定义为：
其中：
rt＝σ(Wr·[ht-1,xt])
zt＝σ(Wz·[ht-1,xt])
结合Rt,x和
得到的传递信息ht,R和
获得最后特征的更新公式如下
τ是传递信息结合操作，Γ是将Rt,x和
获取到的传递信息ht结合下一轮输入节点特征Rt+1,x得到新的输出特征
方法采用了一个有效的方法提高算法分类的准确率，在分类算法中，最后得到的输出会使用softmax函数进行分类概率统计。公式如下：
|x|比较大的时候，ex会增加/衰减得很快，这直接导致了softmax经常给出的置信度过高的现象(概率值非0即1)。对于ex得出结论：对于任意实数x及偶数n，总有
即ex的偶次泰勒展开式总是正的。在softmax函数中，使用ex偶数次泰勒展开式来替代ex，由于多项式的增加/衰减速率低于指数函数，不容易出现置信度过高问题，可以有效提高模型的准确率。
图6展示了此方法在不同数据上的结果，从图中可以看出此发明在各个方面都优于现有的其他方法。
此实施例是一种新颖而灵活的框架，用于增强将特征从混乱状态转变为高度凝聚状态的特征。注意机制在构造邻接矩阵方面具有多个优点，因为它可以评估特征的重要性。另外，为了进一步有效地提高最终分类的准确性，由于多项式函数的增长率低于指数函数的增长率，因此使用了ex偶数泰勒展开式代替softmax函数中的ex。此实施例将较深的语义特征转换为具有更高灵活性的高内聚性和低耦合性，这表明与其他模型相比，更强大的功能增强了此方法的能力。
综上，表1、表2和表3为本实施例在Salinas Scene、意大利的帕维亚城高光谱数据集(Pavia)、印度松树数据集(Indian Pines)上和其他方法在评价指标上的对比；
表1：Salinas Scene数据集上此方法和最新方法的结果对比
表2：Pavia数据集上此方法和最新方法的结果对比
表3:Indian Pines数据集上此方法和最新方法的结果对比
根据不同的实验结果，显示此方法在小样本的高光谱光谱数据集上仅迭代几次就能取得很好的结果，充分证明了此方法在高光谱分类中的优越性。在进一步的研究中，我们将证明上述方法可以在大多数模型中普遍采用，以增强功能，而不仅限于U-Net，并且在高分辨率遥感影像上同样有效。
虽然通过实施例描绘了本发明，本领域普通技术人员知道，本发明有许多变形和变化而不脱离本发明的精神，希望所附的权利要求包括这些变形和变化而不脱离本发明的精神；综上，本实施方式只是对本专利的示例性说明，并不限定它的保护范围，本领域技术人员还可以对其局部进行改变，只要没有超出本专利的精神实质，都在本专利的保护范围内。
Claims (10)
1.一种基于GCN和GRU增强U-Net特征的高光谱分类系统，其特征在于：该系统包括数据预处理模块、数据划分模块、特征采样模块、矩阵构建模块和分类模块；数据预处理模块、数据划分模块、特征采样模块、矩阵构建模块和分类模块顺次连接；
其中，数据预处理模块负责数据预处理操作；
数据划分模块用于将数据划分全部输入和按组类输入；
特征采样模块负责对高光谱数据特征结点采样；
矩阵构建模块将数据构建为图数据的特征矩阵和相邻矩阵；
分类模块用于将像素点分类完成高光谱分类。
2.根据权利要求1所述的一种基于GCN和GRU增强U-Net特征的高光谱分类系统，其特征在于：所述的矩阵构建模块进一步划分，包括GCN模块和GRU模块。
3.一种基于GCN和GRU增强U-Net特征的高光谱分类系方法，是基于权利要求1-2中任一一项所述的系统为基础而实现的，其特征在于：具体方法步骤如下：
步骤S101，收集高光谱数据并存放在磁盘中；
步骤S102，利用所述的数据预处理模块读取高光谱数据，对数据进行清洗、去重预处理操作；
步骤S103，所述的数据划分模块用于将数据划分为全部输入和按组类输入两种数据；
步骤S104，通过所述的特征采样模块进行U-Net对高光谱数据采样，得到特征结点；
步骤S105，计算特征结点的attention和欧式距离，并利用所述的矩阵构建模块构建图数据的特征矩阵和邻接矩阵；
步骤S106，构建对应的GCN模块，接受原始数据；
步骤S107，构建对应的图GRU模块，接收经过GCN处理的数据和原始数据；
步骤S108，最终由所述的分类模块将U-Net中的高光谱数据进行上采样，得到每个像素点的分类结果，完成高光谱分类。
4.根据权利要求3所述的一种基于GCN和GRU增强U-Net特征的高光谱分类方法，其特征在于：在步骤S103中，划分数据的过程利用Dataloader工具对数据进行批次划分，包括如下过程：
S1031.全部高光谱数据作为输入；
S1032.均匀的从每个组内取相邻的点，每个类取总数据的10％，同类不同块内取的数据是连续的。
5.根据权利要求3所述的一种基于GCN和GRU增强U-Net特征的高光谱分类方法，其特征在于：在步骤S104中，所述的U-Net由下采样和上采样两部分组成，使用大小为3x3卷积核,通过copy and crop工具将图像的底层信息的位置信息与深层特征的语义信息进行结合，使得后面的layer层在浅层特征与深层特征自由选择；下采样之后的深层特征语义信息将会构建一个节点和边对应关系的网络，在encoder-decoder结构的同时保证了网络的端对端的训练，并充分考虑了所有波段特征的静态和动态关系，通过增加语义特征信息的，促进网络高光谱分类的准确性。
6.根据权利要求5所述的一种基于GCN和GRU增强U-Net特征的高光谱分类方法，其特征在于：在步骤S105中，构建邻接矩阵的过程，具体细化步骤为：
步骤S201，将下采样得到的特征转换为图中结点；
步骤S202，判断结点是否满足attention机制和欧氏距离，若否，返回S201，反之进行步骤S203；
步骤S203，连接结点，构建出邻接矩阵。
7.根据权利要求6所述的一种基于GCN和GRU增强U-Net特征的高光谱分类方法，其特征在于：所述的判断是否满足attention机制和欧氏距离，具体过程如下：
对于高光谱，通过U-Net特征抽取之后得到集合的特征信息，这些特征信息在相邻和相似特征之间都存在可聚合性，在GCN网络对象相互关系的构建，通过自适应二维平均池化压缩特征值作为attention机制的输入；经过Sigmoid函数后得到特征的attention数值；同时要满足欧式距离：
|Xi-Xj|≤η
Xi和Xj为两个特征，η为欧氏距离，当两个特征同等重要且同时满足欧式距离阈值，证明两个特征具有相似性；
另外，在ChebNet网络中使用切比雪夫多项式取代分解过程，降低网络时间复杂度；GCN通过设置多项式阶数为1，矩阵的大特征值为2，从而简化了ChebNet。
8.根据权利要求7所述的一种基于GCN和GRU增强U-Net特征的高光谱分类方法，其特征在于：构建特征矩阵和邻接矩阵的过程中，存在U-Net下采样和U-Net上采样过程中用于特征增强的中间模块，则中间模块具体包括:
A.每个正方形的颜色代表像素值；
B.节点连接方式随快照更新进行动态更改；
C.特征矩阵和邻接矩阵作为模型输入；
并且，随着模型的迭代，功能节点变得更加内聚。
9.根据权利要求8所述的一种基于GCN和GRU增强U-Net特征的高光谱分类方法，其特征在于：所述的用于特征增强的中间模块，主要是用于图卷积，对U-Net中下采样抽取得到的特征信息做数据增强。
10.根据权利要求9所述的一种基于GCN和GRU增强U-Net特征的高光谱分类方法，其特征在于：所述的用于特征增强的中间模块，所处理的高光谱中相邻波段具有一定相似性，同时相邻波段数据下采样之后得到的特征也相邻，利用这些相邻特征之间具有潜在的关系，通过GRU获取相邻节点的关系，结合GCN所获得的相似关系，对特征数据进一步的加强，同时减少encoder-decoder网络深度来弥补GCN和GRU带来的参数数量，进而保证网络在相同的训练时间和数据量下的效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110212923.3A CN112926452B (zh) | 2021-02-25 | 2021-02-25 | 一种基于GCN和GRU增强U-Net特征的高光谱分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110212923.3A CN112926452B (zh) | 2021-02-25 | 2021-02-25 | 一种基于GCN和GRU增强U-Net特征的高光谱分类方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112926452A true CN112926452A (zh) | 2021-06-08 |
| CN112926452B CN112926452B (zh) | 2022-06-14 |
Family
ID=76171993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110212923.3A Expired - Fee Related CN112926452B (zh) | 2021-02-25 | 2021-02-25 | 一种基于GCN和GRU增强U-Net特征的高光谱分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112926452B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113555091A (zh) * | 2021-09-22 | 2021-10-26 | 中国科学院自动化研究所 | 基于帕金森sMRI影像的病情分类系统、方法、装置 |
| CN113688574A (zh) * | 2021-09-08 | 2021-11-23 | 北京邮电大学 | 一种应用于gnn的拓扑感知的后处理置信度校正方法 |
| CN113823090A (zh) * | 2021-09-22 | 2021-12-21 | 南通大学 | 一种基于多时空图卷积网络的交通流预测方法 |
| CN115273044A (zh) * | 2022-07-15 | 2022-11-01 | 哈尔滨市科佳通用机电股份有限公司 | 基于改进后的图卷积网络的车门破损故障识别检测方法 |
| CN116883692A (zh) * | 2023-06-06 | 2023-10-13 | 中国地质大学（武汉） | 多光谱遥感图像的光谱特征提取方法、装置及存储介质 |
| CN113688574B (zh) * | 2021-09-08 | 2024-10-29 | 北京邮电大学 | 一种应用于gnn的拓扑感知的后处理置信度校正方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190294970A1 (en) * | 2018-03-23 | 2019-09-26 | The Governing Council Of The University Of Toronto | Systems and methods for polygon object annotation and a method of training an object annotation system |
| CN111488807A (zh) * | 2020-03-29 | 2020-08-04 | 复旦大学 | 基于图卷积网络的视频描述生成系统 |
| CN111797779A (zh) * | 2020-07-08 | 2020-10-20 | 兰州交通大学 | 基于区域注意力多尺度特征融合的遥感图像语义分割方法 |
| CN111814607A (zh) * | 2020-06-24 | 2020-10-23 | 中国地质大学（武汉） | 一种适用于小样本高光谱影像分类的深度学习模型 |
| CN111860336A (zh) * | 2020-07-21 | 2020-10-30 | 西北工业大学 | 基于位置感知的高分辨遥感图像倾斜船舶目标检测方法 |
| CN111860193A (zh) * | 2020-06-24 | 2020-10-30 | 贵州大学 | 一种基于文本的行人检索自监督视觉表示学习系统及方法 |
| CN111882593A (zh) * | 2020-07-23 | 2020-11-03 | 首都师范大学 | 结合注意力机制及三维图卷积网络的点云配准模型及方法 |
| CN112257614A (zh) * | 2020-10-26 | 2021-01-22 | 中国民航大学 | 一种基于图卷积网络的航站楼客流量时空分布预测方法 |
-
2021
- 2021-02-25 CN CN202110212923.3A patent/CN112926452B/zh not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190294970A1 (en) * | 2018-03-23 | 2019-09-26 | The Governing Council Of The University Of Toronto | Systems and methods for polygon object annotation and a method of training an object annotation system |
| CN111488807A (zh) * | 2020-03-29 | 2020-08-04 | 复旦大学 | 基于图卷积网络的视频描述生成系统 |
| CN111814607A (zh) * | 2020-06-24 | 2020-10-23 | 中国地质大学（武汉） | 一种适用于小样本高光谱影像分类的深度学习模型 |
| CN111860193A (zh) * | 2020-06-24 | 2020-10-30 | 贵州大学 | 一种基于文本的行人检索自监督视觉表示学习系统及方法 |
| CN111797779A (zh) * | 2020-07-08 | 2020-10-20 | 兰州交通大学 | 基于区域注意力多尺度特征融合的遥感图像语义分割方法 |
| CN111860336A (zh) * | 2020-07-21 | 2020-10-30 | 西北工业大学 | 基于位置感知的高分辨遥感图像倾斜船舶目标检测方法 |
| CN111882593A (zh) * | 2020-07-23 | 2020-11-03 | 首都师范大学 | 结合注意力机制及三维图卷积网络的点云配准模型及方法 |
| CN112257614A (zh) * | 2020-10-26 | 2021-01-22 | 中国民航大学 | 一种基于图卷积网络的航站楼客流量时空分布预测方法 |
Non-Patent Citations (3)
| Title |
|---|
| LING ZHAO: ""T-GCN: A Temporal Graph Convolutional Network for Traffic Prediction"", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》, vol. 21, no. 9, 22 August 2019 (2019-08-22), pages 3848 - 3858 * |
| 晓强DL: ""图像分割：Global Convolutional Network(GCN)"", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/212375354》, 16 December 2020 (2020-12-16), pages 1 - 15 * |
| 贺家灵: ""基于人体关键点的人体行为识别"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 02, 15 February 2020 (2020-02-15), pages 138 - 1743 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113688574A (zh) * | 2021-09-08 | 2021-11-23 | 北京邮电大学 | 一种应用于gnn的拓扑感知的后处理置信度校正方法 |
| CN113688574B (zh) * | 2021-09-08 | 2024-10-29 | 北京邮电大学 | 一种应用于gnn的拓扑感知的后处理置信度校正方法 |
| CN113555091A (zh) * | 2021-09-22 | 2021-10-26 | 中国科学院自动化研究所 | 基于帕金森sMRI影像的病情分类系统、方法、装置 |
| CN113823090A (zh) * | 2021-09-22 | 2021-12-21 | 南通大学 | 一种基于多时空图卷积网络的交通流预测方法 |
| CN113555091B (zh) * | 2021-09-22 | 2022-02-08 | 中国科学院自动化研究所 | 基于帕金森sMRI影像的病情分类系统、方法、装置 |
| CN115273044A (zh) * | 2022-07-15 | 2022-11-01 | 哈尔滨市科佳通用机电股份有限公司 | 基于改进后的图卷积网络的车门破损故障识别检测方法 |
| CN116883692A (zh) * | 2023-06-06 | 2023-10-13 | 中国地质大学（武汉） | 多光谱遥感图像的光谱特征提取方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112926452B (zh) | 2022-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112926452B (zh) | 一种基于GCN和GRU增强U-Net特征的高光谱分类方法及系统 | |
| CN110348399B (zh) | 基于原型学习机制和多维残差网络的高光谱智能分类方法 | |
| Yang et al. | Canonical correlation analysis networks for two-view image recognition | |
| Alidoost et al. | A CNN-based approach for automatic building detection and recognition of roof types using a single aerial image | |
| CN112949725B (zh) | 一种基于多尺度特征提取的小麦种子分类方法 | |
| Touati et al. | A reliable mixed-norm-based multiresolution change detector in heterogeneous remote sensing images | |
| CN114581773A (zh) | 基于图卷积网络的多模态遥感数据分类方法 | |
| CN115393719A (zh) | 结合空谱域自适应与集成学习的高光谱图像分类方法 | |
| Li et al. | Study on ensemble crop information extraction of remote sensing images based on SVM and BPNN | |
| CN109034213B (zh) | 基于相关熵原则的高光谱图像分类方法和系统 | |
| Guo et al. | Dual graph U-Nets for hyperspectral image classification | |
| CN108090913B (zh) | 一种基于对象级Gauss-Markov随机场的图像语义分割方法 | |
| CN116524255A (zh) | 基于Yolov5-ECA-ASFF的小麦赤霉病孢子识别方法 | |
| CN116843975A (zh) | 结合空间金字塔注意力机制的高光谱图像分类方法 | |
| Benediktsson et al. | Remote sensing data fusion: Markov models and mathematical morphology for multisensor, multiresolution, and multiscale image classification | |
| Tu et al. | Spectral–spatial hyperspectral image classification via non-local means filtering feature extraction | |
| Qiao et al. | Method for the automatic recognition of cropland headland images based on deep learning | |
| Rajarajeswari et al. | Hyperspectral image classification by using K-nearest neighbor algorithm | |
| Wang et al. | Review of plant leaf recognition | |
| Chen et al. | A modified object-oriented classification algorithm and its application in high-resolution remote-sensing imagery | |
| Wang et al. | Plant recognition based on Jaccard distance and BOW | |
| Liu et al. | Stack attention-pruning aggregates multiscale graph convolution networks for hyperspectral remote sensing image classification | |
| Wang et al. | An efficient image segmentation algorithm for object recognition using spectral clustering | |
| Boman | Tree species classicationusing terrestrial photogrammetry | |
| Purwanto et al. | Image Segmentation in Aerial Imagery: A Review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220614 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |