CN111814685A - 基于双支路卷积自编码器的高光谱图像分类方法 - Google Patents

基于双支路卷积自编码器的高光谱图像分类方法 Download PDF

Info

Publication number
CN111814685A
CN111814685A CN202010657319.7A CN202010657319A CN111814685A CN 111814685 A CN111814685 A CN 111814685A CN 202010657319 A CN202010657319 A CN 202010657319A CN 111814685 A CN111814685 A CN 111814685A
Authority
CN
China
Prior art keywords
layer
convolution
encoder
supervised
unsupervised
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010657319.7A
Other languages
English (en)
Other versions
CN111814685B (zh
Inventor
冯婕
叶湛伟
梁宇平
李�杰
焦李成
张向荣
尚荣华
刘若辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010657319.7A priority Critical patent/CN111814685B/zh
Publication of CN111814685A publication Critical patent/CN111814685A/zh
Application granted granted Critical
Publication of CN111814685B publication Critical patent/CN111814685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于双支路卷积自编码器的高光谱图像分类方法，主要解决现有技术中对高光谱数据特征提取不充分导致的分类精度偏低的问题，实现步骤为：获取高光谱数据的有监督训练样本集、有监督训练样本标签向量集、无监督训练样本集和测试样本集；构建构建双支路卷积自编码器；对双支路卷积自编码器进行迭代训练；获取高光谱图像分类结果。本发明采用的基于双支路卷积自编码器的分类方法，综合利用无监督学习和有监督学习两种方式对高光谱数据进行特征提取，充分考虑了高光谱图像的数据信息，有效提高了高光谱图像的分类精度，可用于农业监测、地质勘探、灾害环境评估等领域地物的区分和辨别。

Description

基于双支路卷积自编码器的高光谱图像分类方法
技术领域
本发明属于图像处理技术领域，涉及一种高光谱图像分类方法，具体涉及一种基于双支路卷积自编码器的高光谱图像分类方法，可用于对高光谱图像的地物进行分类。
背景技术
光谱分辨率在101数量级范围内的光谱图像称为高光谱图像，其最显著的特点就是其丰富的光谱信息。相较于普通的二维图像，高光谱数据可表示为高光谱数据立方体，是三维数据结构。高光谱数据在保证空间分辨率的同时还包含着大量的光谱维度特征，因此可以提供空间域信息和光谱域信息，具有“图谱合一”的特点。基于这些特点，高光谱图像可以实现对地物精确的辨别与细节提取，对人类认识客观世界提供了有利条件。高光谱遥感在各方面都具有巨大应用潜力，如：环境变化监测、气象预测预报化、城市变迁分析化、林业生态监测化、精准农业、地质资源勘探以及现代化军事等。分类是高光谱遥感影像处理和应用的一项重要内容，利用影像信息对观测场景中的不同地物进行精准识别，从而将复杂现象简化为少量的一般类别，再进一步进行其它应用。高光谱图像的分类是多种遥感技术应用的重要一步，具有重要意义。衡量高光谱分类性能的指标主要有三个：整体正确率(OA)、平均正确率(AA)和卡方系数(KAPPA)。OA表示正确分类的本占所有样本的比例，值越大，说明分类效果越好。AA表示每一类分类精度的平均值，值越大，说明分类效果越好。Kappa表示混淆矩阵中不同的权值，值越大，说明分类效果越好。
高光谱图像分类的关键在于对图像信息的挖掘，深度学习方法在提取数据特征和挖掘数据信息方面具有重要优势，因此，许多基于深度学习的分类方法被用于高光谱图像分类。深度学习方法主要分为有监督学习、无监督学习和半监督学习三大类。有监督学习方法往往能提取具有判别力的特征，无监督学习方法通常能够挖掘数据的结构特征，半监督学习能综合前二者的特点，并且半监督方法的设计方式更加灵活。目前代表性的深度学习方法有栈式自编码器(SAE)和卷积神经网络(CNN)等。SAE属于典型的无监督方法，通过最小化输入层和重构层之间的误差来学习输入数据的特征。SAE通常会与其他分类方法结合，比如支持矢量机(SVM)等，将SAE编码器学习到的特征输入SVM等分类器进行分类。CNN属于有监督的深度学习方法，通常包含特征提取网络和分类器两大部分。CNN通过模仿动物的视觉通路，在特征提取网络中逐层学习输入样本的特征，并将学到的特征送入全连接网络组成的分类器进行分类，得到输入样本的预测标签。
有监督的深度学习方法需要大量的有标签样本来训练网络，而高光谱图像中的有标签样本往往数量十分有限，因此，无监督和半监督的深度学习方法在高光谱图像分类中具有独特的优势。例如：Shaohui Mei，Jingyu Ji，Yunhao Geng，Zhi Zhang，Xu Li和QianDu等人在2019年TGARS期刊发表的《Unsupervised Spatial–Spectral Feature Learningby 3D Convolutional Autoencoder for Hyperspectral Classification》中，提出了一种基于单支路卷积自编码器和SVM的高光谱图像分类方法。该方法首先获取无监督训练集、有监督训练集和测试集，然后构建包括依次级联的编码器和解码器的卷积自编码器，以及一个多分类的SVM分类器；将无监督训练集的样本输入卷积自编码器中，通过编码-解码的方式对卷积自编码器进行多次无监督训练，得到训练好的卷积自编码器；将有监督训练集输入训练好的卷积自编码器的编码器中，通过逐层特征提取的方式得到编码器输出的编码特征，利用有监督训练集的特征图和对应的标签训练SVM分类器，得到训练好的SVM分类器；最终将测试样本集输入到训练好的编码器中进行逐层特征提取，得到测试样本集的编码特征，将测试样本集的编码特征输入到SVM中进行分类，得到测试集样本的预测标签。该方法虽然较为有效地利用无标签样本提取高光谱图像特征，但是其卷积自编码网络的训练过程是完全的无监督过程，难以保证得到的卷积自编码器学习到的数据信息对分类结果有积极作用。且单支路的卷积自编码器自身对有判别力特征的提取能力比较有限，因此模型的分类表现还有一定的提升空间。
发明内容
本发明的目的在于针对上述现有技术存在的不足，提出了一种基于双支路卷积自编码器高光谱图像分类方法，用于解决现有技术存在的分类精度较低的技术问题。
为实现上述目的，本发明采取的技术方案包括如下步骤：
(1)获取高光谱数据的有监督训练样本集Sn、有监督训练样本标签向量集
Figure BDA0002577228440000021
无监督训练样本集Su和测试样本集St：
(1a)输入一幅大小为W×H×B高光谱图像和对应的大小为W×H标签图，W和H表示高光谱图像和标签图的行和列像素点的个数，B代表高光谱图像的波段个数；
(1b)以高光谱图像中与标签图每个值不为0的像素的位置相同的点为中心，分别划定大小为WS×WS×B的空间立方体，得到空间立方体集合S＝{S1,S2,…,Si,…,SN}和对应的整体样本标签集合Y＝{Y1,Y2,…,Yi,…,YN}，其中WS＞0且为整数，Si表示第i个样本，Yi表示第i个空间立方体标签值，N表示空间立方体的数目，N≥1000；
(1c)对每个空间立方体Si进行归一化，并随机选取半数以上的归一化空间立方体作为测试样本集St，再从其余的归一化空间立方体中随机挑选半数以上作为无监督训练样本集Su，剩余的归一化空间立方体作为有监督训练样本集Sn；
(1d)从Y中取出与Sn中所有样本对应的标签值组成集合
Figure BDA0002577228440000031
并将第r个样本的标签值
Figure BDA0002577228440000032
转化为C维的one-hot向量
Figure BDA0002577228440000033
得到标签向量集合
Figure BDA0002577228440000034
其中l表示Yn中标签的个数，l≥100，C表示样本的类别个数，C≥10；
(2)构建双支路卷积自编码器A：
构建包括并行排布的无监督卷积自编码器A1和有监督卷积网络A2的双支路卷积自编码器A，其中无监督卷积自编码器A1包括依次级联的编码器和解码器；有监督卷积网络支路A2包括依次级联的编码器、解码器、多个卷积-池化组合和分类器，编码器包括多个层叠的下采样卷积层，解码器包括多个层叠的逆卷积层，卷积-池化组合包括层叠的卷积层和池化层，分类器为全连接层，且A1中编码器的各下采样卷积层与A2中编码器对应位置的各下采样卷积层级联；
(3)对双支路卷积自编码网络A进行迭代训练：
(3a)设迭代次数为t，最大迭代次数为T，T≥100，当前双支路卷积自编码器、无监督卷积自编码器和有监督卷积网络分别为At、
Figure BDA0002577228440000035
和
Figure BDA0002577228440000036
并令t＝0，At＝A，
Figure BDA0002577228440000037
Figure BDA0002577228440000038
(3b)将从Su中随机选取的k个无监督样本作为
Figure BDA0002577228440000039
的输入，并采用编码—解码的方式对输入的无监督样本进行重构，得到k个重构图，然后采用均方误差函数，通过k个无监督样本和k个重构图，计算
Figure BDA00025772284400000310
对当前k个无监督样本的损失值
Figure BDA00025772284400000311
(3c)将从Sn中随机选取的k个有监督样本分别作为
Figure BDA0002577228440000041
和
Figure BDA0002577228440000042
的输入，并采用编码—解码的方式对输入到
Figure BDA0002577228440000043
中的有监督样本进行重构，得到k个重构图和k×m个
Figure BDA0002577228440000044
中编码器卷积层产生的特征图；同时
Figure BDA0002577228440000045
对输入的有监督样本进行逐层特征提取并将
Figure BDA0002577228440000046
中编码器卷积层产生的k×m个特征图逐层级联到
Figure BDA0002577228440000047
中编码器对应卷积层产生的特征图上，前m-1层中每层级联后的特征图作为当前
Figure BDA0002577228440000048
卷积层的输出和
Figure BDA0002577228440000049
中下一卷积层的输入，第m层产生的级联后的特征图作为
Figure BDA00025772284400000410
第一个逆卷积层的输入，通过后续多个逆卷积层和多个卷积-池化组合继续进行逐层特征提取，得到k个特征向量，利用全连接层对k个特征向量进行分类，得到k个无监督样本的预测标签向量，m表示
Figure BDA00025772284400000411
中编码器内卷积层的个数，m≥1；
(3d)采用均方误差函数，并通过输入的k个无监督样本和得到的k个重构图，计算
Figure BDA00025772284400000412
对输入的有监督样本的重构误差损失
Figure BDA00025772284400000413
同时采用交叉熵损失函数，并通过k个无监督样本的预测标签向量和标签向量集
Figure BDA00025772284400000414
中与k个无监督样本对应的k个真实标签向量，计算
Figure BDA00025772284400000415
的对输入的k个有监督样本的交叉熵分类损失
Figure BDA00025772284400000416
采用公式
Figure BDA00025772284400000417
对
Figure BDA00025772284400000418
和
Figure BDA00025772284400000419
进行合并，得到At对输入的k个无监督样本和k个有监督样本的整体损失值Lt，α和β为调整最终损失值的两个常数，0＜α≤1，0＜β≤1；
(3e)采用反向传播算法，并通过Lt对
Figure BDA00025772284400000420
中所有卷积核参数
Figure BDA00025772284400000421
中的所有卷积核参数
Figure BDA00025772284400000422
和
Figure BDA00025772284400000423
中的所有全连接层参数θt进行更新，得到更新后的双支路卷积自编码器At；
(3f)判断t＝T是否成立，若是，得到训练好的双支路卷积自编码器A*，其中包括训练好的无监督支路
Figure BDA00025772284400000424
和训练好的有监督支路
Figure BDA00025772284400000425
否则，令t＝t+1，并执行步骤(3b)；
(4)获取高光谱图像的分类结果：
将测试集St中的样本依次输入A*中，其中
Figure BDA00025772284400000426
采用编码-解码的方式，对测试样本进行重构；
Figure BDA00025772284400000427
结合
Figure BDA00025772284400000428
中的前m层的特征图，对测试样本逐层提取特征并用全连接层对最后的特征向量进行分类，得到所有测试样本的预测标签。
本发明与现有的技术相比，具有以下优点：
第一，本发明所构建的双支路卷积自编码器包括并行排布的无监督卷积自编码器A1和有监督卷积网络A2，无监督卷积自编码器A1通过无监督学习方式，对高光谱图像的结构特征进行挖掘，有监督卷积网络A2通过有监督学习方式，对高光谱图像中具有判别力的特征进行提取，充分考虑了高光谱图像的数据信息，克服了单支路卷积编码器对样本特征提取不充分的问题，有效地提升了高光谱图像的分类精度。
第二，本发明将无监督卷积自编码器A1中编码器的各下采样卷积层与有监督卷积网络A2中编码器对应位置的各下采样卷积层级联，使得有监督支路能够结合无监督支路获得的特征，从而保证了无监督支路获得的特征对最终分类的有效性，进一步提升高光谱图像的分类精度。
附图说明
图1是本发明的实现流程图；
图2(a)是本发明仿真使用的Indian Pines高光谱图像的三维真实图像，图2(b)是Indian Pines高光谱图像的伪彩图，图2(c)是Indian Pines高光谱图像的分类参考图；
图3是本发明与现有技术对Indian Pines高光谱图像的分类结果对比图。
具体实施方式
下面结合附图和具体实施例，对本发明作进一步的详细描述。
参照图1，本发明包括如下步骤：
步骤1)获取高光谱数据的有监督训练样本集Sn、有监督训练样本标签向量集
Figure BDA0002577228440000051
无监督训练样本集Su和测试样本集St：
(1a)输入一幅大小为W×H×B高光谱图像和对应的大小为W×H标签图，W和H表示高光谱图像和标签图的行和列像素点的个数，B代表高光谱图像的波段个数，本实例中，输入的高光谱图像为Indian Pines高光谱图像，W＝145，H＝145，B＝220；
(1b)以高光谱图像中与标签图每个值不为0的像素的位置相同的点为中心，分别划定大小为WS×WS×B的空间立方体，由于高光谱图像分类是对每个像素逐个分类且需要结合每个中心像素周围领域像素的信息，故需要对高光谱图像进行空间立方体划定，得到空间立方体集合S＝{S1,S2,…,Si,…,SN}和对应的整体样本标签集合Y＝{Y1,Y2,…,Yi,…,YN}，其中WS＞0且为整数，Si表示第i个样本，Yi表示第i个空间立方体标签值，N表示空间立方体的数目，N≥1000，本实例中，Ws＝31，N＝10249；
(1c)对每个空间立方体Si进行归一化，使得每个立方体中的所有的值在0和1之间，从而有助于提升网络训练的效率；随机选取半数以上的归一化空间立方体作为测试样本集St，再从其余的归一化空间立方体中随机挑选半数以上作为无监督训练样本集Su，剩余的归一化空间立方体作为有监督训练样本集Sn，本实例中，归一化计算公式为：
Figure BDA0002577228440000061
其中
Figure BDA0002577228440000062
表示归一化后第i个样本中第e行、第v列、第d个通道的值，
Figure BDA0002577228440000063
表示原样本第i个样本中第e行、第v列、第d个通道的值，
Figure BDA0002577228440000064
表示所有样本中第d个通道的最小值，
Figure BDA0002577228440000065
表示所有样本中第d个通道的最大值；测试集St的样本数、有监督训练集Sn的样本数和无监督训练集Su的样本数占总样本数的比例分别为80％、5％和15％
(1d)从Y中取出与Sn中所有样本对应的标签值组成集合
Figure BDA0002577228440000066
原始的标签值无法直接进行交叉熵损失的计算，故将第r个样本的标签值
Figure BDA0002577228440000067
转化为C维的one-hot向量
Figure BDA0002577228440000068
得到标签向量集合
Figure BDA0002577228440000069
其中l表示Yn中标签的个数，l≥100，C表示样本的类别个数，C≥10，本实例中，C＝16，l＝512；
步骤2)构建双支路卷积自编码器A：
构建包括并行排布的无监督卷积自编码器A1和有监督卷积网络A2的双支路卷积自编码器A，其中无监督卷积自编码器A1包括依次级联的编码器和解码器，对高光谱图像的结构信息进行挖掘；有监督卷积网络支路A2包括依次级联的编码器、解码器、多个卷积-池化组合和分类器，对高光谱图像具有判别力的特征进行提取；编码器包括多个层叠的下采样卷积层，解码器包括多个层叠的逆卷积层，卷积-池化组合包括层叠的卷积层和池化层，分类器为全连接层，且A1中编码器的各下采样卷积层与A2中编码器对应位置的各下采样卷积层级联，使得无监督卷积自编码器A1能够结合有监督卷积网络A2中获得的特征；
本实例中，无监督卷积自编码器A1的具体结构为：第一卷积层→第二卷积层→第三卷积层→第一逆卷积层→第二逆卷积层→第三逆卷积层，卷积层的卷积核大小为3×3，步长为1，逆卷积层的卷积核大小为3×3，步长为1；
有监督卷积网络A2的具体结构为：第一卷积层→第二卷积层→第三卷积层→第一逆卷积层→第二逆卷积层→第三逆卷积层→第四卷积层→第一池化层→第五卷积层→第二池化层→第六卷积层→第三池化层→第一全连接层；所有卷积层的卷积核大小为3×3，步长为1；逆卷积层的卷积核大小为3×3，步长为1；第一组和第二组的池化层的池化窗大小设置为2×2，步长设为1，第三组池化层为大小为12×12的全局平均池化；全连接层个数为1，输入节点数为64，输出节点个数为16；
步骤3)对双支路卷积自编码器A进行迭代训练：
(3a)设迭代次数为t，最大迭代次数为T，T≥100，当前双支路卷积自编码器、无监督卷积自编码器和有监督卷积网络分别为At、
Figure BDA0002577228440000071
和
Figure BDA0002577228440000072
并令t＝0，At＝A，
Figure BDA0002577228440000073
Figure BDA0002577228440000074
本实例中，T＝150；
(3b)将从Su中随机选取的k个无监督样本作为
Figure BDA0002577228440000075
的输入，并采用编码—解码的方式对输入的无监督样本进行重构，得到k个重构图，重构图与对应输入样本的大小完全一致；为了使得输出的重构图与输入样本尽可能相似，本方法采用均方误差函数，通过k个无监督样本和k个重构图，计算
Figure BDA0002577228440000076
对当前k个无监督样本的损失值
Figure BDA0002577228440000077
本实例中，k＝16，
Figure BDA0002577228440000078
的计算方式为：
Figure BDA0002577228440000079
其中xg表示当前训练第t次训练时的第g个无监督样本，x′g表示
Figure BDA00025772284400000710
输出的xg的重构图；
(3c)将从Sn中随机选取的k个有监督样本分别作为
Figure BDA00025772284400000711
和
Figure BDA00025772284400000712
的输入，并采用编码—解码的方式对输入到
Figure BDA00025772284400000713
中的有监督样本进行重构，得到k个重构图和k×m个
Figure BDA00025772284400000714
中编码器卷积层产生的特征图；同时
Figure BDA00025772284400000715
对输入的有监督样本进行逐层特征提取并将
Figure BDA00025772284400000716
中编码器卷积层产生的k×m个特征图逐层级联到
Figure BDA00025772284400000717
中编码器对应卷积层产生的特征图上，前m-1层中每层级联后的特征图作为当前
Figure BDA00025772284400000718
卷积层的输出和
Figure BDA00025772284400000719
中下一卷积层的输入，第m层产生的级联后的特征图作为
Figure BDA0002577228440000081
第一个逆卷积层的输入，通过后续多个逆卷积层和多个卷积-池化组合继续进行逐层特征提取，此时
Figure BDA0002577228440000082
后续结构处理的特征图是两个支路共同获得的，在计算分类的交叉熵损失并反向传播更新参数时，
Figure BDA0002577228440000083
中的编码器的卷积核参数也会根据分类损失进行更新，保证了
Figure BDA0002577228440000084
中编码器的卷积层在挖掘结构信息的同时也能够提取到具有一定判别力的特征，
Figure BDA0002577228440000085
的特征提取结束后，得到k个特征向量，利用全连接层对k个特征向量进行分类，得到k个无监督样本的预测标签向量，m表示
Figure BDA0002577228440000086
中编码器内卷积层的个数，m≥1，本实例中，m＝3，
Figure BDA0002577228440000087
和
Figure BDA0002577228440000088
中编码器特征图级联的具体方式为：将A1的编码器中在重构过程中第j层卷积产生的特征图
Figure BDA0002577228440000089
与A2编码器在特征提取过程中的第j层卷积产生的特征图
Figure BDA00025772284400000810
进行级联，
Figure BDA00025772284400000811
和
Figure BDA00025772284400000812
的大小都为wj×hj×bj，wj，hj和bj分别代表
Figure BDA00025772284400000813
和
Figure BDA00025772284400000814
的行数、列数和通道数，级联后的
Figure BDA00025772284400000815
变为大小为wj×hj×2bj的
Figure BDA00025772284400000816
w1＝h1＝29，w2＝h2＝27，w3＝h3＝25，b1＝32，b2＝64，b3＝128；
(3d)采用均方误差函数，并通过输入的k个无监督样本和得到的k个重构图，计算
Figure BDA00025772284400000817
对输入的有监督样本的重构误差损失
Figure BDA00025772284400000818
同时采用交叉熵损失函数，并通过k个无监督样本的预测标签向量和标签向量集
Figure BDA00025772284400000819
中与k个无监督样本对应的k个真实标签向量，计算
Figure BDA00025772284400000820
的对输入的k个有监督样本的交叉熵分类损失
Figure BDA00025772284400000821
采用公式
Figure BDA00025772284400000822
对
Figure BDA00025772284400000823
和
Figure BDA00025772284400000824
进行合并，得到At对输入的k个无监督样本和k个有监督样本的整体损失值Lt，α和β为调整最终损失值的两个常数，0＜α≤1，0＜β≤1，本实例中，
Figure BDA00025772284400000825
和
Figure BDA00025772284400000826
的计算方式为：
Figure BDA00025772284400000827
其中qh表示表示当前训练第t次训练时的第h个有监督样本，q′h表示
Figure BDA00025772284400000828
输出的qh的重构图；
Figure BDA00025772284400000829
表示qh的标签向量的第a个元素，
Figure BDA00025772284400000830
表示
Figure BDA00025772284400000831
输出的第h个有监督样本预测标签向量的第a个元素，ln表示以e为底的对数运算；α＝β＝0.4；
(3e)采用反向传播算法，并通过Lt对
Figure BDA00025772284400000832
中所有卷积核参数
Figure BDA00025772284400000833
中的所有卷积核参数
Figure BDA0002577228440000091
和
Figure BDA0002577228440000092
中的所有全连接层参数θt进行更新，得到更新后的双支路卷积自编码网络At，本实例中，参数更新的具体计算方式为：
Figure BDA0002577228440000093
其中η表示学习步长，η＝0.001，
Figure BDA0002577228440000094
和θt+1分别表示
Figure BDA0002577228440000095
和θt更新后的结果，
Figure BDA0002577228440000096
表示求导操作；
(3f)判断t＝T是否成立，若是，得到训练好的双支路卷积自编码器A*，其中包括训练好的无监督支路
Figure BDA0002577228440000097
和训练好的有监督支路
Figure BDA0002577228440000098
否则，令t＝t+1，并执行步骤(3b)；
步骤4)获取高光谱图像的分类结果：
将测试集St中的样本依次输入A*中，其中
Figure BDA0002577228440000099
采用编码-解码的方式，对测试样本进行重构，由于测试过程中不再需要重构图进行损失计算，故只保留
Figure BDA00025772284400000910
中的前m层的特征图；
Figure BDA00025772284400000911
结合
Figure BDA00025772284400000912
中的前m层的特征图，结合方式与步骤(3c)相同，对测试样本逐层提取特征并用全连接层对最后的特征向量进行分类，得到所有测试样本的预测标签。
下面结合仿真实验对本发明的效果作进一步的说明。
1.仿真条件：
参见图2，本发明的仿真实验采用的数据是Indian Pines高光谱图像，参见图2(a)：该高光谱数据采集自美国印第安纳州西北部印第安遥感试验区，成像时间为1992年6月。数据共有145×145像素点和220个波段，共计16类地物。由第50个，第27个和第17个波段构成伪彩色图像，如图2(b)所示。该图像的真实标记图如图2(c)所示。Indian Pines图像由16类地物组成，具体包括：alfalfa,corn-notill,corn-mintill,corn,grass-pasture,grass-trees,grass-pasture-mowed,hay-windrowed,oats,soybean-notill,soybean-mintill,soybean-clean,wheat,woods,building-grass-trees-drives,stone-steel-towers种类。
本发明的仿真实验的硬件测试平台是：处理器为Intel i7 5930k CPU，主频为3.5GHz，内存16GB。
本发明的仿真实验的软件平台为：Windows 10操作系统和python 3.6。
2.仿真内容与结果分析：
本发明的仿真实验是采用本发明方法和现有技术的基于单支路卷积自编码器和SVM的高光谱图像分类方法进行仿真，在上述仿真条件下，分别进行了两个仿真实验。对输入的高光谱图像Indian Pines，见图2(a)进行分类，获得分类结果图参见图3，同时利用三个评价指标(总精度OA、平均精度AA、卡方系数Kappa)对分类结果进行评价。
图3为仿真实验结果图。图3(a)为采用基于单支路卷积自编码器和SVM的高光谱图像分类方法对高光谱图像Indian Pines进行分类的结果图。图3(b)为本发明对高光谱图像Indian Pines进行分类的结果图。
统计附图3中本发明和现有技术对高光谱图像Indian Pines的分类结果，包括每类地物的分类精度，总精度OA、平均精度AA和卡方系数Kappa，最后把统计到的每类地物的分类精度和各评价指标的值绘制成表1。
表1本发明与现有技术对Indian Pines高光谱图像的分类结果
Figure BDA0002577228440000101
Figure BDA0002577228440000111
通过表1可以看出，相对于现有技术，本发明在分类精度上取得了很大的提高。其中具体的指标提升有：OA提高了6.3％，AA提高了3.7％,Kappa提高了5.0％。本发明通过双支路卷积自编码器的构建，充分挖掘高光谱图像数据的结构信息，并提取出具有判别力的特征，从而提升了高光谱图像的分类精度。
综上，本发明通过构建包含无监督卷积自编码器和有监督卷积网络的双支路卷积自编码器，利用编码-解码和逐层特征提取两种方式挖掘高光谱图像信息，克服了单支路卷积编码器对样本特征提取不充分的问题，同时通过将无监督卷积自编码器产生的部分特征图级联到有监督卷积网络对应特征图的方法，确保了无监督卷积自编码器获得的特征对分类的有效性，从而有效地提升了高光谱图像的分类精度。

Claims (5)

1.一种基于双支路卷积自编码器的高光谱图像分类方法，其特征在于，包括如下步骤：
(1)获取高光谱数据的有监督训练样本集Sn、有监督训练样本标签向量集Yn *、无监督训练样本集Su和测试样本集St：
(1a)输入一幅大小为W×H×B高光谱图像和对应的大小为W×H标签图，W和H表示高光谱图像和标签图的行和列像素点的个数，B代表高光谱图像的波段个数；
(1b)以高光谱图像中与标签图每个值不为0的像素的位置相同的点为中心，分别划定大小为WS×WS×B的空间立方体，得到空间立方体集合S＝{S1,S2,…,Si,…,SN}和对应的整体样本标签集合Y＝{Y1,Y2,…,Yi,…,YN}，其中WS＞0且为整数，Si表示第i个样本，Yi表示第i个空间立方体标签值，N表示空间立方体的数目，N≥1000；
(1c)对每个空间立方体Si进行归一化，并随机选取半数以上的归一化空间立方体作为测试样本集St，再从其余的归一化空间立方体中随机挑选半数以上作为无监督训练样本集Su，剩余的归一化空间立方体作为有监督训练样本集Sn；
(1d)从Y中取出与Sn中所有样本对应的标签值组成集合
Figure FDA0002577228430000011
并将第r个样本的标签值
Figure FDA0002577228430000012
转化为C维的one-hot向量
Figure FDA0002577228430000013
得到标签向量集合
Figure FDA0002577228430000014
其中l表示Yn中标签的个数，l≥100，C表示样本的类别个数，C≥10；
(2)构建双支路卷积自编码器A：
构建包括并行排布的无监督卷积自编码器A1和有监督卷积网络A2的双支路卷积自编码器A，其中无监督卷积自编码器A1包括依次级联的编码器和解码器；有监督卷积网络支路A2包括依次级联的编码器、解码器、多个卷积-池化组合和分类器，编码器包括多个层叠的下采样卷积层，解码器包括多个层叠的逆卷积层，卷积-池化组合包括层叠的卷积层和池化层，分类器为全连接层，且A1中编码器的各下采样卷积层与A2中编码器对应位置的各下采样卷积层级联；
(3)对双支路卷积自编码器A进行迭代训练：
(3a)设迭代次数为t，最大迭代次数为T，T≥100，当前双支路卷积自编码网络、无监督卷积自编码器和有监督卷积网络分别为At、
Figure FDA0002577228430000021
和
Figure FDA0002577228430000022
并令t＝0，At＝A，
Figure FDA0002577228430000023
(3b)将从Su中随机选取的k个无监督样本作为
Figure FDA0002577228430000024
的输入，并采用编码—解码的方式对输入的无监督样本进行重构，得到k个重构图，然后采用均方误差函数，通过k个无监督样本和k个重构图，计算
Figure FDA0002577228430000025
对当前k个无监督样本的损失值
Figure FDA0002577228430000026
k≥10；
(3c)将从Sn中随机选取的k个有监督样本分别作为
Figure FDA0002577228430000027
和
Figure FDA0002577228430000028
的输入，并采用编码—解码的方式对输入到
Figure FDA0002577228430000029
中的有监督样本进行重构，得到k个重构图和k×m个
Figure FDA00025772284300000210
中编码器卷积层产生的特征图；同时
Figure FDA00025772284300000211
对输入的有监督样本进行逐层特征提取并将
Figure FDA00025772284300000212
中编码器卷积层产生的k×m个特征图逐层级联到
Figure FDA00025772284300000213
中编码器对应卷积层产生的特征图上，前m-1层中每层级联后的特征图作为当前
Figure FDA00025772284300000214
卷积层的输出和
Figure FDA00025772284300000215
中下一卷积层的输入，第m层产生的级联后的特征图作为
Figure FDA00025772284300000216
第一个逆卷积层的输入，通过后续多个逆卷积层和多个卷积-池化组合继续进行逐层特征提取，得到k个特征向量，利用全连接层对k个特征向量进行分类，得到k个无监督样本的预测标签向量，m表示
Figure FDA00025772284300000217
中编码器内卷积层的个数，m≥1；
(3d)采用均方误差函数，并通过输入的k个无监督样本和得到的k个重构图，计算
Figure FDA00025772284300000218
对输入的有监督样本的重构误差损失
Figure FDA00025772284300000219
同时采用交叉熵损失函数，并通过k个无监督样本的预测标签向量和标签向量集
Figure FDA00025772284300000220
中与k个无监督样本对应的k个真实标签向量，计算
Figure FDA00025772284300000221
的对输入的k个有监督样本的交叉熵分类损失
Figure FDA00025772284300000222
采用公式
Figure FDA00025772284300000223
对
Figure FDA00025772284300000224
和
Figure FDA00025772284300000225
进行合并，得到At对输入的k个无监督样本和k个有监督样本的整体损失值Lt，α和β为调整最终损失值的两个常数，0＜α≤1，0＜β≤1；
(3e)采用反向传播算法，并通过Lt对
Figure FDA0002577228430000031
中所有卷积核参数
Figure FDA0002577228430000032
中的所有卷积核参数
Figure FDA0002577228430000033
和
Figure FDA0002577228430000034
中的所有全连接层参数θt进行更新，得到更新后的双支路卷积自编码网络At；
(3f)判断t＝T是否成立，若是，得到训练好的双支路卷积自编码网络A*，其中包括训练好的无监督支路
Figure FDA0002577228430000035
和训练好的有监督支路
Figure FDA0002577228430000036
否则，令t＝t+1，并执行步骤(3b)；
(4)获取高光谱图像的分类结果：
将测试集St中的样本依次输入A*中，其中
Figure FDA0002577228430000037
采用编码-解码的方式，对测试样本进行重构；
Figure FDA0002577228430000038
结合
Figure FDA0002577228430000039
中的前m层的特征图，对测试样本逐层提取特征并用全连接层对最后的特征向量进行分类，得到所有测试样本的预测标签。
2.根据权利要求1所述的基于双支路卷积自编码器的高光谱图像分类方法，其特征在于：步骤(2)中所述的无监督卷积自编码器A1和有监督卷积网络A2，其中：
无监督卷积自编码器A1中编码器包括的下采样卷积层的个数为3，卷积层的卷积核大小为3×3，步长为1；解码器包括的逆卷积层的个数为3，逆卷积层的卷积核大小为3×3，步长为1；该无监督卷积自编码器A1的具体结构为：第一卷积层→第二卷积层→第三卷积层→第一逆卷积层→第二逆卷积层→第三逆卷积层；
有监督卷积网络A2中编码器包括的下采样卷积层的个数为3，卷积层的卷积核大小为3×3，步长为1；解码器包括的逆卷积层的个数为3，逆卷积层的卷积核大小为3×3，步长为1；卷积-池化层的个数为3，其中卷积层的卷积核大小为3×3，步长为1，第一组和第二组的池化层的池化窗大小设置为2×2，步长设为1，第三组池化层为大小为12×12的全局平均池化；全连接层个数为1，输入节点数为64，输出节点个数为高光谱数据的类别个数；该有监督卷积网络A2的具体结构为：第一卷积层→第二卷积层→第三卷积层→第一逆卷积层→第二逆卷积层→第三逆卷积层→第四卷积层→第一池化层→第五卷积层→第二池化层→第六卷积层→第三池化层→第一全连接层。
3.根据权利要求1所述的基于双支路卷积自编码器的高光谱图像分类方法，其特征在于：步骤(3c)中所述的将
Figure FDA0002577228430000041
中编码器卷积层产生的k×m个特征图逐层级联到
Figure FDA0002577228430000042
中编码器对应卷积层产生的特征图上，实现方法为：对k个有监督样本中每个样本进行重构和特征提取，将A1的编码器中在重构过程中第j层卷积产生的特征图
Figure FDA0002577228430000043
与A2编码器在特征提取过程中的第j层卷积产生的特征图
Figure FDA0002577228430000044
进行级联，
Figure FDA0002577228430000045
和
Figure FDA0002577228430000046
的大小都为wj×hj×bj，wj，hj和bj分别代表
Figure FDA0002577228430000047
和
Figure FDA0002577228430000048
的行数、列数和通道数，级联后的
Figure FDA0002577228430000049
变为大小为wj×hj×2bj的
Figure FDA00025772284300000410
将
Figure FDA00025772284300000411
作为A2第j层卷积层的输出。
4.根据权利要求1所述的的基于双支路卷积自编码器的高光谱图像分类方法，其特征在于：步骤(3d)中所述的
Figure FDA00025772284300000412
无监督样本重构损失
Figure FDA00025772284300000413
有监督样本的重构损失
Figure FDA00025772284300000414
和
Figure FDA00025772284300000415
有监督样本的交叉熵损失
Figure FDA00025772284300000416
计算公式分别为：
Figure FDA00025772284300000417
Figure FDA00025772284300000418
Figure FDA00025772284300000419
其中xg表示当前训练第t次训练时的第g个无监督样本，x′g表示
Figure FDA00025772284300000420
输出的xg的重构图，qh表示表示当前训练第t次训练时的第h个有监督样本，q′h表示
Figure FDA00025772284300000421
输出的qh的重构图；
Figure FDA00025772284300000422
表示qh的标签向量的第a个元素，
Figure FDA00025772284300000423
表示
Figure FDA00025772284300000424
输出的第h个有监督样本预测标签向量的第a个元素，ln表示以e为底的对数运算。
5.根据权利要求1所述的的基于双支路卷积自编码器的高光谱图像分类方法，其特征在于：步骤(3c)中所述的通过Lt对
Figure FDA00025772284300000425
中所有卷积核参数
Figure FDA00025772284300000426
中的所有卷积核参数
Figure FDA00025772284300000427
和
Figure FDA00025772284300000428
中的所有全连接层参数θt进行更新，更新公式分别为：
Figure FDA0002577228430000051
Figure FDA0002577228430000052
Figure FDA0002577228430000053
其中η表示学习步长，0＜η≤0.1，
Figure FDA0002577228430000054
和θt+1分别表示
Figure FDA0002577228430000055
和θt更新后的结果，
Figure FDA0002577228430000056
表示求导操作。
CN202010657319.7A 2020-07-09 2020-07-09 基于双支路卷积自编码器的高光谱图像分类方法 Active CN111814685B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010657319.7A CN111814685B (zh) 2020-07-09 2020-07-09 基于双支路卷积自编码器的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010657319.7A CN111814685B (zh) 2020-07-09 2020-07-09 基于双支路卷积自编码器的高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN111814685A true CN111814685A (zh) 2020-10-23
CN111814685B CN111814685B (zh) 2024-02-09

Family

ID=72842121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010657319.7A Active CN111814685B (zh) 2020-07-09 2020-07-09 基于双支路卷积自编码器的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN111814685B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364831A (zh) * 2020-11-30 2021-02-12 姜培生 人脸识别方法及在线教育系统
CN112529678A (zh) * 2020-12-23 2021-03-19 华南理工大学 一种基于自监督判别式网络的金融指数时序异常检测方法
CN112597826A (zh) * 2020-12-08 2021-04-02 核工业北京地质研究院 一种对高光谱sasi数据进行岩性分类的方法
CN112818920A (zh) * 2021-02-25 2021-05-18 哈尔滨工程大学 一种双时相高光谱图像空谱联合变化检测方法
CN113030001A (zh) * 2021-03-19 2021-06-25 北京农业智能装备技术研究中心 一种水果糖度检测方法及系统
CN113298746A (zh) * 2021-07-05 2021-08-24 北京邮电大学 一种基于机器学习算法的有监督假彩色图像合成方法
CN114187477A (zh) * 2021-12-16 2022-03-15 西安交通大学 一种基于监督自对比学习的小样本高光谱图像分类方法
CN118378666A (zh) * 2024-06-26 2024-07-23 广东阿尔派电力科技股份有限公司 基于云计算的分布式能量管理监控方法及系统
CN118606873A (zh) * 2024-08-08 2024-09-06 安徽大学 一种基于自编码器的二阶段异常分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN107590515A (zh) * 2017-09-14 2018-01-16 西安电子科技大学 基于熵率超像素分割的自编码器的高光谱图像分类方法
CN109389080A (zh) * 2018-09-30 2019-02-26 西安电子科技大学 基于半监督wgan-gp的高光谱图像分类方法
CN110084159A (zh) * 2019-04-15 2019-08-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法
CN110717617A (zh) * 2019-09-09 2020-01-21 广东工业大学 一种基于深度图网络自编码器的无监督关系预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN107590515A (zh) * 2017-09-14 2018-01-16 西安电子科技大学 基于熵率超像素分割的自编码器的高光谱图像分类方法
CN109389080A (zh) * 2018-09-30 2019-02-26 西安电子科技大学 基于半监督wgan-gp的高光谱图像分类方法
CN110084159A (zh) * 2019-04-15 2019-08-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法
CN110717617A (zh) * 2019-09-09 2020-01-21 广东工业大学 一种基于深度图网络自编码器的无监督关系预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘启超;肖亮;刘芳;徐金环;: "SSCDenseNet:一种空-谱卷积稠密网络的高光谱图像分类算法", 电子学报, no. 04 *
周云成;邓寒冰;许童羽;苗腾;吴琼;: "基于稠密自编码器的无监督番茄植株图像深度估计模型", 农业工程学报, no. 11 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364831A (zh) * 2020-11-30 2021-02-12 姜培生 人脸识别方法及在线教育系统
CN112597826A (zh) * 2020-12-08 2021-04-02 核工业北京地质研究院 一种对高光谱sasi数据进行岩性分类的方法
CN112529678B (zh) * 2020-12-23 2023-06-23 华南理工大学 一种基于自监督判别式网络的金融指数时序异常检测方法
CN112529678A (zh) * 2020-12-23 2021-03-19 华南理工大学 一种基于自监督判别式网络的金融指数时序异常检测方法
CN112818920A (zh) * 2021-02-25 2021-05-18 哈尔滨工程大学 一种双时相高光谱图像空谱联合变化检测方法
CN112818920B (zh) * 2021-02-25 2022-09-20 哈尔滨工程大学 一种双时相高光谱图像空谱联合变化检测方法
CN113030001B (zh) * 2021-03-19 2022-08-23 北京农业智能装备技术研究中心 一种水果糖度检测方法及系统
CN113030001A (zh) * 2021-03-19 2021-06-25 北京农业智能装备技术研究中心 一种水果糖度检测方法及系统
CN113298746A (zh) * 2021-07-05 2021-08-24 北京邮电大学 一种基于机器学习算法的有监督假彩色图像合成方法
CN114187477A (zh) * 2021-12-16 2022-03-15 西安交通大学 一种基于监督自对比学习的小样本高光谱图像分类方法
CN118378666A (zh) * 2024-06-26 2024-07-23 广东阿尔派电力科技股份有限公司 基于云计算的分布式能量管理监控方法及系统
CN118378666B (zh) * 2024-06-26 2024-08-16 广东阿尔派电力科技股份有限公司 基于云计算的分布式能量管理监控方法及系统
CN118606873A (zh) * 2024-08-08 2024-09-06 安徽大学 一种基于自编码器的二阶段异常分类方法

Also Published As

Publication number Publication date
CN111814685B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN110321963B (zh) 基于融合多尺度多维空谱特征的高光谱图像分类方法
CN111814685A (zh) 基于双支路卷积自编码器的高光谱图像分类方法
CN107316013B (zh) 基于nsct变换和dcnn的高光谱图像分类方法
CN113095409B (zh) 基于注意力机制和权值共享的高光谱图像分类方法
CN108460391B (zh) 基于生成对抗网络的高光谱图像无监督特征提取方法
CN107145836B (zh) 基于栈式边界辨别自编码器的高光谱图像分类方法
CN111310598B (zh) 一种基于3维和2维混合卷积的高光谱遥感图像分类方法
CN109376753B (zh) 一种三维空谱空间维像元类属概率计算方法
CN112560733B (zh) 面向两期遥感影像的多任务处理系统及方法
CN113408398A (zh) 基于通道注意力及概率上采样的遥感图像云检测方法
CN114494846A (zh) 基于多尺度内卷网络的高光谱图像分类的方法
CN114821340A (zh) 一种土地利用分类方法及系统
CN113673556A (zh) 一种基于多尺度密集卷积网络的高光谱图像分类方法
CN116977723A (zh) 基于空间-光谱混合自注意力机制的高光谱图像分类方法
CN115937693A (zh) 一种基于遥感图像的道路识别方法及系统
CN111639697A (zh) 基于非重复采样与原型网络的高光谱图像分类方法
Song et al. Multi-source remote sensing image classification based on two-channel densely connected convolutional networks.
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
Ataş Performance Evaluation of Jaccard-Dice Coefficient on Building Segmentation from High Resolution Satellite Images
Wang et al. Hybrid network model based on 3D convolutional neural network and scalable graph convolutional network for hyperspectral image classification
CN117710744A (zh) 基于波段选择特征融合多注意力网络的高光谱图像分类方法
CN109460788B (zh) 基于低秩-稀疏信息组合网络的高光谱图像分类方法
Yaman et al. Image processing and machine learning‐based classification method for hyperspectral images
Chhapariya et al. A Deep Spectral-Spatial Residual Attention Network for Hyperspectral Image Classification
CN116704382A (zh) 一种无人机影像语义分割方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant