CN111461172A - 基于二维点组卷积的高光谱遥感数据的轻量级特征融合方法 - Google Patents

基于二维点组卷积的高光谱遥感数据的轻量级特征融合方法 Download PDF

Info

Publication number
CN111461172A
CN111461172A CN202010144828.XA CN202010144828A CN111461172A CN 111461172 A CN111461172 A CN 111461172A CN 202010144828 A CN202010144828 A CN 202010144828A CN 111461172 A CN111461172 A CN 111461172A
Authority
CN
China
Prior art keywords
features
convolution
fusion
group
dimensional point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010144828.XA
Other languages
English (en)
Other versions
CN111461172B (zh
Inventor
李贤�
丁明理
张永强
杨光磊
董娜
朱月熠
孙晨昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202010144828.XA priority Critical patent/CN111461172B/zh
Publication of CN111461172A publication Critical patent/CN111461172A/zh
Application granted granted Critical
Publication of CN111461172B publication Critical patent/CN111461172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

基于二维点组卷积的高光谱遥感数据的轻量级特征融合方法，属于遥感数据特征提取技术领域。本发明是为了解决现有基于深度学习的高光谱遥感数据特征融合方法需要大量的融合参数问题。本发明所述方法针对征融合前的处理过程处理后得到的特征，进行二维点组卷积操作；二维点组卷积的过程中，首先将融合前的特征先分成若干个组，然后每组各自单独进行特征融合，融合后的特征为每组的局部特征；对每层融合后的局部特征进行洗牌，使得洗牌后的每组特征来自于洗牌前各组的局部特征；对洗牌后的特征再进行二维点组卷积操作，进行特征融合，此时融合后的特征为全局特征。本发明用于高光谱遥感数据的特征融合。

Description

基于二维点组卷积的高光谱遥感数据的轻量级特征融合方法
技术领域
本发明涉及高光谱遥感数据的轻量级特征融合方法，属于遥感数据特征提取技术领域。
背景技术
随着成像技术和光谱技术的发展，高光谱遥感技术是地球探测领域近三十年来最重大的技术突破之一，是当前遥感领域最前沿的技术和国际遥感学科研究的热点。高光谱遥感数据由于存在超高的维度和复杂的非线性特性，使得基于机器学习的特征提取和特征融合方法以无法满足实际需求。随着近年来深度学习的发展，一些基于深度学习的特征提取模型被提出，如自动编码器、递归神经网络和卷积神经网络等。虽然以上模型都能较好的提取特征，但特征融合的方法一般都是采用多个全连接层进行融合，由于其各单元是以全连接方式进行特征融合，需要大量的融合参数。而由于高光谱遥感数据标记训练样本稀少，大量融合参数会导致过拟合或影响特征提取的效果，则对高光谱遥感数据后续处理或者基于高光谱遥感数据进行的处理都取得不到准确或者良好的效果，所以研究轻量级学习参数的特征融合方法是亟需解决的问题。
发明内容
本发明是为了解决现有基于深度学习的高光谱遥感数据特征融合方法需要大量的融合参数问题，进而造成模型的过拟合甚至影响前端特征提取的效果，提出了一种基于二维点组卷积的高光谱遥感数据的轻量级特征融合方法。
基于二维点组卷积的高光谱遥感数据的轻量级特征融合方法，包括以下步骤：
针对征融合前的处理过程处理后得到的特征，进行二维点组卷积操作；二维点组卷积的卷积核尺寸为1×1；
二维点组卷积的过程中，首先将融合前的特征先分成若干个组，然后每组各自单独进行特征融合，融合后的特征为每组的局部特征；
对每层融合后的局部特征进行洗牌，使得洗牌后的每组特征来自于洗牌前各组的局部特征；
对洗牌后的特征再进行二维点组卷积操作，进行特征融合，此时融合后的特征为全局特征。
进一步地，所述洗牌操作的具体过程如下：
假设点组卷积融合后的特征表示为(1,1,N)，N是特征向量的个数；
首先，将N个输入特征向量分成g组，可表示为
Figure BDA0002400371120000021
然后，利用reshape函数转换成
Figure BDA0002400371120000022
再利用转置函数(permute或transpose)将其变换成
Figure BDA0002400371120000023
最后利用reshape函数拼接成
Figure BDA0002400371120000024
的特征。
进一步地，所述将N个输入特征向量分成g组的过程为等分，如果N个输入特征向量不能被g整除，前g-1组数量相等，多余的归并到第g组。
进一步地，所述的转置函数为permute函数或transpose函数。
进一步地，所述融合方法中的二维点组卷积操作至少为两次，且相邻两次二维点组卷积操作之间进行一次洗牌操作。
有益效果：
本发明将多层全连接层(一般特征融合都使用多层)用相同单元数的二维点卷积代替，然后将分组卷积应用到二维点卷积上，构成了利用多层二维点组卷积进行深度特征融合。二维点组卷积的优点是能有效减少特征融合所需的学习参数(减少的参数量为约组数的倍数)，应用洗牌操作可以建立各组之间的相关性，实现与全连接层类似的功能，有效的融合所有提取的特征，即全局特征融合。由于本发明需要更少的融合参数而缓解过拟合现象，所以能够取得更好的融合效果。
尤其是针对具有复杂的非线性且标记训练样本匮乏的高光谱遥感数据而言，利用本发明进行高光谱遥感数据进行处理时可以数倍甚至数十倍的减少融合参数，能够有效减小模型的过拟合，可以有效的提高融合效果和整体的处理效果。
附图说明
图1为全连接层特征融合示意图；
图2为二维点组卷积特征融合示意图；
图3为洗牌二维点组卷积特征融合对比示例图；
图4为洗牌操作示例图；
图5为轻量级特征融合框架图示意图。
具体实施方式
在说明本实施方式之前，需要说明以下问题，以帮助更好理解本发明内容：
1、高光谱遥感数据具有复杂的非线性，需要更深的网络学习，即网络的深度与非线性学习能力呈现正相关；
2、更深的网络意味着需要更多的学习参数，即网络的深度与网络的学习参数呈现正相关；
3、更多的学习参数需要更多标记的训练样本，即学习参数与标记的训练样本呈现正相关；
4、高光谱遥感数据具有复杂的非线性且标记的训练样本匮乏，而深度的网络可以学习高光谱遥感数据的复杂非线性特性，但同时需要大量的学习参数学习高光谱数据的非线性，稀少的训练样本会使深度的学习网络造成过拟合现象，进而降低特征提取的能力，所以研究更深的网络且需要更少的学习参数是极具挑战。
具体实施方式一：
本实施方式为基于二维点组卷积的高光谱遥感数据的轻量级特征融合方法，包括以下步骤：
将高光谱遥感数据进行特征融合前的处理，可以是特征提取单元的处理(深度学习网络的一部分)，本发明中包括但不限于是特征提取单元；
针对征融合前的处理过程处理后得到的特征，进行二维点组卷积操作；
全连接层特征融合和二维点组卷积特征融合对比示例图如图1和图2所示。
图1是全连接层特征融合示例图。由图1可以，全连接层是以所有特征全部建立连接的方式来进行特征融合，此种方式没有遗漏融合特征之间的相关性，保证融合后的每个特征与所有融合前的特征之间相关，即融合后的特征为全局特征，相关系数即是学习的权重。此种方式的弊端是所需的学习参数(权重和偏差，为了计算和表示方便，本实施方式只计算权重数量作为例子进行说明)太多，每个全连接层所需学习参数的计算公式：输入特征的维度乘以该全连接层的单元数；而输入特征的维度和各层全连接层的单元数取值往往较大(上百甚至上千)，所以全连接层特征融合的方式需要大量的学习参数，进而造成模型的过拟合甚至严重影响前端特征提取的能力。
图2是二维点组卷积特征融合示例图。二维点组卷积特征融合采用局部连接的方式进行特征融合，即将融合前的特征先分成若干个组，每组各自单独进行特征融合，融合后的特征为每组的局部特征。这种局部融合的方式优势是可以极大的减少所需的融合参数，非常适用于具有稀少标记样本的高光谱遥感数据。如果取组数为g，每层全连接层则可以减少约g倍的融合参数。但这种局部连接方式的缺点就是融合后的每个特征只有融合前的部分特征相关，即融合后的特征为局部特征。
二维常规卷积就是卷积核的尺寸是二维的，比如k1×k2，其操作过程是每个输出特征通道与所有输入通道有关，造成学习参数过多。二维组卷积是通过分组的概念，使得每组输出特征通道只与局部的输入通道有关，减少了所需学习参数。二维常规卷积是一种特殊的分组卷积，即组数为1。二维点卷积是卷积核尺寸为1×1特殊卷积，可以用于完全代替全连接层的功能(全连接层是每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来，常用于特征融合)。二维点组卷积是在二维点卷积上加入分组的概念，使得每个结点与上一层局部结点相连，从而减少学习参数。实际上，二维点卷积是一种特殊的二维点组卷积，即组数为1。
综上，二维点组卷积有2大特点：1)“点”代表卷积核尺寸为1×1，可以完全代替全连接层用于特征融合，而非“点”卷积(一般的分组卷积)无法代替特征融合。2)“组”表示利用分组的概念，可以减少学习参数，而常规卷积是一种特殊的分组卷积，即组数为1。
二维点组卷积的优点是能否有效减少特征融合所需的学习参数(减少的参数量为组数的倍数)，但是没有考虑各组特征之间的相关性。(全连接层是将所有特征以全连接方式进行融合，可以避免这个问题，但造成融合参数过多和产生冗余的特征，过拟合等问题)。
为了缓解这个问题，本发明应用洗牌操作对每层融合后的局部特征进行洗牌，使得洗牌后的每组特征来自于洗牌前各组的局部特征，如图3所示。
洗牌后的特征再利用二维点组卷积操作进行特征融合，此时融合后的特征为全局特征。所以采用两层二维点卷积结合洗牌操作替换两层全连接层，同样可以融合全局特征，且有效的减少特征融合的参数。
洗牌操作的目的为了建立各组局部融合特征之间的相关性，解决二维点组卷积只能融合局部特征的不足。具体过程：
假设点组卷积融合后的特征表示为(1,1,N)，N是特征向量的个数。
首先将N个输入特征向量分成g组，可表示为
Figure BDA0002400371120000041
所述将N个输入特征向量分成g组的过程为等分，如果N个输入特征向量不能被g整除，前g-1组数量相等，多余的归并到第g组。
然后洗牌操作是利用reshape函数转换成
Figure BDA0002400371120000042
再利用转置函数(permute或transpose)将其变换成
Figure BDA0002400371120000051
最后利用reshape函数拼接成
Figure BDA0002400371120000052
的特征。
由此过程可知，洗牌操作仅仅是打乱各特征向量在维度方向上的顺序，没有改变特征矩阵的维度。一个洗牌操作示例图如图4所示，不同的颜色代表不同特征向量。由图4可知，洗牌后的每组特征来至于洗牌前各组的特征，从而通过洗牌操作建立各组特征之间的相关性，进而提高特征融合能力。
轻量级特征融合：采用堆栈多层二维点组卷积(必须大于两层，否则无法使用洗牌操作)方式，通过设计合适的分组数，可以实现用较少的融合参数，实现全连接层相近的结果，并缓解了过拟合问题，实验表明可以实现更高的分类效果。实际应用中，二维点组卷积和洗牌操作可以根据实际情况进行调整，可能多次进行两次点组卷积，例如：点组卷积+洗牌+点组卷积+洗牌+点组卷积....。
融合参数的减少示例：例如一个高光谱遥感数据的神经网络中有三层全连接层，单元数分别为512，256，128，输入全连接层的特征数为256，则总融合参数为256*512+512*256+256*128≈295k(294912)个参数。如果使用本发明方法，组数取32，所需融合参数为13k(13312)，融合参数减少超过22倍，极大减少了融合参数。
本发明方法设计思路：
(1)根据特征融合的需求设计二维点卷积的层数和每层的单元数。
(2)确定分组数，分组数的设计原则有最小参数设计原则和近最小参数设计原则。最小参数设计原则是根据(1)确定的层数和每层单元数，计算所需融合参数与分组数g的函数，根据最少融合参数确定对应的组数即为最小参数设计原则。近最小参数设计原则是因为参数最少往往并不是融合效果最好的时候，或者说计算的组数的不是一个正整数，此时可以选取与最少参数对应组数接近的数为最终的组数。
备注：如果二维点卷积的个数不能被g整除，前g-1组不改变(数量还相等)，多余的归并到第g组。
本发明技术关键在于应用点组卷积和洗牌操作的概念，提出了一种基于二维点组卷积的高光谱遥感数据深度特征融合方法。基于的机理是二维点卷积(卷积核尺寸是1×1的二维卷积)可以代替全连接层，而二维点组卷积是利用分组卷积的概念，将特征融合分成若干个组，每组单独进行特征融合(局部连接)，有效的减少特征融合的参数。然后，仅仅用二维点组卷积进行特征融合，会导致融合效果不佳，相比于全连接层的全局特征融合，其是一种局部特征融合的方法，所以利用洗牌操作使得各组特征之间建立了联系，考虑了其相关性，从而进行全局特征融合。
需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。

Claims (5)

1.基于二维点组卷积的高光谱遥感数据的轻量级特征融合方法，其特征在于，包括以下步骤：
针对征融合前的处理过程处理后得到的特征，进行二维点组卷积操作；二维点组卷积的卷积核尺寸为1×1；
二维点组卷积的过程中，首先将融合前的特征先分成若干个组，然后每组各自单独进行特征融合，融合后的特征为每组的局部特征；
对每层融合后的局部特征进行洗牌，使得洗牌后的每组特征来自于洗牌前各组的局部特征；
对洗牌后的特征再进行二维点组卷积操作，进行特征融合，此时融合后的特征为全局特征。
2.根据权利要求1所述的基于二维点组卷积的高光谱遥感数据的轻量级特征融合方法，其特征在于，所述洗牌操作的具体过程如下：
假设点组卷积融合后的特征表示为(1,1,N)，N是特征向量的个数；
首先，将N个输入特征向量分成g组，可表示为
Figure FDA0002400371110000011
然后，利用reshape函数转换成
Figure FDA0002400371110000012
再利用转置函数(permute或transpose)将其变换成
Figure FDA0002400371110000013
最后利用reshape函数拼接成
Figure FDA0002400371110000014
的特征。
3.根据权利要求2所述的基于二维点组卷积的高光谱遥感数据的轻量级特征融合方法，其特征在于，所述将N个输入特征向量分成g组的过程为等分，如果N个输入特征向量不能被g整除，前g-1组数量相等，多余的归并到第g组。
4.根据权利要求3所述的基于二维点组卷积的高光谱遥感数据的轻量级特征融合方法，其特征在于，所述的转置函数为permute函数或transpose函数。
5.根据权利要求1至4之一所述的基于二维点组卷积的高光谱遥感数据的轻量级特征融合方法，其特征在于，所述融合方法中的二维点组卷积操作至少为两次，且相邻两次二维点组卷积操作之间进行一次洗牌操作。
CN202010144828.XA 2020-03-04 2020-03-04 基于二维点组卷积的高光谱遥感数据的轻量级特征融合方法 Active CN111461172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010144828.XA CN111461172B (zh) 2020-03-04 2020-03-04 基于二维点组卷积的高光谱遥感数据的轻量级特征融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010144828.XA CN111461172B (zh) 2020-03-04 2020-03-04 基于二维点组卷积的高光谱遥感数据的轻量级特征融合方法

Publications (2)

Publication Number Publication Date
CN111461172A true CN111461172A (zh) 2020-07-28
CN111461172B CN111461172B (zh) 2023-05-30

Family

ID=71681810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010144828.XA Active CN111461172B (zh) 2020-03-04 2020-03-04 基于二维点组卷积的高光谱遥感数据的轻量级特征融合方法

Country Status (1)

Country Link
CN (1) CN111461172B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596327A (zh) * 2018-03-27 2018-09-28 中国地质大学（武汉） 一种基于深度学习的地震速度谱人工智能拾取方法
CN109064405A (zh) * 2018-08-23 2018-12-21 武汉嫦娥医学抗衰机器人股份有限公司 一种基于双路径网络的多尺度图像超分辨率方法
CN110378281A (zh) * 2019-07-17 2019-10-25 青岛科技大学 基于伪3d卷积神经网络的组群行为识别方法
CN110796027A (zh) * 2019-10-10 2020-02-14 天津大学 一种基于紧密卷积的神经网络模型的声音场景识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596327A (zh) * 2018-03-27 2018-09-28 中国地质大学（武汉） 一种基于深度学习的地震速度谱人工智能拾取方法
CN109064405A (zh) * 2018-08-23 2018-12-21 武汉嫦娥医学抗衰机器人股份有限公司 一种基于双路径网络的多尺度图像超分辨率方法
CN110378281A (zh) * 2019-07-17 2019-10-25 青岛科技大学 基于伪3d卷积神经网络的组群行为识别方法
CN110796027A (zh) * 2019-10-10 2020-02-14 天津大学 一种基于紧密卷积的神经网络模型的声音场景识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIANGYU ZHANG: "ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile", 《ARXIV》 *
徐首珏: "面向遥感影像的快速分类及精度评价方法研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 *

Also Published As

Publication number Publication date
CN111461172B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN109522966B (zh) 一种基于密集连接卷积神经网络的目标检测方法
Tang et al. Pixel convolutional neural network for multi-focus image fusion
CN110232394B (zh) 一种多尺度图像语义分割方法
CN109410242B (zh) 基于双流卷积神经网络的目标跟踪方法、系统、设备及介质
CN110046550B (zh) 基于多层特征学习的行人属性识别系统及方法
CN106372648A (zh) 基于多特征融合卷积神经网络的浮游生物图像分类方法
CN105631486A (zh) 图像文字识别方法及装置
CN111291826B (zh) 基于相关性融合网络的多源遥感图像的逐像素分类方法
CN112597955B (zh) 一种基于特征金字塔网络的单阶段多人姿态估计方法
CN112036260B (zh) 一种自然环境下多尺度子块聚合的表情识别方法及系统
CN112365514A (zh) 基于改进PSPNet的语义分割方法
CN110726898B (zh) 一种配电网故障类型识别方法
CN113743269B (zh) 一种轻量化识别视频人体姿态的方法
CN105787867A (zh) 基于神经网络算法的处理视频图像的方法和装置
CN107463932A (zh) 一种使用二进制瓶颈神经网络来抽取图片特征的方法
CN110097110B (zh) 一种基于目标优化的语义图像修复方法
CN111798469A (zh) 基于深度卷积神经网络的数字图像小数据集语义分割方法
Liu et al. RB-Net: Training highly accurate and efficient binary neural networks with reshaped point-wise convolution and balanced activation
CN111553296B (zh) 一种基于fpga实现的二值神经网络立体视觉匹配方法
CN113642445A (zh) 一种基于全卷积神经网络的高光谱影像分类方法
CN111199255A (zh) 基于darknet53网络的小目标检测网络模型及检测方法
CN110570402A (zh) 基于边界感知神经网络的双目显著物体检测方法
CN111461172A (zh) 基于二维点组卷积的高光谱遥感数据的轻量级特征融合方法
CN110992320B (zh) 一种基于双重交错的医学图像分割网络
CN112418070A (zh) 一种基于解耦阶梯网络的姿态估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant