CN107358162B - 基于深度堆栈网络的极化sar影像变化检测方法 - Google Patents

基于深度堆栈网络的极化sar影像变化检测方法 Download PDF

Info

Publication number
CN107358162B
CN107358162B CN201710440095.2A CN201710440095A CN107358162B CN 107358162 B CN107358162 B CN 107358162B CN 201710440095 A CN201710440095 A CN 201710440095A CN 107358162 B CN107358162 B CN 107358162B
Authority
CN
China
Prior art keywords
matrix
polarization
change detection
images
stack network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710440095.2A
Other languages
English (en)
Other versions
CN107358162A (zh
Inventor
焦李成
屈嵘
张佳琪
唐旭
杨淑媛
侯彪
马文萍
刘芳
尚荣华
张向荣
张丹
马晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201710440095.2A priority Critical patent/CN107358162B/zh
Publication of CN107358162A publication Critical patent/CN107358162A/zh
Application granted granted Critical
Publication of CN107358162B publication Critical patent/CN107358162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Abstract

本发明公开了一种基于深度堆栈网络的极化SAR影像变化检测方法，包括：1)得配准后两幅样本图像的极化散射矩阵S1及配准后两幅待检测图像的极化散射矩阵S2；2)生成极化协方差矩阵C；3)对极化协方差矩阵C进行预处理；4)得特征矩阵F1；5)人工标记配准后两幅样本图像的变化检测标准图；6)得基于图像块的特征矩阵F21；7)得配准后两幅待检测图像对应的基于图像块的特征矩阵F22；8)构建训练数据集D的特征矩阵W1及测试数据集T的特征矩阵W2；9)构建基于深度堆栈网络的极化SAR影像变化检测模型；10)对模型进行训练；11)根据训练后的模型对特征矩阵F22进行变化检测，该方法能够实现极化SAR影像的变化检测，操作较为简单。

Description

基于深度堆栈网络的极化SAR影像变化检测方法
技术领域
本发明属于图像处理技术领域，涉及一种基于深度堆栈网络的极化SAR影像变化检测方法。
背景技术
合成孔径雷达(synthetic aperture radar,SAR)能够全天时、全天候实时对地面或空间目标进行探测，能实时获取地面目标的二维高分辨图像，被广泛应用于军事领域、民用领域等。近年来,极化合成孔径雷达(polarimetric synthetic aperture radar,PolSAR)数据获取途径逐渐增多,其图像所包含的信息量远大于单极化SAR图像,能记录目标散射回波的全极化信息,更加完整准确地揭示目标的散射机理,能增强杂波抑制与抗干扰能力等。为目标分解、分类以及检测提供了有力的数据支持,也为变化检测技术提供了一个新的研究方向。
图像变化检测是一种通过对采集于不同时间同一地点的两幅SAR图像进行比较分析,确定地物变化信息的图像处理技术,在土地利用、水域检测和灾难监测等方面有广泛的应用。现有的极化SAR影像的变化检测方法有基于复Wishart分布的极化SAR图像变化检测算法、极化状态的变化检测方法等。
2003年丹麦科技大学国际空间研究所的Knut Conradsen等人提出了一种基于复Wishart分布的极化SAR图像变化检测算法，该算法通过构造似然比检测量实现极化SAR图像的变化检测。
2014年中国民航大学的韩萍团队提出了一种基于极化状态提取的极化SAR图像变化检测算法。首先利用不变样本目标提取图像的最优极化状态，并将此极化状态下的接收功率比值作为变化检测特征量,最后利用双阈值判别方法提取变化区域实现变化检测。
这些变化检测方法人工提取特征，直接利用图像的某种特性进行检测，没有运用深度学习的方法，因而特征提取的方法很繁琐。
发明内容
本发明的目的在于克服上述现有技术的缺点，提供了一种基于深度堆栈网络的极化SAR影像变化检测方法，该方法能够实现极化SAR影像的变化检测，操作较为简单。
为达到上述目的，本发明所述的基于深度堆栈网络的极化SAR影像变化检测方法包括以下步骤：
1)将两幅极化SAR影像样本在相同地物不同时相的图像利用ENVI软件进行配准，得配准后两幅样本图像的极化散射矩阵S1；将两幅待检测极化SAR影像在相同地物不同时相的图像利用ENVI软件进行配准，得到配准后两幅待检测图像的极化散射矩阵S2；
2)根据配准后两幅样本图像的极化散射矩阵S1生成极化协方差矩阵C；
3)对步骤2)得到的极化协方差矩阵C进行精致LEE滤波及去除斑点噪声处理；
4)将经步骤3)处理后的极化协方差矩阵C中的每个像素值归一化到[0，1]之间，得特征矩阵F1；
5)人工标记配准后两幅样本图像的变化检测标准图；
6)将特征矩阵F1中的各元素替换为对应元素周围5×5的图像块，然后再利用人工标记的配准后两幅样本图像的变化检测标准图去除特征矩阵F1中不准确的图像块，得两幅样本图像对应的基于图像块的特征矩阵F21；
7)将配准后两幅待检测图像的极化散射矩阵S2作为配准后两幅样本图像的极化散射矩阵S1，并重复步骤2)、3)、4)、5)及6)，得配准后两幅待检测图像对应的基于图像块的特征矩阵F22；
8)将两幅样本图像对应的基于图像块的特征矩阵F21拉成列向量并级联，然后再根据两幅样本图像对应的基于图像块的特征矩阵F21构建训练数据集D的特征矩阵W1及测试数据集T的特征矩阵W2；
9)构建基于深度堆栈网络的极化SAR影像变化检测模型；
10)利用训练数据集D的特征矩阵W1及测试数据集T的特征矩阵W2对基于深度堆栈网络的极化SAR影像变化检测模型进行训练，得训练后的基于深度堆栈网络的极化SAR影像变化检测模型；
11)根据训练后的基于深度堆栈网络的极化SAR影像变化检测模型对步骤7)中配准后两幅待检测图像对应的基于图像块的特征矩阵F22进行变化检测，得待检测极化SAR影像的变化检测结果，完成基于深度堆栈网络的极化SAR影像变化检测。
步骤9)中的深度堆栈网络由N个依次相连接的神经网络构成。
所述神经网络的数目为3个；
步骤1)的具体操作为：配准后两幅样本图像的极化散射矩阵S1为：
Figure BDA0001319725920000041
其中，SHH为水平发射且水平接收的散射分量，SVV为垂直发射且垂直接收的散射分量，SHV为水平发射且垂直接收的散射分量，SVH为垂直发射且水平接收的散射分量。
步骤2)的具体操作为：
2a)由配准后两幅样本图像的极化散射矩阵S1得极化相干矩阵T，其中，
Figure BDA0001319725920000042
Figure BDA0001319725920000043
2b)根据式(3)得极化协方差矩阵C，其中，
C＝ATTA (4)
Figure BDA0001319725920000044
步骤4)中的特征矩阵F1为：
Figure BDA0001319725920000051
深度堆栈网络包括依次相连接的第一输入层、第一隐含层、第一输出层、第二输入层、第二隐含层、第二输出层、第三输入层、第三隐含层及第三输出层；其中，第一输入层的节点数为450；第一隐含层的节点数为500；第一输出层的节点数为2；第二输入层的节点数为452；第二隐含层的节点数为500；第二输出层的节点数为2；第三输入层的节点数为454；第三隐含层的节点数为500；第三输出层的节点数为2。
本发明具有以下有益效果：
本发明所述的基于深度堆栈网络的极化SAR影像变化检测方法在具体操作时，通过引入深度学习，避免传统方法人工提取特征的繁杂性，具体的，先构建基于深度堆栈网络的极化SAR影像变化检测模型，并对该模型进行训练，以提高检测的准确性，再利用基于深度堆栈网络的极化SAR影像变化检测模型对配准后两幅待检测图像对应的基于图像块的特征矩阵F22进行变化检测，得待检测极化SAR影像的变化检测结果，操作较为简单、方便，另外，需要说明的是，本发明利用人工标记的配准后两幅样本图像的变化检测标准图去除特征矩阵F1中不准确的图像块，从而有效的提高变化检测的准确性，并且具有较强的泛化能力。
附图说明
图1为本发明的流程图；
图2为本发明中对待检测图像的人工标记图；
图3为用本发明对待检测图像的检测结果图；
图4为本发明中对构造的待检测图像的人工标记图；
图5为用本发明对构造的待检测图像的检测结果图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
参考图1，本发明所述的基于深度堆栈网络的极化SAR影像变化检测方法包括以下步骤：
1)将两幅极化SAR影像样本在相同地物不同时相的图像利用ENVI软件进行配准，得配准后两幅样本图像的极化散射矩阵S1；将两幅待检测极化SAR影像在相同地物不同时相的图像利用ENVI软件进行配准，得到配准后两幅待检测图像的极化散射矩阵S2；
步骤1)的具体操作为：配准后两幅样本图像的极化散射矩阵S1为：
Figure BDA0001319725920000061
其中，SHH为水平发射且水平接收的散射分量，SVV为垂直发射且垂直接收的散射分量，SHV为水平发射且垂直接收的散射分量，SVH为垂直发射且水平接收的散射分量。
2)根据配准后两幅样本图像的极化散射矩阵S1生成极化协方差矩阵C；
步骤2)的具体操作为：
2a)由配准后两幅样本图像的极化散射矩阵S1得极化相干矩阵T，其中，
Figure BDA0001319725920000071
Figure BDA0001319725920000072
2b)根据式(3)得极化协方差矩阵C，其中，
C＝ATTA (4)
Figure BDA0001319725920000073
3)对步骤2)得到的极化协方差矩阵C进行精致LEE滤波及去除斑点噪声处理；
4)将经步骤3)处理后的极化协方差矩阵C中的每个像素值归一化到[0，1]之间，得特征矩阵F1；
步骤4)中的特征矩阵F1为：
Figure BDA0001319725920000074
5)人工标记配准后两幅样本图像的变化检测标准图；
6)将特征矩阵F1中的各元素替换为对应元素周围5×5的图像块，然后再利用人工标记的配准后两幅样本图像的变化检测标准图去除特征矩阵F1中不准确的图像块，得两幅样本图像对应的基于图像块的特征矩阵F21；
7)将配准后两幅待检测图像的极化散射矩阵S2作为配准后两幅样本图像的极化散射矩阵S1，并重复步骤2)、3)、4)、5)及6)，得配准后两幅待检测图像对应的基于图像块的特征矩阵F22；
8)将两幅样本图像对应的基于图像块的特征矩阵F21拉成列向量并级联，然后再根据两幅样本图像对应的基于图像块的特征矩阵F21构建训练数据集D的特征矩阵W1及测试数据集T的特征矩阵W2；
9)构建基于深度堆栈网络的极化SAR影像变化检测模型；
步骤9)中的深度堆栈网络由N个依次相连接的神经网络构成；所述神经网络的数目为3个；深度堆栈网络包括依次相连接的第一输入层、第一隐含层、第一输出层、第二输入层、第二隐含层、第二输出层、第三输入层、第三隐含层及第三输出层；其中，第一输入层的节点数为450；第一隐含层的节点数为500；第一输出层的节点数为2；第二输入层的节点数为452；第二隐含层的节点数为500；第二输出层的节点数为2；第三输入层的节点数为454；第三隐含层的节点数为500；第三输出层的节点数为2。
10)利用训练数据集D的特征矩阵W1及测试数据集T的特征矩阵W2对基于深度堆栈网络的极化SAR影像变化检测模型进行训练，得训练后的基于深度堆栈网络的极化SAR影像变化检测模型；
11)根据训练后的基于深度堆栈网络的极化SAR影像变化检测模型对步骤7)中配准后两幅待检测图像对应的基于图像块的特征矩阵F22进行变化检测，得待检测极化SAR影像的变化检测结果，完成基于深度堆栈网络的极化SAR影像变化检测。
仿真实验
仿真条件：硬件平台为Intel(R)Xeon(R)CPU E5-2630，2.40GHz*16，内存为64G；软件平台为Keras。
仿真内容与结果：
用本发明在上述仿真条件下进行实验，各取两幅图像对应位置的变化样本数量的一半以及等数量的未变化样本作为训练集，将所有样本作为测试集，得到如图3的分类结果。
从图3可以看出，分类结果的区域一致性较好，不同区域划分后的边缘非常清晰，且保持了细节信息。
使用两幅极化SAR影像作为测试集测试网络，再使用构造的极化SAR影像测试网络，与传统的PPCD(patch based change detection)方法对比，计算其Kappa系数，结果如表1所示：
表1
Figure BDA0001319725920000091
Figure BDA0001319725920000101
从表1可见，本发明的测试数据集分类精度均高于PPCD。
网络的训练集准确率，测试集的准确率结果如表2所示：
表2
Figure BDA0001319725920000102
综上，本发明在极化SAR影像变化检测中引入深度学习，避免了传统方法人工提取特征的繁杂性，去除了差异图的提取步骤，具有很强的泛化能力，能获取到更加精确的变化检测精度。

Claims (7)

1.一种基于深度堆栈网络的极化SAR影像变化检测方法，其特征在于，包括以下步骤：
1)将两幅极化SAR影像样本在相同地物不同时相的图像利用ENVI软件进行配准，得配准后两幅样本图像的极化散射矩阵S1；将两幅待检测极化SAR影像在相同地物不同时相的图像利用ENVI软件进行配准，得到配准后两幅待检测图像的极化散射矩阵S2；
2)根据配准后两幅样本图像的极化散射矩阵S1生成极化协方差矩阵C；
3)对步骤2)得到的极化协方差矩阵C进行精致LEE滤波及去除斑点噪声处理；
4)将经步骤3)处理后的极化协方差矩阵C中的每个像素值归一化到[0，1]之间，得特征矩阵F1；
5)人工标记配准后两幅样本图像的变化检测标准图；
6)将特征矩阵F1中的各元素替换为对应元素周围5×5的图像块，然后再利用人工标记的配准后两幅样本图像的变化检测标准图去除特征矩阵F1中不准确的图像块，得两幅样本图像对应的基于图像块的特征矩阵F21；
7)将配准后两幅待检测图像的极化散射矩阵S2作为配准后两幅样本图像的极化散射矩阵S1，并重复步骤2)、3)、4)、5)及6)，得配准后两幅待检测图像对应的基于图像块的特征矩阵F22；
8)将两幅样本图像对应的基于图像块的特征矩阵F21拉成列向量并级联，然后再根据两幅样本图像对应的基于图像块的特征矩阵F21构建训练数据集D的特征矩阵W1及测试数据集T的特征矩阵W2；
9)构建基于深度堆栈网络的极化SAR影像变化检测模型；
10)利用训练数据集D的特征矩阵W1及测试数据集T的特征矩阵W2对基于深度堆栈网络的极化SAR影像变化检测模型进行训练，得训练后的基于深度堆栈网络的极化SAR影像变化检测模型；
11)根据训练后的基于深度堆栈网络的极化SAR影像变化检测模型对步骤7)中配准后两幅待检测图像对应的基于图像块的特征矩阵F22进行变化检测，得待检测极化SAR影像的变化检测结果，完成基于深度堆栈网络的极化SAR影像变化检测。
2.根据权利要求1所述的基于深度堆栈网络的极化SAR影像变化检测方法，其特征在于，步骤9)中的深度堆栈网络由N个依次相连接的神经网络构成。
3.根据权利要求2所述的基于深度堆栈网络的极化SAR影像变化检测方法，其特征在于，所述神经网络的数目为3个。
4.根据权利要求1所述的基于深度堆栈网络的极化SAR影像变化检测方法，其特征在于，步骤1)的具体操作为：配准后两幅样本图像的极化散射矩阵S1为：
Figure FDA0002136337550000021
其中，SHH为水平发射且水平接收的散射分量，SVV为垂直发射且垂直接收的散射分量，SHV为水平发射且垂直接收的散射分量，SVH为垂直发射且水平接收的散射分量。
5.根据权利要求4所述的基于深度堆栈网络的极化SAR影像变化检测方法，其特征在于，步骤2)的具体操作为：
2a)由配准后两幅样本图像的极化散射矩阵S1得极化相干矩阵T，其中，
Figure FDA0002136337550000031
Figure FDA0002136337550000032
2b)根据式(3)得极化协方差矩阵C，其中，
C＝ATTA (4)
Figure FDA0002136337550000033
6.根据权利要求1所述的基于深度堆栈网络的极化SAR影像变化检测方法，其特征在于，步骤4)中的特征矩阵F1为：
Figure FDA0002136337550000034
7.根据权利要求3所述的基于深度堆栈网络的极化SAR影像变化检测方法，其特征在于，深度堆栈网络包括依次相连接的第一输入层、第一隐含层、第一输出层、第二输入层、第二隐含层、第二输出层、第三输入层、第三隐含层及第三输出层；其中，第一输入层的节点数为450；第一隐含层的节点数为500；第一输出层的节点数为2；第二输入层的节点数为452；第二隐含层的节点数为500；第二输出层的节点数为2；第三输入层的节点数为454；第三隐含层的节点数为500；第三输出层的节点数为2。
CN201710440095.2A 2017-06-12 2017-06-12 基于深度堆栈网络的极化sar影像变化检测方法 Active CN107358162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710440095.2A CN107358162B (zh) 2017-06-12 2017-06-12 基于深度堆栈网络的极化sar影像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710440095.2A CN107358162B (zh) 2017-06-12 2017-06-12 基于深度堆栈网络的极化sar影像变化检测方法

Publications (2)

Publication Number Publication Date
CN107358162A CN107358162A (zh) 2017-11-17
CN107358162B true CN107358162B (zh) 2020-04-07

Family

ID=60272751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710440095.2A Active CN107358162B (zh) 2017-06-12 2017-06-12 基于深度堆栈网络的极化sar影像变化检测方法

Country Status (1)

Country Link
CN (1) CN107358162B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110146855B (zh) * 2019-06-11 2020-10-23 北京无线电测量研究所 雷达间断干扰抑制门限计算方法及装置
CN114898224B (zh) * 2022-05-13 2023-04-21 北京科技大学 一种基于物理散射机制的变化检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839265A (zh) * 2014-02-26 2014-06-04 西安电子科技大学 基于sift和归一化互信息的sar图像配准方法
CN105844279A (zh) * 2016-03-22 2016-08-10 西安电子科技大学 基于深度学习和sift特征的sar图像变化检测方法
CN106249219A (zh) * 2016-09-23 2016-12-21 西安电子科技大学 基于自适应匹配滤波响应的sar动目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8620093B2 (en) * 2010-03-15 2013-12-31 The United States Of America As Represented By The Secretary Of The Army Method and system for image registration and change detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839265A (zh) * 2014-02-26 2014-06-04 西安电子科技大学 基于sift和归一化互信息的sar图像配准方法
CN105844279A (zh) * 2016-03-22 2016-08-10 西安电子科技大学 基于深度学习和sift特征的sar图像变化检测方法
CN106249219A (zh) * 2016-09-23 2016-12-21 西安电子科技大学 基于自适应匹配滤波响应的sar动目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Superpixel-based PolSAR images change detection;Lei Xie.etc;《2015 IEEE 5th Asia-Pacific Conference on Synthetic Aperture Radar》;20151029;第792-796页 *
一种基于似然比统计量的SAR相干变化检测;赵军香等;《雷达学报》;20170228;第186-194页 *

Also Published As

Publication number Publication date
CN107358162A (zh) 2017-11-17

Similar Documents

Publication Publication Date Title
CN107229918B (zh) 一种基于全卷积神经网络的sar图像目标检测方法
CN108846835B (zh) 基于深度可分离卷积网络的图像变化检测方法
Hou et al. Deep learning-based subsurface target detection from GPR scans
CN107169492B (zh) 基于fcn-crf主从网络的极化sar目标检测方法
CN106204539B (zh) 一种基于形态学梯度的反演城区建筑物沉降的方法
CN108319963B (zh) 基于约束鲁棒主成分分析的城市道路地下病害识别方法
CN104680184B (zh) 基于深度rpca的极化sar地物分类方法
CN102208017A (zh) 基于高分辨率合成孔径雷达图像的舰船检测方法
CN104751183B (zh) 基于张量mpca的极化sar图像分类方法
CN107358162B (zh) 基于深度堆栈网络的极化sar影像变化检测方法
CN104751173B (zh) 基于协同表示和深度学习的极化sar图像分类方法
Sun et al. Estimating parameters of the tree root in heterogeneous soil environments via mask-guided multi-polarimetric integration neural network
CN109272484B (zh) 一种基于视频图像的降雨检测方法
CN110940638A (zh) 一种高光谱图像亚像元级水体边界探测方法及探测系统
CN116167936A (zh) 一种用于洪水监测的山体阴影去除方法及装置
CN108710816B (zh) 一种基于概率融合的极化sar图像建筑物检测方法
Larsson Compressive sensing methods for radar cross section ISAR measurements
Pelliza et al. Optimal Canny’s parameters regressions for coastal line detection in satellite-based SAR images
Li et al. 3D ground penetrating radar road underground target identification algorithm using time-frequency statistical features of data
CN107341798A (zh) 基于全局‑局部SPP Net的高分辨SAR图像变化检测方法
CN110135280B (zh) 一种基于稀疏表征分类的多视图sar自动目标识别方法
CN107358261B (zh) 一种基于曲线波sae的高分辨sar图像变化检测方法
Pina et al. In-situ computation of granulometries of sedimentary grains-some preliminary results
CN113780362B (zh) 一种基于隐马尔可夫模型的探地雷达地下空洞目标自动识别方法
Zeng et al. An Incept-TextCNN Model for Ship Target Detection in SAR Range-Compressed Domain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant