CN114519384B - 一种基于稀疏sar幅度-相位图像数据集的目标分类方法 - Google Patents

一种基于稀疏sar幅度-相位图像数据集的目标分类方法 Download PDF

Info

Publication number
CN114519384B
CN114519384B CN202210016812.XA CN202210016812A CN114519384B CN 114519384 B CN114519384 B CN 114519384B CN 202210016812 A CN202210016812 A CN 202210016812A CN 114519384 B CN114519384 B CN 114519384B
Authority
CN
China
Prior art keywords
amplitude
sparse
image
phase
sar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210016812.XA
Other languages
English (en)
Other versions
CN114519384A (zh
Inventor
毕辉
邓佳瑞
张晶晶
刘泽昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210016812.XA priority Critical patent/CN114519384B/zh
Publication of CN114519384A publication Critical patent/CN114519384A/zh
Application granted granted Critical
Publication of CN114519384B publication Critical patent/CN114519384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于稀疏SAR幅度‑相位图像数据集的目标分类方法,首先,基于匹配滤波复图像利用BiIST算法重构稀疏SAR图像;其次,利用稀疏SAR图像制作幅度‑相位双通道的图像数据集;最后,将待分类的稀疏SAR图像数据集作为幅度‑相位卷积神经网络的输入,输出得到目标分类的结果及准确率。本发明采用的基于复图像的稀疏重构算法不仅可以降低系统计算复杂度,而且可以在提升图像质量的同时保留图像的相位信息,为后续幅度‑相位卷积神经网络的训练提供保障;本发明提出的幅度‑相位卷积神经网络将SAR图像的幅度和相位作为训练网络的一个双通道输入,同时利用了图像的幅度和相位信息,可以实现目标分类精度的进一步提升。

Description

一种基于稀疏SAR幅度-相位图像数据集的目标分类方法
技术领域
本发明属于雷达图像处理和目标分类领域,尤其涉及一种基于稀疏SAR幅度-相位图像数据集的目标分类方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)作为一种主动式微波遥感,可以不受时间和天气的影响,实现全天时全天候的对地观测,目前被广泛地用于军事和民用领域。2006年Hinton教授提出了深度学习的概念,指出多层的卷积神经网络具有强大的特征学习的能力,对于分类方面的问题有着很重要的研究意义。AlexNet模型是由Krizhevesky等人在2012年提出的一个深度卷积神经网络(Convolutional Neural Networks,简称CNN)模型,获得了ImageNet比赛的冠军,在图像分类方面取得了突破性的进展。考虑到光学图像和SAR图像的相似性,CNN同样可以适用于SAR图像的目标分类。针对SAR图像中同时具有幅度和相位两种信息的情况,不少学者也展开了一系列的研究。在2017年,Zhang等人提出了一种复值CNN,并推导了基于随机梯度下降的复反向传播算法,文中极化SAR数据的分类实验结果表明复值CNN相较于传统的CNN可以进一步地降低分类误差。2018年,Coman等人为了将相位信息纳入到深度学习的训练学习过程中,采用了由幅度-实部-虚部三层数据构成输入图像的方法,基于MSTAR数据集的实验证实,相较于传统的幅值网络,该方法可以有效的提高分类精度,并且在一定程度上解决了训练数据缺乏造成的过拟合问题。
由于匹配滤波复图像的质量通常不高,存在比较严重的杂波和旁瓣,而BiIST算法相较于传统的稀疏重构算法,其得到的非稀疏解不仅可以实现图像质量的提升,而且可以保留SAR图像的相位信息,为后续基于幅度和相位信息的分类网络的训练提供了保障。
发明内容
发明目的:本发明的目的是提供一种基于稀疏SAR图像的幅度和相位信息进行训练的全新的幅度-相位卷积神经网络,用于目标分类,提升分类精度。
技术方案:本发明提供了一种基于稀疏SAR幅度-相位图像数据集的目标分类方法,包括以下步骤:
(1)基于匹配滤波复图像,采用BiIST算法对复图像进行重建,得到具有保留图像相位信息的稀疏SAR图像;
(2)将稀疏SAR图像的幅度和相位作为网络的两个通道输入,制作并划分出训练集、测试集和验证集;
(3)将步骤(2)得到的待分类的稀疏SAR图像数据集作为幅度-相位卷积神经网络的输入,输出得到目标分类的结果及准确率。
进一步地,所述步骤(1)包括以下步骤:
(11)第i+1步观测场景的非稀疏估计为:
其中,表示重建的观测场景的非稀疏估计,初始化中间变量W(0)=XMF,XMF表示已知的基于匹配滤波方法重建的观测场景的SAR复图像数据,重建的观测场景的稀疏估计初始化为/>i=1,2,…,Imax表示迭代步数;
(12)第i+1步的正则化参数β(i+1)表示为:
其中,表示幅度图像/>的第K+1个最大的元素值,K表示场景的稀疏度,即观测场景中非零元素的个数,参数μ的取值为0<μ-1<1;
(13)第i+1步的中间变量W(i+1)为:
(14)第i+1步观测场景的稀疏估计为:
其中,
(15)第i+1步的迭代误差表示为:
当迭代误差满足条件Residual≤ε时,结束循环,分别输出场景的稀疏重建结果及非稀疏重建结果/>分别为:
否则i=i+1,继续执行步骤(11)-(15)中的循环过程,ε表示重建误差参数。
进一步地,步骤(2)所述训练集包含对应的目标类别标签。
进一步地,步骤(2)训练集、测试集和验证集的比例为7∶2∶1。
进一步地,步骤(3)所述的幅度-相位卷积神经网络包括4个卷积层,3个平均池化层,2个全连接层以及softmax分类层;卷积层根据图像在空间上的局部相关性自动提取特征,然后利用池化层对提取的特征进行采样,最后全连接层将所有的特征图连接起来通过softmax分类器获得分类结果。
有益效果:与现有技术相比,本发明的有益效果:1、相比于传统的正则化稀疏重构算法,BiIST算法可以同时得到观测场景的稀疏估计和非稀疏估计,降低系统的计算复杂度,其中的非稀疏估计不仅可以实现图像质量的提升,而且可以保留图像的相位信息;2、本发明中提出的幅度-相位卷积神经网络相较于目前用于目标分类的主流卷积神经网络同时利用了SAR图像的幅度信息和相位信息,在一定程度上可以提升目标的分类精度。
附图说明
图1为本发明的流程图;
图2为本发明中提出的幅度-相位卷积神经网络结构示意图;
图3为本发明中提出的幅度-相位卷积神经网络的训练流程图;
图4为本发明重建的稀疏图像数据集分别在幅度卷积神经网络和幅度-相位卷积神经网络下的平均分类精度曲线图。
具体实施方式
下面结合附图对本发明做进一步详细说明。
本发明提供一种基于稀疏SAR幅度-相位图像数据集的目标分类方法,如图1所示,包括如下步骤:
步骤1:基于匹配滤波复图像利用BiIST算法重构稀疏SAR图像。
本发明基于匹配滤波复图像,采用BiIST算法对复图像进行重建,得到具有保留图像相位信息的稀疏SAR图像。
以第i+1步迭代为例,BiIST算法的迭代过程可以表示为:
1)第i+1步观测场景的非稀疏估计为:
其中,表示重建的观测场景的非稀疏估计,初始化中间变量W(0)=XMF,XMF表示已知的基于匹配滤波方法重建的观测场景的SAR复图像数据,重建的观测场景的稀疏估计初始化为/>i=1,2,…,Imax表示迭代步数。
2)第i+1步的正则化参数β(i+1)表示为:
其中,表示幅度图像/>的第K+1个最大的元素值,K表示场景的稀疏度,即观测场景中非零元素的个数,参数μ的取值为0<μ-1<1。
3)第i+1步的中间变量W(i+1)为:
4)第i+1步观测场景的稀疏估计为:
其中,
5)第i+1步的迭代误差表示为:
当迭代误差满足条件Residual≤ε时,结束循环,分别输出场景的稀疏重建结果及非稀疏重建结果/>分别为:
否则i=i+1,继续执行步骤S11-S15中的循环过程;ε表示重建误差参数,在本发明中选择其值为10-4
其中,非稀疏重建结果是本发明中重构得到的具有保相性的稀疏SAR图像。
步骤2:利用步骤1得到的稀疏SAR图像制作幅度-相位双通道的图像数据集。
将得到的稀疏SAR图像的幅度和相位作为网络的两个通道输入,制作并划分出训练集、测试集和验证集,训练集、测试集和验证集的比例为7∶2∶1;训练集应包含对应的目标类别标签。
步骤3:将步骤2得到的待分类的稀疏SAR图像数据集作为幅度-相位卷积神经网络的输入,输出得到目标分类的结果及准确率。
幅度-相位卷积神经网络的模型如图2所示,由4个卷积层,3个平均池化层,2个全连接层以及softmax分类层构成。如图3所示,输入是由幅度层和相位层构成的双通道数据,卷积层可以根据图像在空间上的局部相关性自动提取特征,然后利用池化层对提取的特征进行采样,最后全连接层将所有的特征图连接起来通过softmax分类器获得分类结果。
将训练集作为提出的幅度-相位卷积神经网络的输入进行训练,将待分类的SAR图像数据集输入训练好的网络,得到目标的分类结果及分类精度。
以公开的MSTAR的十类目标数据集为例对本发明提出的一种基于稀疏SAR幅度-相位图像数据集的目标分类方法进行验证。
表1为重建的稀疏SAR图像经过幅度-相位卷积神经网络的目标分类结果
表1为本发明重建的稀疏图像数据集经过幅度-相位卷积神经网络的目标分类结果。BiIST算法相较于传统的稀疏重构算法可以得到具有保相性的稀疏图像,将重构得到的稀疏SAR图像应用于本发明提出的目标分类网络,将幅度和相位信息同时作为输入数据进行训练,将待分类的数据集输入训练好的网络,可以得到混淆矩阵,包括目标的分类结果以及分类精度。图4表示本发明重建的稀疏图像数据集分别在幅度卷积神经网络和幅度-相位卷积神经网络下的平均分类精度曲线。采用了样本数为1000、1200、1500、1700和2000的训练集分别在幅度卷积神经网络和幅度-相位卷积神经网络进行训练。结果表明,相较于仅利用幅度信息进行训练的传统卷积神经网络,本发明提出的幅度-相位卷积神经网络的目标分类精度要更高,并且在样本数量较少的情况下,表现出更好的分类性能。

Claims (3)

1.一种基于稀疏SAR幅度-相位图像数据集的目标分类方法,其特征在于,包括以下步骤:
(1)基于匹配滤波复图像,采用BiIST算法对复图像进行重建,得到具有保留图像相位信息的稀疏SAR图像;
(2)将稀疏SAR图像的幅度和相位作为网络的两个通道输入,制作并划分出训练集、测试集和验证集;
(3)将步骤(2)得到的待分类的稀疏SAR图像数据集作为幅度-相位卷积神经网络的输入,输出得到目标分类的结果及准确率;
所述步骤(1)包括以下步骤:
(11)第i+1步观测场景的非稀疏估计为:
其中,表示重建的观测场景的非稀疏估计,初始化中间变量W(0)=XMF,XMF表示已知的基于匹配滤波方法重建的观测场景的SAR复图像数据,重建的观测场景的稀疏估计初始化为/>i=1,2,…,Imax表示迭代步数;
(12)第i+1步的正则化参数β(i+1)表示为:
其中,表示幅度图像/>的第K+1个最大的元素值,K表示场景的稀疏度,即观测场景中非零元素的个数,参数μ的取值为0<μ-1<1;
(13)第i+1步的中间变量W(i+1)为:
(14)第i+1步观测场景的稀疏估计为:
其中,
(15)第i+1步的迭代误差表示为:
当迭代误差满足条件Residual≤ε时,结束循环,分别输出场景的稀疏重建结果及非稀疏重建结果/>分别为:
否则i=i+1,继续执行步骤(11)-(15)中的循环过程,ε表示重建误差参数;
步骤(3)所述的幅度-相位卷积神经网络包括4个卷积层,3个平均池化层,2个全连接层以及softmax分类层;卷积层根据图像在空间上的局部相关性自动提取特征,然后利用池化层对提取的特征进行采样,最后全连接层将所有的特征图连接起来通过softmax分类器获得分类结果。
2.根据权利要求1所述的基于稀疏SAR幅度-相位图像数据集的目标分类方法,其特征在于,步骤(2)所述训练集包含对应的目标类别标签。
3.根据权利要求1所述的基于稀疏SAR幅度-相位图像数据集的目标分类方法,其特征在于,步骤(2)训练集、测试集和验证集的比例为7:2:1。
CN202210016812.XA 2022-01-07 2022-01-07 一种基于稀疏sar幅度-相位图像数据集的目标分类方法 Active CN114519384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210016812.XA CN114519384B (zh) 2022-01-07 2022-01-07 一种基于稀疏sar幅度-相位图像数据集的目标分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210016812.XA CN114519384B (zh) 2022-01-07 2022-01-07 一种基于稀疏sar幅度-相位图像数据集的目标分类方法

Publications (2)

Publication Number Publication Date
CN114519384A CN114519384A (zh) 2022-05-20
CN114519384B true CN114519384B (zh) 2024-04-30

Family

ID=81597419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210016812.XA Active CN114519384B (zh) 2022-01-07 2022-01-07 一种基于稀疏sar幅度-相位图像数据集的目标分类方法

Country Status (1)

Country Link
CN (1) CN114519384B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581766A (zh) * 2022-01-19 2022-06-03 南京航空航天大学 一种基于三通道稀疏sar图像数据的目标分类方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399316A (zh) * 2013-07-22 2013-11-20 西安电子科技大学 基于加权的二维压缩感知sar成像及动目标检测方法
CN103698764A (zh) * 2013-12-27 2014-04-02 中国科学院电子学研究所 一种稀疏采样条件下的干涉合成孔径雷达成像方法
CN105139028A (zh) * 2015-08-13 2015-12-09 西安电子科技大学 基于分层稀疏滤波卷积神经网络的sar图像分类方法
CN106874889A (zh) * 2017-03-14 2017-06-20 西安电子科技大学 基于卷积神经网络的多特征融合sar目标鉴别方法
US10310074B1 (en) * 2014-03-27 2019-06-04 Hrl Laboratories, Llc System and method for denoising synthetic aperture radar (SAR) images via sparse and low-rank (SLR) decomposition and using SAR images to image a complex scene
EP3825711A1 (en) * 2019-11-25 2021-05-26 Koninklijke Philips N.V. Hybrid compressed sensing image reconstruction
CN112861813A (zh) * 2021-03-29 2021-05-28 电子科技大学 基于复值卷积神经网络的墙后人体行为识别方法
CN112882009A (zh) * 2021-01-12 2021-06-01 西安电子科技大学 基于幅度相位双通道网络的雷达微多普勒目标识别方法
CN113065433A (zh) * 2021-03-23 2021-07-02 南京航空航天大学 一种基于稀疏复图像的sar目标识别方法
CN113240047A (zh) * 2021-06-02 2021-08-10 西安电子科技大学 基于部件解析多尺度卷积神经网络的sar目标识别方法
EP3896482A1 (en) * 2020-04-15 2021-10-20 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method for the computer-implemented generation of a synthetic data set for training a convolutional neural network for an interferometric sar

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931179B (zh) * 2016-04-08 2018-10-26 武汉大学 一种联合稀疏表示与深度学习的图像超分辨率方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399316A (zh) * 2013-07-22 2013-11-20 西安电子科技大学 基于加权的二维压缩感知sar成像及动目标检测方法
CN103698764A (zh) * 2013-12-27 2014-04-02 中国科学院电子学研究所 一种稀疏采样条件下的干涉合成孔径雷达成像方法
US10310074B1 (en) * 2014-03-27 2019-06-04 Hrl Laboratories, Llc System and method for denoising synthetic aperture radar (SAR) images via sparse and low-rank (SLR) decomposition and using SAR images to image a complex scene
CN105139028A (zh) * 2015-08-13 2015-12-09 西安电子科技大学 基于分层稀疏滤波卷积神经网络的sar图像分类方法
CN106874889A (zh) * 2017-03-14 2017-06-20 西安电子科技大学 基于卷积神经网络的多特征融合sar目标鉴别方法
EP3825711A1 (en) * 2019-11-25 2021-05-26 Koninklijke Philips N.V. Hybrid compressed sensing image reconstruction
EP3896482A1 (en) * 2020-04-15 2021-10-20 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method for the computer-implemented generation of a synthetic data set for training a convolutional neural network for an interferometric sar
CN112882009A (zh) * 2021-01-12 2021-06-01 西安电子科技大学 基于幅度相位双通道网络的雷达微多普勒目标识别方法
CN113065433A (zh) * 2021-03-23 2021-07-02 南京航空航天大学 一种基于稀疏复图像的sar目标识别方法
CN112861813A (zh) * 2021-03-29 2021-05-28 电子科技大学 基于复值卷积神经网络的墙后人体行为识别方法
CN113240047A (zh) * 2021-06-02 2021-08-10 西安电子科技大学 基于部件解析多尺度卷积神经网络的sar目标识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
D. Bogdanovic ; Volta Networks, Inc. ; B. Claise ; C. Moberg ; Cisco Systems, Inc. ; .YANG Module Classification draft-ietf-netmod-yang-model-classification-06.IETF .2017,全文. *
Huawei, HiSilicon.R1-162155 "Sparse Code Multiple Access (SCMA) for 5G Radio Transmission".3GPP tsg_ran\WG1_RL1.2016,(TSGR1_84b),全文. *
S. Chen ; T. Li ; Arista Networks ; .An Algorithm for Computing Dynamic Flooding Topologiesdraft-chen-lsr-dynamic-flooding-algorithm-00.IETF .2020,全文. *
卷积神经网络对SAR目标识别性能分析;邵嘉琦;曲长文;李健伟;;雷达科学与技术(05);全文 *
基于Rician分布的SAR图像MRG目标提取算法;孔莹莹;周建江;张焱;;宇航学报(10);全文 *
基于复图像的稀疏SAR成像方法在高分三号数据上的验证;毕辉;张冰尘;洪文;吴一戎;;雷达学报(01);全文 *

Also Published As

Publication number Publication date
CN114519384A (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
CN108229404B (zh) 一种基于深度学习的雷达回波信号目标识别方法
Qin et al. Enhancing ISAR resolution by a generative adversarial network
CN113361485B (zh) 基于光谱空间注意力融合和可变形卷积残差网络的高光谱图像分类方法
CN113065433B (zh) 一种基于稀疏复图像的sar目标识别方法
CN111126570A (zh) 预训练复数全卷积神经网络的sar目标分类方法
Zhang et al. Polarimetric HRRP recognition based on ConvLSTM with self-attention
CN112099008A (zh) 基于cv-admmn的sa-isar成像与自聚焦方法
CN114519384B (zh) 一种基于稀疏sar幅度-相位图像数据集的目标分类方法
CN114819061A (zh) 一种基于迁移学习的稀疏sar目标分类方法及装置
Ding et al. HRRP feature extraction and recognition method of radar ground target using convolutional neural network
Deng et al. Amplitude-phase CNN-based SAR target classification via complex-valued sparse image
CN112764002B (zh) 一种基于可变形卷积的fmcw雷达手势识别方法
Yu et al. Application of a convolutional autoencoder to half space radar hrrp recognition
Shi et al. F 3 Net: Fast Fourier filter network for hyperspectral image classification
Guo et al. Deep highway unit network for land cover type classification with GF-3 SAR imagery
CN115856811A (zh) 一种基于深度学习的微多普勒特征目标分类方法
Tao et al. Comparison Study of Multitemporal PolSAR Classification Using Convolutional Neural Networks
Deng et al. Sparse SAR Image Based Automatic Target Recognition by YOLO Network
CN110135280B (zh) 一种基于稀疏表征分类的多视图sar自动目标识别方法
Yi et al. POLSAR Vehicle Target Recognition Based on Complex-Valued Non-local ResNet
Zhang et al. Trip-GhostNet for Hyperspectral Image Classification
Yu et al. High-resolution polsar classification model based on the fully convolutional neural network and polarimetric parameters
CN114140325B (zh) 基于c-admmn的结构化稀疏孔径isar成像方法
Jiang et al. Translational Motion Compensation Method for ISAR Imaging of Air Maneuvering Weak Targets Based on CV-GRUNet
Zhang et al. Semi-Supervised Semantic Segmentation of SAR Images Based on Cross Pseudo-Supervision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant