CN108399378B - 一种基于vgg深度卷积网络的自然场景图像识别方法 - Google Patents

一种基于vgg深度卷积网络的自然场景图像识别方法 Download PDF

Info

Publication number
CN108399378B
CN108399378B CN201810130178.6A CN201810130178A CN108399378B CN 108399378 B CN108399378 B CN 108399378B CN 201810130178 A CN201810130178 A CN 201810130178A CN 108399378 B CN108399378 B CN 108399378B
Authority
CN
China
Prior art keywords
network
training
sample
sample set
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810130178.6A
Other languages
English (en)
Other versions
CN108399378A (zh
Inventor
曾大治
董安冉
赵艳霞
刘英杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bit Raco Electronic Information Technology Co ltd
Original Assignee
Bit Raco Electronic Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bit Raco Electronic Information Technology Co ltd filed Critical Bit Raco Electronic Information Technology Co ltd
Priority to CN201810130178.6A priority Critical patent/CN108399378B/zh
Publication of CN108399378A publication Critical patent/CN108399378A/zh
Application granted granted Critical
Publication of CN108399378B publication Critical patent/CN108399378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于VGG深度卷积网络的自然场景图像识别方法，本发明方法通过在VGG19网络前两个最大池化层前分别加入BatchNorm策略，使训练网络更容易拟合；通过训练好的网络在训练样本和验证样本上作检测，以类别概率区间为节点对样本重新细分类，并对细分样本进行增广重训练，达到精细区分不同自然场景图像，提高难分场景和错分场景的识别率，进而提高整个网络对自然场景图像的识别率。

Description

一种基于VGG深度卷积网络的自然场景图像识别方法
技术领域
本发明属于图像目标识别领域，具体涉及一种基于VGG深度卷积网络的自然场景图像识别方法。
背景技术
自然场景目标识别在图像视频检索、旅游导航、城区监控及规划等方面都有着非常重要的应用。然而，不同于一般具有较为固定几何特征的目标，自然场景图像目标更为复杂，往往由多类小目标构成一类场景，不同场景的复杂性和多变性无疑增加了分类识别难度，特别对于相似的不同类场景。
目前对于自然场景图像分类方法主要为基于低层特征结合传统机器学习分类器的方法和基于卷积神经网络的机器学习方法。前者一般需要人为构造有效底层特征，如颜色特征：颜色直方图、颜色矩、颜色相关图等，形状特征：HOG、SIFT、BOVW等，纹理特征：LBP、灰度共生矩阵等，然后将提取得到的特征送入分类器(如贝叶斯分类器、支持向量机等)进行分类识别。此类方法对一些简单场景目标往往有较好的识别率，然而，其构造的低层特征对场景描述不够精细，很难对所有场景(特别是复杂场景)都能有效适应，且传统分类器对场景目标拟合能力也有限，导致此类方法泛化能力不足，在很多场景下的目标分类识别很难得到较高的精度。基于卷积神经网络的机器学习方法以其强大的特征提取和场景目标拟合能力，成为近年来图像各领域都使用较为热门的方法，此方法不需要人为进行针对性的设计特征，而是通过逐层卷积、池化交替的方式由低层特征逐渐构造高级复杂语义特征，对图像目标或场景有较强的特征描述能力，因此在图像分类识别领域获得了较高的识别率。然而，对于较为相似的难分的不同类型目标或场景，单纯的深度卷积网络对于小数据集仍然会有较高的误识别率。
发明内容
有鉴于此，本发明提供了一种基于VGG深度卷积网络的自然场景图像识别方法，能够解决复杂自然场景图像识别率不高，特别是难分场景的识别率较低的问题。
实现本发明的技术方案如下：
一种基于VGG深度卷积网络的自然场景图像识别方法，包括以下步骤：
步骤一、对n类样本Si,i＝1,2,...,n进行数据增广，将增广后的样本分成训练样本集Ii和验证样本集Ii；
步骤二、在经数据集训练过的VGG19网络的前两个最大池化层前分别加入BatchNorm批量标准化策略；
步骤三、对步骤二得到的网络设置网络学习率和每批次的训练数据量得到改进后的VGG19网络，利用改进后的VGG19网络对训练样本集Ii进行迁移学习训练，并对验证样本集Ii进行验证；
步骤四、根据步骤三中的训练精度、验证精度和损失函数曲线选择相对最优一代训练网络参数代入改进后的VGG19网络得到识别网络I，利用识别网络I对每类样本进行检测识别，记录每个样本的正确识别概率；
步骤五、根据每个样本的正确识别概率将每类样本分成q小类，并将错分样本加入到正确识别概率最低区间类别；
步骤六、根据每一小类数据量情况对每一小类样本进行数据增广，并对增广后的每一小类样本随机分成训练样本集IIj、验证样本集IIj和测试样本集j，j＝1,2,...,qn；
步骤七、冻结识别网络I的卷积层的网络参数，以只调节识别网络I的全连接层网络参数的方式训练训练样本集IIj，并验证验证样本集IIj；
步骤八、根据步骤七中的训练精度、验证精度和损失函数曲线选择相对最优代训练网络参数代入识别网络I构成识别网络II，利用识别网络II对测试样本集j进行识别。
进一步地，所述数据增广为利用旋转、平移和微小扭曲的仿射变换及亮度、对比度变换的方法进行数据增广。
进一步地，步骤二中加入BatchNorm批量标准化策略具体为：
对训练中某个batch数据xp，P∈[1，m]，计算均值μ和标准差σ，利用均值μ和标准差σ对xp进行归一化得到
Figure BDA0001574698430000031
然后作线性变换得到输出结果。
有益效果：
1.本发明对VGG19网络加入BatchNorm策略，能有效针对小数据集，防止网络在训练参数调优时陷入局部最优状态，从而使网络快速拟合收敛，得到更优的识别网络。
2.本发明针对难分样本，以训练网络本身对所有样本进行识别检测，以识别概率区间为标准对样本进行细分再训练，有效提高了难分场景的识别能力，进而提高了整个网络针对具体场景的识别准确率。
附图说明
图1为本发明方法流程图。
图2(a)为Google光学遥感图像UC Merced LandUse数据集中森林样本图片。
图2(b)为Google光学遥感图像UC Merced LandUse数据集中森林样本图片。
图3(a)为Google光学遥感图像UC Merced LandUse数据集中河流样本图片。
图3(b)为Google光学遥感图像UC Merced LandUse数据集中河流样本图片。
图4(a)为Google光学遥感图像UC Merced LandUse数据集中密集居民区样本图片。
图4(b)为Google光学遥感图像UC Merced LandUse数据集中密集居民区样本图片。
图5(a)为Google光学遥感图像UC Merced LandUse数据集中活动房屋公园样本图片。
图5(b)为Google光学遥感图像UC Merced LandUse数据集中活动房屋公园样本图片。
图6(a)为Google光学遥感图像UC Merced LandUse数据集中交叉路口样本图片。
图6(b)为Google光学遥感图像UC Merced LandUse数据集中交叉路口样本图片。
图7(a)为Google光学遥感图像UC Merced LandUse数据集中天桥样本图片。
图7(b)为Google光学遥感图像UC Merced LandUse数据集中天桥样本图片。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种基于VGG深度卷积网络的自然场景图像识别方法，本发明方法通过在VGG19网络前两个最大池化层前分别加入BatchNorm策略，使训练网络更容易拟合；通过训练好的网络在训练样本和验证样本上作检测，以类别概率区间为节点对样本重新细分类，并对细分样本进行增广重训练，达到精细区分不同自然场景图像，提高难分场景和错分场景的识别率，进而提高整个网络对自然场景图像的识别率。具体包括以下步骤：
步骤一、对n类样本Si,i＝1,2,...,n进行数据增广，将数据增广后的每类样本均分成训练样本集I和验证样本集I，即得到训练样本集Ii和验证样本集Ii；
根据图1的流程图，选择Google光学遥感图像UC Merced LandUse数据集中森林、河流、密集居民区、活动房屋公园、十字路口、天桥6类自然场景作为目标样本，如图2(a)—图7(b)所示，并进行数据增广，然后将每类样本分成训练样本集和验证样本集。具体为：
步骤1.1、数据集中每类样本有100幅图像，通过旋转、平移、缩放等仿射变换和亮度、对比度变换等操作将每类场景样本增广1倍。
步骤1.2、以7:1的比例将每类样本分成训练样本集和验证样本集，并将二者置乱打包成网络需要的数据格式(本文是.rec数据格式)。
步骤二、在经数据集训练过的VGG19网络的前两个最大池化层前分别加入BatchNorm批量标准化策略；
在经ImageNet大数据集训练过的VGG19网络前两个最大池化层前分别加入BatchNorm(批量标准化)策略。即对训练中某个batch数据xP，P∈[1，m]，有：
Figure BDA0001574698430000051
Figure BDA0001574698430000052
Figure BDA0001574698430000061
Figure BDA0001574698430000062
其中，μ为均值，σ2为方差，
Figure BDA0001574698430000063
为xp进行标准化后的结果，
Figure BDA0001574698430000064
为xp对应的BatchNorm后的最终输出，ε为一个很小的常数，防止分母为0。
步骤三、对步骤二得到的网络设置网络学习率和每批次的训练数据量得到改进后的VGG19网络，利用改进后的VGG19网络在所有训练样本集I中随机选取样本进行迁移学习训练，并在所有验证样本集I中随机选取样本进行验证；
初始化步骤二得到的网络的超参数，即设置网络学习率为0.0005，每批次训练数据量为20，并对步骤一中待识别不同类自然场景的训练样本集进行迁移学习训练，且对验证样本集进行验证，训练代数设为10。
步骤四、根据步骤三中的训练精度、验证精度和损失函数曲线选择相对最优一代(这里选择第8代)训练网络参数代入改进后的VGG19网络得到识别网络I，识别网络I对每类样本进行检测识别，记录每个样本的正确识别概率；
步骤五、根据每个样本的正确识别概率，以“0.85以上”、“0.75～0.85”和“0.75以下”三个分类识别区间概率将每类样本分成3小类，并将错分样本加入到“0.75以下”区间概率类别；
步骤六、根据每一小类数据量情况利用旋转、平移、微小扭曲等仿射变换及亮度、对比度变换对每一小类样本进行数据增广，并对增广后的每一小类样本随机分成训练样本集IIj、验证样本集IIj和测试样本集j，j＝1,2,...,3n；
对于某类目标样本，“0.85以上”概率细分类样本数据较多，不进行增广；其余两小类增广至“0.85以上”概率细分类数据量的2/3，数据量小的进行细化仿射变换和亮度、对比度变换，然后对每小类以5:2:3的比例将样本随机分成训练样本集、验证样本集和测试样本集。
步骤七、冻结识别网络I的卷积层的网络参数(即不调节改进后的VGG19网络的全连接层之前的网络参数)，以只调节识别网络I的全连接层网络参数的方式训练所有训练样本集II中随机选取的样本，并验证所有验证样本集II中随机选取的样本，训练代数设置为5，其它学习率等超参数不变。
步骤八、根据步骤七中的训练精度、验证精度和损失函数曲线选择相对最优代(这里选择第4代)训练网络参数代入识别网络I构成识别网络II，利用识别网络II对测试样本集j进行识别，输出每个样本所属类别。
实验及结果分析：本发明通过和SVM结合传统特征(SIFT+LBP+灰度共生矩阵)方法、直接用VGG19网络训练识别方法对比说明本发明优势。表1为三种方法对6类自然场景的识别结果，可以看出本发明方法识别率不仅最高，而且对易于区分的场景达到100％的识别率。由于在样本选取时，选取的森林区与河流区、密集居民区与活动房屋公园、交叉路口和天桥比较相似，难以区分，如图2(a)和图3(b)，图4(a)和图5(a)，图6(a)和图7(a)等属于不同场景，但很相似，属于难分样本，而密集居民区和活动房屋公园最为相似，所以三种方法识别率较其它类别都偏低。统计错误识别的样本，基本上都是错分到了相似类别的另一自然场景。根据表1的结果，本发明方法比传统SVM方法识别率提升了25.8％个百分点，比直接用VGG19网络方法识别率提升了7.45％个百分点，充分说明了本发明方法的有效性。
表1 不同方法自然场景识别率
Figure BDA0001574698430000071
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于VGG深度卷积网络的自然场景图像识别方法，其特征在于，包括以下步骤：
步骤一、对n类样本Si,i＝1,2,...,n进行数据增广，将增广后的样本分成训练样本集LIi和验证样本集YIi；
步骤二、在经数据集训练过的VGG19网络的前两个最大池化层前分别加入BatchNorm批量标准化策略；
步骤三、对步骤二得到的网络设置网络学习率和每批次的训练数据量得到改进后的VGG19网络，利用改进后的VGG19网络对训练样本集LIi进行迁移学习训练，并对验证样本集YIi进行验证；
步骤四、根据步骤三中的训练精度、验证精度和损失函数曲线选择相对最优一代训练网络参数代入改进后的VGG19网络得到识别网络I，利用识别网络I对每类样本进行检测识别，记录每个样本的正确识别概率；
步骤五、根据每个样本的正确识别概率将每类样本分成q小类，并将错分样本加入到正确识别概率最低区间类别；
步骤六、根据每一小类数据量情况对每一小类样本进行数据增广，并对增广后的每一小类样本随机分成训练样本集LIIj、验证样本集YIIj和测试样本集j，j＝1,2,...,qn；
步骤七、冻结识别网络I的卷积层的网络参数，以只调节识别网络I的全连接层网络参数的方式训练训练样本集LIIj，并验证验证样本集YIIj；
步骤八、根据步骤七中的训练精度、验证精度和损失函数曲线选择相对最优代训练网络参数代入识别网络I构成识别网络II，利用识别网络II对测试样本集j进行识别。
2.如权利要求1所述的一种基于VGG深度卷积网络的自然场景图像识别方法，其特征在于，所述数据增广为利用旋转、平移和微小扭曲的仿射变换及亮度、对比度变换的方法进行数据增广。
3.如权利要求1所述的一种基于VGG深度卷积网络的自然场景图像识别方法，其特征在于，步骤二中加入BatchNorm批量标准化策略具体为：
对训练中某个batch数据xp,p∈[1,m]，m是某个batch里的图像数据总数，计算均值μ和标准差σ，利用均值μ和标准差σ对xp进行归一化得到
Figure FDA0003116150890000021
然后作线性变换得到输出结果。
CN201810130178.6A 2018-02-08 2018-02-08 一种基于vgg深度卷积网络的自然场景图像识别方法 Active CN108399378B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810130178.6A CN108399378B (zh) 2018-02-08 2018-02-08 一种基于vgg深度卷积网络的自然场景图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810130178.6A CN108399378B (zh) 2018-02-08 2018-02-08 一种基于vgg深度卷积网络的自然场景图像识别方法

Publications (2)

Publication Number Publication Date
CN108399378A CN108399378A (zh) 2018-08-14
CN108399378B true CN108399378B (zh) 2021-08-06

Family

ID=63096455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810130178.6A Active CN108399378B (zh) 2018-02-08 2018-02-08 一种基于vgg深度卷积网络的自然场景图像识别方法

Country Status (1)

Country Link
CN (1) CN108399378B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191445A (zh) * 2018-08-29 2019-01-11 极创智能（北京）健康科技有限公司 基于人工智能的骨骼形变分析方法
CN109447092B (zh) * 2018-10-25 2021-08-20 哈尔滨工程大学 基于海冰场景分类的冰间通路提取方法
CN109409286A (zh) * 2018-10-25 2019-03-01 哈尔滨工程大学 基于伪样本增强训练的船舶目标检测方法
CN109543733B (zh) * 2018-11-11 2021-06-04 东华大学 一种基于云平台的色织面料快速生产方法
CN110119682A (zh) * 2019-04-04 2019-08-13 北京理工雷科电子信息技术有限公司 一种红外遥感图像火点识别方法
CN110334724B (zh) * 2019-04-16 2022-06-17 武汉理工大学 基于lstm的遥感对象自然语言描述及多尺度矫正方法
CN110033045A (zh) * 2019-04-17 2019-07-19 内蒙古工业大学 一种训练识别图像雾化的方法和装置
CN110766082B (zh) * 2019-10-25 2022-04-01 成都大学 一种基于迁移学习的植物叶片病虫害程度分类方法
CN113076873B (zh) * 2021-04-01 2022-02-22 重庆邮电大学 一种基于多阶段训练的农作物病害长尾图像识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6320985B1 (en) * 1998-07-31 2001-11-20 International Business Machines Corporation Apparatus and method for augmenting data in handwriting recognition system
CN101968851A (zh) * 2010-09-09 2011-02-09 西安电子科技大学 基于字典学习上采样的医学影像处理方法
CN101980248A (zh) * 2010-11-09 2011-02-23 西安电子科技大学 基于改进视觉注意力模型的自然场景目标检测方法
CN102147866A (zh) * 2011-04-20 2011-08-10 上海交通大学 基于训练自适应增强和支持矢量机的目标识别方法
CN106682569A (zh) * 2016-09-28 2017-05-17 天津工业大学 一种基于卷积神经网络的快速交通标识牌识别方法
CN106991386A (zh) * 2017-02-27 2017-07-28 杭州电子科技大学 一种基于深度残差网络的手势识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160140438A1 (en) * 2014-11-13 2016-05-19 Nec Laboratories America, Inc. Hyper-class Augmented and Regularized Deep Learning for Fine-grained Image Classification
US9514391B2 (en) * 2015-04-20 2016-12-06 Xerox Corporation Fisher vectors meet neural networks: a hybrid visual classification architecture

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6320985B1 (en) * 1998-07-31 2001-11-20 International Business Machines Corporation Apparatus and method for augmenting data in handwriting recognition system
CN101968851A (zh) * 2010-09-09 2011-02-09 西安电子科技大学 基于字典学习上采样的医学影像处理方法
CN101980248A (zh) * 2010-11-09 2011-02-23 西安电子科技大学 基于改进视觉注意力模型的自然场景目标检测方法
CN102147866A (zh) * 2011-04-20 2011-08-10 上海交通大学 基于训练自适应增强和支持矢量机的目标识别方法
CN106682569A (zh) * 2016-09-28 2017-05-17 天津工业大学 一种基于卷积神经网络的快速交通标识牌识别方法
CN106991386A (zh) * 2017-02-27 2017-07-28 杭州电子科技大学 一种基于深度残差网络的手势识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Land Use Classification in Remote Sensing Images by Convolutional Neural Networks;Marco Castelluccio等;《arXiv:1508.00092v1 [cs.CV]》;20150801;第1-11页 *
基于卷积神经网络的小样本图像识别方法;段萌等;《计算机工程与设计》;20180131;第39卷(第1期);第224-229页 *

Also Published As

Publication number Publication date
CN108399378A (zh) 2018-08-14

Similar Documents

Publication Publication Date Title
CN108399378B (zh) 一种基于vgg深度卷积网络的自然场景图像识别方法
Li et al. A free lunch for unsupervised domain adaptive object detection without source data
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN111783576B (zh) 基于改进型YOLOv3网络和特征融合的行人重识别方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN107967484B (zh) 一种基于多分辨率的图像分类方法
CN108074244B (zh) 一种融合深度学习与背景差法的平安城市车流统计方法
CN108399420B (zh) 一种基于深度卷积网络的可见光舰船虚警剔除方法
CN109978035B (zh) 基于改进的k-means和损失函数的行人检测方法
CN105528575B (zh) 基于上下文推理的天空检测方法
CN108492298B (zh) 基于生成对抗网络的多光谱图像变化检测方法
CN110175615B (zh) 模型训练方法、域自适应的视觉位置识别方法及装置
Nedović et al. Stages as models of scene geometry
CN111709311A (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN109743642B (zh) 基于分层循环神经网络的视频摘要生成方法
CN110110578B (zh) 一种室内场景语义标注方法
CN106295532B (zh) 一种视频图像中的人体动作识别方法
CN112633354B (zh) 路面裂缝检测方法、装置、计算机设备和存储介质
CN111461039A (zh) 基于多尺度特征融合的地标识别方法
CN102385592A (zh) 图像概念的检测方法和装置
CN112149689B (zh) 基于目标领域自监督学习的无监督领域适应方法和系统
CN113177612A (zh) 一种基于cnn少样本的农业病虫害图像识别方法
CN112949655A (zh) 一种结合注意力混合裁剪的细粒度图像识别方法
CN112926652A (zh) 一种基于深度学习的鱼类细粒度图像识别方法
CN109948662B (zh) 一种基于K-means和MMD的人脸图像深度聚类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant