CN108334881B - 一种基于深度学习的车牌识别方法 - Google Patents

一种基于深度学习的车牌识别方法 Download PDF

Info

Publication number
CN108334881B
CN108334881B CN201810200018.4A CN201810200018A CN108334881B CN 108334881 B CN108334881 B CN 108334881B CN 201810200018 A CN201810200018 A CN 201810200018A CN 108334881 B CN108334881 B CN 108334881B
Authority
CN
China
Prior art keywords
license plate
character
characters
model
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810200018.4A
Other languages
English (en)
Other versions
CN108334881A (zh
Inventor
刘鹏
张真
秦恩泉
曹骝
吴修文
王小聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Innovative Data Technologies Inc
Original Assignee
Nanjing Innovative Data Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Innovative Data Technologies Inc filed Critical Nanjing Innovative Data Technologies Inc
Priority to CN201810200018.4A priority Critical patent/CN108334881B/zh
Publication of CN108334881A publication Critical patent/CN108334881A/zh
Application granted granted Critical
Publication of CN108334881B publication Critical patent/CN108334881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Abstract

本发明提供了一种基于深度学习的车牌识别方法。所述基于深度学习的车牌识别方法包括如下步骤：一、构建模型：收集车牌图像，采用深度学习网络模型对收集的各类样本进行学习，训练并构建车牌识别模型；二、车牌识别：使用所述车牌识别模型检测车牌区域，在检测到的车牌区域内识别车牌颜色，确认车牌类型；在确认车牌类型后检测车牌的字符，定位出每个字符坐标，并分别识别被检测出来的字符。本发明的有益效果是：所述基于深度学习的车牌识别方法基于深度学习模型构建车牌识别模型，且在车牌识别过程中，车牌的识别划分为检测车牌区域、识别车牌类型、检测车牌字符和识别车牌字符四个阶段，从而可以有效地提高车牌的识别准确度。

Description

一种基于深度学习的车牌识别方法
技术领域
本发明属于计算机视觉技术领域，具体地涉及一种基于深度学习的车牌识别方法。
背景技术
车牌识别是智慧交通的一个重要组成部分，该技术已在多个领域及场景下得到了广泛应用，然而传统算法并没有解决所有问题，在如下几个方面仍然影响着最终的识别率：
1、车牌检测，传统方法使用颜色或诸如adaboost的机器学习算法来定位车牌，会面临伪车牌、边框定位精度等问题；
2、字符分割，车牌定位精度、车牌受到污损、光照较差等情况都会对字符分割产生影响；
3、字符识别，传统方法如神经网络、支持向量机识别精度有限。
发明内容
本发明的目的在于针对现有技术的缺陷或问题，提供一种基于深度学习的车牌识别方法。
本发明的技术方案如下：一种基于深度学习的车牌识别方法包括如下步骤：一、构建模型：收集车牌图像，采用深度学习网络模型对收集的各类样本图像进行学习，训练并构建车牌识别模型；二、车牌识别：使用所述车牌识别模型检测车牌区域，在检测到的车牌区域内识别车牌颜色，确认车牌类型；在确认车牌类型后检测车牌的字符，定位出每个字符坐标，并分别识别被检测出来的字符。
优选地，在步骤一中，收集车牌图像，采用深度学习网络模型对收集的各类样本图像进行学习，分别训练并构建车牌区域检测模型、车牌颜色识别模型、车牌字符检测模型及车牌字符识别模型。
优选地，在步骤二中具体包括如下步骤：使用所述车牌区域检测模型检测车牌区域；使用所述车牌颜色识别模型识别车牌颜色，确认车牌类型；使用车牌字符检测模型检测车牌的字符，并定位出每个字符坐标；使用所述车牌字符识别模型识别被检测出来的字符。
优选地，在使用所述车牌区域检测模型检测车牌区域的步骤中，返回图像中车牌所在区域。
优选地，在使用所述车牌颜色识别模型识别车牌颜色，确认车牌类型的步骤中，基于全卷积网络进行颜色识别。
优选地，在使用车牌字符检测模型检测车牌的字符，并定位出每个字符坐标的步骤中，在车牌区域检测中文、数字及字母，然后分别与车牌坐标计算重叠度，将重叠度等于零的字符视为误检，最后将字符按照从左到右进行排序并输出。
优选地，在使用所述车牌字符识别模型识别被检测出来的字符的步骤中，基于全卷积网络进行字符识别。
本发明提供的技术方案具有如下有益效果：
所述基于深度学习的车牌识别方法中，基于深度学习模型构建车牌识别模型，且在车牌识别过程中，车牌的识别划分为检测车牌区域、识别车牌类型、检测车牌字符和识别车牌字符四个阶段，从而可以有效地提高车牌的识别准确度。
附图说明
图1是本发明实施例供的基于深度学习的车牌识别方法得流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
除非上下文另有特定清楚的描述，本发明中的元件和组件，数量既可以单个的形式存在，也可以多个的形式存在，本发明并不对此进行限定。本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。可以理解，本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。
如图1所示，一种基于深度学习的车牌识别方法，包括以下步骤：
一、构建模型：收集车牌图像，采用深度学习网络模型对收集的车牌图像进行学习，训练并构建车牌识别模型。
具体地，在步骤一中，收集监控图像及各种车牌图像，制作样本描述文件，选用R-FCN作为检测框架，从而对收集的车牌图像进行学习，训练并构建车牌检测模型。
而且在对收集的车牌图像进行学习，训练并构建车牌识别模型的步骤中，对收集的车牌图像进行学习分别训练并构建颜色识别模型、车牌字符检测模型及车牌字符识别模型。
所述车牌区域检测模型用于检测图像中是否存在车牌，所述车牌颜色识别模型用于识别车牌的颜色，并根据颜色确定车牌的类型；所述车牌字符检测模型用于检测车牌中的字符的坐标，所述车牌字符识别模型用于识别被检测到的字符。
例如，收集监控图像及各种车牌图像，选用R-FCN作为检测框架，其中卷积层部分为Resnet-101，分别训练车牌区域检测模型和车牌字符检测模型。
车牌颜色识别模型结构：
搜集蓝牌、黄牌、警车及新能源等类型的车牌，建立全连接网络，训练车牌颜色识别模型。具体地，所述车牌颜色识别模型的网络由5个卷积层、5个BN层、5个池化层以及一个用于分类的全连接层组成，每个BN层之后接一个卷积层、每个卷积层之后接一个池化层，输入的是96x96的三通道图像。该网络中卷积层的核大小都为3×3，初始化方法为MSRA，前三个池化层核大小为2×2，步长为2，最后一个是全局平均池化层，核大小6×6，步长为1。
字符识别模型结构：
收集各省份字符图像，共31类；数字字符图像(0-9)，共10类，字母字符图像(A-Z，I、O除外)，共24类；以及警车字符图像，总共65类，每一类样本10万个，建立全卷积网络，训练车牌字符识别模型。具体地，所述车牌字符识别模型由10个卷积层，10个BN层，以及4个池化层组成，输入的是48×48的三通道图像。卷积层的核大小都为3×3，初始化方法为MSRA，前三个池化层核大小为2×2，步长为2，最后一个是全局平均池化层，核大小6×6，步长为1。
二、车牌识别：使用所述车牌识别模型检测车牌区域，在检测到的车牌区域内识别车牌颜色，确认车牌类型；在确认车牌类型后检测车牌的字符，定位出每个字符坐标，并分别识别被检测出来的字符。
具体地，在步骤二中，包括如下步骤：
1、使用所述车牌区域检测模型检测车牌区域；
2、使用所述车牌颜色识别模型识别车牌颜色，确认车牌类型；
3、使用车牌字符检测模型检测车牌的字符，并定位出每个字符坐标
4、使用所述车牌字符识别模型识别被检测出来的字符。
在使用所述车牌区域检测模型检测车牌区域的步骤中，返回图像中车牌所在区域。而且，具体包括如下步骤：
a、使用Resnet-101网络对图像进行卷积运算，生成特征图；
b、通过基于全卷积的RPN网络生成候选ROI区域；
c、将每个ROI区域划分成k×k个网格(k＝3)，对每个网格内的所有像素求均值，见式1，式1中的(x0,y0)表示ROI的左上角坐标，i，j为网格编号，Θ表示网络中所有可学习的参数，rc(i,j)表示第(i,j)个网格在第c个类别中池化后的结果。然后对k×k个网格求和，得到每一类的分数，见式2，并用softmax得到每一类的最终分数，见式3：
Figure BDA0001594213850000041
rc(Θ)＝∑i,j rc(i,j|Θ) (2)
Figure BDA0001594213850000042
d、利用一个基于线性回归的卷积层，计算目标边界框；对于一个ROI，可以产生4K2维的向量，然后利用平均投票将该向量聚合成一个4维向量t＝(t_x,t_y,t_w,t_h)，用t来表示一个边框；
e、通过非极大值抑制算法NMS，消除多余的目标边框，阈值设为0.3。
在使用所述车牌颜色识别模型识别车牌颜色，确认车牌类型的步骤中，基于全卷积网络进行颜色识别。例如，通过所述车牌颜色识别模型可以将车牌确认为黄牌、蓝牌、白牌以及新能源车牌其中一种类型。
在使用车牌字符检测模型检测车牌的字符，并定位出每个字符坐标的步骤中，在车牌区域内再次使用R-FCN检测其中的字符，计算每个字符与车牌的重叠度，将重叠度等于零的字符视为误检，根据车牌颜色确认字符个数，如，黄牌、蓝牌为7字符，新能源为8字符，最后将字符按照从左到右进行排序并输出。
在使用所述车牌字符识别模型识别被检测出来的字符的步骤中，基于全卷积网络进行字符识别。具体地，对每个字符左右两侧进行色彩填充，使之成为n×n的图像，n为正整数。首先，将字符图像灰度化，计算二值化阈值，对于黄牌、白牌及新能源车牌，将低于阈值的像素归类为前景像素，对于蓝牌，将高于阈值的像素归类为前景像素，其次，计算所有背景像素所对应原图中的R、G、B三个通道的均值，将该均值填充于字符图像左右两侧，最后送入字符识别网络识别其类型。
而且，所述车牌字符识别模型包括10个卷积层，10个BN层，以及4个池化层，其中，第1、2、4、5、6、8、9、10、12、13层为卷积层，每个卷积层之前为BN层，第3、7、11、14层为池化层，最后一层为全连接层。网络有66个输出分支，包括31个省、自治区和直辖市简称，10个数字字符，24个字母字符以及警车字符。
由于考虑到照片中各种光照问题，在使用所述车牌字符识别模型识别被检测出来的字符的步骤中，对每个字符图像进行多次Gamma矫正，gamma参数从0.5至1.5之间变化，然后进行识别，将每个字符相似度最高所对应的识别结果作为最终的识别结果。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (1)

1.一种基于深度学习的车牌识别方法，其特征在于：包括如下步骤：
一、构建模型：收集车牌图像，采用深度学习网络模型对收集的各类样本进行学习，分别训练并构建车牌区域检测模型、车牌颜色识别模型、车牌字符检测模型及车牌字符识别模型；
二、车牌识别：
1）使用车牌区域检测模型检测车牌区域；
2）在检测到的车牌区域内，使用基于全卷积网络的车牌颜色识别模型识别车牌颜色，确认车牌类型；
所述车牌颜色识别模型的网络由5个卷积层、5个BN层、5个池化层以及一个用于分类的全连接层组成，每个BN层之后接一个卷积层、每个卷积层之后接一个池化层，输入的是96x96的三通道图像；该网络中卷积层的核大小都为3×3，初始化方法为MSRA，前三个池化层核大小为2×2，步长为2，最后一个是全局平均池化层，核大小6×6，步长为1；
3）在检测到的车牌区域内，使用车牌字符检测模型检测车牌的字符，并定位出每个字符坐标，具体包括：
在车牌区域内使用R-FCN检测其中的字符，计算每个字符与车牌的重叠度，将重叠度等于零的字符视为误检，根据车牌颜色确认字符个数，最后将字符按照从左到右进行排序并输出；
4）使用基于全卷积网络的车牌字符识别模型识别被检测出来的字符，具体包括：
对每个字符左右两侧进行色彩填充，使之成为n×n的图像，n为正整数；将字符图像灰度化，计算二值化阈值，对于黄牌、白牌及新能源车牌，将低于阈值的像素归类为前景像素，对于蓝牌，将高于阈值的像素归类为前景像素；计算所有背景像素所对应原图中的R、G、B三个通道的均值，将该均值填充于字符图像左右两侧，最后送入字符识别网络识别其类型；
在使用所述车牌字符识别模型识别被检测出来的字符的步骤中，对每个字符图像进行多次Gamma矫正，gamma参数从0 .5至1 .5之间变化，然后进行识别，将每个字符相似度最高所对应的识别结果作为最终的识别结果；
所述车牌字符识别模型包括10个卷积层，10个BN层，以及4个池化层，其中，第1、2、4、5、6、8、9、10、12、13层为卷积层，每个卷积层之前为BN层，第3、7、11、14层为池化层，最后一层为全连接层，网络有66个输出分支，包括31个省、自治区和直辖市简称，10个数字字符，24个字母字符以及警车字符。
CN201810200018.4A 2018-03-12 2018-03-12 一种基于深度学习的车牌识别方法 Active CN108334881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810200018.4A CN108334881B (zh) 2018-03-12 2018-03-12 一种基于深度学习的车牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810200018.4A CN108334881B (zh) 2018-03-12 2018-03-12 一种基于深度学习的车牌识别方法

Publications (2)

Publication Number Publication Date
CN108334881A CN108334881A (zh) 2018-07-27
CN108334881B true CN108334881B (zh) 2022-04-29

Family

ID=62930843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810200018.4A Active CN108334881B (zh) 2018-03-12 2018-03-12 一种基于深度学习的车牌识别方法

Country Status (1)

Country Link
CN (1) CN108334881B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325487B (zh) * 2018-08-27 2021-12-03 电子科技大学 一种基于目标检测的全种类车牌识别方法
CN109543688A (zh) * 2018-11-14 2019-03-29 北京邮电大学 一种新型的基于多层卷积神经网络的水表读数检测与识别的方法
CN109657676A (zh) * 2018-12-06 2019-04-19 河池学院 基于卷积神经网络的车牌识别方法及系统
CN110414318A (zh) * 2019-06-13 2019-11-05 北京数智源科技有限公司 大场景下集装箱号识别方法
CN110795987B (zh) * 2019-07-30 2023-12-22 重庆渝通合数字科技有限公司 猪脸识别方法和装置
CN110728283A (zh) * 2019-10-11 2020-01-24 高新兴科技集团股份有限公司 一种车牌类型识别方法及设备
CN111091131B (zh) * 2019-12-18 2023-06-09 创新奇智(南京)科技有限公司 基于多任务学习的自适应车牌字符识别系统及识别方法
CN111191611B (zh) * 2019-12-31 2023-10-13 同济大学 基于深度学习的交通标志标号识别方法
CN111582261B (zh) * 2020-04-30 2024-01-19 浙江大华技术股份有限公司 一种非机动车的车牌识别方法和车牌识别装置
CN113239854B (zh) * 2021-05-27 2023-12-19 北京环境特性研究所 一种基于深度学习的船舶身份识别方法及系统
CN116884214B (zh) * 2023-07-10 2024-01-26 珠海大横琴城市公共资源经营管理有限公司 市政车辆的监测预警方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207992A (zh) * 2013-04-07 2013-07-17 布法罗机器人科技（苏州）有限公司 车辆牌照字符和颜色联合识别方法
CN105069456A (zh) * 2015-07-30 2015-11-18 北京邮电大学 一种车牌字符分割方法及装置
CN105354530A (zh) * 2015-09-22 2016-02-24 浙江宇视科技有限公司 一种车身颜色识别方法及装置
CN105809166A (zh) * 2016-03-04 2016-07-27 深圳市佳信捷技术股份有限公司 车牌识别方法、装置及系统
CN106407981A (zh) * 2016-11-24 2017-02-15 北京文安智能技术股份有限公司 一种车牌识别方法、装置及系统
CN106874907A (zh) * 2017-01-19 2017-06-20 博康智能信息技术有限公司北京海淀分公司 一种建立车牌识别模型的方法及装置
CN106980854A (zh) * 2017-03-29 2017-07-25 珠海习悦信息技术有限公司 车牌号码识别方法、装置、存储介质及处理器
CN107133616A (zh) * 2017-04-02 2017-09-05 南京汇川图像视觉技术有限公司 一种基于深度学习的无分割字符定位与识别方法
CN107273894A (zh) * 2017-06-15 2017-10-20 珠海习悦信息技术有限公司 车牌的识别方法、装置、存储介质及处理器

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10789840B2 (en) * 2016-05-09 2020-09-29 Coban Technologies, Inc. Systems, apparatuses and methods for detecting driving behavior and triggering actions based on detected driving behavior

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207992A (zh) * 2013-04-07 2013-07-17 布法罗机器人科技（苏州）有限公司 车辆牌照字符和颜色联合识别方法
CN105069456A (zh) * 2015-07-30 2015-11-18 北京邮电大学 一种车牌字符分割方法及装置
CN105354530A (zh) * 2015-09-22 2016-02-24 浙江宇视科技有限公司 一种车身颜色识别方法及装置
CN105809166A (zh) * 2016-03-04 2016-07-27 深圳市佳信捷技术股份有限公司 车牌识别方法、装置及系统
CN106407981A (zh) * 2016-11-24 2017-02-15 北京文安智能技术股份有限公司 一种车牌识别方法、装置及系统
CN106874907A (zh) * 2017-01-19 2017-06-20 博康智能信息技术有限公司北京海淀分公司 一种建立车牌识别模型的方法及装置
CN106980854A (zh) * 2017-03-29 2017-07-25 珠海习悦信息技术有限公司 车牌号码识别方法、装置、存储介质及处理器
CN107133616A (zh) * 2017-04-02 2017-09-05 南京汇川图像视觉技术有限公司 一种基于深度学习的无分割字符定位与识别方法
CN107273894A (zh) * 2017-06-15 2017-10-20 珠海习悦信息技术有限公司 车牌的识别方法、装置、存储介质及处理器

Also Published As

Publication number Publication date
CN108334881A (zh) 2018-07-27

Similar Documents

Publication Publication Date Title
CN108334881B (zh) 一种基于深度学习的车牌识别方法
CN108304798B (zh) 基于深度学习及运动一致性的街面秩序事件视频检测方法
CN104809187B (zh) 一种基于rgb‑d数据的室内场景语义标注方法
Jiao et al. A configurable method for multi-style license plate recognition
CN111079674B (zh) 一种基于全局和局部信息融合的目标检测方法
WO2022121039A1 (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
CN104504366A (zh) 基于光流特征的笑脸识别系统及方法
CN111666938A (zh) 一种基于深度学习的两地双车牌检测识别方法及系统
CN110991444B (zh) 面向复杂场景的车牌识别方法及装置
CN108960115B (zh) 基于角点的多方向文本检测方法
CN111967313B (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
CN112287941B (zh) 一种基于自动字符区域感知的车牌识别方法
CN113657560B (zh) 基于节点分类的弱监督图像语义分割方法及系统
CN113744311A (zh) 基于全连接注意力模块的孪生神经网络运动目标跟踪方法
CN111488911B (zh) 基于Mask R-CNN与GAN的图像实体抽取方法
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
WO2019197021A1 (en) Device and method for instance-level segmentation of an image
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN111008979A (zh) 一种鲁棒的夜晚图像语义分割方法
CN113312973A (zh) 一种手势识别关键点特征提取方法及系统
CN112417931A (zh) 一种基于视觉显著性的水面物体检测和分类的方法
CN115661777A (zh) 一种联合语义的雾天道路目标检测算法
Hu et al. Vehicle color recognition based on smooth modulation neural network with multi-scale feature fusion
CN111461002B (zh) 一种面向热成像行人检测的样本处理方法
CN111414938B (zh) 一种板式换热器内气泡的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant