CN112560578A - 免成像的车牌内容识别方法及系统 - Google Patents
免成像的车牌内容识别方法及系统 Download PDFInfo
- Publication number
- CN112560578A CN112560578A CN202011295796.XA CN202011295796A CN112560578A CN 112560578 A CN112560578 A CN 112560578A CN 202011295796 A CN202011295796 A CN 202011295796A CN 112560578 A CN112560578 A CN 112560578A
- Authority
- CN
- China
- Prior art keywords
- license plate
- recognition
- network
- imaging
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Abstract
本申请提出了一种免成像的车牌内容识别方法及系统,其中,方法包括:根据深度神经网络设计单像素免成像的多目标识别网络;建立免成像的多目标识别数据集,包含单像素一维测量值和对应的车牌字符;使用该数据集对多目标识别网络进行训练,得到优化的多目标识别模型参数;利用单像素探测器采集场景经编码调制后的一维耦合测量值,将一维耦合测量值输入多目标识别网络中进行处理,输出车牌内容识别结果。该方法利用深度神经网络直接根据单像素探测器采集的一维耦合测量值识别车牌上的字符,无需成像过程,同时无需依次进行单个字符的识别,降低了计算复杂度,减少了数据采集量,并且单像素探测器对于其他光谱范围适用,简单易实现。
Description
技术领域
本申请涉及计算机视觉技术领域,尤其涉及一种免成像的车牌内容识别方法及系统。
背景技术
目标检测及识别任务是找出图像中所有感兴趣的目标,确定它们的位置和大小。基于深度学习的算法在图像和视频识别任务中得到广泛的应用。从图像分类问题到行人识别问题,深度学习方法相比传统方法表现出极大的优势。但是这些应用受到了图像清晰度的限制。一些任务需要高清图像作为输入来提取精确的目标特征。同时,由于各类物体有不同的外观、形状、姿态,加上成像时光照、遮挡等因素的干扰,目标检测一直是机器视觉领域最具有挑战性的问题。图像的获取主要依赖于复杂的成像硬件(例如高灵敏度的相机)以及高复杂度的重建算法(例如去噪和去模糊算法)。
其中,车牌识别问题尤为重要。传统的算法首先对图像进行预处理,利用边缘检测提取到车牌的位置,并进行牌照的定位和字符切割,最终进行字符识别。基于深度学习的车牌检测算法沿袭了字符切割及识别的步骤,利用网络进行操作,获得了较好的检测效果。其中,正确的分离单个文字及正确的识别单个字符是算法的重点。对于车牌识别算法来说,初始图像质量影响了上述的每一个步骤,尤其在室外场景中,受光照或天气等影响,拍摄的车牌图像决定了车牌识别的准确度。这些要求使得现有的识别系统需要更好的相机或探测器,增加了成本和运算复杂度,而常规探测器识别速率较低且通信负载较重。上述缺点阻碍了智能感知系统在实际车牌检测识别中的推广和普及。
且在大多数的目标检测任务中,有用的信息仅仅是场景的一部分,而不是整个场景,因此我们仅需要有效信息,无信息的像素浪费了硬件和软件成本。对于车牌检测与识别,我们仅仅需要提取车牌的文字或数字等信息,其余并不需要。因此,绕开复杂成像步骤,直接获取所需的车牌信息是提高信息获取和识别效率的可行解决方案。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本申请提出一种免成像的车牌内容识别方法及系统,以实现免成像的车牌内容识别,无需成像过程,降低了计算复杂度,减少了数据采集量。
本申请第一方面实施例提出了一种免成像的车牌内容识别方法,包括:
根据深度神经网络设计单像素免成像的多目标识别网络;
建立单像素免成像的多目标识别数据集,所述多目标识别数据集包括单像素一维测量值和对应的车牌字符;
根据所述多目标识别数据集对多目标识别网络进行训练;
利用单像素探测器采集场景经编码调制后的一维耦合测量值,将一维耦合测量值输入多目标识别网络中进行处理,生成车牌内容识别结果。
另外,根据本申请上述实施例的免成像的车牌内容识别方法还可以具有如下附加技术特征:
可选地,所述多目标识别数据集中的每一数据包括车牌图像、单像素一维测量值和与所述单像素一维测量值对应的车牌字符。
可选地,所述多目标识别网络为端到端网络,用于从一维耦合测量值中直接解出车牌内容识别结果。
可选地,所述多目标识别网络包括:连接结构,用于将所述一维耦合测量值转换为二维数据;识别子网络,用于根据所述二维数据得到车牌内容识别结果。
可选地,所述连接结构包括全连接层、批归一化层和调整大小层,所述识别子网络包括基于文字分割识别的网络、基于车牌分割识别的网络、基于场景物体的分割识别网络。
可选地,所述通过单像素探测器采集场景经编码调制后的一维耦合测量值,包括:将所述编码用于空间光调制掩膜,根据多个所述空间光调制掩膜对光路进行调制,并通过单像素探测器采集得到所述一维耦合测量值,其中,所述空间光调制掩膜包括二值化掩膜和灰度化掩膜中的任一种。
可选地,所述空间光调制掩膜的生成方式包括随机生成和作为全连接层或卷积层加入多目标识别网络中优化训练。
可选地,所述的方法还包括:建立单像素采集系统,所述系统的类别包括主动光照明系统和被动光照明系统。
本申请实施例的免成像的车牌内容识别方法,通过多目标识别网络从单像素探测器采集的一维耦合测量值中识别车牌内容识别结果,能够实现免成像的车牌内容识别,采集数据量小且无须成像。同时不用依次进行单个字符识别,降低了计算复杂度。且单像素探测器对于其他光谱范围适用,简单易实现。
本申请第二方面实施例提出了一种免成像的车牌内容识别系统,包括:
训练模块,用于建立免成像的多目标识别数据集,根据所述多目标识别数据集对多目标识别网络进行训练,所述多目标识别数据集包含单像素一维测量值和对应的车牌字符;
采集模块,用于通过单像素探测器采集场景经编码调制后的一维耦合测量值;
识别模块,用于将所述一维耦合测量值输入预先训练的所述多目标识别网络进行处理,生成车牌内容识别结果。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
图1为本申请实施例所提供的一种免成像的车牌内容识别方法的流程示意图;
图2为本申请实施例所提供的一种模型训练方式(包含两类)和测试阶段的示意图;
图3为一种基于LSTM的车牌识别网络结构示意图;
图4为本申请实施例所提供的一种系统的基本框图;
图5为本申请实施例所提供的一种免成像的车牌内容识别系统的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的免成像的车牌内容识别方法、系统及设备。
图1为本申请实施例所提供的一种免成像的车牌内容识别方法的流程示意图,如图1所示,该方法包括:
步骤101,根据深度神经网络设计免成像的多目标识别网络。
步骤102,建立免成像的多目标识别数据集,多目标识别数据集包括单像素一维测量值和对应的车牌字符。
步骤103,根据多目标识别数据集对多目标识别网络进行训练。
本实施例中,根据深度神经网络设计免成像的多目标识别网络,该深度神经网络为端到端网络。根据多目标识别数据集对深度神经网络进行训练,得到优化的多目标识别模型参数。
其中,多目标识别数据集中的每一数据包括车牌图像,单像素一维测量值和与测量值对应的车牌字符。具体地,多目标识别数据集中包括对单个车牌内容和对应车牌上的每个字符进行标签。以国内车牌为例,共7个字符,其中第一个字符为省份,其余6个为数字及英文混合。标签方式包括但不限于以下一种:省份简称(共31个)包含特殊车辆(“警”,“学”,“O”),以数字0~33进行标签设定,后面的数字(0~9)及字母(A~Z)以数字34~70进行标签设定。最终生成每个车牌的对应标签,由此形成数据集。
下面对模型结构和模型训练进行说明。
本实施例中,多目标识别网络包括连接结构和识别子网络,其中,连接结构用于将一维耦合测量值转换为二维数据,以对一维耦合测量值进行尺寸调整,识别子网络用于根据二维数据得到车牌内容识别结果。
其中,连接结构包括全连接层、批归一化(BN)层和调整大小(Resize)层,识别子网络包括基于文字分割识别的网络(LSTM-Net,OCR-Net,CPTN-Net等)、基于车牌分割识别的网络(LPR-Net,MTCNN-Net,RNN-Net等)、基于场景物体的分割识别网络(yolo,Res-Net,U-Net等)。
本实施例中,编码方式用于获取空间光调制掩膜。空间光调制掩膜可以是二值化的掩膜,也可以是灰度化的掩膜。实现方式如图二(a)中的①及②所示,包括以下两种:(一)利用随机生成编码的方式,随机生成编码的方式包括但不限于基于阈值生成和基于概率生成。(二)利用网络训练的方式,将编码作为网络中的第一层(如全连接层或卷积层)加入训练。
基于上述内容,利用随机生成编码的方式,可以生成二值化的掩膜,或者生成0到1的灰度化掩膜。该编码对于目标的调制如下:
Px=y (1)
其中P表示编码掩膜,x代表被空间光调制的目标场景,y是一维测量值。
传统单像素成像(SPI)是指从调制模式P和相应的测量值y计算得出x,从而重建场景图像。在本申请中,可以利用多目标识别网络不经过重建目标场景x直接识别车牌。
参照图2,如图2(a)所示,对于利用网络训练的方式,在训练时可以将编码加入网络中,从而将编码作为网络中的一层(全连接层或卷积层)加入训练,公式如下:
其中,O代表编码调制后的输出;代表权重数,i为目标场景的像素大小拉为列向量后的第i个像素,n为耦合为一维测量值后的第n个测量值;x同式(1),b代表偏置(为了符合实际的空间光调制器,偏置为0)。为了得到较好的调制掩膜,需要在网络中加入损失函数,以最小化编码对识别准确度带来的损失,损失函数如下:
实验测试阶段如图2(b)所示。首先用已获得的空间光调制掩膜对光路进行二值调制或灰度调制,并用单像素探测器采集得到一维耦合测量值,进而将一维耦合测量值输入多目标识别网络,从而将耦合测量值序列输入多目标识别网络中,完成对车牌的多个字符预测。图3是一种基于LSTM的车牌识别网络结构示意图,其中循环层中利用长短期记忆网络(LSTM)处理和预测字符序列。
步骤104,利用单像素探测器采集场景经编码调制后的一维耦合测量值,将一维耦合测量值输入多目标识别网络中进行处理,生成车牌内容识别结果。
本实施例中,将单像素采集编码用于空间光调制掩膜,根据多个空间光调制掩膜对光路进行调制,并通过单像素探测器采集得到当前一维耦合测量值,将当前一维耦合测量值输入多目标识别网络,输出当前场景的车牌内容识别结果。
其中,空间光调制掩膜为二值化掩膜或灰度化掩膜,空间光调制掩膜的大小与场景大小相同。
本申请实施例的免成像的车牌内容识别方法,通过多目标识别网络从单像素探测器采集的一维耦合测量值中识别车牌内容识别结果,能够实现免成像的车牌内容识别,采集数据量小且无须成像。同时不用依次进行单个字符识别,降低了计算复杂度。且单像素探测器对于其他光谱范围适用,简单易实现。
如图4所示,是本申请的系统基本框图。首先利用已经设计好的调制掩膜对光进行调制,调制后的光共轭到目标场景,并经过一个透镜聚焦到一点。进而利用单像素探测器采集耦合的测量值,将该测量值序列输入预训练的多目标识别网络中,完成对车牌内容的字符识别。
本申请实施例实现了免成像的车牌内容识别,该方案利用含有一个感知单元的单像素探测器,直接从单像素探测器(而不是阵列传感器)的耦合测量值中完成多目标识别任务,而无需常规的图像采集和重建过程,降低了硬件和计算复杂度。并且,该方案基于单像素探测器,工作频谱得到了扩展,信噪比大大提高,来自目标场景的所有光都被会聚到单个检测单元上,有助于对车牌在弱光场景下检测。
为了实现上述实施例,本申请还提出一种免成像的车牌内容识别系统。
图5为本申请实施例所提供的一种免成像的车牌内容识别系统的结构示意图,如图5所示,该免成像的车牌内容识别系统包括:训练模块10,采集模块20,识别模块30。
其中,训练模块10,用于建立免成像的多目标识别数据集,根据所述多目标识别数据集对多目标识别网络进行训练,所述多目标识别数据集包含单像素一维测量值和对应的车牌字符。
采集模块20,用于通过单像素探测器采集场景经编码调制后的一维耦合测量值。
识别模块30,用于将所述一维耦合测量值输入预先训练的所述多目标识别网络进行处理,生成车牌内容识别结果。
前述实施例对免成像的车牌内容识别方法的解释说明同样适用于本实施例的免成像的车牌内容识别系统,此处不再赘述。
本申请实施例的免成像的车牌内容识别系统,通过多目标识别网络从单像素探测器采集的一维耦合测量值中识别车牌内容识别结果,能够实现免成像的车牌内容识别,采集数据量小且无须成像。同时不用依次进行单个字符识别,降低了计算复杂度。且单像素探测器对于其他光谱范围适用,简单易实现。
为了实现上述实施例,本申请还提出一种计算机设备,包括处理器和存储器;其中,处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于实现如前述任一实施例所述的免成像的车牌内容识别方法。
为了实现上述实施例,本申请还提出一种计算机程序产品,当计算机程序产品中的指令被处理器执行时实现如前述任一实施例所述的免成像的车牌内容识别方法。
为了实现上述实施例,本申请还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如前述任一实施例所述的免成像的车牌内容识别方法。
在本申请的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (9)
1.一种免成像的车牌内容识别方法,其特征在于,包括:
根据深度神经网络设计单像素免成像的多目标识别网络;
建立免成像的多目标识别数据集,所述多目标识别数据集包括单像素一维测量值和对应的车牌字符;
根据所述多目标识别数据集对所述多目标识别网络进行训练;
利用单像素探测器采集场景经编码调制后的一维耦合测量值,将所述一维耦合测量值输入所述多目标识别网络中进行处理,生成车牌内容识别结果。
2.如权利要求1所述的方法,其特征在于,所述多目标识别数据集中的每一数据包括车牌图像、单像素一维测量值和与所述单像素一维测量值对应的车牌字符。
3.如权利要求1所述的方法,其特征在于,所述多目标识别网络为端到端网络,用于从一维耦合测量值中直接解出车牌内容识别结果。
4.如权利要求3所述的方法,其特征在于,所述多目标识别网络包括:
连接结构,用于将所述一维耦合测量值转换为二维数据;
识别子网络,用于根据所述二维数据得到车牌内容识别结果。
5.如权利要求4所述的方法,其特征在于,所述连接结构包括全连接层、批归一化层和调整大小层,所述识别子网络包括基于文字分割识别的网络、基于车牌分割识别的网络、基于场景物体的分割识别网络。
6.如权利要求1所述的方法,其特征在于,所述利用单像素探测器采集场景经编码调制后的一维耦合测量值,包括:
将所述编码用于空间光调制掩膜,根据多个所述空间光调制掩膜对光路进行调制,并通过单像素探测器采集得到所述一维耦合测量值,其中,所述空间光调制掩膜包括二值化掩膜和灰度化掩膜中的任一种。
7.如权利要求6所述的方法,其特征在于,所述空间光调制掩膜的生成方式包括随机生成和作为全连接层或卷积层加入多目标识别网络中优化训练。
8.如权利要求1所述的方法,其特征在于,还包括:
建立单像素采集系统,所述系统的类别包括主动光照明系统和被动光照明系统。
9.一种免成像的车牌内容识别系统,其特征在于,包括:
训练模块,用于建立免成像的多目标识别数据集,根据所述多目标识别数据集对多目标识别网络进行训练,所述多目标识别数据集包含单像素一维测量值和对应的车牌字符;
采集模块,用于通过单像素探测器采集场景经编码调制后的一维耦合测量值;
识别模块,用于将所述一维耦合测量值输入预先训练的所述多目标识别网络进行处理,生成车牌内容识别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011295796.XA CN112560578B (zh) | 2020-11-18 | 2020-11-18 | 免成像的车牌内容识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011295796.XA CN112560578B (zh) | 2020-11-18 | 2020-11-18 | 免成像的车牌内容识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112560578A true CN112560578A (zh) | 2021-03-26 |
CN112560578B CN112560578B (zh) | 2022-12-20 |
Family
ID=75044475
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011295796.XA Active CN112560578B (zh) | 2020-11-18 | 2020-11-18 | 免成像的车牌内容识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112560578B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108509954A (zh) * | 2018-04-23 | 2018-09-07 | 合肥湛达智能科技有限公司 | 一种实时交通场景的多车牌动态识别方法 |
US20180330169A1 (en) * | 2017-05-12 | 2018-11-15 | Google Inc. | Methods and Systems for Presenting Image Data for Detected Regions of Interest |
CN110942097A (zh) * | 2019-11-28 | 2020-03-31 | 北京理工大学 | 基于单像素探测器的免成像分类方法和系统 |
CN111856478A (zh) * | 2020-07-17 | 2020-10-30 | 暨南大学 | 一种免成像的运动物体探测与三维追踪装置及方法 |
-
2020
- 2020-11-18 CN CN202011295796.XA patent/CN112560578B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180330169A1 (en) * | 2017-05-12 | 2018-11-15 | Google Inc. | Methods and Systems for Presenting Image Data for Detected Regions of Interest |
CN108509954A (zh) * | 2018-04-23 | 2018-09-07 | 合肥湛达智能科技有限公司 | 一种实时交通场景的多车牌动态识别方法 |
CN110942097A (zh) * | 2019-11-28 | 2020-03-31 | 北京理工大学 | 基于单像素探测器的免成像分类方法和系统 |
CN111856478A (zh) * | 2020-07-17 | 2020-10-30 | 暨南大学 | 一种免成像的运动物体探测与三维追踪装置及方法 |
Non-Patent Citations (2)
Title |
---|
刘高平等: "基于自编码神经网络重构的车牌数字识别", 《光电子.激光》 * |
王新华: "面向复杂场景的图像处理技术若干问题研究及其在计算光学成像系统中的应用", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Also Published As
Publication number | Publication date |
---|---|
CN112560578B (zh) | 2022-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Fusing bird’s eye view lidar point cloud and front view camera image for 3d object detection | |
Chen et al. | Vehicle detection in high-resolution aerial images based on fast sparse representation classification and multiorder feature | |
Wang et al. | Semantic segmentation of remote sensing ship image via a convolutional neural networks model | |
Wang et al. | Fusing bird view lidar point cloud and front view camera image for deep object detection | |
Parmar et al. | Deeprange: deep‐learning‐based object detection and ranging in autonomous driving | |
Dhanaraj et al. | Vehicle detection from multi-modal aerial imagery using YOLOv3 with mid-level fusion | |
Nguyen et al. | Real-time vehicle detection using an effective region proposal-based depth and 3-channel pattern | |
CN114387505A (zh) | 一种高光谱与激光雷达多模态遥感数据分类方法及系统 | |
Zhang et al. | A novel salient feature fusion method for ship detection in synthetic aperture radar images | |
CN110942097A (zh) | 基于单像素探测器的免成像分类方法和系统 | |
CN116342894A (zh) | 基于改进YOLOv5的GIS红外特征识别系统及方法 | |
Jin et al. | Vehicle license plate recognition for fog‐haze environments | |
CN112560578B (zh) | 免成像的车牌内容识别方法及系统 | |
Yang et al. | Deep-learning based photon-efficient 3D and reflectivity imaging with a 64× 64 single-photon avalanche detector array | |
CN116363526A (zh) | MROCNet模型构建与多源遥感影像变化检测方法及系统 | |
Li et al. | Feature point extraction and tracking based on a local adaptive threshold | |
Sebastian et al. | Adversarial loss for semantic segmentation of aerial imagery | |
Bairi et al. | Pscs-net: Perception optimized image reconstruction network for autonomous driving systems | |
Tan et al. | Divide to attend: A multiple receptive field attention module for object detection in remote sensing images | |
Guo et al. | A coarse to fine network for fast and accurate object detection in high‐resolution images | |
CN114119428B (zh) | 一种图像去模糊方法和装置 | |
Chakraborty et al. | Texture measurement through local pattern quantization for SAR image classification | |
US11580723B2 (en) | Scene-aware object detection | |
Lange | Translation of remote sensing images for the classification of unlabeled SAR data using Deep Convolutional Generative Adversarial Networks | |
He et al. | Multi-label pixelwise classification for reconstruction of large-scale urban areas |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |