CN115171092B - 一种基于语义增强的端到端车牌检测方法 - Google Patents
一种基于语义增强的端到端车牌检测方法 Download PDFInfo
- Publication number
- CN115171092B CN115171092B CN202211094992.XA CN202211094992A CN115171092B CN 115171092 B CN115171092 B CN 115171092B CN 202211094992 A CN202211094992 A CN 202211094992A CN 115171092 B CN115171092 B CN 115171092B
- Authority
- CN
- China
- Prior art keywords
- license plate
- features
- network
- convolution
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/147—Determination of region of interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Character Discrimination (AREA)
- Character Input (AREA)
- Image Analysis (AREA)
Abstract
本发明属于车牌检测技术领域,涉及一种基于语义增强的端到端车牌检测方法,先构建数据集,再训练端到端的神经网络来进行车牌字符检测识别,端到端的神经网络包含车牌区域分割网络,并对车牌区域进行语义增强,增强后的特征输入到LSTM方法中进行车牌字符检测识别,得到的结果即为最终得到的车牌检测结果,车牌检测识别速度快,精度高。
Description
技术领域
本发明属于车牌检测技术领域,尤其涉及一种基于语义增强的端到端车牌检测方法。
背景技术
随着人工智能与计算机视觉等技术的迅速发展,智慧交通在智慧城市中发挥了重要作用,而车牌识别技术在智慧交通体系中扮演了重要角色。正向的车牌检测与识别技术已经比较成熟,而侧方位的车牌检测技术由于受到车牌畸变、旋转以及光线不足等复杂场景的时候表现的较差。
现有的侧方位车牌识别的方法都是基于检测的方法,检测出车牌后再检测每个字符,然后把识别的字符连续输出即得到最终的车牌识别结果,这种方法的普遍缺点是速度较慢,如果直接采用LSTM方法来进行整个车牌字符的识别,则会存在识别结果不准的现象。通过分析,现有方法精度不准的主要原因是,在进行车牌检测或分割的时候利用的特征没有充分考虑单个字符的特征,车牌检测或分割的特征不能直接用于字符识别,因此需要对用于车牌检测或分割的特征进一步精细化操作,即语义增强,使得精细化的特征能够更好的用于字符特征提取,语义增强后的车牌特征再进行字符检测识别,从而提升字符检测识别的精度。
发明内容
本发明的目的在于克服现有侧方位停车场景下车牌识别速度慢的问题,设计提供一种基于语义增强的端到端车牌检测方法,通过特征进行语义增强实现侧方位停车场景下的快速车牌检测识别。
为实现上述目的,本发明具体包括如下步骤:
(1)数据集构建:收集不同侧方位视频桩采集的含有倾斜、畸变车牌的图像,构建车牌数据集,并将数据集划分为训练集、验证集和测试集,对车牌数据集中的图像标注每个车牌四个顶点的位置,通过四个顶点的位置确定出对应车牌区域的部分,用于后续分割标注,并标注区域内的真实车牌值,用于训练车牌字符检测识别;
(2)设计端到端的神经网络结构并对车牌图像进行处理:网络结构包括三个功能部分,第一部分是图像分割网络进行车牌区域的分割,第二部分是对提取的车牌区域特征进行语义增强,通过对不同特征层的特征进行卷积处理并融合实现,第三部分是车牌字符检测识别网络对融合后的特征进行车牌字符检测识别;
(3)训练网络,得到训练好的参数模型:将数据集中训练集的图像尺寸由192010243缩放成5125123,按照每次训练需要的图像数量依次输入网络,整个网络的能量损失为车牌分割网络损失与车牌字符检测识别网络的能量损失之和,通过反向传播更新参数,经过250次完整训练集训练迭代后,保存验证集上结果最好的模型参数,作为最终模型训练好的参数,即得到训练好的端到端的车牌检测网络结构;
(4)通过推理得到结果:将要进行车牌检测的图像输入训练好的端到端的车牌检测网络进行前向推理得到车牌的检测结果。
作为本发明的进一步技术方案,步骤(2)中图像分割网络进行车牌区域分割时,选用的图像分割网络模型为:SOLOv2: Dynamic and Fast Instance Segmentation(2020NeurIPS),网络结构和分割能量损失均为该模型中采用的结构和损失函数。
作为本发明的进一步技术方案,步骤(2)对提取的车牌区域特征进行语义增强的具体过程为:主干网络选用ResNet50作为特征提取的网络结构,通过对不同层的特征进行卷积操作得到增强的不同层的特征,然后把增强的不同层的特征进行融合,不同层的特征选择主干网络提取的第二阶段和第三阶段特征,第二阶段特征采用四组卷积数为64的卷积模块进行增强,第三阶段特征采用三组卷积数为128和一组卷积数为64的卷积模块进行增强,第三阶段特征的最后一组卷积数为64是为了保证第三阶段特征增强后最后的特征数目跟第二阶段特征增强后的特征数目相同,每个卷积模块均由3×3卷积、SReLU激活层组成,不同卷积模块包含的卷积核的个数不同,第三阶段特征经过卷积模块进行特征增强后再进行上采样(放大两倍)得到的特征与第二阶段特征经过卷积模块进行特征增强后的特征进行特征融合,特征融合采用特征图每个位置值相加的方式,融合后的特征根据车牌区域的分割结果进行感兴趣区域特征提取,图像分割网络得到的车牌的区域特征保留,没有车牌的区域特征设置为零。
作为本发明的进一步技术方案,步骤(2)所述车牌字符检测识别网络为带有128个隐藏节点的单层LSTM(长短期记忆)网络,将感兴趣区域特征输入车牌字符检测识别网络进行检测识别。
与现有技术相比,本发明通过构建数据集,训练端到端的神经网络来进行字符识别,端到端的神经网络包含车牌区域分割网络,并对车牌区域进行语义增强,增强后的特征输入到LSTM方法中进行车牌字符检测识别,得到的结果即为最终得到的车牌检测结果,车牌检测识别速度快,精度高。
附图说明
图1为本发明所述端到端的车牌检测网络结构图。
图2为本发明用于增强第二阶段特征的卷积模块结构图。
图3为本发明用于增强第三阶段特征的卷积模块结构图。
图4为本发明的工作流程框图。
具体实施方式
下面结合附图并通过实施例进一步描述本发明,但不以任何方式限制本发明的范围。
实施例:
本实施例采用如图4所示的流程实现车牌检测,具体实施包括如下步骤:
(1)数据集构建:
收集不同侧方位视频桩采集的含有倾斜、畸变等车牌的图像,构建车牌数据集,图像中标注每个车牌四个顶点的位置,通过四个顶点的位置确定对应车牌区域的部分,用于分割标注,另外标注区域内的真实车牌值,用于训练字符识别,最后将数据集划分为训练集、验证集和测试集。
(2)设计端到端的神经网络结构:
端到端利用语义增强进行车牌检测的网络结构包括三个主要部分如图1所示,第一部分是图像分割网络进行车牌区域的分割,第二部分是不同特征层的特征进行卷积处理并融合,第三部分是对融合后的特征进行字符识别,具体为:
(2-1)利用图像分割网络用于提取车牌区域,选用图像分割网络对车牌区域进行分割,并设定其能量损失,选用的图像分割网络模型为:SOLOv2: Dynamic and FastInstance Segmentation(2020 NeurIPS),网络结构和分割能量损失均为该文献中采用的结构和损失函数;
(2-2)不同特征层的特征进行卷积处理并融合,不同层的特征选择主干网络提取的第二阶段和第三阶段特征,第二阶段特征采用四组卷积数为64的卷积模块(如图2所示)进行增强,第三阶段特征采用三组卷积数为128和一组卷积数为64的卷积模块(如图3所示)进行增强,第三阶段特征的最后一组卷积数为64是为了保证第三阶段特征增强后最后的特征数目跟第二阶段特征增强后的特征数目相同,每个卷积模块均由3×3卷积、SReLU激活层组成,不同卷积模块包含的卷积核的个数不同,第三阶段特征经过卷积模块进行特征增强后再进行上采样(放大两倍)得到的特征与第二阶段特征经过卷积模块进行特征增强后的特征进行特征融合,特征融合采用特征图每个位置值相加的方式,融合后的特征根据车牌区域的分割结果进行感兴趣区域特征提取,图像分割网络得到的车牌的区域特征保留,没有车牌的区域特征设置为零;
(2-3)增强后的特征进行车牌字符检测识别,将步骤(2-2)融合后的感兴趣区域特征输入到车牌字符检测识别网络进行识别,车牌字符检测识别网络选用带有128个隐藏节点的单层LSTM(长短期记忆)网络。
(3)训练网络,得到训练好的参数模型:
将数据集中训练集的图像尺寸由192010243缩放成5125123,按照每次训练需要的图像数量B,依次输入到网络中,整个网络的输入,输出为车牌字符的检测识别结果,整个网络的能量损失为车牌分割网络损失与车牌字符检测识别网络的能量损失之和,通过反向传播更新参数,经过设定次数(250次)完整训练集训练迭代后,保存验证集上结果最好的模型参数,作为最终模型训练好的参数,即得到训练好的端到端的车牌检测网络结构;
(4)通过推理得到结果:
将要进行车牌检测的图像输入训练好的网络进行前向推理得到车牌的检测结果。
本文中未详细说明的网络结构、算法均为本领域通用技术。
需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在不脱离本发明及所附权利要求的精神和范围内,各种替换和修改都是可能的。因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。
Claims (2)
1.一种基于语义增强的端到端车牌检测方法,其特征在于,具体包括如下步骤:
步骤一、数据集构建:收集不同侧方位视频桩采集的含有倾斜、畸变车牌的图像,构建车牌数据集,并将数据集划分为训练集、验证集和测试集,对车牌数据集中的图像标注每个车牌四个顶点的位置,通过四个顶点的位置确定出对应车牌区域的部分,用于后续分割标注,并标注区域内的真实车牌值,用于训练车牌字符检测识别;
步骤二、设计端到端利用语义增强进行车牌检测的网络结构并对车牌图像进行处理:网络结构包括三个功能部分,第一部分是图像分割网络进行车牌区域的分割,第二部分是对提取的车牌区域特征进行语义增强,通过对不同特征层的特征进行卷积处理并融合实现,第三部分是车牌字符检测识别网络对融合后的特征进行车牌字符检测识别,其中对提取的车牌区域特征进行语义增强的具体过程为:主干网络选用ResNet50作为特征提取的网络结构,通过对不同层的特征进行卷积操作得到增强的不同层的特征,然后把增强的不同层的特征进行融合,不同层的特征选择主干网络提取的第二阶段和第三阶段特征,第二阶段特征采用四组卷积数为64的卷积模块进行增强,第三阶段特征采用三组卷积数为128和一组卷积数为64的卷积模块进行增强,每个卷积模块均由3×3卷积、SReLU激活层组成,不同卷积模块包含的卷积核的个数不同,第三阶段特征经过卷积模块进行特征增强后再进行上采样得到的特征与第二阶段特征经过卷积模块进行特征增强后的特征进行特征融合,特征融合采用特征图每个位置值相加的方式,融合后的特征根据车牌区域的分割结果进行感兴趣区域特征提取,图像分割网络得到的车牌的区域特征保留,没有车牌的区域特征设置为零;
步骤三、训练网络,得到训练好的参数模型:将数据集中训练集的图像尺寸由192010243缩放成5125123,按照每次训练需要的图像数量依次输入网络,整个网络的能量损失为车牌分割网络损失与车牌字符检测识别网络的能量损失之和,通过反向传播更新参数,经过250次完整训练集训练迭代后,保存验证集上结果最好的模型参数,作为最终模型训练好的参数,即得到训练好的端到端的车牌检测网络结构;
步骤四、通过推理得到结果:将要进行车牌检测的图像输入训练好的端到端的车牌检测网络进行前向推理得到车牌的检测结果。
2.根据权利要求1所述基于语义增强的端到端车牌检测方法,其特征在于,步骤二所述车牌字符检测识别网络为带有128个隐藏节点的单层长短期记忆网络,将感兴趣区域特征输入车牌字符检测识别网络进行检测识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211094992.XA CN115171092B (zh) | 2022-09-08 | 2022-09-08 | 一种基于语义增强的端到端车牌检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211094992.XA CN115171092B (zh) | 2022-09-08 | 2022-09-08 | 一种基于语义增强的端到端车牌检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115171092A CN115171092A (zh) | 2022-10-11 |
CN115171092B true CN115171092B (zh) | 2022-11-18 |
Family
ID=83482450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211094992.XA Active CN115171092B (zh) | 2022-09-08 | 2022-09-08 | 一种基于语义增强的端到端车牌检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115171092B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106886778A (zh) * | 2017-04-25 | 2017-06-23 | 福州大学 | 一种监控场景下车牌字符分割与识别方法 |
CN107729818A (zh) * | 2017-09-21 | 2018-02-23 | 北京航空航天大学 | 一种基于深度学习的多特征融合车辆重识别方法 |
CN111126401A (zh) * | 2019-10-17 | 2020-05-08 | 安徽清新互联信息科技有限公司 | 一种基于上下文信息的车牌字符识别方法 |
CN111127493A (zh) * | 2019-11-12 | 2020-05-08 | 中国矿业大学 | 基于注意力多尺度特征融合的遥感图像语义分割方法 |
CN111401361A (zh) * | 2020-03-06 | 2020-07-10 | 南京理工大学 | 一种端到端的轻量级深度车牌识别方法 |
CN112364864A (zh) * | 2020-10-23 | 2021-02-12 | 西安科锐盛创新科技有限公司 | 一种车牌识别方法、装置、电子设备及存储介质 |
CN113313115A (zh) * | 2021-06-11 | 2021-08-27 | 浙江商汤科技开发有限公司 | 车牌属性识别方法及装置、电子设备和存储介质 |
CN114898353A (zh) * | 2022-07-13 | 2022-08-12 | 松立控股集团股份有限公司 | 一种基于视频序列图像特征与信息的车牌识别方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10984289B2 (en) * | 2016-12-23 | 2021-04-20 | Shenzhen Institute Of Advanced Technology | License plate recognition method, device thereof, and user equipment |
CN107679531A (zh) * | 2017-06-23 | 2018-02-09 | 平安科技(深圳)有限公司 | 基于深度学习的车牌识别方法、装置、设备及存储介质 |
CN107704857B (zh) * | 2017-09-25 | 2020-07-24 | 北京邮电大学 | 一种端到端的轻量级车牌识别方法及装置 |
US11030466B2 (en) * | 2018-02-11 | 2021-06-08 | Nortek Security & Control Llc | License plate detection and recognition system |
-
2022
- 2022-09-08 CN CN202211094992.XA patent/CN115171092B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106886778A (zh) * | 2017-04-25 | 2017-06-23 | 福州大学 | 一种监控场景下车牌字符分割与识别方法 |
CN107729818A (zh) * | 2017-09-21 | 2018-02-23 | 北京航空航天大学 | 一种基于深度学习的多特征融合车辆重识别方法 |
CN111126401A (zh) * | 2019-10-17 | 2020-05-08 | 安徽清新互联信息科技有限公司 | 一种基于上下文信息的车牌字符识别方法 |
CN111127493A (zh) * | 2019-11-12 | 2020-05-08 | 中国矿业大学 | 基于注意力多尺度特征融合的遥感图像语义分割方法 |
CN111401361A (zh) * | 2020-03-06 | 2020-07-10 | 南京理工大学 | 一种端到端的轻量级深度车牌识别方法 |
CN112364864A (zh) * | 2020-10-23 | 2021-02-12 | 西安科锐盛创新科技有限公司 | 一种车牌识别方法、装置、电子设备及存储介质 |
CN113313115A (zh) * | 2021-06-11 | 2021-08-27 | 浙江商汤科技开发有限公司 | 车牌属性识别方法及装置、电子设备和存储介质 |
CN114898353A (zh) * | 2022-07-13 | 2022-08-12 | 松立控股集团股份有限公司 | 一种基于视频序列图像特征与信息的车牌识别方法 |
Non-Patent Citations (2)
Title |
---|
An Efficient Method for Skew Correction of License Plate;Renlong Pan等;《2010 Second International Workshop on Education Technology and Computer Science》;20100506;全文 * |
基于深度学习的车牌识别算法研究;张璐;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20210715;第2021年卷(第8期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115171092A (zh) | 2022-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111325751B (zh) | 基于注意力卷积神经网络的ct图像分割系统 | |
CN109902806B (zh) | 基于卷积神经网络的噪声图像目标边界框确定方法 | |
CN110210539B (zh) | 多级深度特征融合的rgb-t图像显著性目标检测方法 | |
CN111612008B (zh) | 基于卷积网络的图像分割方法 | |
CN111563508A (zh) | 一种基于空间信息融合的语义分割方法 | |
CN113642390B (zh) | 一种基于局部注意力网络的街景图像语义分割方法 | |
CN110853057B (zh) | 基于全局和多尺度全卷积网络的航拍图像分割方法 | |
CN114898352A (zh) | 一种同时实现图像去雾与车牌检测的方法 | |
CN115063786A (zh) | 一种高位远景模糊车牌检测方法 | |
CN111353544A (zh) | 一种基于改进的Mixed Pooling-YOLOV3目标检测方法 | |
CN112819000A (zh) | 街景图像语义分割系统及分割方法、电子设备及计算机可读介质 | |
CN115424017B (zh) | 一种建筑物内外轮廓分割方法、装置及存储介质 | |
CN112861840A (zh) | 基于多特征融合卷积网络的复杂场景字符识别方法及系统 | |
CN113888505B (zh) | 一种基于语义分割的自然场景文本检测方法 | |
CN114972753A (zh) | 基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统 | |
CN114996495A (zh) | 一种基于多原型和迭代增强的单样本图像分割方法及装置 | |
CN112785610B (zh) | 一种融合低层特征的车道线语义分割方法 | |
CN111881914B (zh) | 一种基于自学习阈值的车牌字符分割方法及系统 | |
CN111612803B (zh) | 一种基于图像清晰度的车辆图像语义分割方法 | |
CN115171092B (zh) | 一种基于语义增强的端到端车牌检测方法 | |
CN114782762B (zh) | 一种垃圾图像检测方法以及小区垃圾站 | |
CN114882490B (zh) | 一种基于点引导定位的无受限场景车牌检测分类方法 | |
CN113255574B (zh) | 城市街道语义分割方法及自动驾驶方法 | |
CN113516114B (zh) | 一种自然场景文本检测方法、设备和介质 | |
CN114998866A (zh) | 一种基于改进YOLOv4的交通标志识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |