CN112633111A - 一种安全帽佩戴检测方法、装置及存储介质 - Google Patents
一种安全帽佩戴检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112633111A CN112633111A CN202011492778.0A CN202011492778A CN112633111A CN 112633111 A CN112633111 A CN 112633111A CN 202011492778 A CN202011492778 A CN 202011492778A CN 112633111 A CN112633111 A CN 112633111A
- Authority
- CN
- China
- Prior art keywords
- safety helmet
- detection
- head
- wearing
- safety
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 46
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 101000742346 Crotalus durissus collilineatus Zinc metalloproteinase/disintegrin Proteins 0.000 claims description 3
- 101000872559 Hediste diversicolor Hemerythrin Proteins 0.000 claims description 3
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims description 2
- 238000012790 confirmation Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000036544 posture Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009430 construction management Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本发明公开了一种安全帽佩戴检测方法、装置及存储介质，该方法主要包括有获取数据、姿态估计、头部区域识别、检测步骤。本发明综合考虑了姿态估计与肤色检测的特征特点，针对施工人员进行姿态估计，对头部区域进行安全帽佩戴检测，弥补传统安全帽检测方法对施工人员复杂姿态的安全帽检测方法的不足。
Description
技术领域
本发明涉及一种安全帽佩戴检测方法、装置及存储介质，属于安全生产图像处理技术领域。
背景技术
安全帽佩戴检测是应用在智能施工管理转型升级的重要手段，在日常生产中，工人因安全措施不到位受伤占生产安全事故的大部分。有关部门对安全生产提出很高要求，在高危作业区域，一般会配有一定数量的安全人员进行管理。尽管各生产单位经常进行安全教育，并配备相关人员督导生产，但是人眼监管总有遗漏风险，不能保证每位生产者时刻安全生产。
随着人工智能的兴起，运用深度学习方法和计算机视觉技术自动检测生产人员是否佩戴安全帽并提供反馈，对安全生产，保障国有资产至关重要。
传统的安全帽佩戴检测方法大多数是使用传统方法提取人体和安全帽特征，或者使用深度卷积神经网络模型去检测施工人员和安全帽，而且现有方法大多针对是直立人员的安全帽检测，而现实的施工作业现场，施工人员的姿态非常多样复杂，所以现有技术方法在施工情况下检测安全帽佩戴的效果并不好。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种安全帽佩戴检测方法、装置及存储介质，能够针对施工人员进行姿态估计，对头部区域进行安全帽佩戴检测。
为达到上述目的，本发明是采用下述技术方案实现的：
第一发面，本发明提供一种安全帽佩戴检测方法，包括以下步骤：
a.对图片数据中的安全帽、人员进行标注处理获得测试数据；
b.将测试数据送入OpenPose模型检测，生成人员骨骼点信息，获取头部，左肩，右肩的位置分别为：H(x0,y0),Ls(x1,y1),Rs(x2,y2) (1)
式中：(xi,yj),(i＝0,1,2；j＝0,1,2)是关键部位在图像中的坐标点；
c.根据人员骨骼点信息进行姿态估计，判断人员为侧面姿态、正面或背面姿态；
d.根据头部，左肩，右肩的位置，对正面或背面姿态采用三点定位法识别头部区域，以H(x0,y0)为中心将Ls(x1,y1),Rs(x2,y2)两点逆时针旋转180°得到新的位置点坐标Ls'(x1',y1'),Rs'(x2',y2')，两点与头部，左肩，右肩的位置关系为
Ls'(2x0-x1,2y0-y1),Rs'(2x0-x2,2y0-y2) (2)
比较以Ls，Rs，Ls'，Rs'四点组成的四边形的对角线LsLs'，RsRs'的大小，
取LsLs'，RsRs'中最长的长度记为d，以点H为中心，边长平行与图片边缘且长度为d的正方形区域作为头部区域，头部区域的四个顶点坐标分别为：
z1(x0-d,y0+d),z2(x0+d,y0+d)
z3(x0-d,y0-d),z4(x0+d,y0-d) (4)
e.对侧面姿态采用肤色检测识别头部区域，将肤色检测后的二值图像进行顶帽变换减少非人脸区域的范围，从而获得头部区域，
式中：f为肤色检测后的二值图像，b为对每个坐标赋以灰度值的函数，
为结构元b对f的开操作；
f.使用YOLO_V4目标检测网络对步骤d或步骤e确定的头部区域进行安全帽佩戴检测，生成训练模型；
g.根据训练模型检测的安全帽区域与头部区域的位置，判定头部区域是否存在安全帽，输出安全帽佩戴结果。
结合第一方面，进一步的，所述步骤g中，若安全帽区域与头部区域相交，判定施工工人佩戴安全帽，否则判定施工工人未佩戴安全帽。
进一步的，所述步骤a中采用VOC2007标注标准对图片数据中的安全帽、人员进行标注处理。
进一步的，所述步骤c中根据人员骨骼点信息，以LsH与RsH为两条边，H为顶点的∠H，若∠H＜30°则判断人员为侧面姿态，反之为正面或背面姿态。
进一步的，所述OpenPose模型由MPII数据集训练得到。
进一步的，所述YOLO_V4目标检测网络为安全帽数据集训练YOLO_V4目标检测网络。
进一步的，所述肤色检测识别头部区域，对图片进行光线补偿并在YCbCr色彩空间上对工人肤色进行聚类。
第二发面，本发明还提供一种安全帽佩戴检测装置，所述装置包括：
获取模块：用于对图片数据中的安全帽、人员进行标注处理获得测试数据；
检测模块：用于生成人员骨骼点信息；
研判模块：根据骨骼点信息估计人员姿态；
定位模块：运用三点定位法或肤色检测法，定位识别头部区域；
确认模块：用于识别确认头部区域的安全帽佩戴检测；
输出模块：用于输出检测结果。
第三发面，本发明提供一种计算机系统，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据所述方法的步骤。
第四发面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述方法的步骤。
与现有技术相比，本发明所达到的有益效果为：
本发明提供的一种安全帽佩戴检测方法，综合考虑了施工人员在施工状态下的复杂姿态，弥补了传统安全帽佩戴检测方法在复杂姿态下检测效果差的不足，克服了传统安全帽检测方法在复杂背景下不能准确定位安全帽区域的问题。
附图说明
图1是本发明实施例一种安全帽佩戴检测方法流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示为本发明实施例提供的一种安全帽佩戴检测方法流程图，本发明使基于头部区域识别的安全帽佩戴检测方法，具体实施包括以下步骤：
(1)对安全帽数据集进行预处理，采用与VOC2007标注标准一致，对图片数据中的安全帽、施工人员使用labellmage工具进行标注处理；
(2)将测试数据送入OpenPose模型进行检测，其中OpenPose模型由MPII数据集训练得到；
(3)生成施工人员骨骼点信息，获取头部，左肩，右肩的位置为，
H(x0,y0),Ls(x1,y1),Rs(x2,y2) ①
式中：(xi,yj),(i＝0,1,2；j＝0,1,2)是关键部位在图像中的坐标点；
(4)对施工人员进行姿态估计，以LsH与RsH为两条边，H为顶点的∠H，若∠H＜30°则判断施工人员为侧面姿态，反之为正面和背面姿态；
(5)对正面和背面姿态采用三点定位法识别头部区域，根据步骤(2)获得头部，左肩，右肩的位置，通过几何运算获得头部区域，以H(x0,y0)为中心将Ls(x1,y1),Rs(x2,y2)两点逆时针旋转180°得到新的位置点坐标Ls'(x1',y1'),Rs'(x2',y2')，两点与头部，左肩，右肩的位置关系为
Ls'(2x0-x1,2y0-y1),Rs'(2x0-x2,2y0-y2) ②
比较以Ls，Rs，Ls'，Rs'四点组成的四边形的对角线LsLs'，RsRs'的大小，
取LsLs'，RsRs'中最长的记其长度为d，以点H为中心，边长平行与图片边缘且长度为d的正方形区域作为头部区域，头部区域的四个顶点坐标分别为，
(6)对侧面姿态采用肤色检测识别头部区域，对图片进行光线补偿并在YCbCr色彩空间上对工人肤色进行K-means聚类，将肤色检测后的二值图像进行顶帽变换减少非人脸区域的范围，从而获得头部区域，
式中：f为肤色检测后的二值图像，b为对每个坐标赋以灰度值的函数，
为结构元b对图像f的开操作；
(7)使用YOLO_V4目标检测网络对步骤(3)和步骤(5)确定的头部区域进行安全帽佩戴检测，生成训练模型，其中使用安全帽数据集训练YOLO_V4目标检测网络生成检测模型；
(8)判断头部区域是否存在安全帽，若安全帽区域与头部区域相交，则判定施工工人佩戴了安全帽，否则判定施工工人未佩戴安全帽，最后输出安全帽佩戴结果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种安全帽佩戴检测方法，其特征在于，包括以下步骤：
a.对图片数据中的安全帽、人员进行标注处理获得测试数据；
b.将测试数据送入OpenPose模型检测，生成人员骨骼点信息，获取头部，左肩，右肩的位置分别为：H(x0,y0),Ls(x1,y1),Rs(x2,y2) (1)
式中：(xi,yj),(i＝0,1,2；j＝0,1,2)是关键部位在图像中的坐标点；
c.根据人员骨骼点信息进行姿态估计，判断人员为侧面姿态、正面或背面姿态；
d.根据头部，左肩，右肩的位置，对正面或背面姿态采用三点定位法识别头部区域，以H(x0,y0)为中心将Ls(x1,y1),Rs(x2,y2)两点逆时针旋转180°得到新的位置点坐标Ls'(x1',y1'),Rs'(x2',y2')，两点与头部，左肩，右肩的位置关系为
Ls'(2x0-x1,2y0-y1),Rs'(2x0-x2,2y0-y2) (2)
比较以Ls，Rs，Ls'，Rs'四点组成的四边形的对角线LsLs'，RsRs'的大小，
取LsLs'，RsRs'中最长的长度记为d，以点H为中心，边长平行与图片边缘且长度为d的正方形区域作为头部区域，头部区域的四个顶点坐标分别为：
e.对侧面姿态采用肤色检测识别头部区域，将肤色检测后的二值图像进行顶帽变换减少非人脸区域的范围，获得头部区域，
式中：f为肤色检测后的二值图像，b为对每个坐标赋以灰度值的函数，
为结构元b对f的开操作；
f.使用YOLO_V4目标检测网络对步骤d或步骤e确定的头部区域进行安全帽佩戴检测，生成训练模型；
g.根据训练模型检测的安全帽区域与头部区域的位置，判定头部区域是否存在安全帽，输出安全帽佩戴结果。
2.根据权利要求1所述的一种安全帽佩戴检测方法，其特征在于，所述步骤g中，若安全帽区域与头部区域相交，判定施工工人佩戴安全帽，否则判定施工工人未佩戴安全帽。
3.根据权利要求1所述的一种安全帽佩戴检测方法，其特征在于，所述步骤a中采用VOC2007标注标准对图片数据中的安全帽、人员进行标注处理。
4.根据权利要求1所述的一种安全帽佩戴检测方法，其特征在于，所述步骤c中根据人员骨骼点信息，以LsH与RsH为两条边，H为顶点的∠H，若∠H＜30°则判断人员为侧面姿态，反之为正面或背面姿态。
5.根据权利要求1所述的一种安全帽佩戴检测方法，其特征在于，所述OpenPose模型由MPII数据集训练得到。
6.根据权利要求1所述的一种安全帽佩戴检测方法，其特征在于，所述YOLO_V4目标检测网络为安全帽数据集训练YOLO_V4目标检测网络。
7.根据权利要求1所述的一种安全帽佩戴检测方法，其特征在于，所述肤色检测识别头部区域，对图片进行光线补偿并在YCbCr色彩空间上对工人肤色进行聚类。
8.一种安全帽佩戴检测装置，其特征在于，所述装置包括：
获取模块：用于对图片数据中的安全帽、人员进行标注处理获得测试数据；
检测模块：用于生成人员骨骼点信息；
研判模块：根据骨骼点信息估计人员姿态；
定位模块：运用三点定位法或肤色检测法，定位识别头部区域；
确认模块：用于识别确认头部区域的安全帽佩戴检测；
输出模块：用于输出检测结果。
9.一种计算机系统，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1～7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011492778.0A CN112633111B (zh) | 2020-12-17 | 2020-12-17 | 一种安全帽佩戴检测方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011492778.0A CN112633111B (zh) | 2020-12-17 | 2020-12-17 | 一种安全帽佩戴检测方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112633111A true CN112633111A (zh) | 2021-04-09 |
| CN112633111B CN112633111B (zh) | 2024-03-15 |
Family
ID=75316669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011492778.0A Active CN112633111B (zh) | 2020-12-17 | 2020-12-17 | 一种安全帽佩戴检测方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112633111B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113033515A (zh) * | 2021-05-24 | 2021-06-25 | 北京每日优鲜电子商务有限公司 | 穿戴检测方法与装置、电子设备和计算机可读存储介质 |
| CN113256934A (zh) * | 2021-05-18 | 2021-08-13 | 哈尔滨理工大学 | 一种高空作业人员安全检测系统 |
| CN113822242A (zh) * | 2021-11-19 | 2021-12-21 | 中化学交通建设集团有限公司 | 一种基于图像识别技术的安全帽佩戴识别方法和装置 |
| CN114241513A (zh) * | 2021-11-12 | 2022-03-25 | 佛山中科云图智能科技有限公司 | 一种安全帽检测方法、检测装置、存储介质和计算机设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263686A (zh) * | 2019-06-06 | 2019-09-20 | 温州大学 | 一种基于深度学习的施工工地图像安全帽检测方法 |
| AU2020100711A4 (en) * | 2020-05-05 | 2020-06-11 | Chang, Cheng Mr | The retrieval system of wearing safety helmet based on deep learning |
| CN111539276A (zh) * | 2020-04-14 | 2020-08-14 | 国家电网有限公司 | 一种在电力场景下安全帽实时检测的方法 |
-
2020
- 2020-12-17 CN CN202011492778.0A patent/CN112633111B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263686A (zh) * | 2019-06-06 | 2019-09-20 | 温州大学 | 一种基于深度学习的施工工地图像安全帽检测方法 |
| CN111539276A (zh) * | 2020-04-14 | 2020-08-14 | 国家电网有限公司 | 一种在电力场景下安全帽实时检测的方法 |
| AU2020100711A4 (en) * | 2020-05-05 | 2020-06-11 | Chang, Cheng Mr | The retrieval system of wearing safety helmet based on deep learning |
Non-Patent Citations (1)
| Title |
|---|
| 徐守坤;倪楚涵;吉晨晨;李宁;: "一种基于安全帽佩戴检测的图像描述方法研究", 小型微型计算机系统, no. 04, 9 April 2020 (2020-04-09) * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256934A (zh) * | 2021-05-18 | 2021-08-13 | 哈尔滨理工大学 | 一种高空作业人员安全检测系统 |
| CN113033515A (zh) * | 2021-05-24 | 2021-06-25 | 北京每日优鲜电子商务有限公司 | 穿戴检测方法与装置、电子设备和计算机可读存储介质 |
| CN114241513A (zh) * | 2021-11-12 | 2022-03-25 | 佛山中科云图智能科技有限公司 | 一种安全帽检测方法、检测装置、存储介质和计算机设备 |
| CN113822242A (zh) * | 2021-11-19 | 2021-12-21 | 中化学交通建设集团有限公司 | 一种基于图像识别技术的安全帽佩戴识别方法和装置 |
| CN113822242B (zh) * | 2021-11-19 | 2022-02-25 | 中化学交通建设集团有限公司 | 一种基于图像识别技术的安全帽佩戴识别方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112633111B (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112633111B (zh) | 一种安全帽佩戴检测方法、装置及存储介质 | |
| CN111160440B (zh) | 一种基于深度学习的安全帽佩戴检测方法及装置 | |
| CN108460345A (zh) | 一种基于人脸关键点定位的面部疲劳检测方法 | |
| CN104063722B (zh) | 一种融合hog人体目标检测和svm分类器的安全帽识别方法 | |
| CN100452081C (zh) | 一种人眼定位及人眼状态识别方法 | |
| CN105809144A (zh) | 一种采用动作切分的手势识别系统和方法 | |
| CN111539276B (zh) | 一种在电力场景下安全帽实时检测的方法 | |
| CN105574518A (zh) | 人脸活体检测的方法和装置 | |
| CN104951773A (zh) | 一种实时人脸识别监视系统 | |
| CN105046219A (zh) | 一种人脸识别系统 | |
| CN105138954A (zh) | 一种图像自动筛选查询识别系统 | |
| CN101964064A (zh) | 一种人脸比对方法 | |
| CN101968846A (zh) | 一种人脸跟踪方法 | |
| Hasan et al. | Features fitting using multivariate gaussian distribution for hand gesture recognition | |
| CN106599785A (zh) | 人体3d特征身份信息库的建立方法及设备 | |
| CN106611158A (zh) | 人体3d特征信息的获取方法及设备 | |
| CN107103271A (zh) | 一种人脸检测方法 | |
| CN116259002A (zh) | 一种基于视频的人体危险行为分析方法 | |
| Li et al. | Head pose classification based on line portrait | |
| CN114241542A (zh) | 基于图像拼接的人脸识别方法 | |
| Pantic et al. | Facial action recognition in face profile image sequences | |
| CN105184273A (zh) | 一种基于asm的动态图像正面人脸重建系统及方法 | |
| CN115995097A (zh) | 一种基于深度学习的安全头盔佩戴标准判断方法 | |
| CN110674751A (zh) | 一种基于单目摄像机检测头部姿态的装置及方法 | |
| Peng et al. | A robust and efficient algorithm for eye detection on gray intensity face |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |