CN109731708A - 基于图像识别的汽车维修自动喷漆方法 - Google Patents
基于图像识别的汽车维修自动喷漆方法 Download PDFInfo
- Publication number
- CN109731708A CN109731708A CN201811609245.9A CN201811609245A CN109731708A CN 109731708 A CN109731708 A CN 109731708A CN 201811609245 A CN201811609245 A CN 201811609245A CN 109731708 A CN109731708 A CN 109731708A
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- paint
- spray painting
- driving device
- auto
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Spray Control Apparatus (AREA)
- Application Of Or Painting With Fluid Materials (AREA)
Abstract
本发明涉及一种基于图像识别的汽车维修自动喷漆方法,数字摄像头分别安装于喷漆室八个顶角;高周波萤光灯源安装在喷漆室前后左右以及上方;数字摄像头通过图像采集卡接计算机信号处理系统;计算机信号处理系统通过机械臂驱动装置接机械臂;多色喷漆存储箱与机械臂、机械臂驱动装置连接;通过在汽车破损掉漆处周围粘贴若干荧光标签,在荧光灯的照射下产生明显标记圈,经过多目摄像头的拍摄,将图像信息通过图像采集卡传给计算机,计算机通过图像识别技术,自动确认汽车车身的喷漆颜色及破损处的三维空间坐标,进行喷头路径规划后,通过机械臂驱动装置驱动机械臂进行自动喷漆修复处理。替代了人工喷漆,降低了人工成本,减少了对维修工人健康的损害。
Description
技术领域
本发明涉及一种图像识别处理和多轴机械臂控制技术,特别涉及一种基于图像识别的汽车维修自动喷漆方法。
背景技术
随着私家车的普及,越来越多的家庭拥有了自己的汽车,这也使得发生交通事故的频率越来越高,很多汽车发生剐蹭及碰撞事故,汽车外壳变形掉漆,不得不去维修店进行钣金喷漆等修复工作,然而,破损处喷漆这道工序一直是由人工操作的,一方面是因为破损处一般大小不一,另一方面是由于破损位置各不一样,所以使用固定编程的机械手进行批量操作变得不切实际,因此受此需求的启发设计了这套系统。
目前的视觉定位领域中,所应用的摄像头主要有单目摄像头和双目摄像头两类。单目摄像头需要对目标进行识别,在此基础上再进行测距。而双目摄像头则更加像人类的双眼,不需要知道目标物是什么,只要通过计算就可以测距。在三维立体空间定位应用中,一般都是由双摄像机从不同角度同时获得被测物的两幅数字图像,或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像,并基于视差原理恢复出物体的三维几何信息,重建物体三维轮廓及位置。
而机械臂是在机械化,自动化生产过程中发展起来的一种新型装置。它的特点是可通过编程来完成各种预期的作业任务,在构造和性能上兼有人和机器各自的优点,尤其体现了人的智能和适应性。在现代生产过程中,机械臂被广泛的运用于自动生产线中,不仅有利于提高材料的传送、工件的装卸以及机器的装配等的自动化程度,而且可以提高劳动生产率,降低生产成本。另外在高温、高压、低温、低压、有灰尘、有放射性或有其它毒性污染以及工作空间狭窄等场合中,机械手臂也是代替人工的不二选择。
发明内容
本发明是针对机械手实现自动喷漆的问题,提出了一种基于图像识别的汽车维修自动喷漆方法,可以自动识别汽车外壳漆的颜色,确定汽车损坏掉漆的区域,并驱动多轴机械臂选择相同颜色的漆进行定点喷涂操作,完成修复工作。
本发明的技术方案为:一种基于图像识别的汽车维修自动喷漆方法,具体包括如下步骤:
1)工作人员将汽车破损处进行人工清洁,并在破损处周围粘贴若干荧光标签;
2)建立基于图像识别的汽车维修自动喷漆系统:8个标准分辨率数字摄像头分别安装于喷漆室八个顶角;机械臂安装于喷漆室的天花板上;5个高周波萤光灯源分别安装在喷漆室前后左右以及上方;数字摄像头通过图像采集卡接计算机信号处理系统;计算机信号处理系统通过机械臂驱动装置接机械臂;多色喷漆存储箱与机械臂、机械臂驱动装置连接;
3)被贴荧光标签的待喷漆的汽车进入喷漆室,开启5个高周波萤光灯源,图像采集卡将从所有数字摄像头采集到的数字图像信号发送给计算机信号处理系统后,计算机信号处理系统进行荧光标签识别,识别出荧光标签,说明为目标区域图像;然后对图像进行预处理,对标签区域进行定位和颜色识别;计算机信号处理系统将规划好的路径信息和车体颜色信息发送给机械臂驱动装置,机械臂驱动装置驱动机械臂喷头管道与多色喷漆存储箱对应颜色管道连通后,机械臂驱动装置驱动机械臂喷头按路径信息进行均匀喷涂油漆。
所述计算机信号处理系统识别出荧光标签后,调用函数库内的函数对图像进行灰度化、二值化以及平滑去燥预处理,得到只留下标签轮廓关键信息,提取汽车破损区域的大致形状和面积;对标签区域进行X轴、Y轴定位、Z轴定位,最后基于计算机破损模板视觉库进行类比来确认破损区域的最终坐标参数。
所述计算机信号处理系统在确定一处破损区域坐标参数之后,先自检机械臂末端的喷头当前空间位置初始坐标,在初始位置坐标和目标位置坐标之间用多项式函数“内插”来抵近最短的遍历路径,并沿着时间轴产生一系列的可供机械臂使用的各时间节点所需抵达的具体位置,形成破损区域内喷射路径;若检测识别到多个破损区域,则根据识别区域距离初始位置坐标的远近依次首尾相连,分别规划遍历路径,直至到达最远处的破损区域目标位置为止,形成完整的修改规划路径。
所述多色喷漆存储箱内部安放有若干不同颜色的油漆存储罐,并且每个油漆存储罐均通过独立的管道与喷头相连,喷头是惟一的,喷头可以在各个管道间相互切换,计算机信号处理系统识别出车体颜色后将颜色信息传输给机械臂驱动装置,机械臂驱动装置驱动喷头切换至选定颜色的油漆。
本发明的有益效果在于:本发明基于图像识别的汽车维修自动喷漆方法,采用自动识别、自动选择、自动控制的全自动化设备,有效减少了人工参与的工作量和工人接触油漆这类易治病物质的工作时间,在提高工作效率的同时也节省了油漆的使用量,降低了维修店喷漆的成本,并且根据破损位置的不同,车体颜色的不同,该系统均可做出准确的判断与识别,让维修工作变得更加灵活机动。
附图说明
图1本发明基于图像识别的汽车维修自动喷漆方法运行流程框图;
图2为本发明基于图像识别的汽车维修自动喷漆系统整体结构示意图。
具体实施方式
如图1所示运行流程图,需要工作人员将汽车破损处进行人工清洁,并在破损处周围粘贴若干荧光标签,以此来提高图像识别的准确率。由于汽车破损掉漆位置一般不包括汽车底盘,因此高周波萤光灯源3时只需安装在喷漆室前后左右以及上方,下方不需要,如图2所示系统整体结构示意图。
8个标准分辨率数字摄像头2分别安装于喷漆室八个顶角,其目的是为了使汽车表面任意一处都至少同时被2个摄像头所拍摄到,能有效提高标签的识别成功率。
当图像采集卡7将从所有数字摄像头2采集到的数字图像信号发送给计算机信号处理系统4后,进行荧光标签识别,识别出荧光标签,说明为目标区域图像,然后调用函数库内的函数对图像进行灰度化、二值化以及平滑去燥等预处理操作,这样做的目的是不仅能大大减小运算数据量还能去除无关信息只留下标签轮廓等关键信息便于提取汽车破损区域的大致形状和面积;对标签区域进行X轴、Y轴定位、Z轴定位,最后基于计算机破损模板视觉库进行类比来确认破损区域的最终坐标参数;在确定一处破损区域坐标参数之后,先自检机械臂1末端的喷头当前空间位置初始坐标,在初始位置坐标和目标位置坐标之间用多项式函数“内插”来抵近最短的遍历路径,并沿着时间轴产生一系列的可供碳纤维机械臂1使用的“控制设定点”(控制设定点是指机械臂各个轴关节的空间坐标,指定各轴关节在各时间节点所需抵达的具体位置,大臂带动小臂将机械臂末端的喷头送至指定坐标处),形成破损区域内喷射路径;若检测识别到多个破损区域,则根据识别区域距离初始位置坐标的远近依次首尾相连,分别规划遍历路径,直至到达最远处的破损区域目标位置为止,形成完整的修补规划路径。计算机信号处理系统4在规划好这些路径后,将给定路径信息发送给机械臂驱动装置5,机械臂驱动装置5内部使用高性能单片机,单片机结构体函数参数入口自动将给定路径的三维坐标值处理成可驱动步进电机的电信号,并根据计算机信号处理系统4识别的车体颜色控制油漆管道自动切换至目标色彩。
由于机械臂1安装于喷漆室的天花板上,并且喷漆操作所需臂力较小精度要求不是特别高,因此没有必要使用高精度大臂力的金属机械臂,同时考虑到喷漆时的反冲效应,需选择刚性较强且较轻便的三轴联动微型碳纤维机械臂1,其臂力小于1㎏,但可满足设计需要。
所述碳纤维机械臂1安装于喷漆室的顶部中央,并与机械臂驱动装置5和多色喷漆存储箱6相连接。
在多色喷漆存储箱6内部安放有若干不同颜色的油漆存储罐,并且每个油漆存储罐均通过独立的管道与喷头相连,喷头是惟一的,喷头可以在各个管道间相互切换。计算机信号处理系统4识别出车体颜色后将颜色信息传输给机械臂驱动装置5,随即切换至选定颜色的油漆。待机械臂驱动装置5接收到最优规划路径后,自动将路径信息转换为各轴步进电机的驱动信号,步进电机通过同步带控制机械臂的空间位置,位于碳纤维机械臂1末端的喷头的空间位置也会随之不断发生改变,在喷头抵达预定初始位置后,开启喷头阀门,按预定规划路径均匀喷涂油漆,进行维修工作。
Claims (4)
1.一种基于图像识别的汽车维修自动喷漆方法,其特征在于,具体包括如下步骤:
1)工作人员将汽车破损处进行人工清洁,并在破损处周围粘贴若干荧光标签;
2)建立基于图像识别的汽车维修自动喷漆系统:8个标准分辨率数字摄像头分别安装于喷漆室八个顶角;机械臂安装于喷漆室的天花板上;5个高周波萤光灯源分别安装在喷漆室前后左右以及上方;数字摄像头通过图像采集卡接计算机信号处理系统;计算机信号处理系统通过机械臂驱动装置接机械臂;多色喷漆存储箱与机械臂、机械臂驱动装置连接;
3)被贴荧光标签的待喷漆的汽车进入喷漆室,开启5个高周波萤光灯源,图像采集卡将从所有数字摄像头采集到的数字图像信号发送给计算机信号处理系统后,计算机信号处理系统进行荧光标签识别,识别出荧光标签,说明为目标区域图像;然后对图像进行预处理,对标签区域进行定位和颜色识别;计算机信号处理系统将规划好的路径信息和车体颜色信息发送给机械臂驱动装置,机械臂驱动装置驱动机械臂喷头管道与多色喷漆存储箱对应颜色管道连通后,机械臂驱动装置驱动机械臂喷头按路径信息进行均匀喷涂油漆。
2.根据权利要求1所述基于图像识别的汽车维修自动喷漆方法,其特征在于,所述计算机信号处理系统识别出荧光标签后,调用函数库内的函数对图像进行灰度化、二值化以及平滑去燥预处理,得到只留下标签轮廓关键信息,提取汽车破损区域的大致形状和面积;对标签区域进行X轴、Y轴定位、Z轴定位,最后基于计算机破损模板视觉库进行类比来确认破损区域的最终坐标参数。
3.根据权利要求2所述基于图像识别的汽车维修自动喷漆方法,其特征在于,所述计算机信号处理系统在确定一处破损区域坐标参数之后,先自检机械臂末端的喷头当前空间位置初始坐标,在初始位置坐标和目标位置坐标之间用多项式函数“内插”来抵近最短的遍历路径,并沿着时间轴产生一系列的可供机械臂使用的各时间节点所需抵达的具体位置,形成破损区域内喷射路径;若检测识别到多个破损区域,则根据识别区域距离初始位置坐标的远近依次首尾相连,分别规划遍历路径,直至到达最远处的破损区域目标位置为止,形成完整的修改规划路径。
4.根据权利要求1至3中任意一下所述基于图像识别的汽车维修自动喷漆方法,其特征在于,所述多色喷漆存储箱内部安放有若干不同颜色的油漆存储罐,并且每个油漆存储罐均通过独立的管道与喷头相连,喷头是惟一的,喷头可以在各个管道间相互切换,计算机信号处理系统识别出车体颜色后将颜色信息传输给机械臂驱动装置,机械臂驱动装置驱动喷头切换至选定颜色的油漆。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811609245.9A CN109731708B (zh) | 2018-12-27 | 2018-12-27 | 基于图像识别的汽车维修自动喷漆方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811609245.9A CN109731708B (zh) | 2018-12-27 | 2018-12-27 | 基于图像识别的汽车维修自动喷漆方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109731708A true CN109731708A (zh) | 2019-05-10 |
CN109731708B CN109731708B (zh) | 2021-04-30 |
Family
ID=66361414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811609245.9A Active CN109731708B (zh) | 2018-12-27 | 2018-12-27 | 基于图像识别的汽车维修自动喷漆方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109731708B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111123853A (zh) * | 2019-11-25 | 2020-05-08 | 浙江明泉工业涂装有限公司 | 一种对汽车内表面喷涂检测与补救的机器人的控制方法 |
CN111889258A (zh) * | 2020-07-08 | 2020-11-06 | 谢超奇 | 喷漆材料颜色自动定制系统及方法 |
CN113649206A (zh) * | 2021-08-26 | 2021-11-16 | 江苏科技大学 | 一种用于船体建造喷漆的轨迹生成优化方法 |
CN113893979A (zh) * | 2021-11-02 | 2022-01-07 | 深圳市索威尔科技开发有限公司 | 一种车辆自动喷涂方法及装置 |
CN114323283A (zh) * | 2021-12-30 | 2022-04-12 | 中铭谷智能机器人(广东)有限公司 | 一种钣金颜色特征智能识别框选方法 |
CN114749299A (zh) * | 2022-04-26 | 2022-07-15 | 广东天太机器人有限公司 | 一种喷涂修复带电作业工具的控制系统及方法 |
CN115228690A (zh) * | 2022-08-08 | 2022-10-25 | 深圳市深赛尔股份有限公司 | 一种基于环保水性卷钢涂料的漆面修补装置和方法 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2045463B (en) * | 1979-04-03 | 1983-04-20 | Hall Automation Ltd | Arrangement for controlling an operation performed on a workpiece |
GB2180173B (en) * | 1985-07-31 | 1990-02-28 | Honda Motor Co Ltd | Painting process and apparatus |
EP1384521A1 (de) * | 2002-07-25 | 2004-01-28 | Dürr Systems GmbH | Verfahren zum Beschichten von Werkstücken mit einem Zerstäuber, dem ein Verdünner zugeführt wird |
US20090017199A1 (en) * | 2007-07-10 | 2009-01-15 | Alex Kotyakov | Clear-coat scratch repair composition and refinishing process |
CN103240739A (zh) * | 2013-05-07 | 2013-08-14 | 武汉科技大学 | 一种移动机械臂分散集中自主切换控制方法 |
CN205074157U (zh) * | 2015-03-19 | 2016-03-09 | 何守印 | 智能汽车喷漆烤漆一体化机器人 |
CN106861982A (zh) * | 2017-03-02 | 2017-06-20 | 东软集团股份有限公司 | 喷涂控制方法及装置 |
CN107486860A (zh) * | 2017-09-05 | 2017-12-19 | 毛慧 | 一种工程机械机械臂的控制方法 |
CN107972032A (zh) * | 2017-11-13 | 2018-05-01 | 广东工业大学 | 一种关节臂机器人的控制方法及装置 |
CN108745837A (zh) * | 2018-08-21 | 2018-11-06 | 麦特汽车服务股份有限公司 | 一种汽车维修自动喷漆实现方法 |
US20180326591A1 (en) * | 2015-11-09 | 2018-11-15 | ATENSOR Engineering and Technology Systems GmbH | Automatic detection and robot-assisted machining of surface defects |
CN108994838A (zh) * | 2018-08-21 | 2018-12-14 | 智久(厦门)机器人科技有限公司上海分公司 | 机器人位置与规划路径的关系计算方法及系统 |
CN109046901A (zh) * | 2018-08-03 | 2018-12-21 | 徐州汉龙智能科技有限公司 | 一种汽车漆修补轨迹规划方法 |
-
2018
- 2018-12-27 CN CN201811609245.9A patent/CN109731708B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2045463B (en) * | 1979-04-03 | 1983-04-20 | Hall Automation Ltd | Arrangement for controlling an operation performed on a workpiece |
GB2180173B (en) * | 1985-07-31 | 1990-02-28 | Honda Motor Co Ltd | Painting process and apparatus |
EP1384521A1 (de) * | 2002-07-25 | 2004-01-28 | Dürr Systems GmbH | Verfahren zum Beschichten von Werkstücken mit einem Zerstäuber, dem ein Verdünner zugeführt wird |
US20090017199A1 (en) * | 2007-07-10 | 2009-01-15 | Alex Kotyakov | Clear-coat scratch repair composition and refinishing process |
CN103240739A (zh) * | 2013-05-07 | 2013-08-14 | 武汉科技大学 | 一种移动机械臂分散集中自主切换控制方法 |
CN205074157U (zh) * | 2015-03-19 | 2016-03-09 | 何守印 | 智能汽车喷漆烤漆一体化机器人 |
US20180326591A1 (en) * | 2015-11-09 | 2018-11-15 | ATENSOR Engineering and Technology Systems GmbH | Automatic detection and robot-assisted machining of surface defects |
CN106861982A (zh) * | 2017-03-02 | 2017-06-20 | 东软集团股份有限公司 | 喷涂控制方法及装置 |
CN107486860A (zh) * | 2017-09-05 | 2017-12-19 | 毛慧 | 一种工程机械机械臂的控制方法 |
CN107972032A (zh) * | 2017-11-13 | 2018-05-01 | 广东工业大学 | 一种关节臂机器人的控制方法及装置 |
CN109046901A (zh) * | 2018-08-03 | 2018-12-21 | 徐州汉龙智能科技有限公司 | 一种汽车漆修补轨迹规划方法 |
CN108745837A (zh) * | 2018-08-21 | 2018-11-06 | 麦特汽车服务股份有限公司 | 一种汽车维修自动喷漆实现方法 |
CN108994838A (zh) * | 2018-08-21 | 2018-12-14 | 智久(厦门)机器人科技有限公司上海分公司 | 机器人位置与规划路径的关系计算方法及系统 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111123853A (zh) * | 2019-11-25 | 2020-05-08 | 浙江明泉工业涂装有限公司 | 一种对汽车内表面喷涂检测与补救的机器人的控制方法 |
CN111123853B (zh) * | 2019-11-25 | 2021-05-14 | 浙江明泉工业涂装有限公司 | 一种对汽车内表面喷涂检测与补救的机器人的控制方法 |
WO2021103153A1 (zh) * | 2019-11-25 | 2021-06-03 | 浙江明泉工业涂装有限公司 | 一种对汽车内表面喷涂检测与补救的机器人的控制方法 |
CN111889258A (zh) * | 2020-07-08 | 2020-11-06 | 谢超奇 | 喷漆材料颜色自动定制系统及方法 |
WO2022007121A1 (zh) * | 2020-07-08 | 2022-01-13 | 谢超奇 | 喷漆材料颜色自动定制系统及方法 |
CN113649206A (zh) * | 2021-08-26 | 2021-11-16 | 江苏科技大学 | 一种用于船体建造喷漆的轨迹生成优化方法 |
CN113893979A (zh) * | 2021-11-02 | 2022-01-07 | 深圳市索威尔科技开发有限公司 | 一种车辆自动喷涂方法及装置 |
CN114323283A (zh) * | 2021-12-30 | 2022-04-12 | 中铭谷智能机器人(广东)有限公司 | 一种钣金颜色特征智能识别框选方法 |
CN114749299A (zh) * | 2022-04-26 | 2022-07-15 | 广东天太机器人有限公司 | 一种喷涂修复带电作业工具的控制系统及方法 |
CN114749299B (zh) * | 2022-04-26 | 2022-11-04 | 广东天太机器人有限公司 | 一种喷涂修复带电作业工具的控制系统及方法 |
CN115228690A (zh) * | 2022-08-08 | 2022-10-25 | 深圳市深赛尔股份有限公司 | 一种基于环保水性卷钢涂料的漆面修补装置和方法 |
CN115228690B (zh) * | 2022-08-08 | 2023-08-08 | 深圳市深赛尔股份有限公司 | 一种基于环保水性卷钢涂料的漆面修补装置和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109731708B (zh) | 2021-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109731708A (zh) | 基于图像识别的汽车维修自动喷漆方法 | |
CN110524580B (zh) | 一种焊接机器人视觉组件及其测量方法 | |
CN110524582B (zh) | 一种柔性组对焊接机器人工作站 | |
CN109671123B (zh) | 一种基于单目视觉的鞋底喷胶设备及方法 | |
CN208033202U (zh) | 一种自动激光清洗装置 | |
CN106163771A (zh) | 用于机器人3d打印的方法及系统 | |
CN104634787A (zh) | 一种汽车车身外表面喷漆瑕疵自动检测装置与方法 | |
CN114720475A (zh) | 一种汽车车身漆面缺陷智能检测与打磨系统及方法 | |
CN109684709A (zh) | 一种航空发动机叶片修复的自适应定位方法 | |
CN112643207B (zh) | 基于计算机视觉的激光自动除锈系统及方法 | |
CN111906788B (zh) | 一种基于机器视觉的卫浴智能打磨系统及其打磨方法 | |
CN110411338A (zh) | 机器人电弧增材修复的焊枪工具参数三维扫描标定方法 | |
CN113600358A (zh) | 一种双目视觉检测缺陷的移动机器人标记装置 | |
CN105479740A (zh) | 一种物体自动上色装置及方法 | |
CN109129480A (zh) | 一种基于双目3d定位的机械臂加工系统 | |
CN117047237A (zh) | 一种异形件智能柔性焊接系统与方法 | |
CN110057338B (zh) | 一种基于复合测量的工件原点自适应设置方法 | |
CN109822575B (zh) | 一种利用投影特征图像进行移动加工的机器人系统及方法 | |
CN210847488U (zh) | 基于计算机视觉的机器人激光清洗路径规划装置 | |
CN106271235B (zh) | 基于机器视觉的焊道定位方法及装置 | |
CN104361162A (zh) | 转向架侧梁外缝智能离线编程工艺方法 | |
CN114800574B (zh) | 一种基于双三维相机的机器人自动化焊接系统及方法 | |
CN210551358U (zh) | 一种焊接机器人视觉组件 | |
CN114720476A (zh) | 一种针对汽车车身漆面缺陷智能检测与打磨方法 | |
CN115112018A (zh) | 一种基于立体视觉的三坐标机智能复合联检系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |