CN105423913A - 基于线结构光扫描的三维坐标测量方法 - Google Patents

基于线结构光扫描的三维坐标测量方法 Download PDF

Info

Publication number
CN105423913A
CN105423913A CN201510758707.3A CN201510758707A CN105423913A CN 105423913 A CN105423913 A CN 105423913A CN 201510758707 A CN201510758707 A CN 201510758707A CN 105423913 A CN105423913 A CN 105423913A
Authority
CN
China
Prior art keywords
laser
laser rays
camera
article
semi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510758707.3A
Other languages
English (en)
Other versions
CN105423913B (zh
Inventor
欧阳祥波
李克天
李超林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute
Original Assignee
Guangdong University of Technology
Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology, Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute filed Critical Guangdong University of Technology
Priority to CN201510758707.3A priority Critical patent/CN105423913B/zh
Publication of CN105423913A publication Critical patent/CN105423913A/zh
Application granted granted Critical
Publication of CN105423913B publication Critical patent/CN105423913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G01B11/005Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了基于线结构光扫描的三维坐标测量方法,包括如下步骤:S1、线激光器发出激光,在被测物上形成激光线;S2、获得被测物上形成的激光线对应的图像信息;S3控制处理系统根据S2的图像信息计算出对应的三维坐标,并控制物体运动一个确定的距离;S4重复步骤S2-S3,获得被测物完整的三维坐标。采用本发明的方法,线激光器在被测物体上形成的激光线通过光学系统的多次反射,只需要一个相机就可以从不同位置获取激光线的图像信息,解决了单相机视觉传感器中的遮挡问题,达到双相机视觉传感器的效果,但成本更低,控制处理系统更简单。

Description

基于线结构光扫描的三维坐标测量方法
技术领域
本发明属于线结构光扫描测量技术领域,具体基于线结构光扫描的三维坐标测量方法。
背景技术
线结构光扫描测量装置是由激光器向被测物体反射光平面,光平面与被测物体表面相交,形成一条激光线。该激光线是一条平面曲线,激光线的形状与被测物体表面的几何形状相关,相机采集激光线的图像信息并应用机器视觉相关算法,可得到激光线上点的三维坐标;配以一定的机械(扫描)装置,就能够获得被测物体的完整的三维信息。线结构光扫描测量的精度适中,结构相对简单,故在产品质量检测、逆向工程、文物修复等方面都有广泛的应用。
根据测量原理,线结构光扫描测量的视觉传感器中只需要一个相机、一个激光器就可以完成三维坐标的获取,但在实际应用中为了避免物体本身对激光线的遮挡而导致相机无法采集到图像信息,通常在激光器的左右两边各安装一个相机。测量过程中,当一个相机被遮挡时,另一个相机还可以采集激光线图像信息,从而完成三维测量。双相机结构的视觉传感器较好地解决了测量过程中的遮挡问题,但增加了视觉传感器的制造成本,体积较大,扫描测量的过程中还要求两个相机同步采集。
国内外的单摄像机双目视觉传感器主要用于立体视觉测量,这类方法依据双目视差原理,完成空间坐标点的测量,需要不同角度的两幅图像才能完成坐标测量。CN103278139A公开了“一种可变焦单双目视觉传感装置”,该方案要求摄像机安装在高精度的云台上,通过控制云台的转动来实现单双目的切换。
发明内容
针对上述缺陷,本发明目的在于提供一种基于线结构光扫描的三维坐标测量方法,本方法只需要一个相机就可以从不同位置获取激光线的图像,解决了单相机视觉传感器中的遮挡问题,达到双相机视觉传感器的效果,但成本更低,控制处理系统更简单。
为了达到上述目的,本发明采用如下的技术方案:
基于线结构光扫描的三维坐标测量方法,包括如下步骤:
S1、启动线激光器,线激光器发射的激光与被测物体的表面相交,反射形成激光线;
S2、步骤S1中形成的激光线被被测物体本身遮挡或被左反射镜和/或右反射镜反射;
若激光线被被测物体本身遮挡,则控制被测物体运动,直到激光线被左反射镜和/或右反射镜反射;
若激光线被左反射镜和/或右反射镜反射,则:
当激光线被左反射镜反射时,激光线则被左反射镜向半透半反镜反射,然后被半透半反镜向相机反射,在相机上形成第一条激光线,相机获取第一条激光线的图像信息;
当激光线被右反射镜反射时,激光线则被右反射镜向后反射镜反射,然后被后反射镜反射,透过半透半反镜,在相机上形成第二条激光线,相机获取第二条激光线的图像信息;
S3、将步骤S2中获得的第一条关于激光线的图像信息和/或第二条关于激光线的图像信息传送至控制处理系统中,由控制处理系统计算出第一条关于激光线和/或第二条关于激光线对应的被测物体的三维坐标;
S4、控制被测物体运动,重复步骤S2-S3,获得被测物体不同位置的三维坐标,结合被测物体运动的位移量数据,控制处理系统获得被测物体完整的三维坐标信息。
作为本发明基于线结构光扫描的三维坐标测量方法的一种改进,在步骤S1之前还包括预调试步骤:
所述预调试步骤中包括步骤S1-S2,若相机能同时获得第一条激光线和第二条激光线的图像信息,则调整左反射镜、右反射镜、半透半反镜以及后反射镜的位置角度,使得第一条激光线和第二条激光线在相机上形成的图像相互分离。
作为本发明基于线结构光扫描的三维坐标测量方法的另一种改进,所述左反射镜和右反射镜之间水平间隔并呈夹角设置在线激光器的两侧,后反射镜和半透半反镜之间垂直间隔并呈夹角设置在相机和线激光器之间,相机设置在背离线激光器激光出射端的一侧,后反射镜位于靠近线激光器的一侧、半透半反镜位于靠近相机的一侧,其中后反射镜的镜面与右反射镜的镜面相对应,半透半反镜的镜面与左反射镜的镜面相对应。
作为本发明基于线结构光扫描的三维坐标测量方法的再一种改进,所述的相机中安装有带通滤光片。
本发明与现有技术相比,具有如下的有益效果:
(1)采用本发明的方法,线激光器在被测物体上形成的激光线通过光学系统的多次反射,只需要一个相机就可以从不同位置获取激光线的图像信息,解决了单相机视觉传感器中的遮挡问题,达到双相机视觉传感器的效果,但成本更低,控制处理系统更简单。
(2)在本发明中,相机采集的是多次反射后的图像信息,相机和激光线之间的光路更长,在同等情况下可选择焦距更大、畸变更小的镜头,有利于提高测量的精度。
附图说明
图1为本发明基于线结构光扫描的三维坐标测量方法的流程图;
图2为激光光线的光路图;
图中:1、被测物体;2、线激光器;3、相机;4、半透半反镜;5、左反射镜;6、后反射镜;7、右反射镜;8、激光线;301、虚拟相机;302、虚拟相机。
具体实施方式
参考图1-2,本发明基于线结构光扫描的三维坐标测量方法具体包括如下步骤:
S1、启动线激光器2,线激光器2发射的激光在被测物体1的表面上相交,反射形成激光线8;
S2、步骤S2中形成的激光线8被被测物体1本身遮挡或被左反射镜5和/或右反射镜7反射;
若激光线8被被测物体1本身遮挡,则控制被测物体1运动,直到激光线8被左反射镜5和/或右反射镜7反射;
若激光线8被左反射镜5和/或右反射镜7反射,则:
当激光线8被左反射镜5反射时,激光线8则被左反射镜5向半透半反镜4反射,然后被半透半反镜4向相机3反射,在相机3上形成第一条激光线,相机获取第一条激光线的图像信息;如图2所示,根据反射镜的基本原理,此成像光路相当于相机3的像(虚拟相机301)在激光线8的左侧获取图像信息;
当激光线被右反射镜7反射时,激光线8则被右反射镜7向后反射镜6反射,然后被后反射镜6反射,透过半透半反镜4,在相机3上形成第二条激光线,相机3获取第二条激光线的图像信息;此成像光路相当于相机3的像(虚拟相机302)在激光线8的右侧获取图像信息;
当其中一个位置采集到激光线图像信息时即可完成三坐标测量,从而只需要一个相机就可以从不同位置获取激光线的图像,解决了单相机视觉传感器中的遮挡问题,达到双相机视觉传感器的效果;
同时,由于虚拟相机301、302距离被测物体1的距离,远大于实际相机3距离被测物体1的距离,相机3采集到的是多次反射后的图像信息,相机3和激光线8之间的光路更长,因此方法可选择焦距更大、畸变更小的相机镜头,有效提高了测量精度;
S3、将步骤S2中获得的第一条关于激光线的图像信息或第二条关于激光线的图像信息传送至控制处理系统中,由控制处理系统计算出第一条关于激光线和/或第二条关于激光线对应的被测物体1的三维坐标;
S4、控制被测物体1运动,重复步骤S2-S3,获得被测物体1不同位置的三维坐标,结合被测物体运动的位移量数据,控制处理系统获得被测物体完整的三维坐标信息。
需要说明的是,上述步骤中被测物体的运动可以配以一定的机械运动(扫描)装置,但相应的机械运动(扫描)装置以及上述的控制处理系统都是本领域技术人员的常规选择,在此就不再详细说明
其中,在上述步骤S1之前还包括预调试步骤:该预调试步骤中包括步骤S1-S2,若相机3能同时获得第一条激光线和第二条激光线的图像信息,则调整左反射镜5、右反射镜7、半透半反镜4以及后反射镜6的位置角度,使得第一条激光线和第二条激光线在相机上形成的图像相互分离。
采用此步骤后,使得第一条激光线和第二条激光线在相机3上形成的图像相互分离而不相交重合,从而减少控制处理处理系统的图像处理的计算量,使得控制处理系统更为地简单。
其中,在上述的相机3中安装有带通滤光片,以消除环境光线的影响,提高图像采集的质量,而带通滤光片的中心波长与所选择的激光器的参数相关。
其中,如图2所示,上述的左反射镜5和右反射镜7之间水平间隔并呈夹角设置在线激光器2的两侧,后反射镜6和半透半反镜4之间垂直间隔并呈夹角设置在相机3和线激光器2之间,相机3设置在背离线激光器2激光出射端的一侧,后反射镜6位于靠近线激光器2的一侧、半透半反镜4位于靠近相机3的一侧,其中后反射镜6的镜面与右反射镜7的镜面相对应,半透半反镜4的镜面与左反射镜5的镜面相对应,通过这样设置,以方便调整各反射镜、半透半反镜4的位置、角度,以更好地保证第一条、第二条激光线在相机3上的图像相互分离而不会相交。
最后需要说明是,上述的“左、右、后”等方位性的词语只是为了清楚地描述本发明线结构光扫描测量的视觉传感器各部件的位置关系,并不代表对本发明的限制。
综上所述,即为发明实施例内容,而显然发明的实施方式并不仅限于此,其可根据不同应用环境,利用发明的功能实现相应的需求。

Claims (4)

1.基于线结构光扫描的三维坐标测量方法,其特征在于,包括如下步骤:
S1、启动线激光器,线激光器发射的激光与被测物体的表面相交,反射形成激光线;
S2、步骤S1中形成的激光线被被测物体本身遮挡或被左反射镜和/或右反射镜反射;
若激光线被被测物体本身遮挡,则控制被测物体运动,直到激光线被左反射镜和/或右反射镜反射;
若激光线被左反射镜和/或右反射镜反射,则:
当激光线被左反射镜反射时,激光线则被左反射镜向半透半反镜反射,然后被半透半反镜向相机反射,在相机上形成第一条激光线,相机获取第一条激光线的图像信息;
当激光线被右反射镜反射时,激光线则被右反射镜向后反射镜反射,然后被后反射镜反射,透过半透半反镜,在相机上形成第二条激光线,相机获取第二条激光线的图像信息;
S3、将步骤S2中获得的第一条关于激光线的图像信息和/或第二条关于激光线的图像信息传送至控制处理系统中,由控制处理系统计算出第一条关于激光线和/或第二条关于激光线对应的被测物体的三维坐标;
S4、控制被测物体运动,重复步骤S2-S3,获得被测物体不同位置的三维坐标,结合被测物体运动的位移量数据,控制处理系统获得被测物体完整的三维坐标信息。
2.如权利要求1所述的基于线结构光扫描的三维坐标测量方法,其特征在于,在步骤S1之前还包括预调试步骤:
所述预调试步骤中包括步骤S1-S2,若相机能同时获得第一条激光线和第二条激光线的图像信息,则调整左反射镜、右反射镜、半透半反镜以及后反射镜的位置角度,使得第一条激光线和第二条激光线在相机上形成的图像相互分离。
3.如权利要求1所述的基于线结构光扫描的三维坐标测量方法,其特征在于,所述左反射镜和右反射镜之间水平间隔并呈夹角设置在线激光器的两侧,后反射镜和半透半反镜之间垂直间隔并呈夹角设置在相机和线激光器之间,相机设置在背离线激光器激光出射端的一侧,后反射镜位于靠近线激光器的一侧、半透半反镜位于靠近相机的一侧,其中后反射镜的镜面与右反射镜的镜面相对应,半透半反镜的镜面与左反射镜的镜面相对应。
4.如权利要求1所述的基于线结构光扫描的三维坐标测量方法,其特征在于,所述的相机中安装有带通滤光片。
CN201510758707.3A 2015-11-10 2015-11-10 基于线结构光扫描的三维坐标测量方法 Active CN105423913B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510758707.3A CN105423913B (zh) 2015-11-10 2015-11-10 基于线结构光扫描的三维坐标测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510758707.3A CN105423913B (zh) 2015-11-10 2015-11-10 基于线结构光扫描的三维坐标测量方法

Publications (2)

Publication Number Publication Date
CN105423913A true CN105423913A (zh) 2016-03-23
CN105423913B CN105423913B (zh) 2018-01-09

Family

ID=55502294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510758707.3A Active CN105423913B (zh) 2015-11-10 2015-11-10 基于线结构光扫描的三维坐标测量方法

Country Status (1)

Country Link
CN (1) CN105423913B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108180825A (zh) * 2016-12-08 2018-06-19 中国科学院沈阳自动化研究所 一种基于线结构光的长方体形物体三维识别与定位方法
CN108195311A (zh) * 2018-03-29 2018-06-22 深圳市精易迅科技有限公司 一种折叠型四视角3d激光传感器及其工作方法
CN108627119A (zh) * 2018-05-15 2018-10-09 佛山市南海区广工大数控装备协同创新研究院 一种基于线扫激光的板式家具轮廓尺寸检测方法
CN108648236A (zh) * 2018-05-11 2018-10-12 武汉电力职业技术学院 一种用于坐标测量的间接方法及控制系统
CN108692656A (zh) * 2017-04-07 2018-10-23 中国人民解放军信息工程大学 一种激光扫描数据获取方法及装置
CN110500970A (zh) * 2019-08-01 2019-11-26 佛山市南海区广工大数控装备协同创新研究院 一种多频率结构光三维测量设备和方法
CN111121640A (zh) * 2019-12-18 2020-05-08 浙江明度智控科技有限公司 一种车辆尺寸检测方法和装置
CN111521113A (zh) * 2020-04-24 2020-08-11 成都飞机工业(集团)有限责任公司 一种基于高速相机双目立体视觉的图像采集方法
CN111664809A (zh) * 2020-06-15 2020-09-15 苏州亿视智能科技有限公司 智能高精度模块化三维检测设备及方法
CN114754702A (zh) * 2022-04-13 2022-07-15 湖北中烟工业有限责任公司 一种物体表面轮廓三维扫描方法、装置及电子设备
CN115876087A (zh) * 2023-02-23 2023-03-31 深圳市海塞姆科技有限公司 一种单目三维视觉测量装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5910844A (en) * 1997-07-15 1999-06-08 Vistech Corporation Dynamic three dimensional vision inspection system
CN101089550A (zh) * 2007-07-13 2007-12-19 上海大学 基于数字微镜和数据合成技术的透明物体或反射物体的形貌测量装置和方法
CA2310432C (en) * 1999-06-01 2009-03-24 National Research Council Of Canada Three dimensional optical scanning
CN201641973U (zh) * 2009-02-19 2010-11-24 广州中科恺盛医疗科技有限公司 多角度成像装置
CN101949866A (zh) * 2010-09-01 2011-01-19 厦门大学 用于包装检测的单相机全向视觉传感器
CN102175178A (zh) * 2011-02-18 2011-09-07 华南理工大学 运动火源扩散火焰锋面三维结构测量系统与方法
ES2377893B1 (es) * 2010-02-08 2012-10-26 Carlos Jesús Vega Vera Sistema de detección óptica de posición 3d con cámara única.
CN103645190A (zh) * 2013-11-27 2014-03-19 上海工程技术大学 用于纱线外观参数测量的可调节双扭镜盒及其装置
US8780179B2 (en) * 2011-05-10 2014-07-15 Southwest Research Institute Robot vision with three dimensional thermal imaging

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5910844A (en) * 1997-07-15 1999-06-08 Vistech Corporation Dynamic three dimensional vision inspection system
CA2310432C (en) * 1999-06-01 2009-03-24 National Research Council Of Canada Three dimensional optical scanning
CN101089550A (zh) * 2007-07-13 2007-12-19 上海大学 基于数字微镜和数据合成技术的透明物体或反射物体的形貌测量装置和方法
CN201641973U (zh) * 2009-02-19 2010-11-24 广州中科恺盛医疗科技有限公司 多角度成像装置
ES2377893B1 (es) * 2010-02-08 2012-10-26 Carlos Jesús Vega Vera Sistema de detección óptica de posición 3d con cámara única.
CN101949866A (zh) * 2010-09-01 2011-01-19 厦门大学 用于包装检测的单相机全向视觉传感器
CN102175178A (zh) * 2011-02-18 2011-09-07 华南理工大学 运动火源扩散火焰锋面三维结构测量系统与方法
US8780179B2 (en) * 2011-05-10 2014-07-15 Southwest Research Institute Robot vision with three dimensional thermal imaging
CN103645190A (zh) * 2013-11-27 2014-03-19 上海工程技术大学 用于纱线外观参数测量的可调节双扭镜盒及其装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡春海等: "基于镜像几何约束的单摄像机三维重构", 《中国激光》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108180825B (zh) * 2016-12-08 2019-07-26 中国科学院沈阳自动化研究所 一种基于线结构光的长方体形物体三维识别与定位方法
CN108180825A (zh) * 2016-12-08 2018-06-19 中国科学院沈阳自动化研究所 一种基于线结构光的长方体形物体三维识别与定位方法
CN108692656B (zh) * 2017-04-07 2020-07-17 中国人民解放军信息工程大学 一种激光扫描数据获取方法及装置
CN108692656A (zh) * 2017-04-07 2018-10-23 中国人民解放军信息工程大学 一种激光扫描数据获取方法及装置
CN108195311A (zh) * 2018-03-29 2018-06-22 深圳市精易迅科技有限公司 一种折叠型四视角3d激光传感器及其工作方法
CN108648236A (zh) * 2018-05-11 2018-10-12 武汉电力职业技术学院 一种用于坐标测量的间接方法及控制系统
CN108627119A (zh) * 2018-05-15 2018-10-09 佛山市南海区广工大数控装备协同创新研究院 一种基于线扫激光的板式家具轮廓尺寸检测方法
CN110500970A (zh) * 2019-08-01 2019-11-26 佛山市南海区广工大数控装备协同创新研究院 一种多频率结构光三维测量设备和方法
CN111121640A (zh) * 2019-12-18 2020-05-08 浙江明度智控科技有限公司 一种车辆尺寸检测方法和装置
CN111121640B (zh) * 2019-12-18 2021-10-15 杭州明度智能科技有限公司 一种车辆尺寸检测方法和装置
CN111521113A (zh) * 2020-04-24 2020-08-11 成都飞机工业(集团)有限责任公司 一种基于高速相机双目立体视觉的图像采集方法
CN111664809A (zh) * 2020-06-15 2020-09-15 苏州亿视智能科技有限公司 智能高精度模块化三维检测设备及方法
CN114754702A (zh) * 2022-04-13 2022-07-15 湖北中烟工业有限责任公司 一种物体表面轮廓三维扫描方法、装置及电子设备
CN115876087A (zh) * 2023-02-23 2023-03-31 深圳市海塞姆科技有限公司 一种单目三维视觉测量装置

Also Published As

Publication number Publication date
CN105423913B (zh) 2018-01-09

Similar Documents

Publication Publication Date Title
CN105423913A (zh) 基于线结构光扫描的三维坐标测量方法
CN105300311A (zh) 线结构光扫描测量的视觉传感器
JP6564537B1 (ja) 単眼3次元走査システムによる3次元再構成法および装置
KR101843838B1 (ko) 4카메라그룹 평면 어레이의 특징점의 3차원 측정 시스템 및 측정 방법
CN111243002A (zh) 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法
CN109377551B (zh) 一种三维人脸重建方法、装置及其存储介质
JP7379704B2 (ja) 視覚化カメラ及び光学コヒーレンストモグラフィを統合するシステム及び方法
CN114998499B (zh) 一种基于线激光振镜扫描的双目三维重建方法及系统
CN106896343B (zh) 一种伺服随动机器视觉装置及动态跟踪测距方法
CN102221331B (zh) 一种基于不对称双目立体视觉技术的测量方法
CN104154898B (zh) 一种主动测距方法及系统
CN109285189B (zh) 一种无需双目同步的直线轨迹快速计算方法
CN106500629B (zh) 一种显微三维测量装置及系统
CN106595519A (zh) 一种基于激光mems投影的柔性三维轮廓测量方法及装置
CN108981608B (zh) 一种新型线结构光视觉系统及标定方法
CN102785719A (zh) 用于船舶水尺图像拍摄的爬壁机器人、系统及方法
JP6009206B2 (ja) 3次元計測装置
CN1321340C (zh) 基于面阵投影的同步扫描双目视觉三维成像的方法
CN103134444B (zh) 双视场可变焦三维测量系统
CN114383543B (zh) Waam熔池三维重建方法
CN111811431A (zh) 一种三维扫描仪、三维扫描系统及方法
CN113925441B (zh) 一种基于内窥镜的成像方法及成像系统
Beltran et al. A comparison between active and passive 3d vision sensors: Bumblebeexb3 and Microsoft Kinect
JP2016109671A (ja) 三次元計測装置およびその制御方法
CN103323216B (zh) 一种检测平行光管视差的装置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant