CN111174702B - 一种自适应结构光投射模组及测量方法 - Google Patents

一种自适应结构光投射模组及测量方法 Download PDF

Info

Publication number
CN111174702B
CN111174702B CN202010073730.XA CN202010073730A CN111174702B CN 111174702 B CN111174702 B CN 111174702B CN 202010073730 A CN202010073730 A CN 202010073730A CN 111174702 B CN111174702 B CN 111174702B
Authority
CN
China
Prior art keywords
light
laser
light intensity
mirror
mems micro
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010073730.XA
Other languages
English (en)
Other versions
CN111174702A (zh
Inventor
程进
孙其梁
徐乃涛
李宋泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Micro Vision Sensor Technology Co ltd
Original Assignee
Wuxi Micro Vision Sensor Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Micro Vision Sensor Technology Co ltd filed Critical Wuxi Micro Vision Sensor Technology Co ltd
Priority to CN202010073730.XA priority Critical patent/CN111174702B/zh
Publication of CN111174702A publication Critical patent/CN111174702A/zh
Application granted granted Critical
Publication of CN111174702B publication Critical patent/CN111174702B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明公开了一种自适应结构光投射模组及测量方法,投射模组包括激光器、透镜单元和MEMS微镜,透镜单元位于激光器和MEMS微镜之间;所述MEMS微镜连接驱动控制系统,驱动控制系统用于控制激光器和MEMS微镜,产生不同的投射图案;还包括外置采样相机和处理器,处理器分析光信号并计算光强补偿值,并反馈给驱动控制系统,控制激光器发射的实时光强。本发明利用外置采样相机对待测物体反射后形成的不均匀光信号进行预采集,分析其不同位置的光强分布,再由处理器计算光强补正值,实时控制光源的光强,适当增强低反射率区域的光强值、减弱高反射率区域的光强值,得到光强均匀的反射光条,从而实现结构光的光强自适应,有利于准确提取光条中心,提高数据精度。

Description

一种自适应结构光投射模组及测量方法
技术领域
本发明涉及微光机电系统领域,尤其是一种采用自适应调整光源的结构光投射模组及调整方法。
背景技术
结构光是一组由特定光源和驱动电路组成的系统结构,用特定光源投射特定的光信息到待测物体表面,经待测物体表面反射后,由摄像头采集反射光信号。根据物体造成的光信号的变化来计算物体的位置和深度等信息,进而复原整个三维空间。现有技术中,结构光深度相机基于光学三角法原理进行深度测量,激光器发出激光,通过MEMS微镜的周期性反射,得到扫描光线,经由待测物体表面反射到采样相机,处理器对采集到的数据进行处理,还原出待测物体的深度信息。结构光投射模组的激光投射到待测物体表面后,经物体不同高度表面调制,部分光条发生偏移,被高分辨率相机采集,最终处理器基于三角法测距原理,提取光条中心,通过计算光条偏移的像素点个数、灰度值,还原图像的深度信息。但是处理器在对采集信息进行处理时,需要提取反射光条中心,如图1所示,当待测物体表面材质、颜色一致时,扫描光线反射率一定,相机采集到线宽均匀的光条,此时处理器较易提取光条中心,数据误差较小。但当待测物体表面材质、颜色不一致时,如图2所示,由于待测物体表面各处反射率不同,导致反射光条各处的光强不同,高反射率区域光条较宽、低反射率区域光条较窄,此时相机采集到线宽不均匀的光条,噪声较大,使得处理器在提取光条中心时误差增大,严重影响测试精度。
发明内容
本申请人针对现有的结构光投射模组,对表面反射率不同的待测物体分析时,反射信号误差大、影响测试精度等问题,提供一种自适应结构光投射模组,实现结构光的光强自适应,提高测试精度。
本发明所采用的技术方案如下:
一种自适应结构光投射模组,包括激光器、透镜单元和MEMS微镜,透镜单元位于激光器和MEMS微镜之间;所述MEMS微镜连接驱动控制系统,驱动控制系统用于控制激光器和MEMS微镜,产生不同的投射图案;还包括外置采样相机和处理器,处理器分析光信号并计算光强补偿值,并反馈给驱动控制系统,控制激光器发射的实时光强。
作为上述技术方案的进一步改进:
还包括反馈系统,反馈系统用于采集MEMS微镜实时位置信息,并反馈给驱动控制系统。
所述反馈系统为外置的光电角度反馈单元,或者MEMS微镜内部集成的反馈单元。
所述透镜单元为准直透镜或线透镜组。
所述MEMS微镜为一维MEMS微镜。
一种使用上述自适应结构光投射模组的测量方法,包括以下步骤:
步骤1,光信号预采集:驱动控制系统控制激光器以恒定功率P0发射激光,经透镜单元汇聚成激光点,MEMS微镜按特定波形扫描,将激光点反射成扫描光线,投射到待测物体上;激光被待测物体反射,在外置采样相机上形成反射光条,外置采样相机对反射光条的信号进行一次预采集;待测物体被扫描区域沿扫描光线长度方向等分成N个点,扫描光线经过第j点(1≤j≤N)时激光器的功率均等于P0;
步骤2,预采集信号处理:处理器获取外置采样相机的信号,对反射光条进行分析,反射光条视为N个光点组成,每个点与待测物体被扫描区域点一一对应,采集到的第j点的反射光强为Ij;假定相机采集的理想光强值为I,处理器计算得到MEMS微镜扫描到第j点时的激光器功率Pj’= P0·I/Ij;
步骤3,控制光源再次扫描:处理器将计算得到的激光器功率Pj’反馈给驱动控制系统,控制激光器的实时输出功率,使发射出的激光经MEMS微镜反射后,扫描到待测物体的不同位置时,对光强值进行相应补偿,对于低反射率区域,增强激光器发出的光强值;对于高反射率区域,降低光强值;
步骤4,信号处理,分析物体表面信息:外置采样相机将步骤3中的反射光条信号传送给处理器,处理器提取光条中心、分析计算,得到精确的图像深度信息。
作为上述技术方案的进一步改进:
所述MEMS微镜的驱动波形为方波、正弦波或锯齿波。
所述步骤1中驱动控制系统控制激光器的功率信号,并驱动MEMS微镜以一定波形扭转,经MEMS微镜反射后,最终投射出一条光强为正弦波形、明暗相间的扫描光条;驱动控制系统使用多步相移法投射结构光获取深度信息。
本发明的有益效果如下:
本发明利用外置采样相机对待测物体反射后形成的不均匀光信号进行预采集,分析其不同位置的光强分布,再由处理器计算光强补正值,实时控制光源的光强,适当增强低反射率区域的光强值、减弱高反射率区域的光强值,得到光强均匀的反射光条,从而实现结构光的光强自适应,有利于减少噪声、准确提取光条中心,提高数据精度。当应用到更高精度要求的场景时,采用多步相移法,调整激光器和MEMS微镜,投射明暗相间条纹,结合自适应光强补偿算法,可以得到目标物体更高精度的深度信息。
附图说明
图1为现有技术中待测物体表面反射率一致时光反射示意图。
图2为现有技术中待测物体表面反射率不一致时光反射示意图。
图3为本发明的待测物体表面反射率不一致时光反射示意图。
图4为本发明投射模组结构示意图。
图5为本发明实施例二的采样示意图。
图中:101、激光器;102、透镜单元;103、MEMS微镜;104、待测物体;1041、低反射率表面;1042、高反射率表面;105、驱动控制系统;106、反馈系统;107、光线;108、反射光条;201、外置采样相机;301、处理器。
具体实施方式
下面结合附图,说明本发明的具体实施方式。
实施例一:
如图4所示,本发明的自适应结构光投射模组包括激光器101、透镜单元102和MEMS微镜103,透镜单元102位于激光器101和MEMS微镜103之间,MEMS微镜103连接驱动控制系统105和反馈系统106,反馈系统106用于采集MEMS微镜103实时位置信息,并将位置信息传输至驱动控制系统105,驱动控制系统105用于控制激光器101和MEMS微镜103,产生不同的投射图案。
本发明的投射模组还包括外置采样相机201和处理器301,处理器301用于分析外置采样相机201的光信号,计算光强补偿值,将补偿信号发送给驱动控制系统105,进而控制激光器101的实时光强,光强实时变化的激光经MEMS微镜103和待测物体104的两次反射后,到达外置采样相机201的光信号为一条光强均匀的反射光条108。
其中,透镜单元102优选为准直透镜或线透镜组,将发散点光源汇聚准直。MEMS微镜103优选为一维MEMS微镜,将激光点扫描成线光源。反馈系统106可以是外置的光电角度反馈单元或者MEMS微镜103内部集成的反馈单元。
本发明使用上述自适应结构光投射模组,使用三角法测距原理进行测量的方法如下:
步骤1,光信号预采集:驱动控制系统105控制激光器101以初始的恒定功率P0发射激光,经透镜单元102汇聚成激光点后,照射到MEMS微镜103表面。驱动控制系统105控制MEMS微镜103工作,按特定波形进行周期性扫描,从而将激光点反射成各处光强均匀的扫描光线,再投射到待测物体104上。本发明在处理光信号时,将被扫描区域沿扫描光线长度方向,等分成N个点,编号分别为1、2、3…N,当MEMS微镜103的反射光线扫过第j点(1≤j≤N)时激光器的功率为Pj,由于此时激光器为恒功率,则Pj= P0
经待测物体104表面反射,在外置采样相机201上形成反射光条108,外置采样相机201对反射光条108进行一次预采集。
步骤2,预采集信号处理:处理器301获取外置采样相机201的信号后,对反射光条108进行分析,反射光条108同样可视为由N个光点组成,每个点与物体被扫描区域点位置一一对应,将采集到的第j点的反射光强记为Ij。若假定相机采集的理想光强值为I,但是由于物体表面反射率不一致,导致Ij不同。为确保Ij全部相同,需要对各点激光光强值进行补偿,重新调整激光器功率,当MEMS微镜103扫描到对应点j时,使该点激光器功率Pj’= P0·I/Ij。例如图2所示,待测物体104表面分为低反射率表面1041和高反射率表面1042,激光器101以初始的恒定功率P0发射激光,经MEMS微镜103反射成均匀光强的光线107,投射在待测物体104表面,那么经低反射率表面1041反射后的光强值低(Ij <I),高反射率表面1042反射后的光强值高(Ij >I),在外置采样相机201表面形成光强不均匀的反射光条108,处理器301根据反射光条108不同位置的光强,计算得到对应位置点所需的激光器功率Pj’。
步骤3,控制光源再次扫描:处理器301将计算得到的激光器功率Pj’反馈给驱动控制系统105,控制激光器101的实时输出功率,使发射出的激光经MEMS微镜103反射后,扫描到待测物体104的不同位置时,对光强值进行相应补偿,对于低反射率区域,增强激光器101发出的光强值;对于高反射率区域,降低光强值。最终将反射光条108各处光强值集中在理想值I附近,进而实现线结构光光强的自适应调整。
步骤4,信号处理,分析物体表面信息:外置采样相机201将光强较为均匀的反射光条108的信号传送给处理器301,处理器301提取光条中心、分析计算,得到精确的图像深度信息。
特别的,本发明中MEMS微镜103的驱动波形为方波、正弦波、锯齿波等波形。
本发明首先在激光器101光强稳定的条件下,利用外置采样相机201获取待测物体104反射后形成的反射光条108,对反射后形成的不均匀光信号进行第一次预采集,分析其不同位置的光强分布,即待测物体104表面不同区域的反射率。再由处理器301对光强计算补正值,控制对应待测物体104不同位置时,激光器101的激光发射功率,得到所需发射的激光光强值,使之与待测物体104表面反射率互补,即适当增强低反射率区域时的激光器101光强值、减弱高反射率区域的光强值,最终得到如图3所示的均匀的反射光条108,从而实现线结构光的光强自适应调整,有利于减少噪声、准确提取光条中心,提高数据精度。
实施例二:
与实施例一的三角法测距原理不同,如图5所示,本实施例采用多步相移法投射结构光获取深度信息,通过驱动控制系统105控制激光器101的功率信号,并驱动MEMS微镜103以一定波形扭转,经MEMS微镜103反射后,最终投射出一条光强为正弦波形、明暗相间的扫描光条。通过驱动控制系统105改变扫描光条相位,可以实现基于多步相移法的结构光扫描。由于多步相移法相对三角法在测量精度上的优越性,本实施例可更加精确的测量待测物体的深度信息,减少噪声干扰,满足更高精度的场景需求。
以上描述是对本发明的解释,不是对发明的限定,在不违背本发明精神的情况下,本发明可以作任何形式的修改。

Claims (8)

1.一种自适应结构光投射模组,其特征在于:包括激光器(101)、透镜单元(102)和MEMS微镜(103),透镜单元(102)位于激光器(101)和MEMS微镜(103)之间;所述MEMS微镜(103)连接驱动控制系统(105),驱动控制系统(105)用于控制激光器(101)和MEMS微镜(103);还包括外置采样相机(201)和处理器(301),外置采样相机(201)在激光器(101)光强稳定的条件下,对反射后形成的不均匀光信号进行第一次预采集,预采集时激光器(101)功率为P0,处理器(301)分析光信号,将预采集图像上待测物体被扫描区域沿扫描光线长度方向等分成N个点,根据第j点(1≤j≤N)的反射光强Ij,以及相机采集的理想光强值I,计算得到第j点的理想激光器功率Pj’= P0·I/Ij,并反馈给驱动控制系统(105),控制对应待测物体(104)不同位置时,激光器(101)发射的实时光强,使之与待测物体(104)表面反射率互补,使外置采样相机(201)得到光强均匀的反射光条。
2.根据权利要求1所述的一种自适应结构光投射模组,其特征在于:还包括反馈系统(106),反馈系统(106)用于采集MEMS微镜(103)实时位置信息,并反馈给驱动控制系统(105)。
3.根据权利要求2所述的一种自适应结构光投射模组,其特征在于:所述反馈系统(106)为外置的光电角度反馈单元,或者MEMS微镜(103)内部集成的反馈单元。
4.根据权利要求1所述的一种自适应结构光投射模组,其特征在于:所述透镜单元(102)为准直透镜或线透镜组。
5.根据权利要求1所述的一种自适应结构光投射模组,其特征在于:所述MEMS微镜(103)为一维MEMS微镜。
6.一种使用权利要求1的自适应结构光投射模组的测量方法,其特征在于:包括以下步骤:
步骤1,光信号预采集:驱动控制系统(105)控制激光器(101)以恒定功率P0发射激光,经透镜单元(102)汇聚成激光点,MEMS微镜(103)按特定波形扫描,将激光点反射成扫描光线,投射到待测物体(104)上;激光被待测物体(104)反射,在外置采样相机(201)上形成反射光条(108),外置采样相机(201)对反射光条(108)的信号进行一次预采集;待测物体(104)被扫描区域沿扫描光线长度方向等分成N个点,扫描光线经过第j点(1≤j≤N)时激光器的功率均等于P0
步骤2,预采集信号处理:处理器(301)获取外置采样相机(201)的信号,对反射光条(108)进行分析,反射光条(108)视为N个光点组成,每个点与待测物体(104)被扫描区域点一一对应,采集到的第j点的反射光强为Ij;假定相机采集的理想光强值为I,处理器(301)计算得到MEMS微镜(103)扫描到第j点时的激光器功率Pj’= P0·I/Ij
步骤3,控制光源再次扫描:处理器(301)将计算得到的激光器功率Pj’反馈给驱动控制系统(105),控制激光器(101)的实时输出功率,使发射出的激光经MEMS微镜(103)反射后,扫描到待测物体(104)的不同位置时,对光强值进行相应补偿,对于低反射率区域,增强激光器(101)发出的光强值;对于高反射率区域,降低光强值;
步骤4,信号处理,分析物体表面信息:外置采样相机(201)将步骤3中的反射光条(108)信号传送给处理器(301),处理器(301)提取光条中心、分析计算,得到精确的图像深度信息。
7.根据权利要求6所述的测量方法,其特征在于:所述MEMS微镜(103)的驱动波形为方波、正弦波或锯齿波。
8.根据权利要求6所述的测量方法,其特征在于:所述步骤1中驱动控制系统(105)控制激光器(101)的功率信号,并驱动MEMS微镜(103)以一定波形扭转,经MEMS微镜(103)反射后,最终投射出一条光强为正弦波形、明暗相间的扫描光条;驱动控制系统(105)使用多步相移法投射结构光获取深度信息。
CN202010073730.XA 2020-01-22 2020-01-22 一种自适应结构光投射模组及测量方法 Active CN111174702B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010073730.XA CN111174702B (zh) 2020-01-22 2020-01-22 一种自适应结构光投射模组及测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010073730.XA CN111174702B (zh) 2020-01-22 2020-01-22 一种自适应结构光投射模组及测量方法

Publications (2)

Publication Number Publication Date
CN111174702A CN111174702A (zh) 2020-05-19
CN111174702B true CN111174702B (zh) 2022-03-15

Family

ID=70625111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010073730.XA Active CN111174702B (zh) 2020-01-22 2020-01-22 一种自适应结构光投射模组及测量方法

Country Status (1)

Country Link
CN (1) CN111174702B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111486791A (zh) * 2020-05-27 2020-08-04 中科融合感知智能研究院(苏州工业园区)有限公司 一种自适应调整正弦条纹结构光质量的装置及操作方法
CN111854641A (zh) * 2020-07-03 2020-10-30 西南科技大学 一种基于mems微镜的快速条纹投射与采集系统
CN112414941A (zh) * 2020-11-26 2021-02-26 青岛理工大学 基于剪切散斑干涉技术的复杂表面无损检测系统及方法
CN112729164B (zh) * 2020-12-21 2023-06-30 革点科技(深圳)有限公司 一种基于mems的自适应点阵结构光投射方法
CN114322844B (zh) * 2021-12-17 2024-05-03 无锡微视传感科技有限公司 一种高速激光轮廓仪
CN114813770A (zh) * 2022-03-24 2022-07-29 上海御微半导体技术有限公司 半导体光学检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103411533A (zh) * 2013-08-05 2013-11-27 上海交通大学 结构光自适应多次曝光法
CN105651203A (zh) * 2016-03-16 2016-06-08 广东工业大学 一种自适应条纹亮度的高动态范围三维形貌测量方法
CN106052592A (zh) * 2016-06-28 2016-10-26 西安励德微系统科技有限公司 一种扫描式结构光投影系统及其控制方法
CN107193123A (zh) * 2017-05-25 2017-09-22 西安知象光电科技有限公司 一种自适应线结构光的闭环调制方法
CN107388983A (zh) * 2017-06-29 2017-11-24 西安知微传感技术有限公司 一种能量均匀的扫描激光线生成系统及方法
CN107917679A (zh) * 2017-07-20 2018-04-17 重庆大学 一种基于面结构光三维测量中高亮、过暗区域动态检测、补偿的方法
CN108419440A (zh) * 2015-08-31 2018-08-17 高通股份有限公司 用于结构光的码域功率控制

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010048960A1 (en) * 2008-10-28 2010-05-06 3Shape A/S Scanner with feedback control
DE102010003608B4 (de) * 2010-03-19 2019-04-04 Robert Bosch Gmbh Vorrichtung und Verfahren zur Charakterisierung eines auslenkbaren Mikrospiegels
DE102011006337B4 (de) * 2011-03-29 2024-05-23 Robert Bosch Gmbh Mikrospiegelsystem, dazugehöriges Steuerungsverfahren sowie dazugehöriges Computerprogramm
US10368053B2 (en) * 2012-11-14 2019-07-30 Qualcomm Incorporated Structured light active depth sensing systems combining multiple images to compensate for differences in reflectivity and/or absorption

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103411533A (zh) * 2013-08-05 2013-11-27 上海交通大学 结构光自适应多次曝光法
CN108419440A (zh) * 2015-08-31 2018-08-17 高通股份有限公司 用于结构光的码域功率控制
CN105651203A (zh) * 2016-03-16 2016-06-08 广东工业大学 一种自适应条纹亮度的高动态范围三维形貌测量方法
CN106052592A (zh) * 2016-06-28 2016-10-26 西安励德微系统科技有限公司 一种扫描式结构光投影系统及其控制方法
CN107193123A (zh) * 2017-05-25 2017-09-22 西安知象光电科技有限公司 一种自适应线结构光的闭环调制方法
CN107388983A (zh) * 2017-06-29 2017-11-24 西安知微传感技术有限公司 一种能量均匀的扫描激光线生成系统及方法
CN107917679A (zh) * 2017-07-20 2018-04-17 重庆大学 一种基于面结构光三维测量中高亮、过暗区域动态检测、补偿的方法

Also Published As

Publication number Publication date
CN111174702A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111174702B (zh) 一种自适应结构光投射模组及测量方法
JP2919267B2 (ja) 形状検出方法およびその装置
US7643159B2 (en) Three-dimensional shape measuring system, and three-dimensional shape measuring method
US6741082B2 (en) Distance information obtaining apparatus and distance information obtaining method
US9851198B2 (en) Distance measuring apparatus, distance measuring method, and control program
US9146096B2 (en) Form measuring apparatus, structure manufacturing system, scanning apparatus, method for measuring form, method for manufacturing structure, and non-transitory computer readable medium storing program for measuring form
JP2011522216A5 (zh)
JP2007279017A (ja) レーダ装置
US10012831B2 (en) Optical monitoring of scan parameters
KR20180008655A (ko) 다각형을 사용하여 광 패턴을 생성하는 방법 및 시스템
JP2012068066A (ja) 光測距装置
KR20190014977A (ko) ToF 모듈
CN108226902A (zh) 一种面阵激光雷达测量系统
JP6804949B2 (ja) 制御装置、測定装置、およびコンピュータプログラム
CN114690155A (zh) 一种光电检测装置及电子设备
JP2021170033A (ja) 走査装置
JP2568388B2 (ja) 形状計測装置
US20220196386A1 (en) Three-dimensional scanner with event camera
CN110764254A (zh) 可编译的结构光投影系统
CN112923848B (zh) 一种对射式激光尺寸测量传感器
US20210239805A1 (en) Laser radar device
CN109863423B (zh) 用于光学检测设备的发射器装置、光学检测设备、机动车辆及方法
US11493606B1 (en) Multi-beam scanning system
CN112731340A (zh) 角度测量方法、反射镜系统及激光雷达
WO2023181308A1 (ja) コンピュータシステム、方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant