CN114812439A - 结构光三维测量系统的投影成像镜头组调焦方法 - Google Patents

结构光三维测量系统的投影成像镜头组调焦方法 Download PDF

Info

Publication number
CN114812439A
CN114812439A CN202210391920.5A CN202210391920A CN114812439A CN 114812439 A CN114812439 A CN 114812439A CN 202210391920 A CN202210391920 A CN 202210391920A CN 114812439 A CN114812439 A CN 114812439A
Authority
CN
China
Prior art keywords
focusing
projection
lens
imaging lens
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210391920.5A
Other languages
English (en)
Other versions
CN114812439B (zh
Inventor
陈利
曾祥军
吕广志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fussen Technology Co ltd
Original Assignee
Fussen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fussen Technology Co ltd filed Critical Fussen Technology Co ltd
Priority to CN202210391920.5A priority Critical patent/CN114812439B/zh
Publication of CN114812439A publication Critical patent/CN114812439A/zh
Application granted granted Critical
Publication of CN114812439B publication Critical patent/CN114812439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/142Adjusting of projection optics

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Focusing (AREA)

Abstract

本发明涉及镜头调焦领域,且公开了结构光三维测量系统的投影成像镜头组调焦方法,使用三维测量系统的基本结构和调焦标靶,搭建调焦平台,令投影部件按照投影配置1进行投影,调整成像镜头的位置,按照单镜头调焦策略对成像镜头进行调焦,调焦完成后固定成像镜头位置,令投影部件按照投影配置2进行投影,调整投影镜头的位置,按照单镜头调焦策略对投影镜头进行调焦,并固定投影镜头位置。该结构光三维测量系统的投影成像镜头组调焦方法,通过单个镜头调焦的快速方法,有效减少了人工操作的复杂性,提高调试流程的一致性,并提高整个系统的工作范围和测量精度。

Description

结构光三维测量系统的投影成像镜头组调焦方法
技术领域
本发明涉及镜头调焦领域,具体为结构光三维测量系统的投影成像镜头组调焦方法。
背景技术
三维扫描重建技术自发展以来就成为计算机视觉和计算机图形学等领域的研究热点与难点,在计算机辅助几何涉及(CAGD)、计算机动画、医学影象、数字媒体、文物修复、人机交互、军事应用、三维绘图等领域都发挥着越来越大的作用。目前,所有主流的三维扫描技术,通常分为主动式和被动式两大类,其中主动式的结构光策略技术是通过投影或照明器件,对被测物体照明、标记,然后根据三角测距原理计算出被测物体的深度距离信息,比较典型的是结构光三维扫描方法,也是目前的三维测量系统主要采用的方法。在这样的测量系统中,由投影-成像镜头组成定焦结构,决定了系统的采集精度和距离范围。因此如何调节两种镜头焦点一致,是设备在焦点范围内具有较高精度,且在更大范围内满足测量精度要求的关键。
常见的投影成像组成的镜头系统的调焦结果,直接影响到整个三维测量设备的实际工作范围及测量的精度。目前的调焦流程大多是采用人工手动调试,且大多需要调试人员的主观判断,导致整个调焦流程效率低下,难以保证调试的一致性,不能满足投影成像的工作要求,为此提出结构光三维测量系统的投影成像镜头组调焦方法。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了结构光三维测量系统的投影成像镜头组调焦方法,以解决上述的技术问题。
(二)技术方案
为实现上述的目的,本发明提供如下技术方案:结构光三维测量系统的投影成像镜头组调焦方法,包括以下步骤:
使用三维测量系统的基本结构和调焦标靶,搭建调焦平台;
令投影部件按照投影配置1进行投影;
调整成像镜头的位置,按照单镜头调焦策略对成像镜头进行调焦,调焦完成后固定成像镜头位置;
令投影部件按照投影配置2进行投影;
调整投影镜头的位置,按照单镜头调焦策略对投影镜头进行调焦,并固定投影镜头位置。
优选的,所述调焦平台包括成像镜头、投影镜头、调焦标靶、照明器件和成像器件,按照设计的工作距离,固定调焦标靶和照明器件、成像器件的位置,且将成像镜头和投影镜头放入限位槽,将调焦标靶的中心对准相机中心,且与相机光轴垂直;同时投影镜头的光轴也对准调焦标靶中心,且调焦平台由平整平面组成,并包含简单凹槽或纹理及标靶中心标记。
优选的,所述投影部件按照投影配置进行投影包括以下两种实现方式:
a、控制投影器件透过投影镜头投射均匀的单色光或白光到调焦标靶,使成像器件能够采集到足够亮度的标靶图像;
b、另一种实现方式是直接采用外部照明设备对调焦标靶进行补光,使成像器件能够采集到足够亮度的标靶图像。
优选的,所述成像镜头位置调整由成像镜头,投影镜头,限位槽组成,所述成像镜头和投影镜头分别置于限位槽内,且成像镜头和投影镜头只能按照各自的调节方向进行调整。
优选的,所述单镜头调焦策略包括以下步骤:
S31、粗略调整成像镜头位置,使成像器件采集图像的清晰度在最大值左右,且图像清晰度采用图像清晰度评价函数进行评估,如典型的Brenner梯度函数、Roberts梯度函数、Laplacian函数、熵函数等,直接将采集图像作为输入,根据应用场景选择合适的窗口大小,即可得到图像的清晰度值;
S32、控制镜头位置,以步骤31调试后位置作为零点,采集±n位置的图像数据;
S33、计算每个采样点的图像清晰度值,并拟合清晰度曲线,且清晰度曲线拟合的实现方式是使用多项式拟合;
S34、根据拟合的曲线,求出峰点所在位置,并将镜头调节到相应位置,确认在当前位置的清晰度值大于所有采样点。
优选的,n是经验值,其采集范围应选择镜头具有单峰趋势的范围,选择在最高波峰到左右两个波谷的有限范围内。
优选的,镜头位置的调节通过固定镜头的精密调节旋钮,手动调节到相应的位置;另一种实现方式是通过机械器件,自动调节到相应的位置。
优选的,所述控制投影器件透过投影镜头投射等间距的,一定宽度的,条纹图像到调焦标靶,调节投影亮度,使成像器件采集的条纹图像不会过曝。
结构光三维测量系统的投影成像镜头组调焦方法,包括调焦平台,所述调焦平台的顶部左侧固定装设有图像标靶,所述调焦平台的顶部的后侧中间位置固定装设有镜头控制架,所述调焦平台的顶部中间位置开设有镜头槽,所述调焦平台的左侧装设有旋钮。
(三)有益效果
与现有技术相比,本发明提供了结构光三维测量系统的投影成像镜头组调焦方法,具备以下有益效果:
该结构光三维测量系统的投影成像镜头组调焦方法,通过单个镜头调焦的快速方法,有效减少了人工操作的复杂性,提高调试流程的一致性,并提高整个系统的工作范围和测量精度,且提升了镜头组调焦的效率和准确性。
附图说明
图1为本发明结构光三维测量系统的投影成像镜头组调焦装置的结构示意图;
图2为本发明成像-投影镜头三维结构示意图;
图3为本发明成像-投影镜头装配结构示意图。
图中:1、镜头控制架;2、旋钮;3、镜头槽;33、调节方向;4、图像标靶;8、工作距离;11、成像镜头;12、投影镜头;14、限位槽;15、调焦标靶;16、照明器件;17、成像器件。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供技术方案,结构光三维测量系统的投影成像镜头组调焦方法,包括镜头控制架1、旋钮2、镜头槽3、调节方向33、图像标靶4、工作距离8、成像镜头11、投影镜头12、限位槽14、调焦标靶15、照明器件16和成像器件17,请参阅图1;
S1、使用三维测量系统的基本结构和调焦标靶,搭建调焦平台,调焦平台包括成像镜头11、投影镜头12、调焦标靶15、照明器件16和成像器件17,请参阅图2,按照设计的工作距离8,固定调焦标靶15和照明器件16、成像器件17的位置,且将成像镜头11和投影镜头12放入限位槽14,将调焦标靶的中心对准相机中心,且与相机光轴垂直;同时投影镜头的光轴也对准调焦标靶中心,且调焦平台由平整平面组成,并包含简单凹槽或纹理及标靶中心标记;
S2、令投影部件按照投影配置1进行投影,投影部件按照投影配置1进行投影包括以下两种实现方式:
a、控制投影器件透过投影镜头12投射均匀的单色光或白光到调焦标靶15,使成像器件17能够采集到足够亮度的标靶图像;
b、另一种实现方式是直接采用外部照明设备对调焦标靶15进行补光,使成像器件17能够采集到足够亮度的标靶图像;
S3、调整成像镜头的位置,请参阅图3按照单镜头调焦策略对成像的镜头进行调焦,调焦完成后固定成像镜头位置,成像镜头位置调整由成像镜头11,投影镜头12,限位槽14组成,成像镜头11和投影镜头12分别置于限位槽14内,且成像镜头11和投影镜头12只能按照各自的调节方向33进行调整,单镜头调焦策略包括以下步骤:
S31、粗略调整成像镜头位置,使成像器件采集图像的清晰度在最大值左右,且图像清晰度采用图像清晰度评价函数进行评估,如典型的Brenner梯度函数、Roberts梯度函数、Laplacian函数、熵函数等,直接将采集图像作为输入,根据应用场景选择合适的窗口大小,即可得到图像的清晰度值;
S32、控制镜头位置,以步骤31调试后位置作为零点,采集±n位置的图像数据;
S33、计算每个采样点的图像清晰度值,并拟合清晰度曲线,且清晰度曲线拟合的实现方式是使用多项式拟合;
S34、根据拟合的曲线,求出峰点所在位置,并将镜头调节到相应位置,确认在当前位置的清晰度值大于所有采样点。镜头通过固定镜头的精密调节旋钮,手动调节到相应的位置;另一种实现方式是通过机械器件,自动调节到相应的位置;
S4、令投影部件按照投影配置2进行投影,控制投影器件透过投影镜头12投射等间距的,一定宽度的,条纹图像到调焦标靶15,调节投影亮度,使成像器件17采集的条纹图像不会过曝;
S5、调整投影镜头的位置,也参阅图3按照单镜头调焦策略对投影的镜头进行调焦,并固定投影镜头的位置,至此完成整个成像-投影系统的调焦流程。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.结构光三维测量系统的投影成像镜头组调焦方法,其特征在于,包括以下步骤:
S1、使用三维测量系统的基本结构和调焦标靶,搭建调焦平台;
S2、令投影部件按照投影配置1进行投影;
S3、调整成像镜头的位置,按照单镜头调焦策略对成像镜头进行调焦,调焦完成后固定成像镜头位置;
S4、令投影部件按照投影配置2进行投影;
S5、调整投影镜头的位置,按照单镜头调焦策略对投影镜头进行调焦,并固定投影镜头位置。
2.根据权利要求1所述的结构光三维测量系统的投影成像镜头组调焦方法,其特征在于:该方法还包括调焦平台,调焦平台包括成像镜头(11)、投影镜头(12)、调焦标靶(15)、照明器件(16)和成像器件(17),按照设计的工作距离(8),固定调焦标靶(15)和照明器件(16)、成像器件(17)的位置,且将成像镜头(11)和投影镜头(12)放入限位槽(14),将调焦标靶的中心对准相机中心,且与相机光轴垂直;同时投影镜头的光轴也对准调焦标靶中心,且调焦平台由平整平面组成,并包含简单凹槽或纹理及标靶中心标记。
3.根据权利要求2所述的结构光三维测量系统的投影成像镜头组调焦方法,其特征在于:所述投影部件按照投影配置1进行投影,包括以下两种实现方式:
a、控制投影器件透过投影镜头(12)投射均匀的单色光或白光到调焦标靶(15),使成像器件(17)能够采集到足够亮度的标靶图像;
b、另一种实现方式直接采用外部照明设备对调焦标靶(15)进行补光,使成像器件(17)能够采集到足够亮度的标靶图像。
4.根据权利要求2所述的结构光三维测量系统的投影成像镜头组调焦方法,其特征在于:所述成像镜头位置调整由成像镜头(11)、投影镜头(12)和限位槽(14)组成,所述成像镜头(11)和投影镜头(12)分别置于限位槽(14)内,且成像镜头(11)和投影镜头(12)只能按照各自的调节方向(33)进行调整。
5.根据权利要求1所述的结构光三维测量系统的投影成像镜头组调焦方法,其特征在于:所述单镜头调焦策略包括以下步骤:
S31、粗略调整成像镜头位置,使成像器件采集图像的清晰度在最大值左右,且图像清晰度采用图像清晰度评价函数进行评估,如典型的Brenner梯度函数、Roberts梯度函数、Laplacian函数、熵函数等,直接将采集图像作为输入,根据应用场景选择合适的窗口大小,即可得到图像的清晰度值;
S32、控制镜头位置,以步骤31调试后位置作为零点,采集±n位置的图像数据;
S33、计算每个采样点的图像清晰度值,并拟合清晰度曲线,且清晰度曲线拟合的实现方式是使用多项式拟合;
S34、根据拟合的曲线,求出峰点所在位置,并将镜头调节到相应位置,确认在当前位置的清晰度值大于所有采样点。
6.根据权利要求1所述的结构光三维测量系统的投影成像镜头组调焦方法,其特征在于:采集范围选择镜头具有单峰趋势的范围,选择在最高波峰到左右两个波谷的有限范围内,且通过固定镜头的精密调节旋钮,手动调节到相应的位置;另一种实现方式是通过机械器件,自动调节到相应的位置。
7.根据权利要求2所述的结构光三维测量系统的投影成像镜头组调焦方法,其特征在于:所述控制投影器件透过投影镜头(12)投射等间距的,一定宽度的,条纹图像到调焦标靶(15),调节投影亮度,使成像器件(17)采集的条纹图像不会过曝。
8.根据权利要求2所述的结构光三维测量系统的投影成像镜头组调焦方法,其特征在于:所述调焦平台的顶部左侧固定装设有图像标靶(4),所述调焦平台的顶部的后侧中间位置固定装设有镜头控制架(1),所述调焦平台的顶部中间位置开设有镜头槽(3),所述调焦平台的左侧装设有旋钮(2)。
CN202210391920.5A 2022-04-14 2022-04-14 结构光三维测量系统的投影成像镜头组调焦方法 Active CN114812439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210391920.5A CN114812439B (zh) 2022-04-14 2022-04-14 结构光三维测量系统的投影成像镜头组调焦方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210391920.5A CN114812439B (zh) 2022-04-14 2022-04-14 结构光三维测量系统的投影成像镜头组调焦方法

Publications (2)

Publication Number Publication Date
CN114812439A true CN114812439A (zh) 2022-07-29
CN114812439B CN114812439B (zh) 2024-05-17

Family

ID=82536389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210391920.5A Active CN114812439B (zh) 2022-04-14 2022-04-14 结构光三维测量系统的投影成像镜头组调焦方法

Country Status (1)

Country Link
CN (1) CN114812439B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003067185A1 (fr) * 2002-02-09 2003-08-14 Shenyang Tonglian Group High Technology Company Ltd Capteur permettant de mesurer la forme tridimensionnelle et procede de mesure
US20040246496A1 (en) * 2003-03-31 2004-12-09 Mitutoyo Corporation Method and apparatus for non-contact three-dimensional surface measurement
CN102262345A (zh) * 2011-06-21 2011-11-30 李�杰 可转视角双镜头三维摄像机方法及装置
CN102721378A (zh) * 2012-06-20 2012-10-10 北京航空航天大学 一种基于正弦条纹投射的镜面物体三维形貌测量系统
JP2014048566A (ja) * 2012-09-03 2014-03-17 Olympus Imaging Corp カメラシステム
CN104935915A (zh) * 2015-07-17 2015-09-23 珠海康弘发展有限公司 成像装置、三维成像系统及三维成像方法
CN105451012A (zh) * 2015-11-18 2016-03-30 湖南拓视觉信息技术有限公司 三维成像系统和三维成像方法
US20180120687A1 (en) * 2015-04-27 2018-05-03 Zte Corporation Ranging method, automatic focusing method and device
CN110793000A (zh) * 2019-10-31 2020-02-14 广州市浩洋电子股份有限公司 一种基于机器视觉的摇头电脑灯智能调焦方法
CN110857850A (zh) * 2018-08-22 2020-03-03 沈阳华慧高新技术有限公司 一种结构光三维扫描装置及其标定方法和使用方法
CN112985258A (zh) * 2021-01-18 2021-06-18 深圳市菲森科技有限公司 一种三维测量系统的标定方法及测量方法
CN113504692A (zh) * 2021-06-30 2021-10-15 歌尔光学科技有限公司 摄像投影集成模组及其控制方法
CN114322821A (zh) * 2020-09-29 2022-04-12 沈阳华慧高新技术有限公司 一种三维扫描装置及其标定方法和测量方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003067185A1 (fr) * 2002-02-09 2003-08-14 Shenyang Tonglian Group High Technology Company Ltd Capteur permettant de mesurer la forme tridimensionnelle et procede de mesure
US20040246496A1 (en) * 2003-03-31 2004-12-09 Mitutoyo Corporation Method and apparatus for non-contact three-dimensional surface measurement
CN102262345A (zh) * 2011-06-21 2011-11-30 李�杰 可转视角双镜头三维摄像机方法及装置
CN102721378A (zh) * 2012-06-20 2012-10-10 北京航空航天大学 一种基于正弦条纹投射的镜面物体三维形貌测量系统
JP2014048566A (ja) * 2012-09-03 2014-03-17 Olympus Imaging Corp カメラシステム
US20180120687A1 (en) * 2015-04-27 2018-05-03 Zte Corporation Ranging method, automatic focusing method and device
CN104935915A (zh) * 2015-07-17 2015-09-23 珠海康弘发展有限公司 成像装置、三维成像系统及三维成像方法
CN105451012A (zh) * 2015-11-18 2016-03-30 湖南拓视觉信息技术有限公司 三维成像系统和三维成像方法
CN110857850A (zh) * 2018-08-22 2020-03-03 沈阳华慧高新技术有限公司 一种结构光三维扫描装置及其标定方法和使用方法
CN110793000A (zh) * 2019-10-31 2020-02-14 广州市浩洋电子股份有限公司 一种基于机器视觉的摇头电脑灯智能调焦方法
CN114322821A (zh) * 2020-09-29 2022-04-12 沈阳华慧高新技术有限公司 一种三维扫描装置及其标定方法和测量方法
CN112985258A (zh) * 2021-01-18 2021-06-18 深圳市菲森科技有限公司 一种三维测量系统的标定方法及测量方法
CN113504692A (zh) * 2021-06-30 2021-10-15 歌尔光学科技有限公司 摄像投影集成模组及其控制方法

Also Published As

Publication number Publication date
CN114812439B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
CN107025670A (zh) 一种远心相机标定方法
CN101013028A (zh) 图像处理方法以及图像处理装置
EP2975444B1 (en) Information processing device, information processing method, and information processing program
CN101452199B (zh) 调制传递函数值的测量方法
EP2849148A2 (en) Three-dimensional printing system and method for three-dimensional printing
US20130093854A1 (en) Three dimensional shape measurement apparatus, control method therefor, and storage medium
CN109862345B (zh) 视场角测试方法和系统
CN105004324A (zh) 一种具有三角测距功能的单目视觉传感器
JP2014013144A (ja) 三次元形状測定装置、三次元形状測定方法、構造物の製造方法および構造物製造システム
JP2006058091A (ja) 3次元画像測定装置および方法
CN116433780A (zh) 一种基于机器视觉的激光结构光自动标定方法
CN110971791A (zh) 一种摄像机变焦距光学系统光轴一致性调整方法及显示仪
CN115494652A (zh) 一种对头显设备进行装配的方法、装置、设备及存储介质
CN109272575B (zh) 一种提高数字切片扫描仪建模速度的方法
CN113411564A (zh) 一种人眼跟踪参数的测量方法、装置、介质及系统
JP2015119344A (ja) 撮像素子の感度分布の測定装置及びその制御方法、画像表示装置のキャリブレーション装置及びその制御方法
CN109194851A (zh) 一种小型化超短焦视觉成像系统
CN114812439B (zh) 结构光三维测量系统的投影成像镜头组调焦方法
CN112648935A (zh) 一种图像处理方法、装置和三维扫描系统
CN104237167A (zh) 扫描装置扫描oct断层图像失真的校正方法及系统
EP2918966A1 (en) Measurement apparatus and method for edge detection, and method of manufacturing article
CN110297339A (zh) 一种用于消除视场角影响的色斑修复方法及系统
CN111047651A (zh) 畸变图像的矫正方法
CN108848295A (zh) 一种小型化超短焦视觉成像方法
EP3385663B1 (en) Height measuring and estimation method of uneven surface of microscope slide, and microscope

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant