CN112683163B - 一种适用于视觉测量相机的绝对位姿测量精度评估方法 - Google Patents

一种适用于视觉测量相机的绝对位姿测量精度评估方法 Download PDF

Info

Publication number
CN112683163B
CN112683163B CN202011394207.3A CN202011394207A CN112683163B CN 112683163 B CN112683163 B CN 112683163B CN 202011394207 A CN202011394207 A CN 202011394207A CN 112683163 B CN112683163 B CN 112683163B
Authority
CN
China
Prior art keywords
camera
marker
coordinate
vision
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011394207.3A
Other languages
English (en)
Other versions
CN112683163A (zh
Inventor
颜坤
赵汝进
马跃博
刘恩海
周向东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Optics and Electronics of CAS
Original Assignee
Institute of Optics and Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Optics and Electronics of CAS filed Critical Institute of Optics and Electronics of CAS
Priority to CN202011394207.3A priority Critical patent/CN112683163B/zh
Publication of CN112683163A publication Critical patent/CN112683163A/zh
Application granted granted Critical
Publication of CN112683163B publication Critical patent/CN112683163B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种适用于视觉测量相机的绝对位姿测量精度评估方法。提出利用比视觉测量相机在近距离精度更高的激光跟踪仪作为验证系统,通过建立相关坐标系及公式推导,可以准确获得视觉测量相机的绝对精度。本发明简单实用,可推广应用于其他同类型的位姿测量系统的精度验证过程。

Description

一种适用于视觉测量相机的绝对位姿测量精度评估方法
技术领域
本发明涉及一种非接触测量领域,具体涉及一种适用于视觉测量相机的绝对位姿测量精度评估方法,适用于视觉测量相机的绝对位姿测量精度评估,也可推广到其他非接触测量设备的绝对位姿精度评估。
背景技术
对于视觉测量相机位姿测量精度的评价方法,是关系到视觉测量相机验证的关键问题,其中的难点在于如何获得位姿的标准值,只有获得了标准值才能与测量值进行比较得到测量误差。采用3D激光跟踪仪作为视觉测量系统的评价设备,该设备具有高精度三维尺寸静态测量和动态跟踪测量的功能。为了解决该问题,本发明提出利用精度较高的激光跟踪仪作为评价系统,采用绝对测量的方式评价测量系统的精度,具有非接触、效率高且其精度较高等优点。从目前公开发表的文献和专利来看,尚无与此相关的相对位姿评估方法。
发明内容
有鉴于此,本发明要解决的技术问题是:提供一种适用于视觉测量相机的绝对位姿测量精度评估方法,解决目前视觉测量相机的绝对测量精度评价问题。
为了达到上述目的,本发明的技术方案是这样实现的:
一种适用于视觉测量相机的绝对位姿测量精度评估方法,步骤如下:
步骤(1):激光跟踪仪测量视觉测量相机安装板基准点、标志器基准点在激光跟踪仪系下三维坐标,分别解算得到[R1、T1],[R2、T2],其中,R1为相机安装板基准点系相对于激光跟踪仪坐标系的旋转矩阵,T1为相机安装板基准点系的坐标原点在激光跟踪仪坐标系的位置,同理,R2为标志器基准点系相对于激光跟踪仪坐标系的旋转矩阵,T2为标志器基准点系的坐标原点在激光跟踪仪坐标系的位置;
步骤(2):根据机械测量结果获取视觉测量相机基准镜系与视觉测量相机安装板基准点系相对位姿关系[R3、T3],其中,R3为相机基准镜系相对于相机安装板基准点系的旋转矩阵,T3为相机基准镜系的坐标原点在相机安装板基准点系的位置;
步骤(3):根据机械设计和测量结果获取标志器系和标志器基准点系相对位姿关系[R4、T4],其中,R4为标志器系相对于标志器基准点系的旋转矩阵,T4为标志器系的坐标原点在标志器基准点系的位置;
步骤(4):由[R1、T1],[R2、T2],[R3、T3],[R4、T4]得到视觉测量相机基准点镜系与标志器系相对位姿[R8、T8],其中,R8为视觉测量相机基准镜系相对于标志器系的旋转矩阵,T8为视觉测量相机基准镜系的坐标原点在标志器系的位置;
步骤(5):视觉测量相机对标志器进行位姿测量得到[R6、T6],其中,R6为标志器系相对于视觉测量相机坐标系的旋转矩阵,T6为标志器系的坐标原点在视觉测量相机坐标系的位置;
步骤(6):由[R8、T8],[R6、T6]得到[R7、T7],其中,R7为视觉测量相机基准镜系相对于视觉测量相机坐标系的旋转矩阵,T7为视觉测量相机基准镜系的坐标原点在视觉测量相机坐标系的位置;
步骤(7):更改标志器或视觉测量相机的位置后,激光跟踪仪重新测量[R1’、T1’],[R2’、T2’],其中,R1’为变换后的位置下相机安装板基准点系相对于激光跟踪仪坐标系的旋转矩阵,T1’为变换后的位置下相机安装板基准点系的坐标原点在激光跟踪仪坐标系的位置,同理,R2’为变换后的位置下标志器基准点系相对于激光跟踪仪坐标系的旋转矩阵,T2’为变换后的位置下标志器基准点系的坐标原点在激光跟踪仪坐标系的位置;
步骤(8):由[R1’、T1’],[R2’、T2’]解算两个基准点系位姿关系[R5、T5],其中,R5为标志器基准点系相对于相机安装板基准点系的旋转矩阵,T5为标志器基准点系的坐标原点在相机安装板基准点系的位置;
步骤(9):视觉测量相机重新测量标志器位姿获取[R6’、T6’],其中,R6’为变换后的位置下标志器系相对于视觉测量相机坐标系的旋转矩阵,T6’为变换后的位置下标志器系的坐标原点在视觉测量相机坐标系的位置;
步骤(10):根据[R6’、T6’],[R7、T7],[R3、T3],[R4、T4]解算[R5’、T5’],其中,R5’为变换后的位置下标志器基准点系相对于相机安装板基准点系的旋转矩阵,T5’为变换后的位置下标志器基准点系的坐标原点在相机安装板基准点系的位置;
步骤(11):[R5、T5]与[R5’、T5’]对比得到位姿测量误差。
进一步地,步骤(2)和步骤(3)中所述的相机基准镜系和相机安装板基准点系、标志器系以及标志器基准点系的关系获取具体通过三坐标测量仪进行精确的接触式测量。
进一步地,三坐标仪的测量头接触面积远小于待测点的平面面积,可利用三坐标仪测量头接触测量待测点周围N个外圈点然后拟合待测点的中心位置坐标,然后获得坐标系之间的相对位姿关系。
进一步地,步骤(6)所述的[R7、T7]具体计算为:
R7=R8R6 -1=R3 -1R1 -1R2R4R6 -1,
T7=T8-R8R6 -1T6=R3 -1R1 -1R2T4+R3 -1R1 -1(T2-T1)-R3 -1T3-R3 -1R1 -1R2R4R6 -1T6
本发明和现有技术相比所具有的优点在于:本发明设计了一种有效的绝对位姿精度评估方法,该方法简单实用,操作容易,可按照步骤进行视觉测量相机的绝对精度评价,并且可以很精确的评价出视觉测量相机的绝对精度。同时,本发明还可以推广到其他非接触测量领域的绝对精度评估中。该方法已经应用于在轨视觉测量相机的绝对评价,为我国在轨测量领域的精度评判提供技术支持和策略保障。
附图说明
图1是本发明一种适用于视觉测量相机的绝对位姿测量精度评估方法的原理示意图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
本发明所述的一种适用于视觉测量相机的绝对位姿测量精度评估方法,具体的评价过程如图1所示,总共涉及6个坐标系之间的转换,包括激光跟踪仪坐标系、相机安装板坐标系、标志器安装板坐标系、相机基准镜坐标系、视觉测量相机坐标系以及标志器坐标系,其推导过程为:
假设激光跟踪仪坐标系的原点为
Figure BDA0002814036910000031
相机安装板坐标系原点为
Figure BDA0002814036910000032
将相机安装板坐标系的原点变换到激光跟踪仪坐标系下,即:
Figure BDA0002814036910000033
同理,将标志器安装板坐标系原点
Figure BDA0002814036910000034
变换到激光跟踪仪坐标系下,为,
Figure BDA0002814036910000035
其中,[R1、T1],[R2、T2]均通过激光跟踪仪测量安装板基准点的三维坐标后,推算得出,其中,R1为相机安装板基准点系相对于激光跟踪仪坐标系的旋转矩阵,T1为相机安装板基准点系的坐标原点在激光跟踪仪坐标系的位置,同理,R2为标志器基准点系相对于激光跟踪仪坐标系的旋转矩阵,T2为标志器基准点系的坐标原点在激光跟踪仪坐标系的位置;
然后,根据机械测量结果,可以获得[R3、T3],[R4、T4],其中,R3为相机基准镜系相对于相机安装板基准点系的旋转矩阵,T3为相机基准镜系的坐标原点在相机安装板基准点系的位置,R4为标志器系相对于标志器基准点系的旋转矩阵,T4为标志器系的坐标原点在标志器基准点系的位置,并可将相机基准镜坐标系原点
Figure BDA0002814036910000041
转换到相机安装板坐标系,
Figure BDA0002814036910000042
也可将标志器坐标系原点
Figure BDA0002814036910000043
转换到标志器安装板坐标系下,
Figure BDA0002814036910000044
根据公式(1)~(4),可以推导出相机基准镜坐标系和标志器坐标系的关系[R8、T8],即,
Figure BDA00028140369100000412
Figure BDA0002814036910000045
那么,
R8=R3 -1R1 -1R2R4,T8=R3 -1R1 -1R2T4+R3 -1R1 -1(T2-T1)-R3 -1T3 (7)
此外,假设视觉测量相机坐标系的原点为
Figure BDA0002814036910000046
标志器坐标系的原点为
Figure BDA0002814036910000047
将标志器坐标系的原点变换到视觉相机坐标系的原点为,
Figure BDA0002814036910000048
其中,[R6、T6]由视觉测量算法推出。
然后,可以通过公式(6)和公式(8)得出视觉测量相机坐标系和相机基准镜坐标系之间的关系[R7、T7],
Figure BDA0002814036910000049
即,
Figure BDA00028140369100000410
更改标志器或视觉测量相机的位置后,激光跟踪仪重新测量[R1’、T1’],[R2’、T2’],
即,
Figure BDA00028140369100000411
那么,
R5=R1 -1'R2',T5=R1 -1'(T2'-T1') (12)
视觉测量相机测量标志器以后,重新获得[R6’、T6’],
Figure BDA0002814036910000051
再根据[R6’、T6’],[R7、T7],[R3、T3],[R4、T4]解算[R5’、T5’],
具体地,
Figure BDA0002814036910000052
R5'=R3R7R6'R4 -1,T5'=-R3R7R6'R4 -1T4+R3R7T6'+R3T7+T3 (15)
最后,比较公式(12)与公式(15)中的[R5、T5]与[R5’、T5’],即可对比得到位姿测量误差。
本发明未具体说明部分属于本领域公知技术。

Claims (3)

1.一种适用于视觉测量相机的绝对位姿测量精度评估方法,其特征在于,步骤如下:
步骤(1):激光跟踪仪测量视觉测量相机安装板基准点、标志器基准点在激光跟踪仪系下三维坐标,分别解算得到[R1、T1],[R2、T2];其中,R1为相机安装板基准点系相对于激光跟踪仪坐标系的旋转矩阵,T1为相机安装板基准点系的坐标原点在激光跟踪仪坐标系的位置,同理,R2为标志器基准点系相对于激光跟踪仪坐标系的旋转矩阵,T2为标志器基准点系的坐标原点在激光跟踪仪坐标系的位置;
步骤(2):根据机械测量结果获取视觉测量相机基准镜系与视觉测量相机安装板基准点系相对位姿关系[R3、T3],其中,R3为相机基准镜系相对于相机安装板基准点系的旋转矩阵,T3为相机基准镜系的坐标原点在相机安装板基准点系的位置;
步骤(3):根据机械设计和测量结果获取标志器系和标志器基准点系相对位姿关系[R4、T4],其中,R4为标志器系相对于标志器基准点系的旋转矩阵,T4为标志器系的坐标原点在标志器基准点系的位置;
步骤(4):由[R1、T1],[R2、T2],[R3、T3],[R4、T4]得到视觉测量相机基准镜系与标志器系相对位姿[R8、T8],其中,R8为视觉测量相机基准镜系相对于标志器系的旋转矩阵,T8为视觉测量相机基准镜系的坐标原点在标志器系的位置;其中,
R8=R3 -1R1 -1R2R4,T8=R3 -1R1 -1R2T4+R3 -1R1 -1(T2-T1)-R3 -1T3
步骤(5):视觉测量相机对标志器进行位姿测量得到[R6、T6],其中,R6为标志器系相对于视觉测量相机坐标系的旋转矩阵,T6为标志器系的坐标原点在视觉测量相机坐标系的位置;
步骤(6):由[R8、T8],[R6、T6]得到[R7、T7],其中,R7为视觉测量相机基准镜系相对于视觉测量相机坐标系的旋转矩阵,T7为视觉测量相机基准镜系的坐标原点在视觉测量相机坐标系的位置;其中,
R7=R8R6 -1=R3 -1R1 -1R2R4R6 -1,
T7=T8-R8R6 -1T6=R3 -1R1 -1R2T4+R3 -1R1 -1(T2-T1)-R3 -1T3-R3 -1R1 -1R2R4R6 -1T6
步骤(7):更改标志器或视觉测量相机位置后,激光跟踪仪重新测量[R1’、T1’],[R2’、T2’],其中,R1’为变换后的位置下相机安装板基准点系相对于激光跟踪仪坐标系的旋转矩阵,T1’为变换后的位置下相机安装板基准点系的坐标原点在激光跟踪仪坐标系的位置,同理,R2’为变换后的位置下标志器基准点系相对于激光跟踪仪坐标系的旋转矩阵,T2’为变换后的位置下标志器基准点系的坐标原点在激光跟踪仪坐标系的位置;
步骤(8):由[R1’、T1’],[R2’、T2’]解算两个基准点系位姿关系[R5、T5],其中,R5为标志器基准点系相对于相机安装板基准点系的旋转矩阵,T5为标志器基准点系的坐标原点在相机安装板基准点系的位置;其中,
R5=R1 -1'R2',T5=R1 -1'(T2'-T1')
步骤(9):视觉测量相机重新测量标志器位姿获取[R6’、T6’],其中,R6’为变换后的位置下标志器系相对于视觉测量相机坐标系的旋转矩阵,T6’为变换后的位置下标志器系的坐标原点在视觉测量相机坐标系的位置;
步骤(10):根据[R6’、T6’],[R7、T7],[R3、T3],[R4、T4]解算[R5’、T5’];其中,R5’为变换后的位置下标志器基准点系相对于相机安装板基准点系的旋转矩阵,T5’为变换后的位置下标志器基准点系的坐标原点在相机安装板基准点系的位置;其中,
R5'=R3R7R6'R4 -1,T5'=-R3R7R6'R4 -1T4+R3R7T6'+R3T7+T3
步骤(11):[R5、T5]与[R5’、T5’]对比得到位姿测量误差。
2.根据权利要求1所述的一种适用于视觉测量相机的绝对位姿测量精度评估方法,其特征在于:步骤(2)和步骤(3)中所述的相机基准镜系和相机安装板基准点系、标志器系以及标志器基准点系的关系获取具体通过三坐标测量仪进行精确的接触式测量。
3.根据权利要求2所述的一种适用于视觉测量相机的绝对位姿测量精度评估方法,其特征在于:三坐标仪的测量头接触面积远小于待测点的平面面积,利用三坐标仪测量头接触测量待测点周围N个外圈点然后拟合待测点的中心位置坐标,然后获得坐标系之间的相对位姿关系。
CN202011394207.3A 2020-12-03 2020-12-03 一种适用于视觉测量相机的绝对位姿测量精度评估方法 Active CN112683163B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011394207.3A CN112683163B (zh) 2020-12-03 2020-12-03 一种适用于视觉测量相机的绝对位姿测量精度评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011394207.3A CN112683163B (zh) 2020-12-03 2020-12-03 一种适用于视觉测量相机的绝对位姿测量精度评估方法

Publications (2)

Publication Number Publication Date
CN112683163A CN112683163A (zh) 2021-04-20
CN112683163B true CN112683163B (zh) 2022-06-28

Family

ID=75447231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011394207.3A Active CN112683163B (zh) 2020-12-03 2020-12-03 一种适用于视觉测量相机的绝对位姿测量精度评估方法

Country Status (1)

Country Link
CN (1) CN112683163B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003042802A (ja) * 2001-05-17 2003-02-13 Avl List Gmbh 回転角度センサ用マーク付き円板、回転部品用角度センサおよび基準値を決定する方法
JP2008204384A (ja) * 2007-02-22 2008-09-04 Canon Inc 撮像装置、物体検出方法及び姿勢パラメータの算出方法
JP2009041995A (ja) * 2007-08-07 2009-02-26 Seiko Time System Inc 三次元計測システム、および、三次元計測方法
WO2010054519A1 (zh) * 2008-11-14 2010-05-20 中国科学院沈阳自动化研究所 一种测量运动物体六维位姿的设备和方法
CN107421465A (zh) * 2017-08-18 2017-12-01 大连理工大学 一种基于激光跟踪仪的双目视觉拼接方法
CN107421442A (zh) * 2017-05-22 2017-12-01 天津大学 一种外部测量辅助的机器人定位误差在线补偿方法
CN107883870A (zh) * 2017-10-24 2018-04-06 四川雷得兴业信息科技有限公司 基于双目视觉系统和激光跟踪仪测量系统的全局标定方法
CN108090931A (zh) * 2017-12-13 2018-05-29 中国科学院光电技术研究所 一种基于圆和十字特征组合的抗遮挡抗干扰的标志器识别与位姿测量方法
CN108571971A (zh) * 2018-05-17 2018-09-25 北京航空航天大学 一种agv视觉定位系统及方法
CN111811396A (zh) * 2020-06-11 2020-10-23 天津大学 一种基于平面约束的多边法激光跟踪三维坐标测量方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10244234A1 (de) * 2002-09-23 2004-03-25 Dr. Johannes Heidenhain Gmbh Positionsmesseinrichtung
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
JP2005258891A (ja) * 2004-03-12 2005-09-22 Nippon Telegr & Teleph Corp <Ntt> 3dモーションキャプチャ方法および装置
CN111502671B (zh) * 2020-04-20 2022-04-22 中铁工程装备集团有限公司 盾构激光标靶导向搭载双目相机的综合导向装置及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003042802A (ja) * 2001-05-17 2003-02-13 Avl List Gmbh 回転角度センサ用マーク付き円板、回転部品用角度センサおよび基準値を決定する方法
JP2008204384A (ja) * 2007-02-22 2008-09-04 Canon Inc 撮像装置、物体検出方法及び姿勢パラメータの算出方法
JP2009041995A (ja) * 2007-08-07 2009-02-26 Seiko Time System Inc 三次元計測システム、および、三次元計測方法
WO2010054519A1 (zh) * 2008-11-14 2010-05-20 中国科学院沈阳自动化研究所 一种测量运动物体六维位姿的设备和方法
CN107421442A (zh) * 2017-05-22 2017-12-01 天津大学 一种外部测量辅助的机器人定位误差在线补偿方法
CN107421465A (zh) * 2017-08-18 2017-12-01 大连理工大学 一种基于激光跟踪仪的双目视觉拼接方法
CN107883870A (zh) * 2017-10-24 2018-04-06 四川雷得兴业信息科技有限公司 基于双目视觉系统和激光跟踪仪测量系统的全局标定方法
CN108090931A (zh) * 2017-12-13 2018-05-29 中国科学院光电技术研究所 一种基于圆和十字特征组合的抗遮挡抗干扰的标志器识别与位姿测量方法
CN108571971A (zh) * 2018-05-17 2018-09-25 北京航空航天大学 一种agv视觉定位系统及方法
CN111811396A (zh) * 2020-06-11 2020-10-23 天津大学 一种基于平面约束的多边法激光跟踪三维坐标测量方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Development and Performance Evaluation of Wireless Optical Position Tracking System;Baek Junmin;《Journal of Institute of Control, Robotics and Systems 》;20191231;第1065-1070页 *
基于主被动融合的非合作目标重建与位姿测量研究;张壮;《中国优秀博硕士学位论文全文数据库(博士)基础科学辑》;20190815;第A005-69页 *
基于视觉跟踪的机器人测量方法与实现;刘洁等;《应用光学》;20160915(第05期);第56-62页 *
激光跟踪仪高精度坐标测量技术研究与实现;范百兴;《中国优秀博硕士学位论文全文数据库(博士)基础科学辑》;20160715;第A008-11页 *
相机与激光跟踪仪相对位姿标定方法的研究;范百兴等;《测绘工程》;20180809(第09期);第4-8页 *

Also Published As

Publication number Publication date
CN112683163A (zh) 2021-04-20

Similar Documents

Publication Publication Date Title
CN106767558B (zh) 一种导轨基面直线度误差的解耦辨识方法
CN110108208B (zh) 五轴非接触式测量机的误差补偿方法
CN1303400C (zh) 超精密工作台自标定方法及装置
CN110524309A (zh) 基于四基站激光追踪系统的数控转台几何误差测量方法
CN106052556B (zh) 一种三坐标测量机空域坐标修正方法
CN103256916B (zh) 一种基于最小区域的零件平面度误差评定方法
CN102997863A (zh) 一种全口径光学非球面面形误差直接检测系统
CN112967342B (zh) 一种高精度三维重建方法、系统、计算机设备及存储介质
CN102519397B (zh) 一种光学球面曲率半径的测量方法
CN103983219B (zh) 一种大尺寸平面度的在位测量方法
CN111595238B (zh) 一种基于多站法的激光跟踪仪精度现场评价系统
Li et al. Monocular-vision-based contouring error detection and compensation for CNC machine tools
Liu et al. Binocular-vision-based error detection system and identification method for PIGEs of rotary axis in five-axis machine tool
CN111256592B (zh) 结构光传感器的外参标定装置及方法
CN113503813B (zh) 六自由度运动平台线位移定位精度测量与误差补偿方法
CN114012585B (zh) 一种双摆轴式五轴磁流变机床抛光点位置标定方法
CN108344361A (zh) 一种基于激光跟踪仪的平面法向量测量方法
CN110260817B (zh) 基于虚拟标志点的复杂曲面偏折测量自定位方法
CN110428471B (zh) 一种针对光学自由曲面子孔径偏折测量的精确自定位方法
CN111895921A (zh) 一种提高系统对高度差测量精度的补偿模型
CN101788265A (zh) 发动机缸体结合面孔组快速测量全局统一标定方法
CN111536877A (zh) 一种三坐标测量机上的线激光传感器姿态标定方法
CN112683163B (zh) 一种适用于视觉测量相机的绝对位姿测量精度评估方法
CN110132195B (zh) 叶片截面接触式扫描测量的探针测球三维半径补偿方法
CN114136357B (zh) 一种适用于面结构光传感器的测试方法及测试系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant