CN105444687A - 基于对视摄像测量和激光测距的相对位姿变化测量方法 - Google Patents

基于对视摄像测量和激光测距的相对位姿变化测量方法 Download PDF

Info

Publication number
CN105444687A
CN105444687A CN201510851088.2A CN201510851088A CN105444687A CN 105444687 A CN105444687 A CN 105444687A CN 201510851088 A CN201510851088 A CN 201510851088A CN 105444687 A CN105444687 A CN 105444687A
Authority
CN
China
Prior art keywords
camera
looking
relative
angle
depending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510851088.2A
Other languages
English (en)
Other versions
CN105444687B (zh
Inventor
孙祥一
关棒磊
傅丹
孙澜琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201510851088.2A priority Critical patent/CN105444687B/zh
Publication of CN105444687A publication Critical patent/CN105444687A/zh
Application granted granted Critical
Publication of CN105444687B publication Critical patent/CN105444687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/16Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明主要利用摄像测量和激光测距技术高精度、简单快速的优点,测量两个刚体之间的相对位姿变化。本发明利用固联像机与激光测距仪构成测量单元,两个测量单元分别安装在各自的刚体上,通过相互对视拍摄测量刚体之间的相对位姿变化。本方法采用测量单元相互拍摄的方式,构成相对位姿变化测量的闭合回路,有效地提高了两个刚体之间的相对位姿变化测量精度。该方法不要求事先已知固联标志的坐标,而直接通过2个及以上标志点图像坐标的增量来解算相对变形量,简单高效。本发明可用于刚体之间的相对位姿变化实时测量,具有重要的理论研究意义和广泛的应用前景。

Description

基于对视摄像测量和激光测距的相对位姿变化测量方法
技术领域
本发明主要利用摄像测量和激光测距技术高精度、简单快速的优点,测量两个刚体之间的相对位姿变化。
背景技术
随着科学技术的发展,各个领域对测量相对位姿变化的需求越来越迫切,比如由于船体变形、地面沉降、外力作用等因素导致刚体基座之间的相对变形,从而影响刚体基座上测量设备的测量精度。因此开发高精度、稳定性及自动化的相对位姿变化测量系统有着重要的理论意义和应用价值。
近年来,基于计算机视觉技术的相对位姿变化测量方法发展迅速。单目位姿估计算法需要刚体具备3个以上已知结构的特征点,并由于相机成像模型等因素限制,单目位姿估计在长焦距、远距离测量条件下精度明显降低,特别是沿摄像机光轴方向上的位移测量精度一般远低于垂直光轴方向上的位移测量精度。为了提高沿摄像机光轴方向上的位移测量精度,通过在沿摄像机光轴方向上加装一个高精度的激光测距传感器,组成单目摄像机-激光测距传感器位姿测量系统。但是单目摄像机-激光测距传感器位姿测量系统对待测目标结构存在要求,一般需要选择合作目标坐标系中的特殊表面(如平面等)来接收激光光斑,从而实现合作目标的相对位姿变化测量。在实际测量情况中,往往不具备合作目标,导致该方法无法有效实施。
发明内容
为解决上述问题,特提出一种基于对视摄像测量和激光测距的相对位姿变化测量方法。
本方法利用固联像机与激光测距仪构成测量单元,两个测量单元分别安装在各自的刚体上,创新性地通过相互对视拍摄测量刚体之间的相对位姿变化,其中激光测距仪用于高精度地测出两个刚体之间的平移向量,像机则用于测量两个刚体之间的角度变化。采用测量单元相互拍摄的方式,构成相对位姿变化测量的闭合回路,有效地提高了两个刚体之间的相对位姿变化测量精度。该方法不要求事先已知固联标志的坐标,而直接通过2个及以上标志点图像坐标的增量来解算相对变形量,简单高效。本发明可用于刚体之间的相对位姿变化实时测量,具有重要的理论研究意义和广泛的应用前景。
本发明要解决的技术问题是利用摄像测量技术和激光测距技术高精度快速的测量两刚体之间的相对姿态变化。
本发明的技术方案是:由激光测距仪和高速摄像机固联组成测量单元,两套测量单元构成相对位姿变化测量系统,如图1所示。事先在实验室内调整使激光测距仪出光点与摄像机光心位置尽量接近,并保证激光测距仪光束与摄像机的光轴基本平行。摄像机通过互相拍摄标志点和激光测距来测量摄像单元之间的相对形变。从刚体之间相对位姿变化来说,可以假定其中一个测量单元固定,另一个测量单元相对该固定单元发生形变。假设像机2所在的测量单元固定不动,像机1所在的测量单元相对像机2运动,即所有相对变形都发生在像机1所在的测量单元上。分为以下两步:首先利用激光测距仪高精度地测出两个刚体之间的平移向量,然后通过互视像机计算两个刚体之间的相对旋转角,从而获得刚体之间六自由度的相对位姿变化。
本发明提出的测量相对位姿变化方法按以下步骤进行:
1)通过对视2号像机观测对视1号像机光心的像点移动,结合激光测距信息得到对视1号像机在对视2号像机系中的平移量,然后利用标定时刻对视1号和对视2号像机的相对关系得到对视1号像机相对于自身的平移量;
2)再利用上一步中得到的对视1号像机平移量来对其所观测的与对视2号像机相固联的对顶角标志像点坐标进行补偿,从而抵消掉由平移运动产生的像点变化;
3)最后利用补偿后的对顶角标志像点坐标偏移来确定对视1号像机相对于自身的姿态变化量,并最终确定完整的相对变形
2相对位姿变化测量的基本原理:
以下详细介绍刚体之间相对位姿变化的测量步骤:
1)假设发生变形以后对视1号像机的光心像点坐标偏移如图2所示,标定时刻的激光测距值为r0,此时的激光测距值为r,由于激光测距仪的朝向与像机光轴基本一致,因此激光测距值的变化量dr=(r-r0)基本上等于对视1号像机光心深度的变化量,则在已知光心像点坐标偏移(dx,dy)以及2号像机等效焦距fx_2,fy_2的情况下,容易推得对视1号像机光心在对视2号像机系中的平移量为
(1)
上式得到的还只是对视1号像机光心在对视2号像机系中的平移量,结合标定时刻1号和2号像机的相对关系就可以得到对视1号像机光心相对于自身坐标系的平移量,如下式
(2)
其中为标定时刻1号和2号像机之间的相对关系。
2)上一步中已经得到了对视1号像机相对于自身坐标系的平移量,可以想象,这一平移运动也可以看作是对视1号像机不动,而与对视2号像机固联的对顶角标志在1号像机系中平移了,因此对视1号像机自身的平移运动给这些对顶角标志在其图像上的像点带来的变化为
(3)
其中fx_1,fx_1为对视1号像机的等效焦距。为了抵消自身平移运动的影响,先在1号像机观测到的各对顶角标志像点坐标的基础上减去式(3)所示的像点偏移量以为补偿,然后再利用补偿后的对顶角像点坐标去进行后续的姿态变化量解算。
3)假定对视1号像机自身的姿态依次发生滚转、偏航和俯仰的变化,则会造成标志像点坐标发生的偏移
其中c为对视1号像机的主点。
像机的滚转角可以直接利用标定时刻标志像点坐标()和当前时刻补偿后的标志像点坐标()解算得到,当然仅仅利用单个点,比方说()来估计像机的滚转角显然是不准确的,因为像点还发生了平移,如图3所示。但是利用两个点的连线()之间的夹角就可以排开像点平移的影响而单纯得到像机的滚转角。已知两个标志p1和p2在变形前后两个时刻的像点坐标,可以通过下式来计算像机的滚转角γ。
(4)
为了提高算法的抗噪能力,在实际进行解算时是取任意两个点变形前后两时刻的像点都算一个滚转角,然后算得的所有滚转角取平均值为最终的滚转角γ。
在得到像机滚转角的基础上,将未变形时刻的标志像点坐标绕主点旋转γ,再利用旋转之后的标志像点坐标()与当前时刻补偿后的标志像点坐标()来解算得到像机的偏航角α和俯仰角β。假设已知某标志点旋转之后的坐标,以及当前时刻观测的坐标,可以通过下式算得像机的偏航角α和俯仰角β:
(5)
为提高算法的抗噪能力,在实际中是利用所有标志像点平移量的均值来解算像机偏航角α和俯仰角β。
接着可按下列式得到对视1号像机相对于自身的旋转矩阵
(6)
(7)
再结合式(4)算得的光心平移,可以得到对视1号像机相对于自身的相对变形量
(8)
其中向量为式(2)中的
3本发明可以达到以下的技术效果:
1)非接触测量刚体之间的相对位姿变化,可用于修正补偿刚体的相对变形;
2)可以实现实时测量,相对位姿变化测量结果精度高;
3)不要求事先已知刚体固联标志的坐标,而直接通过2个及以上标志点图像坐标的增量来解算刚体之间的相对变形量,简单高效;
4)设备通用性强,方便使用,对待测刚体结构没有要求;
5)所需硬件设备成熟,成本较低,具有很强的工程实用性;
4具体实施措施:
1)设计组装用于相对位姿变化测量的测量单元,其中测量单元由1个像机和1个激光测距仪固联构成。在实验室内调整使激光测距仪出光点与摄像机光心位置基本一致,并保证激光测距仪光束与摄像机的光轴平行;
2)根据测量现场要求,在需要测量的刚体上安装测量单元并绘制2个及以上标志点,标定出像机之间的相对位姿关系。两个测量单元相互拍摄,构成相对位姿变化测量系统;
3)测量系统中激光测距仪和像机同步采集数据,根据上述原理计算刚体之间六自由度的相对位姿变化。
附图说明
图1基于对视摄像测量和激光测距的相对位姿变化测量方法示意图,
图2像机光心像点坐标偏移,
图3像机自身姿态变化造成的标志像点偏移。
具体实施方式
本方法利用固联像机与激光测距仪构成测量单元,两个测量单元分别安装在各自的刚体上,创新性地通过相互对视拍摄测量刚体之间的相对位姿变化,其中激光测距仪用于高精度地测出两个刚体之间的平移向量,像机则用于测量两个刚体之间的角度变化。采用测量单元相互拍摄的方式,构成相对位姿变化测量的闭合回路,有效地提高了两个刚体之间的相对位姿变化测量精度。该方法不要求事先已知固联标志的坐标,而直接通过2个及以上标志点图像坐标的增量来解算相对变形量,简单高效。本发明可用于刚体之间的相对位姿变化实时测量,具有重要的理论研究意义和广泛的应用前景。
基于对视摄像测量和激光测距的相对位姿变化测量系统的具体实施方法按以下步骤进行:
设计组装用于相对位姿变化测量的测量单元,其中测量单元由1个像机和1个激光测距仪固联构成。在实验室内调整使激光测距仪出光点与摄像机光心位置基本一致,并保证激光测距仪光束与摄像机的光轴平行;
根据测量现场要求,在需要测量的刚体上安装测量单元并绘制2个及以上标志点,标定出像机之间的相对位姿关系。两个测量单元相互拍摄,构成相对位姿变化测量系统;
测量系统中激光测距仪和像机同步采集数据,根据上述原理计算刚体之间六自由度的相对位姿变化。

Claims (4)

1.基于对视摄像测量和激光测距的相对位姿变化测量方法,其特征在于,利用固联像机与激光测距仪构成测量单元,两个测量单元分别安装在各自的刚体上,通过相互对视拍摄测量刚体之间的相对位姿变化,其中激光测距仪用于测出两个刚体之间的平移向量,像机则用于测量两个刚体之间的角度变化,采用测量单元相互拍摄的方式,构成相对位姿变化测量的闭合回路,不要求事先已知固联标志的坐标,而直接通过2个及以上标志点图像坐标的增量来解算相对变形量,具体步骤如下:
1)通过对视2号像机观测对视1号像机光心的像点移动,结合激光测距信息得到对视1号像机在对视2号像机系中的平移量,然后利用标定时刻对视1号和对视2号像机的相对关系得到对视1号像机相对于自身的平移量;
2)再利用上一步中得到的对视1号像机平移量来对其所观测的与对视2号像机相固联的对顶角标志像点坐标进行补偿,从而抵消掉由平移运动产生的像点变化;
3)最后利用补偿后的对顶角标志像点坐标偏移来确定对视1号像机相对于自身的姿态变化量,并最终确定完整的相对变形
2.如权利要求1所述基于对视摄像测量和激光测距的相对位姿变化测量方法,其特征在于,所述步骤1)具体内容为:
假设发生变形以后对视1号像机的光心像点坐标偏移,标定时刻的激光测距值为r0,此时的激光测距值为r,由于激光测距仪的朝向与像机光轴基本一致,因此激光测距值的变化量dr=(r-r0)基本上等于对视1号像机光心深度的变化量,则在已知光心像点坐标偏移(dx,dy)以及2号像机等效焦距fx_2,fy_2的情况下,推得对视1号像机光心在对视2号像机系中的平移量为
(1)
上式得到的还只是对视1号像机光心在对视2号像机系中的平移量,结合标定时刻1号和2号像机的相对关系就可以得到对视1号像机光心相对于自身坐标系的平移量,如下式
(2)
其中为标定时刻1号和2号像机之间的相对关系。
3.如权利要求1所述基于对视摄像测量和激光测距的相对位姿变化测量方法,其特征在于,所述步骤2)具体内容为:
步骤1)已经得到了对视1号像机相对于自身坐标系的平移量,这一平移运动也可以看作是对视1号像机不动,而与对视2号像机固联的对顶角标志在1号像机系中平移了,因此对视1号像机自身的平移运动给这些对顶角标志在其图像上的像点带来的变化为
(3)
其中fx_1,fx_1为对视1号像机的等效焦距,为抵消自身平移运动的影响,先在1号像机观测到的各对顶角标志像点坐标的基础上减去式(3)所示的像点偏移量以为补偿,然后再利用补偿后的对顶角像点坐标去进行后续的姿态变化量解算。
4.如权利要求1所述基于对视摄像测量和激光测距的相对位姿变化测量方法,其特征在于,所述步骤3)具体内容为:
假定对视1号像机自身的姿态依次发生滚转、偏航和俯仰的变化,则会造成标志像点坐标发生的偏移
其中c为对视1号像机的主点,
像机的滚转角可以直接利用标定时刻标志像点坐标()和当前时刻补偿后的标志像点坐标()解算得到,当然仅仅利用单个点,比方说()来估计像机的滚转角显然是不准确的,因为像点还发生了平移,但是利用两个点的连线()之间的夹角就可以排开像点平移的影响而单纯得到像机的滚转角,已知两个标志p1和p2在变形前后两个时刻的像点坐标,通过下式来计算像机的滚转角γ,
(4)
为提高算法的抗噪能力,在实际进行解算时是取任意两个点变形前后两时刻的像点都算一个滚转角,然后算得的所有滚转角取平均值为最终的滚转角γ,
在得到像机滚转角的基础上,将未变形时刻的标志像点坐标绕主点旋转γ,再利用旋转之后的标志像点坐标()与当前时刻补偿后的标志像点坐标()来解算得到像机的偏航角α和俯仰角β,假设已知某标志点旋转之后的坐标,以及当前时刻观测的坐标,可以通过下式算得像机的偏航角α和俯仰角β:
(5)
为提高算法的抗噪能力,在实际中是利用所有标志像点平移量的均值来解算像机偏航角α和俯仰角β,
接着按下列式得到对视1号像机相对于自身的旋转矩阵
(6)
(7)
再结合式(4)算得的光心平移,得到对视1号像机相对于自身的相对变形量
(8)
其中向量为式(2)中的
CN201510851088.2A 2015-11-30 2015-11-30 基于对视摄像测量和激光测距的相对位姿变化测量方法 Active CN105444687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510851088.2A CN105444687B (zh) 2015-11-30 2015-11-30 基于对视摄像测量和激光测距的相对位姿变化测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510851088.2A CN105444687B (zh) 2015-11-30 2015-11-30 基于对视摄像测量和激光测距的相对位姿变化测量方法

Publications (2)

Publication Number Publication Date
CN105444687A true CN105444687A (zh) 2016-03-30
CN105444687B CN105444687B (zh) 2017-06-16

Family

ID=55555165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510851088.2A Active CN105444687B (zh) 2015-11-30 2015-11-30 基于对视摄像测量和激光测距的相对位姿变化测量方法

Country Status (1)

Country Link
CN (1) CN105444687B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107976147A (zh) * 2017-12-11 2018-05-01 西安迈森威自动化科技有限公司 一种基于机器视觉的玻璃定位检测装置
CN108106637A (zh) * 2018-02-22 2018-06-01 北京航空航天大学 一种分布式pos的精度检校方法和装置
CN108955631A (zh) * 2018-10-13 2018-12-07 北华航天工业学院 一种三分量感应线圈的姿态测量方法
CN109307477A (zh) * 2018-12-04 2019-02-05 福建汇川物联网技术科技股份有限公司 位移测量系统及方法
CN110208780A (zh) * 2019-05-14 2019-09-06 北京华捷艾米科技有限公司 一种基于体感摄像头测量距离的方法及装置、存储介质
CN110455277A (zh) * 2019-08-19 2019-11-15 哈尔滨工业大学 基于物联网数据融合的高精度姿态测量装置与方法
CN112222798A (zh) * 2020-09-30 2021-01-15 北京特种机械研究所 一种大型部件自动安装方法及装置
CN115046488A (zh) * 2022-06-16 2022-09-13 西安建筑科技大学 一种网架建筑结点的间距测量方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1240270A (zh) * 1999-07-02 2000-01-05 清华大学 目标空间位置及姿态激光跟踪测量系统及其测量方法
JP4247371B2 (ja) * 2002-07-05 2009-04-02 財団法人生産技術研究奨励会 三次元データ取得装置
CN102005104A (zh) * 2009-09-02 2011-04-06 吴立新 滑坡体位移和姿态远距离快速监测报警装置及方法
CN102042814A (zh) * 2010-06-24 2011-05-04 中国人民解放军国防科学技术大学 大型堆场三维形貌的投影辅助摄像测量方法
CN102692183A (zh) * 2011-03-23 2012-09-26 比比威株式会社 多台摄像机的初始位置和姿势的计量方法
US8319979B2 (en) * 2010-10-26 2012-11-27 Advanced Measurement Systems Single laser beam measurement system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1240270A (zh) * 1999-07-02 2000-01-05 清华大学 目标空间位置及姿态激光跟踪测量系统及其测量方法
JP4247371B2 (ja) * 2002-07-05 2009-04-02 財団法人生産技術研究奨励会 三次元データ取得装置
CN102005104A (zh) * 2009-09-02 2011-04-06 吴立新 滑坡体位移和姿态远距离快速监测报警装置及方法
CN102042814A (zh) * 2010-06-24 2011-05-04 中国人民解放军国防科学技术大学 大型堆场三维形貌的投影辅助摄像测量方法
US8319979B2 (en) * 2010-10-26 2012-11-27 Advanced Measurement Systems Single laser beam measurement system
CN102692183A (zh) * 2011-03-23 2012-09-26 比比威株式会社 多台摄像机的初始位置和姿势的计量方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107976147A (zh) * 2017-12-11 2018-05-01 西安迈森威自动化科技有限公司 一种基于机器视觉的玻璃定位检测装置
CN107976147B (zh) * 2017-12-11 2019-08-06 西安迈森威自动化科技有限公司 一种基于机器视觉的玻璃定位检测装置
CN108106637A (zh) * 2018-02-22 2018-06-01 北京航空航天大学 一种分布式pos的精度检校方法和装置
CN108955631A (zh) * 2018-10-13 2018-12-07 北华航天工业学院 一种三分量感应线圈的姿态测量方法
CN108955631B (zh) * 2018-10-13 2020-07-28 北华航天工业学院 一种三分量感应线圈的姿态测量方法
CN109307477A (zh) * 2018-12-04 2019-02-05 福建汇川物联网技术科技股份有限公司 位移测量系统及方法
CN110208780A (zh) * 2019-05-14 2019-09-06 北京华捷艾米科技有限公司 一种基于体感摄像头测量距离的方法及装置、存储介质
CN110455277A (zh) * 2019-08-19 2019-11-15 哈尔滨工业大学 基于物联网数据融合的高精度姿态测量装置与方法
CN112222798A (zh) * 2020-09-30 2021-01-15 北京特种机械研究所 一种大型部件自动安装方法及装置
CN115046488A (zh) * 2022-06-16 2022-09-13 西安建筑科技大学 一种网架建筑结点的间距测量方法
CN115046488B (zh) * 2022-06-16 2024-06-14 西安建筑科技大学 一种网架建筑结点的间距测量方法

Also Published As

Publication number Publication date
CN105444687B (zh) 2017-06-16

Similar Documents

Publication Publication Date Title
CN105444687A (zh) 基于对视摄像测量和激光测距的相对位姿变化测量方法
CN112629431B (zh) 土木结构变形监测方法及相关设备
CN110033480B (zh) 基于航摄测量的机载光电系统目标运动矢量估计方法
CN106871787B (zh) 大空间线扫描成像三维测量方法
CN108269286B (zh) 基于组合立体标志的多相机位姿关联方法
CN104501779A (zh) 基于多站测量的无人机高精度目标定位方法
CN107014399B (zh) 一种星载光学相机-激光测距仪组合系统联合检校方法
CN102944183B (zh) 一种大展弦比柔性机翼测量方法
CN110646016B (zh) 基于经纬仪与视觉辅助柔性基线分布式pos标校方法和装置
CN109520476B (zh) 基于惯性测量单元的后方交会动态位姿测量系统及方法
CN103487013A (zh) 一种高精度垂轴倾角测量系统及其标定方法
CN109813509B (zh) 基于无人机实现高铁桥梁竖向动扰度测量的方法
CN203479294U (zh) 一种高精度垂轴倾角测量系统
CN111486868B (zh) 基于地物特征的光电望远镜免方位标扩展标校法
CN109798874B (zh) 一种高铁桥梁竖向动扰度测量方法
CN113240749B (zh) 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法
CN104634246A (zh) 目标空间坐标的浮动式立体视觉测量系统及测量方法
CN108154535B (zh) 基于平行光管的摄像机标定方法
CN110220533A (zh) 一种基于传递对准的机载光电吊舱设备失准角标定方法
CN109813510B (zh) 基于无人机的高铁桥梁竖向动扰度测量方法
Ye et al. A calibration trilogy of monocular-vision-based aircraft boresight system
Liu et al. Correction method for non-landing measuring of vehicle-mounted theodolite based on static datum conversion
CN110686593B (zh) 一种测量拼接焦平面中图像传感器相对位置关系的方法
CN116026323A (zh) 一种用于发动机油加注机定位与区域防错方法
CN113446936B (zh) 一种基于主动视距的变视轴立体视觉测量系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant