CN1384351A - 结构光三维双视觉标定点发生方法及装置 - Google Patents
结构光三维双视觉标定点发生方法及装置 Download PDFInfo
- Publication number
- CN1384351A CN1384351A CN 01115655 CN01115655A CN1384351A CN 1384351 A CN1384351 A CN 1384351A CN 01115655 CN01115655 CN 01115655 CN 01115655 A CN01115655 A CN 01115655A CN 1384351 A CN1384351 A CN 1384351A
- Authority
- CN
- China
- Prior art keywords
- transfer table
- dimensional
- calibration point
- coordinate
- sighting device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种用于检测的结构光三维双视觉标定点发生方法及装置。装置由一双向光电瞄准装置和一三维移动台组成,移动移动台,使双向光电瞄准装置两侧瞄准孔孔心分别在其样本采集范围内,与对应侧激光投射器的结构光光条中心重合,由移动台获取孔心物坐标,CCD摄像机获取孔心像坐标;用CCD摄像机获取双向光电瞄准装置的轴向和三维移动台Z向轴。这样便获得双向光电瞄准装置的安装偏角。像坐标精度为0.015像素,物坐标精度为0.005mm。
Description
本发明涉及一种用于检测的结构光三维双视觉标定点发生的方法及装置。
视觉检测广泛地应用于工件的完整性、表面平整度的测量；微电子器件(IC芯片、PC板、BGA)等的自动检测；软质、易脆零部件的检测；各种模具三维形状的检测；机器人的视觉导引等。在诸多的视觉检测方法中，结构光三维视觉以其大量程、大视场、测量速度快、光条图像易于提取及较高精度等特点在工业环境中得到了愈来愈广泛的应用。最具有吸引力地是由视觉传感器阵列组成的大型物体(如航空构件等)空间三维尺寸多传感器视觉检测系统。这种系统柔性好，测量为非接触式，动态响应快，能满足大量生产“节拍”短的要求，而且整个测量过程高度自动化。
对于由视觉传感器阵列组成的多传感器视觉检测系统，其关键问题是需建立传感器坐标系与检测系统的整体坐标系的关系，即全局标定。而全局标定的关键技术之一是标定点的发生。
目前比较实用的用于结构光三维多视觉结构参数标定的标定点发生方法主要是拉丝法。该方法是在测量区域拉起若干条细丝，每个视觉传感器的光平面均与细丝产生一交点，该交点即为标定点。每个标定点的坐标及其之间的相互坐标关系由两台电子经纬仪获取。但是，此种方法存在着如下缺点：
①不能实现标定点图像位置的高精度提取。同时两台电子经纬仪获取标定点物坐标的精度较低，一般在0.05mm左右。
②在两个视觉传感器相对放置的情况下，由于“盲区”问题，不能直接产生标定点，而是通过两台电子经纬仪的移动来实现，因此造成了测量误差。
③需要多次坐标系的转换，在坐标系的转换过程中必然损失掉一些测量精度。
因此，由于上述问题的存在，目前结构光三维多视觉检测精度在0.5-1mm左右，标定点的精度较低。
本发明的目的是，提供一种操作方便，精度高的用于结构光三维双视觉全局标定的标定点发生方法及其装置。
本发明的技术解决方案是，以高精度三维移动台为底座，由控制器控制能够在空间X、Y、Z三个方向上移动，其载物安装面上固定一个双向光电瞄准装置，瞄准装置由两个圆锥形的瞄准孔和两个光电三极管以及放大电路、压盖、压垫及螺钉组成，光电三极管固定于压盖内的瞄准孔中，且与压垫上的放大电路相接，压盖与压垫由螺钉组合在一起。其标定点的发生方法是：
(1)将双向光电瞄准装置固定于三维移动台上，接通移动台电源，然后再接通右(或左)侧视觉检测系统的激光器及CCD摄像机的电源，发射线结构光；
(2)控制移动台移动，使双向光电瞄准装置右(或左)侧瞄准孔位于对应右(或左)侧视觉检测系统的样本采集范围的起点处，并使双向光电瞄准装置的右(或左)侧瞄准孔位于结构光的光条区域内；
(3)然后沿移动台Y向微调移动台，使双向光电瞄准装置右(或左)侧光电三极管的输出电压最大，此时，光条中心与右瞄准孔中心重合，可由移动台获取其当前空间三维物坐标；然后关闭激光器，采集图像，精确提取孔心的像坐标，这样便获得一个标定点数据对(空间物坐标和像坐标)；
(4)控制移动台沿移动台Z向移动预定的步长，重复步骤(3)，提取瞄准孔孔心的像坐标，并读取三维移动台的坐标作为瞄准孔孔心的三维物坐标，这样便获得又一个标定点数据对；
(5)重复步骤(4)，直至在预定的Z向采集范围内采集到足够的标定点数据。
(6)控制移动台沿移动台X向移动预定的步长，重复步骤(3)，提取瞄准孔孔心的像坐标，并读取三维移动台的坐标作为瞄准孔孔心的三维物坐标，这样便获得又一个标定点数据对；
(7)重复步骤(6)，直至在预定的X向采集范围内采集到足够的标定点数据。
(8)重复步骤(4)、(5)、(6)、(7)，直到在整个标定点采集平面范围内采集到足够的标定点数据。
本发明的优点是，采用一双向光电瞄准装置，配合一高精度的三维移动台，并采用有效的双向光电瞄准装置安装误差修正方法，获取了用于结构光三维双视觉全局标定的标定点；本发明的装置由两个圆锥形的瞄准孔和两个光电三极管以及放大电路、相应的压盖、压垫及螺钉组成双向光电瞄准装置。该瞄准装置上的两个瞄准孔之间的位置关系在设计时已经预先设定，并且由高精密的机械加工来保证。假设光平面从两侧分别以α(α为入射光与瞄准孔轴心的夹角)角入射于瞄准孔，且设光平面截面为高斯分布，其宽度约等于瞄准孔的直径。当双向光电瞄准装置中硅光电三极管的输出电压最大时，光平面中心与瞄准孔中心精确重合。调整光平面尽量以α＝0入射于瞄准孔。瞄准孔采用圆锥形，可以减少孔壁的挡光，并使得孔瞄准边缘变的更加尖锐，从而能够精确提取瞄准孔的孔中心图像坐标。精度为5μm的三维移动台，在空间X、Y、Z三个方向上的移动范围均为300mm。它由一个控制器控制，可以以最小步长5μm在空间三个方向上移动。由于在采集完右侧视觉检测系统的标定点，再进行采集左侧视觉检测系统的标定点时，移动台的原点并没有重新设置，即在标定点采集过程中，只在初始时设定一个坐标原点，建立坐标系，而后移动台所有移动后得到的三维物坐标均是在这唯一的坐标系下的物坐标，因此，操作简便，检测误差小，精度高。本发明的构思巧妙，操作方便，其实现装置的结构设计简单合理，标定点的图像坐标精度为0.15个像素，标定点的全局物坐标精度为0.015mm。
图1为现有技术示意图；
图2为本发明发生装置示意图；
图3为本发明双向光电瞄准装置示意图；
图4为本发明三维移动台示意图；
图5为本发明理想安装俯视示意图；
图6为本发明安装偏角俯视示意图；
图7为本发明安装偏角(θ)获取方法示意图。
图3为双向光电瞄准装置的结构图。图中，17为左侧圆锥形瞄准孔，用于对准并接收左侧结构光条。19为左侧光电三极管，用于在光照下产生光电流。21为左侧压盖，23为左侧压垫。25为左侧螺钉，27为左侧放大电路，把光电流转换成电压输出；18为右侧圆锥形瞄准孔，用于对准并接收右侧结构光条；20为右侧光电三极管，用于在光照下产生光电流；24为右侧压垫，22为右侧压盖。26为右侧螺钉，28为右侧放大电路，把光电流转换成电压输出。
图4是用来与双向光电瞄准装置配合，提供标定点的空间物坐标的三维移动台，其中29为X轴导轨。30为Y轴导轨。31为Z轴导轨。
图2是整个结构光三维双视觉标定点发生装置的结构框图。三维空间坐标系的定义如图中所示。其中9、10为激光投射器。11、12为CCD摄像机，实现场景图像的获取。13为双向光电瞄准装置。14为三维移动台。15为图像采集卡。16为计算机，控制及数据处理。
标定点的发生方法如下：
(1)将双向光电瞄准装置13固定于三维移动台14上，接通移动台电源，然后再接通右侧视觉检测系统的激光器10及CCD摄像机12的电源，发射线结构光；
(2)控制移动台14移动，使双向光电瞄准装置13右侧瞄准孔18位于对应右侧视觉检测系统的样本采集范围的起点处，并使双向光电瞄准装置13的右侧瞄准孔18位于结构光的光条区域内；
(3)然后沿移动台Y向微调移动台，使双向光电瞄准装置13右侧光电三极管20的输出电压最大，此时，光条中心与右瞄准孔18的中心重合，可由移动台获取其当前空间三维物坐标。然后关闭激光器10，采集图像，精确提取孔心的像坐标，这样便获得一个标定点数据对(空间物坐标和像坐标)；
(4)控制移动台沿移动台Z向移动预定的步长，重复步骤(3)，提取瞄准孔孔心的像坐标，并读取三维移动台的坐标作为瞄准孔孔心的三维物坐标，这样便获得又一个标定点数据对；
(5)重复步骤(4)，直至在预定的Z向采集范围内采集到足够的标定点数据；
(6)控制三维移动台沿X向移动预定的步长，重复步骤(4)、(5)；
(7)重复步骤(6)，直至在右侧预定的采集范围内采集到足够的标定点数据，所获数据均输入计算机16，关掉右侧的激光器10和CCD摄像机12的电源；这样就获得了对应于右侧视觉传感器的全部标定点数据。
(8)打开左侧的激光器9和CCD摄像机11的电源，发射线结构光；
(9)控制移动台14移动，使双向光电瞄准装置13位于对应左侧视觉检测系统的样本采集范围的起点处，使双向光电瞄准装置13的左侧瞄准孔17位于结构光的光条区域内；
(10)然后沿移动台Y向微调移动台14的位置，使双向光电瞄准装置13左侧光电三极管19的输出电压最大，此时，光条中心与左侧瞄准孔17中心重合，可由移动台获取其当前物坐标。然后关闭激光器9，采集图像，精确提取孔心的像坐标，这样即可获得一个标定点数据对(空间物坐标和像坐标)；
(11)控制移动台沿移动台Z向移动预定的步长，重复步骤(10)；
(12)重复步骤(11)，直至在预定的Z向采集范围内采集到足够的标定点数据；
(13)控制三维移动台沿X向移动预定的步长，重复步骤(10)(11)、(12)；
(14)重复步(13)骤，直至在左侧预定的采集范围内采集到足够的标定点数据。关掉左侧的激光器9和CCD摄像机11的电源；所获数据均输入计算机16。
(15)将移动台复位，回到初始原点处。
至此，获得了对应于左右两侧双视觉传感器的全部标定点数据。
在获取左侧视觉检测系统的标定点时，三维移动台给出的物坐标实际上是右侧瞄准孔中心的三维物坐标。由于左右两个的两个瞄准孔的孔心同处于双向光电瞄准装置的中心对称竖直平面内，并且它们之间的位置尺寸关系在设计时已经给定并由精密的机械加工保证，因此左侧瞄准孔的孔心三维物坐标需要通过下述进一步的换算才能获得，也即全局坐标的统一。
在理想情况下，双向光电瞄准装置的轴线与由移动台的Z向移动轴所决定的物坐标系的Z向轴线平行，如图5所示，其中32为三维移动台的载物安装面。33为双向光电瞄准装置。则双向光电瞄准装置两侧瞄准孔之间的空间相对位置关系如下所示：
而在非理想情况下，安装后双向光电瞄准装置的轴线与由移动台的Z向移动轴所决定的物坐标系的Z向轴线存在夹角θ，见图6，其中32为三维移动台的载物安装面。33为双向光电瞄准装置。
图6中，P1，P3分别为两个瞄准孔孔心点。则双向光电瞄准装置两侧瞄准孔孔心之间的空间相对位置关系如下所示：
式(1)、(2)中，(X1，Y1，Z1)，(X2，Y2，Z2)分别为采集左侧标定点时，右侧瞄准孔孔心和左侧瞄准孔孔心的三维物坐标。h为两侧瞄准孔孔心在移动台X向的空间高度差。
双向光电瞄准装置安装偏角(θ)获取方法如图7所示，其中32为三维移动台的载物安装面。33为双向光电瞄准装置。34为标记点。具体方法如下：
(1)放置于一CCD摄像机，其光轴垂直于YOZ平面。采集一幅图像，这样可测得双向光电瞄准装置的轴向；
(2)在双向光电瞄准装置表面上贴一标记点，由CCD摄像机获取标记点的位置，记为位置A；
(3)使三维移动台沿Z轴移动一定的距离，再由CCD摄像机获取标记点的位置，记为位置B；
(4)A、B连线即为三维移动台Z轴方向，至此安装偏角即可获得。
由于安装偏角θ、h和L均为已知量，按照(2)式计算左侧瞄准孔孔心的三维物坐标(X2，Y2，Z2)，这样就很容易地实现了全局坐标的统一，并且标定点的精度很高。
Claims (3)
1、一种用于检测的结构光三维双视觉标定点发生方法，其特征是：
(1)将双向光电瞄准装置固定于三维移动台上，接通移动台电源，然后再接通右(或左)侧视觉检测系统的激光器及CCD摄像机的电源，发射线结构光；
(2)控制移动台移动，使双向光电瞄准装置右(或左)侧瞄准孔位于对应右(或左)侧检测系统的样本采集范围的起点处，并使双向光电瞄准装置的右(或左)侧瞄准孔位于结构光的光条区域内；
(3)然后沿Y向微调移动台，使双向光电瞄准装置右(或左)侧光电三极管的输出电压最大，此时，光条中心与右瞄准孔中心重合，可由移动台获取其当前空间三维物坐标；然后关闭激光器，采集图像，精确提取孔心的像坐标，这样便获得一个标定点数据对(空间物坐标和像坐标)；
(4)控制移动台沿移动台Z向移动预定的步长，重复步骤(3)，提取瞄准孔孔心的像坐标，并读取三维移动台的坐标作为瞄准孔孔心的三维物坐标，这样便获得又一个标定点数据对；
(5)重复步骤(4)，直至在预定的Z向采集范围内采集到足够的标定点数据。
(6)控制移动台沿移动台X向移动预定的步长，重复步骤(3)，提取瞄准孔孔心的像坐标，并读取三维移动台的坐标作为瞄准孔孔心的三维物坐标，这样便获得又一个标定点数据对；
(7)重复步骤(6)，直至在预定的X向采集范围内采集到足够的标定点数据；
(8)重复步骤(4)、(5)、(6)、(7)，直到在整个标定点采集平面范围内采集到足够的标定点数据。
2、根据权利要求1所述的结构光三维双视觉标定点发生方法，其特征是，获取光电瞄准装置安装偏角(θ)的方法是：
(1)放置一CCD摄像机，使其光轴垂直于YOZ平面，采集一幅图像，这样可测得双向光电瞄准装置的轴向；
(2)在双向光电瞄准装置表面上贴一标记点，由CCD摄像机获取标记点的位置，记为位置A；
(3)使三维移动台沿Z轴移动一定的距离，再由CCD摄像机获取标记点的位置，记为位置B；
(4)A、B连线即为三维移动台Z轴方向，至此安装偏角即可获得。
3、一种结构光三维双视觉标定点发生装置，其特征是，以高精度三维移动台为底座，由控制器控制能够在空间X、Y、Z三个方向上移动，其上方的载物安装面上固定一个双向光电瞄准装置，瞄准装置由两个圆锥形的瞄准孔和两个光电三极管以及放大电路、压盖、压垫及螺钉组成，光电三极管固定于压盖内的瞄准孔中且与压垫上的放大电路相接，压盖与压垫由螺钉组合在一起。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB011156554A CN1161600C (zh) | 2001-04-30 | 2001-04-30 | 结构光三维双视觉标定点发生方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB011156554A CN1161600C (zh) | 2001-04-30 | 2001-04-30 | 结构光三维双视觉标定点发生方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1384351A true CN1384351A (zh) | 2002-12-11 |
| CN1161600C CN1161600C (zh) | 2004-08-11 |
Family
ID=4662135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB011156554A Expired - Fee Related CN1161600C (zh) | 2001-04-30 | 2001-04-30 | 结构光三维双视觉标定点发生方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1161600C (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1297796C (zh) * | 2003-07-02 | 2007-01-31 | 西安交通大学 | 线阵光电传感器层析扫描三维测量方法及其装置 |
| CN100384220C (zh) * | 2006-01-17 | 2008-04-23 | 东南大学 | 摄像机标定数据的采集方法及其标定板 |
| CN101308012B (zh) * | 2008-05-29 | 2010-06-23 | 上海交通大学 | 双单目白光三维测量系统标定方法 |
| CN101493318B (zh) * | 2008-09-16 | 2010-10-06 | 北京航空航天大学 | 一种舵偏角同步动态测量系统及其实现方法 |
| CN101630409B (zh) * | 2009-08-17 | 2011-07-27 | 北京航空航天大学 | 一种用于机器人制孔系统的手眼视觉标定方法 |
| CN103175851A (zh) * | 2011-12-21 | 2013-06-26 | 北京兆维电子(集团)有限责任公司 | 用于多相机扫描系统的标定工具及标定方法 |
| CN103344655A (zh) * | 2013-06-28 | 2013-10-09 | 云南电力试验研究院（集团）有限公司电力研究院 | 一种数字x射线数字探测器自动定位装置 |
| CN104990518A (zh) * | 2015-07-13 | 2015-10-21 | 深圳市易尚展示股份有限公司 | 一种基于fpga的三维扫描控制装置和方法 |
| CN105014675A (zh) * | 2014-06-20 | 2015-11-04 | 北京信息科技大学 | 一种狭窄空间智能移动机器人视觉导航系统及方法 |
| CN105136124A (zh) * | 2015-07-16 | 2015-12-09 | 延锋汽车饰件系统宁波有限公司 | 一种汽车饰件视觉防错系统 |
| CN106736867A (zh) * | 2016-11-17 | 2017-05-31 | 天津大学 | 机床主轴双线结构光快速标定方法 |
| CN109883443A (zh) * | 2019-02-19 | 2019-06-14 | 北京工业大学 | 一种线结构光传感器空间姿态标定方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100451537C (zh) * | 2006-11-16 | 2009-01-14 | 天津大学 | 基于自动视觉引导的大尺寸空间坐标测量方法及检测装置 |
-
2001
- 2001-04-30 CN CNB011156554A patent/CN1161600C/zh not_active Expired - Fee Related
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1297796C (zh) * | 2003-07-02 | 2007-01-31 | 西安交通大学 | 线阵光电传感器层析扫描三维测量方法及其装置 |
| CN100384220C (zh) * | 2006-01-17 | 2008-04-23 | 东南大学 | 摄像机标定数据的采集方法及其标定板 |
| CN101308012B (zh) * | 2008-05-29 | 2010-06-23 | 上海交通大学 | 双单目白光三维测量系统标定方法 |
| CN101493318B (zh) * | 2008-09-16 | 2010-10-06 | 北京航空航天大学 | 一种舵偏角同步动态测量系统及其实现方法 |
| CN101630409B (zh) * | 2009-08-17 | 2011-07-27 | 北京航空航天大学 | 一种用于机器人制孔系统的手眼视觉标定方法 |
| CN103175851A (zh) * | 2011-12-21 | 2013-06-26 | 北京兆维电子(集团)有限责任公司 | 用于多相机扫描系统的标定工具及标定方法 |
| CN103175851B (zh) * | 2011-12-21 | 2015-01-07 | 北京兆维电子(集团)有限责任公司 | 用于多相机扫描系统的标定工具及标定方法 |
| CN103344655B (zh) * | 2013-06-28 | 2016-12-28 | 云南电力试验研究院（集团）有限公司电力研究院 | 一种数字x射线数字探测器自动定位装置 |
| CN103344655A (zh) * | 2013-06-28 | 2013-10-09 | 云南电力试验研究院（集团）有限公司电力研究院 | 一种数字x射线数字探测器自动定位装置 |
| CN105014675A (zh) * | 2014-06-20 | 2015-11-04 | 北京信息科技大学 | 一种狭窄空间智能移动机器人视觉导航系统及方法 |
| CN104990518A (zh) * | 2015-07-13 | 2015-10-21 | 深圳市易尚展示股份有限公司 | 一种基于fpga的三维扫描控制装置和方法 |
| CN105136124A (zh) * | 2015-07-16 | 2015-12-09 | 延锋汽车饰件系统宁波有限公司 | 一种汽车饰件视觉防错系统 |
| CN106736867A (zh) * | 2016-11-17 | 2017-05-31 | 天津大学 | 机床主轴双线结构光快速标定方法 |
| CN106736867B (zh) * | 2016-11-17 | 2019-08-20 | 天津大学 | 机床主轴双线结构光快速标定方法 |
| CN109883443A (zh) * | 2019-02-19 | 2019-06-14 | 北京工业大学 | 一种线结构光传感器空间姿态标定方法 |
| CN109883443B (zh) * | 2019-02-19 | 2021-06-18 | 北京工业大学 | 一种线结构光传感器空间姿态标定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1161600C (zh) | 2004-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1161600C (zh) | 结构光三维双视觉标定点发生方法及装置 | |
| CN111735390B (zh) | 一种用于线激光传感器的标定块及手眼标定方法 | |
| CN100585615C (zh) | 检测系统 | |
| CN201373735Y (zh) | 三维影像坐标测量仪 | |
| CN1115546C (zh) | 表面三维形貌检测方法和装置 | |
| CN106767512A (zh) | 基于实时监测运动误差的光学元件高精度测量装置 | |
| CN102135393A (zh) | 一种高速运动物体运动参数的测量系统 | |
| CN112082477A (zh) | 基于结构光的万能工具显微镜三维测量装置及方法 | |
| CN103759639A (zh) | 一种基于面阵ccd的精密定位平台位置检测方法 | |
| CN115144163B (zh) | 一种分区点亮半导体激光器模组的自动化liv测试方法 | |
| CN203217498U (zh) | 一种六自由度光磁三维鼠标装置 | |
| CN107747913A (zh) | 一种管道弯曲度测量装置及方法 | |
| CN1865844A (zh) | 便携式无导轨结构光三维扫描测量系统及其测量方法 | |
| CN111953912A (zh) | 一种高速运动光点空间位置的探测方法以及装置 | |
| CN202109888U (zh) | 多激光传感测量仪 | |
| US20070045566A1 (en) | Substrate Alignment Using Linear Array Sensor | |
| CN100359286C (zh) | 图像处理提高激光测量精度的方法 | |
| US5751011A (en) | System for punching holes in a spinnerette | |
| CN1236277C (zh) | 一种多视觉传感器检测系统全局标定方法 | |
| CN1268892C (zh) | 基于位置传感器件psd的三维测量方法 | |
| CN207215021U (zh) | 一种基于双目立体视觉的摄像机光轴偏移校正装置 | |
| CN212620593U (zh) | 一体化pcb线宽线距测量装置及系统 | |
| CN108709509A (zh) | 轮廓照相机、配套的超大直径回转体工件非接触式测径仪以及非接触式回转体测量方法 | |
| CN111028298B (zh) | 一种用于刚体坐标系空间变换标定的汇聚式双目系统 | |
| CN208188151U (zh) | 基于cmos的光电加速度传感器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C19 | Lapse of patent right due to non-payment of the annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |