CN102155940B - 用于双目视觉定位跟踪系统的立体靶标 - Google Patents
用于双目视觉定位跟踪系统的立体靶标 Download PDFInfo
- Publication number
- CN102155940B CN102155940B CN201110064822A CN201110064822A CN102155940B CN 102155940 B CN102155940 B CN 102155940B CN 201110064822 A CN201110064822 A CN 201110064822A CN 201110064822 A CN201110064822 A CN 201110064822A CN 102155940 B CN102155940 B CN 102155940B
- Authority
- CN
- China
- Prior art keywords
- trapezoid block
- trapezoid
- regular hexahedron
- rectangular pyramids
- truncated rectangular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Abstract
提供一种用于双目视觉定位跟踪系统的立体靶标,该靶标包括构成正六面体的九个梯形块,每个梯形块包括底座和正四棱台,第一至第四梯形块分别位于正六面体的后表面的右上顶点、右下顶点、左上顶点、左下顶点,第五至第八梯形块分别位于正六面体的前表面的右上顶点、右下顶点、左上顶点、左下顶点,第九梯形块位于正六面体的后表面的中心处,相邻梯形块用连杆支撑固定,第一和第二梯形块的正四棱台的右侧面以及第三和第四梯形块的正四棱台的左侧面均布置有标志点,第五至第八梯形块的正四棱台的右侧面、左侧面、上侧面和顶面均布置有标志点,第一和第三梯形块的正四棱台的上侧面均布置有标志点,第九梯形块的正四棱台的顶面布置有标志点。
Description
技术领域
本发明涉及视觉测量领域,具体地讲,涉及一种用于双目视觉定位跟踪系统的立体靶标,适用于运动目标位置姿态的测量。
背景技术
在自由曲面三维测量中,视觉测量方法以其非接触、速度快、精度高、自动化等优点,成为了最重要的测量方法之一。但是在实际测量中,由于视觉传感器的视场范围有限或被测表面出现遮挡等原因,会产生视觉测量盲区,无法一次得到物体表面的全部信息。因此需要从不同角度、位置进行分块的测量,然后采用各种拼接方法,将所有分块的测量点云数据拼合在一起,这一过程称为多视点云拼接技术。
通过视觉定位跟踪技术,在三维扫描仪上安装包括一定数量标志点的靶标构成测量系统,通过双目视觉定位跟踪系统实时识别和定位标志点,计算出测量系统的位置及姿态变化,从而将前端三维扫描仪采集得到的局部三维数据拼合在一起,完成大型自由曲面的高精度、高效率、自动化测量。也就是说,三维扫描仪在多个位置对被测目标进行扫描,得到被测目标的三维数据,而安装在三维扫描仪上的靶标作为参照物由视觉定位跟踪系统(诸如相机)跟踪,将三维扫描仪在多个位置获得的三维数据转换到统一的坐标系(视觉定位跟踪系统所在的坐标系)下,以便于进行相关的计算、测量。该技术不需要借助精密的转台或在被测物体表面粘贴大量的标记点,且测量系统可以在任何位置以任何姿态完成局部三维数据的获取。
系统中跟踪靶标的重要作用在于建立测量系统坐标系与视觉定位跟踪系统坐标系之间的转换关系,而其上标志点的布局将会影响这一转换关系的精确求取,从而会导致拼接测量的误差。此外,传统的定位跟踪靶标多数为平面结构,其最大的缺点在于工作过程中容易出现标志点的遮挡问题,因此视觉定位跟踪系统的工作范围有限。
发明内容
本发明要解决两个技术问题:1、视觉定位跟踪系统中运动目标的高精度位置姿态测量;2、靶标标志点数量及布局。如果靶标上的标志点过少,则容易出现标志点遮挡而无法完成定位跟踪的问题;如果标志点过多,就会造成系统复杂,加工难度大,识别定位困难。
根据本发明的一方面,提供一种用于双目视觉定位跟踪系统的立体靶标,所述立体靶标安装在三维扫描仪上,其特征在于:所述立体靶标包括第一梯形块至第九梯形块,每个梯形块包括底座和正四棱台,底座的横截面为正方形,正四棱台的底面与底座结合,第一梯形块至第九梯形块构成正六面体,其中,第一梯形块位于正六面体的后表面的右上顶点,第二梯形块位于正六面体的后表面的右下顶点,第三梯形块位于正六面体的后表面的左上顶点,第四梯形块位于正六面体的后表面的左下顶点,第五梯形块位于正六面体的前表面的右上顶点,第六梯形块位于正六面体的前表面的右下顶点,第七梯形块位于正六面体的前表面的左上顶点,第八梯形块位于正六面体的前表面的左下顶点,第九梯形块位于正六面体的后表面的中心处,第一梯形块至第九梯形块彼此平行布置,第一梯形块至第九梯形块的正四棱台的顶面的法线与正六面体的后表面垂直,第一梯形块至第九梯形块中的相邻梯形块之间采用连杆支撑固定,第一梯形块和第二梯形块的正四棱台的右侧面以及第三梯形块和第四梯形块的正四棱台的左侧面均布置有标志点,第五梯形块至第八梯形块的正四棱台的右侧面、左侧面、上侧面和顶面均布置有标志点,第一梯形块和第三梯形块的正四棱台的上侧面均布置有标志点,第九梯形块的正四棱台的顶面布置有标志点。
第一梯形块至第九梯形块的正四棱台的四个侧面相对于底座的倾斜角度可以是为45度。
第一梯形块至第四梯形块所在的平面为将立体靶标安装在三维扫描仪上的安装面。
三维扫描仪对被测目标进行不同位置的扫描,双目视觉定位跟踪系统检测处于不同位置的立体靶标的标志点,并且基于检测到的标志点的坐标将三维扫描仪获得的三维数据转换到视觉定位跟踪系统所在的坐标系下。
标志点的直径可以是5毫米。
根据本发明的立体靶标与现有的跟踪靶标相比,能够有效地提高视觉定位跟踪系统的定位精度,避免标志点出现遮挡的情况,可用于基于视觉定位跟踪技术的大型自由曲面拼接测量中。
附图说明
通过结合附图,从下面的实施例的描述中,本发明这些和/或其它方面及优点将会变得清楚,并且更易于理解,其中:
图1是定位跟踪系统的数学模型的示意图;
图2是定位跟踪系统仿真算法的流程图;
图3是立体跟踪靶标的标志点布局的示意图;
图4是遮挡现象及避免遮挡的靶标的示意图,其中,(a)表示未遮挡,(b)表示旋转后遮挡,(c)表示未遮挡,(d)表示旋转后未遮挡;
图5是根据本发明的立体跟踪靶标的结构的示意图,其中,(a)表示梯形块和标志点,(b)示出了梯形块的尺寸,(c)表示立体靶标的整体结构;
图6是根据本发明的立体跟踪靶标的标志点识别编号的示意图。
具体实施方式
下面从理论上对立体靶标的设计进行说明。
首先,介绍视觉定位跟踪系统的数学模型,通过仿真和实验来实现靶标标志点的布局优化。图1是定位跟踪系统的数学模型的示意图。如图1所示,OT-XTYTZT为跟踪系统坐标系,O1-X1Y1Z1、O2-X2Y2Z2分别为三维扫描系统在位置1、位置2处的坐标系,OE1-XE1YE1ZE1、OE2-XE2YE2ZE2分别为跟踪靶标在位置1、位置2处的坐标系。通过中介靶标可以获得跟踪系统到三维扫描系统的旋转平移矩阵MT1,通过跟踪系统可以获得跟踪靶标分别在位置1和位置2处到跟踪系统下的旋转平移矩阵MET1、MET2,可以得到以下两个关系式:
ME=MT1MET1 (1)
图2是定位跟踪系统仿真算法的流程图。参照图2,假设标志点在跟踪靶标系统坐标系下的坐标值为PE,PE到O1-X1Y1Z1坐标系下的坐标为:
PE1=MEPE (3)
跟踪靶标系统坐标系与三维扫描系统坐标系的相对位置是不变的,即,转换矩阵不变。因此,PE到O2-X2Y2Z2坐标系下的坐标为:
PE2=PE1 (4)
位置2处PE到OT-XTYTZT坐标系下的坐标为:
PTE=MET2PE (5)
如果PE2、PTE的坐标值不存在误差,则利用四元数法就可以求出O2-X2Y2Z2坐标系到OT-XTYTZT坐标系的旋转平移矩阵M2T,理论上:
其中,Q函数表示四元数算法,四元数求取转换矩阵的具体方法参见B.K.P.Hom的文章Closed-form solution of absolute orientation using unitquaternions[J].J Opt Soc Am A:Optics Sci Vision,1987,4(4):629-642。假设在OT-XTYTZT坐标系下有一组点云的齐次坐标记为PTk=(xk,yk,zk,1)T,其中k=1,2,3......N。利用MT2就可以将这组点云坐标转换到O2-X2Y2Z2坐标系下,记为:
P2k=MT2PTk,k=1,2,3......N (7)
如果在PE2、PTE都加上具有相同均值和标准差的随机噪声e,
则经过四元数法求出的M* 2T与M2T不相等,即
用M* 2T矩阵将P2k转换到OT-XTYTZT坐标系下得到:
计算P* Tk与原来的PTk之间距离绝对偏差的平均值作为定位误差。记为:
该数学模型的目的是在标志点坐标PE三维重建存在一定误差的情况下,如何选择标志点的布局,使得最终的定位误差ε最小,以此来完成靶标标志点的布局优化设计。结合上述的数学模型,通过仿真和实验验证了如图3所示的标志点布局结构具有最优的定位精度。参照图3,其特点是在平面Z=0处,四个标志点对称地分布在XY轴上,每个点到坐标原点的距离为L,同时增加的一个点在Z=R的平面上。由此可见,这5个标志点构成了一个立体的结构。
接着,讨论跟踪靶标的结构设计。图4是遮挡现象及避免遮挡的靶标的示意图。如图4中的(a)、(c)所示,假设此时两个相机(可以是CCD相机)的视场中均有一个公共标志点,当跟踪靶标运动到图4中的(b)所示的位置时,右相机无法再检测到标志点,这一现象称为遮挡。而对比图4中的(d),在目标发生同样的运动之后,左右相机的视场中均能够检测到公共的标志点,可以继续完成目标姿态的检测。
上述的对比实验表明,为了避免遮挡现象的产生,可在一个标志点周围增加标志点。
图5是根据本发明的立体跟踪靶标的结构的示意图。图5中的(a)示出了根据本发明的梯形块,梯形块包括底座和正四棱台,底座的横截面为正方形,正四棱台的底面与底座结合。正四棱台的四个侧面相对于底座的倾斜角度α可以是45度。可以在正四棱台每个侧面以及顶面上均布置一个标志点。
图5中的(b)为梯形块的横截面尺寸示意图。参见图5中的(b),底座的底面的边长L可以是50毫米,底座的高H1可以是15毫米,正四棱台的高H2可以是15毫米。
为了在梯形块的每一个面的法线上观察到立体靶标均有图3所示的5个标志点单元结构组成,本发明设计了如图5中的(c)所示的立体跟踪靶标结构。
参见图5中的(c),一共设置了9个梯形块(第一至第九梯形块),第一梯形块至第九梯形块构成正六面体。第一梯形块位于正六面体的后表面的右上顶点,第二梯形块位于正六面体的后表面的右下顶点,第三梯形块位于正六面体的后表面的左上顶点,第四梯形块位于正六面体的后表面的左下顶点,第五梯形块位于正六面体的前表面的右上顶点,第六梯形块位于正六面体的前表面的右下顶点,第七梯形块位于正六面体的前表面的左上顶点,第八梯形块位于正六面体的前表面的左下顶点,第九梯形块位于正六面体的后表面的中心处,第一梯形块至第九梯形块彼此平行布置,第一梯形块至第九梯形块的正四棱台的顶面的法线与正六面体的后表面垂直。
第一梯形块至第九梯形块中的相邻梯形块之间采用连杆支撑固定,第一梯形块和第二梯形块的正四棱台的右侧面以及第三梯形块和第四梯形块的正四棱台的左侧面均布置有标志点,第五梯形块至第八梯形块的正四棱台的右侧面、左侧面、上侧面和顶面均布置有标志点,第一梯形块和第三梯形块的正四棱台的上侧面均布置有标志点,第九梯形块的正四棱台的顶面布置有标志点。因此,一共布置了23个圆形标志点,标志点直径可以是5毫米。
正六面体的尺寸可以是300×300×300mm3。第一梯形块至第四梯形块所在的平面(即,正六面体的后表面)为将立体靶标安装在三维扫描仪上的安装面。
应该理解,梯形块、正六面体以及标志点的上述尺寸的具体数值仅仅是示例性的,可根据实际需要改变上述尺寸的数值范围。
图6是根据本发明的立体跟踪靶标标志点识别编号的示意图。图6中的(a)对应于右视角,图6中的(b)对应于左视角,图6中的(c)对应于正视角,图6中的(d)对应于俯视角。
如图6中的(a)、(b)、(d)所示,当立体靶标处于不同的位置姿态时(分别对应于右视角、左视角、正视角),可以检测到编号为1-2-3-4-5-6、7-8-9-10-11-12、18-19-20-21-22-23的3组6个标志点;如图6中的(c)所示,当立体靶标处于正视角时,可以检测到编号为13-14-15-16-17的5个标志点,并且均为标志点最优布局结构。
三维扫描仪对被测目标进行不同位置的扫描,双目视觉定位跟踪系统检测处于不同位置的立体靶标的标志点,并且基于检测到的标志点的坐标将三维扫描仪获得的三维数据转换到视觉定位跟踪系统所在的坐标系下。
该立体靶标结构的优点在于以任意角度观察立体靶标都能够保证检测到至少5个标志点,不仅能够有效地提高定位跟踪的精度,还能避免特征点出现遮挡的情况,同时扩大了视觉定位跟踪系统的工作范围。
如上所述,本发明通过仿真和实验验证了靶标标志点布局与定位跟踪精度的关系,从而更好地实现了靶标标志点的布局,以提高目标定位跟踪的精度。同时,为了避免遮挡问题,设计了立体结构的跟踪靶标,有效地扩大了视觉定位跟踪系统的工作范围。
虽然本发明是参照其示例性的实施例被具体描述和显示的,但是本领域的普通技术人员应该理解,在不脱离由权利要求限定的本发明的精神和范围的情况下,可以对其进行形式和细节的各种改变。
Claims (4)
1.一种用于双目视觉定位跟踪系统的立体靶标,所述立体靶标安装在三维扫描仪上,其特征在于:
所述立体靶标包括第一梯形块至第九梯形块,每个梯形块包括底座和正四棱台,底座的横截面为正方形,正四棱台的底面与底座结合,
第一梯形块至第九梯形块构成正六面体,其中,第一梯形块位于正六面体的后表面的右上顶点,第二梯形块位于正六面体的后表面的右下顶点,第三梯形块位于正六面体的后表面的左上顶点,第四梯形块位于正六面体的后表面的左下顶点,第五梯形块位于正六面体的前表面的右上顶点,第六梯形块位于正六面体的前表面的右下顶点,第七梯形块位于正六面体的前表面的左上顶点,第八梯形块位于正六面体的前表面的左下顶点,第九梯形块位于正六面体的后表面的中心处,第一梯形块至第九梯形块彼此平行布置,第一梯形块至第九梯形块的正四棱台的顶面的法线与正六面体的后表面垂直,
第一梯形块至第九梯形块中的相邻梯形块之间采用连杆支撑固定,第一梯形块和第二梯形块的正四棱台的右侧面以及第三梯形块和第四梯形块的正四棱台的左侧面均布置有标志点,第五梯形块至第八梯形块的正四棱台的右侧面、左侧面、上侧面和顶面均布置有标志点,第一梯形块和第三梯形块的正四棱台的上侧面均布置有标志点,第九梯形块的正四棱台的顶面布置有标志点,
其中,第一梯形块至第四梯形块所在的平面为将立体靶标安装在三维扫描仪上的安装面。
2.根据权利要求1所述的立体靶标,其特征在于,第一梯形块至第九梯形块的正四棱台的四个侧面相对于底座的倾斜角度为45度。
3.根据权利要求2所述的立体靶标,其特征在于,三维扫描仪对被测目标进行不同位置的扫描,双目视觉定位跟踪系统检测处于不同位置的立体靶标的标志点,并且基于检测到的标志点的坐标将三维扫描仪获得的三维数据转换到视觉定位跟踪系统所在的坐标系下。
4.根据权利要求3所述的立体靶标,其特征在于,标志点的直径为5毫米。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110064822A CN102155940B (zh) | 2011-03-17 | 2011-03-17 | 用于双目视觉定位跟踪系统的立体靶标 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110064822A CN102155940B (zh) | 2011-03-17 | 2011-03-17 | 用于双目视觉定位跟踪系统的立体靶标 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102155940A CN102155940A (zh) | 2011-08-17 |
CN102155940B true CN102155940B (zh) | 2012-10-17 |
Family
ID=44437523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110064822A Expired - Fee Related CN102155940B (zh) | 2011-03-17 | 2011-03-17 | 用于双目视觉定位跟踪系统的立体靶标 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102155940B (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105717935A (zh) * | 2014-11-30 | 2016-06-29 | 中国科学院沈阳自动化研究所 | 一种用于视觉导引系统的三维靶标 |
CN104567727B (zh) * | 2014-12-24 | 2017-05-24 | 天津大学 | 利用立体靶标对线结构光轮廓传感器的全局统一校准方法 |
CN105157604B (zh) * | 2015-08-07 | 2017-07-11 | 天津大学 | 外场多束线结构光视觉测量系统的快速标定方法 |
EP3182065A1 (de) * | 2015-12-14 | 2017-06-21 | Leica Geosystems AG | Handhaltbares entfernungsmessgerät und verfahren zum erfassen relativer positionen |
CN106066154B (zh) * | 2016-05-25 | 2019-02-01 | 厦门大学 | 一种适用于快速扫描场景的靶标及其控制点的提取方法 |
CN106248028A (zh) * | 2016-08-08 | 2016-12-21 | 苏州天准科技股份有限公司 | 基于线性运动台的深度传感器标定方法以及对应的装置 |
CN106500666A (zh) * | 2016-09-12 | 2017-03-15 | 东莞中子科学中心 | 一种摄影测量标志 |
CN107123147B (zh) * | 2017-03-31 | 2020-05-05 | 深圳市奇脉电子技术有限公司 | 双目摄像机的标定方法、装置及双目摄像机系统 |
CN108613626A (zh) * | 2018-05-31 | 2018-10-02 | 武汉中观自动化科技有限公司 | 一种球体扫描仪及三维扫描系统 |
CN108742843A (zh) * | 2018-06-25 | 2018-11-06 | 北京航空航天大学 | 一种c型臂空间标定器 |
CN108592953A (zh) * | 2018-06-29 | 2018-09-28 | 易思维(杭州)科技有限公司 | 立体标定靶及将其应用于视觉测量中定位被测物的方法 |
CN108801142B (zh) * | 2018-07-27 | 2020-10-16 | 复旦大学 | 一种特大尺寸工件双移动测量机器人系统及方法 |
CN108827155B (zh) * | 2018-07-27 | 2020-10-16 | 复旦大学 | 一种机器人视觉测量系统及方法 |
CN108871209B (zh) * | 2018-07-27 | 2020-11-03 | 复旦大学 | 一种大尺寸工件移动测量机器人系统及方法 |
CN111408066B (zh) * | 2020-03-19 | 2021-04-16 | 山东大学 | 基于磁共振影像的肿瘤位置标定系统及设备 |
CN111561868A (zh) * | 2020-05-21 | 2020-08-21 | 郑州辰维科技股份有限公司 | 一种利用光学跟踪结构光扫描器实现天线型面非接触测量的方法 |
CN112155732B (zh) * | 2020-09-29 | 2022-05-17 | 苏州微创畅行机器人有限公司 | 可读存储介质、骨建模配准系统及骨科手术系统 |
CN114111627A (zh) * | 2021-12-07 | 2022-03-01 | 深圳市中图仪器股份有限公司 | 基于激光跟踪仪的扫描系统和扫描方法 |
CN114234862A (zh) * | 2021-12-27 | 2022-03-25 | 苏州方石科技有限公司 | 地坪检测设备及地坪检测设备的使用方法 |
JP2023554558A (ja) * | 2021-12-27 | 2023-12-28 | 蘇州方石科技有限公司 | フロア検査装置及びフロア検査装置の使用方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1655573A2 (en) * | 2003-08-13 | 2006-05-10 | Kabushiki Kaisha TOPCON | 3-dimensional measurement device and electronic storage medium |
CN2881547Y (zh) * | 2005-12-13 | 2007-03-21 | 中国科学院武汉岩土力学研究所 | 一种双面测量靶标 |
CN101322010A (zh) * | 2005-11-28 | 2008-12-10 | 莱卡地球系统公开股份有限公司 | 用于定位部件的靶板 |
-
2011
- 2011-03-17 CN CN201110064822A patent/CN102155940B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1655573A2 (en) * | 2003-08-13 | 2006-05-10 | Kabushiki Kaisha TOPCON | 3-dimensional measurement device and electronic storage medium |
CN101322010A (zh) * | 2005-11-28 | 2008-12-10 | 莱卡地球系统公开股份有限公司 | 用于定位部件的靶板 |
CN2881547Y (zh) * | 2005-12-13 | 2007-03-21 | 中国科学院武汉岩土力学研究所 | 一种双面测量靶标 |
Also Published As
Publication number | Publication date |
---|---|
CN102155940A (zh) | 2011-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102155940B (zh) | 用于双目视觉定位跟踪系统的立体靶标 | |
CN102155923B (zh) | 基于立体靶标的拼接测量方法及系统 | |
CN102927908B (zh) | 机器人手眼系统结构光平面参数标定装置及方法 | |
CN103196370B (zh) | 一种导管接头空间位姿参数的测量方法和装置 | |
CN102788572B (zh) | 一种工程机械吊钩姿态的测量方法、装置及系统 | |
CN106524924B (zh) | 一种基于光学惯性组合的轨检车位置姿态测量系统及方法 | |
CN103759669A (zh) | 一种大型零件的单目视觉测量方法 | |
CN110415300A (zh) | 一种基于三靶标建面的立体视觉结构动态位移测量方法 | |
CN104990515A (zh) | 大型物体三维形状测量系统及其测量方法 | |
CN104101296A (zh) | 一种大型结构件精密装配中的数字定位检测方法及系统 | |
CN105115560A (zh) | 一种船舱舱容的非接触测量方法 | |
CN101825441A (zh) | 一种光电铁路轨距-站台间距测量方法 | |
TW201514446A (zh) | 三維量測模擬取點系統及方法 | |
CN110596653A (zh) | 一种多雷达数据融合方法及装置 | |
CN103954220A (zh) | 撞桥试验中船体运动状态数字图像测量方法 | |
CN103256914A (zh) | 一种基于dem计算淤地坝淹没面积的方法及系统 | |
CN114700943A (zh) | 一种大型水轮机在位机器人加工坐标系标定方法 | |
CN206709784U (zh) | 一种检测crts ii型无砟轨道板空间几何形位的装置 | |
Dong et al. | The calibration method of the circle-structured light measurement system for inner surfaces considering systematic errors | |
CN110619661A (zh) | 一种基于增强现实的测量室外料场原料体积的方法 | |
CN107966135B (zh) | 一种基于穹顶结构的多目视觉测量方法 | |
CN203657743U (zh) | 辅助测量靶标 | |
CN105953755A (zh) | 网络化大尺寸空间定位系统的现场标定方法 | |
CN110068282B (zh) | 一种基于摄影测量的起重机械主梁变形检测方法 | |
CN107388974A (zh) | 光电式双向位移量测新方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121017 Termination date: 20160317 |