CN102221331B - 一种基于不对称双目立体视觉技术的测量方法 - Google Patents
一种基于不对称双目立体视觉技术的测量方法 Download PDFInfo
- Publication number
- CN102221331B CN102221331B CN2011100896129A CN201110089612A CN102221331B CN 102221331 B CN102221331 B CN 102221331B CN 2011100896129 A CN2011100896129 A CN 2011100896129A CN 201110089612 A CN201110089612 A CN 201110089612A CN 102221331 B CN102221331 B CN 102221331B
- Authority
- CN
- China
- Prior art keywords
- video camera
- image
- measured zone
- coordinate
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于不对称双目立体视觉技术的测量方法,包括:(1)构建视觉测量系统,标定摄像机和视觉测量系统的相关参数;(2)求取待测物体所在的平面;(3)求取待测物体中需测量区域的几何尺寸参数。本发明针对平面测量对象,使用两台焦距不等的摄像机构成视觉测量系统,扩大了测量的范围,能够实现对较小和较大尺寸物体同样的测量精度,在测量环境比较恶劣的场合下具有很高的利用价值,测量范围广、精度高、速度快,且测量、安装方便,价格低廉,适用于单晶制备、电子器材检测、流水线检测以及机械制造业等领域的测量。
Description
技术领域
本发明属于测量技术领域,具体涉及一种基于不对称双目立体视觉技术的测量方法。
背景技术
随着先进制造业自动化生产技术的迅猛发展和产品质量控制体系的不断完善,人们对加工对象的几何尺寸和形状位置的检测的精度、效率以及自动化程度的要求越来越高,尤其是零件形状的复杂性以及测量的现场性、实时性都对传统的精密测量技术提出了新的挑战。在某些特定的场合,如对曲面轮廓、微小尺寸和复杂零件特征等实时在线检测,成为传统检测方法所面临的难题。
在计算机视觉理论基础上发展起来的视觉测量技术,把图像当作检测和传递信息的手段或载体加以利用,从图像中提取有用的信息,通过处理被测图像而获得所需的各种参数,其以高精度、自动化程度高、动态范围大和成本相对低廉等优点,在一定程度上能够满足现代先进制造业对检测的要求;另外因为视觉测量不与被测物体接触,没有测量力,所以可以测量柔软容易变形划伤的物体,也可以对测量端不易进入的细节部位进行测量,所以现在越来越得到广泛的应用,成为测量技术发展的一个重要趋势。
传统的针对二维几何尺寸的视觉测量方法,主要是基于单幅图像的单目视觉测量技术,通过对单幅图像的处理分析,得到待测物体的尺寸。但是该种方法当摄像机与测量对象间相对位置发生变动后,需对摄像机进行重新标定,非常麻烦。并且对于一定距离处,运用单目视觉测量方法,测量的范围有限,不能同时兼顾大尺寸物体和小尺寸物体测量的精度。在某些特定的场合,测量对象的相对位置会发生变化,此时运用传统的单目视觉测量系统是无法实现自动准确地测量的。
双目立体视觉技术是计算机视觉技术的一个重要分支,它模拟人类获取信息的原理,利用两台摄像机从不同位置拍摄物体,通过对采集到的图像进行特征提取和匹配,求出特征点在两个图像平面的坐标,然后利用成像公式恢复测量点的三维空间坐标信息,其三维测量结合了计算机技术和光学手段,模拟生物视觉的立体感知功能,从摄像机获取的图像信息出发,计算三维空间中物体的几何信息,并由此重建和识别物体。双目立体视觉技术具有精度高、效率高、自动化程度高等特点。
运用双目视觉测量技术,当视觉系统的位置发生变化时,不需要对系统进行重新的标定,解决了单目测量时摄像机与测量对象相对位置发生变化需重新标定的繁琐工作。但常用的双目立体视觉技术的测量方法基本上是采用两台焦距相等的摄像机来完成图像的采集,同样存在对于一定距离处,测量的范围有限,不能同时兼顾大尺寸物体和小尺寸物体测量的精度的问题。
发明内容
本发明提供了一种基于不对称双目立体视觉技术的测量方法,解决了传统双目立体视觉技术测量方法所面临的技术难题,针对平面测量对象,使用两台焦距不等的摄像机构成视觉测量系统,扩大了测量的范围,能够实现对较小和较大尺寸物体同样的测量精度。
一种基于不对称双目立体视觉技术的测量方法,包括以下步骤:
(1)构建由两台焦距不等的摄像机构成的视觉测量系统,设定焦距较长的摄像机为左摄像机,焦距较短的摄像机为右摄像机,左摄像机坐标系为世界坐标系;获取左右摄像机的非线性模型,利用图像特征提取法结合单摄像机标定法分别求得左右摄像机的内参数和畸变参数,利用图像特征提取法结合双目立体视觉标定法求得视觉测量系统的结构参数,进而求得左右摄像机在世界坐标系下的外参数;
(2)利用右摄像机采集待测物体的整体图像作为右摄像机图像,利用左摄像机采集待测物体中的需测量区域图像作为左摄像机图像,利用图像特征提取法提取需测量区域分别在左右摄像机图像中N个特征点的亚像素坐标,并根据左右摄像机的内外参数和畸变参数分别对需测量区域在左右摄像机图像中的特征点亚像素坐标一一进行畸变校正,得到左右摄像机的线性模型;利用左右摄像机的线性模型,根据N对校正后的特征点亚像素坐标确定N个特征点对应的N个空间点的三维坐标,进而求取待测物体所在的平面,N为大于等于3的自然数;
(3)获取左右摄像机的内参数、畸变参数和非线性模型以及视觉测量系统的结构参数,根据待测物体所在的平面,进行如下步骤:
a.根据待测物体中需测量区域的大小,选择视觉测量系统中的一台摄像机作为测量摄像机;当待测物体中需测量区域都在左右摄像机的测量范围内,选择左摄像机作为测量摄像机;当待测物体中需测量区域在右摄像机的测量范围内但超出左摄像机的测量范围时,选择右摄像机作为测量摄像机;
b.利用测量摄像机采集待测物体中的需测量区域图像作为测量图像,利用图像特征提取法提取需测量区域在测量图像中N个特征点的坐标,并根据测量摄像机的内外参数和畸变参数对需测量区域在测量图像中的特征点亚像素坐标一一进行畸变校正,得到测量摄像机的线性模型;
c.利用测量摄像机的线性模型,根据N个校正后的特征点亚像素坐标得到对应的N条三维空间射线,利用待测物体所在的平面截取N个特征点在该平面上对应的N个空间点的三维坐标;
d.利用N个空间点的三维坐标,计算得到待测物体中需测量区域的几何尺寸参数。
所述的图像特征提取法为:若所需提取的图像特征点为角点,首先,利用Sobel算子对图像中需测量区域进行边缘检测,得到并记录需测量区域的边缘像素坐标;然后,利用SUSAN算子对需测量区域的边缘像素进行角点检测,得到需测量区域的若干特征点像素坐标;最后,将所有特征点像素坐标转换为特征点亚像素坐标;若所需提取的图像特征点非角点,首先,利用Canny算法对图像中需测量区域进行边缘检测,得到并记录需测量区域的边缘像素坐标;然后,从边缘处提取若干点作为特征点,得到需测量区域的若干特征点像素坐标;最后,将所有特征点像素坐标转换为特征点亚像素坐标。该方法能在保证高精度的前提下大大提高检测的速度。
优选的技术方案中,所述的摄像机为CCD(电荷耦合器件)摄像机,抗强光、抗震动、灵敏度高、畸变小、体积小、寿命长。
本发明基于不对称双目立体视觉技术的测量方法,针对平面测量对象,使用两台焦距不等的摄像机构成视觉测量系统,扩大了测量的范围,能够实现对较小和较大尺寸物体同样的测量精度;同时本发明具有非接触性的特点,在测量环境比较恶劣的场合下具有很高的利用价值,测量范围广、精度高、速度快,且测量、安装方便,价格低廉。
附图说明
图1为本发明基于不对称双目立体视觉技术的测量方法的步骤流程示意图。
图2为不对称双目立体视觉测量系统的结构示意图。
图3为本发明基于不对称双目立体视觉技术的测量方法的测量示意图。
具体实施方式
为了更为具体地描述本发明,下面结合附图及具体实施方式对本发明基于不对称双目立体视觉技术的测量方法进行详细说明。
如图1所示,一种基于不对称双目立体视觉技术的测量方法,包括以下步骤:
(1)构建视觉测量系统,标定摄像机和视觉测量系统的相关参数。
构建由两台焦距不等的摄像机构成的视觉测量系统,设定焦距较长的摄像机为左摄像机,焦距较短的摄像机为右摄像机,左摄像机坐标系为世界坐标系。图2为一不对称双目立体视觉测量系统,其组成部分包括导轨1,左摄像机2、右摄像机3和图像处理器,左右摄像机置于导轨1上可以自由的移动及转动,其中左摄像机2的焦距较长,右摄像机3的焦距较短。待测物体4置于视觉测量系统前方,调整摄像机的位置,以获得最佳测量状态,并在测量过程中保持不变。
先运用2D平面靶标——棋盘格对左右摄像机和视觉测量系统进行标定,所选取的靶标应尽量占满摄像机画面。获取左右摄像机的非线性模型,利用图像特征提取法结合单摄像机标定法分别求得左右摄像机的内参数和畸变参数,利用图像特征提取法结合双目立体视觉标定法求得视觉测量系统的结构参数,进而求得左右摄像机在世界坐标系下的外参数。
对单台摄像机进行标定的具体步骤如下:
1)将靶标置于摄像机前,移动靶标,从不同角度拍摄靶标,获取足够多的棋盘格图像。
2)利用图像特征提取法提取棋盘格在图像中的若干特征点作为标定点。
图像特征提取法:若所需提取的图像特征点为角点,首先,利用Sobel算子对图像中需测量区域进行边缘检测,得到并记录需测量区域的边缘像素坐标;然后,利用SUSAN算子对需测量区域的边缘像素进行角点检测,得到需测量区域的若干特征点像素坐标;最后,将所有特征点像素坐标转换为特征点亚像素坐标;若所需提取的图像特征点非角点,首先,利用Canny算法对图像中需测量区域进行边缘检测,得到并记录需测量区域的边缘像素坐标;然后,从边缘处提取若干点作为特征点,得到需测量区域的若干特征点像素坐标;最后,将所有特征点像素坐标转换为特征点亚像素坐标。一般采用二元二次多项式:f=a0+a1x+a2y+a3x2+a4xy+a5y2,来拟合特征点区域的解析曲面函数,取曲面极值点:为特征点的亚像素坐标。
3)利用摄像机的非线性模型以及标定点的亚像素坐标和三维世界坐标,根据基于平面方格点的单摄像机标定方法,求解摄像机的模型参数,求得摄像机的内参数:
其中:(u0,v0)为主点坐标,αi、βi分别是u轴和v轴的尺度因子,ri是u轴和v轴不垂直因子。
对视觉测量系统进行标定的具体步骤如下:
1)将靶标置于视觉测量系统前,移动靶标,用左右摄像机从不同角度拍摄同一靶标,获取足够多的棋盘格的左右摄像机图像。
2)利用图像特征提取法提取棋盘格在左右摄像机图像中的若干特征点作为标定点。
3)利用左右摄像机的内参数和畸变参数以及左右摄像机图像中标定点的亚像素坐标和三维世界坐标,求解左右摄像机在以标靶坐标系为世界坐标系下的外参数:旋转矩阵Rl、Rr和平移向量tl、tr,并根据两台摄像机之间的几何关系: 求得视觉测量系统的结构参数:旋转矩阵R和平移向量t。
4)根据视觉测量系统的结构参数,可求得左右摄像机在以左摄像机坐标系为世界坐标系下的外参数:Rl=1,tl=0,Rr=R,tr=t。
(2)求取待测物体所在的平面。
1)将待测物体置于视觉测量系统前,利用右摄像机采集待测物体的整体图像作为右摄像机图像Ir,利用左摄像机采集待测物体中的需测量区域图像作为左摄像机图像Il;如图3所示,OlXlYlZl和OrXrYrZr分别为左右摄像机坐标系,设定左摄像机坐标系为世界坐标系,olulvl和olulvl分别为以像素为单位的左右摄像机图像坐标系。
2)利用图像特征提取法提取需测量区域分别在左右摄像机图像中N个特征点的亚像素坐标,并根据左右摄像机的内外参数和畸变参数分别对需测量区域在左右摄像机图像中的特征点亚像素坐标一一进行畸变校正,得到左右摄像机的线性模型。
3)利用左右摄像机的线性模型,根据N对校正后的特征点亚像素坐标确定N个特征点对应的N个空间点的三维坐标:右摄像机图像Ir上的特征点pr(ur,vr)与其在左摄像机图像Il上对应的特征点pl(ul,vl)是空间同一点P(X,Y,Z)的图像点,则点P的空间位置由Orpr和Olpl两直线的交点唯一确定,Or、Ol分别为左右摄像机的光心,但由于误差的存在,常选取两直线的公垂线的中点为空间点的位置,所求公垂线中点为:
根据求得的N个空间点的三维坐标(Xi,Yi,Zi)(i=1,2,…,N),因为这些点都在一个平面上,所以根据平面方程:aX+bY+cZ+d=0,可以拟合出待测物体所在平面I的方程。
(3)求取待测物体中需测量区域的几何尺寸参数。
1)根据待测物体中需测量区域的大小,选择视觉测量系统中的一台摄像机作为测量摄像机;当待测物体中需测量区域都在左右摄像机的测量范围内,选择左摄像机作为测量摄像机;当待测物体中需测量区域在右摄像机的测量范围内但超出左摄像机的测量范围时,选择右摄像机作为测量摄像机;测量过程中,可以移动待测物体,以确保获取最佳图像,但移动不能使待测物体所在平面发生改变,否则测量将失去意义。
2)利用测量摄像机采集待测物体中的需测量区域图像作为测量图像,利用图像特征提取法提取需测量区域在测量图像中N个特征点的坐标,并根据测量摄像机的内外参数和畸变参数对需测量区域在测量图像中的特征点亚像素坐标一一进行畸变校正,得到左右摄像机的线性模型。
3)利用测量摄像机的线性模型,根据N个校正后的特征点亚像素坐标得到对应的N条三维空间射线:特征点p的亚像素坐标(u,v)与其在世界坐标系下对应的所有空间点的三维坐标(X,Y,Z)之间的关系为:
其中,s为比例因子,一个空间点对应一个比例因子。
利用待测物体所在的平面I截取N个特征点在该平面I上对应的N个空间点的三维坐标。
4)利用N个空间点的三维坐标,计算得到待测物体中需测量区域的几何尺寸参数。
Claims (2)
1.一种基于不对称双目立体视觉技术的测量方法,包括以下步骤:
(1)构建由两台焦距不等的摄像机构成的视觉测量系统,设定焦距较长的摄像机为左摄像机,焦距较短的摄像机为右摄像机,左摄像机坐标系为世界坐标系;获取左右摄像机的非线性模型,利用图像特征提取法结合单摄像机标定法分别求得左右摄像机的内参数和畸变参数,利用图像特征提取法结合双目立体视觉标定法求得视觉测量系统的结构参数,进而求得左右摄像机在世界坐标系下的外参数;
所述的图像特征提取法为:
若所需提取的图像特征点为角点,首先,利用Sobel算子对图像中需测量区域进行边缘检测,得到并记录需测量区域的边缘像素坐标;然后,利用SUSAN算子对需测量区域的边缘像素进行角点检测,得到需测量区域的若干特征点像素坐标;最后,将所有特征点像素坐标转换为特征点亚像素坐标;
若所需提取的图像特征点非角点,首先,利用Canny算法对图像中需测量区域进行边缘检测,得到并记录需测量区域的边缘像素坐标;然后,从边缘处提取若干点作为特征点,得到需测量区域的若干特征点像素坐标;最后,将所有特征点像素坐标转换为特征点亚像素坐标;
(2)利用右摄像机采集待测物体的整体图像作为右摄像机图像,利用左摄像机采集待测物体中的需测量区域图像作为左摄像机图像,利用图像特征提取法提取需测量区域分别在左右摄像机图像中N个特征点的亚像素坐标,并根据左右摄像机的内外参数和畸变参数分别对需测量区域在左右摄像机图像中的特征点亚像素坐标一一进行畸变校正,得到左右摄像机的线性模型;利用左右摄像机的线性模型,根据N对校正后的特征点亚像素坐标确定N个特征点对应的N个空间点的三维坐标,进而求取待测物体所在的平面,N为大于等于3的自然数;
(3)获取左右摄像机的内参数、畸变参数和非线性模型以及视觉测量系统的结构参数,根据待测物体所在的平面,进行如下步骤:
a.根据待测物体中需测量区域的大小,选择视觉测量系统中的一台摄像机作为测量摄像机;当待测物体中需测量区域都在左右摄像机的测量范围内,选择左摄像机作为测量摄像机;当待测物体中需测量区域在右摄像机的测量范围内但超出左摄像机的测量范围时,选择右摄像机作为测量摄像机;
b.利用测量摄像机采集待测物体中的需测量区域图像作为测量图像,利用图像特征提取法提取需测量区域在测量图像中N个特征点的坐标,并根据测量摄像机的内外参数和畸变参数对需测量区域在测量图像中的特征点亚像素坐标一一进行畸变校正,得到测量摄像机的线性模型;
c.利用测量摄像机的线性模型,根据N个校正后的特征点亚像素坐标得到对应的N条三维空间射线,利用待测物体所在的平面截取N个特征点在该平面上对应的N个空间点的三维坐标;
d.利用N个空间点的三维坐标,计算得到待测物体中需测量区域的几何尺寸参数。
2.根据权利要求1所述的基于不对称双目立体视觉技术的测量方法,其特征在于:所述的摄像机为CCD摄像机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011100896129A CN102221331B (zh) | 2011-04-11 | 2011-04-11 | 一种基于不对称双目立体视觉技术的测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011100896129A CN102221331B (zh) | 2011-04-11 | 2011-04-11 | 一种基于不对称双目立体视觉技术的测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102221331A CN102221331A (zh) | 2011-10-19 |
CN102221331B true CN102221331B (zh) | 2012-06-27 |
Family
ID=44777955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011100896129A Expired - Fee Related CN102221331B (zh) | 2011-04-11 | 2011-04-11 | 一种基于不对称双目立体视觉技术的测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102221331B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103841311A (zh) * | 2012-11-20 | 2014-06-04 | 广州三星通信技术研究有限公司 | 生成3d图像的方法及便携式终端 |
CN103646381B (zh) * | 2013-11-22 | 2016-02-24 | 西安理工大学 | 一种线阵ccd的行进畸变校正方法 |
CN105292178B (zh) * | 2015-10-13 | 2017-12-29 | 东莞市诺丽电子科技有限公司 | 在线有轨电车车轮直径测量方法 |
CN105806318A (zh) * | 2016-03-09 | 2016-07-27 | 大连理工大学 | 基于运动时间量的空间三维信息视觉测量方法 |
CN106780623B (zh) * | 2016-12-14 | 2023-07-21 | 厦门理工学院 | 一种机器人视觉系统快速标定方法 |
CN106530315B (zh) * | 2016-12-27 | 2024-02-27 | 浙江大学常州工业技术研究院 | 中小型物体全角度下目标提取系统及方法 |
CN107358632B (zh) * | 2017-06-29 | 2020-01-14 | 西北工业大学 | 应用于水下双目立体视觉的水下摄像机标定方法 |
CN110874867A (zh) * | 2018-09-03 | 2020-03-10 | 广东虚拟现实科技有限公司 | 显示方法、装置、终端设备及存储介质 |
CN110189375B (zh) * | 2019-06-26 | 2022-08-23 | 中国科学院光电技术研究所 | 一种基于单目视觉测量的图像目标识别方法 |
CN110415300B (zh) * | 2019-08-02 | 2022-10-21 | 哈尔滨工业大学 | 一种基于三靶标建面的立体视觉结构动态位移测量方法 |
CN111982061B (zh) * | 2020-07-15 | 2022-08-23 | 杭州晨安科技股份有限公司 | 一种基于不同焦距双目定焦摄像机的测距方法 |
CN112097798B (zh) * | 2020-11-12 | 2021-03-26 | 北京道达天际科技有限公司 | 高分六号卫星的高分相机的高精度校验方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101027598A (zh) * | 2004-07-23 | 2007-08-29 | 米拉茨创新有限公司 | 宽视场双目装置、系统和套件 |
JP2008082870A (ja) * | 2006-09-27 | 2008-04-10 | Setsunan Univ | 画像処理プログラム及びこれを用いた路面状態計測システム |
-
2011
- 2011-04-11 CN CN2011100896129A patent/CN102221331B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101027598A (zh) * | 2004-07-23 | 2007-08-29 | 米拉茨创新有限公司 | 宽视场双目装置、系统和套件 |
JP2008082870A (ja) * | 2006-09-27 | 2008-04-10 | Setsunan Univ | 画像処理プログラム及びこれを用いた路面状態計測システム |
Non-Patent Citations (1)
Title |
---|
张宇辉等.《立体显示的双目模型算法及实现》.《计算机工程与应用》.2006,(第35期),65-67. * |
Also Published As
Publication number | Publication date |
---|---|
CN102221331A (zh) | 2011-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102221331B (zh) | 一种基于不对称双目立体视觉技术的测量方法 | |
CN107093195B (zh) | 一种激光测距与双目相机结合的标记点定位方法 | |
CN111243002A (zh) | 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法 | |
CN107680156B (zh) | 基于偏振信息的三维重建方法 | |
CN109269466B (zh) | 基于特征点的靶面相对位姿测量方法及系统 | |
CN109579695B (zh) | 一种基于异构立体视觉的零件测量方法 | |
CN103292695B (zh) | 一种单目立体视觉测量方法 | |
CN104315995B (zh) | 基于虚拟多立方体标准目标的tof深度相机三维坐标标定装置和方法 | |
CN109472831A (zh) | 面向压路机施工过程的障碍物识别测距系统及方法 | |
CN102589516B (zh) | 一种基于双目线扫描摄像机的动态距离测量系统 | |
US20100328437A1 (en) | Distance measuring apparatus having dual stereo camera | |
CN102589530B (zh) | 基于二维相机和三维相机融合的非合作目标位姿测量方法 | |
CN107869954B (zh) | 一种双目视觉体积重量测量系统及其实现方法 | |
CN105043350A (zh) | 一种双目视觉测量方法 | |
CN104613899A (zh) | 一种全自动的结构光手眼三维测量系统标定方法 | |
CN102867304A (zh) | 双目立体视觉系统中场景立体深度与视差的关系建立方法 | |
CN109341668B (zh) | 基于折射投影模型和光束追踪法的多相机测量方法 | |
CN103822581B (zh) | 一种基于压缩感知的不规则物体体积测量方法 | |
CN110223355B (zh) | 一种基于双重极线约束的特征标志点匹配方法 | |
CN110879080A (zh) | 一种高温锻件高精度智能测量仪和测量方法 | |
CN104408762A (zh) | 利用单目和二维平台获取物体图像信息及三维模型的方法 | |
WO2022111105A1 (zh) | 一种自由姿态的智能视觉3d信息采集设备 | |
CN110702343B (zh) | 一种基于立体视觉的挠度测量系统及方法 | |
CN106352817A (zh) | 一种非接触四轮定位仪及其定位方法 | |
CN103712604A (zh) | 一种光学多目标三维空间定位方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120627 |