CN104034263B - 一种锻件尺寸的非接触测量方法 - Google Patents

一种锻件尺寸的非接触测量方法 Download PDF

Info

Publication number
CN104034263B
CN104034263B CN201410313132.XA CN201410313132A CN104034263B CN 104034263 B CN104034263 B CN 104034263B CN 201410313132 A CN201410313132 A CN 201410313132A CN 104034263 B CN104034263 B CN 104034263B
Authority
CN
China
Prior art keywords
camera
angle
measurand
photocentre
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410313132.XA
Other languages
English (en)
Other versions
CN104034263A (zh
Inventor
朱炜
李建丽
田丽
辛倩倩
杨延竹
陈能洁
盛佳伟
齐亮
汤雪华
马贺贺
张茂松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Donghua University
Shanghai Electric Group Corp
Original Assignee
Beijing Institute of Technology BIT
Donghua University
Shanghai Electric Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT, Donghua University, Shanghai Electric Group Corp filed Critical Beijing Institute of Technology BIT
Priority to CN201410313132.XA priority Critical patent/CN104034263B/zh
Publication of CN104034263A publication Critical patent/CN104034263A/zh
Application granted granted Critical
Publication of CN104034263B publication Critical patent/CN104034263B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供了一种锻件尺寸的非接触测量方法,采用线阵CCD与线结构光配合扫描采集特征点,基于光学三角原理推导特征点的三维坐标并进行三维建模,进而分析得到锻件的尺寸等信息。采用上述的测量装置及方法,提高了系统分辨率,增加了系统测量范围,避免了双目视觉中目标匹配的问题,可实现大尺寸三维立体的高精度测量。

Description

一种锻件尺寸的非接触测量方法
技术领域
本发明涉及一种锻件尺寸的非接触测量方法,尤其涉及一种基于线阵CCD相机和线结构光投射器的在线非接触测量锻件尺寸方法。
背景技术
大型锻件是制造重大装备的基础件,体积庞大,其几何参数测量属于复杂条件下的超大尺寸测量问题。在锻压过程中,传统的测量方法就是采用机械式量具,由人工测定。这种测量方法受量具和人为因素影响严重,测量误差大,为了减少废品率,多采用加大锻造余量的方法,但是增加了钢锭材料的损耗。此外,锻造生产环境中强烈的冲击震动影响经常存在,被测件温度最高可达1300℃,在这样恶劣的条件下进行人工接触式测量,不仅工作强度大,还对人身安全存在潜在的危害。
现有的非接触式测量方法有:超声波测量技术、激光测量技术和CCD测量技术。超声波测量技术的主要优点是不受环境光及电磁场的干扰、工作间隙大,对恶劣环境有一定的适应能力,测量精度高。由于上述优点,这种测量技术发展较快,是目前在很多领域得到广泛应用。但这种测量技术也有一些缺点,如受声速、环境介质等因素的干扰较大,抗干扰能力差,测试电路复杂,必须进行多种补偿才能获得较高精度。激光尺寸测量技术发展较为成熟,国内尤其以上海交通大学为主,以激光测量为主要手段研究高温锻件的尺寸测量,并取得一定成果。激光测量精度可达0.5μm,而且分辨率高,测量范围大,抗干扰能力强。但是采用激光测量技术会造成系统设备结构复杂,价格昂贵,不利于维护,对环境指标要求较高。CCD作为一种新型的光电器件,它具有体积小、动态范围大、灵敏度高和操作简单等特点,CCD作为图像传感器越开越广泛的应用于机器视觉、视觉测量等领域。将计算机视觉技术与大型锻造生产设备的控制系统整合,实现完全自动化的生产将成为未来重型机械制造业的发展趋势。
由于单目CCD相机缺少深度信息,所以目前关于CCD成像的研究应用多集中于双CCD视觉测量。双目CCD成像存在图像匹配的问题,需要在被测对象上作标记。但是锻件表面温度高,不能粘贴定位和反光材料,因此需要其他辅助手段以便于图像匹配。大连理工大学贾振元等申报的《一种锻件热态尺寸的非接触测量方法》(公开号:CN101713640A)采用基于辅助结构光和双目视觉的测量方法,实现了对高温锻件在线非接触测量,但是不能测量锻件超出相机视野范围的部分,以结构光边缘特征点为匹配点,限制了系统分辨率。中国建筑科学院建材所的陈明彻等申报的《非接触式三维轮廓实时测量方法和系统》(公开号:CN1116703A)测量方案是:以结构光光源透过空间编码器形成的光点点阵的光斑或网格的相交点为特征点照射到被测物体表面,且各特征点之间的排列和距离已知,由面阵CCD相机拍摄光斑点阵图像,然后利用光斑之间的距离差值和像素值计算光斑三维坐标。该方法与贾振元等人的方案有相同之处,都是以结构光投射到物体表面的光斑为特征点,不同之处是陈明彻等人需要通过空间编码器得到间距已知的光斑点阵,而且只用到一台相机。该方法同样存在分辨率低的问题,测量系统不能移动因而测量范围有局限。
发明内容
本发明的目的在于针对基于非接触测量锻件尺寸问题,克服现有技术方案的分辨率低、测量范围有限等缺陷,提供一种基于线阵CCD相机和线结构光投射器的在线非接触测量锻件尺寸方法。
本发明通过以下技术方案实现:
一种基于线阵CCD相机和线结构光投射器的在线非接触测量尺寸的方法,包括:
将所述线结构光投射器安放在相距所述线阵CCD相机一定距离的水平支架上,并向被测对象投射线结构光,该距离根据被测对象的尺寸选定;
测量系统标定,建立世界坐标系Ow-XwYwZw,并确定线阵CCD相机参数和结构光参数;
对被测对象进行扫描;所述线结构光投射器向被测对象垂直投射竖直的线结构光形成光条,所述线阵CCD相机每次俯仰一个角度Δγ,与结构光相交于一点,直到在被测对象表面的光条全部被相机采集,随后结构光转动一个角度Δβ;重复上述过程,至完成被测对象整体扫描;
对被测对象的扫描图像进行处理,提取特征点图像,并根据线阵CCD相机参数、结构光参数以及特征点的旋转角度参数计算特征点的三维坐标,并根据所得三维坐标重建被测对象形貌,分析计算被测对象尺寸。
优选的,根据权利要求1所述的方法,其特征在于,所述世界坐标系的X轴的正向与结构光光心到所述线阵CCD相机的光心的方向为同向,所述世界坐标系的Z轴的正向垂直于水平面向上,Y轴正向根据右手定则得到。
优选的,所述线阵CCD相机参数包括相机的光心坐标Oc=(Xc Yc Zc)和初始的相机光轴向量
优选的,所述结构光参数包括结构光光心坐标Ol=(Xl Yl Zl)和光平面初始的水平角度β0
优选的,通过结构光光平面两边界上的四点确定结构光光心在世界坐标系中的位置,以及光平面初始的水平角度。
优选的,所述特征点的旋转角度参数包括捕捉该点时相机光轴向量相对于初始位置时转过的角度γ和该点对应的结构光平面的水平角度β1
优选的,计算所述三维坐标的表达式如下:
X = X c - sin β 3 * cos ( β 1 + β 3 + α 3 ) sin ( β 3 + α 3 ) * | O c O l → | Y = Y c - sin β 3 * sin ( β 3 - β 1 + α 3 ) sin ( β 3 + α 3 ) * | O c O l | → Z = Z c + sin β 3 * tan γ 2 sin ( β 3 + α 3 ) * | O c O l | →
其中,Oc和Ol分别为相机光心和线结构光光心;(Xc Yc Zc)表示Oc的世界坐标,α3为相机光心Oc到该特征点P的向量与基线向量的夹角;β1表示该特征点P对应的结构光光平面的水平角度;β3表示结构光光心到该特征点P的向量与基线向量的夹角;γ2为测量该特征点P时与XOY平面的夹角,等于该状态下相机光轴与XOY平面的夹角。
优选的,所述线阵CCD相机安放在二自由度云台上,所述线结构光投射器安放在单自由度云台;
在扫描被测对象整体时,所述二自由度云台带动所述线阵CCD相机实现俯仰扫描,所述单自由度云台带动所述线结构光投射器实现旋转扫描。
优选的,所述二自由度云台和所述单自由度云台由FPGA控制,以实现同步扫描和连续实时采集。
本发明的有益效果是:选用高分辨率的线阵CCD相机,采用云台分别带动CCD相机和线结构光投射器配合扫描被测对象表面,每次仅仅拍摄一个光点,提高了系统分辨率,相机和光源安装在云台上,增加了系统测量范围。该测量系统避免了双目视觉中目标匹配的问题,通过结构光与高速摄像机的精密配合,可实现大尺寸三维立体的高精度测量。
附图说明
图1为一种锻件三维形貌在线扫描测量系统示意图;
图2为测量系统扫描工作流程图;
图3为空间点X和Y坐标解算模型示意图;
图4为空间点Z坐标解算模型示意图;
图中各个标记的含义如下:
1—二自由度高精度云台;2—单自由度高精度云台;3—一字线激光投射器;4—结构光视野范围;5—结构光与相机视野的交点,即图像采集点;6—相机俯仰一个角度后采集的结构光点;7—被测量工件;8—线阵CCD相机的视野范围;9—线阵CCD相机。
Oc和Ol分别为相机光心和线结构光光心;P为某空间点,U0为图像主点,P′为空间点P在线阵相机的成像点;α1为图像主点、空间点投影点与相机光心形成的夹角;α2为从相机光心到结构光光心的基线向量与光轴向量的夹角;α3为相机光心Oc到空间点P的向量与基线向量的夹角。β1表示该被测点P对应的结构光光平面的水平角度;β2表示基线向量与X轴正向的夹角;β3表示结构光光心Ol到被测点P的向量与基线向量的夹角。
为初始状态相机的光轴向量;γ0为相机初始光轴向量与XOY平面的夹角;γ1为相机测量空间点P时相机光轴与初始光轴的夹角,γ2为测量空间点P时与XOY平面的夹角,等于该状态下相机光轴与XOY平面的夹角,由γ0和γ1计算得到。
具体实施方式
结合附图和技术方案详细说明本发明的具体实施:
一种锻件三维形貌在线扫描测量装置如图1所示:线阵CCD相机8安装在二自由度云台1上,一字线结构光投射器3安装在单自由度云台2上,两个云台根据被测对象尺寸要求,相隔一定距离安放云台1和2,两者之间的距离就是所谓的基线距离。基线距离要根据被测对象的尺寸进行设计,且基线距离对测量精度有影响。
该测量系统运用光学三角测量原理,线阵CCD相机8光心,线结构光光心以及相机视野和线结构光的交点形成三角形。由线结构光投射器3将线结构光投射于物体表面,形成由被测物体表面形状所调制的光条三维图像,该图像由处于另一位置的摄像机8探测,从而获得光条的二维畸变图像。利用线结构光投射器3和线阵CCD相机8之间的基线距离,基于光学三角原理就可以由畸变的二维光条图像重现物体表面三维形态。
整个测量装置工作过程包括两部分:测量系统标定和扫描测量。
测量系统标定就是为了统一参考对象,为后续测量目标的三维空间解算做准备。测量系统标定包括CCD相机参数的标定和结构光参数的标定。标定过程如下:
1、建立世界坐标系Ow-XwYwZw
世界坐标系的X轴的正向与结构光光心到相机光心的方向为同向,世界坐标系的Z轴的正向垂直于水平面向上,世界坐标系的Y轴正向由世界坐标系的X轴和Z轴根据右手定则得到。
2、确定线阵CCD相机内外参数
通过对摄像机内外参数的标定,(Xc Yc Zc)为相机光心Oc在世界坐标系中的坐标,为相机光轴在世界坐标系下的向量。
3、确定结构光光心坐标和光平面初始水平角度
通过结构光光平面两边界上的四点标定结构光光心在世界坐标系中的位置,以及光平面的初始水平角度。
4、在锻件测量过程中,由线结构光投射器向锻件投射线结构光,并由单自由度云台带动线结构光投射器实现旋转扫描;线阵CCD摄像机由二自由度云台带动并配合线结构光投射器实现锻件表面的俯仰扫描。
5、线阵CCD摄像机在扫描的同时快速获取锻件表面结构光图像,实现锻件图像的连续实时采集。
扫描测量过程就是通过扫描得到被测对象的整体图像,再通过光学三角原理解算出被测对象的空间点坐标,进而得到被测对象的三维形貌和尺寸。
具体的扫描过程如图2所示:
步骤一:线结构光竖直投射到锻件表面形成光条L1,线阵CCD相机视野与线结构光相交于a1点,捕捉光点a1的图像;
步骤二:线阵CCD相机每次俯仰一个角度Δγ,与结构光相交于一点,并采集该点图像。相机与光条L1的最后一个视野交点d1采集完成后,相机回到初始位置;
步骤三:线结构光旋转一个角度Δβ,在锻件表面形成光条L2;
步骤四:相机开始采集结构光条L2,重复步骤2;
步骤五:线结构光和线阵CCD相机一直重复步骤2和3,直到扫描完锻件整体。
步骤六:对锻件图像进行处理。
1)特征点提取
CCD摄像机在线阵模式下得到的图像只有一行像素,且与线结构光构成交叉线的形式,所有得到的就是锻件表面的特征点。利用算法提取图像上光条的中心得到了所需特征点的像素。
2)计算特征点的三维空间坐标
根据光学三角测量原理,由(1)中得到的相机光心坐标Oc=(Xc Yc Zc)、光轴向量和线结构光光心坐标Ol=(Xl Yl Zl),以及光平面初始的水平角度β0。通过云台上的光电码盘记录的相机俯仰角度Δγ,以及对应的结构光旋转角度Δβ。根据Δγ和Δβ得到测量某空间点P时相机光轴相对于初始位置时转过的角度γ,以及该点对应的结构光平面的水平角度β1。则计算某空间点P的三维坐标表达式如下:
X = X c - sin β 3 * cos ( β 1 + β 3 + α 3 ) sin ( β 3 + α 3 ) * | O c O l → | Y = Y c - sin β 3 * sin ( β 3 - β 1 + α 3 ) sin ( β 3 + α 3 ) * | O c O l | → Z = Z c + sin β 3 * tan γ 2 sin ( β 3 + α 3 ) * | O c O l | →
其中,各个角度含义见图3和图4中空间点坐标解算模型示意图。
3)计算锻件尺寸
根据扫描得到的光点像素信息计算其三维空间坐标,然后由三维数据点云重建锻件形貌,分析计算锻件尺寸等信息。
以上所述的实施例,只是本发明较优选的具体实施方式的一种,本领域的技术人员在本发明技术方案范围内进行的变化和替换都应包含在本发明的保护范围内。

Claims (8)

1.一种基于线阵CCD相机和线结构光投射器的在线非接触测量尺寸的方法,包括:
将所述线结构光投射器安放在相距所述线阵CCD相机一定距离的水平支架上,并向被测对象投射线结构光,该距离根据被测对象的尺寸选定;
测量系统标定,建立世界坐标系Ow-XwYwZw,并确定线阵CCD相机参数和结构光参数;
对被测对象进行扫描;所述线结构光投射器向被测对象垂直投射竖直的线结构光形成光条,所述线阵CCD相机每次俯仰一个角度Δγ,与结构光相交于一点,直到在被测对象表面的光条全部被相机采集,随后结构光转动一个角度Δβ;重复对被测对象进行扫描,至完成被测对象整体扫描;
对被测对象的扫描图像进行处理,提取特征点图像,并根据线阵CCD相机参数、结构光参数以及特征点的旋转角度参数计算特征点的三维坐标,并根据所得三维坐标重建被测对象形貌,分析计算被测对象尺寸;
其特征在于,计算所述三维坐标的表达式如下:
其中,Oc和Ol分别为相机光心和线结构光光心;(Xc Yc Zc)表示相机光心Oc在世界坐标系内的坐标,α3为相机光心Oc到空间点P的向量与基线向量的夹角;β1表示该被测点P对应的结构光光平面的水平角度;β3表示结构光光心Ol到被测点P的向量与基线向量的夹角;γ2为测量空间点P时与XOY平面的夹角,等于扫描状态下相机光轴与XOY平面的夹角。
2.根据权利要求1所述的方法,其特征在于,所述世界坐标系的X轴的正向与结构光光心到所述线阵CCD相机的光心的方向为同向,所述世界坐标系的Z轴的正向垂直于水平面向上,Y轴正向根据右手定则得到。
3.根据权利要求1所述的方法,其特征在于,所述线阵CCD相机参数包括相机的光心坐标(Xc Yc Zc)和相机的初始光轴向量
4.根据权利要求1所述的方法,其特征在于,所述结构光参数包括结构光光心坐标Ol=(Xl Yl Zl)和光平面初始的水平角度β0
5.根据权利要求4所述的方法,其特征在于,通过结构光光平面两边界上的四点确定结构光光心在世界坐标系中的位置,以及光平面初始的水平角度。
6.根据权利要求1所述的方法,其特征在于,所述特征点的旋转角度参数包括捕捉该点时相机光轴向量相对于初始位置时转过的角度γ和该点对应的结构光平面的水平角度β1
7.根据以上权利要求中任一项所述的方法,其特征在于,所述线阵CCD相机安放在二自由度云台上,所述线结构光投射器安放在单自由度云台;
在扫描被测对象整体时,所述二自由度云台带动所述线阵CCD相机实现俯仰扫描,所述单自由度云台带动所述线结构光投射器实现旋转扫描。
8.根据权利要求7所述的方法,其特征在于,所述二自由度云台和所述单自由度云台由FPGA控制,以实现同步扫描和连续实时采集。
CN201410313132.XA 2014-07-02 2014-07-02 一种锻件尺寸的非接触测量方法 Expired - Fee Related CN104034263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410313132.XA CN104034263B (zh) 2014-07-02 2014-07-02 一种锻件尺寸的非接触测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410313132.XA CN104034263B (zh) 2014-07-02 2014-07-02 一种锻件尺寸的非接触测量方法

Publications (2)

Publication Number Publication Date
CN104034263A CN104034263A (zh) 2014-09-10
CN104034263B true CN104034263B (zh) 2016-12-07

Family

ID=51465131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410313132.XA Expired - Fee Related CN104034263B (zh) 2014-07-02 2014-07-02 一种锻件尺寸的非接触测量方法

Country Status (1)

Country Link
CN (1) CN104034263B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104197838A (zh) * 2014-09-19 2014-12-10 安徽中烟工业有限责任公司 基于计算机视觉的卷烟条与盒包装纸尺寸测量方法
CN106705879B (zh) * 2015-08-06 2019-09-17 赛特株式会社 利用三维形状测量仪的物体测量方法及用于该测量方法的三维形状测量仪
CN105115560B (zh) * 2015-09-16 2019-07-05 北京理工大学 一种船舱舱容的非接触测量方法
CN105423954B (zh) * 2015-12-29 2018-06-26 北京航天益森风洞工程技术有限公司 一种基于视觉测量的柔壁喷管的测量方法
CN105526884A (zh) * 2016-01-29 2016-04-27 吉林大学 基于主动视觉的汽车车轮轮辋形貌旋转扫描重建系统
CN106197290B (zh) * 2016-08-24 2019-01-18 北京振兴计量测试研究所 基于结构光和数字散斑测量高温物体位移和形变的装置
CN106595502A (zh) * 2016-12-01 2017-04-26 广州亚思信息科技有限责任公司 一种基于结构光的运动补偿3d测量方法
CN108317952B (zh) * 2017-12-28 2020-09-29 湖北三环车桥有限公司 精密前轴锻件在线快速检测方法
CN108534672A (zh) * 2018-03-30 2018-09-14 深圳积木易搭科技技术有限公司 一种三维扫描仪
CN110108236B (zh) * 2018-10-07 2020-05-05 东南大学 一种高温锻件线重构尺寸快速视觉测量系统及方法
CN111174722A (zh) * 2018-11-13 2020-05-19 浙江宇视科技有限公司 一种三维轮廓重建方法及装置
CN109829897B (zh) * 2019-01-17 2020-11-24 北京理工大学 一种齿轮毛刺检测方法及齿轮高精度视觉测量系统
CN109900204A (zh) * 2019-01-22 2019-06-18 河北科技大学 基于线结构光扫描的大型锻件尺寸视觉测量装置及方法
CN110020997B (zh) * 2019-04-09 2020-04-21 苏州乐佰图信息技术有限公司 图像畸变纠正方法、图像的还原方法以及对位方法
CN110332924B (zh) * 2019-08-19 2020-04-24 哈尔滨博觉科技有限公司 基于双线阵ccd的稀释仪空间视觉定位偏差修正方法
CN112427487A (zh) * 2019-08-26 2021-03-02 北京机电研究所有限公司 一种利用光学影像和显示网格测量热态自由锻件尺寸的装置
CN110827224A (zh) * 2019-11-12 2020-02-21 南京工程学院 一种高分辨率高温锻件形状检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW584736B (en) * 2001-12-07 2004-04-21 Ind Tech Res Inst Shape measurement device of dual-axial anamorphic image magnification
JP3991040B2 (ja) * 2003-08-20 2007-10-17 独立行政法人科学技術振興機構 三次元計測装置及び三次元計測方法
CN101334270B (zh) * 2008-07-25 2010-06-23 西安交通大学 激光线扫描测头几何变换标定与曲面插值修正方法及装置
CN103499302B (zh) * 2013-09-27 2015-11-25 吉林大学 基于结构光视觉成像系统的凸轮轴直径尺寸在线测量方法
CN103471531B (zh) * 2013-09-27 2016-01-20 吉林大学 轴类零件直线度在线非接触测量方法

Also Published As

Publication number Publication date
CN104034263A (zh) 2014-09-10

Similar Documents

Publication Publication Date Title
CN104034263B (zh) 一种锻件尺寸的非接触测量方法
CN108844459B (zh) 一种叶片数字化样板检测系统的标定方法及装置
CN102927908B (zh) 机器人手眼系统结构光平面参数标定装置及方法
US8803943B2 (en) Formation apparatus using digital image correlation
CN102607457B (zh) 基于惯性导航技术的大尺寸三维形貌测量装置及方法
CN105115560B (zh) 一种船舱舱容的非接触测量方法
CN104484887B (zh) 摄像机与二维激光测距仪联合使用时的外参数标定方法
CN101828092A (zh) 非接触探头
CN104567728A (zh) 激光视觉轮廓测量系统及测量方法、立体靶标
CN106403900B (zh) 飞行物追踪定位系统及方法
CN103759669A (zh) 一种大型零件的单目视觉测量方法
CN104613899A (zh) 一种全自动的结构光手眼三维测量系统标定方法
CN104006757A (zh) 焊接变形实时检测系统及其检测方法
CN105627948A (zh) 一种大型复杂曲面测量系统及其应用
CN107941153B (zh) 一种激光测距优化标定的视觉系统
CN102692214A (zh) 一种狭窄空间双目视觉测量定位装置及方法
CN104634246B (zh) 目标空间坐标的浮动式立体视觉测量系统及测量方法
CN108700408A (zh) 三维形状数据及纹理信息生成系统、拍摄控制程序、以及三维形状数据及纹理信息生成方法
TW201310004A (zh) 編列數位影像關係裝置
CN107144241A (zh) 一种基于景深补偿的双目视觉高精度测量方法
CN105526906B (zh) 大角度动态高精度激光测角方法
CN102221331A (zh) 一种基于不对称双目立体视觉技术的测量方法
CN105046715A (zh) 一种基于空间解析几何的线阵相机标定方法
CN112595236A (zh) 一种水下激光三维扫描和实时测距的测量装置
Hosseininaveh et al. A low-cost and portable system for 3D reconstruction of texture-less objects

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161207

Termination date: 20200702

CF01 Termination of patent right due to non-payment of annual fee