CN101950409A - 一种基于象限的编码标记点设计方法 - Google Patents

一种基于象限的编码标记点设计方法 Download PDF

Info

Publication number
CN101950409A
CN101950409A CN 201010265892 CN201010265892A CN101950409A CN 101950409 A CN101950409 A CN 101950409A CN 201010265892 CN201010265892 CN 201010265892 CN 201010265892 A CN201010265892 A CN 201010265892A CN 101950409 A CN101950409 A CN 101950409A
Authority
CN
China
Prior art keywords
center
circle
quadrant
pattern
indicia patterns
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010265892
Other languages
English (en)
Other versions
CN101950409B (zh
Inventor
宋丽梅
张春波
陈华伟
马欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Polytechnic University
Original Assignee
Tianjin Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Polytechnic University filed Critical Tianjin Polytechnic University
Priority to CN201010265892XA priority Critical patent/CN101950409B/zh
Publication of CN101950409A publication Critical patent/CN101950409A/zh
Application granted granted Critical
Publication of CN101950409B publication Critical patent/CN101950409B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明属于图像处理和模式识别领域,涉及一种基于象限的编码标记点设计方法。该方法需要设计要编码的标记图案,然后对所设计的标记图案进行基于象限的编码方式进行编码,最后对基于象限的编码标记点设计方法进行了可行性实施。实施过程为对被测物体某些部位粘贴所述的编码标记图案,采用一个高精度数码照相机,对被测物体含有标记图案部分进行图像采集,将采集的图像输入到计算机中进行二值化处理,提取出标记图案并进行缩放矫正,最终通过对标记图案中圆弧的信息找到所有外层圆环弧的中心位置,并判断各圆环弧所在象限后进行编码。本发明所提出的基于象限的编码标记点设计方法,丰富了标记点基础理论,为图像分割理论奠定基础。

Description

一种基于象限的编码标记点设计方法
技术领域
本发明涉及一种基于象限的编码标记点设计方法,更具体的说,本发明涉及一种能够用于逆向工程、零件识别与定位中涉及的图像匹配的方法。
背景技术
目标分割一直是计算机视觉中和近景测量的一个关键问题,准确地从图像中分割出感兴趣目标对图象分析、逆向工程的图像匹配和模式识别等处理具有极为重要的意义,在这一过程中对被测物体进行标记点标记,从而确定被测物体的准确的位置信息显得尤为重要。近景摄影测量包括低空摄影测量、地面和室内近景摄影测量,是目前国内外研究的热点。在传统的近景摄影测量手段中,如果要获取待测点的三维坐标,需要满足两个条件:一是要求待测点本身纹理丰富,处于适宜的摄影环境中,能够获取合乎质量的立体像对;二是需要在待测物点表面或周围布设一定数量的控制点,目前,现有的较成熟的标记点设计主要有由Cootes提出的主动形状模型(Active ShapeModel,简称ASM)方法,等距标定方法,Hill提出的采用最小化形状模型的标定方法,Baumberg和Hogg提出的利用主轴和轮廓的交点作为参考点进行局部等距标定的方法,Souza和Jayaram提出的自动标定方法,基于变分域的主动形状模型标记点自动标定,这些方法在一定程度上可以满足对物体进行全场检测的编码标志点拼接法的要求,但还分别存在以下不足:
所述的ASM通过目标样本图像的训练和形状模型的建立,有效利用了目标形状的先验知识来指导分割,从而获得了比传统的基于底层特征的分割方法更好的效果。ASM方法中需要对大量训练样本的形状进行准确的标记点标定,但目前却没有一种理想的解决办法,这成为阻碍ASM方法获得广泛应用的主要问题之一。人工或人机交互的方法十分费时费力而且不够精确;等距标定方法实现简单,但无法保证各样本标记点间的一致性,因此由其建立的模型紧致度不足;
所述的Hill提出的采用最小化形状模型的标定方法,容易陷入局部最小值,而且严重依赖初始标记点的正确选择;
所述的Baumberg和Hogg提出的利用主轴和轮廓的交点作为参考点进行局部等距标定的方法,但该方法在除行人外的其他目标上效果不理想;
所述的Souza和Jayaram提出的一种简便有效的自动标定方法,其创新在于采用了“平均形状-样本形状”的标定流程,这为更好地利用样本形状的统计信息来指导标记点的自动选择提供了一种有益的思路。但Souza方法在选定标记点时只考虑了曲线曲率,因此对在样本集中变化较大但曲率较小的部位只能得到较少的标记点覆盖,从而可能导致形状描述的不准确和相关形变模式的遗漏。
所述的等距法是采用先标定样本再统计平均形状的流程,而每个样本上的标记点是独立地等距选取的,不能保证样本间标记点的关联一致性,导致平均形状产生了失真,这会影响其作为初始形状的搜索匹配效果。对形状不准确的描述将会导致一个非紧致、非确定(即会衍生出与训练样本迥异的形状)的模型。
所述的基于变分域的主动形状模型标记点自动标定不仅利用了D-P算法有效保形的优点,并且变分域中所反映的变化频繁、幅度较大的部位,仍能保证合理的标记点覆盖,可看到其分布密度与样本变化的大小成正比,但其算法复杂,造成工作量加大。
由此可见,寻找一种较好的人工标志,提高标志点图像识别的精度和减少劳动强度是当前近景摄影测量,计算机视觉以及数字图像处理等各领域的焦点和瓶颈问题。
发明内容
本发明的目的就是克服以上现有技术的不足,提供一种简洁、快速、可靠、实用、容易识别的标记点设计方法,以弥补现有技术存在的缺陷,该方法能够应用于逆向工程、零件识别与定位中涉及的图像匹配的方法。
所述的标记点设计方法包括:
用于标记点设计的标记图案(由本发明提出);
用于精度控制、图像采集和数据处理的计算机;
用于采集图像的一个高精度彩色或黑白照相机;
所述的标记图案为正方形块,黑色背景白色图案或白色背景黑色图案,每一标记图中其图案包括3个实心圆,所述的三个实心圆中包含一个大圆和两个大小相同的小圆,所述的大圆位于整个图案的中心,所述的两个小圆一个靠近中心圆,另一个远离中心圆,且这两小圆的圆心分别与中心的大圆圆心的连线相互垂直,并将标记图案被分成4个区域;所述的标记图案内还存在1-4个圆弧,所述的圆弧截取于与中心圆同心的圆环,大小是基圆弧的一倍或两倍,不同的标记图案在圆弧个数、面积、位置上不同,圆弧的位置被划分到4个区域中,所述的基元弧是指定义在单个区域中一个基本大小的圆弧,所要满足的要求是2倍基元弧的圆弧也要落在此区域内。
本发明的一种基于象限的编码标记点设计方法工作步骤分为六步:
(1)根据上述的标记图案建立坐标系,划分象限:所述的中心圆圆心为坐标原点O,连接中心圆圆心与远离中心圆的圆心的直线为Y轴,且其正方向为从中心圆圆心指向远离中心圆的圆圆心的方向;连接中心圆圆心与靠近中心圆心的直线为X轴,其正方向为从中心圆圆心指向靠近中心圆的圆心的方向;
(2)基于落在单个象限圆弧的编码:坐标系建立之后,在每个象限中,若圆弧大小为2倍基元弧,编码为11;若圆弧大小为1倍基元弧,则按顺时针方向编码,存在1倍基元弧的情况下编码为1,存在1倍基元弧的情况下则为编码为0;当不存在圆弧时则编码为00;
(3)基于整个图案进行的编码:各象限以步骤2的方法编码后,再以第一象限为起点,按顺时针方向将各分段编码依次从高位排到低位排列;
(4)为验证所设计的基于象限编码标记图案进行编码的可行性的准备,提取标记图案:标记图案是否可行关键在于对单幅图像编码是否可行,利用所述的高精度数码相机对含有标记图案的物体进行拍摄,利用计算机算法首先对图像进行二值化的图像处理,再从图像中提取出存在的标记图案;
(5)图像矫正:将所述的提取出的图案比例缩放,所述的设计好的标记图案中心圆圆心与远离中心圆的圆圆心的距离与中心圆圆心与靠近中心圆的圆心的距离的真实比值为K,拍成图像之后两个的距离比值是m,又图案比例缩放是在Y轴方向上是保持不变的,在X轴方向上放大F倍,则有成立,即任意一个原坐标为(x,y)的点与经缩放之后的坐标(X,Y)之间的关系满足:
Y=y;
X=F×x;
(6)根据上述的基于象限的编码标记点的编码思想及所做的相应的可行性的准备,开始通过计算机算法实现对所述的标记图案编码,其过程是:
(1)图案编码主要是利用了外层圆环弧的个数、长度和位置信息,找到所有外层圆环弧的中心位置;
(2)计算所有外层圆环弧与中心圆的周长比;
(3)判断各圆环弧所在象限;
(4)编码。
本发明的有益效果是:通过本发明所提出的编码标记点的方法,能够准确快速的识别编码标记点,对任何室内室外目标物体的快速识别提供了快速的方法,剔除误码,错码,填补了近景三维测量不准确的空白,使测量技术前进了一大步。
附图说明
图1:标记图案坐标系的建立;
图2:标记图案的编码方法示意图;
图3:一种基于象限的编码标记点设计方法流程图。
具体实施方式
本发明提供一种快速、可靠、实用、操作便捷的标记点设计方法,该方法能够应用于逆向工程、零件识别与定位中涉及的图像匹配的方法。
本发明的一种基于象限的编码标记点设计方法包括:
用于标记点设计的标记图案;
用于精度控制、图像采集和数据处理的计算机;
用于采集图像的高精度彩色或黑白照相机,所述的高精度彩色或黑白照相机从不同位置采集贴有标记图案的被测物体的图像信息;
本发明的一种基于象限的编码标记点设计方法的工作步骤分为以下六步:
所述的标记图案为正方形块,黑色背景白色图案或白色背景黑色图案,每一标记图中其图案包括3个实心圆,所述的三个实心圆中包含一个大圆和两个大小相同的小圆,所述的大圆位于整个图案的中心,所述的两个小圆一个靠近中心圆,另一个远离中心圆,且这两小圆的圆心分别与中心的大圆圆心的连线相互垂直,并将标记图案被分成4个区域;所述的标记图案内还存在1-4个圆弧,所述的圆弧截取于与中心圆同心的圆环,大小是基圆弧的一倍或两倍,不同的标记图案在圆弧个数、面积、位置上不同,圆弧的位置被划分到4个区域中,所述的基元弧是指定义在单个区域中一个基本大小的圆弧,所要满足的要求是其2倍大小的圆弧也要落在此区域内。本发明的编码标记点工作步骤分为六步:
(1)建立坐标系,划分象限:如图1所示,所述的中心圆圆心为坐标原点O,连接中心圆圆心与远离中心圆的圆心的直线为Y轴,且其正方向为从中心圆圆心指向远离中心圆的圆圆心的方向;连接中心圆圆心与靠近中心圆心的直线为X轴,其正方向为从中心圆圆心指向靠近中心圆的圆心的方向;
(2)基于落在单个象限圆弧的编码:坐标系建立之后,在每个象限中,若圆弧大小为2倍基元弧,编码为11;若圆弧大小为1倍基元弧,则按顺时针方向编码,存在1倍基元弧的情况下编码为1,存在1倍基元弧的情况下则为编码为0;当不存在圆弧时则编码为00;
(3)基于整个图案进行的编码:如图2所示,各象限以步骤2的方法编码后,再以第一象限为起点,按顺时针方向将各分段编码依次从高位排到低位排列;
(4)为验证所设计的基于象限编码标记图案进行编码的可行性的准备,提取标记图案:标记图案是否可行关键在于对单幅图像编码是否可行,利用所述的高精度数码相机对含有标记图案的物体进行拍摄,利用计算机算法首先对图像进行二值化的图像处理,再从图像中提取出存在的标记图案;
(5)图像矫正,将所述的提取出的图案比例缩放:所述的设计好的标记图案中心圆圆心与远离中心圆的圆圆心的距离与中心圆圆心与靠近中心圆的圆心的距离的真实比值为K,拍成图像之后两个的距离比值是m,又图案比例缩放是在Y轴方向上是保持不变的,在X轴方向上放大F倍,则有
Figure BSA00000247483000041
成立,即任意一个原坐标为(x,y)的点与经缩放之后的坐标(X,Y)之间的关系满足:
Y=y;
X=F×x;
(6)根据上述的基于象限的编码标记点的编码思想及所做的相应的可行性的准备,开始通过计算机算法实现对所述的标记图案编码,其过程是:
(1)图案编码主要是利用了外层圆环弧的个数、长度和位置信息,找到所有外层圆环弧的中心位置;
(2)计算所有外层圆环弧与中心圆的周长比;
(3)判断各圆环弧所在象限;
(4)编码。
本发明与现有编码标记点方法最大区别有如下两点:
(1)本发明所设计的编码标记点有编码环和圆形直角坐标构成,是本发明和现有标记点的最大区别是增加了圆形直角坐标系,通过照相机拍物体三维照片,然后输入计算机,由于拍摄角度变化,编码标记点不一定都在一个平面,所以直角编码标记点会有所变形,所以需要用三维坐标变换进行矫正,然后可识别。
(2)编码标记点的识别算法有别于其他算法,通过坐标变换,环形编码识别与编码,剔除干扰编码标记,实现准确快速的识别物体标记点。
综上所述,本发明所述编码标记点方法的优点是:
(1)识别精度高,不容易出现匹配误差和匹配错误,测量准确性和稳定性高;
(2)识别速度快,通过改进算法实现了更快速的识别;
本发明将基于坐标的编码标记点方法在逆向工程、零件识别与定位、产品质量检测等领域具有广泛的应用前景。
以上示意性的对本发明及其实施方式进行了描述,该描述没有局限性,附图中所示的也只是本发明的实施方式之一。所以,如果本领域的普通技术人员受其启示,在不脱离本发明创造宗旨的情况下,采用其它形式的同类部件或其它形式的各部件布局方式,不经创造性的设计出与该技术方案相似的技术方案与实施例,均应属于本发明的保护范围。

Claims (3)

1.一种基于象限的编码标记点设计方法,其特征是,它包括用于标记点设计的标记图案;用于精度控制、图像采集和数据处理的计算机;用于采集图像的一个高精度彩色或黑白照相机;
所述的标记图案为正方形块,黑色背景白色图案或白色背景黑色图案,每一标记图中其图案包括3个实心圆,所述的三个实心圆中包含一个大圆和两个大小相同的小圆,所述的大圆位于整个图案的中心,所述的两个小圆一个靠近中心圆,另一个远离中心圆,且这两小圆的圆心分别与中心的大圆圆心的连线相互垂直,并将标记图案被分成4个区域;所述的标记图案内还存在1-4个圆弧,所述的圆弧截取于与中心圆同心的圆环,大小是基圆弧的一倍或两倍,不同的标记图案在圆弧个数、面积、位置上不同,圆弧的位置被划分到4个区域中,所述的基元弧是指定义在单个区域中一个基本大小的圆弧,所要满足的要求是2倍基元弧的圆弧也要落在此区域内。
2.根据权利要求1所述基于象限的编码标记点设计方法,其特征是,它包括如下步骤:
(1)第一步:建立坐标系,划分象限:所述的中心圆圆心为坐标原点O,连接中心圆圆心与远离中心圆的圆心的直线为Y轴,且其正方向为从中心圆圆心指向远离中心圆的圆圆心的方向;连接中心圆圆心与靠近中心圆心的直线为X轴,其正方向为从中心圆圆心指向靠近中心圆的圆心的方向;
(2)第二步:基于落在单个象限的圆弧编码:坐标系建立之后,在每个象限中,若圆弧大小为2倍基元弧,编码为11;若圆弧大小为1倍基元弧,则按顺时针方向编码,存在1倍基元弧的情况下编码为1,不存在1倍基元弧的情况下则为编码为0;当不存在圆弧时则编码为00;
(3)第三步:基于整个图案进行的编码:各象限以步骤2的方法编码后,再以第一象限为起点,按顺时针方向将各分段编码依次从高位排到低位排列;
(4)第四步:为验证所设计的基于象限编码标记图案进行编码的可行性的准备,提取标记图案:对标记图案编码是否可行关键在于对单幅图像编码是否可行,利用所述的高精度数码相机对贴有标记图案的物体进行拍摄得到含有标记图案的图像,利用计算机算法首先对所述的图像进行二值化的图像处理,再从图像中提取出存在的标记图案;
(5)第五步:图像矫正,将所述的提取出的标记图案进行比例缩放:所述的设计好的标记图案中心圆圆心与远离中心圆的圆圆心的距离与中心圆圆心与靠近中心圆的圆心的距离的真实比值为K,拍成图像之后两个距离的比值是m,又图案比例缩放是在Y轴方向上是保持不变的,在X轴方向上放大F倍,则有成立,即任意一个原坐标为(x,y)的点与经缩放之后的坐标(X,Y)之间的关系满足:
Y=y
X=F×x。
3.根据权利要求2所述的基于象限的编码标记点的编码思想,通过计算机算法实现对权利要求2所述的标记可行性的准备后的标记图案进行编码,其特征是,它包括如下步骤:
(1)第一步:图案编码主要是利用了外层圆环弧的个数、长度和位置信息,找到所有外层圆环弧的中心位置;
(2)第二步:计算所有外层圆环弧与中心圆的周长比;
(3)第三步:判断各圆环弧所在象限;
(4)第四步:根据各圆弧所在的象限,按照权利要求书2所述的方法进行编码。
CN201010265892XA 2010-08-30 2010-08-30 一种基于象限的编码标记点设计方法 Expired - Fee Related CN101950409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010265892XA CN101950409B (zh) 2010-08-30 2010-08-30 一种基于象限的编码标记点设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010265892XA CN101950409B (zh) 2010-08-30 2010-08-30 一种基于象限的编码标记点设计方法

Publications (2)

Publication Number Publication Date
CN101950409A true CN101950409A (zh) 2011-01-19
CN101950409B CN101950409B (zh) 2012-11-28

Family

ID=43453896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010265892XA Expired - Fee Related CN101950409B (zh) 2010-08-30 2010-08-30 一种基于象限的编码标记点设计方法

Country Status (1)

Country Link
CN (1) CN101950409B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107452054A (zh) * 2017-08-08 2017-12-08 西华大学 一种外挂物风洞模型环绕式编码标记点的编解码方法
CN109241887A (zh) * 2018-08-24 2019-01-18 业成科技(成都)有限公司 物料识别方法、识别系统及物料贴合方法
CN110472451A (zh) * 2019-07-05 2019-11-19 南京航空航天大学 一种基于单目相机的面向agv定位的人工地标及解算方法
CN111310201A (zh) * 2020-01-20 2020-06-19 罗可熙 一种数字化实验系统及其管理控制方法和装置
CN113129394A (zh) * 2020-12-23 2021-07-16 合肥工业大学 一种基于区域分割编码的平行四边形编码标志及其编码方法
CN115880373A (zh) * 2022-12-28 2023-03-31 常熟理工学院 基于新型编码特征的立体视觉系统的标定板及标定方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1369081A (zh) * 1999-06-10 2002-09-11 诺基亚有限公司 采有弱波变换和象限树编码压缩电信图象数据的方法和系统
CN101488227A (zh) * 2008-12-09 2009-07-22 南京大学 矩形窗口中的圆弧快速裁剪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1369081A (zh) * 1999-06-10 2002-09-11 诺基亚有限公司 采有弱波变换和象限树编码压缩电信图象数据的方法和系统
CN1607810A (zh) * 1999-06-10 2005-04-20 诺基亚有限公司 采用弱波变换和象限树编码压缩电信图象数据的方法和系统
CN101488227A (zh) * 2008-12-09 2009-07-22 南京大学 矩形窗口中的圆弧快速裁剪方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107452054A (zh) * 2017-08-08 2017-12-08 西华大学 一种外挂物风洞模型环绕式编码标记点的编解码方法
CN107452054B (zh) * 2017-08-08 2020-05-22 西华大学 一种外挂物风洞模型环绕式编码标记点的编解码方法
CN109241887A (zh) * 2018-08-24 2019-01-18 业成科技(成都)有限公司 物料识别方法、识别系统及物料贴合方法
CN110472451A (zh) * 2019-07-05 2019-11-19 南京航空航天大学 一种基于单目相机的面向agv定位的人工地标及解算方法
CN110472451B (zh) * 2019-07-05 2021-03-30 南京航空航天大学 一种基于单目相机的面向agv定位的人工地标及解算方法
CN111310201A (zh) * 2020-01-20 2020-06-19 罗可熙 一种数字化实验系统及其管理控制方法和装置
CN113129394A (zh) * 2020-12-23 2021-07-16 合肥工业大学 一种基于区域分割编码的平行四边形编码标志及其编码方法
CN113129394B (zh) * 2020-12-23 2022-09-06 合肥工业大学 一种基于区域分割编码的平行四边形编码标志及其编码方法
CN115880373A (zh) * 2022-12-28 2023-03-31 常熟理工学院 基于新型编码特征的立体视觉系统的标定板及标定方法
CN115880373B (zh) * 2022-12-28 2023-11-03 常熟理工学院 基于新型编码特征的立体视觉系统的标定板及标定方法

Also Published As

Publication number Publication date
CN101950409B (zh) 2012-11-28

Similar Documents

Publication Publication Date Title
CN101950409B (zh) 一种基于象限的编码标记点设计方法
CN103400373B (zh) 相机检校控制场人工标志像点坐标自动识别定位方法
CN101968877A (zh) 一种双层圆弧的编码标记点设计方法
CN106468553B (zh) 一种基于路标的移动物体的定位方法
CN106225678B (zh) 基于3d相机的动态物体定位与体积测量方法
CN102135429B (zh) 一种基于视觉的机器人室内定位导航方法
CN103903260B (zh) 一种摄像机内参数快速标定的靶标方法
CN111950330A (zh) 一种基于目标检测的指针式仪表示数检测方法
CN108573511B (zh) 点状分布合作编码标志及其识别定位方法
CN107145890B (zh) 一种远距离多视角环境下的指针式仪表盘自动读数方法
CN104217429A (zh) 一种摄像机标定板的设计与检测方法
CN101509763A (zh) 单目高精度大型物体三维数字化测量系统及其测量方法
CN110197157B (zh) 一种基于历史裂纹数据的路面裂纹生长检测方法
CN103295239A (zh) 一种基于平面基准影像的激光点云数据的自动配准方法
CN104376328B (zh) 基于坐标的分布型编码标志识别方法及系统
CN105335973A (zh) 运用于带钢加工生产线的视觉处理方法
CN112614188B (zh) 一种基于交比不变性的点阵式标定板及其识别方法
CN105069395B (zh) 基于地面三维激光扫描技术的道路标线自动识别方法
CN110956100A (zh) 一种高精度地图生成方法、装置、电子设备和存储介质
CN106600649A (zh) 一种基于二维标记码的相机自标定方法
CN102818544A (zh) 汽车轮毂螺栓孔节圆中心和中孔中心偏心距在线测量方法
CN106651957A (zh) 基于模板的单目视觉目标空间定位方法
CN104282001A (zh) 增强图像特征二值描述子性能的方法
CN110309828A (zh) 一种倾斜车牌矫正方法
CN113506276B (zh) 一种测量结构位移的标志物及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121128

Termination date: 20150830

EXPY Termination of patent right or utility model