CN101785711A - 牙模三维量测系统及方法 - Google Patents

牙模三维量测系统及方法 Download PDF

Info

Publication number
CN101785711A
CN101785711A CN201010029009A CN201010029009A CN101785711A CN 101785711 A CN101785711 A CN 101785711A CN 201010029009 A CN201010029009 A CN 201010029009A CN 201010029009 A CN201010029009 A CN 201010029009A CN 101785711 A CN101785711 A CN 101785711A
Authority
CN
China
Prior art keywords
photographic head
industrial photographic
projector
data
industrial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201010029009A
Other languages
English (en)
Other versions
CN101785711B (zh
Inventor
郑顺义
周郎明
徐轩
黄荣永
李清
乐凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201010029009A priority Critical patent/CN101785711B/zh
Publication of CN101785711A publication Critical patent/CN101785711A/zh
Application granted granted Critical
Publication of CN101785711B publication Critical patent/CN101785711B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及视觉测量技术领域,尤其涉及一种牙模三维量测系统及方法。本发明提供的系统包括投影仪、第一工业摄像头、第二工业摄像头、计算机、电动旋转平台、承载平台,投影仪通过并行串口连接到计算机,第一工业摄像头、第二工业摄像头分别通过USB接口连接到计算机,电动旋转平台以交叉串口的形式连接到计算机,投影仪、第一工业摄像头、第二工业摄像头和电动旋转平台均由计算机发出指令进行控制。本发明与传统的人工量测相比,量测精度高,量测速度快,并能对已量测过的数据进行存档便于下次查阅,在口腔修复临床中能提高医生备牙效率,增强备牙的精确性,在口腔修复教学中能有效评价医生备牙水平,提供有效的指导数据。

Description

牙模三维量测系统及方法
技术领域
本发明涉及视觉测量技术领域,尤其涉及一种牙模三维量测系统及方法。
背景技术
口腔修复主要是对口腔颌面部牙体或牙列的缺损、缺失进行临床修复,以恢复其美观及生理功能,即俗称的“镶牙”。
口腔修复的内容包括牙体缺损或畸形的修复治疗、牙列缺损的修复治疗、牙列缺失的修复治疗、颌面部缺损的修复治疗、牙周疾患、颞下颌关节疾患及异常等的修复治疗。口腔修复的基本治疗手段是利用口腔生物材料制作出符合生理功能要求的人工器官,即口腔修复体或矫治器,以恢复由于缺失、缺损、畸形而失去的形态和功能。
根据牙体或牙列的缺损、缺失情况不同分固定修复、可摘局部义齿修复、全口义齿修复等等。以临床常见的固定修复为例,制定治疗计划之后,需要根据医生的经验对患者口腔内的基牙进行牙体预备,牙体预备的质量直接关系到最终修复体的精确性和适合性。因此需要按照一定的标准对基牙进行量测及预备,目前,在临床中,主要是凭借医生的经验对基牙进行目测后磨切,用卡尺测量车针后,车针在基牙上定引导沟等进行磨切量的控制。这种卡尺手工量测车针定引导沟的牙体预备方法的缺点主要在于精度低、效率低,备牙量的控制依赖手工量测,而手工量测结果比较依赖于医生的经验,不同的医生量测结果相差较大,并且量测结果可视化效果差且存档不方便。
发明内容
本发明的目的是提供一种牙模三维量测系统及方法,以克服现有的牙模手动量测的缺陷。
为达到上述目的,本发明采用如下的技术方案:
牙模三维量测系统,包括:
投影仪、第一工业摄像头、第二工业摄像头、计算机、电动旋转平台、承载平台,投影仪通过并行串口连接到计算机,第一工业摄像头、第二工业摄像头分别通过USB接口连接到计算机,电动旋转平台以交叉串口的形式连接到计算机,投影仪、第一工业摄像头、第二工业摄像头和电动旋转平台均由计算机发出指令进行控制;
投影仪、第一工业摄像头、第二工业摄像头和电动旋转平台都固定在承载平台上,以投影仪为中心,第一工业摄像头、第二工业摄像头分别固定在投影仪的左右两侧,第一工业摄像头、第二工业摄像头距离投影仪侧边的距离控制在3cm~5cm之内,第一工业摄像头、第二工业摄像头中心的间距为20cm;
相对第一工业摄像头、第二工业摄像头的镜头中心连线的垂直平分线,并且距离投影仪的镜头的方向35cm处固定电动旋转平台,以承载平台为基准面,电动旋转平台的高度不超过第一工业摄像头、第二工业摄像头的镜头的高度。
所述计算机上运行有数据采集软件ProScanner和数据处理软件ProAnalyer,其中数据采集软件ProScanner用于完成第一工业摄像头、第二工业摄像头和投影仪的控制与通讯,向投影仪发送投射黑白条纹指令,向第一工业摄像头、第二工业摄像头发送采集指令,同时控制电动旋转平台旋转以获取多方位的数据,最后对采集得到的牙模影像数据进行处理,构建整体牙模三维点云模型;
数据处理软件ProAnalyer用于接收由数据采集软件ProScanner生成的牙模三维点云数据,对牙模点云数据进行点删除、拼接、构建面数据、生成剖面线、量测距离、导出量测报告。
一种专用于权利要求1所述的牙模三维量测系统的数据采集子系统,包括:
标定相机位置的模块;
标定旋转平台位置的模块;
设定旋转平台的旋转次数和角度的模块;
放置牙模于旋转平台中心采集黑白条纹影像的模块;
处理影像数据,生成牙模点云的模块;
导出点云数据的模块。
一种专用于权利要求1所述的牙模三维量测系统的数据处理子系统,包括:
加载生成的点云数据的模块;
构建牙模三角网模型的模块;
对齐修复前后牙模面模型的模块;
在测量位置生成剖面,获取剖面线的模块;
量测剖面线,生成量测报告的模块。
一种专用于权利要求1所述的牙模三维量测系统的数据采集方法,包括以下步骤:
标定相机位置;
标定旋转平台位置;
设定旋转平台的旋转次数和角度;
放置牙模于旋转平台中心并采集黑白条纹影像;
处理影像数据,生成牙模点云;
导出点云数据。
一种专用于权利要求1所述的牙模三维量测系统的数据处理方法,包括以下步骤:
加载生成的点云数据;
构建牙模三角网模型;
对齐修复前后牙模面模型;
在测量位置生成剖面,获取剖面线;
量测剖面线,生成量测报告。
一种牙模三维量测方法,包括以下步骤:
将修复前的牙模放置于电动旋转平台上,利用数据采集软件启动投影仪和第一工业摄像头和第二工业摄像头;
设定旋转平台的转动角度和转动次数,3~4分钟后获得经重构的修复前的牙模三维点云模型;
将修复后的牙模放置于电动旋转平台上,采用与上述步骤同样的方法获取到修复后的牙模三维点云模型;
将修复前和修复后的两片点云模型导入到数据处理软件中进行拼接,将两片点云模型对齐到同一个坐标系下,接着将两片点云转成面数据;
在需要修复的单颗牙位置处生成不同方向的剖面及剖面线;
在剖面线上利用数据处理软件提供的量测功能可以量测剖面线上任意两点之间的距离;
对修复后的牙模是否合格进行评价。
本发明具有以下优点和积极效果:
1)该系统能在3~4分钟内恢复牙模的可量测的三维模型,用于辅助口腔修复临床上的精确备牙以及在口腔修复教学中评价牙模质量,能较大程度地提高牙科医生牙体预备的效率和精确性;
2)能够快速准确地构建牙模的三维模型,然后可以在计算机中利用牙模量测系统中的量测软件直接量测牙模上任意地方的尺寸,并且可以构建剖面图从而分析比较修复前后牙模尺寸的差别,量测结果可以记录在计算机磁盘上,并可以方便地输出量测报告;
3)本发明加入了电动旋转平台,可以自动获取多方位的数据并自动拼接形成整体模型,提高了效率和自动化程度;
4)与传统的人工量测相比,量测精度高,量测速度快,并能对已量测过的数据进行存档便于下次查阅,在口腔修复临床中能提高医生备牙效率,增强备牙的精确性,在口腔修复教学中能有效评价医生备牙水平,提供有效的指导数据和意见。
附图说明
图1是本发明提供的牙模三维量测系统结构图。
图2是利用本发明提供的ProScanner软件采集的修复前后牙模的三维点模型叠加图。
图3是利用本发明提供的ProAnalyer软件导入ProScanner软件采集到的点模型所构建的修复前后牙模三维面模型。
图4是利用本发明提供的牙模三维量测系统修复前后牙模第一剖面线图。
图5是利用本发明提供的牙模三维量测系统修复前后牙模第二剖面线图。
图6是本发明提出的ProScanner软件的设计流程图。
图7是本发明提出的ProAnalyer软件的设计流程图。
其中,
10-投影仪,11-第一工业摄像头,12-第二工业摄像头,13-计算机,14-电动旋转平台,15-承载平台。
具体实施方式
下面以具体实施例结合附图对本发明作进一步说明:
本发明提供的牙模三维量测系统,包括投影仪10、第一工业摄像头11、第二工业摄像头12、计算机13、电动旋转平台14、承载平台15,其系统结构如图1所示,投影仪10通过并行串口连接到计算机13,第一工业摄像头11、第二工业摄像头12分别通过USB接口连接到计算机13,电动旋转平台14以交叉串口的形式连接到计算机13,投影仪10、第一工业摄像头11、第二工业摄像头12和电动旋转平台14均由计算机13发出指令进行控制,投影仪10、第一工业摄像头11、第二工业摄像头12和电动旋转平台14都固定在承载平台15上,以投影仪10为中心,第一工业摄像头11、第二工业摄像头12分别固定在投影仪10的左右两侧,第一工业摄像头11、第二工业摄像头12距离投影仪10侧边的距离控制在3cm~5cm之内,第一工业摄像头11、第二工业摄像头12中心的间距为20cm,相对第一工业摄像头11、第二工业摄像头12的镜头中心连线的垂直平分线,并且距离投影仪10的镜头的方向35cm处固定电动旋转平台14,以承载平台15为基准面,电动旋转平台14的高度不超过第一工业摄像头11、第二工业摄像头12的镜头的高度。
投影仪10、第一工业摄像头11、第二工业摄像头12组合的目的是获取牙模表面密集的点云数据,其中投影仪10用于向被测量物体投射间隔的黑白条纹,第一工业摄像头11、第二工业摄像头12用于采集有黑白条纹叠加的测量物体的影像,采用的原理是结构光测量的原理,结构光测量方法和原理比较成熟,在此不予赘述,在本发明中可以直接使用;
由于结构光测量,每次只能测量牙模的一个面,为了获取整个牙模的三维模型,本发明设计了一个电动旋转平台14用于旋转物体从而能够从不同角度对牙模进行测量,电动旋转平台14的旋转轴通过标定计算得到,因此可以将从不同角度获取的牙模局部模型自动拼接得到整体的牙模三维模型;
承载平台15用于固定投影仪10、第一工业摄像头11、第二工业摄像头12、电动旋转平台14。
本发明提供的牙模三维量测系统,在计算机13上运行自主研发的数据采集软件ProScanner和数据处理软件ProAnalyer,这两个软件都是基于C++语言开发,适用于Windowsxp操作系统,其中ProScanner的设计流程图如附图6所示,ProAnalyer的设计流程图如附图7所示。
数据采集软件ProScanner的设计包括以下步骤,如图6所示:
①标定相机位置;
②标定旋转平台位置;
③设定旋转平台的旋转次数和角度;
④放置牙模于旋转平台中心采集黑白条纹影像;
⑤处理影像数据,生成牙模点云;
⑥导出点云数据。
数据处理软件ProAnalyer的设计包括以下步骤,如图7所示:
①加载生成的点云数据;
②构建牙模三角网模型;
③对齐修复前后牙模面模型;
④在测量位置生成剖面,获取剖面线;
⑤量测剖面线,生成量测报告。
数据采集软件ProScanner负责第一工业摄像头11、第二工业摄像头12和投影仪10的控制与通讯,向投影仪10发送投射黑白条纹指令,向第一工业摄像头11、第二工业摄像头12发送采集指令,同时控制电动旋转平台14旋转以获取多方位的数据,最后对采集得到的牙模影像数据进行处理,构建整体牙模三维点云模型;
数据处理软件ProAnalyer可以导入由ProScanner生成的牙模三维点云数据,可对牙模点云数据进行点删除、拼接、构建面数据、生成剖面线、量测距离、导出量测报告等功能。
本发明同时提供了一种牙模量测的方法,包括以下步骤:
①将修复前的牙模放置于电动旋转平台上,利用数据采集软件启动投影仪和第一工业摄像头和第二工业摄像头;
②设定旋转平台的转动角度和转动次数,3~4分钟后获得经重构的修复前的牙模三维点云模型;
③将修复后的牙模放置于电动旋转平台上,采用与上述步骤同样的方法获取到修复后的牙模三维点云模型;
④将修复前和修复后的两片点云模型导入到数据处理软件中进行拼接,将两片点云模型转到同一个坐标系下,接着将两片点云转成面数据;
⑤在需要修复的单颗或多颗牙位置处生成不同方向的剖面及剖面线;
⑥在剖面线上利用数据处理软件提供的量测功能可以量测剖面线上任意两点之间的距离;
⑦对修复后的牙模是否合格进行评价。
本发明提供的系统在牙模三维模型构建的过程不需要人工干预,使用者只需要把要测量的牙模放在旋转平台上,在数据采集软件ProScanner中设置好旋转角度和次数,启动软件中的采集功能即可,在3~4分钟之内将获取到牙模的三维模型,模型量测只需要在数据处理模块ProAnalyer中导入采集到的三维模型,借助鼠标在三维模型上直接量测即可。

Claims (7)

1.一种牙模三维量测系统,其特征在于,包括:
投影仪、第一工业摄像头、第二工业摄像头、计算机、电动旋转平台、承载平台,投影仪通过并行串口连接到计算机,第一工业摄像头、第二工业摄像头分别通过USB接口连接到计算机,电动旋转平台以交叉串口的形式连接到计算机,投影仪、第一工业摄像头、第二工业摄像头和电动旋转平台均由计算机发出指令进行控制;
投影仪、第一工业摄像头、第二工业摄像头和电动旋转平台都固定在承载平台上,以投影仪为中心,第一工业摄像头、第二工业摄像头分别固定在投影仪的左右两侧,第一工业摄像头、第二工业摄像头距离投影仪侧边的距离控制在3cm~5cm之内,第一工业摄像头、第二工业摄像头中心的间距为20cm;
相对第一工业摄像头、第二工业摄像头的镜头中心连线的垂直平分线,并且距离投影仪的镜头的方向35cm处固定电动旋转平台,以承载平台为基准面,电动旋转平台的高度不超过第一工业摄像头、第二工业摄像头的镜头的高度。
2.根据权利要求1所述的牙模三维量测系统,其特征在于:
所述计算机上运行有数据采集软件ProScanner和数据处理软件ProAnalyer,其中数据采集软件ProScanner用于完成第一工业摄像头、第二工业摄像头和投影仪的控制与通讯,向投影仪发送投射黑白条纹指令,向第一工业摄像头、第二工业摄像头发送采集指令,同时控制电动旋转平台旋转以获取多方位的数据,最后对采集得到的牙模影像数据进行处理,构建整体牙模三维点云模型;
数据处理软件ProAnalyer用于接收由数据采集软件ProScanner生成的牙模三维点云数据,对牙模点云数据进行点删除、拼接、构建面数据、生成剖面线、量测距离、导出量测报告。
3.一种专用于权利要求1所述的牙模三维量测系统的数据采集子系统,其特征在于包括:
标定相机位置的模块;
标定旋转平台位置的模块;
设定旋转平台的旋转次数和角度的模块;
放置牙模于旋转平台中心采集黑白条纹影像的模块;
处理影像数据,生成牙模点云的模块;
导出点云数据的模块。
4.一种专用于权利要求1所述的牙模三维量测系统的数据处理子系统,其特征在于包括:
加载生成的点云数据的模块;
构建牙模三角网模型的模块;
对齐修复前后牙模面模型的模块;
在测量位置生成剖面,获取剖面线的模块;
量测剖面线,生成量测报告的模块。
5.一种专用于权利要求1所述的牙模三维量测系统的数据采集方法,其特征在于包括以下步骤:
标定相机位置;
标定旋转平台位置;
设定旋转平台的旋转次数和角度;
放置牙模于旋转平台中心并采集黑白条纹影像;
处理影像数据,生成牙模点云;
导出点云数据。
6.一种专用于权利要求1所述的牙模三维量测系统的数据处理方法,其特征在于包括以下步骤:
加载生成的点云数据;
构建牙模三角网模型;
对齐修复前后牙模面模型;
在测量位置生成剖面,获取剖面线;
量测剖面线,生成量测报告。
7.一种牙模三维量测方法,其特征在于,包括以下步骤:
将修复前的牙模放置于电动旋转平台上,利用数据采集软件启动投影仪和第一工业摄像头和第二工业摄像头;
设定旋转平台的转动角度和转动次数,3~4分钟后获得经重构的修复前的牙模三维点云模型;
将修复后的牙模放置于电动旋转平台上,采用与上述步骤同样的方法获取到修复后的牙模三维点云模型;
将修复前和修复后的两片点云模型导入到数据处理软件中进行拼接,将两片点云模型转到同一个坐标系下,接着将两片点云转成面数据;
在需要修复的单颗牙位置处生成不同方向的剖面及剖面线;
在剖面线上利用数据处理软件提供的量测功能可以量测剖面线上任意两点之间的距离;
对修复后的牙模是否合格进行评价。
CN201010029009A 2010-01-18 2010-01-18 牙模三维量测系统及方法 Expired - Fee Related CN101785711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010029009A CN101785711B (zh) 2010-01-18 2010-01-18 牙模三维量测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010029009A CN101785711B (zh) 2010-01-18 2010-01-18 牙模三维量测系统及方法

Publications (2)

Publication Number Publication Date
CN101785711A true CN101785711A (zh) 2010-07-28
CN101785711B CN101785711B (zh) 2012-08-29

Family

ID=42529194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010029009A Expired - Fee Related CN101785711B (zh) 2010-01-18 2010-01-18 牙模三维量测系统及方法

Country Status (1)

Country Link
CN (1) CN101785711B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102908203A (zh) * 2012-11-11 2013-02-06 安徽工业大学 体内牙齿位移的测量装置
CN103083107A (zh) * 2011-08-18 2013-05-08 株式会社松风 咬合评价装置、咬合评价方法以及咬合评价程序
CN103092577A (zh) * 2011-10-28 2013-05-08 鸿富锦精密工业(深圳)有限公司 三维影像量测程序生成系统及方法
CN105662632A (zh) * 2016-04-20 2016-06-15 杭州师范大学 一种用于牙颌模型的颜色信息扫描装置及方法
CN107121062A (zh) * 2016-12-07 2017-09-01 苏州笛卡测试技术有限公司 一种机器人三维扫描装置及方法
CN107144236A (zh) * 2017-05-25 2017-09-08 西安交通大学苏州研究院 一种机器人自动扫描仪及扫描方法
CN109903378A (zh) * 2019-03-05 2019-06-18 盎锐(上海)信息科技有限公司 基于人工智能的头发3d建模装置及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3588179B2 (ja) * 1995-12-06 2004-11-10 株式会社ユニスン 歯模型の3次元計測システム
DE102004060406A1 (de) * 2004-12-14 2006-06-29 Sirona Dental Systems Gmbh Zahnärztliche Behandlungseinheit mit Vermessungseinrichtung sowie dreidimensionale Vermessungseinrichtung
CN1686058A (zh) * 2005-04-28 2005-10-26 上海隐齿丽医学技术有限公司 计算机辅助牙齿隐形正畸系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103083107A (zh) * 2011-08-18 2013-05-08 株式会社松风 咬合评价装置、咬合评价方法以及咬合评价程序
CN103083107B (zh) * 2011-08-18 2015-03-11 株式会社松风 咬合评价装置、咬合评价方法
CN103092577A (zh) * 2011-10-28 2013-05-08 鸿富锦精密工业(深圳)有限公司 三维影像量测程序生成系统及方法
CN102908203A (zh) * 2012-11-11 2013-02-06 安徽工业大学 体内牙齿位移的测量装置
CN102908203B (zh) * 2012-11-11 2014-12-31 安徽工业大学 体内牙齿位移的测量装置
CN105662632A (zh) * 2016-04-20 2016-06-15 杭州师范大学 一种用于牙颌模型的颜色信息扫描装置及方法
CN107121062A (zh) * 2016-12-07 2017-09-01 苏州笛卡测试技术有限公司 一种机器人三维扫描装置及方法
CN107144236A (zh) * 2017-05-25 2017-09-08 西安交通大学苏州研究院 一种机器人自动扫描仪及扫描方法
CN109903378A (zh) * 2019-03-05 2019-06-18 盎锐(上海)信息科技有限公司 基于人工智能的头发3d建模装置及方法

Also Published As

Publication number Publication date
CN101785711B (zh) 2012-08-29

Similar Documents

Publication Publication Date Title
CN101785711B (zh) 牙模三维量测系统及方法
Park et al. Dimensional accuracy and surface characteristics of 3D-printed dental casts
CN106073919B (zh) 一种用于口腔修复体的无模数字化适配方法
JP5875972B2 (ja) 歯科用cad/cam装置
JP6223331B2 (ja) 歯科分野で使用される三次元測定デバイス
CN105342708B (zh) 基于ct和cbct融合数据的数字化咬合导板及其重建方法
US8423166B2 (en) Method for calculating grinding portion of pre-grinding denture
CN104715099B (zh) 用于牙齿冠桥功能性咬合面的虚拟牙合架设计方法
EP2345387A2 (en) Impression scanning for manufacturing of dental restorations
CN105030364B (zh) 牙齿横纵向倾斜角度的测量方法
CN101801307A (zh) 牙科镶嵌物测量加工系统
CN103690173A (zh) 下颌三维运动捕捉及可视化系统及方法
CN105012038B (zh) 用于虚拟〔牙合〕架的下颌三维运动轨迹跟踪装置
CN107392997A (zh) 一种用于口腔修复体的无模数字化适配方法
CN105212436B (zh) 非接触式三维激光脚型的测量系统及测量方法
CN203914924U (zh) 下颌三维运动捕捉及可视化系统与下颌运动追踪装置
MacLarnon Applications of the Reflex instruments in quantitative morphology
US20240081960A1 (en) Method for sub-gingival intraoral scanning
Okuyama et al. Quantitative evaluation of axial wall taper in prepared artificial teeth
CN208541430U (zh) 一种“六要素”切牙转矩尺
Galantucci New challenges for Reverse Engineering in facial treatments: how can the new 3-D non invasive surface measurements support diagnosis and treatment?
Alca� iz et al. A system for the simulation and planning of orthodontic treatment using a low cost 3D laser scanner for dental anatomy capturing
Abduo Virtual prosthodontic planning for oral rehabilitation: a pilot study
CN202665739U (zh) 精确定位*平面仪
CN114862782A (zh) 下颌运动轨迹测量方法、系统、计算机及可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120829

Termination date: 20130118