CN101718072A - 基于摄像测量的摊铺机自动找平系统及方法 - Google Patents
基于摄像测量的摊铺机自动找平系统及方法 Download PDFInfo
- Publication number
- CN101718072A CN101718072A CN200910227100A CN200910227100A CN101718072A CN 101718072 A CN101718072 A CN 101718072A CN 200910227100 A CN200910227100 A CN 200910227100A CN 200910227100 A CN200910227100 A CN 200910227100A CN 101718072 A CN101718072 A CN 101718072A
- Authority
- CN
- China
- Prior art keywords
- paver
- artificial cooperation
- video camera
- sign
- videographic measurment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Road Paving Machines (AREA)
Abstract
本发明公开了一种基于摄像测量的摊铺机找平系统和方法。首先建立由固定于摊铺机熨平板上的四个人工合作标志和摄像测量系统构成的找平系统,通过摄像机系统的快速精确测量得到固定于摊铺机熨平板上的人工合作标志相对初始位置的偏移量,从而得到摊铺机熨平板相对初始位置的偏移量,然后将测量结果反馈给摊铺机控制系统,从而实现摊铺机快速自动找平。本发明所述基于摄像测量的摊铺机自动找平系统及方法具有非接触、全场、精度高、易于自动化实现等优点。本发明同样适用于平地机等其他机械领域,可以提高平地机平地质量和自动化程度。
Description
技术领域
本发明涉及数字摄像测量、摊铺机找平参数测量、自动控制等领域,进一步是一种基于摄像测量的摊铺机自动找平系统及方法。
背景技术
自动找平系统在摊铺机、平地机、铣刨机等工程机械上的应用已经很广泛。随着公路向高速化的发展,实际的工程应用对找平精度的要求越来越高,从而对找平控制系统提出了更高的要求。而在自动找平系统的技术发展方面,摊铺机自动找平系统表现最为典型。
摊铺机中已使用的找平系统主要有钢丝线为基准的找平方式、机械式平衡梁找平方式、超声波(多声纳)非接触平衡梁找平方式等几种。其中,钢丝线为基准的找平方式在面层沥青料摊铺时,会暴露出诸如人为架线误差,支架间距、牢固度不易控制,钢丝线张紧力不足等弱点,影响摊铺厚度和宏观平整度;机械式平衡梁找平方式也存在以下缺点:系统过于庞大,粘附现象严重,清理困难,机械损坏率高,需人工精细保修,工作量大,十分繁琐,且小弯道摊铺时,易扭损梁架,摊铺精度难以保证;超声波(多声纳)非接触平衡梁找平方式一定程度上克服了机械式平衡梁找平系统的不足,改善了机械式平衡梁的使用性能,但装拆仍然比较复杂,结构较大(梁长约7~8m),熨平板的振动易对系统稳定性产生影响,且当遇到挥发性较强的特殊材料粘结层或沥青料时,由于声纳离地较近(约50cm),挥发物易粘附于声波发射片上而使声纳传感器不能正常工作;近期,又推出了激光扫描调平系统(Road Scanning System,RSS),其采用的是激光测距原理。激光的传播速度比声纳快的多,又不受环境影响,故测距比声纳精确,然而据用户反映实际摊铺情况并非如此,且价格昂贵。
因此,目前摊铺机所采用的找平系统都存在一定的缺点或者弱点,还不能完全符合实际需求。
发明内容
本发明所解决的技术问题是:克服现有找平技术的不足,提出一种基于摄像测量的摊铺机自动找平系统及方法,利用摄像测量方法,通过摄像机系统的快速精确测量得到固定于摊铺机熨平板上的人工合作标志相对初始位置的偏移量,从而得到摊铺机熨平板相对初始位置的偏移量,然后将测量结果反馈给摊铺机控制系统,从而实现摊铺机快速自动找平。本发明所述基于摄像测量的摊铺机自动找平系统及方法具有非接触、全场、精度高、易于自动化实现等优点。本发明同样适用于平地机,可以提高平地机平地质量和自动化程度。
本发明采取的技术方案是,一种基于摄像测量的摊铺机自动找平系统,包括两两组合分别固定在熨平板两侧的四个人工合作标志和摄像测量系统,每侧两个人工合作标志均对应有一套摄像测量系统;其中摄像测量系统包括摄像机安装平台、由直流电源供电的固定在摄像机安装平台上的摄像机、DSP图像处理器和无线收发模块;所述摄像机的信号输出端接入连接有无线收发模块的DSP图像处理器,所述无线收发模块接入摊铺机控制系统。
上述摄像测量系统中,所述摄像机的信号输出端经数据线接入DSP图像处理器的图像采集卡;摄像机内有电动镜头,其经解码控制器与DSP图像处理器连接通讯。
上述人工合作标志优选为红外发光标志;以便于全天候工作,且可在摄像机上加滤光片后去除杂光。电动镜头优选电动三可变镜头,摄像机优选高分辨率工业摄像机。
与上述自动找平系统相应的,本发明还提供了一种基于摄像测量的摊铺机自动找平方法,包括如下步骤:
1)在摊铺机的运行初始时刻,采集分别位于熨平板两侧的两个人工合作标志的中心坐标,作为人工合作标志的初始位置;
2)在摊铺机运行时,实时采集人工合作标志运动的序列图像,并进行定位,得到每帧图像中人工合作标志的中心坐标,将这个序列坐标与步骤1中采集得到的人工合作标志在第一帧图像中的坐标相比较,得出人工合作标志在运动过程中相对于初始位置的像素值偏移量,该像素值偏移量即为摊铺机因道路不平而离开基准平面的像素值偏移量;
3)根据上述得到的像素值偏移量,依照像素值偏移量与实际物理长度偏移量的对应关系,得出实际的物理长度偏移量;
4)摊铺机控制系统根据测得的物理长度偏差值控制摊铺机的运动。
作为优选方案,在拍摄图像中对人工合作标志的提取采用亚像素定位技术提取,可采用相关滤波法、自适应阈值重心法、灰度图拟合法等亚像素定位方法。
进一步的,为了保证系统测量过程中人工合作标志成像始终清晰,保证人工合作标志所成图像的大小保持不变,在测量过程中,实时调节电动镜头焦距,改变摄像视场角,且保持镜头的光轴位置不变。
本发明的工作原理说明如下:
所述基于摄像测量的摊铺机自动找平系统由人工合作标志发光标志、数字摄像机、摄像机安装平台、电动可变镜头、解码控制器、DSP图像处理器以及无线收发模块组成,摄像机通过数据线与DSP上的图像采集卡连接,电动可变镜头经过通讯电缆连接到解码控制器,而解码控制器通过电缆连接到DSP上。DSP图像处理器和解码控制器通过串口进行通讯。系统工作时,放置于摊铺机前方的摄像测量系统中的摄像机实时拍摄人工合作标志的图像,图像传输给DSP图像处理器,DSP图像系统中固化的处理软件从图像中的多个人工合作标志中提取与电动镜头调节参数对应的图像特征量,驱动电动镜头进行正确调节,使人工合作标志成像始终清晰,且视场大小基本保持恒定;DSP图像处理器进一步从图像中提取人工合作标志的精确位置,对比当前时刻的标志位置与初始时刻的标志位置,可以测量出该时刻熨平板的偏差值。
熨平板每侧安装两个人工合作标志,可便于建立像素值偏移量与实际物理长度偏移量的对应关系:先测量得到两个红外合作标志之间的实际物理长度Δx1,在所拍摄图像中测出两个红外合作标志之间的像素数目Δx2,就得到像素值偏移量与实际物理长度之间的转换系数
DSP图像处理器实时将测量出的像素偏差值通过上述像素偏移量与实际物理长度之间的转换关系,转换为实际物理长度偏差值,再通过无线收发模块发送至摊铺机控制系统,控制摊铺机自动找平。
所述摄像机在测量人工合作标志时针对运动标志采用自动聚焦、调焦方法,让电动镜头自动调节焦距以使测量视场始终保持不变,且成像质量始终清晰,保证在测量范围内高精度得到测量结果。
本发明所述基于摄像测量的摊铺机自动找平系统采用摄像测量的方法通过测量和解算人工合作标志的偏移量从而得到路面的平整情况,其特征和关键技术在于:
一、图像中人工合作标志的亚像素定位。为了保证系统的高精度,本系统优选采用亚像素图像定位技术。亚像素图像定位技术就是通过研究先进的图像处理方法,使图像中目标定位精度高于图像的物理分辨率。可以采用相关滤波法、自适应阈值重心法、灰度图拟合法等亚像素定位方法。亚像素定位方法可以参见于起峰、尚洋著《摄像测量学原理与应用研究》科学出版社P81-117,2009.
二、摄像机在拍摄过程中的自动聚焦、调焦技术。其原理如图4所示:当人工合作标志离摄像机较远时,电动镜头的焦距较大,其视场角1较小;而当人工合作标志离摄像机较近时,系统自动将电动镜头焦距调小,其视场角2较大。而在以上调节焦距的过程中,镜头的光轴位置保持不变。以上就保证在系统测量过程中人工合作标志所成图像的大小基本保持不变。
三、偏移量的计算方法。对人工合作标志运动的序列图像进行定位,得到每帧图像中人工合作标志中心坐标,将这个序列坐标与人工合作标志在第一帧图像中的坐标相比较,得出人工合作标志在运动过程中相对于初始位置的偏差,该偏差即为摊铺机因道路不平而离开基准平面的偏差。以上偏差均为像素值,为了给出最终的测量结果,还需要对摄像机采集的图像进行标定,给出与图像像素值对应的物理长度,其具体方法为先测量得到两个人工合作标志之间的实际物理长度Δx1,在所拍摄图像中测出两个人工合作标志之间的像素数目Δx2,就得到像素偏移量与实际物理长度之间的转换系数
四、大气影响的消除。摊铺机的工作环境温度很高,大气湍流的对摄像测量系统的影响很大,所以要采取相应的措施来降低大气湍流的影响,可以采用“滑动窗口滤波”等方法消除大气湍流对测量结果的影响。具体的“滑动窗口滤波”方法可以参见于起峰、尚洋著《摄像测量学原理与应用研究》科学出版社P148-151,2009.
本发明的意义在于:
1、测量精度高。现有的摊铺机找平测量系统的测量精度比较低,精度最高的激光扫描非接触测量系统的精度也只能达到1mm左右,而本系统如选择合适的硬件,其精度可以达到0.3mm左右,甚至更高。
2、价格合理。本系统若选用合适的硬件,相比于现有的其他非接触式调平装置,价格远远低于现有的其他非接触式调平装置。
3、摄像机与摊铺机之间的距离大范围可调,若该距离大于100米时,可以很好地跟踪路基的纵坡和弯道自然变化,形成流畅变化的路面。
4、该测量系统可以同时适用于平地机,提高平地质量和自动化程度。
5、该测量系统及方法在给摊铺机提供调平数据的同时,可以绘出所铺路面的高低曲线。
本发明将摄像测量技术用于摊铺机找平系统,这种方法具有非接触、全场、精度高、易于自动化实现等优点。本发明同样适用于平地机,可以提高平地机平地质量和自动化程度。
附图说明
图1为基于摄像测量的摊铺机自动找平系统的应用示意图;
图2为基于摄像测量的摊铺机自动找平系统的结构框图;
图3为摄像测量系统的连接示意图;
图4为系统自动聚焦、调焦侧视原理图;
图5为偏移量计算原理图;
在上述附图中:
1-人工合作标志 2a、2b-数字摄像机 3-摄像机安装平台
4-电动三可变镜头 5-解码控制器 6-DSP图像处理器
7-无线收发模块 8-摊铺机 9-熨平板
10-摊铺机控制系统
具体实施方式
本实施例所述基于摄像测量的摊铺机自动找平系统,由“十”字形状的人工发光标志、摄像机、摄像机安装平台、电动三可变镜头、解码控制器、DSP图像处理器以及无线收发模块组成。
本实施例运用摄像测量方法通过对固定在熨平板上的人工合作标志的快速自动测量得到熨平板位置偏移信息,进而得到地面的平整度信息,再反馈给摊铺机控制系统。其具体实施步骤如下:
1)将四个人工合作标志固定于摊铺机熨平板左右两侧,每测两个人工合作标志:如图1、2所示,在熨平板9两侧各固定两个红外发光标志作为人工合作标志1,和人工合作标志1对应的各有一套摄像测量系统,每套摄像测量系统由电动三可变镜头4、高分辨率工业摄像机2a和2b、摄像机安装平台3、带解码控制器5的DSP图像处理器6以及无线数据收发模块7等组成。其中摄像机安装平台具体采用的是三角架和云台。
2)系统工作时,给人工合作标志通电,人工合作标志1发光工作,放置于摊铺机8前方的摄像测量系统中的摄像机2实时拍摄人工合作标志1的图像,图像传输给DSP图像处理器6;
3)DSP图像处理器中的图像预处理模块对图像作图像增强、图像滤波等预处理,采用亚像素处理技术对人工合作标志进行定位和跟踪,并对比当前时刻的标志位置与初始时刻的标志位置,测量出该时刻熨平板的偏差值:DSP图像处理器6中固化的处理软件从图像中的两个人工合作标志中提取与电动三可变镜头调节参数对应的图像特征量,驱动电动三可变镜头4进行正确调节,使人工合作标志1成像始终清晰,且视场大小基本保持恒定。
摄像测量系统的连接如图3所示。摄像机2通过数据线与DSP图像处理器6上的图像采集卡连接,电动三可变镜头4经通讯电缆连接到解码控制器5,而解码控制器5通过电缆连接到DSP图像处理器6上。DSP图像处理器6与解码控制器5通串口进行通讯。其中,自动聚焦、调焦系统的工作过程为:摄像机拍摄的某一帧图像,经图像采集卡送给DSP图像处理器6,DSP图像处理器6中固化的软件对图像进行计算,得到相应的调焦指令,经串口送给解码控制器5,解码控制器5控制电动三可变镜头4进行相应的调焦动作,形成一个闭合调焦回路。
如图4所示,当人工合作标志离摄像机较远时,电动镜头的焦距较大,其视场角1较小;而当人工合作标志离摄像机较近时,系统自动将电动镜头焦距调小,其视场角2较大。而在以上调节焦距的过程中,镜头的光轴位置保持不变。以上就保证在系统测量过程中人工合作标志所成图像的大小基本保持不变。
处理软件进一步从图像中提取人工合作标志1的精确位置,对比当前时刻的标志位置与初始时刻的标志位置,可以测量出该时刻熨平板9的偏差值。
简化的双标志计算方案如图5所示,A、B为固定于熨平板上的两个人工合作标志的初始位置,C、D是这两个人工合作标志经过一段时间过后的位置,Δx,Δy是经过一段时间过后熨平板相对于初始位置在x方向和y方向上的偏移量。
考虑到测量过程中,电动镜头一直在调节,实际的测量方案中比上面的复杂,这里给出的只是一个原理性的说明。
4)实时将测量出的偏差值通过无线收发模块7发送至摊铺机控制系统10。
Claims (10)
1.一种基于摄像测量的摊铺机自动找平系统,包括两两组合分别固定在熨平板两侧的四个人工合作标志和摄像测量系统,每侧两个人工合作标志均对应有一套摄像测量系统;其中摄像测量系统包括摄像机安装平台、由直流电源供电的固定在摄像机安装平台上的摄像机、DSP图像处理器和无线收发模块;所述摄像机的信号输出端接入连接有无线收发模块的DSP图像处理器,所述无线收发模块接入摊铺机控制系统。
2.根据权利要求1所述基于摄像测量的摊铺机自动找平系统,其特征在于,所述摄像测量系统中摄像机的信号输出端经数据线接入DSP图像处理器的图像采集卡;摄像机内有电动镜头,其经解码控制器与DSP图像处理器连接通讯。
3.根据权利要求2所述基于摄像测量的摊铺机自动找平系统,其特征在于,所述电动镜头采用电动三可变镜头。
4.根据权利要求1-3之一所述基于摄像测量的摊铺机自动找平系统,其特征在于,所述人工合作标志优选为红外发光标志。
5.根据权利要求1-3之一所述基于摄像测量的摊铺机自动找平系统,其特征在于,所述摄像机为工业摄像机。
6.一种基于摄像测量的摊铺机自动找平方法,其特征是,包括如下步骤:
1)在摊铺机的运行初始时刻,采集分别位于熨平板两侧的人工合作标志的中心坐标,作为人工合作标志的初始位置;
2)在摊铺机运行时,实时采集人工合作标志运动的序列图像,并进行定位,得到每帧图像中人工合作标志的中心坐标,将这个序列坐标与步骤1中采集得到的人工合作标志在第一帧图像中的坐标相比较,得出人工合作标志在运动过程中相对于初始位置的像素值偏移量;
3)根据上述得到的像素值偏移量,依照像素值偏移量与实际物理长度偏移量的对应关系,得出实际的物理长度偏移量;
4)摊铺机的控制系统根据测得的物理长度偏差量实时控制摊铺机的运动。
7.根据权利要求6所述基于摄像测量的摊铺机自动找平方法,其特征是,在所述步骤2中拍摄图像中对人工合作标志的定位采用亚像素定位技术。
8.根据权利要求7所述基于摄像测量的摊铺机自动找平方法,其特征是,所述亚像素定位技术优选为相关滤波法、自适应阈值重心法、灰度图拟合法中任意一种。
9.根据权利要求6所述基于摄像测量的摊铺机自动找平方法,其特征是,实时采集人工合作标志运动的序列图像过程中,根据实际采集的图像实时调节电动镜头焦距,改变摄像视场角,保持镜头的光轴位置不变。
10.根据权利要求6-9之一所述基于摄像测量的摊铺机自动找平方法,其特征是,摄像测量系统采集人工合作标志的坐标时,采用滑动窗口滤波方法消除大气湍流对测量结果的影响。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009102271007A CN101718072B (zh) | 2009-12-04 | 2009-12-04 | 基于摄像测量的摊铺机自动找平系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009102271007A CN101718072B (zh) | 2009-12-04 | 2009-12-04 | 基于摄像测量的摊铺机自动找平系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101718072A true CN101718072A (zh) | 2010-06-02 |
CN101718072B CN101718072B (zh) | 2011-06-08 |
Family
ID=42432706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009102271007A Expired - Fee Related CN101718072B (zh) | 2009-12-04 | 2009-12-04 | 基于摄像测量的摊铺机自动找平系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101718072B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102425196A (zh) * | 2011-08-31 | 2012-04-25 | 徐州市茜帅电子产品有限公司 | 一种平地机自动找平系统 |
CN103827394A (zh) * | 2011-09-29 | 2014-05-28 | 住友建机株式会社 | 铺路机的平整装置 |
CN105178146A (zh) * | 2015-08-18 | 2015-12-23 | 河南省路桥建设集团有限公司 | 摊铺机自动化摊铺控制系统 |
CN105386397A (zh) * | 2014-08-28 | 2016-03-09 | 维特根有限公司 | 自行式建筑机械以及用于使在土地上运动的建筑机械的加工环境可视化的方法 |
CN107842050A (zh) * | 2017-09-26 | 2018-03-27 | 内蒙古大学 | 一种基于gps‑rtk技术的平地机人工辅助自动找平装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AUPP107597A0 (en) * | 1997-12-22 | 1998-01-22 | Commonwealth Scientific And Industrial Research Organisation | Road pavement deterioration inspection system |
CN101021417B (zh) * | 2007-03-21 | 2010-05-19 | 于起峰 | 一种长直轨道几何参数的摄像测量方法 |
CN101264766B (zh) * | 2008-05-15 | 2010-04-07 | 中国人民解放军国防科学技术大学 | 替代弦线法的轨道几何参数摄像测量装置及方法 |
-
2009
- 2009-12-04 CN CN2009102271007A patent/CN101718072B/zh not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102425196A (zh) * | 2011-08-31 | 2012-04-25 | 徐州市茜帅电子产品有限公司 | 一种平地机自动找平系统 |
CN103827394A (zh) * | 2011-09-29 | 2014-05-28 | 住友建机株式会社 | 铺路机的平整装置 |
CN103827394B (zh) * | 2011-09-29 | 2016-05-11 | 住友建机株式会社 | 铺路机的平整装置 |
CN105386397A (zh) * | 2014-08-28 | 2016-03-09 | 维特根有限公司 | 自行式建筑机械以及用于使在土地上运动的建筑机械的加工环境可视化的方法 |
CN105386397B (zh) * | 2014-08-28 | 2017-09-12 | 维特根有限公司 | 自行式建筑机械以及用于使其加工环境可视化的方法 |
CN105178146A (zh) * | 2015-08-18 | 2015-12-23 | 河南省路桥建设集团有限公司 | 摊铺机自动化摊铺控制系统 |
CN107842050A (zh) * | 2017-09-26 | 2018-03-27 | 内蒙古大学 | 一种基于gps‑rtk技术的平地机人工辅助自动找平装置 |
CN107842050B (zh) * | 2017-09-26 | 2023-08-08 | 内蒙古大学 | 一种基于gps-rtk技术的平地机人工辅助自动找平装置 |
Also Published As
Publication number | Publication date |
---|---|
CN101718072B (zh) | 2011-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102360079B (zh) | 一种激光测距仪及工作方法 | |
CN101718072B (zh) | 基于摄像测量的摊铺机自动找平系统及方法 | |
CN101814185B (zh) | 用于微小尺寸测量的线结构光视觉传感器标定方法 | |
CN101881000B (zh) | 一种公路路面平整度的摄像测量系统及方法 | |
CN102620672A (zh) | 图像拼接技术在隧道围岩变形非接触测量中的应用 | |
CN106895788B (zh) | 一种水库坝体变形自动监测方法和系统 | |
CN106225708A (zh) | 一种对环境光不敏感的通用视频挠度测量系统 | |
CN104574332B (zh) | 一种机载光电吊舱用图像融合方法 | |
CN105744266B (zh) | 摄像模组的倾斜测量系统与测量方法 | |
CN104240262A (zh) | 一种用于摄影测量的相机外参数标定装置及标定方法 | |
CN101074869A (zh) | 基于相位法的三维轮廓测量方法 | |
CN1818546A (zh) | 远距离面内小位移测量方法 | |
CN107401976B (zh) | 一种基于单目相机的大尺寸视觉测量系统及其标定方法 | |
CN101126638A (zh) | 检测公路路面平整度的摄像测量方法 | |
CN106092061A (zh) | 基于倾斜视角下透镜成像模型的河流水面流场定标方法 | |
CN205482917U (zh) | 一种基于线阵ccd沉降变形测量传感器 | |
US11245888B2 (en) | Information processing apparatus, image capture apparatus, image processing system, and method of processing a plurality of captured images of a traveling surface where a moveable apparatus travels | |
CN101216591A (zh) | 基于图像灰度的自动调焦方法及其系统 | |
CN108805940B (zh) | 一种变倍相机在变倍过程中跟踪定位的方法 | |
CN105376493B (zh) | 基于图像数据的轨空间内相机调焦的方法及其调焦系统 | |
CN111207685A (zh) | 一种用于结构光深度测量的全自动标定系统 | |
CN111595300A (zh) | 一种火电厂无人机盘煤检测系统及盘煤方法 | |
CN109738061A (zh) | 一种面向照度计检定的照度计位置自动对准方法及系统 | |
CN109506583A (zh) | 柔性结构全场变形实时测量系统 | |
CN101692000B (zh) | 影响摆扫式航空相机两条图像间实际重叠率因素的处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110608 Termination date: 20201204 |