CN101694371A - 抗振动大尺寸直径精密在线测量方法 - Google Patents

抗振动大尺寸直径精密在线测量方法 Download PDF

Info

Publication number
CN101694371A
CN101694371A CN200910070820A CN200910070820A CN101694371A CN 101694371 A CN101694371 A CN 101694371A CN 200910070820 A CN200910070820 A CN 200910070820A CN 200910070820 A CN200910070820 A CN 200910070820A CN 101694371 A CN101694371 A CN 101694371A
Authority
CN
China
Prior art keywords
steel pipe
cameras
camera
line
lines
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910070820A
Other languages
English (en)
Other versions
CN101694371B (zh
Inventor
刘文耀
王晋疆
裘稀石
代雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN2009100708207A priority Critical patent/CN101694371B/zh
Publication of CN101694371A publication Critical patent/CN101694371A/zh
Application granted granted Critical
Publication of CN101694371B publication Critical patent/CN101694371B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

抗振动大尺寸直径精密在线测量方法。用于在有强烈振动条件下的大直径钢管的自动测量,可实现高速在线非接触检测,其抗振动性能好、测量精度高。该方法采用两台高分辨率高速度线阵CCD相机,两台相机成光轴中线夹角90度放置,两相机的中心线相交共面。令两中心线交点为坐标原点O,其中一条中心线为Y轴,另一条为X轴。理想情况下钢管轴线位于两相机中心线的交点即原点上,且与XOY面相垂直。首先标定两CCD相机镜头入瞳中心的位置和相机的成像分辨率。然后,两相机分别对钢管边缘成清晰像,钢管边缘与相机镜头入瞳中心连线即为钢管切线,钢管即为4条切线组成的四边形的内切圆,根据几何原理可得到内切圆的圆心和半径,从而测得钢管直径。

Description

抗振动大尺寸直径精密在线测量方法
【技术领域】:本发明属于测量装置技术领域,涉及一种大尺寸钢管直径的在线高速测量方法,用于钢管在有强烈振动的条件下自动测量其直径。
【背景技术】:柱形钢材料在国民经济中有着非常广泛的应用。其直径、不圆度等参数与生产设计指标的符合程度直接关系到最终产品质量性能的优劣。
目前在扎制中常用的在线测量方法是用平行光照明,进行投影成像检测。具体原理为单色绿光源发出平行光束照射被测物,CCD相机接受光信号,形成外轮廓投影图像,然后由多组CCD相机(4-8组)采集图像相关数据信息后传送至计算机进行分析处理。计算机根据得到的数据拼接成多边形,然后采用拟合圆的方法得到近似的圆截面,从而求出钢管半径和不圆度等参数。此种方法由于现有的光学成像镜头尺寸的有限,因此无法检测大尺寸钢管(100mm以上),且该方法由于有多组成像系统,故整个系统体积庞大,内部构造复杂,在线检测时抗振性能有限。另外由于计算机要实现多组CCD相机相关数据的实时处理,这必然会导致CCD相机的采样频率较低。这样一来,当钢管高速通过时(100m/s),势必会使相邻两点间的采样距离变的较大,从而不能实时反映钢管直径的变化。
【发明内容】:本发明的目的是为了解决现有钢管直径测量方法存在的无法检测大尺寸钢管,无法高速检测,抗振性能有限,系统结构复杂等问题,提供一种新型的抗振动大尺寸直径精密在线成像测量方法,该方法不仅能够高速测量大尺寸钢管直径,并且系统结构简单,对钢管抗振性能强,测量精度高,适用于工业上高速在线检测。
本发明提供的抗振动大尺寸直径精密在线测量方法的具体步骤是:
第一、选择两台高分辨率高速度的线阵CCD相机和与之匹配的大景深成像镜头;
第二、将两台CCD相机成光轴中线夹角90度放置,两相机的中心线相交共面,同时令两中心线交点为标定坐标系的原点O,令其中的一条中心线为Y轴,另一条中心线为X轴;
第三、将待测钢管的轴线放置于两台CCD相机中心线的交点即坐标系的原点上,且与XOY面相垂直;
第四、将两台CCD相机分别对待测钢管边缘对焦清晰,得到与待测钢管相切的四条直线,分别令过同一相机的两条切线的切点与XOY面垂直的平面为标定面,得到水平标定面1和竖直标定面2;
第五、通过CCD相机采集图像后计算放大倍率,即图像中的1个像素所对应的实际长度值mm;同时根据透镜成像公式:1/物距+1/像距=1/焦距,物大小/像大小=物距/像距,计算物距、像距、视场大小和视场角的参数值;
第六、将同一相机的两条切线的交点视为该相机的入瞳中心,确定两台CCD相机的入瞳中心在坐标中的相对位置,即入瞳中心到坐标原点间的距离;
第七、在线测量:通过两台CCD相机分别对运动中的待测钢管进行同步图像采集,得到四条新的切线,由切点沿切线在标定面上的投影及对应的入瞳中心的坐标即可得到四条新切线的直线方程,进而求得待测钢管的轴线坐标和对应的半径值。
本发明测量原理说明:
本发明采用两台高分辨率(4-8k像素)高速度(10kHz)的线阵CCD相机和与之匹配的大景深成像镜头,通过安装在固定支架上并进行标定后,可实现在线的高速精密测量。由于CCD相机单行像素的采集频率非常高(10kHz),并且也只有两路数据通过计算机运算,因此可用于工业上高速测量,可满足钢管速度100m/s下的实时检测要求,相邻两个测量点纵向间距仅为10mm。
两台CCD相机成光轴中线夹角90度放置,两相机的中心线相交共面。理想情况下钢管轴线位于两相机中心线的交点上,且与两相机中心线组成的平面相垂直。通过标定得到两CCD相机镜头入瞳中心的相对距离,包括两入瞳间的水平距离与竖直距离,然后再标定两相机对给定标定面的成像分辨率,即1个像素对应多少mm。标定完毕后,两相机分别对理想情况放置的钢管边缘成清晰像,每个相机记录钢管边缘坐标,然后与相机镜头入瞳中心坐标连线即可得到2条与钢管边缘相切的直线。两个相机就能得到4条这样的切线,此时钢管成为了这4条直线组成的四边形的内切圆。根据数学上几何原理可知,一个四边形其内切圆的圆心位于角平分线上,且四条角平分线相交于一点,该点就为圆心。但在实际检测过程中外接四边形的四条角平分线不会相交于一点,这就会出现多个圆心的情况,所以我们在算法上采取多个值取平均的方法得到最接近的圆心坐标。然后计算圆心到四边形四条边的距离就可得到四个方向的钢管半径。此种方法由于成像光路的特殊性,能够测量的范围非常广(50mm-500mm),满足了工业上大直径钢管测量的要求。
另外,在现场检测钢管时,钢管通过检测系统必定不是平稳的缓慢的通过,而是伴有强烈振动的高速通过。这样一来,如果采取单个相机检测,由于钢管的振动(±10mm)必然会导致物距发生变化,从而使得成像大小发生变化,CCD相机采集到的图像不能真实的反映出钢管实际图像。因此我们采用两台CCD相机采集图像,提取钢管边缘数据,然后用四边形求内切圆圆心的方法求得钢管圆心,进而求得沿四个方向的钢管半径。这样就消除了钢管振动对检测结果的影响。这里需要注意的是,钢管振动时其边缘不能超出相机的成像范围,且振动量要在相机镜头的景深范围内(5-10mm),只有这样,CCD相机采集到的钢管图像边缘才仍然是清晰的。最后通过计算得到新的4条过钢管边缘的直线,组成新的四边形,然后采用外接四边形求圆心的方法求得钢管圆心坐标,从而求出钢管半径值。由于两CCD相机同步高速采集,因此采集到的数据是位于钢管同一截面上的,且由于采集速度快,当钢管连续振动时能进行连续采集,从而得到连续的多个四边形,每个四边形对应一个圆心坐标和四个方向的半径值。
【本发明的优点和积极效果】:
经实验表明,本发明通过前期较为精确的标定和校正后,对处于振动幅度<10mm情况下的大尺寸钢管进行分组检测。第一组直径范围为:100mm-200mm,选用4k线阵相机,;第二组直径范围为:200mm-350mm,选用8k线阵相机;第三组直径范围为:350mm-500mm,选用8k线阵相机。每组都对最大直径的钢管进行满视场成像(预留有钢管振动量),经实验检测,每组最后得到的钢管直径测量结果绝对误差最大为0.3mm,相对误差优于0.2%,可见这一测量结果已达到了很高的精度,满足工业上对钢管测量的要求。
本发明的优点主要有以下四个:1、高速在线非接触检测。2、大尺寸钢管检测。3、抗振动性能好。4、直径测量精度高。
【附图说明】:
图1是本发明的测量原理示意图。各部分含义如下:
1:CCD相机1
2:标定面1
3:中心线1
4:CCD相机2
5:标定面2
6:中心线2
7:理想状态时的钢管截面
8-11:与理想状态钢管相切的四条直线,ABCD为这四条直线相交组成的四边形
12:振动状态时的钢管截面
13-16:与振动状态钢管相切的四条直线,A′B′C′D′为这四条直线相交组成的四边形
【具体实施方式】:
实施例1:
1、确定坐标系
如图1所示,采用两台高灵敏度CCD相机分别竖直和水平放置,中心线1与中心线2成90度相交,交点设为平面坐标系的原点,中心线1为Y轴,中心线2为X轴。理想状态时钢管截面中心位于两相机的中心线交点即原点上,且钢管轴线与X-Y坐标平面垂直。两相机分别对钢管边缘对焦清晰,通过计算可求得标定面的位置。对相机1来说,标定面1为直线8、9与钢管7相切的两点所组成的轴平行平面(平面与钢管截面垂直,图中画出的只是侧视效果);对相机2来说,标定面2为直线10、11与钢管7相切的两点所组成的轴平行平面。
2、参数标定
主要分为两步。
第一步:分别对标定面1和标定面2进行标定。具体方法为在标定面上摆放一定长度的量块,量块前表面与标定面平齐,然后通过CCD相机采集图像后计算放大倍率(如1个像素对应多少mm),进而根据透镜成像公式(1/物距+1/像距=1/焦距,物大小/像大小=物距/像距)计算物距、像距、视场大小、视场角等相关参数。
第二步:对两相机镜头的入瞳中心进行标定(入瞳中心位置近似为图中的M点和N点),其实也就是确定两个相机间的相对位置。对相机1来说,精密测量标定面1与中心线2(图中2与6)之间的竖直距离,然后加上相机1第一步中所求得的物距,所得结果即为相机1镜头入瞳中心与原点间的竖直距离(其水平距离为0)。对相机2来说,精密测量标定面2与中心线1(图中5与3)之间的水平距离,然后加上相机2第一步中所求得的物距,所得结果即为相机2镜头入瞳中心与原点间的水平距离(其竖直距离为0)。至此已标定完毕。
另外在工作现场安放装置时不一定能保证相机1的中心线1与相机2的中心线2相垂直,即两者间的夹角不一定是严格的90度,对于这个问题我们可在检测软件上添加校正模块,根据实测角度值来进行校正,主要是修正上述第二步中两个相机间的相对位置参数。还有一点就是由于每个CCD相机在制造时由于精度方面的限制,不可能保证CCD所有像元的中心点正好在镜头光轴上(即图中的中心线1、2),必定会有几个像素的偏离,这一点我们也可以通过软件校正,主要是在测量时修正每个相机得到的钢管边缘坐标,加上或减去偏移量。
3、检测与振动分析
现场当钢管运动时(在图中表现为轴向高速通过),由于振动影响(主要是径向振动对成像造成的影响,轴向振动与钢管本身运动方向一致,可以不考虑),钢管轴线(图中圆心)必然会偏离中心线的交点,即原点。图中表现为钢管从理想7状态偏离到振动状态12的情况。这时对每个相机来说,物距大小发生变化,导致成像的大小也发生变化,当钢管远离时,物距变大,像变小,当钢管接近时,物距变小,像变大。此时相机记录下的钢管边缘坐标为新切线(图中直线13-16)与标定面1、2的交点,也就是新切点沿新切线方向在标定面上的投影(理想情况时,切点恰好位于标定面上),如图中的新切线16与钢管12的切点为P,P沿新切线方向在标定面2上的投影为P’。由于P和P’之间有一定的距离,P点相当于物点,这在光学上来说必然会导致P’点模糊,但如果我们采用大景深的镜头,且减小镜头的通光口径,就会使景深变大,使得P’点仍然是比较清晰的,处于肉眼可以接受的范围内。这样一来,只要钢管的径向振动不超过给定的景深(5-10mm),CCD相机所采集到的钢管图像,其边缘部分仍然是清楚的,从而能比较精确的确定钢管边缘坐标,图中为确定像P’这样的4个点(直线13、14与标定面1的两个交点,直线15、16与标定面2的两个交点)。然后就可以确定直线13-16的直线方程,得到一个四边形A′B′C′D′,根据前面发明内容中所述的求圆心方法就能最终求出钢管的轴线坐标和半径等参数。
4、实例说明
我们在实验室现有条件下进行了相关实验,具体过程如下。
一、待测钢管用直径70mm的铝制管材代替,其本身加工精度优于0.1mm;相机采用分辨率为1024x776,帧频为45帧/秒;镜头选用f=8mm的镜头。测量时待测钢管竖直悬挂,并在上下束缚两个直径为80mm空心圆环来限制其振动范围,振动量<10mm。
二、检测程序的输入参数。
1、镜头参数部分:镜头焦距8mm;光圈1.3;CCD单个像元大小4.65um;竖直相机50mm物大小对应452个像素,水平相机50mm物大小对应447个像素。
2、标定参数部分:竖直相机中心线与水平相机标定面间的水平距离为24.6mm,水平相机中心线与竖直相机标定面间的竖直距离为21.3mm。
3、校正参数部分:两台相机中心线间的夹角为90度;镜头中心与CCD中心间的偏差,竖直相机-17个像素,水平相机45个像素。
三、软件计算时用到的部分公式。
1、已知两点(x1,y1)、(x2,y2)求直线方程Ax+By+C=0,公式:(y1-y2)X+(x2-x1)Y+y1x1-y1x2+x1y2-x1y1=0。
2、已知两直线方程A1x+B1y+C1=0 A2x+B2y+C2=0求交点坐标(x,y),公式:x=(B1*C2-B2*C1)/(B2*A1-B1*A2),y=(A1*C2-A2*C1)/(A2*B1-A1*B2)。
3、已知两直线求角平分线,公式:先求两直线交点坐标,然后求出角平分线的斜率(有内外两种情况),根据点斜式求直线方程y=Kx+B。
4、点(x0,y0)到直线Ax+By+C=0的距离,公式:
Figure G2009100708207D0000051
四、检测程序的输出结果。(单位:mm)
实验过程中随机取样三组数据,结果如下。
第1组:d1=69.85,d2=69.89,d3=70.04,d4=69.96,daverage=69.94,不圆度0.19。
第2组:d1=69.86,d2=69.78,d3=70.07,d4=69.95,daverage=69.92,不圆度0.29。
第3组:d1=69.91,d2=69.87,d3=69.94,d4=70.08,daverage=69.95,不圆度0.21。
对大量数据统计可得:测量结果绝对误差最大为0.3mm,相对误差优于0.2%,可见这一测量结果已达到了很高的精度,满足工业上对钢管直径测量的要求。

Claims (1)

1.一种抗振动大尺寸直径精密在线测量方法,其特征在于该方法的具体步骤是:
第一、选择两台高分辨率高速度的线阵CCD相机和与之匹配的大景深成像镜头;
第二、将两台CCD相机成光轴中线夹角90度放置,两相机的中心线相交共面,同时令两中心线交点为标定坐标系的原点O,令其中的一条中心线为Y轴,另一条中心线为X轴;
第三、将待测钢管的轴线放置于两台CCD相机中心线的交点即坐标系的原点上,且与XOY面相垂直;
第四、将两台CCD相机分别对待测钢管的边缘对焦清晰,得到与待测钢管相切的四条直线,分别令过同一相机的两条切线的切点与XOY面垂直的平面为标定面,得到水平标定面1和竖直标定面2;
第五、通过CCD相机采集图像后计算放大倍率,即图像中的1个像素所对应的实际长度值mm;同时根据透镜成像公式:1/物距+1/像距=1/焦距,物大小/像大小=物距/像距,计算物距、像距、视场大小和视场角的参数值;
第六、将同一相机的两条切线的交点视为该相机的入瞳中心,确定两台CCD相机的入瞳中心在坐标中的相对位置,即入瞳中心到坐标原点间的距离;
第七、在线测量:通过两台CCD相机分别对运动中的待测钢管进行同步图像采集,得到四条新的切线,由切点沿切线在标定面上的投影及对应的入瞳中心的坐标即可得到四条新切线的直线方程,进而求得待测钢管的轴线坐标和对应的半径值。
CN2009100708207A 2009-10-16 2009-10-16 抗振动大尺寸直径精密在线测量方法 Expired - Fee Related CN101694371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009100708207A CN101694371B (zh) 2009-10-16 2009-10-16 抗振动大尺寸直径精密在线测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009100708207A CN101694371B (zh) 2009-10-16 2009-10-16 抗振动大尺寸直径精密在线测量方法

Publications (2)

Publication Number Publication Date
CN101694371A true CN101694371A (zh) 2010-04-14
CN101694371B CN101694371B (zh) 2011-03-16

Family

ID=42093357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100708207A Expired - Fee Related CN101694371B (zh) 2009-10-16 2009-10-16 抗振动大尺寸直径精密在线测量方法

Country Status (1)

Country Link
CN (1) CN101694371B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102069096A (zh) * 2010-11-04 2011-05-25 天津市核人仪器设备有限公司 使用ccd摄像头在线测量大口径无缝钢管外径的方法及装置
CN103575224A (zh) * 2012-07-20 2014-02-12 东北林业大学 双激光对称定位微波测量原木径级原理
CN104990509A (zh) * 2015-07-08 2015-10-21 华东交通大学 一种尺寸测量装置
CN105333829A (zh) * 2015-10-16 2016-02-17 绍兴市安雅信自动化技术有限公司 一种化纤卷绕丝卷直径检测方法
CN106323168A (zh) * 2016-08-30 2017-01-11 中航工业哈尔滨轴承有限公司 利用ogp光学测量仪测量圆弧切点的方法
CN106841233A (zh) * 2017-01-04 2017-06-13 苏州大学 一种根据视频图像动态检测生丝细度的装置和方法
CN107869957A (zh) * 2016-09-27 2018-04-03 宝山钢铁股份有限公司 一种基于成像系统的圆柱截面尺寸测量装置和方法
CN109060819A (zh) * 2018-07-06 2018-12-21 中国飞机强度研究所 一种振动部件裂纹测量中视场内误差修正方法
CN109974637A (zh) * 2017-12-27 2019-07-05 核动力运行研究所 一种高转速条件下高精度自匹配外形尺寸测量方法
CN114322801A (zh) * 2021-12-17 2022-04-12 东风设备制造有限公司 一种基于平行双目机器视觉的轴类零件轴径测量方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102069096A (zh) * 2010-11-04 2011-05-25 天津市核人仪器设备有限公司 使用ccd摄像头在线测量大口径无缝钢管外径的方法及装置
CN103575224A (zh) * 2012-07-20 2014-02-12 东北林业大学 双激光对称定位微波测量原木径级原理
CN104990509B (zh) * 2015-07-08 2019-03-01 华东交通大学 一种尺寸测量装置
CN104990509A (zh) * 2015-07-08 2015-10-21 华东交通大学 一种尺寸测量装置
CN105333829A (zh) * 2015-10-16 2016-02-17 绍兴市安雅信自动化技术有限公司 一种化纤卷绕丝卷直径检测方法
CN106323168B (zh) * 2016-08-30 2018-10-02 中航工业哈尔滨轴承有限公司 利用ogp光学测量仪测量圆弧切点的方法
CN106323168A (zh) * 2016-08-30 2017-01-11 中航工业哈尔滨轴承有限公司 利用ogp光学测量仪测量圆弧切点的方法
CN107869957A (zh) * 2016-09-27 2018-04-03 宝山钢铁股份有限公司 一种基于成像系统的圆柱截面尺寸测量装置和方法
CN106841233A (zh) * 2017-01-04 2017-06-13 苏州大学 一种根据视频图像动态检测生丝细度的装置和方法
CN106841233B (zh) * 2017-01-04 2019-08-06 苏州大学 一种根据视频图像动态检测生丝细度的装置和方法
CN109974637A (zh) * 2017-12-27 2019-07-05 核动力运行研究所 一种高转速条件下高精度自匹配外形尺寸测量方法
CN109060819A (zh) * 2018-07-06 2018-12-21 中国飞机强度研究所 一种振动部件裂纹测量中视场内误差修正方法
CN109060819B (zh) * 2018-07-06 2021-03-30 中国飞机强度研究所 一种振动部件裂纹测量中视场内误差修正方法
CN114322801A (zh) * 2021-12-17 2022-04-12 东风设备制造有限公司 一种基于平行双目机器视觉的轴类零件轴径测量方法
CN114322801B (zh) * 2021-12-17 2024-01-05 东风设备制造有限公司 一种基于平行双目机器视觉的轴类零件轴径测量方法

Also Published As

Publication number Publication date
CN101694371B (zh) 2011-03-16

Similar Documents

Publication Publication Date Title
CN101694371B (zh) 抗振动大尺寸直径精密在线测量方法
CN103471531A (zh) 轴类零件直线度在线非接触测量方法
JP7259111B2 (ja) 物体の少なくとも1つの寸法を測定する方法
CN1595054A (zh) 双目线结构光传感器一致性精确标定方法及其实施装置
KR20090091218A (ko) 측정장치 및 측정방법
CN102589428B (zh) 基于非对称入射的样品轴向位置跟踪校正的方法和装置
CN102519400A (zh) 基于机器视觉的大长径比轴类零件直线度误差检测方法
CN103017684A (zh) 同轴光检测柱孔圆度和直线度的装置及方法
CN110411346A (zh) 一种非球面熔石英元件表面微缺陷快速定位方法
CN102393255B (zh) 可解决小视场镜头波像差检测中光轴偏斜问题的系统及方法
CN104316002B (zh) 激光跟踪仪光轴与机械转轴平移量的检测装置和方法
CN106403838A (zh) 一种手持式线结构光视觉三维扫描仪的现场标定方法
CN101509759A (zh) 用于视觉检测系统的自标定系统及方法
CN116105638A (zh) 一种u型转台同轴度检测系统及检测方法
CN110702036B (zh) 一种复光束角度传感器及小型非球面形貌检测方法
CN106092008A (zh) 高精度复合式测量机的坐标统一标定器及标定方法
US11774233B2 (en) Method and system for measuring geometric parameters of through holes
CN115289997B (zh) 一种双目相机三维轮廓扫描仪及其使用方法
CN109596064B (zh) 双目共焦立体视觉扫描振镜位置误差矫正装置和方法
JP2007183181A (ja) 3次元形状測定装置
CN105758339A (zh) 基于几何误差修正技术的光轴与物面垂直度检测方法
CN115451821A (zh) 电缆绝缘层结构尺寸测试仪校准方法及标准样板
KR102435984B1 (ko) 작동 시야 분할 렌즈 시스템
CN112964671A (zh) 一种透明液体折射率的测量方法及其系统
KR101458890B1 (ko) 3차원 형상 측정장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110316

Termination date: 20111016