CN101806583B - 基于显微图像的纤维细度测量方法 - Google Patents

基于显微图像的纤维细度测量方法 Download PDF

Info

Publication number
CN101806583B
CN101806583B CN2010101175857A CN201010117585A CN101806583B CN 101806583 B CN101806583 B CN 101806583B CN 2010101175857 A CN2010101175857 A CN 2010101175857A CN 201010117585 A CN201010117585 A CN 201010117585A CN 101806583 B CN101806583 B CN 101806583B
Authority
CN
China
Prior art keywords
image
fiber
fineness
filtering
fibers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010101175857A
Other languages
English (en)
Other versions
CN101806583A (zh
Inventor
姚远
王家伟
胡庆夕
将云良
胡志敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yao Ying Mdt InfoTech Ltd
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN2010101175857A priority Critical patent/CN101806583B/zh
Publication of CN101806583A publication Critical patent/CN101806583A/zh
Application granted granted Critical
Publication of CN101806583B publication Critical patent/CN101806583B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于显微图像的纤维细度测量方法,本方法从显微图像中提取多个独立的纤维目标,并计算其细度。方法具体如下:首先,从CMOS或CCD图像采集器件的生物显微镜视场中摄取纤维切片图像;然后从可能带有气泡或杂质的图像背景中分离出多个独立的纤维目标,这个过程中应用多种差分滤波、中值滤波及其它滤波器的组合降低杂质和不同光照条件的影响;接着利用Fast Marching算法在分割图像中定位所有纤维;最后进行纤维细度计算,完成针对所有纤维细度的测量。本发明与已有的技术相比,能避免不同采集设备和光照环境对分割算法产生影响,提高纤维细度测量过程的稳定性和测量结果的准确率。

Description

基于显微图像的纤维细度测量方法
技术领域:
本专利涉及的一种纤维细度测量方法,特别是一种基于显微图像的纤维细度测量方法,属于图像处理和模式识别领域。
背景技术:
纤维细度评定质量的最重要参数,传统方法包括人工检测、气流法、显微投影法等在生产过程中总结的方法。其中,参照国际标准ISO137-85制定的《羊毛纤维直径测试方法投影显微镜法》(GB 10685-89)和参照美国AATCC-20A-1995制定的《麻棉混纺产品定量分析方法纤维投影法《(FZ/T 30003-2000)是两个主要的测量标准。这两种标准中均使用显微投影仪在放大500倍的条件下对每片载玻片上的纤维(超过100根)进行测量。显微镜法和投影仪法都存在着劳动强度大、效率低的问题,一个样品的测量操作就要集中精力在显微镜下进行数百上千次的对准/记数操作,这种单调的大规模重复劳动极易引起眼部疲劳,由此引发的低效率及人为误差等问题也就在所难免。另外,随着纺织行业的发展,带来了检验标准化的问题,统一的检测手续和统一的测量标准。最后,越来越多的测量工作需要在车间现场完成,这对识别算法在变化光照条件下识别的稳定性也提出要求,这些都是传统方法不能满足的。鉴于这种原因,基于计算机图像识别算法的细度测量技术越来越引起人们的重视。
迄今为止,已经出现了一些针对纤维自动化测量的软件和相关研究。从大量的文献检索和调研及试用中发现,这些系统和研究大多数集中于实验室条件下的测量,在算法上主要采用固定阈值、直方图阈值或基于熵的分割方法处理灰度图像,然后采用数学形态法进行分割和提取边界。行业普遍应用的一个典型的产品是瑞士Uster公司的OFDA,它在频闪光源下采集纤维图像,传入系统完成自动测量。其它一些特殊的图像处理方法,包括Hilditc边界细化法、或在特征提取的基础上采用神经网络识别的方法,也都被陆续的提出。但是这些方法得实际应用尚未成熟,而且大多数方法需要在测量过程中引入手工辅助操作。另外,几乎所有方法的预处理过程都受限于测试的样本特性和所处于的光照环境,这使软件系统在实际的实用中需要额外的设备支撑,不利于实现便携式和工业现场的应用。因此,在纤维自动测量的准确性、适应性和稳定性方面都有待于改进。
发明内容:
本发明针对于现有纤维识别和纤维细度测量技术的不足,提供一种基于显微图像的纤维细度测量方法,能避免不同采集设备和光照环境对分割算法产生影响,提高纤维细度测量过程的稳定性和测量结果的准确率。
为达到上述目的,本发明的构思是:本发明是在自动测量显微图像中纤维细度方面具有明显的进步,图像可来源于CCD或CMOS图像捕获设备,通过一组滤波器处理和使用特征约束的Fast Marching自动识别算法,使纤维识别、定位过程和细度计算结果在一定程度上不受光照环境变化的影响。与现有的相应技术相比,该技术提高了变光照环境下的识别稳定性,适应于CCD和CMOS图像采集设备,优化了算法实现的速度,并满足准确率的要求。
根据上述发明构思,本发明采用下述技术方案:
一种基于显微图像的纤维细度测量方法,其特征在于从带有气泡或杂质的显微图像中提取多个独立的纤维目标,并完成针对所有纤维的细度测量;具体测量过程包括以下4个步骤:
①图像采集:从装配有CCD和CMOS目镜的显微镜视场中摄取纤维切片;
②图像分割:对摄取的图像进行分割,从带有气泡和杂质的背景中分离出所有目标纤维;
③纤维定位:在分割图像的基础上完成对图像中所有纤维个体的识别与定位;
④纤维细度计算:计算所有被定位纤维的细度,并输出结果。
上述的图像采集是图像采集设备兼容CCD和CMOS传感器,在更换设备的情况下,后续算法步骤能够适应图像采集设备和采集环境导致的亮度变化,因此,当两种类型的目镜切换或外部光照环境在一定范围内变化时,不必人工调整算法参数;
上述的图像分割是针对输入图像进行预处理和图像分割,从带有气泡和杂质的背景中分离出所有目标纤维。具体步骤进一步说明如下:
A.将采集图像转换为灰度图像,使用半径尺寸d=10的滤波窗口,先后执行中值滤波I=M(I[Wi])+M(I[Wi+1]-I[Wi])和两次差分滤波I=F1(I[r]-I[r-d]),I=F2(I[r]-I[r-d]),其中I表示被操作图像的像素集合,M代表中值函数,W表示滤波窗口;I[Wi+1]和I[Wi]分别表达图像中两个相邻窗口的像素集合。r表示当前处理的像素图像行数索引。F1和F2分别表示低通均匀滤波函数和单阈值滤波函数。图像上的滤波操作顺序均为从左到右,从上至下。这一步将突出图像的特征,并去除背景中微小的杂质;
B.进行低值滤波操作I=Min(I[Wi]),其中Min表示低值滤波函数,I[Wi]表示当前操作滤波窗口中的像素集合。为避删除图像中表达目标物体的有效区域,本步骤所用滤波窗口尺寸d为上一步滤波窗口大小的1/2。大部分的前景在这一步都可以被有效的分离出来;
C.根据上个步骤中采用的滤波窗口尺寸进行差分滤波。分别采用I=F3(I),I=F4(I),I=F5(I)三个固定函数对图像像素进行变换。其中I表示被操作的图像像素集合,F3,F4和F5分别表示低通均匀滤波、高通均匀滤波和图像翻转3个函数操作。这个步骤进一步去除图像中的杂质,将背景和目标完全分离。
算法在实现中按照从上至下的顺序,利用行缓冲将上述3个步骤的滤波操作合并到一个循环中完成,同时缓存列间运算中的直方图统计中间结果,根据操作窗口的移动,逐列进行增减运算,避免在整个滤波窗口内反复统计直方图。
上述的自动纤维定位是以分割算法的中间结果为输入,针对图像每个像素数据生成离散网格方阵。选取位于图像背景中一个点,以此点为圆心,在生成的圆周轮廓上搜索是否存在8个与纤维相交的特征点。如否,则确定位于纤维轮廓之外,则以此点所在网格为初始点。搜索圆形路径的半径由纤维轮廓特征模板设置的纤维宽度最大阈值和放大倍率的乘积确定。设置初始点时间T(i0,j0)=0,其它网格T(i,j)=∝。其中i、j分别表示当前网格在整个方阵中的x、y坐标,i0、j0表达初始点坐标。从初始点出发,应用Fast Marching方法进行扩展,扩展速度为扩展锋面像素点与相邻像素差值的倒数;
上述的纤维细度计算是通过遍历图像中的所有轮廓,定位轮廓内部一点,在纤维轮廓特征模板设置和放大倍率的乘积确定的半径上搜索圆形路径,取相邻的两对穿出纤维和穿入纤维的特征点,分别得到两条直线。计算这两条直线间的垂直距离,此距离即为纤维的细度值。当遍历结束后,将返回一组纤维细度的测量值,即自动测量的结果。
本发明与现有技术相比较,具有如下显而易见的突出实质性特点和显著优点:本发明的图像来源于CCD或CMOS图像捕获设备,通过一组滤波器处理和使用特征约束的Fast Marching自动识别方法,使纤维识别,定位和细度计算结果在一定程度上不受光照环境变化的影响,提高纤维细度测量过程的稳定性和测量结果的准确性。
附图说明:
图1为基于显微图像的纤维自动测量方法流程框图;
图2为采集的羊毛纤维切片图像;
图3为图像分割结果示例;
图4为五个预定义的像素操作函数;
图5为纤维定位结果示例;
图6为实施软硬件配置图;
图7为纤维测量结果实例。
具体实施方式
本发明的优选实施例结合附图说明如下:
实施例一:参见图1,本基于显微图像的纤维细度测量方法,其特曾在于从有气泡或杂质的显微图像中提取多个独立的纤维目标,并完成针对所有纤维的细度测量;具体测量过程包括以下4个步骤:
①图像采集:从装配有CCD和CMOS目镜的显微镜视场中摄取纤维切片;
②图像分割:对摄取的图像进行分割,从带有气泡和杂质的背景中分离出所有目标纤维;
③纤维定位:在分割图像的基础上完成对图像中所有纤维个体的识别与定位;
④纤维细度计算:计算所有被定位纤维的细度,并输出结果。
实施例二:本实施例与实施例一基本相同,方法流程如图1。本实施例采用一个纤维细度测量系统(附图6)。该系统的硬件配置包括生物显微镜,带有CCD或CMOS图像采集装置的显微目镜,图像采集卡和计算机系统。系统的软件由图像采集模块,用户交互接口,算法支撑模块和纤维测量试验模块组成。本实施例的测量纤维细度的步骤如下:
1)图像采集:由用户通过人机接口提供的功能从显微视场中采集一幅含有羊毛纤维切片的图像(附图2);
2)图像分割:针对采集到的图像,由算法模块的图像分割过程从带有气泡和杂质的背景中分离出所有目标纤维。在此过程中,首先将图像转为灰度,然后根据滤波器尺寸扩展图像区域,利用从左至右,从上至下逐行处理输入图像,直至所有行处理结束。在每一行处理中先后执行中值滤波I=M(I[Wi])+M(I[Wi+1]-I[Wi])和两次差分滤波I=F1(I[r]-I[r-d]),I=F2(I[r]-I[r-d]),其中F1和F2分别表示低通均匀滤波函数和单阈值滤波函数(附图4)。接着算法进行低值滤波操作I=Min(I[Wi]),为避删除图像中表达目标物体的有效区域,本步所用滤波窗口尺寸为上一步滤波窗口大小的1/2。大部分的前景在这一步都可以被有效的分离出来。最后分别采用I=F3(I),I=F4(I),I=F5(I)三个固定函数(附图4)对图像像素进行变换。其中I表示被操作的图像像素集合,F3,F4和F5分别表示低通均匀滤波、高通均匀滤波和图像翻转3个函数操作(附图4)。最后输出分割后的图像(附图3)。
3)纤维定位:由用户点击自动测量按钮,算法模块中的自动纤维定位处理过程以上一步输出的分割图像作为输入,针对图像每个像素数据生成离散网格方阵。有算法过程选取位于图像背景中一个随机点,以此点为圆心,在生成的圆周轮廓上搜索是否存在8个与纤维相交的特征点。如存在这样的特征点,则在次生成一个新的点进行测试,如否,则确定位于纤维轮廓之外,则以此点所在网格为初始点。搜索圆形路径的半径由纤维轮廓特征模板设置的纤维宽度最大阈值和放大倍率的乘积确定。设置初始点时间T(i0,j0)=0,其它网格T(i,j)=∝。其中i、j分别表示当前网格在整个方阵中的x、y坐标,i0、j0表达初始点坐标。从初始点出发,应用Fast Marching方法进行扩展,扩展速度为扩展锋面像素点与相邻像素差值的倒数。扩展结束后,取扩展封面构成的封闭轮廓,根据模板设定的像素阈值去除包含像素过少的轮廓,得到4个羊毛纤维目标(附图5)。
4)纤维细度计算:算法模块中的自动计算过程根据上一步得到的4个目标,依次进行计算,分别得到羊毛纤维的细度值。这一步不需要用户交互,直接返回一组测量值(29.4μm,30.6μm,28.1μm,37.7μm)到系统中,并在界面上为用户显示测量结果示例(附图7)。系统根据试验种类,根据算法返回数据完成后续操作。
实施例的方法经过上述测量系统的实施,效果较好。多种滤波器的配合和基于FastMarching算法的引入,使提取纤维目标的有效性和稳定性有了很大的改观。此外由于优化了滤波器执行过程,所以在纤维识别速度方面也有一定的改善,能够满足实时交互的需求。

Claims (2)

1.一种基于显微图像的纤维细度测量方法,其特征在于从带有气泡和杂质的显微图像中提取多个独立的纤维目标,并完成针对所有纤维的细度测量;具体测量过程包括以下4个步骤:
(1)图像采集:从装配有CCD和CMOS目镜的显微镜视场中摄取纤维切片;
(2)图像分割:对摄取的图像进行分割,从带有气泡和杂质的背景中分离出所有目标纤维;
(3)纤维定位:在分割图像的基础上完成对图像中所有纤维个体的识别与定位;
(4)纤维细度计算:计算所有被定位纤维的细度,并输出结果;
所述的步骤(2)中的图像分割的具体步骤是:
2.1将采集图像转换为灰度图像,使用半径尺寸d=10的滤波窗口,先后执行中值滤波I=M(I[Wi])+M(I[Wi+1]-I[Wi])和两次差分滤波I=F1(I[r]-I[r-d]),I=F2(I[r]-I[r-d]),其中I表示被操作图像的像素集合,M代表中值函数,W表示滤波窗口;I[Wi+1]和I[Wi]分别表达图像中两个相邻窗口的像素集合,r表示当前处理像素在图像中的行索引,F1和F2分别表示低通均匀滤波函数和单阈值滤波两个像素操作函数,针对图像的滤波操作顺序均为从左到右,从上至下,这一步将突出图像的边缘特征,并初步去除背景中微小的杂质;
2.2进行低值滤波操作I=Min(I[Wi]),其中Min表示低值滤波函数,I[Wi]表示当前操作滤波窗口中的像素集合;为尽量避免删除图像中表达目标物体的有效区域,本步骤所用滤波窗口尺寸d设定为上一步滤波窗口大小的1/2;大部分的前景在这一步都可以被有效的分离出来;
2.3根据步骤2.2中采用的滤波窗口尺寸进行差分滤波,分别采用I=F3(I),I=F4(I),I=F5(I)三个固定函数对图像像素进行变换,其中I表示被操作的图像像素集合,F3,F4和F5分别表示低通均匀滤波、高通均匀滤波和图像翻转3个像素操作函数;这个步骤进一步去除了图像中的杂质,将背景和目标完全分离;
所述的步骤(3)中的纤维定位的操作是以所述步骤(2)的图像分割结果为基础,针对图像每个像素数据生成离散网格方阵;选取位于图像背景中一个点,以此点为圆心,在生成的圆周轮廓上搜索是否存在8个与纤维相交的特征点,如存在这样的特征点,则再次生成一个新的点进行测试,如否,则确定位于纤维轮廓之外,则以此点所在网格为初始点;搜索圆形路径的半径由纤维轮廓特征模板设置的纤维宽度最大阈值和放大倍率的乘积确定,设置初始点时间T(i0,j0)=0,其它网格T(i,j)=∝;其中i、j分别表示当前网格在整个方阵中的x、y坐标,i0、j0表达初始点坐标;从初始点出发,应用Fast Marching方法进行扩展,扩展速度为扩展锋面像素点与相邻像素差值的倒数。
2.根据权利要求1所述的基于显微图像的纤维细度测量方法,其特征在于,所述的步骤(4)的纤维细度计算是遍历图像中的所有轮廓,定位轮廓内部一点,在圆形轮廓中搜索,取相邻的两对穿出纤维和穿入纤维的特征点,分别得到两条直线,计算这两条直线间的垂直距离,此距离即为纤维的细度值;当遍历结束后,将返回一组纤维细度的测量值,即纤维细度测量的结果。
CN2010101175857A 2010-03-04 2010-03-04 基于显微图像的纤维细度测量方法 Expired - Fee Related CN101806583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010101175857A CN101806583B (zh) 2010-03-04 2010-03-04 基于显微图像的纤维细度测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010101175857A CN101806583B (zh) 2010-03-04 2010-03-04 基于显微图像的纤维细度测量方法

Publications (2)

Publication Number Publication Date
CN101806583A CN101806583A (zh) 2010-08-18
CN101806583B true CN101806583B (zh) 2012-03-28

Family

ID=42608474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101175857A Expired - Fee Related CN101806583B (zh) 2010-03-04 2010-03-04 基于显微图像的纤维细度测量方法

Country Status (1)

Country Link
CN (1) CN101806583B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101963491B (zh) * 2010-09-10 2012-10-31 珠海华伦造纸科技有限公司 造纸纤维图像测量方法
CN102359762B (zh) * 2011-06-20 2013-04-03 东华大学 利用计算机图像处理技术检测熔喷超细纤维主体直径方法
CN103115576B (zh) * 2011-11-16 2015-08-12 上海罗洋新材料科技有限公司 一种异型横截面纤维当量直径测试方法
CN102901731A (zh) * 2012-10-31 2013-01-30 江南大学 一种非织造布纤维取向分布测量方法
CN102901732A (zh) * 2012-10-31 2013-01-30 江南大学 一种基于dsp的织物放大图像采集和处理方法
CN103591898B (zh) * 2013-11-07 2016-04-06 长安大学 改性沥青中sbs改性剂溶胀直径均值的测试方法
CN103673923B (zh) * 2013-12-25 2017-02-15 裘钧 基于数字图像处理的曲线纤维网络结构形貌特征测量方法
CN107190621B (zh) * 2016-03-15 2023-01-10 南京理工技术转移中心有限公司 一种路面裂缝病害检测系统和方法
WO2017165191A2 (en) * 2016-03-23 2017-09-28 The Procter & Gamble Company Imaging method for determining stray fibers
CN106093039A (zh) * 2016-04-21 2016-11-09 新疆天通兴业农牧科技有限公司 一种无前处理毛绒快速检测技术
CN106023172A (zh) * 2016-05-13 2016-10-12 大连理工大学 一种实现大脑白质快速分割和纤维簇数据分析的方法
CN108362609B (zh) * 2018-03-07 2019-07-12 安徽财经大学 一种棉纤维多项细度指标测量方法
CN110838113B (zh) * 2019-11-08 2022-03-04 南京大学金陵学院 一种对复丝合成中单丝计数和单丝粗细一致性的检测方法
CN113362351A (zh) * 2020-03-05 2021-09-07 阿里巴巴集团控股有限公司 一种图像处理方法、装置、电子设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1936499A (zh) * 2006-10-18 2007-03-28 东华大学 一种聚合物挤出法非织造布纤维直径测量方法及系统
CN101354240A (zh) * 2008-07-15 2009-01-28 南京航空航天大学 基于显微光学的微纳米级纤维高精度测量系统
CN101477062A (zh) * 2008-12-23 2009-07-08 南京工业大学 橡胶基材料中短纤维细观结构参数的识别方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7668356B2 (en) * 2005-08-03 2010-02-23 Siemens Medical Solutions Usa, Inc. Automatic determination of joint space width from hand radiographs

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1936499A (zh) * 2006-10-18 2007-03-28 东华大学 一种聚合物挤出法非织造布纤维直径测量方法及系统
CN101354240A (zh) * 2008-07-15 2009-01-28 南京航空航天大学 基于显微光学的微纳米级纤维高精度测量系统
CN101477062A (zh) * 2008-12-23 2009-07-08 南京工业大学 橡胶基材料中短纤维细观结构参数的识别方法及装置

Also Published As

Publication number Publication date
CN101806583A (zh) 2010-08-18

Similar Documents

Publication Publication Date Title
CN101806583B (zh) 基于显微图像的纤维细度测量方法
CN102915432A (zh) 一种车载微机图像视频数据提取方法及装置
CN100406849C (zh) 一种聚合物挤出法非织造布纤维直径测量方法及系统
CN108765402B (zh) 无纺布缺陷检测与分类方法
CN104237121B (zh) 一种精子活力性能检测方法
CN101424680A (zh) 异形纤维计算机自动识别装置与方法
CN108961251A (zh) 一种原棉疵点及杂质检测与识别方法及系统
CN102096827A (zh) 一种基于尺度不变和向量机分类的异形纤维自动识别方法
CN103345617A (zh) 中药识别的方法及其系统
CN102175692A (zh) 织物坯布疵点快速检测系统及方法
CN102592286A (zh) 一种基于图像处理的色织物配色模纹图自动识别方法
CN113252568A (zh) 基于机器视觉的镜片表面缺陷检测方法、系统、产品、终端
CN104101294A (zh) 分析装置、分析程序以及分析系统
CN110501741A (zh) 一种有效信号检测方法及系统
CN101477062A (zh) 橡胶基材料中短纤维细观结构参数的识别方法及装置
CN106780464A (zh) 一种基于改进阈值分割的织物疵点检测方法
CN110648312A (zh) 一种基于鳞片形态特征分析的羊毛与羊绒纤维识别方法
CN110335233A (zh) 基于图像处理技术的高速公路护栏板缺陷检测系统和方法
CN107843593A (zh) 一种基于高光谱成像技术的纺织品材料识别方法及系统
CN102288608A (zh) 一种新的机织物密度自动检测方法
CN202815869U (zh) 一种车载微机图像视频数据提取装置
CN109816627A (zh) 平面玻璃元件油墨区弱小缺陷目标检测方法
CN116434206A (zh) 一种基于机器视觉技术的棉花质量性状检测方法
CN102359762B (zh) 利用计算机图像处理技术检测熔喷超细纤维主体直径方法
CN103679726A (zh) 一种提高岩屑图像成像质量的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160603

Address after: 201101 Shanghai city Minhang District Gu Dai Road B howin Plaza No. 3008 room 510

Patentee after: Shanghai Yao Ying Mdt InfoTech Ltd

Address before: 200444 Baoshan District Road, Shanghai, No. 99

Patentee before: Shanghai University

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120328

Termination date: 20170304