CN101312495A - 影像快速自动对位的自动光学系统及其使用方法 - Google Patents

影像快速自动对位的自动光学系统及其使用方法 Download PDF

Info

Publication number
CN101312495A
CN101312495A CNA2007101072416A CN200710107241A CN101312495A CN 101312495 A CN101312495 A CN 101312495A CN A2007101072416 A CNA2007101072416 A CN A2007101072416A CN 200710107241 A CN200710107241 A CN 200710107241A CN 101312495 A CN101312495 A CN 101312495A
Authority
CN
China
Prior art keywords
image
sigma
measured
point
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101072416A
Other languages
English (en)
Other versions
CN100588229C (zh
Inventor
林宸生
张书绮
刘硕茸
吴国彰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Feng Chia University
Original Assignee
Feng Chia University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Feng Chia University filed Critical Feng Chia University
Priority to CN200710107241A priority Critical patent/CN100588229C/zh
Publication of CN101312495A publication Critical patent/CN101312495A/zh
Application granted granted Critical
Publication of CN100588229C publication Critical patent/CN100588229C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

一种影像快速自动对位的自动光学系统及其使用方法,其设一中央处理器-可程序逻辑控制器在自动对位过程中,比对一目标影像与一待测影像,将待测影像进行线性回归计算后的直线方程式与取样点比较,去除与直线方程式距离超过一阀值的取样点,以剩余的取样点计算二次线性回归直线方程式,得到校正后的基准线;再将与基准线互相垂直/平行的其余边线,朝基准线作九十度旋转、一百八十度映射/平移,以进行取样点补偿运算;并将此点群组进行第三次线性回归得到补偿后的边线,以求出更精准的待测影像的定位中心;达到对位效率佳、具有校正补偿机制,以及适用于各种对位影像等功效。

Description

影像快速自动对位的自动光学系统及其使用方法
技术领域
本发明涉及一种影像快速自动对位的自动光学系统及其使用方法,其兼顾对位效率佳、具有校正补偿机制,以及适用于各种对位影像等优点。
背景技术
传统应用于自动化生产在线的对位系统,至少有以下数种:
1、使用灰度累积法对环形、矩形标志定位。如图1所示,此系统为Epson STN-LCD生产线的对准系统,使用的定位标志为环形与点标志,是利用二值化后的影像进行灰阶亮度累积统计,计算出标志影像中心坐标;其中心点计算方式为先将影像二值化后,分别对X、Y方向做灰阶亮度统计,找出标志位置,再套入几何关系取得对准信息;
此一方式由于是对影像作累积统计,故若标志影像间相互交错迭合时,即无法应用,因此在定位过程中无法做位置回授监控,容易出错。
2、使用交叉相关系数标志定位法。台大Mu-Hsing Wu于2000年对LCD检测系统中的彩色滤光片缺陷检测这个步骤提出应用交叉相关系数法则(Cross Correlation)进行标志定位,进而与系统影像进行匹配比对;其采用十字样版做位置与角度校正(如图2所示),此法需先取得此标志偏转角度,以得到彩色滤光片偏转角度,再找出图2中标示的θ角,将其带入下述公式:
x ′ y ′ = cos θ - sin θ sin θ cos θ ;
以进行补偿影像误差与偏移量,将影像调整回来;
至于其角度补偿步骤是先使用正常化交叉相关系数(NormalizedCross Correlation)对整张影像进行计算,求出相关系数(CorrelationCoefficient),以找出矩形区域上部两角落(如图3所示),再圈选出上矩形边界区块,针对此区块进行线性回归法,求得边界线段信息,以求得此标志偏转角度,但是,其过程相当复杂。
3、使用重心法。传统运用于十字定位的“重心法”,是将撷取到的标志影像其所有X方向坐标与Y方向坐标分别累加后进行平均动作;如图4所示,此影像中心点坐标 ( X c , Y c ) = ( Σ i = 1 m x i m , Σ i = 1 m y i m ) , 其中m为标志的总像素,xi、yi分别为各像素的X、Y坐标值;
由于运用重心法求取影像中心时,此影像需十分的完整与对称,如此求取出的标志中心才精准,但因摄影机镜头的良莠不齐、摆设角度偏移,或是摄影机撷取的影像不完整,均会使计算结果产生误差;以镜头质量为例,若镜头有像差的现象,如畸变等,使得撷取的影像产生扭曲变形,再加上摄影机未以平行正中位置取像,导致影像偏移,扭曲量不平均,则以重心法求取标志中心会导致计算的结果产生误差。
因此,有必要研发出可解决上述现有装置问题的新技术。
发明内容
本发明所要解决的主要技术问题在于,克服现有技术存在的上述缺陷,而提供一种影像快速自动对位的自动光学系统及其使用方法,其对位效率佳,具有校正补偿机制,且适用于各种对位影像。
本发明解决其技术问题所采用的技术方案是:
本发明提供一种影像快速自动对位的自动光学系统,是至少包括一可程序逻辑控制器、一中央处理器-可程序逻辑控制器、一异方性导电胶贴附装置、一异方性导电胶剥除装置、一加热装置、一加压装置、一内部程序通讯模块、一压力检测装置通讯模块以及一感光耦合组件影像控制定位装置,其设有至少两个感光耦合组件摄影机;
借此,该感光耦合组件摄影机撷取一目标样板及位于该目标样板上的目标影像,先设定该目标样板的预定忽略灰阶值及其分布范围,再设定该目标样板的预定的特征权重矩阵;之后对此系统加载一待测样板及位于其上的待测影像;以该中央处理器-可程序逻辑控制器比对该目标影像与该待测影像,依计算该待测样板及该待测影像的区域灰阶值所得数值,自动调整该目标样板及该目标影像的亮度及对比度,使其接近该待测样板及待测影像的预定值,并将进行线性回归计算后取得的待测样板的直线方程式与取样点比较判断,去除与直线方程式距离超过一预设阀值的取样点,当所有取样点均判断完毕,再以剩余的取样点计算二次线性回归直线方程式,得到校正后的基准线;
将与该基准线互相垂直/平行的其余边线,分别朝该基准线作九十度旋转、一百八十度映射/平移,对该基准线进行取样点补偿运算;使原始点群组总个数k’变成k’=k+i,增加取样点数,并将此点群组进行第三次线性回归计算,求得补偿后的待测影像的边线;进而求出更精准的待测影像的定位中心;达到于该待测样板上比对得到吻合的目标样板;
最后以该异方性导电胶贴附装置、该异方性导电胶剥除装置、该加热装置及该加压装置相互配合,将该目标样板与待测样板相互加热加压接合成品。
其使用方法包括下列步骤:
一.准备步骤;
二.载入步骤;
三.调整步骤;
四.校正补偿比对步骤;以及
五.完成步骤。
本发明的有益效果是,其对位效率佳,具有校正补偿机制,且适用于各种对位影像。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是现有对位系统的标志对位法的垂直与水平灰阶亮度统计的示意图
图2是现有对位系统应用交叉相关(Cross Correlation)计算标志偏移量的示意图
图3是现有对位系统应用相关系数(Correlation Coefficient)找出矩形影像的两角落点与框选出边界的示意图
图4是现有对位系统以重心法求取中点的示意图
图5是本发明的流程示意图
图6是本发明的自动对位过程的示意图
图7、图8及图9是本发明的以线性回归法求十字影像、圆形影像的中心的过程示意图
图10及图11是本发明的以线性回归法求四角影像、环形影像的中心的过程示意图
图12是本发明的以线性回归法求矩形影像的中心的过程示意图
图13是本发明的水平点群组P3k进行线性回归的示意图
图14是本发明的垂直点群组P1i进行线性回归的示意图
图15是本发明的校正机制的示意图
图16是本发明的十字、圆形影像进行线性回归误差校正的示意图
图17是本发明的四角、环形影像进行线性回归误差校正的示意图
图18是本发明的矩形影像进行线性回归误差校正的示意图
图19是本发明的以十字、四角或矩形影像为例进行线性回归误差校正的各线段相互垂直的示意图
图20是本发明的以十字、圆形影像进行补偿过程的示意图
图21是本发明的以十字、圆形影像进行补偿后的示意图
图22是本发明的以四角、环形影像进行补偿过程的示意图
图23是本发明的以四角、环形影像进行补偿后的示意图
图24是本发明的以矩形影像进行补偿过程的示意图
图25是本发明的以矩形影像进行补偿后的示意图
图26是本发明的比对搜寻时间纪录表
图27是本发明的改良型样板比对搜寻时间统计图
图28是本发明的系统的基本架构的示意图
图29是图28的部分结构的放大示意图
图中标号说明:
11准备步骤     12载入步骤
13调整步骤     14校正补偿比对步骤
15完成步骤     16组合步骤
21可程序逻辑控制器
22中央处理器-可程序逻辑控制器
23异方性导电胶贴附装置
24异方性导电胶剥除装置
25加热装置          26加压装置
27内部程序通讯模块  28压力检测装置通讯模块
29感光耦合组件影像控制定位装置
291感光耦合组件摄影机   91目标样板
911目标影像             92待测样板
921待测影像             S1、S2、S3、S4角落点
Z1、Z2、Z3、Z4扫瞄区块
L1、L1’、L2、L2’、L3、L3’、L4、L4’线段
具体实施方式
本发明为一种『影像快速自动对位的自动光学系统及其使用方法』,有关其使用方法部分(如图2及图6所示),包括下列步骤:
一.准备步骤11:预先准备一目标样板91(如图28及图29所示),该目标样板91上具有至少一个目标影像911,将该目标样板91定义为Ti,j,k(p,q),其大小为PQ,1≤i≤3,1≤p≤P,1≤q≤Q,并设定该目标样板91的预定忽略灰阶值及其分布范围;再设定该目标样板91的预定的特征权重矩阵;
设一感光耦合组件(Charge Coupled Device,简称CCD)影像控制定位装置21撷取该目标样板91,并传入一中央处理器-可程序逻辑控制器(Central Processing Unit-Programmable Logic Controller,简称CPU-PLC)22内,由其内建程序对该目标样板91及该目标影像911进行扫描(如图7所示);
二.载入步骤12:加载一预定的待测样板92,并将该待测样板92定义为Ii(x,y),大小为MN,1≤i≤3,该待测样板92对应该目标影像911而具有一待测影像921;
三.调整步骤13:依计算该待测影像921的区域灰阶值所得数值,自动调整该目标影像911的亮度及对比度至接近该待测影像921的预定值,以线性回归法取得该待测影像921的边线,再由边线求出该待测影像921的中心;
四.校正补偿比对步骤14:由该中央处理器-可程序逻辑控制器22比对该目标影像911与该待测影像921,将该待测影像921以线性回归法求得的基准线中,其偏差量超过一预定阀值的误差点删除,并进行二次线性回归而得到校正后的基准线(参考图22),将该待测影像921的其余边线分别朝该基准线作九十度旋转、一百八十度映射/平移,进行取样点补偿运算;使原始点群组总个数k’变成k’=k+i,增加取样点数,并将此点群组进行第三次线性回归后,求得补偿后更精准的待测影像的边线;进而求出更精准的待测影像921的定位中心;
五.完成步骤15:于该待测影像921上比对得到吻合的目标影像911。
如此为本发明的影像快速自动对位的自动光学系统的使用方法。
该目标样板91是选自导电玻璃、薄膜晶体管(ThinFilmTransistor,简称TFT)、异方性导电胶膜(Anisotropic Conductive Film,简称ACF)其中的一种。
该待测样板92是选自异方性导电胶膜(Anisotropic ConductiveFilm,简称ACF)、薄膜晶体管(ThinFilmTransistor,简称TFT)、导电玻璃其中之一。
当然,若将本发明实施于TFT与ACF组合制程,则于该完成步骤15后,又可以再包括:
六.组合步骤16:将一异方性导电胶的一面贴附于一导电玻璃上(氧化铟锡,英文为indium tin oxide,简称ITO);再将该异方性导电胶另一面的保护膜剥除;然后将一集成电路(integrated circuit,简称IC)对准玻璃基板的氧化铟锡导电金属层;并进行加热、加压完成构装接合。
实际上,在该调整步骤13中,当该感光耦合组件影像控制定位装置29撷取该目标样板91,并传入一中央处理器-可程序逻辑控制器22后,其内建程序对该目标影像911扫描出四个角落点S1、S2、S3、S4(如图7所示,假设为目标影像911为十字标志),视为该目标影像911的边界点,对此目标影像911分别进行垂直扫描及水平扫瞄;分别找出该垂直线中心点坐标群组P1i(xi,yi),以及水平线中心点坐标群组P3k(xk,yk),其中,i为所有垂直线中心点总个数,k为所有水平线中心点总个数;
该中央处理器-可程序逻辑控制器22的内建程序会分别对垂直线中心点坐标群组P1i(xi,yi),以及水平线中心点坐标群组P3k(xk,yk)进行线性回归计算(如图8所示),如此对该中心点群组P1i(xi,yi)计算出一线段L1,并对该中心点群组P3k(xk,yk)计算出一线段L3,此线段L1及线段L3分别代表该目标影像911(十字标志)的水平与垂直方向中心线,中心线交点即为此目标影像911的中心点(Xc,Yc),由L1、L3的线性方程式可知目标影像(也可以讲是十字影像)911偏转量,如此即可对此十字影像(如图7及图8所示)或圆形影像(如图9所示)进行定位动作,亦即,只需取得该目标影像911的中心线数值即可进行定位。
在该校正补偿比对步骤14中:若该目标影像911(假设为十字影像)有部分被遮挡、覆盖,取样不全,导致线性回归法求得的中心线(不论水平线或垂直线)产生误差,则改以四角影像的目标影像911让该中央处理器-可程序逻辑控制器22的内建程序先扫描出四个角落点S1、S2、S3及S4(如图10所示),以该四角落点S1、S2、S3及S4为基准,订出四个扫瞄区块Z1、Z2、Z3及Z4,再让程序分别对四个扫描区块Z1、Z2、Z3及Z4找寻出线段中心点,取得四个中心点群组P1i(xi,yi)、P2j(xj,yj)、P3k(xk,yk)、P4z(xz,yz),其中i为Z1区域内所有取样点总个数,j为Z2区域内所有取样点总个数,k为Z3区域内所有取样点总个数,z为Z4区域内所有取样点总个数。
之后由程序分别对四个中心点群组P1i(xi,yi)、P2j(xj,yj)、P3k(xk,yk)、P4z(xz,yz)进行线性回归计算;对该中心点群组P1i可计算线段L1、对该中心点群组P2j可计算出线段L2、对该中心点群组P3k可计算出线段L3、对该中心点群组P4z可计算出线段L4,而这四条线段分别代表四角落中心线,即为该四角影像(如图10所示)或环形影像(如图11所示)的中心线交点(Xc,Yc);若此影像有所残缺,则可以阀值将其滤除,由剩余的中心线进行中心点求取计算。
参阅图12,是该目标影像911为矩形影像的实施例;同样的,当该感光耦合组件影像控制定位装置29将目标影像911(矩形影像)撷取至该中央处理器-可程序逻辑控制器22后,其内建程序先搜寻出矩形影像的四个角落点S1、S2、S3、S4;以此四点为基准并根据程序预设阀值,由各扫描区块Z1、Z2、Z3与Z4内构成各边线的点,可得四个点群组P1i(xi,yi)、P2j(xj,yj)、P3k(xk,yk)、P4z(xz,yz),其中i、j、k与z分别为Z1、Z2、Z3与Z4各扫描区块内所有边点总个数,接着程序再针对四个中心点群组分别进行线性回归计算,如此对该中心点群组P1i(xi,yi)线性回归求得线段L1,对点群组P2j(xj,yj)线性回归求得线段L2,对点群组P3k(xk,yk)线性回归求得线段L3,对点群组P4z(xz,yz)线性回归求得线段L4
当程序取得矩形影像四边方程式后,即可计算出此矩形影像的中心坐标位置,并进一步得知矩形影像的偏转角度。
关于计算水平线的线性回归部分,可将上述各水平方向的中心点群组内的点信息P3k(xk,yk)、P4z(xz,yz)代入下式:
a = ( Σ y i ) ( Σ x i 2 ) - ( Σ x i ) ( Σ x i y i ) m ( Σ x i 2 ) - ( Σ x i ) 2 b = m ( Σ x i y i ) - ( Σ x i ) ( Σ y i ) m ( Σ x i 2 ) - ( Σ x i ) 2 ;
以线段L3为P3k求得如图13所示的线段,L3直线方程式应为 y ~ 3 = a 3 + b 3 x 3 k ;
将式: S = Σ i = 1 m ( y i - y ~ ) 2 修改为: S = Σ m = 1 k ( y 3 m - y ~ 3 ) 2 ;
y ~ 3 = a 3 + b 3 x 3 k 代入上式;
得: S = Σ m = 1 k ( y 3 m - ( a 3 + b 3 x 3 m ) ) 2 ;
将S对a3,b3微分并令为零,求a3,b3值:
∂ S ∂ a 3 = Σ m = 1 k 2 ( y 3 k - ( a 3 + b 3 x 3 k ) ) ( - 1 ) = 0 ∂ S ∂ b 3 = Σ m = 1 k 2 ( y 3 k - ( a 3 + b 3 x 3 k ) ) ( - x 3 k ) = 0 ;
整理后得: ka 3 + b 3 Σ m = 1 k x 3 k = Σ m = 1 k y 3 k a 3 Σ m = 1 k x 3 k + b 3 Σ m = 1 k x 3 k 2 = Σ m = 1 k x 3 k y 3 k ;
亦即, a 3 = ( Σ m = 1 k y 3 k ) ( Σ m = 1 k x 3 k 2 ) - ( Σ m = 1 k x 3 k ) ( Σ m = 1 k x 3 k y 3 k ) k ( Σ m = 1 k x 3 k 2 ) - ( Σ m = 1 k x 3 k ) 2 b 3 = k ( Σ m = 1 k x 3 k y 3 k ) - ( Σ m = 1 k x 3 k ) ( Σ m = 1 k y 3 k ) k ( Σ m = 1 k x 3 k 2 ) - ( Σ m = 1 k x 3 k ) 2 ;
进一步可将上式推广至每条线段均可套用的公式如下:
a M = ( Σ m = 1 N y Mm ) ( Σ m = 1 N x Mm 2 ) - ( Σ m = 1 N x Mm ) ( Σ m = 1 N x Mm y Mm ) N ( Σ m = 1 N x 1 m 2 ) - ( Σ m = 1 N x Mm ) 2 b M = N ( Σ m = 1 N x Mm y Mm ) - ( Σ m = 1 N x Mm ) ( Σ m = 1 N y Mm ) N ( Σ m = 1 N x Mm 2 ) - ( Σ m = 1 N x Mm ) 2 ;
其中M为中心点群组编号;N为各中心点群组内总点数值;将中心点信息代入上式计算后,可得线性方程式:
L M : y ~ Mm = a M + b M x Mm , m=1~N。
另外,关于计算垂直线的线性回归部分:
由水平与垂直线段间的关系中可得知,若水平线的线性方程式为y=a+bx,则与其垂直的线段斜率为
Figure A20071010724100171
以图8、图10及图12中的各线段点群组P1i(xi,yi)为例,如图14所示,首先,针对此中心点群组分别做X与Y方向坐标平均,得一平均点坐标(Xmean,Ymean),再将此中心点群组的坐标进行转换:
x′i=yi
y′i=xi
上式是表示将原始取样点xi、yi以原点为中心垂直90度做坐标转换,将原本为垂直的取样点群组,转换成水平型态;再将坐标转换后的新取样中心点群组P1i’(xi’,yi’)代入上式求得b1’,则原始垂直取样点群组的斜率即为 b 1 = - 1 b 1 ′ ; 当求出原始斜率b1后,再将平均点坐标(Xmean,Ymean)代入公式:a1=Ymean-b1×Xmean;可得线段截距a1
至于校正机制的部分:
参阅图14,将线性回归计算后所取得的直线方程式与取样点进行比较,若取样点与线性回归直线方程式的间距离超过预设阀值,则将此取样点去除,当所有取样点均判断完毕,程序再以剩余的取样点计算新的线性回归直线方程式,得到较精准的中心线。
如图8、图10及图12所示,该线段L3为对中心点群组P3k(xk,yk)第一次线性回归后计算出的直线方程式,由于部分取样点会因影像处理或目标影像本身的问题,而与该线段L3相距较远,若将这些离该线段L3较远的取样点去除,再进行第二次线性回归,则可得到较为精准的线段L3,因此对其进行第一次校正动作,以预设阀值将其去除,再以筛选后的取样点进行第二次线性回归计算,取得图14中的线段L3’。
关于补偿机制的部分(参阅图6):
一般完整欲定位的影像,如经由第一次线性回归法、校正机制及第二次线性回归计算后,即可求得定位标志中心坐标;但若因取像不良之类的因素,导致点群组内取样点数不足,将使得经由回归计算求得的线段产生如图16(十字影像与圆形影像)、图17(四角影像与环形影像)及图18(矩形影像)所示的误差;以图16及图17所示的线段L3,以及图18所示的线段L1为例;若点群组P3k(xk,yk)其取样点数量k不足,则会导致回归后线段斜率产生误差。
而补偿机制即是以原始定位影像的中心线或边线为互相垂直或平行的特性,进行取样点映射补偿,如图19所示(以十字影像、四角影像或矩形影像为例),其线段L3与垂直线L1、L2垂直,并与线段L4平行;以此特性为基础,将所有构成线段L1的取样点群组的P1i与构成线段L2的取样点群组P2j的点坐标旋转90度,而构成线段L4的点群组P4z则以180度映像至相对应的位置,可以增加P3k点群组的取样点总数。
参阅图20,是以十字影像或圆形影像为例进行补偿机制;两中心点群组P1i(xi,yi)、P3k(xk,yk),将构成线段L1的取样点群组P1i(xi,yi)以第一次计算出的中心点(Xc,Yc)为基准点,转折90度加入点群组P3k相对位置,并将原始点群组总个数k’改为k’=k+i,如此点群组P3k(xk,yk)内取样点数增加,再将此点群组进行第三次线性回归后,求得线段L3’。
而中心点群组P1i(xi,yi)亦可以此方式将点群组P3k(xk,yk)内的取样点转折增加,求得线段L1’,当线段L1’、L3’求出后,再对其做一次校正补偿,之后即可求得目标影像的中心点坐标。
如图21所示,若进行线性回归运算后,该线段L3产生误差,则可将中心点群组P1i(xi,yi)转折加入点群组P3k(xk,yk)后,对其做线性回归,可得修正后的线段L3’,而线段L1’可以L3’为基准顺时针旋转90度求得,如此十字影像与圆形影像的中心线即可求出,再计算出两线段的交点即为目标影像的中心点坐标。
参阅图22,是改以四角影像或环形影像进行补偿动作的实施例;程序以构成线段L3的取样点群组P3k为基准,第一步将中心点群组P1i以中心点(Xc,Yc)为原点逆时针转折90度,加入中心点群组P3k相对位置,并将原始点群组总个数k’改为k’=k+i,此时构成L3的取样点已增加i点。
第二步将中心点群组P2j以中心点(Xc,Yc)为原点,顺时针转折90度,加入中心点群组P3k相对位置,并将原始点群组总个数k’改为k’=k’+j,此时构成线段L3的取样点已增加i+j点。
第三步将中心点群组P3k以中心点(Xc,Yc)为原点,映射180度,加入中心点群组P3k相对位置,并将原始点群组总个数k’改为k’=k’+z,此时构成线段L3的取样点已增加i+j+z点。此时,取样点补偿动作完成,中心点群组P3k’的总取样点个数由k点增加至k+i+j+z点。
最后再针对补偿后的中心点群组进行线性回归,求出线段L3的直线方程式,而其余线段L1、L2、L4可经由垂直与位移等关系求出,进而求得精准的中心点坐标。
如图23所示,在对四角影像或环形影像进行补偿的实施例中,若线段L3产生误差,可将中心点群组P1i(xi,y)、P2j(xj,yj)垂直转折加入中心点群组P3k(xk,yk),再将中心点群组P4z(xz,yz)映射加入中心点群组P3k(xk,yk)后,对补偿过后的点群组P3k(xk,yk)进行线性回归,并利用修正后的线段L3’求得各线段L1’、L2’、L4’,取得四角影像、环形影像中心线后,即可求出目标影像中心点坐标。
至于对矩形影像的补偿方式则与十字影像或四角影像雷同,差别仅在于转折时的基准点坐标,如图24所示,构成线段L1的中心点群组P1i为基准,第一步将中心点群组P3k以边点坐标P1为原点,顺时针转折90度,加入中心点群组P1i相对位置,并将原始点群组总个数i’改为i’=i+k,此时构成线段L1的取样点已增加k点。
第二步将中心点群组P4z以边点坐标P4为原点,逆时针转折90度,加入中心点群组P1i相对位置,并将原始点群组总个数i’改为i’=i’+z,此时构成线段L1的取样点已增加为k+z点。
第三步将中心点群组P2j以中心点为原点,映射180度,加入中心点群组P1i相对位置,并将原始点群组总个数i’改为i’=i’+j,此时构成线段L1的取样点已增加为k+j+z点;取样点补偿动作完成,中心点群组P1i’的总取样点个数由i点增加至k+i+j+z点;最后再针对补偿后的中心点群组进行线性回归,求出线段L1的直线方程式,而各线段L2、L3、L4可经由垂直与位移等关系求出。
如图25所示,在矩形影像进行补偿运算后,若线段L1产生误差,可将中心点群组P3k(xk,yk)、P4z(xz,yz)垂直转折加入中心点群组,再将中心点群组P2j(xj,yj)映射加入中心点群组P1i(xi,yi)后,对补偿过后的中心点群组P1i(xi,yi)进行线性回归,取得修正后的线段L1’,再利用此线段求得L2’、L3’、L4’,取得矩形边线数值后,即可求出其中心点坐标。
亦即,本发明可广泛应用于生产在线的对位设备(例如将异方性导电胶、导电玻璃或集成电路进行对位、加压完成构装的设备),并可适用于各种影像标志(圆形影像、环形影像、十字影像、四角影像与矩形影像)的对位(如附件一的第A、第B、第C、第D、第E及第F图所示为矩形影像迭合于方框影像的过程),其产生的对位效率比手动模式平均快约5~10秒(参阅图26及图27),使生产线的产能明显提升,未来将提升其性能并作量化的改善。
至于本发明的系统部分,如图28及图29所示,是至少包括:
一可程序逻辑控制器(Programmable Logic Controller,简称PLC)21、一中央处理器-可程序逻辑控制器(Central Processing Unit-Programmable Logic Controller,简称CPU-PLC)22、一异方性导电胶贴附装置23、一异方性导电胶剥除装置24、一加热装置25、一加压装置26、一内部程序(Interprocess Communication,简称IPC)通讯模块27、一压力检测装置通讯模块28,以及一感光耦合组件(Charge CoupledDevice,简称CCD)影像控制定位装置29,其设有至少两个感光耦合组件(Charge Coupled Device,简称CCD)摄影机291;
借此,以该感光耦合组件摄影机291撷取一目标样板91及位于该目标样板91上的目标影像911,先设定该目标样板91的预定忽略灰阶值及其分布范围,再设定该目标样板91的预定的特征权重矩阵;之后对此系统加载一待测样板92及位于其上的待测影像921。
依计算该待测样板92及该待测影像921的区域灰阶值所得数值,自动调整该目标样板91及该目标影像911的亮度及对比度,使其接近该待测样板92及待测影像921的预定值,运用线性回归法取得该待测样板92中不同方向的边线值,其可用以求出该待测影像921的中心,并作为定位及旋转偏移量的依据,再来比对该目标样板91与待测样板92是否相符,并由系统中内建的校正补偿机制,滤除第一次线性回归计算后偏差量较大的误差点,再配合邻近方向的边线数值,求出更精准的定位中心;达到于该待测样板92上比对得到吻合的目标样板91;
以该异方性导电胶贴附装置23,将一异方性导电胶(可以讲是该目标样板91/该待测样板92);贴附于该导电玻璃(该导电玻璃的英文为indiumtin oxide,简称ITO,且该导电玻璃也可以讲是该待测样板92/该目标样板91)上,再以该异方性导电胶剥除装置24将该异方性导电胶上的保护膜剥除,接着将集成电路(integrated circuit,简称IC)对准导电玻璃的导电金属层(即氧化铟锡,英文为indium tin oxide,简称ITO);最后进行加热加压而完成构装接合成品。
实际上,该目标样板91是选自导电玻璃、薄膜晶体管(ThinFilmTransistor,简称TFT)、异方性导电胶膜(AnisotropicConductive Film,简称ACF)其中的一种。
该待测样板92是选自异方性导电胶膜(Anisotropic ConductiveFilm,简称ACF)、薄膜晶体管(ThinFilmTransistor,简称TFT)、导电玻璃其中之一。
本发明的优点及功效如下所述:
1、对位效率佳。本案透过改良型识别比对技术与相关通讯技术,可以在短时间求得双感光耦合组件影像控制定位装置内双反白影像(Mark)位置差,进而控制机器做补正等相关动作,同时具备影像光学量测、仪器校正、影像处理、缺陷检测、目标辨识等功能,应用于实际生产线的对位设备上,其对位效率比手动模式快约5至10秒;对位效率佳。
2、具有校正补偿机制。本案主要运用线性回归法取得对位影像中不同方向的边线数值,由边线数值求出影像中心,有效解决对位影像残缺或镜头像差等问题,此外亦可求出影像本身的旋转偏移量,可提供机台更多的定位信息。
3、适用于各种对位影像。本发明的定位技术可有效对圆形、环形、十字、四角或矩形影像等进行影像对位,适用性相当广泛;并可适用于任何需要影像定位进而进行对象检测、迭合的在线光学检测机构,如液晶显示器(liquid crystal display,简称LCD)面版瑕疵检测、印刷电路板(Printed Circuit Boards,简称PCB)瑕疵检测和模具迭合前置定位动作等,并提供于自动化光学检测技术中一个更好的定位方法。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
综上所述,本发明在结构设计、使用实用性及成本效益上,完全符合产业发展所需,且所揭示的结构亦是具有前所未有的创新构造,具有新颖性、创造性、实用性,符合有关发明专利要件的规定,故依法提起申请。

Claims (9)

1.一种影像快速自动对位的自动光学系统的使用方法,其特征在于,包括下列步骤:
一.准备步骤:预先准备一目标样板,该目标样板上具有至少一个目标影像;将该目标样板定义为Ti,j,k(p,q),其大小为PQ,1≤i≤3,1≤p≤P,1≤q≤Q;并设定该目标样板的预定忽略灰阶值及其分布范围;再设定该目标样板的预定的特征权重矩阵;设一感光耦合组件影像控制定位装置,将该目标样板撷取至一中央处理器-可程序逻辑控制器内,由其内建程序对该目标样板及其上的目标影像进行扫描;
二.载入步骤:加载一预定的待测样板,并将该待测样板定义为Ii(x,y),大小为MN,1≤i≤3,该待测样板对应该目标影像而具有一待测影像;
三.调整步骤:依计算该待测影像的区域灰阶值所得数值,自动调整该目标影像的亮度及对比度至接近该待测影像的预定值,以线性回归法取得该待测影像的数条边线,再由数条边线求出该待测影像的中心;
四.校正补偿比对步骤:比对该目标影像与该待测影像,将线性回归计算后取得的直线方程式与取样点进行比较,若取样点与直线方程式之间的距离超过一预设阀值,则将此取样点去除,当所有取样点均判断完毕,再以剩余的取样点计算二次线性回归直线方程式,得到校正后的基准线;
将与该基准线互相垂直/平行的其余边线,朝该基准线分别作九十度旋转、一百八十度映射/平移,对该基准线进行取样点补偿运算;使原始点群组总个数k’变成k’=k+i,增加取样点数,并将此点群组进行第三次线性回归,以求得补偿后的待测影像的边线;进而求出更精准的待测影像的定位中心;
五.完成步骤:于该待测影像上比对得到吻合的目标影像。
2.根据权利要求1所述的影像快速自动对位的自动光学系统的使用方法,其特征在于:
所述目标样板是选自导电玻璃、薄膜晶体管、异方性导电胶膜其中的一种;
所述目标影像是选自圆形影像、环形影像、十字影像、四角像、矩形影像其中的一种;
所述待测样板是选自异方性导电胶膜、薄膜晶体管、导电玻璃其中的一种;
所述待测影像是选自圆形影像、环形影像、十字影像、四角像、矩形影像其中的一种。
3.根据权利要求1所述的影像快速自动对位的自动光学系统的使用方法,其特征在于,所述步骤完成后又包括:
六.组合步骤:将一异方性导电胶的一面贴附于一导电玻璃上;再将该异方性导电胶另一面的保护膜剥除;然后将一集成电路对准该导电玻璃上的导电金属层;最后进行加热、加压完成构装接合。
4.根据权利要求1所述的影像快速自动对位的自动光学系统的使用方法,其特征在于,所述调整步骤中,当该感光耦合组件影像控制定位装置撷取该目标样板,并传入该中央处理器-可程序逻辑控制器,其内建程序对该目标影像扫描出四个角落点,并作为该目标影像的边界点,对此目标影像分别进行垂直扫描及水平扫瞄;分别找出中心点坐标群组P1i(xi,yi),以及中心点坐标群组P3k(xk,yk),其中,i为所有垂直线中心点总个数,k为所有水平线中心点总个数;
所述中央处理器-可程序逻辑控制器的内建程序再分别对中心点坐标群组P1i(xi,yi)以及中心点坐标群组P3k(xk,yk)进行线性回归计算,如此对该中心点群组P1i(xi,yi)与P3k(xk,yk)各计算出一线段,以进行定位,且这两线段分别代表该目标影像的水平与垂直方向中心线;中心线交点即为此目标影像的中心点(Xc,Yc);由两线段的线性方程式可知目标影像偏转量。
5.根据权利要求4所述的影像快速自动对位的自动光学系统的使用方法,其特征在于:
于计算水平线的线性回归时,可将各水平方向的中心点群组内的点信息P3k(x k,yk)、P4z(xz,yz)代入下式:
a = ( Σ y i ) ( Σ x i 2 ) - ( Σ x i ) ( Σ x i y i ) m ( Σ x i 2 ) - ( Σ x i ) 2 b = m ( Σ x i y i ) - ( Σ x i ) ( Σ y i ) m ( Σ x i 2 ) - ( Σ x i ) 2 ;
L3直线方程式: y 3 ~ = a 3 + b 3 x 3 k ;
将式: S = Σ i = 1 m ( y i - y ~ ) 2 改为: S = Σ m = 1 k ( y 3 m - y 3 ~ ) 2 ;
y 3 ~ = a 3 + b 3 x 3 k 代入上式;
得: S = Σ m = 1 k ( y 3 m - ( a 3 + b 3 x 3 m ) ) 2 ;
将S对a3,b3微分并令为零,求a3,b3值:
∂ S ∂ a 3 = Σ m = 1 k 2 ( y 3 k - ( a 3 + b 3 x 3 k ) ) ( - 1 ) = 0 ∂ S ∂ b 3 = Σ m = 1 k 2 ( y 3 k - ( a 3 + b 3 x 3 k ) ) ( - x 3 k ) = 0 ;
整理后得: ka 3 + b 3 Σ m = 1 k x 3 k = Σ m = 1 k y 3 k a 3 Σ m = 1 k x 3 k + b 3 Σ m = 1 k x 3 k 2 = Σ m = 1 k x 3 k y 3 k ;
亦即, a 3 = ( Σ m = 1 k y 3 k ) ( Σ m = 1 k x 3 k 2 ) - ( Σ m = 1 k x 3 k ) ( Σ m = 1 k x 3 k y 3 k ) k ( Σ m = 1 k x 3 k 2 ) - ( Σ m = 1 k x 3 k ) 2 b 3 = k ( Σ m = 1 k x 3 k y 3 k ) - ( Σ m = 1 k x 3 k ) ( Σ m = 1 k y 3 k ) k ( Σ m = 1 k x 3 k 2 ) - ( Σ m = 1 k x 3 k ) 2 ;
进一步将上式推广至每条线段均可套用的公式如下:
a M = ( Σ m = 1 N y Mm ) ( Σ m = 1 N x Mm 2 ) - ( Σ m = 1 N x Mm ) ( Σ m = 1 N x Mm y Mm ) N ( Σ m = 1 N x 1 m 2 ) - ( Σ m = 1 N x Mm ) 2 b M = N ( Σ m = 1 N x Mm y Mm ) - ( Σ m = 1 N x Mm ) ( Σ m = 1 N y Mm ) N ( Σ m = 1 N x Mm 2 ) - ( Σ m = 1 N x Mm ) 2 ;
其中M为中心点群组编号;N为各中心点群组内总点数值;将中心点信息代入上式计算后,可得线性方程式:
L M : y ~ Mm = a M + b M x Mm , m=1~N;
于计算垂直线的线性回归时:
当水平线的线性方程式为y=a+bx,则与其垂直的线段斜率为
Figure A2007101072410005C3
针对中心点群组分别做X与Y方向坐标平均,得一平均点坐标(Xmean,Ymean),再将此中心点群组的坐标进行转换:
 x′i=yi
 y′i=xi
上式是表示将原始取样点xi、yi以原点为中心垂直90度做坐标转换,将原本为垂直的取样点群组,转换成水平型态;再将坐标转换后的新取样中心点群组P1i’(x1’,yi’)代入上式求得b1’,则原始垂直取样点群组的斜率即为 b 1 = - 1 b 1 ′ ; 当求出原始斜率b1后,再将平均点坐标(Xmean,Ymean)代入公式:a1=Ymean-b1×Xmean;可得线段截距a1
6.根据权利要求1所述的影像快速自动对位的自动光学系统的使用方法,其特征在于,在所述校正补偿比对步骤中,若因该目标影像不完全以致取样不全,以致线性回归法求得的中心线产生误差,可改以四角影像样式的目标影像让该中央处理器-可程序逻辑控制器的内建程序扫描出四个角落点S1、S2、S3及S4,以该四角落点S1、S2、S3及S4为基准,订出四个扫瞄区块Z1、Z2、Z3及Z4,再让程序分别对四个扫描区块Z1、Z2、Z3及Z4找寻出线段中心点,取得四个中心点群组P1i(xi,yi)、P2j(xj,yj)、P3k(xk,yk)、P4z(xz,yz),其中i为Z1区域内所有取样点总个数,j为Z2区域内所有取样点总个数,k为Z3区域内所有取样点总个数,z为Z4区域内所有取样点总个数;之后由程序分别对四个中心点群组P1i(xi,yi)、P2j(xj,yj)、P3k(xk,yk)、P4z(xz,yz)进行线性回归计算,而得到四条线段,其分别代表四角落中心线,即为该四角影像的中心线交点(Xc,Yc);若此四角影像有所残缺,则可以阀值将其滤除,由剩余的中心线计算出中心点。
7.根据权利要求1所述的影像快速自动对位的自动光学系统的使用方法,其特征在于,所述目标影像是为矩形影像;当该感光耦合组件影像控制定位装置将目标影像撷取至该中央处理器-可程序逻辑控制器,其内建程序先搜寻出矩形影像的四个角落点S1、S2、S3、S4;以此四个角落点为基准并根据程序预设阀值,由各扫描区块Z1、Z2、Z3与Z4内构成各边线的点,可得四个点群组P1i(xi,yi)、P2j(xj,yj)、P3k(xk,yk)、P4z(xz,yz),其中i、j、k与z分别为Z1、Z2、Z3与Z4各扫描区块内所有边点总个数;接着程序再针对四个点群组分别进行线性回归计算,如此对该四个点群组P1i(xi,yi)、P2j(xj,yj)、P3k(xk,yk),以及P4z(xz,yz)分别进行线性回归而求得四条线段的线性方程式,可计算出此矩形影像的中心坐标位置以及其偏转角度。
8.一种影像快速自动对位的自动光学系统,其特征在于至少包括一可程序逻辑控制器、一中央处理器-可程序逻辑控制器、一异方性导电胶贴附装置、一异方性导电胶剥除装置、一加热装置、一加压装置、一内部程序通讯模块、一压力检测装置通讯模块以及一感光耦合组件影像控制定位装置,其设有至少两个感光耦合组件摄影机;
借此,该感光耦合组件摄影机撷取一目标样板及位于该目标样板上的目标影像,先设定该目标样板的预定忽略灰阶值及其分布范围,再设定该目标样板的预定的特征权重矩阵;之后对此系统加载一待测样板及位于其上的待测影像;以该中央处理器-可程序逻辑控制器比对该目标影像与该待测影像,依计算该待测样板及该待测影像的区域灰阶值所得数值,自动调整该目标样板及该目标影像的亮度及对比度,使其接近该待测样板及待测影像的预定值,并将进行线性回归计算后取得的待测样板的直线方程式与取样点比较判断,去除与直线方程式距离超过一预设阀值的取样点,当所有取样点均判断完毕,再以剩余的取样点计算二次线性回归直线方程式,得到校正后的基准线;
将与该基准线互相垂直/平行的其余边线,分别朝该基准线作九十度旋转、一百八十度映射/平移,对该基准线进行取样点补偿运算,使原始点群组总个数k’变成k’=k+i,增加取样点数,并将此点群组进行第三次线性回归计算,求得补偿后的待测影像的边线;进而求出更精准的待测影像的定位中心,达到于该待测样板上比对得到吻合的目标样板;
最后以该异方性导电胶贴附装置、该异方性导电胶剥除装置、该加热装置及该加压装置相互配合,将该目标样板与待测样板相互加热加压接合成品。
9.根据权利要求8所述的影像快速自动对位的自动光学系统,其特征在于:
所述目标样板是选自导电玻璃、薄膜晶体管、异方性导电胶膜其中的一种;
所述目标影像是选自圆形影像、环形影像、十字影像、四角像、矩形影像其中的一种;
所述待测样板是选自异方性导电胶膜、薄膜晶体管、导电玻璃其中的一种;
所述待测影像是选自圆形影像、环形影像、十字影像、四角像、矩形影像其中的一种;
若所述目标影像与待测样板为异方性导电胶与导电玻璃,则以该异方性导电胶剥除装置将该异方性导电胶上的保护膜剥除;
可再将一集成电路对准导电玻璃的导电金属层,并进行加热加压而完成构装接合成品。
CN200710107241A 2007-05-25 2007-05-25 影像快速自动对位的自动光学系统及其使用方法 Expired - Fee Related CN100588229C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200710107241A CN100588229C (zh) 2007-05-25 2007-05-25 影像快速自动对位的自动光学系统及其使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200710107241A CN100588229C (zh) 2007-05-25 2007-05-25 影像快速自动对位的自动光学系统及其使用方法

Publications (2)

Publication Number Publication Date
CN101312495A true CN101312495A (zh) 2008-11-26
CN100588229C CN100588229C (zh) 2010-02-03

Family

ID=40100903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200710107241A Expired - Fee Related CN100588229C (zh) 2007-05-25 2007-05-25 影像快速自动对位的自动光学系统及其使用方法

Country Status (1)

Country Link
CN (1) CN100588229C (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771824B (zh) * 2008-12-30 2012-01-04 财团法人金属工业研究发展中心 自动调节所需照明亮度的影像撷取方法
CN103930925A (zh) * 2011-08-22 2014-07-16 佛克有限及两合公司 用于检查棒状烟草产品的方法和设备
TWI457733B (zh) * 2012-08-22 2014-10-21
CN104766294A (zh) * 2014-01-06 2015-07-08 纬创资通股份有限公司 自动化对位系统及方法
WO2015100757A1 (zh) * 2013-12-31 2015-07-09 深圳市华星光电技术有限公司 基于ccd相机的lcd全灰阶数据采集方法
CN106770106A (zh) * 2016-12-08 2017-05-31 中国科学院上海高等研究院 一种tdi‑cmos荧光检测仪器扫描速度失配的补偿方法
CN107370937A (zh) * 2016-05-11 2017-11-21 宏达国际电子股份有限公司 摄影装置及其操作方法、非挥发性计算机可读取记录媒体
CN109870410A (zh) * 2019-05-05 2019-06-11 征图新视(江苏)科技股份有限公司 一种全自动多通道光源快速成像检测方法及其系统
TWI738295B (zh) * 2020-04-15 2021-09-01 明基材料股份有限公司 適用於連續生產製程的自動化瑕疵檢測設備及適用於連續生產製程的自動化瑕疵檢測方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771824B (zh) * 2008-12-30 2012-01-04 财团法人金属工业研究发展中心 自动调节所需照明亮度的影像撷取方法
CN103930925A (zh) * 2011-08-22 2014-07-16 佛克有限及两合公司 用于检查棒状烟草产品的方法和设备
CN103930925B (zh) * 2011-08-22 2016-10-26 佛克有限及两合公司 用于检查棒状烟草产品的方法和设备
TWI457733B (zh) * 2012-08-22 2014-10-21
WO2015100757A1 (zh) * 2013-12-31 2015-07-09 深圳市华星光电技术有限公司 基于ccd相机的lcd全灰阶数据采集方法
CN104766294A (zh) * 2014-01-06 2015-07-08 纬创资通股份有限公司 自动化对位系统及方法
CN107370937A (zh) * 2016-05-11 2017-11-21 宏达国际电子股份有限公司 摄影装置及其操作方法、非挥发性计算机可读取记录媒体
CN106770106A (zh) * 2016-12-08 2017-05-31 中国科学院上海高等研究院 一种tdi‑cmos荧光检测仪器扫描速度失配的补偿方法
CN109870410A (zh) * 2019-05-05 2019-06-11 征图新视(江苏)科技股份有限公司 一种全自动多通道光源快速成像检测方法及其系统
TWI738295B (zh) * 2020-04-15 2021-09-01 明基材料股份有限公司 適用於連續生產製程的自動化瑕疵檢測設備及適用於連續生產製程的自動化瑕疵檢測方法

Also Published As

Publication number Publication date
CN100588229C (zh) 2010-02-03

Similar Documents

Publication Publication Date Title
CN100588229C (zh) 影像快速自动对位的自动光学系统及其使用方法
US10664992B2 (en) Non-contact visual detection method for mark positioning of mobile phone touch screen
CN108765416B (zh) 基于快速几何对准的pcb表面缺陷检测方法及装置
CN105291564B (zh) 一种丝印对位方法及装置
CN109029299B (zh) 舱段销孔对接转角的双相机测量装置及测量方法
CN103604815B (zh) 玻璃晶片检测装置与标定方法
CN103676284B (zh) 一种成盒对位方法
TWI699525B (zh) 三維相位移瑕疵檢測方法及系統
JP2008014940A (ja) 平面状被撮像物のカメラ計測のためのカメラキャリブレーション方法、および応用計測装置
CN112381827B (zh) 基于视觉图像的快速高精度缺陷检测方法
CN102680495A (zh) 自动光学检测装置及方法
CN108716890A (zh) 一种基于机器视觉的高精度尺寸检测方法
CN106023193B (zh) 一种用于浑浊介质中结构表面检测的阵列相机观测方法
CN105243663A (zh) 一种pcb扫描图像的自动匹配方法及系统
CN107767377A (zh) 基于双目视觉系统的液晶屏缺陷与灰尘区分法及检测装置
CN112365502B (zh) 一种基于视觉图像缺陷检测的标对方法
CN111986267B (zh) 一种多相机视觉系统的坐标系统标定方法
CN109191527A (zh) 一种基于最小化距离偏差的对位方法及装置
CN112200760A (zh) 一种液晶模组缺陷深度测量与分层装置和方法
CN110911589A (zh) 层压设备和层压方法
CN102368134B (zh) 一种手机摄像模组自动调焦方法、装置及系统
CN112665517B (zh) 一种多相机大视场表面形状测量标定方法
US9362153B2 (en) Method for aligning substrates in different spaces and having different sizes
CN105759196A (zh) 具有补偿校准功能的自动定位首件电路板检测系统
TW200928331A (en) Polari-meter for quantitative stress/strain measurement

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100203

Termination date: 20110525