CN1504742A - 印刷电路板上瑕疵组件的自动光学检测系统 - Google Patents

Abstract

一种印刷电路板上瑕疵组件的自动光学检测系统，包括有执行系统架构、实务辨识及分类检测等三单元；该系统架构单元是建立有软、硬件架构，藉硬件架构自动定位印刷电路板，并撷取图像至计算机，再藉软件架构建立标准组件、虚拟图像参考模板、标准检测板、线上检测程序及组件瑕疵等资料，可供离线作业时建立组件标准检测值及相关环境参数，并供生产联机操作时检测印刷电路板上的组件瑕疵状态；该实务辨识单元是利用一图形比对法或正规化相关系数法，对上述系统架构中自动定位的印刷电路板以及参考模板进行辩识及校准的运作；该分类检测单元是将上述经过辩识及校准的印刷电路板上的组件进行分类演算，赖以精准检测取得包括缺件、歪斜、极性反向、桥接、锡焊量过多或太少等瑕疵组件。

Description

印刷电路板上瑕疵组件的自动光学检测系统

技术领域

本发明一种印刷电路板上瑕疵组件的自动光学检测系统，特别适用于印刷电路板的装配线上，用以检知常见或可预期的组件缺件、歪斜、极性反向、桥接、锡焊量过多或太少等瑕疵现象所设计的检测系统。

背景技术

在坊间，不论是印刷电路板(Printed Circuit Board，简称PCB)、表面黏着设计(Surface Mounting Design，简称SMD)或表面黏着制程(SurfaceMounting Technology，简称SMT)用的检测机，其产品商业化程度都已经相当高了。就以表面黏着设计(SMD)用的检测机来说，各产品的可检测项目已大致相同，而产品的差异则在于速度及某些特殊功能(例如针对焊点的立体视觉检测)。兹将目前坊间表面黏着设计(SMD)用的检测机台特色简述如下：

1.检测项目：坊间的表面黏着设计(SMD)检测，已发展了一段不算短的时间，因此至目前为止，各种机台所能检测项目并没有太大的变化；在组件部分的相关检测项目包括：缺件、歪斜、墓碑、极性、移位等。焊点相关检测项目包括：钖过多、钖过少、桥接、钖洞、钖脚翘起等。另外在IC文字辨识上，较倾向于使用光学特性确认(Optical Characteristic Verification，简称OCV)而非传统光学特性辨识(Optical Characteristic Recognition，简称OCR)，一方面可能因为激光刻印的结果文字破碎度太高，另一方面IC刻印的字样都是可预期的结果，因此只要能判断刻印正确与否即可。

2.移动机构：坊间表面黏着设计(SMD)用检测机台上的双轴载台(X-YTable)设计，其方式相当多样化，诸如设计有负载电荷耦合器(Charge CoupledDevice，简称CCD，或称图像视觉器)与光源一起移动者，或有设计负载印刷电路板(PCB)移动者，也有负载电荷耦合组件(CCD)沿X轴移动及同时负载印刷电路板(PCB)沿Y轴移动者，但若是以速度为重点的检测机台则以印刷电路板(PCB)移动为主。

3.取像机构：坊间为了能加大表面黏着设计(SMD)用检测装置的检测范围，检测用的电荷耦合器(CCD)的分辨率也不断的提升。另外数字与彩色电荷耦合器(CCD)的应用已大量增加；色彩信息对检测效果有一定程度的提升，而数字电荷耦合器(CCD)所取得的图像品质就比模拟式为佳，也有业者号称其产品的数字对焦功能，能够使检测结果不受到组件高度的影响。

4.光源：坊间业者有将光源系统视为商业机密而把光源组跟电荷耦合器(CCD)整个包起来，不过也有很简单的只使用白色环形日光灯的检测机台。发光二极管(Light Emitting Diode，LED)光源因为稳定，已成为较多检测机台的最佳选择，但光源形式则有环形、方形、矩阵配合折射镜等许多种变化。多数检测机台的光源以均匀照明为主要目的，较少见到切换不同光源以得到更多各式图像信息者。

在使用可见光的表面黏着设计(SMD)的检测机方面，发展方向乃是以检测一般可能发生的失误现象为主，并且要求更高的速度及更低的误判率。且SMD视觉检测并不会使用到太过复杂的算法，而是以一般常用的基本算法加以适当应用。

且知坊间现有制造SMT检测机的业者及其产品功能(如表一所示)，其中公认以色列设计的自动光学检测系统(简称AOI)为全世界最强：

		Orbotech(以色列技高代理)	(各检测功能项目请见第4页说明)■功能(a.b.c.d.e.f.h.i.)■5或13支CCD，氙闪光灯环形光学照明■组件的X，Y和θ的位置准确性测量，组件错置(OCV)、空焊、短路、IC脚翘空焊、气泡(波峰焊)■2D的锡膏印刷缺点：锡未熔、锡点平整性、缺锡、锡膏污损散开、印刷精度不良裂缝空隙2.5D锡膏印刷缺点：锡膏印刷厚度控制标准
TERADYNE(美国)	■功能(a.b.d.g.f.h.)

	■5支CCD、LED光源■插件引脚瑕疵
		Sony(日本建台丰、林电国际)	■外观检查机(Solder Paste InspectiorMachine)高分解能.高速检查，分辨率：纵29um x横24um■利用上侧照明取得的图像及横侧照明取得图像做演算，检测基板上锡膏的印刷状态
Omron(日本文惠代理)	■功能(a.d.f.)■OCR：一次可读取32个字符，无需登录字码库■虚焊、球焊
		HIROX(日本帝仕高代理)	■3D旋转检视系统(QC实验室用)
Samsung(韩国鸿骐、平成代理)	■PCB检测
		MVP(美国琋玛代理)	■AOI/自动光学零件检查机
CYBEROPTICS(美国雷科代理)	■功能(a.b.c.d.e.f.g.h.i.)■OCV
		Agilent(爱尔兰都柏林台湾港建代理)	■功能(a.c.d.e.f.g.h.)■OCR、OCV■2D锡检测：锡厚、位置、锡量
德律(台商)	■功能(a.b.c.d.e.f.g.h.)■反白、金手指表面瑕疵、PCB板的表面刮痕■板弯、板翘、软件自动补正■特殊光源及CCD Camera自动补偿机能
		由田新技股份有限公司(台商)	■PCB裸版检测、BGA检测
长裕欣业股份有限公司	■LED亮度及波长检测
		固纬电子实业股份有限公司	■检测组装电路版
东捷半导体科技	■检查PCB、BGA瑕疵■检查TFT LCD面版瑕疵

伯格科技公司	■PCB表面瑕疵检测、BGA检测■IC断脚检测系统■微米级精密定位系统
		凯彦科技股份有限公司(台商)	■IN-LINE视觉检测机、PCB测试系统
表右的功能项目符号说明：    (e.)极性(polarity)(a.)缺件(part missing)      (f.)锡桥(solder bridge)(b.)错误(wrong)             (g.)接脚位移/弯曲(leads float ing/bend)(c.)歪斜(misalignment)      (h.)锡过少/过多(solder lack/excess)(d.)墓碑(tombstone)         (i.)接缝品质(joint qual ity)

表一：制造SMT检测机的业者及其产品功能比较

发明内容

本发明的目的是提供一种印刷电路板上瑕疵组件的自动光学检测系统自动光学检测系统(简称AOI，)与传统技术不同之处在于本发明于系统架构的软件架构初始阶段，即已规划出新颖且与众不同的三层式架构，包括A程序(A-Prog.)、B程序(B-Prog.)及C程序(C-Prog.)，此三层架构具有较大的使用弹性，且皆可分别独立执行，其主要优点叙述如下：

1.A程序(A-Prog.)：是供给设计端建立标准组件数据库，可新增标准组件或修正数据库中已建立标准组件的检测参数。藉此，设计端的组件数据库维护者，可对此标准组件设定可检测的瑕疵种类，并针对各种瑕疵种类选择检测方法。同时，因为印刷电路板(PCB)上组件的重复性高，因此各组件只需建立一次标准图像储存于A程序(A-Prog.)的标准组件数据库，之后便可重复使用，节省训练作业时间。

2.B程序(B-Prog.)：是供给经销或使用端以相当直觉的组件框选操作方式，完成检测组件位置及检测项目的设定，并可针对各个不同的订单建立该标准检测板的检测资料，以供线上检测程序进行整批印刷电路板(PCB)的检测。

3.C程序(C-Prog.)：是供给使用端在生产线上操作，特别是经常要换单生产不同配置(layout)的印刷电路板(PCB)时，C程序(C-Prog.)在换单时只要呼叫该印刷电路板(PCB)于B程序(B-Prog.)所完成的检测资料，便可立即进行整批检测。

本发明可顺应产业的变化，包括：

1.在组件部分；由于半导体制程不断改良，组件的体积也越来越小，同时PCB的组件置放密度也提高，本发明可伴随着CCD分辨率的提升，而加以克服。另外有部分组件使用新发展的封装技术(如BGA等)，本发明亦可搭配具穿透性的检测技术(如X-ray)或多镜头的立体视觉方案加以解决。

2.在PCB产业：本发明目前主要发展方向为检测PC中使用的主机板、界面卡等产品，若此类产品未来发展至饱和停滞状态，则检测关键技术仍可应用在许多其它以PCB为架构的新兴产品上，如手机、PDA等。

3.在晶片封装业：本发明的延伸方向为更小尺度的检测能力，以高倍率镜头及线型扫描式摄影机取像，配合前段发展成熟的算法，可缩短整体开发时程，快速建立适合晶片封装业(BGA，wire bonding)的检测机台。

此外，本发明的发展目标，是期望能取代人工目视检测，并且加强检测的品质和速度。而一个自动光学检测系统能否成功，最重要的关键部分在于检测算法的开发。检测算法的目的在于针对不同组件的检测项目，从检测图像中抽取出具有代表性的特征指针值并设定适当的判断法则，以判断出检测目标是否为良品或不良品。而好的检测算法除了需有良好的检测效果的外，也要追求最低的演算复杂度；复杂度越低则计算速度越快，而此算法在工业上的实用性也大为提高。本发明所使用的检测算法，是先观察检测图像中的组件特征，以简洁的算法加以组合应用，设法将图像特征量化为指针值，再经由一定数量的检测图像(包含良品及不良品)实验之后，决定良品/不良品的判断法则。

为了能清楚的获得组件的图像特征，还必须有适当的光源系统辅助取像。光源系统的功能不只是提供足够的照明以取得图像，更要进一步能突显出组件的特征。光源系统的种类非常多样，即使是单一种类的光源也可以有许多形式的变化；AOI系统需要有能配合各种检测算法的光源系统，才能有良好的检测效果。本发明将同时设计一套互相搭配适用的检测算法及可用程控的光源系统，以开发出适用于检测各项不同组件瑕疵的检测机台。

本发明的应用范围及领域包含有：

(1).CCD精准移动定位

(2).检测算法及光源系统的自动搭配控制

(3).PCB上组件如片状电阻(Resistor)、片状电容(Capacitor)、小型外引脚集成电路(SOP)和方形扁平封装集成电路(QFP)的各项瑕疵检测，如表二所列：

(空格部分表制程中无此缺陷发生)

表二：是本发明可检测PCB上的组件种类及其缺陷项目

下面结合附图对本发明进行详细说明。

附图说明

图1是本发明检测系统的硬件架构示意图；

图2是本发明检测系统的软件架构示意图；

图3是本发明在软件架构中建立标准组件的A程序的流程图；

图4是本发明在软件架构中建立PCB虚拟CCD的参考模板的B1程序流程图；

图5是本发明在软件架构中建立检测PCB资料的B程序的流程图；

图6是本发明软件架构中线上检测用C程序的流程图；

图7是本发明软件架构中检视PCB瑕疵资料的D程序流程图；

图8是本发明实务辨识中的线上自动定位流程图；

图9是本发明实务辨识中以离线虚拟参考模板图像的示意图；

图10是本发明检测方法中设定标准特征值的流程概念图；

图11是本发明的IC脚桥接瑕疵的正投影图；

图12是本发明的元件正投影处理结果图。

具体实施方式

本发明开发了适用于PCB装配线上瑕疵组件的自动光学检测系统，以生产线上常见或可预期的瑕疵实务辨识为设计考量重点，兹将分别以检测系统架构、实务辨识及分类检测方法等三单元，逐一说明如下：

(一)、检测系统架构单元：

检测系统架构设计分为硬件架构与软件架构控制的设计，将分别以离线作业及联机操作两实施部份来探讨，其中：

该离线作业；是指检测系统以不影响生产线的生产力为准，于成本考量之下，仅以一部PC为作业环境即可供给所需的信息；并以建立组件的标准检测值及相关环境参数为主要功能，故又称为训练(Training)作业。

该联机操作；是指检测系统以辅助生产线上品质管制为准，以检测待测组件的瑕疵状态为主要功能，故又称为检测(Inspection)作业。

该硬件架构(如图1所示)；包括有一双轴载台10(X-Y Table)，是负载图像视觉器11(CCD)及LED环型光源12(Ring LED Light)，并由驱动控制器13(Driver Controller)控制移动至使用者指定的印刷电路板16(PCB)置放位置；其中，

该图像视觉器11(CCD)，为取像用，经由图像撷取卡14(Frame Grabber)将模拟图像讯号转为数字图像讯号。

该LED环型光源12(Ring LED Light)：是经由数字转换模拟讯号控制器15(Digital/Analog Converter)控制，依不同检测项目需求，提供适当的光源照明方式，即可由程控产生多种的光源组合。

上述驱动控制器13、图像撷取卡(14以及数字转换模拟讯号控制器15均可透过一部个人计算机17做为作业平台而加以控制。

依据上述硬件架构，于离线训练阶段时，标准印刷电路板(PCB)是以手动方式加载检测载台；于线上检测阶段，当一张PCB检测结束，系统会下达更换PCB的讯号，停止所有检测动作，直至更换一张待测PCB，继续下达检测指令，然后开始检测。

该软件架构(如图2所示)；是于PCB检测系统，建立标准组件及建立检测一张PCB资料等动作中，考量实务辨识的离线作业，为不使离线训练动作影响生产线的作业，本发明设计虚拟CCD(Virtual CCD)的概念来辅助及改善软件离线作业的操作。包括：

I、建立标准组件的A程序(A-Prog.)：主要功能为提供设计端建立标准组件数据库(A01至A05)，可新增标准组件或修正数据库中已建立标准组件的检测参数。

设计端的组件数据库的维护者，可在上述标准组件数据库[(A01至A05]，*.cop)中，设定标准组件的瑕疵种类21，针对各种瑕疵种类选择适当的检测算法22，建立取得标准组件的图像资料23，并建立检测时所需参数24等数据流(如图3所示)，藉以储存标准组件资料2(*.cop)(即标准组件特征值)。

II、建立PCB虚拟CCD资料B10(如图2)的B1程序(B1-Prog)：主要功能为建立一储存整张标准PCB信息，以虚拟CCD的概念所建立的参考模板(Reference Template)资料B15，包括设定PCB信息B11、设定移动双轴载台10至固定位置B12的资料、选择图像结合方法B13的资料等，所结合的图像B14可供给离线作业程序仿真真实CCD撷取图像的动作(如图4所示)。

III、建立检测PCB资料的B程序[如图2，(B-Prog.)]：主要功能为建立一张标准检测板资料B2并产出训练资料B20，以供经销或使用端以线上检测程序进行整批检测。使用者可从上述标准组件数据库(A01至A05)中选择标准检测板上的待测组件B21并读取虚拟CCD资料B10(如图2所示)，并建立自动定位资料B23及建立或选择标准组件B24，同时选择组件检测项目B22，并移动双轴载台记录组件位置B25(如图5所示)。藉此B程序可方便对新接单生产的PCB进行快速的调整检测项目。

IV、线上检测的C程序[如图2，(C-Prog.)]：主要功能是利用B程序的训练资料B20(*.trn)档案(如图5)，来进行整批待测PCB C10的检验，取得每张PCB检测结果资料C11(*.inp)与瑕疵资料C12、C15(*.fut)。

另参见图6所示，可更进一步得知C程序的实施流程，包括先读取上述训练数据B20，并加载整批待测PCB C10，使各个PCB自动定位C16，而后对待测PCB进行检测C17，以便读取上述每张PCB检测结果资料C11(*.inp)与瑕疵资料C12(*.fut)。

V、检视PCB瑕疵资料的D程序[如图2，(D-Prog，)]：主要功能是可将上述C程序所产生每片PCB的瑕庇资料C12，利用D程序来指出瑕疵处(D0)，包括瑕疵组件位置D01与瑕疵类别D02，以供修复(如图7所示)。

在图7中，可见悉执行D程序时，会读取上述虚拟CCD资料B10与读取瑕疵资料C12的档案，并在计算机显示器18中揭示出各PCB上的瑕疵组件位置D01与瑕疵类别D02。

(二)、实务辨识单元：

在本发明上述软件架构中，考量生产线上PCB自动定位以及离线虚拟CCD所分别建立的参考模板，两者皆采用图形比对Pattern Matching法或正规化相关系数法(Normalized correlation coefficient)，说明如下：

(I)线上(On-Line)的PCB自动定位；

是于线上检测每张PCB时，因可能受输送机外在因素影响迫使PCB无法每次均到达正确定位，其后续检测作业可能因此受影响而造成判断错误，故设计此自动定位法。

使用PCB自动定位于离线训练作业及线上检测作业的时机与流程(如图8所示)，兹说明如下：

[a].利用B程序在离线训练作业(Training)建立标准PCB时，先框选记录PCB定位特征B3，并记录PCB上组件的特征相关位置B4。该特征相关位置(B4包括有图像相对于双轴载台10的位置，以及定位特征B3相对于图像的位置。

[b].利用C程序检测每张PCB前，会依先前设定的定位特征B3，自动计算因输送机或定位机构所造成双轴载台10的X轴或(及)Y轴偏移量，并于移动双轴载台10时，针对该PCB的X或(及)Y轴偏移量进行补正校准定位。

上述X或(及)Y轴偏移量是由B程序的定位特征B3中，利用图形比对(Pattern Matching)法进行搜寻C2，找出于待测PCB上的可能位置，并比较位置坐标C3，即是将待测PCB上的可能位置使与离线训练作业(Training)时记录的特征相关位置B4进行比较；当发生偏移时，两者差异量即为X或(及)Y轴的偏移量，此时应修正CCD位置C4至正确处，以利于移动CCD C5至PCB上方进行检测C17。

(II)以离线(Off-Line)的虚拟CCD建立PCB参考模板；

虚拟CCD所提供为不失真、与真实CCD相同放大倍率的参考模板B15。本发明中CCD放大倍率为640x480/23x17(像素(pixels)/mm2)，一张PCB(23×20cm²)全部图像约6400×6300像素(pixels)。虚拟CCD功能即为仿真真实CCD，使其能建立整张PCB参考模板B15。虚拟CCD目前于本发明中为B1程序产生(如图4所示)，B程序及D程序离线作业软件所运用。虚拟CCD所建立的参考模板B15的图像产生，不论双轴载台10于X轴或Y轴运动，处理概略步骤如下(如图7所示)：

(a)将双轴载台上的CCD移动固定距离40，产生移动前的第一张图像与移动后的第二张图像；该固定距离40约为图像长宽的1/3(预期的重叠区域)。

(b)同一CCD位置仅固定使用同一种光源作为判断处理图像。

(c)图像重叠区域43为数值分析的区域。

(d)经由运算取得第一张图像41与第二张图像42的重叠区域43，从第二张图像42中切除。

欲切除重叠图像，本发明利用第一张图像41上的重叠区域43为图形比对(Pattern Matching)法的辨识模版，并于第二张图像42上搜寻相似区域，以从第二张图像42上切除。

(三)、分类检测单元：

在本发明中分类检测方法又可称为瑕疵分类算法，主要是分为离线(或称训练)作业及线上(或称检测)作业两大部分进行。

于离线作业时，是先由A程序的标准组件资料中撷取标准组件特征值50，并设定检测框51，以利于联机操作进行测试52时，比较或比对标准组件和待测组件的相关特征值，而将合格的组件特征值储存5(如图10所示)。

1.电容的缺件、歪斜检测处理模型；

是于PCB上的电容缺件取其灰阶图像时，呈现两种状况：(A)PCB上电容缺件时，组件位置不含电路及2PCB上电容缺件时，组件垂直中心位置含电路通过。电容存在于PCB上的标准组件。

于实务检测中，PCB上的组件是容许些微偏移的状况，并非瑕疵，故本发明拟于第一阶段使用Pattern Matching法取得正确组件的位置，第二阶段再提出算法判断是否缺件(或错件)。

第一阶段-图形比对(Pattern Matching)法-取得正确组件的位置。图形比对法的允收(Acceptance)阈值设定并无一定的标准，故本发明拟先采用较低的允收(Acceptance)阈值，使图形比对法的结果包含(A)正确组件、(B)缺件误判及(C)错件误判等状况，再以标准组件与误判区块的特征差异进行分类筛选。第二阶段再提出算法来判断电容是否缺件。为方便说明，以下称的为黑块比率(Black Percentage)法。

第二阶段-黑块比率(Black Percentage)法-判断电容是否缺件。本方法拟利用适当的光源照明，造成电容本身特征与印刷电路板(PCB)上缺件或错件图像特征的差异。图形比对找到的相似组件为例，观察组件区块的灰阶度分布图(如表三所示)，表三中含有一虚线，可明显分辨出，标准组件01的灰阶度分布图于虚线左侧并未含有任何像素(pixel)图素，其余为误判组件02、03、04的灰阶分布图于虚线左侧则含有图像图素。

       表三：误判组件与标准组件灰阶度分布图表

2.桥接(短路)检测处理模型；

桥接瑕疵现象仅出现于具有IC脚的组件上，如图十三为有桥接瑕疵的方形扁平封装集成电路(QFP)IC脚放大图。

考量实务上因检测锡脚区域范围，可能由于离线训练作业时人工框选检测区域时偏移、线上检测作业时PCB于容忍范围内些微偏移或组件于容忍范围内些微偏移的困扰；若框选检测区域时就已经发生不正确的动作，后续算法会因检测起点及判定检测点位置的偏移，造成无法正确判断检测的结果。

本发明拟以搜索检测区域中IC脚的方式来解决定位的问题，后续再配合图像投影(Image Projection)法来进行检测，方法说明如下：

(A)扩大检测区域(Inflate region)：由于检测IC脚的个数，为离线训练作业时设定，需透过人工方式告知检测区域位置，为避免人为因素的偏移，于使用者确定检测区域位置时，以不变动检测区域的中心位置，加大原检测区域大小。

(B)斑纹搜寻(Find Stripe)：IC脚二值化后呈现黑白相间的斑纹特征，并以斑纹搜寻法(Find Stripe method)来进行定位的动作。由于IC脚的间会有隐藏底板电路的状况，电路会受两侧IC脚的高度影响，造成所接收的光源明亮度降低，故可以使用二值化方式加以消除；但部分IC脚列中，如第一只IC脚侧亦可能含有底板电路线，为保持IC脚的显著特征，并不拟以二值化方法将的完全消除，因第一只IC脚所接受的光源明亮度比经过IC脚间的底板电路为高。

考量实务辨识，斑纹搜寻(Find Stripe)法将以”黑-白-黑”相间的斑纹标记，于扩大检测区域(Inflate region)中推估大约第二只IC脚出现的位置为斑纹搜寻(Find Stripe)比对区域的起点，搜寻出正确第二只IC脚的位置，由已知的IC脚宽度可推得第一只IC脚的定位位置，并可求得正确的检测区域。

(C)图像投影(Image Projection)法；其算法如下：

(a)框选检测区域；

(b)图像二值化处理；

(c)图像正投影处理，取得灰阶度累计；

(d)数值分析：设定检测起点、IC脚的间距、IC脚的宽度，IC脚数，则可计算出IC脚正确位置，若IC脚间二值化灰阶度的累计值过高，则判定该处发生桥接瑕疵(如图11所示)。

3.极性反向检测处理模型；

本发明将探讨的PCB组件(包括SOP及QFP)中，极性表示分为条状极性及孔状极性。极性反向现象在组件上并无外型瑕疵发生，主要因组件置放位置反向导致组件功能丧失，因此组件上会以标记标明极性方向，而可以利用这个标记找出极性的位置。本节分别说明条状极性的检测模型及孔状极性的检测模型。

(A)条状极性检测模型；

待测组件本体中主要包含了组件序号及组件极性两种信息，先利用二值化处理将此信息与背景分离。由于组件序号与极性的灰阶程度相同，因此需要进一步分离这两类信息；所有条状极性标记的位置，都是在组件本体的末端，因此根据这个与位置有关的特性，先以检测框设定组件本体的位置，对检测框内的图像以正投影法处理，得到图12的结果，正投影处理可以将二维图像资料转换为一维数组的数值资料，进一步利用此数值数据取其最大值的位置，即可得知极性条在组件上的位置。

(B)孔状极性检测模型；

大多数QFP组件皆以凹陷的圆孔表示极性位置，其极性圆孔凹陷的程度及孔径大小会随着不同型号的QFP组件而有所改变。

极性孔经侧向光的照射，在圆孔周围会出现白色环型光圈，因此本发明拟利用此侧光所形成的反射特性，并使用图像处理中的形态处理法(Morphology)强化所需的光环信息，进一步判断出极性孔的位置。方法介绍如下：

(a)二值化处理：对于极性检测而言，需要从图像中取得的信息是极性圆孔的有无，因此一张灰阶图像可以先利用二值化的方式将不需要的灰阶值移除。经过二值化后，可稍微将环型光圈与背景分离，但仍有部分噪声参杂其中，须进一步以形态处理运算消除噪声。

(b)形态处理：在形态处理的应用上，我们常设计一个合适的矩阵并应用特定的运算法于待处理的图形上以消除或加强某些讯号。本发明拟采用图像侵蚀(Erosion)运算法来消除噪声，以图像膨胀(Dilation)运算法来加强讯号。如此可以成功的保留大部分环型光圈讯号，并消除主要噪声。

(c)颗粒处理：由于QFP组件本体表面光滑，在侧光取像时只有凹陷的极性孔位置会出现反光的现象，本发明拟使用颗粒处理(Blob process)计算其图像中的白点颗粒所占的像素(pixel)个数，即颗粒面积(Blob Area)，作为检测区域是否有极性孔出现的依据。

(d)数值分析：颗粒面积可作为标准件的检测参数值，然而此颗粒面积除了处理后的环型光圈面积外，尚包含了未完全移除的噪声。因此在圆孔型极性检测的检测参数值设计上，应将计算后的总颗粒面积乘上一个权数，以滤除噪声所占的颗粒面积，而权数值的设定则须进一步实验才能决定。当待测件经处理后得到的颗粒面积小于检测参数值，则便可判定其为极性反向的瑕疵状况。

4.锡焊量的检测模型；

PCB上的QFP组件于SMT制程中可能产生锡量过多、锡量太少的次级瑕疵。于PCB上QFP锡量正常的锡焊点，取其灰阶图像。其检测方法简要说明如下：

(A)设锡脚间距D，锡脚宽度W，利用图像切割的方法，将包含N支锡脚的QFP组件，以S为起点，每隔(D+W)×i，(0≤i＜N，ie整数)即切割出锡焊点图像。

(B)利用上述(A)项所切割出的锡焊点图像，计算出下列的参数值。

令U_i为上层光源环境下锡焊点的灰阶度平均值，(0≤i＜N，i∈整数)

L_i为下层光源环境下锡焊点的灰阶度平均值，(0≤i＜N，i∈整数)

${\mathrm{\μ}}_1:\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{U}_i/N$ ${\mathrm{\μ}}_2:\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{L}_i/N$

$v_1:(\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{U_i}^2/N)-{{\mathrm{\μ}}_1}^2$ $v_2:(\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{L_i}^2/N)-{{\mathrm{\μ}}_2}^2$

(C)利用上下层光源，计算出锡焊点灰阶度平均值，再运用视觉处理中的分类法(Classfication)将正常锡量、锡量过多与锡量太少锡焊点区隔出来。

兹再阐述本发明的应用实例如下：

本发明发展的检测系统考量了实际生产线上的需求，程序设计包含三层式架构(A、B及C程序)、虚拟CCD(B1程序)及检测结果报表输出(D程序)，本实例将依此架构及前述的检测方法，以一PCB实例完整说明本系统操作流程，本例欲检测组件包括片状电阻、片状电容及方形扁平封装集成电路(QFP)共78个组件。

(A)建立标准组件的A程序(A-Prog.)：首先在A程序中建立标准组件数据库，步骤为将CCD移动至欲检测的标准组件后，框选标准组件图像，并设定各组件检测项目以及其检测算法。

(B)建立PCB虚拟CCD资料的B1程序(B1-Prog.)：此处设定PCB长225mm、宽230mm及CCD拍摄图像所需移动距离(如图34的B1-Prog操作画面所示)，执行时CCD会自动依序拍摄PCB的子图像，并且将所有的子图像结合为一整张完整的标准PCB信息，以建立参考模板(Reference Template)，供离线作业程序仿真真实CCD撷取图像的动作。结合完成的完整PCB图像。

(C)建立检测PCB资料的B程序(B-Prog.)：利用B1-Prog所结合的图像离线浏览PCB，框选组件于PCB上的位置，框选时可将检测范围稍微加大以便搜寻组件位置，自A-Prog所完成的标准组件数据库中选取相对应的标准组件，并选取欲检测的项目。

(D)线上检测程序的C程序(C-Prog.)：利用B-Prog产生的标准检测版资料文件，来进行整批待测PCB的检验，并产出每张PCB的检测资料与瑕疵信息。

(E)检视PCB瑕疵资料的D程序(D-Prog.)：利用C-Prog产生的瑕庇信息，来指示瑕疵组件的位置及瑕疵类别。。

本发明所提供的自动光学检测系统(AOI)具备有下列的优点：

1.品质一致性：机器不因人为的因素，如精神状态、偷懒、疏忽、疲累等，造成品质标准不一致，而让品质不良的产品过关出厂。

2.提高判断能力：有些缺陷如SMT的空焊、锡桥、锡珠等，肉眼并无法确实找出，AOI系统检测时间不但短，对于此类的瑕疵具有较高判断力，并且不会有所遗漏。

3.实时反应：AOI配合统计制程管制(SPC)的功能，可快速回馈所搜集的不良品的相关信息，实时发现制程问题并调整机台参数，以维护制程稳定性，减少不良品所造成的损失。

4.减少不经意的伤害：AOI系统为非接触式检测系统，可减少或消除手部接触产品的机会，以避免静电、手纹等对产品的伤害。

综上所述，本发明印刷电路板上瑕疵组件的自动光学检测系统(AOI)的发展，不但可以降低生产成本、提高检测速度及减少误判率，并且可以做到全数检验的层次，其效率、效能及品质的一致性远优于传统的人工检测，而现况中，顾客也渐渐将AOI视为产品品质的基本要求，因此国内产业若要增加产品竞争力，发展AOI并快速导入相信是必然的趋势。

Claims (31)

1.一种印刷电路板上瑕疵组件的自动光学检测系统，包括有一系统架构、一实务辨识以及一分类检测等三单元；该系统架构单元建立有硬件架构与软件架构，供使用者在离线与联机操作时执行实务辨识与分类检测单元；该离线作业是建立印刷电路板上待测组件的标准检测值及相关环境参数；该联机操作是执行检测印刷电路板上待测组件的瑕疵状态；其特征为：

该硬件架构包含利用至少一部个人计算机做为作业平台，用以控制一双轴载台(X-Y Table)载置图像视觉器(CCD)与LED环型光源(Ring LED Light)，移动至指定的印刷电路板(PCB)置放位置，自动定位印刷电路板(PCB)，并撷取图像至计算机；

该软件架构储存于上述硬件架构的个人计算机内；

该软件架构包含有：

建立标准组件的A程序(A-Prog.)，具有标准组件数据库，供使用者设定、修改及储存标准组件资料；

建立PCB虚拟CCD资料的B1程序(B1-Prog)，是建立参考模板(ReferenceTemplate)，所结合的图像可供给离线作业程序仿真真实CCD撷取图像的动作；

建立检测PCB资料的B程序(B-Prog.)，是依据上述A程序的标准组件数据库以及B1程序的虚拟CCD资料，建立标准检测板资料及产出训练资料，以供联机操作时分类检测各张待测PCB之用；

建立线上检测的C程序(C-Prog.)，包括先读取上述B程序产出的训练资料，并加载整批待测PCB，使各PCB自动定位，而后对待测PCB进行分类检测，并记录每张PCB检测结果资料与瑕疵资料；

建立检视PCB瑕疵资料的D程序，包括先读取上述B1程序的虚拟CCD资料，再读取上述C程序瑕疵资料的档案后，揭示出各PCB上的瑕疵组件位置与瑕疵类别，并供修复。

2.如权利要求1所述印刷电路板上瑕疵组件的自动光学检测系统，其中该双轴载台与个人计算机间设有一驱动控制器(Driver Controller)，用以控制双轴载台的移动位置。

3.如权利要求1所述印刷电路板上瑕疵组件的自动光学检测系统，其中该图像视觉器(CCD)与个人计算机间设有一图像撷取卡(Frame Grabber)，将模拟图像讯号转为数字图像讯号。

4.如权利要求1所述印刷电路板上瑕疵组件的自动光学检测系统，其中该LED环型光源与个人计算机间设有一数字转换模拟讯号控制器(Digital/Analog Converter)，能依据印刷电路板(PCB)的既定检测项目而提供既定光源照明。

5.如权利要求1所述印刷电路板上瑕疵组件的自动光学检测系统，其中图像视觉器(CCD)与LED环型光源(Ring LED Light)置放于双轴载台(XY Table)上，藉驱动控制器(Driver Controller)控制移动至指定的位置检测该印刷电路板(PCB)。

6.如权利要求1所述印刷电路板上瑕疵组件的自动光学检测系统，其中该A程序的标准组件数据库供使用者设定可检测标准组件的瑕疵种类。

7.如权利要求6所述印刷电路板上瑕疵组件的自动光学检测系统，其中取得标准组件图像资料的方式，是将图像视觉器(CCD)移动至欲检测的标准组件后，框选并撷取标准组件图像。

8.如权利要求1所述印刷电路板上瑕疵组件的自动光学检测系统，其中该B1程序是设定印刷电路板(PCB)信息，包括长度及宽度及图像视觉器(CCD)拍摄时所需移动的距离。

9.如权利要求1所述印刷电路板上瑕疵组件的自动光学检测系统，其中该B1程序可设定移动双轴载台至固定位置的距离数据。

10.如权利要求1所述印刷电路板上瑕疵组件的自动光学检测系统，其中该B1程序是供离线作业在执行实务辨识以建立参考模板时，设定选择图像结合方法的资料，包括：

(a)将双轴载台上的图像视觉器(CCD)移动固定距离，产生移动前的第一张图像与移动后的第二张图像；

(b)同一图像视觉器(CCD)位置仅固定使用同一种LED环型光源作为判断图像的依据；

(c)图像重叠区域为数值分析的区域；

(d)经由运算取得第一张图像与第二张图像的重叠区域，从第二张图像中切除。

11.如权利要求10所述印刷电路板上瑕疵组件的自动光学检测系统，其中该固定距离约为图像长宽的1/3。

12.如权利要求10所述印刷电路板上瑕疵组件的自动光学检测系统，其中在切除重叠图像时，是利用第一张图像上的重叠区域为图形比对(PatternMatching)法的辨识模版，并于第二张图像上搜寻相似区域，以从第二张图像上切除。

13.如权利要求1所述印刷电路板上瑕疵组件的自动光学检测系统，其中该B程序是从A程序的标准组件数据库中选择读取待测的标准组件资料。

14.如权利要求1所述印刷电路板上瑕疵组件的自动光学检测系统，其中该B程序在联机操作选择读取所需待测的标准组件资料时，是在实务辨识单元中采用图形比对(Pattern Matching)法，先框选记录印刷电路板(PCB)的定位特征，并记录印刷电路板(PCB)上组件的特征相关位置，藉以搜寻出双轴载台的X轴或(及)Y轴偏移量，供移动双轴载台时能补正该偏移量，以利校准定位并建立印刷电路板(PCB)自动定位数据。

15.如权利要求14所述印刷电路板上瑕疵组件的自动光学检测系统，其中该印刷电路板(PCB)上组件的特征相关位置，包括有图像相对于双轴载台的位置以及定位特征相对于图像的位置。

16.如权利要求1所述印刷电路板上瑕疵组件的自动光学检测系统，其中该B程序是能读取B1程序的虚拟CCD资料。

17.如权利要求1所述印刷电路板上瑕疵组件的自动光学检测系统，其中该B程序是能选择组件检测项目。

18.如权利要求1所述印刷电路板上瑕疵组件的自动光学检测系统，其中该实务辨识中另可采用正规化相关系数法(Normalized correlationcoefficient)，在联机操作时建立印刷电路板(PCB)的自动定位资料，及离线作业时建立参考模板。

19.如权利要求1所述印刷电路板上瑕疵组件的自动光学检测系统，其中在执行分类检测的离线作业时，是先由A程序的标准组件资料中撷取标准组件特征值，并于B程序设定检测框，以利于联机操作进行检测时，比较或比对标准组件和待测组件的相关特征值。

20.如权利要求1所述印刷电路板上瑕疵组件的自动光学检测系统，其中在执行分类检测中，当待测组件为印刷电路板(PCB)上的电容时，是于第一阶段采用图形比对(Pattern Matching)法取得待测组件的正确位置，并于第二阶段提出算法判断印刷电路板(PCB)上电容是否缺件或错件。

21.如权利要求20所述印刷电路板上瑕疵组件的自动光学检测系统，其中该图形比对(Pattern Matching)法是采用较低的允收(Acceptance)阈值，取得包含正确组件、缺件误判及错件误判等状况区块，再以标准组件与误判区块的特征差异进行分类筛选。

22.如权利要求20所述印刷电路板上瑕疵组件的自动光学检测系统，其中该算法是为黑块比率(Black Percentage)法，是利用既定恰当的光源照明，造成电容本身特征与印刷电路板(PCB)上缺件或错件图像特征的差异，以判断电容是否缺件。

23.如权利要求1所述印刷电路板上瑕疵组件的自动光学检测系统，其中在执行分类检测中，当待测组件为印刷电路板(PCB)上具有IC脚的组件时，是先以搜索检测区域中IC脚的方式，再配合图像投影(Image Projection)法来进行检测。

24.如权利要求23所述印刷电路板上瑕疵组件的自动光学检测系统，其中该搜索方式是以不变动检测区域的中心位置，进行扩大检测区域(Inflateregion)的搜寻。

25.如权利要求23所述印刷电路板上瑕疵组件的自动光学检测系统，其中该搜索方式是以IC脚二值化后呈现黑白相间的斑纹特征，而施以斑纹搜寻法(Find Stripe method)来进行定位的搜寻。

26.如权利要求25所述印刷电路板上瑕疵组件的自动光学检测系统，其中该斑纹搜寻法是以”黑-白-黑”相间的斑纹标记，于扩大检测区域中推估大约第二只IC脚出现的位置，作为斑纹搜寻比对区域的起点，搜寻出正确第二只IC脚的位置，并由已知的IC脚宽度推知第一只IC脚的定位位置，以取得正确的检测区域。

27.如权利要求23所述印刷电路板上瑕疵组件的自动光学检测系统，其中该搜索方式是为图像投影(Image Projection)的算法，包括有：

(1).框选检测区域；

(2).图像二值化处理；

(3).图像正投影处理，取得灰阶度累计；

(4).数值分析；设定检测起点、IC脚的间距、IC脚的宽度，IC脚数，则可计算出IC脚正确位置；当IC脚间二值化灰阶度的累计值过高，则判定该处发生桥接瑕疵。

28.如权利要求1所述印刷电路板上瑕疵组件的自动光学检测系统，其中在执行分类检测印刷电路板(PCB)上待测组件的条状极性的方法为：

是先利用二值化处理，使组件上标示的序号及极性与背景分离，再以检测框设定组件位置，对检测框内组件的二维图像采用正投影法转换处理成一维数组数值数据，进一步取其数值数据的最大值位置，即为条状极性位置，藉此检测待测组件上条状极性标示位置是否有误。

29.如权利要求1所述印刷电路板上瑕疵组件的自动光学检测系统，其中在执行分类检测印刷电路板(PCB)上待测组件的孔状极性的方法为：

先利用二值化处理使组件上极性圆孔的环形光圈与背景分离，进一步以形态处理(Morphology)消除环形光圈上的图像噪声；

该形态处理是采用图像侵蚀(Erosion)运算法来消除环形光圈上的图像噪声，并以图像膨胀(Dilation)运算法来加强环形光圈的图像讯号；

并进行颗粒处理(Blob process)，是计算环形光圈的图像中白点颗粒所占的像素(Pixel)个数，即颗粒面积(Blob Area)，作为检测区域是否有孔状极性出现的依据；

接续进行数值分析，是计算上述像素(Pixel)的总颗粒面积乘上一个加权数，以滤除噪声所占的颗粒面积，即取得待测组件的颗粒面积，以判定该待测组件上的孔状极性是否为反向的不良品。

30.如权利要求29所述印刷电路板上瑕疵组件的自动光学检测系统，其中当取得的待测组件颗粒面积小于检测参数值时，即判定该待测组件上的孔状极性为反向的不良品。

31.如权利要求1所述印刷电路板上瑕疵组件的自动光学检测系统，其中在执行分类检测印刷电路板(PCB)上待测组件的锡焊量的方法为：

(1)设定锡脚间距D及锡脚宽度W，利用图像切割的方法，将包含N支锡脚的待测组件，以一起点每隔(D+W)×i距离即切割出锡焊点图像；

(2)利用上述锡焊点图像，计算出下列的参数值：

令U_i为上层光源环境下锡焊点的灰阶度平均值，(0≤i＜N，i∈整数)；

令L_i为下层光源环境下锡焊点的灰阶度平均值，(0≤i＜N，i∈整数)；

${\mathrm{\μ}}_1:\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{U}_i/N$ ${\mathrm{\μ}}_2:\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{L}_i/N$

$v_1:(\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{U_i}^2/N)-{{\mathrm{\μ}}_1}^2$ $v_2:(\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{L_i}^2/N)-{{\mathrm{\μ}}_2}^2$

(3)利用上层光源及下层光源计算出锡焊点灰阶度平均值，再运用视觉处理中的分类法(Classfication)将正常锡量、锡量过多与锡量太少锡焊点区隔出来。

Images