CN100518488C - 具有元件布局检查功能的抓取式设备 - Google Patents

Abstract

由抓取式设备(301)实行改进的元件布局检查和确认。这些改进包括：预期元件布局位置的立体成像；强化照明，以促进在置放管咀(208，210，212)附近的有限空间内提供相当高功率的照明；光学装置(380)使图像获取设备(300，302)能够从相对于放置位置平面成一定角度观察放置位置(360)；利用以商业上适用的CCD阵列快速获取图像的技术，使放置前和放置后图像的获取不致明显影响整个系统；图像处理技术可以提供元件检查和确认的信息。

Description

具有元件布局检查功能的抓取式设备

本申请系申请号为CN 02826679.X，申请日为2002.11.12，申请人为赛博光学公司，并且题为《具有元件布局检查功能的抓取式设备》的分案申请。上述在先申请要求优先权，所述优先权的-

在先申请国        在先申请日        在先申请号

美国              2001.11.13        60/338,233

美国              2002.2.13         60/356,801

美国              2002.4.22         60/374,964

技术领域

抓取式设备通常用于制造电路板。通常，把空白的电路板提供给抓取式设备，然后抓取式设备从元件供给装置抓起电路元件，并将这些元件安置在电路板上。通过焊油或粘结剂暂时将元件保持在板上，直到随后的步骤为止，在所述随后的步骤中，熔化焊油或者粘结剂完全固化。

背景技术

抓取式设备的操作富有挑战性。由于设备的速度是和生产效率相对应的，所以抓取式设备运行得越快，制造电路板所需的成本越少。此外，布置的精度是极为重要的。许多电气元件，如芯片电容器和芯片电阻器都相当小，必须将它们准确地放置在同样小的布置位置。另外一些元件虽然较大，但具有一定数目的引线和导线，这些线相互分开的间距相当窄小。这样一些元件也必须被准确定位，才能保证每根引线都放置在合适的焊盘上。因而，抓取式设备不仅操作极快，而且放置元件也必须极其准确。

为了提高电路板的制造质量，通常在安置的布局操作之后，并在焊剂回流之前和之后，都要对全部填充的或部分填充的电路板进行检查，以识别布局不正确的或遗漏的元件，或者可能发生的各种错误。完成这样一些操作的自动系统是非常有用的，它们可以在焊剂回流之前帮助识别元件布局的问题，使得返工修改更加容易，并且可以在焊剂回流之后帮助识别有缺陷的电路板，这样的电路板是返工修改的候补对象。这种系统的一个例子的商品名称型号为KS 200，可以从CyberOptics Corporation of GoldenVelley，Minnesota得到。这种系统可用于识别如下问题：对准误差和转动误差、遗漏和跳出的元件、横列定向(billboards)、板上元件标记(tombstones)、元件缺陷、极性错误，以及元件错误。在焊剂回流之前识别出误差有一系列优点：焊剂回流较容易、便于进行闭环制作的控制、存在于生产流程中的产生误差与修复之间的工作量较少。虽然这些系统可提供非常有益的检查，但它们却要占据设备内的空间，还需要占据编程时间，还需要努力进行维护等等。

在授予Asai等人的美国专利US 6,317,972中公开了一种相当近期的尝试，有利于在抓取式设备内部进行布局后的检查。这篇参考文献报告了一种用于安装电气元件的方法，其中，在元件要布局之前获得安装位置的图像，将这个图像与元件布局后的安装位置图像进行比较，以便在元件级别检查布局操作。

虽然Asai等人公开的内容标志着一种尝试，采用在机器内的元件级别的检查，但Asai等人公开的内容主要涉及转台型抓取式设备，其中布局位置并不沿x和y方向移动，而只是简单的上、下移动。这种系统中，在管咀(一个或多个)附近设置相当大而笨重的成像系统，对多个布局事件成像，而且对于布局设备的速度或设计布置只有一点相反的影响或者根本没有影响。对比之下，关于桥式抓取式设备(Asai等人给予相当小的关注)，管咀至少沿x和y方向之一移动。这样，用来为多个布局事件成像的光路也沿x和/或y方向移动。因此，在桥式抓取式设备中，光学系统自身的大小和质量(惯性负荷)可能会阻碍桥式抓取式设备在置放头上的使用。进而，由于桥式抓取式设备的置放头沿x和/或y方向移动，因此，重要的是，要减小光学系统的尺寸，以便能够减小光学系统与抓取式设备其它部分碰撞的几率。

对于具有沿x和/或y方向移动置放头的抓取式设备而言，质量增加是一个问题，因为惯量增加了。实现一定的设备生产效率，部分取决于置放头的加速度。如果通过抓取式设备的电-机系统提供一定的动力，则质量的增加将会使加速度减小。

由于一系列原因，固定到移动头上的光学系统的尺寸，即它的体积和/或形状也会出现问题。一个原因是，可能将移动头设计成使得在环绕它的工作空间移动时，恰好与它的周围环境相配合，不会与任何东西发生碰撞。要增加突出于现有的移动头结构存在空间之外的东西，必须十分小心地进行，其中要考虑到发生物理碰撞的可能性。移动头的尺寸和/或形状可能成为问题的另一个原因是，一般情况下，会有相当数量的电缆、管道、电机，以及其它结构要安装到移动头上。增加可能与设备的安装或维护发生冲突的某些东西通常是不利的。

为了在抓取式设备中提高元件级别布局检查的可行性，有益的作法是，对于以下各方面进行改进：光学系统、照明系统、图像获取，以及图像处理，同时对于生产效率和设计不得有不利的影响。另外，有益的作法还有，在转台式和桥式的抓取式设备中都提供可以实现的光学系统和技术。

发明内容

本发明的各个实施例关于由抓取式设备执行的元件级别检查进行了改进。这样的改进包括：预期布局位置的立体成像；被加强的照明，以便于在所述布局管咀附近的有限空间提供相当大功率的照明；使图像获取设备能从相对于布局位置的平面成一定角度的地方观察布局位置的光路，从而减小这种图像被元件挡住的可能性；利用商业上适用的CCD阵列迅速获取图像的技术，以使前、后图像的获取不明显影响系统生产效率；提供元件检查和确认信息的图像处理技术。本发明的这些和其它优点从下面的描述中将变成显而易见的。

附图说明

图1是可实施本发明的实施例的抓取式设备示意图；

图2是按照本发明实施例的立体图像获取系统简化示意图；

图3是说明操作本发明一种实施例抓取式设备的方法流程图；

图4是说明如何按照本发明一种实施例使用和/或组合各种图像以提供元件布局检查的方块图；

图5是本发明一种实施例的照明系统示意图；

图6是本发明一种实施例安装到发光二极管(LED)上的光管的放大视图；

图7是采用沙伊姆普夫卢格(Scheimpflug)条件的抓取式设备的图像获取系统的光学装置的示意图；

图8是本发明实施例所用的行间传输CCD阵列的示意图；

图9是本发明一种实施例的使用电子快门的图像获取系统的示意图；

图10是本发明一种实施例的使用行间传输CCD阵列的获取多个图像的方法的流程图；

图11是本发明实施例所用的帧传输CCD阵列的示意图；

图12是本发明一种实施例使用多个CCD阵列和一个共用的通过分束器的光学装置的图像获取系统的示意图；

图13是本发明一种实施例用以产生一个布局位置的多个影像的多个图像获取系统的俯视图；

图14是多光路成像系统的示意图；

图15是本发明实施例的在所得到的便于图像比较的图像中识别位置的方法流程图；

图16是像素及其邻接周边的示意图；

图17是本发明一种实施例的用于分析图像以提供元件布局确认方法的示意图；

图18是本发明另一实施例的用于分析图像以提供元件布局确认方法的示意图；

图19是本发明又一实施例的用于分析图像以提供元件布局确认方法的示意图；

图20是本发明一种实施例的用于分析图像以便实现数值/类型确认、X，Y，θ位置对准测量，以及极性确定方法的示意图；

图21和22是本发明实施例的校准目标示意图；

图23A-23G是本发明实施例所使用和/或所产生的典型图像。

具体实施方式

虽然针对桥式抓取式设备描述本发明的实施例，但本领域的普通技术人员应该认识到，本发明的实施例还可以应用到其它形式的抓取式设备。

图1是可应用本发明的实施例的典型抓取式设备201的示意图。抓取式设备201通过传送系统或传送带202接收一个工件，如电路板203。然后，置放头206从元件供给装置(未示出)获得要安装在工件203上的一个或多个电元件，并且沿x、y和z方向移动，以便沿正确的方位将元件放置在工件203上的正确位置。置放头203可以包括传感器200，当置放头206把元件从抓取位置移动到放置位置时，传感器200可以在由管咀208、210、212夹持的元件下方通过。传感器200使抓取式设备201能够观察到由管咀208、210、212夹持的元件的下侧，从而可以在元件从元件抓取位置移动到放置位置的同时实现元件定向，并且在某种程度上可以实现元件检查。别的抓取式设备可以使用能够在一台静止摄像机上移动从而能够使元件成像的置放头。置放头206也可以是一个俯视照像机209，俯视照像机209通常用来在工件203上定位基准标记，从而可以很容易地计算出置放头206相对于工件203的相对位置。

图2是本发明实施例的置放头示意图。图2表示一对图像获取设备300、302，用于在将元件304自管咀210放在位置360之前获得元件304之放置位置360的图像。在放置元件304之前，图像获取设备300和302获得工件304在工件203上的放置位置360的图像，并简化此之后的过程。比较这些放置前、后的图像，以便进行元件级别的检查和确认。由于通常是在管咀，比如管咀210在放置位置上方夹持元件304时实行获得放置位置的图像，所以重要的是，要能够为放置位置360成像，同时要使来自这个元件自身，或者可能已经安装在工件上的其它的附近元件的干扰减至最小。这样，最好使设备300和302使用的光轴能够相对于工件203的平面倾斜成一个角度θ进行观察。为了补偿设备300和302观察放置位置360的角度θ，最好使设备300和302适于使用沙伊姆普夫卢格(Scheimpflug)条件。一种可以使用沙伊姆普夫卢格(Scheimpflug)条件的特殊方法是适于使每个设备300和302内所要设置的区域阵列检测器相对于对应的设备300、302的光学装置的光轴成一定角度。在这种条件下，使倾斜的目标平面(放置位置)正确地向倾斜的图像平面(在设备300、302内的区域阵列检测器)成像。

如图2所示，设备300、302最好关于z轴也隔开一个角度φ，从而使设备300、302可提供放置位置360的立体图像。这样的立体成像有一系列好处，下面对此还要作更加详细的描述。在放置位置前面的条件和后面条件的立体成像可以利用x-y数据产生所要的高度图形。立体成像的两个优点是：可产生预期元件放置位置的深度图形；以及使元件影像沿着视线被其它较高的元件挡住的可能性减至最小，或者至少是有所减小。如果元件影像被挡住一点，通常还可以用其它摄像机观察到。

设备300、302当中的每一个最好还包括非结构式的照明体306和结构式照明体308。虽然图中表示的非结构式照明体306设置在每个设备300、302上，但是在一些实施例中，还可能提供单独安装的单个非结构式的照明体。

图2所示的系统提供一系列特征，可以单独使用或者组合使用这些特征，以给出优良的元件检查。有一种方式可以使用这种系统，即采用结构光，以重构来自放置位置360任何一个影像的高度。另一种方式是，简单地使用结构光作为照明源，在放置位置360的表面上提供光的图形，然后使用已知的关联算法，例如由Rosenfeld，A.和A.C.Kak报告的算法(1982，“数字图像处理”，第2卷，科学出版社，纽约)，关联从不同的影像获得的两个图像之间的结构照明，并从两个立体图像计算电路板的表面高度(在放置之前或者在放置之后)的图形。如这里所用的，所述结构光包括：正弦图形、光点或形状的规则阵列、光的随机图形，甚至包括光的伪随机图形。有时，当工件表面的一些部分没有出现在两个图像中的一个图像上时，也有一些管咀结构情况。可以布置附加的摄像机，观察可能从一个或多个图像中遗漏的工件表面部分。作为选择，还可以从其它影像(放置之前的或者放置之后的)拼接出遗漏的图像部分，获得必要的图像，从而或者提供布局的质量信息，或者提供要得到高度信息所必需的立体信息。

图3是获得图像，从而可以在抓取式设备中实现元件级别检查的方法的流程图。在步骤350，激励一个或多个非结构式的照明体(如照明体306)，以便在元件放置之前照明预期的放置位置。在步骤352，当用非结构式照明体照明设备300、302时，每个设备300、302获取放置位置的一个预放置图像。优选地是，使设备300、302彼此同时或者基本上同时地获得它们各自的图像。如这里使用的，基本上同时意味着在时间上足够地接近，以致于物理系统在图像获取之间没有明显的移动。这样，在步骤352实现获得放置前立体图像，去掉激励非结构式的照明体。最好对于放置前检查，可以使用在预期的元件布局位置的结构式照明的放置前立体图像(一个或多个)。这样的操作包括：在适当位置涂敷焊油，以便接纳相关的元件引线；没有位碎屑或其它不期望的材料被放置在目标放置；或者任何其它可能期望的检查操作。

从每个图像获取设备可以获取结构式照明图像，以便在元件放置前获得预期的元件布局位置的三维图像信息。一旦每个图像获取设备使用它自已的结构式照明体，则该图像获取设备随后就应该获得它的对应图像，以使一个图像获取设备的结构式照明不会干扰另一个图像获取设备的结构式照明。然而，如果使用适当的结构式照明体，使每个照明体的结构式照明在处理过程中都是很清晰的，则每个图像获取设备都可能同时地获得它们对应的结构式照明图像。

在步骤354，管咀(如管咀210)元件放在它的预期元件布局位置。在步骤356，图像获取设备300、302再次获得放置位置的立体图像，放置后的立体图像。最好在步骤358，可以激励结构式照明体308，当元件304座落在它的预期元件布局位置时，在元件304上进行结构式照明。于是，当用结构式照明体照明预期的元件布局位置时，设备300、302可以随意获得下一组立体图像(方框359)。任选的步骤358和359，便于产生期望的元件布局位置的放置后的3维基准点图像。

图4是如何使用各个照明体和图像获取设备产生各种图像以及这些图像如何组合，以给出重要检查信息的示意图。如图4所示，设备300包括非结构式的照明体306、摄像机310和结构式照明体308。设备302包括非结构式的照明体306、摄像机312和结构式照明体308。有如从图中可见者，设备300的摄像机310和非结构式的照明体306相互协作，产生放置前灰度图像314和放置后灰度图像316，然后，利用这些图像产生对应于设备300的影像的灰度差(Δ)图像318。此外，摄像机310和结构式照明体308协同动作，以产生设备300的影像的结构图像320。

设备302类似于上面关于设备300所述那样产生图像322、324和326，但这些图像来自于不同的影像，因此便于进行立体成像。具体来说，图像322的获得最好与图像320的获得同时进行，或者基本上同时进行。类似地，图像324、326的获得最好与图像316、314的获得同时进行，或者基本上同时进行。可以组合分别从设备300、302的不同影像取得的两个结构式照明图像320和322，以提供3维基准点图像328。此外，可以组合由设备302获得的灰度图像，以提供灰度差图像330。使用3维基准点图像32来校正用于投影的灰度差图像318、330中的每一个，由此分别形成经过投影校正的第一和第二灰度差图像332、334。然后，将经过投影校正的灰度差图像332和334用于一系列元件布局检查。这样一些检查的实例可以包括：元件存在与否的检查，如方框336所示；图形/字符的识别，如方框338所示；部件几何条件的分析，如方框340所示；图像对称性分析，如方框342所示。在元件304上的图形/字符识别338本身便于确认元件304的正确类型的数值，如方框344所示。此外，通过分析部件的几何条件，可以测量和确认x、y和转角θ的对准情况，如框346所示。最后，如方框342所示那样分析图像的对称性，可以提供分析元件极性的方便处理方法，如方框348所示。

照明

下面有关照明的方案为本发明的实施例提供附加的优点。事实上，如下公开的照明的各方面内容包含本发明的各方面内容，但并非一定要使用上述立体成像技术来实施。

由于需要高分辨率、短的图像获取时间、向着摄像机的较低目标物体反射系数以及其它原因，以致要得到足够好的图像质量，通常要求有相当明亮的照明。发光二极管(LED)通常是一个好的选择，因为它们在一般情况下是可靠、高效、廉价和紧凑小型的。然而，在抓取式设备中，放置点附近的空间受到严格的限制，因此在放置点附近定位所需的发光二极管是极其困难的。

在这种情况下，有益的作法是使用光管，特别是光纤导管，用以把定位在远处的发光二极管的光传送到目标区域。在抓取式设备中使用光管的优点包括：为了明亮照明所需的足够大量的发光二极管在放置位置附近安装所需的空间非常大；在放置位置附近，从放置位置除去发光二极管光源，可减小所述管咀附近的发热(因热膨胀可改变元件、管咀和任何其它的受热材料的尺寸，所以管咀附近的发热是一个问题)；可以对发光二极管进行安排以优化包装；以及光纤导管是柔性的，可以对光纤导管进行适当安排，以便能够关于具有静止发光二极管光源的移动的置放头传送光。

许多应用都要求有经适当布置的照明，以揭示进一步处理所必需的特征或细节。在有些情况下，或者为了有效地利用空间，或者为了更好地匹配成像几何条件的某种固有的对称性，期望对于照明进行安排，以补充对称性。例如，使用大的环形光在球形焊珠上形成均匀的圆形特征，或者使用直线形的照明体，以便大大减小行扫描摄像机的尺寸。

商业上适用的照明结构通常只是分开包装的长方形的或圆形的阵列或芯片级别的发光二极管阵列。虽然这些发光二极管组件中的任何一个都可以安排成任意的结构，但分立组件的尺寸限制了这种安排，只能粗略地大致间隔开；芯片级别的照明体阵列通常被限制成平直的平面。不管在哪种情况下，实现任何一种安排可能都是一种复杂的和昂贵的负担。

与柔性光纤导管上耦合的发光二极管或其它合适的光源，提供一种可予改进的和简单方便的技术，实现几乎是任意的照明结构。使光源具有预期位置和取向的复杂性在于如何固定光纤的输出端。由于适合用作光管的光纤通常是十分柔软的，并且具有相当小的直径(0.25-1.0mm)，所以，通过把光纤导管的输出端固定到一个或多个经适当加工的构件上，就可以实现这种安排。

光纤导管到发光二极管的有效耦合一般要求在发光二极管组件或模块与光纤输入端之间有一个透镜。每个发光二极管透镜和光纤必须保持严格对准。整个组件变得略显有些庞大，不太适于预先制定的安排，特别是使用单件透镜阵列的条件下，更是如此。

按照本发明实施例的照明部件的一种方案包括：使光纤导管输入端直接耦合到发光二极管。

图5是说明本发明实施例照明部件的各方面内容的示意图。图5表示相对于电路板203设置的管咀210和图像获取设备300，因此当放置位置360受到照明系统306照明时，设备300获得放置位置360的图像。照明系统306最好为单个点光源的阵列，例如具有多个单个发光二极管364的发光二极管阵列362。适当数目的光管366与单个光源364耦接，把照明从阵列362传送到靠近放置位置360的位置。优选地，使光管366的输出端368耦合到固定装置370附近，固定装置370可以按照任何期望的形式安装光管366的输出端368。输出端368可以是成束的、排列好的和/或仿形的，以便可以按照适当角度并在适当位置向放置位置360引导照明，从而可以在图像中提供适当的亮度和/或对比度；并且可以提供期望的图像特征形状或外观。此外，输出端368可以是成束的、排列好的和/或仿形的，以适应置放头的尺寸、空间和其它的机械限制。

图6是与发光二极管光纤导管366耦合的输入端368的示意图。在发光二极管364的组件或封装的一个部分制成孔369，用以容纳光管366。以这样的方式，可将光纤端368放置在距发光二极管模块很近的地方，使几何耦合效率很高。另外，可以将折射率匹配的粘结剂填充在光纤端368与发光二极管丙烯封装或组件372之间的空间370。然而，如果对于光管366使用丙烯光纤，则光纤366和发光二极管组件可以简单地融合在一起，导致损耗降低。这种安排有相当高的耦合效率，不需要耦合透镜。不过，对准是固定形成的，并且是稳定的，而且可为优化包装进行设计。例如，允许光纤以相当多的角度离开组件。进而还有，可将发光二极管和光纤组件装入盒内以增加牢固性。

在有些实施例中，所述阵列362中的所有的发光二极管全是一种颜色。优选地，图像获取设备可以包括一个滤波器，这个滤波器排斥环境光，但可通过波长为照明波段的光。然而，显然期望可以使用几种颜色的发光二极管以及与其一起使用的一个或多个合适的滤波器。

光路

按照本发明实施例的照明系统，不仅必需是紧凑小型的和有适应能力的，而且在检查摄像机本身在尺寸、形状和观察接近要成像的区域的程度等方面，也必须能适应严格的限制。虽然最好是将成像元件和照明元件两者组装成单个集成和可相互协作的单元，但这样的集成对于实施本发明的实施例并非必要的。

如以上所述，图像获取系统300、302最好使用倾斜的图像平面，以使设备300、302能够使用相当大的观察角，并且向着成像阵列准确地成像这些角度。使用这样的倾斜图像平面的一个例子是沙伊姆普夫卢格(Scheimpflug)条件。虽然可以与远心光学装置和非远心光学装置一起使用这种技术，但是本发明的实施例最好使用非远心光学装置。其原因只在于，对于远心成像光学装置的要求之一是远心成像光学装置的目标元素必须大于视场。

图7是在设备300、302之一或两者中优先采用的光学系统示意图。光学系统380是非远心光学装置，允许物镜元件382的直径小于视场。另外，由于光学系统380是非远心光学装置，可以使高度H减小，与远心光学系统相比，可以提供紧凑的摄像机。为了增大对于放置位置360的视线的倾斜接近程度，和/或使光学系统的直径减至最小，在物镜元件382和放置位置360之间插入光阑384。此外，还可以使用光阑384协助阻断环境光。可以使用反光镜386弯曲光轴，如图7所示。优选的作法是，将光阑384定位在物镜元件382和反光镜386之间。

使用非远心光学装置时，建议执行一种校准过程，以便可以将x、y像素地址映射成在所预期的元件布局平面上的x、y位置。为此，在布局区域平面上设置校准目标，这个平面上的所述目标具有一系列已知的指示值，最好是具有已知间隔的、尺寸已知的一些方格。然后，观察在布局区域的平面上的已知的校准目标，以使系统能够对于3×3均匀投影变换矩阵求解。这个矩阵把x、y像素地址变换成在布局平面上的x、y位置，最好以毫米为单位。这种变换还对比例刻度和投影畸变予以校正。此外，使用两个或多个摄像机有利于立体视觉校正，为的是从可在两个或多个摄像机中观察的特征推导出深度(z)数据。Z数据用于把具有高度的特征沿垂直方向向下投影到所述布局平面上。图21表示一个优选的校准目标。通过对图像进行阈值处理，将校准目标的图像处理成二进制图像。为了定位这些黑色方块，进行连接性能分析。然后，以亚像素精度使这些线精确地拟合到灰度图像中每个方块的每一侧。然后计算所有相邻线的交点。如果选定数目的方块在图像中是可见的(例如30个方块)，那么，方块的数目乘以角的数目(30×4)就可以提供相当大数目的点(如120个点)，在这些点可以以亚像素精度计算x、y的值。然后，使这些位置与以毫米为单位校准目标上的已知角位置比较，以计算校准矩阵。

图22表示在处理过程中校准目标的图像，其中的加号表示“光泡“中心，并且在长方形方格的边上清晰可见线拟合的布局。为了处理极端的投影，这个算法从图像中最大的光泡(由标号600表示)开始。通过包括最靠近最大的方块、然后包括越来越多的方块直到在最后的计算中使用了网格中的所有方块时为止，使校准矩阵连续地得以细化。校准步骤如以下所述。首先，从图像中提取所有的光泡。放弃被剪断的光泡，并且定位具有最大面积的光泡。然后，粗略地定位最大面积光泡的4个角。使用线拟合法，把这些线拟合到大方块的四个边。然后，这个系统利用转置、换算和校正，对于3×3均匀变换矩阵进行求解，把像素单位变换为毫米单位。这是相当粗糙的估算，使方块的二维阵列在图像中正交。然后，产生指向先前找到的光泡的光泡指针的两维网格。这是基于校准网格中已知的毫米间隔进行的。然后，从网格中最大光泡中的(+/-)行、(+/-)列的光泡(可能有多达9个光泡)开始一个循环。对于循环中的每个光泡，使该光泡与最大光泡的四个角一起使用，以便对于新的3×3像素-毫米变换进行求解。使用被细化的变换，可以重新产生指向较早发现之光泡的光泡指针的2维网格。然后，在由(+/-)行、(+/-)列的光泡当前所用的光泡周围扩展可用的网格。如果网格的扩展已经填满，则循环结束。否则，对下一个光泡继续进行循环。循环一旦完成，使用在循环执行期间计算出来的最终校准矩阵变换光泡中心。然后，对于网格中所有的光泡的所有四个边进行线拟合，并且通过对于所有相邻拟合线的交点进行求解，对于网格中的所有光泡计算这些角。最后，使用在图像中找到的所有角以及它们的预期位置，知道了校准目标中方块大小和网格间距，即可求解最后的校准矩阵。

对于立体视觉进行校准，可以从使用两个或多个摄像机观察到的特征中提供深度数据。通过执行上述校准两次，可以实现具有重叠视场的两个或多个摄像机的校准。在与布局平面重合的校准目标上进行校准以后，使用较高的校准目标(具有已知的高度)并重复进行校准。通过分析在每个摄像机图像中因校准目标的不同位置所引起的图像特征空间移动的方向和数值，并且比较摄像机之间的移动，即可确定深度。距摄像机的距离反比于图像移动的数值。

图像获取

一般地说，本发明的实施例获得所需元件布局位置的两个或多个相继的图像(即放置前的和放置后的)。由于布局发生的相对较快，并且由于不希望降低设备的生产效率，有时必须极为迅速地获得两个相继的图像，因为置放头与电路板之间相对运动的停止是极其短暂的。例如，在约10毫秒的时间间隔内必须得到所述的两幅图像。

按照本发明的各的方案，可有不同的方法迅速获得多个相继的图像。一种方法是使用商业上适用的CCD设备，并使它们按非标准方式工作，可按比从设备中读出速率更快的速率获取图像。另一种方法是使用多个CCD阵列通过公共的光学装置观察期望的元件布局位置。

目前有两种通用的CCD阵列结构：行间传输CCD阵列(如图8所示)和帧传输CCD阵列(如图11所示)(这里分别称之为IT和FT)。这两种类型可以综合成一种设备，这样的设备包括图像区和存储区，图像区积累的电荷量与其曝光量成比例，而存储区则与光是屏蔽的。CCD的图像区是图像元(以下称之为像素)的两维阵列。存储部分以及图像如何传送到存储部分以及通过存储部分是区别这两种设备类型的重要因素。在行间传输CCD中，在几个时钟周期内整个图像从图像部分传送到靠近像素的存储部分各处，而帧传输CCD从图像部分到存储部分传输图像是一次传输一行。

行间传输CCD390的动作通常是按照以下顺序发生的。首先，图像区复位，清除任何残余电荷的像素，如图10中方框410所示。一旦解除复位，像素对光作出响应开始积累电荷，如方框412所示。在适宜的曝光时间后，在几个时钟周期内，阵列的整个图像部分积累的电荷传送到阵列的存储部分，如方框414所示。图像一旦进入存储部分，图像就受到保护，不受光的侵蚀，可以曝光下一个图像。由于第一帧图像传送进存储位置是在几个时钟周期内发生的，因此在获取每帧图像之间的时间延迟可能小于100微秒。存储部分中第一个图像的每一行随后传送到水平寄存器396，在这里移出每个像素，一次一个(或者对于多分支设备可为一次几个)，并使每个像素数字化，如方框416所示。一旦第一图像计时时间到，可以计时第二个图像。

从本质上看，CCD的帧速率随着图像中行数的减小而增加。对于如图7所示的图像几何条件，图像的长宽比在倾斜方向上加长。由于在这个方向上不需要全图像，所以可以减小这个方向的分辨率(即行数)。实现减小图像行分辨率的方法是，把在CCD存储部分中的任何不希望出现的行传送到水平寄存器396，并且这些行不移位。一旦将所有不希望出现的行都计时于水平寄存器396中，水平寄存器396移动它的整个长度，以便在将第一行预期的图像从存储部分394传送进水平寄存器396之前清除任何残余电荷。因此，帧时间减小量等于不期望的行数乘以从水平寄存器移出一行所需的时间。

另一种通用类型CCD设备是帧传输CCD阵列。按照本发明的实施例，也可以使用这种类型CCD阵列。这种设备的操作(如图11所示)按如下顺序发生。首先，复位图像区452，清除它中间的残余积累电荷。一旦解除复位，构成图像区452的像素开始对于光作出响应，以积累电荷。在适当的曝光时间后，在每个像素中积累的电荷沿垂直方向移动进入存储区454，一次移动一行。不必从图像区向存储区移动所有的行，要移动的第一行必须是最下边的一行。另外，重要在于要说明，包含图像的未移动部分的像素要继续对入射光曝光，因此，要受到这种光的侵蚀，这种情况下是在垂直方向。因此，帧传输设备最经常使用的环境是有某种能够控制光抵达检测器的时间以及光是否能抵达检测器的外部装置的那种环境。

存储区454中的图像适于读出，很像行间传输CCD结构。然而，关键的差别在于，因为存储图像的每一行都垂直移动，从而给一个或多个水平读出寄存器456加载，因而设备的光敏部分也垂直移动。这就意味着，当设备的光敏区正在给要保留预备后来读出的图像曝光时，不可能发生存储图像的读取。有关在帧传输CCD阵列上高速获取多个图像的进一步的细节，可见共同待审查的美国专利申请No.09/522,519(2000年3月10日提交，题目是“利用抗振动视频捕获的检查系统”)。

如上所述，沿着图像的一个轴，不必使用全图像分辨率。因此，覆盖布局区所需的行数小于图像阵列中的列数。通过适当地取向所说的阵列，只有代表布局位置的行才需要传送到存储区内，这样就进一步减小了图像获取之间所需的时间。在小于正常规定的帧周期时间间隔内，利用已知的CCD设备有可能得到多个图像。与控制曝光第一图像后落在设备上的光的方法一起使用，这种图像获取是很便利的。

为了防止侵害第二图像，必须保证：当第二图像在第一图像的光敏部分中等待第一图像从存储区读出时，只有可忽略的光抵达CCD。在这种情况下，可以在第一图像已经传送到存储区后的任何时间开始第二图像的曝光，其中包括极短的时间。

解决这个问题的一种方法是，使用电控光快门控制落在CCD阵列上的光。电控的光快门包括(但不限于)液晶光阀、微通道空间光调制器，以及电-光的光开关。

图9示出一种这样的电快门402，它设置在行间传输CCD阵列390与透镜404之间。下面参照附图10所示的流程图描述如图9所示的系统的工作过程。

在步骤410，当系统初始化时，控制信号也被传送到电快门，以开启快门，借此使光通过，同时还传送一个信号，以复位CCD390的像素。在第一图像已传送到阵列390的存储部分后，如方框414所示，光敏像素准备好开始获取新图像。在经过适当的积分周期后，一个信号传送到电快门402，使快门402关闭，阻止光通过，如方框422所示。在方框424时，结束从阵列390读出第一图像，控制进至方框426，在这一步骤，第二图像从像素392传送到存储阵列394。最后，在步骤428，从阵列400读出第二图像。

另外，使用具有帧传输CCD阵列的电快门，在迅速进行的连续过程中也能获得两个全分辨率(所有行)的图像。为此，复位所说的区452；使区域452曝露于第一图像；阻挡落在光敏区452上的附加光；尽可能快地逐行移动所得的图像，使其进入存储区454，所说的这个最终的图像只由设备的垂直传送循环速度限定；最好再次复位光敏区452；使光敏区452曝露于第二图像；再次阻挡落在光敏区452上的附加光；然后逐个像素地、并且逐行地读出两个图像。

可以看出，可将这种处理方法扩展到快速获取多于两个的多个图像，但为了实现这种情况，要求每一个图像具有小于100％的可利用的行。例如，为了迅速连续获得相同大小的3个图像，图像只限于全图像尺寸的一半。

控制CCD曝光的另外解决方案包括：控制成像系统本身的照明和光环境。一种控制光环境的方法是，通过控制照明体的波长，以保证这种波长在一个很窄的波长范围内，从而使环境光的影响效果减至最小，并在CCD前方设置一个滤波器，对于这个滤波器进行设计，使其可以排除不在照明体波长范围内的光。当使用按照这个实施例的系统的时候，摄像机的放置环境应该不包括落在这个带通滤波器的波长内的环境光。因而，阵列内的像素只对外部照明体敏感，这个照明体是由摄像机控制的，并且与CCD的曝光同步地闪光。

控制环境光的另一种方法是不控制照明体的波长，而提供尺寸足够小的光阑，或放在光学装置系列中的中性滤光片，从而可以将环境光减小到相当不明显的水平。因为环境光减小了，所以，可在适当的时间并在适当的持续时间内选通照明体，即使存在小的光阑或中性滤光片，也能提供足够的光为像素曝光。

图12表示可用于设备300、302中任何一个或设备300、302两者的、在一个时间间隔可获得多个图像的另一种安排，它的帧速率可能超过市场上可购得的CCD摄像机的帧速率。具体来说，系统470包括包括一对CCD阵列472、474，它们都耦合到电路476，电路476还控制照明体478。两个CCD阵列472、474是光学装置系列的一部分，其中使用分束器480的光学装置系列允许两个CCD阵列472、474通过透镜482观察目标平面。虽然现代彩色CCD摄像机中使用了类似的结构，其中通常包括3个不同的CCD阵列，并且每个阵列接收不同波长段的光，但不会相信这种设备已被用于能够获得多个在时间上彼此极其接近，彼此却不是同时发生的基本上是单色的影像。如果不使用同时获得图像的每个CCD阵列(像在彩色CCD摄像机的情况下)，还可以顺序触发每个CCD阵列，以便在视场中放置目标之前、之后、以及这期间的任何时候捕获图像。有如所示出的，电路476耦合到高速数据总线484及触发信息源486；所述触发信息源486最好包括合适的位置编码器。应予说明的是，本实施例的各个方面可与上述高速图像获取结合起来，使每个CCD阵列的操作都能够以快于从每个阵列读出速率的速率获取图像，有效并且快速地捕获超过两个图像的多个图像。

虽然参照附图2描述的系统有一对摄像机用于立体成像，但还可以使用附加的摄像机和照明系统，以得到另外的好处。因此，本发明的一个方面包括使用一个检查目标的多个补充影像，影像中既有重叠区又有非重叠区。

多个影像可以完整地覆盖目标。任何影像的非重叠区填入其它所有影像没有的信息。这对于影像通常不是取自正上方的检查应用是特别重要的，因为倾斜的影像要被挡住一部分。

可以使用同一个目标的多个不同的影像产生唯一的信息，这个信息是只从一个图像得不到的。(1)影像的重叠部分提供冗余数据，以改进共用区中特征的识别。(2)可以直接地或通过某种特定的准备阶段(如结构式照明)导出唯一的信息，比如高度。

通过下述给出多个图像：

1)完全分开的照明体、光学装置和检测器；

2)完全分开的光学装置和具有共用照明的检测器；或

3)具有共用的光学装置和照明的分开的检测器。

最简单的结构由多个相同的全套的“摄像机”(检测器、光学装置和照明)组成，它们的视场基本上是重叠的，并且从所有的侧面完全覆盖预期的目标。

图13是从上边看下去的一个4摄像机结构的示意图。摄像机300、302、500、502捕获图像并还可提供照明。要说明的是，在4个影像之一中只能看见目标的每个角的一小部分。在两个影像之间还有明显的重叠区。

使用多个影像改进识别结果具有一系列优点。这种方法不是凭借复杂的光学装置使期望的目标覆盖在单个影像里，而是使用少数的相当简单的在一起工作的摄像机。不仅覆盖是完整的，而且可以从不同的摄像机影像的冗余的重叠部分得到附加的信息。这些信息是从单个摄像机中得不到的。此外，还存在某种由冗余性提供和增加的可靠性，这是因为，在具有多个影像的情况下，可以对一个图像中挡住的区域进行修改，或者用另一个图像的类似部分代替。

使用合适的光学装置的同时，还可以使用单个检测器，以便通过使用具有多个光路的成像系统来收集多个影像。图14即为这种成像系统的示意图。通过适当的光学装置508引导每个单独的影像504、506到检测器表面的子集。这样，由检测器获得的图像将包含如在509所示的两个影像。这在检测器极其昂贵或者空间限制要求通过光纤装置或其它装置将影像传送到运处的检测器的条件下，可能是特别有用的。

图像处理

如上所述，为了确认元件在印刷电路板上的布局，要获取在电路板上元件预期放置位置的放置前和放置后的两个图像，然后从一个图像中扣除另一个图像。以此抑制放置前和放置后图像之间没有发生变化的图像部分，在最终的图像中清晰地展现新放置的元件的人为制造的成分。然而，放置前和放置后的图像由于机械振动、机械移动不准确，或者因为印刷电路板和/或摄像机在获取图像时还在移动，通常不能完美地对齐。当两个图像(放置前和放置后)不能对齐时，在最终的差分图像中出现的人为制造的成分可能是存在所说元件的一个虚假的指示。估算两个图像没对齐的一种技术是使用校正(如归一化灰度校正)。然而，只有垂直边缘出现在模板(要校正的区域)上这个校正才能进行。如果边缘不出现，或者边缘只出现在一个方向，则校正将不会产生唯一的(x、y)对齐位置。

如果CAD数据可以利用并且视觉系统知道正在针对CAD描述查看电路板上的什么位置，视觉系统，比如本发明实施例使用的视觉系统，可以为模板拾取好的位置。作为选择，如果通过正在显示的每个可能的视场离线地通知给视觉系统，则视觉系统可能要预先确定始的位置或模板。然而，如果这些条件都不满足，那么，视觉系统就需要在运行时间内迅速确定好的模板位置。

本发明实施例的一个方面提供一种用于确定一个图像中的良好位置，以便选择用于校正另一图像的模板的有效计算方法。图15示出这种方法，该方法从方框510开始，在这里针对放置前的图像计算Sobel边缘滤波器，其中计算围绕每个像素的最强边缘的数值和方向。(按照另一种方式，每个像素周围的一个3×3邻域中可以使用较简单的梯度运算)。在方框512时，对于边缘数值进行阈值处理，并且边缘方向四舍五入成以下8个度数之一：0、45、90、135、180、225、270、315度。

图16示出一个像素514和它的8个邻域。每个箭头表示一个正常的边缘方向。在方框516时，对于每个像素的8个方向进行编码，使之成为一个8位的字节(边缘编码像素)。在这个步骤列出的8个方向可以用它们的罗盘方向来描述如下：东(E)-7、东北(EN)-6、北(N)-5、西北(NW)-4、西(W)-3、西南(SW)-2、南(S)-1、东南(SE)-0。在方框518，对于编码数据进行“或”矩形波串滤波。正常的矩形波串滤波器与带通滤波器类似计算的是一个平均值；与此不同，这个“或”矩形波串滤波器是对孔径光圈邻域内的像素进行逐位的“或”运算。孔径光圈可以是5×5像素或者7×7像素(或者某些其它大小的合适像素)。在最终的边缘编码像素的“图像“中，每个像素表明在它的5×5或7×7邻域中出现哪一个边缘方向。在方框520时，使用预先确定的查找表对于图像中的每个8位的边缘编码像素打分。在一般情况下，只需要很小数目的分数(如4)。因为8位代码编入查找表，所以查找表只需要2⁸或256个元素。分数越高，5×5或7×7代表的邻域用于校正模板的情况越好。在256个8位边缘编码中，大多数是对称的，因此在下边的表中只表示出几个采样分数。

表1

分数	采样8位代码
		0	()，(E)，(E，W)，(E，SE)，(E，NW，W，SE)
1	(E，NE，SE)，(E，NE，NW，W，SW，SE)，(E，NE，W，SE)
		2	(E，NE，S，SE)，(E，W，SW，S，SE)，(E，NW，W，SW，S，SE)
3	(E，NE，N，NW，W，SW，S，SE)，(E，N，NW，W，SW，S，SE)，(E，N，W，S)，(E，NE，N，W，S)

在方框522，通过对打过分的4×4个邻域求和，以减小图像的大小。(换言之，建立物理图像)。按另一种方式，可对具有4×4或更大孔径光圈的图像进行附加的矩形波串滤波。最后，在方框524，对于打过分的最终图像进行扫描以便得到高分数。高分数表示在原始图像中的好位置，可用作校正模板。由于元件将放置在图像的中心部分的某处，所以查找高分数应该限于图像中心部分的外部。(事实上，为了高效，以上所有的处理都要避开图像的中心区)

图17表示按照本发明的实施例分析获取的图像以确定元件是否存在(方框336)的方法。在方框540，获取放置前和放置后的两个图像。放置前和放置后的两个图像的实例分别示于图23A和图23B。虚线方框544表示一个任选的步骤，使用一维或两维校正对齐两个图像。优选地使用上述参照附图15和16描述的对齐方法。在方框546，对齐的放置前图像和放置后图像相互扣除。给出每个像素的绝对值。这一步骤加亮了图像的变化，因此加亮了两个图像之间的差。在图23C中示出了典型的差分图像。在方框548，对于差分图像进行阈值处理，提供的图像可能类似于图23D中所示的图像。对于差分图像的阈值处理可产生一个二进制图像，用于区别变化区与非变化区。

在方框549a，在经过阈值处理的图像中，对于已知的在两个图像之间总是变化的区(如管咀和管咀的反射区)进行屏蔽。这种屏蔽是通过在已知要变化的区域上的按其它方式得到的白色屏蔽图像中绘出填满的黑色多边形实现的。已知变化的屏蔽图像和经过阈值处理的图像进行“与“操作。任选地，如果在方框549b可以得到包括元件的长度、宽度和高度在内的元件数据，则系统产生白色屏蔽，所说的白色屏蔽覆盖一个体积的图像平面上的两维投影，所说的体积期望被在按其它方式得到的黑色图像中的零件所占据。这种屏蔽是通过在放置零件的区域中的按其它方式得到的黑色屏蔽图像中绘出白色填满的多边形实现的。然后，对于期望的零件屏蔽图像和进行阈值处理的图像进行“与“操作。

在方框550，可执行一次或多次任选的形态腐蚀操作，如标记为“N”的循环所示者。这种腐蚀对于去除导致最终的噪声或图像对不齐是很有用的。在方框552，提供另一种任选的形态操作。具体来说，方框552提供一种任选的扩大操作，这个操作执行一次或多次，如标记为“M”的循环所示者。扩大操作可促进已经被腐蚀操作分离的或者利用与背景图像匹配的元件的特征分离的单个目标的消融。图23E中给出经过这种扩大操作后的图像实例。在方框554，进行连接性分析，以找出图像中的目标。这种分析可以对于图像中的每个目标找出许多有用的度量值，如目标的中心、长度、宽度、面积、转角、等(Gleason等人的《用于传感器控制的操纵和检查的插件式视觉系统》，1979年3月第9届有关工业机器人研讨会的会议录，第57-570页)。最后，在方框556，通过比较，在图像中找到的目标度量值和期望的目标度量值，以确认元件布局。这个比较可以包括(但不限于)比如中心位置、宽度、面积、转角等度量值。

图18是本发明实施例用于分析图像以确定元件是否存在的另一种方法的示意图。图18中所示的方法也包括参照附图17描述过的步骤540、542、544、546。因此，图18中既不描述也不表现这些步骤，图18从步骤560开始，在步骤546之后执行步骤560。在方框560，确定布局位置的像素变化计数。这是通过计数其数值大于某个阈值，并且其数值在图像的期望放置元件区域内的像素实现的。在方框562，确定总像素计数，这是通过计数其数值大于某个阈值，并且其数值不在图像的期望放置元件区域内的像素实现的。在方框564，通过比较布局位置像素变化计数(方框560)和总像素变化计数(方框562)，执行元件布局确认。

图19是本发明实施例用于分析图像以确定元件是否存在(方框336)的又一种方法的示意图。图19所示的方法也包括参照附图17描述过的步骤540、542、544、546。因此，图19中既不描述也不表现这些步骤，图19从步骤566开始，在步骤546之后执行步骤566。在方框566，通过对于其数值大于某个阈值，并且其数值在图像的期望放置元件区域内的像素求和，计算“布局位置像素差强度和”。在方框568，通过在整个差值图像中对于像素强度值求和，计算“总的像素差强度和”。在方框570，通过比较“布局位置像素差强度和”以及“总像素差强度和”，确认元件布局。

图20的示意图表示用于分析图像，以便进行“数值/数型确认”(图4中的方框344)、“x、y、θ对齐测量”(图4中的方框346)以及“极性确定”(图4中的方框348)的方法。图20中所示的方法包括参照附图17描述过的步骤540、542、544、546、548、549a、549b。因此，图20中既不描述也不表现这些步骤，图20从步骤582开始，在步骤549b之后执行步骤582。

步骤544-549b以及582-584的程序产生一个屏蔽图像。以上描述了步骤544-549b。步骤582对于经过阈值处理的差分图像执行多次(比如5次)3×3二进制扩充。步骤584是大的矩形波串滤波(通常为19×19个像素)，使扩充的差分图像变模糊，产生类似于图23F的图像。在步骤586，使通过步骤584产生的模糊的屏蔽图像乘以在步骤540获得的“放置后图像”。这就隔离了在图像中放置的元件，擦除了图像的非变化部分。模糊的屏蔽图像乘以放置后图像优于简单使非模糊的屏蔽图像和放置后图像，进行“与”操作，这是因为使屏蔽图像和灰度图像进行“与”操作可能会沿屏蔽的周边产生人为的边缘。在图23G中表示出从这种乘法操作导出的典型图像。

步骤588要放置各种度量工具，如线吻合器和“标尺”，或者“卡尺”，以便定位元件的引线，或者在引线(实际上是焊珠)隐藏在零件下方的情况下，定位元件的4个边。在定位元件的引线和/或各个边之后，可以计算元件的x、y和θ位置。

类似地，可在用于“数值/类型确认”之方框586产生的图像上使用光字符识别(OCR)或者校正。还可以将附加的度量工具应用于所述图像，以确定极性。

虽然参照优选实施例描述了本发明，但本领域的普通技术人员应该认识到，在不偏离本发明的构思和范围的情况下，可以进行形式和细节方面的变化。

Claims (6)

1.一种处理抓取式设备中预期元件布局位置之多个图像以确认元件布局的方法，其中，所述方法包括如下步骤：

获得预期的元件布局位置的放置前图像和放置后图像；

在放置前图像和放置后图像中选择一个感兴趣的区域；

根据放置前图像和放置后图像之间的差产生差分图像；

对差分图像进行阈值处理，产生二进制差分图像；

对二进制差分图像进行连接性分析，获得图像的度量值；

比较这个图像度量值与预期的目标度量值，给出元件布局确认。

2.根据权利要求1所述的方法，其中，还包括在放置前图像和放置后图像中遮盖已知要变化的至少一个区域。

3.根据权利要求1所述的方法，其中，还包括对齐放置前图像和放置后图像，以获得差分图像。

4.根据权利要求3所述的方法，其中，所述对齐步骤包括施加校正。

5.一种处理抓取式设备中预期元件布局位置之多个图像以确认元件布局的方法，其中，所述方法包括如下步骤：

获得预期元件布局位置的放置前图像和放置后图像；

在放置前图像和放置后图像中选择一个感兴趣的区域；

根据放置前图像和放置后图像之间的差产生差分图像；

计算预期元件布局位置的像素变化计数；

计算总像素计数；以及

比较预期元件布局位置的像素变化计数与总像素计数，给出元件布局确认。

6.一种处理抓取式设备中预期元件布局位置的多个图像以确认元件布局的方法，所述方法包括如下步骤：

获得预期元件布局位置的放置前图像和放置后图像；

在放置前图像和放置后图像中选择一个感兴趣的区域；

根据放置前图像和放置后图像之间的差产生差分图像；

计算预期元件布局位置的像素差值强度和；

计算总的像素差值强度和；并且

比较预期元件布局位置的像素差值强度和与总的像素差值强度和，给出元件布局确认。

Images