CN101356534B - 半导体工业中用于三维测量和检测的机器视觉系统 - Google Patents

Abstract

优选实施方式的系统(10)包括提供稳定平台和振动隔离的结构子系统(20)、当移动物体移进取景区中时捕获该移动物体的图像的照相机子系统(30)、照亮移动物体的照明子系统(50)、以及选择性地启动照明子系统(50)以允许在不同条件下观察复杂物体的反射能力的控制器。系统(10)特别设计成照亮并捕获移动物体的图像，例如在制造设备中的封装电子部件的连接端子(例如，导线、球栅和焊盘)。然而，系统(10)可用于照亮并捕获任何适当的移动或不移动的物体的图像。

Description

半导体工业中用于三维测量和检测的机器视觉系统

相关申请的交叉引用

本申请是2006年6月13日提交的且名称为“Lighting Subsystem for aMachine Vision System”的先有申请号PCT US2006/023030的部分继续申请，其通过引用被全部并入。该申请也要求2005年11月12日提交的且名称为“3D metrology and inspection for the semiconductor industry”的美国临时申请号60/735,778的利益，其也通过引用被全部并入。

技术领域

本发明一般涉及机器视觉(machine vision)领域，尤其涉及机器视觉领域的半导体工业中用于三维测量和检测的新颖而有用的机器视觉系统。

背景技术

在1976年，Yakimovsky和Cunningham写了一篇题目为“A System forExtracting Three-Dimensional Measurement form a Stereo Pair of TVCameras”的文章。在Computer Graphics and Image Processing 7，195-210(1978)中出版的这篇文章通过引用被全部并入。通过一系列复杂的建模、计算和校准，该文章公开了每个照相机(camera)的精确位置的计算，这使物体的三维位置的直接三角测量(triangulate)更容易。

通过引用被全部并入的美国专利号6,101,455在2000年8月8日发布给Michael S.Davis，本发明的发明人之一的导师之一。引用Yakimovsky和Cunningham的文章的‘455专利公开了系统内照相机的自动校准。‘455专利公开了一种技术，其包括将照相机校准到公共坐标框架并将物体移动一段已知的相对距离，以使用向量关系来确定照相机的位置。然而，‘455专利没有公开使用多于两个照相机。

通过引用被全部并入的美国专利号6,064,756在2000年5月16日发布且目前转让给Scanner技术公司。‘756专利公开了用于球阵列设备的三维检测装置，且在一个实施方式中公开了使用三个照相机。然而，‘756专利公开了使用三角测量法，以参考预先计算的校准平面来计算球阵列设备的球的三维位置，而没有公开每个照相机的精确位置的计算和球阵列设备的球的三维位置的直接三角测量。

本领域的传统技术虽然适合于某些应用，但不适合于在不同制造阶段中对快速移动的半导体或封装电子部件的主体和连接端子(导线、球栅(ball grid)、隆起(bump)、焊盘)进行精确测量。传统技术只是不适合于在半导体或封装电子部件中连接端子变形的这种受限环境中进行检测。在这些环境中，由本领域的传统技术引入的误差包括统计误差(由测量装置中随机的、因而内在地不可预测的波动引起)和系统误差(由未知的但非随机的波动引起)。

因此，在机器视觉领域中存在创造改进的机器视觉系统的需要，该系统减小了统计和系统误差，以变得适合于半导体工业中的三维测量和检测。本发明提供了这样的改进的机器视觉系统。

附图说明

图1是优选实施方式的系统的向上看的透视图。

图2是优选实施方式的照明子系统的向上看的透视图。

图3是优选实施方式的控制器的示意性图示。

图4是优选实施方式的系统的向上看的透视图。

具体实施方式

本发明的优选实施方式的下列描述不是用来将本发明限制为这些优选实施方式，而更确切地是使本领域的技术人员能够制造和使用本发明。

如图1和2所示，优选实施方式的系统10包括提供稳定平台和振动隔离的结构子系统20、当移动物体移进取景区(viewing area)时捕获该移动物体的图像的照相机子系统30、照亮移动物体的照明子系统50、以及选择性地启动照相机子系统30和照明子系统50以允许在不同条件下观察复杂物体的反射能力的控制器。系统10特别设计成照亮并捕获移动物体的图像，例如在制造设备中的封装电子部件的连接端子(例如，导线、球栅和焊盘)。然而，系统10可用于照亮并捕获任何适当的移动或不移动的物体的图像。

优选实施方式的结构子系统20用来为照相机子系统30和照明子系统50的相对定位提供稳定的平台，并且还提供照相机子系统30和照明子系统50与振动的隔离。结构子系统20优选地包括外壳22和支承板(backplate)24。外壳22用来提供与底部(ground)或其它适当的稳定结构的相对刚性的连接。优选地，外壳22放置或安装到用于制造、检测和/或封装半导体或封装电子部件的机器的机械结构上。可选地，外壳22可放置或安装在任何适当的位置以及放置或安装到任何适当的设备或结构。支承板24用来提供在照相机子系统30和照明子系统50之间的相对刚性的连接，以及提供在外壳22与照相机子系统30和照明子系统50的组合之间的相对柔性的连接。支承板24优选地由大厚度(heavy gauge)的阳极氧化铝制成，其重量轻而热传导性高。支承板24的高热传导性促进了来自照相机子系统30的热传输，这可另外将误差引入系统中。支承板24优选地靠着外壳悬置。悬置优选地包括单个连接平面，但可以可选地包括提供支承板和外壳之间的振动隔离和安装变形隔离的任何其它安装方法或设备。照相机子系统30与振动、安装变形和其它误差源的隔离增加了系统的准确性，因而促进了系统10在半导体工业的三维测量和检测中的应用。

优选实施方式的照相机子系统30安装到结构子系统20的支承板24上，该照相机子系统30用来在移动物体移进取景区中时捕获该物体的图像。照相机优选地被刚性地安装，以便如果并且当它们振动时，它们全部都一起振动。优选地，照相机子系统30包括第一照相机32、第二照相机34和第三照相机36，以便从几个角度提供关于移动物体的信息。然而照相机子系统30可包括从几个角度提供关于移动物体的信息的任何适当数量的照相机。每个照相机优选地是CCD型照相机，具有在12比特灰度下至少4兆像素的分辨率和至少50mm乘以50mm的视场。然而，每个照相机可为具有任何适当分辨率和任何适当视场的任何适当类型的图像捕获设备。照相机优选地相对于视场中的物体对称地布置，且每个照相机优选地具有唯一的取景区视角(viewing angle)。在第一种变化中，第一照相机32和第二照相机34优选地具有互补的锐角和钝角的视角(例如，60°和120°)，而第三照相机优选地具有垂直的视角(即，90°)。在第二种变化中，照相机绕着Z轴径向间隔开相等的量(例如，三个照相机都间隔60°)，同时所有的照相机都有对Z轴的相同视角(例如，75°)。

物体的三维测量的测定(determination)基于来自对称布置中三个(或更多)照相机对的单一时间实例(single time instance)的捕获图像的使用，便于基于统计误差(由测量装置中随机的、因而内在地不可预测的波动引起)和系统误差(由未知的但非随机的波动引起)中的降低来较大地增加系统10的精确度和可重复性。使用单一时间实例的捕获图像可阻止物体的任何移动或振动引起系统精确度的显著降低。对称布置的使用往往消除或至少降低了系统误差(例如校准之后一个照相机的轻微移动)，因为来自相对的照相机对的误差抵消了。三个(或更多)照相机对的使用往往消除或至少降低了统计误差，因为使用例如下列三个照相机对C1和C2、C1和C3以及C2和C3可计算三次或更多次物体的三维测量的测定。可将来自这些照相机对的三个测定取平均(或否则以任何适当的方式进行统计分析)，以显著降低由测量装置中随机的、因而内在地不可预测的波动引起的统计误差。

如图1所示，优选实施方式的系统10还包括反射镜组合件40。反射镜合组件40用来允许实现系统10的紧密性，并促进第一照相机32和第二照相机34的特定视角。优选地，反射镜组合件40包括光学折叠(fold)第一照相机32的视野的第一反射镜42和光学折叠第二照相机34的视野的第二反射镜44。如所示，反射镜可放置在透镜和物体之间，或反射镜可放置在照相机和透镜之间。

如图1和2所示，优选实施方式的照明子系统50用来利用强光的短脉冲照亮移动的物体。照明子系统50优选地包括光源沿着第一照相机32的视角瞄准取景区的第一光组52、光源沿着第二照相机34的视角瞄准取景区的第二光组54、以及光源沿着第三照相机36的视角瞄准取景区的第三光组56。可提供直接或间接的附加照明(如图4所示)。优选地，照明子系统50安装在具有梯形形状的结构构件58上，且照相机子系统30和结构构件58布置成使得照相机通过结构构件58内的孔瞄准。结构构件58优选地直接或间接安装到支承板24。然而照明子系统50可安装在任何适当的结构构件上。照明子系统50优选地在每个光组中包括至少8个高强度LED，但可以可选地包括任何适当数量的适当光源。

如图3所示，第一优选实施方式的控制器60连接到照相机子系统30和照明子系统50，控制器60用来控制照相机子系统30和照明子系统50，以允许在不同条件下观察移动物体对照亮的反射能力。在一种变化中，控制器60控制照明子系统50的启动。根据由机器视觉子系统收集的信息(例如从编码器读取的物体的位置)，控制器60可调节照明子系统50的光源的启动，来以较快或较慢的周期(例如，50ms)、以在该周期内较早或较迟的时间(+1ms)选通(strobe)较长或较短的一段持续时间(例如，5-50微秒)，和/或以较高或较低的强度(例如，0-50amps)选通。通过控制照相机子系统30和照明子系统50的启动，优选实施方式的系统10可有效地保持和检查移动物体对照亮的反射能力。然而控制器60可调节照相机子系统30和/或照明子系统50的任何适当的参数，以允许在不同条件下观察移动物体对照亮的反射能力。

系统10的校准优选地包括参考目标。参考目标优选地为具有点栅格的玻璃目标(可从宾夕法尼亚州的费城的Max Levy Autograph公司得到)。具有点栅格的参考目标用来沿着两个轴(例如，X和Y轴)设置位置。系统10的校准进一步优选地包括测微计(micrometer)。测微计用来安装参考目标，并沿着第三轴(例如Z轴)移动参考目标。测微计优选地包括用户接口，如按钮，以允许手工调节参考目标，但可以可选地包括自动化的设备或过程。传统技术包括可沿着X、Y和Z轴移动单个点的三维目标或多轴自动装置。通过避开传统技术，系统10的校准显著降低了系统10的校准费用。然而系统10的校准可使用传统技术和/或可合并校准修正技术以提高精确度。通过使用参考目标作为其校准技术的一部，来计算在可观察的三维测量范围内照相机子系统30的每个照相机相对于坐标框架的精确位置，照相机位置可用于对这个经过几何修正的三维可见范围内的物体直接进行三角测量，以确定物体的三维形状和位置。

如本领域的技术人员从前面的详细描述和从附图和权利要求中应认识到的，可对本发明的优选实施方式进行修改和变更，而不偏离在下列权利要求中限定的本发明的范围。

Claims (1)

1.一种机器视觉系统，用于制造设备内在不同阶段中对快速移动的半导体或封装电子物体进行三维测量，所述系统包括：

●结构子系统，其包括安装到所述制造设备的底部的外壳，并包括从所述外壳悬置的支承板，其中所述支承板从所述外壳的悬置使所述支承板与所述外壳的振动隔离；

●照相机子系统，其适合于在移动物体移进取景区中时捕获所述移动物体的图像，其中所述照相机子系统包括安装到所述支承板并适合于借助第一反射镜以第一视角对所述移动物体成像的第一照相机、安装到所述支承板并适合于借助第二反射镜以第二视角对所述移动物体成像的第二照相机、以及安装到所述支承板并适合于以第三视角对所述移动物体成像的第三照相机；

●处理器，其适合于从所述照相机接收所捕获的图像，并根据来自所述第一照相机和所述第二照相机的所捕获的图像来计算所述移动物体的所述三维测量的第一测定，根据来自所述第一照相机和所述第三照相机的所捕获的图像来计算所述移动物体的所述三维测量的第二测定，以及根据来自所述第二照相机和所述第三照相机的所捕获的图像来计算所述移动物体的所述三维测量的第三测定；以及

●照明子系统，其适合于照亮所述移动物体，其中所述照明子系统包括在第一光组中沿着第一视角瞄准所述取景区的光源、在第二光组中沿着第二视角瞄准所述取景区的光源、以及在第三光组中沿着第三视角瞄准所述取景区的光源；

其中，所述结构子系统、所述照相机子系统和所述处理器协作来降低所述机器视觉系统的统计误差和系统误差，以实现快速移动物体的精确的三维测量和检测。

Images