CN113474618B - 使用多光谱3d激光扫描的对象检查的系统和方法 - Google Patents

Abstract

本发明包括用于获得对象的高分辨率3D图像的系统和方法。该系统包括三个相机和具有不同波长的三个光源(例如，红色光源、蓝色光源和绿色光源)。每个相机同时拍摄对象的彩色图像。处理器使用红色光源、蓝色光源和绿色光源中的每一个将红色光图像、蓝色光图像和绿色光图像中的每一个分离成单独的单色图像。图像的质量不受常规RBG图像的有限分辨率的影响。因为使用三种不同波长的光，所以可以精确地成像表面，而不管其特性(例如反射率和透明度)如何。该系统非常适合于需要大体积对象(特别是混合材料的对象)以快速检查小至几微米的缺陷的工业用途。

Description

使用多光谱3D激光扫描的对象检查的系统和方法

技术领域

本发明涉及一种三维(3D)成像的系统和方法，并且更具体地，涉及一种使用多个激光器在宽视场上产生高分辨率图像以用于检查小对象(诸如电子部件)的系统和方法。

背景技术

各种应用都需要整个宽视场(FOV)上的高分辨率成像。在高精度制造中，检查对象以确保不存在缺陷或不规则性。3D视觉可能是必要的，因为检查涉及检查不同平面中的每个部件上的小的但关键的特征。例如，自动光学检查(AOI)系统通常用于分析和评估电路，包括平板显示器、集成电路、芯片载体和印刷电路板。

在AOI系统中，传感器(诸如相机)扫描对象以确认存在部件和/或不存在质量缺陷。其是一种非接触测试方法，并且通常用于制造过程的多个阶段。现代AOI系统通常使用三维(3D)激光扫描。

3D激光扫描是一种非接触、非破坏性技术，其使用激光线数字地拍摄物理对象的形状。3D激光扫描仪创建来自对象表面的数据的“点云”。可以拍摄物理对象的尺寸和形状的数字表示并将其保存在计算机中。

常规AOI机器使用二维(2D)测量来创建3D图像。通常，两个相机彼此水平放置以获得对象的不同视图。通过比较两个图像，可以以视差图的形式获得相对深度信息。然而，这种方法可能不适合于一些工业用途，因为其对于大体积过程可能是缓慢且不切实际的。其他限制包括有限的灵敏度和错误或假阳性缺陷的检测。已经开发了替代方法以努力改进3D成像技术。

基于三角测量的3D激光扫描仪将激光照射在基板上并使用相机来寻找激光点的位置。根据激光撞击表面的距离，激光点出现在相机视场中的不同位置。该技术被称为三角测量，因为激光点、相机和激光发射器可以形成三角形。三角形的一侧的长度、相机与激光发射器之间的距离是已知的。激光发射器拐角的角度也是已知的。相机拐角的角度可以通过相机视场中激光点的位置来确定。在大多数情况下，激光条(而不是单个激光点)扫过对象以加速该过程。虽然三角测量为其他技术提供了益处，但是替代方法通常集中于克服其限制。

例如，美国专利No.5,406,372描述了一种方形扁平封装(QFP)芯片封装检查系统和方法。其目的是检查QFP芯片封装上的引线。使用两个激光器和用于检测和处理来自对象的反射激光的传感器来扫描包装。来自每个激光器的反射光提供来自两个横向平行边缘上的每个引线的数据。

类似地，WO2018-072433A1描述了使用多个激光器的三维扫描方法。使用不同波长的多个激光器和用于检测和处理从对象发射的反射激光的多个相机来扫描3D对象。由两个相机拍摄投射到被扫描对象的表面上的激光轮廓线。可以根据三角原理和对极约束原理来约束空间三维点云数据。

美国专利No.6,750,974描述了一种使用激光和相机扫描对象(例如晶片)的方法，用于基于三角测量的传感器检测。该系统旨在检测对象的镜面反射和漫反射。与其他系统一样，检测器从照射表面收集数据。第二检测器从第二位置收集与来自第一检测器的数据融合的数据。然而，与其他方法一样，该系统具有缺点。

激光扫描的常规方法对于不规则形状或由多于一种材料组成的基板可能是无效的。可能难以识别被遮挡或位于平行于激光光源的轴上的基板的部分。此外，在混合材料上使用单个激光器的3D激光扫描可能提供不足或较差的扫描数据。激光的强度和波长对于特定物质可能是无效的。使用具有不同激光参数的多次扫描可减轻上述一些问题，但增加了完成扫描所需的时间。顺序扫描还可能由于扫描之间的机械偏移而引入误差。改进的系统和方法应该克服这些问题。其应该具有快速的检查速度，包括快速捕获、检查精度的高准确度和检查的高一致性。

因此，需要一种克服常规3D成像系统的缺点的系统和方法。具体地，需要一种用于获得对象表面的3D图像的改进的系统和方法。该系统应该能够检测由不同材料组成的基板上的缺陷或不规则性。它还应该能够以高速操作，使得可以在短时间内检查或筛选许多对象。

发明内容

提供以下概述以便于理解所公开的实施例特有的一些创新特征，并且并不旨在是完整的描述。通过将整个说明书、权利要求书、附图和摘要作为整体考虑，可以获得对本文公开的实施例的各方面的全面理解。

本发明的实施例包括一种用于获得对象的高分辨率3D图像的系统。该系统可以包括(a)在第一位置处的第一相机，(b)在第二位置处的第二相机，(c)在第三位置处的第三相机，(d)红色激光光源，(e)蓝色激光光源，(f)绿色激光光源和(g)处理单元。所述第一相机可以拍摄对象的第一彩色图像，并且处理器可以将第一彩色图像分离成使用所述红色激光光源的第一单色图像、使用所述蓝色激光光源的第二单色图像和使用所述绿色激光光源的第三单色图像。所述第二相机可以拍摄对象的第二彩色图像，并且所述处理器可以将所述第二彩色图像分离成使用所述红色激光光源的第四单色图像、使用所述蓝色激光光源的第五单色图像和使用所述绿色激光光源的第六单色图像。类似地，所述第三相机可拍摄对象的第三彩色图像，并且所述处理器可将所述第三彩色图像分离成使用所述红色激光光源的第七单色图像、使用所述蓝色激光光源的第八单色图像和使用所述绿色激光光源的第九单色图像。所述处理单元可将所述第一单色图像、所述第二单色图像、所述第三单色图像、所述第四单色图像、所述第五单色图像、所述第六单色图像、所述第七单色图像、所述第八单色图像和所述第九单色图像组合成对象的单个高分辨率3D图像。

所述红色激光光源、所述蓝色激光光源和所述绿色激光光源可以在y轴和/或z轴上彼此相对的不同点处对准。所述第一相机、所述第二相机和所述第三相机可以在y轴和/或z轴上彼此相对的不同点处对准。所述处理器可基于点云数据生成第一深度图、第二深度图、第三深度图、第四深度图、第五深度图、第六深度图、第七深度图、第八深度图和第九深度图。所述处理器还可通过三角测量使用所述第一单色图像、所述第二单色图像、所述第三单色图像、所述第四单色图像、所述第五单色图像、所述第六单色图像、所述第七单色图像、所述第八单色图像和所述第九单色图像生成九深度中九行的图。

实施例还包括一种获得对象的高分辨率3D图像的方法，包括以下步骤：(a)将所述对象朝向激光扇形平面的交点移动，(b)用红色激光光源照射所述对象，(c)用蓝色激光光源照射所述对象，(d)用绿色激光光源照射所述对象，(e)用第一相机拍摄所述对象的第一彩色图像，(f)用第二相机同时拍摄所述对象的第二彩色图像，(g)用第三相机同时拍摄所述对象的第三彩色图像，(h)将所述第一彩色图像分离成使用所述红色激光光源的第一单色图像、使用所述蓝色激光光源的第二单色图像和使用所述绿色激光光源的第三单色图像，(i)将所述第二彩色图像分离成使用所述红色激光光源的第四单色图像、使用所述蓝色激光光源的第五单色图像和使用所述绿色激光光源的第六单色图像，(j)将第三彩色图像分离为使用所述红色激光源的第七单色图像、使用所述蓝色激光源的第八单色图像和使用所述绿色激光源的第九单色图像；(k)将所述第一单色图像、所述第二单色图像、所述第三单色图像、所述第四单色图像、所述第五单色图像、所述第六单色图像、所述第七单色图像、所述第八单色图像和所述第九单色图像转换为点云数据；以及(l)从所述点云数据创建单个高分辨率3D图像。

该方法可以包括移动对象以拍摄附加彩色图像以生成附加点云数据的步骤。其还可以包括识别和/或过滤错误数据点作为外围点云数据的步骤，以及创建和分析对象上的缺陷的深度图图像的步骤。此外，该方法可以包括调整第一相机、第二相机和/或第三相机的感兴趣区域(ROI)以拍摄对象上的不同表面高度的步骤。

引言

本发明的第一方面是一种用于获得对象的3D图像以检查和/或识别表面缺陷的系统，其使用多个激光光源和三角测量来提高点云数据的准确性。

本发明的第二方面是一种系统，其使用在两个轴(例如x和z)上彼此分开对准的多个激光器和检测器来扫描对象的表面。

本发明的第三方面是一种将彩色图像分离成单色图像并从点云数据创建单个高分辨率图像的方法。

本发明的第四方面是一种用于获得混合材料对象的3D图像的系统，其中使用不同波长的光源拍摄单个扫描图像。

本发明的第五方面是一种用于使用不同波长的光源和多个传感器/检测器来检查混合材料对象的系统。

本发明的第六方面是一种使用在两个轴(例如x和z)上彼此分开对准的光源来检查混合材料对象的方法。

本发明的第七方面是一种使用已知尺寸的夹具或块来校准具有多个激光光源的系统的方法。

定义

术语“反照率”是指由天文体接收的总太阳辐射中太阳辐射的漫反射的量度。其是无量纲的并且以0至1的标度测量。表面反照率是指反射的辐照度与表面接收的辐照度的比率。

术语“拜耳滤光器”是指用于在光电传感器的正方形网格上布置RGB滤色器的滤色器阵列(CFA)。其滤色器的特定布置在数码相机、摄像机和扫描仪中使用的单芯片数字图像传感器中是常见的，以创建彩色图像。滤光器图案是50％绿色、25％红色和25％蓝色，因此也被称为BGGR、RGBG、GRGB或RGGB。

术语“双边滤波器”是指用于图像的非线性、边缘保持和降噪平滑的滤波器。其用来自附近像素的强度值的加权平均值替换每个像素的强度。该权重可以基于高斯分布。至关重要的是，权重不仅取决于像素的欧几里德距离，而且还取决于辐射度差异(例如，范围差异，诸如颜色强度、深度距离等)。这样保留了清晰的边缘。

术语“质心”或“平面图的几何中心”指的是图中所有点的算术平均位置。

术语“深度图”是指包含与场景对象的表面距视点的距离有关的信息的图像或图像通道。在3D计算机图形中，深度图是包含与场景对象的表面距视点的距离有关的信息的图像或图像通道。该术语涉及并且可以类似于深度缓冲器、Z缓冲器、Z缓冲和Z深度。

术语“漫反射”是指光或其他波或粒子从表面的反射，使得入射在表面上的光线以许多角度散射，而不是如镜面反射的情况下仅以一个角度散射。理想的漫反射表面据说表现出朗伯反射，这意味着当从位于与表面相邻的半空间中的所有方向观察时，存在相等的亮度。

术语“对极几何”是指立体视觉的几何。当两个相机从两个不同的位置观察3D场景时，在3D点和其在2D图像上的投影之间存在许多几何关系，这导致图像点之间的约束。

术语“集成电路”、“IC”或“晶片”是指在诸如硅的小片材料中或其上制造的电子部件及其连接件的小复合体。

术语“激光扇形平面”是指由具有扇形角度的线激光器铸造的具有不确定的宽度和长度、零厚度和零曲率的二维表面。激光将形成由激光发散引起的扇形。激光束发散到一定程度。光束发散度(即，激光扇形平面)限定了光束在距光学孔径的距离增加的情况下扩散多少。

术语“光轴”是指在诸如相机透镜或显微镜的光学系统中沿其存在一定程度的旋转对称性的线。光轴是假想线，其限定光传播通过系统的路径，直到第一近似。

术语“点云”是指空间中的一大组数据点。激光扫描仪可以从对象上的表面点收集点云数据。数据可以用于对象的质量检查和/或可视化。

术语“四方扁平封装”或“QFP”是指“鸥翼”引线从四个侧面中的每一个侧面延伸的表面安装集成电路封装。

如本文所用，术语“半导体芯片”是指集成电路或单片集成电路(也称为IC、芯片或微芯片)，其是在半导体材料(通常为硅)的一个小板(“芯片”)上的一组电子电路。

术语“镜面反射”或“规则反射”是指来自表面的波的镜状反射。每个入射光线以与入射光线相同的角度反射到表面法线，但是在由入射光线和反射光线形成的平面中的表面法线的相对侧上。

术语“薄型小尺寸封装”或“TSOP”是指一种表面安装集成电路(IC)封装。其通常在两侧具有引线，并且由于其高引脚数和小体积而经常用于RAM或闪存IC。

术语“三角测量”是指在给定其到两个或更多个图像上的投影的情况下确定3D空间中的点的过程。如果相机的从3D到2D的相机投影函数的参数是已知的，则可以确定其位置。例如，入射激光束撞击对象。此后，传感器的瞬时视场可以由传感器和光学系统确定。高度和灰度信息从信号处理器提供给计算机以进行图像处理和分析。

术语“体素”是指三维空间中规则网格上的值。与位图中的像素一样，体素本身通常不将其位置(其坐标)与其值一起显式编码。相反，渲染系统基于体素相对于其他体素的位置(即，其在构成单个体积图像的数据结构中的位置)来推断体素的位置。与像素和体素相反，点和多边形通常由其顶点的坐标明确表示。

附图说明

本文描述的附图的目的仅在于说明所选实施例而不是所有可能的实施例，并且不旨在限制本公开的范围。

图1A描绘了根据本发明的一个方面的用于获得对象的3D图像以检查和/或检测小的不规则性或缺陷的系统的部件的布置。

图1B是列出用于产生具有各种类型表面的基板的高分辨率图像的优选激光参数和功率的表。

图2A描绘了根据本发明的一个方面的用于获得对象上的小不规则或缺陷的高分辨率3D图像的多光谱系统的部件的布置。

图2B描绘了根据本发明的一个方面的用于获得对象的高分辨率3D图像以检查和/或检测小的不规则性或缺陷的多光谱系统的部件的布置。

图2C描绘了根据本发明的一个方面的用于获得对象的高分辨率3D图像以检查和/或检测小的不规则性或缺陷的多光谱系统的部件的布置的仰视图。

图3A是描述根据本发明的一个方面的用于使用多个相机和多个光源获得对象的高分辨率3D图像的过程的流程图。

图3B是描述根据本发明的一个方面的处理数据以获得高分辨率3D图像的步骤的流程图。

图4A是描述根据本发明的一个方面的使用两个相机和两个光源获得对象的高分辨率3D图像的过程的流程图。

图4B是描述根据本发明的一个方面的处理数据以获得高分辨率3D图像的步骤的流程图。

图5A是描述根据本发明的一个方面的使用三个相机和三个光源获得对象的高分辨率3D图像的过程中的步骤的流程图。

图5B是描述根据本发明的一个方面的处理数据以获得高分辨率3D图像的步骤的流程图。

图6A是根据本发明的一个方面的校准块的透视图。

图6B也是根据本发明的一个方面的校准块的透视图。

具体实施方式

本发明的目的是提供高分辨率图像，以比常规方法更快的速度和更高的灵敏度检查小对象上的三维特征。此外，通过使用不同波长的光，可以可视化和检查不同种类的材料。

在传统的基于透镜的成像系统中，大的空间带宽乘积需要使用更高的放大率和更大的透镜。图像传感器也被制造得更大，具有更高的像素计数。在替代方案中，可以使用具有较小像素间距的图像传感器，同时保持大的有效区域。然而，较大的部件可能是昂贵的，并且使系统体积庞大且笨重。此外，这样的系统对于工业用途可能是缓慢且不切实际的。

本发明的另一个目的是提高由对象的轮廓和几何形状生成的“点云”数据的准确性。本发明利用对象上的激光点或线、相机和发射的激光之间的激光三角测量的前提。然而，使用这种三角测量的扫描数据的质量受到激光的强度(点云的密度)和待扫描的对象表面的性质的影响。因为许多对象是具有光谱反射或漫反射的材料和性质的混合，所以必须优化激光扫描参数以便改善图像的质量和精度。

单个光源可用于生成对象的单个图像。可以使用不同的光源连续拍摄多个图像。然后可以组合图像。替代方法可以使用与反射镜和/或透镜组合的不同光源。然而，这些方法可能繁琐且缺乏精度。不管方法如何，扫描数据的质量取决于点云的密度，点云的密度可能受到激光的波长和强度以及对象的表面的影响。

图1A描绘了用于记录图像和/或检查诸如电子部件的对象的系统。还描绘了水平(x)轴、垂直(y)轴和z轴。对象105被放置在视场中。激光源125将光发射到对象上。用传感器120(诸如相机)检测反射光。根据激光撞击表面的距离，激光点出现在相机视场中的不同位置。激光发射器拐角的角度是已知的，并且相机拐角的角度可以通过查看相机的视场中的激光点的位置来确定。三角形的形状和尺寸可以与三角形的激光点角的位置一起确定。

可以重复该过程以生成一系列数据点(即，点云)。可以将附加光源和/或传感器添加到系统以产生点云的附加数据点。

虽然这种方法对于一些应用是有效的，但是其具有包括扫描数据的质量不足的限制。例如，可以遮挡相机的相对侧上的对象的部分。这些部分的图像可以是粒状的和/或具有差的分辨率。表面类型也会影响图像。具有高反射率的对象可能不会导致清晰的图像。

扫描数据质量

点云可用于构建3D图像。足够密度的点云需要足够量的扫描数据。扫描数据的质量受到投射到对象上的激光线的强度的影响。激光线的强度还取决于对象表面的特性。反射率、透明度、粗糙度、材料和颜色可以影响相机如何检测激光。

点云过滤

由成像设备(诸如3D扫描仪)获得的点集通常被噪声破坏。噪声可以由切向采集方向、改变的环境光和/或反射对象材料引起。在一个实施例中，每条拍摄激光线被处理成一行点云。这些点与从其他线生成的点重叠。

可以通过对点进行二次采样并将点云转换为分段连续表面的表示来过滤噪声。在第一种方法中，使用单层体素网格，计算每个体素中的所有点的z质心。x和y将由体素的中心表示。在第二种方法中，使用单层体素网格。双边滤波器应用于z值。x和y将由体素的中心表示。

表面类型

考虑到反射率是定向特性，大多数表面可以被分成给出镜面反射的那些表面和给出漫反射的那些表面。镜面反射，也称为规则反射，是来自表面的波(诸如光)的镜状反射。在该过程中，每个入射光线以与入射光线相同的角度反射到表面法线，但是在平面中的表面法线的相对侧上。对于镜面，例如玻璃或抛光金属，除了在适当的反射角之外，在所有角度下反射率将几乎为零。除了垂直于表面的辐射之外，对于所有情况，反射辐射将遵循与入射辐射不同的路径。

漫反射是光或其他波或粒子从表面的反射，使得入射在表面上的光线以许多角度散射，而不是如镜面反射的情况下仅以一个角度散射。理想的漫反射表面据说表现出朗伯反射，这意味着当从位于与表面相邻的半空间中的所有方向观察时，存在相等的亮度。对于漫射表面，例如哑光白漆，反射率是均匀的。辐射在所有角度上相等或接近相等地反射。大多数真实对象具有漫射和镜面反射特性的一些混合。

优化

取决于基板的表面特性，可以调整激光参数以改善图像的质量。例如，低功率激光器更适合与具有高反射率的基板一起使用。图1B描绘了各种表面类型的优选激光功率和参数。然而，基板可以由不同的材料组成，每种材料具有不同的特性。例如，四方扁平封装(QFP)通常具有塑料和金属表面两者。塑料表面将表现出漫反射，而金属表面将表现出镜面反射。类似地，球栅阵列(BGA)通常具有金属和塑料部件两者。

在混合材料的基板上使用单个激光器的3D激光扫描可能导致不充分或质量差的数据。使用具有不同激光参数的多次扫描可减轻上述一些问题，但增加了完成扫描所需的时间。此外，由于扫描之间的机械偏移，在不同时间的扫描引入误差。

在本发明中，同时使用多个波长的光来扫描对象。图2A描绘了用于使用多个激光源和传感器对诸如电子部件的小对象进行成像的系统。对象105可以在整个视场移动。第一激光源125将光发射到对象上。同时，第二激光源115将光发射到对象上。利用第一传感器120(例如相机)和第二传感器110检测反射光。第一传感器和第二传感器优选地在z平面上彼此分开定位。

每个传感器(110、120)可以检测来自第一激光源125和第二激光源115的光。激光源可以通过其波长来区分。每个传感器将拍摄投射在对象上的两条线。这些线可以提供所计算的两组点云，这样提高了速度。每个位置可以从两个激光器从不同角度扫描两次。然而，镜面反射如遮挡一样将从某些角度发生。

类似地，图2B描绘了用于对小对象(诸如电子部件)进行成像的系统。对象105可以在整个视场移动。第一激光源125将光发射到对象上。同时，第二激光源115与第三激光源135一起将光发射到对象上。每个源使用不同波长的激光。利用第一传感器120、第二传感器110和第三传感器140检测反射光。第一传感器、第二传感器和第三传感器优选地在z平面上彼此分开定位。

图2C从不同的视角描绘了第一激光源、第二激光源和第三激光源的布置。激光优选地在y平面和z平面上彼此分开定位。利用这种布置，对象105的区域不会受到遮挡。

每个相机将拍摄整个对象投影的三条线。这些线可以提供三组点云，这样提高了速度。每个位置可以从三个激光器从不同角度扫描三次。镜面反射将仅从窄角度发生，因此三个点中的仅一个可能遇到镜面反射。利用从三个角度投射的激光，将减少遮挡。此外，可以使用软件过滤任何异常点。

图3A是流程图100，其列出了创建用于检查的对象的高分辨率3D图像的优选方法中的步骤。首先，将对象放置在相机105的视场中。也可以对移动对象进行成像，在这种情况下，当基板在视场内时，其他部件被激活。下一系列步骤同时发生。用红色激光照射对象110并记录图像115。用绿色激光120照射对象，并记录图像125。用红色激光照射对象130并记录图像135。从三个图像编译数据。

投射在对象上的红色、绿色和蓝色激光线可以编译成点云140。点云用于创建基板的图像。图3B是列出利用数据200的步骤的流程图。基于布鲁姆点150上的强度来过滤数据。接下来，将点云数据合并在一起以形成对象160的表面。可以过滤170由于镜面反射引起的任何异常点。

可以减小有效相机传感器宽度和高度(也称为感兴趣区域(ROI))以提高图像数据读出速度。在正常设置下，所有相机的ROI拍摄目标表面的相同区域。当对象是平坦的或具有轻微的高度差异时，这是优选的。对于具有高度显著变化的表面的对象，每个相机可以使用不同的相机ROI来拍摄不同的表面高度。可以合并数据以形成最终3D图，而不降低扫描速度和/或精度。另外，两个相机可以在表面上具有重叠的ROI，并且将数据与具有扭曲表面的对象合并在一起。

当表面材料在反射率或反照率上具有显著变化时，可以改变不同激光器的光强度。一个可以设置为高功率，一个可以设置为低功率。低功率激光线将记录高反射表面，并且高功率激光将记录低反射区域。可以将数据合并到3D图上以增加表面反射率的动态范围并确定反照率。

双激光器/相机方法

图4A是详细列出创建高分辨率3D图像的步骤的流程图95。当对象(即主体)被选取并放置在视场(FOV)305中时，该过程开始。在该示例中，使用两个激光光源。绿色激光和红色激光投射到对象310上。对象可以沿着垂直于激光线315的线性轨迹移动。接下来，用两个相机320同时记录对象的图像。可以重复325成像步骤以收集额外的图像数据。

接下来的步骤涉及处理从两个相机记录的图像。以下步骤(330、335、340和345)涉及收集点云的数据。每个步骤都涉及确定从激光(红色或绿色)投射并由第一相机或第二相机记录的点的位置。此后，确定外极约束以从红色激光轮廓350和绿色激光轮廓355生成点。在下一步骤中，可以执行不确定性分析以基于强度过滤数据库和/或过滤布隆点360。

图4B是描述数据分析中的一些步骤的流程图96。在不确定性分析360之后，可以将数据点放置在三维(3D)图365上。可以通过固定步骤370移动对象。该过程可以在创建3D图(375、380)时结束375。可替代地，当收集附加图像/数据时，可以重复该过程380。

系统校准

校准对于确保系统的精度和可靠性是重要的。由于对象检查通常需要检测微小变形，因此系统必须高度校准。x、y和z轴的校准是必要的。

可以使用已知尺寸的校准块来校准系统。图6A和6B描绘了块的透视图。块优选地是正方形或矩形形状，具有对称特征以帮助校准。顶部部分可以包括两个突出部分，其精确尺寸是已知的。此外，突出部分之间的距离以及每个侧部的角度是已知的。

图6A描绘了校准块300。可以基于标记为(1-5)的五个区域来描述块。台阶(即突出)部分由区域2和4表示。由于这些区域之间的距离是已知的(α)，因此它可以用于校准系统的一个或多个激光器。类似地，每个阶梯区域的高度(β)也可以用于校准系统的一个或多个激光器。

类似地，图6B描绘了校准块300。台阶的每一侧的平面可以外推到交叉点。可以针对步骤2和步骤4确定该点。点之间的距离(θ)也可用于校准系统的一个或多个激光器。可以使用块独立地校准每个激光器。

工作实施例

球栅阵列的三维成像与检测

球栅阵列(BGA)通常具有金属和塑料部件。扫描多个波长的多光谱3D激光扫描系统可用于此类基板。在该示例中，第一激光源和第二激光源发射不同波长的光。一个激光器被配置为使得其波长针对反射表面被优化。另一个激光器被配置为使得其波长被优化用于漫反射。使用双相机或单相机来扫描同时发射光的两个激光器。

例如，第一激光源和第二激光源可以分别是450nm和650nm。这允许使用多个波长的光同时检查对象。一种波长的光对于反射表面可能是最佳的。另一波长的光对于漫反射可能是最佳的。常规方法通常涉及对具有限制的对象进行多次扫描。使用两个激光器还可以克服当使用单个光源时可能存在的阴影。

多光谱3D激光扫描设置可以使用双波长光源(例如，红色和绿色)。一个波长被优化用于反射表面。另一波长被优化用于漫反射。单相机或双相机在存在两个光源的情况下扫描。可以将第三激光光源添加到系统中。

该系统允许在同一情况下用多个波长扫描基板(而不是多次扫描)。这导致更高的灵敏度，而不需要组合来自不同时间点的数据。该系统非常适合于基板表面上反射率的变化。其还允许光谱扫描，因为不同的材料可以对不同波长的光作出不同的反应。

可以通过在FOV中朝向激光扇形平面的交叉点选取和放置对象(例如，电气部件)来创建高分辨率图像。接下来，用红色激光光源、蓝色激光光源和绿色激光光源照射FOV。在该示例中，三个图像拍摄设备(即，彩色相机)用于同时拍摄对象的第一彩色图像、第二彩色图像和第三彩色图像。

接下来，将每个彩色图像分成三个单色图像。单色图像各自利用一种波长(即颜色)的激光(红色、蓝色和绿色)。因此，在该步骤总共创建九个图像。图像的分析需要将单色图像转换成一行点云数据。错误的数据点可以被识别为外围点并被删除。可以使用点云数据创建第一、第二、第三、第四、第五、第六、第七、第八和第九深度图。此后，可以从点云数据创建单个高分辨率图像。可以分析高分辨率图像以识别对象上的瑕疵和/或缺陷。

该系统可以包括计算机，该计算机包含加载在其上或可由计算机执行的软件，以处理从图像传感器的传感器输出端输出的原始图像。图像可以使用常规电缆传送到计算机或无线传输到计算机。软件可以包括本文描述的重建算法，其可以在或其他程序(例如，C语言)中体现。软件由包含在计算机中的一个或多个处理器执行。为了改善性能，计算机可以包括处理器，该处理器是图形处理单元(GPU)的一部分以加速图像重建过程。计算机可以包括个人计算机、服务器、膝上型计算机等。计算机还可以耦合到或以其他方式包含监视器和一个或多个外围设备(例如，鼠标、键盘等)。重建的图像可以在监视器上显示给用户。

Claims (18)

1.一种用于获得对象的高分辨率3D图像的系统，包括：

a)在第一位置处的第一相机；

b)在第二位置处的第二相机；

c)在第三位置处的第三相机；

d)红色激光光源；

e)蓝色激光光源；

f)绿色激光光源；以及

g)处理单元，

其中，所述第一相机拍摄所述对象的第一彩色图像，并且所述处理单元使用所述红色激光光源将所述第一彩色图像分离为第一单色图像、使用所述蓝色激光光源将所述第一彩色图像分离为第二单色图像并且使用所述绿色激光光源将所述第一彩色图像分离为第三单色图像，

其中，所述第二相机拍摄所述对象的第二彩色图像，并且所述处理单元使用所述红色激光光源将所述第二彩色图像分离为第四单色图像、使用所述蓝色激光光源将所述第二彩色图像分离为第五单色图像并且使用所述绿色激光光源将所述第二彩色图像分离为第六单色图像，

其中，所述第三相机拍摄所述对象的第三彩色图像，并且所述处理单元使用所述红色激光光源将所述第三彩色图像分离为第七单色图像、使用所述蓝色激光光源将所述第三彩色图像分离为第八单色图像并且使用所述绿色激光光源将所述第三彩色图像分离为第九单色图像，其中，每个相机拍摄整个所述对象投影的三条线，并且所述三条线提供三组点云，其中，对每个位置从三个激光器从不同角度扫描三次，并且

其中，所述处理单元将所述第一单色图像、所述第二单色图像、所述第三单色图像、所述第四单色图像、所述第五单色图像、所述第六单色图像、所述第七单色图像、所述第八单色图像和所述第九单色图像转换成点云数据；并且

其中，所述处理单元从所述点云数据创建所述对象的单个高分辨率3D图像。

2.根据权利要求1所述的系统，其中，所述红色激光光源、所述蓝色激光光源和所述绿色激光光源在y轴和z轴上对准到彼此不同的点处。

3.根据权利要求1所述的系统，其中，所述处理单元通过三角测量使用所述第一单色图像、所述第二单色图像、所述第三单色图像、所述第四单色图像、所述第五单色图像、所述第六单色图像、所述第七单色图像、所述第八单色图像和所述第九单色图像来生成九个深度中九行的图。

4.根据权利要求1所述的系统，其中，所述处理单元基于点云数据生成第一深度图、第二深度图、第三深度图、第四深度图、第五深度图、第六深度图、第七深度图、第八深度图和第九深度图。

5.根据权利要求1所述的系统，其中，所述第一相机、所述第二相机和所述第三相机在y轴和z轴上对准到彼此不同的点处。

6.根据权利要求4所述的系统，其中，所述第一深度图、所述第四深度图和所述第七深度图在x轴上彼此对准；

其中，所述第二深度图、所述第五深度图和所述第八深度图在所述x轴上彼此对准；并且

其中，所述第三深度图、所述第六深度图和所述第九深度图在所述x轴上彼此对准。

7.根据权利要求1所述的系统，其中，所述对象的表面由多于一种材料组成，每种材料具有不同的光反射特性。

8.根据权利要求1所述的系统，其中，所述对象是晶片或集成电路(IC)封装。

9.根据权利要求1所述的系统，其中，具有已知尺寸的校准夹具用于定位和/或校准所述红色激光光源、所述绿色激光光源和所述蓝色激光光源的位置。

10.一种获得对象的高分辨率3D图像的方法，包括以下步骤：

a)朝向激光扇形平面的交点移动所述对象；

b)用红色激光光源照射所述对象；

c)用蓝色激光光源照射所述对象；

d)用绿色激光光源照射所述对象；

e)用第一相机拍摄所述对象的第一彩色图像；

f)同时用第二相机拍摄所述对象的第二彩色图像；

g)同时用第三相机拍摄所述对象的第三彩色图像，其中，每个相机拍摄整个所述对象投影的三条线，并且所述三条线提供三组点云，其中，对每个位置从三个激光器从不同角度扫描三次；

h)使用所述红色激光光源将所述第一彩色图像分离成第一单色图像、使用所述蓝色激光光源将所述第一彩色图像分离成第二单色图像并且使用所述绿色激光光源将所述第一彩色图像分离成第三单色图像；

i)使用所述红色激光光源将所述第二彩色图像分离成第四单色图像、使用所述蓝色激光光源将所述第二彩色图像分离成第五单色图像并且使用所述绿色激光光源将所述第二彩色图像分离成第六单色图像，

j)使用所述红色激光光源将所述第三彩色图像分离成第七单色图像、使用所述蓝色激光光源将所述第三彩色图像分离成第八单色图像并且使用所述绿色激光光源将所述第三彩色图像分离成第九单色图像；

k)将所述第一单色图像、所述第二单色图像、所述第三单色图像、所述第四单色图像、所述第五单色图像、所述第六单色图像、所述第七单色图像、所述第八单色图像和所述第九单色图像转换为点云数据；以及

l)从所述点云数据创建单个高分辨率3D图像。

11.根据权利要求10所述的方法，包括移动所述对象以拍摄附加彩色图像并生成附加点云数据的步骤。

12.根据权利要求10所述的方法，包括将错误数据点识别和/或过滤为外围点云数据的步骤。

13.根据权利要求10所述的方法，包括创建和分析所述对象上的缺陷的深度图图像的步骤。

14.根据权利要求10所述的方法，其中，红色激光器、蓝色激光器和绿色激光器在y轴和z轴上对准到彼此不同的点处。

15.根据权利要求10所述的方法，其中，所述对象的表面由多于一种材料组成，每种材料具有不同的光反射特性。

16.根据权利要求10所述的方法，包括识别所述对象上的缺陷、不规则性和/或表面瑕疵的步骤。

17.根据权利要求10所述的方法，包括调整所述第一相机、所述第二相机和所述第三相机中的至少一个的感兴趣区域(ROI)以拍摄所述对象上的不同表面高度的步骤。

18.根据权利要求10所述的方法，包括用校准夹具校准红色激光器、蓝色激光器和绿色激光器的步骤。