CN105960569B - 使用二维图像处理来检查三维物体的方法 - Google Patents

Abstract

本公开内容提供了一种系统及方法，以将三维数据转换为二维高度位移映射图，并且使用二维图像处理技术来提取三维物体的三维特征及尺寸。该系统的照明源使用线激光器跨越工作空间来扫描，并且生成该工作空间的二维高度位移映射图。单独的像素位置表示实际工作空间采样位置。像素灰阶强度表示在像素位置处的Z位移高度。处理装置使用二维图像处理将二维图像内的特征及尺寸处理成灰阶，所述二维图像处理诸如为图案匹配、区块检测、卷积检测及边缘检测。

Description

使用二维图像处理来检查三维物体的方法

技术领域

本发明涉及所制造的零件的三维特征和/或尺寸的测量。更具体地，本发明涉及在二维高度位移映射图上使用二维图像处理方法测量三维特征和/或尺寸。

背景技术

已设计使用光斑激光器和/或线激光器来检查所制造的物体的三维特征的多种检查方法。对于相对较为简单的三维物体特征，这些方法测量三维物体的高度差。为了测量复杂的三维物体特征，这些方法需要复杂的算法以及长的测量时间来处理数据并判定物体是否满足制造商的规格。

在使用光斑激光器的系统中，将激光束移动至目标的不同位置来执行测量。这种系统中提供的传感器一次仅测量一个点。测量结果可为例如传感器上最大强度的反射光的位置，其可继而指示三维物体上特定点的高度。因此，所测量的点的数量有限，且光斑激光器在两个点之间的移动缓慢。这些系统的缺点在于，在检查之前必须精确地知道目标位置。此外，所取回的三维特征和/或尺寸信息可由于位置误差而十分有限且易出错。

在使用线激光器的系统中，跨越目标投射激光线。使激光线移动跨越目标以扫描该目标，并且收集信息以执行该目标的三维表面的测量。特别地，可在每个位置测量目标的线型轮廓横截面。在该线型轮廓内，可以高精度地测量线内的相关区域。这些系统的缺点在于，在检查之前必须在移动方向上精确地知道目标的位置。此外，计算线型轮廓上的三维特征和/或尺寸同时扫描目标需要长的计算时间，这是因为这种系统需要复杂的三维算法来处理数据。尽管可以增加测量的点的数量，但测量速度缓慢。

因此，需要一种以简单且高效的方式来检查三维物体的三维特征和/或尺寸的系统/方法。

发明内容

提供以下概述以便于理解在公开的实施方案中独有的一些创新特征，而并非旨在完整描述。通过将整个说明书、权利要求、附图及摘要作为整体来考虑，可以获得对本文公开的实施方案的各个方面的完整理解。

因此，所公开的实施方案的一个目的是提供一种测量物体上的一个位置的高度的方法，该方法包括：将至少一条辐射线投射到物体上；检测从包括半透明表面的物体反射的至少一条辐射线；由所检测到的辐射线生成至少一个二维高度位移映射图，其中该二维高度位移映射图包含多个光斑；以及使用二维图像处理技术将所述多个光斑中的每个光斑的强度处理成灰阶，以测量物体在每个光斑的特征或尺寸。

所公开实施方案的另一个目的是提供一种用于测量物体上的一个位置的高度的装置，该装置包括：至少一个照明源，被配置成将至少一条辐射线输出到该物体上；至少一个图像捕获单元，被配置成检测从该物体反射的至少一条辐射线；以及至少一个处理单元，被配置成由所检测到的辐射线生成二维高度位移映射图，其中该二维高度位移映射图包含多个光斑；其中所有该处理单元使用二维图像处理技术将所述多个光斑中的每个光斑的强度处理成灰阶，以计算物体在每个光斑处的高度。

所公开的实施方案的另一个目的是该照明源为线光源。

所公开的实施方案的另一个目的是提供一种作为三维物体的物体。

所公开的实施方案的一个目的是二维图像处理技术还包括以下技术中的至少一种：边缘检测技术、卷积技术、区块(blob)分析技术以及图案匹配技术。

本发明的其他方面和优点将根据以下结合附图以举例的方式说明本发明的原理的详细描述变得显而易见。

附图说明

当结合附图阅读时，将会更好地理解上面的概述以及以下对说明性实施方案的详细描述。出于说明本公开内容的目的，在附图中示出了本公开内容的示范性构造。然而，本公开内容不限于本文公开的特定方法及手段。此外，本领域的普通技术人员将理解，附图未按比例绘制。在可能情况下，类似要素由相同数字来指示。

图1例示了根据本发明的一个实施方案的用于测量跨越一条线的一个或多个点的照明源及图像捕获单元组件。

图2例示了根据本发明的一个实施方案的被投射在物体上的照明源及图像捕获单元及传感器组件。

图3描绘了根据本发明的一个实施方案的由传感器在一列中感测的反射激光线的强度的示范性图解。

图4a描绘了在Y坐标等于0的第一触发位置处捕获的图像。

图4b描绘了在Y坐标等于1的第二触发位置处捕获的图像。

图4c描绘了在Y坐标等于2的第三触发位置处捕获的图像。

图4d描绘了在Y坐标等于N的第N触发位置处捕获的图像。

图5描绘了根据本发明的一个实施方案二维高度位移映射。

具体实施方式

这些非限制性实施例中所讨论的特定值和构造可以被改变，且引用这些特定值和构造只是为了说明至少一个实施方案，并非旨在限制其范围。

图1例示了根据本发明的一个实施方案的用于测量跨越一条线的一个或多个点的照明和图像捕获单元组件。该组件包括向工作空间106投射的照明源102和图像捕获单元104。使用产生具有预定束宽(beam width)的光束的照明源102，诸如，线激光器或激光元件。向投影器(在照明源102内部，未图示)提供该光束，该投影器将该光束转换为扫描线。扫描线可以是随后从照明源102输出的单个线或多个平行线。示范性的激光源包括LED线投影器、DLP投影器、LED多线投影器、多线激光器、结构化光投影器。

举例而言，图1示出了根据本发明的系统，其中线激光器照明源102在置放三维物体的工作空间106上投射光束108。此外，该系统跨越工作空间106从已知参考位置点A扫描到已知参考终止位置点B。三维物体是其特征和/或尺寸待被测量的任何物体，并且被放置在测量的线上，例如，沿如图中所示的点A与点B之间的线放置。特征可以包括期望的特征(诸如，触点)或不希望的特征(诸如，异物、触点上延伸至触点表面中的损伤)。触点可以包括用于检测的物体，诸如，BGA球、QFP引线、LGA焊盘或QFN焊盘。诸如空隙(即，空泡)、翘曲及压痕的缺陷可损坏触点。尺寸指的是特征的长度、高度及面积，以及特征之间的长度差、高度差及角度差。

在各种实施方案中，基于其尺寸和/或特征待被测量的物体的位置来选择测量的线。将光束108(例如，平面光束)投射到物体上，该光束在触及其高度待被确定的物体时被反射回来。光束108可以包括投射到工作空间106的一个区域上的多条激光线，物体(诸如，盒子)将在该区域上被测量。图像捕获单元104(诸如，摄像机)捕获图像形式的反射光。图像捕获单元104可以配置成以预限定的间隔捕获图像。虽然由图像捕获单元104接收光的表面区域被示出为工作空间106的顶部表面的特定区域，但它可以替代地对应于其上安置待测量物体的任何平坦表面。处理单元(参考图2描述的)处理从图像捕获单元104接收的数据。

投射到工作空间106的平坦表面上的光束108是直线的形式。当这些直线以特定的角度触及平坦表面时，这些直线被反射回来。如果光束108的光线照到具有高度的物体，则它们被反射回来而不必经过工作空间106的平坦表面。因此，这种反射的光线的光强度位移比由工作空间106的表面所反射的光线的光强度位移更大。因此，光强度被用作为一个因子来计算反射光的物体上的一点的高度。

对物体的高度的确定取决于激光至摄像机的角度。随着激光至摄像机的角度接近90度，分辨率增大。当光束108照到具有高度的物体时，光线朝摄像机反射。摄像机包含感测反射光的强度的传感器。该传感器包括作为摄像机的一部分的CCD或CMOS传感器。如果物体较高，则光束将到达该物体并且被反射到传感器的上部中。传感器指示在对应于反射表面的位置处的较高强度。传感器上无反射光的其他位置显得暗淡。在传感器中出现的最高强度及最显著强度将指示表面高度。通过计算落入相邻像素上的光的量，可以获得子像素高度精度。例如，当未放置物体时，反射光束的光强度将为零，因此，高度将视为零。

本发明的装置可在物体置放于介质转移体(media transfer)(诸如，托盘、磁带或匣盒)上时测量物体的高度。如果存在背景介质转移体(background media transfer)，则该高度将是介质转移体高度。当具有高度的物体处于光线的路径上时，光从物体表面反射，并且被传感器捕获。由传感器所分析的强度位移取决于物体表面的高度。然后评估光线反射位置来测量物体的高度。

图2例示了根据本发明的一个实施方案的向物体202上投射的照明源102和图像捕获单元104组件。在一个实施方案中，图像捕获单元104包括摄像机，该摄像机具有传感器204以及一个或多个透镜206。传感器204根据所感知的光强度指示亮点和暗点。摄像机可以是单个摄像机，或者放在一起的多个摄像机。在多个摄像机的情况下，可使用由不同摄像机捕获的光线束以更佳精度地计算高度，并且消除由单个摄像机所导致的遮挡。当需要聚焦在小区域中时，可平行地放置摄像机和透镜。或者，透镜可以基于沙姆普弗鲁克原理(Scheimpflug principle)被倾斜，以使激光平面处于焦距中并且进一步增加景深(DOF)。如图2中示出的，照明源102和图像捕获单元104可以容纳在单个扫描头208内。扫描头208被耦合到处理装置，该处理装置处理由图像捕获单元104捕获的数据。扫描头208安装在可移动组件上，该可移动组件以例如恒定速度移动扫描头。此外，扫描头208位于工作空间106的测量场的上方，如图2中示出的。摄像机可以被放置在相对于物体的侧面或底部。虽然照明源102和图像捕获单元104被示出为单个扫描头的一部分，但是也可以将它们提供为单独的单元。

为了测量物体202的高度，扫描头208投射由线激光源102跨越测量场所产生的平面激光束210。平面激光束210在触及位于工作空间106上的物体202之后被反射回来。与扫描头208一起提供的透镜206捕获来自物体202的反射光212。当扫描头208跨越工作空间106移动时，与图像捕获单元104一起提供的编码器(未图标)触发摄像机以在从点A开始到点B的预限定的间隔距离(例如，10微米)捕获图像。在每次触发，捕获单个图像，将该图像处理成单行的二维高度位移映射图。将反射的激光线投射为在包括多个点的图像上的线型轮廓。在图3中描绘了一个示范性二维高度位移映射图。在图3中，点302描绘了各个像素的光强度，所述像素对应于对于Y轴的固定位置，平面光束210落在物体202上的点。换言之，单独的像素位置表示对于Y轴的固定位置的实际工作空间采样位置。使用点的光强度位移来确定物体202上对应点的Z位移高度。例如，像素灰阶强度表示在像素位置处的Z位移高度。

处理单元(例如，计算机)处理图像中的每一列。图像上的列(例如，如图3中示出的)表示二维高度位移映射图上的X位置。处理单元检查一行中的光斑是否是来自物体202该列中的亮激光反射光斑。亮激光反射光斑指示高度。在一个实施方案中，通过以子像素精度来测量光斑，可以进一步增加高度位移测量精度。通过下式来计算物体的高度：

物体高度＝传感器上的高度/(x cosine(90度-(激光角度+摄像机角度)))/cosine(激光角度)，

其中传感器的高度表示该传感器上具有最大强度的像素的y位置的高度；

其中激光角度是激光束与从垂直于工作站的物体引出的线之间的角度，以及

其中摄像机角度是反射光线与从垂直于工作站的物体引出的线之间的角度。

如前所述，扫描头208从点A至点B扫描工作空间106，从而捕获大量图像。这些图像被用于生成物体202的二维高度位移映射图。使用此二维高度位移映像图，可以使用二维图像处理定位物体202的特征和/或尺寸。

可以使用的二维图像处理技术是边缘检测，其用于呈现出三维物体的外形，从而将这些外形与已知模型匹配以定位物体位置与定向。使用边缘检测来找出物体的尺寸及特征。另一种二维图像处理技术包括图案匹配，以针对具有图案的模型来匹配灰阶强度图案以定位该物体，从而根据模型匹配物体以找出额外特征或缺失特征。另一种二维图像处理技术包括区块(blob)分析，以将区块特征与模型匹配来定位目标物体。测量区块三维特征的大小、定向及高度。另一种技术是使用卷积来找出表面的拐角、表面纹理及曲率。可以组合这些特征来计算更复杂的测量值。例如：翘曲、共面、变位(stand-off)、弯曲及扭转。

二维映射图图像可以通过扫描已知高度的物体来校准，例如：扫描两个已知厚度的平坦平面生成两张灰阶图像，其表示跨越测量场的两个高度。可以将此图像进行内插以将所有灰阶值的查找表校准至测量高度。然后，一旦定位了物体202，就可以通过将在任一点处的强度转换成校准的高度值来精确地测量特征。

现将使用图4(a-d)及图5中描绘的实施例来描述本发明。

图4a描绘了在Y坐标等于0的第一触发位置处捕获的图像，即，处理Y＝0的行的第一图像。图4b描绘了在Y坐标等于1的第二触发位置处捕获的图像，即，处理Y＝1的行的第二图像。图4c描绘了在Y坐标等于2的第三触发位置处捕获的图像，即，处理Y＝2的行的第三图像。图4d描绘了在Y坐标等于N的第N触发位置处捕获的图像，即，处理Y＝N–1的行的第N图像。因此，二维高度位移映射图含有与触发一样多的行。例如，如果存在10,000次触发，则二维高度位移映射图将含有10,000行。

按一个序列捕获图4(a-d)的图像，例如，按通过摄像机104捕获的相同序列来捕获。图像在该序列中的位置指示相对于点A的图像位置。如果编码器设定成以10微米的间隔进行触发，则二维高度位移映射图中的每一行表示从点A偏移Y×10微米。图4(a-d)的图像被描绘为根据本发明的一个实施方案的图5的二维高度位移映射图。

通过以上描述，可理解，测量三维特征的这种系统既快速又简单。本发明未使用复杂的三维图像处理算法，而是使用迅速且高效处理数据的二维算法。此外，在扫描之前无需精确地知道目标的位置。因此，扫描得以简化并快速地完成。

应理解，上文所公开的实施方案的变化方案以及它们的其他特征和功能或者其替代实施方案可根据需要被结合至许多其他不同的系统或应用中。此外，本领域的技术人员可以随后对其做出目前未预见或未预料的各种替代、修改、变化或改进，这些也旨在由以下权利要求所涵盖。

尽管已经全面而详细地描述了本公开内容的实施方案以涵盖可能的方面，但本领域技术人员将认识到，本公开内容的其他形式也是可能的。

Claims (7)

1.一种测量物体上的一个位置的高度的方法，该方法包括：

使用至少一个照明源将至少一条辐射线投射到该物体上；

使用至少一个图像捕获单元检测从包括半透明表面的该物体反射的至少一条辐射线，所述至少一个图像捕获单元包括至少一个传感器和至少一个摄像机；以及

使用至少一个处理单元由所检测到的辐射线生成至少一个二维高度位移映射图，其中该二维高度位移映射图包含多个光斑；以及

使用二维图像处理技术将所述多个光斑中的每个光斑的强度处理成灰阶，以计算该物体在每个光斑处的高度；

通过下式来计算该物体的高度：

物体高度＝传感器的高度/(x cosine(90度-(激光角度+摄像机角度)))/cosine(激光角度)，

其中传感器的高度表示该传感器上具有最大强度的像素的y位置的高度；

其中x表示该二维高度位移映射图上的x位置；

其中激光角度是激光束与从垂直于工作站的物体引出的线之间的角度；

其中摄像机角度是反射光线与从垂直于工作站的物体引出的线之间的角度；以及

其中反射光线是从该物体反射的至少一条辐射线。

2.根据权利要求1所述的测量物体上的一个位置的高度的方法，其中该物体是三维物体。

3.根据权利要求1所述的测量物体上的一个位置的高度的方法，其中该二维图像处理技术还包括以下技术中的至少一种：边缘检测技术、卷积技术、区块分析技术及图案匹配技术。

4.一种用于测量物体上的一个位置的高度的装置，该装置包括：

至少一个照明源，被配置成将至少一条辐射线输出到该物体上；

至少一个图像捕获单元，所述至少一个图像捕获单元包括至少一个传感器和至少一个摄像机，且被配置成检测从该物体反射的至少一条辐射线；以及

至少一个处理单元，被配置成由所检测到的辐射线生成二维高度位移映射图，其中该二维高度位移映射图包含多个光斑；

其中所有该处理单元使用二维图像处理技术将所述多个光斑中的每个光斑的强度处理成灰阶，以计算该物体在每个光斑处的高度；

物体高度＝传感器的高度/(x cosine(90度-(激光角度+摄像机角度)))/cosine(激光角度)，

其中传感器的高度表示该传感器上具有最大强度的像素的y位置的高度；

其中x表示该二维高度位移映射图上的x位置；

其中激光角度是激光束与从垂直于工作站的物体引出的线之间的角度；

其中摄像机角度是反射光线与从垂直于工作站的物体引出的线之间的角度；以及

其中反射光线是从该物体反射的至少一条辐射线。

5.根据权利要求4所述的用于测量物体上的一个位置的高度的装置，其中该物体是三维物体。

6.根据权利要求4所述的用于测量物体上的一个位置的高度的装置，其中该照明源是线光源。

7.根据权利要求4所述的用于测量物体上的一个位置的高度的装置，其中该二维图像处理技术还包括以下技术中的至少一种：边缘检测技术、区块分析技术及图案匹配技术。