CN114430841A - 运载器的油漆缺陷的检查方法及检查隧道 - Google Patents

Abstract

本发明涉及一种运载器的油漆缺陷的检查方法，该方法借助于检查隧道而能够确定运载器（7）的油漆缺陷的3D坐标。检查隧道（1）包括若干摄像机（2），传送器（8），测量运载器（7）的移动的位置编码器（9）；测量检查隧道结构（12）的固定点的全站仪（11），校准棋盘（3）和校准图案（4）；存储由摄像机获取的图像、运载器的计算机辅助设计文件和缺陷识别算法的处理和存储装置（10）。

Description

运载器的油漆缺陷的检查方法及检查隧道

发明目的

本发明的目的在于一种运载器的油漆缺陷的检查方法和配备有执行运载器的油漆缺陷的检查方法的必要装置的检查隧道。

本发明的方法试图使在运载器生产链中执行的运载器中油漆的最终精饰的检查过程自动化。可选地，修理发现的缺陷。

技术领域

本发明属于旨在检测和分析运载器的油漆缺陷的检查装置以及由前述装置执行的检测和分析方法的技术领域。

背景技术

现今，借助于具有人工视觉的固定摄像机的反射表面的扫描系统用于以2D得到油漆缺陷的位置。除了分类其若干类型之外，此信息由生产工厂用于：向维修操作员显示缺陷所在的位置；用于质量部门的统计；控制喷漆过程的响应；将重复错误作为一个单元检测。

由于喷漆的运载器是3D物体，因此以2D得到运载器的油漆缺陷仍然需要操作员将检测到的2D点转化成3D物体。因此，基于2D的系统还不是全自动的。

因此，将期望找到一种针对运载器中的油漆缺陷的问题的完全自动化的解决方案。

发明内容

本发明公开了一种运载器的油漆缺陷的检查方法及运载器的油漆缺陷的检查隧道。

本发明的第一方面公开了一种运载器的油漆缺陷的检查隧道。检查隧道包括：用于获取运载器的图像的摄像机；使运载器线性地移动并纵向穿过检查隧道的传送器；测量运载器的移动的位置编码器；以3D精确测量检查隧道结构的固定点的全站仪，校准图案位于其上的校准棋盘；以及至少存储由摄像机获取的图像、运载器的计算机辅助设计-CAD-文件和缺陷识别算法的处理和存储装置。此外，处理和存储装置连接到摄像机、传送器和位置编码器。最终，处理和存储装置适用于执行下面在本发明的第二方面中限定的运载器的油漆缺陷的检查方法的步骤。可选地，检查隧道可具有修理工具。

注意的是，位置编码器或编码器是脉冲生成器，其连接到移动传送器的马达的轴，并在马达旋转时生成脉冲。在本发明中，随着脉冲转换成长度测量值，编码器用于测量运载器沿传送器的前进。

在检查隧道的实施例中，校准图案由以交错形式布置的方格形成。另外，校准图案包括数据矩阵码和基准标记。数据矩阵码和基准标记包含与校准图案相关的信息，如行数和列数、中心方格的位置、方格的尺寸、方格的颜色等。优选地，方格是黑色和白色的，因为通过必须确定其连接点，它们具有更好的对比度。

在检查隧道的另一个实施例中，检查隧道进一步包括倒U形支承结构和前支承结构以支承检查隧道内的摄像机。用于摄像机的这些支承件具有将摄像机放置成使得可对检查隧道内的运载器执行全面扫描的方式的优点。

本发明的第二方面公开了与本发明的第一方面的检查隧道相关联的运载器的油漆缺陷的检查方法。运载器的油漆缺陷的检查方法包括以下步骤：

•校准包括在检查隧道中的摄像机，计算摄像机的内在参数和外在参数；

•为检查隧道建立公共参考系-SCE-，并将摄像机链接到公共参考系-SCE-；

•基于公共参考系-SCE-通过立体视觉计算运载器的至少四个参考点的3D坐标，得到每个参考点的X、Y、Z坐标；

•基于运载器参考系-SCV-由计算机辅助设计-CAD-文件和运载器的3D测量计算每个参考点的X、Y、Z坐标；

•借助于摄像机获取运载器的至少两个同步的2D图像，其中每个同步的2D图像的标识符-ID-与运载器相对于检查隧道的空间位置相关联，并基于公共参考系-SCE-应用存储每个缺陷以及标识符-ID-的X、Y坐标的缺陷识别算法；

•将同步的2D图像组合成3D图像，其中3D图像中的缺陷具有链接到公共参考系-SCE-的X、Y、Z坐标；

•借助于以下关系计算链接到运载器参考系-SCV-的3D图像中的缺陷的X、Y、Z坐标：

SCV=逆（MR）x SCE

其中SCV是矩阵，其限定链接到运载器参考系-SCV-的X、Y、Z坐标；SCE是矩阵，其限定链接到公共参考系-SCE-的X、Y、Z坐标，并且MR是两个参考系之间的关系矩阵，限定从一个参考系到另一个参考系所必要的平移、旋转和比例。

通过先前步骤，得到运载器的油漆中发现的每个缺陷的3D坐标。该信息可用于修理缺陷。为此，本发明的运载器的油漆缺陷的检查方法进一步包括以下步骤：

•计算摄像机的位置和与链接到运载器参考系-SCV-的缺陷的X、Y、Z坐标重合的中心点之间的摄像机-运载器矢量；

•在没有旋转但具有预定距离的等距和径向平移的情况下，生成平行于摄像机-运载器矢量的四个附加矢量；

•计算每个附加矢量在运载器上的交点的3D坐标，得到四个3D点（P1x，P1y，P1z）（P2x，P2y，P2z）（P3x，P3y，P3z）（P4x，P4y，P4z）；

•计算从先前步骤中得到的每个3D点到中心点的距离；

•丢弃带有运载器的造型线的边缘或表面上的矢量（因为这些将扭曲角度的最终结果）；

•计算运载器的表面上的三角形，其中每个三角形是通过将中心点的3D坐标与未丢弃矢量的两个交点连接来计算的；

•计算到计算的表面的法线矢量；

•计算先前法线矢量的平均值，得到单个法线矢量。

法线矢量表示用于修理运载器的油漆缺陷的修理工具的接近矢量。

在摄像机校准的步骤中描述的摄像机的校准过程需要计算内在参数和外在参数。为了计算内在参数，执行以下子步骤：

•获取至少包括数据矩阵码和基准标记的校准棋盘的至少两个图像；

•解码数据矩阵码，以得到校准棋盘的方格尺寸、行数和列数；

•基于数据矩阵码确定校准棋盘的中心方格；

•计算从中心方格开始的方格的所有连接；

•基于方格的连接、包括在摄像机中的光学器件的尺寸和摄像机的CCD单元尺寸计算光学中心、焦距、至少六个径向畸变参数（K1-K6）和至少两个切向畸变参数（P1、P2）。

此外，为了计算外在参数，运载器的油漆缺陷的检查方法包括以下子步骤：

•将校准棋盘放置在检查隧道内的其由至少一个摄像机可看到的位置；

•借助于全站仪通过以下获取校准棋盘的测量值：

○借助于全站仪测量检查隧道结构上的四个固定点；

○迭代地驻留全站仪，得到相对于检查隧道内的运载器传送器的公共参考系-SCE-；

○借助于全站仪在公共参考系-SCE-中测量位于校准棋盘上的至少十二个辅助点；

•通过使用刚性的变换和估计计算公共参考系-SCE-与校准棋盘之间的关系；

•由每个摄像机保存至少一张校准棋盘的图像；

•计算针对每个摄像机的局部坐标系并计算局部坐标系到公共参考系-SCE-的变换。

一旦校准摄像机并建立公共参考系-SCE-，将摄像机链接到公共参考系-SCE-，应用的下一步骤包括通过立体视觉基于公共参考系-SCE-计算运载器的四个参考点的3D坐标，得到每个参考点的X、Y、Z坐标。为了通过立体视觉计算运载器的四个参考点的3D坐标，执行以下步骤：

•在运载器的每侧选择两个摄像机，其具有到待测量的四个参考点的视觉通路；

•考虑到运载器在传送器上相对于检查隧道的同步移动，选择要在运载器上计算的参考点。

可选地并且除了先前两个步骤之外，可借助于对比矢量搜索算法生成识别模式以用于识别随后的相同运载器。

附图说明

图1示出了本发明的用于检查运载器的油漆的检查隧道，示出了检查隧道内的运载器的本体。

图2示出了本发明的检查隧道，其中校准棋盘已放置在内部。

图3示出了由校准棋盘所携带的校准图案。

图4示出了全站仪，其获取检查隧道的四个固定点的3D坐标。

图5示出了借助于摄像机计算运载器的四个参考点。

图6示出了从CAD文件提取的运载器，基于该文件可得到运载器的任意点的3D坐标。

图7示出了公共参考系SCE、运载器参考系SCV以及从一个系统到另一个系统的坐标变换。

图8示出了运载器的油漆缺陷的2D图像和借助于缺陷的X、Y坐标的2D位置。

图9示出了运载器的油漆缺陷的3D图像以及借助于缺陷的X、Y、Z坐标的3D位置。

图10示出了运载器的油漆缺陷的3D图像以及用于修理缺陷的修理工具的接近。

具体实施方式

标号列表

1. 检验隧道

2. 摄像机

3. 校准棋盘

4. 校准图案：4A-数据矩阵码；4b-基准标记；4c-方格；4d-中心方格

5. 用于摄像机的倒U形支承结构

6. 前支承结构

7. 运载器

8. 运载器的传送器

9. 位置编码器或编码器

10. 处理和存储装置

11. 全站仪

12. 检查隧道结构的固定点

13. 内在参数

14. 外在参数

15. 运载器参考点

16. 公共参考系-SCE-

17. 运载器参考系-SCV-

18. 缺陷的XY 2D坐标

19. 缺陷的XYZ 3D坐标

20. 2D同步图像

21. 3D图像

22. 摄像机-运载器矢量

23. 平行于摄相机-运载器矢量的矢量

24. 修理工具

25. 平行矢量的3D交点

26. 缺陷。

下面描述了基于所示附图的本发明的优选实施例。

图1示出了本发明的用于执行运载器的油漆缺陷的检查的检查隧道1。图1示出了检查隧道1，以及在其内的传送器8上的运载器7的底盘。尽管在图1中仅示出了运载器的底盘，但是本发明的检查隧道1还可执行完全组装运载器的油漆缺陷的检查。传送器8具有在检查隧道1内移动运载器7的目的。检查隧道1主要由摄像机2构成，摄像机由倒U形支承结构5和前支承结构6支承。此外，检查隧道1具有运载器传送器8、位置编码器9和处理和存储装置10。处理和存储装置10是处理器和存储器，其配置成用于执行本发明中描述的方法的步骤以及用于与构成检查隧道的其它元件互连。此外，编码器9用于使检查隧道1能够始终知道运载器的位置。如将进一步描述的，这允许在运载器的位置与由摄像机在给定时刻获取的图像之间获取同步图像。

在开始运载器的检查过程之前，有必要校准摄像机2。摄像机2的校准包括计算摄像机的内在参数和外在参数。

为了计算内在参数，校准棋盘3放置在检查隧道1内，如图2中所示。其形状在图3中示出的校准图案4放置在校准棋盘3上。校准图案4由以交错形式交替的黑色和白色方格4c构成，类似于棋盘。校准图案4包括布置在不同白色方格中的数据矩阵码4a和基准标记4b。处理和存储装置10执行以下步骤以计算内在参数：它们借助于摄像机2获取具有校准图案4的校准棋盘3的至少两个图像；它们解码数据矩阵码4a，以得到方格4c的尺寸、中心方格4d、校准棋盘3的行数和列数。利用上述信息，处理和存储装置10计算从中心方格开始的方格的所有连接，并且利用方格的连接、包括在摄像机中的光学器件的尺寸和摄像机的CCD单元尺寸，它们计算内在参数13，其为：光学中心、焦距、至少六个径向畸变参数（K1-K6）和至少两个切向畸变参数（P1、P2）。

关于外在参数，除了使用校准棋盘3之外，使用全站仪11，如图4中所示。首先，校准棋盘3放置在检查隧道1内的其由至少一个摄像机2可见的位置。接着，借助于全站仪11执行校准棋盘3的测量。这需要创建公共参考系-SCE-16，针对公共参考系，借助于全站仪11对检查隧道1结构的四个点和位于校准棋盘3上的十二个点执行迭代测量。换言之，检查隧道1的相同的四个点和位于校准棋盘3上的十二个点从全站仪11的不同位置相对于检查隧道1测量。不同位置优选地是运载器将在传送器8上覆盖的位置。换言之，检查隧道1的四个固定点12和位于校准棋盘3上的十二个点获取的测量值之间的关系允许创建公共参考系-SCE-16。一旦限定公共参考系-SCE-16，则每个摄像机2必须相对于公共参考系-SCE-16链接，以便随后能够确定运载器的油漆缺陷的3D坐标。为此，首先借助于刚性的变换和估计计算公共参考系-SCE-与校准棋盘之间的关系。随后，为每个摄像机2存储校准棋盘3的至少一个图像，计算每个摄像机2的局部坐标系，且最终计算局部坐标系到公共参考系-SCE-的变换。

如图5中所示，一旦校准摄像机2并建立公共参考系-SCE-16，将摄像机链接到公共参考系-SCE-16，应用的下一步骤包括通过立体视觉基于公共参考系-SCE-计算运载器的四个参考点15的3D坐标，得到每个参考点的X、Y、Z坐标。如图5中所示，在运载器7的每一侧，两个摄像机2获取参考点15的图像并得到参考点15相对于公共参考系-SCE-16的3D坐标。因此，得到两个参考点15的3D坐标，运载器的每一侧各一个。同时或顺次计算也在运载器的两侧上的另外两个参考点15的3D坐标。其如果存在可获取其它两个参考点15的图像的摄像机2则可同时执行，或借助于传送器8移动运载器7直到两个摄像机2可具有到其它两个参考点15的通路而可顺次执行。对于顺次方式，参考点15的3D坐标具有由位于传送器8中的位置编码器或编码器9知道的用于消除移动的校正因子。为了不必为随后将由检查隧道1检查的相同运载器重复针对图5描述的步骤，处理和存储装置10可借助于对比矢量搜索算法生成识别模式。

一旦相对于公共参考系-SCE-16计算了运载器7的四个参考点15的3D坐标，就可能建立运载器的四个参考点15相对于公共参考系-SCE-16的3D坐标与运载器的那些相同四个参考点15相对于运载器参考系-SCV-17的3D坐标之间的对应关系（图7），在计算机辅助设计-CAD-文件中定位四个参考点，该文件包含运载器的3D测量/坐标，如图6中所示的那些。换言之，在由摄像机计算的每个参考点15（图5）与从CAD文件提取的相同参考点15（图6）之间建立对应关系（图7）。

接下来，分析运载器7的表面以检查运载器的油漆缺陷。为此，借助于摄像机获取运载器7的若干2D同步图像20（图8）。2D图像称为“同步”的，因为对于每个“同步”图像，图像的标识符-ID-、摄像机的空间位置和运载器的空间位置之间存在直接关系，因为运载器在传送器8上，其与检查隧道1的空间关系借助于位置编码器9知道。如图8中所示，缺陷识别算法应用于每个2D同步图像20，处理和存储装置可利用该算法基于公共参考系-SCE-16计算每个缺陷18的X、Y坐标，将其关联到标识符-ID-，并存储其以用于其以后处理。

一旦获取缺陷18的若干2D同步图像20（至少两个），则将2D同步图像组合成3D图像21以得到3D图像，其中3D图像中的缺陷具有链接到公共参考系-SCE-的X、Y、Z坐标19。由于目的在于发现运载器本身上的油漆缺陷，公共参考系-SCE-到运载器参考系-SCV-的3D图像中的缺陷的X、Y、Z坐标的转换借助于以下等式关系计算：

SCV=逆（MR）x SCE

其中SCV是矩阵，其限定链接到运载器参考系-SCV-的X、Y、Z坐标；SCE是矩阵，其限定链接到公共参考系-SCE-的X、Y、Z坐标，MR是关系矩阵，其限定从-SCV-变化到-SCE-参考系所必要的平移、旋转和比例。利用该等式关系，运载器7的油漆缺陷19的3D坐标（X，Y，Z）在链接到运载器参考系-SCV-的3D图像中得到，如图9中所示。

在链接到运载器参考系-SCV的3D图像中知道运载器的油漆缺陷19的3D坐标（X，Y，Z）的可能应用是借助于修理工具修理缺陷26。修理工具需要知道以其到达缺陷26的角度，即运载器的油漆缺陷的3D坐标19。这就是为什么本发明的方法可进一步执行以下步骤来计算修理工具24必须以其到达运载器上的缺陷的角度。图10中表示的步骤是：

•计算摄像机2的位置和与链接到运载器参考系-SCV-的缺陷19的X、Y、Z坐标重合的中心点之间的摄像机-运载器矢量22；

•在没有旋转但具有以大约1mm的预定距离的等距和径向平移的情况下，生成平行于摄像机-运载器矢量22的四个附加矢量23；

•计算每个附加矢量在运载器上的交点25的3D坐标，得到四个3D点（P1x，P1y，P1z）（P2x，P2y，P2z）（P3x，P3y，P3z）（P4x，P4y，P4z），应用前述技术以计算油漆缺陷的3D位置；

•计算从先前步骤中得到的每个3D点到中心点的距离；

•丢弃带有运载器的造型线的边缘或表面上的矢量，因为这些将扭曲角度的最终结果；

•计算运载器的表面上的三角形，其中每个三角形是通过连接中心点的3D坐标与未丢弃矢量的两个交点来计算的；

•计算到计算的表面的法线矢量；

•计算先前法线矢量的平均值，得到单个法线矢量，其代表修理工具必须以其到达运载器上的缺陷的角度。

Claims (9)

1.一种借助于检查隧道的运载器的油漆缺陷的检查方法，其特征在于，所述方法包括以下步骤：

•通过计算摄像机的内在参数和外在参数来校准包括在检查隧道中的所述摄像机；

•为所述检查隧道建立公共参考系-SCE-，并将所述摄像机链接到所述公共参考系-SCE-；

•基于所述公共参考系-SCE-通过立体视觉计算运载器的至少四个参考点的3D坐标，得到每个参考点的X、Y、Z坐标；

•基于运载器参考系-SCV-由计算机辅助设计-CAD-文件和所述运载器的3D测量计算每个参考点的X、Y、Z坐标；

•借助于所述摄像机获取所述运载器的至少两个同步的2D图像，其中每个同步的2D图像的标识符-ID-与所述运载器相对于所述检查隧道的空间位置相关联，并基于所述公共参考系-SCE-应用计算每个缺陷以及所述标识符-ID-的X、Y坐标的缺陷识别算法；

•将所述同步的2D图像组合成3D图像，其中所述3D图像中的缺陷具有链接到所述公共参考系-SCE-的X、Y、Z坐标；

•借助于以下关系计算链接到所述运载器参考系-SCV-的所述3D图像中的缺陷的X、Y、Z坐标：

SCV=逆（MR）x SCE

其中SCV是矩阵，其限定链接到所述运载器参考系-SCV-的X、Y、Z坐标；MR是关系矩阵，并且SCE是矩阵，其限定链接到所述公共参考系-SCE-的X、Y、Z坐标。

2.根据权利要求1所述的借助于检查隧道的运载器的油漆缺陷的检查方法，其特征在于，所述方法进一步包括以下步骤：

•计算所述摄像机的位置和与链接到所述运载器参考系-SCV-的缺陷的X、Y、Z坐标重合的中心点之间的摄像机-运载器矢量；

•在预定距离的等距和径向平移的情况下，生成平行于所述摄像机-运载器矢量的四个附加矢量；

•计算每个附加矢量在所述运载器上的交点的3D坐标，得到四个3D点（P1x，P1y，P1z）（P2x，P2y，P2z）（P3x，P3y，P3z）（P4x，P4y，P4z）；

•计算从先前步骤得到的每个3D点到所述中心点的距离；

•丢弃带有所述运载器的造型线的边缘或表面上的矢量；

•计算所述运载器的表面上的三角形，其中每个三角形是通过将所述中心点的3D坐标与未丢弃矢量的两个交点连接来计算的；

•计算到计算的表面的法线矢量；

•计算先前法线矢量的平均值，得到单个法线矢量。

3.根据权利要求1所述的借助于检查隧道的运载器的油漆缺陷的检查方法，其特征在于，校准所述摄像机的步骤进一步包括以下子步骤以计算所述内在参数：

•获取至少包括数据矩阵码和基准标记的校准棋盘的至少两个图像；

•解码所述数据矩阵码，以得到所述校准棋盘的方格尺寸、行数和列数；

•基于所述数据矩阵码确定所述校准棋盘的中心方格；

•计算从所述中心方格开始的方格的所有连接；

•基于方格的连接、包括在所述摄像机中的光学器件的尺寸和所述摄像机的CCD单元尺寸计算光学中心、焦距、至少六个径向畸变参数（K1-K6）和至少两个切向畸变参数（P1、P2）。

4.根据权利要求1所述的借助于检查隧道的运载器的油漆缺陷的检查方法，其特征在于，校准所述摄像机的步骤进一步包括以下子步骤以计算所述外在参数：

•将校准棋盘放置在所述检查隧道内的所述校准棋盘由至少一个摄像机可见的位置；

•借助于所述全站仪通过以下获取所述校准棋盘的测量值：

○借助于所述全站仪测量所述检查隧道结构上的四个固定点；

○迭代地驻留所述全站仪，得到相对于所述检查隧道内的运载器传送器的公共参考系-SCE-；

○借助于所述全站仪在所述公共参考系-SCE-中测量位于所述校准棋盘上的至少十二个辅助点；

•通过使用刚性的变换和估计计算所述公共参考系-SCE-与所述校准棋盘之间的关系；

•由每个摄像机保存至少一张所述校准棋盘的图像；

•计算针对每个摄像机的局部坐标系并计算所述局部坐标系到所述公共参考系-SCE-的变换。

5.根据权利要求1所述的借助于检查隧道的运载器的油漆缺陷的检查方法，其特征在于，通过立体视觉计算3D坐标的步骤进一步包括以下子步骤：

•在所述运载器的每侧选择两个摄像机，其具有到待测量的所述四个参考点的视觉通路；

•考虑到所述运载器在传送器上相对于所述检查隧道的同步移动，选择要在所述运载器上计算的参考点；

•借助于对比矢量搜索算法创建识别模式以用于识别后续相同的运载器。

6.一种运载器的油漆缺陷的检查隧道，其中所述检查隧道（1）特征在于，所述检查隧道（1）包括：

•用于获取运载器（7）的图像的摄像机（2）；

•传送器（8），其使所述运载器（7）线性地移动并纵向穿过所述检查隧道（1）；

•位置编码器（9），其测量所述运载器（7）的移动；

•全站仪（11），其测量检查隧道结构（12）的固定点；

•校准棋盘（3），校准图案（4）位于其上；

•处理和存储装置（10），其至少存储由所述摄像机获取的图像、所述运载器的计算机辅助设计-CAD-文件和缺陷识别算法；连接到所述摄像机（2）、传送器（8）和位置编码器（9）；并且其中所述处理和存储装置适于执行权利要求1至权利要求5中任一项所述的方法的步骤。

7.根据权利要求6所述的运载器的油漆缺陷的检查隧道，其特征在于，所述校准图案（4）由以交错形式布置的方格（4c）形成，并且其中所述校准图案（4）进一步包括数据矩阵码（4a）和基准标记（4b）。

8.根据权利要求6所述的运载器的油漆缺陷的检查隧道，其特征在于，所述检查隧道（1）进一步包括倒U形支承结构（5）和前支承结构（6）以支承所述检查隧道（1）内的摄像机（2）。

9.根据权利要求6所述的运载器的油漆缺陷的检查隧道，其特征在于，所述检查隧道（1）进一步包括用于修理所述运载器（7）的油漆缺陷的修理工具（24）。

Images