CN116839473A - 焊缝定位及尺寸计算方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请涉及一种焊缝定位及尺寸计算方法、装置、存储介质及电子设备，其中方法包括：通过所述激光投影仪和所述彩色相机获取各已焊接区域的整体三维点云数据，并通过所述彩色相机获取各所述已焊接区域的整体彩色图像；从所述整体彩色图像中提取感兴趣区域对应的目标图像，所述感兴趣区域为对应的已焊接区域中的目标焊缝的感兴趣区域；按照预设规则从所述目标图像中提取所述目标焊缝的定位区域图像；从所述目标焊缝对应的整体三维点云数据中提取所述定位区域图像对应的目标三维点云数据，并对所述目标三维点云数据进行点云主成分分析，得到所述目标焊缝的焊缝尺寸。本申请具有提升焊缝尺寸检测结果的准确性的效果。

Description

焊缝定位及尺寸计算方法、装置、存储介质及电子设备

技术领域

本申请涉及焊缝尺寸计算技术领域，具体涉及一种焊缝定位及尺寸计算方法、装置、存储介质及电子设备。

背景技术

焊缝（welded seam）是利用焊接热源的高温，将焊条和接缝处的金属熔化连接而成的缝。焊缝金属冷却后，即将两个焊件焊接成整体。而焊接则是以加热、高温或高压的方式接合金属的工艺技术。随着钢筋材料在道路、建筑、桥梁等国民基础设施建筑领域的广泛应用，钢筋之间的连接需求也是日益增加，并且钢筋的主要连接方式为焊接，焊接后的焊缝质量决定着钢筋连接的质量，也决定着钢筋连接得到的钢筋框架的性能，更决定着整个建筑工程的安全性和稳定性。

其中，钢筋的焊缝尺寸是判断焊缝质量的重要标准，因此，焊缝尺寸的计算成为判断焊缝质量过程中的重要一环。现有的主要是通过人工手持检测对焊缝尺寸进行测量，导致焊缝尺寸的检测结果准确性较低。

发明内容

为了提升焊缝尺寸的检测结果的准确性，本申请提供一种焊缝定位及尺寸计算方法、装置、存储介质及电子设备。

在本申请的第一方面提供了一种焊缝定位及尺寸计算方法，应用于三维激光扫描仪，所述三维激光扫描仪内设置有彩色相机和激光投影仪，具体包括：

通过所述激光投影仪和所述彩色相机获取各已焊接区域的整体三维点云数据，并通过所述彩色相机获取各所述已焊接区域的整体彩色图像；

从所述整体彩色图像中提取感兴趣区域对应的目标图像，所述感兴趣区域为对应的已焊接区域中的目标焊缝的感兴趣区域；

按照预设规则从所述目标图像中提取所述目标焊缝的定位区域图像；

从所述已焊接区域的整体三维点云数据中提取所述定位区域图像对应的目标三维点云数据，并对所述目标三维点云数据进行点云主成分分析，得到所述目标焊缝的焊缝尺寸。

通过采用上述技术方案，获取到多个已焊接区域的整体三维点云数据和整体彩色图像后，确定每个已焊接区域中的目标焊缝的感兴趣区域，并从此已焊接区域的整体彩色图像中提取此感兴趣区域对应的目标图像，方便对进一步分析感兴趣区域，有助于目标焊缝的定位。接着排除各种噪点干扰，从目标图像中准确提取出目标焊缝的定位区域图像，最后根据彩色相机与激光投影仪之间的相互转换关系，从此已焊接区域对应的整体三维点云数据中提取定位区域图像的像素对应的目标三维点云数据，对目标三维点云数据进行点云主成分分析，最终确定目标焊缝的焊缝尺寸，无需人工进行进行检测，从而提升焊缝尺寸的检测结果的准确性。

可选的，所述从所述整体彩色图像中提取感兴趣区域对应的目标图像，具体包括：

获取所述目标焊缝对应的目标最小视场，所述目标最小视场为所述目标焊缝被所述三维激光扫描仪完整扫描所需的最小视场；

分别选取所述目标最小视场的X轴方向、Y轴方向、Z轴方向的最大值和最小值，得到所述目标焊缝对应的目标极值坐标，所述目标极值坐标覆盖所述目标焊缝；

从所述整体彩色图像中截取所述目标极值坐标内的图像，得到感兴趣区域对应的目标图像。

通过采用上述技术方案，确定目标焊缝的目标最小视场，使得三维激光扫描仪在此目标最小视场中能完整扫描此目标焊缝，接着根据坐标大小，分别选择目标最小视场X轴方向、Y轴方向、Z轴方向上坐标值的最大值和最小值，得到目标焊缝的目标极值坐标囊括的范围包含目标焊缝，同时还能尽量缩小目标焊缝的定位区域。最后从整体彩色图像中按照目标极值坐标所囊括的范围截取图像，最终确定感兴趣区域对应的目标图像，从而方便后续根据目标图像进一步精准对目标焊缝进行定位。

可选的，所述按照预设规则从所述目标图像中提取所述目标焊缝的定位区域图像，具体包括：

对所述目标图像进行图像分割、灰度化、二值化、膨胀处理以及轮廓提取，得到所述目标焊缝对应的最大轮廓；

基于所述最大轮廓，从所述目标图像中提取所述目标焊缝的定位区域图像。

通过采用上述技术方案，目标图像确定后，对目标图像分别进行图像分割和二值化处理，可以较好地目标焊缝中的噪点。进行灰度化处理，可以降低目标图像的所占内存，提高运算速度。接着进行轮廓提取，得到目标焊缝对应的最大轮廓，即，目标焊缝的精确轮廓。最后根据确定的最大轮廓，从目标图像中提取（截取）此最大轮廓对应的定位区域图像，从而实现对目标焊缝在整体彩色图像中的精准定位。

可选的，所述对所述目标图像进行图像分割、灰度化、二值化、膨胀处理以及轮廓提取，得到所述目标焊缝对应的最大轮廓，具体包括：

通过预设的图像分割算法对所述目标图像进行图像分割，得到多个分割图像；

对各所述分割图像均依次进行灰度化、二值化、膨胀处理以及轮廓提取，得到多个轮廓；

计算各所述轮廓的周长，并将周长最大的轮廓确定为所述目标焊缝对应的最大轮廓。

通过采用上述技术方案，通过图像分割算法将目标图像分割为多个分割图像，接着对每个分割图像均依次进行灰度化、二值化、膨胀处理，得到多个处理后的分割图像，进一步地，再对多个处理后的分割图像分别进行轮廓提取，得到多个轮廓，最后舍弃周长较小的轮廓，因为周长较小的轮廓可能为图像噪点，选取周长最大的轮廓作为目标焊缝的最大轮廓，从而得到目标焊缝较为精准的轮廓。

可选的，所述从所述目标焊缝对应的整体三维点云数据中提取所述定位区域图像对应的目标三维点云数据，并对所述目标三维点云数据进行点云主成分分析，得到所述目标焊缝的焊缝尺寸，具体包括：

获取所述彩色相机对应的第一坐标系和所述激光投影仪对应的第二坐标系之间的坐标转换矩阵；

根据所述坐标转换矩阵，将所述目标焊缝的定位区域图像从所述第一坐标系转换至第二坐标系，得到所述定位区域图像的目标位置信息，所述目标位置信息为所述定位区域图像相较于所述整体彩色图像的相对位置关系；

根据所述目标位置信息，从所述目标焊缝对应的整体三维点云数据中提取所述定位区域图像对应的目标三维点云数据；

对所述目标三维点云数据进行点云主成分分析，得到所述目标焊缝的焊缝尺寸。

通过采用上述技术方案，目标焊缝的定位区域图像确定后，由于定位区域图像处于第一坐标系中，第二坐标系位于三维空间内。因此，根据第一坐标系与第二坐标系的坐标转换矩阵，将定位区域图像从第一坐标系转换到第二坐标系中，得到定位区域图像的目标位置信息。接着根据此目标位置信息从整体三维点云数据中筛选对应的目标三维点云数据，即通过三维空间内的相对位置关系筛选目标三维点云数据。最后对目标三维点云数据进行点云主成分分析，最终确定目标焊缝准确性较高的焊缝尺寸。

可选的，所述对所述目标三维点云数据进行点云主成分分析，得到所述目标焊缝的焊缝尺寸，具体包括：

通过预设的主成分分析法对所述目标三维点云数据进行分析，得到所述目标焊缝的焊缝尺寸。

通过采用上述技术方案，主成分分析法不仅能较好地减少目标三维点云数据中的冗余信息，还能去除目标三维点云数据中的噪声，提高其准确性和可靠性，最终使得计算焊缝尺寸准确性更高。

可选的，所述通过所述激光投影仪和所述彩色相机获取各已焊接区域的整体三维点云数据之前，还包括：

判断各已焊接区域是否位于所述三维激光扫描仪的测量范围内；

通过所述激光投影仪和所述彩色相机获取各已焊接区域的整体三维点云数据，并通过所述彩色相机获取各所述已焊接区域的整体彩色图像，具体包括：

在各已焊接区域位于所述三维激光扫描仪的测量范围内的情况下，通过所述激光投影仪和所述彩色相机获取各所述已焊接区域的整体三维点云数据，并通过所述彩色相机获取各所述已焊接区域的整体彩色图像。

通过采用上述技术方案，由于三维激光扫描仪的测量范围有限，因此在获取各个已焊接区域的整体三维点云数据和整体彩色图像之前，需要判断各个已焊接区域是否均处在三维激光扫描仪的测量范围，确保各个已焊接区域均能被扫描测量，从而使得对各个已焊接区域能不遗漏地获取整体彩色图像和整体三维点云数据。

在本申请的第二方面提供了一种焊缝定位及尺寸计算装置，具体包括：

信息获取模块，用于通过激光投影仪和彩色相机获取各已焊接区域的整体三维点云数据，并通过所述彩色相机获取各所述已焊接区域的整体彩色图像；

图像提取模块，用于从所述整体彩色图像中提取感兴趣区域对应的目标图像，所述感兴趣区域为对应的已焊接区域中的目标焊缝的感兴趣区域；

焊缝定位模块，用于按照预设规则从所述目标图像中提取所述目标焊缝的定位区域图像；

尺寸确定模块，用于从所述目标焊缝对应的整体三维点云数据中提取所述定位区域图像对应的目标三维点云数据，并对所述目标三维点云数据进行点云主成分分析，得到所述目标焊缝的焊缝尺寸。

通过采用上述技术方案，信息获取模块通过三维激光扫描仪内部的激光投影仪和彩色相机获取各个已焊接区域的整体三维点云数据，以及通过彩色相机单独获取各个已焊接区域的整体彩色图像，然后由图像提取模块从整体彩色图像中提取感兴趣区域对应的目标图像，接着焊缝定位模块按照预设规则从目标图像中提取目标焊缝的定位区域图像，最后尺寸确定模块从整体三维点云数据中提取定位区域图像对应的目标三维点云数据，并对目标三维点云数据进行点云主成分分析，最终得到目标焊缝的焊缝尺寸。

综上所述，本申请包括以下至少一种有益技术效果：

获取到多个已焊接区域的整体三维点云数据和整体彩色图像后，确定每个已焊接区域中的目标焊缝的感兴趣区域，并从此已焊接区域的整体彩色图像中提取此感兴趣区域对应的目标图像，方便对进一步分析感兴趣区域，有助于目标焊缝的定位。接着排除各种噪点干扰，从目标图像中准确提取出目标焊缝的定位区域图像，最后根据彩色相机与激光投影仪之间的相互转换关系，从此已焊接区域对应的整体三维点云数据中提取定位区域图像的像素对应的目标三维点云数据，对目标三维点云数据进行点云主成分分析，最终确定目标焊缝的焊缝尺寸，无需人工进行进行检测，从而提升焊缝尺寸的检测结果的准确性。

附图说明

图1是本申请实施例提供的一种焊缝定位及尺寸计算方法的流程示意图；

图2是本申请实施例提供的一种已焊接区域的整体三维点云数据和整体彩色图像的示意图；

图3是本申请实施例提供的一种目标焊缝的感兴趣区域的示意图；

图4是本申请实施例提供的一种焊缝尺寸计算的流程图；

图5是本申请实施例提供的另一种焊缝定位及尺寸计算方法的流程示意图；

图6是本申请实施例提供的一种目标焊缝的最大轮廓的确定的流程示意图；

图7是本申请实施例提供的一种焊缝定位及尺寸计算装置的结构示意图；

图8是本申请实施例提供的另一种焊缝定位及尺寸计算装置的结构示意图。

附图标记说明：11、信息获取模块；12、图像提取模块；13、焊缝定位模块；14、尺寸确定模块。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。

在本申请实施例的描述中，“示性的”、“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示性的”、“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示性的”、“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。

在本申请实施例的描述中，术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B这三种情况。另外，除非另有说明，术语“多个”的含义是指两个或两个以上。例如，多个系统是指两个或两个以上的系统，多个屏幕终端是指两个或两个以上的屏幕终端。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

三维激光扫描仪（three dimensional laser scanner），其主要利用的激光测距的原理，即通过对被测物体表面，在本申请实施例中为焊缝表面的大量点的三维坐标、纹理、反射率等信息的采集，对其线面体和三维模型等数据进行重建，最终确定焊缝表面的三维点云数据。在本申请实施例中，三维激光扫描仪内设置有激光投影仪和彩色相机。需要说明的是，本申请公开的焊缝定位及尺寸计算方法是应用于三维激光扫描仪中，即执行主体为三维激光扫描仪。

参见图1，本申请实施例公开了一种焊缝定位及尺寸计算方法的流程示意图，可依赖于计算机程序实现，也可运行于基于冯诺依曼体系的焊缝定位及尺寸计算装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行，具体包括：

S101：通过激光投影仪和彩色相机获取各已焊接区域的整体三维点云数据，并通过彩色相机获取各已焊接区域的整体彩色图像。

具体的，激光投影仪是使用激光光束来透射出画面的投影仪。彩色相机即三维激光扫描仪中的工业相机，其本质的功能就是将光信号转变成有序的电信号。彩色相机通常采用光学扫描方式，利用相机内部的光学系统对物体进行扫描，并通过光电转换和信号处理等技术，将扫描得到的图像转换为数字信号，再通过计算机进行处理和分析。

三维点云数据是一种由三维空间中的点的坐标和颜色信息组成的数据集，它可以用于许多领域，如三维打印、工业检测、医学影像、地球物理学等。其通常由不同领域的设备，如三维激光扫描仪、相机、雷达等获取，这些设备会在三维空间中扫描物体，并记录下物体表面的点坐标和颜色信息。点云数据可以通过各种方式进行处理和分析，如提取特征、识别目标、分析模型等。

每个已焊接区域为单个焊接工位上的已完成焊接的钢筋以及对应的焊缝，即已焊接区域内包含有单条焊接完成的焊缝，在其他实施例中，已焊接区域中也可以存在多条焊接完成的焊缝。

在本申请实施例中，先由激光投影仪向已焊接区域投影条纹图像，接着再由彩色相机拍摄各个已焊接区域表面调制后的条纹图像，最后将拍摄后的图像经过预设的结构光算法处理，最终得到各个已焊接区域的整体三维点云数据。另外，通过三维激光扫描仪内部的彩色相机直接拍摄各个已焊接区域，从而获得各个已焊接区域的整体彩色图像，详细参见图2。其中，结构光算法是一种三维深度估计算法，其原理是基于相似三角形的几何关系。该算法通过投射具有高度伪随机性的激光散斑，在三维空间直接标记物体表面，然后根据激光散斑计算物体深度信息。结构光算法可以应用于三维视觉中的许多领域，如计算机视觉、机器人导航、医学影像诊断等。此为现有技术，在此不再赘述。

S102：从整体彩色图像中提取感兴趣区域对应的目标图像，感兴趣区域为对应的已焊接区域中的目标焊缝的感兴趣区域。

在一个可实现的实施方式中，获取目标焊缝对应的目标最小视场，目标最小视场为目标焊缝被三维激光扫描仪完整扫描所需的最小视场；

分别选取目标最小视场的X轴方向、Y轴方向、Z轴方向的最大值和最小值，得到目标焊缝对应的目标极值坐标，目标极值坐标覆盖目标焊缝；

从整体彩色图像中截取目标极值坐标内的图像，得到感兴趣区域对应的目标图像。

具体的，整体三维点云数据和整体彩色图像确定后，其中，针对每个已焊接区域，其对应的整体三维点云数据和整体彩色图像中涉及的区域不仅仅有目标焊缝，还有被焊工件（钢筋）以及焊接工位等等，需要逐步从整体彩色图像中提取只涉及有目标焊缝的彩色图像。因此便从整体彩色图像中提取目标焊缝的感兴趣区域对应的目标图像，其中，在图像处理领域，感兴趣区域（Region Of Interest，ROI）是从图像中以方框、圆、椭圆、不规则多边形等方式勾勒选择一个图像区域，这个图像区域是图像分析所关注的重点，方便进一步进行目标焊缝的识别，既可以减少图像数据的处理量以加快处理速度，又可以避免其他区域噪声干扰的影响。在本申请实施例中，采用方框提取感兴趣区域，在其他实施例中，也可以采用圆提取感兴趣区域。

视场为摄像头能够观察到的最大范围，通常以角度来表示，视场越大， 观测范围越大。对于本申请而言，视场为三维激光扫描仪能够观察到的最大范围。目标最小视场为每个目标焊缝被三维激光扫描仪完整扫描所需的最小的视场，具体的获取方式为：在保证目标焊缝被完全被扫描的前提下，人员提前调整视场大小至最小，得到目标最小视场，并记录下目标焊缝对应的目标最小视场。

另外，一种提取感兴趣区域对应的目标图像的可行方式为：在目标最小视场确定后，由于三维激光扫描仪的视场中具有三条轴线，分别为X轴Y轴Z轴，X轴指向右侧，Y轴指向上方，Z轴指向前方。接着分别选取X轴上坐标直的最大值和最小值、Y轴上坐标值的最大值和最小值以及Z轴上坐标值的最大值和最小值，最终得到目标焊缝对应的目标极值坐标，此目标极值坐标所涉及的范围能覆盖目标焊缝。

如图3所示，目标极值坐标确定后，按照目标极值坐标所涉及的范围（感兴趣区域），从整体彩色图像截取部分图像，将截取的此部分图像确定为感兴趣区域对应的目标图像。需要说明的是，其它已焊接区域中的目标焊缝的感兴趣区域均同理可以确定。

S103：按照预设规则从目标图像中提取目标焊缝的定位区域图像。

具体的，目标焊缝的感兴趣区域对应的目标图像确定后，对目标图像依次进行图像滤波、灰度化、二值化以及膨胀处理后，进行轮廓提取，得到多个轮廓，并选取其中的最大轮廓作为目标焊缝的精准轮廓。目标焊缝的精准轮廓确定后，根据目标焊缝的精准轮廓可以在目标图像中对目标焊缝进行精确定位，从目标图像中截取目标焊缝的精准轮廓对应的定位区域图像，进而获取到只包含目标焊缝的彩色图像。需要说明的是，在本申请中，处理的顺序可以依次为图像滤波、灰度化、二值化、膨胀处理以及轮廓提取，在其他实施例中，也可以先进行对目标图像灰度化处理，再依次进行图像滤波、二值化、膨胀处理，最后进行轮廓提取。

S104：从目标焊缝对应的整体三维点云数据中提取定位区域图像对应的目标三维点云数据，并对目标三维点云数据进行点云主成分分析，得到目标焊缝的焊缝尺寸。

具体的，如图4所示，目标焊缝的定位区域图像确定后，根据定位区域图像从此目标焊缝对应的整体三维点云数据中提取目标焊缝的目标三维点云数据，一种可行的提取方式为：由于定位区域图像是从彩色相机拍摄的彩色图像中截取，因此定位区域图像对应的是彩色相机坐标系，并且三维点云数据对应的激光投影仪坐标系。首先根据相机坐标系与激光投影仪坐标系之间的坐标转换矩阵，将目标焊缝的定位区域图像从相机坐标系转换为激光投影仪坐标系，得到定位区域图像对应的三维空间坐标。接着根据此三维空间坐标从整体三维点云数据中提取目标焊缝对应的目标三维点云数据。最后对目标三维点云数据进行点云主成分分析，得到目标焊缝的焊缝尺寸，焊缝尺寸包括焊缝长度、宽度和深度，具体通过主成分分析法进行分析。主成分分析法一般指主成分分析（Principle ComponentAnalysis，PCA），其为一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。应用于点云预处理，平面检测，法向量求解，降维，分类和解压。此为现有技术，在此不再赘述。

其中，坐标转换矩阵（transformation matrix of coordinates）为将一个坐标系统从一个空间变换到另一个空间的矩阵，也是坐标系转换前后，坐标点的数值变换映射关系矩阵。需要说明的是，坐标转换矩阵为预设。

需要说明的是，焊缝尺寸检测的应用场景中，常用的方式为基于图像处理算法，单独通过彩色相机获取焊缝尺寸，只存焊缝长度和焊缝宽度，存在焊缝深度的丢失，导致焊缝尺寸检测的准确性较低，另外，人工测量得到的焊缝尺寸准确性也不够。本申请公开的焊缝定位及尺寸计算方法，将彩色相机和激光投影仪获取的整体三维点云数据、彩色相机获取的整体彩色图像相融合，较好地提升焊缝尺寸检测结果的准确性。

参见图5，本申请实施例公开了一种焊缝定位及尺寸计算方法的流程示意图，可依赖于计算机程序实现，也可运行于基于冯诺依曼体系的焊缝定位及尺寸计算装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行，具体包括：

S201：通过激光投影仪和彩色相机获取各已焊接区域的整体三维点云数据，并通过彩色相机获取各已焊接区域的整体彩色图像。

具体的，可参考步骤S101，在此不再赘述。

在一个可实现的实施方式中，S201之前，还包括：判断各已焊接区域是否位于三维激光扫描仪的测量范围内。则步骤S201具体包括：在已焊接区域位于三维激光扫描仪的测量范围内的情况下，通过激光投影仪和彩色相机获取已焊接区域的三维点云数据，并通过彩色相机获取已焊接区域的彩色图像。

具体的，在正式获取各个已焊接区域的整体三维点云数据和整体彩色图像之前，需要判断各个已焊接区域是否均处在三维激光扫描仪的测量范围内，如果接收到人员的终端发送的均处在测量范围内的“确认”信息，判断为各个已焊接区域处在三维激光扫描仪的测量范围内，如果没有接收到“确认”信息，则判断为各个已焊接区域未处在三维激光扫描仪的测量范围内。那么需要人员根据三维激光扫描仪的视场和各个已焊接区域的大小，调整三维激光扫描仪的安装位置，使得各个已焊接区域均处在三维激光扫描仪的测量范围内。

S202：从整体彩色图像中提取感兴趣区域对应的目标图像，感兴趣区域为对应的已焊接区域中的目标焊缝的感兴趣区域。

具体的，可参考步骤S102，在此不再赘述。

S203：对目标图像进行图像分割、灰度化、二值化、膨胀处理以及轮廓提取，得到目标焊缝对应的最大轮廓。

S204：基于最大轮廓，从目标图像中提取目标焊缝的定位区域图像。

在一个可实现的实施方式中，通过预设的图像分割算法对目标图像进行图像分割，得到多个分割图像；

对各分割图像均依次进行灰度化、二值化、膨胀处理以及轮廓提取，得到多个轮廓；

计算各轮廓的周长，并将周长最大的轮廓确定为目标焊缝对应的最大轮廓。

具体的，如图6所示，目标焊缝的目标图像确定后，首先对目标图像进行图像分割处理，主要通过基于边缘的分割算法，其本质为一种滤波算法，在本申请实施例中，可以采用canny算法，在其他实施例中，也可以采用sobel算法。进行图像分割后得到多个分割图像，接着对每个分割图像均依次进行灰度化、二值化、膨胀处理以及轮廓提取处理，其中，一种可行的灰度化处理方式为：基于Opencv，通过cvtColor函数对每个分割图像进行灰度化处理。并且灰度化的作用为简化矩阵，提高运算速度。由于分割图像为彩色图像，进行灰度化处理后的灰度图占内存小，运算速度快。另外，Opencv是一个开源计算机视觉和机器学习软件库。它包含了许多函数，用于处理图像和视频，并进行计算机视觉任务，如图像分割、目标检测、边缘检测、形状分析等。

灰度化处理后，再进行二值化处理，一种可行的二值化处理方式为：通过matlab中的im2bw函数进行二值化处理，在其他实施例中，也可以通过Opencv中的threshold函数来进行二值化处理。其中，二值化为将图像转换为二值图像的过程。

二值化处理后，再进行膨胀处理，一种可行的膨胀处理方式为：通过预置的膨胀算法进行膨胀处理，膨胀算法是一种基础的形态学处理算法，常用于图像处理和分析领域。膨胀操作可以使目标特征值增大，导致目标图像整体放大。在本申请实施例中，膨胀处理的目的为去除目标焊缝周围焊渣、小颗粒等噪声，从而实现对目标焊缝有较为精准的定位。

膨胀处理后，通过opencv中的findContours函数从二值化、膨胀处理后的各个二值图像中提取对应的轮廓，得到各个分割图像对应的轮廓。在其他实施例中，也可以通过matlab中的bwperim函数进行轮廓提取。最后通过预置的arcLength函数计算多个轮廓的周长，由于周长较小的轮廓可能为焊渣等噪点，会影响目标焊缝的精准定位，因此舍弃周长较小的轮廓，选取周长最大的轮廓作为目标焊缝的最大轮廓，从而使得对目标焊缝进行精准定位。最大轮廓确定后，根据最大轮廓从目标焊缝对应的目标图像中截取得到目标焊缝的定位区域图像。

S205：获取彩色相机对应的第一坐标系和激光投影仪对应的第二坐标系之间的坐标转换矩阵。

S206：根据坐标转换矩阵，将目标焊缝的定位区域图像从第一坐标系转换至第二坐标系，得到定位区域图像的目标位置信息，目标位置信息表征定位区域图像相较于整体彩色图像的相对位置关系。

S207：根据目标位置信息，从目标焊缝对应整体三维点云数据中提取定位区域图像对应的目标三维点云数据。

具体的，定位区域图像确定后，通过预置的三维激光扫描仪的出厂使用手册中读取三维激光扫描仪的内部参数，内部参数中包括彩色相机对应的第一坐标系（彩色相机坐标系）与激光投影仪对应的第二坐标系（激光投影仪坐标系）之间的坐标转换矩阵。其中，彩色相机坐标系是以彩色相机的聚焦中心为原点，以光轴为Z轴建立的三维直角坐标系。激光投影仪坐标系是指将激光投影仪投射的光线经过的坐标系统。该坐标系统的原点在激光投影仪的平面上，x和y轴指向投影仪的镜头，而z轴指向激光投影仪的平面底部。

由于目标焊缝的定位区域图像是处于第一坐标系中，因此坐标转换矩阵确定后，将目标焊缝的定位区域图像从第一坐标系转换为第二坐标系中（第二坐标系位于三维空间内），得到定位区域图像的目标位置信息，即将定位区域图像的像素点转换至三维空间内，此处的目标位置信息可以理解包括定位区域图像的像素点对应的三维空间坐标点，能表示定位区域图像在整体彩色图像中的相对位置。最后根据目标位置信息，从整体三维点云数据中将目标焊缝对应的目标三维点云数据筛选出来。

S208：对目标三维点云数据进行点云主成分分析，得到目标焊缝的焊缝尺寸。

具体的，可参考步骤S104，在此不再赘述。

本申请实施例焊缝定位及尺寸计算方法的实施原理为：获取到多个已焊接区域的整体三维点云数据和整体彩色图像后，确定每个已焊接区域中的目标焊缝的感兴趣区域，并从此已焊接区域的整体彩色图像中提取此感兴趣区域对应的目标图像，方便对进一步分析感兴趣区域，有助于目标焊缝的定位。接着排除各种噪点干扰，从目标图像中准确提取出目标焊缝的定位区域图像，最后根据彩色相机与激光投影仪之间的相互转换关系，从此已焊接区域对应的整体三维点云数据中提取定位区域图像的像素对应的目标三维点云数据，对目标三维点云数据进行点云主成分分析，最终确定目标焊缝的焊缝尺寸，无需人工进行进行检测，从而提升焊缝尺寸的检测结果的准确性。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

请参见图7，为本申请实施例提供的焊缝定位及尺寸计算装置的结构示意图。该应用于焊缝定位及尺寸计算装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该装置1包括信息获取模块11、图像提取模块12、焊缝定位模块13和尺寸确定模块14。

信息获取模块(11)，用于通过激光投影仪和彩色相机获取各已焊接区域的整体三维点云数据，并通过彩色相机获取各已焊接区域的整体彩色图像；

图像提取模块(12)，用于从整体彩色图像中提取感兴趣区域对应的目标图像，感兴趣区域为对应的已焊接区域中的目标焊缝的感兴趣区域；

焊缝定位模块(13)，用于按照预设规则从目标图像中提取目标焊缝的定位区域图像；

尺寸确定模块(14)，用于从目标焊缝对应的整体三维点云数据中提取定位区域图像对应的目标三维点云数据，并对目标三维点云数据进行点云主成分分析，得到目标焊缝的焊缝尺寸。

可选的，图像提取模块12，具体包括：

获取目标焊缝对应的目标最小视场，目标最小视场为目标焊缝被三维激光扫描仪完整扫描所需的最小视场；

分别选取目标最小视场的X轴方向、Y轴方向、Z轴方向的最大值和最小值，得到目标焊缝对应的目标极值坐标，目标极值坐标覆盖目标焊缝；

从整体彩色图像中截取目标极值坐标内的图像，得到感兴趣区域对应的目标图像。

可选的，焊缝定位模块13，具体包括：

对目标图像进行图像分割、灰度化、二值化、膨胀处理以及轮廓提取，得到目标焊缝对应的最大轮廓；

基于最大轮廓，从目标图像中提取目标焊缝的定位区域图像。

可选的，焊缝定位模块13，具体包括：

通过预设的图像分割算法对目标图像进行图像分割，得到多个分割图像；

对各分割图像均依次进行灰度化、二值化、膨胀处理以及轮廓提取，得到多个轮廓；

计算各轮廓的周长，并将周长最大的轮廓确定为目标焊缝对应的最大轮廓。

可选的，尺寸确定模块14，具体包括：

获取彩色相机对应的第一坐标系和激光投影仪对应的第二坐标系之间的坐标转换矩阵；

根据坐标转换矩阵，将目标焊缝的定位区域图像从第一坐标系转换至第二坐标系，得到定位区域图像的目标位置信息，目标位置信息为定位区域图像相较于整体彩色图像的相对位置关系；

根据目标位置信息，从目标焊缝对应的整体三维点云数据中提取定位区域图像对应的目标三维点云数据；

对目标三维点云数据进行点云主成分分析，得到目标焊缝的焊缝尺寸。

可选的，如图8所示，装置1还包括位姿确定模块15，具体包括：

判断各已焊接区域是否位于三维激光扫描仪的测量范围内；

通过激光投影仪和彩色相机获取各已焊接区域的整体三维点云数据，并通过彩色相机获取各已焊接区域的整体彩色图像，具体包括：

在各已焊接区域位于三维激光扫描仪的测量范围内的情况下，通过激光投影仪和彩色相机获取各已焊接区域的整体三维点云数据，并通过彩色相机获取各已焊接区域的整体彩色图像。

需要说明的是，上述实施例提供的一种焊缝定位及尺寸计算装置在执行焊缝定位及尺寸计算方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的一种焊缝定位及尺寸计算装置与一种焊缝定位及尺寸计算方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

本申请实施例还公开一种计算机可读存储介质，并且，计算机可读存储介质存储有计算机程序，其中，计算机程序被处理器执行时，采用了上述实施例的一种焊缝定位及尺寸计算方法。

其中，计算机程序可以存储于计算机可读介质中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间件形式等，计算机可读介质包括能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM）、随机存取存储器（RAM）、电载波信号、电信信号以及软件分发介质等，需要说明的是，计算机可读介质包括但不限于上述元器件。

其中，通过本计算机可读存储介质，将上述实施例的一种焊缝定位及尺寸计算方法存储于计算机可读存储介质中，并且，被加载并执行于处理器上，以方便上述方法的存储及应用。

本申请实施例还公开一种电子设备，计算机可读存储介质中存储有计算机程序，计算机程序被处理器加载并执行时，采用了上述一种焊缝定位及尺寸计算方法。

其中，电子设备可以采用台式电脑、笔记本电脑或者云端服务器等电子设备，并且，电子设备设备包括但不限于处理器以及存储器，例如，电子设备还可以包括输入输出设备、网络接入设备以及总线等。

其中，处理器可以采用中央处理单元（CPU），当然，根据实际的使用情况，也可以采用其他通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现成可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以采用微处理器或者任何常规的处理器等，本申请对此不做限制。

其中，存储器可以为电子设备的内部存储单元，例如，电子设备的硬盘或者内存，也可以为电子设备的外部存储设备，例如，电子设备上配备的插接式硬盘、智能存储卡（SMC）、安全数字卡（SD）或者闪存卡（FC）等，并且，存储器还可以为电子设备的内部存储单元与外部存储设备的组合，存储器用于存储计算机程序以及电子设备所需的其他程序和数据，存储器还可以用于暂时地存储已经输出或者将要输出的数据，本申请对此不做限制。

其中，通过本电子设备，将上述实施例的一种焊缝定位及尺寸计算方法存储于电子设备的存储器中，并且，被加载并执行于电子设备的处理器上，方便使用。

以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。

Claims (10)

1.一种焊缝定位及尺寸计算方法，其特征在于，应用于三维激光扫描仪，所述三维激光扫描仪内设置有彩色相机和激光投影仪，所述方法包括：

通过所述激光投影仪和所述彩色相机获取各已焊接区域的整体三维点云数据，并通过所述彩色相机获取各所述已焊接区域的整体彩色图像；

从所述整体彩色图像中提取感兴趣区域对应的目标图像，所述感兴趣区域为对应的已焊接区域中的目标焊缝的感兴趣区域；

按照预设规则从所述目标图像中提取所述目标焊缝的定位区域图像；

从所述目标焊缝对应的整体三维点云数据中提取所述定位区域图像对应的目标三维点云数据，并对所述目标三维点云数据进行点云主成分分析，得到所述目标焊缝的焊缝尺寸。

2.根据权利要求1所述的焊缝定位及尺寸计算方法，其特征在于，所述从所述整体彩色图像中提取感兴趣区域对应的目标图像，具体包括：

获取所述目标焊缝对应的目标最小视场，所述目标最小视场为所述目标焊缝被所述三维激光扫描仪完整扫描所需的最小视场；

分别选取所述目标最小视场的X轴方向、Y轴方向、Z轴方向的最大值和最小值，得到所述目标焊缝对应的目标极值坐标，所述目标极值坐标覆盖所述目标焊缝；

从所述整体彩色图像中截取所述目标极值坐标内的图像，得到感兴趣区域对应的目标图像。

3.根据权利要求1所述的焊缝定位及尺寸计算方法，其特征在于，所述按照预设规则从所述目标图像中提取所述目标焊缝的定位区域图像，具体包括：

对所述目标图像进行图像分割、灰度化、二值化、膨胀处理以及轮廓提取，得到所述目标焊缝对应的最大轮廓；

基于所述最大轮廓，从所述目标图像中提取所述目标焊缝的定位区域图像。

4.根据权利要求3所述的焊缝定位及尺寸计算方法，其特征在于，所述对所述目标图像进行图像分割、灰度化、二值化、膨胀处理以及轮廓提取，得到所述目标焊缝对应的最大轮廓，具体包括：

通过预设的图像分割算法对所述目标图像进行图像分割，得到多个分割图像；

对各所述分割图像均依次进行灰度化、二值化、膨胀处理以及轮廓提取，得到多个轮廓；

计算各所述轮廓的周长，并将周长最大的轮廓确定为所述目标焊缝对应的最大轮廓。

5.根据权利要求1所述的焊缝定位及尺寸计算方法，其特征在于，所述从所述目标焊缝对应的整体三维点云数据中提取所述定位区域图像对应的目标三维点云数据，并对所述目标三维点云数据进行点云主成分分析，得到所述目标焊缝的焊缝尺寸，具体包括：

获取所述彩色相机对应的第一坐标系和所述激光投影仪对应的第二坐标系之间的坐标转换矩阵；

根据所述坐标转换矩阵，将所述目标焊缝的定位区域图像从所述第一坐标系转换至第二坐标系，得到所述定位区域图像的目标位置信息，所述目标位置信息表示所述定位区域图像相较于所述整体彩色图像的相对位置关系；

根据所述目标位置信息，从所述目标焊缝对应的整体三维点云数据中提取所述定位区域图像对应的目标三维点云数据；

对所述目标三维点云数据进行点云主成分分析，得到所述目标焊缝的焊缝尺寸。

6.根据权利要求1所述的焊缝定位及尺寸计算方法，其特征在于，所述对所述目标三维点云数据进行点云主成分分析，得到所述目标焊缝的焊缝尺寸，具体包括：

通过预设的主成分分析法对所述目标三维点云数据进行分析，得到所述目标焊缝的焊缝尺寸。

7.根据权利要求1所述的焊缝定位及尺寸计算方法，其特征在于，所述通过所述激光投影仪和所述彩色相机获取各已焊接区域的整体三维点云数据之前，还包括：

判断各已焊接区域是否位于所述三维激光扫描仪的测量范围内；

通过所述激光投影仪和所述彩色相机获取各已焊接区域的整体三维点云数据，并通过所述彩色相机获取各所述已焊接区域的整体彩色图像，具体包括：

在各已焊接区域位于所述三维激光扫描仪的测量范围内的情况下，通过所述激光投影仪和所述彩色相机获取各所述已焊接区域的整体三维点云数据，并通过所述彩色相机获取各所述已焊接区域的整体彩色图像。

8.一种焊缝定位及尺寸计算装置，其特征在于，包括：

信息获取模块(11)，用于通过激光投影仪和彩色相机获取各已焊接区域的整体三维点云数据，并通过所述彩色相机获取各所述已焊接区域的整体彩色图像；

图像提取模块(12)，用于从所述整体彩色图像中提取感兴趣区域对应的目标图像，所述感兴趣区域为对应的已焊接区域中的目标焊缝的感兴趣区域；

焊缝定位模块(13)，用于按照预设规则从所述目标图像中提取所述目标焊缝的定位区域图像；

尺寸确定模块(14)，用于从所述目标焊缝对应的整体三维点云数据中提取所述定位区域图像对应的目标三维点云数据，并对所述目标三维点云数据进行点云主成分分析，得到所述目标焊缝的焊缝尺寸。

9.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序被处理器加载并执行时，采用了权利要求1-7中任一项所述的方法。

10.一种电子设备，包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序，其特征在于，所述处理器加载并执行计算机程序时，采用了权利要求1-7中任一项所述的方法。