CN113042939A - 基于三维视觉信息的工件焊缝定位方法及系统 - Google Patents

Abstract

本发明提供了一种基于三维视觉信息的工件焊缝定位方法及系统，获取焊接场景的图像，获取三维视觉点云信息；通过点云滤波算法对获取的初始点云信息进行预处理，得到工件点云；通过焊缝提取算法进行焊缝点云提取，得到目标点簇；对目标点簇，利用奇异值分解算法直线拟合得到目标焊缝直线方程，得到目标焊缝轨迹。本发明使用三维视觉信息对三种常见类型焊接工件的焊缝位置进行定位，免去了繁琐的人工示教部分，提高了焊接效率。

Description

基于三维视觉信息的工件焊缝定位方法及系统

技术领域

本发明属于焊缝定位技术领域，具体涉及一种基于三维视觉信息的工件焊缝定位方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

为了解决人工焊接的诸多不利因素，越来越多的领域投身机器人自动化焊接。对于现阶段的自动化焊接，目前通用方法是在焊接过程中需要高精度的夹具辅助定位，再经过对机器人示教进行路径规划以保证焊接质量。这种焊接过程没有对焊缝进行直接定位，而是依赖于高精度夹具和人工示教。对于需求量日益增大的焊接材料，制作夹具成本高，人工示教不够灵活的缺点大大降低了生产效率。

发明内容

本发明为了解决上述问题，提出了一种基于三维视觉信息的工件焊缝定位方法及系统，本发明使用三维相机对焊接场景进行拍照获取三维视觉信息；通过点云滤波算法对获取的初始点云进行预处理，得到工件点云；最后通过焊缝提取算法进行焊缝点云提取。本发明实现了对三种常见类型焊缝进行定位，免除了传统自动化焊接繁琐的示教工作，降低了对工件夹具的精度要求，提高了焊接效率。

根据一些实施例，本发明采用如下技术方案：

一种基于三维视觉信息的工件焊缝定位方法，包括以下步骤：

获取焊接场景的图像，获取三维视觉点云信息；

通过点云滤波算法对获取的初始点云信息进行预处理，得到工件点云；

通过焊缝提取算法进行焊缝点云提取，得到目标点簇；

对目标点簇，利用奇异值分解算法直线拟合得到目标焊缝直线方程，得到目标焊缝轨迹。

作为可选择的实施方式，当焊缝为对接V型焊缝时，通过焊缝提取算法进行焊缝点云提取，得到目标点簇的具体过程包括：使用随机采样一致算法拟合平面参数,在工件点云中去除所得平面模型的所有内点，得到V型凹槽点云。

作为可选择的实施方式，当焊缝为对接I型焊缝时，通过焊缝提取算法进行焊缝点云提取，得到目标点簇的具体过程包括：提取左面块与右面块的边缘线，根据一个点与其邻域内其他点在切平面内投影的向量夹角来选取边缘点，利用滑动质心法提取目标边缘，分别取左面块的右边缘与右面块的左边缘。

作为进一步的限定，选取边缘点的方法包括：三维点云投影至二维深度图像，在图像上提取边缘，再加入深度返还到三维数据，或，直接在点云中获取边缘点。

作为可选择的实施方式，当焊缝为端接接头焊缝时，通过焊缝提取算法进行焊缝点云提取，得到目标点簇的具体过程包括：利用主成分分析法计算点云法向量，通过法向量内积法判断焊缝目标点簇；遍历点云所有点为采样点，依次以其近邻点法向量内积大小判断是否为焊缝目标点，将焊缝目标点加入焊缝目标点集中。

作为进一步的限定，利用主成分分析法计算点云法向量的具体过程包括：在点云中选取采样点，取得采样点的近邻点，在近邻点集合中计算协方差矩阵，利用特征值分解求出协方差矩阵的特征值，以及对应的特征向量，将最小的特征值对应的特征向量作为该点的法向量，即采样点的近邻域法向量，遍历点云所有点为采样点，循环计算所有点云中点的法向量。

作为可选择的实施方式，通过点云滤波算法对获取的初始点云信息进行预处理的过程中，先进行无关点云移除和噪点处理再进行点云稀疏处理。

作为可选择的实施方式，对目标点簇，利用奇异值分解算法直线拟合得到目标焊缝直线方程，得到目标焊缝轨迹的具体过程包括：

根据目标点簇各点的平均坐标，拟合焊缝过点，焊缝方向等于最大奇异值对应的奇异向量，表示焊缝方程，确定焊缝的起始于终止点，得到焊缝轨迹。

一种基于三维视觉信息的工件焊缝定位系统，包括：

点云信息获取模块，被配置为获取焊接场景的图像，获取三维视觉点云信息；

点云信息预处理模块，被配置为通过点云滤波算法对获取的初始点云信息进行预处理，得到工件点云；

目标点簇提取模块，被配置为通过焊缝提取算法进行焊缝点云提取，得到目标点簇；

焊缝轨迹确定模块，被配置为对目标点簇，利用奇异值分解算法直线拟合得到目标焊缝直线方程，得到目标焊缝轨迹。

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述一种基于三维视觉信息的工件焊缝定位方法中的步骤。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述一种基于三维视觉信息的工件焊缝定位方法中的步骤。

与现有技术相比，本发明的有益效果为：

1)提升焊接效率，本发明使用三维视觉信息对三种常见类型焊接工件的焊缝位置进行定位，免去了繁琐的人工示教部分，提高了焊接效率。

2)普适性强，本发明针对对接V型焊缝、对接I型焊缝、端接接头焊缝的识别，对一定范围内不同尺寸的焊接工件都适用，无需专门制作夹具。

3)定位精度高，本发明使用的3D相机精度在±0.5mm以内，焊缝提取的精度≤1mm，可以保证焊接的精度。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明的场景一示意图；

图2为本发明的场景二示意图；

图3为本发明的场景三示意图；

图4为本发明场景一所述方法验证的流程图；

图5为本发明场景二所述方法验证的流程图；

图6为本发明场景三所述方法验证的流程图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

适用于场景一：对接V型焊缝，如图1所示。

提供一种基于三维视觉信息的工件焊缝定位方法，如图4所示，包括以下步骤：

步骤S1：点云预处理；

在本实施例中，用RGB-D相机拍摄V型焊缝的对接接头工件，通过一系列的滤波处理可以得到一个无噪点，点云较为稀疏的工件点云上表面。拍摄得到的点云噪点多，点云密度大且场景复杂。通过直通、体素、离群点去除滤波处理可以得到一个无噪点，较为稀疏的工件点云。

步骤S2：随机采样一致算法拟合平面参数；

1)随机选择3个点，利用三个点计算出平面模型参数。

2)用剩余点云数据去检验估计的模型，计算点到平面的距离是否小于一定的阈值，得到小于阈值的点的个数，即内点个数。

3)内点数量如果大于已经保存的内点数量，更新模型参数，遗弃内点较少的模型参数，保留内点多的模型参数。

4)在不属于内点的其他点中再随机选点，不断迭代，从而找到内点个数最多的模型参数。设拟合得到的平面模型为Ax+By+Cz+D＝0。

步骤S3：在工件点云中去除所得平面模型的所有内点，得到V型凹槽点云；

步骤S4：根据点到直线的距离得到目标点簇；

遍历V型凹槽点云，计算点到平面Ax+By+Cz+D＝0的距离d_i，得到一个最大值，设为d_max。设定阈值temp，所有到平面距离大于temp*d_max的点被认为是目标点簇。

其中点(x_i,y_i,z_i)到平面的距离可表示为：

步骤S5：对目标点簇进行奇异值分解(SVD)算法直线拟合得到目标焊缝直线方程；

设目标点簇共有n个点，n个点的平均坐标为

则拟合焊缝过点

设矩阵

对A奇异变换，焊缝方向等于最大奇异值对应的奇异向量(l,m,n)＝(v_1,1,v_1,2,v_1,3)，焊缝方程表示为

步骤S6：确定焊缝的起始于终止点，得到焊缝轨迹。

分别计算目标点簇n个点向焊缝直线的投影点p_i，设x坐标最小的为p₁＝(x_p1,y_p1,z_p1)，最大的为p₂＝(x_p2,y_p2,z_p2)，设步长t,焊缝轨迹可以表示为：

在部分实施例中，在步骤S1中点云预处理中需要先进行无关点云移除和噪点处理再进行点云稀疏处理。

在部分实施例中，在步骤S2拟合平面时有很多种方法可以使用，考虑到可以快速得到不属于拟合平面的点集，并很好地排除噪点影响，优选的方法是使用随机采样一致算法。

在部分实施例中，在步骤S6计算焊缝起始终止点时，考虑到比直接选取极值点实际精度更高，优选的方法是使用极值点向拟合直线方程做投影点的方法。

实施例二：

适用于场景二：对接I型焊缝，如图2所示。

如图5所示，一种焊缝定位方法，包括以下步骤：

步骤S1：点云预处理，在本实施例中，可以用RGB-D相机拍摄I型焊缝的对接接头工件，通过一系列的滤波处理可以得到一个无噪点，点云较为稀疏的工件点云及与工件连接的工作台平面点云；

步骤S2：欧几里得聚类将目标点云聚成两类，计算两类点云的质心，质心x坐标小的记为左面块，x坐标大的记为右面块；

步骤S3：提取左面块与右面块的边缘线。根据一个点与其邻域内其他点在切平面内投影的向量夹角来选取边缘点；

1)在点云中选取采样点，取得采样点的k近邻点，使用采样点与近邻点用最小二乘法拟合平面。具体实现如下：

设平面方程为：Ax+By+Cz+D＝0，则z＝a₀x-a₁y-a₂，其中

设

要使得S最小，则偏导数为0，即：

由此解得a₀,a₁,a₂，进一步确定平面方程Ax+By+Cz+D＝0。

2)计算采样点与近邻点在该平面投影。

平面法向量

设待投影点为p₁，投影到平面的垂足为p₂，则由

平行于

可得p₁p₂方程为：

又p₂满足方程Ax+By+Cz+D＝0，联立可解得投影点p₂坐标。

3)设采样点为p，投影点为p'，其近邻点的投影点集为(p₁',p'₂,…p'_k)，两两比较

的夹角大小，取最大值α_i，设定阈值θ，若最大值大于设定的阈值，即α_i>θ，则采样点被归类为边缘点。

4)遍历点云所有点为采样点，循环1)-3)直至所有点均被判断是否为边缘点。

步骤S4：滑动质心法提取目标边缘，分别取左面块的右边缘与右面块的左边缘；

对于左面块来说，遍历边缘点，在面块点云中寻找每个以边缘点为球心，r为半径的球内包含的近邻点集，设边缘点(x,y,z)，近邻域质心

若近邻域质心的x坐标小于边缘点的x的坐标，即

则认为边缘点是右边缘。

对与右面块来说，若近邻域质心的x坐标大于边缘点的x的坐标，则认为边缘点是左边缘。

两条边缘点集共称为目标边缘点集。

步骤S5：对目标边缘点集进行SVD算法直线拟合得到目标焊缝直线方程，并计算初始点与终止点，得到焊缝轨迹。

拟合与计算始末点方法与实施例一的S5与S6相同。

在部分实施例中，在步骤S1中点云预处理中需要先进行无关点云移除和噪点处理再进行点云稀疏处理。

在部分实施例中，在步骤S3中点云聚类的方法有很多，考虑此处需聚类的点云是空间位置分明的两块，而这两块的曲率与法线角度差没有较大区别，本实施例是使用欧几里得聚类。

在部分实施例中，在步骤S4中计算边缘点的方法主要有两种，一种是三维点云投影至二维深度图像，在图像上提取边缘，再加入深度返还到三维数据，另一种是直接在点云中获取边缘点。为了使得尽量不在投影时损失一些三维信息，本实施例选后一种方式。

实施例三：

适用于场景三：识别端接接头焊缝，如图3所示。

如图6所示，一种焊缝定位方法，包括以下步骤：

步骤S1：点云预处理，在本实施例中，用RGB-D相机拍摄端接接头工件，通过一系列的滤波处理可以得到一个无噪点，点云较为稀疏的工件点云；

步骤S2：主成分分析(PCA)法计算点云法向量；

求表面上点的法线可以通过估计与表面相切的平面的法线来近似，从而可以转化为最小二乘平面拟合估计问题。

1)在点云中选取采样点，取得采样点的k近邻点，在近邻点集合中计算协方差矩阵。

设近邻点(x_i,y_i,z_i)，近邻点的平均坐标为

矩阵

为协方差矩阵。

2)利用特征值分解求出协方差矩阵的特征值λ₁>λ₂>λ₃，以及对应的特征向量

特征向量两两垂直，并分别指向三个维度数据方差最大的方向。两个数据离散较大的维度视为切平面，故最小的特征值对应的特征向量

为该点的法向量，即采样点的近邻域法向量。

3)遍历点云所有点为采样点，循环1)-2)计算所有点云中点的法向量。

步骤S3：法向量内积法判断焊缝目标点簇；

设采样点为p_i，p_i的近邻点集N(p_i)，计算p_i与N(p_i)的法向量平均内积，平均内积的绝对值越接近0，凹凸变化越大，越有可能是目标点簇。设定阈值temp，若平均内积的绝对值小于temp，则判断采样点为焊缝目标点。

步骤S4：遍历点云所有点为采样点，依次以其近邻点法向量内积大小判断是否为焊缝目标点，将焊缝目标点加入焊缝目标点集中；

步骤S5：对焊缝目标点集进行SVD算法直线拟合得到目标焊缝直线方程，并计算初始点与终止点，得到焊缝轨迹。

拟合与计算始末点方法与实施例一的S5与S6相同。

在部分实施例中，在步骤S1中点云预处理中需要先进行无关点云移除和噪点处理再进行点云稀疏处理。

在部分实施例中，在步骤S2中计算点云法向量时，因为点云中的点是三维的，要估计的平面是二维的，用三维数据估计二维数据，使用PCA方法对三维数据降维。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于三维视觉信息的工件焊缝定位方法，其特征是：包括以下步骤：

获取焊接场景的图像，获取三维视觉点云信息；

通过点云滤波算法对获取的初始点云信息进行预处理，得到工件点云；

通过焊缝提取算法进行焊缝点云提取，得到目标点簇；

对目标点簇，利用奇异值分解算法直线拟合得到目标焊缝直线方程，得到目标焊缝轨迹。

2.如权利要求1所述的一种基于三维视觉信息的工件焊缝定位方法，其特征是：当焊缝为对接V型焊缝时，通过焊缝提取算法进行焊缝点云提取，得到目标点簇的具体过程包括：使用随机采样一致算法拟合平面参数,在工件点云中去除所得平面模型的所有内点，得到V型凹槽点云。

3.如权利要求1所述的一种基于三维视觉信息的工件焊缝定位方法，其特征是：当焊缝为对接I型焊缝时，通过焊缝提取算法进行焊缝点云提取，得到目标点簇的具体过程包括：提取左面块与右面块的边缘线，根据一个点与其邻域内其他点在切平面内投影的向量夹角来选取边缘点，利用滑动质心法提取目标边缘，分别取左面块的右边缘与右面块的左边缘。

4.如权利要求3所述的一种基于三维视觉信息的工件焊缝定位方法，其特征是：选取边缘点的方法包括：三维点云投影至二维深度图像，在图像上提取边缘，再加入深度返还到三维数据，或，直接在点云中获取边缘点。

5.如权利要求1所述的一种基于三维视觉信息的工件焊缝定位方法，其特征是：当焊缝为端接接头焊缝时，通过焊缝提取算法进行焊缝点云提取，得到目标点簇的具体过程包括：利用主成分分析法计算点云法向量，通过法向量内积法判断焊缝目标点簇；遍历点云所有点为采样点，依次以其近邻点法向量内积大小判断是否为焊缝目标点，将焊缝目标点加入焊缝目标点集中。

6.如权利要求5所述的一种基于三维视觉信息的工件焊缝定位方法，其特征是：利用主成分分析法计算点云法向量的具体过程包括：在点云中选取采样点，取得采样点的近邻点，在近邻点集合中计算协方差矩阵，利用特征值分解求出协方差矩阵的特征值，以及对应的特征向量，将最小的特征值对应的特征向量作为该点的法向量，即采样点的近邻域法向量，遍历点云所有点为采样点，循环计算所有点云中点的法向量。

7.如权利要求1所述的一种基于三维视觉信息的工件焊缝定位方法，其特征是：通过点云滤波算法对获取的初始点云信息进行预处理的过程中，先进行无关点云移除和噪点处理再进行点云稀疏处理；

或，对目标点簇，利用奇异值分解算法直线拟合得到目标焊缝直线方程，得到目标焊缝轨迹的具体过程包括：

根据目标点簇各点的平均坐标，拟合焊缝过点，焊缝方向等于最大奇异值对应的奇异向量，表示焊缝方程，确定焊缝的起始于终止点，得到焊缝轨迹。

8.一种基于三维视觉信息的工件焊缝定位系统，其特征是：包括：

点云信息获取模块，被配置为获取焊接场景的图像，获取三维视觉点云信息；

点云信息预处理模块，被配置为通过点云滤波算法对获取的初始点云信息进行预处理，得到工件点云；

目标点簇提取模块，被配置为通过焊缝提取算法进行焊缝点云提取，得到目标点簇；

焊缝轨迹确定模块，被配置为对目标点簇，利用奇异值分解算法直线拟合得到目标焊缝直线方程，得到目标焊缝轨迹。

9.一种电子设备，其特征是：包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7中任一项所述的一种基于三维视觉信息的工件焊缝定位方法中的步骤。

10.一种计算机可读存储介质，其特征是：用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7中任一项所述的一种基于三维视觉信息的工件焊缝定位方法中的步骤。

Images