CN116921932A - 焊接轨迹识别方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及自动化焊接技术领域，公开了一种焊接轨迹识别方法、装置、设备及存储介质，该方法包括：通过标定相机对目标工件进行拍摄，获得目标工件对应的彩色图像和深度图像；将彩色图像输入至YOLOv5模型中进行位置识别，获得彩色图像对应的彩色像素坐标区域；对彩色像素坐标区域和深度图像的图像像素进行图像数据处理，获得目标工件对应的三维点云数据；对三维点云数据进行平面拟合，获得目标工件对应的焊接轨迹。由于本发明通过获取目标工件的彩色图像和深度图像，并对其进行图像数据处理，获得三维点云数据，从而避免了复杂环境下视线角度、无关工件等干扰因素影响，实现了焊接轨迹的自动识别提取，无需人工介入，提高了自动焊接的效率。

Description

焊接轨迹识别方法、装置、设备及存储介质

技术领域

本发明涉及自动化焊接技术领域，尤其涉及一种焊接轨迹识别方法、装置、设备及存储介质。

背景技术

工业机器人已经成为工业生产、军事和医疗等领域的重要研究对象，其中焊接机器人在工业机器人中使用的最为广泛。市场对焊接机器人的需求越来越大，工业自动化生产成为了必然的发展趋势。

传统的焊接机器人主要分为示教再现型机器人、离线编程型机器人和基于传感技术的自主编程焊接机器人。但是在复杂场景中可能存在有大量如视线角度、无关工件等干扰因素影响焊接轨迹的提取，从而进一步影响自动焊接的效果，因此传统的焊接机器人往往都需要人工介入，自动化程度不高，无法完成自主焊接。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供了一种焊接轨迹识别方法、装置、设备及存储介质，旨在解决在复杂场景中存在有大量如视线角度、无关工件等干扰因素影响焊接机器人提取焊接轨迹，难以自主完成焊接的技术问题。

为实现上述目的，本发明提供了一种焊接轨迹识别方法，所述方法包括以下步骤：

通过标定相机对目标工件进行拍摄，获得所述目标工件对应的彩色图像和深度图像；

将所述彩色图像输入至YOLOv5模型中进行位置识别，获得所述彩色图像对应的彩色像素坐标区域；

对所述彩色像素坐标区域和所述深度图像的图像像素进行图像数据处理，获得所述目标工件对应的三维点云数据；

对所述三维点云数据进行平面拟合，获得所述目标工件对应的焊接轨迹。

可选地，所述对所述三维点云数据进行平面拟合，获得所述目标工件对应的焊接轨迹，包括：

通过RANAC算法对所述三维点云数据进行平面拟合，获得所述目标工件对应的平面模型参数；

根据所述三维点云数据和所述平面模型参数进行点云投影，获得所述平面模型参数对应的交线方程；

根据所述交线方程对所述三维点云数据中的点云进行直线拟合，获得所述目标工件对应的焊接轨迹。

可选地，所述通过RANAC算法对所述三维点云数据进行平面拟合，获得所述目标工件对应的平面模型参数，包括：

从所述三维点云数据中随机选取三个点云，并根据所述三个点云确定平面方程；

判断所述三维点云数据中其余点云与所述平面方程的距离是否达到预设阈值；

在所述距离达到预设阈值时，将达到所述预设阈值所对应的点云作为内点；

根据所述内点对所述平面方程进行参数估计，获得所述目标工件对应的平面模型参数。

可选地，所述对所述彩色像素坐标区域和所述深度图像的图像像素进行图像数据处理，获得所述目标工件对应的三维点云数据，包括：

通过坐标映射器对所述深度图像进行映射，获得所述深度图像与所述彩色图像之间的对应关系；

根据所述对应关系将所述彩色像素坐标区域和所述深度图像的图像像素进行对应，获得彩色点云数据；

根据PCL库对所述彩色点云数据进行点云预处理，获得所述目标工件对应的三维点云数据。

可选地，所述根据PCL库对所述彩色点云数据进行点云预处理，获得所述目标工件对应的三维点云数据，包括：

根据PCL库对所述彩色点云数据进行点云重建，获得三维重建点云数据；

通过离群点移除滤波器对所述三维重建点云数据进行噪声过滤，获得过滤后的三维重建点云数据；

通过体素网格滤波器对所述三维重建点云数据进行重心处理，获得所述目标工件对应的三维点云数据。

可选地，所述通过坐标映射器对所述深度图像进行映射，获得所述深度图像与所述彩色图像之间的对应关系之前，还包括：

获得所述深度图像的深度帧；

通过坐标映射器对所述深度帧进行坐标映射，获得所述深度图像对应的坐标数组，所述坐标数组包括所述深度图像中每个像素点的坐标；

通过相机投影模型将所述坐标数组投影至所述彩色图像中，获得所述深度图像与所述彩色图像之间的对应关系。

可选地，所述通过标定相机对目标工件进行拍摄，获得所述目标工件对应的彩色图像和深度图像之前，还包括：

通过预设相机对标定板进行图像采集，获得标定图像；

对所述标定板进行特征提取，获得所述标定板对应的特征点；

根据标定图像和所述特征点对所述预设相机的内部参数和外部参数进行同步标定，获得标定相机。

此外，为实现上述目的，本发明还提出一种焊接轨迹识别装置，所述装置包括：

图像获取模块，用于通过标定相机对目标工件进行拍摄，获得所述目标工件对应的彩色图像和深度图像；

位置识别模块，用于将所述彩色图像输入至YOLOv5模型中进行位置识别，获得所述彩色图像对应的彩色像素坐标区域；

三维点云模块，用于对所述彩色像素坐标区域和所述深度图像的图像像素进行图像数据处理，获得所述目标工件对应的三维点云数据；

轨迹识别模块，用于对所述三维点云数据进行平面拟合，获得所述目标工件对应的焊接轨迹。

此外，为实现上述目的，本发明还提出一种焊接轨迹识别设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的焊接轨迹识别程序，所述焊接轨迹识别程序配置为实现如上文所述的焊接轨迹识别方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有焊接轨迹识别程序，所述焊接轨迹识别程序被处理器执行时实现如上文所述的焊接轨迹识别方法的步骤。

本发明通过标定相机对目标工件进行拍摄，获得所述目标工件对应的彩色图像和深度图像；然后将所述彩色图像输入至YOLOv5模型中进行位置识别，获得所述彩色图像对应的彩色像素坐标区域；接着对所述彩色像素坐标区域和所述深度图像的图像像素进行图像数据处理，获得所述目标工件对应的三维点云数据；最后对所述三维点云数据进行平面拟合，获得所述目标工件对应的焊接轨迹。由于本发明通过获取目标工件的彩色图像和深度图像，并对其进行图像数据处理，获得三维点云数据，从而避免了复杂环境下视线角度、无关工件等干扰因素影响，实现了焊接轨迹的自动识别提取，无需人工介入，提高了自动焊接的效率。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的焊接轨迹识别设备的结构示意图；

图2为本发明焊接轨迹识别方法第一实施例的流程示意图；

图3为本发明焊接轨迹识别方法第一实施例中红外相机与彩色相机同步帧率标定的场景示意图；

图4为本发明焊接轨迹识别方法第二实施例的流程示意图；

图5为本发明焊接轨迹识别方法第三实施例的流程示意图；

图6为本发明焊接轨迹识别方法第三实施例中目标范围三维重建点云的点云示意图；

图7为本发明焊接轨迹识别方法第三实施例中目标工件三维重建点云的点云示意图；

图8为本发明焊接轨迹识别方法第三实施例中目标工件彩色图像和深度图像的场景示意图；

图9为本发明焊接轨迹识别方法第三实施例中焊接轨迹自动识别提取的流程示意图；

图10为本发明焊接轨迹识别方法第三实施例的拟合焊接轨迹图；

图11为本发明焊接轨迹识别装置第一实施例的结构框图。

本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的焊接轨迹识别设备的结构示意图。

如图1所示，该焊接轨迹识别设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对焊接轨迹识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及焊接轨迹识别程序。

在图1所示的焊接轨迹识别设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明焊接轨迹识别设备中的处理器1001、存储器1005可以设置在焊接轨迹识别设备中，所述焊接轨迹识别设备通过处理器1001调用存储器1005中存储的焊接轨迹识别程序，并执行本发明实施例提供的焊接轨迹识别方法。

本发明实施例提供了一种焊接轨迹识别方法，参照图2，图2为本发明焊接轨迹识别方法第一实施例的流程示意图。

本实施例中，所述焊接轨迹识别方法包括以下步骤：

步骤S10：通过标定相机对目标工件进行拍摄，获得所述目标工件对应的彩色图像和深度图像。

需要说明的是，本实施例方法的执行主体可以是具有图像获取以及点云数据处理的计算服务设备，例如个人电脑、焊接机器人等，还可以是能够实现相同或相似功能的其他电子设备，例如上述焊接轨迹识别方设备，本实施例对此不加以限制。此处以上述焊接轨迹识别方设备(简称识别设备)对本实施例和下述各实施例进行具体说明。

可理解的是，标定相机是用于获取彩色图像和深度图像的相机，在拍摄目标工件之前，已进行了参数标定的相机。目标工件是待焊接的工件。

应理解的是，深度图像是一种表示目标工件在场景中不同点距离的图像，可提供关于目标工件在三维空间中位置。

在具体实现中，预先将相机进行标定，同步相机的帧率以及时间，然后通过标定相机对目标工件进行拍摄，获得目标工件对应的彩色图像和深度图像。

步骤S20：将所述彩色图像输入至YOLOv5模型中进行位置识别，获得所述彩色图像对应的彩色像素坐标区域。

需要说明的是，YOLOv5模型是一种基于深度学习的目标检测模型，包含单阶段目标检测算法，主要包括输入端、Backbone网络、Neck网络、输出端、激活函数等组成部分。具体的，在进行焊接轨迹识别之前，可预先对YOLOv5模型进行训练。YOLOv5模型可将图像划分为网格，并在每个网格中预测边界框和类别信息来实现彩色图像的检测。通过YOLOv5模型的图像检测分为以下几步：

网络输入：首先，将待检测的彩色图像输入到YOLOv5的深度卷积神经网络(CNN)中。YOLOv5使用轻量级的网络结构，包含多个卷积层、池化层和激活函数，以提取图像中的特征。

特征提取：经过卷积和池化等操作，网络会逐渐降低彩色图像的尺寸，并在不同的网络层次中提取不同尺度的特征。这些特征具有不同的语义信息，包括低级的纹理信息和高级的语义信息。

边界框预测：在网络的最后几个卷积层中，YOLOv5通过预测边界框的位置和类别信息来检测彩色图像中的目标工件。对于每个预测的边界框，模型会预测边界框的位置坐标和目标类别的概率分数。

非极大值抑制：由于同一目标可能会在不同的网格中检测到，为了去除重叠的边界框并选择最佳的检测结果，可采用非极大值抑制(NMS)算法。NMS会根据置信度分数对边界框进行排序，并删除与置信度较高的边界框重叠度较高的边界框。

输出结果：经过NMS之后，最终的输出结果将包含检测到的边界框、对应的目标类别以及其置信度分数。根据置信度分数的阈值，可以设定筛选条件，仅保留置信度较高的目标检测结果。

通过以上步骤，YOLOv5模型能够实时地检测彩色图像中的目标工件，提供其位置、类别和置信度等信息。由于YOLOv5采用了单阶段的设计，具有较快的检测速度和较好的准确性，预测精度极高。

可理解的是，彩色像素坐标区域是通过YOLOv5模型进行目标工件识别获得的像素区域。

在具体实现中，识别设备将彩色图像输入至YOLOv5模型中进行位置识别，YOLOv5模型实时地检测彩色图像中的目标工件，提供其位置、类别和置信度等信息，获得彩色图像对应的彩色像素坐标区域。

步骤S30：对所述彩色像素坐标区域和所述深度图像的图像像素进行图像数据处理，获得所述目标工件对应的三维点云数据。

步骤S40：对所述三维点云数据进行平面拟合，获得所述目标工件对应的焊接轨迹。

在具体实现中，识别设备把采集到的彩色图像导入YOLOv5模型对目标工件进行位置识别，已经可以确定目标工件的彩色像素坐标区域；然后将彩色像素坐标区域与深度图像像素对应起来进行图像数据处理(例如滤波、拟合、分割、降噪等)，获得目标工件对应的三维点云数据。再拟合目标工件需要焊接的平面，提取出焊接附近的点云并拟合成最后的焊接轨迹。从而实现了在复杂环境下的焊接轨迹的识别提取。

进一步地，考虑到对目标工件的图像获取的准确性，本实施例中在步骤S10之前，还包括：通过预设相机对标定板进行图像采集，获得标定图像；对所述标定板进行特征提取，获得所述标定板对应的特征点；根据标定图像和所述特征点对所述预设相机的内部参数和外部参数进行同步标定，获得标定相机。

需要说明的是，预设相机是对目标工件拍摄的相机。由于需要采集目标工件的彩色图像和深度图像，因此预设相机可由红外相机、红外发射器、彩色相机组成。

可理解的是，标定板是用于相机标定的一种特殊平面板。通常由一些规则几何图案组成，如棋盘格、圆点阵列等。标定板在相机标定过程中被放置在场景中，并且相机通过拍摄标定板来获取图像数据。使用标定板进行相机标定可以帮助确定相机的内部参数和外部参数，以消除图像中的畸变并实现准确的测量。通过观察标定板上的已知几何结构，并与相机捕获的图像进行对应，可以计算出相机的畸变系数、相机的内参矩阵、外参矩阵等重要参数。

在具体实现中，参考图3，图3为本发明焊接轨迹识别方法第一实施例中红外相机与彩色相机同步帧率标定的场景示意图。如图3所示，左图为红外相机获取的标定板图像，右图为彩色相机获取的图像。首先分别对红外相机与彩色相机进行标定，通过采集标定图像，提取出标定板中的特征点，并计算出相机的内部参数(焦距、主点、畸变系数等)与外部参数(相机的位置与姿态等)。然后再同步红外相机与彩色相机的帧率，这样可以确保深度图像与彩色图像是在相同的时间戳下进行采集的，从而实现数据时间的对齐。通过同步标定还方便深度信息与彩色信息的融合与关联，从而提高焊接轨迹识别的精确性。

本实施例中预先将相机进行标定，同步相机的帧率以及时间，然后通过标定相机对目标工件进行拍摄，获得目标工件对应的彩色图像和深度图像。然后识别设备将彩色图像输入至YOLOv5模型中进行位置识别，YOLOv5模型实时地检测彩色图像中的目标工件，提供其位置、类别和置信度等信息，获得彩色图像对应的彩色像素坐标区域。接着把采集到的彩色图像导入YOLOv5模型对目标工件进行位置识别，已经可以确定目标工件的彩色像素坐标区域；然后将彩色像素坐标区域与深度图像像素对应起来进行图像数据处理(例如滤波、拟合、分割、降噪等)，获得目标工件对应的三维点云数据。再拟合目标工件需要焊接的平面，提取出焊接附近的点云并拟合成最后的焊接轨迹。从而实现了在复杂环境下的焊接轨迹的识别提取。由于本实施例通过获取目标工件的彩色图像和深度图像，并对其进行图像数据处理，获得三维点云数据，从而避免了复杂环境下视线角度、无关工件等干扰因素影响，实现了焊接轨迹的自动识别提取，无需人工介入，提高了自动焊接的效率。

参考图4，图4为本发明焊接轨迹识别方法第二实施例的流程示意图。

基于上述第一实施例，在本实施例中，考虑到对三维点云数据的轨迹识别，所述步骤S40包括：

步骤S41：通过RANAC算法对所述三维点云数据进行平面拟合，获得所述目标工件对应的平面模型参数。

需要说明的是，RANSAC(随机抽样一致性)算法是一种用于处理包含离群值的数据的迭代方法。RANSAC算法可通过随机选择少量数据样本来假设一个模型，并通过计算其他数据点与该模型之间的误差来评估模型的拟合程度。然后，根据预定义的阈值，将与模型拟合程度较好的数据点划分为内点集合，而不拟合的数据点则被认为是离群值。重复这个过程多次，最终选择具有最大内点数量的模型作为最佳估计结果。

可理解的是，平面模型参数是三维空间中的一个二维几何对象，由无限个点组成，并且所有点满足一个方程的参数。平面模型参数可以用来描述和表示三维点云数据中目标工件焊接的不同平面。

在具体实现中，通过RANAC算法对三维点云数据进行平面拟合，可获得目标工件对应的平面模型参数，用来描述和表示三维点云数据中目标工件焊接的不同平面。

步骤S42：根据所述三维点云数据和所述平面模型参数进行点云投影，获得所述平面模型参数对应的交线方程。

步骤S43：根据所述交线方程对所述三维点云数据中的点云进行直线拟合，获得所述目标工件对应的焊接轨迹。

在具体实现中，通过拟合目标工件的焊接平面可确定两个平面的平面模型参数，根据平面模型参数与三维点云数据的重合可确定两个平面相交直线方程，最后提取出距离交线最近的点云最终拟合成一条直线，就得到了最终的焊接轨迹，实现了复杂场景下的焊接轨迹的识别定位，只需要与机器人进行数据通讯并传输位置坐标就可以自动焊接。从而通过三维点云数据的一系列拟合过程，获得精准的焊接轨迹，实现了在复杂环境下的焊接轨迹的识别提取，提高了焊接轨迹识别的精确性。

进一步地，本实施例中在步骤S41包括：从所述三维点云数据中随机选取三个点云，并根据所述三个点云确定平面方程；判断所述三维点云数据中其余点云与所述平面方程的距离是否达到预设阈值；在所述距离达到预设阈值时，将达到所述预设阈值所对应的点云作为内点；根据所述内点对所述平面方程进行参数估计，获得所述目标工件对应的平面模型参数。

在具体实现中，在三维点云数据的空间点云中随机选取三个点，根据平面方程(例如Ax+By+Cz+D＝0)计算模型参数。用剩余的点计算到该平面方程的距离，将距离与所设定的阈值做比较，如果小于，则该点为内点；否则为外点。统计该参数模型下内点的个数。继续执行上面两步，若当前模型的内点数量大于已经保存的最大内点数量，则变更新的模型参数，保留模型参数始终是内点数量最多的模型参数。重复上述三步，不断迭代，直到达到迭代阈值，找到内点个数最多的模型参数，最后用内点再次对模型参数进行估计，从而得到最终的平面模型参数。此时可以把符合条件的内点存储在内点指针中，然后通过分割函数把它分割出来，再在剩下的点云中再次进行同样的操作，同样也可以得到目标工件焊接的另一个平面的模型参数。通过不断迭代的过程，得到最佳的平面模型参数，从而提高焊接轨迹及识别的精确性。

为了便于理解，以RANSAC算法进行平面拟合来说明，但并不对本方案进行限定。通过分析观察目标工件的形状特征，可发现工件的焊接主要由两个平面角接而成，因此如何提取工件的两个平面至关重要。关于平面拟合的主要算法有RANSAC(Random SampleConsensus)算法与最小二乘法拟合算法，但在三维点云数据中存在着大量的无关点云，这些点云会影响最小二乘法拟合平面的精度，而RANSAC算法在此过程中受到无关点影响较小，因此可选用RANAC算法拟合工件平面。

在拟合过程中，可预设一个平面的模型参数，一般设置为Ax+By+Cz+D＝0，其中(A、B、C)是平面的法向量。因为三个点可以形成一个平面，因此如果给定三个点P₀、P₁、P₂，求出这三个点所在的平面需要先求出两点之间的向量

接着求出两向量的向量积，即

所得向量积即为平面模型Ax+By+Cz+D＝0的法向量；

A＝mq-np；

B＝no-lq；

C＝lp-mo；

d＝-(Ax₀+By₀+Cz₀)；

在空间点云中随机选取三个点，根据平面方程Ax+By+Cz+D＝0计算模型参数。用剩余的点计算到该平面方程的距离，将距离与所设定的阈值做比较，如果小于，则该点为内点；否则为外点。统计该参数模型下内点的个数。继续执行上面两步，若当前模型的内点数量大于已经保存的最大内点数量，则变更新的模型参数，保留模型参数始终是内点数量最多的模型参数。重复上述三步，不断迭代，直到达到迭代阈值，找到内点个数最多的模型参数，最后用内点再次对模型参数进行估计，从而得到最终的平面模型参数。把符合条件的内点存储在内点指针中，然后通过分割函数把它分割出来，再在剩下的点云中再次进行同样的操作，同样也可以得到另一个平面的模型参数。

在得到目标工件两个平面的模型参数后，可将三维点云数据的空间三维点云投影到这两个平面上，然后计算两个平面相交的交线方程，即：

其中(a,b,c)为交线上的一点，(d,e,f)为交线的方向向量。

得到了交线方程后，只需要提取出距离交线最近的点云最终拟合成一条直线，就得到了最终的焊接轨迹，实现了复杂场景下的焊接轨迹的识别定位，接着只需要与机器人进行数据通讯并传输位置坐标就可以自动焊接。通过RANAC算法对三维点云数据进行平面拟合，通过不断迭代的过程，得到最佳的平面模型参数，从而提高焊接轨迹及识别的精确性，用来描述和表示三维点云数据中目标工件焊接的不同平面。通过拟合目标工件的焊接平面可确定两个平面的平面模型参数，根据平面模型参数与三维点云数据的重合可确定两个平面相交直线方程，最后提取出距离交线最近的点云最终拟合成一条直线，就得到了最终的焊接轨迹，实现了复杂场景下的焊接轨迹的识别定位，只需要与机器人进行数据通讯并传输位置坐标就可以自动焊接。从而通过三维点云数据的一系列拟合过程，获得精准的焊接轨迹，实现了在复杂环境下的焊接轨迹的识别提取，提高了焊接轨迹识别的精确性。

参考图5，图5为本发明焊接轨迹识别方法第三实施例的流程示意图。

基于上述各实施例，在本实施例中，考虑到点云处理的精确性，所述步骤30包括：

步骤S31：通过坐标映射器对所述深度图像进行映射，获得所述深度图像与所述彩色图像之间的对应关系。

需要说明的是，坐标映射器(Coordinate Mapper)是一种将一个坐标系中的点映射到另一个坐标系中对应位置的算法或工具。可以用于不同坐标系之间的转换和配准，以实现数据在不同空间中的对齐和一致性。通过坐标映射器可将深度图像的坐标系转换到彩色图像，以实现在不同空间中深度图像坐标转换为彩色图像坐标的对齐和一致性。

步骤S32：根据所述对应关系将所述彩色像素坐标区域和所述深度图像的图像像素进行对应，获得彩色点云数据。

步骤S33：根据PCL库对所述彩色点云数据进行点云预处理，获得所述目标工件对应的三维点云数据。

需要说明的是，PCL库(Point Cloud Library)是一个开源的用于点云处理和三维几何图形处理的库，可提供一系列的算法和工具，用于获取、处理、分析和可视化点云数据。

在具体实现中，把采集到的彩色图像导入YOLOv5模型对目标工件进行位置识别，已经可以确定目标工件的彩色像素坐标区域，通过所述深度图像与所述彩色图像之间的对应关系，即可生成具有纹理的彩色点云数据。然后通过PCL库中的点云预处理技术(滤波、拟合、分割、降噪等)即可提取出目标区域内工件的三维点云数据，实现对目标工件的三维重建，获得三维点云数据。从而实现在不同空间中深度图像坐标转换为彩色图像坐标的效果，完成二者对齐和一致性，提高三维点云数据的精确性。

进一步地，点云数据中包含许多无用点云，本实施例中在步骤S33包括：根据PCL库对所述彩色点云数据进行点云重建，获得三维重建点云数据；通过离群点移除滤波器对所述三维重建点云数据进行噪声过滤，获得过滤后的三维重建点云数据；通过体素网格滤波器对所述三维重建点云数据进行重心处理，获得所述目标工件对应的三维点云数据。

需要说明的是，三维重建点云数据是对彩色点云数据进行点云处理获得的范围性的点云数据，参考图6，图6为本发明焊接轨迹识别方法第三实施例中目标范围三维重建点云的点云示意图，其中不仅包含目标工件的点云，还包括环境以及平台等无用点云。

可理解的是，离群点移除滤波器是一种用于处理点云数据中的离群点(Outliers)的滤波算法。离群点是指与周围点明显不同或远离正常数据分布的异常点，离群点对于点云处理和分析任务可能会产生干扰，影响结果的准确性和稳定性。因此，通过离群点移除滤波器对所述三维重建点云数据进行噪声过滤，可排除这些异常点，从而得到更干净、更可靠的点云数据。

应理解的是，体素网格滤波器(Voxel Grid Filter)是一种常用的点云数据滤波算法，用于对离散的点云进行降采样和平滑处理，将点云空间划分为规则的三维体素网格，并对每个体素内的点云进行处理。可在保存点云原有形状特征的情况下尽量减少点的数量，可以极大的提高系统处理速度。

在具体实现中，以角接工件为例，在生成目标范围内的三维重建点云数据后，存在着大量的无关噪声数据需要去除，可通过离群点移除滤波器或半径滤波器对噪声进行过滤，这两种滤波器可以根据目标周围临近点个数判断该点是否属于边缘离散点，对于不满足阈值条件的点就会删除。随后可以通过体素网格滤波器在点云数据中创建三维体素网格，然后用每个体素的重心来近似表示体素中的其他点，在保存点云原有形状特征的情况下尽量减少点的数量，极大的提高系统处理速度。参考图6和图7，图7为本发明焊接轨迹识别方法第三实施例中目标工件三维重建点云的点云示意图。如图7所示，在通过离群点移除滤波器和体素网格滤波器的处理后，可以得到明显的目标工件对应的点云，可极大的提高识别设备系统的处理速度。

进一步地，本实施例中在步骤S31之前，还包括：获得所述深度图像的深度帧；通过坐标映射器对所述深度帧进行坐标映射，获得所述深度图像对应的坐标数组，所述坐标数组包括所述深度图像中每个像素点的坐标；通过相机投影模型将所述坐标数组投影至所述彩色图像中，获得所述深度图像与所述彩色图像之间的对应关系。

需要说明的是，相机投影模型是用于描述相机将三维空间中的点映射到二维图像平面上的数学模型，以实现从三维世界到二维图像的转换，例如透视投影模型(Perspective Projection)和正交投影模型(Orthographic Projection)。

在具体实现中，因为深度图像和彩色图像是同步捕获的，因此两幅图像之间存在对应关系，可以利用深度图像的信息来对彩色图像中的每个像素点进行对齐，实现彩色图像和深度图像之间的像素级对应。首先确保彩色图像和深度图像是以相同的分辨率和相机内参进行捕获的(包括相机的内部参数、焦距、主点等)，而这些参数在经过上述对相机标定后已经得到；在将两副图像对齐之前需要先将两者的图像分辨率调整一致。参考图8，图8为本发明焊接轨迹识别方法第三实施例中目标工件彩色图像和深度图像的场景示意图。如图8所示，左图为工件彩色图像，右图为工件深度图像，此时，在相机启动后获取深度帧，将该深度数据保存到数组中并获得坐标映射器，通过坐标映射器进行映射，最终得到对应的坐标数组，元素为一个个的坐标，代表了对应彩色图像上的坐标。然后利用深度图像的每个像素点的坐标(通常以相机坐标系表示)来计算该像素点在彩色图像中的位置，通过相机投影模型实现深度图像坐标转换为彩色图像坐标。这样深度图像与彩色图像之间就建立了像素级的对应关系。从而实现在不同空间中深度图像坐标转换为彩色图像坐标的效果，完成二者对齐和一致性，提高三维点云数据的精确性。

为了便于理解，以焊接轨迹自动识别的具体过程进行说明，但并不对本方案进行限定。参考图9，图9为本发明焊接轨迹识别方法第三实施例中焊接轨迹自动识别提取的流程示意图。如图9所示，首先分别对彩色相机与深度相机标定，彩色相机与深度相机帧率同步标定，得到相机的参数信息。然后只需要对目标工件进行拍照，采集彩色图像与深度图像，调整彩色图像和深度图像分辨率，使二者像素大小一致。接着通过YOLOv5模型选定工件位置，把彩色图像导入深度学习网络进行检测，结果会显示目标位置与识别准确率。在将彩色图像与深度图像的像素对应调整，将选中的目标工件的彩色图像像素坐标保存并发送到彩色图像与深度图像像素对应程序中，程序会自动生成深度图像下的目标工件像素坐标。此时可以通过生成的深度图像下的目标工件像素坐标确定工件的三维深度信息，选定工件的大体位置，从而生成点云数据。接着过滤离群点与降采样，根据工件的形状特征通过PCL库中的函数对点云数据进行去噪处理、降采样处理；再进行平面工件拟合，分别拟合工件的两个平面，确定两个平面的模型参数。然后根据模型参数计算相交直线方程，最后提取出直线方程附近的点云并拟合生成焊接轨迹，参考图10，图10为本发明焊接轨迹识别方法第三实施例的拟合焊接轨迹图，如图7和图10所示，最后通过拟合处理提取出焊接轨迹，至此实现了在复杂环境下的焊接轨迹的识别提取。

本实施例把采集到的彩色图像导入YOLOv5模型对目标工件进行位置识别，已经可以确定目标工件的彩色像素坐标区域，通过所述深度图像与所述彩色图像之间的对应关系，即可生成具有纹理的彩色点云数据。然后通过PCL库中的点云预处理技术(滤波、拟合、分割、降噪等)即可提取出目标区域内工件的三维点云数据，实现对目标工件的三维重建，获得三维点云数据。从而实现在不同空间中深度图像坐标转换为彩色图像坐标的效果，完成二者对齐和一致性，提高三维点云数据的精确性。进一步地，以角接工件为例，在生成目标范围内的三维重建点云数据后，存在着大量的无关噪声数据需要去除，可通过离群点移除滤波器或半径滤波器对噪声进行过滤，这两种滤波器可以根据目标周围临近点个数判断该点是否属于边缘离散点，对于不满足阈值条件的点就会删除。随后可以通过体素网格滤波器在点云数据中创建三维体素网格，然后用每个体素的重心来近似表示体素中的其他点，在保存点云原有形状特征的情况下尽量减少点的数量，极大的提高系统处理速度。在通过离群点移除滤波器和体素网格滤波器的处理后，可以得到明显的目标工件对应的点云，可极大的提高识别设备系统的处理速度。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有焊接轨迹识别程序，所述焊接轨迹识别程序被处理器执行时实现如上文所述的焊接轨迹识别方法的步骤。

参照图11，图11为本发明焊接轨迹识别装置第一实施例的结构框图。

如图11所示，本发明实施例提出的焊接轨迹识别装置包括：

图像获取模块10，用于通过标定相机对目标工件进行拍摄，获得所述目标工件对应的彩色图像和深度图像；

位置识别模块20，用于将所述彩色图像输入至YOLOv5模型中进行位置识别，获得所述彩色图像对应的彩色像素坐标区域；

三维点云模块30，用于对所述彩色像素坐标区域和所述深度图像的图像像素进行图像数据处理，获得所述目标工件对应的三维点云数据；

轨迹识别模块40，用于对所述三维点云数据进行平面拟合，获得所述目标工件对应的焊接轨迹。

本实施例中预先将相机进行标定，同步相机的帧率以及时间，然后通过标定相机对目标工件进行拍摄，获得目标工件对应的彩色图像和深度图像。然后识别设备将彩色图像输入至YOLOv5模型中进行位置识别，YOLOv5模型实时地检测彩色图像中的目标工件，提供其位置、类别和置信度等信息，获得彩色图像对应的彩色像素坐标区域。接着把采集到的彩色图像导入YOLOv5模型对目标工件进行位置识别，已经可以确定目标工件的彩色像素坐标区域；然后将彩色像素坐标区域与深度图像像素对应起来进行图像数据处理(例如滤波、拟合、分割、降噪等)，获得目标工件对应的三维点云数据。再拟合目标工件需要焊接的平面，提取出焊接附近的点云并拟合成最后的焊接轨迹。从而实现了在复杂环境下的焊接轨迹的识别提取。由于本实施例通过获取目标工件的彩色图像和深度图像，并对其进行图像数据处理，获得三维点云数据，从而避免了复杂环境下视线角度、无关工件等干扰因素影响，实现了焊接轨迹的自动识别提取，无需人工介入，提高了自动焊接的效率。

基于本发明上述焊接轨迹识别装置第一实施例，提出本发明焊接轨迹识别装置的第二实施例。

在本实施例中，所述轨迹识别模块40，还用于通过RANAC算法对所述三维点云数据进行平面拟合，获得所述目标工件对应的平面模型参数；根据所述三维点云数据和所述平面模型参数进行点云投影，获得所述平面模型参数对应的交线方程；根据所述交线方程对所述三维点云数据中的点云进行直线拟合，获得所述目标工件对应的焊接轨迹。

进一步地，所述轨迹识别模块40，还用于从所述三维点云数据中随机选取三个点云，并根据所述三个点云确定平面方程；判断所述三维点云数据中其余点云与所述平面方程的距离是否达到预设阈值；在所述距离达到预设阈值时，将达到所述预设阈值所对应的点云作为内点；根据所述内点对所述平面方程进行参数估计，获得所述目标工件对应的平面模型参数。

进一步地，所述三维点云模块30，还用于通过坐标映射器对所述深度图像进行映射，获得所述深度图像与所述彩色图像之间的对应关系；根据所述对应关系将所述彩色像素坐标区域和所述深度图像的图像像素进行对应，获得彩色点云数据；根据PCL库对所述彩色点云数据进行点云预处理，获得所述目标工件对应的三维点云数据。

进一步地，所述三维点云模块30，还用于根据PCL库对所述彩色点云数据进行点云重建，获得三维重建点云数据；通过离群点移除滤波器对所述三维重建点云数据进行噪声过滤，获得过滤后的三维重建点云数据；通过体素网格滤波器对所述三维重建点云数据进行重心处理，获得所述目标工件对应的三维点云数据。

进一步地，所述三维点云模块30，还用于获得所述深度图像的深度帧；

通过坐标映射器对所述深度帧进行坐标映射，获得所述深度图像对应的坐标数组，所述坐标数组包括所述深度图像中每个像素点的坐标；通过相机投影模型将所述坐标数组投影至所述彩色图像中，获得所述深度图像与所述彩色图像之间的对应关系。

进一步地，焊接轨迹识别方装置还包括相机标定模块50，用于通过预设相机对标定板进行图像采集，获得标定图像；对所述标定板进行特征提取，获得所述标定板对应的特征点；根据标定图像和所述特征点对所述预设相机的内部参数和外部参数进行同步标定，获得标定相机。

本发明焊接轨迹识别方装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种焊接轨迹识别方法，其特征在于，所述焊接轨迹识别方法包括：

通过标定相机对目标工件进行拍摄，获得所述目标工件对应的彩色图像和深度图像；

将所述彩色图像输入至YOLOv5模型中进行位置识别，获得所述彩色图像对应的彩色像素坐标区域；

对所述彩色像素坐标区域和所述深度图像的图像像素进行图像数据处理，获得所述目标工件对应的三维点云数据；

对所述三维点云数据进行平面拟合，获得所述目标工件对应的焊接轨迹。

2.如权利要求1所述的焊接轨迹识别方法，其特征在于，所述对所述三维点云数据进行平面拟合，获得所述目标工件对应的焊接轨迹，包括：

通过RANAC算法对所述三维点云数据进行平面拟合，获得所述目标工件对应的平面模型参数；

根据所述三维点云数据和所述平面模型参数进行点云投影，获得所述平面模型参数对应的交线方程；

根据所述交线方程对所述三维点云数据中的点云进行直线拟合，获得所述目标工件对应的焊接轨迹。

3.如权利要求2所述的焊接轨迹识别方法，其特征在于，所述通过RANAC算法对所述三维点云数据进行平面拟合，获得所述目标工件对应的平面模型参数，包括：

从所述三维点云数据中随机选取三个点云，并根据所述三个点云确定平面方程；

判断所述三维点云数据中其余点云与所述平面方程的距离是否达到预设阈值；

在所述距离达到预设阈值时，将达到所述预设阈值所对应的点云作为内点；

根据所述内点对所述平面方程进行参数估计，获得所述目标工件对应的平面模型参数。

4.如权利要求1所述的焊接轨迹识别方法，其特征在于，所述对所述彩色像素坐标区域和所述深度图像的图像像素进行图像数据处理，获得所述目标工件对应的三维点云数据，包括：

通过坐标映射器对所述深度图像进行映射，获得所述深度图像与所述彩色图像之间的对应关系；

根据所述对应关系将所述彩色像素坐标区域和所述深度图像的图像像素进行对应，获得彩色点云数据；

根据PCL库对所述彩色点云数据进行点云预处理，获得所述目标工件对应的三维点云数据。

5.如权利要求4所述的焊接轨迹识别方法，其特征在于，所述根据PCL库对所述彩色点云数据进行点云预处理，获得所述目标工件对应的三维点云数据，包括：

根据PCL库对所述彩色点云数据进行点云重建，获得三维重建点云数据；

通过离群点移除滤波器对所述三维重建点云数据进行噪声过滤，获得过滤后的三维重建点云数据；

通过体素网格滤波器对所述三维重建点云数据进行重心处理，获得所述目标工件对应的三维点云数据。

6.如权利要求5所述的焊接轨迹识别方法，其特征在于，所述通过坐标映射器对所述深度图像进行映射，获得所述深度图像与所述彩色图像之间的对应关系之前，还包括：

获得所述深度图像的深度帧；

通过坐标映射器对所述深度帧进行坐标映射，获得所述深度图像对应的坐标数组，所述坐标数组包括所述深度图像中每个像素点的坐标；

通过相机投影模型将所述坐标数组投影至所述彩色图像中，获得所述深度图像与所述彩色图像之间的对应关系。

7.如权利要求1所述的焊接轨迹识别方法，其特征在于，所述通过标定相机对目标工件进行拍摄，获得所述目标工件对应的彩色图像和深度图像之前，还包括：

通过预设相机对标定板进行图像采集，获得标定图像；

对所述标定板进行特征提取，获得所述标定板对应的特征点；

根据标定图像和所述特征点对所述预设相机的内部参数和外部参数进行同步标定，获得标定相机。

8.一种焊接轨迹识别装置，其特征在于，所述装置包括：

图像获取模块，用于通过标定相机对目标工件进行拍摄，获得所述目标工件对应的彩色图像和深度图像；

位置识别模块，用于将所述彩色图像输入至YOLOv5模型中进行位置识别，获得所述彩色图像对应的彩色像素坐标区域；

三维点云模块，用于对所述彩色像素坐标区域和所述深度图像的图像像素进行图像数据处理，获得所述目标工件对应的三维点云数据；

轨迹识别模块，用于对所述三维点云数据进行平面拟合，获得所述目标工件对应的焊接轨迹。

9.一种焊接轨迹识别设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的焊接轨迹识别程序，所述焊接轨迹识别程序配置为实现如权利要求1至7中任一项所述的焊接轨迹识别方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有焊接轨迹识别程序，所述焊接轨迹识别程序被处理器执行时实现如权利要求1至7任一项所述的焊接轨迹识别方法的步骤。