CN113954085A - 一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法 - Google Patents

Abstract

本发明公开一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，步骤为：1)搭建基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制系统；2)对焊缝进行识别检测，得到焊缝中心点像素坐标，并转换为机械臂坐标；3)在示教器(4)中对线激光传感器(3)与焊枪头进行TCP点标定，并进行焊缝扫描，得到焊缝精确位置信息；4)上位机(6)生成焊接程序，并发送至示教器(4)；示教器(4)运行焊接程序并接收焊缝信息，从而控制机械臂(1)进行焊接。本发明能够在一定程度上使焊接机器人脱离示教再现的工作模式，提高了对钢结构中焊缝的识别准确率和精度，实现了对钢构件中焊缝的智能识别与焊接。

Description

一种基于双目视觉与线激光传感数据融合的焊接机器人智能 定位与控制方法

技术领域

本发明涉及焊接机器人领域，具体是一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法。

背景技术

随着智能制造与建造的发展模式不断推广，目前工业机器人拥有着广阔的发展前景和应用市场。由于当前工厂的焊接作业通常存在工作量大、人工焊接效率不高、环境恶劣、具有一定的安全隐患等一系列问题，导致市场对焊接机器人的需求与日俱增。当前，焊接机器人已经能够进入工厂取代工人对一些标准钢构件进行流水线式的焊接工作，大大提高了钢构件的焊接生产效率。焊接机器人通常采用示教器(4)示教以及离线编程的工作模式，由于机械臂(1) 只按照示教点和已上传程序重复工作，当需要焊接的标准钢构件类型发生改变或者对一些非标准钢构件进行焊接时，都需要人重新手动示教、编程，这极大地降低了焊接生产效率。

随着机器视觉技术的迅速发展，目前装配有相机等视觉传感器的机器人已经成为市场主流。在智能建造领域中，工业机械臂(1) 装配视觉传感器，通过图像处理技术，能够让装配有不同功能灵巧手的机械臂(1)实现对钢构件的自动抓取搬运以及钢筋的绑扎等任务。而在实际应用中，图像处理技术通常采用模板匹配等传统机器视觉方法进行目标的识别定位，这类方法对钢构件整体等具有明显特征且易于识别的物体具有较高的识别准确率，从而得到的三维坐标点的精度能够满足工业上对钢材料的抓取搬运等任务的大部分需求。而对于钢构件中特征并不明显的焊缝来说，此类方法的识别精度不高，并且此类采用特征匹配的图像处理方法容易受到目标形状、光照强度、环境背景干扰等外界因素的影响，导致识别结果的鲁棒性较低，最终生成的焊接轨迹并不能够满足工业焊接工艺中的精度要求。

发明内容

本发明的目的是提供一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，包括以下步骤：

1)搭建基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制系统，包括双目相机、上位机、示教器和线激光传感器。所述线激光传感器位于待控制机械臂的末端。

在双目相机拍摄包含有工作台和机械臂的原始图像前，对双目相机进行标定、校正和匹配，获取相机参数。

对双目相机进行标定的工具为halcon软件。标定过程中使用的标定板为氧化铝halcon标定板。

2)利用双目相机拍摄包含有工作台和机械臂的原始图像，并传输至上位机。所述机械臂用于焊接。

3)上位机根据相机参数将原始图像转换为具有深度信息的深度图像。

将原始图片转换为深度图像的工具为halcon软件。

原始图像像素坐标q(u，v)和深度图像三维坐标Q(XC,YC,ZC) 的转换关系如下所示：

式中，dx、dy代表每个像素的物理尺寸。u₀、v₀、f_x f_y为标定得到的相机参数。

4)上位机利用深度学习网络对焊缝进行识别检测，得到焊缝中心点像素坐标，所述焊缝中心点即为线激光传感器扫描初始点。

对焊缝进行识别检测的深度学习网络为Refined Rotation RetinaNet。

所述Refined Rotation RetinaNet参数由若干目标焊缝图像数据集训练得到。

所述Refined Rotation RetinaNet的输入为经过图像预处理后的焊缝图像，输出为包围目标焊缝的旋转矩形框中心点像素坐标，旋转矩形框中心点即为焊缝中心点。

5)上位机对机械臂末端与相机做手眼标定，得到像素坐标到机械臂基坐标系的转换矩阵。

对机械臂末端与相机做手眼标定的步骤包括：

5.1)将halcon标定板固定于机械臂末端。

5.2)标定时反复多次移动标定板，使标定板以不同位姿出现在图像中不同位置，并记录保存图像。

5.3)利用halcon软件读取图像并求出手眼标定的转换矩阵[R|T]。

6)在示教器中对线激光传感器与焊枪头进行TCP点标定。

在示教器中对需要使用的线激光传感器与焊枪头进行TCP点标定的步骤包括：

6.1)利用示教器TCP标定中的三点法对线激光传感器与焊枪头进行标定，得到焊枪头与机械臂基座坐标系的转换矩阵，记为工具坐标系I。

6.2)将工具坐标系I进行矩阵平移，直至线激光扫描仪距目标焊缝的距离范围为[h1，h2]，此时的工具坐标系记为工具坐标系II。

7)线激光传感器扫描焊缝，得到线激光扫描结果并传输至上位机。上位机对线激光扫描结果进行处理，得到焊缝信息。

使用线激光传感器扫描焊缝，得到焊缝信息的步骤包括：

7.1)在示教器中设置焊缝扫描点对应欧拉角(α，β，γ)。α、β、γ分别表示在机器人基坐标系下机械臂末端轴X轴、Y轴、Z轴的旋转角度。将机械臂的姿态信息编程记录在示教器的例行程序中。所述机械臂的姿态信息包括坐标信息(X,Y,Z)和欧拉角(α，β，γ)。

7.2)示教器运行例行程序，调整机械臂末端姿态并将机械臂移动到焊缝扫描初始点。

7.3)示教器控制线激光传感器进行线激光扫描，扫描过程中，线激光传感器将线激光扫描结果传输至上位机。

7.4)上位机对线激光扫描结果进行处理，获取焊缝信息。所述焊缝信息包括焊缝数据、焊缝关键点和焊缝中心位置。

8)上位机生成焊接程序，并发送至示教器。示教器运行焊接程序，从而控制机械臂进行焊接。

示教器控制机械臂进行焊接的步骤包括：

8.1)在示教器中配置焊接参数文件和焊接辅助功能参数。所述焊接参数文件包括引弧、焊接的电流电压参数。所述配置焊接辅助功能参数包括焊接材料和焊接工艺选择。

8.2)上位机根据焊缝信息编写焊接程序，并发送至示教器。

8.4)示教器基于焊接参数文件和焊接辅助功能参数运行焊接程序，控制机械臂进行焊接。

本发明的技术效果是毋庸置疑的，本发明的有效效果如下：

1)本发明提出一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法。该方法先对双目相机得到的图像信息进行图像处理，得到精度较低的焊缝中心点位置的三维坐标信息，再使装有线激光扫描设备的机械臂末端移动至该点对整条焊缝进行线激光扫描，从而得到整条焊缝的精确坐标信息并进行焊接。该方法主要用于解决智能制造和建造领域中钢构件内焊缝的精准识别与定位问题，能够在一定程度上使焊接机器人脱离示教再现的工作模式，提高了对钢结构中焊缝的识别准确率和精度，实现了对钢构件中焊缝的智能识别与焊接。

2)本发明采用双目相机与线激光传感器相结合的方法对钢构件中特征并不明显的焊缝进行识别定位，避免了传统方法中只依赖相机与图像处理算法对焊缝识别时的精度不高的问题。

3)本发明工艺简单，机械核心部分仅由双目相机、线激光扫描器、以及末端为焊枪头的六自由度机械臂组成，安装方便。

4)本发明在对焊缝的识别方法上选用了具有旋转检测器的神经网络RefinedRotation RetinaNet，相比于传统基于特征检测的方法以及具有水平检测器的深度学习检测方法，该方法检测出的焊缝扫描初始点精度更高、实用性更广。

5)本发明使焊接机器人能够识别检测具有相同焊缝类型的不同的钢构件，一定程度上使焊接机器人摆脱了传统示教再现的重复工作模式，提高了工厂对钢构件焊接生产的自动化水平。

附图说明

图1为机械臂采用双目视觉与线激光结合对焊缝焊接的步骤流程图；

图2为焊接系统的整体结构示意图；

图3为双目标定的标定行配准结果图；

图4为激光扫描时焊枪姿态及偏移图。

图5为相机拍摄钢构件图

图6为经过图像预处理后的钢构件灰度图

图7为钢构件相对左相机光心深度图

图中：待控制机械臂1、焊枪头2、线激光传感器3、示教器4、奥太焊机5、上位机6、双目相机7、工作台8。

具体实施方式

下面结合实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。

实施例1：

参见图1至图7，一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，包括以下步骤：

1)搭建基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制系统，包括双目相机7、上位机6、示教器4和线激光传感器3。所述线激光传感器3位于待控制机械臂1的末端。

在双目相机7拍摄包含有工作台8和机械臂1的原始图像前，对双目相机7进行标定、校正和匹配，获取相机参数。

对双目相机7进行标定的工具为halcon软件。标定过程中使用的标定板为氧化铝halcon标定板。

2)利用双目相机7拍摄包含有工作台8和机械臂1的原始图像，并传输至上位机6。所述机械臂1用于焊接。

3)上位机6根据相机参数将原始图像转换为具有深度信息的深度图像。

将原始图片转换为深度图像的工具为halcon软件。

原始图像像素坐标qu，v和深度图像三维坐标QXC,YC,ZC的转换关系如下所示：

式中，dx、dy代表每个像素的物理尺寸。u₀、v₀、f_x f_y为标定得到的相机参数。

4)上位机6利用深度学习网络对焊缝进行识别检测，得到焊缝中心点像素坐标，所述焊缝中心点即为线激光传感器3扫描初始点。

对焊缝进行识别检测的深度学习网络为Refined Rotation RetinaNet。

所述Refined Rotation RetinaNet参数由若干目标焊缝图像数据集训练得到。

所述Refined Rotation RetinaNet的输入为经过图像预处理后的焊缝图像，输出为包围目标焊缝的旋转矩形框中心点像素坐标，旋转矩形框中心点即为焊缝中心点。

5)上位机6对机械臂1末端与相机做手眼标定，得到像素坐标到机械臂1基坐标系的转换矩阵。

对机械臂1末端与相机做手眼标定的步骤包括：

5.1)将halcon标定板固定于机械臂1末端。

5.2)标定时反复多次移动标定板，使标定板以不同位姿出现在图像中不同位置，并记录保存图像。

5.3)利用halcon软件读取图像并求出手眼标定的转换矩阵[R|T]。

6)在示教器4中对线激光传感器3与焊枪头进行TCP点标定。

在示教器4中对需要使用的线激光传感器3与焊枪头进行TCP 点标定的步骤包括：

6.1)利用示教器4TCP标定中的三点法对线激光传感器3与焊枪头进行标定，得到焊枪头与机械臂1基座坐标系的转换矩阵，记为工具坐标系I。

6.2)将工具坐标系I进行矩阵平移，直至线激光扫描仪距目标焊缝的距离范围为[h1，h2]，此时的工具坐标系记为工具坐标系II。

7)线激光传感器3扫描焊缝，得到线激光扫描结果并传输至上位机6。上位机6对线激光扫描结果进行处理，得到焊缝信息。

使用线激光传感器3扫描焊缝，得到焊缝信息的步骤包括：

7.1)在示教器4中设置焊缝扫描点对应欧拉角α，β，γ。α、β、γ分别表示在机器人基坐标系下机械臂1末端轴X轴、Y轴、Z轴的旋转角度。将机械臂1的姿态信息编程记录在示教器4的例行程序中。所述机械臂1的姿态信息包括坐标信息X,Y,Z和欧拉角α，β，γ。

7.2)示教器4运行例行程序，调整机械臂1末端姿态并将机械臂1移动到焊缝扫描初始点。

7.3)示教器4控制线激光传感器3进行线激光扫描，扫描过程中，线激光传感器3将线激光扫描结果传输至上位机6。

7.4)上位机6对线激光扫描结果进行处理，获取焊缝信息。所述焊缝信息包括焊缝数据、焊缝关键点和焊缝中心位置。

8)上位机6生成焊接程序，并发送至示教器4。示教器4运行焊接程序，从而控制机械臂1进行焊接。

示教器4控制机械臂1进行焊接的步骤包括：

8.1)在示教器4中配置焊接参数文件和焊接辅助功能参数。所述焊接参数文件包括引弧、焊接的电流电压参数。所述配置焊接辅助功能参数包括焊接材料和焊接工艺选择。

8.2)上位机6根据焊缝信息编写焊接程序，并发送至示教器4。

8.3)示教器4基于焊接参数文件和焊接辅助功能参数运行焊接程序，控制机械臂1进行焊接。

实施例2：

一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，包括以下步骤：

1)对固定在工作台8旁的双目相机进行双目标定、校正与匹配。

步骤一中所述的工业相机为300万像素的CCD工业相机，数据接口为USB2.0。工业相机镜头选用C接口8mm焦距的定焦镜头，适合在该距离下对钢构件进行近距离拍摄。该双目相机固定在工作台8旁对钢构件进行图像采集，并且通过USB数据接口将图像信息发送给上位机6进行图像处理。

步骤一中所述的双目标定方法采用halcon软件标定，halcon标定板选用图像尺寸为320*320mm的7*7实心圆点氧化铝标定板，该标定板的图案精度在0.01mm内，保证了双目相机标定参数的准确性和可靠性。其中，标定采用了halcon软件算法库中的 binocular_calibration算子。

2)根据标定得到的相机内、外参数，将拍摄的RGB图片转换为相较于左相机光心的深度图。

步骤二中所述的RGB图像到深度图的转换基于双目视差原理与相机透视成像原理，能够得出目标物体在左相机坐标系下的三维坐标，其中，深度图中像素的灰度值代表拍摄物体距离左相机光心的距离。设左相机坐标系O_CX_CY_C、图像坐标系OXY，q(X,Y)表示目标物体在图像中的图像坐标，QXC,YC,ZC表示其对应的相机坐标系下的三维坐标，f为相机焦距，通过相机透视成像原理得到：

转化为齐次矩阵形式为：

再由像素坐标系到图像坐标系的转换关系，可以得到像素坐标 q(u，v)到三维坐标q(XC,YC,ZC)的转换关系：

其中，像素坐标系的原点为图片的左上角，单位为dx，dy，代表每个像素的物理尺寸。式中的参数通过相机标定为已知。

3)根据所拍摄的RGB图片，通过深度学习的方法对钢构件中的对接焊缝、角焊缝等特征较明显的焊缝进行识别检测，进而得到焊缝中心点的像素坐标。

步骤三中对钢构件中焊缝的检测识别方法采用网络Refined RotationRetinaNet。相比传统的使用水平检测器的神经网络算法如YOLO、OverFeat等，该神经网络算法使用旋转检测器，更适合对复杂场景下小的、旋转的物体进行检测识别，并且会生成带有旋转角度的矩形检测框。识别检测前，先对目标焊缝采集一定数量的图片制作数据集并训练神经网络权重参数，再用训练好的网络对目标焊缝进行识别检测，最终得到包围目标焊缝的旋转矩形框，通过矩形框的四个顶点的像素坐标可以求得矩形框中心点像素坐标，并将此点作为线激光传感器3扫描初始点。

4)机械臂1与相机手眼标定，得到图像像素坐标系到机械臂1 基坐标系的转换矩阵。

步骤四中相机与机械臂1的位置关系为眼在手外(eye-to-hand), 采用Tsai两步法进行手眼标定。先将halcon标定板固定于机械臂1 末端，并尽量使得标定板占左相机成像图的八分之一大小。标定时反复多次移动标定板，使标定板以不同位姿出现在图像中不同位置，并记录保存图像。最后使用halcon软件读取图像并求出手眼标定的转换矩阵[R|T]。

5)对机械臂1的工具坐标系进行标定，得到TCP点相对于机械臂1基坐标系的转换关系。其中，TCP点包括机械臂1末端的焊枪头和线激光扫描中心点，其所对应的坐标系分别为工具坐标系1 与工具坐标系2。

步骤五中的工具坐标系1为焊枪头与机械臂1基座坐标系的转换矩阵，通过示教器4TCP标定中的三点法进行标定并保存。线激光扫描时，需保持线激光扫描仪距目标焊缝约40cm距离，在示教器4 中将已保存的工具坐标系1进行矩阵平移计算得到工具坐标系2并保存。

6)使用线激光传感器3扫描整条焊缝，得到更精确的焊缝数据。

步骤六中的线激光传感器3选用睿牛激光器，将睿牛激光器安装在机械臂1的末端。为保证线激光扫描效果，扫描时的机械臂1 末端姿态需调整到固定姿态下移动扫描，在示教器4中机械臂1的姿态信息由坐标信息X,Y,Z和欧拉角α，β，γ组成，其中欧拉角分别表示在机器人基坐标系下机械臂1末端轴X轴、Y轴、Z轴的旋转角度。在示教器4中设置焊缝扫描点对应欧拉角，并编程记录该姿态至示教器4的例行程序1中，运行例行程序1，示教器4通过socket 通信接收到焊缝扫描初始点后，调整机械臂1末端姿态并移动到指定位置开始线激光扫描。线激光扫描时，上位机6通过Visual Studio 2010软件对线激光扫描结果进行处理，获取焊缝数据、焊缝关键点、以及焊缝中心位置等坐标数据。

7)使用示教器4通过FTP通信协议接收编写好的例行程序，并将得到的焊缝坐标数据通过TCP/IP通信发送给机械臂1的控制器，运行例行程序接收坐标数据并控制机械臂1实现对焊缝的焊接。

步骤七中使用socket通信实现上位机6与控制器之间焊缝坐标数据的传输。所用控制器选用固高工业机器人控制器，首先在手持示教器4中配置好焊接参数文件，包括引弧、焊接的电流电压参数，以及配置焊接辅助功能的参数，包括焊接材料和焊接工艺选择等。然后在上位机6中编写好焊接程序用以接收焊缝坐标数据。通过FTP 通信将焊接程序文件传输给示教器4中。最后在示教器4中运行焊接程序开始焊接。

实施例3：

一种基于双目视觉与线激光传感器3结合的钢结构焊接系统和方法，所述系统具体包括：6自由度工业机械臂11、安装在机械臂1 末端的焊枪头2以及线激光传感器33、固高机器人控制柜及示教器 44、奥太焊机5、放置于工作台8旁的双目相机7、位于机器人正前方用于摆放钢构件的工作台8以及作为上位机6的windows 10操作系统电脑6。

整个焊接系统的工作流程图如图1所示：首先将双目相机进行双目标定，得到相机的内外参数以及两个相机之间的旋转平移矩阵。然后在合适的光照环境下，用双目相机对钢构件拍摄图片。之后通过USB数据传输接口将左、右相机所拍图片传输到上位机6中。然后在上位机6中使用halcon软件将所拍摄图片转换为深度图，同时用神经网络算法对原图片中焊缝进行检测识别，得到焊缝中心点的像素坐标。对机械臂1和双目相机进行手眼标定，得到左相机与机械臂1基坐标系的转换矩阵。之后在示教器4中把默认坐标系切换为工具坐标系2，将识别的焊缝中心点像素坐标计算得到焊缝中心点的实际坐标数据并发送给示教器4，控制机械臂1末端移动至此位置，此时的机械臂1末端姿态为预设置好的线激光扫描姿态。从焊缝中心点开始对整条焊缝进行扫描，得到焊缝的准确数据。最后在示教器4中把默认坐标系切换为工具坐标系1，上位机6通过socket通信把焊缝坐标值发送给控制器，在示教器4中设置好相应的焊接参数并通过FTP通信接收焊接程序，之后运行例行程序接收焊缝坐标数据进行模拟焊接，如果焊机轨迹满足实际要求，再打开焊机并重新运行例行程序开始焊接。

所述的相机双目标定方法使用halcon软件进行标定。首先用左、右相机同时对不同姿态和位置下的标定板拍摄共30张图片，通过 USB数据接口上传至上位机6用以标定。然后在halcon软件中使用 read_image算子分别读取左右相机所拍图片，之后通过find_caltab、 find_marks_and_pose算子循环记录图片中halcon标定板的姿态、角点坐标等数据。结束循环并通过binocular_calibration算子进行双目标定，得到相机的内外参数以及左、右相机间的旋转平移矩阵。halcon的标定结果如下：

左相机内参数：

['area_scan_division',0.00322336,0.0,3.2e-006,3.2e-006,455.915,321.713,809,602]

右相机参数：

['area_scan_division',0.00322336,0.0,3.2e-006,3.2e-006,463.23,321.713,806,602]

左右相机位置平移矩阵：

[0.0599289,0.0,0.0,0.0,0.0,0.0,0]

所述的深度图转换方法使用halcon软件实现，首先使用 gen_binocular_rectification_map算子读取相机内外参数，生成左右相机图片的行配准映射。然后通过check_epipolar_constraint 算子进行极线校正，可视化行配准映射的结果精度。使用read_image 读取左右相机拍摄的钢构件图，最后使用binocular_distance算子利用视差原理得到图片的深度图。其中附图3为双目标定后极行线匹配校正图。

所述的机械臂1与相机的手眼关系为眼到手Eye-to-hand安装方式，手眼标定采用Tsai两步法求解转换矩阵方程AX＝XB。标定前，将halcon标定板固定在机械臂1末端，并使标定板占相机视野八分之一左右。标定时固定相机，通过示教器4的手动模式控制机械臂1末端的标定板移动到不同位置和姿态，并用相机拍摄10组图片，同时在示教器4中记录机械臂1末端的姿态信息。利用halcon软件中 get_calib_data、calibrate_hand_eye等算子获取左相机相对机械臂1末端的手眼标定矩阵[R|T]。

所述的焊缝识别检测方法为基于深度学习的识别检测方法，采用神经网络算法Refined Rotation RetinaNet，该网络具有旋转检测器，相比于其他水平检测器的神经网络而言，更适用于工厂等复杂背景，对带有旋转角度的焊缝识别准确率更高，并且最终生成的带有旋转角度的矩形检测框能够使最终计算的焊缝中心像素点坐标更为准确。

所述的线激光传感器3为苏州睿牛机器人RRT-SV系列激光焊缝跟踪传感器，该线激光传感器3更适合对不锈钢、铝合金等材质使用，自带的函数库封装的相关算法能够通过线激光扫描信息获取焊缝数据、焊缝中心点以及焊缝关键点等信息，并且能够满足本发明实施例中对焊缝坐标数据的需求。将线激光传感器3安装于机械臂1末端，示教器4通过socket通信获得图像处理后的焊缝中心点坐标信息，将默认坐标系设置为工具坐标系2,此时机械臂1的默认TCP点由焊枪尖端转换为线激光传感器3扫描距离下的线激光中心点。移动机械臂1末端到该点，此步骤可以通过编写例行程序1 实现自动接收数据并控制机械臂1，此时机械臂1末端的姿态和相对焊缝的偏移附图4所示。之后，打开线激光传感器3进行线激光扫描，得到更加精确的焊缝坐标数据。

所述的焊接程序保存为示教器4中的例程程序2，程序通过编写指令设置焊接时的速度、加速度、焊枪的电流、电压等焊接参数，以及焊枪倒角、摆弧、多重多道等焊接工艺。程序设定了接收线激光传感器3扫描坐标数据前焊枪移动的焊接起始点、中间过渡点以及终止点的位置和姿态，通过socket通信接收到扫描后的焊缝坐标信息后，便形成完整的焊接路径轨迹，此过程相当于一个简单的焊接路径规划，此方法在没有其他障碍物的干扰情况下，更加简单方便。最后，在模拟焊接确保数据无误后，打开焊机并运行程序开始焊接。

Claims (10)

1.一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，其特征在于，包括以下步骤：

1)搭建基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制系统，包括所述双目相机(7)、上位机(6)、示教器(4)和线激光传感器(3)；所述线激光传感器(3)位于待控制机械臂(1)的末端。

2)利用双目相机(7)拍摄包含有工作台(8)和机械臂(1)的原始图像，并传输至上位机(6)；所述机械臂(1)用于焊接；

3)上位机(6)根据相机参数将原始图像转换为具有深度信息的深度图像；

4)上位机(6)利用深度学习网络对焊缝进行识别检测，得到焊缝中心点像素坐标，所述焊缝中心点即为线激光传感器(3)扫描初始点；

5)上位机(6)对机械臂(1)末端与相机做手眼标定，得到像素坐标到机械臂(1)基坐标系的转换矩阵；

6)在示教器(4)中对线激光传感器(3)与焊枪头进行TCP点标定；

7)线激光传感器(3)扫描焊缝，得到线激光扫描结果并传输至上位机(6)；上位机(6)对线激光扫描结果进行处理，得到焊缝信息；

8)上位机(6)生成焊接程序，并发送至示教器(4)；示教器(4)运行焊接程序，从而控制机械臂(1)进行焊接。

2.根据权利要求1所述的一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，其特征在于，在双目相机(7)拍摄包含有工作台(8)和机械臂(1)的原始图像前，对双目相机(7)进行标定、校正和匹配，获取相机参数。

3.根据权利要求2所述的一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，其特征在于，对双目相机(7)进行标定的工具为halcon软件；标定过程中使用的标定板为氧化铝halcon标定板。

4.根据权利要求1所述的一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，其特征在于，将原始图片转换为深度图像的工具为halcon软件。

5.根据权利要求4所述的一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，其特征在于，原始图像像素坐标q(u，v)和深度图像三维坐标Q(X_C,Y_C,Z_C)的转换关系如下所示：

式中，dx、dy代表每个像素的物理尺寸；u₀、v₀、f_x f_y为标定得到的相机参数。

6.根据权利要求1所述的一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，其特征在于，对焊缝进行识别检测的深度学习网络为Refined RotationRetinaNet；

所述Refined Rotation RetinaNet参数由若干目标焊缝图像数据集训练得到；

所述Refined Rotation RetinaNet的输入为经过图像预处理后的焊缝图像，输出为包围目标焊缝的旋转矩形框中心点像素坐标，旋转矩形框中心点即为焊缝中心点。

7.根据权利要求1所述的一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，其特征在于，对机械臂(1)末端与相机做手眼标定的步骤包括：

1)将halcon标定板固定于机械臂(1)末端；

2)标定时反复多次移动标定板，使标定板以不同位姿出现在图像中不同位置，并记录保存图像；

3)利用halcon软件读取图像并求出手眼标定的转换矩阵[R|T]。

8.根据权利要求1所述的一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，其特征在于，在示教器(4)中对需要使用的线激光传感器(3)与焊枪头进行TCP点标定的步骤包括：

1)利用示教器(4)TCP标定中的三点法对线激光传感器(3)与焊枪头进行标定，得到焊枪头与机械臂(1)基座坐标系的转换矩阵，记为工具坐标系I；

2)将工具坐标系I进行矩阵平移，直至线激光扫描仪距目标焊缝的距离范围为[h1，h2]，此时的工具坐标系记为工具坐标系II。

9.根据权利要求1所述的一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，其特征在于，使用线激光传感器(3)扫描焊缝，得到焊缝信息的步骤包括：

1)在示教器(4)中设置焊缝扫描点对应欧拉角(α，β，γ)；α、β、γ分别表示在机器人基坐标系下机械臂(1)末端轴X轴、Y轴、Z轴的旋转角度；将机械臂(1)的姿态信息编程记录在示教器(4)的例行程序中；所述机械臂(1)的姿态信息包括坐标信息(X,Y,Z)和欧拉角(α，β，γ)；

2)示教器(4)运行例行程序，调整机械臂(1)末端姿态并将机械臂(1)移动到焊缝扫描初始点；

3)示教器(4)控制线激光传感器(3)进行线激光扫描，扫描过程中，线激光传感器(3)将线激光扫描结果传输至上位机(6)；

4)上位机(6)对线激光扫描结果进行处理，获取焊缝信息；所述焊缝信息包括焊缝数据、焊缝关键点和焊缝中心位置。

10.根据权利要求1所述的一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，其特征在于，示教器(4)控制机械臂(1)进行焊接的步骤包括：

1)在示教器(4)中配置焊接参数文件和焊接辅助功能参数；所述焊接参数文件包括引弧、焊接的电流电压参数；所述配置焊接辅助功能参数包括焊接材料和焊接工艺选择；

2)上位机(6)根据焊缝信息编写焊接程序，并发送至示教器(4)；

4)示教器(4)基于焊接参数文件和焊接辅助功能参数运行焊接程序，控制机械臂(1)进行焊接。

Images