CN114289934B - 一种基于三维视觉的大型结构件自动化焊接系统及方法 - Google Patents

Abstract

一种基于三维视觉的大型结构件自动化焊接系统及方法，系统包括多自由度机器人，多自由度机器人前端设置的三维视觉相机及终端设置的焊接系统，控制多自由度机器人的控制器和上位机；焊接方法包含以下步骤：(一)、标定焊接和三维视觉两个系统与机器人坐标系之间的关系；(二)、导入数模，计算、识别焊缝信息；(三)、规划相机拍照位姿和顺序；(四)、生成机器人焊接程序；(五)、对齐工件坐标系和机器人坐标系；(六)实施焊接；本发明针对大型的结构件，利用3D视觉技术，通过三维视觉系统进行在线自动编程、自动识别、自动寻位，以实现大型结构件自动化焊接。

Description

一种基于三维视觉的大型结构件自动化焊接系统及方法

技术领域

本发明涉及工业自动化和机器视技术领域，特别涉及一种基于三维视觉的大型结构件自动化焊接系统及方法，利用三维视觉技术和机器人技术结合完成大型结构件自动化焊接。

背景技术

在大型结构件的自动化焊接中，特别是小品种多批量的焊接任务中，存在两个问题：机器人编程和焊缝的寻位。对于机器人编程，通常使用现场示教编程和离线编程的方法实现。示教编程使用实际工件作为对象，由操作人员通过示教盒控制机械手工具末端到达指定的姿态和位置，记录机器人位姿数据并编写机器人运动指令，完成机器人在正常加工中的轨迹规划、位姿等关节数据信息的采集、记录。该方法具有直观、适应性好，但是繁琐，而且无法实现自动化。机器人离线编程则是利用计算机图形学的成果，通过对工作单元进行三维建模，在仿真环境中建立与现实工作环境对应的场景，采用规划算法对图形进行控制和操作，在不使用实际机器人的情况下进行轨迹规划，进而产生机器人程序，其流程是，首先建立工件的CAD模型，以及机器人和工件之间的几何位置关系，然后根据特定的工艺进行轨迹规划和离线编程仿真，确认无误后下载到机器人控制中执行。离线编程可以脱离工业现场，在办公室中完成编程的全部工作，但是由于设置繁琐、对操作人员的技能要求较高，而且软件价格昂贵，其使用范围并不广泛。工件往往由于加工、组队过程中引入的误差，使得工件中一致性总是存在一定的误差，这也使得实际焊缝的位置和姿态相对于机器人坐标系总是存在一定的误差，这个误差在大型结构件的焊接中尤为明显，这使得机器人焊接程序直接使用，从而需要引入寻位装置和方法，对焊缝具体的位置进行修正。常用的寻位方式有：(1)焊丝和电弧法，通过预先编制的机器人程序，通过机器人接近工件时的电流和电压信号，判断机器人和工件之间的相对关系，进而近似计算出焊缝的位置。(2)激光寻位，通过使用机器人带动线或者点激光对工件进行扫描，然后利用所得到的目标点的空间位置，通过多个采样点的位置，计算出焊缝的位置。在上述方法中，都需要复杂寻位编程，并且效率低下，而且对于复杂的焊缝形式或者偏差较大的情况，这两种方法均会失效。

CN112958959A公开了一种基于三维视觉的自动化焊接和检测方法，完成机器人焊接应用中的找正、寻位、检测多道工序；CN112958974A公开了一种基于三维视觉的可交互自动化焊接系统，使用三维视觉结合交互系统，将在线编程或者现场示教的过程，改变为基于图像交互的自动化焊接系统。但是这两个专利申请都不能实现大型结构件的自动化焊接。

发明内容

为了克服上述现有技术的缺陷，本发明的目的在于提供一种基于三维视觉的大型结构件自动化焊接系统及方法，针对大型结构件，利用3D视觉技术，通过三维视觉系统进行在线自动编程、自动识别、自动寻位，以实现大型结构件自动化焊接。

为了达到上述目的，本发明的技术方案为：

一种基于三维视觉的大型结构件自动化焊接系统，包括多自由度机器人6，多自由度机器人6前端设置的三维视觉相机5及终端设置的焊接系统4，控制多自由度机器人6的控制器7和上位机8；

所述的焊接系统4包含了焊机11和焊枪15，焊枪15通过法兰和多自由度机器人6的轴相连接，三维视觉相机5通过转接板装夹在焊枪15上，三维视觉相机5的光轴和焊枪15的末端方向在同一个平面内，其安装夹角在±90°内。

多自由度机器人6通过底座连接在外部轴2上。

所述的多自由度机器人6为用于搭载、调整三维视觉相机5和焊枪15位置、姿态的执行机构，其为多轴工业机器人系统。

所述的三维视觉相机5测量精度不低于0.5mm，深度图帧速率大于1帧每秒，峰值功耗低于20瓦特，体积小于0.0005立方米，重量低于1kg。

所述的外部轴2为1-6个轴，外部轴2包括用于扩展机器人的行程地轨14，多自由度机器人6的底座通过滑台13安装在外部轴2的地轨14上。

所述的上位机8中有三维建模软件平台，分别标定多自由度机器人6和焊接系统4的工具坐标系转换关系，以及多自由度机器人6和三维视觉相机5之间的坐标关系，两个标定过程没有先后顺序关系，具体为：

首先，确保三维视觉相机5本身是进行标定过的，能够获取相机的内参；

其次，对焊接系统4和多自由度机器人6标定：将焊接系统4的焊枪15使用多自由度机器人6引导到固定的空间点，变换自由度机器人6的位置和姿态，同时保证焊枪15的末端空间坐标不变，多次进行上述操作后，计算出焊接系统4末端的焊枪15坐标在自由度机器人6系统坐标系中的位姿转换关系^toolT_base；

然后，进行三维视觉相机5和多自由度机器人6标定，定义多自由度机器人6的末端到底座的齐次变换矩阵为^robotT_base，三维视觉相机5坐标系到目标物体工件坐标系的变换矩阵为^camT_obj，，使用多自由度机器人6挂载三维视觉相机5，拍摄坐标点已知的标定板，记录多自由度机器人6的位置和姿态；保持标定板不动，多次改变机器人的位置和姿态，拍摄标定板，其中不同的两次拍摄可表示为：

^robot1T_base·^cam1T_robot1·^objT_cam1＝^robot2T_base·^cam2T_robot2·^objT_cam2

由于三维视觉相机5与多自由度机器人6的末端之间的坐标关系不变，即：

^cam1T_robot1＝^cam2T_robot2＝^camT_robot，

有：

(^robot2T^-1 _base·^robot1T_base)·^camT_robot＝^camT_robot·(^objT_cam2·^objT^-1 _cam1) (1)

通过多次拍摄，求解上述方程，得到三维视觉相机5和多自由度机器人6的坐标变换关系^camT_robot；

三维视觉相机5手眼转换关系^camT_tool为：

最后，进行闭环控制，得到三维视觉相机5和焊枪15末端的工具坐标系的转换关系，使用焊枪15末端碰触标定板中已知的位置点，得到其在多自由度机器人6工具坐标系下的位置P′(x，y，z)，使用三维视觉相机5拍摄标定板，从而得到上述已知位置点在三维视觉相机5坐标系中的位置P″(x，y，z)。将表征P′(x，y，z)和P″(x，y，z)空间距离的下式能量方程P代入上述的优化过程方程(1)中，以方程(2)求得^camT_tool为初值，进一步闭环迭代求解，求出最优化的手眼转换矩阵^camT_tool：

能量方程如下：

P＝|P₁′(x，y，z)P₁″(x，y，z)|+|P₂′(x，y，z)P₂″(x，y，z)|+...

其中，|P₁′(x，y，z)P₁″(x，y，z)|表点P₁′(x，y，z)到P₁″(x，y，z)的欧式距离，下标表示多个位置点。

所述的三维视觉相机5应满足下列要求：

(1)三维视觉相机5的朝向与当前拍照的区域的法线和大致平行，大致平行的定义是两者夹角在±5°；

(2)三维视觉相机5的视场应通过尽量少的拍照次数覆盖全一个焊缝组合；

(3)对于对接焊缝和搭接焊缝，拍摄位置平行于对接平面的法线；

(4)拍摄顺序，使用焊缝的中心点的坐标按X，Y，Z的优先顺序进行确定，其他顺序包含：XZY，YXZ，YZX，ZXY，XYX。

根据上述一种基于三维视觉的大型结构件自动化焊接系统的焊接方法，包含以下步骤：

(一)标定焊接和三维视觉两个系统与机器人坐标系之间的关系；

(二)导入数模，计算、识别焊缝信息；

(三)规划相机拍照位姿和顺序；

(四)生成机器人焊接程序；

(五)对齐工件坐标系和机器人坐标系；

(六)实施焊接。

所述步骤(一)，分别标定多自由度机器人6和焊接系统4的工具坐标系转换关系，以及多自由度机器人6和三维视觉相机5之间的坐标关系，两个标定过程没有先后顺序关系，具体为：

首先，确保三维视觉相机5本身是进行标定过的，获取相机的内参，内参包含但不限于：焦距、主点位置、像素大小、分辨率、畸变参数；

其次，焊接系统4和多自由度机器人6的标定：将焊接系统4的焊枪15使用多自由度机器人6引导到固定的空间点，变换自由度机器人6的位置和姿态，同时保证焊枪15的末端空间坐标不变，多次进行上述操作后，计算出焊接系统4末端的焊枪15坐标在自由度机器人6系统坐标系中的位姿转换关系^toolT_base；

然后，进行三维视觉相机5和多自由度机器人6标定，定义多自由度机器人6的末端到底座的齐次变换矩阵为^robotT_base，三维视觉相机5坐标系到目标物体工件坐标系的变换矩阵为^camT_obj，，使用多自由度机器人6挂载三维视觉相机5，拍摄坐标点已知的标定板，记录多自由度机器人6的位置和姿态；保持标定板不动，多次改变机器人的位置和姿态，拍摄标定板，其中不同的两次拍摄可表示为：

^robot1T_base·^cam1T_robot1·^objT_cam1＝^robot2T_base·^cam2T_robot2·^objT_cam2

由于三维视觉相机5与多自由度机器人6的末端之间的坐标关系不变，即：

^cam1T_robot1＝^cam2T_robot2＝^camT_robot，

有：

(^robot2T^-1 _base·^robot1T_base)·^camT_robot＝^camT_robot·(^objT_cam2·^objT^-1 _cam1) (1)

通过多次拍摄，求解上述方程，得到三维视觉相机5和多自由度机器人6的坐标变换关系^camT_robot；

三维视觉相机5手眼转换关系^camT_tool为：

最后，进行闭环控制，得到三维视觉相机5和焊枪15末端的工具坐标系的转换关系，使用焊枪15末端碰触标定板中已知的位置点，得到其在多自由度机器人6工具坐标系下的位置P′(x，y，z)，使用三维视觉相机5拍摄标定板，从而得到上述已知位置点在三维视觉相机5坐标系中的位置P″(x，y，z)，将表征P′(x，y，z)和P″(x，y，z)空间距离的下式能量方程P代入上述的优化过程方程(1)中，以方程(2)求得^camT_tool为初值，进一步闭环迭代求解，求出最优化的手眼转换矩阵^camT_tool。

能量方程如下：

P＝|P₁′(x，y，z)P₁″(x，y，z)|+|P₂′(x，y，z)P₂″(x，y，z)|+...

其中，|P₁′(x，y，z)P₁″(x，y，z)|表点P₁′(x，y，z)到P₁″(x，y，z)的欧式距离，下标表示多个位置点。

所述步骤(二)中，包含以下步骤：

在三维建模软件平台中进行计算，计算焊缝得到自动化得到焊缝的位置、起末点，以及焊缝与焊缝之间的拓扑关系，还包括识别出焊缝的类型；其中焊缝位置和起末点空间坐标均为工件坐标系下的坐标，焊缝的类型包括但不限于：搭接、对接、两面内角接、两面外角接、三面角焊缝、四面角接、以及上述类型的组合形式；

所述的识别焊缝过程，首先利用焊缝之间的拓扑关系对焊缝进行分组，有连接关系的焊缝作为一个焊缝单元，对于一个焊缝单元：U(N，V(v₁，v₂，v₃，v₄))；其中N表示焊缝的数量，V(v₁，v₂，v₃，v₄)表示至多4个面的法向量的组合；使用分类方法支持向量机对U进行分类从而完成识别，分类方法包含但不限于使用随机森林、分类树、神经网络实现对U的分类。

所述步骤(三)具体为：

需要根据步骤(二)中的识别得到的焊缝类型、位置、起末点参数，结合三维视觉相机5的参数，计算出相机的拍照位置和姿态，以及拍照位的过渡点。

三维视觉相机5的参数包括工作距离、视场角，工作时应满足下列要求：

(1)在三维视觉相机5的工作距离范围内；

(2)三维视觉相机5的朝向与当前拍照的区域的法线和大致平行，大致平行的定义是两者夹角在±5°；

(3)三维视觉相机5的视场通过尽量少的拍照次数覆盖全一个焊缝组合；

(4)对拍照位置进行迭代优化。对于对接焊缝和搭接焊缝，拍摄位置平行于对接平面的法线；

(5)拍摄顺序，使用焊缝的中心点的坐标按X，Y，Z的优先顺序进行确定，其他顺序包含：XZY，YXZ，YZX，ZXY，XYX。

所述步骤(四)中，所述的生成的机器人焊接程序在上位机8中，包括，多自由度机器人6和三维视觉相机5的通讯程序，消息的解析程序，三维视觉相机5拍照位置和姿态，过渡点，以及对应拍照位置处请求的焊接类型。

所生成的机器人程序需按照所使用的机器人品牌的语法规则进行实现。

所述步骤(五)，使用三维视觉相机拍摄结构件的局部点云，从而将实际结构件的工件坐标系和多自由度机器人6坐标系统一起来；或者使用焊接系统4的焊枪15末端触碰结构件上若干个指定的特征点，从而完成将工件坐标系和多自由度机器人6坐标系的对齐。

所述步骤(六)中，首先需要将生成的机器人程序下发到多自由度机器人6的控制器7；在运行的过程中，多自由度机器人6首先到达第一个拍照点，按照计算得到的拍照位和姿态和顺序，搭载三维视觉相机5拍照；拍照完成后将点云数据和焊缝类型发送到上位机8进行处理，并使用手眼矩阵，将焊缝的坐标转换到机器人坐标系统下；经过上位机8处理得到的焊缝实际坐标信息后，将信息下发给控制器7；控制器7中的机器人程序，根据返回的坐标信息，以及焊缝类型，调取相应的焊接程序，在完成一次焊接后，运动到下一个拍照点，进行新的循环；直到完成全部的焊接任务。

本发明针对大型结构件，尺度大、一致性差的特点，使用三维视觉技术，打通结构件的数据链，高效地实现了从设计数据到焊接加工的自动化；带来的有益效果是：

(1)实现了大型结构件从设计模型到加工焊接的全流程自动化。传统的离线编程方法，难以实现全流程的自动化。首先，无法自动化的识别焊缝，需要复杂的手动交互、设置；其次，由于工件尺度大、一致性差，离线编程生成的程序无法直接使用，需要结合复杂的编程实现焊缝的寻位，以便进行纠偏才能实现焊接，而且难以适应小批量多品种的使用场景。

(2)本发明使用三维视觉进行识别寻位，可以很好适应大型结构件的焊接场景。大型结构件，由于尺度大，本身一致性差，而且机器人在进行大尺度的空间绝对定位精度也会下降，这都增加焊缝定位的困难，本发明可以有效的解决这个问题。

(3)本发明实现了大型结构件的多品种小批量焊接，相比于当前普遍的人工焊接手段，有利于节省人力，提供生产效率，提升焊接质量。

附图说明

图1是大型结构件的自动化焊接系统结构示意图。

图2是三维视觉机器人焊接系统1的结构示意图。

图3焊接系统4的结构示意图。

图4是大型结构件3的结构示意图。

具体实施方式

下面结合附图对本发明做详细叙述。

本发明旨在使用三维视觉技术和机器人技术，实现大型结构件焊接过程中的自动编程、自动识别、自动寻位，以实现全流程的自动化。为了实现该目的，本发明给出如下示例技术方案：

参照图1、图2，一种基于三维视觉的大型结构件自动化焊接系统，包括多自由度机器人6，多自由度机器人6前端设置的三维视觉相机5及终端设置的焊接系统4，控制多自由度机器人6的控制器7和上位机8。

参照图3、图4，所述的焊接系统4，包含了焊机11和焊枪15，焊枪15通过法兰和多自由度机器人6的轴相连接，三维视觉相机5通过转接板装夹在焊枪15上，三维视觉相机5的光轴和焊枪15的末端方向在同一个平面内，其安装夹角在±90°内；多自由度机器人6通过底座连接在外部轴2上。

所述的多自由度机器人6为用于搭载、调整三维视觉相机5和焊枪15位置、姿态的执行机构，其为多轴工业机器人系统。

所述的三维视觉相机5测量精度不低于0.5mm，深度图帧速率大于1帧每秒，峰值功耗低于20瓦特、体积小于0.0005立方米、重量低于1kg。

所述的外部轴2为1-6个轴，外部轴2包括用于扩展机器人的行程地轨14，多自由度机器人6的底座通过滑台13安装在外部轴2的地轨14上。

所述的上位机8中有三维建模软件平台，分别标定多自由度机器人6和焊接系统4的工具坐标系转换关系，以及多自由度机器人6和三维视觉相机5之间的坐标关系，两个标定过程没有先后顺序关系，具体为：

首先，确保三维视觉相机5本身是进行标定过的，能够获取相机的内参，内参包含但不限于：焦距、主点位置、像素大小、分辨率、畸变参数；

其次，对焊接系统4和多自由度机器人6标定：将焊接系统4的焊枪15使用多自由度机器人6引导到固定的空间点，变换自由度机器人6的位置和姿态，同时保证焊枪15的末端空间坐标不变，多次进行上述操作后，计算出焊接系统4末端的焊枪15坐标在自由度机器人6系统坐标系中的位姿转换关系^toolT_base；

然后，进行三维视觉相机5和多自由度机器人6标定，定义多自由度机器人6的末端到底座的齐次变换矩阵为^robotT_base，三维视觉相机5坐标系到目标物体工件坐标系的变换矩阵为^camT_obj，，使用多自由度机器人6挂载三维视觉相机5，拍摄坐标点已知的标定板，记录多自由度机器人6的位置和姿态；保持标定板不动，多次改变机器人的位置和姿态，拍摄标定板，其中不同的两次拍摄可表示为：

^robot1T_base·^cam1T_robot1·^objT_cam1＝^robot2T_base·^cam2T_robot2·^objT_cam2

由于三维视觉相机5与多自由度机器人6的末端之间的坐标关系不变，即：

^cam1T_robot1＝^cam2T_robot2＝^camT_robot，

有：

(^robot2T^-1 _base·^robot1T_base)·^camT_robot＝^camT_robot·(^objT_cam2·^objT^-1 _cam1) (1)

通过多次拍摄，求解上述方程，得到三维视觉相机5和多自由度机器人6的坐标变换关系^camT_robot；

三维视觉相机5手眼转换关系^camT_tool为：

最后，进行闭环控制，得到三维视觉相机5和焊枪15末端的工具坐标系的转换关系，使用焊枪15末端碰触标定板中已知的位置点，得到其在多自由度机器人6工具坐标系下的位置P′(x，y，z)，使用三维视觉相机5拍摄标定板，从而得到上述已知位置点在三维视觉相机5坐标系中的位置P″(x，y，z)，将表征P′(x，y，z)和P″(x，y，z)空间距离的下式能量方程P代入上述的优化过程方程(1)中，以方程(2)求得^camT_tool为初值，进一步闭环迭代求解，求出最优化的手眼转换矩阵^camT_tool：

能量方程如下：

P＝|P₁′(x，y，z)P₁″(x，y，z)|+|P₂′(x，y，z)P₂″(x，y，z)|+...

其中，|P₁′(x，y，z)P₁″(x，y，z)|表点P₁′(x，y，z)到P₁″(x，y，z)的欧式距离，下标表示多个位置点。

所述的三维视觉相机5应满足下列要求：

(1)三维视觉相机5的朝向与当前拍照的区域的法线和大致平行，大致平行的定义是两者夹角在±5°；

(2)三维视觉相机5的视场应通过尽量少的拍照次数覆盖全一个焊缝组合；

(3)对于对接焊缝和搭接焊缝，拍摄位置平行于对接平面的法线；

(4)拍摄顺序，使用焊缝的中心点的坐标按X，Y，Z的优先顺序进行确定，其他顺序包含：XZY，YXZ，YZX，ZXY，XYX。

根据上述一种基于三维视觉的大型结构件自动化焊接系统的焊接方法，包含以下步骤：

(一)、标定焊接和三维视觉两个系统与机器人坐标系之间的关系；

(二)、导入数模，计算、识别焊缝信息；

(三)、规划相机拍照位姿和顺序；

(四)、生成机器人焊接程序；

(五)、对齐工件坐标系和机器人坐标系；

(六)实施焊接。

参照图1、图4，先建立大型结构件的自动化焊接系统，将三维视觉机器人焊接系统1在外部轴2上活动连接，以实现对大型结构件3的焊接。

参照图2，其中，三维视觉机器人焊接系统1包括多自由度机器人6，多自由度机器人6前端设置的三维视觉相机5及终端设置的焊接系统4，控制多自由度机器人6的控制器7和上位机8。

参照图3，所述的焊接系统4，包含了焊机11和焊枪15，焊枪15通过法兰和多自由度机器人6的第六轴相连接，三维视觉相机5通过转接板装夹在焊枪15上，两者之间的通过机械结构固连，以保证两者之间的相对位置不会因为冷热、振动等发生变化。维视觉相机5的光轴和焊枪15的末端方向在同一个平面内，其安装夹角在±90°内。多自由度机器人6通过底座连接在外部轴2上。

焊接系统4还包括了必要的其他部件用于完成完整的焊接工艺。其他必要的部件包含但不限于送丝机10、水箱12，以及保护气体及储存装置、空气压缩机，用于完成完整的焊接工艺。

所述多自由度机器人6用于搭载、调整三维视觉相机5和焊枪15位置、姿态的执行机构，其为多轴工业机器人系统。

所述三维视觉相机5用于获取待焊接工件的三维特征信息，其是一个高精度3D相机，所述高精度指的是测量精度不低于0.5mm，深度图帧速率大于1帧每秒，峰值功耗低于20瓦特、体积小于0.0005立方米、重量低于1kg，以便将3D相机挂载在机器人的第六轴上。

所述3D相机是低功耗、小体积、低重量的3D相机。所述3D相机和焊接执行机构，如焊枪，同时挂载在机器人的末端。本方案使用低功耗、小体积、低重量的3D相机，以便实现上述安装方式，从而实现相机和视野范围和焊枪工作范围相重叠的目标，所带来的有益效果是提升了整个系统的工作范围，提高了相机拍摄角度的自由度，提高了从拍照到焊接的反应速度，以适应大型复杂结构件的拍摄、焊接。

所述三维视觉相机5选择激光作为光源，以提高抗光性。所述3D相机，优选基于MFMS的结构光3D相机，以满足上述特征；上位机用于进行特征计算和控制程序的生成，本方案选用具有高可靠性的工业计算机；

所述的外部轴2用于扩展机器人的工作范围，以完成大型结构件的焊接任务，外部轴通常为1到6个轴，外部轴2包含但不限于用于扩展机器人的行程地轨14、龙门、C型支撑，以及和变位机进行的组合。地轨14选用单轴变位机9以扩展工件的自由度。多自由度机器人6通过滑台13安装在地轨14上。

典型大型结构件如图3所示，其在焊接之前已经完成了组队和点焊。组队和点焊的方式是机器人自动化完成或者人工完成。

所述步骤(一)，分别标定多自由度机器人6和焊接系统4的工具坐标系转换关系，以及多自由度机器人6和三维视觉相机5之间的坐标关系，两个标定过程没有先后顺序关系。以便将焊接系统的工具坐标系和三维视觉系统的坐标系都统一到一个坐标系中。具体为：

首先，确保三维视觉相机5本身是进行标定过的，并且可以获取相机的内参，内参包含但不限于：焦距、主点位置、像素大小、分辨率、畸变参数。

其次，焊接系统4和多自由度机器人6的标定：将焊接系统4的焊枪15使用机器人引导到固定的空间点(一种优选的方案是，使用一个固定的尖端作为参考点)，变换自由度机器人6的位置和姿态，同时保证焊枪15的末端空间坐标不变(始终对准固定的尖端)，多次进行上述操作后，计算出焊接系统4末端的焊枪15坐标在自由度机器人6系统坐标系中的位姿转换关系^toolT_base。

然后，进行三维视觉相机5和多自由度机器人6标定，定义多自由度机器人6的末端到底座的齐次变换矩阵为^robotT_base，三维视觉相机5到目标物体工件坐标系的变换矩阵为^camT_obj，使用多自由度机器人6挂载三维视觉相机5，拍摄坐标点已知的标定板，记录多自由度机器人6的位置和姿态；保持标定板不动，多次改变机器人的位置和姿态，拍摄标定板，其中不同的两次拍摄可表示为：

^robot1T_base·^cam1T_robot1·^objT_cam1＝^robot2T_base·^cam2T_robot2·^objT_cam2

由于三维视觉相机5与多自由度机器人6的末端之间的坐标关系不变，即：

^cam1T_robot1＝^cam2T_robot2＝^camT_robot，

有：

(^robot2T^-1 _base·^robot1T_base)·^camT_robot＝^camT_robot·(^objT_cam2·^objT^-1 _cam1) (1)

通过多次拍摄，求解上述方程，得到三维视觉相机5和多自由度机器人6的坐标变换关系^camT_robot。

三维视觉相机5手眼转换关系^camT_tool为：

最后，进行闭环控制，得到三维视觉相机5和焊枪15末端的工具坐标系的转换关系，优选地，增加以下流程，提高标定精度。使用焊枪15末端碰触标定板中已知的位置点，得到其在多自由度机器人6工具坐标系下的位置P′(x，y，z)，使用三维视觉相机5拍摄标定板，从而得到上述已知位置点在三维视觉相机5坐标系中的位置P″(x，y，z)。将表征P′(x，y，z)和P″(x，y，z)空间距离的下式能量方程P代入上述的优化过程方程(1)中，以方程(2)求得^camT_tool为初值，进一步闭环迭代求解，求出最优化的手眼转换矩阵^camT_tool；下述的手眼转换矩阵，均为本步骤得到的最优的^camT_tool，无论是否使用闭环控制优化，能量方程如下：

P＝|P₁′(x，y，z)P₁″(x，y，z)|+|P₂′(x，y，z)P₂″(x，y，z)|+...(1)

其中，|P₁′(x，y，z)P₁″(x，y，z)|表点P₁′(x，y，z)到P₁″(x，y，z)的欧式距离，下标表示多个位置点。

所述步骤(二)中，包含以下步骤：

在通用或者专用的三维建模软件平台中进行计算，也可以在第三方软件平台中实现。专用建模软件平台包含但不限于Solidworks，Pro/E，UG，CATIA，以及使用或者不使用这些软件内核的其他软件，第三方软件包含但不限于钢结构领域的软件Tekla。只要进行二次开发以实现自动创建焊缝的功能。具体的自动焊缝创建方法是：

(1)创建焊缝。首先找到所有组件中的平面，求取相交线；然后判断交线是否在实体上，通过实体的边界，确定焊缝，即相交线段。计算焊缝过程的目标是得到自动化得到焊缝的位置、起末点，其中焊缝位置和起末点空间坐标均为工件坐标系下的坐标。

(2)对焊缝进行分组。焊缝所在直线相交，交点距离焊缝端点距离小于阈值TH的，既认为是一组焊缝。TH的取值根据具体情况取经验值。焊缝的分组目的是为了获取焊缝之间的拓扑关系，为确定拍照位做准备。

(3)识别焊缝组的类型。焊缝的类型包括但不限于：搭接、对接、两面内角接、两面外角接、三面角焊缝、四面角接、以及上述类型的组合形式。

所述的识别焊缝过程，首先利用焊缝之间的拓扑关系对焊缝进行分组，有连接关系的焊缝作为一个焊缝单元，对于一个焊缝单元：U(N，V(v₁，v₂，v₃，v₄))；其中N表示焊缝的数量，V(v₁，v₂，v₃，v₄)表示至多4个面的法向量的组合；使用分类方法支持向量机对U进行分类从而完成识别。本发明的其他实施方案中，分类方法包含但不限于使用随机森林、分类树、神经网络实现对U的分类。

所述步骤(三)具体为：

需要根据步骤(二)中的识别得到的焊缝类型、位置、起末点参数，结合三维视觉相机5的参数，计算出相机的拍照位置和姿态和顺序，以及拍照位的过渡点，以使得机器人的运动安全、平顺。

三维视觉相机5的参数包括工作距离、视场角，其工作时满足下列要求：

(1)在三维视觉相机5的工作距离范围内；

(2)三维视觉相机5的朝向(相机光轴)与当前拍照的区域的法线和大致平行，大致平行的定义是两者夹角在±5°；

(3)三维视觉相机5的视场通过尽量少的拍照次数覆盖全一个焊缝组合；

(4)对拍照位置进行迭代优化。对于对接焊缝和搭接焊缝，拍摄位置平行于对接平面的法线；

(5)拍摄顺序，使用焊缝的中心点的坐标按X，Y，Z的优先顺序进行确定，其他顺序包含：XZY，YXZ，YZX，ZXY，XYX。

所述步骤(四)中，所述的生成的机器人焊接程序在上位机8中，包括，多自由度机器人6和三维视觉相机5的通讯程序，消息的解析程序，三维视觉相机5拍照位置和姿态，过渡点，以及对应拍照位置处请求的焊接类型。

所生成的机器人程序满足对应品牌机器人的语法规则、数据格式，可以在对应的品牌机器人上直接运行。

优选地，本发明还可以建立一个焊接专家库，可以根据焊接的材料、板厚、焊缝类型，生成相关的焊接工艺参数。工艺参数包括：焊接姿态，焊接电流，焊接摆弧大小。

本方案的另外一种实施方案中，还可以由人工定义一种或者多种焊接工艺参数，以备生成的机器人程序调用。

所述步骤(五)中，优选使用三维视觉相机拍摄结构件的局部点云，将点云与工件的数模进行配准，得到两者的位姿转换矩阵，从而将实际结构件的工件坐标系和多自由度机器人6坐标系统一起来。

在本发明的另一个实施方案中，或者使用焊接系统4的焊枪15末端触碰结构件上若干个指定的特征点，从而完成将工件坐标系和多自由度机器人6坐标系的对齐。

所述步骤(六)中，首先需要将生成的机器人程序从上位机8下发到多自由度机器人6的控制器7，其方式可以是有线、无线传输，也可以使用存储装置进行拷贝，然后在示教器上运行实施焊接。

在本发明的另一个实施方案中，由上位机通过机器人控制器实时控制机器人进行在线运行。

在运行的过程中，多自由度机器人6首先到达第一个拍照点，按照计算得到的拍照位和姿态，搭载三维视觉相机5拍照；拍照完成后将点云数据和焊缝类型发送到上位机8进行处理，并使用手眼矩阵，将焊缝的坐标转换到机器人坐标系统下；经过上位机8处理得到的焊缝实际坐标信息后，将信息下发给控制器7；控制器7中的机器人程序，根据返回的坐标信息，以及焊缝类型，调取相应的焊接程序，在完成一次焊接后，运动到下一个拍照点，进行新的循环；直到完成全部的焊接任务。

所述的经过上位机8处理得到的焊缝实际坐标信息包括但不限于焊缝的起始点和末点空间坐标、焊缝宽度；空间坐标在使用前需要使用手眼转换矩阵转换到机器人系统坐标系下。

其中提取焊缝信息的一种实施方案如下：

首先对点云进行聚类分割，将杂乱的点云分割成多个区域；然后将各个区域的点云进行平面拟合；再后求取所有拟合平面的交线；最后选取目标线段和射线。

所述的调取相应的焊接程序，包括焊接的机器人轨迹和焊接工艺参数。

在列举若干工具的装置权利要求中，这些工具中的一些可由一个相同的硬件项目实现。相互不同的从属权利要求中叙述或不同的实施方案中描述了特定量度这一事实，并不表示不能使用这些量度的组合以使有点突出。

应强调，在本说明书中使用术语“包括/包含(comprises/comprising)”时，其被理解为规定存在所述的特征、整数、步骤或组分，但不排除存在或添加一个或多个其它特征、整数、步骤、组分或其群组。

上文和下文描述的方法的特征可以软件实施，且可通过执行计算机可执行指令而在数据处理系统或其它处理工具上执行。指令可以是程序代码，其从存储介质或经由计算机网络从另一台计算机载入内存(例如RAM)。或者，所述的特征可由硬连线电路代替软件实现，或由硬连线电路和软件组合实现。

Claims (10)

1.一种基于三维视觉的大型结构件自动化焊接系统，其特征在于，包括多自由度机器人(6)，多自由度机器人(6)终端设置的三维视觉相机(5)及焊接系统(4)，控制多自由度机器人(6)的控制器(7)和上位机(8)；

所述的焊接系统(4)，包含了焊机(11)和焊枪(15)，焊枪(15)通过法兰和多自由度机器人(6)的轴相连接，三维视觉相机(5)通过转接板装夹在焊枪(15)上，三维视觉相机(5)的光轴和焊枪(15)的末端在同一个平面内，其安装夹角在±90°内；

所述的上位机(8)中有三维建模软件平台，分别标定多自由度机器人(6)和焊接系统(4)的工具坐标系转换关系，以及多自由度机器人(6)和三维视觉相机(5)之间的坐标关系，两个标定过程没有先后顺序关系，具体为：

首先，确保三维视觉相机(5)本身是进行标定过的，能够获取相机的内参；

其次，对焊接系统(4)和多自由度机器人(6)标定：将焊接系统(4)的焊枪(15)使用多自由度机器人(6)引导到固定的空间点，变换自由度机器人(6)的位置和姿态，同时保证焊枪(15)的末端空间坐标不变，多次进行上述操作后，计算出焊接系统(4)末端的焊枪(15)坐标在多自由度机器人(6)系统坐标系中的位姿转换关系^toolT_base，相反地多自由度机器人机器人(6)系统坐标系到焊接系统(4)末端的焊枪(15)坐标系的位姿转换关系为^baseT_tool；

然后，进行三维视觉相机(5)和多自由度机器人(6)标定，定义多自由度机器人(6)的末端到底座的齐次变换矩阵为^robotT_base，三维视觉相机(5)坐标系到目标物体工件坐标系的变换矩阵为^camT_obj，^objT_cam表示这个过程的逆过程的坐标系转换矩阵，使用多自由度机器人(6)挂载三维视觉相机(5)，拍摄坐标点已知的标定板，记录多自由度机器人(6)的位置和姿态；保持标定板不动，多次改变机器人的位置和姿态，拍摄标定板，其中不同的两次拍摄可表示为：

^robot1T_base·^cam1T_robot1·^objT_cam1＝^robot2T_base·^cam2T_robot2·^objT_cam2

由于三维视觉相机(5)与多自由度机器人(6)的末端之间的坐标关系不变，即：

^cam1T_robot1＝^cam2T_robot2＝^camT_robot，

有：

(^robot2T^-1 _base·^robot1T_base)·^camT_robot＝^camT_robot·(^objT_cam2·^objT^-1 _cam1) (1)

通过多次拍摄，求解上述方程，得到三维视觉相机(5)和多自由度机器人(6)的坐标变换关系^camT_robot；

三维视觉相机(5)手眼转换关系^camT_tool为：

最后，进行闭环控制，得到三维视觉相机(5)和焊枪(15)末端的工具坐标系的转换关系，使用焊枪(15)末端碰触标定板中已知的位置点，得到其在多自由度机器人(6)工具坐标系下的位置P′(x,y,z)，使用三维视觉相机(5)拍摄标定板，从而得到上述已知位置点在三维视觉相机(5)坐标系中的位置P″(x,y,z)，将表征P′(x,y,z)和P″(x,y,z)空间距离的下式能量方程P代入上述的优化过程方程(1)中，以方程(2)求得^camT_tool为初值，进一步闭环迭代求解，求出最优化的手眼转换矩阵^camT_tool：

能量方程如下：

P＝|P₁′(x,y,z)P₁″(x,y,z)|+|P₂′(x,y,z)P₂″(x,y,z)|+...

其中，|P₁′(x,y,z)P₁″(x,y,z)|表点P₁′(x,y,z)到P₁″(x,y,z)的欧式距离，下标表示多个位置点；

所述的三维视觉相机(5)应满足下列要求：

(1)三维视觉相机(5)的朝向与当前拍照的区域的法线大致平行，大致平行的定义是两者夹角在±5°；

(2)三维视觉相机(5)的视场应通过尽量少的拍照次数覆盖全一个焊缝组合；

(3)对于对接焊缝和搭接焊缝，拍摄位置平行于对接平面的法线；

(4)拍摄顺序，使用焊缝的中心点的坐标按X,Y,Z的优先顺序进行确定，其他顺序包含：XZY，YXZ，YZX，ZXY，XYX。

2.根据权利要求1所述的一种基于三维视觉的大型结构件自动化焊接系统，其特征在于，所述的多自由度机器人(6)为用于搭载、调整三维视觉相机(5)和焊枪(15)位置、姿态的执行机构，其为多轴工业机器人系统。

3.根据权利要求1或2所述的一种基于三维视觉的大型结构件自动化焊接系统，其特征在于，所述的多自由度机器人(6)通过底座连接在外部轴(2)上。

4.根据权利要求3所述的一种基于三维视觉的大型结构件自动化焊接系统，其特征在于，所述的外部轴(2)为1-6个轴，外部轴(2)包括用于扩展机器人的行程地轨(14)，多自由度机器人(6)的底座通过滑台(13)安装在外部轴(2)的地轨(14)上。

5.根据权利要求1所述的一种基于三维视觉的大型结构件自动化焊接系统，其特征在于，所述的三维视觉相机(5)测量精度不低于0.5mm，深度图帧速率大于1帧每秒，峰值功耗低于20瓦特、体积小于0.0005立方米、重量低于1kg。

6.根据权利要求1-5任一所述的一种基于三维视觉的大型结构件自动化焊接系统的焊接方法，其特征在于，包含以下步骤：

(一)标定焊接和三维视觉两个系统与机器人坐标系之间的关系；

(二)导入数模，计算、识别焊缝信息；

(三)规划相机拍照位姿和顺序；

(四)生成机器人焊接程序；

(五)对齐工件坐标系和机器人坐标系；

(六)实施焊接；

所述步骤(一)，分别标定多自由度机器人(6)和焊接系统(4)的工具坐标系转换关系，以及多自由度机器人(6)和三维视觉相机(5)之间的坐标关系，两个标定过程没有先后顺序关系，具体为：

首先，确保三维视觉相机(5)本身是进行标定过的，获取相机的内参，内参包含但不限于：焦距、主点位置、像素大小、分辨率、畸变参数；

其次，焊接系统(4)和多自由度机器人(6)的标定：将焊接系统(4)的焊枪(15)使用多自由度机器人(6)引导到固定的空间点，变换自由度机器人(6)的位置和姿态，同时保证焊枪(15)的末端空间坐标不变，多次进行上述操作后，计算出焊接系统(4)末端的焊枪(15)坐标在多自由度机器人(6)系统坐标系中的位姿转换关系^toolT_base；相反地多自由度机器人机器人(6)系统坐标系到焊接系统(4)末端的焊枪(15)坐标系的位姿转换关系为^baseT_tool；

然后，进行三维视觉相机(5)和多自由度机器人(6)标定，定义多自由度机器人(6)的末端到底座的齐次变换矩阵为^robotT_base，三维视觉相机(5)坐标系到目标物体工件坐标系的变换矩阵为^camT_obj，^objT_cam表示这个过程的逆过程的坐标系转换矩阵，使用多自由度机器人(6)挂载三维视觉相机(5)，拍摄坐标点已知的标定板，记录多自由度机器人(6)的位置和姿态；保持标定板不动，多次改变机器人的位置和姿态，拍摄标定板，其中不同的两次拍摄可表示为：

^robot1T_base·^cam1T_robot1·^objT_cam1＝^robot2T_base·^cam2T_robot2·^objT_cam2

由于三维视觉相机(5)与多自由度机器人(6)的末端之间的坐标关系不变，即：

^cam1T_robot1＝^cam2T_robot2＝^camT_robot，

有：

(^robot2T^-1 _base·^robot1T_base)·^camT_robot＝^camT_robot·(^objT_cam2·^objT^-1 _cam1) (1)

通过多次拍摄，求解上述方程，得到三维视觉相机(5)和多自由度机器人(6)的坐标变换关系^camT_robot；

三维视觉相机(5)手眼转换关系^camT_tool为：

最后，进行闭环控制，得到三维视觉相机(5)和焊枪(15)末端的工具坐标系的转换关系，使用焊枪(15)末端碰触标定板中已知的位置点，得到其在多自由度机器人(6)工具坐标系下的位置P′(x,y,z)，使用三维视觉相机(5)拍摄标定板，从而得到上述已知位置点在三维视觉相机(5)坐标系中的位置P″(x,y,z)；将表征P′(x,y,z)和P″(x,y,z)空间距离的下式能量方程P代入上述的优化过程方程(1)中，以方程(2)求得^camT_tool为初值，进一步闭环迭代求解，求出最优化的手眼转换矩阵^camT_tool；

能量方程如下：

P＝|P₁′(x,y,z)P₁″(x,y,z)|+|P₂′(x,y,z)P₂″(x,y,z)|+...

其中，|P₁′(x,y,z)P₁″(x,y,z)|表点P₁′(x,y,z)到P₁″(x,y,z)的欧式距离，下标表示多个位置点；

所述步骤(三)具体为：

根据步骤(二)中的识别得到的焊缝类型、位置、起末点参数，结合三维视觉相机(5)的参数，计算出相机的拍照位置和姿态，以及拍照位的过渡点；

三维视觉相机(5)的参数包括工作距离、视场角，工作时应满足下列要求：

(1)在三维视觉相机(5)的工作距离范围内；

(2)三维视觉相机(5)的朝向与当前拍照的区域的法线大致平行，大致平行的定义是两者夹角在±5°；

(3)三维视觉相机(5)的视场通过尽量少的拍照次数覆盖全一个焊缝组合；

(4)对拍照位置进行迭代优化；对于对接焊缝和搭接焊缝，拍摄位置平行于对接平面的法线；

(5)拍摄顺序，使用焊缝的中心点的坐标按X,Y,Z的优先顺序进行确定，其他顺序包含：XZY，YXZ，YZX，ZXY，XYX。

7.根据权利要求6所述的焊接方法，其特征在于，所述步骤(二)中，包含以下步骤：

在三维建模软件平台中进行计算，得到焊缝的位置、起末点，以及焊缝与焊缝之间的拓扑关系，还包括识别出焊缝的类型；其中焊缝位置和起末点空间坐标均为工件坐标系下的坐标，焊缝的类型包括但不限于：搭接、对接、两面内角接、两面外角接、三面角焊缝、四面角接、以及上述类型的组合形式；

所述的识别焊缝过程，首先利用焊缝之间的拓扑关系对焊缝进行分组，有连接关系的焊缝作为一个焊缝单元，对于一个焊缝单元：U(N,V(v₁,v₂,v₃,v₄))；其中N表示焊缝的数量，V(v₁,v₂,v₃,v₄)表示至多4个面的法向量的组合；使用分类方法支持向量机对U进行分类从而完成识别，分类方法包含但不限于使用随机森林、分类树、神经网络实现对U的分类。

8.根据权利要求6所述的焊接方法，其特征在于，所述步骤(四)中，所述的生成的机器人焊接程序在上位机(8)中，包括，多自由度机器人(6)和三维视觉相机(5)的通讯程序，消息的解析程序，三维视觉相机(5)拍照位置和姿态，过渡点，以及对应拍照位置处请求的焊接类型；

所生成的机器人程序需按照所使用的机器人品牌的语法规则进行实现。

9.根据权利要求6所述的焊接方法，其特征在于，所述步骤(五)，使用三维视觉相机拍摄结构件的局部点云，从而将实际结构件的工件坐标系和多自由度机器人(6)坐标系统一起来；或者使用焊接系统(4)的焊枪(15)末端触碰结构件上若干个指定的特征点，从而完成将工件坐标系和多自由度机器人(6)坐标系的对齐。

10.根据权利要求6所述的焊接方法，其特征在于，所述步骤(六)中，首先需要将生成的机器人程序下发到多自由度机器人(6)的控制器(7)；在运行的过程中，多自由度机器人(6)首先到达第一个拍照点，按照计算得到的拍照位和姿态和顺序，搭载三维视觉相机(5)拍照；拍照完成后将点云数据和焊缝类型发送到上位机(8)进行处理，并使用手眼矩阵，将焊缝的坐标转换到机器人坐标系统下；经过上位机(8)处理得到的焊缝实际坐标信息后，将信息下发给控制器(7)；控制器(7)中的机器人程序，根据返回的坐标信息，以及焊缝类型，调取相应的焊接程序，在完成一次焊接后，运动到下一个拍照点，进行新的循环；直到完成全部的焊接任务。