CN111014995A - 非标非结构化作业环境的机器人焊接方法及系统 - Google Patents

Abstract

本发明提供一种非标非结构化作业环境的机器人焊接方法及系统，该方法包括：采集待焊接的焊接件图像信息；基于图像信息进行三维重构，获取焊接件的三维图像；拾取三维图像中的焊接件的多个特征点形成相应的特征点集；依据三维图像中焊接件设置焊接工艺参数；基于特征点集和焊接工艺参数进行路径规划生成焊接路径，焊接路径为机器人有效六维位姿序列；机器人控制设备根据接收的六维位姿序列控制机器人逐点施焊。基于三维重构及人机交互的方式实现空间定位与路径规划，可以针对非标非结构作业环境下的焊接动作进行灵活调整与控制，不涉及繁琐的示教编程，大大降低劳动强度、减轻身体伤害、提高生产效率。

Description

非标非结构化作业环境的机器人焊接方法及系统

技术领域

本发明涉及焊接技术领域，特别是涉及一种非标非结构化作业环境的机器人焊接方法及系统。

背景技术

传统人工焊接操作面临劳动强度大、身体危害大、焊接稳定性低等多重问题，由此机器人焊接技术已受到广泛关注与应用。

然而，目前机器人焊接主要应用于生产大批量标准件的结构化作业环境，工件单一、工装齐全、位置固定，机器人仅需一次示教编程，即可完成焊接件的空间定位及焊接路径规划，并反复应用于所有同类型产品的自动化焊接。相对而言，小批量非标非结构化作业环境的制造线中，工装缺乏、产品多样，传统的机器人示教编程将异常繁琐，需要寻求一种更简洁的焊件空间定位及路径规划方法，以实现编程自动化。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种非标非结构化作业环境的机器人焊接方法及系统，在三维重建的基础上增加人机交互，解决现有技术中机器人焊接操作空间定位与路径规划缺乏灵活性的问题，从而路径规划结果更加符合实际需求。

为实现上述目的及其他相关目的，本申请的第一方面，本发明提供一种非标非结构化作业环境的机器人焊接方法，包括：

步骤1，采集待焊接的焊接件图像信息；

步骤2，基于所述图像信息进行三维重构，获取所述焊接件的三维图像；

步骤3，拾取所述三维图像中的焊接件的多个特征点形成相应的特征点集；

步骤4，依据所述三维图像中焊接件设置焊接工艺参数；

步骤5，基于所述特征点集和焊接工艺参数进行路径规划生成焊接路径，所述焊接路径为机器人有效六维位姿序列；

步骤6，机器人控制设备根据接收的所述六维位姿序列控制机器人逐点施焊。

本发明的另一目的还在于提供一种非标非结构化作业环境的机器人焊接系统，包括：

图像采集模块，用于采集待焊接的焊接件图像信息；

焊接执行模块，其包含机器人、控制设备与焊机，所述控制设备用于根据上位机的控制指令调整机器人的运动轨迹以及控制焊机的工作状态；

所述上位机，其分别与所述图像采集模块、所述焊接执行模块相连，用于运行计算机程序，所述程序进一步包括：

信息接收程序，其配置为接收来自图像采集模块的图像信息；

图像处理程序，其配置为基于所述图像信息进行三维重构，获取焊接件的三维图像；

人机交互程序，其配置为显示三维图像、拾取的特征点集及焊接参数输入界面，根据操作者在所述三维图像中拾取焊接件的多个特征点形成相应的特征点集，并依据所述三维图像中焊接件设置焊接工艺参数；

路径规划程序，其配置为基于所述特征点集和焊接工艺参数进行路径规划生成焊接路径，所述焊接路径为机器人有效六维位姿序列；

信息发送程序，其配置为向所述控制设备发送所述焊接路径信息及控制指令。

如上所述，本发明的非标非结构化作业环境的机器人焊接方法及系统，具有以下有益效果：

本发明提供的非标非结构化作业环境的机器人焊接方法，基于三维重构及人机交互的方式实现空间定位与路径规划，可以针对非标非结构作业环境下的焊接动作进行灵活调整与控制，不依耐高精度的工装夹具、不限制于大批量制造模式，适用于但不限于非结构化环境的机器人焊接操作，也不涉及繁琐的示教编程，大大降低劳动强度、减轻身体伤害、提高生产效率。

附图说明

图1显示为本发明提供一种非标非结构化作业环境的机器人焊接方法流程图；

图2显示为本发明提供的一种基于人机交互的堆焊路径规划示意图；

图3显示为本发明提供的一种基于人机交互的焊缝对接焊路径规划示意图；

图4显示为本发明提供的一种非标非结构化作业环境的机器人焊接系统结构框图。

元件标号说明：

1 图像采集模块

2 焊接执行模块

21 机器人

22 控制设备

23 焊机

3 上位机

31 信息接收程序

32 图像处理程序

33 人机交互程序

34 路径规划程序

35 信息发送程序

S1～S6 步骤1至6

具体实施方式

以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。

在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本公开的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。

虽然在一些实例中术语第一、第二等在本文中用来描述各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一预设阈值可以被称作第二预设阈值，并且类似地，第二预设阈值可以被称作第一预设阈值，而不脱离各种所描述的实施例的范围。第一预设阈值和第二预设阈值均是在描述一个阈值，但是除非上下文以其他方式明确指出，否则它们不是同一个预设阈值。相似的情况还包括第一音量与第二音量。

再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

请参阅图1，本发明提供一种非标非结构化作业环境的机器人焊接方法流程图，包括：

步骤S 1，采集待焊接的焊接件图像信息；

其中，采用三维结构光相机进行图像采集，具体为通过相机安装支架使待焊接件完全置于三维结构光相机的视野中，通过上位机安装的相机驱动程序，触发图像采集，并将图像信息存储于上位机存储器中。

步骤S 2，基于所述图像信息进行三维重构，获取所述焊接件的三维图像；

其中，三维结构光相机包括结构光发射器与单目摄像头，其中结构光发射器发射一个已知的图案，单目摄像头接收到了经过物体表面反射的图案之后，就可以经过图像处理计算出反射后图像和原始图案的差异，从而实现三维重构，获取相应的三维图像。另外，采用多目相机也可实现三维重构，获取焊接件的三维图像，所述三维图像可以为点云图、网格图等表现形式。

步骤S 3，拾取所述三维图像中的焊接件的多个特征点形成相应的特征点集；

其中，该步骤具体包括：

步骤S301，人机交互过程中，操作者通过鼠标点击的方式，在所述三维图像中拾取待焊接件上的特征点，并依次设置为焊接起点、重要中间点、焊接终点；

步骤S302，将特征点集内拾取的特征点实时显示于三维图像上，人工通过进一步的删减、拖移与排序，确认最终特征点布局；

在本实施例的人机交互过程中，人工手动拾取三维图像中焊接件的特征点，再对所述特征点进行逐步优化形成特征点集，满足非标非结构化作业环境下的焊接件焊接操作，无需示教编程、大大降低了劳动强度、减轻身体伤害、提高生产效率。

步骤S 4，依据所述三维图像中焊接件设置焊接工艺参数；

其中，可利用人工在上位机的人机交互界面中设置焊接件的焊接工艺参数，该焊接工艺参数包括焊接模式选择、焊枪角度、焊道水平偏移、焊道垂直偏移、焊道角度和焊道层数，焊接模式具体有焊缝对接焊、平面堆焊。

在本实施例中，步骤S3与步骤S4无顺序先后之分，执行顺序不影响焊接执行流程。根据焊接件的结构、焊接件的材料以及焊接角度、厚度等因素在人机交互界面中设定焊接工艺参数，选择经验丰富的操作者可确保焊接件选择合适的焊接工艺参数，通过设置焊接工艺参数能够充分保证焊接质量。

步骤S 5，基于所述特征点集和焊接工艺参数进行路径规划生成焊接路径，所述焊接路径为机器人有效六维位姿序列；

其中，该步骤具体包括：

步骤S501，基于所述特征点集、焊接工艺参数内的焊枪角度及三维图像，确定机器人焊接过程中的特征点处对应的位姿需求；

步骤S502，基于相机坐标系与机器人基坐标系转换矩阵，获取所述特征点集在机器人基坐标系下的空间位姿序列；

步骤S503，结合所述焊接工艺参数与所述空间位姿序列，利用空间几何原理进行插补获取所述焊接路径。

具体地，在本实施例中，基于所述特征点集

获取特征点处在相机坐标系c下的法向矢量，结合设定的焊枪角度参数，确定机器人焊接过程中的焊枪末端e在相机坐标系下的姿态需求

即可获取特征点集的位姿表示

其中，n为特征点代号，

分别表示为特征点在相机坐标系c下x、y、z方向的坐标值，

分别表示为特征点处焊枪末端e在相机坐标系c下的姿态角，即俯仰角、偏航角、翻滚角。

通过人工拾取的特征点集为焊接件上特征点相对于相机坐标系的空间位姿

可进一步通过预先存储的坐标转换矩阵

与

转换为相对机器人基坐标系的空间位姿序列

所述坐标转换矩阵通过相机坐标系与机器人坐标系的标定操作获取，与两者的相对位置有关。具体地：

其中，

为相机坐标系相对于机器人基坐标系平移向量；

结合所述焊接工艺参数与所述空间姿态序列，通过空间几何原理进行插补，生成焊接路径。

步骤S6，发送所述六维位姿序列至机器人控制设备控制机器人逐点施焊。

其中，上位机与机器人建立稳定的握手机制，通过TCP/IP以约定好的节拍传输数据。

具体地，该步骤详述如下：

步骤S601，由上位机发送焊接启动指令至机器人；

步骤S602，机器人接收到焊接指令后，开启路径数据接收线程，并反馈上位机等待接收数据；

步骤S603，上位机收到反馈状态后，发送第一焊道的起点与终点位姿至机器人。

步骤S604，机器人接收到位姿后，控制机器人运行到该焊道起点，到位后启动起弧指令，并以预设速度运行至该焊道终点，提枪熄弧，并反馈到位状态至上位机。

步骤S605，上位机收到到位信息后，发送下一道焊道起止点位姿数据至机器人。重复S603、S604收发逻辑过程，直到运行至整个焊接路径的终点(如图2、3所示，为基于人机交互的堆焊路径规划示意图与基于人机交互的焊缝对接焊路径规划示意图)。

其中，上位机程序基于拾取的特征点位姿、设定的焊道水平偏移参数、焊道层数参数等计算各道起始点与终点位位姿，并依次发给机器人逐道施焊，保证机器人自动焊接的完整性。

具体地，如图3所示，当使用基于人机交互实现焊缝对接焊时，相对于采用线激光系统扫描寻找焊缝起止点、焊缝坡口尺寸，以实现焊缝对接焊；和相对于基于焊缝视觉检测系统进行焊缝识别、位置检测等，基于离线编程生成自动化焊接程序实现焊接；本实施例中结合人机交互的方式实现空间定位与路径规划，针对非标非结构作业环境下的焊接动作可进行灵活调整与控制，系统简单，不依耐高精度的工装夹具、不限制于大批量制造模式，也不涉及繁琐的示教编程，大大降低劳动强度、减轻身体伤害、提高生产效率。

参阅图4，为本发明提供的一种非标非结构化作业环境的机器人焊接系统结构框图，包括：

图像采集模块1，用于采集待焊接的焊接件图像信息；

其中，图像采集模块1用于采集焊接件的图像信息，具体由三维结构光相机、相机支架、相机电缆附件组成，通过其配套的通信电缆与上位机电脑相连，并通过安装于上位机的相机驱动软件控制图像信息的采集。相机支架置于焊接工位一侧，相机安装于支架上方，使焊接工件的待焊范围在相机的视野范围之内。

焊接执行模块2，其包含机器人21(机器人本体设备)、控制设备22(机器人控制设备)与焊机23，所述控制设备用于根据上位机的控制指令调整机器人的运动轨迹以及控制焊机的工作状态；

该焊接执行模块2具有自动化执行焊接的功能，控制设备基于机器人运动学/动力学算法、伺服驱动组件控制机器人本体设备完成各种动作，基于CAN通信接口与焊机进行连接，发送启弧、收弧、送丝指令及焊接电流、电压参数。

所述上位机3，其分别与所述图像采集模块1、所述焊接执行模块2相连，用于运行计算机程序，所述程序进一步包括：

信息接收程序31，其配置为接收来自图像采集模块的图像信息；

图像处理程序32，其配置为基于所述图像信息进行三维重构，获取焊接件的三维图像；

人机交互程序33，其配置为显示三维图像、拾取的特征点集及显示焊接参数输入界面，根据操作者在所述三维图像中拾取焊接件的多个特征点形成相应的特征点集，并依据所述三维图像中焊接件设置焊接工艺参数；

路径规划程序34，其配置为基于所述特征点集和焊接工艺参数进行路径规划生成焊接路径，所述焊接路径为机器人有效六维位姿序列；

信息发送程序35，其配置为向所述机器人控制设备发送所述焊接路径信息及控制指令。

其中，上位机作为整个系统的决策核心，包括处理器、存储器以及交互设备，通过处理器运行三维重构、人机交互、路径规划、信号接收、发送等重要功能模块，所述人机交互配置电子显示器，显示三维重构图像、人工拾取的特征点、特征点位置数据、焊接工艺参数设置及基于特征点集形成的规划路径线路，具有充分的人机交互性。

本实施例中，所述系统基于结构光三维重构技术及人机交互技术，通过操作者在人机交互界面上手动设置焊接工艺参数，手动拾取特征点以及手动调整优化特征点集，能够自由灵活的针对焊接件设置机器人的焊接路径，无需反复示教多次编程，大大降低劳动强度。

于某些实施方式中，所述处理器还与I/O端口和输入结构可操作地连接，该I/O端口可使得上位机能够与各种其他电子设备进行交互，该输入结构可使得用户能够与上位机进行交互。因此，输入结构可包括按钮、键盘、鼠标、触控板等。此外，电子显示器可包括触摸部件，该触摸部件通过检测对象触摸其屏幕(例如，电子显示器的表面)的发生和/或位置来促进用户输入。

所述处理器可操作地与存储器和/或非易失性存储设备耦接。更具体地，处理器可执行在存储器和/或非易失性存储设备中存储的指令以在计算设备中执行操作，诸如生成图像数据和/或将图像数据传输到电子显示器。如此，处理器可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个现场可编程逻辑阵列(FPGA)、或它们的任何组合。

所述存储器可包括高速随机存取存储器，并且还可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中，存储器还可以包括远离一个或多个处理器的存储器，例如经由RF电路或外部端口以及通信网络(未示出)访问的网络附加存储器，其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WLAN)、存储局域网(SAN)等，或其适当组合。存储器控制器可控制设备的诸如CPU和外设接口之类的其他组件对存储器的访问。

综上所述，本发明提供的非标非结构化作业环境的机器人焊接方法，基于三维重构及人机交互的方式实现空间定位与路径规划，可以针对非标非结构作业环境下的焊接动作进行灵活调整与控制，不依耐高精度的工装夹具、不限制于大批量制造模式，适用于但不限于非结构化环境的机器人焊接操作，也不涉及繁琐的示教编程，大大降低劳动强度、减轻身体伤害、提高生产效率。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种非标非结构化作业环境的机器人焊接方法，其特征在于，所述方法包括以下步骤：

步骤1，采集待焊接的焊接件图像信息；

步骤2，基于所述图像信息进行三维重构，获取所述焊接件的三维图像；

步骤3，拾取所述三维图像中的焊接件的多个特征点形成相应的特征点集；

步骤4，依据所述三维图像中焊接件设置焊接工艺参数；

步骤5，基于所述特征点集和焊接工艺参数进行路径规划生成焊接路径，所述焊接路径为机器人有效六维位姿序列；

步骤6，机器人控制设备根据接收的所述六维位姿序列控制机器人逐点施焊。

2.根据权利要求1所述的非标非结构化作业环境的机器人焊接方法，其特征在于，所述焊接包括焊缝对接焊、平面堆焊的一种或多种模式。

3.根据权利要求1所述的非标非结构化作业环境的机器人焊接方法，其特征在于，所述步骤2进一步包括：

采用三维结构光相机或多目相机实现三维重构以获取三维图像。

4.根据权利要求1所述的非标非结构化作业环境的机器人焊接方法，其特征在于，所述步骤3进一步包括：

依次于人机交互界面的三维图像上拾取焊接件上的焊接起点、重要中间点与焊接终点，其中，拾取顺序与焊接工艺相适应；

将已拾取点重新显示于三维图像上，利用删减、拖移及排序方式优化特征点布局。

5.根据权利要求1所述的非标非结构化作业环境的机器人焊接方法，其特征在于，所述步骤4中的焊接工艺参数包括焊接模式、焊枪角度、焊道水平偏移、焊道垂直偏移、焊道角度和焊道层数。

6.根据权利要求1所述的非标非结构化作业环境的机器人焊接方法，其特征在于，所述步骤3与步骤4的执行顺序可相互调换。

7.根据权利要求1所述的非标非结构化作业环境的机器人焊接方法，其特征在于，所述步骤5进一步包括：

基于所述特征点集、焊接工艺参数内的焊枪角度及三维图像，确定机器人焊接过程中的特征点处对应的位姿需求；

基于相机坐标系与机器人基坐标系转换矩阵，获取所述特征点集在机器人基坐标系下的空间位姿序列；

结合所述焊接工艺参数与所述空间位姿序列，利用空间几何原理进行插补获取所述焊接路径。

8.一种非标非结构化作业环境的机器人焊接系统，其特征在于，所述系统包括：

图像采集模块，用于采集待焊接的焊接件图像信息；

焊接执行模块，其包含机器人、控制设备与焊机，所述控制设备用于根据上位机的控制指令调整机器人的运动轨迹以及控制焊机的工作状态；

所述上位机，其分别与所述图像采集模块、所述焊接执行模块相连，用于运行计算机程序，所述程序进一步包括：

信息接收程序，其配置为接收来自图像采集模块的图像信息；

图像处理程序，其配置为基于所述图像信息进行三维重构，获取焊接件的三维图像；

人机交互程序，其配置为显示三维图像、拾取的特征点集及显示焊接参数输入界面，根据操作者在所述三维图像中拾取焊接件的多个特征点形成相应的特征点集，并依据所述三维图像中焊接件设置焊接工艺参数；

路径规划程序，其配置为基于所述特征点集和焊接工艺参数进行路径规划生成焊接路径，所述焊接路径为机器人有效六维位姿序列；

信息发送程序，其配置为向所述控制设备发送所述焊接路径信息及控制指令。

9.根据权利要求8所述的非标非结构化作业环境的机器人焊接系统，其特征在于，所述上位机设置于焊接现场或远程设置于控制室内。

10.根据权利要求8所述的非标非结构化作业环境的机器人焊接系统，其特征在于，所述路径规划程序进一步包括：

基于所述特征点集、焊接工艺参数内的焊枪角度及三维图像，确定机器人焊接过程中的特征点处对应的位姿需求；

基于相机坐标系与机器人基坐标系转换矩阵，获取所述特征点集在机器人基坐标系下的空间位姿序列；

结合所述焊接工艺参数与所述空间位姿序列，通过空间几何原理进行插补获取所述焊接路径。

Images