CN115464669A - 基于智能焊接机器人的智能光学感知处理系统及焊接方法 - Google Patents

Abstract

提供一种基于智能焊接机器人的智能光学感知处理系统及焊接方法，在包括有相机定位模块、单条焊缝定位模块、激光扫描仪和熔池相机的光学感知设备实时监测下，构建焊缝3D模型，根据监测数据对智能焊接机器人进行运行轨迹的实时调整、焊接位姿的实时修正和测量值与焊接工艺参数值对比后的实时调整、熔池异常状态的实时监测和处理，解决了多类焊缝的适应性问题以及焊接过程中的实时测量及实时处理意外情况的需求，智能焊接机器人焊接位置精准，焊缝质量高，提高焊接效率。

Description

基于智能焊接机器人的智能光学感知处理系统及焊接方法

技术领域

本发明属于智能焊接机器人技术领域，具体涉及一种基于智能焊接机器人的智能光学感知处理系统及焊接方法。

背景技术

目前，智能制造是我国十四五重点发展领域，在传统的焊接行业，越来越多的自动化设备被引入来提高焊接效率，而感知技术作为数据采集端，是十分重要的一环。

大多数自动化设备使用种类较多的感知处理手段，例如增加装配和加工精度，采用较低精度的工业相机进行定位；采用3D结构光相机进行大幅面定位测量，但这些都不能满足焊接实时性需求，也因为测量区域较广，降低了测量精度；通过已知焊缝行进方向上铺设视觉扫描的轨道，保证焊缝处在较好的测量位置，但也局限了设备的使用方式；这些手段虽然在各自的方面能够保证焊接的需求，例如焊接过程中的实时变形实时测量需求，焊接工艺的高精度测量需求，焊接过程中的焊漏、焊偏等意外情况解决需求，但是在面对市场多种类需求和多行业特性时，只能通过以项目的形式，进行一对一的定制开发，而无法推出适应性较广的一体式解决方案，因此，针对上述问题，有必要提出改进。

发明内容

本发明解决的技术问题：提供一种基于智能焊接机器人的智能光学感知处理系统及焊接方法，在包括有相机定位模块、单条焊缝定位模块、激光扫描仪和熔池相机的光学感知设备实时监测下，构建焊缝3D模型，根据监测数据对智能焊接机器人进行运行轨迹的实时调整、焊接位姿的实时修正和测量值与焊接工艺参数值对比后的实时调整、熔池异常状态的实时监测和处理，解决了多类焊缝的适应性问题以及焊接过程中的实时测量及实时处理意外情况的需求，智能焊接机器人焊接位置精准，焊缝质量高，提高焊接效率。

本发明采用的技术方案：基于智能焊接机器人智能光学感知处理系统的焊接方法，包括以下步骤：

1)相机定位模块将实时拍摄的整个工位上目标工件的图像信息发送至工控机上，工控机对接收的信息进行图像处理后，识别目标工件上的所有表面焊缝位置，并对识别的每条焊缝进行标号排序后存储；

2)按照每条焊缝的标号顺序，提取一条焊缝的位置信息，智能焊接机器人按照该条焊缝的初始位置信息执行该条焊缝的焊接任务，利用安装在智能焊接机器人末端的单条焊缝定位模块实时拍摄的该条焊缝的位置信息，工控机对拍摄的该条焊缝的位置信息进行图像处理后确定该条焊缝准确的焊接轨迹，并由工控机将该条焊缝准确的焊接轨迹信息通过通信网线传输至智能焊接机器人进行运行轨迹的实时调整；

3)在执行上述步骤2)的过程中，由安装在智能焊接机器人末端的激光扫描仪实时采集焊缝的位置和形貌特征数据，并利用焊缝3D模型重构方法和焊缝扫描跟踪处理方法，在焊接过程中实现激光寻位、激光跟踪和激光测量；工控机根据激光扫描仪采集的焊缝位置和形貌特征数据，在30ms-50ms周期内，确定出智能焊接机器人位姿修正值和焊接工艺参数值，智能焊接机器人根据工控机发送的位姿修正值和焊接工艺参数值进行焊接位姿的实时修正和测量值与焊接工艺参数值对比后的实时调整；

4)在执行上述步骤2)的过程中，安装在智能焊接机器人末端的熔池相机实时视频采集焊接熔池信息，工控机将熔池相机实时视频采集的焊接熔池信息与存储的熔池信息库内的数据进行对比，对熔池的异常状态进行判断，实现熔池状态的在线监测，并将熔池异常状态下异常处理对应的修正参数赋值于智能焊接机器人位姿修正值和工艺参数值中进行意外调调节；

5)按照工控机内每条焊缝标号排序的顺序，重复上述步骤2)-步骤4)，直至目标工件上所有焊缝全部焊接完毕即可。

上述步骤1)中，所述相机定位模块包括多台分别分布于目标工件三维空间的上、左、右、前、后位置的工业相机，所述工业相机选用结构光3D工业相机或双目工业相机，所述工业相机通过交换机与工控机连接；

所述相机定位模块拍摄目标工件表面的轮廓图像信息，选择任意视角下工业相机发送的图像信息，均可获得两个平面的空间相交直线，保存相交直线对应的起始点和终止点的位置坐标，对每条交线进行定位焊点的寻找与识别，对根据定位焊点确定的焊缝进行标号排序，并将各焊缝的位置保存至工控机的内存中。

上述步骤2)中，所述单条焊缝定位模块为工业相机Ⅰ，所述工业相机Ⅰ通过交换机与工控机连接；

所述工控机根据工业相机Ⅰ实时拍摄的局部区域内的焊缝信息，定位该区域内焊缝的精确起始位置和精确终止位置，根据焊缝的精确起始位置和精确终止位置，通过直线拟合生成该区域内焊缝的准确焊接轨迹，重复确定该条焊缝各局部区域内焊缝的准确焊接轨迹，实现对智能焊接机器人运行轨迹的实时调整。

上述步骤3)中，激光寻位时，智能焊接机器人从起始位置到终止位置按照存储的标号对应的焊缝轨迹步进过程中，激光扫描仪对测量平面内扫描的原始数据进行处理，工控机中的数据处理模块根据焊缝扫描跟踪处理方法和焊缝3D模型重构方法对原始数据进行焊缝3D模型重构，确定测量平面内是否有焊缝，若有，则工控机计算测量平面内的焊缝中心距焊缝3D模型中焊缝中心位置的相对偏移量，根据相对偏移量对智能机器人的位置进行调整，并计算焊枪尖部是否已到达焊缝3D模型中焊缝中心位置，若是，则智能焊接机器人等待焊接，若不是，重复激光寻位直至智能焊接机器人焊枪尖部到达焊缝3D模型中焊缝的中心位置；

激光跟踪时，智能焊接机器人从起始位置到终止位置按照存储的标号对应的焊缝轨迹步进过程中，激光扫描仪对测量平面内扫描的原始数据进行处理，工控机中的数据处理模块根据焊缝扫描跟踪处理方法和焊缝3D模型重构方法对原始数据进行焊缝3D模型重构，在构建的3D模型上计算出焊缝中心位置并存储至工控机的内存中，比对智能焊接机器人当前位置是否为工控机中存储的焊缝中心位置，若是，通过距离计算公式，确定智能焊接机器人当前位置与3D模型中焊缝中心位置的修正值，并按照修正值对智能焊接机器人的位置进行修正，当智能焊接机器人到达焊缝终止位置时，激光跟踪停止，否则，重复激光跟踪直至智能焊接机器人到达焊缝终止位置；

激光测量时，智能焊接机器人从起始位置到终止位置按照存储的标号对应的焊缝轨迹步进过程中，激光扫描仪对测量平面内扫描的原始数据进行处理，工控机中的数据处理模块根据焊缝扫描跟踪处理方法和焊缝3D模型重构方法对原始数据进行焊缝3D模型重构，在重构的3D焊缝模型上，计算出焊接工艺参数特征值，数据处理模块根据焊接工艺参数特征值确定是否达到焊缝终止位置，若是，则智能焊接机器人停止焊接，否侧，重复激光测量。

进一步地，向所述工控机内输入目标工件的焊缝类型参数，并与激光扫描仪采集到的焊缝数据进行对比，根据对比结果确定是否为焊缝；若是焊缝，根据焊接工艺计算公式将测量的焊缝尺寸信息转换为工艺参数值，将工艺参数值与存储于工控机内的工艺数据库信息进行匹配，并输出工艺修正值，若不是焊缝，则重新进行数据处理，直到到达焊缝终止位置后停止。

上述步骤4)中，所述熔池相机通过交换机与工控机连接，所述熔池信息库存储于工控机内；

所述工控机的输入端与键盘的输出端连接，人工根据熔池状态和测量监控数据通过键盘输入修正指令，工控机将修正指令通过通信网线发送至智能焊接机器人，控制智能焊接机器人进行位姿修正和工艺修正。

基于智能焊接机器人的智能光学感知处理系统，包括用于数据综合处理的工控机，所述工控机通过交换机与光学感知设备连接，实现光学感知设备与工控机信息的交互，所述光学感知设备包括相机定位模块、单条焊缝定位模块、激光扫描仪和熔池相机；所述相机定位模块安装于龙门架上，用于采集目标工件的类型信息和目标工件上焊缝初始位置与终点位置的图像信息；所述单条焊缝定位模块和激光扫描仪安装于智能焊接机器人末端的机器臂上，且激光扫描仪用于实时采集目标工件上的焊缝形貌特征数据和焊缝位置，而单条焊缝定位模块用于实时拍摄焊缝的位置图像信息，所述熔池相机安装于智能焊接机器人的机器臂上，用于采集熔池的图像信息；所述工控机通过通信网线与智能焊接机器人连接，并根据相机定位模块、单条焊缝定位模块、激光扫描仪和熔池相机检测的焊缝以及熔池的数据信息，实时调整智能焊接机器人的运动轨迹和焊接位姿。

进一步地，所述相机定位模块包括多台具有定位功能并分别分布于目标工件三维空间的上、左、右、前、后位置的工业相机，所述工业相机选用结构光3D工业相机或双目工业相机，所述工业相机通过交换机与工控机连接，所述工控机根据工业相机拍摄的目标工件图像信息识别目标工件的类型以及焊缝的始末位置，并将识别结果通过通信控制网络传输到智能焊接机器人。

进一步地，所述激光扫描仪采用激光轮廓仪，且激光轮廓仪通过通信网线与交换机连接，所述激光轮廓仪采集的焊缝位置和焊缝形貌特征数据通过交换机传输到工控机进行数据处理并判断焊缝位置结果，所述工控机将判断的焊缝位置结果通过通信控制网络传输到智能焊接机器人。

进一步地，所述熔池相机通过通信网线与交换机连接，且熔池相机采集的熔池图像数据通过交换机传输到工控机进行数据处理并判断熔池状态，所述工控机将判断结果通过通信控制网络传输到智能焊接机器人；

所述交换机采用万兆交换机，所述工控机内存储有工艺数据库。

本发明与现有技术相比的优点：

1、本技术方案在包括有相机定位模块、单条焊缝定位模块、激光扫描仪和熔池相机的光学感知设备实时监测下，构建焊缝3D模型，根据监测数据对智能焊接机器人进行运行轨迹的实时调整、焊接位姿的实时修正和测量值与焊接工艺参数值对比后的实时调整、熔池异常状态的实时监测和处理，解决了多类焊缝的适应性问题以及焊接过程中的实时测量及实时处理意外情况的需求，智能焊接机器人焊接位置精准，焊缝质量高，提高焊接效率；

2、本技术方案通过设置多台分别分布于目标工件三维空间的上、左、右、前、后位置的工业相机，为目标工件的类型以及目标工件上焊缝始末位置的初定位提供条件；

3、本技术方案通过在智能焊接机器人上设置激光扫描仪，可实时采集的焊缝位置和焊缝形貌特征数据，为智能焊接机器人下一秒的焊接位置和姿态提供调整依据，保证焊接过程的准确性和高效性；

4、本技术方案通过设置用于感知熔池图像数据的熔池相机，可以在焊接过程中实时监控熔池状态，并根据当前的熔池状态使智能焊接机器人做出相应调整，从而保证焊接结果的准确性；

5、本技术方案解决了目标工件实际摆放位置与模型中位置存在偏差而导致智能焊接机器人在运动过程中发生碰撞的问题，可根据焊缝实时检测的精确位置，对智能焊接机器人的运行姿态、焊枪的位置以及焊接参数进行精确可靠的调整，使得焊接位置精准，焊缝质量高，提高焊接效率。

附图说明

图1为本发明流程图；

图2为本发明通过相机定位模块获取目标工件上多条焊缝位置的流程框图；

图3为本发明通过单条焊缝定位模块实时获取焊缝精准焊接轨迹的流程框图；

图4为本发明利用激光扫描仪进行激光寻位的流程框图；

图5为本发明利用激光扫描仪进行激光跟踪的流程框图；

图6为本发明利用激光扫描仪进行激光测量的流程框图；

图7为本发明数据处理模块根据输入的焊缝类型参数和激光扫描仪采集到的数据进行数据处理的流程框图；

图8为本发明熔池相机意外处理的流程框图；

图9为本发明根据熔池相机观察的熔池状态进行人工修正的流程框图。

具体实施方式

下面将结合本发明实施例中的图1-9，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下。由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

基于智能焊接机器人智能光学感知处理系统的焊接方法，包括以下步骤：

1)相机定位模块3将实时拍摄的整个工位上目标工件的图像信息发送至工控机1上，工控机1对接收的信息进行图像处理后，识别目标工件上的所有表面焊缝位置，并对识别的每条焊缝进行标号排序后存储；具体的，所述相机定位模块3包括多台分别分布于目标工件三维空间的上、左、右、前、后位置的工业相机，所述工业相机选用结构光3D工业相机或双目工业相机，所述工业相机通过交换机2与工控机1连接；所述相机定位模块拍摄目标工件表面的轮廓图像信息，选择任意视角下工业相机发送的图像信息，均可获得两个平面的空间相交直线，保存相交直线对应的起始点和终止点的位置坐标，对每条交线进行定位焊点的寻找与识别，对根据定位焊点确定的焊缝进行标号排序，并将各焊缝的位置保存至工控机1的内存中；

2)按照每条焊缝的标号顺序，提取一条焊缝的位置信息，智能焊接机器人6按照该条焊缝的初始位置信息执行该条焊缝的焊接任务，利用安装在智能焊接机器人6末端的单条焊缝定位模块7实时拍摄的该条焊缝的位置信息，工控机1对拍摄的该条焊缝的位置信息进行图像处理后确定该条焊缝准确的焊接轨迹，并由工控机1将该条焊缝准确的焊接轨迹信息通过通信网线传输至智能焊接机器人6进行运行轨迹的实时调整；具体的，所述单条焊缝定位模块7为工业相机Ⅰ，所述工业相机Ⅰ通过交换机2与工控机1连接；

所述工控机1根据工业相机Ⅰ实时拍摄的局部区域内的焊缝信息，定位该区域内焊缝的精确起始位置和精确终止位置，根据焊缝的精确起始位置和精确终止位置，通过直线拟合生成该区域内焊缝的准确焊接轨迹，重复确定该条焊缝各局部区域内焊缝的准确焊接轨迹，实现对智能焊接机器人6运行轨迹的实时调整；

3)在执行上述步骤2)的过程中，由安装在智能焊接机器人6末端的激光扫描仪4实时采集焊缝的位置和形貌特征数据，并利用焊缝3D模型重构方法和焊缝扫描跟踪处理方法(其中，焊缝3D模型重构方法和焊缝扫描跟踪处理方法为本公司申报的另外两个专利)，在焊接过程中实现激光寻位、激光跟踪和激光测量；工控机1根据激光扫描仪4采集的焊缝位置和形貌特征数据，在30ms-50ms周期内，确定出智能焊接机器人6位姿修正值和焊接工艺参数值，智能焊接机器人6根据工控机1发送的位姿修正值和焊接工艺参数值进行焊接位姿的实时修正和测量值与焊接工艺参数值对比后的实时调整；具体的，激光寻位时，智能焊接机器人6从起始位置到终止位置按照存储的标号对应的焊缝轨迹步进过程中，激光扫描仪4对测量平面内扫描的原始数据进行处理，工控机1中的数据处理模块根据焊缝扫描跟踪处理方法和焊缝3D模型重构方法对原始数据进行焊缝3D模型重构，确定测量平面内是否有焊缝，若有，则工控机1计算测量平面内的焊缝中心距焊缝3D模型中焊缝中心位置的相对偏移量，根据相对偏移量对智能机器人6的位置进行调整，并计算焊枪尖部是否已到达焊缝3D模型中焊缝中心位置，若是，则智能焊接机器人6等待焊接，若不是，重复激光寻位直至智能焊接机器人焊枪尖部到达焊缝3D模型中焊缝的中心位置；

激光跟踪时，智能焊接机器人6从起始位置到终止位置按照存储的标号对应的焊缝轨迹步进过程中，激光扫描仪4对测量平面内扫描的原始数据进行处理，工控机1中的数据处理模块根据焊缝扫描跟踪处理方法和焊缝3D模型重构方法对原始数据进行焊缝3D模型重构，在构建的3D模型上计算出焊缝中心位置并存储至工控机1的内存中，比对智能焊接机器人6当前位置是否为工控机1中存储的焊缝中心位置，若是，通过距离计算公式，确定智能焊接机器人6当前位置与3D模型中焊缝中心位置的修正值，并按照修正值对智能焊接机器人6的位置进行修正，当智能焊接机器人到达焊缝终止位置时，激光跟踪停止，否则，重复激光跟踪直至智能焊接机器人6到达焊缝终止位置；

激光测量时，智能焊接机器人6从起始位置到终止位置按照存储的标号对应的焊缝轨迹步进过程中，激光扫描仪4对测量平面内扫描的原始数据进行处理，工控机1中的数据处理模块根据焊缝扫描跟踪处理方法和焊缝3D模型重构方法对原始数据进行焊缝3D模型重构，在重构的3D焊缝模型上，计算出焊接工艺参数特征值，数据处理模块根据焊接工艺参数特征值确定是否达到焊缝终止位置，若是，则智能焊接机器人6停止焊接，否侧，重复激光测量；具体的，向所述工控机1内输入目标工件的焊缝类型参数(焊缝类型参数包括焊缝角度、焊缝宽度、焊缝深度、板厚、材料属性、间隙、错边)，并与激光扫描仪采集到的焊缝数据进行对比，根据对比结果确定是否为焊缝；若是焊缝，根据焊接工艺计算公式将测量的焊缝尺寸信息转换为工艺参数值，将工艺参数值与存储于工控机1内的工艺数据库信息进行匹配，并输出工艺修正值，若不是焊缝，则重新进行数据处理，直到到达焊缝终止位置后停止；

4)在执行上述步骤2)的过程中，安装在智能焊接机器人6末端的熔池相机5实时视频采集焊接熔池信息，工控机1将熔池相机5实时视频采集的焊接熔池信息与存储的熔池信息库内的数据进行对比，对熔池的异常状态进行判断，实现熔池状态的在线监测，并将熔池异常状态下异常处理对应的修正参数赋值于智能焊接机器人6位姿修正值和工艺参数值中进行意外调调节；具体的，所述熔池相机5通过交换机2与工控机1连接，所述熔池信息库存储于工控机1内；

所述工控机1的输入端与键盘的输出端连接，人工根据熔池状态和测量监控数据通过键盘输入修正指令，工控机1将修正指令通过通信网线发送至智能焊接机器人6，控制智能焊接机器人6进行位姿修正和工艺修正；

5)按照工控机1内每条焊缝标号排序的顺序，重复上述步骤2)-步骤4)，直至目标工件上所有焊缝全部焊接完毕即可。

在包括有相机定位模块、单条焊缝定位模块7、激光扫描仪和熔池相机的光学感知设备实时监测下，构建焊缝3D模型，根据监测数据对智能焊接机器人进行运行轨迹的实时调整、焊接位姿的实时修正和测量值与焊接工艺参数值对比后的实时调整、熔池异常状态的实时监测和处理，解决了多类焊缝的适应性问题以及焊接过程中的实时测量及实时处理意外情况的需求，智能焊接机器人焊接位置精准，焊缝质量高，提高焊接效率；

基于智能焊接机器人的智能光学感知处理系统，包括用于数据综合处理的工控机1，所述工控机1通过交换机2与光学感知设备连接，实现光学感知设备与工控机1信息的交互，所述光学感知设备包括相机定位模块3、单条焊缝定位模块7、激光扫描仪4和熔池相机5；所述相机定位模块3安装于龙门架上，用于采集目标工件的类型信息和目标工件上焊缝初始位置与终点位置的图像信息；所述单条焊缝定位模块7和激光扫描仪4安装于智能焊接机器人6末端的机器臂上，且激光扫描仪4用于实时采集目标工件上的焊缝形貌特征数据和焊缝位置，而单条焊缝定位模块7用于实时拍摄焊缝的位置图像信息，从而由工控机1根据拍摄的位置图像信息确定该条焊缝准确的焊接轨迹，为智能焊接机器人6运行轨迹的实时调整提供条件；所述熔池相机5安装于智能焊接机器人6的机器臂上，用于采集熔池的图像信息；所述工控机1通过通信网线与智能焊接机器人6连接，并根据相机定位模块3、单条焊缝定位模块7、激光扫描仪4和熔池相机5检测的焊缝以及熔池的数据信息，实时调整智能焊接机器人6的运动轨迹和焊接位姿；单条焊缝定位模块7具有承上启下的功能，衔接相机定位模块3获得的焊缝，和激光扫描仪4对某条焊缝执行扫描之间的过渡过程，也很重要，是完整流程的一环。

其中，相机定位模块3具体如下：所述相机定位模块3包括多台具有定位功能并分别分布于目标工件三维空间的上、左、右、前、后位置的工业相机，所述工业相机选用结构光3D工业相机或双目工业相机，所述工业相机通过交换机2与工控机1连接，所述工控机1根据工业相机拍摄的目标工件图像信息识别目标工件的类型以及焊缝的始末位置，并将识别结果通过通信控制网络传输到智能焊接机器人6；上述结构中，通过设置多台分别分布于目标工件三维空间的上、左、右、前、后位置的工业相机，为目标工件的类型以及目标工件上焊缝始末位置的初定位提供条件；相机定位模块3中的工业相机和单条焊缝定位模块7中的工业相机Ⅰ涉及的软件具体参照流水号为2022R11L1152519，名称为“龙门倒挂式机器人中的视觉软件”中的内容；

所述激光扫描仪4采用激光轮廓仪，且激光轮廓仪通过通信网线与交换机2连接，所述激光轮廓仪采集的焊缝位置和焊缝形貌特征数据通过交换机2传输到工控机1进行数据处理并判断焊缝位置结果，所述工控机1将判断的焊缝位置结果通过通信控制网络传输到智能焊接机器人6；上述结构中，通过在智能焊接机器人6上设置激光扫描仪4，可实时采集的焊缝位置和焊缝形貌特征数据，为智能焊接机器人6下一秒的焊接位置和姿态提供调整依据，保证焊接过程的准确性和高效性；涉及的软件具体参照流水号为2022R11L1153760，名称为“智能焊接机器人的激光跟踪测量功能”中的内容；

所述熔池相机5通过通信网线与交换机2连接，且熔池相机5采集的熔池图像数据通过交换机2传输到工控机1进行数据处理并判断熔池状态，所述工控机1将判断结果通过通信控制网络传输到智能焊接机器人6；所述交换机2采用万兆交换机，所述工控机1内存储有工艺数据库；上述机构中，通过设置用于感知熔池图像数据的熔池相机5，可以在焊接过程中实时监控熔池状态，并根据当前的熔池状态使智能焊接机器人6做出相应调整，从而保证焊接结果的准确性；涉及的软件具体参照流水号为2022R11L1153256，名称为“智能焊接机器人的焊接过程监控功能”中的内容。

本技术方案解决了目标工件实际摆放位置与模型中位置存在偏差而导致智能焊接机器人6在运动过程中发生碰撞的问题，可根据焊缝实时检测的精确位置，对智能焊接机器人6的运行姿态、焊枪的位置以及焊接参数进行精确可靠的调整，使得焊接位置精准，焊缝质量高，提高焊接效率。

其中，焊缝3D模型重构方法具体步骤如下：

1)使用激光轮廓仪扫描焊缝，获取焊缝以及焊缝周围的轮廓数据信息；

2)根据采集的x轴和z轴的焊缝二维数据轮廓数据信息，再根据扫描速度构造的y轴数据，形成焊缝的三维点云数据；

3)对构建的焊缝三维点云数据，采用半径滤波剔除离群点；

4)采用移动最小二乘法对三维点云数据进行平滑处理后，建立无漏洞且光滑的曲面模型；

5)从三维点云数据中提取空间平面方程：在初始点云中随机选择三个点，计算其对应的平面方程Ax+By+Cz+D＝0，根据公式d_i＝|Ax_i+By_i+Cz_i+D|计算所有点与该平面方程的代数距离，选取阈值d_threshold，若d_i≤d_threshold，则该点被认为是模型内样本点，否则为模型外样本点，记录当前内点的个数，通过得到的平面方程，计算内点个数占总样本点个数的比例值，比例值最高的平面方程为最佳拟合参数，即最佳拟合参数为内点数量最多的平面对应的平面方程；接着计算每次迭代末尾误差率Δ，计算公式如下：

上式中，error_mean为所有非内点的点到内点对应的平面方程距离差的平均值，error_min为所有非内点的点到内点对应的平面方程的距离差中的最小值，error_max为所有非内点的点到内点对应的平面方程的距离差中的最大值；

再根据确定的内点个数N_inliers、三维空间内的总样本个数N，计算迭代结束评判因子δ，迭代结束评判因子δ的计算公式如下：

上式中，ω₀为设定的比例系数0.7，ω₁为设定的比例系数0.3，若迭代结束评判因子δ没有落在[0，1]的区间内，则在初始点云中随机重新选择三个点，并重复本步骤进行下一次的迭代；若迭代结束评判因子δ落在[0，1]的区间内，则停止迭代；迭代结束后，最佳模型参数就是提取的空间平面方程；

6)根据目标工件上的焊缝类型，确定该类型焊缝的平面数量F，按照步骤5)确定第一个空间平面方程，将确定的第一个空间平面方程上的内点从三维点云数据中分隔出来，在剩余的三维点云数据上，重复步骤5)，确定出与平面数量F个数相同的空间平面方程；

7)根据得到的F个空间平面方程，从原始的激光轮廓仪扫描的数据中滤出所有空间平面方程内的点云集合，重建焊缝模型；

8)从重建的3D焊缝模型中，确定F个空间平面方程的平面法向量，根据输入的焊缝角度α，依照行进方向将F个空间平面方程的平面法向量两两计算出法向量夹角β，取Δt＝|α-β|最小时的两个法向量，确定该法向量对应的空间平面方程，即为焊缝所在的两个焊道侧面；

9)根据空间中两个平面延长获得空间相交直线方程，由扫描起始点位置到扫描结束点位置，获取直线方程上的直线段，即为焊缝位置。

焊缝扫描跟踪处理方法的具体步骤如下：

1)焊缝预扫描：根据预设的轨迹，由装于机器人末端的激光器先扫描一小段焊缝的激光数据，其中，激光数据为包括X、Z方向形成的2D点数据，根据机器人坐标转换关系，将所有扫描到的激光数据转换到空间3D坐标系，在3D空间数据上，重复上述过程中，直到找到焊缝对应的第一条V形线段的激光数据，即为焊缝的起始位置，在第一条V形线段的激光数据中，找到中心点位置(X_center，Y_center，Z_center)，根据预设的激光器焊缝扫描的起始位置(X_start，Y_start，Z_start)，通过空间中两点的距离公式计算中心点位置与预设的起始位置差，获得机器人上激光器的修正位置(ΔX＝X_start-X_center，ΔY＝Y_start-Y_center，ΔZ＝Z_start-Z_center)，再将激光器调整至修正位置上，开始对焊缝进行修正后的扫描；

具体的，所述机器人坐标转换关系如下：

其中，R为人工标定的激光器到机器人的旋转矩阵，T为人工标定的激光器到机器人的平移矩阵，X_L和Z_L分别为激光数据得到X方向和Z方向数据，X_w，Y_w，Z_w为3D空间下的X方向、Y方向和Z方向对应的数据；将所有扫描到的激光数据转换到空间3D坐标系。

2)焊缝扫描：重复步骤1)，在每次激光器修正位置上，根据预设的机器人扫描轨迹收集焊缝原始数据，采用步骤1)中的机器人坐标转换关系，转化所有焊缝原始数据为3D空间数据，建立3D点云数据集Ω0，完成扫描过程；

3)焊缝空间数据处理，具体步骤如下：

a先对原始数据进行去噪、剪裁以及填补预处理；其中，对原始数据进行去噪、剪裁以及填补预处理的步骤具体如下：

a1采用中值滤波器，设置5-10点的滑动窗口大小,滤除椒盐噪声干扰；

a2采用低通滤波器，将空间3D数据转化到频域，设置滤波截止频率为1KHz,滤除频域数据中的高频噪声，反向转回空间域数据；

a3采用K-means无监督聚类方法，设定3-8个类别数量，进行聚类分类，最大点云数的前三个类别数据保留，剔除小点云数的类别；

a4采用最近邻插值法，设置滑动窗口大小为20-50个点云数，填补空缺区域。

b焊道特征识别：根据输入的焊缝周围包括有焊缝扫描平面数量、焊缝开坡口形状、焊缝角度、焊缝深度、焊缝宽度的形貌特征，对焊缝原始数据进行RANSAC点云识别，得到有效的焊缝数据，具体步骤如下：

b1在经过a步骤预处理后的整体3D空间数据中，首先根据焊缝角度，沿着Y方向上找到整体3D空间数据中在X方向上符合该焊缝角度的区域，根据焊缝宽度，沿着Y方向上找到整体3D空间数据中在Z方向上符合该焊缝角度的区域，X方向和Z方向截取的区域即为焊缝所在的空间区域1，通过焊缝开坡口形状，并结合扫描所得的焊道边缘数据信息，在焊缝所在的空间区域1内对焊道2边缘进行定位，在3D空间中进行直线拟合，确定出两条焊道2边缘的直线方程，并计算出两条焊道边缘直线的方向向量ν1和ν2，根据方向向量ν1和ν2对焊缝两侧平面分别进行平面拟合，确定出两个平面方程A1₁和A2₁，再计算出两个平面方程A1₁和A2₁的法向量v3和v4；

b2沿着焊缝扫描的行进方向Y，设定采样区域，以Y轴方向上10mm距离为一采样区域片段，通过焊缝两侧平面法向量v3和v4，确定出采样区域内的两个空间平面方程P1₁和P2₁，然后通过空间距离计算公式，在采样区域内分别归类位于两个空间平面方程P1₁和P2₁内的点云数据，由两个空间平面方程P1₁和P2₁得到相交的空间直线方程Q₁，获取以该空间直线为轴线半径为1.5mm的柱形空间区域H1内的所有点云数据，通过v1和v2的平均方向向量，在上述柱形空间区域H1内进行二次拟合直线，获取以该二次拟合直线为轴线半径为0.5mm的柱形空间区域H2内的所有真实点集，则该真实点集合即为该采样区域内所有焊缝底部的中心点；

b3重复步骤b2，直至Y轴遍历完毕，获取焊缝底部中心点数据集Ω1，机器人将根据数据集Ω1进行焊缝跟踪；

4)焊道信息重构：依次轮询焊缝数据集Ω1中的点p_i，i＝1，...，end，以该点为中心点，以设定的XOZ平面为基准焊接平面，建立p_i所在基准焊接平面内的空间平面方程P3₁，计算原始数据距空间平面方程P3₁的空间距离，获得在该空间平面方程P3₁上的所有点，即该点组成了焊接截平面Pn₁；具体的，所述焊接截平面为焊接平面在原始数据空间上的截面；

5)重复步骤4)，遍历完Ω1之后，由每次获得的焊接截平面Pn_i组成新的焊缝数据集Ω2，由上述步骤3)中重复b2获得的多个焊缝两侧的平面方程P1_i和P2_i组成了焊道数据集Ω3；

6)焊缝测量：以数据集Ω2为计算数据集，在每个截平面Pn_i内，通过Ω3中的焊道平面方程，以焊缝每侧平面中最高点和最低点在Z方向上的差值计算出焊缝深度值，以Ω2数据集中两端点在X方向上的差值计算出焊缝宽度，即完成焊缝测量功能；具体的，以焊缝每侧平面中最高点和最低点在Z方向上的差值计算出焊缝深度值的具体计算过程为：焊缝一侧焊道平面最高点和最低点在Z方向上的差值与另一侧焊道平面最高点和最低点在Z方向上的差值的平均值，即为焊缝的深度。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.基于智能焊接机器人智能光学感知处理系统的焊接方法，其特征在于包括以下步骤：

1)相机定位模块(3)将实时拍摄的整个工位上目标工件的图像信息发送至工控机(1)上，工控机(1)对接收的信息进行图像处理后，识别目标工件上的所有表面焊缝位置，并对识别的每条焊缝进行标号排序后存储；

2)按照每条焊缝的标号顺序，提取一条焊缝的位置信息，智能焊接机器人(6)按照该条焊缝的初始位置信息执行该条焊缝的焊接任务，利用安装在智能焊接机器人(6)末端的单条焊缝定位模块(7)实时拍摄的该条焊缝的位置信息，工控机(1)对拍摄的该条焊缝的位置信息进行图像处理后确定该条焊缝准确的焊接轨迹，并由工控机(1)将该条焊缝准确的焊接轨迹信息通过通信网线传输至智能焊接机器人(6)进行运行轨迹的实时调整；

3)在执行上述步骤2)的过程中，由安装在智能焊接机器人(6)末端的激光扫描仪(4)实时采集焊缝的位置和形貌特征数据，并利用焊缝3D模型重构方法和焊缝扫描跟踪处理方法，在焊接过程中实现激光寻位、激光跟踪和激光测量；工控机(1)根据激光扫描仪(4)采集的焊缝位置和形貌特征数据，在30ms-50ms周期内，确定出智能焊接机器人(6)位姿修正值和焊接工艺参数值，智能焊接机器人(6)根据工控机(1)发送的位姿修正值和焊接工艺参数值进行焊接位姿的实时修正和测量值与焊接工艺参数值对比后的实时调整；

4)在执行上述步骤2)的过程中，安装在智能焊接机器人(6)末端的熔池相机(5)实时视频采集焊接熔池信息，工控机(1)将熔池相机(5)实时视频采集的焊接熔池信息与存储的熔池信息库内的数据进行对比，对熔池的异常状态进行判断，实现熔池状态的在线监测，并将熔池异常状态下异常处理对应的修正参数赋值于智能焊接机器人(6)位姿修正值和工艺参数值中进行意外调调节；

5)按照工控机(1)内每条焊缝标号排序的顺序，重复上述步骤2)-步骤4)，直至目标工件上所有焊缝全部焊接完毕即可。

2.根据权利要求1所述的基于智能焊接机器人智能光学感知处理系统的焊接方法，其特征在于：上述步骤1)中，所述相机定位模块(3)包括多台分别分布于目标工件三维空间的上、左、右、前、后位置的工业相机，所述工业相机选用结构光3D工业相机或双目工业相机，所述工业相机通过交换机(2)与工控机(1)连接；

所述相机定位模块拍摄目标工件表面的轮廓图像信息，选择任意视角下工业相机发送的图像信息，均可获得两个平面的空间相交直线，保存相交直线对应的起始点和终止点的位置坐标，对每条交线进行定位焊点的寻找与识别，对根据定位焊点确定的焊缝进行标号排序，并将各焊缝的位置保存至工控机(1)的内存中。

3.根据权利要求1所述的基于智能焊接机器人智能光学感知处理系统的焊接方法，其特征在于：上述步骤2)中，所述单条焊缝定位模块(7)为工业相机Ⅰ，所述工业相机Ⅰ通过交换机(2)与工控机(1)连接；

所述工控机(1)根据工业相机Ⅰ实时拍摄的局部区域内的焊缝信息，定位该区域内焊缝的精确起始位置和精确终止位置，根据焊缝的精确起始位置和精确终止位置，通过直线拟合生成该区域内焊缝的准确焊接轨迹，重复确定该条焊缝各局部区域内焊缝的准确焊接轨迹，实现对智能焊接机器人(6)运行轨迹的实时调整。

4.根据权利要求1所述的基于智能焊接机器人的智能光学感知焊接方法，其特征在于：上述步骤3)中，激光寻位时，智能焊接机器人(6)从起始位置到终止位置按照存储的标号对应的焊缝轨迹步进过程中，激光扫描仪(4)对测量平面内扫描的原始数据进行处理，工控机(1)中的数据处理模块根据焊缝扫描跟踪处理方法和焊缝3D模型重构方法对原始数据进行焊缝3D模型重构，确定测量平面内是否有焊缝，若有，则工控机(1)计算测量平面内的焊缝中心距焊缝3D模型中焊缝中心位置的相对偏移量，根据相对偏移量对智能机器人(6)的位置进行调整，并计算焊枪尖部是否已到达焊缝3D模型中焊缝中心位置，若是，则智能焊接机器人(6)等待焊接，若不是，重复激光寻位直至智能焊接机器人焊枪尖部到达焊缝3D模型中焊缝的中心位置

激光跟踪时，智能焊接机器人(6)从起始位置到终止位置按照存储的标号对应的焊缝轨迹步进过程中，激光扫描仪(4)对测量平面内扫描的原始数据进行处理，工控机(1)中的数据处理模块根据焊缝扫描跟踪处理方法和焊缝3D模型重构方法对原始数据进行焊缝3D模型重构，在构建的3D模型上计算出焊缝中心位置并存储至工控机(1)的内存中，比对智能焊接机器人(6)当前位置是否为工控机(1)中存储的焊缝中心位置，若是，通过距离计算公式，确定智能焊接机器人(6)当前位置与3D模型中焊缝中心位置的修正值，并按照修正值对智能焊接机器人(6)的位置进行修正，当智能焊接机器人到达焊缝终止位置时，激光跟踪停止，否则，重复激光跟踪直至智能焊接机器人(6)到达焊缝终止位置；

激光测量时，智能焊接机器人(6)从起始位置到终止位置按照存储的标号对应的焊缝轨迹步进过程中，激光扫描仪(4)对测量平面内扫描的原始数据进行处理，工控机(1)中的数据处理模块根据焊缝扫描跟踪处理方法和焊缝3D模型重构方法对原始数据进行焊缝3D模型重构，在重构的3D焊缝模型上，计算出焊接工艺参数特征值，数据处理模块根据焊接工艺参数特征值确定是否达到焊缝终止位置，若是，则智能焊接机器人(6)停止焊接，否侧，重复激光测量。

5.根据权利要求4所述的基于智能焊接机器人的智能光学感知焊接方法，其特征在于：向所述工控机(1)内输入目标工件的焊缝类型参数，并与激光扫描仪采集到的焊缝数据进行对比，根据对比结果确定是否为焊缝；若是焊缝，根据焊接工艺计算公式将测量的焊缝尺寸信息转换为工艺参数值，将工艺参数值与存储于工控机(1)内的工艺数据库信息进行匹配，并输出工艺修正值，若不是焊缝，则重新进行数据处理，直到到达焊缝终止位置后停止。

6.根据权利要求1所述的基于智能焊接机器人的智能光学感知焊接方法，其特征在于：上述步骤4)中，所述熔池相机(5)通过交换机(2)与工控机(1)连接，所述熔池信息库存储于工控机(1)内；

所述工控机(1)的输入端与键盘的输出端连接，人工根据熔池状态和测量监控数据通过键盘输入修正指令，工控机(1)将修正指令通过通信网线发送至智能焊接机器人(6)，控制智能焊接机器人(6)进行位姿修正和工艺修正。

7.基于智能焊接机器人的智能光学感知处理系统，其特征在于：包括用于数据综合处理的工控机(1)，所述工控机(1)通过交换机(2)与光学感知设备连接，实现光学感知设备与工控机(1)信息的交互，所述光学感知设备包括相机定位模块(3)、单条焊缝定位模块(7)、激光扫描仪(4)和熔池相机(5)；所述相机定位模块(3)安装于龙门架上，用于采集目标工件的类型信息和目标工件上焊缝初始位置与终点位置的图像信息；所述单条焊缝定位模块(7)和激光扫描仪(4)安装于智能焊接机器人(6)末端的机器臂上，且激光扫描仪(4)用于实时采集目标工件上的焊缝形貌特征数据和焊缝位置，而单条焊缝定位模块(7)用于实时拍摄焊缝的位置图像信息，所述熔池相机(5)安装于智能焊接机器人(6)的机器臂上，用于采集熔池的图像信息；所述工控机(1)通过通信网线与智能焊接机器人(6)连接，并根据相机定位模块(3)、单条焊缝定位模块(7)、激光扫描仪(4)和熔池相机(5)检测的焊缝以及熔池的数据信息，实时调整智能焊接机器人(6)的运动轨迹和焊接位姿。

8.根据权利要求7所述的基于智能焊接机器人的智能光学感知处理系统，其特征在于：所述相机定位模块(3)包括多台具有定位功能并分别分布于目标工件三维空间的上、左、右、前、后位置的工业相机，所述工业相机选用结构光3D工业相机或双目工业相机，所述工业相机通过交换机(2)与工控机(1)连接，所述工控机(1)根据工业相机拍摄的目标工件图像信息识别目标工件的类型以及焊缝的始末位置，并将识别结果通过通信控制网络传输到智能焊接机器人(6)。

9.根据权利要求7所述的用于龙门倒挂式智能焊接机器人的光学感知系统，其特征在于：所述激光扫描仪(4)采用激光轮廓仪，且激光轮廓仪通过通信网线与交换机(2)连接，所述激光轮廓仪采集的焊缝位置和焊缝形貌特征数据通过交换机(2)传输到工控机(1)进行数据处理并判断焊缝位置结果，所述工控机(1)将判断的焊缝位置结果通过通信控制网络传输到智能焊接机器人(6)。

10.根据权利要求6-9任一项所述的用于龙门倒挂式智能焊接机器人的光学感知系统，其特征在于：所述熔池相机(5)通过通信网线与交换机(2)连接，且熔池相机(5)采集的熔池图像数据通过交换机(2)传输到工控机(1)进行数据处理并判断熔池状态，所述工控机(1)将判断结果通过通信控制网络传输到智能焊接机器人(6)；

所述交换机(2)采用万兆交换机，所述工控机(1)内存储有工艺数据库。

Images