CN114083091A - 一种基于云边端协同的窄深空间内部焊接预警监测方法 - Google Patents

Abstract

本发明提供了一种基于云边端协同的窄深空间内部焊接预警监测方法，属于工业互联网和智能焊接制造技术领域。本发明针对窄深空间内部移动机器人焊接的质量检测效率瓶颈难题，利用高负压除尘技术结合高速工业相机实现熔池区域高清图像的采集，并以无线图传方式实时传输至端侧图像处理系统，采用由云端下发的焊接质量预测模型进行现场推理，从而实现缺陷早期预警和实时诊断。本发明能够大幅降低窄深空间内部焊接的返修率，为快速原位修焊提供指导，同时降低视觉系统线缆损耗，可应用于核能风电等能源装备、重型机械、桥梁等领域大型构件的机器人焊接过程监测及预警，尤其适用于箱型梁、管道、U肋单元等关键承力构件内部长焊缝的弧焊作业应用场景。

Description

一种基于云边端协同的窄深空间内部焊接预警监测方法

技术领域

本发明属于工业互联网和智能焊接制造技术领域。涉及一种基于云边端协同的窄深空间内部焊接预警监测方法，可应用于核能、风电能源装备、起重运输装备、重型机械、桥梁、海洋工程与船舶、石油化工等领域大型构件窄深空间内部的机器人焊接过程监测及预警，尤其适用于箱型梁、管道、U肋单元等关键承力构件内部长焊缝的弧焊作业应用场景。

背景技术

大型复杂金属结构件窄深空间内部焊接是核能、风电能源装备、起重运输装备、重型机械、桥梁、海洋工程与船舶、石油化工等领域关键装备的重要制造技术，其焊接质量是评定装备质量的重要指标，如何可靠、精准、高效地检测焊缝损伤和降低因缺陷引起的废品产生、停机等事故是风险防控的重点。然而，由于窄深空间尺寸受限，常规的无损检测技术装备难以对内部焊缝实施检测，实现其可靠高效的焊接质量检测仍是领域内公认的难点。而且，受限尺寸的窄深空间内部给应用传感系统在焊接过程中进行在线监测或采用肉眼直接观测均造成极大困难，对传感系统的集成度和紧凑化设计、图像或视频采集及传输、设备安全性保障措施提出极高要求。当前工业实际焊接生产中，若窄深空间内部焊接一旦出现不可接受的缺陷，即造成返修甚至材料报废，极其浪费时间以及物力，发展先进焊接预警监测技术装备实属刚需，对保障装备质量和提升制造效率以及完善产品全生命周期质量追溯体系均具有十分重要的意义。

5G通信作为数字经济范畴的新型技术之一，以其特有的大带宽、低时延，以及高可靠等特性，使得无线技术应用于现场设备实时控制、远程维护及操控、工业高清图像处理等工业应用新领域成为可能。

经对现有技术文献和专利检索发现，专利申请号为CN201910044303.6的中国发明专利《一种机器人焊接过程多信息采集监控系统及方法》公开了一种机器人焊接过程多信息采集监控系统，采用数据采集装置采集焊件形貌并模拟计算出焊枪运动轨迹；专利申请号为CN201811500277.5的中国发明专利《基于云平台的激光焊接设备》公开了一种激光焊接设备，采用自动识别系统及云平台对焊接物品进行识别，通过控制系统的调制，将连续激光调制成脉冲激光，从而进行脉冲焊接；专利申请号为CN202110169305.5的中国发明专利《一种深熔弧焊机无线控制系统》公开了一种深熔弧焊机无线控制系统，采用蓝牙通信转换设备将主控制器发送的写指令分发到各个设备，并对各个设备主动上报的数据进行处理，从而实现主控制器对各个设备的智能联动控制。但以上专利均未解决窄深空间内实时判断焊接质量并且对错误类型库迭代更新，以及高效信息传递的问题，均未涉及基于云边端协同的窄深空间内部焊接预警监测方法。

综上所述，国内现有的焊接质量视觉监测方法大多数难以解决窄深空间内部焊接监测问题，目前尚未见基于云边端协同的窄深空间内部焊接预警监测方法的公开报道。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于云边端协同的窄深空间内部焊接预警监测方法，以实现窄深空间内部焊接过程缺陷预警监测和实时诊断。

为了实现上述目的，本发明采取以下技术方案：

一种基于云边端协同的窄深空间内部焊接预警监测方法，包括以下步骤：

1)在端侧图像处理系统中通过软件设置缺陷允收水准；移动焊接机器人携带焊枪抵达待焊轨迹初始位置；启动焊接烟尘排尘装置；视觉传感单元对待焊轨迹区域进行对焦；焊枪起弧焊接，移动焊接机器人开始行走；

2)视觉传感单元采集焊接熔池区域图像，并对所采集图像进行处理；将处理之后的图像数据通过无线传输方式实时传输至端侧图像处理系统；

3)端侧图像处理系统对接收到的图像进行特征提取，得到表征焊接状态或焊接质量的图像特征；采用机器学习模型对所提取图像特征进行现场推理，实现焊接状态的判断和焊接质量的预测；根据推理结果对熔池图像进行标注；并根据推理结果和缺陷允收水准确定是否发送预警信息、是否对设备控制单元发送指令实现焊枪熄弧和移动焊接机器人的中断控制；将标注为异常焊接状态的图像、特征和推理结果数据上传至边缘云服务器进行存储和人机交互操作；

4)边缘云服务器对接收到的数据进行数据预处理、数据标注、模型训练与测试、更新迭代模型，之后升级边缘云服务器；边缘云服务器将更新迭代后的模型分发给端侧图像处理系统，完成现场机器学习模型的优化与升级；边缘云服务器将可公开的熔池区域图像和信息数据上传至公有云服务器进行信息管理；

5)端侧图像处理系统由程序判断当前焊接任务是否结束，若当前焊接任务结束则对设备控制单元发送指令结束全部流程，否则返回步骤2)，并重复步骤2)至步骤5)。

上述技术方案中，步骤1)和步骤2)中所述视觉传感单元采用无线电动跟焦方式进行待焊轨迹区域的对焦和焊接过程中的追焦。

上述技术方案中，步骤1)中所述焊接烟尘排尘采用高负压除尘技术反吹焊接过程中的焊接烟尘，使窄深空间内部连续焊接过程中烟尘浓度降低至不影响视觉传感单元对熔池内部和边缘清晰成像的水平。

上述技术方案中，步骤2)中所述焊接熔池区域图像中的成像对象包括熔池、焊丝端部、焊接过程中的熔滴和飞溅、电弧中的一种或多种对象。

上述技术方案中，步骤2)中所述焊接熔池区域图像为在波长范围为602nm至660nm的可见光图像或880nm以上的近红外图像。

上述技术方案中，步骤2)中所述无线传输方式采用数据速率不低于1Gbps，往返时延不高于1ms的Wi-Fi、5G、6G通讯技术进行传输。

上述技术方案中，步骤3)中所述表征焊接状态或焊接质量的图像特征为形状描述特征、纹理描述特征、高级语义特征中的一种或多种特征。

上述技术方案中，步骤3)中所述机器学习模型采用由步骤3)中所述边缘云服务器根据机器学习或深度学习算法训练并下发的分类模型。

本发明具有以下优点及突出性的技术效果：本发明采用超大带宽超高速率超低时延的无线网络传输技术，基于窄深空间内部焊接过程中高速采集的熔池区域高清图像，采用图像处理与机器学习方法，通过现场推理与边缘云训练相结合的方式实现焊接过程预警监测。本发明能够在焊接过程中实现典型焊缝成形缺陷的早期检出和智能分类，大幅降低焊接返修率；还可为在线原位修焊提供指导数据，显著提高焊接质量检测与返修效率；另一方面，可支持窄深空间内部空间受限条件下长距离焊接时的超长时间连续采集图像存储，同时也为解决安装于移动式机器人或移动作业平台的熔池视觉监测系统由于长距离移动而导致的线缆损耗提供了有效方案；此外，本发明在云端服务器通过强大软、硬件算力支持焊接质量机器学习预测模型训练，能够支持多个现场端的熔池图像获取，从而获得机器学习、深度学习所需要的大量样本，并实现模型高效快速迭代更新和实时规模化部署，不断提升现场模型的检测准确率，提升监测系统智能化水平；而且，可实现不同工件窄深空间内部焊接过程视觉监测应用的快速复制，同时支持多类型工件的多工位焊接作业，大幅降低端侧系统部署成本和全系统操作维护成本。本技术发明可应用于核能、风电能源装备、起重运输装备、重型机械、桥梁、海洋工程与船舶、石油化工等领域大型构件窄深空间内部的机器人焊接过程监测及预警，尤其适用于箱型梁、管道、U肋单元等关键承力构件内部长焊缝的熔化极气体保护焊接作业应用场景。

附图说明

图1是一种基于云边端协同的窄深空间内部焊接预警监测方法流程框图；

图2是一种基于云边端协同的窄深空间内部焊接预警监测方法原理框图；

图3是本发明实施例所述窄深空间内部焊接预警监测系统结构示意图；

图中：1—移动焊接机器人；2—焊接烟尘排尘装置；3—视觉传感单元；4—端侧图像处理系统；5—边缘云服务器；6—人机交互模块；7—公有云服务器；8—设备控制器；9—焊枪。

图4是本发明实施例所述窄深空间内部焊接熔池图像序列示意图；

图中：10—飞溅；11—熔滴；12—弧光反射；t₀—初始采集时刻；Δt—采集时间间隔。

图5是本发明实施例所述边缘云服务器根据深度学习算法训练并下发的分类模型示意图。

具体实施方式

下面结合附图和实施例对本发明原理和工作过程做进一步详细说明。

图3所示为本发明实施例所述方法的基于云边端协同的窄深空间内部焊接预警监测系统结构示意图，该系统包括所述移动焊接机器人1、所述焊接烟尘排尘装置2、所述视觉传感单元3、所述端侧图像处理系统4、所述边缘云服务器5、所述人机交互模块6、所述公有云服务器7、所述设备控制器8、所述焊枪9；所述设备控制器8通过5G网络与所述移动焊接机器人1、所述焊接烟尘排尘装置2、所述视觉传感单元3进行通讯；所述视觉传感单元3通过5G网络与所述端侧图像处理系统4进行通讯；所述端侧图像处理系统4通过5G网络与所述边缘云服务器5进行通讯；所述边缘云服务器5通过5G网络与所述公有云服务器7进行通讯；所述人机交互模块6通过信号线连接所述设备控制器8；所述焊枪9固定设置在所述移动焊接机器人1上；所述视觉传感单元3固定设置在所述移动焊接机器人1上；所述端侧图像处理系统4布置在车间内；所述焊接烟尘排尘装置2的软管固定设置在所述移动焊接机器人1上。本实施例中，所述移动焊接机器人1和所述设备控制器8都集成了5G模组或5G工业网关。

图1所示为本发明实施例所述方法的基于云边端协同的窄深空间内部焊接预警监测方法流程框图，包括以下几个步骤：

1)根据具体焊接作业质量控制要求和相关标准，在端侧部署的图像处理系统中通过软件设置缺陷允收水准；远程启动所述移动焊接机器人1，所述移动焊接机器人1携带所述焊枪9抵达待焊轨迹初始位置，调整所述焊枪9以工艺要求姿态对准待焊轨迹中心；启动所述焊接烟尘排尘装置2；所述焊接烟尘排尘采用高负压除尘技术反吹焊接过程中的焊接烟尘，使窄深空间内部连续焊接过程中烟尘浓度降低至不影响所述视觉传感单元3对熔池内部和边缘清晰成像的水平；所述视觉传感单元3对待焊轨迹区域进行自动对焦；所述视觉传感单元3采用无线电动跟焦方式进行待焊轨迹区域的对焦和焊接过程中的追焦；本实施例中，所述焊枪9为熔化极气体保护所述焊枪9，保护气开始送气，送丝机构开始送丝；所述焊枪9起弧焊接，当工件焊接区域金属熔化并形成固定大小熔池之后，所述移动焊接机器人1开始沿待焊轨迹行走；

2)所述视觉传感单元3采集焊接熔池区域图像，所述焊接熔池区域图像中的成像对象包括熔池、焊丝端部、焊接过程中的所述熔滴11、所述飞溅10或所述弧光反射12中的一种或多种对象，如图4所示；本实施例中，所述焊接熔池区域图像中的成像对象为焊接熔池；所述焊接熔池区域图像的所述初始采集时刻t₀，所述采集时间间隔Δt；所述焊接熔池区域图像为在波长范围为602nm至660nm的可见光图像或880nm以上的近红外图像；并对所采集图像进行传输前必要的预处理、ROI截取、压缩处理；将处理之后的图像数据通过无线传输方式实时传输至所述端侧图像处理系统4；所述无线传输方式采用数据速率不低于1Gbps，往返时延不高于1ms的Wi-Fi、5G、6G通讯技术进行传输；本实施例中，所述无线传输方式采用5G通讯技术进行传输；

3)所述端侧图像处理系统4对接收到的图像进行特征提取，得到表征焊接状态或焊接质量的图像特征；所述表征焊接状态或焊接质量的图像特征为形状描述特征、纹理描述特征、高级语义特征中的一种或多种特征；本实施例中，所述表征焊接状态或焊接质量的图像特征为高级语义特征；采用机器学习模型对所提取图像特征进行现场推理，实现焊接状态的判断和焊接质量的预测；本实施例中，所述机器学习模型采用由步骤3)中所述边缘云服务器5根据深度学习算法训练并下发的分类模型，如图5所示；根据推理结果对熔池图像进行标注；并根据推理结果和缺陷允收水准确定是否发送预警信息、是否对设备控制单元发送指令实现所述焊枪9熄弧和所述移动焊接机器人1的中断控制；本实施例中，对标注为异常焊接状态的图像进行缺陷分级和缺陷诊断，同时根据所述移动焊接机器人1移动速度和图像帧号计算和记录所述移动焊接机器人1当前位置信息，并向所述人机交互模块6发送预警信息和所述移动焊接机器人1当前位置信息；当缺陷分级结果超出允收水准时，对设备控制单元发送指令，实现所述焊枪9熄弧、所述移动焊接机器人1停止移动；将标注为异常焊接状态的图像、特征、缺陷分级和缺陷诊断结果数据通过5G网络上传至所述边缘云服务器5进行存储和人机交互操作；

4)如图2所示，所述边缘云服务器5对接收到的数据进行数据存储、数据预处理、数据标注、模型训练与测试、更新迭代模型，之后升级所述边缘云服务器5；本实施例中，所述数据预处理包括数据清洗、筛选出误判、新缺陷图像存入所述边缘云服务器5的典型缺陷图像数据库；所述边缘云服务器5将更新迭代后的模型分发给所述端侧图像处理系统4，完成现场机器学习模型的优化与升级；所述边缘云服务器5将可公开的熔池区域图像和信息数据上传至所述公有云服务器7进行信息管理；

5)所述端侧图像处理系统4由程序判断当前焊接任务是否结束，若当前焊接任务结束则对设备控制单元发送指令结束全部流程；本实施例中，所述设备控制单元计算出动作指令集，通过5G网络发送指令给所述视觉传感单元3、所述焊接烟尘排尘装置2、所述移动焊接机器人1执行终止当前动作；若当前焊接任务未结束，则返回步骤2)，并重复步骤2)至步骤5)。

Claims (8)

1.一种基于云边端协同的窄深空间内部焊接预警监测方法，其特征在于所述方法包括如下步骤：

1)在端侧图像处理系统中通过软件设置缺陷允收水准；移动焊接机器人携带焊枪抵达待焊轨迹初始位置；启动焊接烟尘排尘装置；视觉传感单元对待焊轨迹区域进行对焦；焊枪起弧焊接，移动焊接机器人开始行走；

2)视觉传感单元采集焊接熔池区域图像，并对所采集图像进行处理；将处理之后的图像数据通过无线传输方式实时传输至端侧图像处理系统；

3)端侧图像处理系统对接收到的图像进行特征提取，得到表征焊接状态或焊接质量的图像特征；采用机器学习模型对所提取图像特征进行现场推理，实现焊接状态的判断和焊接质量的预测；根据推理结果对熔池图像进行标注；并根据推理结果和缺陷允收水准确定是否发送预警信息、是否对设备控制单元发送指令实现焊枪熄弧和移动焊接机器人的中断控制；将标注为异常焊接状态的图像、特征和推理结果数据上传至边缘云服务器进行存储和人机交互操作；

4)边缘云服务器对接收到的数据进行数据预处理、数据标注、模型训练与测试、更新迭代模型，之后升级边缘云服务器；边缘云服务器将更新迭代后的模型分发给端侧图像处理系统，完成现场机器学习模型的优化与升级；边缘云服务器将可公开的熔池区域图像和信息数据上传至公有云服务器进行信息管理；

5)端侧图像处理系统由程序判断当前焊接任务是否结束，若当前焊接任务结束则对设备控制单元发送指令结束全部流程，否则返回步骤2)，并重复步骤2)至步骤5)。

2.根据权利要求1所述的一种基于云边端协同的窄深空间内部焊接预警监测方法，其特征在于：步骤1)和步骤2)中所述视觉传感单元采用无线电动跟焦方式进行待焊轨迹区域的对焦和焊接过程中的追焦。

3.根据权利要求1所述的一种基于云边端协同的窄深空间内部焊接预警监测方法，其特征在于：步骤1)中所述焊接烟尘排尘采用高负压除尘技术反吹焊接过程中的焊接烟尘，使窄深空间内部连续焊接过程中烟尘浓度降低至不影响视觉传感单元对熔池内部和边缘清晰成像的水平。

4.根据权利要求1所述的一种基于云边端协同的窄深空间内部焊接预警监测方法，其特征在于：步骤2)中所述焊接熔池区域图像中的成像对象包括熔池、焊丝端部、焊接过程中的熔滴和飞溅、电弧中的一种或多种对象。

5.根据权利要求1所述的一种基于云边端协同的窄深空间内部焊接预警监测方法，其特征在于：步骤2)中所述焊接熔池区域图像为在波长范围为602nm至660nm的可见光图像或880nm以上的近红外图像。

6.根据权利要求1所述的一种基于云边端协同的窄深空间内部焊接预警监测方法，其特征在于：步骤2)中所述无线传输方式采用数据速率不低于1Gbps，往返时延不高于1ms的Wi-Fi、5G、6G通讯技术进行传输。

7.根据权利要求1所述的一种基于云边端协同的窄深空间内部焊接预警监测方法，其特征在于：步骤3)中所述表征焊接状态或焊接质量的图像特征为形状描述特征、纹理描述特征、高级语义特征中的一种或多种特征。

8.根据权利要求1所述的一种基于云边端协同的窄深空间内部焊接预警监测方法，其特征在于：步骤3)中所述机器学习模型采用由步骤3)中所述边缘云服务器根据机器学习或深度学习算法训练并下发的分类模型。

Images