CN114012210A - 电弧增材过程的沉积质量判断系统及方法 - Google Patents

Abstract

本发明涉及一种电弧增材过程的沉积质量判断系统及方法。根据过程监控采集到的信号，对增材沉积质量进行判断，整体系统包括工控机、工业机器人、弧焊焊机、三通路采集卡、被动视觉传感模块等。其中工控机、机器人以及弧焊焊机相连接，构成电弧增材实验系统，被动视觉传感器则负责过程中熔池图像采集，采集卡与工控机相连，负责电流电压信号的采集。送丝电弧增材在沉积过程中，在进行除基层外的堆积时，容易出现熔池向两侧流淌的情况，从而导致焊道的塌陷，最终影响沉积成形质量。针对这种现象，本发明通过采集过程中的熔池图像以及电流电压信号，对图像进行处理并提取熔池图像特征以及电流电压特征，建立深度学习分类模型，对堆焊沉积情况做分类判断，判断结果良好，有较高准确率。该方法对提高电弧增材成品率有很大帮助，对送丝电弧增材过程控制有着重要意义。

Description

电弧增材过程的沉积质量判断系统及方法

技术领域

本发明涉及一种电弧增材过程的沉积质量判断系统及方法。

背景技术

电弧增材制造(WAAM)是一种重要的金属3D打印方式，是先进制造领域的一项新兴技术。根据热源的不同，金属增材可分为激光、电子束、电弧三种；而根据原材料的选取的不同，又可以被分为送丝与送粉两种；其中，电弧增材便是以电弧作为热源，以焊丝作为原材料的金属增材方式，比起其他的增材方式来说，具有成本低，沉积速度快，适用于大型结构件的优点，目前对其的研究正如火如荼的开展；尽管针对WAAM的研究正快速增长，但在实际的生产过程中仍然存在不少问题与挑战；目前，电弧增材制造缺乏必要的过程监控手段，所以无法在线获取实时的沉积情况，只能通过焊后的轮廓扫描仪或者激光点云的手段来判断堆焊是否成功，无法采集过程信息，更无法对出现塌陷缺陷的焊道做出在线反馈调控。

发明内容

本发明的目的是提供一种电弧增材过程的沉积质量判断系统及方法，以填补现有技术的空缺，针对WAAM缺乏过程监控手段，提供了一种WAAM堆焊在线信号采集以及沉积质量的监测方法。

本发明通过以下技术方案来实现：

本发明所用机器人GMA-AM电弧送丝3D打印系统包括：

FANUC焊接机器人、机器人控制柜、焊枪、Fronius CMT焊接电源、焊接保护气体、送丝机、工控机、主动视觉传感器、被动视觉传感器、霍尔传感器和信号采集卡；其中，工控机是系统中的核心设备，包括以下几个功能：实现人机交互、在焊前设定电弧增材的各项参数、切片并生成预规划路径、传输机器人位置信息、视觉传感器的控制、点云信息的处理等。

本发明的电弧增材过程的沉积质量判断系统，包括：

FANUC焊接机器人、机器人控制柜、焊枪、焊接保护气体、送丝机和工控机；

与所述工控机连接焊前规划以及参数设定模块，工控机通过电弧增材切片与路径规划软件对焊前规划以及参数设定模块，进行轨迹的设定并通过福尼斯焊机进行参数的预设定。

与所述工控机连接的信号采集卡，信号采集卡与过程信号采集模块连接；

与信号采集卡相连接信息处理模块，用于处理多种原始信息，得到焊接过程中的熔池特征信息；

与工控机连接焊后形貌测定以及反馈控制模块，用于单层增材完成后，通过主动视觉传感器采集激光结构光得到成型件的三维点云数据，并基于三维点云数据反馈调控下一层起弧位置；

与信号采集卡以及信息处理模块相连接的沉积质量预测模块，用于根据特征信息得到增材沉积质量分类。

优选的，所述过程信号采集模块包括：被动视觉传感器、主动视觉传感器、激光发射器和霍尔传感器(电流电压传感器)。

其中，所述霍尔传感器，用于采集电弧增材过程中的电信号；

视觉传感器，用于采集电弧增材过程中的熔池图像。

优选的，所述多种原始信息包括：熔池图像和电流电压信号。

优选的，所述熔池特征信息包括：熔池的熔宽、熔长、熔池面积、灰度直方图、熔池轮廓、电流电压真实值和电流电压有效值。

优选的，所述信息处理模块为深度学习目标分割网络，用于从原始熔池图像中提取熔池特征信息，所述熔池特征信息，包括：熔长、熔宽、熔池轮廓和熔池面积。

优选的，所述沉积质量预测模块为深度学习分类模块，输入为：经处理后的电流电压特征和熔池特征信息，输出为：沉积质量分类情况。

优选的，所述焊前规划以及参数预设模块，用于通过对三维模型进行切片和路径规划获取焊枪路径点，预设定的参数包括：初始温度、初始电流电压、送丝速度和焊枪移动速度。

优选的，所述焊后形貌测定以及反馈控制模块，用于采集三维点云数据，处理三维点云数据，基于处理后的三维点云数据，判断当前层是否存在塌陷情况，获取焊道实际高度，从而决定下一层起弧位置。

本发明提出的一种采用上述电弧增材过程的沉积质量判断系统的电弧增材过程的沉积质量判断方法，包括：

S1、路径规划：在焊接前，根据所要制造的三维模型进行切片与路径规划，生成机器人的空间路径点；

S2、信息采集：开始焊接后，信号采集卡获取增材过程中的多种原始信息并传递给信息处理模块；

S3、信息处理模块分别对采集到的多种信息进行处理，提取其中的特征信息，作为质量沉积预测模块的输入；

S4、图像特征提取：信息处理模块将获取到的初始图像输入至深度学习网络模型中，进行目标分割，获取熔池的精准轮廓，从而进一步获得包括熔长，熔宽和熔池面积的熔池特征信息；

S5、将信息处理模块提取到的熔池特征信息作为沉积质量预测模块的输入，沉积质量预测模块的输为增材沉积质量分类信息；

S6、焊后反馈控制：单层堆焊完成后，焊后形貌测定以及反馈控制模块根据主动视觉传感器采集到的三维点云数据，对下一层的路径以及初始参数做出预规划。

与现有技术相比，本发明具有以下优异效果：

1.本发明可以通过工控机内的图形化界面完成焊前路径规划以及机器人运动路径的生成，避免直接与机器人控制柜相接触，增加了电弧增材制造整体的自动化程度，保证了操作人员的安全性和操作的便捷性。

2.本发明实时采集增材沉积过程中的多种原始信息，比如电流、电压、熔池图像等信息，进一步对初始信号进行处理，提取沉积过程中的特征信息；

3.本发明基于深度学习网络，对采集到的原始熔池图片进行目标分割，可以更加准确的提取熔池轮廓，进而获取相关特征信息，用于后续的判断；

4.本发明基于残差神经网络，将经过处理获取到的特征信息作为输入，获取对增材沉积状态的分类判断，实现实时监测的目的。

本发明根据过程监控采集到的信号，对增材沉积质量进行判断，整体系统包括工控机、工业机器人、弧焊焊机、三通路采集卡、被动视觉传感模块等。其中工控机、机器人以及弧焊焊机相连接，构成电弧增材实验系统，被动视觉传感器则负责过程中熔池图像采集，采集卡与工控机相连，负责电流电压信号的采集。送丝电弧增材在沉积过程中，在进行除基层外的堆积时，容易出现熔池向两侧流淌的情况，从而导致焊道的塌陷，最终影响沉积成形质量。针对这种现象，本发明通过采集过程中的熔池图像以及电流电压信号，对图像进行处理并提取熔池图像特征以及电流电压特征，建立深度学习分类模型，对堆焊沉积情况做分类判断，判断结果良好，有较高准确率。该方法对提高电弧增材成品率有很大帮助，对送丝电弧增材过程控制有着重要意义。

附图说明

图1为本发明的送丝电弧增材制造以及过程监控系统示意图；

图2为本发明的整体流程图；

图3为本发明的送丝电弧增材软件界面示意图；

图4为本发明的三种不同的沉积状态的熔池图像；

图5a为本发明的增材整体过程信号；

图5b为本发明的短时焊接电压、电流信号；

图5c为本发明的焊接电流RMS；

图5d为本发明的焊接电压RMS；

图6为本发明的熔池图像轮廓提取选用目标分割网络模型；

图7为本发明的目标分割网络提取熔池实际效果；

图8为本发明的涉及的沉积质量分类网络模型结构；

图9为本发明的焊后点云图像处理流程。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

基于以上问题，本发明侧重以下几点：1、构建可在线采集电信号以及视觉信号的电弧增材过程监控系统；2、设计了熔池图像、以及电信号的特征提取算法；3、同时使用以上得到的特征对实时沉积状态进行判断，为后续对沉积状态进行控制打下基础。

在正常的电弧增材制造过程中，由于难以保证上一层表面的平坦，以及焊接过程的不稳定性，在进行新一层的堆焊时，会出现焊道的塌陷、或者是焊道过窄，与上一层相差较大的缺陷，从而导致工件成形失败。本发明增加沉积过程监控模块，通过采集堆焊过程中的视觉信号以及电信号，来在线判断当前的工件沉积状态，从而保证工件堆积的可靠性，提高电弧增材制造的成品率。

如图1所示，本发明提出一种GMA送丝电弧增材系统，并添加了增材过程监控以及实时沉积状态判断模块。整体系统包括：Fanuc工业机器人、机器人控制柜、MIG焊枪头、福尼斯焊机、保护气、工控机、主动视觉传感器、被动视觉传感器、霍尔传感器、信号采集卡。其中，工控机是整个系统的核心部件，通过它实现人机交互，完成焊前的机器人路径生成、初始参数的设定、过程信息的采集、特征信息的提取、以及实时沉积状态的判断等。

图3为本发明的送丝电弧增材软件界面示意图。

本发明采用的焊接机器人型号是FANUC M-10iA 12，焊接控制器型号为R-30iA，控制器目前的系统软件为V7.7版本，采用FANUC自研的RobotInterface通讯接口以机器人为服务端，工控机可通过接口获取机器人的实时姿态信息，并对机器人传输路径信息；主动视觉传感器在硬件包括线激光器，CCD相机，光学镜片构成的减光滤光系统，树脂壳体等组成，在保证必要的功能和散热等前提下实现了小型化和轻量化，保证视觉传感器安装在焊枪之上时保持稳定。被动视觉传感器采用工业相机固定在距离焊枪头200mm左右，直接与工控机相连接，通过相机自带的SDK，在工控机上即可通过图形化界面调节其曝光时间，采集频率、图片像素等重要参数，并且通过在镜头附加的滤光以及减光片除去大部分弧光噪声。数据采集卡分别与上位工控机、还有霍尔传感器相连接，霍尔传感器固定于基座上，负责监测过程中电流电压信号。焊接过程中，霍尔传感器和焊机分别会将电流数据和电压数据传递给数据采集卡，数据采集卡会将这些模拟信号转换成数字信号，将数字信号传递给工控机，工控机会将这些数据在人机交互软件上进行展示并且保存在文件里。

如图2所示，本发明提出的一种采用上述GMA电弧增材过程信息监控系统的沉积质量监测方法，包括：

步骤一：将工业相机安装在焊枪移动方向上，且与移动方向相对，可以保证获取的熔池图像清晰且稳定，调整熔池图像位于视野正中心，使图像保留最多的信息。电流电压采集频率设为10000Hz，保证提取到准确的电流电压数据。

步骤二：采集大量熔池图像，压缩到指定大小，并对熔池图像进行目标分割的标注，制作训练数据集，将所有的图像按6：3：1的比例划分为训练集、测试集、验证集，设置好epoch以及batch size，进行训练，所选取的Deep Snake网络模型会对相应目标的轮廓特征进行学习，比逐像素级的目标分割耗时更少，因此有着更好的实时性，网络结构如图6所示，经过训练，训练模型的loss值可以很好收敛，从而得到提取熔池轮廓特征的网络模型，该模型对熔池目标分割的loU可以达到0.94，pa可以达到0.87，对熔池轮廓可以达到准确的提取效果，提取效果如图7所示。

步骤二：采集到的原始数据，需要经过进一步的处理。对于熔池图像，先要经过滤波操作去除图像噪声，再经过变换图像大小，将图像转为模型的要求输入尺寸，进一步输入至上述的熔池轮廓提取网络模型中，得到熔池的轮廓特征，通过轮廓特征，进而可以计算出熔池的长度、宽度、以及面积(像素点)等熔池特征。电流电压数据则通过对实际采集到的初始数据进行处理，获取实时的电流电压有效值作为下一步分类的输入，如图5a、5b、5c和5d所示原始电信号特征提取示意图。

步骤三：构建深度网络模型，将上述的熔池特征以及电信号的特征信息作为该网络的输入，得到增材制造过程中的沉积质量分类。本实例中所构建的深度学习学习网络优选的为ResNet残差神经网络，网络结构如图8所示，在其他实例中，该网络也可以是机器学习分类网络。

沉积质量分类信息主要是沉积状态的信息，而本实例中沉积状态主要分为：正常沉积、沉积塌陷、沉积不完全。如图4所示，沉积塌陷在熔池图像上主要表现为，熔池拖尾部分宽度与最开始部分的尺寸差距较大，且拖尾部分熔池呈现不规则的形状。而沉积不完全的在图像上主要表现为，熔池尺寸过小，与上一层焊道尺寸差距较大。而电信号方面，出现塌陷的焊道部分处，电流有效值比起正常焊道处会出现异常增大，而在沉积不足处，电流有效值又会出现明显的下降趋势，这些特征保证了经过网络模型分类后，可以得到准确的分类效果。

步骤四：在当前层的沉积完成后，在冷却期间，使用主动视觉系统对工件当前层的各焊道高度进行检测，根据各焊道的实际高度，从而对下一层焊道的起弧高度以及初始参数进行预规划。由于实际焊接过程的不稳定性，以及机器人运动误差等，单层的多个焊道会出现不同程度的高度误差，为了弥补这样的高度误差，在进行下一层焊接之前，需要借助主动视觉传感器进行一次三维点云扫描，从而获取当前层完成的表面信息以及高度信息，如图9所示；之后根据不同焊道的高度误差，对下一层焊道的初始参数(包括电流、电压、送丝速度、焊枪移动速度)做预规划，使得下一层焊道的高度误差尽可能的小，工件获得更高的表面质量，同时调控起弧高度至实际高度处，保证下一层的焊接可以顺利进行。

实际步骤主要包括：使用主动视觉传感器扫描当前层工件表面，获取当前工件的三维点云。原始点云数据有着较多的噪声和离群点，需要进行高斯滤波进行去除，对滤波之后的点云数据沿着xy平面间隔固定距离进行连续的切片处理，对单个切片上的点云进行投影，获得二维点云数据，提取当前二维点云数据的最高点，获得对应焊道位置上的实际高度。根据不同焊道的高度，即可进行下一层焊道起弧高度的规划，以及参数的预设。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (12)

1.一种电弧增材过程的沉积质量判断系统，其特征在于，包括：

FANUC焊接机器人、机器人控制柜、焊枪、焊接保护气体、送丝机和工控机；

与所述工控机连接焊前规划以及参数设定模块，工控机通过电弧增材切片与路径规划软件对焊前规划以及参数设定模块，进行轨迹的设定并通过福尼斯焊机进行参数的预设定。

与所述工控机连接的信号采集卡，信号采集卡与过程信号采集模块连接；

与信号采集卡相连接信息处理模块，用于处理多种原始信息，得到焊接过程中的熔池特征信息；

与工控机连接焊后形貌测定以及反馈控制模块，用于单层增材完成后，通过主动视觉传感器采集激光结构光得到成型件的三维点云数据，并基于三维点云数据反馈调控下一层起弧位置；

与信号采集卡以及信息处理模块相连接的沉积质量预测模块，用于根据特征信息得到增材沉积质量分类。

2.如权利要求1所述的电弧增材过程的沉积质量判断系统，其特征在于，所述过程信号采集模块包括：被动视觉传感器、主动视觉传感器、激光发射器和霍尔传感器。

3.如权利要求2所述的电弧增材过程的沉积质量判断系统，其特征在于，所述霍尔传感器，用于采集电弧增材过程中的电信号。

4.如权利要求1所述的电弧增材过程的沉积质量判断系统，其特征在于，所述视觉传感器，用于采集电弧增材过程中的熔池图像。

5.如权利要求1所述的电弧增材过程的沉积质量判断系统，其特征在于，所述多种原始信息包括：熔池图像和电流电压信号。

6.如权利要求1所述的电弧增材过程的沉积质量判断系统，其特征在于，所述熔池特征信息包括：熔池的熔宽、熔长、熔池面积、灰度直方图、熔池轮廓、电流电压真实值和电流电压有效值。

7.如权利要求1所述的电弧增材过程的沉积质量判断系统，其特征在于，所述信息处理模块为深度学习目标分割网络，用于从原始熔池图像中提取熔池特征信息。

8.如权利要求7所述的电弧增材过程的沉积质量判断系统，其特征在于，所述熔池特征信息，包括：熔长、熔宽、熔池轮廓和熔池面积。

9.如权利要求7所述的电弧增材过程的沉积质量判断系统，其特征在于，所述沉积质量预测模块为深度学习分类模块，输入为：经处理后的电流电压特征和熔池特征信息，输出为：沉积质量分类情况。

10.如权利要求1所述的电弧增材过程的沉积质量判断系统，其特征在于，所述焊前规划以及参数预设模块，用于通过对三维模型进行切片和路径规划获取焊枪路径点，预设定的参数包括：初始温度、初始电流电压、送丝速度和焊枪移动速度。

11.如权利要求1所述的电弧增材过程的沉积质量判断系统，其特征在于，所述焊后形貌测定以及反馈控制模块，用于采集三维点云数据，处理三维点云数据，基于处理后的三维点云数据，判断当前层是否存在塌陷情况，获取焊道实际高度，从而决定下一层起弧位置。

12.一种采用如权利要求1至11任一项所述电弧增材过程的沉积质量判断系统的电弧增材过程的沉积质量判断方法，其特征在于，所述方法包括：

在焊接前，根据所要制造的三维模型进行切片与路径规划，生成机器人的空间路径点；

开始焊接后，信号采集卡获取增材过程中的多种原始信息并传递给信息处理模块；

信息处理模块分别对采集到的多种信息进行处理，提取其中的特征信息，作为质量沉积预测模块的输入；

信息处理模块将获取到的初始图像输入至深度学习网络模型中，进行目标分割，获取熔池的精准轮廓，从而进一步获得包括熔长，熔宽和熔池面积的熔池特征信息；

将信息处理模块提取到的熔池特征信息作为沉积质量预测模块的输入，沉积质量预测模块的输为增材沉积质量分类信息；

单层堆焊完成后，焊后形貌测定以及反馈控制模块根据主动视觉传感器采集到的三维点云数据，对下一层的路径以及初始参数做出预规划。

Images