CN116871632B - 基于弧压和熔池视觉的机器人打底焊成形缺陷监测方法 - Google Patents

Abstract

本发明公开了一种基于弧压和熔池视觉的管道机器人打底焊成形缺陷监测方法，建立管道打底焊成形异常数据集，焊前将管道分段，并基于每段的热流偏差指数和热流偏差波动指数匹配查询数据集中的未成形参考弧压基准值、焊穿参考弧压基准值、未成形样本图像和焊穿样本图像；将实际弧压值分别与计算得到的未成形参考弧压值和焊穿参考弧压值进行对比判断，并基于判断结果实时截取熔池图像；利用神经网络将截取的熔池图像和数据集中图像进行相似度对比；若输出结果全部为未知，则预警但焊接继续；若输出结果出现未成形或者焊穿，则立即停止焊接。本发明实现了管道机器人自动打底焊成形缺陷的监测。

Description

基于弧压和熔池视觉的机器人打底焊成形缺陷监测方法

技术领域

本发明涉及机器人自动焊接领域，具体地说，是一种基于弧压和熔池视觉的机器人打底焊成形缺陷监测方法。

背景技术

目前，石化工艺管道焊接主要是手工焊以及自动化专机焊接，但是该方法存在工作量大、人工成本比较高、技术人员难以培养，焊接效率低慢、焊接过程存在安全隐患以及焊接质量不稳定等问题。而焊接机器人具有工作时间长、焊接质量稳定、效率高等优点，使得焊接机器人代替人工已经成为主要趋势。

但是焊接机器技术应用目前存在诸多挑战，当前主要是通过人工示教的方式进行管道焊接，然而该方法对工件标准化要求高，对下料精度、焊缝间隙等要求高，对焊接过程中出现的个别问题不会快速反应调整。因此，在石化工艺管道机器人自动打底焊实际现场施工中，因外界环境、装配等因素影响，容易造成焊接过程中产生成形缺陷。为解决上述问题，需要实时监测并反馈石化工艺管道机器人自动打底焊过程，并采取相应的调控措施，最终提高焊接效率以及减少时间和材料的浪费。

现如今，人们一般借助传感器和计算机进行焊接过程智能实时监测。目前主要是通过电信号和熔池视觉。其中，熔池视觉可以形象地描述金属熔化、流动、凝固成形的一系列过程，焊接电信号则反应了焊接过程中弧压的变化，而弧压的变化反应焊枪到坡口底部距离变化，焊枪离坡口底部距离越大，则弧压值越大。因此，熔池图像和焊接电信号都是判断焊接质量的重要方法。一般是将焊接成形缺陷直接与弧压、熔池视觉之间建立映射模型，从而实现管道焊接成形缺陷的监测。对于一些管道焊接缺陷是无法从单一信号进行判断，因此需要结合焊接缺陷在不同信息下产生的特征，采用多维信息融合的方法进行缺陷的精准识别和监测。

发明内容

本发明的目的在于提供一种基于弧压和熔池视觉的机器人打底焊成形缺陷监测方法，用于石化管道机器人自动打底焊过程的实时监测。

实现本发明目的的技术解决方案为：

一种基于弧压和熔池视觉的管道机器人打底焊成形缺陷监测方法，包括以下步骤：

步骤1：建立管道机器人自动打底焊成形异常数据集。

进一步的，打底焊成形异常数据集包括管道材质、管道壁厚、热流偏差指数、热流偏差波动指数、未成形参考弧压基准值、焊穿参考弧压基准值、未成形样本图像和焊穿样本图像；

步骤2：焊前输入管道材质和壁厚信息，同时启动激光扫描仪扫描管道坡口以获取坡口轮廓的原始数据；

步骤:3：将管道坡口以5-10°进行分段，并计算每段坡口激光扫描的帧数、热流偏差指数和热流偏差波动指数。

进一步的，基于坡口存在错边，计算每段坡口的激光扫描的帧数、热流偏差指数和热流偏差波动指数包括：

每帧坡口较高侧的热流面积计算公式如下：

其中，m为坡口间隙，θ为坡口角度，η为常数。

每帧坡口较低侧的热流面积计算公式如下：

其中，d为错边量，γ为常数。

每帧坡口的热流偏差指数计算公式如下：

每段坡口中激光扫描仪扫描的帧数计算公式如下：

其中，n为激光扫描保存的帧数，f为激光扫描仪扫描的帧率，ω为划分的度数，v为激光扫描坡口的速度；

每段坡口的热流偏差指数计算公式如下：

每段坡口的热流偏差波动指数计算公式如下：

步骤4：根据每段坡口的热流偏差指数和热流偏差波动指数匹配查询打底焊成形异常数据集中的未成形参考弧压基准值、焊穿参考弧压基准值、未成形样本图像及焊穿样本图像。

进一步的，匹配查询打底焊成形异常数据集中的未成形参考弧压基准值、焊穿参考弧压基准值、未成形样本图像和焊穿样本图像具体包括：

首先，从打底焊成形异常数据集初步筛选出与焊前输入的管道材质和壁厚一样的数据集；

然后，将热流偏差指数进行如下公式计算，并从初步筛选的打底焊成形异常数据集中进一步筛选与S_AZ相同的热流偏差指数的数据集，记为数据集1；

为每段坡口热流偏差指数；

接着，将计算得到的热流偏差波动指数依次与数据集1中热流偏差波动指数进行比较，如果计算得到的热流偏差波动指数小于数据集1中热流偏差波动指数，则保存数据集1中热流偏差波动指数，并记为热流偏差波动指数集合；

然后，根据以下公式，从热流偏差波动指数集合中获取最小值；

其中，δ_si为打底焊成形异常数据集中热流偏差波动指数；

最后，从数据集1中再进一步筛选与δ_Z相同的热流偏差波动指数的数据集，从而确定未成形参考弧压基准值、焊穿参考弧压基准值、未成形样本图像和焊穿样本图像。

步骤5：将查询得到的未成形参考弧压基准值和焊穿参考弧压基准值分别输入未成形参考弧压值推理模型和焊穿参考弧压值推理模型中，计算出每段未成形参考弧压值和焊穿参考弧压值。

进一步的，未成形参考弧压值推理模型和焊穿参考弧压值推理模型具体公式如下：

其中，U_R1和U_R2分别为未成形参考弧压值和焊穿参考弧压值，U_kr1和U_kr2分别为未成形参考弧压基准值和焊穿参考弧压基准值，m与材料类别有关，b为管道厚度，λ₁、λ₂、β₁和β₂为常数。

步骤6：启动管道机器人自动打底焊，焊接参数采集盒以220Hz实时采集管道机器人自动打底焊过程中的弧压值。计算实际弧压值减去未成形参考弧压值，若计算的值大于0且小于等于1V，则实时连续截取3-5帧疑似未成形熔池图像；计算每段坡口的实际弧压值减去焊穿参考弧压值，若计算的值大于0，则实时连续截取3-5帧疑似焊穿熔池图像。

步骤7：若截取的是疑似未成形熔池图像，则是将截取的熔池图像和查询得到的未成形样本图像输入Siamese神经网络中进行图像相似度对比，对于截取的疑似焊穿熔池图像则是相同的流程；若相似度超过80%，则输出结果为未成形或者焊穿，若相似度低于80%，则输出结果为未知；其中，Siamese网络采用二元交叉熵作为损失函数、Resnet作为特征提取网络，相似度为80%作为阈值。

步骤8：根据神经网络模型输出结果判断是否继续进行管道机器人自动打底焊；若输出结果全部为未知，则提示预警但焊接继续；若输出结果出现未成形或者焊穿，则立即停止焊接。

本发明与现有技术相比，其显著优点为：本发明采用弧压电信号和熔池图像多维信息融合的方法进行管道机器人自动打底焊焊接缺陷监测，解决了单一方法难以准确监测焊穿和未成形缺陷的问题，极大提高了焊接缺陷预测准确率，提高了生产效率，降低了成本。

附图说明

图1是本发明基于弧压和熔池视觉的管道机器人打底焊成形缺陷监测方法的流程图。

图2是本发明基于弧压和熔池视觉的管道机器人打底焊成形缺陷监测方法中管道坡口的示意图。

图3是本发明基于弧压和熔池视觉的管道机器人打底焊成形缺陷监测方法中无未成形和焊穿缺陷的电信号和熔池图像。图3中的（a）是弧压无波动的电信号和不同时刻的熔池图像图，图3中的（b）是弧压在参考弧压值附近1V波动的电信号和不同时刻的熔池图像图，图3中的（c）是弧压在30V左右波动的电信号和不同时刻的熔池图像图。

图4是本发明基于弧压和熔池视觉的管道机器人打底焊成形缺陷监测方法中焊穿缺陷的实例、电信号和熔池图像图。图4中的（a）是焊穿缺陷实例图，图4中的（b）是焊穿缺陷的电信号图，图4中的（c）是焊穿缺陷在不同时刻的熔池图像图。

图5是本发明基于弧压和熔池视觉的管道机器人打底焊成形缺陷监测方法中未成形缺陷的实例、电信号和熔池图像图。图5中的（a）是未成形缺陷实例图，图5中的（b）是未成形缺陷的电信号图，图5中的（c）是未成形缺陷在不同时刻的熔池图像图。

实施方式

本发明基于焊接电信号和熔池图像进行管道机器人自动打底焊过程焊接缺陷监测。一般是将焊接成形缺陷直接与弧压、熔池视觉之间建立映射模型，从而实现管道焊接成形缺陷的监测。实际管道坡口焊接成形好坏与坡口两侧热流密度分布以及坡口尺寸有关。因此，不能简单的将焊接成形缺陷直接与弧压、熔池视觉之间建立映射模型。由此，需要先根据坡口尺寸计算坡口两侧的热流分布以及波动范围，然后建立热流分布及波动与弧压、熔池视觉之间的映射关系，从而实现管道焊接成形缺陷精确判断与监测。

通过对石化工艺管道自动打底焊过程实时监测，解决了焊接机器人如何实时识别焊接缺陷的问题，从而推动了焊接机器人管道自动焊智能化应用。因此，本发明提出了基于热流密度分布与弧压、熔池视觉之间映射模型技术，建立了管道机器人自动打底焊成形异常数据集，从而实现了基于弧压和熔池视觉的机器人打底焊成形缺陷监测。

本发明首先基于激光扫描仪扫描数据计算每段坡口的热流偏差指数和热流偏差波动指数。其次，基于每段坡口的热流偏差指数和热流偏差波动指数匹配打底焊成形异常数据集的未成形和焊穿参考弧压基准值，并根据未成形和焊穿参考弧压值推理模型得到每段坡口的未成形和焊穿参考弧压值。然后，将实际弧压值分别与未成形参考弧压值和焊穿参考弧压值进行对比并判断，基于判断结果实时截取熔池图像。最后，将截取熔池图像和匹配的未成形样本图像或焊穿样本图像输入Siamese神经网络中进行图像相似度对比；若输出结果全部为未知，则提示预警但焊接继续；若输出结果出现未成形或者焊穿，则立即停止焊接。本发明实现了管道机器人自动打底焊成形缺陷的监测。

下面结合说明书附图对本发明作进一步说明，具体流程如图1所示。

本实例采用的是管壁厚为9mm，坡口间隙为0-2mm以及坡口错边量为0-2mm的350mm碳钢管道，坡口形貌如图2所示，其中m为坡口间隙、d为坡口错边量，θ为坡口角度。如图3所示，无焊穿和未成形缺陷的电信号波动较大，存在1-30V之间的波动，其中1V左右的波动主要是因为熔池表面呈现月牙形，导致电弧经过熔池中心时弧长变长引起的弧压上升；30V左右的波动主要是因为管道坡口尺寸发生变化，导致焊接点位变高，从而引起弧压急剧上升，但是从熔池视觉上表现为完整熔池。如图4所示，有焊穿缺陷的焊缝在弧压和熔池视觉上表现出的特征为弧压值高于30V且熔池中心未连接。如图5所示，未成形缺陷的焊缝在弧压和熔池视觉上表现出的特征为弧压值仅高于未成形参考弧压值1V，但是熔池中心未连接。因此，无法仅从单一弧压和熔池视觉判断焊接缺陷的类型，需要弧压和熔池视觉协同进行缺陷判断。因此，本发明一种基于弧压和熔池视觉的管道机器人打底焊成形缺陷监测方法，具体按照以下步骤实施：

步骤1：建立管道机器人自动打底焊成形异常数据集，如表1所示。

表1

进一步的，打底焊成形异常数据集包括管道材质、管道壁厚、热流偏差指数、热流偏差波动指数、未成形参考弧压基准值、焊穿参考弧压基准值、未成形样本图像和焊穿样本图像；通过焊前输入管道材质、壁厚以及激光扫描计算的每段坡口尺寸热流偏差指数和热流偏差波动指数匹配未成形参考弧压基准值焊穿参考弧压基准值、未成形样本图像和焊穿样本图像。

步骤2：焊前通过人机交互界面输入管道材质和壁厚信息，同时启动激光扫描仪扫描管道坡口以获取坡口轮廓的原始数据。

步骤3：将管道坡口以5°进行分段，并计算每段坡口激光扫描的帧数、热流偏差指数和热流偏差波动指数。

进一步的，基于坡口存在错边，计算每段坡口的激光扫描的帧数、热流偏差指数和热流偏差波动指数包括：

每帧坡口较高侧的热流面积计算公式如下：

其中，m为坡口间隙，θ为坡口角度，η为常数。

每帧坡口较低侧的热流面积计算公式如下：

其中，d为错边量，γ为常数。

每帧坡口的热流偏差指数计算公式如下：

每段坡口中激光扫描仪扫描的帧数计算公式如下：

其中，n为激光扫描保存的帧数，f为激光扫描仪扫描的帧率，ω为划分的度数，v为激光扫描坡口的速度；

每段坡口的热流偏差指数计算公式如下：

每段坡口的热流偏差波动指数计算公式如下：

步骤4：根据每段坡口的热流偏差指数和热流偏差波动指数匹配查询打底焊成形异常数据集中的未成形参考弧压基准值、焊穿参考弧压基准值、未成形样本图像及焊穿样本图像。

进一步的，匹配查询打底焊成形异常数据集中未成形参考弧压基准值、焊穿参考弧压基准值、未成形样本图像和焊穿样本图像包括具体包括：

首先，从打底焊成形异常数据集初步筛选出与焊前输入的管道材质和壁厚一样的数据集；

然后，将热流偏差指数进行如下公式计算，并从初步筛选的打底焊成形异常数据集中进一步筛选与S_AZ相同的热流偏差指数的数据集，记为数据集1；

为每段坡口热流偏差指数；

接着，将计算得到的热流偏差波动指数依次与数据集1中热流偏差波动指数进行比较，如果计算得到的热流偏差波动指数小于数据集1中热流偏差波动指数，则保存数据集1中热流偏差波动指数，并记为热流偏差波动指数集合；

然后，根据以下公式，从热流偏差波动指数集合中获取最小值；

其中，δ_si为打底焊成形异常数据集中热流偏差波动指数；

最后，从数据集1中再进一步筛选与δ_Z相同的热流偏差波动指数的数据集，从而确定未成形参考弧压基准值、焊穿参考弧压基准值、未成形样本图像和焊穿样本图像。

步骤5：将查询得到的未成形参考弧压基准值和焊穿参考弧压基准值分别输入未成形参考弧压值推理模型和焊穿参考弧压值推理模型中，计算出每段未成形参考弧压值和焊穿参考弧压值。

进一步的，未成形参考弧压值推理模型和焊穿参考弧压值推理模型具体公式如下：

其中，U_R1和U_R2分别为未成形参考弧压值和焊穿参考弧压值，U_kr1和U_kr2分别为未成形参考弧压基准值和焊穿参考弧压基准值，m与材料类别有关（不锈钢为0.2，碳钢为0.3），b为管道厚度，λ₁、λ₂、β₁和β₂为常数。

步骤6：启动管道机器人自动打底焊，焊接参数采集盒以220Hz实时采集管道机器人自动打底焊过程中的弧压值。计算实际弧压值减去未成形参考弧压值，若计算的值大于0且小于等于1V，则实时连续截取5帧疑似未成形熔池图像；计算每段坡口的实际弧压值减去焊穿参考弧压值，若计算的值大于0，则实时连续截取5帧疑似焊穿熔池图像。

步骤7：若截取的是疑似未成形熔池图像，则是将截取的熔池图像和查询得到的未成形样本图像输入Siamese神经网络中进行图像相似度对比，对于截取的疑似焊穿熔池图像则是相同的流程；若相似度超过80%，则输出结果为未成形或者焊穿，若相似度低于80%，则输出结果为未知；其中，Siamese网络采用二元交叉熵作为损失函数、Resnet作为特征提取网络，相似度为80%作为阈值。

步骤8：根据神经网络模型输出结果判断是否继续进行管道机器人自动打底焊；若输出结果全部为未知，则提示预警但焊接继续；若输出结果出现未成形或者焊穿，则立即停止焊接。

Claims (3)

1.一种基于弧压和熔池视觉的机器人打底焊成形缺陷监测方法，其特征在于，包括以下步骤：

步骤1：建立管道机器人自动打底焊成形异常数据集；所述打底焊成形异常数据集包括：管道材质、管道壁厚、热流偏差指数、热流偏差波动指数、未成形参考弧压基准值、焊穿参考弧压基准值、未成形样本图像和焊穿样本图像；

步骤2：焊前输入管道材质和壁厚信息，同时启动激光扫描仪扫描管道坡口以获取坡口轮廓的原始数据；

步骤3：将管道坡口以5-10°进行分段，并计算每段坡口激光扫描的帧数、热流偏差指数和热流偏差波动指数；所述的计算每段坡口激光扫描的帧数、热流偏差指数和热流偏差波动指数包括：

每帧坡口较高侧热流面积计算公式如下：

，

其中，m为坡口间隙，θ为坡口角度，η为常数；

每帧坡口较低侧热流面积计算公式如下：

，

其中，d为错边量，γ为常数；

每帧坡口热流偏差指数计算公式如下：

，

每段坡口中激光扫描仪扫描的帧数计算公式如下：

，

其中，n为激光扫描保存的帧数，f为激光扫描仪扫描的帧率，ω为规划的度数，v为激光扫描坡口的速度；

每段坡口热流偏差指数计算公式如下：

，

其中，S_i为同一段内不同帧下热流偏差指数；

每段坡口热流偏差波动指数计算公式如下：

；

步骤4：根据每段坡口的热流偏差指数和热流偏差波动指数匹配查询打底焊成形异常数据集中的未成形参考弧压基准值、焊穿参考弧压基准值、未成形样本图像及焊穿样本图像；

步骤5：将查询得到的未成形参考弧压基准值和焊穿参考弧压基准值分别输入未成形参考弧压值推理模型和焊穿参考弧压值推理模型中，计算出每段未成形参考弧压值和焊穿参考弧压值；

步骤6：启动管道机器人自动打底焊，焊接参数采集盒以220Hz实时采集管道机器人自动打底焊过程中的弧压值；将实际弧压值减去未成形参考弧压值，若计算的值大于0且小于等于1V，则实时连续截取3-5帧疑似未成形熔池图像；将每段坡口的实际弧压值减去焊穿参考弧压值，若计算的值大于0，则实时连续截取3-5帧疑似焊穿熔池图像；

步骤7：若截取的是疑似未成形熔池图像，将截取的熔池图像和查询得到的未成形样本图像输入Siamese神经网络中进行图像相似度对比，对于截取的疑似焊穿熔池图像则进行相同的处理；若相似度超过80%，则输出结果为未成形或者焊穿，若相似度低于80%，则输出结果为未知；其中，Siamese网络采用二元交叉熵作为损失函数、Resnet作为特征提取网络，相似度为80%作为阈值；

步骤8：根据神经网络模型输出结果判断是否继续进行管道机器人自动打底焊；若输出结果全部为未知，则提示预警但焊接继续；若输出结果出现未成形或者焊穿，则立即停止焊接。

2.根据权利要求1所述的基于弧压和熔池视觉的机器人打底焊成形缺陷监测方法，其特征在于，步骤4中所述的根据每段坡口的热流偏差指数和热流偏差波动指数匹配查询打底焊成形异常数据集中的未成形参考弧压基准值、焊穿参考弧压基准值、未成形样本图像及焊穿样本图像包括：

首先，从打底焊成形异常数据集初步筛选出与焊前输入的管道材质和壁厚一样的数据集；

然后，将热流偏差指数进行如下公式计算，并从初步筛选的打底焊成形异常数据集中进一步筛选与S_AZ相同的热流偏差指数的数据集，记为数据集1；

，

为每段坡口热流偏差指数；

接着，将计算得到的热流偏差波动指数依次与数据集1中热流偏差波动指数进行比较，如果计算得到的热流偏差波动指数小于数据集1中热流偏差波动指数，则保存数据集1中热流偏差波动指数，并记为热流偏差波动指数集合；

然后，根据以下公式，从热流偏差波动指数集合中获取最小值；

，

其中，δ_si为打底焊成形异常数据集中热流偏差波动指数；

最后，从数据集1中再进一步筛选与δ_Z相同的热流偏差波动指数的数据集，从而确定未成形参考弧压基准值、焊穿参考弧压基准值、未成形样本图像和焊穿样本图像。

3.根据权利要求1所述的基于弧压和熔池视觉的机器人打底焊成形缺陷监测方法，其特征在于，步骤5中所述的未成形参考弧压值推理模型和焊穿参考弧压值推理模型包括：基于打底焊成形异常数据集匹配查询每段的未成形参考弧压基准值和焊穿参考弧压基准值以及计算得到的热流偏差波动指数，从而得到每段的未成形参考弧压值以及焊穿参考弧压值，具体公式如下：

，

其中，U_R1和U_R2分别为未成形参考弧压值和焊穿参考弧压值，U_kr1和U_kr2分别为未成形参考弧压基准值和焊穿参考弧压基准值，m与材料类别有关，b为管道厚度，λ₁、λ₂、β₁和β₂为常数。