CN117828406A - 一种基于深度学习的多层单道焊焊缝尺寸预测方法及系统 - Google Patents

Abstract

本发明提供一种基于深度学习的多层单道焊焊缝尺寸预测方法及系统，其中方法步骤为：采集打底焊、填充焊、盖面焊分别对应的熔池图像、电信号参数、焊接参数以及焊缝尺寸，构建数据集；构建以AlexNet网络为基础的熔池图像分类模型，对分类模型进行优化，添加电信号参数；构建打底焊、填充焊、盖面焊对应的焊缝尺寸预测模型，预测模型以PyTorch为框架，熔池图像、电信号、焊接参数作为共同输入，以残差模块作为图像特征提取模块，以残差收缩模块作为电信号特征提取模块，对预测模型进行优化、训练以及验证。本发明能够对焊接过程实现精确分类，对各工序的焊缝尺寸预测时具有较高的预测精度。

Description

一种基于深度学习的多层单道焊焊缝尺寸预测方法及系统

技术领域

本发明主要涉及焊缝图像数据处理相关技术领域，具体是一种基于深度学习的多层单道焊焊缝尺寸预测方法。

背景技术

多层单道焊接通常用于宽厚件的焊接，在机械、航空航天、建筑等领域有着广泛的应用。在多层单道焊工程应用中，需严格保证每层焊缝的焊接质量，因此，实现对焊缝质量的实时检测具有重要意义。

在实际生产中，很多企业仍然采用传统的检测方法，例如目测法、X 射线检测、超声探伤等，多用于焊后检测，存在一定的滞后性，例如，目测法需要检测人员具备丰富的经验和技能，并且受环境干扰较大；X射线检测和超声检测设备昂贵，实时性差，即使发现缺陷也很难弥补。因此，为满足新要求，实现焊接动态过程信息的实时获取和分析至关重要。其中焊缝尺寸信息作为焊缝质量的重要标准，焊缝尺寸信息的实时获取是研究人员的重要研究方向。

熔池图像包含信息量大，能够直观反映熔池的动态变化，常用于焊缝尺寸信息的判断。但对焊缝质量进行检测时，单一的熔池图像对焊缝信息的表征有限，会影响到焊缝尺寸的预测精度。

发明内容

为解决目前技术的不足，本发明结合现有技术，从实际应用出发，提供一种基于深度学习的多层单道焊焊缝尺寸预测方法，其能够对焊接过程实现精确分类，对各工序的焊缝尺寸预测时具有较高的预测精度。

本发明的技术方案如下：

根据本发明的一个方面，提供一种基于深度学习的多层单道焊焊缝尺寸预测方法，包括如下步骤：

S1、采集打底焊、填充焊、盖面焊分别对应的熔池图像、电信号参数、焊接参数以及焊缝尺寸，构建数据集，将数据集分为分类数据集以及预测数据集；

S2、基于分类数据集构建以AlexNet网络为基础的熔池图像分类模型，对分类模型进行优化，添加电信号参数，对超参数以及训练算法进行选择和设计，使用验证集对分类模型进行验证，

S3、基于预测数据集分别构建打底焊、填充焊、盖面焊对应的焊缝尺寸预测模型，预测模型以PyTorch为框架，熔池图像、电信号、焊接参数作为共同输入，以残差模块作为图像特征提取模块，以残差收缩模块作为电信号特征提取模块，对预测模型进行优化、训练以及验证；

S4、实时采集熔池图像、对应的电信号参数，输入至熔池图像分类模型中，得到焊接类型，焊接类型包括打底焊、填充焊、盖面焊，再基于焊接类型传入至对应的焊缝尺寸预测模型中，得到打底焊或填充焊或盖面焊对应的焊缝尺寸。

进一步，步骤S1中，电信号参数包括焊接电流和电弧电压，焊接参数包括焊接电流、电弧电压、焊接速度和打底焊根部间隙，焊缝尺寸包括焊缝厚度、熔深和熔宽。

进一步，步骤S1中，对于采集的熔池图像进行筛选，通过计算灰度值均值和统计255灰度值像素数目的方法，去除过曝和过暗的图片，获得最后的熔池数据库构建数据集；

分类数据集由电信号参数均值、熔池图像和类别标签构成，经打乱后的数据切分成训练集，测试集和验证集，预测数据集由熔池图像、图像对应电信号参数片段、焊接参数以及截面尺寸标签构成，数据集打乱切分为训练集与测试集；

对数据集中熔池图像进行随机遮掩、添加噪声和图像平移的数据增强操作，对电信号参数进行归一化操作。

进一步，步骤S2中，对分类模型进行优化，添加电信号参数具体包括：

将AlexNet网络中的第二个卷积层替换成两个3×3的卷积加激活函数，选取7×7作为首层卷积核尺寸，选取LRN作为模型归一化层，将LRN层添加至所有卷积层的归一化中，选择FC_128为全连接层结构，在预测输出中添加焊接电流、电弧电压参数，输入参数和模型输出共同进入判别函数得到输出标签，判别函数公式如下：

式中，F(x）表示计算结果判断函数，I表示电流，U表示电压，O代表打底焊，Out_pred代表前面神经网络的预测值。

进一步，步骤S2中，对超参数以及训练算法进行选择和设计具体包括：将分类模型的学习率选取为0.001，批处理容量Batch_size选取为128，随机失活比例Dropout的丢弃率P选择0.7，训练算法选择Adam算法。

进一步，步骤S3中，对于预测模型，焊接参数直接传入全连接层， 熔池图像和电信号先进行特征提取，再将提取到的特征进行融合后传入全连接层进行预测，对于提取的特征向量通过一维卷积进行降维融合。

进一步，步骤S3中，对预测模型进行优化具体包括：

对于残差模块，设计多组堆叠层数进行对照训练，通过计算其每一轮的测试平均绝对误差MAE进行层数筛选，确定层数范围，对于残差收缩模块，设计多组不同层数残差收缩网络进行对照训练，同时考虑模型本身的参数量和计算量，确定层数范围。

进一步，对于残差模块，选择层数为34层，对于残差收缩模块选择层数维4层；

对于熔池图像特征提取，首层卷积模块堆叠5层3×3卷积块，采用短接的方式分别在第一层、第三层、第四层、第五层进行短接，分别对应等价产生3×3、7×7、9×9和11×11大小的卷积核，对于电信号特征提取，首层卷积核采用5×5的尺寸。

进一步，步骤S3中，对预测模型进行训练具体包括：

采用小批次梯度下降法对模型参数进行优化，每次迭代使用的样本数量即是模型所设置的样本批次容量，对于打底焊，批处理容量Batch_size设置为32，对于填充焊，批处理容Batch_size设置64，对于盖面焊，批处理容量Batch_size设置为128，训练算法采用SGD算法，将0.001设置为初始学习率，通过50轮训练探索最优区域。得到最优区域附近参数后，再通过迁移训练结合Step_Lr学习率调整方法对模型参数进一步优化，以达到最优解。

根据本发明的另一方面， 提供一种用于实施上述基于深度学习的多层单道焊焊缝尺寸预测方法的预测系统，包括：

采集模块，配置有用于采集熔池图像的相机以及用于采集电信号的霍尔电流、电压传感器，采集的熔池图像数据以及电信号数据转换成数组后传入计算模块中；

计算模块，配置有分类模型以及预测模型，采集模块传入的数据先通过分类模型推理，得到焊接类型，焊接类型为打底焊或填充焊或盖面焊，根据推理的焊接类型自动调节预测模型的传入参数，通过预测模型推理得到打底焊或填充焊或盖面焊对应的焊缝厚度、熔深和熔宽；

可视化模块，配置用于显示焊接类型、焊缝尺寸；

采集模块、计算模块以及可视化模块成串行关系，各模块间并行处理数据。

本发明的有益效果：

1、本发明提出的焊缝尺寸预测方法中，分类模型能够对焊接过程实现精确分类，焊缝尺寸预测模型对各工序的焊缝尺寸预测时具有较高的预测精度，实验验证，分类模型预测精度达到99.70%，验证集中对打底焊、填充焊、盖面焊的识别准确率分别为99.74%，98.86%，98.6%，预测模型中打底焊的焊缝厚度、背面余高、熔宽的平均绝对误差分别为0.22mm，0.168mm，0.166mm，填充焊的焊缝厚度、背面余高、熔宽的平均绝对误差分别为0.241mm，0.346mm，0.187mm。盖面焊的焊缝厚度、背面余高、熔宽平均绝对误差分别为0.287mm，0.338mm，0.34mm。

2、本发明提出的预测系统，采用多进程处理，提高了运行速度，解决了因采集速度大于预测速度导致的内存堆积、界面显示卡顿等问题，通过对检测数据的分类、预测能够直观的表达出焊接类型以及焊缝尺寸数据，可有效的辅助焊工对当前焊接过程进行调节，为实现焊接过程智能控制提供基础。

附图说明

图1是焊缝尺寸示意图；

图2分类数据集及预测数据集构建流程；

图3是改进后输出模块结构及参数图；

图4是优化后的分类模型结构；

图5为优化后分类模型的混淆矩阵图；

图6为焊缝尺寸预测框架示意图；

图7为预测模型结构示意图；

图8为预测系统框图；

图9为预测系统界面图。

具体实施方式

结合附图和具体实施例，对本发明作进一步说明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所限定的范围。

实施例1

本实施例提供一种基于深度学习的多层单道焊焊缝尺寸预测方法，用于实现多层单道焊的焊缝尺寸实时预测，从而达到对焊缝质量的实时判断，方法的主要步骤如下。

1、采集数据、组建数据集及数据增强处理。

采集数据：

设计实验系统，以Q235低碳钢为例，其焊接方式采用多层单道焊，首先进行打底焊焊接，然后进行填充焊焊接，在填充焊基础上进行盖面焊焊接。通过拍照获取到打底焊、填充焊、盖面焊对应的熔池图像，通过游标卡尺、焊缝尺等测量得到对应的焊缝尺寸，通过霍尔电流传感器、电压传感器同步采集焊接电流和电弧电压，采集频率为3000赫兹。

因焊接过程中熔池池图像明暗度波动较大，为了保证数据集质量，所以需要对采集到的熔池图像进行筛选。本实施例中，通过计算灰度值均值和统计255灰度值像素数目的方法，去除过曝和过暗的图片。

1)计算灰度均值

首先通过人工筛选得到一个质量较高的熔池图像数据库作为标准库，然后通过计算标准库熔池图像灰度值得到灰度均值范围，再以该范围筛选整个熔池图像数据库。

2）统计灰度值为255的像素点数目

在经过灰度均值筛选后的数据库基础上，进一步对每张图片灰度值为255 的像素点数目进行统计，筛出熔池区域过曝但灰度均值不高的熔池图像，获得最后的熔池数据库。

组建数据值：

在本实施例中，共获取15669张熔池图片和对应电信号片段，为了提高训练效率，本实施例分别构建了小数据集和大数据集两种数据集进行训练。使用小数据集进行模型的优化及参数选择等，使用大数据集进行模型的验证。两种数据集的构建方式相同，只是包含的数据量不同。

每种数据集下又分别包括分类数据集和预测数据集。分类数据集由电参数均值、熔池图像和类别标签构成，经打乱后的数据切分成训练集，测试集和验证集。预测数据集由熔池图像、图像对应电参数片段、焊接参数以及截面尺寸标签构成，数据集打乱切分为训练集与测试集，具体流程如图2所示。

数据增强处理：

通过数据增强使扩增的训练数据尽可能接近真实分布的数据，从而提高检测精度。为了增加训练数据的多样性以及提高模型的泛化能力，本实施例对熔池图像进行了随机遮挡、添加椒盐噪声和图像平移等处理，以模拟实际焊接过程中可能出现的熔池被部分遮挡、图像产生噪声和相机发生轻微偏移等情况。

当数据集存在量纲差异且数据范围相差较大，甚至产生数量级差异时，常需要使用数据归一化消除数据间的量纲差异，防止训练结果倾向于量级大的数据，保证模型的可靠性。数据归一化是将数据等比例缩放到0-1范围，该操作不仅提高了模型精度，还提高了模型的训练速度。本实施例中对电流、电压数据进行了归一化操作。

2、熔池图像分类模型的构建

分类模型主干：

在本实施例中，选择AlexNet网络作为分类模型的基础。相比于其它卷积神经网络，AlexNet网络结构简单，计算量小，模型加载时间短，推理速度快，满足实际应用要求。

分类模型结构优化：

在卷积神经网络中，卷积核的大小会影响后层特征图元素所对应的感受野大小。感受野的大小体现了卷积提取的特征所对应图像信息多少。在保证感受野大小的情况，3×3卷积核增加了网络层数和非线性表达能力，同时大大减少了参数量，例如2个3×3卷积块的感受野大小等价于一个5×5的卷积块，参数比例为3×3×2/(5×5)=0.72，同时多一层卷积多加了一层激活层，增强了模型的非线性。因此本实施例将 AlexNet中的第二个卷积层替换成了两个3×3的卷积加激活函数。经验证，优化后的模型损失曲线更加平稳且低于未优化前的损失曲线，预测准确率有所提升且收敛更快，替换前准确率最高为97.7%，测试损失值最小为2.5×10^-4，替换后测试准确率最高为98.777%，测试损失值最小为 3.24×10⁻⁵。

因首层卷积与输入图像直接接触，获得的图像信息较为完整，会对整个模型的训练产生较大的影响，所以本实施例通过调整卷积核尺寸大小以及堆叠卷积核的方式进行对比实验，得到合适的首层卷积核尺寸，本实施例构建了几种不同尺寸的卷积模块用于和AlexNet模型首层进行对比实验，通过下式计算得到不同尺寸卷积块参数量及感受野大小。

卷积层参数量计算公式：

其中H_k×W_k是卷积核的参数量，Cout为输出通道数，Cin为输入通道数。

感受野rl计算公式：

其中r_l-1为第l−1层的感受野大小，k1为第l层的卷积核大小（也可以是Pooling）,Si为第i层的卷积步长。一般 r₀=1,S₀=1。

经训练结果验证，3×3卷积的损失曲线在训练中后期仍有一定的波动，在 42轮训练后，损失值保持平稳。首层卷积核为5×5，9×9，11×11的模型损失曲线在训练过程中一直存在明显波动。首层卷积核为7×7的模型损失曲线在训练前中期略有波动，后期趋于平稳，且采用7×7卷积核可达到最高99.056%的准确率，优于其他尺寸卷积核，因此本实施例选取了7×7作为首层卷积核尺寸。

模型之所以出现过拟合的主要原因是学习到了太多噪声，即模型过于复杂。为了减少产生过拟合的风险，引入正则化(Regularization)是一个常用的选择。在本实施例中，模型选择LRN作为模型归一化层，因添加LRN层的模型损失曲线和精度曲线相对波动较小，且达到了较高的预测精度，因此本实施例采用了将 LRN层添加至所有卷积层的归一化方案，以防止过拟合的发生。

线性层又称为全连接层，其每个神经元与上一个层所有神经元相连，作用是实现对前一层的线性组合，将前一层提取到的特征综合起来，在实际焊接过程分类问题中，有些情况可以直接通过电流电压判断出焊接类型。因此本实施例对原模型输出模块进行了改进：一是减少全连接层的神经元个数，减少参数量；二是在预测输出中添加了焊接电流、电弧电压参数，输入参数和模型输出共同进入判别函数得到输出标签，其中判别函数表达式为：

式中，F(x）表示计算结果判断函数，I表示电流，U表示电压，O代表打底焊，Out_pred代表前面神经网络的预测值。

改进后的输出模块结构及参数图详见图3所示。

经实验验证，由于全连接层神经元的减少，模型损失值产生了一定的波动，预测精度略有下降, 但同时将模型参数量降低了一半以上，防止了模型结合过多的冗余信息产生过拟合。因此，综合考虑，本实施例中，模型选择了 FC_128全连接块结构。

模型参数选择：

在确定好适合用于熔池分类任务的卷积网络结构后。还需要对模型的超参数（学习率（learning rate）、样本批次容量（Batchsize）、随机失活（Dropout）比例等）以及训练算法进行选择和设计，以获得稳定、方向正确的训练过程。本实施例通过小数据集分别对模型超参数以及训练算法设置了对比训练，训练结果如下。

1）学习率

本实施例中，通过分类模型在不同学习率下的预测曲线出当学习率为0.1 和0.01时，学习率过大，模型难以收敛。当学习率为0.00001时，学习率过小，模型收敛缓慢，在50轮训练中，模型未能达到很好的预测精度，损失曲线有着较大的波动。学习率0.001和学习率0.0001都有着不错的测试效果，不过，出当学习率为0.001时模型收敛更快。因此，本实施例中，最后学习率选取为0.001。

2）批处理容量 (Batch_size)

Batch_size一定程度上决定了模型梯度下降的方向，若Batch_size太小，梯度下降方向可能会产生频繁变化，导致训练过程持续振动而难以收敛，需要大量的时间对其进行训练。若Batch_size过大，一方面，电脑将会超出显存，无法运行，另一方面，当Batch_size增大到一定程度，其确定的下降方向几乎不变，容易陷入鞍点，造成局部最优解，模型泛化能力下降，本实施例中，模型Batch_size选择128，后期损失曲线波动更小，且准确率可达到98.5%。

3）随机失活比例

Dropout技术可以有效的避免前馈神经网络中出现过拟合现象。其原理是在每轮迭代中，网络中的每个神经元以p的概率被丢弃。本实施例中，选择p值为0.7，模型收敛更快，且模型精度曲线波动相对较小。

4）优化器

本实施例中，选择Adam算法，Adam算法是对随机梯度下降的一种改进，其根据一阶矩估计和二阶矩估计，为不同的网络参数设置不同的自适应学习率避免了训练过程中学习率单一的问题，减少了手动调参的工作量，更适合用于熔池图像的分类问题。

大样本集验证：经上述实施例，优化后的熔池图像分类模型结构如图4所示。主要对卷积层、正则化层以及全连接块进行了优化，优化后的网络结构相较于AlexNet结构参数量更少，网络更深。优化后模型在大数据集下的训练结果显示，优化后的模型分类精度整体提高，测试损失值波动更小。原AlexNet模型最大预测精度为98.92%，优化后模型最大预测精度为99.702%，使用验证集测试得到的混淆矩阵如图5所示，验证集中打底焊、填充焊、盖面焊的熔池图片个数分别为378，616，573，识别准确率分别为99.74%，98.86%，98.6%。

3、基于残差网络的预测模型构建

在多层单道焊焊缝尺寸预测研究中，每层焊道的焊缝尺寸相差较大，会产生相近特征以及离散特征，对不同层之间焊道的特征识别产生干扰，这会导致焊缝预测任务难度加大，通过先分类再预测的方式，会使不同焊道熔池的特征信息更加集中，利于焊缝尺寸的判断。

在本实施例中，整个预测方法先分类再预测的方式，其整体框架主要由分类模型和预测模型构成，如图6所示。

因焊接过程极其复杂，焊缝的形成受很多因素的影响。其中，熔池图像、电信号参数、焊接参数是焊缝形成过程中比较直观且易于得到的三个信息。相较于使用图像和电信号协同预测的结果，添加焊接参数后，模型预测性能更加稳定，在训练过程中保持下降趋势，整体波动稳定。因此，本实施例选择构建了熔池图像、电信号参数、焊接参数共同输入的多分支预测模型，如图7所述。

预测模型结构由三部分组成，分别为特征提取模块、特征融合模块、特征映射模块。其中特征提取模块作为预测模型的主要结构，决定了预测模型的泛化能力和精确度，为了避免深层网络带来的梯度问题，网络分支结构由残差模块和残差收缩模块(逐通道不同阈值)组成用于提取数据特征。

其中，模型以残差模块作为图像特征提取模块，以残差收缩模块作为电信号特征提取模块。主要原因为：（1）图像数据为二维数据，数据量远超于电信号，在相同模型结构下，用于提取图像特征的模型计算量要远大于提取电信号特征的模型。而残差收缩模块包含了多个全连接层用于获取通道阈值，因此其参数量和计算量远高于残差结构。当使用残差收缩模块提取图像特征时，将会产生更大的计算量和更长的推理时间，对计算机的性能及内存都有着较大要求，在批处理容量及层数设计上都受到较大的限制。相比于图像信号，电信号为一维数据，数据量少，对噪声更敏感，更适合使用残差收缩结构进行特征提取。

本实施例设计了使用普通卷积模块和使用残差收缩模块的模型进行电信号预测时，不同轮数下测试结果对比。使用残差收缩模块的电信号预测模型预测效果明显优于普通卷积模块。在打底焊预测时，模型使用残差收缩结构的预测曲线波动较大，使用残差结构的预测结果相对平稳，预测误差更低；在填充焊和盖面焊预测时，使用残差结构的模型同样保持着更低的平均绝对误差，预测相对稳定。

输入的图像及电信号经过特征提取模块和平均池化后会产生多维的特征向量，特征向量维度越多，模型对当前的样本集的表征越全面。但是，因为样本集中存在噪声，当使用的样本集并没有足够多时，特征向量维度过高，模型将会学习到样本集中的噪声，从而导致模型产生过拟合，另一方面，特征向量维度过高也会增加模型计算量。因此实施例通过一维卷积对所提取的特征向量进行降维融合，从而保留主要特征和进行特征融合。其中，图像、电信号经过特征提取和平均池化后得到的特征向量分别为512维和64维，打底焊输入的焊接参数为5维特征向量，填充焊和盖面焊输入的焊接参数为4维特征向量。其中，输入的电信号片段及焊接参数数据量少，包含的特征应相对较少，因此本实施例分别对电信号和焊接参数进行了特征向量降维，并设置了多组实验进行对照，各组实验降维后的图像、电信号、参数特征向量维度分别为(512,3,5)、(512,3,1)、(512,64,1)、(512,64,5)和(512,3,1)。

本实施例设计的焊缝尺寸预测网络由三个分支构成，分别输入熔池图像、电信号和焊接参数，其中焊接参数属于经验参数直接传入全连接层，熔池图像和电信号则需要先进行特征提取，再将提取到的特征进行融合才可以传入全连接层进行预测。为了能提取到准确的特征信息，首先需要分别对图像分支和电信号分支的网络深度进行设计。

本实施例选择了残差模块和残差收缩模块作为网络结构的基础模块，因此需要选择合适的模块的堆叠层数。为了使网络的各个分支得到最佳的特征提取能力，本实施例分别针对两个分支进行网络层数设计。首先，针对残差模块，本实施例设计4组模块堆叠层数进行对照训练，通过计算其每一轮的测试平均绝对误差（MAE），进行层数筛选，确定层数范围。经综合考虑和验证，图像分支模型层数选择了34层。针对残差收缩网络层数设计，本实施例设计了4层、18层、34层、50层残差收缩网络实验组进行对照训练，残差收缩网络为4层时，对焊缝尺寸的预测能力更强，能达到更低的MAE均值。同时考虑模型本身的参数量和计算量，电信号分支模型层数选择了4层。

首层卷积层作为直接与图像接触的第一层特征提取器，其卷积核大小的选取极其重要，将会直接影响训练精度及计算效率。针对熔池图像，单一尺寸的卷积核并不能很好的完成熔池图像特征提取的任务。同时为了避免卷积核尺寸增加导致的参数量大幅增加，本实施例根据多层3×3卷积核堆叠等价于大卷积核感受野的原理设计了多尺度特征融合的首层卷积模块，具体结构为首层卷积模块堆叠了5层3×3卷积块，采用短接的方式分别在第一层、第三层、第四层、第五层进行了短接，分别对应等价产生了3×3、7×7、9×9 和11×11大小的卷积核。该结构极大增加首层卷积模块对特征的提取量和模型的非线性表达能力，训练显示，模型在打底焊和填充焊焊缝尺寸预测时产生的波动得到了极大的抑制，盖面焊焊缝尺寸预测依然保持稳定的效果。

类似于图像模型首层卷积核设计，本实施例针对电信号预测模型，综合考虑电参数预测模型首层卷积核采用5×5的尺寸。

对于预测模型的训练参数，本实施例采用小批次梯度下降法（Mini-BatchGradient Decent）对模型参数进行优化，每次迭代使用的样本数量即是模型所设置的样本批次容量。对于打底焊焊缝尺寸预测，当Batch_size为32时，训练过程中的MAE值明显小于其他批次，且训练过程更加稳定。因此，Batch_size设置为32可以增强模型参数更新梯度下降的随机性、可以很好的帮助使用SGD算法的模型跳出鞍点通向全局最优解。对于填充焊焊缝尺寸预测的训练过程对比，Batch_size设置为64更利于模型收敛。针对盖面焊数据，Batch_size设置为128。

对于训练算法，在进行回归预测时也需要选择合适的优化器进行模型参数的调优，本实施例选择SGD算法，并通过Step_Lr策略对学习率进行调整。具体的是，本实施例将0.001设置为初始学习率，通过50轮训练探索最优区域。得到最优区域附近参数后，再通过迁移训练结合Step_Lr学习率调整方法对模型参数进一步优化。

对于模型训练，为提高训练效率，通过小数据集对预测网络进行优化和获取模型相关超参数。当预测网络建立和优化好后，再利用大数据集进行训练。其中打底焊的焊缝厚度、背面余高、熔宽的最小平均绝对误差分别为0.22mm，0.168mm，0.166mm，其中焊缝厚度与熔宽测试的最大预测精度分别为96.1%和97.5%，打底焊的背面余高测试样本中包含测量值为0的数值，在计算预测精度时会产生报错，因此打底焊背面余高主要通过MAE测试模型精度。填充焊的焊缝厚度、背面余高、熔宽的最小平均绝对误差分别为0.241mm，0.346mm，0.187mm，最大预测精度分别为94.68%、94.52%和98%。盖面焊的焊缝厚度、背面余高、熔宽的最小平均绝对误差分别为0.287mm，0.338mm，0.34mm，最大预测精度分别为90.6%、93.76%和97.12%。

实施例

本实施例提供一种焊缝尺寸预测系统，参考图8所示，系统主要包括括采集模块、计算模块（分类和尺寸预测）和可视化模块。其中采集模计算模块和可视化模块成串行关系，各模块间并行处理数据。其中，采集模块主要包括图像采集和电信号采集。其中，相机相关程序主要由C++语言编写，通过调用相关接口实现对相机程序的修改、图片的采集、图片处理。相机连接后，打开相机程序，程序会自动枚举，本系统仅使用一个相机，所以默认编号为0。界面按键与相机配置接口连接，打开相机后可通过按键直接进行相机参数设置。

本系统通过霍尔元器件和阿尔泰采集卡实现对电信号的采集，通过调用 ARTDAQ接口实现电信号采集参数的设置。电信号采集参数为程序编写时设置的固定值，不通过界面控制。

计算模块主要包括了数据中间处理过程。在传入计算模块前，需要先将采集模块得到电信号和图像信号转换成数组从而方便模型后期计算。数据先传入分类模型中，获取当前焊接工序信息，再根据判断类别，传入至不同的预测模型进行焊缝厚度、熔深、熔宽的推理。

可视化模块界面通过PyQt编写，按键设置主要包括回放按键和相机参数按键，其他版块都为显示版块，通过内部程序实现全自动判断，减少手动操作。

图9所示，为多层单道焊焊缝尺寸预测交互界面，交互界面包括焊缝尺寸

数显区域、电流电压数显区域，熔池图像显示区域、电流电压曲线显示区域以及按键区域。通过预测曲线可以看到电流电压波动情况，从而有效判断当前焊接过程是否稳定，通过数显区域可以有效判断尺寸波动的具体数值。该界面可以有效的辅助焊工对当前焊接过程进行调节，为实现焊接过程智能控制提供基础。

Claims (10)

1.一种基于深度学习的多层单道焊焊缝尺寸预测方法，其特征在于，包括如下步骤：

S1、采集打底焊、填充焊、盖面焊分别对应的熔池图像、电信号参数、焊接参数以及焊缝尺寸，构建数据集，将数据集分为分类数据集以及预测数据集；

S2、基于分类数据集构建以AlexNet网络为基础的熔池图像分类模型，对分类模型进行优化，添加电信号参数，对超参数以及训练算法进行选择和设计，使用验证集对分类模型进行验证；

S3、基于预测数据集分别构建打底焊、填充焊、盖面焊对应的焊缝尺寸预测模型，预测模型以PyTorch为框架，熔池图像、电信号、焊接参数作为共同输入，以残差模块作为图像特征提取模块，以残差收缩模块作为电信号特征提取模块，对预测模型进行优化、训练以及验证；

S4、实时采集熔池图像、对应的电信号参数，输入至熔池图像分类模型中，得到焊接类型，焊接类型包括打底焊、填充焊、盖面焊，再基于焊接类型传入至对应的焊缝尺寸预测模型中，得到打底焊或填充焊或盖面焊对应的焊缝尺寸。

2.根据权利要求1所述的基于深度学习的多层单道焊焊缝尺寸预测方法，其特征在于，步骤S1中，电信号参数包括焊接电流和电弧电压，焊接参数包括焊接电流、电弧电压、焊接速度和打底焊根部间隙，焊缝尺寸包括焊缝厚度、熔深和熔宽。

3.根据权利要求1所述的基于深度学习的多层单道焊焊缝尺寸预测方法，其特征在于，步骤S1中，对于采集的熔池图像进行筛选，通过计算灰度值均值和统计255灰度值像素数目的方法，去除过曝和过暗的图片，获得最后的熔池数据库构建数据集；

分类数据集由电信号参数均值、熔池图像和类别标签构成，经打乱后的数据切分成训练集，测试集和验证集，预测数据集由熔池图像、图像对应电信号参数片段、焊接参数以及截面尺寸标签构成，数据集打乱切分为训练集与测试集；

对数据集中熔池图像进行随机遮掩、添加噪声和图像平移的数据增强操作，对电信号参数进行归一化操作。

4.根据权利要求1所述的基于深度学习的多层单道焊焊缝尺寸预测方法，其特征在于，步骤S2中，对分类模型进行优化，添加电信号参数具体包括：

将AlexNet网络中的第二个卷积层替换成两个3×3的卷积加激活函数，选取7×7作为首层卷积核尺寸，选取LRN作为模型归一化层，将LRN层添加至所有卷积层的归一化中，选择FC_128为全连接层结构，在预测输出中添加焊接电流、电弧电压参数，输入参数和模型输出共同进入判别函数得到输出标签，判别函数公式如下：

式中，F(x）表示计算结果判断函数，I表示电流，U表示电压，O代表打底焊，Out_pred代表前面神经网络的预测值。

5.根据权利要求4所述的基于深度学习的多层单道焊焊缝尺寸预测方法，其特征在于，步骤S2中，对超参数以及训练算法进行选择和设计具体包括：将分类模型的学习率选取为0.001，批处理容量Batch_size选取为128，随机失活比例Dropout的丢弃率P选择0.7，训练算法选择Adam算法。

6.根据权利要求1所述的基于深度学习的多层单道焊焊缝尺寸预测方法，其特征在于，步骤S3中，对于预测模型，焊接参数直接传入全连接层， 熔池图像和电信号先进行特征提取，再将提取到的特征进行融合后传入全连接层进行预测，对于提取的特征向量通过一维卷积进行降维融合。

7.根据权利要求6所述的基于深度学习的多层单道焊焊缝尺寸预测方法，其特征在于，步骤S3中，对预测模型进行优化具体包括：

对于残差模块，设计多组堆叠层数进行对照训练，通过计算其每一轮的测试平均绝对误差MAE进行层数筛选，确定层数范围，对于残差收缩模块，设计多组不同层数残差收缩网络进行对照训练，同时考虑模型本身的参数量和计算量，确定层数范围。

8.根据权利要求7所述的基于深度学习的多层单道焊焊缝尺寸预测方法，其特征在于，对于残差模块，选择层数为34层，对于残差收缩模块选择层数维4层；

对于熔池图像特征提取，首层卷积模块堆叠5层3×3卷积块，采用短接的方式分别在第一层、第三层、第四层、第五层进行短接，分别对应等价产生3×3、7×7、9×9和11×11大小的卷积核，对于电信号特征提取，首层卷积核采用5×5的尺寸。

9.根据权利要求1所述的基于深度学习的多层单道焊焊缝尺寸预测方法，其特征在于，步骤S3中，对预测模型进行训练具体包括：

采用小批次梯度下降法对模型参数进行优化，每次迭代使用的样本数量即是模型所设置的样本批次容量，对于打底焊，批处理容量Batch_size设置为32，对于填充焊，批处理容量Batch_size设置为64，对于盖面焊，批处理容量Batch_size设置为128，训练算法采用SGD算法，将0.001设置为初始学习率，通过50轮训练探索最优区域，得到最优区域附近参数后，再通过迁移训练结合 Step_Lr学习率调整方法对模型参数进一步优化，以达到最优解。

10.一种用于实施权利要求1-9任一项所述基于深度学习的多层单道焊焊缝尺寸预测方法的预测系统，其特征在于，包括：

采集模块，配置有用于采集熔池图像的相机以及用于采集电信号的霍尔电流、电压传感器，采集的熔池图像数据以及电信号数据转换成数组后传入计算模块中；

计算模块，配置有分类模型以及预测模型，采集模块传入的数据先通过分类模型推理，得到焊接类型，焊接类型为打底焊或填充焊或盖面焊，根据推理的焊接类型自动调节预测模型的传入参数，通过预测模型推理得到打底焊或填充焊或盖面焊对应的焊缝厚度、熔深和熔宽；

可视化模块，配置用于显示焊接类型、焊缝尺寸；

采集模块、计算模块以及可视化模块成串行关系，各模块间并行处理数据。