CN112894101B - 一种基于深度学习算法的穿孔等离子弧焊接熔池状态预测方法 - Google Patents

Abstract

本发明涉及一种基于深度学习算法的穿孔等离子弧焊接熔池状态预测方法，属于穿孔等离子弧焊接技术领域，搭建实验平台，设置CCD相机采集熔池图像，设置光敏传感器采集光敏信息，选择脉冲电流进行焊接，采集图像信息与穿孔信息，将获取的图像和光敏信息进行特征匹配，建立深度学习模型，正面熔池图像作为网络的输入，穿孔状态信息作为输出，进行训练，然后进行深度学习模型验证，将验证好的模型进行二次开发，部署到计算机中；通过实时采集图像作为输入，得到穿孔状态，然后将得到的穿孔状态作为依据修正焊接参数来控制焊接过程，扩大了训练数据的数据库，提高了熔池状态预测的精确度，提高了训练模型的泛化能力和鲁棒性。

Description

一种基于深度学习算法的穿孔等离子弧焊接熔池状态预测 方法

技术领域

本发明涉及一种基于深度学习算法的穿孔等离子弧焊接熔池状态预测方法，极大提高了熔透预测精确率，属于穿孔等离子弧焊接技术领域。

背景技术

由于可焊接中厚板，且单面焊双面成型，穿孔等离子弧焊在现代制造业中占据着举足轻重的位置。然而小孔行为严重影响着焊接过程稳定性、熔透和接头质量。小孔行为的预测和控制对于发展自动化的高效焊接方法刻不容缓。

近年来，随着人工智能在全球范围内掀起了新一轮的工业革命，深度学习算法在图像特征提取，数学建模等方面的杰出表现，给焊接过程的熔透预测与控制带来了新的思路。卷积神经网络在图像处理方面强大的特征提取能力和特征学习能力，给焊接熔透预测与控制提供了新的方法，IMAGENET挑战赛中展现出了许多CNN模型(类似VGG-16，INCEPTION-V4，INCEPTION-RESNET-V2)，其分类准确率高达90％以上，面对数据量较小的情况，迁移学习为焊接熔透预测提供了新的途径。

基于深度学习算法的穿孔等离子弧焊接熔透预测在迁移学习IMAGENET数据分类得到了较高的准确率，但焊接熔池图像都是相互关联的，前一时刻的穿孔状态时刻影响着后一时刻的穿孔状态。目前存在的模型算法并未考虑小孔、熔池及电弧的动态变化。基于CNN的识别过程中，每一个时刻穿孔状态的预测都是基于当前熔池图像的空间特征(spatial feature)进行的计算，并未考虑历史序列熔池图像的时间特征(temporalfeature)对当前穿孔状态的影响，即图像中各元素的动态行为特征和变化趋势并未参与识别。

中国专利文件(公开号CN 103264216 A)从背面获取小孔图像并以背面小孔大小为依据进行焊接过程调控，忽略了焊接过程未穿孔阶段。中国专利文件(公开号CN103521890 A)利用图像处理得到正面熔池和小孔轮廓与尺寸，忽略了熔池图像其他的特征(包括小孔、熔池、电弧的动态变化和熔池图像的变化趋势)。目前，现有的方法并不能很好的进行预测。

发明内容

针对现有技术的不足，本发明提供一种基于深度学习算法的穿孔等离子弧焊接熔池状态预测方法，解决了训练模型的泛化能力小的问题。

本发明的技术方案如下：

一种基于深度学习算法的穿孔等离子弧焊接熔池状态预测方法，包括训练过程和测试过程，步骤如下：

1、搭建实验平台；实验平台包括待焊工件，待焊工件一侧设有焊枪和CCD相机，CCD相机用于采集正面熔池信息，待焊工件另一侧设有光敏传感器，光敏传感器用于采集穿孔状态信息；

在狭小封闭的黑暗环境中，穿孔状态必定会带来封闭环境光强的变化，光敏传感器可以很灵敏的感受到是否穿孔以及穿孔的大小；

2、选择脉冲电流进行焊接；

相比于特定厚度钢板的焊接，进行多类型多参数的焊接试验，调整CCD相机与水平方向的夹角，用不同的相机姿态(相机与水平面夹角

)进行拍摄，并用不同参数拍摄焊接正面熔池图像：对不同板厚(6-8-10-12-14mm)、不同波形脉冲电流、不同成分的焊材(不锈钢、碳钢、高强钢)分别进行试验；多类型多参数的焊接工艺增加了穿孔等离子弧焊接熔池图像的数据量，从而提高了模型的鲁棒性和泛化能力。

3、采集图像信息与穿孔信息；通过CCD相机获得正面熔池图像视频，将获得的正面熔池图像视频以一定频率提取得到连续的图像数据；通过光敏传感器同步获得背面的光敏信息；

4、将获取的图像和光敏信息进行特征匹配；以模拟量900为阈值，利用labview从光敏信息中提取穿孔状态，穿孔状态为穿孔或未穿孔，穿孔状态信息为标签数据；至此得到两种数据，分别为图像数据和标签数据；将图像数据和标签数据以字典的形式进行匹配(一张图像对应一个穿孔状态信息，对图像逐一添加标签，将提取到的穿孔状态信息作为标签与正面熔池图像进行匹配)，将匹配好的数据随机分成两类，分别作为训练数据和验证数据，分别将其转换为TFRecord文件；

5、建立深度学习模型；所述模型为卷积神经网络+长短期记忆神经网络(CNN+LSTM)的模型，即将f7层的输出结果输入到LSTM层；由于焊接是一个动态的过程，熔池状态历史信息如焊接过程中小孔、熔池、电弧的动态变化对当前状态的分类有着重要的影响，具体实现方式如下：

(1)选择现有的分类效果较好的VGG16模型作为此深度学习模型的空间特征信息提取模块，选择LSTM作为模型的时序特征信息提取模块；

(2)VGG16模型包含13层卷积层提取特征信息、5层池化层降低隐藏层维度、3层全连接层用来降维、softmax层用来输出分类，3层全连接层分别为：f6、f7、f8；

(3)LSTM模型包含往历史状态中加入新元素的输入门、控制输出的输出门、以及用来控制历史信息遗忘程度的遗忘门；

(4)将VGG16的f7层输出结果输入到LSTM层，这样可以将低维度的包含有历史信息的数据传输到LSTM层中，提取其中的历史信息；

6、进行深度学习模型训练；正面熔池图像数据作为网络的输入，穿孔状态信息作为输出；将步骤4处理好的训练数据喂入到步骤5建立好的CNN+LSTM模型中，其中正面熔池图像数据作为输入，标签数据作为输出，分别设置好损失函数、学习衰减率、优化器和训练总步数等参数，进行训练；

7、进行深度学习模型验证；步骤4处理好的验证数据作为输入，输入到步骤6训练好的深度学习模型中进行模型验证，预测的小孔状态具有较高的准确率；

8、将步骤7验证好的模型进行二次开发，部署到计算机中；通过实时采集图像作为输入，得到穿孔状态，然后将得到的穿孔状态作为依据修正焊接参数来控制焊接过程。

优选的，步骤1中，CCD相机垂直于焊接方向，并与焊接平台的水平方向呈20°-36°角，这样有利于拍摄到更多的熔池信息比如反射的弧光、小孔的信息、熔池金属的形态。由于等离子弧焊枪与焊材距离太近，不利于CCD相机的安装，CCD相机安装在焊接方向的垂直方向，与水平方向成一定角度。

优选的，步骤1中，在焊炬正下方，沿焊接方向设有3个光敏传感器。沿着焊接方向安装三个同规格的光敏传感器，采集光敏信息时取三个值的最小值，有利于减小噪声与失误。

优选的，步骤3中，将获得的正面熔池图像视频以每秒10帧提取得到连续的图像。

优选的，步骤3中，利用Anaconda环境和tensorflow框架，对采集到的图像数据进行预处理，预处理包括正面熔池图像的降维、统一尺寸。

优选的，步骤4中，利用labview从光敏信息中提取穿孔状态，提取频率为10次/秒，三个光敏传感器获取的模拟量分别为I1、I2、I3，最终模拟量为I＝min(I1，I2，I3)。

优选的，步骤4中，将匹配好的数据随机分成两类，分别作为训练数据和验证数据，数量比例为训练数据：验证数据＝9:1。

本发明的有益效果在于：

本发明从正面获取熔池图像可以全面覆盖整个焊接过程，从整个熔池图像(包括小孔、熔池、电弧的动态变化)来获取相关特征参数，利用CNN提取熔池图像特征信息，利用LSTM提取历史序列信息，很好地建立了熔池特征图像与穿孔状态关系。

本发明对采集系统进行简化后，采集更加方便，图像信息处理和融合更加简便，节省了人工添加标签的时间，大大减小了数据处理时间和内存运行空间，提高了数据准备和预处理的效率。

本发明可适用于多类型多参数的焊接工艺试验，为焊接熔池图像采集提供了大量的各种类别的素材，扩大了训练数据的数据库，提高了熔池状态预测的精确度，提高了训练模型的泛化能力和鲁棒性。

本发明在卷积神经网络中加入长短期记忆神经网络有效的提取到了焊接熔池动态行为信息，包括小孔、熔池、电弧的动态行为，提高了焊接熔池状态预测准确度。

附图说明

图1本发明焊接正面熔池信息和背面小孔信息采集系统示意图；

图2本发明实验平台示意图；

图3本发明深度学习模型示意图；

图4本发明实验步骤示意图。

其中：1、待焊工件，2、焊枪，3、CCD相机，4、光敏传感器。

具体实施方式

下面通过实施例并结合附图对本发明做进一步说明，但不限于此。

实施例1：

一种基于深度学习算法的穿孔等离子弧焊接熔池状态预测方法，包括训练过程和测试过程，步骤如下：

1、搭建实验平台；实验平台包括待焊工件，如图1、2所示，待焊工件一侧设有焊枪和CCD相机，CCD相机用于采集正面熔池信息，CCD相机垂直于焊接方向，并与焊接平台的水平方向呈一定夹角，这样有利于拍摄到更多的熔池信息比如反射的弧光、小孔的信息、熔池金属的形态。由于等离子弧焊枪与焊材距离太近，不利于CCD相机的安装，CCD相机安装在焊接方向的垂直方向，与水平方向成一定角度。待焊工件另一侧，焊炬正下方，沿焊接方向设有3个光敏传感器，光敏传感器用于采集穿孔状态信息；沿着焊接方向安装三个同规格的光敏传感器，采集光敏信息时取三个值的最大值，有利于减小噪声与失误。

在狭小封闭的黑暗环境中，穿孔状态必定会带来封闭环境光强的变化，光敏传感器可以很灵敏的感受到是否穿孔以及穿孔的大小。

2、选择脉冲电流进行焊接；

调整CCD相机与水平方向的夹角，用不同的相机姿态(相机与水平面夹角

)进行拍摄，并用不同参数拍摄焊接正面熔池图像：对不同板厚、不同波形脉冲电流、不同成分的焊材分别进行试验；多类型多参数的焊接工艺增加了穿孔等离子弧焊接熔池图像的数据量，从而提高了模型的鲁棒性和泛化能力。

本实施中，分别选择板厚6mm、8mm、10mm、12mm、14mm的304不锈钢板和Q235碳钢板，选择适当的常规电流进行焊接。

3、采集图像信息与穿孔信息；通过CCD相机获得正面熔池图像视频，将获得的正面熔池图像视频以每秒10帧提取得到连续的图像数据；通过光敏传感器同步获得背面的光敏信息；

4、将获取的图像和光敏信息进行特征匹配；以模拟量900为阈值，利用labview从光敏信息中提取穿孔状态，穿孔状态为穿孔或未穿孔，如图3中P即为穿孔状态的表示，提取频率为10次/秒，穿孔状态信息为标签数据；三个光敏传感器获取的模拟量分别为I1、I2、I3，最终模拟量为I＝min(I1，I2，I3)。

至此得到两种数据，分别为图像数据和标签数据；将图像数据和标签数据以字典的形式进行匹配(一张图像对应一个穿孔状态信息，对图像逐一添加标签，将提取到的穿孔状态信息作为标签与正面熔池图像进行匹配)，将匹配好的数据随机分成两类，分别作为训练数据和验证数据，训练数据：验证数据＝9:1；分别将其转换为TFRecord文件；

5、建立深度学习模型，如图3所示；所述模型为卷积神经网络+长短期记忆神经网络(CNN+LSTM)的模型，基于tensorflow框架设计并部署CNN+LSTM网络训练模型，包括输入层、卷积层、池化层、全连接层、LSTM层、输出层；CNN有利于提取熔池图像的空间特征信息，LSTM有利于熔池图像中的时序特征信息提取。即将f7层的输出结果输入到LSTM层；由于焊接是一个动态的过程，熔池状态历史信息如焊接过程中小孔、熔池、电弧的动态变化对当前状态的分类有着重要的影响，具体实现方式如下：

(1)选择现有的分类效果较好的VGG16模型作为此深度学习模型的空间特征信息提取模块，选择LSTM作为模型的时序特征信息提取模块；

(2)VGG16模型包含13层卷积层提取特征信息、5层池化层降低隐藏层维度、3层全连接层用来降维、softmax层用来输出分类，3层全连接层分别为：f6、f7、f8；

(3)LSTM模型包含往历史状态中加入新元素的输入门、控制输出的输出门、以及用来控制历史信息遗忘程度的遗忘门；

(4)将VGG16的f7层输出结果输入到LSTM层，这样可以将低维度的包含有历史信息的数据传输到LSTM层中，提取其中的历史信息；

6、进行深度学习模型训练；正面熔池图像信息作为网络的输入，穿孔状态信息作为输出；将步骤4处理好的数据喂入到步骤5建立好的CNN+LSTM模型中，其中正面熔池图像数据作为输入，标签数据作为输出，分别设置好损失函数、学习衰减率、优化器和训练总步数等参数，进行训练；

7、进行深度学习模型验证；步骤4处理好的数据作为输入，输入到步骤6训练好的深度学习模型中进行模型验证，预测的小孔状态具有较高的准确率；

8、将步骤7验证好的模型进行二次开发，部署到计算机中；通过实时采集图像作为输入，得到穿孔状态，然后将得到的穿孔状态作为依据修正焊接参数来控制焊接过程。

Claims (7)

1.一种基于深度学习算法的穿孔等离子弧焊接熔池状态预测方法，其特征在于，包括训练过程和测试过程，步骤如下：

S1、搭建实验平台；实验平台包括待焊工件，待焊工件一侧设有焊枪和CCD相机，CCD相机用于采集正面熔池信息，待焊工件另一侧设有光敏传感器，光敏传感器用于采集穿孔状态信息；

S2、选择脉冲电流进行焊接；

相比于特定厚度钢板的焊接，进行多类型多参数的焊接试验，调整CCD相机与水平方向的夹角，用不同的相机姿态进行拍摄，并用不同参数拍摄焊接正面熔池图像：对不同板厚、不同波形脉冲电流、不同成分的焊材分别进行试验；

S3、采集图像信息与穿孔信息；通过CCD相机获得正面熔池图像视频，将获得的正面熔池图像视频以一定频率提取得到连续的图像数据；通过光敏传感器同步获得背面的光敏信息；

S4、将获取的图像和光敏信息进行特征匹配；以模拟量900为阈值，利用labview从光敏信息中提取穿孔状态，穿孔状态为穿孔或未穿孔，穿孔状态信息为标签数据；至此得到两种数据，分别为图像数据和标签数据；将图像数据和标签数据以字典的形式进行匹配，将匹配好的数据随机分成两类，分别作为训练数据和验证数据，分别将其转换为TFRecord文件；

S5、建立深度学习模型；所述模型为卷积神经网络+长短期记忆神经网络（CNN+LSTM）的模型，即将f7层的输出结果输入到LSTM层，具体实现方式如下：

（1）选择VGG16模型作为此深度学习模型的空间特征信息提取模块，选择LSTM作为模型的时序特征信息提取模块；

（2）VGG16模型包含13层卷积层提取特征信息、5层池化层降低隐藏层维度、3层全连接层用来降维、softmax层用来输出分类，3层全连接层分别为：f6、f7、f8；

（3）LSTM模型包含往历史状态中加入新元素的输入门、控制输出的输出门、以及用来控制历史信息遗忘程度的遗忘门；

（4）将VGG16模型的f7层输出结果输入到LSTM层，将低维度的包含有历史信息的数据传输到LSTM层中，提取其中的历史信息；

S6、进行深度学习模型训练；正面熔池图像信息作为网络的输入，穿孔状态信息作为输出；将步骤S4处理好的训练数据喂入到步骤S5建立好的CNN+LSTM模型中，分别设置好损失函数、学习衰减率、优化器和训练总步数参数，进行训练；

S7、进行深度学习模型验证；步骤S4处理好的验证数据作为输入，输入到步骤S6训练好的深度学习模型中进行模型验证，预测的小孔状态具有较高的准确率；

S8、将步骤S7验证好的模型进行二次开发，部署到计算机中；通过实时采集图像作为输入，得到穿孔状态，然后将得到的穿孔状态作为依据修正焊接参数来控制焊接过程。

2.根据权利要求1所述的基于深度学习算法的穿孔等离子弧焊接熔池状态预测方法，其特征在于，步骤S1中，CCD相机垂直于焊接方向，并与焊接平台的水平方向呈20°-36°角。

3.根据权利要求1所述的基于深度学习算法的穿孔等离子弧焊接熔池状态预测方法，其特征在于，步骤S1中，在焊炬正下方，沿焊接方向设有3个光敏传感器。

4.根据权利要求1所述的基于深度学习算法的穿孔等离子弧焊接熔池状态预测方法，其特征在于，步骤S3中，将获得的正面熔池图像视频以每秒10帧提取得到连续的图像。

5.根据权利要求1所述的基于深度学习算法的穿孔等离子弧焊接熔池状态预测方法，其特征在于，步骤S3中，利用Anaconda环境和tensorflow框架，对采集到的图像数据进行预处理，预处理包括正面熔池图像的降维、统一尺寸。

6.根据权利要求1所述的基于深度学习算法的穿孔等离子弧焊接熔池状态预测方法，其特征在于，步骤S4中，利用labview从光敏信息中提取穿孔状态，提取频率为10次/秒，三个光敏传感器获取的模拟量分别为I1、I2、I3，最终模拟量为I=min（I1，I2，I3）。

7.根据权利要求1所述的基于深度学习算法的穿孔等离子弧焊接熔池状态预测方法，其特征在于，步骤S4中，将匹配好的数据随机分成两类，分别作为训练数据和验证数据，数量比例为训练数据：验证数据=9:1。

Images