CN111739019A - 基于熔池图像长程预测的增材余高预测方法 - Google Patents

Abstract

本发明公开了一种基于熔池图像长程预测的增材余高预测方法，其特征在于：针对当前熔池图像，基于深度学习的预测网络Prednet长程预测熔池图像，并将预测结果通过回归网络SERes，提前回归出准确的熔覆层余高增量调控信息。本发明方法可以提前140ms预测熔池形态的变化并回归余高精度优于0.3mm，为增材过程中的形态在线监测和控制提供必要的基础，通过添加结构相似性函数SSIM和感知损失函数Perceptual Loss作为损失函数来优化prednet生成的预测图像质量，使生成的预测图像更加清晰，预测的结果更接近真实图像。

Description

基于熔池图像长程预测的增材余高预测方法

技术领域

本发明涉及一种基于熔池图像长程预测的增材余高预测方法，属于人工智能技术领域。

背景技术

熔池图像的突出特征是其表面的液态金属流动，它与熔池的细节和结构密切相关，熔池凝固时间短难以保障精准调控。由于温度累积的原因，后一帧的熔池图像将会受前一帧的熔池图像影响，使用视频预测框架来提前预测熔池形态的变化，常用的视频预测网络有ConvLSTM、PredRNN、PredNet、FutureGAN等。ConvLSTM不仅能够得到时序关系，还能够像卷积层一样提取空间特征，但这种结构的缺陷在于层与层之间是独立的，而忽略了顶层单元对底层单元的影响，导致预测图像的失真。

发明内容

为了解决上述技术问题，本发明公开了一种基于熔池图像长程预测的增材余高预测方法，针对当前熔池图像，基于深度学习的预测网络Prednet长程预测熔池图像，对预测的每一帧图像进行损失函数的计算，所述损失函数评估估计值与真实值之间的差值，并根据这些差值，网络在训练过程中不断调整网络的参数以找到最优模型参数，对所述损失函数添加了结构相似性函数SSIM和感知损失函数Perceptual Loss以优化预测网络Prednet生成的预测图像质量，并将预测结果通过回归网络SERes，提前回归出准确的熔覆层余高增量调控信息。

进一步的，所述预测网络Prednet包括堆叠的四层ConvLSTM单元，每层所述ConvLSTM单元只做局部预测，并将图像预测误差在网络中进行传递。

进一步的，所述四层ConvLSTM单元包括输入模块Al、循环表征模块Rl、预测模块

和误差模块El，通过各层方向传播方式计算误差El和ConvLSTM单元的状态Rl，在时间维度上按照时间顺序更新参数，t时刻网络更新好后，进行t+1时刻的更新，在每个时刻t都有四层ConvLSTM单元，将误差在四层之间自下而上传递，在垂直方向和时间方向同时更新网络参数。

进一步的，所述回归网络SERes增加了跳层连接以及原始输入信息直接传到后面层中，直接将输入信息传到输出。

进一步的，所述回归网络SERes是在残差网络残差网络ResNet-34的基础上增加SE模块作为网络余高的特征提取部分，该SE模块通过学习的方式自动获取每个通道的重要程度，给予不同的权重，根据权重的大小提升有用通道的特征并抑制权重较小的通道特征，回归网络SERes具体包括以下工作步骤：

步骤1：SE模块对空间维度的特征进行压缩操作，以全局平均池化上下文建模，将C×H×W的特征图变成1×1×C大小的特征图，即为全局感受野；

步骤2：SE模块的激励操作，利用Excitation模块计算每个通道的重要性，生成每个特征通道的权重；

步骤3：对每个特征通道赋值操作，将步骤2中输出的权重加权到原来的通道特征上，以实现在通道维度不同的权值。

有益效果：本发明方法可以提前140ms预测熔池形态的变化并回归余高精度优于0.3mm，为增材过程中的形态在线监测和控制提供必要的基础，通过添加结构相似性函数SSIM和感知损失函数Perceptual Loss作为损失函数来优化预测网络Prednet生成的预测图像质量，使生成的预测图像更加清晰，预测的结果更接近真实图像。

附图说明

图1 为本发明的预测回归网络框架，

图2a为本发明实施例中层间信息传递示意图，

图2b为本发明实施例中预测网络PredNet的基本模块，

图3a为本发明实施例中加入SSIM和感知损失函数的网络结果对比时刻11的真实图像，

图3b为本发明实施例中加入SSIM和感知损失函数的网络结果对比时刻11的预测图，

图4为本发明实施例中回归网络SERes网络结构，

图5为为本发明实施例中同向式堆积成形示意图，

图6为为本发明实施例中20帧预测结果对比，

图7a为本发明实施例中增材测试集中均方误差MSE预测帧的定量结果，

图7b为本发明实施例中增材测试集中峰值信噪比PSNR预测帧的定量结果，

图7c为本发明实施例中增材测试集中结构相似性函数SSIM预测帧的定量结果，

图8 为本发明实施例中不同熔覆层的余高增量，

图9 为本发明实施例中第1-10层熔覆层离起弧点50mm处的熔池形态，

图10a为本发明实施例中第三层典型层不同回归算法的输出值与真实值对比图，

图10b为本发明实施例中第六层典型层不同回归算法的输出值与真实值对比图，

图10c为本发明实施例中第八层典型层不同回归算法的输出值与真实值对比图，

图10d为本发明实施例中第三层典型层不同回归算法的输出值与真实值对比图，

图11a 为第三层典型层第一帧预测回归算法回归值与真实值、直接回归值对比图，

图11b 为第三层典型层第十帧预测回归算法回归值与真实值、直接回归值对比图，

图11c 为第六层典型层第一帧预测回归算法回归值与真实值、直接回归值对比图，

图11d为第六层典型层第十帧预测回归算法回归值与真实值、直接回归值对比图，

图11e 为第八层典型层第一帧预测回归算法回归值与真实值、直接回归值对比图，

图11f 为第八层典型层第十帧预测回归算法回归值与真实值、直接回归值对比图，

图11g 为第十层典型层第一帧预测回归算法回归值与真实值、直接回归值对比图，

图11h 为第十层典型层第十帧预测回归算法回归值与真实值、直接回归值对比图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

增材质量预测主要针对当前熔池图像，熔池凝固时间短难以保障精准调控，需要提高调控余量，进一步提前预测。本发明提出一种基于深度学习的预测网络（Prednet），可长程预测到140ms后的熔池图像，并将预测结果通过SE回归网络（SERes），提前回归出准确的熔覆层余高增量信息。实验结果表明，本发明设计的监测系统可以提前140ms预测熔池形态的变化并回归余高精度优于0.3mm，为增材过程中的形态在线监测和控制提供必要的基础。图1为本发明的预测回归网络框架。

预测网络

熔池图像的突出特征是其表面的液态金属流动，它与熔池的细节和结构密切相关。由于温度累积的原因，后一帧的熔池图像将会受前一帧的熔池图像影响，因此，使用视频预测框架来提前预测熔池形态的变化。常用的视频预测网络有ConvLSTM、PredRNN、PredNet、FutureGAN等。ConvLSTM不仅能够得到时序关系，还能够像卷积层一样提取空间特征，但这种结构的缺陷在于层与层之间是独立的，而忽略了顶层单元对底层单元的影响。PredRNN为了解决这个问题，构建了新的连接方式，并设计了ST-LSTM结构，该结构在LSTM的基础上增加时空信息的特征提取，将ST-LSTM与新的连接方式相结合构成PredRNN网络结构，使特征信息可以在时间维度及层之间传递。预测网络PredNet由四层ConvLSTM模块组成，每一层只做局部预测，将图像预测误差在网络中进行传递，可以更好地学习视频特征。为了捕获视频序列的空间和时间分量，FutureGAN在所有编码器和解码器模块中都使用了时空3D卷积来提取数据中的时空特征信息。但是GAN 网络训练过程难以收敛，且在时间特征提取上略显不足。本发明最终选用预测网络PredNetPredNet作为预测网络框架。

如图1中第一阶段所示，其中虚线部分只出现在网络训练过程中，将熔池视觉系统采集的熔池图像序列输入到预测网络中，将连续10帧熔池图像作为一个序列，使用视频预测网络PredNet预测第11帧熔池图像。预测网络PredNet的网络结构是一种四层模块堆叠的模式，其核心网络结构如图2a和图2b所示。

图2a为层间信息传递示意图，图2b图则是预测网络PredNet的基本模块，可以看出每个模块由四部分组成，分别为输入模块Al，循环表征模块R _l ，预测模块

和误差模块E _l 。

预测网络PredNet是一种由四层网络构成的循环神经网络，网络参数的更新存在竖直（各层）方向和水平（时间）方向两个方向。通过自下而上传播方式计算误差E _l ，然后通过自上而下的方式计算ConvLSTM单元的状态R _l 。在时间维度上按照时间顺序更新参数，t时刻网络更新好后，进行t+1时刻的更新。在每个时刻t都有四层卷积LSTM模块，将误差在四层之间自下而上传递，在垂直方向和水平方向同时更新网络的参数。

在原始的预测网络PredNet中，是通过不断地输入真实图片进行单帧预测，这种处理方式无法做到多帧预测。为了能够预测到更多的帧数，本节采取了迭代预测的思想，在预测网络得到下一帧的预测图像后，将预测图像当成真实的熔池图像放进网络进行下一帧的预测，如此循环。但是迭代预测的方式会造成误差的累计，预测的帧数越多图像的失真就越大。为此，本发明专门对损失函数做了改进，并且对预测的每一帧图像都进行了损失函数的计算。

损失函数用于评估估计值与真实值之间的差值。根据这些差值，网络在训练过程中会不断地调整网络的参数以找到最优模型参数，最大限度降低损失。为了使熔池图像得到更好的预测结果，对原有的预测网络PredNet网络的损失函数做了调整。添加了结构相似性函数（SSIM）和感知损失函数（Perceptual Loss）作为损失函数来优化预测网络PredNet网络生成的预测图像质量，生成的预测图像更加清晰。

通过加入结构相似性函数（SSIM）和感知损失函数作为网络的损失函数，可以使预测的结果更接近真实图像，网络输出结果如图3a-3b所示。图3a为加入结构相似性函数（SSIM）和感知损失函数的网络结果对比时刻11的真实图像，图3b为加入结构相似性函数（SSIM）和感知损失函数的网络结果对比时刻11的预测图。

回归网络

如图1第二阶段所示，根据一阶段的预测结果，实现增材过程中的余高回归部分。

传统的卷积神经网络在回归任务上已经取得了不少较为优良的成果，但随着网络层数的加深，可能会引起梯度问题，产生梯度消失或者梯度爆炸。残差网络ResidualNeural Network，残差网络ResNet在一定程度上解决了这个问题，其主要思想是在网络中增加了跳层连接。传统卷积网络结构是在输入特征上做一个非线性变换，而残差网络保留之前网络层的一定比例的输出，允许原始输入信息直接传到后面的层中。通过直接将输入信息绕道传到输出，保护了信息的完整性，整个网络只需要学习输入、输出差别的那一部分，简化学习目标和难度，也同时确保深层网络性能不弱于浅层网络。

卷积神经网络中，在不断提取特征的同时不断增加特征通道数目，但是每一个特征通道对最终结果的影响程度不同，如果能够对不同的特征通道予以不同的权值，这样会使结果更好。本节选择在经典的残差网络ResNet-34的基础上增加了SE模块作为网络余高的特征提取部分。SE模块可以学习特征通道之间的相互关系，通过学习的方式自动获取到每个通道的重要程度，给予不同的权重，然后根据权重的大小提升有用通道的特征并抑制权重较小的通道特征。回归网络SERes网络结构如图4所示，它包括：

（1）用于全局上下文建模的全局平均池化，称为SE模块中对空间维度的特征压缩操作，可以将C×H×W的特征图变成1×1×C大小的特征图，也可以认为这个特征图就是全局感受野；

（2）Excitation模块，用于计算每个通道的重要性，称为SE模块中的激励操作，可以生成每个特征通道的权重；

（3）特征通道赋值操作，将（2）输出的权重加权到原来的通道特征上，实现在通道维度不同的权值。如图4所示，为回归网络SERes网络结构，

通过熔池视觉系统捕获的图片大小为350×640，为了降低计算量，将图像大小调整为64×320。调整后的图像保持了原图像的高宽比。回归网络所含的细节如表1所示。

表1网络架构

实验和分析

以基于冷金属过渡焊接CMT不锈钢单道多层的增材制造为背景，预测电弧增材制造过程熔覆层熔池形态及余高量的变化，具体焊接参数如表2所示。

表2焊接参数

本实验的堆积方式为同向式堆积，每一层成形的高度如图5a所示。从整体可以看出熔敷层起弧端的高度较高，熄弧端的高度较低。在起弧端、中间端和熄弧端采集到的熔池图像也存在明显差异，如图5b-5d所示。但这类问题可以通过调节焊接参数解决，因此本实验取熔覆层离起弧端20-70mm处的熔池图像进行分析。图5为同向式堆积成形示意图：（a）成形高度；（b）起弧端熔池图像；（c）中间端熔池图像；（d）收弧端熔池图像。

为了评价网络的准确性和泛化能力，在保持其他焊接参数不变的条件下，改变层间冷却时间为1min、2min、3min和4min，利用熔池视觉采集系统，采集各熔覆层的熔池图像。随后将采集到的冷却时间为2min、3min和4min的30层熔池图像随机抽取21层组成训练集，用冷却时间为1min的共10层的熔池图像作为测试集，所以测试集与训练集之间的关系是完全独立的，其中训练集样本数为17500，测试集样本数为6500。用于网络预测和回归的训练方式完全相同。

（1）网络预测

本实验通过对复制最后一帧Copy Last、预测网络PredNet和本节算法对增材数据集做测试集预测效果的定量评价，以验证本实验预测算法的有效性。其中，复制最后一帧CopyLast指的是直接复制最后一帧的图像当作每一帧预测图，增加复制最后一帧Copy Last的对比实验是为了说明预测算法确实能够预测得到熔池形态的变化。在对比实验中，预测网络PredNet和本节算法的训练参数保持一致，都是做的迭代预测，输入为十帧图像，预测后面十帧的熔池形态。由熔池视觉系统采集的真实和预测的熔池图像如图6所示。图6为20帧预测结果对比，

本实验选用均方误差MSE、峰值信噪比PSNR和结构相似性函数SSIM对预测图像进行质量评价。为了具体说明每一帧的预测效果，本实验对预测图像的每一帧单独计算均方误差MSE、峰值信噪比PSNR和结构相似性函数SSIM，具体结果如图7a-7c所示，图7a为增材测试集中均方误差MSE预测帧的定量结果，图7b为增材测试集中峰值信噪比PSNRPSNR预测帧的定量结果，图7c为增材测试集中SSIM预测帧的定量结果。图中蓝色、绿色、红色分别表示复制最后一帧Copylast、Prednet和OurResult。由图中可以看出，由于添加了结构相似性函数SSIM和感知损失函数Perceptual Loss来优化预测网络Prednet生成的预测图像质量，使网络生成的预测图像更加清晰。从均方误差MSE、峰值信噪比PSNR和结构相似性函数SSIM等评价指标来看，本实验算法都取得了最优的效果。

（2）基于当前熔池图像的余高回归

不同熔覆层的余高增量，如图8所示。为不同熔覆层的余高增量，因为第一层熔覆层直接与母材接触，散热条件最好，所以在零件增材堆积过程中，这层的余高值也最大。其熔池图像与其他层同一位置的熔池图像差别也是最大的，如图9所示，因此后续单道多层的熔池形态分析不特别说明的话，均以第一层之后熔覆层的熔池为研究对象。图9为第1-10层不同熔覆层离起弧点50mm处的熔池形态，，将随机挑选的四层熔覆层用残差网络ResNet和本节算法的余高回归结果。在图10中Residuals表示两种算法与真实值的残差，残差网络参数Parameters_Resnet和压缩激发残差网络参数Parameters_SERes后面的参数mean、std分别表示两种算法的残差的均值、标准差。回归网络SERes的回归值的平均偏离量（mean）小于残差网络ResNet，且具有更小的标准差，可以看出回归网络SERes算法确实提高了网络的回归精度。图10a为第三层典型层不同回归算法的输出值与真实值对比图，图10b为第六层典型层不同回归算法的输出值与真实值对比图，图10c为第八层典型层不同回归算法的输出值与真实值对比图，图10d为第三层典型层不同回归算法的输出值与真实值对比图。

（3）基于预测结果的余高回归

在对增材数据集的预测回归实验中，本实验利用图1中的整体网络框架，对增材数据集基于预测结果进行回归效果分析，随机挑选的四层测试结果如图11所示。在图11中Residuals表示两种方法回归值与真实值的残差，Parameters_Direct和Parameters_Prediction后面的参数mean、std分别表示两种方法的残差的均值、标准差。

图11a 为第三层典型层第一帧预测回归算法回归值与真实值、直接回归值对比图，图11b 为第三层典型层第十帧预测回归算法回归值与真实值、直接回归值对比图，图11c 为第六层典型层第一帧预测回归算法回归值与真实值、直接回归值对比图，图11d为第六层典型层第十帧预测回归算法回归值与真实值、直接回归值对比图，图11e 为第八层典型层第一帧预测回归算法回归值与真实值、直接回归值对比图，图11f 为第八层典型层第十帧预测回归算法回归值与真实值、直接回归值对比图，图11g 为第十层典型层第一帧预测回归算法回归值与真实值、直接回归值对比图，图11h 为第十层典型层第十帧预测回归算法回归值与真实值、直接回归值对比图。本实验将预测得到的每一帧都进行了回归计算，从图11a-11h中可以看出，第三层和第八层直接回归的结果要优于预测回归算法，这是因为熔池轮廓是影响回归的重要特征，而预测网络退化了熔池轮廓的清晰度。第六层和第十层使用预测回归算法的结果要优于直接回归，这是因为预测网络同时退化了可能对回归产生干扰的熔池内部细节。每一层预测的第10帧比第1帧的回归精度要低，这是因为在预测熔池形态变化的过程中，图像特征不断减少，造成了第10帧的回归效果不如第1帧。总体来讲，预测回归算法与直接回归的偏移量指标相当。结果证明，本实验的预测回归算法最大误差约为0.3mm，能够对增材数据集达到良好的预测回归效果。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.基于熔池图像长程预测的增材余高预测方法，其特征在于：针对当前熔池图像，基于深度学习的预测网络Prednet长程预测熔池图像，对预测的每一帧图像进行损失函数的计算，所述损失函数评估估计值与真实值之间的差值，并根据这些差值，网络在训练过程中不断调整网络的参数以找到最优模型参数，对所述损失函数添加了结构相似性函数SSIM和感知损失函数Perceptual Loss以优化预测网络Prednet生成的预测图像质量，并将预测结果通过回归网络SERes，提前回归出准确的熔覆层余高增量调控信息。

2.根据权利要求1所述的基于熔池图像长程预测的增材余高预测方法，其特征在于：所述预测网络Prednet包括堆叠的四层ConvLSTM单元，每层所述ConvLSTM单元只做局部预测，并将图像预测误差在网络中进行传递。

3.根据权利要求2所述的基于熔池图像长程预测的增材余高预测方法，其特征在于：所述四层ConvLSTM单元包括输入模块Al、循环表征模块Rl、预测模块

和误差模块El，通过各层方向传播方式计算误差El和ConvLSTM单元的状态Rl，在时间维度上按照时间顺序更新参数，t时刻网络更新好后，进行t+1时刻的更新，在每个时刻t都有四层ConvLSTM单元，将误差在四层之间自下而上传递，在垂直方向和时间方向同时更新网络参数。

4.根据权利要求1所述的基于熔池图像长程预测的增材余高预测方法，其特征在于：所述回归网络SERes增加了跳层连接以及允许原始输入信息直接传到后面层中，直接将输入信息传到输出。

5.根据权利要求4所述的基于熔池图像长程预测的增材余高预测方法，其特征在于：所述回归网络SERes是在残差网络ResNet-34的基础上增加SE模块作为网络余高的特征提取部分，该SE模块通过学习的方式自动获取每个通道的重要程度，给予不同的权重，根据权重的大小提升有用通道的特征并抑制权重较小的通道特征，回归网络SERes具体包括以下工作步骤：

步骤1：SE模块对空间维度的特征进行压缩操作，以全局平均池化上下文建模，将C×H×W的特征图变成1×1×C大小的特征图，即为全局感受野；

步骤2：SE模块的激励操作，利用Excitation模块计算每个通道的重要性，生成每个特征通道的权重；

步骤3：对每个特征通道赋值操作，将步骤2中输出的权重加权到原来的通道特征上，以实现在通道维度不同的权值。

Images