CN113343996B - 一种基于深度卷积网络等离子定向能量沉积面积计算方法 - Google Patents

Abstract

本发明提供了一种基于深度卷积网络等离子定向能量沉积面积计算方法。该方法包括：获取等离子定向能量沉积过程中的熔池和等离子弧的图像采集，对熔池和等离子弧图像进行预处理；利用深度卷积网络处理预处理后的图像，提取熔池和等离子弧的图像特征；由熔池和等离子弧的灰度值不同分离出熔池和等离子弧，最终获得熔池和等离子弧的RGB特征图像；采用坐标法计算熔池和等离子弧的面积，并利用GPU算法进行熔池和等离子弧的面积计算。本发明能够对等离子定向能量沉积过程中的熔池和等离子弧面积的变化特征进行统计，熔池和等离子弧面积特征作为根据进行反馈调节，进而对打印的工件进行增材制造或减材制造，以提高金属增材制造产品的质量。

Description

一种基于深度卷积网络等离子定向能量沉积面积计算方法

技术领域

本发明属于增材制造图像识别领域，具体涉及一种深度神经网络的等离子定向能量沉积图像识别中的面积统计。

背景技术

金属增材制造方式较多，可分为两类，直接成形与间接成形。选择性激光熔化(SLM)是增材制造直接成形的一种方式，能够实现复杂的形状或内部特征的成形，其在个性化定制、高质量、复杂精密金属构件整体成形方面有着巨大的优势。同时SLM成形具有工艺参数多样化和制造过程复杂化的特点,导致成形零件易出现球化、孔隙和未熔合等缺陷，从而对后续工艺产生不利影响。粉末床激光熔融(LPBF)则是一种新型增材制造技术，由于能够制造复杂的自由固态结构而在航空航天、生物医疗、工业模具等领域具有良好的应用前景。然而复杂的导热过程伴随着飞溅现象严重影响成形零件的质量,如增大产品的不规则孔隙率和表面粗糙度，这使得产品功能部件的稳定性和可靠性降低，从而限制了LPBF的工业应用。等离子定向能量沉积在航天，医疗等制造领域都有着巨大的前景，由于适应性好，成本低，便于规模化生产等原因，应用比较广泛。

目前对等离子定向能量沉积打印成形质量的检测多采用离线手段,其存在滞后性和不可提前干预的缺点，而传统的视觉和热成像技术的检测精度又难以满足其应用要求。熔池等离子弧的有效统计能够及时反馈给等离子定向能量沉积系统提升产品质量，对于金属增材制造的发展具有重要意义。

发明内容

针对上述问题，本发明提供了基于深度卷积神经网络的等离子定向能量沉积面积统计的一种方法，从而为提升产品质量提供思路。

本发明所设计的基于深度卷积神经网络下的等离子定向能量沉积图像识别中面积统计的方法，其包括以下步骤。

一种基于深度卷积网络等离子定向能量沉积面积计算方法，其特征在于，包括

S1：使用等离子定向能量沉积过程监测图像采集装置对等离子定向能量沉积的熔池和等离子弧的图像进行采集,获取等离子定向能量沉积的熔池和等离子弧的图像；

S2：预处理S1采集的图像，得到通过高斯滤波去除高斯噪声后的熔池和等离子弧的二值化图像。

S3：使用深度卷积神经网络对预处理后的图像进行分割处理，具体包括：

S3.1、将S2中的数据集R和标签图像集O进行划分，得到测试集和训练集；训练集用于对深度卷积神经网络进行训练，测试集用于对完成训练后的深度卷积神经网络测试其准确性。

将训练集按照一次m张图像输入深度卷积神经网络中，网络分为

编码模块：包括主干网络和空洞空间金字塔池化结构。这里的主干网络采用20层卷积层的深度卷积神经网络，由于深度卷积神经网络需要大量的计算，因此采用了深度可分卷积代替传统卷积。深度可分卷积可以有效地减少计算量，加快网络运算速度并有效地减少了计算和存储开销。为了尽可能不丢失原始图像的细节信息，在空洞空间金字塔池化结构中引入了空洞卷积来代替普通的卷积和池化运算。

解码模块：首先将空洞空间金字塔池化结构中获得的多尺度融合的特征图与从主干网络中得到的浅层特征图进行1×1的卷积降低特征图的通道数。同时为了控制特征图的尺寸进行了上采样的操作。将上述的两个特征图叠加并进行降低通道数和上采样的操作可以得到预测的图像P。由P和相应的标签图像进行交叉熵损失函数计算，根据损失函数进行反向传播调整卷积核中的参数。

最终根据训练迭代次数达到某一阈值或损失函数值低于某一阈值终止深度神经网络的训练。然后将测试集输入训练好的网络，测试深度神经网络的准确性。

S4：GPU加速面积计算：将采集到的等离子定向能量沉积过程中的采集的图像输入S3中训练好的网络，得到分割后的图像中熔池和等离子弧的轮廓以多边形图像进行存储。即得到分割后的图像中熔池和等离子弧的轮廓的多边形图像划分为多个三角形，计算多个三角形的面积并叠加可以求得熔池和等离子弧的精确面积。

S4.1、根据阈值分割算法将预测的图像中熔池和等离子弧分离，进而提取它们的轮廓。具体是：由于经过神经网络分割得到的图像中只有三种灰度值，采用特定的阈值进行图像分割，把熔池和等离子弧分别提取。

S4.2、利用GPU的并行计算快速计算等离子弧和熔池面积。统计面积的大小变化特征，并由面积大小特征反馈控制系统。具体是：将S4.1中得到的熔池和等离子弧图像用多个三角形代替，多个三角形用坐标法在GPU上进行并行计算面积。将固定电流强度和扫描速度下采集的图像，按照时间的顺序进行图像分割并提取熔池和等离子弧的面积。统计多个电流强度和扫描速度下的面积的平均值，为反馈调节等离子定向能量沉积工艺做准备。

在上述的一种基于深度卷积网络等离子定向能量沉积面积计算方法，S2具体包括：

图像预处理操作为采用平均值法，将RGB三通道图像中的各个通道的灰度值求平均，得到一个灰度值并赋值给单通道，将三通道图像转化为单通道灰度图；使用3×3大小的高斯滤波器去除灰度图中的高斯噪声；对训练图像做一系列旋转、镜像等随机变换，来产生相似但又不同的图像，从而得到扩充后的数据集R，提高深度神经网络最终的图像识别能力。

数据集R进行手动标注得到标签图像集O：将背景区域的像素灰度值均赋值为0，熔池区域的像素灰度值均赋值为1，等离子弧区域的像素灰度值均赋值为2。

本发明的优点在于：

1、图像预处理操作通过采用灰度图转化，高斯滤波去除高斯噪声，减小图像的内存占用，突出了熔池等特征的信息，除去了大量无用信息，提高了图像的使用价值；对采集到的等离子能量沉积中的图像做一系列旋转、镜像等随机变换有效扩大了数据集，随机改变训练样样本也降低了模型对等离子定向能量沉积图像特征某些属性的依赖，从而提高模型的泛化能力。

2、本图像识别所采用的深度卷积神经网络相比于普通的卷积神经网络可以接受任意大小的输入图像，而不用要求所有的训练图像和测试图像具有同样的尺寸，在对每个像素都产生了一个预测的同时保留了原始输入图像中的空间信息；并且避免了由于使用像素块而带来的重复存储和计算卷积的问题，使图像识别更加高效。由于复杂的图像背景和等离子弧光晕的干扰，传统的图像分割方法和神经网络无法对等离子定向能量沉积过程的实时监测过程中采集到的图像进行准确的处理而本系统采用的深度卷积神经网络可以提取更复杂的熔池特征和等离子弧特征，从而消除等离子弧光晕的影响。由于熔池和等离子弧的亮度非常相似，传统的图像分割算法很难分别提取熔池和等离子弧，也很难克服等离子弧晕等因素的影响且一次只能提取一个目标，而本系统采用的深度卷积神经网络方法可以有效地区分熔池和等离子弧并同时处理熔池和等离子弧，其分割性能与手工标注分割非常接近。

3、本系统采用GPU并行计算进行等离子弧和熔池图像的计算。相比于CPU，GPU采用了数量众多的计算单元和超长的流水线，并提供了多核并行计算的基础结构，且核心数量远超CPU，拥有更高的访存速度和更高的浮点运算能力，可以支撑大量数据的并行计算，使算法精度和效率更高。

附图说明

图1为系统流程图。

图2为本发明深度卷积神经网络工作原理图。

具体实施方式

为了使发明更清楚，下面结合附图进一步说明。

如图1所示,本发明主要包括以下步骤:

S1：使用等离子定向能量沉积过程监测图像采集装置对等离子定向能量沉积的熔池和等离子弧的图像进行采集,获取等离子定向能量沉积的熔池和等离子弧的图像；

S2：预处理S1采集的图像，得到通过高斯滤波去除高斯噪声后的熔池和等离子弧的二值化图像；

S3：使用深度卷积神经网络对预处理后的图像进行分割处理；

S4：GPU加速面积计算：将采集到的等离子定向能量沉积过程中的采集的图像输入S3中训练好的网络，得到分割后的图像中熔池和等离子弧的轮廓以多边形图像进行存储；即得到分割后的图像中熔池和等离子弧的轮廓的多边形图像划分为多个三角形，计算多个三角形的面积并叠加可以求得熔池和等离子弧的精确面积；金属增材制造过程监测图像采集装置的等离子加工头设置在实验平台边缘，发出作为热源的等离子弧，扫描经由零件分层得到的成形路径，在金属基板上形成一个移动的熔池，将外部填充的金属丝材熔化而成的金属熔滴，不断的送入熔池，通过在成形路径上逐层累积金属材料，实现零件的成形；808纳米的激光器设置在实验平台底部，发出光源，照亮背景；高速摄像机设置在实验平台正上方，与计算机相连接，把捕捉到捕捉清晰的等离子弧的形态特征上传至图像处理系统。此外，高速相机的镜头前安装了一个808纳米的滤光器，以减少背景干扰，防止遗漏细节。

进一步地，对高速相机所拍摄的等离子弧和熔池图像进行预处理，具体操作如下：

高速摄像头所拍摄的一系列等离子弧和熔池图像由改变等离子加工头的扫描速度(速度大小分别为5、7、10、13、15mm/s)和电流(电流大小分别为30、35、40、45、50A)获得。原始等离子弧和熔池图像的像素格式为8-bit，尺寸为450×512像素，其灰度值范围为0到255。

将采集的图像采用平均值算法，将RGB三通道图像中的灰度值求平均得到一个灰度值以将图像转化单通道的灰度图，减少后续的图像的计算量；

使用高斯滤波器移动相关核的中心元素，使它位于等离子弧和熔池的输入图像待处理像素的正上方，再将输入图像的像素值作为权重，乘以相关核将得到的结果相加作为输出从而去除大部分的噪声；

对训练图像做一系列旋转、镜像等随机变换，来产生相似但又不同的训练样本，以增大数据集。

将预处理后的图像输入深度卷积神经网络进行分割处理。如图2所示，所述深度卷积神经网络中使用深度卷积网络作为骨干网络，设计采用多比例的带孔卷积级联或并行来捕获多尺度背景，融合多尺度信息，并采用预训练的残差网络来提取特征，并加入图像等级的空洞空间金字塔池化，将深度可分离卷积应用于空洞空间金字塔池化和解码器模块，从而产生语义分割常用的编码-解码网络；因此在与传统的分割算法相比，所述神经网络在提升了分割效果和效率的同时，更关注了边界的信息，降低参数数列，提高计算效率，使神经网络运行更快速高效。

在所述编码-解码网络中，引入可任意控制编码器提取特征的分辨率，并通过空洞卷积平衡精度和耗时。在空洞空间金字塔池化和解码模块使用深度可分卷积，提高编码-解码网络的运行速率和健壮性。在空洞空间金字塔池化中引入了空洞卷积。在空洞卷积中引入了膨胀率这一超参数，该参数定义了卷积核处理数据时各值的间距，空洞卷积通过改变膨胀率直接改变感受野的大小，在不改变图像输出特征图的尺寸的同时增大感受野，最大限度地保留原始图像的细节信息。

在所述编码器架构中，包含的主干神经网络为采用20层多层卷积层的深度可分离卷积，来提取等离子能量沉积过程中现场监测图像的特征。采用的卷积方式为空洞卷积；所述空洞卷积作用是在不降低输入图像分辨率的基础上扩大了感受野的范围，让每个卷积输出都包含较大范围的信息，使得神经网络能够提取图像的上下文特征更广，同时它可以保证输出的特征映射的大小保持不变，最大程度降低了图像的信息损失，从而提高图像识别的准确度。

在所述解码器架构中，将编码器中得到的等离子弧和熔池特征图的多尺度信息与主干网络得到的浅层特征图进行融合，得到丰富的图像信息。为了得到预测图像，需要对特征图进行1×1卷积以减少通道数，并进行4次上采样以调整特征图的大小。

对所述的等离子能量沉积过程的实时监测图像输入深度卷积神经网络进行分割处理过程如下：

将上述步骤得到的等离子弧和熔池图像分为两部分，其中80％用于训练数据集，20％作为测试数据集,用于对所述深度卷积神经网络进行训练。在参数的选择上，选取以下参数对所述等离子弧和熔池图像进行分割：学习率为0.0001，损失函数为交叉熵损失函数。

将所述等离子弧和熔池图像作为深度卷积神经网络的输入，在深度可分离卷积网络中做空洞卷积，对输入的特征图的每一个通道单独做卷积，进一步对卷积后得到的若干个特征图做1×1卷积，以增大卷积核的感受野，让每个卷积输出都包含较大范围的信息；

对卷积后的图像进行4次上采样，在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。

将卷积后的图像进行池化，减少卷积层输出的特征向量，降低过拟合；

经过多次卷积和池化以后，得到的图像尺寸越来越小，分辨率越来越低，最终得到高维特征的特征图。将得到的特征图上采样到原始的图像尺寸。

当损失函数值低于某个阈值时，停止深度卷积神经网络的训练并保存。将测试集图像输入训练好的神经网络，进行验证。

将采集到的等离子定向能量沉积过程中图像输入训练好的网络，在所得到的等离子弧和熔池分割图像中，利用熔池和等离子弧的灰度值不同分离出熔池和等离子弧，具体步骤为将高于预设阈值的等离子弧以外的像素灰度值均赋值为0，低于阈值的熔池以外的像素灰度值赋值为0，可以分别得到熔池和等离子弧的图像。

采用坐标法计算熔池和等离子弧的面积，具体步骤如下：

将熔池和等离子弧多边形的点按逆时针排序，得出多边形的顶点集。在坐标轴上，多边形的每个线段与坐标原点都能围成一个三角形，这些三角形的“面积”之和就是多边形区域的面积，因此将多边形分割成多个三角形，求三角形面积代数和。三角形的面积由3个顶点构成的两个平面向量的外积求得。设多边形顶点坐标依次是(x₁,y₁),(x₂,y₂),…(x_n,y_n)，则多边形面积公式如下：

利用GPU算法进行面积的快速计算。与基于CPU的串行处理方式不同，所述GPU算法可以容纳上千个没有逻辑关系的数值计算线程，其并行计算特性减少了程序运算过程的时间代价，极大提升了程序的执行效率。

计算不同电流强度和扫描速度下熔池和等离子弧根据时间变化的平均面积，统计其变化特征，根据熔池和等离子弧面积大小进行反馈调节，以提高等离子能量沉积工件的质量。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于深度卷积神经网络的等离子定向能量沉积面积计算方法，其特征在于，包括

S1：使用等离子定向能量沉积过程监测图像采集装置对等离子定向能量沉积的熔池和等离子弧的图像进行采集,获取等离子定向能量沉积的熔池和等离子弧的图像；

S2：预处理S1采集的图像，得到通过高斯滤波去除高斯噪声后的熔池和等离子弧的二值化图像；

S3：使用深度卷积神经网络对预处理后的图像进行分割处理，具体包括：

S3.1、将S2中的数据集R和标签图像集O进行划分，得到测试集和训练集；训练集用于对深度卷积神经网络进行训练，测试集用于对完成训练后的深度卷积神经网络测试其准确性；

将训练集按照一次m张图像输入深度卷积神经网络中，网络分为

编码模块：包括主干网络和空洞空间金字塔池化结构；这里的主干网络采用20层卷积层的深度卷积神经网络，由于深度卷积神经网络需要大量的计算，因此采用了深度可分卷积代替传统卷积；深度可分卷积能够有效地减少计算量，加快网络运算速度并有效地减少了计算和存储开销；为了尽可能不丢失原始图像的细节信息，在空洞空间金字塔池化结构中引入了空洞卷积来代替普通的卷积和池化运算；

解码模块：首先将空洞空间金字塔池化结构中获得的多尺度融合的特征图与从主干网络中得到的浅层特征图进行1×1的卷积降低特征图的通道数；同时为了控制特征图的尺寸进行了上采样的操作；将上述的两个特征图叠加并进行降低通道数和上采样的操作能够得到预测的图像P；由P和相应的标签图像进行交叉熵损失函数计算，根据损失函数进行反向传播调整卷积核中的参数；

最终根据训练迭代次数达到某一阈值或损失函数值低于某一阈值终止深度神经网络的训练；然后将测试集输入训练好的网络，测试深度神经网络的准确性；

S4：GPU加速面积计算：将采集到的等离子定向能量沉积过程中的采集的图像输入S3中训练好的网络，得到分割后的图像中熔池和等离子弧的轮廓以多边形图像进行存储；即得到分割后的图像中熔池和等离子弧的轮廓的多边形图像划分为多个三角形，计算多个三角形的面积并叠加能够求得熔池和等离子弧的精确面积；

S4.1、根据阈值分割算法将预测的图像中熔池和等离子弧分离，进而提取它们的轮廓；具体是：由于经过神经网络分割得到的图像中只有三种灰度值，采用特定的阈值进行图像分割，把熔池和等离子弧分别提取；

S4.2、利用GPU的并行计算快速计算等离子弧和熔池面积；统计面积的大小变化特征，并由面积大小特征反馈控制系统；具体是：将S4.1中得到的熔池和等离子弧图像用多个三角形代替，多个三角形用坐标法在GPU上进行并行计算面积；将固定电流强度和扫描速度下采集的图像，按照时间的顺序进行图像分割并提取熔池和等离子弧的面积；统计多个电流强度和扫描速度下的面积的平均值，为反馈调节等离子定向能量沉积工艺做准备；

S2具体包括：

图像预处理操作为采用平均值法，将RGB三通道图像中的各个通道的灰度值求平均，得到一个灰度值并赋值给单通道，将三通道图像转化为单通道灰度图；使用3×3大小的高斯滤波器去除灰度图中的高斯噪声；对训练图像做一系列旋转、镜像等随机变换，来产生相似但又不同的图像，从而得到扩充后的数据集R，提高深度神经网络最终的图像识别能力；

数据集R进行手动标注得到标签图像集O：将背景区域的像素灰度值均赋值为0，熔池区域的像素灰度值均赋值为1，等离子弧区域的像素灰度值均赋值为2。

Images