CN112906833A - 一种基于全卷积神经网络的等离子能量沉积图像识别方法 - Google Patents

Abstract

本发明提供了一种基于全卷积神经网络的等离子能量沉积图像识别方法，该方法包括：首先由监测设备实时采集等离子定向能量沉积中熔池和等离子弧的图像，然后进行包括旋转、翻转等操作进行图像的预处理，扩充图像的数据集；引入全卷积神经网络，同时运用空洞卷积代替传统卷积与池化的作用，将预处理图像进行像素级分类，精准分割等离子弧和熔池；将分割后的图像与原始输入图像进行做差，快速定位熔池及等离子弧。本发明能够对于金属增材制造中等离子定向能量沉积的熔池和等离子弧进行快速识别，为后来提取熔池和等离子弧形貌做好基础，从而实时调节金属增材制造过程中的相关参数，提高产品质量。

Description

一种基于全卷积神经网络的等离子能量沉积图像识别方法

技术领域

本发明属于金属增材制造图像识别领域，具体涉及金属增材制造的等离子能量沉积及其图像识别。

背景技术

金属增材制造方式较多，可分为两类，直接成形与间接成形。在直接成型方式中，选择性激光熔化(SLM)是一种重要的制造技术，通过将金属粉末层层铺开来制造零件，允许生产高度定制的项目产品和创新设计，应用广泛，包括但不限于医疗和航空航天领域。但是，进一步利用SLM制造是存在障碍的。其主要障碍是有限的工艺可重复性和稳定性。此外，过程中复杂的熔池行为往往伴随着飞溅，这对SLM制备的稳定性和能量利用有重要不利影响；与此同时，作为一种新兴的添加剂制造技术，激光粉末床层熔合技术(LPBF)也具有制造复杂固体和自由形结构的能力，与传统的金属增材制造方式相比，具有明显的优势。因此，LPBF是一种面向未来的技术，可用于制造成型，航空航天，医疗等方面的功能部件。然而，一些与质量有关的问题限制了它在工业上的广泛应用，如滚珠、不规则孔隙率和表面粗糙度。这些问题降低了功能部件的可靠性和稳定性。相比于前两种，等离子定向能量沉积具有高沉积率，相比于其他直接能量沉积更加便宜，飞溅较少等特点，在航天，医疗等制造领域都有着巨大的前景。

因此，开发在线监测技术对于深入了解等离子定向能量沉积具有重要意义。目前的监测方法主要集中在实验装置、可变过程测量以及熔池形成机理等方面，而针对监测目的的图像处理技术研究较少。

发明内容

针对上述问题，按照本发明，提供了在线监测等离子定向能量沉积的一种方法，从而为上述问题的解决提供思路。

本发明所设计的基于全卷积神经网络下的等离子能量沉积的图像识别的方法，其包括以下步骤。

一种基于全卷积神经网络的等离子能量沉积图像识别方法，其特征在于，包括

S1、采集熔池及等离子弧图像，图像采集装置包括同时与图像处理系统连接的等离子加工头，高速摄像机，激光器；获得等离子能量沉积的图像R1,R2…Rn；

S2、对S1采集的图像进行预处理，得到数据集R1,R2,R3…Rn,Rn+1,…R3n，并对数据集进行预处理得到标签图像O1,O2,O3…On,On+1,…O3n；

S3、对S2预处理后的图像基于全卷积神经网络处理图像，具体是：

S3.1、将数据集3n张图像按照20%和80%的占比划分，占比20%的图像为测试集，占比80%的图像为训练集；

S3.2、将训练集中图像R输入全卷积神经网络,得到预测图像P，根据预测图像与标签图像的差异进行反向传播，差异用损失函数计算；将上述步骤进行迭代计算，当损失函数低于某一阈值或者网络训练迭代次数达到某一阈值终止网络，将测试集输入训练好的神经网络；根据像素准确率测试神经网络的准确度，像素准确率为预测正确的图像的像素总数除以预测图像的像素总数；

全卷积神经网络架构包括：

编码模块：首先通过主干网络提取等离子能量沉积监测图像的特征，然后利用膨胀空间金字塔池化和图像池化提取图像的多尺度信息，主干网络采用深度卷积神经网络；利用20个多层卷积层进行深度卷积，提取图像的特征；

译码模块：将编码模块获得的深层特征图的多尺度信息与主干网络获得的浅层特征图进行融合，得到特征图；最后，进行1×1的卷积减少特征图的通道数量后得到预测的图像，并进行上采样来调整特征图的大小，使其与现场监测图像尺寸相同；然后根据预测的图像P和相应的标签图像O的差异进行反向传播，优化卷积和池化中的所有参数；

S4：输出结果比较；将采集的等离子能量沉积图像输入已经训练好的神经网络，将输出的图像和相应输入的图像进行效果对比；具体步骤是：取出等离子能量沉积过程中采集到的图像，然后输入训练好的全卷积神经网络，得到预测分割的图像；预测的图像将熔池区域像素的灰度值均赋值为1，等离子弧区域像素的灰度值均赋值为2；根据预测图像中灰度值为1的位置，将输入图像相应位置的R通道灰度值均赋值为255；根据预测图像中灰度值为2的位置，将输入图像相应位置的G通道灰度值均赋值为255。

在上述的一种基于全卷积神经网络的等离子能量沉积图像识别方法，步骤S2具体包括：

步骤S2.1、降维；将RGB三通道变为单个灰度通道；

步骤S2.2、数据扩充；将现有的n张图像进行水平翻转和顺时针方向旋转45°，现有的图像数量将扩充为原来的3倍，从而得到n张数据集图像；

步骤S2.3、手工标注图像，制作标签；将进行数据扩充后得到的数据集图像中的一半进行手工标注，分割出熔池和等离子弧，得到标签图像O1,O2,O3,…On,On+1,…O3n；具体做法是：将背景区域像素灰度值均赋值为0，熔池区域像素灰度值均赋值为1，等离子弧区域像素灰度值均赋值为2，将标签图像用于全卷积神经网络的训练与测试。

本发明的优点在于：

1.膨胀卷积的设置。网络结构中，可以通过膨胀卷积任意控制编码模块特征图的分辨率，并充分考虑的速度和精度，这是现有的编码-解码模块没有的。

2.深度可分离卷积减小参数量和计算量。深度可分离卷积把一步普通卷积变成两步计算，减少了参数量和计算量。

3.在解码模块了使用膨胀空间卷积池化金字塔。对所给定的输入图像以不同采样率膨胀卷积并行采样，获取多尺度信息的同时对输入图像尺寸大小的要求降低，更加便捷。

附图说明

图1为本发明流程图。

图2为本发明全卷积神经网络工作原理图。

具体实施方式

为了使本发明更清楚，下面结合附图进一步说明。

1.图像采集装置的说明。等离子加工头进行打印的持续工作；激光器功率为25W，出射的激光波长为808nm，起照明光源的作用；1280×896像素，30000 fps高速相机连接电脑。此外，高速相机的镜头前安装了一个808纳米的滤光器，以减少背景干扰，防止遗漏熔池和飞溅的细节。

2.本发明涉及的神经网络原理图说明。如图1所示，具体包括：

S1：熔池及等离子弧图像采集：图像采集装置包括等离子加工头，高速摄像机，激光器，图像处理系统连接而成，获得等离子能量沉积的图像R1,R2…Rn；

S2：图像预处理：对S1采集的图像进行预处理，得到数据集R1,R2,R3…Rn,Rn+1,…R3n以及标签图像O1,O2,O3…On,On+1,…O3n；

S3：全卷积神经网络处理图像：对S2预处理后的图像基于全卷积神经网络处理图像。

S4：输出结果比较：将采集的等离子能量沉积图像输入已经训练好的神经网络，将输出的图像和相应输入的图像进行效果对比。具体步骤是：取出等离子能量沉积过程中采集到的图像，然后输入训练好的全卷积神经网络，得到预测分割的图像。预测的图像将熔池区域像素的灰度值均赋值为1，等离子弧区域像素的灰度值均赋值为2。根据预测图像中灰度值为1的位置，将输入图像相应位置的R通道灰度值均赋值为255；根据预测图像中灰度值为2的位置，将输入图像相应位置的G通道灰度值均赋值为255。

3.本发明涉及的神经网络原理图说明。如图2所示，所述神经网络中通过采用多尺度的膨胀卷积并行或级连来捕获多尺度的背景，进而叠加特征图以完成特征融合。下面部分进一步阐述神经网络的结构。

在编码架构中，其包含的主干神经网络采用改进的Xception作为深度卷积神经网络，Xception 模型已经在图像分类上取得了快速的计算，此处改进的Xception 模型在图像分割中实现了快速计算；同时使用了膨胀空间卷积池化金字塔，并将深度可分离卷积用于膨胀空间卷积池化金字塔和解码模块中，使网络更快。以下是膨胀空间卷积池化金字塔与深度可分离卷积的具体解释。

①深度可分离卷积。深度可分离卷积由每个图像通道单独做卷积和将第一步卷积结果用1×1卷积和通道组合起来，用来提取特征图，相比常规的卷积操作，其参数数量和运算成本比较低。

②膨胀空间卷积池化金字塔。可以分为膨胀卷积和空间金字塔两个方面。膨胀卷积广泛应用于语义分割，目标检测，生成算法中，在参数量不变的情况下增大卷积核，参数之间的距离称为卷积率，能增大感受野，用膨胀卷积代替传统卷积与池化操作，保留了输入图像的有效信息。空间金字塔则是对于输入图像进行不同卷积率的操作，在多尺度上提取输入图像的特征。

编码结构具体如下：输入的在线监测图像经过32个3×3的卷积核与64个3×3的卷积核提取输入图像的浅层特征；进一步将得到的特征图经过多次的深度可分离卷积与1×1卷积并行的操作，进行图像的快速分割，最后进行两次3×3的深度可分离卷积，该改进的Xception结构经过测试图像分割效果最好。进一步将上一步得到的特征图像进行不同卷积率的膨胀卷积操作得到不同尺度的特征图，同时和整幅图像的池化操作并行处理，融合多尺度信息，获得深层特征。

在解码架构中，首先将多尺度信息融合的多维特征图经过1×1的卷积进行降维，接着通过4倍上采样扩大特征图的尺寸，此时特征图大小为在线监测图像的1/4。为了更加详细地描述图像特征，在主干网络中取出尺寸是在线监测图像1/4的浅层特征图，同样经过1×1卷积进行降维，融合浅层特征与深层特征，最后经过1×1的卷积与4倍上采样即可将熔池和等离子弧精确地分割。

在整个架构中，引入编码器来提取图像的深层信息，通过膨胀卷积替代池化操作提高精确度。在语义分割任务中采用修改之后的Xception 模型，在膨胀空间卷积池化金字塔和解码模块使用深度可分离卷积，提高整个网络的运行速率和健壮性。

在线监测图像经过全卷积神经网络获得熔池和等离子弧分割后的图像，为了突出熔池和等离子弧在原始输入图像上的位置及形貌，增加两者的对比，统计分割后的图像中熔池及等离子弧的形貌特征可以直接对于等离子定向能量沉积进行及时反馈调控相关参数，提升金属增材制造产品的质量，具体统计形貌特征的方法将在以后的工作进行。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (2)

1.一种基于全卷积神经网络的等离子能量沉积图像识别方法，其特征在于，包括

S1、采集熔池及等离子弧图像，图像采集装置包括同时与图像处理系统连接的等离子加工头，高速摄像机，激光器；获得等离子能量沉积的图像R1,R2…Rn；

S2、对S1采集的图像进行预处理，得到数据集R1,R2,R3…Rn,Rn+1,…R3n，并对数据集进行预处理得到标签图像O1,O2,O3…On,On+1,…O3n；

S3、对S2预处理后的图像基于全卷积神经网络处理图像，具体是：

S3.1、将数据集3n张图像按照20%和80%的占比划分，占比20%的图像为测试集，占比80%的图像为训练集；

S3.2、将训练集中图像R输入全卷积神经网络,得到预测图像P，根据预测图像与标签图像的差异进行反向传播，差异用损失函数计算；将上述步骤进行迭代计算，当损失函数低于某一阈值或者网络训练迭代次数达到某一阈值终止网络，将测试集输入训练好的神经网络；根据像素准确率测试神经网络的准确度，像素准确率为预测正确的图像的像素总数除以预测图像的像素总数；

全卷积神经网络架构包括：

编码模块：首先通过主干网络提取等离子能量沉积监测图像的特征，然后利用膨胀空间金字塔池化和图像池化提取图像的多尺度信息，主干网络采用深度卷积神经网络；利用20个多层卷积层进行深度卷积，提取图像的特征；

译码模块：将编码模块获得的深层特征图的多尺度信息与主干网络获得的浅层特征图进行融合，得到特征图；最后，进行1×1的卷积减少特征图的通道数量后得到预测的图像，并进行上采样来调整特征图的大小，使其与现场监测图像尺寸相同；然后根据预测的图像P和相应的标签图像O的差异进行反向传播，优化卷积和池化中的所有参数；

S4：输出结果比较；将采集的等离子能量沉积图像输入已经训练好的神经网络，将输出的图像和相应输入的图像进行效果对比；具体步骤是：取出等离子能量沉积过程中采集到的图像，然后输入训练好的全卷积神经网络，得到预测分割的图像；预测的图像将熔池区域像素的灰度值均赋值为1，等离子弧区域像素的灰度值均赋值为2；根据预测图像中灰度值为1的位置，将输入图像相应位置的R通道灰度值均赋值为255；根据预测图像中灰度值为2的位置，将输入图像相应位置的G通道灰度值均赋值为255。

2.根据权利要求1所述的一种基于全卷积神经网络的等离子能量沉积图像识别方法，其特征在于，步骤S2具体包括：

步骤S2.1、降维；将RGB三通道变为单个灰度通道；

步骤S2.2、数据扩充；将现有的n张图像进行水平翻转和顺时针方向旋转45°，现有的图像数量将扩充为原来的3倍，从而得到n张数据集图像；

步骤S2.3、手工标注图像，制作标签；将进行数据扩充后得到的数据集图像中的一半进行手工标注，分割出熔池和等离子弧，得到标签图像O1,O2,O3,…On,On+1,…O3n；具体做法是：将背景区域像素灰度值均赋值为0，熔池区域像素灰度值均赋值为1，等离子弧区域像素灰度值均赋值为2，将标签图像用于全卷积神经网络的训练与测试。

Images