一种全卷积神经网络的激光定向能量沉积溅射计数方法
技术领域
本发明属于激光的定向能量沉积技术领域,尤其涉及一种全卷积神经网络的激光定向能量沉积溅射计数方法。
背景技术
基于激光的定向能量沉积(L-DED)是一种广泛使用的增材制造技术。L-DED使用激光束熔化金属粉末。计算机将复杂零件的CAD模型切成图层,以获取零件的二维平面剖面数据。根据二维平面剖面数据,激光快速熔化金属粉末,通过分层点、线和表面获得复杂部件。其强大的复杂工件处理能力,加上出色的物理和机械性能,都有助于其巨大的应用潜力。
为了提高L-DED加工过程中产品质量,提出了一些方法。杨等人展示了一种用于激光工程网整的网式控制系统,以提高工件处理精度。舒等人.介绍了一种通过改进加工材料成功准备无裂纹零件的方法。Ngoveni等人对L-DED过程中的剩余应力进行了实验分析和建模模拟,并选择了合适的热处理方法,以提高加工零件的机械性能。
L-DED的发展迫切需要一个更可靠和高效的制造工艺。识别图像的缺陷感知可以作为控制过程参数环境数据的强化学习方法,使过程参数的决策系统能够做出最佳决策,实现从感知到决策的集成制造。Gobert等人使用高分辨率相机断层扫描和机器学习来检测原位增材制造工艺中的缺陷。雅各布斯穆伦等人研究了激光束熔化制造过程的质量管理和过程控制方法。Yang等人使用基于遗传算法的最大熵双阈值图像处理算法来识别图像的飞溅体,但捕获的飞溅体形态不是很清楚。方等人使用基于U网的卷积神经网络(CNN)来捕捉熔池的地形特征。
目前主流的增材制造缺陷检测技术主要是通过各种传感器获取零件的图像数据。虽然激光超声波检测能检测零件的地下缺陷,但检测设备复杂、昂贵。检测性能不好,原位检测尚未实现。基于深度学习和计算机视觉算法的图像处理可以真正实现在线就地监控。随着计算能力的增加,图像的预测推理时间可以逐渐缩短。主要技术问题在于深度学习模型体系结构和参数调优的设计。本文构建了L-DED过程的现场监测系统,提出了一个全卷积神经网络(FCN),以提取飞溅图像的几何特征,在L-DED过程中对飞溅体进行原位监测。
发明内容
为解决现有技术存在的以上技术问题,本发明提供一种全卷积神经网络的激光定向能量沉积溅射计数方法。
本发明的技术方案为一种全卷积神经网络的激光定向能量沉积溅射计数方法
步骤1:采集多幅激光定向能量沉积区域图像,将每幅激光定向能量沉积区域图像利用图像拓扑结构分析方法找到每幅激光定向能量沉积区域图像内的所有轮廓,对找到的轮廓建立最小矩形框,分割出每幅激光定向能量沉积区域图像内最小矩形框内的图像,人工标注每幅激光定向能量沉积区域图像内最小矩形框内的图像的标签,进一步构建全卷积神经网络训练集。
步骤2:搭建全卷积神经网络,将每幅激光定向能量沉积区域图像内最小矩形框内的图像以及对应的标签作为训练样本依次输入到全卷积神经网络中,得到神经网络的预测样本的分属类别的概率预测值,进一步结合人工标注的每幅激光定向能量沉积区域图像内最小矩形框内的图像的标签构建损失函数,通过调整网络学习参数至损失函数达到纳什均衡状态,得到优化后的全卷积神经网络。
步骤3:采集应用激光定向能量沉积技术进行增材制造过程中的待检测激光定向能量沉积图像,进行形态学处理得到形态学处理后待检测激光定向能量沉积图像;将形态学处理后待检测激光定向能量沉积图像采用图像拓扑结构分析方法,找到每幅形态学处理后待检测激光定向能量沉积图像内的所有轮廓,对找到的轮廓建立最小矩形框,分割出每幅形态学处理后待检测激光定向能量沉积图像内最小矩形框内的图像;将形态学处理后待检测激光定向能量沉积图像内最小矩形框内的图像依次输入优化后的全卷积神经网络进行预测,若形态学处理后待检测激光定向能量沉积图像内最小矩形框内的图像的预测类别为溅射,则保留最小矩形框内像素;否则将形态学处理后待检测激光定向能量沉积图像内最小矩形框内的图像的像素置为黑色像素;进一步得到像素处理后待检测激光定向能量沉积图像;
步骤4:对像素处理后待检测激光定向能量沉积图像进行灰度化处理,得到灰度待检测激光定向能量沉积图像;对灰度待检测激光定向能量沉积图像梯度化后,进一步采用分水岭算法进行处理,找到灰度待检测激光定向能量沉积图像中存在的轮廓,对灰度待检测激光定向能量沉积图像中存在的轮廓数量计数得到待检测激光定向能量沉积图像中溅射的数量。
作为优选,步骤1所述多幅激光定向能量沉积区域图像为:
origina(m,n)
a∈[1,A],m∈[1,M],n∈[1,N]
其中,origina为第a幅激光定向能量沉积区域图像,origina(m,n)为第a幅激光定向能量沉积区域图像上第m行第n列的像素,A为激光定向能量沉积区域图像的总数量,M为图像行的数量,N为图像列的数量。
步骤1所述每幅激光定向能量沉积区域图像内最小矩形框内的图像为:
其中,l表示激光定向能量沉积区域图像内的左,t表示激光定向能量沉积区域图像内的上,r表示激光定向能量沉积区域图像内的右,b表示激光定向能量沉积区域图像内的下;A表示激光定向能量沉积区域图像的数量,Ka表示第a幅激光定向能量沉积区域图像中建立的最小矩形框的总数;loca,k表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像的坐标,表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像左上角的坐标,/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像左上角的横坐标,/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像左上角的纵坐标;
表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像右下角的坐标,/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像右下角的横坐标,/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像右下角的纵坐标;
步骤1所述人工标注每幅激光定向能量沉积区域图像内最小矩形框内的图像的标签为:
labela,k
a∈[1,A],k∈[1,Ka]
其中,labela,k为第a幅激光定向能量沉积区域图像内第k个最小矩形框内图像的标签,labela,k=0表示第a幅激光定向能量沉积区域图像内第k个最小矩形框内图像不是溅射区域,labela,k=1表示第a幅激光定向能量沉积区域图像内第k个最小矩形框内图像是溅射区域。
步骤1所述全卷积神经网络训练集为:
{origina(m,n),(loca,k,labela,k)}
a∈[1,A],m∈[1,M],n∈[1,N],k∈[1,Ka]
其中,origina为第a幅激光定向能量沉积区域图像,origina(m,n)为第a幅激光定向能量沉积区域图像上第m行第n列的像素,loca,k表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像的坐标,labela,k为第a幅激光定向能量沉积区域图像内第k个最小矩形框内图像的标签,A为激光定向能量沉积区域图像数据集中图像的总数量,M为图像行的数量,N为图像列的数量,Ka表示第a幅激光定向能量沉积区域图像中建立的最小矩形框的总数;
作为优选,步骤2中所述的全卷积神经网络由输入层、多层卷积层、池化层、反卷积层、输出层依次级联构成;
所述输入层,将全卷积神经网络训练集中的第a幅激光定向能量沉积区域图像的第k个最小矩形框内图像通过尺寸统一化、均值零化、方差归一化方法得到预处理后图像imga,k,0,将预处理后图像输出至所述多层卷积层;
所述多层卷积层由第一卷积层、第二卷积层级联构成;
所述第一卷积层对imga,k,0内3×3区域内的像素进行卷积核为3×3,步长取1的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个输入层图像得到的所有输出值构成第一特征图feata,k,1(Ma,k,1×Ma,k,1×3).
所述第二卷积层对第一特征图feata,k,1进行卷积核为3×3,步长取1的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个特征图1图像得到的所有输出值构成第二特征图feata,k,2(Ma,k,2×Ma,k,2×3).
所述池化层对输入图像第二特征图feata,k,2的3×3区域内的像素进行卷积核为3×3,步长取3的最大池化运算,以降低图像维度,3×3池化核遍历整个输入图像得到的所有输出值构成第三特征图feata,k,3(Ma,k,3×Ma,k,3×3).
所述反卷积层接受输入的第三特征图feata,k,3和第一特征图feata,k,1的叠加运算,对输入图像3×3区域内的像素进行卷积核为3×3,步长取1的上采样,扩大图像维度,还原输入的特征对应的图像,3×3反卷积核遍历整个输入特征图得到的所有输出值构成复原图imga,k,1(Ma,k,4×Ma,k,4×3)。
所述输出层,接受输入的第三特征图feata,k,3中的N个特征,构建一个列向量采用激活函数对各元进行运算后输出列向量/>其中各值即为神经网络预测的各特征的判定值Pτ。
进一步地,上述步骤2中,输出层中所述激活函数为sigmoid函数,具体定义如下:
其中,τ为列向量中的第τ个元素,Pτ为列向量中第τ个元素的判定值,即此区域是溅射的概率,即步骤2中所述神经网络的预测样本的分属类别的概率预测值;
进一步地,上述步骤2中,全卷积神经网络模型中定义了交叉熵损失函数,具体为:
其中,labela,k为第a幅激光定向能量沉积区域图像的第k个最小矩形框内图像的标签,Pa,k为由sigmoid函数计算出的第a幅激光定向能量沉积区域图像的第k个最小矩形框内图像的预测概率值,C为全卷积神经网络训练集中样本的总数量;
作为优选,步骤3中所述的形态学处理为:
对待检测激光定向能量沉积图像进行开运算,即先腐蚀后膨胀,以消除图像中的噪点;
进一步对开运算之后的待检测激光定向能量沉积图像进行闭运算,即先膨胀后腐蚀,以消除图像中的黑洞,得到形态学处理后待检测激光定向能量沉积图像。
本发明优点在于,本发明提供的基于全卷积神经网络的激光定向能量沉积溅射计数,将有助于在增材制造过程中对产品的缺陷进行分析和定位,并且通过搭建适合的API接口,可以将计算得到的结果传递至制造工艺参数控制系统,从而实现对工艺参数实时调控,有助于降低产品制造过程中缺陷的发生率,从而降低生产成本。
本发明采用的全卷积神经网络,相比于基于卷积神经网络的分割识别方法,可以降低存储空间的占用,减小内存开销。
本发明采用的全卷积神经网络,相比于基于卷积神经网络的分割识别方法,能够显著提高计算效率。因为卷积神经网络需要对每个像素建立图像块判别分类,而相邻的像素块基本上是相仿重复的,因此针对每个像素都建立图像块进行计算,这种计算也有很大程度上是在重复之前进行过的计算。
本发明采用的全卷积神经网络,相比于基于卷积神经网络的分割识别方法,扩大了感知区域的范围。通常针对像素建立的图像块的大小比整幅图像的大小小很多,只能提取一些局部的特征,从而导致分类的性能受到限制。
附图说明
图1:为本发明方法流程图;
图2:为本发明实施例提供的基于全卷积神经网络进行图像判别的网络结构图;
图3:为本发明实施例提供的全卷积神经网络卷积池和反卷积层上采样的示意图;
图4:为本发明实施例提供的形态学处理之后的图像;
图5:为本发明实施例提供的溅射计数结果图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面结合图1-图5介绍本发明的具体实施方式为一种全卷积神经网络的激光定向能量沉积溅射计数方法,具体步骤如下:
步骤1:采集多幅激光定向能量沉积区域图像,将每幅激光定向能量沉积区域图像利用图像拓扑结构分析方法找到每幅激光定向能量沉积区域图像内的所有轮廓,对找到的轮廓建立最小矩形框,分割出每幅激光定向能量沉积区域图像内最小矩形框内的图像,人工标注每幅激光定向能量沉积区域图像内最小矩形框内的图像的标签,进一步构建全卷积神经网络训练集。
步骤1所述多幅激光定向能量沉积区域图像为:
origina(m,n)
a∈[1,A],m∈[1,M],n∈[1,N]
其中,origina为第a幅激光定向能量沉积区域图像,origina(m,n)为第a幅激光定向能量沉积区域图像上第m行第n列的像素,A=640为激光定向能量沉积区域图像的总数量,M=511为图像行的数量,N=450为图像列的数量。
步骤1所述每幅激光定向能量沉积区域图像内最小矩形框内的图像为:
其中,l表示激光定向能量沉积区域图像内的左,t表示激光定向能量沉积区域图像内的上,r表示激光定向能量沉积区域图像内的右,b表示激光定向能量沉积区域图像内的下;A表示激光定向能量沉积区域图像的数量,ka表示第a幅激光定向能量沉积区域图像中建立的最小矩形框的总数;loca,k表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像的坐标,表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像左上角的坐标,/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像左上角的横坐标,/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像左上角的纵坐标;/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像右下角的坐标,/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像右下角的横坐标,/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像右下角的纵坐标;
步骤1所述人工标注每幅激光定向能量沉积区域图像内最小矩形框内的图像的标签为:
labela,k
a∈[1,A],k∈[1,Ka]
其中,labela,k为第a幅激光定向能量沉积区域图像内第k个最小矩形框内图像的标签,labela,k=0表示第a幅激光定向能量沉积区域图像内第k个最小矩形框内图像不是溅射区域,labela,k=1表示第a幅激光定向能量沉积区域图像内第k个最小矩形框内图像是溅射区域。
步骤1所述全卷积神经网络训练集为:
{origina(m,n),(loca,k,labela,k)}
a∈[1,A],m∈[1,M],n∈[1,N],k∈[1,Ka]
其中,origina为第a幅激光定向能量沉积区域图像,origina(m,n)为第a幅激光定向能量沉积区域图像上第m行第n列的像素,loca,k表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像的坐标,labela,k为第a幅激光定向能量沉积区域图像内第k个最小矩形框内图像的标签,A为激光定向能量沉积区域图像数据集中图像的总数量,M为图像行的数量,N为图像列的数量,Ka表示第a幅激光定向能量沉积区域图像中建立的最小矩形框的总数;
步骤2:搭建全卷积神经网络,将每幅激光定向能量沉积区域图像内最小矩形框内的图像以及对应的标签作为训练样本依次输入到全卷积神经网络中,得到神经网络的预测样本的分属类别的概率预测值,进一步结合人工标注的每幅激光定向能量沉积区域图像内最小矩形框内的图像的标签构建损失函数,通过调整网络学习参数至损失函数达到纳什均衡状态,得到优化后的全卷积神经网络。
如下文附图2所示,步骤2中所述的全卷积神经网络由输入层、多层卷积层、池化层、反卷积层、输出层依次级联构成;
所述输入层,将全卷积神经网络训练集中的第a幅激光定向能量沉积区域图像的第k个最小矩形框内图像通过尺寸统一化、均值零化、方差归一化方法得到预处理后图像imga,k,0,将预处理后图像输出至所述多层卷积层;
所述多层卷积层由第一卷积层、第二卷积层级联构成;
所述第一卷积层对imga,k,0内3×3区域内的像素进行卷积核为3×3,步长取1的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个输入层图像得到的所有输出值构成第一特征图feata,k,1(Ma,k,1×Ma,k,1×3).
所述第二卷积层对第一特征图feata,k,1进行卷积核为3×3,步长取1的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个特征图1图像得到的所有输出值构成第二特征图feata,k,2(Ma,k,2×Ma,k,2×3).
所述池化层对输入图像第二特征图feata,k,2的3×3区域内的像素进行卷积核为3×3,步长取3的最大池化运算,以降低图像维度,3×3池化核遍历整个输入图像得到的所有输出值构成第三特征图feata,k,3(Ma,k,3×Ma,k,3×3).
所述反卷积层接受输入的第三特征图feata,k,3和第一特征图feata,k,1的叠加运算,对输入图像3×3区域内的像素进行卷积核为3×3,步长取1的上采样,扩大图像维度,还原输入的特征对应的图像,3×3反卷积核遍历整个输入特征图得到的所有输出值构成复原图imga,k,1(Ma,k,4×Ma,k,4×3),其反卷积的原理见下文附图3.
所述输出层,接受输入的第三特征图feata,k,3中的N个特征,构建一个列向量采用激活函数对各元进行运算后输出列向量/>其中各值即为神经网络预测的各特征的判定值Pτ。
进一步地,上述步骤2中,输出层中所述激活函数为sigmoid函数,具体定义如下:
其中,τ为列向量中的第τ个元素,Pτ为列向量中第τ个元素的判定值,即此区域是溅射的概率,即步骤2中所述神经网络的预测样本的分属类别的概率预测值;
进一步地,上述步骤2中,全卷积神经网络模型中定义了交叉熵损失函数,具体为:
其中,labela,k为第a幅激光定向能量沉积区域图像的第k个最小矩形框内图像的标签,Pa,k为由sigmoid函数计算出的第a幅激光定向能量沉积区域图像的第k个最小矩形框内图像的预测概率值,C=12534为全卷积神经网络训练集中样本的总数量;
步骤3:采集应用激光定向能量沉积技术进行增材制造过程中的待检测激光定向能量沉积图像,进行形态学处理得到形态学处理后待检测激光定向能量沉积图像;将形态学处理后待检测激光定向能量沉积图像采用图像拓扑结构分析方法,找到每幅形态学处理后待检测激光定向能量沉积图像内的所有轮廓,对找到的轮廓建立最小矩形框,分割出每幅形态学处理后待检测激光定向能量沉积图像内最小矩形框内的图像;将形态学处理后待检测激光定向能量沉积图像内最小矩形框内的图像依次输入优化后的全卷积神经网络进行预测,若形态学处理后待检测激光定向能量沉积图像内最小矩形框内的图像的预测类别为溅射,则保留最小矩形框内像素;否则将形态学处理后待检测激光定向能量沉积图像内最小矩形框内的图像的像素置为黑色像素;进一步得到像素处理后待检测激光定向能量沉积图像;
步骤3中所述的形态学处理为:
对待检测激光定向能量沉积图像进行开运算,即先腐蚀后膨胀,以消除图像中的噪点;
进一步对开运算之后的待检测激光定向能量沉积图像进行闭运算,即先膨胀后腐蚀,以消除图像中的黑洞,得到形态学处理后待检测激光定向能量沉积图像,处理后图例见下文附图4。
步骤4:对像素处理后待检测激光定向能量沉积图像进行灰度化处理,得到灰度待检测激光定向能量沉积图像;对灰度待检测激光定向能量沉积图像梯度化后,进一步采用分水岭算法进行处理,找到灰度待检测激光定向能量沉积图像中存在的轮廓,对灰度待检测激光定向能量沉积图像中存在的轮廓数量计数得到待检测激光定向能量沉积图像中溅射的数量,计数的结果图见下文附图5。
尽管已描述了本发明的较佳实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括较佳实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。