一种全卷积神经网络的激光定向能量沉积面积计算方法
技术领域
本发明属于金属增材制造检测技术领域,尤其涉及一种全卷积神经网络的激光定向能量沉积面积计算方法。
背景技术
以金属为原料的增材制造技术,相比于最初的以光敏树脂为原料、采用光固化技术的增材制造技术,因其在工业领域的高要求下具有更出色的表现,近些年来获得了越来越广泛的关注。对于具有复杂内结构的零部件,增材制造相比于采用机械加工的传统制造模式,能够极大的缩短加工时间;对于现代的互联网化高频次迭代式产品更新,由于增材制造可以直接实现从三维CAD文件到实物的飞跃,配合已有的便捷沟通网络,增材制造更适应于时代。因而,对于航空航天、医疗卫生、军事工业等具有个性化、定制化、小规模化、精细化、严格化等特点的领域,增材制造正在得到越来越广泛的应用。
虽然现在对金属激光增材制造方面开展了诸多研究,但是在零部件的成型过程中仍存在一些问题。采用激光选区熔化(SLM)技术时,制造中可能由于一些物理过程,因而易于产生球化、孔隙、裂缝等缺陷问题,影响产品的机械性能。而采用激光金属直接成型(LMDF)技术时,伴随着激光束长时间的周期性加热,局部反复受热、冷却,熔池在池底的强约束作用下的快速凝固收缩及其伴生的短时性非平衡循环固态相变,容易导致零件发生严重的变形开裂,严重影响产品的力学性能。
诸如此类的因素在对产品质量有极高要求的航空航天、医疗卫生等领域,极大的不利于增材制造产品的实际应用。因此亟需通过深度学习的方式,利用人工智能的全卷积神经网络,对金属增材制造过程中的熔池、溅射进行识别,并且通过算法对熔池和溅射的各项指标进行计算。以此得到的反馈有助于提高增材制造产品的成品率。
发明内容
为解决上述问题,本发明提供一种全卷积神经网络的激光定向能量沉积面积计算方法。
本发明的技术方案为一种全卷积神经网络的激光定向能量沉积面积计算方法,具体包括以下步骤:
步骤1:采集多幅激光定向能量沉积区域图像,通过人工标注方法标注每幅激光定向能量沉积区域图像熔池区域标签,通过激光定向能量沉积区域图像以及对应的熔池区域标签构建全卷积神经网络训练集;
步骤1所述激光定向能量沉积区域图像为:
datap(i,j)
p∈[1,P],i∈[1,I],j∈[1,J]
其中,datap为第p个采集时刻的激光定向能量沉积区域图像,datap(i,j)为第p个采集时刻的激光定向能量沉积区域图像上第i行第j列的像素,P为采集时刻的数量,I为激光定向能量沉积区域图像行的数量,J为激光定向能量沉积区域图像列的数量;
步骤1所述激光定向能量沉积区域图像的熔池区域标签为:
tagp
p∈[1,P]
其中,tagp为第p个采集时刻的激光定向能量沉积区域图像的熔池区域标签,P为采集时刻的数量,tagp=1表示第p个采集时刻的激光定向能量沉积区域图像中含有熔池区域,tagp=0表示第p个采集时刻的激光定向能量沉积区域图像中没有熔池区域;
步骤1所述的激光定向能量沉积区域图像的全卷积神经网络的训练集为:
{datap(i,j),(tagp)}
p∈[1,P],i∈[1,I],j∈[1,J]
其中,datap(i,j)为第p个采集时刻的激光定向能量沉积区域图像上第i行第j列的像素,tagp为第p个采集时刻的激光定向能量沉积区域图像的熔池区域标签,tagp=1表示第p个采集时刻的激光定向能量沉积区域图像中含有熔池区域,tagp=0表示第p个采集时刻的激光定向能量沉积区域图像中没有熔池区域;I为激光定向能量沉积区域图像行的数量,J为激光定向能量沉积区域图像列的数量;P为采集时刻的数量,即全卷积神经网络训练集中样本的数量;
步骤2:搭建全卷积神经网络,利用全卷积神经网络训练集中激光定向能量沉积区域图像作为训练元输入至全卷积神经网络,通过全卷积神经网络预测得到熔池区域存在与否判定值tag,进一步结合神经网络数据集中熔池区域人工标注的tag构建全卷积神经网络损失函数,通过优化训练直至全卷积神经网络损失函数达到Nash均衡,得到优化后全卷积神经网络;
进一步地,对上述步骤2中的全卷积神经网络由输入层、多层卷积层、池化层、反卷积层、softmax层依次级联构成;
所述输入层,将第p个采集时刻的激光定向能量沉积区域图像即datap通过均值零化、方差归一化方法,将得到第p个采集时刻的标准化图像输出至卷积层;
所述多层卷积层由第一卷积层、第二卷积层、第三卷积层依次级联构成;
所述第一卷积层对输入图像3×3区域内的像素进行卷积核为3×3,步长取1的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个输入层图像得到的所有输出值构成第一特征图.
所述第二卷积层对第一特征图进行卷积核为3×3,步长取2的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个特征图1图像得到的所有输出值构成第二特征图(M2×M2×C2).
所述第三卷积层对第二特征图进行卷积核为3×3,步长取3的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个第二特征图的图像得到的所有输出值构成第三特征图(M3×M3×C3).
所述池化层对输入图像第三特征图的3×3区域内的像素进行卷积核为3×3,步长取3的最大池化运算,以降低图像维度,3×3池化核遍历整个输入图像得到的所有输出值构成第四特征图(M4×M4×C4).
所述反卷积层接受输入的第四特征图和第一特征图的叠加运算,对输入图像3×3区域内的像素进行卷积核为3×3,步长取1的上采样,扩大图像维度,还原输入的特征对应的图像,3×3反卷积核遍历整个输入特征图得到的所有输出值构成复原图img(M×M)。
所述softmax层,对输入的特征图的N个特征构建N×1的列向量矩阵,对各值网络输出指数运算后输出另一个N×1的矩阵,其中列向量各元为softmax层判定所输入特征分属各类别的概率,从而获知熔池存在与否的判定值;
进一步地,上述步骤2中,由softmax层内的soft_max函数计算类别θ的概率值定义如下:/>其中/>为要计算的类别θ的网络输出的指数,分母上为网络输出的所有类别的指数之和,一共α=2个类别,α0指熔池区域判定值为0,对应不存在,α1指熔池区域判定值为1,对应存在。以此得到类别θ的概率值;
步骤2所述全卷积神经网络损失函数模型为交叉熵损失函数;
所述交叉熵损失函数的定义为:
公式中,对于第p个采集时刻的标准化图像,rp,θ为第p个采集时刻的标准化图像类别θ的真实标签,为由soft_max函数计算出的第p个采集时刻的标准化图像类别θ的概率值,/>为类别数,P为全卷积神经网络训练集中样本的数量;
步骤3:采集激光定向能量沉积技术进行增材制造过程中的待检测激光定向能量沉积图像,将待检测激光定向能量沉积图像通过优化后全卷积神经网络预测,判断待检测激光定向能量沉积图像是否存在熔池区域;若待检测激光定向能量沉积图像存在熔池区域,对待检测激光定向能量沉积图像进行灰度化处理得到灰度图像,进一步对灰度图像进行二值化处理得到待检测激光定向能量沉积二值化图像;
步骤4:对待检测激光定向能量沉积二值化图像通过二值图像拓扑结构分析方法检测得到待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合,进一步计算待检测激光定向能量沉积图像的熔池区域的面积;
作为优选,步骤4所述待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合为:
conLours{(xa,ya)}
a∈[0,A]
其中,(xa,ya)为待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合中第a个熔池区域轮廓边缘像素点的坐标,xa为待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合中第a个熔池区域轮廓边缘像素点的的横坐标,ya为待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合中第a个熔池区域轮廓边缘像素点的纵坐标,相邻两个轮廓像素点坐标分别为(xa,ya),(xa+1,ya+1);
步骤4所述计算待检测激光定向能量沉积图像的熔池区域的面积为:
与现有技术相比,本发明具有如下的优点:
本发明提供的基于全卷积神经网络的激光定向能量沉积面积计算,将有助于在增材制造过程中对产品的缺陷进行分析和定位,并且通过搭建适合的API接口,可以将计算得到的结果传递至制造工艺参数控制系统,从而实现对工艺参数实时调控,有助于降低产品制造过程中缺陷的发生率,从而降低生产成本。
本发明采用的全卷积神经网络,相比于基于卷积神经网络的分割识别方法,可以降低存储空间的占用,减小内存开销。
本发明采用的全卷积神经网络,相比于基于卷积神经网络的分割识别方法,能够显著提高计算效率。因为卷积神经网络需要对每个像素建立图像块判别分类,而相邻的像素块基本上是相仿重复的,因此针对每个像素都建立图像块进行计算,这种计算也有很大程度上是在重复之前进行过的计算。
本发明采用的全卷积神经网络,相比于基于卷积神经网络的分割识别方法,扩大了感知区域的范围。通常针对像素建立的图像块的大小比整幅图像的大小小很多,只能提取一些局部的特征,从而导致分类的性能受到限制。
附图说明
图1:为本发明方法流程图;
图2:为本发明实施例提供的基于全卷积神经网络进行图像识别的网络结构图;
图3:为本发明实施例提供的全卷积神经网络卷积池和反卷积层上采样的示意图;
图4:为本发明实施例提供的经过灰度化、二值化处理后的图像;
图5:为本发明实施例提供的采用全卷积神经网络后,识别分割出的熔池区域图像。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面结合图1至图5介绍本发明的具体实施方式为一种全卷积神经网络的激光定向能量沉积面积计算方法,如图1流程图所示,具体包括以下步骤:
步骤1:采集多幅激光定向能量沉积区域图像,通过人工标注方法标注每幅激光定向能量沉积区域图像熔池区域标签,通过激光定向能量沉积区域图像以及对应的熔池区域标签构建全卷积神经网络训练集;
步骤1所述激光定向能量沉积区域图像为:
datap(i,j)
p∈[1,P],i∈[1,I],j∈[1,J]
其中,datap为第p个采集时刻的激光定向能量沉积区域图像,datap(i,j)为第p个采集时刻的激光定向能量沉积区域图像上第i行第j列的像素,p=640为采集时刻的数量,I=511为激光定向能量沉积区域图像行像素的数量,/=450为激光定向能量沉积区域图像列像素的数量;
步骤1所述激光定向能量沉积区域图像的熔池区域标签为:
tagp
p∈[1,P]
其中,tagp为第p个采集时刻的激光定向能量沉积区域图像的熔池区域标签,P为采集时刻的数量,tagp=1表示第p个采集时刻的激光定向能量沉积区域图像中含有熔池区域,tagp=0表示第p个采集时刻的激光定向能量沉积区域图像中没有熔池区域;
步骤1所述的激光定向能量沉积区域图像的全卷积神经网络的训练集为:
{datap(i,j),(tagp)}
p∈[1,P],i∈[1,I],j∈[1,J]
其中,datap(i,j)为第p个采集时刻的激光定向能量沉积区域图像上第i行第j列的像素,tagp为第p个采集时刻的激光定向能量沉积区域图像的熔池区域标签,tagp=1表示第p个采集时刻的激光定向能量沉积区域图像中含有熔池区域,tagp=0表示第p个采集时刻的激光定向能量沉积区域图像中没有熔池区域;I为激光定向能量沉积区域图像行的数量,J为激光定向能量沉积区域图像列的数量;P为采集时刻的数量,即全卷积神经网络训练集中样本的数量;
步骤2:搭建全卷积神经网络,利用全卷积神经网络训练集中激光定向能量沉积区域图像作为训练元输入至全卷积神经网络,通过全卷积神经网络预测得到熔池区域存在与否判定值tag,进一步结合神经网络数据集中熔池区域人工标注的tag构建全卷积神经网络损失函数,通过优化训练直至全卷积神经网络损失函数达到Nash均衡,得到优化后全卷积神经网络;
如附图2所示,上述步骤2中的全卷积神经网络由输入层、多层卷积层、池化层、反卷积层、softmax层依次级联构成;
所述输入层,将第p个采集时刻的激光定向能量沉积区域图像即datap通过均值零化、方差归一化方法,将得到第p个采集时刻的标准化图像输出至卷积层;
所述多层卷积层由第一卷积层、第二卷积层、第三卷积层依次级联构成;
所述第一卷积层对输入图像3×3区域内的像素进行卷积核为3×3,步长取1的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个输入层图像得到的所有输出值构成第一特征图.
所述第二卷积层对第一特征图进行卷积核为3×3,步长取2的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个特征图_1图像得到的所有输出值构成第二特征图(M2×M2×C2).
所述第三卷积层对第二特征图进行卷积核为3×3,步长取3的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个第二特征图的图像得到的所有输出值构成第三特征图(M3×M3×C3).
所述池化层对输入图像第三特征图的3×3区域内的像素进行卷积核为3×3,步长取3的最大池化运算,以降低图像维度,3×3池化核遍历整个输入图像得到的所有输出值构成第四特征图(M4×M4×C4).
所述反卷积层接受输入的第四特征图和第一特征图的叠加运算,对输入图像3×3区域内的像素进行卷积核为3×3,步长取1的上采样,扩大图像维度,还原输入的特征对应的图像,3×3反卷积核遍历整个输入特征图得到的所有输出值构成复原图img(M×M),原理见附图3。
所述softmax层,对输入的特征图的N个特征构建N×1的列向量矩阵,对各值网络输出指数运算后输出另一个N×1的矩阵,其中列向量各元为softmax层判定所输入特征分属各类别的概率,从而获知熔池存在与否的判定值;
进一步地,上述步骤2中,由softmax层内的soft_max函数计算类别θ的概率值定义如下:/>其中/>为要计算的类别θ的网络输出的指数,分母上为网络输出的所有类别的指数之和,一共α=2个类别,α0指熔池区域判定值为0,对应不存在,α1指熔池区域判定值为1,对应存在。以此得到类别θ的概率值;
步骤2所述全卷积神经网络损失函数模型为交叉熵损失函数;
所述交叉熵损失函数的定义为:
公式中,对于第p个采集时刻的标准化图像,rp,θ为第p个采集时刻的标准化图像类别θ的真实标签,为由soft_max函数计算出的第p个采集时刻的标准化图像类别θ的概率值,α=2为类别数,P为全卷积神经网络训练集中样本的数量;
步骤3:采集激光定向能量沉积技术进行增材制造过程中的待检测激光定向能量沉积图像,将待检测激光定向能量沉积图像通过优化后全卷积神经网络预测,判断待检测激光定向能量沉积图像是否存在熔池区域;若待检测激光定向能量沉积图像存在熔池区域,对待检测激光定向能量沉积图像进行灰度化处理得到灰度图像,进一步对灰度图像进行二值化处理得到待检测激光定向能量沉积二值化图像;经二值化处理后的图像见附图4。
步骤4:对待检测激光定向能量沉积二值化图像通过二值图像拓扑结构分析方法检测得到待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合,进一步计算待检测激光定向能量沉积图像的熔池区域的面积;此处进而可以提取待检测图像的熔池区域,见附图5。
步骤4所述待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合为:
contours{(xa,ya)}
a∈[0,A]
其中,(xa,ya)为待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合中第a个熔池区域轮廓边缘像素点的坐标,xa为待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合中第a个熔池区域轮廓边缘像素点的的横坐标,ya为待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合中第a个熔池区域轮廓边缘像素点的纵坐标,相邻两个轮廓像素点坐标分别为(xa,ya),(xa+1,ya+1);
步骤4所述计算待检测激光定向能量沉积图像的熔池区域的面积为:
尽管已描述了本发明的较佳实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括较佳实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。