CN112967266B - 一种全卷积神经网络的激光定向能量沉积面积计算方法 - Google Patents

一种全卷积神经网络的激光定向能量沉积面积计算方法 Download PDF

Info

Publication number
CN112967266B
CN112967266B CN202110307051.9A CN202110307051A CN112967266B CN 112967266 B CN112967266 B CN 112967266B CN 202110307051 A CN202110307051 A CN 202110307051A CN 112967266 B CN112967266 B CN 112967266B
Authority
CN
China
Prior art keywords
image
energy deposition
area
directional energy
molten pool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110307051.9A
Other languages
English (en)
Other versions
CN112967266A (zh
Inventor
李辉
米纪千
申胜男
李正雄
刘胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yueyang Luojia Intelligent Technology Co ltd
Original Assignee
Hunan Luojia Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Luojia Intelligent Technology Co ltd filed Critical Hunan Luojia Intelligent Technology Co ltd
Priority to CN202110307051.9A priority Critical patent/CN112967266B/zh
Publication of CN112967266A publication Critical patent/CN112967266A/zh
Application granted granted Critical
Publication of CN112967266B publication Critical patent/CN112967266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06T5/90
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00Technologies related to metal processing
    • Y02P10/25Process efficiency

Abstract

本发明提出了一种全卷积神经网络的激光定向能量沉积面积计算方法。本发明采集多幅激光定向能量沉积区域图像,人工标注每幅的熔池标签,进而构建训练集;搭建全卷积神经网络,将训练集中的图像输入至神经网络,预测熔池存在值,进而结合标注的构建损失函数,优化至Nash均衡,得到优化后神经网络;采集待检测图像,输入优化后神经网络,判断图像是否存在熔池区域;若存在熔池,则对图像进行灰度化得到灰度图,进而进行二值化得到二值图;对二值图通过拓扑结构分析方法得到图像的熔池轮廓像素坐标集,进而计算熔池面积。本发明能对激光定向能量沉积过程中的熔池进行识别并计算熔池面积,利于对制造过程的调控。

Description

一种全卷积神经网络的激光定向能量沉积面积计算方法
技术领域
本发明属于金属增材制造检测技术领域,尤其涉及一种全卷积神经网络的激光定向能量沉积面积计算方法。
背景技术
以金属为原料的增材制造技术,相比于最初的以光敏树脂为原料、采用光固化技术的增材制造技术,因其在工业领域的高要求下具有更出色的表现,近些年来获得了越来越广泛的关注。对于具有复杂内结构的零部件,增材制造相比于采用机械加工的传统制造模式,能够极大的缩短加工时间;对于现代的互联网化高频次迭代式产品更新,由于增材制造可以直接实现从三维CAD文件到实物的飞跃,配合已有的便捷沟通网络,增材制造更适应于时代。因而,对于航空航天、医疗卫生、军事工业等具有个性化、定制化、小规模化、精细化、严格化等特点的领域,增材制造正在得到越来越广泛的应用。
虽然现在对金属激光增材制造方面开展了诸多研究,但是在零部件的成型过程中仍存在一些问题。采用激光选区熔化(SLM)技术时,制造中可能由于一些物理过程,因而易于产生球化、孔隙、裂缝等缺陷问题,影响产品的机械性能。而采用激光金属直接成型(LMDF)技术时,伴随着激光束长时间的周期性加热,局部反复受热、冷却,熔池在池底的强约束作用下的快速凝固收缩及其伴生的短时性非平衡循环固态相变,容易导致零件发生严重的变形开裂,严重影响产品的力学性能。
诸如此类的因素在对产品质量有极高要求的航空航天、医疗卫生等领域,极大的不利于增材制造产品的实际应用。因此亟需通过深度学习的方式,利用人工智能的全卷积神经网络,对金属增材制造过程中的熔池、溅射进行识别,并且通过算法对熔池和溅射的各项指标进行计算。以此得到的反馈有助于提高增材制造产品的成品率。
发明内容
为解决上述问题,本发明提供一种全卷积神经网络的激光定向能量沉积面积计算方法。
本发明的技术方案为一种全卷积神经网络的激光定向能量沉积面积计算方法,具体包括以下步骤:
步骤1:采集多幅激光定向能量沉积区域图像,通过人工标注方法标注每幅激光定向能量沉积区域图像熔池区域标签,通过激光定向能量沉积区域图像以及对应的熔池区域标签构建全卷积神经网络训练集;
步骤1所述激光定向能量沉积区域图像为:
datap(i,j)
p∈[1,P],i∈[1,I],j∈[1,J]
其中,datap为第p个采集时刻的激光定向能量沉积区域图像,datap(i,j)为第p个采集时刻的激光定向能量沉积区域图像上第i行第j列的像素,P为采集时刻的数量,I为激光定向能量沉积区域图像行的数量,J为激光定向能量沉积区域图像列的数量;
步骤1所述激光定向能量沉积区域图像的熔池区域标签为:
tagp
p∈[1,P]
其中,tagp为第p个采集时刻的激光定向能量沉积区域图像的熔池区域标签,P为采集时刻的数量,tagp=1表示第p个采集时刻的激光定向能量沉积区域图像中含有熔池区域,tagp=0表示第p个采集时刻的激光定向能量沉积区域图像中没有熔池区域;
步骤1所述的激光定向能量沉积区域图像的全卷积神经网络的训练集为:
{datap(i,j),(tagp)}
p∈[1,P],i∈[1,I],j∈[1,J]
其中,datap(i,j)为第p个采集时刻的激光定向能量沉积区域图像上第i行第j列的像素,tagp为第p个采集时刻的激光定向能量沉积区域图像的熔池区域标签,tagp=1表示第p个采集时刻的激光定向能量沉积区域图像中含有熔池区域,tagp=0表示第p个采集时刻的激光定向能量沉积区域图像中没有熔池区域;I为激光定向能量沉积区域图像行的数量,J为激光定向能量沉积区域图像列的数量;P为采集时刻的数量,即全卷积神经网络训练集中样本的数量;
步骤2:搭建全卷积神经网络,利用全卷积神经网络训练集中激光定向能量沉积区域图像作为训练元输入至全卷积神经网络,通过全卷积神经网络预测得到熔池区域存在与否判定值tag,进一步结合神经网络数据集中熔池区域人工标注的tag构建全卷积神经网络损失函数,通过优化训练直至全卷积神经网络损失函数达到Nash均衡,得到优化后全卷积神经网络;
进一步地,对上述步骤2中的全卷积神经网络由输入层、多层卷积层、池化层、反卷积层、softmax层依次级联构成;
所述输入层,将第p个采集时刻的激光定向能量沉积区域图像即datap通过均值零化、方差归一化方法,将得到第p个采集时刻的标准化图像输出至卷积层;
所述多层卷积层由第一卷积层、第二卷积层、第三卷积层依次级联构成;
所述第一卷积层对输入图像3×3区域内的像素进行卷积核为3×3,步长取1的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个输入层图像得到的所有输出值构成第一特征图.
所述第二卷积层对第一特征图进行卷积核为3×3,步长取2的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个特征图1图像得到的所有输出值构成第二特征图(M2×M2×C2).
所述第三卷积层对第二特征图进行卷积核为3×3,步长取3的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个第二特征图的图像得到的所有输出值构成第三特征图(M3×M3×C3).
所述池化层对输入图像第三特征图的3×3区域内的像素进行卷积核为3×3,步长取3的最大池化运算,以降低图像维度,3×3池化核遍历整个输入图像得到的所有输出值构成第四特征图(M4×M4×C4).
所述反卷积层接受输入的第四特征图和第一特征图的叠加运算,对输入图像3×3区域内的像素进行卷积核为3×3,步长取1的上采样,扩大图像维度,还原输入的特征对应的图像,3×3反卷积核遍历整个输入特征图得到的所有输出值构成复原图img(M×M)。
所述softmax层,对输入的特征图的N个特征构建N×1的列向量矩阵,对各值网络输出指数运算后输出另一个N×1的矩阵,其中列向量各元为softmax层判定所输入特征分属各类别的概率,从而获知熔池存在与否的判定值;
进一步地,上述步骤2中,由softmax层内的soft_max函数计算类别θ的概率值定义如下:/>其中/>为要计算的类别θ的网络输出的指数,分母上为网络输出的所有类别的指数之和,一共α=2个类别,α0指熔池区域判定值为0,对应不存在,α1指熔池区域判定值为1,对应存在。以此得到类别θ的概率值;
步骤2所述全卷积神经网络损失函数模型为交叉熵损失函数;
所述交叉熵损失函数的定义为:
公式中,对于第p个采集时刻的标准化图像,rp,θ为第p个采集时刻的标准化图像类别θ的真实标签,为由soft_max函数计算出的第p个采集时刻的标准化图像类别θ的概率值,/>为类别数,P为全卷积神经网络训练集中样本的数量;
步骤3:采集激光定向能量沉积技术进行增材制造过程中的待检测激光定向能量沉积图像,将待检测激光定向能量沉积图像通过优化后全卷积神经网络预测,判断待检测激光定向能量沉积图像是否存在熔池区域;若待检测激光定向能量沉积图像存在熔池区域,对待检测激光定向能量沉积图像进行灰度化处理得到灰度图像,进一步对灰度图像进行二值化处理得到待检测激光定向能量沉积二值化图像;
步骤4:对待检测激光定向能量沉积二值化图像通过二值图像拓扑结构分析方法检测得到待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合,进一步计算待检测激光定向能量沉积图像的熔池区域的面积;
作为优选,步骤4所述待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合为:
conLours{(xa,ya)}
a∈[0,A]
其中,(xa,ya)为待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合中第a个熔池区域轮廓边缘像素点的坐标,xa为待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合中第a个熔池区域轮廓边缘像素点的的横坐标,ya为待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合中第a个熔池区域轮廓边缘像素点的纵坐标,相邻两个轮廓像素点坐标分别为(xa,ya),(xa+1,ya+1);
步骤4所述计算待检测激光定向能量沉积图像的熔池区域的面积为:
与现有技术相比,本发明具有如下的优点:
本发明提供的基于全卷积神经网络的激光定向能量沉积面积计算,将有助于在增材制造过程中对产品的缺陷进行分析和定位,并且通过搭建适合的API接口,可以将计算得到的结果传递至制造工艺参数控制系统,从而实现对工艺参数实时调控,有助于降低产品制造过程中缺陷的发生率,从而降低生产成本。
本发明采用的全卷积神经网络,相比于基于卷积神经网络的分割识别方法,可以降低存储空间的占用,减小内存开销。
本发明采用的全卷积神经网络,相比于基于卷积神经网络的分割识别方法,能够显著提高计算效率。因为卷积神经网络需要对每个像素建立图像块判别分类,而相邻的像素块基本上是相仿重复的,因此针对每个像素都建立图像块进行计算,这种计算也有很大程度上是在重复之前进行过的计算。
本发明采用的全卷积神经网络,相比于基于卷积神经网络的分割识别方法,扩大了感知区域的范围。通常针对像素建立的图像块的大小比整幅图像的大小小很多,只能提取一些局部的特征,从而导致分类的性能受到限制。
附图说明
图1:为本发明方法流程图;
图2:为本发明实施例提供的基于全卷积神经网络进行图像识别的网络结构图;
图3:为本发明实施例提供的全卷积神经网络卷积池和反卷积层上采样的示意图;
图4:为本发明实施例提供的经过灰度化、二值化处理后的图像;
图5:为本发明实施例提供的采用全卷积神经网络后,识别分割出的熔池区域图像。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面结合图1至图5介绍本发明的具体实施方式为一种全卷积神经网络的激光定向能量沉积面积计算方法,如图1流程图所示,具体包括以下步骤:
步骤1:采集多幅激光定向能量沉积区域图像,通过人工标注方法标注每幅激光定向能量沉积区域图像熔池区域标签,通过激光定向能量沉积区域图像以及对应的熔池区域标签构建全卷积神经网络训练集;
步骤1所述激光定向能量沉积区域图像为:
datap(i,j)
p∈[1,P],i∈[1,I],j∈[1,J]
其中,datap为第p个采集时刻的激光定向能量沉积区域图像,datap(i,j)为第p个采集时刻的激光定向能量沉积区域图像上第i行第j列的像素,p=640为采集时刻的数量,I=511为激光定向能量沉积区域图像行像素的数量,/=450为激光定向能量沉积区域图像列像素的数量;
步骤1所述激光定向能量沉积区域图像的熔池区域标签为:
tagp
p∈[1,P]
其中,tagp为第p个采集时刻的激光定向能量沉积区域图像的熔池区域标签,P为采集时刻的数量,tagp=1表示第p个采集时刻的激光定向能量沉积区域图像中含有熔池区域,tagp=0表示第p个采集时刻的激光定向能量沉积区域图像中没有熔池区域;
步骤1所述的激光定向能量沉积区域图像的全卷积神经网络的训练集为:
{datap(i,j),(tagp)}
p∈[1,P],i∈[1,I],j∈[1,J]
其中,datap(i,j)为第p个采集时刻的激光定向能量沉积区域图像上第i行第j列的像素,tagp为第p个采集时刻的激光定向能量沉积区域图像的熔池区域标签,tagp=1表示第p个采集时刻的激光定向能量沉积区域图像中含有熔池区域,tagp=0表示第p个采集时刻的激光定向能量沉积区域图像中没有熔池区域;I为激光定向能量沉积区域图像行的数量,J为激光定向能量沉积区域图像列的数量;P为采集时刻的数量,即全卷积神经网络训练集中样本的数量;
步骤2:搭建全卷积神经网络,利用全卷积神经网络训练集中激光定向能量沉积区域图像作为训练元输入至全卷积神经网络,通过全卷积神经网络预测得到熔池区域存在与否判定值tag,进一步结合神经网络数据集中熔池区域人工标注的tag构建全卷积神经网络损失函数,通过优化训练直至全卷积神经网络损失函数达到Nash均衡,得到优化后全卷积神经网络;
如附图2所示,上述步骤2中的全卷积神经网络由输入层、多层卷积层、池化层、反卷积层、softmax层依次级联构成;
所述输入层,将第p个采集时刻的激光定向能量沉积区域图像即datap通过均值零化、方差归一化方法,将得到第p个采集时刻的标准化图像输出至卷积层;
所述多层卷积层由第一卷积层、第二卷积层、第三卷积层依次级联构成;
所述第一卷积层对输入图像3×3区域内的像素进行卷积核为3×3,步长取1的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个输入层图像得到的所有输出值构成第一特征图.
所述第二卷积层对第一特征图进行卷积核为3×3,步长取2的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个特征图_1图像得到的所有输出值构成第二特征图(M2×M2×C2).
所述第三卷积层对第二特征图进行卷积核为3×3,步长取3的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个第二特征图的图像得到的所有输出值构成第三特征图(M3×M3×C3).
所述池化层对输入图像第三特征图的3×3区域内的像素进行卷积核为3×3,步长取3的最大池化运算,以降低图像维度,3×3池化核遍历整个输入图像得到的所有输出值构成第四特征图(M4×M4×C4).
所述反卷积层接受输入的第四特征图和第一特征图的叠加运算,对输入图像3×3区域内的像素进行卷积核为3×3,步长取1的上采样,扩大图像维度,还原输入的特征对应的图像,3×3反卷积核遍历整个输入特征图得到的所有输出值构成复原图img(M×M),原理见附图3。
所述softmax层,对输入的特征图的N个特征构建N×1的列向量矩阵,对各值网络输出指数运算后输出另一个N×1的矩阵,其中列向量各元为softmax层判定所输入特征分属各类别的概率,从而获知熔池存在与否的判定值;
进一步地,上述步骤2中,由softmax层内的soft_max函数计算类别θ的概率值定义如下:/>其中/>为要计算的类别θ的网络输出的指数,分母上为网络输出的所有类别的指数之和,一共α=2个类别,α0指熔池区域判定值为0,对应不存在,α1指熔池区域判定值为1,对应存在。以此得到类别θ的概率值;
步骤2所述全卷积神经网络损失函数模型为交叉熵损失函数;
所述交叉熵损失函数的定义为:
公式中,对于第p个采集时刻的标准化图像,rp,θ为第p个采集时刻的标准化图像类别θ的真实标签,为由soft_max函数计算出的第p个采集时刻的标准化图像类别θ的概率值,α=2为类别数,P为全卷积神经网络训练集中样本的数量;
步骤3:采集激光定向能量沉积技术进行增材制造过程中的待检测激光定向能量沉积图像,将待检测激光定向能量沉积图像通过优化后全卷积神经网络预测,判断待检测激光定向能量沉积图像是否存在熔池区域;若待检测激光定向能量沉积图像存在熔池区域,对待检测激光定向能量沉积图像进行灰度化处理得到灰度图像,进一步对灰度图像进行二值化处理得到待检测激光定向能量沉积二值化图像;经二值化处理后的图像见附图4。
步骤4:对待检测激光定向能量沉积二值化图像通过二值图像拓扑结构分析方法检测得到待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合,进一步计算待检测激光定向能量沉积图像的熔池区域的面积;此处进而可以提取待检测图像的熔池区域,见附图5。
步骤4所述待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合为:
contours{(xa,ya)}
a∈[0,A]
其中,(xa,ya)为待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合中第a个熔池区域轮廓边缘像素点的坐标,xa为待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合中第a个熔池区域轮廓边缘像素点的的横坐标,ya为待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合中第a个熔池区域轮廓边缘像素点的纵坐标,相邻两个轮廓像素点坐标分别为(xa,ya),(xa+1,ya+1);
步骤4所述计算待检测激光定向能量沉积图像的熔池区域的面积为:
尽管已描述了本发明的较佳实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括较佳实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (2)

1.一种全卷积神经网络的激光定向能量沉积面积计算方法,其特征在于,包括以下步骤:
步骤1:采集多幅激光定向能量沉积区域图像,通过人工标注方法标注每幅激光定向能量沉积区域图像熔池区域标签,通过激光定向能量沉积区域图像以及对应的熔池区域标签构建全卷积神经网络训练集;
步骤2:搭建全卷积神经网络,利用全卷积神经网络训练集中激光定向能量沉积区域图像作为训练元输入至全卷积神经网络,通过全卷积神经网络预测得到熔池区域存在与否判定值tag,进一步结合神经网络数据集中熔池区域人工标注的tag构建全卷积神经网络损失函数,通过优化训练直至全卷积神经网络损失函数达到Nash均衡,得到优化后全卷积神经网络;
步骤3:采集激光定向能量沉积技术进行增材制造过程中的待检测激光定向能量沉积图像,将待检测激光定向能量沉积图像通过优化后全卷积神经网络预测,判断待检测激光定向能量沉积图像是否存在熔池区域;若待检测激光定向能量沉积图像存在熔池区域,对待检测激光定向能量沉积图像进行灰度化处理得到灰度图像,进一步对灰度图像进行二值化处理得到待检测激光定向能量沉积二值化图像;
步骤4:对待检测激光定向能量沉积二值化图像通过二值图像拓扑结构分析方法检测得到待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合,进一步计算待检测激光定向能量沉积图像的熔池区域的面积;
步骤1所述激光定向能量沉积区域图像为:
datap(i,j)
p∈[1,P],i∈[1,I],j∈[1,J]
其中,datap为第p个采集时刻的激光定向能量沉积区域图像,datap(i,j)为第p个采集时刻的激光定向能量沉积区域图像上第i行第j列的像素,P为采集时刻的数量,I为激光定向能量沉积区域图像行的数量,J为激光定向能量沉积区域图像列的数量;
步骤1所述激光定向能量沉积区域图像的熔池区域标签为:
tagp
p∈[1,P]
其中,tagp为第p个采集时刻的激光定向能量沉积区域图像的熔池区域标签,P为采集时刻的数量,tagp=1表示第p个采集时刻的激光定向能量沉积区域图像中含有熔池区域,tagp=0表示第p个采集时刻的激光定向能量沉积区域图像中没有熔池区域;
步骤1所述的激光定向能量沉积区域图像的全卷积神经网络的训练集为:
{datap(i,j),(tagp)}
p∈[1,P],i∈[1,I],j∈[1,J]
其中,datap(i,j)为第p个采集时刻的激光定向能量沉积区域图像上第i行第j列的像素,tagp为第p个采集时刻的激光定向能量沉积区域图像的熔池区域标签,tagp=1表示第p个采集时刻的激光定向能量沉积区域图像中含有熔池区域,tagp=0表示第p个采集时刻的激光定向能量沉积区域图像中没有熔池区域;I为激光定向能量沉积区域图像行的数量,J为激光定向能量沉积区域图像列的数量;P为采集时刻的数量,即全卷积神经网络训练集中样本的数量;
步骤2中所述的全卷积神经网络由输入层、多层卷积层、池化层、反卷积层、softmax层依次级联构成;
所述输入层,将第p个采集时刻的激光定向能量沉积区域图像即datap通过均值零化、方差归一化方法,将得到第p个采集时刻的标准化图像输出至卷积层;
所述多层卷积层由第一卷积层、第二卷积层、第三卷积层依次级联构成;
所述第一卷积层对输入图像3×3区域内的像素进行卷积核为3×3,步长取1的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个输入层图像得到的所有输出值构成第一特征图.
所述第二卷积层对第一特征图进行卷积核为3×3,步长取2的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个第一特征图的图像得到的所有输出值构成第二特征图(M2×M2×C2).
所述第三卷积层对第二特征图进行卷积核为3×3,步长取3的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个第二特征图的图像得到的所有输出值构成第三特征图(M3×M3×C3).
所述池化层对输入图像第三特征图的3×3区域内的像素进行卷积核为3×3,步长取3的最大池化运算,以降低图像维度,3×3池化核遍历整个输入图像得到的所有输出值构成第四特征图(M4×M4×C4).
所述反卷积层接受输入的第四特征图和第一特征图的叠加运算,对输入图像3×3区域内的像素进行卷积核为3×3,步长取1的上采样,扩大图像维度,还原输入的特征对应的图像,3×3反卷积核遍历整个输入特征图得到的所有输出值构成复原图img(M×M);
所述softmax层,对输入的特征图的N个特征构建N×1的列向量矩阵,对各值网络输出指数运算后输出另一个N×1的矩阵,其中列向量各元为softmax层判定所输入特征分属各类别的概率,从而获知熔池存在与否的判定值;
进一步地,上述步骤2中,由softmax层内的soft_max函数计算类别θ的概率值定义如下:/>其中/>为要计算的类别θ的网络输出的指数,分母上为网络输出的所有类别的指数之和,一共α=2个类别,α0指熔池区域判定值为0,对应不存在,α1指熔池区域判定值为1,对应存在;以此得到类别θ的概率值;
步骤2所述全卷积神经网络损失函数模型为交叉熵损失函数;
所述交叉熵损失函数的定义为:
公式中,对于第p个采集时刻的标准化图像,rp,θ为第p个采集时刻的标准化图像类别θ的真实标签,为由soft_max函数计算出的第p个采集时刻的标准化图像类别θ的概率值,α=2为类别数,P为全卷积神经网络训练集中样本的数量。
2.根据权利要求1所述的全卷积神经网络的激光定向能量沉积面积计算方法,其特征在于,
步骤4所述待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合为:
contours{(xa,ya)}
a∈[0,A]
其中,(xa,ya)为待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合中第a个熔池区域轮廓边缘像素点的坐标,xa为待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合中第a个熔池区域轮廓边缘像素点的的横坐标,ya为待检测激光定向能量沉积图像的熔池区域轮廓边缘像素点坐标集合中第a个熔池区域轮廓边缘像素点的纵坐标,相邻两个轮廓像素点坐标分别为(xa,ya),(xa+1,ya+1);
步骤4所述计算待检测激光定向能量沉积图像的熔池区域的面积为:
CN202110307051.9A 2021-03-23 2021-03-23 一种全卷积神经网络的激光定向能量沉积面积计算方法 Active CN112967266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110307051.9A CN112967266B (zh) 2021-03-23 2021-03-23 一种全卷积神经网络的激光定向能量沉积面积计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110307051.9A CN112967266B (zh) 2021-03-23 2021-03-23 一种全卷积神经网络的激光定向能量沉积面积计算方法

Publications (2)

Publication Number Publication Date
CN112967266A CN112967266A (zh) 2021-06-15
CN112967266B true CN112967266B (zh) 2024-02-06

Family

ID=76278053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110307051.9A Active CN112967266B (zh) 2021-03-23 2021-03-23 一种全卷积神经网络的激光定向能量沉积面积计算方法

Country Status (1)

Country Link
CN (1) CN112967266B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103175844A (zh) * 2012-03-16 2013-06-26 沈阳理工大学 一种金属零部件表面划痕缺陷检测方法
CN108229461A (zh) * 2018-01-16 2018-06-29 上海同岩土木工程科技股份有限公司 一种基于深度学习的隧道裂缝快速识别方法
CN109359681A (zh) * 2018-10-11 2019-02-19 西京学院 一种基于改进全卷积神经网络的大田作物病虫害识别方法
CN110674735A (zh) * 2019-09-23 2020-01-10 中国科学院地理科学与资源研究所 基于精细分类的农业设施遥感提取方法和装置
CN110826560A (zh) * 2019-11-06 2020-02-21 山东省计算中心(国家超级计算济南中心) 一种食管癌病理图像标注方法
CN111275679A (zh) * 2020-01-17 2020-06-12 同济大学 一种基于图像的太阳能电池缺陷检测系统及方法
CN111784671A (zh) * 2020-06-30 2020-10-16 天津大学 基于多尺度深度学习的病理图像病灶区域检测方法
CN111899224A (zh) * 2020-06-30 2020-11-06 烟台市计量所 基于深度学习注意力机制的核电管道缺陷检测系统
CN112365468A (zh) * 2020-11-11 2021-02-12 南通大学 基于AA-gate-Unet的海上风电塔筒涂层缺陷检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103175844A (zh) * 2012-03-16 2013-06-26 沈阳理工大学 一种金属零部件表面划痕缺陷检测方法
CN108229461A (zh) * 2018-01-16 2018-06-29 上海同岩土木工程科技股份有限公司 一种基于深度学习的隧道裂缝快速识别方法
CN109359681A (zh) * 2018-10-11 2019-02-19 西京学院 一种基于改进全卷积神经网络的大田作物病虫害识别方法
CN110674735A (zh) * 2019-09-23 2020-01-10 中国科学院地理科学与资源研究所 基于精细分类的农业设施遥感提取方法和装置
CN110826560A (zh) * 2019-11-06 2020-02-21 山东省计算中心(国家超级计算济南中心) 一种食管癌病理图像标注方法
CN111275679A (zh) * 2020-01-17 2020-06-12 同济大学 一种基于图像的太阳能电池缺陷检测系统及方法
CN111784671A (zh) * 2020-06-30 2020-10-16 天津大学 基于多尺度深度学习的病理图像病灶区域检测方法
CN111899224A (zh) * 2020-06-30 2020-11-06 烟台市计量所 基于深度学习注意力机制的核电管道缺陷检测系统
CN112365468A (zh) * 2020-11-11 2021-02-12 南通大学 基于AA-gate-Unet的海上风电塔筒涂层缺陷检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Method for Positioning Mark Point on Liquid Crystal Glass Based on Machine Vision;Fei Zou;《IEEE Xplore》;全文 *
基于机器视觉的苹果果梗/花萼与缺陷识别;邱光应;《CNKI中国知网》;全文 *
基于机器视觉的马铃薯疮痂检测方法;祁雁楠;《CNKI中国知网》;全文 *

Also Published As

Publication number Publication date
CN112967266A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
Zhang et al. Surface defect detection of steel strips based on classification priority YOLOv3-dense network
Li et al. A new lightweight deep neural network for surface scratch detection
CN113807355B (zh) 一种基于编解码结构的图像语义分割方法
CN112381788B (zh) 一种基于双分支匹配网络的零部件表面缺陷增量检测方法
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN107767416B (zh) 一种低分辨率图像中行人朝向的识别方法
CN113538331A (zh) 金属表面损伤目标检测识别方法、装置、设备及存储介质
CN112052876B (zh) 一种基于改进ra-cnn的细粒度图像检测方法与系统
CN110648310A (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN112016511A (zh) 基于大尺度深度卷积神经网络的遥感图像蓝顶房检测方法
CN111369526B (zh) 基于半监督深度学习的多类型旧桥裂痕识别方法
CN108537825B (zh) 一种基于迁移学习回归网络的目标跟踪方法
CN111462068A (zh) 一种基于迁移学习的螺钉螺母检测方法
CN113610144A (zh) 一种基于多分支局部注意力网络的车辆分类方法
CN112749675A (zh) 一种基于卷积神经网络的马铃薯病害识别方法
Zeng et al. Steel sheet defect detection based on deep learning method
CN114581782A (zh) 一种基于由粗到精检测策略的细微缺陷检测方法
CN111882000A (zh) 一种应用于小样本细粒度学习的网络结构及方法
Drass et al. Semantic segmentation with deep learning: detection of cracks at the cut edge of glass
CN107798329A (zh) 基于cnn的自适应粒子滤波目标跟踪方法
Hu et al. Feature points recognition of computerized numerical control machining tool path based on deep learning
CN112967266B (zh) 一种全卷积神经网络的激光定向能量沉积面积计算方法
CN110766662B (zh) 一种基于多尺度和多层特征学习的锻件表面裂纹检测方法
CN112149612A (zh) 一种基于深度神经网络的海洋生物识别系统及识别方法
CN112967267B (zh) 一种全卷积神经网络的激光定向能量沉积溅射计数方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220125

Address after: 414024 floors 2, 3 and 4, R & D building, Yueyang modern equipment manufacturing industrial park, muligang Avenue, Yueyang Economic and Technological Development Zone, Yueyang City, Hunan Province

Applicant after: Yueyang Luojia Intelligent Technology Co.,Ltd.

Address before: 430072 Hubei Province, Wuhan city Wuchang District of Wuhan University Luojiashan

Applicant before: WUHAN University

TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: 414022 floors 2, 3 and 4, R & D building, Yueyang modern equipment manufacturing industrial park, muligang Avenue, Yueyang Economic and Technological Development Zone, Hunan Province

Applicant after: Hunan Luojia Intelligent Technology Co.,Ltd.

Address before: 414024 floors 2, 3 and 4, R & D building, Yueyang modern equipment manufacturing industrial park, muligang Avenue, Yueyang Economic and Technological Development Zone, Yueyang City, Hunan Province

Applicant before: Yueyang Luojia Intelligent Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant