CN112967267B - 一种全卷积神经网络的激光定向能量沉积溅射计数方法 - Google Patents

一种全卷积神经网络的激光定向能量沉积溅射计数方法 Download PDF

Info

Publication number
CN112967267B
CN112967267B CN202110307531.5A CN202110307531A CN112967267B CN 112967267 B CN112967267 B CN 112967267B CN 202110307531 A CN202110307531 A CN 202110307531A CN 112967267 B CN112967267 B CN 112967267B
Authority
CN
China
Prior art keywords
image
energy deposition
directional energy
laser
laser directional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110307531.5A
Other languages
English (en)
Other versions
CN112967267A (zh
Inventor
李辉
米纪千
申胜男
胡雅馨
李正雄
刘胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yueyang Luojia Intelligent Technology Co ltd
Original Assignee
Hunan Luojia Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Luojia Intelligent Technology Co ltd filed Critical Hunan Luojia Intelligent Technology Co ltd
Priority to CN202110307531.5A priority Critical patent/CN112967267B/zh
Publication of CN112967267A publication Critical patent/CN112967267A/zh
Application granted granted Critical
Publication of CN112967267B publication Critical patent/CN112967267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种全卷积神经网络的激光定向能量沉积溅射计数方法。本发明采集激光定向能量沉积图像,利用拓扑结构分析方法找到每幅图像内所有轮廓,对轮廓建立最小矩形框,分割出最小矩形框内图像并标注标签,构建训练集;搭建全卷积神经网络,将图像及标签输入网络预测,构建损失函数并训练至纳什均衡态优化网络;采集待检测图像,进行形态学处理,用拓扑结构分析方法找到每幅图像轮廓,建立最小矩形框并分割出其内图像,输入网络预测:若为溅射,则保留像素;否则,置为黑色;灰度化、梯度化像素处理后图像,采用分水岭算法找到轮廓,对轮廓数量计数得溅射数量。本发明对激光定向能量沉积过程中的溅射进行识别并计数,利于制造过程的调控。

Description

一种全卷积神经网络的激光定向能量沉积溅射计数方法
技术领域
本发明属于激光的定向能量沉积技术领域,尤其涉及一种全卷积神经网络的激光定向能量沉积溅射计数方法。
背景技术
基于激光的定向能量沉积(L-DED)是一种广泛使用的增材制造技术。L-DED使用激光束熔化金属粉末。计算机将复杂零件的CAD模型切成图层,以获取零件的二维平面剖面数据。根据二维平面剖面数据,激光快速熔化金属粉末,通过分层点、线和表面获得复杂部件。其强大的复杂工件处理能力,加上出色的物理和机械性能,都有助于其巨大的应用潜力。
为了提高L-DED加工过程中产品质量,提出了一些方法。杨等人展示了一种用于激光工程网整的网式控制系统,以提高工件处理精度。舒等人.介绍了一种通过改进加工材料成功准备无裂纹零件的方法。Ngoveni等人对L-DED过程中的剩余应力进行了实验分析和建模模拟,并选择了合适的热处理方法,以提高加工零件的机械性能。
L-DED的发展迫切需要一个更可靠和高效的制造工艺。识别图像的缺陷感知可以作为控制过程参数环境数据的强化学习方法,使过程参数的决策系统能够做出最佳决策,实现从感知到决策的集成制造。Gobert等人使用高分辨率相机断层扫描和机器学习来检测原位增材制造工艺中的缺陷。雅各布斯穆伦等人研究了激光束熔化制造过程的质量管理和过程控制方法。Yang等人使用基于遗传算法的最大熵双阈值图像处理算法来识别图像的飞溅体,但捕获的飞溅体形态不是很清楚。方等人使用基于U网的卷积神经网络(CNN)来捕捉熔池的地形特征。
目前主流的增材制造缺陷检测技术主要是通过各种传感器获取零件的图像数据。虽然激光超声波检测能检测零件的地下缺陷,但检测设备复杂、昂贵。检测性能不好,原位检测尚未实现。基于深度学习和计算机视觉算法的图像处理可以真正实现在线就地监控。随着计算能力的增加,图像的预测推理时间可以逐渐缩短。主要技术问题在于深度学习模型体系结构和参数调优的设计。本文构建了L-DED过程的现场监测系统,提出了一个全卷积神经网络(FCN),以提取飞溅图像的几何特征,在L-DED过程中对飞溅体进行原位监测。
发明内容
为解决现有技术存在的以上技术问题,本发明提供一种全卷积神经网络的激光定向能量沉积溅射计数方法。
本发明的技术方案为一种全卷积神经网络的激光定向能量沉积溅射计数方法
步骤1:采集多幅激光定向能量沉积区域图像,将每幅激光定向能量沉积区域图像利用图像拓扑结构分析方法找到每幅激光定向能量沉积区域图像内的所有轮廓,对找到的轮廓建立最小矩形框,分割出每幅激光定向能量沉积区域图像内最小矩形框内的图像,人工标注每幅激光定向能量沉积区域图像内最小矩形框内的图像的标签,进一步构建全卷积神经网络训练集。
步骤2:搭建全卷积神经网络,将每幅激光定向能量沉积区域图像内最小矩形框内的图像以及对应的标签作为训练样本依次输入到全卷积神经网络中,得到神经网络的预测样本的分属类别的概率预测值,进一步结合人工标注的每幅激光定向能量沉积区域图像内最小矩形框内的图像的标签构建损失函数,通过调整网络学习参数至损失函数达到纳什均衡状态,得到优化后的全卷积神经网络。
步骤3:采集应用激光定向能量沉积技术进行增材制造过程中的待检测激光定向能量沉积图像,进行形态学处理得到形态学处理后待检测激光定向能量沉积图像;将形态学处理后待检测激光定向能量沉积图像采用图像拓扑结构分析方法,找到每幅形态学处理后待检测激光定向能量沉积图像内的所有轮廓,对找到的轮廓建立最小矩形框,分割出每幅形态学处理后待检测激光定向能量沉积图像内最小矩形框内的图像;将形态学处理后待检测激光定向能量沉积图像内最小矩形框内的图像依次输入优化后的全卷积神经网络进行预测,若形态学处理后待检测激光定向能量沉积图像内最小矩形框内的图像的预测类别为溅射,则保留最小矩形框内像素;否则将形态学处理后待检测激光定向能量沉积图像内最小矩形框内的图像的像素置为黑色像素;进一步得到像素处理后待检测激光定向能量沉积图像;
步骤4:对像素处理后待检测激光定向能量沉积图像进行灰度化处理,得到灰度待检测激光定向能量沉积图像;对灰度待检测激光定向能量沉积图像梯度化后,进一步采用分水岭算法进行处理,找到灰度待检测激光定向能量沉积图像中存在的轮廓,对灰度待检测激光定向能量沉积图像中存在的轮廓数量计数得到待检测激光定向能量沉积图像中溅射的数量。
作为优选,步骤1所述多幅激光定向能量沉积区域图像为:
origina(m,n)
a∈[1,A],m∈[1,M],n∈[1,N]
其中,origina为第a幅激光定向能量沉积区域图像,origina(m,n)为第a幅激光定向能量沉积区域图像上第m行第n列的像素,A为激光定向能量沉积区域图像的总数量,M为图像行的数量,N为图像列的数量。
步骤1所述每幅激光定向能量沉积区域图像内最小矩形框内的图像为:
其中,l表示激光定向能量沉积区域图像内的左,t表示激光定向能量沉积区域图像内的上,r表示激光定向能量沉积区域图像内的右,b表示激光定向能量沉积区域图像内的下;A表示激光定向能量沉积区域图像的数量,Ka表示第a幅激光定向能量沉积区域图像中建立的最小矩形框的总数;loca,k表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像的坐标,表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像左上角的坐标,/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像左上角的横坐标,/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像左上角的纵坐标;
表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像右下角的坐标,/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像右下角的横坐标,/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像右下角的纵坐标;
步骤1所述人工标注每幅激光定向能量沉积区域图像内最小矩形框内的图像的标签为:
labela,k
a∈[1,A],k∈[1,Ka]
其中,labela,k为第a幅激光定向能量沉积区域图像内第k个最小矩形框内图像的标签,labela,k=0表示第a幅激光定向能量沉积区域图像内第k个最小矩形框内图像不是溅射区域,labela,k=1表示第a幅激光定向能量沉积区域图像内第k个最小矩形框内图像是溅射区域。
步骤1所述全卷积神经网络训练集为:
{origina(m,n),(loca,k,labela,k)}
a∈[1,A],m∈[1,M],n∈[1,N],k∈[1,Ka]
其中,origina为第a幅激光定向能量沉积区域图像,origina(m,n)为第a幅激光定向能量沉积区域图像上第m行第n列的像素,loca,k表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像的坐标,labela,k为第a幅激光定向能量沉积区域图像内第k个最小矩形框内图像的标签,A为激光定向能量沉积区域图像数据集中图像的总数量,M为图像行的数量,N为图像列的数量,Ka表示第a幅激光定向能量沉积区域图像中建立的最小矩形框的总数;
作为优选,步骤2中所述的全卷积神经网络由输入层、多层卷积层、池化层、反卷积层、输出层依次级联构成;
所述输入层,将全卷积神经网络训练集中的第a幅激光定向能量沉积区域图像的第k个最小矩形框内图像通过尺寸统一化、均值零化、方差归一化方法得到预处理后图像imga,k,0,将预处理后图像输出至所述多层卷积层;
所述多层卷积层由第一卷积层、第二卷积层级联构成;
所述第一卷积层对imga,k,0内3×3区域内的像素进行卷积核为3×3,步长取1的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个输入层图像得到的所有输出值构成第一特征图feata,k,1(Ma,k,1×Ma,k,1×3).
所述第二卷积层对第一特征图feata,k,1进行卷积核为3×3,步长取1的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个特征图1图像得到的所有输出值构成第二特征图feata,k,2(Ma,k,2×Ma,k,2×3).
所述池化层对输入图像第二特征图feata,k,2的3×3区域内的像素进行卷积核为3×3,步长取3的最大池化运算,以降低图像维度,3×3池化核遍历整个输入图像得到的所有输出值构成第三特征图feata,k,3(Ma,k,3×Ma,k,3×3).
所述反卷积层接受输入的第三特征图feata,k,3和第一特征图feata,k,1的叠加运算,对输入图像3×3区域内的像素进行卷积核为3×3,步长取1的上采样,扩大图像维度,还原输入的特征对应的图像,3×3反卷积核遍历整个输入特征图得到的所有输出值构成复原图imga,k,1(Ma,k,4×Ma,k,4×3)。
所述输出层,接受输入的第三特征图feata,k,3中的N个特征,构建一个列向量采用激活函数对各元进行运算后输出列向量/>其中各值即为神经网络预测的各特征的判定值Pτ
进一步地,上述步骤2中,输出层中所述激活函数为sigmoid函数,具体定义如下:
其中,τ为列向量中的第τ个元素,Pτ为列向量中第τ个元素的判定值,即此区域是溅射的概率,即步骤2中所述神经网络的预测样本的分属类别的概率预测值;
进一步地,上述步骤2中,全卷积神经网络模型中定义了交叉熵损失函数,具体为:
其中,labela,k为第a幅激光定向能量沉积区域图像的第k个最小矩形框内图像的标签,Pa,k为由sigmoid函数计算出的第a幅激光定向能量沉积区域图像的第k个最小矩形框内图像的预测概率值,C为全卷积神经网络训练集中样本的总数量;
作为优选,步骤3中所述的形态学处理为:
对待检测激光定向能量沉积图像进行开运算,即先腐蚀后膨胀,以消除图像中的噪点;
进一步对开运算之后的待检测激光定向能量沉积图像进行闭运算,即先膨胀后腐蚀,以消除图像中的黑洞,得到形态学处理后待检测激光定向能量沉积图像。
本发明优点在于,本发明提供的基于全卷积神经网络的激光定向能量沉积溅射计数,将有助于在增材制造过程中对产品的缺陷进行分析和定位,并且通过搭建适合的API接口,可以将计算得到的结果传递至制造工艺参数控制系统,从而实现对工艺参数实时调控,有助于降低产品制造过程中缺陷的发生率,从而降低生产成本。
本发明采用的全卷积神经网络,相比于基于卷积神经网络的分割识别方法,可以降低存储空间的占用,减小内存开销。
本发明采用的全卷积神经网络,相比于基于卷积神经网络的分割识别方法,能够显著提高计算效率。因为卷积神经网络需要对每个像素建立图像块判别分类,而相邻的像素块基本上是相仿重复的,因此针对每个像素都建立图像块进行计算,这种计算也有很大程度上是在重复之前进行过的计算。
本发明采用的全卷积神经网络,相比于基于卷积神经网络的分割识别方法,扩大了感知区域的范围。通常针对像素建立的图像块的大小比整幅图像的大小小很多,只能提取一些局部的特征,从而导致分类的性能受到限制。
附图说明
图1:为本发明方法流程图;
图2:为本发明实施例提供的基于全卷积神经网络进行图像判别的网络结构图;
图3:为本发明实施例提供的全卷积神经网络卷积池和反卷积层上采样的示意图;
图4:为本发明实施例提供的形态学处理之后的图像;
图5:为本发明实施例提供的溅射计数结果图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面结合图1-图5介绍本发明的具体实施方式为一种全卷积神经网络的激光定向能量沉积溅射计数方法,具体步骤如下:
步骤1:采集多幅激光定向能量沉积区域图像,将每幅激光定向能量沉积区域图像利用图像拓扑结构分析方法找到每幅激光定向能量沉积区域图像内的所有轮廓,对找到的轮廓建立最小矩形框,分割出每幅激光定向能量沉积区域图像内最小矩形框内的图像,人工标注每幅激光定向能量沉积区域图像内最小矩形框内的图像的标签,进一步构建全卷积神经网络训练集。
步骤1所述多幅激光定向能量沉积区域图像为:
origina(m,n)
a∈[1,A],m∈[1,M],n∈[1,N]
其中,origina为第a幅激光定向能量沉积区域图像,origina(m,n)为第a幅激光定向能量沉积区域图像上第m行第n列的像素,A=640为激光定向能量沉积区域图像的总数量,M=511为图像行的数量,N=450为图像列的数量。
步骤1所述每幅激光定向能量沉积区域图像内最小矩形框内的图像为:
其中,l表示激光定向能量沉积区域图像内的左,t表示激光定向能量沉积区域图像内的上,r表示激光定向能量沉积区域图像内的右,b表示激光定向能量沉积区域图像内的下;A表示激光定向能量沉积区域图像的数量,ka表示第a幅激光定向能量沉积区域图像中建立的最小矩形框的总数;loca,k表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像的坐标,表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像左上角的坐标,/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像左上角的横坐标,/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像左上角的纵坐标;/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像右下角的坐标,/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像右下角的横坐标,/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像右下角的纵坐标;
步骤1所述人工标注每幅激光定向能量沉积区域图像内最小矩形框内的图像的标签为:
labela,k
a∈[1,A],k∈[1,Ka]
其中,labela,k为第a幅激光定向能量沉积区域图像内第k个最小矩形框内图像的标签,labela,k=0表示第a幅激光定向能量沉积区域图像内第k个最小矩形框内图像不是溅射区域,labela,k=1表示第a幅激光定向能量沉积区域图像内第k个最小矩形框内图像是溅射区域。
步骤1所述全卷积神经网络训练集为:
{origina(m,n),(loca,k,labela,k)}
a∈[1,A],m∈[1,M],n∈[1,N],k∈[1,Ka]
其中,origina为第a幅激光定向能量沉积区域图像,origina(m,n)为第a幅激光定向能量沉积区域图像上第m行第n列的像素,loca,k表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像的坐标,labela,k为第a幅激光定向能量沉积区域图像内第k个最小矩形框内图像的标签,A为激光定向能量沉积区域图像数据集中图像的总数量,M为图像行的数量,N为图像列的数量,Ka表示第a幅激光定向能量沉积区域图像中建立的最小矩形框的总数;
步骤2:搭建全卷积神经网络,将每幅激光定向能量沉积区域图像内最小矩形框内的图像以及对应的标签作为训练样本依次输入到全卷积神经网络中,得到神经网络的预测样本的分属类别的概率预测值,进一步结合人工标注的每幅激光定向能量沉积区域图像内最小矩形框内的图像的标签构建损失函数,通过调整网络学习参数至损失函数达到纳什均衡状态,得到优化后的全卷积神经网络。
如下文附图2所示,步骤2中所述的全卷积神经网络由输入层、多层卷积层、池化层、反卷积层、输出层依次级联构成;
所述输入层,将全卷积神经网络训练集中的第a幅激光定向能量沉积区域图像的第k个最小矩形框内图像通过尺寸统一化、均值零化、方差归一化方法得到预处理后图像imga,k,0,将预处理后图像输出至所述多层卷积层;
所述多层卷积层由第一卷积层、第二卷积层级联构成;
所述第一卷积层对imga,k,0内3×3区域内的像素进行卷积核为3×3,步长取1的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个输入层图像得到的所有输出值构成第一特征图feata,k,1(Ma,k,1×Ma,k,1×3).
所述第二卷积层对第一特征图feata,k,1进行卷积核为3×3,步长取1的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个特征图1图像得到的所有输出值构成第二特征图feata,k,2(Ma,k,2×Ma,k,2×3).
所述池化层对输入图像第二特征图feata,k,2的3×3区域内的像素进行卷积核为3×3,步长取3的最大池化运算,以降低图像维度,3×3池化核遍历整个输入图像得到的所有输出值构成第三特征图feata,k,3(Ma,k,3×Ma,k,3×3).
所述反卷积层接受输入的第三特征图feata,k,3和第一特征图feata,k,1的叠加运算,对输入图像3×3区域内的像素进行卷积核为3×3,步长取1的上采样,扩大图像维度,还原输入的特征对应的图像,3×3反卷积核遍历整个输入特征图得到的所有输出值构成复原图imga,k,1(Ma,k,4×Ma,k,4×3),其反卷积的原理见下文附图3.
所述输出层,接受输入的第三特征图feata,k,3中的N个特征,构建一个列向量采用激活函数对各元进行运算后输出列向量/>其中各值即为神经网络预测的各特征的判定值Pτ
进一步地,上述步骤2中,输出层中所述激活函数为sigmoid函数,具体定义如下:
其中,τ为列向量中的第τ个元素,Pτ为列向量中第τ个元素的判定值,即此区域是溅射的概率,即步骤2中所述神经网络的预测样本的分属类别的概率预测值;
进一步地,上述步骤2中,全卷积神经网络模型中定义了交叉熵损失函数,具体为:
其中,labela,k为第a幅激光定向能量沉积区域图像的第k个最小矩形框内图像的标签,Pa,k为由sigmoid函数计算出的第a幅激光定向能量沉积区域图像的第k个最小矩形框内图像的预测概率值,C=12534为全卷积神经网络训练集中样本的总数量;
步骤3:采集应用激光定向能量沉积技术进行增材制造过程中的待检测激光定向能量沉积图像,进行形态学处理得到形态学处理后待检测激光定向能量沉积图像;将形态学处理后待检测激光定向能量沉积图像采用图像拓扑结构分析方法,找到每幅形态学处理后待检测激光定向能量沉积图像内的所有轮廓,对找到的轮廓建立最小矩形框,分割出每幅形态学处理后待检测激光定向能量沉积图像内最小矩形框内的图像;将形态学处理后待检测激光定向能量沉积图像内最小矩形框内的图像依次输入优化后的全卷积神经网络进行预测,若形态学处理后待检测激光定向能量沉积图像内最小矩形框内的图像的预测类别为溅射,则保留最小矩形框内像素;否则将形态学处理后待检测激光定向能量沉积图像内最小矩形框内的图像的像素置为黑色像素;进一步得到像素处理后待检测激光定向能量沉积图像;
步骤3中所述的形态学处理为:
对待检测激光定向能量沉积图像进行开运算,即先腐蚀后膨胀,以消除图像中的噪点;
进一步对开运算之后的待检测激光定向能量沉积图像进行闭运算,即先膨胀后腐蚀,以消除图像中的黑洞,得到形态学处理后待检测激光定向能量沉积图像,处理后图例见下文附图4。
步骤4:对像素处理后待检测激光定向能量沉积图像进行灰度化处理,得到灰度待检测激光定向能量沉积图像;对灰度待检测激光定向能量沉积图像梯度化后,进一步采用分水岭算法进行处理,找到灰度待检测激光定向能量沉积图像中存在的轮廓,对灰度待检测激光定向能量沉积图像中存在的轮廓数量计数得到待检测激光定向能量沉积图像中溅射的数量,计数的结果图见下文附图5。
尽管已描述了本发明的较佳实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括较佳实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (3)

1.一种全卷积神经网络的激光定向能量沉积溅射计数方法,其特征在于,包括以下步骤:
步骤1:采集多幅激光定向能量沉积区域图像,将每幅激光定向能量沉积区域图像利用图像拓扑结构分析方法找到每幅激光定向能量沉积区域图像内的所有轮廓,对找到的轮廓建立最小矩形框,分割出每幅激光定向能量沉积区域图像内最小矩形框内的图像,人工标注每幅激光定向能量沉积区域图像内最小矩形框内的图像的标签,进一步构建全卷积神经网络训练集;
步骤2:搭建全卷积神经网络,将每幅激光定向能量沉积区域图像内最小矩形框内的图像以及对应的标签作为训练样本依次输入到全卷积神经网络中,得到神经网络的预测样本的分属类别的概率预测值,进一步结合人工标注的每幅激光定向能量沉积区域图像内最小矩形框内的图像的标签构建损失函数,通过调整网络学习参数至损失函数达到纳什均衡状态,得到优化后的全卷积神经网络;
步骤3:采集应用激光定向能量沉积技术进行增材制造过程中的待检测激光定向能量沉积图像,进行形态学处理得到形态学处理后待检测激光定向能量沉积图像;将形态学处理后待检测激光定向能量沉积图像采用图像拓扑结构分析方法,找到每幅形态学处理后待检测激光定向能量沉积图像内的所有轮廓,对找到的轮廓建立最小矩形框,分割出每幅形态学处理后待检测激光定向能量沉积图像内最小矩形框内的图像;将形态学处理后待检测激光定向能量沉积图像内最小矩形框内的图像依次输入优化后的全卷积神经网络进行预测,若形态学处理后待检测激光定向能量沉积图像内最小矩形框内的图像的预测类别为溅射,则保留最小矩形框内像素;否则将形态学处理后待检测激光定向能量沉积图像内最小矩形框内的图像的像素置为黑色像素;进一步得到像素处理后待检测激光定向能量沉积图像;
步骤4:对像素处理后待检测激光定向能量沉积图像进行灰度化处理,得到灰度待检测激光定向能量沉积图像;对灰度待检测激光定向能量沉积图像梯度化后,进一步采用分水岭算法进行处理,找到灰度待检测激光定向能量沉积图像中存在的轮廓,对灰度待检测激光定向能量沉积图像中存在的轮廓数量计数得到待检测激光定向能量沉积图像中溅射的数量;
步骤1所述多幅激光定向能量沉积区域图像为:
origina(m,n)
a∈[1,A],m∈[1,M],n∈[1,N]
其中,origina为第a幅激光定向能量沉积区域图像,origina(m,n)为第a幅激光定向能量沉积区域图像上第m行第n列的像素,A为激光定向能量沉积区域图像的总数量,M为图像行的数量,N为图像列的数量;
步骤1所述每幅激光定向能量沉积区域图像内最小矩形框内的图像为:
其中,l表示激光定向能量沉积区域图像内的左,t表示激光定向能量沉积区域图像内的上,r表示激光定向能量沉积区域图像内的右,b表示激光定向能量沉积区域图像内的下;A表示激光定向能量沉积区域图像的数量,Ka表示第a幅激光定向能量沉积区域图像中建立的最小矩形框的总数;loca,k表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像的坐标,表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像左上角的坐标,/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像左上角的横坐标,/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像左上角的纵坐标;
表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像右下角的坐标,/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像右下角的横坐标,/>表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像右下角的纵坐标;
步骤1所述人工标注每幅激光定向能量沉积区域图像内最小矩形框内的图像的标签为:
labela,k
a∈[1,A],k∈[1,Ka]
其中,labela,k为第a幅激光定向能量沉积区域图像内第k个最小矩形框内图像的标签,labela,k=0表示第a幅激光定向能量沉积区域图像内第k个最小矩形框内图像不是溅射区域,labela,k=1表示第a幅激光定向能量沉积区域图像内第k个最小矩形框内图像是溅射区域;
步骤1所述全卷积神经网络训练集为:
{origina(m,n),(loca,k,labela,k)}
a∈[1,A],m∈[1,M],n∈[1,N],k∈[1,Ka]
其中,origina为第a幅激光定向能量沉积区域图像,origina(m,n)为第a幅激光定向能量沉积区域图像上第m行第n列的像素,loca,k表示第a幅激光定向能量沉积区域图像中第k个最小矩形框内图像的坐标,labela,k为第a幅激光定向能量沉积区域图像内第k个最小矩形框内图像的标签,A为激光定向能量沉积区域图像数据集中图像的总数量,M为图像行的数量,N为图像列的数量,Ka表示第a幅激光定向能量沉积区域图像中建立的最小矩形框的总数。
2.根据权利要求1所述的全卷积神经网络的激光定向能量沉积溅射计数方法,其特征在于:
步骤2中所述的全卷积神经网络由输入层、多层卷积层、池化层、反卷积层、输出层依次级联构成;
所述输入层,将全卷积神经网络训练集中的第a幅激光定向能量沉积区域图像的第k个最小矩形框内图像通过尺寸统一化、均值零化、方差归一化方法得到预处理后图像imga,k,0,将预处理后图像输出至所述多层卷积层;
所述多层卷积层由第一卷积层、第二卷积层级联构成;
所述第一卷积层对imga,k,0内3×3区域内的像素进行卷积核为3×3,步长取1的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个输入层图像得到的所有输出值构成第一特征图feata,k,1(Ma,k,1×Ma,k,1×3).
所述第二卷积层对第一特征图feata,k,1进行卷积核为3×3,步长取1的卷积运算,当前卷积运算的结果作为一个输出像素存在,3×3卷积核遍历整个特征图1图像得到的所有输出值构成第二特征图feata,k,2(Ma,k,2×Ma,k,2×3).
所述池化层对输入图像第二特征图feata,k,2的3×3区域内的像素进行卷积核为3×3,步长取3的最大池化运算,以降低图像维度,3×3池化核遍历整个输入图像得到的所有输出值构成第三特征图feata,k,3(Ma,k,3×Ma,k,3×3).
所述反卷积层接受输入的第三特征图featak,3和第一特征图feata,k,1的叠加运算,对输入图像3×3区域内的像素进行卷积核为3×3,步长取1的上采样,扩大图像维度,还原输入的特征对应的图像,3×3反卷积核遍历整个输入特征图得到的所有输出值构成复原图imga,k,1(Ma,k,4×Ma,k,4×3);
所述输出层,接受输入的第三特征图feata,k,3中的N个特征,构建一个列向量采用激活函数对各元进行运算后输出列向量/>其中各值即为神经网络预测的各特征的判定值Pτ
步骤2中所述的输出层中所述激活函数为sigmoid函数,具体定义如下:
其中,τ为列向量中的第τ个元素,Pτ为列向量中第τ个元素的判定值,即此区域是溅射的概率,即步骤2中所述神经网络的预测样本的分属类别的概率预测值;
步骤2中所述的全卷积神经网络模型中定义了交叉熵损失函数,具体为:
其中,labela,k为第a幅激光定向能量沉积区域图像的第k个最小矩形框内图像的标签,Pa,k为由sigmoid函数计算出的第a幅激光定向能量沉积区域图像的第k个最小矩形框内图像的预测概率值,C为全卷积神经网络训练集中样本的总数量。
3.根据权利要求1所述的全卷积神经网络的激光定向能量沉积溅射计数方法,其特征在于:
步骤3中所述的形态学处理为:
对待检测激光定向能量沉积图像进行开运算,即先腐蚀后膨胀,以消除图像中的噪点;
进一步对开运算之后的待检测激光定向能量沉积图像进行闭运算,即先膨胀后腐蚀,以消除图像中的黑洞,得到形态学处理后待检测激光定向能量沉积图像。
CN202110307531.5A 2021-03-23 2021-03-23 一种全卷积神经网络的激光定向能量沉积溅射计数方法 Active CN112967267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110307531.5A CN112967267B (zh) 2021-03-23 2021-03-23 一种全卷积神经网络的激光定向能量沉积溅射计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110307531.5A CN112967267B (zh) 2021-03-23 2021-03-23 一种全卷积神经网络的激光定向能量沉积溅射计数方法

Publications (2)

Publication Number Publication Date
CN112967267A CN112967267A (zh) 2021-06-15
CN112967267B true CN112967267B (zh) 2024-01-23

Family

ID=76278077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110307531.5A Active CN112967267B (zh) 2021-03-23 2021-03-23 一种全卷积神经网络的激光定向能量沉积溅射计数方法

Country Status (1)

Country Link
CN (1) CN112967267B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116493735B (zh) * 2023-06-29 2023-09-12 武汉纺织大学 一种万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018134701A1 (en) * 2017-01-20 2018-07-26 Semiconductor Energy Laboratory Co., Ltd. Display system and electronic device
CN110400296A (zh) * 2019-07-19 2019-11-01 重庆邮电大学 连铸坯表面缺陷双目扫描与深度学习融合识别方法及系统
CN110874593A (zh) * 2019-11-06 2020-03-10 西安电子科技大学 基于掩膜的遥感图像旋转目标检测方法
CN111390168A (zh) * 2020-03-16 2020-07-10 大连理工大学 激光熔化沉积粉末流离焦量在线监测与负反馈状态识别方法
CN111626357A (zh) * 2020-05-27 2020-09-04 北京微智信业科技有限公司 一种基于神经网络模型的图像识别方法
CN111652149A (zh) * 2020-06-04 2020-09-11 青岛理工大学 基于深度卷积神经网络的沉底油声呐探测图像识别方法
CN111815555A (zh) * 2020-05-22 2020-10-23 武汉大学深圳研究院 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置
CN111855803A (zh) * 2020-07-28 2020-10-30 武汉大学 一种金属增材制造微型缺陷的激光超声高信噪比成像方法
WO2020243545A1 (en) * 2019-05-29 2020-12-03 Leica Biosystems Imaging, Inc. Computer supported review of tumors in histology images and post operative tumor margin assessment
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10201700339YA (en) * 2016-02-29 2017-09-28 Rolls Royce Corp Directed energy deposition for processing gas turbine engine components
FR3053126B1 (fr) * 2016-06-27 2019-07-26 Saint-Gobain Glass France Procede et dispositif de localisation de l'origine d'un defaut affectant un empilement de couches minces deposees sur un substrat
US10395372B2 (en) * 2016-06-28 2019-08-27 University Of Cincinnati Systems, media, and methods for pre-processing and post-processing in additive manufacturing
US10607119B2 (en) * 2017-09-06 2020-03-31 Kla-Tencor Corp. Unified neural network for defect detection and classification
EP3625765B1 (en) * 2017-12-29 2024-03-20 Leica Biosystems Imaging, Inc. Processing of histology images with a convolutional neural network to identify tumors
US10857738B2 (en) * 2018-03-19 2020-12-08 Tytus3D System Inc. Systems and methods for real-time defect detection, and automatic correction in additive manufacturing environment
US10599951B2 (en) * 2018-03-28 2020-03-24 Kla-Tencor Corp. Training a neural network for defect detection in low resolution images

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018134701A1 (en) * 2017-01-20 2018-07-26 Semiconductor Energy Laboratory Co., Ltd. Display system and electronic device
WO2020243545A1 (en) * 2019-05-29 2020-12-03 Leica Biosystems Imaging, Inc. Computer supported review of tumors in histology images and post operative tumor margin assessment
CN110400296A (zh) * 2019-07-19 2019-11-01 重庆邮电大学 连铸坯表面缺陷双目扫描与深度学习融合识别方法及系统
CN110874593A (zh) * 2019-11-06 2020-03-10 西安电子科技大学 基于掩膜的遥感图像旋转目标检测方法
CN111390168A (zh) * 2020-03-16 2020-07-10 大连理工大学 激光熔化沉积粉末流离焦量在线监测与负反馈状态识别方法
CN111815555A (zh) * 2020-05-22 2020-10-23 武汉大学深圳研究院 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置
CN111626357A (zh) * 2020-05-27 2020-09-04 北京微智信业科技有限公司 一种基于神经网络模型的图像识别方法
CN111652149A (zh) * 2020-06-04 2020-09-11 青岛理工大学 基于深度卷积神经网络的沉底油声呐探测图像识别方法
CN111855803A (zh) * 2020-07-28 2020-10-30 武汉大学 一种金属增材制造微型缺陷的激光超声高信噪比成像方法
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Database-Assisted 3D Reconstruction and Printing of a Mechanical Key From a Single Photograph";YIKAI ZHANG , HUI LI;《 IEEE Access》;全文 *
"Image Recognition Technology Based on Neural Network";Jianqiu Chen;《 IEEE Access ( Volume: 8)》;全文 *
基于X射线图像和卷积神经网络的石油钢管焊缝缺陷检测与识别;刘涵;郭润元;;仪器仪表学报(第04期);全文 *
基于磁光成像的低碳钢WAAM成形件表面缺陷检测与分类;何翔;李亮玉;王天琪;钟蒲;;仪器仪表学报(第04期);全文 *
秦昆 ; 李振宇 ; 李辉 ; 李德毅."基于云模型和格网划分的图像分割方法".《测绘通报》.2008,全文. *

Also Published As

Publication number Publication date
CN112967267A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN108460764B (zh) 基于自动上下文和数据增强的超声图像智能分割方法
CN110569901B (zh) 一种基于通道选择的对抗消除弱监督目标检测方法
CN111507998B (zh) 基于深度级联的多尺度激励机制隧道表面缺陷分割方法
CN113378792B (zh) 融合全局和局部信息的弱监督宫颈细胞图像分析方法
CN113469951B (zh) 一种基于级联区域卷积神经网络的轮毂缺陷检测方法
CN111400040B (zh) 基于深度学习和边缘计算的工业互联网系统及工作方法
CN113870235A (zh) 基于量子烟花圆弧边缘提取的圆形冲压件缺陷检测方法
CN108734109B (zh) 一种面向图像序列的视觉目标跟踪方法及系统
CN111652853A (zh) 一种基于深度卷积神经网络的磁粉探伤检测方法
CN111798447B (zh) 一种基于Faster RCNN的深度学习塑化材料缺陷检测方法
CN108537825B (zh) 一种基于迁移学习回归网络的目标跟踪方法
CN113538331A (zh) 金属表面损伤目标检测识别方法、装置、设备及存储介质
CN111832432A (zh) 一种基于小波包分解和深度学习的刀具磨损实时预测方法
CN118134062B (zh) 数控机床铸件质量追踪系统
CN113393426A (zh) 一种轧钢板表面缺陷检测方法
CN112967267B (zh) 一种全卷积神经网络的激光定向能量沉积溅射计数方法
Zeng et al. Steel sheet defect detection based on deep learning method
CN118097310B (zh) 一种数字化检测混凝土表面缺陷的方法
Reghukumar et al. Vision based segmentation and classification of cracks using deep neural networks
CN116740044A (zh) 基于视觉检测与控制的铜管铣面加工方法及系统
García-Moreno A fast method for monitoring molten pool in infrared image streams using gravitational superpixels.
CN112967266B (zh) 一种全卷积神经网络的激光定向能量沉积面积计算方法
US12079976B2 (en) Methods and systems for reducing dimensionality in a reduction and prediction framework
CN115457323A (zh) 基于视觉检测系统的手机玻璃屏非均衡表面缺陷分类方法
CN115330705A (zh) 一种基于自适应加权模板ncc的蒙皮漆面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220124

Address after: 414024 floors 2, 3 and 4, R & D building, Yueyang modern equipment manufacturing industrial park, muligang Avenue, Yueyang Economic and Technological Development Zone, Yueyang City, Hunan Province

Applicant after: Yueyang Luojia Intelligent Technology Co.,Ltd.

Address before: 430072 Hubei Province, Wuhan city Wuchang District of Wuhan University Luojiashan

Applicant before: WUHAN University

TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: 414022 floors 2, 3 and 4, R & D building, Yueyang modern equipment manufacturing industrial park, muligang Avenue, Yueyang Economic and Technological Development Zone, Hunan Province

Applicant after: Hunan Luojia Intelligent Technology Co.,Ltd.

Address before: 414024 floors 2, 3 and 4, R & D building, Yueyang modern equipment manufacturing industrial park, muligang Avenue, Yueyang Economic and Technological Development Zone, Yueyang City, Hunan Province

Applicant before: Yueyang Luojia Intelligent Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant