CN112557445B - 一种基于增材制造的缺陷在线检测方法、装置和系统 - Google Patents

一种基于增材制造的缺陷在线检测方法、装置和系统 Download PDF

Info

Publication number
CN112557445B
CN112557445B CN202011284109.4A CN202011284109A CN112557445B CN 112557445 B CN112557445 B CN 112557445B CN 202011284109 A CN202011284109 A CN 202011284109A CN 112557445 B CN112557445 B CN 112557445B
Authority
CN
China
Prior art keywords
temperature
fused layer
layer
fused
temperature field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011284109.4A
Other languages
English (en)
Other versions
CN112557445A (zh
Inventor
张海鸥
陈曦
戴福生
胡建南
王桂兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202011284109.4A priority Critical patent/CN112557445B/zh
Publication of CN112557445A publication Critical patent/CN112557445A/zh
Application granted granted Critical
Publication of CN112557445B publication Critical patent/CN112557445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00—Investigating or analyzing materials by the use of thermal means
    • G01N25/72—Investigating presence of flaws
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种增材制造缺陷在线检测方法、装置和系统，属于增材制造技术领域，本发明通过采集制造过程中熔积层温度场信息对熔积层质量进行判断和分类。所述方法包括：当熔积层的宽度特征异常时，利用轮廓缺陷分类模型进行特征识别得到第一检测结果，第一检测结果可以为驼峰、流淌或偏移；当熔积层的宽度特征正常时，提取熔积层熔积方向温度特征，进一步进行内部缺陷的判断，当熔积方向温度特征异常时，提取熔积层垂直于熔积方向温度特征，对垂直于熔积方向温度特征进行特征识别得到第二检测结果，第二检测结果可以为气孔、夹渣。当所述熔积方向温度特征正常时，输出第三检测结果正常。本申请能够准确对金属增材制品进行在线缺陷检测。

Description

一种基于增材制造的缺陷在线检测方法、装置和系统
技术领域
本发明属于增材制造技术领域，更具体地，涉及一种增材制造缺陷在线检测方法、装置和系统。
背景技术
在航空航天、核电、海洋等行业中，传统的铸造、锻造、切割、磨削等制造方式无法满足大型复杂零件高效低成本一体化的研制要求。主要体现在零件形状结构复杂、加工工具可达性差、生产周期长、生产成本高等方面。金属增材制造技术为大尺寸复杂零件的一体化制造提供了可能途径，被认为是解决这些问题的有效方法。
金属增材制造技术的本质是利用热源将金属原理加热融化，并逐层堆积形成三维实体零件。加工过程不可避免的产生气孔、裂纹、夹渣、咬边、未熔合、变形等缺陷，这些缺陷的存在使增材制造工件的承载能力和强度降低，甚至失效。传统增材制造加工完毕后的整体检测存在破坏性强，价格昂贵，效率低等问题。当检测出内部缺陷时，零件已经是无法修复的废品，带来巨大的不可扭转的损失。
由于增材制造逐层累加的特性，当前熔覆层质量将影响下一层甚至整个零件的质量，因此在线检测是金属增材制造的无损检测的发展趋势。同时单一传感器无法全面有效地获取熔覆过程状态，而多传感器数据融合系统又具有信息冗余，检测效率低等问题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种增材制造缺陷在线检测方法、装置和系统，其目的在于，解决单一传感器信息量匮乏、多传感器信息冗余效率低问题的同时，保证了金属增材制品成形质量和尺寸精度。
为实现上述目的，按照本发明的一个方面，提供了一种增材制造缺陷在线检测方法，包括：
S1：实时采集增材制造过程中熔积层温度场信息；
S2：开发温度场堆叠算法，从所述熔积层温度场信息中提取熔积层轮廓特征，基于熔积层轮廓图，采用像素扫描的方法提取熔积层宽度特征，利用熔积层宽度特征判断所述熔积层的轮廓是否异常；
S3：当所述熔积层的轮廓异常时，将熔积层轮廓图输入预先训练好的轮廓缺陷分类模型以使所述轮廓缺陷分类模型输出第一检测结果，所述第一检测结果标识所述熔积层的轮廓缺陷分类；
S4：当所述熔积层的轮廓正常时，从所述熔积层温度场信息中提取熔积方向温度特征并判断所述熔积层是否存在内部缺陷，当所述熔积方向温度特征异常时，从所述熔积层温度场信息中提取垂直于熔积方向温度特征，对所述垂直于熔积方向温度特征进行特征识别得到第二检测结果，所述第二检测结果标识所述熔积层的内部缺陷分类；当所述熔积方向温度特征标识不存在异常时，输出第三检测结果，所述第三检测结果标识增材制造质量正常。
在其中一个实施例中，所述步骤S2之前，所述方法包括：
在不同增材制造工艺条件下进行预实验生成具有不同缺陷的样本，实时采集增材制造过程中各个所述样本对应的温度场信息；
基于各个样本对应的温度场信息建立熔积层温度场数据库，采用温度场堆叠算法从所述熔积层温度数据库中提取具有不同缺陷特征的熔积层轮廓，以建立熔积层轮廓数据库；
利用人工神经网络和深度学习算法对所述熔积层轮廓数据库中的样本进行分类训练和测试，直至损失函数收敛得到所述轮廓缺陷分类模型。
在其中一个实施例中，所述步骤S2包括：
S201：利用温度场堆叠算法从所述熔积层温度场信息中提取熔积层轮廓特征；
S202：基于像素扫描原理从所述熔积层轮廓特征中提取熔积层宽度变化曲线，并将所述熔积层宽度变化曲线与预设宽度变化曲线对比，判断所述熔积层轮廓特征标识的轮廓是否异常。
在其中一个实施例中，所述步骤S201包括：
S2011：在增材制造过程中，采用分辨率为x*y的红外热像仪采集熔积过程温度场，每帧温度数据可表示为温度矩阵：
Figure BDA0002781774930000031
其中，T1为采集的第1帧温度场数据、T2为采集的第2帧温度数据Tn为采集的第n帧温度数据；
Figure BDA0002781774930000033
为第1帧温度场数据中第x行，y列的像素点的温度值；
Figure BDA0002781774930000034
为第2帧温度场数据中第x行，y列的像素点的温度值；
Figure BDA0002781774930000035
为第n帧温度场数据中第x行，y列的像素点的温度值；
S2012：相邻帧温度矩阵依稀迭代得到熔积过程中包含每个像素点的最大温度的最大温度矩阵Tmax，
Figure BDA0002781774930000032
S2013：设置温度阈值TD，将所述最大温度矩阵Tmax中各个像素点温度值与所述TD进行比较，将小于所述TD的温度值设为0，大于或等于所述TD的温度值设为1得到目标温度矩阵T，以绘制得到所述熔积层轮廓图。
在其中一个实施例中，所述步骤S202包括：
S2021：基于所述目标温度矩阵T垂直于所述熔积层方向逐行扫描，从左至右搜索当前行第一个像素值为1的点Tx1，y和最后一个像素值为1的点Tx2，y，得到当前行像素宽度x2-x1；
S2022：从熔积层头部向熔积层尾部依次扫描，得到所述熔积层宽度变化曲线。
在其中一个实施例中，所述步骤S4中从所述熔积层温度场信息中提取熔积方向温度特征，包括：
从所述熔积层温度场信息中提取所述熔积方向的温度变化曲线，对所述熔积方向的温度变化曲线进行滤波和一阶求导处理，得到所述熔积方向温度特征；
所述步骤S4中从所述熔积层温度场信息中提取垂直于熔积方向温度特征，包括：
从所述熔积层温度场信息中提取垂直于熔积方向的温度变化曲线，对垂直于熔积方向的温度变化曲线进行特征识别，得到垂直于熔积方向温度特征。
按照本发明的另一方面，提供了一种增材制造缺陷在线检测装置，包括：
采集模块，用于实时采集增材制造过程中熔积层温度场信息；
提取模块，利用温度场堆叠算法从所述熔积层温度场信息中提取熔积层轮廓特征，基于熔积层轮廓图，采用像素扫描的方法提取熔积层宽度特征，利用熔积层宽度特征判断所述熔积层的轮廓是否异常；
第一检测模块，用于当所述熔积层的轮廓异常时，将当前熔积层的轮廓图输入预先训练好的轮廓缺陷分类模型，以使所述轮廓缺陷分类模型输出第一检测结果，所述第一检测结果标识所述熔积层的轮廓缺陷分类；
第二检测模块，用于当所述熔积层的轮廓正常时，从所述熔积层温度场信息中提取熔积方向温度特征并判断所述熔积层是否存在内部缺陷，当所述熔积方向温度特征异常时，从所述熔积层温度场信息中提取垂直于熔积方向温度特征，对所述垂直于熔积方向温度特征进行特征识别得到第二检测结果，所述第二检测结果标识所述熔积层的内部缺陷分类。
一种增材制造缺陷在线检测系统，包括热像仪、存储器和处理器，所述热像仪用来实时采集增材制造过程熔积层温度场，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时所述的方法的步骤。
总体而言，通过本发明所构思的以上技术方案与现有技术相比能够取得有益效果：
1.本发明通过采集制造过程中熔积层温度场信息对熔积层质量进行判断和分类。所述方法包括：当熔积层的宽度特征异常时，利用轮廓缺陷分类模型进行特征识别得到第一检测结果，第一检测结果可以为驼峰、流淌或偏移；当熔积层的宽度特征正常时，提取熔积层熔积方向温度特征，对熔积层轮廓正常的样本进行内部缺陷的判断，当熔积方向温度特征异常时，提取熔积层垂直于熔积方向温度特征，对垂直于熔积方向温度特征进行特征识别得到第二检测结果，第二检测结果可以为气孔、夹渣。本申请能够准确对金属增材制品进行在线缺陷检测。本申请解决单一传感器信息量匮乏、多传感器信息冗余效率低问题的同时，能够准确对金属增材制品进行缺陷检测，保证了金属增材制品成形质量和尺寸精度。
2.利用红外热像仪实时记录增材制造过程熔积层温度场信息，开发温度场堆叠算法对熔积过程中温度场的堆叠处理得到熔积层轮廓特征；根据熔积层轮廓特征采用像素扫描的方法得到熔积层宽度特征；通过对熔积方向温度变化曲线进行滤波，一阶求导处理得到熔积方向温度特征；通过对垂直于熔积方向的温度变化曲线进行特征识别处理，得到垂直于熔积方向的温度特征。基于这些特征多特征数据融合的判断方法，结合基于神经网络、深度学习的分类模型，实现了熔积层正常，驼峰，流淌，偏移，气孔，夹渣缺陷的识别和分类。
附图说明
图1为一个实施例中增材制造缺陷在线检测方法的流程图；
图2为一个实施例中具有不同轮廓缺陷的熔积层轮廓图；
图3为一个实施例中具有不同轮廓缺陷的熔积层像素宽度曲线图；
图4为一个实施例中正常熔积层和具有内部缺陷的熔积层熔积方向温度变化曲线一阶导数曲线图；
图5为一个实施例中熔积层内部气孔缺陷特征识别的示意图；
图6为一个实施例中熔积层夹渣缺陷特征识别的示意图；
图7为又一个实施例中增材制造缺陷在线检测方法的流程图；
图8为一个实施例中增材制造缺陷在线检测装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本申请提供一种缺陷在线检测方法，包括：步骤S1至步骤S5。
S1：实时采集增材制造过程中熔积层温度场信息。
具体的，利用红外热像仪实时采集增材制造过程中熔积层温度场信息，采集过程中保证采集范围覆盖熔积区域，并保持红外热像仪与基板的相对位置不发生变化。
S2：利用温度场堆叠算法从熔积层温度场信息中提取熔积层轮廓特征，采用像素扫描的方法提取熔积层宽度特征，利用熔积层宽度特征判断所述熔积层是否正常轮廓特征标识的轮廓是否异常。
具体的，判断方法是指：采用温度堆叠算法提取熔积层轮廓。基于熔积层轮廓，采用像素扫描方法提取熔积层宽度曲线。将当前熔积层宽度变化曲线与正常质量熔积层宽度变化曲线进行对比，如果熔积层宽度曲线平滑且无明显波动则视为无轮廓缺陷的熔积层，反之视为有轮廓缺陷的熔积层。
在其中一个实施例中，步骤S2包括：S201：利用温度场堆叠算法从熔积层温度场信息中提取熔积层轮廓特征。S202：基于像素扫描原理从熔积层轮廓特征中提取熔积层宽度变化曲线，并将熔积层宽度变化曲线与预设宽度变化曲线对比，判断熔积层轮廓特征标识的轮廓是否异常。
具体的，温度场堆叠算法的原理是将红外热像仪每个像素点采集的熔积过程的温度进行迭代比较，选取每个像素点的温度最大值形成最大温度矩阵Tmax，根据当前工艺条件设定温度阈值，根据最大温度矩阵Tmax与温度阈值的大小关系提取绘制熔积层轮廓。
在其中一个实施例中，步骤S201包括：S2011：在增材制造过程中，采用分辨率为x*y的红外热像仪采集熔积过程温度场，每帧温度数据可表示为下列温度矩阵：
Figure BDA0002781774930000071
其中，T1为采集的第1帧温度场数据，T2为采集的第2帧温度数据，以此类推Tn为采集的第n帧温度数据。
Figure BDA0002781774930000072
为第1帧温度场数据中第1行，1列的像素点的温度值，
Figure BDA0002781774930000073
为第1帧温度场数据中第x行，y列的像素点的温度值，
Figure BDA0002781774930000074
为第2帧温度场数据中第1行，1列的像素点的温度值，
Figure BDA0002781774930000075
为第2帧温度场数据中第x行，y列的像素点的温度值，以此类推
Figure BDA0002781774930000076
为第n帧温度场数据中第1行，1列的像素点的温度值，
Figure BDA0002781774930000077
为第n帧温度场数据中第x行，y列的像素点的温度值。
S2012：相邻帧温度矩阵依次迭代得到熔积过程中包含每个像素点最高温度的最大温度矩阵，
Figure BDA0002781774930000081
具体的，将当第1帧所有像素点的温度数据与第2帧像素点的温度数据进行比较，采用较大的值替换第二帧的数据，将新的第2帧温度数据与第3帧温度数据进行比较，用较大的值替换第3帧的数据，如此迭代循环直至最后一帧，最终得到熔积过程中每一个像素点的最大温度值，可以表示为Tmax。
S2013：设置温度阈值TD，将最大温度矩阵Tmax中各个像素点温度值与TD进行比较，将小于TD的温度值设为0，大于或等于TD的温度值设为1得到目标温度矩阵T，以绘制得到熔积层轮廓图。
具体的，针对当前金属增材制造的制造策略、工艺参数、材料，进行预实验，设置合适的温度阈值TD，将最大温度矩阵Tmax中每一像素点温度值与阈值TD进行比较，将小于TD的值设为0，大于或等于TD的值设为1，得到新的目标温度矩阵T，将所有值为0的点绘制为黑色，所有为值为1的点绘制为白色，最终得到熔积层轮廓图。
在其中一个实施例中，步骤S202包括：S2021：基于目标温度矩阵T垂直于熔积层方向逐行扫描，从左至右搜索当前行第一个像素值为1的点Tx1，y和最后一个像素值为1的点Tx2，y，得到当前行像素宽度x2-x1；S2022：从熔积层头部向熔积层尾部依次扫描，得到熔积层宽度变化曲线。
具体的，基于目标温度矩阵T，垂直于熔积层方向逐行扫描，从左至右搜索当前行第一个像素值为1的点Tx1，y和最后一个像素值为1的点Tx2，y，得到当前行像素宽度x2-x1，从熔积层头部向熔积层尾部依次扫描，最终得到熔积层宽度变化曲线。
在其中一个实施例中，步骤S2之前，方法包括：在不同增材制造工艺条件下进行预实验生成具有不同缺陷的样本，实时采集增材制造过程中各个样本对应的温度场信息。基于各个样本对应的温度场信息建立熔积层温度场数据库，采用温度场堆叠算法从熔积层温度数据库中提取具有不同缺陷特征的熔积层轮廓，以建立熔积层轮廓数据库。利用人工神经网络和深度学习算法对熔积层轮廓数据库中的样本进行分类训练和测试，直至损失函数收敛得到轮廓缺陷分类模型。
其中，熔积层温度场数据库是指利用不同增材制造工艺条件，生产具有不同熔积层轮廓缺陷的样本，将样本的温度场数据收集建立数据库。熔积层轮廓数据库是指熔积层轮廓与正常熔积层轮廓相比具有明显差异的轮廓图库，包括但不限于驼峰缺陷、流淌缺陷和偏移缺陷。
S3：当熔积层的轮廓异常时，将熔积层轮廓图输入预先训练好的轮廓缺陷分类模型，以使轮廓缺陷分类模型输出第一检测结果，第一检测结果标识所述熔积层的轮廓缺陷分类。
具体的，利用熔积层宽度特征来判断熔积层轮廓正常还是异常。实时提取增材制造过程熔积层温度场信息，采用温度堆叠算法提取熔积层轮廓。基于熔积层轮廓，采用像素扫描方法提取熔积层宽度曲线。将当前熔积层宽度变化曲线与正常质量熔积层宽度变化曲线进行对比，如果熔积层宽度曲线平滑且无明显波动则视为无轮廓缺陷的熔积层，反之视为有轮廓缺陷的熔积层。当熔积层宽度特征标识熔积层轮廓异常时，将异常轮廓图输入训练好的轮廓缺陷分类模型，轮廓缺陷分类模型对异常轮廓图进行识别并分类，判断该异常属于驼峰缺陷、流淌缺陷或偏移缺陷等。
S4：当熔积层轮廓特征标识轮廓没有异常时，从熔积层温度场信息中提取熔积方向温度特征，当熔积方向温度特征标识存在异常时，从熔积层温度场信息中提取垂直于熔积方向温度特征，对垂直于熔积方向温度特征进行特征识别得到第二检测结果。当所述熔积方向温度特征标识不存在异常时，输出第三检测结果，所述第三检测结果标识增材制造质量正常。
具体的，对于无轮廓缺陷的熔积层，进一步的判断是否具有气孔和夹渣等内部缺陷。对于该熔积层熔积完成后的温度场数据，提取熔积方向和垂直于熔积方向的温度变化曲线。如果熔积方向温度数据的一阶导数变化曲线多次穿过X轴，即导数为0的点不止1个，则该熔积层被视为含有气孔，夹渣等内部缺陷的熔积层。含有气孔，夹渣等内部缺陷的熔积层，需要进一步判断缺陷的种类，提取垂直于熔积方向的温度变化曲线进行特征提取，如果曲线具有向上的尖峰，则表示该熔积层具有内部气孔缺陷，如果曲线向下凹陷，则表示该熔积层具有夹渣等缺陷。
举例来说，本发明提供的基于温度场信息的多特征数据融合电弧熔积增材制造过程在线检测方法包括以下步骤：该实施例是基于LORCH焊机，Yaskawa焊接机器人平台开展电弧增材制造在线检测过程，基板和焊丝材料均为碳钢。将红外热像仪装夹在金属增材制造基板上方，并保持熔积过程中红外热像仪与基板的相对位置不发生变化。利用红外热像仪实时采集熔积过程温度场信息，红外热像仪基本参数如下表所示：
型号 分辨率 像元尺寸 测温范围 采样帧率
MAG64 640*380 17μm -20℃-1600℃ 50HZ
表1.红外热像仪基础参数
本发明通过大量不同工艺条件下的预实验，生成具有不同缺陷的样本。在这些样本的基础上建立在线检测模型，实现正常熔积层和驼峰，流淌，偏移，内部气孔，夹渣缺陷的在线识别和分类。基本工艺参数如下表所示：
Figure BDA0002781774930000101
表2.基本工艺参数
具有不同种类缺陷的熔积层模拟制造过程如下：
(1)熔积层正常的红外监测实验
在熔积单层单道、单道多层、多道多层熔积层过程中，保持层间温度小于150℃，送丝速度、送丝机构、熔积轨迹稳定，基板及层间清渣干净，从而熔积出正常熔积层，并采用热像仪监测采集红外温度数据。
(2)偏移缺陷的红外监测实验
在熔积单层单道熔积层过程中，通过设置不同熔积轨迹使得熔积层中间位置偏移不同距离的方法，模拟制造出实际生产中的熔积层偏移缺陷，其中熔积速度为300mm/min，其他工艺参数如上。
(3)驼峰缺陷的红外监测实验
在熔积单道单层、单道多层熔积层过程中，在熔积的不同位置停留2s的方式，模拟制造实际生产中的熔积层驼峰缺陷。除了停留位置，熔积速度均保持300mm/min，其他工艺参数如上。
(4)流淌缺陷的红外监测实验
在熔积单道多层较高层时，降低熔积速度为250mm/min或在层间温度较高的情况下熔积下一层，从而模拟制造实际生产中的熔积层流淌缺陷。其他工艺参数如上。
(5)表面气孔的红外监测实验
在熔积单道单层、单道多层熔积层过程中，将保护气送气流量关闭或降低，从而模拟制造实际生产中的熔积层表面气孔缺陷。其他工艺参数如上。模拟制造气孔缺陷的过程中，常有夹渣缺陷的产生。
(6)夹渣缺陷的红外监测实验
在熔积单道单层、单道多层熔积层过程中，不清理基板的夹渣及层间的夹渣，并且降低保护气送气流量，从而模拟制造实际生产中的熔积层夹渣缺陷。其他工艺参数表2。模拟制造夹渣缺陷的过程中，常有气孔缺陷的产生。
(7)内部气孔的红外监测实验
在基板上表面预设直径4mm，深度6mm的明孔，熔积单道单层熔积层过程中，从而模拟制造实际生产中的熔积层内部气孔缺陷。基板厚8mm，孔深6mm，其他工艺参数如上。
采用温度场堆叠算法，提取熔积层温度数据库中具有不同缺陷特征的熔积层轮廓，建立如表3所示的熔积层轮廓数据库，将其分为不同种类的熔积层轮廓缺陷种类，包括如图2所示的驼峰、流淌、偏移缺陷。
类别 训练集个数 测试集个数
偏移轮廓 1040 331
驼峰轮廓 702 226
流淌轮廓 1163 343
表3.熔积层轮廓数据库
采用深度学习残差网络ResNet18进行轮廓图像分类，进而实现缺陷的识别诊断。训练残差网络ResNet18模型直到损失函数收敛。再基于训练好的模型，对轮廓图像测试集数据进行测试分析，残差网络ResNet18测试准确率，召回率如表4所示，该模型满足增材制造实际生产过程中熔积层缺陷在线识别准确性及实时性的需求。
轮廓类别 准确率(％) 召回率(％)
偏移 97.06 100.00
驼峰 91.06 94.71
流淌 97.80 92.71
表4熔积层红外轮廓类别识别准确率及召回率
基于温度场信息的多特征数据融合增材制造过程在线检测方法包括以下步骤：
步骤一，开发温度场堆叠算法利用温度场堆叠算法提取熔积过程中最大温度矩阵，通过预实验设置合理阈值，提取熔积层轮廓。在实时采集的红外图像中，熔积层的轮廓模糊不清，且随温度变化而变化。由于散热作用，沉积层的头尾温差较大，基板与沉积层之间的温度梯度较小，使得熔融层的轮廓提取困难或误差较大。该温度场堆叠算法解决了熔积层不均匀的问题。
具体方法如下：热像仪采集的每一帧温度数据可表示为下列矩阵：
Figure BDA0002781774930000131
其中，T1为采集的第1帧温度场数据，T2为采集的第2帧温度数据，以此类推Tn为采集的第n帧温度数据。
Figure BDA0002781774930000132
为第1帧温度场数据中第1行，1列的像素点的温度值，
Figure BDA0002781774930000133
为第2帧温度场数据中第1行，1列的像素点的温度值，以此类推
Figure BDA0002781774930000134
为第n帧温度场数据中第1行，1列的像素点的温度值。
将当第1帧所有像素点的温度数据与第2帧像素点的温度数据进行比较，采用较大的值替换第二帧的数据，将新的第2帧温度数据与第3帧温度数据进行比较，用较大的值替换第3帧的数据，如此循环直至最后一帧，最终得到熔积过程中每一个像素点的最大温度值，可以表示为Tmax：
Figure BDA0002781774930000135
针对当前金属增材制造的制造策略、工艺参数、材料，进行预实验，设置合适的温度阈值TD＝800℃，将最大温度矩阵Tmax中每一像素点温度值与阈值TD进行比较，将小于TD的值设为0，大于或等于TD的值设为1，得到新的最大温度矩阵T，将所有值为0的点绘制为黑色，所有为值为1的点绘制为白色。最终得到熔积层轮廓图。
步骤二，采用像素扫描的方法，利用熔积层轮廓图得到熔积层宽度变化曲线。
对于熔积层轮廓图，垂直于熔积层方向逐行扫描，从左至右搜索当前行第一个像素值为1的点Tx1，y和最后一个像素值为1的点Tx2，y，得到当前行像素宽度，从熔积层头部向熔积层尾部依次扫描，最终得到熔积层宽度变化曲线，不同轮廓缺陷的熔积层宽度变化曲线如图3所示，由于工艺限制，去除熔积层头部和尾部区域，对熔积层宽度变化曲线进行判断，如果平滑且无明显波动则视为无轮廓缺陷的熔积层进行步骤三、步骤四，反之视为有轮廓缺陷的熔积层，进行步骤五。
步骤三，对于无轮廓缺陷的熔积层，需要进一步的判断是否具有内部气孔和夹渣等缺陷。对于该熔积层熔积完成后的温度场数据，提取熔积方向和垂直于熔积方向的温度变化曲线。对熔积方向温度数据进行卡尔曼滤波处理，处理后的数据进行一阶求导，最终得到熔积方向温度数据的一阶导数变化曲线，发现如图4所示，正常熔积层的熔积方向温度数据的一阶导数变化曲线有且仅有一次穿过X轴，即导数为0的点只有一个。具有内部气孔缺陷的熔积层的熔积方向温度数据的一阶导数变化曲线3次穿过X轴，即导数为0的点有3个。
步骤四，含有气孔、夹渣等内部缺陷的熔积层，需要进一步判断缺陷的种类，提取垂直于熔积方向的温度变化曲线，如图5所示，曲线具有向上的尖峰，则表示该熔积层具有内部气孔缺陷，如图6所示，曲线向下凹陷，则表示该熔积层具有夹渣等缺陷。
步骤五，当所述熔积层轮廓异常时，将熔积层轮廓图输入预先训练好的轮廓缺陷分类模型，以使所述轮廓缺陷分类模型，输出分类结果，包括流淌、驼峰、偏移缺陷。如图7所示，最终利用基于增材制造过程温度场信息的，熔积层轮廓特征，熔积层宽度特征，熔积方向温度特征，垂直于熔积方向的温度特征，实现了熔积层正常质量、驼峰缺陷、流淌缺陷、偏移缺陷、气孔缺陷或夹渣缺陷的识别和分类。
按照本发明的另一方面，提供了一种缺陷在线检测装置，如图8所示，缺陷在线检测装置包括：采集模块、提取模块、第一检测模块和第二检测模块。其中，采集模块，用于实时采集增材制造过程中熔积层温度场信息。提取模块，用于从熔积层温度场信息中提取熔积层轮廓特征，并判断熔积层轮廓特征标识的轮廓是否异常。第一检测模块，用于当熔积层的轮廓异常时，将熔积层轮廓特征对应的异常轮廓图输入预先训练好的轮廓缺陷分类模型，以使轮廓缺陷分类模型输出第一检测结果。第二检测模块，用于当熔积层的轮廓异常时，从熔积层温度场信息中提取熔积方向温度特征，当熔积方向温度特征标识存在内部缺陷时，从熔积层温度场信息中提取垂直于熔积方向温度特征，对垂直于熔积方向温度特征进行特征识别得到第二检测结果。
上述缺陷在线检测装置中各个模块的划分仅用于举例说明，在其他实施例中，可将缺陷在线检测装置按照需要划分为不同的模块，以完成上述缺陷在线检测装置的全部或部分功能。
关于缺陷在线检测装置的具体限定可以参见上文中对于缺陷在线检测方法的限定，在此不再赘述。上述缺陷在线检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
按照本发明的另一方面，提供了一种缺陷在线检测系统，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的方法的步骤。
本申请实施例中提供的缺陷在线检测装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行缺陷在线检测方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种增材制造缺陷在线检测方法，其特征在于，包括：
S1：实时采集增材制造过程中熔积层温度场信息；
S2：开发温度场堆叠算法，从所述熔积层温度场信息中提取熔积层轮廓特征，基于熔积层轮廓图，采用像素扫描的方法提取熔积层宽度特征，利用熔积层宽度特征判断所述熔积层的轮廓是否异常；
S3：当所述熔积层的轮廓异常时，将熔积层轮廓图输入预先训练好的轮廓缺陷分类模型，以使所述轮廓缺陷分类模型输出第一检测结果，所述第一检测结果标识所述熔积层的轮廓缺陷分类；
S4：当所述熔积层的轮廓正常时，从所述熔积层温度场信息中提取熔积方向温度特征并判断所述熔积层是否存在内部缺陷，当所述熔积方向温度特征异常时，从所述熔积层温度场信息中提取垂直于熔积方向温度特征，对所述垂直于熔积方向温度特征进行特征识别得到第二检测结果，所述第二检测结果标识所述熔积层的内部缺陷分类；当所述熔积方向温度特征标识不存在异常时，输出第三检测结果，所述第三检测结果标识增材制造质量正常；
所述S2包括：S201：利用温度场堆叠算法从所述熔积层温度场信息中提取熔积层轮廓特征；S202：基于像素扫描原理从所述熔积层轮廓特征中提取熔积层宽度变化曲线，并将所述熔积层宽度变化曲线与预设宽度变化曲线对比，判断所述熔积层轮廓特征标识的轮廓是否异常；
所述S4中从所述熔积层温度场信息中提取熔积方向温度特征，包括：从所述熔积层温度场信息中提取所述熔积方向的温度变化曲线，对所述熔积方向的温度变化曲线进行滤波和一阶求导处理，得到所述熔积方向温度特征；所述S4中从所述熔积层温度场信息中提取垂直于熔积方向温度特征，包括：从所述熔积层温度场信息中提取垂直于熔积方向的温度变化曲线，对垂直于熔积方向的温度变化曲线进行特征识别，得到垂直于熔积方向温度特征；
对于无轮廓缺陷的熔积层，判断是否具有气孔和夹渣内部缺陷；对于该熔积层熔积完成后的温度场数据，提取熔积方向和垂直于熔积方向的温度变化曲线；如果熔积方向温度数据的一阶导数变化曲线多次穿过X轴，即导数为0的点不止1个，则该熔积层被视为含有气孔，夹渣内部缺陷的熔积层；含有气孔，夹渣内部缺陷的熔积层，需要进一步判断缺陷的种类，提取垂直于熔积方向的温度变化曲线进行特征提取，如果曲线具有向上的尖峰，则表示该熔积层具有内部气孔缺陷，如果曲线向下凹陷，则表示该熔积层具有夹渣缺陷。
2.如权利要求1所述的方法，其特征在于，所述步骤S2之前，所述方法包括：
在不同增材制造工艺条件下进行预实验生成具有不同缺陷的样本，实时采集增材制造过程中各个所述样本对应的温度场信息；
基于各个样本对应的温度场信息建立熔积层温度场数据库，采用温度场堆叠算法从所述熔积层温度数据库中提取具有不同缺陷特征的熔积层轮廓，以建立熔积层轮廓数据库；
利用人工神经网络和深度学习算法对所述熔积层轮廓数据库中的样本进行分类训练和测试，直至损失函数收敛得到所述轮廓缺陷分类模型。
3.如权利要求1所述的方法，其特征在于，所述步骤S201包括：
S2011：在增材制造过程中，采用分辨率为x*y的红外热像仪采集熔积过程温度场，每帧温度数据表示为温度矩阵：
Figure FDA0003509104970000021
其中，T1为采集的第1帧温度场数据、T2为采集的第2帧温度数据Tn为采集的第n帧温度数据；
Figure FDA0003509104970000033
为第1帧温度场数据中第x行，y列的像素点的温度值；
Figure FDA0003509104970000032
为第2帧温度场数据中第x行，y列的像素点的温度值；
Figure FDA0003509104970000034
为第n帧温度场数据中第x行，y列的像素点的温度值；
S2012：相邻帧温度矩阵依次迭代得到熔积过程中包含每个像素点最大温度对应的的最大温度矩阵Tmax，
Figure FDA0003509104970000031
S2013：设置温度阈值TD，将所述最大温度矩阵Tmax中各个像素点温度值与所述TD进行比较，将小于所述TD的温度值设为0，大于或等于所述TD的温度值设为1得到目标温度矩阵T，以绘制得到所述熔积层轮廓图。
4.如权利要求3所述的方法，其特征在于，所述步骤S202包括：
S2021：基于所述目标温度矩阵T垂直于所述熔积层方向逐行扫描，从左至右搜索当前行第一个像素值为1的点Tx1，y和最后一个像素值为1的点Tx2，y，得到当前行像素宽度x2-x1；
S2022：从熔积层头部向熔积层尾部依次扫描，得到所述熔积层宽度变化曲线。
5.一种增材制造缺陷在线检测装置，其特征在于，用于执行权利要求1所述的方法，包括：
采集模块，用于实时采集增材制造过程中熔积层温度场信息；
提取模块，利用温度场堆叠算法从所述熔积层温度场信息中提取熔积层轮廓特征，基于熔积层轮廓图，采用像素扫描的方法提取熔积层宽度特征，利用熔积层宽度特征判断所述熔积层的轮廓是否异常；
第一检测模块，用于当所述熔积层的轮廓异常时，将当前熔积层的轮廓图输入预先训练好的轮廓缺陷分类模型，以使所述轮廓缺陷分类模型输出第一检测结果，所述第一检测结果标识所述熔积层的轮廓缺陷分类；
第二检测模块，用于当所述熔积层的轮廓正常时，从所述熔积层温度场信息中提取熔积方向温度特征并判断所述熔积层是否存在内部缺陷，当所述熔积方向温度特征异常时，从所述熔积层温度场信息中提取垂直于熔积方向温度特征，对所述垂直于熔积方向温度特征进行特征识别得到第二检测结果，所述第二检测结果标识所述熔积层的内部缺陷分类。
6.一种增材制造缺陷在线检测系统，包括热像仪、存储器和处理器，所述热像仪用来实时采集增材制造过程熔积层温度场，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法的步骤。
CN202011284109.4A 2020-11-17 2020-11-17 一种基于增材制造的缺陷在线检测方法、装置和系统 Active CN112557445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011284109.4A CN112557445B (zh) 2020-11-17 2020-11-17 一种基于增材制造的缺陷在线检测方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011284109.4A CN112557445B (zh) 2020-11-17 2020-11-17 一种基于增材制造的缺陷在线检测方法、装置和系统

Publications (2)

Publication Number Publication Date
CN112557445A CN112557445A (zh) 2021-03-26
CN112557445B true CN112557445B (zh) 2022-04-12

Family

ID=75043000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011284109.4A Active CN112557445B (zh) 2020-11-17 2020-11-17 一种基于增材制造的缺陷在线检测方法、装置和系统

Country Status (1)

Country Link
CN (1) CN112557445B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022182325A (ja) * 2021-05-28 2022-12-08 株式会社東芝 モニタリングシステム及び付加製造システム
CN113537415A (zh) * 2021-09-17 2021-10-22 中国南方电网有限责任公司超高压输电公司广州局 基于多信息融合的换流站巡检方法、装置和计算机设备
CN115994490B (zh) * 2023-03-22 2023-06-02 北京大学 基于深度混合效应模型的金属增材制造过程实时监控方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105044154A (zh) * 2015-07-01 2015-11-11 西安理工大学 激光金属成形中材质缺陷红外热成像检测及靶向消除方法
CN106338521A (zh) * 2016-09-22 2017-01-18 华中科技大学 增材制造表面及内部缺陷与形貌复合检测方法及装置
CN107402217A (zh) * 2017-07-27 2017-11-28 哈尔滨工业大学（威海） 基于视觉传感的激光增材制造缺陷的在线诊断方法
CN108031844A (zh) * 2017-12-05 2018-05-15 华中科技大学 一种在线逐层检测的增减材复合制造方法
CN108608118A (zh) * 2018-05-03 2018-10-02 哈尔滨工业大学（威海） 基于熔池温度和尺寸测量的激光增材制造缺陷诊断方法
CN108931535A (zh) * 2018-09-11 2018-12-04 大连理工大学 一种激光增材制造气孔缺陷在线监测方法
CN109269439A (zh) * 2018-09-28 2019-01-25 东南大学 金属熔池内部轮廓在线测量设备及方法
CN109284524A (zh) * 2018-07-19 2019-01-29 西北工业大学 一种创建高精度增材制造有限元模型的方法
CN110472698A (zh) * 2019-08-22 2019-11-19 四川大学 基于深度和迁移学习的金属增材成形熔深实时预测方法
CN110702686A (zh) * 2019-09-27 2020-01-17 华中科技大学 基于相干成像的定向能量沉积过程无损检测设备及方法
CN111024736A (zh) * 2019-12-30 2020-04-17 苏州大学 一种激光增材制造的缺陷在线监测方法
CN111189543A (zh) * 2020-01-15 2020-05-22 大连理工大学 一种增材制造中红外热像仪发射率在线标定方法
CN111369508A (zh) * 2020-02-28 2020-07-03 燕山大学 一种金属三维点阵结构的缺陷检测方法及系统
CN111795977A (zh) * 2020-06-08 2020-10-20 武汉大学 金属增材制造多种监测设备在线实时监控系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7595093B2 (en) * 2004-03-10 2009-09-29 Asahi Kasei Corporation Condensed polycyclic aromatic compound thin film and method for preparing condensed polycyclic aromatic compound thin film
CN102221339B (zh) * 2011-06-09 2012-09-05 首都师范大学 脉冲红外热波技术测厚方法
CN103308521A (zh) * 2012-08-29 2013-09-18 中国人民解放军第二炮兵工程大学 一种增强红外热波检测图像缺陷对比度的方法
CN109937387B (zh) * 2012-11-08 2022-08-23 Ddm系统有限责任公司 金属部件的增材制造及维修
CN103076104B (zh) * 2012-11-15 2014-08-13 江苏省电力公司淮安供电公司 电力电缆温度在线监测数据的处理方法
US10786948B2 (en) * 2014-11-18 2020-09-29 Sigma Labs, Inc. Multi-sensor quality inference and control for additive manufacturing processes
US20170212979A1 (en) * 2015-10-23 2017-07-27 Jinquan Cheng Method for quickly full-scale analyzing and designing the processing parameters and deposit strategy on temperature field for 3D printing/Additive manufacturing
DE102018127678A1 (de) * 2017-11-07 2019-05-09 Sigma Labs, Inc. Verfahren und Systeme zum Qualitätsrückschluss und zur Qualitätskontrolle bei additiven Herstellungsverfahren
CN111504980B (zh) * 2020-04-26 2021-04-16 长春工业大学 一种金属增材制造过程的libs在线监测装置及方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105044154A (zh) * 2015-07-01 2015-11-11 西安理工大学 激光金属成形中材质缺陷红外热成像检测及靶向消除方法
CN106338521A (zh) * 2016-09-22 2017-01-18 华中科技大学 增材制造表面及内部缺陷与形貌复合检测方法及装置
CN107402217A (zh) * 2017-07-27 2017-11-28 哈尔滨工业大学（威海） 基于视觉传感的激光增材制造缺陷的在线诊断方法
CN108031844A (zh) * 2017-12-05 2018-05-15 华中科技大学 一种在线逐层检测的增减材复合制造方法
CN108608118A (zh) * 2018-05-03 2018-10-02 哈尔滨工业大学（威海） 基于熔池温度和尺寸测量的激光增材制造缺陷诊断方法
CN109284524A (zh) * 2018-07-19 2019-01-29 西北工业大学 一种创建高精度增材制造有限元模型的方法
CN108931535A (zh) * 2018-09-11 2018-12-04 大连理工大学 一种激光增材制造气孔缺陷在线监测方法
CN109269439A (zh) * 2018-09-28 2019-01-25 东南大学 金属熔池内部轮廓在线测量设备及方法
CN110472698A (zh) * 2019-08-22 2019-11-19 四川大学 基于深度和迁移学习的金属增材成形熔深实时预测方法
CN110702686A (zh) * 2019-09-27 2020-01-17 华中科技大学 基于相干成像的定向能量沉积过程无损检测设备及方法
CN111024736A (zh) * 2019-12-30 2020-04-17 苏州大学 一种激光增材制造的缺陷在线监测方法
CN111189543A (zh) * 2020-01-15 2020-05-22 大连理工大学 一种增材制造中红外热像仪发射率在线标定方法
CN111369508A (zh) * 2020-02-28 2020-07-03 燕山大学 一种金属三维点阵结构的缺陷检测方法及系统
CN111795977A (zh) * 2020-06-08 2020-10-20 武汉大学 金属增材制造多种监测设备在线实时监控系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于红外温度场的电弧增材制造缺陷在线检测方法;肖宇 等;《焊接》;20200731(第07期);摘要和正文第42-46页 *
基于线结构光的电弧增材制造熔积层三维测量;李友浩等;《工具技术》;20180420(第04期);全文 *
肖宇 等.基于红外温度场的电弧增材制造缺陷在线检测方法.《焊接》.2020,(第07期),第42-46页. *
金属激光熔化沉积过程双时间步长法多尺度物理耦合场的数值模拟;孔源等;《真空》;20200725(第04期);全文 *

Also Published As

Publication number Publication date
CN112557445A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN112557445B (zh) 一种基于增材制造的缺陷在线检测方法、装置和系统
CN114354639B (zh) 一种基于3d点云的焊缝缺陷实时检测方法及系统
CN111815555A (zh) 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置
Stavridis et al. A cognitive approach for quality assessment in laser welding
Angelone et al. Bio-intelligent selective laser melting system based on convolutional neural networks for in-process fault identification
CN116822342A (zh) 一种锆合金激光切割的工艺识别与性能预测方法
CN115546125A (zh) 一种基于点云信息的增材制造熔敷层的误差检测并对轨迹纠偏的方法
CN115035092A (zh) 基于图像的瓶体检测方法、装置、设备及存储介质
García-Pérez et al. CNN-based in situ tool wear detection: A study on model training and data augmentation in turning inserts
CN116070484A (zh) 一种基于深度学习的在线实时预测构件状态的方法
Hong et al. Filter-PCA-based process monitoring and defect identification during climbing helium arc welding process using DE-SVM
CN111975453B (zh) 一种数值仿真驱动的加工过程刀具状态监测方法
Ekambaram et al. Identification of defects in casting products by using a convolutional neural network
CN116618878A (zh) 一种焊前工艺参数确定方法、焊接质量在线预测方法、装置及存储介质
CN115775249A (zh) 一种增材制造造件成形质量监测方法、系统及存储介质
CN116664508A (zh) 一种焊缝表面质量检测方法及计算机可读存储介质
CN112967267B (zh) 一种全卷积神经网络的激光定向能量沉积溅射计数方法
Chen et al. Multimodal sensor fusion for real-time location-dependent defect detection in laser-directed energy deposition
US11656597B2 (en) Method and system for recognizing deburring trajectory
CN114943684B (zh) 一种利用对抗生成自编码神经网络的曲面异常检测方法
Hunger et al. Data acqusition challenges in AI-driven surface inspection: a proven solution proposal on coated sheet metal parts
Teubl et al. Development of an ML model for the classification of surface quality in a milling process
Malekar et al. Deep learning for defect identification in 3D printing with fused filament fabrication
US20220138929A1 (en) Inspection device and method for checking an object produced by sintering for defects
Liu et al. Welding Seam Recognition Technology of Welding Robot Based on A Novel Multi-Path Neural Network Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant