CN116740001A - 一种激光选区熔化缺陷在线监测方法 - Google Patents

一种激光选区熔化缺陷在线监测方法 Download PDF

Info

Publication number
CN116740001A
CN116740001A CN202310624369.9A CN202310624369A CN116740001A CN 116740001 A CN116740001 A CN 116740001A CN 202310624369 A CN202310624369 A CN 202310624369A CN 116740001 A CN116740001 A CN 116740001A
Authority
CN
China
Prior art keywords
feature map
convolution
layer
feature
multiplied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310624369.9A
Other languages
English (en)
Inventor
姜子萌
张英杰
张傲明
马晨光
邓祎凡
袁政辉
程浪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202310624369.9A priority Critical patent/CN116740001A/zh
Publication of CN116740001A publication Critical patent/CN116740001A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00—Technologies related to metal processing
    • Y02P10/25—Process efficiency

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种激光选区熔化缺陷在线监测方法，该方法包括下述步骤：采集零件铺粉、激光扫描后的图像，剪裁成单个零件图像；预处理后的单个零件图像经降采样得到第一特征图；构建零件缺陷参数向量，在一维格式线性扩展、排列为二维格式后经上采样得到第二特征图，融合第一特征图和第二特征图得到融合特征图；融合特征图经卷积层、批归一化层、LeakyReLU激活函数得到第三特征图；提取第三特征图特征得到第四特征图；采用全局平均池化将第四特征图转为第五特征图，第五特征图经过第一卷积、LeakyReLU激活函数、第二卷积、归一化指数函数得到缺陷对应类别。本发明提升缺陷检测的准确率，对不同激光选区熔化设备有很好的适应性。

Description

一种激光选区熔化缺陷在线监测方法
技术领域
本发明涉及图像识别技术领域，具体涉及一种激光选区熔化缺陷在线监测方法。
背景技术
激光选区熔化技术是增材制造技术中的重要技术之一，该技术利用铺粉车在基板上铺一层金属粉末，利用激光熔化零件对应的区域，随后基板在成形缸中下降一定高度，不断循环这一过程，直到零件制造完成，然而，由于工艺参数、设备环境、粉末质量等因素的影响，零件制造过程中会产生多种不同的缺陷，比如翘曲、球化、欠熔合、过熔合、飞溅、碎片、肿块、超高和裂纹等肉眼可见的宏观缺陷以及气孔、内部裂纹、夹杂等肉眼不可见的微观缺陷。缺陷的累积可能使得零件出现形状畸变，以及表面粗糙度、致密度的改变，从而影响零件的机械性能。
激光选区熔化过程中的分层制造模式使得研究人员可以便捷的在零件生产过程中收集大量数据，并进行在线质量监测。目前常用的监测工具有：计算机断层扫描、高速摄像机、红外摄像机、工业照相机、超声波、声信号、光电二极管等。在监测过程中，一般采用以上一种和几种监测工具的组合，因为高速摄像机、红外摄像机、超声波、声信号等只能检测零件的微观缺陷，而宏观缺陷是微观缺陷累积到一定程度在宏观尺度的显现，对于宏观缺陷的检测将能直接检测零件的缺陷以及尺寸精度，有着更为直观的意义。
目前，在使用工业相机的监测方法中，监测效果多受到设备光照环境的影响，因为金属表面存在反光现象，即使是使用相同的加工参数的零件，在不同光照条件下也可能会有不同的视觉效果。不同的光照也会影响缺陷在图像中的明显程度，从而影响检测效果。
Petrich等人研究了三种不同照明(前面、侧面和顶部照明)及三种照明图像融合对分类性能的影响，实验发现采用融合不同照明图像的分类效果远好于采用单一照明图像的分类效果，但使用不同光照图像融合的算法需要在不同光照下采集图像，会导致耗时增加，影响零件加工进程。
Gobert等人用5个传感器形成了8种照明条件并分别采集8张图像，将每层的8张图像用SVM集成分类器进行融合，并利用仿射变换将零件的CT扫描结果对应到分层图像中，利用CT数据标记的参考点从分层图像中提取特征。最后采用集成分类器进行训练，最终在交叉验证中准确率约为85％。但此方法依赖于CT数据与图像数据的对应，CT数据不能原位采集数据的特性使得这种方式不利于现场采样分析；
郎利辉等人使用高速相机进行旁轴监测，但只能监测熔池，确定扫描过程是否有缺陷，得不到零件整体形貌。
Li等人融合了数码相机、麦克风和光电二极管三种传感器测量的信息，没有将设备、零件结构、加工参数、加工过程等已知信息进行应用，导致信息利用不充分，并且使用多传感器融合的监测方法虽然能补充不同种类的信息，但同样带来监测成本提升的问题，在需要密封的激光选区熔化设备成形腔中安装多个不同传感器也增加了设备改造难度。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种激光选区熔化缺陷在线监测方法，本发明基于工业相机进行缺陷实时在线监测，在不改变设备光照环境的条件下，使用已知信息制作的缺陷参数向量为工业相机采集到的图像补充信息，从而提升粉床和零件上缺陷检测的准确率，提高零件质量与生产效率。
为了达到上述目的，本发明采用以下技术方案：
本发明提供一种激光选区熔化缺陷在线监测方法，包括下述步骤：
采集零件制造过程中铺粉后和激光扫描后的图像，并将整张图像剪裁，形成单个零件的图像；
将单个零件的图像进行图像预处理，将图像的尺寸进行统一，进行两次降采样操作得到第一特征图；
构建零件对应的缺陷参数向量，将零件对应的缺陷参数组合成一维缺陷参数向量，经过三次线性扩展和LeakyReLU激活函数，分别输出不同长度的一维向量，包括第一个一维向量、第二个一维向量和第三个一维向量，将第三个一维向量调整维度，排列为二维格式，进行两次上采样操作得到第二特征图；
将第一特征图和第二特征图进行特征融合，得到融合特征图；
将融合特征图经过卷积层、批归一化层、LeakyReLU激活函数，得到第三特征图；
采用多个特征提取块提取第三特征图的特征，得到第四特征图；
采用全局平均池化将第四特征图转化为第五特征图，第五特征图经过第一卷积、LeakyReLU激活函数、第二卷积、归一化指数函数得到缺陷对应的类别。
作为优选的技术方案，缺陷参数向量对应的缺陷参数包括工艺参数、零件位置参数、加工过程参数、零件结构参数。
作为优选的技术方案，工艺参数包括熔道间距、激光功率、扫描速度和层厚；
零件位置参数设置为包含整个零件的最小外接矩形框的左下角的x坐标与y坐标相对于可成形区域的位置；
加工过程参数包括填充策略、扫描模式、是否是实体与支撑的交叠区、是否是第一层零件实体、工艺参数是否突变、零件实体在当前层的实际厚度；
零件结构参数包括零件的最小角度、零件是否有复杂结构、零件是否有细长结构、零件是否有悬垂结构，所述复杂结构包括薄壁结构和点阵结构，所述细长结构表示为长宽值超过设定阈值的结构。
作为优选的技术方案，在构建零件对应的缺陷参数向量的步骤中，还包括零件的原始向量设置步骤，设置零件的原始向量，对原始向量进行归一化处理。
作为优选的技术方案，所述进行两次降采样操作得到第一特征图，具体步骤包括：
第一次降采样操作具体为：预处理后的单个零件的图像经过设有8个卷积核、卷积核大小3×3、步距为1、填充为1的卷积层，批归一化层，LeakyReLU激活函数，窗口大小为2×2、步距为2、填充为0的最大池化层，得到8×128×128大小的一组特征图；
第二次降采样操作具体为：第一次降采样得到的特征图经过有16个卷积核、卷积核大小3×3、步距为1、填充为1的卷积层，批归一化层，LeakyReLU激活函数，窗口大小为2×2、步距为2、填充为0的最大池化层，得到16×64×64大小的一组特征图作为第一特征图。
作为优选的技术方案，所述进行两次上采样操作得到第二特征图，具体步骤包括：
第一次上采样操作具体为：排列为二维格式的第三个一维向量经过设有8个卷积核、卷积核大小2×2、步距为2、填充为0的转置卷积层，批归一化层，LeakyReLU激活函数，得到8×32×32大小的一组特征图；
第二次上采样操作具体为：第一次上采样得到的特征图经过设有16个卷积核、卷积核大小2×2、步距为2、填充为0的转置卷积层，批归一化层，LeakyReLU激活函数，得到16×64×64大小的一组特征图作为第二特征图。
作为优选的技术方案，将第一特征图和第二特征图进行特征融合，得到融合特征图，具体步骤包括：
将第一特征图和第二特征图在通道方向上进行拼接，得到融合特征图；
或，将第一特征图和第二特征图进行特征图相加操作，得到融合特征图。
作为优选的技术方案，将融合特征图经过卷积层、批归一化层、LeakyReLU激活函数，得到第三特征图，具体包括：
将融合特征图经过一组有128个卷积核、卷积核大小3×3、步距为1、填充为1的卷积层，批归一化层，LeakyReLU激活函数，得到128×64×64的特征图作为第三特征图。
作为优选的技术方案，所述特征提取块采用卷积块，卷积块的结构为两个分支并联的结构，每个分支都具有3×1卷积和1×3卷积；
3×1卷积的卷积核大小为3×1，数量为128个，步距是1，填充为(1,0)；1×3卷积的卷积核大小为1×3，数量为128个，步距是1，填充为(0,1)；
第一个分支串联3×1卷积和1×3卷积，第二个分支串联1×3卷积和3×1卷积，将两个分支得到的特征图相加，通过LeakyReLU激活函数，最终输出为128×64×64的特征图作为第四特征图。
作为优选的技术方案，采用全局平均池化将第四特征图转化为第五特征图，第五特征图经过第一卷积、LeakyReLU激活函数、第二卷积、归一化指数函数得到缺陷对应的类别，具体包括：
采用全局平均池化将第四特征图转化为128×1×1的特征图作为第五特征图，通过卷积核数量为128、卷积核大小为1×1，步距为1，填充为0的1×1卷积和LeakyReLU激活函数得到128×1×1的特征图，再通过卷积核数量为缺陷类别数、卷积核大小为1×1，步距为1，填充为0的1×1卷积，得到缺陷类别数×1×1的特征图，最后通过归一化指数函数，得到缺陷对应的类别。
本发明与现有技术相比，具有如下优点和有益效果：
(1)现有技术中实现特征融合主要依靠不同监测工具采集的数据，而本发明通过构建缺陷参数向量，将设备、零件结构、加工参数、加工过程等已知信息进行应用，信息利用更加充分，在不增加其它监测工具和改造设备光照环境的情况下，提升了缺陷检测的准确率。
(2)本发明通过融合图像和缺陷参数向量，为图像补充了与零件缺陷产生相关的信息，使得在图像中特征不明显的缺陷的检测比使用单一图像要更为容易，充分利用了激光选区熔化过程零件结构和加工参数已知的优势，使得信息的使用效率提高，同时对不同激光选区熔化设备有很好的适应性。
(3)本发明构建缺陷参数向量，融合图像和缺陷参数向量，基于缺陷参数向量提供了与能量密度相关的工艺参数信息，是与外界环境无关的恒定值，成为了重要的辅助判别信息，提升了难检测缺陷的准确率，例如提升了标准零件、过熔合零件、欠熔合零件的识别准确率。
附图说明
图1为本实施例激光选区熔化缺陷在线监测方法的流程示意图；
图2为本实施例激光选区熔化设备及监测系统的架构示意图；
图3(a)为本实施例整体扫描的填充策略示意图；
图3(b)为本实施例分块扫描的填充策略示意图；
图3(c)为本实施例条形扫描的填充策略示意图；
图4(a)为本实施例90°交替扫描模式示意图；
图4(b)为本实施例固定方向扫描模式示意图；
图5(a)为本实施例层号166激光扫描轮廓的示意图；
图5(b)为本实施例层号167-172激光扫描轮廓的示意图；
图5(c)为本实施例层号173激光扫描轮廓的示意图；
图6为本实施例材质为TC4的方块形零件在120层、121层对应的参数向量示意图；
图7为本实施例图像和缺陷参数向量的融合过程示意图；
图8为本发明卷积神经网络判断图像中的缺陷类别的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
如图1所示，本实施例提供一种激光选区熔化缺陷在线监测方法，包括下述步骤：
S1：采集零件制造过程中铺粉后和激光扫描后的图像；
如图2所示，基于监测系统控制工业相机拍摄铺粉后和激光扫描后的图像，并将整张图像剪裁，形成单个零件的图像；
S2：构建零件对应的缺陷参数向量；
零件缺陷的产生多与加工参数、零件结构、加工环境等多种因素相关，这些因素直接决定零件的最终质量。比如过高的能量密度会导致零件表面出现大量的球化现象；零件的尖角更容易产生翘曲，刮伤铺粉车，从而在粉床上形成铺粉车刮痕；激光功率和扫描速度对飞溅缺陷影响较大。本实施例将影响缺陷的参数分为以下四类，包含16个参数：
(1)工艺参数(熔道间距(Hatch Space，HS)、激光功率(Laser Power，P)、扫描速度(Scan Speed，V)、层厚(Layer Thickness，LT))主要影响激光能量密度，能量密度过高会出现过熔合、球化、翘曲、肿块、裂纹等缺陷，在铺粉后多表现为超高、球化颗粒等缺陷，反之会导致零件出现欠熔合缺陷，在铺粉后多表现为正常铺粉和基本正常铺粉。特别小的熔道间距(例如0.025mm)会造成极度光滑表面，较大的层厚会导致飞溅过多。
(2)零件位置参数(零件左下角(Lower Left)的x坐标(LLX)与y坐标(LLY))定义为能包含整个零件的最小外接矩形框的左下角的x坐标与y坐标相对于可成形区域的位置，取值范围在[0，1]。零件的位置主要影响铺粉状态与零件表面的光照情况，零件位置越靠近铺粉车运动末端，越容易出现铺粉不足缺陷。此外，当设备内部光照不均衡时，零件的位置参数也可以代表光照情况。
(3)加工过程参数(填充策略(Scan Strategy，SS)、扫描模式(Scan Pattern，SP)、是否是实体与支撑的交叠区(whether it is an Overlapping area of part andsupport，OL)、是否是第一层零件实体(whether it is the First Layer of solidparts，FL)、工艺参数是否突变(whether the Process Parameters have Changedcompared to the previous layer，PaC)、零件实体在当前层的实际厚度(Part Height，PH))反映零件加工过程和过程中出现的变化。SS主要影响零件表面的纹理与粗糙度，指整体扫描、分块扫描、条形扫描等扫描时零件表面的分区方式，其中整体扫描得到的零件表面粗糙度更小；如图3(a)-图3(c)所示，得到三种填充策略，分别为整体扫描、分块扫描和条形扫描。如图4(a)-图4(b)所示，显示了以整体扫描为例的两种SP模式，SP指每层激光扫描的起始方向，分别为90°交替扫描和固定方向扫描，如果采用每一层固定的激光起始方向，则零件中每一层的应力分布相似，逐层累加后会出现应力分布不均匀，很容易出现翘曲缺陷，若采用层间不同的激光起始角度，会使得应力场更加均匀，减少缺陷的产生。
如图5(a)-图5(c)所示，显示了零件与支撑的交叠区(OL)，激光会在同一层既扫描零件，也扫描支撑，如图5(b)所示，导致零件粗糙度较大，零件表面有清晰的纹理。第一层实体(FL)一般会出现较多的飞溅缺陷并有较大的粗糙度。工艺参数相对上一层是否有突变(PaC)只针对工艺参数(HS、LT、P、V)的改变，如果某一层的工艺参数相对上一层改变且数值变化较大时，零件在当前层的表面状态不能完全与工艺参数对应的实际效果一致。随着制造过程的继续，后续层的零件表面形貌才会趋于稳定。PH从零件的第一层开始计算，当零件高度大于5mm时(经验值)，按5mm计算，因为此时可将零件视为基体，与厚度相关的缺陷，比如翘曲(翘曲多发生在零件厚度0-2mm之间)，将不再受零件厚度影响。
(4)零件结构参数(零件具有的最小角度(the Angle that a part has，Ang)、零件是否有复杂结构(whether the parts have Complicated Structure，CS)、零件是否有细长结构(whether the parts have Slender Structure，SL)、零件是否有悬垂结构(whether the parts have Overhanging region，OH))描述零件模型具有的三维结构。Ang指当前层零件中的最小角度。经过大量实验，发现零件上的锐角和直角更容易产生翘曲，导致铺粉车刮伤和振动，进而引发铺粉车刮痕和铺粉车横条纹缺陷。CS包含判断零件是否有薄壁结构、点阵结构等。各种复杂的结构在打印时容易产生碎片、球化、铺粉车刮痕等缺陷。SL指零件中是否有长宽比较大的结构，当工艺参数不合适时，细长结构极易出现裂纹缺陷。OH区域缺少支撑，与粉床接触面积大，包含OH的区域容易出现翘曲缺陷。
在本实施例中，在缺陷参数向量的参数组成中，除了本实施例所提出的16个参数外，别的参数或者指标可以对其中的参数进行增减和替换。比如4个零件结构参数可以使用一个描述零件结构复杂度的指标进行替换。
为了使得参数能够与图像信息在分类模型中融合，本发明将上述与缺陷相关的16个参数组合成长度为16的一维缺陷参数向量，研究缺陷参数向量是否能够提升缺陷检测模型的分类效果，分类模型采用深度神经网络模型。神经网络模型为了有良好的分类效果，要对输入数据进行归一化处理，即将数值大小转换到[0,1]之间。这些缺陷参数的真实数值大小差别巨大，比如HS的实际数值大小一定在1mm以内，而P的数值大小多在100W附近及以上，因而对[0,1]范围外的参数(P、V、PH)进行处理。P、V以材料的标准参数为中心，归一化到(0,1)之间。TC4的标准功率是170W，316L是250W。TC4的标准扫描速度是1000mm/s，316L是1200mm/s。以材料标准参数为中心的好处是归一化后得到的最终值与材料无关。PH则除以PH的最大值5mm即可。其余参数HS、LT、SS、SP、OL、FL、PaC、Ang、CS、SL、OH本身均均用[0,1]之间的离散值表示，不做处理。
制作参数向量时，先设置零件的原始向量，原始向量每个零件通常只有3到6条，因为单个零件多数层的参数是一般相同的。原始向量按照上述规则进行归一化处理，可以得到零件每一层的参数向量。这一过程在LPBF设备打印支撑结构时可以完成，不占用额外的时间。如图6所示，展示了材料为TC4的方块零件的第120和121层的参数向量，其工艺参数(HS、P、V)在第121层相对第120层发生了突变，此时参数向量中的PaC要设置为1。
S3：融合图像和缺陷参数向量；
如图7所示，首先将单个零件的图像全部预处理为256pixel×256pixel大小的图像，作为图像和缺陷参数向量的融合模块中图像部分的输入。图像输入后，进行两次降采样操作：第一次降采样依次使图像经过有8个卷积核、卷积核大小3×3、步距为1、填充为1的卷积层，批归一化层，LeakyReLU激活函数，窗口大小为2×2、步距为2、填充为0的最大池化层，得到8×128×128大小的一组特征图；第二次降采样将卷积层的卷积核个数增加为16，其余步骤不变，最后得到16×64×64大小的一组特征图。
缺陷参数向量输入大小为长度为16的一维向量，先经过三次线性扩展和LeakyReLU激活函数，分别输出为长度为64、128、256的一维向量，再将长度为256的一维向量调整维度，排列为16×16大小的二维格式。最后，进行两次上采样操作：第一次上采样依次使图像经过有8个卷积核、卷积核大小2×2、步距为2、填充为0的转置卷积层，批归一化层，LeakyReLU激活函数，得到8×32×32大小的一组特征图；第二次上采样将转置卷积层的卷积核个数增加为16，其余步骤不变，最后得到16×64×64大小的一组特征图。
将两组特征图在通道方向上进行拼接，得到一组大小为32×64×64的特征图，即完成特征融合步骤；当然，本实施例除了采用在通道方向上进行拼接，也可以采用特征图相加的方式。
本实施例将缺陷参数向量在一维格式线性扩展，再排列为二维格式并进行上采样，相较于直接将长度为16的一维缺陷参数向量排列为4×4的二维格式再上采样到与图像数据特征图大小相同的方法，所得到的缺陷识别准确率更高；
S4：基于卷积神经网络判断图像中的缺陷类别；
如图8所示，对于上述32×64×64的特征图，先通过一组有128个卷积核、卷积核大小3×3、步距为1、填充为1的卷积层，批归一化层，LeakyReLU激活函数，得到128×64×64的特征图，将信息进行初步融合。
接着，使用5个特征提取块提取特征，本实施例的特征提取块优选为卷积块，卷积块的结构为两个分支并联的结构。每个分支都具有3×1卷积和1×3卷积。3×1卷积的卷积核大小为3×1，数量为128个，步距是1，填充为(1,0)；1×3卷积的卷积核大小为1×3，数量为128个，步距是1，填充为(0,1)。图8中“k(k1,k2)”表示卷积核的大小为(k1,k2)；“Conv2d-k1×k2”表示卷积的名称，按照卷积核的大小命名。“s1”表示卷积核的步距是1；“p(p1,p2)”表示填充的大小为(p1,p2)；“c”表示卷积核的个数。“+”表示求和运算。“LeakyReLU”表示激活函数为LeakyReLU函数。第一个分支串联3×1卷积和1×3卷积，第二个分支串联1×3卷积和3×1卷积，最后将两个分支得到的特征图相加后，通过LeakyReLU激活函数，最终输出为128×64×64的特征图。该卷积块修改自不对称三维卷积网络(Asymmetrical 3Dconvolution networks)的不对称残差块(Asymmetrical residual block)，将用于点云分割的三维卷积核修改为二维卷积核。
特征提取部分结束后，使用全局平均池化将上述128×64×64的特征图转化为128×1×1的特征图；后通过卷积核数量为128、卷积核大小为1×1，步距为1，填充为0的1×1卷积和LeakyReLU激活函数得到128×1×1的特征图；再通过卷积核数量为缺陷类别数、卷积核大小为1×1，步距为1，填充为0的1×1卷积，得到缺陷类别数×1×1的特征图；最后通过归一化指数函数，得到缺陷对应的类别。
本发明可以在仅使用工业相机作为监测工具，而不增加其他监测工具和改造设备光照环境的低成本条件下，根据图像和缺陷参数向量中的信息提升激光选区熔化技术缺陷监测的准确率，对制造过程中的缺陷进行示警，为反馈控制奠定基础，进而提高零件质量，节约加工成本。
本发明提升了难检测缺陷的准确率，因为欠熔合零件、标准零件和过熔合零是依据激光能量密度划分，处在边界线附近的零件受光照和零件表面状态的影响不易区分。在零件图像中，欠熔合零件表面粉末熔合不良，导致零件表面暗且反光较少；而标准零件和过熔合零件的表面比欠熔合更为光亮，在不同激光扫描方向和光照的组合条件下，容易出现不同程度的反光，使得这两类零件仅依靠图像不易进行判别；本发明构建缺陷参数向量，融合图像和缺陷参数向量，基于缺陷参数向量提供了与能量密度相关的工艺参数信息，是与外界环境无关的恒定值，成为了重要的辅助判别信息，从而提升了难检测缺陷的准确率，提升了标准零件、过熔合零件、欠熔合零件的识别准确率。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种激光选区熔化缺陷在线监测方法，其特征在于，包括下述步骤：
采集零件制造过程中铺粉后和激光扫描后的图像，并将整张图像剪裁，形成单个零件的图像；
将单个零件的图像进行图像预处理，将图像的尺寸进行统一，进行两次降采样操作得到第一特征图；
构建零件对应的缺陷参数向量，将零件对应的缺陷参数组合成一维缺陷参数向量，经过三次线性扩展和LeakyReLU激活函数，分别输出不同长度的一维向量，包括第一个一维向量、第二个一维向量和第三个一维向量，将第三个一维向量调整维度，排列为二维格式，进行两次上采样操作得到第二特征图；
将第一特征图和第二特征图进行特征融合，得到融合特征图；
将融合特征图经过卷积层、批归一化层、LeakyReLU激活函数，得到第三特征图；
采用多个特征提取块提取第三特征图的特征，得到第四特征图；
采用全局平均池化将第四特征图转化为第五特征图，第五特征图经过第一卷积、LeakyReLU激活函数、第二卷积、归一化指数函数得到缺陷对应的类别。
2.根据权利要求1所述的激光选区熔化缺陷在线监测方法，其特征在于，缺陷参数向量对应的缺陷参数包括工艺参数、零件位置参数、加工过程参数、零件结构参数。
3.根据权利要求2所述的激光选区熔化缺陷在线监测方法，其特征在于，工艺参数包括熔道间距、激光功率、扫描速度和层厚；
零件位置参数设置为包含整个零件的最小外接矩形框的左下角的x坐标与y坐标相对于可成形区域的位置；
加工过程参数包括填充策略、扫描模式、是否是实体与支撑的交叠区、是否是第一层零件实体、工艺参数是否突变、零件实体在当前层的实际厚度；
零件结构参数包括零件的最小角度、零件是否有复杂结构、零件是否有细长结构、零件是否有悬垂结构，所述复杂结构包括薄壁结构和点阵结构，所述细长结构表示为长宽值超过设定阈值的结构。
4.根据权利要求1所述的激光选区熔化缺陷在线监测方法，其特征在于，在构建零件对应的缺陷参数向量的步骤中，还包括零件的原始向量设置步骤，设置零件的原始向量，对原始向量进行归一化处理。
5.根据权利要求1所述的激光选区熔化缺陷在线监测方法，其特征在于，所述进行两次降采样操作得到第一特征图，具体步骤包括：
第一次降采样操作具体为：预处理后的单个零件的图像经过设有8个卷积核、卷积核大小3×3、步距为1、填充为1的卷积层，批归一化层，LeakyReLU激活函数，窗口大小为2×2、步距为2、填充为0的最大池化层，得到8×128×128大小的一组特征图；
第二次降采样操作具体为：第一次降采样得到的特征图经过有16个卷积核、卷积核大小3×3、步距为1、填充为1的卷积层，批归一化层，LeakyReLU激活函数，窗口大小为2×2、步距为2、填充为0的最大池化层，得到16×64×64大小的一组特征图作为第一特征图。
6.根据权利要求1所述的激光选区熔化缺陷在线监测方法，其特征在于，所述进行两次上采样操作得到第二特征图，具体步骤包括：
第一次上采样操作具体为：排列为二维格式的第三个一维向量经过设有8个卷积核、卷积核大小2×2、步距为2、填充为0的转置卷积层，批归一化层，LeakyReLU激活函数，得到8×32×32大小的一组特征图；
第二次上采样操作具体为：第一次上采样得到的特征图经过设有16个卷积核、卷积核大小2×2、步距为2、填充为0的转置卷积层，批归一化层，LeakyReLU激活函数，得到16×64×64大小的一组特征图作为第二特征图。
7.根据权利要求1所述的激光选区熔化缺陷在线监测方法，其特征在于，将第一特征图和第二特征图进行特征融合，得到融合特征图，具体步骤包括：
将第一特征图和第二特征图在通道方向上进行拼接，得到融合特征图；
或，将第一特征图和第二特征图进行特征图相加操作，得到融合特征图。
8.根据权利要求1所述的激光选区熔化缺陷在线监测方法，其特征在于，将融合特征图经过卷积层、批归一化层、LeakyReLU激活函数，得到第三特征图，具体包括：
将融合特征图经过一组有128个卷积核、卷积核大小3×3、步距为1、填充为1的卷积层，批归一化层，LeakyReLU激活函数，得到128×64×64的特征图作为第三特征图。
9.根据权利要求1所述的激光选区熔化缺陷在线监测方法，其特征在于，所述特征提取块采用卷积块，卷积块的结构为两个分支并联的结构，每个分支都具有3×1卷积和1×3卷积；
3×1卷积的卷积核大小为3×1，数量为128个，步距是1，填充为(1,0)；1×3卷积的卷积核大小为1×3，数量为128个，步距是1，填充为(0,1)；
第一个分支串联3×1卷积和1×3卷积，第二个分支串联1×3卷积和3×1卷积，将两个分支得到的特征图相加，通过LeakyReLU激活函数，最终输出为128×64×64的特征图作为第四特征图。
10.根据权利要求1所述的激光选区熔化缺陷在线监测方法，其特征在于，采用全局平均池化将第四特征图转化为第五特征图，第五特征图经过第一卷积、LeakyReLU激活函数、第二卷积、归一化指数函数得到缺陷对应的类别，具体包括：
采用全局平均池化将第四特征图转化为128×1×1的特征图作为第五特征图，通过卷积核数量为128、卷积核大小为1×1，步距为1，填充为0的1×1卷积和LeakyReLU激活函数得到128×1×1的特征图，再通过卷积核数量为缺陷类别数、卷积核大小为1×1，步距为1，填充为0的1×1卷积，得到缺陷类别数×1×1的特征图，最后通过归一化指数函数，得到缺陷对应的类别。
CN202310624369.9A 2023-05-29 2023-05-29 一种激光选区熔化缺陷在线监测方法 Pending CN116740001A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310624369.9A CN116740001A (zh) 2023-05-29 2023-05-29 一种激光选区熔化缺陷在线监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310624369.9A CN116740001A (zh) 2023-05-29 2023-05-29 一种激光选区熔化缺陷在线监测方法

Publications (1)

Publication Number Publication Date
CN116740001A true CN116740001A (zh) 2023-09-12

Family

ID=87914377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310624369.9A Pending CN116740001A (zh) 2023-05-29 2023-05-29 一种激光选区熔化缺陷在线监测方法

Country Status (1)

Country Link
CN (1) CN116740001A (zh)

Similar Documents

Publication Publication Date Title
Lin et al. Online quality monitoring in material extrusion additive manufacturing processes based on laser scanning technology
CN108760747B (zh) 一种3d打印模型表面缺陷视觉检测方法
Landstrom et al. Morphology-based crack detection for steel slabs
CN111007073A (zh) 一种増材制造过程中零件缺陷在线检测的方法及检测系统
CN114049294B (zh) 基于三维轮廓的路面技术状况检测方法及设备
CN114723681A (zh) 一种基于机器视觉的混凝土裂缝缺陷检测方法
CN101670533A (zh) 基于工件加工表面图像分析的刀具磨损状态评价方法
CN109483887B (zh) 激光选区熔化过程中成形层轮廓精度在线检测方法
CN113554587B (zh) 一种基于深度学习的熔池图像几何特征提取方法及系统
CN109447939A (zh) 基于混合光谱视觉的熔池成形前焊缝宽度预测方法
CN112883790A (zh) 一种基于单目摄像头的3d物体检测方法
CN116597391B (zh) 一种焊缝表面形貌和熔透状态同步在线监测方法
CN112365439A (zh) 一种镀锌钢gmaw焊缝成形特征与焊枪方向同步实时检测方法
CN116091404A (zh) 一种基于图像-点云信息融合的焊线缺陷检测及模式识别方法
CN114612471B (zh) 一种复杂纹理瓷砖表面缺陷检测方法
CN116486287A (zh) 基于环境自适应机器人视觉系统的目标检测方法及系统
CN114092411A (zh) 一种高效快速的双目3d点云焊点缺陷检测方法
CN111539951B (zh) 一种陶瓷砂轮头轮廓尺寸视觉检测方法
CN116740001A (zh) 一种激光选区熔化缺陷在线监测方法
Cai et al. Weld beads and defects automatic identification, localization, and size calculation based on a lightweight fully convolutional neural network
Jiang et al. A deep convolutional network combining layerwise images and defect parameter vectors for laser powder bed fusion process anomalies classification
CN115213563B (zh) 激光智能焊接方法及系统
CN115583030A (zh) 一种构件增材制造时内部三维缺陷在线检测方法及装置
CN112464905B (zh) 3d目标检测方法及装置
CN115115578A (zh) 一种增材制造过程中的缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination