CN111007073A - 一种増材制造过程中零件缺陷在线检测的方法及检测系统 - Google Patents

一种増材制造过程中零件缺陷在线检测的方法及检测系统 Download PDF

Info

Publication number
CN111007073A
CN111007073A CN201911336265.8A CN201911336265A CN111007073A CN 111007073 A CN111007073 A CN 111007073A CN 201911336265 A CN201911336265 A CN 201911336265A CN 111007073 A CN111007073 A CN 111007073A
Authority
CN
China
Prior art keywords
image
defect
additive manufacturing
detection
manufacturing process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911336265.8A
Other languages
English (en)
Other versions
CN111007073B (zh
Inventor
刘胜
韩峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201911336265.8A priority Critical patent/CN111007073B/zh
Publication of CN111007073A publication Critical patent/CN111007073A/zh
Application granted granted Critical
Publication of CN111007073B publication Critical patent/CN111007073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/048—Marking the faulty objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/34—Generating the ultrasonic, sonic or infrasonic waves, e.g. electronic circuits specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/023—Solids
    • G01N2291/0231—Composite or layered materials
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/028—Material parameters
    • G01N2291/0289—Internal structure, e.g. defects, grain size, texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于増材制造领域，公开了一种増材制造过程中零件缺陷在线检测的方法及检测系统。该方法包括下列步骤：(a)采集増材制造过程中的零件表面缺陷的图像，标注缺陷图像中的缺陷类型和位置，以此训练缺陷检测神经网络建立预测模型，该预测模型包括图像缺陷区域生成模块和图像分类定位模块；(b)将待预测图像输入预测模型中的图像缺陷区域生成模块，提取并获得该待预测图像对应的特征图，然后获得缺陷的大小、尺寸和位置；(c)将获得的缺陷所在的区域输入图像缺陷分类定位模块中，获得缺陷的类型和具体位置。通过本发明，避免在恶劣增材制造环境下人工肉眼检测，实现缺陷识别分类和定位，准确率高、检测速度快、装置简单成本低等优势。

Description

一种増材制造过程中零件缺陷在线检测的方法及检测系统
技术领域
本发明属于増材制造领域，更具体地，涉及一种増材制造过程中零件缺陷在线检测的方法及检测系统。
背景技术
增材制造作为一种零件快速逐层堆叠加工成型方式，具有一体化制造、零件工艺质量高、快速成型等优势，在高端制造业如航空航天领域大型结构件和高端精密部件如医疗器件等领域应用广泛，高端制造业对增材制造零部件的工艺质量提出了严格的要求，因此迫切需要提出和实施增材制造零件工艺质量精密检测方法，尤其是零件缺陷检测方法。
然而，现有的增材制造零件缺陷检测方法主要存在以下的劣势：一是增材制造零件通常是大型结构件，检测区域大，使用传统的电涡流探伤、超声探伤的检测范围有限，存在很多检测盲区，难以完全检测到零件加工表面和内部的缺陷，二是传统的基于图像处理的缺陷检测方法应用在增材制造零件表面的缺陷检测时，由于实时检测时加工环境复杂，缺陷类型多样，导致缺陷检测的准确度不够高，难以直接应用在实际的增材制造缺陷检测中，三是采用卷积神经网络和机器学习分类算法实现缺陷特征提取和分类，图像特征提取后进行分类器多标签分类，两阶段没有反馈机制，分类方式过于粗略，丢失过多图像特征，导致分类准确率不够高，四是目前现有的绝大部分传统图像处理检测算法和机器学习算法无法达到实际制造过程中检测的实时性，巨大的运算成本和计算耗时无法满足实际生产加工过程中的检测要求或者对于检测成本要求过高。
发明内容
针对现有技术的以上不足和改进需求，本发明提供了一种増材制造过程中零件缺陷在线检测的方法及检测系统，通过在预测模型中构建图像缺陷区域生成模块和图像分类定位模块，然后分阶段对图像采集装置或者激光超声探测装置采集的图像进行处理，以此获得图像中缺陷的相关信息，包括尺寸大小、类型和位置等，该在线检测方法识别的准确率高，能够避免在恶劣增材制造环境下人工肉眼检测零件质量，具有识别分类和定位准确率高、装置简单成本低等优势。
为实现上述目的，按照本发明的一个方面，提供了一种増材制造过程中零件缺陷在线检测的方法，该方法包括下列步骤：
(a)采集増材制造过程中的零件表面缺陷的图像，对缺陷图像中的缺陷类型和位置进行标注，以此获得缺陷类型和位置确定的图像，利用该图像训练缺陷类型预测的卷积神经网络模型，即预测模型，该预测模型中包括图像缺陷区域生成模块和图像分类定位模块，所述图像缺陷区域生成模块用于在待预测图像中搜寻并由搜寻的结果重构生成缺陷区域，所述图像分类定位模块用于在待预测图像中对缺陷类型进行分类和准确定位；
(b)将待预测图像输入所述预测模型中的图像缺陷区域生成模块，提取并获得该待预测图像对应的特征图，然后根据该特征图获得缺陷的大小、尺寸和位置，具体按照下列步骤进行：
(b1)在所述特征图上设定多个尺寸的滑动窗口，并将每个滑动窗口中划分为多个候选窗口，将所述每个滑动窗口在所述特征图上进行扫描，并提取每个滑动窗口中每个所述候选窗口中的特征，以此获得每个滑动窗口中所有候选窗口中对应的特征，将所有滑动窗口中提取的特征进行融合，以此获得由多个候选窗口组合形成的缺陷；
(b2)将步骤(b1)中形成缺陷的候选窗口以及该候选窗口中的特征映射至所述待预测图像中，以此获得所述候选窗口以及每个候选窗口中的特征在所述预测图像中的位置；
(b3)在所述预测图像中将所述候选窗口划分为多个区域，对每个区域进行池化运算，以此获得在所述预测图像中缺陷所在的区域，包括缺陷的大小、尺寸和初步的位置；
(c)将经过步骤(b3)获得的缺陷所在的区域输入所述预测模型中的图像缺陷分类定位模块中，获得缺陷的类型和具体位置。
进一步优选地，在步骤(c)中，所述获得的缺陷类型是通过计算步骤(b3)中的缺陷对应的缺陷类型的概率，其中概率最大的缺陷类型即为预测的缺陷类型。
进一步优选地，在步骤(c)中，所述获得的缺陷的具体位置通过采用边框坐标回归的方式。
进一步优选地，在步骤(a)中，当采集増材制造过程中的零件表面缺陷的图像时，优选对图像进行扩充以此增加图像的数量，扩充的方式包括对原图像的大小随机缩放，上下和左右对称变换，颜色亮度随机调整，饱和度随机调整，图像随机拼接，图像随机旋转，随机裁剪，镜像变换，然后将扩充获得的图像采用生成对抗神经网络进行数据生成，生成得到不同于原图像的新图像，该新的图像和扩充前的图像共同用于建立预测模型。
按照本发明的另一方面，提供了一种上述所述的方法的检测系统，该检测系统包括图像采集装置、激光超声探测装置、控制器、数据存储器和实时显示装置，其中，
所述图像采集装置用于拍摄増材制造中零件制造过程的视频；
所述激光超声探测装置用于拍摄预设厚度内零件的超声图像；
所述控制器中设置有预测模型，该控制器接受所述图像采集装置采集的视频和激光超声探测装置采集的超声图像，利用所述预测模型对所述采集的视频和超声图像中缺陷的类型和位置进行预测；
所述数据存储与所述控制器连接，用于存储所述控制器中的数据；
所述实时显示装置与所述控制器连接，用于将所述控制器检测的缺陷的类型和位置进行实时的显示。
进一步优选地，所述图像采集装置采集的视频输入所述控制器后，还需对所述视频的逐帧图像进行图像预处理，使得该图像对应的灰度直方图中的灰度分布均匀，避免图像过曝或过暗。
进一步优选地，所述图像进行图像预处理后还需进行图像去雾处理，以此去除増材制造过程中图像中拍摄的环境气氛中的金属小颗粒形成的金属雾。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
1、本发明通过采用超声探测装置将探测到的零件内部缺陷与图像采集装置采集的光学图像通过多阶段缺陷检测算法识别到的零件表面缺陷进行统一决策，建立增材制造零件加工工艺参数决策模型，依据零件的加工工艺要求，如表面粗糙度，平整度，实时调整增材制造的工艺参数，如激光功率，金属丝供给速度等，调节零件的下一层堆叠时的成型质量，减少零件的加工工艺缺陷，通过仿真和实验的方式确定失效阈值，当缺陷检测的结果超过设定的失效阈值时，反馈给零件加工中心停止当前零件的加工，确保良品率和减少物料的加工成本；
2、本发明中激光超声探测装置中超声换能器将电信号转换为机械振动向零件发出超声波，零件内部不同材料反射不同能量的超声波，由超声换能器接收到超声波后通过成像芯片的压电效应或光电效应将探测物体再次成像，通过超声成像的方法探测出零件内部的缺陷，再次经由预测模型多阶段图像缺陷检测模块分类和识别出缺陷，方便快捷，准确率高；
3、本发明增材制造过程中实时在线进行原位缺陷检测，不仅仅能够检测到制造零件的表面缺陷，逐层检测保证了能够检测到逐层堆叠增材时的缺陷，超声成像探测零件内部缺陷，极大程度上提高了缺陷检测系统的准确性和鲁棒性。
附图说明
图1是按照本发明的优选实施例所构建的零件缺陷在线检测的示意图；
图2是按照本发明的优选实施例所构建的在线检测方法的详细流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图2所示，一种増材制造过程中零件缺陷在线检测的方法，该方法包括下列步骤：
S1建立预测模型
预先收集并标注完成缺陷数据集，建立预测模型，计算预测的缺陷区域与数据集标注真实缺陷边框区域之间的位置坐标差值作为预测模型的损失函数，通过最小化损失函数获得最优预测模型参数，优选的，使用梯度下降算法最小化损失函数。具体地包括：
缺陷检测数据集是通过光学相机和超声成像装置采集获得一定数量的零件缺陷图像，通过进一步的数据增强方式扩充数据集，增强方式包括图像的大小随机缩放，上下和左右对称变换，颜色亮度随机调整，饱和度随机调整，图像随机拼接，图像随机旋转，镜像变换等方式扩充原始数据集，并将扩充得到的图像数据集采用生成对抗神经网络进行数据生成，生成得到没有出现过的图像数据；
利用数据集标注工具对原始图像标注缺陷的类型和位置制作缺陷检测数据集，确定数据集中标注的真实缺陷信息，让预测模型通过计算预测的结果与标注的真实缺陷之间的位置坐标差值的损失函数，优选通过梯度下降算法训练模型获得最优预测模型参数。
本实施例中，缺陷预测模型分为两个结构原理相同但相互独立的模型，称之为M1,M2缺陷预测模型，模型M1由光学相机采集并标注制作的零件缺陷图像数据集训练得到，模型M2由超声成像装置获得并标注制作的零件缺陷图像数据集训练得到，缺陷检测模型M1用来检测增材制造中每一层堆叠的零件表面缺陷，缺陷检测模型M2用来检测增材制造中已成型零件的层与层之间的亚表面缺陷。
缺陷预测模型的训练策略采用的是多模块交替训练的方式，预测模型包括图像缺陷区域生成模块和图像分类定位模块，使得预测过程分阶段进行，首先根据当前的网络初始化参数以批量梯度下降法训练图像缺陷区域生成模块，再根据图像缺陷区域生成模块提取到的图像数据集候选区域，输入到图像分类定位模块，沿着检测网络混合损失函数梯度最小方向训练模型找到使得损失函数全局最小的模型权重，并交替重复以上两种模块训练迭代数次，达到理想模型预测效果为止。
S2采用图像缺陷区域生成模块生成缺陷区域，具体按照下列步骤进行：
(1)首先将视频的每帧图像的像素矩阵输入到深度卷积神经网络中，如深度卷积神经网络VGGNet，获得原始图像的特征表示图(矩阵)；
(2)对特征图设定多个滑动窗口，每个滑动窗口划分为多个候选窗口，对每个候选窗口进行特征提取，将提取的特征映射到原图像中的所在位置，将映射后在原图中的候选窗口的区域划分为相同大小的部分，对每个部分做池化运算，得到原图中缺陷的特征区域，包括缺陷的大小，尺寸和初步的位置。
S3采用图像分类定位模块对缺陷进行分类和定位，按照下列步骤进行：
(1)将上述获得的特征区域输入到图像缺陷分类定位模块的缺陷分类层计算对应图像窗口对象的缺陷类型的概率值，对所有缺陷类型对应的概率值进行排序，最大的概率值的缺陷类型就是预测的该目标区域的缺陷类型；
(2)将特征区域传输到边框回归层，以此获得缺陷实际轮廓的位置坐标，计算已获得的缺陷位置坐标与标注数据集中的实际缺陷坐标的绝对差值，通过最小化平滑绝对差值损失函数获得最优缺陷实际轮廓位置。
如图1所示，一种増材制造过程中零件缺陷在线检测的方法的检测系统，该系统包括：增材制造加工中心、三轴移动平台、步进电机、丝杠、图像采集装置、防护罩、滤光片、LED环形阵列照明灯、千兆数据采集卡、超声换能器、激光超声成像装置、带有GPU加速运算的深度学习计算平台、大容量数据存储设备、显示器，本实施例中，图像采集装置采用CCD工业相机，将CCD工业相机、防护罩、滤光片、LED环形阵列照明灯安装在三轴移动平台上，再将移动平台通过丝杠安装在增材制造加工中心上，步进电机驱动移动平台在三个轴向的移动，CCD工业相机实时采集到光学图像，激光超声成像装置处理超声换能器接收到的零件反射回来的超声波，将距离信息映射到二维像素矩阵中绘制彩虹图成像，将光学图像和超声图像通过数据采集卡传输到计算平台，进行计算平台采用图像实例分割的方式逐帧完成缺陷预测，将识别到的缺陷类型和缺陷位置坐标重新绘制在原始图像上，并将预测结果传输到显示器上实时显示检测结果，同时将逐帧检测结果保存在本地储存设备中。
增材制造逐层加工过程中由光学图像传感器CCD工业相机实时采集到的视频流通过数据采集卡传输到计算平台，计算平台通过针对特定增材制造工艺场景下训练完成并达到预期训练准确率的检测模型对新采集到的图像进行端到端预测，输入是视频流中逐帧的图像，通过深度神经网络的前向传播算法，网络逐层计算数据流的结果并传递到网络的下一层，最后通过缺陷分类层分类缺陷和边框回归层回归缺陷区域坐标得到预测的最终结果，进而将预测结果重新绘制在原始图像上，在图像上标注出预测的缺陷类型和缺陷的位置，计算平台将预测图像结果实时显示在显示终端上。显示终端可以由多个计算平台接入，当有多个加工中心时，同时将多个计算中心的检测结果接入到一台显示终端。
本发明将先进计算机视觉目标检测算法应用到先进机械加工制造工艺检测中，实现了边加工加检测的零件成型质量控制，增材制造过程中利用光学图像传感器实时采集每层的零件表面缺陷，并间隔一定间隔采用超声波检测零件内部缺陷，结合零件表面缺陷和内部缺陷的检测结果，反馈到增材制造加工中心进行零件成型质量的调控；本发明涉及到的零件质量检测方法尤其应用在航空领域大型结构件的增材制造中，能够有效的避免在恶劣增材制造环境下人工肉眼检测零件质量，本发明相较于模式识别算法识别缺陷，具有识别分类和定位准确率高、装置简单成本低等优势。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种増材制造过程中零件缺陷在线检测的方法，其特征在于，该方法包括下列步骤：
(a)采集増材制造过程中的零件表面缺陷的图像，对缺陷图像中的缺陷类型和位置进行标注，以此获得缺陷类型和位置确定的图像，利用该图像训练缺陷预测的卷积神经网络模型，即预测模型，该预测模型中包括图像缺陷区域生成模块和图像分类定位模块，所述图像缺陷区域生成模块用于在待预测图像中搜寻并由搜寻的结果重构生成缺陷区域，所述图像分类定位模块用于在待预测图像中对缺陷类型进行分类和准确定位；
(b)将待预测图像输入所述预测模型中的图像缺陷区域生成模块，提取并获得该待预测图像对应的特征图，然后根据该特征图获得缺陷的大小、尺寸和位置，具体按照下列步骤进行：
(b1)在所述特征图上设定多个尺寸的滑动窗口，并将每个滑动窗口中划分为多个候选窗口，将所述每个滑动窗口在所述特征图上进行扫描，并提取每个滑动窗口中每个所述候选窗口中的特征，以此获得每个滑动窗口中所有候选窗口中对应的特征，将所有滑动窗口中提取的特征进行融合，以此获得由多个候选窗口组合形成的缺陷；
(b2)将步骤(b1)中形成缺陷的候选窗口以及该候选窗口中的特征映射至所述待预测图像中，以此获得所述候选窗口以及每个候选窗口中的特征在所述预测图像中的位置；
(b3)在所述预测图像中将所述候选窗口划分为多个区域，对每个区域进行池化运算，以此获得在所述预测图像中缺陷所在的区域，包括缺陷的大小、尺寸和初步的位置；
(c)将经过步骤(b3)获得的缺陷所在的区域输入所述预测模型中的图像缺陷分类定位模块中，获得缺陷的类型和具体位置。
2.如权利要求1所述的一种増材制造过程中零件缺陷在线检测的方法，其特征在于，在步骤(c)中，所述获得的缺陷类型是通过计算步骤(b3)中的缺陷对应的缺陷类型的概率，其中概率最大的缺陷类型即为预测的缺陷类型。
3.如权利要求1所述的一种増材制造过程中零件缺陷在线检测的方法，其特征在于，在步骤(c)中，所述获得的缺陷的具体位置通过采用边框坐标回归的方式。
4.如权利要求1所述的一种増材制造过程中零件缺陷在线检测的方法，其特征在于，在步骤(a)中，当采集増材制造过程中的零件表面缺陷的图像时，优选对图像进行扩充以此增加图像的数量，扩充的方式包括对原图像的大小随机缩放，上下和左右对称变换，颜色亮度随机调整，饱和度随机调整，图像随机拼接，图像随机旋转，随机裁剪，镜像变换，然后将扩充获得的图像采用生成对抗神经网络进行数据生成，生成得到不同于原图像的新图像，该新图像和扩充前的图像共同用于建立预测模型。
5.一种采用权利要求1-4任一项所述的方法进行检测的检测系统，其特征在于，该检测系统包括图像采集装置、激光超声探测装置、控制器、数据存储器和实时显示装置，其中，
所述图像采集装置用于拍摄増材制造中零件制造过程的视频；
所述激光超声探测装置用于拍摄预设厚度内零件的超声图像；
所述控制器中设置有预测模型，该控制器接受所述图像采集装置采集的视频和激光超声探测装置采集的超声图像，利用所述预测模型对所述采集的视频和超声图像中缺陷的类型和位置进行预测；
所述数据存储与所述控制器连接，用于存储所述控制器中的数据；
所述实时显示装置与所述控制器连接，用于将所述控制器检测的缺陷的类型和位置进行实时的显示。
6.如权利要求5所述的检测系统，其特征在于，所述图像采集装置采集的视频输入所述控制器后，还需对所述视频的逐帧图像进行图像预处理，使得该图像对应的灰度直方图中的灰度分布均匀，避免图像过曝或过暗。
7.如权利要求6所述的检测系统，其特征在于，所述图像进行图像预处理后还需进行图像去雾处理，以此去除増材制造过程中图像中拍摄的环境气氛中的金属小颗粒形成的金属雾。
CN201911336265.8A 2019-12-23 2019-12-23 一种増材制造过程中零件缺陷在线检测的方法及检测系统 Active CN111007073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911336265.8A CN111007073B (zh) 2019-12-23 2019-12-23 一种増材制造过程中零件缺陷在线检测的方法及检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911336265.8A CN111007073B (zh) 2019-12-23 2019-12-23 一种増材制造过程中零件缺陷在线检测的方法及检测系统

Publications (2)

Publication Number Publication Date
CN111007073A true CN111007073A (zh) 2020-04-14
CN111007073B CN111007073B (zh) 2021-02-05

Family

ID=70117356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911336265.8A Active CN111007073B (zh) 2019-12-23 2019-12-23 一种増材制造过程中零件缺陷在线检测的方法及检测系统

Country Status (1)

Country Link
CN (1) CN111007073B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111555843A (zh) * 2020-05-13 2020-08-18 湖南科技学院 一种半导体纳米材料热输运性质测试系统
CN111598856A (zh) * 2020-05-08 2020-08-28 浙江工商大学 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统
CN111614969A (zh) * 2020-05-14 2020-09-01 深圳供电局有限公司 无人机巡视视频直播方法及系统
CN111626995A (zh) * 2020-05-19 2020-09-04 上海艾豚科技有限公司 一种针对工件的智能嵌件检测方法和装置
CN111855801A (zh) * 2020-07-24 2020-10-30 武汉大学 一种基于激光超声成像的粗糙部件缺陷尺寸精确测量方法
CN111929309A (zh) * 2020-09-14 2020-11-13 成都卓识维景科技有限公司 一种基于机器视觉的铸造件外观缺陷检测方法及系统
CN112014476A (zh) * 2020-09-04 2020-12-01 山东大学 一种碳纤维复合材料制造缺陷分类、定量评估方法及系统
CN112264731A (zh) * 2020-10-20 2021-01-26 李小兵 一种改善焊接质量的控制方法及装置
CN112846183A (zh) * 2021-02-25 2021-05-28 武汉大学 一种金属增材制造逐层激光-超声-等离子体复合清洗方法及装置
CN113030108A (zh) * 2021-03-08 2021-06-25 哈尔滨工程大学 一种基于机器视觉的涂层缺陷检测系统与方法
CN113134675A (zh) * 2021-03-16 2021-07-20 哈尔滨工业大学 一种基于超声检测的搅拌摩擦焊焊接方法及系统
CN113361958A (zh) * 2021-06-30 2021-09-07 李炳集 一种缺陷预警方法及系统
CN113533524A (zh) * 2021-08-10 2021-10-22 中铁工程装备集团有限公司 齿圈缺陷检测装置及方法
CN113781585A (zh) * 2021-08-27 2021-12-10 华中科技大学 一种增材制造零件表面缺陷在线检测方法及系统
CN114998342A (zh) * 2022-08-04 2022-09-02 海门市刘氏铸造有限公司 基于镀锌板面图案识别的镀锌工艺控制方法及装置
CN115867403A (zh) * 2020-08-19 2023-03-28 卡尔蔡司工业测量技术有限公司 用于工件的增材制造的方法和装置
CN116429910A (zh) * 2023-03-16 2023-07-14 江南大学 液晶面板ito电路缺陷检测方法、系统和装置
CN116466667A (zh) * 2023-04-20 2023-07-21 成都工业职业技术学院 一种零件加工的智能控制方法、系统及存储介质
TWI816060B (zh) * 2020-10-28 2023-09-21 友達光電股份有限公司 監測系統及其方法
CN116818799A (zh) * 2023-06-20 2023-09-29 广州宝立科技有限公司 一种基于机器视觉检测技术的智能验布方法及装置
CN117011289A (zh) * 2023-09-27 2023-11-07 广州中浩控制技术有限公司 用于软胶囊生产的质量检验、系统、介质及计算机设备
CN117030724A (zh) * 2023-10-09 2023-11-10 诺比侃人工智能科技(成都)股份有限公司 一种基于深度学习的多模态工业缺陷分析方法及系统
WO2024000372A1 (zh) * 2022-06-30 2024-01-04 宁德时代新能源科技股份有限公司 一种缺陷检测的方法和装置
WO2024157243A1 (en) * 2023-01-26 2024-08-02 Nano Dimension Technologies Ltd Inspecting a product made by additive manufacturing

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598856A (zh) * 2020-05-08 2020-08-28 浙江工商大学 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统
CN111598856B (zh) * 2020-05-08 2024-05-10 无锡瑞特思普智能科技有限公司 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统
CN111555843B (zh) * 2020-05-13 2021-07-27 湖南科技学院 一种半导体纳米材料热输运性质测试系统
CN111555843A (zh) * 2020-05-13 2020-08-18 湖南科技学院 一种半导体纳米材料热输运性质测试系统
CN111614969A (zh) * 2020-05-14 2020-09-01 深圳供电局有限公司 无人机巡视视频直播方法及系统
CN111626995A (zh) * 2020-05-19 2020-09-04 上海艾豚科技有限公司 一种针对工件的智能嵌件检测方法和装置
CN111626995B (zh) * 2020-05-19 2024-03-01 上海艾豚科技有限公司 一种针对工件的智能嵌件检测方法和装置
CN111855801A (zh) * 2020-07-24 2020-10-30 武汉大学 一种基于激光超声成像的粗糙部件缺陷尺寸精确测量方法
CN111855801B (zh) * 2020-07-24 2021-04-27 武汉大学 一种基于激光超声成像的粗糙部件缺陷尺寸精确测量方法
CN115867403A (zh) * 2020-08-19 2023-03-28 卡尔蔡司工业测量技术有限公司 用于工件的增材制造的方法和装置
CN112014476A (zh) * 2020-09-04 2020-12-01 山东大学 一种碳纤维复合材料制造缺陷分类、定量评估方法及系统
CN111929309A (zh) * 2020-09-14 2020-11-13 成都卓识维景科技有限公司 一种基于机器视觉的铸造件外观缺陷检测方法及系统
CN112264731A (zh) * 2020-10-20 2021-01-26 李小兵 一种改善焊接质量的控制方法及装置
TWI816060B (zh) * 2020-10-28 2023-09-21 友達光電股份有限公司 監測系統及其方法
CN112846183A (zh) * 2021-02-25 2021-05-28 武汉大学 一种金属增材制造逐层激光-超声-等离子体复合清洗方法及装置
CN113030108A (zh) * 2021-03-08 2021-06-25 哈尔滨工程大学 一种基于机器视觉的涂层缺陷检测系统与方法
CN113134675A (zh) * 2021-03-16 2021-07-20 哈尔滨工业大学 一种基于超声检测的搅拌摩擦焊焊接方法及系统
CN113134675B (zh) * 2021-03-16 2022-09-23 哈尔滨工业大学 一种基于超声检测的搅拌摩擦焊焊接方法及系统
CN113361958A (zh) * 2021-06-30 2021-09-07 李炳集 一种缺陷预警方法及系统
CN113533524A (zh) * 2021-08-10 2021-10-22 中铁工程装备集团有限公司 齿圈缺陷检测装置及方法
CN113533524B (zh) * 2021-08-10 2023-09-15 中铁工程装备集团有限公司 齿圈缺陷检测装置及方法
CN113781585A (zh) * 2021-08-27 2021-12-10 华中科技大学 一种增材制造零件表面缺陷在线检测方法及系统
CN113781585B (zh) * 2021-08-27 2024-02-06 华中科技大学 一种增材制造零件表面缺陷在线检测方法及系统
US11978189B2 (en) 2022-06-30 2024-05-07 Contemporary Amperex Technology Co., Limited Defect detection method and apparatus
WO2024000372A1 (zh) * 2022-06-30 2024-01-04 宁德时代新能源科技股份有限公司 一种缺陷检测的方法和装置
EP4322106A4 (en) * 2022-06-30 2024-02-28 Contemporary Amperex Technology Co., Limited METHOD AND DEVICE FOR ERROR DETECTION
CN114998342A (zh) * 2022-08-04 2022-09-02 海门市刘氏铸造有限公司 基于镀锌板面图案识别的镀锌工艺控制方法及装置
WO2024157243A1 (en) * 2023-01-26 2024-08-02 Nano Dimension Technologies Ltd Inspecting a product made by additive manufacturing
CN116429910A (zh) * 2023-03-16 2023-07-14 江南大学 液晶面板ito电路缺陷检测方法、系统和装置
CN116466667A (zh) * 2023-04-20 2023-07-21 成都工业职业技术学院 一种零件加工的智能控制方法、系统及存储介质
CN116818799A (zh) * 2023-06-20 2023-09-29 广州宝立科技有限公司 一种基于机器视觉检测技术的智能验布方法及装置
CN117011289A (zh) * 2023-09-27 2023-11-07 广州中浩控制技术有限公司 用于软胶囊生产的质量检验、系统、介质及计算机设备
CN117030724B (zh) * 2023-10-09 2023-12-08 诺比侃人工智能科技(成都)股份有限公司 一种基于深度学习的多模态工业缺陷分析方法及系统
CN117030724A (zh) * 2023-10-09 2023-11-10 诺比侃人工智能科技(成都)股份有限公司 一种基于深度学习的多模态工业缺陷分析方法及系统

Also Published As

Publication number Publication date
CN111007073B (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN111007073B (zh) 一种増材制造过程中零件缺陷在线检测的方法及检测系统
CN108555908B (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN111652085B (zh) 基于2d与3d特征结合的物体识别方法
CN112836734A (zh) 一种异源数据融合方法及装置、存储介质
EP3258441B1 (en) Template creation device and template creation method
CN110929795B (zh) 高速焊线机焊点快速识别与定位方法
CN112419429B (zh) 一种基于多视角的大型工件表面缺陷检测标定方法
CN109886947A (zh) 基于区域的卷积神经网络的高压电线缺陷检测方法
CN113267452A (zh) 一种基于机器视觉的发动机缸体表面缺陷检测方法及系统
CN114693661A (zh) 一种基于深度学习的快速分拣方法
Chang et al. A lightweight appearance quality assessment system based on parallel deep learning for painted car body
CN113034600A (zh) 基于模板匹配的无纹理平面结构工业零件识别和6d位姿估计方法
US20230368414A1 (en) Pick and place systems and methods
CN113240647A (zh) 一种基于深度学习的手机外壳后盖缺陷检测方法和系统
CN113222982A (zh) 基于改进的yolo网络的晶圆表面缺陷检测方法及系统
CN111008994A (zh) 基于MPSoC的运动目标实时检测跟踪系统及方法
CN113393426A (zh) 一种轧钢板表面缺陷检测方法
CN116255908B (zh) 面向水下机器人的海生物定位测量装置及方法
CN116486287A (zh) 基于环境自适应机器人视觉系统的目标检测方法及系统
CN114004814A (zh) 一种基于深度学习和灰度三阶矩分析的煤矸石识别方法及系统
Li et al. Vision-based target detection and positioning approach for underwater robots
CN116337887A (zh) 铸造缸体上表面缺陷检测方法及系统
Singh et al. Performance analysis of object detection algorithms for robotic welding applications in planar environment
CN112530267B (zh) 一种基于计算机视觉的机械臂智能示教方法及应用
CN112991304B (zh) 一种基于激光定向能量沉积监测系统的熔池溅射检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant