CN114897908A - 基于机器视觉的激光选区铺粉烧结面缺陷分析方法及系统 - Google Patents

基于机器视觉的激光选区铺粉烧结面缺陷分析方法及系统 Download PDF

Info

Publication number
CN114897908A
CN114897908A CN202210823222.8A CN202210823222A CN114897908A CN 114897908 A CN114897908 A CN 114897908A CN 202210823222 A CN202210823222 A CN 202210823222A CN 114897908 A CN114897908 A CN 114897908A
Authority
CN
China
Prior art keywords
defect
area
powder
defects
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210823222.8A
Other languages
English (en)
Other versions
CN114897908B (zh
Inventor
叶丽君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qidong Chuanglyu Greening Engineering Co ltd
Original Assignee
Tuolunsi Semiconductor Equipment Qidong Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tuolunsi Semiconductor Equipment Qidong Co ltd filed Critical Tuolunsi Semiconductor Equipment Qidong Co ltd
Priority to CN202210823222.8A priority Critical patent/CN114897908B/zh
Publication of CN114897908A publication Critical patent/CN114897908A/zh
Application granted granted Critical
Publication of CN114897908B publication Critical patent/CN114897908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00—Technologies related to metal processing
    • Y02P10/25—Process efficiency

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及人工智能领域，具体涉及一种基于机器视觉的激光选区铺粉烧结面缺陷分析方法及系统，包括:采集粉末床图像；提取所述粉末床图像中激光选区零件铺粉表面的缺陷区域；对所述激光选区零件铺粉表面进行异常区域检测；根据缺陷类型置信度模型，对所述激光选区零件铺粉表面的所述缺陷区域进行缺陷类型初分类，分为线状缺陷和块状缺陷；根据缺陷特征对所述线状缺陷类型和块状缺陷类型进行再分类，将所述线状缺陷类型细分为条纹缺陷和粉堆缺陷，所述块状缺陷类型细分为熔覆层偏高缺陷和供粉不足缺陷。上述方法用于对激光选区零件铺粉烧结面的缺陷分析，通过上述方法可实现对激光选区铺粉烧结面缺陷的自动识别，提高缺陷分析的效率和精度。

Description

基于机器视觉的激光选区铺粉烧结面缺陷分析方法及系统
技术领域
本发明涉及人工智能领域，具体涉及一种基于机器视觉的激光选区铺粉烧结面缺陷分析方法及系统。
背景技术
激光选区铺粉技术作为一种新的增材制造技术，具有制造周期短，能直接制造任意复杂结构的金属零件等技术优势。由于激光选区铺粉成形过程是一个复杂的熔化-凝固冶金过程，使得成形件的质量很难得到准确控制，其中激光选区铺粉过程的铺粉质量是决定成形质量的关键因素。
铺粉过程经常会出现不同的缺陷，如条纹形缺陷、粉堆缺陷、供粉不足缺陷和熔覆层偏高缺陷等，使单层加工后的表面质量较差，导致最终成形的零件内部出现气孔、裂纹和未熔化粉末等冶金缺陷，影响零件的质量和性能。因此，为避免零件成形失败，在加工过程中需要保证每一层的铺粉质量。目前对于铺粉质量的监测主要是通过人工目视检查，根据已有经验对观察到的铺粉异常区域进行识别和分类。
然而现有的人工目视检查方法不仅耗时耗力，实时性低，而且依赖检查者的主观经验，误检率较高，效率较低。因此亟需一种方法提高对零件铺粉表面缺陷区域分析的效率和精度。
发明内容
本发明提供了一种基于机器视觉的激光选区铺粉烧结面缺陷分析方法及系统，包括：
采集粉末床图像；提取所述粉末床图像中激光选区零件铺粉表面的缺陷区域；对所述激光选区零件铺粉表面进行异常区域检测；根据缺陷类型置信度模型，对所述激光选区零件铺粉表面的所述缺陷区域进行缺陷类型初分类，分为线状缺陷和块状缺陷；根据缺陷特征对所述线状缺陷类型和块状缺陷类型进行再分类，将所述线状缺陷类型细分为条纹缺陷和粉堆缺陷，所述块状缺陷类型细分为熔覆层偏高缺陷和供粉不足缺陷,相比于现有技术，通过计算机视觉对激光选区铺粉烧结面缺陷进行分析识别，不会对产品元件等造成伤害，同时提高可靠性及安全性。
进一步的，本发明将机器视觉MV与神经网络进行结合，基于MV的缺陷检测提取结果作为网络训练的标签数据，可提高网络检测精度，加快网络训练速度，减少人工标注引起的数据标注误差等问题。
更进一步的，对于铺粉烧结面不同的缺陷，本发明首先建立第一模型初步识别线状、块状缺陷，能够快速准确初步判断铺粉表面缺陷。然后根据缺陷特征建立不同的缺陷类别细识别模型，模型包含的参数范围广，鲁棒性强，并且结果易于识别判定，便于工作人员对铺粉表面缺陷进一步详细了解，并及时采取有效的处理措施。
为达到上述目的，本发明采用以下技术方案，一种基于机器视觉的激光选区铺粉烧结面缺陷分析方法，包括：
采集粉末床图像。
提取所述粉末床图像中激光选区零件铺粉表面的缺陷区域。
对所述激光选区零件铺粉表面进行异常区域检测。
根据建立的缺陷类型置信度估计模型，对所述激光选区零件铺粉表面的所述缺陷区域进行缺陷类型初分类，获取缺陷类型初分类结果；所述初分类结果分为线状缺陷和块状缺陷。
根据所述线状缺陷判定函数对所述线状缺陷类型进行再分类，将所述线状缺陷类型细分为条纹缺陷和粉堆缺陷。
根据所述块状缺陷判定函数对所述块状缺陷类型进行再分类，将所述块状缺陷类型细分为熔覆层偏高缺陷和供粉不足缺陷。
进一步的，所述一种基于机器视觉的激光选区铺粉烧结面缺陷分析方法，提取粉末床图像中激光选区零件铺粉表面的缺陷区域，包括：
获取粉末床图像中的激光选区零件铺粉表面图。
对所述激光选区零件铺粉表面图进行双阈值分割，获取所述激光选区零件铺粉表面缺陷区域二值图。
对所述缺陷区域二值图进行去噪处理，获取去噪后的缺陷区域二值图。
进一步的，所述一种基于机器视觉的激光选区铺粉烧结面缺陷分析方法，对激光选区零件铺粉表面进行异常区域检测，包括：
获取语义感知网络训练的标签数据。
将激光选区零件铺粉表面图像和所述标签数据输入语义感知网络完成训练。
利用所述训练好的语义感知网络对所述激光选区零件铺粉表面图像进行异常区域检测。
进一步的，所述一种基于机器视觉的激光选区铺粉烧结面缺陷分析方法，缺陷类型置信度估计模型，包括：
获取激光选区零件铺粉表面缺陷区域。
获取所述缺陷区域外接矩形的边长比。
获取所述缺陷区域的面积。
根据所述缺陷区域外接矩形的边长比和所述缺陷区域的面积，建立缺陷类型置信度模型，所述模型的表达式为：
Figure 100002_DEST_PATH_IMAGE002
式中：
Figure 100002_DEST_PATH_IMAGE004
为可调参数，
Figure 100002_DEST_PATH_IMAGE006
为缺陷区域面积，也即语义感知效果图中所有像素值为1的像素之和；
Figure 100002_DEST_PATH_IMAGE008
为缺陷区域外接矩形的边长比，
Figure 100002_DEST_PATH_IMAGE010
为缺陷类型置信度。
进一步的，所述一种基于机器视觉的激光选区铺粉烧结面缺陷分析方法，线状缺陷判定函数的表达式为：
Figure 100002_DEST_PATH_IMAGE012
式中：为缺陷像素横坐标变化度量值，
Figure 100002_DEST_PATH_IMAGE014
为像素横坐标均值,
Figure 100002_DEST_PATH_IMAGE016
为第i个像素横坐标值，为横坐标个数。
进一步的，所述一种基于机器视觉的激光选区铺粉烧结面缺陷分析方法，块状缺陷判定函数的构建方法，包括：
获取激光选区零件铺粉表面块状缺陷区域。
获取所述块状缺陷区域的面积。
获取所述块状缺陷区域的占空比。
获取所述块状缺陷区域的灰度比值。
根据所述块状缺陷区域的面积、所述块状缺陷区域的占空比和所述块状缺陷区域的灰度比值，构建块状缺陷判定函数，所述函数的表达式为：
Figure 100002_DEST_PATH_IMAGE018
式中：
Figure 100002_DEST_PATH_IMAGE020
为大于零的偏置项，用于对函数进行修正，
Figure 100002_DEST_PATH_IMAGE022
为块状缺陷类型的判定值，
Figure 100002_DEST_PATH_IMAGE024
代表缺陷面积、灰度比值、占空比对块状缺陷类型判断的影响权重，
Figure 668724DEST_PATH_IMAGE006
为缺陷区域的面积，
Figure 100002_DEST_PATH_IMAGE026
为缺陷区域的灰度比值，
Figure 100002_DEST_PATH_IMAGE028
为缺陷区域的占空比。
另一方面，本发明还提供一种基于机器视觉的激光选区铺粉烧结面缺陷分析系统，包括：缺陷区域提取模块、铺粉表面异常区域检测模块、缺陷区域初分类模型和缺陷区域再分类模型：
所述缺陷区域提取模块，用于为铺粉表面异常检测网络的数据标注提供依据。
所述铺粉表面异常区域检测模块，用于获取激光选区零件铺粉表面的缺陷区域。
所述缺陷初分类模型，用于对所述缺陷区域进行初分类，获取缺陷类型初分类结果，所述初分类结果分为线状缺陷和块状缺陷。
所述缺陷区域再分类模型，用于根据所述缺陷类型初分类结果，对所述线状缺陷类型和块状缺陷类型进行再分类，将所述线状缺陷类型细分为条纹缺陷和粉堆缺陷，将所述块状缺陷类型细分为熔覆层偏高缺陷和供粉不足缺陷。
本发明的有益效果在于：
通过计算机视觉对激光选区铺粉烧结面缺陷进行分析识别，相比于现有技术，该方法具有非接触性检测，不会对产品元件等造成伤害，同时提高可靠性及安全性。
本发明考虑到人工标注网络训练标签数据的方法存在工作量大、数据标注不够准确等问题，本发明将机器视觉MV与神经网络进行结合，基于MV的缺陷检测提取结果作为网络训练的标签数据，相比于现有技术，该方法可提高网络检测精度，加快网络训练速度，减少人工标注引起的数据标注误差等问题。
对于铺粉烧结面不同的缺陷，本发明首先建立第一模型初步识别线状、块状缺陷，能够快速准确初步判断铺粉表面缺陷。然后根据缺陷特征建立不同的缺陷类别细识别模型，相比于现有技术，该方法中模型包含的参数范围广，鲁棒性强，并且结果易于识别判定，便于工作人员对铺粉表面缺陷进一步详细了解，并及时采取有效的处理措施。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种激光选区铺粉烧结面缺陷分析方法流程示意图；
图2是本发明实施例提供的一种激光选区铺粉烧结面缺陷分析方法流程示意图；
图3是本发明实施例提供的一种激光选区铺粉烧结面缺陷分析系统框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了让本领域技术人员更好地理解本发明，下面结合实施例和附图对本发明进行详细的描述。
实施例1
本发明实施例提供一种基于机器视觉的激光选区铺粉烧结面缺陷分析方法，如图1所示，包括：
101、采集粉末床图像。
其中，粉末床图像是根据激光选区熔化设备结构及工作原理，选用合适的相机、光源等对粉末床表面进行的图像采集。
102、提取所述粉末床图像中激光选区零件铺粉表面的缺陷区域。
其中，激光选区为零件所在区域，对激光选区进行提取，可减少对不必要区域的检测，提高效率。
103、对所述激光选区零件铺粉表面进行异常区域检测。
其中，异常区域检测主要是通过网络感知对图像进行检测。
104、根据建立的缺陷类型置信度估计模型，对所述激光选区零件铺粉表面的所述缺陷区域进行缺陷类型初分类，获取缺陷类型初分类结果；所述初分类结果分为线状缺陷和块状缺陷。
其中，置信度是指一个概率样本的置信区间对这个样本的某个总体参数的区间估计。
105、根据所述线状缺陷判定函数对所述线状缺陷类型进行再分类，将所述线状缺陷类型细分为条纹缺陷和粉堆缺陷。
其中，条纹缺陷和粉堆缺陷都是在铺粉过程形成的缺陷，这些缺陷会导致成形的零件内部出现裂纹和未熔化等冶金缺陷，影响零件的质量和性能。
106、根据所述块状缺陷判定函数对所述块状缺陷类型进行再分类，将所述块状缺陷类型细分为熔覆层偏高缺陷和供粉不足缺陷。
其中，熔覆层是指通过熔化覆盖在基体材料表面并与之形成冶金结合的表面涂层。
本实施例的有益效果在于：
通过计算机视觉对激光选区铺粉烧结面缺陷进行分析识别，相比于现有技术，本实施例具有非接触性检测，不会对产品元件等造成伤害，同时提高可靠性及安全性。
本实施例考虑到人工标注网络训练标签数据的方法存在工作量大、数据标注不够准确等问题，本实施例将机器视觉MV与神经网络进行结合，基于MV的缺陷检测提取结果作为网络训练的标签数据，相比于现有技术，本实施例可提高网络检测精度，加快网络训练速度，减少人工标注引起的数据标注误差等问题。
对于铺粉烧结面不同的缺陷，本实施例首先建立第一模型初步识别线状、块状缺陷，能够快速准确初步判断铺粉表面缺陷。然后根据缺陷特征建立不同的缺陷类别细识别模型，相比于现有技术，本实施例中模型包含的参数范围广，鲁棒性强，并且结果易于识别判定，便于工作人员对铺粉表面缺陷进一步详细了解，并及时采取有效的处理措施。
实施例2
本发明实施例提供基于机器视觉的激光选区铺粉烧结面缺陷分析方法，如图2所示，包括：
201、采集粉末床图像。
本实施例在激光选区熔化制造平台上方安装可移动的线扫描相机，相机跟激光设备移动情况同步，保证相机能够扫描激光选区熔化制造过程中完整的零件表面。
202、获取粉末床图像中的激光选区零件铺粉表面图。
本实施例主要对零件表面的铺粉状态缺陷等进行检测，因此，本实施例设置ROI区域，将粉床中零件所在区域作为ROI区域，仅对ROI区域图像进行处理检测，减少系统计算量，降低无关区域对零件表面铺粉缺陷检测的影响。
203、对所述激光选区零件铺粉表面图进行双阈值分割，获取所述激光选区零件铺粉表面缺陷区域二值图。
对图像的分割主要是根据在粉末床表面的图像中，铺粉完好零件表面整体灰度值较为一致，且绝大部分像素的灰度值都集中在灰度级的狭小范围内，而缺陷区域的灰度值通常表现为比铺粉完好区域更暗或者更亮，因此，本实施例提出选取两个阈值进行图像分割，以便分割出更暗与更亮的缺陷区域。具体分割方法为：
1)首先对图像进行增强处理，以便使缺陷区域更加突出。利用选定大小的子块（本方法选取大小为 100×100）遍历图像的每个像素，建立如下函数对图像中每个像素进行处理：
Figure 100002_DEST_PATH_IMAGE030
+
Figure 100002_DEST_PATH_IMAGE032
其中，为处理后的像素灰度值，
Figure DEST_PATH_IMAGE034
为处理前的像素灰度值，
Figure DEST_PATH_IMAGE036
为当前子块中所有像素灰度均值，
Figure 248128DEST_PATH_IMAGE032
为整个图像所有像素灰度均值。
2)计算经过步骤1）处理后的图像的均值和标准差，分别记为
Figure DEST_PATH_IMAGE038
，并基于此对图像设置上下分割阈值，利用
Figure DEST_PATH_IMAGE040
和
Figure DEST_PATH_IMAGE042
分别作为上阈值和下阈值对图像进行分割，分别记为
Figure DEST_PATH_IMAGE044
。其中
Figure DEST_PATH_IMAGE046
的值实施者自行选取。本实施例中取
Figure DEST_PATH_IMAGE048
。
3)最后，对于图像中的每个像素，设置如下函数对图像进行分割：
Figure DEST_PATH_IMAGE050
其中，
Figure DEST_PATH_IMAGE052
为分割后的图像像素灰度值，
Figure DEST_PATH_IMAGE054
为分割前的像素灰度值，
Figure 345135DEST_PATH_IMAGE044
分别为上、下分割阈值。
204、对所述缺陷区域二值图进行去噪处理，获取去噪后的缺陷区域二值图。
所述对图像进行去噪主要是根据在图像的采集和传输过程中，往往会由于传输信道受到干扰或者硬件发热等原因使得获得的图像夹杂一定的噪声。由于本实施例拍摄的对象是松散的粉末，粉末颗粒的不同堆积状态对光的反射也不同，使得获取的图像存在大量的噪声。噪声的存在会使得图像质量下降，增加后续处理的难度，导致误判。因此，本实施例对图像进行如下去噪处理。具体去噪处理过程为：
先对图像进行形态学开运算后再进行闭运算处理，构成形态开闭滤波器来去除原始图像中较小的孤立像素噪声，然后通过连通域分析得到每个连通域的面积，对连通域面积设置阈值
Figure DEST_PATH_IMAGE056
，当连通域面积小于
Figure 362770DEST_PATH_IMAGE056
时，该系统将自动滤除该连通域，本实施例中将连通域面积阈值设置为10，故系统将滤除面积小于10的连通域。
205、提取所述粉末床图像中激光选区零件铺粉表面的缺陷区域。
206、获取语义感知网络训练的标签数据。
网络训练标签数据的获取是基于缺陷区域提取的结果得到的。为减少人工标注的工作量，提高网络准确度，本实施例将MV与CNN进行结合，将缺陷区域提取的结果作为铺粉表面缺陷检测网络训练标签数据制作的依据，通过机器视觉提取缺陷区域，系统基于此对图像进行标注，将机器视觉提取的缺陷区域像素标注为1，非缺陷区域像素标注为0，并将其作为网络训练的标签数据。
207、将激光选区零件铺粉表面图像和所述标签数据输入语义感知网络完成训练。
本实施例采用深度神经网络对激光选区零件表面铺粉异常区域进行感知，对于网络训练的标签数据，本实施例将通过MV的方式得到网络训练的标签数据。然后将图像数据及标签数据均送入语义感知网络进行训练，经异常区域感知编码器解码器对铺粉表面异常区域进行感知。网络采用交叉熵损失函数进行迭代训练。
208、利用所述训练好的语义感知网络对所述激光选区零件铺粉表面图像进行异常区域检测。
网络训练完成之后，本实施例可通过语义感知网络对相机采集的图像进行异常区域检测，若网络感知到缺陷或异常区域，则进一步对零件铺粉表面缺陷类别进行判断。
209、获取激光选区零件铺粉表面缺陷区域。
所述缺陷类型分为四类，本实施例主要识别四种铺粉表面缺陷：条纹缺陷、粉堆缺陷、熔覆层偏高以及供粉不足缺陷，其中条纹缺陷、粉堆缺陷为线状缺陷，熔覆层偏高以及供粉不足缺陷为块状缺陷。
网络感知到缺陷区域后，通过连通域分析算法分析二值图中连通域个数，若连通域个数等于1，则认为出现一处缺陷，直接进行下一步的检测识别；若连通域个数大于1，则需要提取二值图像中每个缺陷区域的外接矩形，并基于外接矩形进行剪切，针对每个缺陷区域分别进行判断识别，防止多个缺陷同时存在时各缺陷之间的干扰。
210、获取所述缺陷区域外接矩形的边长比。
零件铺粉表面缺陷类型初分类：本实施例首先对铺粉表面缺陷进行初分类，该步骤能够提高系统检测精度，减少系统识别时间，便于后续缺陷类型的详细分类。为初步区分铺粉表面线状与块状缺陷，本实施例提取缺陷边长比以及面积特征向量，并构建模型以初步识别缺陷类型。本实施例定义缺陷区域外接矩形边长比为矩形短边与长边之比，缺陷外接矩形的边长比计算公式为：
Figure DEST_PATH_IMAGE058
其中，
Figure DEST_PATH_IMAGE060
为缺陷区域外接矩形较短边，
Figure DEST_PATH_IMAGE062
为缺陷区域外接矩形较长边。
211、获取所述缺陷区域的面积。
根据铺粉表面缺陷区域特征可知，线状缺陷相对于块状缺陷而言，面积较小，外接矩形的边长比值较小。
212、根据所述缺陷区域外接矩形的边长比和所述缺陷区域的面积，建立缺陷类型置信度估计模型，所述模型的表达式为：
Figure DEST_PATH_IMAGE002A
式中：
Figure 511465DEST_PATH_IMAGE004
为可调参数，
Figure 247340DEST_PATH_IMAGE006
为缺陷区域面积，也即语义感知效果图中所有像素值为1的像素之和；为缺陷区域外接矩形的边长比，A为缺陷区域置信度。
213、根据建立的缺陷类型置信度估计模型，对所述激光选区零件铺粉表面的所述缺陷区域进行缺陷类型初分类，获取缺陷类型初分类结果；所述初分类结果分为线状缺陷和块状缺陷。
根据所建模型，可对铺粉表面缺陷进行初步判断。线状缺陷的函数值较块状缺陷小，因此，可根据人为经验设置第一函数阈值
Figure DEST_PATH_IMAGE064
，结合第一模型进行铺粉表面缺陷类型判断：
Figure DEST_PATH_IMAGE066
214、构建线性缺陷判定函数。
根据铺粉表面线状缺陷呈现的特征规律，条纹缺陷只会与铺粉方向平行，而粉堆缺陷则与铺粉方向垂直，体现在图像上则分别为水平和竖直直线，故本实施例通过缺陷像素横坐标变化度量值来识别线状缺陷类别，线性缺陷判定函数表达式为：
Figure DEST_PATH_IMAGE012A
式中：
Figure DEST_PATH_IMAGE068
为缺陷像素横坐标变化度量值，
Figure 492245DEST_PATH_IMAGE014
为像素横坐标均值,
Figure 629965DEST_PATH_IMAGE016
为第i个像素横坐标值，
Figure DEST_PATH_IMAGE070
为横坐标个数。
215、根据所述线状缺陷判定函数对所述线状缺陷类型进行再分类，将所述线状缺陷类型细分为条纹缺陷和粉堆缺陷。
根据线状缺陷判定函数，当铺粉表面出现条纹缺陷时，缺陷像素横坐标变化度量值较粉堆缺陷大，因此，根据经验设置线状缺陷判定函数阈值M，当函数值超过所设阈值M时，认为该缺陷为线性条纹缺陷，否则为线状粉堆缺陷。
216、获取激光选区零件铺粉表面块状缺陷区域。
217、获取所述块状缺陷区域的面积。
所述块状缺陷面积为语义感知效果图中所有像素值为1的像素之和，也即缺陷内像素个数，记为缺陷面积
Figure 826592DEST_PATH_IMAGE006
，用于描述缺陷的大小。
218、获取所述块状缺陷区域的占空比。
所述块状缺陷区域的占空比为缺陷面积
Figure 49763DEST_PATH_IMAGE006
与缺陷区域外接矩形面积之比，记为
Figure 507813DEST_PATH_IMAGE028
，其表达式为：
Figure DEST_PATH_IMAGE072
其中，
Figure DEST_PATH_IMAGE074
分别为缺陷区域外接矩形的边长，缺陷面积。
219、获取所述块状缺陷区域的灰度比值。
所述块状缺陷区域灰度比值为：
Figure DEST_PATH_IMAGE076
其中，
Figure 359095DEST_PATH_IMAGE026
为缺陷区域灰度比值，
Figure DEST_PATH_IMAGE078
代表正常铺粉时烧结面灰度值，
Figure DEST_PATH_IMAGE080
为出现块状缺陷区域的灰度值，在此需要说明，缺陷区域灰度值的获取方法为：将得到的缺陷区域二值图作为掩膜，与线扫描相机采集的图像进行相乘操作，得到缺陷区域的原图像，通过灰度值计算公式获取缺陷区域灰度：
Figure DEST_PATH_IMAGE082
。
220、根据所述块状缺陷区域的面积、所述缺陷区域的占空比和所述缺陷区域的灰度比值，构建块状缺陷判定函数，所述函数的表达式为：
Figure DEST_PATH_IMAGE018A
其中
Figure DEST_PATH_IMAGE084
为大于零的偏置项，用于对函数进行修正，本实施例将其设置为1，
Figure 100523DEST_PATH_IMAGE022
为块状缺陷类型的判定值，
Figure 810990DEST_PATH_IMAGE024
代表缺陷面积、灰度比值、占空比对块状缺陷类型判断的影响权重，
Figure DEST_PATH_IMAGE086
，具体数值实施者可自行选取。本实施例根据不同缺陷特征对块状缺陷类型判断的影响程度，分别将权重值设置为
Figure DEST_PATH_IMAGE088
。
221、根据所述块状缺陷判定函数对所述块状缺陷类型进行再分类，将所述块状缺陷类型细分为熔覆层偏高缺陷和供粉不足缺陷。
根据构建的块状缺陷类型判定模型可对铺粉表面块状缺陷类别进行分析判断，所述模型中判定值越大，则供粉不足缺陷的可能性越大，本实施例对块状缺陷类型判定模型的函数值设置阈值
Figure DEST_PATH_IMAGE090
，函数判定阈值实施者可根据实际情况自行选取，本实施例设置
Figure DEST_PATH_IMAGE092
当块状缺陷类型的判定值超过20时，则认为铺粉表面块状缺陷为供粉不足缺陷；若函数值低于20时，认为铺粉表面块状缺陷为熔覆层偏高缺陷。
实施例3
本发明实施例提供一种基于机器视觉的激光选区铺粉烧结面缺陷分析系统，如图3所示，包括缺陷区域提取模块31、铺粉表面异常区域检测模块32、缺陷区域初分类模型33和缺陷区域再分类模型34：
所述缺陷区域提取模块31，用于为铺粉表面异常检测网络的数据标注提供依据；
所述铺粉表面异常区域检测模块32，用于获取激光选区零件铺粉表面的缺陷区域；
所述缺陷初分类模型33，用于对所述缺陷区域进行初分类，获取缺陷类型初分类结果，所述初分类结果分为线状缺陷和块状缺陷；
所述缺陷区域再分类模型34，用于根据所述缺陷类型初分类结果，对所述线状缺陷类型和块状缺陷类型进行再分类，将所述线状缺陷类型细分为条纹缺陷和粉堆缺陷，将所述块状缺陷类型细分为熔覆层偏高缺陷和供粉不足缺陷。
每个模块的详细内容可参考其他实施例对应内容，此处不再赘述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于机器视觉的激光选区铺粉烧结面缺陷分析方法，其特征在于，包括：
采集粉末床图像；
提取所述粉末床图像中激光选区零件铺粉表面的缺陷区域；
对所述激光选区零件铺粉表面进行异常区域检测；
根据建立的缺陷类型置信度估计模型，对所述激光选区零件铺粉表面的所述缺陷区域进行缺陷类型初分类，获取缺陷类型初分类结果；所述初分类结果分为线状缺陷和块状缺陷；
根据所述线状缺陷判定函数对所述线状缺陷类型进行再分类，将所述线状缺陷类型细分为条纹缺陷和粉堆缺陷；
根据所述块状缺陷判定函数对所述块状缺陷类型进行再分类，将所述块状缺陷类型细分为熔覆层偏高缺陷和供粉不足缺陷。
2.根据权利要求1所述一种基于机器视觉的激光选区铺粉烧结面缺陷分析方法，其特征在于，所述提取粉末床图像中激光选区零件铺粉表面的缺陷区域，包括：
获取所述粉末床图像中的激光选区零件铺粉表面图；
对所述激光选区零件铺粉表面图进行双阈值分割，获取所述激光选区零件铺粉表面缺陷区域二值图；
对所述缺陷区域二值图进行去噪处理，获取去噪后的缺陷区域二值图。
3.根据权利要求1所述一种基于机器视觉的激光选区铺粉烧结面缺陷分析方法，其特征在于，所述对激光选区零件铺粉表面进行异常区域检测，包括：
获取语义感知网络训练的标签数据；
将激光选区零件铺粉表面图像和所述标签数据输入语义感知网络完成训练；
利用所述训练好的语义感知网络对所述激光选区零件铺粉表面图像进行异常区域检测。
4.根据权利要求1所述一种基于机器视觉的激光选区铺粉烧结面缺陷分析方法，其特征在于，所述缺陷类型置信度估计模型，包括：
获取激光选区零件铺粉表面缺陷区域；
获取所述缺陷区域外接矩形的边长比；
获取所述缺陷区域的面积；
根据所述缺陷区域外接矩形的边长比和所述缺陷区域的面积，建立缺陷类型置信度模型，所述模型的表达式为：
Figure DEST_PATH_IMAGE002
式中：
Figure DEST_PATH_IMAGE004
为可调参数，
Figure DEST_PATH_IMAGE006
为缺陷区域面积，也即语义感知效果图中所有像素值为1的像素之和；
Figure DEST_PATH_IMAGE008
为缺陷区域外接矩形的边长比，
Figure DEST_PATH_IMAGE010
为缺陷类型置信度。
5.根据权利要求1所述一种基于机器视觉的激光选区铺粉烧结面缺陷分析方法，其特征在于，所述线状缺陷判定函数的表达式为：
Figure DEST_PATH_IMAGE012
式中：
Figure DEST_PATH_IMAGE014
为缺陷像素横坐标变化度量值，
Figure DEST_PATH_IMAGE016
为像素横坐标均值,
Figure DEST_PATH_IMAGE018
为第i个像素横坐标值，
Figure DEST_PATH_IMAGE020
为横坐标个数。
6.根据权利要求1所述一种基于机器视觉的激光选区铺粉烧结面缺陷分析方法，其特征在于，所述块状缺陷判定函数的构建方法，包括：
获取激光选区零件铺粉表面块状缺陷区域；
获取所述块状缺陷区域的面积；
获取所述块状缺陷区域的占空比；
获取所述块状缺陷区域的灰度比值；
根据所述块状缺陷区域的面积、所述块状缺陷区域的占空比和所述块状缺陷区域的灰度比值，构建块状缺陷判定函数，所述函数的表达式为：
Figure DEST_PATH_IMAGE022
式中：
Figure DEST_PATH_IMAGE024
为大于零的偏置项，用于对函数进行修正，
Figure DEST_PATH_IMAGE026
为块状缺陷类型的判定值，
Figure DEST_PATH_IMAGE028
代表缺陷面积、灰度比值、占空比对块状缺陷类型判断的影响权重，
Figure 1202DEST_PATH_IMAGE006
为缺陷区域的面积，
Figure DEST_PATH_IMAGE030
为缺陷区域的灰度比值，
Figure DEST_PATH_IMAGE032
为缺陷区域的占空比。
7.一种基于机器视觉的激光选区铺粉烧结面缺陷分析系统，其特征在于，包括：缺陷区域提取模块、铺粉表面异常区域检测模块、缺陷区域初分类模型和缺陷区域再分类模型：
所述缺陷区域提取模块，用于为铺粉表面异常检测网络的数据标注提供依据；
所述铺粉表面异常区域检测模块，用于获取激光选区零件铺粉表面的缺陷区域；
所述缺陷初分类模型，用于对所述缺陷区域进行初分类，获取缺陷类型初分类结果，所述初分类结果分为线状缺陷和块状缺陷；
所述缺陷区域再分类模型，用于根据所述缺陷类型初分类结果，对所述线状缺陷类型和块状缺陷类型进行再分类，将所述线状缺陷类型细分为条纹缺陷和粉堆缺陷，将所述块状缺陷类型细分为熔覆层偏高缺陷和供粉不足缺陷。
CN202210823222.8A 2022-07-14 2022-07-14 基于机器视觉的激光选区铺粉烧结面缺陷分析方法及系统 Active CN114897908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210823222.8A CN114897908B (zh) 2022-07-14 2022-07-14 基于机器视觉的激光选区铺粉烧结面缺陷分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210823222.8A CN114897908B (zh) 2022-07-14 2022-07-14 基于机器视觉的激光选区铺粉烧结面缺陷分析方法及系统

Publications (2)

Publication Number Publication Date
CN114897908A true CN114897908A (zh) 2022-08-12
CN114897908B CN114897908B (zh) 2022-09-16

Family

ID=82729957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210823222.8A Active CN114897908B (zh) 2022-07-14 2022-07-14 基于机器视觉的激光选区铺粉烧结面缺陷分析方法及系统

Country Status (1)

Country Link
CN (1) CN114897908B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116871537A (zh) * 2023-09-08 2023-10-13 易加三维增材技术(杭州)有限公司 铺粉质量的检测方法、装置、电子设备及3d打印机
CN116883400A (zh) * 2023-09-07 2023-10-13 山东大学 一种激光选区熔化过程中的铺粉孔隙率预测方法及系统
CN116984628A (zh) * 2023-09-28 2023-11-03 西安空天机电智能制造有限公司 一种基于激光特征融合成像的铺粉缺陷检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106881462A (zh) * 2017-01-23 2017-06-23 华中科技大学 一种针对激光选区熔化成形缺陷的在线检测与优化系统
CN107402220A (zh) * 2017-07-01 2017-11-28 华中科技大学 一种激光选区熔化成形铺粉质量视觉在线检测方法及系统
CN110253019A (zh) * 2019-07-25 2019-09-20 阳江市五金刀剪产业技术研究院 一种激光选区熔化的质量监控与控制方法
CN111062913A (zh) * 2019-11-25 2020-04-24 西安空天能源动力智能制造研究院有限公司 一种激光选区融化成型粉床铺粉质量检测方法
CN112001909A (zh) * 2020-08-26 2020-11-27 北京科技大学 基于图像特征融合的粉末床缺陷视觉检测方法
CN112819812A (zh) * 2021-02-25 2021-05-18 西安铂力特增材技术股份有限公司 基于图像处理的粉末床缺陷检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106881462A (zh) * 2017-01-23 2017-06-23 华中科技大学 一种针对激光选区熔化成形缺陷的在线检测与优化系统
CN107402220A (zh) * 2017-07-01 2017-11-28 华中科技大学 一种激光选区熔化成形铺粉质量视觉在线检测方法及系统
CN110253019A (zh) * 2019-07-25 2019-09-20 阳江市五金刀剪产业技术研究院 一种激光选区熔化的质量监控与控制方法
CN111062913A (zh) * 2019-11-25 2020-04-24 西安空天能源动力智能制造研究院有限公司 一种激光选区融化成型粉床铺粉质量检测方法
CN112001909A (zh) * 2020-08-26 2020-11-27 北京科技大学 基于图像特征融合的粉末床缺陷视觉检测方法
CN112819812A (zh) * 2021-02-25 2021-05-18 西安铂力特增材技术股份有限公司 基于图像处理的粉末床缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
安超等: ""选区激光熔化成型钴铬合金致密度与孔隙缺陷实验研究"", 《应用激光》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883400A (zh) * 2023-09-07 2023-10-13 山东大学 一种激光选区熔化过程中的铺粉孔隙率预测方法及系统
CN116883400B (zh) * 2023-09-07 2023-11-21 山东大学 一种激光选区熔化过程中的铺粉孔隙率预测方法及系统
CN116871537A (zh) * 2023-09-08 2023-10-13 易加三维增材技术(杭州)有限公司 铺粉质量的检测方法、装置、电子设备及3d打印机
CN116871537B (zh) * 2023-09-08 2024-02-20 易加三维增材技术(杭州)有限公司 铺粉质量的检测方法、装置、电子设备及3d打印机
CN116984628A (zh) * 2023-09-28 2023-11-03 西安空天机电智能制造有限公司 一种基于激光特征融合成像的铺粉缺陷检测方法
CN116984628B (zh) * 2023-09-28 2023-12-29 西安空天机电智能制造有限公司 一种基于激光特征融合成像的铺粉缺陷检测方法

Also Published As

Publication number Publication date
CN114897908B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN114897908B (zh) 基于机器视觉的激光选区铺粉烧结面缺陷分析方法及系统
CN110261436B (zh) 基于红外热成像和计算机视觉的轨道故障检测方法及系统
CN109191459B (zh) 连铸坯低倍组织中心偏析缺陷的自动识别与评级方法
CN109507192B (zh) 一种基于机器视觉的磁芯表面缺陷检测方法
CN115222741A (zh) 一种电缆表面缺陷检测方法
CN115239704B (zh) 一种木材表面缺陷的精准检测修复方法
CN115082683A (zh) 一种基于图像处理的注塑缺陷检测方法
CN109215009B (zh) 基于深度卷积神经网络的连铸坯表面图像缺陷检测方法
CN105044122A (zh) 一种基于半监督学习模型的铜件表面缺陷视觉检测系统及检测方法
CN113628189B (zh) 一种基于图像识别的快速带钢划痕缺陷检测方法
CN114972203A (zh) 基于分水岭分割的机械零件轧制异常检测方法
CN111815555A (zh) 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置
CN110070523B (zh) 一种用于瓶底的异物检测方法
Samarawickrama et al. Matlab based automated surface defect detection system for ceremic tiles using image processing
CN117152161B (zh) 一种基于图像识别的刨花板质量检测方法及系统
CN114881915A (zh) 一种基于对称性的手机玻璃盖板视窗区缺陷检测方法
CN111539927A (zh) 汽车塑料组合件紧固卡扣缺装检测装置的检测过程及算法
CN114581805A (zh) 一种采用3d线激光轮廓技术的涂敷辊面缺陷检测方法
CN115018827A (zh) 一种建材焊缝质量自动检测方法
CN115171218A (zh) 一种基于图像识别技术的物资送样异常行为识别系统
CN113240623A (zh) 一种路面病害检测方法及装置
CN114429544A (zh) 基于计算机视觉的振动筛筛网破损检测方法、系统及装置
CN113706566A (zh) 一种基于边缘检测的加香喷雾性能检测方法
CN110060239B (zh) 一种用于瓶子瓶口的缺陷检测方法
Hashmi et al. Computer-vision based visual inspection and crack detection of railroad tracks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230419

Address after: No. 1 Kaixuan Road, Qidong Economic Development Zone, Nantong City, Jiangsu Province, 226000

Patentee after: QIDONG CHUANGLYU GREENING ENGINEERING Co.,Ltd.

Address before: 226000 No. 1000, Xinhong Road, Huilong Town, Qidong City, Nantong City, Jiangsu Province

Patentee before: TUOLUNSI SEMICONDUCTOR EQUIPMENT QIDONG Co.,Ltd.

TR01 Transfer of patent right