CN116843685A - 一种基于图像检测的3d打印工件缺陷识别方法及系统 - Google Patents

一种基于图像检测的3d打印工件缺陷识别方法及系统 Download PDF

Info

Publication number
CN116843685A
CN116843685A CN202311108068.7A CN202311108068A CN116843685A CN 116843685 A CN116843685 A CN 116843685A CN 202311108068 A CN202311108068 A CN 202311108068A CN 116843685 A CN116843685 A CN 116843685A
Authority
CN
China
Prior art keywords
image
layer
workpiece
decoding
xct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311108068.7A
Other languages
English (en)
Other versions
CN116843685B (zh
Inventor
王继来
郭树标
饶静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202311108068.7A priority Critical patent/CN116843685B/zh
Publication of CN116843685A publication Critical patent/CN116843685A/zh
Application granted granted Critical
Publication of CN116843685B publication Critical patent/CN116843685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明公开的一种基于图像检测的3D打印工件缺陷识别方法及系统，属于3D打印质量检测技术领域，包括：获取3D打印工件的XCT图像；根据XCT图像和训练好的缺陷识别模型，获得工件缺陷识别结果；其中，缺陷识别模型包括编码器、注意力模块和解码器；编码器对XCT图像进行多层编码获取图像特征，并对每层编码获得的图像进行残差信息提取；通过注意力模块提取图像特征的注意力信息；通过解码器对图像特征进行多层解码，并在解码过程中加入残差信息，通过注意力信息对每一解码层解码后的特征进行重建。实现了对3D打印工件缺陷的准确识别。

Description

一种基于图像检测的3D打印工件缺陷识别方法及系统
技术领域
本发明涉及3D打印质量检测技术领域，尤其涉及一种基于图像检测的3D打印工件缺陷识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
金属 3D 打印技术作为一种新型制造技术，无需模具即可自由加工复杂结构零件，在汽车、核电、航空航天等领域具有广阔的应用前景。3D打印过程会经历快速反复熔凝及复杂的传热相变，导致其成形件中出现较大尺寸的柱状晶以及不同种类的缺陷。缺陷的存在会影响材料本身性能的完整性，并且可能会导致材料的失效。故需要对3D打印工件进行准确的缺陷识别。
现有的3D打印工件缺陷识别方法主要包括超声检测、电磁检测、热成像检测和对工件进行X射线计算机断层扫描（XCT）等。超声检测是向3D打印工件发射声波，声波在缺陷处发生反射、透射、绕射等，通过对这些信息进行分析以检测缺陷的存在、形状和位置等。但该方法常用于检测规则形状的金属打印结构，对于形状不规则的工件，缺陷识别准确率较低。电磁检测以电涡流检测为例，激发交流电激发围绕在导电3D打印工件周围的线圈产生交变磁场，使工件内产生涡流，缺陷引起涡流的变化，使阻抗线圈产生相对应的变化，以此识别缺陷，但该非接触式的方法仅可用于表面缺陷的检测且仅适用于导电材料。热成像检测中以主动红外热成像为例，主动红外热成像利用比如热灯、超声波等进行激发，之后采用红外摄像机观测试件表面温差来探测表面下的特征情况，但主动红外热成像需要外部热源且主要检测的是表面缺陷，无法检测材料内部的缺陷。
对工件进行X射线计算机断层扫描（XCT）获取工件的XCT图像，根据XCT图像的灰度值，确定工件的缺陷，该种方法在受到XCT伪影和低噪声比伪影污染的情况下，不能实现对工件缺陷的准确识别。
发明内容
本发明为了解决上述问题，提出了一种基于图像检测的3D打印工件缺陷识别方法及系统，能够实现对3D打印工件缺陷的准确识别。
为实现上述目的，本发明采用如下技术方案：
第一方面，提出了一种基于图像检测的3D打印工件缺陷识别方法，包括：
获取3D打印工件的XCT图像；
根据XCT图像和训练好的缺陷识别模型，获得工件缺陷识别结果；
其中，缺陷识别模型包括编码器、注意力模块和解码器；编码器包括多层编码层，多层编码层对XCT图像进行连续编码，获得图像特征，每层编码层还从编码后图像中提取残差信息；解码器包括多层解码层，通过多层解码层对图像特征进行连续解码，并在解码过程中，将编码层获取的残差信息加入对应解码层中；通过注意力模块从图像特征中提取注意力信息，通过注意力信息对每个解码层解码后的特征进行重建，重建后特征输入下一解码层中，其中，最后一层解码层解码后的特征经注意力信息进行重建后，输出工件缺陷识别结果。
第二方面，提出了一种基于图像检测的3D打印工件缺陷识别系统，包括：
XCT数据采集模块，用于获取3D打印工件的XCT图像；
XCT图像处理模块，用于根据XCT图像和训练好的缺陷识别模型，获得工件缺陷识别结果；
其中，缺陷识别模型包括编码器、注意力模块和解码器；编码器包括多层编码层，多层编码层对XCT图像进行连续编码，获得图像特征，每层编码层还从编码后图像中提取残差信息；解码器包括多层解码层，通过多层解码层对图像特征进行连续解码，并在解码过程中，将编码层获取的残差信息加入对应解码层中；通过注意力模块从图像特征中提取注意力信息，通过注意力信息对每个解码层解码后的特征进行重建，重建后特征输入下一解码层中，其中，最后一层解码层解码后的特征经注意力信息进行重建后，输出工件缺陷识别结果。
第三方面，提出了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种基于图像检测的3D打印工件缺陷识别方法所述的步骤。
第四方面，提出了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种基于图像检测的3D打印工件缺陷识别方法所述的步骤。
与现有技术相比，本发明的有益效果为：
1、本发明通过编码器对工件的XCT图像进行多层编码，获取图像特征，并对每层编码获得特征进行残差信息提取；通过注意力模块获取图像特征的注意力信息；通过解码器对图像特征进行多层解码，并在解码过程中加入残差信息，通过注意力信息对每一解码层解码后的特征进行重建，从而能够更有效的获取图像的底层信息和语义信息，提高了图像分割的精度，保证工件缺陷识别的准确性。
2、本发明对预设好缺陷的工件的XCT图像进行图像块划分，并对划分出的图像块进行填充和标记，作为训练图像来构建缺陷识别模型的训练集，实现了对训练用数据集的有效扩充，一定程度上解决了因训练样本数量有限，而导致模型训练精度较低的问题。
3、本发明通过对图像块进行填充，能够有效减少信息丢失，通过该种图像训练出的缺陷识别模型，能够实现对工件缺陷的准确识别。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为实施例公开的3D打印的原理及设备示意图；
图2为实施例公开的XCT检测装置的结构示意图；
图3为实施例公开的残差模块网络结构示意图；
图4为实施例公开的注意力模块网络结构示意图；
图5为实施例公开的XCT图像处理流程示意图；
图6为实施例公开的缺陷识别模型网络结构示意图。
其中：1、熔融层，2、熔融池，3、激光束，4、粉末，21、X射线发生器，22、被测工件，23、旋转台，24、探测器系统，25、数据采集及图像重建系统，26、XCT图像。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
实施例1
在该实施例中，公开了一种基于图像检测的3D打印工件缺陷识别方法，如图1-图6所示，包括：
获取3D打印工件的XCT图像；
根据XCT图像和训练好的缺陷识别模型，获得工件缺陷识别结果；
其中，缺陷识别模型包括编码器、注意力模块和解码器；编码器包括多层编码层，多层编码层对XCT图像进行连续编码，获得图像特征，每层编码层还从编码后图像中提取残差信息；解码器包括多层解码层，通过多层解码层对图像特征进行连续解码，并在解码过程中，将编码层获取的残差信息加入对应解码层中；通过注意力模块从图像特征中提取注意力信息，通过注意力信息对每个解码层解码后的特征进行重建，重建后特征输入下一解码层中，其中，最后一层解码层解码后的特征经注意力信息进行重建后，输出工件缺陷识别结果。
在具体实施时，通过金属3D打印机对工件进行3D打印，金属3D打印机的打印法为选择性激光熔融法（SLM法），3D打印工件的原理如图1所示，包括：选择性激光熔融以预置于工作平台上的金属粉末4为原料，计算机根据模型切片控制激光束3的二维扫描轨迹，正在扫描区域为熔融池2，扫描过的区域为熔融层1。激光束有选择地融化固体金属粉末材料以形成工件的一个层面。成型件可以直接达到99%以上的致密度；同时由于激光扫描速度快，微小尺寸的熔池带来极快的冷却凝固速度，得到均匀细小的金相组织，大大的提高了材料力学性能；SLM采用53 μm以下粒径的粉末，单层粉末厚度控制在20-100 μm，可实现精密成型，成型件表面质量好；整个工作腔被密闭于惰性气体环境中，避免金属材料在高温下氧化，可以处理钛合金等活跃金属；通过支撑结构的设计，可以打印各种复杂形状产品，包括带有悬空部位的复杂曲面，含有内部流道的结构，镂空复杂形状等。使用激光束直接融化选区的金属或合金粉末，通过层层选区熔化与叠加堆积，最终形成组织致密的金属零件。
本实施例通过XCT数据采集模块，以3D打印工件的XY平面为基准平面，按照Z轴对工件进行定间隔无损扫描，获得3D打印工件的XCT图像。
XCT数据采集模块包括XCT扫描模块，XCT扫描模块的结构如图2所示，包括：X射线发生器21、旋转台23、探测器系统24、数据采集及图像重建系统25；将被测工件22放置于旋转台23上，通过X射线发生器21向被测工件22发射X射线，通过探测器系统24捕捉穿过被测工件的X射线，数据采集及图像重建系统25采集处理探测器系统24捕捉穿过被测工件的X射线，重建获得被测工件的XCT图像26。
可以通过X射线衰减原理可视化对象的内部结构，该原理可以提供当前检测物的基本信息，以便进行诊断和保存工作。计算机断层扫描（XCT） 是一种先进的无损检测技术，可以直观地以二维或三维数字图像形式显示被检测物，且不会对检测物进行损害。计算机断层扫描是基于大量不同的投影，然后将其用于检测对象横截面图像（或切片）的重建。每个横截面图像都是由像素矩阵组成的数字图像，图像中的每个像素代表对象的体积元素（体素）基于XCT技术能高精度的检测增材制造材料的尺寸及孔隙率，基于此方法对SLM制造金属材料进行无损表征。
如图6所示，缺陷识别模型为U型的编码-解码结构，以工件的XCT图像为输入，以工件缺陷识别结果为输出，以U-net网络为基础构建获得，并在U-net网络中添加残差提取模块和注意力模块，通过编码器对输入的XCT图像进行下采样，提升通道数，降低图像的尺寸，获得图像特征，该图像特征中包含XCT图像的深层信息，在对XCT图像进行编码的过程中，还通过残差提取模块从每个编码层获得的编码后图像中提取残差信息；之后对图像特征进行上采样解码，在上采样解码过程中，加入残差信息，并通过注意力模块对每一解码后的特征进行重建，最终输出工件缺陷识别结果。
具体的，缺陷识别模型包括编码器、注意力模块和解码器；编码器包括多层编码层，多层编码层对XCT图像进行连续编码，获得图像特征，每层编码层还从编码后图像中提取残差信息；解码器包括多层解码层，通过多层解码层对图像特征进行连续解码，并在解码过程中，将编码层获取的残差信息加入对应解码层中；通过注意力模块从图像特征中提取注意力信息，通过注意力信息对每个解码层解码后的特征进行重建，重建后特征输入下一解码层中，其中，最后一层解码层解码后的特征经注意力信息进行重建后，输出工件缺陷识别结果。
其中，编码器包括多层编码层，通过多层编码层对XCT图像进行连续编码，并提取每层编码层编码后图像的残差信息；每层编码层均对输入的图像进行下采样，获得编码后图像，并提取编码后图像的残差信息，将编码后图像输入下一编码层中，将编码后图像的残差信息输入对应解码层中，第一编码层的输入为XCT图像，最后一层编码层输出的编码后图像为图像特征。
每层编码层包括一个残差提取模块和一次下采样操作，通过残差提取模块对编码层编码后图像进行残差信息提取，对输入编码层的图像进行下采样操作后输入下一编码层中。
残差提取模块在编码过程中起到提取图片的语义信息和位置信息的作用，即从编码后图像中提取残差信息。如图3所示：残差提取模块主要包括卷积、BN、Relu三个操作。卷积操作的卷积核大小为3*3，步长为1，填充为1，图像尺寸在经过卷积后没有变化，目的是抽象图片以获取图像的残差信息。BN层对特征进行标准化，帮助网络更好地传递梯度，提供更稳定的训练过程，并且有助于防止梯度消失或爆炸的问题。Relu激活函数目的是提升模型的非线性能力，采用跳跃连接加速训练收敛，从而缓解梯度消失的问题。在本缺陷识别模型使用该残差提取模块，帮助网络更好地获取残差信息，传递梯度，提供更稳定的训练过程，并且有助于防止梯度消失或爆炸的问题。
解码器包括多层解码层，多层解码层对图像特征进行连续解码，将每层编码层提取的残差信息输入对应的解码层中，每层解码层均对输入的特征进行相加后解码，获得解码后的特征，其中，第一层编码层的输入包括图像特征和对应编码层提取的残差信息。
优选的，解码器层数与编码器层数相同，将每一编码层获得的残差信息输入对应的解码层中，每个解码层均对输入该解码层的特征进行上采样解码，获得解码后的特征；解码后的特征输入注意力模块中，通过注意力模块对解码后的特征进行重建，获得重建后图像，将重建后图像输入下一解码层中，其中，第一解码层的输入特征包括图像特征和最后一层解码层输出的残差信息；其余解码层的输入特征包括：注意力模块对上一解码层解码后的特征进行重建后获取的重建后图像及对应编码层获取的残差信息；注意力模块对最后一层解码层解码后的特征进行重建后，输出工件缺陷识别结果。
具体的，每个解码层通过反卷积的方式对输入该层的特征进行上采样操作，反卷积操作的卷积核大小为3*3，步长为2，填充为1，输入的32*32尺寸的图像在经过一次反卷积操作后，图像尺寸变为64*64。
注意力模块从编码器输出的图像特征中提取注意力信息，且提取的注意力信息包括空间注意力信息和通道注意力信息，通过注意力信息对每一解码层解码后的特征进行重建。
如图4所示，注意力模块是一种空间特征变换块（Spatial feature transform，SFT）。该SFT基于先验信息，输出调整参数对(γ,β)。该调整参数对对解码后的特征F进行仿射变换：SFT(F|γ,β)=γ⊙F+β，获得解码后的特征F的重建后特征。
具体的，SFT有两个输入，一个输入为编码器的最后一层输出的图像特征，另一个输入为每一解码层解码后的特征F；SFT对图像特征进行卷积计算，分别获得空间注意力信息γ和通道注意力信息β；获得γ与β后，将空间注意力信息γ与解码后的特征F相乘后与通道注意力信息β进行相加，实现通过注意力信息对F进行重建，获得该解码后的特征的重建后特征。SFT通过学习特征图的空间和通道信息，强化空间关系和通道重要性，进而提升对目标的准确识别能力、分割能力、自适应调节能力及鲁棒性。
本实施例在构建了缺陷识别模型后，对缺陷识别模型进行了训练，获得训练好的缺陷识别模型，过程为：
通过3D打印预设好缺陷的工件，并获取预设好缺陷的工件的XCT图像；
对预设好缺陷的工件的XCT图像进行标记，获得训练图像；
通过训练图像对构建的缺陷识别模型进行训练，训练完成，获得训练好的缺陷识别模型。
为了扩充训练集，提升缺陷识别模型的训练效果，本实施例对预设好缺陷的工件的XCT图像进行填充，进而对填充后图像进行图像块划分，最后对划分出的图像块进行标记，获得训练图像，如图5所示。
具体的：
通过改变增材制造过程中的扫描速度（激光直线速度）和扫描间距（相邻激光扫描路径之间的距离），来改变工件的能量密度，扫描速度和扫描间距不同，工件的能量密度不同，从而使工件的孔隙率产生区别。因此，应用不同的扫描速度和扫描间距，可以获得不同孔隙率的带缺陷工件，该工件为预设好缺陷的工件。
通过XCT数据采集模块，以预设好缺陷的工件的XY平面为基准平面，按照Z轴对缺陷工件进行定间隔无损扫描，获得预设好缺陷的工件的XCT图像，以便后续的无损检测以及三维重建。
由于2、4、8、16、32等像素过小，但是128和256等像素过大，难以标注，将图像块的基本像素确定为64，即图像的高度和宽度尺寸均为64的整数倍。为了防止修改过程丢失信息，先采用图像填充程序对预设好缺陷的工件的XCT图像进行填充，再采用图像切片程序对填充后图像进行图像块切割，从而保证工件信息完整。
优选的，将采集预设好缺陷的工件的XCT图像输入编写的基于python语言的图像填充程序中。该程序首先读取所输入XCT图像的高度和宽度尺寸，进行扩充计算，得到扩充后图像，扩充后图像的高度和宽度尺寸均为64的整数倍；图像切片程序是读取扩充后图像，从扩充后图像的左上角开始切片，切片后的图像块尺寸为64像素*64像素。
对切片获得的图像块进行标记，主要步骤如下：将图像块导入labelme软件；在软件中设置好材料、缺陷、背景三种掩膜组别；根据图像块的形态进行人工标记；将标记好的图像块以json文件保存；最后编写python文件，对json文件中信息进行提取，制作标签；获得带标签的图像块，作为训练图像和测试图像。
将训练图像输入构建的缺陷识别模型中，采用有监督学习的方式对缺陷识别模型进行训练，在训练过程中不断更新梯度信息，进行梯度反向传播，经过不断的训练和反向传播，得到较好训练结果，后保存为pth文件，训练完成，获得训练好的缺陷识别模型。
通过测试图像对训练好的缺陷识别模型的识别效果进行验证。
为了保证图像的识别效果，本实施例在获取到XCT图像后，对获取的XCT图像进行填充，获得适合缺陷识别模型的XCT图像；将适合缺陷识别模型的XCT图像输入训练好的缺陷识别模型中，获得工件缺陷识别结果。
本实施例公开方法，通过编码器对工件的XCT图像进行多层编码，获取图像特征，并对每层编码获得的编码后图像进行残差信息提取；之后再通过解码器对图像特征进行连续解码，并在解码过程中加入残差信息，通过注意力信息对每一解码层解码后的特征进行重建，从而能够更有效的获取图像的底层信息和语义信息，提高了图像分割的精度，保证工件缺陷识别的准确性；对预设好缺陷的工件的XCT图像进行图像块划分，并对划分出的图像块进行填充和标记，作为训练图像来构建缺陷识别模型的训练集，实现了对训练用数据集的有效扩充，一定程度上解决了因训练样本数量有限，而导致模型训练精度较低的问题；通过对图像块进行填充，能够有效减少信息丢失，通过该种图像训练出的缺陷识别模型，能够实现对工件缺陷的准确识别；相比于传统针对XCT图像方法，例如去噪、去伪影的方法，本方法专注于缺陷的特征识别，直接获取缺陷和材料，减少了操作步骤。
实施例2
在该实施例中，公开了一种基于图像检测的3D打印工件缺陷识别系统，包括：
XCT数据采集模块，用于获取3D打印工件的XCT图像；
XCT图像处理模块，用于根据XCT图像和训练好的缺陷识别模型，获得工件缺陷识别结果；
其中，缺陷识别模型包括编码器、注意力模块和解码器；编码器包括多层编码层，多层编码层对XCT图像进行连续编码，获得图像特征，每层编码层还从编码后图像中提取残差信息；解码器包括多层解码层，通过多层解码层对图像特征进行连续解码，并在解码过程中，将编码层获取的残差信息加入对应解码层中；通过注意力模块从图像特征中提取注意力信息，通过注意力信息对每个解码层解码后的特征进行重建，重建后特征输入下一解码层中，其中，最后一层解码层解码后的特征经注意力信息进行重建后，输出工件缺陷识别结果。
实施例3
在该实施例中，公开了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1公开的一种基于图像检测的3D打印工件缺陷识别方法所述的步骤。
实施例4
在该实施例中，公开了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1公开的一种基于图像检测的3D打印工件缺陷识别方法所述的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于图像检测的3D打印工件缺陷识别方法，其特征在于，包括：
获取3D打印工件的XCT图像；
根据XCT图像和训练好的缺陷识别模型，获得工件缺陷识别结果；
其中，缺陷识别模型包括编码器、注意力模块和解码器；编码器包括多层编码层，多层编码层对XCT图像进行连续编码，获得图像特征，每层编码层还从编码后图像中提取残差信息；解码器包括多层解码层，通过多层解码层对图像特征进行连续解码，并在解码过程中，将编码层获取的残差信息加入对应解码层中；通过注意力模块从图像特征中提取注意力信息，通过注意力信息对每个解码层解码后的特征进行重建，重建后特征输入下一解码层中，其中，最后一层解码层解码后的特征经注意力信息进行重建后，输出工件缺陷识别结果。
2.如权利要求1所述的一种基于图像检测的3D打印工件缺陷识别方法，其特征在于，注意力模块提取的注意力信息包括空间注意力信息和通道注意力信息。
3.如权利要求2所述的一种基于图像检测的3D打印工件缺陷识别方法，其特征在于，将空间注意力信息与解码后的特征相乘后与通道注意力信息进行相加，获得解码后的特征的重建后特征。
4.如权利要求1所述的一种基于图像检测的3D打印工件缺陷识别方法，其特征在于，通过3D打印预设好缺陷的工件，并获取预设好缺陷的工件的XCT图像；
对预设好缺陷的工件的XCT图像进行标记，获得训练图像；
通过训练图像对构建的缺陷识别模型进行训练，训练完成，获得训练好的缺陷识别模型。
5.如权利要求4所述的一种基于图像检测的3D打印工件缺陷识别方法，其特征在于，对预设好缺陷的工件的XCT图像进行填充，对填充后图像进行图像块划分，对划分出的图像块进行标记，获得训练图像。
6.如权利要求1所述的一种基于图像检测的3D打印工件缺陷识别方法，其特征在于，解码器包括多层解码层，多层解码层对图像特征进行连续解码，将每层编码层提取的残差信息输入对应的解码层中，每层解码层均对输入的特征进行相加后解码，获得解码后的特征，其中，第一层编码层的输入包括图像特征和对应编码层提取的残差信息。
7.如权利要求1所述的一种基于图像检测的3D打印工件缺陷识别方法，其特征在于，编码器包括多层编码层，每层编码层均对输入的图像进行下采样，获得编码后图像，并提取编码后图像的残差信息，将编码后图像输入下一编码层中，将编码后图像的残差信息输入对应解码层中，第一编码层的输入为XCT图像，最后一层编码层输出的编码后图像为图像特征。
8.一种基于图像检测的3D打印工件缺陷识别系统，其特征在于，包括：
XCT数据采集模块，用于获取3D打印工件的XCT图像；
XCT图像处理模块，用于根据XCT图像和训练好的缺陷识别模型，获得工件缺陷识别结果；
其中，缺陷识别模型包括编码器、注意力模块和解码器；编码器包括多层编码层，多层编码层对XCT图像进行连续编码，获得图像特征，每层编码层还从编码后图像中提取残差信息；解码器包括多层解码层，通过多层解码层对图像特征进行连续解码，并在解码过程中，将编码层获取的残差信息加入对应解码层中；通过注意力模块从图像特征中提取注意力信息，通过注意力信息对每个解码层解码后的特征进行重建，重建后特征输入下一解码层中，其中，最后一层解码层解码后的特征经注意力信息进行重建后，输出工件缺陷识别结果。
9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的一种基于图像检测的3D打印工件缺陷识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的一种基于图像检测的3D打印工件缺陷识别方法的步骤。
CN202311108068.7A 2023-08-31 2023-08-31 一种基于图像检测的3d打印工件缺陷识别方法及系统 Active CN116843685B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311108068.7A CN116843685B (zh) 2023-08-31 2023-08-31 一种基于图像检测的3d打印工件缺陷识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311108068.7A CN116843685B (zh) 2023-08-31 2023-08-31 一种基于图像检测的3d打印工件缺陷识别方法及系统

Publications (2)

Publication Number Publication Date
CN116843685A true CN116843685A (zh) 2023-10-03
CN116843685B CN116843685B (zh) 2023-12-12

Family

ID=88165568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311108068.7A Active CN116843685B (zh) 2023-08-31 2023-08-31 一种基于图像检测的3d打印工件缺陷识别方法及系统

Country Status (1)

Country Link
CN (1) CN116843685B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710372A (zh) * 2024-02-05 2024-03-15 苏州双恩智能科技有限公司 3d打印工件缺陷的在线检测方法、系统、设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170279833A1 (en) * 2016-03-24 2017-09-28 Cisco Technology, Inc. Edge-based machine learning for encoding legitimate scanning
CN110837786A (zh) * 2019-10-30 2020-02-25 汇纳科技股份有限公司 基于空间通道的密度图产生方法、装置、电子终端及介质
US20220198228A1 (en) * 2020-12-22 2022-06-23 Hon Hai Precision Industry Co., Ltd. Method for detecting defects in multi-scale images and computing device utilizing method
CN115294038A (zh) * 2022-07-25 2022-11-04 河北工业大学 一种基于联合优化与混合注意力特征融合的缺陷检测方法
CN115311203A (zh) * 2022-06-29 2022-11-08 上海电力大学 一种基于Transformer的晶圆缺陷检测方法及系统
CN115423781A (zh) * 2022-09-05 2022-12-02 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于ai识别的3d打印机缺陷检测装置
CN218212587U (zh) * 2021-11-19 2023-01-03 北京盈和瑞环境科技有限公司 一种搪瓷钢板表面检测装置
WO2023277919A1 (en) * 2021-07-01 2023-01-05 Google Llc Multi-scale transformer for image analysis
KR20230036343A (ko) * 2021-09-07 2023-03-14 인천대학교 산학협력단 고화질 영상 융합 장치
CN115908805A (zh) * 2022-11-17 2023-04-04 上海大学 基于卷积增强交叉自注意力变形器的u型图像分割网络
CN115937707A (zh) * 2022-12-29 2023-04-07 南京信息工程大学 基于多尺度残差注意力模型的sar影像水体提取方法
CN116012687A (zh) * 2023-02-10 2023-04-25 湖南工业大学 一种用于轮对踏面缺陷识别的图像交互融合方法
CN116051549A (zh) * 2023-03-29 2023-05-02 山东建筑大学 一种太阳能电池片缺陷分割方法、系统、介质及设备
WO2023070911A1 (zh) * 2021-10-27 2023-05-04 西安工程大学 一种基于自注意力的彩色纹理织物缺陷区域的检测方法
CN116363060A (zh) * 2023-02-14 2023-06-30 长春理工大学 一种基于残差u型网络的混合注意力视网膜血管分割方法
CN116664846A (zh) * 2023-07-31 2023-08-29 华东交通大学 基于语义分割实现3d打印桥面施工质量监测方法及系统

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170279833A1 (en) * 2016-03-24 2017-09-28 Cisco Technology, Inc. Edge-based machine learning for encoding legitimate scanning
CN110837786A (zh) * 2019-10-30 2020-02-25 汇纳科技股份有限公司 基于空间通道的密度图产生方法、装置、电子终端及介质
US20220198228A1 (en) * 2020-12-22 2022-06-23 Hon Hai Precision Industry Co., Ltd. Method for detecting defects in multi-scale images and computing device utilizing method
WO2023277919A1 (en) * 2021-07-01 2023-01-05 Google Llc Multi-scale transformer for image analysis
KR20230036343A (ko) * 2021-09-07 2023-03-14 인천대학교 산학협력단 고화질 영상 융합 장치
WO2023070911A1 (zh) * 2021-10-27 2023-05-04 西安工程大学 一种基于自注意力的彩色纹理织物缺陷区域的检测方法
CN218212587U (zh) * 2021-11-19 2023-01-03 北京盈和瑞环境科技有限公司 一种搪瓷钢板表面检测装置
CN115311203A (zh) * 2022-06-29 2022-11-08 上海电力大学 一种基于Transformer的晶圆缺陷检测方法及系统
CN115294038A (zh) * 2022-07-25 2022-11-04 河北工业大学 一种基于联合优化与混合注意力特征融合的缺陷检测方法
CN115423781A (zh) * 2022-09-05 2022-12-02 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于ai识别的3d打印机缺陷检测装置
CN115908805A (zh) * 2022-11-17 2023-04-04 上海大学 基于卷积增强交叉自注意力变形器的u型图像分割网络
CN115937707A (zh) * 2022-12-29 2023-04-07 南京信息工程大学 基于多尺度残差注意力模型的sar影像水体提取方法
CN116012687A (zh) * 2023-02-10 2023-04-25 湖南工业大学 一种用于轮对踏面缺陷识别的图像交互融合方法
CN116363060A (zh) * 2023-02-14 2023-06-30 长春理工大学 一种基于残差u型网络的混合注意力视网膜血管分割方法
CN116051549A (zh) * 2023-03-29 2023-05-02 山东建筑大学 一种太阳能电池片缺陷分割方法、系统、介质及设备
CN116664846A (zh) * 2023-07-31 2023-08-29 华东交通大学 基于语义分割实现3d打印桥面施工质量监测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
崔昊;: "基于深度学习的高分辨率遥感图像海陆分割方法", 软件导刊, no. 03 *
李飞: "基于点云数据和深度学习的3D打印表面缺陷检测研究", 硕士电子期刊, no. 01, pages 4 - 6 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710372A (zh) * 2024-02-05 2024-03-15 苏州双恩智能科技有限公司 3d打印工件缺陷的在线检测方法、系统、设备及存储介质
CN117710372B (zh) * 2024-02-05 2024-05-03 苏州双恩智能科技有限公司 3d打印工件缺陷的在线检测方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN116843685B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
CN116843685B (zh) 一种基于图像检测的3d打印工件缺陷识别方法及系统
Shevchik et al. Deep learning for in situ and real-time quality monitoring in additive manufacturing using acoustic emission
Gobert et al. Application of supervised machine learning for defect detection during metallic powder bed fusion additive manufacturing using high resolution imaging.
Senck et al. Additive manufacturing and non-destructive testing of topology-optimised aluminium components
CN106273477B (zh) 用于光固化成型过程中的实时监测和回溯系统及方法
US20220244194A1 (en) Automated inspection method for a manufactured article and system for performing same
EP3488233A1 (en) Inspection method for a manufactured article and system for performing same
Hermanek et al. Traceable porosity measurements in industrial components using X-ray computed tomography
CN109283182A (zh) 一种电池焊点缺陷的检测方法、装置及系统
EP3791198B1 (en) Method of calibrating magnetic particle imaging system
Evsevleev et al. X-ray computed tomography procedures to quantitatively characterize the morphological features of triply periodic minimal surface structures
Ziabari et al. Enabling rapid X-ray CT characterisation for additive manufacturing using CAD models and deep learning-based reconstruction
Chen et al. Artificial neural networks framework for detection of defects in 3D-printed fiber reinforcement composites
Brunke et al. A new Concept for High-Speed atline and inlineCT for up to 100% Mass Production Process Control
Liu et al. Measurement of laser powder bed fusion surfaces with light scattering and unsupervised machine learning
Alamri et al. Predicting the porosity in selective laser melting parts using hybrid regression convolutional neural network
Englert et al. Investigations on printing path dependent properties of additively manufactured samples using micro computed tomography
Zhang et al. Unsupervised Learning for Detection of Defects in Pulsed Infrared Thermography of Metals
CN116630263A (zh) 基于深度神经网络的焊缝x射线图像缺陷检测与识别方法
CN114463300A (zh) 钢材表面缺陷检测方法、电子设备、存储介质
Dusaussoy et al. Image processing for CT-assisted reverse engineering and part characterization
Dinh et al. Layering defects detection in laser powder bed fusion using embedded vision system
Bonato et al. Comparison of post-process X-ray computed tomography and in-process optical measurements for defects evaluation in additively manufactured parts
WO2020018022A1 (en) Method of additive manufacturing of object using object material, object manufactured using the same, and method of scanning an object identifier formed using the same
Standfield et al. High-Resolution Shape Deformation Prediction in Additive Manufacturing Using 3D CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant