CN116843685B - 一种基于图像检测的3d打印工件缺陷识别方法及系统 - Google Patents
一种基于图像检测的3d打印工件缺陷识别方法及系统 Download PDFInfo
- Publication number
- CN116843685B CN116843685B CN202311108068.7A CN202311108068A CN116843685B CN 116843685 B CN116843685 B CN 116843685B CN 202311108068 A CN202311108068 A CN 202311108068A CN 116843685 B CN116843685 B CN 116843685B
- Authority
- CN
- China
- Prior art keywords
- image
- workpiece
- features
- layer
- xct
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000010146 3D printing Methods 0.000 title claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims description 37
- 239000000284 extract Substances 0.000 claims description 8
- 238000007639 printing Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 2
- 238000000605 extraction Methods 0.000 abstract description 11
- 239000010410 layer Substances 0.000 description 106
- 239000002184 metal Substances 0.000 description 9
- 229910052751 metal Inorganic materials 0.000 description 9
- 239000000463 material Substances 0.000 description 8
- 238000002844 melting Methods 0.000 description 7
- 230000008018 melting Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000000843 powder Substances 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000001931 thermography Methods 0.000 description 4
- 230000008034 disappearance Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 239000007769 metal material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 229910001069 Ti alloy Inorganic materials 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011261 inert gas Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007711 solidification Methods 0.000 description 1
- 230000008023 solidification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开的一种基于图像检测的3D打印工件缺陷识别方法及系统，属于3D打印质量检测技术领域，包括：获取3D打印工件的XCT图像；根据XCT图像和训练好的缺陷识别模型，获得工件缺陷识别结果；其中，缺陷识别模型包括编码器、注意力模块和解码器；编码器对XCT图像进行多层编码获取图像特征，并对每层编码获得的图像进行残差信息提取；通过注意力模块提取图像特征的注意力信息；通过解码器对图像特征进行多层解码，并在解码过程中加入残差信息，通过注意力信息对每一解码层解码后的特征进行重建。实现了对3D打印工件缺陷的准确识别。
Description
技术领域
本发明涉及3D打印质量检测技术领域，尤其涉及一种基于图像检测的3D打印工件缺陷识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
金属 3D 打印技术作为一种新型制造技术，无需模具即可自由加工复杂结构零件，在汽车、核电、航空航天等领域具有广阔的应用前景。3D打印过程会经历快速反复熔凝及复杂的传热相变，导致其成形件中出现较大尺寸的柱状晶以及不同种类的缺陷。缺陷的存在会影响材料本身性能的完整性，并且可能会导致材料的失效。故需要对3D打印工件进行准确的缺陷识别。
现有的3D打印工件缺陷识别方法主要包括超声检测、电磁检测、热成像检测和对工件进行X射线计算机断层扫描（XCT）等。超声检测是向3D打印工件发射声波，声波在缺陷处发生反射、透射、绕射等，通过对这些信息进行分析以检测缺陷的存在、形状和位置等。但该方法常用于检测规则形状的金属打印结构，对于形状不规则的工件，缺陷识别准确率较低。电磁检测以电涡流检测为例，激发交流电激发围绕在导电3D打印工件周围的线圈产生交变磁场，使工件内产生涡流，缺陷引起涡流的变化，使阻抗线圈产生相对应的变化，以此识别缺陷，但该非接触式的方法仅可用于表面缺陷的检测且仅适用于导电材料。热成像检测中以主动红外热成像为例，主动红外热成像利用比如热灯、超声波等进行激发，之后采用红外摄像机观测试件表面温差来探测表面下的特征情况，但主动红外热成像需要外部热源且主要检测的是表面缺陷，无法检测材料内部的缺陷。
对工件进行X射线计算机断层扫描（XCT）获取工件的XCT图像，根据XCT图像的灰度值，确定工件的缺陷，该种方法在受到XCT伪影和低噪声比伪影污染的情况下，不能实现对工件缺陷的准确识别。
发明内容
本发明为了解决上述问题，提出了一种基于图像检测的3D打印工件缺陷识别方法及系统，能够实现对3D打印工件缺陷的准确识别。
为实现上述目的，本发明采用如下技术方案：
第一方面，提出了一种基于图像检测的3D打印工件缺陷识别方法，包括：
获取3D打印工件的XCT图像；
根据XCT图像和训练好的缺陷识别模型，获得工件缺陷识别结果；
其中，缺陷识别模型包括编码器、注意力模块和解码器；编码器包括多层编码层，多层编码层对XCT图像进行连续编码，获得图像特征，每层编码层还从编码后图像中提取残差信息；解码器包括多层解码层，通过多层解码层对图像特征进行连续解码，并在解码过程中，将编码层获取的残差信息加入对应解码层中；通过注意力模块从图像特征中提取注意力信息，通过注意力信息对每个解码层解码后的特征进行重建，重建后特征输入下一解码层中，其中，最后一层解码层解码后的特征经注意力信息进行重建后，输出工件缺陷识别结果。
第二方面，提出了一种基于图像检测的3D打印工件缺陷识别系统，包括：
XCT数据采集模块，用于获取3D打印工件的XCT图像；
XCT图像处理模块，用于根据XCT图像和训练好的缺陷识别模型，获得工件缺陷识别结果；
其中，缺陷识别模型包括编码器、注意力模块和解码器；编码器包括多层编码层，多层编码层对XCT图像进行连续编码，获得图像特征，每层编码层还从编码后图像中提取残差信息；解码器包括多层解码层，通过多层解码层对图像特征进行连续解码，并在解码过程中，将编码层获取的残差信息加入对应解码层中；通过注意力模块从图像特征中提取注意力信息，通过注意力信息对每个解码层解码后的特征进行重建，重建后特征输入下一解码层中，其中，最后一层解码层解码后的特征经注意力信息进行重建后，输出工件缺陷识别结果。
第三方面，提出了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种基于图像检测的3D打印工件缺陷识别方法所述的步骤。
第四方面，提出了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种基于图像检测的3D打印工件缺陷识别方法所述的步骤。
与现有技术相比，本发明的有益效果为：
1、本发明通过编码器对工件的XCT图像进行多层编码，获取图像特征，并对每层编码获得特征进行残差信息提取；通过注意力模块获取图像特征的注意力信息；通过解码器对图像特征进行多层解码，并在解码过程中加入残差信息，通过注意力信息对每一解码层解码后的特征进行重建，从而能够更有效的获取图像的底层信息和语义信息，提高了图像分割的精度，保证工件缺陷识别的准确性。
2、本发明对预设好缺陷的工件的XCT图像进行图像块划分，并对划分出的图像块进行填充和标记，作为训练图像来构建缺陷识别模型的训练集，实现了对训练用数据集的有效扩充，一定程度上解决了因训练样本数量有限，而导致模型训练精度较低的问题。
3、本发明通过对图像块进行填充，能够有效减少信息丢失，通过该种图像训练出的缺陷识别模型，能够实现对工件缺陷的准确识别。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为实施例公开的3D打印的原理及设备示意图；
图2为实施例公开的XCT检测装置的结构示意图；
图3为实施例公开的残差模块网络结构示意图；
图4为实施例公开的注意力模块网络结构示意图；
图5为实施例公开的XCT图像处理流程示意图；
图6为实施例公开的缺陷识别模型网络结构示意图。
其中：1、熔融层，2、熔融池，3、激光束，4、粉末，21、X射线发生器，22、被测工件，23、旋转台，24、探测器系统，25、数据采集及图像重建系统，26、XCT图像。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
实施例1
在该实施例中，公开了一种基于图像检测的3D打印工件缺陷识别方法，如图1-图6所示，包括：
获取3D打印工件的XCT图像；
根据XCT图像和训练好的缺陷识别模型，获得工件缺陷识别结果；
其中，缺陷识别模型包括编码器、注意力模块和解码器；编码器包括多层编码层，多层编码层对XCT图像进行连续编码，获得图像特征，每层编码层还从编码后图像中提取残差信息；解码器包括多层解码层，通过多层解码层对图像特征进行连续解码，并在解码过程中，将编码层获取的残差信息加入对应解码层中；通过注意力模块从图像特征中提取注意力信息，通过注意力信息对每个解码层解码后的特征进行重建，重建后特征输入下一解码层中，其中，最后一层解码层解码后的特征经注意力信息进行重建后，输出工件缺陷识别结果。
在具体实施时，通过金属3D打印机对工件进行3D打印，金属3D打印机的打印法为选择性激光熔融法（SLM法），3D打印工件的原理如图1所示，包括：选择性激光熔融以预置于工作平台上的金属粉末4为原料，计算机根据模型切片控制激光束3的二维扫描轨迹，正在扫描区域为熔融池2，扫描过的区域为熔融层1。激光束有选择地融化固体金属粉末材料以形成工件的一个层面。成型件可以直接达到99%以上的致密度；同时由于激光扫描速度快，微小尺寸的熔池带来极快的冷却凝固速度，得到均匀细小的金相组织，大大的提高了材料力学性能；SLM采用53 μm以下粒径的粉末，单层粉末厚度控制在20-100 μm，可实现精密成型，成型件表面质量好；整个工作腔被密闭于惰性气体环境中，避免金属材料在高温下氧化，可以处理钛合金等活跃金属；通过支撑结构的设计，可以打印各种复杂形状产品，包括带有悬空部位的复杂曲面，含有内部流道的结构，镂空复杂形状等。使用激光束直接融化选区的金属或合金粉末，通过层层选区熔化与叠加堆积，最终形成组织致密的金属零件。
本实施例通过XCT数据采集模块，以3D打印工件的XY平面为基准平面，按照Z轴对工件进行定间隔无损扫描，获得3D打印工件的XCT图像。
XCT数据采集模块包括XCT扫描模块，XCT扫描模块的结构如图2所示，包括：X射线发生器21、旋转台23、探测器系统24、数据采集及图像重建系统25；将被测工件22放置于旋转台23上，通过X射线发生器21向被测工件22发射X射线，通过探测器系统24捕捉穿过被测工件的X射线，数据采集及图像重建系统25采集处理探测器系统24捕捉穿过被测工件的X射线，重建获得被测工件的XCT图像26。
可以通过X射线衰减原理可视化对象的内部结构，该原理可以提供当前检测物的基本信息，以便进行诊断和保存工作。计算机断层扫描（XCT） 是一种先进的无损检测技术，可以直观地以二维或三维数字图像形式显示被检测物，且不会对检测物进行损害。计算机断层扫描是基于大量不同的投影，然后将其用于检测对象横截面图像（或切片）的重建。每个横截面图像都是由像素矩阵组成的数字图像，图像中的每个像素代表对象的体积元素（体素）基于XCT技术能高精度的检测增材制造材料的尺寸及孔隙率，基于此方法对SLM制造金属材料进行无损表征。
如图6所示，缺陷识别模型为U型的编码-解码结构，以工件的XCT图像为输入，以工件缺陷识别结果为输出，以U-net网络为基础构建获得，并在U-net网络中添加残差提取模块和注意力模块，通过编码器对输入的XCT图像进行下采样，提升通道数，降低图像的尺寸，获得图像特征，该图像特征中包含XCT图像的深层信息，在对XCT图像进行编码的过程中，还通过残差提取模块从每个编码层获得的编码后图像中提取残差信息；之后对图像特征进行上采样解码，在上采样解码过程中，加入残差信息，并通过注意力模块对每一解码后的特征进行重建，最终输出工件缺陷识别结果。
具体的，缺陷识别模型包括编码器、注意力模块和解码器；编码器包括多层编码层，多层编码层对XCT图像进行连续编码，获得图像特征，每层编码层还从编码后图像中提取残差信息；解码器包括多层解码层，通过多层解码层对图像特征进行连续解码，并在解码过程中，将编码层获取的残差信息加入对应解码层中；通过注意力模块从图像特征中提取注意力信息，通过注意力信息对每个解码层解码后的特征进行重建，重建后特征输入下一解码层中，其中，最后一层解码层解码后的特征经注意力信息进行重建后，输出工件缺陷识别结果。
其中，编码器包括多层编码层，通过多层编码层对XCT图像进行连续编码，并提取每层编码层编码后图像的残差信息；每层编码层均对输入的图像进行下采样，获得编码后图像，并提取编码后图像的残差信息，将编码后图像输入下一编码层中，将编码后图像的残差信息输入对应解码层中，第一编码层的输入为XCT图像，最后一层编码层输出的编码后图像为图像特征。
每层编码层包括一个残差提取模块和一次下采样操作，通过残差提取模块对编码层编码后图像进行残差信息提取，对输入编码层的图像进行下采样操作后输入下一编码层中。
残差提取模块在编码过程中起到提取图片的语义信息和位置信息的作用，即从编码后图像中提取残差信息。如图3所示：残差提取模块主要包括卷积、BN、Relu三个操作。卷积操作的卷积核大小为3*3，步长为1，填充为1，图像尺寸在经过卷积后没有变化，目的是抽象图片以获取图像的残差信息。BN层对特征进行标准化，帮助网络更好地传递梯度，提供更稳定的训练过程，并且有助于防止梯度消失或爆炸的问题。Relu激活函数目的是提升模型的非线性能力，采用跳跃连接加速训练收敛，从而缓解梯度消失的问题。在本缺陷识别模型使用该残差提取模块，帮助网络更好地获取残差信息，传递梯度，提供更稳定的训练过程，并且有助于防止梯度消失或爆炸的问题。
解码器包括多层解码层，多层解码层对图像特征进行连续解码，将每层编码层提取的残差信息输入对应的解码层中，每层解码层均对输入的特征进行相加后解码，获得解码后的特征，其中，第一层编码层的输入包括图像特征和对应编码层提取的残差信息。
优选的，解码器层数与编码器层数相同，将每一编码层获得的残差信息输入对应的解码层中，每个解码层均对输入该解码层的特征进行上采样解码，获得解码后的特征；解码后的特征输入注意力模块中，通过注意力模块对解码后的特征进行重建，获得重建后图像，将重建后图像输入下一解码层中，其中，第一解码层的输入特征包括图像特征和最后一层解码层输出的残差信息；其余解码层的输入特征包括：注意力模块对上一解码层解码后的特征进行重建后获取的重建后图像及对应编码层获取的残差信息；注意力模块对最后一层解码层解码后的特征进行重建后，输出工件缺陷识别结果。
具体的，每个解码层通过反卷积的方式对输入该层的特征进行上采样操作，反卷积操作的卷积核大小为3*3，步长为2，填充为1，输入的32*32尺寸的图像在经过一次反卷积操作后，图像尺寸变为64*64。
注意力模块从编码器输出的图像特征中提取注意力信息，且提取的注意力信息包括空间注意力信息和通道注意力信息，通过注意力信息对每一解码层解码后的特征进行重建。
如图4所示，注意力模块是一种空间特征变换块（Spatial feature transform，SFT）。该SFT基于先验信息，输出调整参数对(γ,β)。该调整参数对对解码后的特征F进行仿射变换：SFT(F|γ,β)=γ⊙F+β，获得解码后的特征F的重建后特征。
具体的，SFT有两个输入，一个输入为编码器的最后一层输出的图像特征，另一个输入为每一解码层解码后的特征F；SFT对图像特征进行卷积计算，分别获得空间注意力信息γ和通道注意力信息β；获得γ与β后，将空间注意力信息γ与解码后的特征F相乘后与通道注意力信息β进行相加，实现通过注意力信息对F进行重建，获得该解码后的特征的重建后特征。SFT通过学习特征图的空间和通道信息，强化空间关系和通道重要性，进而提升对目标的准确识别能力、分割能力、自适应调节能力及鲁棒性。
本实施例在构建了缺陷识别模型后，对缺陷识别模型进行了训练，获得训练好的缺陷识别模型，过程为：
通过3D打印预设好缺陷的工件，并获取预设好缺陷的工件的XCT图像；
对预设好缺陷的工件的XCT图像进行标记，获得训练图像；
通过训练图像对构建的缺陷识别模型进行训练，训练完成，获得训练好的缺陷识别模型。
为了扩充训练集，提升缺陷识别模型的训练效果，本实施例对预设好缺陷的工件的XCT图像进行填充，进而对填充后图像进行图像块划分，最后对划分出的图像块进行标记，获得训练图像，如图5所示。
具体的：
通过改变增材制造过程中的扫描速度（激光直线速度）和扫描间距（相邻激光扫描路径之间的距离），来改变工件的能量密度，扫描速度和扫描间距不同，工件的能量密度不同，从而使工件的孔隙率产生区别。因此，应用不同的扫描速度和扫描间距，可以获得不同孔隙率的带缺陷工件，该工件为预设好缺陷的工件。
通过XCT数据采集模块，以预设好缺陷的工件的XY平面为基准平面，按照Z轴对缺陷工件进行定间隔无损扫描，获得预设好缺陷的工件的XCT图像，以便后续的无损检测以及三维重建。
由于2、4、8、16、32等像素过小，但是128和256等像素过大，难以标注，将图像块的基本像素确定为64，即图像的高度和宽度尺寸均为64的整数倍。为了防止修改过程丢失信息，先采用图像填充程序对预设好缺陷的工件的XCT图像进行填充，再采用图像切片程序对填充后图像进行图像块切割，从而保证工件信息完整。
优选的，将采集预设好缺陷的工件的XCT图像输入编写的基于python语言的图像填充程序中。该程序首先读取所输入XCT图像的高度和宽度尺寸，进行扩充计算，得到扩充后图像，扩充后图像的高度和宽度尺寸均为64的整数倍；图像切片程序是读取扩充后图像，从扩充后图像的左上角开始切片，切片后的图像块尺寸为64像素*64像素。
对切片获得的图像块进行标记，主要步骤如下：将图像块导入labelme软件；在软件中设置好材料、缺陷、背景三种掩膜组别；根据图像块的形态进行人工标记；将标记好的图像块以json文件保存；最后编写python文件，对json文件中信息进行提取，制作标签；获得带标签的图像块，作为训练图像和测试图像。
将训练图像输入构建的缺陷识别模型中，采用有监督学习的方式对缺陷识别模型进行训练，在训练过程中不断更新梯度信息，进行梯度反向传播，经过不断的训练和反向传播，得到较好训练结果，后保存为pth文件，训练完成，获得训练好的缺陷识别模型。
通过测试图像对训练好的缺陷识别模型的识别效果进行验证。
为了保证图像的识别效果，本实施例在获取到XCT图像后，对获取的XCT图像进行填充，获得适合缺陷识别模型的XCT图像；将适合缺陷识别模型的XCT图像输入训练好的缺陷识别模型中，获得工件缺陷识别结果。
本实施例公开方法，通过编码器对工件的XCT图像进行多层编码，获取图像特征，并对每层编码获得的编码后图像进行残差信息提取；之后再通过解码器对图像特征进行连续解码，并在解码过程中加入残差信息，通过注意力信息对每一解码层解码后的特征进行重建，从而能够更有效的获取图像的底层信息和语义信息，提高了图像分割的精度，保证工件缺陷识别的准确性；对预设好缺陷的工件的XCT图像进行图像块划分，并对划分出的图像块进行填充和标记，作为训练图像来构建缺陷识别模型的训练集，实现了对训练用数据集的有效扩充，一定程度上解决了因训练样本数量有限，而导致模型训练精度较低的问题；通过对图像块进行填充，能够有效减少信息丢失，通过该种图像训练出的缺陷识别模型，能够实现对工件缺陷的准确识别；相比于传统针对XCT图像方法，例如去噪、去伪影的方法，本方法专注于缺陷的特征识别，直接获取缺陷和材料，减少了操作步骤。
实施例2
在该实施例中，公开了一种基于图像检测的3D打印工件缺陷识别系统，包括：
XCT数据采集模块，用于获取3D打印工件的XCT图像；
XCT图像处理模块，用于根据XCT图像和训练好的缺陷识别模型，获得工件缺陷识别结果；
其中，缺陷识别模型包括编码器、注意力模块和解码器；编码器包括多层编码层，多层编码层对XCT图像进行连续编码，获得图像特征，每层编码层还从编码后图像中提取残差信息；解码器包括多层解码层，通过多层解码层对图像特征进行连续解码，并在解码过程中，将编码层获取的残差信息加入对应解码层中；通过注意力模块从图像特征中提取注意力信息，通过注意力信息对每个解码层解码后的特征进行重建，重建后特征输入下一解码层中，其中，最后一层解码层解码后的特征经注意力信息进行重建后，输出工件缺陷识别结果。
实施例3
在该实施例中，公开了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1公开的一种基于图像检测的3D打印工件缺陷识别方法所述的步骤。
实施例4
在该实施例中，公开了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1公开的一种基于图像检测的3D打印工件缺陷识别方法所述的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (6)
1.一种基于图像检测的3D打印工件缺陷识别方法，其特征在于，包括：
获取3D打印工件的XCT图像；
根据XCT图像和训练好的缺陷识别模型，获得工件缺陷识别结果；
其中，缺陷识别模型包括编码器、注意力模块和解码器；编码器包括多层编码层，多层编码层对XCT图像进行连续编码，获得图像特征，每层编码层还从编码后图像中提取残差信息；解码器包括多层解码层，通过多层解码层对图像特征进行连续解码，并在解码过程中，将编码层获取的残差信息加入对应解码层中；通过注意力模块从图像特征中提取注意力信息，通过注意力信息对每个解码层解码后的特征进行重建，重建后特征输入下一解码层中，其中，最后一层解码层解码后的特征经注意力信息进行重建后，输出工件缺陷识别结果；
注意力模块是一种空间特征变换块，该空间特征变换块基于先验信息，输出调整参数对(γ,β)，其中γ为空间注意力信息，β为通道注意力信息，该调整参数对对解码后的特征F进行仿射变换：空间特征变换块(F|γ,β)=γ⊙F+β，获得解码后的特征F的重建后特征，注意力模块提取的注意力信息包括空间注意力信息和通道注意力信息；将空间注意力信息与解码后的特征相乘后与通道注意力信息进行相加，获得解码后的特征的重建后特征；
通过3D打印预设好缺陷的工件，并获取预设好缺陷的工件的XCT图像；对预设好缺陷的工件的XCT图像进行标记，获得训练图像；通过训练图像对构建的缺陷识别模型进行训练，训练完成，获得训练好的缺陷识别模型；
对预设好缺陷的工件的XCT图像进行填充，对填充后图像进行图像块划分，对划分出的图像块进行标记，获得训练图像。
2.如权利要求1所述的一种基于图像检测的3D打印工件缺陷识别方法，其特征在于，解码器包括多层解码层，多层解码层对图像特征进行连续解码，将每层编码层提取的残差信息输入对应的解码层中，每层解码层均对输入的特征进行相加后解码，获得解码后的特征，其中，第一层编码层的输入包括图像特征和对应编码层提取的残差信息。
3.如权利要求1所述的一种基于图像检测的3D打印工件缺陷识别方法，其特征在于，编码器包括多层编码层，每层编码层均对输入的图像进行下采样，获得编码后图像，并提取编码后图像的残差信息，将编码后图像输入下一编码层中，将编码后图像的残差信息输入对应解码层中，第一编码层的输入为XCT图像，最后一层编码层输出的编码后图像为图像特征。
4.一种基于图像检测的3D打印工件缺陷识别系统，其特征在于，包括：
XCT数据采集模块，用于获取3D打印工件的XCT图像；
XCT图像处理模块，用于根据XCT图像和训练好的缺陷识别模型，获得工件缺陷识别结果；
其中，缺陷识别模型包括编码器、注意力模块和解码器；编码器包括多层编码层，多层编码层对XCT图像进行连续编码，获得图像特征，每层编码层还从编码后图像中提取残差信息；解码器包括多层解码层，通过多层解码层对图像特征进行连续解码，并在解码过程中，将编码层获取的残差信息加入对应解码层中；通过注意力模块从图像特征中提取注意力信息，通过注意力信息对每个解码层解码后的特征进行重建，重建后特征输入下一解码层中，其中，最后一层解码层解码后的特征经注意力信息进行重建后，输出工件缺陷识别结果；
注意力模块是一种空间特征变换块，该空间特征变换块基于先验信息，输出调整参数对(γ,β)，其中γ为空间注意力信息，β为通道注意力信息，该调整参数对对解码后的特征F进行仿射变换：空间特征变换块(F|γ,β)=γ⊙F+β，获得解码后的特征F的重建后特征，注意力模块提取的注意力信息包括空间注意力信息和通道注意力信息；将空间注意力信息与解码后的特征相乘后与通道注意力信息进行相加，获得解码后的特征的重建后特征；
通过3D打印预设好缺陷的工件，并获取预设好缺陷的工件的XCT图像；对预设好缺陷的工件的XCT图像进行标记，获得训练图像；通过训练图像对构建的缺陷识别模型进行训练，训练完成，获得训练好的缺陷识别模型；
对预设好缺陷的工件的XCT图像进行填充，对填充后图像进行图像块划分，对划分出的图像块进行标记，获得训练图像。
5.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-3任一项所述的一种基于图像检测的3D打印工件缺陷识别方法的步骤。
6.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-3任一项所述的一种基于图像检测的3D打印工件缺陷识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311108068.7A CN116843685B (zh) | 2023-08-31 | 2023-08-31 | 一种基于图像检测的3d打印工件缺陷识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311108068.7A CN116843685B (zh) | 2023-08-31 | 2023-08-31 | 一种基于图像检测的3d打印工件缺陷识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116843685A CN116843685A (zh) | 2023-10-03 |
| CN116843685B true CN116843685B (zh) | 2023-12-12 |
Family
ID=88165568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311108068.7A Active CN116843685B (zh) | 2023-08-31 | 2023-08-31 | 一种基于图像检测的3d打印工件缺陷识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116843685B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117710372B (zh) * | 2024-02-05 | 2024-05-03 | 苏州双恩智能科技有限公司 | 3d打印工件缺陷的在线检测方法、系统、设备及存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110837786A (zh) * | 2019-10-30 | 2020-02-25 | 汇纳科技股份有限公司 | 基于空间通道的密度图产生方法、装置、电子终端及介质 |
| CN115294038A (zh) * | 2022-07-25 | 2022-11-04 | 河北工业大学 | 一种基于联合优化与混合注意力特征融合的缺陷检测方法 |
| CN115311203A (zh) * | 2022-06-29 | 2022-11-08 | 上海电力大学 | 一种基于Transformer的晶圆缺陷检测方法及系统 |
| CN115423781A (zh) * | 2022-09-05 | 2022-12-02 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于ai识别的3d打印机缺陷检测装置 |
| CN218212587U (zh) * | 2021-11-19 | 2023-01-03 | 北京盈和瑞环境科技有限公司 | 一种搪瓷钢板表面检测装置 |
| WO2023277919A1 (en) * | 2021-07-01 | 2023-01-05 | Google Llc | Multi-scale transformer for image analysis |
| KR20230036343A (ko) * | 2021-09-07 | 2023-03-14 | 인천대학교 산학협력단 | 고화질 영상 융합 장치 |
| CN115908805A (zh) * | 2022-11-17 | 2023-04-04 | 上海大学 | 基于卷积增强交叉自注意力变形器的u型图像分割网络 |
| CN115937707A (zh) * | 2022-12-29 | 2023-04-07 | 南京信息工程大学 | 基于多尺度残差注意力模型的sar影像水体提取方法 |
| CN116012687A (zh) * | 2023-02-10 | 2023-04-25 | 湖南工业大学 | 一种用于轮对踏面缺陷识别的图像交互融合方法 |
| CN116051549A (zh) * | 2023-03-29 | 2023-05-02 | 山东建筑大学 | 一种太阳能电池片缺陷分割方法、系统、介质及设备 |
| WO2023070911A1 (zh) * | 2021-10-27 | 2023-05-04 | 西安工程大学 | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 |
| CN116363060A (zh) * | 2023-02-14 | 2023-06-30 | 长春理工大学 | 一种基于残差u型网络的混合注意力视网膜血管分割方法 |
| CN116664846A (zh) * | 2023-07-31 | 2023-08-29 | 华东交通大学 | 基于语义分割实现3d打印桥面施工质量监测方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10243980B2 (en) * | 2016-03-24 | 2019-03-26 | Cisco Technology, Inc. | Edge-based machine learning for encoding legitimate scanning |
| CN114663335A (zh) * | 2020-12-22 | 2022-06-24 | 富泰华工业（深圳）有限公司 | 图像瑕疵检测方法、装置、电子设备及介质 |
-
2023
- 2023-08-31 CN CN202311108068.7A patent/CN116843685B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110837786A (zh) * | 2019-10-30 | 2020-02-25 | 汇纳科技股份有限公司 | 基于空间通道的密度图产生方法、装置、电子终端及介质 |
| WO2023277919A1 (en) * | 2021-07-01 | 2023-01-05 | Google Llc | Multi-scale transformer for image analysis |
| KR20230036343A (ko) * | 2021-09-07 | 2023-03-14 | 인천대학교 산학협력단 | 고화질 영상 융합 장치 |
| WO2023070911A1 (zh) * | 2021-10-27 | 2023-05-04 | 西安工程大学 | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 |
| CN218212587U (zh) * | 2021-11-19 | 2023-01-03 | 北京盈和瑞环境科技有限公司 | 一种搪瓷钢板表面检测装置 |
| CN115311203A (zh) * | 2022-06-29 | 2022-11-08 | 上海电力大学 | 一种基于Transformer的晶圆缺陷检测方法及系统 |
| CN115294038A (zh) * | 2022-07-25 | 2022-11-04 | 河北工业大学 | 一种基于联合优化与混合注意力特征融合的缺陷检测方法 |
| CN115423781A (zh) * | 2022-09-05 | 2022-12-02 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于ai识别的3d打印机缺陷检测装置 |
| CN115908805A (zh) * | 2022-11-17 | 2023-04-04 | 上海大学 | 基于卷积增强交叉自注意力变形器的u型图像分割网络 |
| CN115937707A (zh) * | 2022-12-29 | 2023-04-07 | 南京信息工程大学 | 基于多尺度残差注意力模型的sar影像水体提取方法 |
| CN116012687A (zh) * | 2023-02-10 | 2023-04-25 | 湖南工业大学 | 一种用于轮对踏面缺陷识别的图像交互融合方法 |
| CN116363060A (zh) * | 2023-02-14 | 2023-06-30 | 长春理工大学 | 一种基于残差u型网络的混合注意力视网膜血管分割方法 |
| CN116051549A (zh) * | 2023-03-29 | 2023-05-02 | 山东建筑大学 | 一种太阳能电池片缺陷分割方法、系统、介质及设备 |
| CN116664846A (zh) * | 2023-07-31 | 2023-08-29 | 华东交通大学 | 基于语义分割实现3d打印桥面施工质量监测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 基于深度学习的高分辨率遥感图像海陆分割方法;崔昊;;软件导刊(03);全文 * |
| 基于点云数据和深度学习的3D打印表面缺陷检测研究;李飞;硕士电子期刊(第01期);正文第4-6页、17-58页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116843685A (zh) | 2023-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116843685B (zh) | 一种基于图像检测的3d打印工件缺陷识别方法及系统 | |
| Shevchik et al. | Deep learning for in situ and real-time quality monitoring in additive manufacturing using acoustic emission | |
| Gobert et al. | Application of supervised machine learning for defect detection during metallic powder bed fusion additive manufacturing using high resolution imaging. | |
| Senck et al. | Additive manufacturing and non-destructive testing of topology-optimised aluminium components | |
| US20220244194A1 (en) | Automated inspection method for a manufactured article and system for performing same | |
| CN106273477B (zh) | 用于光固化成型过程中的实时监测和回溯系统及方法 | |
| CN109283182A (zh) | 一种电池焊点缺陷的检测方法、装置及系统 | |
| Yosifov et al. | Probability of detection applied to X-ray inspection using numerical simulations | |
| WO2019216839A1 (en) | Method of calibrating magnetic particle imaging system | |
| Ertay et al. | Toward sub-surface pore prediction capabilities for laser powder bed fusion using data science | |
| CN116630263A (zh) | 基于深度神经网络的焊缝x射线图像缺陷检测与识别方法 | |
| Du Plessis | X‐ray tomography for the advancement of laser powder bed fusion additive manufacturing | |
| Zhang et al. | Unsupervised Learning for Detection of Defects in Pulsed Infrared Thermography of Metals | |
| Brunke et al. | A new Concept for High-Speed atline and inlineCT for up to 100% Mass Production Process Control | |
| CN114463300A (zh) | 钢材表面缺陷检测方法、电子设备、存储介质 | |
| Zamiela et al. | Deep multi-modal u-net fusion methodology of thermal and ultrasonic images for porosity detection in additive manufacturing | |
| CN113706540B (zh) | 缺陷样本数据生成方法和装置 | |
| Ko et al. | Anomaly segmentation based on depth image for quality inspection processes in tire manufacturing | |
| Dusaussoy et al. | Image processing for CT-assisted reverse engineering and part characterization | |
| CN114581549A (zh) | 一种基于二维超声图像的四维超声重建方法及系统 | |
| Dinh et al. | Layering defects detection in laser powder bed fusion using embedded vision system | |
| Standfield et al. | High-resolution shape deformation prediction in additive manufacturing using 3d cnn | |
| Yang et al. | Hierarchical alignment of 3D print with tool path based on microstructure | |
| Sietins et al. | Material Evaluation Using X-ray Computed Tomography | |
| Ditter et al. | On the way to big data applications in industrial computed tomography |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |