CN116051562A - 基于深度生成网络的金属3d打印质量预测方法 - Google Patents
基于深度生成网络的金属3d打印质量预测方法 Download PDFInfo
- Publication number
- CN116051562A CN116051562A CN202310336421.0A CN202310336421A CN116051562A CN 116051562 A CN116051562 A CN 116051562A CN 202310336421 A CN202310336421 A CN 202310336421A CN 116051562 A CN116051562 A CN 116051562A
- Authority
- CN
- China
- Prior art keywords
- image
- pore
- metal
- printing
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 239000002184 metal Substances 0.000 title claims abstract description 87
- 238000010146 3D printing Methods 0.000 title claims abstract description 70
- 239000011148 porous material Substances 0.000 claims abstract description 72
- 238000012549 training Methods 0.000 claims abstract description 47
- 230000008569 process Effects 0.000 claims abstract description 46
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000013461 design Methods 0.000 claims abstract description 6
- 238000009826 distribution Methods 0.000 claims description 48
- 238000004519 manufacturing process Methods 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 238000005520 cutting process Methods 0.000 claims description 8
- 230000001373 regressive effect Effects 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000007639 printing Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000005498 polishing Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 230000000877 morphologic effect Effects 0.000 claims 1
- 238000012827 research and development Methods 0.000 abstract description 4
- 239000000047 product Substances 0.000 description 26
- 238000005516 engineering process Methods 0.000 description 18
- 239000000843 powder Substances 0.000 description 17
- 239000007769 metal material Substances 0.000 description 8
- 230000004927 fusion Effects 0.000 description 7
- 230000007547 defect Effects 0.000 description 6
- 238000013401 experimental design Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013480 data collection Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 229910001220 stainless steel Inorganic materials 0.000 description 3
- 239000010935 stainless steel Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000012467 final product Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000000155 melt Substances 0.000 description 2
- 238000002844 melting Methods 0.000 description 2
- 230000008018 melting Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005211 surface analysis Methods 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013400 design of experiment Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003050 experimental design method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002923 metal particle Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007711 solidification Methods 0.000 description 1
- 230000008023 solidification Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P10/00—Technologies related to metal processing
- Y02P10/25—Process efficiency
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公布了一种基于深度生成网络的金属3D打印质量预测方法,包括:确定金属3D打印质量预测的参数空间;收集原始图像数据;进行图像预处理,得到训练孔隙图像数据集;构建与训练质量预测模型,预测模型包括变分自编码解码模块、孔隙特征‑工艺参数相关性建模模块和生成图像判别模块;利用训练孔隙图像数据集,使用随机梯度下降算法对预测模型进行训练,得到训练好的预测模型。本发明能够有效提高对金属3D打印产品质量预测的准确度和全面性,可用于优化金属3D打印的工艺参数设计,减少所需的实验样品数量,降低研发成本,缩短研发周期。
Description
技术领域
本发明涉及金属3D打印技术领域,具体涉及一种基于深度生成网络的金属3D打印质量预测方法,可应用于各类金属材料的激光粉床熔合成品质量预测。
背景技术
金属3D打印技术,又称金属增材制造技术,是一种从金属粉末出发,依据产品模型的二维切片使用特殊工艺使金属粉末联结并固化成型,从而实现逐层制备、层层累加制造产品的新型制造技术。与传统的金属减材加工工艺相比,金属3D打印技术可以突破原有的技术限制,实现高精度的复杂结构制造;此外,该技术可以显著降低原材料损耗,简化加工工序,从而在降低制造成本的同时提高了生产效率。目前,金属3D打印技术在航空航天、汽车制造、高精度模具、生物医疗等前沿领域获得了较为广泛的应用,已经成为了推动传统制造业数字化、智能化升级发展的尖端技术之一。目前,金属3D打印主要有6种不同的工艺技术路线,其中,激光粉床熔合技术在最终成品性能和工艺成熟度上都有较大优势,成为当前金属3D打印的主流技术之一。该技术首先将金属粉末预置在制造底盘上,随后根据产品模型的二维切片控制高能激光束的扫描路径,选择性地加热金属粉末使其发生熔化,熔融状态的金属在激光离开后快速冷却凝固得到均匀细致的金相组织,从而实现了当前层的制造。随后,制造底盘下移一个层厚,系统重新铺设金属粉末并开始下一层的制造,如此层层叠加最终得到目标产品。然而,受限于现有的技术,激光粉床熔合在产品质量控制方面依然存在一些问题。由于该技术的制造工艺涉及到复杂的流固耦合和热力学过程,其最终成品的质量往往受到材料特性、制造设备、生产环境和工艺参数等多重因素的影响。其中,最常见的质量问题为孔隙缺陷(porosity),根据其形成机制和结构形态的差异,孔隙缺陷可以分为4种类型,包括未熔合孔隙(lack of fusion pore)、匙孔(keyhole pore) 、收缩孔隙(shrinkage pore)和冶金孔隙(metallurgicalpore)。研究表明,在金属3D打印制造过程中,激光功率、激光扫描速度、粉层厚度、扫描路径间距等核心工艺参数的设计与组合会显著影响孔隙的生成与微观结构。例如,过高的激光功率会在熔融过程中产生气孔,在固化时气孔来不及散出保留在熔池中形成匙孔孔隙;而过低的激光功率会导致金属粉末熔融不充分,从而在熔池中残留金属颗粒形成未熔合孔隙。进一步地,由不合理的工艺参数设计导致的孔隙缺陷将直接影响金属3D打印的产品质量,对产品的力学性能和抗疲劳性能造成损害,尤其对于一些关键的金属零部件,其各项力学表现直接关系到所属设备的运行表现和使用寿命。因此,如何对复杂工艺参数背景下的产品孔隙结构形态进行建模和预测是关系到金属3D打印技术大规模推广应用的关键问题。
目前,传统的金属3D打印质量预测方法主要包含以下三个步骤:第一,设计一定数量的工艺参数组合进行制造加工,获得测试样品;第二,人工设计一个指标量化测试样品中的孔隙结构,从而获得该样品的质量量化描述;第三,将获得的量化值与制备测试样品的工艺参数进行相关性建模,绘制质量-参数响应曲面。其中,现有的金属3D打印质量预测方法在步骤二中通常使用的量化指标有:孔隙率、孔隙平均半径、孔隙圆度等,这些人工设置的几何指标在量化结构复杂的未熔合孔隙时引入了非常大的误差,同时,一维的标量指标在描述孔隙的复杂形态时也产生了大量的信息损失,这对后续的质量预测建模产生了严重的不良影响。此外,在步骤三的相关性建模中,现有的方法多依赖于实验设计方法(Design ofExperiment,DoE)的响应面分析或者多变量高斯过程,这些方法在质量预测的准确度和预测计算效率上存在明显不足,同时也无法全面地反映出工艺参数对孔隙形态的影响。
综上所述,现有的金属3D打印质量预测技术在预测准确度上存在明显不足,同时对复杂孔隙形态量化过于简单,无法全面反映出孔隙的形态与结构,由此无法从工艺参数出发分析其成品的力学性能和抗疲劳性能。现有质量预测技术存在的缺陷无法满足大规模工业制造背景下对金属3D打印过程的质量预测要求,也在一定程度上限制了金属3D打印技术的推广进程。
发明内容
为了解决上述金属3D打印质量预测现有技术存在的问题,本发明提出了一种基于深度生成网络的新型金属3D打印质量预测方法,可应用于各类金属材料的激光粉床熔合成品质量预测。
本发明方法能够以少量金属3D打印实验样品的横截面图像为训练样本,使用一种新型的生成式神经网络模型对复杂孔隙图像的深层形态特征进行学习,解决了现有方法中只能使用人工设计的简单几何指标去描述复杂孔隙形态的不足,保留了孔隙图像数据中更高维度的形态特征信息。此外,构建的生成式神经网络模型能够在学习深层形态特征的同时,将提取到的特征与控制金属3D打印制备过程的工艺参数进行相关性建模,从而实现在参数空间内对任意参数组合下的孔隙形态进行图像预测,突破了现有方法中只能预测单一孔隙率指标的局限性。本发明提出的生成式神经网络模型,能够有效提高对金属3D打印产品质量预测的准确度和全面性,可用于优化金属3D打印的工艺参数设计,减少所需的实验样品数量,降低研发成本,缩短研发周期。
本发明提出的基于深度生成网络的金属3D打印质量预测方法,具体包括以下步骤:
步骤1、确定金属3D打印质量预测的参数空间:选择需要研究的工艺参数变量,并根据实际需求和经验确定其数值范围及水平数。用表示选定的个工艺参数,预测模型的参数空间即可表示为,并根据工艺参数的数值范围及水平数限定参数空间的取值范围。
步骤2、原始实验图像数据收集:根据步骤1中选定的每一个工艺参数的数值范围和水平数,设置实验设计表,并根据设计表完成金属3D打印实验,得到3D打印样品。将样品从制造底盘上取下后,随机选取横截面进行切割、打磨,并对处理后的横截面进行孔隙形态图像采集,得到原始图像数据集。
步骤3、对孔隙图像数据进行预处理,得到训练图像数据集:对步骤2中的原始图像数据集进行预处理,包括图像去噪处理、剪裁、缩放和数据增强,并将预处理后的孔隙图像与对应样品的工艺参数进行组合,得到训练数据集,表示第个预处理后的孔隙图像数据,表示孔隙图像对应的工艺参数,且有,表示训练图像数据总数。
步骤4、质量预测模型的构建与训练:本步骤建立了一个基于深度生成网络的新型金属3D打印质量预测模型,利用步骤3中的训练图像数据集,使用随机梯度下降算法对模型进行训练。
步骤5、对待预测的金属3D打印成品进行打印质量预测:利用步骤4中训练好的模型,输入待预测的金属3D打印成品的工艺参数组合,即可输出对应的打印成品的孔隙形态预测图像,从而实现全面、准确的金属3D打印质量预测。
进一步地,步骤2中,使用线切割将3D打印成品从制造底盘上取下,并对选定的某一横截面进行切割。切割完成后,通过打磨、抛光处理,随后使用光学或电子显微镜对横截面进行成像,获得原始孔隙形态图像数据。
进一步地,步骤3中,使用本发明提出的一种图像去噪算法对原始孔隙图像数据进行去噪处理,具体步骤如下:
步骤3.1、将原始图像转为灰度图;
步骤3.2、定义黑色像素点判定阈值,判定域半径值,创建与灰度图同尺寸的空白图,用于输出去噪后的图像;创建与灰度图同尺寸的访问图,并将访问图中每个像素点的初始值设置为0(即“未访问”),访问图用于记录灰度图中的像素点在遍历过程中是否已经被访问过,如果已经被访问过,即可跳过,从而提高去噪算法的整体效率;
步骤3.3、遍历灰度图中的每一个像素点,筛选得到中像素点的像素值未超过判定阈值的像素点;
如果灰度图中当前像素点在访问图中被标记为1(即“已访问”),则直接进入下一个像素点,执行步骤3.3;如果否,则判断当前像素点的像素值是否超过判定阈值,如果超过,则在访问图中将当前像素点设置为1(即“已访问”),并进入下一个像素点,并执行步骤3.3;如果否,进入步骤3.4;
步骤3.4、计算得到判定域内的像素点,即以当前像素点(筛选得到的像素点)为中心,判定域半径值内的所有像素点;并创建一个空列表;
步骤3.5、遍历判定域内的像素点(包括中心像素点),如果该像素点的像素值小于判定阈值,则将其加入列表内;
步骤3.6、遍历完成后,如果列表中的像素点数量超过判定域内像素点数量的设定比例(如80%),则将内的所有像素点复制到空白图上,并在访问图中将其全部标记为1(即“已访问”),并进入下一个像素点,继续执行步骤3.3;如果否,将当前像素点在访问图中标记为1(即“已访问”),并进入下一个像素点,继续执行步骤3.3。
步骤3.7、当访问图中所有像素点的值均为1(即完成步骤3.3对所有像素点的遍历),算法结束,输出得到去噪后的图像。
进一步地,在步骤3中得到去噪后的图像数据后,设定某一尺寸的方形裁剪框对进行多次随机裁剪,并将裁剪后的图像进行缩放和数据增强。在图像数据增强过程中,对缩放后图像顺时针分别旋转90度,180度与270度,得到包含4张不同角度的图像集合,对该图像集合中的图像进行一次水平翻转,即可得到8张孔隙图像。对所有孔隙图像进行正则化处理,将孔隙图像像素值映射为[-1,1];对所有孔隙图像对应的工艺参数进行正则化处理,将工艺参数空间映射至[0,1]的超立方体中。整理后得到的孔隙图像作为训练图像数据集。
进一步地,在步骤4中,本发明提出的新型金属3D打印质量预测模型包含以下3个模块:
模块1、变分自编码解码模块。该模块包括:一个编码器,为该编码器的参数,为输入编码器的孔隙图像,为编码器将图像编码后的输出,包含该图像的高维特征信息;一个解码器,为该解码器的参数,为解码器的输入编码,为解码器对输入编码进行解码后的输出的重构图像;一个预训练好的辅助计算网络,用于计算经过自编码解码后的重构图像与输入图像之间的重构误差。
模块2、孔隙特征-工艺参数相关性建模模块。该模块包括一个回归器,为回归器的参数,为输入回归器的工艺参数,为回归器输出的孔隙图像高维特征编码。
模块3、生成图像判别模块。该模块包括一个判别器,为判别器的参数,为输入判别器的图像,其输出为衡量输入图像真实性的判别值。
进一步地,在步骤4中,将训练图像数据集输入金属3D打印质量预测模型中,基于以下的训练目标函数联合训练优化上述模型各模块的参数:
1、对于模块1与模块2,其联合优化损失函数为:
其中,表示Kullback-Leibler散度(KL散度),为数学期望符号,为该项的权重系数。该项(联合优化损失函数的第一项,表示为)计算了编码器得到的高维特征编码分布与回归器预测的特征编码分布之间的差异。具体地,可以经过推导由以下公式计算:
其中,表示高维特征的总维度,为维度序号;与为编码器的输出,分别表示编码器得到的高维特征编码分布的均值与log方差(对数方差,该分布为多变量高斯分布),与分别表示第个图像的高维特征编码分布均值和log方差的第个分量;对应地,与为回归器的输出,分别表示回归器根据工艺参数预测的高维特征编码分布的均值与log方差(该分布为也多变量高斯分布),与分别表示第个图像对应的工艺参数在回归器预测后的高维特征编码分布均值和log方差的第个分量。
联合优化损失函数的第二项(表示为)计算了输入图像在编码、解码后的重构误差。具体地,该重构误差由辅助计算网络给出,表示为:
其中,表示第个图像,表示在通过变分自编码解码器模块后的重构结果。辅助计算网络是一个预训练好的通用计算机视觉神经网络,例如,可以是VisualGeometry Group-19 (VGG-19)网络。该网络具有多层结构,本发明在其中选择具有代表性的若干层,表示选择的辅助计算网络的总层数,为的层序号;表示根据选择的的第层输出的特征图计算得到的格拉姆斯矩阵(GramsMatrix);表示两个矩阵的欧氏距离,为该层的权重。
2、对于模块3,其优化的损失函数表示为:
其中,表示训练图像的分布,表示生成图像的分布,表示第二项的权重值;表示在与之间线性插值;为梯度计算符号;生成图像包括两个部分,第一部分为上一部分的重构图像;第二部分为训练过程中的临时预测图像,该部分由模块1与模块2给出,具体地,首先在参数空间内任意选择个工艺参数组合,记为,且有,将选择的参数输入回归器中,得到预测的高维特征编码分布,表示为:
其中,表示一个对角协方差的多元高斯分布,为单位阵;与是回归器根据输入的工艺参数给出的输出,分别表示该分布的均值与log方差。
在预测的特征编码分布中采样,并将采样值输入解码器得到训练过程中的临时预测图像:
其中,为一个在标准多元高斯分布中采样的随机噪声项;表示哈达玛乘积;为采样得到的高维特征编码。
进一步地,优化损失函数中的表示与之间的推土机距离(Earth-Mover distance),由判别器给出,表示为:
进一步地,可以写为:
其中,表示在训练图像分布中的采样,表示在生成图像分布中的采样,为线性插值的参数,通过在一个标准的0-1均匀分布中随机采样得到。
进一步地,在步骤5中,在参数空间中任意选择若干参数组合,记为,其中,表示需要预测的参数组合总数,表示序号。将参数组合输入回归器中,得到预测的高维特征编码分布:
其中,表示一个对角协方差的多元高斯分布;与是回归器根据输入的工艺参数给出的输出,分别表示该分布的均值与log方差。
在预测的特征编码分布中采样,并将采样值输入解码器得到预测图像:
其中,为一个在标准多元高斯分布中采样的随机噪声项;为采样得到的高维特征编码。
综上所述,本发明提出了一种基于深度生成网络的金属3D打印质量预测方法,该方法涵盖了实验设计、实验数据收集、训练图像数据预处理、新型金属3D打印质量预测模型构建与训练、金属3D打印质量预测5个部分,可以应用于各类金属材料的激光粉床熔合成品质量预测。
与现有技术相比,本发明的有益效果包括:
1、本发明包含了一种高效的孔隙图像去噪算法,可以实现对金属3D打印产品的孔隙横截面图像的划痕去除与噪声去除。
2、本发明提出了一种基于深度生成网络的新型金属3D打印质量预测模型,使用生成式神经网络自主学习复杂孔隙结构形态的高维特征编码,取代了现有方法中人为设计的几何量化指标,显著提高了衡量孔隙结构形态的准确度,保留了孔隙图像数据中的深层信息。
3、本发明使用的生成式神经网络模型实现了对高维特征编码-工艺参数的相关性建模,相较于传统的响应面分析法和高斯过程建模法,本发明使用的模型可以更准确地处理高维数据之间的相关性。
4、本发明实现了对金属3D打印成品孔隙结构形态的图像预测,突破现有方法中只能预测单一孔隙率指标的限制,在预测准确度和全面程度上均取得了显著提升。本发明可以大幅降低工艺参数优化的时间和经济成本,辅助分析不同工艺参数变化时对产品力学性能和抗疲劳性能的影响,缩短研发新材料所需的实验周期,可促进金属3D打印技术的推广应用。
附图说明
为了更加清楚地说明本发明的技术方案和具体实施例,下面对需要使用的附图进行简单介绍。
图1为本发明所述的基于深度生成网络的金属3D打印质量预测模型的模块构成框图;
图2为本发明所述方法在316L不锈钢金属3D打印实施例中,对于3D打印产品质量(孔隙结构形态)的预测结果和真实结果对比图;其中左图表示真实金属3D打印产品在不同工艺参数下的孔隙结构形态,右图表示本发明所述方法对于打印产品的预测质量结果。
具体实施方式
为了使本技术领域的人员更好地理解本发明,下面结合附图1-2,通过实施例,对本发明做进一步的说明。应当理解,本发明可应用于各类不同金属材料的激光粉床熔合工艺成品质量预测,以下描述的实施例仅作为本发明具体实施方式的一种解释,本发明并不局限于实施例中所涉及的金属材料、操作细节和超参数设置。
本发明提供了一种基于深度生成网络的金属3D打印质量预测方法,该方法涵盖了实验设计、实验数据收集、训练图像数据预处理、金属3D打印质量预测模型构建与训练、金属3D打印质量预测5个部分,可以应用于各类金属材料的激光粉床熔合成品质量预测。在本实施例中,本发明针对316L不锈钢金属粉末成品进行质量预测,具体包含以下步骤:
步骤1、确定金属3D打印质量预测的参数空间:在316L不锈钢金属粉末的3D打印制造过程中,选择激光功率与激光扫描速度两个关键工艺参数,设置激光功率的数值范围为[150,400](W),水平数为6;激光扫描速度的数值范围为[100,1500](mm/s),水平数为8。由此确定参数空间为。
步骤2、原始实验图像数据收集:根据步骤1中每一个工艺参数的数值范围和水平数,设置实验设计表,激光功率,激光扫描速度。根据实验设计表,完成6×8组实验,得到实验样品。将样品从制造底盘上取下后,选择样品顶面为观测面,在每一个样品的观测面上使用50倍光学显微镜随机采集16张原始图像(分辨率:2752×2208),得到原始图像数据集。
步骤3、图像数据预处理:对步骤2中的原始图像数据集进行预处理,首先使用本发明中提出的孔隙图像去噪算法对图像进行处理,随后对处理过的图像使用方形剪裁框(分辨率:1920×1920)随机剪裁4次,并使用OpenCV2中公开的INTER_CUBIC算法将剪裁后的图像缩放至256×256的分辨率。随后使用本发明中提出的数据增强方法对缩放后的图像完成数据增强。进一步地,将增强后的图像进行正则化处理,将像素值映射至[-1,1],并将相应的参数空间映射至[0,1]。为了更好地展示本发明的预测效果,本实施例中将预处理后的数据集按照训练集(70%)和测试集(30%)进行随机不相交的划分,训练集将用于步骤4中的预测模型训练,测试集将用于步骤5中的金属3D打印质量预测。
步骤4、质量预测模型的构建与训练:建立基于深度生成网络的金属3D打印质量预测模型。如图1所示,预测模型包含以下3个模块:
模块1、变分自编码解码模块。该模块包括一对结构对称的卷积深度神经网络,其中编码器使用5个卷积块(卷积核大小4,步幅2,填充1)并使用批归一化和LeakyReLU激活,以及2个并行的线性块(特征编码维度64);解码器使用1个线性块和5个反卷积块(卷积核大小4,步幅2,填充1),其中前4个反卷积块使用批归一化和Leaky ReLU激活,最后一个反卷积块使用Tanh激活;同时使用预训练好的通用计算机视觉神经网络VGG-19作为辅助计算网络,并选择其pool1,pool2,pool3,pool4和conv5_4共5层用于计算格拉姆斯矩阵,设置它们的权重值为1e7,1e7,1e7,1e7和5e6。
模块2、孔隙特征-工艺参数相关性建模模块。该模块包括一个回归器,使用5层多层感知机(Multi-layer perceptron),其中前4个线性层使用批归一化和ReLU激活,最后一层包含两个并行的线性层,且不使用归一化和激活。
模块3、生成图像判别模块。该模块包括一个判别器,使用与编码器相同的结构,并将该结构中卷积块的批归一化全部替换为实例归一化。
利用步骤3中的训练数据集,使用随机梯度下降算法对模型进行联合优化训练。具体地,设置模型优化器为Adam optimizer,学习率为1e-5,批大小为32,训练轮次为500轮;同时,对于预测模型中的超参数,设置为1e-3,为10。
步骤5、质量预测:利用步骤4中训练好的模型,将步骤3中的测试集工艺参数输入其中,给出对应的孔隙形态预测图像,部分预测结果如图2所示,其中左半部分为真实的孔隙结构形态观测图像,右半部分为本发明的预测结果,通过对比可以发现,本发明提出的质量预测模型在预测准确度、全面性上都有优越的表现。
综上所述,本发明的步骤1与步骤2完成了实验设计与实验数据收集;步骤3实现了对训练图像数据的预处理,其中包含了本发明提出的一种高效的孔隙图像降噪算法;步骤4对金属3D打印质量预测的模型进行了构建与训练,其中包含了本发明中首创的基于深度生成网络的多模块联合优化算法;步骤5实现了对金属3D打印的质量预测,其中包含了本发明中创新性的对孔隙图像进行直接预测,从而实现了对现有质量预测技术的突破。通过实施例,本发明提出的金属3D打印质量预测模型得到了有力论证,进一步验证了本发明在金属3D打印过程的质量控制上具有较大的应用价值。
需要注意的是,本发明中提出的实施例旨在更好地阐述本发明的流程步骤,应当理解:在不脱离本发明及所附权利要求的范围内,对金属材料、操作细节、网络结构和超参数设置、训练方法等方面的各种替换和修改都是可能的。因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。
Claims (10)
1.一种基于深度生成网络的金属3D打印质量预测方法,其特征是,以金属3D打印样品的横截面图像为训练图像;通过构建新型的生成式神经网络模型,对复杂孔隙图像的深层形态特征进行学习;将提取到的图像特征与金属3D打印工艺参数进行相关性建模,实现在参数空间内对任意参数组合下的孔隙形态进行图像预测;包括以下步骤:
步骤1)选择金属3D打印工艺参数变量,确定金属3D打印质量预测的参数空间;
步骤2)收集原始图像数据:
设定参数空间的每一个工艺参数的数值范围和水平数,设置3D打印设计表并完成金属3D打印,得到3D打印样品;随机选取3D打印样品横截面进行切割,并对横截面进行孔隙形态图像采集,得到原始孔隙图像数据集;
步骤3)进行图像预处理,得到训练孔隙图像数据集:
对孔隙图像进行预处理包括图像去噪、剪裁、缩放和数据增强;将预处理后的图像与对应样品的工艺参数组合,得到训练数据集;
步骤4)构建与训练质量预测模型,预测模型包括变分自编码解码模块、孔隙特征-工艺参数相关性建模模块和生成图像判别模块;利用训练孔隙图像数据集进行训练,得到训练好的预测模型;其中:
变分自编码解码模块包括编码器、解码器和预训练好的辅助计算网络;编码器的输入为孔隙图像,编码器的输出为图像编码,包含该图像的高维特征信息;解码器的输入为图像编码,解码器对输入图像编码进行解码后输出重构图像;预训练好的辅助计算网络用于计算经过自编码解码后的重构图像与输入的孔隙图像之间的重构误差;
孔隙特征-工艺参数相关性建模模块包括回归器,回归器的输入为工艺参数,回归器的输出为孔隙图像高维特征编码;
生成图像判别模块包括判别器,对输入判别器的图像进行真实性判别,输出为衡量输入图像真实性的判别值;
步骤5)对待预测的金属3D打印成品进行打印质量预测:
利用训练好的预测模型,输入待预测的金属3D打印成品的工艺参数组合,即可输出对应的打印成品的孔隙形态预测图像,实现金属3D打印质量预测。
2.如权利要求1所述基于深度生成网络的金属3D打印质量预测方法,其特征是,步骤2)中,具体是使用线切割将3D打印成品从制造底盘上取下,并对选定的横截面进行切割;切割完成后,通过打磨、抛光处理,再使用光学或电子显微镜对横截面进行成像,获得原始孔隙形态图像数据。
3.如权利要求1所述基于深度生成网络的金属3D打印质量预测方法,其特征是,步骤3)对孔隙图像进行图像预处理,包括图像去噪、剪裁、缩放和数据增强;具体是将预处理后的图像与对应样品的工艺参数组合,得到训练数据集记为,,其中表示第个图像预处理后的图像数据,表示图像对应的工艺参数,且,均为在参数空间中的工艺参数;表示训练图像数据总数;为工艺参数个数;为图像数据序号。
4.如权利要求3所述基于深度生成网络的金属3D打印质量预测方法,其特征是,步骤3)进行图像预处理中,图像去噪处理的过程如下:
步骤3.1、将原始图像转为灰度图;
步骤3.2、定义黑色像素点判定阈值,判定域半径值,创建与同尺寸的空白图,创建与同尺寸的访问图;并将访问图中每个像素点的初始值设置为未访问;
步骤3.3、遍历中的每一个像素点,筛选得到中像素点的像素值小于判定阈值的像素点;
步骤3.4、计算得到判定域内的像素点,即以筛选得到的像素点为中心,判定域半径为内的所有像素点;并创建一个空列表;
步骤3.5、遍历判定域内的像素点,如果像素点的像素值小于判定阈值,则加入列表内;
步骤3.6、如果列表中的像素点数量超过判定域内像素点数量的设定比例,则将内的所有像素点复制到空白图上,得到去噪后的图像数据;并在中将内全部像素点标记为已访问。
5.如权利要求4所述基于深度生成网络的金属3D打印质量预测方法,其特征是,步骤3)中,得到去噪后的图像数据后,设定某一尺寸的方形裁剪框对进行多次随机裁剪,并将裁剪后的图像进行缩放和数据增强;在图像数据增强过程中,对缩放后图像顺时针分别旋转90度,180度与270度,得到包含4张不同角度的图像集合,对该图像集合中的图像进行一次水平翻转,即得到8张孔隙图像;对所有孔隙图像进行正则化处理,将孔隙图像像素值映射为[-1,1];对所有孔隙图像对应的工艺参数进行正则化处理,将工艺参数空间映射至[0,1]的超立方体中;将整理后得到的孔隙图像作为训练图像数据集。
6.如权利要求3所述基于深度生成网络的金属3D打印质量预测方法,其特征是,在步骤4)中,将训练图像数据集输入金属3D打印质量预测模型中,基于以下的训练目标函数联合训练优化模型各模块的参数:
41)变分自编码解码模块与孔隙特征-工艺参数相关性建模模块的联合优化损失函数为:
其中:为编码器;为编码器的参数;表示输入编码器的第个孔隙图像;为对应的图像编码;表示第i个孔隙图像对应的工艺参数;为解码器;为解码器的参数;表示期望;为回归器,为回归器的参数;表示Kullback-Leibler散度,即KL散度;为权重系数;
42)生成图像判别模块的优化损失函数表示为:
其中,为判别器;为判别器的参数;表示训练图像的分布,表示生成图像的分布;生成图像包括重构图像和训练过程中的临时预测图像,由变分自编码解码模块与孔隙特征-工艺参数相关性建模模块给出;表示与之间的推土机距离;为梯度惩罚项的权重值;表示在与之间线性插值。
7.如权利要求6所述基于深度生成网络的金属3D打印质量预测方法,其特征是,将联合优化损失函数的第一项表示为,用于计算编码器得到的高维特征编码分布与回归器预测的特征编码分布之间的差异;表示为:
其中,表示高维特征的总维度,为维度序号;与为编码器的输出,分别表示编码器得到的高维特征编码分布的均值与log方差,即对数方差;该分布为多变量高斯分布;与分别表示第个图像的高维特征编码分布均值和log方差的第个分量;与为回归器的输出,分别表示回归器根据工艺参数预测的高维特征编码分布的均值与log方差;与分别表示第个图像对应的工艺参数在回归器预测后的高维特征编码分布均值和log方差的第个分量;
将联合优化损失函数的第二项表示为,用于计算输入图像在编码、解码后的重构误差;重构误差表示为:
其中,表示第个图像,表示在通过变分自编码解码器模块后的重构结果;表示辅助计算网络的总层数;为辅助计算网络的层序号;表示根据选择的的第层输出的特征图计算得到的格拉姆斯矩阵;表示两个矩阵的欧氏距离,为层的权重。
8.如权利要求6所述基于深度生成网络的金属3D打印质量预测方法,其特征是,获取训练过程中的临时预测图像具体包括:
首先在参数空间内任意选择个工艺参数组合,记为,且有;
将选择的参数输入回归器中,得到预测的高维特征编码分布,表示为:
其中,表示一个对角协方差的多元高斯分布,为单位阵;与是回归器根据输入的工艺参数给出的输出,分别表示该分布的均值与log方差;
在预测的特征编码分布中采样,并将采样值输入解码器,得到训练过程中的临时预测图像:
其中,为一个在标准多元高斯分布中采样的随机噪声项;表示哈达玛乘积;为采样得到的高维特征编码;
优化损失函数中的由判别器得到,表示为:
;
由线性插值得到的可具体表示为:
;
其中,表示在训练图像分布中的采样,表示在生成图像分布中的采样,为线性插值的参数。
9.如权利要求8所述基于深度生成网络的金属3D打印质量预测方法,其特征是,在步骤5)中,具体是在参数空间中任意选择多个参数组合,记为,其中,表示需要预测的参数组合总数,表序号;
将参数组合输入回归器中,得到预测的高维特征编码分布,表示为:
其中,表示对角协方差的多元高斯分布;与是回归器根据输入的工艺参数给出的输出,分别表示该分布的均值与log方差;
在预测的特征编码分布中采样,并将采样值输入解码器,得到预测图像,表示为:
其中,为一个在标准多元高斯分布中采样的随机噪声项;为采样得到的高维特征编码;为预测输出的图像。
10.如权利要求1所述基于深度生成网络的金属3D打印质量预测方法,其特征是,步骤4)中,使用随机梯度下降算法对预测模型进行训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310336421.0A CN116051562B (zh) | 2023-03-31 | 2023-03-31 | 基于深度生成网络的金属3d打印质量预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310336421.0A CN116051562B (zh) | 2023-03-31 | 2023-03-31 | 基于深度生成网络的金属3d打印质量预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116051562A true CN116051562A (zh) | 2023-05-02 |
CN116051562B CN116051562B (zh) | 2023-06-13 |
Family
ID=86116833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310336421.0A Active CN116051562B (zh) | 2023-03-31 | 2023-03-31 | 基于深度生成网络的金属3d打印质量预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116051562B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108038325A (zh) * | 2017-12-22 | 2018-05-15 | 北京工业大学 | 一种3d打印技术制造的多孔框架结构宏观弹性性能可靠性预测方法 |
WO2019183584A1 (en) * | 2018-03-23 | 2019-09-26 | Memorial Sloan Kettering Cancer Center | Deep encoder-decoder models for reconstructing biomedical images |
CN110976861A (zh) * | 2019-11-29 | 2020-04-10 | 佛山科学技术学院 | 一种基于机器视觉的金属3d打印质量智能在线监控系统 |
KR102236149B1 (ko) * | 2019-12-31 | 2021-04-06 | 한국과학기술원 | 3d 프린팅 시스템 및 이의 실시간 피드백 공정제어 방법 |
CN112884768A (zh) * | 2021-03-30 | 2021-06-01 | 中国科学院自动化研究所 | 基于神经网络的3d打印在线质量监测方法、系统、装置 |
WO2022047625A1 (zh) * | 2020-09-01 | 2022-03-10 | 深圳先进技术研究院 | 一种图像处理方法、系统和计算机存储介质 |
CN115049127A (zh) * | 2022-06-15 | 2022-09-13 | 杭州电子科技大学 | 基于bohb算法及神经网络的3d打印质量预测方法 |
CN115510766A (zh) * | 2022-11-09 | 2022-12-23 | 北京大学 | 一种基于高斯过程模型的3d打印质量预测方法及系统 |
WO2022267641A1 (zh) * | 2021-06-25 | 2022-12-29 | 南京邮电大学 | 一种基于循环生成对抗网络的图像去雾方法及系统 |
CN115659776A (zh) * | 2022-09-09 | 2023-01-31 | 天津大学 | 一种3d打印模型成型质量参数预测方法 |
CN115775249A (zh) * | 2022-12-26 | 2023-03-10 | 汕头大学 | 一种增材制造造件成形质量监测方法、系统及存储介质 |
CN115797542A (zh) * | 2022-06-20 | 2023-03-14 | 北京理工大学 | 一种具有直接体绘制效果的三维医学图像几何建模方法 |
-
2023
- 2023-03-31 CN CN202310336421.0A patent/CN116051562B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108038325A (zh) * | 2017-12-22 | 2018-05-15 | 北京工业大学 | 一种3d打印技术制造的多孔框架结构宏观弹性性能可靠性预测方法 |
WO2019183584A1 (en) * | 2018-03-23 | 2019-09-26 | Memorial Sloan Kettering Cancer Center | Deep encoder-decoder models for reconstructing biomedical images |
CN110976861A (zh) * | 2019-11-29 | 2020-04-10 | 佛山科学技术学院 | 一种基于机器视觉的金属3d打印质量智能在线监控系统 |
KR102236149B1 (ko) * | 2019-12-31 | 2021-04-06 | 한국과학기술원 | 3d 프린팅 시스템 및 이의 실시간 피드백 공정제어 방법 |
WO2022047625A1 (zh) * | 2020-09-01 | 2022-03-10 | 深圳先进技术研究院 | 一种图像处理方法、系统和计算机存储介质 |
CN112884768A (zh) * | 2021-03-30 | 2021-06-01 | 中国科学院自动化研究所 | 基于神经网络的3d打印在线质量监测方法、系统、装置 |
WO2022267641A1 (zh) * | 2021-06-25 | 2022-12-29 | 南京邮电大学 | 一种基于循环生成对抗网络的图像去雾方法及系统 |
CN115049127A (zh) * | 2022-06-15 | 2022-09-13 | 杭州电子科技大学 | 基于bohb算法及神经网络的3d打印质量预测方法 |
CN115797542A (zh) * | 2022-06-20 | 2023-03-14 | 北京理工大学 | 一种具有直接体绘制效果的三维医学图像几何建模方法 |
CN115659776A (zh) * | 2022-09-09 | 2023-01-31 | 天津大学 | 一种3d打印模型成型质量参数预测方法 |
CN115510766A (zh) * | 2022-11-09 | 2022-12-23 | 北京大学 | 一种基于高斯过程模型的3d打印质量预测方法及系统 |
CN115775249A (zh) * | 2022-12-26 | 2023-03-10 | 汕头大学 | 一种增材制造造件成形质量监测方法、系统及存储介质 |
Non-Patent Citations (1)
Title |
---|
易金鑫: ""基于GA-BP混合算法的激光工艺参数优化及软件开发"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 4, pages 140 - 198 * |
Also Published As
Publication number | Publication date |
---|---|
CN116051562B (zh) | 2023-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110211045B (zh) | 基于srgan网络的超分辨率人脸图像重建方法 | |
CN112232349A (zh) | 模型训练方法、图像分割方法及装置 | |
CN111784671A (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
Li et al. | In situ quality inspection with layer-wise visual images based on deep transfer learning during selective laser melting | |
CN110930378B (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
CN111462075A (zh) | 一种全切片数字病理图像模糊区域的快速重聚焦方法及系统 | |
KR20220117328A (ko) | 금속 조직의 상의 분류 방법, 금속 조직의 상의 분류 장치, 금속 조직의 상의 학습 방법, 금속 조직의 상의 학습 장치, 금속 재료의 재료 특성 예측 방법 및 금속 재료의 재료 특성 예측 장치 | |
CN111652818A (zh) | 一种基于金字塔的图像滤波方法、装置及存储介质 | |
CN114897781A (zh) | 基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法 | |
CN116051562B (zh) | 基于深度生成网络的金属3d打印质量预测方法 | |
CN117132827A (zh) | 基于改进YOLOv5s网络的热轧钢带表面缺陷检测方法 | |
CN115953784A (zh) | 基于残差和特征分块注意力的激光打码字符分割方法 | |
CN113591854B (zh) | 一种浮游生物全息图的低冗余快速重建方法 | |
CN114219790A (zh) | 一种基于边缘信息的钢铁表面缺陷显著性检测方法 | |
Zhao et al. | A new method for classifying and segmenting material microstructure based on machine learning | |
Korkmaz et al. | Tool wear and its mechanism in turning aluminum alloys with image processing and machine learning methods | |
CN114862713B (zh) | 基于注意力平滑膨胀卷积的两阶段图像去雨方法 | |
CN116342624A (zh) | 一种结合特征融合与注意力机制的脑肿瘤图像分割方法 | |
Wu et al. | A monitoring method for surface roughness of γ-TiAl alloy based on deep learning of time–frequency diagram | |
CN115661803A (zh) | 图像清晰度检测方法、电子设备以及计算机可读存储介质 | |
CN115439363A (zh) | 基于对比学习的视频去雾装置与去雾方法 | |
CN110060253B (zh) | 基于Gabor多特征提取和优选的复合轨枕孔隙缺陷识别方法 | |
CN112967267B (zh) | 一种全卷积神经网络的激光定向能量沉积溅射计数方法 | |
CN115656444B (zh) | 一种大型场馆内二氧化碳场浓度重建方法 | |
CN110675372A (zh) | 细胞分辨水平的脑组织三维图像的脑区自动分割方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |