CN113762240B - 一种基于深度学习的熔覆层几何特征预测方法及系统 - Google Patents
一种基于深度学习的熔覆层几何特征预测方法及系统 Download PDFInfo
- Publication number
- CN113762240B CN113762240B CN202111001254.1A CN202111001254A CN113762240B CN 113762240 B CN113762240 B CN 113762240B CN 202111001254 A CN202111001254 A CN 202111001254A CN 113762240 B CN113762240 B CN 113762240B
- Authority
- CN
- China
- Prior art keywords
- molten pool
- neural network
- cladding layer
- convolutional neural
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005253 cladding Methods 0.000 title claims abstract description 88
- 238000013135 deep learning Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 94
- 238000012549 training Methods 0.000 claims abstract description 46
- 238000012360 testing method Methods 0.000 claims abstract description 39
- 230000008569 process Effects 0.000 claims abstract description 34
- 239000000654 additive Substances 0.000 claims abstract description 27
- 230000000996 additive effect Effects 0.000 claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 27
- 238000004519 manufacturing process Methods 0.000 claims abstract description 25
- 238000007499 fusion processing Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 10
- 239000000843 powder Substances 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 241000282461 Canis lupus Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010790 dilution Methods 0.000 description 1
- 239000012895 dilution Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明提供一种基于深度学习的熔覆层几何特征预测方法及系统，采集不同工艺参数下增材制造过程中熔池图像数据；建立多信息融合的深度学习卷积神经网络模型，将采集到的熔池图像数据和工艺参数作多信息特征融合处理后，划分训练数据集和测试数据集，输出熔覆层宽度和高度；将训练数据集中的工艺参数和熔池图像数据输入建立的深度学习卷积神经网络模型中，对模型进行训练和优化，得到优化后的深度学习卷积神经网络模型；选取测试数据集中的工艺参数和熔池图像数据，通过测试数据集的回归结果评估得到的卷积神经网络模型的泛化能力；将测试集数据中的工艺参数和熔池图像数据输入优化后的深度学习卷积神经网络模型中，预测熔覆层的实际几何特征。
Description
技术领域
本发明属于增材制造图像处理技术领域，尤其涉及一种基于深度学习的熔覆层几何特征预测方法及系统。
背景技术
激光增材制造经过三十年的飞速发展，已经在航空航天、汽车制造、石油化工、生物医学等领域具有广阔的应用前景，其具有加工整体性高、加工速度快、结构复杂度高、设计维度广等优点。单道熔覆层宽度，高度等参数是影响增材制造质量的重要因素，而工艺参数和熔池特征是对成形质量影响最为直接的因素。因此研究增材制造过程中熔池特征参数的变化以及工艺参数的变化对反馈控制增材制造的成形件质量有着重要意义。随着计算机技术的发展和大数据的兴起，深度学习已经被广泛应用于各个工业领域，其中也包括增材制造领域。正确的预测熔覆层的几何特征，既熔覆层的高度和宽度对增材制造熔覆层质量具有十分重要的指导作用。
高质量的激光增材制造样件，通常意味着成形件的高几何精度、零孔隙度和较低的稀释率。目前，在现有技术中，多是通过对所采集的熔池图像数据进行边缘提取以获取熔池尺寸，但是上述技术存在一下缺陷：例如，在进行增材制造实验时，会存在金属粉末残留在熔池边缘形成凸点的情况，灰度化处理后，凸点区域的灰度值和熔池区域的灰度值接近，带有凸点的熔池图像通过摄像机获取的熔池图像经过上述视觉检测方法中的二值形态学图像处理算法提取熔池图像边缘后，上述视觉检测仍然无法将凸点与熔池边缘分离，故上述视觉检测方法输出的熔池形状参数精度较低。总体来说,基于图像处理算法对熔池图像进行处理获得熔池形态和尺寸参数的方式，存在泛化性能差，精度较低的问题；此外，由此获得的熔池形态和尺寸参数实际上并不等同于最终的单道成形几何尺寸。同时为了观察熔覆层的加工质量，需花费大量的精力和时间对熔覆层进行切割和分析。为减少在熔覆层切割和分析上所花费的时间和精力，将工艺参数和熔池图像相结合的多信息融合特征作为输入值，对其做卷积神经网络运算估算出熔覆层的几何特征，即高度和宽度。
发明内容
针对上述技术问题，本发明提供一种基于深度学习的熔覆层几何特征预测方法及系统，为实现增材制造成形件质量的调控，采集不同工艺参数下增材制造过程中熔池动态视频，连续采集所述熔池动态视频中的熔池图像，采集熔池图像对应的熔覆层实际宽度和高度，得到熔池图像数据；建立多信息融合的深度学习卷积神经网络模型，将采集到的熔池图像数据和工艺参数作多信息特征融合处理后，划分训练数据集和测试数据集，输出熔覆层宽度和高度；将训练数据集中的工艺参数和熔池图像数据输入建立的深度学习卷积神经网络模型中，对模型进行训练和优化，得到优化后的深度学习卷积神经网络模型；选取测试数据集中的工艺参数和熔池图像数据，通过测试数据集的回归结果评估得到的深度学习卷积神经网络模型的泛化能力；将测试集数据中的工艺参数和熔池图像数据输入优化后的深度学习卷积神经网络模型中，预测熔覆层的实际几何特征，即熔覆层实际的宽度和高度。
增材制造过程中，熔覆层的高度和宽度是决定熔覆层表面形貌的重要因素，本发明在训练的时候排除了其他无关特征，仅仅对关键特征进行训练，具有提高深度学习卷积神经网络模型效率的优点，增材时熔覆层几何特征的变化一定程度上影响熔覆层质量，通过预测熔覆层几何特征的变化实现增材制造过程的质量管控，以期准确预测熔覆层几何特征的变化趋势，便于实时调控增材质量。本发明通过以下技术方案实现：一种基于深度学习的熔覆层几何特征预测方法，包括以下步骤：
S1：数据采集：采集不同工艺参数下增材制造过程中熔池动态视频，连续采集所述熔池动态视频中的熔池图像，采集熔池图像对应的熔覆层实际宽度和高度，得到熔池图像数据；
S2：建立多信息融合的深度学习卷积神经网络模型：所述深度学习卷积神经网络模型用于将步骤S1采集到的熔池图像数据和工艺参数作多信息特征融合处理后，划分训练数据集和测试数据集，输出熔覆层宽度和高度；
S3：卷积神经网络模型训练：将训练数据集中的工艺参数和熔池图像数据输入所述步骤S2建立的深度学习卷积神经网络模型中，对模型进行训练和优化，得到优化后的深度学习卷积神经网络模型；
S4：卷积神经网络学习能力评估：选取测试数据集中的工艺参数和熔池图像数据，通过测试数据集的回归结果评估步骤S3得到的深度学习卷积神经网络模型的泛化能力；
S5：熔覆层几何特征预测：将测试集数据中的工艺参数和熔池图像数据输入优化后的深度学习卷积神经网络模型中，预测熔覆层的实际几何特征，即熔覆层实际的宽度和高度。
上述方案中，所述步骤S1中工艺参数包括激光功率、送粉率和扫描速率。
上述方案中，所述步骤S2中所述深度学习卷积神经网络是混合的CNN模型，混合的CNN模型包括CNN分支网络、全连接层分支和多信息特征融合层；所述步骤S1采集的熔池图像数据作为所述CNN分支网络的输入，CNN分支网络用于提取熔池图像的特征，所述工艺参数作为全连接层分支的输入，全连接层分支用于对工艺参数进行归一化处理，熔池图像的特征和归一化后的工艺参数作为多信息特征融合层的输入，所述多信息特征融合层用于将对工艺参数、熔池图像作多信息特征融合处理，在多信息特征融合层后依次连接全连接层和回归层，输出预测的熔覆层宽度和高度。
上述方案中，所述CNN分支网络包括输入层、卷积层、批归一化成、激活层、池化层和全连接层；所述输入层用于熔池图像数据的输入，所述卷积层通过卷积运算提取出熔池图像的不同特征数据，批归一化成用于对熔池图像的不同特征数据进行归一化处理，所述激活层用于去除归一化处理后的熔池图像特征数据中的冗余数据，所述池化层将激活层中熔池图像特征数据进行降维并作特征选择，全连接层将熔池图像特征数据进行连接并作维度变换，得到熔池图像特征。
上述方案中，所述步骤S2中根据熔覆层高度和宽度标注工艺参数数据和熔池图像数据，将部分标注后的工艺参数和熔池图像作为训练数据集，同样的，将部分标注后的工艺参数数据和熔池图像作为测试数据集。
上述方案中，所述步骤S5中利用均方误差MSE预测熔覆层的实际几何特征，即熔覆层实际的宽度和高度，其计算公式为：
式中，fi是模型回归出的熔覆层宽度和高度预测值，yi是实际值，N是样本数量，i为每一个的数据样本。
一种实现所述的基于深度学习的熔覆层几何特征预测方法的系统，包括数据采集模块、多信息融合的深度学习卷积神经网络模型建立模块、卷积神经网络模型训练模块、卷积神经网络学习能力评估模块和熔覆层几何特征预测模块；
所述数据采集模块通过熔池图像采集装置采集不同工艺参数下增材制造过程中熔池动态视频，连续采集所述熔池动态视频中的熔池图像，采集熔池图像对应的熔覆层实际高度和宽度，得到熔池图像数据；
所述多信息融合的深度学习卷积神经网络模型建立模块用于将采集到的熔池图像和工艺参数作多信息特征融合处理后，划分训练数据集和测试数据集，输出熔覆层宽度和高度；
所述卷积神经网络模型训练模块用于将训练数据集中的工艺参数和熔池图像数据输入建立的深度学习卷积神经网络模型中，对模型进行训练和优化，得到优化后的深度学习卷积神经网络模型；
所述卷积神经网络学习能力评估模块用于选取测试数据集中的工艺参数和熔池图像数据，通过测试数据集的回归结果评估得到的深度学习卷积神经网络模型的泛化能力；
所述熔覆层几何特征预测模块用于将测试集数据中的工艺参数和熔池图像数据输入优化后的深度学习卷积神经网络模型中，预测熔覆层的实际几何特征，即熔覆层实际的宽度和高度。
上述方案中，优选的，所述步骤S2中训练集和测试集的划分比例分别为7比3；
上述方案中，所述步骤S3优化后的深度学习卷积神经网络模型是指模型的误差达到设定的收敛误差或训练时的迭代次数达到上限；
与现有技术相比，本发明的有益效果是：本发明在一定时间序列下连续采集熔池图像，对采集到的熔池图像和工艺参数进行归一化处理，使得熔池图像的图片尺寸和像素大小的参数保持一致性，深度学习卷积神经网络模型在训练时排除了其他无关特征利用工艺参数和熔池图像数据进行多信息特征融合，对关键特征进行训练，具有提高卷积神经网络模型训练效率的优点；增材时熔覆层几何特征的变化一定程度上影响熔覆层质量，通过预测熔覆层几何特征的变化实现增材制造过程的质量管控，准确预测熔覆层几何特征的变化趋势，便于实时调控增材质量。
附图说明
图1是本发明一实施方式的基本流程示意图。
图2是本发明一实施方式的数据采集试验平台示意图。
图3是图2中相机滤光组件示意图。
图4是本发明提出的一种基于深度学习的熔覆层几何特征预测方法及系统。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“轴向”、“径向”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
如图1所示，本发明所述基于深度学习的熔覆层几何特征预测方法的一种实施方式，所述基于深度学习的熔覆层几何特征预测方法包括以下步骤：
S1：数据采集：通过熔池图像采集装置采集不同工艺参数下增材制造过程中熔池动态视频，在一定时间序列下连续采集所述熔池动态视频中的熔池图像，采集熔池图像对应的熔覆层实际宽度和高度，得到熔池图像数据；
S2：建立多信息融合的深度学习卷积神经网络模型：设置网络的输入、输出端、网络的层数以及模型参数和激活函数；所述深度学习卷积神经网络用于将步骤S1采集到的熔池图像数据和工艺参数作多信息特征融合处理后，划分训练数据集和测试数据集，输出熔覆层宽度和高度；
S3：卷积神经网络模型训练：将训练数据集中的工艺参数和熔池图像数据输入所述步骤S2建立的深度学习卷积神经网络模型中，对模型进行训练和优化，得到优化后的深度学习卷积神经网络模型；
S4：卷积神经网络学习能力评估：选取测试数据集中的工艺参数和熔池图像数据，通过测试数据集的回归结果评估步骤S3得到的深度学习卷积神经网络模型的泛化能力；
S5：熔覆层几何特征预测：将测试集数据中的工艺参数和熔池图像数据输入优化后的深度学习卷积神经网络模型中，预测熔覆层的实际几何特征，即熔覆层实际的宽度和高度。
所述步骤S1中工艺参数包括激光功率、送粉率和扫描速率。根据本实施例，优选的，所述激光功率为1200W-1500W，送粉率为1.5rad/min-2.1rad/min，扫描速率为400mm/min-600mm/min。
如图4所示，所述步骤S2中所述深度学习卷积神经网络是混合的CNN模型，混合的CNN模型包括CNN分支网络、全连接层分支和多信息特征融合层；所述步骤S1采集的熔池图像数据作为所述CNN分支网络的输入，CNN分支网络用于提取熔池图像的特征，所述工艺参数作为全连接层分支的输入，全连接层分支用于对工艺参数进行归一化处理，熔池图像的特征和归一化后的工艺参数作为多信息特征融合层的输入，所述多信息特征融合层用于将对工艺参数、熔池图像作多信息特征融合处理，在多信息特征融合层后依次连接全连接层和回归层，输出预测的熔覆层宽度和高度。所述回归层用于输出均方误差MSE，均方误差值越小，则预测模型具有更好的精确度。
如图4所示，所述CNN分支网络包括输入层、卷积层、批归一化成、激活层、池化层和全连接层；所述输入层用于熔池图像数据的输入，所述卷积层通过卷积运算提取出熔池图像的不同特征数据，批归一化成用于对熔池图像的不同特征数据进行归一化处理，所述激活层用于去除归一化处理后的熔池图像特征数据中的冗余数据，所述池化层将激活层中熔池图像特征数据进行降维并作特征选择，全连接层将熔池图像特征数据进行连接并作维度变换，得到熔池图像特征。
所述步骤S2中根据熔覆层高度和宽度标注工艺参数数据和熔池图像数据，将部分标注后的工艺参数和熔池图像作为训练数据集，同样的，将部分标注后的工艺参数数据和熔池图像作为测试数据集。
所述步骤S5中利用均方误差MSE预测熔覆层的实际几何特征，即熔覆层实际的宽度和高度，其计算公式为：
式中，fi是模型回归出的熔覆层宽度和高度预测值，yi是实际值，N是样本数量，i为每一个的数据样本。
一种实现所述的基于深度学习的熔覆层几何特征预测方法的系统，包括数据采集模块、多信息融合的深度学习卷积神经网络模型建立模块、卷积神经网络模型训练模块、卷积神经网络学习能力评估模块和熔覆层几何特征预测模块；
所述数据采集模块通过熔池图像采集装置采集不同工艺参数下增材制造过程中熔池动态视频，在一定时间序列下连续采集所述熔池动态视频中的熔池图像，采集熔池图像对应的熔覆层实际高度和宽度，得到熔池图像数据；
所述多信息融合的深度学习卷积神经网络模型建立模块用于将采集到的熔池图像和工艺参数作多信息特征融合处理后，划分训练数据集和测试数据集，输出熔覆层宽度和高度；
所述卷积神经网络模型训练模块用于将训练数据集中的工艺参数和熔池图像数据输入建立的深度学习卷积神经网络模型中，对模型进行训练和优化，得到优化后的深度学习卷积神经网络模型；
所述卷积神经网络学习能力评估模块用于选取测试数据集中的工艺参数和熔池图像数据，通过测试数据集的回归结果评估得到的深度学习卷积神经网络模型的泛化能力；
所述熔覆层几何特征预测模块用于将测试集数据中的工艺参数和熔池图像数据输入优化后的深度学习卷积神经网络模型中，预测熔覆层的实际几何特征，即熔覆层实际的宽度和高度。
通过上述技术方案，根据采集的训练图像集建立深度学习卷积神经网络模型，针对训练集内的工艺参数和熔池图像数据，建立相应的模型参数，设置每层网络的单元数和激活函数。再将训练集中的工艺参数和熔池图像数据输入深度学习卷积神经网络模型中，训练深度学习卷积神经网络模型并优化深度学习卷积网络模型；将测试数据集中的工艺参数和熔池图像数据输入优化后的深度学习卷积神经网络模型中，预测熔覆层的几何特征，即熔覆层的高度和宽度。
如图2所示，在进行数据采集之前，搭建实验数据采集增材制造在线监测实验平台，在预先搭建的增材制造平台上利用高速相机配合红外照明光源及窄带滤光片采集增材制造过程中熔池动态视频；熔池在线监测实验平台主要包括激光装置，激光头，送粉器和熔池图像采集装置。优选的，如图3所示，熔池图像采集装置包括高速相机、光学镜头与滤光组件，优选的，滤光组件包括808nm的窄带滤光片，中性衰减片以及保护镜片。所述熔池图像采集装置采集帧率为5000帧/秒，相机安置于工作台旁并于电脑相连。工作台放置需要增材的基底，激光头正对基底。所述熔池图像采集装置用于在一定时间序列下采集不同工艺参数下的熔池图像并将所采集的熔池图像传输至电脑端；电脑端使用部分连续的熔池图像数据和工艺参数建立训练数据集与测试数据集，建立多信息融合的深度学习卷积神经网络模型，对模型进行训练与评估，最后对熔覆层的几何特征进行预测。
优选的，所述熔池图像采集装置通过USB电缆与所述电脑端连接。所述相机类型为CMOS光学镜头，型号为千眼狼5KF20。熔池图像采集装置的镜头垂直于激光头扫描方向时拍摄效果最佳，当然，也可以根据实际需要进行调整。在进行实验过程中，操作人员应根据拍摄到的熔池图像。观察是否清晰完整，再调整熔池图像采集装置的拍摄角度，直至相机采集的熔池图像清晰完整。
应当理解，虽然本说明书是按照各个实施例描述的，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施例的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施例或变更均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于深度学习的熔覆层几何特征预测方法，其特征在于，包括以下步骤：
S1：数据采集：采集不同工艺参数下增材制造过程中熔池动态视频，连续采集所述熔池动态视频中的熔池图像，采集熔池图像对应的熔覆层实际宽度和高度，得到熔池图像数据；
S2：建立多信息融合的深度学习卷积神经网络模型：所述深度学习卷积神经网络模型用于将步骤S1采集到的熔池图像数据和工艺参数作多信息特征融合处理后，划分训练数据集和测试数据集，输出熔覆层宽度和高度；
S3：卷积神经网络模型训练：将训练数据集中的工艺参数和熔池图像数据输入所述步骤S2建立的深度学习卷积神经网络模型中，对模型进行训练和优化，得到优化后的深度学习卷积神经网络模型；
S4：卷积神经网络学习能力评估：选取测试数据集中的工艺参数和熔池图像数据，通过测试数据集的回归结果评估步骤S3得到的深度学习卷积神经网络模型的泛化能力；
S5：熔覆层几何特征预测：将测试集数据中的工艺参数和熔池图像数据输入优化后的深度学习卷积神经网络模型中，预测熔覆层的实际几何特征，即熔覆层实际的宽度和高度；
所述步骤S2中所述深度学习卷积神经网络是混合的CNN模型，混合的CNN模型包括CNN分支网络、全连接层分支和多信息特征融合层；所述步骤S1采集的熔池图像数据作为所述CNN分支网络的输入，CNN分支网络用于提取熔池图像的特征，所述工艺参数作为全连接层分支的输入，全连接层分支用于对工艺参数进行归一化处理，熔池图像的特征和归一化后的工艺参数作为多信息特征融合层的输入，所述多信息特征融合层用于将对工艺参数、熔池图像作多信息特征融合处理，在多信息特征融合层后依次连接全连接层和回归层，输出预测的熔覆层宽度和高度。
2.根据权利要求1所述的基于深度学习的熔覆层几何特征预测方法，其特征在于，所述步骤S1中工艺参数包括激光功率、送粉率和扫描速率。
3.根据权利要求1所述的基于深度学习的熔覆层几何特征预测方法，其特征在于，所述CNN分支网络包括输入层、卷积层、批归一化成、激活层、池化层和全连接层；所述输入层用于熔池图像数据的输入，所述卷积层通过卷积运算提取出熔池图像的不同特征数据，批归一化成用于对熔池图像的不同特征数据进行归一化处理，所述激活层用于去除归一化处理后的熔池图像特征数据中的冗余数据，所述池化层将激活层中熔池图像特征数据进行降维并作特征选择，全连接层将熔池图像特征数据进行连接并作维度变换，得到熔池图像特征。
4.根据权利要求1所述的基于深度学习的熔覆层几何特征预测方法，其特征在于，所述步骤S2中根据熔覆层高度和宽度标注工艺参数数据和熔池图像数据，将部分标注后的工艺参数和熔池图像作为训练数据集，同样的，将部分标注后的工艺参数数据和熔池图像作为测试数据集。
5.根据权利要求1所述的基于深度学习的熔覆层几何特征预测方法，其特征在于，所述步骤S5中利用均方误差MSE预测熔覆层的实际几何特征，即熔覆层实际的宽度和高度，其计算公式为：
式中，fi是模型回归出的熔覆层宽度和高度预测值，yi是实际值，N是样本数量，i为每一个的数据样本。
6.一种实现权利要求1-5任意一项所述的基于深度学习的熔覆层几何特征预测方法的系统，其特征在于，包括数据采集模块、多信息融合的深度学习卷积神经网络模型建立模块、卷积神经网络模型训练模块、卷积神经网络学习能力评估模块和熔覆层几何特征预测模块；
所述数据采集模块通过熔池图像采集装置采集不同工艺参数下增材制造过程中熔池动态视频，连续采集所述熔池动态视频中的熔池图像，采集熔池图像对应的熔覆层实际高度和宽度，得到熔池图像数据；
所述多信息融合的深度学习卷积神经网络模型建立模块用于将采集到的熔池图像和工艺参数作多信息特征融合处理后，划分训练数据集和测试数据集，输出熔覆层宽度和高度；
所述卷积神经网络模型训练模块用于将训练数据集中的工艺参数和熔池图像数据输入建立的深度学习卷积神经网络模型中，对模型进行训练和优化，得到优化后的深度学习卷积神经网络模型；
所述卷积神经网络学习能力评估模块用于选取测试数据集中的工艺参数和熔池图像数据，通过测试数据集的回归结果评估得到的深度学习卷积神经网络模型的泛化能力；
所述熔覆层几何特征预测模块用于将测试集数据中的工艺参数和熔池图像数据输入优化后的深度学习卷积神经网络模型中，预测熔覆层的实际几何特征，即熔覆层实际的宽度和高度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111001254.1A CN113762240B (zh) | 2021-08-30 | 2021-08-30 | 一种基于深度学习的熔覆层几何特征预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111001254.1A CN113762240B (zh) | 2021-08-30 | 2021-08-30 | 一种基于深度学习的熔覆层几何特征预测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113762240A CN113762240A (zh) | 2021-12-07 |
| CN113762240B true CN113762240B (zh) | 2024-03-19 |
Family
ID=78791762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111001254.1A Active CN113762240B (zh) | 2021-08-30 | 2021-08-30 | 一种基于深度学习的熔覆层几何特征预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113762240B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114346260B (zh) * | 2022-01-04 | 2022-10-21 | 大连理工大学 | 一种激光熔化沉积沉积层几何特征预测方法 |
| CN114564880B (zh) * | 2022-01-26 | 2022-11-25 | 南京理工大学 | 一种增材制造过程数字孪生模块构建方法 |
| CN115049165B (zh) * | 2022-08-15 | 2022-11-22 | 北矿机电科技有限责任公司 | 基于深度学习的浮选精矿品位预测方法、装置及设备 |
| CN115415549B (zh) * | 2022-09-05 | 2024-03-08 | 苏州中科煜宸激光智能科技有限公司 | 基于非线性自回归神经网络的激光熔覆平整化控制系统与方法 |
| CN115859746B (zh) * | 2023-02-13 | 2023-04-25 | 无锡祝融航空航天科技有限公司 | 一种基于深度学习的铜材料增材制造成形精度控制方法 |
| CN116408462B (zh) * | 2023-04-12 | 2023-10-27 | 四川大学 | 一种激光金属增材沉积内部孔隙状态实时预测方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111739019A (zh) * | 2020-07-29 | 2020-10-02 | 南京知谱光电科技有限公司 | 基于熔池图像长程预测的增材余高预测方法 |
-
2021
- 2021-08-30 CN CN202111001254.1A patent/CN113762240B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111739019A (zh) * | 2020-07-29 | 2020-10-02 | 南京知谱光电科技有限公司 | 基于熔池图像长程预测的增材余高预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113762240A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113762240B (zh) | 一种基于深度学习的熔覆层几何特征预测方法及系统 | |
| CN111650210B (zh) | 高速高精度锂离子电池极片的毛刺检测方法及检测系统 | |
| CN110472698B (zh) | 基于深度和迁移学习的金属增材成形熔深实时预测方法 | |
| CN106881462B (zh) | 一种针对激光选区熔化成形缺陷的在线检测与优化系统 | |
| CN110490866B (zh) | 基于深度特征融合的金属增材成形尺寸实时预测方法 | |
| WO2021207318A1 (en) | In-situ inspection method based on digital data model of weld | |
| CN109676135A (zh) | 一种激光增材制造视觉灰度值差异在线监测与缺陷修复装置 | |
| CN105044122A (zh) | 一种基于半监督学习模型的铜件表面缺陷视觉检测系统及检测方法 | |
| CN108931535A (zh) | 一种激光增材制造气孔缺陷在线监测方法 | |
| CN112183313A (zh) | 一种基于SlowFast的电力作业现场动作识别方法 | |
| CN110020691B (zh) | 基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法 | |
| CN109693140B (zh) | 一种智能化柔性生产线及其工作方法 | |
| CN115184359A (zh) | 一种自动调参的表面缺陷检测系统与方法 | |
| CN112614105B (zh) | 一种基于深度网络的3d点云焊点缺陷检测方法 | |
| CN111061231A (zh) | 焊接装配间隙和错边前馈的熔池监控系统及熔透监测方法 | |
| CN113554587A (zh) | 一种基于深度学习的熔池图像几何特征提取方法及系统 | |
| CN114119595A (zh) | 一种基于集成深度学习的gmaw焊接质量在线监测及评价方法 | |
| CN115829976A (zh) | 一种针对外观缺陷检测的图像处理方法 | |
| CN116258682A (zh) | 基于PSPNet和改进YOLOv7的PCB锡膏缺陷检测方法 | |
| CN114663763A (zh) | 一种基于数字孪生的飞机蒙皮装配质量检测方法 | |
| CN112801959A (zh) | 一种基于视觉特征识别的辅助装配系统 | |
| CN114842383A (zh) | 一种基于dvrl-vst的电熔镁炉工况视频识别方法 | |
| CN114372922A (zh) | 夜间环境下基于无人机巡检的绝缘子红外缺陷诊断方法 | |
| CN113727022A (zh) | 巡检图像的采集方法及装置、电子设备、存储介质 | |
| Albanese et al. | Industrial Visual Inspection with TinyML for High-Performance Quality Control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |