CN110472698B - 基于深度和迁移学习的金属增材成形熔深实时预测方法 - Google Patents

基于深度和迁移学习的金属增材成形熔深实时预测方法 Download PDF

Info

Publication number
CN110472698B
CN110472698B CN201910780781.3A CN201910780781A CN110472698B CN 110472698 B CN110472698 B CN 110472698B CN 201910780781 A CN201910780781 A CN 201910780781A CN 110472698 B CN110472698 B CN 110472698B
Authority
CN
China
Prior art keywords
deep learning
network model
molten pool
convolutional neural
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910780781.3A
Other languages
English (en)
Other versions
CN110472698A (zh
Inventor
殷鸣
谢罗峰
向枭
殷国富
颜虎
刘浩浩
李家勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910780781.3A priority Critical patent/CN110472698B/zh
Publication of CN110472698A publication Critical patent/CN110472698A/zh
Application granted granted Critical
Publication of CN110472698B publication Critical patent/CN110472698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于深度学习和迁移学习激光金属增材制造熔深预测系统，包括打印工作台、图像采集装置和热成像仪、人机交互装置、显示器及主机，所述图像采集装置和热成像仪、人机交互装置和显示器均与所述主机电性连接。本发明在一定时间序列下连续采集熔池图像和温度图像，先对有效的熔池图像和温度图像进行归一化处理，使得熔池图像的图片尺寸和像素大小的参数保持一致性，深度学习卷积神经网络模型在训练的时候排除了其他无关特征，仅仅对关键特征进行训练，具有提高深度学习卷积神经网络模型训练的效率的优点；并且采用深度学习卷积神经网络模型来对熔深进行预测，可有效提升参数的精度。

Description

基于深度和迁移学习的金属增材成形熔深实时预测方法
技术领域
本发明属于增材制造技术领域，具体涉及基于深度和迁移学习的金属增材成形熔深实时预测方法。
背景技术
单道成形尺寸，如成形宽度、成形高度、熔深等参数是影响增材制造质量的重要因素，而熔池特征是对成形质量影响最为直接的因素。因而研究增材制造过程中熔池特征的变化以及实现熔池某些参数的控制对增材制造质量的保证有着重要的意义，同时根据熔池特征变化来控制增材制造质量也是实现增材制造智能化的一个重要组成部分。近年来，随着计算机视觉技术的发展，利用机器视觉直接观察增材制造熔池，通过图像处理获取熔池特征的几何信息，对增材制造质量进行闭环控制，已成为增材制造技术重要的研究方向。
授权公告号为CN102519387B的中国专利公开了一种电子束焊接熔池形状参数的视觉检测方法对电子束焊彩色熔池图像视觉传感系统进行标定，然后启动系统采集熔池图像，采用二值形态学图像处理算法提取熔池图像边缘，最后利用熔池形状参数提取算法对熔池形状参数进行提取。
上述中的现有技术方案存在以下缺陷：在进行增材制造实验时，会存在金属粉末残留在熔池边缘形成凸点的情况，灰度化处理后，凸点区域的灰度值和熔池区域的灰度值接近，带有凸点的熔池图像通过摄像机获取的熔池图像经上述视觉检测方法中的二值形态学图像处理算法提取熔池图像边缘后，上述视觉检测方法仍然无法将凸点与熔池边缘分离，故，上述视觉检测方法输出的熔池形状参数精度较低。
总体来说，基于图像处理算法对熔池图像进行处理获得熔池形态和尺寸参数的方式，存在泛化性能差，精度较低的问题；此外，由此获得的熔池形态和尺寸参数实际上并不等同于最终的单道成形尺寸；并且，若采用深度学习的方法对增材制造的成形尺寸进行预测，对于熔深等尺寸参数往往需要通过破坏性的实验进行测定，难以获取大数据样本，导致所建立的深度学习模型预测结果不准确。
发明内容
本发明目的在于克服现有技术中面临的问题，例如：采集的图像数据存在干扰，难以进行准确处理；即使能够在特定情况下做出处理，但是泛化性能较差，导致情况复杂时，处理出来的预测值误差较大、精度较低；当数据样本获取难度大或者数据样本数量较少时，所建立的深度学习模型预测结果不准确。因此需要在熔池图像和温度数据两个特征融合下，进一步进行迁移学习，从而提高预测精度。
基于深度和迁移学习的金属增材成形熔深实时预测方法，包括以下步骤：
S1：在一定时间序列下连续采集熔池图像和温度数据，并对该熔池图像和温度数据作特征融合处理，使用部分经过特征融合处理的该连续熔池图像和温度数据建立训练数据集，同样的，使用部分经过特征融合处理的该连续的熔池图像和温度数据建立测试数据集；
S2：建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数；深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层；
所述深度学习卷积神经网络模型为预训练网络，保留预训练网络低维特征层，移除预训练网络高维特征层；然后建立新高维特征层，并将该新高维特征层连接保留的网络低维特征层，形成目标深度学习卷积神经网络模型；
S3：将训练数据集中的熔池图像和温度数据输入目标深度学习卷积神经网络模型中，对目标深度学习卷积神经网络模型进行训练，并优化目标深度学习卷积神经网络模型；
S4：将测试数据集中的熔池图像和温度数据输入优化后的目标深度学习卷积神经网络模型中，预测成形单道的熔深。
通过上述技术方案，根据采集的训练图像集建立深度学习卷积神经网络模型，针对训练数据集内的熔池图像和温度数据，建立相应的模型参数，设置每层网络的单元数和激活函数。再将训练图像集内的熔池图像和温度数据输入深度学习卷积神经网络模型中，训练深度学习卷积神经网络模型并优化深度学习卷积网络模型。其中，最优的深度学习卷积神经网络模型是指深度学习卷积神经网络模型的模型误差达到设定的收敛误差或训练时的迭代次数达到上限。由于获取的深度数据较少，所以需要对预训练网络进行迁移学习，即保留预训练网络低维特征层，移除预训练网络高维特征层；然后建立新高维特征层，并将该新高维特征层连接保留的网络低维特征层，形成目标深度学习卷积神经网络模型；才能顺利完成熔深预测。
优选的，所述S1具体包括以下步骤：
S11：进行不同工艺参数下的单道试验，并利用图像采集装置和温度采集装置采集不同试验下的熔池图像和温度数据；
S12：对成形单道进行熔深测量；
S13：根据成形单道熔深测量值标注熔池图像和温度数据，将部分标注后的熔池图像和温度数据作为训练数据集，同样的，将部分标注后的熔池图像和温度数据作为测试数据集。
通过采用上述技术方案，对深度学习卷积神经网络模型所需的训练数据集进行全面收集，达到提高目标深度学习卷积神经网络模型训练的效率的效果。
优选的，步骤S13在生成训练数据集和测试数据集之前，先对有效的熔池图像和温度数据进行归一化处理。
通过采用上述技术方案，若不进行归一化处理，由于图像采集装置采集熔池图像的大小不完全一致，将会增加第一训练图像子集和第二训练图像子集的复杂度，进而增加目标深度学习卷积神经网络模型的训练难度，不利于目标深度学习卷积神经网络模型的高效训练。归一化处理，使得熔池图像的图片尺寸和像素大小的参数保持一致性，目标深度学习卷积神经网络模型在训练的时候排除了其他无关特征，仅仅对关键特征进行训练，达到提高目标深度学习卷积神经网络模型训练的效率的效果。
优选的，所述目标深度学习卷积神经网络模型为残差模型，所述残差模型主要包括卷积层、池化层以及残差结构。
优选的，所述目标深度学习卷积网络模型使用Stochastic Gradient Decent算法和误差反向传播方法来最小化损失函数，得到最优化网络参数。
通过采用上述技术方案，SGD使用基于随机少量样本的梯度来估计整个损失函数的梯度，以便实现更加快捷的学习过程。而通过误差反向传播算法可以逐层快速的计算出各层参数的梯度，进而完成参数的调整，来达到最小化损失函数的目的。
基于深度和迁移学习的金属增材成形熔深实时预测系统，包括打印工作台、图像采集装置和温度采集装置、人机交互装置、显示器及主机，所述图像采集装置和温度采集装置、人机交互装置和显示器均与所述主机电性连接，所述图像采集装置和温度采集装置安装在所述打印工作台的上方；所述图像采集装置用于在一定时间序列下连续采集熔池图像并将所采集的熔池图像传输至所述主机；所述温度采集装置用于在一定时间序列下连续采集温度数据并将所采集的温度数据传输至所述主机；所述主机用于使用部分该连续的熔池图像和温度数据建立训练数据集，同样的，也使用部分该连续的熔池图像和温度数据建立测试数据集，建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数，深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层，所述深度学习卷积神经网络模型为预训练网络，保留预训练网络低维特征层，移除预训练网络高维特征层，然后建立新高维特征层，并将该新高维特征层连接保留的网络低维特征层，形成目标深度学习卷积神经网络模型，将训练数据集中的熔池图像和温度数据输入目标深度学习卷积神经网络模型中，对目标深度学习卷积神经网络模型进行训练，优化目标深度学习卷积网络模型，将测试数据集中的熔池图像和温度数据输入优化后的深度学习卷积神经网络模型中，预测成形单道熔深。
通过采用上述技术方案，图像采集装置和热成像仪采集不同试验下的连续的熔池图像和温度数据并将连续的熔池图像和温度数据传输至主机，操作人员通过人机交互装置和显示器在主机内进行深度学习卷积网络模型、连续的熔池图像和温度数据的筛选、建立训练数据集、建立测试数据集、训练深度学习卷积网络模型等工作，完成目标深度学习卷积网络模型的优化后，操作人员再将待提取的熔池图像和温度数据输入至目标深度学习卷积网络模型内，目标深度学习卷积神经网络模型输出相应的预测值，并通过显示器显示出来。
优选的，所述图像采集装置通过USB电缆与所述主机电性连接，所述图像采集装置为CCD相机或CMOS相机，所述温度采集装置通过USB电缆与所述主机电性连接，所述温度采集装置为红外高温仪。
通过采用上述技术方案，图像采集装置的镜头正对工作台拍摄最佳，当然，也可以根据实际需要进行调整。在进行实验过程中，操作人员观察图像采集装置拍摄的熔池图像，观察熔池图像是否清晰完整，再调整图像采集装置的拍摄角度，直至图像采集装置拍摄的熔池图像清晰完整。
本发明的有益技术效果是：本发明在一定时间序列下连续采集熔池图像和温度数据，先对有效的熔池图像和温度图像进行归一化处理，使得熔池图像的图片尺寸和像素大小的参数保持一致性，深度学习卷积神经网络模型在训练的时候排除了其他无关特征，利用熔池图像和温度数据进行特征融合，对关键特征进行训练，具有提高深度学习卷积神经网络模型训练的效率的优点；并且在迁移学习的基础上采用目标深度学习卷积神经网络模型来对熔深进行预测，可有效提升这些参数的精度。
附图说明
图1显示为本发明的一个实施例的基本流程示意图。
图2显示为本发明的实施例1中的步骤S1的流程示意图。
图3显示为本发明的一个实施例的结构示意图。
图4显示为本发明的实施例1中利用熔池图像和温度数据特征融合的网络结构图。
图5显示为本发明的实施例1中利用熔池图像和温度数据特征融合的基础上进行迁移学习的网络结构图。
具体实施方式
下面结合本发明的附图1-5，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1和图4所示，基于深度和迁移学习的金属增材成形熔深实时预测方法，包括以下步骤：
S1：在一定时间序列下连续采集熔池图像和温度数据，并对该熔池图像和温度数据作特征融合处理，使用部分经过特征融合处理的该连续熔池图像和温度数据建立训练数据集，同样的，使用部分经过特征融合处理的该连续的熔池图像和温度数据建立测试数据集；
S2：建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数；深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层；
如图5所示，所述深度学习卷积神经网络模型为预训练网络，保留预训练网络低维特征层，移除预训练网络高维特征层；然后建立新高维特征层，并将该新高维特征层连接保留的网络低维特征层，形成目标深度学习卷积神经网络模型；
S3：将训练数据集中的熔池图像和温度数据输入目标深度学习卷积神经网络模型中，对目标深度学习卷积神经网络模型进行训练，并优化目标深度学习卷积神经网络模型；
S4：将测试数据集中的熔池图像和温度数据输入优化后的目标深度学习卷积神经网络模型中，预测成形单道的熔深。
通过上述技术方案，根据采集的训练图像集建立深度学习卷积神经网络模型，针对训练数据集内的熔池图像和温度数据，建立相应的模型参数，设置每层网络的单元数和激活函数。再将训练图像集内的熔池图像和温度数据输入深度学习卷积神经网络模型中，训练深度学习卷积神经网络模型并优化深度学习卷积网络模型。其中，最优的深度学习卷积神经网络模型是指深度学习卷积神经网络模型的模型误差达到设定的收敛误差或训练时的迭代次数达到上限。由于获取的深度数据较少，所以需要对预训练网络进行迁移学习，即保留预训练网络低维特征层，移除预训练网络高维特征层；然后建立新高维特征层，并将该新高维特征层连接保留的网络低维特征层，形成目标深度学习卷积神经网络模型；才能顺利完成熔深预测。
如图2所示，优选的，所述S1具体包括以下步骤：
S11：进行不同工艺参数下的单道试验，并利用图像采集装置和温度采集装置采集不同试验下的熔池图像和温度数据；
S12：对成形单道熔深进行测量；
S13：根据成形单熔深测量值标注熔池图像和温度数据，将部分标注后的熔池图像和温度数据作为训练数据集，同样的，将部分标注后的熔池图像和温度数据作为测试数据集。
通过采用上述技术方案，对深度学习卷积神经网络模型所需的训练数据集进行全面收集，达到提高目标深度学习卷积神经网络模型训练的效率的效果。
优选的，步骤S13在生成训练数据集和测试数据集之前，先对有效的熔池图像和温度数据进行归一化处理。
通过采用上述技术方案，若不进行归一化处理，由于图像采集装置采集熔池图像的大小不完全一致，将会增加第一训练图像子集和第二训练图像子集的复杂度，进而增加目标深度学习卷积神经网络模型的训练难度，不利于目标深度学习卷积神经网络模型的高效训练。归一化处理，使得熔池图像的图片尺寸和像素大小的参数保持一致性，目标深度学习卷积神经网络模型在训练的时候排除了其他无关特征，仅仅对关键特征进行训练，达到提高目标深度学习卷积神经网络模型训练的效率的效果。
优选的，所述目标深度学习卷积神经网络模型为残差模型，所述残差模型主要包括卷积层、池化层以及残差结构。
优选的，所述目标深度学习卷积网络模型使用Stochastic Gradient Decent算法和误差反向传播方法来最小化损失函数，得到最优化网络参数。
通过采用上述技术方案，SGD使用基于随机少量样本的梯度来估计整个损失函数的梯度，以便实现更加快捷的学习过程。而通过误差反向传播算法可以逐层快速的计算出各层参数的梯度，进而完成参数的调整，来达到最小化损失函数的目的。
实施例2：
如图3所示，基于深度和迁移学习的金属增材成形熔深实时预测，包括打印工作台、图像采集装置和温度采集装置、人机交互装置、显示器及主机，所述图像采集装置和温度采集装置、人机交互装置和显示器均与所述主机电性连接，所述图像采集装置和温度采集装置安装在所述打印工作台的上方；所述图像采集装置用于在一定时间序列下连续采集熔池图像并将所采集的熔池图像传输至所述主机；所述温度采集装置用于在一定时间序列下连续采集温度数据并将所采集的温度数据传输至所述主机；所述主机用于使用部分该连续的熔池图像和温度数据建立训练数据集，同样的，也使用部分该连续的熔池图像和温度数据建立测试数据集，建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数，深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层，所述深度学习卷积神经网络模型为预训练网络，保留预训练网络低维特征层，移除预训练网络高维特征层，然后建立新高维特征层，并将该新高维特征层连接保留的网络低维特征层，形成目标深度学习卷积神经网络模型，将训练数据集中的熔池图像和温度数据输入目标深度学习卷积神经网络模型中，对目标深度学习卷积神经网络模型进行训练，优化目标深度学习卷积网络模型，将测试数据集中的熔池图像和温度数据输入优化后的深度学习卷积神经网络模型中，预测成形单道成形熔深。
通过采用上述技术方案，图像采集装置和热成像仪采集不同试验下的连续的熔池图像和温度数据并将连续的熔池图像和温度数据传输至主机，操作人员通过人机交互装置和显示器在主机内进行深度学习卷积网络模型、连续的熔池图像和温度数据的筛选、建立训练数据集、建立测试数据集、训练深度学习卷积网络模型等工作，完成目标深度学习卷积网络模型的优化后，操作人员再将待提取的熔池图像和温度数据输入至目标深度学习卷积网络模型内，目标深度学习卷积神经网络模型输出相应的预测值，并通过显示器显示出来。
优选的，所述图像采集装置通过USB电缆与所述主机电性连接，所述图像采集装置为CCD相机或CMOS相机，所述温度采集装置通过USB电缆与所述主机电性连接，所述温度采集装置为红外高温仪。
通过采用上述技术方案，图像采集装置的镜头正对工作台拍摄最佳，当然，也可以根据实际需要进行调整。在进行实验过程中，操作人员观察图像采集装置拍摄的熔池图像，观察熔池图像是否清晰完整，再调整图像采集装置的拍摄角度，直至图像采集装置拍摄的熔池图像清晰完整。
在本发明的描述中，需要理解的是，术语“逆时针”、“顺时针”“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

Claims (2)

1.基于深度和迁移学习的金属增材成形熔深实时预测方法，其特征在于，包括以下步骤：
S1：在一定时间序列下连续采集熔池图像和温度数据，并对该熔池图像和温度数据作特征融合处理，使用部分经过特征融合处理的该连续熔池图像和温度数据建立训练数据集，同样的，使用部分经过特征融合处理的该连续的熔池图像和温度数据建立测试数据集；
S2：建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数；深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层；
所述深度学习卷积神经网络模型为预训练网络，保留预训练网络低维特征层，移除预训练网络高维特征层；然后建立新高维特征层，并将该新高维特征层连接保留的网络低维特征层，形成目标深度学习卷积神经网络模型；
S3：将训练数据集中的熔池图像和温度数据输入目标深度学习卷积神经网络模型中，对目标深度学习卷积神经网络模型进行训练，并优化目标深度学习卷积神经网络模型；
S4：将测试数据集中的熔池图像和温度数据输入优化后的目标深度学习卷积神经网络模型中，预测成形单道的熔深；
根据采集的训练图像集建立深度学习卷积神经网络模型，针对训练数据集内的熔池图像和温度数据，建立相应的模型参数，设置每层网络的单元数和激活函数；再将训练图像集内的熔池图像和温度数据输入深度学习卷积神经网络模型中，训练深度学习卷积神经网络模型并优化深度学习卷积网络模型；其中，最优的深度学习卷积神经网络模型是指深度学习卷积神经网络模型的模型误差达到设定的收敛误差或训练时的迭代次数达到上限；由于获取的深度数据较少，所以需要对预训练网络进行迁移学习，即保留预训练网络低维特征层，移除预训练网络高维特征层；然后建立新高维特征层，并将该新高维特征层连接保留的网络低维特征层，形成目标深度学习卷积神经网络模型；才能顺利完成熔深预测；
所述S1具体包括以下步骤：
S11：进行不同工艺参数下的单道试验，并利用图像采集装置和温度采集装置采集不同试验下的熔池图像和温度数据；
S12：对成形单道熔深进行测量；
S13：根据成形单熔深测量值标注熔池图像和温度数据，将部分标注后的熔池图像和温度数据作为训练数据集，同样的，将部分标注后的熔池图像和温度数据作为测试数据集；
对深度学习卷积神经网络模型所需的训练数据集进行全面收集，达到提高目标深度学习卷积神经网络模型训练的效率的效果；
步骤S13在生成训练数据集和测试数据集之前，先对有效的熔池图像和温度数据进行归一化处理；
归一化处理，使得熔池图像的图片尺寸和像素大小的参数保持一致性，目标深度学习卷积神经网络模型在训练的时候排除了其他无关特征，仅仅对关键特征进行训练，达到提高目标深度学习卷积神经网络模型训练的效率的效果；
所述目标深度学习卷积神经网络模型为残差模型，所述残差模型主要包括卷积层、池化层以及残差结构；
所述目标深度学习卷积网络模型使用随机梯度下降算法和误差反向传播方法来最小化损失函数，得到最优化网络参数；
随机梯度下降算法使用基于随机少量样本的梯度来估计整个损失函数的梯度，以便实现更加快捷的学习过程；而通过误差反向传播算法可以逐层快速的计算出各层参数的梯度，进而完成参数的调整，来达到最小化损失函数的目的。
2.基于深度和迁移学习的金属增材成形熔深实时预测系统，其特征在于，包括打印工作台、图像采集装置和温度采集装置、人机交互装置、显示器及主机，所述图像采集装置和温度采集装置、人机交互装置和显示器均与所述主机电性连接，所述图像采集装置和温度采集装置安装在所述打印工作台的上方；所述图像采集装置用于在一定时间序列下连续采集熔池图像并将所采集的熔池图像传输至所述主机；所述温度采集装置用于在一定时间序列下连续采集温度数据并将所采集的温度数据传输至所述主机；所述主机用于使用部分该连续的熔池图像和温度数据建立训练数据集，同样的，也使用部分该连续的熔池图像和温度数据建立测试数据集，建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数，深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层，所述深度学习卷积神经网络模型为预训练网络，保留预训练网络低维特征层，移除预训练网络高维特征层，然后建立新高维特征层，并将该新高维特征层连接保留的网络低维特征层，形成目标深度学习卷积神经网络模型，将训练数据集中的熔池图像和温度数据输入目标深度学习卷积神经网络模型中，对目标深度学习卷积神经网络模型进行训练，优化目标深度学习卷积网络模型，将测试数据集中的熔池图像和温度数据输入优化后的深度学习卷积神经网络模型中，预测成形单道成形熔深；
图像采集装置和温度采集装置采集不同试验下的连续的熔池图像和温度数据并将连续的熔池图像和温度数据传输至主机，操作人员通过人机交互装置和显示器在主机内进行深度学习卷积网络模型、连续的熔池图像和温度数据的筛选、建立训练数据集、建立测试数据集、训练深度学习卷积网络模型工作，完成目标深度学习卷积网络模型的优化后，操作人员再将待提取的熔池图像和温度数据输入至目标深度学习卷积网络模型内，目标深度学习卷积神经网络模型输出相应的预测值，并通过显示器显示出来；
所述图像采集装置通过USB电缆与所述主机电性连接，所述图像采集装置为CCD相机或CMOS相机，所述温度采集装置通过USB电缆与所述主机电性连接，所述温度采集装置为红外高温仪；
图像采集装置的镜头可以根据实际需要进行调整；在进行实验过程中，操作人员观察图像采集装置拍摄的熔池图像，观察熔池图像是否清晰完整，再调整图像采集装置的拍摄角度，直至图像采集装置拍摄的熔池图像清晰完整。
CN201910780781.3A 2019-08-22 2019-08-22 基于深度和迁移学习的金属增材成形熔深实时预测方法 Active CN110472698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910780781.3A CN110472698B (zh) 2019-08-22 2019-08-22 基于深度和迁移学习的金属增材成形熔深实时预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910780781.3A CN110472698B (zh) 2019-08-22 2019-08-22 基于深度和迁移学习的金属增材成形熔深实时预测方法

Publications (2)

Publication Number Publication Date
CN110472698A CN110472698A (zh) 2019-11-19
CN110472698B true CN110472698B (zh) 2020-05-29

Family

ID=68513515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910780781.3A Active CN110472698B (zh) 2019-08-22 2019-08-22 基于深度和迁移学习的金属增材成形熔深实时预测方法

Country Status (1)

Country Link
CN (1) CN110472698B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110834132B (zh) * 2019-11-28 2021-07-09 西南交通大学 椭球面箱底上铝合金法兰电弧熔丝增材制造方法
CN110883403B (zh) * 2019-12-24 2020-10-30 华中科技大学 一种用于电弧增材制造的焊道建模方法、设备及系统
CN111390168B (zh) * 2020-03-16 2021-05-18 大连理工大学 激光熔化沉积粉末流离焦量在线监测与负反馈状态识别方法
CN111932539B (zh) * 2020-10-13 2021-02-02 南京知谱光电科技有限公司 基于熔池图像和深度残差网络的余高与熔深协同预测方法
CN112557445B (zh) * 2020-11-17 2022-04-12 华中科技大学 一种基于增材制造的缺陷在线检测方法、装置和系统
CN112734692B (zh) * 2020-12-17 2023-12-22 国网信息通信产业集团有限公司 一种变电设备缺陷识别方法及装置
CN112329275B (zh) * 2021-01-04 2021-04-02 四川大学 一种激光金属增材沉积融合状态实时预测方法及系统
CN112801091B (zh) * 2021-01-26 2023-06-13 汕头大学 一种基于深度学习的增材制造制件成形质量监控与预测方法
CN112859885A (zh) * 2021-04-25 2021-05-28 四川远方云天食品科技有限公司 一种送料机器人路径协同优化方法
CN113515873B (zh) * 2021-07-07 2022-04-19 中国科学院重庆绿色智能技术研究院 一种基于量纲分析的金属增材制造熔池形状预测方法
CN113673529B (zh) * 2021-08-16 2024-06-25 连城凯克斯科技有限公司 语义分割模型训练方法、硅熔融状态检测方法及电子设备
CN114660321B (zh) * 2022-03-22 2022-09-20 江阴市精奇数控有限公司 电机轴承转速测量系统
CN114905116B (zh) * 2022-06-02 2024-05-24 南京理工大学 一种基于特征学习的坡口焊缝熔透监控方法
CN115510766B (zh) * 2022-11-09 2023-03-03 北京大学 一种基于高斯过程模型的3d打印质量预测方法及系统
CN115609110B (zh) * 2022-11-22 2023-12-15 南京理工大学 基于多模融合的电弧复合增材熔深预测方法
CN116100562B (zh) * 2023-04-11 2023-06-09 四川大学 多机器人协同上下料的视觉引导方法及系统
CN116408462B (zh) * 2023-04-12 2023-10-27 四川大学 一种激光金属增材沉积内部孔隙状态实时预测方法
CN117600702B (zh) * 2024-01-23 2024-04-02 厦门锋元机器人有限公司 基于人工智能的铝焊生产线监管方法及系统
CN118492414A (zh) * 2024-07-17 2024-08-16 南通理工学院 面向难熔合金的电子束选区熔化增材制造方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102519387A (zh) * 2011-10-27 2012-06-27 哈尔滨工业大学 一种电子束焊接熔池形状参数的视觉检测方法
CN105478976A (zh) * 2016-01-26 2016-04-13 清华大学 基于动态系统辨识的端接微束等离子焊接成形控制方法
EP3213854A1 (en) * 2016-02-29 2017-09-06 Rolls-Royce Corporation Method, system and computer readable storage medium for energy deposition for processing gas turbine engine components
CN107649804A (zh) * 2017-10-17 2018-02-02 华中科技大学鄂州工业技术研究院 一种增材制造熔深在线检测和控制系统
CN108171232A (zh) * 2017-11-15 2018-06-15 中山大学 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法
CN109948475A (zh) * 2019-03-06 2019-06-28 武汉大学 一种基于骨架特征和深度学习的人体动作识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100140236A1 (en) * 2008-12-04 2010-06-10 General Electric Company Laser machining system and method
CN107150158B (zh) * 2017-06-29 2019-08-09 中国科学院自动化研究所 基于红外热像仪的盲区焊缝在线评估与控制系统
CN107855687B (zh) * 2017-10-17 2019-07-26 华中科技大学鄂州工业技术研究院 一种增材制造熔深在线检测和控制方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102519387A (zh) * 2011-10-27 2012-06-27 哈尔滨工业大学 一种电子束焊接熔池形状参数的视觉检测方法
CN105478976A (zh) * 2016-01-26 2016-04-13 清华大学 基于动态系统辨识的端接微束等离子焊接成形控制方法
EP3213854A1 (en) * 2016-02-29 2017-09-06 Rolls-Royce Corporation Method, system and computer readable storage medium for energy deposition for processing gas turbine engine components
CN107649804A (zh) * 2017-10-17 2018-02-02 华中科技大学鄂州工业技术研究院 一种增材制造熔深在线检测和控制系统
CN108171232A (zh) * 2017-11-15 2018-06-15 中山大学 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法
CN109948475A (zh) * 2019-03-06 2019-06-28 武汉大学 一种基于骨架特征和深度学习的人体动作识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Molten Pool Temperature Measurement Based on Multi-sensor Data Fusion;Youliang Yang等;《2011 International Conference on Electrical and Control Engineering》;20111024;第709-712页 *
卷积神经网络研究综述;李彦冬 等;《计算机应用》;20160910;第36卷(第9期);第2-3节 *

Also Published As

Publication number Publication date
CN110472698A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
CN110472698B (zh) 基于深度和迁移学习的金属增材成形熔深实时预测方法
CN110490867B (zh) 基于深度学习的金属增材制造成形尺寸实时预测方法
CN110490866B (zh) 基于深度特征融合的金属增材成形尺寸实时预测方法
CN110070008B (zh) 一种采用无人机图像的桥梁病害识别方法
CN106548182B (zh) 基于深度学习和主成因分析的路面裂纹检测方法及装置
WO2023168972A1 (zh) 一种基于线阵相机的铜表面缺陷检测方法及装置
CN113762240B (zh) 一种基于深度学习的熔覆层几何特征预测方法及系统
CN106407875A (zh) 目标特征提取方法及装置
WO2021068982A1 (zh) 基于四元数多自由度神经元的多光谱焊接图像识别方法
CN115131268A (zh) 一种基于图像特征提取与三维模型匹配的自动化焊接系统
CN115619738A (zh) 一种模组侧缝焊焊后检测方法
CN105224941B (zh) 对象辨识与定位方法
CN113902698A (zh) 一种基于智能视觉控制的无人机云台渐进式目标对焦方法
CN117952956A (zh) 一种基于对数似然估计的焊缝熔深预测方法
CN111222360A (zh) 硅料熔化状态的检测方法、设备及存储介质
CN117250206A (zh) 基于可见光和红外光融合的导电线异常检测方法与装置
Tao et al. Utilization of both machine vision and robotics technologies in assisting quality inspection and testing
CN111626104A (zh) 一种基于无人机红外热像的电缆隐患点检测方法和装置
CN112991304B (zh) 一种基于激光定向能量沉积监测系统的熔池溅射检测方法
CN112257514B (zh) 一种用于设备故障巡检的红外视觉智检的拍摄方法
CN113670268A (zh) 基于双目视觉的无人机和电力杆塔距离测量方法
CN108583115B (zh) 一种小鼠早期胚胎模型的制作系统
CN117706239B (zh) 一种换流变压器过热故障点预测系统
CN116823737B (zh) 一种低纹理环境下隧道壁异常检测方法及系统
WO2024000373A1 (zh) 检测焊印的方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant