CN110472698A - 基于深度和迁移学习的金属增材成形熔深实时预测方法 - Google Patents

基于深度和迁移学习的金属增材成形熔深实时预测方法 Download PDF

Info

Publication number
CN110472698A
CN110472698A CN201910780781.3A CN201910780781A CN110472698A CN 110472698 A CN110472698 A CN 110472698A CN 201910780781 A CN201910780781 A CN 201910780781A CN 110472698 A CN110472698 A CN 110472698A
Authority
CN
China
Prior art keywords
layer
neural networks
convolutional neural
network
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910780781.3A
Other languages
English (en)
Other versions
CN110472698B (zh
Inventor
殷鸣
谢罗峰
向枭
殷国富
颜虎
刘浩浩
李家勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910780781.3A priority Critical patent/CN110472698B/zh
Publication of CN110472698A publication Critical patent/CN110472698A/zh
Application granted granted Critical
Publication of CN110472698B publication Critical patent/CN110472698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深度学习和迁移学习激光金属增材制造熔深预测系统，包括打印工作台、图像采集装置和热成像仪、人机交互装置、显示器及主机，所述图像采集装置和热成像仪、人机交互装置和显示器均与所述主机电性连接。本发明在一定时间序列下连续采集熔池图像和温度图像，先对有效的熔池图像和温度图像进行归一化处理，使得熔池图像的图片尺寸和像素大小的参数保持一致性，深度学习卷积神经网络模型在训练的时候排除了其他无关特征，仅仅对关键特征进行训练，具有提高深度学习卷积神经网络模型训练的效率的优点；并且采用深度学习卷积神经网络模型来对熔深进行预测，可有效提升参数的精度。

Description

基于深度和迁移学习的金属增材成形熔深实时预测方法
技术领域
本发明属于增材制造技术领域，具体涉及基于深度和迁移学习的金属增材成形熔深实时预测方法。
背景技术
单道成形尺寸，如成形宽度、成形高度、熔深等参数是影响增材制造质量的重要因素，而熔池特征是对成形质量影响最为直接的因素。因而研究增材制造过程中熔池特征的变化以及实现熔池某些参数的控制对增材制造质量的保证有着重要的意义，同时根据熔池特征变化来控制增材制造质量也是实现增材制造智能化的一个重要组成部分。近年来，随着计算机视觉技术的发展，利用机器视觉直接观察增材制造熔池，通过图像处理获取熔池特征的几何信息，对增材制造质量进行闭环控制，已成为增材制造技术重要的研究方向。
授权公告号为CN102519387B的中国专利公开了一种电子束焊接熔池形状参数的视觉检测方法对电子束焊彩色熔池图像视觉传感系统进行标定，然后启动系统采集熔池图像，采用二值形态学图像处理算法提取熔池图像边缘，最后利用熔池形状参数提取算法对熔池形状参数进行提取。
上述中的现有技术方案存在以下缺陷：在进行增材制造实验时，会存在金属粉末残留在熔池边缘形成凸点的情况，灰度化处理后，凸点区域的灰度值和熔池区域的灰度值接近，带有凸点的熔池图像通过摄像机获取的熔池图像经上述视觉检测方法中的二值形态学图像处理算法提取熔池图像边缘后，上述视觉检测方法仍然无法将凸点与熔池边缘分离，故，上述视觉检测方法输出的熔池形状参数精度较低。
总体来说，基于图像处理算法对熔池图像进行处理获得熔池形态和尺寸参数的方式，存在泛化性能差，精度较低的问题；此外，由此获得的熔池形态和尺寸参数实际上并不等同于最终的单道成形尺寸；并且，若采用深度学习的方法对增材制造的成形尺寸进行预测，对于熔深等尺寸参数往往需要通过破坏性的实验进行测定，难以获取大数据样本，导致所建立的深度学习模型预测结果不准确。
发明内容
本发明目的在于克服现有技术中面临的问题，例如：采集的图像数据存在干扰，难以进行准确处理；即使能够在特定情况下做出处理，但是泛化性能较差，导致情况复杂时，处理出来的预测值误差较大、精度较低；当数据样本获取难度大或者数据样本数量较少时，所建立的深度学习模型预测结果不准确。因此需要在熔池图像和温度数据两个特征融合下，进一步进行迁移学习，从而提高预测精度。
基于深度和迁移学习的金属增材成形熔深实时预测方法，包括以下步骤：
S1：在一定时间序列下连续采集熔池图像和温度数据，并对该熔池图像和温度数据作特征融合处理，使用部分经过特征融合处理的该连续熔池图像和温度数据建立训练数据集，同样的，使用部分经过特征融合处理的该连续的熔池图像和温度数据建立测试数据集；
S2：建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数；深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层；
所述深度学习卷积神经网络模型为预训练网络，保留预训练网络低维特征层，移除预训练网络高维特征层；然后建立新高维特征层，并将该新高维特征层连接保留的网络低维特征层，形成目标深度学习卷积神经网络模型；
S3：将训练数据集中的熔池图像和温度数据输入目标深度学习卷积神经网络模型中，对目标深度学习卷积神经网络模型进行训练，并优化目标深度学习卷积神经网络模型；
S4：将测试数据集中的熔池图像和温度数据输入优化后的目标深度学习卷积神经网络模型中，预测成形单道的熔深。
通过上述技术方案，根据采集的训练图像集建立深度学习卷积神经网络模型，针对训练数据集内的熔池图像和温度数据，建立相应的模型参数，设置每层网络的单元数和激活函数。再将训练图像集内的熔池图像和温度数据输入深度学习卷积神经网络模型中，训练深度学习卷积神经网络模型并优化深度学习卷积网络模型。其中，最优的深度学习卷积神经网络模型是指深度学习卷积神经网络模型的模型误差达到设定的收敛误差或训练时的迭代次数达到上限。由于获取的深度数据较少，所以需要对预训练网络进行迁移学习，即保留预训练网络低维特征层，移除预训练网络高维特征层；然后建立新高维特征层，并将该新高维特征层连接保留的网络低维特征层，形成目标深度学习卷积神经网络模型；才能顺利完成熔深预测。
优选的，所述S1具体包括以下步骤：
S11：进行不同工艺参数下的单道试验，并利用图像采集装置和温度采集装置采集不同试验下的熔池图像和温度数据；
S12：对成形单道进行熔深测量；
S13：根据成形单道熔深测量值标注熔池图像和温度数据，将部分标注后的熔池图像和温度数据作为训练数据集，同样的，将部分标注后的熔池图像和温度数据作为测试数据集。
通过采用上述技术方案，对深度学习卷积神经网络模型所需的训练数据集进行全面收集，达到提高目标深度学习卷积神经网络模型训练的效率的效果。
优选的，步骤S13在生成训练数据集和测试数据集之前，先对有效的熔池图像和温度数据进行归一化处理。
通过采用上述技术方案，若不进行归一化处理，由于图像采集装置采集熔池图像的大小不完全一致，将会增加第一训练图像子集和第二训练图像子集的复杂度，进而增加目标深度学习卷积神经网络模型的训练难度，不利于目标深度学习卷积神经网络模型的高效训练。归一化处理，使得熔池图像的图片尺寸和像素大小的参数保持一致性，目标深度学习卷积神经网络模型在训练的时候排除了其他无关特征，仅仅对关键特征进行训练，达到提高目标深度学习卷积神经网络模型训练的效率的效果。
优选的，所述目标深度学习卷积神经网络模型为残差模型，所述残差模型主要包括卷积层、池化层以及残差结构。
优选的，所述目标深度学习卷积网络模型使用Stochastic Gradient Decent算法和误差反向传播方法来最小化损失函数，得到最优化网络参数。
通过采用上述技术方案，SGD使用基于随机少量样本的梯度来估计整个损失函数的梯度，以便实现更加快捷的学习过程。而通过误差反向传播算法可以逐层快速的计算出各层参数的梯度，进而完成参数的调整，来达到最小化损失函数的目的。
基于深度和迁移学习的金属增材成形熔深实时预测系统，包括打印工作台、图像采集装置和温度采集装置、人机交互装置、显示器及主机，所述图像采集装置和温度采集装置、人机交互装置和显示器均与所述主机电性连接，所述图像采集装置和温度采集装置安装在所述打印工作台的上方；所述图像采集装置用于在一定时间序列下连续采集熔池图像并将所采集的熔池图像传输至所述主机；所述温度采集装置用于在一定时间序列下连续采集温度数据并将所采集的温度数据传输至所述主机；所述主机用于使用部分该连续的熔池图像和温度数据建立训练数据集，同样的，也使用部分该连续的熔池图像和温度数据建立测试数据集，建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数，深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层，所述深度学习卷积神经网络模型为预训练网络，保留预训练网络低维特征层，移除预训练网络高维特征层，然后建立新高维特征层，并将该新高维特征层连接保留的网络低维特征层，形成目标深度学习卷积神经网络模型，将训练数据集中的熔池图像和温度数据输入目标深度学习卷积神经网络模型中，对目标深度学习卷积神经网络模型进行训练，优化目标深度学习卷积网络模型，将测试数据集中的熔池图像和温度数据输入优化后的深度学习卷积神经网络模型中，预测成形单道熔深。
通过采用上述技术方案，图像采集装置和热成像仪采集不同试验下的连续的熔池图像和温度数据并将连续的熔池图像和温度数据传输至主机，操作人员通过人机交互装置和显示器在主机内进行深度学习卷积网络模型、连续的熔池图像和温度数据的筛选、建立训练数据集、建立测试数据集、训练深度学习卷积网络模型等工作，完成目标深度学习卷积网络模型的优化后，操作人员再将待提取的熔池图像和温度数据输入至目标深度学习卷积网络模型内，目标深度学习卷积神经网络模型输出相应的预测值，并通过显示器显示出来。
优选的，所述图像采集装置通过USB电缆与所述主机电性连接，所述图像采集装置为CCD相机或CMOS相机，所述温度采集装置通过USB电缆与所述主机电性连接，所述温度采集装置为红外高温仪。
通过采用上述技术方案，图像采集装置的镜头正对工作台拍摄最佳，当然，也可以根据实际需要进行调整。在进行实验过程中，操作人员观察图像采集装置拍摄的熔池图像，观察熔池图像是否清晰完整，再调整图像采集装置的拍摄角度，直至图像采集装置拍摄的熔池图像清晰完整。
本发明的有益技术效果是：本发明在一定时间序列下连续采集熔池图像和温度数据，先对有效的熔池图像和温度图像进行归一化处理，使得熔池图像的图片尺寸和像素大小的参数保持一致性，深度学习卷积神经网络模型在训练的时候排除了其他无关特征，利用熔池图像和温度数据进行特征融合，对关键特征进行训练，具有提高深度学习卷积神经网络模型训练的效率的优点；并且在迁移学习的基础上采用目标深度学习卷积神经网络模型来对熔深进行预测，可有效提升这些参数的精度。
附图说明
图1显示为本发明的一个实施例的基本流程示意图。
图2显示为本发明的实施例1中的步骤S1的流程示意图。
图3显示为本发明的一个实施例的结构示意图。
图4显示为本发明的实施例1中利用熔池图像和温度数据特征融合的网络结构图。
图5显示为本发明的实施例1中利用熔池图像和温度数据特征融合的基础上进行迁移学习的网络结构图。
具体实施方式
下面结合本发明的附图1-5，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1和图4所示，基于深度和迁移学习的金属增材成形熔深实时预测方法，包括以下步骤：
S1：在一定时间序列下连续采集熔池图像和温度数据，并对该熔池图像和温度数据作特征融合处理，使用部分经过特征融合处理的该连续熔池图像和温度数据建立训练数据集，同样的，使用部分经过特征融合处理的该连续的熔池图像和温度数据建立测试数据集；
S2：建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数；深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层；
如图5所示，所述深度学习卷积神经网络模型为预训练网络，保留预训练网络低维特征层，移除预训练网络高维特征层；然后建立新高维特征层，并将该新高维特征层连接保留的网络低维特征层，形成目标深度学习卷积神经网络模型；
S3：将训练数据集中的熔池图像和温度数据输入目标深度学习卷积神经网络模型中，对目标深度学习卷积神经网络模型进行训练，并优化目标深度学习卷积神经网络模型；
S4：将测试数据集中的熔池图像和温度数据输入优化后的目标深度学习卷积神经网络模型中，预测成形单道的熔深。
通过上述技术方案，根据采集的训练图像集建立深度学习卷积神经网络模型，针对训练数据集内的熔池图像和温度数据，建立相应的模型参数，设置每层网络的单元数和激活函数。再将训练图像集内的熔池图像和温度数据输入深度学习卷积神经网络模型中，训练深度学习卷积神经网络模型并优化深度学习卷积网络模型。其中，最优的深度学习卷积神经网络模型是指深度学习卷积神经网络模型的模型误差达到设定的收敛误差或训练时的迭代次数达到上限。由于获取的深度数据较少，所以需要对预训练网络进行迁移学习，即保留预训练网络低维特征层，移除预训练网络高维特征层；然后建立新高维特征层，并将该新高维特征层连接保留的网络低维特征层，形成目标深度学习卷积神经网络模型；才能顺利完成熔深预测。
如图2所示，优选的，所述S1具体包括以下步骤：
S11：进行不同工艺参数下的单道试验，并利用图像采集装置和温度采集装置采集不同试验下的熔池图像和温度数据；
S12：对成形单道熔深进行测量；
S13：根据成形单熔深测量值标注熔池图像和温度数据，将部分标注后的熔池图像和温度数据作为训练数据集，同样的，将部分标注后的熔池图像和温度数据作为测试数据集。
通过采用上述技术方案，对深度学习卷积神经网络模型所需的训练数据集进行全面收集，达到提高目标深度学习卷积神经网络模型训练的效率的效果。
优选的，步骤S13在生成训练数据集和测试数据集之前，先对有效的熔池图像和温度数据进行归一化处理。
通过采用上述技术方案，若不进行归一化处理，由于图像采集装置采集熔池图像的大小不完全一致，将会增加第一训练图像子集和第二训练图像子集的复杂度，进而增加目标深度学习卷积神经网络模型的训练难度，不利于目标深度学习卷积神经网络模型的高效训练。归一化处理，使得熔池图像的图片尺寸和像素大小的参数保持一致性，目标深度学习卷积神经网络模型在训练的时候排除了其他无关特征，仅仅对关键特征进行训练，达到提高目标深度学习卷积神经网络模型训练的效率的效果。
优选的，所述目标深度学习卷积神经网络模型为残差模型，所述残差模型主要包括卷积层、池化层以及残差结构。
优选的，所述目标深度学习卷积网络模型使用Stochastic Gradient Decent算法和误差反向传播方法来最小化损失函数，得到最优化网络参数。
通过采用上述技术方案，SGD使用基于随机少量样本的梯度来估计整个损失函数的梯度，以便实现更加快捷的学习过程。而通过误差反向传播算法可以逐层快速的计算出各层参数的梯度，进而完成参数的调整，来达到最小化损失函数的目的。
实施例2：
如图3所示，基于深度和迁移学习的金属增材成形熔深实时预测，包括打印工作台、图像采集装置和温度采集装置、人机交互装置、显示器及主机，所述图像采集装置和温度采集装置、人机交互装置和显示器均与所述主机电性连接，所述图像采集装置和温度采集装置安装在所述打印工作台的上方；所述图像采集装置用于在一定时间序列下连续采集熔池图像并将所采集的熔池图像传输至所述主机；所述温度采集装置用于在一定时间序列下连续采集温度数据并将所采集的温度数据传输至所述主机；所述主机用于使用部分该连续的熔池图像和温度数据建立训练数据集，同样的，也使用部分该连续的熔池图像和温度数据建立测试数据集，建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数，深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层，所述深度学习卷积神经网络模型为预训练网络，保留预训练网络低维特征层，移除预训练网络高维特征层，然后建立新高维特征层，并将该新高维特征层连接保留的网络低维特征层，形成目标深度学习卷积神经网络模型，将训练数据集中的熔池图像和温度数据输入目标深度学习卷积神经网络模型中，对目标深度学习卷积神经网络模型进行训练，优化目标深度学习卷积网络模型，将测试数据集中的熔池图像和温度数据输入优化后的深度学习卷积神经网络模型中，预测成形单道成形熔深。
通过采用上述技术方案，图像采集装置和热成像仪采集不同试验下的连续的熔池图像和温度数据并将连续的熔池图像和温度数据传输至主机，操作人员通过人机交互装置和显示器在主机内进行深度学习卷积网络模型、连续的熔池图像和温度数据的筛选、建立训练数据集、建立测试数据集、训练深度学习卷积网络模型等工作，完成目标深度学习卷积网络模型的优化后，操作人员再将待提取的熔池图像和温度数据输入至目标深度学习卷积网络模型内，目标深度学习卷积神经网络模型输出相应的预测值，并通过显示器显示出来。
优选的，所述图像采集装置通过USB电缆与所述主机电性连接，所述图像采集装置为CCD相机或CMOS相机，所述温度采集装置通过USB电缆与所述主机电性连接，所述温度采集装置为红外高温仪。
通过采用上述技术方案，图像采集装置的镜头正对工作台拍摄最佳，当然，也可以根据实际需要进行调整。在进行实验过程中，操作人员观察图像采集装置拍摄的熔池图像，观察熔池图像是否清晰完整，再调整图像采集装置的拍摄角度，直至图像采集装置拍摄的熔池图像清晰完整。
在本发明的描述中，需要理解的是，术语“逆时针”、“顺时针”“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

Claims (8)

1.基于深度和迁移学习的金属增材成形熔深实时预测方法，其特征在于，包括以下步骤：
S1：在一定时间序列下连续采集熔池图像和温度数据，并对该熔池图像和温度数据作特征融合处理，使用部分经过特征融合处理的该连续熔池图像和温度数据建立训练数据集，同样的，使用部分经过特征融合处理的该连续的熔池图像和温度数据建立测试数据集；
S2：建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数；深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层；
所述深度学习卷积神经网络模型为预训练网络，保留预训练网络低维特征层，移除预训练网络高维特征层；然后建立新高维特征层，并将该新高维特征层连接保留的网络低维特征层，形成目标深度学习卷积神经网络模型；
S3：将训练数据集中的熔池图像和温度数据输入目标深度学习卷积神经网络模型中，对目标深度学习卷积神经网络模型进行训练，并优化目标深度学习卷积神经网络模型；
S4：将测试数据集中的熔池图像和温度数据输入优化后的目标深度学习卷积神经网络模型中，预测熔深。
2.根据权利要求1所述的基于深度和迁移学习的金属增材成形熔深实时预测方法，其特征在于，所述S1具体包括以下步骤：
S11：进行不同工艺参数下的单道试验，并利用图像采集装置和温度采集装置采集不同试验下的熔池图像和温度数据；
S12：对成形单道熔深进行测量；
S13：根据成形单熔深测量值标注熔池图像和温度数据，将部分标注后的熔池图像和温度数据作为训练数据集，同样的，将部分标注后的熔池图像和温度数据作为测试数据集。
3.根据权利要求2所述的基于深度和迁移学习的金属增材成形熔深实时预测方法，其特征在于，步骤S13在生成训练数据集和测试数据集之前，先对有效的熔池图像和温度数据进行归一化处理。
4.根据权利要求1所述的基于深度和迁移学习的金属增材成形熔深实时预测方法，其特征在于，所述深度学习卷积神经网络模型为残差模型，所述残差模型包括卷积层、池化层以及残差结构。
5.根据权利要求4所述的基于深度和迁移学习的金属增材成形熔深实时预测方法，其特征在于，所述深度学习卷积网络模型使用Stochastic Gradient Decent算法和误差反向传播方法来最小化损失函数，得到最优化网络参数。
6.基于深度和迁移学习的金属增材成形熔深实时预测系统，其特征在于，包括打印工作台、图像采集装置和温度采集装置、人机交互装置、显示器及主机，所述图像采集装置和温度采集装置、人机交互装置和显示器均与所述主机电性连接，所述图像采集装置和温度采集装置安装在所述打印工作台的上方；所述图像采集装置用于在一定时间序列下连续采集熔池图像并将所采集的熔池图像传输至所述主机；所述温度采集装置用于在一定时间序列下连续采集温度数据并将所采集的温度数据传输至所述主机；所述主机用于使用部分该连续的熔池图像和温度数据建立训练数据集，同样的，也使用部分该连续的熔池图像和温度数据建立测试数据集，建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数，深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层，所述深度学习卷积神经网络模型为预训练网络，保留预训练网络低维特征层，移除预训练网络高维特征层，然后建立新高维特征层，并将该新高维特征层连接保留的网络低维特征层，形成目标深度学习卷积神经网络模型，将训练数据集中的熔池图像和温度数据输入深度学习卷积神经网络模型中，对深度学习卷积神经网络模型进行训练，优化深度学习卷积网络模型，将测试数据集中的熔池图像和温度数据输入优化后的深度学习卷积神经网络模型中，预测成形单道成形深度。
7.根据权利要求6所述的基于深度和迁移学习的金属增材成形熔深实时预测系统，其特征在于，所述图像采集装置通过USB电缆与所述主机电性连接，所述图像采集装置为CCD相机或CMOS相机。
8.根据权利要求6所述的基于深度和迁移学习的金属增材成形熔深实时预测系统，其特征在于，所述温度采集装置通过USB电缆与所述主机电性连接，所述温度采集装置为红外高温仪。
CN201910780781.3A 2019-08-22 2019-08-22 基于深度和迁移学习的金属增材成形熔深实时预测方法 Active CN110472698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910780781.3A CN110472698B (zh) 2019-08-22 2019-08-22 基于深度和迁移学习的金属增材成形熔深实时预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910780781.3A CN110472698B (zh) 2019-08-22 2019-08-22 基于深度和迁移学习的金属增材成形熔深实时预测方法

Publications (2)

Publication Number Publication Date
CN110472698A true CN110472698A (zh) 2019-11-19
CN110472698B CN110472698B (zh) 2020-05-29

Family

ID=68513515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910780781.3A Active CN110472698B (zh) 2019-08-22 2019-08-22 基于深度和迁移学习的金属增材成形熔深实时预测方法

Country Status (1)

Country Link
CN (1) CN110472698B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110834132A (zh) * 2019-11-28 2020-02-25 西南交通大学 椭球面箱底上铝合金法兰电弧熔丝增材制造方法
CN110883403A (zh) * 2019-12-24 2020-03-17 华中科技大学 一种用于电弧增材制造的焊道建模方法、设备及系统
CN111390168A (zh) * 2020-03-16 2020-07-10 大连理工大学 激光熔化沉积粉末流离焦量在线监测与负反馈状态识别方法
CN111932539A (zh) * 2020-10-13 2020-11-13 南京知谱光电科技有限公司 基于熔池图像和深度残差网络的余高与熔深协同预测方法
CN112329275A (zh) * 2021-01-04 2021-02-05 四川大学 一种激光金属增材沉积融合状态实时预测方法及系统
CN112557445A (zh) * 2020-11-17 2021-03-26 华中科技大学 一种基于增材制造的缺陷在线检测方法、装置和系统
CN112734692A (zh) * 2020-12-17 2021-04-30 安徽继远软件有限公司 一种变电设备缺陷识别方法及装置
CN112801091A (zh) * 2021-01-26 2021-05-14 汕头大学 一种基于深度学习的增材制造制件成形质量监控与预测方法
CN112859885A (zh) * 2021-04-25 2021-05-28 四川远方云天食品科技有限公司 一种送料机器人路径协同优化方法
CN113515873A (zh) * 2021-07-07 2021-10-19 中国科学院重庆绿色智能技术研究院 一种基于量纲分析的金属增材制造熔池形状预测方法
CN113673529A (zh) * 2021-08-16 2021-11-19 连城凯克斯科技有限公司 语义分割模型训练方法、硅熔融状态检测方法及电子设备
CN114660321A (zh) * 2022-03-22 2022-06-24 江阴市精奇数控有限公司 电机轴承转速测量系统
CN114905116A (zh) * 2022-06-02 2022-08-16 南京理工大学 一种基于特征学习的坡口焊缝熔透监控方法
CN115510766A (zh) * 2022-11-09 2022-12-23 北京大学 一种基于高斯过程模型的3d打印质量预测方法及系统
CN115609110A (zh) * 2022-11-22 2023-01-17 南京理工大学 基于多模融合的电弧复合增材熔深预测方法
CN116100562A (zh) * 2023-04-11 2023-05-12 四川大学 多机器人协同上下料的视觉引导方法及系统
CN116408462A (zh) * 2023-04-12 2023-07-11 四川大学 一种激光金属增材沉积内部空隙状态实时预测方法
CN117600702A (zh) * 2024-01-23 2024-02-27 厦门锋元机器人有限公司 基于人工智能的铝焊生产线监管方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100140236A1 (en) * 2008-12-04 2010-06-10 General Electric Company Laser machining system and method
CN102519387A (zh) * 2011-10-27 2012-06-27 哈尔滨工业大学 一种电子束焊接熔池形状参数的视觉检测方法
CN105478976A (zh) * 2016-01-26 2016-04-13 清华大学 基于动态系统辨识的端接微束等离子焊接成形控制方法
EP3213854A1 (en) * 2016-02-29 2017-09-06 Rolls-Royce Corporation Method, system and computer readable storage medium for energy deposition for processing gas turbine engine components
CN107150158A (zh) * 2017-06-29 2017-09-12 中国科学院自动化研究所 基于红外热像仪的盲区焊缝在线评估与控制系统
CN107649804A (zh) * 2017-10-17 2018-02-02 华中科技大学鄂州工业技术研究院 一种增材制造熔深在线检测和控制系统
CN107855687A (zh) * 2017-10-17 2018-03-30 华中科技大学鄂州工业技术研究院 一种增材制造熔深在线检测和控制方法及系统
CN108171232A (zh) * 2017-11-15 2018-06-15 中山大学 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法
CN109948475A (zh) * 2019-03-06 2019-06-28 武汉大学 一种基于骨架特征和深度学习的人体动作识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100140236A1 (en) * 2008-12-04 2010-06-10 General Electric Company Laser machining system and method
CN102519387A (zh) * 2011-10-27 2012-06-27 哈尔滨工业大学 一种电子束焊接熔池形状参数的视觉检测方法
CN105478976A (zh) * 2016-01-26 2016-04-13 清华大学 基于动态系统辨识的端接微束等离子焊接成形控制方法
EP3213854A1 (en) * 2016-02-29 2017-09-06 Rolls-Royce Corporation Method, system and computer readable storage medium for energy deposition for processing gas turbine engine components
CN107150158A (zh) * 2017-06-29 2017-09-12 中国科学院自动化研究所 基于红外热像仪的盲区焊缝在线评估与控制系统
CN107649804A (zh) * 2017-10-17 2018-02-02 华中科技大学鄂州工业技术研究院 一种增材制造熔深在线检测和控制系统
CN107855687A (zh) * 2017-10-17 2018-03-30 华中科技大学鄂州工业技术研究院 一种增材制造熔深在线检测和控制方法及系统
CN108171232A (zh) * 2017-11-15 2018-06-15 中山大学 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法
CN109948475A (zh) * 2019-03-06 2019-06-28 武汉大学 一种基于骨架特征和深度学习的人体动作识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YOULIANG YANG等: "Molten Pool Temperature Measurement Based on Multi-sensor Data Fusion", 《2011 INTERNATIONAL CONFERENCE ON ELECTRICAL AND CONTROL ENGINEERING》 *
李彦冬 等: "卷积神经网络研究综述", 《计算机应用》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110834132A (zh) * 2019-11-28 2020-02-25 西南交通大学 椭球面箱底上铝合金法兰电弧熔丝增材制造方法
CN110883403A (zh) * 2019-12-24 2020-03-17 华中科技大学 一种用于电弧增材制造的焊道建模方法、设备及系统
WO2021129671A1 (zh) * 2019-12-24 2021-07-01 华中科技大学 一种用于电弧增材制造的焊道建模方法、设备及系统
CN111390168A (zh) * 2020-03-16 2020-07-10 大连理工大学 激光熔化沉积粉末流离焦量在线监测与负反馈状态识别方法
CN111932539A (zh) * 2020-10-13 2020-11-13 南京知谱光电科技有限公司 基于熔池图像和深度残差网络的余高与熔深协同预测方法
CN112557445B (zh) * 2020-11-17 2022-04-12 华中科技大学 一种基于增材制造的缺陷在线检测方法、装置和系统
CN112557445A (zh) * 2020-11-17 2021-03-26 华中科技大学 一种基于增材制造的缺陷在线检测方法、装置和系统
CN112734692A (zh) * 2020-12-17 2021-04-30 安徽继远软件有限公司 一种变电设备缺陷识别方法及装置
CN112734692B (zh) * 2020-12-17 2023-12-22 国网信息通信产业集团有限公司 一种变电设备缺陷识别方法及装置
CN112329275A (zh) * 2021-01-04 2021-02-05 四川大学 一种激光金属增材沉积融合状态实时预测方法及系统
CN112329275B (zh) * 2021-01-04 2021-04-02 四川大学 一种激光金属增材沉积融合状态实时预测方法及系统
CN112801091B (zh) * 2021-01-26 2023-06-13 汕头大学 一种基于深度学习的增材制造制件成形质量监控与预测方法
CN112801091A (zh) * 2021-01-26 2021-05-14 汕头大学 一种基于深度学习的增材制造制件成形质量监控与预测方法
CN112859885A (zh) * 2021-04-25 2021-05-28 四川远方云天食品科技有限公司 一种送料机器人路径协同优化方法
CN113515873A (zh) * 2021-07-07 2021-10-19 中国科学院重庆绿色智能技术研究院 一种基于量纲分析的金属增材制造熔池形状预测方法
CN113673529A (zh) * 2021-08-16 2021-11-19 连城凯克斯科技有限公司 语义分割模型训练方法、硅熔融状态检测方法及电子设备
CN114660321A (zh) * 2022-03-22 2022-06-24 江阴市精奇数控有限公司 电机轴承转速测量系统
CN114905116A (zh) * 2022-06-02 2022-08-16 南京理工大学 一种基于特征学习的坡口焊缝熔透监控方法
CN115510766A (zh) * 2022-11-09 2022-12-23 北京大学 一种基于高斯过程模型的3d打印质量预测方法及系统
CN115510766B (zh) * 2022-11-09 2023-03-03 北京大学 一种基于高斯过程模型的3d打印质量预测方法及系统
CN115609110B (zh) * 2022-11-22 2023-12-15 南京理工大学 基于多模融合的电弧复合增材熔深预测方法
CN115609110A (zh) * 2022-11-22 2023-01-17 南京理工大学 基于多模融合的电弧复合增材熔深预测方法
CN116100562B (zh) * 2023-04-11 2023-06-09 四川大学 多机器人协同上下料的视觉引导方法及系统
CN116100562A (zh) * 2023-04-11 2023-05-12 四川大学 多机器人协同上下料的视觉引导方法及系统
CN116408462A (zh) * 2023-04-12 2023-07-11 四川大学 一种激光金属增材沉积内部空隙状态实时预测方法
CN116408462B (zh) * 2023-04-12 2023-10-27 四川大学 一种激光金属增材沉积内部孔隙状态实时预测方法
CN117600702A (zh) * 2024-01-23 2024-02-27 厦门锋元机器人有限公司 基于人工智能的铝焊生产线监管方法及系统
CN117600702B (zh) * 2024-01-23 2024-04-02 厦门锋元机器人有限公司 基于人工智能的铝焊生产线监管方法及系统

Also Published As

Publication number Publication date
CN110472698B (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
CN110472698A (zh) 基于深度和迁移学习的金属增材成形熔深实时预测方法
CN110490867A (zh) 基于深度学习的金属增材制造成形尺寸实时预测方法
CN110490866A (zh) 基于深度特征融合的金属增材成形尺寸实时预测方法
CN105538345B (zh) 一种基于多镜头的智能机械手及定位装配方法
CN105033408B (zh) Gma增材制造双被动视觉传感检测装置及其检测方法
CN104217214B (zh) 基于可配置卷积神经网络的rgb‑d人物行为识别方法
CN110363781B (zh) 基于深度神经网络的熔池轮廓检测方法
CN102704215B (zh) 基于dst文件解析与机器视觉结合的绣布自动切割方法
CN113276106B (zh) 一种攀爬机器人空间定位方法及空间定位系统
CN104400265B (zh) 一种激光视觉引导的焊接机器人角接焊缝特征的提取方法
CN109785385A (zh) 视觉目标跟踪方法及系统
CN114638797A (zh) 一种基于线阵相机的铜表面缺陷检测方法及装置
CN108596338A (zh) 一种神经网络训练集的获取方法及其系统
CN104463067B (zh) 一种Grid Matrix二维条码宏模块提取方法
CN101751603A (zh) 在线棒型材图像自动计数设备及方法
CN107688028A (zh) 一种激光增材制造搭接率在线监测方法
CN108856978A (zh) 基于近红外双目视觉识别的角接接头熔透控制方法
CN113379740A (zh) 基于穿孔熔池图像和深度学习的vppaw熔透原位实时监测系统
CN109726777A (zh) 基于互联网的pcb外观检测系统及检测方法
CN110186570A (zh) 一种增材制造激光3d打印温度梯度检测方法
CN111429423B (zh) 基于四元数多自由度神经元的多光谱焊接图像识别方法
CN103743750B (zh) 一种大口径光学元件表面损伤分布图的生成方法
CN111126206A (zh) 基于深度学习的冶炼状态检测系统及检测方法
CN112733889A (zh) 一种基于改进vgg16深度神经网络的穿孔等离子弧焊接穿孔及熔透状态识别方法
Bonatti et al. A deep learning quality control loop of the extrusion-based bioprinting process

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant