CN110490866B - 基于深度特征融合的金属增材成形尺寸实时预测方法 - Google Patents

基于深度特征融合的金属增材成形尺寸实时预测方法 Download PDF

Info

Publication number
CN110490866B
CN110490866B CN201910780186.XA CN201910780186A CN110490866B CN 110490866 B CN110490866 B CN 110490866B CN 201910780186 A CN201910780186 A CN 201910780186A CN 110490866 B CN110490866 B CN 110490866B
Authority
CN
China
Prior art keywords
deep learning
network model
molten pool
neural network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910780186.XA
Other languages
English (en)
Other versions
CN110490866A (zh
Inventor
殷鸣
谢罗峰
向枭
殷国富
颜虎
刘浩浩
李家勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910780186.XA priority Critical patent/CN110490866B/zh
Publication of CN110490866A publication Critical patent/CN110490866A/zh
Application granted granted Critical
Publication of CN110490866B publication Critical patent/CN110490866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于深度学习和特征融合的增材制造成形尺寸预测系统，包括打印工作台、图像采集装置和热成像仪、人机交互装置、显示器及主机，所述图像采集装置和热成像仪、人机交互装置和显示器均与所述主机电性连接。本发明在一定时间序列下连续采集熔池图像和温度图像，先对有效的熔池图像和温度图像进行归一化处理，使得熔池图像的图片尺寸和像素大小的参数保持一致性，深度学习卷积神经网络模型在训练的时候排除了其他无关特征，仅仅对关键特征进行训练，具有提高深度学习卷积神经网络模型训练的效率的优点；并且采用深度学习卷积神经网络模型来对单道成形高度进行预测，可有效提升参数的精度。

Description

基于深度特征融合的金属增材成形尺寸实时预测方法
技术领域
本发明属于增材制造技术领域，具体涉及基于深度特征融合的金属增材成形尺寸实时预测方法。
背景技术
单道成形尺寸，如成形宽度、成形高度等参数是影响增材制造质量的重要因素，而熔池特征是对成形质量影响最为直接的因素。因而研究增材制造过程中熔池特征的变化以及实现熔池某些参数的控制对增材制造质量的保证有着重要的意义，同时根据熔池特征变化来控制增材制造质量也是实现增材制造智能化的一个重要组成部分。近年来，随着计算机视觉技术的发展，利用机器视觉直接观察增材制造熔池，通过图像处理获取熔池特征的几何信息，对增材制造质量进行闭环控制，已成为增材制造技术重要的研究方向。
授权公告号为CN102519387B的中国专利公开了一种电子束焊接熔池形状参数的视觉检测方法对电子束焊彩色熔池图像视觉传感系统进行标定，然后启动系统采集熔池图像，采用二值形态学图像处理算法提取熔池图像边缘，最后利用熔池形状参数提取算法对熔池形状参数进行提取。
上述中的现有技术方案存在以下缺陷：例如，在进行增材制造实验时，会存在金属粉末残留在熔池边缘形成凸点的情况，灰度化处理后，凸点区域的灰度值和熔池区域的灰度值接近，带有凸点的熔池图像通过摄像机获取的熔池图像经上述视觉检测方法中的二值形态学图像处理算法提取熔池图像边缘后，上述视觉检测方法仍然无法将凸点与熔池边缘分离，故，上述视觉检测方法输出的熔池形状参数精度较低。
总体来说，基于图像处理算法对熔池图像进行处理获得熔池形态和尺寸参数的方式，存在泛化性能差，精度较低的问题；此外，由此获得的熔池形态和尺寸参数实际上并不等同于最终的单道成形尺寸；同时，若采用深度学习的方法对增材制造的成形尺寸进行预测，仅通过正面的熔池图像作为样本数据经过深度学习无法对成形高度等进行高精度的预测。
发明内容
本发明目的在于克服现有技术中面临的问题，例如：采集的图像数据存在干扰，难以进行准确处理；能够在特定情况下做出处理，但是泛化性能较差，导致情况复杂时，在单一的熔池图像样本数据训练的情况下，处理出来的预测值误差较大、精度较低。
基于深度特征融合的金属增材成形尺寸实时预测方法，包括以下步骤：
S1：在一定时间序列下连续采集熔池图像和温度数据，并对该熔池图像和温度数据作特征融合处理，使用部分经过特征融合处理的该连续熔池图像和温度数据建立训练数据集，同样的，使用部分经过特征融合处理的该连续的熔池图像和温度数据建立测试数据集；
S2：建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数；深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层；
S3：将训练数据集中的熔池图像和温度数据输入深度学习卷积神经网络模型中，对深度学习卷积神经网络模型进行训练，优化深度学习卷积网络模型；
S4：将测试数据集中的熔池图像和温度数据输入优化后的深度学习卷积神经网络模型中，预测成形单道的高度。
通过上述技术方案，根据采集的训练图像集建立深度学习卷积神经网络模型，针对训练数据集内的熔池图像和温度数据，建立相应的模型参数，设置每层网络的单元数和激活函数。再将训练图像集内的熔池图像和温度数据输入深度学习卷积神经网络模型中，训练深度学习卷积神经网络模型并优化深度学习卷积网络模型。其中，最优的深度学习卷积神经网络模型是指深度学习卷积神经网络模型的模型误差达到设定的收敛误差或训练时的迭代次数达到上限。
优选的，所述S1具体包括以下步骤：
S11：进行不同工艺参数下的单道试验，并利用图像采集装置和温度采集装置采集不同试验下的熔池图像和温度数据；
S12：对成形单道进行表面高度测量；
S13：根据成形单道表面高度标注熔池图像和温度数据，将部分标注后的熔池图像和温度数据作为训练数据集，同样的，将部分标注后的熔池图像和温度数据作为测试数据集。
通过采用上述技术方案，对深度学习卷积神经网络模型所需的训练数据集进行全面收集，达到提高深度学习卷积神经网络模型训练的效率的效果。
优选的，步骤S13在生成训练数据集和测试数据集之前，先对有效的熔池图像和温度数据进行归一化处理。
通过采用上述技术方案，若不进行归一化处理，由于图像采集装置采集熔池图像的大小不完全一致，将会增加第一训练图像子集和第二训练图像子集的复杂度，进而增加深度学习卷积神经网络模型的训练难度，不利于深度学习卷积神经网络模型的高效训练。归一化处理，使得熔池图像的图片尺寸和像素大小的参数保持一致性，深度学习卷积神经网络模型在训练的时候排除了其他无关特征，仅仅对关键特征进行训练，达到提高深度学习卷积神经网络模型训练的效率的效果。
优选的，所述深度学习卷积神经网络模型为残差模型，所述残差模型主要包括卷积层、池化层以及残差结构。
优选的，所述深度学习卷积网络模型使用Stochastic Gradient Decent算法和误差反向传播方法来最小化损失函数，得到最优化网络参数。
通过采用上述技术方案，SGD使用基于随机少量样本的梯度来估计整个损失函数的梯度，以便实现更加快捷的学习过程。而通过误差反向传播算法可以逐层快速的计算出各层参数的梯度，进而完成参数的调整，来达到最小化损失函数的目的。
基于深度特征融合的金属增材成形尺寸实时预测系统，包括打印工作台、图像采集装置和温度采集装置、人机交互装置、显示器及主机，所述图像采集装置和温度采集装置、人机交互装置和显示器均与所述主机电性连接，所述图像采集装置和温度采集装置安装在所述打印工作台的上方；所述图像采集装置用于在一定时间序列下连续采集熔池图像并将所采集的熔池图像传输至所述主机；所述温度采集装置用于在一定时间序列下连续采集温度数据并将所采集的温度数据传输至所述主机；所述主机用于使用部分该连续的熔池图像和温度数据建立训练数据集，同样的，也使用部分该连续的熔池图像和温度数据建立测试数据集；建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数；深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层；将训练数据集中的熔池图像和温度数据输入深度学习卷积神经网络模型中，对深度学习卷积神经网络模型进行训练，优化深度学习卷积网络模型；将测试数据集中的熔池图像和温度数据输入优化后的深度学习卷积神经网络模型中，预测成形单道成形高度。
通过采用上述技术方案，图像采集装置和热成像仪采集不同试验下的连续的熔池图像和温度数据并将连续的熔池图像和温度数据传输至主机，操作人员通过人机交互装置和显示器在主机内进行深度学习卷积网络模型、连续的熔池图像和温度数据的筛选、建立训练数据集、建立测试数据集、训练深度学习卷积网络模型等工作，完成深度学习卷积网络模型的优化后，操作人员再将待提取的熔池图像和温度数据输入至深度学习卷积网络模型内，深度学习卷积神经网络模型输出相应的预测值，并通过显示器显示出来。
优选的，所述图像采集装置通过USB电缆与所述主机电性连接，所述图像采集装置为CCD相机或CMOS相机，所述温度采集装置通过USB电缆与所述主机电性连接，所述温度采集装置为红外高温仪。
通过采用上述技术方案，图像采集装置的镜头正对工作台时拍摄效果最佳，当然，也可以根据实际需要进行调整。在进行实验过程中，操作人员观察图像采集装置拍摄的熔池图像，观察熔池图像是否清晰完整，再调整图像采集装置的拍摄角度，直至图像采集装置拍摄的熔池图像清晰完整。
本发明的有益技术效果是：本发明在一定时间序列下连续采集熔池图像和温度数据，先对有效的熔池图像和温度图像进行归一化处理，使得熔池图像的图片尺寸和像素大小的参数保持一致性，深度学习卷积神经网络模型在训练的时候排除了其他无关特征，利用熔池图像和温度数据进行特征融合，对关键特征进行训练，具有提高深度学习卷积神经网络模型训练的效率的优点；并且采用深度学习卷积神经网络模型来对成形高度测量进行预测，可有效提升这些参数的精度。
附图说明
图1显示为本发明的一个实施例的基本流程示意图。
图2显示为本发明的实施例1中的步骤S1的流程示意图。
图3显示为本发明的一个实施例的结构示意图。
图4显示为本发明的实施例1中只采用熔池图像的训练示意图。
图5显示为本发明的实施例1中利用熔池图像和温度数据特征融合的训练示意图。
图6显示为本发明的实施例1中利用熔池图像和温度数据特征融合的网络结构图。
具体实施方式
下面结合本发明的附图1-6，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示，基于深度特征融合的金属增材成形尺寸实时预测方法，包括以下步骤：
S1：在一定时间序列下连续采集熔池图像和温度数据，并对该熔池图像和温度数据作特征融合处理，使用部分经过特征融合处理的该连续熔池图像和温度数据建立训练数据集，同样的，使用部分经过特征融合处理的该连续的熔池图像和温度数据建立测试数据集；因为仅通过熔池图像数据作为样本数据，通过深度学习训练后预测效果并不好，所以才增加了一个样本数据，即温度数据，这两种样本数据内在是存在相应联系的，所以使用特征融合来预测时，效果明显提升；
S2：建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数；深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层；
S3：将训练数据集中的熔池图像和温度数据输入深度学习卷积神经网络模型中，对深度学习卷积神经网络模型进行训练，优化深度学习卷积网络模型；
S4：将测试数据集中的熔池图像和温度数据输入优化后的深度学习卷积神经网络模型中，预测成形单道的高度。
如图6所示，其中，深度学习卷积神经网络模型由两条并行的网络构成，模型由输入模块、特征提取模块、特征融合模块、决策层模块组成。输入模块输入熔池图像和温度图像，特征提取模块主要由卷积层、批归一化层、激活层堆叠而成，特征融合模块位于特征提取模块和决策层模块之间，用于融合两并行网络特征，决策层模块则包括平均池化层、全连接层和回归层。设置相应的模型参数，包括网络层数和激活函数，在搭建的两条并行网络中，特征提取模块框架相同。
通过上述技术方案，根据采集的训练图像集建立深度学习卷积神经网络模型，针对训练数据集内的熔池图像和温度数据，建立相应的模型参数，设置每层网络的单元数和激活函数。再将训练图像集内的熔池图像和温度数据输入深度学习卷积神经网络模型中，训练深度学习卷积神经网络模型并优化深度学习卷积网络模型。其中，最优的深度学习卷积神经网络模型是指深度学习卷积神经网络模型的模型误差达到设定的收敛误差或训练时的迭代次数达到上限。
如图2所示，优选的，所述S1具体包括以下步骤：
S11：进行不同工艺参数下的单道试验，并利用图像采集装置和温度采集装置采集不同试验下的熔池图像和温度数据；
S12：对成形单道高度进行测量；
S13：根据成形单道高度标注熔池图像和温度数据，将部分标注后的熔池图像和温度数据作为训练数据集，同样的，将部分标注后的熔池图像和温度数据作为测试数据集。
通过采用上述技术方案，对深度学习卷积神经网络模型所需的训练数据集进行全面收集，达到提高深度学习卷积神经网络模型训练的效率的效果。
优选的，步骤S13在生成训练数据集和测试数据集之前，先对有效的熔池图像和温度数据进行归一化处理。
通过采用上述技术方案，若不进行归一化处理，由于图像采集装置采集熔池图像的大小不完全一致，将会增加第一训练图像子集和第二训练图像子集的复杂度，进而增加深度学习卷积神经网络模型的训练难度，不利于深度学习卷积神经网络模型的高效训练。归一化处理，使得熔池图像的图片尺寸和像素大小的参数保持一致性，深度学习卷积神经网络模型在训练的时候排除了其他无关特征，仅仅对关键特征进行训练，达到提高深度学习卷积神经网络模型训练的效率的效果。
优选的，所述深度学习卷积神经网络模型为残差模型，所述残差模型主要包括卷积层、池化层以及残差结构。
优选的，所述深度学习卷积网络模型使用Stochastic Gradient Decent算法和误差反向传播方法来最小化损失函数，得到最优化网络参数。
通过采用上述技术方案，SGD使用基于随机少量样本的梯度来估计整个损失函数的梯度，以便实现更加快捷的学习过程。而通过误差反向传播算法可以逐层快速的计算出各层参数的梯度，进而完成参数的调整，来达到最小化损失函数的目的。
在处理过程中，采用线结构光对单道成形高度进行测量，相较于游标卡尺手工测量在数据量、自动化程度、分辨率和精度等方面均具有优势。
如图4和图5所示，在处理过程中，只采用熔池图像作为训练数据时，验证发现：在平均高度为0.5mm数据集中，误差在0.1mm范围内精度的准确率仅为88.72%；然而，通过特征融合，加入了温度数据后，使用熔池图像和温度数据去预测同样的验证样本集，结果在平均高度为0.5mm的样本集下，误差在0.1mm范围内精度的准确率达到了99%，并且，连误差在0.05mm范围内精度的准确率到达了90.14%。实验数据表明能够通过该方法对单道成形的高度进行有效的预测。
实施例2：
如图3所示，基于深度特征融合的金属增材成形尺寸实时预测系统，包括打印工作台、图像采集装置和温度采集装置、人机交互装置、显示器及主机，所述图像采集装置和温度采集装置、人机交互装置和显示器均与所述主机电性连接，所述图像采集装置和温度采集装置安装在所述打印工作台的上方；所述图像采集装置用于在一定时间序列下连续采集熔池图像并将所采集的熔池图像传输至所述主机；所述温度采集装置用于在一定时间序列下连续采集温度数据并将所采集的温度数据传输至所述主机；所述主机用于使用部分该连续的熔池图像和温度数据建立训练数据集，同样的，也使用部分该连续的熔池图像和温度数据建立测试数据集；建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数；深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层；将训练数据集中的熔池图像和温度数据输入深度学习卷积神经网络模型中，对深度学习卷积神经网络模型进行训练，优化深度学习卷积网络模型；将测试数据集中的熔池图像和温度数据输入优化后的深度学习卷积神经网络模型中，预测成形单道成形高度。
通过采用上述技术方案，图像采集装置和热成像仪采集不同试验下的连续的熔池图像和温度数据并将连续的熔池图像和温度数据传输至主机，操作人员通过人机交互装置和显示器在主机内进行深度学习卷积网络模型、连续的熔池图像和温度数据的筛选、建立训练数据集、建立测试数据集、训练深度学习卷积网络模型等工作，完成深度学习卷积网络模型的优化后，操作人员再将待提取的熔池图像和温度数据输入至深度学习卷积网络模型内，深度学习卷积神经网络模型输出相应的预测值，并通过显示器显示出来。
优选的，所述图像采集装置通过USB电缆与所述主机电性连接，所述图像采集装置为CCD相机或CMOS相机，所述温度采集装置通过USB电缆与所述主机电性连接，所述温度采集装置为红外高温仪。
通过采用上述技术方案，图像采集装置的镜头正对工作台时拍摄效果最佳，当然，也可以根据实际需要进行调整。在进行实验过程中，操作人员观察图像采集装置拍摄的熔池图像，观察熔池图像是否清晰完整，再调整图像采集装置的拍摄角度，直至图像采集装置拍摄的熔池图像清晰完整。
在本发明的描述中，需要理解的是，术语“逆时针”、“顺时针”“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

Claims (2)

1.基于深度特征融合的金属增材成形尺寸实时预测方法，其特征在于，包括以下步骤：
S1：在一定时间序列下连续采集熔池图像和温度数据，并对该熔池图像和温度数据作特征融合处理，使用部分经过特征融合处理的该连续熔池图像和温度数据建立训练数据集，同样的，使用部分经过特征融合处理的该连续的熔池图像和温度数据建立测试数据集；
S2：建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数；深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层；
S3：将训练数据集中的熔池图像和温度数据输入深度学习卷积神经网络模型中，对深度学习卷积神经网络模型进行训练，优化深度学习卷积网络模型；
S4：将测试数据集中的熔池图像和温度数据输入优化后的深度学习卷积神经网络模型中，预测成形单道的高度；
其中，深度学习卷积神经网络模型由两条并行的网络构成，模型由输入模块、特征提取模块、特征融合模块、决策层模块组成；输入模块输入熔池图像和温度图像，特征提取模块由卷积层、批归一化层、激活层堆叠而成，特征融合模块位于特征提取模块和决策层模块之间，用于融合两并行网络特征，决策层模块则包括平均池化层、全连接层和回归层；设置相应的模型参数，包括网络层数和激活函数，在搭建的两条并行网络中，特征提取模块框架相同；
根据采集的训练图像集建立深度学习卷积神经网络模型，针对训练数据集内的熔池图像和温度数据，建立相应的模型参数，设置每层网络的单元数和激活函数；再将训练图像集内的熔池图像和温度数据输入深度学习卷积神经网络模型中，训练深度学习卷积神经网络模型并优化深度学习卷积网络模型；其中，最优的深度学习卷积神经网络模型是指深度学习卷积神经网络模型的模型误差达到设定的收敛误差或训练时的迭代次数达到上限；
所述S1具体包括以下步骤：
S11：进行不同工艺参数下的单道试验，并利用图像采集装置和温度采集装置采集不同试验下的熔池图像和温度数据；
S12：对成形单道高度进行测量；
S13：根据成形单道高度标注熔池图像和温度数据，将部分标注后的熔池图像和温度数据作为训练数据集，同样的，将部分标注后的熔池图像和温度数据作为测试数据集；
对深度学习卷积神经网络模型所需的训练数据集进行全面收集，达到提高深度学习卷积神经网络模型训练的效率的效果；
步骤S13在生成训练数据集和测试数据集之前，先对有效的熔池图像和温度数据进行归一化处理；
归一化处理，使得熔池图像的图片尺寸和像素大小的参数保持一致性，深度学习卷积神经网络模型在训练的时候排除了其他无关特征，仅仅对关键特征进行训练，达到提高深度学习卷积神经网络模型训练的效率的效果；
所述深度学习卷积神经网络模型为残差模型，所述残差模型主要包括卷积层、池化层以及残差结构；
所述深度学习卷积网络模型使用Stochastic Gradient Decent算法和误差反向传播方法来最小化损失函数，得到最优化网络参数；
SGD使用基于随机少量样本的梯度来估计整个损失函数的梯度，以便实现更加快捷的学习过程；而通过误差反向传播算法可以逐层快速的计算出各层参数的梯度，进而完成参数的调整，来达到最小化损失函数的目的；
在处理过程中，采用线结构光对单道成形高度进行测量，相较于游标卡尺手工测量在数据量、自动化程度、分辨率和精度方面均具有优势。
2.基于深度特征融合的金属增材成形尺寸实时预测系统，其特征在于，所述金属增材成形尺寸实时预测系统在进行金属增材成形尺寸实时预测时，采用如权利要求1所述的基于深度特征融合的金属增材成形尺寸实时预测方法进行实时预测；且，所述金属增材成形尺寸实时预测系统还包括打印工作台、图像采集装置和温度采集装置、人机交互装置、显示器及主机，所述图像采集装置和温度采集装置、人机交互装置和显示器均与所述主机电性连接，所述图像采集装置和温度采集装置安装在所述打印工作台的上方；所述图像采集装置用于在一定时间序列下连续采集熔池图像并将所采集的熔池图像传输至所述主机；所述温度采集装置用于在一定时间序列下连续采集温度数据并将所采集的温度数据传输至所述主机；所述主机用于使用部分该连续的熔池图像和温度数据建立训练数据集，同样的，也使用部分该连续的熔池图像和温度数据建立测试数据集；建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数；深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层；将训练数据集中的熔池图像和温度数据输入深度学习卷积神经网络模型中，对深度学习卷积神经网络模型进行训练，优化深度学习卷积网络模型；将测试数据集中的熔池图像和温度数据输入优化后的深度学习卷积神经网络模型中，预测成形单道成形高度；
图像采集装置和温度采集装置采集在不同工艺参数下单道实验的连续的熔池图像和温度数据并将连续的熔池图像和温度数据传输至主机，操作人员通过人机交互装置和显示器在主机内进行深度学习卷积网络模型、连续的熔池图像和温度数据的筛选、建立训练数据集、建立测试数据集、训练深度学习卷积网络模型工作，完成深度学习卷积网络模型的优化后，操作人员再将待提取的熔池图像和温度数据输入至深度学习卷积网络模型内，深度学习卷积神经网络模型输出相应的预测值，并通过显示器显示出来；
所述图像采集装置通过USB电缆与所述主机电性连接，所述图像采集装置为CCD相机或CMOS相机，所述温度采集装置通过USB电缆与所述主机电性连接，所述温度采集装置为红外高温仪；
图像采集装置的镜头可以根据实际需要进行调整；在进行实验过程中，操作人员观察图像采集装置拍摄的熔池图像，观察熔池图像是否清晰完整，再调整图像采集装置的拍摄角度，直至图像采集装置拍摄的熔池图像清晰完整。
CN201910780186.XA 2019-08-22 2019-08-22 基于深度特征融合的金属增材成形尺寸实时预测方法 Active CN110490866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910780186.XA CN110490866B (zh) 2019-08-22 2019-08-22 基于深度特征融合的金属增材成形尺寸实时预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910780186.XA CN110490866B (zh) 2019-08-22 2019-08-22 基于深度特征融合的金属增材成形尺寸实时预测方法

Publications (2)

Publication Number Publication Date
CN110490866A CN110490866A (zh) 2019-11-22
CN110490866B true CN110490866B (zh) 2020-05-15

Family

ID=68552952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910780186.XA Active CN110490866B (zh) 2019-08-22 2019-08-22 基于深度特征融合的金属增材成形尺寸实时预测方法

Country Status (1)

Country Link
CN (1) CN110490866B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102194695B1 (ko) * 2019-12-31 2020-12-24 한국과학기술원 3d 프린팅 공정 중 형성되는 적층부의 높이를 추정하는 방법 및 장치, 이를 구비한 3d 프린팅 시스템
CN111235709A (zh) * 2020-03-18 2020-06-05 东华大学 一种基于机器视觉的环锭纺细纱条干在线检测系统
CN111627014B (zh) * 2020-05-29 2023-04-28 四川大学 一种基于深度学习的根管检测与评分的方法及系统
CN112016639B (zh) * 2020-11-02 2021-01-26 四川大学 灵活可分离卷积框架和特征提取方法及其在VGG和ResNet中应用
CN112329275B (zh) * 2021-01-04 2021-04-02 四川大学 一种激光金属增材沉积融合状态实时预测方法及系统
CN112801091B (zh) * 2021-01-26 2023-06-13 汕头大学 一种基于深度学习的增材制造制件成形质量监控与预测方法
CN112859885A (zh) * 2021-04-25 2021-05-28 四川远方云天食品科技有限公司 一种送料机器人路径协同优化方法
CN113673529B (zh) * 2021-08-16 2024-06-25 连城凯克斯科技有限公司 语义分割模型训练方法、硅熔融状态检测方法及电子设备
CN117739819B (zh) * 2024-02-07 2024-05-03 上海强华实业股份有限公司 精烧制品形状尺寸测量方法及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6794728B1 (en) * 1999-02-24 2004-09-21 Advanced Safety Concepts, Inc. Capacitive sensors in vehicular environments
US6459951B1 (en) * 1999-09-10 2002-10-01 Sandia Corporation Direct laser additive fabrication system with image feedback control
CN104506632B (zh) * 2014-12-25 2018-05-04 中国科学院电子学研究所 一种基于分布式多中心的资源共享系统及方法
CN105678332B (zh) * 2016-01-08 2020-01-10 昆明理工大学 火焰图像cnn识别建模的转炉炼钢终点判断方法及系统
CN105478976B (zh) * 2016-01-26 2017-10-24 清华大学 基于动态系统辨识的端接微束等离子焊接成形控制方法
SG10201700339YA (en) * 2016-02-29 2017-09-28 Rolls Royce Corp Directed energy deposition for processing gas turbine engine components
JP6271746B1 (ja) * 2016-03-25 2018-01-31 技術研究組合次世代３Ｄ積層造形技術総合開発機構 ３次元積層造形装置、３次元積層造形装置の制御方法および３次元積層造形装置の制御プログラム
CN106909727B (zh) * 2017-02-20 2020-05-05 武汉理工大学 基于bp神经网络和遗传算法ga的激光焊接温度场有限元模拟方法
CN107649804B (zh) * 2017-10-17 2023-06-23 华中科技大学鄂州工业技术研究院 一种增材制造熔深在线检测和控制系统
CN107855687B (zh) * 2017-10-17 2019-07-26 华中科技大学鄂州工业技术研究院 一种增材制造熔深在线检测和控制方法及系统
CN107844770A (zh) * 2017-11-03 2018-03-27 东北大学 一种基于视频的电熔镁炉异常工况自动识别系统
CN109447986B (zh) * 2018-11-19 2020-08-04 杭州睿琪软件有限公司 一种焊接图像采集方法、装置、电子设备和存储介质
CN109487267A (zh) * 2018-12-18 2019-03-19 华侨大学 一种智能激光再制造方法和系统
CN109909502B (zh) * 2019-03-18 2021-04-27 中国科学院合肥物质科学研究院 基于多源异构数据的激光增材制造过程的在线监测方法

Also Published As

Publication number Publication date
CN110490866A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110472698B (zh) 基于深度和迁移学习的金属增材成形熔深实时预测方法
CN110490866B (zh) 基于深度特征融合的金属增材成形尺寸实时预测方法
CN110490867B (zh) 基于深度学习的金属增材制造成形尺寸实时预测方法
CN102735695B (zh) 一种镜片瑕疵快速检测方法及装置
US10311322B2 (en) Character information recognition method based on image processing
CN108562250B (zh) 基于结构光成像的键盘键帽平整度快速测量方法与装置
CN114638797A (zh) 一种基于线阵相机的铜表面缺陷检测方法及装置
CN113762240A (zh) 一种基于深度学习的熔覆层几何特征预测方法及系统
CN109360794B (zh) 一种晶硅光伏太阳能电池电极二次印刷精度视觉检测方法及装置
CN114462646B (zh) 一种基于接触网安全巡检的杆号牌识别方法及系统
CN117455917B (zh) 一种蚀刻引线框架误报库建立及误报在线判定筛选方法
CN111222360B (zh) 硅料熔化状态的检测方法、设备及存储介质
CN113706496A (zh) 一种基于深度学习模型的飞行器结构裂纹检测方法
CN117761060A (zh) 一种视觉检测系统及其检测方法
CN108537106A (zh) 指纹检测方法及其电路
CN106767566A (zh) 一种工件质量在线监测评估方法及监测系统
Tao et al. Utilization of both machine vision and robotics technologies in assisting quality inspection and testing
CN109978832A (zh) 一种基于边缘重建的双绞线绞距检测方法
CN110992301A (zh) 一种气体轮廓识别方法
CN115471482A (zh) 基于计算机视觉的小口径容器内壁缺陷检测方法
CN113670268A (zh) 基于双目视觉的无人机和电力杆塔距离测量方法
CN102829737B (zh) 判断影像撷取装置的镜头及感测元件是否互相平行的方法
CN108583115B (zh) 一种小鼠早期胚胎模型的制作系统
CN113587829A (zh) 一种边缘厚度测量方法、装置、边缘厚度测量设备及介质
CN105527072B (zh) 一种基于遥感图像获取遥感器在轨焦距的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant