CN113838050A - 一种基于互补双通道卷积神经网络的焊缝成形预测方法 - Google Patents

一种基于互补双通道卷积神经网络的焊缝成形预测方法 Download PDF

Info

Publication number
CN113838050A
CN113838050A CN202111390016.4A CN202111390016A CN113838050A CN 113838050 A CN113838050 A CN 113838050A CN 202111390016 A CN202111390016 A CN 202111390016A CN 113838050 A CN113838050 A CN 113838050A
Authority
CN
China
Prior art keywords
neural network
welding
molten pool
model
welding process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111390016.4A
Other languages
English (en)
Other versions
CN113838050B (zh
Inventor
雷正龙
郭亨通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunshan Baojin Laser Tailor Welding Co Ltd
Original Assignee
Kunshan Baojin Laser Tailor Welding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunshan Baojin Laser Tailor Welding Co Ltd filed Critical Kunshan Baojin Laser Tailor Welding Co Ltd
Priority to CN202111390016.4A priority Critical patent/CN113838050B/zh
Publication of CN113838050A publication Critical patent/CN113838050A/zh
Application granted granted Critical
Publication of CN113838050B publication Critical patent/CN113838050B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/20—Bonding
    • B23K26/21—Bonding by welding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/70—Auxiliary operations or equipment
    • B23K26/702—Auxiliary equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于互补双通道卷积神经网络的焊缝成形预测方法，与BP神经网络相比，卷积神经网络最大的特点在于不需要进行熔池特征的提取，而是通过构建的多层卷积核自动进行熔池特征量的提取；卷积神经网络以整张熔池图像作为模型的输入，省却了熔池特征量提取所耗费的时间，同时避免了熔池图像信息的丢失；相比于普通的双通道卷积神经网络的激光焊接焊缝成形预测方法，本方法采用两个卷积模块对熔池图像浅层特征进行提取，用于提取熔池的边缘线条，采用双通道策略，得到的熔池图像特征更加充分；采用全连接模块引入了激光焊接工艺参数，共同预测T型接头焊缝形貌，可以进一步提升模型预测性能。

Description

一种基于互补双通道卷积神经网络的焊缝成形预测方法
技术领域
本发明涉及一种基于互补双通道卷积神经网络的焊缝成形预测方法，属于材料加工工程技术领域。
背景技术
轻量化、高强度结构件广泛应用于航空、航天、武器装备等领域，蒙皮网格结构是实现轻量化的有效设计形式；蒙皮网格结构件对焊接接头质量和焊接过程稳定性要求较高，破坏性的焊后试验难以满足焊接质量实时监测的需求；因此，针对蒙皮网格非可视化T型接头的焊接过程质量监测是保证接头质量一致性的关键。
激光焊接是采用泵浦源激励激光增益介质，并通过传输、扩束、聚焦等过程将高能密度的激光热源作用于焊接母材上，从而实现焊接的技术；激光焊接分为深熔焊和热导焊，当激光能量密度小于105W/cm2时为热导焊，当能量密度大于106W/cm2时为深熔焊；激光深熔焊是以匙孔和等离子体为主要特征；激光焊接伴随着复杂的声、光、电、热信号，这些信号与焊缝成形、焊缝缺陷存在着直接或间接的联系；因此，可以利用传感器采集焊接过程中的声、光、电、热、信号，通过对采集的信息进行分析可以建立起与焊缝质量之间的关系；在这些信号中，由熔池发出的辐射信号包含着丰富且直观的信息，而且熔池行为与焊缝形貌、焊缝组织、力学性能等密切相关；视觉传感的方式具有非接触、非干扰、直观、信息充分且通用性强的特点；通过熔池图像可以直接的反映熔池、匙孔、的动态行为，以此作为焊接质量监测的依据。
采用激光焊接过程质量监测可以实现焊缝质量的监测，焊接过程的信息与焊缝形貌、熔透状态、熔深波动及焊缝缺陷密切相关；但是现有的焊接监测信息尚处于信号处理的阶段，对于焊接质量的预测模型尚处于定量分析的阶段；随着统计学与神经网络技术的发展，焊接过程质量预测方法也有了新的途径；通过大量的采集焊接过程信息，采用统计学手段建立的焊接质量预测模型具有更好地适用性；卷积神经网络可以实现复杂非线性关系的映射，是处理焊接过程质量监测问题的有效方法。
专利CN112183665A公开了一种基于卷积神经网络的CO2焊接熔池图像识别方法，该方法将卷积神经网络应用于熔池图像分类过程中，该方法比依赖于主观经验的BP神经网络的模型分类准确率高；专利CN105891215B公开了一种基于卷积神经网络的焊接视觉检测方法及装置，该方法采用的卷积神经网络模型比较简单仅有两个卷积层，该模型对于包含复杂工况的数据集的分类能力有限；专利CN112215834A公开了一种基于卷积神经网络的动力电池焊接质量检测方法及系统，该方法采用卷积神经网络模型实现对动力电池焊接缺陷的自动检测，但对于焊缝成形预测则无能为力。
发明内容
本发明旨在解决激光焊接过程中焊缝质量监测存在的问题，提出一种基于互补双通道卷积神经网络的激光焊接焊缝成形预测方法。
本发明的技术解决方案是这样实现的：一种基于互补双通道卷积神经网络的焊缝成形预测方法，包含以下步骤：
步骤一:焊前需要对焊接母材表面进行清理，首先采用10%HNO3+30%HF+水的酸液清洗焊接母材表面的氧化膜，浸泡时间为5～10分钟；接着采用10%NaOH溶液清洗母材表面残余油污，并中和剩余酸液，浸泡为5～10分钟；随后将母材在烘干机中烘干1h；试验中采用专用夹具将试样装夹紧固；为保证试样在焊接过程中装配精度，采用激光点焊将试样两端点固，而后再用连续激光实施焊接。
步骤二:采用同轴监测系统采集不同焊接工艺参数下的熔池图像，激光功率1kW～3kW、焊接速度0.5m/min～3m/min、离焦量为-10～+10mm、Ar气流量为10L/min～20L/min；上述焊接工艺参数一旦确定，在单次焊接过程中均保持不变。
步骤三:采用Opencv截取包含熔池区域的128×128像素区域，采用显微镜对不同焊接参数下焊缝横截面特征量进行标注，构建数据集；每组数据包含熔池图像、焊接参数、焊缝形貌特征量等标签；为了方便数据的加载，将熔池图像索引路径、工艺参数和标签数据作成txt文件；模型数据集按照8:1:1的比例划分成训练集、验证集和测试集。
步骤四：确定模型损失函数，设计符合本文数据集特征的卷积神经网络结构，并对模型关键参数进行设定；并采用训练集和验证集对模型进行训练。
步骤五：采用测试集数据对模型预测精度进行验证，检验其预测精度和泛化能力。
优选的，所述卷积神经网络模型采用两个卷积模块对熔池图像浅层特征进行提取，卷积模块包括3×3×32卷积核、批处理标准化层BN、非线性激活层和池化层；
随后采用双通道策略，其中一个通道采用ReLU激活函数和平均池化方式，另外一个通道采用Tanh激活函数和最大池化方式；两个通道分别用于提取熔池图像的背景特征和纹理特征，并得到8×8×32的特征图；
两个通道的特征图通过元素相乘的方式Ä进行特征融合，将两个通道的特征图经过1×1的卷积、ReLU激活和最大池化操作得到维数90的特征数组；特征融合后输入两层全连接网络，配合Dropout随机失活减少过拟合；
模型附加一个全连接模块，该模块引入了多个焊接工艺参数，焊接工艺参数经过通道为10的全连接层得到维数为10的特征数组；
将熔池图像的特征数组和焊接工艺参数的特征数组通过Å连接方式按维数叠加得到100维的数组，最终即可利用熔池图像特征和焊接工艺参数共同预测焊缝形貌。
优选的，确定模型回归平衡系数与正则化优化的损失函数的过程如下：
采用一组焊接工艺参数X 1 = {x (5) n | n = 1, …, N }下的熔池图像X 2 = {x (2) n |n = 1, …, N }作为卷积神经网络的输入，每组焊接工艺参数下实际焊缝形貌特征量y n 作为模型预测的实际值，其中N为不同焊接工艺参数的组别序号；
卷积神经网络模型的目标是找到一个映射关系F，根据给定的熔池特征量和焊接工艺参数对焊缝形貌特征量进行预测使得
Figure DEST_PATH_IMAGE002AAAA
；熔池图像的熔深和结合面宽度复合的损失函数
Figure DEST_PATH_IMAGE004AAAA
如公式（1）所示：
Figure DEST_PATH_IMAGE006AAAA
（1）
式中，
Figure DEST_PATH_IMAGE008AAAA
为回归平衡系数，用于调整熔深和结合面宽度的影响比重；
Figure DEST_PATH_IMAGE010AAAA
为权重参数，
Figure DEST_PATH_IMAGE012AAA
为权重衰减系数，用于平衡权重惩罚项和模型预测误差。
由于上述技术方案的运用，本发明与现有技术相比具有下列优点：
本发明的基于互补双通道卷积神经网络的焊缝成形预测方法，与BP神经网络相比，卷积神经网络最大的特点在于不需要进行熔池特征的提取，而是通过构建的多层卷积核自动进行熔池特征量的提取；卷积神经网络以整张熔池图像作为模型的输入，省却了熔池特征量提取所耗费的时间，同时避免了熔池图像信息的丢失。
在激光焊接焊缝成形预测过程中，采用基于互补双通道卷积神经网络的激光焊接焊缝成形预测方法，相比于传统BP神经网络方法预测焊缝成形具有以下几点优势：
（1）卷积神经网络以熔池图像作为模型输入，无需进行熔池特征量提取，与焊接工艺参数共同预测焊缝形貌。
（2）卷积神经网络直接将熔池图像作为输入，对熔池图像清晰度要求低，信息全面，样本容错率更高。
（3）卷积神经网络模型数据量和模型参数量比BP神经网络高几个数量级，模型预测精度、泛化能力表现更加优异。
（4）卷积神经网络模型不需要进行耗时的特征提取过程，其在模型运行时更快。卷积神经网络模型在焊缝形貌预测问题是具有更高的适用性。
相比于普通的双通道卷积神经网络的激光焊接焊缝成形预测方法，本方法采用的互补双通道卷积神经网络的激光焊接焊缝成形预测方法具有以下优势：
（1）采用两个卷积模块对熔池图像浅层特征进行提取，用于提取熔池的边缘线条。
（2）采用双通道策略，一个通道采用ReLU激活函数和平均池化方式，另外一个通道采用Tanh激活函数和最大池化方式。两个通道分别用于提取背景特征和纹理特征，随后通过元素相乘的方式Ä进行特征融合，得到的熔池图像特征更加充分。
（3）采用全连接模块引入了激光焊接工艺参数，通过Å连接方式将特征数组按维数与熔池图像特征数组进行叠加，共同预测T型接头焊缝形貌，可以进一步提升模型预测性能。
附图说明
下面结合附图对本发明技术方案作进一步说明：
附图1为本发明所述的卷积神经网络模型图；
附图2为本发明所述的同轴监测系统示意图；
附图3为本发明所述的激光焊接不同工况示意图；
附图4为同轴监测系统采集到的熔池图像；
附图5为本发明所述的T型接头的主要焊缝形貌图；
附图6为卷积神经网络模型训练过程总损失函数值变化曲线图；
附图7为卷积神经网络模型的测试结果图；
附图8为本发明所述的二维卷积操作的示意图。
具体实施方式
下面结合实施例来进一步说明本发明。
本发明以TA15钛合金作为焊接母材，以T型接头形式为例；采用的T型接头蒙皮试样尺寸为150mm×50mm×1.5mm，肋板试样尺寸为150mm×30mm×10mm。
采用激光焊接熔池同轴监测系统，如图2所示，采用的激光器可以为光纤激光器、CO2激光器、半导体激光器等，焊接采用的运动系统可以为机械臂、数控机床、数控导轨等，采用的摄像机可以为CCD摄像机、CMOS摄像机等，辅助光源可以为光纤激光器、氙灯等，保护气体可以为氩气、氦气、氦氩混合气等。
采用基于互补双通道卷积神经网络的激光焊接焊缝成形预测方法具体实验方法如下：
步骤一:焊前需要对焊接母材表面进行清理，首先采用10% HNO3+30% HF+水的酸液清洗焊接母材表面的氧化膜，浸泡时间为5～10分钟；接着采用10% NaOH溶液清洗母材表面残余油污，并中和剩余酸液，浸泡为5～10分钟；随后将母材在烘干机中烘干1h。
试验中采用专用夹具将试样装夹紧固；为保证试样在焊接过程中装配精度，采用激光点焊将试样两端点固，而后再用连续激光实施焊接。
步骤二:采用同轴监测系统采集不同焊接工艺参数下的熔池图像，激光功率1kW～3kW、焊接速度0.5m/min～3m/min、离焦量为-4～+4mm、装配间隙0～1.0mm、焊接偏移量0～5.0mm、Ar气流量为10L/min～20L/min，不同焊接工况示意图如图3所示；实验时，采用包括150组不同的焊接工艺参数组合。
步骤三:同轴监测系统中的主动视觉采集的熔池图像如图4所示；钛合金T型接头的质量主要取决于焊缝的熔深和结合面宽度，接头的典型形貌如图5所示。
采用Opencv截取包含熔池区域的128×128像素区域，采用显微镜对不同焊接参数下焊缝横截面特征量进行标注，构建数据集；每组数据包含熔池图像、焊接参数、焊缝形貌特征量等标签；为了方便数据的加载，将熔池图像索引路径、工艺参数和标签数据作成txt文件。
每种焊接工艺状况下采集的焊接熔池图像提取100组数据，总共约15000组数据模型数据集按照8:1:1的比例划分成训练集、验证集和测试集；其中训练集12000组数据，用于模型参数训练；验证集和测试集各1500组数据，分别对模型训练过程进行优劣验证以及训练完成后模型性能进行测试。
步骤四：确定模型损失函数，采用一组焊接工艺参数X 1 = {x (5) n | n = 1, …, N }下的熔池图像X 2 = {x (2) n | n = 1, …, N }作为卷积神经网络的输入，每组焊接工艺参数下实际焊缝形貌特征量y n 作为模型预测的实际值，其中N为不同焊接工艺参数的组别序号；
卷积神经网络模型的目标是找到一个映射关系F，根据给定的熔池特征量和焊接工艺参数对焊缝形貌特征量进行预测使得
Figure DEST_PATH_IMAGE002_5A
；熔池图像的熔深和结合面宽度复合的损失函数
Figure DEST_PATH_IMAGE004_5A
如公式（1）所示：
Figure DEST_PATH_IMAGE006_5A
（1）
式中，
Figure DEST_PATH_IMAGE008_5A
为回归平衡系数，用于调整熔深和结合面宽度的影响比重；
Figure DEST_PATH_IMAGE010_5A
为权重参数，
Figure DEST_PATH_IMAGE012AAAA
为权重衰减系数，用于平衡权重惩罚项和模型预测误差。
设计符合本文数据集特征的卷积神经网络结构，如图1所示；所述卷积神经网络模型采用两个卷积模块对熔池图像浅层特征进行提取，卷积模块包括3×3×32卷积核、批处理标准化层BN、非线性激活层和池化层；
随后采用双通道策略，其中一个通道采用ReLU激活函数和平均池化方式，另外一个通道采用Tanh激活函数和最大池化方式；两个通道分别用于提取熔池图像的背景特征和纹理特征，并得到8×8×32的特征图；
两个通道的特征图通过元素相乘的方式Ä进行特征融合，将两个通道的特征图经过1×1的卷积、ReLU激活和最大池化操作得到维数90的特征数组；元素相乘的方式Ä是二维卷积操作，例如图8所示；特征融合后输入两层全连接网络，配合Dropout随机失活减少过拟合；
模型附加一个全连接模块，该模块引入了多个焊接工艺参数，焊接工艺参数经过通道为10的全连接层得到维数为10的特征数组；
将熔池图像的特征数组和焊接工艺参数的特征数组通过Å连接方式按维数叠加得到100维的数组；Å连接方式是直接数组叠加，比如3*3*90的三维数组，和3*3*10的三维数组运算之后就是3*3*100的数组。
并对模型关键参数进行设定，采用训练集和验证集对模型进行训练。
卷积神经网络模型的训练设备配置Intel i7处理器和NVIDIA P4000GPU显卡，采用Python语言和Pytorch框架实现模型训练；受显卡内存限制采用分批读取图像数据的方式，每次读取当前迭代所需的图像数据，减少内存占用；训练中输入的图像尺寸为128×128，批处理数据容量为64；训练过程中进行数据增强操作，对读取的图像进行缩放、平移、拉伸、翻转等操作，增加模型适用性。
卷积核尺寸为3×3，梯度下降函数为Adam算法；卷积模块采用何凯明初始化方法，及标准差为
Figure DEST_PATH_IMAGE014
的高斯分布；批归一化层参数初始化为1，全连接层参数初始化为标准差0.01的高斯分布；设置初始化学习率为0.003，在第50、150个迭代周期时学习率降为原来的十分之一。
模型训练损失函数结果如图6所示，在训练前期学习率即步长较大，模型损失函数下降较快；在在第50、150个迭代周期时学习率降为原来的十分之一，此时模型损失函数下降速度变缓，模型逐渐趋于收敛；在迭代200个周期时损失函数收敛至0.22左右；验证集损失函数总体为下降趋势，说明模型在验证集上的预测表现总体趋势是逐渐变好；在第1～50个迭代周期，模型在验证集上的波动性变化较大，并非说明模型预测精度在大范围波动，只是由于验证集上的熔池数据分布于训练集熔池数据分布存在差异。对焊缝熔深和焊缝结合面宽度的拟合误差分别收敛至0.04mm和0.03mm。
步骤五：卷积神经网络模型训练完成后，为了检验其预测精度和泛化能力，采用测试集1500组数据进行模型性能测试；模型测试结果如图7所示，其中包含不同焊接工艺参数下模型的预测结果；模型测试结果显示不同焊接工艺参数下模型的预测结果略有差异，但预测结果都在实际结果附近波动，且波动幅度较小。焊缝熔深和结合面宽度的预测误差都在0.05mm以内，模型表现良好。
由于激光焊接速度较快，在实际应用过程中对模型运行时间有很高的要求，因此需要对模型各部分操作运行时间进行分析；卷积神经网络模型的运行过程中，图像读取占用时间为11.5ms，在CPU上运行模型需要63.4ms，经过GPU加速后模型运行只需要2.5ms；实际采用GPU运行网络模型，总耗时小于15ms；根据试验焊接速度在0.5～3m/min，相当于焊接距离间隔小于1mm运行一次模型，这可以满足实时焊接的应用需求。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围内。

Claims (5)

1.一种基于互补双通道卷积神经网络的焊缝成形预测方法，其特征在于，包含以下步骤：
步骤一:对焊接母材进行表面处理，然后将焊接母材固定，再用激光实施焊接；
步骤二:采用同轴监测系统采集不同焊接工艺参数下的熔池图像；
步骤三:截取图像中包含熔池的区域，对不同焊接工艺参数下焊缝横截面特征量进行标注，构建模型数据集，模型数据集包含训练集、验证集和测试集；
步骤四：设计卷积神经网络模型，确定模型回归平衡系数与正则化优化的损失函数，并对卷积神经网络模型的参数进行设定，并采用训练集和验证集对卷积神经网络模型进行训练；
步骤五：采用测试集数据对卷积神经网络模型预测精度进行验证，检验其预测精度和泛化能力。
2.根据权利要求1所述的基于互补双通道卷积神经网络的焊缝成形预测方法，其特征在于：
所述卷积神经网络模型采用两个卷积模块对熔池图像浅层特征进行提取，卷积模块包括3×3×32卷积核、批处理标准化层BN、非线性激活层和池化层；
随后采用双通道策略，其中一个通道采用ReLU激活函数和平均池化方式，另外一个通道采用Tanh激活函数和最大池化方式；两个通道分别用于提取熔池图像的背景特征和纹理特征，并得到8×8×32的特征图；
两个通道的特征图通过元素相乘的方式Ä进行特征融合，将两个通道的特征图经过1×1的卷积、ReLU激活和最大池化操作得到维数90的特征数组；特征融合后输入两层全连接网络，配合Dropout随机失活减少过拟合；
模型附加一个全连接模块，该模块引入了多个焊接工艺参数，焊接工艺参数经过通道为10的全连接层得到维数为10的特征数组；
将熔池图像的特征数组和焊接工艺参数的特征数组通过Å连接方式按维数叠加得到100维的数组，最终即可利用熔池图像特征和焊接工艺参数共同预测焊缝形貌。
3.根据权利要求2所述的基于互补双通道卷积神经网络的焊缝成形预测方法，其特征在于：
确定模型回归平衡系数与正则化优化的损失函数的过程如下：
采用一组焊接工艺参数X 1 = {x (5) n | n = 1, …, N }下的熔池图像X 2 = {x (2) n | n =1, …, N }作为卷积神经网络的输入，每组焊接工艺参数下实际焊缝形貌特征量y n 作为模型预测的实际值，其中N为不同焊接工艺参数的组别序号；
卷积神经网络模型的目标是找到一个映射关系F，根据给定的熔池特征量和焊接工艺参数对焊缝形貌特征量进行预测使得
Figure DEST_PATH_IMAGE002AA
；熔池图像的熔深和结合面宽度复合的损失函数
Figure DEST_PATH_IMAGE004AA
如公式（1）所示：
Figure DEST_PATH_IMAGE006AA
（1）
式中，
Figure DEST_PATH_IMAGE008AA
为回归平衡系数，用于调整熔深和结合面宽度的影响比重；
Figure DEST_PATH_IMAGE010AA
为权重参数，
Figure DEST_PATH_IMAGE012A
为权重衰减系数，用于平衡权重惩罚项和模型预测误差。
4.根据权利要求1所述的基于互补双通道卷积神经网络的焊缝成形预测方法，其特征在于，所述的步骤一中，焊接母材表面处理过程如下：
先采用10% HNO3+30% HF+水的酸液清洗焊接母材表面的氧化膜，浸泡时间为5～10分钟；接着采用10% NaOH溶液清洗母材表面残余油污，并中和剩余酸液，浸泡为5～10分钟；随后将母材在烘干机中烘干1h。
5.根据权利要求1所述的基于互补双通道卷积神经网络的焊缝成形预测方法，其特征在于，所述的步骤二中，焊接工艺参数包括：激光功率1kW～3kW、焊接速度0.5m/min～3m/min、离焦量为-10～+10mm、Ar气流量为10L/min～20L/min；上述焊接工艺参数一旦确定，在单次焊接过程中均保持不变。
CN202111390016.4A 2021-11-23 2021-11-23 一种基于互补双通道卷积神经网络的焊缝成形预测方法 Active CN113838050B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111390016.4A CN113838050B (zh) 2021-11-23 2021-11-23 一种基于互补双通道卷积神经网络的焊缝成形预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111390016.4A CN113838050B (zh) 2021-11-23 2021-11-23 一种基于互补双通道卷积神经网络的焊缝成形预测方法

Publications (2)

Publication Number Publication Date
CN113838050A true CN113838050A (zh) 2021-12-24
CN113838050B CN113838050B (zh) 2022-06-03

Family

ID=78971533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111390016.4A Active CN113838050B (zh) 2021-11-23 2021-11-23 一种基于互补双通道卷积神经网络的焊缝成形预测方法

Country Status (1)

Country Link
CN (1) CN113838050B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114706358A (zh) * 2022-06-02 2022-07-05 张家港华程机车精密制管有限公司 一种直缝焊管的焊接工艺信息处理方法及系统
CN115294105A (zh) * 2022-09-28 2022-11-04 南京理工大学 一种多层多道焊接余高预测方法
CN115456982A (zh) * 2022-09-05 2022-12-09 武汉理工大学 焊缝熔透性判定方法、装置、电子设备以及存储介质
CN117428291A (zh) * 2023-12-18 2024-01-23 南京理工大学 基于声谱图特性分析的焊缝熔宽定量方法
CN117464182A (zh) * 2023-12-21 2024-01-30 哈尔滨工业大学（威海） 一种基于卷积神经网络的激光焊接状态判别方法
CN116408575B (zh) * 2021-12-31 2024-06-04 广东美的白色家电技术创新中心有限公司 局部扫描、消除工件反光干扰的方法、装置和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104259665A (zh) * 2014-08-04 2015-01-07 东莞台一盈拓科技股份有限公司 一种非晶合金的激光电弧复合焊接方法
CN110321903A (zh) * 2019-07-05 2019-10-11 天津科技大学 一种基于Y-net多层卷积神经网络的焊缝特征点提取方法
CN112548321A (zh) * 2020-12-04 2021-03-26 哈尔滨工业大学 一种基于同轴监测的真空激光焊接焊缝缺陷识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104259665A (zh) * 2014-08-04 2015-01-07 东莞台一盈拓科技股份有限公司 一种非晶合金的激光电弧复合焊接方法
CN110321903A (zh) * 2019-07-05 2019-10-11 天津科技大学 一种基于Y-net多层卷积神经网络的焊缝特征点提取方法
CN112548321A (zh) * 2020-12-04 2021-03-26 哈尔滨工业大学 一种基于同轴监测的真空激光焊接焊缝缺陷识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
戴漩领等: "基于改进分水岭的焊缝分割算法", 《船舶工程》 *
高攀等: "基于压电效应的钢材焊缝在线监测传感器的研究", 《传感技术学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116408575B (zh) * 2021-12-31 2024-06-04 广东美的白色家电技术创新中心有限公司 局部扫描、消除工件反光干扰的方法、装置和系统
CN114706358A (zh) * 2022-06-02 2022-07-05 张家港华程机车精密制管有限公司 一种直缝焊管的焊接工艺信息处理方法及系统
CN115456982A (zh) * 2022-09-05 2022-12-09 武汉理工大学 焊缝熔透性判定方法、装置、电子设备以及存储介质
CN115294105A (zh) * 2022-09-28 2022-11-04 南京理工大学 一种多层多道焊接余高预测方法
CN115294105B (zh) * 2022-09-28 2023-04-07 南京理工大学 一种多层多道焊接余高预测方法
CN117428291A (zh) * 2023-12-18 2024-01-23 南京理工大学 基于声谱图特性分析的焊缝熔宽定量方法
CN117464182A (zh) * 2023-12-21 2024-01-30 哈尔滨工业大学（威海） 一种基于卷积神经网络的激光焊接状态判别方法

Also Published As

Publication number Publication date
CN113838050B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN113838050B (zh) 一种基于互补双通道卷积神经网络的焊缝成形预测方法
Azamfirei et al. Application of automation for in-line quality inspection, a zero-defect manufacturing approach
Luo et al. FPCB surface defect detection: A decoupled two-stage object detection framework
Lei et al. Real-time weld geometry prediction based on multi-information using neural network optimized by PCA and GA during thin-plate laser welding
CN113828947B (zh) 一种基于双优化的bp神经网络激光焊接焊缝成形预测方法
Xiao et al. A feature fusion enhanced multiscale CNN with attention mechanism for spot-welding surface appearance recognition
CN113762240B (zh) 一种基于深度学习的熔覆层几何特征预测方法及系统
Kwon et al. A convolutional neural network for prediction of laser power using melt-pool images in laser powder bed fusion
Song et al. Surface defect detection of aeroengine blades based on cross-layer semantic guidance
Liu et al. An explainable laser welding defect recognition method based on multi-scale class activation mapping
Cao et al. Cross-attention-based multi-sensing signals fusion for penetration state monitoring during laser welding of aluminum alloy
Nguyen et al. Artificial intelligence-based modeling and optimization of heat-affected zone and magnetic property in pulsed laser cutting of thin nonoriented silicon steel
Guo et al. CPINet: Parameter identification of path-dependent constitutive model with automatic denoising based on CNN-LSTM
Zahid et al. Lightweight convolutional network for automated photovoltaic defect detection
Liu et al. Learning semantic-specific visual representation for laser welding penetration status recognition
Chen et al. Detection of surface defects in solar cells by bidirectional-path feature pyramid group-wise attention detector
Wang et al. Recognition of GTAW weld penetration based on the lightweight model and transfer learning
Wu et al. An in situ surface defect detection method based on improved you only look once algorithm for wire and arc additive manufacturing
Franciosa et al. Multi-wave light technology enabling closed-loop in-process quality control for automotive battery assembly with remote laser welding
Zhang et al. Research on image defect detection of silicon panel based on prewitt and canny operator
Mahmood et al. Inconel-718 processing windows by directed energy deposition: a framework combining computational fluid dynamics and machine learning models with experimental validation
Zheng et al. Deep alloys: Metal materials empowered by deep learning
Modanloo et al. Analysis of formability in stamping of metallic bipolar plates with parallel flow field for proton exchange membrane fuel cells using adaptive neuro-fuzzy inference system
Liu et al. Research on online defect detection method of solar cell component based on lightweight convolutional neural network
Wang et al. Traditional machine learning and deep learning for predicting melt-pool cross-sectional morphology of laser powder bed fusion additive manufacturing with thermographic monitoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant