CN110458828A - 一种基于多模态融合网络的激光焊接缺陷识别方法及装置 - Google Patents

一种基于多模态融合网络的激光焊接缺陷识别方法及装置 Download PDF

Info

Publication number
CN110458828A
CN110458828A CN201910740592.3A CN201910740592A CN110458828A CN 110458828 A CN110458828 A CN 110458828A CN 201910740592 A CN201910740592 A CN 201910740592A CN 110458828 A CN110458828 A CN 110458828A
Authority
CN
China
Prior art keywords
laser welding
image
defect
welding
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910740592.3A
Other languages
English (en)
Other versions
CN110458828B (zh
Inventor
潘雅灵
游德勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910740592.3A priority Critical patent/CN110458828B/zh
Publication of CN110458828A publication Critical patent/CN110458828A/zh
Application granted granted Critical
Publication of CN110458828B publication Critical patent/CN110458828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Laser Beam Processing (AREA)

Abstract

本发明公开了一种基于多模态融合网络的激光焊接缺陷识别方法、装置、设备以及计算机可读存储介质，包括：分别对预先在激光焊接过程中采集到的光电图像集、正面焊接图像集及侧面焊接图像集中的图像进行缺陷标注；利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的基于多模态融合的激光焊接缺陷识别模型进行训练；其中，所述基于多模态融合的激光焊接缺陷识别模型通过多个单通道激光焊接缺陷识别网络模型融合得到；利用完成训练的基于多模态融合的激光焊接缺陷识别模型在激光焊接过程中，对激光焊接缺陷进行在线识别。本发明所提供的方法、装置、设备以及计算机可读存储介质，提高了激光焊接缺陷识别的准确率。

Description

一种基于多模态融合网络的激光焊接缺陷识别方法及装置
技术领域
本发明涉及激光焊接技术领域，特别是涉及一种基于多模态融合网络的激光焊接缺陷识别方法、装置、设备以及计算机可读存储介质。
背景技术
激光焊接是利用激光的辐射能量来实现有效焊接的工艺。其工作原理是通过特定的方式来机理激光活性截止，使其在谐振腔中往复震荡，从而形成受辐射激光束。当光束与工件接触时，其能量被工件吸收，在温度达到材料熔点时进行焊接。焊接方式中深熔焊由于输入能量较大，使材料汽化，形成大量等离子体，熔池前端出现匙孔现象。由于激光焊接速度快，激光功率、焊接速度、保护气流等工艺参数会对焊接工件的效果有很大的影响，可能会出现凹陷、爆裂、驼峰等焊接缺陷。因而如何在快速的焊接过程中提高焊接的质量，工艺参数的调节十分重要。
发明201710361486.5提出一种基于光谱信息的激光焊接缺陷的在线诊断方法，通过采集等离子体信息的方法确定特征蒲县，再通过特征谱线计算光致等离子体的电子温度以获得电子温度时域图。重复上述方法采集不同工艺参数下的电子温度时域图，进而获得SPC控制图。在焊接过程中，通过判断时域图中的各点是否超出SPC控制图的上下限来判断缺陷是都存在。发明201710003780.9提出一种基于声光信号监测的双光束激光焊接过程缺陷控制方法，即采用过程监测手段获取不稳定过程信号特征信息，针对此特征信息判断识别缺陷位置等信息，最后通过补焊等途径修复未熔合缺陷。发明201811021307.4提出一种基于机器学习的激光焊接在线缺陷识别方法和装置，在不变的工艺参数下，对数据进行采集。先通过人工方式进行特征提取，再将特征输入前向传播网络结构，并通过损失函数将反馈权重通过后向传播网络结构更新参数，得到一种能识别是否有焊接缺陷的模型。
而现有技术所提供的激光焊接缺陷识别的方法存在下述缺点：(1)虽能判断缺陷的存在，不能判断缺陷的类型；(2)通过人工方式对特征提取，可能出现数据清洗过度的问题，影响识别效果的准确性；(3)所得模型大都具有单一性，未能泛化于较多的工艺参数；(4)未能充分利用不同数据之间的关联信息。
综上所述可以看出，如何提高激光焊接缺陷识别的准确率是目前有待解决的问题。
发明内容
本发明的目的是提供一种基于多模态融合网络的激光焊接缺陷识别方法、装置、设备以及计算机可读存储介质，以解决现有技术中所提供的激光焊接缺陷识别方法准确率较低的问题。
为解决上述技术问题，本发明提供一种基于多模态融合网络的激光焊接缺陷识别方法，包括：分别对预先在激光焊接过程中采集到的光电图像集、正面焊接图像集及侧面焊接图像集中的图像进行缺陷标注；利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的基于多模态融合的激光焊接缺陷识别模型进行训练；其中，所述基于多模态融合的激光焊接缺陷识别模型通过多个单通道激光焊接缺陷识别网络模型融合得到；利用完成训练的基于多模态融合的激光焊接缺陷识别模型在激光焊接过程中，对激光焊接缺陷进行在线识别。
优选地，所述分别对预先在激光焊接过程中采集到的光电图像集、正面焊接图像集及侧面焊接图像集中的图像进行缺陷标注前包括：
搭建激光焊接平台，在激光焊接过程中利用光辐射检测装置采集光电信号，并将采集到的光电信号转换为二维光电图像集；
在激光焊接过程中，利用高速相机分别从所述激光焊接平台的正面及侧面拍摄焊接熔池动态视频，并将所述焊接熔池动态视频转换为RGB数据，得到正面焊接图像集与侧面焊接图像集。
优选地，所述分别对预先在激光焊接过程中采集到的光电图像集、正面焊接图像集及侧面焊接图像集中的图像进行缺陷标注包括：
利用基于深度学习框架的标注方式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像进缺陷标注。
优选地，所述利用基于Tenser flow训练框架的标注方式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像进缺陷标注包括：
当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像不存在缺陷时则标注0；
当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像存在驼峰缺陷时则标注1；
当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像存在凹陷缺陷时则标注2。
优选地，所述利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的基于多模态融合的激光焊接缺陷识别模型进行训练前包括：
利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集分别对初始单通道激光焊接缺陷识别网络模型进行训练，得到训练完成的第一激光焊接缺陷识别网络模型、第二激光焊接缺陷识别网络模型以及第三激光焊接缺陷识别网络模型；
其中，所述初始单通道激光焊接缺陷识别网络模型包括五个卷积层、三个全连接层；
对所述第一激光焊接缺陷识别网络模型、所述第二激光焊接缺陷识别网络模型以及所述第三激光焊接缺陷识别网络模型进行融合，得到所述基于多模态融合的激光焊接缺陷识别模型。
本发明还提供了一种基于多模态融合网络的激光焊接缺陷识别装置，包括：
标注模块，用于分别对预先在激光焊接过程中采集到的光电图像集、正面焊接图像集及侧面焊接图像集中的图像进行缺陷标注；
训练模块，用于利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的基于多模态融合的激光焊接缺陷识别模型进行训练；其中，所述基于多模态融合的激光焊接缺陷识别模型通过多个单通道激光焊接缺陷识别网络模型融合得到；
识别模块，用于利用完成训练的基于多模态融合的激光焊接缺陷识别模型在激光焊接过程中，对激光焊接缺陷进行在线识别。
优选地，所述标注模块前还包括：
采集模块，用于搭建激光焊接平台，在激光焊接过程中利用光辐射检测装置采集光电信号，并将采集到的光电信号转换为二维光电图像集；
拍摄模块，用于在激光焊接过程中，利用高速相机分别从所述激光焊接平台的正面及侧面拍摄焊接熔池动态视频，并将所述焊接熔池动态视频转换为RGB数据，得到正面焊接图像集与侧面焊接图像集。
优选地，所述标注模块具体用于：
利用基于深度学习框架的标注方式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像进缺陷标注。
本发明还提供了一种基于多模态融合网络的激光焊接缺陷识别设备，包括：
存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于多模态融合网络的激光焊接缺陷识别方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于多模态融合网络的激光焊接缺陷识别方法的步骤。
本发明所提供的基于多模态融合网络的激光焊接缺陷识别方法，首先对在激光焊接过程中采集到的光电图像集、正面焊接图像集及侧面焊接图像集中的图像进行缺陷标注。然后，利用完成缺陷标注的所述光电图像集、所述正面焊接图像集以及所述侧面焊接图像对预先构建的基于多模态融合的激光焊接缺陷识别模型进行训练。最后，利用完成训练的基于多模态融合的激光焊接缺陷识别模型进行训练。本发明为了解决现有技术中未能充分利用不同数据之间的关联信息的缺点，利用多模态融合网络将不同模态的焊接信息进行融合，从而学到不同模态下不同焊接信息之间的关联信息，实现模型对不同工艺参数的下焊接缺陷的准确识别。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的基于多模态融合网络的激光焊接缺陷识别方法的第一种具体实施例的流程图；
图2为初始单通道激光焊接缺陷识别网络模型的结构示意图；
图3为基于多模态融合的激光焊接缺陷识别模型的结构示意图；
图4为本发明所提供的基于多模态融合网络的激光焊接缺陷识别方法的第二种具体实施例的流程图；
图5为本发明实施例提供的一种基于多模态融合网络的激光焊接缺陷识别装置的结构框图。
具体实施方式
本发明的核心是提供一种基于多模态融合网络的激光焊接缺陷识别方法、装置、设备以及计算机可读存储介质，通过多模态融合网络挖掘激光焊接过程中采集到的不同数据之间的关联信息，提高激光焊接缺陷识别的准确率及焊接质量。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的基于多模态融合网络的激光焊接缺陷识别方法的第一种具体实施例的流程图；具体操作步骤如下：
步骤S101：分别对预先在激光焊接过程中采集到的光电图像集、正面焊接图像集及侧面焊接图像集中的图像进行缺陷标注；
在本实施例中，可以依据深度学习框架(例如caffe、tenser flow)的标注格式对所述光电图像集、所述正面焊接图像集以及所述侧面焊接图像集进行缺陷标注。若图像中不存在缺陷则标注0，若存在驼峰缺陷则标注为1，若存在凹陷缺陷则标注2等。
步骤S102：利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的基于多模态融合的激光焊接缺陷识别模型进行训练；其中，所述基于多模态融合的激光焊接缺陷识别模型通过多个单通道激光焊接缺陷识别网络模型融合得到；
在对所述基于多模态融合的激光焊接缺陷识别模型进行训练前，首先分别对所述光电图像集、所述正面焊接图像集及侧面焊接图像集这三大类图像数据进行初步训练，得到初始化参数较好的模型。
利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集分别对初始单通道激光焊接缺陷识别网络模型进行训练，得到训练完成的第一激光焊接缺陷识别网络模型、第二激光焊接缺陷识别网络模型以及第三激光焊接缺陷识别网络模型。
所述初始单通道激光焊接缺陷识别网络模型的结构如图2所示，包括五个卷积层及三个全连接层。三种不同数据的初始化学习率α＝0.01，并根据bath size与数据集的大小，选择合适的迭代次数。当train loss与test loss都呈下降趋势并趋于稳定时，模型初始化训练完成。
对所述第一激光焊接缺陷识别网络模型、所述第二激光焊接缺陷识别网络模型以及所述第三激光焊接缺陷识别网络模型进行融合，得到所述基于多模态融合的激光焊接缺陷识别模型，如图3所示。所述基于多模态融合的激光焊接缺陷识别模型的卷积层的权重置零，及此时网络所提取的图像特征的权重为初始化训练时所得的较好权重。利用Concat函数实现三个卷积网络融合，一并输入到全连接层。此时选择较小学习率α＝0.001进行fintune，以学得不同模态间的关联特征。当网络的train loss与test loss都呈下降趋势并趋于稳定时，模型训练完成。训练结果表明，所述多模态融合网络模型可以提升初始化模型的训练精度。在进行模型测试时发现，凹陷、爆裂及无缺陷的识别效果较好，这三类的识别正确率在95％以上。证明该模型能有效识别焊缝缺陷。且在激光焊接过程中应用时，在线识别效果良好。
步骤S103：利用完成训练的基于多模态融合的激光焊接缺陷识别模型在激光焊接过程中，对激光焊接缺陷进行在线识别。
本实施例所提供的方法，利用多模态融合网络将不同模态的焊接信息进行融合，从而学到不同模态下不同焊接信息之间的关联信息，实现模型对不同工艺参数的下焊接缺陷的准确识别。
基于上述实施例，在本实施例中，搭建激光焊接平台后，在激光焊接过程中利用光辐射检测装置采集光电信号；利用高速相机分别从所述激光焊接平台的正面及侧面拍摄焊接熔池动态视频，以便获取光电图像集、正面焊接图像集及侧面焊接图像集。请参考图4，图4为本发明所提供的基于多模态融合网络的激光焊接缺陷识别方法的第二种具体实施例的流程图；具体操作步骤如下：
步骤S401：搭建激光焊接平台，在激光焊接过程中利用光辐射检测装置采集光电信号，并将采集到的光电信号转换为二维光电图像集；
步骤S402：在激光焊接过程中，利用高速相机分别从所述激光焊接平台的正面及侧面拍摄焊接熔池动态视频，并将所述焊接熔池动态视频转换为RGB数据，得到正面焊接图像集与侧面焊接图像集；
步骤S403：利用基于深度学习框架的标注方式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像进缺陷标注；
当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像不存在缺陷时则标注0；当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像存在驼峰缺陷时则标注1；当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像存在凹陷缺陷时则标注2。
步骤S404：利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集分别对初始单通道激光焊接缺陷识别网络模型进行训练，得到训练完成的第一激光焊接缺陷识别网络模型、第二激光焊接缺陷识别网络模型以及第三激光焊接缺陷识别网络模型；
步骤S405：对所述第一激光焊接缺陷识别网络模型、所述第二激光焊接缺陷识别网络模型以及所述第三激光焊接缺陷识别网络模型进行融合，得到所述基于多模态融合的激光焊接缺陷识别模型；
步骤S406：利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的基于多模态融合的激光焊接缺陷识别模型进行训练；
步骤S407：利用完成训练的基于多模态融合的激光焊接缺陷识别模型在激光焊接过程中，对激光焊接缺陷进行在线识别。
本实施例所提供的基于多模态融合网络的激光焊接缺陷识别方法，融合了不同模态的特征，识别精度更高；模型泛化能力好，适用于多种工艺参数；可对缺陷类型进行分类。本实施例所提供的方法，可以挖掘一维信号与不同空间维度的二维图像之间的关联特征，在激光焊接过程噪声大，激光蒸汽遮盖焊缝、缺陷间差别不明显等情况下，更好的识别焊接缺陷；并且可以及时调整焊接工艺参数，提高了焊接质量。
请参考图5，图5为本发明实施例提供的一种基于多模态融合网络的激光焊接缺陷识别装置的结构框图；具体装置可以包括：
标注模块100，用于分别对预先在激光焊接过程中采集到的光电图像集、正面焊接图像集及侧面焊接图像集中的图像进行缺陷标注；
训练模块200，用于利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的基于多模态融合的激光焊接缺陷识别模型进行训练；其中，所述基于多模态融合的激光焊接缺陷识别模型通过多个单通道激光焊接缺陷识别网络模型融合得到；
识别模块300，用于利用完成训练的基于多模态融合的激光焊接缺陷识别模型在激光焊接过程中，对激光焊接缺陷进行在线识别。
本实施例的基于多模态融合网络的激光焊接缺陷识别装置用于实现前述的基于多模态融合网络的激光焊接缺陷识别方法，因此基于多模态融合网络的激光焊接缺陷识别装置中的具体实施方式可见前文中的基于多模态融合网络的激光焊接缺陷识别方法的实施例部分，例如，标注模块100，训练模块200，识别模块300，分别用于实现上述基于多模态融合网络的激光焊接缺陷识别方法中步骤S101，S102，和S103，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明具体实施例还提供了一种基于多模态融合网络的激光焊接缺陷识别设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于多模态融合网络的激光焊接缺陷识别方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于多模态融合网络的激光焊接缺陷识别方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的基于多模态融合网络的激光焊接缺陷识别方法、装置、设备以及计算机可读内存介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于多模态融合网络的激光焊接缺陷识别方法，其特征在于，包括：
分别对预先在激光焊接过程中采集到的光电图像集、正面焊接图像集及侧面焊接图像集中的图像进行缺陷标注；
利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的基于多模态融合的激光焊接缺陷识别模型进行训练；其中，所述基于多模态融合的激光焊接缺陷识别模型通过多个单通道激光焊接缺陷识别网络模型融合得到；
利用完成训练的基于多模态融合的激光焊接缺陷识别模型在激光焊接过程中，对激光焊接缺陷进行在线识别。
2.如权利要求1所述的激光焊接缺陷识别方法，其特征在于，所述分别对预先在激光焊接过程中采集到的光电图像集、正面焊接图像集及侧面焊接图像集中的图像进行缺陷标注前包括：
搭建激光焊接平台，在激光焊接过程中利用光辐射检测装置采集光电信号，并将采集到的光电信号转换为二维光电图像集；
在激光焊接过程中，利用高速相机分别从所述激光焊接平台的正面及侧面拍摄焊接熔池动态视频，并将所述焊接熔池动态视频转换为RGB数据，得到正面焊接图像集与侧面焊接图像集。
3.如权利要求1所述的激光焊接缺陷识别方法，其特征在于，所述分别对预先在激光焊接过程中采集到的光电图像集、正面焊接图像集及侧面焊接图像集中的图像进行缺陷标注包括：
利用基于深度学习框架的标注方式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像进缺陷标注。
4.如权利要求3所述的激光焊接缺陷识别方法，其特征在于，所述利用基于Tenserflow训练框架的标注方式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像进缺陷标注包括：
当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像不存在缺陷时则标注0；
当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像存在驼峰缺陷时则标注1；
当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像存在凹陷缺陷时则标注2。
5.如权利要求1所述的激光焊接缺陷识别方法，其特征在于，所述利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的基于多模态融合的激光焊接缺陷识别模型进行训练前包括：
利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集分别对初始单通道激光焊接缺陷识别网络模型进行训练，得到训练完成的第一激光焊接缺陷识别网络模型、第二激光焊接缺陷识别网络模型以及第三激光焊接缺陷识别网络模型；
其中，所述初始单通道激光焊接缺陷识别网络模型包括五个卷积层、三个全连接层；
对所述第一激光焊接缺陷识别网络模型、所述第二激光焊接缺陷识别网络模型以及所述第三激光焊接缺陷识别网络模型进行融合，得到所述基于多模态融合的激光焊接缺陷识别模型。
6.一种基于多模态融合网络的激光焊接缺陷识别装置，其特征在于，包括：
标注模块，用于分别对预先在激光焊接过程中采集到的光电图像集、正面焊接图像集及侧面焊接图像集中的图像进行缺陷标注；
训练模块，用于利用缺陷标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的基于多模态融合的激光焊接缺陷识别模型进行训练；其中，所述基于多模态融合的激光焊接缺陷识别模型通过多个单通道激光焊接缺陷识别网络模型融合得到；
识别模块，用于利用完成训练的基于多模态融合的激光焊接缺陷识别模型在激光焊接过程中，对激光焊接缺陷进行在线识别。
7.如权利要求6所述的激光焊接缺陷识别装置，其特征在于，所述标注模块前还包括：
采集模块，用于搭建激光焊接平台，在激光焊接过程中利用光辐射检测装置采集光电信号，并将采集到的光电信号转换为二维光电图像集；
拍摄模块，用于在激光焊接过程中，利用高速相机分别从所述激光焊接平台的正面及侧面拍摄焊接熔池动态视频，并将所述焊接熔池动态视频转换为RGB数据，得到正面焊接图像集与侧面焊接图像集。
8.如权利要求6所述的激光焊接缺陷识别装置，其特征在于，所述标注模块具体用于：
利用基于深度学习框架的标注方式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像进缺陷标注。
9.一种基于多模态融合网络的激光焊接缺陷识别设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述一种基于多模态融合网络的激光焊接缺陷识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述一种基于多模态融合网络的激光焊接缺陷识别方法的步骤。
CN201910740592.3A 2019-08-12 2019-08-12 一种基于多模态融合网络的激光焊接缺陷识别方法及装置 Active CN110458828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910740592.3A CN110458828B (zh) 2019-08-12 2019-08-12 一种基于多模态融合网络的激光焊接缺陷识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910740592.3A CN110458828B (zh) 2019-08-12 2019-08-12 一种基于多模态融合网络的激光焊接缺陷识别方法及装置

Publications (2)

Publication Number Publication Date
CN110458828A true CN110458828A (zh) 2019-11-15
CN110458828B CN110458828B (zh) 2023-02-10

Family

ID=68485957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910740592.3A Active CN110458828B (zh) 2019-08-12 2019-08-12 一种基于多模态融合网络的激光焊接缺陷识别方法及装置

Country Status (1)

Country Link
CN (1) CN110458828B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340061A (zh) * 2020-01-18 2020-06-26 中国人民解放军国防科技大学 基于svm模型参数优化的多模态数据融合和分类方法
CN112270429A (zh) * 2020-08-31 2021-01-26 中国科学院合肥物质科学研究院 基于云边协同的动力电池极片制造设备维护方法和系统
CN112270659A (zh) * 2020-08-31 2021-01-26 中国科学院合肥物质科学研究院 一种动力电池极片表面缺陷快速检测方法和系统
CN113138589A (zh) * 2021-03-12 2021-07-20 深圳智造谷工业互联网创新中心有限公司 工业设备控制方法、电子装置及存储介质
CN113256620A (zh) * 2021-06-25 2021-08-13 南京思飞捷软件科技有限公司 基于差值卷积神经网络的车身焊接质量信息评判方法
CN117808814A (zh) * 2024-03-01 2024-04-02 深圳市新技智能设备有限公司 基于机器视觉的焊接缺陷检测与识别方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090185739A1 (en) * 2008-01-22 2009-07-23 Lisa Amini Multi-Modal Data Analysis for Defect Identification
CN106909905A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的多模态人脸识别方法
CN107451997A (zh) * 2017-07-31 2017-12-08 南昌航空大学 一种基于深度学习的焊缝超声tofd‑d扫描缺陷类型的自动识别方法
CN108182441A (zh) * 2017-12-29 2018-06-19 华中科技大学 平行多通道卷积神经网络、构建方法及图像特征提取方法
CN108197587A (zh) * 2018-01-18 2018-06-22 中科视拓（北京）科技有限公司 一种通过人脸深度预测进行多模态人脸识别的方法
CN108596892A (zh) * 2018-04-23 2018-09-28 西安交通大学 一种基于改进LeNet-5模型的焊缝缺陷识别方法
CN109285139A (zh) * 2018-07-23 2019-01-29 同济大学 一种基于深度学习的x射线成像焊缝检测方法
CN109300121A (zh) * 2018-09-13 2019-02-01 华南理工大学 一种心血管疾病诊断模型的构建方法、系统及该诊断模型
CN109300116A (zh) * 2018-09-03 2019-02-01 广东工业大学 基于机器学习的激光焊接在线缺陷识别方法
CN109460794A (zh) * 2018-11-19 2019-03-12 广东工业大学 一种数据特征提取方法、系统及电子设备和存储介质
CN109903323A (zh) * 2019-03-06 2019-06-18 张�成 用于透明物体识别的训练方法、装置、存储介质及终端

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090185739A1 (en) * 2008-01-22 2009-07-23 Lisa Amini Multi-Modal Data Analysis for Defect Identification
CN106909905A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的多模态人脸识别方法
CN107451997A (zh) * 2017-07-31 2017-12-08 南昌航空大学 一种基于深度学习的焊缝超声tofd‑d扫描缺陷类型的自动识别方法
CN108182441A (zh) * 2017-12-29 2018-06-19 华中科技大学 平行多通道卷积神经网络、构建方法及图像特征提取方法
CN108197587A (zh) * 2018-01-18 2018-06-22 中科视拓（北京）科技有限公司 一种通过人脸深度预测进行多模态人脸识别的方法
CN108596892A (zh) * 2018-04-23 2018-09-28 西安交通大学 一种基于改进LeNet-5模型的焊缝缺陷识别方法
CN109285139A (zh) * 2018-07-23 2019-01-29 同济大学 一种基于深度学习的x射线成像焊缝检测方法
CN109300116A (zh) * 2018-09-03 2019-02-01 广东工业大学 基于机器学习的激光焊接在线缺陷识别方法
CN109300121A (zh) * 2018-09-13 2019-02-01 华南理工大学 一种心血管疾病诊断模型的构建方法、系统及该诊断模型
CN109460794A (zh) * 2018-11-19 2019-03-12 广东工业大学 一种数据特征提取方法、系统及电子设备和存储介质
CN109903323A (zh) * 2019-03-06 2019-06-18 张�成 用于透明物体识别的训练方法、装置、存储介质及终端

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340061A (zh) * 2020-01-18 2020-06-26 中国人民解放军国防科技大学 基于svm模型参数优化的多模态数据融合和分类方法
CN112270429A (zh) * 2020-08-31 2021-01-26 中国科学院合肥物质科学研究院 基于云边协同的动力电池极片制造设备维护方法和系统
CN112270659A (zh) * 2020-08-31 2021-01-26 中国科学院合肥物质科学研究院 一种动力电池极片表面缺陷快速检测方法和系统
CN113138589A (zh) * 2021-03-12 2021-07-20 深圳智造谷工业互联网创新中心有限公司 工业设备控制方法、电子装置及存储介质
CN113138589B (zh) * 2021-03-12 2022-06-07 深圳智造谷工业互联网创新中心有限公司 工业设备控制方法、电子装置及存储介质
CN113256620A (zh) * 2021-06-25 2021-08-13 南京思飞捷软件科技有限公司 基于差值卷积神经网络的车身焊接质量信息评判方法
CN117808814A (zh) * 2024-03-01 2024-04-02 深圳市新技智能设备有限公司 基于机器视觉的焊接缺陷检测与识别方法及系统
CN117808814B (zh) * 2024-03-01 2024-05-28 深圳市新技智能设备有限公司 基于机器视觉的焊接缺陷检测与识别方法及系统

Also Published As

Publication number Publication date
CN110458828B (zh) 2023-02-10

Similar Documents

Publication Publication Date Title
CN110458828A (zh) 一种基于多模态融合网络的激光焊接缺陷识别方法及装置
CN110441329A (zh) 一种基于深度学习的激光焊接缺陷识别方法、装置及设备
JP2017518530A (ja) 手溶接訓練のためのシステム及び方法
JP2017518530A5 (zh)
CN105788409A (zh) 使用虚拟现实焊接系统导入和分析外部数据
US11545050B2 (en) Systems and methods to simulate joining operation on customized workpieces
KR20140128361A (ko) 가상 용접 시스템
CN106023727A (zh) 虚拟焊件的虚拟测试与检验
CN102441719A (zh) 一种基于前置式激光视觉传感的焊缝跟踪离线规划方法
CN105069183B (zh) 一种焊接的模拟方法和装置
CN109579718A (zh) 焊缝参数的检测方法、装置、计算机设备和存储介质
CN115439429A (zh) 一种焊缝质量实时在线评估方法、装置、存储介质和终端
JP2021016870A (ja) 溶接作業データ蓄積装置、溶接作業支援システムおよび溶接ロボット制御装置
CN106778750A (zh) 一种答题卡识别点精确定位方法及系统
CN110026652A (zh) 一种管道焊接参数确定方法、系统及存储介质
CN111872589A (zh) 焊接试验管控方法、系统、计算机存储介质和设备
CN113469388B (zh) 轨道交通车辆维保系统及方法
US12008914B2 (en) Systems and methods to simulate joining operations
CN111727100B (zh) 焊接动作测量系统
CN116467806A (zh) 对接环形焊缝焊接数值计算方法及系统
CN112925260A (zh) 一种自动焊接控制系统
CN114842311A (zh) 基于多维融合传感的焊接熔透状态监测方法及装置
CN106651889B (zh) 一种x射线焊接接头缺陷分割方法及其分割系统
CN115905644A (zh) 一种自动焊焊接工艺策划文件生成方法及相关组件
CN115319339B (zh) 一种用于对焊接头有限元模拟的焊接三维网格模型的建立方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant