CN110441329B - 一种基于深度学习的激光焊接缺陷识别方法、装置及设备 - Google Patents

Abstract

本发明公开了一种基于深度学习的激光焊接缺陷识别方法、装置、设备及计算机可读存储介质，包括：根据激光焊接过程中采集到的光电信号及正面与侧面拍摄的焊接熔池动态视频，确定焊接缺陷部分所在的目标帧数范围；将目标帧数范围内的光电信号、正面与侧面焊接熔池动态视频转换为光电图像集、正面焊接图像集及侧面焊接图像集；利用标注后的光电图像集、正面焊接图像集及侧面焊接图像集对激光焊接缺陷识别网络模型进行训练；利用训练完成后的激光焊接缺陷类型识别模型，在焊接激光过程中进行在线焊接缺陷识别。本发明所提供的方法、装置、设备及计算机可读存储介质，可以准确判断缺陷及缺陷具体帧数，提高了焊接缺陷识别准确率。

Description

一种基于深度学习的激光焊接缺陷识别方法、装置及设备

技术领域

本发明涉及激光焊接技术领域，特别是涉及一种基于深度学习的激光焊接缺陷识别方法、装置、设备以及计算机可读存储介质。

背景技术

激光焊接是一种以高能量密度的激光束进行精密焊接的特种加工方式。激光焊接据有高精度，焊接速度快、热变形小等优点，除了应用于航天航空、汽车船舶，还应用于微小型零件的精密焊接中，适于实现自动化。在高能量激光束的聚焦下，聚焦点处金属材料快速蒸发并熔化，熔池内蒸发量增大从而推动匙孔前、后壁未凝固的液态金属小区域流动形成一动态平衡。随着激光束的不断前进，熔化金属随之冷却，焊缝形成。焊缝存在缺陷与激光焊接过程激光功率、焊接速度、保护气流等工艺参数有关，不同的工艺参数组合会产生凹陷、驼峰、爆裂等不同的焊接缺陷。因而找到工艺参数与焊接缺陷之间的关系能有效的减少和控制焊接缺陷的产生，提升焊接质量。

目前激光焊接缺陷识别的标注方法主要以向量条的方式对焊接后的工件进行人工标注，这种方法存在较大的人为误差，并不能精确判断所标注的缺陷是否真的是焊接缺陷，即使是焊接缺陷也不能精确到时具体的帧数。不同于人脸识别等人工智能项目，激光焊接过程所拍摄的图像具有特征点少，噪声多，金属蒸汽遮挡焊缝等难点。特别是在焊接过程中观测到的可能会出现的缺陷，在冷却后的焊接工件上，却不一定存在。这种情况出现的原因是，虽然焊缝短暂地出现了塌陷的情况，但聚焦在匙孔处的能量推动金属液流动导致熔液飞溅，恰好掉落在塌陷的位置，缺陷因被填不了并不一定会出现在工件上。

现有的激光焊接缺陷识别方法还存在训练方式方面的缺点：一是网络结构较为简单，对前期人工提取的特征依赖性较高。二是对缺陷的识别比较有限，且只能针对某一工艺参数，泛化效果差。

综上所述可以看出，如何对激光焊接缺陷识别模型的训练集进行精细化标注以提高激光焊接缺陷识别准确率是目前有待解决的问题。

发明内容

本发明的目的是提供一种基于深度学习的激光焊接缺陷识别方法、装置及计算机可读存储介质，以解决现有技术无法精确标注激光焊接缺陷且激光焊接缺陷识别准确率低的问题。

为解决上述技术问题，本发明提供一种基于深度学习的激光焊接缺陷识别方法，包括：在激光焊接目标焊缝的过程中，利用光辐射检测装置采集光电信号，利用高速相机分别从预先搭建的激光焊接平台的正面及侧面拍摄正面焊接熔池动态视频与侧面焊接熔池动态视频；根据所述光电信号、所述正面焊接熔池动态视频与所述侧面焊接熔池动态视频，确定焊接缺陷部分所在的目标帧数范围；将所述目标帧数范围内的光电信号、正面焊接熔池动态视频及侧面焊接熔池动态视频分别转换为光电图像集、正面焊接图像集及侧面焊接图像集；利用标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的激光焊接缺陷识别网络模型进行训练；利用训练完成后的激光焊接缺陷类型识别模型，在焊接激光过程中进行在线焊接缺陷识别；

所述根据所述光电信号、所述正面焊接熔池动态视频与所述侧面焊接熔池动态视频，确定焊接缺陷部分所在的目标帧数范围包括：

根据所述光电信号绘制可见光与激光反射光曲线图；

动态调整所述可见光与激光反射光曲线图中的曲线位置与预设初始阈值的大小后，将所述可见光与激光反射曲线图与焊接后的工件图进行比对，确定所述可见光与激光反射曲线图中的焊接缺陷部分所在的初始帧数范围；

根据所述正面焊接熔池动态视频与所述侧面焊接熔池动态视频，确定焊接缺陷部分所在的目标帧数范围；

所述利用标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的激光焊接缺陷识别网络模型进行训练包括：

利用基于深度学习模型框架的数据标注格式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集进行标注；

依据预设比例将标注后的光电图像集、正面焊接图像集及侧面焊接图像集划分为训练集、验证集与测试集；

利用所述训练集与所述验证集对预先构建的激光焊接缺陷识别网络模型进行交叉验证训练；

所述利用基于深度学习模型框架的数据标注格式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集进行标注包括：

当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像不存在缺陷时则标注0；

当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像存在驼峰缺陷时则标注1；

当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像存在凹陷缺陷时则标注2。

优选地，所述预先构建的激光焊接缺陷识别网络模型包括：输入层、多个卷积层、多个池化层、第一全连接层、第二全连接层、分类层、输出层。

本发明还提供了一种基于深度学习的激光焊接缺陷识别装置，包括：

采集拍摄模块，用于在激光焊接目标焊缝的过程中，利用光辐射检测装置采集光电信号，利用高速相机分别从预先搭建的激光焊接平台的正面及侧面拍摄正面焊接熔池动态视频与侧面焊接熔池动态视频；

确定模块，用于根据所述光电信号、所述正面焊接熔池动态视频与所述侧面焊接熔池动态视频，确定焊接缺陷部分所在的目标帧数范围；

转换模块，用于将所述目标帧数范围内的光电信号、正面焊接熔池动态视频及侧面焊接熔池动态视频分别转换为光电图像集、正面焊接图像集及侧面焊接图像集；

训练模块，用于利用标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的激光焊接缺陷识别网络模型进行训练；

识别模块，用于利用训练完成后的激光焊接缺陷类型识别模型，在焊接激光过程中进行在线焊接缺陷识别；

所述确定模块包括：

绘制单元，用于根据所述光电信号绘制可见光与激光反射光曲线图；

初始帧数范围确定单元，用于动态调整所述可见光与激光反射光曲线图中的曲线位置与预设初始阈值的大小后，将所述可见光与激光反射曲线图与焊接后的工件图进行比对，确定所述可见光与激光反射曲线图中的焊接缺陷部分所在的初始帧数范围；

目标帧数范围确定单元，用于根据所述正面焊接熔池动态视频与所述侧面焊接熔池动态视频，确定焊接缺陷部分所在的目标帧数范围。

优选地，所述训练模块包括：

标注单元，用于利用基于深度学习模型框架的数据标注格式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集进行标注；

划分单元，用于依据预设比例将标注后的光电图像集、正面焊接图像集及侧面焊接图像集划分为训练集、验证集与测试集；

交叉验证训练单元，用于利用所述训练集与所述验证集对预先构建的激光焊接缺陷识别网络模型进行交叉验证训练。

本发明还提供了一种基于深度学习的激光焊接缺陷识别设备，包括：

存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于深度学习的激光焊接缺陷识别方法的步骤。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于深度学习的激光焊接缺陷识别方法的步骤。

本发明所提供的基于深度学习的激光焊接缺陷识别方法，搭建激光焊接平台，在激光焊接一道焊缝的过程中，利用光辐射检测装置采集光电信号；同时利用高速相机分别从所述激光焊接平台的正面及侧面拍摄正面焊接熔池动态视频与侧面焊接熔池动态视频。根据所述光电信号、所述正面焊接熔池动态视频与所述侧面焊接熔池动态视频，确定焊接缺陷部分所在的目标帧数范围。提取所述目标帧数范围内的光电信号、正面焊接熔池动态视频及侧面焊接熔池动态视频，并将所述目标帧数范围内的光电信号、正面焊接熔池动态视频及侧面焊接熔池动态视频分别转换为光电图像集、正面焊接图像集及侧面焊接图像集。分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集进行缺陷标注；利用标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的激光焊接缺陷识别网络模型进行训练，根据训练结果对网络初始化参数、层数、输出参数等进行细致化调整，获得较高识别精度模型。利用训练后的激光焊接缺陷识别网络模型与激光焊接设备相结合，实现激光焊接在线缺陷识别。

本发明所提供的方法，为一种端到端的学习模式，其输入数据是未经人工清洗的原始数据样本，避免了数据过度清洗的问题；并且可以准确判断数据样本中的激光焊接缺陷，又能较为精确地判断激光焊接缺陷具体帧数，使预测结果更加接近工件的实际情况，提高了焊接质量。本发明所提供的激光焊接缺陷识别模型能实现从输入图像到焊接缺陷类别的直接映射，在数据样本足够的条件下，训练模型能泛化于多种激光焊接工艺参数，且激光焊接缺陷识别准确高。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的基于深度学习的激光焊接缺陷识别方法的第一种具体实施例的流程图；

图2为预先构建的激光焊接缺陷识别网络模型的结构示意图；

图3为训练完成后得到的目标激光焊接缺陷识别网络模型的结构示意图；

图4为本发明所提供的基于深度学习的激光焊接缺陷识别方法的第二种具体实施例的流程图；

图5为可见光与激光反射光曲线图与焊接后工件的对比图；

图6为本发明实施例提供的一种基于深度学习的激光焊接缺陷识别装置的结构框图。

具体实施方式

本发明的核心是提供一种基于深度学习的激光焊接缺陷识别方法、装置、设备以及计算机可读存储介质，可以准确判断数据样本的激光焊接缺陷，能较为精确地判断激光焊接缺陷具体帧数；且激光焊接缺陷识别准确高，适用于多种激光焊接工艺参数。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明所提供的基于深度学习的激光焊接缺陷识别方法的第一种具体实施例的流程图；具体操作步骤如下：

步骤S101：在激光焊接目标焊缝的过程中，利用光辐射检测装置采集光电信号，利用高速相机分别从预先搭建的激光焊接平台的正面及侧面拍摄正面焊接熔池动态视频与侧面焊接熔池动态视频；

步骤S102：根据所述光电信号、所述正面焊接熔池动态视频与所述侧面焊接熔池动态视频，确定焊接缺陷部分所在的目标帧数范围；

步骤S103：将所述目标帧数范围内的光电信号、正面焊接熔池动态视频及侧面焊接熔池动态视频分别转换为光电图像集、正面焊接图像集及侧面焊接图像集；

将所述目标帧数范围内的光电信号转换为二维的光电图像。将所述目标帧数范围内的正面焊接熔池动态视频及侧面焊接熔池动态视频转换为RGB数据格式，例如JPG、PNG等。

步骤S104：利用标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的激光焊接缺陷识别网络模型进行训练；

在本实施例中，可以利用基于深度学习模型框架的数据标注格式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集进行标注。

当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像不存在缺陷时则标注0；当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像存在驼峰缺陷时则标注1；当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像存在凹陷缺陷时则标注2。

所述预先构建的激光焊接缺陷识别网络模型结构如图2所示，根据训练结果对网络初始化参数，层数，输出参数等进行细致化调整，获得较高识别精度模型，得到训练完成的目标激光焊接缺陷识别网络模型，如图3所示。所述目标激光焊接缺陷识别网络模块包括输入层、卷积核大小为3×3的第一卷积层、核大小为2×2的第一池化层、卷积核大小为3×3的第二卷积层、核大小为2×2的第二池化层、分类层以及输出层。

根据所构建的网络结构与数据集进行模型构建，由于网络使用的初始学习率α＝0.001，并根据bath size与数据集的大小，选择合适的迭代次数。当网络的train loss与test loss都呈下降趋势并趋于稳定时，模型训练完成。由于焊接缺陷类别之间的差异较小，进行模型测试时发现该模型针对凹陷、爆裂、无缺陷的识别效果较好，这三类的识别正确率大致在90％，证明该模型能有效识别焊接缺陷，且应用于激光焊接过程，在线识别效果良好。

步骤S105：利用训练完成后的激光焊接缺陷类型识别模型，在焊接激光过程中进行在线焊接缺陷识别。

本实施例结合深度学习技术对激光焊接缺陷进行分类。深度学习提供了一种“端到端”的学习模式，通过构建深度学习模型实现从原始数据到期望输出的映射。对端到端模型而言，其输入数据是未经人工清洗的原始数据样本，后续为卷积层、池化层、连接层等对数据进行特征提取和特征分类。最后在损失函数的驱动下，对模型进行参数更新和误差反向传播，通过对数据样本的反复学习实现从原始数据到期望输出的直接拟合。本实施例提供的方法，通过网络结构对大数据量激光焊接图像的学习，可以实现从激光焊接图像的输入到激光焊接缺陷的识别的过程。对不同工艺参数下焊接过程的学习，模型自身学习到工艺参数对焊接缺陷的影响，实现直接从焊接过程到焊接缺陷的联系，巧妙的避开了工艺参数与焊接缺陷的直接关系。

基于上述实施例，在本实施例中，首先根据激光焊接过程中采集到的光电信号绘制可见光与激光反射光曲线图，并将所述可见光与激光反射光曲线图与焊接后的工件图比对，获取焊接缺陷部分所在的初始帧数范围。再结合通过激光焊接平台的正面与侧面拍摄的激光焊接熔池变化视频，确定所述焊接缺陷部分所在的目标帧数范围。

请参考图4，图4为本发明所提供的基于深度学习的激光焊接缺陷识别方法的第二种具体实施例的流程图；具体操作步骤如下：

步骤S401：在激光焊接目标焊缝的过程中，利用光辐射检测装置采集光电信号，并根据所述光电信号绘制可见光与激光反射光曲线图；

步骤S402：动态调整所述可见光与激光反射光曲线图中的曲线位置与预设初始阈值的大小后，将所述可见光与激光反射曲线图与焊接后的工件图进行比对，确定所述可见光与激光反射曲线图中的焊接缺陷部分所在的初始帧数范围；

利用matlab绘制出光电信息的可见光与激光反射光曲线图，如图5所示。调整图线位置与阈值大小后，再将所述可见光与激光曲线图与焊后工件图作对比，将焊接缺陷部分以向量的方式读出，以获得缺陷部分的大致帧数段。

步骤S403：在激光焊接所述目标焊缝的过程中，利用高速相机分别从预先搭建的激光焊接平台的正面及侧面拍摄正面焊接熔池动态视频与侧面焊接熔池动态视频；

步骤S404：根据所述正面焊接熔池动态视频与所述侧面焊接熔池动态视频，确定焊接缺陷部分所在的目标帧数范围；

步骤S405：将所述目标帧数范围内的光电信号、正面焊接熔池动态视频及侧面焊接熔池动态视频分别转换为光电图像集、正面焊接图像集及侧面焊接图像集；

步骤S406：利用基于深度学习模型框架的数据标注格式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集进行标注；

步骤S407：依据预设比例将标注后的光电图像集、正面焊接图像集及侧面焊接图像集划分为训练集、验证集与测试集；

步骤S408：利用所述训练集与所述验证集对预先构建的激光焊接缺陷识别网络模型进行交叉验证训练；

步骤S409：利用训练完成后的目标激光焊接缺陷类型识别模型，在焊接激光过程中进行在线焊接缺陷识别。

本实施例所提供的激光焊接缺陷识别方法，可以对数据进行精细化标注，使得训练效果更加符合实际情况；不需要人工进行图像特征提取，网络层本身能进行特征提取与学习，避免了数据的过度清洗。本实施例所提供的激光焊接缺陷识别网络模型能实现从输入图像到焊接缺陷类别的直接映射，可以及时对激光焊接参数进行调整，提高焊接质量，还可对缺陷类型进行分类。而且在数据样本足够的条件下，训练模型能泛化于多种激光焊接工艺参数。

请参考图6，图6为本发明实施例提供的一种基于深度学习的激光焊接缺陷识别装置的结构框图；具体装置可以包括：

采集拍摄模块100，用于在激光焊接目标焊缝的过程中，利用光辐射检测装置采集光电信号，利用高速相机分别从预先搭建的激光焊接平台的正面及侧面拍摄正面焊接熔池动态视频与侧面焊接熔池动态视频；

确定模块200，用于根据所述光电信号、所述正面焊接熔池动态视频与所述侧面焊接熔池动态视频，确定焊接缺陷部分所在的目标帧数范围；

转换模块300，用于将所述目标帧数范围内的光电信号、正面焊接熔池动态视频及侧面焊接熔池动态视频分别转换为光电图像集、正面焊接图像集及侧面焊接图像集；

训练模块400，用于利用标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的激光焊接缺陷识别网络模型进行训练；

识别模块500，用于利用训练完成后的激光焊接缺陷类型识别模型，在焊接激光过程中进行在线焊接缺陷识别。

本实施例的基于深度学习的激光焊接缺陷识别装置用于实现前述的基于深度学习的激光焊接缺陷识别方法，因此基于深度学习的激光焊接缺陷识别装置中的具体实施方式可见前文中的基于深度学习的激光焊接缺陷识别方法的实施例部分，例如，采集拍摄模块100，确定模块200，转换模块300，训练模块400，识别模块500，分别用于实现上述基于深度学习的激光焊接缺陷识别方法中步骤S101，S102，S103，S104和S105，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本发明具体实施例还提供了一种基于深度学习的激光焊接缺陷识别设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于深度学习的激光焊接缺陷识别方法的步骤。

本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于深度学习的激光焊接缺陷识别方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的基于深度学习的激光焊接缺陷识别方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (4)

1.一种基于深度学习的激光焊接缺陷识别方法，其特征在于，包括：

在激光焊接目标焊缝的过程中，利用光辐射检测装置采集光电信号，利用高速相机分别从预先搭建的激光焊接平台的正面及侧面拍摄正面焊接熔池动态视频与侧面焊接熔池动态视频；

根据所述光电信号、所述正面焊接熔池动态视频与所述侧面焊接熔池动态视频，确定焊接缺陷部分所在的目标帧数范围；

将所述目标帧数范围内的光电信号、正面焊接熔池动态视频及侧面焊接熔池动态视频分别转换为光电图像集、正面焊接图像集及侧面焊接图像集，将所述目标帧数范围内的光电信号转换为二维的光电图像，将所述目标帧数范围内的正面焊接熔池动态视频及侧面焊接熔池动态视频转换为RGB数据格式；

利用标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的激光焊接缺陷识别网络模型进行训练，所述预先构建的激光焊接缺陷识别网络模型包括：输入层、多个卷积层、多个池化层、第一全连接层、第二全连接层、分类层、输出层；

利用训练完成后的激光焊接缺陷类型识别模型，在焊接激光过程中进行在线焊接缺陷识别;

所述根据所述光电信号、所述正面焊接熔池动态视频与所述侧面焊接熔池动态视频，确定焊接缺陷部分所在的目标帧数范围包括：

根据所述光电信号绘制可见光与激光反射光曲线图；

动态调整所述可见光与激光反射光曲线图中的曲线位置与预设初始阈值的大小后，将所述可见光与激光反射光曲线图与焊接后的工件图进行比对，将焊接缺陷部分以向量的方式读出，确定所述可见光与激光反射光曲线图中的焊接缺陷部分所在的初始帧数范围；

根据所述正面焊接熔池动态视频与所述侧面焊接熔池动态视频，确定焊接缺陷部分所在的目标帧数范围;

所述利用标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的激光焊接缺陷识别网络模型进行训练包括：

利用基于深度学习模型框架的数据标注格式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集进行标注；

依据预设比例将标注后的光电图像集、正面焊接图像集及侧面焊接图像集划分为训练集、验证集与测试集；

利用所述训练集与所述验证集对预先构建的激光焊接缺陷识别网络模型进行交叉验证训练;

所述利用基于深度学习模型框架的数据标注格式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集进行标注包括：

当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像不存在缺陷时则标注0；当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像存在驼峰缺陷时则标注1；当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像存在凹陷缺陷时则标注2。

2.一种基于深度学习的激光焊接缺陷识别装置，其特征在于，包括：

采集拍摄模块，用于在激光焊接目标焊缝的过程中，利用光辐射检测装置采集光电信号，利用高速相机分别从预先搭建的激光焊接平台的正面及侧面拍摄正面焊接熔池动态视频与侧面焊接熔池动态视频；

确定模块，用于根据所述光电信号、所述正面焊接熔池动态视频与所述侧面焊接熔池动态视频，确定焊接缺陷部分所在的目标帧数范围；

转换模块，用于将所述目标帧数范围内的光电信号、正面焊接熔池动态视频及侧面焊接熔池动态视频分别转换为光电图像集、正面焊接图像集及侧面焊接图像集，将所述目标帧数范围内的光电信号转换为二维的光电图像，将所述目标帧数范围内的正面焊接熔池动态视频及侧面焊接熔池动态视频转换为RGB数据格式；

训练模块，用于利用标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的激光焊接缺陷识别网络模型进行训练，所述预先构建的激光焊接缺陷识别网络模型包括：输入层、多个卷积层、多个池化层、第一全连接层、第二全连接层、分类层、输出层；

识别模块，用于利用训练完成后的激光焊接缺陷类型识别模型，在焊接激光过程中进行在线焊接缺陷识别;

所述确定模块包括：

绘制单元，用于根据所述光电信号绘制可见光与激光反射光曲线图；

初始帧数范围确定单元，用于动态调整所述可见光与激光反射光曲线图中的曲线位置与预设初始阈值的大小后，将所述可见光与激光反射光曲线图与焊接后的工件图进行比对，将焊接缺陷部分以向量的方式读出，确定所述可见光与激光反射光曲线图中的焊接缺陷部分所在的初始帧数范围；

目标帧数范围确定单元，用于根据所述正面焊接熔池动态视频与所述侧面焊接熔池动态视频，确定焊接缺陷部分所在的目标帧数范围；

所述训练模块包括：

标注单元，用于利用基于深度学习模型框架的数据标注格式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集进行标注；

划分单元，用于依据预设比例将标注后的光电图像集、正面焊接图像集及侧面焊接图像集划分为训练集、验证集与测试集；

交叉验证训练单元，用于利用所述训练集与所述验证集对预先构建的激光焊接缺陷识别网络模型进行交叉验证训练；

所述利用基于深度学习模型框架的数据标注格式分别对所述光电图像集、 所述正面焊接图像集及所述侧面焊接图像集进行标注包括：

当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像不存在缺陷时则标注0；当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像存在驼峰缺陷时则标注1；当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像存在凹陷缺陷时则标注2。

3.一种基于深度学习的激光焊接缺陷识别设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1所述一种基于深度学习的激光焊接缺陷识别方法的步骤。

4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1所述一种基于深度学习的激光焊接缺陷识别方法的步骤。

Images