CN114463329B - 一种图像与时序数据融合的焊接缺陷检测方法及系统 - Google Patents

Abstract

本发明公开了一种图像与时序数据融合的焊接缺陷检测方法及系统，该检测方法包括：首先构建焊缝图像异常检测模型，然后同步采集焊接过程中的焊缝图像和电流电压等时序数据，通过焊缝图像异常检测模型实时判断焊接异常，并将异常图片回传，由此确定异常时间段以及缺陷类别，自动给时序数据打标注，积累足够多的时序标注信息后，构建有监督的时序焊接缺陷检测模型；之后仅运行该时序缺陷检测模型进行焊接缺陷的实时检测。本发明通过图像异常检测算法实时检测焊接过程中的异常，并对时序数据打标注，让时序数据的高效标注成为可能，由此基于大量真实工业场景下的时序标注信息，进行实时准确的缺陷检测，可极大的降低成本，具有较高的实用性。

Description

一种图像与时序数据融合的焊接缺陷检测方法及系统

技术领域

本发明涉及一种图像与时序数据融合的焊接缺陷检测方法及系统，属于自动化焊接技术领域。

背景技术

目前，有超过200亿台物联网设备投入使用，物联网设备通过各种传感器收集数据，构成了新数据的最大来源之一，物联网数据实际上可以被视为大数据的缩影。大量的物联网应用需要使用有监督的机器学习，这一类机器学习算法，需要在训练模型之前标记数据。由于手动标记大型数据集是一项耗时、容易出错且成本高昂的任务，因此机器学习专业人员通常会先从标记的开源数据集开始，或者从少量数据开始标记。然而物联网数据的困难来自于它的特殊性：因为这些数据通常是独一无二的，所以不能保证现有的开源数据集是随时可用的，因此工程师必须标记自己的数据，但是，由于物联网数据的可变性，标记一个小的随机样本可能是不够的。因此，目前物联网数据AI应用的最大困境就是数据标记问题。

智能焊接作为物联网的重要组成部分之一，焊接缺陷检测这一物联网应用同样面临数据难以标注的困境。尤其是电流电压等时序焊接数据，在实际的工业场景中，几乎是无法标注。目前的常规做法是做控制实验，人工制造异常数据，然后记录下焊接缺陷的开始时间和结束时间，这种数据标注方法不仅耗时耗力，而且在实用性上存在很大局限：一方面实验室数据和真实工业场景之间还是有所差距的，另一方面实验室得到的数据是小样本的，真实的工业数据量是巨大的。

专利CN202010993829.1公开了一种时序数据异常标注的方法、系统及相关组件，该方法首先采集系统运行的性能数据，然后利用无监督式机器学习算法和有监督式机器学习模型结合对性能数据进行判定。因此其本身仍然需要一个有监督的时序模型辅助判定，而这个有监督的时序模型仍然需要大量有标注的时序数据来训练得到。

发明内容

发明目的：针对现有技术所存在的问题，本发明提供一种图像与时序数据融合的焊接缺陷检测方法及系统，通过焊缝图像异常检测模型对同步采集的电流电压等时序数据进行缺陷标注，从而高效地完成焊接时序数据的标注以及时序缺陷检测模型的构建。

技术方案：为实现上述目的，本发明提供一种图像与时序数据融合的焊接缺陷检测方法，包括以下步骤：

步骤1：基于历史的焊缝图像数据，构建图像异常检测模型；

步骤2：同步采集设定时长的焊缝图像和时序数据，通过图像异常检测模型判断焊缝图像是否存在异常，由此确定焊接异常的发生时间段以及焊接缺陷的具体类别，并为对应的时序数据打标注；

步骤3：根据有标注的时序数据，构建有监督的时序缺陷检测模型，而后通过该时序缺陷检测模型进行焊接缺陷的实时检测。

在同步采集焊缝图像和时序数据一段时间（例如3个月）之后，就可以积累足够多的时序标注信息，来构建有监督的时序焊接缺陷检测模型；而后仅运行该有监督的时序缺陷检测模型进行焊接缺陷的实时检测，并撤走相机，移到下一台焊机上重复此操作，以此类推。本发明提出的方法让时序数据的高效标注成为可能，由此得到基于大量真实工业场景下的时序标注信息，进一步定义特征、构建模型，来做焊接缺陷实时准确的检测。在焊机数量较多时，可极大的降低成本，具有较高的实用性和商业应用价值。

进一步的，所述步骤1具体包括：

步骤1.1：将正常焊缝的图像按照设定窗长进行采样（滑窗的窗口大小可由相机采集照片的帧率和焊接速度进行调整），构造数据集DataSet；

步骤1.2：从DataSet中随机选取设定比例的数据构建AutoEncoder模型，其中Latent层的数据维度为dim，取Latent层数据求均值Latent_mean并做零值处理，即可得到DeepSVDD模型的超球体球心C；

步骤1.3：搭建ResNet+FPN网络作为DeepSVDD模型的特征提取器，确保特征提取器的输出维度为dim，利用DataSet中剩下的数据来训练DeepSVDD模型，确定DeepSVDD模型的超球体半径R。

进一步的，所述步骤1.2中的零值处理过程是将球心向量中接近于零的数值替换成-0.1或0.1，因为零值数据容易导致权重为零，影响网络优化，具体包括：将Latent_mean中绝对值小于设定值的负值数据替换为-0.1，并将Latent_mean中绝对值小于设定值的正值数据替换为0.1。

进一步的，所述步骤2中图像异常检测模型的异常判断过程具体包括：通过训练后的DeepSVDD模型对输入的焊缝图像进行推理，记DeepSVDD模型的输出向量为y，如果|y-C|≤R，则判定焊缝图像正常，否则为异常。

进一步的，所述步骤2中焊缝图像和时序数据的同步采集过程包括：

步骤2.1：焊接开始时，获取第一条时序数据对应的时间戳，记为t1；

步骤2.2：将实时采集的图像信息从当前时间戳开始向前滑窗，获取设定长度的图像信息；

步骤2.3：将获取的图像转换为灰度图，并对灰度图进行二值化，得到二值化图像；

步骤2.4：计算二值化图像中值为0像素点个数与值为255像素点个数的比值，当比值大于阈值th2时，则采集到的图像中第一次出现焊缝，记下对应的时间戳t2；

步骤2.5：记补偿时间Δt=t2-t1，由此将当前时刻的图像数据与Δt之前的时序数据对齐。

进一步的，所述步骤2中时序数据的标注过程包括：

步骤3.1：根据图像异常检测模型的判断结果，获取存在异常的焊缝图像；

步骤3.2：根据存在异常的焊缝图像，通过人工辅助精确判定焊接缺陷的开始时间、结束时间以及缺陷类别（包含不限于烧穿、焊偏、气孔、漏焊等）；

步骤3.3：根据判定结果给对应时间段的时序数据打标注。

此外，本发明还提供了一种图像与时序数据融合的焊接缺陷检测系统，包括用于采集焊缝图像数据的第一数据采集模块（如2D相机等）、用于采集焊接时序数据的第二数据采集模块（如电流、电压、送丝、气流传感器等）和数据处理模块；

首先通过第一数据采集模块、第二数据采集模块同步采集设定时长的焊缝图像和时序数据，同时数据处理模块通过基于历史焊缝图像数据所构建的图像异常检测模型，来判断第一数据采集模块所采集的焊缝图像是否存在异常，由此确定焊缝异常的发生时间段以及焊接缺陷的具体类别，并为对应的时序数据打标注，进而根据有标注的时序数据，构建有监督的时序缺陷检测模型；

而后拆除第一数据采集模块，仅通过第二数据采集模块实时采集焊接过程中的时序数据，同时数据处理模块利用所构建的时序缺陷检测模型，根据第二数据采集模块采集的时序数据进行焊接缺陷的实时检测。

有益效果：本发明所提供的一种图像与时序数据融合的焊接缺陷检测方法及系统，相对于现有技术，具有以下优点：

1、本发明的低成本体现在两方面：一是大规模应用中仅需为每台焊机部署低成本的时序数据采集设备和模型，而无需为每台焊机配备独立的、价格昂贵的焊缝图像采集相机，二是大规模应用中焊接时序数据手工标注的成本极高、不精准，几乎不可实现，本发明提出的自动标注方法不仅显著降低人工成本，且显著提高标注的精准性。

2、常规的AutoEncoder网络（在DeepSVDD主体网络结构中每一层加入AutoEncoder进行网络预训练获得超球体球心）无法在主体结构中使用复杂的特征提取器，而本发明通过小样本训练一个单独的网络来获得超球体球心，独立于DeepSVDD主体网络之外，这样可在DeepSVDD主体网络结构中，设计复杂有效的特征提取网络结构。

3、在图像的特征提取部分，本发明采用的是ResNet+FPN的网络结构，可同时提取深层特征和浅层特征，优于传统DeepSVDD使用的LeNet-5网络结构。

附图说明

图1为本发明实施例的焊接缺陷检测流程图；

图2为本发明实施例中焊缝图像异常检测模型的构建和判断流程图；

图3为本发明实施例中时序缺陷检测模型的构建流程图；

图4为本发明实施例中预处理之后的部分焊缝数据集；

图5为本发明实施例中所搭建的AutoEncoder网络结构图；

图6为本发明实施例中所搭建的ResNet+FPN网络结构图。

具体实施方式

下面将结合附图对本发明的优选实施方式进行描述，更加清楚、完整地阐述本发明的技术方案。

如图1所示为一种图像与时序数据融合的焊接缺陷检测方法，包括以下步骤：

步骤1：构建焊缝图像异常检测模型，如图2所示；

步骤1.1：数据预处理；

将正常焊缝的图像按照window_size=96进行滑窗，步长step=20，进行焊缝的分割，并做数据增强处理，构造数据集DataSet（部分数据如图4所示）。

步骤1.2：通过小样本训练AutoEncoder模型，并计算DeepSVDD超球体球心C，超球体球心的维度为dim，实施例中dim=6144；

从DataSet中随机选取10%数据构建AutoEncoder模型：如图5所示，设计的AutoEncoder网络结构包含encoder和decoder两部分，其中encoder包含3层卷积层以及3层最大池化下采样层，其中最大池化下采样层步距为2，用于压缩图像的shape， decoder则包含3层卷积和3层上采样层，用于将压缩的图像数据还原。

其中Latent层的数据维度为dim=6144；训练完成后，取Latent层的数据求均值Latent_mean并做以下处理，作为DeepSVDD模型的超球体球心C：

将Latent_mean中绝对值小于eps的负值数据替换为-0.1，并将Latent_mean中绝对值小于eps的正值数据替换为0.1，其中eps为机器的浮点运算误差限。该处理过程是将球心向量中接近于零的数值替换成-0.1或0.1，因为零值数据容易导致权重为零，影响网络优化。

步骤1.3：搭建ResNet+FPN网络作为DeepSVDD的特征提取器，训练DeepSVDD网络，并确定超球体的半径R；

如图6所示为搭建的ResNet+FPN网络结构，其中最左侧的5个卷积层（即Conv1至Conv5_x）为ResNet50骨架结构，自下而上的各层特征图channel是逐渐增多的，并且相邻两层的特征图，高层次的特征图高和宽均缩减为低层次特征图的一半。因为进行特征融合时（即图中的+号操作）需保证相同的shape，所以进行如下操作：

首先通过1*1卷积层来保证它们的channel是一样的，其次通过2倍的Upsample来保证特征图的高和宽一致，最终取最后一次融合的特征，经过一层3*3的卷积操作作为网络输出，确保特征提取器的输出维度为dim=6144。因为DeepSVDD的原理是使所有样本提取到的特征要离球心尽可能近，因此二者必须维度一致才能进行计算样本提取的特征向量与球心向量之间的距离。

将DataSet中剩下的90%数据按照7：3的比例拆分训练集和验证集，以此来训练DeepSVDD网络，确定DeepSVDD网络的超球体半径R，其中DeepSVDD网络采用的损失函数如下：

。

该式中，第一项为均方误差损失函数，W为ResNet+FPN网络的权重，n为参与训练的样本个数，

代表每个样本，c为超球体球心向量，该项表示训练样本经过ResNet+FPN网络后的输出向量与超球体球心向量之间差值的平方和的均值，即均方误差，然后通过调整权重W来最小化该均方误差；第二项为L2范数正则化项，作用是控制模型的复杂度，防止模型过拟合，L为ResNet+FPN网络的全部权重个数，λ为正则项超参数，λ越大，则对模型复杂度的惩罚越大。

步骤1.4：进行小样本测试，抽样正常焊缝和异常焊缝的2D图像（包括气孔、烧穿、漏焊等）按照步骤1.1的数据预处理方式构造测试数据集，进行小样本模型测试；

如果测试结果符合预期，则表示所构建的焊缝图像异常检测模型是值得信赖的，否则进行参数调整后重新训练焊缝图像异常检测模型，直到测试结果符合预期。

步骤2：构建有监督的时序缺陷检测模型，如图3所示；

步骤2.1：同步采集焊缝图像和时序数据；

安装2D相机以及电流、电压、送丝、气流传感器，实时采集焊接过程中的图像以及时序数据，其中每一帧图像的命名为当前时间戳，时序数据也包含一列时间戳特征。

焊接开始时，电流、电压、送丝、气流等时序数据同步开始采集，但由于相机安装位置位于焊枪后侧，因此存在图片拍摄延迟问题，因此需要进行时间补偿。

具体补偿过程如下：

A.焊接开始时，获取采集的第一条时序数据对应的时间戳，记为t1；

B.将实时采集的图像信息从当前时间戳开始向前滑窗，获取长度L=96的图像信息；

C.将获取的图像转换为灰度图，并对灰度图进行二值化，设置阈值th1，实施例中th1=50，设灰度图每个点的像素为Pi，当Pi>=th1，令Pi=255，当Pi<th1，令Pi=0，得到二值化图像；

D.计算二值化图像中值为0像素点个数与值为255像素点个数的比值，设置阈值th2，实施例中th2=0.05，当该比值大于th2时，则拍摄到的图片中第一次出现焊缝，记下当前时刻的时间戳t2；

E.记补偿时间Δt=t2-t1，由此将当前时刻的图像数据与Δt之前的时序数据对齐。

步骤2.2：将实时采集的图像信息送入训练好的DeepSVDD模型进行预测，若预测为正常，则不做任何处理，若预测为异常，则将异常图片回传；

将步骤1所构建的DeepSVDD模型部署到云端，对输入的焊接图像进行推理，记模型的输出向量为y，做以下判断：

1）如果新样本落在超球体以内，即|y-C|<=R，则判定为正常；

2）如果新样本落在超球体以外，即|y-C|>R，则判定为异常。

步骤2.3：根据回传的异常图片，人工辅助精确判断：

a.将异常图片由当前时刻向前滑动，确定缺陷开始的时间；

b.将异常图片由当前时刻向后滑动，确定缺陷结束的时间；

c.确定该焊缝异常的具体缺陷类别（包含不限于烧穿、焊偏、气孔、漏焊等）。

步骤2.4：根据缺陷开始时间、结束时间以及缺陷类别自动给对应时间段的时序数据打标注，标注系统运行一段时间之后，积累足够的时序标注信息，建立基于时序数据的焊接缺陷检测模型。

步骤3：实时采集焊接时序数据，并通过所构建的时序缺陷检测模型进行焊接缺陷的实时检测，并将相机撤走，安装到下一台焊机，重复步骤1~3。

此外，本发明还提供了一种图像与时序数据融合的焊接缺陷检测系统，包括用于采集焊缝图像数据的第一数据采集模块（即2D相机）、用于采集焊接时序数据的第二数据采集模块（即电流、电压、送丝、气流传感器）和数据处理模块；

首先通过第一数据采集模块、第二数据采集模块同步采集设定时长的焊缝图像和时序数据，同时数据处理模块通过基于历史焊缝图像数据所构建的图像异常检测模型，来判断第一数据采集模块所采集的焊缝图像是否存在异常，由此确定焊缝异常的发生时间段以及焊接缺陷的具体类别，并为对应的时序数据打标注，进而根据有标注的时序数据，构建有监督的时序缺陷检测模型；

而后拆除第一数据采集模块，仅通过第二数据采集模块实时采集焊接过程中的时序数据，同时数据处理模块利用所构建的时序缺陷检测模型，根据第二数据采集模块采集的时序数据进行焊接缺陷的实时检测。

可以看出，本发明的低成本主要体现在两方面：一是如果仅构建图像异常检测模型进行焊接缺陷的实时检测，则需要给每台焊机配备一台价格昂贵的能够拍摄实时焊缝图像的相机，成本巨大；二是如果不通过图像异常检测模型进行异常图像的筛选上报，仅仅使用人工来标注数据，则需要每台焊接配置一个人工，时刻盯着焊缝，精准的记录下每个缺陷的开始和结束时间，才能获得准确的标注信息，人力成本昂贵，并且几乎不可实现。

上述具体实施方式仅仅对本发明的优选实施方式进行描述，而并非对本发明的保护范围进行限定。在不脱离本发明设计构思和精神范畴的前提下，本领域的普通技术人员根据本发明所提供的文字描述、附图对本发明的技术方案所作出的各种变形、替代和改进，均应属于本发明的保护范畴。

Claims (5)

1.一种图像与时序数据融合的焊接缺陷检测方法，其特征在于，包括以下步骤：

步骤1：基于历史的焊缝图像数据，构建图像异常检测模型；

步骤2：同步采集设定时长的焊缝图像和时序数据，通过图像异常检测模型判断焊缝图像是否存在异常，由此确定焊接异常的发生时间段以及缺陷类别，并为对应的时序数据打标注；

步骤3：根据有标注的时序数据，构建有监督的时序缺陷检测模型，而后通过该时序缺陷检测模型进行焊接缺陷的实时检测；

所述步骤1具体包括：

步骤1.1：将正常焊缝的图像按照设定窗长进行采样，构造数据集DataSet；

步骤1.2：从DataSet中随机选取设定比例的数据构建AutoEncoder模型，其中Latent层的数据维度为dim，取Latent层数据求均值Latent_mean并做零值处理，即可得到DeepSVDD模型的超球体球心C；

步骤1.3：搭建ResNet+FPN网络作为DeepSVDD模型的特征提取器，确保特征提取器的输出维度为dim，利用DataSet中剩下的数据来训练DeepSVDD模型，确定DeepSVDD模型的超球体半径R；

所述步骤2中焊缝图像和时序数据的同步采集过程包括：

步骤2.1：焊接开始时，获取第一条时序数据对应的时间戳，记为t1；

步骤2.2：将实时采集的图像信息从当前时间戳开始向前滑窗，获取设定长度的图像信息；

步骤2.3：将获取的图像转换为灰度图，并对灰度图进行二值化，得到二值化图像；

步骤2.4：计算二值化图像中值为0像素点个数与值为255像素点个数的比值，当比值大于阈值th2时，则采集到的图像中第一次出现焊缝，记下对应的时间戳t2；

步骤2.5：记补偿时间Δt=t2-t1，由此将当前时刻的图像数据与Δt之前的时序数据对齐。

2.根据权利要求1所述的一种图像与时序数据融合的焊接缺陷检测方法，其特征在于，所述步骤1.2中的零值处理过程具体包括：将Latent_mean中绝对值小于设定值的负值数据替换为-0.1，并将Latent_mean中绝对值小于设定值的正值数据替换为0.1。

3.根据权利要求1所述的一种图像与时序数据融合的焊接缺陷检测方法，其特征在于，所述步骤2中图像异常检测模型的异常判断过程具体包括：通过训练后的DeepSVDD模型对输入的焊缝图像进行推理，记DeepSVDD模型的输出向量为y，如果|y-C|≤R，则判定焊缝图像正常，否则为异常。

4.根据权利要求1所述的一种图像与时序数据融合的焊接缺陷检测方法，其特征在于，所述步骤2中时序数据的标注过程包括：

步骤3.1：根据图像异常检测模型的判断结果，获取存在异常的焊缝图像；

步骤3.2：根据存在异常的焊缝图像，通过人工辅助精确判定焊接缺陷的开始时间、结束时间以及缺陷类别；

步骤3.3：根据判定结果给对应时间段的时序数据打标注。

5.一种图像与时序数据融合的焊接缺陷检测系统，其特征在于，包括用于采集焊缝图像数据的第一数据采集模块、用于采集焊接时序数据的第二数据采集模块和数据处理模块；

首先通过第一数据采集模块、第二数据采集模块同步采集设定时长的焊缝图像和时序数据，同时数据处理模块通过基于历史焊缝图像数据所构建的图像异常检测模型，来判断第一数据采集模块所采集的焊缝图像是否存在异常，由此确定焊缝异常的发生时间段以及焊接缺陷的具体类别，并为对应的时序数据打标注，进而根据有标注的时序数据，构建有监督的时序缺陷检测模型；

而后拆除第一数据采集模块，仅通过第二数据采集模块实时采集焊接过程中的时序数据，同时数据处理模块利用所构建的时序缺陷检测模型，根据第二数据采集模块采集的时序数据进行焊接缺陷的实时检测；

所述图像异常检测模型的构建方法包括：

步骤1.1：将正常焊缝的图像按照设定窗长进行采样，构造数据集DataSet；

步骤1.2：从DataSet中随机选取设定比例的数据构建AutoEncoder模型，其中Latent层的数据维度为dim，取Latent层数据求均值Latent_mean并做零值处理，即可得到DeepSVDD模型的超球体球心C；

步骤1.3：搭建ResNet+FPN网络作为DeepSVDD模型的特征提取器，确保特征提取器的输出维度为dim，利用DataSet中剩下的数据来训练DeepSVDD模型，确定DeepSVDD模型的超球体半径R；

所述焊缝图像和时序数据的同步采集过程包括：

步骤2.1：焊接开始时，获取第一条时序数据对应的时间戳，记为t1；

步骤2.2：将实时采集的图像信息从当前时间戳开始向前滑窗，获取设定长度的图像信息；

步骤2.3：将获取的图像转换为灰度图，并对灰度图进行二值化，得到二值化图像；

步骤2.4：计算二值化图像中值为0像素点个数与值为255像素点个数的比值，当比值大于阈值th2时，则采集到的图像中第一次出现焊缝，记下对应的时间戳t2；

步骤2.5：记补偿时间Δt=t2-t1，由此将当前时刻的图像数据与Δt之前的时序数据对齐。

Images