CN113870260A

CN113870260A - 一种基于高频时序数据的焊接缺陷实时检测方法及系统

Info

Publication number: CN113870260A
Application number: CN202111455516.1A
Authority: CN
Inventors: 田慧云; 钱鹏; 李波
Original assignee: Suxin Iot Solutions Nanjing Co ltd
Current assignee: Suxin Iot Solutions Nanjing Co ltd
Priority date: 2021-12-02
Filing date: 2021-12-02
Publication date: 2021-12-31
Anticipated expiration: 2041-12-02
Also published as: CN113870260B

Abstract

本发明公开了一种基于高频时序数据的焊接缺陷实时检测方法及系统，该检测方法包括：首先将采集到的高频焊接时序数据，按照设定窗长进行采样，并为每个样本标注缺陷发生时间段和缺陷类型，生成数据样本集；而后利用生成的数据样本集训练ResNet与TCN融合网络模型，得到训练好的检测模型；最后获取新的实时高频焊接数据，按照设定窗长输入到训练好的检测模型中进行预测，实时输出焊接缺陷类别。本发明通过将ResNet网络与TCN进行网络结构融合，可以将ResNet应用到时序检测领域，针对数据量较大、序列长度较长的高频焊接时序数据，通过并行卷积计算的方式，在训练过程中，加快训练速度，在预测过程中，做到强实时预测。

Description

一种基于高频时序数据的焊接缺陷实时检测方法及系统

技术领域

本发明涉及一种基于高频时序数据的焊接缺陷实时检测方法及系统，属于自动化焊接技术领域。

背景技术

智能化焊接是智能制造领域中最重要的研究课题之一，而传感技术及其信息处理则是实现焊接过程智能化及自动化的关键要素。近年来，具有小型化、无接触式及大传输量等特点的传感技术更多地被应用到焊接过程及质量实时控制中，如电弧传感、视觉传感、声音传感、光谱传感等。这些传感利用不同信息源获取了与焊接质量有关的大规模信息，如何挖掘有效信息并将其及时反馈与利用在焊接质量的实时检测中是亟需解决的关键问题。

目前基于深度学习进行焊接缺陷检测的方法，基本都是通过机器视觉的方式，采集焊缝缺陷的图片，利用Faster-RCNN、YOLOv3等目标检测方法，进行缺陷异常检测。基于机器视觉的方式，一方面成本较高，需要安装专业的高清晰度摄像头，另一方面，具有很多不可控因素，例如光线强弱、板材杂质、摄像头的拍摄角度等，且需要训练较大的网络。而针对时序数据的建模，最常用的模型是LSTM和GRU等循环神经网络，但循环神经网络不可并行计算，训练速度较慢，尤其是高频的焊接时序数据，具有序列长度较长、数据量较大的特点，能够并行计算尤为重要。

基于此，本专利提出了一种将ResNet（残差神经网络）与TCN（时序卷积网络）进行融合的网络模型，针对新的实时高频焊接时序数据，仅通过并行的矩阵运算即可实时给出预测结果，相较于其他机器学习提取特征的方式，能做到实时性更强的检测，既保证了训练精度，又可以提高训练速度。

发明内容

发明目的：针对现有技术所存在的问题，本发明提供一种基于高频时序数据的焊接缺陷实时检测方法及系统，通过构建ResNet与TCN融合的网络模型，对采集的高频焊接时序数据进行并行计算，快速准确的对焊接过程中的缺陷进行实时判断。

技术方案：为实现上述目的，本发明提供一种基于高频时序数据的焊接缺陷实时检测方法，包括以下步骤：

步骤1：将采集到的高频焊接时序数据，按照设定窗长进行采样，并按照已知的缺陷发生时间段和缺陷类型，为每个样本打标注，生成数据样本集；

步骤2：利用生成的数据样本集训练所构建的ResNet与TCN融合网络模型，得到训练好的检测模型；

步骤3：获取新的实时高频焊接数据，按照设定窗长进行滑窗，将每个窗长的数据输入到训练好的检测模型中进行预测，实时输出焊接缺陷类别。

进一步的，所述步骤1具体包括：

步骤1.1：将采集到的高频焊接时序数据，设定窗长window_size，每个窗长的序列作为一个样本，并将每个样本保存为NumPy文件，命名为data_i.npy；

步骤1.2：按照已知的缺陷发生时间段和缺陷类型，为每个样本打标注，并将每个标注保存为NumPy文件，命名为label_j.npy，其中i和j一一对应；

步骤1.3：将生成的所有样本随机乱序，并按比例截取训练集和验证集，剩下的即为测试集。

进一步的，所述高频焊接时序数据包括但不限于电流、电压、送丝速度、气流速度，其频率不低于10KHz。

进一步的，所述焊接缺陷类别包括但不限于正常、漏焊、气孔三种，可以用0、1、2等来进行标注。

进一步的，所述步骤2中构建的ResNet与TCN融合网络模型具体包括：输入层、一维卷积层、池化采样层、至少四个融合网络块、Flatten层和三个全连接层，其中每个融合网络块包含一个残差块和至少一个时间卷积网络块。

进一步的，当ResNet骨架结构为ResNet18或ResNet34时，每个残差块包括两个卷积核大小为3*3的一维卷积网络层、两个BN层、两个激活函数层和一个跳跃连接，每个时间卷积网络块包括两个卷积核大小为3*3的一维膨胀卷积层、两个BN层、两个激活函数层和一个跳跃连接；

当ResNet骨架结构为ResNet50及其以上时，每个残差块包括两个卷积核大小为1*1的一维卷积网络层、一个卷积核大小为3*3的一维卷积网络层、三个BN层、三个激活函数层以及一个跳跃连接，每个时间卷积网络块包括两个卷积核大小为1*1的一维卷积网络层、一个卷积核大小为3*3的一维膨胀卷积网络层、三个BN层、三个激活函数层以及一个跳跃连接。

此外，本发明还提供了一种基于高频时序数据的焊接缺陷实时检测系统，包括数据采集模块、数据处理模块，其中数据处理模块用于采用上述焊接缺陷实时检测方法，根据数据采集模块采集到的高频焊接实时数据，包括但不限于电流、电压、送丝速度、气流速度，来进行焊接缺陷的实时检测。

有益效果：本发明所提供的一种基于高频时序数据的焊接缺陷实时检测方法及系统，相对于现有技术，具有以下优点：

本发明通过在ResNet中融入TCN时间卷积网络块，可以使ResNet应用到时序数据上，解决时序问题，优于使用LSTM和GRU等传统的时间序列神经网络模型，可以并行计算，加快训练速度，尤其是对于高频的焊接时序数据，序列长度较长，数据量较大，能够并行训练尤为重要。该数据量挑战在多台（例如1000台）焊机数据应用时，会变得更为严峻，因此本发明具有较强的实用意义。

而TCN搭载在ResNet的骨架结构中，可以利用ResNet的优点，可以加深网络结构，同时降低网络参数量，获得更好的训练结果。针对新的实时高频焊接时序数据，本发明仅通过并行的矩阵运算即可实时给出预测结果，相较于其他机器学习提取特征的方式，能做到实时性更强的检测。

附图说明

图1为本发明实施例的流程示意图；

图2为本发明实施例中所采集的高频焊接时序数据图；

图3为本发明实施例中ResNet与TCN融合网络模型的结构示意图；

图4为本发明实施例中时间卷积网络块的结构示意图；

图5为本发明实施例中模型预测结果的混淆矩阵图。

具体实施方式

下面将结合附图对本发明的优选实施方式进行描述，更加清楚、完整地阐述本发明的技术方案。

实施例

如图1所示为一种基于高频时序数据的焊接缺陷实时检测方法，包括以下步骤：

步骤1：数据预处理；

步骤1.1：将采集到的高频焊接数据（不低于10KHz，如图2所示，本实施例中的焊接时序数据包括电流、电压和气流速度），设定窗长window_size=20000，每个窗长的序列作为一个样本（共1600个样本），并将每个样本保存为一个NumPy文件，命名为data_i.npy；

步骤1.2：按照已知的缺陷发生时间段和缺陷类型，为每个样本打标注，并将每个label（标注）保存为NumPy文件，命名为label_j.npy，i和j一一对应；其中label有如下三种：

label	类别
		0	正常
1	漏焊
		2	气孔

步骤1.3：将生成的所有样本随机shuffle（乱序），设定训练样本的比例train_size=0.7，验证样本的比例dev_size=0.2，按照比例截取训练集和验证集，剩下的即为测试集。

步骤2：网络训练；

设定learning_rate（学习率）=0.001，batch_size（一次训练所抓取的样本数量）=32，利用生成的数据样本集训练所构建的ResNet与TCN融合网络模型，得到训练好的检测模型。

如图3所示，该模型的网络结构如下（以ResNet18作为骨架为例）：

Ⅰ、输入层，

Ⅱ、一维卷积层，

Ⅲ、最大池化下采样层，

Ⅳ、四个融合网络块，每个融合网络块包含：残差块BasicBlock_m+时间卷积网络块TempBlock_m（m=1、2、3、4），

Ⅴ、Flatten（展平）层，

Ⅵ、全连接层（n1个神经元），

Ⅶ、全连接层（n2个神经元），

Ⅷ、全连接层（n3个神经元）。

其中，每个BasicBlock包含（输入输出之间通过恒等映射跳跃连接）：

A.一维卷积网络层（卷积核大小为3*3），

B.Batch Normalization（BN，批量标准化）层，

C.Leaky ReLU（激活函数）层，

D.一维卷积网络层（卷积核大小为3*3），

E.Batch Normalization层，

F.Leaky ReLU层；

如图4所示，每个TempBlock包含（输入输出之间通过一维卷积层跳跃连接）：

a.一维膨胀卷积层（卷积核大小为3*3），

b.Batch Normalization层，

c.Leaky ReLU层，

d.一维膨胀卷积层（卷积核大小为3*3），

e.Batch Normalization层，

f.Leaky ReLU层。

如图5所示，通过上述训练好的检测模型对测试集样本进行预测，并根据其预测结果与真实结果来构建混淆矩阵，由该混淆矩阵可知，该检测模型的查准率约为92.99%。

步骤3：焊接缺陷预测；

新的实时高频焊接数据，按照window_size=20000进行滑窗，将每个窗长的数据输入到训练好的模型中进行预测，输出焊接缺陷类别。

此外，本实施例还包括一种基于高频时序数据的焊接缺陷实时检测系统，包括数据采集模块、数据处理模块，其中数据采集模块利用非侵入性数据采集设备采集焊接过程中的高频时序数据，数据处理模块可以是处理器，用于采用上述焊接缺陷实时检测方法，根据采集到的高频焊接实时数据，包括但不限于电流、电压、送丝速度、气流速度，来进行焊接缺陷的实时检测。

本发明通过将ResNet网络与TCN时间卷积网络进行网络结构融合，将ResNet应用到时序检测领域，针对数据量较大、序列长度较长的高频焊接时序数据，可通过并行卷积计算的方式，在训练过程中，加快训练速度，在预测过程中，做到实时预测，由此解决了人工构造特征需要较长计算时间的问题，可做到强实时的缺陷检测。

上述具体实施方式仅仅对本发明的优选实施方式进行描述，而并非对本发明的保护范围进行限定。在不脱离本发明设计构思和精神范畴的前提下，本领域的普通技术人员根据本发明所提供的文字描述、附图对本发明的技术方案所作出的各种变形、替代和改进，均应属于本发明的保护范畴。

Claims

1.一种基于高频时序数据的焊接缺陷实时检测方法，其特征在于，包括以下步骤：

步骤3：获取新的实时高频焊接数据，按照设定窗长输入到训练好的检测模型中进行预测，实时输出焊接缺陷类别。

2.根据权利要求1所述的一种基于高频时序数据的焊接缺陷实时检测方法，其特征在于，所述步骤1具体包括：

步骤1.3：将生成的样本随机乱序，并按比例截取训练集和验证集，剩下的即为测试集。

3.根据权利要求1所述的一种基于高频时序数据的焊接缺陷实时检测方法，其特征在于，所述高频焊接时序数据包括但不限于电流、电压、送丝速度、气流速度，其频率不低于10KHz。

4.根据权利要求1所述的一种基于高频时序数据的焊接缺陷实时检测方法，其特征在于，所述焊接缺陷类型包括但不限于正常、漏焊、气孔。

5.根据权利要求1所述的一种基于高频时序数据的焊接缺陷实时检测方法，其特征在于，所述步骤2中构建的ResNet与TCN融合网络模型具体包括：输入层、一维卷积层、池化采样层、至少四个融合网络块、Flatten层和三个全连接层，其中每个融合网络块包含一个残差块和至少一个时间卷积网络块。

6.根据权利要求5所述的一种基于高频时序数据的焊接缺陷实时检测方法，其特征在于，当ResNet骨架结构为ResNet18或ResNet34时，每个残差块包括两个卷积核大小为3*3的一维卷积网络层、两个BN层、两个激活函数层和一个跳跃连接，每个时间卷积网络块包括两个卷积核大小为3*3的一维膨胀卷积层、两个BN层、两个激活函数层和一个跳跃连接；

7.一种基于高频时序数据的焊接缺陷实时检测系统，其特征在于，包括数据采集模块、数据处理模块，其中数据处理模块用于采用权利要求1-6任一所述检测方法，根据数据采集模块所采集的高频焊接时序数据进行焊接缺陷的实时检测。