CN113878214B - 基于lstm与残差分布的焊接质量实时检测方法及系统 - Google Patents

基于lstm与残差分布的焊接质量实时检测方法及系统 Download PDF

Info

Publication number
CN113878214B
CN113878214B CN202111490493.8A CN202111490493A CN113878214B CN 113878214 B CN113878214 B CN 113878214B CN 202111490493 A CN202111490493 A CN 202111490493A CN 113878214 B CN113878214 B CN 113878214B
Authority
CN
China
Prior art keywords
data
residual
lstm
windows
welding quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111490493.8A
Other languages
English (en)
Other versions
CN113878214A (zh
Inventor
姚志豪
钱鹏
李波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suxin Iot Solutions Nanjing Co ltd
Original Assignee
Suxin Iot Solutions Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suxin Iot Solutions Nanjing Co ltd filed Critical Suxin Iot Solutions Nanjing Co ltd
Priority to CN202111490493.8A priority Critical patent/CN113878214B/zh
Publication of CN113878214A publication Critical patent/CN113878214A/zh
Application granted granted Critical
Publication of CN113878214B publication Critical patent/CN113878214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K13/00—Welding by high-frequency current heating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K13/00—Welding by high-frequency current heating
    • B23K13/08—Electric supply or control circuits therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

本发明公开了一种基于LSTM与残差分布的焊接质量实时检测方法及系统，包括：基于预训练的LSTM模型，对极短的时间序列窗口构建残差矩阵，衡量单个时间窗口内的残差矩阵与整体残差矩阵的分布相似度，根据分布相似度是否超过阈值的判断，实现短时间内的焊接质量缺陷检测。本发明基于非侵入性设备所采集的高频时序信号数据，利用LSTM构建真实数据与预测数据的残差矩阵，衡量残差矩阵分布相似度，确定异常时序阈值来识别焊接质量缺陷，从而解决了焊接图像、光谱、声音等数据难以采集、缺陷数据难以标注、模型鲁棒性不足等技术问题，可做到焊接质量缺陷的实时检测。

Description

基于LSTM与残差分布的焊接质量实时检测方法及系统
技术领域
本发明涉及一种基于LSTM（长短期记忆人工神经网络）与残差分布的焊接质量实时检测方法及系统，属于自动化焊接技术领域。
背景技术
近年来随着汽车、航空航天、建筑以及运输等工业的飞速发展，对工业设备的工艺及质量要求越来越高，焊接质量检测技术近年来被广泛应用等多个领域。焊接质量可分为直接焊接质量和间接焊接质量，一般焊接产品焊接接头使用的主要内容有力学性能、内外部缺陷、焊后产品几何尺寸等。所谓间接焊接质量，就是在焊接过程中能够被焊工的感官或者特质的传感器检测到的、间接决定上述直接焊接质量的有关因素。这种间接焊接质量虽然不能直接说明焊接接头的使用性能，但是它们却在很大程度上可以反映焊接过程中是否出现焊接质量问题。
目前利用深度学习结合视觉图像、电弧光谱、电弧声音等数据进行焊接质量诊断是进行焊接质量诊断的主要技术手段，但在实际的使用场景中，焊接图像、光谱、声音等数据难以采集，受环境影响较大，缺陷种类难以界定，需要大量的数据标注，时间、经济成本较高且效果较差。而焊接过程中的电信号等时间序列数据不仅包含电源性能信息也包含大量焊接质量的信息，同时时间序列数据采集成本较低、不易受外界环境因素影响，通过对时间序列数据进行分析挖掘其与焊接质量缺陷的对应关系，可极大程度的减小焊接质量检测成本及有效性。
发明内容
发明目的：针对现有技术所存在的问题，本发明提供一种基于LSTM与残差分布的焊接质量实时检测方法及系统，基于所采集的高频时序信号数据，利用LSTM构建真实数据与预测数据的残差矩阵，衡量残差矩阵分布相似度，确定异常时序阈值来识别焊接质量缺陷，从而解决焊接图像、光谱、声音等数据难以采集、缺陷数据难以标注、模型鲁棒性不足等技术问题。
技术方案：着眼于现有技术的不足，本发明将目标定位于降低数据采集成本及异常标注成本，无需对异常时序数据进行异常标注，同时将焊接质量检测问题转化为对焊接过程中时序异常信号的检测，考虑到焊接质量缺陷的时间依存关系以及非线性性质，选用LSTM进行模型训练，对于正常的焊接过程中残差应该是零值，但由于系统不稳定以及外界环境影响，残差都是偏离零值的，但整体残差分布是稳定的，结合高频数据特性（单位时间内采样点较多）及焊接实时检测要求，对极短的时间序列窗口构建残差矩阵，衡量单个时间窗口内的残差矩阵与整体残差矩阵的分布相似度，根据分布相似度确定其阈值，实现短时间内的焊接质量缺陷检测。具体包括以下步骤：
步骤1：将正常焊接过程中所采集的高频时序数据拆分为三份数据集，并以Train_Windows为训练时间窗口，Label_Windows为预测时间窗口，Rolling_Step为步长分别对三份数据集进行窗口滑动切割，构建三份可入模数据集[Seq1,Seq2,Seq3]；
步骤2：利用Seq1进行LSTM模型的训练，确定LSTM结构及相关参数；
步骤3：加载预训练的LSTM模型对Seq2进行推理，并利用Seq2所有Label_Windows的预测值（对于相同时间点的多个预测值，选取更靠近Train_Windows的预测数据）与真实值计算残差，进而构建残差矩阵M（对于多维的高频时间序列，利用差值构建多维的残差矩阵M）；
步骤4：利用预训练的LSTM模型对Seq3的每一个Label_Windows进行推理，对每次推理的Label_Windows预测值与真实值计算残差，得到N个Label_Windows大小的残差矩阵；
步骤5：分别计算N个Label_Windows大小的残差矩阵与残差矩阵M的分布相似度，进而根据分布相似度的数据分布确定异常阈值；
步骤6：对于新的高频焊接时序数据，按照Train_Windows进行滑窗并导入训练好的LSTM模型中进行推理，计算每个Label_Windows残差矩阵与残差矩阵M的分布相似度，并根据该分布相似度是否超过阈值来判定此Label_Windows是否出现异常。
进一步的，所述步骤1中所采集的高频时序数据为利用非侵入性的数据采集设备在正常焊接过程中采集较长时间段的高频信号数据，包括但不限于电流、电压、送丝速度、气流速度中的一种或多种，其频率不低于10KHz。
进一步的，所述步骤1还包括：对数据集[Seq1,Seq2,Seq3]进行归一化处理，从而加快模型训练速度。
进一步的，所述步骤5、6中对分布相似度的计算包括但不限于KL散度、JS散度或W（Wasserstein）距离等。
进一步的，所述步骤5中通过对计算得到的分布相似度进行正态拟合后，取设定置信度的数据作为异常阈值。
此外，本发明还提供了一种基于LSTM与残差分布的焊接质量实时检测系统，包括数据采集模块和数据处理模块，其中数据处理模块采用上述焊接质量实时检测方法，根据数据采集模块采集到的高频焊接信号数据，包括但不限于电流、电压、送丝速度、气流速度，来进行焊接缺陷的实时检测。
有益效果：本发明所提供的一种基于LSTM与残差分布的焊接质量实时检测方法及系统，相对于现有技术，具有以下优点：
1、相对于利用声音、光谱、图像等数据构建分类模型进行焊接质量在线诊断，本方法只需利用非侵入性数据采集设备采集焊接过程中高频时间序列数据，数据易采集，检测成本较低。
2、对时间序列模型进行预训练，确定LSTM模型参数，在实际使用的过程中只需利用训练好的模型进行推理滑动窗口的数据结合阈值判断即可识别焊接质量缺陷，不需要大量的异常标注，克服了焊接质量缺陷难以标注的缺点。
3、在实际生产过程中，时间序列数据相对标准化，不易受到环境因素影响，利用高频时间序列构建模型，模型更加健壮，具有良好的鲁棒性。
附图说明
图1为本发明实施例的整体流程示意图；
图2a、2b分别为本发明实施例的模型训练与预测图、残差矩阵计算图；
图3为本发明实施例针对一段高频电流、电压时序数据的检测结果图。
具体实施方式
下面将结合附图对本发明的优选实施方式进行描述，更加清楚、完整地阐述本发明的技术方案。
如图1所示为一种基于LSTM与残差分布的焊接质量实时检测方法，包括以下步骤：
步骤1：获取正常焊接过程中的高频电流、电压时序数据；
这里的数据为利用非侵入性的数据采集设备采集正常焊接过程中较长时间段的高频电流、电压数据；
步骤2：将采集到的高频电流、电压时序数据拆分为三份数据量相同的数据集，分别用作模型训练、残差矩阵的构建、确定焊接质量缺陷阈值；
步骤3：分别对上述三份数据集进行以Train_Windows为训练时间窗口大小，Label_Windows为预测时间窗口大小，Rolling_Step为步长进行窗口滑动切割，并对数据进行归一化处理，加速模型训练速度，从而构建三份可入模数据集[Seq1,Seq2,Seq3]；
如图2a所示，Train_Windows和Label_Windows代表的是模型利用Train_Windows（即Train=3）时间窗口的数据预测Label_Windows（即Predict=1）时间窗口的数据，这是因为高频数据中1s内会产生大量采样数据，不能进行单位时间点的预测，应转换为时间窗口进行预测；
步骤4：利用Seq1进行LSTM模型的训练，确定LSTM结构及相关参数；
步骤5：加载预训练的LSTM对Seq2进行推理，得到Seq2所有Label_Windows的预测值；
步骤6：如图2b所示，取预测时间点对应的真实值计算其与预测值的差值，对于多维的高频时间序列，利用差值构建多维的残差矩阵M；
在其他实施方式中，若Label_Windows＞1，则存在对相同时间点的多次预测，由于距离Train_Windows越近，数据可信度越高，所以优选更靠近Train_Windows的预测数据作为预测时间点的预测值；
步骤7：加载训练好的LSTM对Seq3的每一个Label_Windows进行推理，对每次推理的Label_Windows预测值与真实值计算残差，得到N个Label_Windows大小的残差矩阵；
步骤8：分别计算N个Label_Windows大小的残差矩阵与残差矩阵M的数据分布相似度，为适应残差矩阵重叠性较高、相似度不易衡量的情况，这里选用W距离衡量两个高维数据分布相似度，得到距离矩阵S；
步骤9：对距离矩阵S拟合正态分布，并取95%置信度的数据当做异常阈值；
步骤10：对于新的高频焊接时序数据，按照Train_Windows进行滑窗并导入训练好的LSTM模型中进行推理，计算每个Label_Windows残差矩阵及与残差矩阵M的W距离，根据W距离是否超过阈值来判定此Label_Windows是否出现异常（图3展示了利用上述焊接质量实时检测方法针对一段焊接高频电流、电压时序数据的检测结果）。
此外，本实施例还提供了一种基于LSTM与残差分布的焊接质量实时检测系统，包括数据采集模块和数据处理模块，其中数据采集模块采用非侵入性数据采集设备，数据处理模块为处理器，处理器通过上述焊接质量实时检测方法，根据非侵入性设备采集到的高频焊接信号数据，包括但不限于电流、电压、送丝速度、气流速度，来进行焊接缺陷的实时检测。
本发明利用单一正常标签的高频时间序列数据来构建焊接质量检测模型，克服了传统焊接质量缺陷检测模型需要大量异常标签数据，异常标签数据难以采集的困难，同时将新的时间序列切割，基于预训练的LSTM进行推理，结合已确定的阈值进行焊接缺陷检测，实际使用只需获得较小的时间窗口（例如50ms）即可判断，达到了实时检测的要求。
上述具体实施方式仅仅对本发明的优选实施方式进行描述，而并非对本发明的保护范围进行限定。在不脱离本发明设计构思和精神范畴的前提下，本领域的普通技术人员根据本发明所提供的文字描述、附图对本发明的技术方案所作出的各种变形、替代和改进，均应属于本发明的保护范畴。

Claims (5)

1.一种基于LSTM与残差分布的焊接质量实时检测方法，其特征在于，包括以下步骤：
步骤1：将正常焊接过程中所采集的高频时序数据拆分为三份数据量相同的数据集，分别用作模型训练、残差矩阵的构建、确定焊接质量缺陷阈值，并以Train_Windows为训练时间窗口，Label_Windows为预测时间窗口，Rolling_Step为步长分别对三份数据集进行窗口滑动切割，构建三份可入模数据集[Seq1,Seq2,Seq3]；
步骤2：利用Seq1进行LSTM模型的训练，确定LSTM结构及相关参数；
步骤3：加载预训练的LSTM模型对Seq2进行推理，并利用Seq2所有Label_Windows的预测值与真实值计算残差，进而构建残差矩阵M；
步骤4：利用预训练的LSTM模型对Seq3的每一个Label_Windows进行推理，对每次推理的Label_Windows预测值与真实值计算残差，得到N个Label_Windows大小的残差矩阵；
步骤5：分别计算N个Label_Windows大小的残差矩阵与残差矩阵M的分布相似度，进而根据分布相似度的数据分布确定异常阈值；
步骤6：对于新的高频焊接时序数据，按照Train_Windows进行滑窗并导入训练好的LSTM模型中进行推理，计算每个Label_Windows残差矩阵与残差矩阵M的分布相似度，并根据该分布相似度是否超过阈值来判定此Label_Windows是否出现异常；
所述步骤5中通过对计算得到的分布相似度进行正态拟合后，取设定置信度的数据作为异常阈值。
2.根据权利要求1所述的一种基于LSTM与残差分布的焊接质量实时检测方法，其特征在于，所述步骤1中所采集的高频时序数据包括电流、电压、送丝速度、气流速度中的一种或多种，其频率不低于10 kHz。
3.根据权利要求1所述的一种基于LSTM与残差分布的焊接质量实时检测方法，其特征在于，所述步骤1还包括：进一步对数据集[Seq1,Seq2,Seq3]进行归一化处理。
4.根据权利要求1所述的一种基于LSTM与残差分布的焊接质量实时检测方法，其特征在于，所述步骤5、6中的分布相似度包括KL散度、JS散度或W距离。
5.一种基于LSTM与残差分布的焊接质量实时检测系统，其特征在于，包括数据采集模块和数据处理模块，其中数据处理模块采用权利要求1~4任一所述检测方法，根据数据采集模块所采集的高频焊接时序数据进行焊接质量的实时检测。
CN202111490493.8A 2021-12-08 2021-12-08 基于lstm与残差分布的焊接质量实时检测方法及系统 Active CN113878214B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111490493.8A CN113878214B (zh) 2021-12-08 2021-12-08 基于lstm与残差分布的焊接质量实时检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111490493.8A CN113878214B (zh) 2021-12-08 2021-12-08 基于lstm与残差分布的焊接质量实时检测方法及系统

Publications (2)

Publication Number Publication Date
CN113878214A CN113878214A (zh) 2022-01-04
CN113878214B true CN113878214B (zh) 2022-03-25

Family

ID=79016564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111490493.8A Active CN113878214B (zh) 2021-12-08 2021-12-08 基于lstm与残差分布的焊接质量实时检测方法及系统

Country Status (1)

Country Link
CN (1) CN113878214B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114559133B (zh) * 2022-04-27 2022-07-29 苏芯物联技术(南京)有限公司 一种普适焊接起弧连续性实时检测方法及系统
CN115630722B (zh) * 2022-06-24 2023-06-20 华院计算技术(上海)股份有限公司 一种改进的自适应连铸质量预判数字化模型参数生成方法、系统、设备及存储介质
CN114799610B (zh) * 2022-06-24 2022-10-04 苏芯物联技术(南京)有限公司 一种基于傅里叶逆变换及自编码器的焊接质量实时检测方法及系统
CN116204830B (zh) * 2023-04-28 2023-07-11 苏芯物联技术(南京)有限公司 一种基于路径聚合网络的焊接异常实时检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076975A (zh) * 2021-03-17 2021-07-06 长江水利委员会长江科学院 一种基于无监督学习的大坝安全监测数据异常检测方法
CN113420800A (zh) * 2021-06-11 2021-09-21 中国科学院计算机网络信息中心 一种数据异常检测方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101872998B1 (ko) * 2011-09-28 2018-07-02 한국전력공사 용접공정 품질관리 방법
CN104102773B (zh) * 2014-07-05 2017-06-06 山东鲁能软件技术有限公司 一种设备故障预警及状态监测方法
CN109175608B (zh) * 2018-09-30 2023-06-20 华南理工大学 焊缝特征点位置在线测量方法及焊缝轨迹自动测量系统
CN111679949A (zh) * 2020-04-23 2020-09-18 平安科技（深圳）有限公司 基于设备指标数据的异常检测方法及相关设备
CN112000015B (zh) * 2020-09-07 2022-08-05 华北电力大学 一种基于lstm和生物激励神经网络的重型燃机控制系统控制器模块智能bit设计方法
CN113093584B (zh) * 2021-03-02 2022-06-14 无锡先导智能装备股份有限公司 焊接异常检测方法、装置、计算机设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076975A (zh) * 2021-03-17 2021-07-06 长江水利委员会长江科学院 一种基于无监督学习的大坝安全监测数据异常检测方法
CN113420800A (zh) * 2021-06-11 2021-09-21 中国科学院计算机网络信息中心 一种数据异常检测方法及装置

Also Published As

Publication number Publication date
CN113878214A (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN113878214B (zh) 基于lstm与残差分布的焊接质量实时检测方法及系统
CN113695713B (zh) 一种热水器内胆焊接质量在线监测方法及装置
CN109649432B (zh) 基于导波技术的云端平台钢轨完整性监测系统及方法
CN106198749B (zh) 一种基于金属裂纹监测的多路传感器的数据融合方法
CN112487708A (zh) 一种基于集成学习的电阻点焊质量预测方法
CN114252749B (zh) 基于多传感器的变压器局部放电检测方法及装置
CN113177646B (zh) 一种基于自适应边缘代理的配电设备在线监测方法及系统
KR102306269B1 (ko) 실시간 아크 용접 결함 탐지/분류 방법 및 장치
CN111855810A (zh) 一种基于循环神经网络的轨底伤损识别方法及系统
CN111753877B (zh) 一种基于深度神经网络迁移学习的产品质量检测方法
CN114799610A (zh) 一种基于傅里叶逆变换及自编码器的焊接质量实时检测方法及系统
CN116625683A (zh) 一种风电机组轴承故障识别方法、系统、装置及电子设备
CN210829975U (zh) 一种基于边缘计算和机器学习的液压系统状态监测系统
CN112160761A (zh) 一种基于现场参数的硬岩tbm刀盘滚刀磨损实时评估方法
Shen et al. SSCT-Net: A semisupervised circular teacher network for defect detection with limited labeled multiview MFL samples
CN113237619B (zh) 变转速旋转机械振动的故障预警方法、装置、设备以及存储介质
CN113450827A (zh) 基于压缩神经网络的设备异常工况声纹分析算法
CN116257651B (zh) 一种贯通道渡板异响智能监测系统
CN115106615A (zh) 一种基于工况智能识别的焊偏实时检测方法及系统
CN116434368A (zh) 一种多功能手持巡检仪及巡检方法
EP3888839B1 (en) Method and system for monitoring and identifying the weld quality of a welding performed by a welding machinery on metallic components
CN109239301B (zh) 一种锚链闪光焊质量在线评估方法
CN115034094A (zh) 一种金属加工机床运行状态预测方法及系统
CN112347903A (zh) 一种基于异构场信号的管道多组件识别方法
CN111444658A (zh) 一种槽型轨几何参数趋势预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant