CN110147818B - 一种基于稀疏表示的激光焊接成型缺陷预测分类的方法 - Google Patents

一种基于稀疏表示的激光焊接成型缺陷预测分类的方法 Download PDF

Info

Publication number
CN110147818B
CN110147818B CN201910288591.XA CN201910288591A CN110147818B CN 110147818 B CN110147818 B CN 110147818B CN 201910288591 A CN201910288591 A CN 201910288591A CN 110147818 B CN110147818 B CN 110147818B
Authority
CN
China
Prior art keywords
molten pool
image
welding
defects
sparse representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910288591.XA
Other languages
English (en)
Other versions
CN110147818A (zh
Inventor
许桢英
周渊
王荣
亚姆巴
邹荣
王匀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201910288591.XA priority Critical patent/CN110147818B/zh
Publication of CN110147818A publication Critical patent/CN110147818A/zh
Application granted granted Critical
Publication of CN110147818B publication Critical patent/CN110147818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种基于稀疏表示的激光焊接成型缺陷预测分类的方法，本发明方法包括：激光焊接熔池几何特征参数的视觉检测和稀疏表示焊接成型缺陷预测分类的方法。本发明通过利用高速CMOS摄像装置与计算机图像处理系统进行焊接成型缺陷预测分类。第一步，利用高速CMOS视觉传感器配合相应减光滤波片进行熔池图像采集，经工业计算机获取熔池特征参数并处理分析，得出熔池特征信息与焊接成型质量的关系。第二步，利用稀疏表示对熔池参数信息建模处理进行熔池成型缺陷的预测分类。通过实验表明，该方法能够根据熔池几何特征与焊缝成型质量间的关系，准确实现焊接缺陷的预测分类，为实现对激光焊接进行在线监测提供了基础。

Description

一种基于稀疏表示的激光焊接成型缺陷预测分类的方法
技术领域
本发明涉及机器视觉以及焊接质量预测领域，尤其涉及一种基于稀疏表示的激光焊接成型缺陷预测分类的方法。通过分析激光焊接过程中熔池图像特征参数与焊接成型质量之间的关系，建立相应的模型，最后通过稀疏表示的方法进行焊接成型质量的预测。
背景技术
激光焊接作为一种优质高效的焊接工艺广泛的应用于机械，电子，冶金，航空航天等制造领域。焊接过程中焊接工艺以及焊接参数的改变都将影响焊接的质量，而焊接质量的改变最直接的体现就是熔池状态的改变，传统焊接过程检测是对焊接过程中产生的声信号以及光信号分析检测，虽然能够检测出一定的焊接缺陷，但不能直观的观察缺陷的产生。因此对熔池图像进行分类检测识别具有十分重要的意义。稀疏表示地提出，标志着信号处理领域中一种新方法的诞生。作为信号研究的一个分支，稀疏表示理论广泛应用于图像得去噪，修复，压缩，识别分类等。稀疏表示对图像的识别分类基于对训练样本的字典学习，通过训练大量样本，获得过完备字典模型，利用过完备字典求取稀疏向量，然后重构待分类样本，根据重构误差的大小，对待测样本进行分类。其分类精度以及分类速度都能达到较高水平。本发明采用机器视觉与稀疏表示识别分类相结合，通过对焊接过程中熔池几何特征的监测，达到对焊接成型质量的预测，对目前激光焊接在线质量检测及控制有很大的利用价值。
发明内容
本发明提出了一种基于稀疏表示的激光焊接成型缺陷预测分类的方法。焊接熔池包含了很多反映焊接质量的重要信息，与焊接质量有着密不可分的关系，通过检测焊接熔池形态的变化能够判断出焊接过程的好坏。本发明根据激光焊接熔池几何特征参数与焊接质量间的关系，利用稀疏表示方法对焊接熔池图像进行检测分类，从而判别焊接成型的质量。
该方法执行步骤如下：S1熔池图像采集、S2熔池图像处理、S3熔池几何特征参数计算、S4分析熔池几何参数变化与焊接成型质量间的关系并根据其中关系将熔池图像分类、S5利用稀疏表示方法训练分类样本构建过完备字典D、S6选择测试图像并计算其稀疏向量α、S7利用过完备字典D与稀疏向量α重构测试样本、S8计算测试样本与重构样本的重构误差并根据最小重构误差分类熔池图像。
S1熔池图像采集：采用高速相机拍摄激光焊接过程中熔池的变化图像，为了减少弧光对图像采集质量的影响，配合相应的滤光片提高图像采集的质量。
S2熔池图像的处理：使用相应的滤波去噪算法对熔池图像进行处理，以便得到更清晰的熔池形貌，然后利用边缘检测算法对熔池进行边缘检测，方便后续熔池几何特征的计算。
S3熔池几何特征参数计算：熔池几何特征参数包括熔池最大宽度W、熔池最大长度L、熔池面积S、尾部后拖角A、和尾部光滑度系数C。利用最小外接矩形法可以求得相应的熔池长宽，根据熔池所占的像素数计算出相应的面积，最后利用反三角函数：
A＝arccos(M2+N2-W2)
其中M＝(W2 2+Li 2)1/2,N＝(W1 2+Li 2)1/2，W1，W2为半宽，Li为半长，求出尾部后拖角。
S4分析熔池几何特征参数变化与焊缝成型质量间的关系并分类：分析熔池几何特征参数变化和焊接成型质量之间的关系，确定当熔池长宽比在0.7-1.4，熔池尾部后拖角在40°-70°之间，熔池面积在9.68mm2～10.5mm2，尾部光滑度系数为0时，焊缝处于良好状态；当熔池长宽比在小于0.7，熔池尾部后拖角在大于90°时，熔池面积在大于10.5mm2，尾部光滑度系数为0～2之间时，焊缝处于焊穿状态；当熔池长宽比在1.4-1.8，熔池尾部后拖角在70°-90°之间，熔池面积在6.32mm2～9.5mm2，尾部光滑度系数大于2时，焊缝会出现气孔类缺陷；当熔池长宽比在大于1.8，熔池尾部后拖角在小于40°，熔池面积在小于5.43mm2，尾部光滑度系数为0-2时，焊缝会出现未熔合缺陷。
S5利用稀疏表示方法构建过完备字典D：将产生不同类缺陷的熔池图像各选取若干张作为训练样本，根据PCA降维方法对样本进行降维处理，具体公式为其中λi为样本，Vi为协方差矩阵，xj为特征向量，m降维维数，然后从训练样本中每类选取一小部分样本构建初始字典，然后利用K-SVD算法在训练样本上进行字典学习，最终构建过完备字典D。
S6求解稀疏向量α：对测试样本y利用CVX(凸优化算法)min||α||1s.t.Dα＝y，计算样本的稀疏向量α。
S7重构测试样本：计算得出稀疏向量α后，利用过完备字典D与α重构测试样本得到重构样本y1，其中y1＝Dα。
S8预测焊接缺陷的类型：对测试集熔池图像利用过完备字典D与稀疏向量α重构熔池图像，后根据式求出实时采集的熔池图像与重构图像间的重构误差(ri)，选择其中重构误差最小的那类缺陷作为对熔池图像所预测的缺陷类型，完成最终的焊接质量成型的预测。
与现有技术相比，本发明有以下优点：
(1)本发明通过计算分析焊接过程中熔池几何特征与焊接成型质量之间的关系，得出了在焊接过程中出现焊穿、气孔夹渣、未熔合以及正常时熔池几何特征参数的范围，完成了熔池几何参数表征焊接质量的证明。本发明能够根据熔池图像特征快速准确的预测焊接过程中焊接缺陷的种类，其预测准确率为95.2％，为激光焊接过程中质量检测提供了方便。
(2)本发明利用稀疏表示方法结合熔池特征参数进行焊接质量的在线预测，这对于后续激光焊接过程的在线监测及控制有很大的意义，同时本发明在目前的焊接工艺上也有很高的实际应用价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为图像采集工作结构图；
图2为熔池图像以及熔池几何特征图；
图3为构建的过完备字典图；
图4为整体实施步骤流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本发明包括如下步骤：
步骤1：如图1所示，采用高速相机拍摄激光焊接过程中熔池的变化图像，焊接过程中产生的弧光会影响图像采集质量，为了减少弧光对图像采集质量的影响，分析弧光光谱，寻找合适的滤光片用以减少弧光对图像质量的影响，提高图像采集的质量。
步骤2：如图2所示，利用图像处理技术对采集到的熔池图像进行滤波去噪以及边缘检测处理，处理后能清晰地看到熔池的边缘，然后利用算法计算熔池的最大宽度W、最大长度L、熔池面积S以及后拖角A等几何特征参数。面积S、长L、宽W分别采用数像素方法统计其长度，后拖角A＝arccos(M2+N2-W2)。
步骤3：通过观察熔池图像几何特征参数的变化对焊接成型质量的影响，得出熔池的长宽比L/W，后拖角A，熔池面积S变化时，焊接质量也随之改变。期间会产生焊穿、未熔合、气孔等缺陷，即当熔池长宽比在0.7-1.4，熔池尾部后拖角在40°-70°之间，熔池面积在9.68mm2～10.5mm2，尾部光滑度系数为0时，焊缝处于良好状态；当熔池长宽比在小于0.7，熔池尾部后拖角在大于90°时，熔池面积在大于10.5mm2，尾部光滑度系数为0～2之间时，焊缝处于焊穿状态；当熔池长宽比在1.4-1.8，熔池尾部后拖角在70°-90°之间，熔池面积在6.32mm2～9.5mm2，尾部光滑度系数大于2时，焊缝会出现气孔类缺陷；当熔池长宽比在大于1.8，熔池尾部后拖角在小于40°，熔池面积在小于5.43mm2，尾部光滑度系数为0-2时，焊缝会出现未熔合缺陷。
步骤4：如图3-4所示，经上述统计后，将产生不同类缺陷的熔池图像各选取若干张作为训练样本，根据PCA降维方法对样本进行降维处理，具体公式为其中λi为样本，Vi为协方差矩阵，xj为特征向量，m降维维数，然后从训练样本中每类选取一小部分样本构建初始字典，然后利用K-SVD算法在训练样本上进行字典学习，最终构建过完备字典D。
步骤5：选择实时采集的熔池图像y，根据min||α||1s.t.Dα＝y，通过CVX(凸优化)算法求解出稀疏向量α。
步骤6：求得稀疏向量α后，利用过完备字典D与系数向量α重构测试样本，得到重构样本y1，其中y1＝Dα。根据式求出图像y与重构图像y1间的重构误差，根据与每类缺陷的重构误差大小，选择其中误差最小的那一类，作为预测焊接过程中所产生的焊接缺陷种类。
通过以上步骤，能够根据熔池图像特征快速准确的预测焊接过程中焊接缺陷的种类，其预测准确率为95.2％，为激光焊接过程中质量检测提供了方便。以上实验均在PC计算机上实现，计算机配置为：CPU inter CORE i5 7th，内存8GB，处理速度5帧/秒；环境配置：Windows10操作系统下Matlab2016a。
综上，本发明的一种基于稀疏表示的激光焊接成型缺陷预测分类的方法，本发明方法包括：激光焊接熔池几何特征参数的视觉检测和稀疏表示焊接成型缺陷预测分类的方法。本发明通过利用高速CMOS摄像装置与计算机图像处理系统进行焊接成型缺陷预测分类。第一步，利用高速CMOS视觉传感器配合相应减光滤波片进行熔池图像采集，经工业计算机获取熔池特征参数并处理分析，得出熔池特征信息与焊接成型质量的关系。第二步，利用稀疏表示对熔池参数信息建模处理进行熔池成型缺陷的预测分类。通过实验表明，该方法能够根据熔池几何特征与焊缝成型质量间的关系，准确实现焊接缺陷的预测分类，为实现对激光焊接进行在线监测提供了基础.
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于稀疏表示的激光焊接成型缺陷预测分类的方法，其特征在于，包括：
利用高速CMOS相机配合窄带滤光片采集激光焊接过程中正面熔池图像；
对熔池图像进行滤波、去噪、边缘检测等图像处理操作，并对处理后的图像利用算法计算其几何特征参数；
分析熔池图像几何特征参数与焊缝成型质量间的关系，确定相应成型缺陷所对应的熔池特征参数范围；
利用稀疏表示算法选择相应样本进行训练，并构建过完备字典D；
对实时采集到的熔池图像，利用CVX凸优化算法计算其稀疏向量α；
利用过完备字典D与稀疏向量α重构采集到的熔池图像，然后根据重构图像与采集的熔池图像之间最小重构误差，来预测焊接过程中产生缺陷的类型；
利用稀疏表示算法选择相应样本进行训练中，将产生不同类缺陷的熔池图像各选取若干张作为训练样本，根据PCA降维方法对样本进行降维处理，具体公式为其中λi为样本，Vi为协方差矩阵，xj为特征向量，m降维维数，然后从训练样本中每类选取一小部分样本构建初始字典，利用K-SVD算法在训练样本上进行字典学习，最终构建过完备字典D。
2.根据权利要求1所述的一种基于稀疏表示的激光焊接成型缺陷预测分类的方法，其特征在于，获取熔池图像后，利用最小外接矩形法计算熔池的最大长度L与最大宽度W，根据熔池图像占的像素值计算熔池面积S，后拖角A为熔池轮廓竖直方向最大长度处的一点到熔池的最大宽度处的张角，利用三角形三边关系和余弦定理可得知熔池的后拖角A满足公式
A＝arccos(M2+N2-W2)
其中M＝(W2 2+Li 2)1/2,N＝(W1 2+Li 2)1/2，W1，W2为半宽，Li为半长。
3.根据权利要求1所述的一种基于稀疏表示的激光焊接成型缺陷预测分类的方法，其特征在于，成型缺陷所对应的熔池特征参数范围包括：记录熔池长宽比L/W、面积S以及后拖角A的变化在产生不同焊接缺陷时所在的范围，最终得出当熔池长宽比在0.7-1.4，熔池尾部后拖角在40°-70°之间，熔池面积在9.68mm2～10.5mm2；尾部光滑度系数为0时，焊缝处于良好状态；当熔池长宽比在小于0.7，熔池尾部后拖角在大于90°时，熔池面积在大于10.5mm2，尾部光滑度系数为0～2之间时，焊缝处于焊穿状态；当熔池长宽比在1.4-1.8，熔池尾部后拖角在70°-90°之间，熔池面积在6.32mm2～9.5mm2，尾部光滑度系数大于2时，焊缝会出现气孔类缺陷；当熔池长宽比在大于1.8，熔池尾部后拖角在小于40°，熔池面积在小于5.43mm2，尾部光滑度系数为0-2时，焊缝会出现未熔合缺陷。
4.根据权利要求1所述的一种基于稀疏表示的激光焊接成型缺陷预测分类的方法，其特征在于，利用凸优化算法min||α||1 s.t.Dα＝y，y为测试集熔池图像，解出稀疏向量α，通过稀疏向量α与过完备字典D重构得到y1，其中y1＝Dα。
5.根据权利要求1所述的一种基于稀疏表示的激光焊接成型缺陷预测分类的方法，其特征在于，对测试集熔池图像利用过完备字典D与稀疏向量α重构熔池图像，后根据式求出实时采集的熔池图像与重构图像间的重构误差ri(y)，选择其中重构误差最小的那类缺陷作为对熔池图像所预测的缺陷类型，完成最终的焊接质量成型的预测。/>
CN201910288591.XA 2019-04-11 2019-04-11 一种基于稀疏表示的激光焊接成型缺陷预测分类的方法 Active CN110147818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910288591.XA CN110147818B (zh) 2019-04-11 2019-04-11 一种基于稀疏表示的激光焊接成型缺陷预测分类的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910288591.XA CN110147818B (zh) 2019-04-11 2019-04-11 一种基于稀疏表示的激光焊接成型缺陷预测分类的方法

Publications (2)

Publication Number Publication Date
CN110147818A CN110147818A (zh) 2019-08-20
CN110147818B true CN110147818B (zh) 2023-07-18

Family

ID=67588851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910288591.XA Active CN110147818B (zh) 2019-04-11 2019-04-11 一种基于稀疏表示的激光焊接成型缺陷预测分类的方法

Country Status (1)

Country Link
CN (1) CN110147818B (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200478B (zh) * 2014-09-12 2017-03-22 广东财经大学 一种基于稀疏表示的低分辨率触摸屏图像缺陷检测方法
CN107085700A (zh) * 2017-01-16 2017-08-22 安徽大学 一种基于稀疏表示与单隐层神经网络技术相结合的人脸识别方法

Also Published As

Publication number Publication date
CN110147818A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN108171112B (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN109886298B (zh) 一种基于卷积神经网络的焊缝质量检测方法
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
KR20230124713A (ko) 결함 검출 방법, 장치 및 시스템
US11836967B2 (en) Method and device for small sample defect classification and computing equipment
CN105891233A (zh) 基于机器视觉的镜片表面缺陷智能检测系统及其实现方法
Liu et al. MSC-DNet: An efficient detector with multi-scale context for defect detection on strip steel surface
CN111815555A (zh) 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置
CN115184359A (zh) 一种自动调参的表面缺陷检测系统与方法
Tang et al. Anomaly detection of core failures in die casting X-ray inspection images using a convolutional autoencoder
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
Yang et al. Detection of weld groove edge based on multilayer convolution neural network
CN114140384A (zh) 基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法
CN112862744A (zh) 一种基于超声图像的电容内部缺陷智能检测方法
Su et al. A cascaded combination method for defect detection of metal gear end-face
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN113807378A (zh) 训练数据增量方法、电子装置与计算机可读记录介质
Wang et al. Online detection of weld surface defects based on improved incremental learning approach
Wang et al. Welding seam detection and location: Deep learning network-based approach
CN106682604B (zh) 一种基于深度学习的模糊图像检测方法
Zhou et al. An adaptive clustering method detecting the surface defects on linear guide rails
Mumbelli et al. An application of Generative Adversarial Networks to improve automatic inspection in automotive manufacturing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant