CN112666248A - 基于深度学习的焊缝缺陷自动检测方法、系统 - Google Patents
基于深度学习的焊缝缺陷自动检测方法、系统 Download PDFInfo
- Publication number
- CN112666248A CN112666248A CN202011490045.3A CN202011490045A CN112666248A CN 112666248 A CN112666248 A CN 112666248A CN 202011490045 A CN202011490045 A CN 202011490045A CN 112666248 A CN112666248 A CN 112666248A
- Authority
- CN
- China
- Prior art keywords
- eddy current
- population
- image information
- weld
- welding seam
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 86
- 238000001514 detection method Methods 0.000 title claims abstract description 70
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000003466 welding Methods 0.000 claims description 101
- 238000000034 method Methods 0.000 claims description 44
- 230000006870 function Effects 0.000 claims description 31
- 230000035772 mutation Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 230000002068 genetic effect Effects 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 10
- 238000000513 principal component analysis Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 8
- 238000003709 image segmentation Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000013526 transfer learning Methods 0.000 claims description 5
- 238000011179 visual inspection Methods 0.000 description 10
- 238000007689 inspection Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000007418 data mining Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009659 non-destructive testing Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- CWYNVVGOOAEACU-UHFFFAOYSA-N Fe2+ Chemical compound [Fe+2] CWYNVVGOOAEACU-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005246 galvanizing Methods 0.000 description 1
- 238000010353 genetic engineering Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000006247 magnetic powder Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000002893 slag Substances 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Abstract
本发明提供了一种基于深度学习的焊缝缺陷自动检测方法、系统，主机根据距离传感器采集到的距离信息控制三维扫描仪和涡流检测设备分别采集焊缝表面图像信息、涡流信息；主机根据焊缝表面图像信息定位可疑区域，并根据可疑区域的焊缝表面图像信息和涡流信息判断焊缝缺陷。本发明实时的、自动化的焊缝缺陷检测方法，大大提升了检测效率以及检测精度。
Description
技术领域
本发明涉及缺陷检测领域，具体地，涉及一种基于深度学习的焊缝缺陷自动检测方法、系统。
背景技术
焊接质量检测可分为破坏检测和无损检测，破坏检测包括拉伸、杯凸实验，可靠性更高，但会破坏工件，因此无法作为常规检测手段。无损检测技术是指在不破坏被检测物的前提下，采用特定的方法，如传统的视觉检测、磁粉检测(MT)、射线检测(RT)、超声检测(UT)及涡流检测(ET)等。其中，无损检测中的超声波检测和X射线检测等不适合在线检测。
视觉检测方法是目前使用最广泛的无损检测方法。传统的视觉检测方法是人工视觉检测，即由经验丰富的检验人员肉眼观察焊缝缺陷，通过测量工具对焊缝外观形貌进行测量。人工视觉检测劳动强度高，依赖人的主观判断，检测周期长，不能实现在线检测。随着计算机技术和图像处理技术的发展，焊缝质量视觉检测可以代替人工在恶劣的工况下完成更多任务，是一项具有发展潜力的检测技术。国内外在焊缝视觉检测的算法研究和系统开发上已经有了一定的技术基础，但是目前焊接的视觉检测大多用于焊缝跟踪，外观尺寸测量，对于缺陷的分析研究较少，没有发现专门针对汽车板窄搭接电阻焊焊缝的视觉检测算法及其系统，在实际工业并没有得到应用，缺少系统的检测方案。
除了视觉检测以外，对焊缝进行无损检测时还可以采用涡流检测法。但是目前的涡流检测技术大多是基于阻抗平面图来分析产品有无缺陷，对于不同缺陷的涡流信号并没有效分析，因而即使检测出有缺陷也不能判断缺陷的类型。无法在实际生产中从根本上提高焊缝检测系统的质量。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于深度学习的焊缝缺陷自动检测方法、系统。
根据本发明提供的一种基于深度学习的焊缝缺陷自动检测系统，包括：三维扫描仪、涡流检测设备、第一单片机、第二单片机、距离传感器以及主机；
所述距离传感器通过所述第一单片机连接所述主机，所述涡流检测设备通过所述第二单片机连接所述主机，所述三维扫描仪、所述涡流检测设备和所述距离传感器设置于焊机的焊臂上，在焊接过程中与焊机随动；
所述主机根据所述距离传感器采集到的距离信息控制所述三维扫描仪和所述涡流检测设备分别采集焊缝表面图像信息、涡流信息；
所述主机根据所述焊缝表面图像信息定位可疑区域，并根据所述可疑区域的焊缝表面图像信息和涡流信息判断焊缝缺陷。
优选地，所述主机对所述焊缝表面图像信息进行预处理，包括：
获取焊缝边缘多个像素点的集群特征，划分焊缝边缘；
通过图像卷积，利用卷积核对焊缝表面图像信息运算，利用卷积得出焊缝表面图像信息在像素点的灰度一阶导数，得到特征图像；
对得到的特征图像进行图像分割。
优选地，所述主机对所述涡流信息进行预处理，包括：
Step1：初始化；
Step2：编码，将各分解层改进阈值函数自适应调节因子aj,αj,βj和阈值修正因子ξj用整数编码表示；
Step3：产生初始种群，种群规模为n；
Step4：计算适应度，采用信噪比作为适应度函数，适应度函数表达式为：
式中：s(n)为有用信号；
为去噪以后的估计信号；
Step5：精英个体保留，在计算适应度的基础上进行个体适应度排序，并将适应度最好的精英个体SNRmax保留；
Step6：遗传操作产生新一代种群，对父代个体进行选择、交叉、变异产生子代种群，并计算适应度值：对通过选择的群体，进行概率为Pc的单点交叉；变异操作采用自适应变异概率，自适应变异概率公式为：
式中：Pm为变异概率；SNRmax为群体中目标函数最大值；SNRavg为群体目标函数平均值；Pm1,Pm2为常数，本文取Pm1＝0.2,Pm2＝0.1；
Step7：若子代种群中的最优个体适应度值比保留的父代好，证明种群已优化，用保留的精英个体SNRmax替换子代最差个体SNRmin，同时将精英个体替换为子代最佳个体；否则保留父代精英个体不变，继续迭代；
Step8：算法终止，若遗传代数Gen大于最大进化代数，终止迭代，输出精英个体及对应的优化结果；否则，返回Step4。
优选地，根据所述可疑区域的焊缝表面图像信息判断焊缝缺陷的方法包括：
采用两阶段模型，首先对可疑区域进行检测，分析区域内缺陷的类别，借助迁移学习，采用预训练模型进行训练。
优选地，根据所述涡流信息判断焊缝缺陷的方法包括：
选取8个时域特征参数，分别为：均值、方差、均方差、极大值、极小值、偏态系数、峰态系数、过零点个数；
选取4个频域特征参数：中心频率、均方根频率、频率标准差、能量；
采用PCA方法对特征向量进行降维和优化处理，作为后续焊缝缺陷分类的特征向量。
根据本发明提供的一种基于深度学习的焊缝缺陷自动检测方法，采用上述的基于深度学习的焊缝缺陷自动检测系统；
所述主机根据所述距离传感器采集到的距离信息控制所述三维扫描仪和所述涡流检测设备分别采集焊缝表面图像信息、涡流信息；
所述主机根据所述焊缝表面图像信息定位可疑区域，并根据所述可疑区域的焊缝表面图像信息和涡流信息判断焊缝缺陷。
优选地，所述主机对所述焊缝表面图像信息进行预处理，包括：
获取焊缝边缘多个像素点的集群特征，划分焊缝边缘；
通过图像卷积，利用卷积核对焊缝表面图像信息运算，利用卷积得出焊缝表面图像信息在像素点的灰度一阶导数，得到特征图像；
对得到的特征图像进行图像分割。
优选地，所述主机对所述涡流信息进行预处理，包括：
Step1：初始化；
Step2：编码，将各分解层改进阈值函数自适应调节因子aj,αj,βj和阈值修正因子ξj用整数编码表示；
Step3：产生初始种群，种群规模为n；
Step4：计算适应度，采用信噪比作为适应度函数，适应度函数表达式为：
式中：s(n)为有用信号；
为去噪以后的估计信号；
Step5：精英个体保留，在计算适应度的基础上进行个体适应度排序，并将适应度最好的精英个体SNRmax保留；
Step6：遗传操作产生新一代种群，对父代个体进行选择、交叉、变异产生子代种群，并计算适应度值：对通过选择的群体，进行概率为Pc的单点交叉；变异操作采用自适应变异概率，自适应变异概率公式为：
式中：Pm为变异概率；SNRmax为群体中目标函数最大值；SNRavg为群体目标函数平均值；Pm1,Pm2为常数，本文取Pm1＝0.2,Pm2＝0.1；
Step7：若子代种群中的最优个体适应度值比保留的父代好，证明种群已优化，用保留的精英个体SNRmax替换子代最差个体SNRmin，同时将精英个体替换为子代最佳个体；否则保留父代精英个体不变，继续迭代；
Step8：算法终止，若遗传代数Gen大于最大进化代数，终止迭代，输出精英个体及对应的优化结果；否则，返回Step4。
优选地，根据所述可疑区域的焊缝表面图像信息判断焊缝缺陷的方法包括：
采用两阶段模型，首先对可疑区域进行检测，分析区域内缺陷的类别，借助迁移学习，采用预训练模型进行训练。
优选地，根据所述涡流信息判断焊缝缺陷的方法包括：
选取8个时域特征参数，分别为：均值、方差、均方差、极大值、极小值、偏态系数、峰态系数、过零点个数；
选取4个频域特征参数：中心频率、均方根频率、频率标准差、能量；
采用PCA方法对特征向量进行降维和优化处理，作为后续焊缝缺陷分类的特征向量。
与现有技术相比，本发明具有如下的有益效果：
本发明将焊缝表面的图像信息以及内部的涡流信号有机的结合起来。完成信息采集后，通过表面图像信息，快速定位可能存在缺陷的焊缝区域，为之后的数据挖掘提供引导，大大提升检测效率以及检测精度。完成可疑区域定位后，对可疑区域的图像信息以及涡流信号做进一步数据处理。图像数据用于分析焊缝宽度、平整度、错边、缺陷等信息。采用图像分割计算的出焊缝宽度信息。采用三维激光扫描仪扫描得到成形件表面的点云数据，通过计算点云坐标偏离基准平面的程度表征表面平整度。通过测量灰度图可以计算焊缝错边。根据图像特征差别来判断焊缝缺陷。完成焊缝表面的图像分析后，可以快速定位可能存在缺陷的区域，再通过涡流设备对可能存在缺陷的区域进行进一步的探查，对可疑区域的涡流信号进行重点分析判别。
在处理焊缝涡流信号过程中，本发明将基于精英保留的遗传算法(EGA)应用到小波阈值去噪领域，利用EGA求解本文改进阈值函数的各层自适应调节因子和阈值修正因子，进而得到最优或近似最优的改进阈值估计函数和小波分层阈值。
与现有数据处理分析方法相比，本发明在分析小波阈值去噪算法的基础上，提出一种带有自适应调节因子的分层小波阈值函数和带有修正因子的分层阈值相结合的去噪算法，并采用改进的EGA求解各层自适应调节因子和修正因子的最优值，具有很强的灵活性和适用性。
本发明设计合理，通过距离传感器实现数据的随动采集，使用三维激光扫描仪和涡流检测设备获取数据，通过图像处理以及模式识别技术，使用深度学习算法将数据进行处理，从而实现了一种焊缝缺陷实时自动检测方法。实现了焊缝缺陷检测的实时化、自动化。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的硬件结构示意图；
图2为本发明的工作流程图；
图3为焊缝检测流程图；
图4为基于EGA的小波阈值去噪流程图；
图5为焊缝缺陷识别流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例中，检测系统的硬件部分由图像采集设备、涡流信号采集设备、距离传感器、单片机、用于传输数据的网线以及中央计算机组成。软件部分为基于C#语言自主开发的焊缝缺陷检测软件。
在焊接机组的窄搭接焊机的基础上，在焊轮后发布置距离传感器、三维激光扫描仪以及涡流检测设备，和焊机随动，从而实现实时非接触式检测。
在该实施例中，选用的三维激光扫描仪的型号为Gocator 2330，可以提供微米级的3D剖面数据，出厂前经过标定，可扫描大小不同的物体。其高度信息，即3D剖面数据可以使对缺陷的检测更加精确。在本项目中，需要把相机固定在窄搭接焊机的焊臂上，使其跟随焊机一同移动。因此需要相机的大小不应过大，且要坚固耐用。Gocator本身机身非常坚固，符合IP67防护标准，机身小巧轻便，可固定在狭小空间内或机械臂上，满足了在线热镀锌产品缺陷检测的要求。它拥有百万像素分辨率和5000Hz扫描速率，满足对于移动物体的信息采集。Gocator 2330采用单色激光亮度图像可以更有效的检测缺陷，视野从47毫米到1.26米，对于焊缝而言有足够的清晰度。通过1Gb以太网接口通讯，可轻松扩展到多传感器系统，无需额外硬件。我们可以通过局域网对扫面仪各项参数进行调整及标定，从而适应不同的实际工况。GOCATOR 2300系列型号规格见表1。
表1 GOCATOR 2300系列所有型号
在该实施例中，涡流检测仪则采用南京博克纳自动化系统有限公司自主研发的涡流检测设备。该涡流检测设备可广泛应用于各类有色金属、黑色金属管、棒、线、丝、型材的在线、离线探伤。对金属管、棒、线、丝、型材的缺陷，如表面裂纹、暗缝、夹渣和开口裂纹等缺陷均具有较高的检测灵敏度。涡流检测设备的主要技术指标见表2。
表2涡流检测设备主要技术指标
如图1和图2所示，包括以下步骤：第一，在焊机的焊臂上布置距离传感器、三维激光扫描仪以及涡流检测设备，在焊接过程中与焊机随动；第二，布置两台单片机，分别与涡流检测设备以及距离传感器通过网线连接，并与主计算机通过串口线连接；第三，主计算机与三维激光扫描仪以及涡流检测设备之间使用网线连接；第四：主计算机运行焊缝缺陷检测软件；第五，焊接开始，距离传感器通过单片机向主计算机传递焊接开始信号；第六，主计算机发出采集开始信号，采集设备开始采集并向主计算机实时传递焊缝信息直至焊接结束；第七，主计算机对焊缝表面图像信息进行分割处理，快速定位可能存在缺陷的可疑区域；第八，涡流设备对可疑区域进行进一步探查；第九，对可疑区域的涡流信号以及表面图像信息进行进一步数据挖掘，并对焊缝缺陷进行检测。本发明实现了在焊接过程中，焊机运动触发距离传感器，由单片机向主计算机传递焊接开始信号，随后主计算机开始运行缺陷检测软件，向三维激光扫描仪和涡流检测设备发出信息采集信号并通过网线将采集信息传回，通过检测软件内置算法对焊缝缺陷进行判断。
为实现检测系统的实时性，当焊接开始时，焊机运动触发距离传感器，由单片机通过串口向计算机发送信号，焊机运动代表正在焊接则单片机向主计算机发送1信号。主计算机通过检测软件监测串口信号，当信号为1时代表焊接开始，主计算机向三维激光扫描仪和涡流检测设备发送采集开始信号，采集设备一直采集信息直至焊接结束。焊接结束后，距离传感器不再被触发，则单片机向计算机发送0信号，主计算机监测到0信号时向采集设备发送停止采集信号。
当三维激光扫描仪收到由主计算机发出的扫描信号时，激光从发生器射出，经过材料表面反射后被接收器接收。激光接收器按照预先设定好的频率接收激光信号，每一次接收到的信号为一行图像信号。当涡流检测收到采集开始信号时，涡流探头是把通有交变电线圈接近被检导体，随后对涡流传感器的电阻抗变化值进行测量。随后采集设备通过网线将采集到的信息通过网线实时传送回主计算机。三维激光扫描仪与主计算机之间采集开始及结束信号通过网线传递，涡流检测设备与主计算机之间采集开始及结束信号通过另一台单片机进行传递。
焊接过程中，主计算机实时收到由采集设备传回的焊缝信息，通过焊缝检测软件系统中的数据预处理模块对数据进行处理，预处理过程包括对表面图像信息进行区域分割、模式识别以及使用小波算法对涡流信号进行降噪处理。
如图3所示，下面给出了图像数据的处理算法：
1)焊缝图像模式识别：如对于窄搭接焊，单一像素点不能表示焊缝边缘特征，本文改进传统单点阈值分割，提出局部窗口的阈值分割算法，获得焊缝边缘多个像素点的集群特征，利用积分图优化算法运行效率，准确划分焊缝边缘并获得焊缝宽度值。在缺陷识别中，焊缝图像部分细节模糊，缺陷与非缺陷纹理没有明显的位置和形状特征，不能简单通过位置，灰度值，形状来提取缺陷。
2)焊缝边缘分割：首先通过图像卷积，利用卷积核对图像进行一系列运算，利用卷积得出原始图像在像素点的灰度一阶导数，增强图像特征。
3)图像分割：对得到的特征图像进行图像分割，采用的边缘划分伪代码如下。
边缘划分算法
涡流信号信号处理的具体方案如下：
Step1：初始化。
Step2：编码。本文采用十进制编码方式，即将各分解层改进阈值函数自适应调节因子aj,αj,βj和阈值修正因子ξj用整数编码表示。
Step3：产生初始种群。本文种群规模取n＝100。
Step4：计算适应度。信噪比(signal to noise ratio,SNR)常用来判断信号去噪效果的好坏，SNR越大表明去噪效果越好。因此本文采用信噪比作为适应度函数，SNR表达式为：
式中：s(n)为有用信号；
为去噪以后的估计信号。
Step5：精英个体保留。在计算适应度SNR的基础上进行个体适应度排序，并将适应度最好的精英个体SNRmax保留。
Step6：遗传操作产生新一代种群。对父代个体进行选择、交叉、变异产生子代种群，并计算其适应度值。选择操作采用经典轮盘赌法；对通过选择的群体，进行概率为Pc的单点交叉，本文取Pc＝0.8；变异操作采用自适应变异概率，自适应变异概率可以减少破坏群体中原有的最优解的概率，当算法接近最优解时，防止过高的变异概率使最优解被破坏。自适应变异概率公式为：
式中：Pm为变异概率；SNRmax为群体中目标函数最大值；SNRavg为群体目标函数平均值；Pm1,Pm2为常数，本文取Pm1＝0.2,Pm2＝0.1。
Step7：若子代种群中的最优个体适应度值比保留的父代好，证明种群已优化，用保留的精英个体SNRmax替换子代最差个体SNRmin，同时将精英个体替换为子代最佳个体；否则保留父代精英个体不变，继续迭代。
Step8：算法终止。若遗传代数Gen大于最大进化代数，终止迭代，输出精英个体及对应的优化结果，最大迭代次数取200；否则，返回Step4。
利用EGA求解最优或近似最优的改进阈值估计函数和小波阈值的过程如图4所示。
完成数据预处理后，调用焊缝检测软件系统的判断模块对焊缝缺陷进行检测，检测主要分析图像信号、涡流信号两种数据，给出焊缝缺陷的识别情况。下面给出了检测过程数据分析算法的介绍。主要分为图像信号、涡流检测信号两个方面：
1)图像信号特征提取与缺陷识别：本发明采用深度学习的方法对焊缝缺陷进行识别，采用两阶段模型，首先对存在缺陷的区域进行检测，再准确分析区域内缺陷的类别。同时为了降低训练难度与数据需求，本项目借助迁移学习技术，采用预训练模型进行训练。
2)涡流检测信号特征提取与缺陷识别：本发明结合了Huang提出的一种适用于分析非线性、非平稳信号的时频分析方法，该方法能将复杂信号分解成若干个固有模态函数(Intrinsic Mode Function,IMF)和一个余项。为充分反映涡流信号的特征情况根据涡流信号的特性及前人的研究结果选取8个时域特征参数，分别为：均值、方差、均方差、极大值、极小值、偏态系数、峰态系数、过零点个数；再选取4个频域特征参数：中心频率、均方根频率、频率标准差、能量。为了降低分析数据的维度，采用PCA方法对特征向量进行降维和优化处理。将经过PCA降维之后的8个主元特征作为后续焊缝缺陷分类的特征向量。本发明采用了SVM的基本思想，把学习样本从输入空间映射到一个高维特征空间，然后在此空间中构造最优分类超平面实现缺陷识别。应用SVM对窄搭接焊缝缺陷分类的算法流程如图5所示。
利用上述算法完成缺陷检测步骤后，将缺陷检测结果实时反馈到主计算机界面中，主计算机为微星台式电脑，系统环境为Windows10。
该实施例中，只需在主计算机开始运行焊缝缺陷检测系统，随后从焊接开始到焊接结束及缺陷检测结果反馈全过程中不需要额外人工操作，从而实现了焊接过程中对焊缝缺陷的实时、自动化检测。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种基于深度学习的焊缝缺陷自动检测系统，其特征在于，包括：三维扫描仪、涡流检测设备、第一单片机、第二单片机、距离传感器以及主机；
所述距离传感器通过所述第一单片机连接所述主机，所述涡流检测设备通过所述第二单片机连接所述主机，所述三维扫描仪、所述涡流检测设备和所述距离传感器设置于焊机的焊臂上，在焊接过程中与焊机随动；
所述主机根据所述距离传感器采集到的距离信息控制所述三维扫描仪和所述涡流检测设备分别采集焊缝表面图像信息、涡流信息；
所述主机根据所述焊缝表面图像信息定位可疑区域，并根据所述可疑区域的焊缝表面图像信息和涡流信息判断焊缝缺陷。
2.根据权利要求1所述的基于深度学习的焊缝缺陷自动检测系统，其特征在于，所述主机对所述焊缝表面图像信息进行预处理，包括：
获取焊缝边缘多个像素点的集群特征，划分焊缝边缘；
通过图像卷积，利用卷积核对焊缝表面图像信息运算，利用卷积得出焊缝表面图像信息在像素点的灰度一阶导数，得到特征图像；
对得到的特征图像进行图像分割。
3.根据权利要求1所述的基于深度学习的焊缝缺陷自动检测系统，其特征在于，所述主机对所述涡流信息进行预处理，包括：
Step1：初始化；
Step2：编码，将各分解层改进阈值函数自适应调节因子aj,αj,βj和阈值修正因子ξj用整数编码表示；
Step3：产生初始种群，种群规模为n；
Step4：计算适应度，采用信噪比作为适应度函数，适应度函数表达式为：
式中：s(n)为有用信号；
为去噪以后的估计信号；
Step5：精英个体保留，在计算适应度的基础上进行个体适应度排序，并将适应度最好的精英个体SNRmax保留；
Step6：遗传操作产生新一代种群，对父代个体进行选择、交叉、变异产生子代种群，并计算适应度值：对通过选择的群体，进行概率为Pc的单点交叉；变异操作采用自适应变异概率，自适应变异概率公式为：
式中：Pm为变异概率；SNRmax为群体中目标函数最大值；SNRavg为群体目标函数平均值；Pm1,Pm2为常数，本文取Pm1＝0.2,Pm2＝0.1；
Step7：若子代种群中的最优个体适应度值比保留的父代好，证明种群已优化，用保留的精英个体SNRmax替换子代最差个体SNRmin，同时将精英个体替换为子代最佳个体；否则保留父代精英个体不变，继续迭代；
Step8：算法终止，若遗传代数Gen大于最大进化代数，终止迭代，输出精英个体及对应的优化结果；否则，返回Step4。
4.根据权利要求1所述的基于深度学习的焊缝缺陷自动检测系统，其特征在于，根据所述可疑区域的焊缝表面图像信息判断焊缝缺陷的方法包括：
采用两阶段模型，首先对可疑区域进行检测，分析区域内缺陷的类别，借助迁移学习，采用预训练模型进行训练。
5.根据权利要求1所述的基于深度学习的焊缝缺陷自动检测系统，其特征在于，根据所述涡流信息判断焊缝缺陷的方法包括：
选取8个时域特征参数，分别为：均值、方差、均方差、极大值、极小值、偏态系数、峰态系数、过零点个数；
选取4个频域特征参数：中心频率、均方根频率、频率标准差、能量；
采用PCA方法对特征向量进行降维和优化处理，作为后续焊缝缺陷分类的特征向量。
6.一种基于深度学习的焊缝缺陷自动检测方法，其特征在于，采用权利要求1所述的基于深度学习的焊缝缺陷自动检测系统；
所述主机根据所述距离传感器采集到的距离信息控制所述三维扫描仪和所述涡流检测设备分别采集焊缝表面图像信息、涡流信息；
所述主机根据所述焊缝表面图像信息定位可疑区域，并根据所述可疑区域的焊缝表面图像信息和涡流信息判断焊缝缺陷。
7.根据权利要求6所述的基于深度学习的焊缝缺陷自动检测方法，其特征在于，所述主机对所述焊缝表面图像信息进行预处理，包括：
获取焊缝边缘多个像素点的集群特征，划分焊缝边缘；
通过图像卷积，利用卷积核对焊缝表面图像信息运算，利用卷积得出焊缝表面图像信息在像素点的灰度一阶导数，得到特征图像；
对得到的特征图像进行图像分割。
8.根据权利要求6所述的基于深度学习的焊缝缺陷自动检测方法，其特征在于，所述主机对所述涡流信息进行预处理，包括：
Step1：初始化；
Step2：编码，将各分解层改进阈值函数自适应调节因子aj,αj,βj和阈值修正因子ξj用整数编码表示；
Step3：产生初始种群，种群规模为n；
Step4：计算适应度，采用信噪比作为适应度函数，适应度函数表达式为：
式中：s(n)为有用信号；
去噪以后的估计信号；
Step5：精英个体保留，在计算适应度的基础上进行个体适应度排序，并将适应度最好的精英个体SNRmax保留；
Step6：遗传操作产生新一代种群，对父代个体进行选择、交叉、变异产生子代种群，并计算适应度值：对通过选择的群体，进行概率为Pc的单点交叉；变异操作采用自适应变异概率，自适应变异概率公式为：
式中：Pm为变异概率；SNRmax为群体中目标函数最大值；SNRavg为群体目标函数平均值；Pm1,Pm2为常数，本文取Pm1＝0.2,Pm2＝0.1；
Step7：若子代种群中的最优个体适应度值比保留的父代好，证明种群已优化，用保留的精英个体SNRmax替换子代最差个体SNRmin，同时将精英个体替换为子代最佳个体；否则保留父代精英个体不变，继续迭代；
Step8：算法终止，若遗传代数Gen大于最大进化代数，终止迭代，输出精英个体及对应的优化结果；否则，返回Step4。
9.根据权利要求6所述的基于深度学习的焊缝缺陷自动检测方法，其特征在于，根据所述可疑区域的焊缝表面图像信息判断焊缝缺陷的方法包括：
采用两阶段模型，首先对可疑区域进行检测，分析区域内缺陷的类别，借助迁移学习，采用预训练模型进行训练。
10.根据权利要求6所述的基于深度学习的焊缝缺陷自动检测方法，其特征在于，根据所述涡流信息判断焊缝缺陷的方法包括：
选取8个时域特征参数，分别为：均值、方差、均方差、极大值、极小值、偏态系数、峰态系数、过零点个数；
选取4个频域特征参数：中心频率、均方根频率、频率标准差、能量；
采用PCA方法对特征向量进行降维和优化处理，作为后续焊缝缺陷分类的特征向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011490045.3A CN112666248A (zh) | 2020-12-16 | 2020-12-16 | 基于深度学习的焊缝缺陷自动检测方法、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011490045.3A CN112666248A (zh) | 2020-12-16 | 2020-12-16 | 基于深度学习的焊缝缺陷自动检测方法、系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112666248A true CN112666248A (zh) | 2021-04-16 |
Family
ID=75405834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011490045.3A Pending CN112666248A (zh) | 2020-12-16 | 2020-12-16 | 基于深度学习的焊缝缺陷自动检测方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112666248A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113325068A (zh) * | 2021-04-29 | 2021-08-31 | 河南工业大学 | 基于模糊控制的焊缝焊接质量检测方法和检测系统 |
| CN113376172A (zh) * | 2021-07-05 | 2021-09-10 | 四川大学 | 一种基于视觉与涡流的焊缝缺陷检测系统及其检测方法 |
| CN113843172A (zh) * | 2021-08-23 | 2021-12-28 | 上海航天精密机械研究所 | 基于多模态图像的无损检测装置及其检测方法 |
| CN113989280A (zh) * | 2021-12-28 | 2022-01-28 | 武汉市鑫景诚路桥钢模有限公司 | 基于图像处理技术的钢结构焊接裂纹缺陷检测方法 |
| CN116511754A (zh) * | 2023-07-04 | 2023-08-01 | 中国电子科技集团公司第二十八研究所 | 一种方舱大板骨架焊接路径规划方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104914111A (zh) * | 2015-05-18 | 2015-09-16 | 北京华检智研软件技术有限责任公司 | 一种带钢表面缺陷在线智能识别检测系统及其检测方法 |
| US20160252464A1 (en) * | 2013-10-18 | 2016-09-01 | Saga University | Cracking detection system and cracking detection method |
| US20170336361A1 (en) * | 2014-11-14 | 2017-11-23 | Kabushiki Kaisha Toshiba | Eddy-current flaw detector and eddy-current flaw detection method |
| CN107589174A (zh) * | 2017-10-19 | 2018-01-16 | 广东工业大学 | 一种焊缝缺陷检测系统 |
| CN107843644A (zh) * | 2017-12-07 | 2018-03-27 | 上海超具机器人科技有限公司 | 一种车身焊点自动检测系统及其控制方法 |
| JP2018124154A (ja) * | 2017-01-31 | 2018-08-09 | 学校法人五島育英会 | 鋼橋溶接止端部の疲労き裂に対する渦流探傷結果のｃ−スコープ画像化システム |
| CN208000292U (zh) * | 2018-04-17 | 2018-10-23 | 广西艾盛创制科技有限公司 | 一种基于涡流漏磁的自动化检测焊点系统 |
| CN110695562A (zh) * | 2019-09-26 | 2020-01-17 | 广东工业大学 | 一种焊接质量在线检测系统及方法 |
| CN110763727A (zh) * | 2019-10-23 | 2020-02-07 | 广东工业大学 | 一种焊接缺陷的无损检测系统 |
| CN111982916A (zh) * | 2020-08-20 | 2020-11-24 | 南京中车浦镇城轨车辆有限责任公司 | 一种基于机器视觉的焊缝表面缺陷检测方法及系统 |
-
2020
- 2020-12-16 CN CN202011490045.3A patent/CN112666248A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160252464A1 (en) * | 2013-10-18 | 2016-09-01 | Saga University | Cracking detection system and cracking detection method |
| US20170336361A1 (en) * | 2014-11-14 | 2017-11-23 | Kabushiki Kaisha Toshiba | Eddy-current flaw detector and eddy-current flaw detection method |
| CN104914111A (zh) * | 2015-05-18 | 2015-09-16 | 北京华检智研软件技术有限责任公司 | 一种带钢表面缺陷在线智能识别检测系统及其检测方法 |
| JP2018124154A (ja) * | 2017-01-31 | 2018-08-09 | 学校法人五島育英会 | 鋼橋溶接止端部の疲労き裂に対する渦流探傷結果のｃ−スコープ画像化システム |
| CN107589174A (zh) * | 2017-10-19 | 2018-01-16 | 广东工业大学 | 一种焊缝缺陷检测系统 |
| CN107843644A (zh) * | 2017-12-07 | 2018-03-27 | 上海超具机器人科技有限公司 | 一种车身焊点自动检测系统及其控制方法 |
| CN208000292U (zh) * | 2018-04-17 | 2018-10-23 | 广西艾盛创制科技有限公司 | 一种基于涡流漏磁的自动化检测焊点系统 |
| CN110695562A (zh) * | 2019-09-26 | 2020-01-17 | 广东工业大学 | 一种焊接质量在线检测系统及方法 |
| CN110763727A (zh) * | 2019-10-23 | 2020-02-07 | 广东工业大学 | 一种焊接缺陷的无损检测系统 |
| CN111982916A (zh) * | 2020-08-20 | 2020-11-24 | 南京中车浦镇城轨车辆有限责任公司 | 一种基于机器视觉的焊缝表面缺陷检测方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 吴易州，苗瑞等: "基于三维激光扫描的窄搭接焊特征提取与缺陷识别", 《应用激光》 * |
| 吴易洲: "数据驱动的焊缝图像缺陷识别与评价研究", 《工程科技I辑》 * |
| 葛亮: "数据驱动的焊缝涡流信号缺陷识别与诊断研究", 《工程科技I辑》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113325068A (zh) * | 2021-04-29 | 2021-08-31 | 河南工业大学 | 基于模糊控制的焊缝焊接质量检测方法和检测系统 |
| CN113325068B (zh) * | 2021-04-29 | 2024-02-02 | 河南工业大学 | 基于模糊控制的焊缝焊接质量检测方法和检测系统 |
| CN113376172A (zh) * | 2021-07-05 | 2021-09-10 | 四川大学 | 一种基于视觉与涡流的焊缝缺陷检测系统及其检测方法 |
| CN113843172A (zh) * | 2021-08-23 | 2021-12-28 | 上海航天精密机械研究所 | 基于多模态图像的无损检测装置及其检测方法 |
| CN113989280A (zh) * | 2021-12-28 | 2022-01-28 | 武汉市鑫景诚路桥钢模有限公司 | 基于图像处理技术的钢结构焊接裂纹缺陷检测方法 |
| CN116511754A (zh) * | 2023-07-04 | 2023-08-01 | 中国电子科技集团公司第二十八研究所 | 一种方舱大板骨架焊接路径规划方法 |
| CN116511754B (zh) * | 2023-07-04 | 2023-10-24 | 中国电子科技集团公司第二十八研究所 | 一种方舱大板骨架焊接路径规划方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112666248A (zh) | 基于深度学习的焊缝缺陷自动检测方法、系统 | |
| CN105066915B (zh) | 模具曲面加工误差和表面粗糙度在机检测装置及检测方法 | |
| CN107782733B (zh) | 金属表面缺陷的图像识别无损检测装置及方法 | |
| CN102928435A (zh) | 基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置 | |
| CN110385282B (zh) | 机械装配中基于深度学习的多余物视觉检测系统与方法 | |
| CN109142533B (zh) | 一种铸件内部缺陷的快速检测方法及设备 | |
| CN108008006B (zh) | 一种焊缝缺陷检测方法、装置、设备及系统 | |
| CN107796827A (zh) | 集成芯片裂纹检测装置及方法 | |
| Tang et al. | An online surface defects detection system for AWAM based on deep learning | |
| CN114119595A (zh) | 一种基于集成深度学习的gmaw焊接质量在线监测及评价方法 | |
| CN111474137A (zh) | 一种基于卷积神经网络的柑橘糖度无损检测方法 | |
| CN208043698U (zh) | 集成芯片裂纹检测装置 | |
| Chen et al. | Closed-loop control of robotic arc welding system with full-penetration monitoring | |
| CN107300562B (zh) | 一种测量继电器成品触点间距的x射线无损检测方法 | |
| Wang et al. | Online detection of weld surface defects based on improved incremental learning approach | |
| CN114092411A (zh) | 一种高效快速的双目3d点云焊点缺陷检测方法 | |
| CN112686838B (zh) | 船舶锚链闪光焊接系统的快速检测装置及检测方法 | |
| Chen et al. | A mixed samples-driven methodology based on denoising diffusion probabilistic model for identifying damage in carbon fiber composite structures | |
| Molleda et al. | A fast and robust decision support system for in-line quality assessment of resistance seam welds in the steelmaking industry | |
| Jin et al. | 3D reconstruction of GMAW pool surface using composite sensor technology | |
| CN204881558U (zh) | 模具曲面加工误差和表面粗糙度在机检测装置 | |
| O'Byrne et al. | Effects of turbidity and lighting on the performance of an image processing based damage detection technique | |
| CN115752300A (zh) | 一种在线激光视觉检测平面工件平整度的方法及系统 | |
| CN114972280A (zh) | 精细坐标注意力模块及其在表面缺陷检测中的应用 | |
| CN113984909A (zh) | 一种基于机器学习的绝缘设备缺陷识别及成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210416 |