CN117783274A - 一种智能超声无损检测方法及装置 - Google Patents
一种智能超声无损检测方法及装置 Download PDFInfo
- Publication number
- CN117783274A CN117783274A CN202310637501.XA CN202310637501A CN117783274A CN 117783274 A CN117783274 A CN 117783274A CN 202310637501 A CN202310637501 A CN 202310637501A CN 117783274 A CN117783274 A CN 117783274A
- Authority
- CN
- China
- Prior art keywords
- axis
- ultrasonic
- training
- module
- workpiece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000009659 non-destructive testing Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 74
- 230000007547 defect Effects 0.000 claims abstract description 70
- 239000000523 sample Substances 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 51
- 230000006870 function Effects 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000013135 deep learning Methods 0.000 claims abstract description 31
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 238000011156 evaluation Methods 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 25
- 238000003466 welding Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 18
- 230000002950 deficient Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000011179 visual inspection Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000009432 framing Methods 0.000 claims description 3
- 230000010355 oscillation Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 3
- 230000008859 change Effects 0.000 abstract description 2
- 238000011176 pooling Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 238000010186 staining Methods 0.000 description 5
- 238000010894 electron beam technology Methods 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005336 cracking Methods 0.000 description 2
- 230000001066 destructive effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000008961 swelling Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Abstract
本发明公开一种智能超声无损检测方法及装置，属于超声无损检测技术领域。所述智能超声无损检测方法包括，通过对工件表面进行视觉检测预测缺陷，若预测工件表面无缺陷则通过智能超声无损检测装置将超声探头移动至指定位置，对工件通过超声探测采集多点信息，然后对采集的信息进行超声信号处理。本发明所述视觉检测基于PyTorch深度学习框架搭建深度学习网络模型，使用PartialNetBlock模块和评估函数，以及在训练中利用前向传播计算和反向传播计算进行权重参数的更新，从而提高检测器的整体性能，经过与现有视觉分析方法对比，本发明所述深度学习网络的网络参数量减少了22.63％，复杂度减少了29.44％，Precision与Map0.5无较大变化，最终在保持原有模型精度下使得网络模型更加轻量化。
Description
技术领域
本发明属于超声无损检测技术领域，具体涉及一种智能超声无损检测方法及装置。
背景技术
超声无损探伤技术是在现代科学基础上产生和发展的检测技术，这种技术凭借超声波在试件中的传播特性，使用超声波检测仪来产生声源，超声波按其独有的方式穿入试件内部，声波在介质传播的过程中收集表征信息，并在到达不连续声阻抗介质交界面时出现反射现象，获取超声回波信号，再由超声换能器对超声回波信号进行处理，从中提取速度、声强以及频率等特征信息，从而获取焊接试样超声无损检测结果，有效识别焊接件是否存在裂纹、未熔合等质量缺陷，明确缺陷位置、大小、形状和发展程度，从而判断所测试工件是否合格。
但是该技术也存在着一定程度的局限性，该技术对于工件形态比较复杂与不规则外形材料的检测精度是非常有限的，同时检测质量还受材料材质与晶粒度因素得影响，并且超声检测结果由衰减系数、速度、声强等特征信息组成，无法直接反应金属材料内表质量，检测结果显示不直观等等。
发明内容
针对上述问题，本发明的主要目的在于提供一种智能超声无损检测方法及装置，利用深度学习技术，将视觉检测和超声探测、超声信号处理结合，多方位提升检测正确率，提高无损检测效率。
为实现上述目的，本发明提供了一种智能超声无损检测方法，包括，通过对工件表面进行视觉检测预测缺陷，若预测工件表面无缺陷则通过智能超声无损检测装置将超声探头移动至指定位置，对工件通过超声探测采集多点信息，然后对采集的信息进行超声信号处理；
所述视觉检测具体包括如下步骤：
(1)使用摄像头采集缺陷工件的表面图像，获得超声焊接缺陷数据集，利用插值算法将超声焊接数据集中的所有图像转变为统一尺寸的图像；
(2)将所有变换统一尺寸后的超声焊接缺陷图像数据集分为训练数据集、验证数据集和测试数据集；
(3)利用LabelImg工具包对所述超声焊接缺陷图像数据集的图像进行缺陷种类、缺陷的位置及边界框的标注；
(4)基于PyTorch深度学习框架搭建深度学习网络模型，调节配制深度学习网络模型超参数；
(5)利用随机梯度下降优化器对深度学习网络模型进行训练，训练对象为标注边界框的参数，训练结果的表现形式是训练后得到的权重参数；所述边界框的参数包括边界框的左上角坐标、右下角坐标和类别置信度；
(6)最后使用训练过程中最优的权重参数用于缺陷工件的表面图像检测，所得结果表现形式为框出表面图像上的缺陷部分，并给出缺陷类别与置信度；
在所述步骤(5)的训练过程中使用评估函数，提高模型的检测缺陷精度，所述评估函数如下：
LKIoU2＝νLKIoU1，
LKIoU1＝PIoULIoU
式中，LKIoU2代表使用了LKIoU1，LKIoU1代表使用了距离注意力机制的边界框损失函数；其中PIoU∈[1，e)，是一种距离注意力机制；LIoU∈[0，1]，代表预测边界框与真实边界框的交并比，β表示离群度，以描述锚框的质量，δ与α为两个超参数，ν为梯度增益因子；x、y为预测中心点的坐标，xgt、ygt为真实目标中心点坐标，Wg、Hg为预测框与真实框的最小外接矩形的宽、高。A代表预测框，B代表真实框，A∩B表示预测框与真实框之间的重叠区域的面积，A∪B表示预测框与真实框的总体积；
所述深度学习网络模型包括特征提取网络、特征融合网络与目标检测；所述特征提取网络包括5个CBS模块、4个CSP1_X模块与1个SPPF模块；所述CSP1_X模块是由3个CBS模块、X个PartialNet Block模块和Concat模块。
所述CSP1_X模块的X为1、2或3，即CSP1_1，CSP1_2或CSP1_3。
所述特征提取网络中的4个CSP1_X模块为1个CSP1_2，1个CSP1_3，2个CSP1_1。
本发明针对超声焊接接头成型质量的检测，通过视觉检测将拥有缺陷的试件在系统内部进行建模，挑选出最好的训练模型用于试件缺陷的预测，再通过深度学习的模式自我完善对于试件缺陷部分的检测，最终预测结果表现为标记出试件缺陷位置、类别、置信度信息，为下一步超声波检测提供更为精确的引导。
本发明所述评估函数的主要处理数据流程如下：首先，推理过程中在焊接图片上生成多个锚框，这些锚框具有不同的尺寸与横纵比。其次，将这些推理出来的锚框与人工标注的边界框进行匹配。对于预测出来的每个锚框，都会计算它与真实边界框的IOU，再选择具有最高交并比值的框与真实框匹配。最后，通过评估函数计算边界框损失，使用最大化预测框与真实框之间的IOU来优化回归损失，为实现优化回归损失，损失函数通过梯度下降算法将预测框的坐标向真实框的坐标靠近，并更新神经网络的权重。使用PIoU会显著放大普通质量锚框的LIoU，使用LIoU会显著降低高质量锚框的PIoU，并在锚框与目标框重合较好的情况下显著降低其对中心点距离的关注，因此会聚焦于普通质量的锚框，从而提高模型的定位性能。这样，在训练过程中网络能够学会生成更准确的锚框预测。
所述CSP1_X模块的数据处理过程包括如下：特征依次通过CBS模块，对特征图进行卷积、BN、激活函数的操作，能够提取到图像的有效特征，特征输入到X个PartialNet Block模块中，能够有效提取到图像的边缘特征，得到的特征再与初始特征进行CBS模块操作后的特征进行Concat操作得到融合特征，最后融合特征输入到CBS模块最终得到特征输出。
作为本发明的优选实施方式，所述PartialNet Block模块是由PConv部分卷积模块、CBS卷积模块、点卷积模块与add模块。
PartialNet Block模块的特征处理过程包括如下：特征通过第一PConv部分卷积模块，对输入特征部分深度的特征进行提取并与剩余未进行特征提取的深度特征进行特征拼接得到输出特征，输出特征再输入第一CBS卷积模块，第一点卷积模块，进行不同通道特征融合，促进不同各分之之间的信息交流，得到的输出特征再与初始输入模块特征进行特征融合add操作得到最终输出特征。
所述PConv部分卷积模块的原理为初始化一个切分通道参数，当输入特征时，其特征通道数除以切分通道参数，得到部分卷积的通道数，并将此通道数的特征输入到相同通道个数的kernel_size为3×3、stride为1与padding为1的普通卷积中，进行空间特征的提取，得到的输出与原始切分后剩余通道数的特征进行Concat操作。这样有利于减少计算冗余和内存访问，减少计算成本，加速数据处理。相比与普通卷积能够有效减少模型参数量与复杂度，易于嵌入检测平台。
作为本发明的优选实施方式，SPPF模块是由2个CBS卷积模块、3个Maxpool模块、Concat模块所构成。
SPPF模块的数据处理过程包括如下：特征通过第一CBS卷积模块，得到输出特征后依次输入到第一最大池化层，第二最大池化层，第三最大池化层，三个最大池化层的kernelsize均为5×5，随后第一CBS卷积模块输出特征与第一最大池化层输出特征、第二最大池化层输出特征、第三最大池化层输出特征进行Concat特征融合，最后将融合后的特征输入到CBS卷积模块得到最终输出特征。
作为本发明的优选实施方式，所述CBS模块是由普通卷积层、batchnormalization层和SiLU激活函数层构成。
CBS模块数据处理过程包括如下：当特征图输入到CBS模块时，特征图首先通过普通卷积层进行特征的提取，再将提取的特征送入batch normalization层进行同一纬度的归一化处理，最后特征通过SiLU激活函数层输出特征。
作为本发明的优选实施方式，所述步骤(5)中的训练包括：在训练数据集中随机抽取一组图像作为本次训练样本，在训练中利用前向传播计算和反向传播计算将所述训练样本中的每一张图像依次放入随机梯度下降优化器中进行权重参数的更新。
作为本发明的优选实施方式，所述步骤(5)中，权重参数的更新包括如下步骤：
S1：所述随机梯度下降优化器随机产生一组初始值输入到卷积神经网络中进行前向传播计算并输出一组中间参数，再使用该中间参数进行反向传播计算得到一组新的权重参数；所述新的权重参数将迭代之前用于计算前向传播的旧权重参数；所述前向传播计算和反向传播计算评估函数、置信度损失函数和类别损失函数；
S2：将S1中所述的训练样本中的所有图像完成一次前向传播和反向传播的过程记为一次对网络模型的训练；重复步骤S1直至对网络模型训练到损失值在固定次数不再下降时终止训练；
S3：筛选出整个过程中最优的权重参数用于超声焊接缺陷识别。
所述置信度损失函数和类别损失函数借助YOLOv5中的置信度损失函数和类别损失函数。
作为本发明的优选实施方式，所述缺陷包括断芯、烧焦、侧边裂开、鼓起、线芯污渍。
作为本发明的优选实施方式，所述特征融合网络包括4个CBS模块、4个CSP2_X模块、4个Concat模块和2个上采样模块。
作为本发明的优选实施方式，CSP2_X模块是由4个CBS模块和1个Concat模块所构成。
所述CSP2_X中X为1，即CSP2_1。
CSP2_X模块的数据处理过程包括如下：特征依次连续通过两个CBS模块，得到输出特征与初始特征进行CBS模块操作后的特征进行Concat操作得到融合特征，最后融合特征输入到CBS模块，进行不同通道之间的信息进行融合，最终得到特征输出。
作为本发明的优选实施方式，本发明所述超声探头产生高频振荡并加于换能器上，激励探头发射超声波，同时将探头接收到的反射波转换成电信号进行放大，通过一定方式显示出来，从而得到被检测工件的缺陷信息，包括内部有无缺陷及缺陷位置和相对大小，并将信号传输至信号处理部分。
本发明所述信号处理部分主要由软件实现，首先，原始超声信号通过降噪处理，得到一维声波信号。然后，通过小波变换对声波信号进行特征提取，并将结果作为深度学习的样本进行训练，构建超声无损检测模型。最后，通过此模型对输入数据进行预测，实现无损检测功能。
所述超声信号的处理方式包括：同步电路产生的触发脉冲同时加至扫描电路和发射电路，扫描电路受触发开始工作，产生锯齿波扫描电压，加至示波管水平偏转板，使电子束发生水平偏转，在显示屏上产生一条水平扫描线。与此同时，发射电路被触发电路触发产生调频窄脉冲，加至探头，激励压电晶片振动，在工件中产生超声波，超声波在工件中传播，遇缺陷或底面发生反射，返回探头时，又被压电晶片转变为电信号，经接收电路放大和检波，加至示波管垂直偏转板上，使电子束发生垂直偏转，在水平扫描相应位置上产生缺陷波和底波，根据缺陷波的位置可以确定缺陷的埋藏深度，根据缺陷波的幅度可以估算缺陷当量的大小。
本发明还要求保护所述智能超声无损检测装置，包括：Y轴步进电机，Y轴电机联轴器，Y轴丝杠，探测头盖，传动杆，Z轴右丝杠，垫块，滑块，X轴丝杠，试件检测夹具上板1，试件检测夹具下板，摄像头，Z轴左丝杠，X轴电机联轴器，X轴步进电机，Z轴步进电机，探测头，夹具柱，Z轴联轴器；
X轴电机联轴器两端分别连接X轴步进电机、X轴丝杠，X轴电机联轴器，X轴步进电机和X轴丝杠组合为X轴方向移动装置；
Y轴电机联轴器两端分别连接Y轴丝杠、Y轴步进电机，Y轴步进电机、Y轴电机联轴器和Y轴丝杠组合为Y轴方向移动装置；
Z轴右丝杠和Z轴左丝杠平行设置，通过传动杆连接，Z轴步进电机通过Z轴联轴器与Z轴左丝杠连接；Z轴右丝杠、Z轴左丝杠、传动杆、Z轴联轴器和Z轴步进电机组合为Z轴方向移动装置；
X轴丝杠通过滑块与Y轴丝杠滑动连接，Z轴右丝杠和Z轴左丝杠分别通过滑块与X轴丝杠两端滑动连接；
探测头盖与Y轴丝杠滑动连接，探测头盖下端安装探测头，探测头指向被测工件；
4块垫块分别固定在Z轴右丝杠和Z轴左丝杠的两端下方，将Z轴方向移动装置整体驮高，使探测头通过X轴、Y轴和Z轴方向移动装置指向下方被测工件；
摄像头固定在试件检测夹具下板上表面，试件检测夹具上板和试件检测夹具下板四个角通过夹具柱固定，试件检测夹具上板中间镂空，使位于其下方的摄像头能够拍摄到试件检测夹具上板镂空处放置的被测工件。
作为本发明的优选实施方式，所述智能超声无损检测方法的装置还包括灯架和装配板，灯架位于试件检测夹具下板的右边，垫块、试件检测夹具下板、灯架固定在装配板表面。
本发明Z轴方向移动装置采用的是两丝杠分别承重式。
摄像头、探测头分别与外接数据处理器连接，利用外接数据处理器进行视觉检测和超声信号处理。
本发明的有益效果体现在：
(1)本发明首先采用卷积神经网络对超声焊接的外观缺陷进行诊断，然后通过超声探测原理对超声焊件进行无损检测，实现多方位检测，提升检测效率和正确率。
(2)本发明基于PyTorch深度学习框架搭建深度学习网络模型，使用PartialNetBlock模块和评估函数，以及在训练中利用前向传播计算和反向传播计算进行权重参数的更新，从而提高检测器的整体性能，经过与现有视觉分析方法对比，本发明所述深度学习网络的网络参数量减少了22.63％，复杂度减少了29.44％，Precision与Map0.5无较大变化，最终在保持原有模型精度下使得网络模型更加轻量化。
附图说明
图1为本发明所述智能超声无损检测装置结构示意图。
图2为本发明所述探测头盖和探测头的结构示意图。
图3为本发明所述试件检测夹具和摄像头的结构示意图。
图4为本发明所述智能超声无损检测中视觉检测效果图1。
图5为本发明所述智能超声无损检测中视觉检测效果图2。
图6为包括线芯污渍、侧边脱落、断芯、鼓起、烧焦缺陷的线束图1。
图7为包括线芯污渍、侧边脱落、断芯、鼓起、烧焦缺陷的线束图2。
图8为包括线芯污渍、侧边脱落、断芯、鼓起、烧焦缺陷的线束图3。
图9为包括线芯污渍、侧边脱落、断芯、鼓起、烧焦缺陷的线束图4。
图10为本发明所述智能超声无损检测的合格产品的超声信号图。
图11为本发明所述智能超声无损检测的不合格产品的超声信号图。
附图标记说明：
1-Y轴步进电机，2-Y轴电机联轴器，3-Y轴丝杠，4-探测头盖，5-传动杆，6-Z轴右丝杠，7-垫块，8-滑块，9-X轴丝杠，10-灯架，11-试件检测夹具上板，12-试件检测夹具下板，13-摄像头，14-Z轴左丝杠，15-X轴电机联轴器，16-X轴步进电机，17-Z轴步进电机，18-探测头，19-夹具柱，20-Z轴联轴器，21-装配板。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本实施例所述智能超声无损检测装置，如图1-3所示，包括：Y轴步进电机1，Y轴电机联轴器2，Y轴丝杠3，探测头盖4，传动杆5，Z轴右丝杠6，垫块7，滑块8，X轴丝杠9，试件检测夹具上板11，试件检测夹具下板12，摄像头13，Z轴左丝杠14，X轴电机联轴器15，X轴步进电机16，Z轴步进电机17，探测头18，夹具柱19，Z轴联轴器20，灯架10和装配板21。
X轴电机联轴器15两端分别连接X轴步进电机16、X轴丝杠9，X轴电机联轴器15，X轴步进电机16和X轴丝杠9组合为X轴方向移动装置。
Y轴电机联轴器2两端分别连接Y轴丝杠3、Y轴步进电机1，Y轴步进电机1Y轴电机联轴器2和Y轴丝杠3组合为Y轴方向移动装置。
因为顾全所述智能超声无损检测装置的力学稳定性，避免其出现损坏，Z轴方向移动装置采用两丝杠分别承重式，Z轴右丝杠6和Z轴左丝杠14平行设置，通过传动杆5连接，Z轴步进电机17通过Z轴联轴器20与Z轴左丝杠14连接；Z轴右丝杠6、Z轴左丝杠14、传动杆5、Z轴联轴器20和Z轴步进电机17组合为Z轴方向移动装置。
X轴丝杠9通过滑块8与Y轴丝杠3滑动连接，Z轴右丝杠6和Z轴左丝杠14分别通过滑块8与X轴丝杠9两端滑动连接。
探测头盖4与Y轴丝杠3滑动连接，探测头盖4下端安装探测头18，探测头18指向被测工件。
4块垫块7分别固定在Z轴右丝杠6和Z轴左丝杠14的两端下方，将Z轴方向移动装置整体驮高，使探测头18通过X轴、Y轴和Z轴方向移动装置指向下方被测工件。
摄像头13固定在试件检测夹具下板12上表面，试件检测夹具上板11和试件检测夹具下板12四个角通过夹具柱19固定，试件检测夹具上板11中间镂空，使位于其下方的摄像头13能够拍摄到试件检测夹具上板11镂空处放置的被测工件；试件检测夹具上板11、试件检测夹具下板12和夹具柱19组成试件检测夹具。
灯架10位于试件检测夹具下板12的右边，垫块7、试件检测夹具下板12、灯架10固定在装配板21表面。
摄像头、探测头分别与外接数据处理器连接，利用外接数据处理器进行视觉检测和超声信号处理。
本发明采用所述智能超声无损检测装置进行智能超声无损检测方法，包括：
步骤一：通过对工件表面进行视觉检测预测缺陷；所述视觉检测具体包括如下步骤：
(1)使用摄像头采集缺陷工件的表面图像，比如图8、9、10和11包含缺陷的线束工件，获得超声焊接缺陷数据集，利用插值算法将超声焊接数据集中的所有图像转变为统一尺寸的图像。
(2)将所有变换统一尺寸后的超声焊接缺陷图像数据集分为训练数据集、验证数据集和测试数据集。
(3)利用Label Img工具包对所述超声焊接缺陷图像数据集的图像进行缺陷种类、缺陷的位置及边界框的标注；缺陷包括断芯、烧焦、侧边裂开、鼓起、线芯污渍。
(4)基于PyTorch深度学习框架搭建深度学习网络模型，调节配制深度学习网络模型超参数。
(5)利用随机梯度下降优化器对深度学习网络模型进行训练：S1：在训练数据集中随机抽取一组图像作为本次训练样本，训练对象为标注边界框的参数，训练结果的表现形式是训练后得到的权重参数；所述边界框的参数包括边界框的左上角坐标、右下角坐标和类别置信度。
S2：随机梯度下降优化器随机产生一组初始值输入到卷积神经网络中进行前向传播计算并输出一组中间参数，再使用该中间参数进行反向传播计算得到一组新的权重参数和对应的损失函数值；所述新的权重参数将迭代之前用于计算前向传播的旧权重参数；所述前向传播计算和反向传播计算借助于算法的损失函数，所述损失函数包括评估函数、置信度损失函数和类别损失函数，所述置信度损失函数和类别损失函数借助YOLOv5中的置信度损失函数和类别损失函数。
在评估函数中，主要处理数据流程如下：首先，推理过程中在焊接图片上生成多个锚框，这些锚框具有不同的尺寸与横纵比。其次，将这些推理出来的锚框与人工标注的边界框进行匹配。对于预测出来的每个锚框，都会计算它与真实边界框的IOU，再选择具有最高交并比值的框与真实框匹配。最后，通过评估模型计算边界框损失，使用最大化预测框与真实框之间的IOU来优化回归损失，为实现优化回归损失，损失函数通过梯度下降算法将预测框的坐标向真实框的坐标靠近，并更新神经网络的权重。其中所使用PIoU会显著放大普通质量锚框的LIoU，使用LIoU会显著降低高质量锚框的PIoU，并在锚框与目标框重合较好的情况下显著降低其对中心点距离的关注，因此会聚焦于普通质量的锚框，从而提高模型的定位性能。这样，在训练过程中网络能够学会生成更准确的锚框预测。
所述评估函数的具体定于如下：
LKIoU2＝νLKIoU1，
LKIoU1＝PIoULIoU
其中PIoU∈[1，e)，是一种距离注意力机制；x、y为预测中心点的坐标，xgt、ygt为真实目标中心点坐标，Wg、Hg为预测框与真实框的最小外接矩形的宽、高，LIoU∈[0，1]，代表预测边界框与真实边界框的交并比，β表示离群度，以描述锚框的质量，δ与α为两个超参数，ν为梯度增益因子；LKIoU2代表使用了LKIoU1，LKIoU1代表使用了距离注意力机制的边界框损失函数；A代表预测框，B代表真实框，A∩B表示预测框与真实框之间的重叠区域的面积，A∪B表示预测框与真实框的总体积。
S3：将S2中所述的训练样本中的所有图像完成一次前向传播和反向传播的过程记为一次对网络模型的训练；重复步骤S2直至对网络模型训练到损失值在固定次数不再下降时终止训练。
(6)最后使用训练过程中最优的权重参数用于缺陷工件的表面图像检测，所得结果表现形式为框出表面图像上的缺陷部分，并给出缺陷类别与置信度。
所述步骤(4)中深度学习网络模型包括特征提取网络、特征融合网络与目标检测；所述特征提取网络包括5个CBS模、4个CSP1_X模块与1个SPPF模块；所述特征融合网络包括4个CBS模块、4个CSP2_X模块、4个Concat模块和2个上采样模块。所述CSP1_X模块的X为1、2或3，即CSP1_1，CSP1_2或CSP1_3；所述特征提取网络中的4个CSP1_X模块为1个CSP1_2，1个CSP1_3，2个CSP1_1；所述CSP2_X中X为1，即CSP2_1。
所述CBS模块是由普通卷积层、batch normalization层和SiLU激活函数层构成。CBS模块数据处理过程包括如下：当特征图输入到CBS模块时，特征图首先通过普通卷积层进行特征的提取，再将提取的特征送入batch normalization层进行同一纬度的归一化处理，最后特征通过SiLU激活函数层输出特征。
所述CSP1_X模块是由3个CBS模块、X个PartialNet Block模块和Concat模块构成。X个PartialNet Block模块中X与CSP1_X模块中的X一样，当CSP1_X的X为1时，PartialNetBlock模块为1个；当CSP1_X的X为2时，PartialNet Block模块为2个；当CSP1_X的X为3时，PartialNet Block模块为3个。CSP1_X模块的数据处理过程包括如下：特征依次通过CBS模块，对特征图进行卷积、BN、激活函数的操作，能够提取到图像的有效特征，特征输入到X个PartialNet Block模块中，能够有效提取到图像的边缘特征，得到的特征再与初始特征进行CBS模块操作后的特征进行Concat操作得到融合特征，最后融合特征输入到CBS模块最终得到特征输出。
所述PartialNet Block模块是由PConv部分卷积模块、CBS卷积模块、点卷积模块与add模块。PartialNet Block模块的特征处理过程包括如下：特征通过第一PConv部分卷积模块，对输入特征部分深度的特征进行提取并与剩余未进行特征提取的深度特征进行特征拼接得到输出特征，输出特征再输入第一CBS卷积模块，第一点卷积模块，进行不同通道特征融合，促进不同各分之之间的信息交流，得到的输出特征再与初始输入模块特征进行特征融合add操作得到最终输出特征。
所述PConv部分卷积模块的原理为初始化一个切分通道参数，当输入特征时，其特征通道数除以切分通道参数，得到部分卷积的通道数，并将此通道数的特征输入到相同通道个数的kernel_size为3×3、stride为1与padding为1的普通卷积中，进行空间特征的提取，得到的输出与原始切分后剩余通道数的特征进行Concat操作。这样有利于减少计算冗余和内存访问，减少计算成本，加速数据处理。相比与普通卷积能够有效减少模型参数量与复杂度，易于嵌入检测平台。
SPPF模块是由2个CBS卷积模块、3个Maxpool模块、Concat模块所构成。SPPF模块的数据处理过程包括如下：特征通过第一CBS卷积模块，得到输出特征后依次输入到第一最大池化层，第二最大池化层，第三最大池化层，三个最大池化层的kernel size均为5×5，随后第一CBS卷积模块输出特征与第一最大池化层输出特征、第二最大池化层输出特征、第三最大池化层输出特征进行Concat特征融合，最后将融合后的特征输入到CBS卷积模块得到最终输出特征。
CSP2_X模块是由4个CBS模块和1个Concat模块所构成。CSP2_X模块的数据处理过程包括如下：特征依次连续通过两个CBS模块，得到输出特征与初始特征进行CBS模块操作后的特征进行Concat操作得到融合特征，最后融合特征输入到CBS模块，进行不同通道之间的信息进行融合，最终得到特征输出。
如图4和5所示，通过本实施例对工件表面进行视觉缺陷无损测试，能够精准的判断工件的缺陷位置，缺陷类型以及缺陷大小。
经过与对比例1中的现有视觉分析方法对比，本实施例深度学习网络的参数量减少了22.63％，复杂度减少了29.44％，精确度高达96.8％提高了0.5％，Map0.5为95％提高了1.2％，Map0.5:.9为61.2％提高了1.3％，召回率为94.1％下降了0.4％，最终在保持原有模型精度下使得网络模型更加轻量化，并且本发明所述模型更易于集成嵌入设备，实现焊接缺陷的实时检测，保证工业检测需求。
步骤二：若预测工件表面无缺陷则通过智能超声无损检测装置将超声探头移动至指定位置，对工件通过超声探测采集多点信息，然后对采集的信息进行超声信号处理。
优选的，本发明所述超声探头产生高频振荡并加于换能器上，激励探头发射超声波，同时将探头接收到的反射波转换成电信号进行放大，通过一定方式显示出来，从而得到被检测工件的缺陷信息，包括内部有无缺陷及缺陷位置和相对大小，并将信号传输至信号处理部分。
优选的，所述信号处理部分主要由软件实现，首先，原始超声信号通过降噪处理，得到一维声波信号。然后，通过小波变换对声波信号进行特征提取，并将结果作为深度学习的样本进行训练，构建超声无损检测模型。最后，通过此模型对输入数据进行预测，实现无损检测功能。
所述超声信号的处理方式具体包括：同步电路产生的触发脉冲同时加至扫描电路和发射电路，扫描电路受触发开始工作，产生锯齿波扫描电压，加至示波管水平偏转板，使电子束发生水平偏转，在显示屏上产生一条水平扫描线。与此同时，发射电路被触发电路触发产生调频窄脉冲，加至探头，激励压电晶片振动，在工件中产生超声波，超声波在工件中传播，遇缺陷或底面发生反射，返回探头时，又被压电晶片转变为电信号，经接收电路放大和检波，加至示波管垂直偏转板上，使电子束发生垂直偏转，在水平扫描相应位置上产生缺陷波和底波，根据缺陷波的位置可以确定缺陷的埋藏深度，根据缺陷波的幅度可以估算缺陷当量的大小。
如图10和11可知，根据超声波探伤后设备导出来的信号，然后再根据这些信号处理的结果确定为合格或者不合格的产品、根据图10和11对比，图11的回波幅值高的是不合格样件，图10的回波幅值低是合格样件，回波率在50％以上的情况，被认定为不合格试件。
对比例1
本对比例与实施例1唯一不同的不同的是：所述步骤一中，所述视觉检测中使用现有技术YOLOv5s深度学习网络模型进行视觉检测。
对比例1使用YOLOv5s深度学习网络模型，其网络模型分别由主干网络，颈部网络与检测头三部分构成；主干网络主要作用就是对输入图片的特征进行提取并输入到颈部网络。所述YOLOv5s深度学习网络模型相比于YOLOv5m,YOLOv5L,YOLOv5x，其深度、宽度最小，因此其参数量复杂度小且精度可达到96.4％。但本发明与对比例1相比，使用PartialNetBlock模块以及评估函数，使网络模型更加轻量化，同时保持了模型对缺陷检测色精度，另外相比于现有的YOLOv5深度学习网络模型，本发明所述模型更易于集成嵌入设备，实现焊接缺陷的实时检测。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种智能超声无损检测方法，其特征在于：包括，通过对工件表面进行视觉检测预测缺陷，若预测工件表面无缺陷则通过智能超声无损检测装置将超声探头移动至指定位置，对工件通过超声探测采集多点信息，然后对采集的信息进行超声信号处理；
所述视觉检测具体包括如下步骤：
(1)使用摄像头采集缺陷工件的表面图像，获得超声焊接缺陷数据集，利用插值算法将超声焊接数据集中的所有图像转变为统一尺寸的图像；
(2)将所有变换统一尺寸后的超声焊接缺陷图像数据集分为训练数据集、验证数据集和测试数据集；
(3)利用LabelImg工具包对所述超声焊接缺陷图像数据集的图像进行缺陷种类、缺陷的位置及边界框的标注；
(4)基于PyTorch深度学习框架搭建深度学习网络模型，调节配制深度学习网络模型超参数；
(5)利用随机梯度下降优化器对深度学习网络模型进行训练，训练对象为标注边界框的参数，训练结果的表现形式是训练后得到的权重参数；所述边界框的参数包括边界框的左上角坐标、右下角坐标和类别置信度；
(6)最后使用训练过程中最优的权重参数用于缺陷工件的表面图像检测，所得结果表现形式为框出表面图像上的缺陷部分，并给出缺陷类别与置信度；
在所述步骤(5)的训练过程中使用评估函数，提高模型的检测缺陷精度，所述评估函数如下：
LKIoU1＝PIoULIoU
式中，LKIoU2代表使用了LKIoU1，LKIoU1代表使用了距离注意力机制的边界框损失函数；其中PIoU∈[1，e)，是一种距离注意力机制；LIoU∈[0，1]，代表预测边界框与真实边界框的交并比，β表示离群度，以描述锚框的质量，δ与α为两个超参数，ν为梯度增益因子；x、y为预测中心点的坐标，xgt、ygt为真实目标中心点坐标，Wg、Hg为预测框与真实框的最小外接矩形的宽、高。A代表预测框，B代表真实框，A∩B表示预测框与真实框之间的重叠区域的面积，A∪B表示预测框与真实框的总体积；
所述深度学习网络模型包括特征提取网络、特征融合网络与目标检测；所述特征提取网络包括5个CBS模块、4个CSP1_X模块与1个SPPF模块；所述CSP1_X模块是由3个CBS模块、X个PartialNetBlock和Concat模块构成。
2.根据权利要求1所述的智能超声无损检测方法，其特征在于：所述步骤(5)中的训练包括：在训练数据集中随机抽取一组图像作为本次训练样本，在训练中利用前向传播计算和反向传播计算将所述训练样本中的每一张图像依次放入随机梯度下降优化器中进行权重参数的更新。
3.根据权利要求2所述的智能超声无损检测方法，其特征在于：权重参数的更新包括如下步骤：
S1：所述随机梯度下降优化器随机产生一组初始值输入到卷积神经网络中进行前向传播计算并输出一组中间参数，再使用该中间参数进行反向传播计算得到一组新的权重参数；所述新的权重参数将迭代之前用于计算前向传播的旧权重参数；所述前向传播计算和反向传播计算借助评估函数、置信度损失函数和类别损失函数；
S2：将S1中所述的训练样本中的所有图像完成一次前向传播和反向传播的过程记为一次对网络模型的训练；重复步骤S1直至对网络模型训练到损失值在固定次数不再下降时终止训练；
S3：筛选出整个过程中最优的权重参数用于超声焊接缺陷识别。
4.根据权利要求1所述的智能超声无损检测方法，其特征在于：所述FasterNetBlock模块是由PConv部分卷积模块、CBS卷积模块、点卷积模块与add模块。
5.根据权利要求1所述的智能超声无损检测方法，其特征在于：所述CBS模块是由普通卷积层、batchnormalization层和SiLU激活函数层构成；所述SPPF模块是由2个CBS卷积模块、3个Maxpool模块、Concat模块构成。
6.根据权利要求1所述智能超声无损检测方法，其特征在于，所述特征融合网络包括4个CBS模块、4个CSP2_X模块、4个Concat模块和2个上采样模块；所述CSP2_X模块是由4个CBS模块和1个Concat模块构成。
7.根据权利要求1所述的智能超声无损检测方法，其特征在于：所述超声探头产生高频振荡发射超声波，同时将接收到的反射波转换成电信号进行放大并显示出来，得到工件的缺陷信息，包括工件内部有无缺陷、缺陷位置和相对大小，并将信息传输至超声信号处理部分。
8.根据权利要求7所述的智能超声无损检测方法，其特征在于：所述信号处理部分主要由软件实现，具体包括如下步骤：首先，原始超声信号通过降噪处理，得到一维声波信号；然后，通过小波变换对声波信号进行特征提取，并将特征提取结果作为深度学习的样本进行训练，构建超声无损检测模型；最后，通过超声无损检测模型对输入的超声探测的缺陷信息数据进行预测，实现无损检测功能。
9.权利要求1-8任一项所述智能超声无损检测装置，其特征在于：包括：Y轴步进电机，Y轴电机联轴器，Y轴丝杠，探测头盖，传动杆，Z轴右丝杠，垫块，滑块，X轴丝杠，试件检测夹具上板，试件检测夹具下板，摄像头，Z轴左丝杠，X轴电机联轴器，X轴步进电机，Z轴步进电机，探测头，夹具柱，Z轴联轴器；
X轴电机联轴器两端分别连接X轴步进电机、X轴丝杠，X轴电机联轴器，X轴步进电机和X轴丝杠组合为X轴方向移动装置；
Y轴电机联轴器两端分别连接Y轴丝杠、Y轴步进电机，Y轴步进电机、Y轴电机联轴器和Y轴丝杠组合为Y轴方向移动装置；
Z轴右丝杠和Z轴左丝杠平行设置，通过传动杆连接，Z轴步进电机通过Z轴联轴器与Z轴左丝杠连接；Z轴右丝杠、Z轴左丝杠、传动杆、Z轴联轴器和Z轴步进电机组合为Z轴方向移动装置；
X轴丝杠通过滑块与Y轴丝杠滑动连接，Z轴右丝杠和Z轴左丝杠分别通过滑块与X轴丝杠两端滑动连接；
探测头盖与Y轴丝杠滑动连接，探测头盖下端安装探测头，探测头指向被测工件；
4块垫块分别固定在Z轴右丝杠和Z轴左丝杠的两端下方，将Z轴方向移动装置整体驮高，使探测头通过X轴、Y轴和Z轴方向移动装置指向下方被测工件；
摄像头固定在试件检测夹具下板上表面，试件检测夹具上板和试件检测夹具下板四个角通过夹具柱固定，试件检测夹具上板中间镂空，使位于其下方的摄像头能够拍摄到试件检测夹具上板镂空处放置的被测工件；
摄像头、探测头分别与外接数据处理器连接，利用外接数据处理器进行视觉检测和超声信号处理。
10.根据权利要求9所述智能超声无损检测装置，其特征在于：所述智能超声无损检测方法的装置还包括灯架和装配板，灯架位于试件检测夹具下板的右边，垫块、试件检测夹具下板、灯架固定在装配板表面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310637501.XA CN117783274A (zh) | 2023-06-01 | 2023-06-01 | 一种智能超声无损检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310637501.XA CN117783274A (zh) | 2023-06-01 | 2023-06-01 | 一种智能超声无损检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117783274A true CN117783274A (zh) | 2024-03-29 |
Family
ID=90380387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310637501.XA Pending CN117783274A (zh) | 2023-06-01 | 2023-06-01 | 一种智能超声无损检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117783274A (zh) |
-
2023
- 2023-06-01 CN CN202310637501.XA patent/CN117783274A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113888471B (zh) | 一种基于卷积神经网络的高效高分辨力缺陷无损检测方法 | |
| CN101101277B (zh) | 一种高清晰焊缝超声成像无损检测方法 | |
| EP3382386B1 (en) | Defect detection using ultrasound scan data | |
| Medak et al. | Automated defect detection from ultrasonic images using deep learning | |
| CN103323526A (zh) | 一种基于超声相控阵和支持向量机的焊缝缺陷检测识别方法 | |
| CN103969336A (zh) | 一种复杂空间焊缝的超声相控阵自动化检测与成像方法 | |
| CN106770664A (zh) | 一种基于全聚焦成像算法改进边缘缺陷检测的方法 | |
| Posilović et al. | Flaw detection from ultrasonic images using YOLO and SSD | |
| CN113504306B (zh) | 一种基于超声相控阵低秩矩阵恢复的钢轨缺陷检测方法 | |
| CN114295728A (zh) | 一种针对复杂曲面工件内部缺陷超声波三维层析成像方法 | |
| JPH0462467A (ja) | 超音波映像検査装置 | |
| CN111257426A (zh) | 火箭燃料贮箱焊缝的多模式全聚焦检测方法、系统及介质 | |
| JP5156707B2 (ja) | 超音波検査方法及び装置 | |
| CN113887454A (zh) | 基于卷积神经网络点源识别的非接触激光超声检测方法 | |
| CN111435528A (zh) | 激光超声可视化图像质量提升处理方法 | |
| CN117783274A (zh) | 一种智能超声无损检测方法及装置 | |
| CN112014471A (zh) | 一种基于虚拟传感器的板结构多模态兰姆波拓扑梯度成像方法 | |
| JP7233646B2 (ja) | 超音波検査方法、超音波検査装置およびプログラム | |
| CN115389625B (zh) | 一种用于检测复合材料面外纤维弯曲的双面超声成像方法 | |
| CN114660172A (zh) | 一种针对复杂曲面工件缺陷的透射式超声波成像方法 | |
| CN114965272A (zh) | 一种芯片缺陷检测平台的测试方法 | |
| CN115389514A (zh) | 一种材料缺陷检测方法和装置 | |
| CN113155967A (zh) | 一种相控阵非线性激光超声检测系统 | |
| CN112686846A (zh) | 一种成像处理方法、设备和计算机可读存储介质 | |
| CN207051243U (zh) | 基于多种超声技术的复合材料探伤仪 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |