CN117218511A - 磁粉探伤裂纹视觉识别方法、裂缝的磁粉探伤方法 - Google Patents
磁粉探伤裂纹视觉识别方法、裂缝的磁粉探伤方法 Download PDFInfo
- Publication number
- CN117218511A CN117218511A CN202311169328.1A CN202311169328A CN117218511A CN 117218511 A CN117218511 A CN 117218511A CN 202311169328 A CN202311169328 A CN 202311169328A CN 117218511 A CN117218511 A CN 117218511A
- Authority
- CN
- China
- Prior art keywords
- scale
- transducer
- attention
- module
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000007689 inspection Methods 0.000 title claims abstract description 31
- 230000000007 visual effect Effects 0.000 title claims abstract description 21
- 239000006247 magnetic powder Substances 0.000 title claims description 32
- 238000001514 detection method Methods 0.000 claims abstract description 88
- 230000007547 defect Effects 0.000 claims abstract description 62
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 238000010606 normalization Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 239000006249 magnetic particle Substances 0.000 claims abstract description 16
- 229910052751 metal Inorganic materials 0.000 claims description 24
- 239000002184 metal Substances 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 10
- 239000000725 suspension Substances 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 230000005415 magnetization Effects 0.000 claims description 6
- 238000009736 wetting Methods 0.000 claims description 5
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 claims description 4
- 230000009194 climbing Effects 0.000 abstract description 21
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 238000003466 welding Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000001179 sorption measurement Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 239000000523 sample Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003973 irrigation Methods 0.000 description 3
- 230000002262 irrigation Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000005507 spraying Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Investigating Or Analyzing Materials By The Use Of Magnetic Means (AREA)
Abstract
本发明涉及一种基于爬壁机器人的磁粉探伤裂纹视觉识别方法与系统，包括：获取探伤图像，探伤图像；构建ResNet特征提取网络，将探伤图像输入至ResNet特征提取网络，获得多尺度特征图；构建Transformer编码器，Transformer编码器包括多尺度可变形自注意力模块、第一前馈神经网络和第一残差归一化模块，通过Transformer编码器处理多尺度特征图，获得包含图像语义信息且带有注意力加权的缺陷特征图像；构建Transformer解码器，Transformer解码器包括多尺度可变形交叉注意力模块、自注意力模块、第二前馈神经网络和第二残差归一化模块，通过所述Transformer解码器处理，获得缺陷的目标类别预测和目标框预测。其检测精度高，能够检测细小的焊缝裂纹和气孔等缺陷，环境适应性强，抗干扰能力强。
Description
技术领域
本发明涉及缺陷检测技术领域，尤其是指一种磁粉探伤裂纹视觉识别方法、裂缝的磁粉探伤方法。
背景技术
磁粉探伤是一种广泛应用的无损检测方法，其基本原理是通过检测工件表面和近表面缺陷处的漏磁场与磁粉之间的相互作用来检测裂纹、缺陷、疲劳等问题。现有的磁粉探伤技术大都依赖于人工手持设备，或者采用大型固定式设备。
大型高空结构件，如大型桥梁、港口重型机械和风电管桩等，由于其结构尺寸大、焊缝多、工作环境复杂、结构安全性要求高等特点，因此需要频繁进行无损检测以保证其安全可靠运行。然而，传统的人工操作无损探伤设备的检测方式存在许多问题。由于这些设备的结构尺寸大且多为曲面，人工检测前需要耗费大量时间和精力搭建脚手架等辅助设施，增加了检测成本和时间。其次，由于人工检测都是高空作业，存在作业周期长、费用高等问题。此外，由于工作条件和环境的限制，人工检测面临着检测人员劳动强度大、检测效率低、危险性高等问题。所以，能够吸附于大型高空结构件，且具有缺陷检测功能的爬壁机器人具有重要的现实意义。
爬壁机器人是一种工作在空间壁面环境中并携带特定作业工具以完成特定任务的特种机器人。在实际应用中，爬壁机器人不仅需要在简单的壁面进行工作，还需要工作于复杂的壁面环境，如曲面、多壁面、粗糙平面等。根据吸附方式的不同，爬壁机器人主要有以下几种：负压吸附、磁吸附、仿生吸附、静电吸附、黏结剂吸附。其中，磁吸附因其能够产生很大的吸附力，不受凹凸或裂缝的限制，也不受物体表面状态(粗糙度、湿度、温度)的影响，非常适合用于大型高空结构件的缺陷检测。
目前，在缺陷检测领域，深度学习已经成为主流方法。常见的算法包括改进的Faster R-CNN模型、基于AlexNet的CNN模型、U-net、Mask R-CNN以及改进的Tiny-YOLOv3网络等，这些算法已被成功应用于铝材表面缺陷检测、荧光磁粉探伤检测、铸件X射线DR图像缺陷检测、焊点缺陷主动红外检测、基于热成像的图像检测等领域，并取得了较好的检测效果和速度。然而，这些算法在特定的检测过程中仍存在一定的局限性。通用型的深度学习模型需要特殊的调整和优化来应对特定的磁粉检测问题。在某些情况下，这些算法可能无法有效地提取细小物体的特征，而磁粉检测中存在许多细小的焊缝裂纹和气孔等缺陷，这可能会影响模型检测的准确性。此外，由于磁粉检测通常发生在复杂的工业场景中，需要具有较强的抗干扰能力，对于环境信息复杂、背景知识模糊、推理规则不明确的情况，这些算法可能表现不佳。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中无法检测细小的焊缝裂纹和气孔等缺陷，检测精度低的技术缺陷。
为解决上述技术问题，本发明提供了一种磁粉探伤裂纹视觉识别方法，包括：
获取探伤图像，所述探伤图像；
构建ResNet特征提取网络，将探伤图像输入至ResNet特征提取网络，获得多尺度特征图；
构建Transformer编码器，所述Transformer编码器包括多尺度可变形自注意力模块、第一前馈神经网络和第一残差归一化模块，通过所述Transformer编码器处理多尺度特征图，获得包含图像语义信息且带有注意力加权的缺陷特征图像；
构建Transformer解码器，所述Transformer解码器包括多尺度可变形交叉注意力模块、自注意力模块、第二前馈神经网络和第二残差归一化模块，通过所述Transformer解码器处理包含图像语义信息且带有注意力加权的缺陷特征图像，获得缺陷的目标类别预测和目标框预测。
作为优选的，所述构建ResNet特征提取网络，将探伤图像输入至ResNet特征提取网络，获得多尺度特征图，包括：
构建ResNet特征提取网络；
将探伤图像输入至ResNet特征提取网络；
提取ResNet特征提取网络的C3、C4、C5三个特征层的多尺度特征图，C5、C4通过1x1的卷积降维处理，C3通过1x1和3x3卷积降维处理，获得4层缺陷图像特征，所述4层缺陷图像特征即为多尺度特征图。
作为优选的，多尺度可变形注意力模块的输出：
其中，是输入的多尺度特征图，xl代表第l层的特征图；/>是代表query元素q的归一化二维坐标；zq是特征图中每一个像素点；/>是将归一化的坐标重新映射到对应层的坐标；Amqk是注意力权重，为需要训练学习的参数；Wm和W′m是两组全连接层的权重参数；Δpmlqk是采样位置的偏移量；
多尺度可变形自注意力模块在多尺度可变形注意力模块的基础上，将xl和zq的来源限制为从ResNet特征提取网络获得的单个缺陷图像特征。
作为优选的，所述Transformer编码器具有多层结构，每层结构皆包括多尺度可变形自注意力模块、第一前馈神经网络和第一残差归一化模块。
作为优选的，所述Transformer解码器具有多层结构，每层结构皆包括多尺度可变形交叉注意力模块、自注意力模块、第二前馈神经网络和第二残差归一化模块。
作为优选的，所述目标类别预测包括：
获得每个位置的缺陷的目标类别概率分布；
通过对概率分布进行Softmax处理得到类别得分，对类别得分进行归一化，以获得每个位置上不同缺陷类别的概率。
作为优选的，所述目标框预测包括：
通过回归算法来生成缺陷的边界框的位置和大小信息。
作为优选的，多尺度可变形注意力模块的输出：
其中，是输入的多尺度特征图，xl代表第l层的特征图；/>是代表query元素q的归一化二维坐标；zq是特征图中每一个像素点；/>是将归一化的坐标重新映射到对应层的坐标；Amqk是注意力权重，为需要训练学习的参数；Wm和W′m是两组全连接层的权重参数；Δpmlqk是采样位置的偏移量；
所述多尺度可变形交叉注意力模块中，是Transformer解码器自带的输入，xl和zq来自于Transformer编码器的输出。
本发明公开了一种裂缝的磁粉探伤方法，包括以下步骤：
使用磁悬液润湿待检测金属工件的表面；
将磁极贴附或靠近待检测金属工件上，使得待检测金属工件磁化；
使用相机采集金属表面的图像；
使用上述的磁粉探伤裂纹视觉识别方法，获得缺陷的位置和缺陷类型。
作为优选的，所述将磁极贴附在待检测金属工件上，使得待检测金属工件磁化，包括：
将磁铁以第一方向贴附或靠近待测金属工件上，完成第一遍磁化；
将磁铁以第二方向贴附或靠近待测金属工件上，完成第二遍磁化，其中，第二方向垂直与第一方向。
本发明中磁粉探伤裂纹视觉识别方法，相比现有技术具有以下优点：
1、本发明在裂纹检测方面具有较高的准确率和召回率，分别达到了93.9％和91.3％，其能够通过调节和优化多个参数，适应不同材料和表面特征的检测需求。
2、本发明的检测精度高，能够检测细小的焊缝裂纹和气孔等缺陷，环境适应性强，抗干扰能力强。
本发明中的裂缝的磁粉探伤方法，相比现有技术具有以下优点：
本发明结合爬壁机器人能够在高空、狭小空间、高温高压等危险环境下工作的特性，可以实现不间断工作，大大提高了检测的效率和准确性。
附图说明
图1为本发明中磁粉探伤裂纹视觉识别方法的流程图；
图2为缺陷检测算法原理图；
图3为ResNet特征提取网络结构图；
图4为探伤装置结构图；
图5为磁粉探伤爬壁机器人探伤流程示意图；
图6为磁粉检测(MT)探伤流程图。
说明书附图标记说明：1、待检测工件2、磁悬液喷灌；3、爬壁机器人主体；4、控制台。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
参照图1所示，本发明公开了一种磁粉探伤裂纹视觉识别方法，包括：
步骤一、获取探伤图像，所述探伤图像；
步骤二、构建ResNet特征提取网络，将探伤图像输入至ResNet特征提取网络，获得多尺度特征图，包括：
构建ResNet特征提取网络；
将探伤图像输入至ResNet特征提取网络；
提取ResNet特征提取网络的C3、C4、C5三个特征层的多尺度特征图，C5、C4通过1x1的卷积降维处理，C3通过1x1和3x3卷积降维处理，获得4层缺陷图像特征，所述4层缺陷图像特征即为多尺度特征图。
多尺度可变形注意力模块的输出：
其中，是输入的多尺度特征图，xl代表第l层的特征图；/>是代表query元素q的归一化二维坐标；zq是特征图中每一个像素点；/>是将归一化的坐标重新映射到对应层的坐标；Amqk是注意力权重，为需要训练学习的参数；Wm和W′m是两组全连接层的权重参数；Δpmlqk是采样位置的偏移量；
多尺度可变形自注意力模块在多尺度可变形注意力模块的基础上，将xl和zq的来源限制为从ResNet特征提取网络获得的单个缺陷图像特征。
步骤三、构建Transformer编码器，所述Transformer编码器包括多尺度可变形自注意力模块、第一前馈神经网络和第一残差归一化模块，通过所述Transformer编码器处理多尺度特征图，获得包含图像语义信息且带有注意力加权的缺陷特征图像。
所述Transformer编码器具有多层结构，每层结构皆包括多尺度可变形自注意力模块、第一前馈神经网络和第一残差归一化模块。
步骤四、构建Transformer解码器，所述Transformer解码器包括多尺度可变形交叉注意力模块、自注意力模块、第二前馈神经网络和第二残差归一化模块，通过所述Transformer解码器处理包含图像语义信息且带有注意力加权的缺陷特征图像，获得缺陷的目标类别预测和目标框预测。
所述Transformer解码器具有多层结构，每层结构皆包括多尺度可变形交叉注意力模块、自注意力模块、第二前馈神经网络和第二残差归一化模块。
其中，多尺度可变形注意力模块的输出：
其中，是输入的多尺度特征图，xl代表第l层的特征图；/>是代表query元素q的归一化二维坐标；zq是特征图中每一个像素点；/>是将归一化的坐标重新映射到对应层的坐标；Amqk是注意力权重，为需要训练学习的参数；Wm和Wm′是两组全连接层的权重参数；Δpmlqk是采样位置的偏移量；
所述多尺度可变形交叉注意力模块中，是Transformer解码器自带的输入，xl和zq来自于Transformer编码器的输出。
所述目标类别预测包括：获得每个位置的缺陷的目标类别概率分布；通过对概率分布进行Softmax处理得到类别得分，对类别得分进行归一化，以获得每个位置上不同缺陷类别的概率。
所述目标框预测包括：通过回归算法来生成缺陷的边界框的位置和大小信息。
本发明公开了一种裂缝的磁粉探伤方法，包括以下步骤：
使用磁悬液润湿待检测金属工件的表面；
将磁极贴附或靠近待检测金属工件上，使得待检测金属工件磁化；
使用相机采集金属表面的图像；
使用上述的磁粉探伤裂纹视觉识别方法，获得缺陷的位置和缺陷类型。
在另一实施例中，所述将磁极贴附在待检测金属工件上，使得待检测金属工件磁化，包括：
将磁铁以第一方向贴附或靠近待测金属工件上，完成第一遍磁化；
将磁铁以第二方向贴附或靠近待测金属工件上，完成第二遍磁化，其中，第二方向垂直与第一方向。通过这种磁化方式，让磁粉充分汇聚到缺陷处，从而提高后续图像采集效果。
下面，结合具体实施例对本发明的技术方案做进一步说明与解释。
参照图2所示，缺陷检测算法方法步骤如下：
构建Deformable-DETR缺陷检测算法框架，具体包含：
步骤一：参照图3所示，选取ResNet作为缺陷图像的特征提取网络，提取ResNet网络的C3、C4、C5三个特征层的多尺度特征图，其中C5，C4通过1x1的卷积降维处理，C3通过1x1和3x3卷积降维处理，获得4层缺陷图像特征；作为Deformable-DETR编码器的输入。
步骤二：构建Deformable-DETR编码器，编码器有6层结构，每层的结构包含三个模块：多尺度可变形自注意力模块，前馈神经网络和残差归一化模块。ResNet提取到的4层缺陷图像特征(多尺度特征)，通过Deformable-DETR编码器6层的多尺度可变形自注意力模块，前馈神经网络和残差归一化模块，得到包含图像语义信息，特征信息更加丰富，带有注意力加权的缺陷特征图像。
a.多尺度可变形自注意力模块原理基于可变形注意力公式，如下所示：
其中，x是输入的特征图，其规模为(H×W×C),H为特征图的高，W是特征图的宽，C是特征图的通道数，对于一张彩色的图像，其通道数为3，对于一张黑白的灰度图像，其通道数为1；zq是向量，特征图中每个像素点都是一个拥有C通道的向量；M代表多头注意力机制中头的数目。每一个头中只考zq附近K个点。Δpmqk代表采样的位置偏移量，是一个二维的坐标。Amqk代表注意力的权重。Wm和W′m代表两组全连接层的权重参数。
基于可变形注意公式，多尺度可变形注意力模块公式如下：
其中，是输入的多尺度特征图，xl代表第l层的特征图；/>是代表query元素q的归一化二维坐标；zq是特征图中每一个像素点；/>是将归一化的坐标重新映射到对应层的坐标；Amqk是注意力权重，也是需要训练学习的参数；Wm和W′m是两组全连接层的权重参数；Δpmlqk是采样位置的偏移量，是一个二维坐标，也是需要训练学习的参数。相比于自注意力机制，可变形注意模块通过将常规卷积的固定采样点替换为可变形采样点，这种方式可以让模型自适应地感知目标的变形，从而提高特征的判别能力。
多尺度可变形自注意力模块就是在多尺度可变形注意力模块的基础上，将其xl和zq的来源限制为从ResNet网络来的单个缺陷图像特征。从ResNet提取到的四层图像特征，并行输入到多尺度可变形自注意力模块，得到带有可变形注意力加权的特征图。
b.前馈神经网络(FFN),其具体作用为通过两个线性变换层和激活函数(ReLU激活函数)将输入的特征向量进行非线性映射。这个过程有助于Deformable-DETR模型学习更加丰富和高维的表示，以捕捉输入特征的更多细节和抽象信息。
c.残差归一化模块，其作用分为两个，残差连接是指将输入特征和经过一系列变换后的特征进行元素级别的相加操作，从而传递原始输入的信息。这有助于缓解深层网络中的梯度消失问题，并促进模型的训练和收敛；归一化操作则是通过规范化特征的均值和方差来提高模型的稳定性和收敛速度。在Deformable-DETR中，使用的是批量归一化(BatchNormalization)方法，它对每个通道的特征进行归一化处理。总的来说，残差归一化模块的作用是在每个残差块的输入和输出之间引入归一化操作，从而结合了残差连接和归一化的优点。这有助于进一步增强模型的表达能力，提高模型的收敛速度和稳定性。
d.从多尺度可变形注意力模块输出的带有带有可变形注意力加权的缺陷图像特征，通过FFN层，丰富了更多的特征信息，再通过残差归一化模块，将特征信息进一步处理，避免深层网络梯度消失。输出的是带有更高维度信息和可变形注意力加权的缺陷图像特征。通过编码器共计6层的递进处理，该缺陷图像特征会带有图像语义特征。
步骤三：构建Deformable-DETR解码器，解码器有6层结构，每层的结构包含四个模块：多尺度可变形交叉注意力模块，自注意力模块，前馈神经网络和残差归一化模块。编码器的输出特征图作为解码器的输入，之后，解码器会输出两种信息：
1.目标类别预测：解码器输出每个位置的目标类别概率分布。通过对概率分布进行Softmax处理得到类别得分，对类别得分进行归一化，以获得每个位置上不同类别的概率。
2.目标框预测：解码器还输出每个位置的目标框预测。这些预测通常是通过回归算法来生成边界框的位置和大小信息。
解码器根据输入的编码器特征图和目标位置编码，生成每个位置的目标类别和边界框预测，即缺陷特征图像的目标检测结果。
a.多尺度可变形交叉注意力模块原理和作用等同于多尺度可变形自注意力模块，区别在于交叉注意力的是解码器自带的输入，xl和zq来自于编码器的输出，这种设计可以用于不同层输入缺陷图像特征之间的注意力计算和交互，用于跨层的信息传递。
b.自注意力模块是可变形注意力模块的简化版，取消了采样位置的偏移量，对输入的特征本身进行自注意力计算。
c.前馈神经网络(FFN)和残差归一化模块与编码器中的模块功能与作用类似。
Deformable-DETR与其他几种不同模型针对于裂纹缺陷的检测结果如下表所示：
基于视觉爬壁机器人MT探伤裂纹识别系统集成了探伤硬件和检测软件为一体，实现磁粉探伤(MT)的自动化检测。
基于机器视觉的磁粉探伤爬壁机器人可以自主地在壁面爬行，实现自动化的检测过程。相较于人工手持设备，机器人不会受到工人技能和精力的限制，可以保持稳定的检测质量和速度。同时，机器人可以探测到特殊位置和难以到达的区域，有效提高了检测的精度和可靠性。相较于大型固定式设备，机器人不受场地和工况的限制，可以灵活地在不同的工作环境下进行检测。
其次，基于机器视觉的磁粉探伤爬壁机器人采用了Deformable-DETR技术，可以实现高精度的检测结果。通过CCD相机可以对检测区域进行全面、精细的扫描，并及时发现并报告可能存在的缺陷。此外，缺陷检测算法可以对多个参数进行自动调节和优化，以适应不同材料和表面特征的检测需求。
在实际应用中，基于机器视觉的磁粉探伤爬壁机器人适用于需要对各种复杂结构进行无损检测的场合，如航空航天、汽车制造、能源开采、建筑工程等领域。机器人可以在高空、狭小空间、高温高压等危险环境下工作，保障了人员的安全和检测质量。同时，机器人可以实现24小时不间断工作，大大提高了检测的效率和准确性。
参照图4所示，为本发明的探伤装置的结构示意图。本发明中的探伤装置基于爬壁机器人设置的，在爬壁机器人3上安装有探头、相机和磁悬液喷灌2，通过爬壁机器人在待检测工件1周边行走，向工件喷射磁悬液，并使得探头接触或靠近待检测工件，使得待检测工件磁化，之后，通过相机采集工件局部区域图像，通过分析图像，判断攻坚是否存在缺陷以及缺陷类型。此外，还设置有控制台4，通过控制台4控制探头、相机和磁悬液喷灌工作。
参照图5所示，为本发明磁粉探伤爬壁机器人的探伤流程图。参照图6所示，为本发明磁粉探伤的流程图。
一、准备阶段
1.操作前，对小车的周边环境进行观察，移除遮挡物和行进障碍，防止出现行进故障。
2.探伤仪磁极间距为200mm。
3.启动小车。其中，小车即爬壁机器人。
二、预备操作
1.操作控制板，操作爬壁机器人行进到焊缝位置，保证车体侧面与焊缝平行。
2.对小车位置进行微调，保证探伤仪对准焊缝。
(此时小车车轮侧面距离焊缝为25cm左右)
3.操作小车行进到焊缝起始位置。控制面板操作，摇匀磁悬液，喷磁，同时操作小车前进，对整个焊缝区域进行润湿。
(通过第一遍对焊缝润湿，能够清洁焊缝环境，同时使接下来磁化磁粉的效果更好)
4.润湿完毕，小车回退到起始位置。
三、磁粉探伤阶段
1.开始进行磁粉探伤，打开照明。
2.降低探头，探伤仪磁极接触到钢板表面并通电，磁极会产生磁力吸附到钢板上。同时开始喷磁，将磁悬液喷洒到焊缝上，喷磁后仍需持续磁化1S再断电。
3.第一遍磁化结束。通过控制面板，旋转探头，让探伤仪转90度，再进行磁化。磁化结束后。摄像机拍照采集图像。
4.完成图像采集后，小车沿焊缝方向继续行进小车沿焊缝方向继续行进，距离为80mm左右。
5.行进到位置后，重复2-3步，对焊缝区域进行磁粉探伤与图像采集，并传输回到控制台。
6.控制台对采集的图像进行识别，标注出图像中缺陷的位置和类别。
7.重复4-6步，完成整个焊缝区域的探伤与图像采集以及缺陷识别。
四、结束阶段
1.完成磁粉探伤后，升起探头。操作小车行驶到停放位置。
2.关闭控制面板使能键，关闭控制面板，控制柜断电。
总的来说，本发明提供了一种基于爬壁机器人的MT探伤裂纹视觉识别系统，该系统采用Deformable-DETR算法进行裂纹检测。通过实验验证，该算法在裂纹检测方面具有较高的准确率和召回率，分别达到了93.9％和91.3％。该算法能够通过调节和优化多个参数，适应不同材料和表面特征的检测需求。结合爬壁机器人能够在高空、狭小空间、高温高压等危险环境下工作的特性，可以实现不间断工作，大大提高了检测的效率和准确性。
本发明提供的一种基于机器视觉的磁粉探伤爬壁机器人MT探伤裂纹识别系统，其集成了探伤硬件和检测软件为一体。该机器人能够自主地在壁面爬行，实现自动化的检测过程。相较于传统人工手持设备，本发明具有稳定的检测质量和速度，且不会受到工人技能和精力的限制。
在实际应用中，本发明适用于需要对各种大型高空结构进行无损检测的场合，如港口机械、大型桥梁、风力发电设备等。本发明能够在高空、狭小空间等危险环境下工作，保障了人员的安全和检测质量。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种磁粉探伤裂纹视觉识别方法，其特征在于，包括：
获取探伤图像，所述探伤图像；
构建ResNet特征提取网络，将探伤图像输入至ResNet特征提取网络，获得多尺度特征图；
构建Transformer编码器，所述Transformer编码器包括多尺度可变形自注意力模块、第一前馈神经网络和第一残差归一化模块，通过所述Transformer编码器处理多尺度特征图，获得包含图像语义信息且带有注意力加权的缺陷特征图像；
构建Transformer解码器，所述Transformer解码器包括多尺度可变形交叉注意力模块、自注意力模块、第二前馈神经网络和第二残差归一化模块，通过所述Transformer解码器处理包含图像语义信息且带有注意力加权的缺陷特征图像，获得缺陷的目标类别预测和目标框预测。
2.根据权利要求1所述的磁粉探伤裂纹视觉识别方法，其特征在于，所述构建ResNet特征提取网络，将探伤图像输入至ResNet特征提取网络，获得多尺度特征图，包括：
构建ResNet特征提取网络；
将探伤图像输入至ResNet特征提取网络；
提取ResNet特征提取网络的C3、C4、C5三个特征层的多尺度特征图，C5、C4通过1x1的卷积降维处理，C3通过1x1和3x3卷积降维处理，获得4层缺陷图像特征，所述4层缺陷图像特征即为多尺度特征图。
3.根据权利要求1所述的磁粉探伤裂纹视觉识别方法，其特征在于，多尺度可变形注意力模块的输出：
其中，是输入的多尺度特征图，xl代表第l层的特征图；/>是代表query元素q的归一化二维坐标；zq是特征图中每一个像素点；/>是将归一化的坐标重新映射到对应层的坐标；Amqk是注意力权重，为需要训练学习的参数；Wm和W′m是两组全连接层的权重参数；Δpmlqk是采样位置的偏移量；
多尺度可变形自注意力模块在多尺度可变形注意力模块的基础上，将xl和zq的来源限制为从ResNet特征提取网络获得的单个缺陷图像特征。
4.根据权利要求1所述的磁粉探伤裂纹视觉识别方法，其特征在于，所述Transformer编码器具有多层结构，每层结构皆包括多尺度可变形自注意力模块、第一前馈神经网络和第一残差归一化模块。
5.根据权利要求1所述的磁粉探伤裂纹视觉识别方法，其特征在于，所述Transformer解码器具有多层结构，每层结构皆包括多尺度可变形交叉注意力模块、自注意力模块、第二前馈神经网络和第二残差归一化模块。
6.根据权利要求1所述的磁粉探伤裂纹视觉识别方法，其特征在于，所述目标类别预测包括：
获得每个位置的缺陷的目标类别概率分布；
通过对概率分布进行Softmax处理得到类别得分，对类别得分进行归一化，以获得每个位置上不同缺陷类别的概率。
7.根据权利要求1所述的磁粉探伤裂纹视觉识别方法，其特征在于，所述目标框预测包括：
通过回归算法来生成缺陷的边界框的位置和大小信息。
8.根据权利要求1所述的磁粉探伤裂纹视觉识别方法，其特征在于，多尺度可变形注意力模块的输出：
其中，是输入的多尺度特征图，xl代表第l层的特征图；/>是代表query元素q的归一化二维坐标；zq是特征图中每一个像素点；/>是将归一化的坐标重新映射到对应层的坐标；Amqk是注意力权重，为需要训练学习的参数；Wm和W′m是两组全连接层的权重参数；Δpmlqk是采样位置的偏移量；
所述多尺度可变形交叉注意力模块中，是Transformer解码器自带的输入，xl和zq来自于Transformer编码器的输出。
9.一种裂缝的磁粉探伤方法，其特征在于，包括以下步骤：
使用磁悬液润湿待检测金属工件的表面；
将磁极贴附或靠近待检测金属工件上，使得待检测金属工件磁化；
使用相机采集金属表面的图像；
使用权利要求1-8任一项所述的磁粉探伤裂纹视觉识别方法，获得缺陷的位置和缺陷类型。
10.根据权利要求9所述的裂缝的磁粉探伤方法，其特征在于，所述将磁极贴附在待检测金属工件上，使得待检测金属工件磁化，包括：
将磁铁以第一方向贴附或靠近待测金属工件上，完成第一遍磁化；
将磁铁以第二方向贴附或靠近待测金属工件上，完成第二遍磁化，其中，
第二方向垂直与第一方向。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311169328.1A CN117218511A (zh) | 2023-09-11 | 2023-09-11 | 磁粉探伤裂纹视觉识别方法、裂缝的磁粉探伤方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311169328.1A CN117218511A (zh) | 2023-09-11 | 2023-09-11 | 磁粉探伤裂纹视觉识别方法、裂缝的磁粉探伤方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117218511A true CN117218511A (zh) | 2023-12-12 |
Family
ID=89050511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311169328.1A Pending CN117218511A (zh) | 2023-09-11 | 2023-09-11 | 磁粉探伤裂纹视觉识别方法、裂缝的磁粉探伤方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218511A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117718249A (zh) * | 2024-02-18 | 2024-03-19 | 安徽启新明智科技有限公司 | 珠宝裂纹分选方法、装置、系统、存储介质及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652853A (zh) * | 2020-05-11 | 2020-09-11 | 西南科技大学 | 一种基于深度卷积神经网络的磁粉探伤检测方法 |
| US20210012201A1 (en) * | 2019-07-10 | 2021-01-14 | Adobe Inc. | Center-biased machine learning techniques to determine saliency in digital images |
| US20220121871A1 (en) * | 2020-10-16 | 2022-04-21 | Tsinghua University | Multi-directional scene text recognition method and system based on multi-element attention mechanism |
| CN115205233A (zh) * | 2022-06-24 | 2022-10-18 | 国网山东省电力公司潍坊供电公司 | 一种基于端对端架构的光伏表面缺陷识别方法及系统 |
| CN116485860A (zh) * | 2023-04-18 | 2023-07-25 | 安徽理工大学 | 一种基于多尺度渐进交互和聚合交叉注意力特征的单目深度预测算法 |
-
2023
- 2023-09-11 CN CN202311169328.1A patent/CN117218511A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210012201A1 (en) * | 2019-07-10 | 2021-01-14 | Adobe Inc. | Center-biased machine learning techniques to determine saliency in digital images |
| CN111652853A (zh) * | 2020-05-11 | 2020-09-11 | 西南科技大学 | 一种基于深度卷积神经网络的磁粉探伤检测方法 |
| US20220121871A1 (en) * | 2020-10-16 | 2022-04-21 | Tsinghua University | Multi-directional scene text recognition method and system based on multi-element attention mechanism |
| CN115205233A (zh) * | 2022-06-24 | 2022-10-18 | 国网山东省电力公司潍坊供电公司 | 一种基于端对端架构的光伏表面缺陷识别方法及系统 |
| CN116485860A (zh) * | 2023-04-18 | 2023-07-25 | 安徽理工大学 | 一种基于多尺度渐进交互和聚合交叉注意力特征的单目深度预测算法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117718249A (zh) * | 2024-02-18 | 2024-03-19 | 安徽启新明智科技有限公司 | 珠宝裂纹分选方法、装置、系统、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107526360B (zh) | 一种未知环境下排爆机器人多阶自主导航探测系统及方法 | |
| Bdiwi et al. | Autonomous disassembly of electric vehicle motors based on robot cognition | |
| CN117218511A (zh) | 磁粉探伤裂纹视觉识别方法、裂缝的磁粉探伤方法 | |
| CN111243017A (zh) | 基于3d视觉的智能机器人抓取方法 | |
| CN111633665B (zh) | 抓取电磁换能器协助无损检测的装置及其轨迹规划方法 | |
| Liu et al. | CNN-based vision model for obstacle avoidance of mobile robot | |
| Wang et al. | Online detection of weld surface defects based on improved incremental learning approach | |
| Hong et al. | Real-time quality monitoring of ultrathin sheets edge welding based on microvision sensing and SOCIFS-SVM | |
| Tian et al. | Automated rust removal: rust detection and visual servo control | |
| Chang et al. | Design of mobile garbage collection robot based on visual recognition | |
| Yang et al. | Automatic extraction and identification of narrow butt joint based on ANFIS before GMAW | |
| CN112530267B (zh) | 一种基于计算机视觉的机械臂智能示教方法及应用 | |
| Liu et al. | An image based visual servo approach with deep learning for robotic manipulation | |
| Zhu et al. | Design and implementation of a manipulator system for roadway crack sealing | |
| CN108789426A (zh) | 表面处理机械人 | |
| Yang et al. | Integrated design of an aerial soft-continuum manipulator for predictive maintenance | |
| CN113642492B (zh) | 基于深度残差学习和多线激光的交叉焊缝辨识方法及系统 | |
| CN116542914A (zh) | 基于3d点云的焊缝提取与拟合方法 | |
| Kähler et al. | AI-based endpoint detection for surface defect removal on aircraft components | |
| Imam et al. | Vision-based damage localization method for an autonomous robotic laser cladding process | |
| Gao et al. | A novel local path planning method considering both robot posture and path smoothness | |
| Chen et al. | A hierarchical visual model for robot automatic arc welding guidance | |
| Wu et al. | Research on Welding Guidance System of Intelligent Perception for Steel Weldment | |
| Rekhawar et al. | Deep learning based detection, segmentation and vision based pose estimation of staircase | |
| Fei et al. | Machine Vision Analysis of Welding Region and its Application to Seam Tracking in Arc Welding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |