CN114428110A - 一种轴承套圈荧光磁粉探伤图像缺陷检测方法及系统 - Google Patents
一种轴承套圈荧光磁粉探伤图像缺陷检测方法及系统 Download PDFInfo
- Publication number
- CN114428110A CN114428110A CN202210099402.6A CN202210099402A CN114428110A CN 114428110 A CN114428110 A CN 114428110A CN 202210099402 A CN202210099402 A CN 202210099402A CN 114428110 A CN114428110 A CN 114428110A
- Authority
- CN
- China
- Prior art keywords
- image
- magnetic powder
- fluorescent magnetic
- detected
- fluorescent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000006247 magnetic powder Substances 0.000 title claims abstract description 135
- 238000007689 inspection Methods 0.000 title claims abstract description 81
- 230000007547 defect Effects 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 230000002950 deficient Effects 0.000 claims description 37
- 239000006249 magnetic particle Substances 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 15
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 238000000926 separation method Methods 0.000 claims description 6
- 230000002146 bilateral effect Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 35
- 230000004913 activation Effects 0.000 description 18
- 230000007246 mechanism Effects 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000004907 flux Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005415 magnetization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N27/00—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
- G01N27/72—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables
- G01N27/82—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws
- G01N27/83—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws by investigating stray magnetic fields
- G01N27/84—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws by investigating stray magnetic fields by applying magnetic powder or magnetic ink
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Chemical & Material Sciences (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Electrochemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analyzing Materials By The Use Of Magnetic Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及图像检测领域，特别是涉及一种轴承套圈荧光磁粉探伤图像缺陷检测方法及系统，该方法包括：从各轴承套圈的荧光磁粉探伤图片中截取设定分辨率的荧光磁粉图像块作为数据集；数据集包括包含裂纹磁痕的荧光磁粉图像块和不包含裂纹磁痕的荧光磁粉图像块；构建改进的MobileNetV3模型；改进的MobileNetV3模型中瓶颈层的注意力模块为CA注意力模块；对改进的MobileNetV3模型进行训练获得缺陷检测模型；获得待检测荧光磁粉探伤图像；通过图像处理算法确定待检测荧光磁粉探伤图像的疑似裂纹区域，获得待检测图像块；根据陷检测模型获得待检测图像块的检测结果。本发明通过降低计算量提高了缺陷检测效率。
Description
技术领域
本发明涉及图像检测领域，特别是涉及一种轴承套圈荧光磁粉探伤图像缺 陷检测方法及系统。
背景技术
轴承作为机械设备中的重要零部件，其质量水平直接影响机械产品的性能 和可靠性。在生产过程中对套圈表面缺陷的检测是非常关键的步骤。荧光磁粉 探伤因其灵敏度高、适用于检测表面微小缺陷而被广泛应用于套圈缺陷检测 中。然而，在目前的轴承套圈磁粉探伤作业中，对缺陷磁痕的观察和记录工作 必须依靠人工完成，工人在操作探伤机进行磁化后，还需要检查套圈表面各处 磁痕，观察部位较多，劳动强度大，检测效率低；长时间在紫外灯照射下观察， 易产生视觉疲劳，引发漏检和误判。
卷积神经网络模型通过利用已有图像样本的先验知识，从图像数据中学习 到高阶的特征，减少了对经验知识的依赖，特征表达能力强、适应性强。现有 的荧光磁粉探伤图像缺陷检测方法主要是通过图像处理算法分割出裂纹区域， 然后通过提取表达裂纹区域的几何、颜色、纹理的人工设计特征并结合机器学 习算法进行缺陷识别。人工设计特征对裂纹的表述能力较差，对裂纹磁痕和伪 磁痕的区分度低，且易受环境干扰。现有的基于卷积神经网络的检测方法对图 像中各区域的特征提取大多采用滑动窗口遍历的方法，存在计算量大检测效率 低的问题。
发明内容
本发明的目的是提供一种轴承套圈荧光磁粉探伤图像缺陷检测方法及系 统，通过降低计算量提高了缺陷检测效率。
为实现上述目的，本发明提供了如下方案：
一种轴承套圈荧光磁粉探伤图像缺陷检测方法，包括：
采集多张轴承套圈的荧光磁粉探伤图片；
从各所述轴承套圈的荧光磁粉探伤图片中截取设定分辨率的荧光磁粉图 像块作为数据集；将所述数据集中包含裂纹磁痕的荧光磁粉图像块标记为有缺 陷，不包含裂纹磁痕的荧光磁粉图像块标记为无缺陷；
构建改进的MobileNetV3模型；所述改进的MobileNetV3模型中瓶颈层的 注意力模块为CA注意力模块；
采用所述数据集，以所述磁粉图像块为输入，以对应所述磁粉图像块是否 存在缺陷为输出，对所述改进的MobileNetV3模型进行训练，获得缺陷检测模 型；
采集待检测的轴承套圈的荧光磁粉探伤图像，获得待检测荧光磁粉探伤图 像；
通过图像处理算法确定所述待检测荧光磁粉探伤图像的疑似裂纹区域；
将所述疑似裂纹区域进行填充和缩放，获得待检测图像块；
将所述待检测图像块输入所述缺陷检测模型，输出所述待检测荧光磁粉探 伤图像的检测结果。
可选地，所述数据集包括有缺陷的荧光磁粉图像和无缺陷的荧光磁粉图 像；所述有缺陷的荧光磁粉图像包括轴承套圈在外径、滚道、牙口和倒角有裂 纹磁痕的图像，所述无缺陷的荧光磁粉图像包括存在字符和紫外灯反射条纹的 荧光磁粉图像。
可选地，所述通过图像处理算法确定所述待检测荧光磁粉探伤图像的疑似 裂纹区域，具体包括：
对所述待检测荧光磁粉探伤图像进行RGB通道分离，获取G通道图像；
对所述G通道图像进行双边滤波，获得滤波后的G通道图像；
采用Steger算法提取滤波后的G通道图像中的磁痕显示的中心线；
计算所述中心线上各像素点的法向灰度分布的高斯相似度；
将所述中心线上高斯相似度低于设置相似度阈值的像素点滤除，获得二值 化图像；
对所述二值化图像进行形态学膨胀操作，获取连通域轮廓的外接矩形框；
对重叠和相邻的外接矩形框进行合并，获得截取外接矩形框；
采用所述截取外接矩形框对所述待检测荧光磁粉探伤图像对应的区域进 行截取，获得所述疑似裂纹区域。
可选地，所述瓶颈层包括依次连接的膨胀卷积层和深度可分离卷积层；所 述深度可分离卷积层包括依次连接的Depthwise卷积层、所述CA注意力模块 和Pointwise卷积层。
可选地，所述设定分辨率为224×224的分辨率。
本发明还公开了一种轴承套圈荧光磁粉探伤图像缺陷检测系统，包括：
荧光磁粉探伤图片采集模块，用于采集多张轴承套圈的荧光磁粉探伤图 片；
数据集确定模块，用于从各所述轴承套圈的荧光磁粉探伤图片中截取设定 分辨率的荧光磁粉图像块作为数据集；将所述数据集中包含裂纹磁痕的荧光磁 粉图像块标记为有缺陷，不包含裂纹磁痕的荧光磁粉图像块标记为无缺陷；
改进的MobileNetV3模型构建模块，用于构建改进的MobileNetV3模型； 所述改进的MobileNetV3模型中瓶颈层的注意力模块为CA注意力模块；
改进的MobileNetV3模型训练模块，用于采用所述数据集，以所述磁粉图 像块为输入，以对应所述磁粉图像块是否存在缺陷为输出，对所述改进的 MobileNetV3模型进行训练，获得缺陷检测模型；
待检测荧光磁粉探伤图像采集模块，用于采集待检测的轴承套圈的荧光磁 粉探伤图像，获得待检测荧光磁粉探伤图像；
疑似裂纹区域确定模块，用于通过图像处理算法确定所述待检测荧光磁粉 探伤图像的疑似裂纹区域；
待检测图像块确定模块，用于将所述疑似裂纹区域进行填充和缩放，获得 待检测图像块；
缺陷检测模型检测模块，用于将所述待检测图像块输入所述缺陷检测模 型，输出所述待检测荧光磁粉探伤图像的检测结果。
可选地，所述数据集包括有缺陷的荧光磁粉图像和无缺陷的荧光磁粉图 像；所述有缺陷的荧光磁粉图像包括轴承套圈在外径、滚道、牙口和倒角有裂 纹磁痕的图像，所述无缺陷的荧光磁粉图像包括存在字符和紫外灯反射条纹的 荧光磁粉图像。
可选地，所述疑似裂纹区域确定模块，具体包括：
G通道图像确定单元，用于对所述待检测荧光磁粉探伤图像进行RGB通 道分离，获取G通道图像；
G通道图像滤波单元，用于对所述G通道图像进行双边滤波，获得滤波 后的G通道图像；
中心线提取单元，用于采用Steger算法提取滤波后的G通道图像中的磁 痕显示的中心线；
高斯相似度计算单元，用于计算所述中心线上各像素点的法向灰度分布的 高斯相似度；
二值化图像确定单元，用于将所述中心线上高斯相似度低于设置相似度阈 值的像素点滤除，获得二值化图像；
形态学膨胀单元，用于对所述二值化图像进行形态学膨胀操作，获取连通 域轮廓的外接矩形框；
截取外接矩形框确定单元，用于对重叠和相邻的外接矩形框进行合并，获 得截取外接矩形框；
疑似裂纹区域确定单元，用于采用所述截取外接矩形框对所述待检测荧光 磁粉探伤图像对应的区域进行截取，获得所述疑似裂纹区域。
可选地，所述瓶颈层包括依次连接的膨胀卷积层和深度可分离卷积层；所 述深度可分离卷积层包括依次连接的Depthwise卷积层、所述CA注意力模块 和Pointwise卷积层。
可选地，所述设定分辨率为224×224的分辨率。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了一种轴承套圈荧光磁粉探伤图像缺陷检测方法及系统，通过 图像处理算法确定待检测荧光磁粉探伤图像的疑似裂纹区域，然后将疑似裂纹 区域通过对所述改进的MobileNetV3模型进行训练获得缺陷检测模型进行检 测，获得图像检测结果，减少了卷积神经网络的计算量，提高了检测效率；另 外，改进的MobileNetV3模型提取疑似裂纹区域的高层抽象特征，提高了识别 裂纹磁痕的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是 本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性 的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种轴承套圈荧光磁粉探伤图像缺陷检测方法流程示意图 一；
图2为本发明一种轴承套圈荧光磁粉探伤图像缺陷检测方法流程示意图 二；
图3为本发明高斯相似度检测所参照的高斯曲线示意图；
图4为本发明滑动窗口示意图；
图5为本发明滑动窗口旋转示意图；
图6为本发明数据集示意图；
图7为本发明CA注意力模块结构示意图；
图8为本发明改进的MobileNetV3网络模型结构示意图；
图9为本发明一种轴承套圈荧光磁粉探伤图像缺陷检测系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种轴承套圈荧光磁粉探伤图像缺陷检测方法及系 统，通过降低计算量提高了缺陷检测效率。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和 具体实施方式对本发明作进一步详细的说明。
图1为本发明一种轴承套圈荧光磁粉探伤图像缺陷检测方法流程示意图 一，图2为本发明一种轴承套圈荧光磁粉探伤图像缺陷检测方法流程示意图 二，如图1-2所示，一种轴承套圈荧光磁粉探伤图像缺陷检测方法包括：
步骤101：采集多张轴承套圈的荧光磁粉探伤图片。
步骤102：从各轴承套圈的荧光磁粉探伤图片中截取设定分辨率的荧光磁 粉图像块作为数据集；将数据集中包含裂纹磁痕的荧光磁粉图像块标记为有缺 陷，不包含裂纹磁痕的荧光磁粉图像块标记为无缺陷。
数据集包括包含裂纹磁痕的荧光磁粉图像块和不包含裂纹磁痕的荧光磁 粉图像块。
设定分辨率为224×224的分辨率。
步骤103：构建改进的MobileNetV3模型；改进的MobileNetV3模型中瓶 颈层的注意力模块为CA注意力模块。
瓶颈层包括依次连接的膨胀卷积层和深度可分离卷积层；深度可分离卷积 层包括依次连接的Depthwise卷积层、CA注意力模块和Pointwise卷积层。
本发明在原有MobileNetV3-large模型的基础上，将模型中的bottleneck(瓶 颈层)所采用的只针对通道注意力的SE(Squeeze-and-Excitation)注意力模块替 换成CA(CoordinateAttention)注意力模块，CA注意力模块既考虑了通道之间 的关系还加入了特征空间的位置信息，有效提升了模型的特征提取能力。
bottleneck首先通过一个Expansion膨胀卷积层将输入从低维映射到高维， 解决了低维卷积损失过多特征信息的缺点，接着通过深度可分离卷积 (Depthwise卷积层和Pointwise卷积层)将特征映射回低维，同时在Depthwise 和Pointwise之间加入CA注意力模块，如图8所示。
CA模块如图7所示，其运算分为两个步骤：坐标信息嵌入和注意力生成。 为了使注意力模块能够保留输入特征图的位置信息，分别使用尺寸为(H,1)和(1,W)的池化核沿着水平X和竖直Y方向对特征图进行池化，将通道分解为两个 一维特征编码；然后将两个方向的特征进行聚合，得到一对方向感知特征图。 然后通过注意力生成操作，利用前面得到的位置信息，首先合并生成的两个方 向感知特征图，通过1×1卷积变换进行下采样调整通道数，r表示下采样比 例；然后进行批规范化(Batch-Normalization)和非线性激活(Non-linear)。然后沿 着空间维数其拆分为X轴和Y轴两个单独张量，以生成每个注意权重，最后将 这些注意权重应用于输入特征得到输出。它可以沿着一个空间方向捕获远程依 赖关系，同时沿着另一个空间方向获取精确的位置信息，从而编码出一对方向 感知和位置敏感的注意力图。
如图8所示，改进后的MobileNetV3的网络结构：将尺寸大小为224×224 ×3的输入图片通过卷积核大小为3×3，步长为2的卷积层，并经过 Batch-Normalization层，采用hard-swish激活函数，得到尺寸为112×112×16 的第一特征图；第一特征图输入到卷积核大小为3×3、步长为1且激活函数 为ReLU函数的bottleneck，得到尺寸为112×112×16的第二特征图；第二特 征图输入到卷积核大小为3×3、步长为2且激活函数为ReLU函数的bottleneck，得到尺寸为56×56×24的第三特征图；第三特征图输入到卷积核 大小为3×3、步长为1且激活函数为ReLU函数的bottleneck，得到尺寸为56 ×56×24的第四特征图；第四特征图输入到卷积核大小为5×5、步长为2、 采用CA注意力机制且激活函数为ReLU函数的bottleneck，得到尺寸为28× 28×40的第五特征图；第五特征图输入到卷积核大小为5×5、步长为1、采 用CA注意力机制且激活函数为ReLU函数的bottleneck，得到尺寸为28×28 ×40的第六特征图；第六特征图输入到卷积核大小为5×5、步长为1、采用 CA注意力机制且激活函数为ReLU函数的bottleneck，得到尺寸为28×28× 40的第七特征图；第七特征图输入到卷积核大小为3×3、步长为2且激活函 数为hard-swish函数的bottleneck，得到尺寸为14×14×80的第八特征图；第 八特征图输入到卷积核大小为3×3、步长为1且激活函数为hard-swish函数 的bottleneck，得到尺寸为14×14×80的第九特征图；第九特征图输入到卷积 核大小为3×3、步长为1且激活函数为hard-swish函数的bottleneck，得到尺寸为14×14×80的第十特征图；第十特征图输入到卷积核大小为3×3、步长 为1且激活函数为hard-swish函数的bottleneck，得到尺寸为14×14×80的第 十一特征图；第十一特征图输入到卷积核大小为3×3、步长为1、采用CA注 意力机制且激活函数为hard-swish函数的bottleneck，得到尺寸为14×14×112 的第十二特征图；第十二特征图输入到卷积核大小为3×3、步长为1、采用 CA注意力机制且激活函数为hard-swish函数的bottleneck，得到尺寸为14× 14×112的第十三特征图；第十三特征图输入到卷积核大小为5×5、步长为2、采用CA注意力机制且激活函数为hard-swish函数的bottleneck，得到尺寸为7 ×7×160的第十四特征图；第十四特征图输入到卷积核大小为5×5、步长为 1、采用CA注意力机制且激活函数为hard-swish函数的bottleneck，得到尺寸 为7×7×160的第十五特征图；第十五特征图输入到卷积核大小为5×5、步 长为1、采用CA注意力机制且激活函数为hard-swish函数的bottleneck，得到 尺寸为7×7×160的第十六特征图；第十六特征图输入到卷积核大小为1×1、 步长为1的卷积层，然后经过Batch-Normalization层并采用hard-swish激活函 数得到尺寸为7×7×960的第十七特征图；第十七特征图经过池化核大小为7 ×7的平均池化层，得到尺寸为1×1×960的第十八特征图；第十八特征图经 过两个1×1卷积层，得到输出结果。具体网络结构参数如表2所示。
表2改进的MobileNetV3网络模型结构表
表2中CA表示CA注意力模块采用的CA注意力机制，对号表示采用了 CA注意力模块。
步骤104：采用数据集，以磁粉图像块为输入，以对应磁粉图像块是否存 在缺陷为输出，对改进的MobileNetV3模型进行训练，获得缺陷检测模型。
在改进的MobileNetV3网络模型训练过程中，选择Adam作为反向传播优 化器，学习率设置为0.0001，采用交叉熵损失函数，训练100个周期，得到训 练后的模型，大小为12.6M。
数据集包括有缺陷的荧光磁粉图像和无缺陷的荧光磁粉图像；有缺陷的荧 光磁粉图像包括轴承套圈在外径、滚道、牙口和倒角有裂纹磁痕的图像，无缺 陷的荧光磁粉图像包括存在字符和紫外灯反射条纹的荧光磁粉图像。
作为具体实施例，数据集(二分类数据集)的构建具体包括：使用试验平 台采集了一系列轴承套圈的磁粉探伤图片，得到轴承套圈在外径、滚道、牙口、 倒角等部位的裂纹缺陷图片共519张。训练数据集从原图上裁剪获得，类别标 签分为有缺陷和无缺陷。截取磁粉图像的224×224分辨率图像块作为模型训 练的数据集，包含裂纹磁痕的图像块标记为有缺陷，不包含裂纹磁痕的图像块 标记为无缺陷。其中无缺陷的图像块主要截取边缘磁痕、字符、紫外灯反射条 纹这些容易误判为裂纹缺陷的特征。如图6所示，图6中(a)为有裂纹缺陷 的磁粉探伤图片，图6中(b)为无有裂纹缺陷的磁粉探伤图片。
为保证数据集正负样本的均衡，通过镜像、旋转等操作对裂纹缺陷图像进 行数据扩充，然后按照有缺陷和无缺陷1:1的比例选取2418张图像，按照8： 1：1比例划分训练集、验证集和测试集，如表1所示。
表1样本数据集分布
步骤105：采集待检测的轴承套圈的荧光磁粉探伤图像，获得待检测荧光 磁粉探伤图像。
其中，步骤105具体包括：通过工业相机采集到紫外灯照射下的待检测的 轴承套圈的荧光磁粉探伤图像。
步骤106：通过图像处理算法确定待检测荧光磁粉探伤图像的疑似裂纹区 域。
其中，步骤106通过图像处理算法实现裂纹缺陷的粗定位，得到疑似裂纹 区域，具体包括：
对待检测荧光磁粉探伤图像进行RGB通道分离，获取G通道图像。
对G通道图像进行双边滤波，滤除噪声，获得滤波后的G通道图像。
采用Steger算法提取滤波后的G通道图像中的磁痕显示的中心线，具体 包括：
首先利用Hessian矩阵对磁痕显示初始中心线的法线方向上的单位向量进 行求解。求解中心线待检区域内的任意一点(x,y)的Hessian矩阵，对于图像任 意像素点(x,y)，构造Hessian矩阵如下：
Hessian矩阵的最大特征值对应的特征向量即为该像素点(x,y)的法线方向 (nx,ny)。dx,dy由输入图像与二维高斯函数的一阶偏导数卷积得到，dxx,dxy,dyy由 输入图像与二维高斯函数的二阶导数与二阶偏导数得到。求磁痕显示上的一点 (px,py)＝(x0+tnx,y0+tny)，其中t为缩放系数。当(tnx,tny)∈[-0.5,0.5]×[-0.5,0.5]时， 则该像素点(x,y)是表示磁痕中心的中心点。
其中，
计算中心线上各像素点的法向灰度分布的高斯相似度，具体包括：
根据裂纹磁痕显示法向灰度值分布呈中间高两边低的近似高斯分布特征， 定义高斯曲线g(x)，如图3所示。
其中，
x∈R；
b表示高斯曲线的平均偏移，b等于磁痕裂纹(磁痕显示)的平均灰度值， 本方法b取90，x表示法向坐标值，a表示高斯曲线的最大值，σ表示标准差。
法向灰度分布为法线方向上的灰度值分布。
为计算提取出的中心线各像素点的法向灰度分布与所定义的高斯曲线分 布的相似度，本发明设计一个9×3的网格滑动窗口，如图4所示，通过比较 中心线像素点对应掩膜区域和滑动窗口的所有像素值，并根据两者之间的相似 性来确定滑动窗口区域是否是裂纹区域。将滑动窗口分为l1、l2、l3三行，其 中l1行的值分布遵循g(x)高斯曲线规律，l1、l2、l3三行值相同。滑动窗口遍历 提取出的所有中心线像素点，并旋转窗口的y轴(垂直方向)以与e2方向(提 取的中心线的切线方向)一致，如图5所示。
然后，比较掩模区域中的所有像素值和滑动窗口中的相应值，通过计算两 个向量之间夹角的余弦值，获得它们每行的余弦相似度Ci，通过加权平均获得 高斯相似度GS，其中，
其中，gj表示滑动窗口中第i行，第j列的灰度值，hj表示对应图像中第i 行，第j列像素点的灰度值，n表示滑动窗口的列数，这里n取9。
将中心线上高斯相似度低于设置相似度阈值的像素点滤除，获得二值化图 像。
设定高斯相似度阈值为0.5，将高斯相似度低于0.5的像素点标记为0，得 到滤除后的二值图像。
由于在基于高斯相似度的滤除操作中，可能会导致部分相连区域断开，因 此对二值化图像进行形态学膨胀操作，获取连通域轮廓的外接矩形框。
对重叠和相邻的外接矩形框进行合并，获得截取外接矩形框。
采用截取外接矩形框对待检测荧光磁粉探伤图像对应的区域进行截取，获 得疑似裂纹区域。
步骤107：将疑似裂纹区域进行填充和缩放，获得待检测图像块。
其中，步骤107具体包括：得到的疑似裂纹区域往往为长宽比不等于1 且分辨率大小不一的矩形区域，需要进行尺寸归一化处理，首先将疑似裂纹区 域填充为1:1的图像块，然后缩放成224×224的图像，获得待检测图像块。
步骤108：将待检测图像块输入缺陷检测模型，输出待检测荧光磁粉探伤 图像的检测结果。
若检测结果为有缺陷则在原图上标记缺陷区域输出。
本发明利用改进的MobileNetV3模型进行缺陷识别。本发明在 MobileNetV3模型的基础上，设计一个CNN(ConvolutionalNeuralNetworks， 卷积神经网络)二分类模型，并构建数据集对CNN二分类模型(改进的 MobileNetV3模型)进行训练，将步骤106截取的疑似裂纹区域输入训练好的 CNN二分类模型中，进一步区分有缺陷区域和无缺陷区域，避免误检。
图9为本发明一种轴承套圈荧光磁粉探伤图像缺陷检测系统结构示意图， 如图9所示，一种轴承套圈荧光磁粉探伤图像缺陷检测系统，包括：
荧光磁粉探伤图片采集模块201，用于采集多张轴承套圈的荧光磁粉探伤 图片。
数据集确定模块202，用于从各轴承套圈的荧光磁粉探伤图片中截取设定 分辨率的荧光磁粉图像块作为数据集；将数据集中包含裂纹磁痕的荧光磁粉图 像块标记为有缺陷，不包含裂纹磁痕的荧光磁粉图像块标记为无缺陷。
改进的MobileNetV3模型构建模块203，用于构建改进的MobileNetV3模 型；改进的MobileNetV3模型中瓶颈层的注意力模块为CA注意力模块。
改进的MobileNetV3模型训练模块204，用于采用数据集，以磁粉图像块 为输入，以对应磁粉图像块是否存在缺陷为输出，对改进的MobileNetV3模型 进行训练，获得缺陷检测模型。
待检测荧光磁粉探伤图像采集模块205，用于采集待检测的轴承套圈的荧 光磁粉探伤图像，获得待检测荧光磁粉探伤图像。
疑似裂纹区域确定模块206，用于通过图像处理算法确定待检测荧光磁粉 探伤图像的疑似裂纹区域。
待检测图像块确定模块207，用于将疑似裂纹区域进行填充和缩放，获得 待检测图像块。
缺陷检测模型检测模块208，用于将待检测图像块输入缺陷检测模型，输 出待检测荧光磁粉探伤图像的检测结果。
数据集包括有缺陷的荧光磁粉图像和无缺陷的荧光磁粉图像；有缺陷的荧 光磁粉图像包括轴承套圈在外径、滚道、牙口和倒角有裂纹磁痕的图像，无缺 陷的荧光磁粉图像包括存在字符和紫外灯反射条纹的荧光磁粉图像。
疑似裂纹区域确定模块206，具体包括：
G通道图像确定单元，用于对待检测荧光磁粉探伤图像进行RGB通道分 离，获取G通道图像。
G通道图像滤波单元，用于对G通道图像进行双边滤波，获得滤波后的G 通道图像。
中心线提取单元，用于采用Steger算法提取滤波后的G通道图像中的磁 痕显示的中心线。
高斯相似度计算单元，用于计算中心线上各像素点的法向灰度分布的高斯 相似度。
二值化图像确定单元，用于将中心线上高斯相似度低于设置相似度阈值的 像素点滤除，获得二值化图像。
形态学膨胀单元，用于对二值化图像进行形态学膨胀操作，获取连通域轮 廓的外接矩形框。
截取外接矩形框确定单元，用于对重叠和相邻的外接矩形框进行合并，获 得截取外接矩形框。
疑似裂纹区域确定单元，用于采用截取外接矩形框对待检测荧光磁粉探伤 图像对应的区域进行截取，获得疑似裂纹区域。
瓶颈层包括依次连接的膨胀卷积层和深度可分离卷积层；深度可分离卷积 层包括依次连接的Depthwise卷积层、CA注意力模块和Pointwise卷积层。
设定分辨率为224×224的分辨率。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是 与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于 实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较 简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施 例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的 一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变 之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种轴承套圈荧光磁粉探伤图像缺陷检测方法，其特征在于，包括：
采集多张轴承套圈的荧光磁粉探伤图片；
从各所述轴承套圈的荧光磁粉探伤图片中截取设定分辨率的荧光磁粉图像块作为数据集；将所述数据集中包含裂纹磁痕的荧光磁粉图像块标记为有缺陷，不包含裂纹磁痕的荧光磁粉图像块标记为无缺陷；
构建改进的MobileNetV3模型；所述改进的MobileNetV3模型中瓶颈层的注意力模块为CA注意力模块；
采用所述数据集，以所述磁粉图像块为输入，以对应所述磁粉图像块是否存在缺陷为输出，对所述改进的MobileNetV3模型进行训练，获得缺陷检测模型；
采集待检测的轴承套圈的荧光磁粉探伤图像，获得待检测荧光磁粉探伤图像；
通过图像处理算法确定所述待检测荧光磁粉探伤图像的疑似裂纹区域；
将所述疑似裂纹区域进行填充和缩放，获得待检测图像块；
将所述待检测图像块输入所述缺陷检测模型，输出所述待检测荧光磁粉探伤图像的检测结果。
2.根据权利要求1所述的轴承套圈荧光磁粉探伤图像缺陷检测方法，其特征在于，所述数据集包括有缺陷的荧光磁粉图像和无缺陷的荧光磁粉图像；所述有缺陷的荧光磁粉图像包括轴承套圈在外径、滚道、牙口和倒角有裂纹磁痕的图像，所述无缺陷的荧光磁粉图像包括存在字符和紫外灯反射条纹的荧光磁粉图像。
3.根据权利要求1所述的轴承套圈荧光磁粉探伤图像缺陷检测方法，其特征在于，所述通过图像处理算法确定所述待检测荧光磁粉探伤图像的疑似裂纹区域，具体包括：
对所述待检测荧光磁粉探伤图像进行RGB通道分离，获取G通道图像；
对所述G通道图像进行双边滤波，获得滤波后的G通道图像；
采用Steger算法提取滤波后的G通道图像中的磁痕显示的中心线；
计算所述中心线上各像素点的法向灰度分布的高斯相似度；
将所述中心线上高斯相似度低于设置相似度阈值的像素点滤除，获得二值化图像；
对所述二值化图像进行形态学膨胀操作，获取连通域轮廓的外接矩形框；
对重叠和相邻的外接矩形框进行合并，获得截取外接矩形框；
采用所述截取外接矩形框对所述待检测荧光磁粉探伤图像对应的区域进行截取，获得所述疑似裂纹区域。
4.根据权利要求1所述的轴承套圈荧光磁粉探伤图像缺陷检测方法，其特征在于，所述瓶颈层包括依次连接的膨胀卷积层和深度可分离卷积层；所述深度可分离卷积层包括依次连接的Depthwise卷积层、所述CA注意力模块和Pointwise卷积层。
5.根据权利要求1所述的轴承套圈荧光磁粉探伤图像缺陷检测方法，其特征在于，所述设定分辨率为224×224的分辨率。
6.一种轴承套圈荧光磁粉探伤图像缺陷检测系统，其特征在于，包括：
荧光磁粉探伤图片采集模块，用于采集多张轴承套圈的荧光磁粉探伤图片；
数据集确定模块，用于从各所述轴承套圈的荧光磁粉探伤图片中截取设定分辨率的荧光磁粉图像块作为数据集；将所述数据集中包含裂纹磁痕的荧光磁粉图像块标记为有缺陷，不包含裂纹磁痕的荧光磁粉图像块标记为无缺陷；
改进的MobileNetV3模型构建模块，用于构建改进的MobileNetV3模型；所述改进的MobileNetV3模型中瓶颈层的注意力模块为CA注意力模块；
改进的MobileNetV3模型训练模块，用于采用所述数据集，以所述磁粉图像块为输入，以对应所述磁粉图像块是否存在缺陷为输出，对所述改进的MobileNetV3模型进行训练，获得缺陷检测模型；
待检测荧光磁粉探伤图像采集模块，用于采集待检测的轴承套圈的荧光磁粉探伤图像，获得待检测荧光磁粉探伤图像；
疑似裂纹区域确定模块，用于通过图像处理算法确定所述待检测荧光磁粉探伤图像的疑似裂纹区域；
待检测图像块确定模块，用于将所述疑似裂纹区域进行填充和缩放，获得待检测图像块；
缺陷检测模型检测模块，用于将所述待检测图像块输入所述缺陷检测模型，输出所述待检测荧光磁粉探伤图像的检测结果。
7.根据权利要求6所述的轴承套圈荧光磁粉探伤图像缺陷检测系统，其特征在于，所述数据集包括有缺陷的荧光磁粉图像和无缺陷的荧光磁粉图像；所述有缺陷的荧光磁粉图像包括轴承套圈在外径、滚道、牙口和倒角有裂纹磁痕的图像，所述无缺陷的荧光磁粉图像包括存在字符和紫外灯反射条纹的荧光磁粉图像。
8.根据权利要求6所述的轴承套圈荧光磁粉探伤图像缺陷检测系统，其特征在于，所述疑似裂纹区域确定模块，具体包括：
G通道图像确定单元，用于对所述待检测荧光磁粉探伤图像进行RGB通道分离，获取G通道图像；
G通道图像滤波单元，用于对所述G通道图像进行双边滤波，获得滤波后的G通道图像；
中心线提取单元，用于采用Steger算法提取滤波后的G通道图像中的磁痕显示的中心线；
高斯相似度计算单元，用于计算所述中心线上各像素点的法向灰度分布的高斯相似度；
二值化图像确定单元，用于将所述中心线上高斯相似度低于设置相似度阈值的像素点滤除，获得二值化图像；
形态学膨胀单元，用于对所述二值化图像进行形态学膨胀操作，获取连通域轮廓的外接矩形框；
截取外接矩形框确定单元，用于对重叠和相邻的外接矩形框进行合并，获得截取外接矩形框；
疑似裂纹区域确定单元，用于采用所述截取外接矩形框对所述待检测荧光磁粉探伤图像对应的区域进行截取，获得所述疑似裂纹区域。
9.根据权利要求6所述的轴承套圈荧光磁粉探伤图像缺陷检测系统，其特征在于，所述瓶颈层包括依次连接的膨胀卷积层和深度可分离卷积层；所述深度可分离卷积层包括依次连接的Depthwise卷积层、所述CA注意力模块和Pointwise卷积层。
10.根据权利要求6所述的轴承套圈荧光磁粉探伤图像缺陷检测系统，其特征在于，所述设定分辨率为224×224的分辨率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210099402.6A CN114428110A (zh) | 2022-01-27 | 2022-01-27 | 一种轴承套圈荧光磁粉探伤图像缺陷检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210099402.6A CN114428110A (zh) | 2022-01-27 | 2022-01-27 | 一种轴承套圈荧光磁粉探伤图像缺陷检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114428110A true CN114428110A (zh) | 2022-05-03 |
Family
ID=81312421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210099402.6A Pending CN114428110A (zh) | 2022-01-27 | 2022-01-27 | 一种轴承套圈荧光磁粉探伤图像缺陷检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114428110A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116148268A (zh) * | 2023-04-21 | 2023-05-23 | 创新奇智(青岛)科技有限公司 | 瑕疵检测的方法、装置、电子设备及计算机可读存储介质 |
| CN116721101A (zh) * | 2023-08-09 | 2023-09-08 | 山东华航高分子材料有限公司 | 一种塑件表面波流痕的缺陷检测方法 |
-
2022
- 2022-01-27 CN CN202210099402.6A patent/CN114428110A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116148268A (zh) * | 2023-04-21 | 2023-05-23 | 创新奇智(青岛)科技有限公司 | 瑕疵检测的方法、装置、电子设备及计算机可读存储介质 |
| CN116721101A (zh) * | 2023-08-09 | 2023-09-08 | 山东华航高分子材料有限公司 | 一种塑件表面波流痕的缺陷检测方法 |
| CN116721101B (zh) * | 2023-08-09 | 2023-10-20 | 山东华航高分子材料有限公司 | 一种塑件表面波流痕的缺陷检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110047073B (zh) | 一种x射线焊缝图像缺陷定级方法及系统 | |
| CN111179229A (zh) | 一种基于深度学习的工业ct缺陷检测方法 | |
| CN110473173A (zh) | 一种基于深度学习语义分割的缺陷检测方法 | |
| CN109856156A (zh) | 一种基于aoi的显示面板微小缺陷判定方法与装置 | |
| KR20230124713A (ko) | 결함 검출 방법, 장치 및 시스템 | |
| CN109977191B (zh) | 问题地图检测方法、装置、电子设备和介质 | |
| CN111383209A (zh) | 一种基于全卷积自编码器网络的无监督瑕疵检测方法 | |
| CN114140679A (zh) | 一种缺陷融合方法、装置、识别系统及存储介质 | |
| CN111080622A (zh) | 神经网络训练方法、工件表面缺陷分类与检测方法及装置 | |
| CN114428110A (zh) | 一种轴承套圈荧光磁粉探伤图像缺陷检测方法及系统 | |
| CN111368906B (zh) | 一种基于深度学习的指针式油位计读数识别方法 | |
| CN103149087B (zh) | 一种基于随动视窗与数字图像的非接触式实时应变测量方法 | |
| CN110346699B (zh) | 基于紫外图像处理技术的绝缘子放电信息提取方法及装置 | |
| CN117974601B (zh) | 基于模板匹配的硅片表面缺陷检测方法及系统 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN116091505B (zh) | 一种蓝宝石衬底自动缺陷检测分类的方法和系统 | |
| CN114022804A (zh) | 一种泄漏的检测方法、装置、系统及存储介质 | |
| CN112183593A (zh) | 一种基于dssd算法的道路损伤检测方法 | |
| Han et al. | SSGD: A smartphone screen glass dataset for defect detection | |
| CN118379283A (zh) | 扁线电机定子表面缺陷检测方法、装置、设备及存储介质 | |
| CN117115171B (zh) | 一种应用于地铁lcd显示屏的轻微亮点缺陷检测方法 | |
| CN113065556B (zh) | 一种数字式仪表定位和数字识别方法、装置和计算机设备 | |
| CN116580026B (zh) | 精密零部件外观缺陷自动光学检测方法、设备及存储介质 | |
| CN117495791A (zh) | 一种表面缺陷定位方法 | |
| CN107610101B (zh) | 一种测量数字图像视觉平衡质量的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |