CN116664941A - 一种轴承套圈表面缺陷视觉检测方法 - Google Patents
一种轴承套圈表面缺陷视觉检测方法 Download PDFInfo
- Publication number
- CN116664941A CN116664941A CN202310670459.1A CN202310670459A CN116664941A CN 116664941 A CN116664941 A CN 116664941A CN 202310670459 A CN202310670459 A CN 202310670459A CN 116664941 A CN116664941 A CN 116664941A
- Authority
- CN
- China
- Prior art keywords
- module
- yolov7
- bearing ring
- algorithm model
- surface defects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 92
- 238000001514 detection method Methods 0.000 title claims abstract description 76
- 230000000007 visual effect Effects 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 34
- 230000006870 function Effects 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 23
- 239000002699 waste material Substances 0.000 claims description 12
- 238000011179 visual inspection Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 230000007704 transition Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 230000000630 rising effect Effects 0.000 claims description 2
- 238000005549 size reduction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000005242 forging Methods 0.000 description 9
- 206010027146 Melanoderma Diseases 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000012788 optical film Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明提供一种轴承套圈表面缺陷视觉检测方法，包括以下步骤：构建用于对轴承套圈图像进行目标检测和分类的AS‑YOLOv7算法模型，AS‑YOLOv7算法模型包括主干网络单元、颈部网络单元、检测头单元；主干网络单元设有RFL模块，RFL模块位于主干网络单元末尾，RFL模块包括ECA‑Net模块、RepLKNet模块和CBS模块，ECA‑Net模块和RepLKNet模块并行设置后再与CBS模块串行设置；检测头单元设有SDL模块；按照设定参数通过数据集对AS‑YOLOv7算法模型进行多轮训练；将被测轴承套圈图像输入到训练完毕的AS‑YOLOv7算法模型中，输出被测轴承套圈的表面缺陷检测结果。
Description
技术领域
本发明涉及一种视觉检测方法，具体涉及一种轴承套圈表面缺陷视觉检测方法，属于图像识别技术领域。
背景技术
在产品制造过程中，其表面缺陷检测是工业现场质量控制的重要环节。轴承作为一种在机械结构中固定旋转体、降低旋转摩擦系数的机械部件，广泛应用于引导轴类零件的旋转运动和承受轴传递给机架的机械设备，其精度、性能、寿命和可靠性将严重影响整个机械结构运行的稳定性。但在实际的轴承生产过程中，由于受材料、加工、装配、运输等因素的影响，轴承套圈表面会不可避免地产生一些缺陷，如：螺旋纹、锻废、黑斑、凹痕、划伤等。这些缺陷不仅影响轴承的使用寿命和性能，带有缺陷的轴承一旦被装配到机械设备中，甚至会导致机械设备的损毁，因此轴承生产后的表面缺陷检测是必要的。
目前，国内大多数轴承厂商对轴承套圈表面的缺陷检测主要依赖人工检测的方式完成，但人工检测的检测精度和检测速度会随着检测员工作时间的增长而降低。随着机器视觉和深度学习技术的发展，因其强大的特征表达能力、泛化能力和跨场景能力，被广泛应用太阳能电池板、光学膜、液晶屏、磁瓦、纺织品等产品的缺陷检测中。利用机器视觉和深度学习技术进行轴承套圈表面缺陷自动光学检测，可以大大提高缺陷检测的准确性及速度，优化轴承套圈表面生产工艺。
轴承套圈表面的纹理背景较为复杂，且轴承套圈表面的黑斑、凹陷均属于小目标缺陷，螺旋纹、锻废、划伤缺陷的分辨率远大于黑斑，而现有技术中的轴承套圈表面缺陷视觉检测方法，对于多尺度目标的识别能力较差，特征提取能力有待改进，造成小目标漏检误检现象较多。
发明内容
基于以上背景，本发明的目的在于提供一种轴承套圈表面缺陷视觉检测方法，实现轴承套圈表面缺陷检测精度及模型推理速度间的平衡，准确检测出缺陷类别且对缺陷区域精准定位。
为了实现上述发明目的，本发明提供以下技术方案：
一种轴承套圈表面缺陷视觉检测方法，该方法包括以下步骤：
构建用于对轴承套圈图像进行目标检测和分类的AS-YOLOv7算法模型，所述AS-YOLOv7算法模型基于YOLOv7模型改进，AS-YOLOv7算法模型包括用于实现特征提取的主干网络单元、用于将主干网络单元提取的不同层次特征进行多尺度融合的颈部网络单元、用于执行目标检测和分类的检测头单元；所述主干网络单元设有RFL模块，所述RFL模块位于主干网络单元末尾，RFL模块包括ECA-Net模块、RepLKNet模块和CBS模块，所述ECA-Net模块和RepLKNet模块并行设置后再与CBS模块串行设置；所述检测头单元设有SDL模块，所述SDL模块包括串行设置的SPDConv模块、CBS模块和ODConv模块；
设置所述AS-YOLOv7算法模型的参数，采集数据集，按照设定参数通过数据集对AS-YOLOv7算法模型进行多轮训练，直至AS-YOLOv7算法模型达到设定的衡量指标，训练完毕；
将被测轴承套圈图像输入到训练完毕的AS-YOLOv7算法模型中，输出被测轴承套圈的表面缺陷检测结果。
该轴承套圈表面缺陷视觉检测方法中，基于YOLOv7模型改进得到适于对轴承套圈图像进行目标检测和分类的AS-YOLOv7算法模型；通过在模型主干网络单元末尾引入RFL模块，扩大模型的有效感受野，增强模型的特征提取能力，具体地，RFL模块中的RepLKNet模块引入了31×31超大卷积核而扩大模型的有效感受野，而ECA-Net模块减少模型复杂度，避免轴承套圈图像中的轴承套圈表面背景纹理等无效信息的干扰；通过采用SDL模块替换YOLOv7模型的原始检测头单元，优化模型的下游任务性能，增强模型的表达能力，提升模型对多尺度目标的检测能力，从而有效解决轴承套圈图像中表面缺陷分辨率跨度大、小目标缺陷占比大的问题，具体地，SDL模块中的SPDConv模块与CBS模块的结合减少细粒度特征信息的丢失，提高模型对于小目标的检测能力，并且放大输出特征的通道数为4C，然后输入到ODConv模块中，而ODConv模块可以减少模型额外的参数，降低模型复杂度，提高模型的表达能力。
作为优选，所述ECA-Net模块通过对输入特征图像在空间维度的全局平均池化实现空间特征压缩，再将压缩后的特征图像通过一维卷积跨通道捕捉交互信息且赋予不同通道权重，经过激活函数生成新的特征图像，最后将生成的新的特征图像与原始输入特征图像逐通道相乘而获得最终维度的特征图像；所述RepLKNet模块包括串行设置的Stem子模块、四个Stage子模块和三个Transition子模块，其中，一个Stage子模块连接Stem子模块，相邻的两个Stage子模块之间通过一个Transition子模块连接，所述Stem子模块用于对输入图像进行升维和尺寸缩减，所述Transition子模块用于图像下采样，所述Stage子模块由RepLK Block层和ConvFFN层堆叠而成。
作为优选，所述SPDConv模块包括串行设置的深度卷积层和非跨步卷积层；所述ODConv模块为全维动态卷积模块，ODConv模块通过多维注意力机制和并行策略在任意卷积层沿着核空间的所有四个维度进行学习。
作为优选，所述主干网络单元还设有多个CBS模块、多个ELAN模块、多个MPconv模块以及一个SPPCSPC模块，所述RFL模块位于串行设置的最后一个所述ELAN模块之后，且位于所述SPPCSPC模块之前。
作为优选，设置所述AS-YOLOv7算法模型的参数包括设置AS-YOLOv7算法模型的训练参数，所述训练参数包括：初始学习率0.1、最小学习率0.01、批处理大小值32、动态参数0.937、权重衰退参数0.0005、优化器为SGD、训练轮数300。
作为优选，设置所述AS-YOLOv7算法模型的参数还包括设置AS-YOLOv7算法模型的损失函数，所述损失函数的数学表达式为，
LOSS＝wboxLbox+wobjLobj+wclsLcls
式中，Lbox为定位误差函数，Lobj为置信度损失函数，Lcls为分类损失函数，wbox、wobj、wcls分别为上述各函数所对应的权重系数；
所述定位误差函数的数学表达式为，
式中，IOU为预测框B与真实框A的交并比，ρ为真实框A与预测框B中心点坐标的欧氏距离，c为包围真实框A与预测框B中心点坐标的最小方框的对角线距离，α为权重系数，v为衡量A与B宽高比一致性的参数；
所述分类损失函数和所述置信度损失函数均采用二元交叉熵损失函数，所述二元交叉熵损失函数的数学表达式为，
式中，n表示输入的样本数，yi表示目标值，xi表示预测的输出值。
作为优选，按照设定参数通过数据集对AS-YOLOv7算法模型进行多轮训练时，数据集以7：2：1的比例划分为训练集、验证集和测试集，执行马赛克数据增强处理丰富训练集。
作为优选，所述数据集按缺陷类型划分，所述缺陷类型包括螺旋纹、锻废、黑斑、凹痕和划伤。
作为优选，所述马赛克数据增强处理包括：随机抽取所述训练集中的4张图片，将所述图片进行随机缩放、随机裁剪、随机排布的变换，并随机选取一个图片拼接点，根据所述图片拼接点将变换后的图片拼接到同一窗口中而形成拼接后的新图片。
作为优选，所述衡量指标包括均值平均精度mAP、平均精度AP和每秒帧数FPS。
与现有技术相比，本发明具有以下优点：
本发明的一种轴承套圈表面缺陷视觉检测方法，基于YOLOv7模型改进得到适于对轴承套圈图像进行目标检测和分类的AS-YOLOv7算法模型，实现轴承套圈表面缺陷检测精度及模型推理速度间的平衡，不仅能准确检测出缺陷类别，而且可以实现对缺陷区域的精准定位，尤其显著提高了对于锻废、黑斑、划伤等类型的轴承套圈表面缺陷的检测精度；
本发明通过在模型主干网络单元末尾引入RFL模块，扩大模型的有效感受野，增强模型的特征提取能力，解决了轴承套圈表面背景纹理复杂而特征提取困难的问题；
本发明通过采用SDL模块替换YOLOv7模型的原始检测头单元，优化模型的下游任务性能，增强模型的表达能力，提升模型对多尺度目标的检测能力，从而有效解决轴承套圈图像中表面缺陷分辨率跨度大、小目标缺陷占比大的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明轴承套圈表面缺陷视觉检测方法的流程示意图；
图2是本发明中AS-YOLOv7算法模型的结构示意图；
图3是本发明中ECA-Net模块的结构示意图；
图4是本发明中RepLKNet模块的结构示意图；
图5是本发明中RFL模块的结构示意图；
图6是本发明中SPDConv模块的工作原理示意图；
图7是本发明中ODConv模块的工作原理示意图；
图8是本发明中SDL模块的结构示意图；
图9是本发明中缺陷类型的样本示意图，图9(a)为螺旋纹缺陷示意图，图9(b)为锻废缺陷示意图，图9(c)为黑斑缺陷示意图，图9(d)为凹痕缺陷示意图，图9(e)为划伤缺陷示意图；
图10是本发明中马赛克数据增强处理的流程示意图；
图11是本发明中AS-YOLOv7算法模型的训练结果曲线图；
图12是本发明中AS-YOLOv7算法模型与其它现有模型对轴承套圈表面缺陷视觉检测的效果对比图。
具体实施方式
下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体说明。应当理解，本发明的实施并不局限于下面的实施例，对本发明所做的任何形式上的变通和/或改变都将落入本发明保护范围。
在本发明中，若非特指，所有的份、百分比均为重量单位，所采用的设备和原料等均可从市场购得或是本领域常用的。下述实施例中的方法，如无特别说明，均为本领域的常规方法。下述实施例中的部件或设备如无特别说明，均为通用标准件或本领域技术人员知晓的部件，其结构和原理都为本技术人员均可通过技术手册得知或通过常规实验方法获知。
以下结合附图对本发明的实施例做出详细说明，在下面的详细说明中，为便于解释，阐述了许多具体的细节以提供对本发明的实施例的全面理解。然而，一个或多个实施例在没有这些具体细节的情况下也可以被本领域技术人员所实施。
如图1所示，本发明公开了一种轴承套圈表面缺陷视觉检测方法，该方法包括以下步骤：
S1.构建用于对轴承套圈图像进行目标检测和分类的AS-YOLOv7算法模型，AS-YOLOv7算法模型基于YOLOv7模型改进，AS-YOLOv7算法模型包括用于实现特征提取的主干网络单元、用于将主干网络单元提取的不同层次特征进行多尺度融合的颈部网络单元、用于执行目标检测和分类的检测头单元；主干网络单元设有RFL模块，RFL模块位于主干网络单元末尾，RFL模块包括ECA-Net模块、RepLKNet模块和CBS模块，ECA-Net模块和RepLKNet模块并行设置后再与CBS模块串行设置；检测头单元设有SDL模块，SDL模块包括串行设置的SPDConv模块、CBS模块和ODConv模块；
S2.设置AS-YOLOv7算法模型的参数，采集数据集，按照设定参数通过数据集对AS-YOLOv7算法模型进行多轮训练，直至AS-YOLOv7算法模型达到设定的衡量指标，训练完毕；
S3.将被测轴承套圈图像输入到训练完毕的AS-YOLOv7算法模型中，输出被测轴承套圈的表面缺陷检测结果。
该轴承套圈表面缺陷视觉检测方法中，基于YOLOv7模型改进得到适于对轴承套圈图像进行目标检测和分类的AS-YOLOv7算法模型。该方法通过在模型主干网络单元末尾引入RFL模块，扩大模型的有效感受野，增强模型的特征提取能力。该方法通过采用SDL模块替换YOLOv7模型的原始检测头单元，优化模型的下游任务性能，增强模型的表达能力，提升模型对多尺度目标的检测能力，从而有效解决轴承套圈图像中表面缺陷分辨率跨度大、小目标缺陷占比大的问题。
下面逐步对该方法进行详细说明。
1、基于YOLOv7模型改进，构建用于对轴承套圈图像进行目标检测和分类的AS-YOLOv7算法模型
该方法以YOLOv7模型作为基线神经网络模型。YOLOv7模型作为YOLO模型系列中最新的基本模型之一，在5FPS到160FPS范围内的检测速度和精度超过了所有多数已知的实时目标检测器，在已知的30帧/s以上的实时目标检测器中，YOLOv7模型的准确率也是最高的。
该方法通过引入在主干网络单元引入RFL模块，以及引入SDL模块替代传统YOLOv7模型的检测头单元，构建了如图2所示的AS-YOLOv7算法模型。主干网络单元设有多个CBS模块、多个ELAN模块、多个MPconv模块以及一个SPPCSPC模块，RFL模块位于串行设置的最后一个ELAN模块之后，且位于SPPCSPC模块之前。主干网络单元的基础任务是图像特征的提取，并将提取后的图像特征传入颈部网络单元。颈部网络单元与传统YOLOv7模型一致，采用了PAFPN结构，在颈部网络单元进行堆栈缩放。颈部网络单元通过高层特征与底层特征的融合处理得到大、中、小3种尺寸的特征，将被融合的特征分别传入检测头单元中，实现高分辨率信息和高语义信息的集成。具有SDL模块的检测头单元的基础任务是将颈部网络单元传入的高分辨率信息进行解耦，检测出目标的类别和位置。以下分别对RFL模块和SDL模块做出详细说明。
1.1、ECA-Net模块
ECA-Net模块通过对输入特征图像在空间维度的全局平均池化实现空间特征压缩，再将压缩后的特征图像通过一维卷积跨通道捕捉交互信息且赋予不同通道权重，经过激活函数生成新的特征图像，最后将生成的新的特征图像与原始输入特征图像逐通道相乘而获得最终维度的特征图像。
具体地，ECA-Net模块的结构如图3所示。首先，输入维度为C×H×W的特征图像，通过在空间维度的全局平均池化(GAP)得到1×1×C的特征图像，实现空间特征压缩；其次，将压缩后的特征图像通过一维卷积k，本实施例中k＝5，跨通道捕捉交互信息，赋予不同通道权重，经过激活函数σ生成尺寸为1×1×C的特征图像；最后，将生成的1×1×C的特征图像与原始输入特征图像C×H×W逐通道相乘，获得最终的维度为C×H×W的特征图像。ECA-Net模块通过跨通道捕捉交互信息，在复杂度较低的情况下获得了更高的精度，可以提高各种深度CNN架构的性能，其卷积核大小k由由通道维度自适应确定，卷积核k计算式如式所示：
其中，c表示通道维度，a表示常数2，b表示常数1，|n|odd最接近n的奇数。
1.2、RepLKNet模块
RepLKNet模块作为一种纯CNN架构模块，卷积核大小为31×31，具体结构如图4所示。RepLKNet模块包括串行设置的Stem子模块、四个Stage子模块和三个Transition子模块，其中，一个Stage子模块连接Stem子模块，相邻的两个Stage子模块之间通过一个Transition子模块连接，Stem子模块用于对输入图像进行升维和尺寸缩减，Transition子模块用于图像下采样，Stage子模块由RepLK Block层和ConvFFN层堆叠而成。RepLKNet模块中，除了depth-wise(DW)超大卷积以外，其他模块包括DW3×3卷积、1×1卷积和批标准化模块多为小卷积核，结构简单，参数量少。此外，RepLKNet模块采用重参数化结构增大卷积核大小，扩大有效感受野和形状偏差，同时引入short_cut层，保证了检测效率，有效提高检测精度，增强网络下游任务性能。
1.3、RFL模块
RFL模块的结构如图5所示，其结合ECA-Net模块、RepLKNet模块以及一个3×3卷积Conv而成，Conv的通道数为256。RFL模块中的RepLKNet模块引入了31×31超大卷积核而扩大模型的有效感受野，而ECA-Net模块减少模型复杂度，避免轴承套圈图像中的轴承套圈表面背景纹理等无效信息的干扰。
1.4、SPDConv模块
SPDConv模块包括串行设置的深度卷积层和非跨步卷积层，其替换了传统CNN架构中的跨步卷积和池化层运算，保留了信道维度上的所有信息，有效避免了因传统的CNN架构中使用跨步卷积和池化层而导致的细粒度特征信息丢失、网络特征表达能力下降的现象。SPDConv模块的工作原理如图6所示。以scale＝2的情况为例，考虑大小为S×S×C1的中间特征映射X,通过深度卷积切片出一系列子特征映射，子特征映射的定义如下式所示：
fscale-1,scale-1＝X[scale-1:S:scale-1:S:scale]
通过上式得到四个子特征映射f0,0,f1,0,f0,1,f1,1，将子特征映射通过信道维度相互连接获得一个特征映射X0，并输入非跨距卷积层，特征映射X0通过C2滤波器进一步变换为特征映射最后变换后的映射X″输出SPDConv。
1.5、ODConv模块
ODConv模块为全维动态卷积模块，ODConv模块通过多维注意力机制和并行策略在任意卷积层沿着核空间的所有四个维度进行学习。ODConv模块中将四种不同类型的注意力机制分别增加到四种不同维度中，其注意力机制如图7所示。图7(a)表示沿空间维度的空间坐标乘法运算，图7(b)表示沿输入通道维度的通道乘法运算，图7(c)表示沿输出通道维度的滤波器乘法运算，图7(d)表示沿卷积核空间维度的卷积核维数乘法运算。通过上述四种注意力机制的引入，可以减少网络额外的参数，提高网络的表示能力，增强基本卷积运算的特征提取能力。ODConv模块的定义如下式所示：
y＝(αw1⊙αf1⊙αc1⊙αs1⊙W1+…+αwn⊙αfn⊙αcn⊙αsn⊙Wn)*x
其中，αw1∈R表示卷积核W1的注意力标量，αs1∈Rk×k，αci∈Rcin和αf1∈Rcout分别表示沿空间维度、输入通道维度、输出通道维度计算的注意力机制，⊙表示卷积核空间不同维度的乘法操作。
1.6、SDL模块
SDL模块的结构如图8所示，其结合SPDConv模块、3×3卷积Conv以及ODConv模块而成。SDL模块中的SPDConv模块与作为CBS模块的3×3卷积Conv的结合减少细粒度特征信息的丢失，提高模型对于小目标的检测能力，并且放大输出特征的通道数为4C，然后输入到ODConv模块中，而ODConv模块可以减少模型额外的参数，降低模型复杂度，提高模型的表达能力。
2、准备数据集
2.1、数据集来源
在工业现场的轴承套圈生产线末端，采用面阵相机采集生产完成的轴承套圈表面图片，并发送至上位机作为数据集并准备数据集划分。
2.2、数据集划分
本实施例将缺陷类型分成了螺旋纹、锻废、黑斑、凹痕、划伤五类缺陷，并以此划分数据集，划分后的各种缺陷样本的统计数据见表1。
表1数据集的缺陷类型样本
| 螺旋纹 | 锻废 | 黑斑 | 凹痕 | 划伤 | |
| 数量 | 576 | 225 | 491 | 634 | 485 |
根据数据集样本数量以及训练的合理性，将每种缺陷样本按照训练集、验证集和测试集进行划分，划分的比例为7：2：1，结果如表2所示。
表2数据集的划分
| 训练 | 验证 | 测试 | 总计 | |
| 螺旋纹 | 405 | 114 | 57 | 576 |
| 锻废 | 159 | 44 | 22 | 225 |
| 黑斑 | 344 | 98 | 49 | 491 |
| 凹痕 | 445 | 126 | 63 | 634 |
| 划伤 | 341 | 96 | 48 | 485 |
该数据集共包含缺陷图像2411幅，同时根据缺陷类型分为螺旋纹、锻废、黑斑、凹痕、划伤五类缺陷，其中螺旋纹缺陷图像576幅，锻废缺陷225幅，黑斑缺陷491幅，凹痕缺陷634幅，划伤缺陷485幅。数据集中典型的缺陷样本示例如图9所示，其中图9(a)为螺旋纹缺陷，图9(b)为锻废缺陷，图9(c)为黑斑缺陷，图9(d)为凹痕缺陷，图9(e)为划伤缺陷。
2.3、数据集标签制作
本实施例需要对数据集进行标签制作，使用LabelImg进行标签制作，在LabelImg上标注缺陷位置、缺陷种类后进行导出，生成标签文件。
3、设置模型参数，训练模型
3.1、马赛克数据增强处理
在训练过程中，为了提升模型鲁棒性，提高检测精度，可以在模型输入端加入数据增强。本实施例采用马赛克数据增强处理，具体地，如图10所示，通过随机抽取训练集中的4张图片，将抽取的图片进行随机缩放、随机裁剪、随机排布，并随机选取一个图片拼接点，最后根据拼接点将变换后的图片拼接到同一窗口中。该处理方法通过随机缩放等步骤，向网络添加了更多的小样本，使样本分布更加均匀，提高了网络的鲁棒性；且在一个窗口中拼接4张图片，加快网络的收敛速度。
3.2、损失函数
本实施例中，设置AS-YOLOv7算法模型的损失函数，损失函数的数学表达式为，
LOSS＝wboxLbox+wobjLobj+wclsLcls
式中，Lbox为定位误差函数，Lobj为置信度损失函数，Lcls为分类损失函数，wbox、wobj、wcls分别为上述各函数所对应的权重系数；
定位误差函数的数学表达式为，
式中，IOU为预测框B与真实框A的交并比，ρ为真实框A与预测框B中心点坐标的欧氏距离，c为包围真实框A与预测框B中心点坐标的最小方框的对角线距离，α为权重系数，v为衡量A与B宽高比一致性的参数；
分类损失函数和置信度损失函数均采用二元交叉熵损失函数，二元交叉熵损失函数的数学表达式为，
式中，n表示输入的样本数，yi表示目标值，xi表示预测的输出值。
3.3、训练参数
训练过程中硬件环境和软件配置如下：处理器为Intel(R)Core(TM)i7-10750HCPU@2.60GHz，内存为32GB，显卡型号为Nvidia GTX 3090Ti(单卡)，显存为24GB，磁盘大小为1T。操作系统为Windows 11(64位)、计算统一设备架构(CUDA)版本为11.7、cuDNN版本为8.6.0、深度学习框架使用Pytorch 1.13.1、编译器为Python 3.7。训练参数包括：初始学习率0.1、最小学习率0.01、批处理大小值32、动态参数0.937、权重衰退参数0.0005、优化器为SGD、训练轮数300。
针对训练集的训练结果曲线如图11所示。图11中，上面一行图形为训练时的精度曲线和召回率曲线，下面一行图形为平均准确率曲线(以两种不同计算方法展示)。通过图11可知，召回率曲线在前25个epoch内快速收敛，精度函数曲线在前50个epoch内快速收敛，两者均在100epoch左右达到完成收敛。AS-YOLOv7算法模型的平均准确率曲线均在约75epoch达到完全收敛，这证明了本实施例的模型所需训练量少、收敛快的优点。
为了验证AS-YOLOv7算法模型的有效性，以均值平均精度mAP、平均精度AP和每秒帧数FPS作为衡量指标。
AP和mAP的定义如下:
AP＝∫0 1P(R)dR
其中AP表示PR(Precision-Recall)曲线与坐标轴之间的面积，mAP表示不同类别轴承套圈表面缺陷的AP的平均值，N表示测试样本的类数。在本实施例中，设置N＝5。
本实施例基于Pytorch搭建深度学习环境，并在GPU上运行，利用训练好的模型获取数据。为了进一步验证AS-YOLOv7算法模型的有效性，将该模型与YOLOv5、YOLOv7等单阶段目标检测方法模型进行了对比，对比实验结果如表5所示。
表5模型有效性对比
由表5可知，在轴承套圈表面数据集上，YOLOv5s、YOLOv5l网络的检测精度不高，且推理速度较慢，分别仅有85FPS和79FPS，整体表现不好；YOLOv7的推理速度更快，为122FPS，但YOLOv7的检测精度仅有96.1％，YOLOv7-X虽然有较好的检测精度，但推理速度较慢。而本实施例的AS-YOLOv7算法模型，相对于YOLOv7，整体检测精度提高了2.1％，达到了98.2％，其中锻废缺陷的检测精度提高了3.2％，黑斑缺陷的检测精度提高了5.2％，划伤缺陷的检测精度提高了1.8％，对于小目标、多尺度目标以及低对比度缺陷的检测效果都有明显的提升。此外，AS-YOLOv7算法模型的速度仅低于YOLOv7，FPS达到了114FPS，明显高于YOLOv5l、YOLOv5s以及YOLOv7-X。由此可见，与其他模型相比，本实施例的AS-YOLOv7算法模型具有更好的检测性能。
为进一步验证本实施例的AS-YOLOv7算法模型的可靠性，随机挑选了5张图片在不同模型上进行测试，结果如图12所示。图12中第一行为随机挑选的5张样本图片，第二行为该5张图片缺陷区域真实框位置，3-7行为各个模型的预测结果；其中标记的数字为预测的置信度，置信度越高代表是目标的可能性越高。图11中从左到右依次为螺旋纹、锻废、黑斑、凹痕、划伤缺陷，本实施例的AS-YOLOv7算法模型为最后一行，其置信度依次为0.96、0.90、0.95、0.93、0.94。
显然，由图12可以看出，不同模型在轴承套圈缺陷数据集上有不同的检测效果，YOLOv5、YOLOv5l没有检测出凹痕缺陷，YOLOv7对于凹痕缺陷、划伤缺陷的置信度较低，难以对其进行定位，而本实施例的AS-YOLOv7算法模型在整体上明显优于其他模型的检测效果。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种轴承套圈表面缺陷视觉检测方法，其特征在于：该方法包括以下步骤：
构建用于对轴承套圈图像进行目标检测和分类的AS-YOLOv7算法模型，所述AS-YOLOv7算法模型基于YOLOv7模型改进，AS-YOLOv7算法模型包括用于实现特征提取的主干网络单元、用于将主干网络单元提取的不同层次特征进行多尺度融合的颈部网络单元、用于执行目标检测和分类的检测头单元；所述主干网络单元设有RFL模块，所述RFL模块位于主干网络单元末尾，RFL模块包括ECA-Net模块、RepLKNet模块和CBS模块，所述ECA-Net模块和RepLKNet模块并行设置后再与CBS模块串行设置；所述检测头单元设有SDL模块，所述SDL模块包括串行设置的SPDConv模块、CBS模块和ODConv模块；
设置所述AS-YOLOv7算法模型的参数，采集数据集，按照设定参数通过数据集对AS-YOLOv7算法模型进行多轮训练，直至AS-YOLOv7算法模型达到设定的衡量指标，训练完毕；
将被测轴承套圈图像输入到训练完毕的AS-YOLOv7算法模型中，输出被测轴承套圈的表面缺陷检测结果。
2.根据权利要求1所述的一种轴承套圈表面缺陷视觉检测方法，其特征在于：所述ECA-Net模块通过对输入特征图像在空间维度的全局平均池化实现空间特征压缩，再将压缩后的特征图像通过一维卷积跨通道捕捉交互信息且赋予不同通道权重，经过激活函数生成新的特征图像，最后将生成的新的特征图像与原始输入特征图像逐通道相乘而获得最终维度的特征图像；所述RepLKNet模块包括串行设置的Stem子模块、四个Stage子模块和三个Transition子模块，其中，一个Stage子模块连接Stem子模块，相邻的两个Stage子模块之间通过一个Transition子模块连接，所述Stem子模块用于对输入图像进行升维和尺寸缩减，所述Transition子模块用于图像下采样，所述Stage子模块由RepLK Block层和ConvFFN层堆叠而成。
3.根据权利要求1所述的一种轴承套圈表面缺陷视觉检测方法，其特征在于：所述SPDConv模块包括串行设置的深度卷积层和非跨步卷积层；所述ODConv模块为全维动态卷积模块，ODConv模块通过多维注意力机制和并行策略在任意卷积层沿着核空间的所有四个维度进行学习。
4.根据权利要求1所述的一种轴承套圈表面缺陷视觉检测方法，其特征在于：所述主干网络单元还设有多个CBS模块、多个ELAN模块、多个MPconv模块以及一个SPPCSPC模块，所述RFL模块位于串行设置的最后一个所述ELAN模块之后，且位于所述SPPCSPC模块之前。
5.根据权利要求1所述的一种轴承套圈表面缺陷视觉检测方法，其特征在于：设置所述AS-YOLOv7算法模型的参数包括设置AS-YOLOv7算法模型的训练参数，所述训练参数包括：初始学习率0.1、最小学习率0.01、批处理大小值32、动态参数0.937、权重衰退参数0.0005、优化器为SGD、训练轮数300。
6.根据权利要求1或5所述的一种轴承套圈表面缺陷视觉检测方法，其特征在于：设置所述AS-YOLOv7算法模型的参数还包括设置AS-YOLOv7算法模型的损失函数，所述损失函数的数学表达式为，
LOSS＝wboxLbox+wobjLobj+wclsLcls
式中，Lbox为定位误差函数，Lobj为置信度损失函数，Lcls为分类损失函数，wbox、wobj、wcls分别为上述各函数所对应的权重系数；
所述定位误差函数的数学表达式为，
式中，IOU为预测框B与真实框A的交并比，ρ为真实框A与预测框B中心点坐标的欧氏距离，c为包围真实框A与预测框B中心点坐标的最小方框的对角线距离，α为权重系数，v为衡量A与B宽高比一致性的参数；
所述分类损失函数和所述置信度损失函数均采用二元交叉熵损失函数，所述二元交叉熵损失函数的数学表达式为，
式中，n表示输入的样本数，yi表示目标值，xi表示预测的输出值。
7.根据权利要求1所述的一种轴承套圈表面缺陷视觉检测方法，其特征在于：按照设定参数通过数据集对AS-YOLOv7算法模型进行多轮训练时，数据集以7：2：1的比例划分为训练集、验证集和测试集，执行马赛克数据增强处理丰富训练集。
8.根据权利要求7所述的一种轴承套圈表面缺陷视觉检测方法，其特征在于：所述数据集按缺陷类型划分，所述缺陷类型包括螺旋纹、锻废、黑斑、凹痕和划伤。
9.根据权利要求7所述的一种轴承套圈表面缺陷视觉检测方法，其特征在于：所述马赛克数据增强处理包括：随机抽取所述训练集中的4张图片，将所述图片进行随机缩放、随机裁剪、随机排布的变换，并随机选取一个图片拼接点，根据所述图片拼接点将变换后的图片拼接到同一窗口中而形成拼接后的新图片。
10.根据权利要求1所述的一种轴承套圈表面缺陷视觉检测方法，其特征在于：所述衡量指标包括均值平均精度mAP、平均精度AP和每秒帧数FPS。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310670459.1A CN116664941A (zh) | 2023-06-07 | 2023-06-07 | 一种轴承套圈表面缺陷视觉检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310670459.1A CN116664941A (zh) | 2023-06-07 | 2023-06-07 | 一种轴承套圈表面缺陷视觉检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116664941A true CN116664941A (zh) | 2023-08-29 |
Family
ID=87722136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310670459.1A Pending CN116664941A (zh) | 2023-06-07 | 2023-06-07 | 一种轴承套圈表面缺陷视觉检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116664941A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117333491A (zh) * | 2023-12-01 | 2024-01-02 | 北京航空航天大学杭州创新研究院 | 一种钢材表面缺陷检测方法及系统 |
-
2023
- 2023-06-07 CN CN202310670459.1A patent/CN116664941A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117333491A (zh) * | 2023-12-01 | 2024-01-02 | 北京航空航天大学杭州创新研究院 | 一种钢材表面缺陷检测方法及系统 |
| CN117333491B (zh) * | 2023-12-01 | 2024-03-15 | 北京航空航天大学杭州创新研究院 | 一种钢材表面缺陷检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110766660A (zh) | 基于融合深度学习模型的集成电路缺陷图像识别分类系统 | |
| CN111223093A (zh) | 一种aoi缺陷检测方法 | |
| CN111738344A (zh) | 一种基于多尺度融合的快速目标检测方法 | |
| CN115439458A (zh) | 基于深度图注意力的工业图像缺陷目标检测算法 | |
| CN110930378A (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
| CN116664941A (zh) | 一种轴承套圈表面缺陷视觉检测方法 | |
| CN116883393B (zh) | 一种基于无锚框目标检测算法的金属表面缺陷检测方法 | |
| CN113780423A (zh) | 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型 | |
| Jiang et al. | Attention M-net for automatic pixel-level micro-crack detection of photovoltaic module cells in electroluminescence images | |
| CN116129242A (zh) | 一种基于改进YOLOv4铝材表面缺陷识别方法 | |
| CN116597224A (zh) | 基于改进yolo v8网络模型的马铃薯缺陷检测方法 | |
| CN115775236A (zh) | 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统 | |
| CN115205209A (zh) | 一种基于弱监督学习的单色布匹瑕疵检测方法 | |
| CN116402769A (zh) | 一种兼顾大小目标的高精度纺织品瑕疵智能检测方法 | |
| CN116645328A (zh) | 一种高精度轴承套圈表面缺陷智能检测方法 | |
| CN114037684A (zh) | 一种基于yolov5和注意力机制模型的疵点检测方法 | |
| CN116385401B (zh) | 一种高精度纺织品缺陷可视化检测方法 | |
| CN112730437B (zh) | 基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法、装置、存储介质及设备 | |
| Hao et al. | Multi-level semantic information guided image generation for few-shot steel surface defect classification | |
| Shao et al. | Generative Adversial Network Enhanced Bearing Roller Defect Detection and Segmentation | |
| Zhang et al. | DCP-net: the defect detection method of industrial product based on dual collaborative paths | |
| Peng et al. | Efficient and high-performance cigarette appearance detection based on YOLOv5 | |
| CN116258914B (zh) | 基于机器学习及局部和全局特征融合的遥感图像分类方法 | |
| CN117612024B (zh) | 一种基于多尺度注意力的遥感图像屋顶识别方法 | |
| CN117593292B (zh) | 一种基于三维正交注意力的ct图像目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |