CN116645328A - 一种高精度轴承套圈表面缺陷智能检测方法 - Google Patents

一种高精度轴承套圈表面缺陷智能检测方法 Download PDF

Info

Publication number
CN116645328A
CN116645328A CN202310454335.XA CN202310454335A CN116645328A CN 116645328 A CN116645328 A CN 116645328A CN 202310454335 A CN202310454335 A CN 202310454335A CN 116645328 A CN116645328 A CN 116645328A
Authority
CN
China
Prior art keywords
module
bearing ring
network
surface defect
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310454335.XA
Other languages
English (en)
Inventor
徐海涛
李俊峰
潘海鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University Changshan Research Institute Co ltd
Zhejiang Sci Tech University ZSTU
Original Assignee
Zhejiang Sci Tech University Changshan Research Institute Co ltd
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University Changshan Research Institute Co ltd, Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University Changshan Research Institute Co ltd
Priority to CN202310454335.XA priority Critical patent/CN116645328A/zh
Publication of CN116645328A publication Critical patent/CN116645328A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种高精度轴承套圈表面缺陷智能检测方法，该方法包括以下步骤：基于改进YOLOv5目标检测网络构建轴承套圈表面缺陷检测模型，包括主干网络、颈部网络、目标检测头模块，主干网络依次设有五个下采样单元，第一个下采样单元包括CBS模块，其它四个下采样单元包括依次设置的CBS模块和SPD模块，且其它四个下采样单元后均设置C2f模块，SPD模块采用SPD层替代YOLOv5目标检测网络中的步长卷积，C2f模块用于实现分离卷积和拼接操作，颈部网络设有CARAFE轻量级通用上采样模块；设置轴承套圈表面缺陷检测模型的损失函数，采集数据集并将其划分为训练集、验证集和测试集，进行多轮训练。本发明实现对于轴承套圈表面缺陷的高精度检测，检测精度达到97％以上。

Description

一种高精度轴承套圈表面缺陷智能检测方法
技术领域
本发明涉及一种轴承缺陷检测方法，具体涉及一种高精度轴承套圈表面缺陷智能检测方法，属于工业视觉检测技术领域。
背景技术
轴承作为一种机械传动过程中起固定和减小载荷摩擦作用的零部件，广泛应用于引导轴类零件的旋转运动和承受轴传递给机架的载荷，其质量好坏将严重影响整个机械设备运行的稳定性。但在轴承生产和装配过程中，由于受材料、加工、装配、运输等因素的影响，轴承表面不可避免会产生一些缺陷。轴承套圈表面缺陷的形成主要在原料加工环节，缺陷主要有车废、锻废、黑斑、磕碰、划伤等。在锻造环节中，温度的差异会引起锻废的产生。在车削过程中，由于机器高速运转，稍有错位会造成切割过大而导致车废或划痕。在防锈处理过程中，由于涂抹防锈油不均匀，生产现场潮湿的环境会引起轴承生锈。在运输过程中，表面磕碰会造成磕碰、划伤。
近年来，随着机器视觉和深度学习技术的发展，不少基于机器视觉和深度学习的缺陷检测方法被广泛应用在各种工业场景中，但是针对轴承套圈表面缺陷的视觉检测方法并不多见。其原因主要在于，轴承套圈背景纹理复杂，缺陷大小不一且类型繁多，亮度不均匀。而且，轴承的生产环境中有大量的油污和灰尘，会对采集的轴承图像产生干扰。
发明内容
基于以上背景，本发明的目的在于提供一种高精度轴承套圈表面缺陷智能检测方法，解决背景技术中所述的问题。
为了实现上述发明目的，本发明提供以下技术方案：
一种高精度轴承套圈表面缺陷智能检测方法，该方法包括以下步骤：
基于改进YOLOv5目标检测网络构建轴承套圈表面缺陷检测模型，所述轴承套圈表面缺陷检测模型包括用于实现特征提取的主干网络、用于将主干网络提取的不同层次特征进行多尺度融合的颈部网络、用于执行目标检测和分类的目标检测头模块，所述主干网络依次设有五个下采样单元，第一个下采样单元包括CBS模块，其它四个下采样单元包括依次设置的CBS模块和SPD模块，且其它四个下采样单元后均设置C2f模块，所述CBS模块包括卷积层、归一化层和激活函数层，所述SPD模块采用SPD层替代YOLOv5目标检测网络中的步长卷积，所述C2f模块用于实现分离卷积和拼接操作，所述颈部网络设有CARAFE轻量级通用上采样模块，所述颈部网络融合主干网络中第三个下采样单元、第四个下采样单元和第五个下采样单元输出的特征图，进行特征融合时，浅层语义信息自顶向下传递，深层语义信息自底向上传递；
设置所述轴承套圈表面缺陷检测模型的损失函数，采集数据集并将其划分为训练集、验证集和测试集，按照设定的训练参数对所述轴承套圈表面缺陷检测模型进行多轮训练；
将被测轴承套圈图像输入到训练完成的轴承套圈表面缺陷检测模型中，输出被测轴承套圈的表面缺陷检测结果。
该方法构建的轴承套圈表面缺陷检测模型，在YOLOv5目标检测网络基础上，利用SPD模块代替上一层的Conv模块进行下采样，增加了特征图的通道数，在保持特征图的分辨率不变情况下，提高对低分辨率图像和小物体的检测能力，从而提高轴承套圈表面缺陷检测模型的表达能力和泛化能力；利用C2f模块对特征进行提取，实现不同通道数的特征图的融合，提高特征图的质量和效率，提高特征图的感受野和多尺度能力，得到更为全局、语义层次更高的特征；颈部网络利用CARAFE轻量级通用上采样模块进行上采样，具有更大的感受野和更好的语义适应性，同时只引入很少的参数量和计算量，保留更多的特征细节和结构信息，提高上采样的质量和精度。
作为优选，所述SPD层用于将输入的特征图的高度和宽度减半，并且将输入的特征图的通道数增加四倍。
作为优选，所述C2f模块包括两个CBS模块、一个Split模块和若干Bottleneck模块，输入第一个CBS模块的特征图通过Split模块拆分为两个子特征图，其中，Split模块拆分的一个子特征图通过若干Bottleneck模块输出，每个Bottleneck模块输出的子特征图与Split模块拆分的另一个子特征图拼接后，通过第二个CBS模块输出分离卷积和拼接操作后的特征图，该特征图与输入第一个CBS模块的特征图尺寸相同。
作为优选，所述CARAFE轻量级通用上采样模块包括核预测模块和内容感知重组模块，所述核预测模块用于生成用于重组计算的核上的权重，所述内容感知重组模块用于根据计算得到的权重对特征进行重组。
作为优选，所述损失函数的数学表达式为，
LOSS＝wboxLbox+wobjLobj+wclsLcls
式中，Lbox为定位误差函数，Lobj为置信度损失函数，Lcls为分类损失函数，wbox、wobj、wcls分别为上述各函数所对应的权重系数。
作为优选，所述定位误差函数的数学表达式为，
式中，IOU为预测框B与真实框A的交并比，ρ为真实框A与预测框B中心点坐标的欧氏距离，c为包围真实框A与预测框B中心点坐标的最小方框的对角线距离，α为权重系数，v为衡量A与B宽高比一致性的参数。
作为优选，所述分类损失函数和所述置信度损失函数均采用二元交叉熵损失函数，所述二元交叉熵损失函数的数学表达式为，
式中，n表示输入的样本数，yi表示目标值，xi表示预测的输出值。
作为优选，所述采集数据集包括，采集数据集并根据缺陷种类将数据集分为车废、锻废、黑斑、磕碰伤和划伤。
作为优选，所述设定的训练参数包括，批处理大小值32、动态参数0.937、学习率0.01、余弦退火学习率0.1、数据增强值1.0、图片大小值640×640、训练次数100次。
作为优选，对所述轴承套圈表面缺陷检测模型进行多轮训练中，采用马赛克数据增强方法。
与现有技术相比，本发明具有以下优点：
本发明的一种高精度轴承套圈表面缺陷智能检测方法，基于改进YOLOv5目标检测网络构建轴承套圈表面缺陷检测模型，将主干网络中的C3模块替换为C2f模块，有效减少了网络的参数量和计算量，同时能得到更为全局、更高语义层次的特征，利用SPD模块有效提高模型检测低分辨率图像和小物体图像的能力，利用CARAFE轻量级通用上采样模块改进颈部网络，丰富上下文信息，减少信息在传递过程中的丢失，不仅提高模型对于缺陷的检测能力，还提高了模型网络多样性和鲁棒性，使模型适应于不同的实例和场景，该高精度轴承套圈表面缺陷智能检测方法基于上述轴承套圈表面缺陷检测模型实现对于轴承套圈表面缺陷的高精度检测，检测精度达到97％以上。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明一种高精度轴承套圈表面缺陷智能检测方法的流程示意图；
图2是本发明中轴承套圈表面缺陷检测模型的网络结构图；
图3是本发明中SPD模块的结构示意图；
图4是传统的C3模块的结构示意图；
图5是本发明中C2f模块的结构示意图；
图6是传统的YOLOv5目标检测网络中上采样模块的原理示意图；
图7是本发明中CARAFE轻量级通用上采样模块的结构示意图；
图8是本发明中轴承套圈表面缺陷检测模型训练过程中的训练损失、验证损失、mAP曲线图；
图9是轴承套圈表面缺陷数据集在各模型上的测试结果；
图10是本发明轴承套圈表面缺陷检测模型与YOLOv5模型在布料数据集的测试结果比较图。
具体实施方式
下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体说明。应当理解，本发明的实施并不局限于下面的实施例，对本发明所做的任何形式上的变通和/或改变都将落入本发明保护范围。
在本发明中，若非特指，所有的份、百分比均为重量单位，所采用的设备和原料等均可从市场购得或是本领域常用的。下述实施例中的方法，如无特别说明，均为本领域的常规方法。下述实施例中的部件或设备如无特别说明，均为通用标准件或本领域技术人员知晓的部件，其结构和原理都为本技术人员均可通过技术手册得知或通过常规实验方法获知。
参考图1，本发明的实施例公开了一种高精度轴承套圈表面缺陷智能检测方法，该方法包括以下步骤：
S1.基于改进YOLOv5目标检测网络构建轴承套圈表面缺陷检测模型，轴承套圈表面缺陷检测模型包括用于实现特征提取的主干网络、用于将主干网络提取的不同层次特征进行多尺度融合的颈部网络、用于执行目标检测和分类的目标检测头模块，主干网络依次设有五个下采样单元，第一个下采样单元包括CBS模块，其它四个下采样单元包括依次设置的CBS模块和SPD模块，且其它四个下采样单元后均设置C2f模块，CBS模块包括卷积层、归一化层和激活函数层，SPD模块采用SPD层替代YOLOv5目标检测网络中的步长卷积，C2f模块用于实现分离卷积和拼接操作，颈部网络设有CARAFE轻量级通用上采样模块，颈部网络融合主干网络中第三个下采样单元、第四个下采样单元和第五个下采样单元输出的特征图，进行特征融合时，浅层语义信息自顶向下传递，深层语义信息自底向上传递；
S2.设置轴承套圈表面缺陷检测模型的损失函数，采集数据集并将其划分为训练集、验证集和测试集，按照设定的训练参数对轴承套圈表面缺陷检测模型进行多轮训练；
S3.将被测轴承套圈图像输入到训练完成的轴承套圈表面缺陷检测模型中，输出被测轴承套圈的表面缺陷检测结果。
以下结合附图对本发明的实施例做出详细说明，在下面的详细说明中，为便于解释，阐述了许多具体的细节以提供对本发明的实施例的全面理解。
传统的YOLOv5目标检测网络包括主干网络、颈部网络和目标检测头模块，使用CSPDarknet53作为主干网络，并结合特征金字塔网络(FPN)和路径聚合网络(PAN)作为颈部网络，用于将主干提取的特征进行融合，目标检测头模块的主体为三个Detect检测器，利用基于网格的anchor在不同尺度的特征图上进行目标检测。
轴承套圈表面缺陷的视觉检测中，由于轴承套圈表面缺陷种类较多，且情况复杂，其存在着各种不同大小和形状的车废、锻废、黑斑、磕碰伤、划伤等缺陷，因此需要结合浅层和高层语义信息，也需要把不同尺度特征有效融合。而传统的YOLOv5目标检测网络无法实现对于轴承套圈表面缺陷的高精度高效率检测。
该高精度轴承套圈表面缺陷智能检测方法基于传统的YOLOv5目标检测网络进行改进，构建轴承套圈表面缺陷检测模型，模型网络结构参考图2。轴承套圈表面缺陷检测模型包括用于实现特征提取的主干网络、用于将主干网络提取的不同层次特征进行多尺度融合的颈部网络、用于执行目标检测和分类的目标检测头模块。
主干网络依次设有五个下采样单元，第一个下采样单元包括CBS模块，其它四个下采样单元包括依次设置的CBS模块和SPD模块，其它四个下采样单元后均设置C2f模块，最终通过SPPF模块连接颈部网络。其中，CBS模块包括卷积层、归一化层和激活函数层，为现有技术，在此不再赘述。
主干网络从输入图像中提取不同大小的特征图，输入图像大小是640×640像素，主干网络经过2、4、8、16、32次下采样后中生成了五层特征图，其大小分别为320×320像素、160×160像素、80×80像素、40×40像素和20×20像素，通道数分别为32、64、128、256和512。
颈部网络融合主干网络中第三个下采样单元、第四个下采样单元和第五个下采样单元输出的特征图。具体的，颈部网络中的一个CBS模块连接主干网络的SPPF模块，颈部网络中的一个concat模块连接主干网络的第三个C2f模块，颈部网络中的另一个concat模块连接主干网络的第二个C2f模块。融合过程中，FPN结构将浅层语义信息自顶向下传递，同时PAN结构将深层语义信息自底向上传递。FPN结构和PAN结构共同增强颈部网络的特征融合能力，经过特征融合后通过三个输出层生成三个新的特征图，这三个输出层分别是浅、中、深层，输出特征图的大小分别为80×80像素、40×40像素和20×20像素，通道数分别为128、256和512。特征图越小，特征图中每个网格单元对应的图像面积就越大。上述三个输出层的输出特征图中，浅层特征图适用于检测小目标，中层特征图适用于检测中目标，而深层特征图适用于检测大目标。
根据上述新的特征映射，目标检测头模块执行目标检测和分类。
相比传统的YOLOv5目标检测网络，该轴承套圈表面缺陷检测模型利用SPD模块代替上一层的Conv来进行下采样，可以增加特征图的通道数，在保持特征图的分辨率不变情况下，提高对低分辨率图像和小物体的检测能力，从而提高模型的表达能力和泛化能力；利用C2f模块对特征进行提取，相较于C3模块，C2f使用分离卷积和拼接操作，可以实现不同通道数的特征图的融合；在颈部网络利用CARAFE轻量级通用上采样模块进行上采样，可以保留更多的特征细节和结构信息，提高上采样的质量和精度。
下面分别对SPD模块、C2f模块和CARAFE轻量级通用上采样模块进行详细说明。
在图像分辨率较低或对象较小的轴承表面缺陷检测任务中，卷积神经网络模型在图像分类、目标检测等计算机视觉任务中的性能会迅速下降，究其原因是现有模型结构中使用了卷积步长和池化层，会导致细粒度信息的丢失和较低效率的特征表示的学习。
通过引入SPD模块，解决传统的卷积步长或池化层在处理低分辨率图像和小物体时带来的信息损失和性能下降的问题。SPD模块可以提高感受野和定位精度，因为它保留了输入特征图的所有信息，而不会像卷积步长或池化层那样丢失一些细节。通过将SPD模块上一层的Conv的步长从2改为1，来使用SPD模块进行下采样。通过SPD模块，将原始图像或中间特征图切分为一系列子特征图，并将它们堆叠在一起，从而增加了通道数和感受野，同时减少了空间尺寸。例如，对如任何大小为S×S×C的中间特征图X，切出来的一系列子特征图为：
f(0，0)＝X[0：S：scale，0：S：scale]
f(scale-1，0)＝X[scale-1：S：scale，∶S∶scale]
f(0，scale-1)＝X[0：S：scale，scale-1:S:scale]
f(scale-1，scale-1)＝X[scale-1：S：scale，scale-1∶S∶scale]
一般来说，给定任何原始的特征图X，子图f(x，y)是由i+x和i+y按照比例整除所有的X(i+y)形成。因此，每个子图按比例因子scale对X进行下采样。参考图3，当scale＝2时，得到了4个子特征图f(0，0)，f(0，1)，f(1，0)，f(1，1)，每个特征图的尺寸为(S/2,S/2,C)。同时，对X进行2倍的下采样，并沿着通道维度连接这些子特征图，从而获得一个新的特征图X′，该特征图的空间维度是原来的X的二分之一，通道维度是原来X的4倍。
因此，SPD模块可以将输入特征图的高度和宽度减半，同时将通道数增加四倍，增加了特征图的深度，保持特征图的总元素数量不变，从而提高特征的表达能力和多尺度融合效果。这样，后续的C2f模块就可以在更小的空间尺寸上进行计算，而不会损失信息。
C2f模块是在传统的C3模块的基础上减少了一个CBS模块且调整了多个Bottleneck模块的拼接方式而得。参考图4，传统的C3模块包含3个标准卷积层(CBS模块)以及n个Bottlenneck模块，设置在主干网络时，Bottlenneck模块使用shortcut，设置在颈部网络时，Bottlenneck模块不使用shortcut。输入的特征图进入两条分支，一条通过多个Bottleneck模块堆叠和1个标准卷积层拼接得到一个子特征图，另一条仅经过一个标准卷积层得到另一个子特征图，最后将两个子特征图拼接后输出。
区别于传统的C3模块，C2f模块减少了一个标准卷积层，同时把每一个Bottleneck模块输出的子特征图都进行拼接，在保证轻量化的同时获得更加丰富的梯度流信息。参考图5，C2f模块包括两个CBS模块、一个Split模块和多个Bottleneck模块。输入的特征图尺寸为h×w×cin，通过CBS模块后输出尺寸为h×w×cout。输入第一个CBS模块的特征图通过Split模块拆分为两个子特征图，其中，Split模块拆分的一个子特征图通过若干Bottleneck模块输出，每个Bottleneck模块输出的子特征图与Split模块拆分的另一个子特征图拼接后，通过第二个CBS模块输出分离卷积和拼接操作后的特征图。C2f模块中的Bottleneck模块设置与在传统的C3模块中相同，设置在主干网络时，Bottlenneck模块使用shortcut，设置在颈部网络时，Bottlenneck模块不使用shortcut。
与传统的C3模块相比，C2f模块更轻量化，使用了更少的参数和计算量，同时保持了较高的精度和速度。C2f模块在主干网络中提取特征图，并通过CSP结构实现特征融合和通道分离，提高特征图的质量和效率，提高了特征图的感受野和多尺度能力，能得到更为全局，语义层次更高的特征。
CARAFE轻量级通用上采样模块是一种上采样模块。上采样模块的作用是一个小分辨率的图像或特征图扩展成一个高分辨率的图像或特征图，从而可以显示在更高分辨率的显示设备上，或者提高后续任务的性能。上采样模块可以作为卷积网络中的中间层使用，扩展特征图尺寸，便于张量拼接。上采样模块有多种实现方法，如最近邻插值、双线性插值、双立方插值、三线性插值、反池化、转置卷积等。几乎都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。传统的YOLOv5目标检测网络中，采用最近邻插值作为上采样模块的算法。其实现是通过坐标变换，将目标图像中的每个像素点映射到原图像中，然后取最接近的原图像像素点的灰度值作为目标图像像素点的灰度值。但是，参考图6所示，缺少的像素通过直接使用与之最近原有颜色生成，也就是说照搬旁边的像素，这样做产生明显的锯齿。
CARAFE轻量级通用上采样模块利用一个小型卷积网络来生成一个自适应的上采样核，然后将其与输入特征图中对应的邻域像素做点积，得到上采样后的特征图。其具有更大的感受野和更好的语义适应性，同时只引入了很少的参数量和计算量。参考图7，CARAFE轻量级通用上采样模块包括核预测模块(Kernel Prediction Module)和内容感知重组模块(Content-aware Reassembly Module)，核预测模块用于生成用于重组计算的核上的权重，内容感知重组模块用于根据计算得到的权重对特征进行重组。如图7中所示，大小为C×H×W的特征图X通过CARAFE轻量级通用上采样模块被上采样了σ倍。对于每个位置l＝(i，j)，都要有预测用于重组的上采样核kernel。首先通过核预测模块，先由通道压缩模块把通道压缩为Cm，减少之后的计算量，这样便允许后续上采样时使用更大的上采样核kernel；然后基于压缩后特征图的尺寸，使用大小为kencoder的卷积层生成用于重组特征的上采样核kernel，使用更大的kencoder将会扩大感受野，同时通道变为再对新得到的特征图将其重组为的特征图，并对每一个位置的所有通道使用softmax函数归一化。数学表达式为，
Wl′＝ψ(N(Xl，kencoder)
Xl′＝φ(N(Xl，kup)，Wl′)
对于输出X′的任意位置，在输入X处都有对应的源位置l＝(i，j)，其中i＝(i′/σ)，j＝(j′/σ)。将N(Xl，kup)表示为以位置l为中心的X的kup×kup子区域，核预测模块ψ根据Xl的子区域预测每个位置l′的位置核Wl′。内容感知重组模块φ根据Xl的子区域与位置核Wl′进行重组，得到Xl′。
在传统的YOLOv5目标检测网络中引入CARAFE轻量级通用上采样模块后，可以通过输入特征图的不同位置动态地生成不同的上采样核，适应不同尺度和形状的目标，从而适应不同的实例和场景。之后，与输入特征图的局部邻域进行内积运算，得到上采样后的新特征图，从而使得上采样后的特征图具有更高的分辨率和更丰富的细节信息，进而提高目标检测任务中对于不同目标的识别和定位能力。
训练轴承套圈表面缺陷检测模型所使用的损失函数的数学表达式为，
LOSS＝wboxLbox+wobjLobj+wclsLcls
式中，Lbox为定位误差函数，Lobj为置信度损失函数，Lcls为分类损失函数，wbox、wobj、wcls分别为上述各函数所对应的权重系数。
定位误差函数的数学表达式为，
式中，IOU为预测框B与真实框A的交并比，ρ为真实框A与预测框B中心点坐标的欧氏距离，c为包围真实框A与预测框B中心点坐标的最小方框的对角线距离，α为权重系数，ν为衡量A与B宽高比一致性的参数。
IOU的数学表达式为，
其中，A为真实框，B为预测框，A∩B表示A与B的交集，A∪B表示A与B的并集。
α和ν的数学表达式为，
分类损失函数和置信度损失函数均采用二元交叉熵损失函数，二元交叉熵损失函数的数学表达式为，
式中，n表示输入的样本数，yi表示目标值，xi表示预测的输出值。
该高精度轴承套圈表面缺陷智能检测方法中的数据集通过工业相机在轴承套圈生产线上采集得到，采集的图像分别率为5472×3468，每张图片大小约为19M。将含有缺陷的图像手动截取窗口，每个窗口的大小为640×640像素，选取其中包含缺陷的图片，同时根据缺陷的类型将数据集分成了车废、锻废、黑斑、磕碰伤、划伤。由于生产实际中每种缺陷类型的数量存在一定的差异，为了保证训练的合理性以及每种缺陷类型之间的平衡，对每种缺陷的数量做了扩充，扩充后的数量为5660，扩充后的各种缺陷的统计数据见表1，
表1扩充后的缺陷数据集
车废 锻废 黑斑 磕碰伤 划伤
数量 1140 1085 1148 1120 1167
在将数据集送进网络中训练之前，需要对数据集进行划分，本发明根据数据集样本数量以及训练的合理性，将每种缺陷样本按照训练集、验证集和测试集进行划分，划分的比例为6：2：2，结果见表2，
表2轴承缺陷图片训练集、验证集和测试集统计
该轴承套圈表面缺陷检测模型的硬件环境和软件版本如表3所示。
表3硬件环境和软件版本
该轴承套圈表面缺陷检测模型设定的训练参数如表4所示。
表4训练参数
训练参数 值
批处理大小 32
动态参数 0.937
学习率 0.01
余弦退火学习率 0.1
数据增强 1.0
图片大小 640×640
训练次数 100
为了丰富被检测目标的信息，提高模型的鲁棒性，在训练过程中采用数据增强方法。GridMask是在图片上随机生成一个网格状的遮挡物，遮挡物内部为0像素值，分类的结果保持不变，这种方式可能会降低图片的清晰度和质量。RandAugment是一种自动数据增强方法，它从一个预定义的变换集合中随机选择两种变换，并以随机的幅度应用到图像上，但是它可能会引入一些过于强烈或不适合的变换，如颜色失真、物体形变，从而降低图像的可识别性。因此，本发明中的轴承套圈表面缺陷检测模型在训练过程中采用马赛克数据增强方法。马赛克数据增强方法是一种将四张图像拼接成一张图像的方法，通过选取4张图片后将它们分别缩放到相同的大小，再随机选择一个切割点，将每张图像切割成四个部分，然后将不同图像的部分拼接成一张新的图像，保留原始图像的标签，最后对新的图像进行其他数据增强操作，如随机旋转、裁剪、缩放，调整亮度等。马赛克数据增强方法可以提高物体检测任务的性能，特别是对于小物体和密集场景，丰富了小目标的数据集。它也可以增加训练图像的多样性和复杂度，从而提高模型的泛化能力。
为了验证轴承套圈表面缺陷检测模型的有效性，本发明以均值平均精度(mAP)、平均精度(AP)和FPS(每秒帧数)作为衡量指标，混淆矩阵如表5所示。
表5混淆矩阵
表5中，TP(True Positive)表示是正样本并且预测正确的数量，FP(FalsePositive)表示是负样本但是预测为正样本的数量；FN(False Negative)表示是正样本但是预测为负样本的数量；TN(True Negative)表示是负样本预测为负样本的数量。
FPS表示目标检测网络每秒可以检测图片的数量，FPS越大目标检测网络每秒处理图片的数量就越多，处理速度就越快。
准确率和召回率的计算公式如下：
AP和mAP的数学表达式如下：
AP由精度、召回率围成的P-R曲线的面积组成，mAP表示的是每种类别AP值的平均值，用以衡量模型对所有类别的检测性能。
不同的训练参数会影响模型的性能，这些参数包括输入图片大小、训练次数、批处理大小、学习率和使用的优化器等。本发明在实验中使用表6中exp1的参数训练。为了验证上述参数是否为最佳，通过调整以下参数进行了多次实验，并基于轴承表面缺陷数据集观察其在模型上的性能变化。实验结果如表6所示。
表6超参数调整
实验 输入大小 训练次数 批处理大小 学习率 优化器 mAP
exp1 640 100 32 0.01 SGD 97.3％
exp2 320 100 32 0.01 SGD 95.2％
exp3 640 100 16 0.01 SGD 96.5％
exp4 640 100 32 0.1 SGD 96％
exp5 640 100 32 0.01 Adam 90.4％
exp6 640 100 8 0.01 Adam 89.9％
exp7 640 100 16 0.1 SGD 95.6％
exp8 640 100 8 0.01 SGD 96.1％
在实验中发现，当训练次数接近100次时，损失函数的变化趋于稳定，因此本发明将训练次数设置为100。同时，由表6中可知，exp1设置参数的mAP最高，这也验证了本发明对实验参数的设置是合理的。exp6的mAP最低，说明批处理大小与优化器的选择对实验结果的影响还是较大的。
综合来看，本发明中的轴承套圈表面缺陷检测模型对传统的YOLOv5目标检测网络进行了三处改进，为了分别验证每处改进的有效性以及两处改进相结合的有效性，进行了消融实验，实验结果如表7所示。
表7消融实验结果
通过表7可知，YOLOv5模型的mAP为95.8％，加入C2f模块的改进YOLOv5模型的mAP为96.5％，表明C2f模块有助于轴承表面缺陷检测；使用CARAFE上采样的改进YOLOv5模型的mAP为96.2％；加入SPD模块的改进YOLOv5模型的mAP为96.5％；同时使用C2f、CARAFE后的改进YOLOv5模型的mAP为96.9％，表明两者的结合同样有助于提高对轴承表面缺陷的检测；结合三种模块后的改进YOLOv5模型的mAP高达97.3％，三者结合不仅提高了主干网络对特征的提取，而且提高了上采样的质量和精度，在特征融合阶段将更多的语义信息融入金字塔层，保留了更多的特征细节和结构信息，提高对低分辨率图像和小物体的检测能力。
为了进一步验证改进的YOLOV5缺陷检测模型的有效性，本发明将其与YOLOV3、YOLOV5和YOLOV6及YOLO7等单阶段目标检测方法进行了对比。训练过程中的训练损失、验证损失、mAP曲线如图8所示，训练和验证损失函数曲线在前30个训练次数内快速收敛，并在训练次数达到100时完成收敛，而mAP曲线随着训练次数的增加也呈现递增趋势。各模型的比较结果如表8所示。
表8模型比较
模型 车废 锻废 黑斑 磕碰 划伤 mAP FPS
YOLOv3-tiny 91.20％ 87.20％ 92.20％ 94.50％ 96.50％ 90.30％ 384
YOLOv3 97.5％ 88.3％ 89.8％ 94.8％ 87.7％ 91.6％ 110
YOLOv5 99.5％ 96.2％ 92.8％ 96.7％ 93.9％ 95.8％ 106
YOLOv6n 97.4％ 93.8％ 90.9％ 94.3％ 94.6％ 94.2％ 120
YOLOv7-tiny 98.8％ 83.6％ 87.5％ 88.4％ 86.4％ 88.9％ 157
本发明模型 99.4％ 96.5％ 96.7％ 98.9％ 95％ 97.3％ 100
由表8可知，本发明的模型明显优于其他目标检测网络。YOLOv7-tiny模型上的均值平均精度最低，为88.9％，不满足检测要求；YOLOv5模型的均值平均精度为95.8％，而本发明模型的均值平均精度为97.3％，整体精度提高了1.5％。其中黑斑的精度提高了3.9％，磕碰的精度提高了4％，极大的改善了黑斑和磕碰的缺陷检测精度，仅仅在FPS方面稍微有所下降。
本发明随机挑选了5张图片在上述各个模型上进行测试，结果如图9所示。可以看出，不同模型在轴承套圈表面缺陷数据集上有不同的检测效果，YOLOv3-tiny没有检测出车废缺陷，检测划伤缺陷时的置信度只有0.45，说明YOLOv3-tiny检测模型的精度较低。YOLOv7-tiny模型在检测磕碰时误检了黑斑缺陷，这也侧面验证了YOLOv7-tiny模型的检测精度较低。
为了进一步验证本发明模型的有效性，将其以布料的数据集进行了对比实验。与轴承套圈表面缺陷检测的实验方法相同，先对采集到的布料数据集进行了数据集的扩充。布料的每张图的尺寸为400*400像素，共有878张，通过对图片进行水平翻转、亮度变化等方式将数据集扩充到3317张，然后按照6:2:2的比例将数据集划分为训练集、验证集和测试集。本发明模型与YOLOv5模型的比较如图10所示。本发明模型与各模型的比较结果如表9所示。
表9模型比较
模型 Hole LLine SLine mAP FPS
YOLOv3 99.5％ 96％ 97.5％ 97.7％ 116
YOLOv3-tiny 99.3％ 81.5％ 97.5％ 92.8％ 400
YOLOv5s 99.3％ 97.9％ 98.9％ 98.7％ 149
YOLOv6n 98％ 95.1％ 95.1％ 96.3％ 124
YOLOv7-tiny 98.7％ 94.6％ 98.2％ 97.2％ 164
本发明模型 99.5％ 98.2％ 99.4％ 99％ 124
由表9可知，本发明的模型均显示出最佳结果，mAP达到了99％。说明了本发明模型适应不同尺度和形状的目标，从而适应不同的实例和场景。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种高精度轴承套圈表面缺陷智能检测方法，其特征在于：该方法包括以下步骤：
基于改进YOLOv5目标检测网络构建轴承套圈表面缺陷检测模型，所述轴承套圈表面缺陷检测模型包括用于实现特征提取的主干网络、用于将主干网络提取的不同层次特征进行多尺度融合的颈部网络、用于执行目标检测和分类的目标检测头模块，所述主干网络依次设有五个下采样单元，第一个下采样单元包括CBS模块，其它四个下采样单元包括依次设置的CBS模块和SPD模块，且其它四个下采样单元后均设置C2f模块，所述CBS模块包括卷积层、归一化层和激活函数层，所述SPD模块采用SPD层替代YOLOv5目标检测网络中的步长卷积，所述C2f模块用于实现分离卷积和拼接操作，所述颈部网络设有CARAFE轻量级通用上采样模块，所述颈部网络融合主干网络中第三个下采样单元、第四个下采样单元和第五个下采样单元输出的特征图，进行特征融合时，浅层语义信息自顶向下传递，深层语义信息自底向上传递；
设置所述轴承套圈表面缺陷检测模型的损失函数，采集数据集并将其划分为训练集、验证集和测试集，按照设定的训练参数对所述轴承套圈表面缺陷检测模型进行多轮训练；
将被测轴承套圈图像输入到训练完成的轴承套圈表面缺陷检测模型中，输出被测轴承套圈的表面缺陷检测结果。
2.根据权利要求1所述的一种高精度轴承套圈表面缺陷智能检测方法，其特征在于：所述SPD层用于将输入的特征图的高度和宽度减半，并且将输入的特征图的通道数增加四倍。
3.根据权利要求1所述的一种高精度轴承套圈表面缺陷智能检测方法，其特征在于：所述C2f模块包括两个CBS模块、一个Split模块和若干Bottleneck模块，输入第一个CBS模块的特征图通过Split模块拆分为两个子特征图，其中，Split模块拆分的一个子特征图通过若干Bottleneck模块输出，每个Bottleneck模块输出的子特征图与Split模块拆分的另一个子特征图拼接后，通过第二个CBS模块输出分离卷积和拼接操作后的特征图，该特征图与输入第一个CBS模块的特征图尺寸相同。
4.根据权利要求1所述的一种高精度轴承套圈表面缺陷智能检测方法，其特征在于：所述CARAFE轻量级通用上采样模块包括核预测模块和内容感知重组模块，所述核预测模块用于生成用于重组计算的核上的权重，所述内容感知重组模块用于根据计算得到的权重对特征进行重组。
5.根据权利要求1所述的一种高精度轴承套圈表面缺陷智能检测方法，其特征在于：所述损失函数的数学表达式为，
LOSS＝wboxLbox+wobjLobj+wclsLcls
式中，Lbox为定位误差函数，Lobj为置信度损失函数，Lcls为分类损失函数，wbox、wobj、wcls分别为上述各函数所对应的权重系数。
6.根据权利要求5所述的一种高精度轴承套圈表面缺陷智能检测方法，其特征在于：所述定位误差函数的数学表达式为，
式中，IOU为预测框B与真实框A的交并比，ρ为真实框A与预测框B中心点坐标的欧氏距离，c为包围真实框A与预测框B中心点坐标的最小方框的对角线距离，α为权重系数，v为衡量A与B宽高比一致性的参数。
7.根据权利要求5所述的一种高精度轴承套圈表面缺陷智能检测方法，其特征在于：所述分类损失函数和所述置信度损失函数均采用二元交叉熵损失函数，所述二元交叉熵损失函数的数学表达式为，
式中，n表示输入的样本数，yi表示目标值，xi表示预测的输出值。
8.根据权利要求1所述的一种高精度轴承套圈表面缺陷智能检测方法，其特征在于：所述采集数据集包括，采集数据集并根据缺陷种类将数据集分为车废、锻废、黑斑、磕碰伤和划伤。
9.根据权利要求1所述的一种高精度轴承套圈表面缺陷智能检测方法，其特征在于：所述设定的训练参数包括，批处理大小值32、动态参数0.937、学习率0.01、余弦退火学习率0.1、数据增强值1.0、图片大小值640×640、训练次数100次。
10.根据权利要求1所述的一种高精度轴承套圈表面缺陷智能检测方法，其特征在于：对所述轴承套圈表面缺陷检测模型进行多轮训练中，采用马赛克数据增强方法。
CN202310454335.XA 2023-04-25 2023-04-25 一种高精度轴承套圈表面缺陷智能检测方法 Pending CN116645328A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310454335.XA CN116645328A (zh) 2023-04-25 2023-04-25 一种高精度轴承套圈表面缺陷智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310454335.XA CN116645328A (zh) 2023-04-25 2023-04-25 一种高精度轴承套圈表面缺陷智能检测方法

Publications (1)

Publication Number Publication Date
CN116645328A true CN116645328A (zh) 2023-08-25

Family

ID=87617841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310454335.XA Pending CN116645328A (zh) 2023-04-25 2023-04-25 一种高精度轴承套圈表面缺陷智能检测方法

Country Status (1)

Country Link
CN (1) CN116645328A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115592A (zh) * 2023-08-29 2023-11-24 苏州大学 基于可变形卷积的轻量化室内服务机器人目标识别方法
CN117468084A (zh) * 2023-12-27 2024-01-30 浙江晶盛机电股份有限公司 晶棒生长控制方法、装置、长晶炉系统和计算机设备
CN117668669A (zh) * 2024-02-01 2024-03-08 齐鲁工业大学(山东省科学院) 基于改进YOLOv7的管道安全监测方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115592A (zh) * 2023-08-29 2023-11-24 苏州大学 基于可变形卷积的轻量化室内服务机器人目标识别方法
CN117468084A (zh) * 2023-12-27 2024-01-30 浙江晶盛机电股份有限公司 晶棒生长控制方法、装置、长晶炉系统和计算机设备
CN117468084B (zh) * 2023-12-27 2024-05-28 浙江晶盛机电股份有限公司 晶棒生长控制方法、装置、长晶炉系统和计算机设备
CN117668669A (zh) * 2024-02-01 2024-03-08 齐鲁工业大学(山东省科学院) 基于改进YOLOv7的管道安全监测方法及系统
CN117668669B (zh) * 2024-02-01 2024-04-19 齐鲁工业大学(山东省科学院) 基于改进YOLOv7的管道安全监测方法及系统

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN116645328A (zh) 一种高精度轴承套圈表面缺陷智能检测方法
CN111179217A (zh) 一种基于注意力机制的遥感图像多尺度目标检测方法
CN110070091B (zh) 用于街景理解的基于动态插值重建的语义分割方法及系统
CN108491786B (zh) 一种基于分级网络和聚类合并的人脸检测方法
CN110287777B (zh) 一种自然场景下的金丝猴躯体分割算法
CN111860587B (zh) 一种用于图片小目标的检测方法
CN111754507A (zh) 一种轻量化的基于强注意力机制的工业缺陷图像分类方法
CN113344110B (zh) 一种基于超分辨率重建的模糊图像分类方法
CN112101113B (zh) 一种轻量化的无人机图像小目标检测方法
CN116092179A (zh) 一种改进的yolox跌倒检测系统
CN113963272A (zh) 一种基于改进yolov3的无人机图像目标检测方法
CN112749741A (zh) 一种基于深度学习的手闸紧固故障识别方法
CN116030361A (zh) 一种基于cim-t架构的高分辨率影像变化检测方法
CN117218101A (zh) 一种基于语义分割的复合材料风电叶片缺陷检测方法
CN116664941A (zh) 一种轴承套圈表面缺陷视觉检测方法
CN114037684B (zh) 一种基于yolov5和注意力机制模型的疵点检测方法
CN117671452A (zh) 轻量化上采样yolox的断栅检测模型构建方法及系统
CN116678893A (zh) 一种基于深度学习的热轧带钢表面缺陷检测方法
CN114494728B (zh) 一种基于深度学习的小目标检测方法
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备
CN114445726B (zh) 一种基于深度学习的样本库建立方法和装置
CN111402223B (zh) 一种利用变电站视频图像的变电站缺陷问题检测方法
CN117237830B (zh) 基于动态自适应通道注意力的无人机小目标检测方法
CN117853491B (zh) 基于多场景任务下的少样本工业产品异常检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination