CN116740013A - 基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法 - Google Patents

基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法 Download PDF

Info

Publication number
CN116740013A
CN116740013A CN202310689503.3A CN202310689503A CN116740013A CN 116740013 A CN116740013 A CN 116740013A CN 202310689503 A CN202310689503 A CN 202310689503A CN 116740013 A CN116740013 A CN 116740013A
Authority
CN
China
Prior art keywords
module
convolution
wire rope
feature
yolov5
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310689503.3A
Other languages
English (en)
Inventor
刘涛
高嘉
关添航
宋雪峰
梁滨
曾泽松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202310689503.3A priority Critical patent/CN116740013A/zh
Publication of CN116740013A publication Critical patent/CN116740013A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法，涉及工业缺陷检测技术领域。本发明是为了解决现有钢丝绳缺陷检测方案中，基于物理传感器的方法受环境干扰导致误差大，而基于机器视觉的方法不能对所有缺陷都具有鲁棒性的问题。本发明所述的基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法，将被测曳引钢丝绳的图像信息输入至训练好的YOLOv5改进网络中，获得检测结果，所述YOLOv5改进网络在主干网络中设计了轻量级C3模块，以替换原YOLOv5主干网络中的C3模块。所述Neck网络结构为跨层级加权特征金字塔网络；所述YOLOv5改进网络的损失函数为β_CIoU损失函数。本发明适用于曳引钢丝绳缺陷检测场景，实现更快速、准确的曳引钢丝绳缺陷检测。

Description

基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法
技术领域
本发明属于工业缺陷检测技术领域，尤其涉及曳引钢丝绳的检测。
背景技术
曳引钢丝绳作为一种承载构件，在大型工业起重设备中发挥着越来越重要的作用。在延长钢丝绳使用寿命的同时，也需要能够及时发现钢丝绳的安全隐患，确保钢丝绳在断裂前能够被发现，从而及时维修和更换。
现有的钢丝绳缺陷检测方案包括基于物理传感器以及基于机器视觉这两种方案。
公开号为CN 110568059 B、名称为一种曳引钢丝绳无损检测方法的专利文件公开了：首先对钢丝绳进行磁通信号与漏磁信号采集，然后进行预处理获取两者特征值，根据特征值得到钢丝绳缺陷宽度与预设的宽度阈值进行对比判断是否存在缺陷。该技术方案是基于物理传感器方法实现的，检测过程容易受物理环境干扰，因此检测精度取决于物理传感器信号误差大小，且不能准确对各种类别缺陷进行分类。
公开号为CN 114216912 B、名称为一种基于机器视觉的曳引钢丝绳缺陷检测方法的专利文件公开了：对采集的钢丝绳图像进行滤波处理，并进行适应二值化处理获取有效区域ROI，然后对ROI区域进行特征提取获取钢丝绳的捻距、钢丝绳上缺陷位置、钢丝绳直径实现全面检测。该技术方案是基于机器视觉方法实现的检测，虽然不受物理环境干扰，但是需要人工干预进行预处理，且提取的特征所用滤波器是人工设定的，不能保证对所有缺陷都具有鲁棒性。
发明内容
本发明是为了解决现有钢丝绳缺陷检测方案中，基于物理传感器的方法受环境干扰导致误差大，而基于机器视觉的方法不能对所有缺陷都具有鲁棒性的问题，现提供基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法。
基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法，将被测曳引钢丝绳的图像信息输入至训练好的YOLOv5改进网络中，获得检测结果，
所述YOLOv5改进网络包括主干网络和Neck网络结构，
所述主干网络中的C3模块为LW-C3模块，所述LW-C3模块包括两个DSC-BS模块、主分支梯度模块、Concat模块和CBS模块，两个DSC-BS模块的输入端均作为所述LW-C3模块的输入端，一个DSC-BS模块的输出端连接Concat模块的一个输入端，另一个DSC-BS模块的输出端连接主分支梯度模块的输入端，主分支梯度模块的输出端连接Concat模块的另一个输入端，Concat模块的输出端连接CBS模块的输入端，CBS模块的输出端作为所述LW-C3模块的输出端，
所述主分支梯度模块包括1×1卷积层、1×3卷积层、3×1卷积层、3×3卷积层、拼接层和融合层，所述主分支梯度模块的输入信号分别输入至1×1卷积层、3×3卷积层和融合层，1×1卷积层的输出端连接1×3卷积层的输入端，1×3卷积层的输出端连接3×1卷积层的输入端，3×1卷积层的输出端和3×3卷积层的输出端均连接拼接层的输入端，拼接层的输出端连接融合层的输入端，融合层的输出端作为所述主分支梯度模块的输出端；
所述Neck网络结构为跨层级加权特征金字塔网络；
所述YOLOv5改进网络的损失函数为β_CIoU损失函数。
进一步的，上述跨层级加权特征金字塔网络包括：下采样模块、第一双特征卷积模块、第二双特征卷积模块、三特征上采样卷积模块和三特征下采样卷积模块，
被测曳引钢丝绳的图像作为跨层级加权特征金字塔网络的输入，
下采样模块对被测曳引钢丝绳的图像进行两次下采样获得特征图P3，对特征图P3进行下采样获得特征图P4，对特征图P4进行下采样获得特征图P5，
特征图P5经过LW-C3模块和SPPF模块进行卷积获得特征图P51，特征图P31经过LW-C3模块进行卷积获得特征图P32，
第一双特征卷积模块对特征图P4和P51分别乘以对应权重后进行加权融合获得特征图P41，
三特征上采样卷积模块对特征图P3、P41和P51分别乘以对应权重后进行加权融合获得特征图P31，
第二双特征卷积模块对特征图P32和P4分别乘以对应权重后进行加权融合获得特征图P42，
三特征下采样卷积模块对特征图P51、P42和P32分别乘以对应权重后进行加权融合获得跨层级加权特征金字塔网络的输出。
进一步的，三特征上采样卷积模块和三特征下采样卷积模块的输出的特征图信息表达式均为：
其中，O为输出的特征图，wi为第i个可训练的权重值，Ii为第i个输入的特征图，ε为防溢出值，*表示卷积，i＝1,2,...,n，n为权重值的总数，W为n个权重值的总和。
进一步的，上述ε＝0.001。
进一步的，上述β_CIoU损失函数的表达式如下：
其中，IoU为交并比，d为预测框与真实框中心点的距离，c为预测框与真实框的对角线长度，α为用于平衡比例的参数，ωgt和ω分别为真实框和预测框的宽度，hgt和h分别为为真实框和预测框的高度，γ为缩放因子且有γ∈(0,1)，
进一步的，上述主分支梯度模块包括三条卷积分支，第一条卷积分支中所述主分支梯度模块的输入依次通过1×1卷积层、1×3卷积层、3×1卷积层、拼接层及融合层，第二条卷积分支中所述主分支梯度模块的输入依次通过3×3卷积层及拼接层，第三条卷积分支中所述主分支梯度模块的输入直接输入至融合层。
进一步的，训练所述YOLOv5改进网络之前首先建立训练集，所述训练集的建立方法为：
采集被测曳引钢丝绳的图像以及实验曳引钢丝绳的图像，所述实验曳引钢丝绳为通过人工添加缺陷的实验用曳引钢丝绳，构成初始图像集，
对所述初始图像集进行样本扩充，构成训练集。
进一步的，对所述初始图像集进行样本扩充包括：
对样本采用几何变换、空间变换、马赛克增强中的一种或多种方法实现样本扩充。
一种计算机可读的存储介质，所述存储介质存储有计算机程序，所述计算机程序被执行时实现如上述基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法。
电子设备，包括存储介质、处理器以及存储在所述存储介质中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序实现如上述基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法。
本发明有益效果包括：
本发明所述基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法，相较于传统的机器视觉检测方法，不受人工设计的滤波器限制，能够对更多的缺陷特征进行检测与识别，鲁棒性更高。另外，针对曳引钢丝绳缺陷检测场景，本发明对现有YOLOv5模型进行了改进，在与现有YOLOv5模型以及主流检测算法框架的对比下，YOLOv5改进网络对于钢丝绳缺陷检测精度更高、帧率更高，更适用于曳引钢丝绳缺陷检测；同时YOLO框架自身推理速度快的特性也印证了可以进行实时检测，能够为电梯行业等领域工作运维人员对曳引钢丝绳的质检提供技术参考。
附图说明
图1为具体实施方式所述基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法的流程图；
图2为YOLOv5改进网络中C3与LW-C3模块对比图；
图3为YOLOv5改进网络中LW-Bottleneck结构图；
图4为YOLOv5改进网络中CLW-FPN结构图；
图5为跨层级加权特征金字塔网络结构中的CLW-Add结构图；
图6为YOLOv5改进网络中β_CIoU的β系数随γ变化曲线图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
具体实施方式一：参照图1具体说明本实施方式，本实施方式所述的基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法，包括：
S1，构建曳引钢丝绳缺陷数据集。
通过工业摄像机对现场曳引钢丝绳存在的缺陷以及实验室自制的曳引钢丝绳缺陷进行采集。具体方法为：启动曳引轮，曳引钢丝绳伴随曳引轮转动的同时，采用工业相机对曳引钢丝绳缺陷进行图像采集，采集尺寸为640x640的图像。对曳引钢丝绳进行不同程度的补光，并进行采集，从而增加不同光线下的钢丝绳缺陷样本，使数据集更加多样性。实验室的曳引钢丝绳缺陷拍摄同理，总共采集1396张图片。从而建立曳引钢丝绳缺陷数据集。钢丝绳缺陷包括绳芯挤出、表面磨损、表面断丝三种。
S2：由于带有缺陷的曳引钢丝绳样本缺乏，需要进行样本扩充。本实施方式中采用几何变换、空间变换、马赛克增强等方法扩充数据集样本并标注。
其中对曳引钢丝绳缺陷图像进行数据增强并标注，主要对采集的1396张图片进行几何变换(翻转、旋转、缩放等)、像素变换(加椒盐噪声、高斯噪声、调整HSV对比度等)、Mosaic数据增强等方法进行数据增强，从而避免训练过程中产生过拟合，提升模型鲁棒性，减少样本不均衡等问题。由于GPU计算资源有限，将8张图片进行拼接，每张图片分别进行随机的几何变换，最终扩展至2468张。对数据集中绳芯挤出、表面磨损、表面断丝三类缺陷按照yolo格式进行标注得到具有标签的数据集，并在此过程中筛除因运动导致拍摄模糊的缺陷图片，按照7：2：1的比例划分成训练集、测试集、验证集。
S3：在现有的YOLOv5网络结构基础之上进行改进，构建了YOLOv5改进网络，即TWRD-Net。
步骤1：为了使模型更加轻量化，能够在算力较低的硬件设备上进行部署，本实施方式针对YOLOv5主干网络中的C3模块进行改进，设计了LW-C3模块(轻量级C3模块)，LW-C3模块与C3模块对比如图2所示。所述LW-C3模块包括两个DSC-BS(深度可分离卷积)模块、主分支梯度模块(LW-BottleNeck)、Concat(通道拼接)模块和CBS(Conv BN Swish，卷积、批归一化、Swish激活)模块，两个DSC-BS模块的输入端均作为所述LW-C3模块的输入端，一个DSC-BS模块的输出端连接Concat模块的一个输入端，另一个DSC-BS模块的输出端连接主分支梯度模块的输入端，主分支梯度模块的输出端连接Concat模块的另一个输入端，Concat模块的输出端连接CBS模块的输入端，CBS模块的输出端作为所述LW-C3模块的输出端。
上述LW-C3模块与C3模块一样，同样利用CSPNet(跨阶段局部网络)提取分流的思想，并在主梯度流当中堆叠残差结构模块。实现C3模块的轻量化获得LW-C3模块主要体现在以下两个方面：
一方面，在CBS模块中引入深度可分离卷积(DSC)，得到DSC-BS模块，其中DSConv为深度卷积模块。结合DSC的卷积特性，可以在相同输入输出、卷积核的情况下，相对于标准卷积操作减少计算量，其中N为输出通道数，DK为卷积核大小。
另一方面，设计主分支梯度模块(LW-BottleNeck)。主分支梯度模块是一个轻量级模块，包括1×1卷积层、1×3卷积层、3×1卷积层、3×3卷积层、拼接层和融合层，所述主分支梯度模块的输入信号分别输入至1×1卷积层、3×3卷积层和融合层，1×1卷积层的输出端连接1×3卷积层的输入端，1×3卷积层的输出端连接3×1卷积层的输入端，3×1卷积层的输出端和3×3卷积层的输出端均连接拼接层的输入端，拼接层的输出端连接融合层的输入端，融合层的输出端作为所述主分支梯度模块的输出端。其中三条梯度分支表示为branchi,i∈(1,2,3)，如图3所示。其中，branch1分支中所述主分支梯度模块的输入依次通过1×1卷积层、1×3卷积层、3×1卷积层、拼接层及融合层。branch1分支中添加1x1卷积能够对特征图信息进行降维处理，降低计算参数量与复杂度，加深网络深度，增强鲁棒性。在1x1卷积后接入了1x3卷积与3x1卷积，该种结构为非对称卷积，通过这种级联方式组成的非对称卷积结构与标准的3x3卷积具有相同感受野，增强了网络非线性表达的能力，在参数量与计算开销上，在性能有少许下降的情况下，能够节省33％的计算开销与参数量。branch2分支中所述主分支梯度模块的输入依次通过3×3卷积层及拼接层。branch2分支中的3x3卷积核目的是为了保持参数量与模型精度的平衡。由于LW-BottleNeck结构采用了轻量化结构，参数量的急剧减少也会带来mAP精度的急剧下降，通过这种增加模型宽度的方式在一定程度上能够增加模型复杂程度，学习样本更多不同的特征信息从而弥补参数量减少带来的精度损失。branch3分支中所述主分支梯度模块的输入直接输入至融合层。branch3分支作为残差分支将与branch1和branch2的Concat进行恒等映射，一方面能够解决网络退化问题，防止梯度消失或爆炸带来的训练困难，另一方面与branch1和branch2分支共同分割梯度流，使梯度经过不同的网络路径进行传播，最后branch3和branch1与branch2两个分支的Concat输出进行add融合，实现更丰富的梯度信息组合，能够在保留输入特征图语义信息的同时，增强卷积特征图当中的有效信息，最终得到输出结果。
步骤二：为了进一步提升YOLOv5改进网络对不显著的曳引钢丝绳缺陷的定位能力，针对Neck网络(一系列混合和组合图像特征的网络层，并将图像特征传递到预测层)做了进一步改进，设计了跨层级加权特征金字塔网络(Cross-level weighted featurepyramid network，简称CLW-FPN)如图4所示。所述跨层级加权特征金字塔网络包括：下采样模块、两个双特征卷积模块(CLW-Add2)、三特征上采样卷积模块(CLW-Add3 Up)和三特征下采样卷积模块(CLW-Add3 Down)。
被测曳引钢丝绳的图像作为跨层级加权特征金字塔网络的输入。
下采样模块对被测曳引钢丝绳的图像进行两次下采样获得特征图P3，对特征图P3进行下采样获得特征图P4，对特征图P4进行下采样获得特征图P5。
特征图P5经过LW-C3模块和SPPF模块进行卷积获得特征图P51，特征图P31经过LW-C3模块进行卷积获得特征图P32。
第一双特征卷积模块对特征图P4和P51分别乘以对应权重后进行加权融合获得特征图P41。
三特征上采样卷积模块对特征图P3、P41和P51分别乘以对应权重后进行加权融合获得特征图P31。
第二双特征卷积模块对特征图P32和P4分别乘以对应权重后进行加权融合获得特征图P42。
三特征下采样卷积模块对特征图P51、P42和P32分别乘以对应权重后进行加权融合获得跨层级加权特征金字塔网络的输出。
本实施方式中，CLW-FPN进行跨层级链接，增加了P51到P31的信息融合以及P32到P52的信息融合，去除PAN中P41到P42的链接，将P4链接到P42中。其中，P41、P51和P4、P32两组经过CLW-Add2卷积模块，P51、P41、P3和P32、P42、P51两组则分别经过CLW-Add3 Up/Down卷积模块。CLW-Add2和CLW-Add3结构如图5所示。CLW-Add沿用了BiFPN的融合模式，CLW-Add将输入的两层特征图分别乘以对应权重进行加权融合，然后经过CBS模块输出特征图；CLW-Add3分UpSample与DownSample，由于下采样需要进行卷积操作，为了避免因增加卷积操作带来的计算量巨增，采用1x1大小的DSC-BS模块进行下采样以及通道的升降维，很好的避免了计算量大量增加，对输入的不同特征图赋予不同的权重进行加权处理，该方案沿用BiFPN的方案，对于多个输入的CLW-Add模块，权重分配公式：
其中，O为输出的特征图，wi为第i个可训练的权重值，Ii为第i个输入的特征图，ε为防溢出值，*表示卷积，i＝1,2,...,n，n为权重值的总数，W为n个权重值的总和。
通过这种方式进行处理，能够使模型学习到不同输入特征的重要性，能够对不同输入特征进行有区分的融合。
步骤三：本实施方式在CIoU基础上进行了改进，引入β系数，提出了β_CIoU损失函数，具体公式：
β系数为可变参数，能够对CIoU进行加速收敛，若恒为常数，当预测框与目标框距离相近时则可能会带来损失的巨大的波动，因此β系数取值取决于下式：
其中，为预测框与目标框中心点距离与对角线距离之比，因此x∈(0,1)。γ为缩放因子且有γ∈(0,1)，控制β系数的变化速率，β系数随γ变化曲线图如图6所示。由曲线图可以看出，β系数会随着x的减小缓慢递减，即当预测框与目标框距离较远时，x趋近于1，此时β系数最大，将会增大边界框的坐标回归损失，加速回归，当预测框与目标框越来越靠近时，x趋近于0，β系数会逐渐减小，减小坐标回归损失的比重。
S4：利用构建好的曳引钢丝绳数据集载入模型中进行训练，选取检测准确率、检测精度(mAP值)最高的一组模型作为训练结果。
在本实施方式中，将增强后的数据集样本分为训练集、验证集、测试集之后，训练集载入模型进行模型训练，验证集用于寻找最优的网络参数，调节超参数，测试集用于验证模型的泛化性能。表1为TWRD-Net的消融实验结果，选取参数量、均值平均精度(mAP@.5与mAP@.95)、帧率(FPS)、浮点运算数(GFLOPs)、准确率(Accuracy rate)作为评价指标进行模型性能评估。
方案B与方案A对比，B方案是使用LW-C3模块替换了原YOLOv5-s(A方案)模型中主干网络与瓶颈网络中的C3模块，从实验结果可以看出，LW-C3模块替换C3模块之后，虽然mAP@.95下降了0.3％，但是参数量减少了12％，浮点运算数降低了高达30％，并且在LW-Bottleneck新增3x3卷积分支作用下，mAP@.5也能够增长0.7％，由此可见LW-C3模块中引入DSConv与非对称卷积在模型参数量减少上是有效的，并且LW-Bottleneck新增3x3卷积分支之后在一定程度使得模型的精度能够保持不变。
方案C与方案B对比，方案C在方案B基础上用CLW-FPN替换了PAN结构，从实验结果可以看出，由于增加了跨层级的特征融合，增加的上采样以及升降维操作相较于方案B提升了部分参数量与浮点运算数，但是仍少于原方案A的参数量和浮点运算数，对于mAP@.5仍有了0.4％的增长。
方案D与方案C对比，方案D在方案C基础上用β-CIoU替换了CIoU，从实验结果可以看出方案D与方案C参数量、浮点运算量基本持平，mAP@.5仍有了增长。
另外，本实施方式还将TWRD-Net与其他主流的YOLO检测框架在TWRD数据集上的实验结果进行对比，其中包含Yolov3、Yolov3-spp、Yolov4-s、YOLOv5-s、Yolov8-s、YoloX-s。选取了所有类别下的mAP@.5、mAP@.95、参数量(Parameters)、帧率(FPS)、计算量(GFLOPs)，结果如表2所示，经过对比可以发现，对于主流YOLO模型算法在TRWD数据集上的实验结果近似，Yolov3-v8的模型在mAP@.95性能指标上对比本实施方式提出的YOLOv5改进网络的实验结果更高，尤其Yolov8-s在mAP@.95性能指标上更胜一筹，但是YOLOv5改进网络在mAP@.5性能指标上不输于其他主流YOLO算法模型，并且具有更低的参数量和计算量，并保持了较高的FPS。
经以上实验结果可以看出，本实施方式对改进后的YOLOv5改进模型——TWRD-Net在曳引钢丝绳缺陷当中能够表现出更好的检测性能。
表1YOLOv5改进网络的消融实验结果
表2计算结果
S5：将模型部署在设计好的曳引钢丝绳缺陷应用软件上进行实施检测。
在本实施例中，曳引钢丝绳缺陷检测装置是一个暗箱，其中包含工业相机、补光灯，对角线位置为曳引钢丝绳的出入口。曳引钢丝绳缺陷检测软件界面是基于Pyqt模块进行开发，软件通过加载训练好的模型能够对曳引钢丝绳缺陷进行检测与识别，其中输入对象可以是对图片的静态检测、对视频流的实时检测，输出结果会统计在软件右侧表格，实时显示当前图片或视频中所包含的缺陷类型与个数。检测装置安装以及模型部署完成之后进行缺陷检测。
具体实施方式二：一种计算机可读的存储介质，所述存储介质存储有计算机程序，所述计算机程序被执行时实现如上述具体实施方式一所述基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法。
具体实施方式三：电子设备，包括存储介质、处理器以及存储在所述存储介质中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序实现如上述具体实施方式一所述基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。

Claims (10)

1.基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法，将被测曳引钢丝绳的图像信息输入至训练好的YOLOv5改进网络中，获得检测结果，
其特征在于，所述YOLOv5改进网络包括主干网络和Neck网络结构，
所述主干网络中的C3模块为LW-C3模块，所述LW-C3模块包括两个DSC-BS模块、主分支梯度模块、Concat模块和CBS模块，两个DSC-BS模块的输入端均作为所述LW-C3模块的输入端，一个DSC-BS模块的输出端连接Concat模块的一个输入端，另一个DSC-BS模块的输出端连接主分支梯度模块的输入端，主分支梯度模块的输出端连接Concat模块的另一个输入端，Concat模块的输出端连接CBS模块的输入端，CBS模块的输出端作为所述LW-C3模块的输出端，
所述主分支梯度模块包括1×1卷积层、1×3卷积层、3×1卷积层、3×3卷积层、拼接层和融合层，所述主分支梯度模块的输入信号分别输入至1×1卷积层、3×3卷积层和融合层，1×1卷积层的输出端连接1×3卷积层的输入端，1×3卷积层的输出端连接3×1卷积层的输入端，3×1卷积层的输出端和3×3卷积层的输出端均连接拼接层的输入端，拼接层的输出端连接融合层的输入端，融合层的输出端作为所述主分支梯度模块的输出端；
所述Neck网络结构为跨层级加权特征金字塔网络；
所述YOLOv5改进网络的损失函数为β_CIoU损失函数。
2.根据权利要求1所述的基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法，其特征在于，所述跨层级加权特征金字塔网络包括：下采样模块、第一双特征卷积模块、第二双特征卷积模块、三特征上采样卷积模块和三特征下采样卷积模块，
被测曳引钢丝绳的图像作为跨层级加权特征金字塔网络的输入，
下采样模块对被测曳引钢丝绳的图像进行两次下采样获得特征图P3，对特征图P3进行下采样获得特征图P4，对特征图P4进行下采样获得特征图P5，
特征图P5经过LW-C3模块和SPPF模块进行卷积获得特征图P51，特征图P31经过LW-C3模块进行卷积获得特征图P32，
第一双特征卷积模块对特征图P4和P51分别乘以对应权重后进行加权融合获得特征图P41，
三特征上采样卷积模块对特征图P3、P41和P51分别乘以对应权重后进行加权融合获得特征图P31，
第二双特征卷积模块对特征图P32和P4分别乘以对应权重后进行加权融合获得特征图P42，
三特征下采样卷积模块对特征图P51、P42和P32分别乘以对应权重后进行加权融合获得跨层级加权特征金字塔网络的输出。
3.根据权利要求2所述的基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法，其特征在于，三特征上采样卷积模块和三特征下采样卷积模块的输出的特征图信息表达式均为：
其中，O为输出的特征图，wi为第i个可训练的权重值，Ii为第i个输入的特征图，ε为防溢出值，*表示卷积，i＝1,2,...,n，n为权重值的总数，W为n个权重值的总和。
4.根据权利要求3所述的基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法，其特征在于，
ε＝0.001。
5.根据权利要求1、2、3或4所述的基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法，其特征在于，所述β_CIoU损失函数的表达式如下：
其中，IoU为交并比，d为预测框与真实框中心点的距离，c为预测框与真实框的对角线长度，α为用于平衡比例的参数，ωgt和ω分别为真实框和预测框的宽度，hgt和h分别为为真实框和预测框的高度，γ为缩放因子且有γ∈(0,1)，
6.根据权利要求5所述的基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法，其特征在于，所述主分支梯度模块包括三条卷积分支，第一条卷积分支中所述主分支梯度模块的输入依次通过1×1卷积层、1×3卷积层、3×1卷积层、拼接层及融合层，第二条卷积分支中所述主分支梯度模块的输入依次通过3×3卷积层及拼接层，第三条卷积分支中所述主分支梯度模块的输入直接输入至融合层。
7.根据权利要求1所述的基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法，其特征在于，训练所述YOLOv5改进网络之前首先建立训练集，所述训练集的建立方法为：
采集被测曳引钢丝绳的图像以及实验曳引钢丝绳的图像，所述实验曳引钢丝绳为通过人工添加缺陷的实验用曳引钢丝绳，构成初始图像集，
对所述初始图像集进行样本扩充，构成训练集。
8.根据权利要求7所述的基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法，其特征在于，对所述初始图像集进行样本扩充包括：
对样本采用几何变换、空间变换、马赛克增强中的一种或多种方法实现样本扩充。
9.一种计算机可读的存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至8任一所述方法。
10.电子设备，包括存储介质、处理器以及存储在所述存储介质中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序实现如权利要求1至8任一所述方法。
CN202310689503.3A 2023-06-12 2023-06-12 基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法 Pending CN116740013A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310689503.3A CN116740013A (zh) 2023-06-12 2023-06-12 基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310689503.3A CN116740013A (zh) 2023-06-12 2023-06-12 基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法

Publications (1)

Publication Number Publication Date
CN116740013A true CN116740013A (zh) 2023-09-12

Family

ID=87916286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310689503.3A Pending CN116740013A (zh) 2023-06-12 2023-06-12 基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116740013A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876848A (zh) * 2024-03-13 2024-04-12 成都理工大学 基于改进yolov5的复杂环境落石检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876848A (zh) * 2024-03-13 2024-04-12 成都理工大学 基于改进yolov5的复杂环境落石检测方法
CN117876848B (zh) * 2024-03-13 2024-05-07 成都理工大学 基于改进yolov5的复杂环境落石检测方法

Similar Documents

Publication Publication Date Title
CN110378222B (zh) 一种输电线路防震锤目标检测与缺陷识别方法及装置
CN111178183B (zh) 人脸检测方法及相关装置
CN114219805B (zh) 一种玻璃缺陷智能检测方法
CN109671071A (zh) 一种基于深度学习的地下管道缺陷定位及等级判定方法
CN109389599A (zh) 一种基于深度学习的缺陷检测方法及装置
CN116740013A (zh) 基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法
Ye et al. A framework for fault detection method selection of oceanographic multi-layer winch fibre rope arrangement
CN115100200B (zh) 基于光学手段的光纤缺陷检测方法及系统
CN115272330B (zh) 基于电池表面图像的缺陷检测方法、系统及相关设备
CN114612472B (zh) 一种基于SegNet改进的皮革缺陷分割网络算法
CN110751644A (zh) 道路表面裂纹检测方法
CN112215907A (zh) 一种焊缝缺陷自动提取方法
CN114511710A (zh) 一种基于卷积神经网络的图像目标检测方法
CN111582102B (zh) 基于多模态端到端网络的遥感数据精细化分类方法及装置
CN109543617A (zh) 基于yolo目标检测技术的智能车辆运动路况信息的检测方法
CN114494875A (zh) 一种电网设备可视检测方法、系统、设备和介质
CN116721091A (zh) 一种布匹瑕疵检测方法、装置及可读介质
CN116994130A (zh) 一种基于知识蒸馏的高精度轻量化桥梁裂缝识别方法
CN116912675A (zh) 一种基于特征迁移的水下目标检测方法及系统
CN115861223A (zh) 一种太阳能电池板缺陷检测方法及系统
CN115019243A (zh) 基于改进YOLOv3的监控漂浮物轻量化目标检测方法及系统
CN115272819A (zh) 一种基于改进Faster-RCNN的小目标检测方法
CN115205518A (zh) 一种基于YOLO v5s网络结构的目标检测方法及其系统
CN105574874A (zh) 一种序列图像变化检测的伪变化目标去除方法
CN116109987B (zh) 基于深度学习的接触网悬挂部件故障检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination