CN115330718A - 一种基于改进YOLOv4网络的绝缘子缺陷检测方法 - Google Patents

一种基于改进YOLOv4网络的绝缘子缺陷检测方法 Download PDF

Info

Publication number
CN115330718A
CN115330718A CN202210972607.0A CN202210972607A CN115330718A CN 115330718 A CN115330718 A CN 115330718A CN 202210972607 A CN202210972607 A CN 202210972607A CN 115330718 A CN115330718 A CN 115330718A
Authority
CN
China
Prior art keywords
insulator
network
image
defect
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210972607.0A
Other languages
English (en)
Inventor
李运堂
张坤
王鹏峰
詹叶君
陈源
金杰
王冰清
李孝禄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202210972607.0A priority Critical patent/CN115330718A/zh
Publication of CN115330718A publication Critical patent/CN115330718A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Insulators (AREA)

Abstract

本发明公开了一种基于改进YOLOv4网络的绝缘子缺陷检测方法，包括以下步骤：步骤1：获取含有绝缘子缺陷的图像；步骤2：对含有绝缘子缺陷的图像进行预处理，采用数据增强方式扩充含有绝缘子缺陷的图像；利用标注软件对含有绝缘子缺陷的图像进行标注，构建含有绝缘子缺陷的图像数据集；步骤3：构建改进的YOLOv4网络；步骤4：将绝缘子训练集输入改进的YOLOv4网络进行训练，获得最优的权重参数得到绝缘子缺陷检测网络模型；步骤5：将需要检测的图像输入绝缘子缺陷检测网络模型，识别和定位出绝缘子缺陷。本发明抗干扰能力强，稳定性高，能够在各种复杂背景图像中，精准的识别和定位出绝缘子缺陷。

Description

一种基于改进YOLOv4网络的绝缘子缺陷检测方法
技术领域：
本发明涉及计算机视觉领域，具体涉及一种基于改进YOLOv4网络的绝缘子缺陷检测方法。
背景技术：
绝缘子作为输电线路中重要组成部分，是实现电力输送线路不同组件之间可靠绝缘，确保电能安全输送的重要部件。但绝缘子长时间暴露在户外环境中，经受日晒雨淋、电闪雷击，绝缘子容易出现自爆、破损、闪络等缺陷，严重时将造成供电事故。无人机、高清晰摄像头、高速网络的出现使得无人机航拍巡检成为了目前最佳的解决方案。
如何从复杂多样的航拍背景图像中完整、准确地识别定位绝缘子缺陷，是无人机电力巡检必须解决的关键问题。目前，许多学者针对航拍图像绝缘子缺陷提取方法进行了大量研究。其中，基于形态学的Sobel边缘检测算法来分割复杂背景下的绝缘子，用形态学处理的方法对绝缘子边缘图像进行检测，增强算法的抗噪性，但是识别速度慢，准确率较低。利用K-means和双特征约束对绝缘子缺陷定位，该方法由于K-means聚类算法耗时过大而效果欠佳。
发明内容：
针对上述问题，本发明提供一种基于改进YOLOv4网络的绝缘子缺陷检测方法，能够在各种复杂的背景下，精确地识别定位出绝缘子缺陷。
为了实现本发明之目的，拟采用以下技术方案：一种基于改进YOLOv4网络的绝缘子缺陷检测方法，包括以下步骤：
步骤1：获取含有绝缘子缺陷的图像；
步骤2：对含有绝缘子缺陷的图像进行预处理，采用数据增强方式扩充含有绝缘子缺陷的图像；利用标注软件对含有绝缘子缺陷的图像进行标注，构建含有绝缘子缺陷的图像数据集；
步骤3：构建改进的YOLOv4网络；
步骤4：将绝缘子训练集输入改进的YOLOv4网络进行训练，获得最优的权重参数得到绝缘子缺陷检测网络模型；
步骤5：将需要检测的图像输入绝缘子缺陷检测网络模型，识别和定位出绝缘子缺陷。
本方案中所述步骤1中，通过拍摄或网上开源数据集获取含有绝缘子缺陷的图像。
进一步地，所述步骤2中，数据增强方式首先通过裁剪含有绝缘子缺陷的图像，提取出正常和含有缺陷的绝缘子，并与任意图片作为背景合成新的图像，再对合成之后的图像进行随机旋转、翻转生成新的含有绝缘子缺陷的图像，对原有的含有绝缘子缺陷的图像以及数据增强方式获得的含有绝缘子缺陷的图像，使用标注软件对图像中的绝缘子串以及绝缘子缺陷进行矩形框标注，构建含有绝缘子缺陷的图像数据集，按照一定的比例随机分配生成训练集、验证集和测试集。
进一步地，所述步骤3中，改进的YOLOv4网络由主干特征提取网络(CSPDarknet53)、加强特征提取网络(PANet)和头部网络(YOLO-Head)构成，主干特征提取网络(CSPDarknet53)在残差模块后引入卷积注意力模块(CBAM)，加强特征特征提取网络(PANet)采用CSPlayer代替五次卷积模块(ConvSet5)，在每一次上采样和下采样后，经过维度堆叠的特征层都采用一次空间金字塔池化模块(SPP)。
进一步地，所述步骤4中，将绝缘子训练集输入改进的YOLOv4网络进行训练，首先冻结主干网络(CSPDarknet53)参数进行多次世代训练，再解冻进行完整的世代训练，每个世代训练完成都代入验证集计算验证集的损失函数值，反向传播更新网络权值，保存损失函数值最低的权值文件为训练获得的最优的权重参数。
进一步地，所述步骤5中，将需要检测的图像输入绝缘子缺陷检测网络模型，识别和定位出绝缘子缺陷。
相比现有技术，本发明通过获取不同视角含有绝缘子缺陷图像，采用数据增强方式扩充含有绝缘子缺陷图像，增加绝缘子数据集的多样性，构建改进YOLOv4网络，学习到含有绝缘子缺陷图像多尺度的特征信息，提升网络模型的泛化能力，最终在复杂背景下精准的识别定位出绝缘子缺陷图像。
附图说明：
图1为本发明整体流程图。
图2为改进YOLOv4网络结构。
图3为卷积注意力模块(CBAM)结构。
图4为无人机航拍绝缘子图。
图5为绝缘子缺陷识别定位效果图。
具体实施方式：
下面通过具体实施例对本发明的目的作进一步详细地描述，实施例不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施例。
本发明的整体流程如图1所示，一种基于改进YOLOv4网络的绝缘子缺陷检测方法，具体包括以下步骤：
步骤1：通过拍摄或网上开源数据集获取含有绝缘子缺陷的图像，如图4所示。
步骤2：对含有绝缘子缺陷图像进行预处理，数据增强方式首先通过裁剪含有绝缘子缺陷的图像，提取出正常和含有缺陷的绝缘子，并与任意图片作为背景合成新的图像，再对合成之后的图像进行随机旋转、翻转生成新的含有绝缘子缺陷的图像，对原有的含有绝缘子缺陷的图像以及数据增强方式获得的含有绝缘子缺陷的图像，使用标注软件对图像中的绝缘子串以及绝缘子缺陷进行矩形框标注，构建含有绝缘子缺陷的图像数据集，按照一定的比例随机分配生成训练集、验证集和测试集。
步骤3：如图2所示，改进的YOLOv4网络由主干特征提取网络(CSPDarknet53)、加强特征提取网络(PANet)和头部网络(YOLO-Head)构成，主干特征提取网络(CSPDarknet53)在残差模块后引入卷积注意力模块(CBAM)，加强特征特征提取网络(PANet)采用CSPlayer代替五次卷积模块(ConvSet5)，在每一次上采样和下采样后，经过维度堆叠的特征层都采用一次空间金字塔池化模块(SPP)。
步骤4：将绝缘子训练集输入改进的YOLOv4网络进行训练，首先冻结主干网络(CSPDarknet53)参数进行多次世代训练，再解冻进行完整的世代训练，每个世代训练完成都代入验证集计算验证集的损失函数值，反向传播更新网络权值，保存损失函数值最低的权值文件为训练获得的最优的权重参数。
步骤5：将需要检测的图像输入绝缘子缺陷检测网络模型，识别和定位出绝缘子缺陷，如图5所示。
通过本实施例上述5个步骤，可最终实现复杂背景下绝缘子缺陷检测。
上述具体实施方式用来解释说明本发明，故不能依此限定本发明实施的范围，在本发明的精神和权利要求的保护范围内，所做的任何修改和改进，均应含在本发明的保护范围内。

Claims (6)

1.一种基于改进YOLOv4网络的绝缘子缺陷检测方法，其特征在于，包括以下步骤：
步骤1：获取含有绝缘子缺陷的图像；
步骤2：对含有绝缘子缺陷的图像进行预处理，采用数据增强方式扩充含有绝缘子缺陷的图像；利用标注软件对含有绝缘子缺陷的图像进行标注，构建含有绝缘子缺陷的图像数据集；
步骤3：构建改进的YOLOv4网络；
步骤4：将绝缘子训练集输入改进的YOLOv4网络进行训练，获得最优的权重参数得到绝缘子缺陷检测网络模型；
步骤5：将需要检测的图像输入绝缘子缺陷检测网络模型，识别和定位出绝缘子缺陷。
2.根据权利要求1所述的一种基于改进YOLOv4网络的绝缘子缺陷检测方法，其特征在于：所述的步骤1中，通过拍摄或网上开源数据集获取含有绝缘子缺陷的图像。
3.根据权利要求1所述的一种基于改进YOLOv4网络的绝缘子缺陷检测方法，其特征在于：所述的步骤2中，数据增强方式首先通过裁剪含有绝缘子缺陷的图像，提取出正常和含有缺陷的绝缘子，并与任意图片作为背景合成新的图像，再对合成之后的图像进行随机旋转、翻转生成新的含有绝缘子缺陷的图像，对原有的含有绝缘子缺陷的图像以及数据增强方式获得的含有绝缘子缺陷的图像，使用标注软件对图像中的绝缘子串以及绝缘子缺陷进行矩形框标注，构建含有绝缘子缺陷的图像数据集，按照一定的比例随机分配生成训练集、验证集和测试集。
4.根据权利要求1所述的一种基于改进YOLOv4网络的绝缘子缺陷检测方法，其特征在于：所述的步骤3中，改进的YOLOv4网络由主干特征提取网络(CSPDarknet53)、加强特征提取网络(PANet)和头部网络(YOLO-Head)构成，主干特征提取网络(CSPDarknet53)在残差模块后引入卷积注意力模块(CBAM)，加强特征特征提取网络(PANet)采用CSPlayer代替五次卷积模块(ConvSet5)，在每一次上采样和下采样后，经过维度堆叠的特征层都采用一次空间金字塔池化模块(SPP)。
5.根据权利要求4所述的卷积注意力模块(CBAM)，其特征在于：对输入特征图分别在每层特征层的宽和高上进行一次全局最大池化(MaxPool)和全局平均池化(AvgPool)，之后对两个通道池化层采用多层感知机(MLP)处理，接着将两个输出的通道权重层融合相加后再进行一次Sigmoid非线性激活处理，得到权衡了输入特征图通道上关键特征信息的权重层，将权重层上的权重参数与输入特征图在通道上进行相乘，完成对输入特征图通道注意力机制的施加。
6.根据权利要求1所述的一种基于改进YOLOv4网络的绝缘子缺陷检测方法，其特征在于：所述的步骤4中，将绝缘子训练集输入改进的YOLOv4网络进行训练，首先冻结主干网络(CSPDarknet53)参数进行多次世代训练，再解冻进行完整的世代训练，每个世代训练完成都代入验证集计算验证集的损失函数值，反向传播更新网络权值，保存损失函数值最低的权值文件为训练获得的最优的权重参数。
CN202210972607.0A 2022-08-05 2022-08-05 一种基于改进YOLOv4网络的绝缘子缺陷检测方法 Pending CN115330718A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210972607.0A CN115330718A (zh) 2022-08-05 2022-08-05 一种基于改进YOLOv4网络的绝缘子缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210972607.0A CN115330718A (zh) 2022-08-05 2022-08-05 一种基于改进YOLOv4网络的绝缘子缺陷检测方法

Publications (1)

Publication Number Publication Date
CN115330718A true CN115330718A (zh) 2022-11-11

Family

ID=83923439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210972607.0A Pending CN115330718A (zh) 2022-08-05 2022-08-05 一种基于改进YOLOv4网络的绝缘子缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115330718A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071309A (zh) * 2022-12-27 2023-05-05 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 元器件的声扫缺陷检测方法、装置、设备和存储介质
CN116468730A (zh) * 2023-06-20 2023-07-21 齐鲁工业大学(山东省科学院) 基于YOLOv5算法的航拍绝缘子图像缺陷检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071309A (zh) * 2022-12-27 2023-05-05 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 元器件的声扫缺陷检测方法、装置、设备和存储介质
CN116071309B (zh) * 2022-12-27 2024-05-17 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 元器件的声扫缺陷检测方法、装置、设备和存储介质
CN116468730A (zh) * 2023-06-20 2023-07-21 齐鲁工业大学(山东省科学院) 基于YOLOv5算法的航拍绝缘子图像缺陷检测方法
CN116468730B (zh) * 2023-06-20 2023-09-05 齐鲁工业大学(山东省科学院) 基于YOLOv5算法的航拍绝缘子图像缺陷检测方法

Similar Documents

Publication Publication Date Title
CN115330718A (zh) 一种基于改进YOLOv4网络的绝缘子缺陷检测方法
CN114022432B (zh) 基于改进的yolov5的绝缘子缺陷检测方法
CN112070729B (zh) 一种基于场景增强的anchor-free遥感图像目标检测方法及系统
Liao et al. Study on power line insulator defect detection via improved faster region-based convolutional neural network
CN108921030A (zh) 一种快速学习的sar自动目标识别方法
CN113297915A (zh) 一种基于无人机巡检的绝缘子识别目标检测方法
Zheng et al. Component identification and defect detection in transmission lines based on deep learning
CN115690542A (zh) 一种基于改进yolov5的航拍绝缘子定向识别方法
CN112348758B (zh) 一种光学遥感图像数据增强方法及目标识别方法
CN113283409A (zh) 基于EfficientDet和Transformer的航空图像中的飞机检测方法
CN116385958A (zh) 一种用于电网巡检和监控的边缘智能检测方法
Lan et al. Insulator defect detection algorithm based on a lightweight network
Wu et al. Detection of foreign objects intrusion into transmission lines using diverse generation model
CN115965862A (zh) 基于掩码网络融合图像特征的sar舰船目标检测方法
Wang et al. Insulator anomaly detection method based on few-shot learning
CN117113066B (zh) 一种基于计算机视觉的输电线路绝缘子缺陷检测方法
Li et al. Building an online defect detection system for large-scale photovoltaic plants
Wang et al. Research on appearance defect detection of power equipment based on improved faster-rcnn
CN117470859B (zh) 绝缘子内部缺陷检测方法和装置
Zhang et al. A Real-Time Wind Turbine Blade Damage Detection Method Based on an Improved YOLOv5 Algorithm
Deng et al. Insulator Location and Segmentation Method Based on Improved S2ANet
CN115471729B (zh) 一种基于改进YOLOv5的舰船目标识别方法及系统
Liu et al. Intelligent Detection Method for Avian Nests on Transmission Lines Based on Edge Computing and YOLOv5
Zhang et al. Research on self-explosion defect detection of insulator based on improved YOLOv7
Peng et al. Deep learning transmission line defect recognition based on improved Yolov5

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination