CN116416237A - 基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法 - Google Patents

基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法 Download PDF

Info

Publication number
CN116416237A
CN116416237A CN202310392340.2A CN202310392340A CN116416237A CN 116416237 A CN116416237 A CN 116416237A CN 202310392340 A CN202310392340 A CN 202310392340A CN 116416237 A CN116416237 A CN 116416237A
Authority
CN
China
Prior art keywords
image
defect detection
network
transmission line
image enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310392340.2A
Other languages
English (en)
Inventor
罗建斌
陆林
李晋
孙仝
郑耀华
何勇
原瀚杰
董丽梦
陈亮
潘绮彤
赵健
欧祖宏
吴龙杰
徐杞斌
夏国飞
曾彦超
区沛思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202310392340.2A priority Critical patent/CN116416237A/zh
Publication of CN116416237A publication Critical patent/CN116416237A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法，包括构建基于改进YOLOv5的缺陷检测模型；构建基于生成对抗网络的模糊图像增强算法；采集多场景下的输电线路图像数据，并进行预处理，利用预处理后的图像数据训练模糊图像增强算法中的生成对抗网络和缺陷检测模型；利用训练好的模糊图像增强算法和缺陷检测模型对采集的输电线路巡检视频进行逐帧检测，每一帧图像首先经过模糊图像增强算法重构图像，再经过缺陷检测模型进行缺陷检测。本发明结合改进YOLOv5模型和模糊图像增强技术进行输电线路缺陷检测，改善了模型对输电线路小尺寸部件的缺陷检测精度，能够在输电线路缺陷检测领域中进行多尺度目标检测和模糊目标检测。

Description

基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法
技术领域
本发明属于输电线路检测技术领域，具体涉及一种基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法。
背景技术
输电线路巡检是预防停电事故、保障电网安全稳定运行的核心工作，通过巡视排查，及时消除隐患，为人民的生活和生产用电提供保障。近年来，传统的人工电力巡检方式因工作效率较低、巡检质量得不到保障、形式单一及危险性等原因，已无法完全满足当前不断变化、日益增长的电力巡检作业需求。在此背景下，无人机电力巡检可在24小时不间断进行检测、形式多样且克服了人工电力巡检的诸多不足，以更高的巡检效率保障输电线路等重要电力设备、设施的安全稳定运行。在无人机电力巡检过程中，无人机所拍摄的输电线路场景图像为输电线路关键部件识别和缺陷检测算法提供输入，然后检测算法对图像中的电力关键部件与故障处进行识别。
随着深度学习方法的不断迭代，应用于无人机电力巡检的输电线路关键部件识别和缺陷检测算法逐渐从传统图像处理方法向基于卷积神经网络的目标检测模型转变。目前目标检测模型已在绝缘子、防震锤等大尺寸部件以及杆塔异物上取得了显著的缺陷检测效果，但对与销钉、螺钉等小尺寸部件进行定位和缺陷识别的困难程度仍然较高，主要原因在于目标尺寸过小和缺陷特征模糊：一方面，在许多常用的目标检测模型中，过小尺寸的缺陷目标容易在卷积过程中被腐蚀特征信息；另一方面，无人机在采集图像过程中由于运动姿态、摄像头模糊等因素的影响，采集到的巡检图像出现模糊失真问题，使得缺陷特征模糊，从而导致模型误检或漏检，且该现象在小尺寸部件中更加严重。
对于上述两大技术难点，输电线路检测领域的研究人员多采用数据增广的方式进行模型优化，主要通过在模型训练阶段对训练数据进行随机的图像裁剪缩放、图形学形变、滤波模糊处理、增加噪声，在不影响标签的前提下能有效扩增数据集中小尺寸部件缺陷特征的位置信息与语义信息，并且对于特征模糊和带噪声目标的检测鲁棒性有一定的提升效果。然而，由于数据增广方法的随机性，对模型的优化效果无法保证，同时模糊特征难以直接通过简单的滤波模糊算子来模拟。
发明内容
有鉴于此，本发明旨在解决现有输电线路检测方法对小尺寸部件缺陷检测效果差的问题。
为了解决上述技术问题，本发明提供以下技术方案：
基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法，包括如下步骤：
构建基于改进YOLOv5的缺陷检测模型，缺陷检测模型基于YOLOv5的网络结构，在检测头网络增加一个用于检测小目标的浅层预测分支，浅层预测分支结合原有的3个检测分支组成四分支检测模型；
构建基于生成对抗网络的模糊图像增强算法；
采集多场景下的输电线路图像数据，并进行预处理，利用预处理后的图像数据训练模糊图像增强算法中的生成对抗网络和缺陷检测模型；
利用训练好的模糊图像增强算法和缺陷检测模型对采集的输电线路巡检视频进行逐帧检测，每一帧图像首先经过模糊图像增强算法重构图像，再经过缺陷检测模型进行缺陷检测。
进一步的，在基于改进YOLOv5的缺陷检测模型中，还包括，将原YOLOv5模型的主干网络末端的Trans模块和特征融合网络中Concat模块后的Trans模块都替换为Transformer编码器。
进一步的，在基于改进YOLOv5的缺陷检测模型中，还包括，在原YOLOv5模型的特征融合网络中，Conv模块前增加CBAM注意力模块，CBAM注意力模块用于沿着通道维度和空间维度两个独立的维度依次进行注意力映射推断，并将两个注意力映射图谱分别与主干特征图谱相乘。
进一步的，缺陷检测模型的目标置信度损失按照下式进行计算：
Figure BDA0004176236050000021
式中，Lobj为目标置信度损失，
Figure BDA0004176236050000031
分别为四个检测分支映射的不同尺寸特征图的损失，β1、β2、β3和β4是四个检测分支的权重因子。
进一步的，β1、β2、β3和β4分别设置为4.0、1.0、0.4和0.2。
进一步的，在基于生成对抗网络的模糊图像增强算法中，采用RRDB网络和U-NET判别网络构建生成对抗网络。
进一步的，在基于生成对抗网络的模糊图像增强算法中，采用二阶图像退化方法模拟生成模糊图像，二阶图像退化方法通过两个重复的退化流程对图像进行建模，以生成模糊图像。
进一步的，退化流程，具体包括：
采用模糊核函数对图像进行卷积；
通过下采样操作对图像进行尺寸变换；
在图像中随机增加不同种类的噪声；
对图像进行JPEG压缩。
进一步的，模糊图像增强算法中，损失函数包括对抗损失函数、内容损失函数和边缘损失函数，各损失函数的计算式如下：
对抗损失函数：
Figure BDA0004176236050000032
式中，ladv表示对抗损失，
Figure BDA0004176236050000033
和/>
Figure BDA0004176236050000034
分别为生成图像和真实图像在U-NET判别网络下的判别结果，N为图像个数；
内容损失函数：
Figure BDA0004176236050000035
式中，lMSE表示内容损失，r、W、H分别为图像数量、宽度和高度，x和y为像素的坐标信息，
Figure BDA0004176236050000036
代表原始图像，ILR代表采用二阶图像退化方法模拟生成的模糊图像，G(ILR)x，y代表ILR输入RRDB网络后的生成图像；
边缘损失函数：
Figure BDA0004176236050000037
式中，lEdge表示边缘损失，W、H代表图像的宽度和高度，E代表通过Canny算子计算得到的图像边缘特征。
进一步的，模糊图像增强算法的训练采用随机梯度下降优化器作为网络的训练优化策略，缺陷检测模型采用自适应矩估计优化器作为网络的训练优化策略。
综上，本发明提供了一种基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法，包括构建基于改进YOLOv5的缺陷检测模型；构建基于生成对抗网络的模糊图像增强算法；采集多场景下的输电线路图像数据，并进行预处理，利用预处理后的图像数据训练模糊图像增强算法中的生成对抗网络和缺陷检测模型；利用训练好的模糊图像增强算法和缺陷检测模型对采集的输电线路巡检视频进行逐帧检测，每一帧图像首先经过模糊图像增强算法重构图像，再经过缺陷检测模型进行缺陷检测。本发明结合改进YOLOv5模型和模糊图像增强技术进行输电线路缺陷检测，不仅改善了模型对输电线路小尺寸部件的缺陷检测精度，同时能减少由于图像模糊导致的模型误检和漏检，所提方法能够在输电线路缺陷检测领域中进行多尺度目标检测和模糊目标检测，具有高鲁棒性和高实用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法的流程图；
图2为本发明实施例提供的缺陷检测模型的结构示意图；
图3为本发明实施例提供的RRDB生成网络的结构示意图；
图4为本发明实施例提供的二阶图像退化方法的流程示意图。
具体实施方式
为使得本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本实施例提供一种基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法，该方法在模型结构优化方面，基于YOLOv5模型，在其结构上增加了一个专门用于检测小目标的预测分支，缓解卷积过程中插值对小尺寸特征带来的信息腐蚀影响，并将Transformer编码器和CBAM注意力模块集成进模型，提高模型整体检测精度。在模糊图像增强方面，基于生成对抗网络提出一种模糊图像增强算法，用于将待检测的图像重构为高分辨率的清晰图像，减少模糊图像导致的误检和漏检，生成对抗网络采用RRDB生成网络和U-NET判别网络构建而成，同时设计二阶图像退化方法模拟生成更加真实的模糊图像，为网络训练提供优质训练数据，增强算法的性能。如图1所示，该方法具体包括如下步骤：
S1：构建改进YOLOv5模型。
YOLOv5模型是一种高效率的单阶段目标检测模型，为了提高输电线路场景下模型对小尺寸部件的缺陷检测能力，本实施例基于YOLOv5模型进行改进：在检测头网络新增浅层预测分支。
改进YOLOv5整体模型的结构如图2所示，由3大部分组成：主干网络、特征融合网络和检测头网络。其中，主干网络基于CSPDarknet53网络的结构设计，采用跨阶段局部网络(CSP)思想，从输入图像中产生不同尺度的特征层，提取丰富的信息特征。特征融合网络结合了特征金字塔网络(FPN)和路径聚合网络(PANet)，对于主干网络输出的多尺度特征层，先通过FPN的自深向浅路径传达强语义特征，再通过PANet的自浅向深网络传达强定位特征，从而实现不同尺度上浅层定位信息和深层语义信息的融合。检测头网络负责对融合后的特征图进行特征映射，输出图像中缺陷目标的位置信息和类别信息。
网络层数的减少，意味着浅层特征能得到更好的保留，而浅层特征正是小目标检测重点关注的目标，并且浅层特征图的特征步长较少，检测锚框分布相对密集，能更好地定位小目标。基于此，本实施例在原YOLOv5模型的检测头网络中增加了一个专门用于检测小尺寸目标的浅层预测分支(图中检测头网络区域的分支1)，结合原有的3个检测分支组成四分支检测模型，一方面能有效缓解对图像进行暴力缩放和尺度变化中插值因素带来的负面影响，另一方面，对图像中小尺寸目标能进行更精细的定位。
S2：设计基于生成对抗网络的模糊图像增强算法。
近年来，生成对抗网络被广泛应用于图像增强领域，通过使用同一场景下[低质量-高质量]的图像对训练网络，使网络学习低质量图像与高质量图像间的映射关系。
S3：训练改进YOLOv5模型和生成对抗网络。
该步骤包括训练模糊图像增强算法中的生成对抗网络和改进YOLOv5模型。
首先，通过无人机巡检输电线路来采集多场景下的图像数据，以人工分拣的方式，清洗亮度异常、噪声较大和图像模糊的数据，将图像数据按照4:1的数量比例划分出训练集和测试集。
通过无人机巡检输电线路来采集多场景下的图像数据，以人工分拣的方式，清洗亮度异常、噪声较大和图像模糊的数据，将图像数据按照4:1的数量比例划分出训练集和测试集。
然后，通过无人机巡检输电线路来采集多场景下的图像数据，以人工分拣的方式，清洗亮度异常、噪声较大和图像模糊的数据。利用标注工具，对图像中的电力部件和缺陷目标进行标注，并以VOC数据格式保存成xml标签文件。电力部件主要包括绝缘子、防震锤、悬垂线夹、螺栓等多种尺寸的部件，缺陷目标包括绝缘子自爆、防震锤脱落、防震锤移位、销钉缺失、螺帽缺失等缺陷。将图像数据和对应标注文件按照4:1的数量比例划分出训练集和测试集。通过多次训练获取多个模型的权重参数文件，在测试集下对比使用不同权重参数文件的模型精度，选取精度最高的模型作为最终模型。
S4：实现输电线路缺陷检测。
将训练好的改进YOLOv5模型和模糊图像增强算法部署于计算平台中。
在进行输电线路缺陷检测时，将无人机采集的输电线路巡检视频通过网络传输进入计算平台，平台启动改进YOLOv5模型对视频进行逐帧的检测，视频中的每一帧图像首先经过模糊图像增强算法生成高分辨率且清晰的图像，之后输入改进YOLOv5模型对图像进行缺陷检测，若检测到图像中含缺陷目标，则标记该图像中的缺陷位置信息和类别信息，在视频检测结束后，生成可视化报告，以便电力从业人员对该线路进行分析与处理。
本实施例提供一种基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法，该方法结合改进YOLOv5模型和模糊图像增强技术进行输电线路缺陷检测，不仅改善了模型对输电线路小尺寸部件的缺陷检测精度，同时能减少由于图像模糊导致的模型误检和漏检，所提方法能够在输电线路缺陷检测领域中进行多尺度目标检测和模糊目标检测，具有高鲁棒性和高实用性。
在一个可选的实施例中，改进YOLOv5模型还包括基于Transformer编码器的模型优化。本实施例中将原YOLOv5模型中主干网络末端和特征融合网络的部分卷积模块替换为Transformer编码器模块(图2中的Trans模块)，主干网络末端的特征图分辨率较低，在低分辨率的特征图上应用Transformer编码器模块可以降低计算成本，提高计算效率，压缩模型大小；在特征融合网络中应用Transformer编码器模块有利于在特征融合过程中捕获全局信息，获取更丰富的上下文信息，提高模型整体检测精度。
在一个可选的实施例中，改进YOLOv5模型还包括基于CBAM注意力模块的模型优化。CBAM注意力模块可通过特征映射，沿着通道维度和空间维度两个独立的维度依次进行注意力映射推断，并将两个注意力映射图谱分别与主干特征图谱相乘，实现自适应的特征精细化的操作。本实施例在特征融合网络中引入CBAM注意力模块提取注意力区域，帮助模型区分混乱的背景元素信息，并使融合后的特征图更专注于需要检测的小尺寸目标。
在一个可选的实施例中，由于改进YOLOv5模型中新增了一个预测分支，因此需要重新设计损失函数使模型在训练时能够使用到新分支预测结果的信息，更好地训练模型。本实施例对原YOLOv5模型损失函数中的目标置信度损失Lobj进行重新设计，改进后Lobj的具体计算公式如下。其中
Figure BDA0004176236050000071
Figure BDA0004176236050000072
分别对应分支1、分支2、分支3、分支4映射的小、中小、中、大尺寸特征图的损失；β1、β2、β3和β4是权重因子，为了提高模型训练时小尺寸和中小尺寸目标的重要性，在本实施例中，4个因子分别被设为4.0、1.0、0.4和0.2。
Figure BDA0004176236050000081
在一个可选的实施例中，基于生成对抗网络的模糊图像增强算法，首先采用RRDB生成网络和U-NET判别网络构建生成对抗网络，并定义整体网络的损失函数，然后通过二阶图像退化方法模拟生成更加真实的模糊图像，为网络训练提供高质量的训练数据，以提高网络的收敛性能。模糊图像增强算法用于在缺陷检测过程将待检测的图像重构为高分辨率的清晰图像，降低模糊图像导致的误检和漏检。
传统的生成对抗网络采用ResNet网络作为生成网络，用于将输入图像生成高分辨率的图像；并采用U-NET作为判别网络，分别在全局和局部像素水平上计算原始高分辨率图像和生成图像之间的差异，从而为生成网络生成更高质量的图像提供方向。
生成网络性能的优劣关系到能否正确学习低质量图像与高质量图像间的映射关系，为了提高生成网络的细节特征生成能力，本发明采用性能更优的RRDB网络替代ResNet网络，构建基于RRDB生成网络和U-NET判别网络的生成对抗网络。
RRDB生成网络结构如图3所示。RRDB生成网络共分为三个部分，第一部分包括一个7×7和两个3×3的卷积块，输入图像经过卷积层得到浅层特征；中间部分使用9个RRDB网络单元采用跳跃连接的方式彼此相连，使模型可以充分学习图像的深层特征；第三部分是两个3×3转置卷积块和一个7×7的卷积层，通过卷积、激活和上采样来恢复图像，增加图像的细节特征。此外通过全局跳跃连接将网络的输入图像直接连接到输出，可以减少网络的冗余运算。
在无人机巡检采集输电线路图像到最终图像输入目标检测模型进行缺陷检测的过程中，图像通常会经历两个阶段的图像退化导致图像模糊，第一次退化在于云台相机采集图像时的运动模糊、传感器噪声和相机成像系统的误差；第二次退化在于图像传输过程中发生的质量下降和JPEG压缩。
针对现实世界的图像退化现象，本发明设计一种二阶图像退化方法模拟生成更加真实的模糊图像，图像退化流程如图4所示，通过两个重复的退化流程进行图像建模，每个退化流程均包含四个操作：(1)采用模糊核函数对图像进行卷积；(2)通过下采样操作对图像进行尺寸变换；(3)在图像中随机增加不同种类的噪声；(4)对图像进行JPEG压缩。
在训练生成对抗网络之前，需先设计损失函数计算损失值反映模型的生成图像与真实的高分辨率图像之间的差异，并通过反向传播更新网络参数。整体网络的损失函数由对抗损失函数、内容损失函数和边缘损失函数三部分组成。
对抗损失ladv通过下式计算。其中，
Figure BDA0004176236050000091
和/>
Figure BDA0004176236050000092
分别为生成图像和真实高分辨率图像在U-NET判别网络下的判别结果，N为图像个数：
Figure BDA0004176236050000093
内容损失lMSE基于均方误差函数设计，公式如下。其中，r、W、H分别描述图像数量、宽度和高度，x和y即为像素的坐标信息，
Figure BDA0004176236050000094
代表原始高分辨率图像，ILR代表采用二阶图像退化方法模拟生成的模糊图像，G(ILR)x，y代表ILR输入RRDB网络后的生成图像：
Figure BDA0004176236050000095
边缘损失函数赋予边缘损失额外的权重来提升生成图像细节信息，通过优化图像的边缘像素，从而驱动经过训练的网络生成高质量的显著边缘，获得更清晰的图像。边缘损失lEdge先采用Canny算子检测原始高分辨率图像和生成图像的边缘特征，再计算图像边缘特征之间的差异，计算公式如下。其中，W、H代表图像的宽度和高度，E代表通过Canny算子计算得到的图像边缘特征：
Figure BDA0004176236050000096
基于上述设计，训练图像增强算法中的生成对抗网络时，采用二阶图像退化方法模拟生成模糊图像，结合原始高分辨率图像组成[低质量-高质量]图像对输入生成对抗网络进行训练，模型训练采用随机梯度下降优化器作为网络的训练优化策略，RRDB生成网络和U-NET判别网络交叉训练100轮次，即每一个轮次分开训练RRDB网络和U-NET网络，训练RRDB网络时冻结U-NET网络的权重参数，训练U-NET网络时冻结RRDB网络的权重参数。学习率从0.01开始动态调整，在第40轮次、第60轮次和第80轮次训练完成后，学习率乘以0.1。每一轮训练后计算网络损失，当损失值连续5个轮次没有下降的时候，停止训练。
改进YOLOv5模型训练采用自适应矩估计优化器作为网络的训练优化策略，共训练50轮次。学习率从0.0003开始动态调整，每一轮次更新完成后，学习率乘以0.9。前25个轮次冻结主干网络和特征融合网络的权重参数，仅对不冻结的网络层进行微调，参与反向传播中的梯度更新；后25个轮次则对模型整体进行训练。每一轮训练后计算模型损失，当损失值连续5个轮次没有下降的时候，停止训练。
相较于现有技术，本发明具有如下优点：
1、结合改进YOLOv5模型和模糊图像增强技术进行输电线路缺陷检测，不仅改善了模型对输电线路小尺寸部件的缺陷检测精度，同时能减少由于图像模糊导致的模型误检和漏检，所提方法能够在输电线路缺陷检测领域中进行多尺度目标检测和模糊目标检测，具有高鲁棒性和高实用性。
2、以YOLOv5模型为基准缺陷检测模型，通过增加小目标检测分支，将Transformer编码器和CBAM注意力模块集成进模型，以及优化损失函数，有效提高模型对小尺寸部件的缺陷检测能力。
3、针对模糊图像中小目标边缘信息模糊、语义信息少的问题，提出一种基于生成对抗网络的模糊图像增强算法，实现将待检测图像重构成高分辨率的清晰图像。其中将生成对抗网络的生成网络替换为RRDB网络，以提高细节特征生成能力，且依据现实世界的图像退化现象设计一种二阶图像退化方法，以模拟更逼真的模糊图像作为生成对抗网络训练数据，提高网络的收敛性能。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法，其特征在于，包括如下步骤：
构建基于改进YOLOv5的缺陷检测模型，所述缺陷检测模型基于YOLOv5的网络结构，在检测头网络增加一个用于检测小目标的浅层预测分支，所述浅层预测分支结合原有的3个检测分支组成四分支检测模型；
构建基于生成对抗网络的模糊图像增强算法；
采集多场景下的输电线路图像数据，并进行预处理，利用预处理后的图像数据训练所述模糊图像增强算法中的生成对抗网络和所述缺陷检测模型；
利用训练好的所述模糊图像增强算法和所述缺陷检测模型对采集的输电线路巡检视频进行逐帧检测，每一帧图像首先经过所述模糊图像增强算法重构图像，再经过所述缺陷检测模型进行缺陷检测。
2.根据权利要求1所述的基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法，其特征在于，在所述基于改进YOLOv5的缺陷检测模型中，还包括，将原YOLOv5模型的主干网络末端的Trans模块和特征融合网络中Concat模块后的Trans模块都替换为Transformer编码器。
3.根据权利要求1所述的基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法，其特征在于，在所述基于改进YOLOv5的缺陷检测模型中，还包括，在原YOLOv5模型的特征融合网络中，Conv模块前增加CBAM注意力模块，所述CBAM注意力模块用于沿着通道维度和空间维度两个独立的维度依次进行注意力映射推断，并将两个注意力映射图谱分别与主干特征图谱相乘。
4.根据权利要求1所述的基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法，其特征在于，所述缺陷检测模型的目标置信度损失按照下式进行计算：
Figure FDA0004176236030000011
式中，Lobj为所述目标置信度损失，
Figure FDA0004176236030000012
分别为四个检测分支映射的不同尺寸特征图的损失，β1、β2、β3和β4是四个检测分支的权重因子。
5.根据权利要求4所述的基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法，其特征在于，β1、β2、β3和β4分别设置为4.0、1.0、0.4和0.2。
6.根据权利要求1所述的基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法，其特征在于，在所述基于生成对抗网络的模糊图像增强算法中，采用RRDB网络和U-NET判别网络构建生成对抗网络。
7.根据权利要求1所述的基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法，其特征在于，在所述基于生成对抗网络的模糊图像增强算法中，采用二阶图像退化方法模拟生成模糊图像，所述二阶图像退化方法通过两个重复的退化流程对图像进行建模，以生成模糊图像。
8.根据权利要求7所述的基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法，其特征在于，所述退化流程，具体包括：
采用模糊核函数对图像进行卷积；
通过下采样操作对图像进行尺寸变换；
在图像中随机增加不同种类的噪声；
对图像进行JPEG压缩。
9.根据权利要求7所述的基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法，其特征在于，所述模糊图像增强算法中，损失函数包括对抗损失函数、内容损失函数和边缘损失函数，各损失函数的计算式如下：
对抗损失函数：
Figure FDA0004176236030000021
式中，ladv表示对抗损失，
Figure FDA0004176236030000022
和/>
Figure FDA0004176236030000023
分别为生成图像和真实图像在U-NET判别网络下的判别结果，N为图像个数；
内容损失函数：
Figure FDA0004176236030000024
式中，lMSE表示内容损失，r、W、H分别为图像数量、宽度和高度，x和y为像素的坐标信息，
Figure FDA0004176236030000025
代表原始图像，ILR代表采用二阶图像退化方法模拟生成的模糊图像，G(ILR)x，y代表ILR输入RRDB网络后的生成图像；
边缘损失函数：
Figure FDA0004176236030000031
式中，lEdge表示边缘损失，W、H代表图像的宽度和高度，E代表通过Canny算子计算得到的图像边缘特征。
10.根据权利要求7所述的基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法，其特征在于，所述模糊图像增强算法的训练采用随机梯度下降优化器作为网络的训练优化策略，所述缺陷检测模型采用自适应矩估计优化器作为网络的训练优化策略。
CN202310392340.2A 2023-04-13 2023-04-13 基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法 Pending CN116416237A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310392340.2A CN116416237A (zh) 2023-04-13 2023-04-13 基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310392340.2A CN116416237A (zh) 2023-04-13 2023-04-13 基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法

Publications (1)

Publication Number Publication Date
CN116416237A true CN116416237A (zh) 2023-07-11

Family

ID=87054380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310392340.2A Pending CN116416237A (zh) 2023-04-13 2023-04-13 基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116416237A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116645502A (zh) * 2023-07-27 2023-08-25 云南大学 输电线路图像检测方法、装置及电子设备
CN117237286A (zh) * 2023-09-02 2023-12-15 国网山东省电力公司淄博供电公司 一种气体绝缘开关设备内部缺陷检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116645502A (zh) * 2023-07-27 2023-08-25 云南大学 输电线路图像检测方法、装置及电子设备
CN116645502B (zh) * 2023-07-27 2023-10-13 云南大学 输电线路图像检测方法、装置及电子设备
CN117237286A (zh) * 2023-09-02 2023-12-15 国网山东省电力公司淄博供电公司 一种气体绝缘开关设备内部缺陷检测方法
CN117237286B (zh) * 2023-09-02 2024-05-17 国网山东省电力公司淄博供电公司 一种气体绝缘开关设备内部缺陷检测方法

Similar Documents

Publication Publication Date Title
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
CN111968053B (zh) 基于门控卷积生成对抗网络的图像修复方法
CN111524135B (zh) 基于图像增强的输电线路细小金具缺陷检测方法及系统
CN116416237A (zh) 基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法
CN108805015A (zh) 加权卷积自编码长短期记忆网络人群异常检测方法
CN109712127B (zh) 一种用于机巡视频流的输电线路故障检测方法
CN105976383A (zh) 一种基于极限学习机图像识别的输电设备故障诊断方法
CN110689482A (zh) 一种基于有监督逐像素生成对抗网络的人脸超分辨率方法
CN111861884B (zh) 一种基于深度学习的卫星云图超分辨率重建方法
CN115358932B (zh) 一种多尺度特征融合的人脸超分辨率重构方法及系统
CN114973032B (zh) 一种基于深度卷积神经网络的光伏板热斑检测方法及装置
CN116416497B (zh) 一种轴承故障诊断系统及方法
CN111161224A (zh) 基于深度学习的铸件内部缺陷分级评估系统及方法
CN115861263A (zh) 一种基于改进YOLOv5网络的绝缘子缺陷图像检测方法
CN115035065A (zh) 基于深度学习的道路裂缝检测方法
CN115587987A (zh) 一种蓄电池缺陷检测方法、装置、存储介质及电子设备
CN116205962A (zh) 基于完整上下文信息的单目深度估计方法及系统
CN110889868A (zh) 一种结合梯度和纹理特征的单目图像深度估计方法
CN113192084A (zh) 一种基于机器视觉的公路边坡微小位移形变监测方法
CN116309171A (zh) 一种输电线路监控图像增强方法和装置
CN113763244B (zh) 一种诊断智能泵腔体故障的内窥镜图像超分辨率重建方法
CN113034432B (zh) 一种产品缺陷检测方法、系统、装置及存储介质
CN114980723A (zh) 一种用于跨工况贴片机吸嘴的故障预测方法、系统
Lv et al. Improved SRCNN for super-resolution reconstruction of retinal images
CN117876397B (zh) 一种基于多视角数据融合的桥梁构件三维点云分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination