CN116091424A - 一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法 - Google Patents
一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法 Download PDFInfo
- Publication number
- CN116091424A CN116091424A CN202211667458.3A CN202211667458A CN116091424A CN 116091424 A CN116091424 A CN 116091424A CN 202211667458 A CN202211667458 A CN 202211667458A CN 116091424 A CN116091424 A CN 116091424A
- Authority
- CN
- China
- Prior art keywords
- power equipment
- infrared image
- yolov5
- temperature
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000013526 transfer learning Methods 0.000 claims abstract description 21
- 238000003745 diagnosis Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000013508 migration Methods 0.000 claims abstract description 8
- 230000005012 migration Effects 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 12
- 230000006872 improvement Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000005855 radiation Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000004737 colorimetric analysis Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000002950 deficient Effects 0.000 claims description 2
- 238000009826 distribution Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 229910052573 porcelain Inorganic materials 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 239000012212 insulator Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000011088 calibration curve Methods 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009422 external insulation Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法，属于电力设备缺陷检测技术领域；解决了电力设备红外图像有遮挡、分类不准确和特征提取不充分导致的缺陷诊断效率和精度低的问题；包括如下步骤：建立电力设备红外图像数据集，并进行预处理；建立电力设备可见光图像数据集，并通过可见光图像数据集预训练原始YOLOv5模型，通过迁移学习的方法将预训练的原始YOLOv5模型应用于电力设备红外图像的学习中；构建改进的YOLOv5模型，将预处理后的电力设备红外图像数据集和经过迁移学习后的原始YOLOv5模型的权重信息输入至改进的YOLOv5模型，对电力设备红外图像的缺陷进行识别；判断电力设备红外图像中的设备温度是否正常；本发明应用于电力设备缺陷检测。
Description
技术领域
本发明提供了一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法，属于电力设备缺陷检测技术领域。
背景技术
电能是目前世界上最重要的能源，高效快速的完成电力设备的缺陷检测是保障电力传输安全的重要手段。随着我国电力系统智能化、自动化、安全性要求的不断提高，为适应清洁低碳能源转换和信息技术深度融合的发展趋势，研究一种更准确、快速的电力设备状态自动检测与评价方法已成为近年来的热门课题。
电力外部绝缘装置的在线监测和劣化诊断对于维持电力系统安全稳定运行具有重要意义。电网运行过程中，由于绝缘破损、接触面氧化和腐蚀、设计承载流量不足等原因，导致供电部件恶化和过热，导致温度分布异常。红外热成像方法基于响应与被测物视场中的辐射差，即响应辐射量的相对变化值，获得被测物的温升分布的热图像。根据温升曲线的异常分布，能够判断测定对象设备是否存在劣化缺陷，该方法在电力系统中具有安全、高效、直观等优点而被广泛应用。目前的红外运检策略通常用于现场数据采集和后台技术人员根据温度升高的差异进行经验故障诊断和评估电力设备的工作状态。随着直升机、无人机、机器人等智能设备在线路巡查中的广泛应用，在电力设备信息数据获取方面有了较大进步，但是针对电力设备红外图像缺陷的智能检测和分析缺乏精确且有效的评判机制和诊断模型，阻碍了红外运检的发展。
传统的目标检测方法，因为需求场景的不同主要有帧差法、时间差分法、光流法和背景减除法等，但是这些方法鲁棒性较差，运行过程中经常受到外部不良环境以及系统调度方式改变的影响。随着计算机视觉技术的发展，卷积神经网络的优势逐渐显现，引入计算机视觉的电力设备检测系统能够较好解决上述问题。
YOLO算法是深度学习算法的一种，该算法在快速检测的同时仍具有较高准确率，实现了快速目标类别预测与识别，更加适用于实时现场应用环境。通过无人机自主巡检对10kV配电线路进行实时检测，能够快速且准确反映出目标位置并判断电力设备是否存在热缺陷，及时传送给维护中心专业人员。
发明内容
针对10kV配电线路电力设备红外图像有遮挡、分类不准确和特征提取不充分导致的缺陷诊断效率和精度低的问题，本发明提出了一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法。
为了解决上述技术问题，本发明采用的技术方案为：一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法，包括如下步骤：
S1：建立电力设备红外图像数据集，并进行预处理；
S2：建立电力设备可见光图像数据集，并通过可见光图像数据集预训练原始YOLOv5模型，通过迁移学习的方法将预训练的原始YOLOv5模型应用于电力设备红外图像的学习中；
S3：构建改进的YOLOv5模型，将预处理后的电力设备红外图像数据集和经过迁移学习后的原始YOLOv5模型的权重信息输入至改进的YOLOv5模型，对电力设备红外图像的缺陷进行识别；
S4：判断电力设备红外图像中的设备温度是否达到规定的温度标准，设备温度没有达到规定的温度标准则输出设备正常的结果，设备温度达到规定的温度标准则输出设备存在缺陷的结果。
所述步骤S1中的预处理包括数据增强和提高对比度，其中数据增强包括对训练集进行翻转、缩放、旋转、剪裁操作，采用Gamma变换对图像进行提高对比度处理。
所述步骤S2中通过可见光图像数据集预训练原始YOLOv5模型的步骤如下：
将原始YOLOv5模型的权重参数进行初始化操作，将电力设备可见光图像数据集输入网络，经过一系列连续的卷积、激活、池化和全连接层，使图片感受野不断增大，将网络前三层卷积进行层迁移，再将预训练得到的YOLOv5模型提取出来；
所述步骤S2中通过迁移学习的方法将预训练的原始YOLOv5模型应用于电力设备红外图像的学习中的步骤如下：
保存迁移学习之后的全连接层权重，得到新的分类器模型通过保存迁移学习到的电力设备特征参数，最终实现迁移学习YOLOv5的电力设备检测。
所述步骤S3中改进的YOLOv5是在YOLOv5s的基础上进行改进的，首先通过迁移学习预训练模型，构建电力设备红外图像目标检测模型，在红外图像目标检测模型中，在backbone原Focus模块后加入Triplet注意力机制；在预测结果处理阶段，针对出现的众多目标框的筛选，采用加权NMS操作，自适应锚框获得最优的目标框。
所述Triplet注意力机制包含3个平行的分支，其中两个分支负责捕获通道C和空间维度W/H之间的跨通道交互，剩下的一个分支类似传统的CBAM的通道注意力权重计算，最后将三个分支的输出进行平均聚合。
所述步骤S4具体采用基于TesseractOCR的温度提取及故障诊断方法对电力设备红外图像中的设备温度进行判断，对于输入红外图像，首先将其灰度化并舍弃图像中自带的各种标识区域，在得出的区域内，读取最亮点的温度作为该设备的实际温度，基于图像灰度与物体的热辐射呈对应关系，直接利用比色法对图像温度场进行检测。
所述基于TesseractOCR的温度提取及故障诊断方法具体步骤如下：
所获取的电力设备红外图像中，温度范围及比色条位置集中在目标检测框内，截取对应数字区域；
在提取温度数值上应用TesseractOCR识别插件对所截取局部图像进行识别；
对于每张图像，处理过程在经过灰度化后的图像上进行，分别读取比色条最上端和最下端的灰度值作为图像中的温度范围极值；
将上述步骤结果和OCR识别的温度数值组合成元组，然后使用数值方法进行一次函数拟合，根据拟合函数可得任意像素的灰度值所表示的实际温度。
本发明相对于现有技术具备的有益效果为：
(1)图像预处理效果佳。本发明通过对电力设备红外图像进行数据增强处理，使用数据增强技术处理训练集，即对训练集进行翻转、缩放、旋转、裁剪等操作，之后再输入到模型中，充分发掘和利用数据集信息，避免了由于电力设备红外图像数据集样本较少，容易出现过拟合，模型容易趋向于记住训练集而失去泛化能力，导致最终结果较差等问题；对电力设备红外图像进行图像提高对比度处理，避免了由于采集的部分电力设备红外图像会受到外部环境因素的干扰，且红外图像中的多个设备之间相互重叠，存在不清晰影响后续的检测结果的问题。
(2)缺陷诊断灵敏度高，适用性强。与现有算法对热缺陷诊断相比，本发明通过利用电力设备红外信息，对设备进行识别以及缺陷诊断的方法，增加有效判据信息，提高对表征不明显的缺陷的可诊断能力，做到早发现早运维。本发明能够适用于各种电力设备缺陷诊断，适用性强，实现了对不同类型的变电设备热缺陷的诊断，可用于变电站场景的设备热缺陷实时监测。
(3)相比主流实时检测模型各项性能优势突出。通过验证在构建的数据集上所选用基础网络YOLOv5的性能，无论是在准确率、召回率、mAP还是预测速度上，YOLOv5表现均优于SSD、YOLOv3等其他模型。通过迁移学习的方法将经过可见光电力设备数据集预训练的卷积神经网络，应用于真实电力设备红外图像的学习中，辅助神经网络对真实的电力设备红外图像进行学习。在YOLOv5基础上，最后针对有遮挡等问题修改损失函数为DIOU_NMS作为损失函数，并将Triplet注意力机制嵌入到特征提取网络中，对关键特征信息进行加权强化，实现电力设备红外图像缺陷的高鲁棒性检测，检测的mAP分别提高了2.5％，4.0％，极大提高了设备检测的准确率，弥补了由于减少参数带来的精度损失，且只是增加了极少的计算量，仍然获得了良好的实时性。
附图说明
下面结合附图对本发明做进一步说明：
图1为采用本发明的方法进行红外缺陷诊断的流程图；
图2为本发明的系统总体架构图；
图3为本发明迁移学习的执行流程图；
图4为本发明进行数据增强的示意图；
图5为本发明进行对比度处理的对比图；
图6为本发明改进型YOLOv5网络的结构示意图；
图7为本发明模型训练过程的Loss曲线图。
具体实施方式
如图1至图7所示，本发明提供了一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法。首先对采集的电力设备红外图像通过数据增强、提高对比度的预处理，标注瓷瓶、线夹、接头等电力设备制作标准数据集；其次，通过迁移学习的方法将经过可见光电力设备数据集预训练的卷积神经网络，应用于真实电力设备红外图像的学习中；最后针对有遮挡等问题修改损失函数为DIOU_NMS，并将Triplet注意力机制嵌入到特征提取网络中，对关键特征信息进行加权强化，实现电力设备红外图像缺陷的高鲁棒性检测。
本发明的核心步骤如下：
步骤1：基于迁移学习构建电力设备红外图像目标检测模型。
迁移学习是将一个领域内学习到的已有知识应用到另一个相似的目标任务领域中的方法。针对电力设备红外图像数据集缺乏足够的标注数据的情况，以及考虑到实际变电站中电力设备运行现场环境复杂、天气情况等因素，本发明引入迁移学习的方法，来辅助神经网络对真实的电力设备红外图像进行学习。
1.1建立可见光图像数据集：
采用10kV配电线路电力设备图像建立电力设备可见光图像数据集，如图3上半部分所示，包含配电线路瓷瓶、耐张线夹、并沟线夹、电缆接头、绝缘接头等电力设备可见光图像，通过训练背景复杂和部分有遮挡图像提高YOLOv5分类器的训练水平。
1.2模型预训练
将原YOLOv5模型的权重参数进行初始化操作，将电力设备可见光图像数据集输入网络，经过一系列连续的卷积、激活、池化和全连接层，图片感受野不断增大。由于低层卷积层包含电力设备图像细节信息较多，故将前三层卷积进行层迁移，再将预训练得到的YOLOv5模型提取出来。
1.3实现YOLOv5电力设备红外图像检测模型
保存迁移学习之后的全连接层权重，得到新的分类器模型通过保存迁移学习到的电力设备特征参数，最终实现迁移学习YOLOv5的电力设备检测，达到更高的识别精度和检测速度，具体的流程图如图1所示。
步骤2：建立红外图像数据集及预处理
2.1建立红外图像数据集
采用10kV配电线路电力设备图像建立电力设备红外图像数据集，如图3下半部分所示，包含配电线路瓷瓶、耐张线夹、并沟线夹、电缆接头、绝缘接头等电力设备红外图像。
2.2对电力设备红外图像进行数据增强处理
由于电力设备红外图像数据集样本较少，容易出现过拟合问题，模型容易趋向于记住训练集而失去泛化能力，导致最终结果较差；因此，在微调时，本发明使用数据增强技术处理训练集，即对训练集进行翻转、缩放、旋转、裁剪等操作，相当于扩充训练样本后，之后再输入到模型中，充分发掘和利用数据集信息。图4为数据增强的效果展示。
数据增强具体参数设置为：
(b)随机左右翻转，概率为50％；
(c)随机正负旋转小于30°的角度；
(d)随机裁剪小于20％的图像面积。
2.3对电力设备红外图像进行图像提高对比度处理
由于采集的部分电力设备红外图像会受到外部环境因素的干扰，存在不清晰等问题，且红外图像中的多个设备之间相互重叠，在一定程度上影响后续的检测结果，因此采用Gamma变换对采集图像进行提高对比度处理。
Gamma变换方法如下：
S＝(I+ξ)γ (1)；
其中I为输入的归一化灰度图，S为输出的归一化灰度图，ζ为补偿系数，γ为系数，本发明基于实验对比选择ζ＝0.1且γ＝1.5。增强后的红外图像比原始图像更清晰、对比度更高、设备细节更明显。结果如图5所示。
步骤3：网络结构设计
本发明提出一种基于改进型YOLOv5的电力设备缺陷检测方法，其中改进型YOLOv5的网络结构如图6所示。该网络是在YOLOv5s的基础上进行改进的，首先通过迁移学习预训练模型，构建电力设备红外图像目标检测模型。在红外图像目标检测模型中，在backbone原Focus模块后加入Triplet注意力机制；在预测结果处理阶段，针对出现的众多目标框的筛选，采用加权NMS(非极大抑制)操作，自适应锚框获得最优的目标框。针对真实电力设备图像背景复杂、受环境温度等影响背景复杂的情况，增强本网络的检测能力。
3.1注意力机制设计
Triplet注意力模块旨在捕捉多维度交互而不降低维度的重要性，消除了通道和权重之间的间接对应。该注意力机制模块主要包含3个平行的分支，其中两个分支负责捕获通道C和空间维度W/H之间的跨通道交互，剩下的一个分支类似传统的CBAM的通道注意力权重计算，最后将三个分支的输出进行平均聚合。如图6所示。
3.1.1第一个分支是通道注意力计算分支，将输入特征经过Z-Pool，再接一个7×7的卷积，最后经过Sigmoid激活函数生成通道注意力权重。其中，Z-Pool是对输入的特征进行最大池化MaxPooling和平均池化AvgPooling操作，输出了2×H×W维度的特征。
3.1.2第二个分支是通道C和空间维度W交互捕获分支，输入特征先经过置换操作，变成H×C×W维度的特征，接着在H维度上进行Z池化，最后经过一次置换变为C×H×W维度特征，方便进行逐元素相加。
3.1.3第三个分支操作类似
3.1.4最后需再经过一次置换变为C×H×W维度特征，方便进行逐元素相加最后对3个分支输出特征进行相加求加权平均。
3.2损失函数设计
在预测结果处理阶段，针对出现的众多目标框的筛选，采用加权NMS(非极大抑制)操作，自适应锚框获得最优的目标框。
由于真实采集的电力设备红外图像中存在部分遮挡的问题，且部分电力设备间隔距离较近，故本发明的损失函数采用改进的DIOU_NMS作为损失函数，替代了收敛慢的GIOU损失函数，有效解决了待检测的电力设备图像有遮挡的问题，DIOU的损失计算公式为：
LDIoU＝1-0.5+RDIOU(B,Bgt) (2)；
式中：RDIOU(B,Bgt)是预测框B和目标框Bgt的惩罚项，具体的计算为：
式中：b和bgt分别表示B和Bgt的中心点，ρ表示欧几里得距离，c是闭包区域(包含预测框和检测框的最小区域)的对角线长度，d是两个框的中心点距离，具体定义为：
d＝ρ(b,bgt) (4)。
步骤4：温度提取及故障诊断方法
4.1基于TesseractOCR的温度提取及故障诊断方法
对于输入红外图像，首先将其灰度化并舍弃图像中自带的各种标识区域。
在得出的区域内，读取最亮点的温度作为该设备的实际温度。基于图像灰度与物体的热辐射呈对应关系这一原理，可直接利用比色法对图像温度场进行检测。
4.1.1本发明所获取的红外图像(320×240)中，温度范围及比色条位置固定，集中在目标检测框内，截取对应数字区域。
4.1.2在提取温度数值上应用TesseractOCR识别插件对所截取局部图像进行识别。
4.1.3对于每张图像，处理过程在经过灰度化后的图像上进行，分别读取比色条最上端和最下端的灰度值作为图像中的温度范围极值，
4.1.5将上述步骤结果和OCR识别的温度数值组合成元组，然后使用数值方法进行一次函数拟合。根据拟合函数可得知任意像素的灰度值所表示的实际温度。
伪彩色和热度之间的关系满足换算公式：
I＝(X-128)R/256+L(5)；
式中：I为设备热度，X为图像亮度，R为热像仪的范围，L为热像仪的热平。由此可知，在R和L固定后，X和I呈线性关系。由于伪彩色和灰度之间同样为线性关系，因此灰度和I也呈线性关系，即：
I0＝I/(τγ) (6)；
{t}℃＝B/Ig[(A/I0+1)/C]-273.15 (7)；
式中：I0为实际的热值，τ为透射率，γ为物理发射率，一般取0.9，t为温度，A、B、C为热像仪标定曲线常数，对于短波系统，C＝1。根据灰度－温度拟合函数，本发明取去除文字部分后的图片中灰度值最大点为热点，计算对应温度作为设备发热温度。
4.2电力设备热缺陷诊断
依据DL/T664—2016《带电设备红外诊断应用规范》，针对所识别的不同类型的电力设备进行缺陷诊断，主要通过表面温度判断法，同类比较判断法和相对温差判断法进行热缺陷报警。部分设备缺陷温度见表1和表2。
表1缺陷表面温度判断表；
| 设备类别 | 热点温度(报警值) |
| 瓷瓶 | >80 |
| 耐张线夹 | >80 |
| 并沟线夹 | >80 |
| 电缆接头 | >80 |
| 绝缘接头 | >80 |
表2设备故障相对温差判断表。
4.3模型检测结果分析
模型训练过程的Loss曲线如图7所示，横坐标表示模型训练轮数，纵坐标表示对应损失值，训练开始时，损失值约为0.9，随着训练轮次的增加，损失值逐渐减小，在训练8000轮后，损失值稳定在0.1左右，达到较好的训练效果。
本发明对背景复杂、设备外观极为相似、遮挡目标、不易被人眼察觉的设备都可精准识别与定位。利用改进YOLOv5模型进行了一系列实验，并通过测试图像验证了算法的性能。测试指标主要包括精度(Precision)、召回率(Recall)、平均精度(Mean AveragePrecision，mAP)、FPS等。
本发明基于YOLOv5算法的检测机制，引入迁移学习策略提取电力设备红外劣化图像特征，在此基础上建立电力设备红外图像缺陷诊断模型。该方法可快速定位并高鲁棒性识别电力设备红外图像中的异常发热点，在电力系统设备运检减少人力、物力消耗的同时，显著提高电网设备巡检智能化程度。
关于本发明具体结构需要说明的是，本发明采用的各部件模块相互之间的连接关系是确定的、可实现的，除实施例中特殊说明的以外，其特定的连接关系可以带来相应的技术效果，并基于不依赖相应软件程序执行的前提下，解决本发明提出的技术问题，本发明中出现的部件、模块、具体元器件的型号、相互间连接方式以及，由上述技术特征带来的常规使用方法、可预期技术效果，除具体说明的以外，均属于本领域技术人员在申请日前可以获取到的专利、期刊论文、技术手册、技术词典、教科书中已公开内容，或属于本领域常规技术、公知常识等现有技术，无需赘述，使得本案提供的技术方案是清楚、完整、可实现的，并能根据该技术手段重现或获得相应的实体产品。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法，其特征在于：包括如下步骤：
S1：建立电力设备红外图像数据集，并进行预处理；
S2：建立电力设备可见光图像数据集，并通过可见光图像数据集预训练原始YOLOv5模型，通过迁移学习的方法将预训练的原始YOLOv5模型应用于电力设备红外图像的学习中；
S3：构建改进的YOLOv5模型，将预处理后的电力设备红外图像数据集和经过迁移学习后的原始YOLOv5模型的权重信息输入至改进的YOLOv5模型，对电力设备红外图像的缺陷进行识别；
S4：判断电力设备红外图像中的设备温度是否达到规定的温度标准，设备温度没有达到规定的温度标准则输出设备正常的结果，设备温度达到规定的温度标准则输出设备存在缺陷的结果。
2.根据权利要求1所述的一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法，其特征在于：所述步骤S1中的预处理包括数据增强和提高对比度，其中数据增强包括对训练集进行翻转、缩放、旋转、剪裁操作，采用Gamma变换对图像进行提高对比度处理。
3.根据权利要求1所述的一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法，其特征在于：所述步骤S2中通过可见光图像数据集预训练原始YOLOv5模型的步骤如下：
将原始YOLOv5模型的权重参数进行初始化操作，将电力设备可见光图像数据集输入网络，经过一系列连续的卷积、激活、池化和全连接层，使图片感受野不断增大，将网络前三层卷积进行层迁移，再将预训练得到的YOLOv5模型提取出来；
所述步骤S2中通过迁移学习的方法将预训练的原始YOLOv5模型应用于电力设备红外图像的学习中的步骤如下：
保存迁移学习之后的全连接层权重，得到新的分类器模型通过保存迁移学习到的电力设备特征参数，最终实现迁移学习YOLOv5的电力设备检测。
4.根据权利要求1所述的一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法，其特征在于：所述步骤S3中改进的YOLOv5是在YOLOv5s 的基础上进行改进的，首先通过迁移学习预训练模型，构建电力设备红外图像目标检测模型，在红外图像目标检测模型中，在backbone原Focus模块后加入Triplet注意力机制；在预测结果处理阶段，针对出现的众多目标框的筛选，采用加权 NMS操作，自适应锚框获得最优的目标框。
5.根据权利要求4所述的一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法，其特征在于：所述Triplet注意力机制包含 3 个平行的分支，其中两个分支负责捕获通道C和空间维度W/H之间的跨通道交互，剩下的一个分支类似传统的CBAM的通道注意力权重计算，最后将三个分支的输出进行平均聚合。
6.根据权利要求1所述的一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法，其特征在于：所述步骤S4具体采用基于TesseractOCR的温度提取及故障诊断方法对电力设备红外图像中的设备温度进行判断，对于输入红外图像，首先将其灰度化并舍弃图像中自带的各种标识区域，在得出的区域内，读取最亮点的温度作为该设备的实际温度，基于图像灰度与物体的热辐射呈对应关系，直接利用比色法对图像温度场进行检测。
7.根据权利要求6所述的一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法，其特征在于：所述基于TesseractOCR的温度提取及故障诊断方法具体步骤如下：
所获取的电力设备红外图像中，温度范围及比色条位置集中在目标检测框内，截取对应数字区域；
在提取温度数值上应用TesseractOCR识别插件对所截取局部图像进行识别；
对于每张图像，处理过程在经过灰度化后的图像上进行，分别读取比色条最上端和最下端的灰度值作为图像中的温度范围极值；
将上述步骤结果和OCR识别的温度数值组合成元组，然后使用数值方法进行一次函数拟合，根据拟合函数可得任意像素的灰度值所表示的实际温度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211667458.3A CN116091424A (zh) | 2022-12-23 | 2022-12-23 | 一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211667458.3A CN116091424A (zh) | 2022-12-23 | 2022-12-23 | 一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116091424A true CN116091424A (zh) | 2023-05-09 |
Family
ID=86209535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211667458.3A Pending CN116091424A (zh) | 2022-12-23 | 2022-12-23 | 一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116091424A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116342596A (zh) * | 2023-05-29 | 2023-06-27 | 云南电网有限责任公司 | 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法 |
| CN117036313A (zh) * | 2023-08-18 | 2023-11-10 | 华大天元(北京)科技股份有限公司 | 基于计算机视觉的电力设备红外智能检测方法和设备 |
| CN117409083A (zh) * | 2023-12-14 | 2024-01-16 | 珠海市金锐电力科技有限公司 | 一种基于红外图像和改进yolov5的电缆终端识别方法及装置 |
| CN117726598A (zh) * | 2023-12-20 | 2024-03-19 | 国网四川省电力公司电力科学研究院 | 融合红外和可见光图像的变电设备缺陷检测方法及系统 |
| CN117746166A (zh) * | 2024-02-19 | 2024-03-22 | 中国科学院长春光学精密机械与物理研究所 | 一种硅通孔芯片的缺陷检测方法 |
| CN117911401A (zh) * | 2024-03-15 | 2024-04-19 | 国网山东省电力公司泗水县供电公司 | 一种电力设备故障检测方法、系统、存储介质及设备 |
| CN117975040A (zh) * | 2024-03-28 | 2024-05-03 | 南昌工程学院 | 基于改进YOLOv5的GIS红外图像识别系统与方法 |
-
2022
- 2022-12-23 CN CN202211667458.3A patent/CN116091424A/zh active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116342596A (zh) * | 2023-05-29 | 2023-06-27 | 云南电网有限责任公司 | 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法 |
| CN116342596B (zh) * | 2023-05-29 | 2023-11-28 | 云南电网有限责任公司 | 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法 |
| CN117036313A (zh) * | 2023-08-18 | 2023-11-10 | 华大天元(北京)科技股份有限公司 | 基于计算机视觉的电力设备红外智能检测方法和设备 |
| CN117036313B (zh) * | 2023-08-18 | 2024-04-30 | 华大天元(北京)科技股份有限公司 | 基于计算机视觉的电力设备红外智能检测方法和设备 |
| CN117409083A (zh) * | 2023-12-14 | 2024-01-16 | 珠海市金锐电力科技有限公司 | 一种基于红外图像和改进yolov5的电缆终端识别方法及装置 |
| CN117409083B (zh) * | 2023-12-14 | 2024-03-22 | 珠海市金锐电力科技有限公司 | 一种基于红外图像和改进yolov5的电缆终端识别方法及装置 |
| CN117726598A (zh) * | 2023-12-20 | 2024-03-19 | 国网四川省电力公司电力科学研究院 | 融合红外和可见光图像的变电设备缺陷检测方法及系统 |
| CN117746166A (zh) * | 2024-02-19 | 2024-03-22 | 中国科学院长春光学精密机械与物理研究所 | 一种硅通孔芯片的缺陷检测方法 |
| CN117746166B (zh) * | 2024-02-19 | 2024-05-28 | 中国科学院长春光学精密机械与物理研究所 | 一种硅通孔芯片的缺陷检测方法 |
| CN117911401A (zh) * | 2024-03-15 | 2024-04-19 | 国网山东省电力公司泗水县供电公司 | 一种电力设备故障检测方法、系统、存储介质及设备 |
| CN117975040A (zh) * | 2024-03-28 | 2024-05-03 | 南昌工程学院 | 基于改进YOLOv5的GIS红外图像识别系统与方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116091424A (zh) | 一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法 | |
| Rijal et al. | Ensemble of deep neural networks for estimating particulate matter from images | |
| CN111784633B (zh) | 一种面向电力巡检视频的绝缘子缺损自动检测算法 | |
| CN112200178B (zh) | 基于人工智能的变电站绝缘子红外图像检测方法 | |
| CN113837994B (zh) | 一种基于边缘检测卷积神经网络的光伏板缺陷诊断方法 | |
| CN112258490A (zh) | 基于光学和红外图像融合的低发射率涂层智能探损方法 | |
| CN111291814A (zh) | 基于卷积神经网络与信息熵数据融合策略的裂纹识别算法 | |
| CN114882039A (zh) | 一种应用于pcb板自动分拣过程中的pcb板缺陷识别方法 | |
| CN116524674A (zh) | 基于多源数据融合的智能配电房火灾早期监测方法与系统 | |
| CN114494185A (zh) | 一种基于rgb-t多尺度特征融合的电气设备故障检测方法 | |
| CN116310274A (zh) | 一种输变电设备的状态评估方法 | |
| CN113989241A (zh) | 一种基于图像处理与深度学习融合的光伏组件el缺陷检测方法 | |
| Lu et al. | Thermal Fault Diagnosis of Electrical Equipment in Substations Based on Image Fusion. | |
| Tao et al. | Electric insulator detection of UAV images based on depth learning | |
| CN113326873A (zh) | 一种基于数据增强的电力设备分合闸状态自动分类方法 | |
| CN111830051A (zh) | 一种基于深度学习的变电站设备漏油检测方法及检测系统 | |
| CN116934737A (zh) | 一种焊缝组合缺陷识别及分类方法 | |
| CN116246060A (zh) | 一种基于上下文推理的输电线路螺栓缺陷检测方法 | |
| CN116994161A (zh) | 一种基于改进YOLOv5的绝缘子缺陷检测方法 | |
| CN113689399B (zh) | 一种用于电网识别遥感图像处理方法及系统 | |
| CN114581407B (zh) | 一种光伏模块的自适应缺陷检测方法 | |
| CN114494186B (zh) | 一种高压输变电线路电气设备的故障检测方法 | |
| CN115147591A (zh) | 一种变电设备红外图像电压致热型缺陷诊断方法及系统 | |
| CN112036472A (zh) | 一种电力系统视觉图像分类方法及系统 | |
| CN114612468A (zh) | 一种基于正样本的设备外部缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |