CN114119454A - 用于输电线路烟雾检测的装置及方法 - Google Patents

用于输电线路烟雾检测的装置及方法 Download PDF

Info

Publication number
CN114119454A
CN114119454A CN202111016343.3A CN202111016343A CN114119454A CN 114119454 A CN114119454 A CN 114119454A CN 202111016343 A CN202111016343 A CN 202111016343A CN 114119454 A CN114119454 A CN 114119454A
Authority
CN
China
Prior art keywords
sample set
smoke
smoke detection
module
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111016343.3A
Other languages
English (en)
Inventor
刘良帅
赵百捷
赵建利
陈泽
杜晓东
姬艳鹏
冯海燕
董娜
石肖松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Hebei Electric Power Co Ltd
State Grid Hebei Energy Technology Service Co Ltd
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Hebei Electric Power Co Ltd
State Grid Hebei Energy Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Hebei Electric Power Co Ltd, State Grid Hebei Energy Technology Service Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202111016343.3A priority Critical patent/CN114119454A/zh
Publication of CN114119454A publication Critical patent/CN114119454A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了用于输电线路烟雾检测的装置及方法，涉及电力安全监测技术领域；装置包括构建有烟雾检测模型模块，用于处理器构建有上述烟雾检测模型；方法包括构建有烟雾检测模型的步骤，处理器构建有烟雾检测模型；获得样本集的步骤，处理器获得样本集，所述样本集包括测试样本集和训练样本集；训练的步骤，处理器将训练样本集输入烟雾检测模型直至训练周期数大于1000并获得训练好的烟雾检测模型；检测的步骤，处理器将测试样本集输入训练好的烟雾检测模型，获得类别标签、烟雾图像中的烟雾预测框Bounding box和置信度；其通过构建有烟雾检测模型、获得样本集、训练和检测的步骤等，改善了输电线路烟雾检测效果。

Description

用于输电线路烟雾检测的装置及方法
技术领域
本发明涉及电力安全监测技术领域，尤其涉及一种用于输电线路烟雾检测的装置及方法。
背景技术
随着全国电力需求的不断增长，高压输电线路的搭建规模也逐渐扩大。由于近年来极端气候或人为引发的山火事件频繁出现，输电线路运行的可靠性和电网的安全运行受到严重影响。而山火在初始阶段火苗比较小，容易被遮挡，但是伴随山火发生的烟雾特征易扩散、范围较大，因此烟雾检测成为高压输电线路火灾探测的重要方法之一。
然而烟雾形态易受空气和自身扩散作用的影响，变化过程十分复杂。近年来，深度神经网络在机器视觉领域已经取得了巨大的成功。
申请公布号为CN 110222559 A，名称为基于卷积神经网络的烟雾图像检测方法及装置，设计了一种带有分支网络结构的深度可分离卷积神经网络，采用了深度可分离卷积结构替代了常规卷积结构实现烟雾检测。
刘丽娟、陈松楠等撰写的名称为一种基于改进SSD的烟雾实时检测模型，信阳师范学院学报(自然科学版)，2020(2)，在单阶段检测模型SSD的基础上采用多特征融合及递进池化技术实现烟雾实时检测。
但是这两种模型随着网络深度加深，对小目标的特征提取能力逐渐减弱，导致检测效果并不理想。
现有技术问题及思考：
如何解决输电线路烟雾检测效果较差的技术问题。
发明内容
本发明所要解决的技术问题是提供一种用于输电线路烟雾检测的装置及方法，解决输电线路烟雾检测效果较差的技术问题。
为解决上述技术问题，本发明所采取的技术方案是：一种用于输电线路烟雾检测的装置为烟雾检测模型，所述烟雾检测模型包括依次连接的输入端Input、特征提取网络Backbone、特征再处理网络Neck和预测端Prediction，所述特征再处理网络Neck包括依次连接的特征金字塔FPN、像素聚合网络PAN和池化网络SPP。
进一步的技术方案在于：所述像素聚合网络PAN包括结构相同的第三至第五跨阶段局部网络CSP2_3-3～CSP2_3-5和结构相同的第一卷积结构和第二卷积结构，所述第三跨阶段局部网络CSP2_3-3与第一卷积结构连接，第一卷积结构经深度方向拼接后连接至第四跨阶段局部网络CSP2_3-4，第四跨阶段局部网络CSP2_3-4与第二卷积结构连接，第二卷积结构经深度方向拼接后连接至第五跨阶段局部网络CSP2_3-5；所述预测端Prediction包括结构相同的第一至第三卷积层以及第一至第三输出特征图y1～y3，所述第一卷积层与第一输出特征图y1连接，所述第二卷积层与第二输出特征图y2连接，所述第三卷积层与第三输出特征图y3连接；所述池化网络SPP包括结构相同的第一至第三池化网络，所述第一池化网络连接在第五跨阶段局部网络CSP2_3-5与第一卷积层之间，所述第二池化网络连接在第四跨阶段局部网络CSP2_3-4与第二卷积层之间，所述第三池化网络连接在第三跨阶段局部网络CSP2_3-3与第三卷积层之间。
一种用于输电线路烟雾检测的装置包括构建有烟雾检测模型模块，构建有烟雾检测模型模块为程序模块，用于处理器构建有上述烟雾检测模型。
进一步的技术方案在于：还包括获得样本集模块、训练模块和检测模块共三个程序模块，获得样本集模块，用于处理器获得样本集，所述样本集包括测试样本集和训练样本集；训练模块，用于处理器将训练样本集输入烟雾检测模型直至训练周期数大于1000并获得训练好的烟雾检测模型；检测模块，用于处理器将测试样本集输入训练好的烟雾检测模型，获得类别标签、烟雾图像中的烟雾预测框Bounding box和置信度。
进一步的技术方案在于：在获得样本集模块中，所述样本集还包括验证样本集，摄像头获得输电线路附近的烟雾图像，多张烟雾图像形成烟雾图像集，人工方式通过处理器对烟雾图像中的烟雾区域采用标注框进行标注并获得带有标注框的标注图像，多张标注图像形成标注图像集，处理器从标注图像集中抽取并获得测试样本集、训练样本集和验证样本集；在训练模块中，处理器将训练样本集输入烟雾检测模型，烟雾检测模型输出预测目标框和真实目标框的相应参数，返回损失函数loss至训练后的烟雾检测模型，使用梯度下降算法将梯度损失传递到烟雾检测模型中的每个卷积核，更新训练参数。
进一步的技术方案在于：还包括摄像头，所述摄像头通过通信装置与处理器连接并通信。
一种用于输电线路烟雾检测的方法，基于相互连接的摄像头和处理器，包括如下步骤，构建有烟雾检测模型的步骤，处理器构建有烟雾检测模型；获得样本集的步骤，处理器获得样本集，所述样本集包括测试样本集和训练样本集；训练的步骤，处理器将训练样本集输入烟雾检测模型直至训练周期数大于1000并获得训练好的烟雾检测模型；检测的步骤，处理器将测试样本集输入训练好的烟雾检测模型，获得类别标签、烟雾图像中的烟雾预测框Bounding box和置信度。
进一步的技术方案在于：在获得样本集的步骤中，所述样本集还包括验证样本集，摄像头获得输电线路附近的烟雾图像，多张烟雾图像形成烟雾图像集，人工方式通过处理器对烟雾图像中的烟雾区域采用标注框进行标注并获得带有标注框的标注图像，多张标注图像形成标注图像集，处理器从标注图像集中抽取并获得测试样本集、训练样本集和验证样本集；在训练的步骤中，处理器将训练样本集输入烟雾检测模型，烟雾检测模型输出预测目标框和真实目标框的相应参数，返回损失函数loss至训练后的烟雾检测模型，使用梯度下降算法将梯度损失传递到烟雾检测模型中的每个卷积核，更新训练参数。
一种用于输电线路烟雾检测的装置包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，所述计算机程序包括构建有烟雾检测模型模块、获得样本集模块、训练模块和检测模块，所述处理器执行计算机程序时实现上述相应的步骤。
一种用于输电线路烟雾检测的装置为计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括构建有烟雾检测模型模块、获得样本集模块、训练模块和检测模块，所述计算机程序被处理器执行时实现上述相应的步骤。
采用上述技术方案所产生的有益效果在于：
一种用于输电线路烟雾检测的装置为烟雾检测模型，所述烟雾检测模型包括依次连接的输入端Input、特征提取网络Backbone、特征再处理网络Neck和预测端Prediction，所述特征再处理网络Neck包括依次连接的特征金字塔FPN、像素聚合网络PAN和池化网络SPP。其通过烟雾检测模型等，改善了输电线路烟雾检测效果。
一种用于输电线路烟雾检测的装置包括构建有烟雾检测模型模块，构建有烟雾检测模型模块为程序模块，用于处理器构建有上述烟雾检测模型。其通过构建有烟雾检测模型模块等，改善了输电线路烟雾检测效果。
一种用于输电线路烟雾检测的方法，基于相互连接的摄像头和处理器，包括如下步骤，构建有烟雾检测模型的步骤，处理器构建有烟雾检测模型；获得样本集的步骤，处理器获得样本集，所述样本集包括测试样本集和训练样本集；训练的步骤，处理器将训练样本集输入烟雾检测模型直至训练周期数大于1000并获得训练好的烟雾检测模型；检测的步骤，处理器将测试样本集输入训练好的烟雾检测模型，获得类别标签、烟雾图像中的烟雾预测框Bounding box和置信度。其通过构建有烟雾检测模型、获得样本集、训练和检测的步骤等，改善了输电线路烟雾检测效果。
一种用于输电线路烟雾检测的装置包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，所述计算机程序包括构建有烟雾检测模型模块、获得样本集模块、训练模块和检测模块，所述处理器执行计算机程序时实现上述相应的步骤。其通过构建有烟雾检测模型模块、获得样本集模块、训练模块和检测模块等，改善了输电线路烟雾检测效果。
一种用于输电线路烟雾检测的装置为计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括构建有烟雾检测模型模块、获得样本集模块、训练模块和检测模块，所述计算机程序被处理器执行时实现上述相应的步骤。其通过构建有烟雾检测模型模块、获得样本集模块、训练模块和检测模块等，改善了输电线路烟雾检测效果。
详见具体实施方式部分描述。
附图说明
图1是本发明实施例1的结构图；
图2是本发明实施例2的原理框图；
图3是本发明中烟雾检测的流程图；
图4是本发明中Mosaic增强原理示意图；
图5是本发明中Focus模块结构示意图；
图6是本发明中CSP1_3模块示意图；
图7是本发明中CSP2_3模块结构示意图；
图8是本发明中SPP模块示意图；
图9是本发明中GIOU原理示意图；
图10是本发明中的烟雾图像；
图11是本发明中的标注图像。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是本申请还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施例的限制。
实施例1：
如图1所示，本发明公开了一种用于输电线路烟雾检测的装置为烟雾检测模型，即YOLOv5l-SPP模型。
所述烟雾检测模型包括依次连接的输入端Input、特征提取网络Backbone、特征再处理网络Neck和预测端Prediction，所述特征再处理网络Neck包括依次连接的特征金字塔FPN、像素聚合网络PAN和池化网络SPP。
所述像素聚合网络PAN包括结构相同的第三至第五跨阶段局部网络CSP2_3-3～CSP2_3-5和结构相同的第一卷积结构和第二卷积结构，所述第三跨阶段局部网络CSP2_3-3与第一卷积结构连接，第一卷积结构经深度方向拼接后连接至第四跨阶段局部网络CSP2_3-4，第四跨阶段局部网络CSP2_3-4与第二卷积结构连接，第二卷积结构经深度方向拼接后连接至第五跨阶段局部网络CSP2_3-5。
所述预测端Prediction包括结构相同的第一至第三卷积层以及第一至第三输出特征图y1～y3，所述第一卷积层与第一输出特征图y1连接，所述第二卷积层与第二输出特征图y2连接，所述第三卷积层与第三输出特征图y3连接。
所述池化网络SPP包括结构相同的第一至第三池化网络，所述第一池化网络连接在第五跨阶段局部网络CSP2_3-5与第一卷积层之间，所述第二池化网络连接在第四跨阶段局部网络CSP2_3-4与第二卷积层之间，所述第三池化网络连接在第三跨阶段局部网络CSP2_3-3与第三卷积层之间。
实施例2：
如图2所示，本发明公开了一种用于输电线路烟雾检测的装置包括无人机和计算机以及构建有烟雾检测模型模块、获得样本集模块、训练模块和检测模块共四个程序模块，无人机上搭载有摄像头，所述计算机包括处理器和存储器，所述摄像头通过无线通信装置与计算机连接并通信。
构建有烟雾检测模型模块，用于处理器构建有烟雾检测模型。
获得样本集模块，用于处理器获得样本集，所述样本集包括测试样本集、训练样本集和验证样本集。
在获得样本集模块中，摄像头获得输电线路附近的烟雾图像，多张烟雾图像形成烟雾图像集，人工方式通过处理器对烟雾图像中的烟雾区域采用标注框进行标注并获得带有标注框的标注图像，多张标注图像形成标注图像集，处理器从标注图像集中抽取并获得测试样本集、训练样本集和验证样本集。
训练模块，用于处理器将训练样本集输入烟雾检测模型直至训练周期数大于1000并获得训练好的烟雾检测模型。
在训练模块中，处理器将训练样本集输入烟雾检测模型，烟雾检测模型输出预测目标框和真实目标框的相应参数，返回损失函数loss至训练后的烟雾检测模型，使用梯度下降算法将梯度损失传递到烟雾检测模型中的每个卷积核，更新训练参数。
检测模块，用于处理器将测试样本集输入训练好的烟雾检测模型，获得类别标签、烟雾图像中的烟雾预测框Bounding box和置信度。
其中，无人机、摄像头、无线通信装置和计算机本身以及相应的通信连接技术为现有技术在此不再赘述。
实施例3：
本发明公开了一种用于输电线路烟雾检测的方法，基于实施例2的装置，包括如下步骤：
构建有烟雾检测模型的步骤，处理器构建有烟雾检测模型。
获得样本集的步骤，处理器获得样本集，所述样本集包括测试样本集、训练样本集和验证样本集。
在获得样本集的步骤中，摄像头获得输电线路附近的烟雾图像，多张烟雾图像形成烟雾图像集，人工方式通过处理器对烟雾图像中的烟雾区域采用标注框进行标注并获得带有标注框的标注图像，多张标注图像形成标注图像集，处理器从标注图像集中抽取并获得测试样本集、训练样本集和验证样本集。
训练的步骤，处理器将训练样本集输入烟雾检测模型直至训练周期数大于1000并获得训练好的烟雾检测模型。
在训练的步骤中，处理器将训练样本集输入烟雾检测模型，烟雾检测模型输出预测目标框和真实目标框的相应参数，返回损失函数loss至训练后的烟雾检测模型，使用梯度下降算法将梯度损失传递到烟雾检测模型中的每个卷积核，更新训练参数。
检测的步骤，处理器将测试样本集输入训练好的烟雾检测模型，获得类别标签、烟雾图像中的烟雾预测框Bounding box和置信度。
实施例4：
本发明公开了一种用于输电线路烟雾检测的装置包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，所述计算机程序包括构建有烟雾检测模型模块、获得样本集模块、训练模块和检测模块，所述处理器执行计算机程序时实现实施例3的步骤。
实施例5：
本发明公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括构建有烟雾检测模型模块、获得样本集模块、训练模块和检测模块，所述计算机程序被处理器执行时实现实施例3中的步骤。
本申请的构思：
原YOLOv5l模型对于烟雾图像的检测MAP没有达到80％，在本领域中MAP值每提升一个点都有不小的挑战。图像中的烟雾具有形状不规则、颜色较浅、区域不确定的因素使得神经网络模型随着网络不断加深，卷积过程中会丢失其特征，而池化网络SPP模块能够融合低层特征，因此本发明考虑将SPP模块应用在模型特征再处理部分的最后，提升检测效果。经大量实验后确认了SPP模块最终的数量和位置。
针对现有技术的不足，本发明拟解决的技术问题是提供一种基于YOLOv5l-SPP模型对输电线路烟雾图像检测的方法，该检测方法以模型迁移训练的YOLOv5l框架为基础，并在输出探测头之前额外增加SPP网络结构，该方法用于输电线路的烟雾图像检测，且具有更高的准确性、适应性和实时性，缺陷识别的均值平均精度达到81.6％，解决了高压输电线路的烟雾图像检测精度与速度不能同时达到检测效果的问题。
本申请的技术贡献：
在原YOLOv5l模型的基础上，将SPP模块额外集成在YOLOv5l模型中每个输出尺度之前的最后一个卷积层conv的前面，即介于卷积层conv和CSP2-3模块之间。
现有的技术只有YOLOv5l模型，没有额外添加其他模型。
技术方案说明：
如图3所示，烟雾检测具体划分有如下步骤：
第一步，图像预处理：
1-1图像获取：利用无人机巡检采集高压线路附近的烟雾图像(格式为jpg)并作为原始数据集。
1-2测试样本集制作：对步骤1-1的图像使用LabelImg软件进行人工框选的标注工作，并添加缺陷种类标签。对所有已有标注信息的烟雾图像进行修改，修改包括调整标注框大小、将中文标签修改为英文标签、剔除其他缺陷标签并删除非正常拍摄得到的图像，得到xml文件(这个文件是在LabelImg软件标注完每一张图像后保存时自动生成的)。之后将已经标注完整并修改为统一标准的3332张烟雾缺陷图像的xml标注文件进行格式转换，转换成txt文件和json文件，获得数据集。最后从烟雾图像中随机(随机方法不限)抽取16％的图像作为测试样本集。
1-3训练样本集、验证样本集制作：从步骤1-2中将剩余的84％的烟雾图像作为训练样本集和验证样本集。
第二步，构建YOLOv5l-SPP模型：
如图1所示，YOLOv5l-SPP模型包括输入端Input、特征提取网络Backbone、特征再处理网络Neck和预测端Prediction。
2-1输入端Input设计：原YOLOv5l模型对输入端的图像采用Mosaic数据增强的方式，丰富图像内容，提升对烟雾较浅或者烟雾区域较小的检测效果。
Mosaic数据增强具有如下特征：
如图4所示，首先从训练样本集中取出一批(批是指Batch，批次是指Batch size，是模型的超参数，本实施例中批次等于64)图像；其次从这批图像中随机挑选4张图像，随机通过色域变化、缩小、反转和/或裁剪方式操作这四张图像，每张图像至少进行一种操作；然后将这4张图像按照左上、左下、右上、右下四个方向位置排列后拼接得到一张新的图像，新图像大小与未进行操作的原图大小相同，为608×608×3；重复上述操作，设置循环次数等于Batch size。
2-2特征提取网络设计：将步骤2-1得到的图像送入Focus模块，Focus模块连接三组CBL(卷积层Convolution-批标准化Batch normalization-激活函数Leaky Relu，CBL)卷积结构和跨阶段局部网络CSP1_X模块组成的结构，之后再连接一个池化网络SPP模块，构成特征提取网络；通过使用Focus模块对图像进行切片操作，经过Focus模块后送入由CBL卷积结构和CSP1_X模块组成的结构，再通过SPP模块将低层特征和高层特征相融合。
Focus模块具有如下特征：
如图5所示，首先将大小为608×608×3的原图像用1、2、3、4四个数字按照图4方式做标记，其次将相同数字的像素按照图4方式组合成大小为304×304×3的4个部分，然后将这4个部分按照数字大小在深度方向拼接为304×304×12的特征图，再连接一个CBL卷积结构。
Focus模块包含的CBL卷积结构的特征是：卷积层(convolution，conv)的卷积核个数为64，大小为3×3，步距为1。
CSP1_X模块具有如下特征：
X代表残差结构的个数，除残差结构个数不同外的其他结构相同。
如图6所示，以CSP1_3模块为例，该CSP1_3模块首先对输入的特征图进行CBL卷积操作；然后送入3个残差结构中，接着对经过残差结构的特征图进行卷积，并与输入的特征图直接卷积后得到的新特征图进行深度方向拼接concat；最后通过批标准化、激活函数Leaky relu和一层CBL卷积结构输入到下个模块中。
CSP1_X模块中直接对输入特征图进行卷积的CBL卷积结构的卷积层conv和CSP1_X模块中位于最后的CBL卷积结构中的卷积层conv相同，卷积层conv相关尺寸为：卷积核大小为1×1，步距为1。
2-3特征再处理网络设计：采用特征金字塔FPN和像素聚合网络PAN的结构，其中FPN结构是由两组CSP2_3模块、CBL卷积结构和上采样up sample结构串联组成的；PAN包括两个CBL卷积结构，对数据进行下采样。
如图1所示，将FPN中的每个上采样结构的输出和特征提取网络中的CSP1_9-1、CSP1_9-2模块的输出特征图进行深度方向张量拼接concat，同时将FPN中的每个CBL卷积结构的输出和PAN中的CBL卷积结构对应大小的特征图进行深度方向张量拼接concat，PAN结构每次经过CBL卷积结构后分别增加一个CSP2_3模块和SPP模块，PAN结构的第一个CBL卷积结构之前也增加一个CSP2_3模块和SPP模块；CSP2_3和SPP模块都不改变特征图大小，Neck中CSP2_3-3模块的输出是76×76，之后连接到CBL卷积结构，把图像大小变成38×38，CSP2_3-4模块的输出连接到CBL卷积结构的输入，把图像变成19×19。
FPN包括了两个CBL卷积结构，但是这里的CBL都是步距为1的卷积，对特征图的大小没有影响，是FPN中的上采样up sample改变的特征图大小，学习多尺度目标信息。
跨阶段局部网络CSP2_3模块具有的特征是：
如图7所示，该模块结构与CSP1_3模块每个残差结构中的将add融合过程删除后的结构相同。CSP2_3模块包括一个初始的CBL卷积结构和一个末尾的CBL卷积结构、多个重复单元，大小为1×1的卷积层经批标准化和激活函数Leaky relu连接3×3卷积层，该3×3卷积层再连接批标准化和激活函数Leaky relu构成重复单元，重复单元的数量为三个，第一个重复单元的输入连接初始的CBL卷积结构的输出，三个重复单元依次串联后的输出连接一层卷积层，该卷积层的输出与原始输入经一层卷积层后进行拼接，拼接后再经批标准化和激活函数Leaky relu连接末尾的CBL卷积结构。
FPN中的CBL卷积结构具有的特征是：卷积核大小都为1×1，步距都为1。
PAN中的CBL卷积结构具有的特征是：卷积核大小都为3×3，步距都为2。
步骤2-1和步骤2-2所用到的SPP模块具有如下特征：
如图8所示，SPP模块由最大池化核大小分别为1×1、5×5、9×9、13×13的四个并行池化层组成，SPP模块自身包含了两层CBL卷积结构，在开始和结束部分。
如图1所示，可获知其位置，将SPP模块额外集成在YOLOv5l模型中每个输出尺度之前的最后一个卷积层conv的前面，即介于卷积层conv和CSP2-3模块之间。
2-4预测端设计：YOLOv5l模型的输出继承了YOLOv3的思想，采用3个尺度特征图进行检测，特征图大小分别19×19、38×38、76×76。并为步骤2-2中增加的每个SPP模块后的每个尺度分配相应个数的Anchor Box，特征图中的每个像素生成9个Anchor Box，通过加权非极大值抑制筛选出最优框，并将GIOU作为损失函数返回到网络中，训练参数。
损失函数具有如下特征：
如图9所示，最外圈正方形表示图像，灰色填充的椭圆表示检测目标烟雾，左下角实线矩形框G框表示真实目标框Ground truth box；右上角实线矩形框B框表示模型输出的预测目标框Bounding box；点虚线框Ac表示G和B的最小外接矩形框；虚线“\”填充部分表示G和B的并集部分，用U表示；虚线“\”和“/”同时填充的部分I表示G和B的交集部分。IOU等于G和B的交集部分I的面积除以并集部分U的面积。
用S表示面积，损失函数公式如式(1)：
Figure BDA0003239975270000121
第三步，图像特征提取及缺陷检测：
3-1参数初始化：利用模型迁移的方法，采用在COCO数据集上训练的YOLOv5l模型参数作为训练烟雾数据集的初始参数，本发明额外添加的SPP模块初始参数为0，超参数的设置如表1所示：
表1：模型的超参数设置
Figure BDA0003239975270000131
3-2开始训练：将训练样本集输入步骤3-1初始化参数后的神经网络模型。
3-3更新参数：对比步骤3-2输出的预测目标框和真实目标框的各个参数，返回损失函数loss到步骤3-2训练后的神经网络模型，并使用梯度下降算法将梯度损失传递到每个卷积核的参数，更新可训练参数。
3-4停止训练：重复训练步骤3-3，当训练周期数大于1000时，停止训练，得到最终的YOLOv5l-SPP神经网络模型。
3-5测试烟雾检测效果：将测试样本集数据输入最终的神经网络模型，得到类别标签即烟雾、图像中的烟雾预测框Bounding box和置信度。
如图10所示，为输入模型的图像。
如图11所示，为从模型输出的图像。
3-6结束高压线路烟雾图像检测。
本发明方法中开始训练中，首先初始化权重，在训练过程中权重会不断优化，YOLOv5l-SPP模型利用输出预测框与真实目标框之间的GIOU损失来反向控制网络权重的变化，利用随机梯度下降SGD来求解反向传播的最优值，通过该算法更新可训练参数。
本实施例在Centos7.9.2的平台下完成，使用Python编程实现，测试网络模型和训练网络模型的计算机性能是：Tesla v100、interl Xeon(R)Gold 6271c CPU@2.6GHz；使用的框架是pytorch深度学习框架。YOLOv5l-SPP模型的学习率选为λ＝0.01，训练步数为450次。
本发明利用MAP、检测速度衡量网络性能。
把精度、召回率、均值平均精度和检测速度分别定义为：
Figure BDA0003239975270000141
Figure BDA0003239975270000142
Figure BDA0003239975270000143
Figure BDA0003239975270000144
式(2)中，TP表示真阳性，即标记为有缺陷的图像被正确检测；FP表示假阳性，即标记为良好的图像被错误地检测为有缺陷。
式(3)中，FN表示假阴性，即标记为有缺陷的图像被错误的检测为无缺陷。
式(4)中，k为缺陷种类，在本发明中等于1；fi(p,r)表示第i类的精度和召回率关系的函数。
式(5)中，n为图像数量；t为检测时间。
不同模型具体指标如表2所示：
表2：模型的MAP值和检测速度对比
Figure BDA0003239975270000151
由表2可知，在其他检测模型中MAP最好的模型是Transformer，其值达到了80.4％，但还是比本发明模型低了1.2个百分点，而且检测速度落后了近170fps；另一方面，本发明提出模型的检测速度比其他模型中检测速度最快的YOLOv3模型只低2.5fps，但MAP值高出3个百分点。YOLOv5s模型检测速度最快，超过本发明模型两倍，但是MAP最低，比本发明模型低8个百分点；YOLOv5l模型MAP值在前四个模型中最高，检测速度也达到200fps，但是增加SPP模块后的本发明模型在牺牲一部分速度的情况下，MAP增长1.7个百分点。
本发明方法在保证MAP指达到80％以上的条件下，具有较高的检测速度，约170fps，能够同时满足精度和实时速度要求，可以广泛用在高压电线的烟雾检测。
本申请保密运行一段时间后，现场技术人员反馈的有益之处在于：
本发明以YOLOv5l模型作为框架，显著提升对微弱目标的检测效果，同时保证了较快的检测速度，实现对微弱目标进行精准定位。
YOLOv5l模型在YOLOv3的基础上融合数据增强、Focus结构、跨阶段局部结构CSP和池化网络SPP这些方法，加强了特征提取效果，并且在输出端采用损失函数GIOU_Loss和加权非极大值抑制的方式提高了多目标框的筛选效果。同时通过使用模型迁移的技术方法来训练YOLOv5l-SPP模型的参数，能够避免直接使用自行制作的数据集训练神经网络时由于样本数量少、模型参数泛用性低等问题而导致检测效果无法达到预期水平的不足。模型迁移利用模型在大型数据集上训练出来的权重作为目标数据的训练初始权重，可以提升模型的泛化能力。本发明通过COCO数据集训练出来的YOLOv5l-SPP模型检测烟雾图像，具有更强的特征提取能力，可以有效的提升对烟雾这类微弱目标的检测效果。
输电线烟雾图像，由于烟雾是发散式的，位置不定，本申请在YOLOv5l的检测末端增加SPP模块，能够实现不同尺度的特征的融合，对烟雾图像检测具有更高的识别精度。
烟雾图像检测的均值平均精度MAP超过80％，并且检测速度也高于150fps。

Claims (10)

1.一种用于输电线路烟雾检测的装置，其特征在于：装置为烟雾检测模型，所述烟雾检测模型包括依次连接的输入端Input、特征提取网络Backbone、特征再处理网络Neck和预测端Prediction，所述特征再处理网络Neck包括依次连接的特征金字塔FPN、像素聚合网络PAN和池化网络SPP。
2.根据权利要求1所述的用于输电线路烟雾检测的装置，其特征在于：所述像素聚合网络PAN包括结构相同的第三至第五跨阶段局部网络CSP2_3-3～CSP2_3-5和结构相同的第一卷积结构和第二卷积结构，所述第三跨阶段局部网络CSP2_3-3与第一卷积结构连接，第一卷积结构经深度方向拼接后连接至第四跨阶段局部网络CSP2_3-4，第四跨阶段局部网络CSP2_3-4与第二卷积结构连接，第二卷积结构经深度方向拼接后连接至第五跨阶段局部网络CSP2_3-5；所述预测端Prediction包括结构相同的第一至第三卷积层以及第一至第三输出特征图y1～y3，所述第一卷积层与第一输出特征图y1连接，所述第二卷积层与第二输出特征图y2连接，所述第三卷积层与第三输出特征图y3连接；所述池化网络SPP包括结构相同的第一至第三池化网络，所述第一池化网络连接在第五跨阶段局部网络CSP2_3-5与第一卷积层之间，所述第二池化网络连接在第四跨阶段局部网络CSP2_3-4与第二卷积层之间，所述第三池化网络连接在第三跨阶段局部网络CSP2_3-3与第三卷积层之间。
3.一种用于输电线路烟雾检测的装置，其特征在于：包括构建有烟雾检测模型模块，构建有烟雾检测模型模块为程序模块，用于处理器构建有权利要求1中的烟雾检测模型。
4.根据权利要求3所述的用于输电线路烟雾检测的装置，其特征在于：还包括获得样本集模块、训练模块和检测模块共三个程序模块，获得样本集模块，用于处理器获得样本集，所述样本集包括测试样本集和训练样本集；训练模块，用于处理器将训练样本集输入烟雾检测模型直至训练周期数大于1000并获得训练好的烟雾检测模型；检测模块，用于处理器将测试样本集输入训练好的烟雾检测模型，获得类别标签、烟雾图像中的烟雾预测框Bounding box和置信度。
5.根据权利要求4所述的用于输电线路烟雾检测的装置，其特征在于：在获得样本集模块中，所述样本集还包括验证样本集，摄像头获得输电线路附近的烟雾图像，多张烟雾图像形成烟雾图像集，人工方式通过处理器对烟雾图像中的烟雾区域采用标注框进行标注并获得带有标注框的标注图像，多张标注图像形成标注图像集，处理器从标注图像集中抽取并获得测试样本集、训练样本集和验证样本集；在训练模块中，处理器将训练样本集输入烟雾检测模型，烟雾检测模型输出预测目标框和真实目标框的相应参数，返回损失函数loss至训练后的烟雾检测模型，使用梯度下降算法将梯度损失传递到烟雾检测模型中的每个卷积核，更新训练参数。
6.根据权利要求3所述的用于输电线路烟雾检测的装置，其特征在于：还包括摄像头，所述摄像头通过通信装置与处理器连接并通信。
7.一种用于输电线路烟雾检测的方法，其特征在于：基于相互连接的摄像头和处理器，包括如下步骤，
构建有烟雾检测模型的步骤，处理器构建有烟雾检测模型；
获得样本集的步骤，处理器获得样本集，所述样本集包括测试样本集和训练样本集；
训练的步骤，处理器将训练样本集输入烟雾检测模型直至训练周期数大于1000并获得训练好的烟雾检测模型；
检测的步骤，处理器将测试样本集输入训练好的烟雾检测模型，获得类别标签、烟雾图像中的烟雾预测框Bounding box和置信度。
8.根据权利要求7所述的用于输电线路烟雾检测的方法，其特征在于：在获得样本集的步骤中，所述样本集还包括验证样本集，摄像头获得输电线路附近的烟雾图像，多张烟雾图像形成烟雾图像集，人工方式通过处理器对烟雾图像中的烟雾区域采用标注框进行标注并获得带有标注框的标注图像，多张标注图像形成标注图像集，处理器从标注图像集中抽取并获得测试样本集、训练样本集和验证样本集；在训练的步骤中，处理器将训练样本集输入烟雾检测模型，烟雾检测模型输出预测目标框和真实目标框的相应参数，返回损失函数loss至训练后的烟雾检测模型，使用梯度下降算法将梯度损失传递到烟雾检测模型中的每个卷积核，更新训练参数。
9.一种用于输电线路烟雾检测的装置，其特征在于：包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，所述计算机程序包括构建有烟雾检测模型模块、获得样本集模块、训练模块和检测模块，所述处理器执行计算机程序时实现权利要求7中的步骤。
10.一种用于输电线路烟雾检测的装置，其特征在于：装置为计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括构建有烟雾检测模型模块、获得样本集模块、训练模块和检测模块，所述计算机程序被处理器执行时实现权利要求7中的步骤。
CN202111016343.3A 2021-08-31 2021-08-31 用于输电线路烟雾检测的装置及方法 Pending CN114119454A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111016343.3A CN114119454A (zh) 2021-08-31 2021-08-31 用于输电线路烟雾检测的装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111016343.3A CN114119454A (zh) 2021-08-31 2021-08-31 用于输电线路烟雾检测的装置及方法

Publications (1)

Publication Number Publication Date
CN114119454A true CN114119454A (zh) 2022-03-01

Family

ID=80441087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111016343.3A Pending CN114119454A (zh) 2021-08-31 2021-08-31 用于输电线路烟雾检测的装置及方法

Country Status (1)

Country Link
CN (1) CN114119454A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205793A (zh) * 2022-09-15 2022-10-18 广东电网有限责任公司肇庆供电局 基于深度学习二次确认的电力机房烟雾检测方法及装置
CN117036361A (zh) * 2023-10-10 2023-11-10 云南大学 一种电网输电线烟雾检测方法、系统、电子设备及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205793A (zh) * 2022-09-15 2022-10-18 广东电网有限责任公司肇庆供电局 基于深度学习二次确认的电力机房烟雾检测方法及装置
CN115205793B (zh) * 2022-09-15 2023-01-24 广东电网有限责任公司肇庆供电局 基于深度学习二次确认的电力机房烟雾检测方法及装置
CN117036361A (zh) * 2023-10-10 2023-11-10 云南大学 一种电网输电线烟雾检测方法、系统、电子设备及介质
CN117036361B (zh) * 2023-10-10 2024-02-20 云南大学 一种电网输电线烟雾检测方法、系统、电子设备及介质

Similar Documents

Publication Publication Date Title
CN111784685B (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN110827251A (zh) 一种基于航拍图像的输电线路锁紧销缺陷检测方法
CN114119454A (zh) 用于输电线路烟雾检测的装置及方法
CN110929646A (zh) 一种基于无人机航拍图像的配电杆塔倒断信息快速识别方法
CN114821282B (zh) 一种基于域对抗神经网络的图像检测装置及方法
CN114494908A (zh) 一种基于改进的YOLOv5输电线路航拍图像缺陷检测方法
CN112101138A (zh) 基于深度学习的桥梁拉索表面缺陷实时识别系统及方法
CN112580600A (zh) 粉尘浓度检测方法、装置、计算机设备和存储介质
Wanguo et al. Typical defect detection technology of transmission line based on deep learning
CN111639530A (zh) 一种输电线路的输电塔和绝缘子的检测和识别方法及系统
CN113962973A (zh) 一种基于卫星技术的输电线路无人机智能巡检系统及方法
CN115761627A (zh) 一种火灾烟雾火焰图像识别方法
CN116486246A (zh) 一种基于卷积神经网络的桥梁水下图像病害智能识别方法
CN113252701A (zh) 基于云边协同的输电线路绝缘子自爆缺陷检测系统及方法
CN115641519A (zh) 输电线路检查方法、装置及非易失性存储介质
CN115690730A (zh) 基于单分类和异常生成的高铁接触网异物检测方法及系统
CN117113066B (zh) 一种基于计算机视觉的输电线路绝缘子缺陷检测方法
CN116579992A (zh) 一种用于无人机巡检的小目标螺栓缺陷检测方法
CN115082813A (zh) 检测方法、无人机、检测系统及介质
CN114627044A (zh) 一种基于深度学习的太阳能光伏组件热斑检测方法
CN114155551A (zh) 基于YOLOv3改进的复杂环境下的行人检测方法及装置
CN113034446A (zh) 一种变电站设备缺陷自动识别方法及系统
CN117392568A (zh) 一种复杂场景下无人机巡检变电设备的方法
CN116523858A (zh) 基于注意力机制的电力设备漏油检测方法及存储介质
CN116403129A (zh) 一种适应复杂气候环境的绝缘子检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination