CN112837315B - 一种基于深度学习的输电线路绝缘子缺陷检测方法 - Google Patents
一种基于深度学习的输电线路绝缘子缺陷检测方法 Download PDFInfo
- Publication number
- CN112837315B CN112837315B CN202110253313.8A CN202110253313A CN112837315B CN 112837315 B CN112837315 B CN 112837315B CN 202110253313 A CN202110253313 A CN 202110253313A CN 112837315 B CN112837315 B CN 112837315B
- Authority
- CN
- China
- Prior art keywords
- insulator
- data
- detection
- insulator sheet
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000012212 insulator Substances 0.000 title claims abstract description 192
- 238000001514 detection method Methods 0.000 title claims abstract description 118
- 230000007547 defect Effects 0.000 title claims abstract description 31
- 230000005540 biological transmission Effects 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000007689 inspection Methods 0.000 claims abstract description 17
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 30
- 238000002372 labelling Methods 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000013524 data verification Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 230000004913 activation Effects 0.000 description 9
- 238000001994 activation Methods 0.000 description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000005284 excitation Effects 0.000 description 4
- 238000004880 explosion Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种基于深度学习的输电线路绝缘子缺陷检测方法,采用最新目标检测算法,具有很强的性能;引入了通道注意机制,大大地提升了检测准确率;融合了深度排序算法实现了绝缘子的跟踪,融合了残差神经网络并作为分类头,在目标检测算法提取到的强大的特征的基础上进行分类,具有优秀的分类效果。实现了连续帧视频到最终结果的端到端检测,以及多绝缘子目标和多绝缘子片状态的同时检测,准确率高,鲁棒性好,适用于各种巡检场景。本申请实现了无人机巡检视频到最终多绝缘子多缺陷检测结果的端到端检测,部署后操作简单,结果明了。
Description
技术领域
本申请涉及人工智能图像目标检测与状态识别技术领域,尤其涉及一种基于深度学习的输电线路绝缘子缺陷检测方法。
背景技术
输电线路作为电力网络中的重要组成部分,其安全稳定运行直接决定了整个电力系统的安全稳定性。实际输电线路距离跨度大、错综复杂,受自然的地理环境和气候条件的影响,长期暴露在外,极易出现输电线路设备老化、故障等问题。同时,输电线路高空架设易受到机械负荷产生的内部压力,增加了线路部件老化、损坏的几率,难以保证电力网络的安全稳定运行,给大电网造成隐患、甚至导致网络故障,造成较大的经济损失,因此需要定期对电力网络输电线路进行故障巡检。而绝缘子作为输电线路中的重要部件,数量庞大、起着机械支撑和绝缘的作用,受气候、温度等自然因素的影响易出现掉片等破损现象,很容易使输电线路的供电中断,严重时将会导致各个区域的电网故障,影响了居民用户的安全稳定用电,造成巨大的经济损失,威胁了电网的安全稳定运行,需要及时进行输电线路故障巡检。
目前采用无人机进行输电线路巡检已成为输电线路巡检中的重要手段,绝缘子自爆后缺失、绝缘子部分缺失存在缺陷是高压输电线路中常见的缺陷。目前绝缘子缺陷检测的常用方法是利用无人机航拍绝缘子,然后对影像做进一步分析处理。绝缘子影像处理方法可以分为两类,均是针对单绝缘子图进行单缺陷如自爆缺陷的检测:一类是传统图像处理方法,先通过空间转换、阈值分割和形态学滤波等方法提取绝缘子串,但应对绝缘子背景复杂、摄像机动态变化、自爆缺陷信噪比低等挑战时这些方法鲁棒性较差,不能适用于各种情况下的绝缘子提取,因此后续的自爆缺陷检测更难以为继。另一种方法是基于深度学习的方法,在利用深度学习目标识别算法检测绝缘子及其缺陷方面,通过卷积神经网络相关算法定位识别绝缘子,然后结合显著性检测、超像素分割等图像处理方法对绝缘子进行数学建模并识别缺陷。
发明内容
为了解决上述问题,本申请提供一种基于深度学习的输电线路绝缘子缺陷检测方法,以解决现有技术只能针对单绝缘子图进行单缺陷检测的问题。能高效准确地从无人机的巡检视频中识别和追踪各帧图像中的多绝缘子,并检测出各绝缘子片的状态,具有良好的鲁棒性。
为了实现上述目的,本申请通过以下技术方案实现:
一种基于深度学习的输电线路绝缘子缺陷检测方法,所述方法包括:
采集巡检视频,将巡检视频拆分为单帧图像;利用预设的标注工具,标注单帧图像中的绝缘子信息并保存,得到样本数据;
对样本数据进行预处理及数据增强,得到预处理数据,将预处理数据划分为预处理数据训练集、预处理数据验证集和预处理数据测试集;
利用预处理数据训练集对预设的绝缘子目标检测及跟踪网络进行迭代训练,并利用预处理数据验证集,验证迭代训练的每代结果,得到绝缘子权重数据;
利用绝缘子目标检测及跟踪网络和绝缘子权重数据测试预处理数据测试集,得到绝缘子检测结果;
利用预设的标注工具,标注绝缘子检测结果中绝缘子片坐标及绝缘子片状态并保存,得到绝缘子片数据;将绝缘子片数据划分为绝缘子片训练集、绝缘子片验证集和绝缘子片测试集;
利用绝缘子片训练集对预设的绝缘子片目标检测及状态检测网络进行迭代训练,并利用绝缘子片验证集,验证迭代训练的每代结果,得到绝缘子片权重数据;
利用绝缘子片目标检测及状态检测网络和绝缘子片权重数据测试绝缘子片测试集,得到绝缘子片检测结果;
融合绝缘子检测结果和绝缘子片检测结果,得到最终结果,并将最终结果与巡检视频进行匹配,输出异常位置。
可选的,所述标注工具为AI Label Image标注工具。
可选的,所述对样本数据进行预处理及数据增强的方法包括:
改变样本数据的色域至预设的色域,对样本数据进行光照畸变,按任意比例缩放样本数据,将样本数据进行随机的左右或上下翻转,以及对样本数据进行马赛克数据增强。
可选的,搭建所述绝缘子目标检测及跟踪网络的方法包括:
基于目标检测算法,融入通道注意机制,并融合预设的深度排序算法,得到绝缘子目标检测及跟踪网络。
可选的,所述深度排序算法是基于交并比进行匈牙利匹配的跟踪算法,改进排序算法得到的。
可选的,搭建所述绝缘子片目标检测及状态检测网络的方法包括:
基于目标检测算法,引入通道注意机制,并融合残差神经网络,得到绝缘子片目标检测及状态检测网络。
可选的,所述绝缘子信息包括:绝缘子类别和绝缘子坐标。
可选的,所述绝缘子片状态包括:完美、存在破损和丢失。
由以上技术方案可知,本申请提供一种基于深度学习的输电线路绝缘子缺陷检测方法,采用最新目标检测算法,具有很强的性能;引入了通道注意机制,大大地提升了检测准确率;融合了深度排序算法实现了绝缘子的跟踪,融合了残差神经网络并作为分类头,在目标检测算法提取到的强大的特征的基础上进行分类,具有优秀的分类效果。实现了连续帧视频到最终结果的端到端检测,以及多绝缘子目标和多绝缘子片状态的同时检测,准确率高,鲁棒性好,适用于各种巡检场景。本申请实现了无人机巡检视频到最终多绝缘子多缺陷检测结果的端到端检测,部署后操作简单,结果明了。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例中一种基于深度学习的输电线路绝缘子缺陷检测方法的流程示意图;
图2为整体深度学习网络框架示意图;
图3为通道注意机制的示意图;
图4为深度排序算法流程图;
图5为最终结果示意图。
具体实施方式
为使本申请实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施方式,进一步阐述本申请。
图1为本申请实施例中一种基于深度学习的输电线路绝缘子缺陷检测方法的流程示意图,参见图1,一种基于深度学习的输电线路绝缘子缺陷检测方法,所述方法包括:
S1、采集巡检视频,将巡检视频拆分为单帧图像;利用预设的标注工具,标注单帧图像中的绝缘子信息并保存,得到样本数据;
其中,巡检视频是通过无人机拍摄得到,无人机与绝缘子拍摄角度任意。所述标注工具为AI Label Image标注工具,AI Image Label标注工具是使用PyQt5开发的智能图像目标及其状态标注工具,集成了绝缘子片目标检测及状态检测网络YRNet训练好的权重,能自动检测并标注出每帧图像中的绝缘子信息,还可以人工微调标注框。选定某一绝缘子后,将自动标注其各绝缘子片,各绝缘子片状态需人工标注,或从上一帧图像中继承(半自动标注)。标注单帧图像中的绝缘子信息并保存为txt格式,所述绝缘子信息包括:绝缘子类别和绝缘子坐标。
S2、对样本数据进行预处理及数据增强,得到预处理数据,将预处理数据划分为预处理数据训练集、预处理数据验证集和预处理数据测试集;
所述对样本数据进行预处理及数据增强的方法包括:改变样本数据的色域至预设的色域,对样本数据进行光照畸变,按任意比例缩放样本数据,将样本数据进行随机的左右或上下翻转,以及对样本数据进行马赛克mosaic数据增强。
S3、利用预处理数据训练集对预设的绝缘子目标检测及跟踪网络进行迭代训练,并利用预处理数据验证集,验证迭代训练的每代结果,得到绝缘子权重数据;
搭建所述绝缘子目标检测及跟踪网络的方法包括:基于目标检测算法YOLOv5,采用Foucus、CSPNet、SPPNet和PANet等科技包,融入通道注意机制(Squeeze-and-Excitationmodule,SE模块),并融合预设的深度排序算法Deepsort,得到绝缘子目标检测及跟踪网络。
其中,YOLOv5算法融入SE模块,形成YOLOv5-SE网络。SE模块是在原始剩余块的基础上增加另一条路由,使用全局池化来获得初始通道权重,然后使用两个完整的连接层和sigmoid激活函数来更新每个通道的权重,最后使用原始通道乘以每个通道的权重。这样,在网络训练过程中,通过梯度下降学习每个通道的权值,提高检测精度。SE模块的数学思想如下:
对于任意一个卷积核为V={v1,v2,…,vC}的卷积操作,其中vc为共C个卷积核中的第c个,若输入集合为X={x1,x2,…,xC′},其中xc′为第c′个通道的输入,那么输出集合U={u1,u2,…,uC}中的第c个元素可以表示为:
其中,是卷积操作,/>是代表广播二维vc而构建的一个三维卷积核,这样,当输入一个通道上的空间特征,/>卷积核学习特征的空间关系,而后进行加和,因此通常的卷积操作后,卷积核学习到的通道关系和空间关系混合在一起。
SE模块关注通道之间的关系(通道依赖性),设计了压缩操作(squeeze)、激励操作(excitation)和缩放操作(Scale)从混杂的信息中提取并学习到通道的依赖性并应用到原输入中。
压缩操作(squeeze)将全局空间信息压缩到一个通道描述符z中,对于一个卷积操作的输出U,其包含于H×W×C维度的实数空间,即U∈RH×W×C,通过全局平均池化将其H×W空间维度的信息压缩到一个C维度空间,输出表示为通道描述符z,那么z的第c个元素可以表示为:
式中,Fsq表示squeeze函数。上式将输入通道的每个“像素点”进行求和,相当于压缩掉了空间关系,输出的通道描述符z包含于C维度的实数空间,即z∈RC。
另外,激励操作(excitation)利用压缩操作中聚合的信息,获取通道依赖性,是一个自适应再校准过程。要实现这一过程,必须满足两点:一是学习通道之间的非线性相互作用,二是学习非互斥关系以确保能同时执行多个通道。因此,选用了简单的带有“门机制”的sigmoid激活函数实现:
s=Fex(z,W)=σ(W2δ(W1z))
式中,这里的Fex表示激励操作。激励操作包含全连接层FC1、线性整流单元(Rectified Linear Unit,ReLU)激活、全连接层FC2和Sigmoid函数激活。对于输入的C维度空间描述符z,首先进行全连接FC1操作,FC1的权重为W1,一般的全连接层权重的空间维度是输入通道数和输出通道数的乘积,即C×C维,为减少计算量,设置一个取值为16的超参数r,用于尺寸折减,因此全连接层FC1的权重空间为维,即/>第二步进行线性整流单元ReLU激活,式中用δ表示。第三步进行全连接FC2操作,此时将输出恢复为C通道,类似地权重/>第四步进行Sigmoid函数激活,式中用σ表示。输出的包含于实数空间C,s∈RC,s内的每一个元素sc可直观地理解为该通道的重要性。
缩放操作(Scale)是将s视为一个激活并应用到原输入中的过程,应用比例层即:
式中,Fscale表示比例函数,uc是SE模块的原输入,即卷积操作的输出U中的第c通道的元素,sc是激活s的第c个元素,即第c个通道的权重,是应用比例后的输出,/>与uc空间维度相同。整个SE模块实际学习每个通道的权重系数,以便模型能够更有效地区分特征。
所述深度排序算法Deepsort是基于交并比(Intersection of Union,IOU)进行匈牙利匹配的跟踪算法,改进排序算法Sort得到的。使用了级联匹配算法,为每个跟踪器设定一个优先级,根据优先级来分配先后顺序;添加了马氏距离和余弦距离,马氏距离是加强版的欧氏距离,是差异度衡量中的距离度量方式,而余弦距离是一种相似度度量方式;添加了深度学习特征,将所有已确认的追踪器(其中一个状态)每次完成匹配对应的检测目标的特征图存储进一个列表,这个特征集在进行余弦距离计算的时候将会发挥作用。
S4、利用绝缘子目标检测及跟踪网络和绝缘子权重数据测试预处理数据测试集,得到绝缘子检测结果;
绝缘子检测结果包括跟踪身份标识号(Identity document,ID)。
S5、利用预设的标注工具,标注绝缘子检测结果中绝缘子片坐标及绝缘子片状态并保存,得到绝缘子片数据;将绝缘子片数据划分为绝缘子片训练集、绝缘子片验证集和绝缘子片测试集;
所述绝缘子片状态包括:完美、存在破损和丢失。标注绝缘子检测结果中绝缘子片坐标及绝缘子片状态并保存为txt格式。
S6、利用绝缘子片训练集对预设的绝缘子片目标检测及状态检测网络进行迭代训练,并利用绝缘子片验证集,验证迭代训练的每代结果,得到绝缘子片权重数据;
搭建所述绝缘子片目标检测及状态检测网络的方法包括:基于目标检测算法YOLOv5,引入通道注意机制(SE模块),并融合残差神经网络(Residual Network),得到绝缘子片目标检测及状态检测网络。
其中,残差神经网络是由一系列残差模块组成的,一个残差模块可以表示为:
式中,xl是第l个残差模块的输入,xl+1是第l个残差模块的输出,第l个残差模块的输出是第1+1个残差模块的输入。由上式可以看出,残差模块的输出xl+1由直接映射部分h(xl)和残差部分组成。h(xl)是直接映射部分,对输入进行1×1卷积操作,用于对输入进行升维或降维。/>是残差部分,通常包含多个二维卷积和ReLU激活,Wl表示这些卷积和激活的权重。残差模块会明显减小模块中参数的值从而让网络中的参数对反向传导的损失值有更敏感的响应能力,虽然根本上没有解决回传的损失小得问题,但是却让参数减小,相对而言增加了回传损失的效果,也产生了一定的正则化作用。由于残差的引入,残差神经网络可以建得很深且避免了梯度消失问题。通过不同数目的残差模块的叠加来改变残差神经网络的深度,典型的残差神经网络有五种:18层、34层、50层、101层和152层。越深的网络检测特征提取效果越好,分类效果也越好,但参数更多,训练和推断过程都更耗时。本申请采取50层网络即Resnet50作为分类网络,用于接收YOLOv5输出的的绝缘子片目标检测结果的特征,并检测出每个绝缘子片的状态:完美perfect、存在缺失with defects和丢失lost。
S7、利用绝缘子片目标检测及状态检测网络和绝缘子片权重数据测试绝缘子片测试集,得到绝缘子片检测结果。
S8、融合绝缘子检测结果和绝缘子片检测结果,得到最终结果,并将最终结果与巡检视频进行匹配,输出异常位置。
实现巡检视频到最终结果的多绝缘子目标检测及跟踪和绝缘子片目标检测及状态检测。
首先,网络设计和模型训练阶段,图2为整体深度学习网络框架示意图,参见图2,采集无人机巡检视频,拆分为单帧图像,使用AI Label Image标注图像中的绝缘子信息,包括:绝缘子类别可绝缘子坐标,其中绝缘子坐标是绝缘子在像素坐标系下的归一化坐标(bounding box,bbox),保存为目标检测算法(You Look Only Once,YOLO)专用的txt格式,标注文件路径与原始图像文件路径一一对应,得到样本数据。编写数据加载器程序和数据增强算法,改变样本数据的色域至预设的色域,对样本数据进行光照畸变,按任意比例缩放样本数据,将样本数据进行随机的左右或上下翻转,以及对样本数据进行马赛克mosaic数据增强。
采用pytorch框架,融合SE模块和YOLOv5,形成深度学习网络YOLOv5-SE。图3为通道注意机制的示意图,参见图3,其中c_in为输入通道数,c为内部通道数,c_out为输出通道数,h为特征宽度,w为特征高度,N表示模块重复N次,卷积层包括二维卷积、批规范化和线性整流激活。YOLOv5强大的特征提取能力主要来源于主干网络backbone,是使用卷积方法提取图像不同的特征。YOLOv5使用瓶颈跨阶段局部网络(Bottleneck Cross Stage PartialNetworks,BottleneckCSP)作为骨干网络,从输入图像中提取丰富的信息特征。瓶颈跨阶段局部网络是在标准的瓶颈层bottleneck与跨阶段局部网络(Cross Stage PartialNetworks,CSPNet)结合而成。其中,跨阶段局部网络CSPNet解决了其他大型卷积神经网络框架的Backbone中网络优化的梯度信息重复问题,将梯度的变化从头到尾地集成到特征图中,因此减少了模型的参数量和所需每秒浮点运算次数(Float-point Operations PerSecond,FLOPS),既保证了推理速度和准确率,又减小了模型尺寸。跨阶段局部网络CSPNet实际上是基于密集连接网络DenseNet的思想,复制基础层的特征映射图,通过密集连接块Dense Block发送副本到下一个阶段,从而将基础层的特征映射图分离出来。这样可以有效缓解梯度消失问题,通过非常深的网络很难去反推丢失信号,支持特征传播,鼓励网络重用特征,从而减少网络参数数量。在瓶颈跨阶段局部网络BottleneckCSP中的瓶颈层Bottleneck的使用了残差神经网络结构,用于增加网络的深度,使得网络有更强大的特征提取能力。在Bottleneck内部,引入通道注意力机制(SE模块),形成如图3所示的网络结构通道注意瓶颈层SEBottleneck,网络结构通道注意瓶颈层是在原始剩余块的基础上增加另一条路线,使用全局池化来获得初始信道权重,然后使用两个完整的连接层和sigmoid激活函数来更新每个通道的权重,最后使用原始通道乘以每个通道的权重。这样,在网络训练过程中,通过梯度下降学习每个通道的权值,提高检测精度。
数据和网络准确完毕后,将增强后的数据输入到网络中训练模型,获取绝缘子权重数据,查看绝缘子检测效果,即精度(Percision,P),正确判断的正例占所有判断为正例的比重;召回率(Reacall,R),正确判断的正例占所有真值为正例的比重;平均精度(Average Precision,AP),PR曲线(精度-召回率曲线)下的面积;精度-召回率综合分数F1_score:2PR/(P+R)。若效果不理想,使用网络和绝缘子权重数据自动标注更多数据集,而后进行人工微调,调整网络参数,重新训练直到F1分数达到90%。
绝缘子目标检测完成后,将连续帧的检测结果输入到深度排序算法DeepSort中,采用预训练好的深度排序算法DeepSort对绝缘子权重数据进行目标跟踪,获取视频中检测到的每个绝缘子的跟踪ID、运动轨迹、当前bounding box(bbox)位置。图4为深度排序算法流程图,如图4所示,检测结果和特征一起输入到级联匹配算法中进行匹配。级联匹配算法针对每一个检测器都会分配一个跟踪器,每个跟踪器会设定一个time_since_update参数。如果跟踪器完成匹配并进行更新,那么参数会重置为0,否则就会+1。实际上,级联匹配是不同优先级的匹配。如果匹配成功就输出跟踪目标tracks,结束;如果未匹配成功,就继续输入到交并比(Intersection of Union,IOU)及匈牙利匹配算法中进行匹配。交并比IOU及匈牙利匹配算法是计算两帧图像中的目标的交并比IOU,是一种尽量多的匹配算法,即A检测器可以和a跟踪器、c跟踪器完成匹配,其中与a匹配置信度更高,但B检测器只能和a跟踪器完成匹配。这样在算法中,就会让A与c完成匹配,B与a完成匹配,而降低对于置信度的考虑。所以算法的根本目的并不是在于匹配的准不准,而是在于尽量多的匹配上,匹配成功输出跟踪目标,结束。匹配未成功继续进行马氏距离和余弦距离匹配,成功则输出跟踪目标。将未匹配的检测器初始化,进入下次循环,循环多次将绝缘子区域进行裁剪,将未匹配的追踪器删除。
进而,在获取到视频帧中的所有绝缘子及其跟踪ID后,使用AI Label Image标注工具对绝缘子的各个绝缘子片进行目标标注,标注绝缘子片的bbox和绝缘子片状态,保存为自定义的txt格式。将标注好的绝缘子片数据输入到YOLOv5-SE网络和Resnet50网络的融合网络,即绝缘子片目标检测及状态检测网络YRNet中进行绝缘子片目标检测和绝缘子片状态分类。具体来说YOLOv5-SE作为区域提议网络(Region Proposal Network,RPN),检测出每块绝缘子片的位置框bbox,而后把该区域的经过骨干网络backbone提取到的特征传入到Resnet50中,Resnet50用于状态分类,分类结果为完美perfect、存在破损with defects和丢失lost中的一类。
最后,在模型部署和推断阶段,将图2所示的网络及训练好的权重数据及源码部署到计算机中,传入无人机视频,自动实现端到端的多绝缘子片缺陷检测,输出异常位置。图5为最终结果示意图,检测结果如图5所示,能实时跟踪无人机视角下的每个绝缘子,检测绝缘子区域,而后针对绝缘子区域检测出各个绝缘子片及其状态,对每一个绝缘子能统计出其绝缘子片数目、存在破损的数目和整体缺失的数目。
由以上技术方案可知,本申请提供一种基于深度学习的输电线路绝缘子缺陷检测方法,采用最新目标检测算法,具有很强的性能;引入了通道注意机制,大大地提升了检测准确率;融合了深度排序算法实现了绝缘子的跟踪,融合了残差神经网络并作为分类头,在目标检测算法提取到的强大的特征的基础上进行分类,具有优秀的分类效果。实现了连续帧视频到最终结果的端到端检测,以及多绝缘子目标和多绝缘子片状态的同时检测,准确率高,鲁棒性好,适用于各种巡检场景。本申请实现了无人机巡检视频到最终多绝缘子多缺陷检测结果的端到端检测,部署后操作简单,结果明了。
以上显示和描述了本申请的基本原理和主要特征以及本申请的优点,对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。
Claims (8)
1.一种基于深度学习的输电线路绝缘子缺陷检测方法,其特征在于,所述方法包括:
采集巡检视频,将巡检视频拆分为单帧图像;利用预设的标注工具,标注单帧图像中的绝缘子信息并保存,得到样本数据;
对样本数据进行预处理及数据增强,得到预处理数据,将预处理数据划分为预处理数据训练集、预处理数据验证集和预处理数据测试集;
利用预处理数据训练集对预设的绝缘子目标检测及跟踪网络进行迭代训练,并利用预处理数据验证集,验证迭代训练的每代结果,得到绝缘子权重数据;
利用绝缘子目标检测及跟踪网络和绝缘子权重数据测试预处理数据测试集,得到绝缘子检测结果;
利用预设的标注工具,标注绝缘子检测结果中绝缘子片坐标及绝缘子片状态并保存,得到绝缘子片数据;将绝缘子片数据划分为绝缘子片训练集、绝缘子片验证集和绝缘子片测试集;
利用绝缘子片训练集对预设的绝缘子片目标检测及状态检测网络进行迭代训练,并利用绝缘子片验证集,验证迭代训练的每代结果,得到绝缘子片权重数据;
利用绝缘子片目标检测及状态检测网络和绝缘子片权重数据测试绝缘子片测试集,得到绝缘子片检测结果;
融合绝缘子检测结果和绝缘子片检测结果,得到最终结果,并将最终结果与巡检视频进行匹配,输出异常位置。
2.根据权利要求1所述的一种基于深度学习的输电线路绝缘子缺陷检测方法,其特征在于,所述标注工具为AILabelImage标注工具。
3.根据权利要求1所述的一种基于深度学习的输电线路绝缘子缺陷检测方法,其特征在于,所述对样本数据进行预处理及数据增强的方法包括:
改变样本数据的色域至预设的色域,对样本数据进行光照畸变,按任意比例缩放样本数据,将样本数据进行随机的左右或上下翻转,以及对样本数据进行马赛克数据增强。
4.根据权利要求1所述的一种基于深度学习的输电线路绝缘子缺陷检测方法,其特征在于,搭建所述绝缘子目标检测及跟踪网络的方法包括:
基于目标检测算法,融入通道注意机制,并融合预设的深度排序算法,得到绝缘子目标检测及跟踪网络。
5.根据权利要求4所述的一种基于深度学习的输电线路绝缘子缺陷检测方法,其特征在于,所述深度排序算法是基于交并比进行匈牙利匹配的跟踪算法,改进排序算法得到的。
6.根据权利要求1所述的一种基于深度学习的输电线路绝缘子缺陷检测方法,其特征在于,搭建所述绝缘子片目标检测及状态检测网络的方法包括:
基于目标检测算法,引入通道注意机制,并融合残差神经网络,得到绝缘子片目标检测及状态检测网络。
7.根据权利要求1所述的一种基于深度学习的输电线路绝缘子缺陷检测方法,其特征在于,所述绝缘子信息包括:绝缘子类别和绝缘子坐标。
8.根据权利要求1所述的一种基于深度学习的输电线路绝缘子缺陷检测方法,其特征在于,所述绝缘子片状态包括:完美、存在破损和丢失。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110253313.8A CN112837315B (zh) | 2021-03-05 | 2021-03-05 | 一种基于深度学习的输电线路绝缘子缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110253313.8A CN112837315B (zh) | 2021-03-05 | 2021-03-05 | 一种基于深度学习的输电线路绝缘子缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112837315A CN112837315A (zh) | 2021-05-25 |
CN112837315B true CN112837315B (zh) | 2023-11-21 |
Family
ID=75929900
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110253313.8A Active CN112837315B (zh) | 2021-03-05 | 2021-03-05 | 一种基于深度学习的输电线路绝缘子缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112837315B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113326809A (zh) * | 2021-06-30 | 2021-08-31 | 重庆大学 | 基于三通道神经网络的离线签名鉴定方法及系统 |
CN113506290A (zh) * | 2021-07-29 | 2021-10-15 | 广东电网有限责任公司 | 一种线路绝缘子缺陷检测方法及装置 |
CN113688948A (zh) * | 2021-10-11 | 2021-11-23 | 中核检修有限公司 | 一种基于YOLO v5的附着海生物种类识别方法 |
CN113989487A (zh) * | 2021-10-20 | 2022-01-28 | 国网山东省电力公司信息通信公司 | 一种面向实景调度的故障缺陷检测方法及系统 |
CN114878005A (zh) * | 2022-04-28 | 2022-08-09 | 广州中科云图智能科技有限公司 | 温度检测方法、装置、系统、电子设备及存储介质 |
CN116152258B (zh) * | 2023-04-23 | 2023-07-04 | 广东电网有限责任公司佛山供电局 | 一种输电线路绝缘子缺陷检测方法、装置、设备及介质 |
CN116343132B (zh) * | 2023-05-26 | 2023-09-15 | 南方电网数字电网研究院有限公司 | 一种复杂场景电力设备缺陷识别方法、装置和计算机设备 |
CN117152138B (zh) * | 2023-10-30 | 2024-01-16 | 陕西惠宾电子科技有限公司 | 一种基于无监督学习的医学图像肿瘤目标检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109615611A (zh) * | 2018-11-19 | 2019-04-12 | 国家电网有限公司 | 一种基于巡检影像的绝缘子自爆缺陷检测方法 |
WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
CN111784633A (zh) * | 2020-05-26 | 2020-10-16 | 西安理工大学 | 一种面向电力巡检视频的绝缘子缺损自动检测算法 |
CN112184692A (zh) * | 2020-10-13 | 2021-01-05 | 辽宁工程技术大学 | 一种输电线路多目标检测方法 |
-
2021
- 2021-03-05 CN CN202110253313.8A patent/CN112837315B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109615611A (zh) * | 2018-11-19 | 2019-04-12 | 国家电网有限公司 | 一种基于巡检影像的绝缘子自爆缺陷检测方法 |
WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
CN111784633A (zh) * | 2020-05-26 | 2020-10-16 | 西安理工大学 | 一种面向电力巡检视频的绝缘子缺损自动检测算法 |
CN112184692A (zh) * | 2020-10-13 | 2021-01-05 | 辽宁工程技术大学 | 一种输电线路多目标检测方法 |
Non-Patent Citations (1)
Title |
---|
基于多特征融合的玻璃绝缘子识别及自爆缺陷的诊断;姜云土;韩军;丁建;傅寒凝;王榆夫;曹伟;;中国电力(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112837315A (zh) | 2021-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112837315B (zh) | 一种基于深度学习的输电线路绝缘子缺陷检测方法 | |
CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
CN110110642B (zh) | 一种基于多通道注意力特征的行人重识别方法 | |
CN111931684B (zh) | 一种基于视频卫星数据鉴别特征的弱小目标检测方法 | |
CN109977921B (zh) | 一种输电线路隐患检测方法 | |
CN112232241B (zh) | 一种行人重识别方法、装置、电子设备和可读存储介质 | |
CN111598860B (zh) | 基于嵌入自注意力门模块的yolov3网络的锂电池缺陷检测方法 | |
CN113033520B (zh) | 一种基于深度学习的树木线虫病害木识别方法及系统 | |
CN110569901A (zh) | 一种基于通道选择的对抗消除弱监督目标检测方法 | |
CN113223042B (zh) | 一种遥感影像深度学习样本智能采集方法及设备 | |
CN114067118B (zh) | 一种航空摄影测量数据的处理方法 | |
CN114913498A (zh) | 一种基于关键点估计的并行多尺度特征聚合车道线检测方法 | |
CN115424017A (zh) | 一种建筑物内外轮廓分割方法、装置及存储介质 | |
CN114549909A (zh) | 一种基于自适应阈值的伪标签遥感图像场景分类方法 | |
CN114511627A (zh) | 一种目标果实定位分割方法及系统 | |
CN114049541A (zh) | 基于结构化信息特征解耦与知识迁移的视觉场景识别方法 | |
CN115761453B (zh) | 基于特征匹配的轻量化单样本目标检测方法 | |
CN115937492A (zh) | 一种基于特征识别的变电设备红外图像识别方法 | |
CN116029440A (zh) | 光伏电站超短期功率预测方法和装置 | |
CN114972434A (zh) | 一种级联检测和匹配的端到端多目标跟踪系统 | |
Wang et al. | Extraction of main urban roads from high resolution satellite images by machine learning | |
CN114565979B (zh) | 一种行人重识别方法、系统、设备及存储介质 | |
CN116778362B (zh) | 基于领域知识与深度学习的电力杆塔验收构件识别方法 | |
CN116935494B (zh) | 一种基于轻量化网络模型的多人坐姿识别方法 | |
Xu et al. | Meta-transfer learning for person re-identification in aerial imagery |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |