CN113536000B - 基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法 - Google Patents

基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法 Download PDF

Info

Publication number
CN113536000B
CN113536000B CN202110793808.XA CN202110793808A CN113536000B CN 113536000 B CN113536000 B CN 113536000B CN 202110793808 A CN202110793808 A CN 202110793808A CN 113536000 B CN113536000 B CN 113536000B
Authority
CN
China
Prior art keywords
bird
insulator
image
fault
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110793808.XA
Other languages
English (en)
Other versions
CN113536000A (zh
Inventor
黄新波
高玉菡
张烨
孙苏珍
李博涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Polytechnic University
Original Assignee
Xian Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Polytechnic University filed Critical Xian Polytechnic University
Priority to CN202110793808.XA priority Critical patent/CN113536000B/zh
Publication of CN113536000A publication Critical patent/CN113536000A/zh
Application granted granted Critical
Publication of CN113536000B publication Critical patent/CN113536000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法,步骤包括:步骤1、建立图像数据库;步骤2、搭建MaskRCNN输电铁塔故障状态识别评估模型,修改模型的最后一层FC层分类数,并利用图像数据库对模型进行迁移微调,实现鸟类、鸟巢、绝缘子及其本体故障的多目标识别与实例分割;结合图像处理技术对识别到的鸟粪污迹、鸟啄痕迹结果修正与故障状态评估;步骤3、对涉鸟故障特征进行分析,包括涉鸟故障类型分析和涉害鸟种特征分析;步骤4、利用步骤3的分析结果,建立融合涉害鸟种判别的涉鸟故障判别方式,实现对全类别涉鸟故障的识别评估。本发明方法,能更精细化的为输电线路安全运行保驾护航。

Description

基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法
技术领域
本发明属于图像处理技术领域,涉及一种基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法。
背景技术
近年来,鸟类繁衍数量激增、种群数量增多,日益增长的鸟类种群为输电铁塔及其线路的安全稳定运行带来了挑战。据资料统计,在2004-2006年期间,220kV及以上输电线路鸟害跳闸数约占总跳闸数的1/10,其中主要以220kV线路为主;在2010-2014年期间,全国27个省级国家电网公司的调查结果表明,110kV及以上电压等级的输电线路因涉鸟故障造成跳闸1702次;同时,上述数据均呈现出逐年上升趋势,涉鸟故障俨然已成为影响输电线路安全运行的重大隐患之一。因此,实现110kV-220kV输电铁塔及其线路上的涉鸟故障识别与状态评估以便及时发布预警信息至关重要。
为了准确识别与防范各类涉鸟故障,国内外相关研究学者针对鸟类活动和涉鸟故障展开了调查分析。李长看等人根据河南电网的涉鸟故障特征,首次提出将涉鸟故障划分为鸟巢类、鸟粪类、鸟体短接类、鸟啄类四类,在每个类别下依据地区差异(包括地貌、植被、气候、迁徙通道)划分出不同的风险等级,并绘制出鸟害区域的风险等级分布图进而实现鸟害防治。正是基于对鸟类生活习性的观测和鸟害故障特点的总结,使得涉鸟故障防范不再依靠巡检人员的运行经验和主观臆测,从而在防鸟工作开展初期有效提高了涉鸟故障防范作业的有效性和经济性。例如,李帆等人结合上述技术手段针对江西电网输电线路鸟害故障进行了统计,发现该地区鸟害主要集中在春夏两季时的农田或近水源区域发生,并进一步计算得到防治装置的相关参数值。巢亚峰等人则在统计了湖南电网输电线路涉鸟故障后,发现故障点具有位置重复、区域集中的特征,整体呈现出倒V形分布的现象,进而依据这些特点开展鸟害防治及风险评估工作;但是,不同鸟类在不同地区的生长习性存在差异,样点、样线等取样法难以悉数掌握所有鸟类的生活习性;然而,即便是统计完全,由于涉鸟故障重合闸成功率较高,故障痕迹不明显,极易造成故障遗漏、调查分析不细致的情况,统计结果依赖于有限的历史数据,从而导致出现以偏概全的局面。
近年来,随着图像处理技术的发展,输电线路信息化程度不断提高,海量图像数据层出不穷,基于图像处理的涉鸟故障检测技术应运而生。徐晶等人根据铁塔塔材方向各异的先验知识,利用无监督学习算法将巡检分块图像聚类以实现铁塔定位,并通过HSV颜色特征量及形状特征参数相结合的方式在铁塔区域搜索鸟巢;张义莲等人依据鸟巢通常出现在输电铁塔横担区域这一事实经验,通过获取输电铁塔图像中塔架的HOG特征,构建并训练一系列级联的弱分类器Gentle Adaboost进而确定横担位置,然后在该区域内利用颜色特征达到鸟巢检测的目的。虽然,上述通过传统图像分析技术结合模式识别的算法较于“经验治鸟”取得了显著性进展,但该类算法由于缺乏空间信息且易受图像中物体或场景变换的影响,在运行环境复杂多变且检测目标模糊的场景中易失效;基于此,王纪武等人针对复杂背景下鸟巢检测困难的问题,改进了现有深度学习模型Faster RCNN,提出一种适应于输电线路运行环境的多尺度鸟巢检测算法,但该方法只对鸟巢类故障有效,很难直接移植到其他类涉鸟故障检测中;孙建刚等人提出一种基于YOLO(You Only Look Once)单阶段检测模型的鸟类识别算法,通过模型检测到鸟类以触发驱鸟装置动作达到防治目的,但鸟类对于长期作用的驱鸟装置势必会产生适应性,可能会导致该算法的现场实用价值降低。
发明内容
本发明的目的是提供一种基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法,解决了现有技术中的图像处理算法鲁棒性差、泛化能力弱;现有深度学习算法应用对象单一、尚未形成由检测到预警闭环机制的问题。
本发明采用的技术方案是,一种基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法,按照以下步骤实施:
步骤1、建立图像数据库,以自然环境下的鸟类和架空输电线路为研究对象;
步骤2、首先,加载基于COCO数据集训练而来的Mask RCNN预训练权重,通过组建残差网络、特征金字塔网络、区域候选网络和感兴趣区域对准计算单元来搭建Mask RCNN输电铁塔故障状态识别评估模型,以下简称Mask RCNN模型;
其次,修改Mask RCNN模型的最后一层FC层分类数,并利用步骤1所建立的图像数据库对Mask RCNN模型进行迁移微调,实现鸟类、鸟巢、绝缘子及其本体故障的多目标识别与实例分割;
最后,在Mask RCNN模型识别结果的基础上,结合图像处理技术对识别到的鸟粪污迹、鸟啄痕迹结果修正与故障状态评估;
步骤3、对涉鸟故障特征进行分析,包括涉鸟故障类型分析和涉害鸟种特征分析;
步骤4、利用步骤3的分析结果,建立融合涉害鸟种判别的涉鸟故障判别方式,实现对全类别涉鸟故障的识别评估。
本发明的有益效果,包括以下几个方面:
1)与传统图像处理算法相比,基于传统图像技术的涉鸟故障检测方法的各个阶段(包括灰度化、分割、建立模型或模式识别)彼此割裂,难以实现整体优化。此外,现场电力运行环境带来的物体、场景、光照等变换极易导致被检目标的颜色、纹理、空间关系和形状特征失效,从而影响算法的定位识别精度。本发明所采用的Mask RCNN模型,特征提取、分类回归通过总损失函数实现整体优化;同时,基于深度学习和大数据的检测算法无须过分依赖人为设计特征,检测性能更加稳健,提供了一种更加稳定的涉鸟故障检测方法。
2)与现有的深度学习算法相比,现有基于深度学习的涉鸟故障检测算法应用对象相对单一(只检测鸟巢类故障、只识别鸟种类型等),尚未形成由故障检测到状态评估再到发布预警的完整闭环。本发明首先通过研究涉鸟故障特征(包括涉鸟故障类型和涉害鸟种特点),提出一种融合鸟种判别的涉鸟故障评估方法,为后续涉鸟故障状态定级奠定理论基础;其次,在Mask RCNN深度学习模型的基础上,通过对鸟巢、涉害交叉鸟种、绝缘子及其本体故障等图像数据进行学习训练,从而实现多目标识别定位的目的;最后,结合传统图像处理技术对Mask RCNN的涉鸟故障识别结果进行修正与评估。本发明算法采用以ResNet-50分类层作为辅助,Mask RCNN分类层作为主分类的方式进行训练,具有正则化能力的辅助分类层有效提升了整个模型的分类识别精度,所应用的迁移微调训练方法和基于传统图像技术的后处理方法巧妙地解决了训练集信息匮乏的弊端,有效避免了模型的过拟合问题,有效解决了传统图像处理算法和现有深度学习算法对于涉鸟故障检测的问题,为110-220kV输电线路涉鸟故障状态辨识与评估提供了新思路。
附图说明
图1是本发明方法的流程图;
图2是本发明方法中基于预测框的鸟巢类故障状态识别流程图;
图3是本发明方法中基于掩膜的鸟粪污染绝缘子类故障状态识别流程图;
图4是本发明方法中基于掩膜的鸟啄类故障状态识别流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法尤其适用于110-220kV范围,其流程框图见图1,具体按照以下步骤实施:
步骤1、建立图像数据库,以自然环境下的鸟类和架空输电线路为研究对象,具体过程是:
1.1)通过无人机拍摄、网络爬取和从CUB200-2011数据集中下载获得,实施例共计喜鹊、灰喜鹊、大嘴乌鸦、秃鼻乌鸦、黑鹤、大白鹭、大鵟、普通鵟、苍鹭、东方白鹮、玻璃绝缘子、瓷质绝缘子、复合绝缘子以及绝缘子本体上的啄食痕迹、鸟粪污迹15类目标;再按照8:1:1划分数据集,具体包括1556幅训练集、验证集与测试集各194幅,共计1944幅图,包含15个种类,称为图像数据库。
1.2)参照微软COCO2014数据集,通过Labelme软件对步骤1.1)得到的图像数据库样本进行边界及类别标注。标注时,利用Labelme软件中的多边形操作,沿着目标轮廓标点并连线构成图像的掩膜(即Mask),通过矩形框操作标记目标的边界框(即Boundary-box),所包含的顶点坐标信息用于监督预测坐标的回归。
步骤2、首先,加载基于COCO数据集训练而来的Mask RCNN预训练权重,通过组建残差网络(ResNet-50)、特征金字塔网络(FPN)、区域候选网络(RPN)和感兴趣区域对准计算单元(ROIAlign)来搭建Mask RCNN输电铁塔故障状态识别评估模型;
其次,修改Mask RCNN模型的最后一层FC层(即全连接层)分类数,并利用步骤1所建立的图像数据库对Mask RCNN模型进行迁移微调,进而实现鸟类、鸟巢、绝缘子及其本体故障(如鸟粪污迹、鸟啄痕迹)的多目标识别与实例分割;
最后,在Mask RCNN模型识别结果的基础上,结合图像处理技术对识别到的鸟粪污迹、鸟啄痕迹结果修正与故障状态评估。
实施例的具体过程是,
2.1)依次选取的残差网络(ResNet-50)、特征金字塔网络(FPN)、区域候选网络(RPN)和感兴趣区域对准计算单元(ROIAlign),搭建Mask RCNN输电铁塔故障状态识别评估模型;
2.2)修改Mask RCNN模型最后一层FC层分类数,本实施例的数值选为15,对MaskRCNN模型载入COCO数据集训练而来的预训练权重,输入步骤1建立的图像数据库进入模型,保留ResNet-50分类分支和Mask RCNN主分类分支,构成主辅结合的分类方式进行迁移微调式的训练,从而得到能够同时实现目标检测与实例分割的Mask RCNN输电铁塔故障状态识别评估模型,简称Mask RCNN模型,Mask RCNN模型中的总损失函数如下式(1)所示:
L=Lcls1+Lcls2+Lbox+Lmask (1)
Figure BDA0003162018600000071
Figure BDA0003162018600000072
Figure BDA0003162018600000073
其中,Lcls1是ResNet-50分支构成的辅助分类损失函数,Lcls2是MaskRCNN全连接层构成的主分类损失函数,Lbox是框回归损失函数,Lmask是掩膜生成损失函数,Ncls代表分类数,Nbox代表回归框个数,Nmask代表掩膜个数;i为小批量中锚框的一个索引,ti表示预测框的偏移量,
Figure BDA0003162018600000081
表示的是回归框相对于真实标签(Ground Truth,GT)的实际偏移量,pi表示的是目标预测的概率值,
Figure BDA0003162018600000082
表示回归框内物体,回归框内物体为正例,则值为1;回归框内物体为负例,则值为0;mi表示物体被预测为目标的置信度。
Figure BDA0003162018600000083
Figure BDA0003162018600000084
R是关于鲁棒的损失函数
Figure BDA0003162018600000085
的计算如式(7)所示,其中,x表示Mask RCNN输电铁塔故障状态识别评估模型的输入量:
Figure BDA0003162018600000086
掩膜生成损失函数的计算如式(8)所示,
Figure BDA0003162018600000087
其中,
Figure BDA0003162018600000088
表示在第i个掩膜层中每个像素经过sigmoid函数后产生的输出;
2.3)在MaskRCNN模型目标检测结果的基础上,建立基于预测框的鸟巢类故障状态识别方式,通过准确定位鸟巢、绝缘子区域和计算二者之间的水平间距实现鸟巢类故障状态的自动判别,识别流程框图见图2,实施例的具体过程是:
2.3.1)输入Mask RCNN模型检测到的鸟巢边界框左上角坐标(x1l,y1l)、右下角坐标(x1r,y1r)和绝缘子边界框左上角坐标(x2l,y2l)、右下角坐标(x2r,y2r);
2.3.2)根据对应坐标点,计算得到鸟巢区域中心点的坐标为(x1,y1)=((x1l+x1r)/2,(y1l+y1r)/2),同时,计算得到绝缘子区域中心点的坐标为(x2,y2)=((x2l+x2r)/2,(y2l+y2r)/2);
2.3.3)定义鸟巢与绝缘子之间的水平间距D=|x1-x2|,由于110kV等级绝缘子的公称结构高度为1.6~1.9m,220kV等级绝缘子的公称结构高度为2.3~2.8m,而这两种电压等级下鸟巢与绝缘子串之间的安全距离最小值为0.6m,最大值为2m;因此,设定110kV安全距离的上界为绝缘子高度的1.05倍即2/1.9=1.05,下界为绝缘子高度的0.37倍即0.6/1.6=0.37,220kV安全距离的上界为绝缘子高度的0.71倍即2/2.8=0.71,下界为绝缘子高度的0.26倍即0.6/2.3=0.26;则得到110kV、220kV电压等级下鸟巢类故障状态判别式,见式(9)、式(10):
Figure BDA0003162018600000091
Figure BDA0003162018600000092
其中,Hi是110kV或220kV绝缘子串的像素高度,由y2r-y2l计算得到;
2.4)在Mask RCNN模型分割结果的基础上,对于由鸟粪污迹掩膜提取到的鸟粪污迹图像,建立基于掩膜的鸟啄类、鸟粪污染绝缘子类故障结果修正与状态识别方式,通过融合具有颜色、纹理特征向量的度量函数进行相似性判断,具体过程是:
2.4.1)对于颜色相似性,将鸟粪污迹图像M与鸟粪示例图像S均转换至HSV空间,并以3通道下共30bins统计并归一化灰度直方图,进而得到M图像的颜色向量
Figure BDA0003162018600000101
和S图像的颜色向量
Figure BDA0003162018600000102
2.4.2)对于纹理相似性,采用σ为1的高斯算子计算8个方向的梯度,并将该结果以单通道下bins=5统计归一化直方图,继而得到M图像的纹理向量
Figure BDA0003162018600000103
和S图像的纹理向量
Figure BDA0003162018600000104
再将M图像的颜色向量
Figure BDA0003162018600000105
和S图像的颜色向量
Figure BDA0003162018600000106
和M图像的纹理向量
Figure BDA0003162018600000107
和S图像的纹理向量
Figure BDA0003162018600000108
均通过在同一bins下取特征值的最小值代表二者直方图的相交性,以此来度量鸟粪污迹图像与鸟粪示例图像的相似程度,Simc、Simt、Sim表达式见式(11)、式(12)、式(13):
Figure BDA0003162018600000109
Figure BDA00031620186000001010
Sim(M,S)=0.5*(Simc+Simt) (13)
对于相似度函数的度量结果,当Sim(M,S)>0.7时,认为图像M确为鸟粪污迹图像;反之,则非鸟粪污迹图像;在确定为鸟粪污迹图像后,按照图3所示流程图和后续步骤4.2.3)中的内容对故障进行定级,完成对鸟粪污染绝缘子类故障状态的自动判别;
同理,采用上述算法对鸟啄痕迹图像W与鸟啄示例图像H做相似性判断,当Sim(W,H)>0.7时,认为图像W确为鸟啄痕迹图像;反之,则非鸟啄痕迹;在识别为鸟啄痕迹图像后,按照图4所示流程图和后续步骤4.2.2)中的内容完成对鸟啄类故障状态的识别评估。
步骤3、对涉鸟故障特征进行分析,包括涉鸟故障类型分析和涉害鸟种特征分析,具体过程是:
3.1)分析表明,鸟体短接类故障和鸟粪短接空气间隙故障是瞬间发生的,其余鸟巢、鸟啄和鸟粪污染绝缘子闪络各类故障是需要时间、运行环境等条件累积才可发生的;基于此,本步骤依据涉鸟故障的发生特点将其划分为瞬时性发生和累积性发生两类故障;
3.2)分析表明,不同涉鸟故障的涉害鸟种具有普遍性,如下表1所示,就故障发生特点方面而言,喜鹊、灰喜鹊、大嘴乌鸦、秃鼻乌鸦是导致累积性故障(鸟巢类、鸟啄类、鸟粪污染绝缘子闪络故障)发生的共有鸟种;同理,黑鹤、大白鹭、普通鵟、大鵟、苍鹭是引发故障瞬时性发生即鸟粪短接空气间隙和鸟体短接类故障的交叉鸟种;
表1、不同涉鸟故障的交叉涉害鸟种统计结果(9类)
Figure BDA0003162018600000111
步骤4、利用步骤3的分析结果,建立融合涉害鸟种判别的涉鸟故障判别方式,具体过程是:
4.1)情况一:当识别到能够引起故障瞬时性发生的交叉涉害鸟种,直接归类到危险级,应立即采取强制措施进行驱逐(如采用声光驱鸟装置)。
4.2)情况二:当识别到能够引起故障累积性发生的交叉涉害鸟种,则需要对所包含的故障类型均进行识别评估;
4.2.1)鸟巢类故障:由于不断加筑的鸟巢材料会逐渐减小绝缘子伞裙间的空气间隙,随时可能下落的鸟粪还会畸变绝缘子串周围的电场分布,进而降低其绝缘性能引发输电线路跳闸;由此可知,鸟巢中心点及绝缘子中心点的水平间距是评估鸟巢类故障状态的有效参数,具体判断如下:
按照步骤2.3.3)中的式(9)及式(10),计算得到间距D;
A)对于110kV输电铁塔,分为以下三种情况:
A1)当计算出的水平间距D<0.37*Hi时,判定该绝缘子进入危险级,系统发出警报并提示工作人员立即处理;
A2)当计算出的水平间距0.37*Hi<D<1.05*Hi时,判定该绝缘子进入观察级,系统发出预警并做标记时刻观察;
A3)当计算出的水平间距D>1.05*Hi时,判定该绝缘子为安全级。
B)对于220kV输电铁塔,分为以下3种情况:
B1)当计算出的水平间距D<0.71*Hi时,判定该绝缘子进入危险级,系统发出警报并提示工作人员立即处理;
B2)当计算出的水平间距0.26*Hi<D<0.71*Hi时,判定该绝缘子进入观察级,系统发出预警并做标记时刻观察;
B3)当计算出的水平间距D>0.71*Hi时,判定该绝缘子为安全级;
4.2.2)鸟啄类故障:由于鸟类啄食复合绝缘子使得伞裙尺寸发生变化,伞形结构被破坏,进而导致绝缘子的爬电距离大幅减小,同时失去护套包裹的绝缘子芯棒在潮气、杂质的作用下发生腐蚀脆断,从而造成绝缘子串失效继而引发输电线路跳闸;由此可知,绝缘子是否存在鸟啄痕迹是评价鸟啄类故障状态的可靠依据,具体判断如下:
按照步骤2.4)所述内容检测识别鸟啄痕迹:
C1)当检测到绝缘子存在鸟啄痕迹且运行于潮湿的气候条件下,判定该绝缘子进入危险级,系统发出警报并提示工作人员立即进行更换;
C2)当检测到绝缘子存在鸟啄痕迹且运行于干燥的气候环境中,判定该绝缘子进入观察级,系统发出预警并提示工作人员时刻观察该绝缘子的变化,在雨季或雾霾天气来临之前进行更换;
C3)当被测绝缘子不存在鸟啄痕迹时,该绝缘子被判定为安全级;
4.2.3)鸟粪污染绝缘子类故障:由于鸟粪污染后的绝缘子表面盐密值可能达到0.154~0.172mg/cm2,按照《高压架空线路和发电厂、变电所环境污区分级及外绝缘选择标准》(GB中国国家标准)中所给出的定级标准,盐密值达到0.10~0.25mg/cm2时属于第3级污秽等级,运行环境为大气严重污染地区;由此可知,绝缘子是否存在鸟粪附着是评估鸟粪污染绝缘子闪络故障状态的有效标志,具体判断如下:
按照步骤2.4)所述内容检测识别鸟粪污迹;
D1)当检测到绝缘子被鸟粪附着且运行于潮湿多雨天气下,判定该绝缘子为危险级,系统发出警报并提示工作人员立即对该绝缘子去污处理(如进行冲洗等措施);
D2)当检测到绝缘子被鸟粪附着且运行于干燥的气候条件下,判定该绝缘子为观察级,系统发出预警并对该绝缘子进行标记以便随时观察其变化,提示工作人员在细雨或雾霾天气来临之前进行去污处理;
D3)当被测绝缘子不存在鸟粪附着,判定该绝缘子为安全级。
4.3)情况三:当未识别到能够引起故障发生的涉害鸟种时,按照步骤4.2.1)-步骤4.2.3)所述内容进行识别评估。
完成上述的精准的涉鸟故障检测与状态评估后,再读取下一张现场图片进行处理,依次循环,实现整个输电铁塔及线路的评估。

Claims (5)

1.一种基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法,其特征在于,按照以下步骤实施:
步骤1、建立图像数据库,以自然环境下的鸟类和架空输电线路为研究对象;
步骤2、首先,加载基于COCO数据集训练而来的Mask RCNN预训练权重,通过组建残差网络、特征金字塔网络、区域候选网络和感兴趣区域对准计算单元来搭建Mask RCNN输电铁塔故障状态识别评估模型,以下简称Mask RCNN模型;
其次,修改Mask RCNN模型的最后一层FC层分类数,并利用步骤1所建立的图像数据库对Mask RCNN模型进行迁移微调,实现鸟类、鸟巢、绝缘子及其本体故障的多目标识别与实例分割;
最后,在Mask RCNN模型识别结果的基础上,结合图像处理技术对识别到的鸟粪污迹、鸟啄痕迹结果修正与故障状态评估;
步骤3、对涉鸟故障特征进行分析,包括涉鸟故障类型分析和涉害鸟种特征分析;
步骤4、利用步骤3的分析结果,建立融合涉害鸟种判别的涉鸟故障判别方式,实现对全类别涉鸟故障的识别评估。
2.根据权利要求1所述的基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法,其特征在于,所述步骤1中,具体过程是:
1.1)通过无人机拍摄、网络爬取和从CUB200-2011数据集中下载获得,称为图像数据库;
1.2)参照微软COCO2014数据集,通过Labelme软件对步骤1.1)得到的图像数据库样本进行边界及类别标注,
标注时,利用Labelme软件中的多边形操作,沿着目标轮廓标点并连线构成图像的掩膜,通过矩形框操作标记目标的边界框,所包含的顶点坐标信息用于监督预测坐标的回归。
3.根据权利要求1所述的基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法,其特征在于,所述步骤2中,具体过程是,
2.1)依次选取的残差网络、特征金字塔网络、区域候选网络和感兴趣区域对准计算单元,搭建Mask RCNN模型;
2.2)修改Mask RCNN模型最后一层FC层分类数,对Mask RCNN模型载入COCO数据集训练而来的预训练权重,输入步骤1建立的图像数据库进入Mask RCNN模型,保留ResNet-50分类分支和Mask RCNN主分类分支,构成主辅结合的分类方式进行迁移微调式的训练,得到能够同时实现目标检测与实例分割的Mask RCNN输电铁塔故障状态识别评估模型,Mask RCNN模型中的总损失函数如式(1)所示:
L=Lcls1+Lcls2+Lbox+Lmask (1)
Figure FDA0003764340280000021
Figure FDA0003764340280000022
Figure FDA0003764340280000023
其中,Lcls1是ResNet-50分支构成的辅助分类损失函数,Lcls2是Mask RCNN全连接层构成的主分类损失函数,Lbox是框回归损失函数,Lmask是掩膜生成损失函数,Ncls代表分类数,Nbox代表回归框个数,Nmask代表掩膜个数;i为小批量中锚框的一个索引,ti表示预测框的偏移量,
Figure FDA0003764340280000031
表示的是回归框相对于真实标签的实际偏移量,pi表示的是目标预测的概率值,
Figure FDA0003764340280000032
表示回归框内物体,回归框内物体为正例,则值为1;回归框内物体为负例,则值为0;mi表示物体被预测为目标的置信度,
Figure FDA0003764340280000033
Figure FDA0003764340280000034
R是关于鲁棒的损失函数
Figure FDA0003764340280000035
的计算如式(7)所示,其中,x表示Mask RCNN输电铁塔故障状态识别评估模型的输入量:
Figure FDA0003764340280000036
掩膜生成损失函数的计算如式(8)所示,
Figure FDA0003764340280000037
其中,
Figure FDA0003764340280000038
表示在第i个掩膜层中每个像素经过sigmoid函数后产生的输出;
2.3)在MaskRCNN模型目标检测结果的基础上,建立基于预测框的鸟巢类故障状态识别方式,通过准确定位鸟巢、绝缘子区域和计算二者之间的水平间距实现鸟巢类故障状态的自动判别:
2.3.1)输入MaskRCNN模型检测到的鸟巢边界框左上角坐标(x1l,y1l)、右下角坐标(x1r,y1r)和绝缘子边界框左上角坐标(x2l,y2l)、右下角坐标(x2r,y2r);
2.3.2)根据对应坐标点,计算得到鸟巢区域中心点的坐标为(x1,y1)=((x1l+x1r)/2,(y1l+y1r)/2),同时,计算得到绝缘子区域中心点的坐标为(x2,y2)=((x2l+x2r)/2,(y2l+y2r)/2);
2.3.3)定义鸟巢与绝缘子之间的水平间距D=|x1-x2|,设定110kV安全距离的上界为绝缘子高度的1.05倍即2/1.9=1.05,下界为绝缘子高度的0.37倍即0.6/1.6=0.37,220kV安全距离的上界为绝缘子高度的0.71倍即2/2.8=0.71,下界为绝缘子高度的0.26倍即0.6/2.3=0.26;于是,分别得到110kV、220kV电压等级下鸟巢类故障状态判别式,见式(9)、式(10):
Figure FDA0003764340280000041
Figure FDA0003764340280000042
其中,Hi是110kV或220kV绝缘子串的像素高度,由y2r-y2l计算得到;
2.4)在MaskRCNN模型分割结果的基础上,对于由鸟粪污迹掩膜提取到的鸟粪污迹图像,建立基于掩膜的鸟啄类、鸟粪污染绝缘子类故障结果修正与状态识别方式,通过融合具有颜色、纹理特征向量的度量函数进行相似性判断:
2.4.1)对于颜色相似性,将鸟粪污迹图像M与鸟粪示例图像S均转换至HSV空间,并以3通道下共30bins统计并归一化灰度直方图,进而得到M图像的颜色向量
Figure FDA0003764340280000043
和S图像的颜色向量
Figure FDA0003764340280000044
2.4.2)对于纹理相似性,采用σ为1的高斯算子计算8个方向的梯度,并将该结果以单通道下bins=5统计归一化直方图,继而得到M图像的纹理向量
Figure FDA0003764340280000045
和S图像的纹理向量
Figure FDA0003764340280000046
再将M图像的颜色向量
Figure FDA0003764340280000051
和S图像的颜色向量
Figure FDA0003764340280000052
以及M图像的纹理向量
Figure FDA0003764340280000053
和S图像的纹理向量
Figure FDA0003764340280000054
均通过在同一bins下取特征值的最小值代表二者直方图的相交性,以此来度量鸟粪污迹图像与鸟粪示例图像的相似程度,Simc、Simt、Sim的表达式分别见式(11)、式(12)、式(13):
Figure FDA0003764340280000055
Figure FDA0003764340280000056
Sim(M,S)=0.5*(Simc+Simt) (13)
对于相似度函数的度量结果,当Sim(M,S)>0.7时,认为图像M确为鸟粪污迹图像;反之,则非鸟粪污迹图像;在确定为鸟粪污迹图像后,按照后续步骤4.2.3)对故障进行定级,完成对鸟粪污染绝缘子类故障状态的自动判别;
同理,采用上述算法对鸟啄痕迹图像W与鸟啄示例图像H做相似性判断,当Sim(W,H)>0.7时,认为图像W确为鸟啄痕迹图像;反之,则非鸟啄痕迹;在识别为鸟啄痕迹图像后,按照后续步骤4.2.2)完成对鸟啄类故障状态的识别评估。
4.根据权利要求1所述的基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法,其特征在于,所述步骤3中,具体过程是:
3.1)本步骤依据涉鸟故障的发生特点划分为瞬时性发生和累积性发生两类故障;
3.2)不同涉鸟故障的涉害鸟种具有普遍性,如下表1所示,
表1、不同涉鸟故障的交叉涉害鸟种统计结果(9类)
Figure FDA0003764340280000061
5.根据权利要求3所述的基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法,其特征在于,所述步骤4中,具体过程是:
4.1)情况一:当识别到能够引起故障瞬时性发生的交叉涉害鸟种,直接归类到危险级,应立即采取强制措施进行驱逐;
4.2)情况二:当识别到能够引起故障累积性发生的交叉涉害鸟种,则需要对所包含的故障类型均进行识别评估;
4.2.1)鸟巢类故障:鸟巢中心点及绝缘子中心点的水平间距是评估鸟巢类故障状态的有效参数,具体判断如下:
按照步骤2.3.3)中的式(9)及式(10),计算得到间距D;
A)对于110kV输电铁塔,分为以下三种情况:
A1)当计算出的水平间距D<0.37*Hi时,判定该绝缘子进入危险级,系统发出警报并提示工作人员立即处理;
A2)当计算出的水平间距0.37*Hi<D<1.05*Hi时,判定该绝缘子进入观察级,系统发出预警并做标记时刻观察;
A3)当计算出的水平间距D>1.05*Hi时,判定该绝缘子为安全级;
B)对于220kV输电铁塔,分为以下3种情况:
B1)当计算出的水平间距D<0.71*Hi时,判定该绝缘子进入危险级,系统发出警报并提示工作人员立即处理;
B2)当计算出的水平间距0.26*Hi<D<0.71*Hi时,判定该绝缘子进入观察级,系统发出预警并做标记时刻观察;
B3)当计算出的水平间距D>0.71*Hi时,判定该绝缘子为安全级;
4.2.2)鸟啄类故障:绝缘子是否存在鸟啄痕迹是评价鸟啄类故障状态的可靠依据,具体判断如下:
按照步骤2.4)所述内容检测识别鸟啄痕迹:
C1)当检测到绝缘子存在鸟啄痕迹且运行于潮湿的气候条件下,判定该绝缘子进入危险级,系统发出警报并提示工作人员立即进行更换;
C2)当检测到绝缘子存在鸟啄痕迹且运行于干燥的气候环境中,判定该绝缘子进入观察级,系统发出预警并提示工作人员时刻观察该绝缘子的变化,在雨季或雾霾天气来临之前进行更换;
C3)当被测绝缘子不存在鸟啄痕迹时,该绝缘子被判定为安全级;
4.2.3)鸟粪污染绝缘子类故障:绝缘子是否存在鸟粪附着是评估鸟粪污染绝缘子闪络故障状态的有效标志,具体判断如下:
按照步骤2.4)所述内容检测识别鸟粪污迹;
D1)当检测到绝缘子被鸟粪附着且运行于潮湿多雨天气下,判定该绝缘子为危险级,系统发出警报并提示工作人员立即对该绝缘子去污处理;
D2)当检测到绝缘子被鸟粪附着且运行于干燥的气候条件下,判定该绝缘子为观察级,系统发出预警并对该绝缘子进行标记以便随时观察其变化,提示工作人员在细雨或雾霾天气来临之前去污处理;
D3)当被测绝缘子不存在鸟粪附着,判定该绝缘子为安全级;
4.3)情况三:当未识别到能够引起故障发生的涉害鸟种时,按照步骤4.2.1)-步骤4.2.3)所述内容进行识别评估,
完成上述的涉鸟故障检测与状态评估后,再读取下一张现场图片进行处理,依次循环,实现整个输电铁塔及线路的评估。
CN202110793808.XA 2021-07-14 2021-07-14 基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法 Active CN113536000B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110793808.XA CN113536000B (zh) 2021-07-14 2021-07-14 基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110793808.XA CN113536000B (zh) 2021-07-14 2021-07-14 基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法

Publications (2)

Publication Number Publication Date
CN113536000A CN113536000A (zh) 2021-10-22
CN113536000B true CN113536000B (zh) 2022-10-18

Family

ID=78098968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110793808.XA Active CN113536000B (zh) 2021-07-14 2021-07-14 基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法

Country Status (1)

Country Link
CN (1) CN113536000B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113991866B (zh) * 2021-11-11 2023-11-21 国网福建省电力有限公司南平供电公司 一种基于位置判断的输电杆塔鸟害严重程度判断方法
CN114219051B (zh) * 2022-02-23 2022-05-06 成都明途科技有限公司 图像分类方法、分类模型的训练方法、装置及电子设备
CN114693622B (zh) * 2022-03-22 2023-04-07 电子科技大学 一种基于人工智能的斑块侵蚀自动检测系统
CN114581795A (zh) * 2022-05-06 2022-06-03 天津航天中为数据系统科技有限公司 基于深度学习的杆塔绝缘子检测方法
CN115032508B (zh) * 2022-08-12 2022-11-01 国网山东省电力公司电力科学研究院 一种基于目标识别的分布式输电线路故障诊断方法及系统
CN117169939B (zh) * 2023-11-03 2024-02-13 中国林业科学研究院森林生态环境与自然保护研究所(国家林业和草原局世界自然遗产保护研究中心) 一种基于gps数据的东方白鹳巢址定位方法
CN117253179B (zh) * 2023-11-20 2024-02-02 合肥中科类脑智能技术有限公司 配电线路鸟巢检测方法、存储介质和电子设备
CN117392551B (zh) * 2023-12-12 2024-04-02 国网江西省电力有限公司电力科学研究院 一种基于鸟粪图像特征的电网鸟害识别方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117732A (zh) * 2018-07-16 2019-01-01 国网江西省电力有限公司电力科学研究院 一种输电线路涉鸟故障鸟种图音识别及防治方法
CN111104906A (zh) * 2019-12-19 2020-05-05 南京工程学院 一种基于yolo的输电塔鸟巢故障检测方法
CN111402224A (zh) * 2020-03-12 2020-07-10 广东电网有限责任公司广州供电局 一种用于电力设备的目标识别方法
CN111598309A (zh) * 2020-04-27 2020-08-28 国网山东省电力公司电力科学研究院 一种差异化鸟害风险等级评判方法及系统
WO2021067624A1 (en) * 2019-10-01 2021-04-08 Sirona Medical, Inc. Ai-assisted medical image interpretation and report generation
CN113255661A (zh) * 2021-04-15 2021-08-13 南昌大学 一种输电线路涉鸟故障相关鸟种图像识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8744637B1 (en) * 2013-09-12 2014-06-03 Deepak Maragal Methods and apparatus for detecting the clearance of fault in shunt reactor compensated transmission lines
CN111079746B (zh) * 2019-12-12 2020-08-21 哈尔滨市科佳通用机电股份有限公司 铁路货车轴箱弹簧故障图像识别方法
CN112712552A (zh) * 2020-12-29 2021-04-27 哈尔滨市科佳通用机电股份有限公司 一种车辆踏面擦伤的故障检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117732A (zh) * 2018-07-16 2019-01-01 国网江西省电力有限公司电力科学研究院 一种输电线路涉鸟故障鸟种图音识别及防治方法
WO2021067624A1 (en) * 2019-10-01 2021-04-08 Sirona Medical, Inc. Ai-assisted medical image interpretation and report generation
CN111104906A (zh) * 2019-12-19 2020-05-05 南京工程学院 一种基于yolo的输电塔鸟巢故障检测方法
CN111402224A (zh) * 2020-03-12 2020-07-10 广东电网有限责任公司广州供电局 一种用于电力设备的目标识别方法
CN111598309A (zh) * 2020-04-27 2020-08-28 国网山东省电力公司电力科学研究院 一种差异化鸟害风险等级评判方法及系统
CN113255661A (zh) * 2021-04-15 2021-08-13 南昌大学 一种输电线路涉鸟故障相关鸟种图像识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Target Detection Based on Improved Mask Rcnn in Service Robot";Jie Shi 等;《2019 Chinese Control Conference (CCC)》;20190730;第8519-8524页 *
"架空输电线路杆塔涉鸟故障风险等级评估";李阳林 等;《江西师范大学学报(自然科学版)》;20200915;第489-494页 *

Also Published As

Publication number Publication date
CN113536000A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN113536000B (zh) 基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法
CN109344753A (zh) 一种基于深度学习的航拍图像输电线路细小金具识别方法
CN111091544B (zh) 铁路货车转向架侧面一体架构断裂故障检测方法
CN108537154A (zh) 基于hog特征和机器学习的输电线路鸟巢识别方法
CN113592822B (zh) 一种电力巡检图像的绝缘子缺陷定位方法
CN108765373A (zh) 一种基于集成分类器在线学习的绝缘子异常自动检测方法
CN109376768A (zh) 一种基于深度学习的航拍图像杆塔标识牌故障诊断方法
CN111539355A (zh) 一种基于深层神经网络的光伏板异物检测系统及检测方法
CN111402224A (zh) 一种用于电力设备的目标识别方法
Wang et al. Insulator defect recognition based on faster R-CNN
Hao et al. Detection of bird nests on power line patrol using single shot detector
CN112102296A (zh) 一种基于人类概念学的电力设备目标识别方法
Yuan et al. Identification method of typical defects in transmission lines based on YOLOv5 object detection algorithm
CN114724042B (zh) 一种输电线路中零值绝缘子自动检测方法
CN115205256A (zh) 一种融合迁移学习的输电线路绝缘子缺陷检测方法及系统
CN116309407A (zh) 一种铁路接触网螺栓异常状态的检测方法
CN115825984A (zh) 一种基于激光点云的输电线路巡检系统及巡检方法
CN118521955A (zh) 一种基于机器视觉的输电线路智能巡检方法及系统
CN110136097A (zh) 一种基于特征金字塔的绝缘子故障识别方法与装置
CN113657286A (zh) 一种基于无人机的输电线路监测方法及装置
CN117332904A (zh) 一种基于数字孪生系统的输配电线路树障预测方法及装置
Dong et al. An Automatic Detection Method of Bird's Nest on Electric Tower Based on Attention Full Convolutional Neural Networks
Hao et al. Based on Surf feature extraction and insulator damage identification for capsule networks
CN112818836B (zh) 一种变电站场景的人员目标检测方法及系统
Zan et al. Defect identification of power line insulator based on an improved YOLOV4-tiny algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant