CN110689531A - 一种基于yolo的输电线路机巡图像缺陷自动识别方法 - Google Patents

一种基于yolo的输电线路机巡图像缺陷自动识别方法 Download PDF

Info

Publication number
CN110689531A
CN110689531A CN201910897586.9A CN201910897586A CN110689531A CN 110689531 A CN110689531 A CN 110689531A CN 201910897586 A CN201910897586 A CN 201910897586A CN 110689531 A CN110689531 A CN 110689531A
Authority
CN
China
Prior art keywords
image
yolo
machine
transmission line
power transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910897586.9A
Other languages
English (en)
Inventor
周仿荣
方明
高振宇
文刚
潘浩
杨明昆
黑颖顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Yunnan Power System Ltd
Original Assignee
Electric Power Research Institute of Yunnan Power System Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Yunnan Power System Ltd filed Critical Electric Power Research Institute of Yunnan Power System Ltd
Priority to CN201910897586.9A priority Critical patent/CN110689531A/zh
Publication of CN110689531A publication Critical patent/CN110689531A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06Electricity, gas or water supply
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Abstract

本发明公开了一种基于yolo的输电线路机巡图像缺陷自动识别方法,包括以下步骤:s1:拍摄输电线路的机巡图像;s2:对机巡图像进行降噪处理;s3:对降噪处理后的机巡图像进行标记;s4:将标记后的机巡图像整合成样本集,建立样本数据库;s5:利用样本数据库的数据训练yolo模型;s6:利用训练好的yolo模型检测机巡图像,其检测结果生成检测报告。本发明用无人机巡检方式采集输电线路关键设备的可见光图像,用深度学习算法对缺陷进行自动提取,通过样本的训练,对输电线路关键设备的缺陷进行智能识别与定位,有效解决人工巡检危险性高、判读工作量大、失误率高的问题,有效为电力检修提供参考,确保电网安全稳定运行。

Description

一种基于yolo的输电线路机巡图像缺陷自动识别方法
技术领域
本发明属于输电线路检测领域,具体涉及一种基于yolo的输电线路机巡图像缺陷自动识别方法,可用于对电力系统输电线路机巡图像缺陷检测和定位。
背景技术
在现代社会中,电能是日常生活须臾不可离的能源。电力系统成为支撑现代社会文明的最重要物质基础之一,电力工业的发展水平已经成为反映国家经济发达程度的重要标志,人均消费电能的数量也成为了衡量人们现代生活水平的重要指标。输电线路是电力系统的重要组成部分,由于其长期暴露在自然环境中,不仅要承受正常机械载荷和电力负荷的内部压力,还要经受污秽、雷击、强风、洪水、滑坡、沉陷、地震和鸟害等外界因素的侵害,这些因素都会促使输电线路各元件老化、疲劳,如不及时发现和消除隐患则可能发展成各种故障甚至事故,对电力系统的安全和稳定构成威胁,所以电路巡检是有效保证输电线路及其设备安全的一项基础工作,通过巡视检查来掌握线路运行状况及周围环境的变化,发现设备缺陷和危及线路安全的隐患,提出具体检修意见,以便及时消除缺陷、预防事故发生,或将故障限制在最小范围,从而保证输配电线路安全和电力系统稳定,达到电力系统“安全、经济、多供、少损”的运行目标。
但由于电力线路覆盖范围极广,且穿行于崇山峻岭和广阔的森林之中,甚至部分输电线路需要跨越无人区、交通死区和通讯盲区,导致输电线路、塔架的运行维护和突发故障查找异常困难,传统的人工巡线方式已不能适应超高压、特高压电网的运行维护要求,巡检工作不仅强度大、而且危险性高,所以输电线路巡检逐步演变为“人巡”+“机巡”的巡检模式。但是直升机或无人机巡检过程中由于输电通道运行状况复杂,运维人员在现场评判设备运行状况及通道状况所能获取信息有限,往往不能实时判别输电线路是否存在缺陷,而是需要将机巡图像传到服务器上由专业检修人员进行人工判读。根据资料显示,南方某省每年开展机巡作业产生的图像和视频数据大概在40T左右,人工判读这些机巡图像不仅工作量巨大,无法对线路机巡作业标准化流程提出指导,而且可能造成巡视不到位、重要巡视项目缺失等状况,并且人工判读只能完成少量明显有缺陷的数据判读,导致大量的机巡图像只能储存在硬盘里无法应用。
因此,为了解决人工判读机巡图像量大、不到位、重要巡视项目缺失、数据分析不及时等问题,发明一种能对大量的机巡图像数据进行深度特征挖掘和利用,可以有效的发现输电线路外观、运行环境、元件异常等输电线路主要缺陷的方法尤为重要,能有效为电力检修提供参考,确保电网安全稳定运行。
发明内容
为了解决上述技术问题,本发明提供了一种基于yolo的输电线路机巡图像缺陷智能识别方法,能够根据输入的机巡图像自动识别输电线路电力设备存在的安全隐患,为电力检修提供参考,确保电网安全稳定运行。
一种基于yolo的输电线路机巡图像缺陷自动识别方法,其关键在于包括以下步骤:
s1:通过无人机对输电线路进行巡检,拍摄输电线路的机巡图像;
s2:对得到的机巡图像进行降噪处理;
s3:对降噪处理后的机巡图像进行标记;
s4:将标记后的机巡图像整合成样本集,建立样本数据库;
s5:利用样本数据库的数据训练yolo模型;
s6:利用训练好的yolo模型检测机巡图像,其检测结果生成检测报告。
该方案的效果是:通过无人机对输电线路进行巡检拍摄,能降低作业危险性;能自动识别输电线路机巡图像中电力设备缺陷,节省人力和时间,并且能处理大量机巡图像,防止机巡图像积压,有效避免缺陷处理遗漏和不及时的情况发生,有效为电力检修提供参考,确保电网安全稳定运行。
作为优选方案,步骤s1中无人机重点拍摄输电线路中主要电力设备的可见光图像。该方案的效果是:通过可见光图像能更加清晰反映电力设备的实际情形,更好地将缺陷体现。
作为优选方案,步骤s2中对机巡图像进行降噪处理采用基于Retinex理论的图像增强算法,对机巡图像进行预处理,改善图片质量,降低机巡图像中的噪声和抖动模糊影响。该方案的效果是:对机巡图像进行降噪和增强处理,能保证机巡图像的清晰度,提高后续进行缺陷判定的准确性。
作为优选方案,步骤s3中对机巡图像进行标记,其标记的主要特征有图片名称、缺陷类型、缺陷、左上顶点的横坐标、缺陷左上顶点的纵坐标、缺陷的宽和高等信息,将标记信息写成名称与图片名称一致的文本文件,将利用机巡图像的标记信息写成的文本文件集中整合处理,形成步骤s4中的样本数据库。该方案的效果是:数据库的建立能为缺陷检测提供参照样本,以分辨被测试机巡图像的缺陷类型。
作为优选方案,步骤s5中训练yolo模型是利用yolo算法建立yolov3模型,yolo算法的核心思想是采用全卷积结构,利用全图的上下文信息进行回归,其回归结果即目标框的类别和位置信息,其训练步骤如下:
步骤5.1:将输入图片分成S*S个区域,计算每个区域内可预测固定数量的目标框,以及目标框的位置信息、类别信息和置信度,置信度的计算公式可表示为:
Figure BDA0002210776900000031
若有待检测目标落在一个区域内里,则存在目标的可能性应接近1,反之则接近0;
步骤5.2:采用DarkNet-53卷积神经网络框架对整张输入图片进行特征提取和检测,计算评价的预测框和实际的目标框之间的交并比,计算出每个目标框中的位置坐标(x,y,w,h) 和置信度,以及每个网格的类别信息,并通过这些信息计算出目标框的分类置信度得分,根据实际情况设置阈值,滤掉得分低的预测目标,对保留的预测目标进行非极大值抑制处理,去除重复预测目标,得到准确的预测结果,完成yolov3模型训练。
该方案的效果是:将机巡图像分成多个区域,能更加精确的检测缺陷位置和类别,通过深度学习训练的yolov3模型更具有科学性,其精度更高。
作为优选方案,步骤s6中利用训练好的yolov3模型对机巡图像进行检测,主要识别特征有设备缺陷类型和位置,具体步骤如下:
步骤s6.1:将机巡图像尺寸统一调整到大小为416*416,并将其划分为S*S个区域,通过多个卷积层提取机巡图像的特征,如果一个电力设备缺陷的中心落在任意一个区域内,则该区域负责预测其区域内的电力设备缺陷;
步骤s6.2:通过回归调整所述电力设备缺陷的中心位置以及缺陷的大小,模型预测的输出结果为S*S*(B*5+C),即S*S个区域,每个区域输出B个不同尺寸的缺陷预测选框的位置和C个缺陷类型信息,而对于每个电力设备缺陷预测选框有4个坐标值以及1个置信度值;
步骤s6.3:采用极大值抑制以去除重复的选框,得到机巡图像中实际包含的电力设备缺陷类型及位置。
步骤s6.4:将得到的实际包含的电力设备缺陷类型及位置分析识别形成文本文件,并整理形成检测报告。
该方案的效果是:能自动识别机巡图像的缺陷,并且将图像分成多个区域更加精准,利于缺陷位置和类型确定,通过置信度进行约束,能有效保证自动识别的准确性。
作为优选方案,所述yolo模型可批量处理机巡图像,在批量处理时,处理结果统一保存成文本文件。该方案的效果是:便于将结果整理和保存,也便于人工进行核查或者复审。
有益效果:本发明利用无人机巡检方式采集输电线路关键设备的可见光图像,并利用深度学习算法对缺陷进行自动特征提取,通过大量样本的训练,对输电线路关键设备的安全隐患进行智能识别与定位,从而实现输电线路机巡图像的自动缺陷检测,有效解决人工巡检危险性高、判读工作量大、失误率高的问题,有效为电力检修提供参考,确保电网安全稳定运行。
附图说明
图1是本发明中yolo算法目标检测总体流程示意图;
图2是本发明中yolo v3算法网络结构示意图;
图3是本发明特征提取网络示意图;
图4是本发明对于缺陷目标类型和位置的预测示意图;
图5是本发明应用于导线异物检测结果示意图;
图6本发明批量处理结果存放的文本文档示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
实施例:
一种基于yolo的输电线路机巡图像缺陷自动识别方法,其关键在于包括以下步骤:
s1:通过无人机对输电线路进行巡检,拍摄输电线路的机巡图像;
s2:对得到的机巡图像进行降噪处理;
s3:对降噪处理后的机巡图像进行标记;
s4:将标记后的机巡图像整合成样本集,建立样本数据库;
s5:利用样本数据库的数据训练yolo模型;
s6:利用训练好的yolo模型检测机巡图像,其检测结果生成检测报告。
在具体实施的时候,无人机巡检过程中重点拍摄输电线路中主要电力设备的可见光图像,在无人机巡检过程中,由于光线、风向等环境因素会导致图片质量较差,存在大量噪声,因此对机巡图像进行去噪预处理显得尤为重要,本发明采用Retinex理论的图像增强算法对机巡图像进行降噪处理,提高机巡图像质量,抑制机巡图像中的噪声和减少拍摄过程中抖动导致的模糊对缺陷检测的影响,提高缺陷检测的准确性。基于改进Retinex理论的图像增强算法应用如下:
通过研究色彩HSI空间发现其更符合人眼视觉特性,利用色彩空间进行图像增强处理,可以弥补Retinex算法本身的数学缺陷。由于在RGB色彩空间中,需要对R、G、B三个分量同时进行增强,再将结果合成图像,但是选择基于HSI色彩空间的图像增强,只需要对亮度分量I通道进行增强就可以得到较为满意的增强结果,对亮度分量进行增强而不是直接对三基色进行操作,不影响色调和饱和度的关系,可以相对提高色彩保持性。缩短处理时间的同时,使增强算法具备可调控性,即可根据后续应用需要,进一步调整饱和度分量S和色调 H,取得更加满意的效果。基于以上考虑,引入色彩空间进行图像增强处理。根据理论,原始图像可看成是由照射光图像L(x,y)和表征物体本质属性反射图像R(x,y)组成,所以I分量的关系式可表示为:
Sl(x,y)=L(x,y)·R(x,y)
其中,Sl(x,y)认为是己知量,可以通过公式求出。Retinex理论对于分量同样适用,输入图像I的分量可以看成是入射光图像与反射图像I的分量的乘积,且I分量与H分量和S 分量相对独立,将多尺度Retinex算法原理应用于I分量:
Figure BDA0002210776900000061
其中,K表示尺度个数;表示尺度的相关权值,且满足
Figure BDA0002210776900000071
从RGB色彩空间变换到HSI色彩空间属于非线性变换,非线性变换对噪声环境比较敏感,这势必会影响下一步的处理结果;通过分析知道,Retinex算法本身也会使噪声放大;通过对文献的分析发现,在转换色彩空间前进行去噪处理,确实得到了很好的效果,在实践中可行。基于以上原因,改进算法引入图像去噪环节。通过权衡各去噪算法的利弊,选用3*3(平滑滤波器的邻域半径越大,边缘和细节模糊越严重)滤波窗口对邻域的像素点进行加权平均滤波,分别对R、G、B分量进行滤波处理:
Figure BDA0002210776900000072
在进行Retinex算法处理前,进行自适应全局亮度调整,压缩图像的亮度范围,即通过对图像直方图的全局调整,增加图像中较暗部分的比重。令彩色图像在点处的亮度值为RGB 三通道在该点的最大值,即:S(x,y)=max(Sr(x,y),Sg(x,y),Sb(x,y));其中,Sr(x,y)、Sg(x,y)、 Sb(x,y)分别为原图像在(x,y)处R、G、B三个通道的灰度值。对亮度进行全局调整的方法为:
Figure BDA0002210776900000073
式中,表示了全局动态范围压缩曲线的弯曲程度,是图像整体灰度在对数域的平均值,即
Figure BDA0002210776900000076
N为图像像素数,
Figure BDA0002210776900000077
的值越低,曲线弯曲程度就越大,对于较暗部分的拉伸程度也越大。当
Figure BDA0002210776900000078
时,
Figure BDA0002210776900000079
这时认为原图像亮度值己较大,不需要再对图像进行动态范围压缩。
将机巡图像质量提高后,人工对处理后的机巡图像进行标记,其标记的主要特征有图片名称、缺陷类型、缺陷、左上顶点的横坐标、缺陷左上顶点的纵坐标、缺陷的宽和高等信息,然后将标记信息写成名称与图片名称一致的文本文件,随后将这些文本文件集中整合处理,并随机选择80%的机巡图像组成记录有电力设备缺陷的训练样本数据库,进行模型学习和挖掘输电线路典型缺陷的特征,剩下的20%机巡图像构成验证集,用于模型训练过程中评估模型的准确性,验证集不参与模型的训练。
具体实施的时候,训练yolo模型是利用yolo算法建立yolo v3模型,yolo算法的核心思想是采用全卷积结构,利用全图的上下文信息进行回归,其回归结果即目标框的类别和位置信息,其具体实施训练步骤如下:
YOLO的核心思想是采用全卷积结构,利用全图的上下文信息进行回归,其回归结果即目标框的类别和位置信息。YOLO的思想是将输入图片分成S*S个区域,如果该区域内存在某个目标的中心,则该区域最终的回归结果中就包含这些目标的信息,如图1所示。
每个区域内可预测固定数量的目标框,每个目标框的预测结果中包含了自身的位置和类别数据信息以及一个置信度。这个置信度代表了对预测目标可信度的评定,包括其类别准度和位置准确度,其计算公式可表示为:
Figure BDA0002210776900000081
其中如果有待检测目标落在一个区域内里,则存在目标的可能性应接近1,反之则接近0。第二项是评价的预测框和实际的目标框之间的交并比。每个目标框的预测结果中都会有位置坐标(x,y,w,h)和置信度共5 个值,每个网格还要预测一个类别信息。整个网络结构如图2所示。
模型直接对整张输入图片进行特征提取,对大目标和小目标都能实现较好的检测效果。本发明采用DarkNet-53卷积神经网络框架来提取巡检图像的特征,该框架由52个卷积层组成,每个卷积层后都有带泄露的线性分段函数(LeakyReLu)作为激活函数以适应非线性情况,其中有5个卷积核的步长为2,对卷积结果进行采样得到多尺度的特征图。特征提取模型如图3所示。
在检测的时候,目标框的分类置信度得分可以通过将类别信息和目标框预测的置信度信息相乘而得到:
Figure BDA0002210776900000082
Pr(Classi|Object)是预测目标数据为第i类的可能性,Pr(Object)和
Figure BDA0002210776900000083
分别表示该区域内存在目标的可能性和计算得到的交并比。这三项相乘即得到了目标的分类置信度得分。得到每个目标的分类置信度得分以后,根据实际情况设置阈值,滤掉得分低的预测目标,对保留的预测目标进行非极大值抑制处理,去除重复预测目标,即可得到准确的预测结果。
yolo v3模型训练之后,采用剩下的20%机巡图像组成的验证集进行模型验证,识别验证集中的机巡图像特征的设备缺陷类型和位置,具体步骤如下:
对于任意一张机巡图像,首先将尺寸调整到统一大小416*416,并将图片划分为S*S个区域,再通过多个卷积层提取图片特征,对于每一个区域,如果一个电力设备缺陷的中心落在这个区域内,则该区域负责预测这个缺陷,随后通过回归调整该设备缺陷的中心位置以及缺陷的大小,模型预测的输出结果为S*S*(B*5+C),即S*S个区域,每个区域输出B个不同尺寸的缺陷预测选框的位置和C个缺陷类型信息,而对于每个缺陷预测选框有4个坐标值以及1个置信度值。最后,模型采用极大值抑制以去除重复的选框,最终预测得到巡检图片中实际包含的电力设备缺陷类型及位置。
具体操作时,将输入的巡检图像按照三个尺度划分检测区域,分别有13*13、26*26和 52*52个检测区域。随后将样本库中获得的9个缺陷先验尺寸按照大小分配给三个尺度的检测区域,即每个区域内有3个先验缺陷检测锚框。对于每一个尺度的检测区域,如果缺陷的中心落在一个区域内,则该区域就负责预测这个物体,如图4所示。选取输电线路巡检图片进行测试,检测结果如图5所示。最后将得到的实际包含的电力设备缺陷类型及位置分析识别形成文本文件,并整理形成检测报告。
本方案的yolo模型可批量处理机巡图像,在批量处理时,处理结果统一保存成文本文件,供后续的复查和进一步处理,其识别结果如图6所示。
特别说明的是,本实施例中根据无人机航拍资料可进行杆塔缺陷、绝缘子缺陷、导地线缺陷、大尺寸金具缺陷四种类型的输电线路典型缺陷,本文从某省电网公司获取无人机航拍图像共计5028张机巡图像用于模拟和训练yolo v3模型,图1所示的是yolo算法的检测思路,图3是本方案的特征提取网络结构示意图,特征提取网络采用在ImageNet上预训练好的参数进行初始化,随后再在机巡图像的样本库上进行特征挖掘。图5所示是本发明在输电线路巡检图像中的实际应用,训练好的模型在巡检图像上的测试结果。
为了分析本发明的有效性,本实施例在1000张测试样本集上进行了批量测试,结果如表1所示。
表3.2输电线路缺陷检测结果
Figure BDA0002210776900000101
从表1可知,本方法在四类典型缺陷上都取得了较好的效果,能够有效提高输电线路巡检的工作效率,提高巡检的自动化和智能化。
应当理解的是,本说明书未详细阐述的部分均属于现有技术,上述只是针对较佳实施例的详细描述,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种基于yolo的输电线路机巡图像缺陷自动识别方法,其特征在于,包括以下步骤:
s1:通过无人机对输电线路进行巡检,拍摄输电线路的机巡图像;
s2:对得到的机巡图像进行降噪处理;
s3:对降噪处理后的机巡图像进行标记;
s4:将标记后的机巡图像整合成样本集,建立样本数据库;
s5:利用样本数据库的数据训练yolo模型;
s6:利用训练好的yolo模型检测机巡图像,其检测结果生成检测报告。
2.根据权利要求1所述的一种基于yolo的输电线路机巡图像缺陷自动识别方法,其特征在于:步骤s1中无人机重点拍摄输电线路中主要电力设备的可见光图像。
3.根据权利要求1所述的一种基于yolo的输电线路机巡图像缺陷自动识别方法,其特征在于:步骤s2中对机巡图像进行降噪处理采用基于Retinex理论的图像增强算法,对机巡图像进行预处理,改善图片质量,降低机巡图像中的噪声和抖动模糊影响。
4.根据权利要求1所述的一种基于yolo的输电线路机巡图像缺陷自动识别方法,其特征在于:步骤s3中对机巡图像进行标记,其标记的主要特征有图片名称、缺陷类型、缺陷、左上顶点的横坐标、缺陷左上顶点的纵坐标、缺陷的宽和高等信息,将标记信息写成名称与图片名称一致的文本文件,将利用机巡图像的标记信息写成的文本文件集中整合处理,形成步骤s4中的样本数据库。
5.根据权利要求1所述的一种基于yolo的输电线路机巡图像缺陷自动识别方法,其特征在于:步骤s5中训练yolo模型是利用yolo算法建立yolo v3模型,yolo算法的核心思想是采用全卷积结构,利用全图的上下文信息进行回归,其回归结果即目标框的类别和位置信息,其训练步骤如下:
步骤5.1:将输入图片分成S*S个区域,计算每个区域内可预测固定数量的目标框,以及目标框的位置信息、类别信息和置信度,置信度的计算公式可表示为:
Figure FDA0002210776890000021
若有待检测目标落在一个区域内里,则存在目标的可能性应接近1,反之则接近0;
步骤5.2:采用DarkNet-53卷积神经网络框架对整张输入图片进行特征提取和检测,计算评价的预测框和实际的目标框之间的交并比,计算出每个目标框中的位置坐标(x,y,w,h)和置信度,以及每个网格的类别信息,并通过这些信息计算出目标框的分类置信度得分,根据实际情况设置阈值,滤掉得分低的预测目标,对保留的预测目标进行非极大值抑制处理,去除重复预测目标,得到准确的预测结果,完成yolov3模型训练。
6.根据权利要求1所述的基于yolo的输电线路机巡图像缺陷智能识别方法,其特征在于:步骤s6中利用训练好的yolov3模型对机巡图像进行检测,主要识别特征有设备缺陷类型和位置,具体步骤如下:
步骤s6.1:将机巡图像尺寸统一调整到大小为416*416,并将其划分为S*S个区域,通过多个卷积层提取机巡图像的特征,如果一个电力设备缺陷的中心落在任意一个区域内,则该区域负责预测其区域内的电力设备缺陷;
步骤s6.2:通过回归调整所述电力设备缺陷的中心位置以及缺陷的大小,模型预测的输出结果为S*S*(B*5+C),即S*S个区域,每个区域输出B个不同尺寸的缺陷预测选框的位置和C个缺陷类型信息,而对于每个电力设备缺陷预测选框有4个坐标值以及1个置信度值;
步骤s6.3:采用极大值抑制以去除重复的选框,得到机巡图像中实际包含的电力设备缺陷类型及位置;
步骤s6.4:将得到的实际包含的电力设备缺陷类型及位置分析识别形成文本文件,并整理形成检测报告。
7.根据权利要求1所述的基于yolo的输电线路机巡图像缺陷智能识别方法,其特征在于:所述yolo模型可批量处理机巡图像,在批量处理时,处理结果统一保存成文本文件。
CN201910897586.9A 2019-09-23 2019-09-23 一种基于yolo的输电线路机巡图像缺陷自动识别方法 Pending CN110689531A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910897586.9A CN110689531A (zh) 2019-09-23 2019-09-23 一种基于yolo的输电线路机巡图像缺陷自动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910897586.9A CN110689531A (zh) 2019-09-23 2019-09-23 一种基于yolo的输电线路机巡图像缺陷自动识别方法

Publications (1)

Publication Number Publication Date
CN110689531A true CN110689531A (zh) 2020-01-14

Family

ID=69109830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910897586.9A Pending CN110689531A (zh) 2019-09-23 2019-09-23 一种基于yolo的输电线路机巡图像缺陷自动识别方法

Country Status (1)

Country Link
CN (1) CN110689531A (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311967A (zh) * 2020-03-31 2020-06-19 普宙飞行器科技(深圳)有限公司 基于无人机的电力线路巡检系统及方法
CN111340787A (zh) * 2020-02-28 2020-06-26 广东电网有限责任公司 输电线路的导线缺陷检测识别方法、装置及计算机设备
CN111353413A (zh) * 2020-02-25 2020-06-30 武汉大学 一种输电设备低漏报率缺陷识别方法
CN111460995A (zh) * 2020-03-31 2020-07-28 普宙飞行器科技(深圳)有限公司 基于无人机的电力线路巡检方法及巡检系统
CN111598846A (zh) * 2020-04-26 2020-08-28 鲲鹏通讯(昆山)有限公司 一种基于yolo的隧道内铁轨缺陷检测方法
CN111881937A (zh) * 2020-06-22 2020-11-03 深圳金三立视频科技股份有限公司 输电线路金具目标检测和缺陷识别方法及终端
CN112070135A (zh) * 2020-08-28 2020-12-11 广东电网有限责任公司 电力设备图像检测方法、装置、电力设备及存储介质
CN112115767A (zh) * 2020-08-02 2020-12-22 南京理工大学 基于Retinex和YOLOv3模型的隧道异物检测方法
CN112132088A (zh) * 2020-09-29 2020-12-25 动联(山东)电子科技有限公司 一种巡检点位漏巡识别方法
CN112232133A (zh) * 2020-09-18 2021-01-15 许继集团有限公司 基于深度卷积神经网络的输电线路图像识别方法及装置
CN112229845A (zh) * 2020-10-12 2021-01-15 国网河南省电力公司濮阳供电公司 基于视觉导航技术的无人机高精度饶塔智能巡检方法
CN112257621A (zh) * 2020-10-28 2021-01-22 贵州电网有限责任公司 一种无人机巡检的设备图像识别方法
CN112288711A (zh) * 2020-10-28 2021-01-29 浙江华云清洁能源有限公司 无人机巡检影像缺陷图像识别方法、装置、设备及介质
CN112365491A (zh) * 2020-11-27 2021-02-12 上海市计算技术研究所 容器焊缝检测的方法、电子设备及存储介质
CN112528055A (zh) * 2020-11-27 2021-03-19 国家电网有限公司大数据中心 一种输配电设备图像样本库的构建方法及装置
CN112683916A (zh) * 2020-12-17 2021-04-20 华能新能源股份有限公司云南分公司 集电线路杆塔小金具缺失或安装错误的识别方法及装置
CN112767192A (zh) * 2021-01-11 2021-05-07 广州图胜电力工程有限公司 电力设备智能维护方法
CN112950837A (zh) * 2021-03-03 2021-06-11 中国工商银行股份有限公司 基于深度学习的纸币破损情况识别方法及装置
CN113052820A (zh) * 2021-03-25 2021-06-29 贵州电网有限责任公司 一种基于神经网络技术的电路设备缺陷识别方法
CN113095563A (zh) * 2021-04-07 2021-07-09 全球能源互联网研究院有限公司 一种人工智能模型预测结果的复审方法及装置
CN113160184A (zh) * 2021-04-26 2021-07-23 贵州电网有限责任公司 一种基于深度学习的无人机智能巡检电缆表面缺陷检测方法
CN113192027A (zh) * 2021-04-29 2021-07-30 华南理工大学 一种大功率led模组封装缺陷的检测方法及应用
CN113449885A (zh) * 2021-06-30 2021-09-28 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习技术混凝土电杆自动状态的评估方法
CN113450318A (zh) * 2021-06-11 2021-09-28 东华大学 基于无人机自主视觉的初级配电系统瓷绝缘子检测方法
CN113538434A (zh) * 2021-09-17 2021-10-22 广东电网有限责任公司江门供电局 一种电力设备缺陷识别方法、系统和可读存储介质
CN113657280A (zh) * 2021-08-18 2021-11-16 广东电网有限责任公司 一种输电线路目标缺陷检测示警方法及系统
CN113705364A (zh) * 2021-08-04 2021-11-26 山东和兑智能科技有限公司 基于人工智能的输电线路外部隐患预警系统及方法
CN113935995A (zh) * 2021-12-16 2022-01-14 成都数之联科技有限公司 一种图像处理方法、装置、电子设备及计算机可读存储介质
CN113971666A (zh) * 2021-10-29 2022-01-25 贵州电网有限责任公司 基于深度目标检测的输电线路机巡影像自适应识别方法
CN114359285A (zh) * 2022-03-18 2022-04-15 南方电网数字电网研究院有限公司 基于视觉上下文约束学习的电网缺陷检测方法和装置
CN114529493A (zh) * 2020-11-04 2022-05-24 中国科学院沈阳自动化研究所 基于双目视觉的电缆外观缺陷检测与定位方法
CN114724268A (zh) * 2022-03-31 2022-07-08 武汉珞珈天铭电气科技有限公司 一种输电线路巡检方法、装置、设备及存储介质
CN114724091A (zh) * 2022-06-07 2022-07-08 智洋创新科技股份有限公司 一种输电线路导线异物识别方法及装置
CN115546137A (zh) * 2022-09-29 2022-12-30 浙江新宝汽车电器有限公司 一种柔性线束的x光自动检测方法
CN117474457A (zh) * 2023-08-31 2024-01-30 应急管理部大数据中心 一种危化/工贸设备应急管理执法检查智能辅助系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389197A (zh) * 2018-02-26 2018-08-10 上海赛特斯信息科技股份有限公司 基于深度学习的输电线路缺陷检测方法
CN108961235A (zh) * 2018-06-29 2018-12-07 山东大学 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109118479A (zh) * 2018-07-26 2019-01-01 中睿能源(北京)有限公司 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN109255776A (zh) * 2018-07-23 2019-01-22 中国电力科学研究院有限公司 一种输电线路开口销缺损自动识别方法
CN109376606A (zh) * 2018-09-26 2019-02-22 福州大学 一种电力巡检图像杆塔基础故障检测方法
CN109636772A (zh) * 2018-10-25 2019-04-16 同济大学 基于深度学习的不规则形状金属加工表面的缺陷检测方法
US20190213734A1 (en) * 2018-01-09 2019-07-11 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and device for detecting a defect in a steel plate, as well as apparatus and server therefor

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190213734A1 (en) * 2018-01-09 2019-07-11 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and device for detecting a defect in a steel plate, as well as apparatus and server therefor
CN108389197A (zh) * 2018-02-26 2018-08-10 上海赛特斯信息科技股份有限公司 基于深度学习的输电线路缺陷检测方法
CN108961235A (zh) * 2018-06-29 2018-12-07 山东大学 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109255776A (zh) * 2018-07-23 2019-01-22 中国电力科学研究院有限公司 一种输电线路开口销缺损自动识别方法
CN109118479A (zh) * 2018-07-26 2019-01-01 中睿能源(北京)有限公司 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109376606A (zh) * 2018-09-26 2019-02-22 福州大学 一种电力巡检图像杆塔基础故障检测方法
CN109636772A (zh) * 2018-10-25 2019-04-16 同济大学 基于深度学习的不规则形状金属加工表面的缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴涛等: "轻量级 YOLOV3的绝缘子缺陷检测方法", 《计算机工程》 *

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353413A (zh) * 2020-02-25 2020-06-30 武汉大学 一种输电设备低漏报率缺陷识别方法
CN111353413B (zh) * 2020-02-25 2022-04-15 武汉大学 一种输电设备低漏报率缺陷识别方法
CN111340787A (zh) * 2020-02-28 2020-06-26 广东电网有限责任公司 输电线路的导线缺陷检测识别方法、装置及计算机设备
CN111340787B (zh) * 2020-02-28 2023-09-29 广东电网有限责任公司 输电线路的导线缺陷检测识别方法、装置及计算机设备
CN111460995A (zh) * 2020-03-31 2020-07-28 普宙飞行器科技(深圳)有限公司 基于无人机的电力线路巡检方法及巡检系统
CN111311967A (zh) * 2020-03-31 2020-06-19 普宙飞行器科技(深圳)有限公司 基于无人机的电力线路巡检系统及方法
CN111598846A (zh) * 2020-04-26 2020-08-28 鲲鹏通讯(昆山)有限公司 一种基于yolo的隧道内铁轨缺陷检测方法
CN111598846B (zh) * 2020-04-26 2024-01-05 鲲鹏通讯(昆山)有限公司 一种基于yolo的隧道内铁轨缺陷检测方法
CN111881937A (zh) * 2020-06-22 2020-11-03 深圳金三立视频科技股份有限公司 输电线路金具目标检测和缺陷识别方法及终端
CN112115767B (zh) * 2020-08-02 2022-09-30 南京理工大学 基于Retinex和YOLOv3模型的隧道异物检测方法
CN112115767A (zh) * 2020-08-02 2020-12-22 南京理工大学 基于Retinex和YOLOv3模型的隧道异物检测方法
CN112070135A (zh) * 2020-08-28 2020-12-11 广东电网有限责任公司 电力设备图像检测方法、装置、电力设备及存储介质
CN112232133A (zh) * 2020-09-18 2021-01-15 许继集团有限公司 基于深度卷积神经网络的输电线路图像识别方法及装置
CN112132088A (zh) * 2020-09-29 2020-12-25 动联(山东)电子科技有限公司 一种巡检点位漏巡识别方法
CN112132088B (zh) * 2020-09-29 2024-01-12 动联(山东)电子科技有限公司 一种巡检点位漏巡识别方法
CN112229845A (zh) * 2020-10-12 2021-01-15 国网河南省电力公司濮阳供电公司 基于视觉导航技术的无人机高精度饶塔智能巡检方法
CN112288711A (zh) * 2020-10-28 2021-01-29 浙江华云清洁能源有限公司 无人机巡检影像缺陷图像识别方法、装置、设备及介质
CN112257621A (zh) * 2020-10-28 2021-01-22 贵州电网有限责任公司 一种无人机巡检的设备图像识别方法
CN114529493A (zh) * 2020-11-04 2022-05-24 中国科学院沈阳自动化研究所 基于双目视觉的电缆外观缺陷检测与定位方法
CN112365491A (zh) * 2020-11-27 2021-02-12 上海市计算技术研究所 容器焊缝检测的方法、电子设备及存储介质
CN112528055A (zh) * 2020-11-27 2021-03-19 国家电网有限公司大数据中心 一种输配电设备图像样本库的构建方法及装置
CN112683916A (zh) * 2020-12-17 2021-04-20 华能新能源股份有限公司云南分公司 集电线路杆塔小金具缺失或安装错误的识别方法及装置
CN112767192A (zh) * 2021-01-11 2021-05-07 广州图胜电力工程有限公司 电力设备智能维护方法
CN112950837A (zh) * 2021-03-03 2021-06-11 中国工商银行股份有限公司 基于深度学习的纸币破损情况识别方法及装置
CN112950837B (zh) * 2021-03-03 2023-06-16 中国工商银行股份有限公司 基于深度学习的纸币破损情况识别方法及装置
CN113052820A (zh) * 2021-03-25 2021-06-29 贵州电网有限责任公司 一种基于神经网络技术的电路设备缺陷识别方法
CN113095563A (zh) * 2021-04-07 2021-07-09 全球能源互联网研究院有限公司 一种人工智能模型预测结果的复审方法及装置
CN113160184A (zh) * 2021-04-26 2021-07-23 贵州电网有限责任公司 一种基于深度学习的无人机智能巡检电缆表面缺陷检测方法
CN113160184B (zh) * 2021-04-26 2022-06-07 贵州电网有限责任公司 一种基于深度学习的无人机智能巡检电缆表面缺陷检测方法
CN113192027A (zh) * 2021-04-29 2021-07-30 华南理工大学 一种大功率led模组封装缺陷的检测方法及应用
CN113450318A (zh) * 2021-06-11 2021-09-28 东华大学 基于无人机自主视觉的初级配电系统瓷绝缘子检测方法
CN113449885A (zh) * 2021-06-30 2021-09-28 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习技术混凝土电杆自动状态的评估方法
CN113705364A (zh) * 2021-08-04 2021-11-26 山东和兑智能科技有限公司 基于人工智能的输电线路外部隐患预警系统及方法
CN113705364B (zh) * 2021-08-04 2022-03-11 山东和兑智能科技有限公司 基于人工智能的输电线路外部隐患预警系统及方法
CN113657280A (zh) * 2021-08-18 2021-11-16 广东电网有限责任公司 一种输电线路目标缺陷检测示警方法及系统
CN113538434A (zh) * 2021-09-17 2021-10-22 广东电网有限责任公司江门供电局 一种电力设备缺陷识别方法、系统和可读存储介质
CN113538434B (zh) * 2021-09-17 2022-01-25 广东电网有限责任公司江门供电局 一种电力设备缺陷识别方法、系统和可读存储介质
CN113971666A (zh) * 2021-10-29 2022-01-25 贵州电网有限责任公司 基于深度目标检测的输电线路机巡影像自适应识别方法
CN113935995A (zh) * 2021-12-16 2022-01-14 成都数之联科技有限公司 一种图像处理方法、装置、电子设备及计算机可读存储介质
CN114359285A (zh) * 2022-03-18 2022-04-15 南方电网数字电网研究院有限公司 基于视觉上下文约束学习的电网缺陷检测方法和装置
CN114359285B (zh) * 2022-03-18 2022-07-29 南方电网数字电网研究院有限公司 基于视觉上下文约束学习的电网缺陷检测方法和装置
CN114724268A (zh) * 2022-03-31 2022-07-08 武汉珞珈天铭电气科技有限公司 一种输电线路巡检方法、装置、设备及存储介质
CN114724091A (zh) * 2022-06-07 2022-07-08 智洋创新科技股份有限公司 一种输电线路导线异物识别方法及装置
CN115546137A (zh) * 2022-09-29 2022-12-30 浙江新宝汽车电器有限公司 一种柔性线束的x光自动检测方法
CN117474457A (zh) * 2023-08-31 2024-01-30 应急管理部大数据中心 一种危化/工贸设备应急管理执法检查智能辅助系统
CN117474457B (zh) * 2023-08-31 2024-03-26 应急管理部大数据中心 一种危化和工贸设备应急管理执法检查智能辅助系统

Similar Documents

Publication Publication Date Title
CN110689531A (zh) 一种基于yolo的输电线路机巡图像缺陷自动识别方法
CN112734692B (zh) 一种变电设备缺陷识别方法及装置
CN103442209B (zh) 一种输电线路的视频监控方法
CN111126136A (zh) 一种基于图像识别的烟雾浓度量化方法
CN108537154A (zh) 基于hog特征和机器学习的输电线路鸟巢识别方法
CN113409314B (zh) 高空钢结构腐蚀的无人机视觉检测与评价方法及系统
CN109190473A (zh) 一种“机器视觉理解”在电力远程监控中的应用
CN113869162A (zh) 一种基于人工智能的违章识别方法及系统
CN111091544B (zh) 铁路货车转向架侧面一体架构断裂故障检测方法
JP2016223815A (ja) 劣化診断装置及び劣化診断方法
CN115409741B (zh) 一种利用河流表面色差测量泥沙含量的机器视觉识别方法
Ni et al. An improved Faster R-CNN for defect recognition of key components of transmission line
CN113327255A (zh) 基于YOLOv3检测定位裁剪及fine-tune的输电线路巡检图像处理方法
CN115908407B (zh) 基于红外图像温度值的电力设备缺陷检测方法及装置
CN109035223A (zh) 一种用于卫星遥感图像可用度的智能评估方法
CN116805302A (zh) 一种缆索表面缺陷检测装置及方法
CN116612065A (zh) 一种基于YOLO v5的输电线路巡检图像缺陷智能识别方法
CN114067222A (zh) 一种城市水体遥感分类方法及装置
CN107977959B (zh) 一种适用于电力作业机器人的呼吸器状态识别方法
CN115855961B (zh) 一种用于运行中的配电箱故障检测方法
CN111310899A (zh) 基于共生关系和小样本学习的电力缺陷识别方法
CN115147439B (zh) 基于深度学习与注意力机制的混凝土裂缝分割方法及系统
CN110135274A (zh) 一种基于人脸识别的人流量统计方法
Wang et al. Machine vision-based conveyor belt tear detection in a harsh environment
CN112232307A (zh) 夜视环境下的安全帽佩戴检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200114