CN109712127B - 一种用于机巡视频流的输电线路故障检测方法 - Google Patents

Abstract

本申请公开了一种用于机巡视频流的输电线路故障检测方法，包括获取输电线路的机巡视频流；利用opencv算法对所述机巡视频流进行解码，获得一帧一帧图片，以帧序列的形式保存至指定位置，采用CPU对所述图片进行预处理；采用GPU对预处理后的图片进行故障检测。实现基于CPU+GPU的图片预处理和故障检测并行运算，得到所述输电线路的故障位置和类别，提高故障检测分析效率。本申请提供的用于机巡视频流的输电线路故障检测方法对输电线路机巡视频流进行有效的实时自动分析，及时发现输电线路运行状态的异常，并及时提出告警，以确保电网运行安全，提升电网智能化水平。

Description

一种用于机巡视频流的输电线路故障检测方法

技术领域

本申请涉及图像识别技术领域，尤其涉及一种用于机巡视频流的输电线路故障检测方法。

背景技术

电网安全稳定运行对国民经济发展的重要性不言而喻，随着电网互联不断深入和电力市场的逐步实施，电网的运行环境也更加复杂，对电网的稳定性和可靠性提出了更高的要求。我国幅员辽阔、气候多样、地形复杂，实现输电线路精细化巡线管理，提高输电线路运维效率，已受到了各供电单位的广泛关注。

近年来,随着数码摄像和计算机视觉技术的快速发展和广泛应用，采用直升机、无人机等搭载照相(摄像)机等手段实现高效、快速的输电线路巡检也得到迅速推广和应用。通过对大量的机巡可见光影像数据如图片、视频的深度挖掘利用，可以有效的发现输电线路外观、运行环境、元件异常等输电线路主要缺陷，为设备管理和运行维护提供参考。

但是，这类光影像数据如图片、视频的数据存量巨大、增长速度快且价值密度低，采用人工方法对这些数据进行检查和识别需要花费较多人力和时间，分析效率很低，而且检测得出的结果存在主观性、模糊性、不完全，易出现漏检和误检的问题。

发明内容

本申请提供了一种用于机巡视频流的输电线路故障检测方法，以解决现有技术中对电力设备机巡视频故障检测效率低的技术问题。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

本申请实施例公开了一种用于机巡视频流的输电线路故障检测方法，包括：获取输电线路的机巡视频流；利用opencv算法对所述机巡视频流进行解码，获得一帧一帧图片，以帧序列的形式保存至指定位置；采用CPU对所述图片进行预处理；采用GPU对预处理后的图片进行故障检测，得到所述输电线路的故障位置和类别。

可选的，所述输电线路包括：输电线、杆塔、绝缘子和金具。

可选的，所述利用opencv算法对所述机巡视频流进行解码包括：调用cvCreateFileCapture函数打开所述机巡视频流文件；建立一个CvCapture结构体，获取视频帧数；设置图片获取开始的帧数、结束的帧数和图片获取的帧率；利用while循环解码视频，在循环过程中，程序调用cvQueryFrame函数实现对所述机巡视频流一帧一帧图片的提取和保存。

可选的，所述预处理包括：灰度化、图像几何变换、图像增强。

可选的，所述预处理后的图片进行故障检测包括：将所述预处理后的图片像素设置为448*448；将所述预处理后的图片分割成7*7个网格；利用卷积神经网提取预处理后的图片的特征，预测每个待测网格的信息；根据所述待测网格的信息计算每个待测网格边框属于某一类别的准确度；利用NMS算法对待测网格边框进行处理，得到最终的输电线路设备故障位置和类别。

可选的，所述卷积神经网为改进的GoogLeNet网络结构，包括24个卷积层、2个全链接层；采用1×1缩减层紧跟3×3卷积层取代Googlenet的强化模块；所述用1×1缩减层进行降维，然后再用3×3卷积层对预处理后的图片进行特征提取，所述全链接层用于利用yolov3算法对所述待测网格的信息进行预测。

可选的，所述待测网格的信息包括：待测网格边框的(x，y，w，h)、置信度、以及待测网格所属故障类别的准确度；其中x，y为待测网格边框的中心坐标，w，h为待测网格边框的宽和高。

可选的，所述yolov3算法的损失函数模型为：

式(1)中，λ_coord代表坐标预测损失比重，λ_noobj代表置信度预测损失比重；S＝7，B＝2，C＝10；

和/> 是对待测网格进行坐标预测，αijobj用来判断第i个网格中的第j个边框是否负责对这个待测网格的检测，如果是则为1，不是则为0；

(x_i，y_i，w_i，h_i)是指待测网格边框的中心坐标以及宽、高，是指原始标记框的中心坐标以及宽、高；

为对含待测目标的待测网格的置信度预测，c_i和/>分别表示对待测网格边框和原始标记框的置信度的预测；

为不含待测目标的待测网格的置信度的预测，用来判断第i个网格中的第j个边框是否负责对这个待测目标的检测，如果是则为0，不是则为1；

为对待测网格边框进行故障类别预测，/>表示是否有待测目标的中心落在网格i中，如果是则为1，不是则为0。

可选的，所述计算每个待测网格边框属于某一类别的准确度的公式为：

式(2)中，Pr(class|object)为对待测网格边框预测的故障类别信息， 为对待测网格边框预测的置信度信息，/>表示预测的待测网格属于某一类别的准确度。

可选的，所述预处理后的图片进行故障检测还包括：设置所述待测网格边框属于某一类别的准确度的阈值，将计算得分低于所述阈值的待测网格边框删除。

与现有技术相比，本申请的有益效果为：

本申请提供了一种用于机巡视频流的输电线路故障检测方法，包括获取输电线路的机巡视频流；利用opencv算法对所述机巡视频流进行解码，获得一帧一帧图片，以帧序列的形式保存至指定位置，并对图片编号帧图片1、帧图片2……帧图片n；采用CPU对所述图片进行预处理；采用GPU对预处理后的图片进行故障检测。具体过程为在对帧图片2利用CPU进行预处理的同时，对帧图片1利用GPU进行故障检测；在该步骤完成之后，利用一个循环语句将预处理过的帧图片2送到帧图片1的帧序列位置，将帧图片3送到帧图片2的帧序列位置，进行图片预处理和故障检测，最终实现基于CPU+GPU的图片预处理和故障检测并行运算，得到所述输电线路的故障位置和类别，提高故障检测分析效率。本申请提供的用于机巡视频流的输电线路故障检测方法对输电线路机巡视频流进行有效的实时自动分析，及时发现输电线路运行状态的异常，并及时提出告警，以确保电网运行安全，提升电网智能化水平。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种用于机巡视频流的输电线路故障检测方法的流程示意图；

图2为本申请实施例提供的一种利用opencv算法对所述机巡视频流进行解码的流程示意图；

图3为本申请实施例提供的一种预处理后的图片进行故障检测的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

参见图1，如图1所示为本申请实施例提供的一种用于机巡视频流的输电线路故障检测方法的流程示意图，本申请实施例提供了一种用于机巡视频流的输电线路故障检测方法，包括：

获取输电线路的机巡视频流，所述输电线路包括输电线、杆塔、绝缘子、金具等各类电气设备，拍摄的机巡视频要尽可能清晰、含有多个不同的拍摄角度，使得后续对机巡视频流的故障检测详细、准确。

利用opencv算法对所述机巡视频流进行解码，获得一帧一帧图片，以帧序列的形式保存至指定位置。

参见图2，如图2所示本申请实施例提供的一种利用opencv算法对所述机巡视频流进行解码的流程示意图，所述利用opencv算法对所述机巡视频流进行解码包括：

调用cvCreateFileCapture函数打开机巡视频流文件；建立一个CvCapture结构体，获取视频帧数；设置图片获取开始的帧数、结束的帧数和图片获取的帧率；利用while循环解码视频，在循环过程中，程序调用cvQueryFrame函数实现对所述机巡视频流一帧一帧图片的提取和保存，并对图片编号帧图片1、帧图片2……帧图片n，关闭视频流文件。

CvCapture是一个结构体，用来保存图像捕获的信息，就像一种数据类型(如int，char等)，只是存放的内容不一样。从视频文件中获取的需要保存视频文件的文件名，相应的解码器类型等信息都被保存在CvCapture结构中，每获取一帧后信息都将被更新。CvCapture作为函数cvQueryFrame的参数，最大的作用就是处理视频时，让程序读下一帧的位置。

cvCreateFileCapture函数是opencv算法中的一个函数，通过视频流的位置参数设置获得要读入的AVI(Audio Video Interleaved)文件，解析AVI文件并将所述AVI文件保存在CvCapture结构体中，返回一个指向CvCapture结构体的指针。这个结构体包括了所有关于要读入AVI文件的信息。调用这个函数之后，返回指针所指向的CvCapture结构体初始化到对应的AVI文件的开头。

cvQueryFrame是opencv的一个函数，该函数以CvCapture结构体为参数，这个函数与函数cvGrabFrame和函数cvRetrieveFrame一起调用，实现从视频文件中抓取一帧，然后解压并且返回这一帧图片。

采用CPU对所述图片进行预处理；采用GPU对预处理后的图片进行故障检测，得到所述输电线路的故障位置和类别。

本申请实施例中利用CPU进行图像预处理，利用GPU进行基于yolov3的故障检测，二者并行运算。步骤2中opencv将一帧一帧图片按帧序列的形式保存，并对图片编号帧图片1、帧图片2……帧图片n。在帧图片2利用CPU进行预处理的同时，对帧图片1利用GPU进行故障检测；在该步骤完成之后，利用一个循环语句将预处理过的帧图片2送到帧图片1的帧序列位置，将帧图片3送到帧图片2的帧序列位置，进行图片预处理和故障检测，以此类推，最终实现基于CPU+GPU的图片预处理和故障检测并行运算，提高故障检测效率。

以上实施例中，所述预处理包括：灰度化、几何变换、图像增强。图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性、最大限度地简化数据，从而改进特征提取、图像分割、匹配和识别的可靠性。本申请实施例中从灰度化、图像几何变换、图像增强这三个方面进行图像预处理。

对彩色图像进行处理时，需要对三个通道依次进行处理，时间消耗将会很大。为了提高整个故障检测系统的处理速度，需要减少所需处理的数据量。因此本申请采用的灰度化方法为：分量法、最大值法、平均值法、加权平均法。

图像几何变换又称为图像空间变换，通过平移、转置、镜像、旋转、缩放等几何变换对采集的图像进行处理，用于修正图像采集系统的系统误差和仪器位置(成像角度、透视关系乃至镜头自身原因)的随机误差。此外，还需要使用灰度插值算法，将按照变换关系进行计算后输出图像的像素映射到输入图像的整数坐标上。通常采用的方法有最近邻插值、双线性插值和双三次插值。

图像增强用于增强图像中的有用信息，它可以是一个失真的过程，其目的是要改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。图像增强算法采用空间域法和频率域法。

参见图3，如图3所示为本申请实施例提供的一种预处理后的图片进行故障检测的流程示意图。所述预处理后的图片进行故障检测包括：将所述预处理后的图片像素设置为448*448；将所述预处理后的图片分成7*7个网格；利用卷积神经网提取预处理后的图片的特征，预测每个待测网格的边框信息；根据所述待测网格的边框信息计算每个网格属于某一类别故障的准确度；利用NMS算法对待测网格边框进行处理，得到最终的输电线路设备故障位置和类别。

所述卷积神经网为改进的GoogLeNet网络结构，包括24个卷积层、2个全链接层；采用1×1缩减层紧跟3×3卷积层取代Googlenet的强化模块；所述用1×1缩减层进行降维，然后再用3×3卷积层对预处理后的图片进行特征提取，能够降低计算量，从而提高故障检测速度。所述全链接层用于利用yolov3算法对所述待测网格的信息进行预测。

其中，所述待测网格的信息包括：待测网格边框的(x，y，w，h)、置信度、以及待测网格所属故障类别的准确度；其中x，y为待测网格边框的中心坐标，w，h为待测网格边框的宽和高。

本申请实施例中，对损失函数进行了如下改进：重视坐标预测，给这些损失前面赋予更大的比重,记为λ_coord,在实际训练中取5。对不含目标的待测边框的置信度预测损失，赋予小的比重，记为λ_noobj，在实际训练中取0.5。对含有目标的待测边框的置信度损失和分类损失的比重在实际训练中取1。

改进后的yolov3算法的损失函数模型为：

式(1)中，λ_coord代表坐标预测损失比重，λ_noobj代表置信度预测损失比重；S＝7，B＝2，C＝10；

和/>hi-hi2是对待测网格进行坐标预测，αijobj用来判断第i个网格中的第j个边框是否负责对这个待测网格的检测，如果是则为1，不是则为0；

(x_i，y_i，w_i，h_i)是指待测网格边框的中心坐标以及宽、高，是指原始标记框的中心坐标以及宽、高；

为对含待测目标的待测网格的置信度预测，c_i和/>分别表示对待测网格边框和原始标记框的置信度的预测；

为不含待测目标的待测网格的准确度的预测，用来判断第i个网格中的第j个边框是否负责对这个待测目标的检测，如果是则为0，不是则为1；

为对待测网格边框进行故障类别预测，/>表示是否有待测目标的中心落在网格i中，如果是则为1，不是则为0。

在进行yolov3算法模型训练过程中，以改进后的损失函数作为yolov3算法模型的目标函数，模型训练以目标函数最小化为方向。利用梯度下降方法对模型进行迭代训练，不断调整超级参数的值使损失函数最小化，获得输电线路机巡视频流故障检测的最优模型。

如果某个待检测目标的中心落在待测网格中，则这个待测网格就负责预测这个待测目标。每个网格要预测B个边框，每个边框除了要回归自身的位置之外，还要附带预测一个置信度，这个置信度代表了所预测的待测网格边框中含有待测目标的置信度和这个待测网格边框预测的准确度两重信息，其值是这样计算的：

式(3)中，如果有待测目标落在待测网格里，Pr(object)取1，否则取0；是预测的待测网格边框和实际目标的原边标记框之间的交并比(Intersection-over-Union，IOU)值。其中IOU的计算公式如下：

交并比是故障检测中常用的一个概念，是产生的待测网格边框与原始标记框的交叠率，即它们的交集与并集的比值。rea(C)∩area(D)表示区域C与区域D的交集，area(C)∪area(D)表示区域C与区域D的并集。故障检测最理想情况是待测网格边框与原始标记框完全重叠，即比值为1。

每个待测网格边框要预测(x,y,w,h)和置信度共5个值，其中x，y为待测网格边框的中心位置坐标，w，h为待测网格边框的宽和高，每个网格还要预测一个类别信息，记为C类。则SxS个网格，每个待测网格要预测B个待测网格边框还要预测C个类别。输出就是S*S*(5*B+C)的一个张量。需要注意的是类别是针对每个待测网格的，置信度是针对每个待测网格边框的。

本申请实施例中采用的图像输入像素为448x448，取S＝7，B＝2，一共有10个类别(C＝10)。则输出就是7x7x20的一个张量。

在测试的时候，每个待测网格预测的类别信息和待测网格边框预测的置信度信息相乘，就得到每个待测网格边框属于某一类别的准确度：

式(2)中，Pr(class|object)为对待测网格边框预测的类别信息，为对待测网格边框预测的置信度信息，/>表示为计算的待测网格边框属于某一类别的准确度。

设置所述待测网格边框属于某一类别的准确度的阈值，将计算得分低于所述阈值的待测网格边框删除。本申请实施例中，设置阈值为0.1，滤掉得分低于阈值的待测网格边框，将保留的待测网格边框利用NMS算法进行处理，得到最终的输电线路设备故障位置和类别。

本申请提供了一种用于机巡视频流的输电线路故障检测方法，包括获取输电线路的机巡视频流；利用opencv算法对所述机巡视频流进行解码，获得一帧一帧图片，以帧序列的形式保存至指定位置，并对图片编号帧图片1、帧图片2……帧图片n；采用CPU对所述图片进行预处理；采用GPU对预处理后的图片进行故障检测；具体为在对帧图片2利用CPU进行预处理的同时，对帧图片1利用GPU进行故障检测；在该步骤完成之后，利用一个循环语句将预处理过的帧图片2送到帧图片1的帧序列位置，将帧图片3送到帧图片2的帧序列位置，进行图片预处理和故障检测，最终实现基于CPU+GPU的图片预处理和故障检测并行运算，得到所述输电线路的故障位置和类别，提高故障检测分析效率。本申请提供的用于机巡视频流的输电线路故障检测方法对输电线路机巡视频流进行有效的实时自动分析，及时发现输电线路运行状态的异常，并及时提出告警，以确保电网运行安全，提升电网智能化水平。

需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种电路结构、物品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个……”限定的要素，并不排除在包括所述要素的电路结构、物品或者设备中还存在另外的相同要素。

本领域技术人员在考虑说明书及实践这里发明的公开后，将容易想到本申请的其他实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求的内容指出。

以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (5)

1.一种用于机巡视频流的输电线路故障检测方法，其特征在于，包括：

获取输电线路的机巡视频流；

利用opencv算法对所述机巡视频流进行解码，获得一帧一帧图片，以帧序列的形式保存至指定位置；

采用CPU对所述图片进行预处理，所述预处理包括：灰度化、图像几何变换、图像增强；

采用GPU对预处理后的图片进行故障检测，得到所述输电线路的故障位置和类别；

所述预处理后的图片进行故障检测包括：

将所述预处理后的图片像素设置为448*448；

将所述预处理后的图片分割成7*7个网格；

利用卷积神经网提取预处理后的图片的特征，预测每个待测网格的信息；所述卷积神经网为改进的GoogLeNet网络结构，包括24个卷积层、2个全链接层；采用1×1缩减层紧跟3×3卷积层取代Googlenet的强化模块；所述用1×1缩减层进行降维，然后再用3×3卷积层对预处理后的图片进行特征提取，所述全链接层用于利用yolov3算法对所述待测网格的信息进行预测；所述待测网格的信息包括：待测网格边框的(x，y，w，h)、置信度、以及待测网格所属故障类别的准确度；其中x，y为待测网格边框的中心坐标，w，h为待测网格边框的宽和高；

根据所述待测网格的信息计算每个网格边框属于某一类别故障的准确度；所述计算每个待测网格边框属于某一类别的准确度的公式为：

式(2)中，Pr(class|object)为对待测网格边框预测的类别信息，为对待测网格边框预测的置信度信息，/>表示计算的待测网格边框属于某一类别的准确度；

利用NMS算法对待测网格边框进行处理，得到最终的输电线路设备故障位置和类别；

其中，所述采用CPU对当前图片进行预处理的同时，采用GPU对预处理后的前一帧图片进行故障检测。

2.根据权利要求1所述的用于机巡视频流的输电线路故障检测方法，其特征在于，所述输电线路包括：输电线、杆塔、绝缘子和金具。

3.根据权利要求1所述的用于机巡视频流的输电线路故障检测方法，其特征在于，所述利用opencv算法对所述机巡视频流进行解码包括：

调用cvCreateFileCapture函数打开所述机巡视频流文件；

建立一个CvCapture结构体，获取视频帧数；

设置图片获取开始的帧数、结束的帧数和图片获取的帧率；

利用while循环解码视频，在循环过程中，程序调用cvQueryFrame函数实现对所述机巡视频流一帧一帧图片的提取和保存；

关闭所述机巡视频流文件。

4.根据权利要求1所述的用于机巡视频流的输电线路故障检测方法，其特征在于，所述yolov3算法的损失函数模型为：

式(1)中，λ_coord代表坐标预测损失比重，λ_noobj代表置信度预测损失比重；S＝7，B＝2，C＝10；

和/> 是对待测网格进行坐标预测，/>用来判断第i个网格中的第j个边框是否负责对这个待测网格的检测，如果是则为1，不是则为0；

(x_i，y_i，w_i，h_i)是指待测网格边框的中心坐标以及宽、高，是指原始标记框的中心坐标以及宽、高；

为对含待测目标的待测网格的置信度预测，c_i和/>分别表示对待测网格边框和原始标记框的置信度的预测；

为不含待测目标的待测网格的准确度的预测，/>用来判断第i个网格中的第j个边框是否负责对这个待测目标的检测，如果是则为0，不是则为1；

为对待测网格边框进行故障类别预测，/>表示是否有待测目标的中心落在网格i中，如果是则为1，不是则为0。

5.根据权利要求4所述的用于机巡视频流的输电线路故障检测方法，其特征在于，所述预处理后的图片进行故障检测还包括：设置所述待测网格边框属于某一类别的准确度的阈值，将计算得分低于所述阈值的待测网格边框删除。