CN110751630A

CN110751630A - 基于深度学习的输电线路异物检测方法、装置及介质

Info

Publication number: CN110751630A
Application number: CN201910941080.3A
Authority: CN
Inventors: 王力民; 郭国信; 陈雷; 王成; 李忠平; 蔡锐; 刘伟; 崔利
Original assignee: Shandong Senter Electronic Co Ltd
Current assignee: Shandong Senter Electronic Co Ltd
Priority date: 2019-09-30
Filing date: 2019-09-30
Publication date: 2020-02-04
Anticipated expiration: 2039-09-30
Also published as: CN110751630B

Abstract

本发明涉及一种基于深度学习的输电线路异物检测方法、装置及介质，包括：获取待检图片，以所述待检图像的梯度分布特征的图像为基准，进行投影，从而定位出所述输电线区域；将所述输电线区域作为感兴趣区域，将所述感兴趣区域输入自编码器，生成所述图片的对照图片；比较所述感兴趣区域与所述对照图片的残差值，判定所述残差值超出阈值的图片，为异常图片。本发明提高了输电线路异物检测的检测精度和环境适应性。

Description

基于深度学习的输电线路异物检测方法、装置及介质

技术领域

本发明属于深度学习图像处理技术领域，具体涉及一种基于无监督深度学习的输电设备异物检测方法、装置及存储介质。

背景技术

输电线路是电网的重要组成部分，受人为及自然条件的影响，输电线路中经常会出现各种安全隐患，近年来，各地因为施放风筝、气球、防尘网、反光膜等线上异物危及电网安全的事件时有发生。若输电线路存在的安全隐患不能得到及时排查，不仅会危及电网安全运行，而且会影响用户的生产与生活。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

本发明实施例的第一方面提供了一种基于无监督深度学习的输电线路异物检测方法，包括：

获取待检图片，以所述待检图像的梯度分布特征的图像为基准，进行投影，从而定位出所述输电线区域；

将所述输电线区域作为感兴趣区域，将所述感兴趣区域输入自编码器，生成所述图片的对照图片；

比较所述感兴趣区域与所述对照图片的残差值，判定所述残差值超出阈值的图片，为异常图片。

在一个示例中，所述获取待检图片具体为通过航拍获取待检图片，或，输电杆塔的固定监拍装置获取的待检图片；

在所述通过航拍获取待检图片之后，所述方法包括：根据所述航拍的视角参数，确定对所述待检测图片的投影方式；

所述投影方式包括：水平投影和垂直投影；所述航拍视角参数包括以下任意一项或多项：航拍位置、方向、角度。

在一个示例中，其中，在确定所述待检测图片采用的投影方式为水平投影的情况下，定位所述待检图片的天际线位置；

根据所述天际线位置确定所述待检图片的天空区域，在所述天空区域内通过基于表决原理的参数估计技术，进行图片参数转换，以获取所述输电线区域。

在一个示例中，在所述定位出所述输电线区域之后，所述方法还包括：

在所述待检图片中提取输电线区域，再做归一化处理。

在一个示例中，所述自编码器的训练方法包括：

使用正常图像的感兴趣区域进行深度卷积对抗网络的训练，获取第一参数；

使用正常图像的感兴趣区域、基于所述第一参数进行自编码器的训练；

其中，所述正常图像为无异物的输电线图像；

所述第一参数包括：生成网络、对抗网络。

在一个示例中，

在所述自编码器中，以所述生成网络作为所述自编码器中的解码器，用于完成自编码器中的潜在空间表示的数据重构，生成对照图片；所述潜在空间表示由所述自编码器中的编码器降采样获得；

以所述对抗网络作为固定参数应用于所述自编码器的损失函数中。

本发明实施例的第三方面提供了一种基于无监督深度学习的输电设备异物检测装置，包括：

图像获取模块，用于接收待检图片和/或正常图片。

图像处理模块，以所述待检图像的梯度分布特征的图像为基准，进行投影，从而定位出所述输电线区域；

自编码器训练模块，用于将所述感兴趣区域转化为所述图片的对照图片；

中央处理模块，用于调取训练完成的自编码器训练模块，将所述待检图片输入自编码器训练模块生成对照图片，比较所述待检图的感兴趣区域片与所述对照图片的残差值，判定所述残差值超出阈值的为异常图片。

在一个示例中，所述图像处理模块根据航拍的视角参数，确定对所述待检图片的投影方式；所述投影方式包括：水平投影和垂直投影；所述航拍视角参数包括以下任意一项或多项：航拍位置、方向、角度。

在一个示例中，还包括：深度卷积对抗网络训练模块，用于使用无异物的导线图像进行训练，获取第一参数；其中，

所述自编码器训练模块，用于使用无异物的导线图像、基于所述第一参数进行训练；

所述第一参数包括：所述第一参数包括：生成网络、对抗网络。

本发明实施例的第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。

本发明的有益效果在于：

提高了输电线路异物检测的检测精度和环境适应性；能够适应场景变化，如天气变化、光照变化、自然环境、复杂场景等外在因素的影响，具有很强的鲁棒性，对于各种背景复杂的输电线路应用场景，能够有效检测输电线上是否有反光膜、遮阳网、风筝、塑料漂浮物等异物悬挂，为输电线路异物识别提供了新的手段。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中基于深度学习的输电设备异物检测方法流程示意图；

图2为本发明实施例中自编码器框架示意图；

图3为本发明实施例中基于深度学习的输电设备异物检测装置结构示意图。

具体实施方式

为了更清楚的阐释本申请的整体构思，下面结合说明书附图以示例的方式进行详细说明。

线路线上异物检测分析识别方式主要是针对无人机航拍的视频图像进行分析。利用航拍图像特点，图像中相邻帧的背景信息相似程度较高，提供的图像信息丰富，可以充分利用多帧数据进行判断。现有的基于航拍图片分析的输电线路异物检测方法主要分为两种：一类着重于分析直线段的梯度方向分布特性，主要通过检测输电线路区域内的交叉直线段来判断存在异物。另一类着重分析异物相对于整个图像的颜色空间分布特性，主要通过沿直线方向检测时颜色空间的突变来判断是否存在异物。

当前输电线路监控图像的分析技术主要采用基于背景差异分析的方法和基于卷积神经网络的目标识别方法。

基于背景差异分析的方法主要对前后两张图像差异化计算，分析出电力线周围的变化区域。但是输电线路经过的地理环境复杂，场景变化很大，而且输电线路是暴露在自然环境中，随着线路抖动、天气变化、光照变化等，图像变化差异比较明显。而针对输电线路通道的监控图像定时(固定间隔一段时间)进行拍摄的应用场景，此方法主要存在如下缺陷：场景自适应能力差。航拍图像依据视频中背景信息复杂但是变化缓慢的特点，而针对当前应用场景，图像变化差异大，场景复杂多变，拍摄图像往往受到光照、天气、场景多变等因素影响，图像不连续，场景变化尤其明显，而且还有输电线路电力线分布、拍摄视角等因素，对于线上有固线夹，电力线间有固定拉线、绝缘子线悬垂、电力线纵横交错、电力线与物体重叠等场景，采用Otsu法(最大类间方差法)来进行图像分割，在很多上述场景下，图像分割效果不佳，进而导致电力线定位不准，容易受到地面场景的影响，适应能力差。通过交叉直线段或突变的检测方式容易误判、漏判。输电线所处的小块区域进行卷积操作，结合实际误差来对输电线路异物进行识别的方式，对于线上有固线夹，电力线间有固定拉线、绝缘子线悬垂、电力线纵横交错、电力线与物体重叠等场景不能很好的判断，容易产生误判。而且对于图像中较小异物占所选区域的比例非常小的情况，容易漏检。

卷积神经网络是一种多层的监督学习神经网络，隐含层、卷积层和池采样层是实现卷积神经网络特征提取功能的核心模块。该网络模型通过采用梯度下降法最小化损失函数对网络中的权重参数逐层反向调节，通过频繁的迭代训练提高网络的精度。卷积神经网络的低隐层是由卷积层和最大池采样层交替组成，高层是全连接层对应传统多层感知器的隐含层和逻辑回归分类器。其基本思想是通过构建多层网络，对目标进行多层表示，以期通过多层的高层次特征来表示数据的抽象语义信息，获得更好的特征鲁棒性。实践证明，利用卷积神经网络可以对输电线路线下的特定隐患目标，如吊车、泵车等施工解析具有良好的识别准确率，识别精度达90％以上。

训练一个深度学习的目标检测网络需要大量的正负样本集合而且目标类型固定的标注信息，而输电线路电线异物实际样本非常稀缺，线上异物类型未定如风筝、防震锤、反光膜、鸟类等等类型千差万别；他们外挂轮廓特征更是形态各异，无法进行有效的信息标注，因而也就无法使用目标检测来进行输电线路导线异物的识别。因此，本申请实施例中使用无监督深度学习神经网络进行反向判定，以解决输电线路上异物轮廓千变万化，难以检测的问题。

根据本发明实施例的第一方面，图1为本发明实施例中基于无监督深度学习的输电设备异物检测方法流程示意图，如图1所示，包括：

S1获取待检图片，以所述待检图像的梯度分布特征的图像为基准，进行投影，从而定位出所述输电线区域；

在本发明实施例中，待检图片通过无人机或其他设备进行航拍，航拍时以某一特定的航拍视角参数进行输电线路的拍摄，所述航拍视角参数可以包括：航拍位置、方向和角度中的一项或多项。

进一步的，在本发明的实施例中，根据所述航拍的视角参数，确定对所述待检测图片的投影方式；所述投影方式包括：水平投影和垂直投影。

具体而言，通过航拍视角参数的选择，获取的图像中包含的物体也就会不同。例如，当无人机位于所述输电线路的底部，摄像头的视角为向天空方向拍摄，此时图片中不会拍摄到地面的复杂状况，只含天空区域，此种情况下，采用形态学梯度算子对上述图片的灰度图像进行处理，得到其梯度分布特征的图像；以其梯度分布特征的图像为基准，进行投影，投影方式为垂直投影，通过投影值，定位输电线区域；或者直接对其进行基于表决原理的参数估计技术进行图片参数转换，以获取输电线区域。

在本发明的另一个实施例中，采用的待检图片为输电杆塔的固定监拍装置获取的待检图片，此时的图片会出现包含较多的地面信息，使得在进行图片处理时背景噪声较大的问题，在本发明实施例的一个示例中，通过水平投影的方式进行处理，具体如下：

采用形态学梯度算子对上述图片的灰度图像进行处理，得到其梯度分布图像；

以当前的梯度边缘图像为基准，水平投影，动态定位天际线位置，从而依据天际线的位置确定图片中的天空区域；

在天空区域内，利用hough变换，找到导线区域即为感兴趣区域(ROI，region ofinterest)；

提取感兴趣区域进行归一化处理。

可以理解的是，上述提供的图像处理方法可以根据航拍获取的图片进行灵活选取和组合，本发明实施例中并不会对图像的具体处理方法做出特别的限制，只要能够准确定位输电线区域即可。

S2将所述输电线区域作为感兴趣区域，将所述感兴趣区域输入自编码器，生成所述图片的对照图片；

自编码器(autoencoder)是一种无监督的深度学习神经网络，旨在将它们的输入复制到的输出，即通过不断训练使输入和输出的差异最小，从而使输出图片和输入图片越来越相似。具体而言，自编码器通过将输入压缩成一种潜在空间表示(latent-spacerepresentation)，然后这种重构这种潜在空间表示的输出。这种网络由两部分组成：编码器，将输入压缩为潜在空间表示；解码器，用于重构潜在空间表示，生成图片。卷积自编码器是采用卷积层代替全连接层，对输入的象征进行降采样以提供较小维度潜在表示，并强制自编码器学习象征的压缩版本。本发明的一些实施例中，采用了上述的卷积自编码器。

S3比较所述感兴趣区域与所述对照图片的残差值，判定所述残差值超出阈值的图片，为异常图片。

在具体的检测过程中，由于训练过程中只有正常样本参与，模型只对正样本可以做到较好的编码解码，所以送入负样本在编解码下会出现编码得到的潜在变量差异大从而使得残差值很大，判断为异常图片。

特别的，在本发明的一些实施例中，自编码器的训练方法包括：

收集训练数据，通过无人机或其他设备航拍获取大量的正常图像，所述正常图像为无异物的输电线图像，特别的，如果条件允许，训练时通过航拍获取的正常图像的航拍视角参数与检测时航拍获取的航拍视角参数尽可能一致。然后通过上述实施例中所述的图像处理方法进行处理，获取正常图像的输电线区域，将输电线区域作为感兴趣区域进行深度卷积对抗网络的训练，步骤包括：在潜在空间内随机采样作为输入，通过生成网络得到其数据集；从训练样本中获取真实样本；使用对抗网络的交叉熵函数计算对抗网络的损失函数；通过对抗网络的损失函数计算得到生成网络的损失函数；使用对抗网络，生成网络的损失函数进行参数调整，迭代训练直至达到平衡状态。从而获取第一参数；所述第一参数包括：生成网络、对抗网络以及正常导线检测区域的潜在特征表示。

深度卷积对抗网络训练结束后，使用正常图像的感兴趣区域、基于所述第一参数进行自编码器的训练；

图2为本发明实施例中自编码器框架示意图。参照图2所示，使用上述实施例中的生成网络作为自编码器中的解码部分，并且保持其参数不变，或者进行适当调整。引入上述实施例中生成的对抗网络，保持其参数不变，或者进行适当调整。输入训练样本对自编码器进行训练，直至损失函数达到可以接收的目标值。其损失函数L如下：

其中，x为输入图像的像素灰度值之和；

E(x)为输入图像在潜在空间的编码；

G(E(x))生成图像的像素灰度值之和；

n为像素的数量；

f(x)为对抗网络D的中间层特征用以输入的统计；

K为权重因子；

n_d为中间层特征表示的维度值。

根据发明的另一方面，本发明提供了一种基于无监督深度学习的输电设备异物检测装置，图3为本发明实施例中基于深度学习的输电设备异物检测装置结构示意图，如图所示，包括：

图像获取模块101，用于接收待检图片和/或正常图片。

图像处理模块102，以所述待检图像的梯度分布特征的图像为基准，进行投影，从而定位出所述输电线区域；具体而言，所述图像处理模块根据航拍的视角参数，确定对所述待检图片的投影方式；所述投影方式包括：水平投影和垂直投影；所述航拍视角参数包括以下任意一项或多项：航拍位置、方向、角度。

深度卷积对抗网络训练模块103，用于使用无异物的导线图像进行训练，获取第一参数；所述第一参数包括：所述第一参数包括：生成网络、对抗网络。

自编码器训练模块104，用于使用无异物的导线图像、基于所述第一参数进行训练；以及用于将所述感兴趣区域转化为对照图片；

中央处理模块105，用于调取训练完成的自编码器训练模块，将所述待检图片输入自编码器训练模块生成对照图片，比较所述待检图的感兴趣区域片与所述对照图片的残差值，判定所述残差值超出阈值的为异常图片。

根据本发明的再一方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理执行时实现上述实施例中的输电线路异物检测方法。

在以上示例中，通过以形态学梯度特征为基准，动态定位分割天际线，通过投影分割的方式得到初步的感兴趣区域，进而增强输电线的线特征，抑制背景噪声的方式，有效去除地面场景的干扰因素，实现电力线的定位提取，获得检测感兴趣区域。通过训练正常图片训练获得对抗网络及自编码网络。检测阶段，将检测图片的感兴趣区域输入自编码网络，比较检测原图与生成图片的残差值，超出设置的阈值即判定为异常图片该方法能够适应场景变化，如天气变化、光照变化、自然环境、复杂场景等外在因素的影响，具有很强的鲁棒性，对于各种背景复杂的输电线路应用场景，能够有效检测输电线上是否有反光膜、遮阳网、风筝、塑料漂浮物等异物悬挂，为输电线路异物识别提供了新的手段。基于此方法，针对电力线上有固线夹，电力线间有固定拉线、绝缘子线悬垂、电力线纵横交错、电力线与物体重叠等场景进行有效的判别，而且对于较小异物，该方法显著降低了异物故障的漏检率，降低了因为电力线与经过的场景重叠造成的误报率。

本发明实施例本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请中。

Claims

1.一种基于无监督深度学习的输电线路异物检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取待检图片为通过航拍获取待检图片，或，输电杆塔的固定监拍装置获取的待检图片；

3.根据权利要求2所述的方法，其特征在于，其中，在确定所述待检测图片采用的投影方式为水平投影的情况下，定位所述待检图片的天际线位置；

4.根据权利要求1所述的方法，其特征在于，在所述定位出所述输电线区域之后，所述方法还包括：

在所述待检图片中提取输电线区域，再做归一化处理。

5.根据权利要求1所述的方法，其特征在于，所述自编码器的训练方法包括：使用正常图像的感兴趣区域进行深度卷积对抗网络的训练，获取第一参数；

其中，所述正常图像为无异物的输电线图像；

所述第一参数包括：生成网络、对抗网络。

6.根据权利要求5所述的方法，其特征在于，

7.一种基于无监督深度学习的输电设备异物检测装置，其特征在于，包括：

图像获取模块，用于接收待检图片和/或正常图片。

8.根据权利要求7所述的装置，其特征在于，所述图像处理模块根据航拍的视角参数，确定对所述待检图片的投影方式；所述投影方式包括：水平投影和垂直投影；所述航拍视角参数包括以下任意一项或多项：航拍位置、方向、角度。

9.根据权利要求7所述的装置，其特征在于，还包括：深度卷积对抗网络训练模块，用于使用无异物的导线图像进行训练，获取第一参数；其中，

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任意所述的方法。