CN111179249A - 一种基于深度卷积神经网络的电力设备检测方法和装置 - Google Patents

Abstract

本发明公开一种基于深度卷积神经网络的电力设备检测方法和装置，包括步骤：将待检测的电力设备视频图像输入训练好的SSD目标检测网络模型，获得当前图像中的电力设备位置信息以及准确率；所述SSD目标检测网络模型基于通过筛选电力巡检视频图像建立的电力图像数据库和SSD神经网络训练得到；建立一个电力场景的数据库，对收集图像进行筛选、标注、划分、大小归一化和数据增广等预处理操作，建立高质量且相互独立的训练数据集和测试数据集；再构建深度卷积神经网络结构，并利用训练数据集进行离线训练；然后在测试数据集上测试检测网络模型的性能，如未达标则继续训练至其性能达到要求为止。本发明检测性能高和运行效率高。

Description

一种基于深度卷积神经网络的电力设备检测方法和装置

技术领域

本发明提出了一种基于深度卷积神经网络的电力设备检测方法和装置，涉及电力场景目标检测技术领域。

背景技术

随着电力建设工作的不断推进，我国的电网规模持续扩大，在推进我国经济建设进程的同时也给输电线路的运行和维护工作带来了巨大的压力。另一方面，随着无人机、机器人技术的逐渐成熟，基于无人机或机器人的远程摄录系统已经被成功应用于电力巡检工作中。但是，由于缺乏配套的智能处理技术，巡检所获视频图像仍需要人工分析，该种方法不仅效率低下，而且准确率低，极易造成漏检、误检，已经无法应对日益严峻的运维压力。因此，电力行业迫切需要一种高效的目标检测方法，用于对巡检所获视频图像进行智能识别。

传统上，基于机器学习算法的目标技术一般采用基于滑动窗口的框架，即首先利用不同尺寸的滑动窗选取目标图像的某些区域作为候选，再选取候选区域的特定视觉特征，如HOG(方向梯度直方图)、SIFT(尺度不变特征变换)等，最后再利用SVM等分类器对候选区域进行分类，并输出置信度较高的区域为检测结果。但是，由于HOG等低级特征并不能很好地表征图像，该类方法通常无法满足实际应用的需求。随着深度学习理论的逐渐成熟，基于深度卷积神经网络的因其强大的图像表征能力在图片分类、目标检测和分割任务中均取得了不俗表现，具体到目标检测领域，目前较为成熟的有基于区域提名(Region Proposal)的Faster-RCNN(Faster RegionConvolutional Neural Networks)、R-FCN(Region-basedFully ConvolutionalNetworks)和无需区域提名的YOLO(You Only Live Once)、SSD(Single Shot MultiBox Detector)，其中，综合考虑到检测性能和运行效率，本发明采用能够进行端到端(end to end)训练的SSD(Single Shot MultiBox Detector)网络作为目标检测模型的核心。

SSD网络首先基于一个深度卷积神经网络得到若干个固定大小的目标边界框，再计算框中区域属于特定类别的置信度，最后通过非极大值抑制得到最终的检测结果，因此，网络主要由两部分组成，即前端用于图像特征提取的卷积层和后端用于检测任务的多尺度特征映射层。由于SSD采用了单层深度神经网络的架构，并且集成了不同尺度特征谱的信息，因此在检测性能和运行效率两方面均达到了业界领先水平。

发明内容

为解决现有技术中的不足，本发明提供一种基于深度卷积神经网络的电力设备检测方法和装置，解决了现有目标检测方法检测性能低和运行效率慢的问题。

为了实现上述目标，本发明采用如下技术方案：一种基于深度卷积神经网络的电力设备检测方法，包括步骤：

将待检测的电力设备视频图像输入训练好的SSD目标检测网络模型，获得当前图像中的电力设备位置信息以及准确率；

所述SSD目标检测网络模型基于通过筛选电力巡检视频图像建立的电力图像数据库和SSD神经网络训练得到。

进一步的，筛选电力巡检视频图像，建立电力图像数据库，过程为：

采集电力巡检视频图像时保持图像清晰、突出电力设备；

电力设备包括杆塔、导线、绝缘子、防震锤、间隔棒；一张电力巡检视频图像至少包括一种电力设备；

对图像进行标注，标注信息包括：目标框，类别标签。

进一步的，SSD目标检测网络模型训练前准备训练数据集与测试数据集；训练数据集和测试数据集随机划分，二者所含图像相互独立且数量的比例为17：3。

进一步的，对训练数据集进行预处理，预处理包括：数据增广、尺寸归一化。

进一步的，尺寸归一化为将图像统一归一化为300×300像素；数据增广包括生成原始图像经顺时针旋转90°、180°和270°后的副本。

进一步的，所述SSD目标检测网络模型基于通过筛选电力巡检视频图像建立的电力图像数据库和SSD神经网络训练得到，过程包括：

取在ImageNet超大规模通用图像数据库上训练完成的VGG分类网络的对应参数为初始化SSD网络参数；

通过预处理后的训练数据集训练SSD目标检测网络模型；

通过基于随机梯度下降的误差反向传播算法根据网络输出与训练图像的标注信息间的差值进行自动更新；

通过测试数据集测试SSD目标检测网络的性能，如未达到检测性能要求，则继续在训练数据集上训练网络至达到要求为止。

进一步的，SSD目标检测网络在标准VGG网络的基础上新增了8个卷积层，并选取其中的6个卷积层进行多尺度特征融合。

进一步的，检测性能以mAP值为指标衡量，取0.6为合格标准。

一种基于深度卷积神经网络的电力设备检测装置，包括：

模型构建模块，用于训练好的SSD目标检测网络模型；

检测模块，用于将待检测的电力设备视频图像输入训练好的SSD目标检测网络模型，获得当前图像中的电力设备位置信息以及准确率；

所述SSD目标检测网络模型基于通过筛选电力巡检视频图像建立的电力图像数据库和SSD神经网络训练得到。

进一步的，所述SSD目标检测网络模型基于通过筛选电力巡检视频图像建立的电力图像数据库和SSD神经网络训练得到，过程包括：

取在ImageNet超大规模通用图像数据库上训练完成的VGG分类网络的对应参数为初始化SSD网络参数；

通过预处理后的训练数据集训练SSD目标检测网络模型；

通过基于随机梯度下降的误差反向传播算法根据网络输出与训练图像的标注信息间的差值进行自动更新；

通过测试数据集测试SSD目标检测网络的性能，如未达到检测性能要求，则继续在训练数据集上训练网络至达到要求为止。

本发明所达到的有益效果：

1.本发明应用深度学习理论，利用目前业界性能较好的深度卷积神经网络，对电力巡检视频图像中的典型电力设备进行检测与识别，可以有效解决其他目标检测方法检测性能低和运行效率慢等问题；

2.本发明采用数据增强的方法来扩建高质量电力图像数据库，并训练神经网络，使得网络能够有针对性地学习到典型电力设备的视觉特征，很好地避免了在原有数据集上训练所得模型在电力场景下泛化性能不足的问题；

3.本发明不仅具有很高的正确识别率，并且计算复杂度相对不高，具有较高的运行效率且对计算机硬件要求较低，因此可以被快速、大量地部署于电力行业，可以有效提高电力巡检工作的智能化水平。

附图说明

图1是本发明具体实施方式中一种电力设备检测方法流程图；

图2是本发明所用深度卷积神经网络结构示意图；

图3是本发明对图像中的电力设备检测结果示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

考虑到基于深度学习理论的图像处理模型与训练数据集密切相关，而目前业界尚无公开的高质量电力图像数据库，本发明首先通过筛选、标注无人机及机器人的巡检资料建立了一个包含5000张高质量图片的适用于电力场景下智能检测任务的专用数据库，并且为了防止在训练过程中出现过拟合现象而导致模型的泛化性能下降，本发明通过迁移学习技术，将一个已在ImageNet数据集上预训练的VGG(Visual Geometry Group视觉几何组)网络的参数作为SSD卷积层的初始参数，再根据所建立的专用数据库进行微调。

实施例1：

一种基于深度卷积神经网络的电力设备检测方法，包括步骤：

将待检测的电力设备视频图像输入训练好的SSD目标检测网络模型，获得当前图像中的电力设备位置信息以及准确率；

所述SSD目标检测网络模型基于通过筛选电力巡检视频图像建立的电力图像数据库和SSD神经网络训练得到。

进一步的，筛选电力巡检视频图像，建立电力图像数据库，过程为：

采集电力巡检视频图像时保持图像清晰、突出电力设备；

电力设备包括杆塔、导线、绝缘子、防震锤、间隔棒；一张电力巡检视频图像至少包括一种电力设备；

对图像进行标注，标注信息包括：目标框，类别标签。

进一步的，SSD目标检测网络模型训练前准备训练数据集与测试数据集；训练数据集和测试数据集随机划分，二者所含图像相互独立且数量的比例为17：3。

进一步的，对训练数据集进行预处理，预处理包括：数据增广、尺寸归一化。

进一步的，尺寸归一化为将图像统一归一化为300×300像素；数据增广包括生成原始图像经顺时针旋转90°、180°和270°后的副本。

进一步的，所述SSD目标检测网络模型基于通过筛选电力巡检视频图像建立的电力图像数据库和SSD神经网络训练得到，过程包括：

取在ImageNet超大规模通用图像数据库上训练完成的VGG分类网络的对应参数为初始化SSD网络参数；

通过预处理后的训练数据集训练SSD目标检测网络模型；

通过基于随机梯度下降的误差反向传播算法根据网络输出与训练图像的标注信息间的差值进行自动更新；

通过测试数据集测试SSD目标检测网络的性能，如未达到检测性能要求，则继续在训练数据集上训练网络至达到要求为止。

进一步的，SSD目标检测网络在标准VGG网络的基础上新增了8个卷积层，并选取其中的6个卷积层进行多尺度特征融合。

进一步的，检测性能以mAP值(mean Average Precision,平均准确率的均值)为指标衡量，取0.6为合格标准。

实施例2：

一种基于深度卷积神经网络的电力设备检测装置，包括：

模型构建模块，用于训练好的SSD目标检测网络模型；

检测模块，用于将待检测的电力设备视频图像输入训练好的SSD目标检测网络模型，获得当前图像中的电力设备位置信息以及准确率；

所述SSD目标检测网络模型基于通过筛选电力巡检视频图像建立的电力图像数据库和SSD神经网络训练得到。

进一步的，所述SSD目标检测网络模型基于通过筛选电力巡检视频图像建立的电力图像数据库和SSD神经网络训练得到，过程包括：

取在ImageNet超大规模通用图像数据库上训练完成的VGG分类网络的对应参数为初始化SSD网络参数；

通过预处理后的训练数据集训练SSD目标检测网络模型；

通过基于随机梯度下降的误差反向传播算法根据网络输出与训练图像的标注信息间的差值进行自动更新；

通过测试数据集测试SSD目标检测网络的性能，如未达到检测性能要求，则继续在训练数据集上训练网络至达到要求为止。

实施例3：

如图1所示，一种基于深度卷积神经网络的电力设备检测方法，包括以下步骤：

步骤1，筛选电力巡检视频图像，建立高质量电力图像数据库；

电力巡检视频图像是通过无人机或巡检机器人采集的包含需检测电力设备的巡检视频图像。

采集电力巡检视频图像时应当按照相关作业规范，在适宜的光照、天气下选取恰当的角度进行采集，采集时应以保持图像清晰、突出电力设备为原则。特别地，电力设备应该包括杆塔、导线、绝缘子、防震锤、间隔棒等五种典型类别，一张图片可以包含多种电力设备，但一般不应超过五类，且每类图片的数量至少为500张。

筛选电力巡检视频图像的标准为：图像清晰且至少包括一类需要进行检测的电力设备，电力设备在图像中应该较明显且无遮挡、变形；筛选时应去除图像模糊、电力设备不突出的原始图片；

电力图像数据库中除了包含符合要求的电力巡检视频图像，还应包含对应图像的标注信息，标注信息以“目标框+类别标签”的形式给出，如[X，Y，W，H，L]表示相应图像中，点(X，Y)、(X+W，Y)、(X+W，Y+H)和(X，Y+H)确定的矩形区域属于类别L，X,Y,Z分别表示目标框的起始点坐标，W,H分别表示目标框的长度和宽度。标注时应忽略在图像中所占比例过小的电力设备，且应保证矩形目标框紧贴设备边缘；

步骤2，将电力图像数据库随机划分成相互独立的训练数据集与测试数据集；

训练数据集和测试数据集的划分应当随机进行，并应保证二者所含图像相互独立且数量的比例为17：3；

步骤3，通过对训练数据集进行预处理，预处理包括数据增广，以减低过拟合的风险；还包括尺寸归一化、图像翻转、随机裁剪等；

在图像预处理操作中，尺寸归一化操作是为了适配卷积神经网络的输入要求，为了减小计算复杂度、提高网络鲁棒性，可将图像统一归一化为300×300像素；数据增广主要包括生成原始经顺时针旋转90°、180°和270°后的副本。

步骤4，应用深度学习方法，通过预处理后的训练数据集训练SSD目标检测网络模型，使其针对性地学习到对光照、旋转等因素具有鲁棒性的电力设备视觉特征；

训练SSD目标检测网络模型，过程为：

1)取已经在ImageNet超大规模通用图像数据库上训练完成的高性能VGG分类网络参数初始化SSD网络参数；

2)设定SSD网络的学习率大小、更新方式、迭代次数和图像批大小等参数；

3)通过预处理后的训练数据集训练SSD目标检测网络模型；

4)在训练过程中，观察训练的Loss(损失)值是否呈现下降趋势，如果不是，则重新调整SSD网络的学习率大小、更新方式、迭代次数和图像批大小等参数。

在SSD网络模型训练过程中，通过基于随机梯度下降的误差反向传播算法根据网络输出与训练图像的标注信息间的差值进行自动更新。

在SSD目标检测网络模型训练的过程中，网络结构、卷积核大小等参照SSD网络设定，学习率大小及其更新方式、迭代次数、图像批大小、优化方法等超参数通过多次实验以网络在测试集上的检测精度为标准择优选取。

如图2所示，在SSD目标检测网络结构中，SSD目标检测网络在标准VGG网络的基础上新增了8个卷积层(即Fully Convolutional Reduced VGGNet)，并选取其中的6个卷积层进行多尺度特征融合。网络中有3个concat层，用作连接所有的loc、conf和priorbox层，其输出则连同图像的标注信息一起送入MultiBoxLoss损失层作为网络的优化目标，并通过反向传播梯度值更新网络参数。

步骤5，通过测试数据集测试SSD目标检测网络的性能，如未达到检测性能要求，则继续在训练数据集上训练网络至达到要求为止；

检测性能以mAP值为指标衡量，取0.6为合格标准。为了防止过拟合，在训练过程中每迭代4000次，即在测试集上对网络性能进行一次测试并保存相应的网络参数状态，并在训练迭代次数达到预先设定的最大值或虽然训练损失继续下降但测试性能不再提升时停止训练过程，最后取测试性能最佳的中间状态作为最终结果，得到训练好的SSD目标检测网络模型。

步骤6，将待检测的电力设备视频图像输入训练好的SSD目标检测网络模型，获得当前图像中的电力设备位置信息以及准确率。

将训练好的SSD目标检测网络模型嵌入到图形用户界面中，形成具有实用价值的电力设备检测方案。图形用户界面具有对新摄录的巡检图像进行电力设备检测并输出检测结果的功能，如图3所示，用边界框指出检测结果，并附有目标类别和相应的置信度；考虑到需要进一步扩充训练数据集以继续训练检测网络的可能，界面集成了对新图像的标注和重设超参数继续网络训练的功能。

综上，本发明针对电力场景下巡检视频图像的智能识别问题，建立一个高质量的电力图片数据库，并在此基础上以SSD网络为核心，训练得到一个可以识别输入图片中典型电力装置的目标检测模型。在测试集上的实验结果表明，本发明对典型电力装置有较高的识别率，能够被应用于电力巡检视频分析领域，具有很强的可行性与实用性。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于深度卷积神经网络的电力设备检测方法，其特征在于，包括步骤：

将待检测的电力设备视频图像输入训练好的SSD目标检测网络模型，获得当前图像中的电力设备位置信息以及准确率；

所述SSD目标检测网络模型基于通过筛选电力巡检视频图像建立的电力图像数据库和SSD神经网络训练得到。

2.根据权利要求1中所述的一种基于深度卷积神经网络的电力设备检测方法，其特征在于，筛选电力巡检视频图像，建立电力图像数据库，过程为：

采集电力巡检视频图像时保持图像清晰、突出电力设备；

电力设备包括杆塔、导线、绝缘子、防震锤、间隔棒；一张电力巡检视频图像至少包括一种电力设备；

对图像进行标注，标注信息包括：目标框，类别标签。

3.根据权利要求1中所述的一种基于深度卷积神经网络的电力设备检测方法，其特征在于，SSD目标检测网络模型训练前准备训练数据集与测试数据集；训练数据集和测试数据集随机划分，二者所含图像相互独立且数量的比例为17：3。

4.根据权利要求3中所述的一种基于深度卷积神经网络的电力设备检测方法，其特征在于，对训练数据集进行预处理，预处理包括：数据增广、尺寸归一化。

5.根据权利要求4中所述的一种基于深度卷积神经网络的电力设备检测方法，其特征在于，尺寸归一化为将图像统一归一化为300×300像素；数据增广包括生成原始图像经顺时针旋转90°、180°和270°后的副本。

6.根据权利要求1中所述的一种基于深度卷积神经网络的电力设备检测方法，其特征在于，所述SSD目标检测网络模型基于通过筛选电力巡检视频图像建立的电力图像数据库和SSD神经网络训练得到，过程包括：

取在ImageNet超大规模通用图像数据库上训练完成的VGG分类网络的对应参数为初始化SSD网络参数；

通过预处理后的训练数据集训练SSD目标检测网络模型；

通过基于随机梯度下降的误差反向传播算法根据网络输出与训练图像的标注信息间的差值进行自动更新；

通过测试数据集测试SSD目标检测网络模型的性能，如未达到检测性能要求，则继续在训练数据集上训练网络模型至达到要求为止。

7.根据权利要求1中所述的一种基于深度卷积神经网络的电力设备检测方法，其特征在于，SSD目标检测网络在标准VGG网络的基础上新增了8个卷积层，并选取其中的6个卷积层进行多尺度特征融合。

8.根据权利要求6中所述的一种基于深度卷积神经网络的电力设备检测方法，其特征在于，检测性能以mAP为指标衡量，取0.6为合格标准。

9.一种基于深度卷积神经网络的电力设备检测装置，其特征在于，包括：

模型构建模块，用于训练好的SSD目标检测网络模型；

检测模块，用于将待检测的电力设备视频图像输入训练好的SSD目标检测网络模型，获得当前图像中的电力设备位置信息以及准确率；

所述SSD目标检测网络模型基于通过筛选电力巡检视频图像建立的电力图像数据库和SSD神经网络训练得到。

10.根据权利要求9中所述的一种基于深度卷积神经网络的电力设备检测装置，其特征在于，所述SSD目标检测网络模型基于通过筛选电力巡检视频图像建立的电力图像数据库和SSD神经网络训练得到，过程包括：

取在ImageNet超大规模通用图像数据库上训练完成的VGG分类网络的对应参数为初始化SSD网络参数；

通过预处理后的训练数据集训练SSD目标检测网络模型；

通过基于随机梯度下降的误差反向传播算法根据网络输出与训练图像的标注信息间的差值进行自动更新；

通过测试数据集测试SSD目标检测网络的性能，如未达到检测性能要求，则继续在训练数据集上训练网络至达到要求为止。

Images