CN111402224A - 一种用于电力设备的目标识别方法 - Google Patents

Abstract

本发明属于图像识别的技术领域，公开了一种基于机器学习的电力设备目标识别方法，包括建立包含多张电力设备图像的数据集，并对每张电力设备图像包含的电力设备进行标注，以此为输入，对神经网络和贝叶斯网络进行训练学习；利用训练好的神经网络对待识别的电力设备图像进行识别，输出多个识别结果；利用训练好的贝叶斯网络对神经网络的识别结果进行筛选，筛选出对应待识别的电力设备图像最准确的识别结果。整个过程的结构简单，计算快捷，准确率高。

Description

一种用于电力设备的目标识别方法

技术领域

本发明涉及图像识别的技术领域，尤其涉及一种用于电力设备的目标识别方法。

背景技术

高压设备的巡检是保证设备可靠供电的有效手段，随着我国国企定编定岗政策的实施和电网的发展，设备巡检工作的问题日益突出，只要表现在：人少事多，巡检制度难以贯彻落实，巡检质量低，检机器人可用性亟待提高。

掌握输变电设备运行状态与运行环境状况，及时发现电网设备运行的隐患是变电设备运维管理的关键问题。由于设备数量多、运行环境复杂、状态监测技术的局限性，如何及时、准确的掌握设备运行状态仍然亟待解决，目前常用的检测手段主要问题表现在：

(1)现有的在线监测系统认可度不高、使用价值低。传统的巡检和带电检测方法因其固定的检测试验周期，不能对设备运行的全过程进行监控，设备隐患不一定能及时发现。

(2)目前应用的变电站机器人巡检主要采集现场图像和红外热像数据，但是机器人巡检无法24小时的全方位实时监控，在时间上和空间上均无法做到全覆盖，而且目前主要停留在现场数据采集和简单的阈值判断阶段，缺乏只能分析技术对检测数据进行自动、准确地处理和诊断。

在电力设备目标辨识领域，国内外学者已经进行了一定的研究，并取得了一定的成就。

在国外，有学者使用红外和可见光图像实现电线的检测目标，首先从红外和visible lights sensors(光感器)获取视频流图像，然后使用image processing判断电线是否出现故障，并通过合成图像流将其实时显示。除了输电线路，绝缘子方向也有学者做过尝试，他们提出了一种基于视频的在线检测方法，该方法利用模板，直方图和边缘等信息，考虑了亮度不同时的情形，用于对绝缘子倾斜程度和覆雪的检测。

在国内，六年前就有人指出图像识别技术的发展为实现智能电网提供了技术上的保障，可以解决电力设备在线监测面临的巨大计算量的问题，对改善电力系统具有十分重要的意义。有些文献在对相机采集得到的变电站图片预处理之后，提取电力设备目标形状的不变矩并将其作为特征向量，利用支持向量机识别出电力设备的类型，再通过设备运行图片与数据库中的图片进行对比，判断是否出现故障，该方法在利用支持向量机进行训练的时候每次只能训练两个类别的分类，但是电力设备的种类较多，因此该方法需要多次使用支持向量机，由于总的运行时间是所有SVM的training time的总和，这样的话效率较低。也有另辟蹊径，对电力设备标牌进行了定位与识别，从而读出电力设备的种类和参数，该方法存在一定的局限性，一方面，照片清晰度可能达不到要求，另一方面，这个工作没有使用图像识别方法的必要。又比如为了减少图像识别算法的运行时间，使用了模板匹配算法，取电力设备的某一个部件作为模板，对整张图片遍历匹配，如对变压器的识别，只需在图中找到绝缘子即可，大大提高了运算效率，不过这种方法使用的前提条件是拍摄相机的角度是已知且固定的，这样等价于已知拍摄物体的形状和大小。

发明内容

本发明提供了一种用于电力设备的目标识别方法，解决了现有方法需要预先知道电力设备图片或视频的拍摄角度，否则无法达到预期的效果、计算效率低等问题。

本发明可通过以下技术方案实现：

一种用于电力设备的目标识别方法，包括以下步骤：

步骤一、建立包含多张电力设备图像的数据集，并对每张电力设备图像包含的电力设备进行标注，以此为输入，对神经网络进行训练学习；

步骤二、利用训练好的神经网络对待识别的电力设备图像进行识别，输出多个识别结果；

步骤三、利用聚类分析方法对神经网络的识别结果进行筛选，筛选出对应待识别的电力设备图像最准确的识别结果。

进一步，以待识别的电力设备图像中的各个设备为对象，设置阈值，对神经网络对应的识别结果进行筛选，利用聚类分析方法对筛选出的识别结果进行再次筛选，筛选出对应设备最准确的识别结果，从而完成对待识别的电力设备图像的识别。

进一步，以每张电力设备图像中各个设备的标注信息构建对应的标准点，进而构建包含所有类型设备的聚类空间，以各个筛选出的识别结果构建对应的检测点，计算检测点到聚类空间中对应类型设备的距离，取距离最小对应的识别结果作为对应设备最准确的识别结果。

进一步，利用标签工具对每张电力设备图像包含的各个设备进行标注，其标注信息包括电力设备的轮廓、类型和图像质量信息，以json格式文件进行存储，所述轮廓信息设置为每个设备外沿取较多的点连接成的多边形，以其多边形的形心及面积分别作为标准点的X坐标、Y坐标和Z坐标，构建包含所有类型设备的聚类空间。

进一步，所述识别结果包括矩形框参数rois、类别参数class_ids、得分参数scores和masks参数，所述阈值设置为得分阈值，仅将得分参数大于得分阈值的识别结果筛选出来，所述矩形框参数rois设置为包括对应设备的矩形框，所述masks参数设置为对应设备包含的所有像素点信息

根据矩形框参数rois，计算对应识别结果的设备的形心，以此作为对应检测点的X坐标和Y坐标，根据masks参数，计算对应识别结果的设备的面积，以此作为对应检测点的Z坐标，

针对筛选出的各个识别结果，分别计算对应检测点到聚类空间中对应类型设备的各个标准点距离，取其平均值，以最小平均值对应的识别结果作为对应设备最准确的识别结果。

进一步，所述标准点的X坐标和Y坐标设置为多边形所有顶点横坐标的平均值和纵坐标的平均值，Z坐标设置为采用向量叉积方法计算获得多边形的面积；所述检测点的X坐标和Y坐标设置为包含对应设备的矩形框的四个顶点的横坐标的平均值和纵坐标的平均值，Z坐标设置为对应设备包含的所有像素点的面积。

本发明有益的技术效果在于：

本发明通过建立包含多张电力设备图像的数据集，并对其内包含的电力设备进行标注，以此为输入，对神经网络进行训练，再利用聚类分析方法对神经网络的多个识别结果进行筛选，筛选出对应待识别的电力设备图像最准确的识别结果。该方法成功将Mask R-CNN输出结果的mAP值从0.699提升到了0.819，提升了12％，效果显著。

附图说明

图1为本发明的总体流程示意图；

图2为本发明中利用标签工具完成对图像进行标注的示例示意图；

图3为本发明中利用向量积计算多边形面积的四种情况示意图；

图4为本发明中利用贝叶斯网络对神经网络的识别结果进行筛选的三个示例示意图，标志a表示示例一，①②表示利用神经网络进行处理后的识别结果，②表示聚类分析筛选出的识别结果，标识b表示示例二，③④表示利用神经网络进行处理后的识别结果，④表示聚类分析筛选出的识别结果，表示示例一，标识C表示示例三，⑤⑥表示利用神经网络进行处理后的识别结果，⑥表示聚类分析筛选出的识别结果。

具体实施方式

下面结合附图及较佳实施例详细说明本发明的具体实施方式。

一方面，虽然电力设备目标辨识领域已有一定的成果，但是局限性较大，对此，我们考虑使用R-CNN区域卷积神经网络，将图片的拍摄角度也作为参数进行学习。另一方面，尽管R-CNN发展十分迅速，然而在电力设备领域的应用存在较大的问题，针对这个问题，本发明将Mask R-CNN和聚类分析相结合，提出了一种用于电力设备的目标识别方法，主要是建立包含多张电力设备图像的数据集，并对其内包含的电力设备进行标注，以此为基础，对神经网络进行训练，再利用聚类分析方法对神经网络的多个识别结果进行筛选，筛选出对应待识别的电力设备图像最准确的识别结果。在此期间，首先，以数据集中所有电力设备图像的标注信息为基础，以各个类型设备的轮廓参数构建对应的标准点，进而构建聚类空间，然后，以待识别的电力设备图像中的各个设备为对象，设置阈值，对神经网络对应的识别结果进行筛选，再以筛选出的识别结果中矩形框参数、masks参数构建对应的检测点，取两点之间距离最小对应的设备类型，作为对应待识别的电力设备图像最准确的识别结果。如图1所示，具体包括以下步骤：

步骤一、建立包含多张电力设备图像的数据集，并对每张电力设备图像包含的电力设备进行标注，以此为输入，对神经网络进行训练学习。

关于神经网络：

Mask-RCNN作为R-CNN最新的网络，吸取了所有前辈的优点，并在他们的基础上进行了进一步地改进。Mask R-CNN使用了RoI Align代替了RoI pooling，具体来说就是去掉了原先的取整操作，保留计算得到的浮点数，并使用双线性插值来完成对像素的操作。由此，实现了像素级的精确对齐，在实例分割领域领跑。

由于电力设备领域缺乏可用于机器学习的开源数据集，因此，本发明在应用MaskR-CNN之前，利用VIA VGG Image Annotator标签工具建立了包含330张电力设备图片的数据集。每张图片的标注如图2所示，由变电站巡检机器人拍摄所得，标注信息包括设备的轮廓、类型和图片质量。

图片标注完后会生成一个json格式的文件，这个文件包含了所有的标注信息，标注信息中设备的轮廓信息是用多边形来表示的，即在每个设备外沿取较多的点连接成多边形来近似设备的外形。如果是属于同一个设备的不同部分，标注的时候会将这两部分分别标注，但是它们的设备类型是相同的。

根据数据集的信息，该设备的类型设置为tower，线路line，绝缘子insulator，鸟巢nest，pole。

每个深度卷积神经网络都是在一定范围内灵活可变的，而这些变化就是网络参数的不同引起的。经过调试，我们最终选择的网络参数如下：

学习率learning rate＝0.02

迭代次数epochs＝30

将所有样本划分为多少份steps per epoch＝100

RoI置信度阈值detection min condidence＝0.9

每个GPU处理图片数images per GPU＝2

由于我们使用了标签工具VIA，在标注过程难免会出现越界的标注点，而且属于同一设备因遮挡被分开的两个部分我们也是分开标注的，因此，我们还需要进行数据预处理。

数据预处理分为三部分，一部分是解决标注点的越界问题，我们将超出图片四个边界的点全部拉回到边界，很好地解决了这个问题；第二部分是将属于同一设备但分开标注的部分合并，我们将标注名字相同的设备合并成完整的设备，再生成mask；另一部分是将数据集随机划分为两个部分，分别是训练集和测试集，训练集用于训练Mask R-CNN网络，测试集用于验证网络实际效果。

关于聚类分析：

聚类分析是多元统计分析中研究“物以类聚”的一种方法，用于对事物的类别尚不清楚，甚至在事前连总共有几类都不能确定的情况下进行分类的场合，其主要目的是研究事物的分类，而不同于判别分析，在判别分析中必须事先知道各种判别的类型和数目，并且要有一批来自各和判别类型的样本，才能建立判别函数来对未知属性的样本进行判别和归类。若对一批样品的分类和类型的数目事先并不知道，此时对数据的分类就需要借助聚类分析方法来解决。

聚类分析把分类对象按一定规则分成组或类，这些组或类不是事先给定的而是根据数据特征而定的。在一个给定的类里的这些对象在某种意义上倾向于彼此相似，而在不同类里的这些对象倾向于不相似。

具体过程：以每张电力设备图像中各个设备的标注信息构建对应的标准点，进而构建包含所有类型设备的聚类空间，其标准点的X坐标、Y坐标和Z坐标分别设置为轮廓信息即多边形的形心及面积，具体如下：

根据上文的阐述，我们可以得知数据集的格式为json。json文件包含了所有图片的标注信息。由于我们招募了若干志愿者标注，因此最终我们得到的是若干json文件，我们需要将这些文件进行合并；此外，VIA标注工具也会将未被标注的图片信息导出到json文件中，因此，我们还需要删除未被标注的图片信息。接着，我们就可以将合并后的json文件读入，并完成对聚类空间的构建。

首先是面积的计算。每个标注设备的轮廓都是一个多边形，我们需要通多多边形顶点坐标来求出多边形的面积。这里我使用了向量积的方法，即先通过向量积求出每个三角形的面积，再求和得到最终的面积。向量积的含义：

使用向量积时需要用到三个点的坐标，除了每次选取多边形的两个顶点外，我们还需要另外一个参考点，为了计算方便，我选择使用原点作为参考点，考虑凹多边形和凸多边形，计算时需要考虑如图3所示四种情况：

在第一幅图中，原点在多边形的内部，这样计算向量叉积的时候，四个叉积的方向都是顺时针，面积为四个三角形绝对值的和；在第二幅图中，原点在多边形的外部，在计算向量叉积的时候，△OAB的方向与其余三个的方向相反，因此整个三角形的面积等于其余三个三角形的面积之和减去△OAB的面积；其余两幅与一二两幅同理。由此，我们可以看出，不管参考点的位置在多边形内还是多边形外，我们都可以用向量叉积的办法来得到多边形的面积。

其次，是对于形心的获取。由于我们已知多边形的各个顶点的坐标，因此形心的坐标就等于所有顶点坐标的平均值，其对应的横坐标即为设备形心的横坐标，也就是标准点的X坐标，纵坐标即为设备形心的纵坐标，也就是标准点的Y坐标。

步骤二、利用训练好的神经网络对待识别的电力设备图像进行识别，输出多个识别结果。该识别结果包括矩形框参数rois、类别参数class_ids、得分参数scores和masks参数。

我们不在神经网络内部对其输出结果做筛选，而是保留神经网络直接输出的所有识别结果，然后，根据待识别的电力设备图像中各个电力设备的实际识别结果，若一个电力设备被识别多个类型，且对应识别结果中的得分参数scores都比较高，则通过设置得分阈值，仅将得分参数大于得分阈值的识别结果筛选出来，用于后续聚类分析的再次筛选。

步骤三、利用聚类分析方法对神经网络的识别结果进行筛选，筛选出对应待识别的电力设备图像最准确的识别结果。主要是以筛选出的各个识别结果构建对应的检测点，计算检测点到聚类空间中对应类型设备的距离，取距离最小对应的识别结果作为对应设备最准确的识别结果。

具体过程：针对筛选出的各个识别结果，分别计算对应检测点到聚类空间中对应类型设备各个标准点的距离，取其平均值，以最小平均值对应的识别结果作为对应设备最准确的识别结果。

根据矩形框参数rois，计算对应识别结果的设备的形心，以此作为对应检测点的X坐标和Y坐标，根据masks参数，计算对应识别结果的设备的面积，以此作为对应检测点的Z坐标，具体如下：

首先是面积，识别结果中的masks信息是一个三维布尔矩阵，规格为(1024,1024,instance_numbers)，最后一个参数表示Mask R-CNN识别出来的实例的个数，也就是mask的数量，因此，对于每一个实例的mask可以表示为masks[:,:,i]，规格为二维的布尔矩阵，计算面积可以直接用sum(sum(mask))来实现。

其次，是对于形心的获取。由于Mask R-CNN输出结果中包含矩形框信息rois，即包含对应设备的矩形框，因此形心的坐标就等于矩形四个顶点坐标的平均值，其横坐标和纵坐标分别对应设备形心的横坐标和纵坐标。

本发明所做的实验基于一块GTX 1080-TI显卡，Mask R-CNN部分我们在tensorflow框架下进行。如前文所述，我们的dataset中一共有330张图片，其中训练数据包含264张图片，验证数据包含66张图片。

我们利用264张训练集中的图片训练得到的深度卷积神经网络权重导入，再对测试集中的图片进行检测，从最终的输出结果中选择了比较典型的三个类型，如图4所示：

经过聚类分析进行筛选后，选择右边的识别结果作为对应待识别的电力设备图像最准备的识别结果。

虽然电力设备目标辨识领域很多人都提出了自己的一套方法，但是这些方法不具有通用性，局限性较大，且需要已知图片的拍摄角度；尽管R-CNN发展十分迅速，但由于电力设备领域缺乏成熟的数据集以及电力设备大类独有的特点，当前深度卷积神经网络在电力设备领域的应用存在较大的问题。

针对这些问题，本发明主要提出了一个全新的电力设备目标辨识方法，其底层设计是Mask R-CNN深度卷积神经网络，顶层设计是聚类分析，主体思路是将Mask R-CNN输出的结果再利用聚类分析方法进行优化，从而得到更好的结果。

实验表明，本发明所提出的方法成功将Mask R-CNN输出结果的mAP值从0.699提升到了0.819，提升了12％，效果显著。

此外，一般深度卷积神经网络需要大量的数据作为支撑，而本文实验中只用了330张标注好的图片作为数据集，就已经得到了较好的结果。

总体来说，本发明提出的电力设备目标辨识方法已经能够将底层的输出结果进行了很好地优化且没有增加时间复杂度，较令人满意。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，因此，本发明的保护范围由所附权利要求书限定。

Claims (6)

1.一种用于电力设备的目标识别方法，其特征在于包括以下步骤：

步骤一、建立包含多张电力设备图像的数据集，并对每张电力设备图像包含的电力设备进行标注，以此为输入，对神经网络进行训练学习；

步骤二、利用训练好的神经网络对待识别的电力设备图像进行识别，输出多个识别结果；

步骤三、利用聚类分析方法对神经网络的识别结果进行筛选，筛选出对应待识别的电力设备图像最准确的识别结果。

2.根据权利要求1所述的用于电力设备的目标识别方法，其特征在于：以待识别的电力设备图像中的各个设备为对象，设置阈值，对神经网络对应的识别结果进行筛选，利用聚类分析方法对筛选出的识别结果进行再次筛选，筛选出对应设备最准确的识别结果，从而完成对待识别的电力设备图像的识别。

3.根据权利要求2所述的用于电力设备的目标识别方法，其特征在于：以每张电力设备图像中各个设备的标注信息构建对应的标准点，进而构建包含所有类型设备的聚类空间，以各个筛选出的识别结果构建对应的检测点，计算检测点到聚类空间中对应类型设备的距离，取距离最小对应的识别结果作为对应设备最准确的识别结果。

4.根据权利要求3所述的用于电力设备的目标识别方法，其特征在于：利用标签工具对每张电力设备图像包含的各个设备进行标注，其标注信息包括电力设备的轮廓、类型和图像质量信息，以json格式文件进行存储，所述轮廓信息设置为每个设备外沿取较多的点连接成的多边形，以其多边形的形心及面积分别作为标准点的X坐标、Y坐标和Z坐标，构建包含所有类型设备的聚类空间。

5.根据权利要求4所述的用于电力设备的目标识别方法，其特征在于：所述识别结果包括矩形框参数rois、类别参数class_ids、得分参数scores和masks参数，所述阈值设置为得分阈值，仅将得分参数大于得分阈值的识别结果筛选出来，所述矩形框参数rois设置为包括对应设备的矩形框，所述masks参数设置为对应设备包含的所有像素点信息

根据矩形框参数rois，计算对应识别结果的设备的形心，以此作为对应检测点的X坐标和Y坐标，根据masks参数，计算对应识别结果的设备的面积，以此作为对应检测点的Z坐标，

针对筛选出的各个识别结果，分别计算对应检测点到聚类空间中对应类型设备的各个标准点距离，取其平均值，以最小平均值对应的识别结果作为对应设备最准确的识别结果。

6.根据权利要求5所述的用于电力设备的目标识别方法，其特征在于：所述标准点的X坐标和Y坐标设置为多边形所有顶点横坐标的平均值和纵坐标的平均值，Z坐标设置为采用向量叉积方法计算获得多边形的面积；所述检测点的X坐标和Y坐标设置为包含对应设备的矩形框的四个顶点的横坐标的平均值和纵坐标的平均值，Z坐标设置为对应设备包含的所有像素点的面积。

Images