CN110298287A - 一种基于深度学习的电力设备自动识别方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的电力设备自动识别方法，该方法首先基于深度学习的图像识别技术对图像中电力设备进行识别；然后使用文字识别技术以识别电力设备名称；最后，分别给图像识别结果和文字识别结果以设定的权重值，以获得最终的电力设备识别结果。与现有技术相比，本发明具有识别效率高、识别准确率高、广泛适用等优点。

Description

一种基于深度学习的电力设备自动识别方法

技术领域

本发明涉及目标识别技术领域，尤其是涉及一种基于深度学习的电力设备自动识别方法。

背景技术

近年来，随着计算机视觉技术的快速发展和广泛应用，新建的智能变电站以及一些改造的无人值守变电站正逐步采用高清视频监视、红外热像等智能化监测技术手段；同时，使用直升机、无人机、机器人等搭载照相(摄像)机、红外成像仪等手段以实现高效、快速的电力设备巡检也得到迅速推广和应用另外；传统的人工巡检也会采集大量的可见光、红外、紫外等检测图像。这些收集到的海量数据流表征着电力设备的全方位状态信息。然而，现有的图像和视频监控系统仅仅是简单的将这些多媒体数据传输到调度端，不能对这些数据进行智能化分析，还需工作人员对接收到的海量数据进行人工识别和分析；但是，人的眼睛长时间工作会疲劳，从而会导致误判，这严重影响了电力设备运行状态监测自动化的程度。同时，图像和视频数据存量巨大、增长速度快且价值密度低，人工检查和识别可能发现一些有用信息，但是效率低下，并且给出的结果存在主观性、模糊性、不完全等问题。因此，对采集的图像数据进行自动分析识别，对提高电力设备状态监测自动化水平、保证电网完全稳定运行具有十分重要的意义。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的电力设备自动识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于深度学习的电力设备自动识别方法，该方法首先基于深度学习的图像识别技术对图像中电力设备进行识别；然后使用文字识别技术以识别电力设备名称；最后，分别给图像识别结果和文字识别结果以设定的权重值，以获得最终的电力设备识别结果。

优选地，所述的基于深度学习的图像识别技术对图像识别为：通过Faster-RCNN深度学习网络进行图像识别。

优选地，所述的通过Faster-RCNN深度学习网络进行图像识别具体包括以下步骤：

101)计算输入图片的卷积特征图conv feature map；

102)对卷积特征图进行处理，获得可能包含目标的候选框proposals；

103)对候选框进行池化操作ROI Pooling；

104)对池化后的结果进行分类和回归。

优选地，所述的卷积特征图计算具体为：

输入图片表示为Height×Width×Depth的张量形式，经过预训练CNN网络的处理，得到卷积特征图。

优选地，所述的对卷积特征图进行处理中，通过采用anchors来解决边界框列表长度不定的问题，即在原始图像中统一放置固定大小的参考边界框。

优选地，所述的对候选框进行池化操作ROI Pooling具体为：

当获得了可能包含目标objects的候选框及其在原始图像中的对应位置之后，采用RoI Pooling处理，并提取相关目标objects的特征，得到一个新的向量。

优选地，所述的对池化后的结果进行分类和回归具体为：

基于R-CNN模块，对边界框的内容进行分类，以获得识别结果；对边界框坐标进行回归，以调整边界框坐标，更好的适应目标大小。

优选地，所述的使用文字识别技术以识别电力设备名称为：采用开源Tesseract库的进行文字识别。

优选地，所述的Tesseract库识别包括以下两个步骤：

201)利用字符间的间隔进行粗略的切分，得到大部分的字符，同时也有粘连字符或者错误切分的字符，进行第一次字符识别，通过字符区域类型判定，根据判定结果对比字符库识别字符；

202)根据识别出来的字符，进行粘连字符的分割，同时把错误分割的字符合并，完成字符的精细切分。

优选地，所述的分别给图像识别结果和文字识别结果以设定的权重值，以获得最终的电力设备识别结果具体为：

当电力设备图片中含有铭牌信息时，以文字识别结果为准；当电力设备图片中不含铭牌信息时，以图像识别结果为准。

与现有技术相比，本发明自动识别电网中采集的海量图片中的电力设备，以提升电力设备状态监测自动化水平，具有识别效率高、识别准确率高、广泛适用等优点。

附图说明

图1为本发明的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

本发明将利用基于深度学习的图像识别技术对图像中电力设备进行识别；同时考虑到电力设备图片中常常含有设备铭牌，使用文字识别技术以识别电力设备名称。最后，分别给图像识别结果和文字识别结果以一定的权重值，以获得最终的电力设备识别结果。

如图1所示，本发明主要包括：基于Faster-RCNN算法的图像识别、基于Tesseract库的文字识别、两种识别模式的融合。包括以下步骤：

步骤1：搭建Faster-RCNN深度学习网络进行图像识别

步骤2：基于Tesseract库进行文字识别

步骤3：两种识别模式融合，以得到最终的识别结果

在所述步骤1中，采用Faster-RCNN学习算法进行图像识别，该算法主要分为以下四个部分：

首先，计算输入图片的卷积特征图conv feature map；

输入图片表示为Height×Width×Depth的张量(多维数组)形式，经过预训练CNN网络的处理，得到卷积特征图(conv feature map)；即把CNN网络作为特征提取器，获得卷积特征图，再送入下一个部分。

然后，对卷积特征图进行处理，获得可能包含目标的候选框proposals；

在RPN(Region Propose Network)中，通过采用anchors来解决边界框列表长度不定的问题，即在原始图像中统一放置固定大小的参考边界框。不同于直接检测目标objects的位置，这里将问题转化为两部分：判断anchor是否包含相关的目标object、调整anchor以更好的拟合相关的目标objects。

之后，对候选框进行池化操作ROI Pooling；

当获得了可能包含目标objects的候选框及其在原始图像中的对应位置之后，采用RoI Pooling处理，并提取相关目标objects的特征，得到一个新的向量。

最后，对池化后的结果进行分类和回归

基于R-CNN模块，对边界框的内容进行分类，以获得识别结果；对边界框坐标进行回归，以调整边界框坐标，更好的适应目标大小。

在所述步骤2中，采用开源Tesseract库的进行文字识别。Tesseract是一个开源的OCR引擎，惠普公司的布里斯托尔实验室在1984-1994年开发完成。起初作为惠普的平板扫描仪的文字识别引擎。Tesseract在1995年UNLV OCR字符识别准确性测试中拔得头筹，受到广泛关注。2005年，HP将Tesseract贡献给开源社区。美国内华达州信息技术研究所获得该源码，同时，Google开始对Tesseract进行功能扩展及优化。目前，Tesseract作为开源项目发布在Google Project上，重获新生，它支持60种以上的语言。Tesseract程序构架主要分为两部分：图片布局分析和字符分割和识别。

图片布局分析，是字符识别的准备工作。工作内容：通过一种混合的基于制表位检测的页面布局分析方法，将图像的表格、文本、图片等内容进行区分。

字符分割和识别，是整个Tesseract的设计目标，工作内容最为复杂。首先是字符切割，Tesseract采用以下两个步骤：

利用字符间的间隔进行粗略的切分，得到大部分的字符，同时也有粘连字符或者错误切分的字符。这里会进行第一次字符识别，通过字符区域类型判定，根据判定结果对比字符库识别字符。

根据识别出来的字符，进行粘连字符的分割，同时把错误分割的字符合并，完成字符的精细切分。

在所述步骤3中，通过两种识别模式融合，以得到最终的识别结果。图像识别模式只需借助设备外形图像，即可识别设备类型，但其准确度依赖于前期大量的训练数据图像。文字识别模式依赖于设备图片中的铭牌，方式简单、准确，但实际设备图片中可能不包含设备铭牌。因此，考虑将这两种识别模式有效融合，取长补短，即：当设备图片中含有铭牌信息时，应以文字识别结果为准；当设备图片中不含铭牌信息时，应以图像识别结果为准。这样既提高了设备识别的准确度，也扩大了设备识别的应用范围。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于深度学习的电力设备自动识别方法，其特征在于，该方法首先基于深度学习的图像识别技术对图像中电力设备进行识别；然后使用文字识别技术以识别电力设备名称；最后，分别给图像识别结果和文字识别结果以设定的权重值，以获得最终的电力设备识别结果。

2.根据权利要求1所述的一种基于深度学习的电力设备自动识别方法，其特征在于，所述的基于深度学习的图像识别技术对图像识别为：通过Faster-RCNN深度学习网络进行图像识别。

3.根据权利要求2所述的一种基于深度学习的电力设备自动识别方法，其特征在于，所述的通过Faster-RCNN深度学习网络进行图像识别具体包括以下步骤：

101)计算输入图片的卷积特征图conv feature map；

102)对卷积特征图进行处理，获得可能包含目标的候选框proposals；

103)对候选框进行池化操作ROIPooling；

104)对池化后的结果进行分类和回归。

4.根据权利要求3所述的一种基于深度学习的电力设备自动识别方法，其特征在于，所述的卷积特征图计算具体为：

输入图片表示为Height×Width×Depth的张量形式，经过预训练CNN网络的处理，得到卷积特征图。

5.根据权利要求3所述的一种基于深度学习的电力设备自动识别方法，其特征在于，所述的对卷积特征图进行处理中，通过采用anchors来解决边界框列表长度不定的问题，即在原始图像中统一放置固定大小的参考边界框。

6.根据权利要求3所述的一种基于深度学习的电力设备自动识别方法，其特征在于，所述的对候选框进行池化操作ROIPooling具体为：

当获得了可能包含目标objects的候选框及其在原始图像中的对应位置之后，采用RoIPooling处理，并提取相关目标objects的特征，得到一个新的向量。

7.根据权利要求3所述的一种基于深度学习的电力设备自动识别方法，其特征在于，所述的对池化后的结果进行分类和回归具体为：

基于R-CNN模块，对边界框的内容进行分类，以获得识别结果；对边界框坐标进行回归，以调整边界框坐标，更好的适应目标大小。

8.根据权利要求1所述的一种基于深度学习的电力设备自动识别方法，其特征在于，所述的使用文字识别技术以识别电力设备名称为：采用开源Tesseract库的进行文字识别。

9.根据权利要求8所述的一种基于深度学习的电力设备自动识别方法，其特征在于，所述的Tesseract库识别包括以下两个步骤：

201)利用字符间的间隔进行粗略的切分，得到大部分的字符，同时也有粘连字符或者错误切分的字符，进行第一次字符识别，通过字符区域类型判定，根据判定结果对比字符库识别字符；

202)根据识别出来的字符，进行粘连字符的分割，同时把错误分割的字符合并，完成字符的精细切分。

10.根据权利要求1所述的一种基于深度学习的电力设备自动识别方法，其特征在于，所述的分别给图像识别结果和文字识别结果以设定的权重值，以获得最终的电力设备识别结果具体为：

当电力设备图片中含有铭牌信息时，以文字识别结果为准；当电力设备图片中不含铭牌信息时，以图像识别结果为准。