CN109685075A - 一种基于图像的电力设备识别方法、装置及系统 - Google Patents

Abstract

本发明公开了种一种基于图像的电力设备识别方法、装置及系统，该方法包括：接收电力设备图像训练集，进行预处理，对预处理后的图像利用图像识别算法建立图像特征点描述信息、关联点信息和其与电力设备类别的索引，并存储于特征库，利用机器学习训练预处理后的电力设备图像训练集；接收待识别的电力设备图像，进行预处理，提取特征点，基于特征点检测SIFT算法进行图像搜索；将待识别的电力设备图像提取的特征点建立特征集索引，将特征集索引与特征库的索引匹配，识别出电力设备类别；对电力设备图像中电力设备所在区域进行差分和累计图像处理，与其对应类别的电力设备正常图像比对，判断电力设备运行情况，得到电力设备存在故障或故障隐患。

Description

一种基于图像的电力设备识别方法、装置及系统

技术领域

本公开属于电力系统的技术领域，涉及一种基于图像的电力设备识别方法、装置及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

图像识别一般分为五部分：图像输入、预处理、特征提取、分类和匹配。

(1)图像输入

将图像采集下来输入计算机进行处理是图像识别的首要步骤。

(2)预处理

预处理是图像自动识别系统中非常重要的一步，它的好坏直接影响图像识别的效果。预处理的目的是去除图像中的噪声，把它变成一幅清晰的点线图，以便于提取正确的图像特征。预处理又可分为图像分割、图像增强、二值化和细化等几个部分。

(3)特征提取

特征提取负责把能够充分表示该图像唯一性的特征用数值的形式表达出来。尽量保留真实特征，滤除虚假特征。

(4)图像分类

在图像系统中，输入的图像要与数十上百甚至上千个图像进行匹配，为了减少搜索时间、降低计算的复杂度，需要将图像以一种精确一致的方法分配到不同的图像库中。

(5)图像匹配

图像匹配是在图像预处理和特征提取的基础上，将当前输入的测试图像特征与事先保存的模板图像特征进行比对，通过它们之间的相似程度，判断这两幅图像是否一致。

在近几年，基于图像处理与识别技术在电力系统中的应用，已经进行了一些有益的探索，并且也取得了一些可喜的成就，但是，目前还要依靠值班人员直接去观察和分析采集到的图像，判断电力设备运行状态，缺乏对变电站电力设备的自动识别与分析功能，这种与其他行业相比存在滞后的情况，究其原因就是对背景复杂变电战图像的分析和电力设备运行故障的判断方法研究还不成熟。

发明内容

针对现有技术中存在的不足，本公开的一个或多个实施例提供了一种基于图像的电力设备识别方法、装置及系统，通过对电力设备图像进行采集，识别与分析，判断出电力设备的运行情况，进而发现设备存在的故障及其故障隐患。

根据本公开的一个或多个实施例的一个方面，提供一种基于图像的电力设备识别方法。

一种基于图像的电力设备识别方法，该方法包括：

接收电力设备图像训练集，对电力设备图像进行预处理，对预处理后的图像利用图像识别算法建立图像特征点描述信息、关联点信息和其与电力设备类别的索引，并存储于特征库，利用机器学习训练预处理后的电力设备图像训练集；

接收待识别的电力设备图像，对待识别的电力设备图像进行预处理，提取预处理后电力设备图像中的特征点，基于特征点检测SIFT算法进行图像搜索；

将待识别的电力设备图像提取的特征点建立特征集索引，将特征集索引与特征库的索引匹配，识别出电力设备类别。

进一步地，在该方法中，所述预处理的具体步骤包括：

接收有效位置标识指令，在电力设备图像中标出有效位置；

确定电力设备图像中的噪声类型，并根据其噪声类型匹配相应的滤波器，调节不同滤波器的自定义滤波器参数，直至达到平衡最佳滤波状态，进行滤波处理。

进一步地，在该方法中，对标出有效位置的电力设备图像进行矫正、纠偏处理。

进一步地，在该方法中，对电力设备图像进行滤波的具体步骤包括：

预设方框滤波参数值、均值滤波参数值和高斯滤波参数值；

对电力设备图像根据预设的方框滤波参数值进行方框滤波，并在方框滤波过程中调节方框滤波参数值，直至达到平衡最佳方框滤波状态；

对电力设备图像根据预设的均值滤波参数值进行均值滤波，并在均值滤波过程中调节均值滤波参数值，直至达到平衡最佳均值滤波状态；

对电力设备图像根据预设的高斯滤波参数值进行高斯滤波，并在高斯滤波过程中调节高斯滤波参数值，直至达到平衡最佳高斯滤波状态。

进一步地，在该方法中，对电力设备图像的有效位置建立图像特征点描述信息和关联点信息，根据图像特征点描述信息和关联点信息，建立结构化的特征库，将图像特征点描述信息和关联点信息存储于特征库中，并建立图像特征点描述信息和关联点信息与电力设备类别的信息索引。

根据本公开的一个或多个实施例的另一个方面，还提供一种计算机可读存储介质。

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于图像的电力设备识别方法。

根据本公开的一个或多个实施例的另一个方面，还提供一种终端设备。

一种终端设备，采用互联网终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于图像的电力设备识别方法。

一种基于图像的电力设备识别方法，该方法包括：

接收电力设备图像训练集，对电力设备图像进行预处理，对预处理后的图像利用图像识别算法建立图像特征点描述信息、关联点信息和其与电力设备类别的索引，并存储于特征库，利用机器学习训练预处理后的电力设备图像训练集；

接收待识别的电力设备图像，对待识别的电力设备图像进行预处理，提取预处理后电力设备图像中的特征点，基于特征点检测SIFT算法进行图像搜索；

将待识别的电力设备图像提取的特征点建立特征集索引，将特征集索引与特征库的索引匹配，识别出电力设备类别；

对电力设备图像中电力设备所在区域进行差分和累计图像处理，与其对应类别的电力设备正常图像比对，判断电力设备运行情况，得到电力设备存在故障或故障隐患。

进一步地，在该方法中，在所述预处理的具体步骤包括：

接收有效位置标识指令，在电力设备图像中标出有效位置；

确定电力设备图像中的噪声类型，并根据其噪声类型匹配相应的滤波器，调节不同滤波器的自定义滤波器参数，直至达到平衡最佳滤波状态，进行滤波处理。

进一步地，在该方法中，对标出有效位置的电力设备图像进行矫正、纠偏处理。

进一步地，在该方法中，所述噪声类型包括高斯噪声，泊松噪声，乘性噪声，椒盐噪声。

进一步地，在该方法中，对电力设备图像进行滤波的具体步骤包括：

预设方框滤波参数值、均值滤波参数值和高斯滤波参数值；

对电力设备图像根据预设的方框滤波参数值进行方框滤波，并在方框滤波过程中调节方框滤波参数值，直至达到平衡最佳方框滤波状态；

对电力设备图像根据预设的均值滤波参数值进行均值滤波，并在均值滤波过程中调节均值滤波参数值，直至达到平衡最佳均值滤波状态；

对电力设备图像根据预设的高斯滤波参数值进行高斯滤波，并在高斯滤波过程中调节高斯滤波参数值，直至达到平衡最佳高斯滤波状态。

进一步地，在该方法中，对电力设备图像的有效位置建立图像特征点描述信息和关联点信息，根据图像特征点描述信息和关联点信息，建立结构化的特征库，将图像特征点描述信息和关联点信息存储于特征库中，并建立图像特征点描述信息和关联点信息与电力设备类别的信息索引。

根据本公开的一个或多个实施例的另一个方面，还提供一种计算机可读存储介质。

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于图像的电力设备识别方法。

根据本公开的一个或多个实施例的另一个方面，还提供一种终端设备。

一种终端设备，采用互联网终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于图像的电力设备识别方法。

根据本公开的一个或多个实施例的另一个方面，还提供一种基于图像的电力设备识别系统。

一种基于图像的电力设备识别系统，包括图像采集模块和基于一种基于图像的电力设备识别的终端设备；

所述图像采集模块包括摄像头和图像采集设备，所述图像采集设备和终端设备连接；

所述终端设备包括开放式接口。

本公开的有益效果：

(1)本发明所述的一种基于图像的电力设备识别方法、装置及系统，从计算机视觉替代人来监测变电站电力设备运行状态出发，由摄像头，图像采集设备和计算机识别系统构建一个变电站设备自动识别分析方案，该方案设计的系统通过对电力设备图像进行采集，识别与分析，判断出电力设备的运行情况，进而发现设备存在的故障及其故障隐患。

(2)本发明所述的一种基于图像的电力设备识别方法、装置及系统，在图像预处理中，通过预先在电力设备图像中标出有效位置；确定电力设备图像中的噪声类型，并根据其噪声类型匹配相应的滤波器，调节不同滤波器的自定义滤波器参数，直至达到平衡最佳滤波状态，进行滤波处理，有效避免由于图像采集设备本身的缺陷和环境等因素的影响。

(3)本发明所述的一种基于图像的电力设备识别方法、装置及系统，利用机器学习的方法，提取相关信通设备一定量的特征，人工标记一批结果，然后用机器学习的方法算出一套自动判断的准则；基于电网设备的大数据分析，通过大量机器训练学习，能够自动准确识别相关图像；具有开放式接口，本系统通过云服务的方式搭建统一的电网设备识别云平台，方便变电设备相关AR识别应用二次开发或者直接调用；具有智能化，可训练化的特点，对应识别物体辨识度高，有效区域识别准确度高，并可以给出置信度评估值，方便进行进一步的人工确认。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是根据一个或多个实施例的一种基于图像的电力设备识别方法流程图；

图2是一种基于图像的电力设备识别方法具体流程图；

图3是另一种基于图像的电力设备识别方法流程图。

具体实施方式：

下面将结合本公开的一个或多个实施例中的附图，对本公开的一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本公开的一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本实施例使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合，下面结合附图与实施例对本公开作进一步说明。

根据本公开的一个或多个实施例的一个方面，提供一种基于图像的电力设备识别方法。

如图1所示，一种基于图像的电力设备识别方法，该方法包括：

接收电力设备图像训练集，对电力设备图像进行预处理，对预处理后的图像利用图像识别算法建立图像特征点描述信息、关联点信息和其与电力设备类别的索引，并存储于特征库；

接收待识别的电力设备图像，对待识别的电力设备图像进行预处理，提取预处理后电力设备图像中的特征点，基于特征点检测SIFT算法进行图像搜索；

将待识别的电力设备图像提取的特征点建立特征集索引，将特征集索引与特征库的索引匹配，识别出电力设备类别。

从计算机视觉替代人来监测变电站电力设备运行状态出发，由摄像头，图像采集设备和计算机识别系统构建一个变电站设备自动识别分析方案，该方案设计的系统通过对电力设备图像进行采集，识别与分析，识别出电力设备类别，如图 2所示。

由于图像采集设备本身的缺陷和环境等因素的影响，输入到计算机中的电力设备图像中不可避免的会含有畸变和噪声，这会对后面的图像处理、特征提取以及识别分析带来严重的干扰，并且影响处理结果的正确性。

图像预处理：

在该方法中，所述预处理的具体步骤包括：

1)标记图像的有效位置：接收有效位置标识指令，在电力设备图像中标出有效位置；

通过录入大量的物体实物照片，开发人员利用计算机在图像中预先标出了有效位置(比如铭牌、设备面板、排线布局等)。

进一步地，在该方法中，对标出有效位置的电力设备图像进行矫正、纠偏处理。

2)畸变和噪声处理：确定电力设备图像中的噪声类型，并根据其噪声类型匹配相应的滤波器，调节不同滤波器的自定义滤波器参数，直至达到平衡最佳滤波状态，进行滤波处理。

常见的噪声类型基本上有以下四种，高斯噪声，泊松噪声，乘性噪声，椒盐噪声。通过人工在图像编辑软件中观察和编辑测试确定噪声类型。

自定义滤波器参数，并提供开放式API接口，方便应用系统根据拍摄条件，图像分辨率，拍摄角度等进行二次开发或者配置；

用峰值信噪比PSNR等来定量对比,获得对比结果，用以设计和改进滤波器，

主要用轨迹条来控制三种线性滤波的核参数值，通过滑动滚动条，控制图像在三种线性滤波下的模糊度。

进一步地，在该方法中，对电力设备图像进行滤波的具体步骤包括：

预设方框滤波参数值、均值滤波参数值和高斯滤波参数值；

对电力设备图像根据预设的方框滤波参数值进行方框滤波，并在方框滤波过程中调节方框滤波参数值，直至达到平衡最佳方框滤波状态；

对电力设备图像根据预设的均值滤波参数值进行均值滤波，并在均值滤波过程中调节均值滤波参数值，直至达到平衡最佳均值滤波状态；

对电力设备图像根据预设的高斯滤波参数值进行高斯滤波，并在高斯滤波过程中调节高斯滤波参数值，直至达到平衡最佳高斯滤波状态。

特征点分析：

变电站图像中包含着电力设备运行情况的重要信息，对变电站中电力设备图像进行识别的关键在于分析电力设备的各种特征，经过预处理后选取能够区分电力设备类别的图像特征，作为识别电力设备时的输入向量，应用模式识别的方法对变电站电力设备进行分类识别，并对识别实验的结果进行总结和分析。

特征点提取

所谓特征点，就是在不同尺度空间的图像下检测出的具有方向信息的局部极值点。特征点具有三个特征：尺度、方向、大小。

一般大小的图片可以计算出10^2～10^3数量级的特征值,每个特征值是一个float[128],即一个128维浮点向量,利用向量的空间信息构建k-d树, 即k维向量树,这里k＝128。

a.生成高斯差分金字塔(DOG金字塔)，尺度空间构建

通过对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、角点检测不同分辨率上的关键点提取等。

b.空间极值点检测(关键点的初步查探)

c.稳定关键点的精确定位

d.稳定关键点方向信息分配

e.关键点描述

对关键点的描述是后续实现匹配的关键步骤，描述其实就是一种以数学方式定义关键的过程。描述子不但包含关键点，也包括关键点周围对其有贡献的邻域点。

图像搜索

图像搜索就是计算向量的欧氏距离,找距离最小的样本向量。欧式距离越小，则相似度越高，当欧式距离小于设定的阈值时，可以判定为匹配成功。

为了排除因为图像遮挡和背景混乱而产生的无匹配关系的关键点，使用比较最近邻距离与次近邻距离的SIFT匹配方式：取一幅图像中的一个SIFT关键点，并找出其与另一幅图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离得到的比率ratio少于某个阈值T，则接受这一对匹配点。因为对于错误匹配，由于特征空间的高维性，相似的距离可能有大量其他的错误匹配，从而它的ratio值比较高。显然降低这个比例阈值T，SIFT匹配点数目会减少，但更加稳定，反之亦然。

实验证明ratio取值在0.4～0.6之间最佳，小于0.4的很少有匹配点，大于0.6的则存在大量错误匹配点，所以建议ratio的取值原则如下:

ratio＝0.4：对于准确度要求高的匹配；

ratio＝0.6：对于匹配点数目要求比较多的匹配；

ratio＝0.5：一般情况下。

描述的思路是：对关键点周围像素区域分块，计算快内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象表述。

利用OPENCV的图像识别算法将这些照片中标出的区域进行矫正、纠偏等处理，建立图像特征点描述信息和关联点信息并存入特征库；

进一步地，在该方法中，对电力设备图像的有效位置建立图像特征点描述信息和关联点信息，根据图像特征点描述信息和关联点信息，建立结构化的特征库，将图像特征点描述信息和关联点信息存储于特征库中，并建立图像特征点描述信息和关联点信息与电力设备类别的信息索引。

建立索引的目的是，对大量图片的信息进行一次信息高度精炼以及结构化处理，使得之后每执行一次识别请求都可以高效地索引到对应信息，做出判定。

在待识别电力设备图像的电力设备类型识别中：

1、提取待识别图像的特征点，形成特征集索引；

2、将待识别图像的索引与特征库的索引进行匹配，匹配成功后，返回对应图片的ID；

3、通过获取到的ID，查询到关联的电力设备类型。

图像训练及匹配

1.训练集图片需要和实际场景要识别的图片环境一致，举例：如果实际场景要识别的图片都是手机拍摄的，那训练的图片也需要同样的场景获得，而不要采用网上随便下载的图片；

2.考虑实际应用场景可能有的种种可能性，每个标签的图片需要覆盖实际场景里面可能有的可能性，如拍照角度、光线明暗的变化，训练集覆盖的场景越多，模型的泛化能力越强。

对识别的物体进行各种角度和方位的拍照，照片要清晰，同时尽量能够包含这种物体的各种状态，比如说拉开，收缩，干净，脏的，常见的破损的等等，然后在照片中把需要识别的物体进行准确的人工标记，最后把所有这些标记过的图片输入到算法里面，算法会根据你所标记的物体进行学习，然后智能算法会根据这一系列的照片，对这个物体进行全方位的认识，也就是把照片中标出来的地方计算和保存它的关联性。上面我们用的算法是open cv库里面内置的常用算法，我们只需要调用然后保存结果就可以。

实时识别的时候，摄像头会将拍摄到的画面实时传给算法，结合之前学习的关联模型，来识别出画面块中可能存在的物体。

当然在实时识别时候，该物体并不是完全就跟前期训练时的是一模一样的，可能存在视角，型号，颜色，大小等等差异，那么算法，会根据这些差异的大小进行排序，把差异最小的放在前面，把差异比较大的放在后面，也就是结果置信度的排序，然后最后根据实际的识别效果会确定一个置信度度阀值，那么我们会认为在这个阀值之上的识别，是有效识别，并可以使用。

进一步地，在该方法中，在待识别的电力设备图像的图像搜索匹配中，计算置信度，并将置信度进行排序，并设定置信度阈值，计算出的置信度大于置信度阈值的为有效识别。

通过对输入图片进行训练和算法匹配，然后再把这几张图片重新进行识别，会生成很多对应的矩形，就是下面图中标识的蓝色矩形，然后每个矩形都有个置信度，置信度越大，说明要求越严格，满足的矩形就会越少，置信度少，满足的矩形越多。

根据本公开的一个或多个实施例的另一个方面，还提供一种计算机可读存储介质。

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于图像的电力设备识别方法。

根据本公开的一个或多个实施例的另一个方面，还提供一种终端设备。

一种终端设备，采用互联网终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于图像的电力设备识别方法。

根据本公开的一个或多个实施例的另一个方面，还提供一种基于图像的电力设备识别方法。

如图3所示，一种基于图像的电力设备识别方法，该方法包括：

接收电力设备图像训练集，对电力设备图像进行预处理，对预处理后的图像利用图像识别算法建立图像特征点描述信息、关联点信息和其与电力设备类别的索引，并存储于特征库；

接收待识别的电力设备图像，对待识别的电力设备图像进行预处理，提取预处理后电力设备图像中的特征点，基于特征点检测SIFT算法进行图像搜索；

将待识别的电力设备图像提取的特征点建立特征集索引，将特征集索引与特征库的索引匹配，识别出电力设备类别；

对电力设备图像中电力设备所在区域进行差分和累计图像处理，与其对应类别的电力设备正常图像比对，判断电力设备运行情况，得到电力设备存在故障或故障隐患。

从计算机视觉替代人来监测变电站电力设备运行状态出发，由摄像头，图像采集设备和计算机识别系统构建一个变电站设备自动识别分析方案，该方案设计的系统通过对电力设备图像进行采集，识别与分析，判断出电力设备的运行情况，进而发现设备存在的故障及其故障隐患。

由于图像采集设备本身的缺陷和环境等因素的影响，输入到计算机中的电力设备图像中不可避免的会含有畸变和噪声，这会对后面的图像处理、特征提取以及识别分析带来严重的干扰，并且影响处理结果的正确性。

图像预处理：

在该方法中，所述预处理的具体步骤包括：

1)标记图像的有效位置：接收有效位置标识指令，在电力设备图像中标出有效位置；

通过录入大量的物体实物照片，开发人员利用计算机在图像中预先标出了有效位置(比如铭牌、设备面板、排线布局等)。

进一步地，在该方法中，对标出有效位置的电力设备图像进行矫正、纠偏处理。

2)畸变和噪声处理：确定电力设备图像中的噪声类型，并根据其噪声类型匹配相应的滤波器，调节不同滤波器的自定义滤波器参数，直至达到平衡最佳滤波状态，进行滤波处理。

常见的噪声类型基本上有以下四种，高斯噪声，泊松噪声，乘性噪声，椒盐噪声。通过人工在图像编辑软件中观察和编辑测试确定噪声类型。

自定义滤波器参数，并提供开放式API接口，方便应用系统根据拍摄条件，图像分辨率，拍摄角度等进行二次开发或者配置；

用峰值信噪比PSNR等来定量对比,获得对比结果，用以设计和改进滤波器，

主要用轨迹条来控制三种线性滤波的核参数值，通过滑动滚动条，控制图像在三种线性滤波下的模糊度。

进一步地，在该方法中，对电力设备图像进行滤波的具体步骤包括：

预设方框滤波参数值、均值滤波参数值和高斯滤波参数值；

对电力设备图像根据预设的方框滤波参数值进行方框滤波，并在方框滤波过程中调节方框滤波参数值，直至达到平衡最佳方框滤波状态；

对电力设备图像根据预设的均值滤波参数值进行均值滤波，并在均值滤波过程中调节均值滤波参数值，直至达到平衡最佳均值滤波状态；

对电力设备图像根据预设的高斯滤波参数值进行高斯滤波，并在高斯滤波过程中调节高斯滤波参数值，直至达到平衡最佳高斯滤波状态。

特征点分析：

变电站图像中包含着电力设备运行情况的重要信息，对变电站中电力设备图像进行识别的关键在于分析电力设备的各种特征，经过预处理后选取能够区分电力设备类别的图像特征，作为识别电力设备时的输入向量，应用模式识别的方法对变电站电力设备进行分类识别，并对识别实验的结果进行总结和分析。

特征点提取

所谓特征点，就是在不同尺度空间的图像下检测出的具有方向信息的局部极值点。特征点具有三个特征：尺度、方向、大小。

一般大小的图片可以计算出10^2～10^3数量级的特征值,每个特征值是一个float[128],即一个128维浮点向量,利用向量的空间信息构建k-d树, 即k维向量树,这里k＝128。

a.生成高斯差分金字塔(DOG金字塔)，尺度空间构建

通过对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、角点检测不同分辨率上的关键点提取等。

b.空间极值点检测(关键点的初步查探)

c.稳定关键点的精确定位

d.稳定关键点方向信息分配

e.关键点描述

对关键点的描述是后续实现匹配的关键步骤，描述其实就是一种以数学方式定义关键的过程。描述子不但包含关键点，也包括关键点周围对其有贡献的邻域点。

图像搜索

图像搜索就是计算向量的欧氏距离,找距离最小的样本向量。欧式距离越小，则相似度越高，当欧式距离小于设定的阈值时，可以判定为匹配成功。

为了排除因为图像遮挡和背景混乱而产生的无匹配关系的关键点，使用比较最近邻距离与次近邻距离的SIFT匹配方式：取一幅图像中的一个SIFT关键点，并找出其与另一幅图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离得到的比率ratio少于某个阈值T，则接受这一对匹配点。因为对于错误匹配，由于特征空间的高维性，相似的距离可能有大量其他的错误匹配，从而它的ratio值比较高。显然降低这个比例阈值T，SIFT匹配点数目会减少，但更加稳定，反之亦然。

实验证明ratio取值在0.4～0.6之间最佳，小于0.4的很少有匹配点，大于0.6的则存在大量错误匹配点，所以建议ratio的取值原则如下:

ratio＝0.4：对于准确度要求高的匹配；

ratio＝0.6：对于匹配点数目要求比较多的匹配；

ratio＝0.5：一般情况下。

描述的思路是：对关键点周围像素区域分块，计算快内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象表述。

利用OPENCV的图像识别算法将这些照片中标出的区域进行矫正、纠偏等处理，建立图像特征点描述信息和关联点信息并存入特征库；

进一步地，在该方法中，对电力设备图像的有效位置建立图像特征点描述信息和关联点信息，根据图像特征点描述信息和关联点信息，建立结构化的特征库，将图像特征点描述信息和关联点信息存储于特征库中，并建立图像特征点描述信息和关联点信息与电力设备类别的信息索引。

建立索引的目的是，对大量图片的信息进行一次信息高度精炼以及结构化处理，使得之后每执行一次识别请求都可以高效地索引到对应信息，做出判定。

在待识别电力设备图像的电力设备类型识别中：

1、提取待识别图像的特征点，形成特征集索引；

2、将待识别图像的索引与特征库的索引进行匹配，匹配成功后，返回对应图片的ID；

3、通过获取到的ID，查询到关联的电力设备类型。

图像训练及匹配

1.训练集图片需要和实际场景要识别的图片环境一致，举例：如果实际场景要识别的图片都是手机拍摄的，那训练的图片也需要同样的场景获得，而不要采用网上随便下载的图片；

2.考虑实际应用场景可能有的种种可能性，每个标签的图片需要覆盖实际场景里面可能有的可能性，如拍照角度、光线明暗的变化，训练集覆盖的场景越多，模型的泛化能力越强。

对识别的物体进行各种角度和方位的拍照，照片要清晰，同时尽量能够包含这种物体的各种状态，比如说拉开，收缩，干净，脏的，常见的破损的等等，然后在照片中把需要识别的物体进行准确的人工标记，最后把所有这些标记过的图片输入到算法里面，算法会根据你所标记的物体进行学习，然后智能算法会根据这一系列的照片，对这个物体进行全方位的认识，也就是把照片中标出来的地方计算和保存它的关联性。上面我们用的算法是open cv库里面内置的常用算法，我们只需要调用然后保存结果就可以。

实时识别的时候，摄像头会将拍摄到的画面实时传给算法，结合之前学习的关联模型，来识别出画面块中可能存在的物体。

当然在实时识别时候，该物体并不是完全就跟前期训练时的是一模一样的，可能存在视角，型号，颜色，大小等等差异，那么算法，会根据这些差异的大小进行排序，把差异最小的放在前面，把差异比较大的放在后面，也就是结果置信度的排序，然后最后根据实际的识别效果会确定一个置信度度阀值，那么我们会认为在这个阀值之上的识别，是有效识别，并可以使用。

进一步地，在该方法中，在待识别的电力设备图像的图像搜索匹配中，计算置信度，并将置信度进行排序，并设定置信度阈值，计算出的置信度大于置信度阈值的为有效识别。

通过对输入图片进行训练和算法匹配，然后再把这几张图片重新进行识别，会生成很多对应的矩形，就是下面图中标识的蓝色矩形，然后每个矩形都有个置信度，置信度越大，说明要求越严格，满足的矩形就会越少，置信度少，满足的矩形越多。

通过对电力设备图像进行采集，识别与分析，从采集到的变电站图像中识别出电力设别类型后，电力设备所在的图像区域就是进行检测的重点区域，通过对此区域进行差分和累计图像处理，最后与电力设备运行正常图像进行比较，即可判断出变电站场景图像。判断出电力设备的运行情况，进而发现设备存在的故障及其故障隐患。

进一步地，在该方法中，在待识别的电力设备图像的图像搜索匹配中，计算置信度，并将置信度进行排序，并设定置信度阈值，计算出的置信度大于置信度阈值的为有效识别。

根据本公开的一个或多个实施例的另一个方面，还提供一种计算机可读存储介质。

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于图像的电力设备识别方法。

根据本公开的一个或多个实施例的另一个方面，还提供一种终端设备。

一种终端设备，采用互联网终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于图像的电力设备识别方法。

这些计算机可执行指令在设备中运行时使得该设备执行根据本公开中的各个实施例所描述的方法或过程。

在本实施例中，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开内容操作的计算机程序指令可以是汇编指令、指令集架构 (ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开内容的各个方面。

本公开的有益效果：

(1)本发明所述的一种基于图像的电力设备识别方法、装置及系统，从计算机视觉替代人来监测变电站电力设备运行状态出发，由摄像头，图像采集设备和计算机识别系统构建一个变电站设备自动识别分析方案，该方案设计的系统通过对电力设备图像进行采集，识别与分析，判断出电力设备的运行情况，进而发现设备存在的故障及其故障隐患。

(2)本发明所述的一种基于图像的电力设备识别方法、装置及系统，在图像预处理中，通过预先在电力设备图像中标出有效位置；确定电力设备图像中的噪声类型，并根据其噪声类型匹配相应的滤波器，调节不同滤波器的自定义滤波器参数，直至达到平衡最佳滤波状态，进行滤波处理，有效避免由于图像采集设备本身的缺陷和环境等因素的影响。

(3)本发明所述的一种基于图像的电力设备识别方法、装置及系统，利用机器学习的方法，提取相关信通设备一定量的特征，人工标记一批结果，然后用机器学习的方法算出一套自动判断的准则；基于电网设备的大数据分析，通过大量机器训练学习，能够自动准确识别相关图像；具有开放式接口，本系统通过云服务的方式搭建统一的电网设备识别云平台，方便变电设备相关AR识别应用二次开发或者直接调用；具有智能化，可训练化的特点，对应识别物体辨识度高，有效区域识别准确度高，并可以给出置信度评估值，方便进行进一步的人工确认。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于图像的电力设备识别方法，其特征在于，该方法包括：

接收电力设备图像训练集，对电力设备图像进行预处理，对预处理后的图像利用图像识别算法建立图像特征点描述信息、关联点信息和其与电力设备类别的索引，并存储于特征库，利用机器学习训练预处理后的电力设备图像训练集；

接收待识别的电力设备图像，对待识别的电力设备图像进行预处理，提取预处理后电力设备图像中的特征点，基于特征点检测SIFT算法进行图像搜索；

将待识别的电力设备图像提取的特征点建立特征集索引，将特征集索引与特征库的索引匹配，识别出电力设备类别。

2.如权利要求1所述的一种基于图像的电力设备识别方法，其特征在于，在该方法中，所述预处理的具体步骤包括：

接收有效位置标识指令，在电力设备图像中标出有效位置；

确定电力设备图像中的噪声类型，并根据其噪声类型匹配相应的滤波器，调节不同滤波器的自定义滤波器参数，直至达到平衡最佳滤波状态，进行滤波处理。

3.如权利要求2所述的一种基于图像的电力设备识别方法，其特征在于，在该方法中，对标出有效位置的电力设备图像进行矫正、纠偏处理。

进一步地，在该方法中，对电力设备图像进行滤波的具体步骤包括：

预设方框滤波参数值、均值滤波参数值和高斯滤波参数值；

对电力设备图像根据预设的方框滤波参数值进行方框滤波，并在方框滤波过程中调节方框滤波参数值，直至达到平衡最佳方框滤波状态；

对电力设备图像根据预设的均值滤波参数值进行均值滤波，并在均值滤波过程中调节均值滤波参数值，直至达到平衡最佳均值滤波状态；

对电力设备图像根据预设的高斯滤波参数值进行高斯滤波，并在高斯滤波过程中调节高斯滤波参数值，直至达到平衡最佳高斯滤波状态。

进一步地，在该方法中，对电力设备图像的有效位置建立图像特征点描述信息和关联点信息，根据图像特征点描述信息和关联点信息，建立结构化的特征库，将图像特征点描述信息和关联点信息存储于特征库中，并建立图像特征点描述信息和关联点信息与电力设备类别的信息索引。

进一步地，在该方法中，在待识别的电力设备图像的图像搜索匹配中，计算置信度，并将置信度进行排序，并设定置信度阈值，计算出的置信度大于置信度阈值的为有效识别。

4.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行根据权利要求1-3中任一项所述的一种基于图像的电力设备识别方法。

5.一种终端设备，采用互联网终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行根据权利要求1-3中任一项所述的一种基于图像的电力设备识别方法。

6.一种基于图像的电力设备识别方法，其特征在于，该方法包括：

接收电力设备图像训练集，对电力设备图像进行预处理，对预处理后的图像利用图像识别算法建立图像特征点描述信息、关联点信息和其与电力设备类别的索引，并存储于特征库，利用机器学习训练预处理后的电力设备图像训练集；

接收待识别的电力设备图像，对待识别的电力设备图像进行预处理，提取预处理后电力设备图像中的特征点，基于特征点检测SIFT算法进行图像搜索；

将待识别的电力设备图像提取的特征点建立特征集索引，将特征集索引与特征库的索引匹配，识别出电力设备类别；

对电力设备图像中电力设备所在区域进行差分和累计图像处理，与其对应类别的电力设备正常图像比对，判断电力设备运行情况，得到电力设备存在故障或故障隐患。

7.如权利要求6所述的一种基于图像的电力设备识别方法，其特征在于，在该方法中，所述预处理的具体步骤包括：

接收有效位置标识指令，在电力设备图像中标出有效位置；

确定电力设备图像中的噪声类型，并根据其噪声类型匹配相应的滤波器，调节不同滤波器的自定义滤波器参数，直至达到平衡最佳滤波状态，进行滤波处理。

进一步地，在该方法中，对标出有效位置的电力设备图像进行矫正、纠偏处理。

进一步地，在该方法中，对电力设备图像进行滤波的具体步骤包括：

预设方框滤波参数值、均值滤波参数值和高斯滤波参数值；

对电力设备图像根据预设的方框滤波参数值进行方框滤波，并在方框滤波过程中调节方框滤波参数值，直至达到平衡最佳方框滤波状态；

对电力设备图像根据预设的均值滤波参数值进行均值滤波，并在均值滤波过程中调节均值滤波参数值，直至达到平衡最佳均值滤波状态；

对电力设备图像根据预设的高斯滤波参数值进行高斯滤波，并在高斯滤波过程中调节高斯滤波参数值，直至达到平衡最佳高斯滤波状态。

进一步地，在该方法中，对电力设备图像的有效位置建立图像特征点描述信息和关联点信息，根据图像特征点描述信息和关联点信息，建立结构化的特征库，将图像特征点描述信息和关联点信息存储于特征库中，并建立图像特征点描述信息和关联点信息与电力设备类别的信息索引。

进一步地，在该方法中，在待识别的电力设备图像的图像搜索匹配中，计算置信度，并将置信度进行排序，并设定置信度阈值，计算出的置信度大于置信度阈值的为有效识别。

8.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行根据权利要求6-7中任一项所述的一种基于图像的电力设备识别方法。

9.一种终端设备，采用互联网终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行根据权利要求6-7中任一项所述的一种基于图像的电力设备识别方法。

10.一种基于图像的电力设备识别系统，其特征在于，包括图像采集模块和基于根据权利要求6-7中任一项所述的一种基于图像的电力设备识别的终端设备；

所述图像采集模块包括摄像头和图像采集设备，所述图像采集设备和终端设备连接；

所述终端设备包括开放式接口。