CN109934221A - 基于注意力机制的电力设备自动分析识别监控方法及系统 - Google Patents

Abstract

本公开提出了基于注意力机制的电力设备自动分析识别监控方法及系统，包括：获取能够表明电力设备的运行状态的开关控制板的图像作为原始图像；针对开关控制板中开关和压板的自动检测及状态识别，提取输入图像中的各个开关和压板的状态特征及位置信息；针对开关控制板中指针式仪表的自动检测和读数，采用基于注意力机制的卷积神经网络对指针式仪表的位置进行检测，然后根据位置信息将指针式仪表从原始图像中裁剪出来获得仪表图像后再对图像进行图像处理操作来自动读数。本公开在开关和压板的自动检测及状态识别中，在神经网络中加入Attention模型，让网络学出对不同物体区域加以不同的关注度，从而能更加准确高效控制开关板的进行检测。

Description

基于注意力机制的电力设备自动分析识别监控方法及系统

技术领域

本公开涉及自动化识别技术领域，特别是涉及基于注意力机制的电力设备自动分析识别监控方法及系统。

背景技术

工业中各个部门都有着自己的电力系统，随着技术的不断发展，对用电量的需求也在不断的提升，所以电力系统能安全且稳定的运行就显得格外重要。对于电力系统来说，对其内部的电力设备进行定期检测是保证其稳定运行的基础。传统的监控系统主要是靠工作人员实时盯着监控屏幕来观察电力设备的运行状态，但是人眼有主观性和易疲劳等特点，尤其是在长时间的高强度工作状态下，容易对一些细微的异常情况检查不到，并且人眼的分辨率有限，对一些模糊图像的识别也达不到要求。

随着人工智能和计算机视觉等技术的不断发展，智能监控也在不断的被人们所提及。在电力系统中，开关及压板的不同状态代表着不同的功能，所以对开关和压板的种类以及其状态进行检测属于一项非常重要的工作。同时，电力系统中还存在很多指针式仪表，仪表的读数关系着设备的运行状态，因此自动检测到仪表的位置以及读出仪表的示数也是智能监控中不可缺少的一部分。开关和压板的状态检测以及指针式仪表的识别都是智能监控的重要组成部分。

发明人在研究中发现，传统的检测识别方法大多利用计算机视觉的相关知识，对待检测图像进行模板匹配等一系列的图像处理操作，但是其对图像的要求很高，并且算法流程繁琐，在监控中很难保证实时性。

发明内容

本说明书实施方式的目的之一是提供基于注意力机制的电力设备自动分析识别监控方法，使用深度学习以及计算机视觉的知识，并在其中加入Attention模型使其效果更加准确。

本说明书实施方式提供基于注意力机制的电力设备自动分析识别监控方法，包括：

获取能够表明电力设备的运行状态的开关控制板的图像作为原始图像；

针对开关控制板中开关和压板的自动检测及状态识别，采用基于注意力机制的卷积神经网络对开关控制板的图像信息进行处理，提取输入图像中的各个开关和压板的状态特征及位置信息；

针对开关控制板中指针式仪表的自动检测和读数，采用基于注意力机制的卷积神经网络对指针式仪表的位置进行检测，然后根据位置信息将指针式仪表从原始图像中裁剪出来获得仪表图像后再对图像进行图像处理操作来自动读数。

本公开利用上述技术方案实现开关和压板的自动检测及状态识别及指针式仪表的自动检测和读数。

本说明书实施方式的目的之二是提供基于注意力机制的电力设备自动分析识别监控系统，使用深度学习以及计算机视觉的知识，并在其中加入Attention模型使其效果更加准确。

本说明书实施方式提供基于注意力机制的电力设备自动分析识别监控系统，包括：

原始图像获取单元，获取能够表明电力设备的运行状态的开关控制板的图像作为原始图像；

开关和压板的检测及状态识别单元，针对开关控制板中开关和压板的自动检测及状态识别，采用基于注意力机制的卷积神经网络对开关控制板的图像信息进行处理，提取输入图像中的各个开关和压板的状态特征及位置信息；

指针式仪表的检测及读数单元，针对开关控制板中指针式仪表的自动检测和读数，采用基于注意力机制的卷积神经网络对指针式仪表的位置进行检测，然后根据位置信息将指针式仪表从原始图像中裁剪出来获得仪表图像后再对图像进行图像处理操作来自动读数。

本公开利用上述技术方案实现开关和压板的自动检测及状态识别及指针式仪表的自动检测和读数。

与现有技术相比，本公开的有益效果是：

本公开在开关和压板的自动检测及状态识别中，在神经网络中加入Attention模型，让网络学出对不同物体区域加以不同的关注度，从而能更加准确高效的对压板和开关的状态进行检测。

本公开在指针式仪表的自动检测和读数中，基于Attention模型的加速区域卷积神经网络来对指针式仪表的位置进行检测，然后根据位置信息将指针式仪表从原图像中裁剪出来获得仪表图像后再对图像进行一系列的图像处理操作来自动读数，能够获得准确的读数结果。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例子一的基于Attention模型的加速区域卷积神经网络基本组成及流程示意图；

图2为本公开实施例子二的指针式仪表自动读数流程图；

图3为本公开实施例子二的角度法自动读数原理示意图；

图4为本公开实施例子三的整体流程图；

图5为本公开实施例子三的检测识别结果图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例子一

该实施例子公开了基于注意力机制的电力设备自动分析识别监控方法，在该实施例子中，针对电力设备开关控制板的开关和压板进行检测及识别，在开关和压板的自动检测及状态识别中，采用加速区域卷积神经网络来提取输入图像的特征并对开关和压板的位置进行检测以及其状态进行识别。

在该实施例子中，在卷积神经网络中加入Attention模型，Attention模型的主要机制是在特征图上生成空间分布的权重，然后再对特征图加权求和，让网络学出对不同物体区域加以不同的关注度，从而能更加准确高效的对压板和开关的状态进行检测。

参见附图1所示，该实施例子的压板和开关的状态进行检测可参考以下具体的步骤来实现：

步骤1：用摄像头采集开关控制板的图片作为原始图像，该图片中包括开关、二次压板，然后将开关控制板的原始图像输入一个基于Attention模型的卷积神经网络CNN中，获得原始图像的特征图。

在该实施例子中基于Attention模型的卷积神经网络CNN即在传统的CNN网络中加入Attention模块，其中，Attention模块主要是由两条线路组成，一条是传统的卷积操作，另一条是两个下采样和上采样操作，上述操作处理的主要目的是提高底层特征的感受野，相当于变相的增加了原网络的深度。此卷积网络的输出是原始图片的特征图，提取出来的特征图在会被共享用于后续的区域建议网络和全连接层中即此特征图一方面作为输入用于RPN层，另一方面与RPN的输出共同用于后续全连接层，RPN指的是区域候选网络(RegionProposal Networks)。

步骤2：步骤1中生成的特征图作为输入用于区域建议网络中，首先进入一个通道数为256的3x3卷积层，这样每个像素就得到一个256长度的特征表示。以每个像素为中心，为其配备预先设置好的多种尺寸不同的初始检测框，即锚点。然后通过两个使用1x1卷积核的并行卷积层，其通道数量取决于每个点的锚点数量。用一个分类层对每个锚点进行预测，输出锚点的两个预测值前景或背景。最后对每个被判断成有检测物体的锚点，使用边框调整层来预测其边界框，剔除严重超出边界的建议区域。同时，由于锚点经常重叠，对剩下的候选区使用非极大值抑制技术进行排序，取大于阈值的边界框来作为最终的区域建议网络输出。

在该步骤中，将步骤1生成的特征图作为输入用于区域建议网络中，遍历特征图中的每一个像素点，并为其配备预先设置好的多种尺寸不同的初始检测框。初始检测框再经过softmax概率层来提取出初始检测框中属于前景的那部分作为候选区域。并对候选区域映射回原始图像，在原始图像中判断是否超过边界，剔除掉严重超出边界的区域，再对剩下的候选区域进行非极大值抑制，按照由大到小的顺序提取最终的区域建议网络输出。

步骤3：将步骤1中卷积网络输出的特征图与步骤2中输出的建议区域共同输入区域兴趣池化层中，将不同大小的区域归一化到固定大小的特征图。

步骤4：将步骤3的输出送入全连接层中进行目标类别判定，一方面可以分类识别出各个建议区域内的开关和压板的状态信息，另一方面再利用边框回归来精准的定位出各个类别的位置信息。

上述四个步骤结束，就可以得到开关、压板的具体位置坐标，同时还可以识别出对应位置的开关和压板的状态信息。

实施例子二

该实施例子公开了基于注意力机制的电力设备自动分析识别监控方法，在该实施例子中，针对电力设备开关控制板的指针式仪表进行自动检测和读数，先使用基于Attention模型的加速区域卷积神经网络来对指针式仪表的位置进行检测，然后根据位置信息将指针式仪表从原图像中裁剪出来获得仪表图像后再对图像进行一系列的图像处理操作来自动读数。

指针式仪表的自动读数流程参见附图2所示，在该实施例子中基于Attention模型的加速区域卷积神经网络与实施例子一中的网络结构相同，具体包括以下步骤：

步骤1：根据上述基于Attention模型的加速区域卷积神经网络得到的指针式仪表的位置坐标将其从原始图像中裁剪出来，然后用裁剪出来的仪表图像作为自动读数算法的输入图片。

步骤2：对输入的指针式仪表图像进行预处理操作，预处理操作包括将RGB图像转化为灰度图、直方图均衡化、图像去噪、图像锐化等操作。

在该步骤中，具体包括以下步骤：首先对RGB图像进行灰度化处理，即使用公式f(i,j)＝0.3R(i,j)+0.59G(i,j)+0.11B(i,j)对每个像素进行加权平均，将彩色图像转换成灰度图；然后进行直方图均衡化，将图像的灰度值进行重新分配，使得在一定范围内的每个灰度等级的像素数量尽可能的相等，增强了图像的对比度；进行图像去噪，使用中值滤波来对图像进行去噪处理，对每个像素邻域内的所有像素值进行排序，然后选取排序的中值来作为该像素的新像素值，其对孤立的噪声有着很好的抑制效果，同时也能有效的保护图像的边缘特征；最后进行图像锐化处理，来进一步加强图像的目标边缘信息，以便后续的边缘检测等操作。

步骤3：对预处理完的指针式仪表图像进行形态学处理，主要包括对图像的腐蚀操作，其主要思想是消除图像中目标区域的边界点，使得区域的边界向内部收缩，具体可以用公式来表示，该公式中表示用结构元素B来腐蚀A，结构元素B扫描图像A的每一个像素，并且与其覆盖的二值图像做“与”操作，如果都为1，则该像素点像素值为1，否则像素值为0，这样可以消除图像中的一些小且没有意义的物体，来进一步突出图像的骨架信息，同时也对指针有一定的细化效果。

在该步骤中，对预处理完的指针式仪表图像进行形态学操作，来进一步的突出图像的骨架信息，并连接表盘中存在断裂的区域，同时也对指针进行细化处理。

步骤4：对图像进行边缘检测，选择Canny算子来进行此步，因为Canny算子检测出来的结果相对于其余几种算子来说边缘更加连续，图像的特征细节也会更加完整。

步骤5：用Hough线变换来检测边缘检测过后的图像中的直线信息，Hough变换的主要原理是利用各空间中点与直线的对偶性，将原始图像空间中给定的一条直线通过相应的表达形式转换成参数空间的一个点，这样就可以将在原图像中的直线检测问题转换成在参数空间中寻找峰值的问题。指针式仪表中最显著的直线信息就是指针所在的位置，所以选取Hough线变换结果中最长的直线为指针所在的直线。

步骤6：得到指针的所在的直线信息之后，采用角度法来对指针式仪表的读数进行自动判读，其主要思想是根据指针所在直线与零度角的角度差值与仪表量程的比例关系来计算指针式仪表的读数。其具体计算公式如下所示：

其中，N表示用角度法求出来的仪表读数，θ表示指针所在直线的角度，θ₀表示零刻度的角度，θ_max表示最大量程刻度的角度，N_max和N₀表示仪表的最大量程和最小值，其具体表现形式参见附图3所示。

实施例子三

该实施例子公开了基于注意力机制的电力设备自动分析识别监控方法，在该实施例子中，针对开关控制板上面包含各种不同状态的开关和二次压板以及指针式仪表盘分别进行检测及识别。

在该实施例中，在具体实施时，所基于的硬件部分包括：落地式支架、摄像头、摄像头支架以及计算机，首先将开关控制板放在落地式支架上，落地式支架接地位置是可轮滑的，然后将摄像头安装在摄像头支架上并将摄像头支架固定在落地式支架的上方，并调整好摄像头的位置。

摄像头获得的开关控制板的图片传输至计算机中进行处理，包括开关和压板的自动检测及状态识别及指针式仪表的自动检测和读数。

具体参见附图4所示，其中，在开关和压板的自动检测及状态识别的具体技术方案部分可参见实施例子一，在指针式仪表的自动检测和读数的具体技术方案部分可参见实施例子二。

具体的，在开关和压板的自动检测及状态识别中，采用加速区域卷积神经网络来提取输入图像的特征并对开关和压板的位置进行检测以及其状态进行识别。并且在该神经网络中加入Attention模型，Attention模型的主要机制是在特征图上生成空间分布的权重，然后再对特征图加权求和，让网络学出对不同物体区域加以不同的关注度。从而能更加准确高效的对压板和开关的状态进行检测，具体的步骤如下：

首先用摄像头采集开关和压板的图片，并将原始图片输入基于Attention模型的卷积神经网络中，来提取原始图像的特征图，提取出来的特征图在会被共享用于后续的区域建议网络和全连接层中。

然后将上面生成的特征图作为输入用于区域建议网络中，遍历特征图中的每一个像素点，并为其配备预先设置好的多种尺寸不同的初始检测框。初始检测框再经过softmax概率层来提取出初始检测框中属于前景的那部分作为候选区域。并对候选区域映射回原图，剔除掉严重超出边界的区域，再对剩下的候选区域进行非极大值抑制，按照由大到小的顺序提取最终的区域建议输出。

最后将第一步提取出的特征图和上述的建议区域输入区域兴趣池化层中，将不同大小的区域归一化到固定大小的特征图，再将其送入后续的全连接层进行目标类别判定，由此，我们就可以识别出各个开关和压板的状态，并再次使用边框回归获得开关和压板的具体位置。

在指针式仪表的自动检测和读数中，先使用上述的基于Attention模型的加速区域卷积神经网络来对指针式仪表的位置进行检测，然后根据位置信息将指针式仪表从原图像中裁剪出来获得仪表图像后再对图像进行一系列的图像处理操作来自动读数。具体的图像处理过程如下：

首先对获得的指针式仪表图像进行预处理，预处理操作包括将RGB图像转化为灰度图、直方图均衡化、图像去噪、图像锐化等操作。

然后对预处理完的指针式仪表图像进行形态学操作，来进一步的突出图像的骨架信息，并连接表盘中存在断裂的区域，同时也对指针进行细化处理。

接下来对上述图像进行边缘检测，边缘检测的算法我们选择Canny算子，因为Canny算子检测出来的结果相对于其余几种算子来说边缘更加连续，图像的特征细节也会更加完整。

边缘检测完之后对图片进行Hough线变换来检测图像中的直线信息，由于指针式仪表中指针属于最显著的直线边缘特征，所以我们选取Hough线变换结果的最长的直线作为指针所在的直线位置。

最后采用角度法来对指针式仪表自动读数，其主要思想是根据指针所在直线与零度角的角度差值与仪表量程的比例关系来计算出读数的。

针对实施例子三做出了相应的实验，实验结果见附图5所示，从结果图中可以看出本发明可以准确的检测出开关、压板以及指针式仪表的位置，也能准确的对开关和压板的状态进行识别，同时也能自动读出指针式仪表的示数。

实施例子四

该实施例子公开了基于注意力机制的电力设备自动分析识别监控系统，在该实施例子中，针对开关控制板上面包含各种不同状态的开关和二次压板以及指针式仪表盘分别进行检测及识别。

基于注意力机制的电力设备自动分析识别监控系统，包括：

原始图像获取单元，获取能够表明电力设备的运行状态的开关控制板的图像作为原始图像；

开关和压板的检测及状态识别单元，针对开关控制板中开关和压板的自动检测及状态识别，采用基于注意力机制的卷积神经网络对开关控制板的图像信息进行处理，提取输入图像中的各个开关和压板的状态特征及位置信息；

指针式仪表的检测及读数单元，针对开关控制板中指针式仪表的自动检测和读数，采用基于注意力机制的卷积神经网络对指针式仪表的位置进行检测，然后根据位置信息将指针式仪表从原始图像中裁剪出来获得仪表图像后再对图像进行图像处理操作来自动读数。

该实施例子中各单元中的具体技术实现可参见实施例子三，此处不再具体赘述。

实施例子五

该实施例子公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现基于注意力机制的电力设备自动分析识别监控方法，该方法步骤可参见实施例子三中的具体技术方案。

实施例子六

该实施例子公开了一种计算机可读存储介质，其上存储有计算机程序(指令)，其特征在于，该程序(指令)被处理器执行时实现基于注意力机制的电力设备自动分析识别监控方法，该方法步骤可参见实施例子三中的具体技术方案。

计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。

本公开所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开内容操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码。

应当注意，尽管在上文的详细描述中提及了设备的若干模块或子模块，但是这种划分仅仅是示例性而非强制性的。实际上，根据本公开的实施例，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.基于注意力机制的电力设备自动分析识别监控方法，其特征是，包括：

获取能够表明电力设备的运行状态的开关控制板的图像作为原始图像；

针对开关控制板中开关和压板的自动检测及状态识别，采用基于注意力机制的卷积神经网络对开关控制板的图像信息进行处理，提取输入图像中的各个开关和压板的状态特征及位置信息；

针对开关控制板中指针式仪表的自动检测和读数，采用基于注意力机制的卷积神经网络对指针式仪表的位置进行检测，然后根据位置信息将指针式仪表从原始图像中裁剪出来获得仪表图像后再对图像进行图像处理操作来自动读数。

2.如权利要求1所述的基于注意力机制的电力设备自动分析识别监控方法，其特征是，对开关控制板中开关和压板的自动检测及状态识别时，在卷积神经网络中加入Attention模型，Attention模型的主要机制是在特征图上生成空间分布的权重，然后再对特征图加权求和，使得网络对不同物体区域加以不同的关注度。

3.如权利要求1所述的基于注意力机制的电力设备自动分析识别监控方法，其特征是，对开关控制板中开关和压板的自动检测及状态识别具体步骤包括：

基于Attention模型的卷积神经网络对原始图像进行处理，获得原始图像的特征图；

生成的特征图作为输入用于区域建议网络中，获得建议区域；

将卷积网络输出的特征图与输出的建议区域共同输入区域兴趣池化层中，将不同大小的区域归一化到固定大小的特征图；

将固定大小的特征图输出送入全连接层中进行目标类别判定，一方面分类识别出各个建议区域内的开关和压板的状态信息，另一方面再利用边框回归来精准的定位出各个类别的位置信息。

4.如权利要求3所述的基于注意力机制的电力设备自动分析识别监控方法，其特征是，获得建议区域的步骤为：

遍历特征图中的每一个像素点，并为其配备预先设置好的多种尺寸不同的初始检测框；

再经过softmax概率层来提取出初始检测框中属于前景的那部分作为候选区域，并对候选区域映射回原始图像，剔除掉严重超出边界的区域；

再对剩下的候选区域进行非极大值抑制，按照由大到小的顺序提取最终的区域建议网络输出。

5.如权利要求1所述的基于注意力机制的电力设备自动分析识别监控方法，其特征是，根据位置信息将指针式仪表从原始图像中裁剪出来获得仪表图像后进行图像预处理操作，包括将RGB图像转化为灰度图、直方图均衡化、图像去噪及图像锐化。

6.如权利要求5所述的基于注意力机制的电力设备自动分析识别监控方法，其特征是，对预处理完的指针式仪表图像进行形态学处理，主要包括对图像的腐蚀操作，来进一步突出图像的骨架信息，并连接表盘中存在断裂的区域，同时也对指针进行细化处理。

7.如权利要求6所述的基于注意力机制的电力设备自动分析识别监控方法，其特征是，进行形态学处理之后还包括：

对图像进行边缘检测；

用Hough线变换来检测边缘检测过后的图像中的直线信息，选取Hough线变换结果中最长的直线为指针所在的直线；

得到指针的所在的直线信息之后，采用角度法来对指针式仪表的读数进行自动判读。

8.基于注意力机制的电力设备自动分析识别监控系统，包括：

原始图像获取单元，获取能够表明电力设备的运行状态的开关控制板的图像作为原始图像；

开关和压板的检测及状态识别单元，针对开关控制板中开关和压板的自动检测及状态识别，采用基于注意力机制的卷积神经网络对开关控制板的图像信息进行处理，提取输入图像中的各个开关和压板的状态特征及位置信息；

指针式仪表的检测及读数单元，针对开关控制板中指针式仪表的自动检测和读数，采用基于注意力机制的卷积神经网络对指针式仪表的位置进行检测，然后根据位置信息将指针式仪表从原始图像中裁剪出来获得仪表图像后再对图像进行图像处理操作来自动读数。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一所述的基于注意力机制的电力设备自动分析识别监控方法。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任一所述的基于注意力机制的电力设备自动分析识别监控方法。