CN109271844B - 基于OpenCV的电气柜电气符号识别方法 - Google Patents

Abstract

一种基于OpenCV的电气柜电气符号识别方法，属数据识别领域。其采用视频监控系统获得电气柜正面的监控视频，得到需要的待识别图像；然后经过图像预处理，图元识别，直线检测，角度计算，将判断结果显示并返回识别结果。其基于OpenCV函数库，能根据符合要求的图像所包含的内容，分析设备的运行状态、检测仪表的读数，具有较好的认识和理解能力，并能根据预定的逻辑规则，及时返回判读结果，实现了从人工巡检向机器巡检的转变，不仅能用于对现场监控图像的智能分析，通过图像提取有用的数据和信息，识别电力设备和系统的正常/异常状态；也可以用于移动作业平台，实现图像的自动采集、分析，替代人完成巡检作业和数据记录等操作。

Description

基于OpenCV的电气柜电气符号识别方法

技术领域

本发明属于数据识别领域，尤其涉及一种用于识别图形的图像特征或特性的抽取方法。

背景技术

基于降低运行成本和节约占地面积等方面的考虑，随着无人值守变电站越来越多地被采用，各种视频监控系统被大量应用。

由于视频监控会产生大量的实况录像或照片图像，则图像的处理、解读或根据所示图片进行识别、判断，在电力系统的运行监控工作中已经成为必须。

“视觉理解”技术是一种智能系统，可以通过视觉系统(摄像机)对所处的环境进行自主观测和分析的智能化技术，是人工智能技术和机器视觉技术发展的一个重要方向，在变电站巡检、远程集中监控、视频图像大数据分析和挖掘等方面具有非常广阔的应用前景。

在电力行业，机器视觉技术已经有一些成功的案例。尤其在红外图像的分析方面已经取得了一些较为显著的进展。可以通过图像分析技术得出绝缘结构件的温度分布从而判断是否存在绝缘下降、过热等设备缺陷；在架空线路的巡线、仪表盘读取方面也有非常成功的应用。

四川电力公司采用计算机代替人的视觉功能，对变电站重要电气设备及场景的三维图像的进行感知、识别、分析，进而检测系统在特定环境中的运行状况，得出检测结果。其中主要实现了电力仪表视觉识别、可视断口开关刀闸的状态识别、变电站电气设备红外视觉在线检测及变电站环境视觉监控功能。

湖南大学设计了一种基于位置给定型视觉控制的除冰机器人抓线控制算法，提出了一种基于输电线缆的类圆柱体几何特征及摄像机成像模型的单目视觉立体定位算法，同时提出了一种避免复杂逆运动学求解的抓线控制策略，该策略主要思想是通过找到机械臂夹持器末端的工作曲面与输电线缆的轴线在空间中的交点来确定线缆抓取点及抓取线缆时机器人各个关节的位置。实现基于视觉分析和处理的运动控制。

一套先进的、智能的“视觉理解”系统能够降低实际人工作业过程中偶发的跑错仓位(在变配电站里，对应放置有高压设备的建筑间隔，简称为仓位)、误入带电间隔等错误带来的风险，对于提高作业安全性、正确性有着重要的作用。而目前已有的各种智能系统“视觉理解”能力非常弱，其中一些较为先进的智能系统具有一定的视觉分析能力，但仅可根据预先编制的软件分析设备状态、检测仪表读数，认识和理解能力极低。

发明内容

本发明所要解决的技术问题是提供一种基于OpenCV的电气柜电气符号识别方法。其首先利用图像学中的各种预处理方法以得到符合要求的图像，然后利用模板匹配及轮廓提取法准确提取出目标区域，对外观相似或接近的场景和现象进行归类总结。对精准识别电气符号的颜色、轮廓、内容有较高的可行性，初步实现了从人工巡检向机器巡检的转变。

本发明的技术方案是：提供一种基于OpenCV的电气柜电气符号识别方法，其特征是所述的识别方法包括下列步骤：

1)采用视频监控系统获得电气柜正面的监控视频，并将所获得的监控视频通过截屏或抽取指定的画面，得到需要的待识别图像；

2)图像预处理：采用高斯滤波针对图像中噪声进行线性平滑滤波，采用Canny 算子进行边缘检测；

3)图元识别：识别出目标物体区域；

4)直线检测：利用霍夫变换来检测图案中的直线线条，在原图像中绘制检测出的线条；

5)角度计算：计算检测出的线条的倾斜角度并由此判断元器件是否处于正常状态；

6)将判断结果显示并返回识别结果。

具体的，所述的采用高斯滤波针对图像中噪声进行线性平滑滤波，通过对灰度矩阵中的每一个像素点作其本身和邻域内的其他像素值的加权平均，来有效地过滤和抑制噪声带来的影响。

具体的，所述的采用Canny算子进行边缘检测，其Canny算法使用的卷积算子为：

其x向，y向的一阶偏导数矩阵，梯度幅值及其梯度方向的数学表达式为：

进一步的，在所述的Canny算法中，寻找像素点局部最大值，将非极大值点所对应的灰度值置为0，可能为边缘的局部灰度极大值点设置其灰度为128；采用双阈值法来减少伪边缘的数量：在高阈值图像中把边缘连接成轮廓，当到达轮廓的端点时，在断点的邻域中寻找满足低阈值的点，再根据此点收集新的边缘，直到整个图像边缘闭合为止。

更进一步的，所述双阈值法的上下阈值比为3:1。

具体的，在所述的直线检测过程中，运用两个坐标空间之间的变换，将在一个空间中具有相同形状的曲线或直线映射到另一个坐标空间的一个点上形成峰值，从而把检测任意形状的问题转化为统计峰值问题。

进一步的，在进行所述的霍夫变换时，采用函数Hough LinesP(contours,lines,rho, theta,threshold,minLineLength,maxLineGap)来调用累计概率霍夫变换PPHT，以提高执行效率。

与现有技术比较，本发明的优点是：

1、本技术方案基于OpenCV函数库，对摄像头范围内的目标物体进行轮廓提取及识别携带信息，能根据符合要求的图像所包含的内容，分析设备的运行状态、检测仪表的读数，具有较好的认识和理解能力，并能根据预定的逻辑规则，及时返回判读结果；

2、本技术方案采用多种图元识别方法，能精准识别电气符号的颜色、轮廓、内容，初步实现了从人工巡检向机器巡检的转变；

3、本技术方案不仅能用于对现场监控图像的智能分析，通过图像提取有用的数据和信息，识别电力设备和系统的正常/异常状态；也可以用于移动作业平台，实现图像的自动采集、分析，替代人完成巡检作业和数据记录等操作；是一种实用的、可靠的、实时机器视觉理解系统方案。

附图说明

图1为机器视觉理解模型示意图；

图2为本发明的整体算法流程示意图；

图3为本发明的Canny算法流程步骤示意图；

图4是本发明图元识别过程中的原图像；

图5是本发明经过边缘检测处理后得到的图像；

图6(a)为霍夫圆变换检测前的原图；

图6(b)、图6(c)和图6(d)为检测出的图元；

图7(a)、图7(b)为两幅不同的模板，图7(c)、图7(d)分别为对应的匹配结果；

图8(a)为指示灯图案原图，图8(b)经颜色识别后得到的指示灯图案，图8 (c)为判读结果；

图9(a)为另一指示灯图案原图，图9(b)为颜色识别结果，图9(c)为canny 算子边缘检测结果，图9(d)为直线检测结果，图9(e)为判读结果；

图10(a)为一电气图案原图、图10(b)为canny算子边缘检测结果、图10 (c)为直线检测结果。

具体实施方式

下面结合附图对本发明做进一步说明。

变电站设备上的典型仪表表盘包括气压表、油温表、温度表、避雷器表与电气设备所用的六氟化硫气体纯度分析相关的台式数显仪表、LED报警灯和TFT显示屏等。其中气压表、油温表、温度表、避雷器表为指针式仪表，通过指针指向的刻度反应读数。LED报警灯用来指示设备的报警信息，其位置可分布于气压表、油温表表表盘或LED显示区。TFT屏显示的内容纷繁复杂，包括设备状态信息、报警信息、多媒体信息等，信息显示的形式包含图标和文字。

OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

图1是机器视觉理解模型采集数据的多层融合示模型图，这个模型是在AndreasKlausner等人提出的I-SENSE模型基础上，结合人眼视觉信息处理机制进行改进得到的，它是一个集合了众多数据融合模型优点、通用且灵活的多层数据融合处理模型。通过工业相机对产品信息进行感知处理，经历像素层、特征层、决策层，由简单到复杂，从初级到高级，一步一步实现机器视觉理解模的任务。

图2中，本发明的技术方案，提供了一种基于OpenCV的电气柜电气符号识别方法，其识别方法至少包括下列步骤：

1)采用视频监控系统获得电气柜正面的监控视频，并将所获得的监控视频通过截屏或抽取指定的画面，得到需要的待识别图像；

2)图像预处理：采用高斯滤波针对图像中噪声进行线性平滑滤波，采用Canny 算子进行边缘检测；

3)图元识别：识别出目标物体区域；

4)直线检测：利用霍夫变换来检测图案中的直线线条，在原图像中绘制检测出的线条；

5)角度计算：计算检测出的线条的倾斜角度并由此判断元器件是否处于正常状态；

6)将判断结果显示并返回识别结果。

图3中，本技术方案中的整个Canny算法可总结为三个步骤：滤波、增强、检测。

下面对本技术方案进行进一步的详述：

1.1图像预处理：

(1)高斯滤波

高斯滤波(GaussianBlur)是一种针对图像中噪声的线性平滑滤波。噪声产生的误差在不同的操作中会累积传递，从而严重影响数字图像的后期应用。通过对灰度矩阵中的每一个像素点作其本身和邻域内的其他像素值的加权平均，能够有效地过滤和抑制噪声带来的影响。

(2)Canny算子边缘检测

边缘检测的算法主要是基于图像强度的一阶和二阶导数，经过高斯滤波的图像可以用一阶偏导的有限差分来计算梯度的幅值和方向，Canny算法使用的卷积算子为：

其x向，y向的一阶偏导数矩阵，梯度幅值及其梯度方向的数学表达式为：

在Canny算法中，非极大值抑制是进行边缘检测的重要步骤，即寻找像素点局部最大值，将非极大值点所对应的灰度值置为0，可能为边缘的局部灰度极大值点设置其灰度为128。这样的检测结果中可能会包含若干伪边缘，因此Canny算法采用双阈值法来减少伪边缘的数量：在高阈值图像中把边缘连接成轮廓，当到达轮廓的端点时，该算法会在断点的8邻域中寻找满足低阈值的点，再根据此点收集新的边缘，直到整个图像边缘闭合为止。上下阈值的设置至关重要，直接影响到后续的检测工作，本技术方案中采用的上下阈值比为3:1。

由于Canny算子边缘检测属现有技术，故对于上述公式(1)或(2)中各个字母所代表参数的含义及单位，本领域的技术人员，可参考相关文献中的相关表述或说明(例如，“一种边缘检测的计算方法”，《IEEE模式分析与机器智能学报》，1986 (6)：67—698(Acomputational approach to edge detection.IEEE Transactions on PatternAnalysis and Machine Intelligence,1986(6):679-698))，在此不再重复。

1.2、图元识别：

机器巡检采集到的电气柜图像中包含的器件种类复杂繁多，在进行图像处理之前首要的工作就是要识别出目标物体区域。

(1)霍夫圆变换(适用于带圆形轮廓的电气图案)：

在Canny算子边缘检测的基础上得到边缘二值图，首先寻找圆心：使用Sobel 算子计算图像的梯度，沿着图像的梯度方向和反方向画线段，线段的起点和长度由设定的参数决定，将线段经过的点在累加器中计数，计数越多的点越有可能成为圆心。

其次进行半径的估计：对所有非0点距圆心的距离从小到大排序，从小半径开始依次统计，相差在某个量的点都近似认为是同一个圆，计数所有属于该圆的点；逐渐放大半径继续计数，比较两个半径点的线密度＝点数/半径，线密度越高，半径的可信度越大，在参数允许范围内反复以上步骤直至得到最优半径。

OpenCV中实现霍夫圆变换的函数为：HoughCircles(src,dst, CV_HOUGH_GRADIENT,1,minDist,param1,param2,minRadius,maxRadius)，其中 minDist为检测到的圆的圆心之间的最小距离，param1为Canny算法边缘检测双阈值的高阈值，param2为累加器中圆心的计数标准，minRadius、maxRadius分别为半径的最小和最大值。

要注意的是，当背景图中存在其他圆形图案干扰时，需要根据实验图像不断调整半径参数，直至寻找到最恰当的半径范围。同样，受光照、阴影的影响，Canny 算子的边缘检测结果对找圆的精确性影响也较大，调整好Canny算法的双阈值，有利于精准定位。

(2)模板匹配法(适用于类型相同的图案)：

在光照和拍摄角度保持一致的情况下，由于部分电气图案形状相同，模板匹配可以较准确地定位到目标区域。

OpenCV函数库提供了关于模板匹配的函数：matchTemplate(image,templ,result, method)，本技术方案中选用了标准平方差匹配：

method＝CV_TM_SQDIFF_NORMED：

函数通过在输入图像中滑动(从左到右，从上到下)，寻找各个位置的区块(搜索窗口)与模板图像的相似度，并将结果保存在结果图像result中。该图像中的每一个点的亮度表示该处的输入图像与模板图像的匹配程度，通过定位result中的最大值或最小值获得最佳匹配点，最后根据匹配点和模板图像的矩形框标出匹配区域。

(3)颜色阈值法(适用于形状不规则的指示灯图案)：

该类图案最显著的特点就是带色彩的指示灯(无背景色干扰)，通过检测图像中是否存在一定范围大小的颜色区域判断该指示灯的亮灭状态。

首先将图像转换到HSV空间，这个模型中的三个参数分别是：H(色调)，S (饱和度)，V(亮度)。

相比于RGB模型，HSV模型更符合人描述和解释颜色的方式，更加自然且直观。

这里用到的关键函数是inRange(src,lowerb,upperb,dst)，即设定HSV的三个参数的上下阈值，检验每个通道的像素值是否在阈值范围内，若在范围内，则在dst 图像中令该点像素值为255，否则令其为0，因此输出的dst图像为一幅二值图像，符合颜色阈值条件的区域设置为白色，有助于后续的检测工作。

本技术方案中所涉及到的设备运行状态包括该图元所对应的开关/设备处于运行状态还是处于停用状态，也可以是处于带电工作状态还是处于断电停运状态(例如，某个图元所对应的开关、变压器或电动机，通常使用信号灯的亮/灭来表示其是否处于通电运行状态或断电停止运行状态；在继电保护系统中，通常用某个指示灯的亮/灭，来表示某种继电保护或联锁条件是否被投入，等等)。

本技术方案中所涉及到的设备所处位置包括该图元所对应的开关/设备处于在线运行状态还是处于退出运行位置，或者是位于检修位置(例如，某个图元所对应的开关、接地刀闸或断路器小车，通常使用电气柜面板上的开关的不同倾斜角度来表示其是否处于接通状态；垂直表示处于接通状态，倾斜45°或90°表示其处于断开状态；断路器小车在通电运行前必须推进到运行位置才能进行送电操作，退出运行后会将其拉出至断电检修位置，在进行倒闸操作前，存在一个确认小车位置的检测、判断步骤，等等)。

1.3、直线检测：

在变配电设备上常见的几类典型的电气符号，对用于“视觉识别”的机器来说，区分它们最大的依据就在于图案中的直线倾角。

本技术方案利用霍夫变换来检测图案中的直线线条，在原图像中绘制检测出的线条，计算这些线条的倾斜角度并由此判断元器件是否处于正常状态。

霍夫变换运用两个坐标空间之间的变换，将在一个空间中具有相同形状的曲线或直线映射到另一个坐标空间的一个点上形成峰值，从而把检测任意形状的问题转化为统计峰值问题。

OpenCV支持三种不同的霍夫变换，本技术方案中采用函数 HoughLinesP(contours,lines,rho,theta,threshold,minLineLength,maxLineGap)来调用累计概率霍夫变换(PPHT)，它是标准霍夫变换的改进，执行效率更高。

实验结果及分析：

基于上述解决问题的思路，本发明的技术方案采用windows版本中的VS2015 和OpenCV2.4.13来进行实验和验证。

1、Canny算子边缘检测：

图4是图元识别过程中的原图像；

图5是通过Canny算子边缘检测得到的图像；

2、霍夫圆变换：

图6(a)为霍夫圆变换检测前的原图，在这张图中，需要识别和检出的是三处被红色圆圈(在黑白图中为浅色圆圈)圈出的部分；

图6(b)、图6(c)和图6(d)为检测出的图元。

3、模板匹配：

图7(a)、图7(b)为两幅不同的模板，图7(c)、图7(d)为分别与图7(a)、图7(b)两幅不同的模板相对应的匹配结果(见图中被浅色矩形框框出的部分)。

4、颜色识别：

图8(a)为指示灯图案原图，图8(b)经颜色识别后得到的指示灯图案。

在系统中，只要检测到该指示灯的图案，即可判断该指示灯处于“亮”状态。

当系统检测到该指示灯“亮”后，根据系统中预先设定的逻辑关系，即可判定对应的某个设备处于某种特定的状态(诸如某开关设备被推至一个特定的位置，或某开关设备处于某个预定的运行状态)，则系统即可输出对应的判读结果。

图8(c)为输出的对应判读结果。

5、直线检测：

与上面类似地，图9(a)为另一指示灯图案原图，图9(b)为canny算子边缘检测结果，图9(c)为直线检测结果，图9(e)为判读结果。

在直线检测中，根据检测结果，可以同时计算这些线条的倾斜角度并由此判断元器件是否处于正常状态。

6、电气图案检测：

图10(a)为一电气图案原图、图10(b)为canny算子边缘检测结果、图10 (c)为直线检测结果。

同样地，在电气图案检测中，根据检测结果，也能够根据直线检测的结果，计算这些线条的倾斜角度并由此判断其所代表的开关或设备所处的运行状态。

从上述检测结果可以看出，本发明的技术方案，实现了针对各类电气图案的采集、定位、识别、处理等工作，能够将判断结果显示并返回。

由于在电力系统的集中操作台或就地电气柜上，通常根据指示灯的“亮”/“灭”(即俗称的状态)或远端操作开关的“垂直”/“倾斜”(即俗称的位置)，来表示各种开关设备的运行与否，故采用本发明的技术方案，可以根据拍摄到的图像中各个指示灯的状态或远端操作开关的位置，来准确判断对应的变配电设备是否投入运行或运行状态是否正常。从这个意义上来说，只要实现了变配电站各种监控图像的自动采集、分析，通过本发明的技术方案，完全可以替代人工完成巡检作业和数据记录等操作。

由于本发明的技术方案能根据符合要求的图像所包含的内容，分析设备的运行状态、检测仪表的读数，具有较好的认识和理解能力，并能根据预定的逻辑规则，及时返回判读结果；其采用多种图元识别方法，能精准识别电气符号的颜色、轮廓、内容，初步实现了从人工巡检向机器巡检的转变；该技术方案不仅能用于对现场监控图像的智能分析，通过图像提取有用的数据和信息，识别电力设备和系统的正常 /异常状态；也可以用于移动作业平台，实现图像的自动采集、分析，替代人工完成巡检作业和数据记录等操作；是一种实用的、可靠的、实时机器视觉理解系统方案。

本发明可广泛用于变配电站监控图像的自动采集、分析以及变配电设备的运行管理领域。

Claims (5)

1.一种基于OpenCV的电气柜电气符号识别方法，其特征是所述的识别方法包括下列步骤：

1)采用视频监控系统获得电气柜正面的监控视频，并将所获得的监控视频通过截屏或抽取指定的画面，得到需要的待识别图像；

2)图像预处理：采用高斯滤波针对待识别图像中噪声进行线性平滑滤波，采用Canny算子进行边缘检测；

3)图元识别：识别出目标物体区域；

4)直线检测：利用霍夫变换来检测图案中的直线线条，在原图像中绘制检测出的线条；

5)角度计算：计算检测出的线条的倾斜角度并由此判断元器件是否处于正常状态；

6)将判断结果显示并返回识别结果；

所述的电气柜电气符号识别方法，根据符合要求的图像所包含的内容，分析设备的运行状态、检测仪表的读数，并根据预定的逻辑规则，及时返回判读结果；

所述的电气柜电气符号识别方法，根据拍摄到的图像中各个指示灯的状态或远端操作开关的位置，来准确判断对应的变配电设备是否投入运行或运行状态是否正常；

其中，所述的采用高斯滤波针对图像中噪声进行线性平滑滤波，通过对灰度矩阵中的每一个像素点作其本身和邻域内的其他像素值的加权平均，来有效地过滤和抑制噪声带来的影响；

在所述的直线检测过程中，运用两个坐标空间之间的变换，将在一个空间中具有相同形状的曲线或直线映射到另一个坐标空间的一个点上形成峰值，从而把检测任意形状的问题转化为统计峰值问题；

所述的电气柜电气符号识别方法，采用多种图元识别方法，精准识别电气符号的颜色、轮廓、内容，通过图像提取有用的数据和信息，识别电力设备和系统的正常/异常状态；实现图像的自动采集、分析，替代人工完成包括巡检作业和数据记录在内的操作。

2.按照权利要求1所述的基于OpenCV的电气柜电气符号识别方法，其特征是所述的采用Canny算子进行边缘检测，其Canny算法使用的卷积算子为：

其x向，y向的一阶偏导数矩阵，梯度幅值及其梯度方向的数学表达式为：

P[i,j]＝(f[i,j+1]-f[i,j]+f[i+1,j+1]-f[i+1,j])/2

Q[i,j]＝(f[i,j]-f[i+1,j]+f[i,j+1]-f[i+1,j+1])/2

θ[i,j]＝arctan(Q[i,j]/P[i,j])。

3.按照权利要求2所述的基于OpenCV的电气柜电气符号识别方法，其特征是在所述的Canny算法中，寻找像素点局部最大值，将非极大值点所对应的灰度值置为0，可能为边缘的局部灰度极大值点设置其灰度为128；采用双阈值法来减少伪边缘的数量：在高阈值图像中把边缘连接成轮廓，当到达轮廓的端点时，在断点的邻域中寻找满足低阈值的点，再根据此点收集新的边缘，直到整个图像边缘闭合为止。

4.按照权利要求3所述的基于OpenCV的电气柜电气符号识别方法，其特征是所述双阈值法的上下阈值比为3:1。

5.按照权利要求1所述的基于OpenCV的电气柜电气符号识别方法，其特征是在进行所述的霍夫变换时，采用函数Hough LinesP(contours,lines,rho,theta,threshold,minLineLength,maxLineGap)来调用累计概率霍夫变换PPHT，以提高执行效率。

Images