CN109190473A - 一种“机器视觉理解”在电力远程监控中的应用 - Google Patents

一种“机器视觉理解”在电力远程监控中的应用 Download PDF

Info

Publication number
CN109190473A
CN109190473A CN201810851000.0A CN201810851000A CN109190473A CN 109190473 A CN109190473 A CN 109190473A CN 201810851000 A CN201810851000 A CN 201810851000A CN 109190473 A CN109190473 A CN 109190473A
Authority
CN
China
Prior art keywords
image
pointer
dial plate
straight line
machine vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810851000.0A
Other languages
English (en)
Inventor
吴昊
毛俊
张立
韩浩江
柴俊
金麒
张海清
孙铮
杨杰
龚政
杨剑
王婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI ELECTRIC POWER INDUSTRIAL Co Ltd
State Grid Shanghai Electric Power Co Ltd
Original Assignee
SHANGHAI ELECTRIC POWER INDUSTRIAL Co Ltd
State Grid Shanghai Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI ELECTRIC POWER INDUSTRIAL Co Ltd, State Grid Shanghai Electric Power Co Ltd filed Critical SHANGHAI ELECTRIC POWER INDUSTRIAL Co Ltd
Priority to CN201810851000.0A priority Critical patent/CN109190473A/zh
Publication of CN109190473A publication Critical patent/CN109190473A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种“机器视觉理解”在电力远程监控中的应用,属数据识别领域。其对图像进行显著性区域检测;进行边缘检测;寻找最小的方形轮廓,得到表盘定位结果;采用Gamma矫正与同态滤波器结合的方法对去噪后的待分析图像进行增强;通过Hough变换求直线:通过对显著性区域检测后的指针图像进行Hough变换,采用设置阈值的方式检索该变换空间寻找最大霍夫值,再反变换至原始图像颜色空间,即可得到指针边缘的直线方程;将直线坐标转换到以表盘中心点坐标为原点的坐标系中;使用指针所在直线的斜率换算出指针倾斜的角度,并根据角度与仪表读数之间的对应关系来计算仪表的对应读数。可应用于变配电站的数据远程采集、自动分析以及运行管理等领域。

Description

一种“机器视觉理解”在电力远程监控中的应用
技术领域
本发明属于数据识别领域,尤其涉及一种用于电力系统设备或线路的远程监控及图像识别。
背景技术
基于降低运行成本和节约占地面积等方面的考虑,随着无人值守变电站越来越多地被采用,各种视频监控系统被大量应用。
“视觉理解”技术是一种智能系统,可以通过视觉系统(摄像机)对所处的环境进行自主观测和分析的智能化技术,是人工智能技术和机器视觉技术发展的一个重要方向,在变电站巡检、远程集中监控、视频图像大数据分析和挖掘等方面具有非常广阔的应用前景。
在电力行业,机器视觉技术已经有一些成功的案例。尤其在红外图像的分析方面已经取得了一些较为显著的进展。可以通过图像分析技术得出绝缘结构件的温度分布从而判断是否存在绝缘下降、过热等设备缺陷;在架空线路的巡线、仪表盘读取方面也有非常成功的应用。
随着“机器视觉”的应用日益广泛,已经开始出现采用“机器视觉”读取变配电设备的运行参数或状态,并将其数字化远传,用于远程集中控制或自动控制的案例。
具体的,在变配电站的现场环境中,将机器人安装在所需检测仪表、指示灯或开关上放的导轨上,通过将图像特征点检测方法应用现场安装的机器人上,让机器人视觉代替人的眼睛去做读取仪表数据、指示灯状态、开关状态等工作。
在这一整个环节中,要有代替人眼睛捕获图像机器眼睛,这里用摄像头代替;将捕获的图像进行分析的大脑,这里用计算机软硬件设备;最后就是汇报分析得到的结果,这里则需要用到计算机通讯技术。将整个环节整理成需要用到结果或信息,这个过程中需要用到的技术主要有:照明、摄像、捕获关键帧、图像分析、计算机软硬件、控制程序、硬件设备等。
从现在的技术发展趋势看,“视觉理解”技术在变电站巡检、远程集中监控、视频图像大数据分析和挖掘等方面具有非常广阔的应用前景。
该技术不仅可用于误操作内容的识别、用于对现场监控图像的智能分析,通过图像提取有用的数据和信息,识别电力设备和系统的正常/异常状态;也可以用于移动作业平台,实现图像的自动采集、分析,替代人完成巡检作业和数据记录等操作。
在实际工作中发现,因检测对象在面板的数量、分布位置、所处的环境条件差异性和受拍摄视角随机影响。获取的(指针式仪表、指示灯、按钮等)图像会有边缘畸变、模糊且有效特征信息丢失,造成图像降质。
如何消除视角变化造成的仪表图像几何变形而引起的视觉测量误差问题,以及如何在不同光照、噪声干扰条件下识别不同表盘数据等问题,是检测设备状态的表盘读数识别系统中的难题。
发明内容
本发明所要解决的技术问题是提供一种“机器视觉理解”在电力远程监控中的应用。其针对目前表盘区域分割算法对光照变化、光照不均衡、指针阴影等情况不能较好对表盘区域分割问题,引入显著性分割技术检测表盘区域,研究显著性区域分割算法,并使用显著性区域分割算法识别仪表图像中表盘区域,提高识别表盘区域的鲁棒性,为后续视觉理解提供可靠的图元。
本发明的技术方案是:提供一种“机器视觉理解”在电力远程监控中的应用,包括对电气控制柜面板上的模拟显示类仪表盘图像的实时获取,其特征是:
1)进行图像调整尺寸、图像灰度化和图像二值化处理,实现显著性区域检测;
2)绘制连通域轮廓,寻找图中的正方形;
3)采用Canny算子进行边缘检测;
4)通过边界检测,寻找最小的方形轮廓,得到表盘定位结果;
5)抠出最小的正方形区域作为表盘的待分析图像;
6)采用Gamma矫正与同态滤波器结合的方法对去噪后的待分析图像进行增强;
7)通过Hough变换求直线:通过对显著性区域检测后的指针图像进行Hough变换,采用设置阈值的方式检索该变换空间寻找最大霍夫值,再反变换至原始图像颜色空间,得到指针边缘的直线方程;
8)判断仪表指针和表盘中心点的位置关系;
9)将直线坐标转换到以表盘中心点坐标为原点的坐标系中。
10)使用指针所在直线的斜率换算出指针倾斜的角度,并根据角度与仪表读数之间的对应关系来计算仪表的对应读数;
11)把仪表的对应读数与预设定的上下限值进行比较,判断仪表对应读数的真伪,把判断为“假”的仪表对应读数舍弃;
12)将判断为“真”的仪表对应读数输出,进行常规的继保逻辑监控或仪表读数记录、储存。
具体的,在进行所述的显著性区域检测时,采用指定精度逼近多边形曲线的方法进行轮廓形状检测。
进一步的,在寻找所述图中的正方形时,以轮廓面积为限制,以减少运算次数。
其在采用Canny算子进行所述边缘检测的步骤如下:
步骤1:用高斯滤波器平滑图像;
步骤2:通过一阶偏导有限差分计算梯度幅值和方向;
步骤3:对梯度幅值进行非极大值一直;
步骤4:用双阈值算法检测和连接边缘。。
具体的,在通过Hough变换求直线时,通过长度筛选去除边框。
进一步的,在进行Hough变换时,将直线坐标转换到以表盘中心点坐标为原点的坐标系中。
本技术方案在进行边缘检测时,使用二值化处理,弱化光照的影响,使指针的轮廓清晰,便于检测出直线。
本技术方案在判断所述仪表指针和表盘中心点的位置关系时,表盘中心点的确定按照下列步骤进行:
步骤1:仪表指针以表盘中心点为轴转动,截取出仪表指针处于不同位置的多幅图像;
步骤2:利用Hough变换等算法提取这些图像中的仪表指针直线;
步骤3:计算每两条直线的交点;
步骤4:对交点所在位置进行统计,选取重合次数最多的交点坐标作为表盘的中心点。
与现有技术比较,本发明的优点是:
1.本技术方案通过直线的斜率和直线的位置进行筛选,选出指针边缘所在的直线,能够自动从视觉图像中提取设备的运行参数;
2.本技术方案不仅可用于对现场监控图像的智能分析,通过图像提取有用的数据和信息,识别电力设备和系统的正常/异常状态;也可以用于移动作业平台,实现图像的自动采集、分析,替代人完成巡检作业和数据记录等操作;
3.本技术方案使用显著性区域分割算法识别仪表图像中表盘区域,提高识别表盘区域的鲁棒性,为后续视觉理解提供可靠的图元;同时还可以通过机器学习的方式获取待检测表盘类型,能建立一个稳定性高、适用性强的仪表读数识别模型。
附图说明
图1是本发明仪表指针识别流程示意图;
图2是本发明混合噪声滤波器算法的基本流程方框图;
图3是H(u,v)曲线示意图;
图4是直线的极坐标方程示意图;
图5是含外框的仪表图像;
图6是消除边框影响后的仪表图像;
图7是经过二值化处理后的仪表指针图像;
图8是经二值化后再边缘检测所得到的仪表指针图像。
图中1为边框包含的直线,2为仪表指针的第一边缘直线,3为仪表指针的第二边缘直线。
具体实施方式
下面结合附图和实施例对本发明做进一步说明。
变电站设备(通常是电气控制柜)面板上的典型仪表表盘包括气压表、油温表、温度表、避雷器表与电气设备所用的六氟化硫气体纯度分析相关的台式数显仪表、LED报警灯和TFT显示屏等。其中气压表、油温表、温度表、避雷器表为指针式仪表,通过指针指向的刻度反应读数,此类仪表习惯上被称之为模拟显示仪表
图1中,本发明的技术方案提供一种了“机器视觉理解”在电力远程监控中的应用,包括对电气控制柜面板上的模拟显示类仪表盘图像的实时获取,其发明点在于:
1)进行图像调整尺寸、图像灰度化和图像二值化处理,实现显著性区域检测;
2)绘制连通域轮廓,寻找图中的正方形;
3)采用Canny算子进行边缘检测;
4)通过边界检测,寻找最小的方形轮廓,得到表盘定位结果;
5)抠出最小的正方形区域作为表盘的待分析图像
6)采用Gamma矫正与同态滤波器结合的方法对去噪后的待分析图像进行增强;
7)通过Hough变换求直线:通过对显著性区域检测后的指针图像进行Hough变换,采用设置阈值的方式检索该变换空间寻找最大霍夫值,再反变换至原始图像颜色空间,即可得到指针边缘的直线方程;
8)判断仪表指针和表盘中心点的位置关系;
9)将直线坐标转换到以表盘中心点坐标为原点的坐标系中。
10)使用指针所在直线的斜率换算出指针倾斜的角度,并根据角度与仪表读数之间的对应关系来计算仪表的对应读数;
11)把仪表的对应读数与预设定的上下限值进行比较,判断仪表对应读数的真伪,把判断为“假”的仪表对应读数舍弃,重新;
12)将判断为“真”的仪表对应读数输出,进行常规的继保逻辑监控或仪表读数记录、储存。
本发明的技术方案,针对特定的变电站系统对机器人进行简单的标定和训练以后,机器人系统能够自动从视觉图像中提取设备的运行参数(各种模拟仪表的显示值)和运行状态。
其视觉分析处理功能通过移植开源的OpenCV开发包到硬件平台上实现。OpenCV实现了图像处理和计算机视觉方面的很多通用算法。OpenCV用C++语言编写,它的主要接口也是C++语言,但是依然保留了大量的C语言接口。
1、仪表图像的噪声消除:
通过监控摄像所获得的仪表图像,大致都服从高斯噪声和椒盐噪声两种噪声的分布:对热噪声等的建模可采用高斯模型;散斑噪声等的建模可采用椒盐噪声的模型,依据仪表图像噪声的不同,进行分类处理,以达到较好的去噪效果。
高斯滤波是一种线性平滑滤波,适用于消除高斯噪声,广泛应用于图像处理的减噪过程。
对于椒盐噪声则利用中值滤波算法进行滤波去噪。中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术,它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。可以定义为:
g(x,y)=median{f(x-i,y-i)}x,y∈W
式中g(x,y)和f(x-i,y-i)分别为输出和输入的像素单通道值,为滑动窗口该方法通过利用不同的二维滑窗,实现不同的滤波效果。
图2中,针对仪表图像的噪声分布,本技术方案采用一种将双边滤波与中值滤波结合的滤波算法。其基本过程为:首先对图像采取边缘检测,若含有边缘细节信息,则跳过,反之就进行进一步判别,辨识出其符合何种噪声模型,根据噪声模型的不同采用不同的去噪方法。
2、图像边缘检测:
边缘检测的基本原理是:首先将图像划分成3X3厘米大小的小窗口,再采用检测算法,仅处理那些不包含有任何边缘信息的窗口。
目前普遍使用的几种边缘检测提取因子有Sobel算子Canny算子,Prewitt算子以及Kirsch算子等。由于Canny算子对噪声的容忍度与准确度高,且对边缘判断较为精确,本技术方案的边缘检测采用Canny算子。
Canny算子具体算法步骤如下:
Step1:用高斯滤波器平滑图像;
Step2:通过一阶偏导有限差分计算梯度幅值和方向;
Step3:对梯度幅值进行非极大值一直;
Step4:用双阈值算法检测和连接边缘。
3、图像增强:
由于硬件设备或现场环境的抑制会导致图像失真丢失部分关键数据,从而影响分割和识别结果,一般需要对图像进行增强操作。
本技术方案针对变电站仪器仪表图像的特点,采用Gamma矫正与同态滤波器结合的方法对去噪后的图像进行增强。
在未经gamma校正的情况下,低灰度时有较大范围的灰度值被保存成同一个值,造成信息丢失;同时高灰度值时,很多比较接近的灰度值却被保存成不同的值,造成空间浪费。
经过gamma校正后,改善了存储的有效性和效率。
Gamma矫正是对输入图像的所有通道灰度值进行非线性操作,利用指数变换的方式使得输出图像相较于输入而言,凸显其低分辨率处的细节信息。它的公式表达为:
同态滤波是一种在频域中同时将图像亮度范围进行压缩和将图像对比度进行增强的方法。
同态滤波器能够减少低频并且增加高频,从而能减少光照变化并锐化边缘细节。图像的同态滤波技术的依据是图像获取过程中的照明反射成像原理。它属于频域处理,作用是对图像灰度范围进行调整,通过消除图像上照明不均的问题。
非线性滤波器能够在很好地保护细节的同时,去除信号中的噪声,同态滤波器就是一种非线性滤波器,其处理是一种基于特征的对比度增强方法。它的基本思想是先对非线性混杂信号作对数运算转变为加性,然后用线性滤波方法处理,最后做反变换运算得到增强后的图像。
一幅图像f(x,y)可以表示为照射分量i(x,y)与发射分量r(x,y)的乘积,即其中0<i(x,y)<∞,0<r(x,y)<∞。
进行同态滤波时首先需要对原图像f(x,y)进行对数操作,目的是使得图像模型中的乘法运算转化为简单的加法运算:
z(x,y)=lnf(x,y)=lni(x,y)+lnr(x,y)
再对对数函数做福利叶变换,将其转换至频域:
z(x,y)=F[lni(x,y)]+F[lnr(x,y)]
即:
Z=I+R
选择适当的传递函数,压缩光照分量i(x,y)的变化范围,消弱I(u,v),增强反射分量r(x,y)的对比度,提升R(u,v),强高频分量,即确定一个合适的H(u,v)。
由上分析可知H(u,v)的大致形状如图3中所示。
假设用一个同态滤波器函数H(u,v)来处理原图像f(x,y)的对数的傅里叶变换Z(u,v),得:
S(u,v)=H(u,v)Z(u,v)=H(u,v)I(u,v)+H(u,v)R(u,v)
逆变换到空域得:
s(x,y)=F-1(S(u,v))
最后进行取指数操作,即可得到最终的增强图像:
f'(x,y)=exp(s(x,y))
4、基于视觉显著性特征的图像分割算法
面对视觉检测中日益庞大的数据量和复杂的任务,如何消除数据中包含的冗余信息并快速准确地完成各种图像分析任务成为机器视觉领域关注的一个焦点。
基于显著性度量的特征选择与优化:
由于环境条件的限制,目标特征存在很大的不确定性,显著性度量不应以具有确定形式的函数为准则,而应该是一个经验统计量。
最显著特征对应着最大的概率值,基于最大正确率的概率显著性的优点是准确率较高,因此本技术方案采用最大正确概率来描述特征的显著性,依据概率显著性来进行特征优化。
评价一个特征对于目标辨识的重要性时,最简单的标准就是把该特征独立用于目标辨识,根据辨识的准确率确定其重要性。依据概率显著性,得到辨识准确率最大的特征对应于最显著的特征,同理,依次可以求得次显著的特征。设由特征选择算法得到的最优特征子序列fo=(fo1,fo2,···,fom),对某一特征foi∈fo,设利用特征foi进行辨识的总准确率为Pri,目标准确率为Ptri,采用算术平均的方法定义特征foi的贡献度值Di为:
因此,最优特征子序列fo中所有特征组成的贡献度矢量为D=(D1,D2,···,Dm)。特征贡献度矢量中每个值都在0-1之间,进一步考虑每个特征在特征空间中的相对贡献大小,对特征贡献度矢量进行归一化,得到下式的特征权值:
由于不同的特征对鉴别的贡献是不一样的,在训练阶段应用基于GA的特征选择算法得到最优特征子序列之后,如果能够进一步对最优特征子序列进行特征优化,则无疑会提高测试阶段的辨识性能。
由于最优特征子序列中特征间相关性很小,可以看作是相互独立的,因此采用最大正确率来描述特征的显著性,依据概率显著性来进行特征优化。
对于由遗传算法搜索得到的最优特征子序列fo=(fo1,fo2,···,fom),对某一特征foi∈fo,用训练数据库通过鉴别器产生的总错误数为Toei,训练图像总数为To,漏报数为Miei,训练的真缺陷图像为Mi,则利用特征foi进行鉴别的总正确率为:
目标正确率为:
将式(8)与式(9)代入到式(170求得特征foi的贡献度值Di,最后代入式(7)即可求得每个特征的权值:
F(fi)=-(nlg(L)+Toelg(To)+Mielg(Mi))
基于形状特征的视觉显著性描述
形状特征是对图像对象扩展程度的一个二值描述。形状特征描述形式一般要求具有平移、旋转和尺度不变性。
通常情况下,形状特征有两类表示方法,一类是轮廓特征,另一类是区域特征。
图像的轮廓特征主要针对物体的外边界,而图像的区域特征则关系到整个形状区域。
5、本技术方案中基于显著性区域检测的仪表识别算法:
本技术方案针对变电站指针仪表的自动读数问题,结合仪表读数识别的主要过程,设计读数识别方法。其依据仪表图像特点,基于视觉显著性的方法检测仪表指针区域,提出一种基于仪表指针区域的读数识别方法。
依据指针特征检测与读数识别流程,可分为两部分:第一部分计算指针夹角,第二部分识别仪表读数。
本技术方案首先利用指针在水平位置投影大的先验知识计算指针夹角;最后依据指针夹角识别仪表读数。
A、Hough变换求直线:
Hough变换的基本原理在于利用点与线的对偶性,将原始图像空间中给定曲线通过曲线表达形式变为参数空间的一个点。将原始图像中给定曲线检测问题转化为寻找参数空间中的峰值问题。即把检测整体特性转化为检测局部特性。比如直线、椭圆、圆、弧线等。
Hough变换思想为:在原始图像坐标系下的一个点对应了参数坐标系中的一条直线,同样参数坐标系的一条直线对应了原始坐标系下的一个点。原始坐标系下呈现直线的所有点,它们的斜率和截距是相同的,所以它们在参数坐标系下对应于同一个点。这样在将原始坐标系下的各个点投影到参数坐标系下之后,通过寻找变换空间中的峰值即为原始图像中的一条直线。
本技术方案通过对显著性区域检测后的指针图像进行Hough变换,通过设置阈值的方式检索该变换空间寻找最大霍夫值,在反变换至原始图像颜色空间,即可得到指针边缘的直线方程。
B、表盘中心点的确定及坐标系转换:
利用角度转换法计算指针读数值需要判断仪表指针和表盘中心点的位置关系。表盘中心点确定步骤如下:
Step1:仪表指针以表盘中心点为轴转动,截取出仪表指针处于不同位置的多幅图像;
Step2:利用Hough变换等算法提取这些图像中的仪表指针直线;
Step3:计算每两条直线的交点;
Step4:对交点所在位置进行统计,选取重合次数最多的交点坐标作为表盘的中心点。
Hough变换求出的指针直线位于以图像左上点为原点的坐标系,为了方便后续计算,需要将直线坐标转换到以表盘中心点坐标为原点的坐标系中。
C、指针读数:
本技术方案使用角度转换法计算仪表指针读数。角度法的原理是使用指针所在直线的斜率换算出指针倾斜的角度,并根据角度与读数之间的对应关系来计算读数。
对本发明的技术方案进一步详述如下:
1)关于模拟仪表的指针:
指针分为多指针和单指针两种。
本技术方案只对单指针的情况进行了处理。
单指针处理的思路是:利用霍夫变换找出指针,根据指针的倾斜角来计算此时指针的度数。
2)算法设计:
算法实现流程:灰度化->高斯滤波->灰度变换->中值滤波->Canny算子边缘检测->霍夫变换检测直线-->计算直线角度
(1)灰度化:
为了提高实时性,应该尽量减少计算量。这里的指针的颜色并非特殊特征,故在此对图像进行灰度化处理,减少颜色信息,提高计算速度。灰度化就是将彩色图像转化成为灰度图像,主要的计算方法就是将彩色图像中的三分量亮度求平均得到一个灰度值。主要计算公式为:
f(i,j)=(R(i,j)+G(i,j)+B(i,j))/3
(2)高斯滤波:
高斯滤波通常用来减少图像噪声以及降低细节层次,具体操作为:用一个模板(或称卷积、掩模)扫描图像中的每一个像素,用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。若使用3×3模板,则计算公式如下:
g(x,y)={f(x-1,y-1)+f(x-1,y+1)+f(x+1,y-1)+f(x+1,y+1)+[f(x-1,y)+f(x,y-1)+f(x+1,y)+f(x,y+1)]*2+f(x,y)*4}/16
其中,f(x,y)为图像中(x,y)点的灰度值,g(x,y)为该点经过高斯滤波后的值。
(3)中值滤波:
滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术,其基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替,让周围的像素值接近的真实值,从而消除孤立的噪声点。方法是用某种结构的二维滑动模板,将板内像素按照像素值的大小进行排序,生成单调上升(或下降)的为二维数据序列。二维中值滤波输出为:
g(x,y)=med{f(x-k,y-l),(k,l∈W)}
其中,f(x,y),g(x,y)分别为原始图像和处理后图像。W为二维模板,通常为3*3,5*5区域,也可以是不同的的形状,如线状,圆形,十字形,圆环形等。
(4)Canny算子边缘检测:
图象的边缘是指图象局部区域亮度变化显著的部分,该区域的灰度剖面一般可以看作是一个阶跃,既从一个灰度值在很小的缓冲区域内急剧变化到另一个灰度相差较大的灰度值。Canny算子是常用的边缘检测算法。Canny边缘检测的具体步骤为:
①滤波:在实际情况中理想的灰度阶跃及其线条边缘图像是很少见到的,同时大多数的传感器件具有低频滤波特性,这样会使得阶跃边缘变为斜坡性边缘,看起来其中的强度变化不是瞬间的,而是跨越了一定的距离。这就使得在边缘检测中首先要进行的工作是滤波。边缘检测的算法主要是基于图像强度的一阶和二阶导数,但导数通常对噪声很敏感,因此必须采用滤波器来改善与噪声有关的边缘检测器的性能。Canny边缘检测中使用的是有高斯滤波。
②增强:增强边缘的基础是确定图像各点邻域强度的变化值。增强算法可以将图像灰度点邻域强度值有显著变化的点突显出来。Canny检测中是通过计算梯度幅值来确定的。这里使用Sobel算子来计算梯度:
③非极大值抑制:图像梯度幅值矩阵中的元素值越大,说明图像中该点的梯度值越大,但这不能说明该点就是边缘(这仅仅是属于图像增强的过程)。在Canny算法中,非极大值抑制是进行边缘检测的重要步骤,通俗意义上是指寻找像素点局部最大值,将非极大值点所对应的灰度值置为0,这样可以剔除掉一大部分非边缘的点。
④检测:经过增强的图像,往往邻域中有很多点的梯度值比较大,而在特定的应用中,这些点并不是我们要找的边缘点,所以应该采用某种方法来对这些点进行取舍。
Canny算法中减少假边缘数量的方法是采用双阈值法。选择两个阈值,根据高阈值得到一个边缘图像,这样一个图像含有很少的假边缘,但是由于阈值较高,产生的图像边缘可能不闭合,为解决这样一个问题采用了另外一个低阈值。在高阈值图像中把边缘链接成轮廓,当到达轮廓的端点时,该算法会在断点的8邻域点中寻找满足低阈值的点,再根据此点收集新的边缘,直到整个图像边缘闭合。
(5)Hough变换检测直线:
Hough变换是图像处理中的一种特征提取技术,该过程在一个参数空间中通过计算累计结果的局部最大值得到一个符合该特定形状的集合作为Hough变换结果。Hough变换是基于点-线的对偶性思想。
在图像XY里,所有过点(x,y)的直线的方程为:
y=px+q
由此可知,在图像空间中共线的点对应在参数空间里面相交的线,反过来,在参数空间里面相交于同一个点的所有直线在图像空间里面都有共线的点与之对应,这就是点-线的对偶性。
Hough变换就是根据这样的关系把空间里面的检测问题转换到参数空间,通过参数空间里面进行简单的累计统计来完成直线的检测任务。
此时我们使用直线的极坐标方程来表示直线,其方程如下式:
λ=xcosθ+ysinθ
上述直线的极坐标方程如图4中所示。
本技术方案中,Hough变换的具体实现步骤如下:
(a)建立一个参数(λ,θ)空间的二维的数组,该数组相当于一个累加器。
(b)顺序搜索图像中所有目标(黑色)像素,对于每一个目标像素,在参数空间中找到对应位置,然后在累加器的对应位置加1。
(c)求出参数空间(累加器)中最大值,其位置为(λ',θ')。
(d)通过参数空间位置(λ',θ'),找到图像空间中相对应的直线参数。
(6)计算指针所在直线倾斜角:
找出的直线中只有少数几条是我们所需要的指针两侧的轮廓线,我们需要通过直线长度和倾斜角的筛选来找到目标直线,计算目标直线的倾斜角的平均值,即指针所在直线的倾斜角θ。由于仪表的读数N直接依赖于指针的倾斜角θ和仪表的量程Α,且表盘中指针的倾斜角在0~90°之间,所以计算方法如下:
N=2Aθ/π
这样就可以得到最终的结果了。
在实际实施过程中发现,在对仪表图像直接进行边缘检测时,检测结果受光照影响较大,严重时无法再检测出直线。再有就是检测出来的直线将会把边框包含在内;或者是受阴影的影响,无法同时检测出指针的两边,这在三角形指针的检测上会产生较大影响。
对此,本技术方案一方面使用二值化处理,弱化光照的影响,使轮廓清晰,便于检测出直线。另一方面,通过长度筛选来去除边框。
图5中给出了含外框的仪表图像,明显地,该图像中包含了边框的直线1、仪表指针的第一边缘直2和仪表指针的第二边缘直线3。
图6是消除边框影响后的仪表图像;图7是经过二值化处理后的仪表指针图像;图8是经二值化后再边缘检测所得到的仪表指针图像。
为验证本技术方案的有效性,对从电力站采集的样本进行了指针识别实验。实验环境为Visual Studio 2013,OpenCV 2.4.13,酷睿i52.60GHzCPU,4G内存。
表1指针识别结果表
由表1可见,算法对每一个样本都能较准确地读出指针示数,可靠性较高且识别较迅速,具有一定的准确性和实时性。
综上所述,“视觉理解”技术在变电站巡检、远程集中监控、视频图像大数据分析和挖掘等方面具有非常广阔的应用前景。本发明的技术方案,针对目前表盘区域分割算法对光照变化、光照不均衡、指针阴影等情况不能较好对表盘区域分割问题,引入显著性分割技术检测表盘区域,研究显著性区域分割算法,并使用显著性区域分割算法识别仪表图像中表盘区域,提高识别表盘区域的鲁棒性,为后续视觉理解提供可靠的图元。
本发明可广泛应用于各种变配电站运行状态的远程采集、自动分析以及运行管理等领域。

Claims (8)

1.一种“机器视觉理解”在电力远程监控中的应用,包括对电气控制柜面板上的模拟显示类仪表盘图像的实时获取,其特征是:
1)进行图像调整尺寸、图像灰度化和图像二值化处理,实现显著性区域检测;
2)绘制连通域轮廓,寻找图中的正方形;
3)采用Canny算子进行边缘检测;
4)通过边界检测,寻找最小的方形轮廓,得到表盘定位结果;
5)抠出最小的正方形区域作为表盘的待分析图像;
6)采用Gamma矫正与同态滤波器结合的方法对去噪后的待分析图像进行增强;
7)通过Hough变换求直线:通过对显著性区域检测后的指针图像进行Hough变换,采用设置阈值的方式检索该变换空间寻找最大霍夫值,再反变换至原始图像颜色空间,得到指针边缘的直线方程;
8)判断仪表指针和表盘中心点的位置关系;
9)将直线坐标转换到以表盘中心点坐标为原点的坐标系中。
10)使用指针所在直线的斜率换算出指针倾斜的角度,并根据角度与仪表读数之间的对应关系来计算仪表的对应读数;
11)把仪表的对应读数与预设定的上下限值进行比较,判断仪表对应读数的真/伪,把判断为“假”的仪表对应读数舍弃;
12)将判断为“真”的仪表对应读数输出,进行常规的继保逻辑监控或仪表读数记录、储存。
2.按照权利要求1所述的“机器视觉理解”在电力远程监控中的应用,其特征是在进行所述的显著性区域检测时,采用指定精度逼近多边形曲线的方法进行轮廓形状检测。
3.按照权利要求1所述的“机器视觉理解”在电力远程监控中的应用,其特征是在寻找所述图中的正方形时,以轮廓面积为限制,以减少运算次数。
4.按照权利要求1所述的“机器视觉理解”在电力远程监控中的应用,其特征是采用Canny算子进行所述边缘检测的步骤如下:
步骤1:用高斯滤波器平滑图像;
步骤2:通过一阶偏导有限差分计算梯度幅值和方向;
步骤3:对梯度幅值进行非极大值一直;
步骤4:用双阈值算法检测和连接边缘。
5.按照权利要求1所述的“机器视觉理解”在电力远程监控中的应用,其特征是在通过Hough变换求直线时,通过长度筛选去除边框。
6.按照权利要求1所述的“机器视觉理解”在电力远程监控中的应用,其特征是在进行Hough变换时,将直线坐标转换到以表盘中心点坐标为原点的坐标系中。
7.按照权利要求1所述的“机器视觉理解”在电力远程监控中的应用,其特征是在进行边缘检测时,使用二值化处理,弱化光照的影响,使指针的轮廓清晰,便于检测出直线。
8.按照权利要求1所述的“机器视觉理解”在电力远程监控中的应用,其特征是在判断所述仪表指针和表盘中心点的位置关系时,表盘中心点的确定按照下列步骤进行:
步骤1:仪表指针以表盘中心点为轴转动,截取出仪表指针处于不同位置的多幅图像;
步骤2:利用Hough变换等算法提取这些图像中的仪表指针直线;
步骤3:计算每两条直线的交点;
步骤4:对交点所在位置进行统计,选取重合次数最多的交点坐标作为表盘的中心点。
CN201810851000.0A 2018-07-29 2018-07-29 一种“机器视觉理解”在电力远程监控中的应用 Pending CN109190473A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810851000.0A CN109190473A (zh) 2018-07-29 2018-07-29 一种“机器视觉理解”在电力远程监控中的应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810851000.0A CN109190473A (zh) 2018-07-29 2018-07-29 一种“机器视觉理解”在电力远程监控中的应用

Publications (1)

Publication Number Publication Date
CN109190473A true CN109190473A (zh) 2019-01-11

Family

ID=64937819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810851000.0A Pending CN109190473A (zh) 2018-07-29 2018-07-29 一种“机器视觉理解”在电力远程监控中的应用

Country Status (1)

Country Link
CN (1) CN109190473A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163162A (zh) * 2019-05-24 2019-08-23 北京华捷艾米科技有限公司 一种电路参数值获取方法及装置
CN110390312A (zh) * 2019-07-29 2019-10-29 北京航空航天大学 基于卷积神经网络的染色体自动分类方法和分类器
CN110633679A (zh) * 2019-09-19 2019-12-31 湘潭大学 一种基于遗传算法的指针式仪表示数自动识别方法及系统
CN110727669A (zh) * 2019-10-10 2020-01-24 国网辽宁省电力有限公司电力科学研究院 一种电力系统传感器数据清理装置及清理方法
CN110796139A (zh) * 2019-10-17 2020-02-14 中国测试技术研究院辐射研究所 测试/检测/校准/检定中指示值图案定位和分割方法
CN111545483A (zh) * 2020-05-18 2020-08-18 江西农业大学 一种筷子分拣检测装置及其检测算法
CN111667473A (zh) * 2020-06-08 2020-09-15 国网新疆电力有限公司乌鲁木齐供电公司 基于改进Canny算法的绝缘子憎水性等级判断方法
CN111723821A (zh) * 2020-06-11 2020-09-29 上海电力大学 一种电厂仪表图像的检测识别方法及装置
CN111898425A (zh) * 2020-06-19 2020-11-06 济南信通达电气科技有限公司 一种变电站分合闸指示器的状态判断方法及设备
CN112464752A (zh) * 2020-11-11 2021-03-09 鼎旺天成科技(青岛)有限公司 一种基于图像模式识别的可视化施工管控系统的实现方法
CN112598701A (zh) * 2020-11-06 2021-04-02 太原理工大学 一种养殖场目标自动跟踪监测视频采集系统与方法
CN112720408A (zh) * 2020-12-22 2021-04-30 江苏理工学院 一种全地形机器人视觉导航控制方法
CN112801098A (zh) * 2019-11-14 2021-05-14 临沂市拓普网络股份有限公司 一种基于轮廓技术的数学符号识别方法
CN113242411A (zh) * 2021-04-30 2021-08-10 广东电网有限责任公司梅州供电局 一种用于高压电缆附件安装的监控系统
CN113283466A (zh) * 2021-04-12 2021-08-20 开放智能机器(上海)有限公司 一种仪表读数识别方法及装置、可读存储介质
CN113361539A (zh) * 2021-05-21 2021-09-07 煤炭科学技术研究院有限公司 一种井下巡检机器人的仪表读取方法、装置及电子设备
CN113762276A (zh) * 2021-08-17 2021-12-07 湖南大学 一种电力作业梯子角度检测方法
CN116645682A (zh) * 2023-07-24 2023-08-25 济南瑞泉电子有限公司 一种水表表盘数字识别方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520894A (zh) * 2009-02-18 2009-09-02 上海大学 基于区域显著性的显著对象提取方法
CN102799867A (zh) * 2012-07-09 2012-11-28 哈尔滨工业大学 基于图像处理的仪表指针转角识别方法
CN104992183A (zh) * 2015-06-25 2015-10-21 中国计量学院 自然场景中的显著目标的自动检测方法
KR20160078605A (ko) * 2014-12-24 2016-07-05 충남대학교산학협력단 복합 이벤트 처리와 기계학습 기반의 가정별 물 수요량 예측 및 누수 탐지방법
CN106529559A (zh) * 2016-12-30 2017-03-22 山东鲁能软件技术有限公司 一种指针式圆形多仪表盘实时读数识别方法
CN106557751A (zh) * 2016-11-22 2017-04-05 中国石油大学(华东) 一种带颜色指示信息的指针式压力表自动读数方法
CN106815323A (zh) * 2016-12-27 2017-06-09 西安电子科技大学 一种基于显著性检测的跨域视觉检索方法
CN107066998A (zh) * 2016-12-30 2017-08-18 山东鲁能软件技术有限公司 一种利用移动设备的指针式圆形单仪表盘实时识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520894A (zh) * 2009-02-18 2009-09-02 上海大学 基于区域显著性的显著对象提取方法
CN102799867A (zh) * 2012-07-09 2012-11-28 哈尔滨工业大学 基于图像处理的仪表指针转角识别方法
KR20160078605A (ko) * 2014-12-24 2016-07-05 충남대학교산학협력단 복합 이벤트 처리와 기계학습 기반의 가정별 물 수요량 예측 및 누수 탐지방법
CN104992183A (zh) * 2015-06-25 2015-10-21 中国计量学院 自然场景中的显著目标的自动检测方法
CN106557751A (zh) * 2016-11-22 2017-04-05 中国石油大学(华东) 一种带颜色指示信息的指针式压力表自动读数方法
CN106815323A (zh) * 2016-12-27 2017-06-09 西安电子科技大学 一种基于显著性检测的跨域视觉检索方法
CN106529559A (zh) * 2016-12-30 2017-03-22 山东鲁能软件技术有限公司 一种指针式圆形多仪表盘实时读数识别方法
CN107066998A (zh) * 2016-12-30 2017-08-18 山东鲁能软件技术有限公司 一种利用移动设备的指针式圆形单仪表盘实时识别方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163162A (zh) * 2019-05-24 2019-08-23 北京华捷艾米科技有限公司 一种电路参数值获取方法及装置
CN110390312A (zh) * 2019-07-29 2019-10-29 北京航空航天大学 基于卷积神经网络的染色体自动分类方法和分类器
CN110633679B (zh) * 2019-09-19 2022-04-08 湘潭大学 一种基于遗传算法的指针式仪表示数自动识别方法及系统
CN110633679A (zh) * 2019-09-19 2019-12-31 湘潭大学 一种基于遗传算法的指针式仪表示数自动识别方法及系统
CN110727669B (zh) * 2019-10-10 2023-10-13 国网辽宁省电力有限公司电力科学研究院 一种电力系统传感器数据清理装置及清理方法
CN110727669A (zh) * 2019-10-10 2020-01-24 国网辽宁省电力有限公司电力科学研究院 一种电力系统传感器数据清理装置及清理方法
CN110796139A (zh) * 2019-10-17 2020-02-14 中国测试技术研究院辐射研究所 测试/检测/校准/检定中指示值图案定位和分割方法
CN112801098B (zh) * 2019-11-14 2023-01-10 临沂市拓普网络股份有限公司 一种基于轮廓技术的数学符号识别方法
CN112801098A (zh) * 2019-11-14 2021-05-14 临沂市拓普网络股份有限公司 一种基于轮廓技术的数学符号识别方法
CN111545483A (zh) * 2020-05-18 2020-08-18 江西农业大学 一种筷子分拣检测装置及其检测算法
CN111667473A (zh) * 2020-06-08 2020-09-15 国网新疆电力有限公司乌鲁木齐供电公司 基于改进Canny算法的绝缘子憎水性等级判断方法
CN111723821A (zh) * 2020-06-11 2020-09-29 上海电力大学 一种电厂仪表图像的检测识别方法及装置
CN111898425A (zh) * 2020-06-19 2020-11-06 济南信通达电气科技有限公司 一种变电站分合闸指示器的状态判断方法及设备
CN112598701A (zh) * 2020-11-06 2021-04-02 太原理工大学 一种养殖场目标自动跟踪监测视频采集系统与方法
CN112464752A (zh) * 2020-11-11 2021-03-09 鼎旺天成科技(青岛)有限公司 一种基于图像模式识别的可视化施工管控系统的实现方法
CN112720408B (zh) * 2020-12-22 2022-07-08 江苏理工学院 一种全地形机器人视觉导航控制方法
CN112720408A (zh) * 2020-12-22 2021-04-30 江苏理工学院 一种全地形机器人视觉导航控制方法
CN113283466A (zh) * 2021-04-12 2021-08-20 开放智能机器(上海)有限公司 一种仪表读数识别方法及装置、可读存储介质
CN113242411A (zh) * 2021-04-30 2021-08-10 广东电网有限责任公司梅州供电局 一种用于高压电缆附件安装的监控系统
CN113361539A (zh) * 2021-05-21 2021-09-07 煤炭科学技术研究院有限公司 一种井下巡检机器人的仪表读取方法、装置及电子设备
CN113762276A (zh) * 2021-08-17 2021-12-07 湖南大学 一种电力作业梯子角度检测方法
CN116645682A (zh) * 2023-07-24 2023-08-25 济南瑞泉电子有限公司 一种水表表盘数字识别方法及系统
CN116645682B (zh) * 2023-07-24 2023-10-20 济南瑞泉电子有限公司 一种水表表盘数字识别方法及系统

Similar Documents

Publication Publication Date Title
CN109190473A (zh) 一种“机器视觉理解”在电力远程监控中的应用
CN109308447A (zh) 在电力远程监控中自动提取设备运行参数和运行状态的方法
CN109615611B (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
CN112734692B (zh) 一种变电设备缺陷识别方法及装置
CN107229930B (zh) 一种指针式仪表数值智能识别方法
CN103528617B (zh) 一种座舱仪表自动识别和检测方法及装置
CN103442209B (zh) 一种输电线路的视频监控方法
CN109308448A (zh) 一种采用图像处理技术来防止变配电误操作的方法
CN109977813A (zh) 一种基于深度学习框架的巡检机器人目标定位方法
CN105158257B (zh) 滑板测量方法及装置
CN109583324A (zh) 一种基于单点多盒检测器的指针仪表读数自动识别方法
Lokeshwor et al. Robust method for automated segmentation of frames with/without distress from road surface video clips
CN106530271B (zh) 一种红外图像显著性检测方法
Dubey et al. Maximally stable extremal region marking-based railway track surface defect sensing
CN101986348A (zh) 一种视觉目标识别与跟踪方法
CN110119680A (zh) 一种基于图像识别的电气柜接线自动查错系统
CN107578021A (zh) 基于深度学习网络的行人检测方法、装置及系统
CN108010025A (zh) 基于rcnn的屏柜的开关与指示灯定位和状态识别方法
CN110189375A (zh) 一种基于单目视觉测量的图像目标识别方法
US8189904B2 (en) Image preprocessing for probe mark inspection
CN113408519B (zh) 一种基于模板旋转匹配的指针仪表读数的方法及系统
Zheng et al. Research on edge detection algorithm in digital image processing
CN113781436B (zh) 一种基于摄像机和角度测量的高压开关状态监测方法
CN115761606A (zh) 基于图像处理的箱体电能表识别方法及装置
Li et al. Vehicle seat detection based on improved RANSAC-SURF algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190111

RJ01 Rejection of invention patent application after publication