CN110580480B - 基于图像处理的表计读数识别方法 - Google Patents

Abstract

本发明涉及图像处理领域，针对指针式仪表读数过程中因表计类型不同而无法确定起始刻度线的问题，本发明旨在提出一种基于起始刻度线提取的算法，通过对指针式仪表的起始刻度线及终止刻度线进行提取定位，结合指针偏转角度所占百分比进行读数，进而满足变电站的指针式仪表读数需求。为此，本发明采取的技术方案是，基于图像处理的表计读数识别方法，包含三个步骤：首先对于起始刻度线以及终止刻度线进行定位，其次进行指针的定位识别，最后通过计算指针相对于起始刻度线的偏转角度得到指针式仪表的读数。本发明主要应用于表计读数识别场合。

Description

基于图像处理的表计读数识别方法

技术领域

本发明涉及图像处理领域，具体涉及基于图像处理的表计读数识别方法。

背景技术

图像处理技术是与计算机的发展、数学的发展以及社会各行业的需求分不开的。20世纪 50年代，随着计算机出现，人们开始尝试利用计算机去处理图形和图像相关信息。60年代，数字图像处理作为一门学科出现，自此人们开始利用图像增强、复原、编码、压缩等处理方法，去改善图像的质量。

近年来随着计算机网络技术，多媒体技术和通信技术的飞速发展，数字图像捕获及处理技术正向着更高更深层次发展，计算机设备性能和图像处理能力都有了明显的提高。与此同时，人们对于计算机的应用要求也越来越高，对于计算机性能的提升，使得集高速迅捷智能化于一体的数字图像处理技术设备成为了可能，也成为了主流趋势。数字图像处理在技术研究、工业生产、医疗系统、教育系统等等取得了广泛的应用具体应用有图像处理在机器人智能巡检、智能无人驾驶、无人机追拍等等。

其中一个主要应用是变电站智能机器人巡检工作。

伴随着我国经济技术的飞速发展以及人民物质生活水平的日益提升，电力资源的需求也在逐渐加大，电能的消耗也越来越高。而作为其中不可缺少的一环的变电站，起着至关重要的作用，其直接关系到国家的发展与人民的生活。大规模的电力设备若出现误差将给国民经济带来无法估计的损失。变电站的安全问题是重中之重所在。

变电站作为电力系统的重要组成部分，其中存在着大量的指针式仪表类设备。表计读数是变电站设备的安全维护的重要指标，应用智能巡检机器人进行指针式仪表读数是目前变电站的首选方式。目前针对指针式仪表的读数方法研究大多数基于表针角度偏转进行读数识别。

智能巡检机器人多工作于室外环境，仪表识别算法需要能够满足室外环境的监测，对于变电站表计读数识别问题，科研人员先后提出了一系列不同的解决方案。常见的方法有Hough (霍夫)直线算法，差影法，RANSAC(随机抽样一致性)和最小二乘法拟合方法等等。朱海霞^[1]采用Hough识别算法，识别表针直线以及表盘圆形，利用减少累加像素数目结合灰度中心法来提升准确性。最后利用BP(反向传播)神经网络定位起始刻度字符识别；许丽等人^[2]提出了一种最大类间方差迭代的方法，实现了多种光照条件下仪表图像的指针区域提取。经过分析指针转动和图像特性，提出了基于Hough变换的指针角度识别，推导出指针角度与仪表读数的函数关系。该算法较传统Hough变换角度提取法，增加了指针中心线通过表计中心等约束条件，提高了指针角度提取的精度，降低了搜索数据量和搜索时间。

[1]Zhu Haixia.Pointer meter recognition based on improved Houghtransform and BP network[J].Electrical Measurement&Instrumentation,2015,52(05):11-14.

[2]Xu Li，Shi Wei,Fang Tian.Pointer meter reading recognition systemin inspection robot[J].Chinese Journal of Scientific Instrumentation,2017,38(07):1782-1790.

发明内容

为克服现有技术的不足，针对指针式仪表读数过程中因表计类型不同而无法确定起始刻度线的问题，本发明旨在提出一种基于起始刻度线提取的算法，通过对指针式仪表的起始刻度线及终止刻度线进行提取定位，结合指针偏转角度所占百分比进行读数，进而满足变电站的指针式仪表读数需求。为此，本发明采取的技术方案是，基于图像处理的表计读数识别方法，包含三个步骤：首先对于起始刻度线以及终止刻度线进行定位，其次进行指针的定位识别，最后通过计算指针相对于起始刻度线的偏转角度得到指针式仪表的读数。

各步骤具体细化如下：

第一步：数据集的构建：通过对变电站气压表图像进行resize得到数量大小为100张的数据集；

第二步：图像初期预处理：图像灰度化，图像二值化，Canny边缘检测；

第三步：圆环提取及起始刻度线位置确定。通过Hough圆检测圆心后，确定圆的位置以及半径，之后从圆心位置进行扩张，直到最后扩张到刻度线外围所在圆上，在刻度线外围圆基础上设置宽度为在±3的圆环，膨胀之后进行5次高斯滤波，在取得圆环之后，任取圆环中已存在的正值点作为起始位置，结合圆心位置构成一条直线，与x轴的夹角记为θ，之后基于直线进行逆时针旋转，步进角度设置为1°，每旋转1°进行一次判定，在圆半径边界位置处的进行正值点阈值判定，确定起始位置，进而确定终止位置；

第四步：指针提取：采取累计概率霍夫变换PPHT提取指针；

第五步：表计读数，最后根据指针与起始刻度线的夹角所占量程百分比进行读数。

更进一步地：

(1)数据集的构建

数据集采用变电站使用的指针式仪表图像进行测试，该数据集表计为气压表，首先对仪表图像尺寸进行初期设置，resize后大小为640*480；

(2)图像预处理

图像的灰度化，二值化，Canny边缘检测：

根据重要性及其它指标，将三个分量以不同的权值进行加权平均，由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，按下式对RGB三分量进行加权平均能得到较合理的灰度图像：

Gray(i,j)＝0.299*R(i,j)+0.578*G(i,j)+0.144*B(i,j) (1)

对于平均值法，将彩色图像中的R、G、B三个分量的亮度求简单的平均值，将得到的值作为灰度值输出而得到灰度图，其实现的表达式如下：

Gray(i,j)＝(r(i,j)+g(i,j)+b(i,j))/3 (2)

使用高斯滤波器与图像进行卷积，该步骤将平滑图像，以减少边缘检测器上明显的噪声影响，大小为(2k+1)x(2k+1)的高斯滤波器核的生成方程式由下式给出：

对于sigma＝1.4，尺寸为3x3的高斯卷积核：

若图像中一个3x3的窗口为A，要滤波的像素点为e，则经过高斯滤波之后，像素点e的亮度值为：

其中*为卷积符号；

Canny算法使用四个算子来检测图像中的水平、垂直和对角边缘，边缘检测的算子返回水平Gx和垂直Gy方向的一阶导数值，由此确定像素点的梯度G和方向theta：

θ＝arctan(G_y/G_x) (7)

其中G为梯度强度，theta表示梯度方向，arctan为反正切函数；

x和y方向的Sobel算子分别为：

对于图像中一个3x3的窗口为A，要计算梯度的像素点为e，则和Sobel算子进行卷积之后，像素点e在x和y方向的梯度值分别为：

G_x＝S_x*A，G_y＝S_y*A (9)

其中*为卷积符号。之后便可计算出像素点e的梯度和方向；

(3)圆环提取及起始刻度线位置提取

固定提取大小在±3范围内的圆环；

对图像进行膨胀处理，kernel设置为参考点位于中心的3x3的核，为保证相邻刻度连接，腐蚀次数为5次，之后进行高斯模糊以及腐蚀，高斯模糊的作用在于边缘平滑，腐蚀后减少像素点判断计算量；

(4)指针位置提取

采取累计概率霍夫变换PPHT提取指针；

(5)表计读数

最后通过指针位置对于起始刻度线的偏转角度以及总量程的大小进行读数，建立坐标系，其中表盘刻度的最大值和最小值是关于Y轴对称的，预先获取的内容包括：最大刻度值V_max，最小刻度值V_min，K₀(x₀,y₀)表盘中心点位置，指针以射线表示：原点与起始刻度线连线以射线/>表示，原点与终止刻度线连线以射线/>表示，/>与/>夹角为θ，/>与夹角为ψ，则最终读数Result计算公式如下式所示：

Result＝(θ/ψ)(V_max-V_min)+V_min (11)。

采取累计概率霍夫变换PPHT提取指针，具体步骤如下：

1)对指针上的任意一点进行选取，判断该点是否被标记为直线上的点，检测未被表计的话进行步骤2)，否则继续在支线上的点中随机抽取，如此循环至所有的点都被标记；

2)采用HT对上述步骤中的点进行变换，同时进行累加和计算；

3)在参数空间内选取区域值最大的点，对其进行判断，若大于阈值，则进行步骤4)，否则返回步骤1)；

4)根据HT得到的最大值，以该点为出发点，沿直线方向移动，找到线段的两个端点L₁(x₁,y₁)、L₂(x₂,y₂)；计算检测到的线段长度，如果大于设定阈值，则认为找到了好的直线，返回步骤1)；

之后通过之前检测圆环的圆心位置以及判定的指针的端点处坐标进行基于x轴的夹角计算。

本发明的特点及有益效果是：

本发明通过对于Hough算法的改进，提出了一种新的应用于指针式仪表读数的算法，避免了不同初始参数及刻度位位置差异对表计读数造成不准确的影响，同时作为应用于智能巡检机器人进行指针式仪表读数变电站巡检的新方法。

附图说明：

图1：起始刻度线读数算法流程图。

图2：原始输入图像。

图3：预处理图像。

图中：图a图像灰度化；图b图像二值化；图c canny边缘检测。

图4：圆环提取图像。

图5：起始刻度线边界处放大图像。

图6：实验结果图。

图7：读数坐标系。

具体实施方式

目前传统的对于指针式仪表的读数识别解决方案大多数都是基于指针偏转的角度法和距离法，但是由于只是对指针的位置及角度提取而未对起始刻度线进行准确提取，使得计算过程需要通过手动输入不同型号表计的参数实现读数，从而导致计算量过大或是精确度不高，不能实现端到端的表计读数识别。

针对起始刻度线无法进行精确定位的问题，本文提出了一种表计读数算法。该算法包含三个步骤：首先对于起始刻度线进行定位，其次结合指针的定位判断偏转角度，最后得到指针式仪表的读数。

第一步：数据集的构建。通过对变电站气压表图像进行resize得到数量大小为100张的数据集。

第二步：图像初期预处理。图像灰度化，图像二值化，canny边缘检测。

第三步：圆环提取及起始刻度线位置确定。通过Hough圆检测圆心后，确定圆的位置以及半径。之后从圆心位置进行扩张，直到最后扩张到刻度线外围所在圆上。在刻度线外围圆基础上设置宽度为在±3的圆环。膨胀之后进行5次高斯滤波。在取得圆环之后，任取圆环中已存在的正值点作为起始位置，结合圆心位置构成一条直线，与x轴的夹角记为θ，之后基于直线进行逆时针旋转，步进角度设置为1°。每旋转1°进行一次判定，在圆半径边界位置处的进行正值点阈值判定。确定起始位置，进而确定终止位置。

第四步：指针提取。霍夫变换(HT)检测直线具有较好的鲁棒性和容错性，但是不能直接获取直线的两个端点，不能自动判断指针的指向，不利于后续读数的判读，因此采取累计概率霍夫变换(PPHT)。

第五步：表计读数，最后根据指针与起始刻度线的夹角所占量程百分比进行读数。

为将本发明的技术方案描述得更加清楚，对本发明的具体实施过程做如下的进一步地描述。本发明按以下步骤具体实现：

(1)数据集的构建

本实验数据集采用变电站使用的指针式仪表图像进行测试。该数据集表计为气压表。首先对仪表图像尺寸进行初期设置，resize后大小为640*480。

(2)图像预处理

图像的灰度化，二值化，Canny边缘检测：

根据重要性及其它指标，将三个分量以不同的权值进行加权平均，由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，按下式对RGB(红色通道、绿色通道、蓝色通道)三分量进行加权平均能得到较合理的灰度图像：

Gray(i,j)＝0.299*R(i,j)+0.578*G(i,j)+0.144*B(i,j) (12)

对于平均值法，将彩色图像中的R、G、B三个分量的亮度求简单的平均值，将得到的值作为灰度值输出而得到灰度图，其实现的表达式如下：

Gray(i,j)＝(r(i,j)+g(i,j)+b(i,j))/3 (13)

使用高斯滤波器与图像进行卷积，该步骤将平滑图像，以减少边缘检测器上明显的噪声影响，大小为(2k+1)x(2k+1)的高斯滤波器核的生成方程式由下式给出：

对于δ＝1.4，尺寸为3x3的高斯卷积核：

若图像中一个3x3的窗口为A，要滤波的像素点为e，则经过高斯滤波之后，像素点e的亮度值为：

其中*为卷积符号；

Canny算法使用四个算子来检测图像中的水平、垂直和对角边缘，边缘检测的算子返回水平Gx和垂直Gy方向的一阶导数值，由此确定像素点的梯度G和方向θ：

θ＝arctan(G_y/G_x) (18)

其中G为梯度强度，θ表示梯度方向，arctan为反正切函数；

x和y方向的Sobel(索贝尔)算子分别为：

对于图像中一个3x3的窗口为A，要计算梯度的像素点为e，则和Sobel算子进行卷积之后，像素点e在x和y方向的梯度值分别为：

G_x＝S_x*A，G_y＝S_y*A (20)

其中*为卷积符号。之后便可计算出像素点e的梯度和方向。

(3)圆环提取及起始刻度线位置提取

图像圆环部分操作。通过Hough圆检测圆心后，确定圆心(x₀,y₀)的位置以及半径R。之后从刻度线外围圆位置进行半径缩小，圆半径缩小步进距离设置为1，即每次半径长度缩小1，直到最后缩小到刻度线外围所在圆上。在刻度线外围圆基础上设置宽度为在±3的圆环。圆环过大会导致像素点计算量的上升，从而使效率下降；圆环过小会导致噪点对像素点判定有影响，计算时的噪点会导致起始刻度位置判断不准确。圆环目的是对于圆环像素点进行阈值判定时鲁棒性强。膨胀之后进行5次高斯滤波，使得其边缘平滑，之后进行腐蚀，使正值点像素点减少，从而减少阈值计算量。

在取得圆环之后，对图像进行从下自上的整行像素值正值点个数判定，此时图像如图5 所示。当整行正值点个数大于判定阈值时，则认为该行内存在起始刻度线以及终止刻度线两点处纵坐标，之后进行遍历整行确定横坐标位置，横坐标偏小的为起始刻度线，偏大的为终止刻度线。

(4)指针位置提取

霍夫变换检测直线的主要思想就是将图像坐标系映射到它的参数空间，得到一些位置的峰点，通过统计峰值点得到符合直线形状的集合。任意一条直线在直角坐标系可表示为 y＝kx+b，则在极坐标系中如下式所示：

ρ＝xcos(θ)+ysin(θ) (21)

式中：ρ表示原点到直线的距离；θ表示ρ中表示距离的垂线与x轴的夹角。

这里采取PPHT进行表计的表针识别，相比于标准霍夫变换，PPHT在一定范围内进行霍夫变换，计算单独线段的方向以及范围，从而减少计算量，降低计算时间。

考虑到传统霍夫变换不能无法获取直线两个端点，也就无法判断指针的方向，对于后续判读造成不利因素，因此采取PPHT。具体步骤如下：

1)对指针上的任意像素点进行选取，判断该像素点是否是被标记为直线上的点，检测未被标记的话执行下一步骤，否则继续在支线上的点中随机抽取，如此循环至所有的点都被标记。

2)采用霍夫变换对上述步骤中的点进行变换，同时进行累加和计算。

3)在参数空间内选取区域值最大的点，对其进行判断，若大于阈值，则进行下一步骤，否则返回步骤1)。

4)根据霍夫变换得到的最大值，以该点为出发点，沿直线方向移动，找到线段的两个端点L₁(x₁,y₁)、L₂(x₂,y₂)。计算检测到的线段长度，如果大于设定阈值，则认为找到了好的直线，返回步骤1)。

之后通过之前检测圆环的圆心位置以及判定的指针的端点处坐标进行基于x轴的夹角计算。

(5)表计读数

最后通过指针位置对于起始刻度线的偏转角度以及总量程的大小进行读数，建立坐标系，其中表盘刻度的最大值和最小值是关于Y轴对称的，预先获取的内容包括：最大刻度值V_max，最小刻度值V_min，K₀(x₀,y₀)表盘中心点位置，指针以射线表示：原点与起始刻度线连线以射线/>表示，原点与终止刻度线连线以射线/>表示，/>与/>夹角为θ，/>与夹角为ψ，则最终读数Result计算公式如下式所示：

Result＝(θ/ψ)(V_max-V_min)+V_min (22)

实验结果：

表一起始刻度线算法误差

从实验结果表中可以看出，误差绝对值的平均值为0.0016，机器判读读数较之人工判读更为精确，鲁棒性强，算法稳定。该算法能够满足变电站指针式仪表的读数测量要求。

从实验结果表中可以看出，误差绝对值的平均值为0.0016，机器判读读数较之人工判读更为精确，鲁棒性强，算法稳定。该算法能够满足变电站指针式仪表的读数测量要求。

本文算法的优点在于图像算法不依据先验知识定位起始位置。算法的原理在于首先确定圆盘位置后，对圆环内的正值点任取一点进行运算，不依赖于位置等先验知识判定，再进行刻度线的识别，因此在平行于镜头的平面内无论进行怎样的角度旋转，均可以对起始刻度线以及终止刻度线进行提取，避免了由于表盘在图像中未能正常拍摄而导致起始刻度线位置无法通过先验知识获得，进而无法获取指针式仪表正常读数的问题。此算法适用于表计起始刻度线不在x轴位置处的表计。

Claims (3)

1.一种基于图像处理的表计读数识别方法，其特征是，包含三个步骤：首先对于起始刻度线以及终止刻度线进行定位，其次进行指针的定位识别，最后通过计算指针相对于起始刻度线的偏转角度得到指针式仪表的读数；各步骤具体细化如下：

第一步：数据集的构建：通过对变电站气压表图像进行resize得到数量大小为100张的数据集；

第二步：图像初期预处理：图像灰度化，图像二值化，Canny边缘检测；

第三步：圆环提取及起始刻度线位置确定，通过Hough圆检测圆心后，确定圆的位置以及半径，之后从圆心位置进行扩张，直到最后扩张到刻度线外围所在圆上，在刻度线外围圆基础上设置宽度为在±3的圆环，膨胀之后进行5次高斯滤波，在取得圆环之后，任取圆环中已存在的正值点作为起始位置，结合圆心位置构成一条直线，与x轴的夹角记为θ，之后基于直线进行逆时针旋转，步进角度设置为1°，每旋转1°进行一次判定，在圆半径边界位置处的进行正值点阈值判定，确定起始位置，进而确定终止位置；

在取得圆环之后，对图像进行从下自上的整行像素值正值点个数判定，当整行正值点个数大于判定阈值时，则认为该行内存在起始刻度线以及终止刻度线两点处纵坐标，之后进行遍历整行确定横坐标位置，结合已确定的起始位置、终止位置，以横坐标偏小的为起始刻度线，偏大的为终止刻度线；

第四步：指针提取：采取累计概率霍夫变换PPHT提取指针；

第五步：表计读数，最后根据指针与起始刻度线的夹角所占量程百分比进行读数。

2.如权利要求1所述的基于图像处理的表计读数识别方法，其特征是，其特征是，其中：

(1)数据集的构建

数据集采用变电站使用的指针式仪表图像进行测试，该数据集表计为气压表，首先对仪表图像尺寸进行初期设置，resize后大小为640*480；

(2)图像预处理

图像的灰度化，二值化，Canny边缘检测：

将三个分量以不同的权值进行加权平均，由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，按下式对RGB三分量进行加权平均能得到较合理的灰度图像：

Gray(i,j)＝0.299*R(i,j)+0.578*G(i,j)+0.144*B(i,j) (1)

对图像或采用平均值法，将彩色图像中的R、G、B三个分量的亮度求简单的平均值，将得到的值作为灰度值输出而得到灰度图，其实现的表达式如下：

Gray(i,j)＝(r(i,j)+g(i,j)+b(i,j))/3 (2)

使用高斯滤波器与图像进行卷积，该步骤将平滑图像，以减少边缘检测器上明显的噪声影响，大小为(2k+1)x(2k+1)的高斯滤波器核的生成方程式由下式给出：

对于sigma＝1.4，尺寸为3x3的高斯卷积核：

若图像中一个3x3的窗口为A，要滤波的像素点为e，则经过高斯滤波之后，像素点e的亮度值为：

其中*为卷积符号；

Canny算法使用四个算子来检测图像中的水平、垂直和对角边缘，边缘检测的算子返回水平Gx和垂直Gy方向的一阶导数值，由此确定像素点的梯度G和方向θ：

θ＝arctan(G_y/G_x) (7)

其中G为梯度强度，θ表示梯度方向，arctan为反正切函数；

x和y方向的Sobel算子分别为：

对于图像中一个3x3的窗口为A，要计算梯度的像素点为e，则和Sobel算子进行卷积之后，像素点e在x和y方向的梯度值分别为：

G_x＝S_x*A，G_y＝S_y*A (9)

其中*为卷积符号，之后便可计算出像素点e的梯度和方向；

(3)圆环提取及起始刻度线位置提取

固定提取大小在±3范围内的圆环；

对图像进行膨胀处理，kernel设置为参考点位于中心的3x3的核，为保证相邻刻度连接，腐蚀次数为5次，之后进行高斯模糊以及腐蚀，高斯模糊的作用在于边缘平滑，腐蚀后减少像素点判断计算量；

(4)指针位置提取

采取累计概率霍夫变换PPHT提取指针；

(5)表计读数

最后通过指针位置对于起始刻度线的偏转角度以及总量程的大小进行读数，建立坐标系，其中表盘刻度的最大值和最小值是关于Y轴对称的，预先获取的内容包括：最大刻度值V_max，最小刻度值V_min，K₀(x₀,y₀)表盘中心点位置，指针以射线表示：原点与起始刻度线连线以射线/>表示，原点与终止刻度线连线以射线/>表示，/>与/>夹角为θ，/>与/>夹角为ψ，则最终读数Result计算公式如下式所示：

Result＝(θ/ψ)(V_max-V_min)+V_min (11)。

3.如权利要求1所述的基于图像处理的表计读数识别方法，其特征是，采取累计概率霍夫变换PPHT提取指针，具体步骤如下：

1)对指针上的任意一点进行选取，判断该点是否被标记为直线上的点，检测未被表计的话进行步骤2)，否则继续在支线上的点中随机抽取，如此循环至所有的点都被标记；

2)采用HT对上述步骤中的点进行变换，同时进行累加和计算；

3)在参数空间内选取区域值最大的点，对其进行判断，若大于阈值，则进行步骤4)，否则返回步骤1)；

4)根据HT得到的最大值，以该点为出发点，沿直线方向移动，找到线段的两个端点L₁(x₁,y₁)、L₂(x₂,y₂)；计算检测到的线段长度，如果大于设定阈值，则认为找到了好的直线，返回步骤1)；

之后通过之前检测圆环的圆心位置以及判定的指针的端点处坐标进行基于x轴的夹角计算。