CN106650697A - 一种仪表刻度识别方法 - Google Patents

Abstract

本发明提供一种仪表刻度识别方法，通过边缘滤波将获取到的原图像变换到对应的边缘强度、边缘方向图像；从边缘强度、边缘方向图像上分析得到单像素轮廓；从单像素轮廓中提取出候选刻度；将得到的单个候选刻度串联成连续的刻度队列；以及将得到的刻度队列中的断开的刻度队列连接成一个整体；对较长的刻度队列进行分析与验证，从而判断其是否满足表盘刻度特征，并分析其刻度排列模式。本发明通过图像处理的方法对图像中的刻度及其排列布局进行识别来自动地建立刻度坐标系，使得电力巡检机器人智能地完成巡检任务并降低识别算法对人工标定的依赖，通过更加智能的图像分析方法来识别各个刻度及其方向。

Description

一种仪表刻度识别方法

技术领域

本发明属于图像处理技术领域，涉及一种仪表刻度识别方法。

背景技术

变电站智能巡检机器人的任务是通过自主的信息采集与处理来获知设备的运行状态，为变电站运维检修提供信息支持。其中，指针型仪表是一类重要的设备状态信息来源，智能巡检机器人通过长焦变倍相机抓拍到清晰的仪表图像，然后运行图像分析程序进行指针读数的识别。开发智能的图像识别算法来对仪表进行自动读数对于巡检机器人意义重大。

利用指针绕轴心旋转这一物理特性，这种识别算法一般分两个步骤：

第一，获得表盘各个刻度在图像中的位置及其指向轴心的方向，由此得到图像中指针的指示方向与刻度读数之间的对应关系；

第二，检测指针并计算其指示方向，然后根据第一步的结果获得指针读数。

针对第一步现有做法一般是事先获取一张表盘的图像作为模板，在模板图像上人工框出刻度盘区域作为定位参照系，并在该参照系上手动画线指示出最小、最大刻度的方向与读数，通过平均插值来得到其它刻度的方向与读数，如果能指示出更多刻度并进行样条插值的话，还能得到更精确的结果。机器人实际巡检过程中通过图像模板匹配技术来将模板上标定的参数适应到巡检图像中。

针对第二步有多种方法可以用来检测指针方向，如检测指针边缘直线，或指针两侧边缘的对称性来检测其对称轴的方向，后者对于两侧非平行的指针其所得结果更为准确。

发明内容

为解决现有技术存在的问题，本发明提供一种仪表刻度识别方法，通过图像处理的方法对图像中的刻度及其排列布局进行识别来自动地建立刻度坐标系。

本发明提供的仪表刻度识别方法，包括以下步骤：

(1)边缘滤波：将获取到的原图像变换到对应的边缘强度图、边缘方向图；

(2)单像素轮廓获取：从边缘强度图上分析得到单像素轮廓；

(3)刻度线检测：从步骤(2)中得到单像素轮廓中提取出候选刻度；

(4)刻度队列获取：将步骤(3)中得到的单个候选刻度串联成连续的刻度队列；

(5)刻度队列融合：将步骤(4)中得到的刻度队列中的断开的刻度队列连接成一个整体；

(6)刻度排列分析：该步骤是要对较长的刻度队列进行分析与验证，从而判断其是否满足仪表盘刻度特征，并分析其刻度排列模式。

边缘滤波具体包括：

(1.1)先将原图像从RGB格式转化成灰度图；

(1.2)然后在灰度图上使用3x3的高斯卷积核进行平滑处理；

(1.3)再使用Sobel算子进行卷积滤波得到X向与Y向的梯度图；

(1.4)最后根据各像素X向、Y向梯度来计算其边缘强度、边缘方向。

单像素轮廓获取具体包括：

(2.1)先在边缘强度图上根据其边缘方向进行非极大值抑制；

(2.2)然后过滤掉边缘强度小于设定阈值的边缘像素；

(2.3)再对留下的像素以八邻域连通像素连接方式、以最短路径搜索算法的节点扩展方式进行遍历；

(2.4)最后对遍历路径上的骨架路径进行处理，即在分叉路径上断开并将方向一致的两端连接，由此得到初步的单像素轮廓；

(2.5)对所得各个单像素轮廓，根据相邻像素间的边缘方向变化情况进行折点检测，将方向变化大于设定阈值的位置视为折点，在该点上切断而得到段内方向变化较为平缓的单像素轮廓。

刻度线检测具体包括：

(3.1)对一定长度范围内的单像素轮廓进行直线拟合，得到该段轮廓对应线段参数；

(3.2)根据线性性滤除不符合要求的轮廓，将符合刻度边缘形态的单像素轮廓从像素形式变成线段参数形式，并根据线段上各像素的边缘方向均值设定该线段的法线方向；

(3.3)将步骤(3.2)中得到的线段间进行两两配对，满足以下全部条件的配对作为刻度的候选配对：线段方向一致、距离小于设定阈值、法线方向相背、长度差异小于设定阈值、线段方向上重叠度大于设定阈值；

(3.4)对候选配对中的两条线段求取其最小外接旋转矩形，作为候选刻度的形态描述，以法线方向的边作为其宽，以线段方向的边作为其高。

刻度队列获取具体包括：

(4.1)在候选刻度间进行两两配对，满足以下全部条件的配对作为相邻刻度对：(a)旋转矩形方向夹角小于设定阈值、(b)距离在与矩形高度相关的区间内、(c)长度差异小于设定阈值、(d)矩形高方向上重叠度大于设定阈值、(e)同时满足(a)-(d)全部条件且距离最近；

(4.2)在相邻刻度对之间添加指向关系构建刻度邻接图，然后遍历刻度得到各刻度队列，并滤除孤立刻度。

刻度队列融合具体包括：

(5.1)对于刻度数大于或等于4的刻度队列，以刻度旋转矩形中高方向上的中位线为刻度中线，求各刻度中线的共同交点；

(5.2)以共同交点为圆心，以各刻度近圆心端点为圆周点拟合椭圆，得到椭圆参数方程；

(5.3)对于任意两个刻度队列，判断刻度队列间是否具有一致性即，圆心间距离小于设定阈值且所有刻度到对方椭圆圆周的距离小于设定阈值；将具有一致性的刻度队列进行合并得到新刻度队列；

(5.4)返回步骤(5.1)、(5.2)，针对新刻度队列求共同交点与拟合椭圆，并进入步骤(5.3)；

(5.5)迭代执行步骤(5.4)直到没有刻度队列间可以进行融合；

(5.5)对于刻度数小于4的刻度队列，计算刻度队列上的刻度到已拟合出椭圆参数方程的刻度队列圆周的距离，若到其中一个刻度队列的距离整体小于设定阈值，进入步骤(5.3)，将其融合进该刻度队列。

步骤(5.1)中的共同交点按如下方式获得：先对夹角大于设定的角度阈值的中线两两之间求交点，然后对所有交点求平均以获得重心，再将到重心距离大于设定阈值的交点，重新计算重心，以此重心作为共同交点。

刻度排列分析具体包括：

(6.1)对相邻刻度间距进行分析，按照刻度间距应一致或平滑变化的规律，通过对刻度间距进行中值滤波分析，估计出刻度队列各区间的实际刻度距离，然后根据该距离判断缺失或误检刻度，并作预测补全及剔除处理，具体处理方式为，对于刻度间距是该处实际间距的大约整数倍N的，均匀插入N-1个刻度，而对于刻度间距过小或相邻刻度间距合并后恰好与该处实际刻度距离相近的，剔除中间的无效刻度；

(6.2)根据刻度间距对刻度队列边界进行检查，若从当前刻度往外分别探出至少1个刻度间距，均未在预期位置检测出刻度边缘轮廓，则认为当前边界即为实际边界；

(6.3)对连续刻度间的刻度高宽进行比较分析，基于仪表盘上的刻度按照一定的长短模式排列，根据最低一级的刻度局部相邻且等长，高一级的相对要长一截，且长短模式呈周期出现的特点，分析出每个刻度所处级别；

(6.4)根据级别与刻度队列顺时针序赋予每个刻度编号及主刻度、副刻度属性，将预先给定最左、最右的刻度值分别赋予首、末刻度，其余刻度值则根据编号与刻度间隔值按序递增或递减赋予。

本发明通过图像处理的方法对图像中的刻度及其排列布局进行识别来自动地建立刻度坐标系，使得电力巡检机器人智能地完成巡检任务并降低识别算法对人工标定的依赖，通过更加智能的图像分析方法来识别各个刻度及其方向。

本发明具有以下有益效果：(1)能够自动检测出刻度线并对刻度布局进行识别、对刻度值进行分配；(2)在保证图片具有一定质量的前提下，仪表刻度自动识别的结果优于手工标注；(3)智能获取指针轴心，提高指针的识别率；(4)将仪表刻度识别结果作为先验知识，能够大大提高标定效率。

附图说明

图1为仪表刻度手动标定示意图；

图2为仪表刻度自动识别示意图；

图3为刻度识别的算法流程及其中间结果展示图。

具体实施方式

如图1所示为仪表刻度手动标定效果，图2为采用本发明获得的自动识别效果，明显优于手动标定。

结合图3，本发明提供的仪表表盘刻度识别方法，按照以下步骤进行：

1)边缘滤波，该步骤是将输入的仪表图像变换到对应的边缘强度、边缘方向图像，仪表图像通过相机等获取，所得结果如图3中“边缘滤波”上方的仪表图。具体实现方式为：

a)先将RGB原图转化成灰度图，

b)然后在灰度图上使用3x3的高斯卷积核进行平滑处理，

c)再使用Sobel算子进行卷积滤波得到X向与Y向的梯度图，

d)最后根据各像素X向、Y向梯度来计算其边缘强度、边缘方向。

2)单像素轮廓获取，该步骤是从边缘强度图像上分析得到单像素轮廓，作为后续形态拓扑分析的基础，所得结果如图3中“单像素轮廓”上方的仪表图。具体实现方式为：

a)先在边缘强度图上根据其边缘方向(离散成八个方向)进行非极大值抑制，

b)然后过滤掉边缘强度小于某个较低阈值(如40)的边缘像素，

c)再对留下的像素以八邻域连通像素连接方式、以最短路径搜索算法的节点扩展方式进行遍历，

d)最后对遍历路径上的骨架路径进行处理，即在分叉路径上断开并将方向一致的两端连接，由此得到初步的单像素轮廓，

e)对所得各个单像素轮廓，根据相邻像素间的边缘方向变化情况进行折点检测，将方向变化大于某个阈值(如60度)的位置视为折点，在该点上切断而得到段内方向变化较为平缓的单像素轮廓。

3)刻度线检测，该步骤是要从前面得到单像素轮廓中提取出候选的刻度信息，所得结果如图3中“刻度线检测”上方的仪表图。具体实现方式为：

a)对一定长度范围内的单像素轮廓(如长度范围在8至30个像素之间)进行直线拟合，得到该段轮廓对应线段参数，如方向、长度、位置区间、线性性(各像素点到线段的距离)。

b)根据线性性滤除不符合要求的轮廓，由此将符合刻度边缘形态的单像素轮廓从像素形式变成线段参数形式，并根据线段上各像素的边缘方向均值设定该线段的法线方向。

c)在上一步得到的线段间进行两两配对，满足以下条件的配对可作为刻度的候选配对：线段方向一致、距离小于某个阈值、法线方向相背、长度差异小于某个阈值、线段方向上重叠度大于某个阈值。

d)对候选配中的两条线段求取其最小外接旋转矩形，作为候选刻度的形态描述，以法线方向的边作为其宽，以线段方向的边作为其高。

4)刻度队列获取，该步骤是要将前面得到的单个刻度串联成连续的刻度队列，所得结果如图3中“刻度队列”下方的仪表图。具体实现方式为：

a)在候选刻度间进行两两配对，满足以下条件的配对可作为相邻刻度对：旋转矩形方向夹角小于某个阈值、距离在与矩形高度相关的某个区间内、长度差异小于某个阈值、矩形高方向上重叠度大于某个阈值、同时满足上述条件的距离最近的配对。

b)在相邻刻度对之间添加指向关系构建候选刻度邻接图，然后遍历刻度得到各刻度队列，并滤除孤立刻度(队列长度为1的为孤立刻度)。指向关系指刻度之间满足配对关系，如图2的刻度，刻度0.02与0.0022为紧靠在一起的刻度，中间没有其他刻度，两者为相邻刻度，构成相互指向。

5)刻度队列融合，该步骤是要将前面可能断开的刻度队列连接成一个整体，所得结果如图3中“队列融合”下方的仪表图。具体实现方式为：

a)对于刻度数大于或等于4的刻度队列，以刻度旋转矩形中高方向上的中位线为刻度中线，求各刻度中线的共同交点。共同交点按如下方式获得：先对夹角大于某一角度阈值的中线两两之间求交点，然后对所有交点求平均得重心，再将到重心距离大于某一阈值(如阈值取3)的交点，重新计算重心，以此重心作为共同交点。

b)以共同交点为圆心，以各刻度近圆心端点为圆周点拟合椭圆，得到椭圆参数方程。

c)对于某两个刻度队列，按如下方式计算刻度队列间的一致性：圆心间距离小于某一阈值，所有刻度到对方椭圆圆周的距离小于某一阈值。将具有一致性的刻度队列进行合并(按绕圆心的顺时针序排列)，并对新刻度队列按a)b)描述的方法求共同交点与拟合椭圆。

d)返回步骤a)、b)，针对新刻度队列求共同交点与拟合椭圆，并进入步骤c)。

e)迭代执行d)直到没有刻度队列间可以进行融合。

e)对于刻度数小于4的刻度队列，计算其上刻度到已拟合出椭圆参数方程的刻度队列圆周的距离，若到某一刻度队列的距离整体小于某一阈值，亦将其融合进该刻度队列，并按照c)的方式更新刻度队列及其相关参数。

6)刻度排列分析，该步骤是要对较长的刻度队列进行分析与验证，从而判断其是否满足仪表盘刻度特征，并分析其刻度排列模式，所得结果如图3中“刻度排列分析”下方的仪表图。具体实现方式如下：

a)对相邻刻度间距进行分析，按照刻度间距应一致或平滑变化(带一定倾斜角度抓取的图像)的规律，通过对刻度间距进行中值滤波分析，估计出刻度队列各区间的实际刻度距离(如图2中，0.02与0.03之间还有4个刻度，实际刻度距离指0.02与0.022之间的距离)，然后根据该距离判断缺失或误检刻度，并作相应的预测补全及剔除处理，具体处理方式为，对于间距是该处实际间距的大约某整数倍N的(计算N时进行取整处理)，均匀插入N-1个刻度，例如，相邻刻度间距值为5，而该处实际间距为1，则需要插入4个刻度，而对于刻度间距过小或相邻刻度间距合并后恰好与该处实际刻度距离相近的，剔除中间的无效刻度，例如实际间距为1，而计算出来的相邻刻度间距小于1，则需要剔除相应的刻度。

b)根据刻度间距对刻度队列边界进行检查，若从当前刻度往外分别探出1个、2个、3个刻度间距，均未在预期位置检测出刻度边缘轮廓，则认为当前边界即为实际边界。

c)对连续刻度间的刻度高宽进行比较分析，仪表盘上的刻度按照一定的长短模式排列，根据最低一级的刻度局部相邻且等长，高一级的相对要长一截，且长短模式呈周期出现的特点，分析出每个刻度所处级别(如图2所示，标注有数字的刻度(0.02、0.04等)的刻度线较长，0.02与0.04之间的0.03虽然未标注数字但刻度线也较长，这些刻度的级别较高，没有标注刻度值的刻度线较短，并且刻度线等长，这些刻度级别较低)。

d)根据级别与刻度队列顺时针序赋予每个刻度编号及主刻度、副刻度属性，主刻度指标注了刻度值数字或者粗的长的(如0.02与0.04之间还有个未标注0.03的刻度，该刻度与0.02的刻度线形状相同)刻度，主刻度之间的刻度为副刻度。将预先给定最左、最右的刻度值分别赋予首、末刻度，其余刻度值则根据编号与刻度间隔值按序递增(或递减)赋予。

通过本发明可以实现图2所示的效果，对每个刻度都进行了标注。本发明提到的阈值、区间等根据实际所要获得的效果进行选取，进行试验后即可获得。

本发明还可以有其它实施方法，凡采用同等替换或等效变换形成的技术方案，均落在本发明要求保护的范围之内。

Claims (8)

1.一种仪表刻度识别方法，其特征在于，包括以下步骤：

(1)边缘滤波：将获取到的仪表图像变换到对应的边缘强度图、边缘方向图；

(2)单像素轮廓获取：从边缘强度图、边缘方向图上分析得到单像素轮廓；

(3)刻度线检测：从步骤(2)中得到单像素轮廓中提取出候选刻度；

(4)刻度队列获取：将步骤(3)中得到的单个候选刻度串联成连续的刻度队列；

(5)刻度队列融合：将步骤(4)中得到的刻度队列中的断开的刻度队列连接成一个整体；

(6)刻度排列分析：对较长的刻度队列进行分析与验证，从而判断其是否满足仪表盘刻度特征，并分析其刻度排列模式。

2.如权利要求1所述的仪表刻度识别方法，其特征在于，边缘滤波具体包括：

(1.1)先将原图像从RGB格式转化成灰度图；

(1.2)然后在灰度图上使用3x3的高斯卷积核进行平滑处理；

(1.3)再使用Sobel算子进行卷积滤波得到X向与Y向的梯度图；

(1.4)最后根据各像素X向、Y向梯度来计算其边缘强度、边缘方向。

3.如权利要求1所述的仪表刻度识别方法，其特征在于，单像素轮廓获取具体包括：

(2.1)先在边缘强度图上根据其边缘方向进行非极大值抑制；

(2.2)然后过滤掉边缘强度小于设定阈值的边缘像素；

(2.3)再对留下的像素以八邻域连通像素连接方式、以最短路径搜索算法的节点扩展方式进行遍历；

(2.4)最后对遍历路径上的骨架路径进行处理，即在分叉路径上断开并将方向一致的两端连接，由此得到初步的单像素轮廓；

(2.5)对所得各个单像素轮廓，根据相邻像素间的边缘方向变化情况进行折点检测，将方向变化大于设定阈值的位置视为折点，在该点上切断而得到段内方向变化较为平缓的单像素轮廓。

4.如权利要求1所述的仪表刻度识别方法，其特征在于，刻度线检测具体包括：

(3.1)对一定长度范围内的单像素轮廓进行直线拟合，得到该段轮廓对应线段参数；

(3.2)根据线性性滤除不符合要求的轮廓，将符合刻度边缘形态的单像素轮廓从像素形式变成线段参数形式，并根据线段上各像素的边缘方向均值设定该线段的法线方向；

(3.3)将步骤(3.2)中得到的线段间进行两两配对，满足以下全部条件的配对作为刻度的候选配对：线段方向一致、距离小于设定阈值、法线方向相背、长度差异小于设定阈值、线段方向上重叠度大于设定阈值；

(3.4)对候选配对中的两条线段求取其最小外接旋转矩形，作为候选刻度的形态描述，以法线方向的边作为其宽，以线段方向的边作为其高。

5.如权利要求1所述的仪表刻度识别方法，其特征在于，刻度队列获取具体包括：

(4.1)在候选刻度间进行两两配对，满足以下全部条件的配对作为相邻刻度对：(a)旋转矩形方向夹角小于设定阈值、(b)距离在与矩形高度相关的区间内、(c)长度差异小于设定阈值、(d)矩形高方向上重叠度大于设定阈值、(e)同时满足(a)-(d)全部条件且距离最近；

(4.2)在相邻刻度对之间添加指向关系构建刻度邻接图，然后遍历刻度得到各刻度队列，并滤除孤立刻度。

6.如权利要求1所述的仪表刻度识别方法，其特征在于，刻度队列融合具体包括：

(5.1)对于刻度数大于或等于4的刻度队列，以刻度旋转矩形中高方向上的中位线为刻度中线，求各刻度中线的共同交点；

(5.2)以共同交点为圆心，以各刻度近圆心端点为圆周点拟合椭圆，得到椭圆参数方程；

(5.3)对于任意两个刻度队列，判断刻度队列间是否具有一致性，即，圆心间距离小于设定阈值且所有刻度到对方椭圆圆周的距离小于设定阈值；将具有一致性的刻度队列进行合并得到新刻度队列；

(5.4)返回步骤(5.1)、(5.2)，针对新刻度队列求共同交点与拟合椭圆，并进入步骤(5.3)；

(5.5)迭代执行步骤(5.4)直到没有刻度队列间可以进行融合；

(5.5)对于刻度数小于4的刻度队列，计算刻度队列上的刻度到已拟合出椭圆参数方程的刻度队列圆周的距离，若到其中一个刻度队列的距离整体小于设定阈值，进入步骤(5.3)，将其融合进该刻度队列。

7.如权利要求6所述的仪表刻度识别方法，其特征在于，步骤(5.1)中的共同交点按如下方式获得：先对夹角大于设定的角度阈值的中线两两之间求交点，然后对所有交点求平均以获得重心，再将到重心距离大于设定阈值的交点，重新计算重心，以此重心作为共同交点。

8.如权利要求1所述的仪表刻度识别方法，其特征在于，刻度排列分析具体包括：

(6.1)对相邻刻度间距进行分析，按照刻度间距应一致或平滑变化的规律，通过对刻度间距进行中值滤波分析，估计出刻度队列各区间的实际刻度间距离；然后根据该距离判断缺失或误检刻度，并作预测补全及剔除处理，具体处理方式为，对于刻度间距是该处实际间距的大约整数倍N的，均匀插入N-1个刻度，而对于刻度间距过小或相邻刻度间距合并后恰好与该处实际刻度距离相近的，剔除中间的无效刻度；

(6.2)根据刻度间距对刻度队列边界进行检查，若从当前刻度往外分别探出至少1个刻度间距，均未在预期位置检测出刻度边缘轮廓，则认为当前边界即为实际边界；

(6.3)对连续刻度间的刻度高宽进行比较分析，基于仪表盘上的刻度按照一定的长短模式排列，根据最低一级的刻度局部相邻且等长，高一级的相对要长一截，且长短模式呈周期出现的特点，分析出每个刻度所处级别；

(6.4)根据级别与刻度队列顺时针序赋予每个刻度编号及主刻度、副刻度属性，将预先给定最左、最右的刻度值分别赋予首、末刻度，其余刻度值则根据编号与刻度间隔值按序递增或递减赋予。