CN106127205A - 一种适用于室内轨道机器人的数字仪表图像的识别方法 - Google Patents

Abstract

本发明公开了一种适用于轨道机器人的数字仪表图像的识别方法。首先，为了充分利用图像所携带的颜色信息，提取R分量，通过设定合适的阈值将其转化为二值图像，并利用腐蚀方法对其进行预处理，以消除孤立点和小区域块的干扰；然后利用投影法进行定位分割出每个数字字符；最后利用sift算法检测特征点，并与模板进行相似度匹配，选择匹配度最高的那个数字为识别结果。通过实验验证获知，利用这种方法使得图像特征匹配的准确率与识别的时效性均得到了大幅度提高，提高了轨道机器人的巡检识别效率,具有适用性和鲁棒性，可以满足变电站室内屏柜识别应用的需求。

Description

一种适用于室内轨道机器人的数字仪表图像的识别方法

技术领域

本发明涉及一种适用于室内轨道机器人的数字仪表图像的识别方法。

背景技术

变电站作为电力输配送的重要环节，其室内设备是整个变电站的核心，里面放置着对变电站实时监控的屏体设备、电源柜和后台设备，需识别的设备有旋钮、压板、状态灯、数字仪表等，其运行状态关系到整个变电站及直流输电系统的安全运行。保护室实时监视着变电站的工作状态，它对整个变电站起监视保护的作用，因此对保护室的运行状态进行实时监视和定期检查是必不可少的。

目前对保护室设备的巡检已经广泛的使用智能轨道机器人来代替人工操作，在保护室里依靠预先铺设的运行轨道并以伺服电机驱动可以使轨道机器人依次准确到达多个停靠位对设备进行观测，通过可见光图像处理和声音识别等功能自动分析、检测保护室内各种设备的显示状态，获取整个变电站的实时运行状态。

数字仪表的识别工作是智能轨道机器人的重要工作内容，在可见光图像中需要机器人实时采集目标设备图像并与模板图像进行特征点匹配，在采集的图像中准确快速的获取设备区域，快速识别数字仪表的读数。因此，图像特征提取和识别的准确性、时效性直接关系着轨道机器人对保护室进行巡检的效率。

当前较为常用的数字仪表识别的方法是首先对图像进行预处理来获取目标与背景分离明显的二值图像；然后对图像进行倾斜校正；接着采用投影法对图像中的字符进行精确分割定位；最后利用模板匹配或穿线法或单元取点方案识别每一个数字字符。但这些方法并不能很好的应用于实际中，并且图像需要倾斜校正，增加识别图像的时耗。

发明内容

本发明为了解决上述问题，提出了一种适用于室内轨道机器人的数字仪表图像的识别方法，本方法通过设定合适的阈值将其转化为二值图像，并利用腐蚀方法对其进行预处理，以消除孤立点和小区域块的干扰，充分利用图像所携带的颜色信息，提取R分量；然后利用投影法进行定位分割出每个数字字符；最后利用sift算法检测特征点，并与模板进行相似度匹配，选择匹配度最高的那个数字为识别结果，本发明能够大幅提高图像特征匹配的准确率与识别的时效性，提高了轨道机器人的巡检识别效率，具有很好的适用性和鲁棒性，可以满足变电站室内屏柜识别应用的需求。

为了实现上述目的，本发明采用如下技术方案：

一种适用于室内轨道机器人的数字仪表图像的识别方法，包括以下步骤：

(1)对采集的仪表图像进行预处理，提取R分量获得数字区域字符的信息，通过阈值分割，使字符前景和背景能够区分开，获取二值图像，再利用腐蚀算法对二值图像进行处理；

(2)对二值图像进行像素点的规划，计算出图像中的水平投影和垂直投影，进行数字区域的定位与分割；

(3)检测每一个字符的特征点，然后依次对检测到的每一个数字的特征点与模板进行匹配，比较匹配特征点的点数与检测出的特征点的点数的比值大小，选择最大比值对应的数字；

(4)确定最大比值对应的数字为数字仪表的读数。

所述步骤(1)中，针对变电站屏柜中数字仪表都为红色的数码管显示，通过提取R分量将数字区域的信息提取出来。

所述步骤(1)中，二值图像的取得方法为：当灰色图像的值大于等于阈值时，二值化后的图像为1，否则，二值化后的图像为0，1表示图像中的白色，0表示图像中的黑色。

所述步骤(1)中，通过计算最大类间方差法确定阈值大小。

进一步的，所述步骤(1)中，二值化方法替换为自适应均值法、自适应高斯法或自适应Bersen法。

所述步骤(1)中，确定阈值大小的方法为：双峰法、P参数法、最大熵阈值法、迭代法、平均值法或近似一维Means方法。

所述步骤(2)中，对二值图像进行像素点的规划具体方法为：对图像进行定义行、列数目，表示每个像素点的像素值，确定水平方向和竖直方向的投影。

所述步骤(2)中，进行数字区域的定位与分割的具体方法为：依次分析水平和竖直方向投影，如果从小到大，在某一行上有一个突变，则说明这一行是仪表区域的开始；如果投影是从大到小，在某一行上有一个突变，则说明这个位置是仪表区域的结束，同样确定列方向上的仪表区域，分割出不同字符的区域。

所述步骤(3)中，具体方法为：采用SIFT算法检测每一个字符的特征点，然后依次对检测到的每一个单个数字的特征点与模板进行匹配，比较匹配特征点的点数与检测出的特征点的点数的比值大小，比值最大即匹配度最高，选择最大比值对应的数字即为数字仪表的读数。

所述步骤(3)中，具体方法为：利用ORB算法检测字符的特征点，使用FAST进行特征点检测，然后用BREIF进行特征点的特征描述。

所述步骤(3)中，模板为0～9的10个数字字符模板。

本发明的有益效果为：

(1)本发明有效提高数字仪表的正确识别率，具有适用性和鲁棒性，但计算时耗未缩短；

(2)本发明利用腐蚀算法对二值图像进行处理，有效的消除孤立的白点和小区域的白色块，去除干扰信息；

(3)本发明采用SIFT算法检测每一个字符的特征点，不需要归一化处理，并且不受字符倾斜的影响；

(4)本发明具有时效性，更加适用于轨道机器人在保护室的巡检任务。

附图说明

图1为本发明的流程示意图；

图2(a)为本发明的轨道机器人采集的数字仪表原图像；

图2(b)为本发明的R分量提取后的图像；

图2(c)为本发明的二值化后的图像；

图2(d)为本发明的利用腐蚀算法处理的二值图像；

图3为本发明的轨道机器人采集的数字仪表原图像。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

如图1所示，本发明具体包括：

一、数字仪表图像的预处理

变电站保护室的屏柜中数字仪表大都是红色的数码管显示。轨道机器人拍摄获取的图像都是彩色图像，占据的存储空间比灰度图像大很多，对彩色图像进行处理也会消耗较多的系统资源，会降低系统的执行速度，影响效率。同时针对8段数码管显示的数字单纯依靠颜色空间中的R分量就可以将数字区域的信息提取出来，因此本发明通过提取R分量获得灰度图像。

在实际应用中，为加快运算速度，提高获取数字区域的精度，该方法通过设定合适的阈值，使得字符前景和背景能够区分开，获取二值图像。通过阈值分割后的图像具备良好的保形性，不丢失图像中有用的形状及轮廓信息，不会给图像产生额外的空缺等优点。设灰度图像为f(x，y)，二值化后的图像为g(x，y)，二值化过程表示如下：

$g(x,y)=\left\{\begin{array}{cc}1& f(x,y)\&GreaterEqual;t\\ 0& f(x,y)<t\end{array}\right.---\left(2.1\right)$

式(2.1)中1表示图像中的白色，0表示图像中的黑色，阈值门限值t的选择是关键。本发明中阈值的确定是通过最大类间方差法(Ostu法)计算得到的，利用这种方法可以自动的算出二值化阈值大小。

由于图像本身受光照和拍摄角度等因素的影响，通过以上方法处理后获取的二值图像难免会有一些干扰信息的存在，如孤立的白点和小区域的白色块，为消除这些信息的干扰，该方法利用腐蚀算法对二值图像进行处理，排除干扰信息。

二、数字仪表图像数字区域的定位与分割

从室内轨道机器人拍摄的图像来看，屏柜里的数字仪表的类型不同，数字区域所处的位置也不一样，但读数区域一般是黑底红字。目前有关数字区域定位的算法研究已提出了多种有效的方法，大体分为基于边缘的分割方法、基于连通成分的分割方法、基于纹理的分割方法和基于学习的分割方法等。本发明采用投影法，该方法简单，适用于室内轨道机器人对数字仪表识别的应用环境。投影法的基本原理是计算出图像中的水平投影和垂直投影，然后通过分析投影值的数值变化，来分析出含有七段式数显仪表中数字字符的位置。

设室内轨道机器人拍摄到的图像设为A，设图像A的行数为height，列数为width。在图像A中，我们把第i行第j列像素点的像素值表示为s(i,j)。根据投影的定义，能够得到水平方向的投影为：

$f\left(i\right)={\mathrm{\&Sigma;}}_{j=0}^{width}s(i,j)---\left(2.2\right)$

竖直方向的投影为：

$g\left(j\right)={\mathrm{\&Sigma;}}_i^{height}s(i,j)---\left(2.3\right)$

通过式(2.2)和式(2.3)可以看出，水平方向的投影是关于列数的一个函数。第i行对应的投影值，即为这一行中非零像素点的个数。竖直方向的投影是关于行数的一个函数。第j列对应的投影值，即为这一列中非零像素点的个数。通过分析水平和竖直方向投影，就能够大体确定含有七段式数显仪表的图像中数字字符的位置。对于得到的投影值来说，如果从小到大，在某一行上有一个突变，则说明这一行是仪表区域的开始；如果投影是从大到小，在某一行上有一个突变，则说明这个位置是仪表区域的结束。在列上的投影同理。通过列的投影，能够分割出不同字符的区域。

三、数字仪表图像中数字的识别

对于数字字符的识别，目前人们提出了很多方法，如模板匹配法、穿线识别法、基于神经网络的方法和基于支持向量机的方法等，对于基于神经网络的方法和基于支持向量机的方法都需要一个训练的过程，即需要有一些先验信息，因此比较复杂。模板匹配法编程易实现，思路较简单，缺点是在字符识别之前需要提前准备好模板，并且计算量稍大，需归一化。如果对于诸如不同长宽比例或不同倾斜程度的数显仪表字符，就很有可能出现错误。穿线法的好处是不需要进行归一化处理，节省运算量和运算时间，也能在一定程度上克服字符的倾斜，但是不能完全克服字符的倾斜。

室内轨道机器人在室内铺设好的水平轨道上行进，通过云台的水平俯仰及旋转运动实现对保护室屏柜的大范围细节巡检。虽然轨道机器人沿轨道可以准确的在设备检测位置停靠，但云台的旋转还是会给采集的图像带来一定误差，特别是当相机焦距拉近放大时，误差角度也随之成倍放大。因此，分割出的字符区域可能存在一定程度上的倾斜。为克服模板匹配法和穿线法存在的不足和适用室内轨道机器人的应用环境，本发明采用SIFT算法检测每一个字符的特征点，然后依次对检测到的每一个数字的特征点与模板进行匹配，比较匹配特征点的点数与检测出的特征点的点数的比值大小(比值最大即匹配度最高)，选择最大比值对应的数字即为数字仪表的读数。该方法不需要归一化处理，并且不受字符倾斜的影响。

图2(a)、图2(b)、图2(c)、图2(d)为轨道机器人采集到的某一数字仪表图像，经本发明提出的识别方法流程分解后，各处理节点的效果图像。图3为采用投影法定位分割获取的单个数字字符。

表1.待识别字符与10个模板的匹配度比较

表1为待识别字符与10个数字字符模板的匹配度结果。通过对比可以发现匹配度最高的模板对应的数字字符即为待测字符的正确值。通过实验可以看出本发明提出的数字仪表的识别方法的成功率较高，并且具有时效性，更加适用于轨道机器人在保护室的巡检任务。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种适用于室内轨道机器人的数字仪表图像的识别方法，其特征是：包括以下步骤：

(1)对采集的仪表图像进行预处理，提取R分量获得数字区域字符的信息，通过阈值分割，使字符前景和背景能够区分开，获取二值图像，利用腐蚀算法对二值图像进行处理；

(2)对二值图像进行像素点的规划，计算出图像中的水平投影和垂直投影，进行数字区域的定位与分割；

(3)检测每一个字符的特征点，然后依次对检测到的每一个数字的特征点与模板进行匹配，比较匹配特征点的点数与检测出的特征点的点数的比值大小，选择最大比值对应的数字；

(4)确定最大比值对应的数字为数字仪表的读数。

2.如权利要求1所述的一种适用于室内轨道机器人的数字仪表图像的识别方法，其特征是：所述步骤(1)中，针对变电站屏柜中数字仪表都为红色的数码管显示，通过提取R分量将数字区域的信息提取出来。

3.如权利要求1所述的一种适用于室内轨道机器人的数字仪表图像的识别方法，其特征是：所述步骤(1)中，二值图像的取得方法为：当灰色图像的值大于等于阈值时，二值化后的图像为1，否则，二值化后的图像为0，1表示图像中的白色，0表示图像中的黑色。

4.如权利要求3所述的一种适用于室内轨道机器人的数字仪表图像的识别方法，其特征是：所述步骤(1)中，二值化方法替换为自适应均值法、自适应高斯法或自适应Bersen法。

5.如权利要求1所述的一种适用于室内轨道机器人的数字仪表图像的识别方法，其特征是：所述步骤(1)中，确定阈值大小的方法为：双峰法、P参数法、最大熵阈值法、迭代法、平均值法、最大类间方差法或近似一维Means方法。

6.如权利要求1所述的一种适用于室内轨道机器人的数字仪表图像的识别方法，其特征是：所述步骤(2)中，对二值图像进行像素点的规划具体方法为：对图像进行定义行、列数目，表示每个像素点的像素值，确定水平方向和竖直方向的投影。

7.如权利要求1所述的一种适用于室内轨道机器人的数字仪表图像的识别方法，其特征是：所述步骤(2)中，进行数字区域的定位与分割的具体方法为：依次分析水平和竖直方向投影，如果从小到大，在某一行上有一个突变，则说明这一行是仪表区域的开始；如果投影是从大到小，在某一行上有一个突变，则说明这个位置是仪表区域的结束，同样确定列方向上的仪表区域，分割出不同字符的区域。

8.如权利要求1所述的一种适用于室内轨道机器人的数字仪表图像的识别方法，其特征是：所述步骤(3)中，具体方法为：采用SIFT算法检测每一个字符的特征点，然后依次对检测到的每一个单个数字的特征点与模板进行匹配，比较匹配特征点的点数与检测出的特征点的点数的比值大小，比值最大即匹配度最高，选择最大比值对应的数字即为数字仪表的读数。

9.如权利要求1所述的一种适用于室内轨道机器人的数字仪表图像的识别方法，其特征是：所述步骤(3)中，具体方法为：利用ORB算法检测字符的特征点，使用FAST进行特征点检测，然后用BREIF进行特征点的特征描述。

10.如权利要求1所述的一种适用于室内轨道机器人的数字仪表图像的识别方法，其特征是：所述步骤(3)中，模板为0～9的10个数字字符模板。