CN107145890B - 一种远距离多视角环境下的指针式仪表盘自动读数方法 - Google Patents

Abstract

本发明公开了一种远距离多视角环境下的指针式仪表盘自动读数方法，包括表盘区域确定、分割处理、指针提取拟合和读数估算几个步骤。首先通过匹配待识别图像和模板表盘的关键点确定图像中的表盘区域，然后根据直方图分布二值化表盘，通过对二值图形态学处理得到表盘内部信息，之后对采用概率霍夫变换拟合得到的直线归纳合并得到指针角度，最后根据先验指针计算出指针读数。本发明解决了远距离斜视角度下表盘变形严重、刻度模糊至肉眼无法完全识别读数的问题，并且具有较高的准确率。

Description

一种远距离多视角环境下的指针式仪表盘自动读数方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种远距离多视角环境下的指针式仪表盘自动读数方法。

背景技术

目前，指针式仪表广泛应用在设备运行状态监控、监测等方面，以往的人工巡检、抄表、记录模式已经不能适应工厂对于管理及生产效率的要求，仪表的示值自动识别技术直接关系到工厂自动化与信息化的发展进程，目前指针式仪表多采用基于机器视觉的自动识别原理。现有方法多针对表盘占据图像较大区域、距离较近、表盘清晰的情况。本发明处理的表盘图像有两个难点，一是表盘在图像中占据的区域很小，只占整幅图像的3％-8％之间，二是存在侧视、仰视等不同角度的多视角问题，部分情况肉眼辨别也存在一定困难，因此用现有方法难以准确自动读出仪表读数。

发明内容

本发明的目的是为了克服以上的不足，提供一种解决了远距离斜视角度下表盘变形严重、刻度模糊至肉眼无法完全识别读数的问题，并且具有较高的准确率的远距离多视角环境下的指针式表仪盘自动读数方法。

本发明的技术方案是：一种远距离多视角环境下的指针式仪表盘自动读数方法，包括以下步骤：

a、标定模板表盘的表盘中心、表盘半径和主要刻度的角度信息，作为先验知识；

b、输入待读表盘图片及其模板图片，计算模板图片和待读表盘图片的KAZE特征；

c、采用KNN算法匹配两张图片的KAZE特征，得到一组匹配点，将待读表盘图片中的集合记做S＝{(x_i,y_i)}，模板图片得到的集合记做T＝{(x_i,y_i)}，S和T中的像素点坐标一一匹配；

d、使用RANSAC方法计算S和T之间的最优单映射变换矩阵，消除错误的匹配数据，得到新的集合S和T；

e、根据匹配数据集合与先验知识，计算待读表盘图片的表盘中心位置和表盘半径，截取出待读表盘图片中的表盘区域；

f、对步骤e提取出来的表盘区域图像灰度化，根据直方图分布对灰度图二值化处理得到二值图B1；

g、对二值图B1做形态学膨胀得到膨胀图B2，B1和B2做差得到表盘内部图像B；

h、对步骤g得到的图像B做概率霍夫变换得到一组直线L＝{l_i}，对L进行合并约束，得到指针所在的直线，并计算其角度；

i、根据指针角度和先验知识估算出表盘读数；

本发明的进一步改进在于：所述步骤e具体包括以下步骤：

步骤e1、读取先验知识，得到模板表盘的中心坐标(x_c,y_c)和半径Radius；

步骤e2、从集合S任取两点，计算其差值为Δs，从集合T中取相匹配的两点，计算其差值为Δt，计算其比值r＝Δs/Δt；

步骤e3、重复步骤e2直至集合S和T中的任意两点都参与了计算，得到比值集合R＝{r_i}，剔除掉R中偏离的值，计算剩下的所有值的平均值r；

步骤e4、集合T中任取一点，计算该点与(x_c,y_c)的差值Δt，则S中匹配点与待读表盘图片中的表盘中心差值为r·Δt，得出表盘中心坐标为(x,y)；

步骤e5、重复步骤e3，直至集合S和T中的所有点都参与了计算，得到表盘中心坐标集合，剔除其中偏离的值，计算剩下的值的均值，得到表盘中心坐标为(x,y)；

步骤e6、以(x,y)作为中心，以2r·Radius作为边长，从待读表盘图片中截取矩形区域，该区域即为表盘所在位置。

本发明的进一步改进在于：所述步骤f具体包括以下步骤：

步骤f1、对步骤e截取的表盘区域图像进行灰度化处理得到灰度图ROI，以ROI中点为中心，边长1/4为半径统计直方图；

步骤f2、直方图的两个峰值分别代表了黑色指针区域和白色表盘区域，以两峰的分界点为阈值对灰度图做二值化处理；

本发明的进一步改进在于：所述步骤h具体包括以下步骤：

步骤h1、对步骤g得到的图像进行概率霍夫变换，得到一组直线L；

步骤h2、将L中距离小于5个像素并且交角小于3°的直线合并，得到新的直线集合L；

步骤h3、从L中选择同时满足条件1：距离表盘中心距离在阈值内，条件2：长度超过阈值的直线作为指针所在直线，计算其角度α；

本发明的进一步改进在于：所述步骤i具体包括以下步骤：

步骤i包含步骤如下：

步骤i1、读取先验知识，得到表盘角度θ＝{θ₁,θ₂,...,θ_n}对应的刻度值为

步骤i2、比较步骤h3得到的角度α与θ的大小，如果α＜θ₁，输出表盘读数为结束，否则执行步骤i3；

步骤i3、比较步骤h3得到的角度α与θ的大小，如果α＞θ_n，输出表盘读数为结束，否则执行步骤i4；

步骤i4、比较步骤h3得到的角度α与θ的大小，得到θ_i＜α＜θ_j，输出表盘读数其中β＝(α-θ_i)/(θ_j-α)。

本发明与现有技术相比具有以下优点：

1、对远距离观测到的仪表，表盘在图像中占比小，刻度模糊的情况，以及大角度斜视观测的仪表，表盘部分刻度不可及的情况，甚至两种同时存在的情况，本方法也能准确自动读出指针读数。专利“一种指针式压力表读数自动识别方法”(201610120575.6)，“一种电力指针式仪表自动读数识别的方法及系统”(201610830466.3)均要求图像表盘有清晰的刻度信息，此类方法就无法处理本专利中涉及的情况。

2、专利“指针式仪表的读数方法及装置”(200910078188.0)需要预先学习指针式仪表表盘的整体图像特征才能检测出图像中仪表盘所在区域，本发明方法无需预先学习即可检测出表盘区域。

本发明方法简单，特别针对远距离多角度环境下仪表盘模糊不清、变形严重带来的自动读数困难，提供了解决方案，具有较高的准确率，提高了工业生产效率。

附图说明

图1为本发明系统流程图；

图2为本发明实施例步骤c处理结果示意图；

图3为本发明实施例步骤d处理结果示意图；

图4为本发明实施例步骤f处理结果示意图；

图5为本发明实施例步骤g处理结果示意图；

图6为本发明实施例步骤h处理结果示意图，图中白色直线为检测出的指针，根据该结果检测到的指针通过步骤i计算出该表盘读数为44；

具体实施方式

为了加深对本发明的理解，下面将结合实施例及附图对本发明作进一步详述，该实施例仅用于解释本发明，并不构成对本发明保护范围的限定。

如图1-6所示一种远距离多视角环境下的指针式仪表盘自动读数方法，包括以下步骤：

a、标定模板表盘的表盘中心、表盘半径和主要刻度的角度信息，作为先验知识；

b、输入待读表盘图片及其模板图片，计算模板图片和待读表盘图片的KAZE特征；

c、采用KNN算法匹配两张图片的KAZE特征，得到一组匹配点，将待读表盘图片中的集合记做S＝{(x_i,y_i)}，模板图片得到的集合记做T＝{(x_i,y_i)}，S和T中的像素点坐标一一匹配；

d、使用RANSAC方法计算S和T之间的最优单映射变换矩阵，消除错误的匹配数据，得到新的集合S和T；

e、根据匹配数据集合与先验知识，计算待读表盘图片的表盘中心位置和表盘半径，检测出待读表盘图片中的表盘区域；

f、对步骤e提取出来的表盘区域图像灰度化，根据直方图分布对灰度图二值化处理得到二值图B1；

g、对二值图B1做形态学膨胀得到膨胀图B2，B1和B2做差得到表盘内部图像B；

h、对步骤g得到的图像B做概率霍夫变换得到一组直线L＝{l_i}，对L进行合并约束，得到指针所在的直线，并计算其角度；

i、根据指针角度和先验知识估算出表盘读数；

所述步骤e具体包括以下步骤：

步骤e1、读取先验知识，得到模板表盘的中心坐标(x_c,y_c)和半径

Radius；

步骤e2、从集合S任取两点，计算其差值为Δs，从集合T中取相匹配的两点，计算其差值为Δt，计算其比值r＝Δs/Δt；

步骤e3、重复步骤e2直至集合S和T中的任意两点都参与了计算，得到比值集合R＝{r_i}，剔除掉R中偏离的值，计算剩下的所有值的平均值r；

步骤e4、集合T中任取一点，计算该点与(x_c,y_c)的差值Δt，则S中匹配点与待读表盘图片中的表盘中心差值为r·Δt，得出表盘中心坐标为(x,y)；

步骤e5、重复步骤e3，直至集合S和T中的所有点都参与了计算，得到表盘中心坐标集合，剔除其中偏离的值，计算剩下的值的均值，得到表盘中心坐标为(x,y)；

步骤e6、以(x,y)作为中心，以2r·Radius作为边长，从待读表盘图片中截取矩形区域，该区域即为表盘所在位置。

本发明的进一步改进在于：所述步骤f具体包括以下步骤：

步骤f1、对步骤e截取的表盘区域图像进行灰度化处理得到灰度图ROI，以ROI中点为中心，边长1/4为半径统计直方图；

步骤f2、直方图的两个峰值分别代表了黑色指针区域和白色表盘区域，以两峰的分界点为阈值对灰度图做二值化处理；

所述步骤h具体包括以下步骤：

步骤h1、对步骤g得到的图像进行概率霍夫变换，得到一组直线L；

步骤h2、将L中距离小于5个像素并且交角小于3°的直线合并，得到新的直线集合L；

步骤h3、从L中选择同时满足条件1：距离表盘中心距离在阈值内，条件2：长度超过阈值，的直线作为指针所在直线，计算其角度α；

所述步骤i具体包括以下步骤：

步骤i包含步骤如下：

步骤i1、读取先验知识，得到表盘角度θ＝{θ₁,θ₂,...,θ_n}对应的刻度值为

步骤i2、比较步骤h3得到的角度α与θ的大小，如果α＜θ₁，输出表盘读数为结束，否则执行步骤i3；

步骤i3、比较步骤h3得到的角度α与θ的大小，如果α＞θ_n，输出表盘读数为结束，否则执行步骤i4；

步骤i4、比较步骤h3得到的角度α与θ的大小，得到θ_i＜α＜θ_j，输出表盘读数其中β＝(α-θ_i)/(θ_j-α)。

本发明方法简单，特别针对远距离多角度环境下仪表盘模糊不清、变形严重带来的自动读数困难，提供了解决方案，具有较高的准确率，提高了工业生产效率。

以上内容仅为本发明的较佳实施方式，对于本领域的普通技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，本说明书内容不应理解为对本发明的限制。

申请人又一声明，本发明通过上述实施例来说明本发明的实现方法及装置结构，但本发明并不局限于上述实施方式，即不意味着本发明必须依赖上述方法及结构才能实施。所属技术领域的技术人员应该明了，对本发明的任何改进，对本发明所选用实现方法等效替换及步骤的添加、具体方式的选择等，均落在本发明的保护范围和公开的范围之内。

本发明并不限于上述实施方式，凡采用和本发明相似结构及其方法来实现本发明目的的所有方式，均在本发明的保护范围之内。

Claims (5)

1.一种远距离多视角环境下的指针式仪表盘自动读数方法，其特征在于：包括以下步骤：

a、标定模板表盘的表盘中心、表盘半径和主要刻度的角度信息，作为先验知识；

b、输入待读表盘图片及其模板图片，计算模板图片和待读表盘图片的KAZE特征；

c、采用KNN算法匹配两张图片的KAZE特征，得到一组匹配点，将待读表盘图片中的集合记做S＝{(x_i,y_i)}，模板图片得到的集合记做T＝{(x_i,y_i)}，S和T中的像素点坐标一一匹配；

d、使用RANSAC方法计算S和T之间的最优单映射变换矩阵，消除错误的匹配数据，得到新的集合S和T；

e、根据匹配数据集合与先验知识，计算待读表盘图片的表盘中心位置和表盘半径，截取出待读表盘图片中的表盘区域；

f、对步骤e提取出来的表盘区域图像灰度化，根据直方图分布对灰度图二值化处理得到二值图B1；

g、对二值图B1做形态学膨胀得到膨胀图B2，B1和B2做差得到表盘内部图像B；

h、对步骤g得到的图像B做概率霍夫变换得到一组直线L＝{l_i}，对L进行合并约束，得到指针所在的直线，并计算其角度；

i、根据指针角度和先验知识估算出表盘读数。

2.根据权利要求1所述距离多视角环境下的指针式仪表盘自动读数方法，其特征在于：所述步骤e具体包括以下步骤：

步骤e1、读取先验知识，得到模板表盘的中心坐标(x_c,y_c)和半径Radius；

步骤e2、从集合S任取两点，计算其差值为Δs，从集合T中取相匹配的两点，计算其差值为Δt，计算其比值r＝Δs/Δt；

步骤e3、重复步骤e2直至集合S和T中的任意两点都参与了计算，得到比值集合R＝{r_i}，剔除掉R中偏离的值，计算剩下的所有值的平均值r；

步骤e4、集合T中任取一点，计算该点与(x_c,y_c)的差值Δt，则S中匹配点与待读表盘图片中的表盘中心差值为r·Δt，得出表盘中心坐标为(x,y)；

步骤e5、重复步骤e3，直至集合S和T中的所有点都参与了计算，得到表盘中心坐标集合，剔除其中偏离的值，计算剩下的值的均值，得到表盘中心坐标为(x,y)；

步骤e6、以(x,y)作为中心，以2r·Radius作为边长，从待读表盘图片中截取矩形区域，该区域即为表盘所在位置。

3.根据权利要求1所述距离多视角环境下的指针式仪表盘自动读数方法，其特征在于：所述步骤f具体包括以下步骤：

步骤f1、对步骤e截取的表盘区域图像进行灰度化处理得到灰度图ROI，以ROI中点为中心，边长1/4为半径统计直方图；

步骤f2、直方图的两个峰值分别代表了黑色指针区域和白色表盘区域，以两峰的分界点为阈值对灰度图做二值化处理。

4.根据权利要求1所述距离多视角环境下的指针式仪表盘自动读数方法，其特征在于：所述步骤h具体包括以下步骤：

步骤h1、对步骤g得到的图像进行概率霍夫变换，得到一组直线L；

步骤h2、将L中距离小于5个像素并且交角小于3°的直线合并，得到新的直线集合L；

步骤h3、从L中选择同时满足条件1：距离表盘中心距离在阈值内，条件2：长度超过阈值，的直线作为指针所在直线，计算其角度α。

5.根据权利要求1所述距离多视角环境下的指针式仪表盘自动读数方法，其特征在于：所述步骤i具体包括以下步骤：

步骤i1、读取先验知识，得到表盘角度θ＝{θ₁,θ₂,...,θ_n}对应的刻度值为

步骤i2、比较步骤h3得到的角度α与θ的大小，如果α＜θ₁，输出表盘读数为结束，否则执行步骤i3；

步骤i3、比较步骤h3得到的角度α与θ的大小，如果α＞θ_n，输出表盘读数为结束，否则执行步骤i4；

步骤i4、比较步骤h3得到的角度α与θ的大小，得到θ_i＜α＜θ_j，输出表盘读数其中β＝(α-θ_i)/(θ_j-α)。