CN112818988B - 一种指针式仪表自动识别读数方法及系统 - Google Patents

Abstract

本发明公开了一种指针式仪表自动识别读数方法及系统，通过基于指针式仪表图片数据集对仪表目标检测模型进行预训练；利用预训练后的仪表目标检测模型对待识别仪表图像进行预处理，然后提取预处理后的图像特征，基于提取的图像特征，对待识别仪表图像中的表盘进行矫正处理，将待识别仪表图像中的表盘与指针进行拟合，根据提取的图像特征确定表盘的起止刻度，使用角度法即可得到仪表指针读数，通过仪表目标检测模型完成指针式仪表的检测和分类，能够快速实现表盘特征的提取，然后在表盘轮廓拟合中采用拟合方法，在读数阶段提出使用目标检测的方法定位起止刻度，解决了传统方法中必须先固定拍摄表盘角度的问题，使得拍摄现场可以具有更大的灵活性。

Description

一种指针式仪表自动识别读数方法及系统

技术领域

本发明属于工业仪表仪器技术领域，具体涉及一种指针式仪表自动识别读数方法及系统。

背景技术

随着大数据、云计算、物联网技术的飞速发展，传统的工业生产环境也逐渐趋于信息化、智能化。指针式仪表作为数据测量、数据监控、数据收集的重要工具，以其低成本、耐用性的特点，在工业生产、农业生产、交通运输、国防科技、以及医疗卫生等各个生产环境中都发挥着巨大的作用。在工业生产环境中，指针式仪表应用广泛且种类繁多，如在变电站、化工厂、机械加工厂等生产环境中所存在的温度表、湿度表、气压表、电流表、油位表等等。同时，指针式仪表相对于数字型仪表来说，不能由通讯接口直接获取读数，因此目前指针式仪表读数主要由人工完成。但是，在一个生产环境中，指针式仪表的数量往往成百上千，如果依靠人工逐一读数、记录，往往成本巨大，且无法及时获取读数以了解设备、环境的变化。并且在许多困难、危险的环境下，人工读数的过程中也存在一定的风险。因此，近年来，如何通过计算机的方法实现对指针式仪表的自动读数成为了一个热门的研究课题。

关于指针式仪表的检测识别，在现有的研究方法中，一部分学者直接在未做仪表盘区域提取的图片上进行读数操作，由于图片不止存在仪表还存在其它的背景内容，因此这些背景内容会成为噪声影响读数，导致读数精度降低。在传统的方法中，许多学者使用模板匹配算法来从图像中检测出与模板匹配度最高的区域作为仪表所在区域，但是由于许多仪表分布在户外，因此当存在强弱光照、粉尘或者仪表图像存在偏转时，匹配精度低，甚至无法正常工作，同时模板匹配算法只能对仪表区域进行定位，无法识别仪表的类型。近几年来，随着深度学习的发展，许多专家学者提出使用Faster R-CN、SPP-Net等方法进行仪表盘区域的检测与识别，上述目标检测方法在一般情况下可以很好地检测识别出图像中的仪表，但是该类two-stage的目标检测算法由于检测和分类分两步进行，因此需要的时间更多，在现代化的工业生产环境中，一个系统里可能存在数百上千个采集仪表数据的摄像头，当面临海量的视频数据时，two-stage的检测算法会存在带宽、时延问题。关于指针式仪表图像的自动读数，主要包括数据预处理、仪表盘拟合、指针拟合、刻度定位、读数计算几部分。在现有的仪表盘拟合方法中，霍夫变换以其简单、高效的特点被广泛应用，但是霍夫变换往往回拟合出多个给定条件下的圆盘，因此需要设计一种方法从这些圆中得到拟合效果最准确的圆盘。在定位刻度的方法中，部分学者提出的方法是提前固定摄像头与仪表的相对位置，即将刻度位置作为先验知识，但是在实际部署中往往不容易达到；有学者提出使用SIFT检测仪表的关键点来定位刻度位置，但是当仪表的成像效果不佳时，往往检测精度也大打折扣；有学者提出使用模板匹配的方法先定位刻度附近的数字，再根据二者之间的距离关系确定刻度的位置，该方法具有一定的创新性，但是模板匹配算法在图像质量与模板存在一定差异时，检测效果不稳定，同时，如果仪表存在偏转的情况，则其检测效果则更加不稳定，从而降低了仪表的读数准确度。

发明内容

本发明的目的在于提供一种指针式仪表自动识别读数方法及系统，以克服现有技术的不足。

为达到上述目的，本发明采用如下技术方案：

一种指针式仪表自动识别读数方法，包括以下步骤：

S1，构建仪表目标检测模型，基于指针式仪表图片数据集对仪表目标检测模型进行预训练；

S2，利用预训练后的仪表目标检测模型对待识别仪表图像进行预处理，然后提取预处理后的图像特征，基于提取的图像特征，如果待识别仪表图像中表盘是否发生偏转，如果表盘发生偏转，则对待识别仪表图像中的表盘进行矫正处理，矫正处理后进入步骤S3，如果待识别仪表图像中表盘没有发生偏转则直接进入步骤S3；

S3，将待识别仪表图像中的表盘与指针进行拟合，根据提取的图像特征确定表盘的起止刻度，使用角度法即可得到仪表指针读数。

进一步的，利用LabelImg将采集的指针式仪表图片数据集制成指针式仪表图片数据集。

进一步的，对待识别仪表图像进行依次进行灰度化、滤波和卷积平滑处理，然后利用边缘检测获取图像特征。

进一步的，使用最大值法将获取的待识别仪表图像中的三分亮度的最大值作为灰度图的灰度值：

Gray(i,j)＝max{(R(i,j),G(i,j),B(i,j))}

其中，R、G、B分别代表三个通道的像素值；

然后对灰度图片进行均值滤波操作，去掉图像表面的噪声点：

其中s表示图像中的一个方块区域，f为原像素值，g为均值滤波操作后的像素值；

最后进行卷积平滑处理得到平滑了噪声的待识别仪表图像后，使用Canny边缘检测方法提取卷积平滑后待识别仪表图像的轮廓特征。

进一步的，Canny边缘检测方法具体包括以下步骤：首先是高斯滤波：

然后结合梯度计算梯度值和梯度方向：

接下来通过过滤规则来过滤不是边缘的点：

最后通过设置上下两个阈值检测最终的边缘，其中位于上下阈值之间的像素点则被看成为边缘，否则为非边缘。

进一步的，根据边缘检测获取的图像特征，判断待识别仪表图像中的表盘是否发生偏转，如果表盘发生偏转，则采用透视变换算法对待识别仪表图像中的表盘进行矫正。

进一步的，采用透视变换算法对待识别仪表图像中的表盘进行矫正：

其中[X Y Z]^T为图像的原视平面，[x y 1]^T为目标视平面，透视变换矩阵为：

得到[X' Y' Z']^T，表示变换后的目标图像：

令a₃₃＝1，展开上面的公式，得到下式：

其中(x,y)为原视平面上的坐标，(X',Y')是变换后的视平面上的坐标。

进一步的，采用设置参数在采集的图像特征中拟合多个圆环，获取拟合的多个圆环的均值，采用该均值对应的圆环或者与该均值差小于设定阈值的圆环为仪表圆环的中心圆；然后采用霍夫直线概率变换拟合圆盘上的指针，取距离中心圆圆心最近的直线为指针所在直线，该直线对应拟合为指针。

进一步的，根据提取的图像特征确定表盘的起止刻度以及量程度量信息，根据拟合的中心圆和指针，计算指针相对于起始位置的偏转角度，即可得到该表盘的具体读数。

一种指针式仪表自动识别系统，包括图像采集模块和数据处理模块；图像采集模块用于获取待识别仪表图像，并将待识别仪表图像传输至数据处理模块，数据处理模块根据获取的待识别仪表图像，对待识别仪表图像进行预处理，然后提取预处理后的图像特征，基于提取的图像特征，对待识别仪表图像中的表盘与指针进行拟合，根据提取的图像特征确定表盘的起止刻度，使用角度法即可获取仪表指针读数。

与现有技术相比，本发明具有以下有益的技术效果：

本发明一种指针式仪表自动识别读数方法，通过基于指针式仪表图片数据集对仪表目标检测模型进行预训练；利用预训练后的仪表目标检测模型对待识别仪表图像进行预处理，然后提取预处理后的图像特征，基于提取的图像特征，如果待识别仪表图像中表盘是否发生偏转，如果表盘发生偏转，则对待识别仪表图像中的表盘进行矫正处理，将待识别仪表图像中的表盘与指针进行拟合，根据提取的图像特征确定表盘的起止刻度，使用角度法即可得到仪表指针读数，通过仪表目标检测模型完成指针式仪表的检测和分类，能够快速实现表盘特征的提取，然后在表盘轮廓拟合中采用拟合方法，在读数阶段提出使用目标检测的方法定位起止刻度，解决了传统方法中必须先固定拍摄表盘角度的问题，使得拍摄现场可以具有更大的灵活性。

进一步的，在表盘轮廓拟合中采用中心圆拟合方法，使得拟合的鲁棒性更高。

本发明一种指针式仪表自动识别系统，结构简单，能够快速准确获取仪表的读数。

附图说明

图1为本发明实施例中具体处理流程图。

图2为本发明实施例中Yolov3的网络结构示意图。

图3为本发明实施例中图像预处理示意图，图3a为灰度化后效果图，图3b为中值滤波后效果图，图3c为卷积平滑后效果图，图3d为边缘检测获取图像特征图。

图4为本发明实施例中偏转矫正示意图，图4a为矫正前示意仪表图，图4b为矫正后仪表图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

如图1所示，一种指针式仪表自动识别读数方法，包括以下步骤：

S1，构建仪表目标检测模型，基于指针式仪表图片数据集对仪表目标检测模型进行预训练；

具体的，所述指针式仪表图片数据集通过采集获取，利用LabelImg将采集的指针式仪表图片数据集制成指针式仪表图片数据集，用于模型训练；可收集多种不同指针式仪表图像进行模型训练，提高模型的适用度；

如图2所示，构建基于Yolov3(You only look once)目标检测网络作为训练网络，将指针式仪表图片数据集划分为训练集和验证集，利用训练集对仪表目标检测模型进行训练，得到用于检测指针式仪表的仪表目标检测模型，利用验证集对预训练后的仪表目标检测模型进行测试，如果预训练后的仪表目标检测模型检测精度低于设定阈值或未达到预期，则采用optimizer优化方法进行优化，重新设定训练参数，直至预训练后的仪表目标检测模型检测精度达到设定要求。

S2，利用预训练后的仪表目标检测模型对待识别仪表图像进行预处理，然后提取预处理后的图像特征，基于提取的图像特征，如果待识别仪表图像中表盘是否发生偏转，如果表盘发生偏转，则对待识别仪表图像中的表盘进行矫正处理，矫正处理后进入步骤S3，如果待识别仪表图像中表盘没有发生偏转则直接进入步骤S3；

如图3所示；对待识别仪表图像进行预处理：具体的，对待识别仪表图像进行依次进行灰度化、滤波和卷积平滑处理，然后利用边缘检测获取图像特征；

具体的，使用最大值法将获取的待识别仪表图像的彩色图像中的三分亮度的最大值作为灰度图的灰度值：

Gray(i,j)＝max{(R(i,j),G(i,j),B(i,j))}

其中，R、G、B分别代表三个通道的像素值；

然后对灰度图片进行均值滤波操作，去掉图像表面的噪声点：

其中s表示图像中的一个方块区域，f为原像素值，g为均值滤波操作后的像素值；

然后进行卷积平滑处理得到平滑了噪声的待识别仪表图像后，使用Canny边缘检测方法提取卷积平滑后待识别仪表图像的轮廓特征，Canny边缘检测一共包含四个步骤：

首先，为了去掉图像中的噪声和平滑图像，对图像进行高斯滤波：

其中，f(x,y)是图像(x,y)处的原值，g_σ(x,y)表示经过高斯滤波后的新值。

然后，结合梯度计算梯度值和梯度方向：

其中，g_x(x,y)和g_y(x,y)分别是x和y方向的梯度值，G(x,y)表示由g_x(x,y)和g_y(x,y)计算得到的图像梯度，θ是梯度方向。

接下来通过过滤规则来过滤不是边缘的点：

其中，T表示与M(x,y)同梯度方向的相邻前后两个像素中的最大梯度值。

最后通过设置上下两个阈值来检测最终的边缘，其中位于上下阈值之间的像素点则被看成为边缘，否则为非边缘。

仪表盘倾斜矫正：在指针图像的采集过程中，由于存在的各种原因，可能导致得到的图片存在不同程度地偏转情况，如果忽视该情况而直接进行后续工作，则会影响后续表盘的拟合准确度进而产生较大的读数误差，因此需要先矫正存在偏转的表盘。判断椭圆是否偏转的方法是，对于正常未偏转的表盘，其偏转后的表盘呈现椭圆形状，而正常情况下是标准的圆，基于该情况，可以先对表盘进行椭圆拟合，如果椭圆的长短轴之比大于设定阈值，则判定表盘存在偏转，否则即未偏转。

如图4所示，根据边缘检测获取的图像特征，判断待识别仪表图像中的表盘是否发生偏转，如果表盘发生偏转，则采用透视变换算法对待识别仪表图像中的表盘进行矫正，透视变换是将图片从一个视平面投影到一个新的视平面的空间映射，从原视平面变换到新视平面的变换公式为：

其中[X Y Z]^T为图像的原视平面，[x y 1]^T为目标视平面，透视变换矩阵为：

可以看出，这是一个从二维空间到三维空间的转换，因为图像在二维平面，故除以Z，得到[X' Y' Z']^T，表示变换后的目标图像：

令a₃₃＝1，展开上面的公式，得到下式：

其中(x,y)为原视平面上的坐标，(X',Y')是变换后的视平面上的坐标，一共8个未知数，因此使用4对(x,y)与(X',Y')坐标即可求得透视变换矩阵。

在本发明中，对于偏转的表盘，可以看到偏转后的圆盘呈现椭圆形状，而正常情况下是标准的圆；采用椭圆长短轴上的四个端点作为原空间中的一组坐标，另外将这四个点在圆上即变换后的坐标作为第二组坐标，一共8个坐标点，计算透视变换矩阵。

完成矫正的表盘图像的中心或未发生偏转的表盘中心即为圆心。

S3，根据提取的图像特征，将待识别仪表图像中的表盘与指针进行拟合，根据提取的图像特征确定表盘的起止刻度，使用角度法即可得到仪表指针读数。

具体的，采用中心圆拟合法进行表盘与指针的拟合。具体的，采用设置参数在采集的图像特征中拟合多个圆环，获取拟合的多个圆环的均值，采用该均值对应的圆环或者与该均值差小于设定阈值的圆环为仪表圆环的中心圆；然后采用霍夫直线概率变换拟合圆盘上的指针，取距离中心圆圆心最近的直线为指针所在直线，该直线对应拟合为指针。

根据提取的图像特征确定表盘的起止刻度以及量程度量信息，根据拟合的中心圆和指针，计算指针相对于起始位置的偏转角度，即可得到该表盘的具体读数。本发明使用定位量程起止位置的方法是通过检测量程附近的数字，再根据数字与量程刻度的位置关系计算出量程起止刻度的位置。检测量程数字的模型通过SVHN(Street View House Numbers)数据集训练Yolov3模型得到。通过指针相对于起始刻度的偏转角度和和量程总范围计算出最终读数

其中，θ'和θ分别表示指针偏转角度和起止刻度之间的量程角度，max和min分别表示量程最大和最小读数，value是最终得到的读数。

本发明一种指针式仪表自动识别读数方法，基于Yolov3与图像处理的指针式仪表自动读数方法，通过预训练得到仪表目标检测模型，使用Yolov3仪表目标检测模型检测图像中的指针式仪表，通过仪表目标检测模型完成指针式仪表的检测和分类，能够快速实现表盘特征的提取，然后在表盘轮廓拟合中采用中心圆拟合方法，使得拟合的鲁棒性更高；在读数阶段提出使用目标检测的方法定位起止刻度，解决了传统方法中必须先固定拍摄表盘角度的问题，使得拍摄现场可以具有更大的灵活性。

Claims (7)

1.一种指针式仪表自动识别读数方法，其特征在于，包括以下步骤：

S1，构建仪表目标检测模型，基于指针式仪表图片数据集对仪表目标检测模型进行预训练；

S2，利用预训练后的仪表目标检测模型对待识别仪表图像进行预处理，然后提取预处理后的图像特征，基于提取的图像特征，确定待识别仪表图像中表盘是否发生偏转，如果表盘发生偏转，则对待识别仪表图像中的表盘进行矫正处理，矫正处理后进入步骤S3，如果待识别仪表图像中表盘没有发生偏转则直接进入步骤S3；

具体的，根据边缘检测获取的图像特征，判断待识别仪表图像中的表盘是否发生偏转，如果表盘发生偏转，则采用透视变换算法对待识别仪表图像中的表盘进行矫正；

采用透视变换算法对待识别仪表图像中的表盘进行矫正：

其中[X Y Z]^T为图像的原视平面，[x y 1]^T为目标视平面，透视变换矩阵为：

得到[X' Y' Z']^T，表示变换后的目标图像：

令a₃₃＝1，展开上面的公式，得到下式：

其中(x,y)为原视平面上的坐标，(X',Y')是变换后的视平面上的坐标；

S3，将待识别仪表图像中的表盘与指针进行拟合，根据提取的图像特征确定表盘的起止刻度，使用角度法即可得到仪表指针读数；

采用设置参数在采集的图像特征中拟合多个圆环，获取拟合的多个圆环的均值，采用该均值对应的圆环或者与该均值差小于设定阈值的圆环为仪表圆环的中心圆；然后采用霍夫直线概率变换拟合圆盘上的指针，取距离中心圆圆心最近的直线为指针所在直线，该直线对应拟合为指针。

2.根据权利要求1所述的一种指针式仪表自动识别读数方法，其特征在于，利用LabelImg将采集的指针式仪表图片数据集制成指针式仪表图片数据集。

3.根据权利要求1所述的一种指针式仪表自动识别读数方法，其特征在于，对待识别仪表图像进行依次进行灰度化、滤波和卷积平滑处理，然后利用边缘检测获取图像特征。

4.根据权利要求3所述的一种指针式仪表自动识别读数方法，其特征在于，使用最大值法将获取的待识别仪表图像中的三分亮度的最大值作为灰度图的灰度值：

Gray(i,j)＝max{(R(i,j),G(i,j),B(i,j))}

其中，R、G、B分别代表三个通道的像素值；

然后对灰度图片进行均值滤波操作，去掉图像表面的噪声点：

其中s表示图像中的一个方块区域，f为原像素值，g为均值滤波操作后的像素值；

最后进行卷积平滑处理得到平滑了噪声的待识别仪表图像后，使用Canny边缘检测方法提取卷积平滑后待识别仪表图像的轮廓特征。

5.根据权利要求4所述的一种指针式仪表自动识别读数方法，其特征在于，Canny边缘检测方法具体包括以下步骤：首先对图像进行高斯滤波：

f(x,y)是图像(x,y)处的原值，g_σ(x,y)表示经过高斯滤波后的新值；

然后结合梯度计算梯度值和梯度方向：

g_x(x,y)和g_y(x,y)分别是x和y方向的梯度值，G(x,y)表示由g_x(x,y)和g_y(x,y)计算得到的图像梯度，θ是梯度方向；

接下来通过过滤规则来过滤不是边缘的点：

T表示与M(x,y)同梯度方向的相邻前后两个像素中的最大梯度值，最后通过设置上下两个阈值检测最终的边缘，其中位于上下阈值之间的像素点则被看成为边缘，否则为非边缘。

6.根据权利要求1所述的一种指针式仪表自动识别读数方法，其特征在于，根据提取的图像特征确定表盘的起止刻度以及量程度量信息，根据拟合的中心圆和指针，计算指针相对于起始位置的偏转角度，即可得到该表盘的具体读数。

7.一种基于权利要求1所述指针式仪表自动识别读数方法的指针式仪表自动识别系统，其特征在于，包括图像采集模块和数据处理模块；图像采集模块用于获取待识别仪表图像，并将待识别仪表图像传输至数据处理模块，数据处理模块根据获取的待识别仪表图像，对待识别仪表图像进行预处理，然后提取预处理后的图像特征，基于提取的图像特征，对待识别仪表图像中的表盘与指针进行拟合，根据提取的图像特征确定表盘的起止刻度，使用角度法即可获取仪表指针读数。