CN112990190A - 指针式仪表读数的识别方法、装置 - Google Patents

Abstract

本申请提供的一种指针式仪表读数的识别方法、装置、计算机设备和存储介质，所述方法包括：通过获取仪表在不同场景下对应的场景图像；对所述场景图像进行仪表自动检测，得到仪表图像；然后对所述仪表图像进行畸变消除，得到正视角仪表图像；进而根据所述正视角仪表图像，确定所述仪表的读数。通过上述方法可以提高指针式仪表读数的精确度、识别效率以及提高稳定性的问题。

Description

指针式仪表读数的识别方法、装置

技术领域

本申请涉及工控安全技术领域，尤其涉及一种指针式仪表读数的识别方法、装置、计算机设备和存储介质。

背景技术

在工业安全领域，如发电厂、采气厂、变电站等工业场所中，有许多设备配置了仪表如气压表、温度表、油温表，其中很大部分仍为指针仪表，目前记录表数据靠人眼观测，检测效率低并且精度不高，特别是长时间持续巡检读数，容易引起视觉疲劳，从而导致误差的产生；另外还有一些无法采用人工巡检读数的场合，不利于工业领域的自动化与高效管理。因此，研究一种快速、准确、鲁棒性强的指针式仪表自动检测与识别方法具有非常重要的现实意义。

仪器仪表是工业领域中应用非常普遍的测量工具，是监视、调节的控制工业生产运行状态的重要依据，但由于人眼分辨能力和易疲劳等主观因素的影响，常会造成仪表读数的可信度低、稳定性差、速度慢，而且很难及时发现运行中的参数突变，事实上这已经成为制约工业自动化水平提高的关键因素之一。

目前，国内对指针仪表图像的处理与识别已有一些研究，现有的识别算法主要分为两大部分：表盘区域定位和指针定位。对于表盘区域定位，利用仪表表盘的形状特征，通过模板匹配或椭圆拟合的方法确定仪表表盘在图像中的基本位置，虽然其算法具备一定的实时性和鲁棒性，但很多工控场所结构复杂，采集到的仪表可能同时包含了其它近似圆的部件，在使用椭圆检测算法是极易出现错误的检测结果，且本文研究的仪表种类不同且摄像头需满足多视角、多距离的安装，所以这些算法不适用与本文。在指针定位方面，研究者进行了大量的研究，主要有中心投影法、减影法、模板特征法、Hough变换法、最小二乘法及这些方法联合应用。众多方法中，中心投影法、减影法和模板特征法受图像噪声干扰较大，Hough变换法容错性较好，但对一些多符号多条纹等干扰的仪表并不适用，且计算量及储存量都很大，难以满足实际使用需求。

此外，针对指针式仪表自动检测与识别的研究大多基于预先获取到的仪表图像，这些图像中仪表目标较大且位置居中，仪表表盘与相机平面平行，称之为高质量图像。为了获取这类高质量图像,需要进行大量前期仪表目标的记录与相机精细的标定工作。每次变电站的仪表位置发生变化都需要重新进行测量与标定。这类方法普适性、稳定性与效率较差，难以满足工控领域的实际使用要求。

发明内容

有鉴于此，本申请的目的在于提出一种指针式仪表读数的识别方法、装置、计算机设备和存储介质，以解决现有技术中稳定性差、精度低以及效率差的问题。

基于上述目的，本申请提出一种指针式仪表读数的识别方法，所述方法包括：

获取仪表在不同场景下对应的场景图像；

对所述场景图像进行仪表自动检测，得到仪表图像；

对所述仪表图像进行畸变消除，得到正视角仪表图像；

根据所述正视角仪表图像，确定所述仪表的读数。

在一个实施例中，所述场景图像包括训练图像和测试图像；所述对所述场景图像进行仪表自动检测，得到仪表图像包括：

根据所述训练图像和卷积神经网络，确定仪表自动检测模型；

将所述测试图像输入所述仪表自动检测模型，得到仪表图像。

在一个实施例中，根据所述训练图像和卷积神经网络，确定仪表自动检测模型包括：

将标注有所述仪表的位置信息的训练图像输入所述卷积神经网络，得到仪表自动检测模型。

在一个实施例中，对所述仪表图像进行畸变消除，得到正视角仪表图像包括：

采用透视变换对所述仪表图像进行处理，得到正视角仪表图像。

在一个实施例中，采用透视变换对所述仪表图像进行处理，得到正视角仪表图像包括：

利用OpenCV对所述仪表图像进行椭圆表盘的识别，并选取椭圆表盘的长短轴端点作为变换矩阵以对所述表盘视角进行修正，确定所述正视角仪表图像。

在一个实施例中，根据所述正视角仪表图像，确定所述仪表的读数包括：

对所述正视角仪表图像进行均值滤波，得到所述正视角仪表图像对应的灰度图像；

对所述灰度图像进行Hough变换，确定所述灰度图像中仪表的表盘；

采用径向灰度算法对所述表盘进行处理，确定所述表盘中指针位置；

计算所述指针与仪表零刻度线的夹角，并根据仪表角度量程和读数量程，通过等比例换算得到所述仪表的读数。

一种指针式仪表读数的识别装置，所述装置包括：

获取模块，用于获取仪表在不同场景下对应的场景图像；

检测模块，用于对所述场景图像进行仪表自动检测，得到仪表图像；

畸变消除模块，用于对所述仪表图像进行畸变消除，得到正视角仪表图像；

仪表读数确定模块，用于根据所述正视角仪表图像，确定所述仪表的读数。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上任一项所述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上任一项所述的方法的步骤。

本申请提供的一种指针式仪表读数的识别方法、装置、计算机设备和存储介质，所述方法包括：通过获取仪表在不同场景下对应的场景图像；对所述场景图像进行仪表自动检测，得到仪表图像；然后对所述仪表图像进行畸变消除，得到正视角仪表图像；进而根据所述正视角仪表图像，确定所述仪表的读数。通过上述方法可以提高指针式仪表读数的精确度、识别效率以及提高稳定性的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的一种指针式仪表读数的识别方法的流程示意图；

图2为本申请实施例的采用仪表自动检测模型的model_loss曲线示意图；

图3(a)为本申请实施例的未检测前图像；

图3(b)为本申请实施例的使用yolov3模型检测后图像；

图4(a)为本申请实施例的目标检测后仪表所在位置截图；

图4(b)为本申请实施例的经透视变换得到的仪表正立图像；

图5(a)为本申请实施例的表盘检测结果示意图；

图5(b)为本申请实施例的指针检测结果示意图；

图6为本申请实施例的一种指针式仪表读数的识别装置的结构示意图；

图7为本申请实施例的计算机设备的内部结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。

需要说明的是，除非另外定义，本申请实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

为了便于理解本申请文件，需要对下述关键词进行说明，具体如下：

高质量图像：指图像中仪表目标较大且位置居中，仪表表盘与相机平面平行。

仪表图像消畸变：指通过图像处理修正仪表表盘平面与相机平面存在的一定角度偏差。

目标检测：指识别图片中有哪些物体以及物体的位置(坐标位置)即图像中存在的物体对象。

径向灰度求和：指通过计算表盘圆半径上的灰度和。

卷积神经网络：指一类包含卷积计算且具有深度结构的前馈神经网络，具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，是深度学习的代表算法之一。

计算机视觉：指使用计算机及相关设备对生物视觉的一种模拟，它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息。

本发明的目的可以通过以下技术方案来实现：

结合图1，一种指针式仪表读数的识别方法，所述方法包括：

步骤S100：获取仪表在不同场景下对应的场景图像；

步骤S200：对所述场景图像进行仪表自动检测，得到仪表图像；

步骤S300：对所述仪表图像进行畸变消除，得到正视角仪表图像；

步骤S400：根据所述正视角仪表图像，确定所述仪表的读数。

在一个实施例中，所述场景图像包括训练图像和测试图像；步骤S200包括：

步骤S2001：根据所述训练图像和卷积神经网络，确定仪表自动检测模型；

步骤S2002：将所述测试图像输入所述仪表自动检测模型，得到仪表图像。

在一个实施例中，步骤S2001包括：

步骤S2001a：将标注有所述仪表的位置信息的训练图像输入所述卷积神经网络，得到仪表自动检测模型。

在一个实施例中，步骤S300包括：

步骤S3001：采用透视变换对所述仪表图像进行处理，得到正视角仪表图像。

在一个实施例中，步骤S3001包括：

步骤S3001a：利用OpenCV对所述仪表图像进行椭圆表盘的识别，并选取椭圆表盘的长短轴端点作为变换矩阵以对所述表盘视角进行修正，确定所述正视角仪表图像。

在一个实施例中，步骤S400包括：

步骤S4001：对所述正视角仪表图像进行均值滤波，得到所述正视角仪表图像对应的灰度图像；

步骤S4002：对所述灰度图像进行Hough变换，确定所述灰度图像中仪表的表盘；

步骤S4003：采用径向灰度算法对所述表盘进行处理，确定所述表盘中指针位置；

步骤S4004：计算所述指针与仪表零刻度线的夹角，并根据仪表角度量程和读数量程，通过等比例换算得到所述仪表的读数。

指针仪表式识别是基于目标检测技术衍生出来的，针对工控指针式仪表自动识别，旨在形成基于仪表自动识别读数功能，与目前计算机视觉领域被广泛应用的目标检测相结合，最终形成一种基于计算机视觉的指针式仪表识别方法。本发明提出的仪表检测与识别方法由仪表自动检测、仪表图像消畸变和仪表读数识别3个步骤：

在一个实施例中，下面详细介绍了本申请所述对所述场景图像进行仪表自动检测，得到仪表图像的具体实施过程。仪表自动检测模块的任务为在当前摄像机的视野下自动检测到仪表的目标位置，并用目标框将其从背景中标记出来。这类目标检测方法需具备较高的精度与稳定性，能够在不同种类的环境下将多类仪表准确的检测出来。传统的基于模板匹配与人工设计特征选择的检测方法往往针对一些特定场景下的固定类别仪表检测具有较好的效果，但是难以迁移到不同场景下的多类仪表检测问题中去。

近年来深度学习在自然语言处理模式识别图像分类、图像分割以及目标检测等众多领域取得了一系列突破性成果。CNN通过模拟人类视觉神经细胞对图像的处理方法,采用卷积操作、局部感受野以及权值共享等方法,适用于处理图像分类、图像分割以及目标检测等计算机视觉问题。采用卷积神经网络作为仪表目标检测模块的模型框架,在YOLOV3(YouOnly Look Once)模型的基础上加以改进以适用于仪表类目标的检测。

仪表自动检测过程分为几个模块：

数据准备模块，用于训练模型所需的训练数据。

标注数据模块，在图像数据中标注出仪表的标签及位置信息。

训练模型模块，训练模型得到仪表自动检测模型权重。

仪表目标检测测试模块，测试模型权重的准确度，并且根据测试数据调整模型。

此过程详细方案如下：

根据工业场所提供的仪表信息数据，进行图像清洗处理(将目标模糊和目标不明确的图像进行清洗)；然后将清洗后的图片实验LabImg工具进行标注处理，为了提高模型的准确度将一些类似仪表的位置标注为负样本，最终生成xml文件用于模型训练。

经过数据处理得到jpg及xml文件，由于训练数据需进行矩阵运算，使用服务器或者GPU显卡来训练模型，使用yolov3-keras框架来训练模型，根据经验值训练400epoch得到较好的模型权重,训练模型的model_loss曲线，如图2所示。

训练模型结束后得到权重文件，使用此权重文件测试模型及mAp计算得到仪表的检出率为99.8％。图3所示为仪表目标检测模型测试结果图，图3(a)为未检测前图像，图3(b)为使用yolov3模型检测后图像。

在一个实施例中，下面本申请详细介绍了对所述仪表图像进行畸变消除，得到正视角仪表图像的具体实施例。经过仪表目标检测后获得的待检仪表图像中，仪表表盘平面与相机平面可能存在一定角度的偏差。当仪表表盘与相机平面平行时表盘成像为圆形，可获得待检仪表正面图像。当仪表表盘与相机平面不平行时表盘成像为椭圆形，且椭圆形长轴与短轴相差越大，表盘倾斜角度越大，此时待检仪表图像为畸变图像。通过透视变换对畸变图像进行处理，将其修正为正面视角图像以减小读数误差。

透视变换可将图像从当前视平面投影至新的视平面，达到改变图像成像细节的目的，其变换规则如下式：

通过OpenCV进行椭圆识别后，选择椭圆表盘的长短轴端点作为变换矩阵的计算依据来实现表盘视角修正，如图4所示，其中图4(a)所示为目标检测后仪表所在位置截图，图4(b)所示为经透视变换得到的仪表正立图像。

在一个实施例中，下面详细阐述对根据所述正视角仪表图像，确定所述仪表的读数的具体实施例。经过目标检测与图像消畸变后得到待检仪表的高质量图像，进行图像预处理、表盘检测、指针检测与刻度对应即可完成仪表读数识别任务。

此过程分为几个模块：

图像预处理模块，对图像进行均值滤波处理。

图像圆检测模块，对待检测仪表图像表盘Hough变换圆检测。

指针检测模块，使用径向灰度算法进行指针检测。

刻度对应模块，针对不同刻度仪表进行读数。

仪表读数识别测试模块，根据发明算法进行读数精度测试。

此过程详细方案如下：

图像预处理模型对图像消畸变后得到的图像进行均值滤波，消除图像噪声的同时尽量保留图像的边缘轮廓信息。为减少后续图像处理的计算量，将三通道彩色图像转换为单通道灰度图。

经过图像预处理得到尺寸适中、轮廓清晰的待检图像的灰度图，通过Hough变换检测图像中的圆形轮廓作为表盘检测结果。图像坐标系中圆的方程为：(x-a)+(y-b)＝r₂式中：(a，b)为圆心，r为半径。一组(a，b，r)参数在(a，b，r)参数空间构成了一个圆锥面。多个圆锥面的公式共点代表图像空间的一个圆。对图像空间内的所有像素点的搜索，完成对图像中圆的检测。

经Hough变换圆检测得到圆盘的圆心坐标(a，b)及半径r，由于表盘与指针颜色差距较大，相应的灰度图中的灰度值差距也较大，通过计算表盘圆半径上的灰度和s，当和值最大(或最小，根据表盘背景和指针颜色确定)时，半径方向即为指针方向，结合圆心即可确定指针位置。

获得指针检测结果后可计算得到指针与仪表零刻度线的夹角，在根据仪表角度量程以及读数量程，通过等比例换算得到当前仪表的读数。

图5所示为仪表读数模块测试的结果，其中图5(a)所示为表盘检测结果，图5(b)所示为指针检测结果。统计20次仪表读数识别结果，如表1所示。测试结果表明，表盘检测与指针检测不依赖与图像整体成像质量，取决于表盘与指针的边界轮廓，其检测准确度直接影响最终读数精度。本文方法对于不同光照、清晰度图像具有稳定的识别能力，测试最大读数误差为1.888，具有较强的稳定性和准确性。

表1 20次仪表读数识别测试结果

本发明的有益技术效果：

1)本发明提出的方法不依赖于预先获取的高质量图像，避免了前期复杂仪表位置标定工作。

2)可以在不同的工业领域中方便的迁移部署，满足实际应用的需求。

3)测试实验结果表明，提出的方法对于不同环境下的指针式仪表检测与识别具有良好的稳定性和鲁棒性。

4)对于表盘平面与相机平面造成的偏差，提出的方法透视变换可以消除图像畸变，适用于不同场景下的仪表识别。

5)人员不需要去现场记录仪表读数，实现自动化管理。

6)目标检测依据是根据大量不同数据学习后得到的结果，如有与训练模型差距较大的数据可能会比较难以检测，需加入此类数据进行训练模型。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种指针式仪表读数的识别装置，包括：

获取模块1，用于获取仪表在不同场景下对应的场景图像；

检测模块2，用于对所述场景图像进行仪表自动检测，得到仪表图像；

畸变消除模块3，用于对所述仪表图像进行畸变消除，得到正视角仪表图像；

仪表读数确定模块4，用于根据所述正视角仪表图像，确定所述仪表的读数。

关于一种指针式仪表读数的识别装置的具体限定可以参见上文中对一种指针式仪表读数的识别方法的限定，在此不再赘述。上述的一种指针式仪表读数的识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储计算机程序所需数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种信息解耦方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现如上方法所述步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上方法所述步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种指针式仪表读数的识别方法，其特征在于，所述方法包括：

获取仪表在不同场景下对应的场景图像；

对所述场景图像进行仪表自动检测，得到仪表图像；

对所述仪表图像进行畸变消除，得到正视角仪表图像；

根据所述正视角仪表图像，确定所述仪表的读数。

2.根据权利要求1所述的指针式仪表读数的识别方法，其特征在于，所述场景图像包括训练图像和测试图像；所述对所述场景图像进行仪表自动检测，得到仪表图像包括：

根据所述训练图像和卷积神经网络，确定仪表自动检测模型；

将所述测试图像输入所述仪表自动检测模型，得到仪表图像。

3.根据权利要求2所述的指针式仪表读数的识别方法，其特征在于，根据所述训练图像和卷积神经网络，确定仪表自动检测模型包括：

将标注有所述仪表的位置信息的训练图像输入所述卷积神经网络，得到仪表自动检测模型。

4.根据权利要求3所述的指针式仪表读数的识别方法，其特征在于，对所述仪表图像进行畸变消除，得到正视角仪表图像包括：

采用透视变换对所述仪表图像进行处理，得到正视角仪表图像。

5.根据权利要求4所述的指针式仪表读数的识别方法，其特征在于，采用透视变换对所述仪表图像进行处理，得到正视角仪表图像包括：

利用OpenCV对所述仪表图像进行椭圆表盘的识别，并选取椭圆表盘的长短轴端点作为变换矩阵以对所述表盘视角进行修正，确定所述正视角仪表图像。

6.根据权利要求5所述的指针式仪表读数的识别方法，其特征在于，根据所述正视角仪表图像，确定所述仪表的读数包括：

对所述正视角仪表图像进行均值滤波，得到所述正视角仪表图像对应的灰度图像；

对所述灰度图像进行Hough变换，确定所述灰度图像中仪表的表盘；

采用径向灰度算法对所述表盘进行处理，确定所述表盘中指针位置；

计算所述指针与仪表零刻度线的夹角，并根据仪表角度量程和读数量程，通过等比例换算得到所述仪表的读数。

7.一种指针式仪表读数的识别装置，其特征在于，所述装置包括：

获取模块，用于获取仪表在不同场景下对应的场景图像；

检测模块，用于对所述场景图像进行仪表自动检测，得到仪表图像；

畸变消除模块，用于对所述仪表图像进行畸变消除，得到正视角仪表图像；

仪表读数确定模块，用于根据所述正视角仪表图像，确定所述仪表的读数。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images