CN110378225A - 指针式仪表自动读数的识别方法及识别装置 - Google Patents

Abstract

本发明公开了一种指针式仪表自动读数的识别方法及识别装置，该识别方法包括：S1)：对采集到的指针式仪表的原始图像的信息进行提取，获得原始图像的特征向量；S2)：对原始图像的特征向量进行识别，以获得指针式仪表的仪表盘特征向量、指针式仪表盘中的数字区域特征向量以及数字的位置信息；S3)：基于原始图像的特征向量和仪表盘特征向量对仪表盘中的指针进行定位，以获得指针的位置信息；S4)：基于原始图像的特征向量和数字区域特征向量对仪表盘中的数字进行识别，以获得数字的数值信息：S5)：基于指针的位置信息、数字的数值信息以及数字的位置信息进行读数数值的判定，以获得指针式仪表的读数数值。

Description

指针式仪表自动读数的识别方法及识别装置

技术领域

本发明涉及一种指针式仪表自动读数识别领域，特别是指一种对于含有数字刻度信息的指针式仪表的自动读数识别装置的训练方法和装置。

背景技术

随着科技的不断发展，社会的不停进步，工业生产规模的不断扩大，仪表作为数据监控、数据收集的重要工具，在生产生活中都发挥着巨大的作用。虽然数显示仪表的检测和数据传输技术已经相当成熟，但在一些传统的工业生产和一些复杂环境中，指针式仪表依然是目前测量的主要工具。随着工业生产、生活的信息化和数据化，指针式仪表仍然需要人工手动录入读数，不仅仅耗费大量的人力，同时也容易因工作量大而产生错误，严重影响工业生产的效率。而对于无数据传输的指针式仪表进行更换又存在成本过高、操作复杂、资源过度浪费的问题。因此，如何自动的对指针式仪表进行读数识别在工业生产生活中就显得尤为重要。

目前，国内对于指针式仪表自动读数识别做了大量的研究，取得了一系列的成果。通常指针式仪表自动识别主要包含仪表盘与环境背景分离、定位指针和示数识别并自动读数这三个重要部分。其中，仪表盘与环境背景分离主要包括的方法有：模版匹配法、Ostu自适应阈值分割法。然而，这两种主流的算法都存在其作为图像分割的局限性。模版匹配法限制了指针式仪表识别的种类，只能对给定模版的指针式仪表进行仪表盘和背景的分离，泛化性较差，而Ostu自适应阈值分割法则对光照条件和仪表的自身背景的要求过高，对于光照条件和自然环境复杂的情况，无法对仪表盘与自然背景进行有效的分割。

为解决现用技术问题的上述缺陷，有必要提出一种指针式仪表自动读数的识别方法及识别装置。

发明内容

有鉴于此，本发明的目的在于提出一种指针式仪表自动读数的识别方法及识别装置，构建一个完整简单高效的自然场景中含有数字刻度信息的指针式仪表识别装置的方案。

本发明的指针式仪表自动读数的识别方法，其中，所述指针式仪表自动读数的识别方法包括：

S1)：对采集到的指针式仪表的原始图像的信息进行提取，获得原始图像的特征向量；

S2)：对所述原始图像的特征向量进行识别，以获得所述指针式仪表的仪表盘特征向量、所述指针式仪表盘中的数字区域特征向量以及数字的位置信息；

S3)：基于所述原始图像的特征向量和所述仪表盘特征向量对仪表盘中的指针进行定位，以获得指针的位置信息；

S4)：基于所述原始图像的特征向量和数字区域特征向量对仪表盘中的数字进行识别，以获得数字的数值信息：

S5)：基于所述指针的位置信息、所述数字的数值信息以及所述数字的位置信息进行读数数值的判定，以获得所述指针式仪表的读数数值。

如上所述的指针式仪表自动读数的识别方法，其中，

步骤S1)包括：

S11)：采集指针式仪表的原始图像；

S12)：获取计算机中所述原始图像的存储矩阵信息，得到所述原始图像的特征向量。

如上所述的指针式仪表自动读数的识别方法，其中，所述原始图像的特征向量为w×h×3三维矩阵，其中，w表示原始图像的宽，h表示原始图像的高，3表示原始图像的颜色空间。

如上所述的指针式仪表自动读数的识别方法，其中，在步骤S2)中，所述对所述原始图像的特征向量进行识别包括：

对采集到指针式仪表的原始图像中的仪表盘和自然背景进行分离，以获得仪表盘区域信息，同时对原始图像中的数字区域进行标记和提取，以获得数字区域信息；

基于所述原始图像的特征向量，利用深度卷积神经网络模型生成仪表盘特征向量以及数字区域特征向量。

如上所述的指针式仪表自动读数的识别方法，其中，步骤S3)包括：

S31)利用所述仪表盘区域信息，在指针式仪表的原始图像上对仪表盘进行图像分割，得到仪表盘的图像；

S32)对所述仪表盘的图像进行颜色空间变换，得到二值化仪表盘图像；

S33)对所述二值化仪表盘图像进行指针的拟合和定位，以获得指针的位置信息。

如上所述的指针式仪表自动读数的识别方法，其中，步骤S4)包括：。

S41)利用所述数字区域信息，在指针式仪表的原始图像上对数字区域进行图像分割，得到多个不同的数字区域的图像；

S42)对数字区域的图像进行颜色空间变化，得到二值化数字区域图像；

S43)对二值化后的数字区域图像进行数值的识别，以获得数字的数值信息。

本发明还提出了一种指针式仪表自动读数的识别装置，其中，本发明的指针式仪表自动读数的识别装置包括：

原始图像特征提取模块，其用于对采集到的指针式仪表的原始图像的信息进行提取，获得原始图像的特征向量；

仪表盘和数字区域识别模块，其用于对所述原始图像的特征向量进行识别，以获得所述指针式仪表的仪表盘特征向量、所述指针式仪表盘中的数字区域特征向量以及数字的位置信息；

仪表盘指针定位模块，其基于所述原始图像的特征向量和所述仪表盘特征向量对仪表盘中的指针进行定位，以获得指针的位置信息；

数值识别模块，其基于所述原始图像的特征向量和数字区域特征向量对仪表盘中的数字进行识别，以获得数字的数值信息；以及

示数确定模块，其基于所述指针的位置信息、所述数字的数值信息以及所述数字的位置信息进行读数数值的判定，以获得所述指针式仪表的读数数值。

如上所述的指针式仪表自动读数的识别装置，其中，所述原始图像的特征向量为w×h×3三维矩阵，其中，w表示原始图像的宽，h表示原始图像的高，3表示原始图像的颜色空间。

本发明还提出了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的指针式仪表自动读数的识别方法的步骤。

本发明还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的指针式仪表自动读数的识别方法的步骤。

本发明的技术方案中，首先对自然场景下的仪表盘信息进行特征提取，然后根据提取的信息做数字的识别、指针的定位、及读数的判定。该方案在对比和结合以往的指针式仪表识别设计的基础上，着重解决了自然场景下的仪表盘信息难以提取的问题，同时是一种泛化性高、鲁棒性强、通用性好的方案。

附图说明

图1为本发明实施例的指针式仪表自动读数的识别方法的流程图；

图2为本发明实施例提供的一种自然场景仪表特征提取的方法流程图；

图3为本发明实施例提供的一种仪表盘指针定位的方法流程图；

图4为本发明实施例提供的一种数字区域数值识别的方法流程图；

图5为本发明实施例提供的一种仪表示数自动确定的方法流程图；

图6为本发明实施例的指针式仪表自动读数的识别装置的结构示意图；

图7为本发明实施例提供的终端设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

下面结合附图详细说明本发明实施例的技术方案。

如图1所示，本发明的针式仪表自动读数的识别方法包括：

S1)：对采集到的指针式仪表的原始图像的信息进行提取，获得原始图像的特征向量(也可以称为信息特征向量)；

S2)：对原始图像的特征向量进行识别，以获得所述指针式仪表的仪表盘特征向量、所述指针式仪表盘中的数字区域特征向量以及数字的位置信息；

S3)：基于原始图像的特征向量和仪表盘特征向量对仪表盘中的指针进行定位，以获得指针的位置信息；

S4)：基于原始图像的特征向量和数字区域特征向量对仪表盘中的数字进行识别，以获得数字的数值信息：。

S5)：基于指针的位置信息、数字的数值信息以及数字的位置信息进行读数数值的判定，以获得所述指针式仪表的读数数值。

具体地，本发明提供的一种自然场景中含有数字刻度信息的指针式仪表自动读数识别的方法，包括：

对于采集到的原始图像信息，对仪表盘和自然背景进行分离操作，同时对原始图像中的数字区域进行标记和提取；

其中，对于原始图像的信息提取是根据表征原始图像的特征向量，利用设计的深度卷积神经网络模型实现的。

对于提取到的仪表盘信息，对仪表盘中的指针进行拟合和定位，找出指针的位置信息，其中，仪表盘信息是指仪表盘的信息特征向量与原始图像的特征向量相结合后获得的信息，深度卷积神经网络模型得到的是掩码信息，需要对原始图像信息进行进一步处理；

其中，对于指针位置信息的确定采用霍夫概率直线的方法进行提取。

对于得到的数字区域对仪表盘上的数字进行数值的识别；

其中，对于数字识别采用预先训练好的KNN分类器对数字区域进行信息识别。

最后由之前得到指针的位置信息、数字的数值信息和数字的位置信息，进行指针式仪表示数的判定。

其中对于示数的最终确定根据数字的数值信息和位置信息，利用距离法对指针式仪表的示数进行最后的确定。

本发明还提供一种自然场景下指针式仪表识别装置训练方法，包括：

确定原始数据的特征向量、仪表盘信息特征向量、数字区域信息特征向量、数值信息；

利用原始数据的特征向量、仪表盘信息特征向量、数字区域信息特征向量，使用深度卷积神经网络模型训练得到自然场景下含数字信息的指针式仪表的识别装置；

其中，无效的信息的标注值为0，仪表盘信息的标注值为1，数字区域信息的标注值为2。

现结合图2至图6对本发明的指针式仪表自动读数的识别方法的具体实施例进行详细地描述。如图2所示，本发明实施例提供的一种自然场景仪表特征提取的方法包括；

S101：采集到的原始指针式仪表图像；具体地，对于要求识别的指针式仪表进行图像的采集，如采用物理仪器拍摄，采集得到计算机等设备能够识别的指针式仪表的图像，以得到便于计算机直接进行读取的格式，例如：jpg、png等。获取计算机中所述原始图像的存储矩阵信息，得到所述原始图像的特征向量，也即从电脑等设备中获取原始图像的存储特征矩阵计算机读取后的图像特征向量为一个三维矩阵(w*h*3)，其中w表示图像的宽，h表示图像的高，3表示图像的颜色空间。

S102：提取图像特征，得到图像特征向量；具体地，利用训练好的深度卷积神经网络对原始指针式仪表图像进行特征提取，得到图像的特征向量。

S103：生成仪表盘信息特征向量和数字区域特征向量；具体地，基于S102得到的图像的特征向量，利用深度卷积网络MASKR2CNN对仪表盘信息特征向量和数字区域特征向量进行生成。其中仪表盘的特征向量(也可以称为信息特征向量)是一个与原始图像的宽和高相同的二维矩阵，二维矩阵的元素为0或者1，多个相互连通的1用来表征仪表盘在原始图像中的位置信息，即mask信息。数字区域的表征为一个1*5的特征向量，即(x，y，h，w，theta)，其中，x，y表示数字区域中心点在原始图像中的坐标。h，w表征数字区域的高和宽，theta表征数字区域的矩形与水平方向的夹角。

本发明设计一种对MASKRCNN的模型(实例分割模型)进行改进的优化方法MASKR2CNN，并利用改进后的MASKR2CNN模型对采集的原始数据进行信息的提取。

MASKR2CNN的结构属于经典的两步推荐的目标检测网络。对于采集到的原始图像信息，MASKR2CNN通过Resnet101深度卷积神经网络对原始图像进行特征提取，同时，对于不同深度产生的特征信息进行融合，构建一个特征金字塔FPN模型来表征图像特征；在FPN模型上利用锚点生成不同比例和不同长宽比的候选框体，并通过RPN模型对候选框体进行前景和后景的分类打分，同时生成候选框体与结果框体的回归值，以此来对初步推荐的候选框体进行筛选；对于初步筛选后的候选框体进行尺度归一化的池化操作，对于池化后的特征信息，一部分进行候选框体的分类和倾斜框体坐标的生成，一部分用于反卷积生成目标的分割区域。原始图像经由MASKR2CNN一个网络模型后，便可以得到我们需要的数字区域的倾斜框体信息以及仪表盘与自然场景分离的分割区域信息。

如图3所示，本发明实施例提供的一种仪表盘指针定位的方法包括：

S201：分割仪表盘图像，得到分割后的仪表盘图像；

具体的，利用之前得到的仪表盘区域信息，在指针式仪表的原始图像上对仪表盘进行图像分割，得到仪表盘的图像信息。

S202：对分割后的仪表盘图像进行颜色空间变换，得到二值化图像；

具体的，利用仪表盘的图像信息，基于Ostu方法对分割后的仪表盘图像进行二值化处理，得到二值化的仪表盘图像信息。

S203：对二值化后仪表盘图像进行指针的拟合和定位；

具体的，利用二值化后的仪表盘图像，采用概率霍夫变换的方法对仪表盘的指针进行拟合和定位，得到指针的定位信息(x1，y1，x2，y2)分别为指针线段的两个端点坐标。

如图4所示，本发明实施例提供的一种数字区域数值识别的方法流程包括：

S301：对数字区域图像进行分割，得到分割后的数字区域图像；

具体的，利用之前得到的数字区域信息，在指针式仪表的原始图像上对数字区域进行图像分割，得到多个不同的数字区域的图像信息，其中，数字区域信息是指数字区域特征向量与原始图像的特征向量相结合后获得的信息。

S302：对分割后的数字区域图像进行颜色空间变化，得到二值化图像；

具体的，利用数字区域的图像信息，基于Ostu方法对分割后的数字区域图像进行二值化处理，得到二值化的数字区域图像。

S303：对二值化后的数字区域图像进行数值的识别。

具体的，利用之前得到的二值化的数字区域的图像信息，对数字区域利用轮廓追踪法对数字区域进行字符分割，使得数字区域变为单字符相连接的形式，然后对分割后的图像做尺寸的归一化处理，并输入到预训练好的KNN中进行单数字和杂乱信息的十一分类判定从而实现数字区域的整体识别。得到最后数字区域的示数{Sa,Sb,……,Sn}，如20、10、523等数值信息。

其中，MASKRCNN的模型、FPN模型、Resnet101深度卷积神经网络算法、Ostu方法、KNN分类器为本领域技术人员所熟知，在此不再详细地赘述。

如图5所示，本发明实施例提供的一种仪表示数自动确定的方法流程包括：

S401：确定数字区域与指针的距离；

具体的，利用得到的数字区域的位置特征向量(x，y，h，w，theta)和得到的指针的位置信息(x1，y1，x2，y2)，得到所有数字区域与指针的距离信息(L1,L2,……,Ln)

S402：确定指针式仪表的示数；

具体的，由得到的距离信息，选取其中最小的两个值La、Lb，并获取其对应的数字区域识别得到的分数Sa、Sb，根据下述公式，得数指针式仪表的示数S：

如图6所示，本发明还提出了一种指针式仪表自动读数的识别装置1，其中，该识别装置包括：

原始图像特征提取模块501，其用于对采集到的指针式仪表的原始图像的信息进行提取，获得原始图像的特征向量；

仪表盘和数字区域识别模块502，其用于对所述原始图像的特征向量进行识别，以获得指针式仪表的仪表盘特征向量以及数字区域特征向量，基于数字区域特征向量和仪表盘特征向量得到仪表盘中的数字的位置信息；

仪表盘指针定位模块503，其用于基于所述原始图像的特征向量和所述仪表盘特征向量对仪表盘中的指针进行定位，以获得指针的位置信息；

数值识别模块504，其基于所述原始图像的特征向量和数字区域特征向量对仪表盘中的数字进行识别，以获得数字的数值信息；以及

示数确定模块505，其基于所述指针的位置信息、所述数字的数值信息以及所述数字的位置信息进行读数数值的判定，以获得所述指针式仪表的读数数值。

在一实施例中，本发明提供的一种自然场景下指针式仪表图像识别读数器，包括：

原始图像特征提取模块501，用于对采集到的原始图像信息进行特征提取，得到原始图像的特征向量。

仪表盘和数字区域识别模块502，用于对原始图像的特征向量进行仪表盘和数字区域的特征向量的识别；其中原始图像的特征向量是原始图像特征提取模块501产生的图像的特征向量。

仪表盘指针定位模块503，用于对仪表盘中的指针进行拟合，并对指针的位置信息进行提取；其中利用到的信息是仪表盘和数字区域识别模块所产生的仪表盘的特征向量信息与原始图像信息进行结合后产生的特征向量。

数值识别模块504，用于对数字区域提取到的数字图像信息进行数值的识别，产生数值信息；其中数字的图像信息是由仪表盘和数字区域识别模块产生的数字区域的特征向量与原始图像相结合处理产生的特征向量。

示数确定模块505，用于对指针式仪表的读数进行确定。其中利用数值识别模块得到的数值信息、仪表盘和数字区域识别模块得到的数字位置信息、和仪表盘指针定位模块得到的指针位置信息进行读数数值的判定。

图7是本发明一实施例提供的一种终端设备的示意图。如图7所示，该实施例的终端设备6包括：处理器60、存储器61以及存储在存储器61中并可在处理器60上运行的计算机程序62，例如指针式仪表自动读数的识别程序。处理器60执行计算机程序62时实现上述各个指针式仪表自动读数的识别方法实施例中的步骤，例如上述所示的步骤S1至步骤S5。或者，处理器60执行计算机程序62时实现上述各装置实施例中各模块/单元的功能，例如图6所示模块501至505的功能。

示例性的，计算机程序62可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器61中，并由处理器60执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序62在终端设备6中的执行过程。

终端设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备6可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图7仅仅终端设备6的示例，并不构成对终端设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器61可以是终端设备6的内部存储单元，例如终端设备6的硬盘或内存。存储器61也可以是终端设备6的外部存储设备，例如终端设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器61还可以既包括终端设备6的内部存储单元也包括外部存储设备。存储器61用于存储计算机程序以及终端设备6所需的其它程序和数据。存储器61还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本发明实施的技术方案中，首先利用所设计的深度卷积神经网络模型对自然场景下的仪表盘信息进行特征提取，然后根据提取的信息做数字的识别、指针的定位、及读数的判定。该方案在对比和结合以往的指针式仪表识别设计的基础上，一方面解决了自然场景下的仪表盘信息难以提取的问题，另一方面解决了仪表盘上倾斜数字识别的问题，是一种泛化性高、鲁棒性强、通用性好的方案。

本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种指针式仪表自动读数的识别方法，其特征在于，所述指针式仪表自动读数的识别方法包括：

S1)：对采集到的指针式仪表的原始图像的信息进行提取，获得原始图像的特征向量；

S2)：对所述原始图像的特征向量进行识别，以获得所述指针式仪表的仪表盘特征向量、所述指针式仪表盘中的数字区域特征向量以及数字的位置信息；

S3)：基于所述原始图像的特征向量和所述仪表盘特征向量对仪表盘中的指针进行定位，以获得指针的位置信息；

S4)：基于所述原始图像的特征向量和数字区域特征向量对仪表盘中的数字进行识别，以获得数字的数值信息：

S5)：基于所述指针的位置信息、所述数字的数值信息以及所述数字的位置信息进行读数数值的判定，以获得所述指针式仪表的读数数值。

2.根据权利要求1所述的指针式仪表自动读数的识别方法，其特征在于，

步骤S1)包括：

S11)：采集指针式仪表的原始图像；

S12)：获取计算机中所述原始图像的存储矩阵信息，得到所述原始图像的特征向量。

3.根据权利要求2所述的指针式仪表自动读数的识别方法，其特征在于，所述原始图像的特征向量为w×h×3三维矩阵，其中，w表示原始图像的宽，h表示原始图像的高，3表示原始图像的颜色空间。

4.根据权利3所述的指针式仪表自动读数的识别方法，其特征在于，在步骤S2)中，所述对所述原始图像的特征向量进行识别包括：

对采集到指针式仪表的原始图像中的仪表盘和自然背景进行分离，以获得仪表盘区域信息，同时对原始图像中的数字区域进行标记和提取，以获得数字区域信息；

基于所述原始图像的特征向量，利用深度卷积神经网络模型生成仪表盘特征向量以及数字区域特征向量。

5.根据权利4所述的指针式仪表自动读数的识别方法，其特征在于，步骤S3)包括：

S31)：利用所述仪表盘区域信息，在指针式仪表的原始图像上对仪表盘进行图像分割，得到仪表盘的图像；

S32)：对所述仪表盘的图像进行颜色空间变换，得到二值化仪表盘图像；

S33)：对所述二值化仪表盘图像进行指针的拟合和定位，以获得指针的位置信息。

6.根据权利4所述的指针式仪表自动读数的识别方法，其特征在于，步骤S4)包括：。

S41)：利用所述数字区域信息，在指针式仪表的原始图像上对数字区域进行图像分割，得到多个不同的数字区域的图像；

S42)：对数字区域的图像进行颜色空间变化，得到二值化数字区域图像；

S43)：对二值化后的数字区域图像进行数值的识别，以获得数字的数值信息。

7.一种指针式仪表自动读数的识别装置，其特征在于，包括：

原始图像特征提取模块，其用于对采集到的指针式仪表的原始图像的信息进行提取，获得原始图像的特征向量；

仪表盘和数字区域识别模块，其用于对所述原始图像的特征向量进行识别，以获得所述指针式仪表的仪表盘特征向量、所述指针式仪表盘中的数字区域特征向量以及数字的位置信息；

仪表盘指针定位模块，其基于所述原始图像的特征向量和所述仪表盘特征向量对仪表盘中的指针进行定位，以获得指针的位置信息；

数值识别模块，其基于所述原始图像的特征向量和数字区域特征向量对仪表盘中的数字进行识别，以获得数字的数值信息；以及

示数确定模块，其基于所述指针的位置信息、所述数字的数值信息以及所述数字的位置信息进行读数数值的判定，以获得所述指针式仪表的读数数值。

8.如权利要求7所述的指针式仪表自动读数的识别装置，其特征在于，所述原始图像的特征向量为w×h×3三维矩阵，其中，w表示原始图像的宽，h表示原始图像的高，3表示原始图像的颜色空间。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的指针式仪表自动读数的识别方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的指针式仪表自动读数的识别方法的步骤。