CN108229480A - 一种数字表读数的识别方法、装置及设备 - Google Patents

Abstract

本说明书实施例公开了一种数字表读数的识别方法、装置及设备。通过对数字表的图像中的表盘进行检测，并且作为图像识别模型的输入，得到数字表的读数，实现对图像进行整体识别。整个识别过程不需要再行分割字符，直接进行端对端的整体识别数字，减少了中间环节和累积误差，读数更加准确，减少了中间环节，识别效率更高。

Description

一种数字表读数的识别方法、装置及设备

技术领域

本说明书涉及计算机技术领域，尤其涉及一种数字表读数的识别方法、装置及设备。

背景技术

随着数字化、智能化、信息化时代的到来，企业和社会的智能信息处理已经成为一种趋势，燃气表、水表、电表等各种数字表读数的自动识别成为其中重要组成部分。

在当前技术中，在对数字进行识别时，主要通过将表盘上的数字进行分割然后分别进行识别，识别过程中的环节多，前面分割错误会对后续识别模块造成误差累积效应，单个识别也容易引起误差的累积。

基于此，需要一种更便利的数字表读数的识别方案。

发明内容

本说明书实施例提供一种数字表读数的识别方法、装置及设备，用于解决如下问题：以提供一种更便利的数字表读数的识别方案。

基于此，本说明书实施例提供一种数字表读数的识别方法，包括：

获取包含数字表的图像，在所述图像中，所述数字表通过数字表盘显示数字读数；

检测所述图像，获得包含所述数字表盘的子图像；

以包含所述数字表盘的子图像作为输入，通过预先训练得到的图像识别模型对其整体识别，生成所述数字表盘的数字读数的识别结果。

同时，本说明书的实施例还提供一种数字表读数的识别装置，包括：

获取模块，获取包含数字表的图像，在所述图像中，所述数字表通过数字表盘显示数字读数；

检测模块，检测所述图像，获得包含所述数字表盘的子图像；

识别模块，以包含所述数字表盘的子图像作为输入，通过预先训练得到的图像识别模型对其整体识别，生成所述数字表盘的数字读数的识别结果。

对应的，本说明书实施例还提供一种数字表读数的识别设备，包括：

存储器：存储数字表读数的识别程序；

处理器：调用存储器中的数字表读数的识别程序，并执行：

获取包含数字表的图像，在所述图像中，所述数字表通过数字表盘显示数字读数；

检测所述图像，获得包含所述数字表盘的子图像；

以包含所述数字表盘的子图像作为输入，通过预先训练得到的图像识别模型对其整体识别，生成所述数字表盘的数字读数的识别结果。

对应的，本说明书的实施例还提供一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

获取包含数字表的图像，在所述图像中，所述数字表通过数字表盘显示数字读数；

检测所述图像，获得包含所述数字表盘的子图像；

以包含所述数字表盘的子图像作为输入，通过预先训练得到的图像识别模型对其整体识别，生成所述数字表盘的数字读数的识别结果。

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：

通过对数字表的图像中的表盘进行检测，并且作为图像识别模型的输入，得到数字表的读数，实现对图像进行整体识别。整个识别过程不需要再行分割字符，直接进行端对端的整体识别数字，减少了中间环节和累积误差，读数更加准确，减少了中间环节，识别效率更高。此外，对图像的来源可以图像或者是对视频进行截图获得，适应访问更广；还可以预先对图像进行诸如降噪、增强等预处理，进一步提高了识别的准确率。

附图说明

图1为本说明书实施例提供的架构示意图；

图2本说明书实施例提供的数字表读数的识别方法过程示意图；

图3为本说明书实施例提供的CNN模型训练方法流程示意图；

图4为本说明书实施例所提供的示例执行流程的逻辑示意图；

图5为本说明书实施例所提供的数字表读数的识别装置的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

数字表即为在表盘上通过数字(一般为采用十进制，具体采用多少位数字来计数，可根据实际需要而定)来显示读数的表。例如，水表、电表、燃气表等等。传统方法识别数字表读数需要对表盘检测后精确定位再对各数字进行分割然后识别，在光线差、分辨率低、污损、倾斜大等情况的稳定性不好。

基于此，本说明书实施例提供一种数字表读数的识别方法，通过图像识别模型，对数字表盘进行整体识别，以得到对应的读数。

在本说明书的实施例中，所述的数字表读数的识别方法可采用如图1所示的架构，在该架构中，以一般的8位数计数(其中，后三位为小数点以后的计数)的燃气表作为示例，但显然，本说明书实施例所提供的方案并不局限于该示意图中所提供的8位数计数的燃气表识别。该架构中的图像采集设备可以是诸如摄像头、照相机，也可以是具有拍照或者摄影功能的手机等用户终端，所述处理设备可以是各种集中式或者分布式的处理器、服务器等。

下面将基于如图1所示的架构，详细说明本说明书实施例提供的数字表读数的识别方法过程，该过程具体包括以下步骤，如图2所示，包括：

S201，获取包含数字表的图像，在所述图像中，所述数字表通过数字表盘显示数字读数。

对于接受到的图像，可以是由图像采集设备(例如，手机或专用采集工具)获得，可以是之前已经收集好的历史图片，或者是实时采集上传，也可以是从视频序列中获取。在获取包含数字表图片的过程中，可由预先设定的程序自动检测完成(例如，对于视频自动截帧获取图片)。此外，对于获取得到的图片，可以是彩色的，也可以是黑白的。在获取得到的图片中，数字表通过数字表盘显示数字读数。上述对图像的来源的获取可以从各种来源得到，可以适应多种实际应用场景，适应范围更广。

S203，检测所述图像，获得包含所述数字表盘的子图像。

作为展示数字的核心区域，数字表盘的边缘特征丰富，梯度能量变化较大，同时也是最需要被检测的地方。对于数字表盘的检测，可以采用诸如ACF等非深度学习方法或者SSD(Single-Shot Detector)等深度学习方法，对数字表盘所处的区域进行识别，或者对数字表盘的边框进行检测，换言之，在检测过程中，以数字表盘作为目标区域进行模型检测，得到基本包含数字表盘的子图像。容易理解，在这个过程中，由于检测误差的存在，检测得到的子图像可能各自略有差异，但均应在数字表盘所处的区域的一定范围内，其包含数字表盘中的数字。在实际应用中，可以通过事先在对检测模型的训练过程中对误差的大小进行限制得以实现。

S205，以包含所述数字表盘的子图像作为输入，通过预先训练得到的图像识别模型对其整体识别，生成所述数字表盘的数字读数的识别结果。

在使用图像识别模型识别时，可以采用诸如GoogleNet、VGGNet等图像识别模型进行识别，也可才采用自定的卷积神经网络(Convolutional Neural Network，CNN)进行识别。在上述图像识别模型中，均采用了深度学习的方式进行识别。换言之，识别的过程中不需要对表盘中的数字进行分割，而是对子图像的整体进行识别，得到识别结果。

通过对数字表的图像中的表盘进行检测，并且作为图像识别模型的输入，得到数字表的读数，实现对图像进行整体识别。不需要再行分割字符，直接整体性地识别数字，减少了中间环节和累积误差，进行读数更加准确，进行整体识别时，减少了中间环节，识别效率更高。

在实际应用中，所述的电子表包括数字燃气表、数字电表或者数字水表中的至少一种。

作为一种具体的实施方案，在所述步骤S203在检测所述包含数字表的图像之前，还可以对获取得到的图像进行预处理，包括：对获取得到的包含数字表的图像进行增强和/或去噪预处理，生成预处理之后的包含数字表的图像。

具体而言，可以采取诸如高斯图像去噪、增强等方式进行预处理。预处理可以是针对整张图片进行，也可以是针对图像中包含数字读数的特定区域进行。对图像进行预处理可改善某些比较差的情况下的图像质量，提高后续处理输入，进一步提高了识别的准确率。

作为一种具体的实施方案，对于所述步骤S203，检测所述包含数字表的图像，获得包含所述表盘的子图像，包括：检测所述包含数字表的图像中数字表盘的边框，获得以所述表盘边框为边界的子图像。

在这种实施方式下，可采用事先训练得到的卷积神经网络对表盘边框进行识别。在训练过程中，可对之前获取得到的包含数字表的图像进行标注(即，给定边框的位置)，进行监督学习。在训练的过程中，可将整个图像划分为多个互相部分重叠的小块，通过自定义的若干卷积层、池化层对边框位置进行拟合，最终得到子图像。得到的子图像的形状和标注相关，若最初标注的形状为矩形，最终得到的子图像也是包含表盘边框的矩形。若最初标注的形状为其他形状(例如，由直线组成的不规则形状)，最终得到的也是同样的的不规则形状。

作为一种具体的实施方案，所述图像识别模型为自定义的卷积神经网络CNN模型时，可以通过如下方式训练得到，如图3所示，图3为本说明书实施例提供的CNN模型训练方法流程示意图，包括：

S301，获取已标注的数字表盘图像，其中，所述标注与数字表盘中的读数相同，所述读数具有指定的位数。

具体而言，在进行训练之前，基于数字表的位数的不同，某些位数较多的数字表可能需要标注大量的样本(可以从真实历史数据中获取得到，或者进行模拟得到)。换言之，作为训练样本的图像中读数的位数，应该与待识别的数字表中的读数的位数相同。

此处的数字表盘图像可以是以数字表盘表框为基准的已标注样本，换言之，若表框不是太准确，还可以对其进行归一化处理。例如，若表盘边框为矩形，则可以以矩形的4个顶点作为基准，对边框内的区域进行仿射变化，得到对齐的图像。当然，通过这种方式训练出来的模型，在识别之前，也可以对检测得到的子图像进行对齐处理，以使得识别更准确。

S303，以所述已标注的数字表盘图像作为训练样本，进行卷积神经网络模型训练，得到训练好的卷积神经网络模型。

通过对标注图像的识别结果和真实标注值进行对比，然后采用诸如反向传播(back propagation，BP)算法等方式计算损失函数，对卷积神经网络模型进行训练。所述训练好的卷积神经网络模型用于识别数字表盘图像中的数字读数。

训练好的卷积神经网络模型根据实际情形，一般而言应具有多个卷积层，池化层以及全连接层。其中，所述卷积神经网络的最后一层为全连接层，用于输出多个分支，所述多个分支的数量与指定位数相同，每个分支中均有对应于数字0至9的10个概率值输出项，在一个分支下，各概率值输出项的概率值之和为1。即，每个分支评估图像中对应数字是0至9中某个数字的可能性。

从而，在采用上述训练得到的卷积神经网络进行识别时，确定所述全连接层的各分支所对应的数值；按照预先指定的顺序排列所述数值得到识别结果。在确定各分支所对应的数值时，具体可采用的方法如下：针对任一分支，获取该分支下各概率值输出项的输出值；确定最大的输出值所对应的数字为该分支所对应的数值。在这种方式下，每个分支的读数均是一个概率取值，因此，还可以基于各分支的取值概率对整体读数进行可信度评估。

例如，由于光照不强的原因，图像较为模糊，对图像进行整体识别的过程中，某个分支下的十个概率值输出项中分别为数字“9”的概率为0.90，数字“8”的概率为0.05，数字“0”的概率为0.05，是其他数字的可能为0，则以数字“9”作为该分支的输出。

进一步地，为使模型的识别结果更加的准确，在实践中还可以采用如下方式进行：采用多个不同样本预先训练得到的卷积神经网络模型进行识别(例如，3个)，从而根据得到的3个识别结果进行评估，以得到最终的结果。例如，若有两个识别结果为04500480，第三个为04500491，则以04500480为最终识别结果；若多个结果均不相同，则按照可信度排行，选取可信度最高的为最终的识别结果。

需要说明的是，上述识别过程虽然在最终输出时仍然以各分支对应于待识别图像中的一个数字，但是与单独识别有着本质上的区别，卷积神经网络的全连接层最终生成一个高维向量，通过对高维向量进行概率类别划分，同时得到对应于待识别的读数位数的多个分支输出，对每个分支的多个输出项同时进行概率评估，确定每个分支所对应的数值，从而最终联合得到读数的识别结果。通过这个过程中，实现了端对端(end-to-end)的识别，减少了中间环节，更加的方便。

为使本说明书实施例所提供的方案更加的浅显明白，下面给出一个具体的应用场景示例加以说明。例如，通过工作人员现场的摄像头对燃气表拍照(或者录像)，上传至服务中心的处理设备。处理设备接收到照片之后，首先进行增强和去噪的预处理，使图片更加清晰，然后采用SSD检测模型对数字表的表盘表框进行检测，得到以数字表的表盘边框为基准的字图像，最后对子图像进行识别，获得最终识别的读数结果。其逻辑过程如图4所示，图4为本说明书实施例所提供的示例执行流程的逻辑示意图。

基于同样的思路，本发明还提供一种数字表读数的识别装置，如图5所示，图5为本说明书实施例所提供的数字表读数的识别装置的结构示意图，包括：

获取模块501，获取包含数字表的图像，在所述图像中，所述数字表通过数字表盘显示数字读数；

检测模块503，检测所述图像，获得包含所述数字表盘的子图像；

识别模块505，以包含所述数字表盘的子图像作为输入，通过预先训练得到的图像识别模型对其整体识别，生成所述数字表盘的数字读数的识别结果。

进一步地，所述数字表包括数字燃气表、数字电表或者数字水表。

进一步地，所述获取模块501，接收图像采集设备所发送的包含数字表的图像；或者，接收包含数字表的视频，截取所述包含数字表的图像。

进一步地，所述装置还包括预处理模块507，对获取得到的包含数字表的图像进行增强和/或去噪预处理，生成预处理之后的包含数字表的图像。

进一步地，所述检测模块503，检测所述包含数字表的图像中数字表盘的边框，获得以所述表盘边框为边界的子图像。

进一步地，所述装置还包括模型训练模块509，获取已标注的数字表盘图像，其中，所述标注与数字表盘中的读数相同；以所述已标注的数字表盘图像作为训练样本，进行卷积神经网络模型训练，得到训练好的卷积神经网络模型，所述卷积神经网络模型用于识别数字表盘图像中的数字读数；其中，所述卷积神经网络的最后一层为全连接层，用于输出多个分支，所述多个分支的数量与指定位数相同，每个分支中均有对应于数字0至9的10个概率值输出项。

进一步地，所述识别模块505，确定所述全连接层的各分支所对应的数值；按照预先指定的顺序排列所述数值得到识别结果。

进一步地，所述识别模块505，针对任一分支，获取该分支下各概率值输出项的输出值；确定最大的输出值所对应的数字为该分支所对应的数值。

对应的，本申请实施例还提供一种数据处理设备，所述设备包括：

存储器：存储数字表读数的识别程序；

处理器：调用存储器中的数字表读数的识别程序，并执行：

获取包含数字表的图像，在所述图像中，所述数字表通过数字表盘显示数字读数；

检测所述图像，获得包含所述数字表盘的子图像；

以包含所述数字表盘的子图像作为输入，通过预先训练得到的图像识别模型对其整体识别，生成所述数字表盘的数字读数的识别结果。

基于同样的发明思路，本申请实施例还提供了对应的一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

获取包含数字表的图像，在所述图像中，所述数字表通过数字表盘显示数字读数；

检测所述图像，获得包含所述数字表盘的子图像；

以包含所述数字表盘的子图像作为输入，通过预先训练得到的图像识别模型对其整体识别，生成所述数字表盘的数字读数的识别结果。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和介质类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可，这里就不再一一赘述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤或模块可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

Claims (17)

1.一种数字表读数的识别方法，包括：

获取包含数字表的图像，在所述图像中，所述数字表通过数字表盘显示数字读数；

检测所述图像，获得包含所述数字表盘的子图像；

以包含所述数字表盘的子图像作为输入，通过预先训练得到的图像识别模型对其整体识别，生成所述数字表盘的数字读数的识别结果。

2.如权利要求1所述方法，所述数字表包括数字燃气表、数字电表或者数字水表。

3.如权利要求1所述的方法，获取包含数字表的图像，包括：

接收图像采集设备所发送的包含数字表的图像；或者，

接收包含数字表的视频，截取所述包含数字表的图像。

4.如权利要求1所述的方法，在检测所述包含数字表的图像之前，还包括：

对获取得到的包含数字表的图像进行增强和/或去噪预处理，生成预处理之后的包含数字表的图像。

5.如权利要求1所述的方法，检测所述包含数字表的图像，获得包含所述数字表盘的子图像，包括：

检测所述包含数字表的图像中数字表盘的边框，获得以所述表盘边框为边界的子图像。

6.如权利要求1所述的方法，当所述图像识别模型为卷积神经网络模型时，通过如下方式训练得到：

获取已标注的数字表盘图像，其中，所述标注与数字表盘中的读数相同，所述读数具有指定的位数；

以所述已标注的数字表盘图像作为训练样本，进行卷积神经网络模型训练，得到训练好的卷积神经网络模型，所述训练好的卷积神经网络模型用于识别数字表盘图像中的数字读数；

其中，所述卷积神经网络的最后一层为全连接层，用于输出多个分支，所述多个分支的数量与指定位数相同，每个分支中均有对应于数字0至9的10个概率值输出项。

7.如权利要求6所述的方法，以包含所述数字表盘的子图像作为输入，通过预先训练得到的卷积神经网络模型对其整体识别，生成所述数字表盘的数字读数的识别结果，包括：

确定所述全连接层的各分支所对应的数值；

按照预先指定的顺序排列所述数值得到识别结果。

8.如权利要求7所述的方法，所述确定各分支所对应的数值，包括：

针对任一分支，获取该分支下各概率值输出项的输出值；

确定最大的输出值所对应的数字为该分支所对应的数值。

9.一种数字表读数的识别装置，包括：

获取模块，获取包含数字表的图像，在所述图像中，所述数字表通过数字表盘显示数字读数；

检测模块，检测所述图像，获得包含所述数字表盘的子图像；

识别模块，以包含所述数字表盘的子图像作为输入，通过预先训练得到的图像识别模型对其整体识别，生成所述数字表盘的数字读数的识别结果。

10.如权利要求9所述的装置，所述数字表包括数字燃气表、数字电表或者数字水表。

11.如权利要求9所述的装置，所述获取模块,接收图像采集设备所发送的包含数字表的图像；或者，接收包含数字表的视频，截取所述包含数字表的图像。

12.如权利要求9所述的装置，还包括预处理模块，对获取得到的包含数字表的图像进行增强和/或去噪预处理，生成预处理之后的包含数字表的图像。

13.如权利要求9所述的装置，所述检测模块，检测所述包含数字表的图像中数字表盘的边框，获得以所述表盘边框为边界的子图像。

14.如权利要求9所述的装置，当所述图像识别模型为卷积神经网络模型时，通过如下方式训练得到：

获取已标注的数字表盘图像，其中，所述标注与数字表盘中的读数相同；

以所述已标注的数字表盘图像作为训练样本，进行卷积神经网络模型训练，得到训练好的卷积神经网络模型，所述卷积神经网络模型用于识别数字表盘图像中的数字读数；

其中，所述卷积神经网络的最后一层为全连接层，用于输出多个分支，所述多个分支的数量与指定位数相同，每个分支中均有对应于数字0至9的10个概率值输出项。

15.如权利要求14所述的装置，所述识别模块，针对任一分支，确定所述全连接层的各分支所对应的数值；按照预先指定的顺序排列所述数值得到识别结果。

16.如权利要求15所述的装置，所述识别模块，获取该分支下各概率值输出项的输出值；确定最大的输出值所对应的数字为该分支所对应的数值。

17.一种数字表读数的识别设备，包括：

存储器：存储数字表读数的识别程序；

处理器：调用存储器中的数字表读数的识别程序，并执行：

获取包含数字表的图像，在所述图像中，所述数字表通过数字表盘显示数字读数；

检测所述图像，获得包含所述数字表盘的子图像；

以包含所述数字表盘的子图像作为输入，通过预先训练得到的图像识别模型对其整体识别，生成所述数字表盘的数字读数的识别结果。