CN109214378A - 一种基于神经网络整体识别计量表读数的方法和系统 - Google Patents

Abstract

本发明公开了一种基于神经网络整体识别计量表读数的方法和系统，该方法包括：获取包含数字表盘的计量表图片；对获取的计量表图片进行预处理；对计量表图片进行数字表盘检测，确定数字表盘在计量表图片中所在的区域；将所确定的数字表盘所在区域，输入到预先训练构建的混合深度神经网络CNN‑RNN使得获取数字表盘的数字进行计量表读数。本发明把计量表读数识别问题看成是一个序列标注问题进行建模，不需要进行字符分割，不需要外部输入或算法单独预测长度，从而更加不需要考虑到各种不同款型数字表的尺度和横纵比等问题，直接整体性地识别数字，减少了计算量，减少了中间环节造成的累积误差，实现了端到端的整体识别。

Description

一种基于神经网络整体识别计量表读数的方法和系统

技术领域

本发明涉及图像数字技术领域，特别涉及一种基于神经网络整体识别计量表读数的方法和系统。

背景技术

随着数字化、智能化、信息化时代的到来，企业和社会的智能信息处理已经成为必然趋势，燃气表、水表、电表等计量表读数的自动识别成为其中重要组成部分。

传统的数字表识别系统，大致分为表盘检测定位、数字分割及数字识别等几个子模块。数字表表盘检测是在一个含背景噪声的大图像里面检测到表盘位置，要考虑到各种不同款型数字表的尺度和横纵比等问题，计算量比较大。数字分割是在前面检到的表盘局部区域中对每个数字一个个分割出来，以便后续识别处理，容易受到光线、图像质量、表盘大小等因素影响难以精确，对后续识别影响很大。数字识别模块主要是对之前分离出来的一个个数字进行识别，给出每个数字对应的类别。由于数字表表盘检测受到上述因素的影响致使数字识别模块识别不够准确。

发明内容

本发明实施例提供了一种基于神经网络整体识别计量表读数的方法和系统，不需要再行分割字符，直接整体性地识别数字，减少了中间环节和累积误差。

第一方面，本发明实施例提供了一种基于神经网络整体识别计量表读数的方法，该方法包括：

S1：获取包含数字表盘的计量表图片；

S2：对计量表图片进行数字表盘检测，确定数字表盘在计量表图片中所在的区域；

S3：将S2中所确定的数字表盘所在区域，输入到预先训练构建的混合深度神经网络CNN(Convolutional Neural Network，卷积神经网络)-RNN(recurrent neuralnetwork，递归神经网络)；

S4：通过将所述数字表盘所在区域，输入到预先训练构建的混合深度神经网络使得获取数字表盘的数字进行计量表读数。

优选地，在步骤S2之前，该方法还可以包括：

对获取的计量表图片进行预处理。

优选地，对计量表图片进行预处理的方法包括高斯图像去噪和高斯图像增强。

对图片进行预处理可以改善受到光线、图像质量等因素的影响，在一些图片质量比较差的情况，提高后续识别的准确性。

优选地，步骤S2中对计量表图片进行数字表盘检测的方法包括ACF(AggregatedChannel Features，聚合通道特征)非深度训练检测法和/或SSD(Single Shot MultiBoxDetector，单个深层神经网络)深度训练检测法。

为了检测计量表中表盘的位置，除了可以采用ACF非深度训练检测法和SSD深度训练检测法之外，还可以采用其他非深度学习方法或者深度学习方法，只要能够检测出计量表中表盘的位置即可。

优选地，步骤S3中预先训练构建的混合深度神经网络CNN-RNN由标注有正确的计量表读数的样本图片训练获得。

优选地，步骤S4的具体过程为：

通过训练构建的卷积神经网络CNN模型进行特征提取；

由提取的特征通过训练构建的递归神经网络RNN模型使得获取数字表盘的数字进行计量表读数。

优选地，CNN模型包括5个卷积层和3个全连接层；RNN模型包括2个LSTM(LongShort-Term Memory，长短期记忆网络)结构。

在此处CNN模型是采用5个卷积层、3个全链接层共8层权重层的网络，RNN网络使用2层LSTM结构。但并不是唯一选择，不同情况可以采用其他配置进行识别。

第二方面，本发明实施例提供了一种基于神经网络整体识别计量表读数的系统，该系统包括：图像采集模块、表盘检测模块和识别模块；其中，

图像采集模块，用于获取包含数字表盘的计量表图片；

表盘检测模块，用于对计量表图片进行数字表盘检测，确定数字表盘在计量表图片中所在的区域；

识别模块，用于将表盘检测模块所确定的数字表盘所在区域，输入到预先训练构建的混合深度神经网络CNN-RNN，使得获取数字表盘的数字进行计量表读数。

优选地，该系统还可以包括：图像处理模块，该图像处理模块用于对获取的计量表图片进行预处理；

其中，对计量表图片进行预处理的方法包括高斯图像去噪和高斯图像增强。

优选地，表盘检测模块对计量表图片进行数字表盘检测的方法包括ACF非深度训练检测法和/或SSD深度训练检测法。

优选地，预先训练构建的混合深度神经网络CNN-RNN由标注有正确的计量表读数的样本图片训练获得。

优选地，识别模块具体用于通过训练构建的卷积神经网络CNN模型进行特征提取；以及由提取的特征通过训练构建的递归神经网络RNN模型使得获取数字表盘的数字进行计量表读数。

优选地，CNN模型包括5个卷积层和3个全连接层；RNN模型包括2个长短期记忆网络LSTM结构。

在此处CNN模型是采用5个卷积层、3个全链接层共8层权重层的网络，RNN网络使用2层LSTM结构。但并不是唯一选择，不同情况可以采用其他配置进行识别。

与现有技术相比，本发明至少具有以下有益效果：

本发明提供的基于神经网络整体识别计量表读数的方法和系统把计量表读数识别问题看成是一个序列标注问题进行建模，不需要进行字符分割，不需要外部输入或算法单独预测长度，从而更加不需要考虑到各种不同款型数字表的尺度和横纵比等问题，直接整体性地识别数字，减少了计算量，减少了中间环节造成的累积误差，实现了端到端的整体识别。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的一种基于神经网络整体识别计量表读数的方法流程图；

图2是本发明一个实施例提供的一种基于神经网络整体识别计量表读数的系统结构框图；

图3是本发明一个实施例提供的一种包括图像处理模块的基于神经网络整体识别计量表读数的系统结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于神经网络整体识别计量表读数的方法，该方法可以包括以下步骤：

N1：获取包含数字表盘的计量表图片；

N2：对获取的计量表图片进行预处理；

N3：对计量表图片进行数字表盘检测，确定数字表盘在计量表图片中所在的区域；

N4：将N3中所确定的数字表盘所在区域，输入到预先训练构建的混合深度神经网络CNN-RNN；

N5：通过将所述数字表盘所在区域，输入到预先训练构建的混合深度神经网络使得获取数字表盘的数字进行计量表读数。

在该实施例中，获取包含数字表盘的计量表图片可以是包含计量表等数字表的任意彩色大图，可以由图像采集设备，如手机或专用采集工具等获得，可以是历史图片，也可以是实时图片采集上传，还或者可以是从视频序列中获取。对于CNN模型，由于卷积和池化计算的性质，使得图像中的平移部分对于最后的特征向量是没有影响的，提取到的特征更不容易过拟合。而且由于平移不变性，所以平移字符进行变造是无意义的，省去了再对样本进行变造的过程；CNN抽取出的特征要比简单的投影、方向，重心都要更科学。不会让特征提取成为最后提高准确率的瓶颈、天花板；CNN可以利用不同的卷积、池化和最后输出的特征向量的大小控制整体模型的拟合能力。在过拟合时可以降低特征向量的维数，在欠拟合时可以提高卷积层的输出维数。相比于其他特征提取方法更加灵活。

为了改善受到光线、图像质量等因素的影响，在一些图片质量比较差的情况，提高后续识别的准确性，在本发明一个实施例中，对计量表图片进行预处理的方法包括高斯图像去噪和高斯图像增强。

在本发明一个实施例中，步骤N3中对计量表图片进行数字表盘检测的方法包括ACF非深度训练检测法和/或SSD深度训练检测法。

在该实施例中，为了检测计量表中表盘的位置，除了可以采用ACF非深度训练检测法和SSD深度训练检测法之外，还可以采用其他非深度学习方法或者深度学习方法，只要能够检测出计量表中表盘的位置即可。

除此之外，对于SSD算法是一种直接预测目标类别和bounding box的多目标检测算法。该算法没有生成proposal的过程，极大提高了检测速度。针对不同大小的目标检测，利用不同卷积层的feature map进行综合。算法的主网络结构是VGG16，将最后两个全连接层改成卷积层，并随后增加了4个卷积层来构造网络结构。对其中5种不同的卷积层的输出(feature map)分别用两个不同的3×3的卷积核进行卷积，一个输出分类用的confidence，每个default box生成21个类别confidence；一个输出回归用的localization，每个default box生成4个坐标值(x,y,w,h)。此外，这5个feature map还经过PriorBox层生成prior box(生成的是坐标)。上述5个feature map中每一层的default box的数量是给定的。最后将前面三个计算结果分别合并然后传给loss层。

对于聚合通道特征ACF非深度训练检测法，首先结合objectness方法对ACF算法低得分区域进行进一步验证，在一定程度上减少算法的误检数；其次结合检测窗口的得分及位置信息，对Nms(Non-maximum suppression，非极大值抑制算法)进行改进。不仅在满足实时检测的条件下，还极大地降低了误检数，具有较好的检测效果。

在INRIA数据集上训练得到BING模型记为M，首先用M检测图像得到A1区域；其次用ACF算法检测图像得到目标区域A2，采用目标区域A1对每一个目标区域A2的窗口进行筛选。引入BING目标区域，在不影响精度、效率情况下，可以一定程度上减少ACF算法的误检数。本实施例采用的是基于贪心策略的抑制算法，主要分为4个步骤：(1)按照检测分数降序排序初始检测窗口；(2)选取抑制窗口(当前分数最高窗口)B_i；(3)检测窗口得分低于抑制窗口的作为被抑制窗口B_j，计算overlap＝(B_i∩B_j)/(min(B_i,B_j))，剔除重合面积比率高于设定阈值的窗口；(4)若只剩一个初始检测窗口则结束，反之按照得分信息降序，取下一个得分高的作为抑制窗口，转到步骤(3)。该Nms算法只是简单的结合面积信息与得分信息，对抑制窗口进行剔除，未利用抑制与被抑制窗口的相对位置信息。本申请引入保留外围窗口的Nms方法在提升检测精度的同时减少了误检数。

在本发明一个实施例中，步骤N4中预先训练构建的混合深度神经网络CNN-RNN由标注有正确的计量表读数的样本图片训练获得。

在该实施例中，对CNN模型的训练过程大致为：a)打乱样本的顺序；b)通过减去均值来中心化输入的变量；c)归一化输入变量使其标准差为1；d)让输入变量之间解相关；e)挑选一个有着sigmoid函数的网络；f)将目标值设置成sigmoid能够表示的范围；g)通过前面描述的随机初始化权重。其中，在该学习过程中采用随机学习的方法，学习过程中样本的输入具有随机性，这样不仅学习速度快。在此使用的sigmoid函数将目标值设置成sigmoid能够表示的范围的方法为设置目标值为sigmoid的二阶导数的最大值上的点。对于初始化权重，只需要使用sigmoid，然后输入到sigmoid的值的标准差σ_y＝1。假设一个单元的输入y_i是不相关的，并且方差为1，那么该单元的权重的标准差为：

所以，为了确保σ_yi逼近1，权重应该是从一个有着0均值，标准差为下面式子的分布中随机采样得到的：

σ_ω＝(m)^-1/2

其中m是指输入到该单元的权重个数。

在本发明一个实施例中，步骤N4的具体过程为：

通过训练构建的卷积神经网络CNN模型进行特征提取；

由提取的特征通过训练构建的递归神经网络RNN模型获取数字表盘的数字，即计量表读数。

其中，CNN模型包括5个卷积层和3个全连接层；RNN模型包括2个长短期记忆网络LSTM结构。

在该实施例中，CNN模型是采用5个卷积层、3个全链接层共8层权重层的网络，RNN网络使用2层LSTM结构。但并不是唯一选择，同样可以采用其他配置进行识别。除此之外，CNN模型中还有池化层，池化层与卷积层组合，根据实际情况确定卷积层和池化层的个数，以及灵活使用池化层与卷积层组合，如卷积层加池化层、卷积层加卷积层加池化层等。卷积层具有激活函数。LSTM是为了解决RNN中的反馈消失问题的一种变种模型。与RNN相比，增加了3个门(gate)：input门，forget门和output门，门的作用就是为了控制之前的隐藏状态、当前的输入等各种信息，确定哪些该丢弃，哪些该保留。

本发明采用的方法把数字表读数识别问题看成是一个序列标注问题进行建模，不需要进行字符分割，不需要外部输入或算法单独预测长度，从而更加不需要考虑到各种不同款型数字表的尺度和横纵比等问题，直接整体性地识别数字，减少了计算量，减少了中间环节造成的累积误差，实现了端到端的整体识别。

如图2所示，本发明实施例提供了一种基于神经网络整体识别计量表读数的系统，该系统包括：图像采集模块、表盘检测模块和识别模块；其中，

图像采集模块，用于获取包含数字表盘的计量表图片；

表盘检测模块，用于对计量表图片进行数字表盘检测，确定数字表盘在计量表图片中所在的区域；

识别模块，用于将表盘检测模块所确定的数字表盘所在区域，输入到预先训练构建的混合深度神经网络CNN-RNN，使得获取数字表盘的数字进行计量表读数。

在该实施例中，获取包含数字表盘的计量表图片可以是包含计量表等数字表的任意彩色大图，可以由图像采集设备，如手机或专用采集工具等获得，可以是历史图片，也可以是实时图片采集上传，还或者可以是从视频序列中获取。对于CNN模型，由于卷积和池化计算的性质，使得图像中的平移部分对于最后的特征向量是没有影响的，提取到的特征更不容易过拟合。而且由于平移不变性，所以平移字符进行变造是无意义的，省去了再对样本进行变造的过程；CNN抽取出的特征要比简单的投影、方向，重心都要更科学。不会让特征提取成为最后提高准确率的瓶颈、天花板；CNN可以利用不同的卷积、池化和最后输出的特征向量的大小控制整体模型的拟合能力。在过拟合时可以降低特征向量的维数，在欠拟合时可以提高卷积层的输出维数。相比于其他特征提取方法更加灵活。

如图3所示，本发明实施例提供了一种基于神经网络整体识别计量表读数的系统，该系统还可以包括：图像处理模块，该图像处理模块用于对获取的计量表图片进行预处理；

其中，对计量表图片进行预处理的方法包括高斯图像去噪和高斯图像增强。

在该实施例中，对图片进行预处理可以改善受到光线、图像质量等因素的影响，在一些图片质量比较差的情况，提高后续识别的准确性。

在本发明一个实施例中，表盘检测模块对计量表图片进行数字表盘检测的方法包括ACF非深度训练检测法和/或SSD深度训练检测法。

为了检测计量表中表盘的位置，除了可以采用ACF非深度训练检测法和SSD深度训练检测法之外，还可以采用其他非深度学习方法或者深度学习方法，只要能够检测出计量表中表盘的位置即可。

在本发明一个实施例中，预先训练构建的混合深度神经网络CNN-RNN由标注有正确的计量表读数的样本图片训练获得。

在本发明一个实施例中，识别模块具体用于通过训练构建的卷积神经网络CNN模型进行特征提取；以及由提取的特征通过训练构建的递归神经网络RNN模型获取数字表盘的数字，即计量表读数。

其中，CNN模型包括5个卷积层和3个全连接层；RNN模型包括2个长短期记忆网络LSTM结构。

在该实施例中，CNN模型是采用5个卷积层、3个全链接层共8层权重层的网络，RNN网络使用2层LSTM结构。但并不是唯一选择，同样可以采用其他配置进行识别。

本发明的识别系统把数字表读数识别问题看成是一个序列标注问题进行建模，不需要进行字符分割，不需要外部输入或算法单独预测长度，从而更加不需要考虑到各种不同款型数字表的尺度和横纵比等问题，直接整体性地识别数字，减少了计算量，减少了中间环节造成的累积误差，实现了端到端的整体识别。

上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种基于神经网络整体识别计量表读数的方法，其特征在于，该方法包括：

S1：获取包含数字表盘的计量表图片；

S2：对计量表图片进行数字表盘检测，确定数字表盘在计量表图片中所在的区域；

S3：将S2中所确定的数字表盘所在区域，输入到预先训练构建的混合深度神经网络卷积神经网络CNN-递归神经网络RNN；

S4：通过将所述数字表盘所在区域，输入到预先训练构建的混合深度神经网络使得获取数字表盘的数字进行计量表读数。

2.根据权利要求1所述的基于神经网络整体识别计量表读数的方法，其特征在于，在步骤S2之前，该方法还可以包括：

对获取的计量表图片进行预处理。

3.根据权利要求2所述的基于神经网络整体识别计量表读数的方法，其特征在于，对计量表图片进行预处理的方法包括高斯图像去噪和高斯图像增强。

4.根据权利要求1所述的基于神经网络整体识别计量表读数的方法，其特征在于，步骤S2中对计量表图片进行数字表盘检测的方法包括聚合通道特征ACF非深度训练检测法和/或单个深层神经网络SSD深度训练检测法。

5.根据权利要求1所述的基于神经网络整体识别计量表读数的方法，其特征在于，步骤S3中预先训练构建的混合深度神经网络CNN-RNN由标注有正确的计量表读数的样本图片训练获得。

6.根据权利要求1所述的基于神经网络整体识别计量表读数的方法，其特征在于，步骤S4的具体过程为：

通过训练构建的卷积神经网络CNN模型进行特征提取；

由提取的特征通过训练构建的递归神经网络RNN模型使得获取数字表盘的数字进行计量表读数。

7.根据权利要求6所述的基于神经网络整体识别计量表读数的方法，其特征在于，CNN模型包括5个卷积层和3个全连接层；RNN模型包括2个长短期记忆网络LSTM结构。

8.一种基于神经网络整体识别计量表读数的系统，其特征在于，该系统包括：图像采集模块、表盘检测模块和识别模块；其中，

图像采集模块，用于获取包含数字表盘的计量表图片；

表盘检测模块，用于对计量表图片进行数字表盘检测，确定数字表盘在计量表图片中所在的区域；

识别模块，用于将表盘检测模块所确定的数字表盘所在区域，输入到预先训练构建的混合深度神经网络卷积神经网络CNN-递归神经网络RNN，使得获取数字表盘的数字进行计量表读数。

9.根据权利要求8所述的基于神经网络整体识别计量表读数的系统，其特征在于，该系统还可以包括：图像处理模块，该图像处理模块用于对获取的计量表图片进行预处理；

其中，对计量表图片进行预处理的方法包括高斯图像去噪和高斯图像增强；

和/或，

表盘检测模块对计量表图片进行数字表盘检测的方法包括聚合通道特征ACF非深度训练检测法和/或单个深层神经网络SSD深度训练检测法。

10.根据权利要求8所述的基于神经网络整体识别计量表读数的系统，其特征在于，预先训练构建的混合深度神经网络CNN-RNN由标注有正确的计量表读数的样本图片训练获得；

识别模块具体用于通过训练构建的卷积神经网络CNN模型进行特征提取；以及由提取的特征通过训练构建的递归神经网络RNN模型使得获取数字表盘的数字进行计量表读数；

其中，CNN模型包括5个卷积层和3个全连接层；RNN模型包括2个长短期记忆网络LSTM结构。