CN110197227B - 一种多模型融合的仪表读数智能识别方法 - Google Patents

Abstract

本发明公开了一种多模型融合的仪表读数智能识别方法，所述方法包括以下内容：判断仪表数字图片中的仪表数字是否倒立；通过文字识别算法对仪表数字图片进行多次识别得到多个特征层；对多个特征层进行特征融合得到识别结果。通过同时使用3个架构相同不同卷积层数和不同双向长短期记忆网络层数来适应现实场景的复杂情况，能够准确识别不同光线，不同拍摄距离的图片；通过一个卷积分类网络进行图片是否倒立的判定和检测图片的倾斜角，能够准确识别任意拍摄角度的图片；通过多个识别算法同时识别，然后通过特征融合，提升算法识别的准确率。

Description

一种多模型融合的仪表读数智能识别方法

技术领域

本发明涉及一种水表读数识别方法，尤其涉及一种多模型融合的仪表读数智能识别方法。

背景技术

水务系统中通过字符算法识别照片中水表表盘的读数来识别出水表具体的数值的方法以及发展了很多年；现有技术中主要有以下方法。

第一种是通过把需要识别图片中的文字，按找字符长度切分成单个字符，然后识别每一个字符；但是该种方法中整体识别的准确率和切割字符的准确率密切相关，而切割字符算法由于拍照时光线和图片文字背景等原因很难实现准确的切割。

第二种是基于深度学习的方法，这类方法不需要切割字符，但是比较难适用不同光照和拍照远近等复杂场景，准确率难以达到要求，而且也不能针对水表字符在自然场景下(拍照光效任意、角度任意、拍照距离水表表盘远近任意)的准备识别。

发明内容

本发明的目的在于克服现有技术的不足，提供一种多模型融合的仪表读数智能识别方法，解决了现有水表读数识别方法存在的缺陷。

本发明的目的是通过以下技术方案来实现的：一种多模型融合的仪表读数智能识别方法，所述方法包括以下内容：

判断仪表数字图片中的仪表数字是否倒立；

通过文字识别算法对仪表数字图片进行多次识别得到多个特征层；

对多个特征层进行特征融合得到识别结果。

所述判断图片中的仪表数字是否倒立包括以下内容：

将图片输入卷积网络中进行多层卷积后输出一个特征长度为2的向量T；

根据向量T取0和1时的大小关系，判断图片中的仪表数字是否倒立。

所述根据向量T取0和1时的大小关系，判断图片中的仪表数字是否倒立的具体内容如下：

如果T(0)≤T(1)，则说明图片没有倒立；

如果T(0)>T(1)，则说明图片倒立，并将图片旋转180°。

所述通过文字识别算法对仪表数字图片进行多次识别得到多个特征层包括以下内容：

文字识别算法对仪表数字图片进行两层卷积层处理和一次Bi-lstm计算处理得到特征层1；

文字识别算法对仪表数字图片进行三层卷积层处理和两次Bi-lstm计算处理得到特征层2；

文字识别算法对仪表数字图片进行两层卷积层处理和两次Bi-lstm计算处理得到特征层3。

所述对多个特征层进行特征融合得到识别结果包括以下内容：

将特征层1、特征层2和特征层3进行矩阵化，得到特征矩阵F1、特征矩阵F2和特征矩阵F3；

分别取特征矩阵F1、特征矩阵F2和特征矩阵F3中各个对应矩阵点的最大值；

将各个最大值融合得到融合特征矩阵F，通过融合特征矩阵F产生最后的识别结果。

所述将特征层1、特征层2和特征层3进行矩阵化包括以下内容：

根据特征层的大小以某一点为零向量并以1为步进单位，得到特征层上所有点的向量；

对所有向量按照顺序进行排序得到特征矩阵。

在进行所述判断仪表数字图片中的仪表数字是否倒立步骤之前还需要对仪表数字图片进行校正。

在进行所述对仪表数字图片进行校正的步骤之前还需要对仪表数字图片进行检测得到图片中仪表数字的位置。

所述对仪表数字图片进行检测得到图片中仪表数字的位置包括以下内容：

对仪表数字图片中的表框进行检测，确定表框位置；

在确定后的表框位置上选取两点和表框宽度，对表框进行显示标注。

所述对仪表数字图片进行校正包括以下内容：

根据上述选取的两点和表框宽度确定仪表数字图片的倾斜角度；

根据计算得到的倾斜角度将仪表数字图片进行校正。

本发明的有益效果是：一种多模型融合的仪表读数智能识别方法，通过同时使用3个架构相同不同卷积层数和不同双向长短期记忆网络层数来适应现实场景的复杂情况，能够准确识别不同光线，不同拍摄距离的图片；通过一个卷积分类网络进行图片是否倒立的判定和检测图片的倾斜角，能够准确识别任意拍摄角度的图片；通过多个识别算法同时识别，然后通过特征融合，提升算法识别的准确率。

附图说明

图1为本方法的流程图；

图2为水表数字图片倒立判断的流程图；

图3为得到特征层的流程图；

图4为特征融合的流程图；

图5为确定表框的流程图；

图6为图片校正的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“上”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

本发明能够对任何仪器仪表的读数进行识别，包括但不限于智能水表、电表、燃气表和压力表等等任何通过读取表盘读数获取数值的仪表本方法都能进行智能识别；以下为对智能水表进行举例说明。

如图1所示，一种多模型融合的水表读数智能识别方法，所述方法包括以下内容：

S1、判断水表数字图片中的水表数字是否倒立；

S2、通过文字识别算法对水表数字图片进行多次识别得到多个特征层；

S3、对多个特征层进行特征融合得到识别结果。

由于水表中数字由于拍照的问题可能是倒立的，而如果水表中数字倒立时容易造成具体数字的读取识别错误，比如，数字“9”倒立时会变成“6”，如果不进行水表数字的倒立检测判断就会造成水表数字最终读取识别错误，因此，需要对水表中数字是否倒立进行检测判断，以方便后续的处理。

进一步地，如图2所示，所述判断图片中的水表数字是否倒立包括以下内容：

S11、将图片输入卷积网络中进行多层卷积后输出一个特征长度为2的向量T；

S12、根据向量T取0和1时的大小关系，判断图片中的水表数字是否倒立。

所述根据向量T取0和1时的大小关系，判断图片中的水表数字是否倒立的具体内容如下：

S121、如果T(0)≤T(1)，则说明图片没有倒立；

S122、如果T(0)>T(1)，则说明图片倒立，并将图片旋转180°。

在训练数据的时候，数据的标签指定的是T(0)>T(1)，则说明图片倒立，而T(0)≤T(1)，则说明图片没有倒立。测试的时候，向量T的含义和训练的时候一致。

具体地，水表数字是否倒立检测算法是一个由卷积网络构成的分类器实现的；如输入的水表数字图片为256×64×3，经过多层卷积的操作后输出特征长度为2的向量T，通过对向量T的判定确定水表数字是否倒立。通过对水表数字倒立的检测判断，能够在水表数字倒立时准确识别出具体的水表数字。

Bi-lstm网络时双向长短时间单元网络，该网络有利于综合文字左右两边的特征信息，比如在识别水表数字“0796927”中的数字“9”时，通过获取数字“9”左右两边的数字“6”和数字“2”的特征信息，能够更利于识别出数字“9”。

如图3所示，采用3个结构类似，但是网络参数和层数不同的文字识别算法对不同大小、长短的水表图片进行识别，能够适应不同光照和拍照距离的情况。

进一步地，所述通过文字识别算法对仪表数字图片进行多次识别得到多个特征层包括以下内容：

S21、文字识别算法对水表数字图片经过一次卷积两层卷积层处理和一次Bi-lstm计算处理得到特征层1；

S22、文字识别算法对水表数字图片经过一次卷积三层卷积层处理和两次Bi-lstm计算处理得到特征层2；

S23、文字识别算法对水表数字图片经过一次卷积两层卷积层处理和两次Bi-lstm计算处理得到特征层3。

进一步地，，卷积层由卷积操作层、批处理层(batch-norm)和激活函数层(relu)堆叠构成。

具体地，得到特征层1的内容为：以输入水表数字图片256×64×3为例，经过第一层卷积层后变成128×128×64的特征，经过第二层卷积层后变成64×32×128的特征数据，再经过Bi-lstm网络后变成512×32的特征层。得到特征层2和特征层3的方法类似。

进一步地，如图4所示，所述对多个特征层进行特征融合得到识别结果包括以下内容：

S31、将特征层1、特征层2和特征层3进行矩阵化，得到特征矩阵F1、特征矩阵F2和特征矩阵F3；

S32、分别取特征矩阵F1、特征矩阵F2和特征矩阵F3中各个对应矩阵点的最大值；

S33、将各个最大值融合得到融合特征矩阵F，通过融合特征矩阵F产生最后的识别结果。

所述将特征层1、特征层2和特征层3进行矩阵化包括以下内容：

S311、根据特征层的大小以某一点为零向量并以1为步进单位，得到特征层上所有点的向量；

S312、对所有向量按照顺序进行排序得到特征矩阵。

具体地，如得到的特征矩阵F1、特征矩阵F2和特征矩阵F3的矩阵大小分别为A_512×32、B_512×32和C_512×32，融合后的融合特征矩阵F的矩阵大小为O_512×32，融合特征矩阵F中的每个点都是特征矩阵F1、F2和F3对应位置的最大值，如：

通过多个识别算法同时识别，然后通过特征融合，能够提升算法识别的准确率。

进一步地，在进行所述判断水表数字图片中的水表数字是否倒立步骤之前还需要对水表数字图片进行校正。

进一步地，在进行所述对水表数字图片进行校正的步骤之前还需要对水表数字图片进行检测得到图片中水表数字的位置。

进一步地，如图5所示，所述对水表数字图片进行检测得到图片中水表数字的位置包括以下内容：

对仪表数字图片中的表框进行检测，确定表框位置；

进一步地，通过边缘检测算法、直线纹理检测增强算法和四边形拟合算法对表框进行检测；或者卷积网络结构产生水表数字图片的特征层RPN，产生可能的候选框，通过回归网络得到框的位置。

在确定后的表框位置上选取两点(x₁，y₁)，(x₂，y₂)和表框宽度W，对表框进行显示标注。

进一步地，如图6所示，所述对水表数字图片进行校正包括以下内容：

根据上述选取的两点(x₁，y₁)，(x₂，y₂)和表框宽度W确定水表数字图片的倾斜角度θ；

根据计算得到的倾斜角度将水表数字图片进行校正。

旋转校正后的图片像素(x′,y′)有以下公式得到：

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (1)

1.一种多模型融合的仪表读数智能识别方法，其特征在于：所述方法包括以下内容：

判断仪表数字图片中的仪表数字是否倒立；

通过文字识别算法对仪表数字图片进行多次识别得到多个特征层；

对多个特征层进行特征融合得到识别结果；

所述判断仪表数字图片中的仪表数字是否倒立包括以下内容：

将图片输入卷积网络中进行多层卷积后输出一个特征长度为2的向量T；

根据向量T取0和1时的大小关系，判断图片中的仪表数字是否倒立；

所述根据向量T取0和1时的大小关系，判断图片中的仪表数字是否倒立的具体内容如下：

如果T(0)≤T(1)，则说明图片没有倒立；

如果T(0)>T(1)，则说明图片倒立，并将图片旋转180°；

Bi-lstm网络利于综合文字左右两边的特征信息；

所述通过文字识别算法对仪表数字图片进行多次识别得到多个特征层包括以下内容：

文字识别算法对仪表数字图片进行两层卷积层处理和一次Bi-lstm计算处理得到特征层1；

文字识别算法对仪表数字图片进行三层卷积层处理和两次Bi-lstm计算处理得到特征层2；

文字识别算法对仪表数字图片进行两层卷积层处理和两次Bi-lstm计算处理得到特征层3；

所述对多个特征层进行特征融合得到识别结果包括以下内容：

将特征层1、特征层2和特征层3进行矩阵化，得到特征矩阵F1、特征矩阵F2和特征矩阵F3；

分别取特征矩阵F1、特征矩阵F2和特征矩阵F3中各个对应矩阵点的最大值；

将各个最大值融合得到融合特征矩阵F，通过融合特征矩阵F产生最后的识别结果；

所述将特征层1、特征层2和特征层3进行矩阵化包括以下内容：

根据特征层的大小以某一点为零向量并以1为步进单位，得到特征层上所有点的向量；

对所有向量按照顺序进行排序得到特征矩阵；

在进行所述判断仪表数字图片中的仪表数字是否倒立步骤之前还需要对仪表数字图片进行校正；对水表数字图片进行校正包括以下内容：

根据选取的两点(x1，y1)，(x2，y2)和表框宽度W确定水表数字图片的倾斜角度θ；

根据计算得到的倾斜角度将水表数字图片进行校正；

旋转校正后的图片像素(x′,y′)有以下公式得到：

；

在进行所述对仪表数字图片进行校正的步骤之前还需要对仪表数字图片进行检测得到图片中仪表数字的位置；

所述对仪表数字图片进行检测得到图片中仪表数字的位置包括以下内容：

对仪表数字图片中的表框进行检测，确定表框位置；

在确定后的表框位置上选取两点和表框宽度，对表框进行显示标注。