CN110837834B - 一种数字仪表读数方法及系统 - Google Patents

Abstract

本发明公开了一种数字仪表读数方法，包括以下步骤：1）获取表盘图像；2）判断是否为第一次采集，如为第一次采集，将表盘图像与存储单元内的表盘模板集进行比对，根据匹配的表盘模板裁剪得到表盘图像内的数字框；如非第一次采集，根据表盘模板裁剪得到表盘图像内的数字框；3）切割得到数字值图片，并进行二值化处理；4）n*n像素的二值化数字值图片转化为n个整形数的数组，多个数字值模板图分别转n位整形数数组；5）将数字值图片与数字值模板图的数组进行比对，得到差异性值和重合性值，取数字值模板图中最大相似度计算得到数字值图片中的数字。本发明图片上传速度快，不会占用大的通讯流量，处理工作量少，识别实时性高，识别结果准确。

Description

一种数字仪表读数方法及系统

技术领域

本发明属于智读表领域，尤其是涉及一种数字仪表读数方法及系统。

背景技术

目前智读表领域对计数器上的数字采用摄像直读的方式，经过了几十年的发展，识别的准确度仍然是个挑战。市面上大多数抄表系统提高识别精确度都是从装置的外部环境入手，但是外部环境的优化存在一定的局限性。其中识别方法的科学设计可以从根本上解决部分识别度不高的问题。

中国专利109145912公开了《一种数字仪表读数自动识别方法》，其克服了人工记录的弊端，具有识别准确率高、对不完整数字识别效果好以及算法简单等优点。但是该方法每次上传均为完整表盘图片，占用了较大的通讯流量，图片上传速度减慢；上传后再用最大类间方差法分割出数字仪表读数与背景，此方法对于图像噪声和光照不均匀性十分敏感，在这种情况下，不能很好分割数字读数和背景；该专利方法识别过渡数字时，将过渡图片分割为两部分，高度较大的那部分为待识别区域，将待识别区域的数字进行特征匹配，此处存在一个问题，举例说明：5和6下半部分识别时，如果拍摄角度倾斜，6数字下半部分的圆圈左边可能会缺失，导致6数字识别为5，识别效果差。

中国专利108256565公开了《一种基于交叉熵相异度的自适应模版匹配》，其利用匹配模板根据差异度变换它的平移量，在保障匹配精度的同时有效地提高匹配速度。但是该方法要在普通的计算方法上增加实时计算量，在仪表盘上的数字过渡简单的单片机上，无法跑通如此大的计算量。

发明内容

为了克服现有技术的不足，本发明提供一种计算量小、读数结果准确的数字仪表读数方法和系统。

本发明解决其技术问题所采用的技术方案是：一种数字仪表读数方法，包括以下步骤：

1)获取数字仪表的表盘图像；

2)判断表盘图像是否为第一次采集，如为第一次采集，将表盘图像与存储单元内的表盘模板集进行比对，根据匹配的表盘模板裁剪得到表盘图像内的数字框；如非第一次采集，直接根据第一次匹配成功的表盘模板裁剪得到表盘图像内的数字框；

3)将数字框图像切割得到数字值图片，并对其进行二值化处理；

4)将步骤3)中得到的n*n像素的二值化数字值图片转化为n个整形数的数组，将预先得到的多个数字值模板图分别转n位整形数数组；

5)将数字值图片的数组与数字值模板图的数组进行比对，得到差异性值和重合性值，根据差异性值和重合性值得到数字值图片与数字值模板的相似度，取数字值模板图中最大相似度计算得到数字值图片中的数字。

作为优选，所述步骤2)中，表盘模板集包括多个表盘模板，表盘模板的采集元素包括数字框位置、数字大小、数字间距和数字个数。

作为优选，所述步骤2)中，如为第一次采集，利用MobileNetv2网络通过深度学习定位数字框所在位置，再将表盘图像与存储单元内的表盘模板集进行比对。

作为优选，还包括步骤6)，利用MobileNetv1网络通过深度学习确定数字值图片中的第二数字或第二过渡数字；步骤7)，将步骤5)中得到的第一数字或第一过渡数字，和步骤6)中得到的第二数字或第二过渡数字，比对得到最终数字或过渡数字。

作为优选，所述步骤3)中切割得到数字值图片时，对获取的数字框图像进行大类间方差法二值化处理，得到图像中面积最大的包围矩形，若矩形的高度和面积均在预设值内，判断得到的图像为数字值图像，切割该矩形作为数字值图片；若矩形的高度或面积不在预设值内，统计矩形内每行黑色像素点数量，若图像中间存在连续多行黑色像素点数量为零，判断得到的图像为过渡数字值图像，则将矩形的中心点和宽度不变，高度增加n个像素点进行切割；若矩形的高度或面积不在预设值内，图像中间不存在连续多行黑色像素点数量为零，则以数字框图像的中心点作为矩形的中心点，表盘模板中的数字框的高和宽作为数字框图像的高和宽，切割该矩形作为数字值图片。

作为优选，所述步骤5)中，将n*n像素的数字值图片切割为n*(n-m)像素的数字值图片，再与数字值模板图进行比对，其中3≤m＜n/4。

作为优选，所述步骤5)中，数字值图片与数字值模板图逐列进行比对。

本发明还公开了一种数字仪表读数系统，包括：

图像采集单元，用于采集数字仪表的表盘图像；

判断单元，与图像采集单元相连，用于判断图像采集单元所采集的表盘图像是否为首次采集；

存储单元，用于存储各类数字仪表的表盘模板集图像信息，包括表盘图像中的数字框位置、数字大小、数字间距和数字个数；

图像处理单元，与判断单元和存储单元相连，用于根据判断单元的判断从存储单元内匹配表盘模板确定图像切割点，切割得到数字框图像，并将数字框图像切割得到数字值图片；

传输单元，将数字值图片传输至模板匹配单元进行比对；

模板匹配单元，用于将数字值图片分别与每个数字值模板比对根据相似度确定数字值图片中的第一数字。

进一步的，还包括深度学习匹配单元和结果输出单元，深度学习匹配单元利用MobileNetv1网络通过深度学习确定数字值图片中的第二数字，结果输出单元将第一数字和第二数字进行比对，得出最终结果数字。

本发明的有益效果是：1)利用存储单元将表盘模板集预先存储，上传之前先将图片与表盘模板对比得到数字框，无需将完整图片上传至云端进行比对，图片上传速度快，不会占用较大的通讯流量；2)经过首次匹配成功后，后期无需模板比对，可直接按照第一次匹配结果进行裁剪，大大减少了处理工作量；3)只上传重要信息，减少通信流量，切割除去多余无效的图片数据，只保留有用的表盘数字信息，提高了识别的实时性；4)结合的模板匹配和深度学习，实现了两种方法的互补，在减少运算量的同时，识别效果更好；5)根据仪表盘的特殊性，规定了具有较强普遍适应性的平移量，计算简单，计算量小，能适用于简单的单片机；6)在判断过渡数字值时，结合上下数字两部分共同判断，先判断为多少之间的过渡，最后在判断为是什么数字，识别结果准确。

附图说明

图1为本发明的流程示意框图。

图2为本发明的切割过程示意图。

图3-1为本发明待识别表盘图像。

图3-2为本发明表盘模板集中筛选得到的表盘匹配图像。

图3-3为待识别表盘图像和表盘匹配图像匹配过程示意图。

图4为本发明中切割得到的数字框图像。

图5为本发明中角度校正后的数字框图像。

图6为本发明数字值模板。

图7为本发明数字值图片识别结果。

图8为本发明模板匹配过程示意图。

具体实施方式

为了使本技术领域的人员更好的理解本发明方案，下面将结合本发明实施例中的附图，对发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

一种数字仪表读数方法，包括以下步骤：

1)获取数字仪表的表盘图像

采用普通像素定焦摄像头，焦距为6cm，摄像头位于表盘正上方，刚好可以完整清晰地拍摄到整个表盘表面，采用侧面补光的方式可以很好的避免补光灯的反光，减少对图像识别的影响，摄像头拍照时使用自动曝光和自动白平衡，可以很好的兼容各种光照环境，减少光线过亮和过暗对图像识别的影响。摄像头输出RGB565格式的图像数据，通过ffjpeg压缩算法进行图像数据压缩。

2)判断单元判断获取的表盘图像为第一次采集到时，具体判断可以根据存储单元中是否有配置文件，如图1所示，由于第一次匹配后才能生成存储数字框位置信息并生成配置文件，从而如果判断存储单元内无配置文件则为第一次采集；将表盘图像的完整图片上传至图像处理单元，定位数字框

具体的，a)通过深度学习模型来计算四角点坐标定位数字框

摄像头采集的原始图片，包含了整个表盘的完整画面，使表盘中数字框所占面积在整个表盘图像占比很小，为提高后续步骤中数字识别的准确度，需要对数字框部分进行精确的定位和提取。

本发明使用计算机视觉中的深度学习方法，利用卷积神经网络训练获得各类表计的数字框模板，便于定位数字框相对表盘图像的所在位置。

深度学习步骤：

1.输入表盘图像，进行图片归一化(即图片缩放至统一的宽高)；

2.以MobileNetv2网络为基准网络结构，首先经过一个1*1卷积层，进行扩张，降低Feature Map的通道数；接着经过一个3*3的卷积层，提取特征；最后再经过一个1*1的卷积层，进行压缩，升高Feature Map的通道数；

3.神经网络输出层使用点之间的平均欧氏距离作为成本函数，输出8个值，分别对应4个点的(x,y)坐标值，从而定位到了数字框的具体位置。

通过神经网络模型计算数字框匹配可信度，本发明可信度域值为0.5，高于0.5即为数字框定位成功，返回数字框位置信息；低于0.5即可信度低，无法利用深度学习定位数字框，需要实行下面的b)方法。

b)通过图像匹配来定位数字框区域

预先采集各种类型表计的图像信息，构建各类表计的配置文件库，将所有表计类型的图片保存到存储单元中，标定每种表计类型的数字框位置、数字大小、数字间距和数字个数特征，保存到其对应配置文件中。

将采集的图片I1与存储单元的各类表盘模板集进行比对，选定图片类型，与其通过surf算法检测特征点，这些特征点描述符包含了位置和尺度信息，进行SURF特征点匹配，根据两幅图的匹配关系计算变换矩阵H，通过将配置文件的数字框位置换算成待识别图片的数字框位置，获取待识别图片的位置信息，同时计算采集图片的旋转角度。由得到的数字框位置切割采集图片抠出数字框图并旋转为数字水平方向排列的图片I2，如图5所示。

当然，判断单元判断获取的表盘图像不是第一次采集到时，无需经过步骤a)，直接根据第一次匹配的表盘模板裁剪得到表盘图像内的数字框图像。

3)图像分割

将获取的数字框图像(图片I2)做图片背景均衡处理，根据存储单元中配置文件的数字大小、数字间距和数字个数切割出每个数字值图片I3，由于表计上的数字分布并不是在同一水平线上，会有上下浮动的情况，所以在切割每个数字时要上下左右各外扩5个像素点容错，使数字完整的分离，避免将数字切坏。在识别过程中要保证图片干净只有数字，而分离后的数字图片I3上可能有如黑色边框等其他干扰，为去除干扰首先将图片I3做最大类间方差法二值化处理，然后找出图片中面积最大的包围矩形R1，判断矩形R1的高度是否满足条件：面积在一定范围，高度在一定范围，即为数字矩形R1；若不满足条件，再判断图片I3是否为过渡数字：统计每行黑色像素点个数，若存在连续几行黑色点个数为零且位于图像中间区域，具体可以是连续3-5行，则认为是过渡数字，矩形R1的中心点和宽度不变，高度为配置文件中数字高度加8个像素点；若以上两个条件都不满足，则以图片I3的中心点作为矩形R1的中心点，R1的宽和高分别为配置文件中的数字宽和高。

4)将切割得到的数字值图片进行二值化处理

将矩形R1从图片I3上切割下来。统计矩形R1每列灰度平均值，分别标定左侧(即R1左边向右)10列和右侧(即R1右边向左)10列的第一个极大值的横坐标x1、x2。做gamma校正处理来平衡光照的影响，再重新进行二值化处理，二值化处理采用Su二值化方法，基于局部最大最小值定义图像对比度，检测通常位于文本笔划边界周围的高对比度图像像素，使用从局部邻域窗口中检测到的高对比度像素估计的局部阈值进行二值分割处理。对二值化图片分别做垂直映射和水平映射和小面积连通域过滤去掉噪点，通过垂直映射可得到二值图中数字的宽度，若宽度大于已知配置中数字宽，则存在数字与左边或右边噪声相连的情况，用横坐标x1,x2进行切割(用x1,x2进行切割的作用是确保切割时能排除数字框的干扰)。为保证正常完整数字图片和过渡数字图片中数字的真实大小相同，将完整数字缩放为22*22大小再填充为分辨率28*28的二值图像，过渡数字则直接缩放填充为28*28大小的二值图像。处理完成后通过传输单元上传至云端进行字符识别。

5)模板匹配

将经过二值化处理降低光照、水汽的影响后，最终的28*28的数字值二值图，从中挑选部分数据作为模板，将数字0-9，按照从小到大的顺序从从上到下排列，利用过渡数图来确定各个数字之间的间距，最后在9的后面再补充一张0，这样就形成了一张模板图，如图6所示。数字值模板图的宽度固定为32，长度根据不同字体会有不同，但一定是11的倍数。

在进行模板匹配时，先将28*28的待识别数字值图片，每一行像素的中间24个像素点转化成一个32位无符号整型数a，a的低24bit对应一行的24个像素点，黑点为1，白点为0，这样一张28*28的图像矩阵就变成了一个28个元素的数组t[28]。同样的方法也将模板图转化成一个数组r[286]，即n＝32，m＝4，当然于其它实施例中，3≤m＜n/4即可。匹配时：

第一步，数组t的每一个元素对应和数组r的元素进行异或操作，t[0]异或r[0]，通过异或既可以知道这样像素点和模板的差异性，再统计这一行不一样点的个数，计算28行像素点不一样个数之和s1。对每一行的值进行位与操作，求出重合的黑点的个数，计算28行像素点重合点数之和s2；

第二步，t数组所有元素左移一位，重复第一步的操作；

第三步，重复第二步操作，直到t数组左移了8位，选取这8次操作中s1的最小值，s2的最大值，分别计算识别图片中黑点的总数及此时匹配位置内模板的黑点总数(前面28行像素中计算)，选取两者黑点数之和的数作为分母ss1，用(1-s1/ss1)的结果作为识别图再模板第一个位置的差异性值P_xor1，选取两者黑点数较大者作为分母ss2，用s2/ss2的结果作为识别图与模板图重合性值P_and1，取P_xor1和P_and1的平均值作为识别图片在模板该位置的相似度P1；

第四步，从模板的第二个位置开始比对，重复前面三步，得到识别图片在模板第二个位置的相似度P2；

第五步，依次类推，得到一张识别图，在模板各个位置的相似度，选取相似度最大的位置除以模板图中单个数字图的长度，就可以得到识别结果，识别结果范围是0.0-10.5之间；

第六步，按照相同的操作，得到一张识别图在各个模板的识别结果及相似度，选取相似度最大模板的识别结果，作为最终结果。

其中，识别图与模板图每个位置的差异性公式：

重合性公式为：

相似度(可信度)：

(即差异性和重合性的平均值)。

第一次采集的表盘图像处理后进行模板匹配时，将数字值图片的数组分别与多个数字值模板图(不同数字值模板图的字体不同)的数组进行比对，取多个数字值模板图中最大相似度计算得到数字值图片中的数字；非第一次采集的表盘图像处理后进行模板匹配时，只需要将数字值图片的数组与第一次匹配的数字值模板图的数组进行比对匹配即可。

6)深度学习匹配

深度学习中的卷积神经网络使用局部感受野，有权重共享的特点，从而对图像的平移、旋转、尺度缩放等具有不变形，在数字识别任务中被广发使用。一般而言，对0-9数字的识别任务，可以作为一种10分类问题，但是由于表计数字的特殊性，存在过渡数字(比如数字0正在转动，数字框中只存在0的下半部分，并且同时存在1的上半部分)，需要对原有的解决方案进行改良，将10分类问题转成20分类问题。0-9数字为10类，0-1的过渡数字为第11类，1-2的过渡数字为第12类，依次类推，过渡数字分类也存在10类。

考虑到网络输入图片的尺寸只有28*28，随着网络变深，层数变多，特征图越来越小，所以太深层的网络结构并不适用本任务。因此本发明只使用MobileNetv1浅层部分的网络结构，改变决策部分的输入以适应特征提取网络的输出，同时改变决策部分的输出。输出为当前图片属于20类每类的概率，最大概率的类，即为模型预测的当前图片的类别。

7)结果输出

深度学习模型和模板匹配模型结合，可以大大提升数字识别的准确率。如果深度学习模型得出的值小于10，说明识别出来是完整数字。模板匹配识别结果会有小数，四舍五入模板的匹配值，如果深度学习识别结果和模板匹配四舍五入取整结果相同，则说明两者识别结果一致，作为最终改数字的可信度。如果不相等，则选取可信度大的结果值。如果深度学习模型得出的结果大于等于10，说明识别出来是过渡数字，如果深度识别模型的值得个位数和模板匹配的整数结果一致，说明两者的识别结果相同，这时取模板匹配四舍五入值最为最终结果；如果两值不相同，四舍五入取整。通过两者方法的互补，可以大大提升识别率。

如深度学习匹配识别结果(AI模型)：

(数字识别)[[mobilenet]]predict num:[0,0,3,5,11]，

(可信度)predict conf:[0.999,0.992,1.0,0.996,0.967]。

模板匹配识别结果：

(数字识别)[[TM]]predict num:[0.192,0.192,3.12,5.192,1.75]，

相似度(可信度)predict conf:[0.85,0.822,0.819,0.863,0.82]。

最终识别结果为：Predict number:352Confidence:0.967

其中2为过渡数字识别结果，结果自动省略前面的0。

经过43000多张图片的测试结果得到，利用本发明的深度学习匹配单元和模板匹配单元结合数字仪表识别率为0.9992，单独使用深度学习匹配单元时数字仪表识别率为0.9968，单独使用模板匹配单元时数字仪表识别率为0.9977；因此将深度学习匹配单元和模板匹配单元两者结合不仅减少了计算量，而且提高了识别率。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (9)

1.一种数字仪表读数方法，其特征在于包括以下步骤：

1)获取数字仪表的表盘图像；

2)判断表盘图像是否为第一次采集，如为第一次采集，将表盘图像与存储单元内的表盘模板集进行比对，根据匹配的表盘模板裁剪得到表盘图像内的数字框；如非第一次采集，直接根据第一次匹配成功的表盘模板裁剪得到表盘图像内的数字框；

3)将数字框图像切割得到数字值图片，并对其进行二值化处理；

4)将步骤3)中得到的n*n像素的二值化数字值图片转化为n个整形数的数组，将预先得到的多个数字值模板图分别转n位整形数数组；

5)将数字值图片的数组与数字值模板图的数组进行比对，得到差异性值和重合性值，根据差异性值和重合性值得到数字值图片与数字值模板的相似度，取数字值模板图中最大相似度计算得到数字值图片中的数字；

所述步骤5)中，将经过二值化处理后的数字值二值图中挑选部分数据作为模板，将数字0-9，按照从小到大的顺序从从上到下排列，利用过渡数图来确定各个数字之间的间距，最后在9的后面再补充一张0，形成了模板图；

进行模板匹配，第一步，数组t的每一个元素对应和数组r的元素进行异或操作，t[0]异或r[0]，统计这一行不一样点的个数，计算多行像素点不一样个数之和s1，对每一行的值进行位与操作，

求出重合的黑点的个数，计算多行像素点重合点数之和s2；

第二步，t数组所有元素左移一位，重复第一步的操作；

第三步，重复第二步操作，直到t数组左移了8位，选取这8次操作中s1的最小值，s2的最大值，分别计算识别图片中黑点的总数及此时匹配位置内模板的黑点总数，选取两者黑点数之和的数作为分母ss1，用(1-s1/ss1)的结果作为识别图再模板第一个位置的差异性值P_xor1，选取两者黑点数较大者作为分母ss2，用s2/ss2的结果作为识别图与模板图重合性值P_and1，取P_xor1和P_and1的平均值作为识别图片在模板该位置的相似度P1；

第四步，从模板的第二个位置开始比对，重复前面三步，得到识别图片在模板第二个位置的相似度P2；

第五步，依次类推，得到一张识别图，在模板各个位置的相似度，选取相似度最大的位置除以模板图中单个数字图的长度，就可以得到识别结果，识别结果范围是0.0-10.5之间；

第六步，按照相同的操作，得到一张识别图在各个模板的识别结果及相似度，选取相似度最大模板的识别结果，作为最终结果。

2.根据权利要求1所述的数字仪表读数方法，其特征在于：所述步骤2)中，表盘模板集包括多个表盘模板，表盘模板的采集元素包括数字框位置、数字大小、数字间距和数字个数。

3.根据权利要求1所述的数字仪表读数方法，其特征在于：所述步骤2)中，如为第一次采集，利用Mobi leNetv2网络通过深度学习定位数字框所在位置，再将表盘图像与存储单元内的表盘模板集进行比对。

4.根据权利要求1所述的数字仪表读数方法，其特征在于：还包括步骤6)，利用MobileNetv1网络通过深度学习确定数字值图片中的数字，作为第二数字或第二过渡数字；步骤7)，将步骤5)中得到的数字，作为第一数字或第一过渡数字，和步骤6)中得到的第二数字或第二过渡数字，比对得到最终数字或过渡数字。

5.根据权利要求1所述的数字仪表读数方法，其特征在于：所述步骤3)中切割得到数字值图片时，对获取的数字框图像进行大类间方差法二值化处理，得到图像中面积最大的包围矩形，若矩形的高度和面积均在预设值内，判断得到的图像为数字值图像，切割该矩形作为数字值图片；若矩形的高度或面积不在预设值内，统计矩形内每行黑色像素点数量，若图像中间存在连续多行黑色像素点数量为零，判断得到的图像为过渡数字值图像，则将矩形的中心点和宽度不变，高度增加n个像素点进行切割；若矩形的高度或面积不在预设值内，图像中间不存在连续多行黑色像素点数量为零，则以数字框图像的中心点作为矩形的中心点，表盘模板中的数字框的高和宽作为数字框图像的高和宽，切割该矩形作为数字值图片。

6.根据权利要求1所述的数字仪表读数方法，其特征在于：所述步骤5)中，将n*n像素的数字值图片切割为n*(n-m)像素的数字值图片，再与数字值模板图进行比对，其中3≤m＜n/4。

7.根据权利要求1所述的数字仪表读数方法，其特征在于：所述步骤5)中，数字值图片与数字值模板图逐列进行比对。

8.一种数字仪表读数系统，应用如权利要求1-7中任一项所述的数字仪表读书方法，其特征在于包括：

图像采集单元，用于采集数字仪表的表盘图像；

判断单元，与图像采集单元相连，用于判断图像采集单元所采集的表盘图像是否为首次采集；

存储单元，用于存储各类数字仪表的表盘模板集图像信息，包括表盘图像中的数字框位置、数字大小、数字间距和数字个数；

图像处理单元，与判断单元和存储单元相连，用于根据判断单元的判断从存储单元内匹配表盘模板确定图像切割点，切割得到数字框图像，并将数字框图像切割得到数字值图片；

传输单元，将数字值图片传输至模板匹配单元进行比对；

模板匹配单元，用于将数字值图片分别与每个数字值模板比对根据相似度确定数字值图片中的第一数字。

9.根据权利要求8所述的数字仪表读数系统，其特征在于：还包括深度学习匹配单元和结果输出单元，深度学习匹配单元利用Mobi leNetv1网络通过深度学习确定数字值图片中的第二数字，结果输出单元将第一数字和第二数字进行比对，得出最终结果数字。

Images