CN111222507B - 数字式仪表读数的自动识别方法、计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种数字式仪表读数的自动识别方法、计算机可读存储介质，该方法包括：采用模板匹配法从全景图像中提取第一区域；对第一区域进行调整使得数字式仪表图像中的读数显示框为规则的矩形框，并且该矩形框与第一区域的边缘平行；对调整后的第一区域进行图像预处理；在二值化图像中提取第二区域，其中，第二区域中包括字符和小数点；将第二区域中的所有字符进行分割从而得到多个单字符区域；对每个单字符区域进行字符识别；从第二区域中提取第三区域，其中，第三区域中包括小数点；从第三区域中确定小数点位置；根据字符识别的结果以及小数点位置确定数字式仪表的读数。该数字式仪表读数的自动识别方法其能够提高识别的准确性。

Description

数字式仪表读数的自动识别方法、计算机可读存储介质

技术领域

本发明是关于图像处理和机器视觉领域，特别是关于一种数字式仪表读数的自动识别方法、计算机可读存储介质。

背景技术

数字式仪表作为一种测量仪器，具有功耗低、价格便宜、读数精准以及使用方便等特点，在电力、金融、化工、机械和电子等领域广泛使用。数字式仪表的传统使用方法为依靠人工进行肉眼识别，该方法存在易出错、工作量大、效率低等缺点，且某些环境中存在高温、高压以及高辐射，工人长期处于这种恶劣环境中，对身体有极大损害。而通过相机采集图像信息后进行数字式仪表的自动读数，相比于人工读数，具有读数效率高、全天候、不受恶劣环境影响等优势。因而，急需研究基于图像处理和机器视觉的数字式仪表读数的自动识别方法。

现有数字式仪表读数的自动识别方法，大多都是针对某种固定类型的数字式仪表的识别。在图像预处理环节中，进行图像旋转使其数字显示区域边缘水平，但未考虑由于相机拍摄角度等的原因，数字显示区域往往存在错切变形，导致实际识别准确率较低甚至难以识别。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种数字式仪表读数的自动识别方法、计算机可读存储介质，其能够提高识别的准确性。

为实现上述目的，本发明提供了一种数字式仪表读数的自动识别方法，其包括：采用模板匹配法从全景图像中提取第一区域，其中，所述第一区域中包括数字式仪表图像，且所述第一区域为矩形；对所述第一区域进行调整使得所述数字式仪表图像中的读数显示框为规则的矩形框，并且该矩形框与所述第一区域的边缘平行；对调整后的所述第一区域进行图像预处理从而得到二值化图像；在所述二值化图像中提取第二区域，其中，所述第二区域中包括所述读数显示框中的字符和小数点；将所述第二区域中的所有字符进行分割从而得到多个单字符区域；采用深度学习模型对每个单字符区域进行字符识别；从所述第二区域中提取第三区域，其中，所述第三区域中包括小数点；从所述第三区域中确定小数点位置；根据字符识别的结果以及所述小数点位置确定数字式仪表的读数。

在本发明的一实施方式中，采用模板匹配法从全景图像中提取第一区域包括：将全景图像(x_p,y_p)和预先设置的数字式仪表模板图像的图像特征进行匹配，获取从所述全景图像变换到所述数字式仪表模板图像的第一投影变换矩阵M；根据第一式子和第二式子将所述全景图像(x_p,y_p)投影变换到所述数字式仪表模板图像中从而得到所述第一区域(x_t,y_t)，所述第一式子为 所述第二式子为/>其中，k₁为系数。

在本发明的一实施方式中，对所述第一区域进行调整包括：获取所述第一区域中的读数显示框的四个顶点坐标，其中，所述四个顶点坐标包括第一左上顶点(x₀,y₀)、第一右上顶点(x₁,y₁)、第一左下顶点(x₂,y₂)和第一右下顶点(x₃,y₃)；根据第三式子计算所述读数显示框校正后的矩形宽度值w_rt，并根据第四式子计算所述读数显示框校正后的矩形高度值h_rt，其中，所述第三式子为所述第四式子为/>其中，t为矩形大小调整比例；将所述读数显示框的四个顶点坐标分别投影变换到第二左上顶点(x₀,y₀)、第二右上顶点(x₀+w_rt-1,y₀)、第二左下顶点(x₀,y₀+h_rt-1)和第二右下顶点(x₀+w_rt-1,y₀+h_rt-1)的平面中，并求解第二投影变换矩阵M_rt；根据第五式子与第六式子将所述第一区域(x_t,y_t)投影变换从而得到所述调整后的第一区域(x_n,y_n)，其中，所述第五式子为所述第六式子为/>其中，k₂为系数。

在本发明的一实施方式中，将所述第二区域中的所有字符进行分割从而得到多个单字符区域包括：若所述第二区域中的字符的总个数N为已知的，则将所述第二区域均等划分为N个单字符区域，或者利用投影分割法划分出N个单字符区域。

在本发明的一实施方式中，将所述第二区域中的所有字符进行分割从而得到多个单字符区域包括：若所述第二区域中的字符的总个数为未知的，则利用投影分割法进行字符的分割，分割完毕后获取字符的总个数。

在本发明的一实施方式中，从所述第二区域中提取第三区域包括：截取所述第二区域下方的区域作为所述第三区域。

在本发明的一实施方式中，从所述第三区域中确定小数点位置包括：检测所述第三区域中的所有连通区域块，并获取各个连通区域块各自的面积；从所有连通区域块中选择出满足第一筛选条件的连通区域块，其中，所述第一筛选条件为连通区域块与单字符区域的面积比介于第一阈值和第二阈值之间；从满足所述第一筛选条件的连通区域块中选择出满足第二筛选条件的连通区域块，其中，所述第二筛选条件为连通区域块与其最小外接矩形框的面积比不小于第三阈值；从满足所述第二筛选条件的连通区域块中选择出满足第三筛选条件的连通区域块，其中，所述第三筛选条件为连通区域块的重心的纵坐标值不小于第四阈值；从满足所述第三筛选条件的连通区域块中确定出小数点所在的位置。

在本发明的一实施方式中，从满足所述第三筛选条件的连通区域块中确定出小数点所在的位置包括：排除掉位于起始位置的连通区域块；排除掉位于正负号之前的连通区域块；排除掉首字符为字母且位于该首字符之前的连通区域块；从剩余的连通区域块中选择出满足第四筛选条件的连通区域块，该连通区域块被确定为小数点所在的位置，其中，所述第四筛选条件为连通区域块与其最小外接矩形框的面积比最大。

在本发明的一实施方式中，所述图像预处理包括：图像滤波平滑、直方图均衡化、自适应阈值二值化以及形态学操作的一个或多个。

基于同样的发明构思，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质用于执行上述任一实施方式所述的数字化仪表读数的自动识别方法。

与现有技术相比，根据本发明的数字式仪表读数的自动识别方法、计算机可读存储介质，可以识别数字显示区域存在变形的数字式仪表图像，同时可以识别字符个数不确定的数字式仪表，以及可以识别具有不同字体和设计的小数点的数字式仪表，大大提高了识别的通用性和鲁棒性。

附图说明

图1是根据本发明一实施方式的数字式仪表读数的自动识别方法的流程；

图2是根据现有技术的图像预处理结果以及本发明一实施方式的图像预处理结果对比；

图3是根据本发明一实施方式提取的第二区域。

图4是根据本发明一实施方式进行小数点检测和位置确定的示意图；

图5是根据本发明另一实施方式进行小数点检测和位置确定的示意图；

图6是根据本发明一实施方式的确定小数点位置的流程。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

针对目前数字式仪表读数自动识别中的不足，本发明公开了一种具有更强适用性和更高鲁棒性的数字式仪表读数的自动识别方法，该方法在具有一般数字式仪表自动识别功能的同时，可以识别数字显示区域存在变形的数字式仪表图像，还可以识别具有不确定字符个数的数字式仪表，以及具有不同字体和设计的小数点的数字式仪表。

图1是根据本发明一实施方式的数字式仪表读数的自动识别方法的步骤组成。该方法包括步骤S1～步骤S9。

在步骤S1中，采用模板匹配法从全景图像中提取第一区域，其中，所述第一区域中包括数字式仪表图像，且所述第一区域为矩形。

具体而言，首先将全景图像(x_p,y_p)和预先设置的数字式仪表模板图像的图像特征(例如SIFT、SURF和ORB等特征)进行匹配，获取从所述全景图像变换到所述数字式仪表模板图像的第一投影变换矩阵M，然后根据第一式子和第二式子将所述全景图像(x_p,y_p)投影变换到所述仪表模板图像中从而得到所述第一区域(x_t,y_t)，所述第一式子为/>所述第二式子为/>其中，(x′_t,y′_t)是未进行缩放的全景图像投影变换后的图像坐标，k₁表示缩放因子。

由于图像拍摄角度等原因，在步骤S1中通过投影获取的数字式仪表图像，其读数显示框在图像中存在倾斜和变形，需要将其进行校正为与图像边缘平行的矩形框，以增强其后续字符和小数点识别的准确性。

因此在步骤S2中对所述第一区域进行调整，使得所述数字式仪表图像中的读数显示框为规则的矩形框，并且该矩形框与所述第一区域的边缘平行。

如图2所示，A表示一实施方式所提取的第一区域的示意图，B表示根据现有技术的图像预处理环节所调整后的区域，现有技术只是进行图像旋转使其数字显示区域边缘水平。C表示根据本发明的方法所调整后的第一区域，其中，读书显示框为规则的矩形框，并且该矩形框与第一区域的边缘平行。

具体而言，在步骤S2中首先根据第三式子计算所述读数显示框校正后的矩形宽度值w_rt，并根据第四式子计算所述读数显示框校正后的矩形高度值h_rt，其中，所述第三式子为所述第四式子为/>其中，t为矩形大小调整比例，一般取t＝1.0，也可取其他值。

其次将所述读数显示框的四个顶点坐标分别投影变换到第二左上顶点(x₀,y₀)、第二右上顶点(x₀+w_rt-1,y₀)、第二左下顶点(x₀,y₀+h_rt-1)和第二右下顶点(x₀+w_rt-1,y₀+h_rt-1)的平面中，并求解第二投影变换矩阵M_rt。

然后根据第五式子与第六式子将所述第一区域(x_t,y_t)投影变换从而得到所述调整后的第一区域(x_n,y_n)，其中，所述第五式子为所述第六式子为其中，(x′_n,y′_n)是未进行缩放的第一区域投影变换后的图像坐标，k₂表示缩放因子。

在步骤S3中，对调整后的所述第一区域进行图像预处理从而得到二值化图像，该图像预处理包括图像滤波平滑、直方图均衡化、自适应阈值二值化以及形态学操作等处理，从而获得待识别的二值化图像。

在步骤S4中，在所述二值化图像中提取第二区域，其中，所述第二区域中包括所述读数显示框中的字符和小数点。图3为一实施方式中提取的第二区域。

该截取仪表读数显示框中字符和小数点所在的第二区域记为D_ij,其中0≤i≤h_R-1，0≤j≤w_R-1，第二区域D_ij的宽度为w_R，高度为h_R。

在步骤S5中将所述第二区域中的所有字符进行分割从而得到多个单字符区域。

具体而言，当字符个数确定时，直接取字符个数，然后将第二区域均等划分为N_ch块作为字符块，或者利用投影分割法划分出N_ch个单独的字符块。当字符个数不确定时，直接利用投影分割法进行字符的自动分割，分割完毕后自动获取字符的个数N_ch。

在步骤S6中采用深度学习模型对每个单字符区域进行字符识别，其中字符包括0-9数字、正负号和特殊字母等。

在步骤S7中从所述第二区域中提取第三区域，其中，所述第三区域中包括小数点。通常小数点位于字符右下角，截取第二区域下方比例为k₃的部分作为小数点待测区域，即第三区域，第三区域可以表示为：

D_dot＝D_ij((1-k₃)h_R:h_R-1,0:w_R-1)，

其中，比例k₃可根据实际数字式仪表的小数点位置和大小的设计来进行选取，一般可选取为k₃＝0.4。图4中，比例k₃以下的区域为一实施方式选取的第三区域。

在步骤S8中从所述第三区域中确定小数点位置。如图4所示，连通区域块D被确定为小数点位置。图5中，E为另一实施方式中的第二区域，F为小数点检测和位置确定的示意图，连通区域块G为该实施方式所检测的小数点位置。步骤S8的具体过程如图6所示。

在步骤S801中，首先在第三区域D_dot中检测所有存在的连通区域块，共K个连通区域块，计算并记录所有的连通区域块的面积S_v(v＝1,2,3,…,K)。

在步骤S802中，取连通区域块v(初次可取v＝1)，计算其面积S_v在单个字符区域面积的占比R_v，计算式如下：R_v＝S_v/(w_Rh_R/N_ch)。判断R_v是否满足条件R_min≤R_v≤R_max，若满足条件继续进行下一步，否则，跳转至步骤S805。其中，R_min和R_max分别为符合要求的面积占比的最低阈值和最高阈值，该值可根据实际数字式仪表的小数点大小的设计来进行选取，如参考的某类数字式仪表的经验值为R_min＝0.015，R_max＝0.045。

在步骤S803中，取步骤S802中满足条件的连通区域块v，获取其最小外接矩形框E，计算其在最小外接矩形框中的填充比例F_v，计算式如下：F_v＝S_v/(w_Eh_E)，其中，w_E、h_E分别为最小外接矩形的宽和高。判断F_v是否满足条件F_v≥F_th，若满足条件，继续进行下一步，否则，跳转至步骤S805。其中，F_th为符合要求的填充比例阈值，该值可根据实际数字式仪表的小数点形状的设计来进行选取，如参考的某类数字式仪表的经验值为F_th＝0.6。

在步骤S804中，取步骤S803中满足条件的连通区域块v，计算其连通区域的重心位置坐标(X_v,Y_v)作为连通区域中心，判断Y_v是否满足条件Y_v≥Y_th，若满足条件，则记录连通区域块v的信息，作为备选的小数点连通区域，否则，跳转至步骤S805。小数点在第二区域的具体位置待检测确定，但其出现的具体位置只可能存在于较低处，故设置Y_th为第二区域D_ij中小数点可能出现的最高位置的小数点中心纵坐标值，以此排除部分不可能为小数点的连通区域块。参考图4，坐标系以图片的左上角为原点，水平方向为X轴，竖直方向为Y轴。Y_th＝(1-k₄)h_R。其中，h_R为第二区域D_ij的高度，k₄为比例，其取值可根据实际数字式仪表的小数点位置设计来进行选取，如参考的某类数字式仪表的经验值为k₄＝0.25。

在步骤S805中，判断连通区域块编号是否满足v<K，若满足，取v＝v+1，跳转至步骤S802，否则进行步骤S806。

在步骤S806中，筛选在步骤S804中所有满足条件的备选小数点连通区域块，确定小数点位置。具体包括：首先结合步骤S6的字符检测结果，若备选小数点有以下情形之一，则予以排除：连通区域块位于起始位置处；连通区域块位于正负号之前；首字符为字母，而连通区域块位于其之前。经过排除后，若仍存在多个备选小数点连通区域，则根据步骤S803中计算获取的连通区域块面积填充比例F_v，取填充比例最大的备选连通区域块作为最终的小数点团块，从而确定小数点位置。

在步骤S9中根据字符识别的结果以及所述小数点位置确定数字式仪表的读数。

综上所述，根据本实施方式的数字式仪表读数的自动识别方法、计算机可读存储介质，可以识别数字显示区域存在变形的数字式仪表图像，同时可以识别字符个数不确定的数字式仪表，以及可以识别具有不同字体和设计的小数点的数字式仪表，大大提高了识别的通用性和鲁棒性。

本发明还提供了一种计算机可读存储介质，该计算机可读存储介质用于执行上述的数字化仪表读数的自动识别方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (9)

1.一种数字式仪表读数的自动识别方法，其特征在于，包括：

采用模板匹配法从全景图像中提取第一区域，其中，所述第一区域中包括数字式仪表图像，且所述第一区域为矩形；

对所述第一区域进行调整使得所述数字式仪表图像中的读数显示框为规则的矩形框，并且该矩形框与所述第一区域的边缘平行；

对调整后的所述第一区域进行图像预处理从而得到二值化图像；

在所述二值化图像中提取第二区域，其中，所述第二区域中包括所述读数显示框中的字符和小数点；

将所述第二区域中的所有字符进行分割从而得到多个单字符区域；

采用深度学习模型对每个单字符区域进行字符识别；

从所述第二区域中提取第三区域，其中，所述第三区域中包括小数点；

从所述第三区域中确定小数点位置；以及

根据字符识别的结果以及所述小数点位置确定数字式仪表的读数；

其中，从所述第三区域中确定小数点位置包括：

检测所述第三区域中的所有连通区域块，并获取各个连通区域块各自的面积；

从所有连通区域块中选择出满足第一筛选条件的连通区域块，其中，所述第一筛选条件为连通区域块与单字符区域的面积比介于第一阈值和第二阈值之间，第一阈值和第二阈值分别为符合要求的面积占比的最低阈值和最高阈值；

从满足所述第一筛选条件的连通区域块中选择出满足第二筛选条件的连通区域块，其中，所述第二筛选条件为连通区域块与其最小外接矩形框的面积比不小于第三阈值，第三阈值为符合要求的填充比例阈值；

从满足所述第二筛选条件的连通区域块中选择出满足第三筛选条件的连通区域块，其中，所述第三筛选条件为连通区域块的重心的纵坐标值不小于第四阈值，第四阈值为符合要求的小数点出现的最高位置的小数点中心纵坐标值；

从满足所述第三筛选条件的连通区域块中确定出小数点所在的位置；

若仍存在多个小数点连通区域块，则取连通区域块与其最小外接矩形框的面积比最大的连通区域块作为小数点团块，从而确定小数点位置。

2.如权利要求1所述的数字式仪表读数的自动识别方法，其特征在于，采用模板匹配法从全景图像中提取第一区域包括：

将全景图像(x_p,y_p)和预先设置的数字式仪表模板图像的图像特征进行匹配，获取从所述全景图像变换到所述数字式仪表模板图像的第一投影变换矩阵M；以及

根据第一式子和第二式子将所述全景图像(x_p,y_p)投影变换到所述数字式仪表模板图像中从而得到所述第一区域(x_t,y_t)，所述第一式子为所述第二式子为其中，k₁为系数。

3.如权利要求2所述的数字式仪表读数的自动识别方法，其特征在于，对所述第一区域进行调整包括：

获取所述第一区域中的读数显示框的四个顶点坐标，其中，所述四个顶点坐标包括第一左上顶点(x₀,y₀)、第一右上顶点(x₁,y₁)、第一左下顶点(x₂,y₂)和第一右下顶点(x₃,y₃)；

根据第三式子计算所述读数显示框校正后的矩形宽度值w_rt，并根据第四式子计算所述读数显示框校正后的矩形高度值h_rt，其中，所述第三式子为所述第四式子为/>其中，t为矩形大小调整比例；

将所述读数显示框的四个顶点坐标分别投影变换到第二左上顶点(x₀,y₀)、第二右上顶点(x₀+w_rt-1,y₀)、第二左下顶点(x₀,y₀+h_rt-1)和第二右下顶点(x₀+w_rt-1,y₀+h_rt-1)的平面中，并求解第二投影变换矩阵M_rt；以及

根据第五式子与第六式子将所述第一区域(x_t,y_t)投影变换从而得到所述调整后的第一区域(x_n,y_n)，其中，所述第五式子为所述第六式子为/>其中，k₂为系数。

4.如权利要求1所述的数字式仪表读数的自动识别方法，其特征在于，将所述第二区域中的所有字符进行分割从而得到多个单字符区域包括：

若所述第二区域中的字符的总个数N为已知的，则将所述第二区域均等划分为N个单字符区域，或者利用投影分割法划分出N个单字符区域。

5.如权利要求1所述的数字式仪表读数的自动识别方法，其特征在于，将所述第二区域中的所有字符进行分割从而得到多个单字符区域包括：

若所述第二区域中的字符的总个数为未知的，则利用投影分割法进行字符的分割，分割完毕后获取字符的总个数。

6.如权利要求1所述的数字式仪表读数的自动识别方法，其特征在于，从所述第二区域中提取第三区域包括：

截取所述第二区域下方的区域作为所述第三区域。

7.如权利要求1所述的数字式仪表读数的自动识别方法，其特征在于，从满足所述第三筛选条件的连通区域块中确定出小数点所在的位置包括：

排除掉位于起始位置的连通区域块；

排除掉位于正负号之前的连通区域块；

排除掉首字符为字母且位于该首字符之前的连通区域块；

从剩余的连通区域块中选择出满足第四筛选条件的连通区域块，该连通区域块被确定为小数点所在的位置，其中，所述第四筛选条件为连通区域块与其最小外接矩形框的面积比最大。

8.如权利要求1所述的数字式仪表读数的自动识别方法，其特征在于，所述图像预处理包括：图像滤波平滑、直方图均衡化、自适应阈值二值化以及形态学操作的一个或多个。

9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质用于执行如权利要求1～8任一所述的数字式仪表读数的自动识别方法。