CN109635799A - 一种燃气表字轮数字的识别方法 - Google Patents

Abstract

一种燃气表字轮数字的识别方法，涉及数字识别的方法，尤其适用于对燃气表字轮上统一风格的数字图片进行集中识别。包括从图片上获取数字图像，通过经训练的神经网络识别所述数字图像；获取数字图像时，首先确定照片上的红色区域和黑色区域，进而分割成单个数字，经处理后获取三个维度的数字图像；使用三个维度的数字图像训练神经网络模型并对待识别的数字图像进行辨识，融合几个神经网络的辨识结果，完成识别。采用本发明，首先识别照片上的红色区域，可以快速定位数字图像所在区域；在获得数字图像期间，可以剔除识别不了的照片；待识别数字区域采用二次定位，得到的结果更准确；在不同维度采用不同的样本做训练集，得到识别效果不同的三个网络模型用于识别，对三个网络的识别结果进行融合后提高了识别准确率。

Description

一种燃气表字轮数字的识别方法

技术领域

本发明涉及数字识别的方法，尤其适用于对燃气表字轮上统一风格的数字图片进行集中识别，属于数字图像识别技术领域。

背景技术

目前我国的燃气表依然大范围使用机械齿轮结构，需要抄表员按家按户进行抄表，耗费人力，因为需要入户抄表给业主也带来很多不方便。近年来有公司在燃气表上安装电子触发装置，燃气表的读数每走一格触发一个脉冲，并以此来计数，然而这种技术要求对现有的燃气表装置进行拆解安装，需要大量投入。在不破坏现有燃气表结构的情下，增加固定式图像采集模块，然后采用图像识别技术对采集到的图片进行识别，可以大大减少人力成本。

图像识别技术在车牌识别，人脸识别，指纹识别等领域都有很好的应用，图像识别技术日渐成熟。具体到数字识别技术包括图像的预处理，数字的检测和数字识别。数字识别的方法很多，已由模板匹配，几何特征比对等发展成人工智能算法为主的识别方法。

中国专利申请《数字识别方法和装置及神经网络训练方法和装置》（申请号201510491241.5）公开了样本选取、模型训练的方法，但只是用一个模型进行识别。中国专利申请《一种手写体数字识别方法及系统》（申请号201410161915.0）公开了使用三个分类器对字符进行识别，但三个分类器建立在同一个神经网络的不同层上，进行了简单比对后即得到识别结果。

发明内容

本发明的目的是提供一种使用多个模型，对识别对象进行多维度的判断，快速、准确识别燃气表字轮数字的方法。

为实现上述目的，本发明采用的技术方案是：一种燃气表字轮数字的识别方法，包括从图片上获取数字图像，通过经训练的神经网络识别所述数字图像。

所述神经网络通过以下方式训练得到。

从照片上获取数字图像。

人工辨识数字图像，并将已识别的数字图像分为训练集和测试集。

建立神经网络，使用训练集对神经网络进行训练，使用测试集对神经网络进行验证。

所述从照片上获取数字图像包括：

A、将照片从RGB色彩空间转换为YUV色彩空间。

B、找到照片中数字所在红色区域和黑色区域，红色区域和黑色区域组成数字所在区域。

C、根据字轮实际尺寸设定红色区域和黑色区域的比例R1，数字所在区域的长宽比例R2，如果步骤B中找到的红色区域和黑色区域的比例较R1相差大于20%，或者步骤B中找到的数字所在区域的长宽比例较R2相差大于10%，则放弃该照片。

D、根据燃气表字轮数字个数，均分步骤B中得到的数字所在区域，得到单个数字的粗略区域。

E、将照片灰度化处理，对每个单个数字的粗略区域，利用Otsu算法单独进行二值化处理。

F、对经过二值化处理的区域进行过滤。

G、过滤后的区域，利用重心密度法确定数字的中心点。

H、以步骤G得到的中心点为中心，选取维度为M*N个像素点的区域，如果步骤F中得到的像素点都包含在该区域，则选取该区域内的图像为数字图像，否则，将选取的区域每次等比扩大10%，直至步骤F中得到的像素点都包含在选取的区域；选取该区域内的图像为数字图像。

I、将步骤H中选取的区域，使用双线性内插法设置成维度为M*N大小，作为数字图像。

进一步地，所述神经网络通过以下方式训练得到：

从照片上获取3个维度的数字图像。

人工辨识数字图像，将已识别的数字图像，按照维度分成3组训练集和测试集。

针对各维度分别建立BP神经网络，并使用3组训练集和测试集对分别对BP神经网络进行训练和验证。

BP神经网络输出层设计成10的倍数，输出层等分成10组，out0，out1，out2，…out9，训练时数字0对应out0，数字1对应out1，依次类推，在训练中每个数字对应的组中的输出设置成1，其它组中的输出结果设置成0。

通过经训练的神经网络识别所述数字图像包括以下步骤：

使用不同的神经网络对不同维度的数字图像进行识别。

在每个网络识别过程中，针对10组输出层，对每一组求平均值，得到out0avg，out1avg，…，out9avg。

计算各组平均值之和outsum = sum(out0avg，out1avg，…，out9avg)。

计算每个数字的置信度outxconf=outxavg/outsum，x=0，1，...，9，得到每个数字对应的置信度(out0conf，out1conf，…，out9conf)。

找出最大置信度outmaxconf=max(out0conf，out1conf，…，out9conf)和对应的数字。

如果两个或两个以上的神经网络找到的最大置信度所对应的数字一致，则该数字为识别结果；否则找出置信度最大的值，置信度与设定的阈值进行比较，如果置信度大则置信度对应的数字为识别结果，否则无法识别。

本发明是针对燃气表上字轮的数字识别。

燃气表上的字轮分两个区域，一个红色区域，一个黑色区域，红色区域中，字轮底色为红色，黑色区域中，字轮底色为黑色，两个区域中，数字都是白色的。两个区域的比例有固定的值，且数字的高度与两个区域的宽度也有关系。

照片中，红色区域与背景视觉差别更大，相较黑色区域更容易辨别。

识别的照片有两类：1、安装在字轮上方的摄像头拍摄的照片，2、其它设备，如手机拍摄的照片。对于第二类照片，在实施本发明所述方法识别之前，需要先对照片进行调整，如摆正位置、剪切成合适大小等。因此，识别的数字图像风格统一。

基于上述背景，本发明首先从照片上识别出红色区域，再根据比例关系确定每个数字所在的粗略位置，对粗略位置中的数字做二值化等处理，得到单个数字图像。

在此期间，根据比例关系等条件，可以剔除识别不了的照片。

对于每个数字图像，使用双线性内插法，改变宽高比例，另外生成不同纬度的两个数字图像。针对每一位度的数字图像训练一个神经网络，在识别时，使用不同的神经网络识别不同维度的数字图像。

有益效果：1、首先识别照片上的红色区域，可以快速定位数字图像所在区域，2、在获得数字图像期间，根据得到的中间结果进行判断，可以剔除识别不了的照片，不用执行识别过程，提高处理速度，3、待识别数字区域采用粗略定位后再精确定位，二次定位法得到的结果更准确，4、在不同维度采用不同的样本做训练集，得到识别效果不同的三个网络模型用于识别，对三个网络的识别结果进行融合后提高了识别准确率。

附图说明

图1为原始图片，

图2为在YUV空间检测到的红色区域，

图3为在YUV空间检测到的黑色区域，

图4为二值化后的图像，

图5为粗定位的结果，

图6为过滤后的结果，

图7为精确定位的结果，

图8为本发明的处理流程图。

具体实施方式

下面结合附图对本发明做进一步说明。

图8为本发明的处理流程图，下面详细说明。

一种燃气表字轮数字的识别方法，首先从图片上获取数字图像，然后通过经训练的神经网络识别所述数字图像。

获取数字图像。

本实施例中，图片大小为720*64。

从照片上获取数字图像包括以下步骤。

A、将照片从RGB色彩空间转换为YUV色彩空间。

在YUV色彩空间中颜色聚类特性好，先将照片转换到YUV色彩空间。

RGB转YUV公式为：

Y= 0.229*R+0.587*G+0.114*B

U=-0.169*R-0.331*G+0.5*B

V= 0.5*R-0.419*G-0.081*B

B、找到照片中数字所在红色区域和黑色区域，红色区域和黑色区域组成数字所在区域。

B1、采集红色样本，将样本从RGB色彩空间转换为YUV色彩空间，确定红色在YUV色彩空间的取值范围。

采集样本时，在不同光照条件下，采集不同燃气表的红色区域，这样可以取得一个较宽范围的值。本实施例中，红色的取值范围为(U<0且V>12)。

B2、根据步骤B1中确定的取值范围，找到照片中的红色区域。

扫描红色区域过程：

从第一行开始扫描，发现某一行红色像素点的个数大于设定的RedAreaRowNum=30，这时记录下这个位置BegRedRow，然后继续扫描，直到红色像素点个数小于设定的阈值RedAreaRowNum，再次记录下这个位置EndRedRow，这样找出了上下边界。同理设定阈值RedAreaColNum=15，找出BegRedCol和EndRedCol。

为了能够更好的识别，减小红色背景和黑色背景的差异，将转换后的灰度图中的红色像素点部分的灰度部分按照经验值降低。

本实施例中，将转换后的灰度图中的红色像素点部分的灰度部分按照经验值60进行降低，小于60则设置为0。

B3、找到照片中黑色区域的左边界，黑色区域的左边界、红色区域的右边界、红色区域的上下边界为照片中数字所在区域。

找出照片背景区域的左侧位置即BegBlackCol=15，表盘数字黑色底色部就可以确定出来，上下位置和红色区域相同，右侧位置即为红色区域左侧位置BegRedCol。

C、根据字轮实际尺寸设定红色区域和黑色区域的比例R1，数字所在区域的长宽比例R2，如果步骤B中找到的红色区域和黑色区域的比例较R1相差大于20%，或者步骤B中找到的数字所在区域的长宽比例较R2相差大于10%，则放弃该照片。

两个比例R1和R2根据燃气表的实际尺寸设定。

燃气表字轮上红色区域和黑色区域的长度是一定的，两个区域长度的比例也是确定的，如果得到的两个区域的宽度比与实际尺寸的比例相差太大，说明有可能字轮上的一部分数字没有在照片上。识别字轮上部分数字没有意义，因此，如果出现这种情况，放弃该照片。

本实施例中，红色区域与黑色区域之间的宽之间的比值为0.4~0.7。

同理，字轮上的数字大小和数量是确定的，数字所在区域的长宽比例也是确定的，如果得到的这个比例与实物上的比例相差太大，说明有可能只照到数字的一部分，如果出现这种情况，放弃该照片。本实施例中，R2的取值范围为10:1~15:1。

D、根据燃气表字轮数字个数，均分步骤B中得到的数字所在区域，得到单个数字的粗略区域。

在字轮上，数字的分布式均匀的。步骤B得到的区域，均分后可以得到单个数字在照片上的粗略区域。数字处在字轮的中间位置，不会占满整个字轮。

E、将照片灰度化处理，对每个单个数字的粗略区域，利用Otsu算法单独进行二值化处理，这样可以减小光照不均匀对图片的影响。

字轮上数字都是白色的，经过二值化处理后，白色像素为数字。下面所述的处理，主要是针对白色像素点。

F、对经过二值化处理的区域进行过滤。

利用联通域算法找出所有的联通区域，保留最大的联通区域，过滤掉宽高比不符合数字特征的区域。

所有数字，笔画都是联通的，找出所有的白色像素的联通区域，就找到了数字。照片上有可能出现噪点，正常情况下，噪点的面积要小于数字的面积。保留最大的联通区域就去掉了与数字不相连的噪声区域。

该步骤中，有两种情况可以放弃识别的照片。

1、如果得到的像素点太少，也就是取得的数字特征不够，这种照片也要剔除。检测每个区域中过滤后得到的像素点个数，设定比例范围，如果不在这个范围内则放弃该照片。

数字在字轮上占约20%~60%的面积，本实施例中，得到的像素点个数应大于粗略区域像素点（如该区域为m*n个像素点）的10%。

2、判断像素点范围，如果像素点分布的宽、高比不符合数字特征，放弃该照片。

G、过滤后的区域，利用重心密度法确定数字的中心点。

H、以步骤G得到的中心点为中心，选取维度为M*N个像素点的区域，如果步骤F中得到的像素点都包含在该区域，则选取该区域内的图像为数字图像，否则，将选取的区域每次等比扩大10%，直至步骤F中得到的像素点都包含在选取的区域；选取该区域内的图像为数字图像。

I、将步骤H中选取的区域，使用双线性内插法设置成维度为M*N大小，作为数字图像。

至此，得到了统一维度的数字图像，大小为M*N个像素点。

M、N的大小根据照片的像素数量进行设置，本实施例中，M*N为32*44。

以上步骤得到了原始的数字图像。

为了提取图像中数字的不同特征，还使用双线性内插法，将M*N的数字图像设置成另外两个维度，M1*N1和M2*N2的数字图像。这里，并不按照宽高等比缩放，M1、M2、N1、N2的取值范围为M、N的50%~120%之间，本实施例中，两个维度分别为28*36 和16*24。

本发明中，针对每一个数字，获取三个维度的数字图像，在训练网络或识别时使用。

训练神经网络。

神经网络通过以下方式训练得到。

从照片上获取数字图像，即通过上述步骤对每个数字获取3个维度的数字图像。

人工辨识数字图像，并将已识别的数字图像分为训练集和测试集。本实施例中，按照维度分成3组训练集和测试集。在制作训练集和测试集时尽量将每种类型的图片都包括在内，比如偏上的，偏下的，偏左的及右的，数字画笔粗的和细的等等。这样训练出的网络具有很好的鲁棒性。

建立神经网络，使用训练集对神经网络进行训练，使用测试集对神经网络进行验证；

针对各维度分别建立BP神经网络，并使用3组训练集和测试集对分别对BP神经网络进行训练和验证。

进行网络训练时，可以针对每一个维度的样本分成多组，训练出一个以上的网络。使用同样的样本数训练一个网络与训练多个网络相比，后者训练速度更快。另外，如果处理的燃气表类型有大的变化，获取的新样本可以单独训练处一个网络，更适合实际使用。

本发明中利用BP神经网络算法，设计三层网络，输入层，隐层以及输出层，由于待识别的数字一共有10种，因此输出层设计成10的倍数，这样输出层就可以等分成10组out0，out2，…out9，训练时数字0对应out0，数字1对应out1，依次类推。在训练中每个数字对应的组中的输出都设置成1，其它组中的输出结果设置成0。

使用每个维度中制作出的训练集和测试集进行训练，训练完成后，使用测试集对训练出的网络进行测试，设定识别率阈值为0.95。

数字图像识别。

通过经训练的神经网络识别所述数字图像包括以下步骤。

首先使用不同的神经网络对不同维度的数字图像进行识别。

在每个网络识别过程中，针对10组输出层，对每一组求平均值，得到out0avg，out1avg，…，out9avg。如果有30个输出，每个数字对应3个输出，共10组。如数字1对应的输出为0.12、0.13、0.11，out1avg=(0.12+0.13+0.11)/3=0.12。

如果针对每个维度的数字图像有一个以上的网络，求出各个网络针对每个数字输出的平均值，仍记为out0avg，out1avg，…，out9avg。

计算各组平均值之和outsum = sum(out0avg，out1avg，…，out9avg)。

计算每个数字的置信度outxconf=outxavg/outsum，x=0，1，...，9，得到每个数字对应的置信度(out0conf，out1conf，…，out9conf)。

找出最大置信度outmaxconf=max(out0conf，out1conf，…，out9conf)和对应的数字。

然后比较识别结果。

现在得到了每个维度上神经网络对数字图像的识别结果，有3个。

如果两个或两个以上的神经网络找到的最大置信度所对应的数字一致，则该数字为识别结果；否则找出置信度最大的值，置信度与设定的阈值进行比较，如果置信度大则置信度对应的数字为识别结果，否则无法识别。本实施例中，阈值设定为0.8。

需要注意的是，燃气表字轮的最后一位，即红色区域的最右边，出现整个数字的概率很小，大部分时间都是出现连续的两个数字的各自一部分。在实际抄表作业中，一般都忽略这个数字。因此，在本发明中，无论是获取数字图像还是识别，对最后一位都不做处理。

参看图1至图7，为数字图像选取过程中，每一步的处理结果。

图2中，方框区域为选定的红色区域。

图3中，方框区域为选定的黑色区域。

图6中，可以看到大部分噪点已经清除。

图7中，方框内是经中心点定位后选取的区域。

实验表明，每个维度测试集80张数字图像，训练集40张数字图像，使用单维度神经网络模型识别，识别率分别为99.32%，98.71%，99.18%，使用三个神经网络融合后识别率99.95%。

Claims (9)

1.一种燃气表字轮数字的识别方法，包括从图片上获取数字图像，通过经训练的神经网络识别所述数字图像；

所述神经网络通过以下方式训练得到：

从照片上获取数字图像；

人工辨识数字图像，并将已识别的数字图像分为训练集和测试集；

建立神经网络，使用训练集对神经网络进行训练，使用测试集对神经网络进行验证；

其特征在于：

所述从照片上获取数字图像包括：

A、将照片从RGB色彩空间转换为YUV色彩空间，

B、找到照片中数字所在红色区域和黑色区域，红色区域和黑色区域组成数字所在区域，

C、根据字轮实际尺寸设定红色区域和黑色区域的比例R1，数字所在区域的长宽比例R2，如果步骤B中找到的红色区域和黑色区域的比例较R1相差大于20%，或者步骤B中找到的数字所在区域的长宽比例较R2相差大于10%，则放弃该照片，

D、根据燃气表字轮数字个数，均分步骤B中得到的数字所在区域，得到单个数字的粗略区域，

E、将照片灰度化处理，对每个单个数字的粗略区域，利用Otsu算法单独进行二值化处理，

F、对经过二值化处理的区域进行过滤，

G、过滤后的区域，利用重心密度法确定数字的中心点，

H、以步骤G得到的中心点为中心，选取维度为M*N个像素点的区域，如果步骤F中得到的像素点都包含在该区域，则选取该区域内的图像为数字图像，否则，将选取的区域每次等比扩大10%，直至步骤F中得到的像素点都包含在选取的区域；选取该区域内的图像为数字图像，

I、将步骤H中选取的区域，使用双线性内插法设置成维度为M*N大小，作为数字图像。

2.根据权利要求1所述的识别方法，其特征在于，步骤B包括：

B1、采集红色样本，将样本从RGB色彩空间转换为YUV色彩空间，确定红色在YUV色彩空间的取值范围，

B2、根据步骤B1中确定的取值范围，找到照片中的红色区域，

B3、找到照片中黑色区域的左边界，黑色区域的左边界、红色区域的右边界、红色区域的上下边界为照片中数字所在区域。

3.根据权利要求1所述的识别方法，其特征在于，步骤F中的过滤方法为：利用联通域算法找出所有的联通区域，保留最大的联通区域，过滤掉宽高比不符合数字特征的区域。

4.根据权利要求3所述的识别方法，其特征在于，检测每个区域中过滤后得到的像素点个数，设定比例范围，如果不在这个范围内则放弃该照片。

5.根据权利要求1所述的识别方法，其特征在于，

从照片上获取数字图像还包括步骤J：将数字图像使用双线性内插法设置成M1*N1和M2*N2两个维度的数字图像。

6.根据权利要求5所述的识别方法，其特征在于，步骤I中，M、N的大小根据照片的像素数量进行设置，M1、N1、M2、N2根据M、N的大小进行设置。

7.根据权利要求5或6所述的识别方法，其特征在于，

所述神经网络通过以下方式训练得到：

从照片上获取3个维度的数字图像；

人工辨识数字图像，将已识别的数字图像，按照维度分成3组训练集和测试集；

针对各维度分别建立BP神经网络，并使用3组训练集和测试集对分别对BP神经网络进行训练和验证。

8.根据权利要求7所述的识别方法，其特征在于，

BP神经网络输出层设计成10的倍数，输出层等分成10组，out0，out1，out2，…out9，训练时数字0对应out0，数字1对应out1，依次类推，在训练中每个数字对应的组中的输出设置成1，其它组中的输出结果设置成0。

9.根据权利要求8所述的识别方法，其特征在于，

通过经训练的神经网络识别所述数字图像包括以下步骤：

9.1、使用不同的神经网络对不同维度的数字图像进行识别，

在每个网络识别过程中，针对10组输出层，对每一组求平均值，得到out0avg，out1avg，…，out9avg，

计算各组平均值之和outsum = sum(out0avg，out1avg，…，out9avg)，

计算每个数字的置信度outxconf=outxavg/outsum，x=0，1，...，9，得到每个数字对应的置信度(out0conf，out1conf，…，out9conf)，

找出最大置信度outmaxconf=max(out0conf，out1conf，…，out9conf)和对应的数字；

9.2、比较识别结果，

如果两个或两个以上的神经网络找到的最大置信度所对应的数字一致，则该数字为识别结果；否则找出置信度最大的值，置信度与设定的阈值进行比较，如果置信度大则置信度对应的数字为识别结果，否则无法识别。