CN100394437C - 基于bp神经网络的数显仪表动态显示字符识别方法 - Google Patents

Abstract

一种基于BP神经网络的数显仪表动态显示字符识别方法，将摄像头获取的仪表图像，通过内部处理识别成仪表表头数字，通过图像采集系统获得数显仪表图像，利用YUV向量空间的V分量定位仪表表头区间，在该区间精确定位字符位置，经字符分割后作为BP神经网络的输入信号并识别小数点的位置；所述的BP神经网络采用全局自适应带动量项的快速BP识别算法。本发明提供一种识别准确率高、识别速度快、收敛性好、实时性好的基于BP神经网络的数显仪表动态显示字符识别方法。

Description

基于BP神经网络的数显仪表动态显示字符识别方法

(一)技术领域

本发明属于计算机视觉传感器技术、图像识别技术、计算机控制技术在自动化检测的应用，尤其是一种针对数显仪表动态显示字符和小数点进行实时识别的方法。

(二)背景技术

目前，国内外对字符图像识别主要采用三种模式：

第一种为模板匹配法，利用固定字符模板与待识别字符图像逐个像素比对。这种方法简单，但只适合尺寸固定、水平放置的情况，当仪表放置位置倾斜、字符跳变较快时，误识率较高。

第二种为特征向量匹配法，利用仪表数显字符的笔画特征，把输入字符分割为具有笔画结构特征的集合，与字符库中的特征集合进行匹配，结构特征最匹配的字符就是该显示字符的识别结果。这种方法排除了尺寸、方向变化带来的干扰，但当字符残缺，有污损时不适用。基于这种技术的还有外围轮廓匹配、投影序列特征匹配等方法。

第三种方法为人工神经网络识别法。利用数显仪表字符电阵与待识别字符对象的模糊对应关系，采用人工神经网络技术对数字字符进行精确识别。由于一般的神经网络分类器不需要对输入的模式做明显的特征提取，网络的隐层本身就具有特征提取功能，神经网络对模式信息的不完备或特征缺损不太敏感，和传统的模式识别方法比较，神经网络分类器在背景噪声统计特性未知的情况下，其性能更好，而且神经网络具有更好的推广和适应能力。这种方法基本克服了上述两种方法的弊端，已成为国际和国内主流技术。

采用BP神经网络技术对数显仪表数字字符的识别的研究主要集中在识别准确率、识别速度、训练学习的简易程度和收敛性等方面。可以采用的神经网络技术主要有BP前馈网络、ARTI自适应震荡网络、SA-ARJ网络、BAM-BP网络等，各种方法各有千秋，数字和英文字母的识别准确率可达到95％。

(三)发明内容

为了克服已有的数显仪表数字字符的识别方法识别准确率低、识别速度慢、收敛性差、实时性差的不足，本发明提供一种识别准确率高、识别速度快、收敛性好、实时性好的基于BP神经网络的数显仪表动态显示字符识别方法。

本发明解决其技术问题所采用的技术方案是：

一种基于BP神经网络的数显仪表动态显示字符识别方法，所述的字符识别方法将摄像头获取的仪表图像，通过内部识别成仪表表头数字，该字符识别方法包括以下步骤：

(1)、通过摄像头获取数显仪表的图像，图像格式为BMP格式，颜色空间为RGB；

(2)、将获取的原始图像经过从RGB向量空间到YUV向量空间的转换，取出图像中的色调V分量，利用阈值分割图像，确定仪表表头数字区；

(3)、将得到的仪表表头数字区去噪；

(4)、将仪表表头数字区转化成像素直方图，并分割成数字字符；

(5)、将分割后字符的右下角包含小数点区域的白色像素进行累加，累加的和除以小数点区域内的像素总数，如比例大于50％，判断存在小数点；

(6)、将分割出来的噪声区域去掉，字符的宽度为WIDTH，高度为HEIGHT，如分割后字符图像的WIDTH/HEIGHT＜1.2，删除该字符；

(7)、对分割后的各个字符图像进行编码，编码的规则为：用2*1的网格将数字目标区域进行相交，用得到的交点进行数字判断，提取各个数字图像的特征编码；

(8)、将提取的特征编码送到BP神经网络训练或识别，得到对应该特征编码的数字。

进一步，在所述的(7)中，如WIDTH/HEIGHT＞3，且将白色像素进行横向累加，把累加后的白色像素的比例大于0.3，判断为数字1；

设图像的高度为H，宽度为W，令区间(0，H/4)为h1，区间(H/4，3H/4)为h2，区间(3H/4，H)为h3，区间(0，W/2)为w1，区间(W/2，W)为w2，编码如下：

   (W/2，h1)(W/2，h2)(W/2，h3)(w1，H/4)(w2，H/4)(w1，3H/4)(w2，3H/4)

0： 1        0        1        1        1        1         1

2： 1        1        1        0        1        1         0

3： 1        1        1        0        0        1         1

4： 0        1        0        1        0        1         1

5： 1        1        1        1        0        0         1

6： 1        1        1        1        1        0         1

7： 1        0        0        0        0        1         1

8： 1        1        1        1        1        1         1

9： 1        1        1        1        0        1         1。

再进一步，所述的(2)包括：

(2.1)、粗定位过程：得到二值化图像后，将象素按行和列累加并将结果存在行数组和列数组中，然后对行数组进行上下逼近，然后对列数组进行左右逼近，原始图像粗定位结果为：目标矩形的上、下，左、右顶点的坐标；

(2.2)、精确定位过程：将像素行累加，计算出目标数目n，并将坐标存入坐标数组：

(2.2.1)判断n是否为0，如果是，转到步骤(2.2.3)，如果否，判断每个横向目标区域是否存在其他数字目标，假如有，设为m_i，m_i表示第i个横向区域内的数字目标数，将坐标存在坐标数组；

(2.2.2)、计算总数目N＝m₁+m₂+...+m_i+...+m_n，得到目标数组，分割为相应矩形区域分别为表头的坐标；

(2.2.3)、输入为表头区域图像，使用双线性插值法放大图像。更进一步，所述的(2)还包括：(2.3)如果表头字符为红色，使用RED分量图进行颜色选取，如果表头字符为蓝色，使用BLUE分量进行颜色选取。

所述的(2)中，从RGB向量空间到YUV向量空间的转换参见公式(1)：

Y＝(R+16)*0.257+(G+128)*0.504+(B+128)*0.098

U＝(R+16)*(-0.148)+(G+128)*(-0.291)+(B+128)*0.439

V＝(R+16)*0.439+(G+128)*-0.368+(B+128)*-0.071    (1)；

其中V分量(val_V)代表色调，用阈值VAL将图像二值化，即：

pic_V＝“1”when val_V＞VAL

else pic_V“0”，

其中pic_V是得到的二值化结果图像；V分量的最大值和最小值分别是Vmax和Vmin，阈值VAL＝(Vmax+Vmin)/2，得到二值化图像。

本发明的工作原理是：BP算法的实质是求解误差函数的最小值问题，由于它采用非线性规划中的最速下降方法，按误差函数的负梯度方向修正权值，因而通常存在以下问题：1)学习效率低，收敛速度慢；2)易陷入局部极小状态；3)网络的泛化及适应能力较差。为了提高学习效率，使整个学习过程加快，又不致引起振荡，可采用变学习率的方法。BP网络的收敛依赖于学习模式的初始位置，适当改进BP网络中间层的单元个数，或者给每个连接权加上一个很小的随机数，都有可能使收敛过程避开局部最小点。能够保证网络收敛于全局最小点的有效办法是随机学习算法和惯性校正法。本系统根据梯度算法中网络权值的演化规律，采用全局自适应带动量项的快速BP算法，通过具有一个隐层的三层BP网络、8×6的输入节点数、10个隐含节点和十个输出神经元，输出用1000000000来表示0，0100000000来表示1，以此类推。

本发明的有益效果主要表现在：1、识别准确率高；2、识别速度快；3、收敛性好；4、训练学习比较简单；5、能对多台数显仪表动态变化的数字字符和小数点的位置进行实时与并行识别和定位，且仪表的位置可变化；6、小数点的定位准确。

(四)附图说明

图1是基于BP神经网络的数显仪表动态显示字符识别方法的原理框图。

图2是基于BP神经网络的数显仪表动态显示字符识别方法的识别流程图。

图3是原始BMP图像示意图。

图4是V分量二值化结果示意图。

图5是原始图像粗定位的目标区域示意图。

图6是粗定位二值化图示意图。

图7是表头图像示意图。

图8是二值化图像示意图。

图9是去噪结果示意图。

图10是像素直方图示意图。

图11是单数字分割结果示意图。

图12是小数点识别图像示意图。

图13是特征抽取图像示意图。

(五)具体实施方式

下面结合附图对本发明作进一步描述。

参照图1、图2、图3、图4、图5、图6、图7、图8、图9、图10、图11、图12、图13，一种基于BP神经网络的数显仪表动态显示字符识别方法，所述的字符识别方法将摄像头获取的仪表图像，通过内部处理识别成仪表表头数字，该字符识别方法包括以下步骤：(1)、通过摄像头获取数显仪表的图像，图像格式为BMP格式，颜色空间为RGB，图像采集模块获取仪表24位RGB BMP图像，参加图3；

(2)、仪表表头数字区定位：

粗定位输入的是原始图像，经过从RGB向量空间到YUV向量空间的转换(1)，定位到目标区域。

Y＝(R+16)*0.257+(G+128)*0.504+(B+128)*0.098

U＝(R+16)*(-0.148)+(G+128)*(-0.291)+(B+128)*0.439

V＝(R+16)*0.439+(G+128)*-0.368+(B+128)*-0.071    (1)

其中V分量(val_V)代表色调，用阈值VAL将图像二值化，即

pic_V＝“1”when val_V＞VAL

else pic_V“0”，

其中pic_V是得到的二值化结果图像。

其中V分量的最大值和最小值分别是Vmax和Vmin，阈值VAL＝(Vmax+Vmin)/2，处理结果见图4；

(2.1)、粗定位的算法：

将像素按行和列累加并将结果存在VVHeightD和VVWidthD这两个数组里面，然后对VVHeightD进行上下包夹，得到目标矩形rect.top和rect.bottom，然后对VVWidthD进行左右包夹，得到rect.left和rect.right.原始图像粗定位结果为：rect.left，rect.right，rect.top，rect.bottom(图5、6)。

(2.2)、精确定位的算法：

输入为pic_V中粗定位的目标区域，参见图6，将像素行累加，计算出目标数目n，并将坐标存入坐标数组pic_rt[n]

(2.2.1)、判断n是否为0，如果是转到步骤(2.2.3)，如果否，判断每个横向目标区域是否存在其他数字目标，假如有，设为m_i，m_i表示第i个横向区域内的数字目标数，并将坐标存在坐标数组pic_rt[n][m]里，n＝n-1，转到步骤2).

(2.2.2)、计算总数目N＝m₁+m₂+...+m_i+...+m_n，并且得到目标数组pic_rt[n][m]，分割为相应矩形区域，分别为表头的坐标。

(2.2.3)、表头区域放大：输入为表头区域图像，参见图7，图像放大使用双线性插值法；每两个像素之间插了3个值，即相应放大9倍，因为在原始图像中，一个字符的宽和高只有10个像素左右，影响小数点的判别，而且双线性插值法又称一阶插值法，不会产生锯齿现象。

(2.3)、颜色选取：表头字符一般为红色，后续处理中使用RED分量图进行处理，相应的如果字符区域是蓝色的，将使用BLUE分量进行处理。

(3)、去噪过程：

由于系统受光线和背景的影响比较严重，因此利用目标数字区域上方的一个4*4像素区域内红色分量的均值为阈值，消除外界的干扰。结果见图8。

去噪算法：选定目标点，判断周围8个像素中的白色像素的数目，如果白色像素的数目超过4个，则目标点为白色，即是”1”.结果见图9。

(4)、数字字符分割过程：

首先将图8进行列累加，把结果存在数组DDWidth里，像素直方图见图10，分割结果见图11；

(5)、小数点定位过程：

将分割后的字符的右下角包含小数点区域(图中红色区域)的白色像素进行累加，除以区域内的像素总数，如果比例大于50％，判断为存在小数点。结果参见图12。

(6)、字符特征量抽取过程：

首先把分割出来的一些噪声区域去掉，归为以下两类，分割后图像的WIDTH/HEIGHT＞1.2，由于数字一般HEIGHT比WIDTH大，所以我把这种情况去掉.

(7)、对分割后的各个字符图像进行编码，编码的规则为：用2*1的网格将数字目标区域进行相交，用得到的交点进行数字判断，提取各个数字图像的特征编码；

如HEIGHT/WIDTH＞3，这种情况只有在出现数字是1的情况，但是也会出现噪声，比如上面图片中介于第5的数字4和第6个数字0之间的那个白点，所以我将白色像素进行横向累加，把累加后白色像素的比例＜0.3的当成噪声点，如果比例＞0.3则判断是1；

提取特征算法为：如图13所示，用2*1的网格将数字目标区域进行相交，用得到的交点进行数字判断：

设图像高为H，宽为W；令区间(0，H/4)为h1，区间(H/4，3H/4)为h2，区间(3H/4，H)为h3，区间(0，W/2)为w1，区间(W/2，W)为w2；则编码如下：

   (W/2，h1)(W/2，h2)(W/2，h3)(w1，H/4)(w2，H/4)(w1，3H/4)(w2，3H/4)

0： 1        0        1        1        1        1         1

2： 1        1        1        0        1        1         0

3： 1        1        1        0        0        1         1

4： 0        1        0        1        0        1         1

5： 1        1        1        1        0        0         1

6： 1        1        1        1        1        0         1

7： 1        0        0        0        0        1         1

8： 1        1        1        1        1        1         1

9： 1        1        1        1        0        1         1

(8)、将提取的特征编码送到BP神经网络训练或识别，得到对应该特征编码的数字。

Claims (5)

1.一种基于BP神经网络的数显仪表动态显示字符识别方法，所述的字符识别方法将摄像头获取的仪表图像，通过内部处理识别成仪表表头数字，该字符识别方法包括以下步骤：

(1)、通过摄像头获取数显仪表的图像，图像格式为BMP格式，颜色空间为RGB；

其特征在于：所述的字符识别方法还包括：

(2)、将获取的原始图像经过从RGB向量空间到YUV向量空间的转换，取出图像中的色调V分量，利用阈值分割图像，确定仪表表头数字区；

(3)、将得到的仪表表头数字区去噪；

(4)、将仪表表头数字区转化成像素直方图，并分割成数字字符；

(5)、将分割后字符的右下角包含小数点区域的白色像素进行累加，累加的和除以小数点区域内的像素总数，如比例大于50％，判断存在小数点；

(6)、将分割出来的噪声区域去掉，字符的宽度为WIDTH，高度为HEIGHT，如分割后字符图像的WIDTH/HEIGHT＜1.2，删除该字符；

(7)、对分割后的各个字符图像进行编码，编码的规则为：用2*1的网格将数字目标区域进行相交，用得到的交点进行数字判断，提取各个数字图像的特征编码；

(8)、将提取的特征编码送到BP神经网络训练或识别，得到对应该特征编码的数字。

2.如权利要求1所述的基于BP神经网络的数显仪表动态显示字符识别方法，其特征在于：在所述的步骤(7)中，如WIDTH/HEIGHT＞3，且将白色像素进行横向累加，把累加后的白色像素的比例大于0.3，判断为数字1；

设图像的高度为H，宽度为W，令区间(0，H/4)为h1，区间(H/4，3H/4)为h2，区间(3H/4，H)为h3，区间(0，W/2)为w1，区间(W/2，W)为w2，编码如下：

(W/2，h1)(W/2，h2)(W/2，h3)(w1，H/4)(w2，H/4)(w1，3H/4)(w2，3H/4)

0：    1    0    1    1    1    1    1

2：    1    1    1    0    1    1    0

3：    1    1    1    0    0    1    1

4：    0    1    0    1    0    1    1

5：    1    1    1    1    0    0    1

6：    1    1    1    1    1    0    1

7：    1    0    0    0    0    1    1

8：    1    1    1    1    1    1    1

9：    1    1    1    1    0    1    1。

3.如权利要求1所述的基于BP神经网络的数显仪表动态显示字符识别方法，其特征在于：所述的步骤(2)包括：

(2.1)、粗定位过程：得到二值化图像后，将像素按行和列累加并将结果存在行数组和列数组中，然后对行数组进行上下包夹，得到行目标矩形；然后对列数组进行左右包夹，得到列目标矩形；原始图像粗定位结果为：行目标矩形、列目标矩阵；

(2.2)、精确定位过程：将象素行累加，计算出目标数目n，并将坐标存入坐标数组：

(2.2.1)判断n是否为0，如果是，转到步骤(2.2.3)，如果否，判断每个横向目标区域是否存在其他数字目标，假如有，设为m_i，m_i表示第i个横向区域内的数字目标数，将坐标存在坐标数组；

(2.2.2)、计算总数目N＝m₁+m₂+...+m_i+...+m_n，得到目标数组，分割为相应矩形区域分别为表头的坐标；

(2.2.3)、输入为表头区域图像，使用双线性插值法放大图像。

4.如权利要求3所述的基于BP神经网络的数显仪表动态显示字符识别方法，其特征在于：所述的步骤(2)还包括：

(2.3)如果表头字符为红色，使用RED分量图进行颜色选取，如果表头字符为蓝色，使用BLUE分量进行颜色选取。

5.如权利要求1所述的基于BP神经网络的数显仪表动态显示字符识别方法，其特征在于：所述的步骤(2)中，从RGB向量空间到YUV向量空间的转换参见公式(1)：

Y＝(R+16)*0.257+(G+128)*0.504+(B+128)*0.098

U＝(R+16)*(-0.148)+(G+128)*(-0.291)+(B+128)*0.439

V＝(R+16)*0.439+(G+128)*-0.368+(B+128)*-0.071    (1)；

其中V分量(val V)代表色调，用阈值VAL将图像二值化，即：

pic_V＝“1”when val_V＞VAL

else pic_V“0”，

其中pic_V是得到的二值化结果图像；V分量的最大值和最小值分别是Vmax和Vmin，阈值VAL＝(Vmax+Vmin)/2，得到二值化图像。

Images