CN103984930A - 基于视觉的数字仪表识别系统及其识别方法 - Google Patents

Abstract

本发明公开了一种基于视觉的数字仪表识别系统及其识别方法，包括数字仪表、用于采集数字仪表的表盘图像的摄像机和用于图像数字识别的PC机，摄像机通过USB接口或图像采集卡与PC机相连。摄像机采集数字仪表图像上传至PC机，PC机负责对源图像依次进行图像预处理、图像字符分割、字符倾斜校正操作，最后采用BP神经网络模板进行字符识别。本发明中字符识别根据七段数码管的结构特征进行七处特征扫描，能够用较小的计算量来达到很高的识别率；对字符图像进行了字符倾斜校正，利于识别部分特征提取与模板匹配，提高了字符识别的准确率；采用了具有在线训练功能的基于BP神经网络的识别方法，增强了识别算法的稳定行和提高了鲁棒性。

Description

基于视觉的数字仪表识别系统及其识别方法

技术领域

本发明涉及一种基于视觉的数字仪表识别系统其识别方法，属于图像识别技术领域。

背景技术

图像处理的用处很多，除了对视觉效果的增强，更多的时候还是用于图像识别。随着科技的数字化，智能化的发展，图像识别被越来越多的运用到工业、军事、日常生活之中。图像处理作为一门新兴的学科，发展十分迅速。

在工业生产，日常生活中，数字仪表以其精度高，便于读写等优势，被广泛运用于各个领域之中。对于仪表数据，目前主要有以下两种处理方式：

(1)传统的人工手动记录。对于很多老式仪表或者缺少数据输出接口的仪表，需要花费大量人工对其数据进行记录，然后再逐处理。在条件恶劣、人员稀少或者数据量大的工作环境中，其准确率和工作效率很难得到保证。

(2)先进的数字接口输出。随着科技的发展，有的仪表不光有数字显示，同时还有数据接口，当仪器工作是产生的大量数据可以通过数据接口经行传输，但是这无疑增加了仪表的成本，同时对于不同的仪器设备的数字接口，数据处理终端需要对应的接口驱动、工作软件来维持数据的正常接收，不同型号的仪器之间很难互相通信。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于视觉的数字仪表识别系统，具有数字识别准确率高、识别算法简单、的特点。

为解决上述技术问题，本发明所采用的技术方案是：基于视觉的数字仪表识别系统，包括数字仪表、用于采集数字仪表的表盘图像的摄像机和用于图像数字识别的PC机，所述摄像机与PC机相连。

所述PC机上连接有辅助光源。辅助光源可以有效降低外界光照变化带来的影响。

所述辅助光源为白炽灯。白炽灯的光照颜色区分度较小，保证源图像采集质量。

所述摄像机通过USB2.0接口或者图像采集卡与PC机相连。

所述摄像机为CCD摄像机。CCD摄像机本身的惰性很小，其动态分辨率高于摄像管，对于程序优化方面要求相对高分辨率的摄像机较低，可快速加载图像处理算法。

所述数字仪表的仪表显示采用七段数码管。数码管具有颜色，亮度明显、字符显示清晰、字符特征点比较统一的特点，在识别程序的设计上可以提供很大方便。

与现有技术相比，本发明提供的基于视觉的数字仪表识别系统所产生的有益效果是：实现数字仪表的数据自动识别、记录，取代人工手动记录，即便在现场环境相对恶劣的情况下，仍能准确、及时的将数据信息传输至PC机，当有大量数据采集时，可显著提高数字仪表记录工作的工作效率；通过摄像机进行图像采集，摄像机通过USB接口或者图像采集卡与PC机相连，解决了数字接口匹配的技术问题。

本发明的另一目的在于提供一种基于视觉的数字仪表识别方法，包括如下步骤：

步骤一：图像采集：摄像机捕捉数字仪表表盘的图像，并将所述图像作为源图像上传至PC机；

步骤二：图像预处理：(1)PC机提取源图像中的亮度和颜色特征信息，分别设定亮度阈值和颜色阈值，将源图像二值化得到初步数字区域图像，白色像素作为前景信息，黑色像素作为背景；(2)通过形态学操作去除噪点；(3)对二值化处理后的初步数字区域图像作行列投影，由投影直方图寻找精确的数字区域坐标，并分割出总体数字区域图像；

步骤三：图像字符分割：通过行列投影和直方图找出每个数字和小数点精确位置，去除总体数字区域图像中大面积的黑色背景以及个别残留的干扰点，寻找字符边界特征找出边界坐标，把总体数字区域图像划分为单一的多个字符图像；

步骤四：字符倾斜校正：分析各行白点像素的累加值，记录最大的5个值并求平均，得到字符理论宽度W，字符整体的列投影宽度L，字符高度H，倾斜角∠β＝arctan{(L-W)/H}，字符图像每行的偏移量B＝h×tanβ，h表示当前行到字符图像第一行的字符顶部的距离；

步骤五：字符识别：对字符图像设置七处特征扫描区域，对七段发光二极管的每一段进行区域扫描，统计区域内白色像素个数，以此为依据设定阈值使得PC机能够通过此七处特征分辨出所有数字，通过图像尺寸大小来分辨出小数点。

所述形态学操作包括如下步骤：

1)利用腐蚀运算去除噪点；

2)利用膨胀运算增强数字图像。

所述PC机采用BP神经网络模型进行字符识别。

与现有技术相比，本发明所提供的基于视觉的数字仪表识别方法所达到的有益效果是：字符识别根据七段数码管的结构特征进行七处特征扫描，能够用较小的计算量来达到很高的识别率；对字符图像进行了字符倾斜校正，利于识别部分特征提取与模板匹配，提高了字符识别的准确率；采用了具有在线训练功能的基于BP神经网络的识别方法，增强了识别算法的稳定行和提高了鲁棒性。

附图说明

图1是基于视觉的数字仪表识别系统的结构示意图。

图2是字符倾斜校正原理图。

图中：1、数字仪表；2、摄像机；3、PC机；4、辅助光源。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，基于视觉的数字仪表1识别系统，包括数字仪表1、用于采集数字仪表1的表盘图像的摄像机2和用于图像数字识别的PC机3。摄像机2选用CCD摄像机2，通过USB2.0接口或者图像采集卡与PC机3相连。辅助光源4选用光照颜色区分度较小的白炽灯，辅助光源4连接在PC机3上，为防止仪表反光影响图像处理，辅助光源4要避免直接照射至仪表表面。数字仪表1的仪表显示采用七段数码管，数码管具有颜色，亮度明显、字符显示清晰、字符特征点比较统一的特点，在识别程序的设计上可以提供很大方便。PC机3设置有人机交互界面，内部设有数字识别系统，为提高数字系别系统的适应性，在程序中不但设置有摄像头识别功能，对于AVI视频文件也可以良好识别，可以通过选取视频切换功能，把加载到程序中的摄像头画面转化为AVI视频信息，具体识别程序依旧不变。

基于视觉的数字仪表1识别方法，包括如下步骤：

步骤一：图像采集：摄像机2捕捉数字仪表1表盘的图像，并将图像作为源图像上传至PC机3。源图像中包含背景图像和数字区域图像。

步骤二：图像预处理：

(1)PC机3提取源图像中的亮度和颜色特征信息，分别设定亮度阈值和颜色阈值，将源图像二值化得到初步数字区域图像，白色像素作为前景信息，黑色像素作为背景。由于源图像数字区域部分相对于背景颜色、亮度信息十分明显，可以利用这一特征来完成背景的去除。为了能够更好的描述其颜色特征，我们把图像转化为RGB三通道数字图像来处理：

RGB模型中，每个像素都由红(R)，绿(G)，蓝(B)三个颜色分量构成，每个分量从0到255变换，表示该分量的颜色深度。对各像素颜色分量的不同，快速提取出有用区域。具体分为以下两步：

a.基于亮度特征

令F(x,y)＝R+B+G，F(x,y)的大小决定了该点像素的亮度，数字仪表1是有发光二极管构成，亮度比干扰区域高出很多，设置亮度阈值C，有如下判公式：

$\left\{\begin{array}{cc}F(x,y)>C& F(x,y)=F(x,y)\\ F(x,y)<C& F(x,y)=0\end{array}\right.$

b.基于颜色特征

由于数字仪表1上颜分明，可以利用仪表颜色来进行过滤，以红色仪表为例， $\left\{\begin{array}{cc}R(x,y)>C& F(x,y)=F(x,y)\\ R(x,y)<C& F(x,y)=0\end{array}\right.$

根据不同颜色的数码管需编写不同的色彩提取程序，当图像内容比较单一时可以通过颜色提取来节省程序的计算量，而且利用颜色、亮度的信息特征可以很快的去除绝大部分背景。

(2)通过形态学操作去除噪点；二值化得到初步数字区域图像中仍有不少噪点存在，还达不到做字符图像分割的目的，需要通过图像的形态学操作进一步对感兴趣的部分加强同时对噪点去除。本形态学操作步骤包括：首先利用腐蚀运算去除噪点，然后在利用膨胀预算增强数字图像。

(3)对二值化处理后的初步数字区域图像作行列投影，由投影直方图寻找精确的数字区域坐标，并分割出总体数字区域图像。

当源图像过于复杂、信息量较大时，系统很难通过图像预处理找到数字区域，这时可通过PC机3的人机交互界面来提供手动选取数字区域进行识别。

步骤三：图像字符分割：通过行列投影和直方图找出每个数字和小数点精确位置，去除总体数字区域图像中大面积的黑色背景以及个别残留的干扰点，寻找字符边界特征找出边界坐标，把总体数字区域图像划分为单一的多个字符图像；

通过图像预处理可以得到十分清晰的纯数字图像，考虑到不同环境中预处理部分会出现较大差异，直接进行数字切分，系统会把干扰误认为是字符，增加出错率。通常数字部分排列工整，而干扰点出现位置相对孤立，在水平和竖直投影上有很大区别，这是把数字区域从少部分干扰中提取出来的关键。

图像二值化后保存为f(x,y)像素矩阵，f(x,y)中的灰度值只存在0(白)和255(黑)两种像素。令长宽为VideoW，高为VideoH，行列累加算法实现的程序如下：

步骤四：字符倾斜校正：分析各行白点像素的累加值，记录最大的5个值并求平均，得到字符理论宽度W，字符整体的列投影宽度L，字符高度H，倾斜角∠β＝arctan{(L-W)/H}，字符图像每行的偏移量B＝h×tanβ，其中h表示当前行到字符图像第一行的字符顶部的距离。七段数码管显示的仪表为了字体的美观，大多都有不同程度上的倾斜，不同仪表的倾斜情况各不相同，在很大程度上影响了识别部分特征提取与模板匹配，经多次实验证实，没有角度倾斜的仪表识别率明显高于有角度的仪表，所以为了提高识别率，在识别之前需要计算出倾斜角β并予以校正。如图2所示，左侧为含有单个字符图像的数字区域，h为字符图像的高度；右侧为分割出的单个字符图像，分析各行白像素累加值，记录最大的5个值并求平均，得到字符理论宽度W，字符整体的列投影宽度L，字符高度记为H,倾斜角∠β＝arctan(L-W)/H，字符图像每行的偏移量B＝h×tanβ。

步骤五：字符识别：对字符图像设置七处特征扫描区域，对七段发光二极管的每一段进行区域扫描，统计区域内白色像素个数，以此为依据设定阈值使得PC机3能够通过此七处特征分辨出所有数字，通过图像尺寸大小来分辨出小数点。鉴于待识别的字符特征明显，细节较少，为了降低程序的计算量，本发明采用基于结构特征的区域扫描，寻找不同字符的特点。每一个数字字符都是通过七个LED组合显示，对每一数码管标记位置，做适当的区域扫描，统计各区域内白点个数，满足一定阈值条件，判断为有效。依次可以判断七位不同数码管的亮暗情况，最后根据不同的组合，PC机3采用BP神经网络模型进行匹配，完成字符识别。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.基于视觉的数字仪表识别系统，其特征在于，包括数字仪表、用于采集数字仪表的表盘图像的摄像机和用于图像数字识别的PC机，所述摄像机与PC机相连。

2.根据权利要求1所述的基于视觉的数字仪表识别系统，其特征在于，所述PC机上连接有辅助光源。

3.根据权利要求2所述的基于视觉的数字仪表识别系统，其特征在于，所述辅助光源为白炽灯。

4.根据权利要求1所述的基于视觉的数字仪表识别系统，其特征在于，所述摄像机通过USB接口或者图像采集卡与PC机相连。

5.根据权利要求1所述的基于视觉的数字仪表识别系统，其特征在于，所述摄像机为CCD摄像机。

6.根据权利要求1所述的基于视觉的数字仪表识别系统，其特征在于，所述数字仪表的仪表显示采用七段数码管。

7.基于视觉的数字仪表识别方法，其特征在于，包括如下步骤：

步骤一：图像采集：摄像机捕捉数字仪表表盘的图像，并将所述图像作为源图像上传至PC机；

步骤二：图像预处理：（1）PC机提取源图像中的亮度和颜色特征信息，分别设定亮度阈值和颜色阈值，将源图像二值化得到初步数字区域图像，白色像素作为前景信息，黑色像素作为背景；（2）通过形态学操作去除噪点；（3）对二值化处理后的初步数字区域图像作行列投影，由投影直方图寻找精确的数字区域坐标，并分割出总体数字区域图像； 

步骤三：图像字符分割：通过行列投影和直方图找出每个数字和小数点精确位置，去除总体数字区域图像中大面积的黑色背景以及个别残留的干扰点，寻找字符边界特征找出边界坐标，把总体数字区域图像划分为单一的多个字符图像；

步骤四：字符倾斜校正：分析各行白点像素的累加值，记录最大的5个值并求平均，得到字符理论宽度W，字符整体的列投影宽度L，字符高度H，倾斜角∠β=arctan {(L-W)/H}，字符图像每行的偏移量B= h×tanβ，其中h表示当前行到字符图像第一行的字符顶部的距离；

步骤五：字符识别：对字符图像设置七处特征扫描区域，对七段发光二极管的每一段进行区域扫描，统计区域内白色像素个数，以此为依据设定阈值使得PC机能够通过此七处特征分辨出所有数字，通过图像尺寸大小来分辨出小数点。

8.根据权利要求7所述的基于视觉的数字仪表识别方法，其特征在于，所述形态学操作包括如下步骤：

1）利用腐蚀运算去除噪点；

2)利用膨胀运算增强数字图像。

9.根据权利要求7所述的基于视觉的数字仪表识别方法，其特征在于，所述PC机采用BP神经网络模型进行字符识别。