CN103164692B - 一种基于计算机视觉的特种车辆仪表自动识别系统及方法 - Google Patents

Abstract

本发明属于仪表识别、计算机视觉、软件工程、视频图像处理，能通过摄像机获取的视频图像，可以自动识别特种车辆仪表。一种基于计算机视觉的特种车辆仪表自动识别系统，其特征在于：所述系统包括仪表视频图像采集系统、数据处理系统及仪表自动识别和检测系统；所述仪表视频图像采集系统包括一CCD数字摄像机，并通过总线从摄像机里实时获取特种车辆仪表动态的视频图像，并将视频图像传输给数据处理系统；所述数据处理系统负责视频数据的保存和筛选，识别结果的保存和管理数据相关的任务,并将视频数据传输给仪表自动识别和检测系统；所述识别和检测系统调用特种车辆仪表图像的识别算法，并将识别的结果反馈给数据处理中心。

Description

一种基于计算机视觉的特种车辆仪表自动识别系统及方法

技术领域

本发明属于仪表识别、计算机视觉、软件工程、视频图像处理，能通过摄像机获取的视频图像，可以自动识别特种车辆仪表。

背景技术

指针式仪表结构简单、使用方便，指针式仪表是特种车辆上应用的非常普遍的测量仪表之一。国内对特种车辆指针式仪表的识别与检定主要是采用人工读数的方法，这种判别方法受人的主观因素如人的观测角度、观测距离、人眼疲劳等影响，不稳定、可靠性不高。而且数据处理工作量大，识别效率低。另外也可能因为眼睛跟不上指针转动速度而造成错误。

基于图像识别技术的仪表自动识别系统研究主要集中在工业仪表上。在国外，CorreaAlegria等用基于图像识别的方法，采用中心投影法分析法和Hough变换法计算出指针和刻度的相对位置，进而得出指针读数(F.CorreaAlegria,A.Cruzz.Serra,AutomaticCalibrationofAnalogandDigitalMeasuringInstrumentsUsingComputerVision[J],IEEETransactiononInstrumentationandMeasurement,2000,49(1),pp.94-99.)。在国内，王三武等人研究的水表多刻度盘的图像识别识别系统取得了突出的成效(王三武，戴亚文等,复杂仪表的图像自动读数识别方法,武汉理工大学学报[J]，武汉理工大学学报，2003.12,25(6):76-78)。常发亮等研究了变配电无人值守中表针指示数据自动读取中的应用，主要采取了迭代二值化和Hough变换来求得指针的角度和仪表的读数(常发亮,许有才,乔谊正,无人值守表针实时视觉自动识别与分析方法,电子测量与仪器学报,2006.4,20(2):35-38.)。此外，岳国义(岳国义，李宝树等,智能型指针式仪表识别系统的研究,仪器仪表学报，2003.8,24(4):430-431.)孙琳(孙琳，王永东,指针式仪表自动检定图像识别技术,现代电子技术[J]，2011.Vol.34(8):101-104.)等对工业指针式仪表进行了研究。

过去的研究中很少有对特种车辆仪表进行图像识别的研究。特种车辆仪表有自己独特的特点，比如说指针更宽，仪表的指针没有工业仪表长，仪表表盘大多为黑底，中心点不在表盘中间等，如表1，这些特点给特种车辆仪表的识别带来了很大的困难。本文的研究是在数字图像视频处理和识别技术的基础上，为特种车辆指针式仪表提供一种自动化程度更高、速度更快、更准确可靠的识别与检定方法。本系统对特种车辆仪表视觉信号进行处理，完成仪表图像采集、图像转换、偏差检测、结果显示等操作，实现特种车辆仪表识别与检定过程的自动化。

表1.典型的工业仪表和特种车辆仪表特性对比

	工业仪表	特种车辆仪表
			表盘形状	圆形	圆形
表盘颜色	白底	黑底
			表盘刻度	均匀	不均匀
表盘指针	较细	较宽
			指针长度	较长	较短
指针固定点	圆盘中心	非圆盘中心

发明内容

本发明所要解决的关键问题是：怎样去基于图像和视频处理的指针式仪表自动识别系统。

本发明的技术方案是：

在基于数字图像视频处理和识别技术的基础上，我们为特种车辆指针式仪表的自动识别搭建了一个系统。本系统对特种车辆仪表视觉信号进行处理，完成仪表图像采集、图像转换、偏差检测、结果显示等操作，实现了特种车辆仪表识别与检定过程的自动化。

我们的基于图像和视频处理的指针式仪表自动识别系统由以下三个部分构成：硬件系统、软件平台、识别算法。识别算法主要功能是对特种车辆仪表的视频图像进行分析，并且给出识别结果。硬件系统和软件平台是为了采集特种车辆仪表的图像视频数据。识别算法部分是本发明的核心部分，也是特种车辆仪表和其他工业仪表进行自动化识别和检测的有比较大区别的部分。

从表1可以看出，特种车辆仪表和工业仪表也有很多的不同，这些不同使得特种车辆仪表的识别更加困难一些。如表2，从算法上我们列举了特种车辆仪表和工业仪表的不同之处，并且给出的相应的改进措施。

表2.工业仪表和特种车辆仪表基于图像的识别的算法对比

本发明的技术方案如下：

一种基于计算机视觉的特种车辆仪表自动识别系统，其特征在于：所述系统包括仪表视频图像采集系统、数据处理系统及仪表自动识别和检测系统；所述仪表视频图像采集系统包括一CCD数字摄像机，并通过总线从摄像机里实时获取特种车辆仪表动态的视频图像，并将视频图像传输给数据处理系统；所述数据处理系统负责视频数据的保存和筛选，识别结果的保存和管理数据相关的任务,并将视频数据传输给仪表自动识别和检测系统；所述识别和检测系统调用特种车辆仪表图像的识别算法，并将识别的结果反馈给数据处理中心。

进一步的，所述系统还包括一挡光板，所述挡光板安装在特种车辆仪表的后方，除去复杂背景，使得输入的特种车辆仪表图像更加简单。

一种特种车辆仪表自动识别方法，其特征在于，具体包括如下步骤：

(1)图像预处理：对原始的指针仪表图片做出处理；

(2)仪表圆盘和中心的自动提取：通过算法自动获取仪表的圆盘和中心，从而准确定位出仪表的位置，为后面的进一步的分析所用；

(3)对输入的仪表图像，基于纹理特征，自动识别出仪表类型；

(4)获取指针,主要是获取指针的角度信息；

(5)读数：根据指针的角度信息获取仪表的值；

其中，步骤(1)图像预处理：

包括仪表图像进行大小归一化、通过中值滤波去随即噪声、通过灰度增强仪表图像的对比度，通过二值化处理实现仪表图像中背景和对象的分割，通过反色获取指针和刻度；本系统采用自适应中值滤波，并且采用带修正的自适应邻域平均法消除图像干扰和噪音；采用灰度拉升对特种车辆仪表图像进行灰度增强处理；

步骤(2)仪表圆盘和中心的自动提取：

用Hough变换来检测仪表圆盘的边界；Hough变换检测圆盘式仪表的边缘，其基本思想是将仪表图像空间的点映射到参数空间去，然后在参数空间进行统计计算，根据计算的结果判断圆的半径和圆心所在位置的可能性；对于二值仪表图像中的某一点(x,y),如果它是在圆心为(m,n)半径为r的圆上，则其对应的参数空间满足

其中θ∈[0,2π]；用Hough变换的圆检测方法，仪表的圆盘边缘和中心点被完全的找到；

步骤(3)对仪表类型的自动识别：

对输入的仪表图像，找出仪表表盘的边缘后，基于颜色特征和纹理特征来识别仪表类型；首先，针对每种类型的特种车辆仪表，采集一批有代表性的特种车辆仪表图像，每副图像当作一个训练样本，针对每个训练样本，根据图像预处理对图像质量归一化，然后提取出仪表图像的圆盘，根据圆盘半径将仪表图像进行大小归一化，归一化后分别对特种车辆仪表图像提取颜色特征和Gabor纹理特征；最后针对所有的训练样本，分别以颜色特征和Gabor纹理特征为向量为每种类型建立模型；每种类型的仪表建立好模型后，对于采集的实时图像，同样经过图像预处理进行图像质量归一化，提取仪表圆盘进行仪表大小归一化，归一化后分别提取颜色特征和Gabor纹理特征，对这两种特征与各个类型的仪表模板分别进行模式匹配，然后得到仪表分类结果，最后将两种的识别结果综合得到仪表类型；

步骤(4)对指针角度信息的获取：

将工业仪表指针的提取的三种主要方法：Hough变换的方法，灰度图像的极坐标中心投影的方法,基于指针边缘点拟合的最小二乘法进行综合提取特种车辆仪表指针；

步骤(5)基于仪表刻度的自动读数：

设指针指针的角度为α，其两个相邻刻度的角度为β₁和β₂,这两个相邻刻度的值为v₁和v₂,那么最后的读数v为：

进一步的，所述步骤(2)中，在Hough变换中，可能会检测出很多虚假的圆，有两种做法可以提高特种车辆仪表圆盘检测的精确度：(1)由于很多特种车辆仪表图像边缘非常的厚，因此可以用较平滑的方法使得仪表图像更加模糊，仪表圆盘的提取会因为图像模糊化而更加准确，而在后面的处理中，将模糊化的图像进行恢复后再提取指针；(2)针对特种车辆仪表圆盘的半径、圆盘的中心进行规则约束，对于在中心、半径比较大的圆给予较高的评价分数。

对比现有技术，本发明具有如下优点：

(1)本发明能快速的自动识别特种车辆仪表。

(2)本发明能应用于不同类型的特种车辆仪表。

(3)本发明能针对刻度不均匀的特种车辆仪表进行自动识别。

(4)本发明能针对指针固定点不在仪表圆盘中心的特种车辆仪表进行自动识别。

附图说明

图1：系统的硬件图。

图2：整个特种车辆仪表自动识别和检测系统组成图。

图3：系统的软件平台。

图4：特种车辆仪表自动识别流程图。

具体实施方式

仪表的自动识别的硬件系统实施

仪表的自动识别的硬件系统实施如图1所示，包括：特种车辆仪表、CCD数字摄像机、标准输入源(输入电压、电流或者温度信号)、挡光板、计算机、数据总线、机械架子等部分。标准输入源驱动仪表，CCD数字摄像机实时的获取特种车辆仪表的动态视频图像，并将其数字图像输入到计算机里去。计算机里驱动算法分析部分进行仪表识别。挡光板主要用来除去复杂背景，使得输入的特种车辆仪表图像更加简单。在硬件系统搭建好后，使用时需要调节硬件。在调节硬件的时候，要判定仪表图像的质量，包括图像亮度是否合适，仪表的图片信息是否完整，从而判断仪表和摄像头的位置是否上下左右摆放正确。必要的时候通过算法部分的图像预处理信息，将摄影仪器的位置摆正，并需要对摄像头的焦距进行调整，如果有可能还要利用合适的光源。

仪表的自动识别的软件平台的实施

特种车辆仪表识别与检测系统的实施的软件平台界面如图2所示。软件平台系统包括了三个部分：(1)仪表视频图像采集系统；(2)数据处理系统；(3)仪表自动识别和检测系统。其中图像采集系统通过总线，从摄像机里获取特种车辆仪表动态的视频图像，并将视频图像传输给数据处理系统；数据处理系统负责视频数据的保存和筛选，识别结果的保存和管理等数据相关的任务,并将视频数据传输给仪表自动识别和检测系统；识别和检测系统调用特种车辆仪表图像的识别算法，也就是我们整个系统的核心算法部分，并将识别的结果反馈给数据处理中心。整个软件平台采用VC++.net设计和编写，这是因为VC++语言与硬件接口程序以及在图像处理方面，都有很大的语言和速度优势，因此能保证整个系统稳定可靠，并且自动识别快速与准确。

特种车辆仪表自动识别算法的实施

特种车辆仪表自动识别算法的实施如下：将特种车辆仪表识别分解成以下几个步骤：

●图像预处理：对原始的指针仪表图片做出处理。

●仪表圆盘和中心的自动提取：通过算法自动获取仪表的圆盘和中心，从而准确定位出仪表的位置，为后面的进一步的分析所用。

●对输入的仪表图像，基于纹理特征，自动识别出仪表类型。

●获取指针,主要是获取指针的角度信息。

●读数：根据指针的角度信息获取仪表的值。

1)对于图像预处理的实施

一般来说，图像采集所获取的图像与希望获取的图像还存在一定的偏差，需要用某些方法对图像质量加以增强，此类改善图像质量的技术就是图像预处理。仪表图像预处理是将采集得到的仪表图像中关于指针式仪表的特征意识地突出，比如说加强仪表刻度、指针、仪表圆盘区域与背景区域的对比度，除去仪表图像上的噪声点等不需要的特征。仪表图像预处理的主要目的是提高仪表图像的可读性和便于计算机对仪表图像进行指针、刻度和仪表圆盘的识别和理解。

仪表图像的预处理包括仪表图像进行大小归一化、通过中值滤波去随即噪声、通过灰度增强仪表图像的对比度，通过二值化处理实现仪表图像中背景和对象的分割，通过反色获取指针和刻度等。本系统采用自适应中值滤波。并且采用带修正的自适应邻域平均法消除图像干扰和噪音。由于特种车辆仪表和工业仪表不同，大部分是黑色底的，因此还要进行反色变换。灰度增加有灰度拉升和灰度均衡等算法。通过对比，我们可以看出，灰度均衡法使得特种车辆仪表的刻度和指针信息与背景信息更加模糊。而灰度拉升不仅使得灰度信息得到了增强，并且使得特种车辆仪表的刻度和指针信息与背景信息之间的特性信息更加清晰。因此我们采用灰度拉升对特种车辆仪表图像进行灰度增强处理。

2)对仪表圆盘和中心的自动提取的实施

针对工业仪表和特种车辆仪表，我们都用Hough变换来检测仪表圆盘的边界。Hough变换受噪声的影响比较小，可以做直线、圆、椭圆等形状的边缘检测。Hough变换是利用图像全局特性将边缘像素链接起来组成区域封闭边界的好方法，利用Hough变换可以方便的得到边界曲线，可将不连续的边缘像素链接起来。Hough变换检测圆盘式仪表的边缘，其基本思想是将仪表图像空间的点映射到参数空间去，然后在参数空间进行统计计算，根据计算的结果判断圆的半径和圆心所在位置的可能性。对于二值仪表图像中的某一点(x,y),如果它是在圆心为(m,n)半径为r的圆上，则其对应的参数空间满足

其中θ∈[0,2π]。用Hough变换的圆检测方法，仪表的圆盘边缘和中心点被完全的找到。

在Hough变换中，可能会检测出很多虚假的圆，有两种做法可以提高特种车辆仪表圆盘检测的精确度：(1)由于很多特种车辆仪表图像边缘非常的厚，因此可以用较平滑的方法使得仪表图像更加模糊，仪表圆盘的提取会因为图像模糊化而更加准确，而在后面的处理中，将模糊化的图像进行恢复后再提取指针；(2)针对特种车辆仪表圆盘的半径、圆盘的中心进行规则约束，对于在中心、半径比较大的圆给予较高的评价分数。

3)仪表类型的自动识别

对输入的仪表图像，找出仪表表盘的边缘后，我们基于颜色特征和纹理特征来识别仪表类型。首先，针对每种类型的特种车辆仪表，采集一批有代表性的特种车辆仪表图像，每副图像当作一个训练样本，针对每个训练样本，根据图像预处理对图像质量归一化，然后提取出仪表图像的圆盘，根据圆盘半径将仪表图像进行大小归一化，归一化后分别对特种车辆仪表图像提取颜色特征和Gabor纹理特征。最后针对所有的训练样本，分别以颜色特征和Gabor纹理特征为向量为每种类型建立模型。每种类型的仪表建立好模型后，对于采集的实时图像，同样经过图像预处理进行图像质量归一化，提取仪表圆盘进行仪表大小归一化，归一化后分别提取颜色特征和Gabor纹理特征，对这两种特征与各个类型的仪表模板分别进行模式匹配，然后得到仪表分类结果，最后将两种的识别结果综合得到仪表类型。

4)对指针提取的实施

工业仪表指针的提取的方法主要有：Hough变换的方法，灰度图像的极坐标中心投影的方法,基于指针边缘点拟合的最小二乘法。从表一可以看出特种车辆仪表的指针比工业仪表的指针更短、更宽，特种车辆指针固定点可能不在圆盘中心。指针更短更宽意味着Hough变换提取指针直线会有误差。特种车辆指针的固定点不在圆盘中心意味着用灰度图像的极坐标中心投影法会带来错误。指针更短意味着指针边缘点的最小二乘法拟合会精度不够。为了更准确的提取特种车辆的仪表指针，我们提出了基于检测和验证的综合算法使用来精确提取特种车辆仪表的指针，将这三种方法进行综合提取特种车辆仪表指针。

5)基于仪表刻度的自动读数的实施

通过我们对这种类型的仪表进行建模，并且对每个刻度的值都找到相应的角度。设指针指针的角度为α，其两个相邻刻度的角度为β₁和β₂,这两个相邻刻度的值为v₁和v₂,那么最后的读数v为：

Claims (4)

1.一种特种车辆仪表自动识别方法，其特征在于，具体包括如下步骤：

(1)图像预处理：对原始的指针仪表图片做出处理；

(2)仪表圆盘和中心的自动提取：通过算法自动获取仪表的圆盘和中心，从而准确定位出仪表的位置，为后面的进一步的分析所用；

(3)对输入的仪表图像，基于纹理特征，自动识别出仪表类型；

(4)获取指针,获取指针的角度信息；

(5)读数：根据指针的角度信息获取仪表的值；

其中，步骤(1)图像预处理：

包括仪表图像进行大小归一化、通过中值滤波去随即噪声、通过灰度增强仪表图像的对比度，通过二值化处理实现仪表图像中背景和对象的分割，通过反色获取指针和刻度；本方法采用自适应中值滤波，并且采用带修正的自适应邻域平均法消除图像干扰和噪音；采用灰度拉升对特种车辆仪表图像进行灰度增强处理；

步骤(2)仪表圆盘和中心的自动提取：

用Hough变换来检测仪表圆盘的边界；Hough变换检测圆盘式仪表的边缘，将仪表图像空间的点映射到参数空间去，然后在参数空间进行统计计算，根据计算的结果判断圆的半径和圆心所在位置的可能性；对于二值仪表图像中的某一点(x,y),如果它是在圆心为(m,n)半径为r的圆上，则其对应的参数空间满足

$\{\begin{array}{c}m=x-r\·\cos \left(\mathrm{\θ}\right)\\ n=y-r\·\sin \left(\mathrm{\θ}\right)\end{array}---\left(1\right)$

其中θ∈[0,2π]；用Hough变换的圆检测方法，仪表的圆盘边缘和中心点被完全的找到；

步骤(3)对仪表类型的自动识别：

对输入的仪表图像，找出仪表表盘的边缘后，基于颜色特征和纹理特征来识别仪表类型；首先，针对每种类型的特种车辆仪表，采集一批有代表性的特种车辆仪表图像，每副图像当作一个训练样本，针对每个训练样本，根据图像预处理对图像质量归一化，然后提取出仪表图像的圆盘，根据圆盘半径将仪表图像进行大小归一化，归一化后分别对特种车辆仪表图像提取颜色特征和Gabor纹理特征；最后针对所有的训练样本，分别以颜色特征和Gabor纹理特征为向量为每种类型建立模型；每种类型的仪表建立好模型后，对于采集的实时图像，同样经过图像预处理进行图像质量归一化，提取仪表圆盘进行仪表大小归一化，归一化后分别提取颜色特征和Gabor纹理特征，对这两种特征与各个类型的仪表模板分别进行模式匹配，然后得到仪表分类结果，最后将两种的识别结果综合得到仪表类型；

步骤(4)对指针角度信息的获取：

将工业仪表指针的提取的三种主要方法：Hough变换的方法，灰度图像的极坐标中心投影的方法,基于指针边缘点拟合的最小二乘法进行综合提取特种车辆仪表指针；

步骤(5)基于仪表刻度的自动读数：

设指针的角度为α，其两个相邻刻度的角度为β₁和β₂,这两个相邻刻度的值为v₁和v₂,那么最后的读数v为：

$v=v_1+\frac{(\mathrm{\α}-{\mathrm{\β}}_1)}{({\mathrm{\β}}_2-{\mathrm{\β}}_1)}\·(v_2-v_1)---\left(2\right).$

2.根据权利要求1所述的方法，其特征在于：所述步骤(2)中，在Hough变换中，会检测出很多虚假的圆，采用两种做法提高特种车辆仪表圆盘检测的精确度：(1)由于很多特种车辆仪表图像边缘非常的厚，因此可以用较平滑的方法使得仪表图像更加模糊，仪表圆盘的提取会因为图像模糊化而更加准确，而在后面的处理中，将模糊化的图像进行恢复后再提取指针；(2)针对特种车辆仪表圆盘的半径、圆盘的中心进行规则约束，对于在中心、半径比较大的圆给予较高的评价分数。

3.一种基于计算机视觉的特种车辆仪表自动识别系统，所述系统应用于上述权利要求1-2之一所述的方法，其特征在于：所述系统包括仪表视频图像采集系统、数据处理系统及仪表自动识别和检测系统；所述仪表视频图像采集系统包括一CCD数字摄像机，并通过总线从摄像机里实时获取特种车辆仪表动态的视频图像，并将视频图像传输给数据处理系统；所述数据处理系统负责视频数据的保存和筛选，识别结果的保存和管理数据相关的任务,并将视频数据传输给仪表自动识别和检测系统；所述识别和检测系统调用特种车辆仪表图像的识别方法，并将识别的结果反馈给数据处理中心。

4.根据权利要求3所述的系统，其特征在于：所述系统还包括一挡光板，所述挡光板安装在特种车辆仪表的后方，除去复杂背景，使得输入的特种车辆仪表图像更加简单。