CN102043945A - 基于车辆实时跟踪和二进指数分类车牌字符识别的方法 - Google Patents

Abstract

本发明涉及一种基于车辆实时跟踪和二进指数分类车牌字符识别的方法，包括对车辆的实时动态连续多点跟踪和基于LS-SVM和二进指数分类的车牌字符识别步骤。其在车牌字符的分割、提取阶段利用车牌字符的空间分布信息，提出一种综合采用灰度梯度、形状体态、视觉模型等的车牌提取新方案，既提高了车牌提取的鲁棒性和准确性，又保证了实时性。

Description

基于车辆实时跟踪和二进指数分类车牌字符识别的方法

技术领域

本发明属于智能交通系统的一个重要应用领域-车辆实时连续跟踪和车牌字符识别技术领域，尤其是涉及一种实时连续多点跟踪方法和基于LS-SVM和二进指数多类别分类的车牌字符识别方法。

背景技术

随着计算机技术和数字图像处理技术的发展，计算机视觉智能技术的应用领域已迅速拓宽。运动目标识别、动态跟踪已成为计算机视觉领域一个非常活跃的课题，在交通监控、军事自动导航、生物组织、运动分析等领域有很高的实用价值，运动目标的自动跟踪控制系统的实现目的在于以摄像头采集目标的视频图像序列，并通过计算机实时地分析目标的运动，得到目标的运动参数，以此作为主要依据控制摄像头始终指向目标，使得目标始终位于屏幕中央附近。

运动目标的实时跟踪目前国内外大多仅限于单机模式，本发明提出了一种实时运动目标识别与动态连续多点跟踪的设计方案，该方案首先在某监测点发现欲寻找的运动目标，分割出目标所在区域位置，并在此区域内采用最优阈值分割方法分割出目标，识别出运动目标的特征，进行实时连续跟踪；当运动目标移动并离开此监测点的视野时，系统将锁定的运动目标特征值传输到下一个监测点，此监测点根据传输过来的运动目标的特征，迅速找到目标，并继续进行监测和跟踪；依次重复上述过程，将锁定的目标连续不断的跟踪下去。

车牌字符识别技术是智能交通系统的一个重要应用领域，它的准确性和实时性直接关系到该技术是否能够得到实际应用。车牌字符识别的前提是在复杂背景下车牌局域、字符的提取问题，背景包括车牌周围的车身以及车辆四周的场景。目前，国内外对此进行了一些研究，除了数字图像处理的灰度阈值化、边缘提取和区域生长三种基本的图像分割方法外，在车牌图像分割中常用的方法还有基于扫描行高频分析的方法、类字符分析方法和基于颜色的车牌提取方法。通过分析和实验证实，以上方法都普遍存在适应性较差和实时性不足的问题，单纯地采用灰度、类字符或彩色分析的方法进行车牌字符的提取有较大的局限性，各种方法之间需要取长补短，综合优化。另外，这些车牌提取方法通常将车牌提取、字符分割和识别作为不同的处理阶段截然分开，不能充分地综合利用字符是车牌的组成部分和车牌的制作标准等知识。

传统的字符识别方法，如模板匹配、BP神经网络等，在进行车牌字符识别时其识别率很大程度上依赖于训练样本的数量，且在无字符特征提取的情况下，识别的正确率相对较低。由Vapnik等人提出的支持矢量机(Support Vector Machines，SVM)是一类新型机器学习方法，能够较好的解决小样本、非线性及高维等模式识别问题。利用SVM方法进行车牌字符的识别，在训练样本相对较少且无字符特征提取的情况下，仍可得到较高的识别率。

支持向量机方法是针对二类别的分类提出的，如何将二类别分类方法扩展到多类别分类是支持向量机研究的重要内容之一，假定多类别分类问题有k个类别S＝{1，2，...，k}，训练样本为{(x_i，y_i)，i＝1，2，…，n}，其中y_i∈S，目前SVM常用的分类方法主要有以下4种：(1)逐一鉴别方法；(2)一一区分法；(3)M-ary分类方法；(4)一次性求解方法。方法(1)逐一鉴别方法(one-against-the-rest method)是构造k个SVM子分类器。在构造第i(i为k中的某一个)个SVM子分类器时，将属于第i类别的样本数据标记为正类，不属于i类别的样本数据标记为负类。测试时，对测试数据分别计算各个子分类器的判别函数值，并选取判别函数值最大所对应的类别为测试数据的类别；方法(2)一一区分法(one against one method)是分别选取2个不同类别构成一个SVM子分类器，这样共有k(k-1)/2个SVM子分类器，在构造类别i和类别j的SVM子分类器时，样本数据集选取属于类别i、类别j的样本数据作为训练样本数据，并将属于类别i的数据标记为正，将属于类别j的数据标记为负。测试时，将测试数据对k(k-1)/2个SVM子分类器分别进行测试，并累计各类别的得分，选择得分最高者所对应的类别为测试数据的类别，一一区分法存在不可区分区域；方法(3)Mary分类方法充分运用了SVM的二类别分类特点将多类别分类的各个类别重新组合，构成log₂ ^k个SVM子分类器；方法(4)一次性求解方法的基本思想类似于逐一鉴别法需要构造k个二类别SVM分类器，但不同的是一次性求解方法是由1个优化问题同时求解k个SVM分类器。

通过分析上述四种分类方法，都存在着使用过多SVM分类器、训练时间过长的问题，经过仔细研究，对多类问题(特别是几十或上百个类别)提出一种新的多类别分类方法——二进指数分类法，可以有效地解决多类别分类问题，而所用的SVM分类器最少。

BP神经网络是一种前馈反向传播网络(Back-Propagation Network简称BP网络)，优点是结构简单，易于实现且计算速度快，但由于BP网络是一种依赖于经验的启发式技术，存在自身的限制与不足，如需要较长的训练时间、会收敛于局部极小值等，使得BP算法在实际应用中遇到了一些困难。

申请号200810062050.7(公开号CN 101408933A)的中国专利文献公开了一种基于粗网格特征提取和BP神经网络的车牌字符识别方法，包括以下步骤：1)、对车牌图像进行预处理，消除各种干扰，得到最小车牌区域；2)、结合竖直投影和滴水算法进行车牌字符分割；3)、对分割结果进行筛选，去除垂直边框、分隔符、铆钉等的干扰；4)、根据质心位置进行字符归一化；5)、将归化后的字符点阵的每个像素点作为一个网格，提取字符的原始特征；6)、结合车牌实际，设计具有一级分类器的BP神经网络；7)，合理构造训练样本库，对神经网络进行训练，按照识别效果调整训练样本，实现网络准确识别。但其缺点是BP神经网络容易收敛于局部极小值或无法收敛，识别正确率低。

申请号200910059360.8(公开号CN 101604381A)的中国专利文献公开了一种基于多分类支持向量机的车牌字符识别方法，包括多分类支持向量机的训练过程和使用多分类支持向最机进行车牌识别的过程，其区别对待车牌各位置的字符，将车牌字符一值化图像特征向量分成四个集合，分别构造四个多分类支持向量机以计算四个集合的支持向量集，并在车牌识别过程中采用不同的支持向量集对待识别车牌的字符进行逐一识别。申请号200810070060.5(公开号CN 101329734A)的中国专利文献公开了一种基于K-L变换和LS-SVM相结合的车牌字符识别方法，首先采用K-L变换的方法对车牌的字符图像进行特征降维；然后，根据车牌字符图像的排列特征，采用聚类分析中的类距离方法，设计四组最佳二叉树的LS-SVM子分类器来分别实现车牌字符中的英文字母、数字、汉字和英文字母+数字的识别。申请号200910027035.3(公开号CN 101567042A)的中国专利文献公开了一种武警汽车号牌图像的字符识别方法，该方法先将武警汽车号牌彩色图像转化为灰度图像，再进行二值化和字符切分，将粘连在一起的武警车牌警种标志WJ重构为字符WJ，将车牌图像上尺寸特别小的辖区编码00-34重构成新字符00-34；最后将二值化图在水平、垂直和空间俯视方向上进行三维投影，由此计算形成字符特征值，与标准字库中的字符特征值进行快速匹配，从而准确识别出模糊不清的字符。但上述文献公开的技术中的多类别分类方法，存在着分类器使用过多的情况，必然造成识别时间长的问题。

发明内容

针对现有技术的不足，本发明的目的是提供一种实时动态连续多点跟踪方法和基于LS-SVM和二进指数多类别分类的车牌字符识别方法。

本发明的技术方案是：基于车辆实时跟踪和二进指数分类车牌字符识别的方法，包括对车辆的实时动态连续多点跟踪和基于LS-SVM和二进指数分类的车牌字符识别步骤。具体是包括运动车辆的检测、车辆边界区域的定位、车辆的特征提取、车牌区域的定位、车牌字符的分割和基于二进指数分类法的车牌字符识别步骤。

对车辆的实时动态连续多点跟踪的设计方案：首先在某监测点发现欲寻找的运动目标——车辆，分割出目标所在区域位置，并在此区域内采用最优阈值分割方法分割出目标，识别出运动目标的特征，进行实时连续跟踪；当运动目标移动并离开此监测点的视野时，系统将锁定的运动目标特征值传输到下一个监测点，此监测点根据传输过来的运动目标的特征，迅速找到目标，并继续进行监测和跟踪；依次重复上述过程，将锁定的目标连续不断的跟踪下去，实现实时多运动目标的识别与跟踪。

具体包括如下步骤：

1.运动车辆的检测

把摄像机架设到车辆通道的上方，可以俯视整个车长、车宽、车辆颜色、车牌字符等信息，车辆的运动检测是在视频图像序列分析的基础上将运动车辆检测分离出来，目前利用视频序列图像检测和分割车辆方法主要有背景减法和帧差法。本发明采用的帧差法是将相邻的两帧图像相减，得到运动目标的差值图像，适合于动态变化的环境，能够完整地分割运动对象，有利于进一步的对象分析与识别。

图像经过帧差法处理后，目标区域的像素较少，可能会造成最后获得的车辆图像不全，残缺部分较多。采用双帧差“或”运算法，即采集连续三帧图像，先将它们两两相差和二值化处理，然后再将它们帧差后的二值化图像进行“或”运算，这样目标区域的像素就会比较多，运动车辆的目标区域就容易获得。

2.运动车辆的边界定位

运动车辆边界定位的主要方法是对所提取的二值化图像分别进行水平、垂直投影，在水平投影方向上利用搜索算法找到车体的上下边界，在垂直投影方向上利用搜索算法找到车体的左右边界。左右和上下边界定位的图像用矩形框标记出来，再与原图像相“与”操作，得到标记上、下、左、右边界的车辆图像。

3.车辆类型的特征提取

在车辆类型的模式识别中，可利用运动物体的几何属性——形状和结构、颜色作为特征，来描述不同目标之间的区别。把车辆颜色R、G、B值、车辆长度、车辆宽度、宽长比数据作为特征向量，为了消除在拍摄图像时，镜头与车辆间的距离、角度等变化造成的同一车辆在两次拍摄图像时，上述各参数的绝对值大小不同现象，再加上7个Hu不变矩参数作为特征向量，共计13个特征向量，这些特征向量向交通指挥中心或下一个监测点传送。

4.在网络环境下实时传送运动车辆目标的特征向量到下一个监测点，根据传输过来的运动车辆目标的特征向量作为支持向量机(SVM)模式识别的输入向量，从众多的运动车辆中快速辨认出待跟踪的车辆目标。

5.如在高速公路上，依次重复上述过程，将锁定的运动车辆目标连续不断的跟踪下去，实现实时运动车辆的识别与连续跟踪。

基于LS-SVM和二进指数分类的车牌字符识别方法的技术方案：包括车牌区域的定位、车牌字符的分割和基于二进指数分类法的车牌字符识别步骤。

前述的车牌字符识别方法，优选的方案是，所述车牌区域的定位：根据HSI图像和RGB颜色对应关系，将RGB彩色图像转换成HSI图像；对获得的I亮度分量使用水平边缘检测模板进行梯度运算，将大面积的背景干扰消除掉，用阈值T对I分量图像进行二值化处理得到二值图像；对图像进行中值滤波；对图像使用水平结构元素进行膨胀、腐蚀运算；采用像素点统计的方法分割出合理的车牌区域，再利用车牌的基本特征，确定车牌字符所在水平区域；在水平提取出的车牌区域内，进行二值化和数学形态学的膨胀运算，统计列方向像素点的数量，根据车牌区域的宽度，最终确定出车牌区域的左右边界，提取出完整的车牌区域。具体包括如下步骤：

(1)彩色图像到HSI图像变换：通过彩色摄像机抓拍到的车辆图像为24位RGB真彩色图像，根据HSI值和RGB颜色对应关系：I＝(R+G+B)/3，将RGB彩色图像转换成亮度图像；

(2)提取车辆的水平边缘图像：对I分量图像使用水平边缘检测模板[-1 0 1]进行梯度运算，将大面积的背景干扰消除掉，对于车牌区域由于有边缘的变化，牌照字符得到加强，更加突出了车牌区域；

(3)二值化：用阈值T对灰度图像进行二值化处理得到二值图像；

(4)利用中值滤波消除孤立噪点：考虑到文字是有许多短竖线组成，而背景噪声有一大部分是孤立的噪声，用2×2模板对图像进行中值滤波，得到去除了大部分干扰的图像；

(5)数学形态学运算：使用水平结构元素[1 1 1 1 1]进行膨胀运算，水平相邻近的区域已经聚集成为连通的区域，但是车牌区域与周围的车体也相连通，再运用该结构元素进行腐蚀运算；

(6)车牌字符水平位置的确定：采用像素点统计的方法分割出合理的车牌区域，再利用车牌的基本特征，最后确定车牌所在区域；

(7)牌照字符垂直位置的确定：在水平提取出的车牌区域内，首先进行二值化和数学形态学的膨胀运算，然后统计列方向像素点的数量，再根据车牌区域的宽度，最终确定出车牌区域的左右边界，提取出完整的车牌区域；

(8)灰度变换：进行灰度拉伸变换，再进行二值化处理。

前述的车牌字符识别方法，优选的方案是，在步骤(6)车牌字符水平位置的确定中所述车牌的基本特征为体态比、密集度、外接矩形面积与区域的面积比以及重心在区域中的位置。

前述的车牌字符识别方法，优选的方案是，所述车牌字符的分割：对获得的车牌二值图像进行水平积分投影分析，铆钉对应于水平投影图内的二个波谷，对投影量按比例设定阈值，去除上下四个铆钉及边框线外的小区域；对去除铆钉及边框线的车牌图像进行垂直方向的积分投影分析，得到点阵投影图，用垂直扫描线法分离出每个车牌字符；字符分割处理后得到的单个数字、字母和汉字图像，进行归一化处理。具体包括如下步骤：

(1)车牌边框线和铆钉去除：对车牌二值图像进行水平积分投影分析，铆钉对应于水平投影图内的二个波谷，对投影量按比例设定阀值，去除上下四个铆钉及边框线外的小区域；

(2)字符的分割：对去除铆钉及边框线的车牌图像进行垂直方向的积分投影分析，得到点阵图投影图；

(3)字符的归一化：字符分割处理后得到的单个数字、字母和汉字图像，进行归一化处理，将字符归一化成32×16像素大小；

(4)K_L变换：将归一化后高维车牌字符变换为低维数据，作为LS-SVM神经网络判别函数的输入向量。

前述的车牌字符识别方法，优选的方案是，步骤(2)字符的分割具体过程为：

①取投影像素阈值对投影图进行扫描，找出那些区域是字符区域，确定字符区域的左右边界；

②分析过大的区域，看其是否由两个字符组成，如是则将其分成两块区域；

③分析过小的区域，看其是否可以跟左右区域合并或舍去。

前述的车牌字符识别方法，优选的方案是，所述基于二进指数分类法的车牌字符识别：根据车牌字符是有数字、英文字母和省、市的简称等组成，大概总共有80多个字符需要分类，取指数k＝7，2⁷＞80，即用7个SVM分类器就可以将这80多个字符分开，进行字符识别时将输入字符送到每一个分类器，然后检查所有的分类器输出，最后根据7个判别函数f(x)的输出和分类方法，确定该字符属于哪一类字符；

在计算机中，字符或图像用位图形式加以描述，黑色像素用0表示，白色像素点用1表示，每个车牌字符用一个32×16的矩阵来表示，此矩阵经过K_L变换后的数据即为SVM神经网络的输入向量，神经网络的输出向量即识别结果有0～9十个数字、26个英文字母、32省市的简称以及其它一些特殊字符，可以用一个7位的二进制向量表示，最多可表示128种不同类型，如数字1、2、字母A、B和鲁、苏的输出模式向量分别定义为：

target_1＝[0 0 0 0 0 0 1]，target_2＝[0 0 0 0 0 1 0]

target_A＝[0 0 0 1 0 1 0]，target_B＝[0 0 0 1 0 1 1]

target_鲁＝[0 1 0 0 1 0 0]，target_苏＝[0 1 0 0 1 0 1]

……

其它字符依此类推，所有字符的输入和输出向量即构成了LS-SVM神经网络的训练样本集和测试样本集输入输出向量，实验共采集了字符样本16套，每套样本均有70个不同的字符，从字符样本中选取6套作为训练样本对SVM神经网络进行训练，余下的10套作为测试样本，进行识别。

由于支持向量机(SVM)分类方法是针对二类别分类提出的，如何将二类别分类方法扩展到多类别分类是支持向量机研究的重要内容之一，本发明提出一种新的多类别分类方法——二进指数分类法，可以有效地解决多类别分类问题，和其他分类方法相比所用的SVM分类器最少，识别率较高。二进指数分类法的基本原理是：假如有M种类别，用k位二进制数表示，即2^k≥M，那么用k个SVM分类器就可以将M类分开。每一个SVM分类器的类别划分，可以根据二进制位的值来分，即如二进制的值为1，则将此类划为+1类，为0则划为-1类，依此类推。

与现有技术相比较，本发明的技术优势还体现在：

1、与目前常用的几种多类别分类方法相比分别为：(1)逐一鉴别方法，假设需要分成k＝82种类型，则需要构造82个SVM子分类器；(2)一一区分法，需要k(k-1)/2＝3403个SVM子分类器；(3)一次性求解方法，需要构造k＝82个SVM子分类器。从以上分析可以看出，上述方法存在着使用过多SVM分类器、训练时间过长的问题，而本发明提出一种新的多类别分类方法——二进指数分类法，只需7个SVM子分类器就可以有效地解决多类别分类问题，而所用的SVM分类器最少。

2、本发明与基于BP神经网络字符识别方法的比较，实验结果表明，SVM识别算法比BP识别算法所用训练时间少，只有3秒多，而BP识别算法训练时间近30秒，有时还会遇到BP网络训练不收敛的情况。SVM识别的消耗时间稍长，识别单个车牌字符需要0.27秒的时间，但识别正确率比BP神经网络高出10个百分点，SVM算法最终转化为凸二次优化问题，得到的解是全局最优解。BP网络识别方案得到的解由于可能存在局部最优解，因此SVM识别方案解决了BP网络方法中无法避免的局部极值问题，在识别率上优于BP网络识别方案。

附图说明

图1运动车辆检测、跟踪和车牌字符识别流程图。

图2运动车辆的检测流程图。其中：(a)原始图像A，(b)原始图像B，(c)B-A的二值化图像，(d)原始图像B，(e)原始图像C，(f)C-B的二值化图像，(g)“或”操作后的图像，(h)形态学后的图像，(i)运动目标区域。

图3运动车辆的边界定位流程图。

图4车牌区域的定位流程图。

图5车牌字符区域提取流程图。

图6车牌字符的分割、归一化流程图。

具体实施方式

下面结合实施例和附图详细说明本发明的技术方案，但保护范围不被此限制。

实施例 本发明的技术方案是提供一种实时动态连续多点跟踪方法和基于LS-SVM和二进指数多类别分类的车牌字符识别方法，其具体流程如图1所示。

实时动态连续多点跟踪方法：首先在某监测点发现欲寻找的运动目标——车辆，分割出目标所在区域位置，并在此区域内采用最优阈值分割方法分割出目标，识别出运动目标的特征，进行实时连续跟踪；当运动目标移动并离开此监测点的视野时，系统将锁定的运动目标特征值传输到下一个监测点，此监测点根据传输过来的运动目标的特征，迅速找到目标，并继续进行监测和跟踪；依次重复上述过程，将锁定的目标连续不断的跟踪下去，实现实时多运动目标的识别与跟踪。其具体过程如图1-3所示，包括如下步骤：

1.运动车辆的检测

把摄像机架设到车辆通道的上方，可以俯视整个车长、车宽、车辆颜色、车牌字符等信息，车辆的运动检测是在视频图像序列分析的基础上将运动车辆检测分离出来，目前利用视频序列图像检测和分割车辆方法主要有背景减法和帧差法。

本发明采用双帧差法检测运动目标：

令f_k-1(x，y)、f_k(x，y)和f_k+1(x，y)为连续输入的三帧图像，则连续两帧之间像素的差值为：

            D_k，k-1(x，y)＝|f_k(x，y)-f_k-1(x，y)|  (1a)

            D_k+1，k(x，y)＝|f_k+1(x，y)-f_k(x，y)|  (1b)

将两个连续的差值图像进行“或”运算操作

            D(x，y)＝D_k+1，k(x，y)|D_k，k-1(x，y)  (1c)

再与原始图像进行“与”运算操作，可得运动目标图像f_k(x，y)：

$f_k(x,y)=D(x,y)^f_k(x,y)=\left\{\begin{array}{cc}{f}_k(x,y)& D(x,y)=1\\ 0& D(x,y)=0\end{array}\right.---\left(2\right)$

D(x，y)＝1表示检测到了运动的点，由此可以得到运动目标图像，D(x，y)＝0表示背景。

利用双帧差“或”运算检测运动目标的过程如图2所示：

(1)应用视频序列图像来跟踪运动目标并提取出连续的三帧图像A、B和C，如图2(a)、(b)和(e)所示；

(2)对两两帧图像分别进行差分运算，剔除运动图像与背景图像中共同的部分，得到两幅包含运动目标在内的二值图像，如图2(c)和图2(f)所示；

(3)对获得两幅二值图像进行“或”运算操作，以加强运动目标的图像，如图2(g)所示；

(4)对图2(g)图像进行数学形态学膨胀运算和腐蚀运算，再进行边缘检测，得到运动目标的位置区域图像，如图2(h)所示；

(5)位置区域图像标识1的部分为运动目标区域，标识0的部分为背景区域，这幅二值图像与原始图像进行“与”操作，最终得到一幅完整的运动目标图像，如图2(i)所示，这幅图像有利于特征向量的提取。

2.运动车辆的边界定位

运动车辆边界定位的主要方法是对所提取的二值化图像分别进行水平、垂直投影，在水平投影方向上利用搜索算法找到车体的上下边界，在垂直投影方向上利用搜索算法找到车体的左右边界。左右和上下边界定位的图像用矩形框标记出来，再与原图像相“与”操作，得到标记上、下、左、右边界的车辆图像。

(1)利用垂直投影进行车体的左右边界定位

垂直边缘投影图的纵坐标为边缘图像一列上所有像素点的个数之和，横坐标为列号，它反映了边缘图像在水平方向上边缘的变化情况，如图3(a)所示。设动态矩形框RECT，像素值为1的点为E(x，y)，则垂直边缘投影函数定义为：

$P_V(x,y)=\underset{\mathrm{RECT}\→\mathrm{top}}{\overset{\mathrm{RECT}\→\mathrm{buttom}}{\mathrm{\Σ}}}E(x,y)---\left(3\right)$

$\left\{\begin{array}{ccc}{x}_{\mathrm{left}}=\mathrm{Left\; boundary}& \mathrm{if}& P_v(x,y)\≥\mathrm{Threshold}\\ x_{\mathrm{right}}=\mathrm{Right\; boundary}& \mathrm{if}& P_v(x,y)\≥\mathrm{Threshold}\end{array}\right.---\left(4\right)$

根据公式(4)，可以大致找到车体的左右边界。为了较准确地定位车体左右边界，在边缘的垂直投影图中，首先找到投影图的两个有一定间距最大波峰处，同时再找该波峰处的下降沿处，对于左边界则找向左的下降沿处，对于右边界则找向右的下降沿处，则由此可以确定车体的左右边界。

(2)利用水平投影进行车体的上下边界定位

对于车体的上下边界定位方法与左右边界定位方法大致相似。在检测出车体的左右边界内，计算其连续的边缘水平投影图。水平边缘投影图的纵坐标为边缘图像一行上所有像素点的个数之和，横坐标为行号，如图3(b)所示。其水平边缘投影函数定义为：

$P_H(x,y)=\underset{\mathrm{RECT}\→\mathrm{left}}{\overset{\mathrm{RECT}\→\mathrm{right}}{\mathrm{\Σ}}}E(x,y)---\left(5\right)$

确定车体的上下边界比左右边界算法要简单。利用公式(6)，从水平投影图的两端开始搜索，遇到第一个大于阈值的点将分别确定为车体的上下边界。

$\left\{\begin{array}{ccc}{y}_{\mathrm{top}}=\mathrm{Top\; boundary}& \mathrm{if}& P_H\≥\mathrm{threshold}\\ y_{\mathrm{Bottom}}=\mathrm{Bottom\; boundary}& \mathrm{if}& P_H\≥\mathrm{threshold}\end{array}\right.---\left(6\right)$

图2(i)为利用边缘垂直投影图和水平投影图进行的车体左右和上下边界定位图像。红色矩形框为动态定位的检测框，红色直线是车体的左右和上下定位边界线。

3.车辆类型的特征提取

在车辆类型的模式识别中，可利用运动物体的几何属性——形状和结构、颜色作为特征，来描述不同目标之间的区别。把车辆颜色R、G、B值、车辆长度、车辆宽度、宽长比数据作为特征向量，为了消除在拍摄图像时，镜头与车辆间的距离、角度的微小变化造成同一车辆在两次拍摄图像时，上述各参数的绝对值大小不同现象，再加上7个Hu不变矩参数作为特征向量，共计13个特征向量。

4.在网络环境下实时传送运动车辆目标的特征向量到下一个监测点，根据传输过来的运动车辆目标的特征向量作为支持向量机(SVM)模式识别的输入向量，从众多的运动车辆中快速辨认出待跟踪的车辆目标。

5.如在高速公路上，依次重复上述过程，将锁定的运动车辆目标连续不断的跟踪下去，实现实时运动车辆的识别与连续跟踪。

基于LS-SVM和二进指数分类的车牌字符识别方法：车牌字符识别分为三个部分，车牌定位、字符分割和字符识别，其具体过程如图1、图4-6所示，包括如下步骤：

1.车牌区域的定位

根据灰度值和RGB颜色对应关系，将RGB彩色图像转换成HSI图像；对获得的I亮度分量图像使用水平边缘检测模板进行梯度运算，将大面积的背景干扰消除掉，用阈值T对I分量图像进行二值化处理得到二值图像；对图像进行中值滤波；对图像使用水平结构元素进行膨胀运算、腐蚀运算；采用像素点统计的方法分割出合理的车牌区域，再利用车牌的基本特征，确定车牌字符所在水平区域；在水平提取出的车牌区域内，进行二值化和数学形态学的膨胀运算，统计列方向像素点的数量，根据车牌区域的宽度，最终确定出车牌区域的左右边界，提取出完整的车牌区域。具体步骤是：

(1)彩色图像到灰度图像变换：通过彩色摄像机抓拍到的车辆图像为24位RGB真彩色图像，根据HSI值和RGB颜色对应关系：I＝(R+G+B)/3，将RGB彩色图像转换成亮度图像；如图4(a)所示；

(2)提取车辆的水平边缘图像：对I分量图像使用水平边缘检测模板[-1 0 1]进行梯度运算，将大面积的背景干扰消除掉，对于车牌区域由于有边缘的变化，牌照字符得到加强，如图4(b)所示，更加突出了车牌区域；

(3)二值化：用阈值T对灰度图像进行二值化处理得到二值图像，如图4(c)所示；

(4)利用中值滤波消除孤立噪点：考虑到文字是有许多短竖线组成，而背景噪声有一大部分是孤立的噪声，用2×2模板对图像进行中值滤波，得到去除了大部分干扰的图像，如图4(d)所示；

(5)数学形态学运算：对图4(d)使用水平结构元素[1 1 1 1 1]进行膨胀运算，得到图4(e)所示图像。由图4(e)可见，水平相邻近的区域已经聚集成为连通的区域，但是车牌区域与周围的车体也相连通，因此再对图4(e)运用该结构元素进行腐蚀运算，得到图4(f)；

(6)车牌字符水平位置的确定：采用像素点统计的方法分割出合理的车牌区域。在图4(f)上统计行方向的像素点的数量如图5(a)所示。从图上可以看出，有两个位置(有时可能更多)像素点数比较多，它们所对应的图像分别为图5(b)和图5(c)；

利用车牌的一些基本特征：体态比(长/宽)，密集度(面积/周长平方)，以及外接矩形面积与区域的面积比，重心在区域中的位置，最后确定图5(c)为车牌所在区域。

(7)牌照字符垂直位置的确定：在水平提取出的车牌区域内，首先进行二值化和数学形态学的膨胀运算，如图5(d)和图5(e)所示。然后统计列方向像素点的数量如图5(f)，再根据车牌区域的宽度，最终确定出车牌区域的左右边界，提取出完整的车牌区域，如图5(g)；

(8)灰度变换：对图5(g)进行灰度拉伸变换，得到图5(h)，再进行二值化处理，得到如图5(i)所示图像。

2.车牌字符的分割

对获得的车牌二值图像进行水平积分投影分析，铆钉对应于水平投影图内的二个波谷，对投影量按比例设定阈值，去除上下四个铆钉及边框线外的小区域；对去除铆钉及边框线的车牌图像进行垂直方向的积分投影分析，得到点阵投影图，用垂直扫描线法分离出每个车牌字符；字符分割处理后得到的单个数字、字母和汉字图像，进行归一化处理。具体步骤是：

(1)车牌边框线和铆钉去除：对车牌二值图像进行水平积分投影分析，如图6(a)所示，铆钉对应于水平投影图内的二个波谷，对投影量按比例设定阈值，可去除上下四个铆钉及边框线外的小区域；

(2)字符的分割：对去除铆钉及边框线的车牌图像进行垂直方向的积分投影分析，得到如图6(b)所示的点阵图投影图。具体字符分割过程为：

①取投影像素阈值对投影图进行扫描，找出哪些区域是字符区域，确定字符区域的左右边界；

②分析过大的区域，看其是否由两个字符组成，如是则将其分成两块区域；

③分析过小的区域，看其是否可以跟左右区域合并或舍去(如边缘的噪声点)。

用垂直扫描线法即可分离出各个车牌字符，如图6(c)所示。

(3)字符的归一化：字符分割处理后得到的单个数字、字母和汉字图像，还必需进行归一化处理，以消除因拍照位置的不同带来的字符大小上的变化，方便下一步字符的模式识别，本文将字符归一化成32×16像素大小。如图6(d)所示归一化后的单个字符。

(4)K_L变换：归一化后的字符图像是32×16的二值图像，可把它看作是32×16的矩阵，为方便起见将其转化成一个512×1的向量，这个向量经过K_L变换，输出的数据作为LS-SVM神经网络判别函数的输入向量，实现了高维车牌字符数据变换为低维数据。

3.基于二进指数分类法的车牌字符识别

二进指数分类法的基本原理是：假如有M种类别，用k位二进制数表示，即2^k≥M，那么用k个SVM分类器就可以将M类分开。每一个SVM分类器的类别划分，可以根据二进制位的值来分，即如二进制的值为1，则将此类划为+1类，为0则划为-1类，依此类推。

根据车牌字符是有数字、英文字母和省、市的简称等组成，大概总共有80多个字符需要分类，取指数k＝7，2⁷＞80，即用7个SVM分类器就可以将这80多个字符分开，进行字符识别时将输入字符送到每一个分类器，然后循环检查所有的分类器输出，最后根据7个判别函数f(x)的输出和分类方法，确定该字符属于哪一类字符。

在计算机中，字符或图像用位图形式加以描述，黑色像素用0表示，白色像素点用1表示，每个车牌字符用一个32×16的矩阵来表示，此矩阵经过K_L变换后的数据即为SVM神经网络的输入向量，神经网络的输出向量即识别结果有0～9十个数字、26个英文字母、32省市的简称以及其它一些特殊字符，可以用一个7位的二进制向量表示，最多可表示128种不同类型，如数字1、2、字母A、B和鲁、苏的输出模式向量分别定义为：

target_1＝[0 0 0 0 0 0 1]，target_2＝[0 0 0 0 0 1 0]

target_A＝[0 0 0 1 0 1 0]，target_B＝[0 0 0 1 0 1 1]

target_鲁＝[0 1 0 0 1 0 0]，target_苏＝[0 1 0 0 1 0 1]

……

其它字符依此类推，所有字符的输入和输出向量即构成了LS-SVM神经网络的训练样本集和测试样本集输入输出向量，实验共采集了字符样本16套，每套样本均有70个不同的字符，从字符样本中选取6套作为训练样本对SVM神经网络进行训练，余下的10套作为测试样本，进行识别。

本发明的车牌字符识别方法是采用上述“二进指数分类算法”，将多类识别问题转化为多个二类识别问题来解决。根据车牌字符是有数字、英文字母和省、市的简称等组成，大概总共有80多个字符需要分类，取指数k＝7，2⁷＝126＞80，即用7个SVM分类器就可以将这80多个字符分开。进行字符识别时将输入字符送到每一个分类器，然后循环检查所有的分类器输出，最后根据7个判别函数f(x)的输出和分类方法，确定该字符属于哪一类字符。例如7个SVM分类器的输出分别为：[-1 -1 -1 +1 -1 +1 -1]，转化为二进制数为[0 00 1 0 1 0]，经判断字符为A。

Claims (10)

1.基于车辆实时跟踪和二进指数分类车牌字符识别的方法，其特征在于，包括对车辆的实时动态连续多点跟踪和基于LS-SVM和二进指数分类的车牌字符识别步骤。

2.权利要求1所述的方法，其特征在于，所述对车辆的实时动态连续多点跟踪：首先在某监测点发现欲寻找的运动目标——车辆，分割出目标所在区域位置，并在此区域内采用最优阈值分割方法分割出目标，识别出运动目标的特征，进行实时连续跟踪；当运动目标移动并离开此监测点的视野时，系统将锁定的运动目标特征值传输到下一个监测点，此监测点根据传输过来的运动目标的特征，迅速找到目标，并继续进行监测和跟踪；依次重复上述过程，将锁定的目标连续不断的跟踪下去，实现实时多运动目标的识别与跟踪。

3.权利要求2所述的方法，其特征在于，具体包括下述步骤：

(1)运动车辆的检测：把摄像机架设到车辆通道的上方，可以俯视整个车长、车宽、车辆颜色、车牌字符等信息；图像经过双帧差“或”运算法，即采集连续三帧图像，先将它们两两相差和二值化处理，然后再将它们帧差后的二值化图像进行“或”运算；

(2)运动车辆的边界定位：对所提取的二值化图像分别进行水平、垂直投影，在水平投影方向上利用搜索算法找到车体的上下边界，在垂直投影方向上利用搜索算法找到车体的左右边界，左右和上下边界定位的图像用矩形框标记出来，再与原图像相“与”操作，得到标记上、下、左、右边界的车辆图像；

(3)车辆类型的特征提取：在车辆类型的模式识别中，利用运动物体的几何属性——形状和结构、颜色作为特征，来描述不同目标之间的区别，把车辆颜色R、G、B值、车辆长度、车辆宽度、宽长比数据作为特征向量，向交通指挥中心或下一个监测点传送。

4.权利要求1所述的方法，其特征在于，所述基于LS-SVM和二进指数分类的车牌字符识别包括车牌区域的定位、车牌字符的分割和基于二进指数分类法的车牌字符识别步骤。

5.权利要求4所述的方法，其特征在于，所述车牌区域的定位：根据HSI图像和RGB颜色对应关系，将RGB彩色图像转换成HSI图像；对获得的I亮度分量使用水平边缘检测模板进行梯度运算，将大面积的背景干扰消除掉，用阈值T对I分量图像进行二值化处理得到二值图像；对图像进行中值滤波；对图像使用水平结构元素进行膨胀、腐蚀运算；采用像素点统计的方法分割出合理的车牌区域，再利用车牌的基本特征，确定车牌字符所在水平区域；在水平提取出的车牌区域内，进行二值化和数学形态学的膨胀运算，统计列方向像素点的数量，根据车牌区域的宽度，最终确定出车牌区域的左右边界，提取出完整的车牌区域。

6.权利要求5所述的方法，其特征在于，具体包括如下步骤：

(1)彩色图像到HSI图像变换：通过彩色摄像机抓拍到的车辆图像为24位RGB真彩色图像，根据HSI值和RGB颜色对应关系：I＝(R+G+B)/3，将RGB彩色图像转换成亮度图像；

(2)提取车辆的水平边缘图像：对I分量图像使用水平边缘检测模板[-1 0 1]进行梯度运算，将大面积的背景干扰消除掉，对于车牌区域由于有边缘的变化，牌照字符得到加强，更加突出了车牌区域；

(3)二值化：用阈值T对灰度图像进行二值化处理得到二值图像；

(4)利用中值滤波消除孤立噪点：考虑到文字是有许多短竖线组成，而背景噪声有一大部分是孤立的噪声，用2×2模板对图像进行中值滤波，得到去除了大部分干扰的图像；

(5)数学形态学运算：使用水平结构元素[1 1 1 1 1]进行膨胀运算，水平相邻近的区域已经聚集成为连通的区域，但是车牌区域与周围的车体也相连通，再运用该结构元素进行腐蚀运算；

(6)车牌字符水平位置的确定：采用像素点统计的方法分割出合理的车牌区域，再利用车牌的基本特征，最后确定车牌所在区域；

(7)牌照字符垂直位置的确定：在水平提取出的车牌区域内，首先进行二值化和数学形态学的膨胀运算，然后统计列方向像素点的数量，再根据车牌区域的宽度，最终确定出车牌区域的左右边界，提取出完整的车牌区域；

(8)灰度变换：进行灰度拉伸变换，再进行二值化处理。

7.权利要求6所述的方法，其特征在于，在步骤(6)车牌字符水平位置的确定中所述车牌的基本特征为体态比、密集度、外接矩形面积与区域的面积比以及重心在区域中的位置。

8.权利要求4所述的方法，其特征在于，所述车牌字符的分割：对获得的车牌二值图像进行水平积分投影分析，铆钉对应于水平投影图内的二个波谷，对投影量按比例设定阈值，去除上下四个铆钉及边框线外的小区域；对去除铆钉及边框线的车牌图像进行垂直方向的积分投影分析，得到点阵投影图，用垂直扫描线法分离出每个车牌字符；字符分割处理后得到的单个数字、字母和汉字图像，进行归一化处理。

9.权利要求8所述的方法，其特征在于，具体包括如下步骤：

(1)车牌边框线和铆钉去除：对车牌二值图像进行水平积分投影分析，铆钉对应于水平投影图内的二个波谷，对投影量按比例设定阀值，去除上下四个铆钉及边框线外的小区域；

(2)字符的分割：对去除铆钉及边框线的车牌图像进行垂直方向的积分投影分析，得到点阵图投影图；

(3)字符的归一化：字符分割处理后得到的单个数字、字母和汉字图像，进行归一化处理，将字符归一化成32×16像素大小；

(4)K_L变换：将归一化后高维车牌字符变换为低维数据，作为LS-SVM神经网络判别函数的输入向量。

10.权利要求4所述的方法，其特征在于，所述基于二进指数分类法的车牌字符识别：根据车牌字符是有数字、英文字母和省、市的简称等组成，大概总共有80多个字符需要分类，取指数k＝7，2⁷＞80，即用7个SVM分类器就可以将这80多个字符分开，进行字符识别时将输入字符送到每一个分类器，然后循环检查所有的分类器输出，最后根据7个判别函数f(x)的输出和分类方法，确定该字符属于哪一类字符；

在计算机中，字符或图像用位图形式加以描述，黑色像素用0表示，白色像素点用1表示，每个车牌字符用一个26×14的矩阵来表示，此矩阵即为神经网络的输入矢量，神经网络的识别结果有0～9十个数字、26个英文字母、32省市的简称以及其它一些字符模式矢量，可以用一个7位的二进制矢量表示，最多可表示128种不同类型，如数字1、2、字母A、B和京、沪的输出模式矢量分别定义为：

target_1＝[0 0 0 0 0 0 1]，target_2＝[0 0 0 0 0 1 0]

target_A＝[0 0 0 1 0 1 0]，target_B＝[0 0 0 1 0 1 1]

target_京＝[0 1 0 0 1 0 0]，target_沪＝[0 1 0 0 1 0 1]

……

其它字符依此类推，所有字符的输入和输出矢量即构成了神经网络的训练样本集和测试样本集输入输出矢量，实验共采集了字符样本16套，每套样本均有70个不同的字符，从字符样本中选取6套作为训练样本对SVM神经网络进行训练，余下的10套作为测试样本，进行识别。

Images