CN102915433A - 基于字符组合的车牌定位和识别方法 - Google Patents

Abstract

本发明公开了一种用于交通视频监控环境中基于字符组合的车牌定位和识别方法，该方法包括以下步骤：对图像进行预处理及二值化；标注连通分量形成备选字符集合；根据标准车牌中字符的排列方式，分析连通分量之间的空间关系；推断车牌的具体位置，同时得到各个字符区域；对字符进行识别。本发明具有精确度高、鲁棒性强、约束条件较少等优点，特别是在完成车牌定位的同时也准确完成了字符区域的分割。由于利用了车牌字符特有的排列方式特征，对外界的复杂环境具有很好的适应性，且不必要求车牌目标在图像中占明显位置和较大的比例，因此本发明非常适合用于城市道路交通视频监控系统中。

Description

基于字符组合的车牌定位和识别方法

技术领域

本发明涉及图像处理、计算机视觉和模式识别等技术领域，尤其是一种应用于交通视频监控系统中的基于字符组合的车牌定位和识别方法。本方法能够对抓拍的视频图像中的车牌目标进行自动的定位以及车牌字符颜色等的识别。

背景技术

在智能交通系统中，视频监控系统可以用来感知交通环境和采集相关的交通信息和数据。随着视频监控技术的发展，越来越多的视频摄像机已经被安装于城市的主要路段和路口处。但随着摄像机数量的急剧增加，传统的人工被动监控已经远远无法满足交通监控任务的需要。因此，实现可以代替人眼的智能自动监控功能，并将其应用于实际交通系统中，成为视频监控和智能交通领域共同研究的目标。

车牌号码信息作为机动车辆所特有的一种身份信息，在交通管理中起着重要的作用。车牌号码自动识别系统可以广泛应用于城市中各道路路口或卡口、高速公路出入口、收费站、停车场等处。而在交通视频监控系统的应用中，摄像机通常架设在道路上较高的位置，拍摄场景和视野较为广阔，因此车牌目标并不十分明显，与停车场处近距离拍摄的车牌图像有较大差别。而且考虑到监控场景中可能存在的复杂背景和多变的天气、光照等外界环境，如何自动地在交通视频监控系统抓拍的图像中准确定位到车牌，并正确识别出车牌号码信息，成为交通工程实践中亟待解决的问题。

经对现有技术文献的检索发现，目前几乎所有的车牌识别方法都把整个车牌识别任务分成三个步骤：(1)车牌定位：在图像中找到车牌的位置；(2)字符分割：在定位出的车牌图像中分割出每个字符的图像；(3)字符识别：使用光学字符识别技术处理字符图像，识别出车牌图像中的车牌号码。在这三个步骤中，车牌定位是其他两者的基础，决定了最终的字符识别准确率，因此是最重要和最为困难的一步，也是车牌识别研究领域的重点问题。目前大部分的车牌定位方法利用车牌区域灰度变化较为频繁的特性，通过计算边缘密度或检测纹理等方法定位车牌位置。如D.Zheng等人于2005年发表在《Pattern Recognition Letters(模式识别通讯)》上的论文“An efficient method of license plate location(一种有效的车牌定位方法)”，就是采用有效边缘点密度统计的方法快速找到图像中的车牌区域；Anagnostopoulos等人于2006年在《IEEE Transaction on IntelligentTransportation Systems(IEEE智能交通汇刊)》上发表的论文“A licenseplate-recognition algorithm for intelligent transportation system applications(智能交通系统应用中的一种车牌识别算法)”，认为车牌是图像纹理中的不规律和突变区域，因此使用中心滑动窗口计算图像中的局部不规律度来定位车牌。但是这些方法如果应用在复杂多变的视频监控场景中，则很有可能会在杂乱的背景中检测出许多误检车牌。

相比车牌定位的任务，字符分割及识别的技术相对成熟和稳定。一般，字符分割常用阈值分割和水平方向投影等多种方法的结合，而字符识别则可以认为是一个典型的模式分类问题。字符识别的一般流程为首先在字符图片上提取某些可以体现不同类别字符之间差别的指标，从而将字符图片用这样的特征向量表示出来；然后利用某种统计分类器，经过训练样本学习后，对测试字符图像的特征向量进行分类，从而识别出其对应的字符。如Y.Wen等人于2011年在《IEEE Transaction on Intelligent TransportationSystems(IEEE智能交通汇刊)》上的论文“An algorithm for license platerecognition applied to intelligent transportation system(一种应用于智能交通系统中的车牌识别算法)”中，使用连通分量提取和水平、垂直方向投影相结合的方法分割车牌中的字符，然后在经过角度和灰度校正后的字符图像上提取与轮廓有关的特征向量，并使用支持向量机分类器来识别字符。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种适用于交通视频监控系统中进行车牌自动定位和识别的方法，该方法可以在实际交通工程应用中实时准确的定位车牌并识别车牌号码，为智能交通系统提供关键的数据信息，也可推广到其他应用场景中，如停车场、小区出入口等处。

为了实现上述目的，本发明在进行车牌定位的过程中使用了一种新的基于字符组合的车牌定位方法，该方法利用了车牌中的字符是按照固定的空间顺序排列的特性。在该方法的实现过程中，首先检测出图像中的连通分量作为车牌字符，然后再根据连通分量的位置关系判断是否有车牌目标的存在。由于利用了图像的高层特征，因此本发明在复杂环境的检测结果较为鲁棒，对外界环境及车牌的约束较少，并且借助连通分量分析的技术在检测车牌的同时还准确分割出了字符图像，这样接下来就可以直接进行字符的识别。

本发明提出的一种基于字符组合的车牌定位和识别方法，其特征在于，该方法包括以下步骤：

步骤S1，对视频序列中的每一帧图像进行预处理；

步骤S2，对于经过预处理后的图像，使用阈值法将该图像转化为二值化图像；

步骤S3，在所述二值化图像中标注出各个连通分量，将满足字符尺寸条件的连通分量认为是可能的车牌字符，并组成备选字符集合Ch＝{C₁，C₂，...，C_i，...，C_N}，其中，C_i为第i个备选字符，i＝1…N，N为备选字符的个数；

步骤S4，在得到的备选字符集合中，依次分析相邻两个连通分量之间的空间关系，并根据所述空间关系将连通分量对分为三类：P₁，P₂，P₃，其中，P₁类表示两个连通分量分别对应车牌中两个相邻的字符，P₂类表示两个连通分量分别对应车牌中相隔一个字符的两个字符，如果这两类的条件都不满足，则这一对连通分量被划分为P₃类；

步骤S5，提取出属于P₁类和P₂类的连通分量对；

步骤S6，根据所述属于P₁类和P₂类的连通分量对，推断车牌和车牌内字符所在的位置；

步骤S7，对车牌内的字符进行识别；

所述步骤S7进一步包括以下步骤：

步骤S71，将所有分割出的字符图像均归一化成相同尺寸的图像；

步骤S72，提取描述字符图像的外观和轮廓形状的特征向量；

步骤S73，根据提取得到的特征向量，对所述字符图像进行分类。

本发明与现有技术相比主要创新点在于车牌定位方法上。这种基于字符组合的车牌检测方法的优点在于利用了车牌目标的本质特性，即车牌字符的固有排列方式，因此对实际监控视频中所出现的光照和天气变化、杂乱背景等干扰同时具有较高的鲁棒性。而且本发明在完成车牌检测的同时，也完成了字符区域的分割，可以直接进行字符的识别操作。由于克服了这些现有技术在实际工程应用方面难以解决的困难，因此真正实现了交通视频监控系统中车牌的实时检测和识别。

本发明针对智能交通系统中利用视频监控系统采集交通信息的需要，利用计算机视觉、图像处理、模式识别的相关技术，根据图像中连通分量的排列特点，实时提取交通监控图像中的车牌位置并识别车牌号码，具有精确度高、鲁棒性强、约束条件较少等优点。特别是在完成车牌定位的同时也准确完成了字符区域的分割。由于利用了车牌字符特有的排列方式特征，对外界的复杂环境具有很好的适应性，且不必要求车牌目标在图像中占明显位置和较大的比例，因此非常适合用于城市道路交通视频监控系统中。本发明使用连通分量分析等图像处理和模式识别技术，实现交通监控图像中车牌目标自动提取和号码识别，最终为智能交通系统中提供一种新的数据采集和环境感知方式。

附图说明

图1是本发明基于字符组合的车牌定位和识别方法流程图。

图2国标GA36-2007中规定的小型车辆车牌的字符排列方式示意图。

图3根据本发明一实施例提取出的备选字符示意图。

图4根据本发明一实施例提取出的连通分量对。

图5根据本发明一实施例的车牌最终定位结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

为了更好地理解本发明提出的方法，选取一张由监控摄像机拍摄的交通场景图片作为测试图片，该图片分辨率为1936*2592，图片中有三辆车的车牌清晰可见，车牌的宽度都大于100像素。

图1是本发明基于字符组合的车牌定位和识别方法流程图，如图1所示，所述基于字符组合的车牌定位和识别方法具体包括以下步骤：

步骤S1，对视频序列中的每一帧图像进行预处理；

在本发明一实施例中，最初需要采用OpenCV(Intel开源计算机视觉库)中的功能函数进行视频读取，把视频监控摄像机抓拍的监控场景图像读入计算机。

所述预处理包括将彩色图像转为灰度图像、去除图像噪声(比如可使用高斯滤波器对图像进行去噪)等。

步骤S2，对于经过预处理后的图像，使用阈值法将该图像转化为二值化图像；

该步骤中使用最大类间方差(OTSU)方法根据图像的灰度值直方图分布自动选取阈值。在本发明一实施例中，所述阈值选为90。

步骤S3，在所述二值化图像中标注出各个连通分量，将满足字符尺寸条件的连通分量认为是可能的车牌字符，并组成备选字符集合Ch＝{C₁，C₂，...，C_i，...，C_N}，其中，C_i为第i个备选字符，i＝1…N，N为备选字符的个数，所述备选字符集合中各个字符按照其中心点在图像上的坐标位置从左向右排列；

在所述二值化图像中标注出各个连通分量进一步为通过寻找二值化图像中符合像素相邻条件的前景像素集合，提取并标注连通分量。所述字符尺寸条件为：宽度小于20像素，高度在15～40像素之间。

从一测试图片中提取出的可能的车牌字符区域如图3中的的矩形包围框所示。

步骤S4，在得到的备选字符集合中，依次分析相邻两个连通分量之间的空间关系，并根据所述空间关系将连通分量对分为三类：P₁，P₂，P₃，其中，P₁类表示两个连通分量分别对应车牌中两个相邻的字符，P₂类表示两个连通分量分别对应车牌中相隔一个字符的两个字符，如果这两类的条件都不满足，则这一对连通分量被划分为P₃类；

该步骤进一步包括：

首先，依次提取某一连通分量C_i和距其最近的右边的连通分量C_j；

然后，根据这两个连通分量的空间关系与实际车牌字符的排列方式(如图2所示)的对比，将每一对连通分量分成以上3类。

所述空间关系包括欧式距离、高度差、两个连通分量中心点连线的倾斜角度等。

步骤S5，提取出属于P₁类和P₂类的连通分量对；

最后，所述备选字符集合中的每一对连通分量都会划分到某一种类别，而本发明只关注属于P₁和P₂类的备选字符，因此，该步骤中将属于P₁类和P₂类的连通分量对提取出来。从图3的备选字符检测结果中选取出的属于P₁和P₂类的连通分量对如图4所示，其中白色点为连通分量的中心点，图4左侧的放大图中，连接一连通分量中心点与其左侧连通分量左上角端点的白色线表示这两个连通分量是相连的一对连通分量。

步骤S6，根据所述属于P₁类和P₂类的连通分量对，推断车牌和车牌内字符所在的位置；

所述步骤S6进一步包括以下步骤：

步骤S61，在标记为P₁或P₂类的连通分量中，按水平方向的坐标大小从左向右寻找一系列相连的连通分量，即如果(C_i，C_j)∈P₁/P₂且(C_j，C_k)∈P₁/P₂，那么可以认为C_i，C_j，C_k相连，其中，P₁/P₂表示P₁或P₂类；

步骤S62，根据找到的一系列按顺序连接的备选字符以及标准车牌字符的排列规律(比如，标准车牌中第2个字符与第3个字符之间的间隔比较大，因此，符合上述排列规律的两个字符就可以认为是第2个字符和第3个字符)，推断并标记出每个连通分量可能对应的车牌字符，结合车牌与字符图像之间的尺寸关系即可定位出车牌信息，比如车牌可能所在的位置、尺寸、倾斜角度等信息；

考虑到所述一系列相连的连通分量中有可能间隔有未检测出的车牌字符，因此，所述步骤S62有可能产生多个备选车牌。

步骤S63，根据检测出的车牌内的连通分量和车牌字符排列顺序，补充车牌中在提取备选字符时遗漏的车牌字符；

检测出车牌后，车牌内的连通分量就可以认为是分割出的字符区域，而在备选字符提取时遗漏的车牌字符也可以根据检测出的车牌位置和理论上该字符在车牌中的相对位置推断出来。因此在完成车牌定位任务的同时，也实现了字符区域的分割。对于测试图像中车牌精确定位的结果如图5所示。

步骤S7，对车牌内的字符进行识别。

所述步骤S7进一步包括以下步骤：

步骤S71，将所有分割出的字符图像均归一化成相同尺寸的图像；

本发明的一实施例中，将所述字符区域归一化为20*40。

步骤S72，提取描述字符图像的外观和轮廓形状的特征向量；

本发明的一实施例中，选取HOG(Histogram of Oriented Gradients，梯度方向直方图)特征来描述字符图像的外观和轮廓形状。

对于归一化后的字符图像(20*40)，选取HOG计算单元格(cell)大小为5*10像素，2*2的单元格组成一个块(block)，令梯度方向直方图为9维，那么一个字符图像可以由((20-5)/5)*((40-10)/10)*2*2*9＝324维的特征向量来表示。

步骤S73，根据提取得到的特征向量，对所述字符图像进行分类；

所述步骤S73进一步包括以下步骤：

步骤S731，选取一部分已知类别的字符图片作为训练样本，计算每个类别样本的特征向量中心点，即所有类别样本的特征向量均值：{μ₁，μ₂，...，μ_C}，其中，μ_i为第i类样本的特征向量均值，C为类别数。

步骤S732，对于一个新的待分类字符图像，分别计算其HOG特征向量μ与每个类别样本的特征向量均值μ_i之间的距离，距离最近的特征向量均值所属的类别即为该字符图像所属的类别，从而得到对于该字符图像的识别结果，用公式可表示为：

$c=\underset{i=\mathrm{1,2},..,C}{\arg \min }\left|\right|{\mathrm{\μ}}_i-\mathrm{\μ}\left|\right|.$

其中，c为该字符图像所属的类别。

所述类别包括组成车牌的所有符号，比如字母和数字。

所述步骤S7进一步包括：将上式中的特征向量距离值||μ_c-μ||作为单个字符识别的可信度指标，将车牌中所有字符识别可信度的平均值认为是整个车牌的识别可信度，如果在步骤S6中在同一位置推断出存在多个备选车牌，则利用所述车牌的识别可信度对推断出的多个备选车牌进行精确识别，即只保留车牌识别可信度最大的车牌。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种基于字符组合的车牌定位和识别方法，其特征在于，该方法包括以下步骤：

步骤S1，对视频序列中的每一帧图像进行预处理；

步骤S2，对于经过预处理后的图像，使用阈值法将该图像转化为二值化图像；

步骤S3，在所述二值化图像中标注出各个连通分量，将满足字符尺寸条件的连通分量认为是可能的车牌字符，并组成备选字符集合Ch＝{C₁，C₂，...，C_i，...，C_N}，其中，C_i为第i个备选字符，i＝1…N，N为备选字符的个数；

步骤S4，在得到的备选字符集合中，依次分析相邻两个连通分量之间的空间关系，并根据所述空间关系将连通分量对分为三类：P₁，P₂，P₃，其中，P₁类表示两个连通分量分别对应车牌中两个相邻的字符，P₂类表示两个连通分量分别对应车牌中相隔一个字符的两个字符，如果这两类的条件都不满足，则这一对连通分量被划分为P₃类；

步骤S5，提取出属于P₁类和P₂类的连通分量对；

步骤S6，根据所述属于P₁类和P₂类的连通分量对，推断车牌和车牌内字符所在的位置；

步骤S7，对车牌内的字符进行识别；

所述步骤S7进一步包括以下步骤：

步骤S71，将所有分割出的字符图像均归一化成相同尺寸的图像；

步骤S72，提取描述字符图像的外观和轮廓形状的特征向量；

步骤S73，根据提取得到的特征向量，对所述字符图像进行分类。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1中的预处理包括将彩色图像转为灰度图像和去除图像噪声。

3.根据权利要求1所述的方法，其特征在于，所述步骤S2中，使用最大类间方差方法根据图像的灰度值直方图分布自动选取阈值。

4.根据权利要求1所述的方法，其特征在于，所述备选字符集合中各个字符按照其中心点在图像上的坐标位置从左向右排列。

5.根据权利要求1所述的方法，其特征在于，所述步骤S3中，在所述二值化图像中标注出各个连通分量进一步为通过寻找二值化图像中符合像素相邻条件的前景像素集合，提取并标注连通分量。

6.根据权利要求1所述的方法，其特征在于，所述步骤S3中，所述字符尺寸条件为：宽度小于20像素，高度在15～40像素之间。

7.根据权利要求1所述的方法，其特征在于，所述步骤S4进一步包括：

首先，依次提取某一连通分量C_i和距其最近的右边的连通分量C_j；

然后，根据这两个连通分量的空间关系与实际车牌字符的排列方式的对比，将每一对连通分量分成以上三类。

8.根据权利要求7所述的方法，其特征在于，所述空间关系包括欧式距离、高度差、两个连通分量中心点连线的倾斜角度。

9.根据权利要求1所述的方法，其特征在于，所述步骤S6进一步包括以下步骤：

步骤S61，在标记为P₁或P₂类的连通分量中，按水平方向的坐标大小从左向右寻找一系列相连的连通分量，即如果(C_i，C_j)∈P₁/P₂且(C_j，C_k)∈P₁/P₂，那么可以认为C_i，C_j，C_k相连，其中，P₁/P₂表示P₁或P₂类；

步骤S62，根据找到的一系列按顺序连接的备选字符以及标准车牌字符的排列规律，推断并标记出每个连通分量可能对应的车牌字符，结合车牌与字符图像之间的尺寸关系即可定位出车牌信息；

步骤S63，根据检测出的车牌内的连通分量和车牌字符排列顺序，补充车牌中在提取备选字符时遗漏的车牌字符。

10.根据权利要求1所述的方法，其特征在于，所述步骤S72中提取的特征向量为梯度方向直方图HOG特征向量。

11.根据权利要求10所述的方法，其特征在于，所述步骤S73进一步包括以下步骤：

步骤S731，选取一部分已知类别的字符图片作为训练样本，计算每个类别样本的特征向量中心点，即所有类别样本的特征向量均值：{μ₁，μ₂，...，μ_C}，其中，μ_i为第i类样本的特征向量均值，C为类别数；

步骤S732，对于一个新的待分类字符图像，分别计算其HOG特征向量μ与每个类别样本的特征向量均值μ_i之间的距离，距离最近的特征向量均值所属的类别即为该字符图像所属的类别，从而得到对于该字符图像的识别结果，用公式表示为：

$c=\underset{i=\mathrm{1,2},..,C}{\arg \min }\left|\right|{\mathrm{\μ}}_i-\mathrm{\μ}\left|\right|.$

其中，c为该字符图像所属的类别。

12.根据权利要求11所述的方法，其特征在于，所述步骤S7进一步包括：将特征向量距离值||μ_c-μ||作为单个字符识别的可信度指标，将车牌中所有字符识别可信度的平均值认为是整个车牌的识别可信度，如果在步骤S6中在同一位置推断出存在多个备选车牌，则利用所述车牌的识别可信度对推断出的多个备选车牌进行精确识别，即只保留车牌识别可信度最大的车牌。

Images