CN103971097A - 一种基于多尺度笔画模型的车牌识别方法与系统 - Google Patents

Abstract

本发明公开了一种基于多尺度笔画模型的车牌识别方法，首先获取训练数据集的车牌图像中的字符，然后获取字符的多尺度笔画模型；再利用得到的多尺度笔画模型，对待识别车牌图像中车牌上的字符进行检测，获取车牌上的字符；然后获取待识别的车牌图像中字符的笔画模型特征向量和HOG特征向量，拼接成字符的特征向量；最后用训练数据集得到的字符特征向量训练分类器，再利用训练好的分类器对待识别的车牌图像中获取的字符特征向量进行分类，得到待识别车牌图像的识别结果。本发明还提供了相应的车牌识别系统。本发明方法车牌图像识别过程简单易行，推广能力强，本发明方法识别准确率高，且能够有效克服模糊、噪声及局部遮挡等不利因素的影响。

Description

一种基于多尺度笔画模型的车牌识别方法与系统

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种基于多尺度笔画模型的车牌识别方法与系统。

背景技术

随着全球经济化形势的不断发展，人们的生活水平日益提高，私人拥有机动车辆的数量呈几何增长态势，汽车的普及成为了目前的必然趋势。在这种情况下，各种交通问题的出现越来越频繁。因此，大力发展智能交通系统，才能真正解决日益严重的交通问题。智能交通系统是一个基于现代电子信息技术、面向交通运输的服务系统，以信息的收集、处理、发布、交换、分析、应用为主线，为交通管理者和参与者提供多样性的服务。车牌识别技术是智能交通系统的一个重要组成部分，该技术的研究始于20世纪70年代，经过近四十年的发展，该技术已日趋成熟，并开始在交通、公安、路政、安防等许多领域得到了广泛的应用。车牌识别技术以数字图像处理、模式识别、计算机视觉等技术为基础，要求能够将运动中汽车的牌照从复杂的背景中提取并识别出来，通过车牌检测、图像预处理、特征提取、车牌字符识别等技术识别车辆牌号。

车牌识别技术与其他车辆身份识别方式相比具有很大的优势。首先是其唯一性：任何两辆车使用的合法车牌必然是不同的，虽然在国外存在两辆车使用相同的车牌号码的情况，但车牌颜色各异。然后是车牌信息制定的规范性：作为车辆识别标识，车牌有着十分规范的编码方式，给识别提供了便利的条件。对每一类型的车牌，其车牌格式类型都是唯一的，同时，不同类的车辆使用何种颜色的车牌也有着严格的规定。最后是车牌图像采集的便利性：车牌的安装位置相对固定，均安装在车辆的最前端和最后端的固定位置，十分显眼，方便拍照采集。

发明内容

本发明的目的在于提供一种基于多尺度笔画模型的车牌识别方法，该方法字符表示过程简单易行，并且识别准确率高。

为实现上述目的，按照本发明的一个方面，提供了一种基于多尺度笔画模型的车牌识别方法，包括下述步骤：

(1)获取车牌图像中字符的多尺度笔画模型：

(1.1)对训练图像集中的车牌图像，根据字符在车牌图像中的位置和大小信息，获取图像的字符区域和背景区域；

具体地，可以对给定的训练图像集，用人工标注的方法将训练图像集中车牌图像上的字符区域用矩形框标记出来，获取车牌的字符区域，车牌图像的其他区域为背景区域；

(1.2)在字符区域和背景区域分别随机取多种尺度的图像块；

具体地，对获取的字符区域和背景区域，分别随机取不同尺度的图像块。对同一个尺度的图像块，字符区域取出的图像块构成字符集D，背景区域取出的图像块构成背景集N，然后将字符集和背景集均分为两个不重叠的部分，即为D＝{D₁,D₂}；N＝{N₁,N₂}；多个不同尺度的图像块即可得到多个字符集和背景集；

(1.3)对每种尺度的图像块，采用聚类的方法获取字符的笔画模型，得到用以描述字符的多尺度笔画模型：

(1.3.1)对一种尺度的图像块，将字符子集D₁中的所有图像块进行聚类，聚类结果记作K，其中CNum为聚类中心个数；

(1.3.2)对聚类所得的所有簇，统计簇中图像块的数量，取图像块数量不小于NL的所有簇，NL为聚类后有效簇选取的图像块数量阈值；

(1.3.3)对所得的每一个簇，以簇中图像块为正样本，以N₁中所有图像块为负样本，训练线性支持向量机分类器；

(1.3.4)用训练好的线性支持向量机分类器对D₂中的所有图像块进行检测，对每个分类器都取出分类得分大于-1且数目不多于NM的图像块作为训练该分类器的正样本的新元素，NM为选择分类器正样本新元素的数量阈值；

(1.3.5)交换D₁和D₂、N₁和N₂中的所有图像块；

(1.3.6)重复进行(1.3.3)-(1.3.5)步骤，循环NN次，NN为预设的循环次数，例如取值为5；

(1.3.7)计算每个簇的得分，取出得分最高的M个簇以及与之对应的分类器，即为字符在该尺度下的笔画模型，其中M为经验值，笔画模型中的每一组簇和分类器都称为笔画模型的一个类；

具体为，对得到的所有簇以及对应的分类器，首先将簇中的所有图像块放入对应的分类器中，并对这些图像块按分类器给出的得分进行排序，将得分最高的HSNum(HSNum是一个经验值)个图像块得分相加，即为该簇的纯度，记为Purity；然后将字符集D和背景集N中的所有图像块放入簇对应的的分类器中，统计字符集D和背景集N中属于这个簇的图像块的个数，分别为fire(D)和fire(N)，定义簇的区分度为：

$\mathrm{discri}=\frac{\mathrm{fire}\left(D\right)}{\mathrm{fire}\left(D\right)+\mathrm{fire}\left(N\right)}$

则簇的分数为：score＝purity+λ·discri，其中λ为经验值，计算出所有簇的得分，并取出得分最高的M个簇以及与之对应的分类器那么字符在该尺度下的笔画模型即为其中M为经验值，笔画模型中的每一组簇和分类器都称为笔画模型的一个类；

(1.3.8)对每个尺度的图像块，都重复(1.3.1)-(1.3.7)的所有步骤，即可得到字符的多个尺度的笔画模型。

(2)获取车牌图像中的字符：

(2.1)对训练图像集中的每张训练图像，首先将图像的尺度按比例缩放，使图像的高度均为HL个像素，然后在缩放后的图像上以步长1采集图像块，然后在缩放后的图像上采集多尺度的图像块，且图像块的尺度与步骤(1.2)中获取的图像块的尺度相同；HL为预设的图像缩放高度值，例如取值为64；

(2.2)用步骤(1)中得到的多尺度笔画模型对采集到的图像块进行投票；

具体为，将步骤(2.1)中获取的所有图像块分别放入对应尺度的笔画模型中进行比对，找出图像块在笔画模型中所属的类别；利用这个类别中的分类器输出一个该图像块的分数，这个分数即为笔画模型对这个图像块的投票值；

(2.3)获取多尺度笔画模型对训练图像集中车牌图像投票结果的霍夫图；

具体地，按照步骤(2.2)获取笔画模型对所有图像块的投票值，车牌图像中每个点将得到笔画模型的一系列投票值，在每个点上将这些投票值叠加，得到该点的投票总数，进一步得到笔画模型对该车牌图像投票结果的霍夫图；

(2.4)用Mean Shift算法找出霍夫图中的所有极大值点，即为车牌图像中字符的中心点位置；

(2.5)用加权求和的方法估算出牌图像中字符区域的宽度和高度；

(2.6)用车牌图像中字符的中心位置以及字符区域的宽度和高度，获取车牌图像中的字符；

(3)训练字符分类器：

(3.1)计算步骤(2)中获取的车牌图像的字符的笔画模型特征向量；

(3.1.1)在原训练图像上将所有图像块根据笔画模型进行直方图统计，统计笔画模型中每一个类的采样点数目，从而得到一个M维的向量；

(3.1.2)将原训练图像分成2*2共4个分块，针对每个分块重复(3.1.1)的计算过程，最后得到4个M维的向量；

(3.1.3)将上述两个步骤得到的向量拼接起来，得到一个5*M维的向量，就是该字符的笔画模型特征向量。

(3.2)计算步骤(2)中获取的车牌图像的字符的HOG特征向量；

具体为，首先将图像均分为5*7共35部分，然后对每个部分分别计算其HOG特征向量，将所有特征向量拼接起来，就得到字符的HOG特征向量。

(3.3)将字符的笔画模型描述子和HOG描述子拼接成字符的描述子；

(3.4)利用训练图像中获取的所有字符的字符描述子训练随机森林分类器。

(4)识别待识别的车牌图像：

(4.1)按照步骤(2)检测出待识别车牌图像中的字符；

(4.2)按照步骤(3.1)-(3.3)获取待识别车牌图像中字符的描述子；

(4.3)利用步骤(3)中训练好的随机森林分类器，对待识别的字符描述子进行分类，并输出车牌图像的识别结果。

本发明公开了一种基于多尺度笔画模型的车牌识别方法。对于用户给定的一幅车牌图像，本发明可以对图像中的车牌号码字符进行自动检测，并对检测出的字符进行识别。

对训练数据集中的车牌图像，首先获取图像中字符的多尺度的笔画模型，然后通过笔画模型检测出车牌图像中的字符，计算出字符的笔画模型特征向量和HOG特征向量，然后将两个向量拼接成字符的特征向量，最后用训练数据中获取的字符特征向量训练分类器。

对待识别的车牌图像，和训练数据集中的车牌图像处理方法类似，首先，利用训练数据集中得到的字符的笔画模型，对待识别的车牌图像进行检测，检测出图像中的字符，并获取字符的特征向量，然后用训练过的分类器对这些字符进行识别，得到待识别车牌图像的识别结果。

按照本发明的另一方面，还提供了一种基于多尺度笔画模型的车牌识别系统，所述系统包括多尺度笔画模型生成模块、车牌图像中字符获取模块、字符分类器训练模块以及待识别车牌图像识别模块，其中：

所述多尺度笔画模型生成模块，用于获取车牌图像中字符的多尺度笔画模型，具体包括字符与背景区域获取子模块、多尺度图像块获取子模块以及多尺度笔画模型生成子模块，其中：

所述字符与背景区域获取子模块，用于对训练图像集中的车牌图像，根据字符在车牌图像中的位置和大小信息，获取图像的字符区域和背景区域；

所述多尺度图像块获取子模块，用于在字符区域和背景区域分别随机取多种尺度的图像块；

所述多尺度笔画模型生成子模块，用于对每种尺度的图像块，采用聚类的方法获取字符的笔画模型，得到用以描述字符的多尺度笔画模型；

所述车牌图像字符获取模块，用于获取车牌图像中的字符，具体包括图像块采集子模块、图像块投票子模块、霍夫图生成子模块、字符中心位置获取子模块、字符宽高度获取子模块以及字符获取子模块，其中：

所述图像块采集子模块，对训练图像集中的每张训练图像，首先将图像的尺度按比例缩放，使图像的高度均为HL个像素，然后在缩放后的图像上采集多尺度的图像块，且图像块的尺度与多尺度图像块获取子模块中获取的图像块的尺度相同，HL为预设的图像缩放高度值；

所述图像块投票子模块，用于利用多尺度笔画模型生成模块得到的多尺度笔画模型对采集到的图像块进行投票；

所述霍夫图生成子模块，用于获取多尺度笔画模型对训练图像集中车牌图像投票结果的霍夫图；

所述字符中心位置获取子模块，用于用Mean Shift算法找出霍夫图中的所有极大值点，即为车牌图像中字符的中心位置；

所述字符宽高度获取子模块，用于用加权求和的方法估算出牌图像中字符区域的宽度和高度；

所述字符获取子模块，用于用车牌图像中字符的中心位置以及字符区域的宽度和高度，获取车牌图像中的字符；

字符分类器训练模块，用于训练字符分类器，具体包括笔画模型特征向量计算子模块、HOG特征向量计算子模块、字符特征向量计算子模块以及随机森林分类器生成子模块，其中：

所述笔画模型特征向量计算子模块，用于计算车牌图像字符获取模块获取的车牌图像的字符的笔画模型特征向量；

所述HOG特征向量计算子模块，用于计算车牌图像字符获取模块获取的车牌图像的字符的HOG特征向量；

所述字符特征向量计算子模块，用于将字符的笔画模型特征向量和HOG特征向量拼接成字符的特征向量；

所述随机森林分类器生成子模块，用于利用训练图像中获取的所有字符的字符特征向量训练随机森林分类器；

所述待识别车牌图像识别模块，用于识别待识别的车牌图像，具体包括待识别车牌图像字符检测子模块、字符特征向量计算子模块、待识别车牌图像识别子模块，其中：

所述待识别车牌图像字符检测子模块，用于检测出待识别车牌图像中的字符；

所述字符特征向量计算子模块，用于获取待识别车牌图像中字符的特征向量；

所述待识别车牌图像识别子模块，用于利用字符分类器训练模块训练好的随机森林分类器，对待识别的字符特征向量进行分类，并输出车牌图像的识别结果。

通过本发明所构思的以上技术方案，与现有技术相比，本发明具有以下技术效果：

1.车牌图像容易受光照、灰尘、空气质量以及相机分辨率和拍摄角度等因素的影响而变得不容易辨认，现有的识别算法无法适应外界环境的变化，无法在各种复杂场景下都提供高的辨识度。本发明方法训练多尺度的笔画模型时所用的图像块都是从各种复杂场景下拍摄的车牌图像中采集的，训练数据采集的过程中已经考虑到光照、灰尘、空气质量和拍摄条件等因素的影响，对外界环境的变化有很强的适应能力；训练多尺度的笔画模型时对图像块聚类后，滤除掉了不满足条件的聚类簇，这样就能保证训练得到的笔画模型的每个类都有高的辨识度，减轻图像模糊等不利因素的影响；因此，本发明方法可以有效克服光照、灰尘、空气质量以及拍摄条件等因素的影响；

2.本发明方法训练多尺度的笔画模型过程中，对聚类后符合条件的簇训练线性支持向量机分类器的时候以字符集为正样本，以背景集为负样本，这样就能够使获取车牌图像中的字符时对采集到的图像块的投票结果更加准确，进而使获取的字符中心和宽高度更加精确，本发明中训练了多种尺度的笔画模型，提高了待识别车牌中字符的检测和识别的准确率；因此，本发明方法对车牌图像的识别准确率很高；

3.现有的车牌识别方法在训练过程中都需要大量的人工标注的样本，花费很多的时间和人力；本发明方法只有在训练多尺度的笔画模型时才需要人工标注少量的样本，多尺度笔画模型训练完成后，获取车牌图像中的字符的过程是通过利用笔画模型对车牌图像中获取的图像块投票的方式完成的，因此训练字符分类器的过程中用到的字符是由计算机自动获取的，这样就节省了大量的时间和人力等资源。

附图说明

图1是本发明基于多尺度笔画模型的车牌识别方法流程图；

图2是本发明一实施例中人工标注车牌图像字符位置示意图；

图3是本发明一实施例中在字符上取出的部分图像块的示意图；

图4是本发明一实施例中利用多尺度笔画模型检测车牌图像字符的投票结果霍夫图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明基于多尺度笔画模型的车牌识别方法包括以下步骤：

(1)获取车牌图像中字符的多尺度笔画模型：

(1.1)对训练图像集中的车牌图像，根据字符在车牌图像中的位置和大小信息，获取图像的字符区域和背景区域；

具体地，可以对给定的训练图像集，用人工标注的方法将训练图像集中车牌图像上的字符区域用矩形框标记出来，获取车牌的字符区域，车牌图像的其他区域为背景区域；如图2所示，为本发明一实施例中人工标注车牌图像字符位置示意图；

(1.2)在字符区域和背景区域分别随机取多种尺度的图像块；

具体地，对获取的字符区域和背景区域，分别随机取不同尺度的图像块。对同一个尺度的图像块，字符区域取出的图像块构成字符集D，背景区域取出的图像块构成背景集N，然后将字符集和背景集均分为两个不重叠的部分，即为D＝{D₁,D₂}；N＝{N₁,N₂}；多个不同尺度的图像块即可得到多个字符集和背景集；

(1.3)对每种尺度的图像块，采用聚类的方法获取字符的笔画模型，得到用以描述字符的多尺度笔画模型：

(1.3.1)对一种尺度的图像块，将字符子集D₁中的所有图像块进行聚类，聚类结果记作K，其中CNum为聚类中心个数；例如CNum取值为D1中图像块总数的1/4；

(1.3.2)对聚类所得的任意一个簇，统计其中图像块的数量，取图像块数量不小于NL的所有簇，NL为聚类后选取有效簇的图像块数量阈值，为经验值，例如取值为3；

(1.3.3)对所得的任意一个簇K_i，以K_i中所有图像块为正样本，以N₁中所有图像块为负样本，训练线性支持向量机分类器C_i；

(1.3.4)将D₂中的所有图像块放入训练好的线性支持向量机分类器，分类器将对每个图像块进行比对，并给出图像块的得分，对每个分类器都取出得分大于-1的图像块，然后取其中得分最高的不多于NM个图像块作为对应的簇中的新元素，NM为选择分类器正样本新元素的数量阈值，为经验值，例如取值为5；

(1.3.5)交换D₁和D₂、N₁和N₂中的所有图像块；

(1.3.6)重复进行(1.3.3)-(1.3.5)步骤，循环NN次，NN为预设的的循环次数，例如取值为5；

(1.3.7)计算每个簇的得分，取出得分最高的M个簇以及与之对应的分类器，即为字符在该尺度下的笔画模型，其中M为经验值，笔画模型中的每一组簇和分类器都称为笔画模型的一个类；

具体为，对得到的所有簇以及对应的分类器，首先将簇中的所有图像块放入对应的分类器中，并对这些图像块按分类器给出的得分进行排序，将得分最高的HSNum(HSNum是一个经验值)个图像块得分相加，即为该簇的纯度，记为Purity；然后将字符集D和背景集N中的所有图像块放入簇对应的的分类器中，统计字符集D和背景集N中属于这个簇的图像块的个数，分别为fire(D)和fire(N)，定义簇的区分度为：

$\mathrm{discri}=\frac{\mathrm{fire}\left(D\right)}{\mathrm{fire}\left(D\right)+\mathrm{fire}\left(N\right)}$

则簇的分数为：score＝purity+λ·discri，其中λ为经验值，计算出所有簇的得分，并取出得分最高的M个簇以及与之对应的分类器那么字符在该尺度下的笔画模型即为其中M为经验值，笔画模型中的每一组簇和分类器都称为笔画模型的一个类；

(1.3.8)对每个尺度的图像块，都重复(1.3.1)-(1.3.7)的所有步骤，即可得到字符的多个尺度的笔画模型。

(2)获取车牌图像中的字符

(2.1)对训练图像集中的每张训练图像，首先将图像的尺度按比例缩放，使图像的高度均为HL个像素，然后在缩放后的图像上以步长1采集图像块，然后在缩放后的图像上采集多尺度的图像块，且图像块的尺度与步骤(1.2)中获取的图像块的尺度相同；HL为预设的图像缩放高度值，例如取值为64；如图3所示，为本发明一实施例中在字符上取出的部分图像块的示意图，图中有多种尺度的图像块。

(2.2)用步骤(1)中得到的多尺度笔画模型对采集到的图像块进行投票；

具体为，将步骤(2.1)中获取的所有图像块分别放入对应尺度的笔画模型中进行比对，找出图像块在笔画模型中所属的类别；利用这个类别中的分类器输出一个该图像块的分数，这个分数即为笔画模型对这个图像块的投票值；

(2.3)获取多尺度笔画模型对训练图像集中车牌图像投票结果的霍夫图；

具体地，按照步骤(2.2)获取笔画模型对所有图像块的投票值，车牌图像中每个点将得到笔画模型的一系列投票值，在每个点上将这些投票值叠加，得到该点的投票总数，进一步得到笔画模型对该车牌图像投票结果的霍夫图；如图4所示，为本发明一实施例中利用多尺度笔画模型检测车牌图像字符的投票结果霍夫图。该霍夫图显示了车牌图像中字符的大概位置。

(2.4)用Mean Shift算法找出霍夫图中的所有极大值点，即为车牌图像中字符的中心点位置；

(2.5)用加权求和的方法估算出牌图像中字符区域的宽度和高度：

在得到的笔画模型中，簇Clt_j中数据元素个数为MNum，簇中的图像块Mb_m的宽度和高度分别为和找出步骤(1)中取出该图像块的字符区域，该字符区域的宽度和高度分别为和则定义簇Clt_j中数据元素的平均宽度和平均高度分别为

${\stackrel{\‾}{w}}_j=\frac{1}{\mathrm{MNum}}\underset{m=1}{\overset{\mathrm{MNum}}{\mathrm{\Σ}}}\frac{W_{{\mathrm{Mb}}_m}}{w_{{\mathrm{Mb}}_m}};{\stackrel{\‾}{h}}_j=\frac{1}{\mathrm{MNum}}\underset{m=1}{\overset{\mathrm{MNum}}{\mathrm{\Σ}}}\frac{H_{{\mathrm{Mb}}_m}}{h_{{\mathrm{Mb}}_m}}$

对步骤(2.4)中获取的字符的中心位置对应的字符区域，记为α，找到步骤(2.2)中为该字符区域投票的所有笔画模型的类序列v为笔画模型对该字符区域的图像块投票的总次数，其中类d_l中的簇的平均宽度和平均高度为和该簇中图像块的宽度和高度为和对该字符区域的图像块，类d_l的分类器为其输出的分数记为ρ(d_l)，则计算出的该字符区域的宽度和高度为

$w\left(\mathrm{\α}\right)=\frac{{\mathrm{\Σ}}_{l=1}^v\mathrm{\ρ}\left(d_l\right)\·w\left(d_l\right)\·\stackrel{\‾}{w_{d_l}}}{{\mathrm{\Σ}}_{l=1}^v\mathrm{\ρ}\left(d_l\right)}$

$h\left(\mathrm{\α}\right)=\frac{{\mathrm{\Σ}}_{l=1}^v\mathrm{\ρ}\left(d_l\right)\·h\left(d_l\right)\·\stackrel{\‾}{h_{d_l}}}{{\mathrm{\Σ}}_{l=1}^v\mathrm{\ρ}\left(d_l\right)}$

(2.6)用车牌图像中字符的中心位置以及字符区域的宽度和高度，获取车牌图像中的字符；

(3)训练字符分类器：

(3.1)计算步骤(2)中获取的车牌图像的字符的笔画模型特征向量

(3.1.1)对原训练图像，在步骤(2)中获取的车牌字符上将所有图像块根据笔画模型进行直方图统计，统计属于笔画模型中某一个类的图像块数目，从而得到一个M维的向量[s₁,s₂,...,s_M]；

(3.1.2)利用空间金字塔模型，将原训练图像分成2*2共4个分块，针对每个分块重复(3.1.1)的计算过程，最后得到4个M维的向量

$[s_1^2,s_2^2,...,s_M^2],[s_1^3,s_2^3,...,s_M^3],[s_1^4,s_2^4,...,s_M^4];$

(3.1.3)将上述两个步骤得到的向量拼接起来，得到一个5*M维的向量，就是该字符的笔画模型特征向量，即为

(3.2)计算步骤(2)中获取的车牌图像的字符的HOG特征向量；

具体为，首先将图像均分为5*7共35部分，然后对第k个部分计算其方向梯度直方图(Histogram of oriented gradients，HOG)特征向量其中g为HOG特征向量的维度，然后将所有特征向量拼接起来，就得到字符的HOG特征向量hog＝[hog₁,hog₂,...,hog₃₅]；

(3.3)将字符的笔画模型描述子和HOG描述子拼接成字符的特征向量f＝[s,hog]；

(3.4)利用训练图像中获取的所有字符的字符描述子训练随机森林分类器；此处可以利用封装好的已有随机森林分类器库函数视为一个黑箱子，输入所有字符的特征向量，输出为一个能够判断字符类别的随机森林分类器。

(4)识别待识别的车牌图像

(4.1)按照步骤(2)检测出待识别车牌图像中的字符；

(4.2)按照步骤(3.1)-(3.3)获取待识别车牌图像中字符特征向量；

(4.3)利用步骤(3)中训练好的随机森林分类器，对待识别的字符特征向量进行分类，并输出车牌图像的识别结果。

进一步地，本发明还提供了一种基于多尺度笔画模型的车牌识别系统，其特征在于，所述系统包括多尺度笔画模型生成模块、车牌图像中字符获取模块、字符分类器训练模块以及待识别车牌图像识别模块，其中：

所述多尺度笔画模型生成模块，用于获取车牌图像中字符的多尺度笔画模型，具体包括字符与背景区域获取子模块、多尺度图像块获取子模块以及多尺度笔画模型生成子模块，其中：

所述字符与背景区域获取子模块，用于对训练图像集中的车牌图像，根据字符在车牌图像中的位置和大小信息，获取图像的字符区域和背景区域；

所述多尺度图像块获取子模块，用于在字符区域和背景区域分别随机取多种尺度的图像块；

所述多尺度笔画模型生成子模块，用于对每种尺度的图像块，采用聚类的方法获取字符的笔画模型，得到用以描述字符的多尺度笔画模型；

所述车牌图像字符获取模块，用于获取车牌图像中的字符，具体包括图像块采集子模块、图像块投票子模块、霍夫图生成子模块、字符中心位置获取子模块、字符宽高度获取子模块以及字符获取子模块，其中：

所述图像块采集子模块，对训练图像集中的每张训练图像，首先将图像的尺度按比例缩放，使图像的高度均为HL个像素，然后在缩放后的图像上采集多尺度的图像块，且图像块的尺度与多尺度图像块获取子模块获取的图像块的尺度相同，HL为预设的图像缩放高度值；

所述图像块投票子模块，用于利用多尺度笔画模型生成模块得到的多尺度笔画模型对采集到的图像块进行投票；

所述霍夫图生成子模块，用于获取多尺度笔画模型对训练图像集中车牌图像投票结果的霍夫图；

所述字符中心位置获取子模块，用于用Mean Shift算法找出霍夫图中的所有极大值点，即为车牌图像中字符的中心位置；

所述字符宽高度获取子模块，用于用加权求和的方法估算出牌图像中字符区域的宽度和高度；

所述字符获取子模块，用于用车牌图像中字符的中心位置以及字符区域的宽度和高度，获取车牌图像中的字符；

字符分类器训练模块，用于训练字符分类器，具体包括笔画模型特征向量计算子模块、HOG特征向量计算子模块、字符特征向量计算子模块以及随机森林分类器生成子模块，其中：

所述笔画模型特征向量计算子模块，用于计算车牌图像字符获取模块获取的车牌图像的字符的笔画模型特征向量；

所述HOG特征向量计算子模块，用于计算车牌图像字符获取模块获取的车牌图像的字符的HOG特征向量；

所述字符特征向量计算子模块，用于将字符的笔画模型特征向量和HOG特征向量拼接成字符的特征向量；

所述随机森林分类器生成子模块，用于利用训练图像中获取的所有字符的字符特征向量训练随机森林分类器；

所述待识别车牌图像识别模块，用于识别待识别的车牌图像，具体包括待识别车牌图像字符检测子模块、字符特征向量计算子模块、待识别车牌图像识别子模块，其中：

所述待识别车牌图像字符检测子模块，用于检测出待识别车牌图像中的字符；

所述字符特征向量计算子模块，用于获取待识别车牌图像中字符的特征向量；

所述待识别车牌图像识别子模块，用于利用字符分类器训练模块训练好的随机森林分类器，对待识别的字符特征向量进行分类，并输出车牌图像的识别结果。

具体地，所述字符与背景区域获取子模块用于获取车牌的字符区域，车牌图像的其他区域为背景区域，其中所述字符区域是用人工标注的方法将训练图像集中车牌图像上的字符区域用矩形框标记出来的；

具体地，所述多尺度图像块获取子模块用于对获取的字符区域和背景区域，分别随机取不同尺度的图像块；对同一个尺度的图像块，字符区域取出的图像块构成字符集D，背景区域取出的图像块构成背景集N，并将字符集和背景集均分为两个不重叠的部分，即为D＝{D₁,D₂}；N＝{N₁,N₂}；多个不同尺度的图像块即可得到多个字符集和背景集。

具体地，所述多尺度笔画模型生成子模块用于执行下述步骤，以生成多尺度笔画模型模块：

(1.3.1)对一种尺度的图像块，将字符子集D₁中的所有图像块进行聚类，聚类结果记作K，其中CNum为聚类中心个数；

(1.3.2)对聚类所得的所有簇，统计簇中图像块的数量，取图像块数量不小于NL的所有簇，NL为聚类后有效簇选取的图像块数量阈值；

(1.3.3)对所得的每一个簇，以簇中图像块为正样本，以N₁中所有图像块为负样本，训练线性支持向量机分类器；

(1.3.4)用训练好的线性支持向量机分类器对D₂中的所有图像块进行检测，对每个分类器都取出分类得分大于-1且数目不多于NM的图像块作为训练该分类器的正样本的新元素，NM为选择分类器正样本新元素的数量阈值；

(1.3.5)交换D₁和D₂、N₁和N₂中的所有图像块；

(1.3.6)重复进行(1.3.3)-(1.3.5)步骤，循环NN次，NN为预设的循环次数，例如取值为5；

(1.3.7)计算每个簇的得分，取出得分最高的M个簇以及与之对应的分类器，即为字符在该尺度下的笔画模型，其中M为经验值，笔画模型中的每一组簇和分类器都称为笔画模型的一个类；

(1.3.8)对每个尺度的图像块，都重复(1.3.1)-(1.3.7)的所有步骤，即可得到字符的多个尺度的笔画模型。

具体地，所述所述图像块投票子模块，用于将车牌图像中获取的图像块分别放入对应尺度的笔画模型中进行比对，找出图像块在笔画模型中所属的类别；利用这个类别中的分类器输出一个该图像块的分数，这个分数即为笔画模型对这个图像块的投票值。

具体地，所述霍夫图生成子模块，用于将车牌图像中的所有图像块放入对应尺度的笔画模型中进行比对，车牌图像中每个点将得到笔画模型的一系列投票值，在每个点上将这些投票值叠加，得到该点的投票总数，进一步得到笔画模型对该车牌图像投票结果的霍夫图。

具体地，所述笔画模型特征向量计算子模块用于执行下述步骤，以生成字符的笔画模型特征向量：

(3.1.1)在原训练图像上将所有图像块根据笔画模型进行直方图统计，统计笔画模型中每一个类的采样点数目，从而得到一个M维的向量；

(3.1.2)将原训练图像分成2*2共4个分块，针对每个分块重复(3.1.1)的计算过程，最后得到4个M维的向量；

(3.1.3)将上述两个步骤得到的向量拼接起来，得到一个5*M维的向量，就是该字符的笔画模型特征向量。

具体地，所述HOG特征向量计算子模块，用于首先将图像均分为5*7共35部分，然后对每个部分分别计算其HOG特征向量，将所有特征向量拼接起来，得到字符的HOG特征向量。

Claims (10)

1.一种基于多尺度笔画模型的车牌识别方法，其特征在于，所述方法包括下述步骤：

(1)获取车牌图像中字符的多尺度笔画模型：

(1.1)对训练图像集中的车牌图像，根据字符在车牌图像中的位置和大小信息，获取图像的字符区域和背景区域；

(1.2)在字符区域和背景区域分别随机取多种尺度的图像块；

(1.3)对每种尺度的图像块，采用聚类的方法获取字符的笔画模型，得到用以描述字符的多尺度笔画模型；

(2)获取车牌图像中的字符：

(2.1)对训练图像集中的每张训练图像，首先将图像的尺度按比例缩放，使图像的高度均为HL个像素，然后在缩放后的图像上采集多尺度的图像块，且图像块的尺度与步骤(1.2)中获取的图像块的尺度相同，HL为预设的图像缩放高度值；

(2.2)用步骤(1)中得到的多尺度笔画模型对采集到的图像块进行投票；

(2.3)获取多尺度笔画模型对训练图像集中车牌图像投票结果的霍夫图；

(2.4)用Mean Shift算法找出霍夫图中的所有极大值点，即为车牌图像中字符的中心位置；

(2.5)用加权求和的方法估算出牌图像中字符区域的宽度和高度；

(2.6)用车牌图像中字符的中心位置以及字符区域的宽度和高度，获取车牌图像中的字符；

(3)训练字符分类器：

(3.1)计算步骤(2)中获取的车牌图像的字符的笔画模型特征向量；

(3.2)计算步骤(2)中获取的车牌图像的字符的HOG特征向量；

(3.3)将字符的笔画模型特征向量和HOG特征向量拼接成字符的特征向量；

(3.4)利用训练图像中获取的所有字符的字符特征向量训练随机森林分类器；

(4)识别待识别的车牌图像：

(4.1)按照步骤(2)检测出待识别车牌图像中的字符；

(4.2)按照步骤(3.1)-(3.3)获取待识别车牌图像中字符的特征向量；

(4.3)利用步骤(3)中训练好的随机森林分类器，对待识别的字符特征向量进行分类，并输出车牌图像的识别结果。

2.根据权利要求1所述的基于多尺度笔画模型的车牌识别方法，其特征在于，所述步骤(1.1)具体为：用人工标注的方法将训练图像集中车牌图像上的字符区域用矩形框标记出来，获取车牌的字符区域，车牌图像的其他区域为背景区域。

3.根据权利要求1或2所述的基于多尺度笔画模型的车牌识别方法，其特征在于，所述步骤(1.2)具体为：对获取的字符区域和背景区域，分别随机取不同尺度的图像块；对同一个尺度的图像块，字符区域取出的图像块构成字符集D，背景区域取出的图像块构成背景集N，并将字符集和背景集均分为两个不重叠的部分，即为D＝{D₁,D₂}；N＝{N₁,N₂}；多个不同尺度的图像块即可得到多个字符集和背景集。

4.根据权利要求1至3任一项所述的基于多尺度笔画模型的车牌识别方法，其特征在于，所述步骤(1.3)具体为：

(1.3.1)对一种尺度的图像块，将字符子集D₁中的所有图像块进行聚类，聚类结果记作K，其中CNum为聚类中心个数；

(1.3.2)对聚类所得的所有簇，统计簇中图像块的数量，取图像块数量不小于NL的所有簇，NL为聚类后有效簇选取的图像块数量阈值；

(1.3.3)对所得的每一个簇，以簇中图像块为正样本，以N₁中所有图像块为负样本，训练线性支持向量机分类器；

(1.3.4)用训练好的线性支持向量机分类器对D₂中的所有图像块进行检测，对每个分类器都取出分类得分大于-1且数目不多于NM的图像块作为训练该分类器的正样本的新元素，NM为选择分类器正样本新元素的数量阈值；

(1.3.5)交换D₁和D₂、N₁和N₂中的所有图像块；

(1.3.6)重复进行(1.3.3)-(1.3.5)步骤，循环NN次，NN为预设的循环次数，例如取值为5；

(1.3.7)计算每个簇的得分，取出得分最高的M个簇以及与之对应的分类器，即为字符在该尺度下的笔画模型，其中M为经验值，笔画模型中的每一组簇和分类器都称为笔画模型的一个类；

(1.3.8)对每个尺度的图像块，都重复(1.3.1)-(1.3.7)的所有步骤，即可得到字符的多个尺度的笔画模型。

5.根据权利要求4所述的基于多尺度笔画模型的车牌识别方法，其特征在于，所述步骤(1.3.7)具体为：

对得到的所有簇以及对应的分类器，首先将簇中的所有图像块放入对应的分类器中，并对这些图像块按分类器给出的得分进行排序，将得分最高的HSNum(HSNum是一个经验值)个图像块得分相加，即为该簇的纯度，记为Purity；然后将字符集D和背景集N中的所有图像块放入簇对应的的分类器中，统计字符集D和背景集N中属于这个簇的图像块的个数，分别为fire(D)和fire(N)，定义簇的区分度为：

$\mathrm{discri}=\frac{\mathrm{fire}\left(D\right)}{\mathrm{fire}\left(D\right)+\mathrm{fire}\left(N\right)}$

则簇的分数为：score＝purity+λ·discri，其中λ为经验值；计算出所有簇的得分，并取出得分最高的M个簇以及与之对应的分类器那么字符在该尺度下的笔画模型即为其中M为经验值，笔画模型中的每一组簇和分类器都称为笔画模型的一个类。

6.根据权利要求1所述的基于多尺度笔画模型的车牌识别方法，其特征在于，所述步骤(2.2)具体为：将车牌图像中获取的图像块分别放入对应尺度的笔画模型中进行比对，找出图像块在笔画模型中所属的类别；利用这个类别中的分类器输出一个该图像块的分数，这个分数即为笔画模型对这个图像块的投票值。

7.根据权利要求6所述的基于多尺度笔画模型的车牌识别方法，其特征在于，所述步骤(2.3)具体为：按照步骤(2.2)将车牌图像中的所有图像块放入对应尺度的笔画模型中进行比对，车牌图像中每个点将得到笔画模型的一系列投票值，在每个点上将这些投票值叠加，得到该点的投票总数，进一步得到笔画模型对该车牌图像投票结果的霍夫图。

8.根据权利要求1所述的基于多尺度笔画模型的车牌识别方法，其特征在于，所述步骤(3.1)具体为：

(3.1.1)在原训练图像上将所有图像块根据笔画模型进行直方图统计，统计笔画模型中每一个类的采样点数目，从而得到一个M维的向量；

(3.1.2)将原训练图像分成2*2共4个分块，针对每个分块重复(3.1.1)的计算过程，最后得到4个M维的向量；

(3.1.3)将上述两个步骤得到的向量拼接起来，得到一个5*M维的向量，就是该字符的笔画模型特征向量。

9.根据权利要求1所述的基于多尺度笔画模型的车牌识别方法，其特征在于，所述步骤(3.2)具体为：

首先将图像均分为5*7共35部分，然后对每个部分分别计算其HOG特征向量，将所有特征向量拼接起来，得到字符的HOG特征向量。

10.一种基于多尺度笔画模型的车牌识别系统，其特征在于，所述系统包括多尺度笔画模型生成模块、车牌图像中字符获取模块、字符分类器训练模块以及待识别车牌图像识别模块，其中：

所述多尺度笔画模型生成模块，用于获取车牌图像中字符的多尺度笔画模型，具体包括字符与背景区域获取子模块、多尺度图像块获取子模块以及多尺度笔画模型生成子模块，其中：

所述字符与背景区域获取子模块，用于对训练图像集中的车牌图像，根据字符在车牌图像中的位置和大小信息，获取图像的字符区域和背景区域；

所述多尺度图像块获取子模块，用于在字符区域和背景区域分别随机取多种尺度的图像块；

所述多尺度笔画模型生成子模块，用于对每种尺度的图像块，采用聚类的方法获取字符的笔画模型，得到用以描述字符的多尺度笔画模型；

所述车牌图像字符获取模块，用于获取车牌图像中的字符，具体包括图像块采集子模块、图像块投票子模块、霍夫图生成子模块、字符中心位置获取子模块、字符宽高度获取子模块以及字符获取子模块，其中：

所述图像块采集子模块，对训练图像集中的每张训练图像，首先将图像的尺度按比例缩放，使图像的高度均为HL个像素，然后在缩放后的图像上采集多尺度的图像块，且图像块的尺度与多尺度图像块获取子模块中获取的图像块的尺度相同，HL为预设的图像缩放高度值；

所述图像块投票子模块，用于利用多尺度笔画模型生成模块得到的多尺度笔画模型对采集到的图像块进行投票；

所述霍夫图生成子模块，用于获取多尺度笔画模型对训练图像集中车牌图像投票结果的霍夫图；

所述字符中心位置获取子模块，用于用Mean Shift算法找出霍夫图中的所有极大值点，即为车牌图像中字符的中心位置；

所述字符宽高度获取子模块，用于用加权求和的方法估算出车牌图像中字符区域的宽度和高度；

所述字符获取子模块，用于用车牌图像中字符的中心位置以及字符区域的宽度和高度，获取车牌图像中的字符；

字符分类器训练模块，用于训练字符分类器，具体包括笔画模型特征向量计算子模块、HOG特征向量计算子模块、字符特征向量计算子模块以及随机森林分类器生成子模块，其中：

所述笔画模型特征向量计算子模块，用于计算车牌图像字符获取模块获取的车牌图像的字符的笔画模型特征向量；

所述HOG特征向量计算子模块，用于计算车牌图像字符获取模块获取的车牌图像的字符的HOG特征向量；

所述字符特征向量计算子模块，用于将字符的笔画模型特征向量和HOG特征向量拼接成字符的特征向量；

所述随机森林分类器生成子模块，用于利用训练图像中获取的所有字符的字符特征向量训练随机森林分类器；

所述待识别车牌图像识别模块，用于识别待识别的车牌图像，具体包括待识别车牌图像字符检测子模块、字符特征向量计算子模块、待识别车牌图像识别子模块，其中：

所述待识别车牌图像字符检测子模块，用于检测出待识别车牌图像中的字符；

所述字符特征向量计算子模块，用于获取待识别车牌图像中字符的特征向量；

所述待识别车牌图像识别子模块，用于利用字符分类器训练模块训练好的随机森林分类器，对待识别的字符特征向量进行分类，并输出车牌图像的识别结果。