CN105740914A - 一种基于近邻多分类器集成的车牌识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于近邻多分类器集成的车牌识别方法及系统，采用多分类器集成的方法应用在车牌识别系统中进而提高车牌识别准确率。通过多分类器的训练得到的不同的分类器，然后根据测试样本的近邻送入不同分类器测试分类结果的准确率。以此为基础设置出不同分类器在车牌识别过程中的权重。在对检测样本进行测试时，可以根据不同样本的特征自动设置不同分类器在识别过程中的充当作用大小。本发明利用分类器集中训练在提高车牌检测精度的同时，避免了由分类结果单一化产生的错分问题，具有高度的实用价值，可应用于高速公路收费站自动化识别车辆、智能交通违规检测、城市道路交通监控等领域。

Description

一种基于近邻多分类器集成的车牌识别方法及系统

技术领域

本发明属于计算机视觉领域，以机器学习与模式识别为依托，涉及多媒体技术，图像处理技术，具体为利用多分类器集成的方法开发的车牌识别系统。

背景技术

现代社会是高度的计算机集成化，自动化，网络化的社会。本发明的目的是能够在智能交通领域中创造出更有效的车牌识别系统。车牌识别在现代智能交通中充当着举足轻重的作用，现有的车牌识别系统，都是通过提取车牌样本的特征送入单分类器中进行分类识别，而在多媒体技术领域这样的单分类器识别技术还存在很大的缺陷，识别精确度并不高。现阶段主要的车牌识别技术大多都是基于单分类器决策。如：基于神经网络的分类器(BPNN)车牌定位方法，基于支持向量机(SVM)的分类器车牌识别方法，基于稀疏表示(SRC)的分类器车牌识别方法等。然而单个分类器的分类器效果过于集中化、单一化、片面化，对车牌识别的准确率有相当大的影响。传统的车牌识别系统过度依赖于训练样本本身。针对训练样本的容量有一定的要求，同时面对不同的特征提取方法与不同分类器之间的组合不同，识别的效果也大相径庭。现阶段主要的图像特征提取方法有，LBP、SIFT、HOG、HAAR等。然而上述方法的车牌识别效果都不尽人意。所以说一种强健的车牌识别算法是解决目前智能交通构架下车牌识别问题的迫切需要。而采取多分类器集成的方法，来提高分类器的识别准确率，达到单个分类器无法完成的效果，成为了现阶段集成学习领域在工程应用中的重要突破口。

由于训练样本的不同，或者是训练样本特征的提取方法不同。由此训练得到的单个分类器是不同的。同时正是因为多种多样的测试样本对不同的分类器的测试效果也有很大的区别，所以不同的分类器集成方法对研究的结果也会产生不同的效果。而如何应对单个分类器在分类过程中起到作用的大小，适当分配权重成了研究问题的关键。当然，同种分类器在测试过程当中识别的准确率越高，其置信度也就越高。当前，基于多分类器集成的方法，最常见的有多数投票法、加权平均法、Dempster-Shafer证据组合、贝叶斯方法等。

多数投票法是一种简单的分类器融合方法，给定一个测试样本X,以L(L>1)个分类器中分类的结果做比较。当分类器给其标识类别为D占多数时，那么就认为该测试样本属于类别D。由于每个分类器对不同样本的测试准确率肯定是不同的那么上述方法就不能有效区分不同分类器的分类效果的优势。而Dempster-Shafer和贝叶斯等方法在一定程度上改进了上述方法的缺陷。Dempster-Shafer更是在一定程度上改进了贝叶斯方法弱分的缺陷。他们是利用不同的分类器在不同的证据组合规则对分类器进行集成，以此来提高车牌识别准确率的一种方法。当然即使是这样的分类器集成方法也存在的一些问题，其要求各种证据之间必须是相互独立的。而在现实生活中这样的数据少之又少。

虽然上述现有的方法中已经对分类器集成的问题进行了很大的改善，同时在与单分类器识别效果的比较上有了巨大的进步。但是这样的方法还是不能够发挥出每个分类器的最大效用。不同分类器在样本识别中的贡献度并没有达到最大。所以本发明在规避上述问题的同时，独立研究出一种能够最大限度的发挥分类器效用的算法。通过多个分类器的分类准确率的不同，动态的调整分类器在分类过程中的权重，并将其应用于车牌识别系统中，以此来提高车牌识别的准确率。实践表明，本次发明的系统在车牌识别应用中具有较高的准确率，且具有高度的动态规划性。

发明内容

本发明的目的在于提供一种基于近邻多分类器集成的车牌识别方法及系统，以发挥出每个分类器的最大效用，从而进一步提高车牌识别的准确率和动态规划性。

为了解决以上技术问题，本发明采用的具体技术方案如下：

一种基于近邻多分类器集成的车牌识别方法，其特征在于包括以下步骤：

STEP1：处理数据集，提取训练样本的特征，用此来训练多种不同的且相互独立的分类器；

STEP2:在STEP1的基础上，通过改变不同的参数、核函数、训练集的大小来训练多种单分类器；

STEP3:挑选待测样本的K个近邻，用此来计算单个分类器不同的置信度，调整单个分类器在样本测试中的权重并且进行多分类器的融合；

STEP4：待测样本的最终决策由经过STEP3融合后的各个分类器共同决定，判断样本所属类别。

一种基于近邻多分类器集成的车牌识别系统，其特征在于包括：特征提取模块、分类器训练模块、多分类器集成模块和决策模块；

所述特征提取模块划分为三部分:第一部分是训练样本的特征提取,训练样本的特征提取主要是用来训练多种不同的相互独立的分类器；第二部分是由二次测试样本组成的K个测试样本的特征提取，这一部分主要是用来进行测试各个分类器的检测准确率从而实现对权重的动态调整；第三部分是原始待测样本的特征提取，用来检测最终分类结果；

所述分类器训练模块所运用的分类器有支持向量机(SVM)和稀疏分类(SRC)；为了得到多个不同的分类器，在处理SVM分类器的过程中，采用调整惩罚相关系数C和gamma相关系数G，并且在不同的参数组合上采取不同的内核，以此来组成的多种不同的分类器；运用到的内核有：RBF、Liner、Polynomial、Sigmoid；在对SRC分类器处理的过程中，采用在相同的训练集中随机挑选出不同的训练子集的方法，在此基础上训练得到的不同的字典；进而划分成多种独立的稀疏分类器，实现多分类器动态选择；

所述多分类器集成模块是根据二次测试样本的测试精确率均值以及待测样本的置信矩阵计算单个分类器的近邻性；然后根据不同的近邻性确定单个分类器在分类过程中的贡献度；依据分类器分类准确率的大小确定最终各个分类器的权重；

所述决策模块是根据测试样本送入单个分类器中测得的结果，送入已经赋值好权重的多个分类器中进行决策；对多种标签的测试结果进行比较，挑选最大的值作为识别的最终类别。

本发明系统的工作过程如下：

STEP1:

以测试样本为模版，从训练样本集中挑选出K个近邻。用这K个近邻送入不同的分类器中进行测试。测试结果呈现每个分类器对测试样本属于类别j的一个置信度，得到一个类似BD(x)的矩阵，如下：

其中，ρ_i,j(x)表示第i个分类器对测试样本x分类结果为类别j的概率；

STEP2:

由K个近邻得到的分类类别的结果矩阵形如步骤一BD(x)，计算被测样本属于类别j的概率均值BT_k：

${\mathrm{BT}}_k=\frac{1}{M_k}\underset{z\∈{\mathrm{\μ}}_k}{\Σ}BD\left(z\right)$

其中M_k表示K个近邻中由分类器L测得属于类别j的个数；BD(Z)是样本K个近邻中的某个样本Z的置信矩阵；

STEP3:

通过对K个样本中属于类别j的均值计算，进而可以进行下一步分析单分类器对原始待测样本测试的近邻性；由于单个分类器对不同的样本测得的准确率不同，因而不同分类器对某类特定测试样本挑选出的K个近邻的均值是不同的，进而得出不同的原始待测样本对不同的分类器的测得结果的近邻性有不同的反映；单个分类器对原始样本的近邻性ψ_k,n(t)计算公式如下：

${\mathrm{\ψ}}_{k,n}\left(t\right)=\frac{{(1+||{\mathrm{BT}}_k^n-B_n(t\left)\right|\left|\right)}^{-1}}{{\mathrm{\Σ}}_{k=1}^j{(1+||{\mathrm{BT}}_k^n-B_n(t\left)\right|\left|\right)}^{-1}}$

其中B_n(t)表示原始待测样本t的置信矩阵，而表示K个近邻中在所有类别n中属于类别j的概率均值；

STEP4:

依据步骤三得出的单个分类器对样本t的测试近似性，给所有分类器分配最终权重

${\mathrm{\ω}}_k^n\left(B_n\right(t\left)\right)=\frac{{\mathrm{\ψ}}_{k,n}\left(t\right){\mathrm{\Π}}_{m\≠k}(1-{\mathrm{\ψ}}_{m,n}(t\left)\right)}{{\mathrm{\Σ}}_{n=1}^N{\mathrm{\ψ}}_{k,n}\left(t\right){\mathrm{\Π}}_{m\≠k}(1-{\mathrm{\ψ}}_{m,n}(t\left)\right)}$

其中ψ_k,n(t)表示单个分类器对测试样本分类标签属于类别j的是正确的近邻性，否则就计算它的对立面1-ψ_m,n(t)；通过对每一个分类器的权重的赋值，将可以得到对测试样本t进行决策判别的最终结果r_k(t)；

$Max{r}_k\left(t\right)=\underset{n=1}{\overset{N}{\Σ}}{\mathrm{\ω}}_k^n\left(B_n\right(t\left)\right){\mathrm{BD}}_k\left(t\right)$

其中表示单个分类器在对测试样本t测试时所分配的权重，而BD_k(t)表示测试样本t的置信矩阵；当不同分类器组合对测试样本测得结果属于类别j的值不同时，测试结果的最大值作为最终的决策结果。

本发明具有有益效果

本发明采用选取待测样本X的K个不同的近邻的方案，以及利用这些近邻作为二次测试样本来调整每个分类器在最终测试中所占的权重的方法。具有如下有益效果：

本发明动态地调整单个分类器的权重。由于单个分类器的分类结果是片面的，而多种分类器的融合又存在一个至关重要的问题，如何设置不同分类器的权重。在本发明中通过二次测试样本能够根据不同的原始待测样本计算不同分类器的贡献程度。并且，可以根据测试集的不同动态的改变权重的赋值。这样的方案既解决了人工赋值的繁琐过程，又能有效的提高车牌识别系统检测准确率避免机械赋值。所以说本发明具有极高的应用价值。

本发明充分地发挥不同分类器的分类能力。无论是SVM还是SRC，在分类决策上所用的方法是不同的，在模式识别领域不同的分类器即使是对同一数据集测试也会呈现出不一样的效果。所以能够对不同分类器的分类结果进行系统的分析，对分类器权重的调整具有很大的帮助。

本发明利用两种不同的分类策略，避免偶然性。本发明采用的两种分类策略(SVM,SRC)是现今机器学习研究的热点，在机器学习以及神经网络学习领域具有前沿性。充分利用两种分类器的性质，避免单一分类策略导致的分类结果的偏差。

附图说明

图1是基于多分类器集成的车牌识别流程图。

图2是多分类器集成融合的过程图。

图3是单分类器与多分类器集成后在车牌数据集中的实验效果图。

图4是单分类器与多分类器集成后在IJCNN1数据集中的实验效果图。

具体实施方式

下面结合附图，对本发明的技术方案作进一步详细说明。

图1描述了本发明车牌识别系统的总体模型以及各部分模块的功能。

多分类器集成在车牌识别系统中的应用主要包括，单分类器训练模块，多分类器权重动态调整融合模块以及待测样本决策模块。

分类器训练模块就是多种分类器训练的过程。其核心在于调整不同的训练参数、核函数以及不同的训练数据集。在此基础上训练得到的分类器具有相互独立，互不影响且能排除测试结果偶然性的特点。

多分类器权重动态调整融合模块。在对原始待测样本的选取的K个近邻的基础上能够动态的根据测试样本的性质调整单个分类器的权重。在此基础上形成的决策模型能够最大限度的发挥各个独立分类器的能力。

待测样本决策模块。通过对样本标签决策结果的比较，可以直观的选取标签结果最大的值作为样本最终类别。

在车牌识别系统中，数据集S是已有的车牌样本。数据集的组成包括三个部分，训练样本集Tx、二次测试样本集Tk和原始待测样本集To。其中二次测试样本Tk＝9是从训练样本集中挑选的原始测试样本的近邻，所以说数据集总数S＝Tx+To。而数据集组成分为两类，车牌和非车牌，即样本标签C＝2(0或者1)。在本次数据集的采样过程中共有S＝2100个样本对象，其中训练样本有Tx＝1550个，原始待测样本To＝550个。

准备完数据集后开始训练多种独立的分类器。首先本发明通过调整C(penaltycoefficient),G(gammacoefficient)两个参数构建SVM分类器。同时为了提高SVM训练所得分类器分类准确率，本发明还引入多种不同的核函数。在车牌识别系统中选择了(0.5,0.313),(1.2,2.8),(0.354,0.0221)作为C,G参数的取值，而在每组取值之下又设置了4种不同的核函数，如下：RBF、Liner、Polynomial、Sigmoid。所以共构建了L1＝12种独立的SVM分类器。而在SRC分类器的构建中，本发明意在通过随机的在数据集S中随机挑选90％，85％，70％的训练样本，并且在每种数据比例下挑选三组不同的样本集，即不同样本集之间存在交叉。所以共构建了L2＝9种独立的SRC分类器。在此分类器总个数L＝L1+L2＝21个。

图2描述了分类器集成的流程图。具体实现过程有如下几个步骤：

STEP1:

对原始测试样本进行K个近邻的选择，从训练集Tx中选取K＝9个离原始待测样本最近的样本作为二次测试样本。送入上述组成的多种独立的分类器中进行分类，得到各个分类器对样本检测出是标签C的置信度，组成类似BD(x)的矩阵，如下：

其中，ρ_i,j(x)表示第i个分类器对测试样本x分类结果为类别j的概率。

STEP2:

由K个近邻得到的分类类别的结果矩阵形如步骤一BD(x)，计算被测样本属于类别j的概率均值BT_k。

${\mathrm{BT}}_k=\frac{1}{M_k}\underset{z\∈{\mathrm{\μ}}_k}{\Σ}BD\left(z\right)$

其中M_k表示K个近邻中由分类器L测得属于类别j的个数。BD(Z)是样本K个近邻中的某个样本Z的置信矩阵。

STEP3:

通过对K个样本中属于类别j的均值计算，进而可以进行下一步分析单分类器对原始待测样本测试的近邻性。由于单个分类器对不同的样本测得的准确率不同，因而不同分类器对某类特定测试样本挑选出的K个近邻的均值是不同的，进而得出不同的原始待测样本对不同的分类器的测得结果的近邻性有不同的反映。单个分类器对原始样本的近邻性ψ_k,n(t)计算公式如下：

${\mathrm{\ψ}}_{k,n}\left(t\right)=\frac{{(1+||{\mathrm{BT}}_k^n-B_n(t\left)\right|\left|\right)}^{-1}}{{\mathrm{\Σ}}_{k=1}^j{(1+||{\mathrm{BT}}_k^n-B_n(t\left)\right|\left|\right)}^{-1}}$

其中B_n(t)表示原始待测样本t的置信矩阵，而表示K个近邻中在所有类别n中属于类别j的概率均值。

STEP4:

依据STEP3得出的单个分类器对样本t的测试近似性，给所有分类器分配最终权重

${\mathrm{\ω}}_k^n\left(B_n\right(t\left)\right)=\frac{{\mathrm{\ψ}}_{k,n}\left(t\right){\mathrm{\Π}}_{m\≠k}(1-{\mathrm{\ψ}}_{m,n}(t\left)\right)}{{\mathrm{\Σ}}_{n=1}^N{\mathrm{\ψ}}_{k,n}\left(t\right){\mathrm{\Π}}_{m\≠k}(1-{\mathrm{\ψ}}_{m,n}(t\left)\right)}$

其中ψ_k,n(t)表示单个分类器对测试样本分类类别属于类别j的是正确的近邻性，否则就计算它的对立面1-ψ_m,n(t)。通过对每一个分类器的权重的赋值，将可以得到最终对测试样本t进行决策判别的结果r_k(t)。

$Max{r}_k\left(t\right)=\underset{n=1}{\overset{N}{\Σ}}{\mathrm{\ω}}_k^n\left(B_n\right(t\left)\right){\mathrm{BD}}_k\left(t\right)$

其中表示单个分类器在对测试样本t测试时所分配的权重，而BD_k(t)表示测试样本t的置信矩阵。当不同分类器组合对测试样本测得结果属于类别j的值不同时，将取最大值作为最终的决策结果。

下面提供几组实验数据集，更加直观的说明本发明的实验效果以及验证本发明所提出方法的有效性。同时为了规避实验偶然性造成的误差，这里提供一组开源数据集测试结果，数据集IJCNN1是从UCI数据库中获取得来。以下是针对不同数据集的测试结果。

图3描述的是在车牌数据集中的实验效果。从单个分类器中分类得到的最低实验准确率为41.82％，最高准确率为98％。而在多分类器集成后的实验效果为98.84％比单分类器识别率提高了0.84％。所以说，这种基于多分类器集成的车牌识别系统有效的提高了单个分类器的分类效果。

图4描述的是在UCI数据集IJCNN1上的实验效果图。在本次实验中由单分类器测得的最低准确率为76.95％，最高为98.74％。而经过多分类器融合后的准确率提高至98.97％。

从上述实验效果来看，本发明提出的实验方案当单个分类器分类效果很差的情况下多分类器融合后的测试结果能够有效提高分类准确率，多分类器融合后的测试效果比单个分类器测试效果平均能提高10％左右。但当单个分类器测得准确率较高的情况下，多分类器融合后的对原数据的决策效果能有0.2％左右的提升。通过对多组数据的实验对比，本发明在规避了实验有可能诱发的偶然性的同时，证明了这种动态调整多分类器权重进而进行多分类器集成的决策模型的有效性。

Claims (2)

1.一种基于近邻多分类器集成的车牌识别方法，其特征在于包括以下步骤：

STEP1：处理数据集，提取训练样本的特征，用此来训练多种不同的且相互独立的分类器；

STEP2:在STEP1的基础上，通过改变不同的参数、核函数、训练集的大小来训练多种单分类器；

STEP3:挑选待测样本的K个近邻，用此来计算单个分类器不同的置信度，调整单个分类器在样本测试中的权重并且进行多分类器的融合；

STEP4：待测样本的最终决策由经过STEP3融合后的各个分类器共同决定，判断样本所属类别。

2.实施如权利要求1所述的一种基于近邻多分类器集成的车牌识别方法的系统，其特征在于包括：特征提取模块、分类器训练模块、多分类器集成模块和决策模块；

所述特征提取模块划分为三部分:第一部分是训练样本的特征提取,训练样本的特征提取主要是用来训练多种不同的相互独立的分类器；第二部分是由二次测试样本组成的K个测试样本的特征提取，这一部分主要是用来进行测试各个分类器的检测准确率从而实现对权重的动态调整；第三部分是原始待测样本的特征提取，用来检测最终分类结果；

所述分类器训练模块所运用的分类器有支持向量机(SVM)和稀疏分类(SRC)为了得到多个不同的分类器，在处理SVM分类器的过程中，采用调整惩罚相关系数C和gamma相关系数G，并且在不同的参数组合上采取不同的内核，以此来组成的多种不同的分类器；运用到的内核有：RBF、Liner、Polynomial、Sigmoid；在对SRC分类器处理的过程中，采用在相同的训练集中随机挑选出不同的训练子集的方法，在此基础上训练得到的不同的字典进而划分成多种独立的稀疏分类器，实现多分类器动态选择；

所述多分类器集成模块是根据二次测试样本的测试精确率均值以及待测样本的置信矩阵计算单个分类器的近邻性；然后根据不同的近邻性确定单个分类器在分类过程中的贡献度；依据分类器分类准确率的大小确定最终各个分类器的权重；

所述决策模块是根据测试样本送入单个分类器中测得的结果，送入已经赋值好权重的多个分类器中进行决策；对多种标签的测试结果进行比较，挑选最大的值作为识别的最终类别。