CN103679191A - 基于静态图片的自动套牌车检测方法 - Google Patents

Abstract

本发明公开了一种基于静态图片的自动套牌车检测方法，包括以下步骤：（1）检测车辆品牌：提取静态图片中车辆前部图片，确定车头灯、散热器、品牌和保险杠区域；提取车辆图片的特征，并采用随机子空间分类器集成方法合并图片特征；根据车头灯、散热器、品牌和保险杠信息确定车辆品牌；（2）车型识别步骤：提取静态图片中整体车辆特征，确定车辆在静态图片中的位置，应用分类矢量量化（CVQ）模型判断车型；（3）车牌识别步骤：提取静态图片中车辆车牌，然后对车辆车牌上的字符进行分割，按照基于遗传算法的选择性集成方法进行字符识别；根据识别的结果判断是否为套牌车。三个方面获得的数据整合并同数据库中存在的注册时的信息进行比对以此来进行套牌车的检测。

Description

基于静态图片的自动套牌车检测方法

技术领域

本发明属于智能视频监控领域，具体涉及一种基于静态图片的自动套牌车检测方法。 

背景技术

近年来，智能交通可以被视为非常热的研究。目前，基于静态图片的车型分类仍然存在两大难题，一是如何确定车辆在图像中的位置。不同于一般的视频图像检索，静态图像中背景无法良好地提取出来。在车型分类中，一种替代方法被提出，这种方法忽略了图像中的背景因素，直接通过分类器来判断输入区域是否包含车辆。第二大难题是对车辆图片进行分类，现有技术中无法根据车辆图片进行车辆分类。因此现有技术中缺乏一种检测套牌车的具体方法。本发明因此而来。 

发明内容

本发明目的在于提供一种基于静态图片的自动套牌车检测方法，解决了现有技术中缺乏检测套牌车的具体方法，以及车辆无法分类、车牌无法识别等问题。 

为了解决现有技术中的这些问题，本发明提供的技术方案是： 

一种基于静态图片的自动套牌车检测方法，其特征在于所述方法包括以下步骤： 

（1）检测车辆品牌：提取静态图片中车辆前部图片，确定车头灯、散热器、品牌和保险杠区域；提取车辆图片的特征，并采用随机子空间分类器集成方法合并图片特征；根据车头灯、散热器、品牌和保险杠信息确定车辆品牌； 

（2）车型识别步骤：提取静态图片中整体车辆特征，确定车辆在静态图片中的位置，应用分类矢量量化（CVQ）模型判断车型； 

（3）车牌识别步骤：提取静态图片中车辆车牌，然后对车辆车牌上的字符进行分割，按照基于遗传算法的选择性集成方法进行字符识别；根据识别的结果判断是否为套牌车。 

优选的，所述方法步骤（1）中提取静态图片中车辆前部图片是先通过在二值图像中用长矩形集群方法，通过找到一个近似矩形区域来确定车牌的位置，然后按照预先设定的长度和宽度的阀值扩展车牌区域分割取得车头灯，散热器，车牌和保险杠区域。 

优选的，所述方法步骤（1）中提取车辆图片的特征是采用基于有向梯度多层直方图（PHOG）或基于曲波变换的方法获得的。 

优选的，所述方法步骤（1）中随机子空间分类器集成方法为： 

假设一个训练集X={X₁,X₂,…X_n}，每个训练样本X_i由一个p维向量来描述，X_i={x_i1,x_i2,...,x_ip}(I=1,...,n)，从原始的p维特征向量中随机选择p^*<p个特征，取得一个新的p*维特征向量，使得该原始训练样本集X被修改成

X中每个训练样本通过一个p^*特征向量来描述，

其中每个特征分量

是根据均匀分布随机选取的；然后在随机子空间Xr中构建R个分类器，并且通过最终多数表决规则来聚合这些分类器。 

优选的，所述方法步骤（2）中提取静态图片中整体车辆特征是通过提取Haar特征来获得的，并将图像像素灰度值转化为多维数据。 

优选的，所述方法步骤（2）中应用分类矢量量化模型判断车型是在分类前进行训练图片事先被分为小轿车，卡车，公交车，面包车4类，且每类的样本都将进行一次聚类处理；在训练样本聚类完成后，所得的4类车型的码本用于进行车型的分类，按照如下步骤进行分类处理： 

1）根据训练阶段生成的4类码本，输入图片将会尝试复原图像： 

$r_{\mathrm{ik}}=\frac{\exp (-\frac{{\left|\right|x-w_{\mathrm{ik}}\left|\right|}^2}{{2\mathrm{\&kappa;}}_k^2})}{{\mathrm{\&Sigma;}}_{l=1}^{K_i}\exp (-\frac{{\left|\right|x-w_{\mathrm{il}}\left|\right|}^2}{{2\mathrm{\&kappa;}}_l^2})},k=1,\&CenterDot;\&CenterDot;\&CenterDot;,{K|}_i,i=1,\&CenterDot;\&CenterDot;\&CenterDot;,N$

${\hat{x}}_i=\frac{{\mathrm{\&Sigma;}}_k{r}_{\mathrm{ik}}{w}_{\mathrm{ik}}}{{\mathrm{\&Sigma;}}_l{r}_{\mathrm{il}}},i=1,\&CenterDot;\&CenterDot;\&CenterDot;,N$

式中

就是复原后的图像矢量 

2）复原完成后，得到4张复原后的图片，每张都对应于一个车型；对于每一个图片获取误差率：

3)引入一个阈值η，其中err_j和err_i分别为误差的最小值和次小值；如果一张输入图片的阈值η小于等于一个既定值，该输入图片会被系统拒识；反之，误差值最小的复原图片所属于的类别，就是这张输入图片车辆的车型。 

优选的，所述方法步骤（3）中车辆车牌提取后采用主成分分析（Principal Component Analysis）的方法判断车牌是否倾斜以及倾斜的程度；然后通过向水平方向的映射进行各个字符的分割。 

优选的，所述方法步骤（3）中主成分分析（Principal Component Analysis）的方法的具体步骤是： 

1）获取数据集，即二值化图像中各个白色像素点的坐标轴位置； 

2）计算此数据集的协方差矩阵： 

$M=\left[\begin{array}{cc}E\left[(x-{\mathrm{\&mu;}}_1)(x-{\mathrm{\&mu;}}_1)\right]& E\left[(x-{\mathrm{\&mu;}}_1)(y-{\mathrm{\&mu;}}_2)\right]\\ E\left[(y-{\mathrm{\&mu;}}_2)(x-{\mathrm{\&mu;}}_1)\right]& E\left[(y-{\mathrm{\&mu;}}_2)(y-{\mathrm{\&mu;}}_2)\right]\end{array}\right];$

${\mathrm{\&mu;}}_1=E\left(x\right)=\frac{1}{n}{\mathrm{\&Sigma;}}_{i=1}^n{x}_i,{\mathrm{\&mu;}}_2=E\left(x\right)=\frac{1}{n}{\mathrm{\&Sigma;}}_{i=1}^n{y}_i;$ ；其中μ₁是x的期望值，同样的，μ₂是y的期望值。 

3）通过2)中的协方差矩阵计算得出第一主成分，并进行相应的倾斜判断与更正。 

本发明利用多层感知器作为判断图像是否包含车辆的依据，利用图像的haar-like特征进行判断。每组haar-like特征都对应于一个多层感知器，每个多层感知器都输出一个二值的结果，对应于是与否（是车辆或者不是车辆）。鉴于haar-like特征数量的庞大，发明中利用特征选择的思想，选取最能区分车辆与非车辆的特征组进行判断。这样做大量减少了，车辆区域确定的时间。在车型识别中，Classified Vector Quantization被用来作为分类器。该分类器训练快捷，结构简单，并且有很强的可扩展性。它的可扩展性体现在，如果需要临时添加分类的组别，不需要完全重新训练整个分类器，只需要对部分分类器进行调整即可完成。另外，该发明中还增加了分类器拒绝。其具体体现是，对于分类器不确定的输入图像，分类器可以拒绝进行分类，转而人工处理。这样做虽然增加了人的负担，但是分类的可信度大幅度上升。除了使用单一的分类器进行分类外，随着很多机器学习方法被用来设计准确而 稳健的分类系统，分类器集成学习技术备也受关注。分类器集成可整合多个组件分类器，如决策树或多层感知器(MLP)，对于用于同一任务使用相同的基本学习算法。分类器集成学习的必要条件之一是集成系统的多样性，即，单独的分类器在不同的实例上产生不同的的错误，一个通常的办法是通过数据重采样技术获得不同的训练数据集来训练分类器组件，如自举(bootstrapping)。对于车品牌识别部分,基于此原则的一种流行的分类器集成的方法是随机子空间集成（RSE）。RSE的简单原则是：为每个分类器从原数据集合构建一个特征子集。其主要思想是加强各组件分类器的多样性，同时保持较高的分类精度。采用随机特征子集，RSE在构建和集成分类器上体现了一定的优势，特别是对于可训练对象的数量少于特征维度的情况，RSE能够一定程度化解这种所谓小样本问题。从另一个角度来看，RSE可避免维数灾难的困境，这是因为每个子空间的维数相对原始特征空间的维数变小，但训练对象的数量不会改变。很多应用结果表明，RSE分类器集成经常优于在原始特征空间训练的单一分类器。对于车牌识别部分,GASEN，基于遗传算法的选择性集成方法被用来分类器集成的学习。另外有Classified Vector Quantization被用来作为分类器。该分类器训练快捷，结构简单，并且有很强的可扩展性。它的可扩展性体现在，如果需要临时添加分类的组别，不需要完全重新训练整个分类器，只需要对部分分类器进行调整即可完成。GASEN同CVQ的结合使得识别准确度有了相当大的提升。 

相对于现有技术中的方案，本发明的优点是： 

本发明提出了一种基于静态图片的高可靠自动套牌车检测方法。此方法包含了三个部分：车品牌识别，车型识别以及车牌识别。经以上三个方面获得的数据整合并同数据库中存在的注册时的信息进行比对以此来进行套牌车的检测。 

附图说明

下面结合附图及实施例对本发明作进一步描述： 

图1为本发明模块训练的流程图； 

图2为本发明车辆位置确定的流程图； 

图3为本发明候选窗口的取得方法过程图； 

图4为本发明车型分类器的基本结构图； 

图5为本发明区域形成示意图； 

图6为本发明CVQ模型的整体结构图，每个net对应聚类操作后的一个码本。 

图7为本发明实施例样本图片； 

图8为本发明车前部图片自动分割结果； 

图9为本发明车辆图片以及对应的曲波变换结果； 

图10为本发明车辆图片与对应的梯度多层直方图结果； 

图11为本发明车辆所在位置的识别结果； 

图12为本发明聚类操作后所产生的码本； 

图13为本发明分类器进行复原处理的结果； 

图14为本发明原始图像灰度图、接受了top-hat变换后的图像、二值化后的结果以及condensing操作后的图像； 

图15为本发明提取的车牌区域图像，以及倾斜纠正后的图像； 

图16为本发明向水平方向投影图像和字符分割后的图像结果； 

图17为本发明基于SOM产生的6个类别的码本，数字0，1，2，字母A，B，C。每个码本有10X10的参照向量； 

图18为本发明Haar特征提取时A,B,C,D四个矩形块； 

图19为本发明基于静态图片的自动套牌车检测方法简要流程图； 

图20为本发明基于静态图片的自动套牌车检测方法详细流程图。 

具体实施方式

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。 

实施例 

如图19～20所示，本发明技术方案包含三个重要组成部分：车品牌检测，车型检测和车牌检测。 

一、车品牌识别 

1.1 车前部图片的提取（感兴趣区域确定） 

首先在二值图像中用长矩形集群（rectangular constellation）方法，通过找到一个近似矩形区域来确定车牌的位置，接着以此为参考，按照预先设定的长度和宽度的阀值扩展车牌区域以分割取得车头部分的图片，包含了车头灯，散热器，车牌和保险杠。 

1.2 特征提取 

本发明提出两种方法来提取图像的特征值，一种是基于有向梯度多层直方图（PHOG），另一种是基于曲波变换。曲波变换表达形式能更好的描述更高的时频精度，具有更高的方向性和各向异性，特别适合用来描述富有曲线或边缘特征的图像。有向梯度多层直方图通过对每一个图像子区域计算边沿方向直方图并量化来表示图像的局部形状。与以前提出的车型分类的特征提取方法相比，PHOG从车辆图像提取判别信息有明显的优势。 

有向梯度多层直方图(PHOG) 

对于给定图像的任意子窗口，有向梯度直方图(HOG)对每个边沿点积聚落入某特定区间的梯度角度，而一个边缘点的权值则根据该点的梯度大小来决定。有向梯度多层直方图(PHOG)是将这些HOG直方图结合到一个形状描述向量。HOG特征为一个图像小块的方向梯度编码，不考虑其方向位于该小块的何处。因此，当该图像小块的基本结构具有重要的空间属性时，其区别性是不足的。有向梯度多层直方图(PHOG)在用HOG表示图像同时考虑图像局部形状的空间属性。根据多个分辨率，一幅图像可以分成几个区域，从而达到表达空间信息的目的。通过在每个纵、横轴方向上重复划分，每个图像被划分为越来越细的空间网格。每个网格单位的点的数目被记录下来。第一级的每个单位的点数是该单位在下一级分成的四个单位的点数之和，从而形成金字塔状的划分形式。每一级分辨率的单位数目是该级的直方图bin数。两个点集之间的对应关系可以计算成是每一级的直方图相交的加权和。更具体地说，对每个分辨率层的每一个网格单位计算出HOG向量。最终，图像的PHOG描述就是结合所有分辨率层每一个网格单位的HOG向量 

曲波变换 

曲波变换是现在最新的非自适应变换方法之一。相较于小波，曲波提供了一个更加稀疏的表示，具有更好的方向性基元，从而能更好的表示边缘以 及曲线的奇点。稀疏的表示通常具有更好的性能以及有效的信号与模拟能力。 

在曲波转换中，精密标度的基函数是长脊状函数;函数的标度范围是从2-j到2-j/2，因此精密标度的基具有准确定义的方向。曲波系数可表示为 

其中

表示曲波函数，j,l和k,分别表示标度，方向和位置。 

目前，人们已经提出了几个不同的离散曲波变换或类似的曲波变换。颇具影响力的是基于快速傅立叶变换（FFT）的方法。在频域，曲波变换功能可以用

通过窗口函数U实现。定义一个窗口对W(t)（一径向窗口）和V(t)（一个角度窗口）如下： 

${\&Integral;}_{j=-\&infin;}^{\&infin;}{W}^2\left(2^{j}r\right)=1,r\&Element;(3/4,3/2)---\left(2\right);$

${\&Integral;}_{j=-\&infin;}^{\&infin;}{V}^2(t-1)=1,t\&Element;(-1/\mathrm{2,1}/2)---\left(3\right);$

其中W是频率域变量，r和θ是频域中的极坐标，然后对于每个j>j₀，U_j是指在傅立叶域中 

$U_j=(r,\mathrm{\&theta;})=2^{3j/4}w\left(2^{-j}r\right)v\left(\frac{2^{[j/2]}\mathrm{\&theta;}}{2\mathrm{\&pi;}}\right)---\left(4\right);$

其中[j/2]表示j/2的整数部分。 

现在最快的曲波变换是通过所谓包装技术。如果f([t₁，t₂]),0≤t₁，t₂≤n是采取了笛卡尔阵列，且表示其二维DFT，那么通过包装的曲波架构将如下： 

二维FFT用来求得傅立叶变换 $\hat{f}[n_1,n_2],-n/2\&le;n1,n2<n/2.$

对于每一个标度j和角度l，乘积 $\hat{f}[n_1,n_2]=W(\mathrm{tidleUj},\mathrm{lf})[n1,n2]$ 成立，其中

是离散的局部窗口。 

通过原来的乘积得到

n₁和n₂的范围是0≤n1<L_1,j，0≤n₂<L_2，j；L_1,j～2^j和L_2,j～2^j/2是常数。 

应用二维FFT逆变换到每个从而得到离散曲波系数。 

根据曲波系数，可以从每个曲波子带得到一些重要的统计信息。在本发 明中，利用均值μ和标准差δ作为简单的图像特征。如果n个曲波用于变换，可以得到G=[G_μ，G_δ]计2n个特征，其中G_μ=[u₁，μ₂，…，μ_n]，G_δ=[δ₁,δ₂,...，δ_n]。换言之，2n维特征向量可以用来表示数据集中的每个图像。 

组合特征 

从上述两种方法提取的每种特征表达了图像内容中不同的内容。为了构建有较高精度的分类系统，可以将这两个特征描述方法适当合并，从而提供更全面的信息。由于PHOG的值和曲波特征的数值范围不同，在合并它们于一个单个向量之前，首先将其归一化于[-1 1]范围之内。合并多重特征的困难之一在于图像特征的高维度。然而，随机子空间分类器集成技术可以间接地解决这个问题。 

1.3 随机子空间分类器集成 

分类器集成是将多个分类器进行单独训练，并将其适当结合构成分类决策。一般来说，分类器集成可以同时减少分类的方差和偏倚。分类器集成通常能提供更好的分类性能。分类器集成的方法很多，一个主流的方法就是在训练数据的不同子集上训练集成成员，例如对训练数据重采样(bagging)[16]以及重取权重(boosting)[20]来实现。Bagging(bootstrap aggregation的简称)为集成生成多个训练集。Bootsting生成一系列分类器，其训练集由前几个分类器的性能决定。前面分类器错误分类的训练实例在后面训练的分类器中起着更重要的作用。 

可以应用不同的分类器到集成学习，在此以神经网络分类器为例。理论证明，如果有足够多的中间层单元，一个简单的三层反向传播神经网络(BPNN)可以逼近任意连续函数。但是，神经网络的泛化性能并不十分稳定，很多因素，例如不同的网络结构和初始条件，可能都会影响学习结果。而存在这种基础分类器的差异是分类器集成成功的必要条件。 

通过反向传播算法训练的多层感知器(MLP)已经有大量成功的应用，特别是多分类问题。多个源节点组成了输入层，一个或多个隐层提供计算节点，以及一个输出层，一个MLP组成输入-输出映射，这种输入-输出关系是由两个相邻层间节点连接的权重来决定的。改变这权重将改变该网络输入到输出的性态。一个MLP的学习或者训练通常通过训练数据，通过梯度递减来 实现，即通过反向传播算法优化一个可导的目标函数（如均方误差）来完成。 

一个MLP集成利用一系列MLP分类的分歧期待其性能的提升。在构建MLP集成的过程中，一个重要的的因素就是创造该集成成员的多样性。在本发明中我们着重一个比较成功的集成生成技术，即基于随机子空间的MLP集成。和随机森林一样，最初的随机子空间技术独立地通过决策树来建造基础分类器，每个分类器都是一个决策树，它们都是在随机的特征子空间中训练成的。随机子空间的基本算法是：对于一个d维的训练集，选择一个固定的n(n<d)，根据均匀分布随机选择n个特征。因此，原来d维的训练集被变换到所选择的n维子空间。得到的特征子集被用来训练基础分类器。重复这个过程m次，直到训练出m个基于不同的随机特征子集的基础分类器，得到的分类器集尔后通过多数表决进行合并。随机子空间的主要思想是同时鼓励多样性和正确性：选择随机特征子集会带来基础分类器的多样性，同时保证每个基础分类器的正确性。 

随机子空间集成算法可进一步表述如下： 

考虑一个训练集X={X₁,X₂,…X_n}，每个训练样本X_i由一个p维向量来描述，X_i={x_i1,x_i2,…,x_ip}(I=1,…,n).我们从原始的p维特征向量中随机选择p^*<p个特征，取得一个新的p^*维特征向量，使得该原始训练样本集X被修改成 X中每个训练样本通过一个p^*特征向量来描述， 其中每个特征分量

是根据均匀分布随机选取的。然后在随机子空间X^r中构建R个分类器，并且通过最终多数表决规则来聚合这些分类器。基于MLP的随机子空间集成的算法流程可以如下阐述： 

输入：一个d维的有标签的训练数据集。 

从这个d维的特征空间选择一个映射到一个k维的子空间。 

将原来d维特征空间映射到这个选择的k维子空间。 

在该获取的k维特征上训练一个MLP分类器。 

重复步骤1-3m次为该集成个体来取得m个不同的子空间及相应的分类器；通过多数表决聚合这些分类器。 

二、车型识别 

2.1 特征提取 

Haar特征 

Haar特征是一种用于物体探测及识别的方法，有很高的准确度和速度。具体提取方法如下：设定提取图18中A,B,C,D四个矩形块的特征，使用白色区域的像素积分减去黑色区域的像素积分，对于A,B,D这类形状（白色块数量等于黑色块数量），公式为：特征值=白色区域灰度值积分–黑色区域灰度值积分；对于C这类形状（白色块数量为黑色块数量2倍），公式为：特征值=白色区域灰度值积分–黑色区域灰度值积分*2。 

像素特征直接提取：直接将图像像素灰度值转化为多维数据，并将该数据输入分类器中处理。 

2.2 车辆在静态图片中的位置（感兴趣区域确立） 

用于确立车辆在静态图片中位置的模块需要经过训练，而后才能应用于实际情况。 

模块训练 

对训练集图像预处理，并提取Haar-like特征。尔后进行一下训练具体过程，步骤具体参见图1： 

1）将训练数据再次分为两组，一组用于训练MLP分类器，另一组用于MLP分类器的筛选。 

2）按照每组特征对应一个分类器，建立数量与特征组数相等的MLP分类器群，并且使用上一步选出的一组数据，对群中各分类器进行训练。 

3）使用步骤（1）中用于筛选分类器的数据对（2）步骤中分类器群中各个MLP分类器测试。将各个MLP分类器的表现进行记录，并排序。 

4）处理上一步中MLP分类器表现数据，选出一定数量的表现好的MLP分类器，并记录这个分类器所对应的特征组。将这些分类器组成一个新的分类器组。 

车辆位置确定 

在模块训练中，MLP群组以及群组成员所对应的特征组也被记录下来。当一幅静态图像输入该模块，步骤具体参见图2，处理步骤基本如下： 

1）对输入的原始图片进行简单的预处理 

2）使用扫描的方法将图片中区域位置视为候选窗口（Windows）； 

3）对于每个候选窗口，提取2.1中得到的特征组的特征数据，并将各特征数据送入对应的MLP分类器 

4）处理并记录MLP群的输出结果 

5）将原始图片中所有位置扫描处理完成，收集结果并分析以获得最合适的候选窗口，该窗口即为车辆在图片中的位置。 

步骤的图解请参见图2所示。候选窗口的取得方法见图3所示。 

2.3应用分类矢量量化模型判断车型 

在分类器训练阶段，用于训练的图片将被缩小到一定像素，像素值直接由于聚类操作，以得到对应于各类别的码本。聚类方法例如k-均值，自适应子空间自组织映射和神经气态（neural gas）模型都可以被使用。训练图片事先被分为小轿车，卡车，公交车，面包车4类，且每类的样本都将进行一次聚类处理。在训练样本聚类完成后，所得的4类车型的码本用于进行车型的分类。分类器的训练阶段完成后，车辆定位模块输出的车辆图片输入该分类器，该分类器的分类处理步骤： 

1）根据训练阶段生成的4类码本，输入图片将会尝试复原图像，公式如下： 

$r_{\mathrm{ik}}=\frac{\exp (-\frac{{\left|\right|x-w_{\mathrm{ik}}\left|\right|}^2}{{2\mathrm{\&kappa;}}_k^2})}{{\mathrm{\&Sigma;}}_{l=1}^{K_i}\exp (-\frac{{\left|\right|x-w_{\mathrm{il}}\left|\right|}^2}{{2\mathrm{\&kappa;}}_l^2})},k=1,\&CenterDot;\&CenterDot;\&CenterDot;,{K|}_i,i=1,\&CenterDot;\&CenterDot;\&CenterDot;,N$

${\hat{x}}_i=\frac{{\mathrm{\&Sigma;}}_k{r}_{\mathrm{ik}}{w}_{\mathrm{ik}}}{{\mathrm{\&Sigma;}}_l{r}_{\mathrm{il}}},i=1,\&CenterDot;\&CenterDot;\&CenterDot;,N$

公式中就是复原后的图像矢量 

2）复原完成后，得到4张复原后的图片，每张都对应于一个车型。对于每一个图片都求他的误差率，公式：

3）为了将拒绝也加入该系统内，引入一个阈值η，

其中err_j和err_i分别为误差的最小值和次小值。 

4）如果一张输入图片的阈值η小于等于一个既定值，该输入图片会被系统拒识。反之，误差值最小的复原图片所属于的类别，就是这张输入图片车辆的车型。 

车型分类器的基本结构如图4所示。 

三、车牌识别 

同传统的车牌识别方法相似,本方法也是由三个部分构成:车牌提取,字符分割和字符识别. 

3.1 车牌提取（感兴趣区域确定） 

通常所含车辆的照片为彩色，所以首先图片会接受预处理。其中，彩色图片会变转化为相应的灰度图像，仅只有饱和信息予以保留。然后所得的灰度图像会接受形态学运算（morphological operation）的处理，比如开运算和侵蚀运算（open and erosion），和二值化处理，这样图片中的某些干扰所带来的影响会被降低甚至消除。此时图片做好了进入下一轮的准备，即车牌区域的提取。在车牌提取中，边缘统计的方法将会被应用。令经过预处理的图片为PG，首先PG会被压缩或者精简为一张更小的图片，令其为PC。PG可以分为多个区块，PC中的每个像素点都和每个不同的区块一一对应。在压缩（condensing）这一操作中，如果某一模块中的白色像素的个数满足了某一个预先设置的阀值的要求那么PC中所对应的像素点将会被设置为白色反之为黑色。这个操作的目的是在全局上加强邻近像素点的联系，因为通常情况下二值化图片中车牌区域有着明显的黑白像素的区分。边缘统计的原理十分易懂，PC将会被逐行扫描，在每一行中，相邻的像素点将会被合并形成线段，适合的线段将会被合成不同的区域。 

线段的形成 

图像PC会被逐行的扫描。对于每一行，扫描都会从左向右的开始。如果遇到一行中的第一个白色像素点，那么它将会被认为是某一线段的开始，例如L1（线段一）。如果紧接着的第二个白色像素点同L1足够接近（同L1最右端像素点的距离小于某个预先设定的阀值），那么它将会被合并成为L1的一部分，否则此像素点会被认为是一个潜在新线段的起点，同时之前线段的形成工作将会终止，其长度将会同预先设定的范围进行比较。如果长度在此范围之内，此线段将会被保留，否则说明此线段太长或太短，没有可能成 为车牌区域的潜在组成部分，将会被丢弃。 

区域的形成 

在以上操作之后，会有许多线段的产生，其中竖直方向上相邻并在水平方向上相近的线段将会被合并成候选车牌区域。这里竖直方向上相邻指的是两线段所在行数差为一；水平方向上相近指的是两线段起始像素点的距离差不超过某一预设的阀值。如图5所示，线段X在第j行，线段Y在第j+1行，这两线段可视为竖直方向上相邻的。线段X和Y的距离为2，如果阀值设定为4，那么X和Y可以进行合并；如果阀值设定为1，那么合并不能进行。最后形成的区域会以矩形的形式进行存储，每个矩形会以其左上角的坐标和右下角的坐标进行表示。因此对于每一次的合并操作，矩形的表示都会进行更新。还是以图5为例子，线段X本身就可视为一个区域((j,k),(j,k+6)).在X和Y合并后，新的区域表示为((j,k+1),(j+1,k+7))。由此可以看出合并是列方向的取平均，这样做可以有效地避免一些干扰。 

通常情况下，在区域形成操作之后会有许多个车牌候选区域，为了找出其中的最优者，以下的三条规则将会被依次实施： 

1）候选区域的长度和宽度需要满足预先设置的最大和最小阀值。 

2）候选区域的长度和宽度的比值需要在一个预先设置的范围内。 

3）最靠近下方的候选区域将被认为是车牌区域。 

3.2 字符分割 

字符分割主要分为两个部分：车牌倾斜的检测与纠正以及各个字符的分割。第一部分主要依靠了主成分分析（Principal Component Analysis）的方法，由于车牌的特殊形状，在这个应用中主要目的是找出车牌二值图像的第一主成分，了解其方向并从中判断是否倾斜以及倾斜的程度。具体步骤如下显示： 

1）获取数据集，即二值化图像中各个白色像素点的坐标轴位置。 

2）计算此数据集的协方差矩阵。 

$M=\left[\begin{array}{cc}E\left[(x-{\mathrm{\&mu;}}_1)(x-{\mathrm{\&mu;}}_1)\right]& E\left[(x-{\mathrm{\&mu;}}_1)(y-{\mathrm{\&mu;}}_2)\right]\\ E\left[(y-{\mathrm{\&mu;}}_2)(x-{\mathrm{\&mu;}}_1)\right]& E\left[(y-{\mathrm{\&mu;}}_2)(y-{\mathrm{\&mu;}}_2)\right]\end{array}\right];$

${\mathrm{\&mu;}}_1=E\left(x\right)=\frac{1}{n}{\mathrm{\&Sigma;}}_{i=1}^n{x}_i,{\mathrm{\&mu;}}_2=E\left(x\right)=\frac{1}{n}{\mathrm{\&Sigma;}}_{i=1}^n{y}_i;$

其中μ₁是x的期望值，同样的，μ₂是y的期望值。 

3）通过2)中的协方差矩阵计算得出第一主成分，并进行相应的倾斜判断与更正。 

第二部分各个字符的分割中依靠的是简单的向水平方向的映射，该图X轴表示的是图片水平方向，Y轴表示的是白色像素点的个数。通过之后的分析判断，各个字符可以被顺利的分割出来。 

3.3字符识别 

这一部分创新性地将分类矢量量化（Classified Vector Quantization，CVQ）模型同传统的遗传算法相结合，形成了在CVQ模型中的基于遗传算法的选择性集成方法（Genetic Algorithm based Selective Ensemble,GASEN）。 

分类矢量量化CVQ模型 

在此模型中，每一个类别都有相应的码本（codebook）与之对应。一个码本通常含有多个参照向量（reference vector）。在码本的训练或者说提炼过程中，只有与之相对应类别的样本才能被处理来改变码本中所包含的参照向量。码本被用来存储输入空间内隐藏的有意义的内部结构，之后会被用来基于特定规则复原输入样本。因此，理论上一个码本所含参照向量越多，该码本所对应的类别就能涵盖更加多样性的样本形态。但是，实际中，从训练时间以及所需计算机资源的角度考虑，码本的大小不宜过大。 

在步骤2之后，所获得的所有分割后的图片将会按照各自类别统一存放，例如数字3的都放在一起，字母A的都放在一起等。从中随机选择训练集数据被用于聚类操作（也就是码本的训练），以得到对应于各类别的码本。聚类方法例如k-means，SOM和neural gas都可以被使用。 

图6CVQ模型的整体结构，每个net对应聚类操作后的一个码本。CVQ模型的具体步骤如下所示： 

1）当给定一个训练样本X，不仅是获胜的参照向量w_k（与样本欧拉距离最短的向量）需要被调整，而且那些临近的向量w_l也都需要被调整，学习的算法如下所示： 

Δw_k(m)=μ_kh_σ(k，l)(x-w_k(m))，m=1,…，M (3)； 

其中h_σ是邻近交互方程，随着向量l和k距离增加而单调递减，因此通 常采用高斯方程： 

$h_{\mathrm{\&sigma;}}(k,I)=\exp (-\frac{d_k^2}{{2\mathrm{\&sigma;}}^2})---\left(4\right).$

2）训练完毕后，当给定一个数据向量X，从每个类别的码本中选出一个所谓的获胜参照向量w(c)然后再算该类中其他每个参照向量w(k)同w(c)的相关性。 

$a_k=h_{\mathrm{\&sigma;}}(k,c)\exp (-\frac{x-w{\left(k\right)}^2}{{2p}^2})---\left(5\right).$

3）最后，对于每一个类别生成一个复原向量x’和与之对应的复原误差。其中误差最小的复原向量所对应的类别即是输入向量所对应的类别。 

$x^{\&prime;}=\frac{{\mathrm{\&Sigma;}}_a{a}_{k}w\left(k\right)}{{\mathrm{\&Sigma;}}_k{a}_k}---\left(4\right).$

遗传算法（GASEN） 

GASEN被用来从多个单独训练的分类器中,在这个应用中为CVQ模型,从准确度出发,来挑选出最优的CVQ模型集合以形成一个高效的集成。GASEN大量地依靠遗传算法来实现。遗传算法是一种模仿自然界生物进化的搜索策略。在本例中，问题的解答是以二进制编码的形式来呈现。编码1表示对应的分类器即上述的CVQ模型被包含在最后的集成当中而0则代表不包括。 

以下进行具体应用说明： 

首先进行车品牌识别，从苏州工业园区独墅湖高教区公安分局所提供的大量图片中，选取一部分包含不同品牌的图像集合，例如奇瑞，长安，奥迪等。如图7所示的样本图片，进行图片分割后得到车前部图片，如图8所示。进行车辆图片曲波变换后，结果如图9所示。进行车辆图片梯度多层直方图处理后，结果如图10所示。 

然后进行车辆车型识别。图11为确定车辆区域的结果。在图12中，左上是面包车训练集的聚类码本，右上是公交车训练集的据类码本，左下是小轿车的聚类码本，右下是卡车的聚类码本。 

现在有一个车辆图片（图13a，源图像（经过缩小处理））作为输入图像输入车型识别的分类器，可以得到（图13b～e）的复原图像，复原图像中， 从左至右（b～e）依次为：公交车，小轿车，面包车，卡车。从以上可以得出，这个源图像属于小轿车。 

最后进行车牌识别，图14a为原始图像灰度图，图14b为接受了top-hat变换后的图像；图14c为二值化后的结果，图14d为condensing操作后的图像；图15a为提取的车牌区域，有些倾斜；图15b为倾斜纠正后的图像 

图15所对应的协方差矩阵M为： 

$M={10}^6\&times;\left[\begin{array}{cc}1.0498& -0.0390\\ -0.0390& 0.1129\end{array}\right]$

与此对应的特征值和特征向量为: 

通过分析第一主成分向量（-0.9991，0.0415）可知，图15a需要顺时针旋转2.3793°。图16左图为向水平方向投影图像，右图为字符分割后的图像；图17基于SOM产生的6个类别的码本，数字0，1，2，字母A，B，C。每个码本有10X10的参照向量。 

上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。 

Claims (8)

1.一种基于静态图片的自动套牌车检测方法，其特征在于所述方法包括以下步骤：

（1）检测车辆品牌：提取静态图片中车辆前部图片，确定车头灯、散热器、品牌和保险杠区域；提取车辆图片的特征，并采用随机子空间分类器集成方法合并图片特征；根据车头灯、散热器、品牌和保险杠信息确定车辆品牌；

（2）车型识别步骤：提取静态图片中整体车辆特征，确定车辆在静态图片中的位置，应用分类矢量量化（CVQ）模型判断车型；

（3）车牌识别步骤：提取静态图片中车辆车牌，然后对车辆车牌上的字符进行分割，按照基于遗传算法的选择性集成方法进行字符识别；根据识别的结果判断是否为套牌车。

2.根据权利要求1所述的自动套牌车检测方法，其特征在于所述方法步骤（1）中提取静态图片中车辆前部图片是先通过在二值图像中用长矩形集群方法，通过找到一个近似矩形区域来确定车牌的位置，然后按照预先设定的长度和宽度的阀值扩展车牌区域分割取得车头灯，散热器，车牌和保险杠区域。

3.根据权利要求1所述的自动套牌车检测方法，其特征在于所述方法步骤（1）中提取车辆图片的特征是采用基于有向梯度多层直方图（PHOG）或基于曲波变换的方法获得的。

4.根据权利要求1所述的自动套牌车检测方法，其特征在于所述方法步骤（1）中随机子空间分类器集成方法为：

假设一个训练集X={X₁,X₂,…X_n}，每个训练样本X_i由一个p维向量来描述，X_i={x_i1,x_i2,...,x_ip}(I=1,...,n)，从原始的p维特征向量中随机选择p^*<p个特征，取得一个新的p^*维特征向量，使得该原始训练样本集X被修改成

X中每个训练样本通过一个p^*特征向量来描述， $X_i^r=\{x_{i1}^r,x_{i1}^r,...,x_{{\mathrm{ip}}^{*}}^r\}(i=1,...,n),$ 其中每个特征分量

是根据均匀分布随机选取的；然后在随机子空间X^r中构建R个分类器，并且通过最终多数表决规则来聚合这些分类器。

5.根据权利要求1所述的自动套牌车检测方法，其特征在于所述方法步骤（2）中提取静态图片中整体车辆特征是通过提取Haar特征来获得的，并将图像像素灰度值转化为多维数据。

6.根据权利要求1所述的自动套牌车检测方法，其特征在于所述方法步骤（2）中应用分类矢量量化模型判断车型是在分类前进行训练图片事先被分为小轿车，卡车，公交车，面包车4类，且每类的样本都将进行一次聚类处理；在训练样本聚类完成后，所得的4类车型的码本用于进行车型的分类，按照如下步骤进行分类处理：

1）根据训练阶段生成的4类码本，输入图片将会尝试复原图像：

$r_{\mathrm{ik}}=\frac{\exp (-\frac{{\left|\right|x-w_{\mathrm{ik}}\left|\right|}^2}{{2\mathrm{\&kappa;}}_k^2})}{{\mathrm{\&Sigma;}}_{l=1}^{K_i}\exp (-\frac{{\left|\right|x-w_{\mathrm{il}}\left|\right|}^2}{{2\mathrm{\&kappa;}}_l^2})},k=1,\&CenterDot;\&CenterDot;\&CenterDot;,{K|}_i,i=1,\&CenterDot;\&CenterDot;\&CenterDot;,N$

${\hat{x}}_i=\frac{{\mathrm{\&Sigma;}}_k{r}_{\mathrm{ik}}{w}_{\mathrm{ik}}}{{\mathrm{\&Sigma;}}_l{r}_{\mathrm{il}}},i=1,\&CenterDot;\&CenterDot;\&CenterDot;,N$

式中

就是复原后的图像矢量

2）复原完成后，得到4张复原后的图片，每张都对应于一个车型；对于每一个图片获取误差率：

3）引入一个阈值η，

其中err_j和err_i分别为误差的最小值和次小值；如果一张输入图片的阈值η小于等于一个既定值，该输入图片会被系统拒识；反之，误差值最小的复原图片所属于的类别，就是这张输入图片车辆的车型。

7.根据权利要求1所述的自动套牌车检测方法，其特征在于所述方法步骤（3）中车辆车牌提取后采用主成分分析（Principal Component Analysis）的方法判断车牌是否倾斜以及倾斜的程度；然后通过向水平方向的映射进行各个字符的分割。

8.根据权利要求1所述的自动套牌车检测方法，其特征在于所述方法步骤（3）中主成分分析（Principal Component Analysis）的方法的具体步骤是：

1）获取数据集，即二值化图像中各个白色像素点的坐标轴位置；

2）计算此数据集的协方差矩阵：

$M=\left[\begin{array}{cc}E\left[(x-{\mathrm{\&mu;}}_1)(x-{\mathrm{\&mu;}}_1)\right]& E\left[(x-{\mathrm{\&mu;}}_1)(y-{\mathrm{\&mu;}}_2)\right]\\ E\left[(y-{\mathrm{\&mu;}}_2)(x-{\mathrm{\&mu;}}_1)\right]& E\left[(y-{\mathrm{\&mu;}}_2)(y-{\mathrm{\&mu;}}_2)\right]\end{array}\right];$

${\mathrm{\&mu;}}_1=E\left(x\right)=\frac{1}{n}{\mathrm{\&Sigma;}}_{i=1}^n{x}_i,{\mathrm{\&mu;}}_2=E\left(x\right)=\frac{1}{n}{\mathrm{\&Sigma;}}_{i=1}^n{y}_i;$ ；其中μ₁是x的期望值，同样的，μ₂是y的期望值。

3）通过2)中的协方差矩阵计算得出第一主成分，并进行相应的倾斜判断与更正。

Images