CN101635027A - 一种基于En-ULLELDA的多视角车型识别方法 - Google Patents

Abstract

一种基于En－ULLELDA的多视角车型识别方法，首先选取车辆ROI，其次通过Gabor小波变换提取可以反映车型的高阶信息作为特征，然后通过一种新颖的流形学习算法En－ULLELDA对特征进行降维，将其变换到一个低维子空间。识别时对测试样本特征通过分类器得到对应的车型类别。实验结果表明本发明可以有效的处理城市道路中的多视角车型识别问题，并且由于采用了集成技术消除参数变化对识别结果的影响，使得本方法鲁棒性较强。

Description

一种基于En-ULLELDA的多视角车型识别方法

技术领域

本发明属于图像识别方法，具体涉及一种基于En-ULLELDA的多视角车型识别方法。

背景技术

车型识别是指通过采集到的车辆图像或信息来识别车辆的生产厂商和型号。如，奥迪(生产厂商)A6(型号)。车型识别具有很强的应用背景，如可用于调查某种车型的市场占有率，查找通过路口或收费站的某种型号的车辆以协助警方破案等。车型识别属于模式识别问题，目前对车型识别的研究比较少，只有少数研究者做了这方面的研究。目前的车型识别方法可以分为三种：一种是采用边缘匹配的方法进行车型识别，另一种是用SIFT特征点匹配的方法，第三种是采用车头部对称变换的方法。这三种方法都是使用车头部作为感兴趣区域(ROI，Region ofInterest)进行识别，其中前两种方法是根据定位车牌来提取车头部。而这三种方法在识别率与实际应用中都存在局限性，适合停车场，收费站这类固定视角下的车型识别。

而在实际应用中，如城市道路、高速公路等，在道路上方架设的摄像机视野开阔，那么进入摄像机视野的车辆视角会由于位置不同和车辆方向不同而产生差异。这样，仅根据定位到的车牌来提取ROI会产生差异，进而影响识别结果。也就是说，固定视角的车型识别方法已经不适用于解决多视角问题，因此，需要研究多视角情况下的车型识别技术，固定视角下的车辆识别方法很少，而在多视角情况下的车型识别的方法则更加匮乏。

车型识别提取的是车辆头部信息，这与人脸结构较为相似。目前关于人脸识别方法的文献比较丰富，对于多视角人脸识别的研究是这几年来的一个研究热点。近年来，利用子空间方法进行多视角的人脸识别已经有了显著的成果，其中，基于流形学习的人脸识别方法便是子空间方法中的一种，它被证明是一种行之有效的处理多视角问题的方法。

发明内容

本发明的主要目的是提供了一种基于En-ULLELDA的多视角车型识别方法，可以有效地处理城市道路中的多视角车型识别问题。

为了达到上述目的，本发明采用的技术方案是：

包括离线训练模块与在线识别模块；其中离线训练模块对训练样本集进行车辆感兴趣区域ROI提取与预处理，其次选用Gabor小波变换对车辆感兴趣区域ROI进行初始的特征提取得到初始特征，训练模块中对训练样本集的初始特征进行En-ULLELDA，得到其在子空间的表示，建立不同车型Gabor特征模型作为后续识别的依据；其中在线识别模块对测试样本进行车辆感兴趣区域ROI提取与预处理，其次选用Gabor小波变换对车辆感兴趣区域ROI进行初始的特征提取得到初始特征，在线识别模块对测试样本的初始特征根据离线训练模块建立好的不同车型Gabor特征模型进行线性组合得到表示测试样本自身的低维空间特征，然后将测试样本自身的低维空间特征送入分类器进行车辆识别最终得到车型识别结果。

所说的车辆感兴趣区域ROI提取与预处理是通过基于自适应阈值的垂直投影算法定位车辆的车牌，即对车辆图像计算其垂直方向的梯度，然后进行OTSU自适应二值分割，对分割后的二值图通过水平和垂直两个方向的定位，最终得到定位结果，将定位结果即对定位到的车牌位置进行比例缩放便可以对车头部进行定位和提取，预处理包括尺寸归一化、直方图均衡化和灰度归一化三步：尺寸归一化是以提取到的ROI以车牌宽度为依据进行插值使得ROI尺寸变成统一大小；直方图均衡化是通过灰度变换将图像转换为具有均衡的直方图分布曲线的图像；灰度归一化是通过线性变换使得变换后的图像在灰度分布上具有均值为0，方差为1的归一化特性。

所说的提取车辆感兴趣区域ROI的Gabor小波初始特征包括以下步骤：

1)用5个尺度8个方向的Gabor小波基与车辆感兴趣区域ROI进行快速傅立叶变换FFT，得到车辆感兴趣区域ROI的5个尺度8个方向的实部：O_μ，v(z)＝fft^-1(fft(R(z))×fft(ψ_μ，v(z)))其中，O_μ，v(z)是R(Z)即：车辆图像中的感兴趣区域ROI与第v个尺度第μ个方向的Gabor基ψ_μ，v做卷积的结果，μ，v是Gabor基的方向和尺度，v∈{0，1，...，4}和μ∈{0，1，...7}，fft是指快速傅立叶变换，fft^-1是指快速反傅立叶变换；

2)对每个尺度和方向上的O_μ，v(z)进行下采样，然后把下采样后的结果按行或列展开，并依次连接，拼接成一个单一的单位向量χ_R，即初始特征χ_R

${\mathrm{\χ}}_R=(O_{\mathrm{0,0}}^{\mathrm{\ρ}},O_{\mathrm{0,1}}^{\mathrm{\ρ}},...,O_{i,j}^{\mathrm{\ρ}},...,O_{\mathrm{7,4}}^{\mathrm{\ρ}})$

其中O的下标i，j表示方向和尺度，上标ρ表示下采样的倍数，本发明中使用8倍下采样，即用于训练的多视角车型初始特征数据集为Tr，Tr通过预处理后得到对应的ROI集合记为Rtr，对Rtr中的每个样本都进行上述的Gabor小波初始特征提取，得到训练样本的特征集合记为Gtr。

所说的用分类器进行车型识别包括以下步骤：

1)首先计算出每一个车型的训练样本集在低维空间中的中心；

2)识别时用每类的中心作为分类的比照点，选择距测试样本最近的中心所在的类为识别结果，使用欧氏距离进行距离度量得到车型的识别结果。

本发明首先通过基于自适应阈值的垂直投影方法定位到车辆的车牌，以定位到得车牌为基准提取车辆ROI，其次通过Gabor小波变换提取对视角变化不敏感，并且可以反映车型的高阶信息作为特征，然后通过一种新颖的流形学习方法En-ULLELDA对特征进行降维，也是将其变换到一个低维子空间的过程。识别时对测试样本特征通过分类器得到对应的车型类别，从而提高识别率。

附图说明

图1是本发明提出的流程图；

图2是本发明中车牌定位的流程图；

图3是一个效果图，它给出了经过车牌定位和ROI提取得到的车辆感兴趣区域；

图4(a)，4(b)是效果图，它们给出了Gabor小波在5个不同尺度和8个不同方向下的实部和用Gabor小波提取的车辆ROI的特征；

图5是一个示意图，它给出了实验数据库中的多视角车辆图像示意。

图6是一个效果图，它给出了利用本发明提出的方法在实验数据库中的识别结果的混淆矩阵表示。

图7是一个示意图，它给出了利用本发明提出的方法可以识别的多视角车辆车型示意。

具体实施方式

下面结合附图对本发明进行详细说明。

参见图1，本发明包含两个模块：离线训练模块与在线识别模块。离线训练模块是将训练样本通过学习得到其在子空间的表示，也是建立特征模型的过程。在线识别模块是利用离线训练得到的特征模型进行识别的过程。两模块的初始特征提取方法相同，对训练样本集与测试样本集，首先进行ROI提取与预处理，其次进行初始的特征提取，本方法选用Gabor小波变换作为初始特征。训练模块中对训练样本集的初始特征进行En-ULLELDA，得到其在子空间的表示，建立不同车型Gabor特征在低维空间的特征模型，作为后续识别的依据。识别模块中对测试样本的初始特征根据建立好的特征模型进行线性组合得到表示测试样本自身的特征，然后送入分类器进行分类，最终得到车型识别结果。

车辆ROI定位

由于车头部有很丰富的边缘和纹理信息，不同车型在车头部区分度较大，因此本发明利用车头部图像作为ROI进行车型分类。而观察到车牌较车头部相对位置固定，因此可以通过先对车牌进行定位，得到车牌的位置及尺寸信息，然后以定位到的车牌为基准，按照一定比例进行缩放，便可得到车辆ROI。

由于车牌中存在分布密集的汉字，字母和数字，通过观察发现，车牌区域与非车牌区域相比存在较多的纵向纹理并且分布具有间隔性和密集性的特点，其垂直投影呈现出有规律的峰——谷——峰的特性，因此，可以根据垂直投影的统计特性来对车牌区域进行准确定位。本发明采用基于自适应阈值的垂直投影方法来定位车牌，方法流程如图2所示。首先对车辆图像计算其垂直方向的梯度，其次进行OTSU自适应二值分割，对分割后的二值图通过水平和垂直两个方向的定位，最终得到定位结果。

确定了车牌位置，ROI的提取就显得简单易行了。由于车牌相对于车头部位置和尺寸比例固定，因此通过对定位到的车牌位置进行一定的比例缩放便可以对车头部进行定位和提取。图3给出了定位到的车辆ROI结果，可以看出，不同视角下车辆ROI差别仍然较大。

ROI的Gabor小波特征提取

本发明采用的是一种2D Gabor小波。对于图像I中任意一点p＝(x，y)，2D Gabor小波的计算方法如下：

[式1]

${\mathrm{\ψ}}_{\mathrm{\μ},v}\left(p\right)=\frac{\left|\right|k_{\mathrm{\μ},v}\left|\right|}{{\mathrm{\σ}}^2}\exp (-\frac{{\left|\right|k_{\mathrm{\μ},v}\left|\right|}^2{\left|\right|p\left|\right|}^2}{2{\mathrm{\σ}}^2})[\exp \left({\mathrm{ik}}_{\mathrm{\μ},v}p\right)-\exp (-\frac{{\mathrm{\σ}}^2}{2})]$

其中，μ，v决定了Gabor基的方向和尺度，

k_v＝k_max/f_v，k_max是最大频率，f_v是频域中不同小波之间的空间因子。本发明选择参数σ＝2π， $k_{\max }=\frac{\mathrm{\π}}{2},$ $f_v=\sqrt{2}.$ 在处理图像时，通常使用5种不同尺度，8个不同方向，即v∈{0，1，...，4}和μ∈{0，1，...7}的Gabor基进行特征提取，这样做可以有效的提取图像中的高频细节。

使用Gabor基提取一幅ROI的特征时，将ROI与整个Gabor核族中的每个基做卷积。令R(x，y)是一幅车辆图像的ROI，则与Gabor基ψ_μ，v的卷积为：

[式2]

O_μ，v(z)＝R(z)*ψ_μ，v(z)

而O_μ，v(z)是与第v个尺度第μ个方向的Gabor基做卷积的结果。因此，R的Gabor基可表示为

[式3]

S＝{O_μ，v(z)：μ＝0，1，...7，v＝0，1，...，4}

为了快速计算卷积，可以使用快速Fourier变换(FFT)及其逆变换实现：

[式4]

O_μ,v(z)＝fft^-1(fft(R(z))×fft(ψ_μ，v(z)))

为了下一步流形学习，并考虑到计算代价，首先对每个尺度和方向上的O_μ，v(z)进行下采样，然后把下采样后的结果按行或列展开，并依次连接，拼接成一个单一的单位向量，这个向量用于下一步的流形学习，记为χ_R，即：

[式5]

${\mathrm{\χ}}_R=(O_{\mathrm{0,0}}^{\mathrm{\ρ}},O_{\mathrm{0,1}}^{\mathrm{\ρ}},...,O_{i,j}^{\mathrm{\ρ}},...,O_{\mathrm{7,4}}^{\mathrm{\ρ}})$

其中O的下标i，j表示方向和尺度，上标ρ表示下采样的倍数，本发明中使用8倍下采样。

记用于训练的多视角车型数据集为Tr，Tr通过预处理后得到对应的ROI集合记为Rtr。我们对Rtr中的每个样本都进行上述的Gabor特征提取，这样得到训练样本的特征集合记为Gtr，用于后续的流形学习。图4给出了这些Gabor小波基在频域上的实部和车辆ROI经过Gabor基提取的特征表示。

En-ULLELDA

En-ULLELDA是结合局部线性嵌入(LLE，Locally Linear Embedding)与线性判别分析(LDA，Linear Discriminative Analysis)的集成的流形学习方法。

(a)其中，LLE方法是一个典型的流形学习方法。它是一种非监督的学习算法，作为机器学习的一种，它可以成功地将高位数据映射到低维空间中，并保持它们的潜在结构。

(b)ULLELDA是结合了LLE与LDA的监督流形学习方法，训练数据集通过LLE从高维空间映射到低维空间中，然后这些低维空间中的数据再通过LDA映射到判别空间中。具体步骤如下：

Step1)将观测空间的样本{x_i|i＝1，...N}使用LLE算法投影到d′空间，获得对应的低维空间坐标{z_i|i＝1，...N}。

Step2)进一步使用LDA算法将{z_i|i＝1，...N}投影到R^d获得y_i，这样，有K＝PZ；

其中P为从R^d′到R^d的投影矩阵。同时，可以得到高维数据集与判别子空间数据集的一一对应，这一判别空间用于后续的测试工作。

(c)En-ULLLELDAf的主要思路是通过一组ULLELDA分类器的集成来实现分类。

具体步骤如下：

Step1)首先选择一组邻域参数，如在使用k-近邻选择邻域时，假设k＝k₁，...，k_s，对应这些邻域参数使用ULLELDA进行学习，这样可以分别得到s个由ULLELDA形成的低维子空间。

Step2)分类时，分类器对来自不同ULLELDA子空间的分类结果进行投票，取获得最多票数的那一类作为分类结果：

[式6]

$C\left(x\right)=\arg \underset{l}{\max }\{{\mathrm{ULLELDA}}_{\mathrm{ki}}\left(x\right)=l\}$

其中ULLELDA_ki表示用邻域参数k＝k_i训练出来的分类函数。

基于En-ULLELDA的样本训练及识别

通过对Rtr进行Gabor特征提取，我们得到了一个初始的训练样本特征集Gtr，下一步的工作是要对训练样本进行En-ULLELDA。

首先对Gtr进行ULLELDA，可以得到它在低维子空间的投影，记为Ltr。对于待识别的车辆数据集Ts，首先通过ROI提取及预处理，其次进行Gabor特征提取得到初始的测试特征集Gts。然后利用LLE寻找在已有的高维训练样本集Gtr中的近邻，计算出对应的线性组合系数。如下式

[式7]

$W_{i^{\′}}=\underset{w_{i^{\′}j}}{\arg }\min \left|\right|x_i^{\′}-\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{w}_{i^{\′}j}{x}_{i^{\′}j}\left|\right|,$ x_i′j∈X∈R^N

其中x′_i表示Gts中的第i个测试样本，x_i′j为x′_i在训练样集Gtr中的对应的K个邻域。W_i′是使得x′_i的K个邻域x_i′j线性组合表示误差最小的一组系数w_i′j。

当获得了测试样本的邻域及其线性组合系数后，ULLELDA假设在高维空间和低维判别空间中具有相同的邻域关系。这样可以直接利用训练集中对应的低维数据及计LLE中获得的线性组合系数，来构造处测试集在低维空间中的特征y′_i。可以用如下公式描述：

[式8]

$y_i^{\′}=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{w}_{i^{\′}j}{y}_{i^{\′}j},$ y_i′j∈Y∈R^d′

其中y′_i表示低维判别空间中第i个测试样本，y_i′j是在判别空间中与前两步计算得到的高维空间中测试样本对应邻域的下标相同的样本。

这一方法的优点在于：1)测试样本根据训练样本直接从高维空间映射到低维的判别空间中，而不需要一步一步计算。2)对于分类，测试样本的邻域关系暗示了低维空间的判别分析能力。

最后，在R^d中应用合适的分类器对y′_i进行分类，这里可以选择最近中心，最近特征线与最近流形等。

使用合适的分类器识别

这里使用最近中心分类器进行车型分类与识别。最近中心分类器是一种常见的较为简单的分类器，它的思路是计算测试样本与训练样本特征向量之间的距离，距它最近的训练样本所在的类则被认为是测试样本的类型。其中距离的计算可以有多种，如欧氏距离，Manhattan距离，Dijkstra距离等。

本发明中采用最近中心分类器时，首先计算出每一个车型的训练样本集在低维空间中的中心，识别时用每类的中心作为分类的比照点，选择距测试样本最近的中心所在的类为识别结果，这里我们使用的是欧氏距离进行距离度量。

本发明的实验数据采集于城市道路，使用架设于道路上方的摄像机采集到通过的车辆图像。采集到的车辆图像如图5所示，可以看出，由于摄像机视野较广，并且车辆在通过摄像机视野时方向的不一致，导致采集到的车辆图像视角变化较大，这正是本发明要解决的问题。数据库中包含不同天气与不同时间段的车辆图像，实验中对采集到的车辆数据进行手动筛选，最终选择了2927幅车辆图像进行实验，包含40个车型。将数据库分为两部分，其中每个车型选择20幅图像作为训练样本，共计20×40＝800个，其余的图像作为训练样本，共计2127个测试样本。所选车型及其测试样本数目见表1错误！未找到引用源。所示。实验中图像分辨率为640×480，提取到的ROI被归一化到140×105。

表1多视角车型识别数据库中车型及对应测试样本所数目

实验中对LLE邻域数目k取多个值进行集成，降维数d取200，k取16、19、22、25、28、31、34、37、40共9个值进行LLELDA与En-ULLELDA，实验结果表明最好的识别率可达94.9％，识别结果用混淆矩阵表示如图6，x轴表示测试样本本身所属的车型，y轴表示用本方法识别结果的百分比，则对角线的值表示识别的正确率，那么对角线的值越高说明识别正确率越高。图中可以看出所有车型样本在对角线上的百分比远远高于其他，仅在个别区域有较小的峰值，这一结果说明了此方法的有效性。

实验结果表明，本方法对视角偏差较大的车辆有较高的识别率，如图7所示的车辆均能够正确识别。理论上分析这是由于本发明中采用对视角不敏感的高阶特征Gabor小波作为初始特征，这已经被证明是对人眼视觉的一个较好的模仿，并且采用了可以较好的处理多视角问题的机器学习方法——En-ULLELDA进行特征的降维与子空间的变换。本发明中采用的En-ULLELDA方法是利用集成的思路消除流行学习中谱分解的不稳定性，使得方法的鲁棒性较强。

尽管已经参考附图对本发明进行了解释和描述，专业技术人员应该理解，在不脱离本发明精神和范围的情况下，可以在其中或对其进行各种其他改变，增删。

Claims (4)

1、一种基于En-ULLELDA的多视角车型识别方法，其特征在于：包括离线训练模块与在线识别模块；其中离线训练模块对训练样本集进行车辆感兴趣区域ROI提取与预处理，其次选用Gabor小波变换对车辆感兴趣区域ROI进行初始的特征提取得到初始特征，训练模块中对训练样本集的初始特征进行En-ULLELDA，得到其在子空间的表示，建立不同车型Gabor特征模型作为后续识别的依据；其中在线识别模块对测试样本进行车辆感兴趣区域ROI提取与预处理，其次选用Gabor小波变换对车辆感兴趣区域ROI进行初始的特征提取得到初始特征，在线识别模块对测试样本的初始特征根据离线训练模块建立好的不同车型Gabor特征模型进行线性组合得到表示测试样本自身的低维空间特征，然后将测试样本自身的低维空间特征送入分类器进行车辆识别最终得到车型识别结果。

2、如权利要求1所述的基于En-ULLELDA的多视角车型识别方法，其特征在于：所说的车辆感兴趣区域ROI提取与预处理是通过基于自适应阈值的垂直投影算法定位车辆的车牌，即对车辆图像计算其垂直方向的梯度，然后进行OTSU自适应二值分割，对分割后的二值图通过水平和垂直两个方向的定位，最终得到定位结果，将定位结果即对定位到的车牌位置进行比例缩放便可以对车头部进行定位和提取，预处理包括尺寸归一化、直方图均衡化和灰度归一化三步：尺寸归一化是以提取到的ROI以车牌宽度为依据进行插值使得ROI尺寸变成统一大小；直方图均衡化是通过灰度变换将图像转换为具有均衡的直方图分布曲线的图像；灰度归一化是通过线性变换使得变换后的图像在灰度分布上具有均值为0，方差为1的归一化特性。

3、如权利要求1所述的基于En-ULLELDA的多视角车型识别方法，其特征在于：所说的提取车辆感兴趣区域ROI的Gabor小波初始特征包括以下步骤：

1)用5个尺度8个方向的Gabor小波基与车辆感兴趣区域ROI进行快速傅立叶变换FFT，得到车辆感兴趣区域ROI的5个尺度8个方向的实部：Q_μ，v(z)＝fft^-1(fft(R(z))×fft(ψ_μ，v(z)))其中，Q_u，v(z)是R(Z)即：车辆图像中的感兴趣区域ROI与第v个尺度第μ个方向的Gabor基ψ_μ，v做卷积的结果，μ，v是Gabor基的方向和尺度，v∈{0，1，...，4}和μ∈{0，1，...7}，fft是指快速傅立叶变换，fft^-1是指快速反傅立叶变换；

2)对每个尺度和方向上的Q_μ，v(z)进行下采样，然后把下采样后的结果按行或列展开，并依次连接，拼接成一个单一的单位向量χ_R，即初始特征χ_R

${\mathrm{\χ}}_R=(O_{\mathrm{0,0}}^{\mathrm{\ρ}},O_{\mathrm{0,1}}^{\mathrm{\ρ}},...,O_{i,j}^{\mathrm{\ρ}},...,O_{\mathrm{7,4}}^{\mathrm{\ρ}})$

其中O的下标i，j表示方向和尺度，上标ρ表示下采样的倍数，本发明中使用8倍下采样，即用于训练的多视角车型初始特征数据集为Tr，Tr通过预处理后得到对应的ROI集合记为Rtr，对Rtr中的每个样本都进行上述的Gabor小波初始特征提取，得到训练样本的特征集合记为Gtr。

4、如权利要求1所述的基于En-ULLELDA的多视角车型识别方法，其特征在于：所说的用分类器进行车型识别包括以下步骤：

1)首先计算出每一个车型的训练样本集在低维空间中的中心；

2)识别时用每类的中心作为分类的比照点，选择距测试样本最近的中心所在的类为识别结果，使用欧氏距离进行距离度量得到车型的识别结果。

Images