CN106778473A - 一种车型识别方法 - Google Patents

Abstract

本发明公开了一种车型识别方法，包括以下步骤：（1）视频图像采集，车型分别为轿车、面包车和公共汽车三类，从视频中提取多幅关键帧图像构建了车辆图像库；（2）图像分割及预处理；（3）图像特征提取及降维，然后经过LDA算法计算类内散布矩阵及类间散布矩阵，最后取矩阵的前k个特征向量作为LDA特征子空间的投影矩阵，训练样本和测试样本最后均以k维的特征向量表示；（4）构造支持向量机核函数的选择与参数的确定；（5）多类分类器的设计：构造3个一对一分类器，即（C，B），（C，V）及（B，V），构造有向无环图，并通过决策有向无环图多分类方法进行车型的分类。

Description

一种车型识别方法

技术领域

本发明涉及一种车型识别方法。

背景技术

随着社会的发展及人们生活水平的提高，汽车的普及率逐年升高，私有汽车的数量急剧增加，道路交通管理的难度也越来越大，智能交通系统就显得尤其重要。车辆检测系统作为智能交通系统的基础子系统，在智能交通系统中占有不可替代的作用。所以车辆检测及车型识别技术的研究已然成为关注的焦点。

车辆检测及识别是基于各种图像处理算法。目前的车辆检测方法主要有地感线圈车辆检测法、波频检测法、智能视频检测法等。

智能视频检测方法是直接集成在摄像机内部或者构建在前端工控机内的一个功能强大的综合事件检测“软件”，对道路视频信息进行实时识别检测，一旦在分析过程中发现“车辆”，便进行视频跟踪当视频检测到相应的车辆进入到最佳的拍照范围时，便触发相应抓拍及后续的车型识别行为，其优点是硬件易于安装，维护方便，不会破坏路面，比较灵活，能够做到实时检测及更新。目前视频中的车辆检测方法已经在交通监控管理系统中得到了广泛的应用，而且随着物联网技术的应用及图像处理、特征提取、模式识别等技术的不断完善，智能视频交通监控的应用前景将更加广阔。

发明内容

本发明要解决的技术问题是提供一种车型识别方法。

一种车型识别方法，包括以下步骤：

(1)视频图像采集，车型分别为轿车(包括小轿车、吉普车)、面包车(包括商务车及普通面包车)和公共汽车(公交车)三类，分别用C、V、B表示；从视频中提取多幅关键帧图像构建了车辆图像库，其中训练样本采集和测试样本采集包括：轿车、面包车、公共汽车；

(2)图像分割及预处理：

将每个样本经过图像剪裁成85×60像素大小且含车辆目标的图片，进行边缘检测和形态学操作；

(3)图像特征提取及降维：

首先，对进行形态学操作后的图像进行形状及纹理特征提取，由区域像素数、均值、标准差、三阶矩、熵组成的5维的特征向量；其中，区域像素数是区域内总的像素数，均值是纹理平均亮度的度量，标准差是纹理灰度级对比度度量，三阶矩表示直方图偏斜度的度量，熵是描述图像亮度随机性的度量；

然后，对去除背景后的原图像进行HOG(梯度方向直方图)特征提取，形成高维的特征向量；

最后，将高维特征向量进行主成分分析法(PCA)降维处理，加上描述形状和纹理的特征，形成特征向量，然后经过LDA算法计算类内散布矩阵S_w及类间散布矩阵S_b，最后取矩阵S_b的前k个特征向量作为LDA特征子空间的投影矩阵，训练样本和测试样本最后均以k维的特征向量表示；

(4)构造支持向量机核函数的选择与参数的确定：

利用支持向量机进行分类时，选用径向基核函数，并确定径向基核函数本身的参数γ以及惩罚参数C；

(5)多类分类器的设计：

构造3个一对一分类器，即(C，B)(将轿车划分为正类，公共汽车划为负类)，(C，V)及(B，V)，构造有向无环图，并通过决策有向无环图多分类方法进行车型的分类。

进一步的，步骤(3)中HOG特征提取的具体方法如下：

(1)计算每个像素的梯度幅度和方向；

(2)将图像分成8×8个像素大小的单元格(cell)，将每个梯度方向(180度)分为9个区间，每个区间([(x-1)*20，x*20]，x＝1,2，…，9)是20度的范围，然后将每个单元格中所有像素的梯度方向累加到各个区间上，这样每个单元格就形成一个9维的特征向量；相邻的cell(2×2)组成一个块(block)，而相邻block间有一半的区域是重叠的，所以每个(2*2*9)维的特征向量；

(3)在block内采用对比度归一化处理，以消除光照的影响，得到block的HOG特征；

(4)将检测窗口中所有重叠的block进行HOG特征的收集，并将它们结合成最终的HOG特征向量。

进一步的，步骤(3)中将高维特征向量进行降维处理的具体方法如下：

(1)把每幅图像的HOG特征向量构成一个矩阵X_n×N，每一行代表一个样本，每一列代表一个特征值，计算矩阵X_n×N的协方差矩阵S＝E[(X_n×N-μ)^T(X_n×N-μ)]，其中μ是样本的总体均值矩阵，设待测样品为X_1×N；

(2)计算S的特征值，将其按从大到小排列，记作λ₁≥λ₂≥…≥λ_N，并计算的特征向量矩阵C_N×N；

(3)选取前m个特征值，使贡献率选取C_N×N的前m列，构成C_N×m；

(4)利用X_n×m＝(X_n×N-μ)C_N×m计算样本库样本主成分和X_1×m＝(X_1×N-μ)C_N×m计算待测样本主成分。

进一步的，步骤(3)中LDA算法的步骤如下：

(1)设y＝{x₁，x₂，…x_N}是一个样本集，每个样本是一个d维的向量，其中y_i类的样本是设某一样本x_j，其中x_j∈y_i，求各类样品的均值向量m_i，计算公式如下：

(2)求各类类内离散度矩阵S_i，总类内离散度矩阵S_w及类间散布矩阵S_b，计算公式如下：

S_i＝∑(x_j-m_i)(x_j-m_i)^T，i＝1，2，…N，

其中，P_i是y_i类的先验概率；

(3)求向量w^*，

(4)求出样品在w^*上的投影点y_i＝w^*Tx_i。

本发明的有益效果是：

本发明提出将梯度方向直方图特征描述算子运用在车辆特征提取中，由于提取出来的HOG特征维数较高，造成计算复杂度增加，本发明采用主成分分析的方法进行降维。将降维后的HOG与基于形状、纹理的特征相结合共同作为描述车辆的特征。为了得到更容易分类的特征，本发明首先提出线性判决分析的方法对形状、纹理与梯度方向直方图结合之后的特征进行处理；然后在支持向量机的基础上运用决策有向无环图多分类法设计出了SVM三类车型分类器，并在最终的车型分类识别中获得了较高的分类识别正确率。

具体实施方式

以下具体实施例对本发明作进一步阐述，但不作为对本发明的限定。

实验1本发明车型识别实验

采用在天桥上采集的车辆前侧影像作为本发明车型识别使用视频，车型分别为轿车(包括小轿车、吉普车)、面包车(包括商务车及普通面包车)和公共汽车(公交车)三类，分别用C、V、B表示；从视频中提取600幅关键帧图像构建了车辆图像库，其中训练样本采集200辆轿车、100辆面包车、70辆公共汽车；测试样本采集150辆轿车、80辆面包车、60辆公共汽车，如表1所示。

表1个车型训练样本和测试样本数

类型	轿车	面包车	公共汽车
				训练样本	200	100	70
测试样本	150	80	60

车型识别步骤如下：

(1)图像分割及预处理：

将每个样本经过图像剪裁成85×60像素大小且含车辆目标的图片，进行边缘检测和形态学操作。

(2)图像特征提取及降维：

首先对进行形态学操作后的图像进行形状及纹理特征提取，由区域像素数、均值、标准差、三阶矩、熵组成的5维的特征向量；其中，区域像素数是区域内总的像素数，均值是纹理平均亮度的度量，标准差是纹理灰度级对比度度量，三阶矩表示直方图偏斜度的度量，熵是描述图像亮度随机性的度量。

然后对去除背景后的原图像进行HOG(梯度方向直方图)特征提取，将图像分成8×8个像素大小的单元格(cell)，图像可用的块(block)个数为其中，为取整运算，而每个block以一个(2*2*9)维的特征向量表示，整个图像最终形成9*6*(2*2*9)＝1944维的特征向量。

把训练样本所有图像的HOG特征向量构成矩阵，每一行代表一个样本，经过PCA降维后形成21维的向量，加上描述形状和纹理的5个特征，形成26维的特征向量，然后经过LDA算法计算类内散布矩阵S_w及类间散布矩阵S_b，最后取矩阵S_b的前4个特征向量作为LDA特征子空间的投影矩阵，训练样本和测试样本最后均以4维的特征向量表示。

(3)构造支持向量机核函数的选择与参数的确定：

利用支持向量机进行分类时，选用径向基核函数，并确定径向基核函数本身的参数γ以及惩罚参数C，最佳参数组合为(γ，C)＝(0.001，10)。

(4)多类分类器的设计：

首先构造3个一对多分类器，即(C，B+V)(将轿车划分为正类，面包车和公共汽车划为负类)，(B，C+V)及(V，C+B)，核函数选用径向基核函数，参数组合为(γ，C)＝(0.001，10)。选取80辆轿车，60辆面包车，40辆公共汽车进行分类测试。其分类识别正确率如表2所示。然后我们构造3个一对一多分类器，即(C，B)，(C，V)及(B，V)其分类正确率如表3所示。

表2一对多分类器识别正确率

一对多分类器	(C，B+V)	(B，C+V)	(V，C+B)
				识别正确率(％)	91.25	92.5	83.3

表3一对一分类器识别正确率

一对一分类器	(C，B)	(C，V)	(B，V)
				识别正确率(％)	93.3	87.1	88.75

通过表2和表3可知，三类车型中公共汽车最容易识别。而由于面包车的特性介于轿车和公共汽车之间，可能被误分到轿车中，也有可能被误分到公共汽车类中，导致面包车的识别正确率最低。

本发明采用3个一对一分类器，即(C，B)，(C，V)及(B，V)，构造有向无环图，并通过决策有向无环图多分类方法进行车型的分类，而由于(C，B)的分类效果最好，面包车的分类正确率最低。所以将两类分类器(C，B)置于根节点。

车辆识别结果如下表4所示。

表4有向无环多类分类器分类结果

车型	轿车	面包车	公共汽车
				轿车	140	8	1
面包车	8	67	3
				公共汽车	2	5	56
分类正确率(％)	92.67	83.75	93.33

由表4可知，表中各列表示多类分类器对每一类车型的分类结果。其中，轿车所在列中，150辆轿车总共有140辆被正确分类识别，有8辆被错误分类为面包车，还有2辆被错误分类为公共汽车。分类正确率为92.67％。面包车所在列中，80辆面包车总共有67辆被正确分类识别，有8辆被错误分类为轿车，还有5辆被错误分类为公共汽车。分类正确率为83.75％。公共汽车所在列中，60辆公共汽车总共有56辆被正确分类识别，有1辆被错误分类为轿车，还有3辆被错误分类为面包车。分类正确率为93.33％。运用决策有向无环图多类分类器得到的总的分类正确率为263/290＝90.69％。

由于公共汽车与面包车、轿车相比轮廓较大，形状基本为长方形所以错误分类的最少。面包车的分类正确率仅为83.75％，是三类车型中正确率最低的。主要是因为面包车的车型介于轿车和公共汽车之间，因此造成误分的几率比较大。

实验2特征向量对比实验

仅用基于形状和纹理的特征描述车辆，得到的最终的分类结果如表5所示。对比结果如表6所示。

表5仅用基于形状和纹理特征的车型分类结果

车型	轿车	面包车	公共汽车
				轿车	134	8	2
面包车	9	66	4
				公共汽车	7	6	54
分类正确率(％)	89.33	82.5	90

由表5可知，轿车的分类正确率为89.33％。面包车的分类正确率为82.5％。公共汽车的分类正确率为90％。仅用基于形状和纹理特征进行分类得到的总的分类正确率为254/290＝87.59％。

表6识别正确率对比结果

识别正确率(％)	基于形状和纹理特征	本发明识别方法
			轿车	89.33	92.67
面包车	82.5	83.75
			公共汽车	90	93.33
总识别正确率	87.59	90.69

由表6可知，本发明将HOG与基于形状和纹理的特征相结合描述车辆特征，提高了识别的正确率，由此验证了本发明方法的可行性与正确性。

实验3运用LDA的对比实验

本发明将进行PCA降维后直接进行分类与降维后先进行LDA再进行分类进行了对比实验。PCA-SVM的分类结果如表7所示，PCA-SVM与PCA-LDA-SVM的分类正确率的对比如表8所示。

表7PCA-SVM的车型分类结果

由表7可知，轿车的分类正确率为92％。面包车的分类正确率为83.75％。公共汽车的分类正确率为90％。仅用基于形状和纹理特征进行分类得到的总的分类正确率259/290＝89.31％。

表8PCA-SVM与本发明的PCA-LDA-SVM实验对比结果

识别正确率(％)	PCA-SVM	PCA-LDA-SVM
			轿车	89.33	92.67
面包车	82.5	83.75
			公共汽车	90	93.33
总识别正确率	87.59	90.69

由表5.8可知，本发明在降维之后运用LDA形成更有利于分类的特征，比只用PCA降维分类正确率高，由此验证了本发明的方法可以提高识别正确率。

Claims (4)

1.一种车型识别方法，其特征在于，包括以下步骤：

(1)视频图像采集，车型分别为轿车(包括小轿车、吉普车)、面包车(包括商务车及普通面包车)和公共汽车(公交车)三类，分别用C、V、B表示；从视频中提取多幅关键帧图像构建了车辆图像库，其中训练样本采集和测试样本采集包括：轿车、面包车、公共汽车；

(2)图像分割及预处理：

将每个样本经过图像剪裁成85×60像素大小且含车辆目标的图片，进行边缘检测和形态学操作；

(3)图像特征提取及降维：

首先，对进行形态学操作后的图像进行形状及纹理特征提取，由区域像素数、均值、标准差、三阶矩、熵组成的5维的特征向量；其中，区域像素数是区域内总的像素数，均值是纹理平均亮度的度量，标准差是纹理灰度级对比度度量，三阶矩表示直方图偏斜度的度量，熵是描述图像亮度随机性的度量；

然后，对去除背景后的原图像进行HOG(梯度方向直方图)特征提取，形成高维的特征向量；

最后，将高维特征向量进行主成分分析法(PCA)降维处理，加上描述形状和纹理的特征，形成特征向量，然后经过LDA算法计算类内散布矩阵S_w及类间散布矩阵S_b，最后取矩阵S_b的前k个特征向量作为LDA特征子空间的投影矩阵，训练样本和测试样本最后均以k维的特征向量表示；

(4)构造支持向量机核函数的选择与参数的确定：

利用支持向量机进行分类时，选用径向基核函数，并确定径向基核函数本身的参数γ以及惩罚参数C；

(5)多类分类器的设计：

构造3个一对一分类器，即(C，B)(将轿车划分为正类，公共汽车划为负类)，(C，V)及(B，V)，构造有向无环图，并通过决策有向无环图多分类方法进行车型的分类。

2.根据权利要求1所述的车型识别方法，其特征在于，步骤(3)中HOG特征提取的具体方法如下：

(1)计算每个像素的梯度幅度和方向；

(2)将图像分成8×8个像素大小的单元格(cell)，将每个梯度方向(180度)分为9个区间，每个区间([(x-1)*20，x*20]，x＝1,2，…，9)是20度的范围，然后将每个单元格中所有像素的梯度方向累加到各个区间上，这样每个单元格就形成一个9维的特征向量；相邻的cell(2×2)组成一个块(block)，而相邻block间有一半的区域是重叠的，所以每个(2*2*9)维的特征向量；

(3)在block内采用对比度归一化处理，以消除光照的影响，得到block的HOG特征；

(4)将检测窗口中所有重叠的block进行HOG特征的收集，并将它们结合成最终的HOG特征向量。

3.根据权利要求1所述的车型识别方法，其特征在于，步骤(3)中将高维特征向量进行降维处理的具体方法如下：

(1)把每幅图像的HOG特征向量构成一个矩阵X_n×N，每一行代表一个样本，每一列代表一个特征值，计算矩阵X_n×N的协方差矩阵S＝E[(X_n×N-μ)^T(X_n×N-μ)]，其中μ是样本的总体均值矩阵，设待测样品为X_1×N；

(2)计算S的特征值，将其按从大到小排列，记作λ₁≥λ₂≥…≥λ_N，并计算的特征向量矩阵C_N×N；

(3)选取前m个特征值，使贡献率选取C_N×N的前m列，构成C_N×m；

(4)利用X_n×m＝(X_n×N-μ)C_N×m计算样本库样本主成分和X_1×m＝(X_1×N-μ)C_N×m计算待测样本主成分。

4.根据权利要求1所述的车型识别方法，其特征在于，步骤(3)中LDA算法的步骤如下：

(1)设y＝{x₁，x₂，…x_N}是一个样本集，每个样本是一个d维的向量，其中y_i类的样本是设某一样本x_j，其中x_j∈y_i，求各类样品的均值向量m_i，计算公式如下：

$m_i=\frac{1}{N_i}\Σx_j,i=1,2,...N;$

(2)求各类类内离散度矩阵S_i，总类内离散度矩阵S_w及类间散布矩阵S_b，计算公式如下：

S_i＝∑(x_j-m_i)(x_j-m_i)^T，i＝1，2，…N，

$S_w=\underset{i=1}{\overset{N}{\Σ}}{p}_i{S}_i,$

$S_b=\underset{i=1}{\overset{N}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}{p}_i(m_i-m_j){(m_i-m_j)}^T,$

其中，P_i是y_i类的先验概率；

(3)求向量w^*，

(4)求出样品在w^*上的投影点y_i＝w^*Tx_i。