CN104299008A - 基于多特征融合的车型分类方法 - Google Patents

Abstract

本发明涉及一种基于多特征融合的车型分类方法。其步骤为：(1)对视频中的车辆进行检测并定位与分割；(2)对分割出的车辆图像进行形态学处理，并提取出车辆图像的三种特征进行有效融合；(3)利用支持向量机对融合特征进行训练形成车型分类器，对实时视频中的车辆进行有效分类。与现有技术相比，本发明可以降低所提取的特征的经验性成分，使得特征提取理论依据更加充足，从而可以提高车型分类的效果。

Description

基于多特征融合的车型分类方法

技术领域

本发明涉及一种车型分类方法，特指一种基于多特征融合的车型分类方法。

背景技术

随着我国社会经济的发展，汽车拥有量迅猛增加，汽车的类型也是错综复杂，交通调度与收费繁琐已成为日常生活中的普遍问题。随着智能交通系统的发展，借助于逐渐成熟的视频分析技术，对交通视频中车辆型号的准确识别与分类成为了各类收费监管系统，大型停车场监管系统以及交通监控和指挥系统等的应用与发展基础。

现在，基于视频的车型识别与分类主要基于模板匹配法与模式识别方法，其中模板匹配法首先针对各种车辆类型建立标准三维模型，利用欧式距离或其他方法对视频中的待检测车辆与标准模型进行匹配，匹配度最高的车辆即为所对应的车辆类型。模板匹配法存在计算量复杂，实时性相对较差等缺点。模式识别方法中，特征的提取包括车长、车宽、车高等几何特征，包括不变矩、灰度共生矩阵等纹理特征，包括HOG、SIFT、EOH等边缘特征等，这些特征的选取过程均为人为设计，经验性成分偏多，理论依据不是很充分。分类器的选取包括支持向量机，BP神经网络，Adaboost等常见分类器。

发明内容

本发明所要解决的技术问题是：

本发明从实时视频中定位并分割出车辆图片，在此基础上首先选取人为设计的金字塔梯度方向直方图(PHOG)，基于LBP算子的边缘方向直方图(LBP-EOH)，然后加入通过深度信念网络挖掘出的车辆底层特征的高阶描述符，将三种特征进行有效融合，最后利用支持向量机对融合特征进行训练构建车型分类器，从而对实时视频中的车辆类型做到有效分类。

本发明具体采用如下的技术方案：

基于多特征融合的车型分类方法，其特征在于，该方法包括：

步骤1：输入实时视频，对车辆进行检测。

步骤2：对检测到的车辆进行定位与分割。

步骤3：对提取出的车辆图像进行形态学预处理。

步骤4：提取车辆图像的三种特征，对三种特征进行有效融合。

步骤5：利用支持向量机对所提取出的融合特征进行训练，生成车型分类器。

步骤6：利用车型分类器对实时视频中的车辆进行识别与分类。

所述的步骤1利用虚拟线圈进行车辆检测，当视频中检测到车辆时作后续处理。

所述的步骤2利用寻找连通域的方法定位到车辆所在位置，利用三帧差法对车辆图像进行分割与提取。

所述的步骤3针对所提取的不同特征类型对车辆图像作不同规格的形态学预处理，包括以下步骤：

步骤3-1：针对传统的特征提取，只需对图像进行大小归一化，以及高斯平滑去噪处理。

步骤3-2：针对深度信念网络所提取的特征，在图像大小归一化的基础之上需要对图像的像素值按照公式：

$x\_i^{^\′}=(x\_i-x\_\min )/(x\_\max -x\_\min )$ 归一化至0～1之间。

所述的步骤4提取车辆图像三种类型的特征包括以下步骤：

步骤4-1：提取车辆图像的三层金字塔梯度方向直方图特征。

步骤4-2：提取车辆图像的基于LBP算子的边缘方向直方图特征。

步骤4-3：利用深度信念网络深度挖掘出车辆图像底层像素的高阶特征描述符。

步骤4-4：对提取的三种特征进行有效融合。

所述的步骤5利用支持向量机对大量的车辆图片样本特征进行训练，得到车型分类器。

所述的步骤6利用训练完成的车型分类器对实时视频中的车辆进行识别与分类，得到最终的分类结果。

与现有技术相比，本发明可以降低所提取的特征的经验性成分，使得特征提取理论依据更加充足，从而可以提高车型分类的效果。

本发明的创新点体现在：

(1)特征的提取包括了人为设计特征(PHOG特征,LBP-EOH特征)的全局性，其中边缘直方图特征的提取中利用LBP算子取代传统的canny算子，更能有效的描绘出车辆边缘信息，提取的特征更具代表性。

(2)在人为设计特征的基础之上加入了通过深度信念网络挖掘出的车辆图片底层像素的高阶特征描述符，达到了人为特征设计与底层特征挖掘的有效融合，缓解了特征提取存在经验性偏多的问题。

附图说明

图1为基于视频的车辆型号分类总流程图；

图2.1为三层HOG特征提取的直方图；

图2.2为LBP-EOH特征提取的直方图；

图2.3为深度信念网络特征提取的原理图；

图3为深度信念网络模型(基本公式)；

图4为分类器的构建与训练流程。

具体实施方式

以下结合附图对本发明技术方案作进一步说明。

原理：本发明提出一种基于多特征融合的方法对实时视频中的车辆型号进行有效识别与分类。在传统人为设计的特征中加入通过深度信念网络挖掘出的车辆图片底层像素的高阶特征描述符，利用支持向量机对融合特征进行训练构建车型分类器。

本发明基于多特征融合的车型分类方法，提取的车辆型号特征是在人为设计的特征基础之上加入从车辆图片底层像素挖掘出的高阶特征，通过特征融合既保留了人为设计特征的全局性，又深度挖掘出车辆底层特征，可以使提取的特征经验性成分减少，理论依据更加充足。该方法包括如下步骤：

(1)对于从视频中定位并分割出车辆图片，本发明首先对实时视频进行车辆检测，对检测出有车辆的一帧图片进行车辆准确定位，对定位出的车辆进行准确分割，得到车辆的原始图片。

(2)对于分类器的构建与训练，本发明首先选取适当的样本图片，对图片进行简单预处理，如灰度化，大小归一化等。然后进行特征提取，提取的特征包括三层金字塔梯度方向直方图，基于LBP算子的边缘方向直方图，通过深度信念网络挖掘的车辆图片底层像素的高阶特征描述符，将三种特征进行有效融合。利用支持向量机对融合特征进行训练，得到最终的车辆型号分类器。

(3)对于视频中的车辆型号分类测试，本发明在视频预处理的基础上，得到车辆的原始图片，利用构建完善的车辆型号分类器对车辆进行识别分类，统计车辆分类结果，与已知车辆型号结果进行对比，得到最终的分类结果。

图1是本发明的综合流程图

如图1所示：首先读取实时交通视频，对视频中的车辆进行检测，检测到有车时，提取出当前一帧图片，对图片进行分析，定位到车辆所在位置，并将车辆沿着边缘进行分割，最终得到车辆的原始图片。对图片做形态学处理，并利用高斯滤波对图像进行平滑去噪。

$I^{\′}=I\⊗G$

其中，I为输入图像，G为高斯函数，I′为平滑处理后的图像，为卷积符号。

然后对车辆图片进行特征提取，提取的特征包括三层金字塔梯度方向直方图(PHOG)，基于LBP算子的边缘方向直方图(LBP-EOH)，通过深度信念网络挖掘出的车辆图片底层像素的高阶特征描述符(DBN)。最后利用支持向量机训练得到的车型分类器对视频中的车辆进行有效识别与分类。

图2.1是本发明PHOG特征提取的原理图

如图2.1所示：首先提取车辆图片第一层HOG特征，利用两个滤波器(10-1)和(10-1)^T对图片进行水平和垂直方向滤波，得到图像水平和垂直方向的梯度，根据图像中各点在水平和垂直方向上的梯度值DX_i,DY_i计算出各点梯度的幅值D_i和方向θ_i。

$D_i=\sqrt{{\mathrm{DX}}_i^2+{\mathrm{DY}}_i^2}$ $\mathrm{\θ}\_i=\arctan (\mathrm{DY}\_i)/(\mathrm{DX}\_i)$

将各点的梯度方向归并量化为有限个方向，由于θ_i∈(-п/2,п/2)，设定每18度为一个区域，共10个区域，得到一层HOG特征的10维向量。然后提取车辆图片第二层HOG特征，将图像平均划分为4个区域，每个区域提取10维的HOG特征向量，共40维。最后提取车辆图片第三层HOG特征，得到160维的HOG特征向量。三层HOG特征向量总计210维。

图2.2是本发明LBP-EOH特征提取的原理图

如图2.2所示：首先利用LBP算子提取车辆的边缘信息，然后利用Sobel算子，计算边缘方向的水平梯度D_x和垂直梯度D_y:

D_x＝f(x-1,y+1)+2f(x,y+1)+f(x⁺1,y+1)-

f(x-1,y-1)-2f(x,y-1)-f(x+1,y-1)

D_y＝-f(x-1,y-1)+f(x+1,y-1)-2f(x-1,y)+

2f(x+1,y)-f(x-1,y+1)+f(x+1,y-1)

边缘方向：θ(x,y)＝acrtan(D_y/D_x)θ(x,y)∈(-π/2,π/2)

将边缘方向归并量化为有限个方向，设定每18度为一个方向，即共有10个方向。通过对边缘方向直方图的计算，可以得到车辆图片的一个10维的特征向量。加上非边缘的一维向量，共11维特征向量。

图2.3是本发明深度信念网络特征提取的原理图

如图2.3所示：利用深度信念网络从车辆图片底层像素开始提取特征，逐层向上将特征进行抽象，DBN是通过逐层贪婪优化训练受限玻尔兹曼机(RBM)来构建网络的，每一层RBM得到的隐含层将作为下一层的可视层，通过层层迭代训练，得到完整的DBN网络，最终得到的DBN特征即为挖掘出的车辆图片底层像素的高阶特征描述符。

图3是RBM模型的基本公式

公式(1)中h为隐含层，v为可视层，j为隐含层对应节点序列号，i为可视层对应节点序列号，w为连接隐含层与可视层之间的网络权值，b为偏置值，σ(x)为S型函数，如公式(3)所示。其中公式(1)代表了从可视层向隐含层隐射时，在已知可视层节点数值的基

础上隐含层对应节点值为1时的概率。公式(2)代表了从隐含层向可视层隐射时，在已知隐含层节点数值的基础上可视层节点值为1的概率。

图4是本发明分类器构建与训练的流程图

如图4所示：选取合适的车辆图片样本，对图片做形态学处理，提取车辆的三种特征，包括3层HOG特征，LBP-EOH特征，DBN特征，将三种特征进行有效融合，利用支持向量机对融合特征进行训练，得到车型分类器。

综上所述，整个实现流程概括为：

(1)对实时视频进行分析，在车辆检测的基础上，对车辆进行准确定位并分割提取。

(2)提取车辆的三种类型特征，包括PHOG特征，LBP-EOH特征，DBN特征，并将三种特征进行融合。

(3)利用支持向量机对融合特征进行训练，得到车型分类器，对视频中的车辆进行识别与分类。

Claims (1)

1.基于多特征融合的车型分类方法，其特征在于，该方法包括：

步骤1：输入实时视频，对车辆进行检测；

步骤2：对检测到的车辆进行定位与分割；

步骤3：对提取出的车辆图像进行形态学预处理；

步骤4：提取车辆图像的三种特征，对三种特征进行有效融合；

步骤5：利用支持向量机对所提取出的融合特征进行训练，生成车型分类器；

步骤6：利用车型分类器对实时视频中的车辆进行识别与分类；

所述的步骤1利用虚拟线圈进行车辆检测，当视频中检测到车辆时作后续处理；

所述的步骤2利用寻找连通域的方法定位到车辆所在位置，利用三帧差法对车辆图像进行分割与提取；

所述的步骤3针对所提取的不同特征类型对车辆图像作不同规格的形态学预处理，包括以下步骤：

步骤3-1：针对传统的特征提取，只需对图像进行大小归一化，以及高斯平滑去噪处理；

步骤3-2：针对深度信念网络所提取的特征，在图像大小归一化的基础之上需要对图像的像素值按照公式：

$x\_i^{^\′}=(x\_i-x\_\min )/(x\_\max -x\_\min )$ 归一化至0～1之间；

所述的步骤4提取车辆图像三种类型的特征包括以下步骤：

步骤4-1：提取车辆图像的三层金字塔梯度方向直方图特征；

步骤4-2：提取车辆图像的基于LBP算子的边缘方向直方图特征；

步骤4-3：利用深度信念网络深度挖掘出车辆图像底层像素的高阶特征描述符；

步骤4-4：对提取的三种特征进行有效融合；

所述的步骤5利用支持向量机对大量的车辆图片样本特征进行训练，得到车型分类器；

所述的步骤6利用训练完成的车型分类器对实时视频中的车辆进行识别与分类，得到最终的分类结果。