CN102411710A - 一种基于车脸特征的车辆类型识别方法 - Google Patents

Abstract

本发明公开了一种基于车脸特征的车辆类型识别方法，包括如下步骤：(1)通过监控摄像机采集车辆图像，并进行预处理，然后检测并分割出能表征车辆类型的车脸图像，具体包括如下步骤：(1-1)使用监控摄像机采集多种车型的车辆图像；(1-2)图像预处理，采用同态滤波增强图像质量；(1-3)采用基于车牌位置信息的车脸区域检测和分割，分割出能表征车型特征的车脸区域；(2)对车辆图像进行Curvelet小波变换，以提取能表征车型特征的车脸特征矩阵；(3)采用支持向量机分类器对提取的车脸图像的Curvelet小波特征向量进行分类，以识别出车型。本发明方法可以为交通监控提供更精确的车辆及车型信息，对于交通安全和交通信息的实时提取具有重要的意义。

Description

一种基于车脸特征的车辆类型识别方法

技术领域

本发明涉及图像识别及交通安全研究技术，尤其涉及一种基于车脸特征的车辆类型识别方法。

背景技术

目前智能交通系统中对交通监控系统的鲁棒性和可靠性的要求越来越高，例如：交通量和车辆运行时速等交通参数可以根据车辆检测、跟踪及车辆数目统计来计算。由于基于地感线圈、超声波和雷达等传感器的车辆检测方法无法识别车辆类型，因此这些方法不能提供直观的交通场景信息，但是，基于视频传感器的交通监控系统可有效地提供车辆数量、位置和类型等交通参数，因此，基于视频图像车辆检测和类型识别成为智能交通领域的一个重要研究方向。目前，基于视频传感器的车辆类型的识别主要集中在粗分类，即将检测到的车辆分类为小型车、中型车和大型车等，但对于具体分类为Audi，Wulin，Chery，Chevrolet，Cityroen，Ford，Changan，Hyudai，Mzada，Nissan，Peugot，Buick和Toyota等车辆类型的方法却很少。

发明内容

发明目的：本发明的目的在于针对现有技术的不足，提供一种基于车脸特征的车辆类型识别方法，该方法具有较好的实时性和检测效率。

技术方案：本发明所述的基于车脸特征的车辆类型识别方法，首先通过监控摄像机采集车辆图像，然后检测和分割出车脸区域，并采用Curvelet小波变换提取车脸特征信息(包括车标、车牌、车灯及栅栏等信息)，最后，根据车脸特征矩阵，采用支持向量机将采集的车辆图像具体分类为Audi，Wulin，Chery，Chevrolet，Cityroen，Ford，Changan，Hyudai，Mzada，Nissan，Peugot，Buick及Toyota等车类。

本发明方法具体包括如下步骤：

(1)对采集到的车辆图像进行预处理，分割出能表征车辆类型的车脸特征，具体包括如下步骤：

(1-1)使用监控摄像机采集多种车型的车辆图像，例如：Audi、Wulin、Chery、Chevrolet、Cityroen、Ford、Changan、Hyudai、Mzada、Nissan、Peugot、Buick和Toyota等车型。

(1-2)图像预处理，为解决自然条件下不同的光照强度对采集的车辆图像的影响，本方法中采用同态滤波增强图像质量。

令采集的车辆图像为f(x，y)，即

$\left\{\begin{array}{c}f(x,y)=f_i(x,y)\&CenterDot;f_r(x,y)\\ 0<f_i(x,y)<\&infin;,0<f_r(x,y)<1\end{array}\right.$

上式中，(x，y)为车辆图像在时域中的坐标，f_i(x，y)为照明函数，i为照明illumination缩写；f_r(x，y)为反射函数，r为反射reflection缩写；

对上式取对数并进行傅立叶变换得

F_ln(u，v)＝F_i，ln(u，v)+F_r，ln(u，v)

上式中，(u，v)车辆图像在频域中的坐标照明函数f_i(x，y)取对数后的傅里叶变换F_i，ln(u，v)的频谱特性主要集中在低频段，而反射函数f_r(x，y)取对数后的傅里叶变换F_r，ln(u，v)的频谱特性主要集中在高频段；

通过与同态滤波器函数H(u，v)相乘，在频域上削弱照明函数的成分，同时增强反射函数的频谱成分，以达到增加图像对比度的目的，即

G_ln(u，v)＝f_i，ln(u，v)·H(u，v)+F_r，ln(u，v)·H(u，v)

上式中，G_ln(u，v)为图像傅里叶变换同态滤波结果，对上式进行傅立叶反变换，则得同态滤波器预处理后的车辆图像，即

g(x，y)＝exp{F^-1{G_ln(u，v)}}，其中g(x，y)为图像同态滤波结果。

(1-3)分割出能表征车辆特征的车脸区域，包括车牌，车灯，散热栅栏及保险杠区域的车前脸特征，本方法采用基于车牌信息的车脸区域检测及分割方法。

基于车牌位置信息的车脸检测和分割，其具体过程为：

首先将彩色图像转换为灰度图像，彩色图像转换为灰度图像的公式如下：

f(i，j)＝0·2999R+0.587G+0.114B

其中，f(i，j)为灰度化后图像坐标(i，j)处的像素灰度值，R、G、B分布为彩色图像RGB三分量；

使用图像列与列相减的方法突出车牌区域，同时噪声点在相减的过程中得到削弱，列相减即计算图像水平方向的一阶差分：

f(i，j)＝f(i，j+1)-f(i，j)

图像列列相减后，将图像进行阈值化突出边缘信息，阈值根据列相减后自身灰度分布确定，阈值的计算公式为：

$T_n=\frac{1}{2m}\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}\max f(i,j)$

其中，T_n为阈值，m为图像列数；

对阈值化的边缘图像进行车牌位置搜索，统计边缘图像的灰度投影，从下往上搜索某行目标像素个数大于阈值T₁时即作为下边界y_b；根据车牌高度粗略确定上边界y_t，之后在上下边界内统计图像的竖直投影，从左到右搜索到某列目标像素个数大于阈值T₂时作为左边界x_l，用同样方法搜索得到右边界x_r；根据车牌区域和车辆几何尺寸，以车牌位置为基准设置车辆宽度和高度与车牌高度和宽度之间的比例关系，估计出车脸位置信息。

(2)提取能表征车辆类型的车脸图像特征，本方法采用Curvelet小波变换提取车脸图像特征。

对于输入图像f(x)，其Curvelet小波变换结果是图像信号函数f(x)与Curvelet小波函数的内积，即：

上式中，

为curvelet小波函数，j、l和k分别为curvelet小波函数的尺度、方向和位置；在尺度2^-j，方向l和位置k处的二维curvelet函数定义为：

上式中，b＝(k₁2^-j，k₂2^-j/2)； $S_{\mathrm{\&theta;}}=\left[\begin{array}{cc}1& 0\\ -\tan \mathrm{\&theta;}& 1\end{array}\right],$ ω为频域变量，r，θ为频域极坐标，[j/2]为j/2的整数部分。

(3)采用支持向量机对提取的车脸图像特征向量进行分类，以识别出Audi、Wulin、Chery、Chevrolet、Cityroen、Ford、Changan、Hyudai、Mzada、Nissan、Peugot、Buick和Toyota等车型。

支持向量机分类的目的是寻找一个超平面将所有同类数据线性的划分到超平面的同侧，该超平面称为决策边界函数，其表达式为：

f(x_i)＝<w·x_i>+b

上式中，w为决策边界函数的权重，b为决策边界函数的偏差项，x_i为第i个特征向量；

为分类非线性分布数据，本方法使用非线性映射函数Φ(·)将训练数据映射到高维特征空间，映射函数又称为核函数，即：

K(x_i，x_j)＝<x_i，x_j>＝<Φ(x_i)·Φ(x_j)>

上式中，x_i、x_j为第i、第j个特征向量。分别采用多项式核、RBF核、Sigmoid及交叉核函数进行分类，四种核的表达式分别如下：

K(x_i，x_j)＝x_i ^T·x_j

K(x_i，x_j)＝(γ·x_i ^T·x_j+r)^d， γ＞0

K(x_i，x_j)＝exp(-γ||x_i-x_j||²)，γ＞0

K(x_i，x_j)＝min(x_i，x_j)

上式中，γ、r和d为核函数的参数T；T为向量转置。

根据决策边界函数的计算结果将车辆特征向量x_j分类为第c_i类：

$c_i=\arg \underset{i=1,K,k}{\max }({\left(w^i\right)}^T{\mathrm{\&Phi;}}_i\left(x_j\right)+b).$

上式中，k为车辆类型数，w为分类为第i类的决策边界函数的权重，Φ_i(x_j)为第j个特征向量x_j分类为第i类车辆的非线性映射函数，T为向量转置。

有益效果：本发明方法可以为交通监控提供更精确的车辆及车型信息，对于交通安全和交通信息的实时提取具有重要的意义。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

实施例：基于车脸特征的车辆类型识别，该方法包括如下步骤：

(1)通过监控摄像机采集车辆图像，进行预处理，并分割出能表征车辆类型的车脸区域图像，具体包括如下步骤：

(1-1)使用监控摄像机采集车辆图像，例如：Audi、Wulin、Chery、Chevrolet、Cityroen、Ford、Changan、Hyudai、Mzada、Nissan、Peugot、Buick和Toyota等车型。

(1-2)图像数据预处理，为解决自然条件下不同的光照强度对采集的车辆图像的影响，本方法采用同态滤波增强图像质量。

令采集的车辆图像为f(x，y)，即

$\left\{\begin{array}{c}f(x,y)=f_i(x,y)\&CenterDot;f_r(x,y)\\ 0<f_i(x,y)<\&infin;,0<f_r(x,y)<1\end{array}\right.$

上式中，(x，y)为车辆图像在时域中的坐标，f_i(x，y)为照明函数，i为照明illumination缩写；f_r(x，y)为反射函数，r为反射reflection缩写；

对上式取对数并进行傅立叶变换得

F_ln(u，v)＝F_i，ln(u，v)+F_r，ln(u，v)

上式中，(u，v)车辆图像在频域中的坐标照明函数f_i(x，y)取对数后的傅里叶变换F_i，ln(u，v)的频谱特性主要集中在低频段，而反射函数f_r(x，y)取对数后的傅里叶变换F_r，ln(u，v)的频谱特性主要集中在高频段；

通过与同态滤波器函数H(u，v)相乘，在频域上削弱照明函数的成分，同时增强反射函数的频谱成分，以达到增加图像对比度的目的，即

G_ln(u，v)＝F_i，ln(u，v)·H(u，v)+F_r，ln(u，v)·H(u，v)

上式中，G_ln(u，v)为图像傅里叶变换同态滤波结果，对上式进行傅立叶反变换，则得同态滤波器预处理后的车辆图像，即

g(x，y)＝exp{F^-1{G_ln(u，v)}}。其中g(x，y)为图像同态滤波结果。

(1-3)分割出能表征车辆特征的车脸区域，包括车牌，车灯，散热栅栏及保险杠区域的车前脸特征，本方法采用基于车牌信息的车脸检测及分割方法。

基于车牌信息的车脸检测及分割具体过程为：

(1-3-1)将彩色图像转换为灰度图像，彩色图像转换为灰度图像的计算公式如下：

f(i，j)＝0.2999R+0.587G+0.114B

其中，f(i，j)为灰度化后图像坐标(i，j)处的像素灰度值，R、G、B分布为彩色图像RGB三分量。

(1-3-2)使用图像列与列相减的方法突出车牌区域，同时噪声点在相减的过程中得到削弱，列相减即计算图像水平方向的一阶差分：

f(i，j)＝f(i，j+1)-f(i，j)

图像列列相减后，将图像进行阈值化突出边缘信息，阈值根据列相减后自身灰度分布确定，阈值的计算公式为：

$T_n=\frac{1}{2m}\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}\max f(i,j)$

其中，T_n为阈值，m为图像列数；

(1-3-3)对阈值化的边缘图像进行车牌位置搜索，统计边缘图像的灰度投影，从下往上搜索某行目标像素个数大于阈值T₁时即作为下边界y_b，根据车牌高度粗略确定上边界y_t，之后在上下边界内统计图像的竖直投影，从左到右搜索到某列目标像素个数大于阈值T₂时作为左边界x_l，用同样方法搜索得到右边界x_r。根据车牌区域和车辆几何尺寸，以车牌位置为基准设置车辆宽度和高度与车牌高度和宽度之间的比例关系，估计出车脸位置信息。

(2)提取能表征车辆类型的车脸图像特征，本方法采用Curvelet小波变换提取车脸图像特征。

对于输入图像f(x)，其Curvelet小波变换结果是图像信号函数f(x)与Curvelet小波函数的内积，即：

上式中，

为curvelet小波函数，j、l和k分别为curvelet小波函数的尺度、方向和位置；在尺度2^-j，方向l和位置k处的二维curvelet函数定义为：

上式中，b＝(k₁2^-j，k₂2^-j/2)； $S_{\mathrm{\&theta;}}=\left[\begin{array}{cc}1& 0\\ -\tan \mathrm{\&theta;}& 1\end{array}\right],$ ω为频域变量，r，θ为频域极坐标，[j/2]为j/2的整数部分。

(3)采用支持向量机对提取的车脸图像特征向量进行分类，以识别出Audi、Wulin、Chery、Chevrolet、Cityroen、Ford、Changan、Hyudai、Mzada、Nissan、Peugot、Buick和Toyota等车型。

支持向量机分类的目的是寻找一个超平面将所有同类数据线性的划分到超平面的同侧，该超平面称为决策边界函数，其表达式为：

f(xi)＝<w·x_i>+b

上式中，w为决策边界函数的权重，b为决策边界函数的偏差项，x_i为第i个特征向量；

为分类非线性分布数据，本方法使用非线性映射函数Φ(·)将训练数据映射到高维特征空间，映射函数又称为核函数，即：

K(x_i，x_j)＝<x_i，x_j>＝<Φ(x_i)·Φ(x_j)>

上式中，x_i、x_j为第i、第j个特征向量。分别采用多项式核、RBF核、Sigmoid及交叉核函数进行分类，四种核的表达式分别如下：

K(x_i，x_j)＝x_i ^T·x_j

K(x_i，x_j)＝(γ·x_i ^T·x_j+r)^d，γ＞0

K(x_i，x_j)＝exp(-γ||x_i-x_j||²)，γ＞0

K(x_i，x_j)＝min(x_i，x_j)

上式中，γ、r和d为核函数的参数T；T为向量转置。

根据决策边界函数的计算结果将车辆特征向量x_j分类为第c_i类：

$c_i=\arg \underset{i=1,K,k}{\max }({\left(w^i\right)}^T{\mathrm{\&Phi;}}_i\left(x_j\right)+b).$

上式中，k为车辆类型数，w为分类为第i类的决策边界函数的权重，Φ_i(x_j)为第j个特征向量x_j分类为第i类车辆的非线性映射函数，T为向量转置。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (5)

1.一种基于车脸特征的车辆类型识别方法，其特征在于包括如下步骤：

(1)通过监控摄像机采集车辆图像，并进行预处理，然后检测并分割出能表征车辆类型的车脸图像，具体包括如下步骤：

(1-1)使用监控摄像机采集多种车型的车辆图像；

(1-2)图像预处理，采用同态滤波增强图像质量；

(1-3)采用基于车牌位置信息的车脸区域检测和分割，分割出能表征车型特征的车脸区域；

(2)对车辆图像进行Curvelet小波变换，以提取能表征车型特征的车脸特征矩阵；

(3)采用支持向量机分类器对提取的车脸图像的Curvelet小波特征向量进行分类，以识别出车型。

2.根据权利要求1所述的基于车脸特征的车辆类型识别方法，其特征在于：步骤(1-2)中，图像进行同态滤波的过程为：

令采集的车辆图像为f(x，y)，即

$\left\{\begin{array}{c}f(x,y)=f_i(x,y)\&CenterDot;f_r(x,y)\\ 0<f_i(x,y)<\&infin;,0<f_r(x,y)<1\end{array}\right.$

上式中，(x，y)为车辆图像在时域中的坐标，f_i(x，y)为照明函数，i为照明illumination缩写；f_r(x，y)为反射函数，r为反射reflection缩写；

对上式取对数并进行傅立叶变换得

F_ln(u，v)＝F_i，ln(u，v)+F_r，ln(u，v)

上式中，(u，v)车辆图像在频域中的坐标，照明函数f_i(x，y)取对数后的傅里叶变换F_i，ln(u，v)的频谱特性主要集中在低频段，而反射函数f_r(x，y)取对数后的傅里叶变换F_r，ln(u，v)的频谱特性主要集中在高频段；

通过与同态滤波器函数H(u，v)相乘，在频域上削弱照明函数的成分，同时增强反射函数的频谱成分，以达到增加图像对比度的目的，即

G_ln(u，v)＝F_i，ln(u，v)·H(u，v)+F_r，ln(u，v)·H(u，v)

上式中，G_ln(u，v)为图像傅里叶变换同态滤波结果，对上式进行傅立叶反变换，则得同态滤波器预处理后的车辆图像，即

g(x，y)＝exp{F^-1{G_ln(u，v)}}；其中g(x，y)为图像同态滤波结果。

3.根据权利要求1所述的基于车脸特征的车辆类型识别方法，其特征在于：步骤(1-3)中，基于车牌位置信息的车脸检测和分割，其具体过程为：

首先将彩色图像转换为灰度图像，彩色图像转换为灰度图像的公式如下：

f(i，j)＝0.2999R+0.587G+0.114B

其中，f(i，j)为灰度化后图像坐标(i，j)处的像素灰度值，R、G、B分布为彩色图像RGB三分量；

使用图像列与列相减的方法突出车牌区域，同时噪声点在相减的过程中得到削弱，列相减即计算图像水平方向的一阶差分：

f(i，j)＝f(i，j+1)-f(i，j)

图像列列相减后，将图像进行阈值化突出边缘信息，阈值根据列相减后自身灰度分布确定，阈值的计算公式为：

$T_n=\frac{1}{2m}\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}\max f(i,j)$

其中，T_n为阈值，m为图像列数；

对阈值化的边缘图像进行车牌位置搜索，统计边缘图像的灰度投影，从下往上搜索某行目标像素个数大于阈值T₁时即作为下边界y_b；根据车牌高度粗略确定上边界y_t，之后在上下边界内统计图像的竖直投影，从左到右搜索到某列目标像素个数大于阈值T₂时作为左边界x_l，用同样方法搜索得到右边界x_r；根据车牌区域和车辆几何尺寸，以车牌位置为基准设置车辆宽度和高度与车牌高度和宽度之间的比例关系，估计出车脸位置信息。

4.根据权利要求1所述的基于车脸特征的车辆类型识别方法，其特征在于：步骤(2)中，车辆图像进行Curvelet小波变换以提取其特征向量，具体过程为：

对于输入图像f(x)，其Curvelet小波变换结果是图像信号函数f(x)与Curvelet小波函数的内积，即：

上式中，

为curvelet小波函数，j、l和k分别为curvelet小波函数的尺度、方向和位置；在尺度2^-j，方向l和位置k处的二维curvelet函数定义为：

上式中，b＝(k₁2^-j，k₂2^-j/2)； $S_{\mathrm{\&theta;}}=\left[\begin{array}{cc}1& 0\\ -\tan \mathrm{\&theta;}& 1\end{array}\right],$ ω为频域变量，r，θ为频域极坐标，[j/2]为j/2的整数部分。

5.根据权利要求1所述的基于车脸特征的车辆类型识别方法，其特征在于：所述步骤(3)中，采用支持向量机分类器对提取的车脸图像的Curvelet小波特征向量进行分类，其具体步骤为：

寻找一个超平面将所有同类数据线性的划分到超平面的同侧，该超平面称为决策边界函数，其表达式为：

f(x_i)＝<w·x_i>+b

上式中，w为决策边界函数的权重，b为决策边界函数的偏差项，x_i为第i个特征向量；

为分类非线性分布数据，本方法使用非线性映射函数Φ(·)将训练数据映射到高维特征空间，映射函数又称为核函数，即：

K(x_i，x_j)＝<x_i，x_j>＝<Φ(x_i)·Φ(x_j)>

上式中，x_i、x_j为第i、第j个特征向量。分别采用多项式核、RBF核、Sigmoid及交叉核函数进行分类，四种核的表达式分别如下：

K(x_i，x_j)＝x_i ^T·x_j

K(x_i，x_j)＝(γ·x_i ^T·x_j+r)^d，γ＞0

K(x_i，x_j)＝exp(-γ||x_i-x_j||2)，γ＞0

K(x_i，x_j)＝min(x_i，x_j)

上式中，γ、r和d为核函数的参数T；T为向量转置；

根据决策边界函数的计算结果将车辆特征向量x_j分类为第c_i类：

$c_i=\arg \underset{i=1,K,k}{\max }({\left(w^i\right)}^T{\mathrm{\&Phi;}}_i\left(x_j\right)+b)$

上式中，k为车辆类型数，w为分类为第i类的决策边界函数的权重，Φ_i(x_j)为第j个特征向量x_j分类为第i类车辆的非线性映射函数，T为向量转置。