CN102567743A - 基于视频图像的驾驶员姿态自动识别方法 - Google Patents

Abstract

基于视频图像的驾驶员姿态自动识别方法，通过安装在驾驶室侧方的CCD摄像机采集驾驶员操作方向盘、操作档位、吃东西和打电话等驾驶姿态图像，然后通过同态滤波处理、皮肤区域分割和Curvelet小波变换提取驾驶姿态特征向量来表征不同类的驾驶姿态，最后，采用支持向量机SVM对提取的驾驶姿态特征向量进行分类，从而实现操作方向盘、操作档位、吃东西和打电话等驾驶姿态的自动识别。本发明方法在不干扰驾驶员正常驾驶活动的前提下，可有效地检测驾驶员的不良驾驶行为，从而提高交通行车安全。

Description

基于视频图像的驾驶员姿态自动识别方法

技术领域

本发明涉及图像识别及交通安全研究技术，尤其涉及一种基于视频图像的驾驶员的驾驶姿态自动识别方法。

背景技术

据统计报告显示，每年世界上很大部分交通事故是由人为因素造成的，即由不良的驾驶行为造成的，例如：在驾驶过程中打电话、吃东西等。为及时检测潜在的行车不安全因素，智能交通系统协会对驾驶员在驾驶过程中的行为进行监控产生了浓厚的兴趣。驾驶是一项需要驾驶员集中注意力的复杂操作活动，最新的关于自动驾驶的研究主要致力于以驾驶员为中心的驾驶辅助系统。开发驾驶辅助系统的目的是为了检测交通事故和交通堵塞，并且考虑到人与行车环境因素。自动理解和识别驾驶行为是以驾驶员为中心的驾驶辅助系统的重要组成部分，驾驶员的行为反映他们的驾驶状况，包括注意力、疲劳程度以及其他引起注意力分散的因素。目前关于驾驶员活动或行为的研究主要集中于检测驾驶员面部表情，头部位置等。有些学者使用机械、磁力传感器探测驾驶员身体某部位置及运动方向，这些方法需要将探测器与驾驶员身体相连，将对驾驶员造成直接影响。目前，尚未有基于视频图像的自动识别驾驶员的操作方向盘、操作档位、吃东西和打电话等驾驶姿态的方法，本方法提出了基于视频图像的驾驶姿态识别方法能够在不干扰驾驶员的前提下监控其驾驶行为，对潜在的交通安全隐患行为作出正确识别及预警。

发明内容

本发明要解决的问题是：现有技术中对驾驶员状态的检测需要将探测器与驾驶员身体相连，会对驾驶员造成直接影响，需要一种能够在不干扰驾驶员的前提下检测驾驶员驾驶状态的方法。

本发明的技术方案为：基于视频图像的驾驶员驾驶姿态的自动识别方法，包括如下步骤：

1)采集驾驶员的不同的驾驶姿态图像，共m类，作为训练数据；

2)对采集的驾驶姿态图像进行同态滤波处理；

3)对步骤2)处理后的驾驶姿态图像，采用基于彩色图像RGB三分量的阈值分割方法分割出包括驾驶员头部及手部皮肤区域的图像；

4)对步骤3)得到的包含驾驶员头部及手部皮肤区域的图像进行Curvelet变换，提取表征驾驶员驾驶姿态的Curvelet小波特征向量，即驾驶姿态特征向量；

5)采用支持向量机SVM对步骤4)得到的驾驶员姿态的Curvelet小波特征向量进行分类，识别出驾驶员的驾驶姿态，支持向量机进行分类的目标是寻找一个超平面，即分类函数，将可以归类为同一种驾驶姿态的特征向量划分到超平面的同一侧，所述分类函数为：

f(x_i)＝<w·x_i>+b

上式中，w为分类函数f(x_i)的权重，b为分类函数f(x_i)的偏差项，x_i为分类函数f(x_i)的输入训练样本，驾驶员的驾驶姿态特征向量作为训练样本，分类函数使用非线性映射函数φ(·)将驾驶员姿态的Curvelet小波特征向量的映射到高维特征空间，映射函数又称为核函数，其表达式为：

K(x_i，x_j)＝<x_i，x_j>＝<φ(x_i)·φ(x_j)>

x_j为待识别驾驶姿态图像的第j个驾驶姿态特征向量，这里采用交叉核函数，其表达为：

K(x_i，x_j)＝min(x_i，x_j)

则分类函数表示为

$f\left(x\right)=\mathrm{sign}[\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i{y}_{i}K(x_i,x_j)+b]$

其中N为训练样本数，α_i为与每个样本对应的Lagrange乘子，y_i为概率参数，y_i取0.25，对m类驾驶姿态的训练样本，根据分类函数的计算得到第t类驾驶姿态的非线性映射函数，t＝1，...m，对待识别的驾驶员驾驶姿态特征矩阵向量X_j分类，计算其分类值c_t：

$c_t=\arg \underset{t=1,...,m}{\max }({\left(w^t\right)}^T{\mathrm{\&phi;}}_t\left(x_j\right)+b^t)$

上式中，c_t对应驾驶姿态类型，t为姿态类型的编号，w^t为分类函数f(x)的权重，b^t为分类函数f(x)的偏差项，m为驾驶姿态类型总数，权重w^t取0.33，偏差项b^t取0.01，φ_i(x_j)为第j个驾驶姿态特征向量x_j分类为第t类驾驶姿态的非线性映射函数，T为向量转置，根据分类值c_t的公式确定t的取值，实现对驾驶姿态的识别。

步骤2)中，图像进行同态滤波的过程为：

令采集的车内驾驶员姿态图像为f(x，y)，即

$\left\{\begin{array}{c}f(x,y)=f_s(x,y)\&CenterDot;f_r(x,y)\\ 0<f_s(x,y)<\&infin;,0<f_r(x,y)<1\end{array}\right.$

上式中，f_s(x，y)为照明函数，f_r(x，y)为反射函数；对上式取对数并进行傅立叶变换得

F_ln(u，v)＝F_s，ln(u，v)+F_r，ln(u，v)

其中u，v分别为变量x，y在函数进行傅里叶变换后的映射值，照明函数取对数后的傅里叶变换F_s，ln(u，v)的频谱特性集中在低频段，反射函数取对数后的傅里叶变换F_r，ln(u，v)的频谱特性集中在高频段；通过与同态滤波器函数H(u，v)相乘，在频域上削弱照明函数的成分，同时增强反射函数的频谱成分，以增加图像对比度，即

G_ln(u，v)＝F_s，ln(u，v)·H(u，v)+F_r，ln(u，v)·H(u，v)

对上式进行傅立叶反变换，则得同态滤波器预处理后的驾驶员驾驶姿态图像，即

g(x，y)＝exp{F^-1{G_ln(u，v)}}。

步骤3)中对图像进行彩色分割提取皮肤区域的过程为：

3-1)对于图像某一像素彩色三分量(r，g，b)，首先使用如下公式对r，g，b三分量归一化：

$r^{\&prime;}=\frac{255r}{r+g+b},$ $g^{\&prime;}=\frac{255g}{r+g+b},$ $b^{\&prime;}=\frac{255b}{r+g+b}$

3-2)图像中满足以下条件的像素点(r′，g′，b′)归为皮肤区域，分割出驾驶员头部和手部区域：

$\left\{\begin{array}{c}{r}^{\&prime;}>95,g^{\&prime;}>45,b^{\&prime;}>20\\ \max \{r^{\&prime;},g^{\&prime;},b^{\&prime;}\}-\min \{r^{\&prime;},g^{\&prime;},b^{\&prime;}\}>15\\ r^{\&prime;}-g^{\&prime;}>15,r^{\&prime;}>b^{\&prime;}\end{array}\right..$

步骤4)中，驾驶姿态图像进行Curvelet变换提取Curvelet小波特征向量的过程为：

对于输入图像f(x，y)，其Curvelet变换结果c(j，k，k)是图像信号函数f(x，y)与curvelet小波函数的内积，即：

$c(j,k,k)={\&Integral;}_{R^2}f(x,y){\mathrm{\&phi;}}_{j,l,k}\left(x\right)\mathrm{dx}$

上式中，

为curvelet小波函数，j、k、l分别为curvelet小波函数的尺度、方向和位置，对图像信号函数f(x，y)与curvelet小波函数的内积结果取均值和方差，则得到驾驶姿态图像的Curvelet小波特征向量。

有益效果：本发明方法开发的基于视频图像的驾驶姿态识别方法能够在不干扰驾驶员的前提下监控其驾驶行为，对潜在的交通安全隐患行为作出正确识别及预警。本法对东南大学采集的驾驶员的操作方向盘、操作档位、吃东西和打电话四类驾驶姿态图像进行检测识别，使用curvelet小波变换提取驾驶员驾驶姿态特征，之后可采用支持向量机(SVM-Inter)、线性神经网络LP、最近邻KNN分类器和子空间分类器对提取的驾驶员姿态的curvelet小波特征向量进行识别，其识别率分别为86.63％、74％、72.25％和73％，如图1所示，可见本发明方法具有显著的效果。

附图说明

图1为本发明驾驶姿态自动识别的结果图。

具体实施方式

基于视频图像的驾驶员的驾驶姿态自动识别方法，包括如下步骤：

1)采集驾驶员的操作方向盘、操作档位、吃东西和打电话等驾驶姿态图像，对驾驶姿态图像进行预处理，分割出包括驾驶员头部及手部皮肤区域的图像；

2)对步骤1)得到的包含驾驶员头部及手部皮肤区域的图像进行Curvelet小波变换，以提取能表征驾驶员驾驶姿态的Curvelet小波特征向量；

3)采用支持向量机SVM对步骤2)得到的驾驶人姿态的Curvelet小波特征向量进行分类，识别出驾驶员的操作方向盘、操作档位、吃东西和打电话等驾驶姿态。支持向量机进行分类的目标是寻找一个超平面(分类函数)，将可以归类为的同一种驾驶姿态的特征向量划分到超平面的同一侧，即：

f(x_i)＝<w·x_i>+b

上式中，w为分类函数f(x_i)的权重，b为分类函数f(x_i)的偏差项，x_i为分类函数f(x_i)输入训练样本，训练样本为驾驶人驾驶姿态特征向量，在本方法实施例中，训练样本取全部驾驶人驾驶姿态特征向量的80％，权重w取0.33，偏差项b取0.01。本发明中的分类函数使用非线性映射函数φ(·)将驾驶员姿态的Curvelet小波特征向量的映射到高维特征空间，映射函数又称为核函数，其表达式为：

K(x_i，x_j)＝<x_i，x_j>＝<φ(x_i)·φ(x_j)>

本方法采用交叉核函数进行分类，其表达式如下：

K(x_i，x_j )＝min(x_i，x_j)

则分类函数表示为

$f\left(x\right)=\mathrm{sign}[\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i{y}_{i}K(x_i,x_j)+b]$

其中N为训练样本数，α_i为与每个样本对应的Lagrange乘子，y_i为概率参数，y_i取0.25，对m类驾驶姿态的训练样本，根据分类函数的计算得到第t类驾驶姿态的非线性映射函数，t＝1，...m，对待识别的驾驶员驾驶姿态特征矩阵向量X_j分类，计算其分类值c_t：

$c_t=\arg \underset{t=1,...,m}{\max }({\left(w^t\right)}^T{\mathrm{\&phi;}}_t\left(x_j\right)+b^t)$

上式中，c_t对应驾驶姿态类型，t为姿态类型的编号，w^t为分类函数f(x)的权重，b^t为分类函数f(x)的偏差项，m为驾驶姿态类型总数，权重w^t取0.33，偏差项b^t取0.01，φ_t(x_j)为第j个驾驶姿态特征向量x_j分类为第t类驾驶姿态的非线性映射函数，T为向量转置，根据分类值c_t的公式确定t的取值，实现对驾驶姿态的识别。

其中步骤1)具体为：

1-1)在驾驶室侧方安装CCD相机，采集驾驶员在驾驶过程中的操作方向盘、操作档位、吃东西和打电话等驾驶姿态图像；

1-2)使用同态滤波对采集的驾驶员驾驶图像进行预处理，以增强图像质量；

1-3)采用基于彩色图像RGB三分量的阈值分割方法分割出包括驾驶员头部及手部的皮肤区域的图像。

步骤1-2)中，驾驶员驾驶图像进行同态滤波的过程为：

令采集的车内驾驶员姿态图像为f(x，y)，即

$\left\{\begin{array}{c}f(x,y)=f_s(x,y)\&CenterDot;f_r(x,y)\\ 0<f_s(x,y)<\&infin;,0<f_r(x,y)<1\end{array}\right.$

上式中，f_s(x，y)为照明函数，f_r(x，y)为反射函数；对上式取对数并进行傅立叶变换得

F_ln(u，v)＝F_s，ln(u，v)+F_r，ln(u，v)

其中u，v分别为变量x，y在函数进行傅里叶变换后的映射值，照明函数取对数后的傅里叶变换F_s，ln(u，v)的频谱特性集中在低频段，反射函数取对数后的傅里叶变换F_r，ln(u，v)的频谱特性集中在高频段；通过与同态滤波器函数H(u，v)相乘，在频域上削弱照明函数的成分，同时增强反射函数的频谱成分，以达到增加图像对比度的目的，即

G_ln(u，v)＝F_s，ln(u，v)·H(u，v)+F_r，ln(u，v)·H(u，v)

对上式进行傅立叶反变换，则得同态滤波器预处理后的驾驶员驾驶图像，即

g(x，y)＝exp{F^-1{G_ln(u，v)}}。

步骤1-3)中对图像进行彩色分割提取皮肤区域的过程为：

1-3-1)对于图像某一像素彩色三分量(r，g，b)，首先使用如下公式对r，g，b三分量归一化：

$r^{\&prime;}=\frac{255r}{r+g+b},$ $g^{\&prime;}=\frac{255g}{r+g+b},$ $b^{\&prime;}=\frac{255b}{r+g+b}$

1-3-2)图像中满足以下条件的像素点(r′，g′，b′)归为皮肤区域，分割出驾驶员头部和手部区域：

$\left\{\begin{array}{c}{r}^{\&prime;}>95,g^{\&prime;}>45,b^{\&prime;}>20\\ \max \{r^{\&prime;},g^{\&prime;},b^{\&prime;}\}-\min \{r^{\&prime;},g^{\&prime;},b^{\&prime;}\}>15\\ r^{\&prime;}-g^{\&prime;}>15,r^{\&prime;}>b^{\&prime;}\end{array}\right..$

步骤2)中，驾驶姿态图像进行Curvelet小波变换提取Curvelet特征向量的过程为：

对于输入图像f(x)，其Curvelet小波变换结果c(j，k，k)是图像信号函数f(x)与curvelet小波函数的内积，即：

上式中，

为curvelet小波函数，j、k、l分别为curvelet小波函数的尺度、方向和位置。对图像信号函数f(x，y)与curvelet小波函数的内积结果取均值和方差，则得到驾驶姿态图像的Curvelet小波特征向量。

图1为本发明驾驶姿态自动识别的结果图，该图是采用本发明对东南大学采集的驾驶人的操作方向盘、操作档位、吃东西和打电话四种驾驶姿态数据库进行识别的结果。东南大学采集的驾驶人驾驶姿态数据库包括40位驾驶人160张驾驶图像，包括操作方向盘、操作档位、吃东西和打电话四种驾驶姿态，这些图像是通过停放在东南大学停车场上的一辆别克实验车采集的，该实验车驾驶室中侧面安装一台正对驾驶人的CCD摄像机，在自然光线条件下，驾驶人正常操作方向盘、操作档位、吃东西和打电话，CCD摄像机实时采集该驾驶人驾驶图像。取采用本发明提取的160组驾驶人驾驶姿态特征向量中的80％作为训练数据，其余20％作为测试样本，分别采用支持向量机、线性神经网络、最近邻法和子空间分类器对测试样本进行识别，最终识别结果分别为86.63％、74％、72.25％和73％，因此，采用本发明对驾驶员驾驶姿态自动识别的结果是最优的。

Claims (4)

1.基于视频图像的驾驶员驾驶姿态的自动识别方法，其特征是包括如下步骤：

1)采集驾驶员的不同的驾驶姿态图像，共m类，作为训练数据；

2)对采集的驾驶姿态图像进行同态滤波处理；

3)对步骤2)处理后的驾驶姿态图像，采用基于彩色图像RGB三分量的阈值分割方法分割出包括驾驶员头部及手部皮肤区域的图像；

4)对步骤3)得到的包含驾驶员头部及手部皮肤区域的图像进行Curvelet变换，提取表征驾驶员驾驶姿态的Curvelet小波特征向量，即驾驶姿态特征向量；

5)采用支持向量机SVM对步骤4)得到的驾驶员姿态的Curvelet小波特征向量进行分类，识别出驾驶员的驾驶姿态，支持向量机进行分类的目标是寻找一个超平面，即分类函数，将可以归类为同一种驾驶姿态的特征向量划分到超平面的同一侧，所述分类函数为：

f(x_i)＝<w·x_i>+b

上式中，w为分类函数f(x_i)的权重，b为分类函数f(x_i)的偏差项，x_i为分类函数f(x_i)的输入训练样本，驾驶员的驾驶姿态特征向量作为训练样本，分类函数使用非线性映射函数φ(·)将驾驶员姿态的Curvelet小波特征向量的映射到高维特征空间，映射函数又称为核函数，其表达式为：

K(x_i，x_j)＝<x_i，x_j>＝<φ(x_i)·φ(x_j)>

x_j为待识别驾驶姿态图像的第j个驾驶姿态特征向量，这里采用交叉核函数，其表达为：

K(x_i，x_j)＝min(x_i，x_j)

则分类函数表示为

$f\left(x\right)=\mathrm{sign}[\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i{y}_{i}K(x_i,x_j)+b]$

其中N为训练样本数，α_i为与每个样本对应的Lagrange乘子，y_i为概率参数，y_i取0.25，对m类驾驶姿态的训练样本，根据分类函数的计算得到第t类驾驶姿态的非线性映射函数，t＝1，...m，对待识别的驾驶员驾驶姿态特征矩阵向量X_j分类，计算其分类值c_t：

$c_t=\arg \underset{t=1,...,m}{\max }({\left(w^t\right)}^T{\mathrm{\&phi;}}_t\left(x_j\right)+b^t)$

上式中，c_t对应驾驶姿态类型，t为姿态类型的编号，w^t为分类函数f(x)的权重，b^t为分类函数f(x)的偏差项，m为驾驶姿态类型总数，权重w^t取0.33，偏差项b^t取0.01，φ_t(x_j)为第j个驾驶姿态特征向量x_j分类为第t类驾驶姿态的非线性映射函数，T为向量转置，根据分类值c_t的公式确定t的取值，实现对驾驶姿态的识别。

2.根据权利要求1所述的基于视频图像的驾驶员姿态自动识别方法，其特征是步骤2)中，图像进行同态滤波的过程为：

令采集的车内驾驶员姿态图像为f(x，y)，即

$\left\{\begin{array}{c}f(x,y)=f_s(x,y)\&CenterDot;f_r(x,y)\\ 0<f_s(x,y)<\&infin;,0<f_r(x,y)<1\end{array}\right.$

上式中，f_s(x，y)为照明函数，f_r(x，y)为反射函数；对上式取对数并进行傅立叶变换得

F_ln(u，v)＝F_s，ln(u，v)+F_r，ln(u，v)

其中u，v分别为变量x，y在函数进行傅里叶变换后的映射值，照明函数取对数后的傅里叶变换F_s，ln(u，v)的频谱特性集中在低频段，反射函数取对数后的傅里叶变换F_r，ln(u，v)的频谱特性集中在高频段；通过与同态滤波器函数H(u，v)相乘，在频域上削弱照明函数的成分，同时增强反射函数的频谱成分，以增加图像对比度，即

G_ln(u，v)＝F_s，ln(u，v)·H(u，v)+F_r，ln(u，v)·H(u，v)

对上式进行傅立叶反变换，则得同态滤波器预处理后的驾驶员驾驶姿态图像，即

g(x，y)＝exp{F^-1{G_ln(u，v)}}。

3.根据权利要求1所述的基于视频图像的驾驶员姿态自动识别方法，其特征是步骤3)中对图像进行彩色分割提取皮肤区域的过程为：

3-1)对于图像某一像素彩色三分量(r，g，b)，首先使用如下公式对r，g，b三分量归一化：

$r^{\&prime;}=\frac{255r}{r+g+b},$ $g^{\&prime;}=\frac{255g}{r+g+b},$ $b^{\&prime;}=\frac{255b}{r+g+b}$

3-2)图像中满足以下条件的像素点(r′，g′，b′)归为皮肤区域，分割出驾驶员头部和手部区域：

$\left\{\begin{array}{c}{r}^{\&prime;}>95,g^{\&prime;}>45,b^{\&prime;}>20\\ \max \{r^{\&prime;},g^{\&prime;},b^{\&prime;}\}-\min \{r^{\&prime;},g^{\&prime;},b^{\&prime;}\}>15\\ r^{\&prime;}-g^{\&prime;}>15,r^{\&prime;}>b^{\&prime;}\end{array}\right..$

4.根据权利要求1所述的基于视频图像的驾驶员姿态自动识别方法，其特征是步骤4)中，驾驶姿态图像进行Curvelet变换提取Curvelet小波特征向量的过程为：

对于输入图像f(x，y)，其Curvelet变换结果c(j，k，k)是图像信号函数f(x，y)与curvelet小波函数的内积，即：

$c(j,k,k)={\&Integral;}_{R^2}f(x,y){\mathrm{\&phi;}}_{j,l,k}\left(x\right)\mathrm{dx}$

上式中，

为curvelet小波函数，j、k、l分别为curvelet小波函数的尺度、方向和位置，对图像信号函数f(x，y)与curvelet小波函数的内积结果取均值和方差，则得到驾驶姿态图像的Curvelet小波特征向量。