CN105354986A - 汽车司机驾驶状态监测系统及方法 - Google Patents

Abstract

本发明提供一种汽车司机驾驶状态监测系统及方法，该方法包括以下步骤：检测人脸，检测当前司机是否处于可检测范围内，如检测不到人脸，则提示司机调整设备位置，直到设备可以检测到人脸为止；检测到人脸，扬声器开始播发系统开始工作的提示；不断获取图像信息，并且进行人脸检测、嘴部检测，并且初始化嘴部跟踪模块，调用眼睛轮廓定位算法定位，分析用户的上下眼皮距离，直到分析的帧数已经超过一定数目；根据用户的上下眼皮距离，初始化眨眼判断算法的阀值；不断从摄像头获取图像信息，对图像进行分析，综合分析司机驾驶状态。本发明可以利用计算机视觉技术来监测普通司机的驾驶状态，提示与规范司机的行为。

Description

汽车司机驾驶状态监测系统及方法

技术领域

本发明涉及计算机视觉、汽车安全等技术领域，特别涉及一种汽车司机驾驶状态监测系统及方法。

背景技术

目前，汽车数量越来越多，交通越来越发达，人们驾车出行的频率相比以前大大增加。虽然驾车次数增加，但是人们的安全防范意识却没有相应的增强。在这种情况下如何保障驾车安全是一个很重要的问题。在所有驾驶事故中，疲劳驾驶是其中最大的一个事故诱发原因之一。

鉴于此，业界开发了监测疲劳驾驶的设备，但是这些设备大多是基于很简单的假设，比如用重力感应器来检测头部上下运动，以检测睡意。这种设备误报警率高，可适用性不强。另外，也有一些基于司机面部图像分析的技术方案来检测司机睡意，但其所用的图像分析技术处理时间长，所能处理的不同状态有限，实用性差，而且容易挡住司机视线。

发明内容

本发明的目的在于提供一种汽车司机驾驶状态监测系统及方法，以能够及时识别汽车司机的不规范行为。

为了实现上述目的，本发明提供如下技术方案：

一种汽车司机驾驶状态监测方法，其特征在于，包括以下步骤：

检测人脸，检测当前司机是否处于可检测范围内，如检测不到人脸，则提示司机调整摄像头位置，直到摄像头可以检测到人脸为止；

检测到人脸，扬声器开始播发系统开始工作的提示；

不断从摄像头获取图像信息，并且进行人脸检测、嘴部检测，并且初始化嘴部跟踪模块，调用眼睛轮廓定位算法定位，分析上下眼皮距离，直到分析的帧数已经超过一定数目；

根据上下眼皮距离，初始化眨眼判断算法的阀值；

不断从摄像头获取图像信息，调用眨眼识别、表情识别、头部姿态估计算法对图像信息进行分析，实时检测出司机眼球开闭、表情、头部三维状态，调用综合结果分析模块来综合分析司机驾驶状态。

优选地，在上述方案中，检测人脸的算法步骤为：

特征提取阶段：用修改中心变换MCT和局部梯度模式LGP来抽取所有人脸和非人脸的图像的特征；

正负样本构建阶段：将通用数据库和红外图像数据库中的图像进行分类，包含人脸图像和非人脸图像，将人脸区域图像缩放到40×40像素，并且根据人脸的不同姿态将每个人脸划分为不同的子集；

原始训练阶段：在通用数据库上面采用传统的VectorBoosting算法进行级联分类器的构建，分类器所用的特征是MCT特征和LGP特征的结合；

转移学习阶段：在红外数据库上面采用VectorBoosting算法进行级联分类器的构建，并且同时兼顾通用数据库上面所得到的模型，优化特定的训练目标方程，使得所得到的模型既具有通用模型的特点又具有红外图像数据的特点；

检测阶段：利用转移学习阶段得到的VectorBoosting模型，在红外图像上面用基于矢量树模型结构对人脸区域进行检测。

优选地，在上述方案中，在特征提取阶段，采用基于MCT特征的具体计算方法为：

$C\left(\stackrel{\&OverBar;}{I}\right(x),I(y\left)\right)=\left\{\begin{array}{cc}1& if\stackrel{\&OverBar;}{I}\left(x\right)<I\left(y\right),\\ 0& otherwise,\end{array}\right.;$

N'(x)＝N'(x)∪x是x的局部空间邻居，I(x)是像素点x的灰度值，是像素点x的所有邻居的平均灰度值，是链接操作符，定义等同于C。

采用基于LGP特征的具体计算方法为：

$\begin{array}{cc}{\mathrm{LGP}}_{p,r}(x_c,y_c)=\underset{n=0}{\overset{p-1}{\&Sigma;}}s(g_n-\stackrel{\&OverBar;}{g})2^2& s\left(x\right)=\left\{\begin{array}{cc}0,& ifx<0,\\ 1,& otherwise\end{array}\right.\end{array}.$

(x_c,y_c)是像素中心点，中心点i_c与邻居点i_n之间的灰度值差为g_n＝|i_n-i_c|， $\stackrel{\&OverBar;}{g}=\frac{1}{p}\underset{0}{\overset{p-1}{\&Sigma;}}{g}_n.$

优选地，在上述方案中，在眼睛检测算法中，包括以下步骤：

特征提取阶段：用多模块修改中心变换MBMCT来抽取所有眼睛区域和非眼睛区域的图像特征；

正负样本构建阶段：将通用数据库和红外图像数据库中的图像进行分类，包含眼睛区域图像和非眼睛区域图像，将眼睛区域图像缩放到15×15像素。

原始训练阶段：在通用数据库上面采用传统的FloatBoosting算法进行强分类器的构建，分类器所用的特征是MBMCT；

转移学习阶段：在红外数据库上面采用FloatBoosting算法进行强联分类器的构建，并且同时兼顾通用数据库上面所得到的模型，去优化特定的训练目标方程；

检测阶段：利用转移学习阶段得到的FloatBoosting模型，在红外图像上面用基于矢量树模型结构对眼睛区域进行检测；对得到的多个潜在的眼睛矩形区域来进行平均，并取矩形的中心点作为眼珠位置。

优选地，在上述方案中，在特征提取阶段，采用基于MBMCT特征的具体计算方法为：

$T(x^{\&prime;},y^{\&prime;})=\left\{\begin{array}{cc}1& ifR(x^{\&prime;},y^{\&prime;})>\stackrel{\&OverBar;}{R}\\ 0& otherwise,\end{array}\right.;$

$\stackrel{\&OverBar;}{R}=\frac{1}{9}\underset{x^{\&prime;}=x-1}{\overset{x^{\&prime;}=x+1}{\&Sigma;}}\underset{y^{\&prime;}=y-1}{\overset{y^{\&prime;}=y+1}{\&Sigma;}}R(x^{\&prime;},y^{\&prime;}).$

其中R(x,y)＝ii(x+1,y+1)-ii(x,y+1)-ii(x+1,y)+ii(x,y),ii(x,y)是积分图像。

优选地，在上述方案中，眨眼判断算法中，得到眼睛具体位置后，将眼睛附近区域部分抽取出来，提取多模块修改中心变换MBMCT特征值，然后对当前特征向量进行分类。

优选地，在上述方案中，眨眼判断算法中，采用基于RBF核的非线性支持向量机模型SVM；基于RBF核的非线性支持向量机SVM公式为：

$\tilde{L}\left(\mathrm{\&alpha;}\right)=\underset{i=1}{\overset{n}{\&Sigma;}}{\mathrm{\&alpha;}}_i-\frac{1}{2}\underset{i,j}{\&Sigma;}{\mathrm{\&alpha;}}_i{\mathrm{\&alpha;}}_j{y}_i{y}_{j}k(x_i,x_j)$

0≤α_i≤C

$\underset{i=1}{\overset{n}{\&Sigma;}}{\mathrm{\&alpha;}}_i{y}_i=0.$

其中α_i是对第i个例子的隐藏变量，y_i是第i个例子的标记，x_i是第i个例子的输入特征，k(x_i,x_j)是第i个例子和第j个例子之间的相似度(通过定义内核k来实现)，C是惩罚参数。

为了实现上述目的，本发明提供另一个如下技术方案：

一种汽车司机驾驶状态监测系统，其包括包括处理器、摄像模块、存储模块、扬声器，其中，

上述处理器包括主控单元、运算单元、内存单元和系统总线；

上述摄像模块与上述处理器连接，用于获取汽车驾驶座席的图像信息并经由上述系统总线发送至上述内存单元；

上述存储模块用于存储算法模型文件、参数以及用户配置文件，上述存储模块与上述处理器连接，上述处理器能够调用并且修改上述存储模块中存储的数据；

上述扬声器与上述处理器连接，用于在接收到上述处理器的指示时向用户提示报警信息；

上述主控单元对系统运行过程中的逻辑判断进行处理，同时还用于控制硬件模块的连接和开启；上述运算单元用于按照上述主控单元的命令读取上述内存单元中的数据加以处理，并将处理结果输出至上述主控单元；上述内存单元为上述运算单元和上述主控单元提供内存支持；

上述汽车司机驾驶状态监测系统还包括：

人脸检测模块，检测当前司机是否处于可检测范围内，如检测不到人脸，则提示司机调整上述摄像头的位置，直到能够检测到人脸为止；检测到人脸，则上述主控单元使上述扬声器开始播发系统开始工作的提示；

嘴部定位与跟踪模块，不断从上述摄像头获取上述图像信息，并且进行嘴部定位检测和嘴部跟踪检测；

眼睛定位与眨眼分类模块，进行眼睛定位，分析上下眼皮距离，直到分析的帧数已经超过一定数目，并且根据上下眼皮距离，初始化眨眼分类的阀值，进行眨眼分类判断；和

面部表情识别模块，不断从上述摄像头获取上述图像信息，通过对上述图像信息进行分析，实时检测出司机表情来综合分析司机驾驶状态。

优选地，在上述方案中，上述摄像模块采用红外摄像头，并且添加了红外补光灯和滤光片。

优选地，在上述方案中，还具备蓝牙模块，上述处理器通过上述蓝牙模块与手持终端或车载设备连接。

本发明提供一种利用计算机视觉技术来监测普通司机的驾驶状态的智能系统。当驾驶员出现疲劳驾驶，开车注意力不集中(左顾右盼、抬头低头，比如玩手机)，开车时候情绪不稳定时候，系统会采取适当的措施，如以声音报警，震动方式来提示与规范司机的行为，同时还能通过软件来记录，同步和显示司机驾驶习惯。

附图说明

图1是本发明实施例的系统原理框图；

图2是本发明实施例的系统工作流程图；

图3是本发明实施例的综合结果分析流程图；

图4是本发明实施例的手机工作流程图；

图5是本发明实施例中各功能模块的工作流程图；

图6是本发明实施例的LGP特征提取图；

图7是本发明实施例的MCT特征提取图；

图8是本发明实施例的人脸掩码；

图9是本发明实施例的RELU函数的坐标图；

图10是本发明实施例的MB-MCT特征提取图；

图11是本发明实施例的眼睛检测区域图；

图12是本发明实施例的VectorBoost训练过程图；

图13是本发明实施例的级联分类器原理图；

图14是本发明实施例的CNN架构示意图；

图15是本发明实施例的眨眼分类结果。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步详细说明。

如图1，就本发明实施例的系统结构而言，其包括处理器、摄像模块、扬声器、蓝牙模块、存储模块、同步动态随机存储器(SynchronousDynamicRandomAccessMemory，以下简称SDRAM)等，其中，处理器包括运算单元、主控单元、内存单元和系统总线。其中，摄像模块采用红外摄像头，用于获取红外图像信息，尤其是人脸图像信息。摄像模块与处理器连接，将所获取的汽车驾驶座席的红外图像信息经由系统总线发送至SDRAM，以供处理器的运算单元和主控单元经系统总线进行读取；存储模块用于存储算法模型文件，参数以及用户配置文件，存储模块与处理器连接，处理器能够调用并且修改所述存储模块中存储的数据，系统运行时，主控单元经系统总线向存储模块发出指令调用相关数据，则存储模块将所存储的相关数据经系统总线存入SDRAM模块中，以供运算单元和主控单元读取数据。内存单元用于为运算单元和主控单元提供必要的内存支持。虽然处理器自带的内存单元响应速度快，但是在数据过大时无法满足需求，因此以SDRAM作为内存单元的扩展单元。扬声器与处理器连接，用于在接收到所述处理器的指示时向用户提示报警信息。处理器中，主控单元主要是对系统运行过程中的各种逻辑判断进行处理，同时还用于接收控制装置的开启，负责将各种不同的硬件模块连接起来，同时控制扬声器发出报警和提示声音。运算单元，用于按照主控单元的命令读取内存单元中的数据加以处理，并将处理结果输出至主控单元，主要来说，用于对本发明所属的各种计算机视觉算法进行运算，计算机视觉算法所需要的运算量大，如果只依靠主控芯片，那么运算速度会非常慢。内存单元为算法运行提供内存支持。

本发明的摄像头采用红外摄像头，并且添加了红外补光灯和滤光片。其中红外补光灯和滤光片是可选的，如果只需要在足够可见光的环境运行，那么选择普通摄像头即可。如果需要在光线暗的环境下也能工作，则需要增加红外补光灯和需要选取红外摄像头。为了消除强光和逆光等各种光噪声，则需要添加滤光片。摄像头通过数据总线与主控单元连接，因此摄像头所获取到的图片信息经过数据总线传送到内存单元中，然后计算机视觉算法从内存单元中获取图像信息，在数字信号处理(digitalsignalprocessing，以下简称DSP)运算单元中进行运算，计算出各种信息，并且将所得到的信息反馈给主控单元，由主控单元去控制扬声器模块和蓝牙模块，以做出相应的反应。运算单元与主控单元也是通过内存数据总线连接起来。

优选地，本发明还可以与手机等手持终端或车载设备连接。如果想统计驾驶习惯等，则可以选取安装。手机等手持终端或车载设备应用程序的安装与否，不影响硬件设备的运行。

优选地，以ADIBlackfin53x作为DSP处理器，最高主频是600MHZ，有最大4GB寻址空间，最大80KBSRAM的L1指令存储器和2个32KBSRAM的L1数据存储器，集成丰富的外围设备和接口。Blackfin53x与DSP相连接的有16MBFlash存储模块(可升级到32MB或64MB)，32MB片外内存SDRAM(可升级到64MB)。存储模块用于存储系统所需的音频文件和配置文件，SDRAM与SRAM提供整个系统运行时候所需要的内存。其它外设模块：红外摄像头、红外补光灯、蓝牙模块、扬声器。在光学结构上，采用人眼不可见的窄谱红外补光灯；红外滤光片位于红外补光灯和红外摄像头前方，消除外界环境中非红外光的光学干扰和噪声，摄像头只能利用系统自身的红外补光灯采集图像，这样在任何环境下(无论白天还是黑夜、顺光还是逆光、还是有无对向驶来汽车车灯的干扰，等其他光学干扰)就能采集到稳定和清晰的图像。

分析可知，本发明的基本原理就是依据计算机视觉技术，主要是人脸分析技术来对司机状态进行实时的分析，最后综合得出司机的驾驶状态，包括司机开车注意力不集中，疲劳驾驶以及开车时候情绪状态。根据实验所得到的阀值，将分析得到的驾驶状态与阀值进行比较，如果超出一定的阀值，则会触发相应的报警系统进行报警，规范司机的行为。

本发明实施时，如图2，其运行步骤可以参考如下：

(1)系统加电自检，如硬件无故障，则继续。

(2)调用人脸检测模块，检测当前司机是否处于可检测范围内，如检测不到人脸，则提示司机调整设备位置，直到设备可以检测到人脸为止。

(3)检测到人脸，扬声器开始播发系统开始工作的提示。

(4)不断从摄像头获取图像信息，并且进行人脸检测、嘴部检测，并且初始化嘴部跟踪模块，调用眼睛轮廓定位算法定位，分析用户的上下眼皮距离，直到分析的帧数已经超过一定数目。

(5)根据用户的上下眼皮距离，初始化眨眼判断算法的阀值。

(6)不断从摄像头获取图像信息，调用算法模块对图像进行分析，调用综合结果分析模块来综合分析司机的驾驶状态。

(7)如果收到用户关机信号，则释放内存，关闭蓝牙，退出循环。

从上述本发明的运行步骤可知，本发明主要包括两部分功能模块：一是对应的计算机视觉模块，用来分析每帧图像，得到原始的信息，比如人脸区域，眼睛位置，眨眼/闭眼，头部姿态。二是综合结果分析判定模块，其主要目的是根据各种原始分析数据来判断司机当前的驾驶状态，比如司机是否处于深度疲劳驾驶状态。具体来说，利用计算机视觉算法，分析摄像头所获得的红外图像并获得一些原始信息，主要包括人脸的位置(可能包括多个人脸区域)，眼睛的位置，眼睛轮廓附近(上下眼眶)关键点的位置。利用这些原始分析信息，综合结果分析模块加以统计分析，判断出司机当前是否处于瞌睡状态，开车情绪如何以及开车时候的专注度。最后根据综合分析结果，再调用相应的硬件模块来进行提醒并且通过蓝牙发送数据到手机软件进行存储和显示，以供用户去检查自己的驾驶行为。

具体而言，本发明实施例的计算机视觉算法有：人脸检测算法、眼睛定位算法、眨眼分类算法、嘴部定位与跟踪算法、面部表情识别算法、正面人脸分类算法。分别描述如下：

对于人脸检测算法，利用向量提升算法(VectorBoosting)和转移学习(transferlearning)作为分类器框架来训练整个算法，用修改中心变换(MCT)和局部梯度模式(LGP)来抽取图像的特征。同时，不同于原始的vectorboosting算法，在通用的数据库上面得到通用的人脸检测模型后，再收集一部分红外训练图像，通过转移学习(transferlearning)技术将通用人脸检测模型转移到基于红外的训练图像上面，使得所得到的人脸检测模型相比于通用的人脸检测模型，性能更好，更具有针对性。

具体步骤如下：(1)特征提取阶段：用修改中心变换(MCT)和局部梯度模式(LGP)来抽取所有人脸和非人脸的图像的特征(包括红外和通用数据库)，具体MCT和LGP特征提取方式见附图6和7。

(2)正负样本构建阶段：将通用数据库和红外图像数据库中的图像进行分类，包含人脸图像和非人脸图像，将人脸区域图像缩放到40×40像素，并且根据人脸的不同姿态将每个人脸划分为不同的子集。

(3)原始训练阶段：在通用数据库上面采用传统的VectorBoosting算法进行级联分类器的构建，分类器所用的特征是MCT特征和LGP特征的结合。

(4)转移学习阶段：在红外数据库上面采用VectorBoosting算法进行级联分类器的构建，并且同时兼顾通用数据库上面所得到的模型，优化特定的训练目标方程，使得所得到的模型既具有通用模型的特点又具有红外图像数据的特点，克服了红外图像数据量不足问题。

(5)检测阶段：利用转移学习阶段得到的VectorBoosting模型，在红外图像上面用基于矢量树模型结构对人脸区域进行检测。

在特征提取阶段，采用基于MCT特征的具体计算方法为：

$C\left(\stackrel{\&OverBar;}{I}\right(x),I(y\left)\right)=\left\{\begin{array}{cc}1& if\stackrel{\&OverBar;}{I}\left(x\right)<I\left(y\right),\\ 0& otherwise,\end{array}\right.$

其中，N'(x)＝N'(x)∪x是x的局部空间邻居，I(x)是像素点x的灰度值，是像素点x的所有邻居的平均灰度值，是链接操作符，定义等同于C。

采用基于LGP特征的具体计算方法为：

$\begin{array}{cc}{\mathrm{LGP}}_{p,r}(x_c,y_c)=\underset{n=0}{\overset{p-1}{\&Sigma;}}s(g_n-\stackrel{\&OverBar;}{g})2^n& s\left(x\right)=\left\{\begin{array}{cc}0,& ifx<0,\\ 1,& otherwise\end{array}\right.\end{array}$

其中，(x_c,y_c)是像素中心点，中心点i_c与邻居点i_n之间的灰度值差为g_n＝|i_n-i_c|， $\stackrel{\&OverBar;}{g}=\frac{1}{p}\underset{0}{\overset{p-1}{\&Sigma;}}{g}_n.$

不同于其它算法，MCT与LGP特征有互相补充的地方，组合在一起可以提高整个算法的稳定性，而且在相同的错误检测率情况下，正确检测率会大大提升，并且整个特征提取计算时间仍然较低。

在正负样本构建阶段，对于许多非人脸区域，构建更多的非人脸图片，使得整个图片样本中的正负样本比例不平衡，通过接受大量的负样本，可以降低人脸检测整个模型的错误报警率。

在原始训练阶段，直接使用原始的VectorBoosting训练模型，每次去从高维的LGP和MCT特征值中去选择一部分特征值，并且给每个弱分类器以一定的权重，结合当前的分类器的结果，去重新对每个图像进行权值分配，分类错误的给以更大的权值，分类正确的给以较小的权值，具体训练过程见图12。在选取弱分类器时候的公式为：

$f_t\left(x\right)=\arg min\left\{\underset{i=1}{\overset{m}{\&Sigma;}}{w}_i^{t-1}\exp (-v_{i}f(x_i\left)\right)\right\}$

其中exp是指数函数，f(x_i)是弱分类器，v_i是当前的分类标记，样本i在第t次迭代的权重。在转移学习阶段，输入是已经在通用数据库上面训练好的模型，输出是将通用数据库上面的模型转移到红外图像上面的模型。为了衡量模型之间的差距并且尽可能的将通用数据库上面的模型参数转移到红外图像上面，我们使用了KL距离来衡量模型的差别。具体的优化公式如下：

$loss\left(F\right(x\left)\right)=\frac{1}{m}\underset{i=1}{\overset{m}{\&Sigma;}}\exp (-v_{i}F(x_i\left)\right)+\mathrm{\&lambda;}KL\left(F\right(x),\stackrel{\&OverBar;}{F\left(x\right)})$

$KL(p,q)=\underset{i=1}{\overset{N}{\&Sigma;}}{p}_{i}log\frac{p_i}{q_i}$

式子当中，λ设置不同的值，最后我们选取一个能让测试错误率到达最低的λ_， 是在通用数据库上面训练所得到的模型，p,q是两个概率分布，p_i,q_i是两个分布中第i个实例的概率。

在测试阶段，最后的强分类器是由于转移学习的模型与非转移学习的模型一样，只是参数不一样，因此采用传统的瀑布树级联分类器来进行人脸检测，对每帧图像进行金字塔缩放，在不同的缩放尺度上面进行人脸检测，然后将检测的结果缩放到原始图像大小即可。在不同的图像缩放的时候，为了加快运算速度，同时对不同尺度的图像进行缩放，并行计算特征值，计算积分图像进行检测，具体的检测过程见图13。

由于使用VectorBoosting算法，因此鲁棒性比较强，能处理不同姿态的人脸，使得人脸检测范围比较大。相比直接在红外图像上面训练得到的模型，利用的互联网上存在的大量姿态各异的人脸图像来增强模型的鲁棒性，同时相比仅使用互联网图片训练得到的通用人脸检测模型，加入了红外图像信息，使得最后的模型更加具有针对性，在红外图像上面比通用模型具有更好的效果。更进一步，与一般Haar特征提取方法不同，由于使用了修改中心变化特征提取算法(MCT)和局部梯度模式(LGP)的特征提取的组合，使得算法对图像的光照变化非常不敏感，检测效果更好。在得到整个算法的模型参数后，给定一副新图像，首先会抽取图像的MCT特征和局部梯度模式(LGP)，计算出积分图像，然后对该图像上所有的位置进行滑动，对每一个滑动的窗口(40×40像素)利用瀑布级联模型进行评价来判断该窗口是否是人脸区域。

对于眼睛定位算法，利用FloatBoosting作为分类器模型，除了分类器模型和特征提取不一样，整个检测步骤基本同人脸检测一样。

具体步骤如下：(1)特征提取阶段：用多模块修改中心变换(MBMCT)来抽取所有眼睛区域和非眼睛区域的图像特征(包括红外和通用数据库)，具体MBMCT见附图10。

(2)正负样本构建阶段：将通用数据库和红外图像数据库中的图像进行分类，包含眼睛区域图像和非眼睛区域图像，将眼睛区域图像缩放到15×15像素。

(3)原始训练阶段：在通用数据库上面采用传统的FloatBoosting算法进行强分类器的构建，分类器所用的特征是MBMCT；

(4)转移学习阶段：在红外数据库上面采用FloatBoosting算法进行强联分类器的构建，并且同时兼顾通用数据库上面所得到的模型，去优化特定的训练目标方程，使得所得到的模型既具有通用模型的特点又具有红外图像数据的特点，克服红外图像数据量不足问题；

(5)检测阶段：利用转移学习阶段得到的FloatBoosting模型，在红外图像上面用基于矢量树模型结构对眼睛区域进行检测。最后，对得到的多个潜在的眼睛矩形区域来进行平均，并取矩形的中心点作为眼珠位置。

在特征提取阶段，采用基于MBMCT特征的具体计算方法为：

$T(x^{\&prime;},y^{\&prime;})=\left\{\begin{array}{cc}1& ifR(x^{\&prime;},y^{\&prime;})>\stackrel{\&OverBar;}{R},\\ 0& otherwise,\end{array}\right.$

$\stackrel{\&OverBar;}{R}=\frac{1}{9}\underset{x^{\&prime;}=x-1}{\overset{x^{\&prime;}=x+1}{\&Sigma;}}\underset{y^{\&prime;}=y-1}{\overset{y^{\&prime;}=y+1}{\&Sigma;}}R(x^{\&prime;},y^{\&prime;}).$

其中R(x,y)＝ii(x+1,y+1)-ii(x,y+1)-ii(x+1,y)+ii(x,y),ii(x,y)是积分图像。

由于MBMCT可以在人脸检测MCT特征提取结果上进行修正，这样就可以避免重复提取特征，在数字信号处理器上面，所需要的处理时间就会大幅度减少。

原始训练阶段所用的FloatBoosting目标方程为：

$Loss\left(H_M\right)=\underset{i}{\&Sigma;}\exp (-y_i{H}_M(x_i\left)\right)$

h_m＝argminLoss(H_M-1(x)+h(x))

其中y_i是第i个实例的标记，H_M(x_i)是强分类器(已经运行M次迭代)对实例x_i的分类结果，h(x)是新的弱分类器。转移学习所用的优化方程是：

$J=\underset{i}{\&Sigma;}\exp (-y_i{H}_M(x_i\left)\right)+\mathrm{\&lambda;}KL(H_M,\stackrel{\&OverBar;}{H_M})$

其中是在通用数据上所学习得到的强分类器，λ是平衡参数。

在得到针对红外图像的算法模型参数后，给定任意一副新人脸区域(假设人脸区域已经检测到)，算法会再对该人脸图像进行金字塔缩放，在对每一个缩放人脸图像区域内所有的位置进行滑动，滑动窗口大小为15×15像素，再对每一个滑动的窗口来进行评价来判断该窗口是否是包含眼睛区域。为了在嵌入式平台上面缩短处理时间，实现时候可以将人脸区域划分为4块，然后只在上面两个区域来进行眼睛的检测，见图11。在得到所有的可能包含眼睛的区域后，再对所有区域做平均计算来获得眼睛区域的位置，获取眼睛区域位置后，取区域中心位置作为眼睛的位置。同一般基于自适应提升算法(Adaboost)，DCT变化等眼睛检测方法不同，其采取FloatingBoost作为分类器，MBMCT作为特征提取方法，实际上机测试结果表明，MBMCT比DCT变化更加稳定，可鉴别性更强。

对于眨眼分类算法，得到眼睛具体位置后，将眼睛附近区域部分抽取出来，提取多模块修改中心变换(MBMCT)特征值，然后对当前特征向量进行分类。由于眨眼分类是二分类问题，而且特征维度比较高，因此采用基于RBF核的非线性支持向量机模型(SVM)。基于RBF核的非线性支持向量机(SVM)公式为：

$\tilde{L}\left(\mathrm{\&alpha;}\right)=\underset{i=1}{\overset{n}{\&Sigma;}}{\mathrm{\&alpha;}}_i-\frac{1}{2}\underset{i,j}{\&Sigma;}{\mathrm{\&alpha;}}_i{\mathrm{\&alpha;}}_j{y}_i{y}_{j}k(x_j,x_j)$

0≤α_i≤C

$\underset{i=1}{\overset{n}{\&Sigma;}}{\mathrm{\&alpha;}}_i{y}_i=0$

其中，α_i是对第i个例子的隐藏变量，y_i是第i个例子的标记，x_i是第i个例子的输入特征，k(x_i,x_j)是第i个例子和第j个例子之间的相似度(通过定义内核k来实现)，C是惩罚参数。为了计算k(x_i,x_j)，采用RBF核函数。整个眨眼分类算法的工作流程如下：

特征提取阶段：用多模块修改中心变换(MBMCT)特征值来抽取所有非闭眼图像和闭眼图像特征(包括红外和通用数据库)。眼睛区域图像大小为15×15像素。

原始训练阶段：将通用数据库上面所得到的闭眼图像和非闭眼图像的特征值输入到SVM分类器中进行训练，并且指定一系列参数，比如惩罚参数，核参数，优化算法。

转移学习阶段：在红外数据库上面采用SVM算法进行新的分类器的构建，并且同时兼顾通用数据库上面所得到的模型，去优化新的训练目标方程，使得所得到的模型既具有通用模型的特点又具有红外图像数据的特点，克服红外图像训练数据量不足问题。具体转移学习的公式类似于人脸检测的，都是采用KL距离来判断。

分类阶段：利用转移学习阶段得到的SVM模型，假设眼睛区域已经检测到，对检测到的眼睛区域提取多模块通用局部二进制特征，将特征值输入到已经训练好的SVM模型中去，得到分类结果，同时也可以得到分类结果的信任度。

相比于其它基于图像处理技术，比如通过腐蚀算法来检测上下眼皮，然后通过上下眼皮距离来判断眼睛状态，基于多模块局部二进制特征值提取对光照更加不敏感，并且对图像噪音更加鲁棒，而且实验证明特征可分类型更强。相对于局部二进制特征提取方法，发现多模块通用局部二进制特征提取方法更加适合眨眼分类，而且上机实验结果表明，非线性RBF核支持向量机的算法比线性支持向量机算法的分类准确率更高。而且不同的是，算法可以对每个眼睛进行单独的状态判断，然后将两个眼睛的状态综合起来，得到最后的判定结果。同时，为了增强算法的准确率，设置了接口，以供用户修改分类结果的阀值，一些分类结果见图15。

对于嘴部定位与跟踪算法，同眼睛定位一样，也是采用了Boosting模型和MBMCT特征提取，不同之处在于训练的图像不一样，嘴部定位训练的图像是嘴部区域以及嘴部具体的点位置，而且在进行嘴部检测时候，滑动窗口大小与眼睛检测不一样，并且检测的起始位置也是与眼睛检测不一样。跟眼部检测模块不同的是，在嘴部，添加了跟踪功能，这样在定位功能不能正常工作下我们还能找到嘴部位置。由于嘴部定位工作原理跟眼睛定位是一样的，因为在此不再重复叙述检测过程。

跟踪算法假设司机头部移动范围不会很大，每连续几帧图像之间比较接近，因此在即使没有检测到人脸情况下，仍然可以假设当前帧存在人脸并且人脸区域是在上一帧图像中人脸区域附近，因此跟踪算法会在当前所有潜在的可能区域进行搜索、匹配，然后找到最相似的嘴部区域，并且判断相似度，如果相似度大于一定的阀值，则跟踪成功，否则，跟踪失败，这样就可以判断当前图像中根本不存在人脸图像，也就是司机不在当前驾驶座位。

与一般跟踪模块不一样的是，本发明实施例采用的基于加速的强壮性特征提取算法(SURF)作为特征提取方法，SURF运算速度快，在进行跟踪时候，其具有其他特征提取不可比拟的速度优势。另外，我们采用频率图交叉相似度来衡量两个向量之前的相似度，不同于其它的余弦相似度，频率图交叉衡量办法运算速度极快，而且不涉及乘法运算、浮点运算，并且在相似度衡量效果上面跟余弦相似度接近。频率图交叉相似度计算公式如下：

$K_{\&cap;}(a,b)=\frac{1}{2}\underset{i=1}{\overset{n}{\&Sigma;}}(a_i+b_i-|a_i-b_i\left|\right)$

其中a,b是两个统计直方图，a_i和b_i是直方图a,b中的第i个频率值。

对于面部表情识别算法，在检测到人脸和定位到眼睛之后，通过线性插值和仿射变化将人脸区域归一化成40×50像素的小图像，再通过二进制掩码将图像某些区域屏蔽掉(额头、下巴等跟与人脸表情识别关系不大的区域)，之后再对新的图像提取多模块中心变换(MBMCT)特征值，将所提取的特征输入到神经网络中进行分类。最后的分类结果就是面部表情，目前我们的算法包括4类表情，中性、高兴、愤怒和惊讶，但是当然也可以根据需要追加更多表情。

本发明实施例所使用的二进制掩码见图8。

本发明实施例使用的神经网络是4层卷积神经网络(CNN)。其构架图见图14。第一层输入是从图像所提取的特征值，第二层是卷积计算层，第三层是隐变量层，第四层是分类层。卷积计算层的滤波器大小是10×10像素，每个滤波器的间隔是2个像素值，隐变量层和分类层都是全部相连接的，其激活函数是RELU函数，具体计算公式是：

f(x)＝max(0，x)

其具体的函数形状见图9。跟一般的基于Sigmoid或者Tanh激活函数相比，在训练时候RELU不存在导数消失或者导数爆炸问题，这样使得整个训练过程更加稳定，而且RELU函数的计算更加简单，不需要进行浮点运算，在嵌入式平台上面会大大缩减处理时间。与一般的基于神经网络的表情识别算法相比，本实施例的网络架构不一样，而且采用二进制掩码，将与表情识别关系不大的图像区域屏蔽掉，并且使用了卷积计算层，使得算法对图像的微小变化更加不敏感，最后准确率更高。

同时，采用MBMCT变化，跟采用DCT变化或者基于模板的人脸表情识别相比，MBMCT特征的可鉴别性更高。

由于大部分计算机视觉算法都需要训练，不同的训练数据都可能会影响最后的效果，为了达到比较好的效果，部分需要训练的模块使用的训练数据细节具体如下：

人脸检测：训练时候，为了降低错误报警率，我们利用互联网上许多的人脸图像来训练我们的模型，训练数据非常庞大，并且里面包含了大量的负样本(非人脸图像)，整个训练样本包含不同种族、肤色、年龄、性别和不同姿态的人脸图像。

眼睛检测：训练时候。收集了10000张包含眼睛区域的图片，10000张不包含眼睛区域的图片，这20000万张图片包含各种不同肤色、年龄、性别等。首先在这图片上面进行训练得到通用的眼睛区域检测模型，之后，我们再收集部分包含眼睛区域的红外图像来对模型进行修正，使得得到的模型更加符合红外图像。

在训练完成后，所有模块都可以只保留测试程序和训练所得的模型。

由于以上各个算法都需要运行在嵌入式平台上面，因此在实现时候，采用了定点实现，以避免浮点运算，这样会大大加强整个系统的运行速度。

具体而言，给定一帧图像，如图5所示，分析流程如下：

(1)通过摄像头来获取外部图像信息。

(2)通过实时人脸检测模块来检测人脸。

(2-a)如果检测不到人脸，则启动嘴部跟踪模块，看能否跟踪到嘴部。如果能跟踪到，则退出整个流程，并且标记当前是结果是来源于跟踪模块；否则，直接判断当前司机不在驾驶座上，并且退出整个流程。

(2-b)如果检测到人脸，通过比较所有检测到的人脸区域大小，来选取最大人脸作为后续分析的人脸。

(3)对得到的最大人脸区域进行眼睛检测。

(3-a)如果检测到，则保存眼睛位置，并且对眼睛进行状态判断，保存眼睛状态结果。

(3-b)如果检测不到眼睛，则保存找不到眼睛信息，并且将眼睛状态当作正常处理。

(4)对得到的最大人脸区域进行嘴部检测。

(5)如果检测到，则保存嘴部位置，否则，启动嘴部跟踪模块，通过跟踪来获取嘴部位置。

(6)如果检测到眼睛位置，并且检测或者跟踪到嘴部位置，则开始启动头部姿态判断模块，分析并保存头部姿态信息。

(7)如果检测到眼睛，则对最大的人脸区域进行归一化处理，然后启动情绪识别模块，将情绪识别结果存下。

在进行综合结果分析时，根据各个分析模块所提供的初始分析结果来进行总结和加工处理，然后根据分析出来的结果，判断司机处于不同的驾驶状态，然后提供给司机不同的提示，并且，在设备运行期间，会通过蓝牙一直将分析结果发送给手机应用程序。目前所能给出的提示包含：注意力不集中(左顾右盼，抬头低头等)，包含轻度和重度，疲劳驾驶(眼睛闭合次数)，包括深度疲劳和浅度疲劳，以及开车情绪状态(中性、愤怒、高兴、惊讶等)。

本发明的硬件如果每秒能处理至少3帧图像，每分析10帧图像后，将做一次综合分析与判断。每分析20帧图像后，将做一次综合，将信息发送到手机应用程序。

注意力不集中主要包含轻度注意力不集中和重度注意力不集中。轻度注意力不集中主要反映在头部姿态偏差不是很大，重度注意力不集中主要反映在头部姿态偏差很大，司机在驾驶座位上面但是却检测不到人脸(头部偏转太大)。

疲劳程度：疲劳程度主要是根据眨眼频率还有眼睛轮廓中上下眼皮的距离来综合判断的。如果眨眼频率过高和上下眼皮距离过低，那么可以判定司机是重度睡眠；如果眨眼频率适中和上下眼皮距离比较低，则判定司机是轻度睡眠。如果眨眼频率很少，处于正常范围之内，则判定司机状态正常。

情绪分析：在司机驾驶时候，愤怒的表情是比较危险的，通过分析多帧图像，然后进行加权统计，如果检测到司机有过多的愤怒表情，则会通过扬声器报警提醒司机注意保持心情愉快。

在每做一次判断之后，根据分析结果，会触发相应的报警系统和通过蓝牙推送相应的数据到手机等手持终端或车载设备程序。

如图3所示，上述各分析的具体流程如下：

(1)初始化各种数据结构，初始化数组。

(2)从外部摄像头获取当前图像信息。

(3)调用分析模块来分析当前图像，获取分析结果。

(4)如果分析的帧数已经到达10帧，则进入步骤(5)；否则进入步骤(2)，继续分析当前图像。

(5)统计当前10帧分析的结果，来判断注意力不集中程度，疲劳程度以及情绪程度。

(6)如果注意力不集中，则调用报警模块，播放注意力不集中提示，进入步骤(9)。

(7)如果疲劳程度较大，则调用报警模块，播放疲劳驾驶提示，进入步骤(9)。

(8)如果愤怒所占比例较大，则调用报警模块，播放请保持正常情绪提示，进入步骤(9)。

(9)将当前所保存的数据重新置为空，进入到步骤(2)，开始下一轮分析。

(10)如果分析的帧数已经到达20帧，则进入步骤(11)；否则进入步骤(2)，继续分析当前图像。

(11)将当前20帧分析结果做一个统计，包含轻度疲劳驾驶时间长，重度疲劳驾驶时间长，轻度左顾右盼时间长，重度左顾右盼时间长，正常时间，中性表情时间长，高兴表情时间长，惊讶表情时间长以及愤怒表情时间长。

(12)调用蓝牙模块，将步骤(11)中的结果通过蓝牙发送到手机等手持终端或车载设备应用程序。

随着Applewatch、Fitbit等软件的流行，现在智能硬件越来越多与手机等手持终端或车载设备应用程序连接起来，手机等手持终端或车载设备应用程序主要用于统计和显示分析结果，供用户查阅。相比于其它司机瞌睡检测系统，除了算法上面的改进，硬件和外观上面的提高之外，本发明还可以与手机等移动终端实现连接。

当前手机等手持终端或车载设备应用程序主要包含以下几个模块：数据接收/存储模块、数据统计模块、数据显示模块、智能手环和手表类(如Applewatch)推送模块。具体为：

数据接收/存储模块：此模块主要是处理数据的接收与存储，接收数据时候通过蓝牙与硬件设备进行配对，一旦配对成功，则开始接受数据。存储主要是利用SQLite嵌入式数据库接口，将接收到的数据实时的存入到SQLite。此外，本模块还包含从SQLite数据库中按照特定的条件查询数据库。

数据统计模块：主要是根据用户不同的请求来按照不同的方式来统计数据，比如按照周，或者按照小时来统计数据。此外，此模块包含不同的统计策略，比如在最后评估用户安全驾驶习惯的总得分时候，是否赋予所有的不规范驾驶行为以同样的权重，或者赋予不同的不规范驾驶行为不一样的权重。

数据显示模块：此模块主要是将所统计得到的数据进行显示，显示方式包括按照周或者月来进行统计，并且用户可以选择圆形显示和柱状显示等不同的显示方式。显示的数据包含深度睡眠时间长，轻度睡眠时间长，轻度左顾右盼时间长，重度左顾右盼时间长，各种情绪状态的时间长以及正常时间长度。在显示基本的得分信息之后，如果用户点击每个子得分，软件则会进入相应的显示界面去显示更加详细的统计信息。

AppleWatch推送模块：如果能连接到Applewatch，那么在分析到深度睡眠和重度左顾右盼后，会推送给Applewatch推送震动，以将司机唤醒。

需要强调的是，本发明不局限于iOS系统，同样也适用于Android系统。

如图4，手机等手持终端或车载设备应用程序的工作流程如下：

(1)手机等手持终端或车载设备应用程序打开。

(2)提示用户开启手机等手持终端或车载设备蓝牙。

(3)应用程序与硬件设备进行蓝牙配对，如果配对成功，则进入步骤(4)，否则，一直尝试与硬件进行配对，重复进行步骤(3)。

(4)不断监听蓝牙端口，看有没有数据从硬件设备发送过来，如有，则进入步骤(5)，否则，一直监听蓝牙端口，重复步骤(4)。

(5)接受数据，如果将数据存入到SQLite数据库中；进入步骤(4)。

(6)如果用户选择显示数据，则调用相应的分析统计模块统计数据。

(7)根据用户需要进行显示数据。

综上，本发明可以实时检测汽车司机驾驶状态，提高行车安全，结合计算机视觉、红外图像技术，通过检测多种参数，可以为司机提供安全驾驶参考。例如，利用人脸检测技术检测出司机脸的活动范围，利用眼睛定位算法定位出司机眼睛，利用眨眼分类来判断司机眼睛的闭合状态，利用头部姿态估计技术来实时判断出司机的头部三维姿态，利用表情识别算法来实时检测出司机表情(中性、高兴、惊讶、愤怒等)，然后将这些信息进行综合分类，来识别出司机的各种不规范驾驶行为，包括开车时候左顾右盼，情绪不好，疲劳驾驶，司机不在驾驶位等。此外，本发明还可以基于手机等手持终端或车载设备实时接收分析数据并加以存储、显示，供司机来浏览规范自己的驾驶习惯。整体而言，本发明具有算法更加准确，鲁棒性更强，可以处理的极端情况更多，可以选用光谱更窄的红外补光灯，以及选用高品质红外滤光片完全消除各种外界的各种光学干扰和噪声等优点。本发明提供的监测系统则可以实现体积更小，硬件成本低廉可控，易于广泛推广。

由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (10)

1.一种汽车司机驾驶状态监测方法，其特征在于，包括以下步骤：

检测人脸，检测当前司机是否处于可检测范围内，如检测不到人脸，则提示司机调整摄像头位置，直到摄像头可以检测到人脸为止；

检测到人脸，扬声器开始播发系统开始工作的提示；

不断从摄像头获取图像信息，并且进行人脸检测、嘴部检测，并且初始化嘴部跟踪模块，调用眼睛轮廓定位算法定位，分析上下眼皮距离，直到分析的帧数已经超过一定数目；

根据上下眼皮距离，初始化眨眼判断算法的阀值；

不断从摄像头获取图像信息，调用眨眼识别、表情识别、头部姿态估计算法对所述图像信息进行分析，实时检测出司机眼球开闭、表情、头部三维状态，调用综合结果分析模块来综合分析司机驾驶状态。

2.根据权利要求1所述的汽车司机驾驶状态监测方法，其特征在于，检测人脸的算法步骤为：

特征提取阶段：用修改中心变换MCT和局部梯度模式LGP来抽取所有人脸和非人脸的图像的特征；

正负样本构建阶段：将通用数据库和红外图像数据库中的图像进行分类，包含人脸图像和非人脸图像，将人脸区域图像缩放到40×40像素，并且根据人脸的不同姿态将每个人脸划分为不同的子集；

原始训练阶段：在通用数据库上面采用传统的VectorBoosting算法进行级联分类器的构建，分类器所用的特征是MCT特征和LGP特征的结合；

转移学习阶段：在红外数据库上面采用VectorBoosting算法进行级联分类器的构建，并且同时兼顾通用数据库上面所得到的模型，优化特定的训练目标方程，使得所得到的模型既具有通用模型的特点又具有红外图像数据的特点；

检测阶段：利用转移学习阶段得到的VectorBoosting模型，在红外图像上面用基于矢量树模型结构对人脸区域进行检测。

3.根据权利要求2所述的汽车司机驾驶状态监测方法，其特征在于，在特征提取阶段，采用基于MCT特征的具体计算方法为：

$C\left(\stackrel{\&OverBar;}{I}\right(x),I(y\left)\right)=\left\{\begin{array}{cc}1& if\stackrel{\&OverBar;}{I}\left(x\right)<I\left(y\right),\\ 0& otherwise,\end{array}\right.;$

N'(x)＝N'(x)∪x是x的局部空间邻居，I(x)是像素点x的灰度值，是像素点x的所有邻居的平均灰度值，是链接操作符，定义等同于C。

采用基于LGP特征的具体计算方法为：

$\begin{array}{cc}{\mathrm{LGP}}_{p,r}(x_c,y_c)=\underset{n=0}{\overset{p-1}{\&Sigma;}}s(g_n-\stackrel{\&OverBar;}{g})2^n& s\left(x\right)=\left\{\begin{array}{cc}0,& ifx<0,\\ 1,& otherwise\end{array}\right.\end{array}.$

(x_c,y_c)是像素中心点，中心点i_c与邻居点i_n之间的灰度值差为g_n＝|i_n-i_c|， $\stackrel{\&OverBar;}{g}=\frac{1}{p}\underset{0}{\overset{p-1}{\&Sigma;}}{g}_n.$

4.根据权利要求1所述的汽车司机驾驶状态监测方法，其特征在于，在眼睛检测算法中，包括以下步骤：

特征提取阶段：用多模块修改中心变换MBMCT来抽取所有眼睛区域和非眼睛区域的图像特征；

正负样本构建阶段：将通用数据库和红外图像数据库中的图像进行分类，包含眼睛区域图像和非眼睛区域图像，将眼睛区域图像缩放到15×15像素。

原始训练阶段：在通用数据库上面采用传统的FloatBoosting算法进行强分类器的构建，分类器所用的特征是MBMCT；

转移学习阶段：在红外数据库上面采用FloatBoosting算法进行强联分类器的构建，并且同时兼顾通用数据库上面所得到的模型，去优化特定的训练目标方程；

检测阶段：利用转移学习阶段得到的FloatBoosting模型，在红外图像上面用基于矢量树模型结构对眼睛区域进行检测；对得到的多个潜在的眼睛矩形区域来进行平均，并取矩形的中心点作为眼珠位置。

5.根据权利要求4所述的汽车司机驾驶状态监测方法，其特征在于，在特征提取阶段，采用基于MBMCT特征的具体计算方法为：

$T\left(x^{\&prime;},y^{\&prime;}\right)=\left\{\begin{array}{cc}1& ifR\left(x^{\&prime;},y^{\&prime;}\right)>\stackrel{\&OverBar;}{R},\\ 0& otherwise,\end{array}\right.;$

$\stackrel{\&OverBar;}{R}=\frac{1}{9}\underset{x^{\&prime;}=x-1}{\overset{x^{\&prime;}=x+1}{\&Sigma;}}\underset{y^{\&prime;}=y-1}{\overset{y^{\&prime;}=y+1}{\&Sigma;}}R(x^{\&prime;},y^{\&prime;}).$

其中R(x,y)＝ii(x+1,y+1)-ii(x,y+1)-ii(x+1,y)+ii(x,y),ii(x,y)是积分图像。

6.根据权利要求1所述的汽车司机驾驶状态监测方法，其特征在于，眨眼判断算法中，得到眼睛具体位置后，将眼睛附近区域部分抽取出来，提取多模块修改中心变换MBMCT特征值，然后对当前特征向量进行分类。

7.根据权利要求6所述的汽车司机驾驶状态监测方法，其特征在于，眨眼判断算法中，采用基于RBF核的非线性支持向量机模型SVM；基于RBF核的非线性支持向量机SVM公式为：

$\tilde{L}\left(\mathrm{\&alpha;}\right)=\underset{i=1}{\overset{n}{\&Sigma;}}{\mathrm{\&alpha;}}_i-\frac{1}{2}\underset{i,j}{\&Sigma;}{\mathrm{\&alpha;}}_i{\mathrm{\&alpha;}}_j{y}_i{y}_{j}k(x_i,x_j)$

0≤α_i≤C′

$\underset{i=1}{\overset{n}{\&Sigma;}}{\mathrm{\&alpha;}}_i{y}_i=0.$

其中α_i是对第i个例子的隐藏变量，y_i是第i个例子的标记，x_i是第i个例子的输入特征，k(x_i,x_j)是第i个例子和第j个例子之间的相似度(通过定义内核k来实现)，C是惩罚参数。

8.一种汽车司机驾驶状态监测系统，其特征在于，包括处理器、摄像模块、存储模块、扬声器，其中，

所述处理器包括主控单元、运算单元、内存单元和系统总线；

所述摄像模块与所述处理器连接，用于获取汽车驾驶座席的图像信息并经由所述系统总线发送至所述内存单元；

所述存储模块用于存储算法模型文件、参数以及用户配置文件，所述存储模块与所述处理器连接，所述处理器能够调用并且修改所述存储模块中存储的数据；

所述扬声器与所述处理器连接，用于在接收到所述处理器的指示时向用户提示报警信息；

所述主控单元对系统运行过程中的逻辑判断进行处理，同时还用于控制硬件模块的连接和开启；所述运算单元用于按照所述主控单元的命令读取所述内存单元中的数据加以处理，并将处理结果输出至所述主控单元；所述内存单元为所述运算单元和所述主控单元提供内存支持；

所述汽车司机驾驶状态监测系统还包括：

人脸检测模块，检测当前司机是否处于可检测范围内，如检测不到人脸，则提示司机调整所述摄像头的位置，直到能够检测到人脸为止；检测到人脸，则所述主控单元使所述扬声器开始播发系统开始工作的提示；

嘴部定位与跟踪模块，不断从所述摄像头获取所述图像信息，并且进行嘴部定位检测和嘴部跟踪检测；

眼睛定位与眨眼分类模块，进行眼睛定位，分析上下眼皮距离，直到分析的帧数已经超过一定数目，并且根据上下眼皮距离，初始化眨眼分类的阀值，进行眨眼分类判断；和

面部表情识别模块，不断从所述摄像头获取所述图像信息，通过对所述图像信息进行分析，实时检测出司机表情来综合分析司机驾驶状态。

9.根据权利要求8所述的汽车司机驾驶状态监测系统，其特征在于，所述摄像模块采用红外摄像头，并且添加了红外补光灯和滤光片。

10.根据权利要求8所述的汽车司机驾驶状态监测系统，其特征在于，还具备蓝牙模块，所述处理器通过所述蓝牙模块与手持终端或车载设备连接。