CN103714660B - 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统 - Google Patents

Abstract

本发明公开了一种基于图像处理融合心率特征与表情特征疲劳驾驶判别的系统，包括信息采集装置、信息处理装置和预警装置，其特征在于所述信息采集装置用于采集驾驶人面部图像序列，并提供给信息处理装置；所述信息处理装置用于对采集到的驾驶人面部图像序列进行处理分析，得到驾驶员的表情特征信息及心率特征信息，并将表情特征和心率特征进行信息融合，用以判别驾驶员是否处于疲劳状态；预警装置，用于当驾驶员出现疲劳驾驶时，根据预警策略和疲劳等级向预警提示器发送指令，向驾驶员提示预警。该系统通过图像处理的方法将心率特征和表情特征结合起来，实现疲劳驾驶判别的算法及车载装置，提高了疲劳驾驶判别系统的精确度、鲁棒性和可靠性。

Description

基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的 系统

技术领域

本发明属于智能交通技术领域，具体涉及一种基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统。

背景技术

随着汽车数量的日益增多和高速公路的不端延伸，车速越来越快，道路交通安全形势日益严峻，汽车交通事故随之增多，不仅造成了大量人员伤亡和巨额的经济损失，而且导致了诸多社会问题。调查显示，疲劳驾驶是交通安全最重要的隐患之一，驾驶人在疲劳时，对周围环境的感知能力、行驶判断能力和对车辆的操控能力都大幅度降低，很容易发生交通事故。随着人们安全意识的增强和科学技术的进步，驾驶人疲劳驾驶判别技术已成为汽车安全技术领域的一个主要发展方向，研究开发高性能的疲劳驾驶判别及预警技术，对改善我国交通安全状况意义重大。

驾驶人疲劳状态的检测目前有较多研究的方法，按检测的类别可大致分为基于驾驶人生理信号的检测、基于驾驶人操作行为的检测、基于车辆状态信息的检测和基于驾驶人生理反应特征的检测等方法。

基于生理信号（脑电信号、心电信号等）判别疲劳驾驶的准确性较高，且对所有健康的驾驶员来说，生理信号差异性不大，具有共性，但传统的生理信号采集方式需要采用接触式测量，给驾驶人疲劳检测的实际应用带来很多不便和局限性。

驾驶人的操作行为除了与疲劳状态有关外，还受到个人习惯、行驶速度、道路环境、操作技能的影响，因此需要考虑的干扰因素较多，影响基于驾驶人操作行为(如方向盘操作等)判别疲劳驾驶的精确度。

利用车辆行驶轨迹变化和车道线偏离等车辆行驶状态信息也可推测驾驶人的疲劳状态，但是车辆的行驶状态也与车辆特性、道路等很多环境因素有关，和驾驶人的驾驶经验以及驾驶习惯相关性较大，因此基于车辆状态信息判别疲劳驾驶需要考虑的干扰因素也较多。

基于驾驶人生理反应特征的疲劳驾驶判别方法是指利用驾驶人的眼睛特性、嘴部运动特征等推断驾驶人的疲劳状态，这些信息被认为是反映疲劳的重要特征，眨眼幅度、眨眼频率、平均闭合时间和打哈欠的动作等都可直接用于检测疲劳，但由于不同的驾驶员的习惯和特征存在一定的差异，使通过单个面部表情特征来判断驾驶员状态的鲁棒性不够高。本发明因此而来。

发明内容

本发明提供一种基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统，该系统解决了现有技术中现有的疲劳驾驶判别系统大都基于单一指标判断，其结果易受多种干扰因素的影响。由于驾驶员面部特征、生理反应特征、驾驶习惯等的个体差异性，基于某一种表情特征检测驾驶员疲劳状态的方法难以保证系统的鲁棒性和精确性；基于人体心率及心率变异特征检测驾驶员疲劳状态的方法准确性高、鲁棒性强，但其传统的测量方式需要将测量仪等装置与驾驶员直接接触，给驾驶员疲劳检测的实际应用带来很多不便和局限性。

为了解决现有技术中的这些问题，本发明提供的技术方案是：

一种基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统，包括信息采集装置、信息处理装置和预警装置，其特征在于所述信息采集装置用于采集驾驶人面部图像序列，并提供给信息处理装置；所述信息处理装置用于对采集到的驾驶人面部图像序列进行处理分析，得到驾驶员的表情特征信息及心率特征信息，并将表情特征和心率特征进行信息融合，用以判别驾驶员是否处于疲劳状态；预警装置，用于当驾驶员出现疲劳驾驶时，根据预警策略和疲劳等级向预警提示器发送指令，向驾驶员提示预警。

优选的技术方案：所述预警提示器选自声音提示器、LED闪烁提示器、座椅振动提示器、安全带振动提示器、座椅顶部吹风提示器的一种或者两种以上的任意组合。

优选的技术方案：所述系统集成在车载终端内，所述信息采集装置为带有红外LED灯的摄像头，所述摄像头安装在车辆仪表盘上方，以摄像头能拍摄到驾驶员面对车辆前方时的面部图像为准。

优选的技术方案：所述系统还包括与信息处理装置连接的GPS芯片，所述GPS芯片实时获取车辆的位置信息，并将位置信息发送给信息处理装置。

优选的技术方案：所述信息处理装置为DSP处理系统，所述DSP处理系统根据采集到的面部图像序列和地理位置信息分别获取驾驶员在任一段时间内的心率变异特征信息和驾驶员的面部表情特征信息；根据驾驶员在任一段时间内的心率变异特征信息和驾驶员的面部表情特征信息判断驾驶员是否处于疲劳驾驶状态。

优选的技术方案：所述系统还包括与信息处理装置连接的数据存储装置，所述数据存储装置内设置有驾驶员脸部图像数据库、位置信息数据库和中间信息数据库。

本发明的另一目的在于提供一种基于图像处理的疲劳驾驶判别方法，其特征在于所述方法包括以下步骤：

（1）实时驾驶员面部图像序列，并对驾驶员面部图像序列进行处理，获取驾驶员的人脸图像序列；

（2）采用主动形状模型方法对人脸图像进行分析，得到人眼及嘴部位置进而分析眼部和嘴部特征，同时进行面部姿态的估计，然后将面部特征、眼部特征、嘴部特征进行信息融合，得到表情特征信息；

（3）对人脸图像进行分析获取驾驶员在一段时间内的心率变异数值；

（4）将表情特征信息和心率变异数值进行融合得到判断驾驶员疲劳状态的综合值；当融合后的疲劳状态信息超过预定阈值，或某一种特征信息达到了最大极限值时，则判定为疲劳驾驶。

优选的技术方案：所述方法步骤（1）具体包括以下步骤：

1）采集到驾驶员的面部图像后，进行图像预处理；

2）利用训练好的人脸分类器进行人脸检测，提取人脸图像特征；

3）基于主成份分析方法进行人脸识别，获得人脸识别结果。

优选的技术方案：所述方法步骤（3）具体包括以下步骤：

1）采用主动形状模型方法对人脸图像进行处理，对人脸图像中眼部、鼻子和嘴部的定位，找出眼睛、鼻子、嘴部边缘特征点的位置；在适合的高度和宽度范围内，截取人脸图像上额头及左右脸颊3个区域处的图像；

2）将人脸图像上额头及左右脸颊3个区域看作一幅图像，记为P，统计一段时间内的图像序列中截取的多个图像P的R、G、B值信号并对这些信号进行ICA分析；

3）对ICA分析得到的第二个分量曲线进行插值、滤波处理后，取其上升沿方向的一阶零点，每两个连续的一阶零点对应的两帧间的时间差即为心率变异数值。

所述方法步骤（4）中将表情特征信息和心率变异数值进行融合得到判断驾驶员疲劳状态的综合值T，

T＝a·F+b·E+c·M+d·HRV；

其中，F为面部特征疲劳驾驶判定参数，E为眼部特征疲劳驾驶判定参数，M为嘴部特征疲劳驾驶判定参数，HRV为心率变异特征疲劳驾驶判定参数，a、b、c、d分别为各自对应参数的权值；当融合后的疲劳状态信息超过规定的阈值T_thread，或某一种特征信息达到了最大极限值时，就判定为疲劳驾驶。

对于一定时间段内的图像及数据，当面部姿态特征表征值表明驾驶员面部姿态角θ在±30°范围内时，判定为非疲劳状态，F为0；当面部姿态角θ偏转角度过大，但时间t<0.5s时，仍判定为非疲劳状态，F为0；当面部姿态角θ偏转角度过大，且时间t≧0.5s时，则判定为疲劳状态，F为1，即:

对于一定时间段内的图像及数据，根据a0数值来判断，当a0>0时，若ClosureRate≤0.5，表明眼睛闭合度小，判定为非疲劳状态，E为0；当a0>0时，若闭合度ClosureRat＞e0.5且一次闭合时间t<0.2s时，表明眼睛虽然闭合度过大，但闭合时间快，可视为人体正常眨眼行为，仍判定为非疲劳状态，E为0；当ClosureRate＞0.5但一次闭合时间t>0.2s时，判定为疲劳状态，E为1；当a0<0时，表明驾驶员处于闭眼状态（疲劳状态）时，E为1；即:

其中闭合度为上眼睑的顶点与眼球中心位置的纵坐标之差。

当嘴部特征表征值表明驾驶员处于打哈欠状态（疲劳状态）时，M为1；否则，M为0，即:

本发明为克服现有技术的不足，采用面部图像处理后通过心率特征与表情特征融合实现疲劳驾驶判别，通过图像处理的方法将心率特征和表情特征结合起来，检测驾驶员疲劳状态，实现疲劳驾驶判别的算法及车载装置，提高疲劳驾驶判别系统的精确度、鲁棒性和可靠性。

本发明中的表情特征研究了包括面部姿态、眼睛睁闭状态、嘴部姿态等特征的信息融合，心率特征指驾驶员在某段时间内的心率及心率变异特征（HRV，Heart ratevariability），将这些信息融合加工，进行综合识别，对驾驶人疲劳状态识别的准确性、鲁棒性与可靠性难点问题提供一个有力的解决方案。

基于图像处理通过心率特征与表情特征融合实现疲劳驾驶判别的系统包括信息采集装置、信息处理装置、预警装置，其中信息采集装置，用于采集驾驶人面部图像序列；信息处理装置，用于对采集到的驾驶人面部图像序列进行处理分析，得到驾驶员的表情特征信息及心率特征信息，并将表情特征和心率特征进行信息融合，用以判别驾驶员是否处于疲劳状态；预警装置，用于当驾驶员出现疲劳驾驶时，根据分级预警策略和疲劳等级实现复合预警，预警方式包括声音、LED闪烁、座椅振动、安全带振动、座椅顶部吹风等。

其中信息处理装置设置有图像采集模块、GPS模块、人脸定位与识别模块、面部姿态估计模块、眼睛睁闭状态检测模块、嘴部形状判别模块、HRV测量与分析模块、疲劳驾驶判别模块、数据库模块、预警模块等，其中图像采集模块，包含摄像头采集到的视频图像信息；GPS模块，用于实时获取车辆的动态位置信息；人脸定位与识别模块，研究在车辆车体振动、室外光线变化、驾驶员面部姿态变化等复杂条件下定位与识别驾驶员人脸图像的算法；面部姿态估计模块，检测到驾驶员人脸图像后，估计人脸面部姿态角度；眼睛睁闭状态检测模块，在检测到的驾驶员人脸图像上检测人眼图像，得到眼睛睁闭状态信息；嘴部形状判别模块，在检测到的人脸图像上检测驾驶员嘴部图像，得到嘴部姿态信息。优选的，还包括定位服务装置、信息存储装置；所述定位服务装置用于获取车辆的实时位置信息，并将实时位置信息发送给信息处理装置；所述信息存储装置与信息处理装置连接，用于存储图像数据。

HRV测量与分析模块，利用图像处理的方法，根据采集到的驾驶员面部图像序列得到驾驶员在任一段时间内的心率变异特征信息，HRV是指逐次心跳周期差异的变化情况，其信号线性指标中频谱低频与高频的比值以及非线性指标中RR间期C₀复杂度，与驾驶员的疲劳状态和过程相关程度最大。

疲劳驾驶判别模块，通过大量实验，分别为上述多种特征信息确定合适的权值，然后将其融合起来，根据建立的疲劳驾驶判别模型，判定驾驶员是否处于疲劳驾驶状态。

数据库模块，用于存储驾驶员人脸识别结果及处于疲劳状态的时间、地点等信息；预警模块，当判定驾驶员处于疲劳驾驶状态时，根据分级预警策略和疲劳等级实现复合预警。

相对于现有技术中的方案，本发明的优点是：

1.现有的疲劳驾驶判别系统大都基于单一指标判断，其结果易受室外光照变化、驾驶员个体差异性等因素的影响，难以保证系统判别的非接触方式、准确性和鲁棒性。本发明提供一种基于图像处理通过心率特征与表情特征融合实现疲劳驾驶判别的系统，通过图像处理的方法将心率特征和表情特征结合起来，实现疲劳驾驶判别的算法及车载装置，提高了疲劳驾驶判别系统的精确度、鲁棒性和可靠性。

2.本发明提出了一种通过图像处理的方法获得驾驶员心率及心率变异特征的算法。

3.本发明提出了一种融合表情特征及心率特征的疲劳驾驶状态检测及判别模型：分别为各种信息特征确定合适的权值，将其融合起来，得到驾驶员疲劳状态信息，然后根据判别模型判定驾驶员是否处于疲劳驾驶状态。

4.本发明研究了不同疲劳状态下听觉、视觉、嗅觉和触觉等各种预警手段的适用规律，制定了与驾驶人状态相适宜的分集预警策略，可依据驾驶人的实际需求实现多种预警手段的选择和组合，根据疲劳等级实现复合预警。

5.本发明中的疲劳驾驶判别系统适用于所有驾驶人，可以安装在家庭用轿车上，尤其适用于长途客运、长途货运、以及特种运输业的职业驾驶人，也可直接应用于飞行员的疲劳驾驶判别。该系统的普及应用对保障驾驶人、乘员及车载货物的安全，大幅降低我国交通事故，特别是恶性事故的发生率，具有重大的现实意义，与此同时将会产生巨大的社会效益和经济效益。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明基于图像处理通过心率特征与表情特征融合实现疲劳驾驶判别的系统的结构框图；

图2为本发明基于图像处理通过心率特征与表情特征融合实现疲劳驾驶判别的系统的软件架构图；

图3为本发明基于图像处理通过心率特征与表情特征融合实现疲劳驾驶判别的方法流程图。

具体实施方式

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。

实施例

如图1所示，该基于图像处理通过心率特征与表情特征融合实现疲劳驾驶判别的系统包括信息采集装置、信息处理装置、预警装置，其中信息采集装置，用于采集驾驶人面部图像序列；信息处理装置，用于对采集到的驾驶人面部图像序列进行处理分析，得到驾驶员的表情特征信息及心率特征信息，并将表情特征和心率特征进行信息融合，用以判别驾驶员是否处于疲劳状态；预警装置，用于当驾驶员出现疲劳驾驶时，根据分级预警策略和疲劳等级实现复合预警，预警方式包括声音、LED闪烁、座椅振动、安全带振动、座椅顶部吹风等。

如图2所示，信息处理装置设置有图像采集模块、GPS模块、人脸定位与识别模块、面部姿态估计模块、眼睛睁闭状态检测模块、嘴部形状判别模块、HRV测量与分析模块、疲劳驾驶判别模块、数据库模块、预警模块等，其中图像采集模块，包含摄像头采集到的视频图像信息；GPS模块，用于实时获取车辆的动态位置信息；人脸定位与识别模块，研究在车辆车体振动、室外光线变化、驾驶员面部姿态变化等复杂条件下定位与识别驾驶员人脸图像的算法；面部姿态估计模块，检测到驾驶员人脸图像后，估计人脸面部姿态角度；眼睛睁闭状态检测模块，在检测到的驾驶员人脸图像上检测人眼图像，得到眼睛睁闭状态信息；嘴部形状判别模块，在检测到的人脸图像上检测驾驶员嘴部图像，得到嘴部姿态信息。

HRV测量与分析模块，利用图像处理的方法，根据采集到的驾驶员面部图像序列得到驾驶员在任一段时间内的心率变异特征信息，HRV是指逐次心跳周期差异的变化情况，其信号线性指标中频谱低频与高频的比值以及非线性指标中RR间期C₀复杂度，与驾驶员的疲劳状态和过程相关程度最大。

疲劳驾驶判别模块，通过大量实验，分别为上述多种特征信息确定合适的权值，然后将其融合起来，根据建立的疲劳驾驶判别模型，判定驾驶员是否处于疲劳驾驶状态。

数据库模块，用于存储驾驶员人脸识别结果及处于疲劳状态的时间、地点等信息；预警模块，当判定驾驶员处于疲劳驾驶状态时，根据分级预警策略和疲劳等级实现复合预警。

下面结合图3给出本发明基于图像处理通过心率特征与表情特征融合实现疲劳驾驶判别的系统的工作流程：

1、准备步骤：

经过多次试验，得到不同车辆、不同光照、不同驾驶员的人脸图像，进行预处理并归一化为24×24大小的人脸样本后，采用常用的harr特征与Adaboost相结合的方法训练人脸检测分类器；

采集不同光照、不同驾驶员的不同角度下的人脸图像，进行光照补偿等处理后，归一化为24×24大小的人脸样本，提取样本图片的LTP（Local Ternary Patterns，局部三值模式）特征，经过PCA降维，建立姿态子空间，训练面部姿态估计分类器。

2、车辆启动后，疲劳驾驶判别系统开始工作，通过GPS模块实时获取车辆的动态位置信息。

3、图像的采集和处理

将本发明中的疲劳驾驶判别系统的车载终端安装在车辆仪表盘上方，以摄像头能拍摄到驾驶员面对车辆前方时的面部图像为准，为了使系统在夜间也能工作同时又不影响驾驶员视线，通过带有红外LED灯的摄像头得到驾驶员视频图像序列。

（1）面部姿态估计

在采集到的图片序列中，使用训练好的人脸分类器，检测人脸图像的大小和位置，获取驾驶员人脸图像。检测到人脸图像后，提取人脸特征，将其投影至建立好的姿态子空间上，使用面部姿态估计分类器，得到面部姿态估计结果。

设面部姿态特征疲劳驾驶判定参数为F，对于一定时间段内的图像及数据，当面部姿态特征表征值表明驾驶员面部姿态角θ在±30°范围内时，判定为非疲劳状态，F为0；当面部姿态角θ偏转角度过大，但时间t<0.5s时，仍判定为非疲劳状态，F为0；当面部姿态角θ偏转角度过大，且时间t≧0.5s时，则判定为疲劳状态，F为1，如下式:

（2）双眼、鼻及嘴部位置定位以及疲劳状态判断模型建模

检测到人脸图像估计面部姿态的同时，使用主动形状模型（ASM，Active ShapeModel）方法进行双眼、鼻及嘴部位置定位。ASM是建立在PDM（点分布模型）的基础上，通过训练图像样本获取训练图像样本的特征点分布的统计信息，并且获取特征点允许存在的变化方向，实现在目标图像上寻找对应特征点位置的方法。训练样本时，首先手动标记所有图片的特征点的位置，记录特征点的坐标，计算每一个特征点对应的局部灰度模型作为局部特征点调整用的特征向量，再将训练好的模型放在目标图像上，寻找每一个特征点的下一个位置的时候，采用局部灰度模型寻找在当前特征点指定方向上局部灰度模型马氏距离最小的特征点作为当前特征点即将移动到的位置，称为suggested point，找到所有的suggested points获得一个搜索的suggested shape，然后通过调整参数使将当前的模型最可能相似地调整到suggest shape，重复迭代直到实现收敛。

得到人脸图像的双眼位置后，对眼部特征进行分析并建立眼睛睁闭状态判别模型，通过Hough变换来确定眼睛是否闭合。

Hough变换是利用图像全局特性而将边缘像素连接起来组成区域封闭边界的一种方法。利用Hough变换可以直接检测某些已知形状的目标，其主要优点是受噪声和曲线间断的影响较小，具体步骤如下：

1)眼睛的眼球区域是一相对标准的圆，利用圆的Hough变换可以很有效地检测眼球的中心位置和半径：首先进行边缘检测，再利用边缘检测结果得到快速Hough变换的累加器数组，然后对累加器数组进行累加。遍历完所有的边界点后获取累加器数组的最大值，其坐标即为眼球中心位置和半径，记为(a,b,r)；

2)上眼睑朝向和位置在眼睛不同状态下的区别比较明显，所以使用抛物线的快速Hough变换获取上眼睑参数(a,b,r)（为避免混淆，使用a0代替上眼睑参数中的a），辅助表征眼睛状态开合度;

3)基于以上获取的眼球和上眼睑的参数，给出以下的眼睛状态开合度评价标准：

a)a0<0时处于闭眼状态；

b)a0>0时眼睛为睁开状态，并取上眼睑的顶点与眼球中心位置的纵坐标之差作为眼睛开合度的评价标准，此时闭合度可以用下式来衡量：

$\mathrm{ClosureRate}=\frac{(b-y)}{r}+0.5.$

设眼部特征疲劳驾驶判定参数为E，对于一定时间段内的图像及数据，根据a0数值来判断，当a0>0时，若ClosureRat≤e0.5，表明眼睛闭合度小，判定为非疲劳状态，E为0；当a0>0时，若闭合度ClosureRate＞0.5且一次闭合时间t<0.2s时，表明眼睛虽然闭合度过大，但闭合时间快，可视为人体正常眨眼行为，仍判定为非疲劳状态，E为0；当ClosureRate＞0.5但一次闭合时间t>0.2s时，判定为疲劳状态，E为1；当a0<0时，表明驾驶员处于闭眼状态（疲劳状态）时，E为1；如下式:

得到人脸图像的嘴部位置后，对嘴部特征进行分析并建立嘴部状态判别模型：

1)首先采用Gabor小波提取嘴角的纹理特征，由于Gabor小波系数的幅值对位置变化不敏感，而相位角受位置变化的影响较大，因此选择幅值作为嘴角的小波特征。对一幅在位置m=(x，y)，灰度值为L(m)的图像，Gabor小波变换可以表示为下式所述向量

其中，为二维Gabor小波核函数。

2)然后通过线性判别分析(LDA，Linear Discriminant Analysis)判定是否打哈欠：对嘴角的Gabor小波特征，通过LDA求投影矩阵W、样本类内离散度矩阵S_W、类间离散度矩阵S_b，得到判别矩阵W_opt：

$W_{\mathrm{opt}}=\arg \left(\underset{W}{\max }\frac{\left|W^T{S}_{b}W\right|}{\left|W^T{S}_{W}W\right|}\right).$

在分类时，对输入的向量沿训练集中得到的判别矩阵W_opt方向投影，计算投影结果和每个类中心或每个样本的投影结果的距离，利用最近均值法或最近邻法分类输入样本，本实施例中采用了最近均值法。

设嘴部特征疲劳驾驶判定参数为M，当嘴部特征表征值表明驾驶员处于打哈欠状态（疲劳状态）时，M为1；否则，M为0，如下式:

（3）HRV的计算

利用ASM得到人脸图像的双眼、鼻子和嘴部的位置后，找出双眼、鼻子、嘴部边缘特征点的位置，根据其像素点位置及人脸图像的大小确定适合的高度和宽度，截取人脸图像上额头及左右脸颊3个区域处的图像，将这3个区域看作一幅图像，记为P，统计一段时间内的图像序列中截取的多个图像P的R、G、B值信号，对这些信号进行ICA分析，对得到的第二个分量曲线进行插值、滤波等处理后，取其上升沿方向的一阶零点，每两个连续的一阶零点对应的两帧间的时间差即为心率变异数值，统计一段时间如5分钟内的心率变异数值构成一个列向量，然后进行处理分析，得到HRV的2个特征表征值：线性指标中频谱低频与高频的比值p以及非线性指标中RR间期C₀复杂度。

设心率变异特征疲劳驾驶判定参数为HRV，当心率变异特征表征值在正常范围内（非疲劳状态）时，HRV为0；当心率变异特征表征值超出正常范围内（疲劳状态）时，HRV为1，如下式:

4、疲劳信息的融合和最终疲劳状态的判断

得到驾驶员的表情特征和HRV特征后，分别为各种信息特征确定合适的权值，将其融合起来，得到驾驶员疲劳状态信息，建立一种疲劳驾驶判别模型：

T＝a·F+b·E+c·M+d·HRV；

其中，F为面部特征疲劳驾驶判定参数，E为眼部特征疲劳驾驶判定参数，M为嘴部特征疲劳驾驶判定参数，HRV为心率变异特征疲劳驾驶判定参数，a、b、c、d分别为各自对应参数的权值。

当融合后的疲劳状态信息超过规定的阈值T_thread，或某一种特征信息达到了最大极限值时，就判定为疲劳驾驶。

经过大量实验，本实施例中，选取a=0.18、b=0.59、c=0.12、d=0.11，T_thread=0.11，按下述公式判定疲劳等级：

5、疲劳预警

将驾驶员人脸识别结果、处于疲劳状态的时间、地点等信息存储至数据库中，例如在易出现疲劳状态的时间段内，可通过升级当前的疲劳和预警等级加强疲劳预警提示。

当判定驾驶员处于疲劳驾驶状态时，根据分级预警策略和疲劳等级实现复合预警。通过大量实验，本发明研究了不同疲劳状态下听觉、视觉、嗅觉和触觉等各种预警手段的适用规律，制定了与驾驶人状态相适宜的分集预警策略，可依据驾驶人的实际需求实现多种预警手段的选择和组合，根据疲劳等级实现复合预警。

上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统，包括信息采集装置、信息处理装置和预警装置，其特征在于所述信息采集装置用于采集驾驶人面部图像序列，并提供给信息处理装置；所述信息处理装置用于对采集到的驾驶人面部图像序列进行处理分析，得到驾驶员的表情特征信息及心率特征信息，根据采集到的驾驶员面部图像序列得到驾驶员在任一段时间内的心率变异特征信息，所述心率变异特征为逐次心跳周期差异的变化情况，分析其信号线性指标中频谱低频与高频的比值p以及非线性指标中RR间期C₀复杂度，并将表情特征和心率特征进行信息融合，用以判别驾驶员是否处于疲劳状态；预警装置，用于当驾驶员出现疲劳驾驶时，根据预警策略和疲劳等级向预警提示器发送指令，向驾驶员提示预警；所述信息处理装置包括面部姿态估计模块，检测到驾驶员人脸图像后，估计人脸面部姿态角度；眼睛睁闭状态检测模块，在检测到的驾驶员人脸图像上检测人眼图像，得到眼睛睁闭状态信息；嘴部形状判别模块，在检测到的人脸图像上检测驾驶员嘴部图像，得到嘴部姿态信息；

所述面部姿态估计模块的面部姿态估计方法包括以下步骤：

在采集到的图片序列中，使用训练好的人脸分类器，检测人脸图像的大小和位置，获取驾驶员人脸图像；检测到人脸图像后，提取人脸特征，将其投影至建立好的姿态子空间上，使用面部姿态估计分类器，得到面部姿态角θ；

当面部姿态特征表征值表明驾驶员面部姿态角θ在±30°范围内时，判定为非疲劳状态，面部姿态特征疲劳驾驶判定参数F为0；当面部姿态角θ偏转角度过大，但时间t<0.5s时，仍判定为非疲劳状态，F为0；当面部姿态角θ偏转角度过大，且时间t≧0.5s时，则判定为疲劳状态，F为1，如下式:

2.根据权利要求1所述的基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统，其特征在于所述预警提示器选自声音提示器、LED闪烁提示器、座椅振动提示器、安全带振动提示器、座椅顶部吹风提示器的一种或者两种以上的任意组合。

3.根据权利要求1所述的基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统，其特征在于所述系统集成在车载终端内，所述信息采集装置为带有红外LED灯的摄像头，所述摄像头安装在车辆仪表盘上方，以摄像头能拍摄到驾驶员面对车辆前方时的面部图像为准。

4.根据权利要求1所述的基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统，其特征在于所述系统还包括与信息处理装置连接的GPS芯片，所述GPS芯片实时获取车辆的位置信息，并将位置信息发送给信息处理装置。

5.根据权利要求4所述的基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统，其特征在于所述信息处理装置为DSP处理系统，所述DSP处理系统根据采集到的面部图像序列和地理位置信息分别获取驾驶员在任一段时间内的心率变异特征信息和驾驶员的面部表情特征信息；根据驾驶员在任一段时间内的心率变异特征信息和驾驶员的面部表情特征信息判断驾驶员是否处于疲劳驾驶状态。

6.根据权利要求1所述的基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统，其特征在于所述系统还包括与信息处理装置连接的数据存储装置，所述数据存储装置内设置有驾驶员脸部图像数据库、位置信息数据库和中间信息数据库。

7.一种基于图像处理的疲劳驾驶判别方法，其特征在于所述方法包括以下步骤：

(1)实时驾驶员面部图像序列，并对驾驶员面部图像序列进行处理，获取驾驶员的人脸图像序列；

(2)采用主动形状模型方法对人脸图像进行分析，得到人眼及嘴部位置进而分析眼部和嘴部特征，同时进行面部姿态的估计，然后将面部特征、眼部特征、嘴部特征进行信息融合，得到表情特征信息；面部姿态估计方法包括以下步骤：

在采集到的图片序列中，使用训练好的人脸分类器，检测人脸图像的大小和位置，获取驾驶员人脸图像；检测到人脸图像后，提取人脸特征，将其投影至建立好的姿态子空间上，使用面部姿态估计分类器，得到面部姿态角θ；

当面部姿态特征表征值表明驾驶员面部姿态角θ在±30°范围内时，判定为非疲劳状态，面部姿态特征疲劳驾驶判定参数F为0；当面部姿态角θ偏转角度过大，但时间t<0.5s时，仍判定为非疲劳状态，F为0；当面部姿态角θ偏转角度过大，且时间t≧0.5s时，则判定为疲劳状态，F为1，如下式:

(3)对人脸图像进行分析获取驾驶员在一段时间内的心率变异特征；所述心率变异特征为逐次心跳周期差异的变化情况，分析其信号线性指标中频谱低频与高频的比值p以及非线性指标中RR间期C₀复杂度；

(4)将表情特征信息和心率变异数值进行融合得到判断驾驶员疲劳状态的综合值；当融合后的疲劳状态信息超过预定阈值，或某一种特征信息达到了最大极限值时，则判定为疲劳驾驶。

8.根据权利要求7所述的基于图像处理的疲劳驾驶判别方法，其特征在于所述方法步骤(1)具体包括以下步骤：

1)采集到驾驶员的面部图像后，进行图像预处理；

2)利用训练好的人脸分类器进行人脸检测，提取人脸图像特征；

3)基于主成份分析方法进行人脸识别，获得人脸识别结果。

9.根据权利要求7所述的基于图像处理的疲劳驾驶判别方法，其特征在于所述方法步骤(3)具体包括以下步骤：

1)采用主动形状模型方法对人脸图像进行处理，对人脸图像中眼部、鼻子和嘴部的定位，找出眼睛、鼻子、嘴部边缘特征点的位置；在适合的高度和宽度范围内，截取人脸图像上额头及左右脸颊3个区域处的图像；

2)将人脸图像上额头及左右脸颊3个区域看作一幅图像，记为P，统计一段时间内的图像序列中截取的多个图像P的R、G、B值信号并对这些信号进行ICA分析；

3)对ICA分析得到的第二个分量曲线进行插值、滤波处理后，取其上升沿方向的一阶零点，每两个连续的一阶零点对应的两帧间的时间差即为心率变异数值。