CN113989786A - 基于多源视觉信息融合的疲劳驾驶检测方法 - Google Patents

Abstract

本发明涉及一种基于多源视觉信息融合的疲劳驾驶检测方法，该方法包括：建立疲劳驾驶状态下的用户图像样本数据集；基于所述用户图像样本数据集，提取并融合多维面部动作单元和头部姿态特征、多维眼部纹理特征与多维额部纹理特征，获得多维疲劳特征向量；利用MI‑FCBF算法对所述多维疲劳特征向量进行选择，获得低维疲劳特征；根据所述低维疲劳特征，训练Adaboost分类器，生成可用于识别疲劳驾驶状态的分类模型；根据所述分类模型监测用户驾驶状态。上述基于多源视觉信息融合的疲劳驾驶检测方法，将可见光下的面部视觉特征和面部红外热像图纹理信息在特征层进行融合，可以综合视觉信号和生理信号评价疲劳状态，检测结果较为客观。

Description

基于多源视觉信息融合的疲劳驾驶检测方法

技术领域

本发明涉及图像分析及识别领域，特别是涉及一种基于多源视觉信息融合的疲劳驾驶检测方法。

背景技术

疲劳驾驶是指车辆驾驶人在长时间连续行车后，产生生理机能和心理机能的失调，而在客观上出现驾驶技能下降的现象。驾驶人睡眠质量差或不足，长时间驾驶车辆，容易出现疲劳。驾驶疲劳会影响到驾驶人的注意、感觉、知觉、思维、判断、意志、决定和运动等诸方面。疲劳后继续驾驶车辆，会感到困倦瞌睡，四肢无力，注意力不集中，判断能力下降，甚至出现精神恍惚或瞬间记忆消失，出现动作迟误或过早，操作停顿或修正时间不当等不安全因素，极易发生道路交通事故。因此，疲劳后严禁驾驶车辆。

在当前的城市道路、高速公路等道路交通中，交管部门对司机的身体状况、精神状况检测已经越来越严格，除去以往的必要项目例如酒精检测，也开始关注司机的心理健康、疲劳状况等精神状态。司机的疲劳状态在很大程度上影响着司机的驾驶安全。

目前主要采用的疲劳状态检测方法比较缺乏，主观疲劳检测以问卷形式要求驾驶员进行自我评估，检测结果缺少客观性。因此，不能满足于当下疲劳驾驶检测的需求。

发明内容

基于此，有必要针对上述技术问题，提供一种较为客观的基于多源视觉信息融合的疲劳驾驶检测方法。

一种基于多源视觉信息融合的疲劳驾驶检测方法，所述方法包括：

建立疲劳驾驶状态下的用户图像样本数据集；

基于所述用户图像样本数据集，提取并融合多维面部动作单元和头部姿态特征、多维眼部纹理特征与多维额部纹理特征，获得多维疲劳特征向量；

利用MI-FCBF算法对所述多维疲劳特征向量进行选择，获得低维疲劳特征；

根据所述低维疲劳特征，训练Adaboost分类器，生成可用于识别疲劳驾驶状态的分类模型；

根据所述分类模型监测用户驾驶状态。

进一步的，所述建立疲劳驾驶状态下的用户图像样本数据集，包括

采用可见光摄像头与红外热像仪采集用户驾驶图像；

对所述红外热像仪采集的驾驶图像依次进行人脸定位、人脸校正与面部分隔。

进一步的，采用OpenFace面部行为分析工具提取多维面部动作单元和头部姿态特征，采用灰度梯度共生矩阵提取多维眼部纹理特征与多维额部纹理特征。

进一步的，所述提取并融合多维面部动作单元和头部姿态特征、多维眼部纹理特征与多维额部纹理特征，获得多维疲劳特征向量，包括：

提取64维的面部动作单元和头部姿态特征，15维眼部纹理特征的均值和15额部维纹理特征的均值，在特征层融合后作为一组共94维的疲劳特征向量。

进一步的，所述利用MI-FCBF算法对所述多维疲劳特征向量进行选择，包括：

利用MI算法删除所述多维疲劳特征向量中的无关特征；

利用FCBF算法删除所述多维疲劳特征向量中的冗余特征。

进一步的，所述低维疲劳特征为5维特征，包括头部姿态特征头部转动角的协方差和最大值、面部表情眨眼特征的标准差以及额部的纹理特征梯度分布不均匀性和逆差矩。

进一步的，所述生成可用于识别疲劳驾驶状态的分类模型之后，还包括：

将所述分类模型移植到嵌入式平台，并将所述嵌入式平台固定在车身驾驶位前方。

进一步的，所述根据所述分类模型监测用户驾驶状态，包括：

根据所述分类模型判断用户驾驶状态，在用户处于疲劳驾驶时发出预警。

上述基于多源视觉信息融合的疲劳驾驶检测方法，将可见光下的面部视觉特征和面部红外热像图纹理信息在特征层进行融合，可以综合视觉信号和生理信号评价疲劳状态，检测结果较为客观。

附图说明

图1为一个实施例的基于多源视觉信息融合的疲劳驾驶检测方法流程图；

图2为红外热像图预处理流程图；

图3为对多维疲劳特征向量进行选择的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，在一个实施例中，一种基于多源视觉信息融合的疲劳驾驶检测方法，该方法包括：

步骤S110，建立疲劳驾驶状态下的用户图像样本数据集。在实际驾驶条件下，利用可见光摄像头和红外热像仪分别同时拍摄受试对象的模拟驾驶视频，并分别以相同的时间长度比如10秒分成不重叠的样本，并将样本图像划分成疲劳驾驶行为和正常驾驶行为。拍摄时遵循以下要求：首先，保持各种类样本数量的均衡性；其次，可见光图像与红外热像图基本配准并具有统一的分辨率、图像格式；再次，保证采集的目标均在图像中间位置。最后采集到的样本数量为1800张，其中，正常驾驶样本数量为900张，疲劳驾驶样本数量为900，并将采集的红外热像图图像样本进行简单的预处理，使其适应后面特征提取的需要，其中，预处理流程参见图2，包括进行人脸定位、人脸校正与面部分隔，通过面部分割出感兴趣区域，包括左右眼睛区域、额部区域，去掉覆盖在额部的头发。

步骤S120，基于用户图像样本数据集，提取并融合多维面部动作单元和头部姿态特征、多维眼部纹理特征与多维额部纹理特征，获得多维疲劳特征向量。

采用OpenFace(面部识别与处理软件)面部行为分析工具提取多维面部动作单元和头部姿态特征，可见光下面部动作单元与头部姿态重点考虑眼睛、鼻子、嘴巴等部位的运动特征，如频繁眨眼、打哈欠引起的皱鼻、嘴角下压等现象，从而得到人脸疲劳表情的动作单元表示组合，并增加头部欧拉旋转角即滚动角(Roll)、平动角(Yaw)以及转动角(Pitch)作为视觉信息疲劳指标。

采用灰度梯度共生矩阵提取多维眼部纹理特征与多维额部纹理特征。红外热像图下面部纹理重点考虑眼部区域和额部区域，借助灰度梯度矩阵提取相关部位的多维纹理特征作为生理信号疲劳指标。灰度梯度共生矩阵H(x,y)定义如下：

设一副大小为M×N的灰度图像f(m,n)，其中m＝0,1,…,M-1，n＝0,1,…,N-1，则灰度归一化图像和梯度归一化图像分别为：

其中，L_f、L_g为设定的最大灰度和梯度级，f_max、g_max为灰度矩阵和梯度矩阵的最大值。

灰度梯度矩阵中的元素定义为H(x,y)，x＝0,…,L_f-1，y＝0,…,L_g-1，其中元素H(x,y)定为F(m,n)与G(m,n)中具有灰度级x和梯度级y的像点数。

归一化的灰度梯度矩阵

公式为：

优选的，提取64维的面部动作单元和头部姿态特征，15维眼部纹理特征的均值和15额部维纹理特征的均值，在特征层融合后作为一组共94维的疲劳特征向量。

步骤S130，利用MI-FCBF算法对多维疲劳特征向量进行选择，获得低维疲劳特征。基于采集到视觉信息和生理信号的多维特征参数，采用基于互信息(MI)和快速相关性滤波算法(FCBF)的两阶段特征选择方法，MI-FCBF算法，同时加入了能够自定义的特征维度参数，避免特征被过度删减影响分类效果，使得特征选择更具可靠性。

首先，利用MI算法删除所述多维疲劳特征向量中的无关特征。由于MI算法从全局上衡量特征和类别之间的相关性，互信息值越高，则该特征与类别的相关性越显著，因此本发明利用该算法删除无关特征。

其次，利用FCBF算法删除所述多维疲劳特征向量中的冗余特征。删除无关特征后，由于特征间还存在较大冗余性，而FCBF算法以对称不确定性作为特征间冗余性的衡量标准，如果一个特征与类别之间的对称不确定性高，且与其他已选特征之间的对称不确定性低，则将该特征被保留，否则剔除，因此本发明利用该算法进一步删除冗余特征。

对多维疲劳特征向量进行选择的具体步骤如下，参加图3。

首先，输入数据集D，特征维度为n。

其次，计算数据集D上每维特征与类别的互信息值，以此对所有特征按照降序的方式排列，并通过改变特征维度M_1并比较分类模型的评估指标，得到初始特征子集S。

再次，输入初始特征子集S，自定义最优特征子集维度参数为M_2，并计算S中任何一个特征F_i与类别C的对称F_i不确定性的以及任意两个不同特征与F_j之间的关系

(0≤i≤n-1，0≤j≤n-1，且i≠j)。其中对称不确定性SU(X,Y)的定义如下：

当变量Y出现时变量X信息熵的变化量称为信息增益，表示为：

IG(X|Y)＝H(X)-H(X|Y)；

由此对称不确定性SU(X,Y)可表示为：

如果

则在初始特征子集S中移除特征F_j，并将F_i添加进最优特征子集S_best。

再者，若最优特征子集S_best的维度大于或等于M_2，则直接输出S_best；若S_best的维度小于M_2，则在被删除的特征中选择

的最大值所对应的特征并加入到S_best中，直至S_best的维度等于M_2；

最后，输出最优特征子集S_best。

利用MI-FCBF算法对94维的疲劳特征向量进行选择。最终选取的最优5维特征中包含了可见光下头部姿态特征头部转动角的协方差pose_pitch_cov和最大值pose_pitch_max、面部表情眨眼特征的标准差AU45_std以及红外热像图中额头的纹理特征梯度分布不均匀性h_T4和逆差矩h_T15。其中，额部

纹理特征梯度分布不均匀性h_T4和逆差矩h_T15的计算公式分别为：

步骤S140，根据低维疲劳特征，训练Adaboost(一种迭代算法)分类器，生成可用于识别疲劳驾驶状态的分类模型。分类模型为Adaboost模型，采用十次五折交叉验证的方式训练得到。

步骤S150，根据分类模型监测用户驾驶状态。分类模型移植到嵌入式平台，并将所述嵌入式平台固定在车身驾驶位前方。根据所述分类模型判断用户驾驶状态，若判断为安全驾驶，则不预警；若连续判断为疲劳驾驶，则发出警示灯闪烁预警。

上述基于多源视觉信息融合的疲劳驾驶检测方法，将可见光下的面部视觉特征和面部红外热像图纹理信息在特征层进行融合，可以综合视觉信号和生理信号评价疲劳状态，检测结果较为客观。采用MI-FCBF特征选择算法，分别通过比较互信息和对称不确定性，实现了一种两阶段的特征选择算法，克服了传统特征选择算法仅能去除无关特征而不能去除冗余特征的缺陷，并自定义特征维度，解决了FCBF特征选择算法因被保留特征过于稀少而使检测精度不高的问题。另外，不会对驾驶员产生入侵性伤害，有效提高了疲劳驾驶检测的实用性。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于多源视觉信息融合的疲劳驾驶检测方法，其特征在于，所述方法包括：

建立疲劳驾驶状态下的用户图像样本数据集；

基于所述用户图像样本数据集，提取并融合多维面部动作单元和头部姿态特征、多维眼部纹理特征与多维额部纹理特征，获得多维疲劳特征向量；

利用MI-FCBF算法对所述多维疲劳特征向量进行选择，获得低维疲劳特征；

根据所述低维疲劳特征，训练Adaboost分类器，生成可用于识别疲劳驾驶状态的分类模型；

根据所述分类模型监测用户驾驶状态。

2.根据权利要求1所述的基于多源视觉信息融合的疲劳驾驶检测方法，其特征在于，所述建立疲劳驾驶状态下的用户图像样本数据集，包括

采用可见光摄像头与红外热像仪采集用户驾驶图像；

对所述红外热像仪采集的驾驶图像依次进行人脸定位、人脸校正与面部分隔。

3.根据权利要求1所述的基于多源视觉信息融合的疲劳驾驶检测方法，其特征在于，采用OpenFace面部行为分析工具提取多维面部动作单元和头部姿态特征，采用灰度梯度共生矩阵提取多维眼部纹理特征与多维额部纹理特征。

4.根据权利要求3所述的基于多源视觉信息融合的疲劳驾驶检测方法，其特征在于，所述提取并融合多维面部动作单元和头部姿态特征、多维眼部纹理特征与多维额部纹理特征，获得多维疲劳特征向量，包括：

提取64维的面部动作单元和头部姿态特征，15维眼部纹理特征的均值和15额部维纹理特征的均值，在特征层融合后作为一组共94维的疲劳特征向量。

5.根据权利要求1所述的基于多源视觉信息融合的疲劳驾驶检测方法，其特征在于，所述利用MI-FCBF算法对所述多维疲劳特征向量进行选择，包括：

利用MI算法删除所述多维疲劳特征向量中的无关特征；

利用FCBF算法删除所述多维疲劳特征向量中的冗余特征。

6.根据权利要求5所述的基于多源视觉信息融合的疲劳驾驶检测方法，其特征在于，所述低维疲劳特征为5维特征，包括头部姿态特征头部转动角的协方差和最大值、面部表情眨眼特征的标准差以及额部的纹理特征梯度分布不均匀性和逆差矩。

7.根据权利要求1所述的基于多源视觉信息融合的疲劳驾驶检测方法，其特征在于，所述生成可用于识别疲劳驾驶状态的分类模型之后，还包括：

将所述分类模型移植到嵌入式平台，并将所述嵌入式平台固定在车身驾驶位前方。

8.根据权利要求1所述的基于多源视觉信息融合的疲劳驾驶检测方法，其特征在于，所述根据所述分类模型监测用户驾驶状态，包括：

根据所述分类模型判断用户驾驶状态，在用户处于疲劳驾驶时发出预警。

Images