CN109460703B - 一种基于心率和面部特征的非侵入式疲劳驾驶识别方法 - Google Patents

Abstract

本发明提出了一种基于心率和面部特征的非侵入式疲劳驾驶识别方法。该方法通过体感摄像机Kinect获取面部视频，根据面部视频使用独立量分析，分离出R、G、B和红外四个通道；使用傅里叶变换计算出心率；使用体感摄像机Kinect人脸追踪开发工具包获取视频中面部区域图像及眼睛和嘴部区域的特征点；计算眼睛张开度，用于统计眨眼持续时间PERCLOS；利用支持向量机对嘴部区域图像分成打哈欠和未打哈欠两类，统计打哈欠频率；将获得的心率统计特征、PERCLOS统计和打哈欠频率特征融合后进行疲劳识别。本发明结合心率和打哈欠是驾驶员下意识的特征，提高疲劳驾驶检测的可靠性。

Description

一种基于心率和面部特征的非侵入式疲劳驾驶识别方法

技术领域

本发明涉及一种疲劳驾驶检测技术，具体涉及一种基于心率和面部特征的非侵入式疲劳驾驶识别方法。

背景技术

当驾驶员处于疲劳驾驶状态时，其注意力会变得分散，识别路况和驾驶能力明显下降，因此无论是对他们自己还是他人的生命安全均构成了威胁。因此开发能及时检测驾驶员是否疲劳驾驶并做出预警的系统，对于较少交通事故意义重大。

目前有不少疲劳驾驶检测的方法，但仍然有很多问题有待解决或值得进一步研究。其一，基于车辆行为的方法。基于车辆行为的方法主要是通过测量转向角、速度、加速度、转弯角度等车辆数据，虽然收集车辆信号很方便，但是此时驾驶员已经明显表现出疲劳，因此这种方法无法有效的及时的检测到驾驶员是否疲劳并做出预警。其二，基于生理信号的方法。基于生理信号的方法研究主要是研究脑电图(EEG)，眼电图(EOG)和心电图(ECG)和心率等生理信号，虽然提到的这些方法可以获得很高准确率，但是这些方法都需要驾驶员佩戴相关检测设备，有很强的侵入性，会妨碍驾驶员驾驶。同时在进行检测疲劳驾驶前需要驾驶员佩戴相关设备，用户体验不友好。

当司机疲劳时会出现频繁闭眼、点头和打哈欠等行为。基于行为的方法就是通过视觉分析驾驶员例如闭眼，眨眼，打哈欠，头部姿势、眼睑运动和面部表情等面部特征来检测是否疲劳。由于基于视觉的行为的方法不会干扰司机驾驶，更容易被驾驶员所接受。基于检测眼睛闭合频率来计算PERCLOS(Percentage of Eye Closure)值来判断是否疲劳，有些除了分析眼部区域的特征外还结合头部运动来进行检测。但是当司机带墨镜时候，通过眼部区域特征来判断是否疲劳这种方法将会失效。

更好的解决方案是对面部图像分析出心率。面部的血液会随着心脏的收缩和放松而变化，血液的变化意味着面部热量和颜色会发生微小的变化，因此Kinect获取的红外图像和RGB图像将着时间产生微小的变化，而这个变化的频率就是我们需要求的心率。当司机疲劳时会出现频繁闭眼、点头和打哈欠等行为。基于视觉的行为的方法不会干扰司机驾驶，更容易被驾驶员所接受。基于检测眼睛闭合频率来计算PERCLOS(Percentage of EyeClosure)值来判断是否疲劳，有些除了分析眼部区域的特征外还结合头部运动来进行检测。但是当司机带墨镜时候，通过眼部区域特征来判断是否疲劳这种方法将会失效。通过Kinect的红外图像，既可以大大降低光照变化所带来的影响也能很好的解决带墨镜时的情况。人下意识很容易控制眼睛闭合频率，仅仅通过眼部特征来判断是否疲劳这种方法不可靠。但是打哈欠和心率是很难下意识的控制的，因此我们应当融合心率、眼部特征和嘴部特征来提高疲劳驾驶检测的稳定性与准确性。

发明内容

为了解决上述现有技术所存在的问题，本发明提供一种基于心率和面部特征的非侵入式疲劳驾驶识别方法，通过Kinect获取RGB图像和红外(IR)图像，然后根据这些图像数据计算心率并获取面部特征，最终将心率和面部特征融合，使用随机森林算法分类出疲劳和未疲劳两种状态。

本发明的目的通过如下技术方案实现。

一种基于心率和面部特征的非侵入式疲劳驾驶识别方法，该方法包括以下步骤：

S1、通过体感摄像机Kinect获取面部视频，根据面部视频使用独立量分析(Independent Component Analysis)分离出R、G、B和红外四个通道；使用傅里叶变换计算出心率；

S2、使用体感摄像机Kinect人脸追踪开发工具包(Kinect Face TrackingSoftware Development Kit)获取视频中面部区域图像及眼睛和嘴部区域的特征点；

S3、计算眼睛张开度，用于统计眨眼持续时间PERCLOS(Percentage of EyeClosure)；利用支持向量机(Support Vector Machine)对嘴部区域图像分成打哈欠和未打哈欠两类，统计打哈欠频率；

S4、将获得的心率统计特征、PERCLOS统计和打哈欠频率特征融合后进行疲劳识别。

进一步地，步骤S1使用Kinect获取RGB和红外(IR)图像数据，然后使用KinectFace-Tracker获取面部区域和眼睛及嘴部特征点。

进一步地，在步骤S1中，从Kinect中获取面部区域的RGB图像和红外图像，对此区域进行追踪；其次，从R、G、B和IR四个通道记录采集到的信号进行归一化；所述的使用傅里叶变换计算出心率，首先用基于特征矩阵联合近似对角化算法(Joint ApproximateDiagonalization Of Eigen-Matrices Algorithm)，对信号进行独立分量分析，然后对得到的分离矩阵进行傅里叶变换，从而与心率范围匹配，得到被测者实时心率；再从每段心率提取五个统计特征：平均值、均方根、最大值、最小值和幅度

进一步地，步骤S2使用Kinect人脸追踪开发工具包(Kinect Face TrackingSoftware Development Kit)提取眼睛感兴趣区域(ROI)，再使用光谱回归(SR)算法将眼睛感兴趣区域按照眼睛张开度作为权重映射成一个光谱模型。训练完成后输入一个眼睛ROI图像就可以快速得到眼睛张开度，统计一段时间内眼睑覆盖瞳孔80％所占的时间即可得到PERCLOS。

进一步地，步骤S3中，通过使用Kinect人脸追踪开发工具包(Kinect FaceTracking Software Development Kit)获取对于嘴部区域的特征点，在利用局部二值模式算法(Local Binary Pattern)提取嘴部特征，然后使用支持向量机算法分类出是否处于打哈欠状态。

进一步地，步骤S4中，首先将心率统计特征、PERCLOS统计和打哈欠频率这三种特征归一化，使用随机森林算法来融合这些特征进行驾驶状态分类，分为疲劳和未疲劳两种状态，我们选取分类回归树(Classification And Regression Tree)作为随机森林算法的分类决策树。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明利用面部图像数据来检测疲劳驾驶，不需要驾驶员身体任何部位佩戴传感器，无侵入性。可以长时间进行疲劳检测并且对司机驾驶无影响。

2、利用面部视频来计算心率，并且将其与面部特征融合，提高了疲劳驾驶检测的稳定性与可靠性。

3、面部特征均是利用红外图像提取，极大降低了光照对疲劳驾驶检测的影响。

附图说明

图1为本发明的一种基于心率和面部特征的非侵入式疲劳驾驶识别方法的流程示意图。

具体实施方式

下面结合附图并举实施例，对本发明的技术方案进行详细说明，需指出是，以下若有未特别详细说明之过程或符号，均是本领域技术人员可参照现有技术实现或理解的。

本实施例提供的一种基于心率和面部特征的非侵入式疲劳驾驶识别方法，仅使用Kinect获取面部视频数据来测量心率和识别面部表情，然后融合这两种数据进行疲劳检测。驾驶员在疲劳时候可以努力控制减少眨眼频率，但是打哈欠和心率是很难下意识的控制的，因此通过结合心率和打哈欠频率可以更好的检测到驾驶员是否疲劳。如图1所示，该框架主要包括以下部分：

S1、通过体感摄像机Kinect获取面部视频，根据面部视频使用独立量分析(Independent Component Analysis)分离出R、G、B和红外四个通道；使用傅里叶变换计算出心率；

S2、使用Kinect获取RGB和红外(IR)图像数据，然后使用Kinect Face-Tracker获取面部区域和眼睛及嘴部特征点。

根据面部视频计算出心率；从Kinect中获取面部区域的RGB图像和红外图像，并对此区域进行追踪，再从R、G、B和IR四个通道记录采集到的信号进行归一化，然后采用基于特征矩阵联合近似对角化的JADE算法，对信号进行独立分量分析。再对得到的分离矩阵进行快速傅里叶变换，从而与心率范围匹配，得到被测者实时心率。再从每段心率提取四个统计特征：平均值、均方根、最大值、最小值和幅度。

S3、计算眼睛张开度用来统计PERCLOS；根据眼部特征点提取眼睛ROI，首先利用训练集将眼睛张开度作为权重使用现有的光谱回归(Spectral Regression)算法映射成一个光谱模型。训练完成后输入一个眼睛ROI图像就可以快速得到眼睛张开度，统计一段时间内眼睑覆盖瞳孔80％所占的时间即可得到PERCLOS。

利用支持向量机算法对嘴部区域分成打哈欠和未打哈欠两类；对于嘴部区首先利用LBP提取嘴部特征，然后使用支持向量机算法分类出是否处于打哈欠状态。

S4、特征融合后进行疲劳识别；首先将心率统计特征、PERCLOS和打哈欠频率这三种特征归一化，然后将这些归一化后的特征作为随机森林算法的输入该算法输出结果为驾驶员精神状态，共有疲劳和未疲劳两种状态。以下是详细过程随机森林算法是一种特殊的集成学习方法，其是由多个决策树组成，由于疲劳检测是一个二分类问题，因此我们选取分类回归树(Classification And Regression Tree)作为随机森林算法的分类决策树。首先需要使用训练集训练随机森林，之前提到的归一化后的一组特征加上当前特征对应驾驶员疲劳状态即：{心率特征，PERCLOS，打哈欠频率，疲劳/未疲劳}，其为训练集D的一个元素。模型构建过程中当前步骤所选择特征和划分子集的方法是，遍历目前还未选中的特征以及该特征所有划分情况然后计算划分后集合的基尼系数，最终选择让原来的集合的基尼系数Gini最小时所对应的特征以及划分方法。基尼系数越大总体内包含的类别越杂乱。集合D_ξ的基尼系数Gini(D_ξ)计算公式入下式所示。

其中，n是分类的个数这里由只有疲劳和不疲劳两种所以n的值为2，p_k表示样本p＝(x_i，y_i)属于分类k的概率，该概率是通过以往的数据进行统计如：PERCLOS值为0.8时10志愿者有9个处于疲劳状态，则我们可以说当样本中PERCLOS值为0.8时，当前驾驶员处于疲劳状态的概率为90％。而且i∈[1，s]，p∈D，k∈[1，n]，n∈[1，s]。

训练随机森林模型需要三步：

step 1：从原始训练集D₀中随机有放回采样选出x个样本，样本是之前提到的，共进行y次采样，生成y个训练集，训练集个数就是随机森林所含有决策树的个数。然后将每个训练集划分为大小相同的K份；选择其中的K-1份来训练y个决策树模型，将用余下的那一份计算模型的预测值，这一份通常被称为交叉验证集；

step 2：依次遍历每个特征A_j的可能取值A_j，η，对每一个划分点(A_j，A_j，η)计算并保存按照该划分点划分后所得集合的基尼系数Gini(D_ξ，A_i，η)，这些数据将会在step 3使用。原先集合根据划分点(A_j，A_j，η)划分后的集合基尼系数计算公式如下所示。

其中D_ξ+1与D_ξ+2是原来的集合D_ξ根据划分点(A_j，A_j，η)划分所得到的两两个互斥的子集。

step 3：从step 2所产生的所有划分情况中选取划分后集合基尼系数最小的情况作为最终决策树本次划分结果，此时原先集合被划分成两个互斥的子集。

step 4：对上步切出的两个子集分别递归调用step 1和step 2。每棵树都一直这样分裂下去，直到子集合的样本个数小于预定阀值，或者训练集的基尼系数小于预定阀值或没有更多特征可以用来划分子集时停止划分。最后将生成的多棵决策树组成随机森林。

得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树对其分类，然后输出该样本所属类别。最后统计y个决策树所输出的分类，然后结果中出现次数最多的一个类别为最终输入驾驶员的特征所属的精神类别(驾驶状态)，输出疲劳或未疲劳。

本实施例采用的整个疲劳检测系统主要分为心率获取、PERCLOS统计、打哈欠频率统计和数据融合四个模块。其中前面三个模块的数据均是由Kinect所获取的面部RGB和IR数据。心率计算模块是通过分析面部图像数据规律性变化得到心率变化的统计特征。PERCLOS统计模块是识别出眼睛闭合度，统计眼睛闭合所占时间比重。打哈欠频率统计模块是通过对嘴部图像使用支持向量机算法进行分类识别出打哈欠和未打哈欠两种状态。数据融合是利用分类器将上述三种特征分出疲劳和未疲劳这两种状态。结合心率和打哈欠是驾驶员下意识的特征，提高疲劳驾驶检测的可靠性。

综上所述，本发明如说明书及图示的内容，以上所举实施例仅用来方便举例说明本发明，并非对本发明作任何形式上的限制。

Claims (6)

1.一种基于心率和面部特征的非侵入式疲劳驾驶识别方法，其特征在于，该方法包括以下步骤：

S1、通过体感摄像机Kinect获取面部视频，根据面部视频使用独立量分析分离出R、G、B和红外四个通道；使用傅里叶变换计算出心率；

S2、使用体感摄像机Kinect人脸追踪开发工具包获取视频中面部区域图像及眼睛和嘴部区域的特征点；

S3、计算眼睛张开度，用于统计眨眼持续时间PERCLOS；利用支持向量机对嘴部区域图像分成打哈欠和未打哈欠两类，统计打哈欠频率；

S4 、将获得的心率统计特征、PERCLOS统计和打哈欠频率特征融合后进行疲劳识别，所述的特征融合后进行疲劳识别包括：

先将心率统计特征、PERCLOS和打哈欠频率这三种特征归一化，然后将这些归一化后的特征作为随机森林算法的输入，该算法输出结果为驾驶员精神状态，共有疲劳和未疲劳两种状态；

所述随机森林算法是一种特殊的集成学习方法，由多个决策树组成，选取分类回归树(Classification And Regression Tree)作为随机森林算法的分类决策树，具体是：使用训练集训练随机森林，所述归一化后的特征加上当前特征对应驾驶员疲劳状态即：{心率特征，PERCLOS，打哈欠频率，疲劳/未疲劳}，为训练集D的一个元素；模型构建过程中当前步骤所选择特征和划分子集的方法是，遍历目前还未选中的特征以及该特征所有划分情况， 然后计算划分后集合的基尼系数，最终选择让原来的集合的基尼系数Gini最小时所对应的特征以及划分方法；基尼系数越大总体内包含的类别越杂乱；集合D_ξ的基尼系数Gini(D_ξ)计算公式入下式所示，

其中，n是分类的个数，这里只有疲劳和不疲劳两种，所以n的值为2，p_k表示样本p＝(x_i，y_i)属于分类k的概率；

训练随机森林模型需要四步：

step1：从原始训练集D₀中随机有放回采样选出x个样本，样本是之前提到的，共进行y次采样，生成y个训练集，训练集个数就是随机森林所含有决策树的个数；然后将每个训练集划分为大小相同的K份；选择其中的K-1份来训练y个决策树模型，将用余下的那一份计算模型的预测值，这一份通常被称为交叉验证集；

step2：依次遍历每个特征A_j的可能取值A_j，η，对每一个划分点(A_j，A_j，η)计算并保存按照该划分点划分后所得集合的基尼系数Gini(D_ξ，A_j，η)，这些数据将会在step3使用；原先集合根据划分点(A_j，A_j，η)划分后的集合基尼系数计算公式如下所示：

其中D_ξ+1与D_ξ+2是原来的集合D_ξ根据划分点(A_j，A_j，η)划分所得到的两个互斥的子集；

step3：从step2所产生的所有划分情况中选取划分后集合基尼系数最小的情况作为最终决策树本次划分结果，此时原先集合被划分成两个互斥的子集；

step4：对上步切出的两个子集分别递归调用step1和step2，每棵树都一直这样分裂下去，直到子集合的样本个数小于预定阀值，或者训练集的基尼系数小于预定阀值或没有更多特征可以用来划分子集时停止划分；最后将生成的多棵决策树组成随机森林。

2.根据权利要求1所述的一种基于心率和面部特征的非侵入式疲劳驾驶识别方法，其特征在于，步骤S1中所述使用体感摄像机Kinect获取彩色图像和红外图像数据。

3.根据权利要求1所述的一种基于心率和面部特征的非侵入式疲劳驾驶识别方法，其特征在于，在步骤S1中，从Kinect中获取面部区域的RGB图像和红外图像，对此区域进行追踪；其次，从R、G、B和IR四个通道记录采集到的信号进行归一化；所述的使用傅里叶变换计算出心率，首先用基于特征矩阵联合近似对角化算法，对信号进行独立分量分析，然后对得到的分离矩阵进行傅里叶变换，从而与心率范围匹配，得到被测者实时心率；再从每段心率提取五个统计特征：平均值、均方根、最大值、最小值和幅度。

4.根据权利要求1所述的一种基于心率和面部特征的非侵入式疲劳驾驶识别方法，其特征在于，在步骤S2中，通过使用Kinect人脸追踪开发工具包提取眼睛感兴趣区域，然后使用光谱回归算法将眼睛感兴趣区域按照眼睛张开度作为权重映射成一个光谱模型；训练完成后输入一个眼睛区域图像就可以快速得到眼睛张开度，统计一段时间内眼睑覆盖瞳孔80％所占的时间即可得到PERCLOS。

5.根据权利要求1所述的一种基于心率和面部特征的非侵入式疲劳驾驶识别方法，其特征在于，步骤S3中，通过使用Kinect人脸追踪开发工具包获取对于嘴部区域的特征点，在利用局部二值模式算法提取嘴部特征，然后使用支持向量机算法分类出是否处于打哈欠状态。

6.根据权利要求1所述的一种基于心率和面部特征的非侵入式疲劳驾驶识别方法，其特征在于，步骤S4中，首先将心率统计特征、PERCLOS统计和打哈欠频率这三种特征归一化，使用随机森林算法来融合这些特征进行驾驶状态分类，分为疲劳和未疲劳两种状态，选取分类回归树作为随机森林算法的分类决策树。

Images