CN109124625A - 一种驾驶员疲劳状态水平分级方法 - Google Patents

Abstract

本发明公开了一种驾驶员疲劳状态水平分级方法，属于汽车安全辅助驾驶技术领域。本发明在考虑驾驶疲劳动态生成特性的基础上对疲劳状态的水平进行准确划分，对于相关技术研究及车载系统开发具有重要的实际支撑作用。该方法采用可靠的EEG数据作为疲劳水平等级划分的数据来源，以降低间接检测和主观评测方法所导致的误差传递；基于LSTM网络构建的驾驶员疲劳状态水平分级模型从时间序列上很好解决了疲劳的动态生成特性问题；在模型中通过引入注意力机制以解析特征在不同疲劳水平等级下的差异性，从而提高模型对疲劳演化规律的解释合理性；综合不同人员特征属性的建模方法克服了驾驶员风格类型差异所带来的模型适应性拓展问题。

Description

一种驾驶员疲劳状态水平分级方法

技术领域

本发明属于汽车安全辅助驾驶技术领域，特别涉及一种驾驶员疲劳状态水平分级方法。

背景技术

随着我国汽车人均占有率的增加，交通事故已成为威胁人类生命的又一大突出问题。据统计，驾驶员疲劳驾驶在所有重特大道路交通事故中所占的比重最大，如果在危险发生前0.5秒对驾驶员进行预警，则可以减少大部分类似交通事故的发生。目前，关于驾驶员疲劳状态的检测方法可以分为以下两类：(1)基于客观指标的检测方法：主要分为直接检测和间接检测两种。直接检测通常指EEG信号检测，该种检测方法可以直接反映驾驶员的大脑活动状态，其指标变化与驾驶员疲劳状态直接相关，因此通常被用来作为检测疲劳状态的标准；间接检测一般利用驾驶员面部表观参数和车辆运行状态参数等对驾驶员疲劳状态进行间接推断，如PERCLOS、肌电信号和转向盘转动角度等指标。(2)疲劳状态的主观评定方法：主要分为主观评测表和生理反应指标评定两种。主观评测表包括皮尔逊疲劳量表、驾驶员自我记录表等；生理反应指标包括闪频值检测、膝腱反射技能检测等。

基于上述各研究方案分析可知：基于EEG的直接检测方法准确率高，但由于其测试装置需要与驾驶员直接接触，对驾驶员形成一定的干涉，因此在实际应用中较少采用；间接检测方法不对驾驶员形成干涉，且其相关特征参数的采集相对简单，因此在驾驶疲劳的相关研究及应用中采用较多，然而其可靠性还有待进一步提高；基于主观评测的方法由于其本质为一离线的状态评定方法，不适合实际的车载应用。由此可见，基于相关特征的驾驶疲劳间接检测方法在未来的车载应用中具有良好的发展前景。然而，在现有研究中存在两个技术难点亟需克服：(1)驾驶疲劳的动态生成。由于疲劳的形成为一随驾驶环境和时间延长而逐渐生成的过程，且在此过程中并非所有的非常规状态均可引发交通事故，因此如何在驾驶疲劳状态评估时考虑该特性是提高预测准确性和系统实时性的基础；(2)驾驶疲劳的分级标准。利用相关特征进行驾驶疲劳检测的研究过程，其本质是基于对驾驶疲劳形成规律的解析结果进行评估模型构建，进而利用已有数据对所建模型的未知参数进行求解，从而在实际车载应用中可以基于实时采集的特征参数对驾驶疲劳进行准确检测。其中，在进行未知参数求解时，一项很重要工作是如何准确确定驾驶员的真实疲劳状态，即疲劳的标准确定，这是对所建模型进行求解并成功车载应用的前提条件。

对于上述两方面问题，目前的车载应用系统通常仅针对检测到的特征指标变化做出是/否疲劳的判断，对于疲劳的动态特性及不同疲劳水平级别下的状态判断尚缺乏有效的处理手段。这种处理方法在实际应用中存在以下问题：(1)动态特性缺失导致疲劳检测系统的虚警率过高，给驾驶员造成过大的驾驶心理压力；(2)疲劳标准缺失导致所开发检测系统的准确性存在很大误差，且不同驾驶员之间的疲劳特性差异明显，使得系统检测性能不高；(3)两级预警(是/否疲劳)方案不利于车载系统实时性提高，即驾驶危险发生前的高频数据采样是必要的，然而大多数情况下无需进行高频采样。此外，不同疲劳等级的划分有利于进一步对所检测的驾驶疲劳状态进行确认，以有效降低车载系统虚警率。

综上所述，在考虑驾驶疲劳动态生成特性的基础上对疲劳状态的水平进行准确划分对于相关技术研究及车载系统开发具有重要的实际支撑作用。为此，本发明基于深度学习技术框架，设计了一种用于驾驶员疲劳状态水平分级的方法。该方法基于疲劳状态的直接检测特征指标EEG，通过所设计的深度学习模型对特征指标进行分析，以准确确定驾驶员的疲劳状态水平，为针对驾驶疲劳的相关研究及车载系统开发提供必要的理论研究基础。其主要特征为：采用可靠的EEG数据作为疲劳水平等级划分的数据来源，以降低间接检测和主观评测方法所导致的误差传递；基于LSTM网络构建的驾驶员疲劳状态水平分级模型从时间序列上很好解决了疲劳的动态生成特性问题；在模型中通过引入注意力机制以解析特征在不同疲劳水平等级下的差异性，从而提高模型对疲劳演化规律的解释合理性；综合不同人员特征属性的建模方法克服了驾驶员风格类型差异所带来的模型适应性拓展问题。

发明内容

本发明的目的在于解决现有疲劳检测系统中存在的虚警率过高、准确性较低和实时性较差的问题，基于深度学习框架设计了一种驾驶员疲劳状态水平分级的方法。

本发明的技术方案：

一种驾驶员疲劳状态水平分级方法，步骤如下：

步骤A，获取驾驶员个人属性信息、采集相应驾驶员在不同疲劳状态下的脑电信号；

所述的驾驶员个人属性信息包括性别、年龄、驾龄；

用于采集脑电信号的脑电仪应保证对驾驶员的工作环境影响尽可能小；

步骤B，将获取到的驾驶员个人属性信息和采集到的脑电信息进行预处理，获取数据集；

数据集由属性和标签组成，以固定步长截取数据集获得时间序列，其中每段时间序列的属性由3部分组成：上一时间序列的驾驶员疲劳状态水平分级结果、驾驶员个人信息属性和脑电信号属性，驾驶员个人信息属性包括驾驶人的性别、年龄、驾龄，脑电信号属性包括当前时间序列内所提取到的α波、β波、θ波和δ波的振幅值；标签为驾驶员在当前时间序列的疲劳状态水平分级结果，按时间顺序将数据集的前70％～90％部分作为本方法的训练集，剩余部分作为本方法的测试集；

所述的脑电信号属性的获取方式：先对获取的脑电信号进行自适应滤波处理去除EOG伪迹的干扰，从而得到有效脑电信号，其次在有效脑电信号中提取出α波、β波、θ波和δ波的振幅值；

所述的标签的获取方式：即疲劳水平等级的分级策略，利用驾驶员在时间序列内的脑电能量作为区分驾驶员疲劳状态水平的分类基准，得到驾驶员在该段时间序列内的疲劳状态水平等级；

利用驾驶员的脑电能量作为疲劳水平分级策略来区分驾驶员疲劳状态水平，具体方法为：计算α波、β波和θ波在时间序列内的能量值，对所得能量值进行如下公式计算得到F；

式(1)中，E_α、E_θ、E_β分别代表α波、θ波和β波在时间序列内的能量值；

分别利用FCM和k-means算法对F进行聚类，比较两者的分类结果确定最终的驾驶员的疲劳水平分级数N；

所述的驾驶员所处的疲劳水平等级将直接影响到测试模型输入数据的采样时间间隔；

步骤C，将训练集输入到具有注意力机制的LSTM模型中进行离线模型训练，得到驾驶员疲劳状态水平分级模型；

本驾驶员疲劳状态水平分级方法包括一个输入层、一个隐含层、一个注意力层和一个输出层；

所述的输入层神经元的个数由数据集的3部分属性维度确定；所述的隐含层用来提取输入数据的特征以及其内在的关联信息，隐含层神经元个数根据具体的测试内容决定，同时根据试验结果进行修正；所述的输出层神经元的个数由数据集标签的独热编码维度确定；

所述的具有注意力机制的LSTM模型训练过程如下：

(1)设训练集的时间序列长度为n，即输入层的输入特征数据为V＝{v₁，v₂，…，v_n}，v_i表示每段时间序列的第i个输入数据集的特征向量；

(2)利用注意力权重强调时间序列的时序特征，得到时间序列的加权时序特征公式如下：

其中，t＝1，2，…，T，T表示时刻总数；

注意力权重的计算公式如下：

其中，W_a、U_a、b_a分别为待学习参数，h_t-1表示上一时刻隐藏单元状态，tanh(·)为双曲正切函数，exp(·)为指数函数；

(3)将加权时序特征输入到LSTM网络中进行运算，利用softmax多分类函数计算当前时间驾驶员疲劳状态水平等级的预测概率分布；

(4)重复步骤(2)和步骤(3)，分别预测出其余n-1个时间的驾驶员疲劳状态水平等级的预测概率分布；

(5)将第n次预测的驾驶员疲劳状态水平等级的预测概率分布和该段时间序列内的驾驶员实际所处的疲劳状态等级标签对比得到误差ε，采用BPTT算法，将误差ε进行反向传播进而更新具有注意力机制的LSTM模型中待学习的参数，完成本轮迭代；

(6)重复步骤(1)～步骤(5)，使网络进行下一轮迭代训练过程，模型共进行M次迭代，得到驾驶员疲劳状态水平分级模型；

步骤D，将测试集输入到驾驶员疲劳状态水平分级模型进行预测，得到驾驶员疲劳状态水平分级结果；

所述的驾驶员疲劳状态水平分级方法测试过程如下：

以固定步长n截取测试集得到测试时间序列，并将该时间序列输入到驾驶员疲劳状态水平分级模型中，选取每一个预测概率分布中概率最大项的维度所对应的类别作为测试时间序列所对应的驾驶员疲劳状态水平，从而得到n个统计结果，将该结果中出现次数最多的驾驶员疲劳状态水平作为该段时间序列驾驶员疲劳状态水平的最终判别结果；如果出现最大次数相等的驾驶员疲劳状态水平判别结果，则将其所对应的预测概率分布中概率最大的维度所对应的疲劳状态水平作为最终判别结果。

每一段时间序列的最终驾驶员疲劳状态水平的判别结果将影响距离下段所测试时间序列的截取时间间隔，当驾驶员上一段时间序列所处的疲劳水平等级较低时，此时测试模型距离下次采样的时间间隔较大；当驾驶员上一段时间序列所处的疲劳水平等级较高时，测试模型距离下次采样的时间间隔减小，以提高模型预测的准确率。

本发明的有益效果：采用可靠的EEG数据作为疲劳水平等级划分的数据来源，以降低间接检测和主观评测方法所导致的误差传递；基于LSTM网络构建的驾驶员疲劳状态水平分级模型从时间序列上很好解决了疲劳的动态生成特性问题；在模型中通过引入注意力机制以解析特征在不同疲劳水平等级下的差异性，从而提高模型对疲劳演化规律的解释合理性；综合不同人员特征属性的建模方法克服了驾驶员风格类型差异所带来的模型适应性拓展问题。

附图说明

图1是本发明的流程图。

图2是本发明的脑电信号处理流程图。

图3是本发明具有注意力机制的LSTM模型结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚，下面结合本发明实施例中的附图，对本发明的技术方案进行清楚完整的描述。应当理解，此处所描述的具体实施例仅用以理解本发明，并不用于限定本发明。

步骤A，获取驾驶员的个人属性信息、采集相应驾驶员在不同疲劳状态下的脑电信号；

驾驶员的个人属性信息包括性别、年龄、驾龄；

脑电信号的采集频率设置为100Hz，用于采集脑电信号的脑电仪应保证对驾驶员的工作环境影响尽可能小；

步骤B，将获取到的驾驶员个人属性信息和采集到的脑电信息进行预处理，获取数据集；

数据集由属性和标签组成，以固定步长截取数据集获得时间序列，其中每段时间序列的属性由3部分组成：上一时间序列的驾驶员疲劳状态水平分级结果、驾驶员个人信息属性和脑电信号属性，驾驶员个人信息属性包括驾驶人的性别、年龄、驾龄，脑电信号属性包括当前时间序列内所提取到的α波、β波、θ波和δ波的振幅值，利用正则化方法对以上数据集中的属性值进行标准化处理；标签为驾驶员在当前时间序列的疲劳状态水平分级结果，标签进行独热编码处理。按时间顺序将数据集的前90％部分作为本方法的训练集，剩余10％部分作为本方法的测试集；

所述的驾驶员个人信息属性的处理方式：年龄分为三组，以15-19周岁、20-29周岁和30周岁以上为分类标准；驾龄分为两组，以2年为分类标准；

所述的脑电信号属性的获取方式：利用AcqKnowledge 4.2软件，先对获取的脑电信号进行自适应滤波处理去除EOG伪迹的干扰，从而得到有效的脑电信号，其次在有效脑电信号中提取出α波、β波、θ波和δ波的振幅值；

所述的标签的获取方式：即疲劳水平等级的分级策略，利用驾驶员在时间序列内的脑电能量作为区分驾驶员疲劳状态水平的分类基准，得到驾驶员在该段时间序列内的疲劳状态水平等级；

利用驾驶员的脑电能量作为疲劳水平分级策略来区分驾驶员疲劳状态水平，具体方法为：利用AcqKnowledge 4.2软件计算α波、β波和θ波在10s内(共1000组输入数据)的能量值，对能量值进行如下公式计算得到F；

式(1)中，E_α、E_θ、E_β分别代表α波、θ波和β波在10s内的能量值；

分别利用FCM和k-means算法对F进行聚类，聚类数目定为2-15类之间。分别计算出两种方法下的不同聚类数目的类聚中心值，比较两种方法对应的类聚数目中心值的差异性大小，中心值的差异性越小，说明选取的聚类数目越合理，该聚类数目作为最终驾驶员的疲劳水平分级数N；

所述的驾驶员所处的疲劳水平等级将直接影响到测试模型输入数据的采样时间间隔。

步骤C，将数据集输入到具有注意力机制的LSTM模型中进行离线模型训练，得到驾驶员疲劳状态水平分级结果；

所述的驾驶员疲劳状态分类方法包括一个输入层、一个隐含层、一个注意力层和一个输出层；

所述的输入层神经元的个数由数据集的3部分属性维度确定，本方法的属性包括上一次模型输出的驾驶员所处疲劳状态水平分级结果、代表不同驾驶员的个人信息属性和具有时间关联特性的脑电信号数据，其中驾驶员特征属性包括性别、年龄和驾龄，脑电信息属性包括经过预处理得到的α波、β波、θ波、δ波的振幅值，本模型中的输入层包含8个神经元。

所述的隐含层用来提取输入数据的特征以及其内在的关联信息，隐含层神经元个数根据具体的测试内容决定，同时根据试验结果进行修正，本模型中的隐含层包含14个神经元。

所述的输出层神经元的个数由数据集标签的独热编码维度确定，本实验将驾驶员疲劳状态水平等级分为3类，输出层包含3个神经元。

所述的具有注意力机制的LSTM模型训练过程如下：

(1)取训练数据的时间序列长度为1000，即输入层的输入特征数据为V＝{v₁，v₂，…，v₁₀₀₀}，v_i表示每段时间序列的第i个输入数据集的特征向量，大小为8维。

(2)利用注意力权重强调时间序列的时序特征，得到时间序列的加权时序特征公式如下：

其中，t＝1，2，…，1000，1000表示时刻总数；

注意力权重的计算公式如下：

其中，W_a、U_a、b_a分别为待学习参数，h_t-1表示上一时刻隐藏单元状态，tanh(·)为双曲正切函数，exp(·)为指数函数；

(3)将加权时序特征输入到LSTM网络中进行运算，利用softmax多分类函数计算当前时刻驾驶员疲劳状态水平等级的预测概率分布。；

(4)重复步骤(2)和步骤(3)，分别预测出其余999个时间的驾驶员疲劳状态水平等级的预测概率分布。

(5)将第1000次预测的驾驶员疲劳状态水平等级的预测概率分布和该段时间序列内的驾驶员实际所处的疲劳状态等级标签对比得到误差ε，采用BPTT算法，将误差ε进行反向传播进而更新具有注意力机制的LSTM模型中待学习的参数，完成本轮迭代。

(6)重复步骤(1)～步骤(5)，使网络进行下一轮迭代训练过程，模型共进行20000此迭代，得到驾驶员疲劳状态水平分级模型。

步骤D，将测试数据集输入到驾驶员疲劳状态水平分级模型进行预测，得到驾驶员疲劳状态水平分级结果；

所述的驾驶员疲劳状态水平分级方法测试过程如下：

以固定步长1000截取测试数据集得到测试时间序列，并将该时间序列输入到驾驶员疲劳状态水平分级模型中，选取每一个预测概率分布中概率最大项的维度所对应的类别作为测试时间序列的所对应的驾驶员疲劳状态水平，从而得到1000个统计结果，将该结果中出现次数最多的驾驶员疲劳状态水平作为该段时间序列判别的最终结果；如果出现最大次数相等的驾驶员疲劳状态水平判别结果，则将其所对应的预测概率分布中概率最大的维度所对应的疲劳状态水平作为最终判别结果。

每一段时间序列的最终驾驶员疲劳状态水平的判别结果将影响距离下段所测试时间序列的截取时间间隔，以本例疲劳状态水平级数3为例，即驾驶员的疲劳水平状态分为清醒、疲劳和严重疲劳三个阶段。当判断驾驶员所处的疲劳等级为清醒时，测试模型距离下次采样时间的间隔为2min；当判断驾驶员所处的疲劳等级为疲劳时，测试模型距离下次采样时间的采样时间间隔为1min；当判断驾驶员所处的疲劳等级为严重疲劳时测试模型无采样间隔，以获取较高的信号分辨率，提高模型预测的准确率。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，本领域普通技术人员可以理解实现上述实施例的全部和部分流程，并依本技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种驾驶员疲劳状态水平分级方法，其特征在于，步骤如下：

步骤A，获取驾驶员个人属性信息、采集相应驾驶员在不同疲劳状态下的脑电信号；

所述的驾驶员个人属性信息包括性别、年龄、驾龄；

用于采集脑电信号的脑电仪应保证对驾驶员的工作环境影响尽可能小；

步骤B，将获取到的驾驶员个人属性信息和采集到的脑电信息进行预处理，获取数据集；

数据集由属性和标签组成，以固定步长截取数据集获得时间序列，其中每段时间序列的属性由3部分组成：上一时间序列的驾驶员疲劳状态水平分级结果、驾驶员个人信息属性和脑电信号属性，驾驶员个人信息属性包括驾驶人的性别、年龄、驾龄，脑电信号属性包括当前时间序列内所提取到的α波、β波、θ波和δ波的振幅值；标签为驾驶员在当前时间序列的疲劳状态水平分级结果，按时间顺序将数据集的前70％～90％部分作为本方法的训练集，剩余部分作为本方法的测试集；

所述的脑电信号属性的获取方式：先对获取的脑电信号进行自适应滤波处理去除EOG伪迹的干扰，从而得到有效脑电信号，其次在有效脑电信号中提取出α波、β波、θ波和δ波的振幅值；

所述的标签的获取方式：即疲劳水平等级的分级策略，利用驾驶员在时间序列内的脑电能量作为区分驾驶员疲劳状态水平的分类基准，得到驾驶员在该段时间序列内的疲劳状态水平等级；

利用驾驶员的脑电能量作为疲劳水平分级策略来区分驾驶员疲劳状态水平，具体方法为：计算α波、β波和θ波在时间序列内的能量值，对所得能量值进行如下公式计算得到F；

式(1)中，E_α、E_θ、E_β分别代表α波、θ波和β波在时间序列内的能量值；

分别利用FCM和k-means算法对F进行聚类，比较两者的分类结果确定最终的驾驶员的疲劳水平分级数N；

所述的驾驶员所处的疲劳水平等级将直接影响到测试模型输入数据的采样时间间隔；

步骤C，将训练集输入到具有注意力机制的LSTM模型中进行离线模型训练，得到驾驶员疲劳状态水平分级模型；

本驾驶员疲劳状态水平分级方法包括一个输入层、一个隐含层、一个注意力层和一个输出层；

所述的输入层神经元的个数由数据集的3部分属性维度确定；所述的隐含层用来提取输入数据的特征以及其内在的关联信息，隐含层神经元个数根据具体的测试内容决定，同时根据试验结果进行修正；所述的输出层神经元的个数由数据集标签的独热编码维度确定；

所述的具有注意力机制的LSTM模型训练过程如下：

(1)设训练集的时间序列长度为n，即输入层的输入特征数据为V＝{v₁，v₂，…，v_n}，v_i表示每段时间序列的第i个输入数据集的特征向量；

(2)利用注意力权重强调时间序列的时序特征，得到时间序列的加权时序特征公式如下：

其中，t＝1，2，…，T，T表示时刻总数；

注意力权重的计算公式如下：

其中，W_a、U_a、b_a分别为待学习参数，h_t-1表示上一时刻隐藏单元状态，tanh(·)为双曲正切函数，exp(·)为指数函数；

(3)将加权时序特征输入到LSTM网络中进行运算，利用softmax多分类函数计算当前时间驾驶员疲劳状态水平等级的预测概率分布；

(4)重复步骤(2)和步骤(3)，分别预测出其余n-1个时间的驾驶员疲劳状态水平等级的预测概率分布；

(5)将第n次预测的驾驶员疲劳状态水平等级的预测概率分布和该段时间序列内的驾驶员实际所处的疲劳状态等级标签对比得到误差ε，采用BPTT算法，将误差ε进行反向传播进而更新具有注意力机制的LSTM模型中待学习的参数，完成本轮迭代；

(6)重复步骤(1)～步骤(5)，使网络进行下一轮迭代训练过程，模型共进行M次迭代，得到驾驶员疲劳状态水平分级模型；

步骤D，将测试集输入到驾驶员疲劳状态水平分级模型进行预测，得到驾驶员疲劳状态水平分级结果；

所述的驾驶员疲劳状态水平分级方法测试过程如下：

以固定步长n截取测试集得到测试时间序列，并将该时间序列输入到驾驶员疲劳状态水平分级模型中，选取每一个预测概率分布中概率最大项的维度所对应的类别作为测试时间序列所对应的驾驶员疲劳状态水平，从而得到n个统计结果，将该结果中出现次数最多的驾驶员疲劳状态水平作为该段时间序列驾驶员疲劳状态水平的最终判别结果；如果出现最大次数相等的驾驶员疲劳状态水平判别结果，则将其所对应的预测概率分布中概率最大的维度所对应的疲劳状态水平作为最终判别结果。