CN110781873A - 一种双模态特征融合的驾驶员疲劳等级识别方法 - Google Patents

Abstract

一种双模态特征融合的驾驶员疲劳等级识别方法，包括采集驾驶员的人脸动态图像；从采集的所述人脸动态图像中识别眼部闭合特征和嘴部张合特征；从车辆CAN总线获取并解析车辆运行信息，通过车辆运行信息计算出驾驶行为特征；通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级。本发明克服了单一信息源的局限性，并充分考虑了各信息源的相关性和互补性，疲劳等级分析更加准确。

Description

一种双模态特征融合的驾驶员疲劳等级识别方法

技术领域

本发明涉及疲劳驾驶预测领域，具体涉及一种双模态特征融合的驾驶员疲劳等级识别方法。

背景技术

国家统计局数据显示，我国近五年来每年交通事故发生次数均超过12万起，其中货车交通事故尤为严重，2016年全国共发生货车责任道路交通事故5.04万起，造成2.5万人死亡、4.68万人受伤，货车事故率高于普通机动车辆，且造成的损失也高于平均水平。其中，因为疲劳驾驶造成的交通运输事故每年给人民生命财产安全造成重大损失，各种研究表明，在所有道路事故中，约有20％与疲劳有关，在某些道路上高达50％。我国有关部门对货运车辆驾驶人抽样调查结果显示：84%货运车辆驾驶人日均驾驶时间超过8小时，其中40%超过12 小时，64%货运车辆只配备了1名驾驶人。

故，疲劳驾驶检测系统可帮助防止因驾驶员困倦而引起的事故。目前市面上单一的疲劳驾驶检测手段存在诸多弊端，比如利用驾驶行为特征分析时，总线数据种类多、数据量大，疲劳驾驶的特征行为极难识别和提取，而且每个司机驾驶习惯不一样，导致无法智能识别；利用面部状态识别的方法，能够有效识别驾驶员闭眼、打哈欠、打电话等动作，但是在舱内光线环境较差或摄像头被遮挡时无法正常工作。

发明内容

为解决上述技术问题，本发明提供一种双模态特征融合的驾驶员疲劳等级识别方法，结合眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级，以克服单一信息源的局限性，并充分考虑了各信息源的相关性和互补性。

本发明的技术方案如下：

一种双模态特征融合的驾驶员疲劳等级识别方法，所述方法包括；

采集驾驶员的人脸动态图像；

从采集的所述人脸动态图像中识别眼部闭合特征和嘴部张合特征；

从车辆CAN总线获取并解析车辆运行信息，通过车辆运行信息计算出驾驶行为特征；

通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级；

其中，所述眼部闭合特征包括最长闭眼时间、眨眼频率和闭眼时间百分比，所述嘴部张合特征包括最长嘴部张开时间、打哈欠频率和嘴部张开时间百分比；

其中，所述车辆运行信息包括方向盘转角SA和方向盘转角速度SAR，驾驶行为特征包括方向盘转角绝对均值SAMEAN、方向盘转角标准差SASTD、方向盘转角下四分位值均值SAQ1MEAN、方向盘转角上四分位值均值SAQ3MEAN、方向盘转角熵SE、方向盘转角速度绝对值均值SAVMEAN、方向盘转角速度标准差SAVSTD、零速百分比PNS和累计行驶时长；

其中，通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级具体为：

通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合形成融合特征向量集，表示为X，X={x1，x2，…，x15}，其中，x1为最长闭眼时间，x2为眨眼频率，x3为闭眼时间百分比，x4为最长嘴部张开时间，x5为打哈欠时间，x6为嘴部张开时间百分比，x7为方向盘转角绝对均值SAMEAN，x8为方向盘转角标准差SASTD，x9为方向盘转角下四分位值均值SAQ1MEAN，x10为方向盘转角上四分位值均值SAQ3MEAN，x11为方向盘转角熵SE，x12为方向盘转角速度绝对值均值SAVMEAN，x13为SAVSTD，x14为零速百分比PNS，x15为累计行驶时长；

所述疲劳预测神经网络模型使用一个全连接层进行疲劳驾驶概率判断，模型的输入为一个融合窗口内的融合特征向量集，所述融合特征向量集与所述全连接层的一个权重向量w进行向量积运算，并将向量积输入给一个Sigmoid激活函数，通过所述Sigmoid激活函数输出0到1之间的疲劳概率值y，具体公式如下：

。

进一步地，所述人脸动态图像为可见光图像或红外图像。

进一步地，所述最长闭眼时间、所述闭眼时间百分比、所述最长嘴部张开时间和所述嘴部张开时间百分比对应的时间窗为10秒，所述眨眼频率和打哈欠频率对应的时间窗为60秒。

进一步地，通过车辆运行信息计算出驾驶行为特征具体为：

方向盘转角绝对值均值SAMEAN是方向盘转角取绝对值后的平均值，其计算公式如公式一所示：

公式一：；

其中，N 为方向盘转角样本采样个数，SA_i 为第i个方向盘转角样本；

方向盘转角标准差 SASTD 计算公式如公式二所示：

公式二：

；

其中，SA_m计算公式如公式三所示：

公式三：

；

将方向盘转角样本中N个数值由小到大排列，由小到大方向数，第四分之一处的数值即为方向盘转角下四分位值SAQ1，第四分之三处的数值即为方向盘转角上四分位值SAQ3，方向盘转角下四分位值均值SAQ1MEAN是指方向盘转角样本中所有小于下四分位值SAQ1的均值，方向盘转角上四分位值均值SAQ3MEAN是指方向盘转角样本中所有大于上四分位值SAQ3的均值；

方向盘转角熵SE反映了驾驶人对方向盘操作的混乱程度和随机性，方向盘转角熵SE越大，表明驾驶人对方向盘操作随机性越大，驾驶人疲劳程度越高，方向盘转角熵SE按照方向盘转角的预测偏差出现的概率进行计算，首先按照公式四计算方向盘转角预测值θ_p(n)：

公式四：

；

然后，根据方向盘转角实际值θ_(n)与方向盘转角预测值θ_p(n)之差来计算方向盘转角预测偏差e_n，计算公式为如下公式五：

公式五：；

方向盘转角预测偏差e_n服从正态分布N(μ, σ²)，将方向盘转角预测偏差 e_n分成 9 个区间，即（−∞，−5μ ]，（−5μ，− 2.5μ]，（−2.5μ，−μ]，（−μ，−0.5μ]，（−0.5μ，0.5μ），[0.5μ，μ），[μ，2.5μ），[2.5μ，5μ），[5μ，+∞) ，然后计算各区间的概率值p _i ，最后根据公式六计算方向盘转角熵 SE：

公式六：

；

方向盘转角速度绝对值均值SAVMEAN和标准差SAVSTD反映车辆波动情况，用方向盘转角速度SAR替换公式一和公式二中的方向盘转角SA，从而计算方向盘转角速度绝对值均值SAVMEAN和标准差SAVSTD；

零速百分比PNS检测方向盘持续不动操作特性PNS ，计算公式如式七 所示：

公式七：

；

其中，N为所选时间内角速度的总采样个数，n为总采样样本中角速度在±0.1°/s之间的采样。

进一步地，所述方法还包括对疲劳预测神经网络模型的训练，具体如下：

所述疲劳预测神经网络模型的训练过程中，采用交叉熵（cross-entropy）函数作为损失函数Em，令训练集是N个样本对<X_i,O_i>的集合，其中X_i是第i个窗口样本的融合特征向量集，O_i是第i个窗口样本的融合特征向量集对应的标签，O_i取值为1或0，1表示疲劳驾驶，0表示非疲劳驾驶，当第i个窗口样本的融合特征向量集对应为疲劳驾驶时，O_i取值为1，当第i个窗口样本的融合特征向量集对应为疲劳驾驶时，O_i取值为0，损失函数Em的计算公式如下：

；

将训练集划分为小批量作为训练过程中每次迭代的输入，通过多次迭代，利用随机梯度下降优化算法进行模型训练，直到损失函数收敛为止，即得到的就是已训练好的疲劳预测神经网络模型。

进一步地，通过疲劳概率值判断驾驶员疲劳等级具体为：

当疲劳概率值小于0.6，判断为非疲劳驾驶；

当疲劳概率值大于等于0.6且小于0.9时，判断为轻度疲劳驾驶；

当疲劳概率值大于等于0.9时，判断为深度疲劳驾驶。

本发明具有以下有益效果：

1.相比于现有的仅通过驾驶行为特征分析驾驶员疲劳等级，本发明结合眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级，以克服单一信息源的局限性，并充分考虑了各信息源的相关性和互补性，疲劳等级分析更加准确。

2.本发明通过疲劳预测神经网络模型并基于获取的眼部闭合特征、嘴部张合特征以及驾驶行为特征预测疲劳概率值，通过疲劳概率值判断疲劳等级，疲劳预测的实时性强。

3.本发明通过对疲劳驾驶的分析，确定了最能体现驾驶行为的参数作为驾驶行为特征，包括方向盘转角绝对均值SAMEAN、方向盘转角标准差SASTD、方向盘转角下四分位值均值SAQ1MEAN、方向盘转角上四分位值均值SAQ3MEAN、方向盘转角熵SE、方向盘转角速度绝对值均值SAVMEAN、方向盘转角速度标准差SAVSTD和零速百分比PNS等作为驾驶行为特征，且通过方向盘转角SA和方向盘转角速度SAR并可以计算出上述驾驶行为特征，减少了大量不必要的数据采集及相关计算，且相比现有技术，疲劳等级分析更加准确。

附图说明

图1为本发明实施例提供的一种双模态特征融合的驾驶员疲劳等级识别方法流程示意图；

图2为本发明实施例提供的滑移时间窗示意图；

图3为本发明实施例提供的疲劳预测神经网络模型。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，本发明提供一种双模态特征融合的驾驶员疲劳等级识别方法，所述方法包括：

采集驾驶员的人脸动态图像；

从采集的所述人脸动态图像中识别眼部闭合特征和嘴部张合特征；

从车辆CAN总线获取并解析车辆运行信息，通过车辆运行信息计算出驾驶行为特征；

通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级。

其中，所述眼部闭合特征和嘴部张合特征作为驾驶员的视觉处理信息特征，本发明融合驾驶员的视觉处理信息与驾驶行为特征并以此来判断驾驶员是否处于疲劳驾驶状态，以克服单一信息源的局限性，并充分考虑了各信息源的相关性和互补性，疲劳等级分析更加准确。

优选地，所述人脸动态图像为可见光图像或红外图像，在白天光线比较好的情况下，采集可见光图像，在夜间光线差的情况下采集红外图像。

优选地，所述方法还包括，对视觉处理信息特征与驾驶行为特征这两种模态的特征进行融合，具体基于滑移时间窗的特征参数组融合方法，如图2所示，当前时刻为t，特征参数x_i的最优时间窗为T_i，假设特征参数x_i的下一个提取时刻为t + ∆t，时间窗向前滑移了∆t，提取数据的时间段为 ［t + ∆t - T_i, t + ∆t］，数据重复为(T_i-∆t)/T_i，本发明选择滑移时间窗∆t =4s。

优选地，所述眼部闭合特征包括一个时间窗内的最长闭眼时间、一个时间窗内的眨眼频率和一个时间窗内的闭眼时间百分比，所述嘴部张合特征包括一个时间窗内的最长嘴部张开时间 、一个时间窗内的打哈欠频率和一个时间窗内的嘴部张开时间百分比。

其中，所述最长闭眼时间、所述闭眼时间百分比、所述最长嘴部张开时间和所述嘴部张开时间百分比对应的时间窗为10秒，所述眨眼频率和打哈欠频率对应的时间窗为60秒。

优选地，通过现有的人脸识别算法识别眼部部闭合特征和嘴部张合特征。

优选地，当检测到驾驶员嘴巴张开幅度占面部范围的三分之一并持续2S以上，则判断为驾驶员打哈欠，检测到驾驶员闭眼并持续1.5秒，则判断为驾驶员闭眼。

优选地，所述车辆运行信息包括方向盘转角SA和方向盘转角速度SAR，驾驶行为特征包括方向盘转角绝对均值SAMEAN、方向盘转角标准差SASTD、方向盘转角下四分位值均值SAQ1MEAN、方向盘转角上四分位值均值SAQ3MEAN、方向盘转角熵SE、方向盘转角速度绝对值均值SAVMEAN、方向盘转角速度标准差SAVSTD、零速百分比PNS和累计行驶时长。

其中，通过车辆运行信息计算出驾驶行为特征具体为：

方向盘转角绝对值均值SAMEAN是方向盘转角取绝对值后的平均值，其计算公式如公式一所示：

公式一：

；

其中，N 为方向盘转角样本采样个数，SA_i 为第i个方向盘转角样本；

方向盘转角标准差 SASTD 计算公式如公式二所示：

公式二：

；

其中，SA_m计算公式如公式三所示：

公式三：

；

将方向盘转角样本中N个数值由小到大排列，由小到大方向数，第四分之一处的数值即为方向盘转角下四分位值SAQ1，第四分之三处的数值即为方向盘转角上四分位值SAQ3，方向盘转角下四分位值均值SAQ1MEAN是指方向盘转角样本中所有小于下四分位值SAQ1的均值，方向盘转角上四分位值均值SAQ3MEAN是指方向盘转角样本中所有大于上四分位值SAQ3的均值；

方向盘转角熵SE反映了驾驶人对方向盘操作的混乱程度和随机性，方向盘转角熵SE越大，表明驾驶人对方向盘操作随机性越大，驾驶人疲劳程度越高，方向盘转角熵SE按照方向盘转角的预测偏差出现的概率进行计算，首先按照公式四计算方向盘转角预测值θ_p(n)：

公式四：

；

然后，根据方向盘转角实际值θ_(n)与方向盘转角预测值θ_p(n)之差来计算方向盘转角预测偏差e_n，计算公式为如下公式五：

公式五：

；

方向盘转角预测偏差e_n服从正态分布N(μ, σ²)，将方向盘转角预测偏差 e_n分成 9 个区间，即（−∞，−5μ ]，（−5μ，− 2.5μ]，（−2.5μ，−μ]，（−μ，−0.5μ]，（−0.5μ，0.5μ），[0.5μ，μ），[μ，2.5μ），[2.5μ，5μ），[5μ，+∞) ，然后计算各区间的概率值p _i ，最后根据公式六计算方向盘转角熵 SE：

公式六：

；

方向盘转角速度绝对值均值SAVMEAN和标准差SAVSTD反映车辆波动情况，用方向盘转角速度SAR替换公式一和公式二中的方向盘转角SA，从而计算方向盘转角速度绝对值均值SAVMEAN和标准差SAVSTD；

零速百分比PNS检测方向盘持续不动操作特性PNS ，计算公式如式七 所示：

公式七：

；

其中，N为所选时间内角速度的总采样个数，n为总采样样本中角速度在±0.1°/s之间的采样。

优选地，通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级具体为：

通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合形成融合特征向量集，表示为X，X={x1，x2，…，x15}，其中，x1为最长闭眼时间，x2为眨眼频率，x3为闭眼时间百分比，x4为最长嘴部张开时间，x5为打哈欠时间，x6为嘴部张开时间百分比，x7为方向盘转角绝对均值SAMEAN，x8为方向盘转角标准差SASTD，x9为方向盘转角下四分位值均值SAQ1MEAN，x10为方向盘转角上四分位值均值SAQ3MEAN，x11为方向盘转角熵SE，x12为方向盘转角速度绝对值均值SAVMEAN，x13为SAVSTD，x14为零速百分比PNS，x15为累计行驶时长；

构建疲劳预测神经网络模型，所述疲劳预测神经网络模型使用一个全连接层进行疲劳驾驶概率判断，如图3所示，模型的输入为一个融合窗口内的融合特征向量集，所述融合特征向量集与所述全连接层的一个权重向量w进行向量积运算，并将向量积输入给一个Sigmoid激活函数（图3中表示为σ），通过所述Sigmoid激活函数输出0到1之间的疲劳概率值y，具体公式如下：

。

优选地，所述方法还包括对疲劳预测神经网络模型的训练，具体如下：

所述疲劳预测神经网络模型的训练过程中，采用交叉熵（cross-entropy）函数作为损失函数Em，令训练集是N个样本对<X_i,O_i>的集合，其中X_i是第i个窗口样本的融合特征向量集，O_i是第i个窗口样本的融合特征向量集对应的标签，O_i取值为1或0，1表示疲劳驾驶，0表示非疲劳驾驶，当第i个窗口样本的融合特征向量集对应为疲劳驾驶时，O_i取值为1，当第i个窗口样本的融合特征向量集对应为疲劳驾驶时，O_i取值为0，损失函数Em的计算公式如下：

；

其中，

；

将训练集划分为小批量作为训练过程中每次迭代的输入，通过多次迭代，利用随机梯度下降优化算法进行模型训练，直到损失函数收敛为止，即得到的就是已训练好的疲劳预测神经网络模型。

其中，训练集为：在多个确定驾驶员处于疲劳驾驶的场景下，获取的对应驾驶员的眼部闭合特征、嘴部张合特征以及驾驶行为特征融合形成的融合特征向量集的集合；在多个确定驾驶员处于非疲劳驾驶的场景下，获取的对应驾驶员的眼部闭合特征、嘴部张合特征以及驾驶行为特征形成的融合特征向量集的集合。

优选地，通过疲劳概率值判断驾驶员疲劳等级具体为：

当疲劳概率值小于0.6，判断为非疲劳驾驶；

当疲劳概率值大于等于0.6且小于0.9时，判断为轻度疲劳驾驶；

当疲劳概率值大于等于0.9时，判断为深度疲劳驾驶。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种双模态特征融合的驾驶员疲劳等级识别方法，其特征在于，所述方法包括；

采集驾驶员的人脸动态图像；

从采集的所述人脸动态图像中识别眼部闭合特征和嘴部张合特征；

从车辆CAN总线获取并解析车辆运行信息，通过车辆运行信息计算出驾驶行为特征；

通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级；

其中，所述眼部闭合特征包括最长闭眼时间、眨眼频率和闭眼时间百分比，所述嘴部张合特征包括最长嘴部张开时间、打哈欠频率和嘴部张开时间百分比；

其中，所述车辆运行信息包括方向盘转角SA和方向盘转角速度SAR，驾驶行为特征包括方向盘转角绝对均值SAMEAN、方向盘转角标准差SASTD、方向盘转角下四分位值均值SAQ1MEAN、方向盘转角上四分位值均值SAQ3MEAN、方向盘转角熵SE、方向盘转角速度绝对值均值SAVMEAN、方向盘转角速度标准差SAVSTD、零速百分比PNS和累计行驶时长；

其中，通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级具体为：

通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合形成融合特征向量集，表示为X，X={x1，x2，…，x15}，其中，x1为最长闭眼时间，x2为眨眼频率，x3为闭眼时间百分比，x4为最长嘴部张开时间，x5为打哈欠时间，x6为嘴部张开时间百分比，x7为方向盘转角绝对均值SAMEAN，x8为方向盘转角标准差SASTD，x9为方向盘转角下四分位值均值SAQ1MEAN，x10为方向盘转角上四分位值均值SAQ3MEAN，x11为方向盘转角熵SE，x12为方向盘转角速度绝对值均值SAVMEAN，x13为SAVSTD，x14为零速百分比PNS，x15为累计行驶时长；

构建疲劳预测神经网络模型，所述疲劳预测神经网络模型使用一个全连接层进行疲劳驾驶概率判断，模型的输入为一个融合窗口内的融合特征向量集，所述融合特征向量集与所述全连接层的一个权重向量w进行向量积运算，并将向量积输入给一个Sigmoid激活函数，通过所述Sigmoid激活函数输出0到1之间的疲劳概率值y，具体公式如下：

。

2.根据权利要求1所述的双模态特征融合的驾驶员疲劳等级识别方法，其特征在于，所述人脸动态图像为可见光图像或红外图像。

3.根据权利要求1所述的双模态特征融合的驾驶员疲劳等级识别方法，其特征在于，所述最长闭眼时间、所述闭眼时间百分比、所述最长嘴部张开时间和所述嘴部张开时间百分比对应的时间窗为10秒，所述眨眼频率和打哈欠频率对应的时间窗为60秒。

4.根据权利要求1所述的双模态特征融合的驾驶员疲劳等级识别方法，其特征在于，通过车辆运行信息计算出驾驶行为特征具体为：

方向盘转角绝对值均值SAMEAN是方向盘转角取绝对值后的平均值，其计算公式如公式一所示：

公式一：

；

其中，N 为方向盘转角样本采样个数，SA_i 为第i个方向盘转角样本；

方向盘转角标准差 SASTD 计算公式如公式二所示：

公式二： ；

其中，SA_m计算公式如公式三所示：

公式三：

；

将方向盘转角样本中N个数值由小到大排列，由小到大方向数，第四分之一处的数值即为方向盘转角下四分位值SAQ1，第四分之三处的数值即为方向盘转角上四分位值SAQ3，方向盘转角下四分位值均值SAQ1MEAN是指方向盘转角样本中所有小于下四分位值SAQ1的均值，方向盘转角上四分位值均值SAQ3MEAN是指方向盘转角样本中所有大于上四分位值SAQ3的均值；

方向盘转角熵SE反映了驾驶人对方向盘操作的混乱程度和随机性，方向盘转角熵SE越大，表明驾驶人对方向盘操作随机性越大，驾驶人疲劳程度越高，方向盘转角熵SE按照方向盘转角的预测偏差出现的概率进行计算，首先按照公式四计算方向盘转角预测值θ_p(n)：

公式四：

；

然后，根据方向盘转角实际值θ_(n)与方向盘转角预测值θ_p(n)之差来计算方向盘转角预测偏差e_n，计算公式为如下公式五：

公式五：

；

方向盘转角预测偏差e_n服从正态分布N(μ, σ²)，将方向盘转角预测偏差 e_n分成 9 个区间，即（−∞，−5μ ]，（−5μ，− 2.5μ]，（−2.5μ，−μ]，（−μ，−0.5μ]，（−0.5μ，0.5μ），[0.5μ，μ），[μ，2.5μ），[2.5μ，5μ），[5μ，+∞) ，然后计算各区间的概率值p _i ，最后根据公式六计算方向盘转角熵 SE：

公式六：；

方向盘转角速度绝对值均值SAVMEAN和标准差SAVSTD反映车辆波动情况，用方向盘转角速度SAR替换公式一和公式二中的方向盘转角SA，从而计算方向盘转角速度绝对值均值SAVMEAN和标准差SAVSTD；

零速百分比PNS检测方向盘持续不动操作特性PNS ，计算公式如式七 所示：

公式七：

；

其中，N为所选时间内角速度的总采样个数，n为总采样样本中角速度在±0.1°/s之间的采样。

5.根据权利要求1所述的双模态特征融合的驾驶员疲劳等级识别方法，其特征在于，所述方法还包括对疲劳预测神经网络模型的训练，具体如下：

所述疲劳预测神经网络模型的训练过程中，采用交叉熵（cross-entropy）函数作为损失函数Em，令训练集是N个样本对<X_i,O_i>的集合，其中X_i是第i个窗口样本的融合特征向量集，O_i是第i个窗口样本的融合特征向量集对应的标签，O_i取值为1或0，1表示疲劳驾驶，0表示非疲劳驾驶，当第i个窗口样本的融合特征向量集对应为疲劳驾驶时，O_i取值为1，当第i个窗口样本的融合特征向量集对应为疲劳驾驶时，O_i取值为0，损失函数Em的计算公式如下：

；

将训练集划分为小批量作为训练过程中每次迭代的输入，通过多次迭代，利用随机梯度下降优化算法进行模型训练，直到损失函数收敛为止，即得到的就是已训练好的疲劳预测神经网络模型。

6.根据权利要求1所述的双模态特征融合的驾驶员疲劳等级识别方法，其特征在于，通过疲劳概率值判断驾驶员疲劳等级具体为：

当疲劳概率值小于0.6，判断为非疲劳驾驶；

当疲劳概率值大于等于0.6且小于0.9时，判断为轻度疲劳驾驶；

当疲劳概率值大于等于0.9时，判断为深度疲劳驾驶。

Images