CN109875584A - 驾驶员生理疲劳的检测方法及其警报系统 - Google Patents

Abstract

本发明公开了一种驾驶员生理疲劳的检测方法，包括以下步骤：实时采集驾驶员在车辆行驶过程中的面部信息；对面部信息进行构建及优化，使面部信息转化为三维脸部特征数据；将三维脸部特征数据、和信息采集设备采集到的心电信号及脑波信号进行整理及运算，分析判断驾驶员在驾驶车辆时的生理疲劳状态。本发明采用三维识别技术，能够有效提升特征参数的检测精度，且能同时对多项生理指标进行综合检测分析，准确判断驾驶员的生理疲劳状态，极大地降低了交通事故的发生概率，确保驾驶员的人身安全。

Description

驾驶员生理疲劳的检测方法及其警报系统

技术领域

本发明涉及车载终端设备技术领域，具体涉及一种驾驶员生理疲劳的检测方法及其警报系统。

背景技术

近年来，随着社会经济水平的不断提高，汽车保有量急剧增加，交通事故也大幅度增加，据统计，其中三分之一的交通事故是由于驾驶员的疲劳驾驶造成的，近期有关汽车驾驶研究表明，疲劳驾驶状态下发生事故或接近事故的概率是清醒的正常驾驶状态下的4到6倍，当驾驶员疲劳时，驾驶员对外界的感知力和反应能力就会下降，从而导致引发严重的交通事故概率急剧上升。

目前，因疲劳状态检测本身的复杂、重要性受国内外研究者的关注，而传统的疲劳检测系统主要为基于二维图像的面部识别技术，但该二维图像的面部识别技术并不能提供所需的完整信息，使疲劳检测系统的检测误差较大，其识别能力和效果具有一定的局限性。传统的检测方法绝大多数都是研究检测驾驶员基于某种生理信号指标进行分析处理，由于生理信号具有随机性和不同驾驶员具有个体的差异性，某种单一的生理信号指标分析具有一定的偏差，传统检测方法的精准度较差，使得结论也具有差异性。

发明内容

本发明的目的在于改进现有技术的缺陷，提供一种驾驶员生理疲劳的检测方法及其警报系统，本发明采用三维识别技术，能够有效提升特征参数的检测精度，且能同时对多项生理指标进行综合检测分析，准确判断驾驶员的生理疲劳状态，极大地降低了交通事故的发生概率，确保驾驶员的人身安全。

其技术方案如下：

驾驶员生理疲劳的检测方法，包括以下步骤：

S10：实时采集驾驶员在车辆行驶过程中的面部信息；

S20：对面部信息进行构建及优化，使面部信息转化为三维脸部特征数据；

S30：将三维脸部特征数据、和信息采集设备采集到的心电信号及脑波信号进行整理及运算；

S40：分析判断驾驶员在驾驶车辆时的生理疲劳状态。

优选的，驾驶员生理疲劳的检测方法，三维特征提取模块通过三维识别技术对面部信息进行构建及优化，该三维识别技术的构建及优化的步骤为：

在S201步骤中，将面部信息构建成三维脸部特征数据；

在S202步骤中，对三维脸部特征数据进行提取，并删除无效的特征数据，进而优化三维脸部特征数据；

在S203步骤中，对优化的三维脸部特征数据通过几何特征、模板匹配及统计模型的方式进行识别确认，若识别分辨度较低，则确认失败，重新对面部信息进行构建及优化，确认成功后，输出三维脸部特征数据。

驾驶员生理疲劳的检测方法，还包括以下步骤：

以三维脸部特征数据、心电信号及脑波信号为基准，分析判断驾驶员处于正常驾驶状态或处于疲劳驾驶状态。

驾驶员生理疲劳的检测方法，还包括以下步骤：

S50：当三维脸部特征数据、心电信号及脑波信号中有其中的任意一项被判断为生理疲劳时，S60：则得出驾驶员处于疲劳驾驶状态，S601：输出警报信息，反之，S70：分析判断得出驾驶员处于正常驾驶状态；

S602：终端提示模块获取输出的警报信息，并作出相对应的应急警报反应。

优选的，驾驶员生理疲劳的检测方法，还包括以下步骤：

在S80步骤中，对获取到的三维脸部特征数据进行图像预处理；

在S801步骤中，对获取到的心电信号及脑波信号进行数据预处理。

优选的，驾驶员生理疲劳的检测方法，在S80图像预处理的步骤为：

在S802步骤中，对三维脸部特征数据进行灰度矫正、噪声过滤、光线补偿、直方图均衡化、归一化处理，判断并提取特征为疲劳驾驶状态的特征参数。

优选的，驾驶员生理疲劳的检测方法，在S801数据预处理的步骤为：

在S803步骤中，对心电信号及脑波信号参照类别进行分离，并对分离完成后的心电信号及脑波信号分别进行降噪处理；

在S804步骤中，将降噪处理完成后的心电信号及脑波信号进行叠加混合，判断并提取特征为疲劳驾驶状态的特征参数。

驾驶员生理疲劳的检测方法，还包括以下步骤：

在S805步骤中，还对图像预处理及数据预处理完成后，在三维脸部特征数据、心电信号及脑波信号中提取的疲劳驾驶状态的特征参数进行数据融合。

驾驶员生理疲劳的检测方法，还包括以下步骤：

在S806步骤中，将数据融合完成后的特征参数与疲劳数据库中的数据进行对比参照，并将疲劳驾驶状态的特征参数存储至疲劳数据库。

驾驶员生理疲劳的警报系统，包括图像摄取模块、信息采集模块、信息处理模块、终端提示模块、三维特征提取模块、疲劳数据库，所述图像摄取模块与三维特征提取模块电性连接，所述三维特征提取模块及信息采集模块均与信息处理模块电性连接，所述信息处理模块与终端提示模块电性连接；

图像摄取模块，用于采集面部信息；用于输出面部信息；

三维特征提取模块，用于对面部信息进行构建及优化；其包括特征数据处理模块、特征提取模块及识别模块：

特征数据处理模块，用于将面部信息构建成三维脸部特征数据；

特征提取模块，用于对三维脸部特征数据进行提取，并删除无效的特征数据，用于优化三维脸部特征数据；

识别模块，用于识别确认优化的三维脸部特征数据；用于输出三维脸部特征数据；

信息采集模块，用于采集心电信号及脑波信号；用于输出心电信号及脑波信号；

信息处理模块，用于获取三维脸部特征数据、心电信号及脑波信号；用于对获取到的三维脸部特征数据进行图像预处理；用于对获取到的心电信号及脑波信号进行数据预处理；用于提取疲劳驾驶状态的特征参数，并对特征参数进行数据融合；用于分析判断驾驶员处于正常驾驶状态或处于疲劳驾驶状态；用于输出警报信息；

疲劳数据库，用于对比参照数据融合完成后的特征参数；用于存储疲劳驾驶状态的特征参数；

终端提示模块，用于获取警报信息，并作出相对应的应急警报反应。

与现有技术相比，本发明具有如下有益效果：

驾驶员生理疲劳的检测方法，采用三维识别技术构建及优化的三维脸部特征数据，该三维脸部特征数据能够提供检测所需的完整信息，可以显著提升特征参数的检测精度，驾驶员生理疲劳的检测方法为基于三维脸部特征数据、心电信号、脑电信号的三种生理信号指标进行分析判断，极大地缩短了分析判断得出的误差结果，能够准确判断驾驶员在驾驶车辆时的生理疲劳状态，使驾驶员及时意识到自己的生理状态，降低了交通事故的发生概率，确保驾驶员的人身安全。

附图说明

图1是本发明实施例中驾驶员生理疲劳的检测方法的通讯连接示意图；

图2是本发明实施例中驾驶员生理疲劳的检测方法的流程框图；

图3是本发明实施例中分析判断为疲劳驾驶后的流程框图；

图4是本发明实施例中对面部信息进行构建及优化的流程框图；

图5是本发明实施例中图像预处理及数据预处理的流程框图；

附图标记说明：

10、图像摄取模块，20、三维特征提取模块，21、特征数据处理模块，22、特征提取模块，23、识别模块，30、信息采集模块，40、信息处理模块，50、终端提示模块，60、疲劳数据库。

具体实施方式

下面对本发明的实施例进行详细说明。

如图1至图5所示，驾驶员生理疲劳的检测方法，包括以下步骤：实时采集驾驶员在车辆行驶过程中的面部信息；对面部信息进行构建及优化，使面部信息转化为三维脸部特征数据；将三维脸部特征数据、和信息采集设备采集到的心电信号及脑波信号进行整理及运算，分析判断驾驶员在驾驶车辆时的生理疲劳状态。

驾驶员生理疲劳的检测方法，三维特征提取模块20通过三维识别技术对面部信息进行构建及优化，该三维识别技术的构建及优化的步骤为：将面部信息构建成三维脸部特征数据；对三维脸部特征数据进行提取，并删除无效的特征数据，进而优化三维脸部特征数据；对优化的三维脸部特征数据通过几何特征、模板匹配及统计模型的方式进行识别确认，若识别分辨度较低，则确认失败，重新对面部信息进行构建及优化，确认成功后，输出三维脸部特征数据。

驾驶员生理疲劳的检测方法，还包括以下步骤：当三维脸部特征数据、心电信号及脑波信号中有其中的任意一项被判断为生理疲劳时，则得出驾驶员处于疲劳驾驶状态，并输出警报信息，反之，则分析判断得出驾驶员处于正常驾驶状态；终端提示模块40获取输出的警报信息，并作出相对应的应急警报反应。

驾驶员生理疲劳的检测方法，还包括以下步骤：对获取到的三维脸部特征数据进行图像预处理；对三维脸部特征数据进行灰度矫正、噪声过滤、光线补偿、直方图均衡化、归一化处理，判断并提取特征为疲劳驾驶状态的特征参数；驾驶员生理疲劳的检测方法，还包括以下步骤：还对图像预处理及数据预处理完成后，在三维脸部特征数据、心电信号及脑波信号中提取的疲劳驾驶状态的特征参数进行数据融合。

驾驶员生理疲劳的检测方法，还包括以下步骤：以三维脸部特征数据、心电信号及脑波信号为基准，分析判断驾驶员处于正常驾驶状态或处于疲劳驾驶状态。

信息处理模块40对获取到的心电信号及脑波信号进行数据预处理；对心电信号及脑波信号参照类别进行分离，并对分离完成后的心电信号及脑波信号分别进行降噪处理；将降噪处理完成后的心电信号及脑波信号进行叠加混合，判断并提取特征为疲劳驾驶状态的特征参数。

驾驶员生理疲劳的检测方法，还包括以下步骤：将数据融合完成后的特征参数与疲劳数据库60中的数据进行对比参照，并将疲劳驾驶状态的特征参数存储至疲劳数据库60。

驾驶员生理疲劳的警报系统，包括图像摄取模块10、信息采集模块30、三维特征提取模块20、信息处理模块40、疲劳数据库60、终端提示模块50，所述图像摄取模块10与三维特征提取模块20电性连接，所述三维特征提取模块20及信息采集模块30均与信息处理模块40电性连接，所述信息处理模块40与终端提示模块50电性连接；图像摄取模块10，用于采集面部信息；用于输出面部信息；三维特征提取模块20，用于对面部信息进行构建及优化；其包括特征数据处理模块21、特征提取模块22及识别模块23：特征数据处理模块21，用于将面部信息构建成三维脸部特征数据；特征提取模块22，用于对三维脸部特征数据进行提取，并删除无效的特征数据，用于优化三维脸部特征数据；识别模块23，用于识别确认优化的三维脸部特征数据；用于输出三维脸部特征数据；信息采集模块30，用于采集心电信号及脑波信号；用于输出心电信号及脑波信号；信息处理模块40，用于获取三维脸部特征数据、心电信号及脑波信号；用于对获取到的三维脸部特征数据进行图像预处理；用于对获取到的心电信号及脑波信号进行数据预处理；用于提取疲劳驾驶状态的特征参数，并对特征参数进行数据融合；用于分析判断驾驶员处于正常驾驶状态或处于疲劳驾驶状态；用于输出警报信息；疲劳数据库60，用于对比参照数据融合完成后的特征参数；用于存储疲劳驾驶状态的特征参数；终端提示模块50，用于获取警报信息，并作出相对应的应急警报反应。

分析判断为三维脸部特征数据疲劳状态的基本项目为：

驾驶员处于清醒时，对于自身面部表情有一定的管理，若出现疲劳驾驶其眼部状态表现为，眼睛开闭合状态(正常情况下，眼睛闭合时间在0.2秒至0.3秒之间)，若在1分钟之内驾驶员闭眼时间的频率超过3次，或眼睛闭合超过0.5秒，则分析判断为一项生理疲劳状态；

瞳孔运动状态，瞳孔运动逐渐呆滞，眼疲劳造成对光敏感，瞳孔相较于正常驾驶状态时会缩小，则分析判断为一项生理疲劳状态；

眼角特征，眼角闭合在1分钟之内的闭眼频率超过3次，或眼角闭合超过0.5秒，则分析判断为一项生理疲劳状态；

眨眼频率(正常成年人每分钟眨眼15次左右，两次眨眼时间间隔为2～6秒，完成一次眨眼动作需要200～400毫秒)，若驾驶员的眨眼频率过高，或两次眨眼时间间隔较短，则分析判断为一项生理疲劳状态；

嘴角特征，嘴巴会长时间张开很大或者连续张开很大，嘴巴张开直径超过4至7厘米时，嘴部形状形成一个大“O”型，则分析判断为一项生理疲劳状态；

头部姿态等(头部姿态表现为出现频繁点头、低头、向侧或向后斜倾等)，若以上表现频率为一分钟5到10次则为精神不集中，则分析判断为一项生理疲劳状态；

其它能够判断为驾驶员处于生理疲劳状态的生理特征；

当满足生理疲劳状态的项数为两项或两项以上时，则分析判断得出驾驶员处于三维脸部特征数据的疲劳驾驶状态。

对应于判断矩阵最大特征根λ_max的特征向量，经归一化(使向量中各元素之和等于1)后记为W。W的元素为同一层次因素对于上一层次因素某因素相对重要性的排序权值，这一过程称为层次单排序；其中，n阶一致阵的唯一非零特征根为n；n阶正互反阵A的最大特征根λ≥n，当且仅当λ＝n时，A为一致矩阵；

λ比n大的越多，A的不一致性越严重，一致性指标用CI计算，CI越小，说明一致性越大。用最大特征值对应的特征向量作为被比较因素对上层某因素影响程度的权向量，其不一致程度越大，引起的判断误差越大。因而可以用λ-n数值的大小来衡量A的不一致程度。定义一致性指标为：

为了衡量CI的大小，引入随机一致性指标RI：

其中，随机一致性指标RI和判断矩阵的阶数有关，一般情况下，矩阵阶数越大，则出现一致性随机偏离的可能性也越大，其对应关系如下表：

定义驾驶实验的0～30min为“正常驾驶”，90～120min为“疲劳驾驶”。为确定各参数对驾驶疲劳的反应效果，从每名被试者每种状态(正常或疲劳)中各选取4min数据，正常状态选取10～14min，疲劳状态选取106～110min。每30s对脑电和心电信号计算一次特征参数值(每次计算获得3个特征参数值:脑电信号复杂度、心电信号复杂度和心电信号样本熵)，则共有384个特征参数值(2种状态×4min×3个特征参数×8名被试者/30s＝384)。

正常状态时，3种特征参数的值都较大，状态点主要分布于以三个特征参数为坐标系的三维图的右上角，并通过图像识别转换成识别函数；疲劳状态时，3种特征参数的值都较小，以三个特征参数为坐标系的三维图的左下角，并通过图像识别转换成识别函数。因此，将肌电信号复杂度、心电信号复杂度、心电信号样本熵3种特征参数联立起来提出一种综合的状态参数，更能明显区分正常与疲劳两种状态。

将降噪处理完成后的心电信号及脑波信号进行叠加混合，主要提取EMG复杂度、ECG复杂度、ECG样本熵作为表征疲劳状态的特征参数。EMG复杂度主要采用Lempel-Ziv复杂度具体算法为：设c(n)为序列S(s1，s2，…，sn)的复杂度，Lempel和Ziv已证明，当n→∞时，c(n)趋近于定值n/(log_ln)，l为粗粒化段数(传统二值化时，l＝2)，则归一化计算式为：

对获取到的三维脸部特征数据、心电信号及脑波信号进行图像预处理及数据预处理为：

信息处理模块40由于在真实环境下获取到的心电信号及脑波信号会有干扰信号，首先使用EE-GLab工具包，对信号进行去噪，包括劣迹去除和基线校正，并使用独立分量分析方法去除眼电干扰；

信息处理模块40提取为提取脑电信号中a、b、c和e的节律信号段，通过小波包分解与重构的方法，该方法可克服小波变换的频率分辨率随信号频率的升高而降低的缺陷，并能对信号进行更加精确地分析，从而更好地反映信号本质特征；

以f(t)表示原始信号，经小波包分解后，在第i分解层得到2i个子频带，故原始信号f(t)可表示为：

式中，j＝0，1，2，3，......，2ⁱ-1；f_i，j(t_j)为小波包在第i层节点(i，j)上分解的重构信号。本文中对频带进行4层分解，提取信号中a(0-4Hz)，b(4-8Hz)和c(8-12Hz)节律，并重构ef_i，j(t_j)(12-32Hz)节律。

分析判断为心电信号或脑波信号的依据为：

驾驶员在驾驶车辆的情况下，对驾驶员心电信号及脑波信号的非线性网络的分析，采用图论分析法直观地观察到不同状态下脑网络连通性的变化。得出清醒状态和疲劳状态之间存在明显不同，在a，b和e节律段中与清醒状态相比，疲劳状态下前额极至顶极和额极至枕极的功能连通性被削弱。由此可判断出，前额极至顶极EEG功能连通性将反映前额极至顶极区域的感觉信号，前额极至顶极功能连通性可以由前额极至顶极信号主动调节，随着驾驶时间增加，驾驶员疲劳程度增加，这些信号强度有所降低，导致连通性变差，则判断为生理疲劳状态；

通过实验：将驾驶员在清醒时的正常驾驶状的EEG信号记录下来，作为样本信号；通过小波分析处理后，得到a、b、c节律的EEG状态信号，并合成为e节律的EGG信号，至此，a、b、c节律的样本EEG与合成为e节律的样本EGG信号建立完毕，并存储于电脑中；当驾驶状态下收集到的EGG信号与样本信号进行对比，通过差异判断危险驾驶行为。

当上述的三维脸部特征数据、心电信号及脑波信号中任意一项分析判断为生理疲劳状态，则信息处理模块40分析判断得出驾驶员处于疲劳驾驶状态，终端提示模块50作出相对应的应急警报反应，如通过车载显示屏、语音播报、引导驾驶员紧急停车和/或引导驾驶员到最近的服务区休息。

本实施例具有如下优点：

1、驾驶员生理疲劳的检测方法，采用三维识别技术构建及优化的三维脸部特征数据，该三维脸部特征数据能够提供检测所需的完整信息，可以显著提升特征参数的检测精度，驾驶员生理疲劳的检测方法为基于三维脸部特征数据、心电信号、脑电信号的三种生理信号指标进行分析判断，极大地缩短了分析判断得出的误差结果，能够准确判断驾驶员在驾驶车辆时的生理疲劳状态，使驾驶员及时意识到自己的生理状态，降低了交通事故的发生概率，确保驾驶员的人身安全。

2、通过图像预处理以用于提高三维脸部特征数据的分辨度及画质，能够进一步提高信息处理模块40的检测精度及分析判断的准确性。

3、对心电信号及脑波信号按照不同类别进行分类，使在降噪处理的过程中减少降噪误差，该降噪处理为删除距离过远或的差距较大的信号点，使信息处理模块40获取的心电信号及脑波信号的精度误差更小，进一步提高对心电信号及脑波信号检测及分析判断的准确性。

以上仅为本发明的具体实施例，并不以此限定本发明的保护范围；在不违反本发明构思的基础上所作的任何替换与改进，均属本发明的保护范围。

Claims (10)

1.驾驶员生理疲劳的检测方法，其特征在于，包括以下步骤：

实时采集驾驶员在车辆行驶过程中的面部信息；

对面部信息进行构建及优化，使面部信息转化为三维脸部特征数据；

将三维脸部特征数据、和信息采集设备采集到的心电信号及脑波信号进行整理及运算，分析判断驾驶员在驾驶车辆时的生理疲劳状态。

2.如权利要求1所述驾驶员生理疲劳的检测方法，其特征在于，三维特征提取模块通过三维识别技术对面部信息进行构建及优化，该三维识别技术的构建及优化的步骤为：

将面部信息构建成三维脸部特征数据；

对三维脸部特征数据进行提取，并删除无效的特征数据，进而优化三维脸部特征数据；

对优化的三维脸部特征数据通过几何特征、模板匹配及统计模型的方式进行识别确认，若识别分辨度较低，则确认失败，重新对面部信息进行构建及优化，确认成功后，输出三维脸部特征数据。

3.如权利要求1所述驾驶员生理疲劳的检测方法，其特征在于，还包括以下步骤：

以三维脸部特征数据、心电信号及脑波信号为基准，分析判断驾驶员处于正常驾驶状态或处于疲劳驾驶状态。

4.如权利要求3所述驾驶员生理疲劳的检测方法，其特征在于，还包括以下步骤：

当三维脸部特征数据、心电信号及脑波信号中有其中的任意一项或一项以上被判断为生理疲劳时，则得出驾驶员处于疲劳驾驶状态，并输出警报信息，反之，则分析判断得出驾驶员处于正常驾驶状态；

终端提示模块获取输出的警报信息，并作出相对应的应急警报反应。

5.如权利要求1至4中任一项所述驾驶员生理疲劳的检测方法，其特征在于，还包括以下步骤：

对获取到的三维脸部特征数据进行图像预处理；

对获取到的心电信号及脑波信号进行数据预处理。

6.如权利要求5所述驾驶员生理疲劳的检测方法，其特征在于，所述图像预处理的步骤为：

对三维脸部特征数据进行灰度矫正、噪声过滤、光线补偿、直方图均衡化、归一化处理，判断并提取特征为疲劳驾驶状态的特征参数。

7.如权利要求5所述驾驶员生理疲劳的检测方法，其特征在于，所述数据预处理的步骤为：

对心电信号及脑波信号参照类别进行分离，并对分离完成后的心电信号及脑波信号分别进行降噪处理；

将降噪处理完成后的心电信号及脑波信号进行叠加混合，判断并提取特征为疲劳驾驶状态的特征参数。

8.如权利要求5至7中任一项所述驾驶员生理疲劳的检测方法，其特征在于，还包括以下步骤：

还对图像预处理及数据预处理完成后，在三维脸部特征数据、心电信号及脑波信号中提取的疲劳驾驶状态的特征参数进行数据融合。

9.如权利要求8所述驾驶员生理疲劳的检测方法，其特征在于，还包括以下步骤：

将数据融合完成后的特征参数与疲劳数据库中的数据进行对比参照，并将疲劳驾驶状态的特征参数存储至疲劳数据库。

10.驾驶员生理疲劳的警报系统，其特征在于，包括图像摄取模块、信息采集模块、三维特征提取模块、信息处理模块、疲劳数据库、终端提示模块，所述图像摄取模块与三维特征提取模块电性连接，所述三维特征提取模块及信息采集模块均与信息处理模块电性连接，所述信息处理模块与终端提示模块电性连接；

图像摄取模块，用于采集面部信息；用于输出面部信息；

三维特征提取模块，用于对面部信息进行构建及优化；其包括特征数据处理模块、特征提取模块及识别模块：

特征数据处理模块，用于将面部信息构建成三维脸部特征数据；

特征提取模块，用于对三维脸部特征数据进行提取，并删除无效的特征数据，用于优化三维脸部特征数据；

识别模块，用于识别确认优化的三维脸部特征数据；用于输出三维脸部特征数据；

信息采集模块，用于采集心电信号及脑波信号；用于输出心电信号及脑波信号；

信息处理模块，用于获取三维脸部特征数据、心电信号及脑波信号；用于对获取到的三维脸部特征数据进行图像预处理；用于对获取到的心电信号及脑波信号进行数据预处理；用于提取疲劳驾驶状态的特征参数，并对特征参数进行数据融合；用于分析判断驾驶员处于正常驾驶状态或处于疲劳驾驶状态；用于输出警报信息；

疲劳数据库，用于对比参照数据融合完成后的特征参数；用于存储疲劳驾驶状态的特征参数；

终端提示模块，用于获取警报信息，并作出相对应的应急警报反应。