CN109887239A

CN109887239A - 一种用于监测疲劳驾驶的可穿戴设备及使用方法

Info

Publication number: CN109887239A
Application number: CN201910200399.0A
Authority: CN
Inventors: 舒淑保; 欧召辉
Original assignee: Nanjing Inono Weisheng Optical Technology Co Ltd
Current assignee: Nanjing Inono Weisheng Optical Technology Co Ltd
Priority date: 2019-03-16
Filing date: 2019-03-16
Publication date: 2019-06-14

Abstract

本发明提供一种用于监测疲劳驾驶的可穿戴设备及其使用方法，包括用于获取驾驶员面部特征的TOF摄像机、用于获取驾驶员脑电特征脑波耳机、用于获取驾驶员心电特征带有光电传感器的手环、用于判定驾驶员是否疲劳的云数据库，所述TOF摄像机、脑波耳机、带有光电传感器的手环分别与云数据库信号连接。本发明将驾驶员面部特征、脑电特征、心电特征结合在一起，提高了对驾驶员的疲劳状态的判断的准确性。驾驶员疲劳的情况下对驾驶员进行警示提醒，减少了交通安全事故。

Description

一种用于监测疲劳驾驶的可穿戴设备及使用方法

技术领域

本发明属于驾驶安全防护领域，特别涉及一种用于监测疲劳驾驶的可穿戴设备及使用方法。

背景技术

随着人民生活水平提高，汽车已经走进千家万户，自驾出行变为第一首选，有8％的司机报告称在过去一个月至少有过一次开车时困得睁不开眼的情况。在19～24岁的年轻司机当中，这个比例更是高达33％。但是，这并没有获得足够的重视，因为发生车祸后人们通常不会说自己是“困驾”，不像醉驾和超速那么容易查实。据权威机构的保守估计，美国每年因为“困驾”而导致的车祸至少有10万宗，有的统计更显示为100万宗，“困驾”导致的人员死亡占全部车祸死亡人数的17％。

由于疲劳度、专注度情绪机制的复杂度和多因素性，有关疲劳情绪许多问题仍然不十分清楚。目前常用判断疲劳度的方法包括面部表情判断、心电参数判断、脑电信号判断，由于驾驶员个体的情况不同，单一依据面部表情判断、心电参数判断、脑电信号判断在一定程度上存在不确定性和不准确性。

发明内容

为解决上述技术问题，本发明提供一种将面部表情、心电、脑电等生理特征结合在一起判断驾驶员是否处于疲劳状态的技术方案。

为实现上述目的本发明提供一种用于监测疲劳驾驶的可穿戴设备，包括用于获取驾驶员面部特征的TOF摄像机、用于获取驾驶员脑电特征脑波耳机、用于获取驾驶员心电特征带有光电传感器的手环、用于判定驾驶员是否疲劳的云数据库，所述TOF摄像机、脑波耳机、带有光电传感器的手环分别与云数据库信号连接。

优选地：云数据库中存储有预先获取的疲劳驾驶模型。

优选地：还包括用于提醒驾驶员装置，在驾驶员处于疲劳状态时，向驾驶员发出警示。

优选地：提醒驾驶员装置为设置在手环中的内置震动器。

优选地：提醒驾驶员装置为设置在脑波耳机内的蜂鸣器。

一种疲劳驾驶检测方法，

步骤1）：将TOF摄像机对准驾驶员面部，将带有光电传感器的手环戴在驾驶员的手臂上，手环中内置震动器，将脑波耳机戴在驾驶员头部，脑波耳机内置有蜂鸣器；

步骤2）：利用TOF摄像机采集驾驶员的面部特征；利用脑波耳机采集驾驶员脑电特征，EEG传感器分别同时每0.6 ～ 2 秒内采集脑波中的θ 波、α 波、β 波，持续三秒以上；利用手环采集驾驶员的心电特征；

步骤3）：将步骤2）中获得的特征信号发送给云数据库；

步骤4）：在云数据库中将驾驶员面部特征转换为灰度图像，并进行灰度图像的直方图均衡化，定位人脸区域，并对人的眼部区域、嘴唇区域定位，进行人脸区域图像的分割提取，对分割提取的图像进行尺寸上的均一化，提取驾驶员眼睛区域的纹理特征、嘴唇区域的纹理特征，确定驾驶员的眼睛特征、嘴唇特征，将该眼睛特征、嘴唇特征与云数据库中的预先存储的疲劳状态表情进行比对；将驾驶员的脑波信号与云数据库中预先存储的疲劳状态下的脑波信号进行比对；将驾驶员的心电特征信号与云数据库中预先存储的疲劳状态下的心电特征信号进行比对；

步骤5）：根据云数据库中的疲劳驾驶模型判定驾驶员是否疲劳；

步骤6）：若疲劳驾驶模型判定驾驶员处于疲劳状态，启动脑波耳机内置的蜂鸣器，播放语音提醒；启动智能手环内置的震动器。若疲劳驾驶模型判定驾驶员处于非疲劳状态，返回步骤4）。

优选地：根据驾驶员脑波信号中的脑电功率谱的比值 R =(α+θ)/β判定驾驶员的脑波疲劳程度， 1.15≤R <1.25，判定为脑波疑似疲劳；1.25≤R <1.35，判定为脑波轻度疲劳；1.35≤R <1.45，判定为脑波中度疲劳；R ≥1.45，判定为脑波重度疲劳；根据F=30秒内闭眼帧数/30秒内总帧数判定判定驾驶员的面部疲劳程度，0.2≤F <0.5，判定为面部疑似疲劳；0.5≤F <0.8，判定为面部轻度疲劳；0.8≤F <1，判定为面部中度疲劳；F=1，判定为面部重度疲劳；将驾驶员的实际SDANN数值或者SDNN数值与正常值比值定为T，则1.05≤T <1.25，判定为心率疑似疲劳；1.25≤T <1.5，判定为心率轻度疲劳；1.5≤T<1.8，判定为心率中度疲劳；T≥1.8，判定为心率重度疲劳。

优选地：取疑似疲劳时K=0.2，轻度疲劳时K=0.5，中度疲劳时K=0.8，重度疲劳时K=1，综合疲劳程度Q=F*K1+R*K2+T*K3, 其中K1为根据驾驶员面部特征确定的疲劳度、K2为根据驾驶员脑波确定的疲劳度、K3根据驾驶员心率变异性确定的疲劳度，0.48≤Q＜0.6为疑似疲劳，0.6≤Q＜1.825为轻度疲劳，1.825≤Q＜3.4为中度疲劳，3.4≤Q为重度疲劳。

有益效果：本发明将驾驶员面部特征、脑电特征、心电特征结合在一起，提高了对驾驶员的疲劳状态的判断的准确性。驾驶员疲劳的情况下对驾驶员进行警示提醒，减少了交通安全事故。

附图说明

图1是本方法的流程图。

具体实施方式

一种用于监测疲劳驾驶的可穿戴设备，包括用于获取驾驶员面部特征的TOF摄像机，用于获取驾驶员脑电特征脑波耳机，脑波耳机内设置有提醒驾驶员的蜂鸣器，用于获取驾驶员心电特征带有光电传感器的手环，手环中的内置有提醒驾驶员的震动器，用于判定驾驶员是否疲劳的云数据库，计算型云数据库中存储有预先获取的疲劳驾驶模型。所述TOF摄像机、脑波耳机、带有光电传感器的手环分别与云数据库信号连接。在驾驶员处于疲劳状态时，云数据库向手环、耳机发出信号，启动耳机中蜂鸣器及手环中的震动器，向驾驶员发出警示。耳机可以播放舒缓音乐缓解驾驶员的疲劳状态。

有的驾驶员疲劳时直接进入较长时间闭眼状态；有的驾驶员首先会频繁打呵欠，如果得不到休息，疲劳程度会加深才会闭眼。因此可先根据嘴唇开合度辨别司机师傅频繁打呵欠，继而再判别闭眼状态以此作为面部特征疲劳指数辨别。3D TOF摄像机可采集到人眼睛睁闭状态的眼睛特征和打哈欠等嘴唇特征。驾驶员面部被遮挡时，云数据库会发出警示。3D TOF摄像机还可将驾驶员的行为状态信息通过网络模块发送到云数据库。

脑波耳机一个基于EEG脑波检测可穿戴设备。有以下部分组成：脑电信号传感器，数字信号处理器DSP，蓝牙模块，语音(蜂鸣)器。脑波耳机能够直接与佩戴者脑波实现实时对接。EEG传感器的输出采样率 512HZ。脑波采集：EEG传感器分别同时每各0.6 ～ 2 秒内采集脑波中的θ波、α波、β波，持续三秒以上。脑波传输：将上述的脑波中的θ波、α波、β波分别传输到疲劳指数云数据库中。脑波分析：人处于疲劳状态时,大脑的思维活动会降低 , 从而 β 波及高频脑电会减少, 而α波会增多；当从疲劳转为瞌睡或睡眠状态时 ,占主导的脑电频率会逐步降低为慢波θ波.由于慢波δ波一般出现在儿童深睡时期,本文没有对δ波进行分析。因此 ,可以采用脑电功率谱的比值 R =(α+θ)/β 来描述驾驶疲劳的脑电特征,作为检测人疲劳的指标。

带有光电传感器的手环是通过光电容积脉搏波描记法（PPG）来实现对心率或心跳时间间隔序列进行检测以此来获取心率变异性 HRV 的相关指标，采用对预设一定时间内的心率或心跳时间间隔序列进行时域和 / 或频域分析的方法得到心率变异性的相关指标，VLF极低频段（0.0033-0.04HZ）的功率（反映心率变化受热调节（体温），血管舒缩张力和肾血管紧张素系统的影响）；LF低频段（0.04-0.15HZ）的功率（反映交感和迷走神经的双重调节）；HF极低频段（0.15-0.4HZ）的功率（只反映迷走神经的调节）；TP信号总功率（VLF、LF和HF的总和）（信号总的变异性）。且通常18-29岁组的SDNN值为（169.92±41.01），SDANN值为（151.07±41.31）；30-49岁组的SDNN值为（148.31±32.80），SDANN值为（130.23±33.75）；50-69岁组的SDNN值为（121.19±29.27），SDANN值为（108.87±28.46）。

一种疲劳驾驶检测方法。

步骤1）：将TOF摄像机对准驾驶员面部，将带有光电传感器的手环戴在驾驶员的手臂上，手环中内置震动器，将脑波耳机戴在驾驶员头部，脑波耳机内置有蜂鸣器。

步骤2）：利用TOF摄像机采集驾驶员的面部特征；利用脑波耳机采集驾驶员脑电特征，EEG传感器分别同时每0.6 ～ 2 秒内采集脑波中的θ 波、α 波、β 波，持续三秒以上；利用手环采集驾驶员的心电特征。

步骤3）：将步骤2）中获得的信号发送给云数据库。

步骤4）：在云数据库中将驾驶员面部特征转换为灰度图像，并进行灰度图像的直方图均衡化，定位人脸区域，并对人的眼部区域、嘴唇区域定位，进行人脸区域图像的分割提取，对分割提取的图像进行尺寸上的均一化，提取驾驶员眼睛区域的纹理特征、嘴唇区域的纹理特征，确定驾驶员的眼睛特征、嘴唇特征，将该眼睛特征、嘴唇特征与云数据库中的预先存储的疲劳状态表情进行比对。

利用嘴唇区域的纹理特征和面部灰度特征结合划定嘴唇边界，若嘴唇边界框的高度大于宽度的1/2，且持续超过3S，判定打呵欠如2min内打呵欠有效次数为8次，判定为驾驶员处于疲劳状态。根据F=30秒内闭眼帧数/30秒内总帧数判定判定驾驶员的面部疲劳程度，0.2≤F <0.5，判定为面部疑似疲劳；0.5≤F <0.8，判定为面部轻度疲劳；0.8≤F <1，判定为面部中度疲劳；F=1，判定为面部重度疲劳；

将驾驶员的脑波信号与云数据库中预先存储的疲劳状态下的脑波信号进行比对；根据驾驶员脑波信号中的脑电功率谱的比值 R =(α+θ)/(β)判定驾驶员的脑波疲劳程度，1.15≤R <1.25，判定为脑波疑似疲劳；1.25≤R <1.35，判定为脑波轻度疲劳；1.35≤R <1.45，判定为脑波中度疲劳；R ≥1.45，判定为脑波重度疲劳；

将驾驶员的心率变异性信号与云数据库中预先存储的疲劳状态下的心率变异性信号进行比对；根据驾驶员的光电容积脉搏波(PPG)信号来计算SDANN数值或者SDNN数值，将驾驶员的实际SDANN数值或者SDNN数值与正常值比值定为T，1.05≤T <1.25，判定为心率疑似疲劳；1.25≤T <1.5，判定为心率轻度疲劳；1.5≤T<1.8，判定为心率中度疲劳；T≥1.8，判定为心率重度疲劳；

综合疲劳判别：采用模糊综合评判模型对驾驶人的状态进行判断。首先将上述心率、脑波、面部特征等疲劳参数分为4个等级，如表1所示

表1

级别	疑似疲劳	轻度疲劳	中度疲劳	重度疲劳
					疲劳度（K）	0.2	0.5	0.8	1

根据实验与现有研究，依据3个特征疲劳参数与疲劳之间关系的疏密，将各疲劳参数配比不同疲劳度，然后将对应的疲劳度与疲劳指数加权，最后将3个参数对应的结果相加，即为最终的综合疲劳程度Q；

Q=F*K1+R*K2+T*K3；

其中K1为根据驾驶员面部特征确定的疲劳度、K2为根据驾驶员脑波确定的疲劳度、K3根据驾驶员心率变异性确定的疲劳度。根据综合疲劳程度Q就可以确定当前驾驶人的疲劳程度；0.48≤Q＜0.6为疑似疲劳，0.6≤Q＜1.825为轻度疲劳，1.825≤Q＜3.4为中度疲劳，3.4≤Q为重度疲劳；

Claims

1.一种用于监测疲劳驾驶的可穿戴设备，其特征在于：包括用于获取驾驶员面部特征的TOF摄像机、用于获取驾驶员脑电特征脑波耳机、用于获取驾驶员心电特征带有光电传感器的手环、用于判定驾驶员是否疲劳的云数据库，所述TOF摄像机、脑波耳机、带有光电传感器的手环分别与云数据库信号连接。

2.根据权利要求1所述的可穿戴设备，其特征在于：云数据库中存储有预先获取的疲劳驾驶模型。

3.根据权利要求1所述的可穿戴设备，其特征在于：还包括用于提醒驾驶员的装置，在驾驶员处于疲劳状态时，向驾驶员发出警示。

4.根据权利要求3所述的可穿戴设备，其特征在于：提醒驾驶员的装置为设置在手环中的内置震动器。

5.根据权利要求3所述的可穿戴设备，其特征在于：提醒驾驶员的装置为设置在脑波耳机内的蜂鸣器。

6.一种疲劳驾驶检测方法，其特征在于：

步骤3）：将步骤2）中获得的信号发送给云数据库；

步骤4）：在云数据库中将驾驶员面部特征转换为灰度图像，并进行灰度图像的直方图均衡化，定位人脸区域，并对人的眼部区域定位，进行人脸区域图像的分割提取，对分割提取的图像进行尺寸上的均一化，提取驾驶员眼睛区域的纹理特征，确定驾驶员的眼睛特征，将该眼睛特征与云数据库中的预先存储的疲劳状态表情进行比对；将驾驶员的脑波信号与云数据库中预先存储的疲劳状态下的脑波信号进行比对；将驾驶员的心率变异性信号与云数据库中预先存储的疲劳状态下的心率变异性信号进行比对；

步骤6）：若疲劳驾驶模型判定驾驶员处于疲劳状态，启动脑波耳机内置的蜂鸣器，播放语音提醒；启动智能手环内置的震动器，若疲劳驾驶模型判定驾驶员处于非疲劳状态，返回步骤4）。

7.根据权利要求6所述的检测方法，其特征在于：根据驾驶员脑波信号中的脑电功率谱的比值 R =(α+θ)/β判定驾驶员的脑波疲劳程度， 1.15≤R <1.25，判定为脑波疑似疲劳；1.25≤R <1.35，判定为脑波轻度疲劳；1.35≤R <1.45，判定为脑波中度疲劳；R ≥1.45，判定为脑波重度疲劳；根据F=30秒内闭眼帧数/30秒内总帧数判定判定驾驶员的面部疲劳程度，0.2≤F <0.5，判定为面部疑似疲劳；0.5≤F <0.8，判定为面部轻度疲劳；0.8≤F <1，判定为面部中度疲劳；F=1，判定为面部重度疲劳；将驾驶员的实际SDANN数值或者SDNN数值与正常值比值定为T，则1.05≤T <1.25，判定为心率疑似疲劳；1.25≤T <1.5，判定为心率轻度疲劳；1.5≤T<1.8，判定为心率中度疲劳；T≥1.8，判定为心率重度疲劳。

8.根据权利要求7所述的检测方法，其特征在于：取疑似疲劳时K=0.2，轻度疲劳时K=0.5，中度疲劳时K=0.8，重度疲劳时K=1，综合疲劳程度Q=F*K1+R*K2+T*K3, 其中K1为根据驾驶员面部特征确定的疲劳度、K2为根据驾驶员脑波确定的疲劳度、K3根据驾驶员心率变异性确定的疲劳度，0.48≤Q＜0.6为疑似疲劳，0.6≤Q＜1.825为轻度疲劳，1.825≤Q＜3.4为中度疲劳，3.4≤Q为重度疲劳。