CN112998710A - 一种驾驶员状态监测装置 - Google Patents

Abstract

本发明涉及一种驾驶员状态监测装置，包括监测盒子和导联脑电帽，其中，监测盒子包括壳体，摄像头、信号灯、显示屏和集成电路板，显示屏和摄像头均位于壳体的正面，集成电路板位于壳体的内部并且连接摄像头、信号灯和显示屏，集成电路板集成无线接收模块和主芯片；导联脑电帽包括防水织物带、监测电极和监测单元，防水织物带的两端设有连接单元，监测电极分布在防水织物带中间一侧，监测单元位于防水织物带中间的另一侧并且连接监测电极，监测单元集成无线发送模块、数模转换器和信号放大器。与现有技术相比，本发明可以同步监测驾驶员的脑电波信号，结合人脸识别技术可以对心理活动更加精确的预判，从而对驾驶员进行及时的提醒，监测效果更佳。

Description

一种驾驶员状态监测装置

技术领域

本发明涉及汽车驾驶领域，尤其是涉及一种驾驶员状态监测装置。

背景技术

在国民汽车保有量飞速增长的今天，交通事故愈加频繁，严重损害了人民的生命及财产安全。因此，对于驾驶员如醉酒，疲劳，愤怒，分心(未注视前方路面，如看手机)等危险驾驶状态的实时监测与分析成为一项非常重要的研究课题。

现有的技术主要有以下几种：一是在驾驶员位置安装吹气式酒精检测器或者酒精敏感元件监测酒精浓度来判断驾驶员是否醉驾；二是基于驾驶员面部图像或者驾驶姿态识别实现疲劳，分心或看手机等状态或行为的监测。第一种技术路线仅能判断驾驶员是否处于饮酒或醉酒状态，且部分方法需要驾驶员的主动配合，可行性较低。而且如果同车人有饮酒情况，很容易造成误判带来不必要的麻烦。第二种技术路线基于图像处理和行为检测，通过网络大数据来实现驾驶员疲劳，闭眼，打电话等面部或者身体行为的分析，但对于眼睛较小，表情非明显等特殊特征，分心等心理活动判断效果较差，准确精度还不够，而且容易暴露隐私信息。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种驾驶员状态监测装置，通过分别监测驾驶员的面部表情、行为特征和脑电信号，进行驾驶员如醉酒，疲劳，愤怒，分心(未注视前方路面，如看手机)多种异常状态的实时分析判断，并对驾驶员提供警示功能。

本发明的目的可以通过以下技术方案来实现：

一种驾驶员状态监测装置，包括监测盒子和导联脑电帽，其中，所述监测盒子包括壳体，摄像头、信号灯、显示屏和集成电路板，所述显示屏和摄像头均位于壳体的正面，所述集成电路板位于壳体的内部并且连接摄像头、信号灯和显示屏，所述集成电路板集成无线接收模块和主芯片；所述导联脑电帽包括松紧带、监测电极和监测单元，所述松紧带的两端设有连接单元，所述监测电极分布在松紧带中间一侧，所述监测单元位于松紧带中间的另一侧并且连接监测电极，所述监测单元集成无线发送模块、数模转换器和信号放大器。

进一步地，所述监测盒子还包括扬声器，所述扬声器设置在壳体的两侧并且连接集成电路板。

进一步地，所述松紧带为防水织物带，松紧带两端的连接单元采用魔术贴。

进一步地，所述的显示屏采用触摸式显示屏。

进一步地，所述壳体的底部设有吸盘，用于连接汽车的中控台。

进一步地，所述松紧带上包括至少8个监测电极。

进一步地，所述无线接收模块和无线发送模块为蓝牙接收模块和蓝牙发送模块。

进一步地，所述主芯片中执行脑电识别步骤、图像识别步骤和综合分析步骤，其中综合分析步骤包括：

分别获取脑电识别步骤和图像识别步骤的输出结果进行综合分析；

如脑电识别步骤结果为驾驶员处于疲劳状态，图像识别步骤结果为驾驶员眼睛闭合时间过长，即综合判断驾驶员处于疲劳状态，触发显示结果；

如脑电识别步骤结果为正常，而图像识别步骤结果为驾驶员在手持电话，即综合判断驾驶员处于分心状态，触发显示结果；

如果脑电识别步骤与图像识别步骤结果相悖，则舍弃当前结果，不触发显示结果。

进一步地，所述脑电识别步骤包括：

A1、通过蓝牙接收模块采集脑电信号；

A2、对采集到的脑电信号进行降噪处理，用凹陷滤波算法去除信号中混杂的工频噪声，再用0～50Hz的低通滤波算法进行有效波段的提取；

A3、提取驾驶员状态的相关特征，用短时傅立叶变换或小波变换算法提取脑电信号的时域和频率特征，用独立成分分析算法提取驾驶员的头动和眼动成分特征；

A4、将提取到的特征进行特征融合并降维，输入到已搭建、训练完毕的分类判别模型中，所述分类判别模型包括支持向量机模型和长短期记忆神经网络模型；

A5、若两个分类判别模块的输出结果一致，则输出结果。

进一步地，所述步骤A4中，支持向量机模型和长短期记忆神经网络模型的搭建和训练步骤如下：

通过实验采集醉酒、疲劳、愤怒、分心各状态的脑电数据，合并现有的开源脑电数据集作为模型的训练、测试数据；

将数据进行降噪处理和特征提取处理，获取信号的时域、频域、头动和眼动特征；

将信号的频域特征通过welch算法计算脑电信号各波段的功率谱密度，然后将脑电信号各波段的频率特征与头动、眼动特征进行特征融合，输入基于高斯核函数的支持向量机模型进行训练和测试，达到可接受的多分类准确率后保存模型；

将时域与频域特征输入到长短期记忆神经网络中进行训练、测试，达到可接受的多分类准确率后保存模型。

进一步地，所述图像识别步骤包括：

B1、获取摄像头拍摄的视频，对视频进行每5秒一张的图像输出，对其进行识别，提取人脸面部图片；

B2、将人脸面部图片输入至已搭建、训练完毕的图片判别模型中，所述图片判别模型包括卷积神经网络模型和密集轨迹算法模型；

B3、将两个模型分别得到的表情和行为识别结果进行对比，若结果一致，进行输出。

进一步地，所述步骤B2中，卷积神经网络模型和密集轨迹算法模型的搭建和训练步骤如下：

通过实验采集人体面部表情和行为图像，分别合并现有的人脸和行为开源数据集作为模型的训练、测试数据；

获取摄像头拍摄的视频，对视频进行每5秒一张的图像输出，对其进行识别，提取人脸面部图片；

将面部图像经过归一化处理后导入卷积神经网络中，进行训练识别面部情绪，经测试得到高多分类准确率后保存模型；

将视频输入到密集轨迹算法中进行行为特征的模型训练，经测试得到高多分类准确率后保存模型。

与现有技术相比，本发明具有以下有益效果：

1)本发明通过监测盒子和导联脑电帽的配合，可以同步监测驾驶员的脑电波信号，结合人脸识别技术可以对心理活动判断具有更加精确的预判，从而对驾驶员进行及时的提醒，扩展了危险状态监测的范围，监测效果更佳。

2)本发明的监测盒子为独立结构，只具有无线接收功能，没有无线发送功能，所有的数据处理只会在监测盒子独立进行，不会将任何数据上传到服务器，有效保障了驾驶员的数据隐私。

3)本发明对于驾驶员来说可接受性强，不影响驾驶习惯，不会带来驾驶危险，能对驾驶员提供安全警示功能，保障其生命财产安全。

4)本发明运用多步骤，多种算法模型综合分析进行状态判别，尽可能避免了误判的情况。

附图说明

图1为本发明的结构示意图。

图2为导联脑电帽的背面结构示意图。

图3为脑电识别步骤的流程示意图。

图4为图像识别步骤的流程示意图。

附图标记：1、监测盒子，11、壳体，12、摄像头，13、信号灯，14、显示屏，15、吸盘，2、导联脑电帽，21、松紧带，22、监测电极，23、监测单元，231、蓝牙发送模块，24、魔术贴。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1和图2所示，本实施例提供了一种驾驶员状态监测装置，包括监测盒子1和导联脑电帽2。

其中，监测盒子1包括壳体11，摄像头12、信号灯13、显示屏14、扬声器和集成电路板(图中未示出)。壳体11为外观普通长方体，在壳体11的底部设有吸盘15，用于连接汽车的中控台。显示屏14和摄像头12均位于壳体11的正面，摄像头12位于显示屏14幕的正上方，信号灯13分别布置在摄像头12的两侧。显示屏14采用触摸式显示屏14。集成电路板位于壳体11的内部并且连接摄像头12、信号灯13、扬声器和显示屏14，并且集成电路板集成蓝牙接收模块和主芯片。

导联脑电帽2包括松紧带21、监测电极22和监测单元23。松紧带21采用防水织物带，在松紧带21的两端设有魔术贴24，粘贴后成圆环结构。监测电极22分布在松紧带21中间一侧，所述监测单元23位于松紧带21中间的另一侧并且连接监测电极22。监测电极22一般至少为8个，本实施例中采用8个监测电极22负责采集大脑枕叶区(基于国际10-20系统，分别为OZ、O1、O2、POZ、PO3、PO4、PO5、PO6位置)的脑电信号，电极类型为干电极。监测单元23集成蓝牙发送模块231、数模转换器和信号放大器。

监测单元23检测到的脑电波信号经过信号放大器和数模转换器转换后通过蓝牙发送模块231发送，并被监测盒子1的蓝牙接收模块所接收，进入主芯片进行监控。

本实施例的工作原理如下：

驾驶员坐好后正确佩戴导联脑电帽2，使8个监测电极22与大脑枕叶区充分接触，此时导联脑电帽2进入工作状态。监测盒子1未工作时处于低功耗睡眠状态，当与导联脑电帽2蓝牙连接成功后开启摄像头12，此时监测盒子1摄像头12右侧信号灯13变为绿色，表示摄像头12进入工作状态。当智能监测盒子1摄像头12左侧信号灯13为红色时，表示此时脑电帽未佩戴正确，采集的信号质量较差。此时驾驶员需调整导联脑电帽2的位置，使得监测电极22与大脑枕叶区(后脑勺上部)充分接触，当信号灯13变为绿色时，表示脑电帽正确佩戴，信号质量好。

导联脑电帽2佩戴完成后，导联脑电帽2开始采集脑电数据。采集到的原始数据为模拟生理电信号，单位为微伏。因脑电信号较微弱，需要通过信号放大器进行高增益放大以突出信号的变化。将放大后的信号经模数转换器进行采样、量化、编码操作，转化为数字信号，然后通过蓝牙模块传输到监测盒子1。此类脑电帽相近产品较多，原理大致相似，此处不作赘述。监测盒子1通过内部的蓝牙接收模块接收到脑电信号后传输到主芯片进行分析。

主芯片中执行脑电识别步骤、图像识别步骤和综合分析步骤：

一、如图3所示，脑电识别步骤包括：

第一步，通过蓝牙接收模块采集脑电信号。

第二步，对采集到的脑电信号进行降噪处理，用凹陷滤波算法去除信号中混杂的工频噪声，再用0～50Hz的低通滤波算法进行有效波段的提取，提高信号的可靠性。

第三步，提取驾驶员状态的相关特征，用短时傅立叶变换或小波变换算法提取脑电信号的时域和频率特征，用独立成分分析算法提取驾驶员的头动和眼动成分特征。

第四步，将提取到的特征进行特征融合并降维，输入到已搭建、训练完毕的分类判别模型中，所述分类判别模型包括支持向量机模型和长短期记忆神经网络模型。向量机模型和长短期记忆神经网络模型的搭建和训练步骤如下：通过实验采集醉酒、疲劳、愤怒、分心各状态的脑电数据，合并现有的开源脑电数据集作为模型的训练、测试数据；将数据进行降噪处理和特征提取处理，获取信号的时域、频域、头动和眼动特征；因人体不同状态的脑电频率表现不同，脑电信号大致可分为δ波段(1-3Hz)，θ波段(4-7Hz)，α波段(8-13Hz)，β波段(14-30Hz)，γ波段(31-50Hz)。将信号的频域特征通过welch算法计算各波段的功率谱密度，然后将5个波段的频率特征与头动、眼动特征进行特征融合，输入基于高斯核函数的支持向量机算法(SVM)进行训练、测试。因醉酒，疲劳，愤怒，分心各状态的的特征均有区别，达到可接受的多分类准确率后保存模型；将时域与频域特征输入到长短期记忆神经网络(LSTM)中进行训练、测试，同样达到可接受的多分类准确率后保存模型。

第五步，若两个分类判别模块的输出结果一致，则输出结果。

二、如图4所示，图像识别步骤包括：

第一步，获取摄像头拍摄的视频，对视频进行每5秒一张的图像输出，对其进行识别，提取人脸面部图片。

第二步，将人脸面部图片输入至已搭建、训练完毕的图片判别模型中，所述图片判别模型包括卷积神经网络模型和密集轨迹算法模型。卷积神经网络模型和密集轨迹算法模型的搭建和训练步骤如下：通过实验采集人体面部表情和行为图像，分别合并现有的人脸和行为开源数据集作为模型的训练、测试数据；获取摄像头拍摄的视频，对视频进行每5秒一张的图像输出，对其进行识别，提取人脸面部图片；将面部图像经过归一化处理后导入卷积神经网络中，进行训练识别面部情绪，经测试得到高多分类准确率后保存模型；将视频输入到密集轨迹算法(iDT)中进行行为特征的模型训练，经测试得到高多分类准确率后保存模型。

第三步，将两个模型分别得到的表情和行为识别结果进行对比，若结果一致，进行输出。

三、综合分析步骤包括：

分别获取脑电识别步骤和图像识别步骤的输出结果进行综合分析。比如脑电识别步骤结果为驾驶员处于疲劳状态，图像识别步骤结果为驾驶员眼睛闭合时间过长，即综合判断驾驶员处于疲劳状态。此时，检测盒子的显示屏上由日期显示变为“注意疲劳状态”，同时语音播放“注意疲劳状态”。如果脑电识别步骤结果为正常，而图像识别步骤结果为驾驶员在手持电话，即综合判断驾驶员处理分心状态。此时，此时，智能检测盒子的屏幕上由日期显示变为“注意分心状态”，同时语音播放“注意分心状态”。如果脑电识别步骤与图像识别步骤结果相悖，则舍弃当前结果，进行下一轮识别判断。

综上所述，本发明通过监测盒子和导联脑电帽的配合，可以同步监测驾驶员的脑电波信号，结合人脸识别技术可以对心理活动判断具有更加精确的预判，从而对驾驶员进行及时的提醒，扩展了危险状态监测的范围，监测效果更佳。本发明的监测盒子为独立结构，只具有无线接收功能，没有无线发送功能，所有的数据处理只会在监测盒子独立进行，不会将任何数据上传到服务器，有效保障了驾驶员的数据隐私。本发明对于驾驶员来说可接受性强，不影响驾驶习惯，不会带来驾驶危险，能对驾驶员提供安全警示功能，保障其生命财产安全。本发明运用多步骤，多种算法模型综合分析进行状态判别，尽可能避免了误判的情况。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (9)

1.一种驾驶员状态监测装置，其特征在于，包括监测盒子和导联脑电帽，其中，所述监测盒子包括壳体，摄像头、信号灯、显示屏和集成电路板，所述显示屏和摄像头均位于壳体的正面，所述集成电路板位于壳体的内部并且连接摄像头、信号灯和显示屏，所述集成电路板集成无线接收模块和主芯片；所述导联脑电帽包括防水织物带、监测电极和监测单元，所述防水织物带的两端设有连接单元，所述监测电极分布在防水织物带中间一侧，所述监测单元位于防水织物带中间的另一侧并且连接监测电极，所述监测单元集成无线发送模块、数模转换器和信号放大器。

2.根据权利要求1所述的一种驾驶员状态监测装置，其特征在于，所述监测盒子还包括扬声器，所述扬声器设置在壳体的两侧并且连接集成电路板。

3.根据权利要求1所述的一种驾驶员状态监测装置，其特征在于，所述壳体的底部设有吸盘，用于连接汽车的中控台。

4.根据权利要求1所述的一种驾驶员状态监测装置，其特征在于，所述无线接收模块和无线发送模块为蓝牙接收模块和蓝牙发送模块。

5.根据权利要求1所述的一种驾驶员状态监测装置，其特征在于，所述主芯片中执行脑电识别步骤、图像识别步骤和综合分析步骤，其中综合分析步骤包括：

分别获取脑电识别步骤和图像识别步骤的输出结果进行综合分析；

如脑电识别步骤结果为驾驶员处于疲劳状态，图像识别步骤结果为驾驶员眼睛闭合时间过长，即综合判断驾驶员处于疲劳状态，触发显示结果；

如脑电识别步骤结果为正常，而图像识别步骤结果为驾驶员在手持电话，即综合判断驾驶员处于分心状态，触发显示结果；

如果脑电识别步骤与图像识别步骤结果相悖，则舍弃当前结果，不触发显示结果。

6.根据权利要求5所述的一种驾驶员状态监测装置，其特征在于，所述脑电识别步骤包括：

A1、通过蓝牙接收模块采集脑电信号；

A2、对采集到的脑电信号进行降噪处理，用凹陷滤波算法去除信号中混杂的工频噪声，再用0～50Hz的低通滤波算法进行有效波段的提取；

A3、提取驾驶员状态的相关特征，用短时傅立叶变换或小波变换算法提取脑电信号的时域和频率特征，用独立成分分析算法提取驾驶员的头动和眼动成分特征；

A4、将提取到的特征进行特征融合并降维，输入到已搭建、训练完毕的分类判别模型中，所述分类判别模型包括支持向量机模型和长短期记忆神经网络模型；

A5、若两个分类判别模块的输出结果一致，则输出结果。

7.根据权利要求6所述的一种驾驶员状态监测装置，其特征在于，所述步骤A4中，支持向量机模型和长短期记忆神经网络模型的搭建和训练步骤如下：

通过实验采集醉酒、疲劳、愤怒、分心各状态的脑电数据，合并现有的开源脑电数据集作为模型的训练、测试数据；

将数据进行降噪处理和特征提取处理，获取信号的时域、频域、头动和眼动特征；

将信号的频域特征通过welch算法计算脑电信号各波段的功率谱密度，然后将脑电信号各波段的频率特征与头动、眼动特征进行特征融合，输入基于高斯核函数的支持向量机模型进行训练和测试，达到可接受的多分类准确率后保存模型；

将时域与频域特征输入到长短期记忆神经网络中进行训练、测试，达到可接受的多分类准确率后保存模型。

8.根据权利要求5所述的一种驾驶员状态监测装置，其特征在于，所述图像识别步骤包括：

B1、获取摄像头拍摄的视频，对视频进行每5秒一张的图像输出，对其进行识别，提取人脸面部图片；

B2、将人脸面部图片输入至已搭建、训练完毕的图片判别模型中，所述图片判别模型包括卷积神经网络模型和密集轨迹算法模型；

B3、将两个模型分别得到的表情和行为识别结果进行输出。

9.根据权利要求8所述的一种驾驶员状态监测装置，其特征在于，所述步骤B2中，卷积神经网络模型和密集轨迹算法模型的搭建和训练步骤如下：

通过实验采集人体面部表情和行为图像，分别合并现有的人脸和行为开源数据集作为模型的训练、测试数据；

获取摄像头拍摄的视频，对视频进行每5秒一张的图像输出，对其进行识别，提取人脸面部图片；

将面部图像经过归一化处理后导入卷积神经网络中，进行训练识别面部情绪，经测试得到高多分类准确率后保存模型；

将视频输入到密集轨迹算法中进行行为特征的模型训练，经测试得到高多分类准确率后保存模型。

Images