CN209063895U - 多传感器信息融合的司机疲劳驾驶预警与主动干预系统 - Google Patents

多传感器信息融合的司机疲劳驾驶预警与主动干预系统 Download PDF

Info

Publication number
CN209063895U
CN209063895U CN201822010958.5U CN201822010958U CN209063895U CN 209063895 U CN209063895 U CN 209063895U CN 201822010958 U CN201822010958 U CN 201822010958U CN 209063895 U CN209063895 U CN 209063895U
Authority
CN
China
Prior art keywords
acquisition unit
pro
unit
data processing
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201822010958.5U
Other languages
English (en)
Inventor
高相铭
黄明昆
丁电宽
来建民
邹玉炜
李研达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anyang Normal University
Original Assignee
Anyang Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anyang Normal University filed Critical Anyang Normal University
Priority to CN201822010958.5U priority Critical patent/CN209063895U/zh
Application granted granted Critical
Publication of CN209063895U publication Critical patent/CN209063895U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本实用新型公开了一种多传感器信息融合的司机疲劳驾驶预警与主动干预系统,属于汽车技术领域。本系统包括面部图像采集单元、脑电信息采集单元、心率数据采集单元、方向盘转动信息采集单元、数据处理核心、检测装备佩戴提示单元、疲劳驾驶提示单元、车速主动干预单元等。数据处理核心对上述多传感器信息进行融合处理,并采用智能算法判断司机的疲劳状态。本实用新型能实时监测司机的驾驶状态,当发现司机处于疲劳状态不适合驾驶时,能够及时预警并控制车速,大大提高车辆驾驶的安全性,减少交通事故的发生。

Description

多传感器信息融合的司机疲劳驾驶预警与主动干预系统
技术领域
本实用新型公开了一种多传感器信息融合的司机疲劳驾驶预警与主动干预系统,属于汽车技术领域。
背景技术
近十年来,我国的汽车数量逐年增加,交通事故也随之急剧上升,其中驾驶员疲劳驾驶是导致交通事故的主要原因。在我国的特大交通事故中,疲劳驾驶所导致的事故占40%左右。有资料显示,28%的驾驶员在开车时感到过磕睡,但是他们依然会选择继续驾驶。研究发现,疲劳驾驶时出现事故的概率比正常驾驶高3~5倍。
现有的司机疲劳状态监测方法大都基于单项或部分指标,虽然在限定条件下能够达到一定的精度,但在实际复杂多变的行车环境下,其准确性和可靠性还存在问题,难以达到理想的效果。比如目前已有的疲劳驾驶检测系统大多通过采集司机的面部信息,根据眼睛的闭合情况来判定是否处于疲劳驾驶状态,因此无法保证复杂情况下的准确性;而且这些已有的系统没有车速干预功能,如果在司机疲劳的情况下汽车仍继续高速行驶的话,很容易引发交通事故,对驾乘人员造成无法弥补的伤害。
发明内容
针对目前疲劳驾驶检测系统存在的问题,提出了一种多传感器信息融合的司机疲劳驾驶预警与主动干预系统。
技术方案如下:多传感器信息融合的司机疲劳驾驶预警与主动干预系统,包括面部图像采集单元、脑电信息采集单元、心率数据采集单元、方向盘转动信息采集单元、数据处理核心、检测装备佩戴提示单元、疲劳驾驶提示单元、车速主动干预单元;其中,面部图像采集单元、脑电信息采集单元、心率数据采集单元、方向盘转动信息采集单元的输出端分别与数据处理核心的输入接口相连接,将实时采集的驾驶员面部图像、脑电信息、心率数据和方向盘转动信息等多传感器信息数据传送至数据处理核心;数据处理核心对多传感器信息数据进行融合处理,并将处理结果通过数据处理核心的输出接口分别输出给检测装备佩戴提示单元、疲劳驾驶提示单元、车速主动干预单元。
进一步的,所述心率检测单元的核心器件采用MAX30102,其内部集成有红色和红外LED驱动器、光接收器、A/D转换器以及标准的I2C接口,并通过I2C接口与数据处理核心连接。
进一步的,所述脑电信息检测单元包括干电极、参考电极和TGAM模块;干电极表面覆盖有Ag/AgCl;干电极贴在前额处,参考电极夹在耳垂上;干电极将接收到的脑电信号转化为电压信号发送给TGAM模块;TGAM模块对接收的电压信号进行去噪、放大、A/D转换等,输出数字信号给数据处理核心。
进一步的,所述面部图像采集单元采用的图像传感器型号为OV7670,并通过DCMI接口与所述数据处理核心进行通信。
进一步的,所述方向盘转动信息采集单元采用MLX90365旋转角度传感器,内部集成有DSP核心、A/D转换电路和D/A转换电路,可输出与旋转角度成比例的模拟信号或数字脉宽调制信号,感知从0°到360°的角位移。
进一步的,所述检测装备佩戴提示单元和疲劳驾驶提示单元由同一块液晶显示屏幕和同一个扬声器实现。
进一步的,所述数据处理核心采用STM32F407微处理器,数据处理核心的硬件设计采用核心板+底板的扣板方式,核心板用STM32F407IGT6四层核心板,底板自己设计开发制作。
本实用新型的有益效果:该系统通过对多款传感器和处理器等硬件的选择搭配及软件编程等系统集成,可采集驾驶员的面部图像、脑电信息、心率数据及方向盘转动信息,并对多传感器信息进行数据融合处理,实现疲劳驾驶的在线监测与预警;系统能对车速进行主动干预,发现司机不适合继续驾驶时,自动减速并靠边停车。该系统弥补了现有汽车安全驾驶监控技术的不足,保证了驾乘人员的安全,对于减少交通事故的发生具有重要的意义。
本实用新型采用的技术以驾驶员的生理特征和行为特征为主,结合车辆运行特征,充分利用不同信息之间的互补性和冗余性,通过多传感器信息融合,提高了驾驶员疲劳状态检测与判别的准确性和可靠性。
附图说明
图1是系统总体结构原理图。
图2是心率检测单元电路原理图。
图3 是TGAM模块的接线原理图。
图4 是图像传感器与微处理器接线原理图。
图5是方向盘转动信息采集单元电路原理图。
具体实施方式
以下是本实用新型的具体实施例并结合附图,对本实用新型的技术方案作进一步的描述,但本实用新型并不限于这些实施例。
多传感器信息融合的司机疲劳驾驶预警与主动干预系统,系统的总体结构原理图如图1所示,硬件主要包括以下硬件单元:面部图像采集单元、脑电信息采集单元、心率数据采集单元、方向盘转动信息采集单元、数据处理核心、检测装备佩戴提示单元、疲劳驾驶提示单元、车速主动干预单元等。面部图像采集单元、脑电信息采集单元、心率数据采集单元、方向盘转动信息采集单元分别负责实时采集驾驶员的面部图像、脑电信息、心率数据和方向盘的转动信息,并将所采集的数据传送至数据处理核心。数据处理核心对上述多传感器信息进行融合处理,并采用智能算法判断司机的疲劳状态。如果发现司机处于轻度疲劳状态,则通过疲劳驾驶提示单元提醒司机尽快停车休息;如果发现司机处于重度疲劳状态,除了进行语音和文字预警提示外,系统开启车速主动干预单元,自动降低车速并靠边停车。系统配备检测装备佩戴提示单元主要负责提醒司机进行检测装置的正确佩戴,如果司机未能正确佩戴检测装置,则无法启动汽车。
心率检测单元的核心器件采用MAX30102,它是一个14引脚的光学模块,内部集成了红色和红外LED驱动器、光接收器、A/D转换器以及标准的I2C接口。以MAX30102为核心的心率检测单元电路设计原理如图2所示。在该电路中,MAX30102的红光和红外光LED电源接3.3V电压,通过软件设计驱动红光和红外光LED启动。MAX30102电源引脚VDD连接3.3V的系统电源,数字地引脚PGND和模拟地引脚GND分别连接相应的电源地,时钟线SCL引脚和数据传输线SDA引脚都通过470Ω的电阻连接到3.3V的系统电源上,低电平有效的中断INT引脚接一个上拉电阻到外部电源。其工作过程是当微处理器通过I2C通信接口向MAX30102发送开始采集的信号后,MAX30102启动红色和红外LED发出波长为660mm的红光和940mm的红外光,这两束光透射手腕处的血液、骨骼后反射回来,光接收器将接收回来的信号送入其内部的A/D转换器,A/D转换器将其转换成数字信号。其内部ADC是具有18位分辨率的连续时间过采样Σ-Δ转换器,它输出的数字信号数据存储在I2C内的32-bitFIFO中,数据处理核心可以通过I2C接口直接读取FIFO中的心率数据。
脑电信息检测单元由覆盖Ag/AgCl的干电极、参考电极和TGAM模块组成。干电极表面的Ag/AgCl增加电导率,在保证信号质量的同时,避免了传统湿电极需涂抹导电膏的繁琐,佩戴简单、舒适、安全。由于成人的脑电活动在前额较为明显,且此处毛发稀少便于电极安置,因此,参照国际通用的电极放置法,本系统将EEG采集电极放置于左前额处,参考电极夹在耳垂上。干电极作为脑电信号传感器将脑电信息转化为微弱电压信号,TGAM模块接收干电极输出的微弱电压信号,对其进行信号预处理,包括去噪、放大、A/D转换等。最后由TGAM模块输出清晰的数字化信号,这些信号包括脑电信息的原始波数据(δ波、θ波、α波、β波、γ波等)和脑电特征值(关注度指数和放松度指数),并将这些数据送入数据处理核心进行深层次的数据融合。TGAM模块的接线原理图如图3所示。
面部图像采集单元中的图像传感器采用OV7670 ,使用时需将其设置为640*480的分辨率,传输速度设为30帧/秒。图像传感器通过DCMI接口与数据处理核心中的微处理器STM32F407进行通信。由于STM32F407自带一个数字摄像头(DCMI)接口,该接口通过与OV7670的帧同步、行同步进行数据传输,并将接收到的数据放到一个32位的数据寄存器(DCMI_DR)中,微处理器通过相应的程序即可读取数据寄存器中的图像信息进行后续的处理。图像传感器与微处理器的接口如图4所示。
方向盘转动信息采集单元采用MLX90365旋转角度传感器采集方向盘的转动信息。MLX90365是一款基于霍尔技术的角度传感器集成电路芯片,可敏感地感应平行和垂直于其表面的磁场强度。本系统通过设计合适的磁路,使MLX90365感知从0°到360°的角位移。由于MLX90365内部集成了DSP核心、A/D转换电路和D/A转换电路,因此通过编程设置,可使其输出与旋转角度成比例的模拟信号或者数字脉宽调制信号。方向盘转动信息采集单元的电路原理图如图5所示。
系统的数据处理核心选用STM32F407微处理器,该处理器基于ARM V7架构的Cortex-M4F内核,主频168MHz,内部具有1M 字节的FLASH 和128K 字节的SRAM,当它以168MHz 高速运行时可以达到210DMIPS 的处理能力,除此之外,STM32F407微处理器还具有丰富的外部接口资源,完全可以满足系统的数据处理功能。数据处理核心的硬件设计采用核心板+底板的扣板方式,核心板用STM32F407IGT6四层核心板,底板自己设计开发制作。
检测装备佩戴提示单元和疲劳驾驶提示单元的功能由同一块液晶显示屏幕和同一个扬声器实现。汽车启动前,液晶屏幕的正中央显示检测装置佩戴提示语“请正确佩戴驾驶员疲劳预警检测装置”,同时扬声器发出相同的提示语音。司机只有正确佩戴好检测装置,才能启动汽车。当司机正常驾驶汽车时,屏幕显示时间、心率、脑电信息以及驾驶员当前的驾驶状态。详细的显示设计如下:在显示屏的右上角实时显示当前日期和时间;在显示屏的正上方显示系统标题“疲劳驾驶预警系统”;显示屏正下方显示驾驶员的心率、脑电信息等数据;显示屏的正中央以大字体显示驾驶员的驾驶状态:当司机驾驶状态良好时,显示“驾驶状态良好”,如果司机出现疲劳驾驶的情况,则显示屏动态闪烁,并显示“您已处于疲劳驾驶状态,请停车休息”,同时扬声器发出相同的报警提示声音。
数据处理核心对上述多传感器信息进行融合处理,并采用智能算法判断司机的疲劳状态。如果发现司机处于轻度疲劳状态,则通过疲劳驾驶提示单元提醒司机尽快停车休息;如果发现司机处于重度疲劳驾驶状态,系统除了进行语音和文字预警提示外,同时启动车速主动干预单元,自动降低车速并靠边停车。系统配备的检测装备佩戴提示单元主要负责提醒司机进行检测装置的正确佩戴,如果司机未能正确佩戴检测装置,则无法启动汽车。本实用新型能实时监测司机的驾驶状态,当发现司机处于疲劳状态不适合驾驶时,能够及时预警并控制车速,大大提高车辆驾驶的安全性,减少交通事故的发生。

Claims (7)

1.多传感器信息融合的司机疲劳驾驶预警与主动干预系统,其特征在于:包括面部图像采集单元、脑电信息采集单元、心率数据采集单元、方向盘转动信息采集单元、数据处理核心、检测装备佩戴提示单元、疲劳驾驶提示单元、车速主动干预单元;其中,面部图像采集单元、脑电信息采集单元、心率数据采集单元、方向盘转动信息采集单元的输出端分别与数据处理核心的输入接口相连接,将实时采集的驾驶员面部图像、脑电信息、心率数据和方向盘转动信息等多传感器信息数据传送至数据处理核心;数据处理核心对多传感器信息数据进行融合处理,并将处理结果通过数据处理核心的输出接口分别输出给检测装备佩戴提示单元、疲劳驾驶提示单元、车速主动干预单元。
2.根据权利要求1所述的多传感器信息融合的司机疲劳驾驶预警与主动干预系统,其特征在于:所述心率检测单元的核心器件采用MAX30102,其内部集成有红色和红外LED驱动器、光接收器、A/D转换器以及标准的I2C接口,并通过I2C接口与数据处理核心连接。
3.根据权利要求1所述的多传感器信息融合的司机疲劳驾驶预警与主动干预系统,其特征在于:所述脑电信息检测单元包括干电极、参考电极和TGAM模块;干电极表面覆盖有Ag/AgCl;干电极贴在前额处,参考电极夹在耳垂上;干电极将接收到的脑电信号转化为电压信号发送给TGAM模块;TGAM模块对接收的电压信号进行去噪、放大、A/D转换等,输出数字信号给数据处理核心。
4.根据权利要求1所述的多传感器信息融合的司机疲劳驾驶预警与主动干预系统,其特征在于:所述面部图像采集单元采用的图像传感器型号为OV7670,并通过DCMI接口与所述数据处理核心进行通信。
5.根据权利要求1所述的多传感器信息融合的司机疲劳驾驶预警与主动干预系统,其特征在于:所述方向盘转动信息采集单元采用MLX90365旋转角度传感器,其内部集成有DSP核心、A/D转换电路和D/A转换电路,可输出与旋转角度成比例的模拟信号或数字脉宽调制信号,感知从0°到360°的角位移。
6.根据权利要求1所述的多传感器信息融合的司机疲劳驾驶预警与主动干预系统,其特征在于:所述检测装备佩戴提示单元和疲劳驾驶提示单元由同一块液晶显示屏幕和同一个扬声器实现。
7.根据权利要求1所述的多传感器信息融合的司机疲劳驾驶预警与主动干预系统,其特征在于:所述数据处理核心采用STM32F407微处理器,数据处理核心的硬件设计采用核心板+底板的扣板方式,核心板用STM32F407IGT6四层核心板。
CN201822010958.5U 2018-12-03 2018-12-03 多传感器信息融合的司机疲劳驾驶预警与主动干预系统 Active CN209063895U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201822010958.5U CN209063895U (zh) 2018-12-03 2018-12-03 多传感器信息融合的司机疲劳驾驶预警与主动干预系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201822010958.5U CN209063895U (zh) 2018-12-03 2018-12-03 多传感器信息融合的司机疲劳驾驶预警与主动干预系统

Publications (1)

Publication Number Publication Date
CN209063895U true CN209063895U (zh) 2019-07-05

Family

ID=67101089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201822010958.5U Active CN209063895U (zh) 2018-12-03 2018-12-03 多传感器信息融合的司机疲劳驾驶预警与主动干预系统

Country Status (1)

Country Link
CN (1) CN209063895U (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110682863A (zh) * 2019-09-04 2020-01-14 武汉乐道物流有限公司 一种用于货车的驾驶员疲劳驾驶预警的装置及方法
CN111329497A (zh) * 2020-02-21 2020-06-26 华南理工大学 基于前额脑电信号的可穿戴式疲劳驾驶监测系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110682863A (zh) * 2019-09-04 2020-01-14 武汉乐道物流有限公司 一种用于货车的驾驶员疲劳驾驶预警的装置及方法
CN111329497A (zh) * 2020-02-21 2020-06-26 华南理工大学 基于前额脑电信号的可穿戴式疲劳驾驶监测系统及方法

Similar Documents

Publication Publication Date Title
CN209063895U (zh) 多传感器信息融合的司机疲劳驾驶预警与主动干预系统
CN105799509B (zh) 一种防疲劳驾驶系统及方法
CN107226123A (zh) 一种多模式生物感应方向盘
CN100462046C (zh) 疲劳工作在线预警系统及其预警方法
CN105054951B (zh) 一种基于眨眼频率识别的疲劳驾驶脑电监测方法
CN106218405A (zh) 疲劳驾驶监控方法及云端服务器
CN108765876A (zh) 基于多模信号的驾驶疲劳深度分析预警系统及方法
CN104269027B (zh) 基于视频和传感结合的疲劳驾驶检测装置
CN101551934A (zh) 驾驶员疲劳驾驶的监测装置及监测方法
CN105595997B (zh) 一种基于台阶式疲劳判定的疲劳驾驶脑电监测方法
CN105996990A (zh) 一种融合心率和驾驶动作的疲劳驾驶预警手环及预警方法
CN109887239A (zh) 一种用于监测疲劳驾驶的可穿戴设备及使用方法
CN106798562A (zh) 基于近红外光谱成像驱动的前庭电刺激空间定向障碍对抗装置
CN205923995U (zh) 智能体温仪
CN109953763A (zh) 一种基于深度学习的车载驾驶行为检测预警系统及方法
CN202716845U (zh) 一种监测心电的设备及安全带
CN110766913A (zh) 一种基于pvdf压电薄膜传感器的疲劳驾驶监测系统
CN106333672A (zh) 基于eeg的高压工作人群的疲劳监测与快速恢复的头戴设备
CN111631697A (zh) 智能睡眠和疲劳状态信息监护控制系统及方法、监护仪
CN201070353Y (zh) 疲劳工作在线预警系统
CN202843628U (zh) 一种音频传输的疲劳驾驶生理信号采集眼镜
CN110236576A (zh) 一种基于数据融合的驾驶员脑电波采集及分析系统
CN207707903U (zh) 一种监测室内人员疲劳度的手环及系统
CN109907745A (zh) 连续心率血压心电监测仪
CN205862535U (zh) 一种疲劳驾驶预警系统

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant