CN118082854A - 一种基于多源数据融合的驾驶员状态监测调节方法及系统 - Google Patents
一种基于多源数据融合的驾驶员状态监测调节方法及系统 Download PDFInfo
- Publication number
- CN118082854A CN118082854A CN202410235917.3A CN202410235917A CN118082854A CN 118082854 A CN118082854 A CN 118082854A CN 202410235917 A CN202410235917 A CN 202410235917A CN 118082854 A CN118082854 A CN 118082854A
- Authority
- CN
- China
- Prior art keywords
- driver
- state
- physiological
- vehicle
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012544 monitoring process Methods 0.000 title claims abstract description 43
- 230000004927 fusion Effects 0.000 title claims abstract description 22
- 230000008451 emotion Effects 0.000 claims abstract description 38
- 230000002159 abnormal effect Effects 0.000 claims abstract description 28
- 230000002996 emotional effect Effects 0.000 claims abstract description 24
- 230000035790 physiological processes and functions Effects 0.000 claims abstract description 17
- 238000012512 characterization method Methods 0.000 claims abstract description 9
- 230000003993 interaction Effects 0.000 claims abstract description 7
- 230000001105 regulatory effect Effects 0.000 claims abstract description 4
- 230000006399 behavior Effects 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 26
- 230000005540 biological transmission Effects 0.000 claims description 15
- 230000008921 facial expression Effects 0.000 claims description 11
- 238000012806 monitoring device Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 230000001133 acceleration Effects 0.000 claims description 9
- 239000003205 fragrance Substances 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 230000036541 health Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 244000246386 Mentha pulegium Species 0.000 claims description 3
- 235000016257 Mentha pulegium Nutrition 0.000 claims description 3
- 235000004357 Mentha x piperita Nutrition 0.000 claims description 3
- 241000220317 Rosa Species 0.000 claims description 3
- 230000003542 behavioural effect Effects 0.000 claims description 3
- 238000013016 damping Methods 0.000 claims description 3
- 235000001050 hortel pimenta Nutrition 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 9
- 206010039203 Road traffic accident Diseases 0.000 abstract description 6
- 230000004044 response Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008909 emotion recognition Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 230000004962 physiological condition Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明提供一种基于多源数据融合的驾驶员状态监测调节方法及系统,所述方法包括:获取驾驶员的生理参数、驾驶员的情绪表征和车辆状态信息;基于驾驶员的生理参数对驾驶员的生理状态进行评估;基于驾驶员的情绪表征对驾驶员的情绪状态进行评估;基于车辆状态信息对驾驶员的行为状态进行评估;当驾驶员的生理状态、驾驶员的情绪状态、驾驶员的行为状态出现异常时,通过人车交互系统进行预警并调节驾驶员状态,帮助驾驶员及时回到正常状态,保证驾驶安全。本发明实现了当驾驶员出现异常状态时,能够及时对驾驶员进行预警、调节、干预,有效避免因驾驶员无法及时反应而引发的交通事故,充分保障了驾驶过程中驾驶员的生命财产安全。
Description
技术领域
本发明属于道路交通领域,具体涉及一种基于多源数据融合的驾驶员状态监测调节方法及系统。
背景技术
随着现代汽车行业的高速发展和车辆人均拥有率的提高,对车辆行驶安全的监测日益受到重视。在人类死亡和发病的原因中,交通事故排第九位,汽车驾驶员疲劳驾驶和安全气囊的不正确弹出方式是引发道路交通事故及人员伤亡的重要原因。然而当前大部分车辆缺乏智能监测调节系统,无法有效实时监测驾驶员状态。
发明内容
为了解决上述问题,本发明还提供一种基于多源数据融合的驾驶员状态监测调节方法及系统,通过实时监测驾驶员状态,能在驾驶员状态异常时及时调节驾驶员状态,可以有效减少交通事故的发生,为驾驶员安全保驾护航。
本发明的技术方案如下:
一种基于多源数据融合的驾驶员状态监测调节方法,所述方法包括:
获取驾驶员的生理参数、驾驶员的情绪表征和车辆状态信息;
基于驾驶员的生理参数对驾驶员的生理状态进行评估;基于驾驶员的情绪表征对驾驶员的情绪状态进行评估;基于车辆状态信息对驾驶员的行为状态进行评估;
当驾驶员的生理状态、驾驶员的情绪状态、驾驶员的行为状态出现异常时,通过人车交互系统进行预警并调节驾驶员状态,帮助驾驶员及时回到正常状态,保证驾驶安全。
进一步地,基于驾驶员的生理参数对驾驶员的生理状态进行评估具体为:
对驾驶员的生理参数进行预处理以滤除杂波,然后通过函数计算生理信号的能量密度,并利用能量密度计算各个生理参数所蕴含的能量,收集记录各个生理参数能量,实时对比标准生理健康数据库,来评估驾驶员的生理状态。
进一步地,基于驾驶员的情绪表征对驾驶员的情绪状态进行评估具体为:
将摄像头采集到的图片进行预处理并通过深度学习训练来识别驾驶员面部表情信息;同时将麦克风收集到的驾驶员声音信息,通过对语速、语调的处理与识别及使用语音文本信息来辅助判断驾驶员的声音情绪信息;最后融合驾驶员面部表情信息与声音情绪信息来综合判断驾驶员情绪状态。
进一步地,基于车辆状态信息对驾驶员的行为状态进行评估具体为:
将通过刹车、加速踏板感知设备将收集到的行为数据处理为字典的形式存储,将当前字典中存储的数据与上一秒字典中存储的数据进行实时比较,通过数据的比较来判断驾驶员的行为状态。
进一步地,所述通过人车交互系统进行预警并调节驾驶员状态具体为:
当驾驶员的生理状态时出现异常时,音箱设备会发出声音提醒,警示驾驶员身体状态出现异常;同时,中控屏会显示警告图标或文字,以视觉方式向驾驶员发出预警,若驾驶员健康状态不能通过简单休整来调整,则立即向集控中心报警;
当驾驶员的情绪状态出现异常时,中控屏提示驾驶员状态异常信息,中央出风口释放薄荷香、玫瑰香等令人舒适提神的气味,音箱设备播放舒缓音乐;
当驾驶员的行为状态出现异常时,判断驾驶员是否处于危险行为状态;若判定为超幅加速,则增大加速器踏板阻尼,干预车辆的快速增速,并通过车内音箱设备提醒驾驶员请勿超幅加速;若判定为超幅减速,则先稳定车身,并提醒驾驶员注意路况信息,保持车距。
本发明还提供一种基于多源数据融合的驾驶员状态监测调节系统,其所述系统包括数据采集设备、数据处理设备和调节干预设备;
其中,数据采集设备,用于采集驾驶员的生理参数、情绪表征和行为数据;
数据处理设备,用于对驾驶员的生理状态、情绪状态和行为状态进行评估;
调解干预设备,用于当驾驶员状态出现异常时,根据驾驶员出现的问题,设备进行相应的处理以调整驾驶员状态。
进一步地,所述数据采集设备与数据处理设备之间通过NB-IOT窄带传输、有线传输方式传输数据。
进一步地,所述数据采集设备包括可穿戴设备、摄像头、麦克风和车辆控制感知设备;
其中,可穿戴监测设备收集驾驶员的生理参数;摄像头、麦克风设备获取驾驶员的情绪表征;车辆控制感知设备收集车辆状态信息。
本发明的技术效果:
(1)本发明利用多模态传感器结合数据融合技术、深度学习算法对驾驶员的生理、情绪、行为等驾驶状态进行监测,使判断结果更加精准;
(2)本发明为驾驶员的生理、情绪、行为状态监测提供了切实可行的算法模型及解决方案;
(3)本发明实现了当驾驶员出现异常状态时,能够及时对驾驶员进行预警、调节、干预,有效避免因驾驶员无法及时反应而引发的交通事故,充分保障了驾驶过程中驾驶员的生命财产安全。
附图说明
附图大体上通过举例而不是限制的方式示出各种实施例,并且与说明书以及权利要求书一起用于对所发明的实施例进行说明。在适当的时候,在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的,而并非旨在作为本装置或方法的穷尽或排他实施例。
图1示出了本发明的状态监测预警及调节流程示意图;
图2示出了本发明的生理状态监测设备布设示意图;
图3示出了本发明的情绪状态监测设备布设示意图;
图4示出了本发明的行为状态监测设备布设示意图;
图5示出了本发明的驾驶员状态预警、调节及干预设备布设示意图;
图6示出了本发明的监测设备数据传输设计流程示意图;
图7示出了本发明的驾驶员生理状态监测及预警方法示意图;
图8示出了本发明的驾驶员情绪状态监测及调节方法示意图;
图9示出了本发明的驾驶员行为状态监测及干预方法示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明将多源数据融合技术、智能识别算法和深度学习技术融合起来构建起一套驾驶员状态监测及调节方法,所述方法能够实时监测驾驶员状态并且能够及时对驾驶员状态进行预警、调节、干预。在设备选取与应用方面:选用生理信息监测可穿戴设备、视觉传感设备、麦克风设备、刹车及加速踏板感知设备,以及用于数据处理的边缘计算机;在数据传输方面:针对不同场景需求采用有线传输、窄带传输、5G传输等多种通信方式并结合车联网进行稳定的数据通信,保证数据的及时、无障碍传输;在数据处理方面:设计采用边缘计算机在本地处理数据,结合数据对比与智能算法对驾驶员状态进行识别,同时根据驾驶员所处的状态进行相应的预警、调节与干预。
本发明的整体流程如图1所示。本发明选用三种类型的设备完成监测、识别、调节的任务,分别是数据采集设备、数据处理设备、调节干预设备。数据采集设备采集三类数据——驾驶员生理参数(心电、肌电、血氧等)、驾驶员情绪表征(面部表情、语音情绪、语音内容等)、驾驶员行为数据(踏板按压幅度等);数据处理设备采用边缘计算机进行各种类型数据的处理工作;调节干预设备由中央出风口、中控屏、车内音箱及踏板控制调节设备组成。当驾驶员状态出现异常时,根据驾驶员出现的问题,设备进行相应的处理以调整驾驶员状态。三种类型的设备互联互通、共同协作完成驾驶员状态的监测、识别、调节工作。
本发明所使用的设备布设方案包括生理状态监测设备布设、情绪状态监测设备布设、行为状态监测设备布设及驾驶员状态调节干预设备布设。生理监测设备布置于可穿戴的帽子、马甲及手表上,以便实时监测用户的生理状态;情绪状态监测设备、行为状态监测设备及状态调节干预设备均固定布设于车辆内部,以便对用户在驾驶过程中的情绪和行为状态进行持续监测和调节。具体布设方案如下所示。
本发明的生理状态监测设备布设方案如图2所示。监测设备采用可穿戴的方式来接触驾驶员身体,获取驾驶员的生理参数。该方式既可以精确测量驾驶员的生理参数,又便于携带。将脑电信号收集器放置于头戴设备两侧收集脑电信号;将SKP、RSP、EMG传感器放置于可穿戴马甲内侧,用于收集皮肤温度、呼吸、肌电信号;使用具有ECG、BVP测量功能的智能手表,用以测量心电及血氧信息。
本发明的情绪状态监测设备布设方案如图3所示。监测设备采用摄像头与麦克风并结合视觉识别技术与声音识别技术进行监测,将摄像头与麦克风安置在驾驶员的正前方,方便记录采集图像与声音数据。在监测设备的接线口处引出线缆,并将这些线缆连接到一台边缘计算机上。这台边缘计算机被安置在驾驶员座椅下方,并沿着车体边框进行线路布设。这样可以避免大面积的线路裸露在外,从而保持车内的美观。
本发明的行为状态监测设备布设方案如图4所示。监测设备采用刹车、加速踏板感知设备,将刹车踏板感知设备置于汽车的刹车踏板上,加速踏板感知设备置于加速踏板上,用来记录车辆的刹车与加速幅度。设备可在不影响驾驶员操作的前提下,极灵敏的记录踏板浮动,感受汽车的减速与加速状态。
本发明的驾驶员状态预警、调节及干预设备布设方案如图5所示。驾驶员状态预警、调节及干预设备由中控屏、车内音箱、中央出风口及踏板控制调节器共同组成,针对驾驶员出现的不同状态情况,进行相应的预警、调节、干预。中控屏、车内音箱、中央出风口布设于驾驶员的前方,以便于设备更好的对驾驶员进行预警与调节;踏板控制调节设备安置于加速踏板上,当加速幅度过大时,可以控制加速幅动,以干预驾驶员的行为,降低安全隐患。
本发明的监测设备数据传输及调节设计流程图如图6所示,在数据采集环节中,由可穿戴监测设备(帽子、手表、马甲)收集驾驶员的生理信息,摄像头、麦克风设备获取驾驶员的情绪信息,车辆控制感知设备收集车辆状态信息。在数据传输环节中,生理信息数据与行为信息数据通过窄带传输方式传递给边缘计算机,交由边缘计算机进行处理分析;由于情绪信息数据中包含面部信息数据与声音信息数据,数据内存较大,故采用有线数据传输方式对边缘计算机进行数据传输。在数据处理环节中,边缘计算机整合多源多模态数据,实现多数据集的融合分析,将分析结果通过车联网结合5G传输方式上载至云端,并与正常驾驶状态进行对比,若结果无异常,则继续进行监测;若结果出现异常,则立即启用人车交互系统调节干预驾驶员状态,若警报持续异常,会向道路集控中心报警。
本研究中驾驶员状态监测及调节方法具体包括如下三个方面:
(1)本发明基于多源数据融合的生理状态监测及预警方法流程如图7所示,通过可穿戴监测设备获取驾驶员生理信息数据,对其进行信息预处理,将各个生理信号能量数据提取出来,整合为当前的驾驶员生理数据集,对比健康状态下驾驶员生理信号所蕴含的能量,得到驾驶员的生理健康状态。若状态正常则继续进行监测,若状态异常,则采用相应措施对驾驶员进行预警。具体包括如下四个步骤:
①采用中值滤波法滤除高频、低频干扰,以提升信号信噪比。
设时间序列为xj,窗口长度L=2N+1,中值滤波后得到的输出序列xi为:
xi=med{xj-N,xj-N+1,...,xj,....,xj+N-1,xj-N}
其中med(x)表示序列x中L个数据点的中值
②生理信号特征提取
生理信息分析的主要方法就是功率谱估计,将幅值随时间变化的生理信号转换为功率随频率变化的频谱图。谱估计通常采用以傅里叶变换为基础的参数估计法。
生理信号有多种多样的特征,本发明通过计算生理信号所含能量的方式提取生理信号特征。要计算生理信号能量,首先要完成生理信号从时域到频域的傅里叶变换,再计算其功率谱密度。由于采集的生理信号是一种离散的数字信号,故采用应用于离散时间序列的离散傅里叶变换,同时考虑到离散傅里叶变换的计算过程过于复杂,不利于数据的实时处理,故采用快速傅里叶变换(FFT)来替代离散傅里叶变换,并计算其功率谱密度PSD:
PSD(ω)=|FFT(x(t))|2
式中x(t)为时域信号。
计算各个生理信号能量,其公式为:
Ei表示为第i个生理信号能量,ωi0表示第i个生理信号的最小频率,ωi1表示第i个生理信号的最大频率。
③通过对生理信号能量的计算与统计,存储为计算机可识别的生理数据集,完成生理信号的提取工作,并实时对比数据库中的健康状态下驾驶员的生理能量数据,若处于健康状态则继续进行监测,若驾驶员处于非健康状态,则进行系统干预。
④预警
由车内音箱系统发出提示,提醒驾驶员身体状态出现异常,提示驾驶员深呼吸简单调整自身状态,并在条件允许的情况下减速靠边停车,若驾驶员健康状态不能通过简单休整来调整,则立即向集控中心报警,保证驾驶员生命安全。
(2)本发明基于多源数据融合的情绪状态监测及调节方法流程如图8所示。将摄像头采集到的图片进行预处理并通过深度学习训练来识别驾驶员面部表情信息。同时采用麦克风收集驾驶员声音信息,通过对语速、语调的处理与识别及使用语音文本信息来辅助判断驾驶员的声音情绪信息。最后融合驾驶员面部表情信息与声音情绪信息来综合判断驾驶员情绪状态。若状态异常,则采用相应措施干预调整驾驶员情绪状态。具体包括如下几个步骤:
①图像视觉增强算法
由于驾驶员在驾驶过程中可能会出现转头、微动等情况,摄像头拍摄的驾驶员面部信息并不能保证每一帧都是清晰,故引入图像增强算法,方便边缘计算机进一步处理。采集的图像I中某像素点(x,y)的灰度值为f(x,y),图像清晰度评价的量化值为F。采用Sobel函数进行图像视觉增强:
式中:Sx1(x,y)和Sy1(x,y)分别为原灰度像素点及周边8点与对应Sobel算子卷积之后的新灰度像素点,分别表示为
其中:
②图像分割算法
为了便于边缘计算机处理,避免图像中多余成分对面部情绪识别造成干扰,故对视觉增强后的图像进行分割,将驾驶员面部单独分割提取出来,以高效完成后续识别工作。采用Segment Anything Model(SAM)进行图像分割,提取出驾驶员面部。具体步骤如下:
首先对SAM模型进行训练,以便于模型更高效的对视觉增强后的图像进行人脸分割与提取。从数据库中提取一部分人脸图片作为训练的数据集。将训练集中的人脸图片大小调整至标准大小,并将SAM模型对于图片的初扫描结果从NumPy数组处理为PyTorch张量,再对每个数据项进行遍历循环,生成mask并将它们与真实mask进行比较,通过损失函数MSE优化模型参数,完成对于SAM模型的训练。
式中:yi为真实值;为预测值;n为训练集中样本数量。
其次将视觉增强后的人脸图像输入训练后的SAM模型中,分割图像并提取出驾驶员的面部图像。
③基于Haar级联分类器的眼部、嘴部提取
因为眼部特征、嘴部特征蕴含着大量情绪信息,所以通过Haar级联算法将驾驶员的眼部、脸部从整体的人脸中提取出来,进行重点分析,以完成对驾驶员的情绪识别。具体操作方案如下:
首先进行Haar级联分类器的构建与训练。选取一张人脸图像进行级联分类器的构建,并将所选人脸图像进行灰度处理,方便提取Haar-like特征,Haar-like特征在进行计算的过程中,为了提升数据处理速度,采用积分加速的计算方式,积分图ii(x,y)的定义如下:
s(x,y)=s(x,y-1)+i(x,y)
ii(x,y)=ii(x-1,y)+s(x,y)
式中为s(x,y)为一列的纵向累加和,i(x',y')表示图像中在(x',y')位置的像素值。
然后使用AdaBoost算法构建各个分类器,将各个分类器按一定的策略级联得到级联分类器。分类器的计算方法为:
式中pj是为了使得不等式的方向不变而设置的参数,θj为是否为眼部与嘴部的阀值,fj(x)表示输入大小为l和w的滑动窗口图像x经过上述算法提取到的特征值。在获取一个分类器之后,需要将若干分类器进行级联,形成Haar级联分类器。
其次对Haar级联分类器进行训练,选取摄像机实时拍摄的驾驶员人脸作为正样本,并选择一些不存在人脸的负样本进行识别提取训练,将最终训练好的模型存入边缘计算机中,以此来进行人脸眼部及嘴部的识别与提取。
最后,利用训练好的Haar级联分类器模型,对SAM模型分割出的驾驶员人脸图像进行眼部和嘴部的识别和提取。
④基于眼部与嘴部特征的TARN-CNN算法
将提取出的眼部与嘴部放置于同一平面内,以眼部与嘴部所构平面的几何中心为原点、以水平线为x轴、竖直线为y轴构建直角坐标系,为眼部与嘴部上的m个面部特征点建立位置坐标,由此可以得到第i张面部图像的几何特征集合hi=(x1,y1,…,xm,ym)与驾驶员面部表情特征向量I表示经过Haar级联分离器提取的I张图像。
首先利用卷积神经网络对于驾驶员面部表情特征向量H进行提取并筛选出最优特征H=max(h1,h2,…,hi');其次采用多层感知机(MLP)实现对于眼部和嘴部坐标不同的权重αi的分配,得出特征表示oi:
通过将驾驶员面部表情的最优特征矩阵与相应权重相乘,并将其输入递归网络,得到输出结果为s(h)。根据s(h)的不同结果,判断驾驶员情绪状态,实现对驾驶人情绪变化的识别。
式中M表示全连接层的权重矩阵,b为偏置项。
⑤语速、语调的处理与识别
语速与语调是语音信号的表现形式,而语音信号又以波的形式向外传递,故本发明采用快速傅里叶变换将其转换到频域得到频谱X(k),转化关系为:
式中x(q)为第q时刻的语音采样信号,Q为总采样点个数
对频谱的模取平方便可得到信号的功能谱,功能谱中包含T个具有梅尔尺度的三角滤波器,进一步求得声音的对数能量G(t),其公式为:
G(t)=ln(|X(k)|2Rt(k))
式中Rt(k)为第t个滤波器在声音频率为k时的频率响应。
对声音的对数能量进行离散余弦变换,得到梅尔倒谱参数。
式中Z为梅尔倒谱参数的阶数。
对声音信号梅尔倒谱参数进行计算与记录,将其转化为全局特征,并将其送入已训练好的支持向量机(SVM)分类器模型中,以对驾驶员语音信号中所包含的情绪信息进行识别。
⑥语音文本的处理与识别
将语言文本转化成文字,与文字库进行对比判断,例如若出现一些“脏话”,则此时驾驶员可能偏向于愤怒状态;若出现“唉、吁、唏”等词汇,则此时驾驶员可能偏向于悲伤状态。用识别的语音文字来辅助判断驾驶员的情绪信息。
⑦语音、语调与语音文本的融合判断
综合分析语音、语调与语音文本所给出的驾驶员情绪状态信息,得出驾驶员现最可能处的声音情绪状态。
⑧融合驾驶员面部表情信息与声音情绪信息来判断驾驶员情绪状态。若情绪状态正常,则继续进行监控;若情绪状态异常,则由人车交互系统调节驾驶员情绪。
⑨调节
当驾驶员出现情绪异常时,由汽车中控屏提示驾驶员状态异常信息,中央出风口释放薄荷香、玫瑰香等令人舒适提神的气味(可根据驾驶员的喜好进行自主选择),车内音箱设备播放舒缓音乐以调节驾驶员状态。通过对视觉、嗅觉、听觉三种感官上的调节,完成对驾驶员情绪状态的干预与调节,减少异常情绪带来的驾驶安全问题。
(3)本发明基于多源数据融合的行为状态监测及干预方法流程如图9所示,具体的方案如下:
①收集阶段。将刹车与加速踏板感知设备获取到的车辆刹车、加速幅度数据进行特征提取来获取关键信息,方便计算机处理数据。
②处理阶段。通过数据处理形成实时的字典集,再通过上一秒字典集中的数据与当前字典集中的数据实时对比,判断驾驶员的行为状态。
③决策干预阶段。判断驾驶员是否处于危险行为状态。若判定为超幅加速,则增大加速器踏板阻尼,干预车辆的快速增速,并通过车内音箱设备提醒驾驶员请勿超幅加速;若判定为超幅减速,则先稳定车身,并提醒驾驶员注意路况信息,保持车距,保证安全驾驶。
以上所述,仅为本发明优选的具体实施方式,但本发明的保护范围不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种基于多源数据融合的驾驶员状态监测调节方法,其特征在于,所述方法包括:
获取驾驶员的生理参数、驾驶员的情绪表征和车辆状态信息;
基于驾驶员的生理参数对驾驶员的生理状态进行评估;基于驾驶员的情绪表征对驾驶员的情绪状态进行评估;基于车辆状态信息对驾驶员的行为状态进行评估;
当驾驶员的生理状态、驾驶员的情绪状态、驾驶员的行为状态出现异常时,通过人车交互系统进行预警并调节驾驶员状态,帮助驾驶员及时回到正常状态,保证驾驶安全。
2.根据权利要求1所述的多源数据融合的驾驶员状态监测调节方法,其特征在于,基于驾驶员的生理参数对驾驶员的生理状态进行评估具体为:
对驾驶员的生理参数进行预处理以滤除杂波,然后通过函数计算生理信号的能量密度,并利用能量密度计算各个生理参数所蕴含的能量,收集记录各个生理参数能量,实时对比标准生理健康数据库,来评估驾驶员的生理状态。
3.根据权利要求1所述的多源数据融合的驾驶员状态监测调节方法,其特征在于,基于驾驶员的情绪表征对驾驶员的情绪状态进行评估具体为:
将摄像头采集到的图片进行预处理并通过深度学习训练来识别驾驶员面部表情信息;同时将麦克风收集到的驾驶员声音信息,通过对语速、语调的处理与识别及使用语音文本信息来辅助判断驾驶员的声音情绪信息;最后融合驾驶员面部表情信息与声音情绪信息来综合判断驾驶员情绪状态。
4.根据权利要求1所述的多源数据融合的驾驶员状态监测调节方法,其特征在于,基于车辆状态信息对驾驶员的行为状态进行评估具体为:
将通过刹车、加速踏板感知设备将收集到的行为数据处理为字典的形式存储,将当前字典中存储的数据与上一秒字典中存储的数据进行实时比较,通过数据的比较来判断驾驶员的行为状态。
5.根据权利要求1所述的多源数据融合的驾驶员状态监测调节方法,其特征在于,所述通过人车交互系统进行预警、调节并干预驾驶员状态具体为:
当驾驶员的生理状态时出现异常时,音箱设备会发出声音提醒,警示驾驶员身体状态出现异常;同时,中控屏会显示警告图标或文字,以视觉方式向驾驶员发出预警,若驾驶员健康状态不能通过简单休整来调整,则立即向集控中心报警;
当驾驶员的情绪状态出现异常时,中控屏提示驾驶员状态异常信息,中央出风口释放薄荷香、玫瑰香等令人舒适提神的气味,音箱设备播放舒缓音乐;
当驾驶员的行为状态出现异常时,判断驾驶员是否处于危险行为状态;若判定为超幅加速,则增大加速器踏板阻尼,干预车辆的快速增速,并通过车内音箱设备提醒驾驶员请勿超幅加速;若判定为超幅减速,则先稳定车身,并提醒驾驶员注意路况信息,保持车距。
6.一种基于多源数据融合的驾驶员状态监测调节系统,其特征在于,所述系统包括数据采集设备、数据处理设备和调节干预设备;
其中,数据采集设备,用于采集驾驶员的生理参数、情绪表征和行为数据;
数据处理设备,用于对驾驶员的生理状态、情绪状态和行为状态进行评估;
调解干预设备,用于当驾驶员状态出现异常时,根据驾驶员出现的问题,设备进行相应的处理以调整驾驶员状态。
7.根据权利要求6所述的基于多源数据融合的驾驶员状态监测调节系统,其特征在于,所述数据采集设备与数据处理设备之间通过NB-IOT窄带传输、有线传输方式传输数据。
8.根据权利要求6所述的基于多源数据融合的驾驶员状态监测调节系统,其特征在于,所述数据采集设备包括可穿戴设备、摄像头、麦克风和车辆控制感知设备;
其中,可穿戴监测设备收集驾驶员的生理参数;摄像头、麦克风设备获取驾驶员的情绪表征;车辆控制感知设备收集车辆状态信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410235917.3A CN118082854A (zh) | 2024-03-01 | 2024-03-01 | 一种基于多源数据融合的驾驶员状态监测调节方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410235917.3A CN118082854A (zh) | 2024-03-01 | 2024-03-01 | 一种基于多源数据融合的驾驶员状态监测调节方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118082854A true CN118082854A (zh) | 2024-05-28 |
Family
ID=91154794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410235917.3A Pending CN118082854A (zh) | 2024-03-01 | 2024-03-01 | 一种基于多源数据融合的驾驶员状态监测调节方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118082854A (zh) |
-
2024
- 2024-03-01 CN CN202410235917.3A patent/CN118082854A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11783601B2 (en) | Driver fatigue detection method and system based on combining a pseudo-3D convolutional neural network and an attention mechanism | |
Chai et al. | Driver fatigue classification with independent component by entropy rate bound minimization analysis in an EEG-based system | |
Craye et al. | A multi-modal driver fatigue and distraction assessment system | |
Ahmad et al. | Drowsy driver identification using eye blink detection | |
US8400313B2 (en) | Vehicle driver sleep state classification generating device based on Hidden Markov Model, sleep state classification device and warning device | |
CN109460703B (zh) | 一种基于心率和面部特征的非侵入式疲劳驾驶识别方法 | |
CN111920420B (zh) | 一种基于统计学习的患者行为多模态分析与预测系统 | |
CN111753674A (zh) | 一种基于深度学习的疲劳驾驶的检测识别方法 | |
CN110991324B (zh) | 一种基于多种动态特征和物联网技术的疲劳驾驶检测方法 | |
Turan et al. | Monitoring Infant's Emotional Cry in Domestic Environments Using the Capsule Network Architecture. | |
Suresh et al. | Driver drowsiness detection using deep learning | |
Venu | IOT Based Speech Recognition System to Improve the Performance of Emotion Detection | |
Biju et al. | Drowsy driver detection using two stage convolutional neural networks | |
CN112438741B (zh) | 一种基于脑电特征迁移学习的驾驶状态检测方法及系统 | |
CN115713754B (zh) | 基于驾驶员恐惧情绪识别的分阶段分级干预的方法及系统 | |
CN118082854A (zh) | 一种基于多源数据融合的驾驶员状态监测调节方法及系统 | |
Priyanka et al. | A Review on Drowsiness Prediction System using Deep Learning Approaches | |
Vesselenyi et al. | Fuzzy Decision Algorithm for Driver Drowsiness Detection | |
Nissimagoudar et al. | Driver alertness detection using CNN-BiLSTM and implementation on ARM-based SBC | |
Zhan et al. | A Review of Driver Fatigue Detection and Warning Based on Multi-Information Fusion | |
Mridha et al. | Driver Drowsiness Alert System Using Real-Time Detection | |
Vijaypriya et al. | Comparative Analysis for Detecting Drowsiness Using Deep Learning Approach | |
Begum et al. | Real Time Detection of Driver Cognitive Distraction Using Machine Learning Classifiers | |
Subbaiah et al. | Driver drowsiness detection methods: A comprehensive survey | |
Suresh et al. | Analysis and Implementation of Deep Convolutional Neural Network Models for Intelligent Driver Drowsiness Detection System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |