CN109124625A - 一种驾驶员疲劳状态水平分级方法 - Google Patents
一种驾驶员疲劳状态水平分级方法 Download PDFInfo
- Publication number
- CN109124625A CN109124625A CN201811027448.7A CN201811027448A CN109124625A CN 109124625 A CN109124625 A CN 109124625A CN 201811027448 A CN201811027448 A CN 201811027448A CN 109124625 A CN109124625 A CN 109124625A
- Authority
- CN
- China
- Prior art keywords
- driver
- fatigue state
- wave
- time series
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Theoretical Computer Science (AREA)
- Social Psychology (AREA)
- Artificial Intelligence (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Neurology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种驾驶员疲劳状态水平分级方法,属于汽车安全辅助驾驶技术领域。本发明在考虑驾驶疲劳动态生成特性的基础上对疲劳状态的水平进行准确划分,对于相关技术研究及车载系统开发具有重要的实际支撑作用。该方法采用可靠的EEG数据作为疲劳水平等级划分的数据来源,以降低间接检测和主观评测方法所导致的误差传递;基于LSTM网络构建的驾驶员疲劳状态水平分级模型从时间序列上很好解决了疲劳的动态生成特性问题;在模型中通过引入注意力机制以解析特征在不同疲劳水平等级下的差异性,从而提高模型对疲劳演化规律的解释合理性;综合不同人员特征属性的建模方法克服了驾驶员风格类型差异所带来的模型适应性拓展问题。
Description
技术领域
本发明属于汽车安全辅助驾驶技术领域,特别涉及一种驾驶员疲劳状态水平分级方法。
背景技术
随着我国汽车人均占有率的增加,交通事故已成为威胁人类生命的又一大突出问题。据统计,驾驶员疲劳驾驶在所有重特大道路交通事故中所占的比重最大,如果在危险发生前0.5秒对驾驶员进行预警,则可以减少大部分类似交通事故的发生。目前,关于驾驶员疲劳状态的检测方法可以分为以下两类:(1)基于客观指标的检测方法:主要分为直接检测和间接检测两种。直接检测通常指EEG信号检测,该种检测方法可以直接反映驾驶员的大脑活动状态,其指标变化与驾驶员疲劳状态直接相关,因此通常被用来作为检测疲劳状态的标准;间接检测一般利用驾驶员面部表观参数和车辆运行状态参数等对驾驶员疲劳状态进行间接推断,如PERCLOS、肌电信号和转向盘转动角度等指标。(2)疲劳状态的主观评定方法:主要分为主观评测表和生理反应指标评定两种。主观评测表包括皮尔逊疲劳量表、驾驶员自我记录表等;生理反应指标包括闪频值检测、膝腱反射技能检测等。
基于上述各研究方案分析可知:基于EEG的直接检测方法准确率高,但由于其测试装置需要与驾驶员直接接触,对驾驶员形成一定的干涉,因此在实际应用中较少采用;间接检测方法不对驾驶员形成干涉,且其相关特征参数的采集相对简单,因此在驾驶疲劳的相关研究及应用中采用较多,然而其可靠性还有待进一步提高;基于主观评测的方法由于其本质为一离线的状态评定方法,不适合实际的车载应用。由此可见,基于相关特征的驾驶疲劳间接检测方法在未来的车载应用中具有良好的发展前景。然而,在现有研究中存在两个技术难点亟需克服:(1)驾驶疲劳的动态生成。由于疲劳的形成为一随驾驶环境和时间延长而逐渐生成的过程,且在此过程中并非所有的非常规状态均可引发交通事故,因此如何在驾驶疲劳状态评估时考虑该特性是提高预测准确性和系统实时性的基础;(2)驾驶疲劳的分级标准。利用相关特征进行驾驶疲劳检测的研究过程,其本质是基于对驾驶疲劳形成规律的解析结果进行评估模型构建,进而利用已有数据对所建模型的未知参数进行求解,从而在实际车载应用中可以基于实时采集的特征参数对驾驶疲劳进行准确检测。其中,在进行未知参数求解时,一项很重要工作是如何准确确定驾驶员的真实疲劳状态,即疲劳的标准确定,这是对所建模型进行求解并成功车载应用的前提条件。
对于上述两方面问题,目前的车载应用系统通常仅针对检测到的特征指标变化做出是/否疲劳的判断,对于疲劳的动态特性及不同疲劳水平级别下的状态判断尚缺乏有效的处理手段。这种处理方法在实际应用中存在以下问题:(1)动态特性缺失导致疲劳检测系统的虚警率过高,给驾驶员造成过大的驾驶心理压力;(2)疲劳标准缺失导致所开发检测系统的准确性存在很大误差,且不同驾驶员之间的疲劳特性差异明显,使得系统检测性能不高;(3)两级预警(是/否疲劳)方案不利于车载系统实时性提高,即驾驶危险发生前的高频数据采样是必要的,然而大多数情况下无需进行高频采样。此外,不同疲劳等级的划分有利于进一步对所检测的驾驶疲劳状态进行确认,以有效降低车载系统虚警率。
综上所述,在考虑驾驶疲劳动态生成特性的基础上对疲劳状态的水平进行准确划分对于相关技术研究及车载系统开发具有重要的实际支撑作用。为此,本发明基于深度学习技术框架,设计了一种用于驾驶员疲劳状态水平分级的方法。该方法基于疲劳状态的直接检测特征指标EEG,通过所设计的深度学习模型对特征指标进行分析,以准确确定驾驶员的疲劳状态水平,为针对驾驶疲劳的相关研究及车载系统开发提供必要的理论研究基础。其主要特征为:采用可靠的EEG数据作为疲劳水平等级划分的数据来源,以降低间接检测和主观评测方法所导致的误差传递;基于LSTM网络构建的驾驶员疲劳状态水平分级模型从时间序列上很好解决了疲劳的动态生成特性问题;在模型中通过引入注意力机制以解析特征在不同疲劳水平等级下的差异性,从而提高模型对疲劳演化规律的解释合理性;综合不同人员特征属性的建模方法克服了驾驶员风格类型差异所带来的模型适应性拓展问题。
发明内容
本发明的目的在于解决现有疲劳检测系统中存在的虚警率过高、准确性较低和实时性较差的问题,基于深度学习框架设计了一种驾驶员疲劳状态水平分级的方法。
本发明的技术方案:
一种驾驶员疲劳状态水平分级方法,步骤如下:
步骤A,获取驾驶员个人属性信息、采集相应驾驶员在不同疲劳状态下的脑电信号;
所述的驾驶员个人属性信息包括性别、年龄、驾龄;
用于采集脑电信号的脑电仪应保证对驾驶员的工作环境影响尽可能小;
步骤B,将获取到的驾驶员个人属性信息和采集到的脑电信息进行预处理,获取数据集;
数据集由属性和标签组成,以固定步长截取数据集获得时间序列,其中每段时间序列的属性由3部分组成:上一时间序列的驾驶员疲劳状态水平分级结果、驾驶员个人信息属性和脑电信号属性,驾驶员个人信息属性包括驾驶人的性别、年龄、驾龄,脑电信号属性包括当前时间序列内所提取到的α波、β波、θ波和δ波的振幅值;标签为驾驶员在当前时间序列的疲劳状态水平分级结果,按时间顺序将数据集的前70%~90%部分作为本方法的训练集,剩余部分作为本方法的测试集;
所述的脑电信号属性的获取方式:先对获取的脑电信号进行自适应滤波处理去除EOG伪迹的干扰,从而得到有效脑电信号,其次在有效脑电信号中提取出α波、β波、θ波和δ波的振幅值;
所述的标签的获取方式:即疲劳水平等级的分级策略,利用驾驶员在时间序列内的脑电能量作为区分驾驶员疲劳状态水平的分类基准,得到驾驶员在该段时间序列内的疲劳状态水平等级;
利用驾驶员的脑电能量作为疲劳水平分级策略来区分驾驶员疲劳状态水平,具体方法为:计算α波、β波和θ波在时间序列内的能量值,对所得能量值进行如下公式计算得到F;
式(1)中,Eα、Eθ、Eβ分别代表α波、θ波和β波在时间序列内的能量值;
分别利用FCM和k-means算法对F进行聚类,比较两者的分类结果确定最终的驾驶员的疲劳水平分级数N;
所述的驾驶员所处的疲劳水平等级将直接影响到测试模型输入数据的采样时间间隔;
步骤C,将训练集输入到具有注意力机制的LSTM模型中进行离线模型训练,得到驾驶员疲劳状态水平分级模型;
本驾驶员疲劳状态水平分级方法包括一个输入层、一个隐含层、一个注意力层和一个输出层;
所述的输入层神经元的个数由数据集的3部分属性维度确定;所述的隐含层用来提取输入数据的特征以及其内在的关联信息,隐含层神经元个数根据具体的测试内容决定,同时根据试验结果进行修正;所述的输出层神经元的个数由数据集标签的独热编码维度确定;
所述的具有注意力机制的LSTM模型训练过程如下:
(1)设训练集的时间序列长度为n,即输入层的输入特征数据为V={v1,v2,…,vn},vi表示每段时间序列的第i个输入数据集的特征向量;
(2)利用注意力权重强调时间序列的时序特征,得到时间序列的加权时序特征公式如下:
其中,t=1,2,…,T,T表示时刻总数;
注意力权重的计算公式如下:
其中,Wa、Ua、ba分别为待学习参数,ht-1表示上一时刻隐藏单元状态,tanh(·)为双曲正切函数,exp(·)为指数函数;
(3)将加权时序特征输入到LSTM网络中进行运算,利用softmax多分类函数计算当前时间驾驶员疲劳状态水平等级的预测概率分布;
(4)重复步骤(2)和步骤(3),分别预测出其余n-1个时间的驾驶员疲劳状态水平等级的预测概率分布;
(5)将第n次预测的驾驶员疲劳状态水平等级的预测概率分布和该段时间序列内的驾驶员实际所处的疲劳状态等级标签对比得到误差ε,采用BPTT算法,将误差ε进行反向传播进而更新具有注意力机制的LSTM模型中待学习的参数,完成本轮迭代;
(6)重复步骤(1)~步骤(5),使网络进行下一轮迭代训练过程,模型共进行M次迭代,得到驾驶员疲劳状态水平分级模型;
步骤D,将测试集输入到驾驶员疲劳状态水平分级模型进行预测,得到驾驶员疲劳状态水平分级结果;
所述的驾驶员疲劳状态水平分级方法测试过程如下:
以固定步长n截取测试集得到测试时间序列,并将该时间序列输入到驾驶员疲劳状态水平分级模型中,选取每一个预测概率分布中概率最大项的维度所对应的类别作为测试时间序列所对应的驾驶员疲劳状态水平,从而得到n个统计结果,将该结果中出现次数最多的驾驶员疲劳状态水平作为该段时间序列驾驶员疲劳状态水平的最终判别结果;如果出现最大次数相等的驾驶员疲劳状态水平判别结果,则将其所对应的预测概率分布中概率最大的维度所对应的疲劳状态水平作为最终判别结果。
每一段时间序列的最终驾驶员疲劳状态水平的判别结果将影响距离下段所测试时间序列的截取时间间隔,当驾驶员上一段时间序列所处的疲劳水平等级较低时,此时测试模型距离下次采样的时间间隔较大;当驾驶员上一段时间序列所处的疲劳水平等级较高时,测试模型距离下次采样的时间间隔减小,以提高模型预测的准确率。
本发明的有益效果:采用可靠的EEG数据作为疲劳水平等级划分的数据来源,以降低间接检测和主观评测方法所导致的误差传递;基于LSTM网络构建的驾驶员疲劳状态水平分级模型从时间序列上很好解决了疲劳的动态生成特性问题;在模型中通过引入注意力机制以解析特征在不同疲劳水平等级下的差异性,从而提高模型对疲劳演化规律的解释合理性;综合不同人员特征属性的建模方法克服了驾驶员风格类型差异所带来的模型适应性拓展问题。
附图说明
图1是本发明的流程图。
图2是本发明的脑电信号处理流程图。
图3是本发明具有注意力机制的LSTM模型结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚,下面结合本发明实施例中的附图,对本发明的技术方案进行清楚完整的描述。应当理解,此处所描述的具体实施例仅用以理解本发明,并不用于限定本发明。
步骤A,获取驾驶员的个人属性信息、采集相应驾驶员在不同疲劳状态下的脑电信号;
驾驶员的个人属性信息包括性别、年龄、驾龄;
脑电信号的采集频率设置为100Hz,用于采集脑电信号的脑电仪应保证对驾驶员的工作环境影响尽可能小;
步骤B,将获取到的驾驶员个人属性信息和采集到的脑电信息进行预处理,获取数据集;
数据集由属性和标签组成,以固定步长截取数据集获得时间序列,其中每段时间序列的属性由3部分组成:上一时间序列的驾驶员疲劳状态水平分级结果、驾驶员个人信息属性和脑电信号属性,驾驶员个人信息属性包括驾驶人的性别、年龄、驾龄,脑电信号属性包括当前时间序列内所提取到的α波、β波、θ波和δ波的振幅值,利用正则化方法对以上数据集中的属性值进行标准化处理;标签为驾驶员在当前时间序列的疲劳状态水平分级结果,标签进行独热编码处理。按时间顺序将数据集的前90%部分作为本方法的训练集,剩余10%部分作为本方法的测试集;
所述的驾驶员个人信息属性的处理方式:年龄分为三组,以15-19周岁、20-29周岁和30周岁以上为分类标准;驾龄分为两组,以2年为分类标准;
所述的脑电信号属性的获取方式:利用AcqKnowledge 4.2软件,先对获取的脑电信号进行自适应滤波处理去除EOG伪迹的干扰,从而得到有效的脑电信号,其次在有效脑电信号中提取出α波、β波、θ波和δ波的振幅值;
所述的标签的获取方式:即疲劳水平等级的分级策略,利用驾驶员在时间序列内的脑电能量作为区分驾驶员疲劳状态水平的分类基准,得到驾驶员在该段时间序列内的疲劳状态水平等级;
利用驾驶员的脑电能量作为疲劳水平分级策略来区分驾驶员疲劳状态水平,具体方法为:利用AcqKnowledge 4.2软件计算α波、β波和θ波在10s内(共1000组输入数据)的能量值,对能量值进行如下公式计算得到F;
式(1)中,Eα、Eθ、Eβ分别代表α波、θ波和β波在10s内的能量值;
分别利用FCM和k-means算法对F进行聚类,聚类数目定为2-15类之间。分别计算出两种方法下的不同聚类数目的类聚中心值,比较两种方法对应的类聚数目中心值的差异性大小,中心值的差异性越小,说明选取的聚类数目越合理,该聚类数目作为最终驾驶员的疲劳水平分级数N;
所述的驾驶员所处的疲劳水平等级将直接影响到测试模型输入数据的采样时间间隔。
步骤C,将数据集输入到具有注意力机制的LSTM模型中进行离线模型训练,得到驾驶员疲劳状态水平分级结果;
所述的驾驶员疲劳状态分类方法包括一个输入层、一个隐含层、一个注意力层和一个输出层;
所述的输入层神经元的个数由数据集的3部分属性维度确定,本方法的属性包括上一次模型输出的驾驶员所处疲劳状态水平分级结果、代表不同驾驶员的个人信息属性和具有时间关联特性的脑电信号数据,其中驾驶员特征属性包括性别、年龄和驾龄,脑电信息属性包括经过预处理得到的α波、β波、θ波、δ波的振幅值,本模型中的输入层包含8个神经元。
所述的隐含层用来提取输入数据的特征以及其内在的关联信息,隐含层神经元个数根据具体的测试内容决定,同时根据试验结果进行修正,本模型中的隐含层包含14个神经元。
所述的输出层神经元的个数由数据集标签的独热编码维度确定,本实验将驾驶员疲劳状态水平等级分为3类,输出层包含3个神经元。
所述的具有注意力机制的LSTM模型训练过程如下:
(1)取训练数据的时间序列长度为1000,即输入层的输入特征数据为V={v1,v2,…,v1000},vi表示每段时间序列的第i个输入数据集的特征向量,大小为8维。
(2)利用注意力权重强调时间序列的时序特征,得到时间序列的加权时序特征公式如下:
其中,t=1,2,…,1000,1000表示时刻总数;
注意力权重的计算公式如下:
其中,Wa、Ua、ba分别为待学习参数,ht-1表示上一时刻隐藏单元状态,tanh(·)为双曲正切函数,exp(·)为指数函数;
(3)将加权时序特征输入到LSTM网络中进行运算,利用softmax多分类函数计算当前时刻驾驶员疲劳状态水平等级的预测概率分布。;
(4)重复步骤(2)和步骤(3),分别预测出其余999个时间的驾驶员疲劳状态水平等级的预测概率分布。
(5)将第1000次预测的驾驶员疲劳状态水平等级的预测概率分布和该段时间序列内的驾驶员实际所处的疲劳状态等级标签对比得到误差ε,采用BPTT算法,将误差ε进行反向传播进而更新具有注意力机制的LSTM模型中待学习的参数,完成本轮迭代。
(6)重复步骤(1)~步骤(5),使网络进行下一轮迭代训练过程,模型共进行20000此迭代,得到驾驶员疲劳状态水平分级模型。
步骤D,将测试数据集输入到驾驶员疲劳状态水平分级模型进行预测,得到驾驶员疲劳状态水平分级结果;
所述的驾驶员疲劳状态水平分级方法测试过程如下:
以固定步长1000截取测试数据集得到测试时间序列,并将该时间序列输入到驾驶员疲劳状态水平分级模型中,选取每一个预测概率分布中概率最大项的维度所对应的类别作为测试时间序列的所对应的驾驶员疲劳状态水平,从而得到1000个统计结果,将该结果中出现次数最多的驾驶员疲劳状态水平作为该段时间序列判别的最终结果;如果出现最大次数相等的驾驶员疲劳状态水平判别结果,则将其所对应的预测概率分布中概率最大的维度所对应的疲劳状态水平作为最终判别结果。
每一段时间序列的最终驾驶员疲劳状态水平的判别结果将影响距离下段所测试时间序列的截取时间间隔,以本例疲劳状态水平级数3为例,即驾驶员的疲劳水平状态分为清醒、疲劳和严重疲劳三个阶段。当判断驾驶员所处的疲劳等级为清醒时,测试模型距离下次采样时间的间隔为2min;当判断驾驶员所处的疲劳等级为疲劳时,测试模型距离下次采样时间的采样时间间隔为1min;当判断驾驶员所处的疲劳等级为严重疲劳时测试模型无采样间隔,以获取较高的信号分辨率,提高模型预测的准确率。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,本领域普通技术人员可以理解实现上述实施例的全部和部分流程,并依本技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (1)
1.一种驾驶员疲劳状态水平分级方法,其特征在于,步骤如下:
步骤A,获取驾驶员个人属性信息、采集相应驾驶员在不同疲劳状态下的脑电信号;
所述的驾驶员个人属性信息包括性别、年龄、驾龄;
用于采集脑电信号的脑电仪应保证对驾驶员的工作环境影响尽可能小;
步骤B,将获取到的驾驶员个人属性信息和采集到的脑电信息进行预处理,获取数据集;
数据集由属性和标签组成,以固定步长截取数据集获得时间序列,其中每段时间序列的属性由3部分组成:上一时间序列的驾驶员疲劳状态水平分级结果、驾驶员个人信息属性和脑电信号属性,驾驶员个人信息属性包括驾驶人的性别、年龄、驾龄,脑电信号属性包括当前时间序列内所提取到的α波、β波、θ波和δ波的振幅值;标签为驾驶员在当前时间序列的疲劳状态水平分级结果,按时间顺序将数据集的前70%~90%部分作为本方法的训练集,剩余部分作为本方法的测试集;
所述的脑电信号属性的获取方式:先对获取的脑电信号进行自适应滤波处理去除EOG伪迹的干扰,从而得到有效脑电信号,其次在有效脑电信号中提取出α波、β波、θ波和δ波的振幅值;
所述的标签的获取方式:即疲劳水平等级的分级策略,利用驾驶员在时间序列内的脑电能量作为区分驾驶员疲劳状态水平的分类基准,得到驾驶员在该段时间序列内的疲劳状态水平等级;
利用驾驶员的脑电能量作为疲劳水平分级策略来区分驾驶员疲劳状态水平,具体方法为:计算α波、β波和θ波在时间序列内的能量值,对所得能量值进行如下公式计算得到F;
式(1)中,Eα、Eθ、Eβ分别代表α波、θ波和β波在时间序列内的能量值;
分别利用FCM和k-means算法对F进行聚类,比较两者的分类结果确定最终的驾驶员的疲劳水平分级数N;
所述的驾驶员所处的疲劳水平等级将直接影响到测试模型输入数据的采样时间间隔;
步骤C,将训练集输入到具有注意力机制的LSTM模型中进行离线模型训练,得到驾驶员疲劳状态水平分级模型;
本驾驶员疲劳状态水平分级方法包括一个输入层、一个隐含层、一个注意力层和一个输出层;
所述的输入层神经元的个数由数据集的3部分属性维度确定;所述的隐含层用来提取输入数据的特征以及其内在的关联信息,隐含层神经元个数根据具体的测试内容决定,同时根据试验结果进行修正;所述的输出层神经元的个数由数据集标签的独热编码维度确定;
所述的具有注意力机制的LSTM模型训练过程如下:
(1)设训练集的时间序列长度为n,即输入层的输入特征数据为V={v1,v2,…,vn},vi表示每段时间序列的第i个输入数据集的特征向量;
(2)利用注意力权重强调时间序列的时序特征,得到时间序列的加权时序特征公式如下:
其中,t=1,2,…,T,T表示时刻总数;
注意力权重的计算公式如下:
其中,Wa、Ua、ba分别为待学习参数,ht-1表示上一时刻隐藏单元状态,tanh(·)为双曲正切函数,exp(·)为指数函数;
(3)将加权时序特征输入到LSTM网络中进行运算,利用softmax多分类函数计算当前时间驾驶员疲劳状态水平等级的预测概率分布;
(4)重复步骤(2)和步骤(3),分别预测出其余n-1个时间的驾驶员疲劳状态水平等级的预测概率分布;
(5)将第n次预测的驾驶员疲劳状态水平等级的预测概率分布和该段时间序列内的驾驶员实际所处的疲劳状态等级标签对比得到误差ε,采用BPTT算法,将误差ε进行反向传播进而更新具有注意力机制的LSTM模型中待学习的参数,完成本轮迭代;
(6)重复步骤(1)~步骤(5),使网络进行下一轮迭代训练过程,模型共进行M次迭代,得到驾驶员疲劳状态水平分级模型;
步骤D,将测试集输入到驾驶员疲劳状态水平分级模型进行预测,得到驾驶员疲劳状态水平分级结果;
所述的驾驶员疲劳状态水平分级方法测试过程如下:
以固定步长n截取测试集得到测试时间序列,并将该时间序列输入到驾驶员疲劳状态水平分级模型中,选取每一个预测概率分布中概率最大项的维度所对应的类别作为测试时间序列所对应的驾驶员疲劳状态水平,从而得到n个统计结果,将该结果中出现次数最多的驾驶员疲劳状态水平作为该段时间序列驾驶员疲劳状态水平的最终判别结果;如果出现最大次数相等的驾驶员疲劳状态水平判别结果,则将其所对应的预测概率分布中概率最大的维度所对应的疲劳状态水平作为最终判别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811027448.7A CN109124625B (zh) | 2018-09-04 | 2018-09-04 | 一种驾驶员疲劳状态水平分级方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811027448.7A CN109124625B (zh) | 2018-09-04 | 2018-09-04 | 一种驾驶员疲劳状态水平分级方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109124625A true CN109124625A (zh) | 2019-01-04 |
CN109124625B CN109124625B (zh) | 2021-07-20 |
Family
ID=64826811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811027448.7A Active CN109124625B (zh) | 2018-09-04 | 2018-09-04 | 一种驾驶员疲劳状态水平分级方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109124625B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110215206A (zh) * | 2019-06-12 | 2019-09-10 | 中国科学院自动化研究所 | 基于脑电信号的立体显示视疲劳评价方法、系统、装置 |
CN110244854A (zh) * | 2019-07-16 | 2019-09-17 | 湖南大学 | 一种多类别脑电数据识别的人工智能方法 |
CN110717389A (zh) * | 2019-09-02 | 2020-01-21 | 东南大学 | 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法 |
CN110772267A (zh) * | 2019-11-07 | 2020-02-11 | 中国人民解放军63850部队 | 一种人体生理疲劳数据标记方法及疲劳识别模型 |
CN110796207A (zh) * | 2019-11-08 | 2020-02-14 | 中南大学 | 一种疲劳驾驶检测方法及系统 |
CN111134666A (zh) * | 2020-01-09 | 2020-05-12 | 中国科学院软件研究所 | 一种多通道脑电数据的情绪识别方法及电子装置 |
CN111460892A (zh) * | 2020-03-02 | 2020-07-28 | 五邑大学 | 一种脑电图模式分类模型的训练方法、分类方法及系统 |
WO2020151075A1 (zh) * | 2019-01-23 | 2020-07-30 | 五邑大学 | 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法 |
CN111543988A (zh) * | 2020-05-25 | 2020-08-18 | 五邑大学 | 一种自适应认知活动识别方法、装置及存储介质 |
CN111568446A (zh) * | 2020-05-28 | 2020-08-25 | 兰州大学 | 结合人口学注意力机制的便携式脑电抑郁检测系统 |
CN111657889A (zh) * | 2020-06-03 | 2020-09-15 | 大连理工大学 | 一种基于毫米波雷达的非接触式驾驶员疲劳检测方法 |
CN111772594A (zh) * | 2020-07-10 | 2020-10-16 | 北京航空航天大学 | 一种基于多传感器融合的体征状态监测与温度控制app系统 |
CN111951637A (zh) * | 2020-07-19 | 2020-11-17 | 西北工业大学 | 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法 |
CN113850931A (zh) * | 2021-11-29 | 2021-12-28 | 武汉大学 | 一种针对飞行异常的飞行特征提取方法 |
CN114343645A (zh) * | 2021-12-31 | 2022-04-15 | 北京烽火万家科技有限公司 | 一种脑机接口疲劳驾驶检测分类器优化方法和设备 |
CN116807478A (zh) * | 2023-06-27 | 2023-09-29 | 常州大学 | 一种驾驶员瞌睡开始状态检测方法、装置及设备 |
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101596101A (zh) * | 2009-07-13 | 2009-12-09 | 北京工业大学 | 依据脑电信号判定疲劳状态的方法 |
CN102274032A (zh) * | 2011-05-10 | 2011-12-14 | 北京师范大学 | 一种基于脑电信号的驾驶员疲劳检测系统 |
CN104146722A (zh) * | 2014-08-18 | 2014-11-19 | 吉林大学 | 一种基于头部信号的驾驶疲劳检测分级预警装置及方法 |
CN105559777A (zh) * | 2016-03-17 | 2016-05-11 | 北京工业大学 | 基于小波包和lstm型rnn神经网络的脑电识别方法 |
CN106327802A (zh) * | 2016-08-17 | 2017-01-11 | 浪潮电子信息产业股份有限公司 | 一种疲劳驾驶辨识装置、系统及方法 |
US20170032221A1 (en) * | 2015-07-29 | 2017-02-02 | Htc Corporation | Method, electronic apparatus, and computer readable medium of constructing classifier for disease detection |
CN106504475A (zh) * | 2016-10-15 | 2017-03-15 | 北海益生源农贸有限责任公司 | 基于脑电信号的疲劳驾驶检测方法 |
CN106919948A (zh) * | 2015-12-28 | 2017-07-04 | 西南交通大学 | 一种驾驶持续性注意水平的识别方法 |
CN107126224A (zh) * | 2017-06-20 | 2017-09-05 | 中南大学 | 一种基于Kinect的轨道列车驾驶员状态的实时监测和预警方法与系统 |
CN107341462A (zh) * | 2017-06-28 | 2017-11-10 | 电子科技大学 | 一种基于注意力机制的视频分类方法 |
WO2017218492A1 (en) * | 2016-06-14 | 2017-12-21 | The Trustees Of Columbia University In The City Of New York | Neural decoding of attentional selection in multi-speaker environments |
CN107495962A (zh) * | 2017-09-18 | 2017-12-22 | 北京大学 | 一种单导联脑电的睡眠自动分期方法 |
CN107697069A (zh) * | 2017-10-31 | 2018-02-16 | 上海汽车集团股份有限公司 | 汽车驾驶员疲劳驾驶智能控制方法 |
CN107961007A (zh) * | 2018-01-05 | 2018-04-27 | 重庆邮电大学 | 一种结合卷积神经网络和长短时记忆网络的脑电识别方法 |
CN108182470A (zh) * | 2018-01-17 | 2018-06-19 | 深圳市唯特视科技有限公司 | 一种基于注意模块的递归神经网络的用户识别方法 |
CN108272463A (zh) * | 2017-08-07 | 2018-07-13 | 上海交通大学 | 一种基于脑电信号的飞行员疲劳检测方法 |
CN108304917A (zh) * | 2018-01-17 | 2018-07-20 | 华南理工大学 | 一种基于lstm网络的p300信号检测方法 |
WO2018141061A1 (en) * | 2017-02-01 | 2018-08-09 | Cerebian Inc. | System and method for measuring perceptual experiences |
CN108388348A (zh) * | 2018-03-19 | 2018-08-10 | 浙江大学 | 一种基于深度学习和注意力机制的肌电信号手势识别方法 |
CN108446645A (zh) * | 2018-03-26 | 2018-08-24 | 天津大学 | 基于深度学习的车载人脸识别方法 |
-
2018
- 2018-09-04 CN CN201811027448.7A patent/CN109124625B/zh active Active
Patent Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101596101A (zh) * | 2009-07-13 | 2009-12-09 | 北京工业大学 | 依据脑电信号判定疲劳状态的方法 |
CN102274032A (zh) * | 2011-05-10 | 2011-12-14 | 北京师范大学 | 一种基于脑电信号的驾驶员疲劳检测系统 |
CN104146722A (zh) * | 2014-08-18 | 2014-11-19 | 吉林大学 | 一种基于头部信号的驾驶疲劳检测分级预警装置及方法 |
US20170032221A1 (en) * | 2015-07-29 | 2017-02-02 | Htc Corporation | Method, electronic apparatus, and computer readable medium of constructing classifier for disease detection |
CN106919948A (zh) * | 2015-12-28 | 2017-07-04 | 西南交通大学 | 一种驾驶持续性注意水平的识别方法 |
CN105559777A (zh) * | 2016-03-17 | 2016-05-11 | 北京工业大学 | 基于小波包和lstm型rnn神经网络的脑电识别方法 |
WO2017218492A1 (en) * | 2016-06-14 | 2017-12-21 | The Trustees Of Columbia University In The City Of New York | Neural decoding of attentional selection in multi-speaker environments |
CN106327802A (zh) * | 2016-08-17 | 2017-01-11 | 浪潮电子信息产业股份有限公司 | 一种疲劳驾驶辨识装置、系统及方法 |
CN106504475A (zh) * | 2016-10-15 | 2017-03-15 | 北海益生源农贸有限责任公司 | 基于脑电信号的疲劳驾驶检测方法 |
WO2018141061A1 (en) * | 2017-02-01 | 2018-08-09 | Cerebian Inc. | System and method for measuring perceptual experiences |
CN107126224A (zh) * | 2017-06-20 | 2017-09-05 | 中南大学 | 一种基于Kinect的轨道列车驾驶员状态的实时监测和预警方法与系统 |
CN107341462A (zh) * | 2017-06-28 | 2017-11-10 | 电子科技大学 | 一种基于注意力机制的视频分类方法 |
CN108272463A (zh) * | 2017-08-07 | 2018-07-13 | 上海交通大学 | 一种基于脑电信号的飞行员疲劳检测方法 |
CN107495962A (zh) * | 2017-09-18 | 2017-12-22 | 北京大学 | 一种单导联脑电的睡眠自动分期方法 |
CN107697069A (zh) * | 2017-10-31 | 2018-02-16 | 上海汽车集团股份有限公司 | 汽车驾驶员疲劳驾驶智能控制方法 |
CN107961007A (zh) * | 2018-01-05 | 2018-04-27 | 重庆邮电大学 | 一种结合卷积神经网络和长短时记忆网络的脑电识别方法 |
CN108304917A (zh) * | 2018-01-17 | 2018-07-20 | 华南理工大学 | 一种基于lstm网络的p300信号检测方法 |
CN108182470A (zh) * | 2018-01-17 | 2018-06-19 | 深圳市唯特视科技有限公司 | 一种基于注意模块的递归神经网络的用户识别方法 |
CN108388348A (zh) * | 2018-03-19 | 2018-08-10 | 浙江大学 | 一种基于深度学习和注意力机制的肌电信号手势识别方法 |
CN108446645A (zh) * | 2018-03-26 | 2018-08-24 | 天津大学 | 基于深度学习的车载人脸识别方法 |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020151075A1 (zh) * | 2019-01-23 | 2020-07-30 | 五邑大学 | 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法 |
CN110215206A (zh) * | 2019-06-12 | 2019-09-10 | 中国科学院自动化研究所 | 基于脑电信号的立体显示视疲劳评价方法、系统、装置 |
CN110244854A (zh) * | 2019-07-16 | 2019-09-17 | 湖南大学 | 一种多类别脑电数据识别的人工智能方法 |
CN110717389A (zh) * | 2019-09-02 | 2020-01-21 | 东南大学 | 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法 |
CN110717389B (zh) * | 2019-09-02 | 2022-05-13 | 东南大学 | 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法 |
CN110772267A (zh) * | 2019-11-07 | 2020-02-11 | 中国人民解放军63850部队 | 一种人体生理疲劳数据标记方法及疲劳识别模型 |
CN110772267B (zh) * | 2019-11-07 | 2022-04-19 | 中国人民解放军63850部队 | 一种人体生理疲劳数据标记方法及疲劳识别模型 |
CN110796207A (zh) * | 2019-11-08 | 2020-02-14 | 中南大学 | 一种疲劳驾驶检测方法及系统 |
CN110796207B (zh) * | 2019-11-08 | 2023-05-30 | 中南大学 | 一种疲劳驾驶检测方法及系统 |
CN111134666A (zh) * | 2020-01-09 | 2020-05-12 | 中国科学院软件研究所 | 一种多通道脑电数据的情绪识别方法及电子装置 |
CN111460892A (zh) * | 2020-03-02 | 2020-07-28 | 五邑大学 | 一种脑电图模式分类模型的训练方法、分类方法及系统 |
WO2021174618A1 (zh) * | 2020-03-02 | 2021-09-10 | 五邑大学 | 一种脑电图模式分类模型的训练方法、分类方法及系统 |
CN111543988A (zh) * | 2020-05-25 | 2020-08-18 | 五邑大学 | 一种自适应认知活动识别方法、装置及存储介质 |
CN111568446A (zh) * | 2020-05-28 | 2020-08-25 | 兰州大学 | 结合人口学注意力机制的便携式脑电抑郁检测系统 |
CN111657889A (zh) * | 2020-06-03 | 2020-09-15 | 大连理工大学 | 一种基于毫米波雷达的非接触式驾驶员疲劳检测方法 |
CN111772594A (zh) * | 2020-07-10 | 2020-10-16 | 北京航空航天大学 | 一种基于多传感器融合的体征状态监测与温度控制app系统 |
CN111951637A (zh) * | 2020-07-19 | 2020-11-17 | 西北工业大学 | 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法 |
CN113850931A (zh) * | 2021-11-29 | 2021-12-28 | 武汉大学 | 一种针对飞行异常的飞行特征提取方法 |
CN114343645A (zh) * | 2021-12-31 | 2022-04-15 | 北京烽火万家科技有限公司 | 一种脑机接口疲劳驾驶检测分类器优化方法和设备 |
CN116807478A (zh) * | 2023-06-27 | 2023-09-29 | 常州大学 | 一种驾驶员瞌睡开始状态检测方法、装置及设备 |
CN116807478B (zh) * | 2023-06-27 | 2024-07-12 | 常州大学 | 一种驾驶员瞌睡开始状态检测方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN109124625B (zh) | 2021-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109124625A (zh) | 一种驾驶员疲劳状态水平分级方法 | |
Yu et al. | A bearing fault diagnosis technique based on singular values of EEMD spatial condition matrix and Gath-Geva clustering | |
Chen et al. | A graphical modeling method for individual driving behavior and its application in driving safety analysis using GPS data | |
Shangguan et al. | An integrated methodology for real-time driving risk status prediction using naturalistic driving data | |
CN113743471B (zh) | 一种驾驶评估方法及其系统 | |
CN112274162B (zh) | 基于生成对抗域自适应的跨被试eeg疲劳状态分类方法 | |
CN112617835B (zh) | 一种基于迁移学习的多特征融合疲劳检测方法 | |
CN106919956A (zh) | 基于随机森林的脑电波年龄预测系统 | |
CN116341901B (zh) | 一种滑坡面域-单体危险性预警的一体化评价方法 | |
CN101987017A (zh) | 用于驾车司机警觉度测定的脑电信号识别检测方法 | |
CN102133100A (zh) | 基于稀疏重表示的脑电信号检测方法 | |
CN109649091A (zh) | 基于计算机视觉的汽车轮胎监测系统 | |
CN105629958A (zh) | 一种基于子时段mpca-svm的间歇过程故障诊断方法 | |
CN101738998B (zh) | 一种基于局部判别分析的工业过程监测系统及方法 | |
CN106128032A (zh) | 一种疲劳状态监测及预警方法及其系统 | |
CN112798290B (zh) | 基于频谱重构误差的燃气轮机异常状态监测方法 | |
CN111583592B (zh) | 一种基于多维卷积神经网络的实验环境安全预警方法 | |
CN104596780A (zh) | 一种动车组制动系统传感器故障的诊断方法 | |
CN110533007A (zh) | 一种桥梁车载应变影响线特征智能识别与提取方法 | |
Wei et al. | Driver's mental workload classification using physiological, traffic flow and environmental factors | |
CN113988123A (zh) | 一种基于自加权增量rvfl网络的脑电疲劳预测方法 | |
CN113796873B (zh) | 穿戴式动态心电信号分类方法及系统 | |
He et al. | [Retracted] An Individual Driving Behavior Portrait Approach for Professional Driver of HDVs with Naturalistic Driving Data | |
CN113723496A (zh) | 一种电抗器铁心松动故障诊断方法、装置和设备 | |
CN116714437B (zh) | 基于大数据的氢燃料电池汽车安全监控系统及监控方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |