CN110796207A - 一种疲劳驾驶检测方法及系统 - Google Patents

一种疲劳驾驶检测方法及系统 Download PDF

Info

Publication number
CN110796207A
CN110796207A CN201911086091.4A CN201911086091A CN110796207A CN 110796207 A CN110796207 A CN 110796207A CN 201911086091 A CN201911086091 A CN 201911086091A CN 110796207 A CN110796207 A CN 110796207A
Authority
CN
China
Prior art keywords
fatigue
parameters
data
driver
steering wheel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911086091.4A
Other languages
English (en)
Other versions
CN110796207B (zh
Inventor
刘通
黄毅翀
许虎城
段怡然
孙林林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201911086091.4A priority Critical patent/CN110796207B/zh
Publication of CN110796207A publication Critical patent/CN110796207A/zh
Application granted granted Critical
Publication of CN110796207B publication Critical patent/CN110796207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00Audible signalling systems; Audible personal calling systems
    • G08B3/10Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Business, Economics & Management (AREA)
  • Neurosurgery (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Emergency Management (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种疲劳驾驶检测方法及系统,其包括以下步骤:获取方向盘参数、车辆行驶参数和驾驶员心电信号;分别利用所述取方向盘参数、车辆行驶参数和驾驶员心电信号分析驾驶员疲劳状态,得到多种疲劳参数,将所述多种疲劳参数作为特征,将利用脑电波数据得到的真实疲劳值作为标签,一个特征与一个标签组成一个数据对,所有的数据对组成数据集,将所述数据集随机分为测试集和训练集,利用所述训练集训练机器学习模型,得到最终的疲劳判断模型;将实时采集的方向盘参数、车辆行驶参数和驾驶员心电信号输入所述疲劳判断模型,获得疲劳值。本发明将多个疲劳特征参数结合起来,克服了空间、光照、天气等影响,提高了检测算法的实时性和准确度。

Description

一种疲劳驾驶检测方法及系统
技术领域
本发明涉及疲劳驾驶检测技术,特别是一种疲劳驾驶检测方法及系统。
背景技术
有关疲劳驾驶检测的研究有很多,总的来说可以分为两大类。一种是通过驾驶员的生理信号或者驾驶行为来分析处疲劳,另外一种是通过车辆行驶过程中的特征来检测疲劳状态。现有的研究成果中具代表性的方法或产品有:
1)“PERCLOS"疲劳驾驶检测方法,指眼睛在单位时间内闭合时间所占比率,当驾驶员驾驶疲劳时,最直接明显的生理特征是眨眼频率加快、眼睛闭合程度大、点头频繁等。世界许多专家和学者经过反复试验后,提出了直接反映驾驶员疲劳程度的变化量。
2)美国研制的打瞌睡驾驶员侦探系统DDDS(The Drowsy Driver Detectionsystem)。该系统采用多普勒雷达和复杂的信号处理方法,可以获取驾驶员烦躁不安的情绪活动,眨眼频率和持续时间等疲劳数据,用以判断驾驶员是否或在打瞌睡。这种方案具有不确定性,因为驾驶员的情绪与多方面因素有关,所以目标信号不一定是由疲劳驾驶引起的。
3)方向盘监视装置S.A.M(Steering Attention Monitor)。这是一种监测方向盘非正常运动的传感器装置,适用于各种车辆。当方向盘正常运动时,传感器装置不报警,若方向盘超过4s不运动,S.A.M.就会发出报警声直到方向盘继续正常运动为止。这种方案的缺点是准确性不高,因为驾驶时的道路情况、周边环境也会影响方向盘的操作。
我国很早便开始对驾驶疲劳进行实验性的研究。近年来,许多学者在此方面也做出了许多贡献。深圳长途汽车公司的周鹏应用人体生理学、现代神经学、电子工程学分析了驾驶员疲劳事故隐患的起因,提出了消除疲劳事故隐患必须消除司机开车时的异常疲劳和大脑麻痹。根据这一思想他研究了佩戴于司机小腿部与手腕部的“司机疲劳事故预防器”。郑培、周一鸣提出了脸部活动图像识别的人脸皮肤色彩高斯模型,通过眼睛灰度模式匹配,成功地实现了驾驶员驾驶疲劳的测评,构建了基于PERCLOS的机动车驾驶员驾驶疲劳的实验测评系统。该系统初步具备了实时、非接触式检测的特性。
其中,吉林大学牛清宁在基于信息融合的疲劳驾驶检测方法研究一文中,利用方向盘转角数据、零速百分比以及眼动特征参数三大类数据,以搭建的支持向量机(SVM)检测模型的分类性能为评价准则,以序列浮动前向选择算法为搜索策略,建立了疲劳特征参数优化选择算法并搭建了疲劳驾驶通用检测模型,实现了疲劳驾驶在线实时检测。之后基于配对样本t检验和方差分析,量化了驾驶人个体差异性因素对疲劳驾驶检测的影响。基于驾驶人自身稳定性,利用正常驾驶数据提取参考均值,根据特征参数计算个性参数,利用个性参数搭建了自适应检测模型。在驾驶初期阶段利用通用检测模型检测并对自适应检测模型初始化,之后利用自适应检测模型检测驾驶人疲劳状态。这种融合方法可以达到很高的准确率,但是过程相对复杂,运用成本很高。
目前,公知的疲劳驾驶检测技术都是从车辆行为特征或者驾驶员生理特征对驾驶员的疲劳程度进行分析。
疲劳检测最好的方法是通过脑电波进行检测,但是脑电波检测的传感器需要戴在头部进行检测,容易引起驾驶者不适,而且仪器很贵;另外还有眼睑检测,但是眼睑检测检测的实时性不是很好,检测效果受环境影响较大。因此,脑电波检测和眼睑检测都不适合在真实的驾驶环境下进行。
除此以外,还有通过心电信号进行检测、通过方向盘参数和通过车辆行驶参数进行检测等适合在真实驾驶环境下进行的方式,但是准确率大多不够高。
发明内容
本发明所要解决的技术问题是,针对现有技术不足,提供一种一种疲劳驾驶检测方法及系统,提高检测准确率。
为解决上述技术问题,本发明所采用的技术方案是:一种疲劳驾驶检测方法,包括以下步骤:
获取方向盘参数、车辆行驶参数和驾驶员心电信号;
分别利用所述取方向盘参数、车辆行驶参数和驾驶员心电信号分析驾驶员疲劳状态,得到多种疲劳参数,将所述多种疲劳参数作为特征,将利用脑电波数据得到的真实疲劳值作为标签,一个特征与一个标签组成一个数对,所有的数据对组成数据集,将所述数据集随机分为测试集和训练集,利用所述训练集训练机器学习模型,得到最终的疲劳判断模型。本发明中,可以利用测试集测试训练后得到模型的准确度;若模型准确度未达到设定要求,则可以改进模型结构,并获取更多的数据对模型进行优化训练。
下述是训练过程:
1.首先选择一种模型包括门控循环神经网络,SVM,随机森林。(未经训练)2.将上述实验测得的脑电波数据作为标签;将所有疲劳参数作为特征。一个特征和一个标签组成一个数据对,所有的数据对构成数据集,把数据集随机分为训练集和测试集,把训练集均分成5份,把其中四份作为小的训练集s_train_x,s_train_y另外一份作为小的测试集s_test,测试集test不变。
3.以s_train_x,s_train_y训练模型,训练出的模型预测s_test得出对应的s_pred,再预测test得出y_pred。
4.利用训练集再选择另外一份作为小的测试集s_test_x,其他四份作为训练集训练模型rf。
5.重复2,3,4步骤五次。得到五个s_pred和五个y_pred。
五个s_pred作为一个train_X,原始的train_y作为train_Y训练模型得到模型G,五个y_pred取个平均值作为新的test_X,把test_X带入到模型G中得出预测结果。
6.将上述模型按照类似的方法叠加三层,层与层之间采用类似于dropout的随机连接算法,降低拟合度,提高精准度。
将实时采集的方向盘参数、车辆行驶参数和驾驶员心电信号输入所述疲劳判断模型,获得疲劳值。
所述方向盘参数包括方向盘转角数据;利用所述方向盘转角获取疲劳参数的具体实现过程包括:
1)获取方向盘的转角数据;
2)对所述转角数据进行预处理,去除转角数据的噪声;
3)求取去噪之后的转角数据的方差,并对该方差进行归一化处理,得到第一疲劳参数。
所述车辆行驶参数包括零速百分比、车速、加速度;利用零速百分比获取疲劳参数的实现过程包括:设定时间窗口T,在每一个测量时间点,测出时间窗口T内的零速百分比,并对该零速百分比进行归一化处理,得到第二疲劳参数;利用车速获取疲劳参数的实现过程包括:测量车速变化的标准差,将所述标准差归一化,作为第三疲劳参数利用加速度获取疲劳参数的实现过程包括:将加速度的频谱,幅值,加速度的能量信号比进行归一化,作为第四疲劳参数。
利用所述驾驶员心电信号获取疲劳参数的具体实现过程包括:获取驾驶员心电数据,对所述心电数据进行去噪处理,提取去噪后的心电数据的R波,通过R波位置获取P-R间期,利用所述P-R间期进行心率变异性分析,获得疲劳程度数据。
脑电波数据得到的真实疲劳值result计算公式为:
result=(alpha+alpha/theta+alpha/beta)/3*(((meditation/attention-1)/3)+1);其中,alpha、theta、beta的取值区间均为0~100;meditation/attention的取值区间为0.6~1.8。
当疲劳值小于45时,疲劳等级为正常;当疲劳值介于45-60之间,疲劳等级为轻度疲劳;当疲劳值大于60时,疲劳等级为重度疲劳。
与现有技术相比,本发明所具有的有益效果为:本发明集脑电波、心电信号、方向盘加速度多种检测于一体,通过集成学习找到心电信号、方向盘、脑电波检测到的疲劳系数的联系,并建立驾驶者自己的集成学习模型。利用传感器技术和脑电波检测技术检测驾驶员的生理特征和车辆行驶特征,可以实时的对驾驶人状态进行检测。本发明提取最能表征疲劳的多个特征参数,采用信号融合处理技术,将多个疲劳特征参数结合起来,克服了空间、光照、天气等影响,提高了检测算法的实时性和准确度。
附图说明
图1为本发明系统架构图;
图2为本发明基于侧向加速度的疲劳检测技术路线图;
图3为本发明基于车速变化的疲劳检测技术路线图;
图4为本发明基于心电信号的疲劳检测技术路线图;
图5为本发明心电信号采集的硬件结构图;
图6为本发明差分阈值法检测R波流程图;
图7为本发明HRV分析流程图;
图8为本发明Stacked Generalization模型结构图;
图9为本发明判断疲劳的系统界面。
具体实施方式
本发明通过对驾驶员生理指标和行为特征的综合分析,实现对驾驶员疲劳状态的实时监测。据相关研究表明,脑电波是测量人体疲劳状态最为准确的生理指标,但是脑电波的测量需要在驾驶员头上佩戴相关的测量仪器,这可能给驾驶员带来不适,增加安全隐患。因此,该系统采用人体心电信号作为生理指标,和驾驶员操作方向盘的快慢和车辆的行驶轨迹作为行为参数,进行多元数据融合,进而分析驾驶员的疲劳状态。
系统架构分三层:传感器层、数据处理层和应用层。
其中:
传感器层:负责方向盘参数、车辆行驶参数和驾驶员心电信号的获取。
数据处理层:负责数据的预处理,比如心电信号去噪等。
应用层:负责判定驾驶员疲劳状态后相应事件的实现。例如:对驾驶员进行语音提醒、播放音乐缓解疲劳等。
本发明主要思路如下:通过方向盘参数对驾驶员疲劳状态进行判定;通过车辆行驶轨迹对驾驶员疲劳状态进行判定;通过心电信号对驾驶员疲劳状态进行判定;最终通过集成学习的方法,融合上述三种数据后,进行疲劳状态的综合判定。
1、通过运行轨迹对驾驶员疲劳状态进行判定
(1)侧向加速度数据处理
驾驶员在疲劳时会对汽车的控制能力下降,方向盘的左右摆动的幅度会变大,然后在一段时间内不会有明显变化。并且操作方向盘的频率会下降。所以方向盘的转角时域,频域,幅值域可以作为疲劳驾驶的评价指标。
a)首先,我们将三轴加速度计陀螺仪MPU9250芯片姿态角度测量传感器JY901放置于方向盘上,测量驾驶过程中的水平位移变化。通过道路的变换,获取车辆相对于道路轨迹的矢量加速度。
b)接着,我们使用卡尔曼滤波去噪,他的流程主要就是估计和更新两大部分:由系统本身的性质我们得到状态空间方程,从而可以根据当前状态的估计对系统下一状态进行初步估计。借助各类传感,测量装置我们可以对状态进行测量,得到z;根据LMS计算出当前的卡尔曼增益K后,再利用这些变量对下一状态的预估以及variance进行更新。最后进入新的时刻进行循环计算。
c)然后,我们对清醒与疲劳两种状态下,分析对应的方差与均值的变化。发现,清醒状态与疲劳状态下的均值没有多大的改变,这是由于方向盘转角正负幅度,会随着保证汽车位置相互抵消。而方向盘的转角方差疲劳状态下,明显高于清醒状态下。
d)于是将方差大小进行归一化处理,作为疲劳程度的一组数据作为集成学习的输入。
(2)基于零速百分比
在疲劳驾驶时,由于方向盘的修正幅度会减少,所以方向盘不动的时间点,所以在这里检测方向盘持续不动的操作特性。
Figure BDA0002265451560000061
其中,n为角速度小于0.1度每秒的点,N为总时间点。
通过实验数据,我们测出将时间窗口定为20s最为合适。在每一个测量点,测出在这之前20秒内的零速百分比,做归一化处理,作为集成学习的疲劳系数输入。
(3)车速变化特征数据处理
研究表明,驾驶者对车速的控制能力一定程度上反映了驾驶者的疲劳程度。
a)加速度将由九轴加速度计陀螺仪MPU9250芯片姿态角度测量传感器JY901进行测量,路型将由GPS模块NEO-6M进行测量。
b)车速变化特征:通过测量车速的标准差,车速标准差反映了驾驶者控制车速的能力,车速越平稳,标准差越小。通过实验中的观察可得,驾驶者为了保持清醒,会有意识的换挡,加减油门。这时疲劳驾驶时的标准差与道路线型无关。
(4)加速度特征分析:
a)加速度是反映车速是否平缓的一项指标。通过傅里叶变换可以获得不同状态下的车速变化的平缓程度。可以从实验中得出结论,随着疲劳程度的上升,加速度频谱逐渐由低频转变为高频。频谱的幅值会相应减小。
b)通过对加速度信号能量比的分析:
Figure BDA0002265451560000071
c)发现在疲劳驾驶的情况下,加速度的信号能量值会明显降低。所以也可以作为疲劳检测的一个参数输入
d)输出疲劳状态:可以将车速变化的标准差,加速度的频谱,幅值,加速度的能量信号比进行归一化,作为集成学习中判断疲劳程度的参数输入。
2、通过心电信号对驾驶员疲劳状态进行判定
本发明对国内外关于疲劳检测研究的相关文献进行了调研和查阅,学习并研究了心电信号的形成机理和生理特点,在此基础上,提出了基于心率变异性的疲劳检测指标。最终确定了如下的基于心电信号的疲劳检测技术路线:
对于心电信号的采集,目前广泛采用的系统设计方案主要有2种:一种是基于系统集成的芯片级电路设计;另一种是利用现有的传感器和软硬件资源丰富的计算机搭建系统,考虑到前者开发周期长、成本高,我们采用后者。信号的采集采用XDZ-30102-ACC心率传感器,通过HDXZ-30102-ACC评估板对心电信号进行A/D转换,将采集信号送入计算机中进行分析。
对于心电信号的去噪处理,心电信号的噪声主要包括:肌电(EMG)噪声、电源线干扰、基线漂移。该系统采用数字滤波器,相较于硬件电路滤波而言,数字滤波器具有精度高、灵活性强、一台计算机能同时处理多路信号等有点。但是考虑到在使用经典数字滤波器对心电信号进行预处理时,同时会产生两个问题:一是相位移动,信号子啊滤波前后的信息定时有所改变;二是振铃现象,就是指信号在瞬变后产生震荡现象。为解决以上问题,我们采用小波变换,相比于傅里叶变换和短时傅里叶变换具有更好的分析性能。
R波分析,数据经过去噪处理之后能够得到较为光滑的波形,就可以提取心电图波形的特征,这是能够正常进行心率变异性(HRV)分析的关键。比较常见的R波检测算法有:阈值法、小波分析法和神经网络法。考虑到系统的实时性要求较高,我们采用差分阈值法进行QRS特征波的检测,进而通过差分方程提取R波。最后通过R波位置,获取R-R间期。
本发明中,心率传感器嵌入至方向盘里面,只要驾驶员的大拇指接触到传感器感应模块,我们便可以实时收集心电数据。从而通过处理输出心电判断的疲劳状态。在模拟驾驶过程中,由于不能对方向盘进行改造,所以将心率传感器佩戴于手腕收集心电数据。
HRV分析,即心率变异性分析,是指通过对R-R间期的变化情况进行分析,对人体疲劳状况进行判定。HRV的主要分析方法有:时域分析法、频域分析法和非线性动力学分析法。该系统将采用频域分析的方法对人体疲劳状态进行判定。
输出疲劳状态,判定人体疲劳之后,将疲劳程度传入下一模块(即机器学习模型)。
3、通过集成学习的方法进行疲劳状态的综合判定
(1)基于Stacked Generalization学习的模型分析
用脑电波来判断是否疲惫是最准确的方法。但是在驾驶过程中,脑电波检测会很麻烦。本发明通过集成学习来找到心电信号检测到的疲劳参数,方向盘检测到的疲劳参数与脑电波检测到的疲劳系数的联系,并建立驾驶者自己的集成学习模型,可以有效提高上述三种方法对疲劳检测的准确性。
因此,本发明将这些参数用做Stacked Generalization学习模型的参数输入。进而结合Stacked Generalization学习,考虑到这些参数之间有时间序列的影响,所以在学习器中加入门控循环神经网络。在其中放入SVM可以避免过学习问题,泛化能力强。最后在每一层学习器之间采用dropout随机连接,可以有效防止过拟合。
(2)基于Stacked Generalization学习摄入模型的建立
(3)详细结构
第一层学习器为门控循环神经网络。其中更新门,重置门,隐藏层激活状态和当前时刻的隐藏层的状态具体实现如下:
Figure BDA0002265451560000081
rt i=σ(Wrxt+Urht-1)i
Figure BDA0002265451560000082
Figure BDA0002265451560000083
其中,W,U为权重矩阵,h是隐藏层状态,r是重置门状态,z是更新门状态,h是输入的隐藏层状态。
在第二层使用SVM建立模型,即:
f1={SVM11,SVM12,SVM13}
直接设定三个不同的不敏感损失系数ε,在训练过程中对各个算法的惩罚系数C和核宽度δ进行寻优,以便于缩短训练时间。
在第三层将使用随机森林学习器。
元学习器将使用加权二次线性模型,如下所示:
Figure BDA0002265451560000091
Figure BDA0002265451560000092
(4)脑电数据采集
根据最新的研究表明,人的脑电波分4个频段,即得尔塔(δ)为1~3Hz、西塔(θ)为4~7Hz、阿尔法(α)为8~13Hz、贝塔(β)为14~30Hz。其中α脑波,是当人们放松时的脑波。β脑波,是当人们处于清醒、专心、保持警觉的状态。θ脑波,是人们沉于幻想或刚入眠时发出的脑波。δ脑波,是人们沉睡无梦时发出的脑波。
首先利用美国神念科技的脑电测试产品Mindwave实现脑电数据的采集,结合ThinkGear模块技术实现对脑电波信号的实时采集,并可以将混在里面的噪声进行过获取的原始脑电波数据过滤,将原始生物电信号进行放大,获得当前的四种脑波。
使用自适应补偿算法信号在正常情况下波动和差异进行常量动态补偿,进行滤波、去噪,使脑电信号的特征值更加明显。然后使用滑动均值滤波算法进行特征提取。
其中疲劳程度可以通过算法获得:
result=(alpha+alpha/theta+alpha/beta)/3*(((meditation/attention-1)/3)+1)
其中:
Alpha、theta、beta的取值区间为0~100;0:清醒100:疲劳20:一般;
meditation/attention的取值大约在0.6~1.8之间0.6表示清醒;
meditation冥想度越高表示越疲劳;
attention专注度越高表示越专注,越清醒。
最后本发明把集成学习算法以及其他算法程序输入到树莓派中,对上面收集到的心电疲劳参数、方向盘角速度得到的疲劳参数以及车辆行驶得到的疲劳参数进行处理和融合,之后利用脑电波得到的真实疲劳值去训练模型,得到判断驾驶者疲劳的模型,输出疲劳状态。
4、实施例
(1)训练数据的采集
表1数据特征与标签训练部分数据
注释:
其中拥挤程度:严重拥堵为0.2,拥挤为0.4,缓行为0.6,通畅为0.8
路型:其中直行为0.8,掉头为0.2,其余路型按照角度依次罗列(2)结果测试
表2数据特征与标签测试部分数据
Figure BDA0002265451560000111
本发明判断驾驶员是否疲劳的系统界面见图9,经过传感器收集数据以及树莓派对数据进行处理,我们可以实时输出驾驶员疲劳状态。图9左边是驾驶员的心率数据;中间显示的是方向盘的零速百分比,当驾驶员转动方向盘时曲线会立即下降,而方向盘不转动时,曲线值会稳定在很高的一个值;右侧是车辆行驶的侧向加速度以及车速变化特征。系统界面的最上方显示总的疲劳值,并且经过多次的实验,本发明把疲劳等级划分为三个。当疲劳值小于45时,疲劳等级为正常,此时没有提醒措施。当疲劳值介于45-60之间,疲劳等级为轻度疲劳,系统播放音乐。当疲劳值大于60时,疲劳等级为重度疲劳,系统会进行语音提醒。具体划分如表3所示。
表3疲劳等级划分与提醒措施
Figure BDA0002265451560000112
通过数据分析可知检测装置有很高的准确率,之后我们根据训练出的疲劳程度通过蓝牙音箱进行语音提醒。我们把驾驶员驾驶分为四个状态:正常驾驶、接近疲劳驾驶、疲劳驾驶与深度疲劳驾驶。对于接近疲劳驾驶,我们通过蓝牙影响播放提神的音乐以防止进入疲劳状态。对于疲劳驾驶状态以及深度疲劳驾驶状态我们通过蓝牙音箱播放语音提醒,如:你已经进入疲劳状态,请安全驾驶!
疲劳表现特征因人而异,本发明实现了智能化,能够自主学习、推断。通过集成学习训练驾驶者拥有自己的集成学习模型,有效提高了对疲劳检测的准确性。能够实时的对驾驶人状态进行检测,且受外界环境影响较小。克服空间、光照、天气等影响,提高检测算法的实时性和准确度。该检测装置成本不高且检测效果较为理想,可有效满足市场要求,有利于产品的进一步推广和实际应用。

Claims (8)

1.一种疲劳驾驶检测方法,其特征在于,包括以下步骤:
获取方向盘参数、车辆行驶参数和驾驶员心电信号;
分别利用所述取方向盘参数、车辆行驶参数和驾驶员心电信号分析驾驶员疲劳状态,得到多种疲劳参数,将所述多种疲劳参数作为特征,将利用脑电波数据得到的真实疲劳值作为标签,一个特征与一个标签组成一个数据对,所有的数据对组成数据集,将所述数据集随机分为测试集和训练集,利用所述训练集训练机器学习模型,得到最终的疲劳判断模型;
将实时采集的方向盘参数、车辆行驶参数和驾驶员心电信号输入所述疲劳判断模型,获得疲劳值。
2.根据权利要求1所述的疲劳驾驶检测方法,其特征在于,所述方向盘参数包括方向盘转角数据;利用所述方向盘转角获取疲劳参数的具体实现过程包括:
1)获取方向盘的转角数据;
2)对所述转角数据进行预处理,去除转角数据的噪声;
3)求取去噪之后的转角数据的方差,并对该方差进行归一化处理,得到第一疲劳参数。
3.根据权利要求1所述的疲劳驾驶检测方法,其特征在于,所述车辆行驶参数包括零速百分比、车速、加速度;利用零速百分比获取疲劳参数的实现过程包括:设定时间窗口T,在每一个测量时间点,测出时间窗口T内的零速百分比,并对该零速百分比进行归一化处理,得到第二疲劳参数;利用车速获取疲劳参数的实现过程包括:测量车速变化的标准差,将所述标准差归一化,作为第三疲劳参数利用加速度获取疲劳参数的实现过程包括:将加速度的频谱,幅值,加速度的能量信号比进行归一化,作为第四疲劳参数。
4.根据权利要求1所述的疲劳驾驶检测方法,其特征在于,利用所述驾驶员心电信号获取疲劳参数的具体实现过程包括:获取驾驶员心电数据,对所述心电数据进行去噪处理,提取去噪后的心电数据的R波,通过R波位置获取P-R间期,利用所述P-R间期进行心率变异性分析,获得疲劳程度数据。
5.根据权利要求1~4之一所述的疲劳驾驶检测方法,其特征在于,所述机器学习模型为Stacked Generalization学习模型。
6.根据权利要求1所述的疲劳驾驶检测方法,其特征在于,脑电波数据得到的真实疲劳值result计算公式为:
result=(alpha+alpha/theta+alpha/beta)/3*(((meditation/attention-1)/3)+1);其中,alpha、theta、beta的取值区间均为0~100;meditation、attention的取值区间均为0.6~1.8。
7.根据权利要求1所述的疲劳驾驶检测方法,其特征在于,当疲劳值小于45时,疲劳等级为正常;当疲劳值介于45-60之间,疲劳等级为轻度疲劳;当疲劳值大于60时,疲劳等级为重度疲劳。
8.一种疲劳驾驶检测系统,其特征在于,包括:
传感器层,用于获取方向盘参数、车辆行驶参数和驾驶员心电信号;
数据处理层,用于分别利用所述取方向盘参数、车辆行驶参数和驾驶员心电信号分析驾驶员疲劳状态,得到多种疲劳参数,将所述多种疲劳参数作为特征,将利用脑电波数据得到的真实疲劳值作为标签,一个特征与一个标签组成一个数对,所有的数据对组成数据集,将所述数据集随机分为测试集和训练集,利用所述训练集训练机器学习模型得到最终的疲劳判断模型;
应用层,用于将实时采集的方向盘参数、车辆行驶参数和驾驶员心电信号输入所述疲劳判断模型,获得疲劳值。
CN201911086091.4A 2019-11-08 2019-11-08 一种疲劳驾驶检测方法及系统 Active CN110796207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911086091.4A CN110796207B (zh) 2019-11-08 2019-11-08 一种疲劳驾驶检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911086091.4A CN110796207B (zh) 2019-11-08 2019-11-08 一种疲劳驾驶检测方法及系统

Publications (2)

Publication Number Publication Date
CN110796207A true CN110796207A (zh) 2020-02-14
CN110796207B CN110796207B (zh) 2023-05-30

Family

ID=69443306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911086091.4A Active CN110796207B (zh) 2019-11-08 2019-11-08 一种疲劳驾驶检测方法及系统

Country Status (1)

Country Link
CN (1) CN110796207B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340543A (zh) * 2020-02-25 2020-06-26 上海大学 一种基于注意力机制的细粒度打车需求预测方法
CN111932829A (zh) * 2020-08-14 2020-11-13 北京智华通科技有限公司 一种预防疲劳驾驶设施效用测试方法及系统
CN111968341A (zh) * 2020-08-21 2020-11-20 无锡威孚高科技集团股份有限公司 一种疲劳驾驶检测系统及方法
CN112233276A (zh) * 2020-10-13 2021-01-15 重庆科技学院 一种用于疲劳状态识别的方向盘转角统计特征融合方法
CN112381015A (zh) * 2020-11-19 2021-02-19 联通智网科技有限公司 疲劳度识别方法、装置和设备
CN113012394A (zh) * 2021-03-17 2021-06-22 合肥工业大学 融合心率和方向盘动作特征的疲劳驾驶预警系统及方法
CN113288168A (zh) * 2021-05-21 2021-08-24 天津工业大学 一种智能可穿戴疲劳监测及预警系统
CN113792599A (zh) * 2021-08-10 2021-12-14 东风电驱动系统有限公司 一种疲劳驾驶预警系统的验证方法及验证装置
CN114298189A (zh) * 2021-12-20 2022-04-08 深圳市海清视讯科技有限公司 疲劳驾驶检测方法、装置、设备及存储介质
CN114299756A (zh) * 2021-12-29 2022-04-08 盐城工学院 一种基于物联网和大数据分析的公交车智慧安全管理系统
CN114435373A (zh) * 2022-03-16 2022-05-06 一汽解放汽车有限公司 疲劳驾驶检测方法、装置、计算机设备和存储介质
CN114781439A (zh) * 2022-03-29 2022-07-22 应脉医疗科技(上海)有限公司 模型获取系统、手势识别方法、装置、设备及存储介质
CN116129409A (zh) * 2023-04-11 2023-05-16 钧捷智能(深圳)有限公司 一种基于运动分析的驾驶员监测方法及系统
CN116168508A (zh) * 2022-05-20 2023-05-26 海南大学 一种人机共驾的驾驶疲劳检测及预警控制方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006000166A1 (en) * 2004-06-29 2006-01-05 Miloslav Pavelka Method and device for detecting operator fatigue or quality
CN103473890A (zh) * 2013-09-12 2013-12-25 合肥工业大学 基于多信息的驾驶员疲劳实时监测系统及监测方法
CN108765876A (zh) * 2018-05-31 2018-11-06 东北大学 基于多模信号的驾驶疲劳深度分析预警系统及方法
CN109124625A (zh) * 2018-09-04 2019-01-04 大连理工大学 一种驾驶员疲劳状态水平分级方法
CN109512442A (zh) * 2018-12-21 2019-03-26 杭州电子科技大学 一种基于LightGBM的EEG疲劳状态分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006000166A1 (en) * 2004-06-29 2006-01-05 Miloslav Pavelka Method and device for detecting operator fatigue or quality
CN103473890A (zh) * 2013-09-12 2013-12-25 合肥工业大学 基于多信息的驾驶员疲劳实时监测系统及监测方法
CN108765876A (zh) * 2018-05-31 2018-11-06 东北大学 基于多模信号的驾驶疲劳深度分析预警系统及方法
CN109124625A (zh) * 2018-09-04 2019-01-04 大连理工大学 一种驾驶员疲劳状态水平分级方法
CN109512442A (zh) * 2018-12-21 2019-03-26 杭州电子科技大学 一种基于LightGBM的EEG疲劳状态分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鲁松;乔陆;: "驾驶员疲劳状态检测仿真研究" *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340543A (zh) * 2020-02-25 2020-06-26 上海大学 一种基于注意力机制的细粒度打车需求预测方法
CN111340543B (zh) * 2020-02-25 2024-03-22 上海大学 一种基于注意力机制的细粒度打车需求预测方法
CN111932829B (zh) * 2020-08-14 2022-04-05 北京智华通科技有限公司 一种预防疲劳驾驶设施效用测试方法及系统
CN111932829A (zh) * 2020-08-14 2020-11-13 北京智华通科技有限公司 一种预防疲劳驾驶设施效用测试方法及系统
CN111968341A (zh) * 2020-08-21 2020-11-20 无锡威孚高科技集团股份有限公司 一种疲劳驾驶检测系统及方法
CN112233276A (zh) * 2020-10-13 2021-01-15 重庆科技学院 一种用于疲劳状态识别的方向盘转角统计特征融合方法
CN112381015A (zh) * 2020-11-19 2021-02-19 联通智网科技有限公司 疲劳度识别方法、装置和设备
CN113012394A (zh) * 2021-03-17 2021-06-22 合肥工业大学 融合心率和方向盘动作特征的疲劳驾驶预警系统及方法
CN113288168A (zh) * 2021-05-21 2021-08-24 天津工业大学 一种智能可穿戴疲劳监测及预警系统
CN113792599A (zh) * 2021-08-10 2021-12-14 东风电驱动系统有限公司 一种疲劳驾驶预警系统的验证方法及验证装置
CN114298189A (zh) * 2021-12-20 2022-04-08 深圳市海清视讯科技有限公司 疲劳驾驶检测方法、装置、设备及存储介质
CN114299756A (zh) * 2021-12-29 2022-04-08 盐城工学院 一种基于物联网和大数据分析的公交车智慧安全管理系统
CN114435373A (zh) * 2022-03-16 2022-05-06 一汽解放汽车有限公司 疲劳驾驶检测方法、装置、计算机设备和存储介质
CN114435373B (zh) * 2022-03-16 2023-12-22 一汽解放汽车有限公司 疲劳驾驶检测方法、装置、计算机设备和存储介质
CN114781439A (zh) * 2022-03-29 2022-07-22 应脉医疗科技(上海)有限公司 模型获取系统、手势识别方法、装置、设备及存储介质
CN116168508A (zh) * 2022-05-20 2023-05-26 海南大学 一种人机共驾的驾驶疲劳检测及预警控制方法及装置
CN116168508B (zh) * 2022-05-20 2023-10-24 海南大学 一种人机共驾的驾驶疲劳检测及预警控制方法及装置
CN116129409A (zh) * 2023-04-11 2023-05-16 钧捷智能(深圳)有限公司 一种基于运动分析的驾驶员监测方法及系统

Also Published As

Publication number Publication date
CN110796207B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN110796207B (zh) 一种疲劳驾驶检测方法及系统
Jiao et al. Driver sleepiness detection from EEG and EOG signals using GAN and LSTM networks
Wang et al. A driving fatigue feature detection method based on multifractal theory
Lee et al. Standalone wearable driver drowsiness detection system in a smartwatch
Li et al. A novel learning model of driver fatigue features representation for steering wheel angle
CN101583313B (zh) 觉醒状态判断模型生成装置、觉醒状态判断装置以及警告装置
Daza et al. Drowsiness monitoring based on driver and driving data fusion
CN101491443A (zh) 驾驶人疲劳与车辆行驶轨迹的关系模型
CN105877766A (zh) 一种基于多生理信号融合的精神状态检测系统及方法
Lu et al. XGBoost algorithm-based monitoring model for urban driving stress: Combining driving behaviour, driving environment, and route familiarity
CN113743471B (zh) 一种驾驶评估方法及其系统
CN105405253A (zh) 一种驾驶员疲劳状态的监测方法及监测装置
Bittner et al. Detecting of fatigue states of a car driver
Arefnezhad et al. Driver drowsiness classification using data fusion of vehicle-based measures and ECG signals
Liu et al. A review of driver fatigue detection: Progress and prospect
Piaseczna et al. Evaluation of intoxication level with EOG analysis and machine learning: a study on driving simulator
Lee et al. Development of three driver state detection models from driving information using vehicle simulator; normal, drowsy and drunk driving
Rosipal et al. EEG-based drivers’ drowsiness monitoring using a hierarchical Gaussian mixture model
CN109858178A (zh) 一种基于智能手环的营运车辆驾驶员疲劳预警方法
Yang et al. Driver drowsiness detection through a vehicle's active probe action
Kang et al. Driver emotional and perceptual evaluation over various highway horizontal curves
Chandrasena et al. Driver's Drowsiness Detecting and Alarming System
Fujita et al. Driver drowsiness detection using a gyroscope attached to a seatbelt
Fu et al. Detecting drowsiness in driving simulation based on EEG
Sekar et al. Drowsiness and real-time road condition detection using heart rate sensor, accelerometer and gyroscope

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant