CN110901385A - 一种基于驾驶员疲劳状态的主动限速方法 - Google Patents
一种基于驾驶员疲劳状态的主动限速方法 Download PDFInfo
- Publication number
- CN110901385A CN110901385A CN201911407278.XA CN201911407278A CN110901385A CN 110901385 A CN110901385 A CN 110901385A CN 201911407278 A CN201911407278 A CN 201911407278A CN 110901385 A CN110901385 A CN 110901385A
- Authority
- CN
- China
- Prior art keywords
- steering wheel
- fatigue
- driver
- value
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012544 monitoring process Methods 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000003062 neural network model Methods 0.000 claims description 15
- 241001282135 Poromitra oscitans Species 0.000 claims description 10
- 206010048232 Yawning Diseases 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000004397 blinking Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000006399 behavior Effects 0.000 description 26
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000004399 eye closure Effects 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K31/00—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
Abstract
一种基于驾驶员疲劳状态的主动限速方法,包括:实时监测驾驶员疲劳等级;当驾驶员疲劳等级为轻度疲劳驾驶时,发出声光报警信号,以提醒驾驶员正处于疲劳驾驶状态;当驾驶员疲劳等级为轻度疲劳驾驶时,实时拦截加速踏板位置传感器发送给车载电脑ECU的油门开度值信号,并采集车辆实时速度;当车辆实时速度小于等于预设的限制速度时,向车载电脑ECU实时转发拦截到的油门开度值信号;当车辆实时速度大于预设的限制速度时,向车载电脑ECU发送所述限制速度对应的油门开度值信号给车载电脑ECU。相比于现有技术的紧急刹车,本发明是使车辆速度逐渐下降在限制速度以内,从而解决现有的因紧急刹车可能造成的连环追尾事故。
Description
技术领域
本发明涉及紧急制动领域,具体涉及一种基于驾驶员疲劳状态的主动限速方法。
背景技术
国家统计局数据显示,我国近五年来每年交通事故发生次数均超过12万起,其中货车交通事故尤为严重,2016年全国共发生货车责任道路交通事故5.04万起,造成2.5万人死亡、4.68万人受伤,货车事故率高于普通机动车辆,且造成的损失也高于平均水平。其中,因为疲劳驾驶造成的交通运输事故每年给人民生命财产安全造成重大损失,各种研究表明,在所有道路事故中,约有20%与疲劳有关,在某些道路上高达50%。我国有关部门对货运车辆驾驶人抽样调查结果显示:84%货运车辆驾驶人日均驾驶时间超过8小时,其中40%超过12 小时,64%货运车辆只配备了1名驾驶人。
故,疲劳驾驶检测系统可帮助防止因驾驶员困倦而引起的事故。目前市面上单一的疲劳驾驶检测手段存在诸多弊端,比如利用驾驶行为特征分析时,总线数据种类多、数据量大,疲劳驾驶的特征行为极难识别和提取,而且每个司机驾驶习惯不一样,导致无法智能识别;利用面部状态识别的方法,能够有效识别驾驶员闭眼、打哈欠、打电话等动作,但是在舱内光线环境较差或摄像头被遮挡时无法正常工作。
发明内容
为解决上述技术问题,本发明提供一种基于驾驶员疲劳状态的主动限速方法,所述方法包括:
实时监测驾驶员疲劳等级,所述疲劳等级包括非疲劳驾驶、轻度疲劳驾驶和深度疲劳驾驶;
当驾驶员疲劳等级为轻度疲劳驾驶时,发出声光报警信号,以提醒驾驶员正处于疲劳驾驶状态;
当驾驶员疲劳等级为轻度疲劳驾驶时,实时拦截加速踏板位置传感器发送给车载电脑ECU的油门开度值信号,并采集车辆实时速度;
当车辆实时速度小于等于预设的限制速度时,向车载电脑ECU实时转发拦截到的油门开度值信号;当车辆实时速度大于预设的限制速度时,向车载电脑ECU发送所述限制速度对应的油门开度值信号给车载电脑ECU。
进一步地,实时监测驾驶员疲劳等级具体为:
采集驾驶员的人脸动态图像;
从采集的所述人脸动态图像中识别眼部闭合特征和嘴部张合特征;
从车辆CAN总线获取并解析车辆运行信息,通过车辆运行信息计算出驾驶行为特征;
通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级。
进一步地,所述人脸动态图像为可见光图像或红外图像。
进一步地,所述眼部闭合特征包括一个时间窗内的最长闭眼时间、一个时间窗内的眨眼频率和一个时间窗内的闭眼时间百分比,所述嘴部张合特征包括一个时间窗内的最长嘴部张开时间 、一个时间窗内的打哈欠频率和一个时间窗内的嘴部张开时间百分比。
进一步地,所述最长闭眼时间、所述闭眼时间百分比、所述最长嘴部张开时间和所述嘴部张开时间百分比对应的时间窗为10秒,所述眨眼频率和打哈欠频率对应的时间窗为60秒。
进一步地,所述车辆运行信息包括方向盘转角SA和方向盘转角速度SAR,驾驶行为特征包括方向盘转角绝对均值SAMEAN、方向盘转角标准差SASTD、方向盘转角下四分位值均值SAQ1MEAN、方向盘转角上四分位值均值SAQ3MEAN、方向盘转角熵SE、方向盘转角速度绝对值均值SAVMEAN、方向盘转角速度标准差SAVSTD、零速百分比PNS和累计行驶时长。
进一步地,通过车辆运行信息计算出驾驶行为特征具体为:
方向盘转角绝对值均值SAMEAN是方向盘转角取绝对值后的平均值,其计算公式如公式一所示:
其中,N 为方向盘转角样本采样个数,SAi 为第i个方向盘转角样本;
方向盘转角标准差 SASTD 计算公式如公式二所示:
其中,SAm计算公式如公式三所示:
将方向盘转角样本中N个数值由小到大排列,由小到大方向数,第四分之一处的数值即为方向盘转角下四分位值SAQ1,第四分之三处的数值即为方向盘转角上四分位值SAQ3,方向盘转角下四分位值均值SAQ1MEAN是指方向盘转角样本中所有小于下四分位值SAQ1的均值,方向盘转角上四分位值均值SAQ3MEAN是指方向盘转角样本中所有大于上四分位值SAQ3的均值;
方向盘转角熵SE反映了驾驶人对方向盘操作的混乱程度和随机性,方向盘转角熵SE越大,表明驾驶人对方向盘操作随机性越大,驾驶人疲劳程度越高,方向盘转角熵SE按照方向盘转角的预测偏差出现的概率进行计算,首先按照公式四计算方向盘转角预测值θp(n):
然后,根据方向盘转角实际值θ(n)与方向盘转角预测值θp(n)之差来计算方向盘转角预测偏差en,计算公式为如下公式五:
方向盘转角预测偏差en服从正态分布N(μ, σ2),将方向盘转角预测偏差 en分成 9 个区间,即(−∞,−5μ ],(−5μ,− 2.5μ],(−2.5μ,−μ],(−μ,−0.5μ],(−0.5μ,0.5μ),[0.5μ,μ),[μ,2.5μ),[2.5μ,5μ),[5μ,+∞) ,然后计算各区间的概率值p i ,最后根据公式六计算方向盘转角熵 SE:
方向盘转角速度绝对值均值SAVMEAN和标准差SAVSTD反映车辆波动情况,用方向盘转角速度SAR替换公式一和公式二中的方向盘转角SA,从而计算方向盘转角速度绝对值均值SAVMEAN和标准差SAVSTD;
零速百分比PNS检测方向盘持续不动操作特性PNS ,计算公式如式七 所示:
其中,N为所选时间内角速度的总采样个数,n为总采样样本中角速度在±0.1°/s之间的采样。
进一步地,通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级具体为:
通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合形成融合特征向量集,表示为X,X={x1,x2,…,x15},其中,x1为最长闭眼时间,x2为眨眼频率,x3为闭眼时间百分比,x4为最长嘴部张开时间,x5为打哈欠时间,x6为嘴部张开时间百分比,x7为方向盘转角绝对均值SAMEAN,x8为方向盘转角标准差SASTD,x9为方向盘转角下四分位值均值SAQ1MEAN,x10为方向盘转角上四分位值均值SAQ3MEAN,x11为方向盘转角熵SE,x12为方向盘转角速度绝对值均值SAVMEAN,x13为SAVSTD,x14为零速百分比PNS,x15为累计行驶时长;
构建疲劳预测神经网络模型,所述疲劳预测神经网络模型使用一个全连接层进行疲劳驾驶概率判断,模型的输入为一个融合窗口内的融合特征向量集,所述融合特征向量集与所述全连接层的一个权重向量w进行向量积运算,并将向量积输入给一个Sigmoid激活函数(表示为σ),通过所述Sigmoid激活函数输出0到1之间的疲劳概率值y,具体公式如下:
进一步地,所述方法还包括对疲劳预测神经网络模型的训练,具体如下:
所述疲劳预测神经网络模型的训练过程中,采用交叉熵(cross-entropy)函数作为损失函数Em,令训练集是N个样本对<Xi,Oi>的集合,其中Xi是第i个窗口样本的融合特征向量集,Oi是第i个窗口样本的融合特征向量集对应的标签,Oi取值为1或0,1表示疲劳驾驶,0表示非疲劳驾驶,当第i个窗口样本的融合特征向量集对应为疲劳驾驶时,Oi取值为1,当第i个窗口样本的融合特征向量集对应为疲劳驾驶时,Oi取值为0,损失函数Em的计算公式如下:
将训练集划分为小批量作为训练过程中每次迭代的输入,通过多次迭代,利用随机梯度下降优化算法进行模型训练,直到损失函数收敛为止,得到的就是已训练好的疲劳预测神经网络模型。
进一步地,通过疲劳概率值判断驾驶员疲劳等级具体为:
当疲劳概率值小于0.6,判断为非疲劳驾驶;
当疲劳概率值大于等于0.6且小于0.9时,判断为轻度疲劳驾驶;
当疲劳概率值大于等于0.9时,判断为深度疲劳驾驶。
本发明具有以下有益效果:
1.相比于现有技术的紧急刹车,本发明在确定驾驶员处于轻度疲劳驾驶状态时,进行声光报警,以提醒驾驶员正处于疲劳驾驶状态,当驾驶员处于深度疲劳驾驶状态时,拦截加速踏板位置传感器发送给车载电脑ECU的油门开度值信号,判断车辆实时速度大于预设的限制速度,若是,向车载电脑ECU发送所述限制速度对应的油门开度值信号给车载电脑ECU,从而使车辆速度逐渐下降在限制速度以内,从而解决现有的因紧急刹车可能造成的连环追尾事故。
2.相比于现有的仅通过驾驶行为特征分析驾驶员疲劳等级,本发明结合眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级,以克服单一信息源的局限性,并充分考虑了各信息源的相关性和互补性,疲劳等级分析更加准确。
3.本发明通过疲劳预测神经网络模型并基于获取的眼部闭合特征、嘴部张合特征以及驾驶行为特征预测疲劳概率值,通过疲劳概率值判断疲劳等级,疲劳预测的实时性强。
4.本发明通过对疲劳驾驶的分析,确定了最能体现驾驶行为的参数作为驾驶行为特征,包括方向盘转角绝对均值SAMEAN、方向盘转角标准差SASTD、方向盘转角下四分位值均值SAQ1MEAN、方向盘转角上四分位值均值SAQ3MEAN、方向盘转角熵SE、方向盘转角速度绝对值均值SAVMEAN、方向盘转角速度标准差SAVSTD和零速百分比PNS等作为驾驶行为特征,且通过方向盘转角SA和方向盘转角速度SAR并可以计算出上述驾驶行为特征,减少了大量不必要的数据采集及相关计算,且相比现有技术,疲劳等级分析更加准确。
附图说明
图1为发明实施例提供的一种基于驾驶员疲劳状态的主动限速方法的流程图;
图2为本发明实施例提供的滑移时间窗示意图;
图3为本发明实施例提供的疲劳预测神经网络模型。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
如图1所示,本发明提供的一种基于驾驶员疲劳状态的主动限速方法,所述方法包括:
实时监测驾驶员疲劳等级,所述疲劳等级包括非疲劳驾驶、轻度疲劳驾驶和深度疲劳驾驶;
当驾驶员疲劳等级为轻度疲劳驾驶时,发出声光报警信号,以提醒驾驶员正处于疲劳驾驶状态;
当驾驶员疲劳等级为轻度疲劳驾驶时,实时拦截加速踏板位置传感器发送给车载电脑ECU的油门开度值信号,并采集车辆实时速度;
当车辆实时速度小于等于预设的限制速度时,向车载电脑ECU实时转发拦截到的油门开度值信号;当车辆实时速度大于预设的限制速度时,向车载电脑ECU发送所述限制速度对应的油门开度值信号给车载电脑ECU。
相比于现有技术的紧急刹车,本发明在确定驾驶员处于轻度疲劳驾驶状态时,进行声光报警,以提醒驾驶员正处于疲劳驾驶状态,当驾驶员处于深度疲劳驾驶状态时,拦截加速踏板位置传感器发送给车载电脑ECU的油门开度值信号,判断车辆实时速度大于预设的限制速度,若是,向车载电脑ECU发送所述限制速度对应的油门开度值信号给车载电脑ECU(该油门开度值信号为当车辆要开到所述限制速度时,对应加速踏板位置传感器应该发送给车载电脑ECU的油门开度值信号),从而使车辆速度逐渐下降在限制速度以内,从而解决现有的因紧急刹车可能造成的连环追尾事故。
另外,当驾驶员疲劳等级为轻度疲劳驾驶或非疲劳驾驶时,不再拦截加速踏板位置传感器发送给车载电脑ECU的油门开度值信号。
优选地,实时监测驾驶员疲劳等级具体为:
采集驾驶员的人脸动态图像;
从采集的所述人脸动态图像中识别眼部闭合特征和嘴部张合特征;
从车辆CAN总线获取并解析车辆运行信息,通过车辆运行信息计算出驾驶行为特征;
通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级。
其中,所述眼部闭合特征和嘴部张合特征作为驾驶员的视觉处理信息特征,本发明融合驾驶员的视觉处理信息与驾驶行为特征并以此来判断驾驶员是否处于疲劳驾驶状态,以克服单一信息源的局限性,并充分考虑了各信息源的相关性和互补性,疲劳等级分析更加准确。
优选地,所述人脸动态图像为可见光图像或红外图像,在白天光线比较好的情况下,采集可见光图像,在夜间光线差的情况下采集红外图像。
优选地,所述方法还包括,对视觉处理信息特征与驾驶行为特征这两种模态的特征进行融合,具体基于滑移时间窗的特征参数组融合方法,如图2所示,当前时刻为t,特征参数xi的最优时间窗为Ti,假设特征参数xi的下一个提取时刻为t + ∆t,时间窗向前滑移了∆t,提取数据的时间段为 [t + ∆t - Ti, t + ∆t],数据重复为(Ti-∆t)/Ti,本发明选择滑移时间窗∆t =4s。
优选地,所述眼部闭合特征包括一个时间窗内的最长闭眼时间、一个时间窗内的眨眼频率和一个时间窗内的闭眼时间百分比,所述嘴部张合特征包括一个时间窗内的最长嘴部张开时间 、一个时间窗内的打哈欠频率和一个时间窗内的嘴部张开时间百分比。
其中,所述最长闭眼时间、所述闭眼时间百分比、所述最长嘴部张开时间和所述嘴部张开时间百分比对应的时间窗为10秒,所述眨眼频率和打哈欠频率对应的时间窗为60秒。
优选地,通过现有的人脸识别算法识别眼部部闭合特征和嘴部张合特征。
优选地,当检测到驾驶员嘴巴张开幅度占面部范围的三分之一并持续2S以上,则判断为驾驶员打哈欠,检测到驾驶员闭眼并持续1.5秒,则判断为驾驶员闭眼。
优选地,所述车辆运行信息包括方向盘转角SA和方向盘转角速度SAR,驾驶行为特征包括方向盘转角绝对均值SAMEAN、方向盘转角标准差SASTD、方向盘转角下四分位值均值SAQ1MEAN、方向盘转角上四分位值均值SAQ3MEAN、方向盘转角熵SE、方向盘转角速度绝对值均值SAVMEAN、方向盘转角速度标准差SAVSTD、零速百分比PNS和累计行驶时长。
其中,通过车辆运行信息计算出驾驶行为特征具体为:
方向盘转角绝对值均值SAMEAN是方向盘转角取绝对值后的平均值,其计算公式如公式一所示:
其中,N 为方向盘转角样本采样个数,SAi 为第i个方向盘转角样本;
方向盘转角标准差 SASTD 计算公式如公式二所示:
其中,SAm计算公式如公式三所示:
将方向盘转角样本中N个数值由小到大排列,由小到大方向数,第四分之一处的数值即为方向盘转角下四分位值SAQ1,第四分之三处的数值即为方向盘转角上四分位值SAQ3,方向盘转角下四分位值均值SAQ1MEAN是指方向盘转角样本中所有小于下四分位值SAQ1的均值,方向盘转角上四分位值均值SAQ3MEAN是指方向盘转角样本中所有大于上四分位值SAQ3的均值;
方向盘转角熵SE反映了驾驶人对方向盘操作的混乱程度和随机性,方向盘转角熵SE越大,表明驾驶人对方向盘操作随机性越大,驾驶人疲劳程度越高,方向盘转角熵SE按照方向盘转角的预测偏差出现的概率进行计算,首先按照公式四计算方向盘转角预测值θp(n):
然后,根据方向盘转角实际值θ(n)与方向盘转角预测值θp(n)之差来计算方向盘转角预测偏差en,计算公式为如下公式五:
方向盘转角预测偏差en服从正态分布N(μ, σ2),将方向盘转角预测偏差 en分成 9 个区间,即(−∞,−5μ ],(−5μ,− 2.5μ],(−2.5μ,−μ],(−μ,−0.5μ],(−0.5μ,0.5μ),[0.5μ,μ),[μ,2.5μ),[2.5μ,5μ),[5μ,+∞) ,然后计算各区间的概率值p i ,最后根据公式六计算方向盘转角熵 SE:
方向盘转角速度绝对值均值SAVMEAN和标准差SAVSTD反映车辆波动情况,用方向盘转角速度SAR替换公式一和公式二中的方向盘转角SA,从而计算方向盘转角速度绝对值均值SAVMEAN和标准差SAVSTD;
零速百分比PNS检测方向盘持续不动操作特性PNS ,计算公式如式七 所示:
其中,N为所选时间内角速度的总采样个数,n为总采样样本中角速度在±0.1°/s之间的采样。
优选地,优选地,通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级具体为:
通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合形成融合特征向量集,表示为X,X={x1,x2,…,x15},其中,x1为最长闭眼时间,x2为眨眼频率,x3为闭眼时间百分比,x4为最长嘴部张开时间,x5为打哈欠时间,x6为嘴部张开时间百分比,x7为方向盘转角绝对均值SAMEAN,x8为方向盘转角标准差SASTD,x9为方向盘转角下四分位值均值SAQ1MEAN,x10为方向盘转角上四分位值均值SAQ3MEAN,x11为方向盘转角熵SE,x12为方向盘转角速度绝对值均值SAVMEAN,x13为SAVSTD,x14为零速百分比PNS,x15为累计行驶时长;
构建疲劳预测神经网络模型,所述疲劳预测神经网络模型使用一个全连接层进行疲劳驾驶概率判断,如图3所示,模型的输入为一个融合窗口内的融合特征向量集,所述融合特征向量集与所述全连接层的一个权重向量w进行向量积运算,并将向量积输入给一个Sigmoid激活函数(图3中表示为σ),通过所述Sigmoid激活函数输出0到1之间的疲劳概率值y,具体公式如下:
优选地,所述方法还包括对疲劳预测神经网络模型的训练,具体如下:
所述疲劳预测神经网络模型的训练过程中,采用交叉熵(cross-entropy)函数作为损失函数Em,令训练集是N个样本对<Xi,Oi>的集合,其中Xi是第i个窗口样本的融合特征向量集,Oi是第i个窗口样本的融合特征向量集对应的标签,Oi取值为1或0,1表示疲劳驾驶,0表示非疲劳驾驶,当第i个窗口样本的融合特征向量集对应为疲劳驾驶时,Oi取值为1,当第i个窗口样本的融合特征向量集对应为疲劳驾驶时,Oi取值为0,损失函数Em的计算公式如下:
将训练集划分为小批量作为训练过程中每次迭代的输入,通过多次迭代,利用随机梯度下降优化算法进行模型训练,直到损失函数收敛为止,得到的就是已训练好的疲劳预测神经网络模型。
其中,训练集为:在多个确定驾驶员处于疲劳驾驶的场景下,获取的对应驾驶员的眼部闭合特征、嘴部张合特征以及驾驶行为特征融合形成的融合特征向量集的集合;在多个确定驾驶员处于非疲劳驾驶的场景下,获取的对应驾驶员的眼部闭合特征、嘴部张合特征以及驾驶行为特征形成的融合特征向量集的集合。
优选地,使用一个顺序回归网络模型,来判断疲劳等级:
当疲劳概率值小于0.6,判断为非疲劳驾驶;
当疲劳概率值大于等于0.6且小于0.9时,判断为轻度疲劳驾驶;
当疲劳概率值大于等于0.9时,判断为深度疲劳驾驶。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于驾驶员疲劳状态的主动限速方法,其特征在于,所述方法包括:
实时监测驾驶员疲劳等级,所述疲劳等级包括非疲劳驾驶、轻度疲劳驾驶和深度疲劳驾驶;
当驾驶员疲劳等级为轻度疲劳驾驶时,发出声光报警信号,以提醒驾驶员正处于疲劳驾驶状态;
当驾驶员疲劳等级为轻度疲劳驾驶时,实时拦截加速踏板位置传感器发送给车载电脑ECU的油门开度值信号,并采集车辆实时速度;
当车辆实时速度小于等于预设的限制速度时,向车载电脑ECU实时转发拦截到的油门开度值信号;当车辆实时速度大于预设的限制速度时,向车载电脑ECU发送所述限制速度对应的油门开度值信号给车载电脑ECU。
2.根据权利要求1所述的基于驾驶员疲劳状态的主动限速方法,其特征在于,实时监测驾驶员疲劳等级具体为:
采集驾驶员的人脸动态图像;
从采集的所述人脸动态图像中识别眼部闭合特征和嘴部张合特征;
从车辆CAN总线获取并解析车辆运行信息,通过车辆运行信息计算出驾驶行为特征;
通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级。
3.根据权利要求2所述的基于驾驶员疲劳状态的主动限速方法,其特征在于,所述人脸动态图像为可见光图像或红外图像。
4.根据权利要求2所述的基于驾驶员疲劳状态的主动限速方法,其特征在于,所述眼部闭合特征包括一个时间窗内的最长闭眼时间、一个时间窗内的眨眼频率和一个时间窗内的闭眼时间百分比,所述嘴部张合特征包括一个时间窗内的最长嘴部张开时间 、一个时间窗内的打哈欠频率和一个时间窗内的嘴部张开时间百分比。
5.根据权利要求4所述的基于驾驶员疲劳状态的主动限速方法,其特征在于,所述最长闭眼时间、所述闭眼时间百分比、所述最长嘴部张开时间和所述嘴部张开时间百分比对应的时间窗为10秒,所述眨眼频率和打哈欠频率对应的时间窗为60秒。
6.根据权利要求2所述的基于驾驶员疲劳状态的主动限速方法,其特征在于,所述车辆运行信息包括方向盘转角SA和方向盘转角速度SAR,驾驶行为特征包括方向盘转角绝对均值SAMEAN、方向盘转角标准差SASTD、方向盘转角下四分位值均值SAQ1MEAN、方向盘转角上四分位值均值SAQ3MEAN、方向盘转角熵SE、方向盘转角速度绝对值均值SAVMEAN、方向盘转角速度标准差SAVSTD、零速百分比PNS和累计行驶时长。
7.根据权利要求6所述的基于驾驶员疲劳状态的主动限速方法,其特征在于,通过车辆运行信息计算出驾驶行为特征具体为:
方向盘转角绝对值均值SAMEAN是方向盘转角取绝对值后的平均值,其计算公式如公式一所示:
其中,N 为方向盘转角样本采样个数,SAi 为第i个方向盘转角样本;
方向盘转角标准差 SASTD 计算公式如公式二所示:
其中,SAm计算公式如公式三所示:
将方向盘转角样本中N个数值由小到大排列,由小到大方向数,第四分之一处的数值即为方向盘转角下四分位值SAQ1,第四分之三处的数值即为方向盘转角上四分位值SAQ3,方向盘转角下四分位值均值SAQ1MEAN是指方向盘转角样本中所有小于下四分位值SAQ1的均值,方向盘转角上四分位值均值SAQ3MEAN是指方向盘转角样本中所有大于上四分位值SAQ3的均值;
方向盘转角熵SE反映了驾驶人对方向盘操作的混乱程度和随机性,方向盘转角熵SE越大,表明驾驶人对方向盘操作随机性越大,驾驶人疲劳程度越高,方向盘转角熵SE按照方向盘转角的预测偏差出现的概率进行计算,首先按照公式四计算方向盘转角预测值θp(n):
然后,根据方向盘转角实际值θ(n)与方向盘转角预测值θp(n)之差来计算方向盘转角预测偏差en,计算公式为如下公式五:
方向盘转角预测偏差en服从正态分布N(μ, σ2),将方向盘转角预测偏差 en分成 9 个区间,即(−∞,−5μ ],(−5μ,− 2.5μ],(−2.5μ,−μ],(−μ,−0.5μ],(−0.5μ,0.5μ),[0.5μ,μ),[μ,2.5μ),[2.5μ,5μ),[5μ,+∞) ,然后计算各区间的概率值p i ,最后根据公式六计算方向盘转角熵 SE:
方向盘转角速度绝对值均值SAVMEAN和标准差SAVSTD反映车辆波动情况,用方向盘转角速度SAR替换公式一和公式二中的方向盘转角SA,从而计算方向盘转角速度绝对值均值SAVMEAN和标准差SAVSTD;
零速百分比PNS检测方向盘持续不动操作特性PNS ,计算公式如式七 所示:
其中,N为所选时间内角速度的总采样个数,n为总采样样本中角速度在±0.1°/s之间的采样。
8.根据权利要求2所述的基于驾驶员疲劳状态的主动限速方法,其特征在于,通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级具体为:
通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合形成融合特征向量集,表示为X,X={x1,x2,…,x15},其中,x1为最长闭眼时间,x2为眨眼频率,x3为闭眼时间百分比,x4为最长嘴部张开时间,x5为打哈欠时间,x6为嘴部张开时间百分比,x7为方向盘转角绝对均值SAMEAN,x8为方向盘转角标准差SASTD,x9为方向盘转角下四分位值均值SAQ1MEAN,x10为方向盘转角上四分位值均值SAQ3MEAN,x11为方向盘转角熵SE,x12为方向盘转角速度绝对值均值SAVMEAN,x13为SAVSTD,x14为零速百分比PNS,x15为累计行驶时长;
构建疲劳预测神经网络模型,所述疲劳预测神经网络模型使用一个全连接层进行疲劳驾驶概率判断,模型的输入为一个融合窗口内的融合特征向量集,所述融合特征向量集与所述全连接层的一个权重向量w进行向量积运算,并将向量积输入给一个Sigmoid激活函数(表示为σ),通过所述Sigmoid激活函数输出0到1之间的疲劳概率值y,具体公式如下:
9.根据权利要求8所述的基于驾驶员疲劳状态的主动限速方法,其特征在于,所述方法还包括对疲劳预测神经网络模型的训练,具体如下:
所述疲劳预测神经网络模型的训练过程中,采用交叉熵(cross-entropy)函数作为损失函数Em,令训练集是N个样本对<Xi,Oi>的集合,其中Xi是第i个窗口样本的融合特征向量集,Oi是第i个窗口样本的融合特征向量集对应的标签,Oi取值为1或0,1表示疲劳驾驶,0表示非疲劳驾驶,当第i个窗口样本的融合特征向量集对应为疲劳驾驶时,Oi取值为1,当第i个窗口样本的融合特征向量集对应为疲劳驾驶时,Oi取值为0,损失函数Em的计算公式如下:
将训练集划分为小批量作为训练过程中每次迭代的输入,通过多次迭代,利用随机梯度下降优化算法进行模型训练,直到损失函数收敛为止,得到的就是已训练好的疲劳预测神经网络模型。
10.根据权利要求8所述的基于驾驶员疲劳状态的主动限速方法,其特征在于,通过疲劳概率值判断驾驶员疲劳等级具体为:
当疲劳概率值小于0.6,判断为非疲劳驾驶;
当疲劳概率值大于等于0.6且小于0.9时,判断为轻度疲劳驾驶;
当疲劳概率值大于等于0.9时,判断为深度疲劳驾驶。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911407278.XA CN110901385B (zh) | 2019-12-31 | 2019-12-31 | 一种基于驾驶员疲劳状态的主动限速方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911407278.XA CN110901385B (zh) | 2019-12-31 | 2019-12-31 | 一种基于驾驶员疲劳状态的主动限速方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110901385A true CN110901385A (zh) | 2020-03-24 |
CN110901385B CN110901385B (zh) | 2021-01-15 |
Family
ID=69814250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911407278.XA Active CN110901385B (zh) | 2019-12-31 | 2019-12-31 | 一种基于驾驶员疲劳状态的主动限速方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110901385B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111784973A (zh) * | 2020-07-30 | 2020-10-16 | 广州敏视数码科技有限公司 | 一种车队管理平台的mdvr设备集成疲劳检测方法 |
CN112078588A (zh) * | 2020-08-11 | 2020-12-15 | 大众问问(北京)信息科技有限公司 | 一种车辆控制方法、装置及电子设备 |
CN112233276A (zh) * | 2020-10-13 | 2021-01-15 | 重庆科技学院 | 一种用于疲劳状态识别的方向盘转角统计特征融合方法 |
CN114212092A (zh) * | 2021-11-26 | 2022-03-22 | 上汽通用五菱汽车股份有限公司 | 疲劳驾驶预警方法、系统、设备及计算机可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07257220A (ja) * | 1994-03-22 | 1995-10-09 | Toyota Motor Corp | 車両用覚醒度評価装置 |
CN101746269A (zh) * | 2010-01-08 | 2010-06-23 | 东南大学 | 基于软计算的疲劳驾驶融合检测方法 |
JP2012003397A (ja) * | 2010-06-15 | 2012-01-05 | Toyota Motor Corp | ドライバ状態検出装置 |
CN103714660A (zh) * | 2013-12-26 | 2014-04-09 | 苏州清研微视电子科技有限公司 | 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统 |
CN104228838A (zh) * | 2014-09-19 | 2014-12-24 | 安徽工程大学 | 一种防止疲劳驾驶的预警系统及其方法 |
CN106236046A (zh) * | 2016-09-05 | 2016-12-21 | 合肥飞鸟信息技术有限公司 | 驾驶员疲劳监测系统 |
CN109318710A (zh) * | 2018-09-07 | 2019-02-12 | 深圳腾视科技有限公司 | 一种带自动限制汽车行驶速度的驾驶员状态监测仪 |
-
2019
- 2019-12-31 CN CN201911407278.XA patent/CN110901385B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07257220A (ja) * | 1994-03-22 | 1995-10-09 | Toyota Motor Corp | 車両用覚醒度評価装置 |
CN101746269A (zh) * | 2010-01-08 | 2010-06-23 | 东南大学 | 基于软计算的疲劳驾驶融合检测方法 |
JP2012003397A (ja) * | 2010-06-15 | 2012-01-05 | Toyota Motor Corp | ドライバ状態検出装置 |
CN103714660A (zh) * | 2013-12-26 | 2014-04-09 | 苏州清研微视电子科技有限公司 | 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统 |
CN104228838A (zh) * | 2014-09-19 | 2014-12-24 | 安徽工程大学 | 一种防止疲劳驾驶的预警系统及其方法 |
CN106236046A (zh) * | 2016-09-05 | 2016-12-21 | 合肥飞鸟信息技术有限公司 | 驾驶员疲劳监测系统 |
CN109318710A (zh) * | 2018-09-07 | 2019-02-12 | 深圳腾视科技有限公司 | 一种带自动限制汽车行驶速度的驾驶员状态监测仪 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111784973A (zh) * | 2020-07-30 | 2020-10-16 | 广州敏视数码科技有限公司 | 一种车队管理平台的mdvr设备集成疲劳检测方法 |
CN111784973B (zh) * | 2020-07-30 | 2021-12-14 | 广州敏视数码科技有限公司 | 一种车队管理平台的mdvr设备集成疲劳检测方法 |
CN112078588A (zh) * | 2020-08-11 | 2020-12-15 | 大众问问(北京)信息科技有限公司 | 一种车辆控制方法、装置及电子设备 |
CN112233276A (zh) * | 2020-10-13 | 2021-01-15 | 重庆科技学院 | 一种用于疲劳状态识别的方向盘转角统计特征融合方法 |
CN112233276B (zh) * | 2020-10-13 | 2022-04-29 | 重庆科技学院 | 一种用于疲劳状态识别的方向盘转角统计特征融合方法 |
CN114212092A (zh) * | 2021-11-26 | 2022-03-22 | 上汽通用五菱汽车股份有限公司 | 疲劳驾驶预警方法、系统、设备及计算机可读存储介质 |
CN114212092B (zh) * | 2021-11-26 | 2023-12-19 | 上汽通用五菱汽车股份有限公司 | 疲劳驾驶预警方法、系统、设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110901385B (zh) | 2021-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110901385B (zh) | 一种基于驾驶员疲劳状态的主动限速方法 | |
CN103531042B (zh) | 基于驾驶人类型的车辆追尾预警方法 | |
CN110781873A (zh) | 一种双模态特征融合的驾驶员疲劳等级识别方法 | |
CN108372785B (zh) | 一种基于图像识别的汽车非安全驾驶检测装置及检测方法 | |
CN108357497B (zh) | 一种用于共享汽车的驾驶员身份授权系统 | |
CN110781872A (zh) | 一种双模态特征融合的驾驶员疲劳等级识别系统 | |
CN106314428B (zh) | 一种避撞系统、避撞方法及机动车辆 | |
CN110866427A (zh) | 一种车辆行为检测方法及装置 | |
CN110895662A (zh) | 车辆超载报警方法、装置、电子设备及存储介质 | |
GB2573738A (en) | Driving monitoring | |
CN108926352B (zh) | 一种驾驶疲劳检测方法及系统 | |
Shi et al. | Real-time driving risk assessment using deep learning with XGBoost | |
CN110992709A (zh) | 一种基于驾驶员疲劳状态的主动限速系统 | |
CN115179960B (zh) | 一种多源数据采集人车状态综合监测系统及方法 | |
WO2023274071A1 (zh) | 驾驶行为监控方法、装置、电子设备及存储介质 | |
CN108537198A (zh) | 一种基于人工智能的驾驶习惯的分析方法 | |
WO2022240823A1 (en) | Online driver delay and frequency response model | |
Zhu et al. | Real-time crash identification using connected electric vehicle operation data | |
CN114987502A (zh) | 一种驾驶状态监测方法、装置、计算机设备以及存储介质 | |
CN118025093A (zh) | 一种基于乘客状态识别的公交车自动紧急制动系统及方法 | |
CN118014349A (zh) | 一种隧道事故风险评估方法、系统及设备 | |
CN117842085A (zh) | 驾驶状态检测与预警方法、系统、电子设备及存储介质 | |
Wu et al. | Fuzzy logic based driving behavior monitoring using hidden markov models | |
CN114841483A (zh) | 一种物流货运车辆的安全监控方法及系统 | |
CN115880675A (zh) | 一种实时监测疲劳驾驶行为分析方法、系统与电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |