CN112686161A - 基于神经网络的疲劳驾驶检测方法 - Google Patents

基于神经网络的疲劳驾驶检测方法 Download PDF

Info

Publication number
CN112686161A
CN112686161A CN202011621904.8A CN202011621904A CN112686161A CN 112686161 A CN112686161 A CN 112686161A CN 202011621904 A CN202011621904 A CN 202011621904A CN 112686161 A CN112686161 A CN 112686161A
Authority
CN
China
Prior art keywords
parameter
information
image
driving
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011621904.8A
Other languages
English (en)
Inventor
敖邦乾
曲祥君
杨莎
陈连贵
令狐金卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zunyi Normal University
Original Assignee
Zunyi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zunyi Normal University filed Critical Zunyi Normal University
Priority to CN202011621904.8A priority Critical patent/CN112686161A/zh
Publication of CN112686161A publication Critical patent/CN112686161A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及自动控制及计算机视觉技术领域,具体涉及一种基于神经网络的疲劳驾驶检测方法,包括以下步骤:通过摄像头实时采集人脸图像;将采集的人脸图像进行图像预处理;将图像预处理后的人脸图像输入到卷积神经网络模型中,进行人脸定位和人脸特征定位,输出人脸特征定位后的人脸特征图像;所述人脸特征包括眼和嘴;根据人脸特征图像中各人脸特征的状态计算PERCLOS参数fP、眨眼频率BF参数fBF和打哈欠参数fyawn;根据PERCLOS参数fP、眨眼频率BF参数fBF和打哈欠参数fyawn和对应的权重计算疲劳指数;将疲劳指数与预警阈值进行比较,若满足预警阈值则生成预警提示信息。本发明解决了现有疲劳驾驶检测技术检测精确度低的问题。

Description

基于神经网络的疲劳驾驶检测方法
技术领域
本发明涉及自动控制及计算机视觉技术领域,具体涉及一种基于神经网络的疲劳驾驶检测方法。
背景技术
近年来,随着中国经济的飞速发展及汽车制造业技术的成熟,中国的车辆保有量逐年上升,很多普通家庭都拥有了自己的交通出行工具。与此同时,我国由于交通事故造成的伤残死亡人数一直是世界上最多的国家之一,每年因交通事故死亡的至少有50万以上,交通事故已经被公认为是危害当今人类生命安全的第一大公害。根据交通事故统计分析表明,交通事故中80%-90%是人为因素造成的,驾驶员疲劳驾驶更会使车祸发生的可能性成倍的增加,在我国,大约48%的车祸时由驾驶员疲劳驾驶造成的。研究表明,交通事故通常就发生在几秒钟的时间内,如果能提前2秒钟预警将能减少92%的交通事故,提前0.5秒钟预警,将会避免73%的交通事故。
为了防止驾驶员疲劳驾驶,我国《道路交通安全法实施条例》明确规定驾驶员不得连续驾驶机动车超过4小时未停车休息或者停车休息时间少于20分钟,否则将受到相应的行政处罚。然而,在现实生活中,驾驶员很少能够意识到自己处于疲劳驾驶状态,交通安全隐患很大。因此,实时检测驾驶员的驾驶状态,并在驾驶员产生疲劳状态后作出必要提示显得非常必要。
现有的检测技术针对疲劳驾驶目前没有很精确的判别标准,而且采用的检测技术相对比较保守,只通过简单的人脸识别便作出最终结果的判断,不仅识别方法精确度低,而且很容易造成检测失误,给驾驶员带来困扰。因此,亟须一种疲劳驾驶检测系统来对驾驶人员进行预警,降低驾驶人员的疲劳驾驶风险和经济财产损失。
发明内容
本发明的目的在于提供一种基于神经网络的疲劳驾驶检测方法,解决现有疲劳驾驶检测技术检测精确度低的问题。
为了达到上述目的,提供了基于神经网络的疲劳驾驶检测方法,包括以下步骤:
S1、通过摄像头实时采集人脸图像;
S2、将采集的人脸图像进行图像预处理;
S3、将图像预处理后的人脸图像输入到卷积神经网络模型中,进行人脸定位和人脸特征定位,输出人脸特征定位后的人脸特征图像;所述人脸特征包括眼和嘴;
S4、根据人脸特征图像中各人脸特征的状态计算PERCLOS参数fP、眨眼频率BF参数fBF和打哈欠参数fyawn
S5、根据PERCLOS参数fP、眨眼频率BF参数fBF和打哈欠参数fyawn和对应的权重计算疲劳指数;
S6、将疲劳指数与预警阈值进行比较,若满足预警阈值则生成预警提示信息。
原理及优点:
由于驾驶员在疲劳驾驶过程中,其中脸部器官如眼睛、嘴巴的特征变化最明显,眼睛的闭合时间、嘴巴张开的幅度及哈欠的频率可以作为主要的参考特征。本方案通过卷积神经网络模型快速定位人脸图像的人脸,输出人脸特征定位后的人脸特征图像,再将人脸特征图像中定位的人脸特征进行数据计算,计算人脸图像中睁眼、闭眼、眨眼、张口和闭口等各种状态。当眼睛闭合的总图片帧数到达一定数量、以及嘴巴张开达到一定幅度并持续一段时间,得到的PERCLOS参数fP、眨眼频率BF参数fBF和打哈欠参数fyawn都可以作为疲劳特征信息,来对驾驶员的疲劳程度进行数据量化,使得疲劳驾驶检测精确度更高,解决了现有疲劳驾驶检测技术检测精确度低的问题,从而方便及时对驾驶员进行提醒及示警,避免安全事故的发生。
进一步,所述PERCLOS参数fP的表达式如下:
fP=Nclose/Ntotal×100%
其中,Nclose表示在一段时间内眼睛闭合状态下的总帧数,Ntotal与表示在该段时间内总的帧数。
ERCLOS参数的设置,通过在一定时间内,计算眼睛处于闭合状态的时间占据的比例,来分析驾驶员是否完全进入沉睡状态,从而方便及时叫醒驾驶员,避免危险的发生。
进一步,所述眨眼频率BF参数fBF的表达式如下:
Figure BDA0002876349520000031
其中,n1表示在一定时间内的眨眼次数,N1表示在该时间内的总帧数,tf为处理每帧图片的时间。
眨眼频率BF参数fBF的设置,正常情况下人的眨眼频率为每分钟20~30次,每次眨眼时间为0.25~0.3S,如果在一段时间内眨眼频率BF参数fBF计算得到的眨眼频率过低,则驾驶员有可能处于疲劳状态,需及时提醒驾驶员,避免危险的发生。
进一步,所述打哈欠参数fyawn的表达式如下:
fyawn=n2/N2
其中,n2表示在一定时间内嘴部外界方框明显增大的帧数,N2表示该时间内的帧数。
驾驶员疲劳时,打哈欠的频率会增大,对于已经用外接四边形定位的嘴部器官,其在打哈欠时外接矩形框的大小,要远远大于正常闭合及说话时的外界方框,设定适当的外界矩形的阈值,当大于此阈值则可判定为打哈欠,可以通过统计在一定时间内嘴巴外界方框明显增大的帧数n2,与这段时间内的帧数N2,确定其打哈欠参数fyawn
进一步,所述步骤S5中,PERCLOS参数fP、眨眼频率BF参数fBF和打哈欠参数fyawn对应的权重分别为ω123,疲劳指数的表达式如下:
f=ω1fp2fBF3fyawn
其中,ω123,且ω123=1。
单一的PERCLOSE参数fP、睁眼频率fBF、打哈欠参数fyawn无法准确的反应驾驶员的疲劳与否以及疲劳程度,通过对三个参数设定不同的权重从而方便分析驾驶员的疲劳程度。
进一步,所述步骤S4的PERCLOS参数fP、眨眼频率BF参数fBF中每帧图像眨眼、闭眼的判断方法包括以下步骤:
对人脸特征图像中定位的眼部进行建模,眼角左右两点分别为P1、P4,瞳仁上两点分别为P2、P3,瞳仁下面两点分别为P5、P6;
分别计算P1P4,P2P6,P3P5的长度,并按照EAR公式计算EAR值;
将人脸特征图像中每帧图像的EAR值与闭眼阈值进行对比,若EAR值小于闭眼阈值,则判断该帧图像为闭眼;
当EAR值由睁眼阈值降低到闭眼阈值时,为一次状态改变,统计为一次眨眼。
通过对EAR值计算,可方便分析驾驶员的睁眼、闭眼和眨眼情况。
进一步,所述EAR公式如下:
Figure BDA0002876349520000041
通过对EAR值计算,可方便分析驾驶员的睁眼、闭眼和眨眼情况。
进一步,所述哈欠参数fyawn中打哈欠的判定包括以下步骤:
对人脸特征图像中定位的嘴部进行建模,计算嘴部外接矩形框的嘴部面积;
将嘴部面积与嘴部阈值相对比,嘴部面积大于嘴部阈值则判定当前图像帧为打哈欠。
可方便分析人脸特征图像中驾驶员的打哈欠情况。
进一步,还包括以下步骤:
数据获取步骤:获取驾驶人员的身份信息、驾驶能力信息和路线信息,车辆的实时定位信息,以及根据路线信息获取路线上对应所在地的服务区信息、天气信息和路况信息;所述路线信息包括途径的高速路信息、国道信息、省道信息、县道信息和村道信息,所述路况信息包括下雨路段、雨雪路段、多弯道路段和长下坡路段;
换驾安排步骤:根据天气信息、路况信息和服务区信息将路线信息划分为若干个行驶路段,并根据驾驶人员的驾驶能力信息匹配每个行驶路段的驾驶人员;所述服务区为相邻行驶路段的交界点;
语音提示步骤:将步骤S6的预警提示信息进行语音播报,并在车辆的实时定位信息达到相邻行驶路段的交界点时,进行语音换驾提示。
目前长途货车一般由两个驾驶员轮流驾驶,但是两个驾驶员的驾驶能力、驾龄可能大不相同,因此应对各种驾驶环境,其驾驶的安全性也不同。例如在冬季的天气中,路面上会存在积雪等情况,因此具有积雪路面驾驶经验的驾驶人员来驾驶更为合适更安全,而在山路且弯道较多的地区,具有相关驾驶经验的驾驶人员来驾驶更为安全。在换驾安排步骤中,会根据天气信息、路况信息和服务区信息将路线信息划分为若干个行驶路段,其中长途货车多在高速路上行驶,因此需以服务区为交换驾驶的地方。每个行驶路段的驾驶人员具体根据驾驶人员的驾驶能力信息匹配,使对应的驾驶人员能充分发挥自己的驾驶能力,保证长途驾驶的安全性。语音提示步骤不仅会将放置疲劳驾驶的预警提示信息进行语音播报,还会在车辆的实时定位信息达到相邻行驶路段的交界点时,进行语音换驾提示,用于提示驾驶员进行休息,避免出现疲劳驾驶的情况。
进一步,驾驶分析步骤:在车辆的实时定位信息达到相邻行驶路段的交界点时,计时清零并开始计时,当车辆行驶到路况信息种标记的拥堵路段,且实时定位信息未变化时,判断计时时长是否大于时长阈值时,若大于则进行语音换驾提示。
避免道路拥堵而导致驾驶员感到疲乏,从而进一步导致道路拥堵,通过计时和计时时长的判断,以及语音换驾提示,能够让驾驶员及时进行交换驾驶,从而避免拥堵和出现事故。
附图说明
图1为本发明实施例一中基于神经网络的疲劳驾驶检测方法的流程框图;
图2为眼睛以及鼻子CNN训练网络EsMs-Net的框架结构图;
图3为眼睛的眨眼和闭眼的分析计算示意图;
图4为眼睛睁闭波动曲线。
具体实施方式
下面通过具体实施方式进一步详细说明:
实施例
一种基于神经网络的疲劳驾驶检测方法,用于构建疲劳驾驶检测系统并搭载于车载终端,所述车载终端设置在长途货车内用于疲劳驾驶检测系统的信息处理并与摄像头电连接。所述方法基本如附图1所示:包括以下步骤:
S1、通过摄像头实时采集人脸图像;本实施例中选用的摄像头像素为640×480pixels,安装在长途货车的主驾驶室,离驾驶员65-80cm距离的位置。
S2、将采集的人脸图像进行图像预处理;所述预处理包括
S3、将图像预处理后的人脸图像输入到卷积神经网络模型中,进行人脸定位和人脸特征定位,输出人脸特征定位后的人脸特征图像;所述人脸特征包括眼和嘴;所述卷积神经网络模型包括现有的多任务级联卷积网络MTCNN(Multi-Task Cascaded ConvolutionalNetworks,MTCNN)和独立设计的眼、嘴训练及测试CNN网络。MTCNN利用级联结构由三个子网络P-Net、R-Net、O-Net组成,可以实行人脸检测和对齐,是目前最快速精确的人脸检测器,可以确定人脸的位置及关键点,关键点坐标包括:左眼、右眼、鼻子、左唇端以及右唇端。
设计的眼、嘴训练及测试CNN网络如图2所示,有两个卷积层、两个池化层和三个全连接层构成。
训练的输入图片选择和MTCNN中的O-net层相同大小的48×48pixels,可以减少因为图片尺寸造成的附加计算量。
S301、输入的眼、鼻等训练集图片分3个通道进入第1个卷积层C1,此处使用32个卷积核,尺寸大小选择48×48pixels,生成32个大小为48×48pixels的卷积层输出featuremap;
S302、将步骤S301的feature map经过池化层S2进行降维处理,选用大小为48×48pixels的最大值池化max-pooling,获得32个大小为48×48pixels的feature map;
S303、将步骤S302的feature map进入第二个卷积层C3进行进一步的特征提取,此处使用64个卷积核,尺寸大小仍然选择48×48pixels,生成64个大小为48×48pixels的feature map;
S304、将步骤S303的feature map经过池化层S4进行降维处理,此处选用大小为48×48pixels的平均池化ave-pooling,获得64个大小为48×48pixels的feature map;
S305、将步骤S304的feature map分别经过神经元为512、256的全连接层F5、F6,最后一层为Softmax层,对图片的输出进行二分类,得到定位后眼部图像数据集和眼部图像数据集。
S4、根据人脸特征图像中各人脸特征的状态计算PERCLOS参数fP、眨眼频率BF参数fBF和打哈欠参数fyawn
所述PERCLOS参数fP的表达式如下:
fP=Nclose/Ntotal×100%
其中,Nclose表示在一段时间内眼睛闭合状态下的总帧数,Ntotal与表示在该段时间内总的帧数。PERCLOS参数fP表示在一定时间内,眼睛处于闭合状态的时间占据的比例。
所述眨眼频率BF参数fBF的表达式如下:
Figure BDA0002876349520000061
其中,n1表示在一定时间内的眨眼次数,N1表示在该时间内的总帧数,tf为处理每帧图片的时间。
PERCLOS参数fP、眨眼频率BF参数fBF中每帧图像眨眼、闭眼的判断方法包括以下步骤:
S401、对人脸特征图像中定位的眼部进行建模,如图3所示,眼角左右两点分别为P1、P4,瞳仁上两点分别为P2、P3,瞳仁下面两点分别为P5、P6;
S402、分别计算P1P4,P2P6,P3P5的长度,并按照EAR公式计算EAR值;
S403、将人脸特征图像中每帧图像的EAR值与闭眼阈值进行对比,若EAR值小于闭眼阈值,则判断该帧图像为闭眼;
S404、当EAR值由睁眼阈值降低到闭眼阈值时,为一次状态改变,统计为一次眨眼。
如图4所示,正常情况下人的眨眼频率为每分钟20~30次,每次眨眼时间为0.25~0.3S,如果在一段时间内眨眼频率过低,则驾驶员有可能处于疲劳状态。正常睁眼状况下,睁眼状态下的EAR值为0.25左右,闭眼状态下的EAR值为0.08左右。因此闭眼阈值为0.08,睁眼阈值为0.25,当EAR值由0.25降低到0.08时,为一次状态改变,统计为一次眨眼,计算一定时间内的眨眼次数n,并计算这段时间内的总帧数N。在一段时间内计算眼睛闭合状态下的总帧数Nclose与该段时间内总的帧数Ntotal
所述打哈欠参数fyawn的表达式如下:
fyawn=n2/N2
其中,n2表示在一定时间内嘴部外界方框明显增大的帧数,N2表示该时间内的帧数。所述哈欠参数fyawn中打哈欠的判定包括以下步骤:
S405、对人脸特征图像中定位的嘴部进行建模,计算嘴部外接矩形框的嘴部面积;
S405、将嘴部面积与嘴部阈值相对比,嘴部面积大于嘴部阈值则判定当前图像帧为打哈欠。
驾驶员疲劳时,打哈欠的频率会增大,对于已经用外接四边形定位的嘴部器官,其在打哈欠时外接矩形框的大小,要远远大于正常闭合及说话时的外界方框,设定适当的外界矩形的阈值,当大于此阈值则可判定为打哈欠,可以通过统计在一定时间内嘴巴外界方框明显增大的帧数n2,与这段时间内的帧数N2,确定其打哈欠参数。
S5、根据PERCLOS参数fP、眨眼频率BF参数fBF和打哈欠参数fyawn和对应的权重计算疲劳指数;PERCLOS参数fP、眨眼频率BF参数fBF和打哈欠参数fyawn对应的权重分别为ω123,疲劳指数的表达式如下:
f=ω1fp2fBF3fyawn
其中,ω123,且ω123=1。
S6、将疲劳指数与预警阈值进行比较,若满足预警阈值则生成预警提示信息。本实施例中根据f值分别设定为极度疲劳、一般疲劳及正常等三种情况,对于前两种情况,需要进行相应的示警及提醒操作。
实施例二
实施例二与实施例一的区别在于,所述基于神经网络的疲劳驾驶检测方法应用于长途货运货车,驾驶员疲劳驾驶主要是长时间驾驶,其中以长途货车的驾驶员居多。一些货车司机疲劳驾驶,不仅影响自身安全,也威胁到高速路上的其他车辆。而且因货车体积、质量大,疲劳驾驶所导致的事故往往为恶性事故,造成巨大的生命和财产损失。目前长途货车驾驶员为避免疲劳驾驶一般由两个驾驶员轮流驾驶。所述车载终端还通信连接用户端,用户端应用于驾驶人员,用于通过问卷或信息注册的方式手机驾驶人员的身份信息、驾驶能力信息。所述基于神经网络的疲劳驾驶检测方法还包括以下步骤:
数据获取步骤:获取驾驶人员的身份信息、驾驶能力信息和路线信息,车辆的实时定位信息,以及根据路线信息获取路线上对应所在地的服务区信息、天气信息和路况信息;所述路线信息包括途径的高速路信息、国道信息、省道信息、县道信息和村道信息,所述路况信息包括下雨路段、雨雪路段、多弯道路段和长下坡路段;天气信息主要包括雨雪天气和下雨天气。服务区信息主要包括高速路上的服务区,以及国道信息、省道信息、县道信息和村道信息上自由设置的自定义服务区。
换驾安排步骤:根据天气信息、路况信息和服务区信息将路线信息划分为若干个行驶路段,并根据驾驶人员的驾驶能力信息匹配每个行驶路段的驾驶人员;所述服务区为相邻行驶路段的交界点;
语音提示步骤:将步骤S6的预警提示信息进行语音播报,并在车辆的实时定位信息达到相邻行驶路段的交界点时,进行语音换驾提示。每个行驶路段的驾驶人员具体根据驾驶人员的驾驶能力信息匹配,使对应的驾驶人员能充分发挥自己的驾驶能力,保证长途驾驶的安全性。语音提示步骤不仅会将放置疲劳驾驶的预警提示信息进行语音播报,还会在车辆的实时定位信息达到相邻行驶路段的交界点时,进行语音换驾提示,用于提示驾驶员进行休息,避免出现疲劳驾驶的情况。
驾驶分析步骤:在车辆的实时定位信息达到相邻行驶路段的交界点时,计时清零并开始计时,当车辆行驶到路况信息种标记的拥堵路段,且实时定位信息未变化时,判断计时时长是否大于时长阈值时,若大于则进行语音换驾提示。驾驶分析步骤的设置,可以避免道路拥堵而导致驾驶员感到疲乏,从而进一步导致道路拥堵,通过计时、及时计时时长的判断,以及语音换驾提示,能够让驾驶员及时进行交换驾驶,从而避免拥堵和出现事故。
以上所述的仅是本发明的实施例,方案中公知的具体结构及特性等常识在此过多描述,所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识,能够获知该领域中所有的现有技术,并且具有应用该日期之前常规实验手段的能力,所属领域普通技术人员可以在本申请给出的启示下,结合自身能力完善并实施本方案,一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出,对于本领域的技术人员来说,在不脱离本发明结构的前提下,还可以作出若干变形和改进,这些也应该视为本发明的保护范围,这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准,说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.基于神经网络的疲劳驾驶检测方法,其特征在于:包括以下步骤:
S1、通过摄像头实时采集人脸图像;
S2、将采集的人脸图像进行图像预处理;
S3、将图像预处理后的人脸图像输入到卷积神经网络模型中,进行人脸定位和人脸特征定位,输出人脸特征定位后的人脸特征图像;所述人脸特征包括眼和嘴;
S4、根据人脸特征图像中各人脸特征的状态计算PERCLOS参数fP、眨眼频率BF参数fBF和打哈欠参数fyawn
S5、根据PERCLOS参数fP、眨眼频率BF参数fBF和打哈欠参数fyawn和对应的权重计算疲劳指数;
S6、将疲劳指数与预警阈值进行比较,若满足预警阈值则生成预警提示信息。
2.根据权利要求1所述的基于神经网络的疲劳驾驶检测方法,其特征在于:所述PERCLOS参数fP的表达式如下:
fP=Nclose/Ntotal×100%
其中,Nclose表示在一段时间内眼睛闭合状态下的总帧数,Ntotal与表示在该段时间内总的帧数。
3.根据权利要求2所述的基于神经网络的疲劳驾驶检测方法,其特征在于:所述眨眼频率BF参数fBF的表达式如下:
Figure FDA0002876349510000011
其中,n1表示在一定时间内的眨眼次数,N1表示在该时间内的总帧数,tf为处理每帧图片的时间。
4.根据权利要求3所述的基于神经网络的疲劳驾驶检测方法,其特征在于:所述打哈欠参数fyawn的表达式如下:
fyawn=n2/N2
其中,n2表示在一定时间内嘴部外界方框明显增大的帧数,N2表示该时间内的帧数。
5.根据权利要求4所述的基于神经网络的疲劳驾驶检测方法,其特征在于:所述步骤S5中,PERCLOS参数fP、眨眼频率BF参数fBF和打哈欠参数fyawn对应的权重分别为ω123,疲劳指数的表达式如下:
f=ω1fp2fBF3fyawn
其中,ω123,且ω123=1。
6.根据权利要求5所述的基于神经网络的疲劳驾驶检测方法,其特征在于:所述步骤S4的PERCLOS参数fP、眨眼频率BF参数fBF中每帧图像眨眼、闭眼的判断方法包括以下步骤:
对人脸特征图像中定位的眼部进行建模,眼角左右两点分别为P1、P4,瞳仁上两点分别为P2、P3,瞳仁下面两点分别为P5、P6;
分别计算P1P4,P2P6,P3P5的长度,并按照EAR公式计算EAR值;
将人脸特征图像中每帧图像的EAR值与闭眼阈值进行对比,若EAR值小于闭眼阈值,则判断该帧图像为闭眼;
当EAR值由睁眼阈值降低到闭眼阈值时,为一次状态改变,统计为一次眨眼。
7.根据权利要求6所述的基于神经网络的疲劳驾驶检测方法,其特征在于:所述EAR公式如下:
Figure FDA0002876349510000021
8.根据权利要求7所述的基于神经网络的疲劳驾驶检测方法,其特征在于:所述哈欠参数fyawn中打哈欠的判定包括以下步骤:
对人脸特征图像中定位的嘴部进行建模,计算嘴部外接矩形框的嘴部面积;
将嘴部面积与嘴部阈值相对比,嘴部面积大于嘴部阈值则判定当前图像帧为打哈欠。
9.根据权利要求1所述的基于神经网络的疲劳驾驶检测方法,其特征在于:还包括以下步骤:
数据获取步骤:获取驾驶人员的身份信息、驾驶能力信息和路线信息,车辆的实时定位信息,以及根据路线信息获取路线上对应所在地的服务区信息、天气信息和路况信息;
换驾安排步骤:根据天气信息、路况信息和服务区信息将路线信息划分为若干个行驶路段,并根据驾驶人员的驾驶能力信息匹配每个行驶路段的驾驶人员;所述服务区为相邻行驶路段的交界点;
语音提示步骤:将步骤S6的预警提示信息进行语音播报,并在车辆的实时定位信息达到相邻行驶路段的交界点时,进行语音换驾提示。
10.根据权利要求9所述的基于神经网络的疲劳驾驶检测方法,其特征在于:还包括以下步骤:
驾驶分析步骤:在车辆的实时定位信息达到相邻行驶路段的交界点时,计时清零并开始计时,当车辆行驶到路况信息种标记的拥堵路段,且实时定位信息未变化时,判断计时时长是否大于时长阈值时,若大于则进行语音换驾提示。
CN202011621904.8A 2020-12-31 2020-12-31 基于神经网络的疲劳驾驶检测方法 Pending CN112686161A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011621904.8A CN112686161A (zh) 2020-12-31 2020-12-31 基于神经网络的疲劳驾驶检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011621904.8A CN112686161A (zh) 2020-12-31 2020-12-31 基于神经网络的疲劳驾驶检测方法

Publications (1)

Publication Number Publication Date
CN112686161A true CN112686161A (zh) 2021-04-20

Family

ID=75453870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011621904.8A Pending CN112686161A (zh) 2020-12-31 2020-12-31 基于神经网络的疲劳驾驶检测方法

Country Status (1)

Country Link
CN (1) CN112686161A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469023A (zh) * 2021-06-28 2021-10-01 北京百度网讯科技有限公司 确定警觉度的方法、装置、设备和存储介质
CN113643512A (zh) * 2021-07-28 2021-11-12 北京中交兴路信息科技有限公司 一种疲劳驾驶检测方法、装置、电子设备及存储介质
CN114049676A (zh) * 2021-11-29 2022-02-15 中国平安财产保险股份有限公司 疲劳状态检测方法、装置、设备及存储介质
CN115366909A (zh) * 2022-10-21 2022-11-22 四川省公路规划勘察设计研究院有限公司 长大纵坡路段驾驶员事故动态预警方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013011450A (ja) * 2011-06-28 2013-01-17 Mitsubishi Electric Corp ナビゲーション装置
CN108423002A (zh) * 2018-02-07 2018-08-21 深圳市芝麻开门电子科技有限公司 一种安全驾驶监控的方法及系统
CN109934199A (zh) * 2019-03-22 2019-06-25 扬州大学 一种基于计算机视觉的驾驶员疲劳检测方法及系统
CN110705453A (zh) * 2019-09-29 2020-01-17 中国科学技术大学 一种实时的疲劳驾驶检测方法
CN110728241A (zh) * 2019-10-14 2020-01-24 湖南大学 一种基于深度学习多特征融合的驾驶员疲劳检测方法
CN111368580A (zh) * 2018-12-25 2020-07-03 北京入思技术有限公司 一种基于视频分析的疲劳状态检测方法及装置
WO2020205597A1 (en) * 2019-03-29 2020-10-08 Intel Corporation Autonomous vehicle system
CN111753674A (zh) * 2020-06-05 2020-10-09 广东海洋大学 一种基于深度学习的疲劳驾驶的检测识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013011450A (ja) * 2011-06-28 2013-01-17 Mitsubishi Electric Corp ナビゲーション装置
CN108423002A (zh) * 2018-02-07 2018-08-21 深圳市芝麻开门电子科技有限公司 一种安全驾驶监控的方法及系统
CN111368580A (zh) * 2018-12-25 2020-07-03 北京入思技术有限公司 一种基于视频分析的疲劳状态检测方法及装置
CN109934199A (zh) * 2019-03-22 2019-06-25 扬州大学 一种基于计算机视觉的驾驶员疲劳检测方法及系统
WO2020205597A1 (en) * 2019-03-29 2020-10-08 Intel Corporation Autonomous vehicle system
CN110705453A (zh) * 2019-09-29 2020-01-17 中国科学技术大学 一种实时的疲劳驾驶检测方法
CN110728241A (zh) * 2019-10-14 2020-01-24 湖南大学 一种基于深度学习多特征融合的驾驶员疲劳检测方法
CN111753674A (zh) * 2020-06-05 2020-10-09 广东海洋大学 一种基于深度学习的疲劳驾驶的检测识别方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469023A (zh) * 2021-06-28 2021-10-01 北京百度网讯科技有限公司 确定警觉度的方法、装置、设备和存储介质
CN113643512A (zh) * 2021-07-28 2021-11-12 北京中交兴路信息科技有限公司 一种疲劳驾驶检测方法、装置、电子设备及存储介质
CN113643512B (zh) * 2021-07-28 2023-07-18 北京中交兴路信息科技有限公司 一种疲劳驾驶检测方法、装置、电子设备及存储介质
CN114049676A (zh) * 2021-11-29 2022-02-15 中国平安财产保险股份有限公司 疲劳状态检测方法、装置、设备及存储介质
CN115366909A (zh) * 2022-10-21 2022-11-22 四川省公路规划勘察设计研究院有限公司 长大纵坡路段驾驶员事故动态预警方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN112686161A (zh) 基于神经网络的疲劳驾驶检测方法
Wang et al. How much data are enough? A statistical approach with case study on longitudinal driving behavior
CN108791299B (zh) 一种基于视觉的驾驶疲劳检测及预警系统及方法
CN112071061A (zh) 基于云计算和数据分析的车辆服务系统
CN103310202A (zh) 一种保障驾驶安全的系统及其方法
CN111105110A (zh) 驾驶风险确定方法、装置、介质和计算设备
CN108454633B (zh) 规范司机驾驶行为的方法和装置
CN113516846B (zh) 车辆换道行为预测模型构建、预测预警方法及系统
CN110610153A (zh) 一种用于自动驾驶的车道识别方法及系统
CN115035491A (zh) 一种基于联邦学习的驾驶行为路况预警方法
CN111145533A (zh) 基于城市区域的行人异常交通行为模式识别管控系统
CN112288023A (zh) 基于模拟驾驶器和svm算法的激进驾驶识别的建模方法
CN112606842A (zh) 一种安全驾驶辅助方法、装置及系统
DE102022111037A1 (de) Verfahren und systeme zur optimierung von fahrzeugereignisprozessen
CN113386775B (zh) 一种考虑人-车-路特性的驾驶员意图识别方法
CN111027859B (zh) 基于机动车状态监控数据挖掘的驾驶风险防范方法及系统
DE102023107233A1 (de) Auswahl von fahrzeugaktionen auf grundlage simulierter zustände
CN114973214A (zh) 一种基于人脸特征点的不安全驾驶行为识别方法
CN114375005A (zh) 一种基于5g天线的车路通信测试系统
CN114613183A (zh) 一种基于智慧交通的信号灯调节系统
CN113848073A (zh) 一种人车碰撞概率预测驾驶辅助方法及系统
CN114291097B (zh) 实时反馈的驾驶行为差异化矫正方法、装置、设备
CN117922580A (zh) 一种基于人工智能的智能驾驶监管方法及系统
CN117593891B (zh) 一种基于高速公路交通大数据的车流量分析系统及方法
CN115966100B (zh) 一种行车安全控制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210420