CN111179552A - 基于多传感器融合的驾驶员状态监测方法和系统 - Google Patents
基于多传感器融合的驾驶员状态监测方法和系统 Download PDFInfo
- Publication number
- CN111179552A CN111179552A CN201911411926.9A CN201911411926A CN111179552A CN 111179552 A CN111179552 A CN 111179552A CN 201911411926 A CN201911411926 A CN 201911411926A CN 111179552 A CN111179552 A CN 111179552A
- Authority
- CN
- China
- Prior art keywords
- driver
- fatigue
- face
- state
- judging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
- G08B3/1008—Personal calling arrangements or devices, i.e. paging systems
- G08B3/1016—Personal calling arrangements or devices, i.e. paging systems using wireless transmission
- G08B3/1025—Paging receivers with audible signalling details
- G08B3/1033—Paging receivers with audible signalling details with voice message alert
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
- G08B7/02—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using mechanical transmission
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于多传感器融合的驾驶员状态监测方法,包括:将获取的图像进行不同尺度的缩放,生成图像金字塔,对人脸和五官进行定位;对定位得到的人脸和五官,通过卷积神经网络提取眼部和嘴部区域特征,统计一定时间内闭眼的时长,若超过阈值,则判别处于第一疲劳状态,统计一定时间嘴巴张开的时长,若超过阈值,则判别处于第二疲劳状态;采集驾驶员的心率信息,通过连续时间的队列计算心率方差D,当D<阈值T时,则判断处于第三疲劳状态;设置三种疲劳状态的权重,将三种疲劳状态进行叠加,判定疲劳等级,并以语音播报和/或震动座椅的方式进行提醒。将面部识别结果和心率监测结果进行动态融合,可以准确判定疲劳驾驶状态,精度更高。
Description
技术领域
本发明涉及疲劳驾驶检测技术领域,具体地涉及一种基于多传感器融合的驾驶员状态监测方法和系统。
背景技术
驾驶人疲劳状态的检测目前有较多研究的方法,按检测的类别可大致分为基于驾驶人生理信号的检测、基于驾驶人操作行为的检测、基于车辆状态信息的检测和基于驾驶人生理反应特征的检测等方法。
基于生理信号(脑电信号、心电信号等)判别疲劳驾驶的准确性较高,且对所有健康的驾驶员来说,生理信号差异性不大,具有共性,但传统的生理信号采集方式需要采用接触式测量,给驾驶人疲劳检测的实际应用带来很多不便和局限性。
驾驶人的操作行为除了与疲劳状态有关外,还受到个人习惯、行驶速度、道路环境、操作技能的影响,因此需要考虑的干扰因素较多,影响基于驾驶人操作行为(如方向盘操作等)判别疲劳驾驶的精确度。
利用车辆行驶轨迹变化和车道线偏离等车辆行驶状态信息也可推测驾驶人的疲劳状态,但是车辆的行驶状态也与车辆特性、道路等很多环境因素有关,和驾驶人的驾驶经验以及驾驶习惯相关性较大,因此基于车辆状态信息判别疲劳驾驶需要考虑的干扰因素也较多。
基于驾驶人生理反应特征的疲劳驾驶判别方法是指利用驾驶人的眼睛特性、嘴部运动特征等推断驾驶人的疲劳状态,这些信息被认为是反映疲劳的重要特征,眨眼幅度、眨眼频率、平均闭合时间和打哈欠的动作等都可直接用于检测疲劳,主要存在以下不足:(1)光照复杂变化(2)驾驶员头部姿态多变(3)不同驾驶员个体差异性。影响驾驶员脸部检测以及五官定位的精度,从而降低驾驶员驾驶行为模型空间的鲁棒性。
但是,由于驾驶员的个体差异,单一检测指标的检测手段存在局限性,主要表现为准确性较低、容易出现偏差,等等。
因此,如何将多传感器信息融合技术引入到驾驶疲劳检测技术中来,以提高驾驶员疲劳检测的准确性和实时性,成为亟待解决的问题。
发明内容
为了解决上述技术问题,本发明提出了一种基于多传感器融合的驾驶员状态监测系统和方法,将面部识别结果和心率监测结果进行动态融合,可以准确判定疲劳驾驶状态,精度更高。
本发明所采用的技术方案是:
一种基于多传感器融合的驾驶员状态监测方法,包括以下步骤:
S01:通过红外摄像头获取实时单帧红外图像;
S02:将获取的图像进行不同尺度的缩放,生成图像金字塔,对人脸和五官进行定位;
S03:对定位得到的人脸和五官,通过卷积神经网络提取眼部和嘴部区域特征,分别训练驾驶员眼睛状态分类器和嘴部状态Softmax分类器,使用眼睛状态分类器判别是否存在闭眼行为,使用嘴部状态Softmax分类器判别是否存在打哈欠行为,统计一定时间内驾驶员闭眼的时长,若超过阈值,则判别驾驶员处于第一疲劳状态,统计一定时间驾驶员嘴巴张开的时长,若超过阈值,则判别驾驶员处于第二疲劳状态;
S04:通过安装于汽车方向盘上的心率传感器,采集驾驶员的心率信息,通过连续时间的队列计算心率方差D,设置采样数据训练疲劳阈值T,当D<T时,则判断驾驶员处于第三疲劳状态;
S05:设置第一疲劳状态的权重为β,第二疲劳状态的权重为γ,第三疲劳状态为α,将三种疲劳状态进行叠加,判定疲劳等级,并以语音播报和/或震动座椅的方式进行提醒。
优选的技术方案中,所述步骤S02中驾驶员人脸和五官定位包括以下步骤:
(1)构建第一卷积神经网络作为提议网络,用于快速输出大量候选人脸窗口,并且计算每个人脸框的边界回归向量,对候选人脸窗口进行校准,使用非极大值抑制方法合并高度重叠的人脸框;
(2)构建第二卷积神经网络作为精炼网络对提议网络输出的人脸框进行处理,删除非人脸窗口,并计算人脸框的边界框回归向量,使用非极大值抑制方法提炼人脸框;
(3)构建第三卷积神经网络作为输出网络,对精炼网络的输出人脸框进行判别,并计算人脸框的边界回归向量,使用非极大值抑制方法删除重叠的人脸框,对面部特征点进行回归,输出人脸的五官坐标。
优选的技术方案中,所述步骤S05中,当0<α+β+γ≤a时,则判别为是轻度疲劳,通过发出语音播报方式提醒;当a<α+β+γ≤b时,则判别为中度疲劳,通过间断语音播报和震动座椅双重方式进行提醒;当b<α+β+γ≤1时,则判定为重度疲劳,通过连续语音播报和震动座椅双重方式进行提醒。
本发明还公开了一种基于多传感器融合的驾驶员状态监测系统,包括:
红外摄像头,获取实时单帧红外图像;
处理定位模块,将获取的图像进行不同尺度的缩放,生成图像金字塔,对人脸和五官进行定位;
面部识别模块:对定位得到的人脸和五官,通过卷积神经网络提取眼部和嘴部区域特征,分别训练驾驶员眼睛状态分类器和嘴部状态Softmax分类器,使用眼睛状态分类器判别是否存在闭眼行为,使用嘴部状态Softmax分类器判别是否存在打哈欠行为,统计一定时间内驾驶员闭眼的时长,若超过阈值,则判别驾驶员处于第一疲劳状态,统计一定时间驾驶员嘴巴张开的时长,若超过阈值,则判别驾驶员处于第二疲劳状态;
第二识别模块,通过安装于汽车方向盘上的心率传感器,采集驾驶员的心率信息,通过连续时间的队列计算心率方差D,设置采样数据训练疲劳阈值T,当D<T时,则判断驾驶员处于第三疲劳状态;
疲劳等级判定模块,设置第一疲劳状态的权重为β,第二疲劳状态的权重为γ,第三疲劳状态为α,将三种疲劳状态进行叠加,判定疲劳等级;
提醒模块,根据疲劳等级以语音播报和/或震动座椅的方式进行提醒。
优选的技术方案中,所述处理定位模块中驾驶员人脸和五官定位包括以下步骤:
(1)构建第一卷积神经网络作为提议网络,用于快速输出大量候选人脸窗口,并且计算每个人脸框的边界回归向量,对候选人脸窗口进行校准,使用非极大值抑制方法合并高度重叠的人脸框;
(2)构建第二卷积神经网络作为精炼网络对提议网络输出的人脸框进行处理,删除非人脸窗口,并计算人脸框的边界框回归向量,使用非极大值抑制方法提炼人脸框;
(3)构建第三卷积神经网络作为输出网络,对精炼网络的输出人脸框进行判别,并计算人脸框的边界回归向量,使用非极大值抑制方法删除重叠的人脸框,对面部特征点进行回归,输出人脸的五官坐标。
优选的技术方案中,当0<α+β+γ≤a时,则判别为是轻度疲劳,通过发出语音播报方式提醒;当a<α+β+γ≤b时,则判别为中度疲劳,通过间断语音播报和震动座椅双重方式进行提醒;当b<α+β+γ≤1时,则判定为重度疲劳,通过连续语音播报和震动座椅双重方式进行提醒。
与现有技术相比,本发明的有益效果是:
1、本发明将面部识别结果和心率监测结果进行动态融合,可以准确判定疲劳驾驶状态,准确度高,实时性好。
2、本发明针对疲劳驾驶通过语音和震动座椅双重提醒方法,可以有效提醒疲劳司机。
附图说明
下面结合附图及实施例对本发明作进一步描述:
图1为基于多传感器融合的驾驶员状态监测方法的流程图;
图2为本发明驾驶员人脸和五官定位流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
实施例
如图1、2所示,本发明的基于多传感器融合的驾驶员状态监测方法,包括如下步骤:
S01,通过红外摄像头获取实时单帧红外图像;
S02,使用一种基于多任务级联的卷积神经网络对输入图片由粗到精的对驾驶员的人脸区域和面部五官进行定位。首先将输入图像进行不同尺度的缩放,生成图像金字塔,保证驾驶员脸部的尺度不变性。驾驶员面部定位和五官定位包含三个阶段:(1)提议网络。构建第一卷积神经网络快速输出大量候选人脸窗口,并且计算每个人脸框的边界回归向量,对候选人脸窗口进行校准,使用非极大值抑制方法合并高度重叠的人脸框。
(2)精炼网络。构建第二卷积神经网络对提议网络输出的人脸框进行进一步判别和调整,删除非人脸窗口,并计算人脸框的边界框回归向量,使用非极大值抑制方法提炼人脸框。
(3)输出网络。构建第三卷积神经网络,对精炼网络的输出人脸框进行判别,并计算人脸框的边界回归向量,使用非极大值抑制方法删除重叠的人脸框,对面部特征点进行回归,输出人脸的五官坐标。
S03,通过S02得到驾驶员的人脸和五官位置,我们通过对驾驶员的眼睛和嘴部区域分别进行提取。基于深度学习技术,使用卷积神经网络提取眼部和嘴部区域特征,分别训练驾驶员眼睛状态分类器和嘴部状态的Softmax分类器。使用眼睛状态分类器来判别驾驶员是否存在闭眼行为,使用嘴部状态分类器来判别驾驶员是否存在打哈欠行为。
S04,在汽车方向盘上安装心率传感器,通过驾驶员手与方向盘接触来采集驾驶员的心率信息,通过处理器对心电信息进行处理来计算驾驶员的疲劳程度,本发明采用连续十秒钟队列来计算心率方差D,设置采样数据训练疲劳阈值T,当D<T时,则判断驾驶员处于疲劳状态。通过心率来判别驾驶员是否疲劳作为疲劳状态1。
S05,对于驾驶员面部疲劳特征和心率信号,本发明采用三个权重分别对应于驾驶员的闭眼、打哈欠、心电图疲劳三种疲劳判别特征。考虑到人在正常情况下会存在间接性的存在眨眼和打哈欠行为。通过统计两秒内驾驶员闭眼的时长超过阈值,则判别驾驶员眼睛处于疲劳状态2,统计三秒钟驾驶员嘴巴张开的时长超过阈值,则判别驾驶员处于疲劳状态3。
本发明将心电图疲劳特征1对应的权重为α=0.5,心电图没有存在疲劳特征时,α=0,闭眼疲劳特征2对应的权重为β=0.25,没有存在闭眼疲劳特征时,β=0,打哈欠疲劳特征3对应的权重为γ=0.25,没有存在打哈欠疲劳特征时,γ=0。使用这三种加权方法来判别驾驶员的疲劳程度。
本发明将驾驶员疲劳等级分为轻度疲劳、中度疲劳和重度疲劳三个等级,当0<α+β+γ≤0.25时,则判别为是轻度疲劳,终端发出语音播报方式提醒,当0.25<α+β+γ≤0.5时,则判别为中度疲劳,通过间断语音播报和震动座椅双重方式来提醒驾驶员注意安装。当0.5<α+β+γ≤1时,则判定为重度疲劳,通过连续语音播报和座椅双重方式来提醒驾驶员。
本发明还公开了一种基于多传感器融合的驾驶员状态监测系统,包括:
红外摄像头,获取实时单帧红外图像;
处理定位模块,将获取的图像进行不同尺度的缩放,生成图像金字塔,对人脸和五官进行定位;
面部识别模块:对定位得到的人脸和五官,通过卷积神经网络提取眼部和嘴部区域特征,分别训练驾驶员眼睛状态分类器和嘴部状态Softmax分类器,使用眼睛状态分类器判别是否存在闭眼行为,使用嘴部状态Softmax分类器判别是否存在打哈欠行为,统计一定时间内驾驶员闭眼的时长,若超过阈值,则判别驾驶员处于第一疲劳状态,统计一定时间驾驶员嘴巴张开的时长,若超过阈值,则判别驾驶员处于第二疲劳状态;
第二识别模块,通过安装于汽车方向盘上的心率传感器,采集驾驶员的心率信息,通过连续时间的队列计算心率方差D,设置采样数据训练疲劳阈值T,当D<T时,则判断驾驶员处于第三疲劳状态;
疲劳等级判定模块,设置第一疲劳状态的权重为β,第二疲劳状态的权重为γ,第三疲劳状态为α,将三种疲劳状态进行叠加,判定疲劳等级;
提醒模块,根据疲劳等级以语音播报和/或震动座椅的方式进行提醒。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (6)
1.一种基于多传感器融合的驾驶员状态监测方法,其特征在于,包括以下步骤:
S01:通过红外摄像头获取实时单帧红外图像;
S02:将获取的图像进行不同尺度的缩放,生成图像金字塔,对人脸和五官进行定位;
S03:对定位得到的人脸和五官,通过卷积神经网络提取眼部和嘴部区域特征,分别训练驾驶员眼睛状态分类器和嘴部状态Softmax分类器,使用眼睛状态分类器判别是否存在闭眼行为,使用嘴部状态Softmax分类器判别是否存在打哈欠行为,统计一定时间内驾驶员闭眼的时长,若超过阈值,则判别驾驶员处于第一疲劳状态,统计一定时间驾驶员嘴巴张开的时长,若超过阈值,则判别驾驶员处于第二疲劳状态;
S04:通过安装于汽车方向盘上的心率传感器,采集驾驶员的心率信息,通过连续时间的队列计算心率方差D,设置采样数据训练疲劳阈值T,当D<T时,则判断驾驶员处于第三疲劳状态;
S05:设置第一疲劳状态的权重为β,第二疲劳状态的权重为γ,第三疲劳状态为α,将三种疲劳状态进行叠加,判定疲劳等级,并以语音播报和/或震动座椅的方式进行提醒。
2.根据权利要求1所述的基于多传感器融合的驾驶员状态监测方法,其特征在于,所述步骤S02中驾驶员人脸和五官定位包括以下步骤:
(1)构建第一卷积神经网络作为提议网络,用于快速输出大量候选人脸窗口,并且计算每个人脸框的边界回归向量,对候选人脸窗口进行校准,使用非极大值抑制方法合并高度重叠的人脸框;
(2)构建第二卷积神经网络作为精炼网络对提议网络输出的人脸框进行处理,删除非人脸窗口,并计算人脸框的边界框回归向量,使用非极大值抑制方法提炼人脸框;
(3)构建第三卷积神经网络作为输出网络,对精炼网络的输出人脸框进行判别,并计算人脸框的边界回归向量,使用非极大值抑制方法删除重叠的人脸框,对面部特征点进行回归,输出人脸的五官坐标。
3.根据权利要求1所述的基于多传感器融合的驾驶员状态监测方法,其特征在于,所述步骤S05中,当0<α+β+γ≤a时,则判别为是轻度疲劳,通过发出语音播报方式提醒;当a<α+β+γ≤b时,则判别为中度疲劳,通过间断语音播报和震动座椅双重方式进行提醒;当b<α+β+γ≤1时,则判定为重度疲劳,通过连续语音播报和震动座椅双重方式进行提醒。
4.一种基于多传感器融合的驾驶员状态监测系统,其特征在于,包括:
红外摄像头,获取实时单帧红外图像;
处理定位模块,将获取的图像进行不同尺度的缩放,生成图像金字塔,对人脸和五官进行定位;
面部识别模块:对定位得到的人脸和五官,通过卷积神经网络提取眼部和嘴部区域特征,分别训练驾驶员眼睛状态分类器和嘴部状态Softmax分类器,使用眼睛状态分类器判别是否存在闭眼行为,使用嘴部状态Softmax分类器判别是否存在打哈欠行为,统计一定时间内驾驶员闭眼的时长,若超过阈值,则判别驾驶员处于第一疲劳状态,统计一定时间驾驶员嘴巴张开的时长,若超过阈值,则判别驾驶员处于第二疲劳状态;
第二识别模块,通过安装于汽车方向盘上的心率传感器,采集驾驶员的心率信息,通过连续时间的队列计算心率方差D,设置采样数据训练疲劳阈值T,当D<T时,则判断驾驶员处于第三疲劳状态;
疲劳等级判定模块,设置第一疲劳状态的权重为β,第二疲劳状态的权重为γ,第三疲劳状态为α,将三种疲劳状态进行叠加,判定疲劳等级;
提醒模块,根据疲劳等级以语音播报和/或震动座椅的方式进行提醒。
5.根据权利要求4所述的基于多传感器融合的驾驶员状态监测系统,其特征在于,所述处理定位模块中驾驶员人脸和五官定位包括以下步骤:
(1)构建第一卷积神经网络作为提议网络,用于快速输出大量候选人脸窗口,并且计算每个人脸框的边界回归向量,对候选人脸窗口进行校准,使用非极大值抑制方法合并高度重叠的人脸框;
(2)构建第二卷积神经网络作为精炼网络对提议网络输出的人脸框进行处理,删除非人脸窗口,并计算人脸框的边界框回归向量,使用非极大值抑制方法提炼人脸框;
(3)构建第三卷积神经网络作为输出网络,对精炼网络的输出人脸框进行判别,并计算人脸框的边界回归向量,使用非极大值抑制方法删除重叠的人脸框,对面部特征点进行回归,输出人脸的五官坐标。
6.根据权利要求4所述的基于多传感器融合的驾驶员状态监测系统,其特征在于,当0<α+β+γ≤a时,则判别为是轻度疲劳,通过发出语音播报方式提醒;当a<α+β+γ≤b时,则判别为中度疲劳,通过间断语音播报和震动座椅双重方式进行提醒;当b<α+β+γ≤1时,则判定为重度疲劳,通过连续语音播报和震动座椅双重方式进行提醒。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911411926.9A CN111179552A (zh) | 2019-12-31 | 2019-12-31 | 基于多传感器融合的驾驶员状态监测方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911411926.9A CN111179552A (zh) | 2019-12-31 | 2019-12-31 | 基于多传感器融合的驾驶员状态监测方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111179552A true CN111179552A (zh) | 2020-05-19 |
Family
ID=70655970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911411926.9A Pending CN111179552A (zh) | 2019-12-31 | 2019-12-31 | 基于多传感器融合的驾驶员状态监测方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111179552A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111951532A (zh) * | 2020-09-15 | 2020-11-17 | 大连科技学院 | 一种基于行车记录仪的防疲劳辅助装置 |
CN112330920A (zh) * | 2020-11-03 | 2021-02-05 | 山东建筑大学 | 一种用于长途驾驶的控制、监测和反馈终端 |
CN112528843A (zh) * | 2020-12-07 | 2021-03-19 | 湖南警察学院 | 一种融合面部特征的机动车驾驶人疲劳检测方法 |
CN113408466A (zh) * | 2021-06-30 | 2021-09-17 | 东风越野车有限公司 | 车辆驾驶员不良驾驶行为检测方法及设备 |
CN113974633A (zh) * | 2021-10-12 | 2022-01-28 | 浙江大学 | 一种交通风险防控方法、装置、设备及电子设备 |
CN114120395A (zh) * | 2021-11-02 | 2022-03-01 | 深圳技术大学 | 一种驾驶行为监测方法、装置及计算机可读存储介质 |
CN114132326A (zh) * | 2021-11-26 | 2022-03-04 | 北京经纬恒润科技股份有限公司 | 疲劳驾驶的处理方法及装置 |
CN115227247A (zh) * | 2022-07-20 | 2022-10-25 | 中南大学 | 基于多源信息融合的疲劳驾驶检测方法、系统及存储介质 |
CN117235650A (zh) * | 2023-11-13 | 2023-12-15 | 国网浙江省电力有限公司温州供电公司 | 一种高空作业状态检测方法、装置、设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6822573B2 (en) * | 2002-01-18 | 2004-11-23 | Intelligent Mechatronic Systems Inc. | Drowsiness detection system |
CN101224113A (zh) * | 2008-02-04 | 2008-07-23 | 电子科技大学 | 机动车驾驶员状态监控方法及系统 |
CN103714660A (zh) * | 2013-12-26 | 2014-04-09 | 苏州清研微视电子科技有限公司 | 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统 |
DE102018102431A1 (de) * | 2017-02-08 | 2018-08-09 | Toyota Jidosha Kabushiki Kaisha | Fahrerzustandserkennungssystem |
CN110119672A (zh) * | 2019-03-26 | 2019-08-13 | 湖北大学 | 一种嵌入式疲劳状态检测系统及方法 |
-
2019
- 2019-12-31 CN CN201911411926.9A patent/CN111179552A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6822573B2 (en) * | 2002-01-18 | 2004-11-23 | Intelligent Mechatronic Systems Inc. | Drowsiness detection system |
CN101224113A (zh) * | 2008-02-04 | 2008-07-23 | 电子科技大学 | 机动车驾驶员状态监控方法及系统 |
CN103714660A (zh) * | 2013-12-26 | 2014-04-09 | 苏州清研微视电子科技有限公司 | 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统 |
DE102018102431A1 (de) * | 2017-02-08 | 2018-08-09 | Toyota Jidosha Kabushiki Kaisha | Fahrerzustandserkennungssystem |
CN110119672A (zh) * | 2019-03-26 | 2019-08-13 | 湖北大学 | 一种嵌入式疲劳状态检测系统及方法 |
Non-Patent Citations (1)
Title |
---|
胡志强: "基于卷积循环神经网络的驾驶员疲劳检测方法研究", 《中国优秀硕士学位论文全文数据库(电子期刊)工程科技Ⅱ辑》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111951532A (zh) * | 2020-09-15 | 2020-11-17 | 大连科技学院 | 一种基于行车记录仪的防疲劳辅助装置 |
CN112330920A (zh) * | 2020-11-03 | 2021-02-05 | 山东建筑大学 | 一种用于长途驾驶的控制、监测和反馈终端 |
CN112528843A (zh) * | 2020-12-07 | 2021-03-19 | 湖南警察学院 | 一种融合面部特征的机动车驾驶人疲劳检测方法 |
CN113408466A (zh) * | 2021-06-30 | 2021-09-17 | 东风越野车有限公司 | 车辆驾驶员不良驾驶行为检测方法及设备 |
CN113974633B (zh) * | 2021-10-12 | 2023-02-14 | 浙江大学 | 一种交通风险防控方法、装置、设备及电子设备 |
CN113974633A (zh) * | 2021-10-12 | 2022-01-28 | 浙江大学 | 一种交通风险防控方法、装置、设备及电子设备 |
CN114120395A (zh) * | 2021-11-02 | 2022-03-01 | 深圳技术大学 | 一种驾驶行为监测方法、装置及计算机可读存储介质 |
CN114120395B (zh) * | 2021-11-02 | 2024-09-13 | 深圳技术大学 | 一种驾驶行为监测方法、装置及计算机可读存储介质 |
CN114132326A (zh) * | 2021-11-26 | 2022-03-04 | 北京经纬恒润科技股份有限公司 | 疲劳驾驶的处理方法及装置 |
CN115227247B (zh) * | 2022-07-20 | 2023-12-26 | 中南大学 | 基于多源信息融合的疲劳驾驶检测方法、系统及存储介质 |
CN115227247A (zh) * | 2022-07-20 | 2022-10-25 | 中南大学 | 基于多源信息融合的疲劳驾驶检测方法、系统及存储介质 |
CN117235650A (zh) * | 2023-11-13 | 2023-12-15 | 国网浙江省电力有限公司温州供电公司 | 一种高空作业状态检测方法、装置、设备及介质 |
CN117235650B (zh) * | 2023-11-13 | 2024-02-13 | 国网浙江省电力有限公司温州供电公司 | 一种高空作业状态检测方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111179552A (zh) | 基于多传感器融合的驾驶员状态监测方法和系统 | |
Chan et al. | A comprehensive review of driver behavior analysis utilizing smartphones | |
Craye et al. | Driver distraction detection and recognition using RGB-D sensor | |
JP4551766B2 (ja) | 被験者の頭及び目の動きを分析する方法及び装置 | |
CN101593425B (zh) | 一种基于机器视觉的疲劳驾驶监控方法及系统 | |
CN114026611A (zh) | 使用热图检测驾驶员注意力 | |
CN102324166B (zh) | 一种疲劳驾驶检测方法及装置 | |
CN105654753A (zh) | 一种智能车载安全驾驶辅助方法及系统 | |
CN202142160U (zh) | 一种疲劳驾驶预警系统 | |
CN110826369A (zh) | 一种驾驶员驾驶时注意力检测方法和系统 | |
CN105564436A (zh) | 一种高级驾驶辅助系统 | |
CN112434611B (zh) | 基于眼部运动细微特征的早期疲劳检测方法及系统 | |
CN111616718B (zh) | 基于姿态特征的驾驶员疲劳状态检测方法和系统 | |
CN104013414A (zh) | 一种基于移动智能手机的驾驶员疲劳检测系统 | |
BRPI0712837A2 (pt) | mÉtodo e aparelho para determinaÇço e anÁlise de uma localizaÇço de interesse visual. | |
WO2008127465A1 (en) | Real-time driving danger level prediction | |
CN104269028A (zh) | 一种疲劳驾驶检测方法及系统 | |
US20220284718A1 (en) | Driving analysis device and driving analysis method | |
JP5292671B2 (ja) | 覚醒度推定装置及びシステム並びに方法 | |
CN110516760A (zh) | 情境识别方法、装置、终端及计算机可读存储介质 | |
CN114220158A (zh) | 基于深度学习的疲劳驾驶检测方法 | |
CN116798189A (zh) | 一种状态的检测方法、装置及存储介质 | |
Guo et al. | Monitoring and detection of driver fatigue from monocular cameras based on Yolo v5 | |
CN113548056A (zh) | 一种基于计算机视觉的汽车安全辅助驾驶系统 | |
CN116416756A (zh) | 疲劳驾驶预警方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200519 |