CN1225375C - 基于多特征融合的困倦驾驶检测方法 - Google Patents
基于多特征融合的困倦驾驶检测方法 Download PDFInfo
- Publication number
- CN1225375C CN1225375C CN 03148524 CN03148524A CN1225375C CN 1225375 C CN1225375 C CN 1225375C CN 03148524 CN03148524 CN 03148524 CN 03148524 A CN03148524 A CN 03148524A CN 1225375 C CN1225375 C CN 1225375C
- Authority
- CN
- China
- Prior art keywords
- human eye
- chaufeur
- eyes
- sleepy
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
一种基于多特征融合的困倦驾驶检测的方法,涉及一种模式识别技术。摄像头采集到驾驶员的面部图像后,首先进行人眼检测与跟踪,同时分别进行眼睑闭合速度、闭眼持续时间和面部方向三个特征的提取与匹配,然后利用标准归一化方法将输出的三个匹配结果归一化到同一范围,再利用神经网络技术进行融合,融合结果采用0,1输出,输出结果为0表示未困倦,返回到人眼检测与跟踪,输出结果为1表示驾驶员困倦,报警提示驾驶员注意安全。本方法对困倦和注意力不集中的检测结果可靠、准确。
Description
技术领域:
本发明属于一种模式识别技术,适用于对机动车辆驾驶员进行困倦驾驶状态的检测。
背景技术:
世界上,每年因为交通事故都会造成巨大的生命财产损失。而由于困倦和过度困倦造成的驾驶员驾驶机动车辆时精神不集中是引发公路交通事故的重要原因,所以预防困倦已成为一个被广泛重视的问题,各国专家和技术人员对此进行了一系列的研究,有的已经将研究成果申请了专利[US 6243015,US6304187,ZL 93200863]。
从检测对象角度划分,对机动车辆驾驶员进行困倦驾驶状态检测的方法有四种:
(1)基于机车状态的检测方法;
(2)基于驾驶员操作的检测方法;
(3)基于驾驶员反应的检测方法;
(4)基于驾驶员生理特征状态的检测方法。
专利ZL 93200863基于方法(2)原理而设计,它通过固定在方向盘上的特殊传感器检测驾驶员的手对方向盘的作用力信息,从而做出判断。也有专家撰文提出通过特殊传感器检测驾驶员踩油门和刹车的动作习惯,从而做出判决,这些设计原理属于方法(1)。基于方法(1)和方法(2)的检测装置都不能适用于所有的机动车型,也会因为不同的驾驶员个人习惯而不能广泛适用。方法(3)要求驾驶员周期性地向检测系统回复一个回答,这样长时间后势必会引起驾驶员的厌烦。方法(4)基于驾驶员生理特征状态,如检测驾驶员的脑电波、心律、眨眼、体态下垂、头部倾斜和眼睑的闭合速度,其中因为可以用摄像头对头部倾斜、眼睑闭合速度和眨眼等特征进行非接触地检测,所以引起了工业界和学术界的兴趣,并且逐渐地开展了此类研究,部分研究成果申请了专利[US 6243015,US 6304187]。
现有的基于方法(4)的设计中,都是针对驾驶员头部倾斜、眼睑闭合速度和眼睑闭合程度特征中的单一特征进行困倦和困倦检测,由于实际应用环境复杂,单一特征检测结果可靠性差、准确率低。
发明内容:
为解决现有技术所存在的问题,提供一种基于多特征融合的困倦驾驶检测的方法。
该方法的技术方案包括:由摄像头采集到驾驶员的面部图像后,首先进行人眼检测与跟踪,同时分别进行眼睑闭合速度、闭眼持续时间和面部方向三个特征的提取与匹配,然后利用标准归一化方法将输出的三个匹配结果归一化到同一范围,再利用神经网络技术进行融合,融合结果采用0,1输出,输出结果为0表示未困倦,返回到人眼检测与跟踪,输出结果为1表示驾驶员困倦,报警提示驾驶员注意安全。
本发明的技术要点:本发明的技术要点:
(1)人眼检测与跟踪:采用红外光源照明,这样,在摄像头采集到的驾驶员脸部图像中,人眼是最亮的部分。利用图像中人眼的灰度信息和人眼的形状、大小以及两个人眼间的位置关系作为特征,运用模式识别技术将其识别定位;检测到人眼后,运用卡尔曼滤波技术对随后由摄像头采集到的每一帧图像进行人眼跟踪。
(2)眼睑闭合速度检测:计算每次眼睑闭合速度时,把该次图像采集之前固定时间间隔(30秒或1分钟)内所有检测到的眼睑闭合速度相加,求出算术平均值作为当前特比较的眼睑闭合速度,与事先设定的阈值进行比较,从而得出驾驶员困倦与否的结果。
(3)闭眼持续时间检测:如果前后连续两次采集的眼睛图像都是闭合状态,则认为这两次采集时间间隔是闭眼持续时间。连续采集的闭眼次数越多,则闭眼持续时间越长,如果超过事先设定的阈值,则判驾驶员困倦,反之则判未困倦。
(4)面部方向检测:对实时检测到的驾驶员面部图像进行面部方向分析,如果,不是前方(驾驶员应面向的方向),而是其他方向(如下方和侧面方向),则进行计时,如果超过阈值,则判驾驶员困倦,反之则判未困倦。
融合决策:将前面几部分的检测结果利用标准归一化方法将其输出归一化到同一范围,再利用神经网络技术进行融合,融合结果采用(0,1)输出,输出结果为1表示驾驶员困倦,输出结果为0表示未困倦。
本发明的有益效果是,融合决策提高了可靠性和准确性,使整个系统具有更强的鲁棒性。本方法利用眼睑闭合速度、闭眼持续时间和面部方向三个特征进行非接触式困倦驾驶检测,对驾驶员没有干扰和影响。
附图说明:
图1为基于多特征的困倦驾驶检测系统的框图
图2为闭眼持续时间和闭眼速度示意图
图3为人眼检测与跟踪模块流程图
图4为眼睑闭合速度检测模块流程图
图5为闭眼持续时间检测模块流程图
图6为面部方向检测模块流程图
图7为系统硬件实现方框图
具体实施方式:
实施过程如图1所示:由摄像头采集到驾驶员的面部图像后,首先进行人眼检测与跟踪,如不成功,则返回到人眼检测与跟踪:如成功,则同时分别进行眼睑闭合速度、闭眼持续时间和面部方向三个特征的提取与匹配,然后利用标准归一化方法将输出的三个匹配结果归一化到同一范围,再利用神经网络技术进行融合,融合结果采用(0,1)输出,输出结果为0表示未困倦,返回到人眼检测与跟踪,输出结果为1表示驾驶员困倦,报警提示驾驶员注意安全。
具体如下:
第一步,人眼检测与跟踪如图3所示。
(一)人眼检测:本发明采用的方法是利用图像的垂直灰度投影曲线,根据凸峰宽度确定人脸的左右边界,然后利用人脸区域的水平灰度投影曲线确定头顶及鼻中部形成的上下边界。利用预测法先确定人眼在眉眼区域的大概位置,通过检测眉眼部位的边缘及边缘分组,确定双眼的坐标位置。
1.人脸左右边界的确定
因为与背景相比,人脸区域往往具有较高的亮度,所以在垂直灰度投影曲线中,人脸左右边界处的垂直方向上亮度值的总和减小很快,形成一个明显的凸峰,这个凸峰的左右边界大致代表了人脸的左右边界。因此,只需确定垂直灰度投影曲线中主要凸峰的左右边界,即可得到人脸的左右边界。
设所处理图像为I(x,y),其大小为M×N,则该图像的垂直灰度投影函数为:
PV称为垂直灰度投影曲线。为了去除噪声的影响,对垂直灰度投影曲线进行平滑处理,平滑处理后的曲线称为:
K的取值跟人脸在图像中的大小有关,可以根据驾驶员距摄像头的远近及驾驶员脸部大小来灵活调整。
将凸峰的上升沿梯度值最大的点作为人脸的左边界,凸峰的下降沿梯度值最小的点作为人脸的右边界。
2.人眼定位
在人脸的左右边界确定之后,取左右边界之间的人脸区域作为研究对象。设此时的图像区域大小为M′×N,M′<M。该图像区域的水平灰度投影函数为:
PH称为水平灰度投影曲线。为了去除噪声的影响,对水平灰度投影曲线进行平滑处理,平滑处理后的曲线称为:
L(性质与H同)的取值跟人脸在图像中的大小有关,可以根据驾驶员距摄像头的远近及驾驶员脸部大小来灵活调整。
因为头发的灰度较低,所以水平投影曲线的低谷对应于头顶,而曲线的最大值点和次最大值点分别对应额头部位和鼻中部。人眼的水平坐标位于最大值点和次最大值点之间。因此通过分析该曲线的极大和极小值,可以容易地求得人眼所处的大致水平位置,如可取得包含眉眼的小块矩形区域。之后,从该矩形区域中区分眉眼。根据人的生理特征,从垂直方向上看,眼在眉的下面,从下至上搜索,首先找到的是人眼。对眉眼区域图像进行去噪、增强处理,然后通过检测眉眼部位的边缘及边缘分组,确定双眼的坐标位置。
(二)人眼跟踪:利用卡尔曼滤波技术进行下一帧图像中人眼位置的跟踪与定位。
第二步,特征提取与匹配
首先,如图2所示,定义当眼睑张开为最大瞳孔尺寸80%以上时为睁眼,当眼睑张开为最大瞳孔尺寸20%以下时为闭眼,(t2-t1)的倒数表示眼睑闭合速度,(t3-t2)表示闭眼持续时间。
(一)眼睑闭合速度特征的检测,如图4所示。当第一次检测到眼睑闭合到小于等于80%即开始计时,直到之后第一次检测到眼睑闭合到小于等于20%,之间时间间隔的倒数即为该次闭眼速度。为减小各种随机因素影响,计算每次眼睑闭合速度时,把该次图像采集之前固定时间间隔(如取1分钟)内所有检测到的眼睑闭合速度相加,求出算术平均值作为当前待比较的眼睑闭合速度,与事先设定的阈值进行比较,从而得出匹配结果。
(二)闭眼持续时间特征的检测,如图5所示。如果前后连续两次采集的眼睛图像都是闭合状态,则认为这两次采集时间间隔是闭眼持续时间。连续采集的闭眼次数越多,则闭眼持续时间越长,(t3-t2)与根据驾驶员情况事先设定的阈值比较,得出匹配结果。
(三)面部方向特征的检测,如图6所示。本发明目的是为了检测驾驶员困倦和注意力集中与否,并不需要精确定位面部方向,所以,本发明只需确定出驾驶员面部是否偏离正前方频率太高或时间太长。在人眼检测与跟踪模块中,已经得到人脸的左右边缘和鼻孔位置,以此为基础,划一个人脸矩形框,当驾驶员面向正前方时,两眼中心应在矩形框中一特定位置(设为阈值),当面部方向偏离正前方时,两眼中心也将偏离这一特定位置,将实时取得的位置与阈值比较,得出匹配结果。
第三步,融合决策,将前面三部分的匹配结果利用标准归一化方法将其输出归一化到同一范围,再利用神经网络技术进行融合。如利用自组织特征映射神经网络,将归一化后的匹配结果作为自组织特征映射神经网络的输入,该网络的输出即为融合结果,采用(0,1)输出,输出结果为0表示未困倦,输出结果为1表示驾驶员困倦,报警提示。
该系统硬件实现方框图如图7所示,摄像头用于采集驾驶员脸部图像,嵌入式控制器CPU完成控制功能,FLASH存储主控程序和驾驶员困倦状态模板库,DSP内存储检测跟踪、特征提取和匹配算法。
虚线框内为检测器主体部分,它可以做成一个体积很小的装置,并且可以灵活地安放在机动车的任何位置;摄像头放置在驾驶员头部前方位置(如仪表盘上),报警器可放在车厢内驾驶员周围。
Claims (3)
1.一种基于多特征融合的困倦驾驶检测的方法,其过程为:采用红外光源照明,由摄像头采集到包含驾驶员脸部图像的视频信号后,首先进行实时人眼检测和跟踪,同时分别进行眼睑闭合速度、闭眼持续时间和面部方向三个特征的提取与匹配,然后利用标准化方法将输出的三个匹配结果归一化到同一范围,再利用神经网络技术进行融合,融合结果采用0,1输出,输出结果为0表示未困倦,返回到人眼检测与跟踪,输出结果为1表示驾驶员困倦,报警提示驾驶员注意安全,其特征在于利用图像中人眼的灰度信息和人眼的形状、大小以及两个眼睛间的位置关系作为特征,运用模式识别技术将其识别定位;在检测到人眼的基础上计算眼睑闭合速度,当第一次检测到眼睑闭合到小于等于80%即开始计时,直到之后第一次检测到眼睑闭合到小于等于20%,之间时间间隔的倒数即为一次闭眼速度;如果前后连续两次采集的眼睛图像都是闭合状态,则认为这两次采集时间间隔是闭眼持续时间;根据检测到的人脸左右边缘和鼻孔位置,划一个人脸矩形框,当驾驶员面向正前方时,两眼中心在矩形框中心位置,当面部方向偏离正前方时,两眼中心也将偏离这一位置。
2.根据权利要求1所述的基于多特征融合的困倦驾驶检测方法,其特征在于人眼检测采用的方法是利用图像的垂直灰度投影曲线,根据凸峰宽度确定人脸的左右边界,然后利用人脸区域的水平灰度投影曲线确定头顶及鼻中部形成的上下边界,利用预测法先确定人眼在眉眼区域的大概位置,通过检测眉眼部位的边缘及边缘分组,确定双眼的坐标位置。
3.根据权利要求1所述的基于多特征融合的困倦驾驶检测方法,其特征在于面部方向检测用将实时取得的两眼中心在矩形框中的位置与阈值比较,得出匹配结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 03148524 CN1225375C (zh) | 2003-07-02 | 2003-07-02 | 基于多特征融合的困倦驾驶检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 03148524 CN1225375C (zh) | 2003-07-02 | 2003-07-02 | 基于多特征融合的困倦驾驶检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1458006A CN1458006A (zh) | 2003-11-26 |
CN1225375C true CN1225375C (zh) | 2005-11-02 |
Family
ID=29430774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 03148524 Expired - Fee Related CN1225375C (zh) | 2003-07-02 | 2003-07-02 | 基于多特征融合的困倦驾驶检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1225375C (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100373400C (zh) * | 2006-03-23 | 2008-03-05 | 上海交通大学 | 基于识别模型的多神经网络结合的睁眼检测方法 |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2408162C2 (ru) * | 2005-08-17 | 2010-12-27 | Сириал Текнолоджиз Гмбх | Способ и устройство для обнаружения и отслеживания в реальном времени глаз нескольких наблюдателей |
CN101393602B (zh) * | 2007-09-18 | 2015-11-25 | 财团法人车辆研究测试中心 | 应用于人员监控的眼睛辨识追踪方法 |
US8570176B2 (en) * | 2008-05-28 | 2013-10-29 | 7352867 Canada Inc. | Method and device for the detection of microsleep events |
JP5270415B2 (ja) * | 2009-03-19 | 2013-08-21 | トヨタ自動車株式会社 | 眠気判定装置及びプログラム |
CN101916496B (zh) * | 2010-08-11 | 2013-10-02 | 无锡中星微电子有限公司 | 一种司机驾驶姿势检测的系统和方法 |
CN102963298A (zh) * | 2012-09-29 | 2013-03-13 | 重庆长安汽车股份有限公司 | 基于视线检测的异常行为监控方法 |
KR20150140814A (ko) * | 2013-04-10 | 2015-12-16 | 오클랜드 유니서비시즈 리미티드 | 머리 및 눈 추적 |
CN103366510B (zh) * | 2013-07-02 | 2016-02-24 | 惠州Tcl移动通信有限公司 | 一种手机及基于其摄像头的安全行车方法 |
TW201610928A (zh) * | 2014-09-12 | 2016-03-16 | 由田新技股份有限公司 | 守衛專注力程度監控裝置以及守衛專注力程度監控系統 |
TWI528331B (zh) * | 2014-10-06 | 2016-04-01 | 由田新技股份有限公司 | 注意力偵測裝置、方法、電腦可讀取紀錄媒體、及其電腦程式產品 |
KR101655818B1 (ko) * | 2014-12-11 | 2016-09-08 | 현대자동차주식회사 | 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템 |
CN105701445A (zh) * | 2014-12-15 | 2016-06-22 | 爱信精机株式会社 | 判定装置及判定方法 |
US9959765B2 (en) * | 2015-07-20 | 2018-05-01 | Dura Operating Llc | System and method for providing alert to a vehicle or an advanced driver assist system based on vehicle dynamics input |
CN107303840A (zh) * | 2016-04-22 | 2017-10-31 | 陕西汽车集团有限责任公司 | 具有主动安全预警控制系统的液罐车 |
CN105894855A (zh) * | 2016-04-22 | 2016-08-24 | 乐视控股(北京)有限公司 | 危险驾驶的提示方法及装置 |
KR101816415B1 (ko) * | 2016-06-21 | 2018-02-21 | 현대자동차주식회사 | 시선 추적을 이용한 운전자 집중도 감시 장치 및 방법 |
CN107544667A (zh) * | 2016-06-28 | 2018-01-05 | 广东欧珀移动通信有限公司 | 移动终端的控制方法、装置和移动终端 |
CN108216041A (zh) * | 2016-12-13 | 2018-06-29 | 蔚来汽车有限公司 | 车辆后视镜以及用于监控驾驶者驾驶状态的方法和系统 |
CN108304745A (zh) * | 2017-01-10 | 2018-07-20 | 普天信息技术有限公司 | 一种驾驶员驾驶行为检测方法、装置 |
WO2019071501A1 (zh) * | 2017-10-12 | 2019-04-18 | 深圳传音通讯有限公司 | 一种闹铃处理方法和装置 |
CN108573219B (zh) * | 2018-03-27 | 2022-03-29 | 上海电力学院 | 一种基于深度卷积神经网络的眼睑关键点精确定位方法 |
CN110641467A (zh) * | 2018-06-25 | 2020-01-03 | 广州汽车集团股份有限公司 | 一种自适应巡航系统车距控制方法及装置 |
US10552986B1 (en) * | 2018-07-20 | 2020-02-04 | Banuba Limited | Computer systems and computer-implemented methods configured to track multiple eye-gaze and heartrate related parameters during users' interaction with electronic computing devices |
CN113792625A (zh) * | 2018-08-11 | 2021-12-14 | 昆山美卓智能科技有限公司 | 一种具有状态监控功能的智能桌、状态监控系统及服务器 |
CN109359539B (zh) * | 2018-09-17 | 2021-04-02 | 中国科学院深圳先进技术研究院 | 注意力评估方法、装置、终端设备及计算机可读存储介质 |
CN110007366B (zh) * | 2019-03-04 | 2020-08-25 | 中国科学院深圳先进技术研究院 | 一种基于多传感器融合的生命搜寻方法以及系统 |
CN110287916B (zh) * | 2019-06-28 | 2021-11-16 | 浙江吉利控股集团有限公司 | 一种用于判断驾驶员注意力的方法及系统 |
CN111784973B (zh) * | 2020-07-30 | 2021-12-14 | 广州敏视数码科技有限公司 | 一种车队管理平台的mdvr设备集成疲劳检测方法 |
-
2003
- 2003-07-02 CN CN 03148524 patent/CN1225375C/zh not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100373400C (zh) * | 2006-03-23 | 2008-03-05 | 上海交通大学 | 基于识别模型的多神经网络结合的睁眼检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN1458006A (zh) | 2003-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1225375C (zh) | 基于多特征融合的困倦驾驶检测方法 | |
CN102054163B (zh) | 基于单目视觉的驾驶员疲劳检测方法 | |
CN107292251B (zh) | 一种基于人眼状态的驾驶员疲劳检测方法及系统 | |
CN112241658B (zh) | 一种基于深度相机的疲劳驾驶预警方法 | |
CN106250801A (zh) | 基于人脸检测和人眼状态识别的疲劳检测方法 | |
CN108053615A (zh) | 基于微表情的驾驶员疲劳驾驶状态检测方法 | |
Batista | A drowsiness and point of attention monitoring system for driver vigilance | |
CN104091147A (zh) | 一种近红外眼睛定位及眼睛状态识别方法 | |
CN104013414A (zh) | 一种基于移动智能手机的驾驶员疲劳检测系统 | |
CN105286802B (zh) | 基于视频信息的驾驶员疲劳检测方法 | |
CN103824420A (zh) | 基于心率变异性非接触式测量的疲劳驾驶识别系统 | |
CN101593352A (zh) | 基于面部朝向和视觉焦点的驾驶安全监测系统 | |
EP1868138A2 (en) | Method of tracking a human eye in a video image | |
CN106846734A (zh) | 一种疲劳驾驶检测装置及方法 | |
CN102982316A (zh) | 一种对驾驶员非正常驾驶行为的识别装置和方法 | |
CN102902986A (zh) | 自动性别识别系统及方法 | |
CN101877051A (zh) | 驾驶人注意力状态监测方法和装置 | |
CN111062292B (zh) | 一种疲劳驾驶检测装置与方法 | |
CN104881956A (zh) | 一种疲劳驾驶预警系统 | |
CN104224204A (zh) | 一种基于红外检测技术的驾驶员疲劳检测系统 | |
CN110751051A (zh) | 一种基于机器视觉的异常驾驶行为检测方法 | |
CN109740477A (zh) | 驾驶员疲劳检测系统及其疲劳检测方法 | |
CN106203338B (zh) | 基于网格区域分割和阈值自适应的人眼状态快速识别方法 | |
CN106548132A (zh) | 融合眼睛状态和心率检测的疲劳驾驶检测方法 | |
CN107886034A (zh) | 行车提醒方法、装置及车辆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |