CN101814137B - 基于红外眼态识别的疲劳驾驶预警系统 - Google Patents
基于红外眼态识别的疲劳驾驶预警系统 Download PDFInfo
- Publication number
- CN101814137B CN101814137B CN 201010132349 CN201010132349A CN101814137B CN 101814137 B CN101814137 B CN 101814137B CN 201010132349 CN201010132349 CN 201010132349 CN 201010132349 A CN201010132349 A CN 201010132349A CN 101814137 B CN101814137 B CN 101814137B
- Authority
- CN
- China
- Prior art keywords
- module
- eye
- eyes
- sigma
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
一种基于红外眼态识别的疲劳驾驶预警系统,包括视频获取模块,用以采集驾驶员的头部视频图像;眼睛初始定位模块,用以对头部视频图像采用背景差分技术处理,进行眼睛初始定位;眼睛跟踪预测模块,用以采用kalman滤波器进行眼睛位置跟踪预测;眼睛精确定位模块,用以采用融合红外图像空间纹理的改进Mean-Shift算法实现眼睛最终位置的精确定位;眼睛状态识别模块,用以对眼睛区域进行二值化或边缘检测,获得眼睛的长宽信息;疲劳状态计算模块,用以根据当前检测时间段的眼睛状态,依照PERCLOS的P80标准进行眼睛疲劳状态判断;疲劳驾驶预警模块,用以当判定当前状态为疲劳状态,发出告警指令。本发明可靠性高、系统计算量相对较小、实时性好。
Description
技术领域
本发明涉及疲劳驾驶监测系统,尤其是一种基于红外眼态识别的疲劳驾驶预警系统。
背景技术
利用摄象机和计算机视觉技术通过对司机的视觉行为进行监测的非接触性检测司机疲劳,这种方法就是从一个司机的视频图象中提取能典型的代表司机疲劳水平的视觉特征利用计算机视觉的技术判断司机的疲劳状况。
在驾驶员眼睛进行定位后,需要进行驾驶员眼睛状态识别和判断,较常用的眼睛状态识别方法有:
(1)样本学习法
样本学习方法是目前特征检测的主流方法,但是受学习样本的影响较大,不同的样本备制方法会使同一个算法的性能具有很大的区别。例如比较经典的背景差分算法,AdaBoost方法检测眼睛状态存在的一个很大的问题是闭眼分类器较难训练,因为闭眼特征与眉毛特征较为类似,在训练的时候很容易把眉毛训练成闭眼的分类器。另外,AdaBoost学习的方法对于眼睛半开半闭的状态和半开程度的判断也显得无能为力。
(2)上眼睑曲率
用霍夫变换找上眼睑的方法指出上眼睑的信息较明显且稳定,但是获取的上眼睑效果强烈地依赖于边缘检测的效果。由于光照等的影响通常得不到理想的上眼睑特征。
(3)模版匹配法
根据眼睛的睁开、闭合以及介于两者之间的半睁半闭3种状态,分别通过综合大量对应状态眼睛图像建立眼睛状态模版,进而在待检测图像(灰度图像)上分别用以上三种眼睛模版进行匹配,根据匹配隶属度达到状态判定的目的。但是由于计算量较大,因而实时性较差。
发明内容
为了克服已有疲劳驾驶预警系统的可靠性差、计算量大、实时性差的不足,本发明提供一种可靠性好、减少计算量、实时性好的基于红外眼态识别的疲劳驾驶预警系统。
本发明解决其技术问题所采用的技术方案是:
一种基于红外眼态识别的疲劳驾驶预警系统,包括:视频获取模块,用以采集驾驶员的头部视频图像;眼睛初始定位模块,用以对头部视频图像采用背景差分算法处理,进行眼睛初始定位;眼睛跟踪预测模块,用以采用kalman滤波器进行眼睛位置跟踪预测;眼睛精确定位模块,用以采用融合红外图像空间纹理的改进Mean-Shift算法实现眼睛最终位置的精确定位,得到眼睛区域;眼睛状态识别模块,用以在获取眼睛区域后,对眼睛区域进行二值化或边缘检测,获得眼睛的长宽信息;疲劳状态计算模块,用以根据当前检测时间段的眼睛状态,依照PERCLOS的P80标准进行眼睛疲劳状态判断;疲劳驾驶预警模块,用以当疲劳状态计算模块判定当前状态为疲劳状态,发出告警指令。
作为优选的一种方案:所述眼睛精确定位模块包括目标模型建立单元、候选目标模型建立单元和相似性度量单元,其中,
目标模型建立单元,用以在初始视频图象的眼睛目标窗口中,假设目标图像{xi *},i=1,2,…n由n个点构成,每个点的灰度为m级,m在此取32,图像中心点的坐标为y,得到联合32级灰度、16级梯度幅值和16级梯度方向共64级匹配信息分量的加权直方图为:
其中,qb是目标图像模型灰度分量b的值,集合{qb}b=1,2,...m表示目标模型,B(xi *)是xi处像素的量化值,h是核函数k(||x||)的窗宽,常数C由约束条件得到;图像各点梯度幅值和梯度方向分别定义为:
侯选目标模型建立模块,用以由kalman在当前帧图像的眼睛预测点为y0,{xi}i=1,2,...,nh为候选目标模型图像区域各个像素位置归一化后的集合,该图像区域的中心位置为y,则候选目标模型的改进混合核函数直方图可表示为:
其中,pb是候选目标图像灰度分量b的值,集合{qb}b=1,2,...m表示候选目标模型,Ch是归一化参数,且不依赖于y,给定核函数以及核函数窗宽h后,Ch的值被事先计算出来;
相似性度量单元,用以设定目标模型和候选模型的相似性程度采用如下距离度量:
其中
把(2)代入(5)有:
其中
其中,g(x)=-k′(x)并假设k(x)的一阶导数在区间x∈[0,∞)上除少数有限点外均存在;
在当前帧图像kalman预测范围内采用(8)不断迭代,当前后两次的更新值小于预定阈值时,判定找到眼睛精确位置。
本发明的有益效果主要表现在:可靠性好、减少计算量、实时性好。
附图说明
图1是嵌入式平台眼睛疲劳监测系统的原理框图。
图2是PERCLOS的测量原理的示意图。
具体实施方式
下面对本发明作进一步描述。
参照图1,一种基于红外眼态识别的疲劳驾驶预警系统,包括:
视频获取及显示模块,在嵌入式ARM平台上Linux环境下,综合考虑成本和实用性等,系统预计采用USB接口摄像头,采用Video for Linux技术(简称V4L)实现驾驶员头部视频采集。Video for Linux是Linux内核中关于视频设备的API接口,涉及开关视频设备、采集并处理视频图像等信息。在获取的头部视频经过系统眼睛疲劳状态检测处理后,通过Framebuffer技术等实现检测结果的直观反馈;
眼睛初始定位模块,在获取的驾驶员人脸视频中拟采用背景差分算法实现初始帧视频图像的眼睛定位,利用背景差分算法实现人脸的初始定位,可以满足系统实时性的处理要求,而且可靠性高,算法实现简单。
眼睛跟踪预测模块,根据系统应用特点,系统拟采用kalman滤波器进行眼睛位置跟踪预测。卡尔曼滤波器的理论最早由匈牙利数学家Rudolf Emil Kalman公开提出,kalman滤波器是一个递归地对动态系统的状态序列进行线性最小方差估计的算法。具体机制为用反馈控制的方法估计过程状态:滤波器估计某一时刻的状态,然后以(含噪声的)测量变量的方式获得反馈。即kalman滤波器理论分为两个部分:时间更新方程和状态更新方程。时间更新方程负责及时向前推算当前状态变量和误差方差估计的值,以便为下一时间状态构造先验估计。状态更新方程负责反馈——也就是说,它将先验估计和新的测量变量结合以构造改进的后验估计。因此kalman滤波算法也就是一种递归“预估——校正”算法。
眼睛精确定位模块,系统在采用kalman滤波器等进行驾驶员视频眼睛跟踪预测基础上,采用融合红外图像空间纹理的改进Mean-Shift算法实现眼睛最终位置的精确定位。Mean Shift最早由Fukunaga和Hostetle于1975年在一篇概率密度梯度函数的估计中提出。但直到1995年,Yizong Cheng才发表了一篇关于MeanShift的重要文献,该文献对Mean Shift的理论进行了推广和完善。在文献中,Comaniciu等人主要讨论了Mean Shift在目标跟踪中的成功应用,这也是目标跟踪中的经典文献之一。Comaniciu和中国科学院的李乡儒等证明了在选取合理核函数的条件下,算法一定可以收敛到局部概率密度最大的一点——核函数密度梯度为零的点。由于Mean Shift是一种局部搜索匹配算法,因此已经被成功的应用在了对实时性较高的可视跟踪领域。
本发明在用kalman对眼睛初步跟踪预测的局部区域上,采用融合红外图像空间纹理的Mean Shift跟踪算法进行眼睛精确定位分为以下几步:
(1)目标模型建立
目标模型,用以在初始视频图象的眼睛目标窗口中,假设目标图像{xi *},i=1,2,…n由n个点构成,每个点的灰度为m级(m在此取32),图像中心点的坐标为y,得到联合32级灰度、16级梯度幅值和16级梯度方向共64级匹配信息分量的加权直方图为:
其中,qb是目标图像模型灰度分量b的值,集合{qb}b=1,2,...m表示目标模型,B(xi *)是xi处像素的量化值,h是核函数k(||x||)的窗宽,常数C由约束条件得到;图像各点梯度幅值和梯度方向分别定义为:
(2)侯选目标模型建立
假设由kalman在当前帧图像的眼睛预测点为y0,{xi}i=1,2,...,nh为候选目标模型图像区域各个像素位置归一化后的集合。该图像区域的中心位置为y。则候选目标模型用改进核函数直方图表示为
其中,pb是候选目标图像灰度分量b的值,集合{pb}b=1,2,...m表示候选目标模型,Ch是归一化参数,且不依赖于y。给定核函数以及核函数窗宽h后,Ch可以被事先计算出来。
(3)相似性度量
当分别用式(1)和(2)表示目标图像和候选目标图像后,我们就要选择合适的相似性度量函数来度量二者的相似性,这里目标模型和候选模型的相似性程度采用如下距离度量:
其中
称为Bhattacharyya系数,它代表两个m维向量和夹角的余弦。可见当候选目标模型与目标模型越相似,(3)式值越小,因此为了求取当前帧眼睛图像的精确最终位置,应该最小化(3)式,也就是最大化(4)式,模式匹配的初始位置就是上以帧中的匹配位置。由于采用的相似度函数是较为光滑的,我们可以用基于梯度的方法进行寻找目标候选模型的最佳位置。鉴于MeanShift算法的优点,本系统拟采用融合红外图像空间纹理的Mean Shift跟踪算法进行寻优。下面处理在Kalman预测定位的人脸图像局部范围进行精准位置确定。
把(2)代入(5)有:
其中
其中,g(x)=-k′(x)并假设k(x)的一阶导数在区间x∈[0,∞)上除少数有限点外均存在。
实际上在当前帧图像kalman预测范围内采用(8)不断迭代,当前后两次的更新值小于预定阈值时,就认为找到眼睛精确位置。
眼睛状态识别模块,在眼睛精确定位的基础上,接下来需要进行驾驶员眼睛状态识别和判断,对眼睛区域进行二值化或边缘检测,从而获取眼睛的长宽信息根据眼睛长宽比例等达到识别眼睛睁眼面积的目的。此方法计算量相对较小,比较适合于嵌入式系统等应用。本文拟初步采用睁眼面积法进行眼睛状态判断。
疲劳状态计算模块,在获取眼睛状态基础上,需要对眼睛疲劳状态进行计算。系统拟采用目前普遍采用的PERCLOS的P80标准(眼睛闭合程度大等于80%所占的时间比例)进行眼睛疲劳状态判断,PERCLOS(PERcentage of eye CLOSure overthe pupil over time)即眼睛闭合时间占某一特定时间的百分率。
图2显示了PERCLOS的测量原理。只要测量出t1~t4值就能计算出PERCLOS的值f。
其中,f为眼睛闭合时间占某一特定时间的百分率。
当实时检测计算得到的f大于预设的阈值(通常设为0.8,也可以为其他设定值)时,判定驾驶员处于疲劳驾驶状态,发出告警信息;实现实时预警。
Claims (1)
1.一种基于红外眼态识别的疲劳驾驶预警系统,包括:视频获取模块,用以采集驾驶员的头部视频图像;其特征在于:所述疲劳驾驶预警系统还包括:
眼睛初始定位模块,用以对头部视频图像采用背景差分技术处理,进行眼睛初始定位;
眼睛跟踪预测模块,用以采用kalman滤波器进行眼睛位置跟踪预测;
眼睛精确定位模块,用以采用融合红外图像空间纹理的改进Mean-Shift算法实现
眼睛最终位置的精确定位,得到眼睛区域;
眼睛状态识别模块,用以在获取眼睛区域后,对眼睛区域进行二值化或边缘检测,获得眼睛的长宽信息;
疲劳状态计算模块,用以根据当前检测时间段的眼睛状态,依照PERCLOS的P80标准进行眼睛疲劳状态判断;
疲劳驾驶预警模块,用以当疲劳状态计算模块判定当前状态为疲劳状态,发出告警指令;
所述眼睛精确定位模块包括目标模型建立单元、候选目标模型建立单元和相似性度量单元,其中,
目标模型建立单元,在初始视频图象的眼睛目标窗口中,假设目标图像由n个点构成,其中,i=1,2,…n,每个点的灰度为m级,m在此取32,目标图像的中心位置为y,得到联合32级灰度、16级梯度幅值和16级梯度方向共64级匹配信息分量的加权直方图为:
其中,qb是目标图像模型灰度分量b的值,集合{qb}b=1,2,...m表示目标模型,是xi处像素的量化值,h是核函数k(||x||)的窗宽,常数C由约束条件得到;图像各点梯度幅值和梯度方向分别定义为:
侯选目标模型建立模块,由kalman在当前帧图像的眼睛预测点为y0,{xi}i=1,2,..,n为候选目标模型图像区域各个像素位置归一化后的集合,该目标图像的中心位置为y,则候选目标模型的改进混合核函数直方图表示为:
其中,pb是候选目标图像灰度分量b的值,集合{pb}b=1,2,...m表示候选目标模型;
相似性度量单元,设定目标模型和候选模型的相似性程度采用如下距离度量:
其中
求(4)式的最大值,对(4)利用泰勒级数在处展开有:
把(2)代入(5)有:
Ch是归一化参数;
其中
其中,g(x)=-k'(x)并假设k(x)的一阶导数在区间x∈[0,∞)上除少数有限点外均存在;
在当前帧图像kalman预测范围内采用(8)不断迭代,当前后两次的更新值小于预定阈值时,判定找到眼睛精确位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010132349 CN101814137B (zh) | 2010-03-25 | 2010-03-25 | 基于红外眼态识别的疲劳驾驶预警系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010132349 CN101814137B (zh) | 2010-03-25 | 2010-03-25 | 基于红外眼态识别的疲劳驾驶预警系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101814137A CN101814137A (zh) | 2010-08-25 |
CN101814137B true CN101814137B (zh) | 2013-06-05 |
Family
ID=42621388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201010132349 Active CN101814137B (zh) | 2010-03-25 | 2010-03-25 | 基于红外眼态识别的疲劳驾驶预警系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101814137B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010056397A1 (de) * | 2010-12-28 | 2012-06-28 | GM Global Technology Operations LLC | Fahrerassistenzsystem für ein Kraftfahrzeug, Kraftfahrzeug und Verfahren zum Betreiben eines Fahrerassistenzsystems |
CN102867394A (zh) * | 2012-10-11 | 2013-01-09 | 南京艾酷派物联网有限公司 | 驾驶员疲劳检测预警装置 |
CN103198618A (zh) * | 2013-04-13 | 2013-07-10 | 杭州立体世界科技有限公司 | 一种能够预警疲劳驾驶的手机及预警方法 |
CN103544714A (zh) * | 2013-10-22 | 2014-01-29 | 中国科学院半导体研究所 | 一种基于高速图像传感器的视觉追踪系统及方法 |
CN103544809A (zh) * | 2013-11-05 | 2014-01-29 | 电子科技大学 | 一种检测用户疲劳状态的方法 |
CN103714659B (zh) * | 2013-12-26 | 2017-02-01 | 苏州清研微视电子科技有限公司 | 基于双光谱融合的疲劳驾驶识别系统 |
CN104574819B (zh) * | 2015-01-09 | 2017-03-22 | 安徽清新互联信息科技有限公司 | 一种基于嘴巴特征的疲劳驾驶检测方法 |
CN105286802B (zh) * | 2015-11-30 | 2019-05-14 | 华南理工大学 | 基于视频信息的驾驶员疲劳检测方法 |
CN108184062B (zh) * | 2017-12-29 | 2020-08-25 | 中国科学院半导体研究所 | 基于多层次异构并行处理的高速追踪系统及方法 |
CN109801475A (zh) * | 2019-01-30 | 2019-05-24 | 浙江强脑科技有限公司 | 疲劳驾驶检测方法、装置及计算机可读存储介质 |
CN110457884A (zh) * | 2019-08-06 | 2019-11-15 | 北京云迹科技有限公司 | 目标跟随方法、装置、机器人及可读取存储介质 |
CN110644980B (zh) * | 2019-09-11 | 2022-07-05 | 中国石油天然气股份有限公司 | 一种超低渗透油藏储层综合分类评价方法 |
CN114821757B (zh) * | 2022-06-24 | 2022-09-16 | 北京鹰之眼智能健康科技有限公司 | 一种获取视疲劳状态的数据处理系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5852673A (en) * | 1996-03-27 | 1998-12-22 | Chroma Graphics, Inc. | Method for general image manipulation and composition |
CN1830389A (zh) * | 2006-04-21 | 2006-09-13 | 太原理工大学 | 疲劳驾驶状态监控装置及方法 |
CN101425136A (zh) * | 2008-10-24 | 2009-05-06 | 北京工业大学 | 视频图像局部二进制模式特征的获取方法和装置 |
CN101593346A (zh) * | 2009-07-06 | 2009-12-02 | 中国人民解放军总装备部军械技术研究所 | 集成化通用目标视频图像采集识别跟踪器 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7961946B2 (en) * | 2007-05-15 | 2011-06-14 | Digisensory Technologies Pty Ltd | Method and system for background estimation in localization and tracking of objects in a smart video camera |
-
2010
- 2010-03-25 CN CN 201010132349 patent/CN101814137B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5852673A (en) * | 1996-03-27 | 1998-12-22 | Chroma Graphics, Inc. | Method for general image manipulation and composition |
CN1830389A (zh) * | 2006-04-21 | 2006-09-13 | 太原理工大学 | 疲劳驾驶状态监控装置及方法 |
CN101425136A (zh) * | 2008-10-24 | 2009-05-06 | 北京工业大学 | 视频图像局部二进制模式特征的获取方法和装置 |
CN101593346A (zh) * | 2009-07-06 | 2009-12-02 | 中国人民解放军总装备部军械技术研究所 | 集成化通用目标视频图像采集识别跟踪器 |
Also Published As
Publication number | Publication date |
---|---|
CN101814137A (zh) | 2010-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101814137B (zh) | 基于红外眼态识别的疲劳驾驶预警系统 | |
CN102289660B (zh) | 一种基于手部姿态跟踪的违规驾驶行为检测方法 | |
CN104013414B (zh) | 一种基于移动智能手机的驾驶员疲劳检测系统 | |
Alioua et al. | Driver’s fatigue detection based on yawning extraction | |
CN103824420B (zh) | 基于心率变异性非接触式测量的疲劳驾驶识别系统 | |
CN106682603B (zh) | 一种基于多源信息融合的实时驾驶员疲劳预警系统 | |
Zhang et al. | A new real-time eye tracking based on nonlinear unscented Kalman filter for monitoring driver fatigue | |
JP6398979B2 (ja) | 映像処理装置、映像処理方法および映像処理プログラム | |
CN202257856U (zh) | 驾驶员疲劳驾驶监控装置 | |
CN103049751A (zh) | 一种改进的加权区域匹配高空视频行人识别方法 | |
CN105243386A (zh) | 人脸活体判断方法以及系统 | |
CN109643366A (zh) | 用于监控车辆驾驶员的状况的方法和系统 | |
CN105373135A (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统 | |
CN103632132A (zh) | 一种基于肤色分割和模板匹配的人脸检测与识别方法 | |
Hsu et al. | Passenger flow counting in buses based on deep learning using surveillance video | |
CN108596087B (zh) | 一种基于双网络结果的驾驶疲劳程度检测回归模型 | |
CN109389806A (zh) | 基于多信息融合的疲劳驾驶检测预警方法、系统及介质 | |
CN106250801A (zh) | 基于人脸检测和人眼状态识别的疲劳检测方法 | |
CN104091147A (zh) | 一种近红外眼睛定位及眼睛状态识别方法 | |
CN102332086A (zh) | 一种基于双阈值局部二进制模式的人脸识别方法 | |
CN101339603A (zh) | 一种从视频流中选取到了质量合格的虹膜图像的方法 | |
CN104224204A (zh) | 一种基于红外检测技术的驾驶员疲劳检测系统 | |
CN102085099A (zh) | 疲劳驾驶检测方法和装置 | |
Liu et al. | A practical driver fatigue detection algorithm based on eye state | |
CN104123549A (zh) | 一种用于疲劳驾驶实时监测的眼睛定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |