CN101375796B - 疲劳驾驶实时检测系统 - Google Patents
疲劳驾驶实时检测系统 Download PDFInfo
- Publication number
- CN101375796B CN101375796B CN2008101616532A CN200810161653A CN101375796B CN 101375796 B CN101375796 B CN 101375796B CN 2008101616532 A CN2008101616532 A CN 2008101616532A CN 200810161653 A CN200810161653 A CN 200810161653A CN 101375796 B CN101375796 B CN 101375796B
- Authority
- CN
- China
- Prior art keywords
- eyes
- image
- driver
- fatigue
- curvature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000011897 real-time detection Methods 0.000 title claims description 10
- 210000000744 eyelid Anatomy 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 38
- 238000001514 detection method Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 10
- 210000003128 head Anatomy 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 abstract 2
- 238000007781 pre-processing Methods 0.000 abstract 2
- 238000000691 measurement method Methods 0.000 abstract 1
- 238000002156 mixing Methods 0.000 abstract 1
- 206010041349 Somnolence Diseases 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000004927 fusion Effects 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000001141 propulsive effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种疲劳驾驶实时检测系统,包括用于采集驾驶员脸部图像的摄像头、用于进行疲劳检测的处理器,所述处理器包括:图像采集模块,用于获取所述摄像头捕获的驾驶员脸部图像;图像预处理模块,用于对获取的图像进行预处理;所述处理器还包括:图像处理模块,用于利用AdaBoost算法分析预处理后的图像,检测出驾驶员的左右眼,分别计算上眼睑的曲率和睁眼面积,接着将上眼睑的曲率和睁眼面积进行融合,得到眼睛闭合程度,并依照PERCLOS的p80测量方法检测驾驶员是否有疲劳;控制报警模块,用于当图像处理模块判断驾驶员有疲劳时,发出告警信号。本发明可靠性高、成本低、适用性好。
Description
技术领域
本发明涉及生理学、自动控制、模式识别、人工智能等相关学科,属于计算机嵌入式系统应用和图像处理技术领域,尤其是一种疲劳驾驶实时检测系统。
背景技术
汽车的普及一方面促进了交通事业的发展,另一方面却使交通事故日趋增多。据有关部门统计,在各种道路交通事故肇事的主要原因中,疲劳驾驶引起的失控占了40%。疲劳虽然是一个正常的生理现象,但是对驾驶员这一特殊的群体,就可能引起严重的后果,甚至危及生命,许多疲劳的驾驶员却常常不知道自己已经处在瞌睡的危险状态之中,所以汽车驾驶员瞌睡检测报警系统就成为了构建交通工具主动安全系统中的一个重要研究方向。如何利用先进的技术来减少交通事故已成为重要的研究热点。
驾驶疲劳检测是一个非常复杂的问题,早期的研究主要从医学角度出发,研究引发驾驶疲劳的因素,美国汽车联合会(AAA)从1993年开始研究瞌睡与交通安全的关系。当时仅限于如何根据交通事故的分析来对司机进行教育。让司机利用自我记录表对驾驶任务、驾驶习惯和驾驶时间等进行自我评测。因为引发疲劳因素的复杂性和个体的差异性,这种主观的调查方法很难成为评测驾驶疲劳的标准尺度。到90年代中期,日本、美国等国家开始研究和设计能够实时检测驾驶疲劳的方法和仪器。
目前,驾驶疲劳检测方法的一般思路是:首先确定所要选取的能够反映疲劳的特征,如脑电图(EEG)、眨眼频率等,然后进行特征提取,最后根据提取到的特征和预先设定的标准进行识别。判断有无疲劳发生。脑电图的方法虽然测量结果比较准确,但是一般在驾驶后测量,结果是超前或滞后的;而且在驾驶室内安装上述仪器也不现实。因此,寻求一种在车载、实时、客观的疲劳检测装置成为国内外研究者的共同研究方向。
已有的申请号为CN200510037771的专利,通过两个不同波长红外滤波CMOS摄像头得到两幅图像进行差分处理得到处理图像,通过计算得到PERCLOS值进行疲劳判断,但是这种差分算法在光照强烈的条件下比较容易失败,在实际复杂的环境中应用中可靠性就比较低。
已有的申请号为CN200610012623的专利,其装置由图像采集和转换系统、图像处理系统、疲劳状态识别系统、提示和报警以及制动系统构成;它利用红外光源光线和摄像机光轴成一定的角度,采集到的驾驶员的面部图像信号由数字信号处理器的图像处理程序进行处理,得到眼睛图像,同时利用Kalman滤波器MeanShift算法实现眼睛跟踪,采用模板匹配的方法,以相似度衡量相似程度来识别眼睛状态,根据眼睛的状态计算出眨眼持续时间、眨眼频率、PERCLOS值,来判断驾驶员的疲劳程度。但是,上述在人脸检测的基础上利用Canny算子进行边缘提取定位眼睛的做法错误率高;而且用Kalman滤波器MeanShift算法实现眼睛跟踪效率不高。最后它采用TMS320C6711DSP虽然可以满足数据图像处理的要求,但成本过高,而且最终级别预警还需经过单片机才能提示,增加了硬件的复杂度,无法用于大批量生产销售,因而广泛普及会有相当大的困难。
发明内容
为了克服已有的疲劳驾驶检测系统的可靠性较低、成本高、适用性差的不足,本发明提供一种可靠性高、成本低、适用性好的疲劳驾驶实时检测系统。
本发明解决其技术问题所采用的技术方案是:
一种疲劳驾驶实时检测系统,包括用于采集驾驶员脸部图像的摄像头、用于进行疲劳检测的处理器,所述处理器包括:图像采集模块,用于获取所述摄像头捕获的驾驶员脸部图像;图像预处理模块,用于对获取的图像进行预处理;所述处理器还包括:图像处理模块,用于利用AdaBoost算法分析预处理后的图像,检测出驾驶员的左右眼,分别计算上眼睑的曲率和睁眼面积,接着将上眼睑的曲率和睁眼面积进行融合,得到眼睛闭合程度,并依照p80测量方法检测驾驶员是否有疲劳;控制报警模块,用于当图像处理模块判断驾驶员有疲劳时,发出告警信号。
作为优选的一种方案:所述图像处理模块包括:人眼识别单元,用于利用AdaBoost算法得到驾驶员的左右眼,并对其进行实时跟踪;疲劳检测单元,用于在获得驾驶员的左右眼图像后,计算得到眼睛图像的基于上眼睑的曲率的眼睛闭合程度函数p1和基于睁眼面积的眼睛闭合程度函数p2,分别用下列公式表示:
其中,Cmax为上眼睑曲率的最大值、Cmin为眼睑曲率的最小值,C为眼睑曲率的当前值;Smax为睁眼面积的最大值,Smin为为睁眼面积的最小值,S为睁眼面积的最当前值;
并依照下式进行融合:
由上式得到眼睛闭合程度;
并计算设定时间段内眼睛闭合程度大于等于80%所占的时间比例,即测量出t1~t4值就能计算出PERCLOS的值f:
其中,f为眼睛闭合时间占设定时间段的百分率;
t1:眼睛睁开程度减小到80%的时刻;
t2:眼睛睁开程度减小到20%的时刻;
t3:眼睛再次睁开到20%的时刻;
t4:眼睛再次睁开到80%的时刻;
如上述得到的f大于80%,则判定驾驶员有疲劳。
进一步,在所述的疲劳检测单元中,使用Sobel算子来提取眼睛边缘,按列扫描图像,取出每列的最上面的点,即为上眼睑,并取中间部分来计算眼睑曲率;依次扫描眼睑上各点,计算其上任一点沿眼睑到两端的长度之差,其中的最小者为眼睑的中点,以中点为边界点,分别计算左半部分和右半部分的中点,同样再以该中点为边界分别计算左右各部分的中点,依次进行下去就得到了各个边界点:
在获得眼睛区域后,利用边缘图的水平和垂直投影方法得到眼睛的范围,获得眼睛的长宽信息,按照长宽乘积计算睁眼面积。
再进一步,在所述的疲劳检测单元中,所述设定时间段包括两个时间窗口宽度,分别为8秒和2秒,其中8秒窗口用于检测最近8秒内闭眼程度达80%以上的时间是否占了时间窗口的80%以上;2秒窗口判断最近2秒内闭眼程度达80%以上的时间是否占了时间窗口的80%以上,如果同时满足上述两个条件,发出报警。
作为优选的另一种方案:所述的图像预处理模块包括:灰度处理单元,用于将获取的图像统一转化为灰度图:
Gray=0.3R+0.59G+0.11B
其中,R表示红色分量,G表示绿色分量,B表示蓝色分量;
均衡化处理单元,用于将图像的直方图通过变换函数s=T(r)处理,其中s、r分别为目标图像和原始图像上的像素点(x,y);
噪声处理单元,用于采用中值滤波法来进行噪声处理。
本发明的技术构思为:首先用可调红外LED灯加CMOS传感器摄像捕获驾驶员脸部图像,对获取的图像进行预处理方法来减弱驾驶员行驶过程中背景和光照的复杂变化影响;然后用AdaBoost方法检测出眼睛位置,并通过计算上眼睑曲率和睁眼面积两者信息融合的结果来评价眼睛状态;接着,用PERCLOS方法观察一段时间内的眼睛状态变化,即眨眼频率,来判断是否处于瞌睡状态,如果检测到瞌睡,嵌入式系统就发出警报提醒驾驶人员,否则继续采集人眼图像直至下一次检测到瞌睡报警提醒,最后在基于ARM9的嵌入式芯片S3C2410处理器下实现检测算法:图像采集及预处理:由可调红外LED灯加CMOS传感器在不同的光照环境下取得的图像差异性较大,故将采集到的图像统一转化为灰度图,并通过直方图均衡化,去噪声处理来减少背景和光照的影响。人眼识别:把预处理之后的图像数据交由图像处理程序处理,利用AdaBoost方法对眼睛进行实时跟踪。疲劳检测:人眼识别出来以后,通过计算上眼睑曲率和睁眼面积两者信息融合的结果来评价眼睛的闭合程度,在跟踪观察眼睛状态一段时间后得到PERCLOS值,将结果与事先设定的阈值进行比较得出驾驶员是否疲劳驾驶,决定是否发出预警提示。
本发明的有益效果主要表现在:(1)用红外成像,可以使系统全天候工作,适应能力强。(2)通过AdaBoost方法直接检测出人眼位置,方便快捷。(3)用上眼睑曲率和睁眼面积两者信息融合的结果来评价眼睛的闭合程度,大大提高了检测的准确率(4)ARM处理器较DSP处理器集成度更高,成本较低,兼容性好,扩展性强,并且可以使图像处理与分级别预警在同一芯片上实现。(5)本发明硬件成本相对较低,算法精确,便于在实际交通运输上实行生产推广使用,有良好的市场前景,对减少交通事故发生有着积极长远的作用。
附图说明
图1是疲劳驾驶检测系统的总框架图。
图2是疲劳驾驶检测算法的简要流程图。
图3是疲劳检测部分的流程图。
图4是开眼和闭眼的上眼睑曲率近似图。
图5是睁眼面积计算示意图。
图6是PERCLOS测量原理图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1~图6,一种疲劳驾驶实时检测系统,包括用于采集驾驶员脸部图像的摄像头、用于进行疲劳检测的处理器,所述处理器包括:图像采集模块,用于获取所述摄像头捕获的驾驶员脸部图像;图像预处理模块,用于对获取的图像进行预处理;所述处理器还包括:图像处理模块,用于利用AdaBoost算法分析预处理后的图像,检测出驾驶员的左右眼,分别计算上眼睑的曲率和睁眼面积,接着将上眼睑的曲率和睁眼面积进行融合,得到眼睛闭合程度,并依照p80测量方法检测驾驶员是否有疲劳;控制报警模块,用于当图像处理模块判断驾驶员有疲劳时,发出告警信号。
图1是系统总框架图,其中软件部分是用C++实现,整个硬件部分包含了图像采集模块,图像处理模块,控制报警模块三个部分。
硬件部分:
(1)图像采集模块
可调红外LED用了波长880nm的红外LED光照,使用Omnivsion公司生产的OV7620芯片,OV7620是一款功能强大的单片相机芯片,配合OV511组成了一个低成本的数字图像采集模块。前者实现了图像采集的功能,后者提供了USB接口方便与系统连接。
(2)图像处理模块
图像处理系统采用S3C2410处理器,能满足图像处理速度的要求,保证了图像传输速度。扩展64M SDRAM与64M FLASH,大容量的RAM能够保存多幅连续图像,便于图像的实时分析与处理。本发明的主要步骤如人眼检测和疲劳检测部分的算法在这个部分实现。
(3)控制报警模块
根据是否检测到瞌睡,可使S3C2410芯片输出控制信号来启动蜂鸣报警器。软件部分:
图2中,展示了疲劳驾驶检测算法的简要流程图:
在疲劳驾驶检测中,预处理是第一步,由于红外线摄像头在不同的光照环境下取得的图像差异性较大,而且本身固有的特性和人为因素总是会或多或少地引入某些干扰和噪声。因此,为了保证具有较好的检测和识别效果,我们必须进行图像的预处理。我们依据如下公式将图像统一转化为灰度图:
Gray=0.3R+0.59G+0.11B
其中,R表示红色分量,G表示绿色分量,B表示蓝色分量;
然后由于图像中光照的不均匀性,需要对图像做光照补偿,我们希望图像具有本文方法研究所需要的灰度分布,即突出所需要的图像特征(如眼睛特征),而直方图均衡化能较好地满足这一要求。
直方图均衡化(Histogram Equalization)又称直方图平坦化,实质上是对图像进行非线性拉伸,重新分配图像象元值,使一定灰度范围内象元值的数量大致相等。对图像的直方图均衡化过程是通过变换函数s=T(r)来完成的,s、r分别为目标图像和原始图像上的像素点(x,y)。
输入的原始图像一般都存有不同程度的噪声,而这些噪声对于特征的提取具有较大的影响。因此,需要对输入图像进行噪声处理,以尽可能减小噪声的影响。这一过程也称为对图像的平滑滤波过程。
常用的滤波去噪方法大致可以分为以下四类:高斯平滑滤波去噪声法;均值滤波去噪声法;中值滤波去噪声法;最佳滤波去噪声法。
中值滤波可以去除孤点噪声,不会使图像的边界模糊,比较适合于人眼图像的去噪处理,因此,本发明采用中值滤波法来进行噪声处理。
第二步,进行Adaboost人眼识别。AdaBoost方法是基于样本学习的方法,通过样本学习得到的规则(分类器)更接近于人眼的特征,很好地解决了人眼检测的复杂性问题,即背景图像的多样性和人眼特征的多变性。AdaBoost方法的第二个特点是运用了分层推进的思想,顶层简单分类器把大多数非人眼的样本排除在外,减小了底层复杂分类器的检测压力,极大地提高了人眼检测的速度。本发明同时检测出人的左右眼,并对其进行实时跟踪。但是一旦检测不到人眼,通常情况下这是由于驾驶员头部严重倾斜,我们可以认为这是驾驶员的错误驾驶行为,尽管也有可能是由于误差问题导致系统无法检测。所以我们设置一个错误允许时间,即如果此过程持续5秒以上(这样就可以基本排除系统的误差问题),本发明将立刻发出警报,提醒驾驶员矫正驾驶姿态。
第三步,疲劳检测。整个疲劳流程如图2所示。在获得驾驶员的眼睛图像之后,计算眼睛图像的上眼睑曲率和睁眼面积。由于上眼睑是眼睛区域边缘的一部分,并且灰度值的差异比较大,我们使用Sobel算子来提取眼睛边缘。上眼睑基本上位于边缘图的最上部,故可按列扫描图像,取出每列的最上面的点,即为上眼睑。在研究大量眼睛睁闭过程之后,我们发现眼睑的中间部分能比较准确地反映眼睛的状态而眼睑两端容易突变,故只取中间部分来计算眼睑曲率。
依次扫描眼睑上各点,计算其上任一点沿眼睑到两端的长度之差,其中的最小者为眼睑的中点。以中点为边界点,分别计算左半部分和右半部分的中点,同样再以该中点为边界分别计算左右各部分的中点,依次进行下去就得到了各个边界点。
下面进行曲率的计算。曲率计算公式:其中Δθ表示曲线段切线变化的角度,Δs为弧长。为了减少计算量,可用近似公式代替以上公式来计算曲率。利用图4中曲率来近似眼睛睁开和闭合,当点A、B、C等间隔选取时,使用如下公式计算曲率:睁眼和闭眼时眼睑弯曲方向不同,是判断睁闭的一个重要特征。用B和AC的相对位置来描述其方向,睁眼时B在AC的上方,闭眼时B在AC的下方。故可定义当B在AC的上方时曲率为正,反之曲率为负。
睁眼面积的计算。在获得眼睛区域后,则可以利用边缘图的水平和垂直投影方法很容易地得到眼睛的范围,从而获得了眼睛的长宽信息,据此计算睁眼面积。图5反映了睁眼和闭眼区域的范围,我们发现睁眼与闭眼的区域面积相差较大、易于分辨且计算简单,因此采用该参数作为另一个融合特征。用睁眼面积作为第二个融合特征的另一个好处是,前面所述的上眼睑曲率的计算大致是眼睛长宽相除,而面积则是长宽相乘,通过两者的模糊融合将会产生较好的互补效应。
在检测眼睛状态的过程中,我们可以得到上眼睑曲率的最大值Cmax、最小值Cmin和当前值C,以及睁眼面积的最大值Smax,最小值Smin和当前值S,这样就可以计算得到基于上眼睑曲率的眼睛闭合程度函数p1和基于睁眼面积的眼睛闭合程度函数p2,分别用下列公式表示:
然后我们用p1,p2的算术平均值作为信息融合的结果来表征眼睛闭合程度:
最后用PERCLOS的p80测量方法检测驾驶员是否疲劳驾驶。PERCLOS(PERcentage of eye CLOSure over the pupil over time)是指眼睛闭合时间占某一特定时间的百分率。而p80测量方法表示眼睛闭合程度大等于80%所占的时间比例。图示6给出了PERCLOS的测量原理。只要测量出t1~t4值就能计算出PERCLOS的值f。
其中,f为眼睛闭合时间占某一特定时间的百分率;
t1:眼睛睁开程度减小到80%的时刻;
t2:眼睛睁开程度减小到20%的时刻;
t3:眼睛再次睁开到20%的时刻;
t4:眼睛再次睁开到80%的时刻;
在截获视频流中的图像帧并提取出图像中的人眼且识别其状态后,将此状态信息分别送入两个检测时间窗口同时进行检测。这两个时间窗口宽度分别为8秒和2秒,其中8秒窗口用于检测最近8秒内闭眼程度达80%以上的时间是否占了时间窗口的80%以上;2秒窗口判断最近2秒内闭眼程度达80%以上的时间是否占了时间窗口的80%以上。如果同时满足这两个条件则发出报警,否则重新回到检测阶段(表明眼睛最近是睁开的,即使8秒宽度的大窗口做出了报警的判断)。设置2秒宽度窗口的理由为:宽度大的时间窗口不太灵敏,在报警之后,当驾驶员清醒过来,往往需要1.6秒钟左右(8×20%)才能做出解除报警的判断;而宽度较小的时间窗口则比较灵敏,只需要0.4秒左右(2×20%)即可做出解除警报的判断。另一方面,用2秒的检测窗口在瞌睡检测时可以对最近2秒的时间段内的眼睛状态做出瞌睡判断,有利于排除那些假瞌睡的状态。这样经过两个窗口的判断,既能准确地做出瞌睡状态的判断,又可以快速地做出解除瞌睡报警的判断,提高了系统的准确性和稳定性。通过实验数据证明2秒窗口的设置较为合理。
Claims (4)
1.一种疲劳驾驶实时检测系统,包括用于采集驾驶员脸部图像的摄像头、用于进行疲劳检测的处理器,所述处理器包括:
图像采集模块,用于获取所述摄像头捕获的驾驶员脸部图像;
图像预处理模块,用于对获取的图像进行预处理;
其特征在于:所述处理器还包括:
图像处理模块,用于利用AdaBoost算法分析预处理后的图像,检测出驾驶员的左右眼,分别计算上眼睑的曲率和睁眼面积,接着将上眼睑的曲率和睁眼面积进行融合,得到眼睛闭合程度,并依照PERCLOS的p80测量方法检测驾驶员是否有疲劳;
控制报警模块,用于当图像处理模块判断驾驶员有疲劳时,发出告警信号;
所述图像处理模块包括:
人眼识别单元,用于利用AdaBoost算法得到驾驶员的左右眼,并对其进行实时跟踪;
疲劳检测单元,用于在获得驾驶员的左右眼图像后,计算得到眼睛图像的基于上眼睑的曲率的眼睛闭合程度函数p1和基于睁眼面积的眼睛闭合程度函数p2,分别用下列公式表示:
其中,Cmax为上眼睑曲率的最大值、Cmin为上眼睑曲率的最小值,C为上眼睑曲率的当前值;Smax为睁眼面积的最大值,Smin为睁眼面积的最小值,S为睁眼面积的当前值;
并依照下式进行融合:
由上式得到眼睛闭合程度p;
并计算设定时间段内眼睛闭合程度大于等于80%所占的时间比例,即测量出t1~t4值就能计算出PERCLOS的值f:
其中,f为眼睛闭合时间占设定时间段的百分率;
t1:眼睛睁开程度减小到80%的时刻;
t2:眼睛睁开程度减小到20%的时刻;
t3:眼睛再次睁开到20%的时刻;
t4:眼睛再次睁开到80%的时刻;
如上述得到的f大于80%,则判定驾驶员有疲劳。
2.如权利要求1所述的疲劳驾驶实时检测系统,其特征在于:在所述的疲劳检测单元中,使用Sobe1算子来提取眼睛边缘,按列扫描图像,取出每列的最上面的点,即为上眼睑,并取中间部分来计算眼睑曲率;
依次扫描眼睑上各点,计算其上任一点沿眼睑到两端的长度之差,其中的最小者为眼睑的中点,以中点为边界点,分别计算左半部分和右半部分的中点,同样再以该左半部分和右半部分的中点为边界分别计算其左半部分和右半部分的中点,依次进行下去就得到了各个边界点:
在获得眼睛区域后,利用边缘图的水平和垂直投影方法得到眼睛的范围,获得眼睛的长宽信息,按照长宽乘积计算睁眼面积。
3.如权利要求1所述的疲劳驾驶实时检测系统,其特征在于:在所述的疲劳检测单元中,所述设定时间段包括两个时间窗口宽度,分别为8秒和2秒,其中8秒窗口用于检测最近8秒内闭眼程度达80%以上的时间是否占了时间窗口的80%以上;2秒窗口判断最近2秒内闭眼程度达80%以上的时间是否占了时间窗口的80%以上,如果同时满足上述两个条件,发出报警。
4.如权利要求1-3之一所述的疲劳驾驶实时检测系统,其特征在于:所述的图像预处理模块包括:
灰度处理单元,用于将获取的图像统一转化为灰度图:
Gray=0.3R+0.59G+0.11B
其中Gray为灰度值,R表示红色分量,G表示绿色分量,B表示蓝色分量;均衡化处理单元,用于将图像的直方图通过变换函数s=T(r)处理,其中s、r分别为目标图像和原始图像上的像素点(x,y);
噪声处理单元,用于采用中值滤波法来进行噪声处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008101616532A CN101375796B (zh) | 2008-09-18 | 2008-09-18 | 疲劳驾驶实时检测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008101616532A CN101375796B (zh) | 2008-09-18 | 2008-09-18 | 疲劳驾驶实时检测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101375796A CN101375796A (zh) | 2009-03-04 |
CN101375796B true CN101375796B (zh) | 2010-06-02 |
Family
ID=40419649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008101616532A Expired - Fee Related CN101375796B (zh) | 2008-09-18 | 2008-09-18 | 疲劳驾驶实时检测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101375796B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106539581A (zh) * | 2016-12-07 | 2017-03-29 | 中国民用航空总局第二研究所 | 基于概率统计方法的管制员疲劳检测方法及系统 |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5444898B2 (ja) * | 2009-07-09 | 2014-03-19 | アイシン精機株式会社 | 状態検出装置、状態検出方法及びプログラム |
CN101639894B (zh) * | 2009-08-31 | 2013-03-20 | 华南理工大学 | 在线检测列车驾驶员行为和疲劳状态的方法及其检测系统 |
CN101692980B (zh) | 2009-10-30 | 2011-06-08 | 深圳市汉华安道科技有限责任公司 | 疲劳驾驶检测方法及装置 |
EP2507742A2 (en) * | 2009-12-02 | 2012-10-10 | Tata Consultancy Services Limited | A cost effective and robust system and method for eye tracking and driver drowsiness identification |
CN101872419A (zh) * | 2010-06-09 | 2010-10-27 | 谭台哲 | 一种汽车驾驶员疲劳检测的方法 |
JP5808171B2 (ja) * | 2010-07-16 | 2015-11-10 | 株式会社 資生堂 | 目元画像シミュレーション装置、目元画像生成方法、及び目元画像生成プログラム |
CN102013013B (zh) * | 2010-12-23 | 2013-07-03 | 华南理工大学广州汽车学院 | 疲劳驾驶监测方法 |
CN102085099B (zh) * | 2011-02-11 | 2017-02-08 | 北京中星微电子有限公司 | 疲劳驾驶检测方法和装置 |
CN102122357B (zh) * | 2011-03-17 | 2012-09-12 | 电子科技大学 | 一种基于人眼睁闭状态的疲劳检测方法 |
EP2698762B1 (en) * | 2011-04-15 | 2017-01-04 | Aisin Seiki Kabushiki Kaisha | Eyelid-detection device, eyelid-detection method, and program |
CN102201148A (zh) * | 2011-05-25 | 2011-09-28 | 北京航空航天大学 | 一种基于视觉的驾驶员疲劳检测方法及系统 |
CN102878647B (zh) * | 2011-07-15 | 2015-06-10 | 珠海格力电器股份有限公司 | 空调运行状态的自动监控系统及自动监控方法 |
CN103680064B (zh) * | 2012-09-24 | 2016-08-03 | 由田新技股份有限公司 | 瞌睡提醒系统 |
CN103065121B (zh) * | 2012-12-13 | 2016-06-29 | 李秋华 | 基于视频人脸分析的火车司机状态监控方法及装置 |
CN103049740B (zh) * | 2012-12-13 | 2016-08-03 | 杜鹢 | 基于视频图像的疲劳状态检测方法及装置 |
CN103268479A (zh) * | 2013-05-29 | 2013-08-28 | 电子科技大学 | 全天候疲劳驾驶检测方法 |
CN103578227B (zh) * | 2013-09-23 | 2015-10-07 | 吉林大学 | 基于gps定位信息的疲劳驾驶检测方法 |
CN103593648B (zh) * | 2013-10-22 | 2017-01-18 | 上海交通大学 | 一个面向开放环境的人脸识别方法 |
CN103632485A (zh) * | 2013-11-01 | 2014-03-12 | 安徽博仑特智能科技有限公司 | 一种哨兵执勤智能防瞌睡系统装置 |
CN103680465B (zh) * | 2013-11-18 | 2016-06-08 | 天津三星通信技术研究有限公司 | 视疲劳的检测及缓解方法 |
CN104464002B (zh) * | 2014-12-04 | 2017-04-19 | 重庆晋才富熙科技有限公司 | 专注度考勤方法 |
FR3033303B1 (fr) * | 2015-03-03 | 2017-02-24 | Renault Sas | Dispositif et procede de prediction d'un niveau de vigilance chez un conducteur d'un vehicule automobile. |
EP3131038A1 (en) * | 2015-08-14 | 2017-02-15 | Universite De Liege | A prediction device |
CN105389948A (zh) * | 2015-11-11 | 2016-03-09 | 上海斐讯数据通信技术有限公司 | 一种预防司机疲劳驾驶的系统及方法 |
CN106073804B (zh) * | 2016-05-27 | 2018-11-30 | 维沃移动通信有限公司 | 一种疲劳检测方法及移动终端 |
KR20180001367A (ko) * | 2016-06-27 | 2018-01-04 | 현대자동차주식회사 | 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치 및 방법 |
CN106203338B (zh) * | 2016-07-11 | 2019-08-02 | 南京航空航天大学 | 基于网格区域分割和阈值自适应的人眼状态快速识别方法 |
CN106446849B (zh) * | 2016-09-30 | 2019-08-23 | 福建省福信富通网络科技股份有限公司 | 一种疲劳驾驶检测方法 |
CN106448265A (zh) * | 2016-10-27 | 2017-02-22 | 广州微牌智能科技有限公司 | 司机驾驶行为数据的采集方法及装置 |
CN106774921A (zh) * | 2016-12-28 | 2017-05-31 | 深圳天珑无线科技有限公司 | 背光亮度调节方法、装置及终端 |
CN107861621B (zh) * | 2017-11-27 | 2018-08-31 | 青岛市妇女儿童医院 | 一种避免对产妇眼部造成伤害的平台 |
CN107918491B (zh) * | 2017-11-30 | 2021-06-01 | 深圳市星野信息技术有限公司 | 基于眼睛闭合度检测技术的人机交互方法 |
CN108875541A (zh) * | 2018-03-16 | 2018-11-23 | 中国计量大学 | 一种基于虚拟现实技术的视觉疲劳检测算法 |
CN108791299B (zh) * | 2018-05-16 | 2020-06-19 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶疲劳检测及预警系统及方法 |
CN108968972B (zh) * | 2018-07-09 | 2019-11-22 | 清华大学 | 柔性疲劳检测装置以及信息处理方法及装置 |
CN110766912B (zh) * | 2018-07-27 | 2022-03-18 | 长沙智能驾驶研究院有限公司 | 驾驶预警方法、设备及计算机可读存储介质 |
WO2020029093A1 (zh) * | 2018-08-07 | 2020-02-13 | 深圳市汇顶科技股份有限公司 | 疲劳状态的检测方法、装置及设备 |
JP7180227B2 (ja) * | 2018-09-20 | 2022-11-30 | いすゞ自動車株式会社 | 車両用監視装置 |
CN109919131A (zh) * | 2019-03-22 | 2019-06-21 | 杭州电子科技大学 | 一种基于图像处理技术的疲劳检测方法 |
CN110151166B (zh) * | 2019-05-07 | 2022-04-26 | 中国电子科技集团公司第二十八研究所 | 一种基于双模态生物电信号与生理数据的疲劳度评估系统及评估方法 |
CN110956067B (zh) * | 2019-05-26 | 2022-05-17 | 魔门塔(苏州)科技有限公司 | 一种人眼眼睑曲线的构建方法及装置 |
CN110786869B (zh) * | 2019-10-29 | 2021-12-21 | 浙江工业大学 | 一种程序员的疲劳程度的检测方法 |
CN111035096A (zh) * | 2020-01-09 | 2020-04-21 | 郑州铁路职业技术学院 | 一种基于安全帽的工程施工人员疲劳检测系统 |
JP7127661B2 (ja) * | 2020-03-24 | 2022-08-30 | トヨタ自動車株式会社 | 開眼度算出装置 |
CN111666875A (zh) * | 2020-06-05 | 2020-09-15 | 浙江工业大学 | 一种基于机器视觉的制造业工人疲劳状态检测方法 |
CN114620050B (zh) * | 2022-03-28 | 2023-01-03 | 徐州华宝能源科技有限公司 | 基于大数据与云计算的疲劳驾驶检测方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1680779A (zh) * | 2005-02-04 | 2005-10-12 | 江苏大学 | 驾驶员疲劳监测方法及装置 |
CN1830389A (zh) * | 2006-04-21 | 2006-09-13 | 太原理工大学 | 疲劳驾驶状态监控装置及方法 |
CN101090482A (zh) * | 2006-06-13 | 2007-12-19 | 唐琎 | 一种基于图象处理和信息融合技术的驾驶员疲劳监测系统及方法 |
-
2008
- 2008-09-18 CN CN2008101616532A patent/CN101375796B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1680779A (zh) * | 2005-02-04 | 2005-10-12 | 江苏大学 | 驾驶员疲劳监测方法及装置 |
CN1830389A (zh) * | 2006-04-21 | 2006-09-13 | 太原理工大学 | 疲劳驾驶状态监控装置及方法 |
CN101090482A (zh) * | 2006-06-13 | 2007-12-19 | 唐琎 | 一种基于图象处理和信息融合技术的驾驶员疲劳监测系统及方法 |
Non-Patent Citations (2)
Title |
---|
何国红.基于视觉信息的疲劳驾驶状态监测系统设计.2007,摘要,第21-45页. * |
余丹炯.驾驶困倦预警系统中眼部状态识别技术的研究.2007,摘要,第25-57页. * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106539581A (zh) * | 2016-12-07 | 2017-03-29 | 中国民用航空总局第二研究所 | 基于概率统计方法的管制员疲劳检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN101375796A (zh) | 2009-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101375796B (zh) | 疲劳驾驶实时检测系统 | |
CN103714660B (zh) | 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统 | |
US11783601B2 (en) | Driver fatigue detection method and system based on combining a pseudo-3D convolutional neural network and an attention mechanism | |
Zhao et al. | Driver fatigue detection based on convolutional neural networks using em‐CNN | |
CN101593425B (zh) | 一种基于机器视觉的疲劳驾驶监控方法及系统 | |
CN101950355B (zh) | 基于数字视频的驾驶员疲劳状态检测方法 | |
CN103714659B (zh) | 基于双光谱融合的疲劳驾驶识别系统 | |
Alioua et al. | Driver’s fatigue detection based on yawning extraction | |
CN108309311A (zh) | 一种列车驾驶员实时盹睡检测装置及检测算法 | |
CN103824420A (zh) | 基于心率变异性非接触式测量的疲劳驾驶识别系统 | |
CN104013414A (zh) | 一种基于移动智能手机的驾驶员疲劳检测系统 | |
JP2000259814A (ja) | 画像処理装置及びその方法 | |
US8965068B2 (en) | Apparatus and method for discriminating disguised face | |
CN104318237A (zh) | 基于人脸识别的疲劳驾驶预警方法 | |
CN108596087B (zh) | 一种基于双网络结果的驾驶疲劳程度检测回归模型 | |
CN102085099A (zh) | 疲劳驾驶检测方法和装置 | |
Tang et al. | Real-time image-based driver fatigue detection and monitoring system for monitoring driver vigilance | |
CN109002774A (zh) | 一种基于卷积神经网络的疲劳监测装置及方法 | |
Naz et al. | Driver fatigue detection using mean intensity, SVM, and SIFT | |
CN102610057B (zh) | 车载信息智能处理系统和方法 | |
CN103729646A (zh) | 一种眼睛图像有效性检测方法 | |
CN201927155U (zh) | 车载信息智能处理系统 | |
CN104050456A (zh) | 一种基于不变矩的监测驾驶员眼睛状态的方法 | |
Haselhoff et al. | Radar-vision fusion for vehicle detection by means of improved haar-like feature and adaboost approach | |
CN111860437A (zh) | 一种基于面部表情判断疲劳程度的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100602 Termination date: 20200918 |