CN105354985A - 疲劳驾驶监控装置及方法 - Google Patents

疲劳驾驶监控装置及方法 Download PDF

Info

Publication number
CN105354985A
CN105354985A CN201510740893.8A CN201510740893A CN105354985A CN 105354985 A CN105354985 A CN 105354985A CN 201510740893 A CN201510740893 A CN 201510740893A CN 105354985 A CN105354985 A CN 105354985A
Authority
CN
China
Prior art keywords
fatigue driving
driving monitoring
time
rectangle frame
fatigue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510740893.8A
Other languages
English (en)
Other versions
CN105354985B (zh
Inventor
汪辉
曹虎
方娜
田犁
章琦
汪宁
封松林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Advanced Research Institute of CAS
Original Assignee
Shanghai Advanced Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Advanced Research Institute of CAS filed Critical Shanghai Advanced Research Institute of CAS
Priority to CN201510740893.8A priority Critical patent/CN105354985B/zh
Publication of CN105354985A publication Critical patent/CN105354985A/zh
Application granted granted Critical
Publication of CN105354985B publication Critical patent/CN105354985B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种疲劳驾驶监控装置及方法,所述方法包括:1)获得采集图像;2)将采集图像转化到YCbCr空间,提取出肤色区域后进行二值化,并得出人脸矩形框;3)对人脸矩形框中的像素点进行扫描,并以其为圆心,增加半径,直到扫描区域中超过预设比例的像素点为白点或者扫描区域到达矩形框边界时扫描结束,以最大扫描区域的直径为瞳孔直径;4)通过实时监测瞳孔大小,根据PERCLOS算法判断驾驶员是否处于疲劳。本发明能够快速、简单、准确地在YCbCr空间中框出人脸矩形框,然后通过实时监测瞳孔大小结合PERCLOS疲劳检测方法,检测驾驶员疲劳状态。本发明简单高效,运行速度较快,准确度高,且监控过程及结果不受人脸倾斜角度影响。

Description

疲劳驾驶监控装置及方法
技术领域
本发明涉及人脸检测技术及基于眼部疲劳特征检测的疲劳驾驶检测技术领域,特别是涉及一种疲劳驾驶监控装置及方法。
背景技术
2013年的《全球道路安全状态报告》显示,交通事故是造成世界人口死亡原因的第八大因素,全球每年大约有100万人死于交通事故中,而进一步由统计数据分析发现,疲劳驾驶是造成交通事故的重要原因之一,因此对疲劳进行检测和报警非常必要。
检测疲劳驾驶的方法大致分为三类:
一、基于车辆行驶状态的检测,如检测车辆是否偏离行驶轨迹;
二、基于驾驶员生理参数的检测,如检测驾驶员的脑电图,心电图等;
三、基于驾驶员行为特征的检测,如眼睛的闭合,嘴部运动等。
其中基于生理参数检测的方法最为可靠,但是由于其需要驾驶员佩戴一定的检测设备,属于接触式检测,会造成驾驶舒适度下降,而基于车辆行驶状态的检测虽然是非接触式,但是容易受到复杂道路环境的影响而造成可靠性降低。基于驾驶员行为特征的方法,尤其是检测眼睛状态的方法由于其具有检测直接、非侵入性等特点,是目前多数研究机构广泛采用的方法。
行为特征的检测主要和人面部行为相关,就涉及到人脸检测。人脸检测作为人脸信息处理中的一项关键技术,近些年来成为模式识别与计算机视觉领域内一项受到普遍重视、研究十分活跃的课题。
目前,人脸检测已经在新一代的人机界面、视频监控和基于内容的检索等领域得到了广泛应用。但是,人脸检测是一类具有很大挑战性的问题,其主要难点在于:(1)人脸是一类高度非刚性的目标,存在相貌,表情,肤色等差异;(2)人脸上可能会存在一些附属物,诸如眼镜、胡须等;(3)人脸的姿态变化万千,并且可能存在遮挡物;(4)待检测图像性质的差异,比如:待检图像的分辨率,摄录器材的质量等;(5)人脸可能存在倾斜角度等等。
人脸检测方法各异,大体上可分为:基于先验知识、特征不变性、模板等几何特征的人脸检测方法,基于肤色模型的人脸检测方法,基于子空间、神经网络、支持向量机、隐马尔可夫模型、Boosting等统计理论的人脸检测方法。P.Viola和M.Jone通过将AdaBoost算法与基于积分图的Haar-Like特征结合起来实现的人脸检测系统,是历史上第一次使人脸检测达到了实时处理的程度。
但是,一般的人脸检测算法都比较复杂,实时性并没有那么好,尤其当人脸的倾斜角度比较大的时候。
检测出人脸之后,一般疲劳的而检测主要针对眼睛瞳孔。PERCLOS是眼睛疲劳检测较高的检测方法,被美国公路交通安全局(NHTSA)认可的疲劳驾驶检测方法。
PERCLOS是PercentEyeClosure的缩写,指在一定的时间内眼睛闭合时所占的时间比例。原理如图1。t1为眼睛完全睁开到闭合20%的时间,t2为眼睛完全睁开到闭合80%的时间,t3为眼睛完全睁开到下一次睁开20%的时间,t4为眼睛完全睁开到下一次睁开80%的时间,通过测量出t1,t2,t3,t4的值就能计算出PERCLOS的f:
f = t 3 - t 2 t 4 - t 1
f为眼睛闭合时间所占某一特定时间的百分率,一般认为f>0.15时,驾驶员处于疲劳状态。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种疲劳驾驶监控装置及方法,所述疲劳驾驶监控装置及方法能够快速、准确地通过检测人脸,人眼,瞳孔等特征判断驾驶员是否处于疲劳状态,并决定是否发出警报,该装置及方法不受人脸倾斜角度影响。
为实现上述目的及其他相关目的,本发明提供一种疲劳驾驶监控装置,所述疲劳驾驶监控装置包括:图像采集模块,用于对目标图像进行采集获得采集图像;人脸检测模块,用于将采集图像转化到YCbCr空间,根据肤色在CbCr空间满足T1<Cb<T2,T3<Cr<T4,提取出肤色区域后进行二值化,使肤色点数值化为1,显示为白点,非肤色点数值化为0,显示为黑点,统计并比较两条对角线或过人脸区域中点,与对角线夹角不大于预设角度的线上的白点数,并根据白点数情况得出人脸矩形框,其中,T1、T3为下限阈值,T2、T4为上限阈值,0<T1,T3<128,129<T2,T4<255;瞳孔大小计算模块,用于对所述人脸矩形框中的每一个像素点进行扫描,并以其为圆心,增加扫描半径,直至扫描区域中超过预设比例的像素点为白点或扫描区域到达矩形框边界时扫描结束,以最大扫描区域的直径为瞳孔直径;以及疲劳判断模块,用于通过实时监测瞳孔直径大小,根据PERCLOS算法判断驾驶员是否处于疲劳。
作为本发明的疲劳驾驶监控装置的一种优选方案,还包括警报模块,用于在驾驶员被判断为处于疲劳状态时,发出警报信号,对驾驶员进行提醒。
作为本发明的疲劳驾驶监控装置的一种优选方案,所述图像采集模块包括CMOS图像传感器或CCD图像传感器。
作为本发明的疲劳驾驶监控装置的一种优选方案,所述根据白点数情况得出人脸矩形框,包括:若n1>a*n2,或者n2>b*n1,所述人脸矩形框的两条对角线分别与人脸区域上边界和左边界平行;否则,所述人脸矩形框分别与人脸区域上边界和左边界平行,其中,n1为人脸区域左上角与右下角方向上白点数,n2为人脸区域左下角与右上角方向上白点数,1.1≤a≤1.5,1.1≤b≤1.5。
进一步地,所述人脸矩形框的最小边长不小于两个瞳孔的左右边界之间的距离。
作为本发明的疲劳驾驶监控装置的一种优选方案,所述人脸检测模块还用于在得到的二值化图像中,去除全是黑点的整行和整列,以精确提取人脸区域。
作为本发明的疲劳驾驶监控装置的一种优选方案,所述疲劳判断模块中,通过实时监测瞳孔直径大小,记录眼睛完全睁开到闭合20%的时间t1、眼睛完全睁开到闭合80%的时间t2、眼睛完全睁开到下一次睁开20%的时间t3以及眼睛完全睁开到下一次睁开80%的时间t4,通过公式获得f:
f = t 3 - t 2 t 4 - t 1
其中,f为眼睛闭合时间所占某一特定时间的百分率,若f>0.15,则判断驾驶员为处于疲劳状态。
本发明还提供一种疲劳驾驶监控方法,所述疲劳驾驶监控方法包括步骤:步骤1),对目标图像进行采集获得采集图像;步骤2),将采集图像转化到YCbCr空间,根据肤色在CbCr空间满足T1<Cb<T2,T3<Cr<T4,提取出肤色区域后进行二值化,使肤色点数值化为1,显示为白点,非肤色点数值化为0,显示为黑点,统计并比较两条对角线或过人脸区域中点,与对角线夹角不大于预设角度的线上的白点数,并根据白点数情况得出人脸矩形框,其中,T1、T3为下限阈值,T2、T4为上限阈值,0<T1,T3<128,129<T2,T4<255;步骤3),对所述人脸矩形框中的每一个像素点进行扫描,并以其为圆心,增加扫描半径,直至扫描区域中超过预设比例的像素点为白点或扫描区域到达矩形框边界时扫描结束,以最大扫描区域的直径为瞳孔直径;以及步骤4),通过实时监测瞳孔直径大小,根据PERCLOS算法判断驾驶员是否处于疲劳。
作为本发明的疲劳驾驶监控方法的一种优选方案,还包括步骤5),在驾驶员被判断为处于疲劳状态时,发出警报信号,对驾驶员进行提醒。
作为本发明的疲劳驾驶监控方法的一种优选方案,步骤1)中,通过CMOS图像传感器或CCD图像传感器对目标图像进行采集获得采集图像。
作为本发明的疲劳驾驶监控方法的一种优选方案,所述根据白点数情况得出人脸矩形框,包括:若n1>a*n2,或者n2>b*n1,所述人脸矩形框的两条对角线分别与人脸区域上边界和左边界平行;否则,所述人脸矩形框分别与人脸区域上边界和左边界平行,其中,n1为人脸区域左上角与右下角方向上白点数,n2为人脸区域左下角与右上角方向上白点数,1.1≤a≤1.5,1.1≤b≤1.5。
进一步地,所述人脸矩形框的最小边长不小于两个瞳孔的左右边界之间的距离。。
作为本发明的疲劳驾驶监控方法的一种优选方案,步骤2)还包括步骤:在得到的二值化图像中,去除全是黑点的整行和整列,以精确提取人脸区域。
作为本发明的疲劳驾驶监控方法的一种优选方案,步骤4)中,通过实时监测瞳孔直径大小,记录眼睛完全睁开到闭合20%的时间t1、眼睛完全睁开到闭合80%的时间t2、眼睛完全睁开到下一次睁开20%的时间t3以及眼睛完全睁开到下一次睁开80%的时间t4,通过公式获得f:
f = t 3 - t 2 t 4 - t 1
其中,f为眼睛闭合时间所占某一特定时间的百分率,若f>0.15,则判断驾驶员为处于疲劳状态。
如上所述,本发明的疲劳驾驶监控装置及方法,具有以下有益效果:本发明能够快速、简单、准确地在YCbCr空间中框出人脸矩形框,然后通过实时监测瞳孔大小结合PERCLOS疲劳检测方法,检测驾驶员疲劳状态,如果判断疲劳,则发出警报信号。本发明简单高效,运行速度较快,准确度高,且监控过程及结果不受人脸倾斜角度影响,因此,本发明在疲劳驾驶检测领域具有广泛的应用前景。
附图说明
图1显示为PERCLOS算法的测量原理图。
图2显示为本发明的疲劳驾驶监控装置的结构框图。
图3显示为本发明的疲劳驾驶监控方法的流程示意图。
图4显示为本发明的疲劳驾驶监控装置及方法对肤色区域进行二值化后的图像。
图5a~图5b显示为本发明的疲劳驾驶监控装置及方法提取出的更加精确的人脸区域的图像。
图6a~图6b显示为本发明的疲劳驾驶监控装置及方法统计人脸区域两个对角线或周围虚线上白点数的示意图。
图7a~图7c显示为本发明的疲劳驾驶监控装置及方法获得人脸矩形框几种不同情况示意图。
图8显示为本发明的疲劳驾驶监控装置及方法确定瞳孔直径的示意图。
元件标号说明
11图像采集模块
12人脸检测模块
13瞳孔大小计算模块
14疲劳判断模块
15警报模块
S11~S15步骤1)~步骤5)
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。
请参阅图2~图8。需要说明的是,本实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
如图2及图4~图8所示,本实施例提供一种疲劳驾驶监控装置,所述疲劳驾驶监控装置包括:图像采集模块11、人脸检测模块12、瞳孔大小计算模块13、疲劳判断模块14以及警报模块15。
所述图像采集模块11用于对目标图像进行采集获得采集图像。
作为示例,所述图像采集模块11包括CMOS图像传感器或CCD图像传感器。
所述人脸检测模块12用于将采集图像转化到YCbCr空间,根据肤色在CbCr空间满足T1<Cb<T2,T3<Cr<T4,提取出肤色区域后进行二值化,使肤色点数值化为1,显示为白点,非肤色点数值化为0,显示为黑点,统计并比较两条对角线或过人脸区域中点,与对角线夹角不大于预设角度的线上的白点数,并根据白点数情况得出人脸矩形框,其中,T1、T3为下限阈值,T2、T4为上限阈值,0<T1,T3<128,129<T2,T4<255。所述二值化包括:对肤色区域内的图像点进行判断,若为肤色点则数值化为1,若为非肤色点则数值化为0。在本实施例中,所述人脸检测模块12还用于在得到的二值化图像中,去除全是黑点的整行和整列,从而提取出更加精确的人脸区域。
具体地,所述人脸检测模块12的作用包括:
a)将采集图像转换到YCbCr空间:在采集到的彩色图像中,尽管不同民族、不同年龄、不同性别的人脸肤色看上去不一样,但是这种不同主要集中在亮度上,在去除亮度的某些色彩空间中,不同人脸的肤色分布是一致的,而且集中在一个较小的区域里。在YCbCr色彩空间中,Cb和Cr分别代表蓝色和红色分量,能将亮度和色度分离,肤色在该色彩空间中聚集在一个很小的范围内,并且YCbCr空间既能充分表达人脸肤色,又能在很大程度上消除了亮度影响,降低了色彩空间的维数,减小了计算复杂度。因此,首先需要将采集图像转化到YCbCr空间。
b)提取人脸区域:根据肤色在CbCr空间呈现良好的聚类特性,即肤色区域满足T1<Cb<T2,T3<Cr<T4(T1、T3为下限阈值,T2、T4为上限阈值,0<T1,T3<128,129<T2,T4<255,例如,T1、T2、T3、T4可以分别取为80、127、133、173),提取出肤色区域后进行二值化,即判断是肤色点为1,在图像中显示为白点,非肤色点则为0,在图像中显示为黑点,如图4所示。精确提取出人脸区域如图5a及5b所示,人脸区域高H,宽W,一般H>W。
c)统计两条对角线上的白点数:得到的人脸矩形区域有两条对角线,如图6a所示,分别统计对角线上或者过矩形中点与对角线夹角不大于预设角度θ(0<θ<10°,例如,θ为5°)的的虚线上的白点数,左上角与右下角方向上白点数为n1,左下角与右上角方向上白点数为n2,如图6b所示。
d)得到人脸矩形框:所述人脸矩形框的最小边长应不小于两个瞳孔的左右边界之间的距离。在本实施例中,所述人脸矩形框是中心距离人脸区域上边界W/2,距离左右边界W/2处,边长为2/3*W的正方形。若n1>a*n2,或者n2>b*n1,所述人脸矩形框的两条对角线分别与人脸区域上边界和左边界平行;否则,所述人脸矩形框分别与人脸区域上边界和左边界平行,其中,n1为人脸区域左上角与右下角方向上白点数,n2为人脸区域左下角与右上角方向上白点数,1.1≤a≤1.5,1.1≤b≤1.5。具体地,在本实施例中,若n1>1.2*n2,或者n2>1.2*n1,该正方形两条对角线分别与人脸区域上边界和左边界平行;否则该正方形四条边分别与人脸区域上边界和左边界平行。然后得到更加精确的人脸矩形框,如图7a~图7c所示,通过该方法,可以保证监控过程及结果不受人脸倾斜角度影响。
所述瞳孔大小计算模块13用于对所述人脸矩形框中的每一个像素点进行扫描,并以其为圆心,增加扫描半径,直至扫描区域中超过预设比例的像素点为白点或扫描区域到达矩形框边界时扫描结束,以最大扫描区域的直径为瞳孔直径。
具体地,如图8所示,遍历人脸矩形框中的每一个点,以其为圆心,最初半径为1像素,然后增加半径(每次+1)直到圆中超过10%的像素点为白点或者圆到达矩形框边界。遍历之后得到的最大的圆直径即为瞳孔直径。
所述疲劳判断模块14用于通过实时监测瞳孔大小,根据PERCLOS算法判断驾驶员是否处于疲劳。
具体地,所述疲劳判断模块14中,通过实时监测瞳孔直径大小,记录眼睛完全睁开到闭合20%的时间t1、眼睛完全睁开到闭合80%的时间t2、眼睛完全睁开到下一次睁开20%的时间t3以及眼睛完全睁开到下一次睁开80%的时间t4,通过公式获得f:
f = t 3 - t 2 t 4 - t 1
其中,f为眼睛闭合时间所占某一特定时间的百分率,若f>0.15,则判断驾驶员为处于疲劳状态。
所述警报模块15用于在驾驶员被判断为处于疲劳状态时,发出警报信号,对驾驶员进行提醒。
如图3~图8所示,本实施例还提供一种疲劳驾驶监控方法,所述疲劳驾驶监控方法包括步骤:
如图3所示,首先进行步骤1)S11,对目标图像进行采集获得采集图像。
作为示例,通过CMOS图像传感器及CCD图像传感器中的一种对目标图像进行采集获得采集图像。
然后进行步骤2)S12,将采集图像转化到YCbCr空间,并获得人脸矩形框。
该步骤中,根据肤色在CbCr空间满足T1<Cb<T2,T3<Cr<T4,提取出肤色区域后进行二值化,,使肤色点数值化为1,显示为白点,非肤色点数值化为0,显示为黑点,统计并比较两条对角线或过人脸区域中点,与对角线夹角不大于预设角度的线上的白点数,并根据白点数情况得出人脸矩形框,其中,T1、T3为下限阈值,T2、T4为上限阈值,0<T1,T3<128,129<T2,T4<255;所述二值化包括步骤:对肤色区域内的图像点进行判断,若为肤色点则数值化为1,若为非肤色点则数值化为0。另外,步骤2)还包括步骤:在得到的二值化图像中,去除全是黑点的整行和整列,从而提取出更加精确的人脸区域。
具体地,步骤2)S12具体可以分为以下步骤:
a)将采集图像转换到YCbCr空间:在采集到的彩色图像中,尽管不同民族、不同年龄、不同性别的人脸肤色看上去不一样,但是这种不同主要集中在亮度上,在去除亮度的某些色彩空间中,不同人脸的肤色分布是一致的,而且集中在一个较小的区域里。在YCbCr色彩空间中,Cb和Cr分别代表蓝色和红色分量,能将亮度和色度分离,肤色在该色彩空间中聚集在一个很小的范围内,并且YCbCr空间既能充分表达人脸肤色,又能在很大程度上消除了亮度影响,降低了色彩空间的维数,减小了计算复杂度。因此,首先需要将采集图像转化到YCbCr空间。
b)提取人脸区域:根据肤色在CbCr空间呈现良好的聚类特性,即肤色区域满足T1<Cb<T2,T3<Cr<T4(T1、T3为下限阈值,T2、T4为上限阈值,,0<T1,T3<128,129<T2,T4<255例如,T1、T2、T3、T4可以分别取为80、127、133、173),提取出肤色区域后进行二值化,即判断是肤色点为1,在图像中显示为白点,非肤色点则为0,在图像中显示为黑点,如图4所示。精确提取出人脸区域如图5a及5b所示,人脸区域高H,宽W,一般H>W。
c)统计两条对角线上的白点数:得到的人脸矩形区域有两条对角线,如图6a所示,分别统计对角线上或者过矩形中点与对角线夹角不大于预设角度θ(0<θ<10°,例如,θ为5°)的虚线上的白点数,左上角与右下角方向上白点数为n1,左下角与右上角方向上白点数为n2,如图6b所示。
d)得到人脸矩形框:所述人脸矩形框的最小边长应不小于两个瞳孔的左右边界之间的距离。在本实施例中,所述人脸矩形框是中心距离人脸区域上边界W/2,距离左右边界W/2处,边长为2/3*W的正方形。若n1>a*n2,或者n2>b*n1,所述人脸矩形框的两条对角线分别与人脸区域上边界和左边界平行;否则,所述人脸矩形框分别与人脸区域上边界和左边界平行,其中,n1为人脸区域左上角与右下角方向上白点数,n2为人脸区域左下角与右上角方向上白点数,1.1≤a≤1.5,1.1≤b≤1.5。具体地,在本实施例中,若n1>1.2*n2,或者n2>1.2*n1,该正方形两条对角线分别与人脸区域上边界和左边界平行;否则该正方形四条边分别与人脸区域上边界和左边界平行。然后得到更加精确的人脸矩形框,如图7a~图7c所示,通过该方法,可以保证监控过程及结果不受人脸倾斜角度影响。
如图3所示,接着进行步骤3)S13,确定人脸瞳孔直径。
该步骤中,对所述人脸矩形框中的每一个像素点进行扫描,并以其为圆心,增加扫描半径,直至扫描区域中超过预设比例的像素点为白点或扫描区域到达矩形框边界时扫描结束,以最大扫描区域的直径为瞳孔直径。
具体地,如图8所示,遍历人脸矩形框中的每一个点,以其为圆心,最初半径为1像素,然后增加半径(每次+1)直到圆中超过10%的像素点为白点或者圆到达矩形框边界。遍历之后得到的最大的圆直径即为瞳孔直径。
如图3所示,然后进行步骤4)S14,通过实时监测瞳孔大小,根据PERCLOS算法判断驾驶员是否处于疲劳。
具体地,通过实时监测瞳孔直径大小,记录眼睛完全睁开到闭合20%的时间t1、眼睛完全睁开到闭合80%的时间t2、眼睛完全睁开到下一次睁开20%的时间t3以及眼睛完全睁开到下一次睁开80%的时间t4,通过公式获得f:
f = t 3 - t 2 t 4 - t 1
其中,f为眼睛闭合时间所占某一特定时间的百分率,若f>0.15,则判断驾驶员为处于疲劳状态。
如图3所示,最后进行步骤5)S15,在驾驶员被判断为处于疲劳状态时,发出警报信号,对驾驶员进行提醒。
如上所述,本发明提供一种疲劳驾驶监控装置及方法,具有以下有益效果:本发明能够快速、简单、准确地在YCbCr空间中框出人脸矩形框,然后通过实时监测瞳孔大小结合PERCLOS疲劳检测方法,检测驾驶员疲劳状态,如果判断疲劳,则发出警报信号。本发明简单高效,运行速度较快,准确度高,且监控过程及结果不受人脸倾斜角度影响,因此,本发明在疲劳驾驶检测领域具有广泛的应用前景。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (14)

1.一种疲劳驾驶监控装置,其特征在于,所述疲劳驾驶监控装置包括:
图像采集模块,用于对目标图像进行采集获得采集图像;
人脸检测模块,用于将采集图像转化到YCbCr空间,根据肤色在CbCr空间满足T1<Cb<T2,T3<Cr<T4,提取出肤色区域后进行二值化,使肤色点数值化为1,显示为白点,非肤色点数值化为0,显示为黑点,统计并比较两条对角线或过人脸区域中点,与对角线夹角不大于预设角度的线上的白点数,并根据白点数情况得出人脸矩形框,其中,T1、T3为下限阈值,T2、T4为上限阈值,0<T1,T3<128,129<T2,T4<255;
瞳孔大小计算模块,用于对所述人脸矩形框中的每一个像素点进行扫描,并以其为圆心,增加扫描半径,直至扫描区域中超过预设比例的像素点为白点或扫描区域到达矩形框边界时扫描结束,以最大扫描区域的直径为瞳孔直径;
疲劳判断模块,用于通过实时监测瞳孔直径大小,根据PERCLOS算法判断驾驶员是否处于疲劳。
2.根据权利要求1所述的疲劳驾驶监控装置,其特征在于:还包括警报模块,用于在驾驶员被判断为处于疲劳状态时,发出警报信号,对驾驶员进行提醒。
3.根据权利要求1所述的疲劳驾驶监控装置,其特征在于:所述图像采集模块包括CMOS图像传感器或CCD图像传感器。
4.根据权利要求1所述的疲劳驾驶监控装置,其特征在于:所述根据白点数情况得出人脸矩形框,包括:若n1>a*n2,或者n2>b*n1,所述人脸矩形框的两条对角线分别与人脸区域上边界和左边界平行;否则,所述人脸矩形框分别与人脸区域上边界和左边界平行,其中,n1为人脸区域左上角与右下角方向上白点数,n2为人脸区域左下角与右上角方向上白点数,1.1≤a≤1.5,1.1≤b≤1.5。
5.根据权利要求4所述的疲劳驾驶监控装置,其特征在于:所述人脸矩形框的最小边长不小于两个瞳孔的外侧边界之间的距离。
6.根据权利要求1所述的疲劳驾驶监控装置,其特征在于:所述人脸检测模块还用于在得到的二值化图像中,去除全是黑点的整行和整列,以精确提取人脸区域。
7.根据权利要求1所述的疲劳驾驶监控装置,其特征在于:所述疲劳判断模块中,通过实时监测瞳孔直径大小,记录眼睛完全睁开到闭合20%的时间t1、眼睛完全睁开到闭合80%的时间t2、眼睛完全睁开到下一次睁开20%的时间t3以及眼睛完全睁开到下一次睁开80%的时间t4,通过公式获得f:
f = t 3 - t 2 t 4 - t 1
其中,f为眼睛闭合时间所占某一特定时间的百分率,若f>0.15,则判断驾驶员为处于疲劳状态。
8.一种疲劳驾驶监控方法,其特征在于,所述疲劳驾驶监控方法包括步骤:
步骤1),对目标图像进行采集获得采集图像;
步骤2),将采集图像转化到YCbCr空间,并获得人脸矩形框:根据肤色在CbCr空间满足T1<Cb<T2,T3<Cr<T4,提取出肤色区域后进行二值化,使肤色点数值化为1,显示为白点,非肤色点数值化为0,显示为黑点,统计并比较两条对角线或过人脸区域中点,与对角线夹角不大于预设角度的线上的白点数,并根据白点数情况得出人脸矩形框,其中,T1、T3为下限阈值,T2、T4为上限阈值,0<T1,T3<128,129<T2,T4<255;
步骤3),确定人脸瞳孔直径;对所述人脸矩形框中的每一个像素点进行扫描,并以其为圆心,增加扫描半径,直至扫描区域中超过预设比例的像素点为白点或扫描区域到达矩形框边界时扫描结束,以最大扫描区域的直径为瞳孔直径;
步骤4),通过实时监测瞳孔直径大小,根据PERCLOS算法判断驾驶员是否处于疲劳。
9.根据权利要求8所述的疲劳驾驶监控方法,其特征在于:还包括步骤5),在驾驶员被判断为处于疲劳状态时,发出警报信号,对驾驶员进行提醒。
10.根据权利要求8所述的疲劳驾驶监控方法,其特征在于:步骤1)中,通过CMOS图像传感器或CCD图像传感器对目标图像进行采集获得采集图像。
11.根据权利要求8所述的疲劳驾驶监控方法,其特征在于:所述根据白点数情况得出人脸矩形框,包括:若n1>a*n2,或者n2>b*n1,所述人脸矩形框的两条对角线分别与人脸区域上边界和左边界平行;否则,所述人脸矩形框分别与人脸区域上边界和左边界平行,其中,n1为人脸区域左上角与右下角方向上白点数,n2为人脸区域左下角与右上角方向上白点数,1.1≤a≤1.5,1.1≤b≤1.5。
12.根据权利要求11所述的疲劳驾驶监控方法,其特征在于:所述人脸矩形框的最小边长不小于两个瞳孔的外侧边界之间的距离。
13.根据权利要求8所述的疲劳驾驶监控方法,其特征在于:步骤2)还包括步骤:在得到的二值化图像中,去除全是黑点的整行和整列,以精确提取人脸区域。
14.根据权利要求8所述的疲劳驾驶监控方法,其特征在于:步骤4)中,通过实时监测瞳孔直径大小,记录眼睛完全睁开到闭合20%的时间t1、眼睛完全睁开到闭合80%的时间t2、眼睛完全睁开到下一次睁开20%的时间t3以及眼睛完全睁开到下一次睁开80%的时间t4,通过公式获得f:
f = t 3 - t 2 t 4 - t 1
其中,f为眼睛闭合时间所占某一特定时间的百分率,若f>0.15,则判断驾驶员为处于疲劳状态。
CN201510740893.8A 2015-11-04 2015-11-04 疲劳驾驶监控装置及方法 Active CN105354985B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510740893.8A CN105354985B (zh) 2015-11-04 2015-11-04 疲劳驾驶监控装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510740893.8A CN105354985B (zh) 2015-11-04 2015-11-04 疲劳驾驶监控装置及方法

Publications (2)

Publication Number Publication Date
CN105354985A true CN105354985A (zh) 2016-02-24
CN105354985B CN105354985B (zh) 2018-01-12

Family

ID=55330951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510740893.8A Active CN105354985B (zh) 2015-11-04 2015-11-04 疲劳驾驶监控装置及方法

Country Status (1)

Country Link
CN (1) CN105354985B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446849A (zh) * 2016-09-30 2017-02-22 防城港市港口区高创信息技术有限公司 一种疲劳驾驶检测方法
CN106539581A (zh) * 2016-12-07 2017-03-29 中国民用航空总局第二研究所 基于概率统计方法的管制员疲劳检测方法及系统
CN107358242A (zh) * 2017-07-11 2017-11-17 浙江宇视科技有限公司 目标区域颜色识别方法、装置及监控终端
CN107468206A (zh) * 2017-08-01 2017-12-15 成都大学 一种基于瞳孔直径的立体观看视疲劳预测方法
CN108133573A (zh) * 2017-12-26 2018-06-08 中国神华能源股份有限公司 疲劳驾驶报警系统
CN108814630A (zh) * 2018-07-11 2018-11-16 长安大学 一种驾驶适宜性检测装置及方法
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN109934189A (zh) * 2019-03-19 2019-06-25 何世全 一种驾驶预警方法、系统及终端
CN110194174A (zh) * 2019-05-24 2019-09-03 江西理工大学 一种疲劳驾驶监控系统
WO2020034541A1 (zh) * 2018-08-14 2020-02-20 深圳壹账通智能科技有限公司 一种疲劳驾驶检测方法、可读存储介质、终端设备及装置
CN111035096A (zh) * 2020-01-09 2020-04-21 郑州铁路职业技术学院 一种基于安全帽的工程施工人员疲劳检测系统
CN111122010A (zh) * 2020-01-09 2020-05-08 郑州铁路职业技术学院 一种基于安全帽的工程施工人员疲劳检测方法
CN111291590A (zh) * 2018-12-06 2020-06-16 广州汽车集团股份有限公司 驾驶员疲劳检测方法、装置、计算机设备和存储介质
CN113553900A (zh) * 2021-06-11 2021-10-26 同济大学 一种驾驶员疲劳驾驶检测方法、系统及计算机可读介质
CN114120296A (zh) * 2021-12-03 2022-03-01 西南交通大学 高速铁路调度员疲劳程度定量分级方法及装置
JP7548914B2 (ja) 2019-09-06 2024-09-10 株式会社半導体エネルギー研究所 情報処理装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090482A (zh) * 2006-06-13 2007-12-19 唐琎 一种基于图象处理和信息融合技术的驾驶员疲劳监测系统及方法
CN101916370A (zh) * 2010-08-31 2010-12-15 上海交通大学 人脸检测中非特征区域图像处理的方法
JP2013105263A (ja) * 2011-11-11 2013-05-30 Daimler Ag 車両の覚醒度検出装置及び車両の警報装置
CN103632132A (zh) * 2012-12-11 2014-03-12 广西工学院 一种基于肤色分割和模板匹配的人脸检测与识别方法
CN103680058A (zh) * 2013-12-09 2014-03-26 灏泷智能科技(上海)有限公司 一种疲劳驾驶监测提醒系统
CN103700217A (zh) * 2014-01-07 2014-04-02 广州市鸿慧电子科技有限公司 基于人眼及行车轨迹特征的疲劳驾驶检测系统及方法
US8842889B1 (en) * 2010-12-18 2014-09-23 Luxand, Inc. System and method for automatic face recognition
CN104123549A (zh) * 2014-07-30 2014-10-29 中国人民解放军第三军医大学第二附属医院 一种用于疲劳驾驶实时监测的眼睛定位方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090482A (zh) * 2006-06-13 2007-12-19 唐琎 一种基于图象处理和信息融合技术的驾驶员疲劳监测系统及方法
CN101916370A (zh) * 2010-08-31 2010-12-15 上海交通大学 人脸检测中非特征区域图像处理的方法
US8842889B1 (en) * 2010-12-18 2014-09-23 Luxand, Inc. System and method for automatic face recognition
JP2013105263A (ja) * 2011-11-11 2013-05-30 Daimler Ag 車両の覚醒度検出装置及び車両の警報装置
CN103632132A (zh) * 2012-12-11 2014-03-12 广西工学院 一种基于肤色分割和模板匹配的人脸检测与识别方法
CN103680058A (zh) * 2013-12-09 2014-03-26 灏泷智能科技(上海)有限公司 一种疲劳驾驶监测提醒系统
CN103700217A (zh) * 2014-01-07 2014-04-02 广州市鸿慧电子科技有限公司 基于人眼及行车轨迹特征的疲劳驾驶检测系统及方法
CN104123549A (zh) * 2014-07-30 2014-10-29 中国人民解放军第三军医大学第二附属医院 一种用于疲劳驾驶实时监测的眼睛定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
阮书敏: ""基于灰度加权及主元分析的图像人脸偏转校正"", 《科技与生活》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446849A (zh) * 2016-09-30 2017-02-22 防城港市港口区高创信息技术有限公司 一种疲劳驾驶检测方法
CN106539581A (zh) * 2016-12-07 2017-03-29 中国民用航空总局第二研究所 基于概率统计方法的管制员疲劳检测方法及系统
CN107358242A (zh) * 2017-07-11 2017-11-17 浙江宇视科技有限公司 目标区域颜色识别方法、装置及监控终端
CN107468206A (zh) * 2017-08-01 2017-12-15 成都大学 一种基于瞳孔直径的立体观看视疲劳预测方法
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN108133573A (zh) * 2017-12-26 2018-06-08 中国神华能源股份有限公司 疲劳驾驶报警系统
CN108814630A (zh) * 2018-07-11 2018-11-16 长安大学 一种驾驶适宜性检测装置及方法
WO2020034541A1 (zh) * 2018-08-14 2020-02-20 深圳壹账通智能科技有限公司 一种疲劳驾驶检测方法、可读存储介质、终端设备及装置
CN111291590A (zh) * 2018-12-06 2020-06-16 广州汽车集团股份有限公司 驾驶员疲劳检测方法、装置、计算机设备和存储介质
CN109934189A (zh) * 2019-03-19 2019-06-25 何世全 一种驾驶预警方法、系统及终端
CN110194174A (zh) * 2019-05-24 2019-09-03 江西理工大学 一种疲劳驾驶监控系统
CN110194174B (zh) * 2019-05-24 2021-02-12 江西理工大学 一种疲劳驾驶监控系统
JP7548914B2 (ja) 2019-09-06 2024-09-10 株式会社半導体エネルギー研究所 情報処理装置
CN111035096A (zh) * 2020-01-09 2020-04-21 郑州铁路职业技术学院 一种基于安全帽的工程施工人员疲劳检测系统
CN111122010A (zh) * 2020-01-09 2020-05-08 郑州铁路职业技术学院 一种基于安全帽的工程施工人员疲劳检测方法
CN113553900A (zh) * 2021-06-11 2021-10-26 同济大学 一种驾驶员疲劳驾驶检测方法、系统及计算机可读介质
CN113553900B (zh) * 2021-06-11 2023-06-27 同济大学 一种驾驶员疲劳驾驶检测方法、系统及计算机可读介质
CN114120296A (zh) * 2021-12-03 2022-03-01 西南交通大学 高速铁路调度员疲劳程度定量分级方法及装置

Also Published As

Publication number Publication date
CN105354985B (zh) 2018-01-12

Similar Documents

Publication Publication Date Title
CN105354985A (zh) 疲劳驾驶监控装置及方法
CN102163290B (zh) 基于时空关联信息的多视角视频监控中异常事件建模方法
WO2017190574A1 (zh) 一种基于聚合通道特征的快速行人检测方法
Batista A drowsiness and point of attention monitoring system for driver vigilance
CN103714660A (zh) 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
Ohn-Bar et al. In-vehicle hand activity recognition using integration of regions
CN102902986A (zh) 自动性别识别系统及方法
Liu et al. A practical driver fatigue detection algorithm based on eye state
CN104123549A (zh) 一种用于疲劳驾驶实时监测的眼睛定位方法
Møgelmose et al. Traffic sign detection and analysis: Recent studies and emerging trends
CN103729646B (zh) 一种眼睛图像有效性检测方法
Li et al. Smartphone‐based fatigue detection system using progressive locating method
Zhao et al. Deep convolutional neural network for drowsy student state detection
Galindo et al. Landmark based eye ratio estimation for driver fatigue detection
Lopar et al. An overview and evaluation of various face and eyes detection algorithms for driver fatigue monitoring systems
Sistla et al. Stacked ensemble classification based real-time driver drowsiness detection
Zhou et al. Hierarchical context-aware hand detection algorithm for naturalistic driving
Bhoyar et al. Implementation on visual analysis of eye state using image processing for driver fatigue detection
Li et al. A new method for detecting fatigue driving with camera based on OpenCV
CN101571912B (zh) 基于人类视觉模拟的计算机人脸定位方法
Huang et al. Design of fatigue driving behavior detection based on circle hough transform
Liu et al. Design and implementation of multimodal fatigue detection system combining eye and yawn information
Umut et al. Detection of driver sleepiness and warning the driver in real-time using image processing and machine learning techniques
Wang et al. Driving fatigue detection based on feature fusion of information entropy
Yangon et al. A novel real-time face tracking algorithm for detection of driver fatigue

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant