CN104881955A - 一种驾驶员疲劳驾驶检测方法及系统 - Google Patents

一种驾驶员疲劳驾驶检测方法及系统 Download PDF

Info

Publication number
CN104881955A
CN104881955A CN201510332305.7A CN201510332305A CN104881955A CN 104881955 A CN104881955 A CN 104881955A CN 201510332305 A CN201510332305 A CN 201510332305A CN 104881955 A CN104881955 A CN 104881955A
Authority
CN
China
Prior art keywords
driver
image
eye
eyes
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510332305.7A
Other languages
English (en)
Other versions
CN104881955B (zh
Inventor
万琳
胡卫军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201510332305.7A priority Critical patent/CN104881955B/zh
Publication of CN104881955A publication Critical patent/CN104881955A/zh
Application granted granted Critical
Publication of CN104881955B publication Critical patent/CN104881955B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种驾驶员疲劳驾驶检测方法及系统,属于图像处理与模式识别技术领域。本发明包括:采集驾驶员头部图像;定位驾驶员眼睛区域;对定位后的眼睛图像进行处理得到眼睛的轮廓;根据得到得眼睛的轮廓计算眼高,得到眼睛的开合度;根据比较眼睛的开合度与设定的阈值来判断驾驶员是否处于疲劳状态;若判断驾驶员处于疲劳状态,则发出警报提醒驾驶员。本发明能够在不同光照强度以及驾驶员戴墨镜的情况下对驾驶员是否疲劳驾驶进行检测,并且得到较为准确的检测结果,对驾驶员疲劳驾驶进行了有效的提醒与警告。

Description

一种驾驶员疲劳驾驶检测方法及系统
技术领域
本发明属于图像处理与模式识别技术领域,更具体地,涉及一种驾驶员疲劳驾驶检测方法及系统。
背景技术
疲劳驾驶已经对我国道路交通安全带来了巨大影响,如果能在疲劳产生的初期给驾驶员进行预警提示,就会大大减少交通事故的发生。现有的疲劳驾驶检测主要分为接触式和非接触式的方法。接触式的方法主要是检测驾驶员脑电、心电和肌电三个指标;非接触式的方法主要是通过安放的摄像头对驾驶员和车辆动作参数进行检测,包括驾驶员面部特征、车辆行驶路线、方向盘的转动等。接触式的方法由于其检测系统较大,不适合安放在驾驶室内,同时由于需要接触到驾驶员,对驾驶员有很大的干扰,限制了接触式检测方法的应用,故而非接触式的方法成为疲劳检测研究的主要方向。
非接触式检测包括检测头部姿态、基于PERCLOS(Percentage of EyelidClosure Time)标准的方法等方法。此类方法通过对人体的外在特征进行检测,可以得到较为直观的结果,避免采用接触式检测时所产生的问题。
其中,检测头部姿态根据疲劳时人的头部会经常向下倾斜来判定是否疲劳,但是此种方法判断太过单一,而且有些人在疲劳的时候头部姿态基本不变,因而该方法无法准确检测是否疲劳,影响判断的准确性。另外,虽然驾驶员在疲劳时,头部运动不够频繁,但是在一些较为空旷的道路上行驶时,驾驶员判断出汽车处于安全状态,不会受到周围的影响,就会更多的观察前方路面的情况,不一定会左顾右盼。因而头部运动不频繁并不能直接说明驾驶员处于疲劳状态,通过检测头部运动的方法来判断是否疲劳容易出现误判。
基于PERCLOS标准的方法通过判断眼睛的开合度来判断是否疲劳,该方法需要精确定位驾驶员的眼睛。但是在汽车行驶过程中,外界环境变化较大,当外界的光照强度不同,例如汽车可能从艳阳高照的情况下突然进入一个较暗的隧道,或者在夜晚、光线较弱、司机戴上墨镜等情况下进行检测时会影响检测效果,因而此方法对于各种环境下的适应性要求比较高。在没有相应处理的前提下,无法得到准确的检测结果。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供一种驾驶员疲劳驾驶检测方法及系统,能够在不同光照强度以及戴墨镜的情况下对疲劳驾驶进行检测,并且得到较为准确的检测结果,避免出现误判。
为实现上述目的,按照本发明的一个方面,提供一种驾驶员疲劳驾驶检测方法,包括以下步骤:
步骤1采集驾驶员行驶过程中的头部图像;
步骤2从所述头部图像中定位驾驶员的眼睛区域,判断驾驶员是否佩戴墨镜,并获得粗定位眼睛图像,其中,判断驾驶员是否佩戴墨镜的方法为先假定驾驶员未佩戴墨镜并得到眼睛区域的图像,将所述图像转化到HSV空间,选取V通道,并使用OTSU算法进行二值化,统计二值化后图像中黑色像素点的比例,如果超出设定阈值,则认为驾驶员佩戴墨镜;
步骤3根据不同光线情况和驾驶员是否佩戴墨镜对所述粗定位眼睛图像进行处理得到眼睛轮廓的图像;
步骤4根据所述眼睛轮廓的图像,通过重心位置的x坐标将眼睛目标分为左右两个部分,分别计算左右两个部分的重心,计算其连线与水平线的夹角,按照所述夹角旋转图像,将眼睛旋转至水平,再计算所述眼睛轮廓的上下边界得到眼高,根据所述眼高计算得到驾驶员行驶过程中眼睛的开合度;
步骤5判断所述眼睛的开合度是否大于设定的阈值,是则执行步骤6,否则执行步骤1;
步骤6判定驾驶员处于疲劳状态,发出警报提醒驾驶员。
按照本发明的另一方面,提供一种驾驶员疲劳驾驶检测系统,包括图像采集模块、主控模块以及警报模块,其中:
所述图像采集模块用于采集驾驶员行驶过程中的头部图像;
所述主控模块包括:
眼睛定位模块,用于对采集到的所述头部图像的眼睛部位进行粗定位得到眼睛图像;
眼部图像处理模块,用于对粗定位得到的所述眼睛图像进行处理后得到眼睛轮廓的图像;
眼高计算模块,用于根据所述眼睛轮廓的图像计算眼睛的高度,从而得到行驶过程中驾驶员的眼睛开合度;以及
疲劳状态判断模块:用于将所述驾驶员的眼睛开合度与设定阈值比较,判断驾驶员是否处于疲劳状态;以及
所述警报模块用于当所述疲劳状态判断模块判断驾驶员处于疲劳状态时发出警报。
总体而言,通过本发明所构思的以上技术方案与现有技术相比具有以下优点:
本发明的疲劳驾驶检测方法可以实现眼部状态的全天候实时监控,当光线较暗时可通过安装的红外发射装置进行补光,以及在驾驶员佩戴了墨镜的情况下都捕捉到驾驶员的眼睛图像数据,获得较为准确的检测结果。另外,本发明根据获取的眼睛图像的数据来判定驾驶员是否疲劳,不需要依赖外部的环境。通过计算驾驶员眼睛的开合度可以在很大程度上判断出驾驶员是否处于疲劳驾驶的状态,实现了有效的预警。
附图说明
图1为本发明驾驶员疲劳驾驶检测方法的流程图;
图2为本发明光敏电阻光线判断电路示意图;
图3为本发明眼部开合度示意图;
图4为本发明驾驶员疲劳驾驶检测系统的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
图1所示为本发明驾驶员疲劳驾驶检测方法的流程图,具体包括以下步骤:
步骤1采集驾驶员头部图像。
利用例如车载装置中的摄像头来采集驾驶员行驶过程中的头部图像。此外,在本发明实施例中,车载装置上还提供红外照明装置,在光照强度发生变化时,例如,光线较弱、夜晚、偏光等情况下会自动开启红外照明装置对人脸进行补光,这样即使光线很微弱的情况下也能很好的采集到人脸的图像数据。在驾驶员佩戴墨镜时,自动开启红外照明穿透墨镜,对墨镜遮挡的驾驶员眼部成像。
步骤2定位驾驶员眼睛区域,获得粗定位眼睛图像。
定位驾驶员眼睛是为了获得较为准确的眼睛图像数据。要定位眼睛,首先得检测到人脸,在人脸检测算法中AdaBoost算法结合Haar特征的方法表现出了非常高的准确性和高效性:使用同一个训练集训练一系列弱分类器,再通过弱分类器结合得到强分类器。AdaBoost算法将分类器组织成级联方式,能够快速淘汰掉明显不是人脸的检测窗口,具有较快的检测速度。
在本发明实施例中,使用人脸五官分布规律来进行驾驶员眼睛区域的粗定位,获得粗定位眼睛图像。记检测到的人脸区域左上角坐标为(xface,yface),眼睛区域的宽和高分别为wface和hface,依据统计学的经验,驾驶员粗定位眼睛区域可通过以下公式确定:
当驾驶员戴墨镜时:
xeye=xface+wface×13/14
yeye=yface+hface×1/6
weye=wface/3
heye=hface/3
当驾驶员未戴墨镜时:
xeye=xface+wface×7/12
yeye=yface+hface/4
weye=wface/4
heye=hface/4
其中,xface、yface、wface、hface分别表示人眼粗定位起始点的x,y坐标,以及眼睛区域的宽和高。
在本发明实施例中,判定驾驶员是否佩戴墨镜的方式为:先假定驾驶员未佩戴墨镜并得到眼睛区域的图像。将图像转化到HSV空间,选取V通道,并使用OTSU算法进行二值化。统计二值化后图像中黑色像素点的比例,如果超出某一设定阈值,则认为驾驶员佩戴墨镜。在本发明实施例中,该阈值可选取为0.5~0.8,此处优选为0.6。
步骤3对粗定位的眼睛图像进行处理得到眼睛的轮廓。此步骤中,系统将自适应不同的情况采取不同的操作。在本发明实施例中,使用光敏电阻判断光线情况,其电路如图2所示,其中电阻R1和R2分别为33kΩ和100kΩ,R3为一个45kΩ至145kΩ的光敏电阻。当光线比较暗时,光敏电阻R3的值比较大,三极管基极和发射极的电压Ube比较大,达到击穿电压,于是输出电压output等于0,即低电平;当光线比较充足时,光敏电阻R3的值比较小,三极管基极和发射极的电压Ube比较小,未达到击穿电压,因此输出电压output为一个高电平。根据输出电压output为高电平或者低电平就可以判断光线情况。若为白天情况则执行步骤(3-1),若为夜晚情况则执行步骤(3-2),若为驾驶员戴墨镜情况下则执行步骤(3-3),其中:
步骤(3-1)即白天情况下的处理包括以下子步骤:
(3-1-1)将步骤2得到的粗定位眼睛图像转化为灰度图像,并二值化。二值化阈值选取为图像灰度值的均值乘以一个系数,在本发明实施例中,该系数可选取为0.6~0.8,优选为0.75;
(3-1-2)依次将步骤(3-1-1)得到的二值图像第一行的各点作为种子点使用漫水填充算法,将黑色像素的点设置成白色;
(3-1-3)将黑色像素点的个数往水平方向投影,并判断波峰的个数,波峰的判定阈值如下:
Tpeak=avg+(m-avg)/3
其中,avg表示有效行的均值;m表示各行值的最大值。在本发明实施例中,将连续的大于Tpeak的各行定义为一个波峰。利用该公式可以得到一个波峰的起始行和终止行;
(3-1-4)如果步骤(3-1-3)处理的结果只有一个波峰,则将该波峰区域保留下来;如果步骤(3-1-3)处理的结果有两个波峰,则将第二个波峰区域保留下来;如果步骤(3-1-3)处理的结果有三个波峰,则将第三个波峰区域保留下来;如果步骤(3-1-3)处理的结果有四个波峰,则将第三个波峰区域保留下来。在本发明实施例中,保留波峰的方式为将除了由步骤(3-1-3)求得的波峰起始行和终止行之间区域外所有的行内的像素全部设置成白色。保留下的波峰区域即为分割出的眼睛目标。一般情况下最多只留有四个波峰,如果波峰数量大于四,则说明图像中存在大量噪点,该帧丢弃。保留下来的波峰区域即为眼睛的位置,保留下来的该区域内的像素即为眼睛目标,从而可以得到眼睛的轮廓图像。
步骤(3-2)即夜晚情况下的处理包括以下子步骤:
(3-2-1)因为夜晚使用红外灯补光,可能会造成眼部图像光线的不均匀。因此,首先灰度化步骤2得到的粗定位的眼睛图像,并使用Mask匀光算法经行处理。在Mask匀光算法得到背景图像的过程中,使用尺寸较大的高斯滤波器。在本发明实施例中,具体尺寸选择为眼部图像宽度的三分之一;
(3-2-2)使用OTSU算法对图像进行二值分割,并对分割的结果进行形态学闭运算处理;
(3-2-3)对步骤(3-2-2)处理的结果进行连通区域的分析,选取不触及图像边缘的面积最大的连通区域,即为眼睛轮廓的图像。
步骤(3-3)即驾驶员戴墨镜情况下的处理包括以下子步骤:
(3-3-1)灰度化步骤2得到的粗定位眼睛图像,并使用基于金字塔的均值漂移分割算法对图像进行去噪处理。在本发明实施例中,选择灰度值颜色半径为4、窗口半径为2、金字塔的层数为2、最大的漂移次数为6。均值漂移算法依次遍历图像中的每个像素,将其漂移到窗口的重心。重复迭代,直到达到最大漂移次数或者漂移向量比较小。先在金字塔的上层图像中进行均值漂移算法,并将结果投影到下一层图像中,以此来保持图像的轮廓信息。投影方法为,通过上层处理的结果还原得到下层尺寸大小图像,如果窗口内没有与中心点灰度值超过颜色半径的像素则设置掩码。设置结束后,只需对未设置掩码的像素进行均值漂移分割即可;
(3-3-2)使用Wallis滤波器拉大图像的对比度。Wallis滤波器中,选择目的均值为原图像的均值,目的方差可选择为超过原图像方差的一个值,选取92至113之间的值均能够得到比较好的效果,经过大量统计,这里优选为100;
(3-3-3)使用自适应阈值分割对步骤(3-3-2)得到的图像进行二值分割。自适应阈值分割中,选择邻域窗口半径为10,调整参数也为10;
(3-3-4)对步骤(3-3-2)处理的结果进行连通区域的分析,选取不触及图像边缘的面积最大的连通区域,即为眼睛轮廓的图像。
步骤4计算驾驶员眼睛的高度,得到驾驶员行驶过程中眼睛的开合度。
计算步骤3得到的眼睛目标的重心,再通过重心位置的x坐标将眼睛目标分为左右两个部分。分别计算左右两个部分的重心,计算其连线与水平线的夹角。按照该夹角旋转图像,将眼睛旋转至水平。再计算该轮廓的上下边界即可得到眼高。
图像中的黑色像素点即为得到的眼睛轮廓图像中的像素点,记其为点集C={p1(x1,y1),p2(x2,y2),…,pn(xn,yn)},则重心的计算公式如下所示:
x c = 1 n Σ 1 ≤ i ≤ n x i
y c = 1 n Σ 1 ≤ i ≤ n y i
其中,xc和yc分别表示计算出来的重心的横坐标和纵坐标。
在现有的PERCLOS标准中,计算每一帧图像中驾驶员眼睛的开合度,并计算一段时间内闭眼的比例,如果高于某一个阈值,就断定驾驶员疲劳。该方法在最终评判时,仅仅考虑了其睁闭信息,而丢弃了其开合度的具体数据。在本发明实例中,将PERCLOS标准稍作修改,计算一段时间内各帧图像中驾驶员的平均开合度,并通过该平均开合度判断驾驶员眼睛的睁闭状态,如果闭眼,则表示一段时间内,驾驶员眼睛的开合度比较小,驾驶员疲劳。否则,驾驶员处于一个安全状态。PERCLOS有三种标准:P70、P80、EM。其中P80被证明美国国家高速公路局证明最能反映驾驶员的疲劳程度。在本发明实例中,使用P80标准。P80中当眼睑改过眼睛的的面积超过80%时,判定驾驶员为闭眼。在图像中,眼睛的面积较难判断,而眼睛的高度却很容易取得。因此,在本发明实例中,使用眼高来计算眼睛的开合度。图3所示为本发明开合度示意图,每一帧图像中眼睛的开合度计算公式如下所示:
p = h H × 100 %
其中,表示h表示当前帧中驾驶员的眼睛高度。选取临近n帧的p值的平均值作为当前驾驶员的特征值,n取的值越小,疲劳的检测越敏感。n选取的值可以从1到30,本发明优选为10;H表示不疲劳时候的眼睛高度。在本发明实施例中,为了适应不同的驾驶员,在驾驶员刚开始驾车时,对H的值进行初始化:选取系统刚开始运行时的前50帧图像中的平均眼高作为H的值。在驾驶员刚开始开车时,系安全带等行为可能会造成驾驶员动作比较大,初始化数据不好。因此,初始化时,对数据进行判断,如果此50个值的方差较大,则重新初始化。
步骤5根据计算出的行驶过程中驾驶员的眼睛开合度判断驾驶员是否处于疲劳状态,是则执行步骤6,否则执行步骤1。
将PERCLOS的P80标准中的面积换化成眼高之后,阈值0.8相应变换成0.73。但是在实际的计算中,眼睛的高度计算有很多干扰,例如摄像头角度、睫毛长度等。因此该阈值需要进行微调,阈值在0.65至0.73之间均能反映驾驶员的疲劳状态,在本发明实施例中,将该阈值优选为0.682。
驾驶员的疲劳状态由以下公式给出:
state = 1 p n &GreaterEqual; 0.682 0 p n < 0.682
其中,1表示驾驶员处于安全状态;0表示驾驶员处于疲劳状态;pn表示临近的n帧图像中驾驶员的眼睛开合度的平均值。
步骤6当判定驾驶员处于疲劳状态时,则发出警报提醒驾驶员。
本发明的疲劳驾驶检测方法中,通过检测驾驶员行驶过程中眼睛的开合度来判断驾驶员是否处于疲劳状态,具有较高的准确性,对疲劳驾驶做出了有效的预警。
图3所示为本发明驾驶员疲劳驾驶检测系统1的结构框图,包括图像采集模块11、主控模块12以及警报模块17。其中主控模块12包括眼睛定位模块13、眼部图像处理模块14、眼高计算模块15以及疲劳状态判断模块16。其中图像采集模块11用于采集驾驶员的头部图像,图像采集模块11包括红外发射装置、感光器件及摄像头(图3中未示出)。其中红外发射装置用于为驾驶员的脸部提供红外照明,以使在光照不佳的情况下仍然能捕捉到驾驶员的头部图像数据;感光器件用于判断外界光线情况,并根据光线情况设定环境标识量,开启或者关闭红外等;摄像头用于采集驾驶员的头部图像。眼睛定位模块13用于对捕捉到的头部图像的眼睛部位进行粗定位。眼睛定位模块13包括人脸检测模块(图3中未示出),采用AdaBoost算法、Haar分类器检测人脸,定位到人脸后,判断驾驶员是否戴墨镜,根据经验值可以定位到人眼部位。眼部图像处理模块14用于根据感光器件设定的环境标识量选择不同处理方法,对定位到的眼睛图像进行匀光、图像二值化、阈值分割、去噪等一系列处理后得到仅有眼睛轮廓的图像。眼高计算模块15用于对眼睛开合高度的计算,从而得到行驶过程中驾驶员的眼睛开合度的变化情况,并将计算结果传递给疲劳状态判断模块16进行判断。当疲劳状态判断模块16判定驾驶员处于疲劳状态时,就将参数传给警报模块17,通过警报模块17的喇叭警告驾驶员处于疲劳驾驶状态。
采用本发明的疲劳驾驶检测系统,可对疲劳驾驶进行判别并通过车载的警示器对处于疲劳驾驶的驾驶员进行提醒,防止因疲劳驾驶而导致的交通事故的发生。
本发明提供的疲劳驾驶检测方法和系统,具有结构简单、成本低、检测结果准确可靠的优点。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种驾驶员疲劳驾驶检测方法,其特征在于,包括:
步骤1采集驾驶员行驶过程中的头部图像;
步骤2从所述头部图像中定位驾驶员的眼睛区域,判断驾驶员是否佩戴墨镜,并获得粗定位眼睛图像,其中,判断驾驶员是否佩戴墨镜的方法为先假定驾驶员未佩戴墨镜并得到眼睛区域的图像,将所述图像转化到HSV空间,选取V通道,并使用OTSU算法进行二值化,统计二值化后图像中黑色像素点的比例,如果超出设定阈值,则认为驾驶员佩戴墨镜;
步骤3根据不同光线情况和驾驶员是否佩戴墨镜对所述粗定位眼睛图像进行处理得到眼睛轮廓的图像;
步骤4根据所述眼睛轮廓的图像,通过重心位置的x坐标将眼睛目标分为左右两个部分,分别计算左右两个部分的重心,计算其连线与水平线的夹角,按照所述夹角旋转图像,将眼睛旋转至水平,再计算所述眼睛轮廓的上下边界得到眼高,根据所述眼高计算得到驾驶员行驶过程中眼睛的开合度;
步骤5判断所述眼睛的开合度是否大于设定的阈值,是则执行步骤6,否则执行步骤1;
步骤6判定驾驶员处于疲劳状态,发出警报提醒驾驶员。
2.如权利要求1所述方法,其特征在于,所述步骤1中,在光线较弱或驾驶员佩戴墨镜的情况下自动开启红外照明装置对驾驶员脸部进行补光以便于采集所述头部图像。
3.如权利要求1所述的方法,其特征在于,所述步骤2中,定位驾驶员的眼睛区域的方法为使用AdaBoost算法结合Haar特征的方法检测到人脸区域,并根据检测到的所述人脸区域进行驾驶员眼睛区域的粗定位。
4.如权利要求1-3中任一项所述的方法,其特征在于,所述步骤3中,若为白天情况则执行子步骤(3-1),若为夜晚情况则执行子步骤(3-2),若为驾驶员戴墨镜情况则执行子步骤(3-3),其中:
所述子步骤(3-1)包括以下子步骤:
(3-1-1)将所述步骤2得到的粗定位眼睛图像转化为灰度图像,并二值化;
(3-1-2)依次将所述步骤(3-1-1)得到的二值图像第一行的各点作为种子点使用漫水填充算法,将黑色像素的点设置成白色;
(3-1-3)将黑色像素点的个数往水平方向投影,并判断波峰的个数,波峰的判定阈值如下:
Tpeak=avg+(m-avg)/3
其中,avg表示有效行的均值;m表示各行值的最大值;
(3-1-4)如果所述步骤(3-1-3)处理的结果只有一个波峰,则将该波峰区域保留下来;如果有两个波峰,则将第二个波峰区域保留下来;如果有三个波峰,则将第三个波峰区域保留下来;如果有四个波峰,则将第三个波峰区域保留下来;如果波峰数量大于四,则说明图像中存在大量噪点,该帧丢弃,保留下来的波峰区域内的像素即为眼睛目标,从而得到眼睛轮廓的图像;
所述子步骤(3-2)包括以下子步骤:
(3-2-1)灰度化所述步骤2得到的粗定位眼睛图像,并使用Mask匀光算法进行处理;
(3-2-2)使用OTSU算法对经所述步骤(3-2-1)处理的图像进行二值分割,并对分割的结果进行形态学闭运算处理;
(3-2-3)对所述步骤(3-2-2)处理的结果进行连通区域的分析,选取不触及图像边缘的面积最大的连通区域,即为眼睛轮廓的图像;
所述子步骤(3-3)包括以下子步骤:
(3-3-1)灰度化所述步骤2得到的粗定位眼睛图像,并使用基于金字塔的均值漂移分割算法进行去噪处理;
(3-3-2)使用Wallis滤波器拉大经所述步骤(3-3-1)去噪的图像的对比度;
(3-3-3)使用自适应阈值分割对所述步骤(3-3-2)得到的图像进行二值分割;
(3-3-4)对所述步骤(3-3-3)处理的结果进行连通区域的分析,选取不触及图像边缘的面积最大的连通区域,即为眼睛轮廓的图像。
5.如权利要求1-3中任一项所述的方法,其特征在于,所述步骤4中,所述重心的计算公式如下所示:
x c = 1 n &Sigma; 1 &le; i &le; n x i
y c = 1 n &Sigma; 1 &le; i &le; n y i
其中,xc和yc分别表示计算出来的所述重心的横坐标和纵坐标;点集C={p1(x1,y1),p2(x2,y2),…,pn(xn,yn)}为得到的所述眼睛轮廓的图像中的黑色像素点。
6.如权利要求1-3中任一项所述的方法,其特征在于,所述步骤4中,每一帧图像中所述眼睛的开合度计算公式如下所示:
p = h H &times; 100 %
其中,h表示当前帧中驾驶员的眼睛高度;H表示不疲劳时候的眼睛高度。
7.如权利要求6所述的方法,其特征在于,在驾驶员刚开始驾车时,选取系统刚开始运行时的前50帧图像中的平均眼睛高度作为所述不疲劳时候的眼睛高度H的值,如果此50个值的方差较大,则重新选取50帧图像计算所述不疲劳时候的眼睛高度H的值。
8.一种驾驶员疲劳驾驶检测系统,其特征在于,包括图像采集模块、主控模块以及警报模块,其中:
所述图像采集模块用于采集驾驶员行驶过程中的头部图像;
所述主控模块包括:
眼睛定位模块,用于对采集到的所述头部图像的眼睛部位进行粗定位得到眼睛图像;
眼部图像处理模块,用于对粗定位得到的所述眼睛图像进行处理后得到眼睛轮廓的图像;
眼高计算模块,用于根据所述眼睛轮廓的图像计算眼睛的高度,从而得到行驶过程中驾驶员的眼睛开合度;以及
疲劳状态判断模块:用于将所述驾驶员的眼睛开合度与设定阈值比较,判断驾驶员是否处于疲劳状态;以及
所述警报模块用于当所述疲劳状态判断模块判断驾驶员处于疲劳状态时发出警报。
9.如权利要求8所述的驾驶员疲劳驾驶检测系统,其特征在于,所述图像采集模块包括红外发射装置,用于在光线较弱或驾驶员佩戴墨镜的情况下对驾驶员脸部进行补光以便于采集所述头部图像,还包括感光器件,用于判断外界光线情况,并根据光线情况开启或者关闭所述红外发射装置。
10.如权利要求9所述的驾驶员疲劳驾驶检测系统,其特征在于,所述感光器件根据光线情况设定环境标识量,所述眼部图像处理模块根据所述环境标识量选择不同处理方法对粗定位的所述眼睛图像进行处理得到所述眼睛轮廓的图像。
CN201510332305.7A 2015-06-16 2015-06-16 一种驾驶员疲劳驾驶检测方法及系统 Expired - Fee Related CN104881955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510332305.7A CN104881955B (zh) 2015-06-16 2015-06-16 一种驾驶员疲劳驾驶检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510332305.7A CN104881955B (zh) 2015-06-16 2015-06-16 一种驾驶员疲劳驾驶检测方法及系统

Publications (2)

Publication Number Publication Date
CN104881955A true CN104881955A (zh) 2015-09-02
CN104881955B CN104881955B (zh) 2017-07-18

Family

ID=53949432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510332305.7A Expired - Fee Related CN104881955B (zh) 2015-06-16 2015-06-16 一种驾驶员疲劳驾驶检测方法及系统

Country Status (1)

Country Link
CN (1) CN104881955B (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105788028A (zh) * 2016-03-21 2016-07-20 上海仰笑信息科技有限公司 具有疲劳驾驶预警功能的行车记录仪
CN106128032A (zh) * 2016-07-05 2016-11-16 北京理工大学珠海学院 一种疲劳状态监测及预警方法及其系统
CN106203338A (zh) * 2016-07-11 2016-12-07 南京航空航天大学 基于网格区域分割和阈值自适应的人眼状态快速识别方法
CN106600903A (zh) * 2015-10-20 2017-04-26 阿里巴巴集团控股有限公司 一种基于图像识别的预警方法及装置
CN106781286A (zh) * 2017-02-10 2017-05-31 开易(深圳)科技有限公司 一种疲劳驾驶检测方法及系统
CN106909879A (zh) * 2017-01-11 2017-06-30 开易(北京)科技有限公司 一种疲劳驾驶检测方法及系统
CN107247934A (zh) * 2017-05-27 2017-10-13 湖北天业云商网络科技有限公司 一种基于快速特征点定位的全天候哈欠检测方法及系统
CN107292251A (zh) * 2017-06-09 2017-10-24 湖北天业云商网络科技有限公司 一种基于人眼状态的驾驶员疲劳检测方法及系统
CN107918215A (zh) * 2017-11-30 2018-04-17 西安科锐盛创新科技有限公司 防止疲劳驾驶的眼镜
CN107977607A (zh) * 2017-11-20 2018-05-01 安徽大学 一种基于机器视觉的疲劳驾驶监测方法
CN108099914A (zh) * 2016-11-25 2018-06-01 现代自动车株式会社 用于控制车辆的停止的装置和方法
CN108171201A (zh) * 2018-01-17 2018-06-15 山东大学 基于灰度形态学的睫毛快速检测方法
CN108229245A (zh) * 2016-12-14 2018-06-29 贵港市瑞成科技有限公司 基于面部视频特征的疲劳驾驶检测方法
CN108304764A (zh) * 2017-04-24 2018-07-20 中国民用航空局民用航空医学中心 模拟飞行驾驶过程中疲劳状态检测装置及检测方法
CN108919517A (zh) * 2018-09-25 2018-11-30 吉林大学 一种汽车驾驶用防疲劳眼镜及疲劳状态识别方法
CN109070882A (zh) * 2016-11-28 2018-12-21 忠北国立大学产学合作基金会 利用摄像头影像的行驶信息提供方法及装置
TWI663581B (zh) * 2018-06-04 2019-06-21 亞東技術學院 車輛駕駛員防瞌睡整合系統與車輛駕駛員防瞌睡方法
CN110194174A (zh) * 2019-05-24 2019-09-03 江西理工大学 一种疲劳驾驶监控系统
CN110276231A (zh) * 2018-03-15 2019-09-24 厦门歌乐电子企业有限公司 一种眼睛开合度的检测装置、设备及方法
CN110363719A (zh) * 2019-07-01 2019-10-22 湖南开启时代智能科技有限公司 一种细胞分层图像处理方法及系统
CN111179880A (zh) * 2019-12-26 2020-05-19 恒大新能源汽车科技(广东)有限公司 一种显示屏幕的亮度调节方法、装置、电子设备及系统
CN111291590A (zh) * 2018-12-06 2020-06-16 广州汽车集团股份有限公司 驾驶员疲劳检测方法、装置、计算机设备和存储介质
WO2020148697A3 (en) * 2019-01-17 2020-10-08 Jungo Connectivity Ltd. Method and system for monitoring a person using infrared and visible light
CN111899471A (zh) * 2019-05-05 2020-11-06 东莞潜星电子科技有限公司 一种驾驶员疲劳监测系统
WO2020237941A1 (zh) * 2019-05-29 2020-12-03 初速度(苏州)科技有限公司 一种基于眼睑特征信息的人员状态检测方法及装置
CN112396805A (zh) * 2019-07-31 2021-02-23 Oppo广东移动通信有限公司 疲劳驾驶提醒的方法、装置、终端及存储介质
CN113095108A (zh) * 2019-12-23 2021-07-09 中移物联网有限公司 一种疲劳驾驶检测方法及装置
CN114627450A (zh) * 2020-12-10 2022-06-14 北京巴塔科技有限公司 疲劳状态检测装置及疲劳检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4203098A (en) * 1978-09-18 1980-05-13 Muncheryan Hrand M Device for preventing dozing while driving a car
CN1495658A (zh) * 2002-06-30 2004-05-12 贺贵明 驾驶员面像识别报警装置与方法
CN101551934A (zh) * 2009-05-15 2009-10-07 东北大学 驾驶员疲劳驾驶的监测装置及监测方法
CN102324166A (zh) * 2011-09-19 2012-01-18 深圳市汉华安道科技有限责任公司 一种疲劳驾驶检测方法及装置
CN102393989A (zh) * 2011-07-28 2012-03-28 山西智济电子科技有限公司 司机工作状态实时监测系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4203098A (en) * 1978-09-18 1980-05-13 Muncheryan Hrand M Device for preventing dozing while driving a car
CN1495658A (zh) * 2002-06-30 2004-05-12 贺贵明 驾驶员面像识别报警装置与方法
CN101551934A (zh) * 2009-05-15 2009-10-07 东北大学 驾驶员疲劳驾驶的监测装置及监测方法
CN102393989A (zh) * 2011-07-28 2012-03-28 山西智济电子科技有限公司 司机工作状态实时监测系统
CN102324166A (zh) * 2011-09-19 2012-01-18 深圳市汉华安道科技有限责任公司 一种疲劳驾驶检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐杰: "多特征疲劳检测系统的设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
蒋友毅: "基于多特征的疲劳驾驶检测系统的设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600903A (zh) * 2015-10-20 2017-04-26 阿里巴巴集团控股有限公司 一种基于图像识别的预警方法及装置
WO2017067399A1 (zh) * 2015-10-20 2017-04-27 阿里巴巴集团控股有限公司 一种基于图像识别的预警方法及装置
CN105788028A (zh) * 2016-03-21 2016-07-20 上海仰笑信息科技有限公司 具有疲劳驾驶预警功能的行车记录仪
CN106128032A (zh) * 2016-07-05 2016-11-16 北京理工大学珠海学院 一种疲劳状态监测及预警方法及其系统
CN106203338B (zh) * 2016-07-11 2019-08-02 南京航空航天大学 基于网格区域分割和阈值自适应的人眼状态快速识别方法
CN106203338A (zh) * 2016-07-11 2016-12-07 南京航空航天大学 基于网格区域分割和阈值自适应的人眼状态快速识别方法
CN108099914A (zh) * 2016-11-25 2018-06-01 现代自动车株式会社 用于控制车辆的停止的装置和方法
CN109070882B (zh) * 2016-11-28 2019-09-20 忠北国立大学产学合作基金会 利用摄像头影像的行驶信息提供方法及装置
CN109070882A (zh) * 2016-11-28 2018-12-21 忠北国立大学产学合作基金会 利用摄像头影像的行驶信息提供方法及装置
CN108229245A (zh) * 2016-12-14 2018-06-29 贵港市瑞成科技有限公司 基于面部视频特征的疲劳驾驶检测方法
CN106909879A (zh) * 2017-01-11 2017-06-30 开易(北京)科技有限公司 一种疲劳驾驶检测方法及系统
CN106781286A (zh) * 2017-02-10 2017-05-31 开易(深圳)科技有限公司 一种疲劳驾驶检测方法及系统
CN108304764B (zh) * 2017-04-24 2021-12-24 中国民用航空局民用航空医学中心 模拟飞行驾驶过程中疲劳状态检测装置及检测方法
CN108304764A (zh) * 2017-04-24 2018-07-20 中国民用航空局民用航空医学中心 模拟飞行驾驶过程中疲劳状态检测装置及检测方法
CN107247934A (zh) * 2017-05-27 2017-10-13 湖北天业云商网络科技有限公司 一种基于快速特征点定位的全天候哈欠检测方法及系统
CN107292251B (zh) * 2017-06-09 2020-08-28 湖北天业云商网络科技有限公司 一种基于人眼状态的驾驶员疲劳检测方法及系统
CN107292251A (zh) * 2017-06-09 2017-10-24 湖北天业云商网络科技有限公司 一种基于人眼状态的驾驶员疲劳检测方法及系统
CN107977607A (zh) * 2017-11-20 2018-05-01 安徽大学 一种基于机器视觉的疲劳驾驶监测方法
CN107918215A (zh) * 2017-11-30 2018-04-17 西安科锐盛创新科技有限公司 防止疲劳驾驶的眼镜
CN108171201A (zh) * 2018-01-17 2018-06-15 山东大学 基于灰度形态学的睫毛快速检测方法
CN108171201B (zh) * 2018-01-17 2021-11-09 山东大学 基于灰度形态学的睫毛快速检测方法
CN110276231A (zh) * 2018-03-15 2019-09-24 厦门歌乐电子企业有限公司 一种眼睛开合度的检测装置、设备及方法
CN110276231B (zh) * 2018-03-15 2023-11-28 厦门歌乐电子企业有限公司 一种眼睛开合度的检测装置、设备及方法
TWI663581B (zh) * 2018-06-04 2019-06-21 亞東技術學院 車輛駕駛員防瞌睡整合系統與車輛駕駛員防瞌睡方法
CN108919517A (zh) * 2018-09-25 2018-11-30 吉林大学 一种汽车驾驶用防疲劳眼镜及疲劳状态识别方法
CN111291590A (zh) * 2018-12-06 2020-06-16 广州汽车集团股份有限公司 驾驶员疲劳检测方法、装置、计算机设备和存储介质
WO2020148697A3 (en) * 2019-01-17 2020-10-08 Jungo Connectivity Ltd. Method and system for monitoring a person using infrared and visible light
CN113316805A (zh) * 2019-01-17 2021-08-27 俊戈连接公司 使用红外线和可见光监视人的方法和系统
CN111899471A (zh) * 2019-05-05 2020-11-06 东莞潜星电子科技有限公司 一种驾驶员疲劳监测系统
CN110194174A (zh) * 2019-05-24 2019-09-03 江西理工大学 一种疲劳驾驶监控系统
WO2020237941A1 (zh) * 2019-05-29 2020-12-03 初速度(苏州)科技有限公司 一种基于眼睑特征信息的人员状态检测方法及装置
CN110363719A (zh) * 2019-07-01 2019-10-22 湖南开启时代智能科技有限公司 一种细胞分层图像处理方法及系统
CN110363719B (zh) * 2019-07-01 2021-07-27 湖南开启时代智能科技有限公司 一种细胞分层图像处理方法及系统
CN112396805A (zh) * 2019-07-31 2021-02-23 Oppo广东移动通信有限公司 疲劳驾驶提醒的方法、装置、终端及存储介质
CN112396805B (zh) * 2019-07-31 2022-10-25 Oppo广东移动通信有限公司 疲劳驾驶提醒的方法、装置、终端及存储介质
CN113095108B (zh) * 2019-12-23 2023-11-10 中移物联网有限公司 一种疲劳驾驶检测方法及装置
CN113095108A (zh) * 2019-12-23 2021-07-09 中移物联网有限公司 一种疲劳驾驶检测方法及装置
CN111179880A (zh) * 2019-12-26 2020-05-19 恒大新能源汽车科技(广东)有限公司 一种显示屏幕的亮度调节方法、装置、电子设备及系统
CN114627450A (zh) * 2020-12-10 2022-06-14 北京巴塔科技有限公司 疲劳状态检测装置及疲劳检测方法

Also Published As

Publication number Publication date
CN104881955B (zh) 2017-07-18

Similar Documents

Publication Publication Date Title
CN104881955B (zh) 一种驾驶员疲劳驾驶检测方法及系统
Kurihata et al. Rainy weather recognition from in-vehicle camera images for driver assistance
Sun et al. A real-time precrash vehicle detection system
CN104129389B (zh) 一种有效判别车辆行驶状态的方法及其装置
CN106652465A (zh) 一种道路异常驾驶行为的识别方法及系统
US20030095080A1 (en) Method and system for improving car safety using image-enhancement
CN106022243B (zh) 一种基于图像处理的机动车道车辆逆行识别方法
CN103886567B (zh) 图像内周期性噪声修补方法
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN104657735A (zh) 车道线检测方法、系统、车道偏离预警方法及系统
Wang et al. A vision-based road edge detection algorithm
CN104097565B (zh) 一种汽车远近光灯控制方法和装置
CN104881661B (zh) 基于结构相似度的车辆检测方法
CN105286802A (zh) 基于视频信息的驾驶员疲劳检测方法
CN104915642B (zh) 前方车辆测距方法及装置
Siogkas et al. Random-walker monocular road detection in adverse conditions using automated spatiotemporal seed selection
CN106096512A (zh) 利用深度摄像头对车辆或行人进行识别的检测装置及方法
EP2741234B1 (en) Object localization using vertical symmetry
CN108256378A (zh) 基于眼球动作识别的驾驶员疲劳检测方法
CN106650635A (zh) 一种驾驶员后视镜查看行为检测方法及系统
CN111079675A (zh) 基于目标检测与目标跟踪的行驶行为分析方法
Cheng et al. A vehicle detection approach based on multi-features fusion in the fisheye images
CN105718904A (zh) 基于组合特征与车载摄像头的盲人检测与识别方法与系统
Vishwanathan et al. Traffic sign recognition in autonomous vehicles using edge detection
CN108256397A (zh) 基于投影积分的虹膜区域定位方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170718

Termination date: 20190616