CN102254151A - 一种基于面部视频分析的驾驶人疲劳检测方法 - Google Patents

一种基于面部视频分析的驾驶人疲劳检测方法 Download PDF

Info

Publication number
CN102254151A
CN102254151A CN 201110162468 CN201110162468A CN102254151A CN 102254151 A CN102254151 A CN 102254151A CN 201110162468 CN201110162468 CN 201110162468 CN 201110162468 A CN201110162468 A CN 201110162468A CN 102254151 A CN102254151 A CN 102254151A
Authority
CN
China
Prior art keywords
face
point
image
people
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201110162468
Other languages
English (en)
Other versions
CN102254151B (zh
Inventor
成波
王珂
李家文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN 201110162468 priority Critical patent/CN102254151B/zh
Publication of CN102254151A publication Critical patent/CN102254151A/zh
Application granted granted Critical
Publication of CN102254151B publication Critical patent/CN102254151B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于面部视频分析的驾驶人疲劳检测方法,属于汽车主动安全和模式识别领域。该方法包括待检测人脸图像中进行人脸检测得到眼睛、鼻子、嘴巴局部器官的初步定位;并进一步得到精确定位的人脸特征点;最终以多帧待测人脸特征点的精确定位结果为基础,对面部运动特征进行量化描述,根据面部运动统计指标得到待测人疲劳检测结果。本发明具有很高的可靠性。本发明对于硬件没有特殊的要求,而且不涉及复杂运算,实时性好,可以满足实际中的实时应用。本发明在佩戴眼镜、人脸角度、非均匀光照等方面,具有较好的鲁棒性。可以适用于各种类型的车辆,提醒驾驶员处于疲劳状态,避免交通事故的发生。

Description

一种基于面部视频分析的驾驶人疲劳检测方法
技术领域
本发明属于汽车主动安全和模式识别领域,特别涉及一种基于面部视频分析对驾驶人疲劳状态进行检测的方法。
背景技术
疲劳驾驶被广泛认为是导致道路交通事故的重要原因之一。统计数据表明,疲劳驾驶造成的人身伤害以及直接财产损失所占的比例均高于疲劳驾驶事故本身的比例,此外相当比例的驾驶人都曾有过疲劳驾驶的经历。相关研究表明,开发高性能的驾驶人疲劳状态监测系统,通过对驾驶人疲劳状态进行实时监测,并及时向驾驶人提示预警信息,可以大幅减少因疲劳驾驶引发的交通事故。
已有的面部表情分析的疲劳检测方法,是通过捕捉驾驶员的面部表情特征,包括眼睛开合状态、瞳孔运动状态、嘴巴的张合程度、复杂表情变化等推测驾驶员的疲劳状态,其中闭眼时间百分比、最长闭眼时间等都被认为是能够反映驾驶人疲劳状态的有效指标。美国Attention Technologies公司推出的驾驶人疲劳检测装置,通过红外摄像头采集驾驶人的眼部信息,采用闭眼时间百分比作为报警的指标。
基于驾驶人面部特征的指标能够在一些较理想条件下达到较高的精度,而且由于其非接触测量的优势,不受客观条件影响,正受到越来越多研究者的重视。但是这类方法的鲁棒性目前还不足以使其应用于足够复杂的实际驾驶场合,比如在变化的光照条件下、驾驶员处于非正常姿势、不同角度、不同表情、佩戴眼镜或墨镜时,此类方法就可能无法准确捕捉到相应的眼睛或其它局部特征而失效。
发明内容
本发明的目的是为克服已有技术的不足之处,提出一种基于面部视频分析的驾驶员疲劳检测方法,通过对面部特征点进行定位和跟踪,并对眼睛和嘴巴等器官的运动特征进行统计量化,在此基础上实现疲劳检测,提醒驾驶员处于疲劳状态,避免交通事故的发生。
为实现上述目的,基于面部视频分析对驾驶员的疲劳状态进行检测的方法,包括如下步骤:1)人脸检测;2)人脸特征点定位;3)人脸特征点跟踪;4)疲劳检测。
本发明采用AdaBoost(自适应提升)方法进行人脸检测,利用快速的特征计算方法,加快了检测速度。采用ASM方法进行面部特征点的定位,采用形状信息和局部表观特征相结合的方法,对眼睛、嘴巴等面部特征点进行由粗到精的准确定位。根据跟踪结果的置信度,建立人脸特征点的跟踪策略,决定检测和跟踪的切换。最终利用眼睛和嘴巴的运动特征,对面部运动特征进行量化描述,根据优化后的时间窗长度,计算面部运动统计指标进行疲劳检测。
本发明的技术特点及有益效果;
本发明通过对面部特征点进行定位和跟踪,并对眼睛和嘴巴等器官的运动特征进行统计量化,在此基础上实现疲劳检测。本发明采用AdaBoost方法进行人脸检测,利用快速的特征计算方法,加快了检测速度。在面部特征点定位的核心模块中,本发明利用ASM方法进行面部特征点的定位,采用形状信息和局部表观特征相结合的方法,对眼睛、嘴巴等面部特征点进行由粗到精的准确定位。根据跟踪结果的置信度,建立人脸特征跟踪的跟踪策略,决定检测模块和跟踪模块的切换。最终利用眼睛和嘴巴的运动特征,对面部运动特征进行量化描述,根据优化后的时间窗长度,计算面部运动统计指标进行疲劳检测。
本发明的方法具有很高的可靠性。本发明对于硬件没有特殊的要求,而且不涉及复杂运算,实时性好,可以满足实际中的实时应用。本发明在佩戴眼镜、人脸角度、非均匀光照等方面,具有较好的鲁棒性。可以适用于各种类型的车辆,提醒驾驶员处于疲劳状态,避免交通事故的发生。
附图说明
图1是本发明方法的流程框图。
图2是本发明的面部器官初步定位示意图。
图3是本发明的面部定位算法中面部特征点的定义。
具体实施方式
本发明提出一种一种基于面部视频分析的驾驶人疲劳检测方法结合附图及实施例详细说明如下:
本发明方法通过自动检测、跟踪眼睛和嘴巴等面部器官的运动特性,并统计一定时间内的面部运动指标来进行最终的疲劳检测。具体步骤如图1所示,包括:
1)采用AdaBoost算法,在当前待检测人脸图像中进行人脸检测,找到人脸位置,并进一步对眼睛、鼻子、嘴巴局部器官进行初步定位;
2)以该人脸器官初步定位的结果为基础,进行人脸特征点定位,得到精确定位的人脸特征点;
3)以当前待测人脸特征点定位的结果为基础,在下一帧图像上进行特征点跟踪,得到下一帧图像的待测人脸特征点精确定位的结果;
4)最终以多帧待测人脸特征点的精确定位结果为基础,对面部运动特征进行量化描述,根据面部运动统计指标得到待测人疲劳检测结果。
上述步骤1)采用AdaBoost算法,在当前人脸图像中进行人脸检测,找到人脸位置,并进一步对眼睛、鼻子、嘴巴局部器官进行初步定位;具体包括以下步骤:
11)计算图像特征:建立有代表性的训练样本库,获取大量人脸和非脸图像并进行尺寸归一化,采用Haar-like小波特征描述待检测目标,利用积分图进行Haar-like小波特征的快速计算,得到该图像的所有Haar-like小波特征;
12)利用所述小波特征的快速计算得到的图像特征训练强分类器:用基于AdaBoost的学习算法从一个大的Haar-like小波集(弱学习器)中选择特征,然后将弱学习器组合成强分类器(可以达到高效分类。特征过多会导致检测实时性的下降,例如,最终的系统训练结果共得到200个特征,分为10层,设定每一层的检测率约为99%,误检率为40%,这样最终检测器在训练集上的的检测率为0.9910≈0.90,误检率为0.410≈10-4);
13)使用瀑布模型(Cascade)的分层结构在待测人脸图像中完成人脸检测;每层由若干强分类器组成(可以快速排除掉背景区域而把更多的计算量集中于可能为目标的区域),经过Haar-like特征的计算,用强分类器中具有最大似然比的那个特征点作为最终人脸的初步定位;
14)人脸的初步定位(即找到人脸位置)之后,采用与人脸检测类似的方法完成对眼睛、嘴巴、鼻子等局部器官的初步定位,如图2所示,图中,大圆圈内为人脸位置,大圆圈内各小方框、圆框内为眼睛、鼻子、嘴巴位置;即在人脸范围内运行眼睛、鼻子、嘴巴局部器官的检测器),获取多幅(1000幅以上)人脸局部器官图像作为训练样本,从局部器官图像中获取相应的HARR特征,还可通过瀑布模型来加快器官检测速度,得到眼睛、鼻子、嘴巴局部器官的初步定位;
上述步骤2)以该人脸器官初步定位的结果为基础,进行人脸特征点定位,得到精确定位的人脸特征点;具体包括以下步骤:
21)对眼睛、鼻子、嘴巴进行初步定位后,采用主动形状模型(ASM)对人脸特征点(特征点是指面部那些包含丰富轮廓信息的点)进行精确定位(只要在人脸训练图像中包含足够多的人脸变化情况,就可以训练出具有足够表达能力的人脸模型,而且针对佩带眼镜、面部角度变化、非均匀光照等方面,具有较好的鲁棒性);
22)建立训练样本数据:在每幅样本图像(用于训练的图象)上标定出(可用手工完成)N个轮廓点(即作为特征点)建立训练样本数据;本发明选择的轮廓点标记在脸的外部轮廓和器官的边缘(如图3中的黑点)。每副训练图像的人脸形状可用一套特征点坐标来表示:xj=(x1,y1,x2,y2,.....xN,yN),其中(xi,yi)是第j副图像中第i个特征点的坐标,N为特征点个数,每幅图像代表一个形状向量。获取每一个特征点(轮廓点)附近的特征信息(特征点附近的灰度、纹理信息),用这些特征信息作为进行匹配的主要依据;
23)基于训练样本数据,建立样本图像的形状模型:对样本图像的形状向量归一化(由于各个样本图像拍摄条件、分辨率的差异,得到形状向量的坐标具有不同的比例尺寸,因此要归一化);通过平移、旋转、缩放等一系列图像变换,使所有样本图像在同一坐标系中具有一致性的表示;将所有样本图像中抽取的形状向量连接起来构成训练数据,经过主成份分析(PCA),对训练数据去相关和降维;此时任意的人脸形状向量X可以表示成一个平均形状向量与t个形状向量p的线性组合
Figure BDA0000068833970000041
其中
Figure BDA0000068833970000042
是平均形状,b是形状参数向量,控制前t个模型的系数,不同的b对应不同的形状,p是特征向量组成的形状矩阵,表示导致人脸变化的不同因素,通过上式可以求得任意形状X;
24)建立形状模型之后,建立局部表观模型:(局部表观模型用来表示每个特征点周围的灰度表观结构,该模型在最终的搜索中用来在图像中发现人脸连特征点)在每幅图像的每个特征点沿着轮廓法线方向抽取若干像素作为灰度特征,建立相关的局部表观模型;采用灰度平均值和协方差作为该点的匹配特征,对每个特征点作同样的采样分析可得所有特征点的统计特征,这些统计信息呈高斯分布,对特征点i的平均局部表观模型
Figure BDA0000068833970000043
通过对所有图像的模型求和并平均得到
Figure BDA0000068833970000044
25)利用建好的形状模型和局部表观模型进行特征点匹配:在每个特征点的可能搜索位置建立局部表观模型,并采用马氏距离作为匹配函数去比较在当前点计算得到的局部表观模型gi和对应形状模型上的点的平均局部表观模型的相似程度;距离越小,对应点的局部表观模型越相似,相似程度越大,对应的特征点被移到局部表观模型最为相似的位置去;在新的迭代开始前,不断调整人脸姿势和形状的参数去匹配新的位置点;然后ASM利用局部表观特征进行迭代,在每步迭代中通过调整形状参数向量b改变当前模型的位置和形状,完成图像与模型的匹配;搜索步长取决于每次迭代特征点所允许移动的距离;当距离不再变小时(即相似程度不再变大),迭代完成,人脸ASM模型就收敛在新的位置上;
上述步骤3)以当前人脸特征点定位的结果为基础,在下一帧图像上进行特征点跟踪,得到下一帧图像的待测人脸特征点精确定位的结果;;具体包括以下步骤:
31)在当前帧进行人脸特征点定位后,在下一帧对人脸特征点进行跟踪(由于本发明是应用在驾驶室环境中的,所以两帧之间的人脸变化不会很大)。用当前帧的脸特征点位置作为迭代的初始位置,继续运行ASM算法搜索下一帧的特征点位置,于是人脸特征点位置就可以在图像序列中一帧帧地通过跟踪得到;
32)(在特征点跟踪过程中,随着人脸角度、表情、光照的不断变化,特征点位置的误差会逐步累积、增大,最终导致无法准确定位人脸特征点位置。因此)在跟踪过程中当误差累积到一定程度的时候,截断跟踪误差,进行新的检测,对人脸特征进行新的初始定位,使人脸特征点跟踪从检测到的新的准确的位置开始,继续进行特征点的定位和跟踪;
决定人脸检测和特征点跟踪切换时机;用特征点跟踪的置信度来量化跟踪累积误差;该置信度由ASM算法中所有特征点迭代收敛时的误差和来定义;如果置信度高于某个确定的值(如20),即为跟踪准确,则继续跟踪;如果置信度低于该值,即为跟踪失误,则转为检测阶段,在新的位置上继续跟踪,以便截断跟踪过程中的累积误差。
上述步骤4)最终以多帧待测人脸特征点的精确定位结果为基础,对面部运动特征进行量化描述,根据面部运动统计指标得到疲劳检测结果;具体包括以下步骤:
41)疲劳指标的定义:在得到每幅图像中的面部特征点位置之后,对相应的疲劳特征进行量化描述;本发明采用眼睛和嘴巴的运动特征来描述疲劳,描述眼睛特征的疲劳指标包括单位时间眼睛闭合比例(PERCLOS)、最长闭眼时间(MCD)、眨眼频率(BR)、平均睁眼程度(AOL)等,比如PERCLOS为80%,MCD为2秒。描述嘴巴特征的疲劳指标是单位时间内嘴巴张开超过一定幅度的频率。
42)时间窗长度的优化:(计算指标时需要统计一段时间内面部运动数据,本发明研究不同长度的时间窗对指标判别效果的影响)通过分别计算所述疲劳指标对不同疲劳状态数据的区分能力,选取对不同疲劳状态数据区分能力最好的时间窗作为该疲劳指标的最优时间窗;针对不同时间窗长度,计算反映对疲劳指标区分能力大小的统计量F-Ratio(组间均方差/组内均方差);
实验结果表明,在20s附近PERCLOS、MCD、AOL、眨眼频率的取值都接近最大值,为此最终选取20s作为最优时间窗长度。
43)基于线性判别分析的指标融合:在最优时间窗长度内,进行疲劳指标的线性判别得到待测人疲劳检测结果;将PERCLOS、MCD、AOL、眨眼频率等特征疲劳指标逐步引入,直到新引入的疲劳指标对判别结果无显著判别作用时停止,从中筛选出对样本分类能力最好的疲劳指标组合;在实际计算时通常采用组间均方差与组内均方差的比值F-Ratio作为参数引入的标准。

Claims (5)

1.一种基于面部视频分析的驾驶人疲劳检测方法,其特征在于,该方法通过自动检测、跟踪眼睛和嘴巴等面部器官的运动特性,并统计一定时间内的面部运动指标来进行最终的疲劳检测;具体包括如下步骤:
1)采用AdaBoost算法,在当前待检测人脸图像中进行人脸检测,找到人脸位置,并进一步对眼睛、鼻子、嘴巴局部器官进行初步定位;
2)以该人脸器官初步定位的结果为基础,进行人脸特征点定位,得到精确定位的人脸特征点;
3)以当前待测人脸特征点定位的结果为基础,在下一帧图像上进行特征点跟踪,得到下一帧图像的待测人脸特征点精确定位的结果;
4)最终以多帧待测人脸特征点的精确定位结果为基础,对面部运动特征进行量化描述,根据面部运动统计指标得到待测人疲劳检测结果。
2.如权利要求1所述方法,其特征在于,所述步骤1)采用AdaBoost算法,在当前人脸图像中进行人脸检测,找到人脸位置,并进一步对眼睛、鼻子、嘴巴局部器官进行初步定位;具体包括以下步骤:
11)计算图像特征:建立有代表性的训练样本库,获取大量人脸和非脸图像并进行尺寸归一化,采用Haar-like小波特征描述待检测目标,利用积分图进行Haar-like小波特征的快速计算,得到该图像的所有Haar-like小波特征;
12)利用所述小波特征的快速计算得到的图像特征训练强分类器:用基于AdaBoost的学习算法从一个大的Haar-like小波集,即弱学习器中选择特征,然后将弱学习器组合成强分类器;
13)使用瀑布模型(Cascade)的分层结构在待测人脸图像中完成人脸检测;每层由若干强分类器组成,经过Haar-like特征的计算,用强分类器中具有最大似然比的那个特征点作为最终人脸的初步定位;
14)人脸的初步定位之后,采用与人脸检测类似的方法完成对眼睛、嘴巴、鼻子等局部器官的初步定位,获取多幅人脸局部器官图像作为训练样本,从局部器官图像中获取相应的HARR特征,还可通过瀑布模型来加快器官检测速度,得到眼睛、鼻子、嘴巴局部器官的初步定位。
3.如权利要求1所述方法,其特征在于,所述步骤2)以该人脸器官初步定位的结果为基础,进行人脸特征点定位,得到精确定位的人脸特征点;具体包括以下步骤: 
21)对眼睛、鼻子、嘴巴进行初步定位后,采用主动形状模型(ASM)对人脸特征点进行精确定位;
22)建立训练样本数据:在每幅用于训练的样本图象上标定出N个轮廓点建立训练样本数据;每副训练图像的人脸形状可用一套特征点坐标来表示:xj=(x1,y1,x2,y2,.....xN,yN),其中(xi,yi)是第j副图像中第i个特征点的坐标,N为特征点个数,每幅图像代表一个形状向量;获取每一个轮廓点附近的特征信息;
23)基于训练样本数据,建立样本图像的形状模型:对样本图像的形状向量归一化;通过平移、旋转、缩放一系列图像变换,使所有样本图像在同一坐标系中具有一致性的表示;将所有样本图像中抽取的形状向量连接起来构成训练数据,经过主成份分析(PCA),对训练数据去相关和降维;此时任意的人脸形状向量X表示成一个平均形状向量与t个形状向量p的线性组合 
Figure FDA0000068833960000021
其中 
Figure FDA0000068833960000022
是平均形状,b是形状参数向量,控制前t个模型的系数,不同的b对应不同的形状,p是特征向量组成的形状矩阵,表示导致人脸变化的不同因素,通过上式可以求得任意形状X;
24)建立形状模型之后,建立局部表观模型:在每幅图像的每个特征点沿着轮廓法线方向抽取若干像素作为灰度特征,建立相关的局部表观模型;采用灰度平均值和协方差作为该点的匹配特征,对每个特征点作同样的采样分析可得所有特征点的统计特征,这些统计信息呈高斯分布,对特征点i的平均局部表观模型 
Figure FDA0000068833960000023
通过对所有图像的模型求和并平均得到 
Figure FDA0000068833960000024
25)利用建好的形状模型和局部表观模型进行特征点匹配:在每个特征点的可能搜索位置建立局部表观模型,并采用马氏距离作为匹配函数去比较在当前点计算得到的局部表观模型gi和对应形状模型上的点的平均局部表观模型 的相似程度;对应的特征点被移到局部表观模型最为相似的位置去;在新的迭代开始前,不断调整人脸姿势和形状的参数去匹配新的位置点;然后ASM利用局部表观特征进行迭代,在每步迭代中通过调整形状参数向量b改变当前模型的位置和形状,完成图像与模型的匹配;当相似程度不再变大时,迭代完成,人脸ASM模型就收敛在新的位置上。
4.如权利要求1所述方法,其特征在于,所述步骤3)以当前人脸特征点定位的结果为基础,在下一帧图像上进行特征点跟踪,得到下一帧图像的待测人脸特征点精确定位的结果;具体包括以下步骤: 
31)在当前帧进行人脸特征点定位后,在下一帧对人脸特征点进行跟踪,用当前帧的脸特征点位置作为迭代的初始位置,继续运行ASM算法搜索下一帧的特征点位置,于是人脸特征点位置就可以在图像序列中一帧帧地通过跟踪得到;
32)在跟踪过程中当误差累积到一定程度的时候,截断跟踪误差,进行新的检测,对人脸特征进行新的初始定位,使人脸特征点跟踪从检测到的新的准确的位置开始,继续进行特征点的定位和跟踪;
决定人脸检测和特征点跟踪切换时机;用特征点跟踪的置信度来量化跟踪累积误差;该置信度由ASM算法中所有特征点迭代收敛时的误差和来定义;如果置信度高于某个确定的值,则继续跟踪;如果置信度低于该值,则转为检测阶段,在新的位置上继续跟踪,以便截断跟踪过程中的累积误差。
5.如权利要求1所述方法,其特征在于,所述步骤4)最终以多帧待测人脸特征点的精确定位结果为基础,对面部运动特征进行量化描述,根据面部运动统计指标得到疲劳检测结果;具体包括以下步骤:
41)疲劳指标的定义:在得到每幅图像中的面部特征点位置之后,对相应的疲劳特征进行量化描述;采用眼睛和嘴巴的运动特征来描述疲劳,描述眼睛特征的疲劳指标包括单位时间眼睛闭合比例、最长闭眼时间、眨眼频率、平均睁眼程度,描述嘴巴特征的疲劳指标是单位时间内嘴巴张开超过一定幅度的频率;
42)时间窗长度的优化:通过分别计算所述疲劳指标对不同疲劳状态数据的区分能力,选取对不同疲劳状态数据区分能力最好的时间窗作为该疲劳指标的最优时间窗;针对不同时间窗长度,计算反映对疲劳指标区分能力大小的统计量F-Ratio;
43)基于线性判别分析的指标融合:在最优时间窗长度内,进行疲劳指标的线性判别得到待测人疲劳检测结果;将眼睛闭合比例、最长闭眼时间、眨眼频率、平均睁眼程度特征指标逐步引入,直到新引入的指标对判别结果无显著判别作用时停止,从中筛选出对样本分类能力最好的指标组合;在实际计算时通常采用组间均方差与组内均方差的比值F-Ratio作为参数引入的标准。 
CN 201110162468 2011-06-16 2011-06-16 一种基于面部视频分析的驾驶人疲劳检测方法 Expired - Fee Related CN102254151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110162468 CN102254151B (zh) 2011-06-16 2011-06-16 一种基于面部视频分析的驾驶人疲劳检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110162468 CN102254151B (zh) 2011-06-16 2011-06-16 一种基于面部视频分析的驾驶人疲劳检测方法

Publications (2)

Publication Number Publication Date
CN102254151A true CN102254151A (zh) 2011-11-23
CN102254151B CN102254151B (zh) 2013-01-16

Family

ID=44981406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110162468 Expired - Fee Related CN102254151B (zh) 2011-06-16 2011-06-16 一种基于面部视频分析的驾驶人疲劳检测方法

Country Status (1)

Country Link
CN (1) CN102254151B (zh)

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103000000A (zh) * 2012-11-28 2013-03-27 广东欧珀移动通信有限公司 一种防止疲劳驾驶的方法、装置和一种移动终端
CN103049755A (zh) * 2012-12-28 2013-04-17 合一网络技术(北京)有限公司 一种实现动态视频马赛克的方法及装置
CN103226711A (zh) * 2013-03-28 2013-07-31 四川长虹电器股份有限公司 一种快速Haar小波特征对象检测方法
CN103247150A (zh) * 2013-05-15 2013-08-14 苏州福丰科技有限公司 防疲劳驾驶系统
CN103400116A (zh) * 2013-07-24 2013-11-20 佳都新太科技股份有限公司 一种低分辨率下的人脸五官检测方法
CN103479367A (zh) * 2013-09-09 2014-01-01 广东工业大学 一种基于面部运动单元识别的驾驶员疲劳检测方法
CN103514441A (zh) * 2013-09-21 2014-01-15 南京信息工程大学 基于移动平台的人脸特征点定位跟踪方法
CN103729646A (zh) * 2013-12-20 2014-04-16 华南理工大学 一种眼睛图像有效性检测方法
CN103839050A (zh) * 2014-02-28 2014-06-04 福州大学 基于特征点扩充及pca特征提取的asm定位算法
CN103871200A (zh) * 2012-12-14 2014-06-18 深圳市赛格导航科技股份有限公司 用于汽车驾驶的安全提醒系统及方法
CN103890811A (zh) * 2011-12-13 2014-06-25 松下电器产业株式会社 计测对象提取装置、面部形状估计装置、计测对象提取方法以及面部形状估计方法
CN103976749A (zh) * 2013-06-09 2014-08-13 湖南纽思曼导航定位科技有限公司 一种实时疲劳提示的方法及装置
CN103999032A (zh) * 2011-12-12 2014-08-20 英特尔公司 显示元素中所包括的感兴趣的区域的兴趣度分数
CN104166831A (zh) * 2013-05-15 2014-11-26 五邑大学 一种基于albp与src算法的疲劳检测方法与系统
CN104239843A (zh) * 2013-06-07 2014-12-24 浙江大华技术股份有限公司 一种人脸特征点定位方法及装置
CN104361716A (zh) * 2014-10-31 2015-02-18 新疆宏开电子系统集成有限公司 实时检测疲劳并提醒的方法
CN104573622A (zh) * 2013-10-09 2015-04-29 爱信精机株式会社 人脸检测装置、方法
CN104598993A (zh) * 2015-01-14 2015-05-06 南京信息工程大学 基于眨眼次数的驾驶员疲劳驾驶预测方法
CN104809445A (zh) * 2015-05-07 2015-07-29 吉林大学 基于眼部和嘴部状态的疲劳驾驶检测方法
CN105354988A (zh) * 2015-12-11 2016-02-24 东北大学 一种基于机器视觉的驾驶员疲劳驾驶检测系统及检测方法
CN105574487A (zh) * 2015-11-26 2016-05-11 中国第一汽车股份有限公司 基于面部特征的驾驶人注意力状态检测方法
CN105590089A (zh) * 2015-10-22 2016-05-18 广州视源电子科技股份有限公司 一种人脸识别方法及装置
CN105701445A (zh) * 2014-12-15 2016-06-22 爱信精机株式会社 判定装置及判定方法
CN105769120A (zh) * 2016-01-27 2016-07-20 深圳地平线机器人科技有限公司 疲劳驾驶检测方法和装置
CN105913026A (zh) * 2016-04-12 2016-08-31 江苏大学 一种基于Haar-PCA特征和概率神经网络的行人检测方法
CN106295567A (zh) * 2016-08-10 2017-01-04 腾讯科技(深圳)有限公司 一种关键点的定位方法及终端
CN106529496A (zh) * 2016-11-24 2017-03-22 广西大学 一种机车乘务员实时视频疲劳检测的方法
CN106897662A (zh) * 2017-01-06 2017-06-27 北京交通大学 基于多任务学习的人脸关键特征点的定位方法
CN107016381A (zh) * 2017-05-11 2017-08-04 南宁市正祥科技有限公司 一种快速驾驶员疲劳检测方法
CN107016336A (zh) * 2017-02-21 2017-08-04 上海蔚来汽车有限公司 用于疲劳驾驶检测的面部特征点定位正误识别的方法及装置
CN107153808A (zh) * 2016-03-04 2017-09-12 掌赢信息科技(上海)有限公司 一种人脸形状的定位方法及电子设备
CN107303840A (zh) * 2016-04-22 2017-10-31 陕西汽车集团有限责任公司 具有主动安全预警控制系统的液罐车
CN107303907A (zh) * 2016-04-21 2017-10-31 现代自动车株式会社 用于确定驾驶者的睡意的装置和方法
CN107358207A (zh) * 2017-07-14 2017-11-17 重庆大学 一种矫正人脸图像的方法
CN107491769A (zh) * 2017-09-11 2017-12-19 中国地质大学(武汉) 基于AdaBoost算法的疲劳驾驶检测方法及系统
CN107831602A (zh) * 2017-11-13 2018-03-23 李振芳 多功能阅读辅助眼镜
CN108256477A (zh) * 2018-01-17 2018-07-06 百度在线网络技术(北京)有限公司 一种用于检测人脸的方法和装置
CN108268840A (zh) * 2018-01-10 2018-07-10 浙江大华技术股份有限公司 一种人脸跟踪方法及装置
CN108830240A (zh) * 2018-06-22 2018-11-16 广州通达汽车电气股份有限公司 疲劳驾驶状态检测方法、装置、计算机设备和存储介质
CN108875520A (zh) * 2017-12-20 2018-11-23 北京旷视科技有限公司 人脸形状点定位的方法、装置、系统及计算机存储介质
CN108932461A (zh) * 2017-05-27 2018-12-04 杭州海康威视数字技术股份有限公司 一种疲劳检测方法及装置
CN109177923A (zh) * 2018-08-31 2019-01-11 镇江赛唯思智能科技有限公司 一种汽车安全驾驶监控方法及系统
CN109241842A (zh) * 2018-08-02 2019-01-18 平安科技(深圳)有限公司 疲劳驾驶检测方法、装置、计算机设备及存储介质
CN109614901A (zh) * 2018-11-30 2019-04-12 西安思菲特信息科技有限公司 驾驶员疲劳检测系统
CN109784302A (zh) * 2019-01-28 2019-05-21 深圳风豹互联网科技有限公司 一种人脸活体检测方法及人脸识别设备
CN110319544A (zh) * 2019-07-04 2019-10-11 珠海格力电器股份有限公司 环境管理方法、装置和空调
CN110443218A (zh) * 2019-08-13 2019-11-12 北京百度网讯科技有限公司 一种人物检测方法和装置
CN110659537A (zh) * 2018-06-28 2020-01-07 长沙智能驾驶研究院有限公司 驾驶员异常驾驶行为检测方法、计算机设备和存储介质
CN111347977A (zh) * 2019-06-05 2020-06-30 威盛电子股份有限公司 车辆盲点影像显示方法、装置及系统
WO2020135287A1 (zh) * 2018-12-24 2020-07-02 甄选医美邦(杭州)网络科技有限公司 整形模拟信息处理方法、整形模拟终端和整形服务终端
CN111754729A (zh) * 2020-06-23 2020-10-09 上汽大众汽车有限公司 疲劳驾驶提示装置及提示方法
CN113239839A (zh) * 2021-05-24 2021-08-10 电子科技大学成都学院 基于dca人脸特征融合的表情识别方法
CN113989887A (zh) * 2021-10-22 2022-01-28 南京理工大学 基于视觉特征信息融合的设备操作人员疲劳状态检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《中国优秀硕士学位论文全文数据库》 20100531 柯明君 驾驶员疲劳视频监测系统设计与关键技术研究 正文第18,22-24,30,40,54页 1-2 , 第5期 *
《中国优秀硕士学位论文全文数据库》 20101031 朱伟 人脸及其特征点的定位与应用 正文第10-25页 1-2 , 第10期 *
《汽车工程》 20081130 成波等 基于眼睛状态识别的驾驶员疲劳实时监测 1001-1005 1-5 第30卷, 第11期 *

Cited By (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103999032B (zh) * 2011-12-12 2018-01-26 英特尔公司 显示元素中所包括的感兴趣的区域的兴趣度分数
US10395263B2 (en) 2011-12-12 2019-08-27 Intel Corporation Interestingness scoring of areas of interest included in a display element
CN103999032A (zh) * 2011-12-12 2014-08-20 英特尔公司 显示元素中所包括的感兴趣的区域的兴趣度分数
CN103890811A (zh) * 2011-12-13 2014-06-25 松下电器产业株式会社 计测对象提取装置、面部形状估计装置、计测对象提取方法以及面部形状估计方法
CN103890811B (zh) * 2011-12-13 2017-06-30 松下电器(美国)知识产权公司 计测对象提取装置、面部形状估计装置、计测对象提取方法以及面部形状估计方法
CN103000000A (zh) * 2012-11-28 2013-03-27 广东欧珀移动通信有限公司 一种防止疲劳驾驶的方法、装置和一种移动终端
CN103871200A (zh) * 2012-12-14 2014-06-18 深圳市赛格导航科技股份有限公司 用于汽车驾驶的安全提醒系统及方法
CN103871200B (zh) * 2012-12-14 2016-06-08 深圳市赛格导航科技股份有限公司 用于汽车驾驶的安全提醒系统及方法
CN103049755A (zh) * 2012-12-28 2013-04-17 合一网络技术(北京)有限公司 一种实现动态视频马赛克的方法及装置
CN103049755B (zh) * 2012-12-28 2016-08-10 合一网络技术(北京)有限公司 一种实现动态视频马赛克的方法及装置
CN103226711A (zh) * 2013-03-28 2013-07-31 四川长虹电器股份有限公司 一种快速Haar小波特征对象检测方法
CN103247150A (zh) * 2013-05-15 2013-08-14 苏州福丰科技有限公司 防疲劳驾驶系统
CN104166831A (zh) * 2013-05-15 2014-11-26 五邑大学 一种基于albp与src算法的疲劳检测方法与系统
CN104239843A (zh) * 2013-06-07 2014-12-24 浙江大华技术股份有限公司 一种人脸特征点定位方法及装置
CN104239843B (zh) * 2013-06-07 2017-04-12 浙江大华技术股份有限公司 一种人脸特征点定位方法及装置
CN103976749A (zh) * 2013-06-09 2014-08-13 湖南纽思曼导航定位科技有限公司 一种实时疲劳提示的方法及装置
CN103400116A (zh) * 2013-07-24 2013-11-20 佳都新太科技股份有限公司 一种低分辨率下的人脸五官检测方法
CN103479367A (zh) * 2013-09-09 2014-01-01 广东工业大学 一种基于面部运动单元识别的驾驶员疲劳检测方法
CN103514441B (zh) * 2013-09-21 2017-02-15 南京信息工程大学 基于移动平台的人脸特征点定位跟踪方法
CN103514441A (zh) * 2013-09-21 2014-01-15 南京信息工程大学 基于移动平台的人脸特征点定位跟踪方法
CN104573622A (zh) * 2013-10-09 2015-04-29 爱信精机株式会社 人脸检测装置、方法
CN104573622B (zh) * 2013-10-09 2019-07-16 爱信精机株式会社 人脸检测装置、方法
CN103729646A (zh) * 2013-12-20 2014-04-16 华南理工大学 一种眼睛图像有效性检测方法
CN103839050A (zh) * 2014-02-28 2014-06-04 福州大学 基于特征点扩充及pca特征提取的asm定位算法
CN104361716A (zh) * 2014-10-31 2015-02-18 新疆宏开电子系统集成有限公司 实时检测疲劳并提醒的方法
CN105701445A (zh) * 2014-12-15 2016-06-22 爱信精机株式会社 判定装置及判定方法
CN104598993A (zh) * 2015-01-14 2015-05-06 南京信息工程大学 基于眨眼次数的驾驶员疲劳驾驶预测方法
CN104598993B (zh) * 2015-01-14 2017-11-03 南京信息工程大学 基于眨眼次数的驾驶员疲劳驾驶预测方法
CN104809445A (zh) * 2015-05-07 2015-07-29 吉林大学 基于眼部和嘴部状态的疲劳驾驶检测方法
CN104809445B (zh) * 2015-05-07 2017-12-19 吉林大学 基于眼部和嘴部状态的疲劳驾驶检测方法
CN105590089A (zh) * 2015-10-22 2016-05-18 广州视源电子科技股份有限公司 一种人脸识别方法及装置
CN105574487A (zh) * 2015-11-26 2016-05-11 中国第一汽车股份有限公司 基于面部特征的驾驶人注意力状态检测方法
CN105354988A (zh) * 2015-12-11 2016-02-24 东北大学 一种基于机器视觉的驾驶员疲劳驾驶检测系统及检测方法
CN105354988B (zh) * 2015-12-11 2018-02-27 东北大学 一种基于机器视觉的驾驶员疲劳驾驶检测系统及检测方法
CN105769120A (zh) * 2016-01-27 2016-07-20 深圳地平线机器人科技有限公司 疲劳驾驶检测方法和装置
CN105769120B (zh) * 2016-01-27 2019-01-22 深圳地平线机器人科技有限公司 疲劳驾驶检测方法和装置
CN107153808A (zh) * 2016-03-04 2017-09-12 掌赢信息科技(上海)有限公司 一种人脸形状的定位方法及电子设备
CN105913026A (zh) * 2016-04-12 2016-08-31 江苏大学 一种基于Haar-PCA特征和概率神经网络的行人检测方法
CN107303907A (zh) * 2016-04-21 2017-10-31 现代自动车株式会社 用于确定驾驶者的睡意的装置和方法
CN107303907B (zh) * 2016-04-21 2021-08-20 现代自动车株式会社 用于确定驾驶者的睡意的装置和方法
CN107303840A (zh) * 2016-04-22 2017-10-31 陕西汽车集团有限责任公司 具有主动安全预警控制系统的液罐车
US10990803B2 (en) 2016-08-10 2021-04-27 Tencent Technology (Shenzhen) Key point positioning method, terminal, and computer storage medium
CN106295567A (zh) * 2016-08-10 2017-01-04 腾讯科技(深圳)有限公司 一种关键点的定位方法及终端
CN106295567B (zh) * 2016-08-10 2019-04-12 腾讯科技(深圳)有限公司 一种关键点的定位方法及终端
CN106529496A (zh) * 2016-11-24 2017-03-22 广西大学 一种机车乘务员实时视频疲劳检测的方法
CN106529496B (zh) * 2016-11-24 2019-04-12 广西大学 一种机车乘务员实时视频疲劳检测的方法
CN106897662A (zh) * 2017-01-06 2017-06-27 北京交通大学 基于多任务学习的人脸关键特征点的定位方法
CN106897662B (zh) * 2017-01-06 2020-03-10 北京交通大学 基于多任务学习的人脸关键特征点的定位方法
CN107016336A (zh) * 2017-02-21 2017-08-04 上海蔚来汽车有限公司 用于疲劳驾驶检测的面部特征点定位正误识别的方法及装置
CN107016381A (zh) * 2017-05-11 2017-08-04 南宁市正祥科技有限公司 一种快速驾驶员疲劳检测方法
CN108932461A (zh) * 2017-05-27 2018-12-04 杭州海康威视数字技术股份有限公司 一种疲劳检测方法及装置
CN107358207A (zh) * 2017-07-14 2017-11-17 重庆大学 一种矫正人脸图像的方法
CN107491769A (zh) * 2017-09-11 2017-12-19 中国地质大学(武汉) 基于AdaBoost算法的疲劳驾驶检测方法及系统
CN107831602A (zh) * 2017-11-13 2018-03-23 李振芳 多功能阅读辅助眼镜
CN107831602B (zh) * 2017-11-13 2019-04-26 新昌县镜岭镇梅芹水果种植园 多功能阅读辅助眼镜
CN108875520B (zh) * 2017-12-20 2022-02-08 北京旷视科技有限公司 人脸形状点定位的方法、装置、系统及计算机存储介质
CN108875520A (zh) * 2017-12-20 2018-11-23 北京旷视科技有限公司 人脸形状点定位的方法、装置、系统及计算机存储介质
CN108268840A (zh) * 2018-01-10 2018-07-10 浙江大华技术股份有限公司 一种人脸跟踪方法及装置
CN108268840B (zh) * 2018-01-10 2020-12-08 浙江大华技术股份有限公司 一种人脸跟踪方法及装置
CN108256477A (zh) * 2018-01-17 2018-07-06 百度在线网络技术(北京)有限公司 一种用于检测人脸的方法和装置
CN108830240A (zh) * 2018-06-22 2018-11-16 广州通达汽车电气股份有限公司 疲劳驾驶状态检测方法、装置、计算机设备和存储介质
CN110659537B (zh) * 2018-06-28 2022-05-20 长沙智能驾驶研究院有限公司 驾驶员异常驾驶行为检测方法、计算机设备和存储介质
CN110659537A (zh) * 2018-06-28 2020-01-07 长沙智能驾驶研究院有限公司 驾驶员异常驾驶行为检测方法、计算机设备和存储介质
CN109241842B (zh) * 2018-08-02 2024-03-05 平安科技(深圳)有限公司 疲劳驾驶检测方法、装置、计算机设备及存储介质
CN109241842A (zh) * 2018-08-02 2019-01-18 平安科技(深圳)有限公司 疲劳驾驶检测方法、装置、计算机设备及存储介质
CN109177923A (zh) * 2018-08-31 2019-01-11 镇江赛唯思智能科技有限公司 一种汽车安全驾驶监控方法及系统
CN109614901B (zh) * 2018-11-30 2023-06-20 西安思菲特信息科技有限公司 驾驶员疲劳检测系统
CN109614901A (zh) * 2018-11-30 2019-04-12 西安思菲特信息科技有限公司 驾驶员疲劳检测系统
WO2020135287A1 (zh) * 2018-12-24 2020-07-02 甄选医美邦(杭州)网络科技有限公司 整形模拟信息处理方法、整形模拟终端和整形服务终端
CN109784302B (zh) * 2019-01-28 2023-08-15 深圳信合元科技有限公司 一种人脸活体检测方法及人脸识别设备
CN109784302A (zh) * 2019-01-28 2019-05-21 深圳风豹互联网科技有限公司 一种人脸活体检测方法及人脸识别设备
CN111347977A (zh) * 2019-06-05 2020-06-30 威盛电子股份有限公司 车辆盲点影像显示方法、装置及系统
CN111347977B (zh) * 2019-06-05 2022-06-10 威盛电子股份有限公司 车辆盲点影像显示方法、装置及系统
CN110319544A (zh) * 2019-07-04 2019-10-11 珠海格力电器股份有限公司 环境管理方法、装置和空调
CN110443218B (zh) * 2019-08-13 2022-01-28 北京百度网讯科技有限公司 一种人物检测方法和装置
CN110443218A (zh) * 2019-08-13 2019-11-12 北京百度网讯科技有限公司 一种人物检测方法和装置
CN111754729A (zh) * 2020-06-23 2020-10-09 上汽大众汽车有限公司 疲劳驾驶提示装置及提示方法
CN113239839A (zh) * 2021-05-24 2021-08-10 电子科技大学成都学院 基于dca人脸特征融合的表情识别方法
CN113989887A (zh) * 2021-10-22 2022-01-28 南京理工大学 基于视觉特征信息融合的设备操作人员疲劳状态检测方法

Also Published As

Publication number Publication date
CN102254151B (zh) 2013-01-16

Similar Documents

Publication Publication Date Title
CN102254151B (zh) 一种基于面部视频分析的驾驶人疲劳检测方法
CN101464950B (zh) 基于在线学习和贝叶斯推理的视频人脸识别与检索方法
Jüngling et al. Person re-identification in multi-camera networks
CN104008370B (zh) 一种视频人脸识别方法
CN100361138C (zh) 视频序列中人脸的实时检测与持续跟踪的方法及系统
CN113158850B (zh) 基于深度学习的船舶驾驶员疲劳检测方法和系统
CN110119676A (zh) 一种基于神经网络的驾驶员疲劳检测方法
CN103020986B (zh) 一种运动目标跟踪方法
CN103049751A (zh) 一种改进的加权区域匹配高空视频行人识别方法
CN103279768B (zh) 一种基于增量学习人脸分块视觉表征的视频人脸识别方法
CN109902560A (zh) 一种基于深度学习的疲劳驾驶预警方法
CN202257856U (zh) 驾驶员疲劳驾驶监控装置
CN105931276B (zh) 一种基于巡逻机器人智能云平台的长时间人脸跟踪方法
CN107392112A (zh) 一种人脸表情识别方法及其应用的智能锁系统
CN107491769A (zh) 基于AdaBoost算法的疲劳驾驶检测方法及系统
CN103632132A (zh) 一种基于肤色分割和模板匹配的人脸检测与识别方法
CN106682603A (zh) 一种基于多源信息融合的实时驾驶员疲劳预警系统
CN109740477A (zh) 驾驶员疲劳检测系统及其疲劳检测方法
CN104951758B (zh) 市区环境下基于视觉的车载行人检测与跟踪方法及系统
Elihos et al. Comparison of image classification and object detection for passenger seat belt violation detection using NIR & RGB surveillance camera images
CN107085703A (zh) 融合脸部检测与跟踪的汽车乘员计数方法
CN105930808A (zh) 一种基于vector boosting模板更新的运动目标跟踪方法
Wang et al. Simultaneous multi-vehicle detection and tracking framework with pavement constraints based on machine learning and particle filter algorithm
CN108363968A (zh) 一种基于关键点提取的司机疲劳驾驶监测系统和方法
CN105975982B (zh) 一种前方车辆检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130116

CF01 Termination of patent right due to non-payment of annual fee