CN103479367B - 一种基于面部运动单元识别的驾驶员疲劳检测方法 - Google Patents

一种基于面部运动单元识别的驾驶员疲劳检测方法 Download PDF

Info

Publication number
CN103479367B
CN103479367B CN201310405952.7A CN201310405952A CN103479367B CN 103479367 B CN103479367 B CN 103479367B CN 201310405952 A CN201310405952 A CN 201310405952A CN 103479367 B CN103479367 B CN 103479367B
Authority
CN
China
Prior art keywords
region
fatigue
face
movement unit
facial movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310405952.7A
Other languages
English (en)
Other versions
CN103479367A (zh
Inventor
张灵
丁伍洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201310405952.7A priority Critical patent/CN103479367B/zh
Publication of CN103479367A publication Critical patent/CN103479367A/zh
Application granted granted Critical
Publication of CN103479367B publication Critical patent/CN103479367B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明是一种基于面部运动单元识别的驾驶员疲劳检测方法。包括有如下步骤:1)从视频序列中定位出人脸区域;2)对人脸关键特征点进行定位及区域划分;3)对多帧图像中的脸部对应区域进行运动特征提取;4)对提取的运动特征进行分类识别,并用运动单元AU标记;5)通过脸部运动单元检测是否疲劳。本发明是一种可以从脸部表观状态出发提取疲劳状态下脸部的外观表现特征,因而能获取更加稳定而丰富的视觉信息的方便实用的基于面部运动单元识别的驾驶员疲劳检测方法。

Description

一种基于面部运动单元识别的驾驶员疲劳检测方法
技术领域
本发明是一种基于面部运动单元识别的驾驶员疲劳检测方法,属于基于面部运动单元识别的驾驶员疲劳检测方法的创新技术。
背景技术
疲劳是一种复杂的生理和心理现象,在理论上难以作定量的标准描述,在现象上也因个体差异而呈现出多样性。在工作中,往往根据作业者的行为能力、工作效率来间接的判断疲劳程度。医学上认为疲劳是人体困顿、倦怠的感觉,它是身体需要放松和休息的信号。
疲劳的测定分为主观和客观两种方法,主观的研究方法有主观调查表、驾驶员自我记录、睡眠习惯调查表、斯坦福睡眠尺度表四种。客观的方法有脑电图(诊所用电极)、眼电图、肌电图、呼吸气流(鼻声传感器)、呼吸效果(胸腔部传感器)、动脉血液氧饱和(手指探针)时的体温(用红外线耳朵探针获取)和心电图(开车和睡眠时)、基于计算机视觉技术的疲劳检测等测量方法。主观调查表法的主要问题是具有主观性,采用专门的医学仪器方法是比较准确的,但是需要有专门的昂贵的设备,专业的操作人员,还需要被测者的配合,比如说要去特定的场合。上述两种方法所存在的一个共同的问题是具有超前或滞后性,是非实时的,而且被测者在测量时和测量前后的精神状态可能会有差异。因此,开发一种大众化、实时的、非侵扰式的精神疲劳测量装置已成为国内外专家学者共同追求的目标。
基于计算机视觉技术的疲劳检测因其具有实时性、非侵扰性被认为是最有前途的方向。
发明内容
本发明的目的在于考虑上述问题而提供一种检测效率高,且方便实用的基于面部运动单元识别的驾驶员疲劳检测方法。本发明适用于长时间保持相对固定姿势的工作人员工作状态的检测,且适用于驾驶员驾驶过程中是否疲劳的检测。
本发明的技术方案是:本发明基于面部运动单元识别的驾驶员疲劳检测方法,包括有如下步骤:
1)从视频序列中定位出人脸区域;
2)对人脸关键特征点进行定位及区域划分;
3)对多帧图像中的脸部对应区域进行运动特征提取;
4)对提取的运动特征进行分类识别,并用运动单元AU标记;
5)通过脸部运动单元检测是否疲劳。
上述步骤2)对人脸关键特征点进行定位及区域划分的过程是:首先依据人脸结构特征建立一个人脸区域划分的模板,然后利用自适应增强学习分类(Adboost)方法检测出眼部和嘴部区域,对于眼睛和嘴部子区域采用哈里斯(Harris)角点检测算法定位眼睛的内外侧角点及两嘴角角点,并以此六个点作为基准调节初始模板最终实现区域的划分。
上述步骤3)对多帧图像中的脸部对应区域进行运动特征提取的方法是:将每一个运动单元AU动作分解为“起始-----伸展-----高潮”三个阶段,则采用运动平滑约束(Horn-Schunck)光流法计算三个过程的图像相对基准图像的光流场,为降低数据维度,对脸部子区域进行连续的3*3的相邻小区域进行划分,且区域不出现重叠,并进行数据归并为:
u,v为光流水平和垂直方向的分量,将各区域归并后的分量按行转换成向量形式,将样本空间均进行上述处理后利用主成分分析(PCA)算法对其采取降维处理,各提取样本u,v的主成分分析(PCA)的前n个系数,组成2n维特征向量。
上述步骤4)对提取的运动特征进行分类识别,并用运动单元AU标记的方法是:首先建立目标运动单元AU的隐马尔科夫(HMM)模型,然后对检测到的未知运动单元AU的特征作为模型输入,判别为何种运动单元AU;具体步骤为:
4.1、建立目标运动单元AU的隐马尔科夫(HMM)模型;
4.2、输入提取检测图像对应区域的特征向量;
4.3、取模型输出中概率最大的系数,并以该模型的运动单元AU的类别标记该区域。
上述步骤5)通过脸部运动单元检测是否疲劳的方法是:将已经标记运动单元AU的人脸与疲劳运动单元AU进行比对,判断是否疲劳。
上述通过脸部运动单元检测是否疲劳的方法是:对面部各区域进行搜索,并用疲劳判别公式进行计算,得出疲劳判别值δ,其中为不同脸部子区域与疲劳的相关度权重,其比例分配为:眉毛区域0.1,眼部区域0.5,嘴部区域0.4,)为判别函数,t为运动单元AU的标记数,,为能表征疲劳的运动单元AU的集合,最终将δ与阈值标比较得出疲劳结果。
上述阈值标准主要依据眼部和嘴部状态来设定阈值。当眼部与嘴部均发生疲劳运动单元中的动作时,即可判定为疲劳,则由判决公式可得阈值为:=0.4*1+0.5*1=0.9。
本发明从面部表观特征出发,分区域分析疲劳状态下的面部表情,与脸部整体分析法相比,该方法能更准确提取局部有效信息,出去冗余信息,提高效率。此外,本发明用现有的运动单元去标记疲劳状态下的面部表情运动,定义了与疲劳相关的运动单元的表情集合,为疲劳表情的分析奠定了基础。另外,本发明对不同区域与疲劳相关程度分配不同的相关系数,并以加权融合的方式决定最后的判别结果。本发明可以充分利用面部表观特征进行疲劳判定,适用于长时间保持相对固定姿势的工作人员工作状态的检测,且适用于驾驶员驾驶过程中是否疲劳的检测。本发明是一种可以从脸部表观状态出发提取疲劳状态下脸部的外观表现特征,因而能获取更加稳定而丰富的视觉信息的方便实用的基于面部运动单元识别的驾驶员疲劳检测方法。
附图说明
图1为本发明的原理图;
图2为本发明脸部特征点定位图;
图3为本发明脸部区域光流图;
图4为本发明运动单元(AU)及隐马尔科夫(HMM)模型结构图;
图5为本发明运动单元建模与识别训练流程图。
具体实施方式
实施例:
本发明基于面部运动单元识别的驾驶员疲劳检测方法,包括有如下步骤:
1)从视频序列中定位出人脸区域;
2)对人脸关键特征点进行定位及区域划分;
3)对多帧图像中的脸部对应区域进行运动特征提取;
4)对提取的运动特征进行分类识别,并用运动单元AU标记;
5)通过脸部运动单元检测是否疲劳。
上述步骤1)从视频序列中定位出人脸区域的具体方法是:采用由维奥拉(Viola)提出的基于AdaBoost(自适应增强学习算法)的人脸检测算法,该方法首先计算图片不同区域的haar-like(类哈尔)特征值,然后利用自适应增强学习算法(AdaBoost)训练级联式的分类器;最后将特征值逐级通过级联分类器判决该区域是否为人脸,若为人脸则返回人脸区域的位置。使用开源的计算机视觉库(OpenCV)提供的库函数以及现场实际采集多种人脸与非人脸图像作为训练样本集。
上述步骤2)对人脸关键特征点进行定位及区域划分的具体方法是:创建简易的区域划分模板,首先对获取的人脸区域采用与人脸检测相似的检测方法,利用开源的计算机视觉库(OpenCV)提供的函数训练人眼和嘴巴库,然后用其检测出眼睛和嘴巴区域的大致位置,然后对其进行哈里斯(Harris)角点检测算法检测目标区域的角点。由于嘴角与眼角灰度值的梯度变化明显,因而角点相对较准确,但是中间部位的图像也可能检测出角点,因而筛选出最左侧和最右侧角点作为特征点,并以此对区域划分模板进行校准,采用该方法的好处是计算量小,能够快速准确的对人脸进行区域的划分。最终分的区域大小分别是眉毛区域40*30,眼部区域60*40,嘴部区域120*80的大小区域。
上述步骤3)对多帧图像中的脸部对应区域进行运动特征提取对多帧图像进行脸部对应区域进行运动特征提取的具体方法是:首先建立AU1,AU4,AU7,AU15,AU26,AU27,AU43这7个AU的多个样本组成的序列图像共计1000帧构成样本空间,对于每一个序列以预先设定的基准表情(无表情)图像作为参照,其他过程图像记录为:,分别计算此三帧图像相对于的光流场。在进行数据归并后分别对光流场的水平方向的分量及垂直方向的分量u,v进行主成分分析(PCA)降维处理,求取样本空间的特征基底。在实际的检测中,为了加快处理的速度,并不对视频的每一帧图像进行处理,而是以ξ(ξ=3)帧维间隔进行抽样提取,分别求光流场的水平方向的分量及垂直方向的分量u,v在对应基底中的投影系数,提取其前10个系数,则对于每个序列,可以获得其特征为Feature[]=,其中p=20,u分量系数在前,v分量系数在后。
上述步骤4)对提取的运动特征进行分类识别,并用运动单元AU标记的具体方法是:首先分别建立AU1,AU4,AU7,AU15,AU26,AU27,AU43这7个运动单元AU的隐马尔科夫模型,其中每个模型的观测值为其对应的主成分特征系数,模型的结构如图3所示,具体建模与识别流程如图4所示。在进行运动单元AU识别的过程中,对未知运动单元AU的测试序列提取特征后分别输入这7个模型中,计算该序列属于各个运动单元AU及隐马尔科夫(HMM)模型的概率,取得该概率后与阈值概率比较,即:=,在此prob取0.75。即测试序列属于某一运动单元的相对概率大于0.75时,才表明序列动作产生了该个,并在该区域以标记,即t=j。
上述步骤5)通过脸部运动单元检测是否疲劳的方法是:通过已经标记运动单元AU的人脸判断是否疲劳。对面部各区域进行搜索,并用疲劳判别公式;进行计算,得出疲劳判别值δ。其中为不同脸部子区域与疲劳的相关度权重,其比例分配为:眉毛区域0.1,眼部区域0.5,嘴部区域0.4,)为判别函数。t为运动单元AU的标记数,,为能表征疲劳的运动单元AU的集合。最终将δ与阈值标比较得出疲劳结果。

Claims (6)

1.一种基于面部运动单元识别的驾驶员疲劳检测方法,其特征在于包括有如下步骤:
1)从视频序列中定位出人脸区域;
2)对人脸关键特征点进行定位及区域划分;
3)对多帧图像中的脸部对应区域进行运动特征提取;
4)对提取的运动特征进行分类识别,并用运动单元AU标记;
5)通过基于面部运动单元识别驾驶员是否疲劳;
上述步骤2)对人脸关键特征点进行定位及区域划分的过程是:首先依据人脸结构特征建立一个人脸区域划分的模板,然后利用自适应增强学习分类方法检测出眼部和嘴部区域,对于眼睛和嘴部子区域采用哈里斯角点检测算法定位眼睛的内外侧角点及两嘴角角点,并以此六个点作为基准调节初始模板最终实现区域的划分。
2.根据权利要求1所述的基于面部运动单元识别的驾驶员疲劳检测方法,其特征在于上述步骤3)对多帧图像中的脸部对应区域进行运动特征提取的方法是:将每一个运动单元AU动作分解为“起始-----伸展-----高潮”三个阶段,则采用运动平滑约束光流法计算三个过程的图像相对基准图像的光流场,为降低数据维度,对脸部子区域进行连续的3*3的相邻小区域进行划分,且区域不出现重叠,并进行数据归并:
u,v为光流水平和垂直方向的分量,将各区域归并后的分量按行转换成向量形式,将样本空间均进行上述处理后利用主成分分析算法对其采取降维处理,提取样本u,v的主成分分析的前n个系数,组成2n维特征向量。
3.根据权利要求1所述的基于面部运动单元识别的驾驶员疲劳检测方法,其特征在于上述步骤4)对提取的运动特征进行分类识别,并用运动单元AU标记的方法是:首先建立目标运动单元AU的隐马尔科夫模型,然后对检测到的未知运动单元AU的特征作为模型输入,判别为何种运动单元AU;具体步骤为:
4.1、建立目标运动单元AU的隐马尔科夫模型;
4.2、输入提取检测图像对应区域的特征向量;
4.3、取模型输出中概率最大的系数,并以该模型的运动单元AU的类别标记该区域。
4.根据权利要求1所述的基于面部运动单元识别的驾驶员疲劳检测方法,其特征在于上述步骤5)通过基于面部运动单元识别驾驶员是否疲劳的方法是:将已经标记运动单元AU的人脸与疲劳运动单元AU进行比对,判断是否疲劳。
5.根据权利要求4所述的基于面部运动单元识别的驾驶员疲劳检测方法,其特征在于上述通过基于面部运动单元识别驾驶员是否疲劳的方法的方法是:对面部各区域进行搜索,并用疲劳判别公式进行计算,得出疲劳判别值δ,其中αj为不同脸部子区域与疲劳的相关度权重,其比例分配为:眉毛区域0.1,眼部区域0.5,嘴部区域0.4,flag(j,t)为判别函数,t为运动单元AU的标记数,Tj为能表征疲劳的运动单元AU的集合:AU1,AU4,AU7,AU15,AU26,AU27,AU43,最终将δ与疲劳判定阈值比较得出疲劳结果。
6.根据权利要求5所述的基于面部运动单元识别的驾驶员疲劳检测方法,其特征在于选择疲劳判定阈值时,由于眼部区域与嘴部区域更能表征疲劳状态,因而主要依据眼部和嘴部状态来设定阈值,当眼部与嘴部均发生疲劳运动单元中的动作时,即可判定为疲劳,则由疲劳判别公式可得阈值为:
CN201310405952.7A 2013-09-09 2013-09-09 一种基于面部运动单元识别的驾驶员疲劳检测方法 Expired - Fee Related CN103479367B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310405952.7A CN103479367B (zh) 2013-09-09 2013-09-09 一种基于面部运动单元识别的驾驶员疲劳检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310405952.7A CN103479367B (zh) 2013-09-09 2013-09-09 一种基于面部运动单元识别的驾驶员疲劳检测方法

Publications (2)

Publication Number Publication Date
CN103479367A CN103479367A (zh) 2014-01-01
CN103479367B true CN103479367B (zh) 2016-07-20

Family

ID=49820211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310405952.7A Expired - Fee Related CN103479367B (zh) 2013-09-09 2013-09-09 一种基于面部运动单元识别的驾驶员疲劳检测方法

Country Status (1)

Country Link
CN (1) CN103479367B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745204B (zh) * 2014-01-17 2017-11-28 公安部第三研究所 一种基于斑痣点的体貌特征比对方法
CN105022982B (zh) * 2014-04-22 2019-03-29 北京邮电大学 手部运动识别方法和装置
CN105612533B (zh) * 2015-06-08 2021-03-02 北京旷视科技有限公司 活体检测方法、活体检测系统以及计算机程序产品
CN106778677A (zh) * 2016-12-30 2017-05-31 东北农业大学 基于特征选择和面部多区域分类器集成的驾驶者疲劳状态识别方法与装置
CN106919898A (zh) * 2017-01-16 2017-07-04 北京龙杯信息技术有限公司 人脸识别中的特征建模方法
CN107239732A (zh) * 2017-04-18 2017-10-10 广东工业大学 一种基于Gabor特征和稀疏表示的疲劳表情识别方法
CN108932461A (zh) * 2017-05-27 2018-12-04 杭州海康威视数字技术股份有限公司 一种疲劳检测方法及装置
CN107633207B (zh) * 2017-08-17 2018-10-12 平安科技(深圳)有限公司 Au特征识别方法、装置及存储介质
CN107776579A (zh) * 2017-09-14 2018-03-09 中国第汽车股份有限公司 一种直感式驾驶员状态提醒装置
CN108446644A (zh) * 2018-03-26 2018-08-24 刘福珍 一种用于新能源电动汽车的虚拟显示系统
CN109241842B (zh) * 2018-08-02 2024-03-05 平安科技(深圳)有限公司 疲劳驾驶检测方法、装置、计算机设备及存储介质
CN110119676B (zh) * 2019-03-28 2023-02-03 广东工业大学 一种基于神经网络的驾驶员疲劳检测方法
CN110298237B (zh) * 2019-05-20 2024-08-20 平安科技(深圳)有限公司 头部姿势识别方法、装置、计算机设备及存储介质
CN111598047B (zh) * 2020-05-28 2023-06-27 重庆康普达科技有限公司 一种人脸识别方法
CN112450933B (zh) * 2020-11-10 2022-09-20 东北电力大学 一种基于人体多类特征的驾驶疲劳监测方法
CN113657212A (zh) * 2021-07-30 2021-11-16 浙江大华技术股份有限公司 一种疲劳检测方法及相关装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0944680A (ja) * 1995-07-26 1997-02-14 Mitsubishi Electric Corp 動画像の目領域抽出装置
JP2005018655A (ja) * 2003-06-27 2005-01-20 Nissan Motor Co Ltd 運転者行動推定装置
CN101642376B (zh) * 2008-08-04 2012-02-08 南京大学 疲劳检测装置及方法
CN102254151B (zh) * 2011-06-16 2013-01-16 清华大学 一种基于面部视频分析的驾驶人疲劳检测方法

Also Published As

Publication number Publication date
CN103479367A (zh) 2014-01-01

Similar Documents

Publication Publication Date Title
CN103479367B (zh) 一种基于面部运动单元识别的驾驶员疲劳检测方法
CN107168527B (zh) 基于区域卷积神经网络的第一视角手势识别与交互方法
CN104866829B (zh) 一种基于特征学习的跨年龄人脸验证方法
US20200138337A1 (en) Non-Contact Breathing Activity Monitoring And Analyzing System Through Thermal On Projection Medium Imaging
WO2018120964A1 (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
CN110532887A (zh) 一种基于面部特征融合的疲劳驾驶检测方法及系统
CN105955465A (zh) 一种桌面便携式视线跟踪方法及装置
CN100440246C (zh) 一种人脸特征点定位方法
CN106407935A (zh) 基于人脸图像和眼动注视信息的心理测试方法
CN112580552B (zh) 一种鼠类行为分析方法及装置
CN107368859A (zh) 病变识别模型的训练方法、验证方法和病变图像识别装置
Zhu Computer Vision‐Driven Evaluation System for Assisted Decision‐Making in Sports Training
CN110532850B (zh) 一种基于视频关节点和混合分类器的跌倒检测方法
CN109961054A (zh) 一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法
CN109431523A (zh) 基于非社会性声音刺激行为范式的孤独症初级筛查装置
CN110472512A (zh) 一种基于深度学习的人脸状态识别方法及其装置
CN103729620B (zh) 一种基于多视角贝叶斯网络的多视角行人检测方法
CN114358194A (zh) 基于姿态跟踪的孤独症谱系障碍异常肢体行为检测方法
Jingchao et al. Recognition of classroom student state features based on deep learning algorithms and machine learning
CN106408579A (zh) 一种基于视频的捏合指尖跟踪方法
CN106485232A (zh) 一种基于呼吸过程中鼻子图像特征的人员识别方法
CN115937928A (zh) 基于多视觉特征融合的学习状态监测方法及系统
CN117935339A (zh) 一种基于多模态融合的微表情识别方法
CN115346272A (zh) 基于深度图像序列的实时摔倒检测方法
Wang et al. Respiratory consultant by your side: Affordable and remote intelligent respiratory rate and respiratory pattern monitoring system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160720