CN105844218A - 一种基于tld与轮廓编码的疲劳驾驶监控的方法 - Google Patents

一种基于tld与轮廓编码的疲劳驾驶监控的方法 Download PDF

Info

Publication number
CN105844218A
CN105844218A CN201610150085.0A CN201610150085A CN105844218A CN 105844218 A CN105844218 A CN 105844218A CN 201610150085 A CN201610150085 A CN 201610150085A CN 105844218 A CN105844218 A CN 105844218A
Authority
CN
China
Prior art keywords
fatigue
face
model
expression
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610150085.0A
Other languages
English (en)
Inventor
罗笑南
孟思明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201610150085.0A priority Critical patent/CN105844218A/zh
Publication of CN105844218A publication Critical patent/CN105844218A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/175Static expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明实施例公开了一种基于TLD与轮廓编码的疲劳驾驶监控的方法,包括如下步骤:选定需要监控的人脸及人脸区域;由跟踪核心模型对其进行实时跟踪,并将跟踪得到的目标区域输出;由跟踪核心模型跟踪得到的人脸目标区域使用识别核心模型对其进行疲劳识别,并输出疲劳程度阈值;由识别模型输出的疲劳程度阈值结果进行疲劳程度判断,并输出最终的疲劳结果。在本发明实施例中,模型在连续的长时间跟踪过程中能够有效地检测出人脸出现疲劳状态的过程,可以为疲劳监控提供一定的理论指导。

Description

一种基于TLD与轮廓编码的疲劳驾驶监控的方法
技术领域
本发明涉及视频技术领域,尤其涉及一种基于TLD与轮廓编码的疲劳驾驶监控的方法。
背景技术
驾驶疲劳,是指驾驶人在长时间连续行车后,产生生理机能和心理机能的失调,而在客观上出现驾驶技能下降的现象。驾驶人睡眠质量差或不足,长时间驾驶车辆,容易出现疲劳。驾驶疲劳会影响到驾驶人的注意、感觉、知觉、思维、判断、意志、决定和运动等诸方面。
引起疲劳驾驶的因素是多方面的。驾驶人的疲劳主要是神经和感觉器官的疲劳,以及因长时间保持固定姿势,血液循环不畅所引起的肢体疲劳。驾驶人长时间坐在固定的座位上,动作受到一定限制,注意力高度集中,忙于判断车外刺激信息,精神状态高度紧张,从而出现眼睛模糊、腰酸背痛、反应迟钝、驾驶不灵活等驾驶疲劳现象。形成疲劳的顺序是:眼睛,颈部、肩部、腰部,主要是眼睛和身体的疲劳还有大脑的疲劳这也是不可忽视的方面。
国内预防疲劳驾驶的技术主要采用:
1、挂耳朵的,一般驾驶员不愿意挂在耳朵上,功能非常简单,低头就报警,首先打瞌睡不一定就低头,等低头才报警估计已经挂了。
2、喝咖啡或喷兴奋药到嘴巴里,这个只有短时间的效果,且一旦过了时间人更疲惫,如果连续使用一个月,以后不再对你有任何效果。
3、手表式和眼镜式,手表式利用脉搏的跳动来估测人是否疲劳,没有权威的科学依据,且不能解决突然睡着的问题,眼镜式则是强迫带一幅厚重的眼镜来判断眨眼频率,基本上许多人都不适应,其实眨眼频率和疲劳 没有直接关系。
4、方向盘触摸式,利用在方向盘上安装一些传感器来感知驾驶员是否握住方向盘,这和疲劳其实也没有直接关系,有些人睡着了你还难从他手里取下东西呢,等人松弛了才报警估计也已经挂了,实在有些牵强附会,并且有安装传感器会使方向盘操作不方便。
5、车道偏移报警系统,技术上实现很容易,但不适合中国的路况,且在超车、被超、并线、压线都会存在误报,误报一多在关键时刻该报警的时候人就不再敏感了。
6、疲劳驾驶预警系统,一款基于机器视觉技术的驾驶辅助预警系统,可实时检测驾驶员的疲劳及注意力分散状态,并提供报警信息。
但这些技术依然不能较好解决疲劳驾驶中监测问题。
发明内容
本发明的目的在于克服现有技术的不足,本发明提供了一种电梯应急装置中后备电源加热处理的方法及其装置,能够针对普通寒冷天气下的电梯应急装置的使用。
为了解决上述问题,本发明提出了一种基于TLD与轮廓编码的疲劳驾驶监控的方法,包括如下步骤:
选定需要监控的人脸及人脸区域;
由跟踪核心模型对其进行实时跟踪,并将跟踪得到的目标区域输出;
由跟踪核心模型跟踪得到的人脸目标区域使用识别核心模型对其进行疲劳识别,并输出疲劳程度阈值;
由识别模型输出的疲劳程度阈值结果进行疲劳程度判断,并输出最终的疲劳结果。
所述选定需要监控的人脸及人脸区域包括:
将与人脸表情具有较大关系的眉毛、眼睛与嘴部的轮廓通过AAM模型进行提取,进而获得人脸各部位的轮廓;
分别采用模型算法进行转换编码,获得各部位的特征值,分别针对性地给各特征部位建立孤立的BP神经网络模式识别系统。
所述方法具体包括:
针对静态表情图像进行表情图像的灰度、尺寸归一化针对静态表情图像进行表情图像的灰度、尺寸归一化;
利用AAM模型提取模板人脸表情特征以构造模板人脸各部位的编码特征,同样对待识别图像也利用AAM模型提取其人脸表情特征以构造模板人脸各部位的编码特征;
将获得的人脸各部位特征编码分别训练建立好的BP神经网络模型;
将待识别图像的各部位编码特征分别输入训练好的BP神经网络,同时统计网络输出值中哪类表情最多,并以该表情作为最终的人脸表情识别结果。
所述编码参数分别是:编码矩阵大小为20*50,阈值系数为0.8,编码方式为横向编码。
在本发明实施例中,模型在连续的长时间跟踪过程中能够有效地检测出人脸出现疲劳状态的过程,可以为疲劳监控提供一定的理论指导。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于TLD与轮廓编码的疲劳驾驶监控的方法流程图;
图2是本发明实施例中的人脸全局特征中度疲劳跟踪识别结果示意图;
图3是本发明实施例中的人脸全局特征重度疲劳跟踪识别结果示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例, 而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本文在对疲劳驾驶监控的核心模型选择上,通过针对实际的驾驶过程的人脸动态跟踪,将本文的核心识别模块与核心跟踪模块相结合,建立能实时跟踪并识别人脸状态的疲劳驾驶识别系统。其中核心的识别模块主要以基于AAM提取的轮廓编码人脸表情识别为核心,而核心的跟踪模块主要以基于Mean-shift优化的TLD目标跟踪模型。因此本文在疲劳驾驶监控系统的开发过程中,主要将这两者进行结合。其整体的思路是,首先是依据跟踪模型,对所需要监控的目标进行实时的跟踪,并将跟踪得到的目标以核心识别模型对其进行识别。其中以上监控系统的两大核心的整体融合思路流程图如图1中所示,包括步骤如下:
S101、选定需要监控的人脸及人脸区域;
S102、由跟踪核心模型对其进行实时跟踪,并将跟踪得到的目标区域输出;
S103、由跟踪核心模型跟踪得到的人脸目标区域使用识别核心模型对其进行疲劳识别,并输出疲劳程度阈值;
S104、由识别模型输出的疲劳程度阈值结果进行疲劳程度判断,并输出最终的疲劳结果。
在以上的疲劳监控系统的建立过程中需要注意的几个关键点分别如下:
其一,在整体的跟踪过程中,其需要跟踪的目标框大小主要受到识别核心模型的特征提取限制。如:识别核心的主要对象是人脸整体区域,则目标跟踪窗口的主要区域最好选定人脸区域,尽可能的减少识别核心模型中的特征提取过程,以提高识别过程的速度。当识别核心的主要对象是人脸的局部时,则目标跟踪窗口的主要区域同样选定为人脸对应的局部部分。
其二,在目标对象的识别过程,其核心算法在识别并输出最终的疲劳结果时,应该具有一定的反馈能力,即能够反馈出目前的目标跟踪效果是有效的。否则,则提示应扩大目标跟踪区域。
其三,由于人脸的表情及疲劳是一个连续变化的过程,特别是针对人脸从未疲劳阶段转化为疲劳阶段的过程时,其识别结果得到的阈值更难进行划分。因此,整体上应该对于疲劳识别的输出给与一定的阈值划分。其中由于本文的识别核心模型是基于AAM提取的轮廓编码人脸表情识别模型,该模型会根据各局部特征的结果,并经过统计网络输出值中哪类表情最多,最后以该类型表情值作为最终的人脸表情识别结果。故本文的识别过程中为了简化模型的判断,同样按照人脸表情的思路对其进行统计,并作为疲劳值的最终结果。
其四,在检测到一帧像出现疲劳时,往往并不能直接表明该人脸处于疲劳状态,因此本文根据相关的文献研究成果,以出现疲劳的时间定义是否为实际的疲劳状态,其中本文设定的疲劳连续出现时间阈值设为2秒,即如果2秒内识别得到的人脸均为同样程度的疲劳状态时,则最终判断目标已经处于疲劳状态。
本文提出基于人脸特征部位轮廓编码的人脸表情识别。其中将与人脸表情具有较大关系的眉毛、眼睛与嘴部的轮廓通过AAM模型进行提取,进而获得人脸各部位的轮廓,并分别采用本文提出的模型算法进行转换编码,获得各部位的特征值。同时为了充分考虑人脸表情各关键部位的共同作用,分别针对性地给各特征部位建立孤立的BP神经网络模式识别系统,最后通过各部位的具体表情输出值以最多的匹配数给出人脸的表情的综合判断结果。
其中基于AAM模型提取的6个关键部位的人脸表情识别流程主要核心步骤如下:
步骤1,首先针对静态表情图像进行表情图像的灰度、尺寸归一化。
步骤2,利用AAM模型提取模板人脸表情特征以构造模板人脸各部位的编码特征,同样对待识别图像也利用AAM模型提取其人脸表情特征以构造模板人脸各部位的编码特征。
步骤3,将步骤2获得的人脸各部位特征编码分别训练建立好的BP神经网络模型。
步骤4,将待识别图像的各部位编码特征分别输入步骤3训练好的BP 神经网络,同时统计网络输出值中哪类表情最多,并以该表情作为最终的人脸表情识别结果。
通过以上的算法流程,其中设置的编码参数分别是:编码矩阵大小为20*50,阈值系数为0.8,编码方式为横向编码。
通过将以上6个关键特征部位的编码链作为输入信息,分别建立6个特征表情识别的神经网络模型,在JAFFE数据库中分析算法的识别率。其中JAFFE数据库中共包含了213幅图像,表情库中共有10个人,每个人有7种表情,故选取每个人脸的一个表情为训练样本,即70幅训练样本图像。结果表明在人脸数据库JAFFE内的表情识别率达到了97.18%。
通过以上针对疲劳驾驶监控系统的开发过程,可以看出,模型在开始时对于识别核心模型需要进行深入的训练,最好能够有足够的训练样本,且根据不同的人脸个体表征,其不同程度的疲劳出现的人脸表征均有所差异,因此,在识别的过程中最好能够有不同程度的疲劳样本训练核心识别模型。
而本文在疲劳监控识别的过程中,主要通过人工制造疲劳程度的图像进行检测,且为了充分体现核心识别与跟踪系统的可扩展性,主要分为重度及中度疲劳检测,分别如图2和图3中所示。
通过以上的模型对人工制造的中度疲劳及重度疲劳进行监控,其中设定连续2秒,即大约连续10帧人脸(该值主要由跟踪系统的跟踪速度决定)均出现疲劳状态时,则系统会提示目标已经处于疲劳状态。其中人工制造的疲劳视频跟踪及识别整体参数如下表1所示:
表1 人脸疲劳成功监控率
由以上人工制造的中度疲劳及重度疲劳的监控结果可以看出,模型在连续的长时间跟踪过程中能够有效地检测出人脸出现疲劳状态的过程,可以为疲劳监控提供一定的理论指导。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算 机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。
另外,以上对本发明实施例所提供的基于TLD与轮廓编码的疲劳驾驶监控的方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种基于TLD与轮廓编码的疲劳驾驶监控的方法,其特征在于,包括如下步骤:
选定需要监控的人脸及人脸区域;
由跟踪核心模型对其进行实时跟踪,并将跟踪得到的目标区域输出;
由跟踪核心模型跟踪得到的人脸目标区域使用识别核心模型对其进行疲劳识别,并输出疲劳程度阈值;
由识别模型输出的疲劳程度阈值结果进行疲劳程度判断,并输出最终的疲劳结果。
2.如权利要求1所述的基于TLD与轮廓编码的疲劳驾驶监控的方法,其特征在于,所述选定需要监控的人脸及人脸区域包括:
将与人脸表情具有较大关系的眉毛、眼睛与嘴部的轮廓通过AAM模型进行提取,进而获得人脸各部位的轮廓;
分别采用模型算法进行转换编码,获得各部位的特征值,分别针对性地给各特征部位建立孤立的BP神经网络模式识别系统。
3.如权利要求2所述的基于TLD与轮廓编码的疲劳驾驶监控的方法,其特征在于,所述方法具体包括:
针对静态表情图像进行表情图像的灰度、尺寸归一化针对静态表情图像进行表情图像的灰度、尺寸归一化;
利用AAM模型提取模板人脸表情特征以构造模板人脸各部位的编码特征,同样对待识别图像也利用AAM模型提取其人脸表情特征以构造模板人脸各部位的编码特征;
将获得的人脸各部位特征编码分别训练建立好的BP神经网络模型;
将待识别图像的各部位编码特征分别输入训练好的BP神经网络,同时统计网络输出值中哪类表情最多,并以该表情作为最终的人脸表情识别结果。
4.如权利要求3所述的基于TLD与轮廓编码的疲劳驾驶监控的方法,其特征在于,所述编码参数分别是:编码矩阵大小为20*50,阈值系数为0.8,编码方式为横向编码。
CN201610150085.0A 2016-03-16 2016-03-16 一种基于tld与轮廓编码的疲劳驾驶监控的方法 Pending CN105844218A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610150085.0A CN105844218A (zh) 2016-03-16 2016-03-16 一种基于tld与轮廓编码的疲劳驾驶监控的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610150085.0A CN105844218A (zh) 2016-03-16 2016-03-16 一种基于tld与轮廓编码的疲劳驾驶监控的方法

Publications (1)

Publication Number Publication Date
CN105844218A true CN105844218A (zh) 2016-08-10

Family

ID=56587111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610150085.0A Pending CN105844218A (zh) 2016-03-16 2016-03-16 一种基于tld与轮廓编码的疲劳驾驶监控的方法

Country Status (1)

Country Link
CN (1) CN105844218A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664947A (zh) * 2018-05-21 2018-10-16 五邑大学 一种基于表情识别的疲劳驾驶预警方法
CN109583406A (zh) * 2018-12-06 2019-04-05 中山大学 基于特征关注机制的人脸表情识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318237A (zh) * 2014-10-28 2015-01-28 厦门大学 基于人脸识别的疲劳驾驶预警方法
TW201608532A (zh) * 2014-08-26 2016-03-01 國立臺南大學 駕駛告警方法與駕駛告警裝置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201608532A (zh) * 2014-08-26 2016-03-01 國立臺南大學 駕駛告警方法與駕駛告警裝置
CN104318237A (zh) * 2014-10-28 2015-01-28 厦门大学 基于人脸识别的疲劳驾驶预警方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘春生: "人脸特征检测与疲劳状态识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
高宇: "基于AAM的驾驶员疲劳检测系统的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664947A (zh) * 2018-05-21 2018-10-16 五邑大学 一种基于表情识别的疲劳驾驶预警方法
CN109583406A (zh) * 2018-12-06 2019-04-05 中山大学 基于特征关注机制的人脸表情识别方法
CN109583406B (zh) * 2018-12-06 2022-09-27 中山大学 基于特征关注机制的人脸表情识别方法

Similar Documents

Publication Publication Date Title
Devi et al. Driver fatigue detection based on eye tracking
CN101639894B (zh) 在线检测列车驾驶员行为和疲劳状态的方法及其检测系统
CN105741494B (zh) 一种基于线下数据匹配的驾驶员疲劳监测方法
CN110119676A (zh) 一种基于神经网络的驾驶员疲劳检测方法
WO2017193272A1 (zh) 一种基于人脸识别的车载疲劳预警系统及预警方法
CN105719431A (zh) 一种疲劳驾驶检测系统
CN105286802B (zh) 基于视频信息的驾驶员疲劳检测方法
Al-Madani et al. Real-time driver drowsiness detection based on eye movement and yawning using facial landmark
CN105261153A (zh) 车辆行驶监控方法和装置
CN104361716A (zh) 实时检测疲劳并提醒的方法
CN104183091A (zh) 一种自适应调整疲劳驾驶预警系统灵敏度的系统
CN109389806A (zh) 基于多信息融合的疲劳驾驶检测预警方法、系统及介质
CN103340637A (zh) 基于眼动与脑电融合的驾驶员警觉度智能监控系统及方法
CN110717389A (zh) 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法
CN112489368A (zh) 智能跌倒识别与检测报警方法及系统
CN208969808U (zh) 基于人脸检测和声音检测的婴儿监护器
CN109829409A (zh) 驾驶员情绪状态检测方法及系统
Hemadri et al. Detection of drowsiness using fusion of yawning and eyelid movements
Huda et al. Mobile-based driver sleepiness detection using facial landmarks and analysis of EAR values
CN108960216A (zh) 一种动态人脸检测和识别方法
CN105844218A (zh) 一种基于tld与轮廓编码的疲劳驾驶监控的方法
CN109567832A (zh) 一种基于智能手环的检测愤怒驾驶状态的方法及系统
Alam et al. Active vision-based attention monitoring system for non-distracted driving
Wathiq et al. Optimized driver safety through driver fatigue detection methods
CN107184297A (zh) 一种用于老人监护的净化饮水系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160810

RJ01 Rejection of invention patent application after publication