CN107358167A - 一种基于主动红外视频的打哈欠判别方法 - Google Patents

一种基于主动红外视频的打哈欠判别方法 Download PDF

Info

Publication number
CN107358167A
CN107358167A CN201710462234.1A CN201710462234A CN107358167A CN 107358167 A CN107358167 A CN 107358167A CN 201710462234 A CN201710462234 A CN 201710462234A CN 107358167 A CN107358167 A CN 107358167A
Authority
CN
China
Prior art keywords
face
edge
yawned
combination
yawning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710462234.1A
Other languages
English (en)
Inventor
李小霞
张宇
肖娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN201710462234.1A priority Critical patent/CN107358167A/zh
Publication of CN107358167A publication Critical patent/CN107358167A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于主动红外视频的打哈欠判别方法。本方法包括如下步骤：步骤一，通过主动红外摄像头获取视频帧，并检测人脸图像；步骤二，在人脸检测框内规划出嘴巴活动区域；步骤三，在规划出的嘴巴活动区域内进行Prewitt和Canny融合边缘检测，并计算融合边缘纵向投影比R y ；步骤四，确定类打哈欠的阈值T R ；步骤五，打哈欠判别。其特征在于：通过在人脸框上规划出嘴巴活动区域，然后统计在规划区域内Prewitt与Canny融合边缘纵向投影比判断打哈欠的状态，判别的可靠性高。

Description

一种基于主动红外视频的打哈欠判别方法
技术领域
本发明属于计算机视觉领域，特别涉及一种基于主动红外视频的打哈欠判别方法。
背景技术
近年来，疲劳驾驶在导致交通事故中的比例逐年上升，因此，对驾驶员的疲劳状态监测研究在预防交通事故上具有重要意义。在驾驶疲劳状态监测技术中，监测技术的准确性对疲劳监测的可靠性尤为关键。目前虽已有大量的基于客观评判和主观度量的监测技术，但是其中多数技术存在准确率低、实用性不强、操作复杂、监测设备要求太高以及抗干扰能力不强等多种问题。研究表明，基于面部特征的主观度量疲劳状态判别方法具有硬件设备要求低、实现比较容易、直观性良好、对驾驶员影响小等优点。目前在国内虽已有基于面部特征的疲劳判别方法和系统，但其可靠性仍不能满足实际需要，比如仍缺乏长途客运/货运汽车的驾驶员疲劳检测预装系统。
打哈欠是可以表征驾驶员疲劳状态的一个显著特征。为了适应全天候和连续的监测，减少光照的影响，提出使用主动红外摄像头监测驾驶员打哈欠状态，但是在红外视频中，打哈欠判别存在两个问题：一个是嘴巴区域的定位问题。通常的方法是基于颜色或边缘特征对嘴巴进行定位，基于颜色特征的定位方法在红外视频中其特征不明显，而常用的边缘检测方法会存在边缘很少、边缘不连续和边缘缺失的问题，单一的边缘检测方法对打哈欠时嘴巴边缘特征表征不明显且对噪声敏感，很容易出现漏检或误检的情况。
另一个是打哈欠状态的判别问题。一般采用嘴部内轮廓的开合程度（嘴唇区域的高宽比）、嘴唇轮廓所在面积、基于灰度能量角点的嘴唇动态匹配模型等作为打哈欠的判别依据，由于在嘴巴定位环节采用区域规划的方法，那么基于高宽比和面积统计的方法就不适用，而且即使在可见光视频中检测到嘴巴后使用高宽比、面积统计和动态匹配模型，由于视频中人脸的大小和角度随时变化，其可靠性也不高。
发明内容
为了解决上述问题，本发明提供一种基于主动红外视频的打哈欠判别方法，该方法在人脸检测框上通过区域规划的方法定位嘴巴，其定位效率高、不会出现漏检，对嘴部动作和环境变化的适应度好；然后在规划区域内采用Prewitt与Canny融合边缘表征红外视频中打哈欠时的嘴巴边缘，再定义融合边缘的纵向投影比，能够定量的区分出打哈欠状态与其他常规状态（闭嘴、微笑及说话等），由于融合边缘的纵向投影比对嘴巴大小、角度、局部的边缘缺失和噪声不敏感，因此可提高打哈欠状态判别的可靠性。本发明的技术方案包含以下步骤：
步骤1，通过主动红外摄像头获取视频帧，基于Haar-like特征和AdaBoost分类器检测人脸图像；
步骤2，在人脸检测框内规划出嘴巴活动区域；
步骤3，在规划出的嘴巴活动区域内进行Prewitt和Canny融合边缘检测，并计算融合边缘纵向投影比R y ；
步骤4，确定类打哈欠的阈值T R ；
步骤5，打哈欠判别，确定阈值T R 后，当R y >T R 时可将该视频帧的状态判别为“类打哈欠”，如果在连续一定时间t秒内“类打哈欠”帧数s大于阈值p，则判别为一次打哈欠。
步骤2中嘴巴规划区域在人脸检测框的正中下方，保证无论脸朝向哪个方向嘴巴都处于所规划的区域内，设人脸检测框的宽和高分别为W和H，规划区域的宽和高分别为W/2和H/3。
步骤3中融合边缘检测方法是先检测Prewitt边缘，在此基础上再检测Canny边缘，通过四种状态下（嘴巴闭合、微笑、说话以及打哈欠）的人脸各种边缘检测实验，表明这种边缘融合方式可更好的区分打哈欠状态。在规划的嘴巴活动区域内，打哈欠状态下的融合边缘的纵向跨度（即在规划区域的边缘向y轴的纵向投影）明显大于其他状态。融合边缘纵向投影比R y 可作为打哈欠判别特征。
步骤4中确定类打哈欠判别的阈值T R （0<T R <1），即在打哈欠时使得规划区域内融合边缘纵向投影比R y >T R ，为了更好地将打哈欠和其他状态区分开来，选择多名使用者在四种状态（嘴巴闭合、微笑、说话以及打哈欠）下进行测试，并统计所测得的融合边缘纵向投影比R y 的范围，设定阈值为其他所有状态R y 的最大值与打哈欠状态R y 的最小值的平均值。
附图说明
图1为本发明的单帧图像“类打哈欠”判别流程图。
图2为本发明的嘴巴活动区域规划图。
图3为本发明的不同角度的嘴巴活动区域规划示意图。
图4为本发明的嘴巴规划区域融合边缘纵向投影示意图。
图5为本发明的嘴巴在四种状态下的融合边缘纵向投影比R y 统计表。
图6为本发明的打哈欠判别方法测试结果表。
具体实施方式
以下将对本发明的基于主动红外视频的打哈欠判别方法结合实例作进一步的详细描述。以下所述，仅为本发明较佳的具体实施方式，本发明的应用适用范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到某些技术方案的简单转化或等效替换均可落入本发明的应用适用范围内。
本发明中单帧图像的“类打哈欠”判别流程如图1所示：基于主动红外摄像头采集红外视频，采用Haar-like特征和AdaBoost算法检测人脸，在人脸检测的基础上规划嘴巴活动区域，在嘴巴规划区域检测融合边缘（Prewitt和Canny边缘的融合），然后计算融合边缘纵向投影比，通过纵向投影比与阈值比较判别每一帧是否“类打哈欠”。具体步骤如下：
步骤1，通过主动红外摄像头获取视频帧，在摄像头周围有6个红外补光二极管，摄像头滤波片的中心波长为850nm，摄像头安装位置与目标人脸水平距离50~60cm，与眼睛垂直距离为20~30cm，基于Haar-like特征和AdaBoost分类器检测人脸图像。
步骤2，在人脸检测框内规划出嘴巴活动区域（如图2），规划区域在人脸检测框的正中下方，设人脸检测框的宽和高分别为W和H，规划区域的宽和高分别为W/2和H/3。实验表明，按照图2进行规划具有很好的效果，在五个不同人脸朝向（向左、向右、正面、向上、向下）所有嘴巴的活动范围都处于所规划的区域内（如图3），按人脸比例规划嘴巴活动区域可保证检测的高效率、可靠性和适应性，有利于后续嘴巴边缘的检测和统计。
步骤3，在规划出的嘴巴活动区域内进行Prewitt和Canny融合边缘检测，并计算融合边缘纵向投影比R y ，用边缘纵向投影比R y 表示打哈欠判别特征，具体计算方法如下：
将嘴巴规划区域融合边缘检测后的图像用一个大小m*n的矩阵A表示，其中行数m为规划区域的高度即H/3，列数n为规划区域的宽度即W/2。图4中Ns表示边缘在纵向的投影量：
Ns=||a||0 （1）
a为融合边缘纵向投影的直方图，||a||0表示a中不为0的元素个数，求出边缘纵向投影量Ns之后，将其与规划区域的高度m相比得到边缘纵向投影比R y ：
（2）
其中H为规划区域的高度。
步骤4，确定类打哈欠判别的阈值T R 的具体过程如下：
选择多名使用者在四种状态（嘴巴闭合、微笑、说话以及打哈欠）下进行测试，并统计所测得的融合边缘纵向投影比R y 的范围，每个动作测试30秒，测试结果如图5所示，定义阈值为：
（3）
其中R y0max为其他所有状态R y 的最大值，R y1min为打哈欠状态R y 的最小值，根据图5的数据，在本例中。
步骤5，打哈欠判别，在确定阈值T R =51.625%后，当R y >T R 可将当前视频帧的状态判别为“类打哈欠”，如果在连续一段时间t秒内（本例中t为1秒）“类打哈欠”的帧数s大于阈值p（本例中p为5），则判别为一次打哈欠。
根据图1的步骤测试打哈欠判别方法的正确率，测试方式是：每名被测试者坐在摄像头前，模拟打哈欠的状态，如果被监测到则表示测试正确，每名被测试者重复做30次，结果如图6所示，可以看出本发明的打哈欠判别方法的准确度非常高，没有出现漏检和误检。

Claims (4)

1.一种基于主动红外视频的打哈欠判别方法，其特征在于：通过在人脸框上规划出嘴巴活动区域，然后统计在规划区域内Prewitt与Canny融合边缘纵向投影比判断打哈欠的状态，本方法包括五个步骤：
步骤1，通过主动红外摄像头获取视频帧，基于Haar-like特征和AdaBoost分类器检测人脸图像；
步骤2，在人脸检测框内规划出嘴巴活动区域；
步骤3，在规划出的嘴巴活动区域内进行Prewitt和Canny融合边缘检测，并计算融合边缘纵向投影比R y ；
步骤4，确定类打哈欠的阈值T R ；
步骤5，打哈欠判别，确定阈值T R 后，当R y >T R 时可将该视频帧的状态判别为“类打哈欠”，如果在连续一段时间t秒内“类打哈欠”帧数s大于阈值p，则判别为一次打哈欠。
2.根据权利要求1所述方法，步骤2中嘴巴规划区域在人脸检测框的正中下方，设人脸检测框的宽和高分别为W和H，规划区域的宽和高分别为W/2和H/3。
3.根据权利要求1所述方法，步骤3中融合边缘检测方法是先检测Prewitt边缘，在此基础上再检测Canny边缘，融合边缘纵向投影比R y 为：
（1）
Ns=||a||0为边缘在纵向的投影量，a为融合边缘纵向投影的直方图，||a||0表示a中不为0的元素个数，m为规划区域的高度，即H/3，H为人脸检测框高度。
4.根据权利要求1所述方法，步骤4中，类打哈欠判别的阈值R y 是通过统计多名使用者在四种状态（嘴巴闭合、微笑、说话以及打哈欠）的边缘纵向投影比确定，，其中R y0max为其他所有状态R y 的最大值，R y1min为打哈欠状态R y 的最小值。
CN201710462234.1A 2017-06-19 2017-06-19 一种基于主动红外视频的打哈欠判别方法 Pending CN107358167A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710462234.1A CN107358167A (zh) 2017-06-19 2017-06-19 一种基于主动红外视频的打哈欠判别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710462234.1A CN107358167A (zh) 2017-06-19 2017-06-19 一种基于主动红外视频的打哈欠判别方法

Publications (1)

Publication Number Publication Date
CN107358167A true CN107358167A (zh) 2017-11-17

Family

ID=60273726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710462234.1A Pending CN107358167A (zh) 2017-06-19 2017-06-19 一种基于主动红外视频的打哈欠判别方法

Country Status (1)

Country Link
CN (1) CN107358167A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309799A (zh) * 2019-07-05 2019-10-08 四川长虹电器股份有限公司 基于摄像头的说话判断方法
WO2020073403A1 (zh) * 2018-10-08 2020-04-16 清华大学 静默语音输入辨识方法、计算装置和计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436715A (zh) * 2011-11-25 2012-05-02 大连海创高科信息技术有限公司 疲劳驾驶检测方法
US20120306995A1 (en) * 2009-03-30 2012-12-06 Microsoft Corporation Ambulatory Presence Features
CN103617421A (zh) * 2013-12-17 2014-03-05 上海电机学院 基于综合视频特征分析的疲劳检测方法及系统
CN104574819A (zh) * 2015-01-09 2015-04-29 安徽清新互联信息科技有限公司 一种基于嘴巴特征的疲劳驾驶检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120306995A1 (en) * 2009-03-30 2012-12-06 Microsoft Corporation Ambulatory Presence Features
CN102436715A (zh) * 2011-11-25 2012-05-02 大连海创高科信息技术有限公司 疲劳驾驶检测方法
CN103617421A (zh) * 2013-12-17 2014-03-05 上海电机学院 基于综合视频特征分析的疲劳检测方法及系统
CN104574819A (zh) * 2015-01-09 2015-04-29 安徽清新互联信息科技有限公司 一种基于嘴巴特征的疲劳驾驶检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马倩: ""基于Ｐｒｅｗｉｔｔ和Ｃａｎｎｙ算法的边缘检测改进算法"", 《软件导刊》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020073403A1 (zh) * 2018-10-08 2020-04-16 清华大学 静默语音输入辨识方法、计算装置和计算机可读介质
CN110309799A (zh) * 2019-07-05 2019-10-08 四川长虹电器股份有限公司 基于摄像头的说话判断方法
CN110309799B (zh) * 2019-07-05 2022-02-08 四川长虹电器股份有限公司 基于摄像头的说话判断方法

Similar Documents

Publication Publication Date Title
CN109919132B (zh) 一种基于骨架检测的行人跌倒识别方法
CN109670396A (zh) 一种室内老人跌倒检测方法
CN105844234A (zh) 一种基于头肩检测的人数统计的方法及设备
CN106128022B (zh) 一种智慧金睛识别暴力动作报警方法
CN105139425B (zh) 一种人数统计方法及装置
CN106169071B (zh) 一种基于动态人脸与胸卡识别的考勤方法及系统
CN110334600A (zh) 一种多特征融合驾驶员异常表情识别方法
CN106210634A (zh) 一种智慧金睛识别人员倒地报警方法和装置
CN104978751B (zh) 基于摄像头角度的越界检测方法
JP5992276B2 (ja) 人物認識装置、及び方法
CN104361332B (zh) 一种用于疲劳驾驶检测的人脸眼睛区域定位方法
CN108280399A (zh) 一种场景自适应人脸识别方法
CN110569772A (zh) 一种泳池内人员状态检测方法
CN102930248A (zh) 基于机器学习的人群异常行为检测方法
CN102799893A (zh) 考场监控视频处理方法
CN106127814A (zh) 一种智慧金睛识别人员聚集打斗报警方法和装置
WO2019220589A1 (ja) 映像解析装置、映像解析方法、及びプログラム
CN103049748B (zh) 行为监测方法及装置
CN115841651B (zh) 基于计算机视觉与深度学习的施工人员智能监测系统
CN111783702A (zh) 一种基于图像增强算法和人体关键点定位的高效行人摔倒检测方法
CN107358167A (zh) 一种基于主动红外视频的打哈欠判别方法
TWI493510B (zh) 跌倒偵測方法
CN109034038A (zh) 一种基于多特征融合的火灾识别装置
CN115546904A (zh) 基于目标检测时序跟踪并识别人员摔倒后的危险性的方法
CN112597903B (zh) 基于步幅测量的电力人员安全状态智能识别方法及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171117

RJ01 Rejection of invention patent application after publication