CN104616438B - 一种用于疲劳驾驶检测的打哈欠动作检测方法 - Google Patents
一种用于疲劳驾驶检测的打哈欠动作检测方法 Download PDFInfo
- Publication number
- CN104616438B CN104616438B CN201510093756.XA CN201510093756A CN104616438B CN 104616438 B CN104616438 B CN 104616438B CN 201510093756 A CN201510093756 A CN 201510093756A CN 104616438 B CN104616438 B CN 104616438B
- Authority
- CN
- China
- Prior art keywords
- facial
- region
- characteristic
- video image
- yawning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Abstract
本发明提供了一种用于疲劳驾驶检测的打哈欠动作检测方法，借助面部匹配模板的各个面部特征区域各自对应的特征区域轮廓来分别匹配确定视频图像中人脸图像区域中各个面部特征区域的相对位置关系，从而很好地保证了对嘴部定位的准确性，同时采用主动形状模型匹配算法对视频图像的人脸图像区域中嘴部区域进行快速的匹配定位，数据运算量小、处理速度快，确保了嘴部定位的实时性；然后，通过对视频图像的人脸图像区域中嘴部区域匹配定位确定嘴部特征区域轮廓的实际形状，进而识别嘴部开合状态，实现对打哈欠动作的检测，检测准确性高，速度快，为打哈欠动作检测提供有效且实时性好的解决方案，能够用于为疲劳驾驶检测提供更具及时性的提示信号。
Description
技术领域
本发明涉及属于图像处理和模式识别技术领域，具体涉及一种用于疲劳驾驶检测的打哈欠动作检测方法。
背景技术
疲劳驾驶已经成为交通事故主要因素之一，疲劳驾驶检测仪作为在驾驶员出现疲劳驾驶状态时的检测和警示工具，已经开始得到较为广泛使用。疲劳驾驶检测技术是疲劳驾驶检测仪的核心技术。目前，疲劳驾驶检测技术主要包括基于人体生理信号（包括脑电、心电、皮肤电势等）检测、车辆状态信号（速度、加速度、侧位移等）检测、驾驶员操作行为（方向、油门和刹车等控制情况）检测和驾驶员面部图像特征检测（闭眼、眨眼、头动等）。其中，基于人体生理信号的检测需要检测装置同驾驶员身体接触，影响驾驶员的注意力。车辆状态信号和驾驶员的操作行为的检测受路况的影响较大，同时其设备由于过于复杂，价格昂贵等原因一直无法得到广泛的应用。驾驶员面部图像特征检测具有准确性好、效果明显、可靠性高和非接触性的优点，因此，对驾驶员面部进行视频图像采集，并通过视频图像进行面部图像特征检测，成为目前实现疲劳驾驶检测的首选方案。
在目前通过视频图像面部图像特征检测实现的疲劳驾驶检测方案中，往往都依据对眼睛活动状态的识别来判断驾驶员是否存在疲劳驾驶情况。例如，我国专利CN2021312U公开了一种基于红外眼态识别的疲劳驾驶检测方法，该方法采用背景差分算法初始定位眼睛，采用Kalman滤波器进行眼睛位置跟踪预测，采用融合红外图像空间纹理的改进Mean-Shift算法精确定位眼睛，然而该方法采用背景差分算法容易受到外界（如光照）的影响，对于减少算法复杂度和计算量无效果，因此容易导致识别不够及时的情况。我国专利CN202995969U公开了一种汽车疲劳驾驶远程监控及实时提醒系统，该专利中公开的方案通过监控管理中心来对所有汽车进行统一疲劳驾驶监控管理，用以对疲劳驾驶的驾驶人员进行实时提醒，但是该发明方案对监控中心的设备的性能要求非常高，监控中心数据处理量比较大，并且数据处理算法比较复杂，因此对驾驶人的疲劳驾驶提醒依然存在一定的数据处理延迟效应。不仅如此，依据对眼睛活动状态的识别来判断驾驶员是否存在疲劳驾驶情况，往往是考虑到驾驶员在疲劳驾驶情况下会因瞌睡而出现闭眼的动作，然而在识别到驾驶员出现闭眼动作后才判定疲劳驾驶而进行预警可能已经为时过晚，因为在汽车高速行驶的情况下，驾驶员1秒的闭眼动作都有可能引起严重的事故后果。可见，疲劳驾驶检测和提醒的及时性和实时性对于驾驶员的行车安全而言都是尤为重要的。
对于疲劳驾驶检测而言，驾驶员打哈欠的动作是更加及时的信号，因为打哈欠动作是驾驶员开始出现疲劳状态的象征，并且打哈欠动作往往出现在驾驶员因疲劳瞌睡而闭眼之前，此时驾驶员已处于轻度困乏状态，虽不易引发交通事故，但应当及时提醒驾驶员注意。然而在现有技术中，却没有发现通过打哈欠动作识别实现疲劳驾驶检测的相关技术专利，也鲜有关于打哈欠动作识别方法的相关研究。怎样提供一种有效、实时性较好的打哈欠动作识别方案，为对驾驶员的疲劳驾驶检测提供更具及时性的提示信号，是有待解决的技术问题。
发明内容
针对现有技术中存在的上述不足，本发明的目的在于提供一种用于疲劳驾驶检测的打哈欠动作检测方法，该方法主要采用主动形状模型匹配算法快速定位嘴部，并通过对嘴部开合状态的识别，实现对打哈欠动作的实时性检测，为用于疲劳驾驶检测的打哈欠动作检测提供有效且实时性好的解决方案。
为实现上述目的，本发明采用的一个技术手段是：
一种用于疲劳驾驶检测的打哈欠动作检测方法，通过在计算机设备中预设的面部匹配模板，对计算机设备获取到的视频图像逐帧地进行打哈欠动作识别处理，实现对打哈欠动作的实时性检测；所述面部匹配模板中描绘有人脸整体区域、左眉部、右眉部、右眼部、左眼部、鼻部和嘴部这7个面部特征区域各自所对应的特征区域轮廓，且各个面部特征区域对应的特征区域轮廓的初始轮廓形状及其相互之间的初始相对位置已根据先验知识得以确定；该方法包括如下步骤：
1）初始化打哈欠状态累加器n的值为0，预设定嘴部轮廓高宽比阈值ε和打哈欠状态累加阈值N的值；
2）读取一帧视频图像；
3）采用级联分类器对当前帧视频图像进行人脸检测，判定当前帧视频图像中是否检测到人脸图像区域；如果是，则继续执行步骤4；否则，跳转执行步骤8；
4）调用预设的面部匹配模板，采用主动形状模型匹配算法将面部匹配模板中的各个特征区域轮廓与当前帧视频图像中人脸图像区域的各个面部特征区域进行对应的匹配定位，确定面部匹配模板在当前帧视频图像的人脸图像区域中各个面部特征区域对应的特征区域轮廓的实际形状；
5）从匹配定位得到的面部匹配模板中提取出当前帧视频图像的人脸图像区域中的嘴部特征区域轮廓，根据嘴部特征区域轮廓的实际形状计算其覆盖的像素高度值H和像素宽度值W，并计算当前帧视频图像中的嘴部轮廓高宽比θ=H/W；
6）判断当前帧视频图像中的嘴部轮廓高宽比θ是否大于预设定的嘴部轮廓高宽比阈值ε；若θ>ε，则执行步骤7；若θ≤ε，执行步骤8；
7）令打哈欠状态累加器n的值累加1，然后判断当前打哈欠状态累加器n的值是否已等于打哈欠状态累加阈值N；若n<N，则跳转执行步骤10；若n=N，则跳转执行步骤9；
8）令打哈欠状态累加器n的值重置为0，然后跳转执行步骤10；
9）判定视频图像中人脸图像处于打哈欠动作状态，输出打哈欠动作指示信息；然后跳转执行步骤8；
10）读取下一帧视频图像，返回执行步骤3。
上述述用于疲劳驾驶检测的打哈欠动作检测方法中，作为一种优选方案，所述面部匹配模板采用主动形状模型匹配算法数据库中的“my68-1d.amf”人脸模板，其中通过68个特征点来描绘出人脸的7个面部特征区域所对应的特征区域轮廓，分别为：
人脸整体区域对应的特征区域轮廓具有15个特征点，特征点编号依次为0~14；左眉部对应的特征区域轮廓具有6个特征点，特征点编号依次为15~20；右眉部对应的特征区域轮廓具有6个特征点，特征点编号依次为21~26；右眼部对应的特征区域轮廓具有5个特征点，特征点编号依次为27~31；左眼部对应的特征区域轮廓具有5个特征点，特征点编号依次为32~36；鼻部对应的特征区域轮廓具有12个特征点，特征点编号依次为37~47以及67；嘴部对应的特征区域轮廓具有19个特征点，特征点编号依次为48~66；
面部匹配模板“my68-1d.amf”中每个面部特征区域对应的特征区域轮廓中各个特征点的位置以及各个特征区域轮廓相互之间的初始相对位置已根据先验知识得以确定。
上述述用于疲劳驾驶检测的打哈欠动作检测方法中，作为一种优选方案，所述步骤3中“采用级联分类器对当前帧视频图像进行人脸检测”的具体方式为：调用计算机视觉类库OpenCV中CvHaarClassifierCascade级联分类器的cvHaarDetectObjects( )函数对当前帧视频图像进行人脸检测。
上述述用于疲劳驾驶检测的打哈欠动作检测方法中，作为一种优选方案，所述步骤4中“采用主动形状模型匹配算法将面部匹配模板中的各个特征区域轮廓与当前帧视频图像中人脸图像区域的各个面部特征区域进行对应的匹配定位”的具体方式为：首先调用主动形状模型匹配算法数据库中的InitShapeFromDetBox( )函数对面部匹配模板进行初始化，等待匹配定位；然后调用主动形状模型匹配算法数据库中的ASMSeqSearch( )函数在当前帧视频图像的人脸图像区域中分别搜索面部匹配模板中的每个特征区域轮廓的最佳匹配位置，进行匹配定位处理，确定面部匹配模板在当前帧视频图像的人脸图像区域中各个面部特征区域对应的特征区域轮廓的实际形状。
上述述用于疲劳驾驶检测的打哈欠动作检测方法中，作为一种优选方案，所述步骤4中“根据嘴部特征区域轮廓的实际形状计算其覆盖的像素高度值H和像素宽度值W”的具体方式为：在当前帧视频图像中绘制匹配定位得到的面部匹配模板中嘴部特征区域轮廓的外接矩形，确定所述外接矩形左上角的像素坐标点(XMIN,YMIN)和右下角的像素坐标点(XMAX,YMAX)，其中，XMIN和YMIN分别为所述外接矩形左上角像素坐标点的列像素坐标和行像素坐标，XMAX和YMAX分别为所述外接矩形右下角像素坐标点的列像素坐标和行像素坐标；然后，计算所述嘴部特征区域轮廓的实际形状所覆盖的像素高度值H=YMAX-YMIN，像素宽度值W=XMAX-XMIN。
上述述用于疲劳驾驶检测的打哈欠动作检测方法中，作为一种优选方案，所述嘴部轮廓高宽比阈值ε的设定值取值范围为0.3~0.6。
上述述用于疲劳驾驶检测的打哈欠动作检测方法中，作为一种优选方案，所述打哈欠状态累加阈值N的设定值取值范围为3fa~6fa，fa为视频图像的帧频值。
相比于现有技术，本发明具有以下有益效果：
1、本发明用于疲劳驾驶检测的打哈欠动作检测方法，借助面部匹配模板的各个面部特征区域各自对应的特征区域轮廓来分别匹配确定视频图像中人脸图像区域中各个面部特征区域的相对位置关系，从而很好地保证了对嘴部定位的准确性，同时采用主动形状模型匹配算法对视频图像的人脸图像区域中嘴部区域进行快速的匹配定位，数据运算量小、处理速度快，确保了嘴部定位的实时性。
2、本发明用于疲劳驾驶检测的打哈欠动作检测方法中，通过对视频图像的人脸图像区域中嘴部区域匹配定位确定嘴部特征区域轮廓的实际形状，进而识别嘴部开合状态，实现对打哈欠动作的检测，检测准确性高，速度快，能够用于为疲劳驾驶检测提供更具及时性的提示信号。
附图说明
图1为主动形状模型匹配算法数据库中的人脸模板“my68-1d.amf”的示意图。
图2为本发明用于疲劳驾驶检测的打哈欠动作检测方法的流程框图。
具体实施方式
本发明提供一种用于疲劳驾驶检测的打哈欠动作检测方法，该方法可以应用在通过对驾驶室进行视频拍摄后执行疲劳驾驶检测的计算机设备中实现对人脸嘴部区域的快速定位，并对嘴部状态进行识别，快速实现对打哈欠动作的检测，从而为疲劳驾驶检测提供及时的提示信号。
通过对疲劳检测的具体情况加以分析可以发现，正常驾驶过程中驾驶员头部频繁转动，表示该驾驶员在观察路况和车况，而当驾驶员处于疲劳驾驶状态时会出现呆滞，即头部运动幅度很小的情况。而根据驾驶室环境和成像设备安装位置，在驾驶员头部运动幅度很小的条件下，安装在驾驶仪表台上的成像设备可以清晰对驾驶员的人脸部以及眉毛、眼睛、鼻部、嘴部等面部特征区域进行清晰成像，从而能够在成像设备拍摄到的视频图像中获得较为清晰的驾驶员人脸整体区域轮廓以及眉毛、眼睛、鼻部、嘴部等面部特征区域图像。由于与人脸眼部的细节纹理相比，这些面部特征区域的范围和面积较大，在成像质量和数据处理复杂程度要求较低的条件下也能够较好地得以识别，如果考虑基于眉毛、眼睛、鼻梁、鼻孔、脸部等不同区域之间的相对位置关系，来实现对人脸嘴部区域的定位，那么就能够避免依据复杂的纹理特征对嘴部进行识别所带来的处理流程复杂、数据处理量大的问题，提高识别效率，增强检测实时性。
基于上述分析思路，在本发明的打哈欠动作检测方法中，通过在计算机设备中预设的面部匹配模板，并且在面部匹配模板中描绘有人脸整体区域、左眉部、右眉部、右眼部、左眼部、鼻部和嘴部这7个面部特征区域各自所对应的特征区域轮廓，且各个面部特征区域对应的特征区域轮廓的初始轮廓形状及其相互之间的初始相对位置已根据先验知识得以确定，借助该面部匹配模板的7个面部特征区域对应的特征区域轮廓，采用主动形状模型匹配算法与视频图像中人脸图像区域的各个面部特征区域进行对应的匹配定位，能够利用各个面部特征区域位置来相互验证各个特征区域轮廓匹配定位的准确性，从而实现对视频图像的人脸图像区域中嘴部区域准确、快速的定位，并获得视频图像的人脸图像区域中嘴部特征区域轮廓的实际形状。当然，如果在具体应用中有需要，还可以在面部匹配模板中设置其它的面部特征区域对应的特征区域轮廓，例如额部、耳部、下巴等面部特征区域所以对应的特征区域轮廓，以进一步确保嘴部区域定位的准确性。但面部匹配模板中特征区域轮廓数量的增多会相应增加数据处理量和检测延时，降低检测实时性。因此，在确保定位准确性并兼顾检测实时性的前提下，在面部匹配模板中保留人脸整体区域、左眉部、右眉部、右眼部、左眼部、鼻部和嘴部这7个面部特征区域所对应的特征区域轮廓是较优的选择方案。并且，本发明的打哈欠动作检测方法中，采用主动形状模型匹配算法进行嘴部区域的定位，而在主动形状模型匹配算法数据库中存在可用的人脸模板，例如主动形状模型匹配算法数据库中的人脸模板“my68-1d.amf”，其中通过68个特征点来描绘出人脸的人脸整体区域、左眉部、右眉部、右眼部、左眼部、鼻部和嘴部这7个面部特征区域所对应的特征区域轮廓，如图1所示，分别为：人脸整体区域对应的特征区域轮廓具有15个特征点，特征点编号依次为0~14；左眉部对应的特征区域轮廓具有6个特征点，特征点编号依次为15~20；右眉部对应的特征区域轮廓具有6个特征点，特征点编号依次为21~26；右眼部对应的特征区域轮廓具有5个特征点，特征点编号依次为27~31；左眼部对应的特征区域轮廓具有5个特征点，特征点编号依次为32~36；鼻部对应的特征区域轮廓具有12个特征点，特征点编号依次为37~47以及67；嘴部对应的特征区域轮廓具有19个特征点，特征点编号依次为48~66。其中，每个面部特征区域对应的特征区域轮廓中各个特征点的初始位置（即相当于初始轮廓形状）以及各个特征区域轮廓相互之间的初始相对位置已根据先验知识得以确定。因此主动形状模型匹配算法数据库中的人脸模板“my68-1d.amf”即可直接作为本发明方法中的面部匹配模板加以使用，避免了自行创建面部匹配模板数据，并且经过前人的使用经验，人脸模板“my68-1d.amf”已具备较好的匹配定位效果。
在准备好面部匹配模板后，即可借助面部匹配模板进行打哈欠动作的检测处理。本发明的基本思想是：对于逐帧输入的单帧视频图像数据，经过人脸检测和面部特征区域定位处理之后，可以得到面部匹配模板匹配到单帧视频图像中人脸各个面部特征区域的位置，结合各个面部特征区域的检测结果，确定面部匹配模板中嘴部特征区域轮廓的位置和实际形状，根据嘴部特征区域轮廓的实际形状判断嘴部的开合情况，并结合多帧图像计算嘴部张开的持续时间，对打哈欠动作加以识别和检测。本发明用于疲劳驾驶检测的打哈欠动作检测方法的具体流程如图2所示，包括如下步骤：
1）初始化打哈欠状态累加器n的值为0，预设定嘴部轮廓高宽比阈值ε和打哈欠状态累加阈值N的值。
其中，嘴部轮廓高宽比阈值ε用于作为判断嘴部开合情况的判别阈值；打哈欠状态累加器n用于记录在视频图像中检测到嘴部张开动作的连续帧数，即相当于计算嘴部张开动作的持续时间；打哈欠状态累加阈值N即作为检测到嘴部张开动作的连续帧数达到被视为打哈欠动作的帧数判别阈值。
2）读取一帧视频图像。
3）采用级联分类器对当前帧视频图像进行人脸检测，判定当前帧视频图像中是否检测到人脸图像区域；如果是，则继续执行步骤4）；否则，跳转执行步骤8）。
本发明的打哈欠动作检测方法，是在基于视频图像人脸区域检测的基础上而实施的，在视频图像分析中采用级联分类器检测人脸图像区域已经是比较成熟的现有技术，在背景技术中提及的几篇技术文献中都有采用到这一技术。
4）调用预设的面部匹配模板，采用主动形状模型匹配算法将面部匹配模板中的各个特征区域轮廓与当前帧视频图像中人脸图像区域的各个面部特征区域进行对应的匹配定位，确定面部匹配模板在当前帧视频图像的人脸图像区域中各个面部特征区域对应的特征区域轮廓的实际形状。
本发明采用采用主动形状模型匹配算法（Active Shape Model，缩写为ASM）在当前帧视频图像中对面部匹配模板进行匹配和定位，因为主动形状模型匹配算法具有匹配运算速度较快、定位准确的特点，并且数据运算量也较小。主动形状模型匹配算法是建立在点分布模型（Point Distribution Model，缩写为PDM）基础上的一种算法，其通过训练图像样本获取训练图像样本中目标几何形状的特征点分布的统计信息，并且获取特征点允许存在的变化方向，实现在目标图像上寻找对应的特征点的位置，从而实现对目标图像上目标几何形状的匹配和定位。训练样本需要根据先验知识手动标记目标几何形状所有的特征点的位置，记录特征点的坐标，并且计算每一个特征点对应的局部灰度模型作为局部特征点调整用的特征向量；再将训练好的模型放在目标图像上，寻找每一个特征点的下一个位置的时候，采用局部灰度模型寻找目标图像中在当前特征点指定方向上与局部灰度模型马氏距离最小的位置点作为当前特征点即将移动到的位置，称为跟踪特征点（suggested point），找到所有的跟踪特征点就可以获得一个搜索的跟踪形状（suggested shape），然后通过调整参数将当前的模型最近似地调整到与跟踪形状相重合的位置上；重复上述步骤进行迭代直至收敛，则使得模型与目标图像上目标几何形状的位置和形状相匹配，实现对目标几何形状的匹配和定位。主动形状模型匹配算法的具体处理过程可参见T.F Cootes、C.J Taylor等人的文献“Active Shape Models-Their Training and Application[J].Computer Vision and
Image Understanding”。
5）从匹配定位得到的面部匹配模板中提取出当前帧视频图像的人脸图像区域中的嘴部特征区域轮廓，根据嘴部特征区域轮廓的实际形状计算其覆盖的像素高度值H和像素宽度值W，并计算当前帧视频图像中的嘴部轮廓高宽比θ=H/W。
确定当前帧视频图像中的嘴部轮廓高宽比θ，即相当于确定当前帧视频图像中嘴部的开合程度。
6）判断当前帧视频图像中的嘴部轮廓高宽比θ是否大于预设定的嘴部轮廓高宽比阈值ε；若θ>ε，则执行步骤7）；若θ≤ε，执行步骤8）。
将体现当前帧视频图像中嘴部的开合程度的嘴部轮廓高宽比θ与嘴部轮廓高宽比阈值ε进行比较，若θ>ε，则表明在当前帧视频图像中检测到嘴部张开动作。
7）令打哈欠状态累加器n的值累加1，然后判断当前打哈欠状态累加器n的值是否已等于打哈欠状态累加阈值N；若n<N，则跳转执行步骤10）；若n=N，则跳转执行步骤9）。
通过打哈欠状态累加器n的值记录在视频图像中检测到嘴部张开动作的连续帧数，若n=N，即嘴部张开动作的连续帧数已达到被视为打哈欠动作的帧数判别阈值，则判定视频图像中人脸图像处于打哈欠动作状态。
8）令打哈欠状态累加器n的值重置为0，然后跳转执行步骤10）。
9）判定视频图像中人脸图像处于打哈欠动作状态，输出打哈欠动作指示信息；然后跳转执行步骤8）。
步骤9）中输出的打哈欠动作指示信息，可以用于传输至疲劳驾驶检测系统作为一种及时性的疲劳驾驶提示信号，让疲劳驾驶检测系统能够根据该打哈欠动作指示信息作出应急处理，对驾驶员进行提醒或警示。
10）读取下一帧视频图像，返回执行步骤3）。以持续地进行逐帧检测。
通过上述检测处理流程可以看到，在本发明用于疲劳驾驶检测的打哈欠动作检测方法中，借助面部匹配模板中7个面部特征区域各自对应的特征区域轮廓来分别匹配确定视频图像中人脸图像区域中各个面部特征区域的相对位置关系，确保特征区域轮廓匹配定位的准确性，同时采用主动形状模型匹配算法对视频图像的人脸图像区域中嘴部区域进行快速的匹配定位，并获得视频图像的人脸图像区域中嘴部特征区域轮廓的实际形状，进而识别嘴部开合状态，实现对打哈欠动作的实时性检测。
为了更好地体现本发明用于疲劳驾驶检测的人脸眼睛区域定位方法的技术效果，下面结合实验对本发明方法加以进一步说明。
实验测试：
该实验中，采用摄像头采集人脸视频图像后传输至计算机，采用主动形状模型匹配算法数据库中的人脸模板“my68-1d.amf”（如图1所示）作为面部匹配模板，由计算机采用本发明方法进行打哈欠动作检测处理。摄像头采集的视频图像像素大小为640*480，帧频为30fps；计算机处理器为Intel(R) Core(TM)i5-2520M CPU @2.5GHz，处理内存为4GB RAM。实验过程共采集5段测试视频，每段测试视频的时长均超过15分钟，且每段测试视频中均包含超过20次的打哈欠动作。采用本发明方法分别对5段测试视频逐帧地进行打哈欠动作识别处理，对每段测试视频进行打哈欠动作识别的具体处理流程为：
1）初始化打哈欠状态累加器n的值为0，预设定嘴部轮廓高宽比阈值ε和打哈欠状态累加阈值N的值。
通过长期实验数据统计，根据不同人打哈欠动作时嘴型开合程度以及持续时间的不同，嘴部轮廓高宽比阈值ε的设定值优选取值范围为0.3~0.6，即嘴部轮廓高宽比值达到0.3~0.6及其以上的开合度，则判定嘴部处于张开状态；而打哈欠状态累加阈值N的设定值优选取值范围为3fa~6fa，fa表示视频图像的帧频值，即相当于在判定嘴部处于张开状态的持续时间达到了3~6秒甚至更长的时间，则判定已出现打哈欠动作。在本实验中，预设定嘴部轮廓高宽比阈值ε=0.5，打哈欠状态累加阈值N=5fa=25。
2）读取一帧视频图像。
3）采用级联分类器对当前帧视频图像进行人脸检测，判定当前帧视频图像中是否检测到人脸图像区域；如果是，则继续执行步骤4）；否则，跳转执行步骤8）。
为了更好的确保人脸区域检测的处理效率，本实验借助了开放源代码的计算机视觉类库（Open Source Computer Vision Library，缩写为OpenCV）中的级联分类器来完成视频图像中的人脸检测。计算机视觉类库OpenCV由因特尔公司位于俄罗斯的研究实验室开发，是一套可免费获得的由一些C函数和C++类所组成的库，用来实现一些常用的图像处理及计算机视觉算法，可实现物体轮廓跟踪、图像的几何处理、形体学处理、图像特征提取、背景分离、金字塔算法、种子填充算法、光流算法、主动轮廓算法、相机的校正、姿势的识别等众多操作，并集成了相应的分类器和处理函数。因此，在进行人脸检测处理时，可以通过调用计算机视觉类库OpenCV中CvHaarClassifierCascade级联分类器的cvHaarDetectObjects( )函数对当前帧视频图像进行人脸检测，检测效果好、速度快。
4）调用预设的面部匹配模板，采用主动形状模型匹配算法将面部匹配模板中的各个特征区域轮廓与当前帧视频图像中人脸图像区域的各个面部特征区域进行对应的匹配定位，确定面部匹配模板在当前帧视频图像的人脸图像区域中各个面部特征区域对应的特征区域轮廓的实际形状。
在本实验中，采用主动形状模型匹配算法对面部匹配模板进行匹配定位时，首先调用主动形状模型匹配算法数据库中的InitShapeFromDetBox( )函数对面部匹配模板进行初始化，等待匹配定位；然后调用主动形状模型匹配算法数据库中的ASMSeqSearch( )函数在当前帧视频图像的人脸图像区域中分别搜索面部匹配模板中的每个特征区域轮廓的最佳匹配位置，进行匹配定位处理，确定面部匹配模板在当前帧视频图像的人脸图像区域中各个面部特征区域对应的特征区域轮廓的实际形状。通过直接调用主动形状模型匹配算法数据库中的函数执行对面部匹配模板的匹配定位，其处理速度更快，匹配定位的准确性也能得到很好的保证。
5）从匹配定位得到的面部匹配模板中提取出当前帧视频图像的人脸图像区域中的嘴部特征区域轮廓，根据嘴部特征区域轮廓的实际形状计算其覆盖的像素高度值H和像素宽度值W，并计算当前帧视频图像中的嘴部轮廓高宽比θ=H/W。
在本实验中，计算嘴部特征区域轮廓覆盖的像素高度值H和像素宽度值W的具体范式是：在当前帧视频图像中绘制匹配定位得到的面部匹配模板中嘴部特征区域轮廓的外接矩形，确定所述外接矩形左上角的像素坐标点(XMIN,YMIN)和右下角的像素坐标点(XMAX,YMAX)，其中，XMIN和YMIN分别为所述外接矩形左上角像素坐标点的列像素坐标和行像素坐标，XMAX和YMAX分别为所述外接矩形右下角像素坐标点的列像素坐标和行像素坐标；然后，计算所述嘴部特征区域轮廓的实际形状所覆盖的像素高度值H=YMAX-YMIN，像素宽度值W=XMAX-XMIN。这样计算的方式，无需通过遍历获取嘴部特征区域轮廓覆盖的所有像素点的像素坐标值后统计其像素覆盖范围来确定像素高度值H和像素宽度值W，而只需要获取两个坐标点的像素坐标进行计算即可，处理更加简单、迅速。
6）判断当前帧视频图像中的嘴部轮廓高宽比θ是否大于预设定的嘴部轮廓高宽比阈值ε；若θ>ε，则执行步骤7）；若θ≤ε，执行步骤8）。
7）令打哈欠状态累加器n的值累加1，然后判断当前打哈欠状态累加器n的值是否已等于打哈欠状态累加阈值N；若n<N，则跳转执行步骤10）；若n=N，则跳转执行步骤9）。
8）令打哈欠状态累加器n的值重置为0，然后跳转执行步骤10）。
9）判定视频图像中人脸图像处于打哈欠动作状态，输出打哈欠动作指示信息；然后跳转执行步骤8）。
10）读取下一帧视频图像，返回执行步骤3）。
完成对5段测试视频的打哈欠动作检测处理后，统计对每一段测试视频的单帧平均检测时间，并且通过人工识别并手动标记该5段测试视频中每次打哈欠动作的实际持续时间段，然后将检测结果中各次检测输出打哈欠动作指示信息的检测时间点与各次相应打哈欠动作的实际持续时间段进行对照，若检测时间点在相应打哈欠动作实际持续时间段以内则判定为检测准确，若检测时间点在相应打哈欠动作实际持续时间段以外或未检测到打哈欠动作则判定为检测不准确，统计针对每一段测试视频的检测准确率。最终统计结果如表1所示。
表1
在采集的5段测试视频中，测试视频1、2、3中人头部位置处于静止状态或仅有轻微头动，避免了因头动引起人脸检测失败而导致的检测误差，检测准确率均达到了100%；而在测试视频4和测试视频5中，几次打哈欠动作的过程中存在较大幅度的头动，因此可能因为人脸检测失败而导致未能及时检测到打哈欠动作，检测准确率有所降低，但总体检测准确率均在85%以上，已具备非常好的检测效果。而在实际应用情况下，若驾驶员头部较大幅度的转动，通常是驾驶员在观察路况和车况，而当驾驶员处于疲劳驾驶状态时会出现呆滞，即头部运动幅度很小情况。也就是说，头部运动幅度过大的情况，在实际应用情况下不属于需要检测疲劳状态的情况，因此本发明的打哈欠动作检测方法因头动引起的检测误差并不会对实际的疲劳驾驶检测预警准确性产生实质的影响。同时，采用本发明方法对5段测试视频进行打哈欠动作的检测处理中，单帧平均检测时间均不超过30ms，最快的单帧平均检测时间达到23ms，而在视频图像检测识别领域，单帧识别处理延时小于60ms即可认为满足实时性要求，可见本发明的打哈欠动作检测方法具有很好的实时性。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1. 一种用于疲劳驾驶检测的打哈欠动作检测方法，其特征在于，通过在计算机设备中预设的面部匹配模板，对计算机设备获取到的视频图像逐帧地进行打哈欠动作识别处理，实现对打哈欠动作的实时性检测；所述面部匹配模板中描绘有人脸整体区域、左眉部、右眉部、右眼部、左眼部、鼻部和嘴部这7个面部特征区域各自所对应的特征区域轮廓，且各个面部特征区域对应的特征区域轮廓的初始轮廓形状及其相互之间的初始相对位置已根据先验知识得以确定；该方法包括如下步骤：
1）初始化打哈欠状态累加器n的值为0，预设定嘴部轮廓高宽比阈值ε和打哈欠状态累加阈值N的值；
2）读取一帧视频图像；
3）采用级联分类器对当前帧视频图像进行人脸检测，判定当前帧视频图像中是否检测到人脸图像区域；如果是，则继续执行步骤4）；否则，跳转执行步骤8）；
4）调用预设的面部匹配模板，采用主动形状模型匹配算法将面部匹配模板中的各个特征区域轮廓与当前帧视频图像中人脸图像区域的各个面部特征区域进行对应的匹配定位，确定面部匹配模板在当前帧视频图像的人脸图像区域中各个面部特征区域对应的特征区域轮廓的实际形状；
5）从匹配定位得到的面部匹配模板中提取出当前帧视频图像的人脸图像区域中的嘴部特征区域轮廓，根据嘴部特征区域轮廓的实际形状计算其覆盖的像素高度值H和像素宽度值W，并计算当前帧视频图像中的嘴部轮廓高宽比θ=H/W；
6）判断当前帧视频图像中的嘴部轮廓高宽比θ是否大于预设定的嘴部轮廓高宽比阈值ε；若θ>ε，则执行步骤7）；若θ≤ε，执行步骤8）；
7）令打哈欠状态累加器n的值累加1，然后判断当前打哈欠状态累加器n的值是否已等于打哈欠状态累加阈值N；若n<N，则跳转执行步骤10）；若n=N，则跳转执行步骤9）；
8）令打哈欠状态累加器n的值重置为0，然后跳转执行步骤10）；
9）判定视频图像中人脸图像处于打哈欠动作状态，输出打哈欠动作指示信息；然后跳转执行步骤8）；
10）读取下一帧视频图像，返回执行步骤3）。
2. 根据权利要求1所述用于疲劳驾驶检测的打哈欠动作检测方法，其特征在于，所述面部匹配模板采用主动形状模型匹配算法数据库中的“my68-1d.amf”人脸模板，其中通过68个特征点来描绘出人脸的7个面部特征区域所对应的特征区域轮廓，分别为：
人脸整体区域对应的特征区域轮廓具有15个特征点，特征点编号依次为0~14；左眉部对应的特征区域轮廓具有6个特征点，特征点编号依次为15~20；右眉部对应的特征区域轮廓具有6个特征点，特征点编号依次为21~26；右眼部对应的特征区域轮廓具有5个特征点，特征点编号依次为27~31；左眼部对应的特征区域轮廓具有5个特征点，特征点编号依次为32~36；鼻部对应的特征区域轮廓具有12个特征点，特征点编号依次为37~47以及67；嘴部对应的特征区域轮廓具有19个特征点，特征点编号依次为48~66；
面部匹配模板“my68-1d.amf”中每个面部特征区域对应的特征区域轮廓中各个特征点的位置以及各个特征区域轮廓相互之间的初始相对位置已根据先验知识得以确定。
3. 根据权利要求1所述用于疲劳驾驶检测的打哈欠动作检测方法，其特征在于，所述步骤3）中“采用级联分类器对当前帧视频图像进行人脸检测”的具体方式为：调用计算机视觉类库OpenCV中CvHaarClassifierCascade级联分类器的cvHaarDetectObjects( )函数对当前帧视频图像进行人脸检测。
4. 根据权利要求1所述用于疲劳驾驶检测的打哈欠动作检测方法，其特征在于，所述步骤4）中“采用主动形状模型匹配算法将面部匹配模板中的各个特征区域轮廓与当前帧视频图像中人脸图像区域的各个面部特征区域进行对应的匹配定位”的具体方式为：首先调用主动形状模型匹配算法数据库中的InitShapeFromDetBox( )函数对面部匹配模板进行初始化，等待匹配定位；然后调用主动形状模型匹配算法数据库中的ASMSeqSearch( )函数在当前帧视频图像的人脸图像区域中分别搜索面部匹配模板中的每个特征区域轮廓的最佳匹配位置，进行匹配定位处理，确定面部匹配模板在当前帧视频图像的人脸图像区域中各个面部特征区域对应的特征区域轮廓的实际形状。
5. 根据权利要求1所述用于疲劳驾驶检测的打哈欠动作检测方法，其特征在于，所述步骤4）中“根据嘴部特征区域轮廓的实际形状计算其覆盖的像素高度值H和像素宽度值W”的具体方式为：在当前帧视频图像中绘制匹配定位得到的面部匹配模板中嘴部特征区域轮廓的外接矩形，确定所述外接矩形左上角的像素坐标点(XMIN,YMIN)和右下角的像素坐标点(XMAX,YMAX)，其中，XMIN和YMIN分别为所述外接矩形左上角像素坐标点的列像素坐标和行像素坐标，XMAX和YMAX分别为所述外接矩形右下角像素坐标点的列像素坐标和行像素坐标；然后，计算所述嘴部特征区域轮廓的实际形状所覆盖的像素高度值H=YMAX-YMIN，像素宽度值W=XMAX-XMIN。
6. 根据权利要求1所述用于疲劳驾驶检测的打哈欠动作检测方法，其特征在于，所述嘴部轮廓高宽比阈值ε的设定值取值范围为0.3~0.6。
7. 根据权利要求1所述用于疲劳驾驶检测的打哈欠动作检测方法，其特征在于，所述打哈欠状态累加阈值N的设定值取值范围为3fa~6fa，fa为视频图像的帧频值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510093756.XA CN104616438B (zh) | 2015-03-02 | 2015-03-02 | 一种用于疲劳驾驶检测的打哈欠动作检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510093756.XA CN104616438B (zh) | 2015-03-02 | 2015-03-02 | 一种用于疲劳驾驶检测的打哈欠动作检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104616438A CN104616438A (zh) | 2015-05-13 |
| CN104616438B true CN104616438B (zh) | 2016-09-07 |
Family
ID=53150870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510093756.XA Expired - Fee Related CN104616438B (zh) | 2015-03-02 | 2015-03-02 | 一种用于疲劳驾驶检测的打哈欠动作检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104616438B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106055894A (zh) * | 2016-05-30 | 2016-10-26 | 上海芯来电子科技有限公司 | 一种基于人工智能的行为分析方法和系统 |
| CN107358155A (zh) * | 2017-06-02 | 2017-11-17 | 广州视源电子科技股份有限公司 | 一种鬼脸动作检测方法和装置及活体识别方法和系统 |
| CN107358153A (zh) * | 2017-06-02 | 2017-11-17 | 广州视源电子科技股份有限公司 | 一种嘴部运动检测方法和装置及活体识别方法和系统 |
| CN107358646A (zh) * | 2017-06-20 | 2017-11-17 | 安徽工程大学 | 一种基于机器视觉的疲劳检测系统及方法 |
| CN107633205B (zh) * | 2017-08-17 | 2019-01-18 | 平安科技（深圳）有限公司 | 嘴唇动作分析方法、装置及存储介质 |
| CN107679449B (zh) | 2017-08-17 | 2018-08-03 | 平安科技（深圳）有限公司 | 嘴唇动作捕捉方法、装置及存储介质 |
| CN107633266B (zh) * | 2017-09-07 | 2020-07-28 | 西安交通大学 | 一种电力机车接触网受电弓电弧检测方法 |
| CN107613550B (zh) * | 2017-09-27 | 2020-12-29 | Oppo广东移动通信有限公司 | 解锁控制方法及相关产品 |
| CN107977607A (zh) * | 2017-11-20 | 2018-05-01 | 安徽大学 | 一种基于机器视觉的疲劳驾驶监测方法 |
| CN108670260A (zh) * | 2018-03-09 | 2018-10-19 | 广东小天才科技有限公司 | 一种基于移动终端的用户疲劳检测方法及移动终端 |
| CN108836324B (zh) * | 2018-05-16 | 2020-12-22 | 广东工业大学 | 一种基于脑电信号监测的疲劳驾驶预警方法及系统 |
| CN108985245A (zh) * | 2018-07-25 | 2018-12-11 | 深圳市飞瑞斯科技有限公司 | 眼部位置的确定方法、装置、计算机设备和存储介质 |
| CN109194869A (zh) | 2018-10-09 | 2019-01-11 | Oppo广东移动通信有限公司 | 控制方法、控制装置、深度相机和电子装置 |
| CN109191791B (zh) * | 2018-10-30 | 2021-02-09 | 罗普特科技集团股份有限公司 | 一种融合多特征的疲劳检测方法以及装置 |
| CN109447025B (zh) * | 2018-11-08 | 2021-06-22 | 北京旷视科技有限公司 | 疲劳检测方法、装置、系统及计算机可读存储介质 |
| CN111325058B (zh) * | 2018-12-14 | 2023-12-01 | 长沙智能驾驶研究院有限公司 | 驾驶行为检测方法、装置、系统及存储介质 |
| CN111753585A (zh) * | 2019-03-28 | 2020-10-09 | 北京市商汤科技开发有限公司 | 动作追踪处理方法和装置、介质及设备 |
| CN110021147A (zh) * | 2019-05-07 | 2019-07-16 | 四川九洲视讯科技有限责任公司 | 一种基于机器学习和数值标定的疲劳驾驶检测方法 |
| CN111985268A (zh) * | 2019-05-21 | 2020-11-24 | 搜狗（杭州）智能科技有限公司 | 一种人脸驱动动画的方法和装置 |
| CN115797871A (zh) * | 2022-12-22 | 2023-03-14 | 廊坊师范学院 | 一种幼儿同伴社会网络的分析方法及系统 |
| CN117622177A (zh) * | 2024-01-23 | 2024-03-01 | 青岛创新奇智科技集团股份有限公司 | 一种基于工业大模型的车辆数据处理方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5343631B2 (ja) * | 2009-03-04 | 2013-11-13 | 日産自動車株式会社 | 運転支援装置 |
| CN102073857A (zh) * | 2011-01-24 | 2011-05-25 | 沈阳工业大学 | 多模态驾驶员疲劳检测方法及其专用设备 |
| CN102436715B (zh) * | 2011-11-25 | 2013-12-11 | 大连海创高科信息技术有限公司 | 疲劳驾驶检测方法 |
| CN203941599U (zh) * | 2014-03-08 | 2014-11-12 | 吉林大学 | 防止汽车驾驶员瞌睡的装置 |
| CN104240446A (zh) * | 2014-09-26 | 2014-12-24 | 长春工业大学 | 基于人脸识别的疲劳驾驶预警系统 |
-
2015
- 2015-03-02 CN CN201510093756.XA patent/CN104616438B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN104616438A (zh) | 2015-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104616438B (zh) | 一种用于疲劳驾驶检测的打哈欠动作检测方法 | |
| CN109308445B (zh) | 一种基于信息融合的固定岗位人员疲劳检测方法 | |
| CN104200192B (zh) | 驾驶员注视检测系统 | |
| JP5680667B2 (ja) | 運転者の覚醒状態の特定システム及び方法 | |
| Junaedi et al. | Driver drowsiness detection based on face feature and PERCLOS | |
| CN202257856U (zh) | 驾驶员疲劳驾驶监控装置 | |
| KR101653278B1 (ko) | 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템 | |
| CN105286802B (zh) | 基于视频信息的驾驶员疲劳检测方法 | |
| US20150098633A1 (en) | Face detection apparatus, face detection method, and program | |
| CN110334600A (zh) | 一种多特征融合驾驶员异常表情识别方法 | |
| US9646215B2 (en) | Eye part detection apparatus | |
| CN109145852B (zh) | 一种基于眼睛睁闭状态的驾驶员疲劳状态识别方法 | |
| CN108596087B (zh) | 一种基于双网络结果的驾驶疲劳程度检测回归模型 | |
| CN104361332A (zh) | 一种用于疲劳驾驶检测的人脸眼睛区域定位方法 | |
| CN111753674A (zh) | 一种基于深度学习的疲劳驾驶的检测识别方法 | |
| CN113158850B (zh) | 基于深度学习的船舶驾驶员疲劳检测方法和系统 | |
| Darshana et al. | Efficient PERCLOS and gaze measurement methodologies to estimate driver attention in real time | |
| CN111460950A (zh) | 自然驾驶通话行为中基于头-眼证据融合的认知分心方法 | |
| Luo et al. | The driver fatigue monitoring system based on face recognition technology | |
| Li et al. | A method of driving fatigue detection based on eye location | |
| CN111104817A (zh) | 一种基于深度学习的疲劳检测方法 | |
| CN113536967A (zh) | 基于驾驶员头部运动姿态与人眼开合度的驾驶员状态辨识方法、装置、电子设备 | |
| CN108363968A (zh) | 一种基于关键点提取的司机疲劳驾驶监测系统和方法 | |
| Liu et al. | Design and implementation of multimodal fatigue detection system combining eye and yawn information | |
| CN114241452A (zh) | 一种基于图像识别的驾驶员多指标疲劳驾驶检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160907 Termination date: 20180302 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |