CN104361332A - 一种用于疲劳驾驶检测的人脸眼睛区域定位方法 - Google Patents

一种用于疲劳驾驶检测的人脸眼睛区域定位方法 Download PDF

Info

Publication number
CN104361332A
CN104361332A CN201410739606.7A CN201410739606A CN104361332A CN 104361332 A CN104361332 A CN 104361332A CN 201410739606 A CN201410739606 A CN 201410739606A CN 104361332 A CN104361332 A CN 104361332A
Authority
CN
China
Prior art keywords
face
value
characteristic area
pixel
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410739606.7A
Other languages
English (en)
Other versions
CN104361332B (zh
Inventor
唐云建
胡晓力
莫斌
余名
董宁
韩鹏
孙怀义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Academy of Science and Technology
Original Assignee
Chongqing Academy of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Academy of Science and Technology filed Critical Chongqing Academy of Science and Technology
Priority to CN201410739606.7A priority Critical patent/CN104361332B/zh
Publication of CN104361332A publication Critical patent/CN104361332A/zh
Application granted granted Critical
Publication of CN104361332B publication Critical patent/CN104361332B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种用于疲劳驾驶检测的人脸眼睛区域定位方法，在驾驶员头部相对静止运动较慢的情况下，能够跳过需要大量消耗计算资源的级联分类器人脸检测过程，直接根据相邻帧视频图像的匹配参数快速地进行对面部匹配模板匹配和人脸眼睛区域定位处理，而在驾驶员头部运动速度较快的情况下，虽然重新采用级联分类器检测人脸图像区域会在一定程度影响定位效率，但不会对疲劳驾驶报警功能产生实质影响，并且还借助面部匹配模板确定和验证人脸图像区域中各个面部特征区域的相对位置关系，保证定位结果的准确性，且在匹配处理中采用基于像素灰度等级的匹配方式，数据处理量小、执行效率较高，在保证较高准确定性的同时提升了人脸眼睛区域定位速度。

Description

一种用于疲劳驾驶检测的人脸眼睛区域定位方法
技术领域
本发明涉及属于图像处理和模式识别技术领域，具体涉及一种用于疲劳驾驶检测的人脸眼睛区域定位方法。
背景技术
疲劳驾驶已经成为交通事故主要因素之一，疲劳驾驶检测仪作为在驾驶员出现疲劳驾驶状态时的检测和警示工具，已经开始得到较为广泛使用。疲劳驾驶检测技术是疲劳驾驶检测仪的核心技术。目前，疲劳驾驶检测技术主要包括基于人体生理信号（包括脑电、心电、皮肤电势等）检测、车辆状态信号（速度、加速度、侧位移等）检测、驾驶员操作行为（方向、油门和刹车等控制情况）检测和驾驶员面部图像检测（闭眼、眨眼、打呵欠、头动等）。其中，眼睛活动特征检测具有准确性好、可靠性高和非接触性的优点，是疲劳驾驶检测的首选方案。而眼睛的快速定位是眼睛活动特征检测的基础条件。特别是疲劳驾驶检测仪产品中，由于车辆速度高，要求检测、发出警示的响应速度也相应较高，因此，在疲劳驾驶检测仪的有限数据处理资源条件下，如何提高眼睛的定位效率、加快定位处理速度，是疲劳驾驶检测技术的技术关键之一。
专利CN104123549A公开了一种用于疲劳驾驶实时监测的研究定位方法，该方法基于YCbCr色彩空间肤色模型，并根据邻帧差异检测头部运动范围，从而减少人脸定位计算量，进而进行人眼区域识别。该专利提出的方法具有较大局限性：一方面，肤色模型只适合白天，因为夜间红外补光情况下导致的色差会使得肤色模型完全失效；另一方面，摄像头拍摄驾驶员画面中，不仅仅驾驶头部存在运动情况，车辆运行过程中窗外物体和车内其它乘客（特别是后排乘客）都存在运动情况，因此通过临帧差异检测头部运动范围存在多种情况引起检测误差的局限性。
专利CN104091147公开了一种红外眼睛定位及研究状态识别方法。该方法在850nm红外光源成像，并使用Adaboost算法训练基于Haar特征的眼睛级联分类检测器，用于检测含眉毛的眼睛图像，最后利用基于HG-LBP帖子融合的眼睛状态识别，分类识别出人眼区域。该专利所述方法主要用于解决如何准确检测不同头部姿势状态下人脸眼睛区域的位置和状态的问题，但由于其识别范围是基于整个图像区域，缺少对人脸区域的定位来限制识别检索范围，而且基于Haar特征的识别处理方法较为复杂，数据处理量大，因此存在对眼睛定位效率不高的问题。
专利CN103279752A公开了一种基于改进Adaboost方法和人脸几何特征的眼睛定位方法。该方法在传统的分类器训练和检测方法基础上，通过人脸-人眼二级查找人眼，并对待甄别的候选人眼通过一些几何纹理特征（例如眼部轮廓大小差异、眼部轮廓与人脸中垂线的水平距离、候选人双眼的水平线夹角等）加以甄别，实现人脸眼睛区域定位。该方法需要依赖于较多的眼部纹理特征，并且存在多个候选人眼具有甄别意见，其处理方法依然较为复杂，数据处理量大，因此对眼睛定位的效率依然不高。
上述罗列的现有技术中的人脸眼睛区域定位方法，主要都是在对图像中的人脸区域加以定位的基础上，利用对图像中人脸眼部主要的图像纹理特征加以判断和识别，来实现对人脸眼睛区域的定位，以保证定位的准确性。但是，由于人脸眼部的纹理特征较为细小而复杂，并且其纹理特征容易随着人脸面部表情的变化而发生改变，因此利用人脸眼部的纹理特征来实现人脸眼睛区域定位，不仅需要成像设备具有较高的成像质量，而且识别处理设备也需要对成像图像中的像素数据进行大量的数据处理来判别出这些眼部纹理特征，其处理过程较为复杂，数据处理量也比较大，所以再有限数据处理资源条件下，对眼睛定位效率不高、定位速度较慢的问题难以避免。而如果通过减少在定位识别过程中所依据的眼部纹理特征数量来提高识别效率和识别速度，又会因为驾驶区域图像内复杂线条纹理较多而导致出现人眼识别错误，造成人脸眼睛区域定位误差较大的情况。
发明内容
针对现有技术中存在的上述不足，本发明的目的在于提供一种用于疲劳驾驶检测的人脸眼睛区域定位方法，该方法在对人脸眼睛区域定位处理的过程中排除不必要的检测因素，同时采用预设的面部匹配模板实现检测和定位，能够提高对人脸眼睛区域定位处理的效率，较快速地得到视频图像中的人脸眼睛区域定位结果，并同时保证具备较高的定位准确性。
为实现上述目的，本发明采用的一个技术手段是：
一种用于疲劳驾驶检测的人脸眼睛区域定位方法，通过在计算机设备中预设的面部匹配模板，对计算机设备获取到的视频图像逐帧地进行人脸眼睛区域的定位处理；所述面部匹配模板为Rect_T(XT,YT, WT, HT)，XT、YT分别表示对面部匹配模板进行定位时模板左上角位置的像素横坐标值和像素纵坐标值，WT、HT分别表示面部匹配模板初始设定的像素宽度值和像素高度值；且面部匹配模板中预设置有9个特征区，分别为左眉特征区、右眉特征区、左眼特征区、右眼特征区、鼻梁特征区、左脸特征区，左鼻孔特征区、右鼻孔特征区和右脸特征区；其中：
左眉特征区为Rect_A(ΔXA, ΔYA,WA,HA)，ΔXA、ΔYA分别表示面部匹配模板中左眉特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WA、HA分别表示左眉特征区初始设定的像素宽度值和像素高度值；
右眉特征区为Rect_B(ΔXB, ΔYB,WB,HB)，ΔXB、ΔYB分别表示面部匹配模板中右眉特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WB、HB分别表示右眉特征区初始设定的像素宽度值和像素高度值；
左眼特征区为Rect_C(ΔXC, ΔYC,WC,HC)，ΔXC、ΔYC分别表示面部匹配模板中左眼特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WC、HC分别表示左眼特征区初始设定的像素宽度值和像素高度值；
右眼特征区为Rect_D(ΔXD, ΔYD,WD,HD)，ΔXD、ΔYD分别表示面部匹配模板中右眼特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WD、HD分别表示右眼特征区初始设定的像素宽度值和像素高度值；
鼻梁特征区为Rect_E(ΔXE, ΔYE,WE,HE)，ΔXE、ΔYE分别表示面部匹配模板中鼻梁特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WE、HE分别表示鼻梁特征区初始设定的像素宽度值和像素高度值；
左脸特征区为Rect_F(ΔXF, ΔYF,WF,HF)，ΔXF、ΔYF分别表示面部匹配模板中左脸特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WF、HF分别表示左脸特征区初始设定的像素宽度值和像素高度值；
左鼻孔特征区为Rect_G(ΔXG, ΔYG,WG,HG)，ΔXG、ΔYG分别表示面部匹配模板中左鼻孔特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WG、HG分别表示左鼻孔特征区初始设定的像素宽度值和像素高度值；
右鼻孔特征区为Rect_H(ΔXH, ΔYH,WH,HH)，ΔXH、ΔYH分别表示面部匹配模板中右鼻孔特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WH、HH分别表示右鼻孔特征区初始设定的像素宽度值和像素高度值；
右脸特征区为Rect_I(ΔXI, ΔYI,WI,HI)，ΔXI、ΔYI分别表示面部匹配模板中右脸特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WI、HI分别表示右脸特征区初始设定的像素宽度值和像素高度值；
该方法包括如下步骤：
1）读取一帧视频图像；
2）判断此前一帧视频图像是否成功匹配得到人脸眼睛区域的定位结果；若不是，继续执行步骤3；若是，则跳转执行步骤6；
3）采用级联分类器对当前帧视频图像进行人脸检测，判定当前帧视频图像中是否检测到人脸图像区域；如果是，则缓存级联分类器检测到的人脸图像区域左上角位置的像素横坐标值XFace、像素纵坐标值YFace以及人脸图像区域的像素宽度值WFace和像素高度值HFace，并继续执行步骤4；否则，跳转执行步骤11；
4）根据级联分类器在当前帧视频图像中检测到的人脸图像区域的像素宽度值WFace和像素高度值HFace，对面部匹配模板及其各个特征区的宽度和高度进行比例缩放，按比例缩放后的面部匹配模板为Rect_T(XT,YT,α*WT, β* HT)，从而确定面部匹配模板相对于当前帧图像中人脸图像区域的宽度缩放比例α和高度缩放比例β，并加以缓存；其中，α=WFace/WT，β=HFace/HT；
5）根据缓存的人脸图像区域左上角位置的像素横坐标值XFace、像素纵坐标值YFace以及人脸图像区域的像素宽度值WFace和像素高度值HFace，确定对当前帧视频图像进行眼睛区域定位处理的检测范围Rect_Search(X,Y,W,H)：
Rect_Search(X,Y,W,H)=Rect(XFace, YFace, WFace, HFace)；
其中，X、Y分别表示当前帧视频图像中检测范围左上角位置的像素横坐标值和像素纵坐标值，W、H分别表示当前帧视频图像中检测范围的像素宽度值和像素高度值；然后执行步骤7；
6）利用缓存的人脸图像区域左上角位置的像素横坐标值XFace、像素纵坐标值YFace以及此前一帧视频图像的最佳匹配偏移量Ppre(ΔXpre, ΔYpre) ，确定对当前帧视频图像进行眼睛区域定位处理的检测范围Rect_Search(X,Y,W,H)：
Rect_Search(X,Y,W,H)
=Rect(XFace+ΔXpre-α*WT*γ,YFace+ΔYpre-β*HT*γ,WT+2*α*WT*γ,HT+2*β*HT*γ)；
其中，X、Y分别表示当前帧视频图像中检测范围左上角位置的像素横坐标值和像素纵坐标值，W、H分别表示当前帧视频图像中检测范围的像素宽度值和像素高度值；γ为预设定的邻域因子，且0<γ<1；然后执行步骤7；
7）在当前帧视频图像的检测范围Rect_Search(X,Y,W,H)内，以预设定的检测步长，采用按比例缩放后的面部匹配模板Rect_T(XT,YT,α*WT, β*HT)遍历整个检测范围，并根据面部匹配模板中各个按比例缩放后的特征区，分别计算面部匹配模板在当前帧视频图像的检测范围中每个位置对应的各个特征区的灰度比例值；其中：
左眉特征区的灰度比例值gray_leve(range_eyebrow,A)表示计算按比例缩放后的左眉特征区Rect_A(α*ΔXA, β*ΔYA, α*WA, β*HA)中灰度值在预设定的眉部特征灰度范围range_eyebrow以内的像素点所占的比例；
右眉特征区的灰度比例值gray_leve(range_eyebrow,B)表示计算按比例缩放后的右眉特征区Rect_B(α*ΔXB, β*ΔYB, α*WB, β*HB)中灰度值在预设定的眉部特征灰度范围range_eyebrow以内的像素点所占的比例；
左眼特征区的灰度比例值gray_leve(range_eye,C)表示计算按比例缩放后的左眼特征区Rect_C(α*ΔXC, β*ΔYC, α*WC, β*HC)中灰度值在预设定的眼部特征灰度范围range_eye以内的像素点所占的比例；
右眼特征区的灰度比例值gray_leve(range_eye,D)表示计算按比例缩放后的右眼特征区Rect_D(α*ΔXD, β*ΔYD, α*WD, β*HD)中灰度值在预设定的眼部特征灰度范围range_eye以内的像素点所占的比例；
鼻梁特征区的灰度比例值gray_leve(range_nosebridge,E)表示计算按比例缩放后的鼻梁特征区Rect_E(α*ΔXE, β*ΔYE, α*WE, β*HE)中灰度值在预设定的鼻梁部特征灰度范围range_nosebridge以内的像素点所占的比例；
左脸特征区的灰度比例值gray_leve(range_face,F)表示计算按比例缩放后的左脸特征区Rect_F(α*ΔXF, β*ΔYF, α*WF, β*HF)中灰度值在预设定的脸部特征灰度范围range_face以内的像素点所占的比例；
左鼻孔特征区的灰度比例值gray_leve(range_nostril,G)表示计算按比例缩放后的左鼻孔特征区Rect_G(α*ΔXG, β*ΔYG, α*WG, β*HG)中灰度值在预设定的鼻孔部特征灰度范围range_nostril以内的像素点所占的比例；
右鼻孔特征区的灰度比例值gray_leve(range_nostril, H)表示计算按比例缩放后的右鼻孔特征区Rect_H(α*ΔXH, β*ΔYH, α*WH, β*HH)中灰度值在预设定的鼻孔部特征灰度范围range_nostril以内的像素点所占的比例；
右脸特征区的灰度比例值gray_leve(range_face,I)表示计算按比例缩放后的右脸特征区Rect_I(α*ΔXI, β*ΔYI, α*WI, β*HI)中灰度值在预设定的脸部特征灰度范围range_face以内的像素点所占的比例；
其中，α、β分别表示缓存的宽度缩放比例和高度缩放比例；
8）对于面部匹配模板在当前帧视频图像的检测范围中每个位置对应的各个特征区的灰度比例值，若存在面部匹配模板中任意一个特征区的灰度比例值小于预设定的灰度比例门限gray_leve Th，则判定面部匹配模板在该位置匹配失败；若面部匹配模板中各个特征区的灰度比例值均大于或等于预设定的灰度比例门限gray_leve Th，则判定面部匹配模板在该位置匹配成功，并计算面部匹配模板在相应位置所对应的匹配值ε：
ε=[gray_leve(range_eyebrow,A)*λ eyebrow +gray_leve(range_eyebrow,B)*λ eyebrow + gray_leve(range_eye,C)*λ eye +gray_leve(range_eye,D)*λ eyebrow + gray_leve(range_nosebridge,E)*λ nosebridge +gray_leve(range_face,F)*λ face + gray_leve(range_nostril,G)*λ nostril +gray_leve(range_nostril,H)*λ nostri + gray_leve(range_face,I)*λ face ]；
由此得到面部匹配模板在当前帧视频图像的检测范围中各个匹配成功位置所对应的匹配值；其中，λ eyebrow 、λ eye 、λ nosebridge 、λ nostril 、λ face 分别表示预设定的眉部匹配加权系数、眼部匹配加权系数、鼻梁部匹配加权系数、鼻孔部匹配加权系数和脸部匹配加权系数；
9）统计面部匹配模板在当前帧视频图像的检测范围中各个匹配成功位置所对应的匹配值，判断其中的最大匹配值εmax是否大于预设定的匹配门限值εTh；如果是，则将该最大匹配值εmax对应的面部匹配模板匹配成功位置的模板左上角位置相对于检测范围左上角位置的像素坐标偏移量Pcur(ΔXcur,ΔYcur)作为当前帧视频图像的最佳匹配偏移量加以缓存，并继续执行步骤10；否则，判定对当前帧视频图像检测匹配失败，跳转执行步骤11；
10）根据缓存的宽度缩放比例α和高度缩放比例β以及当前帧视频图像的最佳匹配偏移量Pcur(ΔXcur,ΔYcur)，定位确定当前帧图像中人脸左眼区域Rect_LE (XLE,YLE,WLE,HLE)和人脸右眼区域Rect_RE (XRE,YRE,WRE,HRE)，并作为当前帧图像中人脸眼睛区域的定位结果加以输出，然后执行步骤11；
其中，XLE、YLE分别表示定位确定的人脸左眼区域左上角位置的像素横坐标值和像素纵坐标值，WLE、HLE分别表示定位确定的人脸左眼区域的像素宽度值和像素高度值；XRE、YRE分别表示定位确定的人脸右眼区域左上角位置的像素横坐标值和像素纵坐标值，WRE、HRE分别表示定位确定的人脸右眼区域的像素宽度值和像素高度值，且有：
XLE= X+ΔXcur+α*ΔXC，YLE= Y+ΔYcur+β*ΔYC；
WLE=α*WC，HLE=β*HC；
XRE= X+ΔXcur+α*ΔXD，YRE= Y+ΔYcur+β*ΔYD；
WRE=α*WD，HRE=β*HD；
11）读取下一帧视频图像，返回执行步骤2。
上述用于疲劳驾驶检测的人脸眼睛区域定位方法中，作为一种优选方案，所述步骤4中，邻域因子γ的取值为0.1。
上述用于疲劳驾驶检测的人脸眼睛区域定位方法中，作为一种优选方案，所述步骤5中，眉部特征灰度范围range_eyebrow的取值为0~60；眼部特征灰度范围range_eye的取值为0~50；鼻梁部特征灰度范围range_nosebridge的取值为150~255；脸部特征灰度范围range_face的取值为0~40；鼻孔部特征灰度范围range_nostril的取值为150~255。
上述用于疲劳驾驶检测的人脸眼睛区域定位方法中，作为一种优选方案，所述步骤6中，灰度比例门限gray_leve Th的取值为80%。
上述用于疲劳驾驶检测的人脸眼睛区域定位方法中，作为一种优选方案，所述步骤6中，眉部匹配加权系数λ eyebrow 的取值为0.1；眼部匹配加权系数λ eye 的取值为0.15；鼻梁部匹配加权系数λ nosebridge 的取值为0.1；鼻孔部匹配加权系数λ nostril 的取值为0.1；脸部匹配加权系数λ face 的取值为0.1。
上述用于疲劳驾驶检测的人脸眼睛区域定位方法中，作为一种优选方案，所述步骤7中，匹配门限值εTh的取值为0.85。
相比于现有技术，本发明具有以下有益效果：
1、在驾驶员头部相对静止运动较慢的情况下，视频图像中的人脸图像区域也具有较为固定，在本发明用于疲劳驾驶检测的人脸眼睛区域定位方法中，由于采用了相邻帧图像匹配参数借鉴机制，因此能够跳过需要大量消耗计算资源的级联分类器人脸检测过程，直接根据相邻帧视频图像的匹配参数进行对面部匹配模板的匹配处理以及对人脸眼睛区域的定位处理，并且在面部匹配模板的匹配处理中采用基于像素灰度等级的匹配方式，数据处理量非常小，执行效率较高，保证了对面部匹配模板的匹配处理以及对人脸眼睛区域的定位处理能够得以快速的进行。
2、在驾驶员头部运动速度较快的情况下，视频图像中的人脸图像区域位置将发生较大变化，本发明用于疲劳驾驶检测的人脸眼睛区域定位方法中，在邻域因子γ的取值较小（0<γ<1）的条件下，面部匹配模板将容易在检测范围内匹配失败，从而需要重新采用级联分类器检测人脸图像区域，再进行人脸眼睛区域定位处理，会在一定程度影响定位效率，但是驾驶员头部运动速度较快也表明了驾驶员未出现疲劳驾驶状态，因此这时人脸眼睛区域定位稍慢也不会对疲劳驾驶报警功能产生实质影响。
3、本发明用于疲劳驾驶检测的人脸眼睛区域定位方法借助面部匹配模板中的9个特征区来分别匹配确定视频图像中人脸图像区域中各个面部特征区域的相对位置关系，利用各个特征区相互验证匹配准确性，进而借助该相对位置关系实现对人脸眼睛区域的定位，保证定位结果具备较高的准确性。
附图说明
图1为本发明用于疲劳驾驶检测的人脸眼睛区域定位方法中面部匹配模板的示意图。
图2为本发明用于疲劳驾驶检测的人脸眼睛区域定位方法的流程框图。
具体实施方式
本发明提供一种用于疲劳驾驶检测的人脸眼睛区域定位方法，该方法可以应用在通过对驾驶室进行视频拍摄后执行疲劳驾驶检测的计算机设备中实现对人脸眼部区域的快速定位，并同时保证具备较高的定位准确性，作为对人眼活动特征加以检测以识别疲劳状态的基础条件。
通过对疲劳检测的具体情况加以分析可以发现，正常驾驶过程中驾驶员头部频繁转动，表示该驾驶员在观察路况和车况，而当驾驶员处于疲劳驾驶状态时会出现呆滞，即头部运动幅度很小情况。因此，头部运动幅度过大的情况，不属于需要监测疲劳状态的情况。又根据驾驶室环境和成像设备安装位置，在驾驶员头部运动幅度很小的条件下，安装在驾驶仪表台上的成像设备可以清晰对驾驶员的脸部以及面部的眉毛、眼睛、鼻梁、鼻孔、脸部等特征区域进行清晰成像，从而能够在成像设备拍摄到的视频图像中获得较为清晰的驾驶员脸部轮廓以及眉毛、眼睛、鼻梁、鼻孔、脸部等面部特征区域图像。由于与人脸眼部的细节纹理相比，这些面部特征区域的范围和面积较大，在成像质量和数据处理复杂程度要求较低的条件下也能够较好地得以识别，如果考虑基于眉毛、眼睛、鼻梁、鼻孔、脸部等不同区域之间的相对位置关系，来实现对人脸眼睛区域的定位，那么就能够避免依据较为细小、复杂的眼部纹理特征来进行眼部识别所带来的处理流程复杂、数据处理量大的问题。基于此分析思路，在本发明的人脸眼睛区域定位方法中，通过在计算机设备中预设的面部匹配模板，并且在面部匹配模板中预设置有左眉特征区、右眉特征区、左眼特征区、右眼特征区、鼻梁特征区、左脸特征区，左鼻孔特征区、右鼻孔特征区和右脸特征区这9个特征区，借助该面部匹配模板的9个特征区来分别匹配确定视频图像中人脸图像区域中各个面部特征区域的相对位置关系，利用各个特征区相互验证匹配准确性，进而借助该相对位置关系实现对人脸眼睛区域的定位，达到提高定位效率、加快定位速度的目的。
在本发明的人脸眼睛区域定位方法中，如图1所示，所用到的面部匹配模板为Rect_T(XT,YT, WT, HT)，XT、YT分别表示对面部匹配模板进行定位时模板左上角位置的像素横坐标值和像素纵坐标值，WT、HT分别表示面部匹配模板初始设定的像素宽度值和像素高度值；由此可以看到，面部匹配模板为Rect_T(XT,YT, WT, HT)实际上是一个以像素坐标(XT,YT)为左上角、宽和高分别为WT、HT个像素点的矩形区域。同时，面部匹配模板中的9个特征区分别如下：
左眉特征区为Rect_A(ΔXA, ΔYA,WA,HA)，ΔXA、ΔYA分别表示面部匹配模板中左眉特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WA、HA分别表示左眉特征区初始设定的像素宽度值和像素高度值；
右眉特征区为Rect_B(ΔXB, ΔYB,WB,HB)，ΔXB、ΔYB分别表示面部匹配模板中右眉特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WB、HB分别表示右眉特征区初始设定的像素宽度值和像素高度值；
左眼特征区为Rect_C(ΔXC, ΔYC,WC,HC)，ΔXC、ΔYC分别表示面部匹配模板中左眼特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WC、HC分别表示左眼特征区初始设定的像素宽度值和像素高度值；
右眼特征区为Rect_D(ΔXD, ΔYD,WD,HD)，ΔXD、ΔYD分别表示面部匹配模板中右眼特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WD、HD分别表示右眼特征区初始设定的像素宽度值和像素高度值；
鼻梁特征区为Rect_E(ΔXE, ΔYE,WE,HE)，ΔXE、ΔYE分别表示面部匹配模板中鼻梁特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WE、HE分别表示鼻梁特征区初始设定的像素宽度值和像素高度值；
左脸特征区为Rect_F(ΔXF, ΔYF,WF,HF)，ΔXF、ΔYF分别表示面部匹配模板中左脸特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WF、HF分别表示左脸特征区初始设定的像素宽度值和像素高度值；
左鼻孔特征区为Rect_G(ΔXG, ΔYG,WG,HG)，ΔXG、ΔYG分别表示面部匹配模板中左鼻孔特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WG、HG分别表示左鼻孔特征区初始设定的像素宽度值和像素高度值；
右鼻孔特征区为Rect_H(ΔXH, ΔYH,WH,HH)，ΔXH、ΔYH分别表示面部匹配模板中右鼻孔特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WH、HH分别表示右鼻孔特征区初始设定的像素宽度值和像素高度值；
右脸特征区为Rect_I(ΔXI, ΔYI,WI,HI)，ΔXI、ΔYI分别表示面部匹配模板中右脸特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WI、HI分别表示右脸特征区初始设定的像素宽度值和像素高度值。
当然，如果在具体应用中有需要，还可以在面部匹配模板中设置其它的特征区，例如左/右耳部特征区、嘴部特征区、下巴特征区等。
本发明用于疲劳驾驶检测的人脸眼睛区域定位方法的具体流程如图2所示，包括如下步骤：
1）读取一帧视频图像。
2）判断此前一帧视频图像是否成功匹配得到人脸眼睛区域的定位结果；若不是，继续执行步骤3；若是，则跳转执行步骤6；
本发明的人脸眼睛区域定位方法中，采用了相邻帧图像匹配参数借鉴机制；如果此前一帧视频图像未能成功匹配得到人脸眼睛区域的定位结果，则继续执行步骤3、4、5来检测当前帧视频图像的人脸图像区域，进而确定当前帧视频图像的检测区域；如果此前一帧视频图像成功匹配得到人脸眼睛区域的定位结果，那么计算机设备中将缓存有此前级联分类器检测到的人脸图像区域左上角位置的像素横坐标值XFace、像素纵坐标值YFace、像素宽度值WFace和像素高度值HFace以及此前一帧视频图像的最佳匹配偏移量Ppre(ΔXpre, ΔYpre)，则直接跳转至步骤6利用缓存数据确定当前帧视频图像的检测区域，从而减少不必要的人脸检测环节。
3）采用级联分类器对当前帧视频图像进行人脸检测，判定当前帧视频图像中是否检测到人脸图像区域；如果是，则缓存级联分类器检测到的人脸图像区域左上角位置的像素横坐标值XFace、像素纵坐标值YFace以及人脸图像区域的像素宽度值WFace和像素高度值HFace，并继续执行步骤4；否则，跳转执行步骤11。
本发明的人脸眼睛区域定位方法，也是在基于人脸区域定位的基础上而实施的，在视频图像分析中采用级联分类器检测人脸图像区域已经是比较成熟的现有技术，在背景技术中提及的几篇技术文献中都有才用到这一技术，在此不再多加赘述。
4）根据级联分类器在当前帧视频图像中检测到的人脸图像区域的像素宽度值WFace和像素高度值HFace，对面部匹配模板及其各个特征区的宽度和高度进行比例缩放，按比例缩放后的面部匹配模板为Rect_T(XT,YT,α*WT, β* HT)，从而确定面部匹配模板相对于当前帧图像中人脸图像区域的宽度缩放比例α和高度缩放比例β，并加以缓存；其中，α=WFace/WT，β=HFace/HT。
该步骤根据级联分类器检测到的人脸图像区域对面部匹配模板及其各个特征区的宽度和高度进行比例缩放，从而确定出面部匹配模板相对于当前帧图像中人脸图像区域的宽度缩放比例α和高度缩放比例β，并且对该宽度缩放比例α和高度缩放比例β加以缓存，在对当前帧视频图像的后续的定位处理以及对后续视频图像帧的定位处理中，能够借助该缓存的比例数据确定面部匹配模板中各个特征区域与视频图像中人脸图像区域面部特征的比例关系。
5）根据缓存的人脸图像区域左上角位置的像素横坐标值XFace、像素纵坐标值YFace以及人脸图像区域的像素宽度值WFace和像素高度值HFace，确定对当前帧视频图像进行眼睛区域定位处理的检测范围Rect_Search(X,Y,W,H)：
Rect_Search(X,Y,W,H)=Rect(XFace, YFace, WFace, HFace)；
其中，X、Y分别表示当前帧视频图像中检测范围左上角位置的像素横坐标值和像素纵坐标值，W、H分别表示当前帧视频图像中检测范围的像素宽度值和像素高度值；然后执行步骤7。
6）利用缓存的人脸图像区域左上角位置的像素横坐标值XFace、像素纵坐标值YFace以及此前一帧视频图像的最佳匹配偏移量Ppre(ΔXpre, ΔYpre) ，确定对当前帧视频图像进行眼睛区域定位处理的检测范围Rect_Search(X,Y,W,H)：
Rect_Search(X,Y,W,H)
=Rect(XFace+ΔXpre-α*WT*γ,YFace+ΔYpre-β*HT*γ,WT+2*α*WT*γ,HT+2*β*HT*γ)；
其中，X、Y分别表示当前帧视频图像中检测范围左上角位置的像素横坐标值和像素纵坐标值，W、H分别表示当前帧视频图像中检测范围的像素宽度值和像素高度值；γ为预设定的邻域因子，且0<γ<1；然后执行步骤7。
步骤5和步骤6在确定对当前帧视频图像进行眼睛区域定位处理的检测范围的过程中，主要以级联分类器检测到的人脸图像区域所在位置作为检测范围的位置基准，同时兼顾考虑到视频图像中相邻帧之间的连续性。如果此前一帧视频图像未能成功匹配得到人脸眼睛区域的定位结果，则通过步骤3、4、5来检测当前帧视频图像的人脸图像区域，进而确定当前帧视频图像的检测区域；如果此前一帧视频图像成功匹配得到人脸眼睛区域的定位结果，那么则直接通过步骤6利用缓存数据确定当前帧视频图像的检测区域。
此外，在步骤6中，由于在考虑相邻帧图像的连续性影响的情况下，检测范围受到此前一帧视频图像最佳匹配偏移量调整的大小，是根据邻域因子γ的取之大小而定的；根据实际应用情况的不同，邻域因子γ的取之大小也可能存在不同，需要依据实际情况而定。
7）在当前帧视频图像的检测范围Rect_Search(X,Y,W,H)内，以预设定的检测步长，采用按比例缩放后的面部匹配模板Rect_T(XT,YT,α*WT, β*HT)遍历整个检测范围，并根据面部匹配模板中各个按比例缩放后的特征区，分别计算面部匹配模板在当前帧视频图像的检测范围中每个位置对应的各个特征区的灰度比例值；其中：
左眉特征区的灰度比例值gray_leve(range_eyebrow,A)表示计算按比例缩放后的左眉特征区Rect_A(α*ΔXA, β*ΔYA, α*WA, β*HA)中灰度值在预设定的眉部特征灰度范围range_eyebrow以内的像素点所占的比例；
右眉特征区的灰度比例值gray_leve(range_eyebrow,B)表示计算按比例缩放后的右眉特征区Rect_B(α*ΔXB, β*ΔYB, α*WB, β*HB)中灰度值在预设定的眉部特征灰度范围range_eyebrow以内的像素点所占的比例；
左眼特征区的灰度比例值gray_leve(range_eye,C)表示计算按比例缩放后的左眼特征区Rect_C(α*ΔXC, β*ΔYC, α*WC, β*HC)中灰度值在预设定的眼部特征灰度范围range_eye以内的像素点所占的比例；
右眼特征区的灰度比例值gray_leve(range_eye,D)表示计算按比例缩放后的右眼特征区Rect_D(α*ΔXD, β*ΔYD, α*WD, β*HD)中灰度值在预设定的眼部特征灰度范围range_eye以内的像素点所占的比例；
鼻梁特征区的灰度比例值gray_leve(range_nosebridge,E)表示计算按比例缩放后的鼻梁特征区Rect_E(α*ΔXE, β*ΔYE, α*WE, β*HE)中灰度值在预设定的鼻梁部特征灰度范围range_nosebridge以内的像素点所占的比例；
左脸特征区的灰度比例值gray_leve(range_face,F)表示计算按比例缩放后的左脸特征区Rect_F(α*ΔXF, β*ΔYF, α*WF, β*HF)中灰度值在预设定的脸部特征灰度范围range_face以内的像素点所占的比例；
左鼻孔特征区的灰度比例值gray_leve(range_nostril,G)表示计算按比例缩放后的左鼻孔特征区Rect_G(α*ΔXG, β*ΔYG, α*WG, β*HG)中灰度值在预设定的鼻孔部特征灰度范围range_nostril以内的像素点所占的比例；
右鼻孔特征区的灰度比例值gray_leve(range_nostril, H)表示计算按比例缩放后的右鼻孔特征区Rect_H(α*ΔXH, β*ΔYH, α*WH, β*HH)中灰度值在预设定的鼻孔部特征灰度范围range_nostril以内的像素点所占的比例；
右脸特征区的灰度比例值gray_leve(range_face,I)表示计算按比例缩放后的右脸特征区Rect_I(α*ΔXI, β*ΔYI, α*WI, β*HI)中灰度值在预设定的脸部特征灰度范围range_face以内的像素点所占的比例；
其中，α、β分别表示缓存的宽度缩放比例和高度缩放比例。
本发明人脸眼睛区域定位方法的主要思想，是借助面部匹配模板中的各个特征区分别匹配确定视频图像中人脸图像区域中各个面部特征区域的相对位置关系，利用各个特征区相互验证来确保匹配准确性，并实现对人脸眼睛区域的定位，达到提高定位效率、加快定位速度的目的。匹配确定视频图像中人脸图像区域中各个面部特征区域的处理方式有很多，例如可通过以采集的各个面部特征区域的图像加以训练匹配的方式加以确定，或者分别借助各个面部特征区域的纹理特征分析而确定。然而，如何既能够有效实现对各个面部特征区域的匹配识别，同时又能够更好地降低匹配复杂度、减少数据处理量，是本发明人脸眼睛区域定位方法进一步考虑的问题。因此，本发明采用了基于各个特征区的灰度比例值的方式，来实现对人脸图像区域中各个面部特征区域的匹配确定，因为人脸图像区域中各个面部特征区域的图像灰度分布情况有较为明显的区别，同时统计灰度值分布比例的运算非常简单，处理速度更快。基于这样的考虑，该步骤中以预设定的检测步长，采用按比例缩放后的面部匹配模板遍历整个检测范围，并根分别计算面部匹配模板在当前帧视频图像的检测范围中每个位置对应的各个特征区的灰度比例值，作为后续匹配确定各个面部特征区域的数据处理基础。
在该步骤中所用到的，眉部特征灰度范围range_eyebrow、眼部特征灰度范围range_eye、鼻梁部特征灰度范围range_nosebridge、脸部特征灰度范围range_face以及鼻孔部特征灰度范围range_nostril的具体取值，需要根据实际应用情况而定；因为，疲劳驾驶检测系统采用不同的成像设备，其视屏图像中人脸图像各个面部特征区域的灰度值情况可能存在差异，因此各个区域灰度特征范围也需要根据实际情况，通过数据统计和实验经验而确定。
8）对于面部匹配模板在当前帧视频图像的检测范围中每个位置对应的各个特征区的灰度比例值，若存在面部匹配模板中任意一个特征区的灰度比例值小于预设定的灰度比例门限gray_leve Th，则判定面部匹配模板在该位置匹配失败；若面部匹配模板中各个特征区的灰度比例值均大于或等于预设定的灰度比例门限gray_leve Th，则判定面部匹配模板在该位置匹配成功，并计算面部匹配模板在相应位置所对应的匹配值ε：
ε=[gray_leve(range_eyebrow,A)*λ eyebrow +gray_leve(range_eyebrow,B)*λ eyebrow + gray_leve(range_eye,C)*λ eye +gray_leve(range_eye,D)*λ eyebrow + gray_leve(range_nosebridge,E)*λ nosebridge +gray_leve(range_face,F)*λ face + gray_leve(range_nostril,G)*λ nostril +gray_leve(range_nostril,H)*λ nostri + gray_leve(range_face,I)*λ face ]；
由此得到面部匹配模板在当前帧视频图像的检测范围中各个匹配成功位置所对应的匹配值；其中，λ eyebrow 、λ eye 、λ nosebridge 、λ nostril 、λ face 分别表示预设定的眉部匹配加权系数、眼部匹配加权系数、鼻梁部匹配加权系数、鼻孔部匹配加权系数和脸部匹配加权系数。
在该步骤中，判断面部匹配模板在检测范围中每个位置是否匹配成功，是根据面部匹配模板中是否存在特征区的灰度比例值小于灰度比例门限的情况而判定的；因为如果面部匹配模板中存在任意一个特征区的灰度比例值过小，很有可能就是该特征区位置与视频图像中相应的实际面部特征区域位置不吻合而造成的，出现这种不吻合的情况很可能是由于驾驶员头部倾斜、偏转等情况造成，这些情况下如果直接依据面部匹配模板中的两个特征区位置来对人脸眼睛区域进行定位很可能出现偏差较大的情况，因此判定匹配失败；仅在面部匹配模板中各个特征区的灰度比例值均大于或等于预设定的灰度比例门限的情况下，即面部匹配模板中各个特征区位置均分别与视频图像中各个实际面部特征区域位置相吻合时，才判定匹配成功。由此，便利用了面部匹配模板中的各个特征区进行相互验证，以确保匹配的准确性。
而由于本发明方法采用了灰度比例值来匹配各个面部特征区域位置，放弃了对区域纹理特征的识别，虽然能够有效的降低匹配复杂度和减少数据处理量，但是要确保匹配足够准确，就需要较高的灰度比例值判定要求，所以作为判定基准的灰度比例门限gray_leve Th的取值需要足够大。通常情况下灰度比例门限gray_leve Th的取值至少应为80%；当然，根据实际应用情况的不同，灰度比例门限也可以采用其它取值。
此外，面部匹配模板在相应位置所对应的匹配值ε主要用于体现面部匹配模板在相应位置的匹配程度，匹配值ε越大，则表明匹配程度越高、匹配位置越准确；而匹配值ε计算式中各个匹配加权系数则代表了面部匹配模板中各个特征区对于匹配程度的贡献率，因此各个匹配加权系数的取值也根据各个特征区对匹配程度贡献率的大小而确定。通常可按如下取值确定各个匹配加权系数，即眉部匹配加权系数λ eyebrow 的取值为0.1，眼部匹配加权系数λ eye 的取值为0.15，鼻梁部匹配加权系数λ nosebridge 的取值为0.1，鼻孔部匹配加权系数λ nostril 的取值为0.1，脸部匹配加权系数λ face 的取值为0.1；由此取值，匹配值ε计算式中9个特征区对应的匹配加权系数的总和即等于1。当然，在具体应用时，各个匹配加权系数的取值大小也可以根据实际应用情况而定。
9）统计面部匹配模板在当前帧视频图像的检测范围中各个匹配成功位置所对应的匹配值，判断其中的最大匹配值εmax是否大于预设定的匹配门限值εTh；如果是，则将该最大匹配值εmax对应的面部匹配模板匹配成功位置的模板左上角位置相对于检测范围左上角位置的像素坐标偏移量Pcur(ΔXcur,ΔYcur)作为当前帧视频图像的最佳匹配偏移量加以缓存，并继续执行步骤10；否则，判定对当前帧视频图像检测匹配失败，跳转执行步骤11。
该步骤是对面部匹配模板中各个特征区位置与视频图像中各个相应的实际面部特征区域位置的吻合程度加以总体评判。如果面部匹配模板在当前帧视频图像的检测范围中各个匹配成功位置的最大匹配值εmax都不能大于匹配门限值εTh，则表明面部匹配模板在当前帧视频图像的检测范围中所有匹配位置的匹配吻合程度都难以达到满意的要求，这种情况很可能是因为当前帧视频图像整体较为模糊、或者存在部分特征区匹配中灰度比例值满足要求存在巧合的情况，为避免人脸眼睛区域定位出现不必要的错误，本发明方法中将这些情况均判定为当前帧视频图像检测匹配失败，加以排除。这种排除的程度大小，是根据匹配门限值εTh的取值大小而定的。如果在匹配值ε计算式中9个特征区对应的匹配加权系数总和等于1，那么通常情况下，匹配门限值εTh的取值可选择为0.85。当然，在具体应用中匹配门限值εTh可以取更大的值，但不宜取值过大，否则会出现对视频图像匹配成功率太低而失去实际人脸眼睛区域定位应用价值的情况。
10）根据缓存的宽度缩放比例α和高度缩放比例β以及当前帧视频图像的最佳匹配偏移量Pcur(ΔXcur,ΔYcur)，定位确定当前帧图像中人脸左眼区域Rect_LE (XLE,YLE,WLE,HLE)和人脸右眼区域Rect_RE (XRE,YRE,WRE,HRE)，并作为当前帧图像中人脸眼睛区域的定位结果加以输出，然后执行步骤11；
其中，XLE、YLE分别表示定位确定的人脸左眼区域左上角位置的像素横坐标值和像素纵坐标值，WLE、HLE分别表示定位确定的人脸左眼区域的像素宽度值和像素高度值；XRE、YRE分别表示定位确定的人脸右眼区域左上角位置的像素横坐标值和像素纵坐标值，WRE、HRE分别表示定位确定的人脸右眼区域的像素宽度值和像素高度值，且有：
XLE= X+ΔXcur+α*ΔXC，YLE= Y+ΔYcur+β*ΔYC；
WLE=α*WC，HLE=β*HC；
XRE= X+ΔXcur+α*ΔXD，YRE= Y+ΔYcur+β*ΔYD；
WRE=α*WD，HRE=β*HD。
该步骤所得到的定位结果，以人脸左眼区域定位结果Rect_LE (XLE,YLE,WLE,HLE)为例，XLE= X+ΔXcur+α*ΔXC，YLE= Y+ΔYcur+β*ΔYC，即表明，人脸左眼区域定位结果的左上角位置像素坐标“XLE,YLE”，是在当前帧视频图像的检测范围左上角坐标“X, Y”的基础上，先偏移“ΔXcur, ΔYcur”（相当于在匹配过程中，根据当前帧视频图像的最佳匹配偏移量Pcur(ΔXcur,ΔYcur)，把面部匹配模板的左上角先从“X, Y”偏移定位到“X+ΔXcur, Y+ΔYcur”），然后再偏移“α*ΔXC, β*ΔYC”（相当于在匹配过程中，根据按比例缩放后的面部匹配模板中左眼特征区相对于模板左上角位置的偏移量“α*ΔXC, β*ΔYC”，从最佳匹配的面部模板左上角位置“X+ΔXcur, Y+ΔYcur”偏移到最佳匹配的左眼区域左上角“X+ΔXcur+α*ΔXC, Y+ΔYcur+β*ΔYC”），这样就得到了最佳匹配的人脸左眼区域左上角位置；同时，根据面部匹配模板相对于当前帧图像中人脸图像区域的宽度缩放比例α和高度缩放比例β，调整最佳匹配位置的人脸左眼区域的宽度和高度，即令WLE=α*WC，令HLE=β*HC，由此便得到人脸左眼区域定位结果Rect_LE (XLE,YLE,WLE,HLE)。右眼同理。
11）读取下一帧视频图像，返回执行步骤2。
通过步骤11跳转至下一帧视频图像执行定位识别，便实现对视频图像逐帧地进行人脸眼睛区域的定位处理。需要说明的是，在上述步骤中，在某一帧处理中所缓存的“当前帧视频图像的最佳匹配偏移量Pcur(ΔXcur,ΔYcur)”，对于下一帧视频图像而言，即为“此前一帧视频图像的最佳匹配偏移量Ppre(ΔXpre, ΔYpre)”，这一点应当容易理解。
通过上述应用流程可以看到，在驾驶员头部相对静止运动较慢的情况下，视频图像中的人脸图像区域也具有较为固定，由于在本发明用于疲劳驾驶检测的人脸眼睛区域定位方法中采用了相邻帧图像匹配参数借鉴机制，因此能够跳过需要大量消耗计算资源的级联分类器人脸检测过程，直接根据相邻帧视频图像的匹配参数进行对面部匹配模板的匹配处理以及对人脸眼睛区域的定位处理，并且在面部匹配模板的匹配处理中采用基于像素灰度等级的匹配方式，数据处理量非常小，执行效率较高，保证了对面部匹配模板的匹配处理以及对人脸眼睛区域的定位处理能够得以快速的进行。而在驾驶员头部运动速度较快的情况下，视频图像中的人脸图像区域位置将发生较大变化，在邻域因子γ的取值较小（0<γ<1）的条件下，面部匹配模板将容易在检测范围内匹配失败，从而需要重新采用级联分类器检测人脸图像区域，再进行人脸眼睛区域定位处理，会在一定程度影响定位效率，但是驾驶员头部运动速度较快也表明了驾驶员未出现疲劳驾驶状态，因此这时人脸眼睛区域定位稍慢也不会对疲劳驾驶报警功能产生实质影响。同时，本发明方法还借助面部匹配模板中的9个特征区来分别匹配确定视频图像中人脸图像区域中各个面部特征区域的相对位置关系，利用各个特征区相互验证匹配准确性，进而借助该相对位置关系实现对人脸眼睛区域的定位，保证定位结果具备较高的准确性。
总体而言，本发明用于疲劳驾驶检测的人脸眼睛区域定位方法排除了不必要的检测因素，同时采用预设的面部匹配模板实现检测和定位，能够提高对人脸眼睛区域定位处理的效率，更加快速地得到视频图像中的人脸眼睛区域定位结果，并同时保证具备较高的定位准确性。
为了更好地体现本发明用于疲劳驾驶检测的人脸眼睛区域定位方法的技术效果，下面通过实验对本发明方法加以进一步说明。
对比实验：
该对比实验采用另外的两种人脸眼睛区域定位方法与本发明的人脸眼睛区域定位方法加以对比。除本发明方法之外，参与对比的两种人脸眼睛区域定位方法分别为：
方法I：专利CN104091147公开的红外眼睛定位及研究状态识别方法。
方法II：专利CN103279752A公开的基于改进Adaboost方法和人脸几何特征的眼睛定位方法。
而本发明方法则按照前述的步骤1~11执行脸眼睛区域定位处理，具体处理过程中，邻域因子γ的取值为0.1；眉部特征灰度范围range_eyebrow的取值为0~60，眼部特征灰度范围range_eye的取值为0~50，鼻梁部特征灰度范围range_nosebridge的取值为150~255，脸部特征灰度范围range_face的取值为0~40，鼻孔部特征灰度范围range_nostril的取值为150~255；灰度比例门限gray_leve Th的取值为80%；眉部匹配加权系数λ eyebrow 的取值为0.1，眼部匹配加权系数λ eye 的取值为0.15，鼻梁部匹配加权系数λ nosebridge 的取值为0.1，鼻孔部匹配加权系数λ nostril 的取值为0.1，脸部匹配加权系数λ face 的取值为0.1；匹配门限值εTh的取值为0.85。
该对比实验中，采用摄像头采集人脸视频图像后传输至计算机，由计算机分别采用方法I、方法II和本发明方法进行人脸眼睛区域定位处理。摄像头采集的视频图像像素大小为640*480；计算机处理器为Intel(R) Core(TM)i5-2520M CPU 2.5GHz，处理内存为4GB RAM。实验过程共采用5段检测视频，每段视频图像均超过500帧，分别采用方法I、方法II和本发明方法对5段检测视频的各帧图像进行人脸眼睛区域定位处理，统计三种方法针对每一段检测视频的单帧平均定位时间，并且针对每一帧的定位结果，定位的眼睛区域中心位置与检测视频中实际人眼瞳孔位置的偏差小于眼睛区域范围的5%判定为定位准确，偏差大于眼睛区域范围的5%则判定定位不准确，统计三种方法针对每一段检测视频的定位准确率。最终统计结果如表1所示。
表1
 
通过上述对比实验可以看到，本发明用于疲劳驾驶检测的人脸眼睛区域定位方法，在对人脸眼睛区域定位的准确率上与方法I和方法II基本相当，但在单帧平均定位时间上，本发明方法明显优于现有技术的两种方法，具有更高的人脸眼睛区域定位处理效率，能够更加快速的得到视频图像中的人脸眼睛区域定位结果。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种用于疲劳驾驶检测的人脸眼睛区域定位方法，其特征在于，通过在计算机设备中预设的面部匹配模板，对计算机设备获取到的视频图像逐帧地进行人脸眼睛区域的定位处理；所述面部匹配模板为Rect_T(XT,YT, WT, HT)，XT、YT分别表示对面部匹配模板进行定位时模板左上角位置的像素横坐标值和像素纵坐标值，WT、HT分别表示面部匹配模板初始设定的像素宽度值和像素高度值；且面部匹配模板中预设置有9个特征区，分别为左眉特征区、右眉特征区、左眼特征区、右眼特征区、鼻梁特征区、左脸特征区，左鼻孔特征区、右鼻孔特征区和右脸特征区；其中：
左眉特征区为Rect_A(ΔXA, ΔYA,WA,HA)，ΔXA、ΔYA分别表示面部匹配模板中左眉特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WA、HA分别表示左眉特征区初始设定的像素宽度值和像素高度值；
右眉特征区为Rect_B(ΔXB, ΔYB,WB,HB)，ΔXB、ΔYB分别表示面部匹配模板中右眉特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WB、HB分别表示右眉特征区初始设定的像素宽度值和像素高度值；
左眼特征区为Rect_C(ΔXC, ΔYC,WC,HC)，ΔXC、ΔYC分别表示面部匹配模板中左眼特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WC、HC分别表示左眼特征区初始设定的像素宽度值和像素高度值；
右眼特征区为Rect_D(ΔXD, ΔYD,WD,HD)，ΔXD、ΔYD分别表示面部匹配模板中右眼特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WD、HD分别表示右眼特征区初始设定的像素宽度值和像素高度值；
鼻梁特征区为Rect_E(ΔXE, ΔYE,WE,HE)，ΔXE、ΔYE分别表示面部匹配模板中鼻梁特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WE、HE分别表示鼻梁特征区初始设定的像素宽度值和像素高度值；
左脸特征区为Rect_F(ΔXF, ΔYF,WF,HF)，ΔXF、ΔYF分别表示面部匹配模板中左脸特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WF、HF分别表示左脸特征区初始设定的像素宽度值和像素高度值；
左鼻孔特征区为Rect_G(ΔXG, ΔYG,WG,HG)，ΔXG、ΔYG分别表示面部匹配模板中左鼻孔特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WG、HG分别表示左鼻孔特征区初始设定的像素宽度值和像素高度值；
右鼻孔特征区为Rect_H(ΔXH, ΔYH,WH,HH)，ΔXH、ΔYH分别表示面部匹配模板中右鼻孔特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WH、HH分别表示右鼻孔特征区初始设定的像素宽度值和像素高度值；
右脸特征区为Rect_I(ΔXI, ΔYI,WI,HI)，ΔXI、ΔYI分别表示面部匹配模板中右脸特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WI、HI分别表示右脸特征区初始设定的像素宽度值和像素高度值；
该方法包括如下步骤：
1）读取一帧视频图像；
2）判断此前一帧视频图像是否成功匹配得到人脸眼睛区域的定位结果；若不是，继续执行步骤3；若是，则跳转执行步骤6；
3）采用级联分类器对当前帧视频图像进行人脸检测，判定当前帧视频图像中是否检测到人脸图像区域；如果是，则缓存级联分类器检测到的人脸图像区域左上角位置的像素横坐标值XFace、像素纵坐标值YFace以及人脸图像区域的像素宽度值WFace和像素高度值HFace，并继续执行步骤4；否则，跳转执行步骤11；
4）根据级联分类器在当前帧视频图像中检测到的人脸图像区域的像素宽度值WFace和像素高度值HFace，对面部匹配模板及其各个特征区的宽度和高度进行比例缩放，按比例缩放后的面部匹配模板为Rect_T(XT,YT,α*WT, β* HT)，从而确定面部匹配模板相对于当前帧图像中人脸图像区域的宽度缩放比例α和高度缩放比例β，并加以缓存；其中，α=WFace/WT，β=HFace/HT；
5）根据缓存的人脸图像区域左上角位置的像素横坐标值XFace、像素纵坐标值YFace以及人脸图像区域的像素宽度值WFace和像素高度值HFace，确定对当前帧视频图像进行眼睛区域定位处理的检测范围Rect_Search(X,Y,W,H)：
Rect_Search(X,Y,W,H)=Rect(XFace, YFace, WFace, HFace)；
其中，X、Y分别表示当前帧视频图像中检测范围左上角位置的像素横坐标值和像素纵坐标值，W、H分别表示当前帧视频图像中检测范围的像素宽度值和像素高度值；然后执行步骤7；
6）利用缓存的人脸图像区域左上角位置的像素横坐标值XFace、像素纵坐标值YFace以及此前一帧视频图像的最佳匹配偏移量Ppre(ΔXpre, ΔYpre) ，确定对当前帧视频图像进行眼睛区域定位处理的检测范围Rect_Search(X,Y,W,H)：
Rect_Search(X,Y,W,H)
=Rect(XFace+ΔXpre-α*WT*γ,YFace+ΔYpre-β*HT*γ,WT+2*α*WT*γ,HT+2*β*HT*γ)；
其中，X、Y分别表示当前帧视频图像中检测范围左上角位置的像素横坐标值和像素纵坐标值，W、H分别表示当前帧视频图像中检测范围的像素宽度值和像素高度值；γ为预设定的邻域因子，且0<γ<1；然后执行步骤7；
7）在当前帧视频图像的检测范围Rect_Search(X,Y,W,H)内，以预设定的检测步长，采用按比例缩放后的面部匹配模板Rect_T(XT,YT,α*WT, β*HT)遍历整个检测范围，并根据面部匹配模板中各个按比例缩放后的特征区，分别计算面部匹配模板在当前帧视频图像的检测范围中每个位置对应的各个特征区的灰度比例值；其中：
左眉特征区的灰度比例值gray_leve(range_eyebrow,A)表示计算按比例缩放后的左眉特征区Rect_A(α*ΔXA, β*ΔYA, α*WA, β*HA)中灰度值在预设定的眉部特征灰度范围range_eyebrow以内的像素点所占的比例；
右眉特征区的灰度比例值gray_leve(range_eyebrow,B)表示计算按比例缩放后的右眉特征区Rect_B(α*ΔXB, β*ΔYB, α*WB, β*HB)中灰度值在预设定的眉部特征灰度范围range_eyebrow以内的像素点所占的比例；
左眼特征区的灰度比例值gray_leve(range_eye,C)表示计算按比例缩放后的左眼特征区Rect_C(α*ΔXC, β*ΔYC, α*WC, β*HC)中灰度值在预设定的眼部特征灰度范围range_eye以内的像素点所占的比例；
右眼特征区的灰度比例值gray_leve(range_eye,D)表示计算按比例缩放后的右眼特征区Rect_D(α*ΔXD, β*ΔYD, α*WD, β*HD)中灰度值在预设定的眼部特征灰度范围range_eye以内的像素点所占的比例；
鼻梁特征区的灰度比例值gray_leve(range_nosebridge,E)表示计算按比例缩放后的鼻梁特征区Rect_E(α*ΔXE, β*ΔYE, α*WE, β*HE)中灰度值在预设定的鼻梁部特征灰度范围range_nosebridge以内的像素点所占的比例；
左脸特征区的灰度比例值gray_leve(range_face,F)表示计算按比例缩放后的左脸特征区Rect_F(α*ΔXF, β*ΔYF, α*WF, β*HF)中灰度值在预设定的脸部特征灰度范围range_face以内的像素点所占的比例；
左鼻孔特征区的灰度比例值gray_leve(range_nostril,G)表示计算按比例缩放后的左鼻孔特征区Rect_G(α*ΔXG, β*ΔYG, α*WG, β*HG)中灰度值在预设定的鼻孔部特征灰度范围range_nostril以内的像素点所占的比例；
右鼻孔特征区的灰度比例值gray_leve(range_nostril, H)表示计算按比例缩放后的右鼻孔特征区Rect_H(α*ΔXH, β*ΔYH, α*WH, β*HH)中灰度值在预设定的鼻孔部特征灰度范围range_nostril以内的像素点所占的比例；
右脸特征区的灰度比例值gray_leve(range_face,I)表示计算按比例缩放后的右脸特征区Rect_I(α*ΔXI, β*ΔYI, α*WI, β*HI)中灰度值在预设定的脸部特征灰度范围range_face以内的像素点所占的比例；
其中，α、β分别表示缓存的宽度缩放比例和高度缩放比例；
8）对于面部匹配模板在当前帧视频图像的检测范围中每个位置对应的各个特征区的灰度比例值，若存在面部匹配模板中任意一个特征区的灰度比例值小于预设定的灰度比例门限gray_leve Th，则判定面部匹配模板在该位置匹配失败；若面部匹配模板中各个特征区的灰度比例值均大于或等于预设定的灰度比例门限gray_leve Th，则判定面部匹配模板在该位置匹配成功，并计算面部匹配模板在相应位置所对应的匹配值ε：
ε=[gray_leve(range_eyebrow,A)*λ eyebrow +gray_leve(range_eyebrow,B)*λ eyebrow + gray_leve(range_eye,C)*λ eye +gray_leve(range_eye,D)*λ eyebrow + gray_leve(range_nosebridge,E)*λ nosebridge +gray_leve(range_face,F)*λ face + gray_leve(range_nostril,G)*λ nostril +gray_leve(range_nostril,H)*λ nostri + gray_leve(range_face,I)*λ face ]；
由此得到面部匹配模板在当前帧视频图像的检测范围中各个匹配成功位置所对应的匹配值；其中，λ eyebrow 、λ eye 、λ nosebridge 、λ nostril 、λ face 分别表示预设定的眉部匹配加权系数、眼部匹配加权系数、鼻梁部匹配加权系数、鼻孔部匹配加权系数和脸部匹配加权系数；
9）统计面部匹配模板在当前帧视频图像的检测范围中各个匹配成功位置所对应的匹配值，判断其中的最大匹配值εmax是否大于预设定的匹配门限值εTh；如果是，则将该最大匹配值εmax对应的面部匹配模板匹配成功位置的模板左上角位置相对于检测范围左上角位置的像素坐标偏移量Pcur(ΔXcur,ΔYcur)作为当前帧视频图像的最佳匹配偏移量加以缓存，并继续执行步骤10；否则，判定对当前帧视频图像检测匹配失败，跳转执行步骤11；
10）根据缓存的宽度缩放比例α和高度缩放比例β以及当前帧视频图像的最佳匹配偏移量Pcur(ΔXcur,ΔYcur)，定位确定当前帧图像中人脸左眼区域Rect_LE (XLE,YLE,WLE,HLE)和人脸右眼区域Rect_RE (XRE,YRE,WRE,HRE)，并作为当前帧图像中人脸眼睛区域的定位结果加以输出，然后执行步骤11；
其中，XLE、YLE分别表示定位确定的人脸左眼区域左上角位置的像素横坐标值和像素纵坐标值，WLE、HLE分别表示定位确定的人脸左眼区域的像素宽度值和像素高度值；XRE、YRE分别表示定位确定的人脸右眼区域左上角位置的像素横坐标值和像素纵坐标值，WRE、HRE分别表示定位确定的人脸右眼区域的像素宽度值和像素高度值，且有：
XLE= X+ΔXcur+α*ΔXC，YLE= Y+ΔYcur+β*ΔYC；
WLE=α*WC，HLE=β*HC；
XRE= X+ΔXcur+α*ΔXD，YRE= Y+ΔYcur+β*ΔYD；
WRE=α*WD，HRE=β*HD；
11）读取下一帧视频图像，返回执行步骤2。
2.根据权利要求1所述用于疲劳驾驶检测的人脸眼睛区域定位方法，其特征在于，所述步骤4中，邻域因子γ的取值为0.1。
3.根据权利要求1所述用于疲劳驾驶检测的人脸眼睛区域定位方法，其特征在于，所述步骤5中，眉部特征灰度范围range_eyebrow的取值为0~60；眼部特征灰度范围range_eye的取值为0~50；鼻梁部特征灰度范围range_nosebridge的取值为150~255；脸部特征灰度范围range_face的取值为0~40；鼻孔部特征灰度范围range_nostril的取值为150~255。
4.根据权利要求1所述用于疲劳驾驶检测的人脸眼睛区域定位方法，其特征在于，所述步骤6中，灰度比例门限gray_leve Th的取值为80%。
5.根据权利要求1所述用于疲劳驾驶检测的人脸眼睛区域定位方法，其特征在于，所述步骤6中，眉部匹配加权系数λ eyebrow 的取值为0.1；眼部匹配加权系数λ eye 的取值为0.15；鼻梁部匹配加权系数λ nosebridge 的取值为0.1；鼻孔部匹配加权系数λ nostril 的取值为0.1；脸部匹配加权系数λ face 的取值为0.1。
6.根据权利要求1所述用于疲劳驾驶检测的人脸眼睛区域定位方法，其特征在于，所述步骤7中，匹配门限值εTh的取值为0.85。
CN201410739606.7A 2014-12-08 2014-12-08 一种用于疲劳驾驶检测的人脸眼睛区域定位方法 Expired - Fee Related CN104361332B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410739606.7A CN104361332B (zh) 2014-12-08 2014-12-08 一种用于疲劳驾驶检测的人脸眼睛区域定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410739606.7A CN104361332B (zh) 2014-12-08 2014-12-08 一种用于疲劳驾驶检测的人脸眼睛区域定位方法

Publications (2)

Publication Number Publication Date
CN104361332A true CN104361332A (zh) 2015-02-18
CN104361332B CN104361332B (zh) 2017-06-16

Family

ID=52528590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410739606.7A Expired - Fee Related CN104361332B (zh) 2014-12-08 2014-12-08 一种用于疲劳驾驶检测的人脸眼睛区域定位方法

Country Status (1)

Country Link
CN (1) CN104361332B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529496A (zh) * 2016-11-24 2017-03-22 广西大学 一种机车乘务员实时视频疲劳检测的方法
WO2017096753A1 (zh) * 2015-12-11 2017-06-15 腾讯科技（深圳）有限公司 人脸关键点跟踪方法、终端和非易失性计算机可读存储介质
CN108009495A (zh) * 2017-11-30 2018-05-08 西安科锐盛创新科技有限公司 疲劳驾驶预警方法
CN108345847A (zh) * 2018-01-30 2018-07-31 石数字技术成都有限公司 一种人脸图像标签数据生成系统及其方法
CN108932461A (zh) * 2017-05-27 2018-12-04 杭州海康威视数字技术股份有限公司 一种疲劳检测方法及装置
CN109376637A (zh) * 2018-10-15 2019-02-22 齐鲁工业大学 基于视频监控图像处理的人数统计系统
CN110143202A (zh) * 2019-04-09 2019-08-20 南京交通职业技术学院 一种危险驾驶识别与预警方法及系统
CN110930340A (zh) * 2019-10-11 2020-03-27 成都华为技术有限公司 一种图像处理方法及装置
CN111753659A (zh) * 2020-05-20 2020-10-09 广州虹科电子科技有限公司 基于人脸配准点的疲劳驾驶检测方法、设备、介质及装置
CN112488032A (zh) * 2020-12-11 2021-03-12 重庆邮电大学 一种基于鼻眼结构约束的人眼定位方法
WO2021082635A1 (zh) * 2019-10-29 2021-05-06 深圳云天励飞技术股份有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备
CN113111883A (zh) * 2021-03-23 2021-07-13 浙江大华技术股份有限公司 车牌检测方法、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436715A (zh) * 2011-11-25 2012-05-02 大连海创高科信息技术有限公司 疲劳驾驶检测方法
US20120314046A1 (en) * 2011-06-07 2012-12-13 Hon Hai Precision Industry Co., Ltd Tiredness state detecting system and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120314046A1 (en) * 2011-06-07 2012-12-13 Hon Hai Precision Industry Co., Ltd Tiredness state detecting system and method
CN102436715A (zh) * 2011-11-25 2012-05-02 大连海创高科信息技术有限公司 疲劳驾驶检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEN-BING HORNG 等: "Driver Fatigue Detection Based on Eye Tracking and Dynamic’Template Matching", 《PROCEEDINGS OF THE 2004 IEEE INTERNATIONAL CONFERCNCC ON NCLVORKINP, SENSING & CONTROL》 *
张小欢 等: "司机疲劳驾驶检测中人脸图像的快速人眼定位", 《科技资讯》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11062123B2 (en) 2015-12-11 2021-07-13 Tencent Technology (Shenzhen) Company Limited Method, terminal, and storage medium for tracking facial critical area
WO2017096753A1 (zh) * 2015-12-11 2017-06-15 腾讯科技（深圳）有限公司 人脸关键点跟踪方法、终端和非易失性计算机可读存储介质
CN106874826A (zh) * 2015-12-11 2017-06-20 腾讯科技（深圳）有限公司 人脸关键点跟踪方法和装置
US10452893B2 (en) 2015-12-11 2019-10-22 Tencent Technology (Shenzhen) Company Limited Method, terminal, and storage medium for tracking facial critical area
CN106529496B (zh) * 2016-11-24 2019-04-12 广西大学 一种机车乘务员实时视频疲劳检测的方法
CN106529496A (zh) * 2016-11-24 2017-03-22 广西大学 一种机车乘务员实时视频疲劳检测的方法
CN108932461A (zh) * 2017-05-27 2018-12-04 杭州海康威视数字技术股份有限公司 一种疲劳检测方法及装置
CN108009495A (zh) * 2017-11-30 2018-05-08 西安科锐盛创新科技有限公司 疲劳驾驶预警方法
CN108345847A (zh) * 2018-01-30 2018-07-31 石数字技术成都有限公司 一种人脸图像标签数据生成系统及其方法
CN109376637A (zh) * 2018-10-15 2019-02-22 齐鲁工业大学 基于视频监控图像处理的人数统计系统
CN110143202A (zh) * 2019-04-09 2019-08-20 南京交通职业技术学院 一种危险驾驶识别与预警方法及系统
CN110930340A (zh) * 2019-10-11 2020-03-27 成都华为技术有限公司 一种图像处理方法及装置
CN110930340B (zh) * 2019-10-11 2023-09-29 成都华为技术有限公司 一种图像处理方法及装置
WO2021082635A1 (zh) * 2019-10-29 2021-05-06 深圳云天励飞技术股份有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备
CN111753659A (zh) * 2020-05-20 2020-10-09 广州虹科电子科技有限公司 基于人脸配准点的疲劳驾驶检测方法、设备、介质及装置
CN112488032A (zh) * 2020-12-11 2021-03-12 重庆邮电大学 一种基于鼻眼结构约束的人眼定位方法
CN112488032B (zh) * 2020-12-11 2022-05-20 重庆邮电大学 一种基于鼻眼结构约束的人眼定位方法
CN113111883A (zh) * 2021-03-23 2021-07-13 浙江大华技术股份有限公司 车牌检测方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN104361332B (zh) 2017-06-16

Similar Documents

Publication Publication Date Title
CN104361332A (zh) 一种用于疲劳驾驶检测的人脸眼睛区域定位方法
EP3539054B1 (en) Neural network image processing apparatus
CN109670441B (zh) 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质
CN104616438B (zh) 一种用于疲劳驾驶检测的打哈欠动作检测方法
CN102289660B (zh) 一种基于手部姿态跟踪的违规驾驶行为检测方法
Junaedi et al. Driver drowsiness detection based on face feature and PERCLOS
JP6398979B2 (ja) 映像処理装置、映像処理方法および映像処理プログラム
CN105286802B (zh) 基于视频信息的驾驶员疲劳检测方法
US20140204193A1 (en) Driver gaze detection system
CN109840565A (zh) 一种基于眼部轮廓特征点纵横比的眨眼检测方法
CN109334563A (zh) 一种基于道路前方行人和骑行者的防碰撞预警方法
Yang et al. All in one network for driver attention monitoring
CN110728241A (zh) 一种基于深度学习多特征融合的驾驶员疲劳检测方法
Liu et al. A practical driver fatigue detection algorithm based on eye state
WO2018078857A1 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
CN104123549A (zh) 一种用于疲劳驾驶实时监测的眼睛定位方法
CN109002774A (zh) 一种基于卷积神经网络的疲劳监测装置及方法
CN103729646B (zh) 一种眼睛图像有效性检测方法
CN113989788A (zh) 一种基于深度学习和多指标融合的疲劳检测方法
CN101320477B (zh) 一种人体跟踪方法及其设备
Panicker et al. Open-eye detection using iris–sclera pattern analysis for driver drowsiness detection
CN116012822B (zh) 一种疲劳驾驶的识别方法、装置及电子设备
Bhoyar et al. Implementation on visual analysis of eye state using image processing for driver fatigue detection
Singh et al. Driver fatigue detection using machine vision approach
CN114792437A (zh) 一种基于面部特征的安全驾驶行为分析的方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170616

Termination date: 20171208

CF01 Termination of patent right due to non-payment of annual fee