CN107247934A - 一种基于快速特征点定位的全天候哈欠检测方法及系统 - Google Patents

一种基于快速特征点定位的全天候哈欠检测方法及系统 Download PDF

Info

Publication number
CN107247934A
CN107247934A CN201710390313.6A CN201710390313A CN107247934A CN 107247934 A CN107247934 A CN 107247934A CN 201710390313 A CN201710390313 A CN 201710390313A CN 107247934 A CN107247934 A CN 107247934A
Authority
CN
China
Prior art keywords
driver
mouth
image
training
yawn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710390313.6A
Other languages
English (en)
Inventor
徐文平
韩守东
刘文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Tianye Cloud Business Network Technology Co Ltd
Original Assignee
Hubei Tianye Cloud Business Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Tianye Cloud Business Network Technology Co Ltd filed Critical Hubei Tianye Cloud Business Network Technology Co Ltd
Priority to CN201710390313.6A priority Critical patent/CN107247934A/zh
Publication of CN107247934A publication Critical patent/CN107247934A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于快速特征点定位的全天候哈欠检测方法及系统，其中方法包括：采集驾驶员头部图像，利用Adaboost算法识别出驾驶员脸部区域；利用基于局部二值特征的形状回归算法定位驾驶员脸部区域的特征点，并根据驾驶员脸部区域的特征点获取驾驶员嘴部区域图像；对驾驶员嘴部区域图像进行预处理操作之后进行轮廓检测，根据嘴部的张开度和持续张开时长判断驾驶员是否打哈欠。有益效果：使用局部二值特征的形状回归算法，相比全局特征而言，计算量、噪声更少，实时性高；哈欠判断时，嘴部的张开度超过张开度预设值时并持续一定时间时，才判断为驾驶员打哈欠，比仅仅通过单帧图像的嘴部张开度来判断哈欠更加准确。

Description

一种基于快速特征点定位的全天候哈欠检测方法及系统
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种基于快速特征点定位的全天候哈欠检测方法及系统。
背景技术
哈欠是指人的嘴部从闭合到持续张开再到闭合的一个完整的状态过程，是反应人体疲劳程度的一个重要特征。一个可靠性高，实时性强以及适用性广泛的哈欠检测方法对于准确的进行疲劳检测来说极其重要。当前对于哈欠检测的方法较多。
一种基于数字视频的驾驶员疲劳状态检测方法，采用基于时-空域约束的优化Adaboost人脸检测方法的进行人脸检测，利用人脸的检测与定位结果结合人脸五官的“三庭五眼”的几何特征规则，再查找嘴巴区域，在查找到嘴巴区域的基础上用链码描述嘴巴轮廓，然后在频域中提取嘴巴的频谱特征，将该特征采用SVM训练，进而判别嘴巴哈欠状态。但上述专利仅仅依据人脸的几何规则确定嘴巴区域可靠性较低，考虑到每个人的脸部五官特征之间的几何约束均存在差异，而且在频域提取频谱特征再通过SVM训练识别哈欠状态工作量大、过于复杂而且耗时，因此在很大程度上降低了该方法实时性。
一种疲劳驾驶检测方法，利用Harr特征人脸识别方法检测定位人脸区域，再依据嘴巴在人脸的几何位置关系结合灰度投影法确定嘴巴区域，检测嘴部的区域的形状变化，即宽高比的变化，然后统计一段时间内，嘴部宽高比小于某一固定阈值的图像帧数，若其中帧数超过设定阈值，则可以判断为哈欠动作。但上述专利依据几何位置关系和灰度投影法确定嘴部区域极其容易受光照变化的影响而导致嘴巴区域定位失败，而且该方法采用灰度信息，无法适用于红外环境下，因此该方法的可靠性非常低，从而直接影响哈欠检测准确度。
当前哈欠检测方法较多，但目前的哈欠检测方法在准确性(嘴部张开大小，张开持续时间)，可靠性(嘴部精确定位)以及适用性(白天夜间)等方面尚存在的一些不足之处。
发明内容
本发明的目的在于克服上述技术不足，提出一种基于快速特征点定位的全天候哈欠检测方法及系统，解决现有技术中的上述技术问题。
为达到上述技术目的，本发明的技术方案提供一种基于快速特征点定位的全天候哈欠检测方法，包括：
S1、利用具有红外补光功能的图像采集装置采集驾驶员头部图像，利用Adaboost算法训练出识别脸部区域的分类器，利用训练出的分类器对驾驶员头部图像进行识别从而识别出驾驶员脸部区域；
S2、利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的模型定位驾驶员脸部区域的特征点，并根据驾驶员脸部区域的特征点获取驾驶员嘴部区域位置和图像；
S3、对驾驶员嘴部区域图像进行预处理操作之后进行轮廓检测，筛选出嘴部轮廓，由嘴部轮廓计算嘴部的张开度和持续张开时长，根据嘴部的张开度和持续张开时长判断驾驶员是否打哈欠以及统计打哈欠的次数。
本发明还提供一种基于快速特征点定位的全天候哈欠检测系统，包括：
脸部识别模块：利用具有红外补光功能的图像采集装置采集驾驶员头部图像，利用Adaboost算法训练出识别脸部区域的分类器，利用训练出的分类器对驾驶员头部图像进行识别从而识别出驾驶员脸部区域；
嘴部识别模块：利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的模型定位驾驶员脸部区域的特征点，并根据驾驶员脸部区域的特征点获取驾驶员嘴部区域位置和图像；
哈欠判断模块：对驾驶员嘴部区域图像进行预处理操作之后进行轮廓检测，筛选出嘴部轮廓，由嘴部轮廓计算嘴部的张开度和持续张开时长，根据嘴部的张开度和持续张开时长判断驾驶员是否打哈欠以及统计打哈欠的次数。
与现有技术相比，本发明的有益效果：使用了基于局部二值特征的形状回归算法，相比全局特征而言，噪声更少，减少了计算量，可以快速地进行脸部特征点定位,从而可以快速定位嘴巴位置，获取驾驶员嘴部区域图像，实时性高；借助具有红外补光功能的图像采集装置，不同光照强度下，均可采集清晰驾驶员头部图像，准确定位驾驶员脸部区域的特征点，并根据采集驾驶员头部图像时的光照强度自动选择对于驾驶员嘴部区域图像的不同预处理操作，使得哈欠判断更加准确，不易受光照环境影响，适应性强；根据驾驶员脸部区域的特征点获取驾驶员嘴部位置、图像，比通过五官几何位置关系确定嘴部位置更准确；哈欠判断时，嘴部的张开度超过张开度预设值时并持续一定时间时，才判断为驾驶员打哈欠，比仅仅通过单帧图像的嘴部张开度来判断哈欠更加准确。
附图说明
图1是本发明提供的一种基于快速特征点定位的全天候哈欠检测方法流程图；
图2是本发明提供的一种基于快速特征点定位的全天候哈欠检测系统结构框图；
图3是本发明的Adaboost训练算法流程图；
图4是本发明的基于局部二值特征的形状回归算法流程图。
附图中：1、基于快速特征点定位的全天候哈欠检测系统，11、脸部识别模块，12、嘴部识别模块，13、哈欠判断模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供了一种基于快速特征点定位的全天候哈欠检测方法，包括：
S1、利用具有红外补光功能的图像采集装置采集驾驶员头部图像，利用Adaboost算法训练出识别脸部区域的分类器，利用训练出的分类器对驾驶员头部图像进行识别从而识别出驾驶员脸部区域；
S2、利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的模型定位驾驶员脸部区域的特征点，并根据驾驶员脸部区域的特征点获取驾驶员嘴部区域位置和图像；
S3、对驾驶员嘴部区域图像进行预处理操作之后进行轮廓检测，筛选出嘴部轮廓，由嘴部轮廓计算嘴部的张开度和持续张开时长，根据嘴部的张开度和持续张开时长判断驾驶员是否打哈欠以及统计打哈欠的次数。
本发明所述的基于快速特征点定位的全天候哈欠检测方法，步骤S1中利用Adaboost算法训练出识别脸部区域的分类器的步骤包括：
S11、准备训练样本：设Adaboost训练过程中样本集合为：{(x1,y1),(x2,y2),(x3,y3),…(xn,yn)}其中，yi＝0或1，分别表示该训练样本为负样本(非人脸样本)或正样本(人脸样本)；
S12、初始化样本权重：根据yi设置初始化权值，当yi＝0时，w1,i＝1/2m，当yi＝1，w1,i＝1/2l，其中m和l分别表示正负样本的个数，若总样本数为n，则n＝m+l；
S13、归一化样本权重系数，计算每个样本特征点分类误差，选取分类误差最小的弱分类器，然后重新计算并分配训练样本的权值，具体为：
首先，根据归一化样本权重系数，表示在第t次迭代中的第j个训练样本的权值等于该样本的训练参数除以该次训练迭代中的所有的样本的权值的总和；
然后，在输入的样本中，根据每一个Haar-Like特征fj，可训练出一个仅仅依赖于单一特征的弱分类器hj，该弱分类器的分类误差为：
选择使得当前分类错误率最小的弱分类器ht；
使用公式重新计算并分配训练样本的权值，其中，j为样本序号，若在本次迭代过程中样本j被正确分类，则ej＝0；反之则ej＝1。βt＝εt/(1-εt)；
S14、判断训练迭代总次数是否达到预设次数，如果没有达到预设次数，则循环执行步骤S13继续训练分类器，如果达到预设次数，则进行步骤S15；
S15、结束训练，获取强分类器，最终得到的强分类器h(x)的表达式为：
其中
本发明所述的基于快速特征点定位的全天候哈欠检测方法，步骤S2中利用基于局部二值特征的形状回归算法(RLBF算法)训练定位脸部特征点的模型的步骤包括：
S21、准备训练样本：样本包括人脸样本库以及对应的人脸样本库标注文件groundTruth；
S22、预处理训练样本：对样本图像进行预处理操作，其中包括(灰度化，图像增强，人脸检测)，图像裁剪(加快训练速度)；
S23、对样本进行坐标变换，构建平均形状模型：考虑到样本图片之间人脸是各式各样的，受到光照、姿势等各方面的影响，因此在获取平均形状时，应该在一个相对统一的框架下求取，对训练样本进行坐标变换之后，对所有特征点求取平均值获得平均形状模型；
S24、设置训练模型参数，包括提取局部二值特征的随机森林参数(随机树个数，随机树深度等)和用于形状的全局线性回归相关参数(回归阶段次数，形状残差等)；
S25、训练随机森林，获得特征映射函数，提取局部二值特征，对形状进行全局线性回归，并对形状进行更新，具体为：
首先，训练随机森林，获得特征映射函数Φt(I,St-1)，提取局部二值特征；
然后采用ΔSt＝WtΦt(I,St-1)对形状进行全局线性回归，对形状进行更新，其中，ΔSt＝Sgt-St为第t个阶段的残差，W为线性回归矩阵，I为样本图像；
S26、判断回归次数是否达到预设次数，如果没有达到预设次数，则循环执行步骤S25，如果达到预设次数，则保存模型。
本发明所述的基于快速特征点定位的全天候哈欠检测方法，步骤S3中对驾驶员嘴部区域图像进行预处理的步骤为：
根据S1中采集驾驶员头部图像时环境的光照强度选择基于最大阈值分割法计算二值化阈值从而获取驾驶员嘴部区域图像的二值化图像或者基于YIQ表色系统进行唇色阈值分割从而获取驾驶员嘴部区域图像的二值化图像，具体为：
如果光照强度较高，由于唇色和肤色的差异较大，则可以通过对唇色对嘴部进行阈值分割，获取嘴部区域图像的二值化图像，分割阈值可以根据如下确定：
YIQ表色系统由美国国家电视标准委员会制定，主要用于彩色电视信号的传输。其中Y分量代表图像的亮度信息，I分量代表从橙色到青色的颜色变化，而Q分量则代表从绿色到品红色的颜色变化。YIQ表示法的重要性是它的亮度信号(Y)和色度信号(I、Q)是相互独立的，而且Q分量代表的颜色变化正好覆盖了嘴唇的颜色范围，因此可以选用YIQ颜色空间确定嘴唇。YIQ和RGB的对应关系用下面的方程式表示：
Y＝0.299R+0.587G+0.114B
I＝0.596R－0.275G－0.321B
Q＝0.212R－0.523G+0.311B
唇色的最佳阈值分别为Y∈[80，220]，I∈[12，78]，Q∈[7，25]；
如果光照强度较低，具有红外补光功能的图像采集装置会发出红外线对驾驶员头部进行补光，这种情况可以先对基于特征点定位出的嘴部区域图像进行图像增强，通过对红外环境下的嘴部区域运动进行分析发现，嘴部在运动时其内部的灰度信息与嘴部外面的灰度信息差异较大，因此可以对增强后的嘴部内部区域图像进行最大阈值分割法计算分割阈值，使用该阈值对嘴部内部区域进行二值化操作获得嘴部区域图像的二值化图像。
本发明所述的基于快速特征点定位的全天候哈欠检测方法，步骤S3中：
对二值化操作后的嘴部区域图像进行轮廓检测，根据嘴部的轮廓特征设置相关的约束条件对非嘴部轮廓进行筛选，这里的约束条件可以是轮廓的宽高比，面积大小等，筛选出嘴部轮廓。
本发明所述的基于快速特征点定位的全天候哈欠检测方法，步骤S3中：
用椭圆对嘴部轮廓进行拟合，以拟合的椭圆长短轴长度比值为嘴部的张开度。
本发明所述的基于快速特征点定位的全天候哈欠检测方法，步骤S3中：
当嘴部的张开度超过张开度预设值时，开始计算持续张开时长，当嘴部的张开度小于张开度预设值时，停止计算持续张开时长，如果计算的持续张开时长超过张开时长预设值时，判定驾驶员在打哈欠，并计入驾驶员打哈欠的次数，具体为：
人在打哈欠的过程中，一般情况下人的嘴巴的张开度是从低到高再到低的，因此可以通过判断嘴部张开度大于张开度预设值所持续的时间长度来判断是否发生哈欠。首先，计算出嘴部张开度，设嘴部张开度为hn，则hn与持续张开时长t，以及张开时长预设值β应满足下式：
其中
这里hc为张开度预设值，tc表示嘴部从超过张开度预设值到小于张开度预设值的持续时长；当嘴部张开度大于张开度预设值时开始计算持续张开时长，当嘴部的张开度小于张开度预设值时，停止计算持续张开时长，若计算的持续张开时长大于张开时长预设值β，则可以认为是驾驶员打了一次哈欠(有效哈欠)，否则不是。
本发明还提供一种基于快速特征点定位的全天候哈欠检测系统1，包括：
脸部识别模块11：利用具有红外补光功能的图像采集装置采集驾驶员头部图像，利用Adaboost算法训练出识别脸部区域的分类器，利用训练出的分类器对驾驶员头部图像进行识别从而识别出驾驶员脸部区域；
嘴部识别模块12：利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的模型定位驾驶员脸部区域的特征点，并根据驾驶员脸部区域的特征点获取驾驶员嘴部区域位置和图像；
哈欠判断模块13：对驾驶员嘴部区域图像进行预处理操作之后进行轮廓检测，筛选出嘴部轮廓，由嘴部轮廓计算嘴部的张开度和持续张开时长，根据嘴部的张开度和持续张开时长判断驾驶员是否打哈欠以及统计打哈欠的次数。
本发明所述的基于快速特征点定位的全天候哈欠检测系统1，脸部识别模块11包括：
第一样本准备单元：准备训练样本；
初始化单元：初始化样本权重；
第一训练单元：归一化样本权重系数，计算每个样本特征点分类误差，选取分类误差最小的弱分类器，然后重新计算并分配训练样本的权值；
第一判断单元：判断训练迭代总次数是否达到预设次数，如果没有达到预设次数，则循环执行训练单元，如果达到预设次数，则执行强分类器获取单元的操作；
强分类器获取单元：获取强分类器。
本发明所述的基于快速特征点定位的全天候哈欠检测系统1，嘴部识别模块12包括：
第二样本准备单元：准备训练样本；
预处理单元：预处理训练样本；
坐标变换单元：对样本进行坐标变换，构建平均形状模型；
参数设置单元：设置训练模型参数；
第二训练单元：训练随机森林，获得特征映射函数，提取局部二值特征，对形状进行全局线性回归，并对形状进行更新；
第二判断单元：判断回归次数是否达到预设次数，如果没有达到预设次数，则循环执行第二训练单元，如果达到预设次数，则保存模型。
本发明所述的基于快速特征点定位的全天候哈欠检测系统1，哈欠判断模块13中：
根据脸部识别模块中采集驾驶员头部图像时环境的光照强度选择基于最大阈值分割法计算二值化阈值从而获取驾驶员嘴部区域图像的二值化图像或者基于YIQ表色系统进行唇色阈值分割从而获取驾驶员嘴部区域图像的二值化图像。
本发明所述的基于快速特征点定位的全天候哈欠检测系统1，哈欠判断模块13中：
用椭圆对嘴部轮廓进行拟合，以拟合的椭圆长短轴长度比值为嘴部的张开度；
当嘴部的张开度超过张开度预设值时，开始计算持续张开时长，当嘴部的张开度小于张开度预设值时，停止计算持续张开时长，如果计算的持续张开时长超过张开时长预设值时，判定驾驶员在打哈欠，并计入驾驶员打哈欠的次数。
与现有技术相比，本发明的有益效果：使用了基于局部二值特征的形状回归算法，相比全局特征而言，噪声更少，减少了计算量，可以快速地进行脸部特征点定位,从而可以快速定位嘴部位置，获取驾驶员嘴部区域图像，实时性高；借助具有红外补光功能的图像采集装置，不同光照强度下，均可采集清晰驾驶员头部图像，准确定位驾驶员脸部区域的特征点，并根据采集驾驶员头部图像时的光照强度自动选择对于驾驶员嘴部区域图像的不同预处理操作，使得哈欠判断更加准确，不易受光照环境影响，适应性强；根据驾驶员脸部区域的特征点获取驾驶员嘴部位置、图像，比通过五官几何位置关系确定嘴部位置更准确；哈欠判断时，嘴部的张开度超过张开度预设值时并持续一定时间时，才判断为驾驶员打哈欠，比仅仅通过单帧图像的嘴部张开度来判断哈欠更加准确。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (10)

1.一种基于快速特征点定位的全天候哈欠检测方法，其特征在于，包括步骤：
S1、利用具有红外补光功能的图像采集装置采集驾驶员头部图像，利用Adaboost算法训练出识别脸部区域的分类器，利用训练出的所述分类器对驾驶员头部图像进行识别从而识别出驾驶员脸部区域；
S2、利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的所述模型定位驾驶员脸部区域的特征点，并根据驾驶员脸部区域的特征点获取驾驶员嘴部区域位置和图像；
S3、对驾驶员嘴部区域图像进行预处理操作之后进行轮廓检测，筛选出嘴部轮廓，由所述嘴部轮廓计算嘴部的张开度和持续张开时长，根据所述嘴部的张开度和所述持续张开时长判断驾驶员是否打哈欠以及统计打哈欠的次数。
2.如权利要求1所述的基于快速特征点定位的全天候哈欠检测方法，其特征在于，步骤S1中利用Adaboost算法训练出识别脸部区域的分类器的步骤包括：
S11、准备训练样本；
S12、初始化样本权重；
S13、归一化样本权重系数，计算每个样本特征点分类误差，选取分类误差最小的弱分类器，然后重新计算并分配训练样本的权值；
S14、判断训练迭代总次数是否达到预设次数，如果没有达到预设次数，则循环执行步骤S13，如果达到预设次数，则进行步骤S15；
S15、获取强分类器。
3.如权利要求1所述的基于快速特征点定位的全天候哈欠检测方法，其特征在于，步骤S2中利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型的步骤包括：
S21、准备训练样本；
S22、预处理训练样本；
S23、对样本进行坐标变换，构建平均形状模型；
S24、设置训练模型参数；
S25、训练随机森林，获得特征映射函数，提取局部二值特征，对形状进行全局线性回归，并对形状进行更新；
S26、判断回归次数是否达到预设次数，如果没有达到预设次数，则循环执行步骤S25，如果达到预设次数，则保存模型。
4.如权利要求1所述的基于快速特征点定位的全天候哈欠检测方法，其特征在于，步骤S3中对驾驶员嘴部区域图像进行预处理的步骤为：
根据S1中采集驾驶员头部图像时环境的光照强度选择基于最大阈值分割法计算二值化阈值从而获取所述驾驶员嘴部区域图像的二值化图像或者基于YIQ表色系统进行唇色阈值分割从而获取所述驾驶员嘴部区域图像的二值化图像。
5.如权利要求1所述的基于快速特征点定位的全天候哈欠检测方法，其特征在于，步骤S3中：
用椭圆对所述嘴部轮廓进行拟合，以拟合的椭圆长短轴长度比值为所述嘴部的张开度；
当所述嘴部的张开度超过张开度预设值时，开始计算所述持续张开时长，当所述嘴部的张开度小于张开度预设值时，停止计算所述持续张开时长，如果计算的持续张开时长超过张开时长预设值时，判定驾驶员在打哈欠，并计入驾驶员打哈欠的次数。
6.一种基于快速特征点定位的全天候哈欠检测系统，其特征在于，包括：
脸部识别模块：利用具有红外补光功能的图像采集装置采集驾驶员头部图像，利用Adaboost算法训练出识别脸部区域的分类器，利用训练出的所述分类器对驾驶员头部图像进行识别从而识别出驾驶员脸部区域；
嘴部识别模块：利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的所述模型定位驾驶员脸部区域的特征点，并根据驾驶员脸部区域的特征点获取驾驶员嘴部区域位置和图像；
哈欠判断模块：对所述驾驶员嘴部区域图像进行预处理操作之后进行轮廓检测，筛选出嘴部轮廓，由嘴部轮廓计算嘴部的张开度和持续张开时长，根据嘴部的张开度和持续张开时长判断驾驶员是否打哈欠以及统计打哈欠的次数。
7.如权利要求6所述的基于快速特征点定位的全天候哈欠检测系统，其特征在于，脸部识别模块包括：
第一样本准备单元：准备训练样本；
初始化单元：初始化样本权重；
第一训练单元：归一化样本权重系数，计算每个样本特征点分类误差，选取分类误差最小的弱分类器，然后重新计算并分配训练样本的权值；
第一判断单元：判断训练迭代总次数是否达到预设次数，如果没有达到预设次数，则循环执行训练单元，如果达到预设次数，则执行强分类器获取单元的操作；
强分类器获取单元：获取强分类器。
8.如权利要求6所述的基于快速特征点定位的全天候哈欠检测系统，其特征在于，嘴部识别模块包括：
第二样本准备单元：准备训练样本；
预处理单元：预处理训练样本；
坐标变换单元：对样本进行坐标变换，构建平均形状模型；
参数设置单元：设置训练模型参数；
第二训练单元：训练随机森林，获得特征映射函数，提取局部二值特征，对形状进行全局线性回归，并对形状进行更新；
第二判断单元：判断回归次数是否达到预设次数，如果没有达到预设次数，则循环执行第二训练单元，如果达到预设次数，则保存模型。
9.如权利要求6所述的基于快速特征点定位的全天候哈欠检测系统，其特征在于，哈欠判断模块中：
根据脸部识别模块中采集驾驶员头部图像时环境的光照强度选择基于最大阈值分割法计算二值化阈值从而获取所述驾驶员嘴部区域图像的二值化图像或者基于YIQ表色系统进行唇色阈值分割从而获取所述驾驶员嘴部区域图像的二值化图像。
10.如权利要求6所述的基于快速特征点定位的全天候哈欠检测系统，其特征在于，哈欠判断模块中：
用椭圆对嘴部轮廓进行拟合，以拟合的椭圆长短轴长度比值为所述嘴部的张开度；
当所述嘴部的张开度超过张开度预设值时，开始计算所述持续张开时长，当所述嘴部的张开度小于张开度预设值时，停止计算所述持续张开时长，如果计算的所述持续张开时长超过张开时长预设值时，判定驾驶员在打哈欠，并计入驾驶员打哈欠的次数。
CN201710390313.6A 2017-05-27 2017-05-27 一种基于快速特征点定位的全天候哈欠检测方法及系统 Pending CN107247934A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710390313.6A CN107247934A (zh) 2017-05-27 2017-05-27 一种基于快速特征点定位的全天候哈欠检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710390313.6A CN107247934A (zh) 2017-05-27 2017-05-27 一种基于快速特征点定位的全天候哈欠检测方法及系统

Publications (1)

Publication Number Publication Date
CN107247934A true CN107247934A (zh) 2017-10-13

Family

ID=60017673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710390313.6A Pending CN107247934A (zh) 2017-05-27 2017-05-27 一种基于快速特征点定位的全天候哈欠检测方法及系统

Country Status (1)

Country Link
CN (1) CN107247934A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472228A (zh) * 2018-10-29 2019-03-15 上海交通大学 一种基于深度学习的哈欠检测方法
CN110659537A (zh) * 2018-06-28 2020-01-07 长沙智能驾驶研究院有限公司 驾驶员异常驾驶行为检测方法、计算机设备和存储介质
CN111291749A (zh) * 2020-01-20 2020-06-16 深圳市优必选科技股份有限公司 手势识别方法、装置及机器人
CN111814739A (zh) * 2020-07-27 2020-10-23 上海东普信息科技有限公司 快递包裹体积的检测方法、装置、设备及存储介质
CN112241647A (zh) * 2019-07-16 2021-01-19 青岛点之云智能科技有限公司 一种基于深度相机的危险驾驶行为预警装置和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463128A (zh) * 2014-12-17 2015-03-25 智慧眼（湖南）科技发展有限公司 用于人脸识别的眼镜检测方法及系统
CN104881955A (zh) * 2015-06-16 2015-09-02 华中科技大学 一种驾驶员疲劳驾驶检测方法及系统
CN106485214A (zh) * 2016-09-28 2017-03-08 天津工业大学 一种基于卷积神经网络的眼睛和嘴部状态识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463128A (zh) * 2014-12-17 2015-03-25 智慧眼（湖南）科技发展有限公司 用于人脸识别的眼镜检测方法及系统
CN104881955A (zh) * 2015-06-16 2015-09-02 华中科技大学 一种驾驶员疲劳驾驶检测方法及系统
CN106485214A (zh) * 2016-09-28 2017-03-08 天津工业大学 一种基于卷积神经网络的眼睛和嘴部状态识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
孙育霖: "智能视频监控中行人检测及外貌特征分析关键技术", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张恒: "基于近红外图像的疲劳驾驶检测研究与系统实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
彭波等: "基于肤色和唇色信息的人脸检测方法的研究", 《计算机工程与设计》 *
杨宁: "基于边缘特征的前方车辆识别", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
袁健: "基于面部特征的驾驶员疲劳检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659537A (zh) * 2018-06-28 2020-01-07 长沙智能驾驶研究院有限公司 驾驶员异常驾驶行为检测方法、计算机设备和存储介质
CN110659537B (zh) * 2018-06-28 2022-05-20 长沙智能驾驶研究院有限公司 驾驶员异常驾驶行为检测方法、计算机设备和存储介质
CN109472228A (zh) * 2018-10-29 2019-03-15 上海交通大学 一种基于深度学习的哈欠检测方法
CN112241647A (zh) * 2019-07-16 2021-01-19 青岛点之云智能科技有限公司 一种基于深度相机的危险驾驶行为预警装置和方法
CN112241647B (zh) * 2019-07-16 2023-05-09 青岛点之云智能科技有限公司 一种基于深度相机的危险驾驶行为预警装置和方法
CN111291749A (zh) * 2020-01-20 2020-06-16 深圳市优必选科技股份有限公司 手势识别方法、装置及机器人
CN111291749B (zh) * 2020-01-20 2024-04-23 深圳市优必选科技股份有限公司 手势识别方法、装置及机器人
CN111814739A (zh) * 2020-07-27 2020-10-23 上海东普信息科技有限公司 快递包裹体积的检测方法、装置、设备及存储介质
CN111814739B (zh) * 2020-07-27 2023-09-01 上海东普信息科技有限公司 快递包裹体积的检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107247934A (zh) 一种基于快速特征点定位的全天候哈欠检测方法及系统
CN106874871B (zh) 一种活体人脸双摄像头识别方法及识别装置
CN104778453B (zh) 一种基于红外行人亮度统计特征的夜间行人检测方法
CN106815560B (zh) 一种应用于自适应驾座的人脸识别方法
CN105447503B (zh) 基于稀疏表示lbp和hog融合的行人检测方法
CN106651872A (zh) 基于Prewitt算子的路面裂缝识别方法及系统
CN106446872A (zh) 一种低照度下的视频人脸检测识别方法
CN107330378A (zh) 一种基于嵌入式图像处理的驾驶员行为检测系统
CN106934386B (zh) 一种基于自启发式策略的自然场景文字检测方法及系统
CN104299011A (zh) 一种基于人脸图像识别的肤质与皮肤问题识别检测方法
CN107657619B (zh) 一种低照度林火图像分割方法
CN108229458A (zh) 一种基于运动检测和多特征提取的火焰智能识别方法
CN103914708B (zh) 基于机器视觉的食品品种检测方法及系统
CN109918971B (zh) 监控视频中人数检测方法及装置
CN101715111B (zh) 视频监控中滞留物主自动搜寻方法
CN104123549B (zh) 一种用于疲劳驾驶实时监测的眼睛定位方法
CN109255326A (zh) 一种基于多维信息特征融合的交通场景烟雾智能检测方法
CN108446690B (zh) 一种基于多视角动态特征的人脸活体检测方法
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
CN111401310B (zh) 基于人工智能的厨房卫生安全监督管理方法
CN109543518A (zh) 一种基于积分投影的人脸器官精确识别方法
CN111832461A (zh) 一种基于视频流的非机动车骑行人员头盔佩戴检测方法
Monwar et al. Pain recognition using artificial neural network
CN109784216B (zh) 基于概率图的车载热成像行人检测RoIs提取方法
CN106326834A (zh) 人体性别自动识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171013

RJ01 Rejection of invention patent application after publication