CN109657550A - 一种疲劳度检测方法及装置 - Google Patents

一种疲劳度检测方法及装置 Download PDF

Info

Publication number
CN109657550A
CN109657550A CN201811360966.0A CN201811360966A CN109657550A CN 109657550 A CN109657550 A CN 109657550A CN 201811360966 A CN201811360966 A CN 201811360966A CN 109657550 A CN109657550 A CN 109657550A
Authority
CN
China
Prior art keywords
characteristic point
mouth
fatigue
facial image
fatigue strength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811360966.0A
Other languages
English (en)
Other versions
CN109657550B (zh
Inventor
徐博勋
李庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunshan Microelectronics Technology Research Institute
Original Assignee
Institute of Microelectronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Microelectronics of CAS filed Critical Institute of Microelectronics of CAS
Priority to CN201811360966.0A priority Critical patent/CN109657550B/zh
Publication of CN109657550A publication Critical patent/CN109657550A/zh
Application granted granted Critical
Publication of CN109657550B publication Critical patent/CN109657550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Abstract

本申请公开了一种疲劳度检测方法及装置，涉及车联网及智能检测技术领域。所述方法包括：拍摄视频片段；按照时间维度检测视频片段中的各人脸图像；提取各人脸图像中多个区域的特征点；根据该多个区域的特征点，确定相应人员的疲劳度。本申请中，通过提取人脸图像中多个区域的特征点，并将各时刻的特征点所对应的疲劳值相关联，从而综合该多个区域所对应的疲劳值，最终确定相应人员的疲劳度，不仅提升了疲劳检测的准确率，而且在疲劳检测过程中不会对待检测人员造成任何干扰。

Description

一种疲劳度检测方法及装置
技术领域
本申请涉及车联网及智能检测技术领域，尤其涉及一种疲劳度检测方法及装置。
背景技术
交通工具在人们的出行过程中有着至关重要的地位，驾驶员的安全驾驶，也是人们出平安出行的必要保障。当驾驶员的驾驶时间过长时，驾驶员的精神状态经常会发生改变，由于驾驶员在生理、心理方面的疲劳而导致判断错误、操作失误以及不遵守交通规则等异常驾驶的行为也时有发生，这些行为往往会导致危险事故的发生。因此，驾驶员的疲劳检测成为了备受关注的事情。
当前，关于驾驶行为的疲劳检测方法主要分为以下三类：一、驾驶员佩戴多种仪器，从而获取驾驶员生理状态的检测方法；二、车上安装传感器，以获取驾驶行为特征的检测方法；三、基于计算机视觉的检测方法。其中，第一类疲劳检测方法中，由于需要驾驶员佩戴很多仪器，会造成驾驶员的不适，且可能造成驾驶行为受阻，因而难以真正实际应用；第二类疲劳检测方法中，需要在驾驶舱中安装多种传感器，但是其很可能存在器件测量误差，且硬件成本较高。第三类基疲劳检测方法相对来说是最具有前景和实用价值的方法，目前也存在一些基于计算机视觉的疲劳检测方法，但是大多基于PERCLOS方法，通过计算连续闭眼帧数占总帧数的比例，或者在一定时间内眼睛闭合所占的时间比例来判定驾驶员的疲劳程度。然而，由于个体习惯的不同，有些人习惯眨眼，因而，仅依靠闭眼状态进行疲劳检测会存有误差，性能较低。
发明内容
为解决现有技术的不足，本申请提出一种疲劳度检测方法及装置。
一方面，本申请提出一种疲劳度检测方法，包括：
拍摄视频片段；
按照时间维度检测所述视频片段中的各人脸图像；
提取所述各人脸图像中多个区域的特征点；
根据所述多个区域的特征点，确定相应人员的疲劳度。
可选的，方法还包括：
采集图像样本，提取所述图像样本中的Haar-like特征；
根据AdaBoost算法对所述Haar-like特征进行训练，得到人脸检测模型；
对应的，所述按照时间维度检测所述视频片段中的各人脸图像，包括：按照时间维度，采用所述人脸检测模型对所述视频片段的各帧图像进行检测，得到相应的各人脸图像。
可选的，所述提取所述各人脸图像中多个区域的特征点，包括：
根据人脸对齐算法分别对所述各人脸图像进行人脸对齐处理得到相应的各目标人脸图像；
提取所述各目标人脸图像中眼睛区域、嘴巴区域、下巴区域的特征点，得到时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列。
可选的，所述根据所述多个区域的特征点，确定相应人员的疲劳度，包括：
采用预先训练的分析模型分别对所述时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列进行分析，得到相应时刻的眼睛闭合概率、嘴巴的张合度和点头概率；
根据各时刻的眼睛闭合概率、嘴巴的张合度和点头概率，计算相应人员的疲劳度。
可选的，所述根据各时刻的眼睛闭合概率、嘴巴的张合度和点头概率，计算相应人员的疲劳度，包括：
所述根据各时刻的眼睛闭合概率、嘴巴的张合度和点头概率，分别计算对应的疲劳值；
根据计算的各疲劳值，确定相应人员的疲劳度。
另一方面，本申请提出一种疲劳度检测装置，包括：
拍摄模块，用于拍摄视频片段；
检测模块，用于按照时间维度检测所述视频片段中的各人脸图像；
提取模块，用于提取所述各人脸图像中多个区域的特征点；
确定模块，用于根据所述多个区域的特征点，确定相应人员的疲劳度。
可选的，装置还包括：训练模块；
所述训练模块，用于采集图像样本，提取所述图像样本中的Haar-like特征；根据AdaBoost算法对所述Haar-like特征进行训练，得到人脸检测模型；
对应的，所述检测模块，具体用于按照时间维度，采用所述人脸检测模型对所述视频片段的各帧图像进行检测，得到相应的各人脸图像。
可选的，所述提取模块包括：人脸对齐单元和提取单元；
所述人脸对齐单元，用于根据人脸对齐算法分别对所述各人脸图像进行人脸对齐处理得到相应的各目标人脸图像；
所述提取单元，用于提取所述各目标人脸图像中眼睛区域、嘴巴区域、下巴区域的特征点，得到时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列。
可选的，所述确定模块包括检测单元和计算单元；
所述检测单元，用于采用预先训练的检测模型分别对所述时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列进行检测，得到相应时刻的眼睛闭合概率、嘴巴的张合度和点头频率；
所述计算单元，用于根据各时刻的眼睛闭合概率、嘴巴的张合度和点头频率，计算相应人员的疲劳度。
可选的，所述计算单元具体用于：
所述根据各时刻的眼睛闭合概率、嘴巴的张合度和点头频率，分别计算对应的疲劳值；
根据计算的各疲劳值，确定相应人员的疲劳度。
本申请的优点在于：
本申请中，基于计算机视觉，通过检测时间维度上的多个人脸图像，提取各人脸图像中多个区域的特征点，并将各时刻的特征点所对应的疲劳值相关联，计算连续时间内的疲劳值，从而综合该多个区域所对应的疲劳值，最终确定相应人员的疲劳度，极大的提升了疲劳检测性能及检测准确率；同时，在疲劳检测过程中，无需待检测人员佩戴任何仪器，也无需在检测环境中布设传感器，不仅操作方便、不会对待检测人员造成任何干扰，而且减低了检测成本。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
附图1为根据本申请实施方式的一种疲劳度检测方法流程图；
附图2为根据本申请实施方式的眼镜区域特征点的示意图；
附图3为根据本申请实施方式的嘴巴区域特征点的示意图；
附图4为根据本申请实施方式的下巴区域特征点的示意图；
附图5为根据本申请实施方式的不同α对应的疲劳度曲线示意图；
附图6为根据本申请实施方式的轻度疲劳的疲劳曲线示意图；
附图7为根据本申请实施方式的中度疲劳的疲劳曲线示意图；
附图8为根据本申请实施方式的重度疲劳的疲劳曲线示意图；
附图9为根据本申请实施方式的一种疲劳度检测装置框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为解决现有技术的不足，本申请提出一种可广泛应用于驾驶员疲劳检测的疲劳检测装置，仅需将其安装于车辆中，而无需驾驶员佩戴任何仪器，也无需在车辆中安装过多的传感器；基于计算机视觉的图像处理技术，通过拍摄含有驾驶员人脸图像的视频片段并进行处理，达到疲劳检测的目的；该过程中不仅不会对驾驶员造成干扰，而且使用方便、成本低廉。应当理解的是，该装置不限于对驾驶员进行疲劳检测，还可以对其他人员进行疲劳检测，以下对本申请的疲劳度检测方法及装置进行详述。
实施例一
根据本申请的实施方式，提出一种疲劳度检测方法，如图1所示，包括：
步骤101：拍摄视频片段；
具体的，拍摄含有待检测人员人脸图像的视频片段，优选的，视频片段的每帧中均含有待检测人员人脸图像。
步骤102：按照时间维度检测视频片段中的各人脸图像；
根据本申请的实施方式，该方法还包括：采集图像样本，提取图像样本中的Haar-like特征；根据AdaBoost算法对提取的Haar-like特征进行训练，得到人脸检测模型；
具体的，采集预设数量的图像样本，确定各图像样本的Haar-like特征模板，将Haar-like特征模板在图像子窗口中扩展(平移伸缩)得到各图像样本的矩形特征，包括二邻接矩形、三邻接矩形、四邻接矩形等；采用积分图加速计算各矩形特征的特征值，并根据AdaBoost算法对计算的各特征值进行训练，得到多个弱分类器，将该多个弱分类器线性组合，得到一个强分类器，并作为人脸检测模型；
其中，Haar-like特征模板内只有白色和黑色两种矩形，相应的，得到的矩形特征的特征值为白色矩形像素和减去黑色矩形像素和；
进一步的，采用积分图加速计算各矩形特征的特征值，包括：使用与原图像样本大小相同的二维矩阵，作为该原图像样本的积分图像，积分图像中任意一点的值是该点与图像左上角所围成的矩形区域中所有点的像素之和；基于该积分图像，可快速的计算各特征的特征值。
根据本申请的实施方式，步骤102包括：按照时间维度，采用所述人脸检测模型对拍摄的视频片段的各帧图像进行检测，得到相应的各人脸图像。
步骤103：提取各人脸图像中多个区域的特征点；
根据本申请的实施方式，步骤103包括：
步骤103-1：根据人脸对齐算法分别对检测的各人脸图像进行人脸对齐处理得到相应的各目标人脸图像；
其中，人脸对齐算法具体为Ensemble of Regression Tress算法，简称ERT算法；该方法通过建立一个级联的残差回归树来使人脸形状从当前形状(即检测的人脸图像中的形状)一步一步回归到真实形状(即目标人脸图像)；其中，每一颗树的叶子结点上都存储一个残差回归量，当输入落到一个节点上时，就将残差加到该输入上，起到回归的目的，最终通过线性组合所有残差，完成人脸特征点检测，得到各特征点的真实位置。进一步的，建立级联的残差回归树的过程，由于是本领域技术人员公知的方法，故在此不再进行详述。
步骤103-2：提取各目标人脸图像中眼睛区域、嘴巴区域、下巴区域的特征点，得到时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列。
根据本申请的实施方式，步骤103-2包括：
步骤103-2-1：分别提取各目标人脸图像中眼睛区域、嘴巴区域、下巴区域的多个特征点，得到各相应视频帧所在时刻的眼睛特征点子序列、嘴巴特征点子序列、下巴特征点子序列；
其中，眼睛区域、嘴巴区域、下巴区域的多个特征点的示意图分别如图2至4所示，眼睛区域包括眼睛睁开状态和眼睛闭合状态，嘴巴区域包括嘴巴张开状态和嘴巴闭合状态；需要指出的，可以根据实际需求调整各区域提取的特征点的数量。
步骤103-2-2：按照时间维度，分别对各眼睛特征点子序列、嘴巴特征点子序列、下巴特征点子序列排序，得到眼睛特征点序列、嘴巴特征点序列、下巴特征点序列。
步骤104：根据提取的多个区域的特征点，确定相应人员的疲劳度。
根据本申请的实施方式，步骤104包括：
步骤104-1：采用预先训练的分析模型分别对提取的时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列进行分析，得到相应时刻的眼睛闭合概率、嘴巴的张合度和点头概率；
本申请中，考虑到个体面部差异，预先训练分析模型，以适应于各用户的特征点分析；其中，分析模型包括第一分析模型、第二分析模型和第三分析模型，第一分析模型、第二分析模型和第三分析模型均为Logistics Regression模型或SVM模型；
相应的，步骤104-1包括：
步骤104-1-1：采用预先训练的第一分析模型对提取的时间维度上的眼睛特征点序列进行分析，得到相应时刻的眼睛闭合概率；
具体的，将提取的时间维度上的眼睛特征点序列输入预先训练的第一分析模型，在第一分析模型中根据各眼睛特征点子序列中各眼睛特征点的坐标，计算对应的眼睛横纵比，并根据该眼睛横纵比，确定相应视频帧所在时刻的眼睛闭合概率；其中，当眼睛横纵比越小时，判定眼睛的闭合状态的概率越大；
进一步的，眼睛横纵比的计算公式为：其中，P1、P2为上眼皮上的两个特征点的坐标，P3、P4为下眼皮上的两个特征点的坐标，P5、P6为左右眼角的两个特征点的坐标，Ratio为计算的眼睛横纵比。
步骤104-1-2：采用预先训练的第二分析模型对提取的时间维度上的嘴巴特征点序列进行分析，得到相应时刻的嘴巴张合度；
具体的，将提取的时间维度上的嘴巴特征点序列输入预先训练的第二分析模型，在第二分析模型中分析各嘴巴特征点子序列对应的嘴巴张合状态，并分别根据各嘴巴特征点子序列中的各嘴巴特征点的坐标，计算对应的嘴巴张合度。
其中，嘴巴张合度的计算公式为：其中，H为嘴巴上唇特征点与下唇特征点的距离的均值，可以根据上唇各特征点的坐标及下唇各特征点的坐标求得，L为左右嘴角两个特征点之间的距离，可以根据左右嘴角两个特征点的坐标求得。
步骤104-1-3：采用预先训练的第三分析模型对提取的时间维度上的嘴巴特征点序列及下巴特征点序列进行分析，得到相应时刻的点头概率；
具体的，将提取的时间维度上的嘴巴特征点序列及下巴特征点序列输入预先训练的第三分析模型，根据各时刻的嘴巴特征点子序列和下巴特征点子序列确定嘴巴与下巴之间的距离，当该距离变小时，点头的概率变大。
需要指出的，上述步骤104-1-1至步骤104-1-3的执行顺序可以彼此互换，而不限为上述执行顺序。
步骤104-2：根据各时刻的眼睛闭合概率、嘴巴的张合度和点头频率，计算相应人员的疲劳度。
根据本申请的实施方式，步骤104-2包括：
步骤104-2-1：根据各时刻的眼睛闭合概率、嘴巴的张合度和点头频率，分别计算对应的疲劳值；
具体的，根据以下公式一依次对第二时刻起各时刻的眼睛闭合概率计算，得到对应的疲劳值，直至得到最后时刻的疲劳值；需要指出的，第一时刻的疲劳值根据初始的第一预设值进行计算。
公式一：其中，r为t+1时刻的眼睛闭合概率，f`t为t时刻眼睛闭合概率对应的疲劳值，f`t+1为t+1时刻眼睛闭合概率对应的疲劳值，α为预设的常数，e为指数函数中的数字常数,t≥1。
根据以下公式二依次对第二时刻起各时刻的嘴巴张合度计算，得到对应的疲劳值，直至得到最后时刻的疲劳值；需要指出的，第一时刻的疲劳值根据初始的第二预设值进行计算。
公式二：其中，D为t+1时刻的嘴巴张合度，f``t为t时刻嘴巴张合度对应的疲劳值，f``t+1为t+1时刻嘴巴张合度对应的疲劳值，α为预设的常数，e为指数函数中的数字常数,t≥1。
根据以下公式三依次对第二时刻起各时刻的点头概率计算，得到对应的疲劳值，直至得到最后时刻的疲劳值；需要指出的，第一时刻的疲劳值根据初始的第三预设值进行计算。
公式三：其中，P为t+1时刻的点头概率，f```t为t时刻点头概率对应的疲劳值，f```t+1为t+1时刻点头概率对应的疲劳值，α为预设的常数，e为指数函数中的数字常数,t≥1。
需要指出的，上述根据公式一至公式三进行计算的过程中，还包括：调整r、D、P。以调整r为例进行说明，当t时刻、时，眼睛大概率为闭合状态，且r越大，眼睛闭合程度越大，相应的疲劳值增加的越多，但是由于之前眼睛睁开状态的累积，导致r极小，为了避免这种跳跃，保持r的平滑，在计算t+1时刻的疲劳值时，根据公式rnew＝log(r+1)更新r，并根据更新后的rnew计算t+1时刻的疲劳值。调整D、P的过程与上述调整r的过程相同，在此不再赘述。
由此，本申请中，通过拍摄视频片段，获取待检测人员在一段时间内的多个状态，从而确定疲劳度；该过程中，考虑到人在疲劳状态下，眼睛闭合会持续一段时间，或会有频繁的睁闭眼行为，但是由于个体差异，并不能直接与预设的阈值进行比较来确定相应的疲劳值；还考虑到人在困乏时，往往会哈欠不断，以提醒人体大脑已经疲劳，需要睡眠休息，但是于惊讶或者大声讲话也会导致嘴巴张大，但是其持续时间会很小；以及考虑到人在疲劳时肌肉会不自觉的放松，然后头低下去，这时嘴巴处的特征点和下巴处的特征点之间距离会变小，所以低头行为也是疲劳的一种象征表现。因此，本申请中分别将眼睛闭合、嘴巴张合及点头行为作为一种隐状态，并将疲劳作为显状态，依次计算对应的疲劳值，以通过多种状态综合判断待检测人员是否处于疲劳状态，提高了疲劳状态检测的性能及准确率。
进一步的，本申请中，如图5所示，由于α(alpha)的改变对疲劳度的形状不会造成太大影响，因此，α还可以根据不同个体的差异而进行调整，当待检测人员认为疲劳检测装置对自身的行为状态反应不够灵敏时，可以调大α，当认为疲劳检测装置对自身的行为状态过于灵敏时，可以调小α。
步骤104-2-2：根据计算的各疲劳值，确定相应人员的疲劳度。
具体的，根据计算的各疲劳值及相应的权重，计算疲劳综合值，根据疲劳综合值所处的预设数值范围，判定相应待检测人员的疲劳度；其中，疲劳度包括不疲劳、轻度疲劳、中度疲劳、重度疲劳等；如图6至8所示的轻度疲劳、中度疲劳、重度疲劳的示意图，可以看到，当疲劳综合值f满足1<f<3时，判定为轻度疲劳；当f满足3≤f≤5时，判定为中度疲劳；当f满足f>5时，判定为重度疲劳。需要说明的，预设数值范围可根据个体差异的不同以及实验样本的不同而有所改变。
根据本申请的实施方式，方法还包括：当确定相应人员处于疲劳状态时，还包括：发出报警信息，以对相应人员进行提示。
至此，基于计算机视觉，通过检测时间维度上的多个人脸图像，提取各人脸图像中多个区域的特征点，并将各时刻的特征点所对应的疲劳值相关联，计算连续时间内的疲劳值，从而综合该多个区域所对应的疲劳值，最终确定相应人员的疲劳度，不仅提升了疲劳检测的准确率，而且在疲劳检测过程中不会对待检测人员造成任何干扰；同时，需要指出的是，该方法不限于用于驾驶员的疲劳检测，还可用于其他用户的疲劳检测。
实施例二
根据本申请的实施方式，还提出一种疲劳度检测装置，如图9所示，包括：
拍摄模块201，用于拍摄视频片段；
检测模块202，用于按照时间维度检测拍摄模块201拍摄的视频片段中的各人脸图像；
提取模块203，用于提取检测模块202检测的各人脸图像中多个区域的特征点；
确定模块204，用于根据提取模块203提取的多个区域的特征点，确定相应人员的疲劳度。
根据本申请的实施方式，该装置还包括：训练模块；
训练模块，用于采集图像样本，提取图像样本中的Haar-like特征；根据AdaBoost算法对提取的Haar-like特征进行训练，得到人脸检测模型；
对应的，检测模块202，具体用于按照时间维度，采用人脸检测模型对拍摄模块201拍摄的视频片段的各帧图像进行检测，得到相应的各人脸图像。
根据本申请的实施方式，提取模块203包括：人脸对齐单元和提取单元，其中：
人脸对齐单元，用于根据人脸对齐算法分别对检测模块202检测的各人脸图像进行人脸对齐处理得到相应的各目标人脸图像；
提取单元，用于提取各目标人脸图像中眼睛区域、嘴巴区域、下巴区域的特征点，得到时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列。
根据本申请的实施方式，确定模块204包括检测单元和计算单元，其中：
检测单元，用于采用预先训练的检测模型分别对所述时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列进行检测，得到相应时刻的眼睛闭合概率、嘴巴的张合度和点头频率；
计算单元，用于根据各时刻的眼睛闭合概率、嘴巴的张合度和点头频率，计算相应人员的疲劳度。
进一步的，计算单元具体用于：根据各时刻的眼睛闭合概率、嘴巴的张合度和点头频率，分别计算对应的疲劳值；根据计算的各疲劳值，确定相应人员的疲劳度。
根据本申请的实施方式，还提出一种疲劳度检测设备，包括：一个或多个处理器、存储一个或多个程序的存储装置；当所述程序被所述处理器执行时，实现如实施例一所述的疲劳度检测方法。
进一步的，所述存储装置可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以进一步包括只读存储单元(ROM)。
根据本申请的实施方式，还提出一种计算机可读存储介质，其上存储有计算机程序(即程序产品)，当该计算机程序被处理器执行时，实现如实施例一所述的疲劳度检测方法。
进一步的，所述计算机可读存储介质包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本发明实施例的方法。
需要说明的，本说明书中的各实施例采用相关的方式描述，各实施例之间相同相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种疲劳度检测方法，其特征在于，包括：
拍摄视频片段；
按照时间维度检测所述视频片段中的各人脸图像；
提取所述各人脸图像中多个区域的特征点；
根据所述多个区域的特征点，确定相应人员的疲劳度。
2.根据权利要求1所述的方法，其特征在于，方法还包括：
采集图像样本，提取所述图像样本中的Haar-like特征；
根据AdaBoost算法对所述Haar-like特征进行训练，得到人脸检测模型；
所述按照时间维度检测所述视频片段中的各人脸图像，包括：按照时间维度，采用所述人脸检测模型对所述视频片段的各帧图像进行检测，得到相应的各人脸图像。
3.根据权利要求1所述的方法，其特征在于，所述提取所述各人脸图像中多个区域的特征点，包括：
根据人脸对齐算法分别对所述各人脸图像进行人脸对齐处理得到相应的各目标人脸图像；
提取所述各目标人脸图像中眼睛区域、嘴巴区域、下巴区域的特征点，得到时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列。
4.根据权利要求3所述的方法，其特征在于，所述根据所述多个区域的特征点，确定相应人员的疲劳度，包括：
采用预先训练的分析模型分别对所述时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列进行分析，得到相应时刻的眼睛闭合概率、嘴巴的张合度和点头概率；
根据各时刻的眼睛闭合概率、嘴巴的张合度和点头概率，计算相应人员的疲劳度。
5.根据权利要求4所述的方法，其特征在于，所述根据各时刻的眼睛闭合概率、嘴巴的张合度和点头概率，计算相应人员的疲劳度，包括：
所述根据各时刻的眼睛闭合概率、嘴巴的张合度和点头概率，分别计算对应的疲劳值；
根据计算的各疲劳值，确定相应人员的疲劳度。
6.一种疲劳度检测装置，其特征在于，包括：
拍摄模块，用于拍摄视频片段；
检测模块，用于按照时间维度检测所述视频片段中的各人脸图像；
提取模块，用于提取所述各人脸图像中多个区域的特征点；
确定模块，用于根据所述多个区域的特征点，确定相应人员的疲劳度。
7.根据权利要求6所述的装置，其特征在于，还包括：训练模块；
所述训练模块，用于采集图像样本，提取所述图像样本中的Haar-like特征；根据AdaBoost算法对所述Haar-like特征进行训练，得到人脸检测模型；
所述检测模块，具体用于按照时间维度，采用所述人脸检测模型对所述视频片段的各帧图像进行检测，得到相应的各人脸图像。
8.根据权利要求6所述的装置，其特征在于，所述提取模块包括：人脸对齐单元和提取单元；
所述人脸对齐单元，用于根据人脸对齐算法分别对所述各人脸图像进行人脸对齐处理得到相应的各目标人脸图像；
所述提取单元，用于提取所述各目标人脸图像中眼睛区域、嘴巴区域、下巴区域的特征点，得到时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列。
9.根据权利要求8所述的装置，其特征在于，所述确定模块包括检测单元和计算单元；
所述检测单元，用于采用预先训练的检测模型分别对所述时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列进行检测，得到相应时刻的眼睛闭合概率、嘴巴的张合度和点头频率；
所述计算单元，用于根据各时刻的眼睛闭合概率、嘴巴的张合度和点头频率，计算相应人员的疲劳度。
10.根据权利要求9所述的装置，其特征在于，所述计算单元具体用于：
所述根据各时刻的眼睛闭合概率、嘴巴的张合度和点头频率，分别计算对应的疲劳值；
根据计算的各疲劳值，确定相应人员的疲劳度。
CN201811360966.0A 2018-11-15 2018-11-15 一种疲劳度检测方法及装置 Active CN109657550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811360966.0A CN109657550B (zh) 2018-11-15 2018-11-15 一种疲劳度检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811360966.0A CN109657550B (zh) 2018-11-15 2018-11-15 一种疲劳度检测方法及装置

Publications (2)

Publication Number Publication Date
CN109657550A true CN109657550A (zh) 2019-04-19
CN109657550B CN109657550B (zh) 2020-11-06

Family

ID=66110944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811360966.0A Active CN109657550B (zh) 2018-11-15 2018-11-15 一种疲劳度检测方法及装置

Country Status (1)

Country Link
CN (1) CN109657550B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395900A (zh) * 2019-08-12 2021-02-23 天津大学青岛海洋技术研究院 基于YOLOv3算法的疲劳驾驶状态检测算法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809445A (zh) * 2015-05-07 2015-07-29 吉林大学 基于眼部和嘴部状态的疲劳驾驶检测方法
CN106073804A (zh) * 2016-05-27 2016-11-09 维沃移动通信有限公司 一种疲劳检测方法及移动终端
CN107679447A (zh) * 2017-08-17 2018-02-09 平安科技（深圳）有限公司 面部特征点检测方法、装置及存储介质
CN108108651A (zh) * 2016-11-25 2018-06-01 广东亿迅科技有限公司 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统
CN108791299A (zh) * 2018-05-16 2018-11-13 浙江零跑科技有限公司 一种基于视觉的驾驶疲劳检测及预警系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809445A (zh) * 2015-05-07 2015-07-29 吉林大学 基于眼部和嘴部状态的疲劳驾驶检测方法
CN106073804A (zh) * 2016-05-27 2016-11-09 维沃移动通信有限公司 一种疲劳检测方法及移动终端
CN108108651A (zh) * 2016-11-25 2018-06-01 广东亿迅科技有限公司 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统
CN107679447A (zh) * 2017-08-17 2018-02-09 平安科技（深圳）有限公司 面部特征点检测方法、装置及存储介质
CN108791299A (zh) * 2018-05-16 2018-11-13 浙江零跑科技有限公司 一种基于视觉的驾驶疲劳检测及预警系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
江伟坚，郭躬德，赖智铭: "基于新Haar-like特征的Adaboost人脸检测算法", 《山东大学学报（工学版）》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395900A (zh) * 2019-08-12 2021-02-23 天津大学青岛海洋技术研究院 基于YOLOv3算法的疲劳驾驶状态检测算法

Also Published As

Publication number Publication date
CN109657550B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
Fridman et al. Cognitive load estimation in the wild
US20220095975A1 (en) Detection of cognitive state of a driver
Soukupova et al. Eye blink detection using facial landmarks
US10740465B2 (en) Detection of print-based spoofing attacks
Hammoud Passive eye monitoring: Algorithms, applications and experiments
Garcia et al. Vision-based drowsiness detector for real driving conditions
US20170364732A1 (en) Eye tracking via patterned contact lenses
Butko et al. Infomax control of eye movements
WO2015164807A1 (en) Detection of brain injury and subject state with eye movement biometrics
CN105224285A (zh) 眼睛开闭状态检测装置和方法
JP6906717B2 (ja) 状態判定装置、状態判定方法、及び状態判定プログラム
CN102496005A (zh) 基于眼球特征的审讯辅助研判分析系统
Pimplaskar et al. Real time eye blinking detection and tracking using opencv
Macke et al. Estimating predictive stimulus features from psychophysical data: The decision image technique applied to human faces
Khan et al. Efficient Car Alarming System for Fatigue Detectionduring Driving
Naveed et al. Eye tracking system with blink detection
Bergasa et al. Visual monitoring of driver inattention
Lv et al. Design and implementation of an eye gesture perception system based on electrooculography
Thurman et al. Revisiting the importance of common body motion in human action perception
JP3127760B2 (ja) 運転者の覚醒度検出装置
Pandey et al. A survey on visual and non-visual features in Driver’s drowsiness detection
CN109657550A (zh) 一种疲劳度检测方法及装置
Baccour et al. Comparative analysis of vehicle-based and driver-based features for driver drowsiness monitoring by support vector machines
US20220284718A1 (en) Driving analysis device and driving analysis method
Gupta Eye Image-based Algorithms to Estimate Percentage Closure of Eye and Saccadic Ratio for Alertness Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 215347 no.707, complex building, Kunshan Industrial Technology Research Institute, no.1699, Zuchongzhi South Road, Kunshan, Suzhou, Jiangsu Province

Patentee after: Kunshan Microelectronics Technology Research Institute

Address before: 215347 7th floor, IIR complex, 1699 Weicheng South Road, Kunshan City, Suzhou City, Jiangsu Province

Patentee before: KUNSHAN BRANCH, INSTITUTE OF MICROELECTRONICS OF CHINESE ACADEMY OF SCIENCES

CP03 Change of name, title or address