CN110532887A - 一种基于面部特征融合的疲劳驾驶检测方法及系统 - Google Patents

一种基于面部特征融合的疲劳驾驶检测方法及系统 Download PDF

Info

Publication number
CN110532887A
CN110532887A CN201910701842.2A CN201910701842A CN110532887A CN 110532887 A CN110532887 A CN 110532887A CN 201910701842 A CN201910701842 A CN 201910701842A CN 110532887 A CN110532887 A CN 110532887A
Authority
CN
China
Prior art keywords
face
driver
algorithm
fatigue
fatigue driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910701842.2A
Other languages
English (en)
Inventor
朱晓东
李庆臣
庆隆阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University
Original Assignee
Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University filed Critical Zhengzhou University
Priority to CN201910701842.2A priority Critical patent/CN110532887A/zh
Publication of CN110532887A publication Critical patent/CN110532887A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于面部特征融合的疲劳驾驶检测方法及系统，属于疲劳驾驶检测技术领域。本发明首先通过精度较高的人脸检测算法对于采集的图像信息中的一帧图像进行面部区域定位，保证了人脸位置识别的准确性，然后以定位的面部区域为目标对其余各帧图像进行动态跟踪，以获取驾驶员的各帧图像的面部区域，在不继续采用精度高的人脸检测算法的基础上，利用耗时少的动态跟踪算法实现了对其他各帧图像的人脸位置识别，不仅能够准确检测人脸位置，提高疲劳驾驶的判断的准确性，还能保证检测算法的实时性。

Description

一种基于面部特征融合的疲劳驾驶检测方法及系统
技术领域
本发明涉及一种基于面部特征融合的疲劳驾驶检测方法及系统，属于疲劳驾驶检测技术领域。
背景技术
目前常用的疲劳驾驶检测方法主要有基于生理信息的方法、基于计算机视觉的方法和基于车辆行 驶行为变化的方法。基于生理信息的方法是疲劳驾驶中准确率最高的方法，通过脑电图 (Electroencephalogram,EEG)/心电图(electrocardiogram,ECG)/肌电图(electromyogram,EMG) 等生理信号可以及时准确的反映驾驶员疲劳程度，缺点是测量仪器昂贵且需要驾驭员佩戴在身体上， 对正常驾驶造成干扰，影响舒适感；基于车辆行驶行为的方法是非侵入性的对驾驶员正常驾驶不构成 干扰实用性强，缺点是正常驾驶行为与疲劳驾驶行为无法精确区分，与驾驶员个人驾驶习惯相关性较 高，同时路况的好坏也对检测精度存在极大地干扰，准确性不如基于生理信息的方法；基于计算机视 觉的方法通过眼部、嘴部、头部、表情等驾驶员面部特征进行疲劳驾驶检测准确性相对较高，成本低， 属于非侵入性检测方法，对正常驾驶不构成干扰，且实用性、接受性、舒适度都很高。
因此基于计算机视觉的方法的应用最为广泛，例如，长安大学的张恒提出了一种使用Adaboast 算法检测驾驶员人脸，使用灰度投影的方法进行人眼定位，Adaboast算法进行嘴巴定位，通过驾驶 员眼睛睁开程度、眨眼频率、哈欠检测三个指标进行疲劳驾驶检测。该方法虽然能够实现对人脸的定 位，但是在驾驶员佩戴眼镜、日光镜、光线变化、面部局部遮挡情况下，Adaboost无法准确的定位 到人脸位置，进而无法对疲劳驾驶进行准确判断。为此，有人提出采用精度更高的采用MTCNN算法进 行人脸检测，MTCNN人脸检测算法虽然能够在存在上述干扰的情况下准确地实现对人脸位置的检测， 但是该检测方法对硬件要求较高，且方法复杂，耗时较长，难以满足实时驾驶要求。
发明内容
本发明的目的是提供一种基于面部特征融合的疲劳驾驶检测方法及系统，以解决目前疲劳驾驶 检测过程中成本高、实时性不好。
本发明为解决上述技术问题而提供一种基于面部特征融合的疲劳驾驶检测方法，该检测方法包括 以下步骤：
1)实时采集驾驶员状态的图像信息；
2)利用人脸检测算法对所采集图像信息中的一帧图像进行面部区域定位，以定位的面部区域为 目标对其余各帧图像进行动态跟踪，以获取驾驶员的各帧图像的面部区域；
3)对获取的驾驶员各帧图像的面部区域进行面部特征点提取，得到包括眼睛和/或嘴巴面部特征 点的坐标；
4)根据得到面部特征点的坐标确定PERCLOS指标、眨眼频率和/或哈欠频率，根据眨眼频率和/ 或哈欠频率判断驾驶员的疲劳状态。
本发明还提供了一种基于面部特征融合的疲劳驾驶检测系统，该检测系统包括存储器和处理器， 以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所 述处理器执行所述计算机程序时实现本发明基于面部特征融合的疲劳驾驶检测方法。
本发明首先通过精度较高的人脸检测算法对于采集的图像信息中的一帧图像进行面部区域定位， 保证了人脸位置识别的准确性，然后以定位的面部区域为目标对其余各帧图像进行动态跟踪，以获取 驾驶员的各帧图像的面部区域，在不继续采用精度高的人脸检测算法的基础上，利用耗时少的动态跟 踪算法实现了对其他各帧图像的人脸位置识别，不仅能够准确检测人脸位置，提高疲劳驾驶的判断的 准确性，还能保证实时性。
进一步地，为了提高检测准确性和实时性，所述步骤2)中的人脸检测算法采用MTCNN算法，动态 跟踪采用DSST跟踪算法。
为了保证特征点提取的准确性，所述步骤3)采用回归树集合的人脸特征点对齐算法进行特征点 提取。
进一步地，为了更全面地实现对疲劳状态的检测，所述步骤3)还包括根据各帧图像的面部特征 点坐标确定头部位姿，步骤4)还根据头部位姿判断驾驶员的疲劳状态。
进一步地，为了实现头部位姿的检测，所述头部位姿采用EPnP算法计算得到。
进一步地，本发明还给出了采用头部位姿进行疲劳判断的具体标准，所述步骤4)中头部位姿判 断驾驶员的处于疲劳状态的标准是头部前后改变超过第一设定度数或者头部左右倾斜超过第二设定 度数。
进一步地，为了提高计算的准确性，所述步骤4)中眨眼频率采用眼睛纵横比来计算，哈欠频率 采用嘴比纵横来计算。
进一步地，为了提高眼睛状态判断疲劳的准确性，所述PERCLOS指标采用P80疲劳指标，P80疲劳 指标指的是眼睛一次闭合过程中眼睑遮住瞳孔的80％以上的持续时间与眼睑遮住瞳孔小于20％的时 间的比值。
进一步地，为了提高车辆行驶安全性，当检测出驾驶员疲劳时，进行报警提醒。
附图说明
图1是本发明基于面部特征融合的疲劳驾驶检测方法的流程图；
图2是本发明所采用MTCNN人脸检测算法中P-Net网络结构示意图；
图3是本发明所采用MTCNN人脸检测算法中R-Net网络结构示意图；
图4是本发明所采用MTCNN人脸检测算法中O-Net网络结构示意图；
图5是本发明所采用MTCNN人脸检测算法中IoU示意图；
图6是本发明所采用MTCNN人脸检测算法的检测流程图；
图7-a是本发明所用的DSST算法中位置定位过程原理图；
图7-b是本发明所采用的DSST算法中尺度更新过程原理图；
图8-a是本发明所采用ERT算法中T＝0时的面部特征点拟合结果图；
图8-b是本发明所采用ERT算法中T＝1时的面部特征点拟合结果图；
图8-c是本发明所采用ERT算法中T＝2时的面部特征点拟合结果图；
图8-d是本发明所采用ERT算法中T＝3时的面部特征点拟合结果图；
图8-e是本发明所采用ERT算法中T＝10时的面部特征点拟合结果图；
图8-f是本发明所采用ERT算法训练集中标定好的特征点位置示意图；
图9是本发明所采用头部姿态欧拉角原理示意图；
图10是本发明PERCLOS算法检测原理图；
图11是本发明所采用的面部特征点分布示意图；
图12-a是本发明所采用的眼睛纵横比中睁眼状态示意图；
图12-b是本发明所采用的眼睛纵横比中闭眼状态示意图；
图12-c是本发明所采用的眼睛纵横比中眨眼过程示意图；
图13-a是本发明所采用的嘴巴纵横比中打哈欠状态示意图；
图13-b是本发明所采用的嘴巴纵横比中非哈欠状态示意图；
图13-c是本发明所采用的嘴巴纵横比中哈欠过程示意图；
图14是本发明基于面部特征融合的疲劳驾驶检测系统的设备安装分布图；
图15-a是本发明试验测试中正常驾驶状态的检测效果图；
图15-b是本发明试验测试中模拟疲劳驾驶状态的检测效果图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步地说明。
方法实施例
本发明首先实时采集驾驶员的状态的图像信息；然后利用人脸检测算法对于采集的图像信息中的 一帧图像进行面部区域定位，以定位的面部区域为目标区域对后续的各帧图像进行动态跟踪，以获取 驾驶员的各帧图像的面部区域；再对获取的驾驶员各帧图像的面部区域进行面部特征点提取，得到包 括眼睛和/或嘴巴面部特征点的坐标；最后根据得到面部特征点的坐标确定眨眼频率和/或哈欠频率， 根据眨眼频率和/或哈欠频率判断驾驶员的疲劳状态。其流程如图1所示，具体实施步骤如下：
1.图像采集与处理。
通过相机采集驾驶员实时驾驶的视频数据，从视频流中将各帧图像提取出来，为了使后续的人脸 检测更加准确，需要对各帧图像进行预处理，预处理的手段包括灰度变换、直方图均衡和平滑滤波等 数字图像技术。
2.人脸检测。
目前人脸检测算法主要有viola-jones(后面简称VJ)框架、DPM和CNN。VJ框架是早期的一种 人脸检测算法，它使用简单的Haar-like特征和级联的AdaBoost分类器构造检测器，检测速度较快 也能够有较好的精度。DPM(Deformable Part Model，可变形的组件模型)，是一种基于组件的检测 算法，对扭曲、多姿态、多角度等的人脸都具有较好的检测效果，但速度比较慢。CNN(卷积神经网 络)是近些年用于模式识别的算法，在人脸识别中能很好的学习到图像中目标物各个层级的特征，对 外界的抗干扰能力更强，目前的人脸检测方法基本上都是基于CNN的方法。本实施例采用CNN算法中 的MTCNN进行人脸检测。
MTCNN算法是一种基于深度学习的人脸检测与对齐的方法，能同时进行人脸检测与人脸特征点 对齐的任务，MTCNN使用级联分类器的级联提升思想，将人脸检测与人脸对齐任务整合到了一起， 通过三级网络结构，实现检测性能和实时性之间的平衡。MTCNN的三级网络分别是P-Net(Proposal Network)、R-Net(Refine Network)和O-Net(OutputNetwork)，三级网络每一层都比前一层的层 数更多、参数更多、速度更慢、精确度更高。本实施例选用的P-R-O三层网络中的卷积核步长为1， 池化步长为2，补零层数为0，且卷积层与全连接层之后的链接的激活层使用PreLU(Parameteric Rectified Linear Unit)作为激活函数。PReLU激活函数的表达式为：
式中α为调节参数，保留x≤0时的部分信息。当α＝0时，相当于ReLU激活函数。
P-Net是MTCNN的第一个子网络，主要功能是快速产生候选窗口和候选框边界(boxregression) 向量，P-Net的输入是一个高12像素宽12像素深度3的RGB图像，输入参数是固定不变的。通过 12*12的窗口在输入图像上滑动，判断此12*12的窗口中是否包含人脸并输出人脸区域候选框和人脸 特征点的坐标值，其网络结构如图2所示。12*12*3的输入RGB图像在第一层卷积层卷积核有10个， 大小为3*3，最大池化的核大小为3*3；第二层卷积层卷积核16个，大小为3*3；第三层卷积层卷积 核32个，大小为3*3；最后一层用1*1大小的卷积核进行人脸分类、边界回归向量和人脸特征点位 置向量。P-Net通过获得的人脸区域的边界坐标进行非极大值抑制(Non-Maximum Suppression,NMS) 合并回归向量距离相近的人脸区域边界框，并且输出由三部分组成。
第一部分是人脸分类器(face classification)，主要作用是判断输入窗口区域是否包含人脸，向量 的大小为1*1*2，也就是两个值，分别为该图像是或不是人脸的概率，且这两个概率的和等于1。第 二部分是候选框坐标(bounding box regression)，主要作用是输出人脸区域的边界坐标，向量的大小为 1*1*4，也就是四个值，分别是边界左上横坐标、左上纵坐标、边界框的宽度和边界框的高度值。第 三部分是人脸特征点坐标(Faciallandmark localization)，主要作用是输出人脸面部区域关键点的坐标， 向量的大小为1*1*10，也就是十个值，分别是左眼中心坐标、右眼中心坐标、鼻子中心坐标、左嘴 角坐标和右嘴角坐标，每个坐标由横坐标与纵坐标两个参数描述，因此输出为10维向量。
R-Net是MTCNN的第二个网络，是对由P-Net产生的包含人脸的区域进行进一步的判断，删除 非人脸区域，减少下一层网络的计算和判断数量。R-Net的工作原理同P-Net相似，都是通过边框回 归和非极大值抑制来选择人脸区域。但是同P-Net相比输入尺寸增大为24*24*3，如图3所示，增加 了一个全连接层，内部卷积层增加。随着参数的增多，人脸识别的准确率越来越高，可以更精确的将 人脸区域传递给下一层网络处理，减少了下一层网络的计算量，运行速度较P-Net变慢。
O-Net是MTCNN的第三个网络，功能与R-Net相同，与R-Net相比又增加了一层卷积层，如图 4所示，输入图像区域尺寸增大到48*48*3。参数数量的进一步增加带来精确度的大幅提升，对输入 区域的识别能力更强，抑制错误窗口的能力更强，处理结果更精细，处理后的人脸候选区域更少，置 信度更高，边界坐标更精确。同时，在P-Net、O-Net只用来计算损失函数的人脸关键点坐标精确度 也随之提升，输出5点坐标成10维向量。
MTCNN网络结构能同时处理人脸分类、边界回归和面部关键点提取三个任务，因此在训练时 MTCNN需要针对三种任务(三种损失函数)在具有三种任务特征(标定特征)的数据库同步进行权重学 习。本发明主要使用了WIDER FACE和CelebA数据库，其中WIDER FACE数据库包含32203张图 片，并标注了393703个人脸框标记；CelebA库是香港中文大学建立的，包含有10177个名人202599 张图片，并且每张图片包含五个人脸特征点(左眼中心、右眼中心、鼻尖、左嘴角和右嘴角)坐标和40 个二进制属性。
根据交并比(Intersection-over-union,IoU)将数据库按照3:1:1:2的比例分为四部分进行训练，分别 是负样本、正样本、局部样本和人脸关键点样本。其中，正样本与负样本用来训练人脸区域分类任务； 正样本与局部样本用来进行边界框坐标预测训练；人脸关键点样本用来训练面部关键点预测输出任务。 负样本指的是IoU小于0.3的图像，即不包含人脸的图像；正样本指的是IoU大于0.65的图像，即 包含人脸的图像；局部样本指的是IoU大于0.4小于0.65的图像，即部分包含人脸的区域；人脸关键 点样本指的是标记了五个人脸关键点位置的图像。其中，IoU大于0.3小于0.4的图像由于数据库中 的标定误差，使得不包含人脸与包含部分人脸样本的界限不太清晰，故不适用于训练任务。
交并比是用来衡量在数据库中检测人脸准确度的标准值，经过MTCNN网络最终会输出一个边 界框将图像中的人脸区域框出，而产生的候选框与数据库中标记的真实候选框的交叠率，即两者交集 与并集的比值就成为衡量输出精确度的衡量标准。IoU示意图如图5所示，计算公式为：
其中area(C)＝(Cx2-Cx1)*(Cy2-Cy1)，area(G)＝(Gx2-Gx1)*(Gy2-Gy1)分别为候选框和标定框的面 积。
在训练时是对MTCNN的三个网络分别进行训练，每个网络同时训练三个任务。
任务一：人脸分类器
该部分是一个简单的二分类任务，输出值代表输入图像是人脸的概率，训练损失函数使用交叉熵 (Cross Entropy)函数进行计算，公式为：
其中pi是经过网络计算后输入候选框中样本是人脸的概率；是数据库中样本的标签值， 0代表非人脸，1代表人脸。
任务二：边框坐标回归
该部分输出的是人脸候选框的坐标，包括候选框左上角的横坐标、左上角的纵坐标、候选框的宽 度和候选框的高度四维向量，边框坐标是一个回归问题，可采用欧式距离作为学习目标，相应的损失 函数为：
其中是经过网络计算后输出的候选框的四维坐标，是数据库中样本的真实坐标值。
任务三：人脸关键点坐标定位
该部分与任务二相似，都是与数据库中的标定值进行比较，学习目标都是使网络输出值与真实值 的误差最小，同样采用欧式距离作为学习的目标，损失函数为：
其中是经过网络计算后输出的五点人脸关键点的坐标，是数据库中样本的真实坐标 值；它们都包含10维向量，分别是左眼、右眼、鼻子、左嘴角和右嘴角的横坐标与纵坐标。
三个网络在训练时根据网络功能的不同，在训练时针对不同样本有不同的损失权重，融合后整体 的损失函数为：
其中，N为训练使用样本个数；αj表示第j个子网络在整体损失中所占的比重；表示样本是 否参与j任务损失的计算；在P-Net与R-Net网络中，训练目标侧重于人脸分类与人脸框回归，对人 脸关键点的坐标要求并不高，因此将权重设置为αdet＝1,αbox＝0.5,αlandmark＝0.5；在O-Net网络中，训 练目标侧重于输出人脸关键点的坐标，为了取得精确度更高的坐标值，因此将权重设置为 αdet＝1,αbox＝0.5,αlandmark＝1。在每一小批训练批次中，将样本按照前项传播损失进行排序，选择前 70％作为有效样本(hard samples)计算梯度，将其他简单样本忽略。
下面以一张包含人脸的照片为例对MTCNN算法的过程进行说明，其流程如图6所示，过程如 下。
(1)调整图片尺寸根据缩放因子将图像展开成图像金字塔，也就是原图像在各种尺寸上采样的 集合，分辨率大小按照从高到低顺序排列，目的就是对图像在不同尺寸上进行候选框检测，能够检测 出原图像中不同大小的人脸。
(2)将得到的不同尺度上的图像输入P-Net中，一个12*12的窗口在图像上进行滑动检测，根 据人脸分类器的结果选出可能含有人脸的区域，并映射到原图上，之后根据极大值抑制对位置相近的 候选框进行校准筛选，排除重叠率较高的候选框。
(3)将得到的候选框输入P-Net中，进行类似的处理过程，候选框的精确度与置信度进一步提 高，候选框的数量大幅减少。
(4)将得到的候选框输入O-Net中，进行类似的处理过程，同时将输出人脸关键点的坐标值， 此时依然剩下的候选框的置信度极高，是人脸区域的概率较高。
3.人脸跟踪。
采用上述MTCNN算法能够准确地识别出各帧图像上的人脸区域，为了实现对驾驶员疲劳检测，需 要确定驾驶员视频数据中各帧图像的人脸区域，若对每一帧图像均采用MTCNN算法进行人脸区域识别， 则对处理器的硬件要求较高，不利于降低成本，且耗时长，因此本发明在识别出人脸区域后利用目标 跟踪算法来确定其余各帧图像的人脸区域。
目前常用的目标跟踪算法主要有基于预测的、匹配的、检测的三种类型。基于预测的方法是将跟 踪问题作为状态预测问题处理，对跟踪目标在下一帧中的位置进行最优估计的预测，常见的有kalman 滤波、粒子滤波等方法；基于匹配的方法是对目标进行建模，在输入图像中寻找与目标相关性最接近 的区域，常见的有Meanshift、Camshift和置信区域等算法；基于检测的方法将跟踪问题看成特定检 测问题，通过对样本的训练得到分类器，以最优分类输出作为目标位置。
2010年D.S.Bolme等人将相关滤波器应用在目标跟踪问题上，并提出误差最小平方和滤波器 (Minimum Output Sum of Squared Error filter,MOSSE)的算法，显示出良好跟踪性能，计算速度特别 快。DSST算法是在MOSSE算法的基础上加入新的尺度变换后改进而来的，DSST在MOSSE基础上 设计了两个相互独立的相关滤波器，分别为位置滤波器(translation filter)和尺寸滤波器(scale filter)， 分用于目标位置定位和目标当前尺度大小的判定，其原理如图7-a和图7-b所示。与MOSSE采用图 像块灰度特征有所不同，DSST采用方向梯度直方图(Histogram of Oriented Gradient，HOG)特征， 从输入的某一图像区域f中得到d维的特征向量，所用的代价函数为：
式中l表示d维的特征向量的某一维，λ为正则项权重，目的是消除频谱中的零频，防止分子为零。 在频域中求使代价函数最小的最优相关滤波器h可得：
为了加快系统的计算过程，需对上式的分子、分母分别进行更新：
其中η为学习速率。在新检测图像区域中，目标的最新位置为相关滤波器y输出的最大值对应的 位置：
在得到跟踪目标在当前图像中的位置坐标后，需要以候选位置的中心为基础，获取不同标准尺度 的候选尺寸，然后计算最匹配的一个尺度作为跟踪目前尺度的更新值，其中尺度更新的选择标准为：
其中W、H是跟踪目前上一次的尺度大小，α＝1.02为缩放因子，S＝33为候选尺度的数量，匹配 方向由小到大进行。
通过上述方式可确定出上一帧通过MTCNN算法检测到的人脸在其他图像帧中的位置，从而实现对 视频数据中各帧图像的人脸跟踪。
4.驾驶员面部特征检测。
在通过步骤2和3得到实时稳定的驾驶员面部区域后，需要在驾驶员面部区域进行人脸特征点检 测以获取驾驶员实时面部状态，主要包括眼睛闭合程度(PERCLOS)、眨眼频率和哈欠频率等。
人脸特征点检测算法主要有三类：基于模型的ASM(Active Shape Model)和AAM(Active Appearnce Model)、基于级联形状回归CPR(Cascaded pose regression)以及基于深度学习的方法。每一 类算法中都又衍生出很多不同的改进算法，ERT算法属于基于级联形状回归类别，是一种基于回归树 的人脸特征点检测算法，效果比较好，因此，本实施例采用ERT算进行人脸特征点检测。
ERT(Ensemble of Regression Trees)特征点提取算法是一种基于回归的方法，核心内容是使用了 两层的级联回归来建立数学模型，第一层采用级联回归的方法建立ERT模型；第二层主要是回归器 的训练，主要使用梯度提升树的方法进行训练。
假设xi∈R2是图像面部特征点中第i个特征的x,y坐标系中2维坐标值，量是图像中P个面部特征点坐标组成的向量，也称为图像I的形状向量。采用 如下迭代公式建立ERT模型：
式中为形状向量，包含面部所有特征点的坐标；γt是为第一层回归器，输入为训练图像I和 当前的形状向量，输出为本次迭代生成形状向量更新值；是回归器输出结果与真实值的差值。 在γt的训练中使用基于平方误差和(sum of square error)作为损失函数的增强梯度树 (the gradient tree boosting)算法。经过迭代就可以得到面部特征点形状向量的更新值，使用迭代产生 的更新值对所有关键点的位置进行一次更新，使所有关键点的估计位置与关键点标记真实位置的误差 最小，提高关键点的定位精准度。
假设有训练集(I1,S1),(I2,S2),...,(In,Sn)，其中Ii表示面部图片，Si表示图片Ii中面部特征点形状 向量。迭代公式为：
πi∈{1,...,n}
为计算出的训练图片中形状向量S的平均特征点向量，作为初始化形状向量进行循环迭代更 新；n表示训练图片的数量；表示输入图片真实标记的形状向量与形状向量的初始值差值。通 过上面的迭代方式进行不断的迭代，设第一层回归级联的层数为k层时，经过多次迭代产生了k个回 归器γ1,γ2,...,γk，这些回归器就是要得到的回归模型。
回归器γi的训练过程如下：
(1)设训练数据集学习速率为0＜ν＜1
(2)初始化:
(3)迭代都更新rik的值：
(4)通过rik得到弱回归方程然后进行迭代，更新
(5)在(3)-(4)循环迭代，直到收敛或者达到设定迭代次数，最后的输出为：
平方误差为:
yi为检测算法中的真实值，f(xi)为预测值，特别需要注意的是，在每一个二层回归中，输入回归 器的对象是每个第一层回归完成后的即预测值与真实值的差。在第二层回归中，使用平方误 差作为损失函数，于是求导后得到yi-f(xi)，在迭代的每一轮中都将这个梯度作为拟合对象，得到 最终的构建模型。在训练过程中，选择像素对的差值特征，也就是将某两个点的值相减得到一个差值。 这个大部分都在一个范围内波动，可以抑制光照变化等因素的影响。使用得到的像素差值特征得到一 颗回归树，其中非叶子节点保存的是分类阈值，叶子节点保存的是特征点模型的残差。
通过上述过程可以得到训练后的ERT模型，利用该模型进行特征点的检测过程如下：
(1)从输入点的人脸候选区域中检测面部特征点，并将特征点的坐标值以形式初始化为形状向量；
(2)计算所有面部特征点对之间的像素差值特征进行树的分裂；
(3)利用所有决策树求残差。通过非叶子节点保存的阈值与像素差值的比较，就可以获得每棵树 叶子节点保存的残差。将所有子树的残差求和得到全局残差；
(4)将全局残差与上一次迭代的结果相加；
(5)重复过程(2)-(4)，直到迭代完成。
通过上述过程，得到人脸特征点拟合结果如图8-a、8-b、8-c、8-d、8-e、8-f所示，其中图8-f为 训练集中标定好的特征点的真实坐标，T为级联回归树的数量，可以发现：T＝0时，如图8-a所示， 面部形状向量为初始值，经过第一次级联回归后，面部特征点与实际位置的误差已经明显减少；随着 级联回归树数量的增加，估计坐标值越来越接近真实坐标的值；如图8-e所示，T＝10时，ERT拟合 特征点形状向量的坐标已经与训练集标记坐标点误差极小，表明该算法的性能优异。
5.头部姿态估计。
通过步骤4可以获取包括眼睛和嘴巴的特征点，根据这些特征点可以实现对驾驶员疲劳状态的检 测。作为疲劳驾驶判断的另一个重要标准是头部姿态，为了更全面、准确地实现对驾驶员的疲劳状态 判断，本发明还需要根据检测到人脸特征点确定驾驶员头部姿态。
疲劳驾驶判断的主要标准是基于头部姿态估计在欧拉角坐标中三个坐标轴偏转角度组成的三维 向量，如图9所示，也可以称为真实世界中的坐标值。因此需要对系统采用的摄像头进行校正，获得 摄像头内外参数矩阵，完成2D图像中图像坐标到3D空间中世界坐标的转换。
EPnP算法的基础是将三维空间坐标系中所有特征点的坐标使用四个虚拟控制点坐标的加权和进 行表示，且这四个点不能共面。通过对这四个控制点在相机坐标系下的坐标，就可以计算出头部位姿。
设三维空间n个特征点的坐标分别为四个控制点的坐标为相 机坐标系中特征点的坐标分别为Pi c(i＝1,2,...,n)，四个控制点相应的坐标为四个控 制点的坐标是通过张正友相机标定方法得到，将特征点坐标用控制点坐标的加权和表示，即：
则求解控制点在相机坐标系中的过程可以表示如下：设K是相机的内参矩阵，ui是参考点pi在 2D空间的投影，有：
用代入，并将K写成焦距fu,fv和光心uc,vc形式，则有：
得到两个线性方程：
将n点联立，得到线性方程组：
Mx＝0
其中x就是控制点在相机坐标系中的坐标。从而可以确定所有特征点的 坐标。
6.驾驶员疲劳状态的判断。
疲劳驾驶检测指标中最有效的指标为驾驶员在驾驶过程的PERCLOS指标。PERCLOS(Percentage of Eyelid Closure Over the Pupil Over Time)指的是在一段时间内眼睛闭合超过某一阈值的时间占总时 间的比值，是目前被普遍接受和认可的疲劳驾驶检测的“黄金法则”。
PERCLOS算法中，将正常状态下的瞳孔进行量化，按照上眼睑遮住瞳孔的百分比，可以将 PERCLOS分为三个指标：
P70：眼睑遮住瞳孔面积的70％以上判别为眼睛闭合，作为时间统计指标；
P80：眼睑遮住瞳孔面积的80％以上判别为眼睛闭合，作为时间统计指标；
EM：眼睑遮住瞳孔面积的50％以上判别为眼睛闭合，作为时间统计指标；
通过相关研究发现，P80指标在模拟驾驶环境中与疲劳状态的相关性最高，能准确反映出疲劳驾 驶状态，其检测原理如图10所示。
图10中t1～t4分别代表了眼睛闭合一次不同阶段所用的时间，P80疲劳指标计算公式如下：
含义为在眼睛睁开到闭合一次的过程中，分子为眼睑遮住瞳孔的80％以上的持续时间，分母为眼 睑遮住瞳孔小于20％的时间。当比值P80的值越大的时，疲劳程度越大，反之清醒度越高。通过对 P80指标的实时监测，就可以从眼部状态特征的角度对驾驶员疲劳程度有一个定量的判断。
本发明利用Vahid Kazemi和Josephin Sullivan于2014年在CPVR(IEEEConference on Computer Vision and Pattern Recognition)上提出的一种基于回归树集合的面部特征点检测算法，得到了68个驾 驶员面部特征点。这68个面部特征点从左脸颊开始，依次沿着面颊与面部主要器官分布边缘，形成 了一个直观描述人脸形状的68个维度的向量，其分布如图11所示。
在组成人脸形状的68维向量中，第36/37/38/39/40/41等特征点形成了驾驶员面部左眼的边缘形 状；第42/43/44/45/46/47特征点形成了驾驶员面部右眼的边缘形状，根据围绕眼部边缘分布特征点的 坐标就可以准确计算P80指标的精确值。面部不同器官边缘特征点分布如表1所示。
表1
表1中第一列为面部器官的名称，第二列为围绕各个器官的特征点序号。例如，在面部器官左眼 中，围绕左眼边缘形状分布着36/37/38/39/40/41六个特征点，它们的坐标位置描述了左眼的边缘与位 置信息。通过对这六个特征点位置信息的计算就可以获得左眼的宽、高、眼帘高度等特征，并对P80 指标进行精确的计算。
(1)基于眨眼频率的疲劳判定
一般情况下，驾驶员在正常驾驶过程中每次眨眼速度相对较快，持续时间在100-400ms之间，而 在疲劳状态下眨眼持续时间变长，持续时间在1秒以上，而且眨眼频率增加，所以，眨眼频率也能直 观的反映出驾驶人当前驾驶的疲劳程度。
本发明通过眼睛纵横比EAR(Eye Aspect Ratio)来判断眼睛所处状态，实现眨眼频率与眼部闭合 状态的检测。根据步骤4获取的人脸特征点可以精确的得到眼睛边缘位置，左眼由36-41表示，右眼 由42-47表示，设它们分别对应P1/P2/P3/P4/P5/P6，其分布如下图12-a和图12-b所示。
当眼睛睁开与闭合时，P1/P2/P3/P4/P5/P6之间的相对位置有很大地改变，特别是P2/P4和P3/P5 点对之间的纵坐标的变化更为明显，P1/P4点对之间的横坐标的距离在眼睛状态改变时其横坐标基本 不变。根据眼睛状态变化时，6个特征点之间相对距离的变化规律就能清晰的提取出眼睛当前状态。 对相机采集视频中的每一帧都提取驾驶员面部特征形状向量，通过形状向量中的特定的点就可以计算 出眼睛纵横比进行眨眼计算，其计算方法如下
式中P1,...,P6为面部特征点的二维坐标向量，分子计算的是上眼睑与下眼睑之间的垂直距离， 分母计算是眼角之间的水平距离。同时，为了排除因为驾驶员姿态原因造成的误差干扰，本发明同时 计算左眼与右眼的EAR并取它们的平均值作为最终的EAR值。
一次眨眼过程中EAR变化如图12-c所示，从中可以看出：在眼睛睁开的时候EAR值围绕一个阈 值极小范围内波动，眼睛闭合时EAR值会快速减小到一个极小的值。因此对经过计算得到的EAR值 设定一个阈值为0.2，当其小于这一值时就可以判定眼睛当前状态为闭合状态，反之则为睁开状态。 这种方法计算量小，用时少，避免了眼睫毛对眨眼检测的干扰，提高了眨眼检测的准确度。将EAR值 由大于阈值到低于阈值，在经过低于阈值到大于阈值的一个完整过程认定为一次眨眼过程。
正常人在清醒状态下每分钟眨眼次数约为10-20次，每次眨眼的时间约为0.2-0.4s，当出现疲劳 时，眨眼的时间会变长，需要1-2s的时间，而且眨眼的频率也会提高64％。在相关研究的基础上， 本发明采用EAR值的变化过程作为眨眼检测的方法，并通过一段时间内眨眼频率的变化进行疲劳驾 驶预警检测的依据。当每分钟的眨眼次数大于20次(根据敏感度设定可调节)时，认定此时驾驶员进 入疲劳驾驶状态。
(2)基于哈欠频率的疲劳状态判断。
与眼睛闭合程度、眨眼频率相似，哈欠频率也是评价疲劳程度的重要指标。哈欠是一种深呼吸活 动，经常在慵懒、疲累与缺乏休息的情况下出现，并且通过将肺部撑大吸入更多的氧气，刺激中枢神 经提振精神，是在疲劳状态下的条件反射，利用这一条件反射活动可以对当前疲劳程度有一个直观的 评价指标。因此，本发明从嘴部张开程度与张开时间来判断是否处于疲劳驾驶状态。
在驾驶员正常驾驶过程中，说话也表现为嘴部张开程度的变化，这对基于嘴部张开程度进行疲劳 状态产生了极大地干扰。经过对哈欠过程的分析发现：在讲话状态下，嘴部张开程度较小且其张开持 续时间较短；在哈欠状态下，嘴部张开程度较正常说话状态增大很多而且其持续时间大大延长一般在 6s以上，另外，在日常生活中存在打哈欠的同时用手部遮挡嘴部的情况。基于本发明的使用场景， 驾驶员在正常行驶过程中需要双手操作转向装置保持车辆正常行驶方向，所以，不考虑手部遮挡嘴巴 的情况，默认哈欠发生时都属于正常无遮挡的状态中进行，并且可以被图像采集设备清晰采集。
嘴部开合度和眼睛开合度的计算类似，嘴部开合度是通过嘴部纵横比MAR(MouthAspect Ratio) 来计算，计算公式为：
M1-M8为嘴部形状中的内轮廓点的二维向量坐标，嘴部形状中的内轮廓点定义如图13-a和13-b 所示，分子计算的是上嘴唇与下嘴唇之间的垂直距离，分母计算是嘴角之间的水平距离。同时，为了 排除因为驾驶员姿态原因造成的误差干扰，本发明同时三对特征点的垂直距离并求平均作为MAR值。
通过对三次哈欠过程的MAR统计，结果如图13-c所示，图中0～73帧为嘴部闭合下的MAR值的 变化曲线，79～129、137～201、241～297为打哈欠时嘴部MAR值的变化曲线，明显可以发现两种状态 下的特征存在显著的差异性。根据这种特征就可以对哈欠次数进行精确的统计，然后进行基于哈欠次 数的疲劳状态判定。
本发明将MAR值从小于阈值到大于阈值，从大于阈值到小于阈值记为一次哈欠过程，同时记录 大于哈欠阈值的时间，在与眼睛闭合度预警判定类似，采用统计哈欠状态的帧数作为预警标志参数。 通常来说，当驾驶人陷入疲劳状态打哈欠时，嘴部张开的程度会持续一段时间。但是，目前尚没有国 际通用的嘴巴张开时间标准进行疲劳驾驶检测。因此，本发明采用文献中通过对收集到的1000多张 人们打哈欠的照片进行统计得到的阈值0.75作为MAR判断阈值，其达到了97.5％的准确率。因此， 本发明将设定MAR＝0.75作为哈欠的阈值参数。
(3)基于头部姿态的疲劳判断。
当驾驶进入到疲劳状态时，由于注意力下降对全身肌肉的控制能力减弱，造成了人体颈部、背部 与腰部肌肉松弛，很难保证正常状态下的头部姿态，可能会出现点头、头部后仰、左右倾斜等情况或 同时出现几种情况，映射到头部姿态空间中表现有俯仰角、偏航角和滚动角的大幅度变化。因此，通 过对三维空间中三个坐标角度变化的监测就可以获得司机当前驾驶状态。
成年人头部前后运动(Pitch方向)的平均活动范围为[-60.4,69.6]，水平转动(Yaw方向)的平均活动 范围为[-79.8,75.3]，正面横向弯曲(Roll方向)的平均活动范围为[-40.9,36.3]。本发明只取Pitch与Roll 方向也就是头部前后运动及左右倾斜运动作为疲劳驾驶的判断标准。驾驶员在正常驾驶活动中需要及 时掌握车辆周围情况，需要经常性的在水平方向上大范围内大幅度的进行观察运动，为了减低预警误 报率不在本发明中使用。因此以头部前后运动(点头)、头部左右倾斜作为检测标准。
目前基于头部姿态进行疲劳驾驶判别并没有统一的国际标准，本发明借鉴PERCLOS与MAR的 相关检测标准将对应方向上的角度变化程度超过视野的20％作为指标，也就是头部前后改变26°， 左右倾斜改变15.4°时，进行疲劳预警。
眨眼频率、哈欠频率和头部姿态均是进行疲劳判断的指标，可以仅根据眨眼频率、哈欠频率和头 部姿态中的任一指标进行判断，也可以从中选择两个及以上的指标进行判断，选多个指标判断时，只 要一个指标满足疲劳的判断标准，则判断为疲劳状态。因此采用多个指标来进行疲劳状态的检测，能 够在一定程度上提高检测准确度。
系统实施例
本发明的基于面部特征融合的疲劳驾驶检测系统包括存储器和处理器，以及存储在所述存储器上 并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所述处理器执行所述计算机 程序时实现上述方法实施例中的基于面部特征融合的疲劳驾驶检测方法，具体过程已在方法实施例中 进行了详述，这里不再赘述。
其中检测系统所采用的硬件设备包括图像采集设备、图像处理单元和声音预警装置，其中图像采 集设备采用带红外夜视能力的高清摄像头，配置参数如表2所示。
表2
图像处理单元选用由英国树莓派慈善基金会开发目前最新的Raspiberry 3B+作为本系统的图像处 理单元，其设备参数如表3所示。
表3
从表中可得看出，Raspiberry 3B+完全满足在实际应用环境中应用中对系统硬件的要求。本发明 采用的图像处理单元在外形上只用一张信用卡大小，功耗低，噪声小，对驾驶员正常驾驶完全没有影 响；此外，在实际应用中扩展接口丰富可以将配套触摸屏集成入系统，进行人机交互等操作；集成了 40脚的GPIO引脚，可以方便的通过CAN通信将车辆仪表信息读出，增加疲劳驾驶检测准确率
为避免对驾驶员正常驾驶行为的干扰，本系统仅作为驾驶状态监控装置，因此将图像采集设备安 装在驾驶员驾驶位置的正前方，并将图像处理单元与声音警告装置放在驾驶室后方，减少驾驶员对系 统的不适感，设备安装位置如图14所示。
验证测试
(1)准确性
下面使用YawDD数据集对本发明准确性进行测试。YawDD数据集包含不同年龄、种族、性别、 脸部特征进行疲劳驾驶检测测试的数据集，包含男女志愿者分别在裸眼、戴眼镜、正常状态、说话/ 唱歌、模拟疲劳(打哈欠)状态下的视频，图15-a和图15-b所示。本发明选择其中的10段视频样本进 行疲劳驾驶检测，包括正常情况、戴眼镜、说话、大幅度转头、打哈欠、闭眼等各种情况。其中实际 疲劳状态的认定是根据眼睛状态指示指标EAR小于0.2，且时间超过2s；嘴巴状态指示指标MAR大 于0.75，且持续时间超过3s；头部姿态变化角度变化超过视野角度的20％作为判别指标。检测结果 如表2所示，从中可以看出，本发明的疲劳状态检测方法采用眼睛状态检测准确率为92.04％；嘴巴 状态检测准确率为62.26％；各指标综合的疲劳检测准确率为90％。该方法的检测准确性经检测符合 预期设计目标，满足实际应用的需要。
表4
从表4发现，对驾驶人眼睛状态的检测、嘴巴状态的检测出现较多的漏检、误检的情况，分析原 因发现，测试样本中驾驶人存在与副驾驶人员讲话、大笑、打哈欠捂嘴、手部遮挡面部等等不利于检 测的情况，造成了检测算法检测效果的准确性降低的情况。
(2)实时性
本发明针对面部遮挡、头部旋转等情况，利用MTCNN人脸检测算法进行驾驶员的面部区域定 位，利用DSST算法进行人脸的动态跟踪，实现了对驾驶员面部区域的连续稳定地检测与跟踪。基于 硬件平台进行算法实时性测试，硬件配置如表5所示。
表5
基于表5中的硬件平台，本发明分别对图像来源、人脸检测、跟踪检测三个方面进行了对比试验 来验证本发明的实时性，试验结果如表6所示。表中第一行测试环境为：从摄像头获取图像，并进行 人脸检测、跟踪、特征检测、疲劳度判别等部分的分别消耗时间；表中第二行测试环境为：从摄像头 获取图像，在获取人脸区域后对DSST追踪器进行初始化后，不在进行人脸区域的检测，直接使用 DSST算法对驾驶员面部区域进行实时跟踪，并将获取人脸区域进行特征检测、疲劳度判别等过程； 表中第三行测试环境为：从YawDD数据库中直接读取文件图像，经过人脸检测模块后，获取各模块 处理时间消耗情况；表中第四行测试环境为：从YawDD数据库中直接读取文件图像，在获取人脸区 域后对DSST追踪器进行初始化后，不在进行人脸区域的检测，直接使用DSST算法对驾驶员面部区 域进行实时跟踪，获取各模块处理时间消耗情况。
表6
从中可以看出，本发明采用MTCNN和DSST相结合人脸检测、跟踪方式耗时短，能够满足实时 性的要求。
本发明能够根据驾驶员的面部特征与头部姿态进行实时的疲劳驾驶检测，特别是在一般检测方法 无能为力的脸部角度变动、光线变换、佩戴墨镜等情况下，依然能准确的定位人脸区域，并将于疲劳 度相关性较高的多个指标融合进行疲劳驾驶的检测，当其中一个指标收到干扰无法准确获得时，基于 其他指标也可以对驾驶员的疲劳状态进行实时精确的判断。

Claims (10)

1.一种基于面部特征融合的疲劳驾驶检测方法，其特征在于，该检测方法包括以下步骤：
1)实时采集驾驶员状态的图像信息；
2)利用人脸检测算法对于所采集图像信息中的一帧图像进行面部区域定位，以定位的面部区域为目标对其余各帧图像进行动态跟踪，以获取驾驶员的各帧图像的面部区域；
3)对获取的驾驶员各帧图像的面部区域进行面部特征点提取，得到包括眼睛和/或嘴巴面部特征点的坐标；
4)根据得到面部特征点的坐标确定PERCLOS指标、眨眼频率和/或哈欠频率，根据眨眼频率和/或哈欠频率判断驾驶员的疲劳状态。
2.根据权利要求1所述的基于面部特征融合的疲劳驾驶检测方法，其特征在于，所述步骤2)中的人脸检测算法采用MTCNN算法，动态跟踪采用DSST跟踪算法。
3.根据权利要求1所述的基于面部特征融合的疲劳驾驶检测方法，其特征在于，所述步骤3)采用回归树集合的人脸特征点对齐算法进行特征点提取。
4.根据权利要求1或3所述的基于面部特征融合的疲劳驾驶检测方法，其特征在于，所述步骤3)还包括根据各帧图像的面部特征点坐标确定头部位姿，步骤4)还根据头部位姿判断驾驶员的疲劳状态。
5.根据权利要求4所述的基于面部特征融合的疲劳驾驶检测方法，其特征在于，所述头部位姿采用EPnP算法计算得到。
6.根据权利要求4所述的基于面部特征融合的疲劳驾驶检测方法，其特征在于，所述步骤4)中头部位姿判断驾驶员的处于疲劳状态的标准是头部前后改变超过第一设定度数或者头部左右倾斜超过第二设定度数。
7.根据权利要求1所述的基于面部特征融合的疲劳驾驶检测方法，其特征在于，所述步骤4)中眨眼频率采用眼睛纵横比来计算，哈欠频率采用嘴比纵横来计算。
8.根据权利要求1所述的基于面部特征融合的疲劳驾驶检测方法，其特征在于，所述PERCLOS指标采用P80疲劳指标，P80疲劳指标指的是眼睛一次闭合过程中眼睑遮住瞳孔的80％以上的持续时间与眼睑遮住瞳孔小于20％的时间的比值。
9.根据权利要求1所述的基于面部特征融合的疲劳驾驶检测方法，其特征在于，当检测出驾驶员疲劳时，进行报警提醒。
10.一种基于面部特征融合的疲劳驾驶检测系统，其特征在于，该检测系统包括存储器和处理器，以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所述处理器执行所述计算机程序时实现权利要求1-9中任一项所述的基于面部特征融合的疲劳驾驶检测方法。
CN201910701842.2A 2019-07-31 2019-07-31 一种基于面部特征融合的疲劳驾驶检测方法及系统 Withdrawn CN110532887A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910701842.2A CN110532887A (zh) 2019-07-31 2019-07-31 一种基于面部特征融合的疲劳驾驶检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910701842.2A CN110532887A (zh) 2019-07-31 2019-07-31 一种基于面部特征融合的疲劳驾驶检测方法及系统

Publications (1)

Publication Number Publication Date
CN110532887A true CN110532887A (zh) 2019-12-03

Family

ID=68661247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910701842.2A Withdrawn CN110532887A (zh) 2019-07-31 2019-07-31 一种基于面部特征融合的疲劳驾驶检测方法及系统

Country Status (1)

Country Link
CN (1) CN110532887A (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179551A (zh) * 2019-12-17 2020-05-19 西安工程大学 一种危化品运输驾驶员实时监控方法
CN111265220A (zh) * 2020-01-21 2020-06-12 王力安防科技股份有限公司 一种近视预警方法、装置及设备
CN111310617A (zh) * 2020-02-03 2020-06-19 杭州飞步科技有限公司 分神驾驶检测方法、装置及存储介质
CN111582086A (zh) * 2020-04-26 2020-08-25 湖南大学 基于多特征的疲劳驾驶识别方法及系统
CN111645695A (zh) * 2020-06-28 2020-09-11 北京百度网讯科技有限公司 一种疲劳驾驶的检测方法、装置、计算机设备和存储介质
CN111753659A (zh) * 2020-05-20 2020-10-09 广州虹科电子科技有限公司 基于人脸配准点的疲劳驾驶检测方法、设备、介质及装置
CN111881783A (zh) * 2020-07-10 2020-11-03 北京嘉楠捷思信息技术有限公司 疲劳检测方法及装置
CN112220481A (zh) * 2020-10-21 2021-01-15 合肥工业大学 一种驾驶员的驾驶状态检测方法及其安全驾驶方法
CN112528767A (zh) * 2020-11-26 2021-03-19 天津大学 基于机器视觉的施工机械操作员疲劳作业检测系统及方法
CN112528843A (zh) * 2020-12-07 2021-03-19 湖南警察学院 一种融合面部特征的机动车驾驶人疲劳检测方法
US10963712B1 (en) 2019-12-16 2021-03-30 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for distinguishing a driver and passengers in an image captured inside a vehicle
CN112926478A (zh) * 2021-03-08 2021-06-08 新疆爱华盈通信息技术有限公司 性别识别方法、系统、电子装置及存储介质
CN113080996A (zh) * 2021-04-08 2021-07-09 大同千烯科技有限公司 一种基于目标检测的心电图分析方法及装置
CN113191231A (zh) * 2021-04-21 2021-07-30 栈鹿(上海)教育科技有限公司 疲劳状态下的安全驾驶方法
CN113297966A (zh) * 2021-05-25 2021-08-24 郑州铁路职业技术学院 一种基于多重刺激的夜间学习方法
CN113343940A (zh) * 2021-07-19 2021-09-03 湖南科技大学 一种基于面部多特征点识别的值班人员疲劳状态检测方法
CN113361452A (zh) * 2021-06-24 2021-09-07 中国科学技术大学 一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统
CN113359688A (zh) * 2021-05-28 2021-09-07 重庆交通大学 基于驾驶员nms特征的人机共驾鲁棒控制方法
CN113420656A (zh) * 2021-06-23 2021-09-21 展讯通信(天津)有限公司 一种疲劳驾驶检测方法、装置、电子设备及存储介质
CN113705373A (zh) * 2021-08-10 2021-11-26 苏州莱布尼茨智能科技有限公司 一种可调节自适应强的驾驶员面部表情识别系统
CN113780125A (zh) * 2021-08-30 2021-12-10 武汉理工大学 一种驾驶员多特征融合的疲劳状态检测方法及装置
CN113844455A (zh) * 2021-08-27 2021-12-28 奇瑞汽车股份有限公司 在驾驶人员疲惫状态下进行车辆制动的方法和装置
CN114220142A (zh) * 2021-11-24 2022-03-22 慧之安信息技术股份有限公司 一种深度学习算法的人脸特征识别方法
CN114742090A (zh) * 2022-03-02 2022-07-12 西北工业大学 一种基于精神疲劳监测的驾驶舱人机交互系统
CN114743184A (zh) * 2022-06-10 2022-07-12 航天科技控股集团股份有限公司 一种驾驶员驾驶状态预警系统
CN114771545A (zh) * 2022-04-19 2022-07-22 青岛大学 一种智能安全驾驶系统
CN114937019A (zh) * 2022-05-30 2022-08-23 杭州健培科技有限公司 基于自适应局部灰度均衡的关键点检测方法、装置及应用
CN115378968A (zh) * 2022-07-20 2022-11-22 慧之安信息技术股份有限公司 一种基于边缘计算的生物实验室安全检测系统
CN115562500A (zh) * 2022-11-30 2023-01-03 南京航空航天大学 一种眼动控制智能手机的方法
CN117315536A (zh) * 2023-09-25 2023-12-29 南通大学 一种在线学习专注度监测方法及系统
CN117315536B (zh) * 2023-09-25 2024-06-04 南通大学 一种在线学习专注度监测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108651A (zh) * 2016-11-25 2018-06-01 广东亿迅科技有限公司 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统
CN109377557A (zh) * 2018-11-26 2019-02-22 中山大学 基于单帧人脸图像的实时三维人脸重建方法
CN109740477A (zh) * 2018-12-26 2019-05-10 联创汽车电子有限公司 驾驶员疲劳检测系统及其疲劳检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108651A (zh) * 2016-11-25 2018-06-01 广东亿迅科技有限公司 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统
CN109377557A (zh) * 2018-11-26 2019-02-22 中山大学 基于单帧人脸图像的实时三维人脸重建方法
CN109740477A (zh) * 2018-12-26 2019-05-10 联创汽车电子有限公司 驾驶员疲劳检测系统及其疲劳检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李庆臣: "基于面部特征的疲劳驾驶检测系统设计", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963712B1 (en) 2019-12-16 2021-03-30 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for distinguishing a driver and passengers in an image captured inside a vehicle
CN111179551A (zh) * 2019-12-17 2020-05-19 西安工程大学 一种危化品运输驾驶员实时监控方法
CN111265220A (zh) * 2020-01-21 2020-06-12 王力安防科技股份有限公司 一种近视预警方法、装置及设备
CN111310617A (zh) * 2020-02-03 2020-06-19 杭州飞步科技有限公司 分神驾驶检测方法、装置及存储介质
CN111582086A (zh) * 2020-04-26 2020-08-25 湖南大学 基于多特征的疲劳驾驶识别方法及系统
CN111753659A (zh) * 2020-05-20 2020-10-09 广州虹科电子科技有限公司 基于人脸配准点的疲劳驾驶检测方法、设备、介质及装置
CN111645695A (zh) * 2020-06-28 2020-09-11 北京百度网讯科技有限公司 一种疲劳驾驶的检测方法、装置、计算机设备和存储介质
CN111645695B (zh) * 2020-06-28 2022-08-09 北京百度网讯科技有限公司 一种疲劳驾驶的检测方法、装置、计算机设备和存储介质
CN111881783A (zh) * 2020-07-10 2020-11-03 北京嘉楠捷思信息技术有限公司 疲劳检测方法及装置
CN112220481A (zh) * 2020-10-21 2021-01-15 合肥工业大学 一种驾驶员的驾驶状态检测方法及其安全驾驶方法
CN112220481B (zh) * 2020-10-21 2023-08-01 合肥工业大学 一种驾驶员的驾驶状态检测方法及其安全驾驶方法
CN112528767A (zh) * 2020-11-26 2021-03-19 天津大学 基于机器视觉的施工机械操作员疲劳作业检测系统及方法
CN112528843A (zh) * 2020-12-07 2021-03-19 湖南警察学院 一种融合面部特征的机动车驾驶人疲劳检测方法
CN112926478A (zh) * 2021-03-08 2021-06-08 新疆爱华盈通信息技术有限公司 性别识别方法、系统、电子装置及存储介质
CN113080996A (zh) * 2021-04-08 2021-07-09 大同千烯科技有限公司 一种基于目标检测的心电图分析方法及装置
CN113080996B (zh) * 2021-04-08 2022-11-18 大同千烯科技有限公司 一种基于目标检测的心电图分析方法及装置
CN113191231A (zh) * 2021-04-21 2021-07-30 栈鹿(上海)教育科技有限公司 疲劳状态下的安全驾驶方法
CN113297966A (zh) * 2021-05-25 2021-08-24 郑州铁路职业技术学院 一种基于多重刺激的夜间学习方法
CN113359688A (zh) * 2021-05-28 2021-09-07 重庆交通大学 基于驾驶员nms特征的人机共驾鲁棒控制方法
CN113359688B (zh) * 2021-05-28 2022-06-24 重庆交通大学 基于驾驶员nms特征的人机共驾鲁棒控制方法
CN113420656A (zh) * 2021-06-23 2021-09-21 展讯通信(天津)有限公司 一种疲劳驾驶检测方法、装置、电子设备及存储介质
CN113361452A (zh) * 2021-06-24 2021-09-07 中国科学技术大学 一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统
CN113343940A (zh) * 2021-07-19 2021-09-03 湖南科技大学 一种基于面部多特征点识别的值班人员疲劳状态检测方法
CN113343940B (zh) * 2021-07-19 2022-05-10 湖南科技大学 一种基于面部多特征点识别的值班人员疲劳状态检测方法
CN113705373A (zh) * 2021-08-10 2021-11-26 苏州莱布尼茨智能科技有限公司 一种可调节自适应强的驾驶员面部表情识别系统
CN113705373B (zh) * 2021-08-10 2023-12-26 江苏钮玮动力科技有限公司 一种可调节自适应强的驾驶员面部表情识别系统
CN113844455A (zh) * 2021-08-27 2021-12-28 奇瑞汽车股份有限公司 在驾驶人员疲惫状态下进行车辆制动的方法和装置
CN113780125A (zh) * 2021-08-30 2021-12-10 武汉理工大学 一种驾驶员多特征融合的疲劳状态检测方法及装置
CN114220142B (zh) * 2021-11-24 2022-08-23 慧之安信息技术股份有限公司 一种深度学习算法的人脸特征识别方法
CN114220142A (zh) * 2021-11-24 2022-03-22 慧之安信息技术股份有限公司 一种深度学习算法的人脸特征识别方法
CN114742090A (zh) * 2022-03-02 2022-07-12 西北工业大学 一种基于精神疲劳监测的驾驶舱人机交互系统
CN114742090B (zh) * 2022-03-02 2024-02-20 西北工业大学 一种基于精神疲劳监测的驾驶舱人机交互系统
CN114771545A (zh) * 2022-04-19 2022-07-22 青岛大学 一种智能安全驾驶系统
CN114937019A (zh) * 2022-05-30 2022-08-23 杭州健培科技有限公司 基于自适应局部灰度均衡的关键点检测方法、装置及应用
CN114743184A (zh) * 2022-06-10 2022-07-12 航天科技控股集团股份有限公司 一种驾驶员驾驶状态预警系统
CN115378968A (zh) * 2022-07-20 2022-11-22 慧之安信息技术股份有限公司 一种基于边缘计算的生物实验室安全检测系统
CN115378968B (zh) * 2022-07-20 2024-06-04 慧之安信息技术股份有限公司 一种基于边缘计算的生物实验室安全检测系统
CN115562500A (zh) * 2022-11-30 2023-01-03 南京航空航天大学 一种眼动控制智能手机的方法
CN117315536A (zh) * 2023-09-25 2023-12-29 南通大学 一种在线学习专注度监测方法及系统
CN117315536B (zh) * 2023-09-25 2024-06-04 南通大学 一种在线学习专注度监测方法

Similar Documents

Publication Publication Date Title
CN110532887A (zh) 一种基于面部特征融合的疲劳驾驶检测方法及系统
Ramzan et al. A survey on state-of-the-art drowsiness detection techniques
Zhang et al. Driver fatigue detection based on eye state recognition
Mbouna et al. Visual analysis of eye state and head pose for driver alertness monitoring
Wang et al. A hierarchical generative model for eye image synthesis and eye gaze estimation
Ji et al. Fatigue state detection based on multi-index fusion and state recognition network
Hammal et al. Facial expression classification: An approach based on the fusion of facial deformations using the transferable belief model
Zeng et al. Spontaneous emotional facial expression detection.
CN103839379B (zh) 汽车及用于其的驾驶员疲劳预警检测方法和系统
CN103488299B (zh) 一种融合人脸和手势的智能终端人机交互方法
CN105138954A (zh) 一种图像自动筛选查询识别系统
MX2013002904A (es) Aparato de proceso de imagenes de personas y metodo para procesar imagenes de personas.
Du et al. A multimodal fusion fatigue driving detection method based on heart rate and PERCLOS
Zhang et al. Exercise fatigue detection algorithm based on video image information extraction
Jamshidi et al. Hierarchical deep neural networks to detect driver drowsiness
CN106599785A (zh) 人体3d特征身份信息库的建立方法及设备
CN111291701A (zh) 一种基于图像梯度和椭圆拟合算法的视线追踪方法
Wu et al. Generalized zero-shot emotion recognition from body gestures
CN113920491A (zh) 基于面部骨架模型的疲劳检测系统、方法、介质、检测设备
Jingchao et al. Recognition of classroom student state features based on deep learning algorithms and machine learning
Saif et al. Robust drowsiness detection for vehicle driver using deep convolutional neural network
Pandey et al. Dumodds: Dual modeling approach for drowsiness detection based on spatial and spatio-temporal features
Her et al. Uncertainty-Aware Gaze Tracking for Assisted Living Environments
Mu et al. Research on a driver fatigue detection model based on image processing
JP7439932B2 (ja) 情報処理システム、データ蓄積装置、データ生成装置、情報処理方法、データ蓄積方法、データ生成方法及び記録媒体、並びに、データベース

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20191203