CN108875642A - 一种多指标融合的驾驶员疲劳检测的方法 - Google Patents

一种多指标融合的驾驶员疲劳检测的方法 Download PDF

Info

Publication number
CN108875642A
CN108875642A CN201810642034.9A CN201810642034A CN108875642A CN 108875642 A CN108875642 A CN 108875642A CN 201810642034 A CN201810642034 A CN 201810642034A CN 108875642 A CN108875642 A CN 108875642A
Authority
CN
China
Prior art keywords
fatigue
driver
index
eye
mouth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810642034.9A
Other languages
English (en)
Inventor
徐琨
柳有权
文芳
荆树旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201810642034.9A priority Critical patent/CN108875642A/zh
Publication of CN108875642A publication Critical patent/CN108875642A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种多指标融合的驾驶员疲劳检测的方法，该方法首先采集驾驶员正常状态下的面部图像进行人脸定位，选择第一面部特征点，通过第一面部特征点确定驾驶员眼睛疲劳判断阈值；获取驾驶员在驾驶状态下的面部图像并进行人脸定位，选择第二面部特征点，分别计算驾驶员的眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标；结合所述的眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标对驾驶员是否疲劳驾驶做出判断。本发明综合考虑了人在疲劳状态下的多种生理特征，采用多指标融合的方式进行驾驶员疲劳状态的检测，能够更加准确地检测出驾驶员的疲劳状态，有效克服了传统的单指标检测方法存在的容易受到干扰、识别准确率低的问题。

Description

一种多指标融合的驾驶员疲劳检测的方法
技术领域
本发明涉及计算机视觉领域，具体涉及一种多指标融合的驾驶员疲劳状态检测的方法。
背景技术
汽车的普及方便了人们的出行，同时也导致了越来越多的交通事故。国家安全监管总局和交通运输部联合发布的2017年道路交通运输安全发展报告[1]指出，每年交通运输事故起数在全国重特大事故总量的占比中可达70％，死亡人数占比达80％。据统计，在这些交通事故中有20％至30％的交通事故是由于疲劳驾驶引起的，尤其是在高速公路上由于疲劳驾驶导致交通事故的占比达到30％以上。因此，研究一种驾驶员驾驶状态实时监测方法，并在必要时给予一定的提示及预警，对降低交通事故率具有重要意义。
在现有的技术方案中，基于驾驶员生理参数的检测方法通过专用设备获取包括心电、脑电、眼电及皮肤电等驾驶员的生理信号，驾驶员需要接入接触式测量装置，因此这种方法会对驾驶员造成一定的干扰。基于车辆行驶信息的检测方法主要从方向盘转动、加速及制动踏板的操作和车辆行驶轨迹等方面来判断驾驶员的疲惫程度。这种方法要求车辆在结构化道路上行驶，检测结果易受驾驶员操作意图影响，判别精度相对较低。基于视觉的疲劳状态检测方法使用图像传感器获取驾驶员头部和面部等的图像，通过计算包括持续闭眼时间、眨眼频率、打哈欠频率及头部持续偏移时间等面部及头部信息指标，获得驾驶员的疲劳指数，判别驾驶员的疲劳状态。
文献2利用眼白在Cb-Cr通道上良好的聚类性，在YCbCr颜色空间中建立高斯眼白分割模型，然后在人脸区域图像内做眼白分割，计算眼白面积，最后将眼白面积作为人眼开度指标，结合PERCLOS(percentage of eyelid closure over the pupil over time)指标判定人的疲劳状态[2]。这种算法易受光线强度干扰，在光线较强或较弱的情况下，会出现误判。文献3提出了一种基于多个特征的驾驶员疲劳融合检测算法。选取能够直接反映驾驶员疲劳程度眼睛和嘴巴等两个面部特征对驾驶员状态进行综合判断。针对驾驶员头部多角度变化时导致面部特征定位困难的问题，提出了基于主动形状模型(Active Shape Model,ASM)人脸特征定位算法，使用12个ASM特征标记点，得出眼睛和嘴部特征参数，采用基于模糊推理系统量化表示疲劳这一模糊概念，从而给出疲劳状态判断[3]。然而，当人体进入疲劳状态时，会出现频繁点头或有明显的持续低头或仰头的头部姿态的变化，由于ASM本身的局限性，在上述情况下，特征点定位会发生严重漂移现象，基于ASM特征点定位方法难以判断出驾驶员的疲劳状态。文献4提出了一种基于面部多种疲劳参数的驾驶员状态检测算法。首先利用Gabor滤波和梯度信息增强眼睛和嘴部的边缘信息以进行准确定位，然后采用一种具有旋转不变性的LBP金字塔特征对眼睛进行特征描述，训练线性SVM分类器判别眼睛的开闭状态，根据嘴部的张开面积及宽高比判断嘴部的开闭状态，通过统计眼睛在垂直方向上的运动确定头部位置的变化。最后基于眼睛和嘴部的状态、头部的位置，计算出4个能够描述驾驶员状态的疲劳参数，利用模糊系统推理得出驾驶员最终的疲劳状态[4]。由于头部位置是依赖于眼睛在垂直方向的偏移量，当驾驶员头部水平旋转的角度很大时，该方法的准确性降低。
参考文献：
[1]2017年道路交通运输安全发展报告[EB/OL],2017-12-21.
[2]旷文腾,毛宽诚,黄家才,李海彬.基于高斯眼白模型的疲劳驾驶检测.中国图象图形学报,2016,21(11)1515-1522.
[3]白中浩,刘浏,焦英豪,曹松.基于ASM的多特征融合驾驶员疲劳检测方法.电子测量与仪器学报,2016,30(12),1877-1883.
[4]周云鹏,朱青,王耀南,卢笑,凌志刚.面部多特征融合的驾驶员疲劳检测方法.电子测量与仪器学报,2014,28(10):1140-1148.
发明内容
针对上述现有方法中存在的问题，本发明的目的是提供一种能够快速、准确地检测驾驶员疲劳状态的视觉检测方法。
为了实现上述任务，本发明采用以下技术方案：
一种多指标融合的驾驶员疲劳检测的方法，包括以下步骤：
采集驾驶员正常状态下的面部图像进行人脸定位，选择第一面部特征点，通过第一面部特征点确定驾驶员眼睛疲劳判断阈值；
获取驾驶员在驾驶状态下的面部图像并进行人脸定位，选择第二面部特征点，分别计算驾驶员的眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标；
结合所述的眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标对驾驶员是否疲劳驾驶做出判断。
进一步地，所述的第一面部特征点选择位于驾驶员左眼上下眼睑的两个特征点、右眼上下眼睑的两个特征点。
进一步地，所述的通过第一面部特征点确定驾驶员眼睛疲劳判断阈值，包括：
计算位于驾驶员左眼上下眼睑的两个特征点纵坐标差值的绝对值、位于右眼上下眼睑的两个特征点纵坐标差值的绝对值，分别作为左眼闭合度参考值Eyel右眼闭合度参考值Eyer；
所述的驾驶员眼睛疲判断阈值为驾驶员左眼、右眼闭眼判断阈值Thl和Thr，计算方法如下：
Thl＝0.2×Eyel，Thr＝0.2×Eyer。
进一步地，所述的人脸定位的方法包括：
将所述的面部图像的像素从RGB颜色空间转换到YCbCr颜色空间，转换公式为：
若转换后的像素点的(Cb,Cr)坐标，满足：
则判断该像素点为肤色像素点，否则判断为非肤色像素点；上式中，Cb′＝113，Cr′＝155.6，a＝26.5，b＝18.1，θ＝43.0°；
利用AdaBoost算法在肤色像素点构成的肤色区域中进行人脸定位，从而获取驾驶员面部和头部的图像。
进一步地，所述的第二面部特征点，包括：
位于驾驶员左眼上下眼睑的两个特征点、右眼上下眼睑的两个特征点、左眼的左右眼角的两个特征点、右眼的左右眼角的两个特征点、嘴巴的左右嘴角的两个特征点、上嘴唇内侧正中的一个特征点、下嘴唇内侧正中的一个特征点以及位于鼻尖的一个特征点。
进一步地，所述的眼睛疲劳指标的计算方法包括：
计算所述的第二特征点中，驾驶员左眼上下眼睑的两个特征点的纵坐标差值、右眼上下眼睑的两个特征点的纵坐标的差值分别作为左眼闭合度El、右眼闭合度Er；
取El、Er二者的较小值作为眼睛闭合度E；
若E为左眼闭合度，且E<Thl，则判断驾驶员眼睛当前是闭合状态；若E为右眼闭合度，且E<Thr，则判断驾驶员眼睛当前是闭合状态；
统计驾驶员眼睛持续保持闭合状态的面部图像的帧数，将其作为驾驶员眼睛疲劳指标p。
进一步地，所述的嘴巴疲劳指标的计算方法包括：
计算所述的第二特征点中，驾驶员嘴巴左右嘴角的两个特征点的横坐标差值的绝对值W；
计算驾驶员上嘴唇内侧正中的一个特征点、下嘴唇内侧正中的一个特征点纵坐标差值的绝对值H，将W/H作为驾驶员嘴巴张开度的度量值Mouth，若Mouth≥0.65，则判断驾驶员嘴巴当前是张开状态；
统计驾驶员嘴巴持续保持张开状态的面部图像的帧数，将其作为驾驶员嘴巴疲劳指标m。
进一步地，所述的头部姿态疲劳指标的计算方法包括：
在所述的第二面部特征点中，根据所述的驾驶员左眼的左右眼角的两个特征点、右眼的左右眼角的两个特征点以及鼻尖的一个特征点，利用POSIT算法计算头部姿态参数pitch角度；
若pitch角小于-19.5，头部姿态标记为-1；若pitch角大于等于-19.5，且小于等于19.5，头部姿态标记为0；若pitch角大于19.5，头部姿态标记为1。
统计头部姿态标记为-1的面部图像的帧数，将其作为头部低头帧数h1；统计头部姿态标记为1的面部图像帧数，将其作为头部仰头帧数h2；
则驾驶员头部偏离帧数h＝h1+h2，将其作为驾驶员头部疲劳指标，记为h。
进一步地，所述的结合所述的眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标对驾驶员是否疲劳驾驶做出判断，包括：
分别设置驾驶员眼睛疲劳阈值Tp、嘴巴疲劳阈值Tm以及头部疲劳阈值Th；根据驾驶员眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标超过所述Tp、Tm、Th的情况对驾驶员是否疲劳做出判断。
进一步地，所述的根据驾驶员眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标超过所述Tp、Tm、Th的情况对驾驶员是否疲劳做出判断，包括：
若驾驶员嘴巴疲劳指标m≥Tm，则记Fmouth＝1；若眼睛疲劳指标p≥Tp，则Feye＝1；若头部疲劳指标h≥Th，则Fhead＝1；
根据下表对驾驶员是否疲劳做出判断：
Fhead Feye Fmouth 疲劳程度
0 0 0 无疲劳
0 0 1 轻度疲劳
0 1 0 轻度疲劳
0 1 1 中度疲劳
1 0 0 中度疲劳
1 0 1 中度疲劳
1 1 1 中度疲劳
1 1 0 重度疲劳
一种多指标融合的驾驶员疲劳检测系统，包括依次连接的初始化模块、疲劳检测模块、疲劳判断模块和疲劳预警模块，其中：
所述的初始化模块用于采集驾驶员正常状态下的面部图像进行人脸定位，选择第一面部特征点，通过第一面部特征点确定驾驶员眼睛疲劳判断阈值；
所述的疲劳检测模块用于获取驾驶员在驾驶状态下的面部图像并进行人脸定位，选择第二面部特征点，分别计算驾驶员的眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标；
所述的疲劳判断模块用于结合所述的眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标对驾驶员是否疲劳驾驶做出判断；
所述的疲劳预警模块用于当判断出驾驶员处于疲劳状态时，依据疲劳程度给出不同的文字或语音预警提示。
本发明与现有技术相比具有以下技术特点：
本发明综合考虑了人在疲劳状态下的多种生理特征，采用多指标融合的方式进行驾驶员疲劳状态的检测，能够更加准确地检测出驾驶员的疲劳状态，有效克服了传统的单指标检测方法存在的容易受到干扰、识别准确率低的问题。
附图说明
图1为本发明中人脸定位方法的示意图，其中(a)、(b)、(c)、(d)每行从左至右依次对应为：原始面部图像、肤色分割结果图、肤色分割对应的二值图像、在肤色区域使用AdaBoost的检测效果图。
图2为基于ASM和SDM人脸特征点定位结果图，其中(a)、(b)图采用ASM算法在正面、正面张嘴、正面闭眼、正面遮挡、头部右转、仰头、头部左转及低头情况下人脸特征点的定位结果图，(c)、(d)图采用SDM算法在正面、正面张嘴、正面闭眼、正面遮挡、头部右转、仰头、头部左转及低头情况下人脸特征点的定位结果图。
图3为采用SDM人脸特征点定位结果图，其中四幅图分别为在面部有较大范围遮挡、头部姿态向左和向右偏移、佩戴眼镜时的定位结果图。
图4为本发明中选取的第二面部特征点的位置示意图。
图5为本发明中利用POSIT算法计算头部姿态参数pitch角度的示意图，其中四幅图分别为抬头、低头、向右转头、向左转头实的计算结果图。
图6为采用Pointing'04数据集进行pitch角估计角度与真值对比曲线图。
图7为本发明的多指标融合驾驶员疲劳判断结果示意图，其中(a)和(b)分别为测试者1、测试者2在日间的四种头部姿态下的测试结果，(c)为测试者1在夜间的四种头部姿态下的测试结果，所述的四种头部姿态从左至右分别为正常状态、持续闭眼、打哈欠、仰头。
图8为本发明方法的流程图。
具体实施方式
本发明公开了一种多指标融合的驾驶员疲劳检测的方法，如图8所示，包括以下步骤：
步骤1，采集驾驶员正常状态下的人脸图像，选择第一面部特征点，通过第一面部特征点确定驾驶员眼睛疲劳判断阈值；
所述的驾驶员正常状态下的面部图像通过车载视频设备，或相机等图像采集工具进行获取，所述的正常状态是指驾驶员保持清醒状态，未出现眼睛持续闭合、眨眼频率降低、打哈欠、点头等生理特征的状态。该步骤中，对于采集到的面部图像，首先采用人脸定位方法获得驾驶员面部以及头部区域，然后在面部以及头部区域中，获取特征点。所述的人脸定位方法的步骤如下：
步骤1.1，首先将所述的面部图像的像素从RGB颜色空间转换到YCbCr颜色空间，转换公式为：
若转换后的像素点的(Cb,Cr)坐标，满足：
则判断该像素点为肤色像素点，否则判断为非肤色像素点，从而可以得到在一帧面部图像中由肤色像素点所构成的肤色区域；将肤色像素点置为1，非肤色像素点置为0以完成二值化处理。上式中，椭圆模型参数Cb′＝113，Cr′＝155.6，a＝26.5，b＝18.1，θ＝43.0°。
然后，利用AdaBoost快速人脸定位方法在肤色像素点构成的肤色区域中进行人脸定位，从而获取驾驶员面部和头部的图像，然后利用SDM算法获取特征点，步骤如下：
步骤1.2，首先，每个特征点提取大小为32×32的SIFT特征的局部区域，然后，采用PCA进行特征降维，每张图像保存98％的能量；最后，把训练样本图像的平均形状作为初始形状，通过训练得到的一系列下降方向和偏移量，完成对测试图像初始形状的更新，经过多次迭代直到收敛，最终实现人脸特征点的准确定位。
步骤1.3，对于获取的多个特征点，本发明从中选取第一面部特征点以进行驾驶员的疲劳判断。
所述的第一面部特征点选择位于驾驶员左眼上下眼睑的两个特征点、右眼上下眼睑的两个特征点，然后通过第一面部特征点确定驾驶员眼睛疲劳判断阈值：
计算位于驾驶员左眼上下眼睑的两个特征点纵坐标差值的绝对值、位于右眼上下眼睑的两个特征点纵坐标差值的绝对值，分别作为左眼闭合度参考值Eyel右眼闭合度参考值Eyer；
所述的驾驶员眼睛疲判断阈值为驾驶员左眼、右眼闭眼判断阈值Thl和Thr，计算方法如下：
Thl＝0.2×Eyel，Thr＝0.2×Eyer。
步骤2，获取驾驶员在驾驶状态下的面部图像并进行人脸定位，选择第二面部特征点，分别计算驾驶员的眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标；
在该步骤中，利用车载的视频设备实时获取驾驶员的面部图像(即包含驾驶员完整头面部的视频图像)，并以帧为单位，分别计算每一帧面部图像中驾驶员的各项疲劳指标，过程如下：
步骤2.1，该步骤采用的人脸定位方法以及特征点的获取方法，和步骤1.1、步骤1.2中采用的方法相同，即先通过获取肤色区域，然后再利用AdaBoost快速人脸定位方法进行人脸定位，再利用SDM算法获取特征点。
本发明中提出的人脸定位方法，首先经过预处理利用肤色分割实现了人脸的粗定位，在肤色区域中采用AdaBoost的人脸检测算法可精确定位出人脸位置，从而有效地减少了AdaBoost的搜索区域。实验结果表明，单独使用AdaBoost算法的人脸定位方法平均每帧检测时间约为179ms，而利用本发明提出的定位方法平均每帧检测时间约为103ms，一定程度上提高了算法的实时性，同时，也保证了人脸定位的准确性。
当头部姿态变化较大或面部有遮挡时，SDM算法不再使用形状模型，而是直接优化特征点坐标，具有较高的灵活性。当面部有部分遮挡、面部表情和头部姿态出现较大变化时、佩戴饰品、不同背景、距离、光照及复杂表情下仍有较好的检测效果。
为了进行多指标的疲劳检测，该步骤中选择多个第二面部特征点，分别计算驾驶员的眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标，具体步骤如下：
步骤2.2，选取第二面部特征点
所述的第二面部特征点包括：
位于驾驶员左眼上下眼睑的两个特征点、右眼上下眼睑的两个特征点、左眼的左右眼角的两个特征点、右眼的左右眼角的两个特征点、嘴巴的左右嘴角的两个特征点、上嘴唇内侧正中的一个特征点、下嘴唇内侧正中的一个特征点以及位于鼻尖的一个特征点。
步骤2.3，计算眼睛疲劳指标
计算所述的第二特征点中，驾驶员左眼上下眼睑的两个特征点的纵坐标差值、右眼上下眼睑的两个特征点的纵坐标的差值分别作为左眼闭合度El、右眼闭合度Er；
取El、Er二者的较小值作为眼睛闭合度E；
若E为左眼闭合度，且E<Thl，则判断驾驶员眼睛当前是闭合状态；若E为右眼闭合度，且E<Thr，则判断驾驶员眼睛当前是闭合状态；
统计驾驶员眼睛持续保持闭合状态的面部图像的帧数，将其作为驾驶员眼睛疲劳指标p。
步骤2.4，计算嘴巴疲劳指标
计算所述的第二特征点中，驾驶员嘴巴左右嘴角的两个特征点的横坐标差值的绝对值W；
计算驾驶员上嘴唇内侧正中的一个特征点、下嘴唇内侧正中的一个特征点纵坐标差值的绝对值H，将W/H作为驾驶员嘴巴张开度的度量值Mouth，若Mouth≥0.65，则判断驾驶员嘴巴当前是张开状态；
统计所述的驾驶员嘴巴持续保持张开状态的面部图像的帧数，将其作为驾驶员嘴巴疲劳指标m。
步骤2.5，计算头部姿态疲劳指标
在所述的第二面部特征点中，根据所述的驾驶员左眼的左右眼角的两个特征点、右眼的左右眼角的两个特征点以及鼻尖的一个特征点，利用POSIT算法计算头部姿态参数pitch角度；
若pitch角小于-19.5，头部姿态标记为-1；若pitch角大于等于-19.5，且小于等于19.5，头部姿态标记为0；若pitch角大于19.5，头部姿态标记为1。
统计头部姿态标记为-1的面部图像的帧数，将其作为头部低头帧数h1；统计头部姿态标记为1的面部图像帧数，将其作为头部仰头帧数h2；
则驾驶员头部偏离帧数h＝h1+h2，将其作为驾驶员头部疲劳指标，记为h。
步骤3，结合所述的眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标对驾驶员是否疲劳驾驶做出判断。
在该步骤中，分别设置驾驶员眼睛疲劳阈值Tp、嘴巴疲劳阈值Tm以及头部疲劳阈值Th；根据驾驶员眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标超过所述Tp、Tm、Th的情况对驾驶员是否疲劳做出判断。本实施例中，设置眼睛疲劳阈值Tp＝30，嘴巴疲劳阈值Tm＝60，头部疲劳阈值Th＝15。
具体地，若驾驶员嘴巴疲劳指标m≥Tm，则记Fmouth＝1；若眼睛疲劳指标p≥Tp，则Feye＝1；若头部疲劳指标h≥Th，则Fhead＝1；
根据下表对驾驶员是否疲劳做出判断：
表1驾驶员疲劳判断表
Fhead Feye Fmouth 疲劳程度
0 0 0 无疲劳
0 0 1 轻度疲劳
0 1 0 轻度疲劳
0 1 1 中度疲劳
1 0 0 中度疲劳
1 0 1 中度疲劳
1 1 1 中度疲劳
1 1 0 重度疲劳
上述的疲劳指标计算以及判断过程是持续性的，即持续对每一帧获取的驾驶员的面部图像进行各项指标的计算以及阈值判断，然后根据表1进行疲劳判断。如通过对照表1，判断驾驶员当前处于疲劳状态时，即轻度疲劳、中度疲劳或重度疲劳，则可分别通过报警设备(显示器、语音报警器)给出不同的文字或语音预警提示，以提醒驾驶员注意休息，勿疲劳驾驶。
人在疲劳状态下通常会有眼睛持续闭合、眨眼频率降低、打哈欠、点头等各种现象。且不同的人，疲劳时的表现特征会有所不同；本发明经过大量的数据采集以及分析，提出的这种多特征疲劳判断方法能够更准确地估计出驾驶员的疲劳状态。
在上述技术方案的基础上，本发明进一步提出了一种多指标融合的驾驶员疲劳检测系统，包括依次连接的初始化模块、疲劳检测模块、疲劳判断模块和疲劳预警模块，其中：
所述的初始化模块用于采集驾驶员正常状态下的面部图像进行人脸定位，选择第一面部特征点，通过第一面部特征点确定驾驶员眼睛疲劳判断阈值；
所述的疲劳检测模块用于获取驾驶员在驾驶状态下的面部图像并进行人脸定位，选择第二面部特征点，分别计算驾驶员的眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标；
所述的疲劳判断模块用于结合所述的眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标对驾驶员是否疲劳驾驶做出判断；
所述的疲劳预警模块用于当判断出驾驶员处于疲劳状态时，依据疲劳程度给出不同的文字或语音预警提示。
以下结合具体的试验附图对本方案进行进一步说明。
如图1所示，图1中(a)、(b)、(c)、(d)每行从左至右依次对应为：原始面部图像、肤色分割结果图、肤色分割对应的二值图像、在肤色区域使用AdaBoost的检测效果图。从人脸检测结果来看，本发明提出的人脸检测方法在面部朝向发生改变时，依然能较准确地检测到人脸区域。
如图2所示，为基于ASM和SDM人脸特征点定位结果。其中(a)、(b)图采用ASM算法在正面、正面张嘴、正面闭眼、正面遮挡、头部右转、仰头、头部左转及低头情况下人脸特征点的定位结果图。(c)、(d)图采用SDM算法在正面、正面张嘴、正面闭眼、正面遮挡、头部右转、仰头、头部左转及低头情况下人脸特征点的定位结果图。当检测正面人脸、正面人脸张嘴、正面人脸闭眼时，ASM算法和SDM算法均可准确定位到眼睛、嘴巴等器官及人脸轮廓，特征点标注效果理想；但当人脸图像有面部遮挡时，ASM算法遮挡区域的部分特征点有漂移现象，而SDM算法人脸特征点定位相对准确；当头部姿态有较大变动，如右转、仰头、左转、低头时，ASM无法对面部关键器官进行标注，此时获得的特征点信息无效，而SDM算法人脸特征点定位相对准确。
如图3所示，为采用SDM算法在有较大范围遮挡、头部姿态变化及佩戴眼镜时的人脸特征点定位结果。从图中可以看到，当面部有较大范围遮挡时，在遮挡区域特征点标注位置发生轻微位移，其余区域的定位相对准确；头部姿态有较大变动时，SDM算法也可以准确跟踪到面部特征点；当被测人脸佩戴眼镜时，特征点定位效果依然较为准确。
如图4所示，为本发明中选取的第二面部特征点的位置示意图。
如图5所示，为本发明中利用POSIT算法计算头部姿态参数pitch角度的示意图，图中左上角数字依次为表征头部姿态的Pitch角、Yaw角和Roll角度的估计值。
如图6为采用Pointing'04数据集进行pitch角估计角度与真值对比曲线图，从图中可以看到，两者误差绝对值控制在5度以内，误差较小，头部姿态估计效果较好。
如图7所示，为本发明的多指标融合驾驶员疲劳判断结果示意图，图7的(a)、(b)图为进行的多人日间测试结果。从左到右依次为正常、持续闭眼、打哈欠、仰头四种状态下的检测结果。各子图左上角文字第一行为头部实时状态输出，第二行为基于头部仰、俯持续帧数的疲劳状态判断，第三行为眼睛的实时睁闭状态输出，第四行为基于持续闭眼帧数的疲劳状态判断，第五行为嘴部实时张闭状态输出，第六行为基于嘴部持续张开帧数的疲劳状态判断，第七行为基于头部、眼睛、嘴部三个疲劳指标的综合判断结果。实验结果表明，该疲劳驾驶检测仿真系统可准确检测出不同驾驶员的多种疲劳状态；图7的(c)图为进行夜间疲劳检测的仿真结果。结果表明，本发明方法也可准确检测出夜间驾驶员的多种疲劳状态。
利用本发明方法进行了模拟实验，具体如下：
实验参与者共有5人，每人针对眼睛、嘴巴及头部3种单一疲劳状态分别进行10次模拟，对多种疲劳特征的状态进行10次模拟，共200次疲劳状态，实验结果如表2所示。
表2疲劳检测准确率表
由表2可以看出，多特征疲劳检测的识别率为95.0％，比眼睛单指标、嘴部单指标、头部姿态单指标的疲劳正确识别率分别高出1.5％、5.5％、4.0％；多特征疲劳检测的误检率为3％，与眼睛单指标、嘴部单指标、头部姿态单指标的疲劳状态检测方法相比，误检率有所下降；眼睛单指标、嘴部单指标、头部姿态单指标的疲劳检测方法漏检率分别为3％、5％、3％，多特征疲劳检测的漏检率为2％，该方法一定程度上降低了漏检率。实验结果表明，与单独使用一种疲劳指标进行检测相比，本发明的多特征疲劳检测方法可以更加准确的检测出驾驶员的疲劳状态。

Claims (10)

1.一种多指标融合的驾驶员疲劳检测的方法，其特征在于，包括以下步骤：
采集驾驶员正常状态下的面部图像进行人脸定位，选择第一面部特征点，通过第一面部特征点确定驾驶员眼睛疲劳判断阈值；
获取驾驶员在驾驶状态下的面部图像并进行人脸定位，选择第二面部特征点，分别计算驾驶员的眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标；
结合所述的眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标对驾驶员是否疲劳驾驶做出判断。
2.如权利要求1所述的多指标融合的驾驶员疲劳检测的方法，其特征在于，所述的选择第一面部特征点，通过第一面部特征点确定驾驶员眼睛疲劳判断阈值包括：
所述的第一面部特征点选择位于驾驶员左眼上下眼睑的两个特征点、右眼上下眼睑的两个特征点；
计算位于驾驶员左眼上下眼睑的两个特征点纵坐标差值的绝对值、位于右眼上下眼睑的两个特征点纵坐标差值的绝对值，分别作为左眼闭合度参考值Eyel右眼闭合度参考值Eyer；
所述的驾驶员眼睛疲判断阈值为驾驶员左眼、右眼闭眼判断阈值Thl和Thr，计算方法如下：
Thl＝0.2×Eyel，Thr＝0.2×Eyer。
3.如权利要求1所述的多指标融合的驾驶员疲劳检测的方法，其特征在于，所述的人脸定位的方法包括：
将所述的面部图像的像素从RGB颜色空间转换到YCbCr颜色空间，转换公式为：
若转换后的像素点的(Cb,Cr)坐标，满足：
则判断该像素点为肤色像素点，否则判断为非肤色像素点；上式中，Cb′＝113，Cr′＝155.6，a＝26.5，b＝18.1，θ＝43.0°；
利用AdaBoost算法在肤色像素点构成的肤色区域中进行人脸定位，从而获取驾驶员面部和头部的图像。
4.如权利要求1所述的多指标融合的驾驶员疲劳检测的方法，其特征在于，所述的第二面部特征点，包括：
位于驾驶员左眼上下眼睑的两个特征点、右眼上下眼睑的两个特征点、左眼的左右眼角的两个特征点、右眼的左右眼角的两个特征点、嘴巴的左右嘴角的两个特征点、上嘴唇内侧正中的一个特征点、下嘴唇内侧正中的一个特征点以及位于鼻尖的一个特征点。
5.如权利要求4所述的多指标融合的驾驶员疲劳检测的方法，其特征在于，所述的眼睛疲劳指标的计算方法包括：
计算所述的第二特征点中，驾驶员左眼上下眼睑的两个特征点的纵坐标差值、右眼上下眼睑的两个特征点的纵坐标的差值分别作为左眼闭合度El、右眼闭合度Er；
取El、Er二者的较小值作为眼睛闭合度E；
若E为左眼闭合度，且E<Thl，则判断驾驶员眼睛当前是闭合状态；若E为右眼闭合度，且E<Thr，则判断驾驶员眼睛当前是闭合状态；
统计驾驶员眼睛持续保持闭合状态的面部图像的帧数，将其作为驾驶员眼睛疲劳指标p。
6.如权利要求1所述的多指标融合的驾驶员疲劳检测的方法，其特征在于，所述的嘴巴疲劳指标的计算方法包括：
计算所述的第二特征点中，驾驶员嘴巴左右嘴角的两个特征点的横坐标差值的绝对值W；
计算驾驶员上嘴唇内侧正中的一个特征点、下嘴唇内侧正中的一个特征点纵坐标差值的绝对值H，将W/H作为驾驶员嘴巴张开度的度量值Mouth，若Mouth≥0.65，则判断驾驶员嘴巴当前是张开状态；
统计驾驶员嘴巴持续保持张开状态的面部图像的帧数，将其作为驾驶员嘴巴疲劳指标m。
7.如权利要求1所述的多指标融合的驾驶员疲劳检测的方法，其特征在于，所述的头部姿态疲劳指标的计算方法包括：
在所述的第二面部特征点中，根据所述的驾驶员左眼的左右眼角的两个特征点、右眼的左右眼角的两个特征点以及鼻尖的一个特征点，利用POSIT算法计算头部姿态参数pitch角度；
若pitch角小于-19.5，头部姿态标记为-1；若pitch角大于等于-19.5，且小于等于19.5，头部姿态标记为0；若pitch角大于19.5，头部姿态标记为1。
统计头部姿态标记为-1的面部图像的帧数，将其作为头部低头帧数h1；统计头部姿态标记为1的面部图像帧数，将其作为头部仰头帧数h2；
则驾驶员头部偏离帧数h＝h1+h2，将其作为驾驶员头部疲劳指标，记为h。
8.如权利要求1所述的多指标融合的驾驶员疲劳检测的方法，其特征在于，所述的结合所述的眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标对驾驶员是否疲劳驾驶做出判断，包括：
分别设置驾驶员眼睛疲劳阈值Tp、嘴巴疲劳阈值Tm以及头部疲劳阈值Th；根据驾驶员眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标超过所述Tp、Tm、Th的情况对驾驶员是否疲劳做出判断。
9.如权利要求1所述的多指标融合的驾驶员疲劳检测的方法，其特征在于，所述的根据驾驶员眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标超过所述Tp、Tm、Th的情况对驾驶员是否疲劳做出判断，包括：
若驾驶员嘴巴疲劳指标m≥Tm，则记Fmouth＝1；若眼睛疲劳指标p≥Tp，则Feye＝1；若头部疲劳指标h≥Th，则Fhead＝1；
根据下表对驾驶员是否疲劳做出判断：
Fhead Feye Fmouth 疲劳程度 0 0 0 无疲劳 0 0 1 轻度疲劳 0 1 0 轻度疲劳 0 1 1 中度疲劳 1 0 0 中度疲劳 1 0 1 中度疲劳 1 1 1 中度疲劳 1 1 0 重度疲劳
10.一种多指标融合的驾驶员疲劳检测系统，其特征在于，包括依次连接的初始化模块、疲劳检测模块、疲劳判断模块和疲劳预警模块，其中：
所述的初始化模块用于采集驾驶员正常状态下的面部图像进行人脸定位，选择第一面部特征点，通过第一面部特征点确定驾驶员眼睛疲劳判断阈值；
所述的疲劳检测模块用于获取驾驶员在驾驶状态下的面部图像并进行人脸定位，选择第二面部特征点，分别计算驾驶员的眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标；
所述的疲劳判断模块用于结合所述的眼睛疲劳指标、嘴巴疲劳指标以及头部姿态疲劳指标对驾驶员是否疲劳驾驶做出判断；
所述的疲劳预警模块用于当判断出驾驶员处于疲劳状态时，依据疲劳程度给出不同的文字或语音预警提示。
CN201810642034.9A 2018-06-21 2018-06-21 一种多指标融合的驾驶员疲劳检测的方法 Pending CN108875642A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810642034.9A CN108875642A (zh) 2018-06-21 2018-06-21 一种多指标融合的驾驶员疲劳检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810642034.9A CN108875642A (zh) 2018-06-21 2018-06-21 一种多指标融合的驾驶员疲劳检测的方法

Publications (1)

Publication Number Publication Date
CN108875642A true CN108875642A (zh) 2018-11-23

Family

ID=64340360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810642034.9A Pending CN108875642A (zh) 2018-06-21 2018-06-21 一种多指标融合的驾驶员疲劳检测的方法

Country Status (1)

Country Link
CN (1) CN108875642A (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670421A (zh) * 2018-12-04 2019-04-23 青岛小鸟看看科技有限公司 一种疲劳状态检测方法和装置
CN109740477A (zh) * 2018-12-26 2019-05-10 联创汽车电子有限公司 驾驶员疲劳检测系统及其疲劳检测方法
CN109886148A (zh) * 2019-01-29 2019-06-14 唐山明天科技有限公司 一种基于人脸识别的驾驶员主动报警系统及装置
CN110059599A (zh) * 2019-04-08 2019-07-26 盐城工学院 驾驶疲劳预警方法
CN110063734A (zh) * 2019-03-22 2019-07-30 中国人民解放军空军特色医学中心 疲劳检测方法、装置、系统及疲劳检测头盔
CN110263663A (zh) * 2019-05-29 2019-09-20 南京师范大学 一种基于多维面部特征的驾驶员多级疲劳度识别方法
CN110472512A (zh) * 2019-07-19 2019-11-19 河海大学 一种基于深度学习的人脸状态识别方法及其装置
CN110956781A (zh) * 2019-11-28 2020-04-03 同济大学 一种基于视频分析的疲劳驾驶监测系统
CN111166357A (zh) * 2020-01-06 2020-05-19 四川宇然智荟科技有限公司 多传感器融合的疲劳监测装置系统及其监测方法
CN111191702A (zh) * 2019-12-24 2020-05-22 宁波大学 基于模糊型弱分类器的AdaBoost分类方法
CN111209789A (zh) * 2019-10-21 2020-05-29 高新兴创联科技有限公司 对关键项点发生瞬间进行图像采集以及分析的方法
CN111310683A (zh) * 2020-02-24 2020-06-19 合肥工业大学 一种基于驾驶员疲劳检测的人机协同控制方法及系统
CN111860057A (zh) * 2019-04-29 2020-10-30 北京眼神智能科技有限公司 人脸图像模糊和活体检测方法、装置、存储介质及设备
CN111860098A (zh) * 2020-04-21 2020-10-30 北京嘀嘀无限科技发展有限公司 一种疲劳驾驶的检测方法、装置、电子设备和介质
CN111985328A (zh) * 2020-07-16 2020-11-24 西安理工大学 基于面部特征分析的不安全驾驶行为检测预警方法
CN112052770A (zh) * 2020-08-31 2020-12-08 北京地平线信息技术有限公司 用于疲劳检测的方法、装置、介质以及电子设备
CN112084820A (zh) * 2019-06-14 2020-12-15 初速度（苏州）科技有限公司 一种基于头部信息的人员状态检测方法及装置
CN112124320A (zh) * 2020-09-10 2020-12-25 恒大新能源汽车投资控股集团有限公司 车辆控制方法、系统及车辆
CN112241645A (zh) * 2019-07-16 2021-01-19 广州汽车集团股份有限公司 一种疲劳驾驶检测方法及其系统、电子设备
CN112494045A (zh) * 2020-12-15 2021-03-16 南通路远科技信息有限公司 一种驾驶员疲劳检测方法及装置
CN112528843A (zh) * 2020-12-07 2021-03-19 湖南警察学院 一种融合面部特征的机动车驾驶人疲劳检测方法
CN112754498A (zh) * 2021-01-11 2021-05-07 一汽解放汽车有限公司 驾驶员的疲劳检测方法、装置、设备及存储介质
CN112949345A (zh) * 2019-11-26 2021-06-11 北京四维图新科技股份有限公司 疲劳监测方法及系统、行车记录仪和智能座舱
CN113297966A (zh) * 2021-05-25 2021-08-24 郑州铁路职业技术学院 一种基于多重刺激的夜间学习方法
CN113536967A (zh) * 2021-06-25 2021-10-22 武汉极目智能技术有限公司 基于驾驶员头部运动姿态与人眼开合度的驾驶员状态辨识方法、装置、电子设备
CN113642426A (zh) * 2021-07-29 2021-11-12 深圳市比一比网络科技有限公司 一种基于目标与关键点的疲劳检测方法及系统
CN113780125A (zh) * 2021-08-30 2021-12-10 武汉理工大学 一种驾驶员多特征融合的疲劳状态检测方法及装置
CN113807170A (zh) * 2021-08-09 2021-12-17 杭州电子科技大学 一种基于多源信息融合和标签传播的疲劳检测方法
CN113869241A (zh) * 2021-09-30 2021-12-31 西安理工大学 一种融合人脸多属性的在线学习状态分析与报警方法
CN114822034A (zh) * 2022-05-06 2022-07-29 郑州铁路职业技术学院 一种列车安全驾驶方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090482A (zh) * 2006-06-13 2007-12-19 唐琎 一种基于图象处理和信息融合技术的驾驶员疲劳监测系统及方法
CN103617421A (zh) * 2013-12-17 2014-03-05 上海电机学院 基于综合视频特征分析的疲劳检测方法及系统
US20170119298A1 (en) * 2014-09-02 2017-05-04 Hong Kong Baptist University Method and Apparatus for Eye Gaze Tracking and Detection of Fatigue
CN107358218A (zh) * 2017-07-24 2017-11-17 英锐科技(深圳)有限公司 疲劳检测方法和使用该方法的疲劳检测系统
CN108108684A (zh) * 2017-12-15 2018-06-01 杭州电子科技大学 一种融合视线检测的注意力检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090482A (zh) * 2006-06-13 2007-12-19 唐琎 一种基于图象处理和信息融合技术的驾驶员疲劳监测系统及方法
CN103617421A (zh) * 2013-12-17 2014-03-05 上海电机学院 基于综合视频特征分析的疲劳检测方法及系统
US20170119298A1 (en) * 2014-09-02 2017-05-04 Hong Kong Baptist University Method and Apparatus for Eye Gaze Tracking and Detection of Fatigue
CN107358218A (zh) * 2017-07-24 2017-11-17 英锐科技(深圳)有限公司 疲劳检测方法和使用该方法的疲劳检测系统
CN108108684A (zh) * 2017-12-15 2018-06-01 杭州电子科技大学 一种融合视线检测的注意力检测方法

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670421B (zh) * 2018-12-04 2021-04-16 青岛小鸟看看科技有限公司 一种疲劳状态检测方法和装置
CN109670421A (zh) * 2018-12-04 2019-04-23 青岛小鸟看看科技有限公司 一种疲劳状态检测方法和装置
CN109740477B (zh) * 2018-12-26 2022-12-06 联创汽车电子有限公司 驾驶员疲劳检测系统及其疲劳检测方法
CN109740477A (zh) * 2018-12-26 2019-05-10 联创汽车电子有限公司 驾驶员疲劳检测系统及其疲劳检测方法
CN109886148A (zh) * 2019-01-29 2019-06-14 唐山明天科技有限公司 一种基于人脸识别的驾驶员主动报警系统及装置
CN110063734A (zh) * 2019-03-22 2019-07-30 中国人民解放军空军特色医学中心 疲劳检测方法、装置、系统及疲劳检测头盔
CN110063734B (zh) * 2019-03-22 2022-10-04 中国人民解放军空军特色医学中心 疲劳检测方法、装置、系统及疲劳检测头盔
CN110059599A (zh) * 2019-04-08 2019-07-26 盐城工学院 驾驶疲劳预警方法
CN111860057A (zh) * 2019-04-29 2020-10-30 北京眼神智能科技有限公司 人脸图像模糊和活体检测方法、装置、存储介质及设备
CN110263663A (zh) * 2019-05-29 2019-09-20 南京师范大学 一种基于多维面部特征的驾驶员多级疲劳度识别方法
CN112084820B (zh) * 2019-06-14 2022-06-24 魔门塔(苏州)科技有限公司 一种基于头部信息的人员状态检测方法及装置
CN112084820A (zh) * 2019-06-14 2020-12-15 初速度（苏州）科技有限公司 一种基于头部信息的人员状态检测方法及装置
CN112241645A (zh) * 2019-07-16 2021-01-19 广州汽车集团股份有限公司 一种疲劳驾驶检测方法及其系统、电子设备
CN110472512A (zh) * 2019-07-19 2019-11-19 河海大学 一种基于深度学习的人脸状态识别方法及其装置
CN111209789A (zh) * 2019-10-21 2020-05-29 高新兴创联科技有限公司 对关键项点发生瞬间进行图像采集以及分析的方法
CN112949345A (zh) * 2019-11-26 2021-06-11 北京四维图新科技股份有限公司 疲劳监测方法及系统、行车记录仪和智能座舱
CN110956781A (zh) * 2019-11-28 2020-04-03 同济大学 一种基于视频分析的疲劳驾驶监测系统
CN111191702A (zh) * 2019-12-24 2020-05-22 宁波大学 基于模糊型弱分类器的AdaBoost分类方法
CN111191702B (zh) * 2019-12-24 2023-02-14 宁波大学 基于模糊型弱分类器的AdaBoost分类方法
CN111166357A (zh) * 2020-01-06 2020-05-19 四川宇然智荟科技有限公司 多传感器融合的疲劳监测装置系统及其监测方法
CN111310683B (zh) * 2020-02-24 2023-02-24 合肥工业大学 一种基于驾驶员疲劳检测的人机协同控制方法及系统
CN111310683A (zh) * 2020-02-24 2020-06-19 合肥工业大学 一种基于驾驶员疲劳检测的人机协同控制方法及系统
CN111860098A (zh) * 2020-04-21 2020-10-30 北京嘀嘀无限科技发展有限公司 一种疲劳驾驶的检测方法、装置、电子设备和介质
CN111985328A (zh) * 2020-07-16 2020-11-24 西安理工大学 基于面部特征分析的不安全驾驶行为检测预警方法
CN112052770A (zh) * 2020-08-31 2020-12-08 北京地平线信息技术有限公司 用于疲劳检测的方法、装置、介质以及电子设备
CN112124320A (zh) * 2020-09-10 2020-12-25 恒大新能源汽车投资控股集团有限公司 车辆控制方法、系统及车辆
CN112528843A (zh) * 2020-12-07 2021-03-19 湖南警察学院 一种融合面部特征的机动车驾驶人疲劳检测方法
CN112494045A (zh) * 2020-12-15 2021-03-16 南通路远科技信息有限公司 一种驾驶员疲劳检测方法及装置
CN112754498A (zh) * 2021-01-11 2021-05-07 一汽解放汽车有限公司 驾驶员的疲劳检测方法、装置、设备及存储介质
CN113297966A (zh) * 2021-05-25 2021-08-24 郑州铁路职业技术学院 一种基于多重刺激的夜间学习方法
CN113536967A (zh) * 2021-06-25 2021-10-22 武汉极目智能技术有限公司 基于驾驶员头部运动姿态与人眼开合度的驾驶员状态辨识方法、装置、电子设备
CN113536967B (zh) * 2021-06-25 2023-05-30 武汉极目智能技术有限公司 基于驾驶员头部运动姿态与人眼开合度的驾驶员状态辨识方法、装置、电子设备
CN113642426A (zh) * 2021-07-29 2021-11-12 深圳市比一比网络科技有限公司 一种基于目标与关键点的疲劳检测方法及系统
CN113807170A (zh) * 2021-08-09 2021-12-17 杭州电子科技大学 一种基于多源信息融合和标签传播的疲劳检测方法
CN113807170B (zh) * 2021-08-09 2024-02-09 杭州电子科技大学 一种基于多源信息融合和标签传播的疲劳检测方法
CN113780125A (zh) * 2021-08-30 2021-12-10 武汉理工大学 一种驾驶员多特征融合的疲劳状态检测方法及装置
CN113869241A (zh) * 2021-09-30 2021-12-31 西安理工大学 一种融合人脸多属性的在线学习状态分析与报警方法
CN114822034A (zh) * 2022-05-06 2022-07-29 郑州铁路职业技术学院 一种列车安全驾驶方法和系统

Similar Documents

Publication Publication Date Title
CN108875642A (zh) 一种多指标融合的驾驶员疲劳检测的方法
CN103714660B (zh) 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
US11783601B2 (en) Driver fatigue detection method and system based on combining a pseudo-3D convolutional neural network and an attention mechanism
CN108309311A (zh) 一种列车驾驶员实时盹睡检测装置及检测算法
Abtahi et al. Driver drowsiness monitoring based on yawning detection
CN109389806B (zh) 基于多信息融合的疲劳驾驶检测预警方法、系统及介质
CN103839379B (zh) 汽车及用于其的驾驶员疲劳预警检测方法和系统
CN110728241A (zh) 一种基于深度学习多特征融合的驾驶员疲劳检测方法
CN104123549B (zh) 一种用于疲劳驾驶实时监测的眼睛定位方法
CN105389554A (zh) 基于人脸识别的活体判别方法和设备
CN104200192A (zh) 驾驶员注视检测系统
CN107578008A (zh) 基于分块特征矩阵算法和svm的疲劳状态检测方法
CN111753674A (zh) 一种基于深度学习的疲劳驾驶的检测识别方法
Liu et al. A practical driver fatigue detection algorithm based on eye state
CN113158850B (zh) 基于深度学习的船舶驾驶员疲劳检测方法和系统
CN107563346A (zh) 一种基于人眼图像处理实现驾驶员疲劳判别的方法
CN109344802A (zh) 一种基于改进的级联卷积神经网的人体疲劳检测方法
CN113989788A (zh) 一种基于深度学习和多指标融合的疲劳检测方法
Sun et al. Driver fatigue detection system based on colored and infrared eye features fusion
Nakamura et al. Driver drowsiness estimation from facial expression features computer vision feature investigation using a CG model
Chen Research on driver fatigue detection strategy based on human eye state
Ribarić et al. A neural-network-based system for monitoring driver fatigue
Kajiwara Driver-condition detection using a thermal imaging camera and neural networks
CN116012822B (zh) 一种疲劳驾驶的识别方法、装置及电子设备
CN115937828A (zh) 一种疲劳驾驶检测方法、装置及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123

RJ01 Rejection of invention patent application after publication