CN111860437A - 一种基于面部表情判断疲劳程度的方法及装置 - Google Patents

一种基于面部表情判断疲劳程度的方法及装置 Download PDF

Info

Publication number
CN111860437A
CN111860437A CN202010759454.2A CN202010759454A CN111860437A CN 111860437 A CN111860437 A CN 111860437A CN 202010759454 A CN202010759454 A CN 202010759454A CN 111860437 A CN111860437 A CN 111860437A
Authority
CN
China
Prior art keywords
driver
mouth
value
region
fatigue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010759454.2A
Other languages
English (en)
Inventor
陈立国
王宗良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202010759454.2A priority Critical patent/CN111860437A/zh
Publication of CN111860437A publication Critical patent/CN111860437A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明实施例公开了一种基于面部表情判断驾驶员疲劳程度的方法及装置。该基于面部表情判断驾驶员疲劳程度的方法及装置通过图像采集设备获取驾驶员的面部图像，通过预设的算法识别面部表情，将面部表情与预设疲劳程度标准进行比对来判断驾驶员的疲劳程度，且当判断出驾驶员的疲劳程度符合疲劳时，发出疲劳驾驶的提示。

Description

一种基于面部表情判断疲劳程度的方法及装置
技术领域
本发明涉及数字计算机检测的技术领域，特别是涉及交通安全领域中基于面度表情判断疲劳程度的方法及装置。
背景技术
随着汽车的快速发展及普及化，交通安全愈发成为社会关注的问题。据统计，发生交通事故的多数原因是驾驶员的疲劳驾驶。目前，市场上存在一些通过检测驾驶员的疲劳程度，并在发现驾驶员在疲劳驾驶时，发出提示的方法和装置。这种方法和装置一般基于车辆行为来进行疲劳程度判断，如若车辆短时间多次打转则判断驾驶员正在疲劳驾驶。这种检测判断方法和装置具有滞后性，不能进行预防性地提醒。为了避免这个问题，有学者提出基于生理状态判断疲劳程度，如采用脑电图(EEG类)的神经生理学测量来确定驾驶员的疲劳程度。这种基于生理状态判断疲劳程度的方法和装置对驾驶员具有侵入性，会干扰驾驶员正常操作且不具有产业推广性。
因此，针对上述技术问题，有必要提供一种能够避免干扰驾驶员正常操作且易于进行产业推广的基于面部表情判断驾驶员疲劳程度的方法和装置。
发明内容
有鉴于此，本发明实施例的目的在于提供一种基于面部表情判断驾驶员疲劳程度的方法和装置。本发明实施例提供的基于面部表情判断驾驶员疲劳程度的方法通过图像采集设备获取驾驶员的面部图像，通过预设的算法识别面部表情，将面部表情与预设疲劳程度标准进行比对来判断驾驶员的疲劳程度。进一步地，当判断出驾驶员的疲劳程度符合疲劳时，发出疲劳驾驶的提示。
为了实现上述目的，本发明一实施例提供的技术方案如下：一种基于面部表情判断驾驶员疲劳程度的方法，包括步骤S1:基于面部图像，进行面部识别而获得人脸轮廓区域，并且预测下一帧图像中面部区域的位置；所述面部图像通过近红外摄像机获取；步骤S2：将所述人脸轮廓区域划分为上部区域和下部区域，在所述上部区域检测出眼部区域，在所述下部区域检测出嘴部区域；步骤S3：基于所述眼部区域和嘴部区域，构建眼部与嘴部的几何关系，以确认嘴部区域和眼部区域的真实性：分别定义区域和宽高比，作为模糊推理的评估参数；将所述眼部区域与预设上部约束条件进行比对，获取一对瞳孔间距中心点的位置信息；将所述嘴部区域进行多次测试，获取嘴部质心位置信息及确认嘴部区域和眼部区域的真实性；步骤S4：分析眼部区域和嘴部区域，判断驾驶员的疲劳程度：采用第一模糊推理算法，将眼部区域与上部区域的面积比例标准化眼睛张开度，将嘴部区域与下部区域的面积比例标准化嘴部张开度；基于所述第一模糊推理中的眼部张开度和嘴部张开度进行第二模糊推理，获得驾驶员疲劳程度值。
作为本发明的进一步改进，步骤S3中所述嘴部区域包括第一次测试和第二次测试，所述第一次采用椭圆偏心率分析，若偏心率接近1则进行所述第二次测试，否则返回步骤S2；所述第二次测试检测嘴部质心与瞳孔间距中心点之间的角度，若角度符合预设角度范围则进行步骤S4,否则返回步骤S2。
作为本发明的进一步改进，所述嘴部质心与瞳孔间距中心点之间的角度为嘴部质心与瞳孔间距中心点的连线与瞳孔之间连线之间的角度。
作为本发明的进一步改进，所述面部图像的视角为驾驶员的正面视角。
作为本发明的进一步改进，在步骤S1中若面部识别未发现人脸轮廓，则丢弃所述面部图像的帧。
作为本发明的进一步改进，所述第二模糊推理包括步骤S41:输入值模糊化：定义眼部状态范围[0,100]，定义模糊语言值“A1＝开，A2＝半开，A3＝关”，定义三角形隶属函数NM(a)；定义嘴部状态范围[0,100]，定义模糊语言值“B1＝开，B2＝半开，B3＝关”，定义三角形隶属函数NM(b)；定义疲劳范围[0,100], 定义模糊语言值“C1＝开，C2＝半开，C3＝关”，定义梯形隶属函数NM(c)。步骤 S42：汇总各规则的并行结果：采用三角形隶属函数NM(a)对实测的眼部状态数值进行模糊推理单值化，获得对应的U2；采用三角形隶属函数NM(b)对实测的嘴部状态数值进行模糊单值化，获得对应的U3；步骤S43：将模糊答案转变成清晰值：基于离散论域，采用公式1分别获得眼部清晰值和嘴部清晰值，采用公式2综合眼部清晰值和嘴部清晰值而获得驾驶员疲劳程度值：
Figure RE-GDA0002658801270000031
其中，y*为清晰值，
Figure RE-GDA0002658801270000032
为yi(模糊集中心),
Figure RE-GDA0002658801270000033
就是隶属度U2或U3；
Figure RE-GDA0002658801270000034
其中，Y为驾驶员疲劳程度值，y1为眼部清晰值，y2为嘴部清晰值。
作为本发明的进一步改进，若步骤S4计算的过程中未判断出驾驶员打呵欠状态且眼睛半睁或未判断出驾驶员打呵欠状态且眼睛闭状态，则可在视频帧中跳跃预设数量的面部图像帧进行下一轮的判断驾驶员疲劳程度。
作为本发明的进一步改进，所述跳跃预设数量小于等于5的整数。
本发明还提供一种基于面部表情判断驾驶员疲劳程度的装置，所述装置算法处理模块，所述算法处理模块采用权利要求上诉任意一种基于面部表情判断驾驶员疲劳程度的方法而获得驾驶员疲劳程度值。
作为本发明的进一步改进，所述装置还包括提示模块，当所获得的驾驶员疲劳程度值大于预设值时，提醒装置发出疲劳驾驶提示；或者，当连续若干面部图像帧所获得的驾驶员疲劳程度值都大于预设值时，提醒装置发出疲劳驾驶提示。
本发明具有以下优点：
本发明实施例提供的基于面部表情判断驾驶员疲劳程度的方法通过图像采集设备获取驾驶员的面部图像，通过预设的算法识别面部表情，将面部表情与预设疲劳程度标准进行比对来判断驾驶员的疲劳程度。进一步地，当判断出驾驶员的疲劳程度符合疲劳时，发出疲劳驾驶的提示。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的面部表情判断驾驶员疲劳程度的方法的流程示意图；
图2为将人脸轮廓区域划分为上部区域和下部区域的示意图；
图3为眼部宽高比的示意图；
图4为嘴部宽高比的示意图；
图5为嘴部与眼部的几何质心角的示几何意图；
图6为本发明实施例中模糊单值化的过程示意图；
图7为NM(a)、NM(b)、NM(c)的定义的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
如图1所示，一种基于面部表情判断驾驶员疲劳程度的流程示意图。在该实施例中，一种基于面部表情判断驾驶员疲劳程度的方法，包括四个步骤，每个步骤的详细内容如下所述。
步骤S1:基于面部图像，进行面部识别而获得人脸轮廓区域，并且预测下一帧图像中面部区域的位置；其中，所述面部图像通过近红外摄像机获取。由于近红外摄像机所拍摄的图像可以突出驾驶员的面部特征，减少环境光的影响，便于瞳孔和嘴部的检测。进一步地，近红外摄像机自身可以产生明暗瞳孔效应。
驾驶员的面部图像数据是在实际驾驶场景中收集的。所述面部图像的视角为驾驶员的正面视角。
这种采用近红外摄像机获取面部图像数据的方式对驾驶员正常操作无干扰，从而形成了非侵入式疲劳检测系统的基础。若面部识别未发现人脸轮廓，则丢弃所述面部图像的帧。
采用人脸检测算法快速地识别检测驾驶员面部的同时，估计下一次时间帧中驾驶员面部目标的位置。预测搜索区域的大小，下一次时间帧就在搜索区域寻找人脸的位置，以确保找到具有一定可信度的人脸。人脸检测算法可得到一组人脸所在区域的边框。
步骤S2：如图2所示，将所述人脸轮廓区域划分为上部区域和下部区域。在所述上部区域检测出眼部区域，在所述下部区域检测出嘴部区域。人脸识别检测(或称面部识别)的任务是作为一个预处理步骤来缩小瞳孔和嘴部的搜索范围。如果在一图像帧中没有检测到人脸，则无需花费时间进行瞳孔和嘴部的检测；如果在一图像帧中成功的检测到人脸，在人脸检测窗口上部进行瞳孔状态检测，在人脸检测窗口下部分通过SFCM聚类对嘴部进行搜索。
对于驾驶员面部疲劳而言，眼部的权重较大，所以，首先将检测的重点放在眼睛上。由于眼部位于人脸的上部，因此将面部图像的人脸轮廓区域裁剪为上下两部，只在面部区域的上半部分搜索眼部，有效地提高了检测的实时性。在检测到瞳孔后，为了检测到驾驶员是否打哈欠，需要从人脸窗口提取嘴部区域。因此，在检测到的面部区域的下半部分搜索嘴部，提高疲劳检测的判别速度。
步骤S3：基于所述眼部区域和嘴部区域，构建眼部与嘴部的几何关系，以确认嘴部区域和眼部区域的真实性。分别定义区域和宽高比，作为模糊推理的评估参数；将所述眼部区域与预设上部约束条件进行比对，获取一对瞳孔间距中心点的位置信息；将所述嘴部区域进行多次测试，获取嘴部质心位置信息及确认嘴部区域和眼部区域的真实性。
在成功检测到眼部和嘴部的特征后，计算两个重要的参数来确定驾驶员的眼部和嘴部的状态。这两个参数分别是：区域和宽高比。区域(也称面积区域)定义为在每个眼部区域和嘴巴区域中所找到的像素的总数；宽高比定义为如
Figure RE-GDA0002658801270000061
其中，w分别表示检测到的眼部区域宽度或嘴部区域宽度， h分别表示检测到的眼部区域高度或嘴部区域的高度。眼部宽高比的示意图如图3所示，嘴部宽高比的示意图如图4所示。
在驾驶员面部上半部区域中搜索两个符合已设几何约束的亮斑来检测瞳孔。找出满足已设大小和形状约束的二进制模糊斑点。检查的大小和形状约束包括半径、瞳孔间距和瞳孔之间的角度。根据其半径大小、亮斑强度、位置和距离选择最佳候选域，所有可能的配对都会被识别评估，选则可能性最高的一对作为瞳孔。
为了实时检测驾驶员的疲劳状态，在确定眼部位置后，利用两个卡尔曼滤波器(每个瞳孔一个)，在接下来几帧人脸图像中连续跟踪瞳孔，估计下一段时间帧中驾驶员人脸的位置和不确定性，即瞳孔定位的位置和下一帧中应搜索的区域的范围，以确定瞳孔的真实位置。在预测的位置附近，瞳孔被发现的可能性很高。
将检测到嘴部进行两次测试，以保证检测到嘴部的真实状态：
a.第一个测试是基于偏心率分析。因为嘴部区域类似一个椭球体，所以嘴部的椭圆度接近1。因此，对检测区域的偏心率进行检查，如果接近1，则进行第二次测试；否则，返回步骤S2；
b.若面部图像的视角为驾驶员面部的正视角，则嘴部区域的质心应垂直于两瞳孔间距离的中心点。第二次测试检测嘴部区域的质心与瞳孔间质心的特定角度范围。嘴部质心与瞳孔间距中心点之间的角度为嘴部质心与瞳孔间距中心点的连线与瞳孔之间连线之间的角度。如图5所示，嘴部与眼部的几何质心角的示几何意图。根据半径、瞳孔间距和瞳孔夹角计算出瞳孔的位置及其质心，通过两次检测试验的质心点可以真实代表唇部区域。若角度符合预设角度范围则进行步骤S4,否则返回步骤S2。
步骤S4：分析眼部区域和嘴部区域，判断驾驶员的疲劳程度：采用第一模糊推理算法，将眼部区域与上部区域的面积比例标准化眼睛张开度，将嘴部区域与下部区域的面积比例标准化嘴部张开度；基于所述第一模糊推理中的眼部张开度和嘴部张开度进行第二模糊推理，获得驾驶员疲劳程度值。
其中，第二模糊推理的包括三个步骤：
步骤S41:输入值模糊化：定义眼部状态范围[0,100]，定义模糊语言值“A1＝开，A2＝半开，A3＝关”，定义三角形隶属函数NM(a)；定义嘴部状态范围 [0,100]，定义模糊语言值“B1＝开，B2＝半开，B3＝关”，定义三角形隶属函数 NM(b)；定义疲劳范围[0,100],定义模糊语言值“C1＝开，C2＝半开，C3＝关”，定义梯形隶属函数NM(c)。其中，NM(a)、NM(b)、NM(c)的定义分别如图7所示。
步骤S42：汇总各规则的并行结果：采用三角形隶属函数NM(a)对实测的眼部状态数值进行模糊推理单值化，获得对应的U2；采用三角形隶属函数 NM(b)对实测的嘴部状态数值进行模糊单值化，获得对应的U3。
宽高比w/h的比值范围为[0,1]。在该实施例中，由于隶属度为小数，所以将宽高比以百分比的形式表示，范围对应地定为[0，100]。
其中，以眼部宽高比的比率为55为具体实施例，阐述该模糊单值化的过程如图6所示，最终U2＝0.5,U3＝0.2。
步骤S43：将模糊答案转变成清晰值：基于离散论域，采用公式1分别获得眼部清晰值和嘴部清晰值，采用公式2综合眼部清晰值和嘴部清晰值而获得驾驶员疲劳程度值：
Figure RE-GDA0002658801270000081
其中，y*为清晰值，
Figure RE-GDA0002658801270000082
为yi(模糊集中心),
Figure RE-GDA0002658801270000083
就是隶属度U2或U3；
Figure RE-GDA0002658801270000084
其中，Y为驾驶员疲劳程度值，y1为眼部清晰值，y2为嘴部清晰值。
继续以上述眼部宽高比的比率为55为具体实施例，驾驶员疲劳状态的清晰值为Y＝(50*0.5+85*0.2)/(0.5+0.2)＝67.85。
在本发明实施例中，疲劳程度值大于等于50且小于75被定义为重度疲劳，大于等于75被定义为重度疲劳。因此，在该具体数值67.85为中度疲劳。
若步骤S4计算的过程中未判断出驾驶员打呵欠状态且眼睛半睁或未判断出驾驶员打呵欠状态且眼睛闭状态，则可在视频帧中跳跃预设数量的面部图像帧进行下一轮的判断驾驶员疲劳程度。预设数量需要在判断准确率及计算量之间综合评估。在该实施例中，预设数量为小于等于5的整数，如3、4、5 等。
本发明实施例将嘴部哈欠程度与眼睛睁闭状态分析相结合，更有利于正确地预测驾驶员的状态；进一步地，本发明实施例的判断疲劳程度的方法，不仅考虑了判断的正确性，还考虑了判断的实时性(即判断时长的减小)。
本发明还提供一种基于面部表情判断驾驶员疲劳程度的装置，所述装置算法处理模块，所述算法处理模块采用权利要求上诉任意一种基于面部表情判断驾驶员疲劳程度的方法而获得驾驶员疲劳程度值。进一步地，所述装置还包括提示模块，当所获得的驾驶员疲劳程度值大于预设值时，提醒装置发出疲劳驾驶提示；或者，当连续若干面部图像帧所获得的驾驶员疲劳程度值都大于预设值时，提醒装置发出疲劳驾驶提示。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种基于面部表情判断驾驶员疲劳程度的方法，其特征在于，所述方法包括：
步骤S1:基于面部图像，进行面部识别而获得人脸轮廓区域，并且预测下一帧图像中面部区域的位置；所述面部图像通过近红外摄像机获取；
步骤S2：将所述人脸轮廓区域划分为上部区域和下部区域，在所述上部区域检测出眼部区域，在所述下部区域检测出嘴部区域；
步骤S3：基于所述眼部区域和嘴部区域，构建眼部与嘴部的几何关系，以确认嘴部区域和眼部区域的真实性：分别定义区域和宽高比，作为模糊推理的评估参数；将所述眼部区域与预设上部约束条件进行比对，获取一对瞳孔间距中心点的位置信息；将所述嘴部区域进行多次测试，获取嘴部质心位置信息及确认嘴部区域和眼部区域的真实性；
步骤S4：分析眼部区域和嘴部区域，判断驾驶员的疲劳程度：采用第一模糊推理算法，将眼部区域与上部区域的面积比例标准化眼睛张开度，将嘴部区域与下部区域的面积比例标准化嘴部张开度；基于所述第一模糊推理中的眼部张开度和嘴部张开度进行第二模糊推理，获得驾驶员疲劳程度值。
2.根据权利要求1所述的一种基于面部表情判断驾驶员疲劳程度的方法，其特征在于，步骤S3中所述嘴部区域包括第一次测试和第二次测试，所述第一次采用椭圆偏心率分析，若偏心率接近1则进行所述第二次测试，否则返回步骤S2；所述第二次测试检测嘴部质心与瞳孔间距中心点之间的角度，若角度符合预设角度范围则进行步骤S4,否则返回步骤S2。
3.根据权利要求2所述的一种基于面部表情判断驾驶员疲劳程度的方法，其特征在于，所述嘴部质心与瞳孔间距中心点之间的角度为嘴部质心与瞳孔间距中心点的连线与瞳孔之间连线之间的角度。
4.根据权利要求1所述的一种基于面部表情判断驾驶员疲劳程度的方法，其特征在于，所述面部图像的视角为驾驶员的正面视角。
5.根据权利要求1所述的一种基于面部表情判断驾驶员疲劳程度的方法，其特征在于，在步骤S1中若面部识别未发现人脸轮廓，则丢弃所述面部图像的帧。
6.根据权利要求1所述的一种基于面部表情判断驾驶员疲劳程度的方法，其特征在于，所述第二模糊推理包括
步骤S41:输入值模糊化：定义眼部状态范围[0,100]，定义模糊语言值“A1＝开，A2＝半开，A3＝关”，定义三角形隶属函数NM(a)；定义嘴部状态范围[0,100]，定义模糊语言值“B1＝开，B2＝半开，B3＝关”，定义三角形隶属函数NM(b)；定义疲劳范围[0,100],定义模糊语言值“C1＝开，C2＝半开，C3＝关”，定义梯形隶属函数NM(c)。
步骤S42：汇总各规则的并行结果：采用三角形隶属函数NM(a)对实测的眼部状态数值进行模糊推理单值化，获得对应的U2；采用三角形隶属函数NM(b)对实测的嘴部状态数值进行模糊单值化，获得对应的U3；
步骤S43：将模糊答案转变成清晰值：基于离散论域，采用公式1分别获得眼部清晰值和嘴部清晰值，采用公式2综合眼部清晰值和嘴部清晰值而获得驾驶员疲劳程度值：
Figure FDA0002612656930000021
其中，y*为清晰值，
Figure FDA0002612656930000022
为yi(模糊集中心),
Figure FDA0002612656930000023
(y)就是隶属度U2或U3；
Figure FDA0002612656930000024
其中，Y为驾驶员疲劳程度值，y1为眼部清晰值，y2为嘴部清晰值。
7.根据权利要求1所述的一种基于面部表情判断驾驶员疲劳程度的方法，其特征在于，若步骤S4计算的过程中未判断出驾驶员打呵欠状态且眼睛半睁或未判断出驾驶员打呵欠状态且眼睛闭状态，则可在视频帧中跳跃预设数量的面部图像帧进行下一轮的判断驾驶员疲劳程度。
8.根据权利要求7所述的一种基于面部表情判断驾驶员疲劳程度的方法，其特征在于，所述跳跃预设数量小于等于5的整数。
9.一种基于面部表情判断驾驶员疲劳程度的装置，其特征在于，所述装置算法处理模块，所述算法处理模块采用权利要求1至8中任意一种基于面部表情判断驾驶员疲劳程度的方法而获得驾驶员疲劳程度值。
10.根据权利要求9所述的一种基于面部表情判断驾驶员疲劳程度的装置，其特征在于，所述装置还包括提示模块，当所获得的驾驶员疲劳程度值大于预设值时，提醒装置发出疲劳驾驶提示；或者，当连续若干面部图像帧所获得的驾驶员疲劳程度值都大于预设值时，提醒装置发出疲劳驾驶提示。
CN202010759454.2A 2020-07-31 2020-07-31 一种基于面部表情判断疲劳程度的方法及装置 Pending CN111860437A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010759454.2A CN111860437A (zh) 2020-07-31 2020-07-31 一种基于面部表情判断疲劳程度的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010759454.2A CN111860437A (zh) 2020-07-31 2020-07-31 一种基于面部表情判断疲劳程度的方法及装置

Publications (1)

Publication Number Publication Date
CN111860437A true CN111860437A (zh) 2020-10-30

Family

ID=72953938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010759454.2A Pending CN111860437A (zh) 2020-07-31 2020-07-31 一种基于面部表情判断疲劳程度的方法及装置

Country Status (1)

Country Link
CN (1) CN111860437A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516015A (zh) * 2021-04-15 2021-10-19 广东工业大学 情绪识别方法、辅助驾驶装置以及应用
CN117576668A (zh) * 2024-01-17 2024-02-20 江西科技学院 基于视频帧的多特征感知驾驶疲劳状态检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229245A (zh) * 2016-12-14 2018-06-29 贵港市瑞成科技有限公司 基于面部视频特征的疲劳驾驶检测方法
CN110503066A (zh) * 2019-08-28 2019-11-26 苏州洋紫瑞信息科技有限公司 基于神经网络的车载疲劳监测系统、方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229245A (zh) * 2016-12-14 2018-06-29 贵港市瑞成科技有限公司 基于面部视频特征的疲劳驾驶检测方法
CN110503066A (zh) * 2019-08-28 2019-11-26 苏州洋紫瑞信息科技有限公司 基于神经网络的车载疲劳监测系统、方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAYYABA AZIM ET AL.: "Fully automated real time fatigue detection of drivers through FuzzyExpert Systems", 《APPLIED SOFT COMPUTING》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516015A (zh) * 2021-04-15 2021-10-19 广东工业大学 情绪识别方法、辅助驾驶装置以及应用
CN113516015B (zh) * 2021-04-15 2023-12-05 广东工业大学 情绪识别方法、辅助驾驶装置以及应用
CN117576668A (zh) * 2024-01-17 2024-02-20 江西科技学院 基于视频帧的多特征感知驾驶疲劳状态检测方法及系统
CN117576668B (zh) * 2024-01-17 2024-04-05 江西科技学院 基于视频帧的多特征感知驾驶疲劳状态检测方法及系统

Similar Documents

Publication Publication Date Title
Soltani et al. A new expert system based on fuzzy logic and image processing algorithms for early glaucoma diagnosis
Azim et al. Fully automated real time fatigue detection of drivers through fuzzy expert systems
Flores et al. Real-time warning system for driver drowsiness detection using visual information
Ji et al. Fatigue state detection based on multi-index fusion and state recognition network
Alioua et al. Driver’s fatigue detection based on yawning extraction
EP1589485B1 (en) Object tracking and eye state identification method
Mohanty et al. Design of real-time drowsiness detection system using dlib
KR102313143B1 (ko) 딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법
CN109697716B (zh) 青光眼图像识别方法、设备和筛查系统
Tang et al. Real-time image-based driver fatigue detection and monitoring system for monitoring driver vigilance
Usman et al. Intelligent automated detection of microaneurysms in fundus images using feature-set tuning
CN111860437A (zh) 一种基于面部表情判断疲劳程度的方法及装置
Al Redhaei et al. Realtime driver drowsiness detection using machine learning
WO2014158345A1 (en) Methods and systems for vessel bifurcation detection
Niu et al. Driver fatigue features extraction
Ortega et al. User-adaptive Eyelid Aperture Estimation for Blink Detection in Driver Monitoring Systems.
AlKishri et al. Enhanced image processing and fuzzy logic approach for optimizing driver drowsiness detection
Turki et al. A sophisticated Drowsiness Detection System via Deep Transfer Learning for real time scenarios
Mankar et al. Automatic detection of diabetic retinopathy using morphological operation and machine learning
Gullapalli et al. In the blink of an eye: Quantitative blink dynamics predict deceptive personality traits in forensic interviews
Tarba et al. The driver's attention level
Dachuan et al. Driver Fatigue Detection Control System
Lollett et al. Driver’s drowsiness classifier using a single-camera robust to mask-wearing situations using an eyelid, lower-face contour, and chest movement feature vector gru-based model
Vinoth et al. A drowsiness detection using smart sensors during driving and smart message alert system to avoid accidents
Joshi et al. Eye state and head position technique for driver drowsiness detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination