CN107303907A - 用于确定驾驶者的睡意的装置和方法 - Google Patents

用于确定驾驶者的睡意的装置和方法 Download PDF

Info

Publication number
CN107303907A
CN107303907A CN201610935155.3A CN201610935155A CN107303907A CN 107303907 A CN107303907 A CN 107303907A CN 201610935155 A CN201610935155 A CN 201610935155A CN 107303907 A CN107303907 A CN 107303907A
Authority
CN
China
Prior art keywords
driver
state
vehicle
time interval
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610935155.3A
Other languages
English (en)
Other versions
CN107303907B (zh
Inventor
金三龙
李秉俊
柳成淑
金镇权
郑镐铁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Original Assignee
Hyundai Motor Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co filed Critical Hyundai Motor Co
Publication of CN107303907A publication Critical patent/CN107303907A/zh
Application granted granted Critical
Publication of CN107303907B publication Critical patent/CN107303907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及用于确定驾驶者的睡意的装置和方法。该装置包括获得驾驶者的图像的成像设备，和(例如，基于驾驶者的图像)确定驾驶者是否处于疲劳状态、驾驶者是否处于眼睑闭合状态以及驾驶者是否处于觉醒状态的控制器。当在驾驶者的疲劳状态持续经过预定的第一时间间隔之后，在预定的第二时间间隔内交替且重复地发生驾驶者的眼睑闭合状态和觉醒状态时，控制器进一步确定驾驶者处于睡意状态。

Description

用于确定驾驶者的睡意的装置和方法
技术领域
本公开涉及用于确定驾驶者的睡意的装置和方法，并且更具体地，涉及获得驾驶者的图像并基于驾驶者的图像来确定驾驶者的睡意的装置和方法。
背景技术
目前，车辆运输方法包括使人们能够自由行驶的两轮摩托车、火车、船舶、飞机等。然而，在车辆行驶时，可能发生由于睡意驾驶而导致的严重损伤和财产损害。因此，已经研究了用于防止驾驶者的睡意的各种方法。
特别地，当驾驶者的连续眼睑闭合时间大于第一阈值(dTH)时，进入早期警告模式，并且保持早期警告直到驾驶者的连续眼睑闭合时间小于1dTH(其小于第一阈值(dTH))为止，以警告驾驶者睡意驾驶。然而，当基于连续眼睑闭合时间的阈值输出关于睡意驾驶的警告时，阈值被设定得高以防止误检测。因此，发生未检测到睡意驾驶和警告延迟。
此外，当获得驾驶者的眼睛图像时，未观察到的眼睛的瞳孔被确定为闭眼。因此，当检测到闭眼持续一定阈值时间段时，确定驾驶者处于睡意状态。然而，由于环境光的干扰、玻璃的反射等，从通过拍摄驾驶者而获得的红外图像中获得瞳孔图像可能是困难的，并且基于连续眼睑闭合时间来确定睡意可能是困难的。
在本部分中公开的以上信息仅用于增强对本发明的背景的理解，并且因此其可以包含不形成在本国对于本领域的普通技术人员而言已知的现有技术的信息。
发明内容
本公开提供了用于在最小时间间隔内在车辆行驶的状态下确定驾驶者的睡意的装置和方法。此外，本公开的方面提供了用于确定驾驶者的睡意的装置和方法，其能够减少由集仪表群音频视频导航(AVN)操作引起的睡意驾驶的误识别。
根据本公开的示例性实施例，一种用于确定驾驶者的睡意的装置可以包括：成像设备，被配置为获得驾驶者的图像(例如，面部或其它识别特征)；和控制器，被配置为：从驾驶者的图像确定驾驶者是否处于疲劳状态、驾驶者是否处于眼睑闭合状态以及驾驶者是否处于觉醒状态，并且被配置为：当在驾驶者的疲劳状态持续经过预定的第一时间间隔之后，在预定的第二时间间隔内交替且重复地发生驾驶者的眼睑闭合状态和觉醒状态时，确定驾驶者处于睡意状态。所述控制器可以被配置为：基于以下中的至少一个来确定驾驶者是否处于疲劳状态：在预定的第三时间间隔期间驾驶者的眼睑闭合的百分比是否超过预设百分比；和在预定的第四时间间隔内驾驶者的面部运动是否在预定的范围内。
该装置可以还包括：车辆行驶状态获得器，被配置为：确定由驾驶者驾驶的车辆的行驶状态，其中，所述控制器可以被配置为：根据车辆的行驶状态，基于以下中的至少一个来确定驾驶者是否处于疲劳状态：车辆是否偏离行驶车道；和车辆是否以Z字形方向行驶。所述控制器可以被配置为：基于以下中的至少一个来确定驾驶者是否处于觉醒状态：在预定的第五时间间隔内，是否发生驾驶者的眨眼；和驾驶者的面部运动超过预设程度。
根据本公开的另一示例性实施例，一种用于确定驾驶者的睡意的方法可以包括以下步骤：由成像设备获得驾驶者的图像；由控制器从该图像确定驾驶者是否处于疲劳状态、驾驶者是否处于眼睑闭合状态以及驾驶者是否处于觉醒状态；以及当在驾驶者的疲劳状态持续经过预定的第一时间间隔之后，在预定的第二时间间隔内交替且重复地发生驾驶者的眼睑闭合状态和觉醒状态时，由所述控制器确定驾驶者处于睡意状态。基于以下中的至少一个来确定驾驶者是否处于疲劳状态：驾驶者的眼睑闭合时间是否超过预定的第三时间间隔；和在预定的第四时间间隔期间，驾驶者的面部运动在预定范围内。
该方法可以还包括以下步骤：检测驾驶者驾驶的车辆的行驶状态，其中，可以根据车辆的行驶状态，基于以下中的至少一个来确定驾驶者是否处于疲劳状态：车辆偏离行驶车道；和车辆以Z字形方向行驶。可以基于以下中的至少一个来确定驾驶者是否处于觉醒状态：在预定的第五时间间隔内，是否发生驾驶者的眨眼；和驾驶者的面部运动是否超过预设程度。
附图说明
从以下结合附图的详细描述，本公开的以上和其它目的、特征和优点将更加明显。
图1是根据本公开的示例性实施例的确定驾驶者的睡意的装置的示例性框图；
图2是示出根据本公开的示例性实施例的用于确定驾驶者何时处于疲劳状态的驾驶者的面部运动的示例性曲线图；
图3是示出根据本公开的示例性实施例的用于确定驾驶者的睡意的图案的示例性图；
图4是示出根据本公开的示例性实施例的用于确定驾驶者的睡意的方法的示例性流程图；以及
图5是示出根据本公开的示例性实施例的执行用于确定驾驶者的睡意的方法的计算系统的示例性框图。
附图中每个元件的符号
100：成像设备
200：车辆行驶状态获得器
300：控制器
1000：计算系统
1100：处理器
1200：系统总线
1300：存储器
1310：ROM
1320：RAM
1400：用户接口输入设备
1500：用户接口输出设备
1600：存储
1700：网络接口
具体实施方式
在下文中，将参照说明性附图详细描述本公开的一些示例性实施例。应当注意，在给每个附图的部件赋予参考标记中，相同的部件将由相同的参考标记表示，即使它们在不同的附图中示出。此外，在描述本公开的示例性实施例中，在其中它们可以不必要地模糊本公开的示例性实施例的理解的情况下，将不详细描述公知的结构或功能。
在描述本公开的示例性实施例的部件中，可以使用诸如第一、第二、A、B、(a)、(b)等的术语。这些术语仅用于区分部件与其它部件。因此，对应部件的性质、次序、顺序等不受这些术语的限制。此外，除非另有定义，否则应当理解，在包括技术和科学术语的说明书中使用的所有术语具有与由本公开所属领域的技术人员所理解的那些相同的含义。应该理解，由字典定义的术语与相关技术的上下文中的含义相同，并且除非在本申请中另有明确定义，否则它们不应理想地或过度正式地解释。
此外，在包含由处理器、控制器/控制单元等执行的可执行程序指令的计算机可读介质上，本发明的控制逻辑可以被实施为非临时性计算机可读介质。计算机可读介质的示例包括但不限于ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存、智能卡和光学数据存储装置。计算机可读记录介质也可以分布在网络联接的计算机系统中，以便计算机可读介质以分布方式例如被远程信息服务器或控制器局域网络(CAN)来存储和执行。
除非上下文具体陈述或显而易见的，否则如本文所用，术语“大约”理解为在本领域中正常公差的范围内，例如在平均值的2个标准差内。“大约”可以理解为在陈述值的10％、9％、8％、7％、6％、5％、4％、3％、2％、1％、0.5％、0.1％、0.05％或0.01％内。除非上下文另外明确，否则本文所提供的所有数值都由术语“大约”修改。
应该理解，术语“车辆”或“车辆的”或如本文所用的其它类似术语一般包括机动车辆，诸如包括运动型多用途汽车(SUV)的乘用车、公共汽车、卡车、各种商业车辆、包括各种船只和船舶的水运工具、飞行器等，并且包括混合动力车辆、电动车辆、燃烧、插入式混合动力电动车辆、氢动力车辆，以及其它代用燃料车辆(例如，得自除石油之外的资源的燃料)。
图1是根据本公开的示例性实施例的用于确定驾驶者的睡意的装置的示例性框图。图2是示出根据本公开的示例性实施例的用于确定驾驶者何时处于疲劳状态的驾驶者的面部运动的示例性曲线图。图3是示出根据本公开的示例性实施例的用于确定驾驶者的睡意的图案(pattern)的示例性图。
首先，参考图1，用于确定驾驶者的睡意的装置可以包括成像设备100(例如，照相机、摄像机等)、车辆行驶状态获得器200和控制器300。控制器可以被配置为操作成像设备100和行驶状态获得器200。然而，图1中所示的部件不是必要部件。因此，用于确定驾驶者的睡意的部件多于或少于图1所示的部件的装置也可以实现。成像设备100可以被配置为获得驾驶者的图像(例如，面部识别)。成像设备100可以是被配置为拍摄车辆内驾驶者的面部(或其一部分)的照相机，并且还可以是被配置为从照相机获得图像的图像接收器。此外，车辆行驶状态获得器200可以被配置为获得驾驶者驾驶的车辆的行驶状态。车辆行驶状态获得器200可以获得包括但不限于以下的信息：车辆的行驶方向、车辆的行驶速度、车辆与前方车辆之间的距离、车辆是否偏离行驶车道(例如，车辆违反道路的车道)等。
此外，控制器300可以被配置为确定驾驶者的睡意状态，可以基于由成像设备100获得的驾驶者的图像和由车辆行驶状态获得器200获得的车辆的行驶状态来确定驾驶者是否处于疲劳状态、驾驶者是否处于眼睑闭合状态以及驾驶者是否处于觉醒状态。因此，控制器可以被配置为基于驾驶者是否处于疲劳状态、驾驶者是否处于眼睑闭合状态以及驾驶者是否处于觉醒状态来确定驾驶者是否处于睡意状态。
为了确定驾驶者是否处于疲劳状态，控制器300可以考虑驾驶者在预定时间期间的眼睛闭合的百分比(PERCLOS)是否超过一定百分比、在预定时间内的驾驶者的面部运动是否处于预定范围内、车辆是否行驶在行驶车道内、车辆是否以Z字形图案行驶等。例如，当一定百分比被设定为约10％，并且在60秒期间驾驶者的眼睛闭合的时间例如为约6秒以上时，控制器300可以被配置为确定驾驶者处于疲劳状态。
另外，参考图2，驾驶者的面部运动保持在约1秒以上到约5秒的范围内的区间不存在多达约2秒。然而，在从约2秒到约3秒的区间，驾驶者的面部运动可以保持在约1秒以上到约5秒的范围内。特别地，当驾驶者的面部运动相对于一定时间间隔最小时，控制器300可以被配置为确定驾驶者处于疲劳状态。此外，根据车辆的行驶状态，当车辆行驶连续地改变车道或偏离行驶车道(例如，没有保持在行驶车道内)时，或者当车辆以Z字形图案行驶时，控制器300可以被配置为确定驾驶者处于疲劳状态。由控制器300确定驾驶者是否处于疲劳状态的方法可以是所示方法的组合，并且不限于所示方法。
控制器300可以被配置为通过基于驾驶者的图像识别驾驶者的眼睑是否闭合来确定驾驶者是否处于眼睑闭合状态。此外，为了确定驾驶者是否处于觉醒状态，控制器300可以被配置为确定驾驶者的眨眼是否是正常眨眼，或者驾驶者的面部运动是否超过一定程度。例如，正常眨眼可以包括当驾驶者不处于睡意状态时的眨眼，并且可以包括在一定时间间隔内执行的眨眼。特别地，当驾驶者处于睡意状态眨眼时，在一次眨眼内驾驶者的眼睛闭合的时间间隔是比正常眨眼更长的持续时间。
控制器300可以被配置为基于正常眨眼的发生来确定驾驶者处于觉醒状态。另外，驾驶者的面部运动可以包括驾驶者的面部所指向的方向的改变或面部的位置的改变。当驾驶者的面部运动超过一定程度时，控制器300可以被配置为确定驾驶者处于觉醒状态。由控制器300确定驾驶者是否处于觉醒状态的方法可以是所示方法的组合，并且不限于所示方法。
换句话说，基于如上述所确定的驾驶者是否处于疲劳状态、驾驶者是否处于眼睑闭合状态以及驾驶者是否处于觉醒状态，在驾驶者的疲劳状态持续第一时间间隔以上之后，在第二时间范围内交替且重复地发生驾驶者在第三时间范围期间的眼睑闭合状态和觉醒状态的情况下，控制器300可以被配置为确定驾驶者处于睡意状态。
例如，将参照图3所示的控制器300可以被配置为确定驾驶者的睡意状态的图案作为示例描述当第一时间设定为约5秒，第二时间设定为约4秒，并且第三时间范围可以设定为约0.5秒以上到约1.5秒以下时的情况。疲劳状态持续的时间间隔可以是约7秒，持续超过作为第一时间间隔的约5秒。此后，在约1秒期间(其在第三时间间隔内)可以发生驾驶者的眼睑闭合状态。此外，在发生眼睑闭合状态之后，发生觉醒状态，并且再次发生眼睑闭合状态持续约1秒之后，发生觉醒状态。换句话说，眼睑闭合状态和觉醒状态可以交替且重复地发生。特别地，可以在约7秒和约10秒之间交替且重复地发生眼睑闭合状态和觉醒状态，由此在作为第二时间间隔的约4秒内发生。因此，当发生疲劳状态、发生驾驶者的眼睑闭合状态和觉醒状态时，控制器300可以被配置为确定驾驶者处于睡意状态。
在下文中，将基于上述配置参照图4详细描述用于判断驾驶者的睡意的方法。图4是示出根据本公开的示例性实施例的用于确定驾驶者的睡意的方法的示例性流程图。参考图4，根据本公开的示例性实施例的用于确定驾驶者的睡意的方法可以包括获得驾驶者的图像S100，从驾驶者的图像确定驾驶者是否处于疲劳状态、驾驶者是否处于眼睑闭合状态以及驾驶者是否处于觉醒状态S200，并且当在驾驶者的疲劳状态持续预定的第一时间间隔之后，在预定的第二时间间隔内交替且重复地发生驾驶者的眼睑闭合状态和觉醒状态时，确定驾驶者处于睡意状态S300。
成像设备100可以被配置为获得驾驶者的图像(例如，面部图像)S100。成像设备100可以被配置为通过拍摄驾驶者的面部(例如，或其一部分)来获得驾驶者的图像，并且还可以从作为图像接收器的照相机获得图像。此外，根据本公开的示例性实施例的车辆行驶状态获得器200可以被配置为获得由驾驶者驾驶的车辆的行驶状态S200。车辆行驶状态获得器200可以获得包括车辆的行驶方向、车辆的行驶速度、车辆与前方车辆之间的距离、车辆是否违反道路的车道等的信息。可以使用安装在车辆内的各种传感器来检测各种行驶状态信息。
控制器300可以被配置为从驾驶者的图像确定驾驶者是否处于疲劳状态S200、驾驶者是否处于眼睑闭合状态以及驾驶者是否处于觉醒状态。控制器300可以使用与如下情况有关的信息来确定驾驶者是否处于疲劳状态：驾驶者在预定时间期间的眼睛闭合的百分比(PERCLOS)是否超过一定百分比、在预定时间上驾驶者的面部运动是否在预定范围内、车辆是否保持车道、车辆是否以Z字形图案行驶等。另外，控制器300可以被配置为通过基于驾驶者的图像识别驾驶者的眼睑是否闭合来确定驾驶者是否处于眼睑闭合状态。特别地，为了确定驾驶者是否处于觉醒状态，控制器300可以考虑驾驶者的眨眼是否是正常眨眼，或者驾驶者的面部运动是否超过一定程度。
在驾驶者的疲劳状态持续第一时间间隔以上之后，在第二时间内，交替且重复地发生驾驶者在第三时间范围内的眼睑闭合状态和觉醒状态S300。控制器300可以被配置为基于如上述所确定的驾驶者的疲劳状态、驾驶者是否处于眼睑闭合状态以及驾驶者是否处于觉醒状态来确定驾驶者处于睡意状态。控制器300还可以被配置为基于图3中所示的图案确定睡意状态，并且由于其详细方法已经在上面参照图3进行了描述，所以将省略。
图5是示出根据本公开的示例性实施例的执行用于确定驾驶者的睡意的方法的计算系统的示例性框图。参考图5，计算系统1000可以包括经由总线1200彼此连接的至少一个处理器1100、存储器(memory)1300、用户接口输入设备1400、用户接口输出设备1500、存储(storage)1600和网络接口1700。处理器1100可以是被配置为执行存储在存储器1300和/或存储1600中的指令的处理的中央处理单元(CPU)或半导体装置。存储器1300和存储1600可以包括各种类型的易失性或非易失性存储介质。例如，存储器1300可以包括只读存储器(ROM)和随机存取存储器(RAM)。
因此，在本说明书中公开的示例性实施例的上下文中描述的方法或算法中的步骤可以直接在由处理器1100执行的硬件、软件模块或它们的组合中实现。软件模块可以驻留在存储介质(即，存储器1300和/或存储1600)上，诸如随机存取存储器(RAM)存储器、闪存、只读存储器(ROM)存储器、可擦除可编程只读存储器(EPROM)存储器、电可擦除可编程只读存储器(EEPROM)存储器、寄存器、硬盘、可移动磁盘或光盘只读存储器(CD-ROM)。说明性存储介质可以耦合到处理器1100，并且处理器1100可以从存储介质读取信息并将信息写入存储介质。替换地，存储介质也可以与处理器1100集成。处理器和存储介质也可以驻留在专用集成电路(ASIC)内。ASIC也可以驻留在用户终端内。另选地，处理器和存储介质也可以作为单独部件驻留在用户终端内。
在如上所述的确定驾驶者的睡意的装置和方法中，上述示例性实施例的配置和方法不被限制性地应用。换句话说，各个示例性实施例中的全部或一些可以选择性地彼此组合，使得它们可以进行各种修改。如上所述，与当前的睡意确定方法相比，根据本公开的示例性实施例，可以在减少的持续时间内确定可以在车辆的操作期间可能发生的驾驶者的睡意。此外，可以减少当基于仪表群或音频视频导航(AVN)操作时可能发生的睡意的误识别。另外，通过本公开获得的效果不限于上述效果。特别地，本公开所属领域的技术人员从以下描述中可以明显地理解未提及的其它效果。
在上文中，虽然本公开已经参照示例性实施例和附图进行了描述，但本公开并不限于此，而是可以由本公开所属领域的技术人员进行各种修改和改变，而不脱离以下权利要求中所要求保护的本公开的精神和范围。

Claims (8)

1.一种用于确定驾驶者的睡意的装置，包括：
成像设备，被配置为：获得驾驶者的图像；和
控制器，被配置为：从驾驶者的图像确定驾驶者是否处于疲劳状态、驾驶者是否处于眼睑闭合状态以及驾驶者是否处于觉醒状态，
其中，所述控制器被配置为：当在驾驶者的疲劳状态持续经过预定的第一时间间隔之后，在预定的第二时间间隔内交替且重复地发生驾驶者的眼睑闭合状态和觉醒状态时，确定驾驶者处于睡意状态。
2.根据权利要求1所述的装置，其中，所述控制器被配置为：基于以下中的至少一个来确定驾驶者是否处于疲劳状态：在预定的第三时间间隔期间驾驶者的眼睑闭合的百分比是否超过预设百分比；和在预定的第四时间间隔内驾驶者的面部运动是否在预定的范围内。
3.根据权利要求2所述的装置，还包括：
车辆行驶状态获得器，被配置为：确定由驾驶者操作的车辆的行驶状态，
其中，所述控制器被配置为：根据车辆的行驶状态，基于以下中的至少一个来确定驾驶者是否处于疲劳状态：车辆是否偏离行驶车道；和车辆是否以Z字形方向行驶。
4.根据权利要求1所述的装置，其中，所述控制器被配置为：基于以下中的至少一个来确定驾驶者是否处于觉醒状态：在预定的第五时间间隔内，是否发生驾驶者的眨眼；和驾驶者的面部运动是否超过预设程度。
5.一种用于确定驾驶者的睡意的方法，包括以下步骤：
获得驾驶者的图像；
由控制器从该图像确定驾驶者是否处于疲劳状态、驾驶者是否处于眼睑闭合状态以及驾驶者是否处于觉醒状态；以及
当在驾驶者的疲劳状态持续经过预定的第一时间间隔之后，在预定的第二时间间隔内交替且重复地发生驾驶者的眼睑闭合状态和觉醒状态时，由所述控制器确定驾驶者处于睡意状态。
6.根据权利要求5所述的方法，其中，基于以下中的至少一个来确定驾驶者是否处于疲劳状态：驾驶者的眼睑闭合时间是否超过预定的第三时间间隔；和在预定的第四时间间隔期间，驾驶者的面部运动是否在预定范围内。
7.根据权利要求6所述的方法，还包括以下步骤：
由所述控制器确定驾驶者驾驶的车辆的行驶状态，其中，根据车辆的行驶状态，基于以下中的至少一个来确定驾驶者是否处于疲劳状态：车辆是否偏离行驶车道；和车辆是否以Z字形方向行驶。
8.根据权利要求5所述的方法，其中，基于以下中的至少一个来确定驾驶者是否处于觉醒状态：在预定的第五时间间隔内，是否发生驾驶者的眨眼；和驾驶者的面部运动是否超过预设程度。
CN201610935155.3A 2016-04-21 2016-11-01 用于确定驾驶者的睡意的装置和方法 Active CN107303907B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160048915 2016-04-21
KR10-2016-0048915 2016-04-21

Publications (2)

Publication Number Publication Date
CN107303907A true CN107303907A (zh) 2017-10-31
CN107303907B CN107303907B (zh) 2021-08-20

Family

ID=60088690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610935155.3A Active CN107303907B (zh) 2016-04-21 2016-11-01 用于确定驾驶者的睡意的装置和方法

Country Status (2)

Country Link
US (1) US10262219B2 (zh)
CN (1) CN107303907B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647616A (zh) * 2018-05-01 2018-10-12 南京理工大学 基于面部特征的实时睡意检测方法
CN111784973A (zh) * 2020-07-30 2020-10-16 广州敏视数码科技有限公司 一种车队管理平台的mdvr设备集成疲劳检测方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291590B (zh) * 2018-12-06 2021-03-19 广州汽车集团股份有限公司 驾驶员疲劳检测方法、装置、计算机设备和存储介质
US10713948B1 (en) * 2019-01-31 2020-07-14 StradVision, Inc. Method and device for alerting abnormal driver situation detected by using humans' status recognition via V2V connection
CN109977761A (zh) * 2019-02-01 2019-07-05 重庆交互科技有限公司 基于面部状态识别的疲劳驾驶唤醒方法及系统
CN112185066A (zh) * 2020-09-17 2021-01-05 北京汽车集团越野车有限公司 防疲劳驾驶装置及其方法、车辆
FI129297B (fi) * 2021-02-19 2021-11-15 Taipale Telematics Oy Laite, menetelmä ja tietokoneohjelma ajoneuvon kuljettajan ajotavan määrittämiseksi

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11339200A (ja) * 1998-05-28 1999-12-10 Toyota Motor Corp 居眠り運転検出装置
CN101491443A (zh) * 2009-03-06 2009-07-29 北京理工大学 驾驶人疲劳与车辆行驶轨迹的关系模型
CN102254151A (zh) * 2011-06-16 2011-11-23 清华大学 一种基于面部视频分析的驾驶人疲劳检测方法
CN102356416A (zh) * 2009-03-19 2012-02-15 爱信精机株式会社 困倦判定装置及程序
CN102568158A (zh) * 2010-12-15 2012-07-11 淄博高新区联创科技服务中心 汽车疲劳驾驶警示系统
CN103714660A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
CN104021370A (zh) * 2014-05-16 2014-09-03 浙江传媒学院 一种基于视觉信息融合的驾驶员状态监测方法及系统
KR101462067B1 (ko) * 2013-06-04 2014-11-14 경희대학교 산학협력단 차량정보에 의한 졸음운전 검출 장치 및 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100295850B1 (ko) 1997-12-17 2001-11-22 이계안 졸음운전경보시스템의졸음운전판단방법
US6426702B1 (en) * 2001-02-08 2002-07-30 Thomas W. Young Driver fatigue detector
US7202792B2 (en) 2002-11-11 2007-04-10 Delphi Technologies, Inc. Drowsiness detection system and method
KR100630163B1 (ko) 2004-05-12 2006-09-29 삼성전자주식회사 카메라를 구비한 휴대단말기의 졸음운전방지 방법
JP2007072641A (ja) 2005-09-06 2007-03-22 Equos Research Co Ltd 危険車両検出装置
JP4400624B2 (ja) 2007-01-24 2010-01-20 トヨタ自動車株式会社 居眠り防止装置及び方法
JP4974360B2 (ja) 2007-02-27 2012-07-11 国立大学法人九州大学 居眠り運転防止装置
JP4492652B2 (ja) * 2007-07-26 2010-06-30 トヨタ自動車株式会社 眠気状態判断装置
CA2649731C (en) * 2008-11-05 2015-07-21 The George Washington University An unobtrusive driver drowsiness detection method
KR20110052453A (ko) 2009-11-11 2011-05-18 한국전자통신연구원 운전자 졸음 판단 및 경고 장치 및 방법
US8725311B1 (en) * 2011-03-14 2014-05-13 American Vehicular Sciences, LLC Driver health and fatigue monitoring system and method
KR101386823B1 (ko) 2013-10-29 2014-04-17 김재철 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치
US9956963B2 (en) * 2016-06-08 2018-05-01 GM Global Technology Operations LLC Apparatus for assessing, predicting, and responding to driver fatigue and drowsiness levels
US9937792B2 (en) * 2016-07-13 2018-04-10 Ford Global Technologies, Llc Occupant alertness-based navigation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11339200A (ja) * 1998-05-28 1999-12-10 Toyota Motor Corp 居眠り運転検出装置
CN101491443A (zh) * 2009-03-06 2009-07-29 北京理工大学 驾驶人疲劳与车辆行驶轨迹的关系模型
CN102356416A (zh) * 2009-03-19 2012-02-15 爱信精机株式会社 困倦判定装置及程序
CN102568158A (zh) * 2010-12-15 2012-07-11 淄博高新区联创科技服务中心 汽车疲劳驾驶警示系统
CN102254151A (zh) * 2011-06-16 2011-11-23 清华大学 一种基于面部视频分析的驾驶人疲劳检测方法
KR101462067B1 (ko) * 2013-06-04 2014-11-14 경희대학교 산학협력단 차량정보에 의한 졸음운전 검출 장치 및 방법
CN103714660A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
CN104021370A (zh) * 2014-05-16 2014-09-03 浙江传媒学院 一种基于视觉信息融合的驾驶员状态监测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647616A (zh) * 2018-05-01 2018-10-12 南京理工大学 基于面部特征的实时睡意检测方法
CN111784973A (zh) * 2020-07-30 2020-10-16 广州敏视数码科技有限公司 一种车队管理平台的mdvr设备集成疲劳检测方法
CN111784973B (zh) * 2020-07-30 2021-12-14 广州敏视数码科技有限公司 一种车队管理平台的mdvr设备集成疲劳检测方法

Also Published As

Publication number Publication date
US10262219B2 (en) 2019-04-16
US20170308762A1 (en) 2017-10-26
CN107303907B (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN107303907A (zh) 用于确定驾驶者的睡意的装置和方法
US10246014B2 (en) System and method for driver distraction determination
CN108216251B (zh) 驾驶员状态监测方法、系统及非瞬时性计算机可读介质
Friedrichs et al. Drowsiness monitoring by steering and lane data based features under real driving conditions
US10235768B2 (en) Image processing device, in-vehicle display system, display device, image processing method, and computer readable medium
CN106687037B (zh) 用于检测瞬时睡眠的设备、方法和计算机程序
CN110211335B (zh) 用于对车辆的驾驶员的微睡进行识别的方法和装置
JP4702100B2 (ja) 居眠り判定装置および居眠り運転警告装置
CN110395260B (zh) 车辆、安全驾驶方法和装置
Doshi et al. A comparative exploration of eye gaze and head motion cues for lane change intent prediction
US20180012090A1 (en) Visual learning system and method for determining a driver's state
CN110765807A (zh) 驾驶行为分析、处理方法、装置、设备和存储介质
US20190005341A1 (en) Method for classifying driver movements
CN105286802A (zh) 基于视频信息的驾驶员疲劳检测方法
CN115107786B (zh) 一种用于智能汽车的驾驶行为纠正系统及方法
Luo et al. The driver fatigue monitoring system based on face recognition technology
Panicker et al. Open-eye detection using iris–sclera pattern analysis for driver drowsiness detection
US10945651B2 (en) Arousal level determination device
JP2013518341A (ja) 車両用物体衝突警報システムおよび車両用物体衝突警報方法
CN116012822B (zh) 一种疲劳驾驶的识别方法、装置及电子设备
Nowosielski Vision-based solutions for driver assistance
JP7192668B2 (ja) 覚醒度判定装置
Qureshi et al. An Effective IOT based Driver's Drowsiness Detection and Monitoring System to Avoid Real-Time Road Accidents
KR20130124763A (ko) 운전자 얼굴 영상 기반 피로 운전 판단 시스템 및 그 방법
Stephen et al. Actual Moment Driver Lethargy Experience Based on Driver’s Face Picture with the SRS System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant