CN112754498B - 驾驶员的疲劳检测方法、装置、设备及存储介质 - Google Patents

驾驶员的疲劳检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112754498B
CN112754498B CN202110030730.6A CN202110030730A CN112754498B CN 112754498 B CN112754498 B CN 112754498B CN 202110030730 A CN202110030730 A CN 202110030730A CN 112754498 B CN112754498 B CN 112754498B
Authority
CN
China
Prior art keywords
driver
fatigue
determining
parameter
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110030730.6A
Other languages
English (en)
Other versions
CN112754498A (zh
Inventor
李享泰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Jiefang Automotive Co Ltd
Original Assignee
FAW Jiefang Automotive Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Jiefang Automotive Co Ltd filed Critical FAW Jiefang Automotive Co Ltd
Priority to CN202110030730.6A priority Critical patent/CN112754498B/zh
Publication of CN112754498A publication Critical patent/CN112754498A/zh
Application granted granted Critical
Publication of CN112754498B publication Critical patent/CN112754498B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Physiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种驾驶员的疲劳检测方法、装置、设备及存储介质，该方法包括：获取驾驶员的面部信息，根据面部信息确定面部疲劳参数；获取驾驶员的脑电波信息，根据脑电波信息确定脑电疲劳参数；根据面部疲劳参数和脑电疲劳参数确定驾驶员是否疲劳；若驾驶员疲劳，输出提示信息。能够获取面部信息和脑电波信息，根据面部信息确定面部疲劳参数，根据脑电波信息确定脑电波疲劳参数，然后结合面部疲劳参数和脑电波疲劳参数确定驾驶员是否疲劳，进而能够准确的判定驾驶员的疲劳状态，提高疲劳状态的检测效率，提高驾驶安全性。

Description

驾驶员的疲劳检测方法、装置、设备及存储介质
技术领域
本发明实施例涉及车辆安全技术，尤其涉及一种驾驶员的疲劳检测方法、装置、设备及存储介质。
背景技术
近年来，随着我国交通运输业的高速发展，人们对汽车运输的依赖性逐渐增大，而汽车的交通事故发生率也逐年上升，其中因驾驶人疲劳驾驶及分心驾驶是事故率增长的重要诱因，根据统计的数据，有40％～70％的交通事故是由于驾驶人无法专心驾驶而引起的。
目前的疲劳检测方式为，获取人脸图像，对人脸图像进行分析，分析驾驶员是否出现疲劳。但是，这种方式对人脸位置要求较为苛刻，无法有效的对疲劳状态进行检测。可见，如何有效地对驾驶人的疲劳状态进行检测称为亟待解决的技术问题。
发明内容
本发明提供一种发明名称，以实现提高疲劳状态的检测效率，提高驾驶安全性。
第一方面，本发明实施例提供了一种驾驶员的疲劳检测方法，包括：
获取驾驶员的面部信息，根据面部信息确定面部疲劳参数；
获取驾驶员的脑电波信息，根据脑电波信息确定脑电疲劳参数；
根据面部疲劳参数和脑电疲劳参数确定驾驶员是否疲劳；
若驾驶员疲劳，输出提示信息。
第二方面，本发明实施例还提供了一种驾驶员的疲劳检测装置，包括：
面部信息获取模块，用于获取驾驶员的面部信息；
面部疲劳参数确定模块，用于根据面部信息确定面部疲劳参数；
脑电波获取模块，用于获取驾驶员的脑电波信息；
脑电疲劳参数确定模块，用于根据脑电波信息确定脑电疲劳参数；
疲劳判断模块，用于根据面部疲劳参数和脑电疲劳参数确定驾驶员是否疲劳；
提示模块，用于若驾驶员疲劳，输出提示信息。
第三方面，本发明实施例还提供了一种驾驶员的疲劳检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，还包括：摄像头，用于采集驾驶员的面部信息；生理记录仪器，用于采集驾驶员的脑电波信息；其中，处理器执行程序时实现如本申请实施例所示的驾驶员的疲劳检测方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行如本申请实施例所示的驾驶员的疲劳检测方法。
本发明实施例提供的驾驶员的疲劳检测方案，能够获取驾驶员的面部信息，根据面部信息确定面部疲劳参数；获取驾驶员的脑电波信息，根据脑电波信息确定脑电疲劳参数；根据面部疲劳参数和脑电疲劳参数确定驾驶员是否疲劳；若驾驶员疲劳，输出提示信息。相对于目前只根据人脸图像进行疲劳检测，检测效率低的问题，本发明实施例提供的驾驶员的疲劳检测方案，能够获取面部信息和脑电波信息，根据面部信息确定面部疲劳参数，根据脑电波信息确定脑电波疲劳参数，然后结合面部疲劳参数和脑电波疲劳参数确定驾驶员是否疲劳，进而能够准确的判定驾驶员的疲劳状态，提高疲劳状态的检测效率，提高驾驶安全性。
附图说明
图1是本发明实施例一中驾驶员的疲劳检测方法的流程图；
图2是本发明实施例一中的人脸特征点示意图；
图3是本发明实施例一中的人脸转动后的特征点示意图；
图4是本发明实施例二中的驾驶员的疲劳检测装置的结构示意图；
图5是本发明实施例三中的驾驶员的疲劳检测设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的驾驶员的疲劳检测方法的流程图，本实施例可适用于检测驾驶员疲劳状态的情况，该方法可以由车辆中搭载的处理器来执行，具体包括如下步骤：
步骤110、获取驾驶员的面部信息，根据面部信息确定面部疲劳参数。
车辆内部设置摄像头，摄像头用于拍摄驾驶员面部图像。驾驶员坐在驾驶位后，头部位于摄像头的图像获取范围内。车辆启动后，摄像头可以自动启动，也可以在触发疲劳检测时启动。摄像头启动后，按照预设的频率获取帧图像，帧图像作为驾驶员的面部信息。在获取面部信息后，识别出于面部与疲劳检测相关的特征点，根据特征点的分布情况确定面部疲劳参数。面部疲劳参数可以为眼睑闭合值(又称PERCLOS)和分心值(又称P值)。下面分别介绍两个面部疲劳参数的计算方式。
在实现方式一中，可以通过下述方式计算眼睑闭合值和分心值，步骤110可实施为：
步骤111、获取驾驶员的面部图像。
摄像头获取驾驶员的面部图像。持续接收摄像头输入的帧图像，每一帧帧图像为驾驶员的面部图像。
步骤112、根据面部图像确定多个特征点。
可以通过人脸检测算法检测每一帧图片中是否存在人脸。若存在人脸，则执行后续步骤。其中的人脸检测算法可以为基于Haar特征的Adaboost算法等。在确定存在人脸后，识别出帧图像中的人脸区域。从人脸区域中获取特征点，对获取到的特征点进行定位，完成人脸对齐。
步骤113、根据多个特征点确定眼部开度参数。
示例性的，步骤3.1、根据多个特征点确定眼部特征点。
可以采用回归树联合的方法对检测到的人脸进行标定，完成对人脸中特征点的标定，进而标定出驾驶员的眼部和鼻子的关键点。进一步的，还可以标注出嘴部的特征点。如图2所示，每个眼睛使用六个特征点表示，鼻子使用一个特征点表示。进一步的，嘴部使用八个特征点表示。由于驾驶员可能会佩戴口罩进行驾驶，因此优先以眼部的特征点确定的眼睑闭合值作为面部疲劳参数。若驾驶员未佩戴口罩，也可以对嘴部的特征点进行标记，并根据嘴部的特征点确定面部疲劳参数。例如，驾驶员频繁打哈欠时，可基于通过嘴部的特征点确定的面部疲劳参数判断驾驶员是否疲劳。
左眼的六个特征点为特征点1、特征点2、特征点3、特征点4、特征点5、特征点6。右眼的六个特征点为特征点7、特征点8、特征点9、特征点10、特征点11、特征点12。鼻子的一个特征点为特征点13。嘴部的八个特征点为特征点14、特征点15、特征点16、特征点17、特征点18、特征点19、特征点20、特征点21。
步骤3.2、根据眼部特征点分别计算左眼眼部开度参数和右眼眼部开度参数。
获取左眼眼部上下距离以及左右距离；根据左眼眼部上下距离以及左右距离的比值确定左眼眼部开度参数；获取右眼眼部上下距离以及左右距离；根据右眼眼部上下距离以及左右距离的比值确定右眼眼部开度参数。
左眼眼部上下距离可以使用特征点2与特征点6的距离‖p2-p6‖以及特征点3与特征点5的距离‖p3-p5‖表示。左眼眼部左右距离可以使用特征点1与特征点4‖p1-p4‖的距离表示。
右眼眼部上下距离可以使用特征点8与特征点12的距离‖p8-p12‖以及特征点9与特征点11‖p9-p11‖的距离表示。右眼眼部左右距离可以使用特征点7与特征点10的距离‖p7-p10‖表示。
左眼眼部开度参数EAR左眼根据左眼眼部上下距离与左眼眼部左右距离确定。具体为，左眼眼部开度参数
Figure BDA0002892013060000061
右眼眼部开度参数EAR右眼根据右眼眼部上下距离与右眼眼部左右距离确定。具体为，右眼眼部开度参数
Figure BDA0002892013060000062
步骤3.3、根据左眼眼部开度参数和右眼眼部开度参数确定眼部开度总参数。
将左眼眼部开度参数和右眼眼部开度参数的和作为眼部开度总参数EAR。
EAR＝(EAR右眼+RAR左眼)/2
步骤3.4、根据眼部开度总参数和预设检测时间窗口确定眼部开度参数。
根据步骤3.3得到的眼部开度总参数确定驾驶员的眼部闭合时间。可以通过实验标定出眼部闭合的临界阈值，而当眼部开度总参数EAR值小于该临界阈值时，可以认为驾驶人人眼闭合。根据眼部闭合时间和预设检测时间窗口确定眼部开度参数。具体为：
Figure BDA0002892013060000063
统计检测时间内的人眼闭合时间并与检测时间做比值，即为实时的眼部开度参数(PERCLOS值)。
参照上述方式，同理可已算出嘴部打开的时间，嘴部打开的时间表示驾驶员打哈欠的时间。若嘴部打开时间超过哈欠时间阈值，则确定驾驶员疲劳。
步骤114、根据多个特征点确定分心参数。
步骤114可以与步骤111并行执行。
示例性的，根据多个特征点确定鼻子特征点；根据鼻子特征点的位置信息确定旋转角度；根据旋转角度和预设检测时间窗口确定分心参数。
如图2所示，鼻子特征点为特征点13。如图3所示，假设Hmin为鼻尖的最小参考坐标，Hmax为鼻尖的最大参考坐标，Hmin与Hmax均可以通过试验标定，p13·y代表鼻尖位置的纵坐标。当p13·y＜Hmin，确定驾驶员抬头行为，当p13·y＜Hmax，确定驾驶员有低头的行为。而低头所占时间为驾驶人的低头时间。
当驾驶员头部进行偏转时，计算旋转角度γ，偏转角度阈值可以通过实验标定。按公式
Figure BDA0002892013060000071
或者，
Figure BDA0002892013060000072
计算出头部旋转角度γ，旋转角度γ＞偏转角度阈值或旋转角度γ＜偏转角度阈值负值的时间为驾驶人分心时间。取低头时间和分心时间中的数值较大者；根据数值较大者与预设检测时间窗口确定分心参数。分心参数又称分心值(P值)
Figure BDA0002892013060000073
上述实施例中，眼睑闭合值用于表示单位时间内眼睛处于闭合状态时间所占检测时间的比例，运用眼睑闭合值可以帮助判断驾驶人是否疲劳。分心参数用于表示鼻尖坐标超出阈值或驾驶人头部偏转角超出阈值范围的时间占检测时间的比例。分心参数可以帮助判断驾驶人是否有低头或左顾右盼的现象。
本实施例中，可以通过驾驶人的面部信息来对驾驶人的驾驶状态进行监测并在驾驶人不适宜驾驶时提示或警报，可以依据驾驶人是否出现困倦、低头或者左顾右盼的外在表现来对其驾驶状态进行判断，相比于传统方法，增加了驾驶人除闭眼外的更多行为，提高了识别的准确性。
步骤120、获取驾驶员的脑电波信息，根据脑电波信息确定脑电疲劳参数。
生理记录仪器来获取面部信息及脑电信息。其中摄像头分辨率需要能够清晰识别人脸且传输帧数要足够，生理记录仪器可以为能够分离出驾驶人脑电β波、θ波和ɑ波的软硬件设备。
在实现方式二中，获取驾驶员的脑电波信息可实施为：获取驾驶员的多个脑电波，多个脑电波包括：β波、θ波和ɑ波。根据脑电波信息确定脑电疲劳参数可实施为：根据β波、θ波和ɑ波计算脑电疲劳参数。
示例性的，根据β波、θ波和ɑ波计算脑电疲劳参数，包括：计算ɑ波和θ波的和，得到求和结果；将求和结果除以β波，得到脑电疲劳参数。
可以通过下述公式计算脑电疲劳参数R：
脑电疲劳参数
Figure BDA0002892013060000081
步骤130、根据面部疲劳参数和脑电疲劳参数确定驾驶员是否疲劳。
在上述实施方式一中，若眼部开度参数超出眼部开度阈值，或者分心参数超出分心阈值，则确定驾驶员疲劳。
眼睑闭合值与分心参数对应的阈值均可以通过实验标定的方法得出，通过比较可以发现驾驶人是否处于疲劳或分心的状态。当眼睑闭合值与分心参数任一超出阈值范围，即可判定驾驶人不在适宜的驾驶状态，应该进行提示或警报。
在上述实施方式二中，若脑电疲劳参数在预设时间窗内超出脑疲劳阈值所占时间大于预设比例，则确定驾驶员疲劳。
实时计算出的脑电疲劳参数可以与实验标定所得的阈值进行比较，当脑电疲劳参数在某一时间窗内超出阈值所占时间大于合理的比例时，即可判定驾驶人此时处于不适宜继续驾驶的状态。
眼睑闭合值、分心参数和脑电疲劳参数都有其对应的不适宜驾驶的临界阈值，当三者任一出现超出阈值范围情况时，即可判定驾驶人不适宜继续驾驶，即驾驶员疲劳。
步骤140、若驾驶员疲劳，输出提示信息。
当处理模块中得到驾驶人适宜继续驾驶的结论时，会向警报模块输出第一信号，此时警报模块处于冷却状态，不会发出警报；而当处理模块中得到驾驶人不适宜继续驾驶的结论时，会向警报模块输出第二信号，此时警报模块处于激活状态，会发出警报，提示驾驶人到合适地点停车进行休息。可以通过光、声、震动等方式输出提示。
本发明实施例提供的驾驶员的疲劳检测方法，能够获取驾驶员的面部信息，根据面部信息确定面部疲劳参数；获取驾驶员的脑电波信息，根据脑电波信息确定脑电疲劳参数；根据面部疲劳参数和脑电疲劳参数确定驾驶员是否疲劳；若驾驶员疲劳，输出提示信息。相对于目前只根据人脸图像进行疲劳检测，检测效率低的问题，本发明实施例提供的驾驶员的疲劳检测方法，能够获取面部信息和脑电波信息，根据面部信息确定面部疲劳参数，根据脑电波信息确定脑电波疲劳参数，然后结合面部疲劳参数和脑电波疲劳参数确定驾驶员是否疲劳，进而能够准确的判定驾驶员的疲劳状态，提高疲劳状态的检测效率，提高驾驶安全性。由于本方法采用驾驶员的面部信息以及脑电波信息两种数据对驾驶人状态进行监测，系统可以在驾驶人短暂不在摄像头采集图像范围时，重点关注驾驶人脑电信息数据对比的结果；而在多数情形下，驾驶人处于摄像头采集范围内时，可以较好地弥补仅由脑电信息数据来监测驾驶人状态时出现驾驶疲劳漏报、误报的情况，相比于传统技术，提高了驾驶人状态监测的实时性以及准确性。
实施例二
图4为本发明实施例二提供的驾驶员的疲劳检测装置的结构示意图，本实施例可适用于检测驾驶员疲劳状态的情况，具体包括如下步骤：面部信息获取模块210、面部疲劳参数确定模块220、脑电波获取模块230、脑电疲劳参数确定模块240、疲劳判断模块250以及提示模块260。
其中，面部信息获取模块210，用于获取驾驶员的面部信息；
面部疲劳参数确定模块220，用于根据面部信息确定面部疲劳参数；
脑电波获取模块230，用于获取驾驶员的脑电波信息；
脑电疲劳参数确定模块240，用于根据脑电波信息确定脑电疲劳参数；
疲劳判断模块250，用于根据面部疲劳参数和脑电疲劳参数确定驾驶员是否疲劳；
提示模块260，用于若驾驶员疲劳，输出提示信息。
在上述实施方式的基础上，面部信息获取模块210用于，获取驾驶员的面部图像；
面部疲劳参数确定模块220，用于：
根据面部图像确定多个特征点；
根据多个特征点确定眼部开度参数；
根据多个特征点确定分心参数；
相应的，疲劳判断模块250用于：
若眼部开度参数超出眼部开度阈值，或者分心参数超出分心阈值，则确定驾驶员疲劳。
在上述实施方式的基础上，面部疲劳参数确定模块220，用于：
根据多个特征点确定眼部特征点；
根据眼部特征点分别计算左眼眼部开度参数和右眼眼部开度参数；
根据左眼眼部开度参数和右眼眼部开度参数确定眼部开度总参数；
根据眼部开度总参数和预设检测时间窗口确定眼部开度参数。
在上述实施方式的基础上，面部疲劳参数确定模块220，用于：
获取左眼眼部上下距离以及左右距离；
根据左眼眼部上下距离以及左右距离的比值确定左眼眼部开度参数；
获取右眼眼部上下距离以及左右距离；
根据右眼眼部上下距离以及左右距离的比值确定右眼眼部开度参数。
在上述实施方式的基础上，面部疲劳参数确定模块220用于：
根据多个特征点确定鼻子特征点；
根据鼻子特征点的位置信息确定旋转角度；
根据旋转角度和预设检测时间窗口确定分心参数。
在上述实施方式的基础上，脑电波获取模块230用于，获取驾驶员的多个脑电波，多个脑电波包括：β波、θ波和ɑ波；
脑电疲劳参数确定模块240用于，根据β波、θ波和ɑ波计算脑电疲劳参数；
疲劳判断模块250用于，若脑电疲劳参数在预设时间窗内超出脑疲劳阈值所占时间大于预设比例，则确定驾驶员疲劳。
在上述实施方式的基础上，脑电疲劳参数确定模块240用于：
计算ɑ波和θ波的和，得到求和结果；
将求和结果除以β波，得到脑电疲劳参数。
本发明实施例提供的驾驶员的疲劳检测装置，面部信息获取模块210，用于获取驾驶员的面部信息；面部疲劳参数确定模块220，用于根据面部信息确定面部疲劳参数；脑电波获取模块230，用于获取驾驶员的脑电波信息；脑电疲劳参数确定模块240，用于根据脑电波信息确定脑电疲劳参数；疲劳判断模块250，用于根据面部疲劳参数和脑电疲劳参数确定驾驶员是否疲劳；提示模块260，用于若驾驶员疲劳，输出提示信息。相对于目前只根据人脸图像进行疲劳检测，检测效率低的问题，本发明实施例提供的驾驶员的疲劳检测装置，能够获取面部信息和脑电波信息，根据面部信息确定面部疲劳参数，根据脑电波信息确定脑电波疲劳参数，然后结合面部疲劳参数和脑电波劳参数确定驾驶员是否疲劳，进而能够准确的判定驾驶员的疲劳状态，提高疲劳状态的检测效率，提高驾驶安全性。
本发明实施例所提供的驾驶员的疲劳检测装置可执行本发明任意实施例所提供的驾驶员的疲劳检测方法，具备执行方法相应的功能模块和有益效果。
实施例三
图5为本发明实施例三提供的一种驾驶员的疲劳检测设备的结构示意图，如图5所示，该驾驶员的疲劳检测设备包括处理器30、存储器31、输入装置32和输出装置33；驾驶员的疲劳检测设备中处理器30的数量可以是一个或多个，图5中以一个处理器30为例；驾驶员的疲劳检测设备中的处理器30、存储器31、输入装置32和输出装置33可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器31作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的驾驶员的疲劳检测方法对应的程序指令/模块(例如，驾驶员的疲劳检测装置中的面部信息获取模块210、面部疲劳参数确定模块220、脑电波获取模块230、脑电疲劳参数确定模块240、疲劳判断模块250以及提示模块260)。处理器30通过运行存储在存储器31中的软件程序、指令以及模块，从而执行驾驶员的疲劳检测设备的各种功能应用以及数据处理，即实现上述的驾驶员的疲劳检测方法。
存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器31可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器31可进一步包括相对于处理器30远程设置的存储器，这些远程存储器可以通过网络连接至驾驶员的疲劳检测设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置32可用于接收输入的数字或字符信息，以及产生与驾驶员的疲劳检测设备的用户设置以及功能控制有关的键信号输入。输入装置32可以为车载摄像头以及生理记录仪器。摄像头，用于采集驾驶员的面部信息；生理记录仪器，用于采集驾驶员的脑电波信息。
输出装置33可包括显示屏、扬声器、振动马达等器件，用于输出图形、音频等形式的提示信息。
本发明实施例还提供了一种车辆，该车辆包括上述驾驶员的疲劳检测设备，具备驾驶员疲劳检测功能。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种驾驶员的疲劳检测方法，该方法包括：
获取驾驶员的面部信息，根据面部信息确定面部疲劳参数；
获取驾驶员的脑电波信息，根据脑电波信息确定脑电疲劳参数；
根据面部疲劳参数和脑电疲劳参数确定驾驶员是否疲劳；
若驾驶员疲劳，输出提示信息。
在上述实施例的基础上，获取驾驶员的面部信息，根据面部信息确定面部疲劳参数，包括：
获取驾驶员的面部图像；
根据面部图像确定多个特征点；
根据多个特征点确定眼部开度参数；
根据多个特征点确定分心参数；
相应的，根据面部疲劳参数和脑电疲劳参数确定驾驶员是否疲劳，包括：
若眼部开度参数超出眼部开度阈值，或者分心参数超出分心阈值，则确定驾驶员疲劳。
在上述实施例的基础上，根据多个特征点确定眼部开度参数，包括：
根据多个特征点确定眼部特征点；
根据眼部特征点分别计算左眼眼部开度参数和右眼眼部开度参数；
根据左眼眼部开度参数和右眼眼部开度参数确定眼部开度总参数；
根据眼部开度总参数和预设检测时间窗口确定眼部开度参数。
在上述实施例的基础上，根据眼部特征点分别计算左眼眼部开度参数和右眼眼部开度参数，包括；
获取左眼眼部上下距离以及左右距离；
根据左眼眼部上下距离以及左右距离的比值确定左眼眼部开度参数；
获取右眼眼部上下距离以及左右距离；
根据右眼眼部上下距离以及左右距离的比值确定右眼眼部开度参数。
在上述实施例的基础上，根据多个特征点确定分心参数，包括：
根据多个特征点确定鼻子特征点；
根据鼻子特征点的位置信息确定旋转角度；
根据旋转角度和预设检测时间窗口确定分心参数。
在上述实施例的基础上，获取驾驶员的脑电波信息，包括：
获取驾驶员的多个脑电波，多个脑电波包括：β波、θ波和ɑ波；
相应的，根据脑电波信息确定脑电疲劳参数，包括：
根据β波、θ波和ɑ波计算脑电疲劳参数；
相应的，根据面部疲劳参数和脑电疲劳参数确定驾驶员是否疲劳，包括：
若脑电疲劳参数在预设时间窗内超出脑疲劳阈值所占时间大于预设比例，则确定驾驶员疲劳。
在上述实施例的基础上，根据β波、θ波和ɑ波计算脑电疲劳参数，包括：
计算ɑ波和θ波的和，得到求和结果；
将求和结果除以β波，得到脑电疲劳参数。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上的方法操作,还可以执行本发明任意实施例所提供的驾驶员的疲劳检测方法中的相关操作。
上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种驾驶员的疲劳检测方法，其特征在于，包括：
获取驾驶员的面部图像；
根据所述面部图像确定多个特征点；
根据所述多个特征点确定眼部开度参数；
根据所述多个特征点确定鼻子特征点；
根据所述鼻子特征点的位置信息确定旋转角度γ，所述旋转角度γ为驾驶员头部的横向偏转角度；
预设检测时间窗口内，旋转角度γ大于偏转角度阈值或旋转角度γ小于偏转角度阈值负值的时间为驾驶人分心时间；
取低头时间和所述分心时间中的数值较大者，所述低头时间为预设检测时间窗口内p13·y＜Hmax的时间，所述p13·y为鼻尖位置的纵坐标，所述Hmax为鼻尖的最大参考坐标；
根据数值较大者与预设检测时间窗口的比值确定分心参数；
获取所述驾驶员的脑电波信息，根据所述脑电波信息确定脑电疲劳参数；
若眼部开度参数超出眼部开度阈值，或者分心参数超出分心阈值，则确定驾驶员疲劳；若脑电疲劳参数在预设时间窗内超出脑疲劳阈值所占时间大于预设比例，则确定驾驶员疲劳；
若所述驾驶员疲劳，输出提示信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述多个特征点确定眼部开度参数，包括：
根据所述多个特征点确定眼部特征点；
根据所述眼部特征点分别计算左眼眼部开度参数和右眼眼部开度参数；
根据所述左眼眼部开度参数和右眼眼部开度参数确定眼部开度总参数；
根据所述眼部开度总参数和预设检测时间窗口确定眼部开度参数。
3.根据权利要求2所述的方法，其特征在于，根据所述眼部特征点分别计算左眼眼部开度参数和右眼眼部开度参数，包括；
获取左眼眼部上下距离以及左右距离；
根据所述左眼眼部上下距离以及左右距离的比值确定左眼眼部开度参数；
获取右眼眼部上下距离以及左右距离；
根据所述右眼眼部上下距离以及左右距离的比值确定右眼眼部开度参数。
4.根据权利要求1所述的方法，其特征在于，所述获取所述驾驶员的脑电波信息，包括：
获取驾驶员的多个脑电波，所述多个脑电波包括：β波、θ波和ɑ波；
相应的，所述根据所述脑电波信息确定脑电疲劳参数，包括：
根据所述β波、所述θ波和所述ɑ波计算脑电疲劳参数。
5.根据权利要求4所述的方法，其特征在于，所述根据所述β波、所述θ波和所述ɑ波计算脑电疲劳参数，包括：
计算所述ɑ波和所述θ波的和，得到求和结果；
将所述求和结果除以所述β波，得到脑电疲劳参数。
6.一种驾驶员的疲劳检测装置，其特征在于，包括：
面部信息获取模块，用于获取驾驶员的面部图像；
面部疲劳参数确定模块，用于根据所述面部图像确定多个特征点；
根据所述多个特征点确定眼部开度参数；
根据所述多个特征点确定鼻子特征点；
根据所述鼻子特征点的位置信息确定旋转角度γ，所述旋转角度γ为驾驶员头部的横向偏转角度；
预设检测时间窗口内，旋转角度大于偏转角度阈值或旋转角度小于偏转角度阈值负值的时间为驾驶人分心时间；
取低头时间和所述分心时间中的数值较大者，所述低头时间为预设检测时间窗口内p13·y＜Hmax的时间，所述p13·y为鼻尖位置的纵坐标，所述Hmax为鼻尖的最大参考坐标；
根据数值较大者与预设检测时间窗口的比值确定分心参数；
脑电波获取模块，用于获取所述驾驶员的脑电波信息；
脑电疲劳参数确定模块，用于根据所述脑电波信息确定脑电疲劳参数；
疲劳判断模块，用于若眼部开度参数超出眼部开度阈值，或者分心参数超出分心阈值，则确定驾驶员疲劳；若脑电疲劳参数在预设时间窗内超出脑疲劳阈值所占时间大于预设比例，则确定驾驶员疲劳；
提示模块，用于若所述驾驶员疲劳，输出提示信息。
7.一种驾驶员的疲劳检测设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，还包括：摄像头，用于采集驾驶员的面部信息；生理记录仪器，用于采集驾驶员的脑电波信息；其中，所述处理器执行所述程序时实现如权利要求1-5中任一所述的驾驶员的疲劳检测方法。
8.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-5中任一所述的驾驶员的疲劳检测方法。
CN202110030730.6A 2021-01-11 2021-01-11 驾驶员的疲劳检测方法、装置、设备及存储介质 Active CN112754498B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110030730.6A CN112754498B (zh) 2021-01-11 2021-01-11 驾驶员的疲劳检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110030730.6A CN112754498B (zh) 2021-01-11 2021-01-11 驾驶员的疲劳检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112754498A CN112754498A (zh) 2021-05-07
CN112754498B true CN112754498B (zh) 2023-05-26

Family

ID=75701285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110030730.6A Active CN112754498B (zh) 2021-01-11 2021-01-11 驾驶员的疲劳检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112754498B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723339A (zh) * 2021-09-08 2021-11-30 西安联乘智能科技有限公司 疲劳驾驶检测方法、存储介质以及电子设备
CN114435373B (zh) * 2022-03-16 2023-12-22 一汽解放汽车有限公司 疲劳驾驶检测方法、装置、计算机设备和存储介质
CN114601478B (zh) * 2022-05-11 2022-09-02 西南交通大学 一种提高司机警觉度的方法、装置、设备及可读存储介质
CN115227247B (zh) * 2022-07-20 2023-12-26 中南大学 基于多源信息融合的疲劳驾驶检测方法、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714660A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
CN105615878A (zh) * 2016-03-10 2016-06-01 西安科技大学 一种疲劳驾驶脑电监测方法
CN106839970A (zh) * 2017-02-23 2017-06-13 吉林大学 一种用于驾驶数据采集系统的转向盘转角测量装置及方法
CN110638474A (zh) * 2019-09-25 2020-01-03 中控智慧科技股份有限公司 一种驾驶状态检测的方法、系统、设备及可读存储介质
CN111252066A (zh) * 2020-01-19 2020-06-09 一汽解放汽车有限公司 紧急制动控制方法、装置、车辆及存储介质
CN111929915A (zh) * 2020-08-27 2020-11-13 深圳市国创通科技有限公司 一种防低头眼镜

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205230274U (zh) * 2015-12-21 2016-05-11 合肥师范学院 一种疲劳驾驶监测系统
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN108446600A (zh) * 2018-02-27 2018-08-24 上海汽车集团股份有限公司 一种车辆驾驶员疲劳监测预警系统及方法
CN108875642A (zh) * 2018-06-21 2018-11-23 长安大学 一种多指标融合的驾驶员疲劳检测的方法
CN111079476B (zh) * 2018-10-19 2024-03-26 上海商汤智能科技有限公司 驾驶状态分析方法和装置、驾驶员监控系统、车辆
CN111079475A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 驾驶状态检测方法和装置、驾驶员监控系统、车辆
CN109801475A (zh) * 2019-01-30 2019-05-24 浙江强脑科技有限公司 疲劳驾驶检测方法、装置及计算机可读存储介质
CN110811649A (zh) * 2019-10-31 2020-02-21 太原理工大学 一种基于生物电及行为特征融合的疲劳驾驶检测方法
CN211918644U (zh) * 2020-03-31 2020-11-13 大连东软信息学院 一种驾驶员状态监测装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714660A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
CN105615878A (zh) * 2016-03-10 2016-06-01 西安科技大学 一种疲劳驾驶脑电监测方法
CN106839970A (zh) * 2017-02-23 2017-06-13 吉林大学 一种用于驾驶数据采集系统的转向盘转角测量装置及方法
CN110638474A (zh) * 2019-09-25 2020-01-03 中控智慧科技股份有限公司 一种驾驶状态检测的方法、系统、设备及可读存储介质
CN111252066A (zh) * 2020-01-19 2020-06-09 一汽解放汽车有限公司 紧急制动控制方法、装置、车辆及存储介质
CN111929915A (zh) * 2020-08-27 2020-11-13 深圳市国创通科技有限公司 一种防低头眼镜

Also Published As

Publication number Publication date
CN112754498A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN112754498B (zh) 驾驶员的疲劳检测方法、装置、设备及存储介质
US9105172B2 (en) Drowsiness-estimating device and drowsiness-estimating method
CN110766912B (zh) 驾驶预警方法、设备及计算机可读存储介质
CN105956548A (zh) 驾驶员疲劳状况检测方法和装置
CN106073804B (zh) 一种疲劳检测方法及移动终端
Lashkov et al. Driver dangerous state detection based on OpenCV & dlib libraries using mobile video processing
CN114973215A (zh) 一种疲劳驾驶的确定方法、装置及电子设备
CN112699802A (zh) 一种驾驶员微表情检测装置及方法
US20140078281A1 (en) Drowsiness warning device
CN111160071B (zh) 一种疲劳驾驶检测方法和装置
JP2022149287A (ja) ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム
CN115830579A (zh) 一种驾驶状态监测方法、系统及车辆
Öztürk et al. Drowsiness detection system based on machine learning using eye state
JPH0793700A (ja) 運転者状態監視装置
Agarkar et al. Driver Drowsiness Detection and Warning using Facial Features and Hand Gestures
Ashwini et al. Deep Learning Based Drowsiness Detection With Alert System Using Raspberry Pi Pico
KR101786579B1 (ko) 정면 얼굴 판단 방법 및 장치
KR102476829B1 (ko) 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템
WO2021095153A1 (ja) ドライバー異常対応システム、ドライバー異常対応方法、及びプログラム
KR20210137771A (ko) 얼굴 인식을 위한 적외선 카메라 영상 포화 검출 방법 및 이를 이용한 사용자 기반 위험 경보 시스템
WO2021039231A1 (ja) 画像解析装置、画像解析方法、及びプログラム
CN118447486A (zh) 状态确定方法、装置、车辆及计算机可读存储介质
Amutha et al. Driver Drowsiness Detection System using OpenCV and Keras
Wong Driver monitoring scheme in advanced driver assistance systems perspective
CN109614901B (zh) 驾驶员疲劳检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant