CN114973215A - 一种疲劳驾驶的确定方法、装置及电子设备 - Google Patents

一种疲劳驾驶的确定方法、装置及电子设备 Download PDF

Info

Publication number
CN114973215A
CN114973215A CN202210686090.9A CN202210686090A CN114973215A CN 114973215 A CN114973215 A CN 114973215A CN 202210686090 A CN202210686090 A CN 202210686090A CN 114973215 A CN114973215 A CN 114973215A
Authority
CN
China
Prior art keywords
driver
eye
image data
image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210686090.9A
Other languages
English (en)
Inventor
孔繁昊
陈明轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202210686090.9A priority Critical patent/CN114973215A/zh
Publication of CN114973215A publication Critical patent/CN114973215A/zh
Priority to PCT/CN2023/097394 priority patent/WO2023241358A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明实施例提供了一种疲劳驾驶的确定方法、装置及电子设备，应用于图像处理技术领域，该方法包括：获取指定时间段内，针对驾驶员所采集的多帧图像数据；针对每一图像数据，从图像数据中，获取包含驾驶员的眼睛的眼部图像；利用预先训练的睁闭眼模型，识别每一眼部图像中驾驶员的睁闭眼状态；其中，睁闭眼模型是利用样本眼部图像以及样本眼部图像对应的睁闭眼状态的真值训练得到的；基于各眼部图像中驾驶员的睁闭眼状态，确定驾驶员是否疲劳驾驶。通过本方案，能够提高疲劳驾驶确定的准确度。

Description

一种疲劳驾驶的确定方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域，特别是涉及一种疲劳驾驶的确定方法、装置及电子设备。
背景技术
随着公路交通事业逐渐繁荣，车辆数量不断上升，道路交通安全问题变得日益严重起来。由于疲劳驾驶导致的交通事故比一般交通事故要严重很多，因此，对驾驶员的疲劳程度进行实时确定与预警，对避免交通事故的发生具有重要的意义。
相关技术中，多通过确定眼睛是否频繁闭眼来确定驾驶员是否疲劳驾驶，具体的，通过识别驾驶员人脸图像上的人眼关键点，进而基于各人眼关键点之间的位置关系随时间的变化情况，来确定驾驶员是否频繁闭眼。
由于人眼关键点是标注在人脸图像中眼睛部位的像素点上，而人脸图像中眼部区域占比较小，使得眼部区域的像素点较少，导致所识别的人眼关键点容易出错，进而导致很难准确确定驾驶员是否频繁闭眼，从而使得疲劳驾驶的确定的准确度不高。
发明内容
本发明实施例的目的在于提供一种疲劳驾驶的确定方法、装置及电子设备，用以提高疲劳驾驶确定的准确度。具体技术方案如下：
第一方面，本发明实施例提供了一种疲劳驾驶的确定方法，该方法包括：
获取指定时间段内，针对驾驶员所采集的多帧图像数据；
针对每一所述图像数据，从所述图像数据中，获取包含所述驾驶员的眼睛的眼部图像；
利用预先训练的睁闭眼模型，识别每一所述眼部图像中所述驾驶员的睁闭眼状态；其中，所述睁闭眼模型为：利用样本眼部图像以及所述样本眼部图像对应的睁闭眼状态的真值训练得到的；
基于各眼部图像中所述驾驶员的睁闭眼状态，确定所述驾驶员是否疲劳驾驶。
可选地，在所述获取指定时间段内，针对驾驶中的驾驶员采集的多帧图像数据之后，所述方法还包括：
获取各图像数据中，所述驾驶员的头部姿态信息和/或所述驾驶员的嘴巴张合状态；
所述基于各眼部图像中所述驾驶员的睁闭眼状态，确定所述驾驶员是否疲劳驾驶，包括：
基于各眼部图像中所述驾驶员的睁闭眼状态、以及所述各图像数据中所述驾驶员的头部姿态信息和/或所述驾驶员的嘴巴张合状态，确定所述驾驶员是否疲劳驾驶。
可选地，所述基于各眼部图像中所述驾驶员的睁闭眼状态、以及所述各图像数据中所述驾驶员的头部姿态信息和/或所述驾驶员的嘴巴张合状态，确定所述驾驶员是否疲劳驾驶，包括：
基于各眼部图像中所述驾驶员的睁闭眼状态，预估所述驾驶员是否疲劳驾驶，得到第一预估结果；
基于所述各图像数据中所述驾驶员的头部姿态信息，预估所述驾驶员是否疲劳驾驶，得到第二预估结果；和/或，基于所述各图像数据中所述驾驶员的嘴巴张合状态，预估所述驾驶员是否疲劳驾驶，得到第三预估结果；
基于所述第一预估结果，以及所述第二预估结果和/或所述第三预估结果，确定所述驾驶员是否疲劳驾驶。
可选地，所述基于各眼部图像中所述驾驶员的睁闭眼状态，预估所述驾驶员是否疲劳驾驶，包括：
基于各眼部图像中所述驾驶员的睁闭眼状态，确定所述驾驶员在所述指定时间段内的闭眼信息；其中，所述闭眼信息指示所述驾驶员的闭眼次数、闭眼时长、闭眼频率中的至少一者；
确定所述闭眼信息是否满足预设的闭眼疲劳检测条件；若满足，则确定所述驾驶员疲劳驾驶为第一预估结果，否则，确定所述驾驶员未疲劳驾驶为第一预估结果。
可选地，所述基于所述各图像数据中所述驾驶员的头部姿态信息，预估所述驾驶员是否疲劳驾驶，包括：
基于所述各图像数据中所述驾驶员的头部姿态信息，确定所述驾驶员在所述指定时间段内的头部晃动信息；其中，所述头部晃动信息指示所述驾驶员的点头次数、点头时长、点头频率中的至少一者；
确定所述头部晃动信息是否满足预设的头部疲劳检测条件；若满足，则确定所述驾驶员疲劳驾驶为第二预估结果，否则，确定所述驾驶员未疲劳驾驶为第二预估结果。
可选地，所述基于所述各图像数据中所述驾驶员的嘴巴张合状态，预估所述驾驶员是否疲劳驾驶，包括：
基于所述各图像数据中所述驾驶员的嘴巴张合状态，确定所述驾驶员在所述指定时间段内的张嘴信息；其中，所述张嘴信息指示所述驾驶员的张嘴次数、张嘴时长、张嘴频率中的至少一者；
确定所述张嘴信息是否满足预设的嘴部疲劳检测条件；若满足，则确定所述驾驶员疲劳驾驶为第三预估结果，否则，确定所述驾驶员未疲劳驾驶为第三预估结果。
可选地，所述基于所述第一预估结果，以及所述第二预估结果和/或所述第三预估结果，确定所述驾驶员是否疲劳驾驶，包括：
若所述第一预估结果，以及所述第二预估结果和/或所述第三预估结果中，指示所述驾驶员疲劳驾驶的占比大于指示所述驾驶员未疲劳驾驶的占比，则确定所述驾驶员疲劳驾驶，否则，确定所述驾驶员为未疲劳驾驶。
可选地，在所述获取各图像数据中，所述驾驶员的头部姿态信息和/或所述驾驶员的嘴巴张合状态之前，所述方法还包括：
确定所述指定时间段内所述驾驶员的嘴巴是否被遮挡；
所述获取各图像数据中，所述驾驶员的头部姿态信息和/或所述驾驶员的嘴巴张合状态，包括：
若在所述指定时间段内所述驾驶员的嘴巴被遮挡，获取各图像数据中，所述驾驶员的头部姿态信息；
若在所述指定时间段内所述驾驶员的嘴巴未被遮挡，获取各图像数据中，所述驾驶员的头部姿态信息以及所述驾驶员的嘴巴张合状态。
可选地，在所述针对每一所述图像数据，从所述图像数据中，获取包含所述驾驶员的眼睛的眼部图像之前，所述方法还包括：
确定所述指定时间段内所述驾驶员的眼睛是否被遮挡；
若未被遮挡，则执行所述针对每一所述图像数据，从所述图像数据中，获取包含所述驾驶员的眼睛的眼部图像的步骤。
若被遮挡，则基于所获取的所述驾驶员的头部姿态信息，和/或所述驾驶员的嘴巴张合状态，确定所述驾驶员是否疲劳驾驶。
可选地，所述从所述图像数据中，获取包含所述驾驶员的眼睛的眼部图像，包括：
对所述图像数据进行头部检测，确定所述图像数据中包含的每一头部对应的头部区域，并对所述图像数据进行人脸检测，确定所述图像数据中包含的每一人脸对应的人脸区域；
基于各头部区域和各人脸区域的位置，对各头部区域和各人脸区域进行关联；
从各与头部区域关联的人脸区域中，确定处于所述图像数据中指定区域内，或所占面积最大的人脸区域，作为所述驾驶员的人脸区域；
从所述驾驶员的人脸区域中，提取眼睛部位所在区域的图像，作为所述驾驶员的眼睛的眼部图像。
第二方面，本发明实施例还提供了一种疲劳驾驶的确定装置，该装置包括：
第一获取模块，用于获取指定时间段内，针对驾驶员指定时间段内；
第二获取模块，用于针对每一所述图像数据，从所述图像数据中，获取包含所述驾驶员的眼睛的眼部图像；
识别模块，用于利用预先训练的睁闭眼模型，识别每一所述眼部图像中所述驾驶员的睁闭眼状态；其中，所述睁闭眼模型是利用样本眼部图像以及所述样本眼部图像对应的睁闭眼状态的真值训练得到的；
第一确定模块，用于基于各眼部图像中所述驾驶员的睁闭眼状态，确定所述驾驶员是否疲劳驾驶。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述疲劳驾驶的确定方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述疲劳驾驶的确定方法的步骤。
本发明实施例有益效果：
本发明实施例提供的疲劳驾驶的确定方法，可以获取指定时间段内，针对驾驶员所采集的多帧图像数据；针对每一图像数据，从图像数据中，获取包含驾驶员的眼睛的眼部图像；利用预先训练的睁闭眼模型，识别每一眼部图像中驾驶员的睁闭眼状态；睁闭眼模型是利用样本眼部图像以及所述样本眼部图像对应的睁闭眼状态的真值训练得到的；基于各眼部图像中驾驶员的睁闭眼状态，确定驾驶员是否疲劳驾驶。可见，本方案中，通过利用预先训练的睁闭眼模型识别睁闭眼状态，由于睁闭眼模型在确定眼睛状态时所利用的是整个眼部图像，相比于相关技术中通过人眼关键点的确定的方式，准确度更高，从而可以提高睁闭眼状态确定的准确度，进而提高疲劳驾驶确定的准确度。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本发明实施例所提供的疲劳驾驶的确定方法的流程图；
图2为本发明实施例所提供的疲劳驾驶的确定方法的另一流程图
图3为本发明实施例中嘴巴的关键点的示意图；
图4为本发明实施例所提供的疲劳驾驶的确定方法的又一流程图；
图5为本发明实施例所提供的疲劳驾驶的装置的结构示意图；
图6为本发明实施例所提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本发明保护的范围。
随着公路交通事业逐渐繁荣，车辆数量不断上升。道路交通安全问题变得日益严重起来。据统计，由于疲劳驾驶导致的交通事故占总交通事故数的比例超过20％。且由于驾驶疲劳导致的交通事故通常为重大交通事故，驾驶员在交通事故中死亡概率较高。据有关研究表明，如果在发生交通事故前对疲劳驾驶的驾驶员进行提醒，可以成功避免90％左右的因疲劳驾驶造成的交通事故。因此，若能对驾驶员准确进行疲劳驾驶的确定，从而及时对疲劳驾驶的驾驶员进行提醒和预警，对避免交通事故的发生具有重要的意义。
相关技术中，多通过确定眼睛是否频繁闭眼来确定驾驶员是否疲劳驾驶，具体的，先通过车载摄像头在预定时间内连续拍摄多帧人脸图像；针对每一人脸图像，利用关键点识别算法，识别眼部位置的关键点，进而基于各人眼关键点之间的位置关系随时间的变化情况，来确定驾驶员是否频繁闭眼。然而，由于关键点是标记在一个个像素点上的，而眼部区域所占整张人脸图像的比例较小，所获取的眼部位置的像素点较少，导致关键点所标记的位置不准确，因此，利用人眼关键点的位置关系来确定驾驶员是否频繁闭眼的准确度不高，进一步地，会导致确定驾驶员是否处于疲劳驾驶状态的准确度不高。
为了解决上述问题，提高确定驾驶员是否疲劳驾驶的准确度，本发明实施例提供了一种疲劳驾驶的确定方法、装置及电子设备。
需要说明的是，在具体应用中，本发明实施例所提供的疲劳驾驶的确定方法可以应用于车辆内的图像采集设备中，例如车载摄像头，或者本发明实施例所提供的疲劳驾驶的确定方法还可以应用于其他各类电子设备，例如，智能手机、个人电脑、服务器以及其他具有数据处理能力的设备，该电子设备还可以为车载中控。需要说明的时，当应用于其他各类电子设备时，该电子设备可以与车辆内的图像采集设备相互通信，从而获取车辆内的图像采集设备所采集的图像数据。并且，本申请实施例提供的疲劳驾驶的确定方法可以通过软件、硬件或软硬件结合的方式实现。
本发明实施例所提供的一种疲劳驾驶的确定方法，可以包括以下步骤：
获取指定时间段内，针对驾驶员所采集的多帧图像数据；
针对每一图像数据，从图像数据中，获取包含驾驶员的眼睛的眼部图像；
利用预先训练的睁闭眼模型，识别每一眼部图像中驾驶员的睁闭眼状态；其中，睁闭眼模型是利用样本眼部图像以及样本眼部图像对应的睁闭眼状态的真值训练得到的；
基于各眼部图像中驾驶员的睁闭眼状态，确定驾驶员是否疲劳驾驶。
本实施例中，通过利用预先训练的睁闭眼模型识别睁闭眼状态，由于睁闭眼模型在确定眼睛状态时所利用的是整个眼部图像，相比于相关技术中通过人眼关键点的确定的方式，准确度更高，从而可以提高睁闭眼状态确定的准确度，进而提高疲劳驾驶确定的准确度。
下面结合附图，对本发明实施例所提供的一种疲劳驾驶的确定方法进行介绍。
如图1所示，本发明实施例所提供的一种疲劳驾驶的确定方法，可以包括步骤S101-步骤S104：
S101，获取指定时间段内，针对驾驶员所采集的多帧图像数据；
其中，发明实施例可以应用于配置有图像采集设备的车辆，对驾驶员进行疲劳驾驶的确定。图像采集设备可以安装于正对驾驶员的位置，或者车载中控的位置处等等。由于需要从每一帧图像数据中获取包含驾驶员的眼睛的眼部图像，需要保持图像采集设备的视野范围包含驾驶员的人脸。
多帧图像数据可以为图像采集设备所拍摄的视频流中的多帧图像数据。上述指定时间段可以为车辆启动后的任一时间段，示例性的，可以周期性地每隔五分钟，就采集10秒内图像采集设备所拍摄的视频流中的多帧图像数据。
在本发明实施例应用于图像采集设备的情况下，获取的多帧图像数据可以为图像采集设备所采集的多帧图像数据。
在本发明实施例应用于独立于图像采集设备的电子设备的情况下，获取的多帧图像数据可以为从图像采集设备拍摄的视频流中获取的多帧图像数据。
S102，针对每一图像数据，从图像数据中，获取包含驾驶员的眼睛的眼部图像；
本步骤中，为了提高疲劳驾驶确定的准确度，本发明实施例可以针对每一帧图像数据，从该图像数据中获取包含驾驶员的眼睛的眼部图像。其中，该眼部图像可以为整张图像数据，或者，为了提高后续识别的效率，该眼部图像可以为图像数据眼睛部位所在区域的图像。
可选的，所获取的眼部图像可以为单个眼睛所在区域的图像，例如左眼所在区域的左眼图像，或者右眼所在区域的右眼图像。或者，为了提高睁闭眼状态识别的准确度，所获取的眼部图像可以包括双眼的图像，一种方式，可以为左眼和右眼所在的共同区域的图像，此时眼部图像中即包含左眼，也包含右眼，另一种方式，所获取的眼部图像可以包括左眼图像和右眼图像两种图像。综合两只眼睛来进行疲劳驾驶的确定，相比一只眼睛更加准确。
示例性的，在一种实现方式中，还可以在获取到左眼图像和右眼图像之后，对左眼图像和右眼图像进行检测，确定左眼图像和右眼图像是否属于眼部图像，避免由于驾驶员侧脸导致识别出错误的眼部图像。驾驶员的左眼图像和右眼图像，并检测这两帧眼部图像是否存在眼睛，若只有一帧眼部图像中存在眼睛，则仅利用该张存在眼睛的眼部图像进行疲劳驾驶的确定，若两帧眼部图像中均存在眼睛，则可以综合两帧眼部图像来进行疲劳驾驶的确定。
本发明实施例中，从图像数据中，获取包含驾驶员的眼睛的眼部图像的方式可以有多种，可选的，至少包括以下两种方式中的一种：
第一种眼部图像获取方式，可以利用预先训练完成的眼部图像提取模型从图像数据中，获取包含驾驶员的眼睛的眼部图像，其中，该眼部图像提取模型为利用样本人脸图像，以及眼部图像的真值训练得到的。
第二种眼部图像获取方式，可以包括以下步骤A1-A4：
步骤A1，对图像数据进行头部检测，确定图像数据中包含的每一头部对应的头部区域，并对图像数据进行人脸检测，确定图像数据中包含的每一人脸对应的人脸区域；
在该步骤中，针对每一帧图像数据，可以利用目标检测算法或语义分割算法等方式，同时确定出该图像数据中的头部区域和人脸区域。
步骤A2，基于各头部区域和各人脸区域的位置，对各头部区域和各人脸区域进行关联；
一般地，属于同一个人员的人脸区域的位置应当包含在头部区域内，因此，可以将头部区域所包含的人脸区域，确定为该头部区域相关联的人脸区域，该头部区域和相关联的人脸区域属于同一人员。
步骤A3，从各与头部区域关联的人脸区域中，确定处于图像数据中指定区域内的人脸区域，或所占面积最大的人脸区域，作为驾驶员的人脸区域。
本方式中，针对每一帧图像数据，在确定该图像数据中驾驶员的人脸区域时，可以根据不同的情况，采用不同的方式确定该图像数据中的人脸区域，例如在该图像数据中只仅包含驾驶员的情况下，可以直接利用目标检测算法或者语义分割算法等方法，从该图像数据中确定驾驶员的头部区域和人脸区域。而在该图像数据中，不仅包含驾驶员外，还包含其他人员的情况下，可以先确定图像数据中所有人员的头部区域和相关联的人脸区域，再从各与头部区域关联的人脸区域中，将处于该图像数据中指定区域内的人脸区域，或所占面积最大的人脸区域，作为驾驶员的人脸区域。其中，指定区域可以为驾驶位置在该图像数据中得位置，本领域技术人员所知的，在图像采集设备固定后，图像采集设备与驾驶位置之间的相对位置即固定，使得图像采集设备所采集的图像数据中，驾驶位置所在的区域也固定，本发明实施例中，将图像数据中所在的驾驶位置所在的区域作为指定区域，以图像采集设备安装在正对驾驶位置为例，上述指定区域可以为图像数据的中间区域。由于图像采集设备正对驾驶位置，也可以将各与头部区域关联的人脸区域中所占面积最大的人脸区域，作为驾驶员的人脸区域。
通过基于各头部区域和各人脸区域的位置，对各头部区域和各人脸区域进行关联，并从各与头部区域关联的人脸区域中，确定处于图像数据中指定区域内的人脸区域，或所占面积最大的人脸区域，作为驾驶员的人脸区域，可以避免除驾驶员以外的人员的干扰。
得到驾驶员的人脸区域后，可以将相关联的头部区域作为驾驶员的头部区域。或者，也可以先确定处于图像数据中指定区域内的头部区域，或所占面积最大的头部区域，作为驾驶员的头部区域，再将相关联的人脸区域作为驾驶员的人脸区域，也是可以的。
步骤A4，从所确定的人脸区域中，提取眼睛部位所在区域的图像，作为驾驶员的眼睛的眼部图像。
在确定出驾驶员的人脸区域之后，可以进一步的从所确定的人脸区域中，提取眼睛部位所在区域的图像，作为驾驶员的眼睛的眼部图像。可选的，在确定出人脸区域后，可以利用关键点识别算法，对所确定的人脸区域进行关键点识别，在识别出人脸区域的关键点之后，从所识别的关键点中确定出人眼关键点，进而根据人眼关键点确定出驾驶员的人眼所在的区域，并进一步的对所确定的区域进行分割，得到驾驶员的眼睛的眼部图像。
S103，利用预先训练的睁闭眼模型，识别每一眼部图像中驾驶员的睁闭眼状态；其中，睁闭眼模型为：利用样本眼部图像以及样本眼部图像对应的睁闭眼状态的真值训练得到的；
其中，上述睁闭眼状态包括睁眼状态和闭眼状态。在得到各眼部图像之后，可以利用预先训练的睁闭眼模型，识别每一眼部图像中驾驶员的睁闭眼状态。可选的，可以将每一眼部图像输入至睁闭眼模型，进而得到睁闭眼模型输出的该眼部图像中驾驶员的睁闭眼状态。示例性的，多帧图像数据包括图像数据1、图像数据2以及图像数据3，从图像数据1中提取出眼部图像1、从图像数据2中提取出眼部图像2、从图像数据3中提取出眼部图像3，则可以将眼部图像1输入至睁闭眼模型，得到眼部图像1中驾驶员的睁闭眼状态，将眼部图像2输入至睁闭眼模型，得到眼部图像2中驾驶员的睁闭眼状态，将眼部图像3输入至睁闭眼模型，得到眼部图像3中驾驶员的睁闭眼状态。
上述睁闭眼模型可以为利用样本眼部图像以及样本眼部图像对应的睁闭眼状态的真值训练得到的，其中，样本眼部图像可以为多张，一部分样本眼部图像中的眼睛为睁眼状态，另一部分为闭眼状态；
样本眼部图像对应的睁闭眼状态的真值为：该样本眼部图像中的眼睛的实际的睁闭眼状态，样本眼部图像对应的睁闭眼状态的真值可以通过人工标记的方式得到。
上述睁闭眼模型的训练方式可以包括：
将多张样本眼部图像输入该待训练的睁闭眼模型中，使得待训练的睁闭眼模型输出关于各张样本眼部图像是睁闭眼状态的识别结果；再利用各个样本眼部图像对应的识别结果与该样本眼部图像对应的睁闭眼状态的真值计算该睁闭眼模型的模型损失；进而基于模型损失调整该睁闭眼模型的参数，直到该模型损失收敛，得到训练完成的睁闭眼模型。
上述睁闭眼模型是预先训练完成的，在实际应用过程中可直接利用已经预先训练完成的睁闭眼模型，识别每一眼部图像中驾驶员的睁闭眼状态。
S104，基于各眼部图像中驾驶员的睁闭眼状态，确定驾驶员是否疲劳驾驶。
正常情况下，眼睛每分钟大约要眨动10-15次，每次眨眼大概0.2-0.4秒，当人疲劳时，眨眼的速度会变慢，眨眼的频率也会增多。
可选的，基于各眼部图像中驾驶员的睁闭眼状态，确定驾驶员是否疲劳驾驶的方式至少可以包括以下步骤：
基于各眼部图像中驾驶员的睁闭眼状态，确定驾驶员在指定时间段内的闭眼信息；其中，闭眼信息指示驾驶员的闭眼次数、闭眼时长、闭眼频率中的至少一者；
即确定闭眼信息是否满足预设的闭眼疲劳检测条件；若满足，则确定驾驶员疲劳驾驶，否则，确定驾驶员未疲劳驾驶。
上述确定闭眼信息是否满足预设的闭眼疲劳检测条件的方式可以有很多种，可选的，至少可以包括以下三种方式中的一种：
第一种确定方式，在预设的闭眼疲劳检测条件为指定时间段内驾驶员处于闭眼状态的时长达到预设时长阈值的情况下，可以统计指定时间段内驾驶员处于闭眼状态的时长是否达到预设时长阈值。可以理解的，由于本发明实施例中是利用每一帧图像数据来识别驾驶员的睁闭眼状态，图像采集设备可以每隔预定时间就采集一帧图像数据，例如一秒采集24帧图像数据，此时，可将每一帧图像数据所占的时长视为1/24秒。在这种情况下，统计指定时间段内驾驶员处于闭眼状态的图像数据的帧数，就能得到指定时间段内驾驶员处于闭眼状态的时长。若指定时间段内驾驶员处于闭眼状态的时长达到预设时长阈值，则确定满足预设的闭眼疲劳检测条件。
第二种确定方式，在预设的闭眼疲劳检测条件为指定时间段内驾驶员闭眼的次数达到预设次数阈值的情况下，可以统计指定时间段内驾驶员闭眼的次数是否达到预设次数阈值。可以理解的，在图像采集设备每隔预定时间就采集一帧图像数据的情况下，当出现前一帧图像数据对应的睁闭眼状态为睁眼状态，下一帧图像数据对应的睁闭眼状态变为了闭眼状态的情况，则认为驾驶员闭眼一次。若指定时间段内驾驶员闭眼的此时达到预设次数阈值，则确定满足预设的闭眼疲劳检测条件。
第三种确定方式，在预设的闭眼疲劳检测条件为指定时间段内存在连续的预定数量帧第一目标图像数据的情况下，其中，第一目标图像数据是驾驶员处于闭眼状态的图像数据，可以检测指定时间段内是否存在连续的预定数量帧第一目标图像数据，若是，则确定满足预设的闭眼疲劳检测条件。
本实施例中，通过利用预先训练的睁闭眼模型识别睁闭眼状态，由于睁闭眼模型在确定眼睛状态时所利用的是整个眼部图像，相比于相关技术中通过人眼关键点的确定的方式，准确度更高，从而可以提高睁闭眼状态确定的准确度，进而提高疲劳驾驶确定的准确度。
为了进一步提高确定驾驶员是否疲劳驾驶的准确度，本发明实施例还引入了其他确定驾驶员是否疲劳驾驶的方式。可选的，如图2所示，在本发明的另一实施例中，在获取指定时间段内，针对驾驶中的驾驶员采集的多帧图像数据之后，本发明实施例所提供的一种疲劳驾驶的确定方法还包括S201：
S201，获取各图像数据中，驾驶员的头部姿态信息和/或驾驶员的嘴巴张合状态；
其中，头部姿态信息可以包括头部姿态角的角度，头部姿态角指头部的俯仰角、偏航角和翻转角。当驾驶员疲劳驾驶时，往往会出现打瞌睡的情况，人在打瞌睡时，头部会下垂或者向两边倾斜，其中，头部下垂对应头部的俯仰角，头部向两边倾斜对应头部的翻转角。因此，可以将头部姿态信息作为确定驾驶员是否疲劳驾驶的依据。
嘴巴张合状态可以包括张嘴状态和闭嘴状态。当驾驶员疲劳驾驶时，打哈欠的频率也会增多。因此，也可以将嘴巴张合状态作为确定驾驶员是否疲劳驾驶的依据。
基于各眼部图像中驾驶员的睁闭眼状态，确定驾驶员是否疲劳驾驶，可以包括步骤S202：
S202，基于各眼部图像中驾驶员的睁闭眼状态、以及各图像数据中驾驶员的头部姿态信息和/或驾驶员的嘴巴张合状态，确定驾驶员是否疲劳驾驶。
本发明实施例中，可以利用驾驶员的睁闭眼状态，结合驾驶员的头部姿态信息和驾驶员的嘴巴张合状态两种方式，或者后两种方式中的任一种，来作为确定驾驶员是否疲劳驾驶的依据。
上述基于各眼部图像中驾驶员的睁闭眼状态、以及各图像数据中驾驶员的头部姿态信息和/或驾驶员的嘴巴张合状态，确定驾驶员是否疲劳驾驶，至少可以包括以下方式：
基于各眼部图像中驾驶员的睁闭眼状态，预估驾驶员是否疲劳驾驶，得到第一预估结果；
基于各图像数据中驾驶员的头部姿态信息，预估驾驶员是否疲劳驾驶，得到第二预估结果；和/或，基于各图像数据中驾驶员的嘴巴张合状态，预估驾驶员是否疲劳驾驶，得到第三预估结果；
由于要结合各图像数据中驾驶员的头部姿态信息，和/或各图像数据中驾驶员的嘴巴张合状态共同作为确定驾驶员是否疲劳驾驶的依据，因此，驾驶员的睁闭眼状态、驾驶员的头部姿态信息、驾驶员的嘴巴张合状态三种依据中的单独一个仅用于预估驾驶员是否疲劳驾驶，得到预估结果，不直接用于确定驾驶员是否疲劳驾驶。
最后，基于第一预估结果，以及第二预估结果和/或第三预估结果，确定驾驶员是否疲劳驾驶。
其中，各个预估结果可以表征为，驾驶员疲劳驾驶，或驾驶员未疲劳驾驶。上述基于第一预估结果，以及第二预估结果和/或第三预估结果，确定驾驶员是否疲劳驾驶的方式可以有多种，至少可以包括以下两种方式中的一种：
第一种方式，第一预估结果、第二预估结果、第三预估结果表征为驾驶员未疲劳驾驶时，得分记为0；表征为驾驶员疲劳驾驶时，第一预估结果对应第一得分，第二预估结果对应第二得分，第三预估结果对应第三得分。最后将各个预估结果的得分相加得到总分，若总分达到预定的得分阈值，则确定驾驶员疲劳驾驶，若未达到，则确定驾驶员未疲劳驾驶。
第二种方式，若第一预估结果，以及第二预估结果和/或第三预估结果中，指示驾驶员疲劳驾驶的占比大于指示驾驶员未疲劳驾驶的占比，则确定驾驶员疲劳驾驶，否则，确定驾驶员为未疲劳驾驶。在该方式下，若利用了其中的两种预估结果来确定驾驶员是否疲劳驾驶，则需要这两个预估结果均表征为驾驶员疲劳驾驶时，确定驾驶员疲劳驾驶；若利用了三预估结果来确定驾驶员是否疲劳驾驶，则在第一预估结果、第二预估结果和第三预估结果中的两个预估结果为驾驶员疲劳驾驶时，则确定驾驶员疲劳驾驶。
本发明实施例中，在获取指定时间段内，针对驾驶中的驾驶员采集的多帧图像数据之后，获取各图像数据中，驾驶员的头部姿态信息和/或驾驶员的嘴巴张合状态；并基于各眼部图像中驾驶员的睁闭眼状态、以及各图像数据中驾驶员的头部姿态信息和/或驾驶员的嘴巴张合状态，确定驾驶员是否疲劳驾驶。可见，本方案中，可以根据实际应用情况利用驾驶员的睁闭眼状态，结合驾驶员的头部姿态信息和驾驶员的嘴巴张合状态两种方式，或者后两种方式中的一种方式来作为确定驾驶员是否疲劳驾驶的依据，从而可以灵活地根据实际应用情况调整确定驾驶员是否疲劳驾驶的方式，以提高不同场景下确定驾驶员是否疲劳驾驶的准确度。
上述基于各眼部图像中驾驶员的睁闭眼状态，预估驾驶员是否疲劳驾驶，与上述基于各眼部图像中驾驶员的睁闭眼状态，确定驾驶员是否疲劳驾驶的方式类似，可以包括：
基于各眼部图像中驾驶员的睁闭眼状态，确定驾驶员在指定时间段内的闭眼信息；其中，闭眼信息指示驾驶员的闭眼次数、闭眼时长、闭眼频率中的至少一者；
确定闭眼信息是否满足预设的闭眼疲劳检测条件；若满足，则确定第一预估结果为驾驶员疲劳驾驶，否则，确定第一预估结果为驾驶员未疲劳驾驶。
由于上文中已介绍基于各眼部图像中驾驶员的睁闭眼状态，确定驾驶员是否疲劳驾驶，在此不再赘述。下面分别具体地介绍基于各图像数据中驾驶员的头部姿态信息，预估驾驶员是否疲劳驾驶，和基于各图像数据中驾驶员的驾驶员的嘴巴张合状态，预估驾驶员是否疲劳驾驶。
首先介绍基于各图像数据中驾驶员的头部姿态信息，预估驾驶员是否疲劳驾驶。
需要说明的是，基于各图像数据中驾驶员的头部姿态信息，预估驾驶员是否疲劳驾驶的方式可以有多种，至少可以包括以下步骤B1-B2：
步骤B1，基于各图像数据中驾驶员的头部姿态信息，确定驾驶员在指定时间段内的头部晃动信息；其中，头部晃动信息指示驾驶员的点头次数、点头时长、点头频率中的至少一者；
在确定各个图像数据中驾驶员的头部区域后，可以从图像数据中提取出驾驶员的头部区域图像，再进一步地利用驾驶员的头部区域图像得到驾驶员的头部姿态信息。其中，头部姿态信息可以为驾驶员的头部的俯仰角和/或翻滚角，头部姿态信息也可以利用预先训练完成的人头姿态估计模型得到；与睁闭眼模型类似，该人头姿态估计模型可以是利用样本头部图像以及样本头部图像对应的俯仰角和/或翻滚角的真值训练得到的。
当驾驶员的头部的俯仰角和/或翻滚角达到预定的角度阈值时，则可以认为驾驶员发生了点头的情况。统计指定时间段内驾驶员的点头次数、点头时长、点头频率中的至少一者，得到驾驶员在指定时间段内的头部晃动信息。
步骤B2，确定头部晃动信息是否满足预设的头部疲劳检测条件；若满足，则确定驾驶员疲劳驾驶为第二预估结果，否则，确定驾驶员未疲劳驾驶为第二预估结果。
其中，头部疲劳检测条件可以为指定时间段内驾驶员的点头次数达到预定次数阈值和/或点头时长达到预定时长阈值。头部疲劳检测条件还可以为指定时间段内驾驶员的点头时长所占指定时间段的时间比例达到预定比例阈值。当然，头部疲劳检测条件也可以不限于此。
当头部晃动信息满足预设的头部疲劳检测条件时，则确定驾驶员疲劳驾驶为第二预估结果，若不满足，则确定驾驶员未疲劳驾驶为第二预估结果。
示例性的，在10s内，当驾驶员的头部的俯仰角或翻滚角的角度达到了25度，且时长占比达到了30％，即3s，则可以确定驾驶员疲劳驾驶为第二预估结果。
本实施例中，基于各图像数据中驾驶员的头部姿态信息，确定驾驶员在指定时间段内的头部晃动信息；确定头部晃动信息是否满足预设的头部疲劳检测条件；若满足，则确定驾驶员疲劳驾驶为第二预估结果，否则，确定驾驶员未疲劳驾驶为第二预估结果。可见，本方案中，提供了利用各图像数据中驾驶员的头部姿态信息预估驾驶员是否疲劳驾驶的方式，增加了各图像数据中驾驶员的头部姿态信息作为确定驾驶员是否疲劳驾驶的依据，从而提高不同场景下确定驾驶员是否疲劳驾驶的准确度。
下面介绍基于各图像数据中驾驶员的驾驶员的嘴巴张合状态，预估驾驶员是否疲劳驾驶。可选的，基于各图像数据中驾驶员的嘴巴张合状态，预估驾驶员是否疲劳驾驶可以包括以下步骤C1-C2：
步骤C1，基于各图像数据中驾驶员的嘴巴张合状态，确定驾驶员在指定时间段内的张嘴信息；其中，张嘴信息指示驾驶员的张嘴次数、张嘴时长、张嘴频率中的至少一者；
类似的，为了确定驾驶员的嘴巴张合状态，也可以先利用关键点识别算法，在上述人脸区域中驾驶员的嘴巴上标记出关键点，再根据关键点的位置，确定驾驶员的嘴巴张合状态。
示例性的，上述根据关键点的位置，确定驾驶员的嘴巴张合状态的方式可以有多种，可选的，至少包括以下方式：
如图3所示，图3展示了利用关键点识别算法在驾驶员的嘴巴上标记出关键点的示意图，图3中，点50-点68为关键点识别算法所识别的嘴部的关键点，本发明实施例中用p50-p68分别表示。可以利用关键点计算嘴巴的纵横比，纵横比＝垂直距离/水平距离。以图3为例，垂直距离可以为p51点和p53点的连线的中点，与p59点和p57点连线的中点之间的距离；水平距离可以为p49点和p55点之间的距离。其中，垂直距离的确定方式也可以不仅仅局限于此，例如，垂直距离还可以为p52点到p58点的距离等。若计算出的纵横比达到了预定纵横比阈值，预定纵横比阈值通常设置为0.5，则确定驾驶员的嘴巴为张开状态，否则，确定驾驶员的嘴巴为闭合状态。
张嘴信息则用于指示驾驶员的在指定时间段内的张嘴次数、张嘴时长、张嘴频率中的至少一者。
步骤C2，确定张嘴信息是否满足预设的嘴部疲劳检测条件；若满足，则确定驾驶员疲劳驾驶为第三预估结果，否则，确定驾驶员未疲劳驾驶为第三预估结果。
其中，确定张嘴信息是否满足预设的嘴部疲劳检测条件与上述确定闭眼信息是否满足预设的闭眼疲劳检测条件的方式类似。例如，预设的嘴部疲劳检测条件可以为，指定时间段内存在连续的预定数量帧第二目标图像数据，其中，第二目标图像数据为驾驶员嘴巴处于张开嘴状态的图像数据。该情况下，可以检测指定时间段内是否存在连续的预定数量帧第二目标图像数据，若是，则确定满足预设的嘴部疲劳检测条件。其他确定张嘴信息是否满足预设的嘴部疲劳检测条件的方式在此不再赘述。
本实施例中，基于各图像数据中驾驶员的嘴巴张合状态，确定驾驶员在指定时间段内的张嘴信息；确定张嘴信息是否满足预设的嘴部疲劳检测条件；若满足，则确定驾驶员疲劳驾驶为第三预估结果，否则，确定驾驶员未疲劳驾驶为第三预估结果。可见，本方案中，提供了利用各图像数据中驾驶员的嘴巴张合状态预估驾驶员是否疲劳驾驶的方式，增加了各图像数据中驾驶员的头部姿态信息作为确定驾驶员是否疲劳驾驶的依据，从而提高不同场景下确定驾驶员是否疲劳驾驶的准确度。
可选地，在本发明的另一实施例中，在上述获取各图像数据中，驾驶员的头部姿态信息和/或驾驶员的嘴巴张合状态之前，本发明实施例所提供的疲劳驾驶的确定方法还可以包括：
确定指定时间段内驾驶员的嘴巴是否被遮挡；
考虑到在驾驶员嘴部存在障碍物的情况，例如口罩等，此时无法判断驾驶员的嘴巴张合状态，从而无法利用驾驶员的嘴巴张合状态来预估驾驶员是否疲劳驾驶。因此，可以在获取各图像数据中，驾驶员的头部姿态信息和/或驾驶员的嘴巴张合状态之前，确定指定时间段内指定时间段内中，驾驶员的嘴巴是否被遮挡。确定指定时间段内驾驶员的嘴巴是否被遮挡，至少可以包括以下方式：
针对每一图像数据，从图像数据中，确定驾驶员的人脸区域，并从图像数据中截取出驾驶员的人脸图像，进而可以将人脸图像输入至预先训练的第一人脸质量模型，以检测该人脸图像中驾驶员的嘴巴是否被遮挡。可选的，为了提高识别的准确度，可以在将人脸图像输入至预先训练的第一人脸质量模型之前，利用人脸对齐算法将人脸图像中的人脸对齐到统一的形状，进而将对齐后的人脸图像输入至第一人脸质量模型。上述第一人脸质量模型用于检测人脸图像的嘴巴是否被遮挡，可以利用样本人脸图像，以及样本人脸图像对应的是否嘴巴被遮挡的真值训练得到的。
获取各图像数据中，驾驶员的头部姿态信息和/或驾驶员的嘴巴张合状态，可以包括：
若在指定时间段内驾驶员的嘴巴被遮挡，获取各图像数据中，驾驶员的头部姿态信息；
当确定指定时间段内驾驶员的嘴巴被遮挡，则说明无法利用驾驶员的嘴巴张合状态来预估驾驶员是否疲劳驾驶，此时可以不用获取驾驶员的嘴巴张合状态，但可以利用驾驶员的头部姿态信息预估驾驶员是否疲劳驾驶。
若在指定时间段内驾驶员的嘴巴未被遮挡，获取各图像数据中，驾驶员的头部姿态信息以及驾驶员的嘴巴张合状态。
当确定指定时间段内驾驶员的嘴巴未被遮挡，则说明可以利用驾驶员的嘴巴张合状态来预估驾驶员是否疲劳驾驶，此时可以获取各图像数据中，驾驶员的头部姿态信息以及驾驶员的嘴巴张合状态，从而可以基于各图像数据中驾驶员的头部姿态信息，预估驾驶员是否疲劳驾驶，得到第二预估结果，同时基于各图像数据中驾驶员的嘴巴张合状态，预估驾驶员是否疲劳驾驶，得到第三预估结果。第二预估结果和第三预估结果均用于确定驾驶员是否疲劳驾驶。
同样的，驾驶员的眼睛也可能被遮挡的情况，例如驾驶员戴了墨镜等情况，此时也无法判断驾驶员的睁闭眼状态，从而无法利用驾驶员的睁闭眼状态来预估驾驶员是否疲劳驾驶。在针对每一图像数据，从图像数据中，获取包含驾驶员的眼睛的眼部图像之前，本发明实施例所提供的疲劳驾驶的确定方法还可以包括：
确定指定时间段内驾驶员的眼睛是否被遮挡；
与确定指定时间段内驾驶员的嘴巴是否被遮挡的方式类似，可以在获取每一帧图像数据之后，确定驾驶员的人脸区域，并从图像数据中截取出驾驶员的人脸图像，进而可以将人脸图像输入至预先训练的第二人脸质量模型，其中，第二人脸质量模型，以检测该人脸图像中驾驶员的眼睛是否被遮挡。同样的，为了提高识别的准确度，可以在将人脸图像输入至预先训练的第一人脸质量模型之前，利用人脸对齐算法将人脸图像中的人脸对齐到统一的形状，进而将对齐后的人脸图像输入至第二人脸质量模型。上述第二人脸质量模型用于检测人脸图像的眼睛是否被遮挡，可以利用样本人脸图像，以及样本人脸图像对应的是否眼睛被遮挡的真值训练得到的。
若未被遮挡，则执行针对每一图像数据，从图像数据中，获取包含驾驶员的眼睛的眼部图像的步骤。
当指定时间段内驾驶员眼睛未被遮挡，则可以利用驾驶员的睁闭眼状态来评估驾驶员是否疲劳驾驶。
若被遮挡，则基于所获取的驾驶员的头部姿态信息，和/或驾驶员的嘴巴张合状态，确定驾驶员是否疲劳驾驶。
当指定时间段内驾驶员眼睛被遮挡，说明无法利用驾驶员的睁闭眼状态来评估驾驶员是否疲劳驾驶，此时，可以不执行针对每一图像数据，从图像数据中，获取包含驾驶员的眼睛的眼部图像的步骤，而执行获取各图像数据中，驾驶员的头部姿态信息，和/或驾驶员的嘴巴张合状态的步骤，从而利用驾驶员的头部姿态信息，和/或驾驶员的嘴巴张合状态，确定驾驶员是否疲劳驾驶。
可选的，在一种实现方式中，为了提高检测效率，同时检测驾驶员眼睛和嘴巴是否被遮挡，此时，在获取每一帧人脸图像之后，可以将人脸图像输入至第三人脸质量模型，以同时得到驾驶员眼睛和嘴巴是否被遮挡的检测结果。此时，上述第三人脸质量模型可以利用样本人脸图像，以及样本人脸图像对应眼睛和嘴巴是否被遮挡的真值训练得到的。上述检测结果会存在以下四种情况：眼睛和嘴巴均未被遮挡；眼睛被遮挡，嘴巴未被遮挡；眼睛未被遮挡，嘴巴被遮挡；眼睛和嘴巴均被遮挡。
此时，考虑到驾驶员的嘴巴和眼睛被遮挡的情况，本发明实施例可以分为以下四种情况：
第一种情况，指定时间段内驾驶员的眼睛和嘴巴均未被遮挡，该情况下，可以获取各图像数据中，驾驶员的睁闭眼状态，驾驶员的头部姿态信息和驾驶员的嘴巴张合状态；基于各眼部图像中驾驶员的睁闭眼状态，预估驾驶员是否疲劳驾驶，得到第一预估结果；基于各图像数据中驾驶员的头部姿态信息，预估驾驶员是否疲劳驾驶，得到第二预估结果；并基于各图像数据中驾驶员的嘴巴张合状态，预估驾驶员是否疲劳驾驶，得到第三预估结果；最后基于第一预估结果、第二预估结果和第三预估结果，确定驾驶员是否疲劳驾驶。
第二种情况，指定时间段内驾驶员的眼睛被遮挡，嘴巴未被遮挡，该情况下，可以获取各图像数据中，驾驶员的头部姿态信息和驾驶员的嘴巴张合状态；基于各图像数据中驾驶员的头部姿态信息，预估驾驶员是否疲劳驾驶，得到第二预估结果；并基于各图像数据中驾驶员的嘴巴张合状态，预估驾驶员是否疲劳驾驶，得到第三预估结果；最后基于第二预估结果和第三预估结果，确定驾驶员是否疲劳驾驶。
第三种情况，指定时间段内驾驶员的眼睛未被遮挡，嘴巴被遮挡，该情况下，可以获取各图像数据中，驾驶员的睁闭眼状态和驾驶员的头部姿态信息；基于各眼部图像中驾驶员的睁闭眼状态，预估驾驶员是否疲劳驾驶，得到第一预估结果；基于各图像数据中驾驶员的头部姿态信息，预估驾驶员是否疲劳驾驶，得到第二预估结果；最后基于第一预估结果和第二预估结果，确定驾驶员是否疲劳驾驶。
第四种情况，指定时间段内驾驶员的眼睛和嘴巴均被遮挡，该情况下，可以仅获取各图像数据中，驾驶员的头部姿态信息；最后基于各图像数据中驾驶员的头部姿态信息直接确定驾驶员是否疲劳驾驶。
本实施例中，考虑了在指定时间段内，驾驶员眼睛和/或嘴巴是否被遮挡的不同情况，从而解决了驾驶员眼睛或嘴巴被遮挡时，无法利用驾驶员眼睛或嘴巴评估驾驶员是否疲劳驾驶的问题。
为了方便理解，下面结合附图对发明实施例所提供的一种疲劳驾驶的确定方法进行示例性介绍。
如图4所示，在一实施例中，本发明实施例可以包括如下步骤：
步骤1，首先对采集的图像数据进行头部检测和人脸检测，生成图像数据中所有人员的头部区域的识别框，和人脸区域的识别框，从而确定各个头部区域和人脸区域。
步骤2，根据各个头部区域的识别框，和人脸区域的识别框的位置，对各个头部区域和各人脸区域进行关联，选取面积最大的头部区域作为驾驶员的头部区域，从而截取出驾驶员头部图像和人脸图像。
步骤3，判断图像数据中是否存在头部区域，若是，获取头部姿态信息。
步骤4，利用关键点识别算法，在人脸图像中生成人脸的关键点，确定眼部区域，进而得到眼部图像。
步骤5，利用人脸对齐算法(相似性变换或放射变换)，把人脸图像中的人脸对齐到统一的形状。
步骤6，利用图像质量评价算法评估人脸图像的质量，得到人脸图像的图像质量得分，同时，检测驾驶员的嘴巴是否被遮挡，得到嘴部质量得分，示例性的，可以针对驾驶员的嘴巴被遮挡的情况设定对应的嘴部质量得分，以及针对驾驶员的嘴巴未被遮挡的情况设定另一对应的嘴部质量得分；同样的，检测驾驶员的眼睛否被遮挡，得到眼部质量得分；加权相加图像质量得分、嘴部质量得分和眼部质量得分，得到人脸质量的得分。
步骤7，判断人脸质量得分是否达到预定得分阈值，若否，则仅基于各图像数据中驾驶员的头部姿态信息，预估驾驶员是否疲劳驾驶，得到第一预估结果；若是，则基于各图像数据中驾驶员的头部姿态信息，预估驾驶员是否疲劳驾驶，得到第二预估结果，并执行步骤8。
步骤8，判断驾驶员的眼睛是否被遮挡；若否，则利用睁闭眼模型识别每一眼部图像中驾驶员的睁闭眼状态，基于各眼部图像中驾驶员的睁闭眼状态，预估驾驶员是否疲劳驾驶，得到第一预估结果，并执行步骤9；若是，则直接执行步骤9。
步骤9，判断驾驶员的嘴巴是否被遮挡。
步骤10，若驾驶员的嘴巴未被遮挡，则获取各图像数据中，驾驶员的嘴巴张合状态，基于各图像数据中驾驶员的嘴巴张合状态，预估驾驶员是否疲劳驾驶，得到第三预估结果。
步骤11，根据上述过程中获取的各个预估结果，确定驾驶员是否疲劳驾驶。
可见，本实施例中，通过利用预先训练的睁闭眼模型识别睁闭眼状态，由于睁闭眼模型在确定眼睛状态时所利用的是整个眼部图像，相比于相关技术中通过人眼关键点的确定的方式，准确度更高，从而可以提高睁闭眼状态确定的准确度，进而提高疲劳驾驶确定的准确度。进一步地，还将驾驶员的头部姿态信息和驾驶员的嘴巴张合状态也作为确定确定驾驶员是否疲劳驾驶的依据，从而可以灵活地根据实际应用情况调整确定驾驶员是否疲劳驾驶的方式，以提高不同场景下确定驾驶员是否疲劳驾驶的准确度。
本发明实施例还提供了一种疲劳驾驶的确定装置，如图5所示，该装置包括：
第一获取模块510，用于获取指定时间段内，针对驾驶员所采集的多帧图像数据；
第二获取模块520，用于针对每一所述图像数据，从所述图像数据中，获取包含所述驾驶员的眼睛的眼部图像；
识别模块530，用于利用预先训练的睁闭眼模型，识别每一所述眼部图像中所述驾驶员的睁闭眼状态；其中，所述睁闭眼模型是利用样本眼部图像以及所述样本眼部图像对应的睁闭眼状态的真值训练得到的；
第一确定模块540，用于基于各眼部图像中所述驾驶员的睁闭眼状态，确定所述驾驶员是否疲劳驾驶。
可选地，所述装置还包括：第三获取模块，用于在所述第一获取模块获取指定时间段内，针对驾驶中的驾驶员采集的多帧图像数据之后，获取各图像数据中，所述驾驶员的头部姿态信息和/或所述驾驶员的嘴巴张合状态；
所述第一确定模块具体用于：
基于各眼部图像中所述驾驶员的睁闭眼状态、以及各图像数据中所述驾驶员的头部姿态信息和/或所述驾驶员的嘴巴张合状态，确定所述驾驶员是否疲劳驾驶。
可选地，所述第一确定模块，包括：
第一预估子模块，用于基于各眼部图像中所述驾驶员的睁闭眼状态，预估所述驾驶员是否疲劳驾驶，得到第一预估结果；
第二预估子模块，用于基于各图像数据中所述驾驶员的头部姿态信息，预估所述驾驶员是否疲劳驾驶，得到第二预估结果；和/或，基于各图像数据中所述驾驶员的嘴巴张合状态，预估所述驾驶员是否疲劳驾驶，得到第三预估结果；
第一确定子模块，用于基于所述第一预估结果，以及所述第二预估结果和/或所述第三预估结果，确定所述驾驶员是否疲劳驾驶。
可选地，所述第一预估子模块，包括：
第一确定单元，用于基于各眼部图像中所述驾驶员的睁闭眼状态，确定所述驾驶员在所述指定时间段内的闭眼信息；其中，所述闭眼信息指示所述驾驶员的闭眼次数、闭眼时长、闭眼频率中的至少一者；
第二确定单元，用于确定所述闭眼信息是否满足预设的闭眼疲劳检测条件；若满足，则确定所述第一预估结果为驾驶员疲劳驾驶，否则，确定所述第一预估结果为驾驶员未疲劳驾驶。
可选地，所述第二预估子模块基于各图像数据中所述驾驶员的头部姿态信息，预估所述驾驶员是否疲劳驾驶，得到第二预估结果，包括：
基于各图像数据中所述驾驶员的头部姿态信息，确定所述驾驶员在所述指定时间段内的头部晃动信息；其中，所述头部晃动信息指示所述驾驶员的点头次数、点头时长、点头频率中的至少一者；
确定所述头部晃动信息是否满足预设的头部疲劳检测条件；若满足，则确定所述第二预估结果为驾驶员疲劳驾驶，否则，确定所述第二预估结果为驾驶员未疲劳驾驶。
可选地，所述第二预估子模块基于各图像数据中所述驾驶员的嘴巴张合状态，预估所述驾驶员是否疲劳驾驶，包括：
基于各图像数据中所述驾驶员的嘴巴张合状态，确定所述驾驶员在所述指定时间段内的张嘴信息；其中，所述张嘴信息指示所述驾驶员的张嘴次数、张嘴时长、张嘴频率中的至少一者；
确定所述张嘴信息是否满足预设的嘴部疲劳检测条件；若满足，则确定所述第三预估结果为驾驶员疲劳驾驶，否则，确定所述第三预估结果为驾驶员未疲劳驾驶。
可选地，所述第一确定子模块具体用于：
若所述第一预估结果，以及所述第二预估结果和/或所述第三预估结果中，指示所述驾驶员疲劳驾驶的占比大于指示所述驾驶员未疲劳驾驶的占比，则确定所述驾驶员疲劳驾驶，否则，确定所述驾驶员为未疲劳驾驶。
可选地，所述装置还包括：第二确定模块，用于在所述第三获取模块获取各图像数据中，所述驾驶员的头部姿态信息和/或所述驾驶员的嘴巴张合状态之前，确定所述指定时间段内所述驾驶员的嘴巴是否被遮挡；
所述第一确定模块具体用于：
若在所述指定时间段内所述驾驶员的嘴巴被遮挡，获取各图像数据中，所述驾驶员的头部姿态信息；
若在所述指定时间段内所述驾驶员的嘴巴未被遮挡，获取各图像数据中，所述驾驶员的头部姿态信息以及所述驾驶员的嘴巴张合状态。
可选地，所述装置还包括：第三确定模块，用于在所述第二获取模块针对每一图像数据，从所述图像数据中，获取包含所述驾驶员的眼睛的眼部图像之前，确定所述指定时间段内所述驾驶员的眼睛是否被遮挡；若未被遮挡，则触发所述获取模块执行所述针对每一所述图像数据，从所述图像数据中，获取包含所述驾驶员的眼睛的眼部图像。
第四确定模块，用于若被遮挡，则基于所获取的所述驾驶员的头部姿态信息，和/或所述驾驶员的嘴巴张合状态，确定所述驾驶员是否疲劳驾驶。
可选地，所述第二获取模块包括：
第二确定子模块，用于对所述图像数据进行头部检测，确定所述图像数据中包含的每一头部对应的头部区域，并对所述图像数据进行人脸检测，确定所述图像数据中包含的每一人脸对应的人脸区域；
关联子模块，用于基于各头部区域和各人脸区域的位置，对各头部区域和各人脸区域进行关联；
第三确定子模块，用于从各与头部区域关联的人脸区域中，确定处于所述图像数据中指定区域内的人脸区域，或所占面积最大的人脸区域，作为所述驾驶员的人脸区域。
提取子模块，用于从所确定的人脸区域中，提取眼睛部位所在区域的图像，作为所述驾驶员的眼睛的眼部图像。
本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现上述疲劳驾驶的确定方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述疲劳驾驶的确定方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述疲劳驾驶的确定方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (13)

1.一种疲劳驾驶的确定方法，其特征在于，所述方法包括：
获取指定时间段内，针对驾驶员所采集的多帧图像数据；
针对每一所述图像数据，从所述图像数据中，获取包含所述驾驶员的眼睛的眼部图像；
利用预先训练的睁闭眼模型，识别每一所述眼部图像中所述驾驶员的睁闭眼状态；其中，所述睁闭眼模型为：利用样本眼部图像以及所述样本眼部图像对应的睁闭眼状态的真值训练得到的；
基于各眼部图像中所述驾驶员的睁闭眼状态，确定所述驾驶员是否疲劳驾驶。
2.根据权利要求1所述的方法，其特征在于，在所述获取指定时间段内，针对驾驶中的驾驶员采集的多帧图像数据之后，所述方法还包括：
获取各图像数据中，所述驾驶员的头部姿态信息和/或所述驾驶员的嘴巴张合状态；
所述基于各眼部图像中所述驾驶员的睁闭眼状态，确定所述驾驶员是否疲劳驾驶，包括：
基于各眼部图像中所述驾驶员的睁闭眼状态、以及所述各图像数据中所述驾驶员的头部姿态信息和/或所述驾驶员的嘴巴张合状态，确定所述驾驶员是否疲劳驾驶。
3.根据权利要求2所述的方法，其特征在于，所述基于各眼部图像中所述驾驶员的睁闭眼状态、以及所述各图像数据中所述驾驶员的头部姿态信息和/或所述驾驶员的嘴巴张合状态，确定所述驾驶员是否疲劳驾驶，包括：
基于各眼部图像中所述驾驶员的睁闭眼状态，预估所述驾驶员是否疲劳驾驶，得到第一预估结果；
基于所述各图像数据中所述驾驶员的头部姿态信息，预估所述驾驶员是否疲劳驾驶，得到第二预估结果；和/或，基于所述各图像数据中所述驾驶员的嘴巴张合状态，预估所述驾驶员是否疲劳驾驶，得到第三预估结果；
基于所述第一预估结果，以及所述第二预估结果和/或所述第三预估结果，确定所述驾驶员是否疲劳驾驶。
4.根据权利要求3所述的方法，其特征在于，所述基于各眼部图像中所述驾驶员的睁闭眼状态，预估所述驾驶员是否疲劳驾驶，包括：
基于各眼部图像中所述驾驶员的睁闭眼状态，确定所述驾驶员在所述指定时间段内的闭眼信息；其中，所述闭眼信息指示所述驾驶员的闭眼次数、闭眼时长、闭眼频率中的至少一者；
确定所述闭眼信息是否满足预设的闭眼疲劳检测条件；若满足，则确定所述驾驶员疲劳驾驶为第一预估结果，否则，确定所述驾驶员未疲劳驾驶为第一预估结果。
5.根据权利要求3所述的方法，其特征在于，所述基于所述各图像数据中所述驾驶员的头部姿态信息，预估所述驾驶员是否疲劳驾驶，包括：
基于所述各图像数据中所述驾驶员的头部姿态信息，确定所述驾驶员在所述指定时间段内的头部晃动信息；其中，所述头部晃动信息指示所述驾驶员的点头次数、点头时长、点头频率中的至少一者；
确定所述头部晃动信息是否满足预设的头部疲劳检测条件；若满足，则确定所述驾驶员疲劳驾驶为第二预估结果，否则，确定所述驾驶员未疲劳驾驶为第二预估结果。
6.根据权利要求3所述的方法，其特征在于，所述基于所述各图像数据中所述驾驶员的嘴巴张合状态，预估所述驾驶员是否疲劳驾驶，包括：
基于所述各图像数据中所述驾驶员的嘴巴张合状态，确定所述驾驶员在所述指定时间段内的张嘴信息；其中，所述张嘴信息指示所述驾驶员的张嘴次数、张嘴时长、张嘴频率中的至少一者；
确定所述张嘴信息是否满足预设的嘴部疲劳检测条件；若满足，则确定所述驾驶员疲劳驾驶为第三预估结果，否则，确定所述驾驶员未疲劳驾驶为第三预估结果。
7.根据权利要求3-6任一项所述的方法，其特征在于，所述基于所述第一预估结果，以及所述第二预估结果和/或所述第三预估结果，确定所述驾驶员是否疲劳驾驶，包括：
若所述第一预估结果，以及所述第二预估结果和/或所述第三预估结果中，指示所述驾驶员疲劳驾驶的占比大于指示所述驾驶员未疲劳驾驶的占比，则确定所述驾驶员疲劳驾驶，否则，确定所述驾驶员为未疲劳驾驶。
8.根据权利要求2所述的方法，其特征在于，在所述获取各图像数据中，所述驾驶员的头部姿态信息和/或所述驾驶员的嘴巴张合状态之前，所述方法还包括：
确定所述指定时间段内所述驾驶员的嘴巴是否被遮挡；
所述获取各图像数据中，所述驾驶员的头部姿态信息和/或所述驾驶员的嘴巴张合状态，包括：
若在所述指定时间段内所述驾驶员的嘴巴被遮挡，获取各图像数据中，所述驾驶员的头部姿态信息；
若在所述指定时间段内所述驾驶员的嘴巴未被遮挡，获取各图像数据中，所述驾驶员的头部姿态信息以及所述驾驶员的嘴巴张合状态。
9.根据权利要求2所述的方法，其特征在于，在所述针对每一所述图像数据，从所述图像数据中，获取包含所述驾驶员的眼睛的眼部图像之前，所述方法还包括：
确定所述指定时间段内所述驾驶员的眼睛是否被遮挡；
若未被遮挡，则执行所述针对每一所述图像数据，从所述图像数据中，获取包含所述驾驶员的眼睛的眼部图像的步骤；
若被遮挡，则基于所获取的所述驾驶员的头部姿态信息，和/或所述驾驶员的嘴巴张合状态，确定所述驾驶员是否疲劳驾驶。
10.根据权利要求1所述的方法，其特征在于，所述从所述图像数据中，获取包含所述驾驶员的眼睛的眼部图像，包括：
对所述图像数据进行头部检测，确定所述图像数据中包含的每一头部对应的头部区域，并对所述图像数据进行人脸检测，确定所述图像数据中包含的每一人脸对应的人脸区域；
基于各头部区域和各人脸区域的位置，对各头部区域和各人脸区域进行关联；
从各与头部区域关联的人脸区域中，确定处于所述图像数据中指定区域内，或所占面积最大的人脸区域，作为所述驾驶员的人脸区域；
从所述驾驶员的人脸区域中，提取眼睛部位所在区域的图像，作为所述驾驶员的眼睛的眼部图像。
11.一种疲劳驾驶的确定装置，其特征在于，所述装置包括：
第一获取模块，用于获取指定时间段内，针对驾驶员指定时间段内；
第二获取模块，用于针对每一所述图像数据，从所述图像数据中，获取包含所述驾驶员的眼睛的眼部图像；
识别模块，用于利用预先训练的睁闭眼模型，识别每一所述眼部图像中所述驾驶员的睁闭眼状态；其中，所述睁闭眼模型是利用样本眼部图像以及所述样本眼部图像对应的睁闭眼状态的真值训练得到的；
第一确定模块，用于基于各眼部图像中所述驾驶员的睁闭眼状态，确定所述驾驶员是否疲劳驾驶。
12.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-10任一所述的方法步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-10任一所述的方法步骤。
CN202210686090.9A 2022-06-17 2022-06-17 一种疲劳驾驶的确定方法、装置及电子设备 Pending CN114973215A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210686090.9A CN114973215A (zh) 2022-06-17 2022-06-17 一种疲劳驾驶的确定方法、装置及电子设备
PCT/CN2023/097394 WO2023241358A1 (zh) 2022-06-17 2023-05-31 一种疲劳驾驶的确定方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210686090.9A CN114973215A (zh) 2022-06-17 2022-06-17 一种疲劳驾驶的确定方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN114973215A true CN114973215A (zh) 2022-08-30

Family

ID=82964573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210686090.9A Pending CN114973215A (zh) 2022-06-17 2022-06-17 一种疲劳驾驶的确定方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN114973215A (zh)
WO (1) WO2023241358A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023241358A1 (zh) * 2022-06-17 2023-12-21 京东方科技集团股份有限公司 一种疲劳驾驶的确定方法、装置及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190083155A (ko) * 2018-01-03 2019-07-11 한국전자통신연구원 운전자 상태 검출 장치 및 그 방법
CN110532976B (zh) * 2019-09-03 2021-12-31 湘潭大学 基于机器学习和多特征融合的疲劳驾驶检测方法及系统
CN110826521A (zh) * 2019-11-15 2020-02-21 爱驰汽车有限公司 驾驶员疲劳状态识别方法、系统、电子设备和存储介质
CN113420656A (zh) * 2021-06-23 2021-09-21 展讯通信(天津)有限公司 一种疲劳驾驶检测方法、装置、电子设备及存储介质
CN114973215A (zh) * 2022-06-17 2022-08-30 京东方科技集团股份有限公司 一种疲劳驾驶的确定方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023241358A1 (zh) * 2022-06-17 2023-12-21 京东方科技集团股份有限公司 一种疲劳驾驶的确定方法、装置及电子设备

Also Published As

Publication number Publication date
WO2023241358A1 (zh) 2023-12-21

Similar Documents

Publication Publication Date Title
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
WO2019232972A1 (zh) 驾驶管理方法和系统、车载智能系统、电子设备、介质
Seshadri et al. Driver cell phone usage detection on strategic highway research program (SHRP2) face view videos
US11398084B2 (en) Method, apparatus and application system for extracting a target feature
CN105844128B (zh) 身份识别方法和装置
KR102391792B1 (ko) 생체 검출 방법, 장치 및 시스템, 전자 기기 및 저장 매체
CN110826370B (zh) 车内人员的身份识别方法、装置、车辆及存储介质
CN113366487A (zh) 基于表情组别的操作确定方法、装置及电子设备
CN101587544B (zh) 基于计算机视觉的机动车车载反跟踪装置
CN105612533A (zh) 活体检测方法、活体检测系统以及计算机程序产品
CN110866427A (zh) 一种车辆行为检测方法及装置
Dua et al. AutoRate: How attentive is the driver?
US11227156B2 (en) Personalized eye openness estimation
CN107832721B (zh) 用于输出信息的方法和装置
US10970953B2 (en) Face authentication based smart access control system
CN112115803B (zh) 口罩状态提醒方法、装置及移动终端
WO2023241358A1 (zh) 一种疲劳驾驶的确定方法、装置及电子设备
Rani et al. Development of an Automated Tool for Driver Drowsiness Detection
CN113313189A (zh) 一种遮挡检测方法、装置及电子设备
CN111860437A (zh) 一种基于面部表情判断疲劳程度的方法及装置
CN112926364A (zh) 头部姿态的识别方法及系统、行车记录仪和智能座舱
Singh et al. Driver fatigue detection using machine vision approach
CN110634120B (zh) 一种车辆损伤判别方法及装置
RU2684484C1 (ru) Способ и когнитивная система видеоанализа, мониторинга, контроля состояния водителя и транспортного средства в режиме реального времени
CN114495244B (zh) 电像计算数据异常检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination