CN116615765A - 驾驶员状态检测方法、装置及存储介质 - Google Patents

驾驶员状态检测方法、装置及存储介质 Download PDF

Info

Publication number
CN116615765A
CN116615765A CN202180022842.5A CN202180022842A CN116615765A CN 116615765 A CN116615765 A CN 116615765A CN 202180022842 A CN202180022842 A CN 202180022842A CN 116615765 A CN116615765 A CN 116615765A
Authority
CN
China
Prior art keywords
image frame
detection information
eye
state
eye state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180022842.5A
Other languages
English (en)
Inventor
田勇
徐文康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN116615765A publication Critical patent/CN116615765A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例涉及计算机视觉技术领域，尤其涉及一种驾驶员状态检测方法、装置及存储介质。该方法包括：获取第一图像帧和第二图像帧，第一图像帧和第二图像帧均为包括驾驶员人脸的图像帧，第一图像帧是在第二图像帧之前采集的图像帧；获取第一图像帧的第一检测信息和第二图像帧的第二检测信息，第一检测信息和第二检测信息均指示驾驶员的眼部状态和头部姿态；在第二检测信息指示第二图像帧对应的第一眼部状态为闭眼状态时，根据第一检测信息和第二检测信息确定第二图像帧对应的第二眼部状态。本申请实施例可以准确的区分三种从图像上分析几乎没有区别的正常闭眼、往下一瞥和打盹场景，保证了高精度和强鲁棒性的眼睛开闭状态识别效果。

Description

驾驶员状态检测方法、装置及存储介质 技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种驾驶员状态检测方法、装置及存储介质。
背景技术
人眼检测技术包括对包括人眼的多帧图像帧进行图像检测，从而估计目前眼睛处于闭眼状态还是睁眼状态的技术。随着视频处理与视频监控技术的普及发展，人眼检测技术成为眼睛图像分析过程中不可缺少的重要部分。
相关技术中，以车载场景为例，摄像头位于相对于驾驶员面部的位置，系统通过摄像头获取包括人眼的多帧图像帧，根据多帧图像帧识别驾驶员的眼睛开闭状态，再结合头部姿态可实现精准的用户疲劳状态的监控。
但是在上述方法中，在驾驶员头部往下看的情况下，系统通过摄像头获取的图像无法准确判断出驾驶员的眼睛开闭状态。在一个示意性的例子，通过摄像头获取的3帧图像帧如图1所示，其中图像帧12对应正常闭眼情况，图像帧14对应低头睁眼情况，图像帧16对应低头打盹情况。而从摄像头的角度来看，驾驶员的眼睛在这三种情况下似乎都是闭着的，直接通过图像来识别眼睛开闭状态在精度和鲁棒性上存在明显的不足，大大降低了后续基于眼睛开闭状态所确定的用户疲劳状态的准确度。
发明内容
有鉴于此，提出了一种驾驶员状态检测方法、装置及存储介质，保证了高精度和强鲁棒性的眼睛开闭状态识别效果，有助于后续获取稳定、精准的用户疲劳状态。
第一方面，本申请的实施例提供了一种驾驶员状态检测方法，所述方法包括：
获取第一图像帧和第二图像帧，所述第一图像帧和所述第二图像帧均为包括驾驶员人脸的图像帧，所述第一图像帧是在所述第二图像帧之前采集的图像帧；
获取所述第一图像帧的第一检测信息和所述第二图像帧的第二检测信息，所述第一检测信息和所述第二检测信息均指示所述驾驶员的眼部状态和头部姿态；
在所述第二检测信息指示所述第二图像帧对应的第一眼部状态为闭眼状态时，根据所述第一检测信息和所述第二检测信息确定所述第二图像帧对应的第二眼部状态。
在该实现方式中，获取第一图像帧的第一检测信息和第二图像帧的第二检测信息(比如驾驶员的连续眼部状态和对应的连续头部姿态)，针对不同场景，比如低头往下看、低头打盹等场景，可以在确定第二图像帧对应的第一眼部状态为闭眼状态时，根据第一检测信息和第二检测信息确定第二图像帧对应的第二眼部状态，即对第二图像帧对应的眼部状态进行修正得到正确的眼部状态，解决了相关技术中系统在驾驶员低头时直接通过图像无法准确判断眼睛开闭状态的问题，保证了高精度和强鲁棒性的 眼睛开闭状态识别效果，有助于后续获取稳定、精准的用户疲劳状态。
在一种可能的实现方式中，所述根据所述第一检测信息和所述第二检测信息确定所述第二图像帧对应的第二眼部状态，包括：
当所述第一检测信息和所述第二检测信息满足第一预设条件时，确定所述第二图像帧对应的第二眼部状态为睁眼状态；
其中，所述第一预设条件为所述第二检测信息指示所述第二图像帧对应的头部姿态在俯仰角方向发生跳变，且所述第一检测信息指示所述第一图像帧对应的眼部状态为睁眼状态。
在该实现方式中，当第二检测信息指示第二图像帧对应的头部姿态在俯仰角方向发生跳变，且第一检测信息指示第一图像帧对应的眼部状态为睁眼状态时，确定第二图像帧对应的第二眼部状态为睁眼状态，即结合头部姿态序列和眼部状态序列准确地将往下一瞥导致的闭眼误检测恢复为睁眼状态，不会错误修改打盹场景下的闭眼状态，进一步提高了眼睛状态的识别效果。
在另一种可能的实现方式中，所述根据所述第一检测信息和所述第二检测信息确定所述第二图像帧对应的第二眼部状态，包括：
当所述第一检测信息和所述第二检测信息满足第二预设条件时，确定所述第二图像帧对应的第二眼部状态为闭眼状态；
其中，所述第二预设条件为所述第二检测信息指示所述第二图像帧对应的头部姿态在俯仰角方向发生跳变，且所述第一检测信息指示所述第一图像帧对应的眼部状态为闭眼状态。
在该实现方式中，当第二检测信息指示第二图像帧对应的头部姿态在俯仰角方向发生跳变，且第一检测信息指示第一图像帧对应的眼部状态为闭眼状态时，确定第二图像帧对应的第二眼部状态为闭眼状态，即结合头部姿态序列和眼部状态序列准确地确定出低头打盹场景，进一步提高了眼睛状态的识别效果。
在另一种可能的实现方式中，所述方法还包括：
当所述第二检测信息指示所述第二图像帧对应的头部姿态在俯仰角方向未发生跳变时，确定所述第二图像帧对应的第二眼部状态为闭眼状态。
在该实现方式中，当第二检测信息指示第二图像帧对应的头部姿态在俯仰角方向未发生跳变时，确定第二图像帧对应的第二眼部状态为闭眼状态，即通过头部姿态序列准确地确定出正常闭眼场景，进一步提高了眼睛状态的识别效果。
在另一种可能的实现方式中，所述方法还包括：
根据所述第二图像帧对应的所述头部姿态和所述第二眼部状态，确定疲劳状态检测结果。
在另一种可能的实现方式中，所述方法还包括：
当所述疲劳状态检测结果满足预设报警条件时，输出报警信息。
在该实现方式中，当疲劳状态检测结果满足预设报警条件时，输出报警信息，以便在监控到危险驾驶行为时，及时提醒并制止驾驶员可能产生的交通事故。
第二方面，本申请的实施例提供了一种驾驶员状态检测装置，所述装置包括：
第一获取单元，用于获取第一图像帧和第二图像帧，所述第一图像帧和所述第二 图像帧均为包括驾驶员人脸的图像帧，所述第一图像帧是在所述第二图像帧之前采集的图像帧；
第二获取单元，用于获取所述第一图像帧的第一检测信息和所述第二图像帧的第二检测信息，所述第一检测信息和所述第二检测信息均指示所述驾驶员的眼部状态和头部姿态；
确定单元，用于在所述第二检测信息指示所述第二图像帧对应的第一眼部状态为闭眼状态时，根据所述第一检测信息和所述第二检测信息确定所述第二图像帧对应的第二眼部状态。
在另一种可能的实现方式中，所述确定单元，还用于：
当所述第一检测信息和所述第二检测信息满足第一预设条件时，确定所述第二图像帧对应的第二眼部状态为睁眼状态；
其中，所述第一预设条件为所述第二检测信息指示所述第二图像帧对应的头部姿态在俯仰角方向发生跳变，且所述第一检测信息指示所述第一图像帧对应的眼部状态为睁眼状态。
在另一种可能的实现方式中，所述确定单元，还用于：
当所述第一检测信息和所述第二检测信息满足第二预设条件时，确定所述第二图像帧对应的第二眼部状态为闭眼状态；
其中，所述第二预设条件为所述第二检测信息指示所述第二图像帧对应的头部姿态在俯仰角方向发生跳变，且所述第一检测信息指示所述第一图像帧对应的眼部状态为闭眼状态。
在另一种可能的实现方式中，所述确定单元，还用于：
当所述第二检测信息指示所述第二图像帧对应的头部姿态在俯仰角方向未发生跳变时，确定所述第二图像帧对应的第二眼部状态为闭眼状态。
在另一种可能的实现方式中，所述装置还包括：检测模块；
所述检测模块，用于根据所述第二图像帧对应的所述头部姿态和所述第二眼部状态，确定疲劳状态检测结果。
在另一种可能的实现方式中，所述装置还包括：报警模块；
所述报警模块，用于当所述疲劳状态检测结果满足预设报警条件时，输出报警信息。
第三方面，本申请的实施例提供了一种驾驶员状态检测装置，所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令时实现上述第一方面或第一方面中的任意一种可能的实现方式所提供的方法。
第四方面，本申请的实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述第一方面或第一方面中的任意一种可能的实现方式所提供的方法。
第五方面，本申请的实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机可读代码，或者承载有所述计算机可读代码的非易失性计算机可读存储介质， 当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行上述第一方面或第一方面中的任意一种可能的实现方式所提供的方法。
第六方面，本申请的实施例提供了一种车辆，所述车辆包含上述第二方面或第二方面中的任意一种可能的实现方式所提供的装置。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。
图1示出通过摄像头获取的3帧图像帧的示意图。
图2示出根据本申请一个示例性实施例提供的DMS的架构示意图。
图3示出根据本申请一个示例性实施例提供的驾驶员状态检测装置的架构示意图。
图4示出根据本申请一个示例性实施例提供的驾驶员状态检测方法的流程示意图。
图5示出根据本申请另一个示例性实施例提供的驾驶员状态检测方法的流程示意图。
图6示出根据本申请一个示例性实施例提供的眼部状态检测方式的原理示意图。
图7示出根据本申请一个示例性实施例提供的头部姿态检测方式的原理示意图。
图8示出根据本申请一个示例性实施例提供的状态序列修正过程的示意图。
图9示出根据本申请另一个示例性实施例提供的状态序列修正过程的示意图。
图10示出根据本申请另一个示例性实施例提供的状态序列修正过程的示意图。
图11示出根据本申请一个示例性实施例提供的驾驶员状态检测方法涉及的三种场景和修正过程的原理示意图。
图12示出了本申请一个示例性实施例提供的驾驶员状态检测装置的框图。
具体实施方式
以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
疲劳驾驶预警系统通过座舱内的驾驶员监控系统(driver monitoring system，DMS)精确地识别驾驶员的眼部状态、哈欠动作、头部姿态和异常行为等，并利用这些信息来准确地对驾驶员疲劳状态进行判断，并给出告警信息，为用户的驾驶安全保驾护航。眼部状态识别技术是疲劳驾驶预警系统的重要模块，通过连续闭眼和眨眼频率可分析出驾驶员的疲劳程度，通过连续闭眼时长可分析出驾驶员是否视线分神，精准地识别 驾驶员的眼部状态，从而实现精准的疲劳预警。高精度、强鲁棒性的眼部状态识别有助于获取稳定、精准的用户疲劳状态，尤其是在车载场景下，不仅要求精度高，算法还要能够适配各种环境光照和摄像头不同的安装位置场景，其中摄像头为DMS中用于监控驾驶员的摄像头。当摄像头安装在汽车的A柱或者后视镜位置上，在驾驶员头部往下看时，从摄像头上获取的图像无法准确判断眼睛开闭状态，相关技术中仅通过图像来分析眼睛开闭状态在精度和鲁棒性上存在明显的不足，大大降低了后续基于眼睛开闭状态所确定的用户疲劳状态的准确度。
而本申请实施例提供了一种驾驶员状态检测方法、装置及存储介质，系统在确定第二图像帧对应的第一眼部状态为闭眼状态时，根据第一图像帧(即在第二图像帧之前采集的图像帧)的第一检测信息和第二图像帧的第二检测信息确定第二图像帧对应的第二眼部状态，从而对第二图像帧对应的眼部状态进行修正得到正确的眼部状态，解决了相关技术中系统在驾驶员低头时直接通过图像无法准确判断眼睛开闭状态的问题，保证了高精度和强鲁棒性的眼睛开闭状态识别效果，有助于后续获取稳定、精准的用户疲劳状态。需要说明的是，第一图像帧和第二图像帧的定义可参考下面实施例中的相关描述。
首先，对本申请涉及的应用场景进行介绍。
本申请实施例涉及到的产品是DMS，分为前装和后装两种，前装DMS一般由主机厂设计开发，仅适配当前车型和安装位置，而后装DMS，主要由相关软硬件供应商设计开发，可方便安装在各种车型和各种位置上。该产品主要用于座舱环境，针对驾驶员的状态进行监控，一方面是为了驾驶员的安全，在危险状态下及时提醒，另一方面，国家规定某些场景必须安装DMS，用于及时监控到危险驾驶行为，及时制止驾驶员可能产生的交通事故。
图2示出根据本申请一个示例性实施例提供的DMS的架构示意图。如图2所示，DMS可以包括车辆21，车辆21可以是具有无线通信功能的车辆，其中，无线通信功能可设置于该车辆21的车载终端、车载模组、车载单元、芯片(系统)或其他部件或组件。本申请的实施例中的车辆21用于监控驾驶员状态，在确定为疲劳和分神状态的情况下发出提醒信息，提醒信息指示驾驶员注意安全驾驶。
车辆21上可以设置有至少一个传感器22，如车载雷达(如毫米波雷达、激光雷达、超声波雷达等)、雨量传感器、摄像头、车姿传感器(如陀螺仪)、惯性测量单元(inertial measurement unit，IMU)、全球导航卫星系统(global navigation satellite system，GNSS)等，车辆21上还可以设置有其他传感器。
其中，摄像头用于捕获静态图像或视频。通常，摄像头可以包括感光元件比如镜头组和图像传感器，其中，镜头组包括多个透镜(凸透镜或凹透镜)，用于采集待拍摄物体反射的光信号，并将采集的光信号传递给图像传感器。图像传感器根据光信号生成待拍摄物体的原始图像。比如，摄像头为DMS红外摄像头。通过车辆21上设置的至少一个摄像头可以采集到驾驶员图像帧，驾驶员图像帧为包括驾驶员人脸的图像帧。
其中，通过车辆21上设置的至少一个车载雷达，还可以采集到路面的点云数据以 及车辆21的垂向加速度(即车辆21在垂直于路面方向上的加速度数据)等数据。
通过车辆21上设置的至少一个传感器22，还可以采集到路面的点云数据以及车辆21的垂向加速度(即车辆21在垂直于路面方向上的加速度数据)等数据。
车辆21上还可以设置有驾驶员监控系统23，驾驶员监控系统23用于监控驾驶员状态。车辆21上还可以设置有自动驾驶系统24，驾驶员监控系统23辅助自动驾驶系统24，当驾驶员监控系统23确定出疲劳和分神状态的情况下，可有自动驾驶系统24接管，自动驾驶系统24可用于根据传感器采集的数据，生成用于应对路面情况的自动驾驶策略，并根据生成的策略实现车辆21的自动驾驶。
车辆21上还可以设置有人机界面(human machine interface，HMI)25，人机界面25可用于通过视觉图标、语音播报方式对当前的路面情况以及自动驾驶系统24对车辆21采取的策略进行播报，以提醒相关驾乘人员。
车辆21上还可以设置有处理器26，比如处理器26为高性能计算处理器。处理器26用于通过摄像头获取第一图像帧和第二图像帧，第一图像帧和第二图像帧均为包括驾驶员人脸的图像帧，第一图像帧是在第二图像帧之前采集的图像帧；处理器26用于通过驾驶员监控系统23获取第一图像帧的第一检测信息和第二图像帧的第二检测信息，第一检测信息和第二检测信息均指示驾驶员的眼部状态和头部姿态；在第二检测信息指示第二图像帧对应的第一眼部状态为闭眼状态时，根据第一检测信息和第二检测信息确定第二图像帧对应的第二眼部状态。
在一种可能的实现方式中，本申请实施例的DMS还可以包括服务器，服务器可以作为车载计算单元位于上述车辆21上，也可以位于云端，可以是实体设备，也可以是虚拟设备如虚拟机、容器等，具有无线通信功能，其中，无线通信功能可设置于该服务器的芯片(系统)或其他部件或组件。服务器和车辆21可以通过无线连接的方式进行通信，例如可以通过2G/3G/4G/5G等移动通信技术，以及Wi-Fi、蓝牙、调频(frequency modulation，FM)、数传电台、卫星通信等无线通信方式进行通信，例如在测试中，服务器可承载于车辆21上并与车辆21通过无线连接的方式进行通信，通过车辆21和服务器之间的通信，服务器可以收集一个或多个车辆21上、或是设置在道路上或其他地方的传感器采集到的数据进行计算，并将计算结果回传给对应的车辆21。
图3示出根据本申请一个示例性实施例提供的驾驶员状态检测装置的架构示意图。该驾驶员状态检测装置可以通过专用硬件电路，或者，软硬件的结合实现成为图2中的DMS的全部或一部分，该驾驶员状态检测装置包括：图像采集模块310、眼部状态检测模块320和头部姿态检测模块330。
图像采集模块310用于采集驾驶员图像帧。眼部状态检测模块320用于检测驾驶员图像帧中的驾驶员的眼部状态，头部姿态检测模块330用于检测驾驶员图像帧中的驾驶员的头部姿态。
该驾驶员状态检测装置还可以包括其他疲劳依赖检测模块340和疲劳状态检测模块350。其他疲劳依赖检测模块340用于检测驾驶员图像帧中的驾驶员的其他指定状态，其他指定状态是与驾驶员疲劳状态相关的生物特征状态，比如其他指定状态为哈欠状态。
眼部状态检测模块320还用于将检测到的驾驶员的眼部状态输入至疲劳状态检测模块350，头部姿态检测模块330还用于将检测到的驾驶员的头部姿态输入至疲劳状态检测模块350，其他疲劳依赖检测模块340还用于将检测到的驾驶员的其他指定状态输入至疲劳状态检测模块350。对应的，疲劳状态检测模块350用于根据输入的状态(比如眼部状态、头部姿态和其他指定状态)综合判断驾驶员的疲劳状态。
以下以图2或图3所提供的DMS(下面简称为系统)的架构为例，对本申请实施例提供的驾驶员状态检测方法的流程进行说明。
图4示出根据本申请一个示例性实施例提供的驾驶员状态检测方法的流程示意图。如图4所示，驾驶员状态检测方法的流程包括：
步骤401，获取第一图像帧和第二图像帧，第一图像帧和第二图像帧均为包括驾驶员人脸的图像帧，第一图像帧是在第二图像帧之前采集的图像帧。
可选地，系统通过摄像头采集图像帧序列，图像帧序列包括至少两个图像帧，即至少一个第一图像帧和一个第二图像帧。
其中，第一图像帧和第二图像帧均为包括驾驶员人脸的图像帧，即第一图像帧和第二图像帧中均包括驾驶员的整个面部的特征。
第一图像帧是在第二图像帧之前采集的图像帧。可选地，第一图像帧是在第二图像帧之前采集的至少两个图像帧。
可选地，至少一个第一图像帧和一个第二图像帧为连续的多个图像帧。
步骤402，获取第一图像帧的第一检测信息和第二图像帧的第二检测信息，第一检测信息和第二检测信息均指示驾驶员的眼部状态和头部姿态。
可选地，系统对第一图像帧进行眼部状态检测和头部姿态检测得到第一检测信息，第一检测信息指示该第一图像帧对应的驾驶员的眼部状态和头部姿态。示意性的，第一检测信息包括第一眼部检测信息和第一头部检测信息，第一眼部检测信息指示该第一图像帧对应的驾驶员的眼部状态，第一头部检测信息指示该第一图像帧对应的驾驶员的头部姿态。其中，眼部状态包括闭眼状态或睁眼状态。
可选地，系统对第二图像帧进行眼部状态检测和头部姿态检测得到第二检测信息，第二检测信息指示该第二图像帧对应的驾驶员的眼部状态和头部姿态。示意性的，第二检测信息包括第二眼部检测信息和第二头部检测信息，第二眼部检测信息指示该第二图像帧对应的驾驶员的眼部状态，第二头部检测信息指示该第二图像帧对应的驾驶员的头部姿态。
需要说明的是，眼部状态检测和头部姿态检测可以是并列执行的，也可以是分先后顺序执行的，本申请实施例对此不加以限定。对眼部状态检测和头部姿态检测的相关细节可参考下面实施例中的相关描述，在此先不介绍。
步骤403，在第二检测信息指示第二图像帧对应的第一眼部状态为闭眼状态时，根据第一检测信息和第二检测信息确定第二图像帧对应的第二眼部状态。
可选地，系统判断第二检测信息是否指示第二图像帧对应的第一眼部状态为闭眼状态，若第二图像帧对应的第一眼部状态为闭眼状态，则根据第一检测信息和第二检测信息确定第二图像帧对应的第二眼部状态；若第二图像帧对应的第一眼部状态为睁 眼状态，则结束进程。
可选地，当第一检测信息和第二检测信息满足第一预设条件时，系统确定第二图像帧对应的第二眼部状态为睁眼状态。其中，第一预设条件为第二检测信息指示第二图像帧对应的头部姿态在俯仰角方向发生跳变，且第一检测信息指示第一图像帧对应的眼部状态为睁眼状态。
示意性的，第一图像帧包括多个第一图像帧，“第一检测信息指示第一图像帧对应的眼部状态为睁眼状态”的含义包括：第一检测信息指示眼部状态为睁眼状态的第一图像帧的数量在第一图像帧的总数量中的比例大于第一预设阈值。
其中，第一预设阈值为默认设置的，或者自定义设置的。比如，第一预设阈值为0.9。本申请实施例对此不加以限定。
可选地，当第一检测信息和第二检测信息满足第二预设条件时，系统确定第二图像帧对应的第二眼部状态为闭眼状态。其中，第二预设条件为第二检测信息指示第二图像帧对应的头部姿态在俯仰角方向发生跳变，且第一检测信息指示第一图像帧对应的眼部状态为闭眼状态。
示意性的，第一图像帧包括多个第一图像帧，“第一检测信息指示第一图像帧对应的眼部状态为闭眼状态”的含义包括：第一检测信息指示眼部状态为闭眼状态的第一图像帧的数量在第一图像帧的总数量中的比例大于第二预设阈值。
其中，第二预设阈值为默认设置的，或者自定义设置的。比如，第二预设阈值为0.95。本申请实施例对此不加以限定。
可选地，当第二检测信息指示第二图像帧对应的头部姿态在俯仰角方向未发生跳变时，系统确定第二图像帧对应的第二眼部状态为闭眼状态。
可选地，系统根据第二图像帧对应的头部姿态和第二眼部状态，确定疲劳状态检测结果。当疲劳状态检测结果满足预设报警条件时，输出报警信息。
可选地，系统获取预设的疲劳检测模型，根据第二图像帧对应的头部姿态和第二眼部状态调用疲劳检测模型，输出得到疲劳状态检测结果。其中，疲劳检测模型指示头部姿态、眼部状态与疲劳状态的相关关系，疲劳检测模型为基于样本图像帧预先训练完成的模型。比如，疲劳检测模型为基于眼睛状态和头部姿态融合得到的模型。或者，疲劳检测模型为基于眼睛状态、头部姿态和哈欠状态融合得到的模型。或者，疲劳检测模型为基于眼睛状态、头部姿态、哈欠状态和其他信息融合得到的模型。本申请实施例对此不加以限定。
在一种可能的实现方式中，疲劳状态检测结果包括第一检测结果和第二检测结果中的一种，第一检测结果指示驾驶员处于疲劳状态，第二检测结果指示驾驶员处于非疲劳状态。
在该实现方式中，当疲劳状态检测结果满足预设报警条件时，输出报警信息，包括：当疲劳状态检测结果为第一检测结果时，输出报警信息。
在另一种可能的实现方式中，疲劳状态检测结果包括疲劳状态等级，疲劳状态等级与预测的驾驶员的疲劳强度相关。示意性的，疲劳状态等级与预测的驾驶员的疲劳强度呈正相关关系，即疲劳状态等级越高，预测的驾驶员的疲劳强度越大。
在该实现方式中，当疲劳状态检测结果满足预设报警条件时，输出报警信息，包 括：当疲劳状态等级大于预设等级阈值时，输出报警信息。
其中，预设等级阈值为默认设置的，或者自定义设置的。本申请实施例对此不加以限定。
可选地，系统按照预设提示形式输出报警信息，预设提示形式包括语音形式、文字形式、图像形式、动画形式中的至少一种。本申请实施例对报警信息的输出方式和输出内容不加以限定。
综上所述，本申请实施例通过获取第一图像帧的第一检测信息和第二图像帧的第二检测信息(比如驾驶员的连续眼部状态和对应的连续头部姿态)，针对不同场景，比如低头往下看、低头打盹等场景，可以在确定第二图像帧对应的第一眼部状态为闭眼状态时，根据第一检测信息和第二检测信息确定第二图像帧对应的第二眼部状态，即对第二图像帧对应的眼部状态进行修正得到正确的眼部状态，解决了相关技术中系统在驾驶员低头时直接通过图像无法准确判断眼睛开闭状态的问题，保证了高精度和强鲁棒性的眼睛开闭状态识别效果，有助于后续获取稳定、精准的用户疲劳状态。
图5示出根据本申请另一个示例性实施例提供的驾驶员状态检测方法的流程示意图。如图5所示，驾驶员状态检测方法的流程包括：
步骤501，通过摄像头进行图像采集得到图像帧序列。
可选地，系统通过车辆内至少一个位置部署的摄像头进行图像采集，得到图像帧序列。其中，摄像头可以是红外摄像头。
可选地，至少一个位置包括以下任意一个或多个位置：转向柱、仪表盘上方或附近位置，中控台上方或附近位置，A柱或附近位置，后视镜或附近位置。其中，当摄像头放置在转向柱上对眼部状态的识别是最优的位置，不容易发生低头事件下无法正确识别眼部状态的情况，但是该位置容易发生方向盘遮挡人脸导致眼部状态无法识别，当摄像头放置在A柱或者后视镜位置时，图像采集不会产生方向盘遮挡，但是一定会发生低头事件下无法正确识别眼部状态的场景。
可选地，通过摄像头进行图像采集得到图像帧序列，包括：在车辆处于行驶状态时通过摄像头进行图像采集，获得图像帧序列；和/或，在车辆的行驶速度超过预设车速时通过摄像头进行图像采集，获得图像帧序列；和/或，在检测到车辆点火后通过摄像头进行图像采集，获得图像帧序列；和/或，在检测到车辆的启动指令时通过摄像头进行图像采集，获得图像帧序列；和/或，在检测到对车辆或车辆中部件或系统的控制指令时通过摄像头进行图像采集，获得图像帧序列。需要说明的是，本申请实施对图像采集的触发条件和采集方式不加以限定。
步骤502，对采集到的图像帧序列进行人脸检测。
人脸检测是人脸其他应用的基础，基于人脸的眼部状态检测和头部姿态算法受前端人脸检测算法的影响，当人脸检测算法定位产生抖动或者不准确导致的误识别或漏检时，导致眼部状态发生误识别和头部姿态发生比较大的抖动，从而导致系统将正常状态误判为低头事件发生，只有获取到了是否有人脸和人脸的精确的位置信息，系统才可能得到较为稳定准确的眼部状态结果。
可选地，系统采用预设人脸检测算法对采集到的图像帧序列进行人脸检测。
在一种可能的实现方式中，预设人脸检测算法为专用的人脸检测算法，比如多任务人脸检测算法，该多任务人脸检测算法用于检测人脸并输出人脸关键点信息，以便后续系统可以通过人脸关键点信息对人脸进行校正，为后端的眼部状态检测算法提供更好的输入，提升单帧眼部状态识别算法的准确率。专用的人脸检测算法具有非常高的准确率，但是该算法端侧部署非常耗时较长，不适合端侧部署。
在另一种可能的实现方式中，预设人脸检测算法为轻量级的人脸检测算法，该算法那适合端侧部署。
在另一种可能的实现方式中，预设人脸检测算法为通用的目标检测算法，比如单阶段目标检测算法，该算法端侧速度快，准确率高，较为适合在车机系统上部署作为人脸检测算法。需要说明的是，本申请实施例对预设人脸检测算法不加以限定。
步骤503，判断是否在图像帧序列中检测到人脸。
若系统在图像帧序列中未检测到人脸，继续执行步骤501；若系统在图像帧序列中检测到人脸，则执行步骤504。
步骤504，若在图像帧序列中检测到人脸，则进行眼部状态检测得到眼部状态序列，并进行头部姿态检测得到头部姿态序列。
可选地，针对图像帧序列中的每帧图像帧，系统进行眼部状态检测和头部姿态检测得到该图像帧对应的眼部状态检测数据和头部姿态检测数据，从而获得该图像帧序列对应的眼部状态序列和头部姿态序列，即该眼部状态序列包括该图像帧序列中多个图像帧各自对应的眼部状态检测数据，头部姿态序列包括该图像帧序列中多个图像帧各自对应的头部姿态检测数据。
针对单帧的眼部状态检测，在一种可能的实现方式中，系统可以采用目标检测算法进行眼部状态检测，基于目标检测算法进行眼部状态识别具有很强的鲁棒性，眼部状态识别受干扰可能性较小，很容易支持带口罩，手部遮挡人脸和化妆的场景，只有当人眼部位被遮挡或者被干扰的场景，才会影响眼部状态的识别。但是，基于目标检测算法，无法区分眯眯眼场景和因为疲劳而眯眼的场景，导致两种状态存在相互误识别的情况。该眼部状态识别算法适合人脸数据量较少，无法全场景覆盖驾驶环境的人脸样本的场景采用。
在另一种可能的实现方式中，由于人脸尺寸和眼睛尺寸变化小，系统可以采用剪枝后通用的目标检测算法进行眼部状态检测，仅用部分网络分支进行眼部状态的预测，可保证准确率的同时，检测速度有较大提升，端侧优势更大。
在另一种可能的实现方式中，系统可以采用预设分类算法极性进行眼部状态检测。基于预设分类算法进行眼部状态检测可以分为两种情况，一种情况是根据包括人脸的图像帧判断眼部状态，由于人眼占比非常小，容易受人脸其他部位的干扰导致误识别，如戴口罩、化妆等，都有可能导致误识别，同时该方法无法区分眼睛是否被遮挡导致的无效状态。另外一种情况是增加人眼检测模型，然后将包括人眼的图像帧输入至人眼检测模型输出得到眼部状态，其中人眼检测模型为预先训练的用于在图像帧中识别眼部状态的神经网络模型，该种方法不受人眼其他部位的干扰，鲁棒性更高，准确率相比上一种情况更高，该方法同样存在无法区分眯眯眼场景和因为疲劳而眯眼的场景，同时该方法新增人眼检测模型，资源消耗增加，端侧性能降低。
在另一种可能的实现方式中，系统可以采用关键点算法进行眼部状态检测。可选地，如图6所示，系统通过检测眼睛上、下眼皮和眼角6个关键点位置“p 43、p 44、p 45、p 46、p 47、p 48”，然后通过如下公式计算归一化的距离EAR：
其中，归一化的距离作为眼睛开度指标，当眼睛开度指标小于预设开度阈值，则确定眼睛处于闭眼状态，否则确定眼睛处于睁眼状态，其中，预设开度阈值是默认设置的，或者自定义设置的，比如，预设开度阈值为正常眼睛开度值的20％，本申请实施例对此不加以限定。基于关键点算法结合头部姿态校准，可以区分眯眯眼场景和因为疲劳而眯眼的场景，显著提升这两种场景的眼部状态识别的准确性。基于眼睛开度指标的眼睛开闭状态非常适合作为后续判断驾驶员疲劳状态的依据，但是该方法对关键点算法的稳定性要求高，要求关键点位置不会出现较大抖动，也即是相应的眼睛开度要求稳定，为防止眼睛开度出现较大抖动，可以增加滤波方法，即系统对输出的眼睛开度指标进行滤波处理，得到更加稳定的眼睛开度指标。
针对单帧的头部姿态检测，系统将二维的图像帧映射到三维图像帧得到头部检测姿态数据，头部姿态检测数据指示驾驶员人脸姿态的朝向。可选地，头部姿态检测数据采用3个自由度(degrees of freedom，dof)表示，即俯仰角(pitch)，滚动角(roll)和偏航角(yaw)。如图7所示，头部姿态检测数据包括驾驶员的头部与设备坐标系的横轴之间的俯仰角、头部与设备坐标系的纵轴之间的偏航角以及头部与设备坐标系的竖轴之间的滚动角。
对于整个眼部状态识别的系统中，头部姿态检测的准确率和稳定性至关重要，同时由于摄像头的安装位置和低头原因，头部姿态检测算法需要支持大角度头部姿态。
在一种可能的实现方式中，系统基于人脸关键点进行头部姿态检测。该方法可基于已有的大量关键点数据训练；可获得人脸各部位的关键点信息；因为点的扰动对角度影响比较小，头部姿态更稳定。
在另一种可能的实现方式中，系统基于回归算法进行头部姿态检测。该方法可直接回归欧拉角，简洁方便；模型设计简单，不需要经过后处理或者二次算法优化求解。基于回归的头部姿态检测算法，难点在于头部姿态数据采集，头部姿态数据采集的方法包括数据生成的方法和直接采集的方法，直接采集的方法包括：通过光学追踪仪和相机阵列可以直接采集到真实的相机坐标系的头部姿态标签，可以覆盖到360°的头部姿态数据，但是设备昂贵，部署复杂，采集周期长，人力投入大。而数据生成的方法包括：对二维的图像帧中的关键点数据进行三维形变模型(3D Morphable Model，3DMM)拟合，再通过头部姿态增强，得到大角度下的头部姿态标签，该方法可支撑±90°下的头部姿态数据，该方法仅依赖2D关键点标注，可行性和成本都比较合理。
在另一种可能的实现方式中，系统基于基于人脸关键点和回归算法进行头部姿态检测。可选地，系统将图像帧输入至头部姿态检测模型，输出得到头部姿态数据。其中，头部姿态检测模型为基于人脸关键点和回归的方法的多任务神经网络模型，即将欧拉角回归和人脸关键点等任务做在一个网络模型中，通过共享骨架网络，用多个头部网络去做多个不同的任务，通过此方法可以一定程度降低欧拉角的预测误差。
需要说明的是，本申请实施例对眼部状态检测算法和头部姿态检测算法的方式均 不加以限定。
步骤505，判断第二图像帧对应的第一眼部状态是否为闭眼状态。
经过对图像帧序列中的每帧图像帧进行眼部状态检测和头部姿态检测，系统得到该图像帧序列对应的眼部状态队列和头部姿态队列，系统判断该图像帧序列中的最新帧即第二图像帧中的第一眼部状态是否为闭眼状态。
若第二图像帧对应的第一眼部状态为睁眼状态，则结束进程；若第二图像帧对应的第一眼部状态为闭眼状态，则系统继续执行步骤506，通过校验该图像帧序列对应的眼部状态队列和头部姿态队列，区分如下三种场景：正常闭眼场景、低头睁眼往下看场景和低头打盹场景。
步骤506，若第二图像帧对应的第一眼部状态为闭眼状态，则判断第二图像帧对应的头部姿态在俯仰角方向是否发生跳变。
若第二图像帧对应的第一眼部状态为闭眼状态，则系统判断第二图像帧对应的头部姿态在俯仰角方向是否发生跳变，若第二图像帧对应的头部姿态在俯仰角方向未发生跳变，则执行步骤507，若第二图像帧对应的头部姿态在俯仰角方向发生跳变，则执行步骤508。
步骤507，若第二图像帧对应的头部姿态在俯仰角方向未发生跳变，则输出第二图像帧对应的第二眼部状态为闭眼状态。
若第二图像帧对应的头部姿态在俯仰角方向未发生跳变，则确定为正常闭眼场景，输出第二图像帧对应的第二眼部状态为闭眼状态。
在一个示意性的例子中，如图8所示，当眼睛从睁眼状态(open)到闭眼状态(close)的同时，头部姿态在俯仰角方向未发生跳变，系统判定为正常闭眼场景，眼部状态保持原有的闭眼状态，得到修正后的眼部状态。
步骤508，若第二图像帧对应的头部姿态在俯仰角方向发生跳变，则判断第一图像帧对应的眼部状态是否为闭眼状态。
若第二图像帧对应的头部姿态在俯仰角方向发生跳变，则系统判断第一图像帧对应的眼部状态是否为闭眼状态，若第一图像帧对应的眼部状态为睁眼状态，则执行步骤509，若第一图像帧对应的眼部状态为闭眼状态，则执行步骤510。
步骤509，若第一图像帧对应的眼部状态为睁眼状态，则输出第二图像帧对应的第二眼部状态为睁眼状态。
若第一图像帧对应的眼部状态为睁眼状态，则确定为低头睁眼往下看场景，输出第二图像帧对应的第二眼部状态为睁眼状态。
在一个示意性的例子中，如图9所示，当眼睛从睁眼状态(open)到闭眼状态(close)的同时，头部姿态在俯仰角方向发生跳变，系统判定为低头睁眼往下看场景，眼部状态修正为睁眼状态(open)，得到修正后的眼部状态。
步骤510，若第一图像帧对应的眼部状态为闭眼状态，则输出第二图像帧对应的第二眼部状态为闭眼状态。
若第一图像帧对应的眼部状态为闭眼状态，则确定为低头打盹场景，输出第二图像帧对应的第二眼部状态为闭眼状态。
在一个示意性的例子中，如图10所示，当眼睛从睁眼状态(open)到闭眼状态(close) 的同时，头部姿态在俯仰角方向发生跳变，系统判定为低头打盹场景，眼部状态保持原有的闭眼状态(close)，得到修正后的眼部状态。
可选地，当第二图像帧对应的第一眼部状态为闭眼状态时，系统可根据眼部状态序列和头部姿态序列区分正常闭眼、低头睁眼往下看和低头打盹三种场景。当仅用眼部状态序列来作为疲劳状态的输入参数时，会导致在这三种状态下发生误报，影响告警系统的有效性。我们通过增加头部姿态检测模块，可以很容易的区分正常闭眼和低头睁眼往下看两种场景，如果检测到闭眼状态的同时，校验头部姿态是否发生跳变：如果没有发生跳变，则判定为正常的闭眼场景，不修正结果保持原有的眼部状态；如果发生跳变，则判定为低头睁眼往下看场景；并修正原有的闭眼状态为睁眼状态。但是此时会将低头打盹事件误判为低头睁眼的情况，导致眼部状态修正错误。为解决低头打盹被误修正为睁眼的情况，增加了眼部稳定态队列，通过校验历史连续帧的眼部状态即第一图像帧对应的眼部状态，去区分低头睁眼往下看和低头打盹两种场景，如果第一图像帧对应的眼部状态为闭眼状态，则判定为低头打盹场景，不修正结果保持原有闭眼状态，如果第一图像帧对应的眼部状态为睁眼状态，则判定为低头睁眼往下看场景，修正原有的闭眼状态为睁眼状态。
在一个示意性的例子中，区分三种场景和修正过程如图11所示。图11中，第一行表示头部姿态在俯仰角方向的头部姿态序列，第二行表示与头部姿态对应的不做任何后处理的眼部状态序列。第三行表示增加头部姿态检测模块，修正后的眼部状态序列，从图11中可以看到，低头打盹场景的眼部状态被误修正为睁眼状态；第四行表示再增加眼部稳定态队列，进一步修正眼部状态，得到准确的眼部状态。
综上所述，本申请实施例提供的驾驶员状态检测方法，可以准确的区分三种从图像上分析几乎没有区别的正常闭眼、往下一瞥和打盹场景，同时利用稳定态队列准确的将往下一瞥导致的闭眼误检测恢复为睁眼状态，不会错误修改打盹场景下的闭眼状态，并且，通过结合头部姿态序列和眼部状态序列来区分不同场景，容错性更高，显著提高了驾驶场景中眼部状态的识别的准确性。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图12，其示出了本申请一个示例性实施例提供的驾驶员状态检测装置的框图。该装置可以通过软件、硬件或者两者的结合实现成为图2提供的DMS或者图3提供的驾驶员状态检测装置的全部或者一部分。该装置可以包括：第一获取单元1210、第二获取单元1220和确定单元1230；
第一获取单元1210，用于获取第一图像帧和第二图像帧，第一图像帧和第二图像帧均为包括驾驶员人脸的图像帧，第一图像帧是在第二图像帧之前采集的图像帧；
第二获取单元1220，用于获取第一图像帧的第一检测信息和第二图像帧的第二检测信息，第一检测信息和第二检测信息均指示驾驶员的眼部状态和头部姿态；
确定单元1230，用于在第二检测信息指示第二图像帧对应的第一眼部状态为闭眼状态时，根据第一检测信息和第二检测信息确定第二图像帧对应的第二眼部状态。
在一种可能的实现方式中，确定单元1230，还用于：
当第一检测信息和第二检测信息满足第一预设条件时，确定第二图像帧对应的第二眼部状态为睁眼状态；
其中，第一预设条件为第二检测信息指示第二图像帧对应的头部姿态在俯仰角方向发生跳变，且第一检测信息指示第一图像帧对应的眼部状态为睁眼状态。
在另一种可能的实现方式中，确定单元1230，还用于：
当第一检测信息和第二检测信息满足第二预设条件时，确定第二图像帧对应的第二眼部状态为闭眼状态；
其中，第二预设条件为第二检测信息指示第二图像帧对应的头部姿态在俯仰角方向发生跳变，且第一检测信息指示第一图像帧对应的眼部状态为闭眼状态。
在另一种可能的实现方式中，确定单元1230，还用于：
当第二检测信息指示第二图像帧对应的头部姿态在俯仰角方向未发生跳变时，确定第二图像帧对应的第二眼部状态为闭眼状态。
在另一种可能的实现方式中，该装置还包括：检测单元；
检测单元，用于根据第二图像帧对应的头部姿态和第二眼部状态，确定疲劳状态检测结果。
在另一种可能的实现方式中，该装置还包括：报警单元；
报警单元，用于当疲劳状态检测结果满足预设报警条件时，输出报警信息。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请实施例提供了一种驾驶员状态检测装置，该驾驶员状态检测装置包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令时实现上述实施例中由DMS执行的方法。
本申请实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当计算机可读代码在处理器中运行时，处理器执行上述实施例中由DMS执行的方法。
本申请实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器执行时实现上述实施例中由DMS执行的方法。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(Electrically Programmable Read-Only-Memory，EPROM或闪存)、静态随机存取存储器(Static Random-Access Memory，SRAM)、便携式压缩 盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能盘(Digital Video Disc，DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
这里所描述的计算机可读程序指令或代码可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(Instruction Set Architecture，ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(Local Area Network，LAN)或广域网(Wide Area Network，WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或可编程逻辑阵列(Programmable Logic Array，PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的装置、系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每 个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行相应的功能或动作的硬件(例如电路或ASIC(Application Specific Integrated Circuit，专用集成电路))来实现，或者可以用硬件和软件的组合，如固件等来实现。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其它变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其它单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (16)

  1. 一种驾驶员状态检测方法，其特征在于，所述方法包括：
    获取第一图像帧和第二图像帧，所述第一图像帧和所述第二图像帧均为包括驾驶员人脸的图像帧，所述第一图像帧是在所述第二图像帧之前采集的图像帧；
    获取所述第一图像帧的第一检测信息和所述第二图像帧的第二检测信息，所述第一检测信息和所述第二检测信息均指示所述驾驶员的眼部状态和头部姿态；
    在所述第二检测信息指示所述第二图像帧对应的第一眼部状态为闭眼状态时，根据所述第一检测信息和所述第二检测信息确定所述第二图像帧对应的第二眼部状态。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述第一检测信息和所述第二检测信息确定所述第二图像帧对应的第二眼部状态，包括：
    当所述第一检测信息和所述第二检测信息满足第一预设条件时，确定所述第二图像帧对应的第二眼部状态为睁眼状态；
    其中，所述第一预设条件为所述第二检测信息指示所述第二图像帧对应的头部姿态在俯仰角方向发生跳变，且所述第一检测信息指示所述第一图像帧对应的眼部状态为睁眼状态。
  3. 根据权利要求1或2所述的方法，其特征在于，所述根据所述第一检测信息和所述第二检测信息确定所述第二图像帧对应的第二眼部状态，包括：
    当所述第一检测信息和所述第二检测信息满足第二预设条件时，确定所述第二图像帧对应的第二眼部状态为闭眼状态；
    其中，所述第二预设条件为所述第二检测信息指示所述第二图像帧对应的头部姿态在俯仰角方向发生跳变，且所述第一检测信息指示所述第一图像帧对应的眼部状态为闭眼状态。
  4. 根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：
    当所述第二检测信息指示所述第二图像帧对应的头部姿态在俯仰角方向未发生跳变时，确定所述第二图像帧对应的第二眼部状态为闭眼状态。
  5. 根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：
    根据所述第二图像帧对应的所述头部姿态和所述第二眼部状态，确定疲劳状态检测结果。
  6. 根据权利要求5所述的方法，其特征在于，所述方法还包括：
    当所述疲劳状态检测结果满足预设报警条件时，输出报警信息。
  7. 一种驾驶员状态检测装置，其特征在于，所述装置包括：
    第一获取单元，用于获取第一图像帧和第二图像帧，所述第一图像帧和所述第二 图像帧均为包括驾驶员人脸的图像帧，所述第一图像帧是在所述第二图像帧之前采集的图像帧；
    第二获取单元，用于获取所述第一图像帧的第一检测信息和所述第二图像帧的第二检测信息，所述第一检测信息和所述第二检测信息均指示所述驾驶员的眼部状态和头部姿态；
    确定单元，用于在所述第二检测信息指示所述第二图像帧对应的第一眼部状态为闭眼状态时，根据所述第一检测信息和所述第二检测信息确定所述第二图像帧对应的第二眼部状态。
  8. 根据权利要求7所述的装置，其特征在于，所述确定单元，还用于：
    当所述第一检测信息和所述第二检测信息满足第一预设条件时，确定所述第二图像帧对应的第二眼部状态为睁眼状态；
    其中，所述第一预设条件为所述第二检测信息指示所述第二图像帧对应的头部姿态在俯仰角方向发生跳变，且所述第一检测信息指示所述第一图像帧对应的眼部状态为睁眼状态。
  9. 根据权利要求7或8所述的装置，其特征在于，所述确定单元，还用于：
    当所述第一检测信息和所述第二检测信息满足第二预设条件时，确定所述第二图像帧对应的第二眼部状态为闭眼状态；
    其中，所述第二预设条件为所述第二检测信息指示所述第二图像帧对应的头部姿态在俯仰角方向发生跳变，且所述第一检测信息指示所述第一图像帧对应的眼部状态为闭眼状态。
  10. 根据权利要求7至9任一所述的装置，其特征在于，所述确定单元，还用于：
    当所述第二检测信息指示所述第二图像帧对应的头部姿态在俯仰角方向未发生跳变时，确定所述第二图像帧对应的第二眼部状态为闭眼状态。
  11. 根据权利要求7至10任一所述的装置，其特征在于，所述装置还包括：检测模块；
    所述检测模块，用于根据所述第二图像帧对应的所述头部姿态和所述第二眼部状态，确定疲劳状态检测结果。
  12. 根据权利要求11所述的装置，其特征在于，所述装置还包括：报警模块；
    所述报警模块，用于当所述疲劳状态检测结果满足预设报警条件时，输出报警信息。
  13. 一种驾驶员状态检测装置，其特征在于，所述装置包括：
    处理器；
    用于存储处理器可执行指令的存储器；
    其中，所述处理器被配置为执行所述指令时实现权利要求1-6任意一项所述的方法。
  14. 一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1-6任意一项所述的方法。
  15. 一种计算机程序产品，其特征在于，所述计算机程序产品在计算机上运行时，所述计算机执行如权利要求1-6任意一项所述的方法。
  16. 一种车辆，其特征在于，所述车辆包含如权利要求7-12任意一项所述的装置。
CN202180022842.5A 2021-12-13 2021-12-13 驾驶员状态检测方法、装置及存储介质 Pending CN116615765A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/137537 WO2023108364A1 (zh) 2021-12-13 2021-12-13 驾驶员状态检测方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN116615765A true CN116615765A (zh) 2023-08-18

Family

ID=86775273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180022842.5A Pending CN116615765A (zh) 2021-12-13 2021-12-13 驾驶员状态检测方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN116615765A (zh)
WO (1) WO2023108364A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117687047A (zh) * 2024-01-31 2024-03-12 中寰星网数字科技(大连)有限公司 基于边缘计算的人工智能gnss高精度位移处理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6514651B2 (ja) * 2016-02-15 2019-05-15 ルネサスエレクトロニクス株式会社 開眼度検出システム、居眠り検知システム、自動シャッタシステム、開眼度検出方法及び開眼度検出プログラム
EP3440592B1 (en) * 2016-04-07 2023-08-30 Seeing Machines Limited Method and system of distinguishing between a glance event and an eye closure event
WO2019126908A1 (zh) * 2017-12-25 2019-07-04 深圳市大疆创新科技有限公司 图像数据处理方法、装置及设备
CN111079476B (zh) * 2018-10-19 2024-03-26 上海商汤智能科技有限公司 驾驶状态分析方法和装置、驾驶员监控系统、车辆
CN109670421B (zh) * 2018-12-04 2021-04-16 青岛小鸟看看科技有限公司 一种疲劳状态检测方法和装置
CN112949370A (zh) * 2019-12-10 2021-06-11 托比股份公司 眼睛事件检测
CN113536967B (zh) * 2021-06-25 2023-05-30 武汉极目智能技术有限公司 基于驾驶员头部运动姿态与人眼开合度的驾驶员状态辨识方法、装置、电子设备

Also Published As

Publication number Publication date
WO2023108364A1 (zh) 2023-06-22

Similar Documents

Publication Publication Date Title
JP6791198B2 (ja) 自律型車両向けの交通状況認知
You et al. CarSafe: a driver safety app that detects dangerous driving behavior using dual-cameras on smartphones
US11574544B1 (en) Vehicle collision alert system and method
US10489222B2 (en) Distributed computing resource management
US9791857B2 (en) System and method for monitoring and alerting vehicle occupant to operating efficiencies of autonomous driving assistance systems
US10011216B1 (en) Auto turn signal initiation based on lane change and driver history
CN109345829B (zh) 无人车的监控方法、装置、设备及存储介质
JP6196044B2 (ja) 交通信号認識システム及び方法
US10311658B2 (en) Unexpected impulse change collision detector
JP6491601B2 (ja) 車両内移動デバイス管理
US20180017799A1 (en) Heads Up Display For Observing Vehicle Perception Activity
Zheng et al. Unsupervised driving performance assessment using free-positioned smartphones in vehicles
JP7146516B2 (ja) 運転評価装置および車載器
CN111506057A (zh) 辅助自动驾驶的自动驾驶辅助眼镜
US11292478B2 (en) Method and control unit for detecting drowsiness of a driver for a driver assistance system for a vehicle
CN112991684A (zh) 一种驾驶预警的方法及装置
CN112689587A (zh) 考虑到在要求接管驾驶任务时驾驶员的非驾驶任务活动的可中断性而分类非驾驶任务活动的方法及因要求接管驾驶任务而中断非驾驶任务活动后重新释放非驾驶任务活动的方法
JP2017129973A (ja) 運転支援装置および運転支援方法
CN116615765A (zh) 驾驶员状态检测方法、装置及存储介质
US10902273B2 (en) Vehicle human machine interface in response to strained eye detection
Kim et al. Fusion of driver-information based driver status recognition for co-pilot system
CN111391818A (zh) 使用控制系统对车辆进行控制
US20240103548A1 (en) Image-Based Method for Simplifying a Vehicle-External Takeover of Control of a Motor Vehicle, Assistance Device, and Motor Vehicle
JP7298351B2 (ja) 状態判定装置、車載機、運転評価システム、状態判定方法、及びプログラム
Andriyanov First step towards creating a software package for detecting the dangerous states during driver eye monitoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination