CN115810252A - 疲劳驾驶预警方法、装置、设备、系统及存储介质 - Google Patents

Abstract

本公开是关于一种疲劳驾驶预警方法、装置、设备、系统及存储介质，该方法包括：响应于检测到用户进入车辆内，获取用户的睡眠状况信息和生理数据信息；响应于检测到所述车辆处于行驶状态，获取所述用户的面部图像信息；基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度；基于所述疲劳程度进行疲劳驾驶预警。本公开可以提高确定用户的疲劳程度的准确性，进而可以提高后续基于用户的疲劳程度进行疲劳驾驶预警的准确性，可以有效降低疲劳驾驶预警的误报率，从而可以提升用户的驾驶安全性和驾驶体验。

Description

疲劳驾驶预警方法、装置、设备、系统及存储介质

技术领域

本公开涉及电器技术领域，尤其涉及一种疲劳驾驶预警方法、装置、设备、系统及存储介质。

背景技术

随着汽车保有量的增加，交通事故数量高居不下，研究表明，驾驶员疲劳是交通伤亡事故中的重要原因，受人体生物钟的影像，在长期驾驶过程中难免产生疲劳，特别在夜间行车阶段。由疲劳驾驶导致的交通事故给国家造成巨大的经济损失和人员伤亡，而疲劳驾驶已成为交通事故的主要隐患。

相关技术中，针对疲劳驾驶的检测方法也很多，很多汽车中已经安装了疲劳驾驶预警系统，其采用的疲劳驾驶预警技术主要是通过车载摄像头对司机的人脸进行识别来判断司机的疲劳情况。然而，这种方案的误报比较严重，无法准确地判别司机是否真的处于疲劳驾驶状态。

发明内容

为克服相关技术中存在的问题，本公开实施例提供一种疲劳驾驶预警方法、装置、设备、系统及存储介质，用以解决相关技术中的缺陷。

根据本公开实施例的第一方面，提供一种疲劳驾驶预警方法，所述方法包括：

响应于检测到用户进入车辆内，获取用户的睡眠状况信息和生理数据信息；

响应于检测到所述车辆处于行驶状态，获取所述用户的面部图像信息；

基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度；

基于所述疲劳程度进行疲劳驾驶预警。

在一实施例中，所述基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度，包括：

基于所述睡眠状况信息和所述生理数据信息确定所述用户的精神状况信息；

基于所述面部图像信息确定所述用户的面部表情状态；

基于所述精神状况信息和所述面部表情状态确定所述用户的疲劳程度。

在一实施例中，所述基于所述睡眠状况信息和所述生理数据信息确定所述用户的精神状况信息，包括：

将所述睡眠状况信息和所述生理数据信息输入到预先训练的精神状况识别模型中，得到所述用户的精神状况信息。

在一实施例中，所述睡眠状况信息包括平均睡眠时长和前晚睡眠时长中的至少一种，所述生理数据信息包括心率和血氧饱和度中的至少一种。

在一实施例中，所述基于所述面部图像信息确定所述用户的面部表情状态，包括：

从所述面部图像信息中获取所述用户的设定关键点的子图像信息；

将所述子图像信息输入到预先训练的行为状态识别模型中，得到所述用户的面部表情状态。

在一实施例中，所述设定关键点包括面部的轮廓以及各个器官中的至少一种，所述面部表情状态包括打哈欠状态、频繁眨眼状态、闭眼状态以及长时间低头状态中的至少一种。

在一实施例中，所述基于所述疲劳程度进行疲劳驾驶预警，包括：

基于预先构建的对应关系，获取所述疲劳程度对应的预警信息；

基于所述预警信息进行疲劳驾驶预警。

在一实施例中，所述基于所述疲劳程度进行疲劳驾驶预警，包括：

响应于检测到所述疲劳程度满足疲劳驾驶预警条件，基于预先获取的预警信息进行疲劳驾驶预警。

根据本公开实施例的第二方面，提供一种疲劳驾驶预警装置，所述装置包括：

状态数据获取模块，用于响应于检测到用户进入车辆内，获取用户的睡眠状况信息和生理数据信息；

图像信息获取模块，用于响应于检测到所述车辆处于行驶状态，获取所述用户的面部图像信息；

疲劳程度确定模块，用于基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度；

疲劳驾驶预警模块，用于基于所述疲劳程度进行疲劳驾驶预警。

在一实施例中，所述疲劳程度确定模块，包括：

精神状况确定单元，用于基于所述睡眠状况信息和所述生理数据信息确定所述用户的精神状况信息；

面部表情确定单元，用于基于所述面部图像信息确定所述用户的面部表情状态；

疲劳程度确定单元，用于基于所述精神状况信息和所述面部表情状态确定所述用户的疲劳程度。

在一实施例中，所述精神状况确定单元还用于将所述睡眠状况信息和所述生理数据信息输入到预先训练的精神状况识别模型中，得到所述用户的精神状况信息。

在一实施例中，所述睡眠状况信息包括平均睡眠时长和前晚睡眠时长中的至少一种，所述生理数据信息包括心率和血氧饱和度中的至少一种。

在一实施例中，所述面部表情确定单元还用于：

从所述面部图像信息中获取所述用户的设定关键点的子图像信息；

将所述子图像信息输入到预先训练的行为状态识别模型中，得到所述用户的面部表情状态。

在一实施例中，所述设定关键点包括面部的轮廓以及各个器官中的至少一种，所述面部表情状态包括打哈欠状态、频繁眨眼状态、闭眼状态以及长时间低头状态中的至少一种。

在一实施例中，所述疲劳驾驶预警模块，包括：

预警信息获取单元，用于基于预先构建的对应关系，获取所述疲劳程度对应的预警信息；

疲劳驾驶预警单元，用于基于所述预警信息进行疲劳驾驶预警。

在一实施例中，所述疲劳驾驶预警模块还用于响应于检测到所述疲劳程度满足疲劳驾驶预警条件，基于预先获取的预警信息进行疲劳驾驶预警。

根据本公开实施例的第三方面，提供一种疲劳驾驶预警系统，所述系统包括：智能穿戴设备、车载摄像装置以及数据处理装置；

所述智能穿戴设备用于获取用户的睡眠状况信息和生理数据信息；

所述车载摄像装置用于获取所述用户的面部图像信息；

所述数据处理装置用于：响应于检测到用户进入车辆内，从所述智能穿戴设备获取用户的睡眠状况信息和生理数据信息；响应于检测到所述车辆处于行驶状态，从所述车载摄像装置获取所述用户的面部图像信息；基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度；以及，基于所述疲劳程度进行疲劳驾驶预警。

根据本公开实施例的第四方面，提供一种电子设备，所述设备包括：

处理器以及用于存储计算机程序的存储器；

其中，所述处理器被配置为在执行所述计算机程序时，实现：

响应于检测到用户进入车辆内，获取用户的睡眠状况信息和生理数据信息；

响应于检测到所述车辆处于行驶状态，获取所述用户的面部图像信息；

基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度；

基于所述疲劳程度进行疲劳驾驶预警。

根据本公开实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现：

响应于检测到用户进入车辆内，获取用户的睡眠状况信息和生理数据信息；

响应于检测到所述车辆处于行驶状态，获取所述用户的面部图像信息；

基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度；

基于所述疲劳程度进行疲劳驾驶预警。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开通过响应于检测到用户进入车辆内，获取用户的睡眠状况信息和生理数据信息，并响应于检测到所述车辆处于行驶状态，获取所述用户的面部图像信息，以及基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度，进而可以实现基于所述疲劳程度进行疲劳驾驶预警，由于是基于用户的睡眠状况信息、生理数据信息以及面部图像信息确定所述用户的疲劳程度，可以提高确定用户的疲劳程度的准确性，进而可以提高后续基于用户的疲劳程度进行疲劳驾驶预警的准确性，可以有效降低疲劳驾驶预警的误报率，从而可以提升用户的驾驶安全性和驾驶体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据本公开一示例性实施例示出的一种疲劳驾驶预警方法的流程图；

图2是根据本公开一示例性实施例示出的如何基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度的流程图；

图3是根据本公开一示例性实施例示出的如何基于所述面部图像信息确定所述用户的面部表情状态的流程图；

图4是根据本公开一示例性实施例示出的如何基于所述疲劳程度进行疲劳驾驶预警的流程图；

图5是根据本公开一示例性实施例示出的一种疲劳驾驶预警装置的框图；

图6是根据本公开一示例性实施例示出的又一种疲劳驾驶预警装置的框图；

图7是根据本公开一示例性实施例示出的一种疲劳驾驶预警系统的框图；

图8是根据本公开一示例性实施例示出的一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本公开相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种疲劳驾驶预警方法的流程图；本实施例的方法可以应用于车载终端设备、智能手机、平板电脑以及可穿戴设备等(以下实施例以车载终端设备为例进行示例性说明)。

如图1所示，该方法包括以下步骤S101-S103：

在步骤S101中，响应于检测到用户进入车辆内，获取用户的睡眠状况信息和生理数据信息。

本实施例中，车载终端设备可以响应于检测到用户进入车辆内，获取用户的睡眠状况信息和生理数据信息。

举例来说，车载终端设备可以通过用户佩戴的可穿戴设备判断用户是否进入车辆，例如当车载终端设备可以检测到可穿戴设备(即，该可穿戴设备位于车载终端设备的检测范围内)时，可以确定用户进入车辆内。进而，车载终端设备可以从可穿戴设备中获取用户的睡眠状况信息和生理数据信息。

也即是说，车载终端设备与可穿戴设备之间是具有信息交互和传递的关系的。本实施例中可以以车载终端设备为中心，当可穿戴设备获取到用户的睡眠状况信息和生理数据信息后，将该信息传递给车载终端设备。

其中，上述睡眠状况信息可以包括平均睡眠时长和前晚睡眠时长中的至少一种，生理数据信息可以包括心率和血氧饱和度中的至少一种。

值得说明的是，上述通过用户佩戴的可穿戴设备判断用户是否进入车辆的方式仅用于示例性说明，在实际应用中也可以根据需要采用相关技术中的其他方式判断用户是否进入车辆，本实施例对此不进行限定。

在步骤S102中，响应于检测到所述车辆处于行驶状态，获取所述用户的面部图像信息。

本实施例中，当检测到用户进入车辆内之后，车载终端设备可以响应于检测到所述车辆处于行驶状态，获取所述用户的面部图像信息。

举例来说，车载终端设备可以通过检测车辆发动机的工作状态来检测车辆是否处于行驶状态。例如，当车载终端设备检测到车辆的发动机处于工作状态时，可以确定车辆处于行驶状态，进而可以基于预设频率获取用户的面部图像信息，例如可以通过车载摄像头等图像获取装置来获取用户的面部图像信息，本实施例对此不进行限定。

也即是说，车载终端设备与车载摄像头之间也是具有信息交互和传递的关系的。本实施例中可以以车载终端设备为中心，当车载摄像头获取到用户的面部图像信息后，将该信息传递给车载终端设备。

在步骤S103中，基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度。

本实施例中，当车载终端设备获取上述睡眠状况信息、生理数据信息以及面部图像信息以后，可以基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度。

举例来说，车载终端设备可以通过对所述睡眠状况信息、所述生理数据信息以及所述面部图像信息进行分析，以基于分析结果综合评定用户的疲劳程度。例如，可以将上述信息输入到预先训练的深度学习模型中，以基于模型的输出结果得到用户的疲劳程度。

在另一实施例中，上述基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度的方式还可以参见下述图2所示实施例，在此先不进行详述。

在步骤S104中，基于所述疲劳程度进行疲劳驾驶预警。

本实施例中，当车载终端设备基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度后，可以基于所述疲劳程度进行疲劳驾驶预警。

在一实施例中，当车载终端设备确定所述用户的疲劳程度后，可以判断疲劳程度是否满足疲劳驾驶预警条件，进而可以当确定用户的疲劳程度满足疲劳驾驶预警条件时，基于预先获取的预警信息进行疲劳驾驶预警。

举例来说，可以预先设置疲劳程度的等级，如0级(不疲劳)、1级(疲劳)以及2级(严重疲劳)等。在此基础上，可以设置疲劳驾驶预警条件为：用户的疲劳程度大于或等于1级。进而当检测到用户的疲劳程度为1级或2级时，可以基于预先获取的预警信息向用户进行疲劳驾驶预警，以提醒用户小心驾驶，及时休息。其中，上述预警信息的形式和内容可以基于实际业务需要进行设置，例如，车载终端设备可以通过显示屏显示预先设置的文字形式的提示用语，如“检测到您已处于轻度疲劳状态，请小心驾驶”等；和/或，车载终端设备还可以通过音箱等音频输出装置输出预先设置的语音形式的提示用语，如“检测到您已处于重度疲劳状态，请停止驾驶，及时休息”。可以理解的是，不同类型设备的驾驶预警的方式不同，本实施例对此不进行限定。

在另一实施例中，上述基于所述疲劳程度进行疲劳驾驶预警的方式还可以参见下述图4所示实施例，在此先不进行详述。

由上述描述可知，本实施例的方法通过响应于检测到用户进入车辆内，获取用户的睡眠状况信息和生理数据信息，并响应于检测到所述车辆处于行驶状态，获取所述用户的面部图像信息，以及基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度，进而可以实现基于所述疲劳程度进行疲劳驾驶预警，由于是基于用户的睡眠状况信息、生理数据信息以及面部图像信息确定所述用户的疲劳程度，可以提高确定用户的疲劳程度的准确性，进而可以提高后续基于用户的疲劳程度进行疲劳驾驶预警的准确性，可以有效降低疲劳驾驶预警的误报率，从而可以提升用户的驾驶安全性和驾驶体验。

图2是根据本公开一示例性实施例示出的如何基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度的流程图；本实施例在上述实施例的基础上，以如何基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度为例进行示例性说明。如图2所示，上述步骤S103中所述的基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度，可以包括以下步骤S201-S203：

在步骤S201中，基于所述睡眠状况信息和所述生理数据信息确定所述用户的精神状况信息。

本实施例中，当车载终端设备获取用户的睡眠状况信息和所述生理数据信息后，可以基于所述睡眠状况信息和所述生理数据信息确定所述用户的精神状况信息。

其中，上述睡眠状况信息可以包括平均睡眠时长和前晚睡眠时长中的至少一种，而生理数据信息可以包括心率和血氧饱和度中的至少一种。

在一实施例中，可以将上述睡眠状况信息和生理数据信息输入到预先训练的精神状况识别模型中，得到所述用户的精神状况信息。

值得说明的是，上述精神状况识别模型可以为预先基于大量的样本数据训练的用于识别用户的精神状况的模型，该模型的输入信息可以包括用户的睡眠状况信息和生理数据信息，而输出信息可以为用户的精神状况信息。举例来说，可以预先设置精神状况信息的数值范围，如0～100，分值越高可以表征用户的精神状态越饱满，本实施例对此不进行限定。

在步骤S202中，基于所述面部图像信息确定所述用户的面部表情状态。

本实施例中，当车载终端设备获取用户的面部图像信息后，可以基于所述面部图像信息确定所述用户的面部表情状态。

举例来说，当车载终端设备获取用户的面部图像信息后，可以从该面部图像信息中提取出用户的各个面部器官形状，然后将该面部器官形状与各种预设的面部表情状态中的面部器官形状进行匹配，进而可以基于匹配结果确定所述用户的面部表情状态。其中，面部表情状态可以包括正常表情、打哈欠、眨眼和低头等。

在另一实施例中，上述基于所述面部图像信息确定所述用户的面部表情状态的方式还可以参见下述图3所示实施例，在此先不进行详述。

在步骤S203中，基于所述精神状况信息和所述面部表情状态确定所述用户的疲劳程度。

本实施例中，当车载终端设备确定所述用户的精神状况信息以及面部表情状态后，可以基于所述精神状况信息和所述面部表情状态确定所述用户的疲劳程度。

举例来说，当确定所述用户的精神状况信息以及面部表情状态后，车载终端设备可以基于所述精神状况信息和所述面部表情状态进行分析处理，例如按照加权和算法计算出用户的疲劳程度评价分值，进而基于该分值确定所述用户的疲劳程度。

由上述描述可知，本实施例通过基于所述睡眠状况信息和所述生理数据信息确定所述用户的精神状况信息，并基于所述面部图像信息确定所述用户的面部表情状态，进而基于所述精神状况信息和所述面部表情状态确定所述用户的疲劳程度，可以提高确定用户的疲劳程度的准确性，进而为后续基于用户的疲劳程度进行疲劳驾驶预警提供准确的依据。

图3是根据本公开一示例性实施例示出的如何基于所述面部图像信息确定所述用户的面部表情状态的流程图；本实施例在上述实施例的基础上，以如何基于所述面部图像信息确定所述用户的面部表情状态为例进行示例性说明。如图3所示，上述步骤S202中所述的基于所述面部图像信息确定所述用户的面部表情状态，可以包括以下步骤S301-S302：

在步骤S301中，从所述面部图像信息中获取所述用户的设定关键点的子图像信息。

本实施例中，当车载终端设备获取用户的面部图像信息后，可以从所述面部图像信息中获取所述用户的设定关键点的子图像信息。

在一实施例中，上述设定关键点可以包括面部的轮廓以及各个器官中的至少一种。

举例来说，当车载终端设备获取用户的面部图像信息后，可以从所述面部图像信息中识别出用户的各个设定关键点，进而基于识别结果从上述面部图像信息中获取上述每个设定关键点的子图像信息。

在步骤S302中，将所述子图像信息输入到预先训练的行为状态识别模型中，得到所述用户的面部表情状态。

本实施例中，当车载终端设备从所述面部图像信息中获取所述用户的设定关键点的子图像信息后，可以将所述子图像信息输入到预先训练的行为状态识别模型中，得到所述用户的面部表情状态。

其中，上述行为状态识别模型可以为预先基于大量的样本数据训练的用于识别用户的面部表情状态的模型，该模型的输入信息可以包括用户的设定关键点的子图像信息，而输出信息可以为用户的面部表情状态。举例来说，该面部表情状态可以包括打哈欠状态、频繁眨眼状态、闭眼状态以及长时间低头状态中的至少一种，本实施例对此不进行限定。

举例来说，本实施例可以采用landmark人脸关键点检测算法，先对采集的面部图像信息(如，人脸视频信息等)进行人脸关键点建模，包括面部的整体轮廓以及面部各个器官的关键点建模。示例性地，针对打哈欠这个面部表情状态的检测可以是通过捕获唇部的关键点所围成的封闭区域与整个面部轮廓关键点所围成的封闭区域面积变化进行判断的；而对于驾驶过程中由于疲劳而产生的频繁眨眼或闭眼等面部表情状态的检测可以是通过动态区域眼关键检测模型进行处理的，例如考虑到在频繁眨眼或闭眼状态下，瞳孔长时间检测不到，因而可以基于该特点判断用户的状态为频繁眨眼或闭眼等面部表情状态；同理，针对驾驶过程中因为疲劳而产生的长时间低头状态的检测，可以基于人脸landmark关键点检测模型在捕获不到全部人脸或是部分人脸时，判断用户的状态为长时间低头状态。

由上述描述可知，本实施例通过从所述面部图像信息中获取所述用户的设定关键点的子图像信息，并将所述子图像信息输入到预先训练的行为状态识别模型中，得到所述用户的面部表情状态，可以实现基于用户的面部图像信息准确地确定用户的面部表情状态，进而可以实现后续基于所述精神状况信息和所述面部表情状态确定所述用户的疲劳程度，可以提高确定用户的疲劳程度的准确性，进而提高后续基于用户的疲劳程度进行疲劳驾驶预警的准确性，实现有效降低疲劳驾驶预警的误报率。

图4是根据本公开一示例性实施例示出的如何基于所述疲劳程度进行疲劳驾驶预警的流程图；本实施例在上述实施例的基础上，以如何基于所述疲劳程度进行疲劳驾驶预警为例进行示例性说明。如图4所示，上述步骤S104中基于所述疲劳程度进行疲劳驾驶预警，可以包括以下步骤S401-S402：

在步骤S401中，基于预先构建的对应关系，获取所述疲劳程度对应的预警信息。

本实施例中，当基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度后，可以基于预先构建的对应关系，获取所述疲劳程度对应的预警信息。

其中，上述对应关系可以为预先构建的不同疲劳程度与相应的预警信息之间的对应关系。进而当车载终端设备确定所述用户的疲劳程度后，可以查询该对应关系，确定该疲劳程度对应的预警信息。

值得说明的是，不同的疲劳程度对应的预警信息的形式和内容可以基于实际业务需要进行设置，如设置为不同的文字方式和/或声音方式等，本实施例对此不进行限定。

在步骤S402中，基于所述预警信息进行疲劳驾驶预警。

本实施例中，当基于预先构建的对应关系，获取所述疲劳程度对应的预警信息后，可以基于所述预警信息进行疲劳驾驶预警。例如，可以基于车载终端设备展示和/或播放当前获取的预警信息，以提醒用户小心驾驶，及时休息。

由上述描述可知，本实施例通过基于预先构建的对应关系，获取所述疲劳程度对应的预警信息，进而基于所述预警信息进行疲劳驾驶预警，可以实现基于用户的不同疲劳程度采用相应的预警信息进行疲劳驾驶预警，可以实现更好的预警效果，从而可以提升用户的驾驶安全性和驾驶体验。

图5是根据一示例性实施例示出的一种疲劳驾驶预警装置的框图；本实施例的装置可以应用于车载终端设备、智能手机、平板电脑以及可穿戴设备等。如图5所示，该装置包括：状态数据获取模块110、图像信息获取模块120、疲劳程度确定模块130以及疲劳驾驶预警模块140，其中：

状态数据获取模块110，用于响应于检测到用户进入车辆内，获取用户的睡眠状况信息和生理数据信息；

图像信息获取模块120，用于响应于检测到所述车辆处于行驶状态，获取所述用户的面部图像信息；

疲劳程度确定模块130，用于基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度；

疲劳驾驶预警模块140，用于基于所述疲劳程度进行疲劳驾驶预警。

由上述描述可知，本实施例的装置通过响应于检测到用户进入车辆内，获取用户的睡眠状况信息和生理数据信息，并响应于检测到所述车辆处于行驶状态，获取所述用户的面部图像信息，以及基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度，进而可以实现基于所述疲劳程度进行疲劳驾驶预警，由于是基于用户的睡眠状况信息、生理数据信息以及面部图像信息确定所述用户的疲劳程度，可以提高确定用户的疲劳程度的准确性，进而可以提高后续基于用户的疲劳程度进行疲劳驾驶预警的准确性，可以有效降低疲劳驾驶预警的误报率，从而可以提升用户的驾驶安全性和驾驶体验。

图6是根据又一示例性实施例示出的一种疲劳驾驶预警装置的框图；本实施例的装置可以应用于车载终端设备、智能手机、平板电脑以及可穿戴设备等。其中，状态数据获取模块210、图像信息获取模块220、疲劳程度确定模块230以及疲劳驾驶预警模块240与前述图5所示实施例中的状态数据获取模块110、图像信息获取模块120、疲劳程度确定模块130以及疲劳驾驶预警模块140的功能相同，在此不进行赘述。如图6所示，疲劳程度确定模块230，可以包括：

精神状况确定单元231，用于基于所述睡眠状况信息和所述生理数据信息确定所述用户的精神状况信息；

面部表情确定单元232，用于基于所述面部图像信息确定所述用户的面部表情状态；

疲劳程度确定单元233，用于基于所述精神状况信息和所述面部表情状态确定所述用户的疲劳程度。

在一实施例中，上述精神状况确定单元231还可以用于将所述睡眠状况信息和所述生理数据信息输入到预先训练的精神状况识别模型中，得到所述用户的精神状况信息。

在一实施例中，上述睡眠状况信息可以包括平均睡眠时长和前晚睡眠时长中的至少一种，上述生理数据信息可以包括心率和血氧饱和度中的至少一种。

在一实施例中，上述面部表情确定单元232还可以用于：

从所述面部图像信息中获取所述用户的设定关键点的子图像信息；

将所述子图像信息输入到预先训练的行为状态识别模型中，得到所述用户的面部表情状态。

在一实施例中，上述设定关键点可以包括面部的轮廓以及各个器官中的至少一种，所述面部表情状态可以包括打哈欠状态、频繁眨眼状态、闭眼状态以及长时间低头状态中的至少一种。

在一实施例中，上述疲劳驾驶预警模块240，可以包括：

预警信息获取单元241，用于基于预先构建的对应关系，获取所述疲劳程度对应的预警信息；

疲劳驾驶预警单元242，用于基于所述预警信息进行疲劳驾驶预警。

在另一实施例中，上述疲劳驾驶预警模块240还可以用于响应于检测到所述疲劳程度满足疲劳驾驶预警条件，基于预先获取的预警信息进行疲劳驾驶预警。

图7是根据一示例性实施例示出的一种疲劳驾驶预警系统的框图；如图7所示，该系统可以包括：智能穿戴设备310、车载摄像装置320以及数据处理装置330，其中：

智能穿戴设备310可以用于获取用户的睡眠状况信息和生理数据信息；

车载摄像装置320可以用于获取所述用户的面部图像信息；

数据处理装置330可以用于：响应于检测到用户进入车辆内，从智能穿戴设备310获取用户的睡眠状况信息和生理数据信息；响应于检测到所述车辆处于行驶状态，从车载摄像装置320获取所述用户的面部图像信息；基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度；以及，基于所述疲劳程度进行疲劳驾驶预警。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图8是根据一示例性实施例示出的一种电子设备的框图。例如，设备900可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图8，设备900可以包括以下一个或多个组件：处理组件902，存储器904，电源组件906，多媒体组件908，音频组件910，输入/输出(I/O)的接口912，传感器组件914，以及通信组件916。

处理组件902通常控制设备900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。

存储器904被配置为存储各种类型的数据以支持在设备900的操作。这些数据的示例包括用于在设备900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件906为设备900的各种组件提供电力。电源组件906可以包括电源管理系统，一个或多个电源，及其他与为设备900生成、管理和分配电力相关联的组件。

多媒体组件908包括在所述设备900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当设备900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(MIC)，当设备900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。

I/O接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件914包括一个或多个传感器，用于为设备900提供各个方面的状态评估。例如，传感器组件914可以检测到设备900的打开/关闭状态，组件的相对定位，例如所述组件为设备900的显示器和小键盘，传感器组件914还可以检测设备900或设备900一个组件的位置改变，用户与设备900接触的存在或不存在，设备900方位或加速/减速和设备900的温度变化。传感器组件914还可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件916被配置为便于设备900和其他设备之间有线或无线方式的通信。设备900可以接入基于通信标准的无线网络，如WiFi，2G或3G，4G或5G或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子组件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由设备900的处理器920执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (19)

1.一种疲劳驾驶预警方法，其特征在于，所述方法包括：

响应于检测到用户进入车辆内，获取用户的睡眠状况信息和生理数据信息；

响应于检测到所述车辆处于行驶状态，获取所述用户的面部图像信息；

基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度；

基于所述疲劳程度进行疲劳驾驶预警。

2.根据权利要求1所述的方法，其特征在于，所述基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度，包括：

基于所述睡眠状况信息和所述生理数据信息确定所述用户的精神状况信息；

基于所述面部图像信息确定所述用户的面部表情状态；

基于所述精神状况信息和所述面部表情状态确定所述用户的疲劳程度。

3.根据权利要求2所述的方法，其特征在于，所述基于所述睡眠状况信息和所述生理数据信息确定所述用户的精神状况信息，包括：

将所述睡眠状况信息和所述生理数据信息输入到预先训练的精神状况识别模型中，得到所述用户的精神状况信息。

4.根据权利要求1所述的方法，其特征在于，所述睡眠状况信息包括平均睡眠时长和前晚睡眠时长中的至少一种，所述生理数据信息包括心率和血氧饱和度中的至少一种。

5.根据权利要求2所述的方法，其特征在于，所述基于所述面部图像信息确定所述用户的面部表情状态，包括：

从所述面部图像信息中获取所述用户的设定关键点的子图像信息；

将所述子图像信息输入到预先训练的行为状态识别模型中，得到所述用户的面部表情状态。

6.根据权利要求5所述的方法，其特征在于，所述设定关键点包括面部的轮廓以及各个器官中的至少一种，所述面部表情状态包括打哈欠状态、频繁眨眼状态、闭眼状态以及长时间低头状态中的至少一种。

7.根据权利要求1所述的方法，其特征在于，所述基于所述疲劳程度进行疲劳驾驶预警，包括：

基于预先构建的对应关系，获取所述疲劳程度对应的预警信息；

基于所述预警信息进行疲劳驾驶预警。

8.根据权利要求1所述的方法，其特征在于，所述基于所述疲劳程度进行疲劳驾驶预警，包括：

响应于检测到所述疲劳程度满足疲劳驾驶预警条件，基于预先获取的预警信息进行疲劳驾驶预警。

9.一种疲劳驾驶预警装置，其特征在于，所述装置包括：

状态数据获取模块，用于响应于检测到用户进入车辆内，获取用户的睡眠状况信息和生理数据信息；

图像信息获取模块，用于响应于检测到所述车辆处于行驶状态，获取所述用户的面部图像信息；

疲劳程度确定模块，用于基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度；

疲劳驾驶预警模块，用于基于所述疲劳程度进行疲劳驾驶预警。

10.根据权利要求9所述的装置，其特征在于，所述疲劳程度确定模块，包括：

精神状况确定单元，用于基于所述睡眠状况信息和所述生理数据信息确定所述用户的精神状况信息；

面部表情确定单元，用于基于所述面部图像信息确定所述用户的面部表情状态；

疲劳程度确定单元，用于基于所述精神状况信息和所述面部表情状态确定所述用户的疲劳程度。

11.根据权利要求10所述的装置，其特征在于，所述精神状况确定单元还用于将所述睡眠状况信息和所述生理数据信息输入到预先训练的精神状况识别模型中，得到所述用户的精神状况信息。

12.根据权利要求11所述的装置，其特征在于，所述睡眠状况信息包括平均睡眠时长和前晚睡眠时长中的至少一种，所述生理数据信息包括心率和血氧饱和度中的至少一种。

13.根据权利要求10所述的装置，其特征在于，所述面部表情确定单元还用于：

从所述面部图像信息中获取所述用户的设定关键点的子图像信息；

将所述子图像信息输入到预先训练的行为状态识别模型中，得到所述用户的面部表情状态。

14.根据权利要求13所述的装置，其特征在于，所述设定关键点包括面部的轮廓以及各个器官中的至少一种，所述面部表情状态包括打哈欠状态、频繁眨眼状态、闭眼状态以及长时间低头状态中的至少一种。

15.根据权利要求9所述的装置，其特征在于，所述疲劳驾驶预警模块，包括：

预警信息获取单元，用于基于预先构建的对应关系，获取所述疲劳程度对应的预警信息；

疲劳驾驶预警单元，用于基于所述预警信息进行疲劳驾驶预警。

16.根据权利要求9所述的装置，其特征在于，所述疲劳驾驶预警模块还用于响应于检测到所述疲劳程度满足疲劳驾驶预警条件，基于预先获取的预警信息进行疲劳驾驶预警。

17.一种疲劳驾驶预警系统，其特征在于，所述系统包括：智能穿戴设备、车载摄像装置以及数据处理装置；

所述智能穿戴设备用于获取用户的睡眠状况信息和生理数据信息；

所述车载摄像装置用于获取所述用户的面部图像信息；

所述数据处理装置用于：响应于检测到用户进入车辆内，从所述智能穿戴设备获取用户的睡眠状况信息和生理数据信息；响应于检测到所述车辆处于行驶状态，从所述车载摄像装置获取所述用户的面部图像信息；基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度；以及，基于所述疲劳程度进行疲劳驾驶预警。

18.一种电子设备，其特征在于，所述设备包括：

处理器以及用于存储计算机程序的存储器；

其中，所述处理器被配置为在执行所述计算机程序时，实现：

响应于检测到用户进入车辆内，获取用户的睡眠状况信息和生理数据信息；

响应于检测到所述车辆处于行驶状态，获取所述用户的面部图像信息；

基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度；

基于所述疲劳程度进行疲劳驾驶预警。

19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现：

响应于检测到用户进入车辆内，获取用户的睡眠状况信息和生理数据信息；

响应于检测到所述车辆处于行驶状态，获取所述用户的面部图像信息；

基于所述睡眠状况信息、所述生理数据信息以及所述面部图像信息确定所述用户的疲劳程度；

基于所述疲劳程度进行疲劳驾驶预警。

Images