CN110291478B - 驾驶员监视和响应系统 - Google Patents

Abstract

评估引擎具有两个或更多个模块以辅助车辆驾驶员。驾驶员困倦模块分析驾驶员的被监视特征以识别车辆驾驶员的两个或更多个困倦水平。驾驶员困倦模块基于观察到的驾驶员的肢体语言和面部分析来评估驾驶员的困倦。驾驶员困倦模块被配置为当驾驶员驾驶车辆时针对i)训练的人工智能模型和ii)基于规则的模型中的至少一个来分析来自传感器的实时多模态传感器输入，以产生包括驾驶员困倦水平估计的输出。驾驶员辅助模块向驾驶员提供一个或更多个正辅助机制，以使驾驶员返回到指定的困倦水平或高于指定的困倦水平。

Description

驾驶员监视和响应系统

相关申请

本申请在35 USC 119下要求对2016年12月22日提交的标题为“Automatedestimation of drowsiness level of a driver of a vehicle(车辆驾驶员的困倦水平的自动估计)”的美国临时专利申请SN 62/438,422以及2016年12月22日提交的标题为“Alertness assistance for a driver of a vehicle(车辆驾驶员的警觉辅助)”的美国临时专利申请SN 62/438,419的权益和优先权，两者均以其整体并入本文。

版权声明

本专利申请的公开内容的一部分包含受版权保护的材料。当它出现在美国专利和商标局的专利文档或记录中时，版权所有者不反对任何软件引擎及其模块进行传真复制，但在其他方面保留所有版权。

技术领域

本文提供的设计的实施例一般涉及驾驶员监视和响应系统。

背景技术

道路上过度劳累和/或疲劳的驾驶员在道路上造成许多问题。让车辆配置有智能和传感器以检测和响应处于困倦水平的驾驶员将有助于提高道路上的安全性。

发明内容

这里提供了用于驾驶员监视和响应系统的各种方法、装置和系统。

在一个实施例中，评估引擎具有两个或更多个模块以辅助车辆驾驶员。驾驶员困倦模块分析驾驶员的被监视特征以识别车辆驾驶员的两个或更多个困倦水平。面部分析模块执行i)面部跟踪和ii)车辆驾驶员的眨眼跟踪中的至少一个，以辅助检测车辆驾驶员的困倦水平。面部分析模块的输出分析被提供给驾驶员困倦模块。传感器接口位于两个或更多个模块(包括面部分析模块和驾驶员困倦模块)和位于车辆中的一个或更多个传感器之间。位于车辆中的一个或更多个传感器包括i)一个或更多个相机，以及ii)运动感测设备，以监视车辆驾驶员。驾驶员困倦模块被配置为利用面部分析模块的输出，基于观察到的驾驶员的肢体语言和面部分析来评估驾驶员的困倦，以对车辆驾驶员的两个或更多个困倦水平进行检测和分级。驾驶员困倦模块被配置为在车辆启动时针对i)训练的人工智能模型、ii)基于规则的模型中的至少一个或iii)针对i)和ii)两者分析来自传感器的实时多模态传感器输入，以产生包括驾驶员困倦水平估计的输出。与没有使用训练的人工智能模型和/或基于规则的模型的驾驶员困倦模块比较，使用训练的人工智能模型和/或基于规则的模型的驾驶员困倦模块被配置为利用较少的计算周期来对车辆驾驶员的当前困倦水平进行分级。基于来自驾驶员困倦模块的输出，驾驶员辅助模块尝试维持在指定的驾驶员困倦水平或高于指定的驾驶员困倦水平。当驾驶员未在指定的驾驶员困倦水平或未高于指定的驾驶员困倦水平时，驾驶员辅助模块向驾驶员提供一个或更多个正辅助机制以使驾驶员返回到指定的困倦水平或高于指定的困倦水平。

参考附图、说明书和权利要求可以更好地理解本文提供的设计的这些和其他特征，所有特征构成了本专利申请的公开内容。

附图说明

附图涉及本文提供的设计的一些实施例，其中：

图1说明了评估引擎的实施例的框图，该评估引擎具有两个或更多个模块以辅助车辆驾驶员。

图2说明了用于监视车辆驾驶员和使车辆驾驶员警觉的评估引擎的实施例的框图。

图3说明了驾驶员困倦模块的框图，其可以估计车辆驾驶员的困倦水平。

图4说明了驾驶员辅助模块的框图。

图5示出了面部分析模块的说明，面部分析模块使用面部模型对以下任务执行面部分析：诸如驾驶员的面部跟踪、驾驶员的眨眼跟踪、驾驶员的面部表情分析、驾驶员注视跟踪、驾驶员的眼睛闭合模式分析等。

图6说明了利用驾驶员的骨架模型的驾驶员活动模块的框图。

图7说明了驾驶员困倦模块的框图。

图8A-图8B说明了评估引擎的实施例的流程图。

图9说明了可以是评估引擎的一部分的一个或更多个计算设备的实施例。

虽然设计受到各种修改、等同物和替代形式的限制，但是其特定实施例已经通过附图中的示例示出并且现在将详细描述。应当理解，设计不限于所公开的特定实施例，但是相反地，其意图是使用特定实施例覆盖所有修改、等同物和替代形式。

具体实施方式

在以下描述中，阐述了许多具体细节，诸如特定的数据信号、命名的组件、捕获的图像的帧数等的示例，以便提供对本设计的透彻理解。然而，对于本领域普通技术人员明显的是，可以在没有这些具体细节的情况下实施本设计。在其他情况下，在框图中而不是详细地描述公知的组件或方法，以避免不必要地模糊本设计。此外，可以做出诸如第一计算设备的特定数字参考。然而，特定数字参考不应被解释为字面的顺序，而是解释为第一计算设备与第二计算设备不同。因此，所阐述的具体细节仅仅是示例性的。具体细节可以在本设计的精神和范围内变化，并且仍然是可以预期的。术语“耦合”被定义为意味着直接连接到组件或通过另一个组件间接连接到组件。

通常，讨论评估引擎系统的一个或更多个实施例。在一个实施例中，评估引擎具有两个或更多个模块以辅助车辆驾驶员。驾驶员困倦模块分析驾驶员的被监视特征以识别车辆驾驶员的两个或更多个困倦水平。驾驶员困倦模块基于观察到的驾驶员的肢体语言和面部分析来评估驾驶员的困倦。驾驶员困倦模块被配置为当驾驶员驾驶车辆时针对i)训练的人工智能模型和ii)基于规则的模型中的至少一个来分析来自传感器的实时多模态传感器输入，以产生包括驾驶员困倦水平估计的输出。驾驶员辅助模块向驾驶员提供一个或更多个正辅助机制，以使驾驶员返回到指定的困倦水平或高于指定的困倦水平。

图1说明了评估引擎的实施例的框图，该评估引擎具有两个或更多个模块以辅助车辆驾驶员。评估引擎100可以包括各种模块，包括面部分析模块、生物信号估计模块、驾驶员困倦模块和驾驶员辅助模块。评估引擎100可以具有附加模块和子模块，包括驾驶员的面部跟踪模块、驾驶员的注视模块、驾驶员的眨眼跟踪模块、驾驶员的面部表情监视模块、基于身体语言的向下运动识别模块、基于面部表情的情感识别模块、基于语音的情感识别模块以及多模态融合的情感评估模块。评估引擎100可以从多个不同的传感器接收输入，例如，具有广角相机的运动感测设备、狭窄地聚焦在驾驶员的面部上的红外相机、麦克风、附接到驾驶员的各种生物传感器，诸如智能手表，它将蓝牙信号发送到车辆的信息系统，以及在驾驶员身上或安装在车辆中的其他类似传感器。

评估引擎100可以是人工智能和/或基于规则的引擎，其具有辅助车辆驾驶员的规则或训练。评估引擎100使用其两个或更多个模块来增强驾驶员安全性并通过执行以下之一或两者来促进安全和放松的驾驶体验：i)困倦估计或ii)困倦估计。

驾驶员困倦模块被配置为分析驾驶员的被监视特征以识别车辆驾驶员的两个或更多个困倦水平。驾驶员困倦模块监视器用于自动估计车辆驾驶员的困倦水平。驾驶员困倦模块集成了多模态分析，包括两个或多个特征，包括：面部表情分析、注视行为分析、眼部活动分析、眨眼轮廓、眼睛闭合模式、肢体语言分析(包括运动/姿势/活动的平稳性和快速性)、以及潜在的语音情绪分析。驾驶员困倦模块可以包括通用困倦水平人工智能模型和用户个性化困倦水平人工智能模型。

面部分析模块，被配置为至少对车辆驾驶员跟踪和执行i)面部跟踪ii)眨眼跟踪、iii)眼睑开/合比、iv)眼睛闭合持续时间或强迫眼睛睁开事件、v)面部表情分析以及vi)驾驶员注视跟踪，以辅助检测车辆驾驶员的困倦水平。面部分析模块的输出分析被提供给驾驶员困倦模块。面部分析模块可以具有眼部活动分析模块，该模块被配置为与红外光源协作以跟踪驾驶员的头部相对于车辆的方向盘的方向以及车辆驾驶员的眼睛的注视角度。眼部活动分析模块可以实现基于闪烁(glint)的跟踪机制，其跟踪来自红外光源的角膜闪烁。

传感器接口介接在两个或更多个模块(包括面部分析模块、驾驶员困倦模块等)以及位于车辆中的一个或更多个传感器之间。位于车辆中的一个或更多个传感器包括i)一个或更多个相机，ii)与语音用户接口(例如，Kinect传感器)耦合的运动感测设备，以监视车辆驾驶员。在一个实施例中，传感器接口从以下中的至少三个传感器接收多模态传感器输入：i)与语音用户接口耦合的运动感测设备，该语音用户接口包括近距离通话麦克风，ii)高分辨率红外相机，其产生于至少300dpi(每英寸点数)图像，其耦合到车辆中的一个或更多个红外光源，该一个或更多个红外光源被定位成狭窄地聚焦在驾驶员的面部上，以及iii)广角镜头、三维深度相机，被定位以捕捉驾驶员头部和上半身的视图。注意，广角镜头三维深度相机可选地与运动感测设备分离。

驾驶员活动分析模块与传感器接口协作以从车辆中的广角深度相机接收输入，以便相对于驾驶员的身体执行头部姿势跟踪。驾驶员活动分析模块使用算法来相对于由广角深度相机提供的图像输入三维地确定驾驶员的头部位置。

驾驶员困倦模块利用i)从驾驶员活动模块的深度学习和ii)面部分析模块的输出，以基于观察到的驾驶员的肢体语言、面部分析、内容和/或声音语气以及驾驶员的其他形式的表达来评估驾驶员的注意力/困倦，以便对车辆驾驶员的两个或更多个困倦水平进行检测和分级。驾驶员辅助模块被配置为基于来自驾驶员困倦模块的输出来尝试维持在驾驶员的指定的困倦水平或高于指定的困倦水平。当驾驶员未处于或未高于驾驶员的这种困倦水平时，驾驶员辅助模块将一个或更多个正辅助机制提供给驾驶员以使驾驶员返回到指定的困倦水平。驾驶员辅助模块被配置为尝试实时地预测驾驶员的需要并且试图使驾驶员保持在非困倦状态或至少处于或高于轻微困倦的水平。

图2说明了用于监视车辆驾驶员和使车辆驾驶员警觉的评估引擎的另一实施例的框图。评估引擎200可以具有驾驶员监视系统图形用户界面(GUI)、驾驶员监视系统定制平台、驾驶员监视平台和驾驶员辅助模块。

评估引擎200，例如人工智能和/或基于规则的引擎，具有两个或更多个模块以辅助车辆驾驶员。一个模块(诸如驾驶员困倦模块)可以使用i)在检测困倦指标(indicator)方面训练的驾驶员困倦机器学习模型，ii)在其中编码有类似规则的基于规则的模型和iii)两者的组合。

驾驶员困倦模块被配置为集成来自以下的多模态分析：i)传感器和ii)在检测驾驶员的困倦指标方面训练的一个或更多个驾驶员困倦机器学习模型或在其中编码有类似规则的基于规则的模型，其指示驾驶员的困倦。驾驶员困倦模块集成对两个或更多个特征的多模态分析，包括：i)对于面部跟踪的面部表情分析，ii)对于眼睛移动的驾驶员注视行为分析，iii)对于眨眼跟踪的眼睛眨眼轮廓和分析，iv)眼睛闭合模式分析，和v)肢体语言分析，包括运动/姿势/活动的平稳性和快速性，以及vi)潜在的语音情绪分析，包括语音语气和单词。在一个实施例中，引擎可以在其分析中利用所有这些特征。

在一个实施例中，驾驶员困倦模块包括以下两者：在分析驾驶员的被监视特征方面被训练以识别车辆驾驶员的两个或更多个困倦水平的通用困倦水平机器学习模型，以及训练的用户个性化的困倦水平机器学习模型。为此，系统首先使用机器学习子系统构建特定于驾驶员的困倦模型。系统接收特定于该特定驾驶员的驾驶员困倦水平的估计。与使用通用困倦水平机器学习模型本身相比，在分析驾驶员的两个或更多个特征方面训练的通用困倦水平机器学习模型和在该驾驶员的任何细节方面训练的用户个性化困倦水平机器学习模型的组合，致使评估引擎更快地识别驾驶员的困倦水平。该系统使用多模态传感器输入(训练数据)、地面实况相关性以及困倦水平分级方案，该方案具有至少两个或更多个不同驾驶员困倦水平，以使用机器学习算法来训练模型。在一个实施例中，使用深度神经网络的各种机器学习人工智能模型在不同模块中被利用来进行跟踪、分析和识别。然后，驾驶员困倦模块可以针对模型分析来自传感器的实时多模态传感器输入，以实时地生成适当的机制。

该系统可以使用由视觉和其他感测系统检测到的多模态行为线索，即驾驶员处于特定的困倦水平。计算机视觉算法用于从训练数据中提取驾驶员行为线索。可以用计算机视觉算法检测到的行为线索来注释训练数据。驾驶员行为线索的示例包括眼睛移动，例如眨眼(和眨眼速率)、打呵欠、触摸面部、摩擦眼睛、向前倾、向后倾，移动手臂或手等。

困倦水平分级方案的示例在下面的表1中示出。如所示，每个困倦水平由多个不同驾驶员行为线索的组合来定义。

困倦水平图表

表1困倦水平图表

注意，驾驶员辅助模块被配置为使得当驾驶员未处于或未高于驾驶员困倦水平的设定点时，驾驶员辅助模块被配置为向驾驶员提供一个或更多个正辅助机制，以试图将驾驶员的水平改为以下水平：i)驾驶员不处于困倦水平中的一个(例如非困倦水平)，ii)驾驶员的困倦水平降低到较低的困倦水平，以及两者的任何组合。例如，当正辅助机制将驾驶员的困倦水平从睡眠水平5降低到轻微困倦水平1时，驾驶员的困倦水平被降低到较低的困倦水平。在此示例中，轻微困倦水平1处于或高于驾驶员困倦水平的设定点。

接下来，驾驶员活动分析模块被配置为与传感器接口协作以从多个传感器接收输入。例如，驾驶员活动分析模块可以与传感器接口协作以使用运动感测设备中的飞行时间相机(ToF相机)来跟踪驾驶员的上半身。相机也可以是RGB相机。驾驶员活动分析模块被配置为使用运动传感器的数据流来跟踪驾驶员的上半身姿势和动作。

图3说明了可以估计车辆驾驶员的困倦水平的驾驶员困倦模块的框图。驾驶员困倦模块310可以接收和分析多模态传感器输入。驾驶员困倦模型可以利用计算机视觉算法来分析来自各种相机的视频和静止图像输入。驾驶员困倦模型可以包括在驾驶员行为问题方面训练的模块，并且针对驾驶员困倦水平的那些线索进行分析。驾驶员困倦模块310可以包括机器学习子系统，其利用来自数据库和/或相关性库的地面实况相关性以及来自数据库和/或库的困倦水平分级方案。驾驶员困倦模块310可以被训练为特定于驾驶员的并且具有为特定驾驶员的行为专门训练的数据库行为。然后，驾驶员困倦模块310产生特定于驾驶员的困倦水平分级器(classifier)并进行特定于驾驶员的困倦水平估计。

在一个实施例中，在检测驾驶员的困倦指标方面训练的一个或更多个驾驶员困倦机器学习模型包括以下两者：i)通用困倦水平机器学习模型，其在分析驾驶员的两个或更多个特征方面被训练以识别车辆驾驶员的两个或更多个困倦水平，以及ii)用户个性化困倦水平机器学习模型，其针对该驾驶员的任何细节方面被训练以识别驾驶员的两个或更多个困倦水平。

在一个实施例中，一个或更多个驾驶员困倦机器学习模型利用地面实况相关性和深度学习机器学习算法来训练模型。一个或更多个驾驶员困倦机器学习模型使用具有至少三个或更多个不同驾驶员困倦水平的困倦水平分级方案。此外，一旦训练了一个或更多个驾驶员困倦机器学习模型，它们被用于当驾驶员正在驾驶车辆时分析来自传感器的实时多模态传感器输入，以产生包括特定于那个驾驶员的困倦水平估计的输出。地面实况相关性将驾驶员行为线索或不同驾驶员行为线索的组合与困倦水平分级方案的不同水平相关联。因此，该模型针对特定用户指示不同行为线索对上述困倦水平的相对重要性。注意，对于不同的驾驶员，不同的行为线索可能或多或少是困倦的重要指标。

一旦模型被训练，分级器就可以使用它来分析驾驶员驾驶车辆时的实时多模态传感器输入。分级器产生包括特定于驾驶员的困倦水平估计的输出。系统可以将困倦水平估计输出为至少一些输入数据的注释。输出还可以包括驾驶员的困倦水平随时间的变化的指示。驾驶员困倦水平的预测估计可以被输入到例如个人助理系统或驾驶员安全系统。

图4说明了驾驶员辅助模块的框图。驾驶员辅助模块420可以包括用于特定于驾驶员的困倦和水平估计的模块以及内容搜索和检索模块。驾驶员辅助模块420可以利用它来选择内容并执行文档摘要。驾驶员辅助模块420可以参考由文档摘要模块连续生成和更新的预先存在的文档摘要的数据库，以及可以在例如博客、因特网文章或推特流上实时创建文档摘要。文档摘要的数据库可以引用特定于驾驶员的参考模型。视觉分析模块可以执行面部识别以自动识别正在驾驶车辆的人的身份。然后，文档摘要模块将生成特定于驾驶员的文档并将其发送到文本转语音(text-to-speech)模块，然后其将通过车辆的扬声器系统进行播放。驾驶员辅助模块420将尝试使用扬声器和麦克风与驾驶员进行关于一个或更多个文档摘要的双向会话，以试图使驾驶员恢复到非困倦状态或至少轻微困倦的水平。

驾驶员辅助模块420可以基于由驾驶员困倦模块确定的驾驶员当前困倦水平，提供一个或更多个辅助机制以使驾驶员参与例如个性化的口语(音频)总结。个性化口语(音频)总结可以是i)在分贝水平变化，ii)选择驾驶员辅助模块420认为的驾驶员感兴趣的文档内容类型，或iii)在分贝水平变化以及系统认为的驾驶员感兴趣的文档内容类型两者。当个性化口语总结发生时，驾驶员辅助模块监视并评估驾驶员的困倦水平；以及随着驾驶员困倦水平的改变，关于被呈现的文档内容类型的材料也发生改变。

驾驶员辅助模块420可以利用文档摘要引擎来产生文档内容的提取总结。特定于驾驶员的偏好模型从文本、浏览习惯和从用户请求的输入中提取驾驶员偏好。例如，为了实现自由会话，可以从诸如维基百科的网络(Web)文档提取WEB数据的摘要，然后对该内容进行总结。驾驶员辅助模块420中的文本转语音子系统用于准备文档的总结的内容以通过车辆的扬声器向驾驶员报告，然后通过用与语音转文本模块相关联的麦克风收集驾驶员的响应来参与对话。

驾驶员辅助模块420使用内容搜索和检索子系统来发起对可能感兴趣的内容的搜索。一旦检索到所选内容，驾驶员辅助模块420就通过使用文档摘要子系统和特定于驾驶员的偏好模型来准备所选内容的个性化总结。

文档摘要子系统利用文档摘要引擎来产生内容的提取总结。可以使用个人用户建模平台来开发特定于驾驶员的偏好模型，其可以使用自然语言处理技术从文本(诸如网页、Twitter推送和其他社交媒体内容)中提取驾驶员偏好。文本转语音子系统用于准备总结的内容以通过汽车扬声器呈现给驾驶员。文本转语音子系统可以包括会话式个人助理以与驾驶员进行对话。

特定于驾驶员的偏好模型试图通过对该特定驾驶员的选择来辅助车辆驾驶员的警觉性。此外，评估引擎接收驾驶员困倦水平的估计，其也是特定于特定驾驶员的。

会话式个人助理被配置为基于来自用户的反馈和驾驶员当前困倦水平(如来自驾驶员活动跟踪模块的输出所指示的)来实时地调整其自身与驾驶员之间的交互式会话。驾驶员辅助模块向驾驶员提供一个或更多个正辅助机制，以尝试改变驾驶员的困倦水平，包括内容总结、参与对话、运行风扇、空调、改变车内温度、摇晃座位、改变车辆中的气味等。

驾驶员辅助模块420可以与个人助理系统介接，该个人助理系统可以使驾驶员参与到对话中以进一步针对驾驶员的兴趣定制检索的内容，或者基于由多模态视觉和感测系统检测到的驾驶员反应来调节总结的内容的呈现。

驾驶员辅助模块420可以基于由视觉和感测系统检测到的多模态行为线索来推断驾驶员对呈现的内容总结做出积极的反应，并且因此可以继续从总结的文档中读取附加细节。另一方面，如果驾驶员辅助模块420假设驾驶员对总结的内容的兴趣正在减弱，或者如果驾驶员的水平被检测为困倦水平正在增加，则驾驶员辅助模块可以改变主题或中断总结的内容的呈现。

驾驶员辅助模块420进行的实时驾驶员监视允许向驾驶员提供辅助，然后辅助模块420可以实时评估辅助对驾驶员困倦水平的影响。因此，是否应该向驾驶员进一步提供额外的辅助或不同类型的辅助的组合以使驾驶员至少恢复到期望的困倦水平，例如非困倦或轻微困倦。

驾驶员可以参与与评估引擎的对话，并且驾驶员可以解除用于试图启动辅助的评估引擎。然而，如果驾驶员在严重的困倦水平上继续进展得更多，则辅助模块420可以消除驾驶员解除发起辅助的能力。

图5说明了面部分析模块使用面部模型对诸如驾驶员的面部跟踪、驾驶员的眨眼跟踪、驾驶员的面部表情分析、驾驶员注视跟踪，驾驶员的眼睛闭合模式分析等任务执行面部分析的图示。在面部模型530中分析这些特征以确定驾驶员的困倦水平。面部分析模块被编码以执行具有界标(landmark)跟踪的驾驶员面部检测。

面部分析模块使用相机和算法来进行稳健的面部界标跟踪(距中心±50度)。面部分析模块使用多个面部界标，例如，位于典型人面部上的51个单独的面部界标。在面部模型530中相机和算法相机捕获并填充的面部标志越多，分析越准确。面部分析模块可以针对该特定驾驶员的特征和活动模式进行定制，以提高准确性。

面部分析模块可以具有眼部活动分析模块，其具有协作的红外光源以跟踪驾驶员眼睛的注视的方向和角度。因此，眼部活动分析模块可以实现基于闪烁的驾驶员的注视跟踪机制。眼部活动分析模块跟踪来自红外发光二极管和瞳孔中心(暗瞳)的一对角膜闪烁。眼部活动分析模块能够检测将人种纳入其分析的眼睛闭合模式。眼部活动分析模块能够从较大的组中选择红外照明器发光二极管以增加视野(FOV)(当闪光落在角膜外时)以及对眼镜上的大型破坏性眩光保持稳健性。

眼部活动分析模块可以使用头部姿势和虹膜跟踪来确定驾驶员正注视的位置。眼部活动分析模块使用头部姿势和虹膜跟踪来确定注视向量并确定扫视目标。眼部活动分析模块可以知道或确定相对于车厢坐标和/或车辆中的已知界标的由相机捕获的帧中的图像。

面部分析模块还可以执行面部表情监视。面部分析模块还可以执行驾驶员的眼睑监视。面部分析模块可以将头部姿势标准化以进行眼睑跟踪。面部分析模块被二值化以进行眼睛闭合检测。面部分析模块确定并跟踪诸如i)眨眼速率，ii)眼睑开/合比率，以及iii)眼睛闭合持续时间事件(包括微睡眠事件和眼睛强行保持睁开)之类的事情。注意，眼睛眨眼模式，例如眨眼速率和眼睑开/合比，以及眼睛闭合持续时间事件可以被存储在存储器中以用于跟踪目的。

图6说明了利用驾驶员的骨架模型的驾驶员活动模块的框图。骨架模型640表示在车辆中被跟踪的驾驶员的上半身和躯干。驾驶员活动模块跟踪并分析驾驶员的活动，包括例如正在移动的身体部位的速度和数量和以及移动的平稳或不平稳程度。驾驶员活动模块存储驾驶员的活动。驾驶员的活动模块分析与训练的骨架模型640中的规范相比的移动和活动以及其随时间的变化。驾驶员活动模块分析这些特征并将其分析发送出去以确定驾驶员的困倦水平。

已经在驾驶员的活动和姿势监视方面对模型进行了训练。已经在上半身和躯干方法进行过训练。一些表明困倦的活动和姿势如下：改变坐位位置、头靠在手上、打哈欠、揉眼睛、摸面部、向后倾、双臂伸展以及向前倾。

驾驶员困倦模块在其多模态困倦水平估计和分级中结合了身体语言信号和眼睛监视两者。

图7说明了驾驶员困倦模块的框图。示例性驾驶员困倦模块710可具有许多子框，包括例如驾驶员的身体姿势监视框、驾驶员的活动监视框，驾驶员的眼睛监视框和驾驶员的面部监视框。所有这些不同的框都被馈送到困倦水平分级器模块中。驾驶员的身体姿势监视框可以监视以下事情，例如，驾驶员的身体如何向前倾和/或多久改变一次坐位位置，以及坐位位置的姿势。驾驶员的活动监视器模块可以跟踪以下事情，例如，像驾驶员触摸他们的面部和/或触摸身体的各个部位，以及他们多久触摸一次他们的面部和身体的各个部位。驾驶员的眼睛监视模块跟踪眼睛移动，例如驾驶员的眼睛多久眨眼一次、眼睛眨眼的速率、以及眼睛是否闭上和/或眼睛被迫睁开了多久时间。驾驶员的面部监视模块跟踪和分析以下事情，例如，驾驶员的哈欠和嘴巴动作。同样，困倦水平分级器接收关于驾驶员困倦水平的这种多模态导入，然后应用各种加权算法来确定驾驶员的困倦水平。基于驾驶员的困倦水平，驾驶员辅助模块将确定驾驶员需要什么程度的辅助以便恢复到适当的非困倦水平。困倦水平分级器模块还可以确定驾驶员当前处于非困倦水平。

图8A-图8B说明了评估引擎的实施例的流程图。注意，可以以逻辑上可能的任何顺序执行以下步骤。讨论了用于评估引擎辅助车辆驾驶员的方法，并执行以下操作。

在步骤802中，利用驾驶员困倦模块分析驾驶员的被监视特征以识别车辆驾驶员的两个或更多个困倦水平。

在步骤804中，跟踪驾驶员的面部并对车辆驾驶员执行i)面部跟踪，ii)眼睛移动和iii)眨眼跟踪中的至少两个，以辅助检测车辆驾驶员的困倦水平，并将该输出提供给驾驶员困倦模块。

在步骤806中，使用位于车辆中的一个或更多个传感器，包括i)一个或更多个相机，以及ii)运动感测设备，以监视车辆驾驶员。

在步骤808中，基于观察到的驾驶员的肢体语言和面部分析来评估驾驶员的困倦，以检测和分级车辆驾驶员的两个或更多个困倦水平。

在步骤810中，在一个实施例中，集成多模态分析，该多模态分析来自i)指示驾驶员困倦的传感器和模型，其中驾驶员困倦模块将多模态分析集成在两个或更多个特征上，包括：i)面部表情分析，ii)驾驶员的注视行为分析，iii)眼睛眨眼轮廓和分析，以及iv)眼睛闭合模式分析，并且在一个实施例中，分析包括所有四个特征。

在步骤812中，在驾驶员驾驶车辆时，针对以下中的至少一个分析来自传感器的实时多模态传感器输入：i)训练的机器学习模型和ii)基于规则的模型或iii)两者，以产生时包括驾驶员困倦水平估计的输出，其中驾驶员困倦模块使用训练的机器学习模型和/或基于规则的模型，与不使用训练的机器学习模型和/或基于规则的模型相比，该驾驶员困倦模块被配置为利用较少的计算周期来对车辆驾驶员的当前困倦水平进行分级。

在步骤814中，使用i)在分析驾驶员的两个或更多个特征方面被训练以识别车辆驾驶员的两个或更多个困倦水平的通用困倦水平机器学习模型，以及ii)在该驾驶员的任何细节方面被训练以识别驾驶员的两个或更多个困倦水平的用户个性化困倦水平机器学习模型，其中与通过使用通用困倦水平机器学习模型本身相比，在分析驾驶员的两个或更多个特征方面被训练的通用困倦水平机器学习模型和在该驾驶员的任何细节方面被训练的用户个性化困倦水平机器学习模型的组合致使评估引擎能够更快地识别驾驶员的困倦水平。

在步骤816中，基于来自驾驶员困倦模块的输出，使用驾驶员辅助模块来尝试将驾驶员维持i)在非困倦水平，ii)处于或低于驾驶员的第一困倦水平，以及iii)两者的任何组合；并且，当驾驶员未至少处于或低于驾驶员的第一困倦水平时，驾驶员辅助模块被配置为向驾驶员提供一个或更多个正辅助机制以尝试将驾驶员的水平改变到下述水平：i)驾驶员处于非困倦水平，ii)驾驶员的困倦水平降低到较低的困倦水平，以及iii)两者的任何组合。

在步骤818中，基于由驾驶员困倦模块确定的驾驶员当前困倦水平，使用驾驶员辅助模块提供一种正辅助机制，该正辅助机制通过车辆的扬声器使驾驶员参与个性化的口语总结，即i)分贝水平的变化，ii)选择驾驶员辅助模块认为驾驶员感兴趣的文档的内容类型，或者iii)分贝水平的变化以及系统认为驾驶员感兴趣的文档的内容类型两者。

图9说明了一个或更多个计算设备900的实施例，其可以是评估引擎的一部分。计算设备可以包括用于执行指令的一个或更多个处理器或处理单元920；用于存储信息的一个或更多个存储器930-932；一个或更多个数据输入组件960-963，用于接收来自计算设备900的用户输入的数据；包括管理模块的一个或更多个模块；用于建立通信链路以与计算设备外部的其他计算设备通信的网络接口通信电路970；一个或更多个传感器，其中来自传感器的输出用于感测特定触发条件然后相应地产生一个或更多个预编程的动作；显示屏991，用于显示存储在一个或更多个存储器930-932和其他组件中的至少一些信息。注意，在软件944、945、946中实现的评估引擎系统的部分被存储在一个或更多个存储器930-932中，并且由一个或更多个处理器920执行。

计算系统900的组件可以包括但不限于具有一个或更多个处理核的处理单元920、系统存储器930，以及系统总线921，该系统总线921将包括系统存储器930的各种系统组件耦合到处理单元920。系统总线921可以是从存储器总线、互连结构、外围总线和使用各种总线架构中的任何一种的本地总线中选择的几种类型的总线结构中的任何一种。

计算系统900通常包括各种计算机器可读介质。计算机器可读介质可以是可由计算系统900访问的任何可用介质，并且包括易失性和非易失性介质，以及可移动和不可移动介质两者。作为示例而非限制，计算机器可读介质使用包括信息(诸如计算机可读指令、数据结构、其他可执行软件或其他数据)的存储装置。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储技术、CD-ROM、数字多用盘(DVD)或其他光盘存储装置、盒式磁带、磁带、磁盘存储装置或者其他磁性存储设备，或可以用于存储所需信息并且可以由计算设备900访问的任何其他有形介质。暂时性介质(诸如无线信道)不包括在机器可读介质中。通信介质通常包含计算机可读指令、数据结构、其他可执行软件或其他传输机制，并且包括任何信息传递介质。

系统存储器930包括易失性和/或非易失性存储器形式的计算机存储介质，例如只读存储器(ROM)931和随机存取存储器(RAM)932。包含基本例程的基本输入/输出系统933(BIOS)，其有助于在计算系统900内的元件之间传送信息，例如在启动期间，通常存储在ROM931中。RAM 932通常包含数据和/或软件，其可由处理单元820立即访问和/或当前由处理单元820操作。作为示例而非限制，RAM 932可以包括部分操作系统934、应用程序935、其他可执行软件936和程序数据937。

计算系统900还可以包括其他可移动/不可移动的易失性/非易失性计算机存储介质。仅作为示例，图9示出了固态存储器941。可以在示例操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于USB驱动器和设备、闪存卡、固态RAM、固态ROM等。固态存储器941通常通过诸如接口940的不可移除存储器接口连接到系统总线921，并且USB驱动器951通常通过可移除存储器接口(例如接口950)连接到系统总线921。

上面讨论并在图9中说明的驱动器及其相关联的计算机存储介质为计算系统900提供计算机可读指令、数据结构、其他可执行软件和其他数据的存储装置。在图9中，例如，固态存储器941被说明用于存储操作系统944、应用程序945、其他可执行软件946和程序数据947。注意，这些组件可以与操作系统934、应用程序935、其他可执行软件936和程序数据937相同或不同。操作系统944、应用程序945、其他可执行软件946和程序数据947在这里被给予不同的数字，以说明它们至少是不同的副本。

用户可以通过诸如键盘、触摸屏或软件或硬件输入按钮962、麦克风963、指示设备和/或滚动输入组件(诸如，诸如鼠标，轨迹球或触摸板)的输入设备将命令和信息输入到计算系统900中。麦克风963可以与语音识别软件协作。这些和其他输入设备通常通过耦合到系统总线921的用户输入接口960连接到处理单元920，但是可以通过其他接口和总线结构连接，例如并行端口、游戏端口或通用串行总线(USB)。显示监视器991或其他类型的显示屏设备也经由接口(诸如显示接口990)连接到系统总线921。除了监视器991之外，计算设备还可以包括其他外围输出设备，例如扬声器997、振动器999和可以通过输出外围接口995连接的其他输出设备。

计算系统900可以使用到一个或更多个远程计算机/客户端设备(例如远程计算系统980)的逻辑连接在联网环境中操作。远程计算系统980可以是个人计算机、移动计算设备、服务器、路由器、网络PC、对等设备或其他公共网络节点，并且通常包括上面相对于计算系统900描述的许多或所有元件。图9中描绘的逻辑连接可以包括个人区域网络(PAN)972(例如，)、局域网(LAN)971(例如，Wi-Fi)和广域网(WAN)973(例如，蜂窝网络)，但是还可以包括其他网络，例如个人区域网络(例如，/>)。这种网络环境在办公室、企业范围的计算机网络、内联网和因特网中是常见的。浏览器应用程序可以驻留在计算设备上并存储在存储器中。

当在LAN网络环境中使用时，计算系统900通过网络接口970连接到LAN971，网络接口970可以是例如或Wi-Fi适配器。当在WAN网络环境(例如，因特网)中使用时，计算系统900通常包括用于通过WAN 973建立通信的一些装置。关于移动电信技术，例如，可以是内部或外部的无线电接口，可以经由网络接口970或其他适当的机制连接到系统总线921。在联网环境中，相对于计算系统900描述的其他软件或其部分可以被存储在远程存储器存储设备中。作为示例而非限制，图9示出了远程应用程序985驻留在远程计算设备980上。可以理解，所示的网络连接是示例，以及是在可能使用的计算设备之间建立通信链路的其他装置。

如所讨论的，计算系统900可以包括处理单元920、存储器(例如，ROM 931、RAM 932等)、用于为计算设备供电的内置电池、用于对电池充电的AC电源输入、显示屏、用于与连接到网络的远程计算设备进行无线通信的内置Wi-Fi电路。

应当注意，本设计可以在诸如参考图9描述的计算系统上执行。然而，本设计可以在服务器上、专用于消息处理的计算设备上或者在分布式系统上执行，其中在分布式计算系统的不同部分上执行本设计的不同部分。

可以被耦合到总线921的另一个设备是一种电源，诸如DC电源(例如，电池)或AC适配器电路。如上所述，DC电源可以是电池、燃料电池或需要定期再充电的类似的DC电源。无线通信模块可以使用无线应用协议来建立无线通信信道。无线通信模块可以实施无线网络标准。

在一些实施例中，用于促进本文所讨论的算法的软件可以体现在非暂时性机器可读介质上。机器可读介质包括以机器(例如，计算机)可读的形式存储信息的任何机制。例如，非暂时性机器可读介质可以包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪存设备、数字多用光盘(DVD)、EPROM、EEPROM、FLASH存储器、磁卡或光卡，或适用于存储电子指令的任何类型的介质。

注意，这里的算法可以在软件本身中实施，在硬件布尔逻辑本身中实施或在两者的某种组合中实施。在软件中实施的算法的任何部分可以以可执行格式存储在存储器的一部分中，并且由一个或更多个处理器执行。

注意，这里描述的应用程序包括但不限于软件应用程序、移动应用程序和作为操作系统应用程序的一部分的程序。本说明书的一些部分是根据对计算机存储器内的数据位的操作的算法和符号表示来呈现的。这些算法描述和表示是数据处理领域的技术人员用来最有效地将他们工作的实质传达给本领域其他技术人员的手段。这里的算法通常被认为是导致期望结果的自洽的步骤序列。这些步骤是需要物理操纵物理量的步骤。通常，尽管不是必须的，这些量采用能够被存储、传输、组合、比较和以其他方式操纵的电信号或磁信号的形式。事实证明，主要出于一般用法的原因，有时将这些信号称为比特/位、值、元素、符号、字符、项、数字等是方便的。这些算法可以用许多不同的软件编程语言编写，例如C、C+、HTTP、Java或其他类似语言。而且，算法可以用软件中的代码行、软件中配置的逻辑门或两者的组合来实施。在一个实施例中，逻辑由遵循布尔逻辑规则的电子电路、包含指令模式的软件或两者的任何组合组成。

然而，应该记住，所有这些和类似术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便的标签。除非从上述讨论中另有明确说明，否则应当理解，在整个说明书中，利用诸如“处理”或“计算(computing或calculating)”或“确定”或“显示”等术语的讨论指的是计算机系统或类似电子计算设备的动作和过程，其将被表示为计算机系统的寄存器和存储器内的物理(电子)量的数据操作和转换成被类似地表示为计算机系统存储器或寄存器或者其他这种信息存储、传输或显示设备内的物理量的其他数据。

可以通过软件模拟/仿真来复制由电子硬件组件执行的许多功能。因此，为实现那些相同功能而编写的软件程序可以模拟输入-输出电路中的硬件组件的功能。因此，本文提供了一个或更多个非暂时性机器可读介质，其被配置为存储指令和数据，当由前述系统的计算设备上的一个或更多个处理器执行时，致使计算设备执行如本文所述概述描述的操作。

虽然已经相当详细地提供了前述设计和其实施例，但是(一个或更多个)申请人在本文中提供设计和实施例的意图并不限于此。附加的调整和/或修改是可能的，并且在更广泛的方面，还包括这些调整和/或修改。因此，在不脱离由所附权利要求提供的范围的情况下，可以偏离前述设计和实施例，该范围仅在被适当地解释时由权利要求限制。

Claims (16)

1.一种评估引擎，其具有两个或更多个模块以监视车辆驾驶员，所述评估引擎包括：

驾驶员困倦模块，其被配置为分析所述驾驶员的被监视特征以能够识别所述车辆的所述驾驶员的两个或更多个困倦水平；

面部分析模块，其被配置为能够执行所述车辆的所述驾驶员的i)面部跟踪、ii)眼睛移动和iii)眼睛眨眼跟踪中的至少两个，以辅助检测所述车辆的所述驾驶员的所述困倦水平，其中所述面部分析模块的输出分析被提供给所述驾驶员困倦模块；

传感器接口，其位于所述两个或更多个模块以及一个或更多个传感器之间，所述两个或更多个模块包括所述面部分析模块和所述驾驶员困倦模块，其中所述传感器接口被配置为从位于所述车辆中的所述一个或更多个传感器接收输入以监视所述车辆的所述驾驶员，所述一个或更多个传感器包括i)一个或更多个相机以及ii)与包含麦克风的语音用户接口耦合的运动感测设备；

其中所述驾驶员困倦模块被配置为利用所述面部分析模块的所述输出，基于观察到的所述驾驶员的肢体语言和面部分析中的至少一个来评估所述驾驶员的困倦，以当所述驾驶员出现这些状态时，对所述车辆的所述驾驶员的所述两个或更多个困倦水平进行检测和分级，其中所述驾驶员的所述两个或更多个困倦水平包括所述驾驶员的第一困倦水平，所述第一困倦水平是轻微困倦水平；以及

驾驶员辅助模块，其被配置为基于来自所述驾驶员困倦模块的输出，尝试将所述驾驶员维持在从由以下各项组成的群组中选择的水平：i)在非困倦水平，ii)处于或低于所述驾驶员的所述第一困倦水平，以及iii)两者的任何组合；并且，当所述驾驶员未至少处于或低于所述驾驶员的所述第一困倦水平时，所述驾驶员辅助模块被配置为向所述驾驶员提供一个或更多个正辅助机制以尝试将所述驾驶员的水平改变到以下水平：i)所述驾驶员处于所述非困倦水平，ii)所述驾驶员的困倦水平降低到较低的困倦水平，以及iii)两者的任何组合，其中所述驾驶员辅助模块被进一步配置为尝试使用扬声器和所述麦克风与所述驾驶员进行关于一个或更多个文档摘要的双向会话，以试图使所述驾驶员恢复到所述非困倦水平或至少所述第一困倦水平。

2.根据权利要求1所述的评估引擎，其中所述驾驶员困倦模块被配置为集成来自以下的多模态分析：i)所述传感器和ii)被训练以检测所述驾驶员的困倦指标的一个或更多个驾驶员困倦机器学习模型或者其中编码有指示所述驾驶员的困倦的规则的基于规则的模型，其中所述驾驶员困倦模块集成对以下中的至少一个的所述多模态分析：i)用于所述面部跟踪的面部表情分析，ii)用于所述眼睛移动的驾驶员的注视行为分析，iii)用于所述眼睛眨眼跟踪的眼睛眨眼轮廓和分析，以及iv)眼睛闭合模式分析。

3.根据权利要求2所述的评估引擎，其中所述一个或更多个驾驶员困倦机器学习模型被训练以检测所述驾驶员的困倦指标，所述一个或更多个驾驶员困倦机器学习模型包括i)通用困倦水平机器学习模型，其用于分析所述驾驶员的所述多模态分析以识别所述车辆的所述驾驶员的所述两个或更多个困倦水平，以及ii)用户个性化困倦水平机器学习模型，其针对特定驾驶员的任何细节被训练以识别所述驾驶员的所述两个或更多个困倦水平。

4.根据权利要求2所述的评估引擎，其中所述一个或更多个驾驶员困倦机器学习模型利用地面实况相关性和深度学习机器学习算法来训练所述模型，并且其中所述一个或更多个驾驶员困倦机器学习模型使用困倦水平分级方案，所述困倦水平分级方案具有至少三个或更多个不同的所述驾驶员困倦水平，并且

一旦训练了所述一个或更多个驾驶员困倦机器学习模型，当所述驾驶员正在操作所述车辆时，所述一个或更多个驾驶员困倦机器学习模型就被用于分析来自所述传感器的实时多模态传感器输入，以产生包括特定于此驾驶员的当前困倦水平估计的输出。

5.根据权利要求1所述的评估引擎，其中所述传感器接口被配置为从至少三个传感器接收多模态传感器输入，所述至少三个传感器包括：i)与包括麦克风的所述语音用户接口耦合的所述运动感测设备，ii)高分辨率红外相机，其耦合到所述车辆中的一个或更多个红外光源，所述红外光源定位成狭窄地聚焦在所述驾驶员的面部上，以及iii)广角镜头相机，其定位用于捕捉所述驾驶员的头部和上半身的视图。

6.根据权利要求1所述的评估引擎，其中所述面部分析模块具有眼部活动分析模块，所述眼部活动分析模块被配置为与红外光源协作以跟踪所述驾驶员的头部相对于所述车辆的方向盘的方向，以及所述车辆的所述驾驶员的眼睛的注视角度，其中所述眼部活动分析模块实施基于闪烁的跟踪机制，所述跟踪机制跟踪来自所述红外光源的角膜闪烁。

7.根据权利要求1所述的评估引擎，其中所述面部分析模块被配置为确定和跟踪i)眼睛眨眼模式和ii)眼睛移动模式。

8.根据权利要求1所述的评估引擎，其中所述驾驶员辅助模块被配置为基于由所述驾驶员困倦模块确定的所述驾驶员的当前困倦水平，提供使所述驾驶员参与个性化口语总结的第一正辅助机制，即i)分贝水平的变化，ii)选择所述驾驶员辅助模块认为所述驾驶员感兴趣的文档的内容类型，或者iii)分贝水平的变化以及所述驾驶员辅助模块认为所述驾驶员感兴趣的所述文档的内容类型两者。

9.根据权利要求8所述的评估引擎，其中所述驾驶员辅助模块利用文档摘要引擎来产生所述文档的所述内容的提取总结，其中特定于驾驶员的偏好模型从文本、浏览习惯和从用户请求的输入中提取驾驶员偏好，其中使用与所述驾驶员辅助模块一起工作的文本转语音子系统来准备所述文档的总结的内容以通过所述车辆的扬声器向所述驾驶员报告。

10.根据权利要求8所述的评估引擎，其中所述驾驶员辅助模块还被配置为在所述个性化口语总结发生时监视和评估所述驾驶员的所述困倦水平，并且随着所述驾驶员的所述困倦水平的改变，关于被呈现的所述文档的内容类型的材料也发生改变。

11.根据权利要求1所述的评估引擎，其中驾驶员活动分析模块被配置为与所述传感器接口协作以使用所述运动感测设备中的相机来跟踪驾驶员的上半身，其中所述驾驶员活动分析模块被配置为使用所述运动感测设备的数据流来跟踪所述驾驶员的上半身姿势和移动。

12.一种用于评估引擎监视车辆驾驶员的方法，包括：

使用驾驶员困倦模块，分析所述驾驶员的被监视特征以识别所述车辆的所述驾驶员的两个或更多个困倦水平，

使用位于所述车辆中的一个或更多个传感器来监视所述车辆驾驶员，所述一个或更多个传感器包括i)一个或更多个相机以及ii)与包含麦克风的语音用户接口耦合的运动感测设备，

跟踪所述驾驶员的面部并且执行对所述车辆的所述驾驶员的i)面部跟踪，ii)眼睛移动和iii)眼睛眨眼跟踪中的至少一个，以辅助检测所述车辆的所述驾驶员的困倦水平，并且将这个输出提供到驾驶员困倦模块，

基于观察到的所述驾驶员的肢体语言和面部分析来评估所述驾驶员的困倦，以对所述车辆的所述驾驶员的所述两个或更多个困倦水平进行检测和分级，其中所述驾驶员的所述两个或更多个困倦水平包括所述驾驶员的第一困倦水平，所述第一困倦水平是轻微困倦水平，

当所述车辆被启动时，针对以下中的至少一个分析来自所述传感器的实时多模态传感器输入：i)训练的机器学习模型和ii)基于规则的模型或iii)两者，以产生包括驾驶员困倦水平估计的输出，其中与没有使用所述训练的机器学习模型和/或所述基于规则的模型的所述驾驶员困倦模块比较，使用所述训练的机器学习模型和/或所述基于规则的模型的所述驾驶员困倦模块被配置为利用较少的计算周期来对所述车辆的所述驾驶员的当前困倦水平进行分级，以及

基于来自所述驾驶员困倦模块的输出，尝试将所述驾驶员维持在从由以下各项组成的群组中选择的水平：i)在非困倦水平，ii)处于或低于所述驾驶员的所述第一困倦水平，以及iii)两者的任何组合；并且，当所述驾驶员未至少处于或低于所述驾驶员的所述第一困倦水平时，则向所述驾驶员提供一个或更多个正辅助机制以尝试将所述驾驶员的水平改变到以下水平：i)所述驾驶员处于所述非困倦水平，ii)所述驾驶员的困倦水平降低到较低的困倦水平，以及iii)两者的任何组合，其中所述方法进一步包括尝试使用扬声器和所述麦克风与所述驾驶员进行关于一个或更多个文档摘要的双向会话，以试图使所述驾驶员恢复到所述非困倦水平或至少所述第一困倦水平。

13.根据权利要求12所述的方法，还包括：

使用i)通用困倦水平机器学习模型，其在分析所述驾驶员的所述面部的跟踪特征方面被训练以识别所述车辆的所述驾驶员的所述两个或更多个困倦水平，以及ii)用户个性化困倦水平机器学习模型，其针对所述驾驶员的任何细节被训练以识别所述驾驶员的所述两个或更多个困倦水平，其中与通过使用所述通用困倦水平机器学习模型本身相比，在分析所述驾驶员的所述面部的跟踪特征方面被训练的所述通用困倦水平机器学习模型和针对所述驾驶员的任何细节被训练的所述用户个性化困倦水平机器学习模型的组合致使所述评估引擎能够更快地识别所述驾驶员的所述困倦水平。

14.根据权利要求12所述的方法，还包括：

集成来自i)指示所述驾驶员的困倦水平的所述传感器和所述模型的多模态分析，其中所述驾驶员困倦模块集成对两个或更多个特征的所述多模态分析，包括：i)用于所述面部跟踪的面部表情分析，ii)用于所述眼睛移动的驾驶员的注视行为分析，iii)用于所述眼睛眨眼跟踪的眼睛眨眼轮廓和分析，以及iv)眼睛闭合模式分析。

15.一种评估引擎，其具有监视车辆驾驶员的两个或更多个模块，包括：

驾驶员困倦模块，其被配置为分析所述驾驶员的被监视特征以识别所述车辆的所述驾驶员的两个或更多个困倦水平，

面部分析模块，其被配置为对所述车辆的所述驾驶员执行以下中的至少一个：i)面部跟踪，ii)眼睛移动和iii)眼睛眨眼跟踪，以辅助检测所述车辆的所述驾驶员的困倦水平，其中所述面部分析模块的输出分析被提供给所述驾驶员困倦模块，

传感器接口，其位于所述两个或更多个模块和一个或更多个传感器之间，所述两个或更多个模块包括所述面部分析模块和所述驾驶员困倦模块，所述一个或更多个传感器位于所述车辆中，所述一个或更多个传感器包括i)一个或更多个相机以及ii)与包含麦克风的语音用户接口耦合的运动感测设备，以监视所述车辆的所述驾驶员，并且

其中所述驾驶员困倦模块被配置为利用所述面部分析模块的所述输出，基于观察到的所述驾驶员的肢体语言和面部分析来评估所述驾驶员的困倦，以对所述车辆的所述驾驶员的所述两个或更多个困倦水平进行检测和分级，其中所述驾驶员困倦模块被配置为当所述驾驶员驾驶所述车辆时，针对以下中的至少一个分析来自所述传感器的实时多模态传感器输入：i)训练的机器学习模型和ii)基于规则的模型或iii)两者，以产生包括驾驶员困倦水平估计的输出，其中与没有使用所述训练的机器学习模型和/或所述基于规则的模型的所述驾驶员困倦模块比较，使用所述训练的机器学习模型和/或所述基于规则的模型的所述驾驶员困倦模块被配置为利用较少的计算周期来对所述车辆的所述驾驶员的当前困倦水平进行分级，其中所述驾驶员的所述两个或更多个困倦水平包括所述驾驶员的第一困倦水平，所述第一困倦水平是轻微困倦水平，

驾驶员辅助模块，其被配置为基于来自所述驾驶员困倦模块的输出，尝试将所述驾驶员维持在从由以下各项组成的群组中选择的水平：i)在非困倦水平，ii)处于或低于所述驾驶员的所述第一困倦水平，以及iii)两者的任何组合；并且，当所述驾驶员未至少处于或低于所述驾驶员的所述第一困倦水平时，所述驾驶员辅助模块被配置为向所述驾驶员提供一个或更多个正辅助机制以尝试将所述驾驶员的水平改变到以下水平：i)所述驾驶员处于所述非困倦水平，ii)所述驾驶员的困倦水平降低到较低的困倦水平，以及iii)两者的任何组合，

其中所述驾驶员辅助模块被配置为基于由所述驾驶员困倦模块确定的所述驾驶员的当前困倦水平，提供使所述驾驶员通过所述车辆的扬声器参与个性化口语总结的第一正辅助机制，即i)分贝水平的变化，ii)选择所述驾驶员辅助模块认为所述驾驶员感兴趣的文档的内容类型，或者iii)分贝水平的变化以及所述驾驶员辅助模块认为所述驾驶员感兴趣的所述文档的内容类型两者，

其中所述驾驶员辅助模块被进一步配置为尝试使用扬声器和所述麦克风与所述驾驶员进行关于一个或更多个文档摘要的双向会话，以试图使所述驾驶员恢复到所述非困倦水平或至少所述第一困倦水平。

16.根据权利要求15所述的评估引擎，其中，在检测所述驾驶员的困倦指标方面被训练的所述机器学习模型包括：i)通用困倦水平机器学习模型，其在分析所述驾驶员的两个或更多个特征方面被训练以识别所述车辆的所述驾驶员的所述两个或更多个困倦水平，以及ii)用户个性化困倦水平机器学习模型，其针对所述驾驶员的任何细节被训练以识别所述驾驶员的所述两个或更多个困倦水平。