CN113474787A - 驾驶员的认知状态的检测 - Google Patents

Abstract

一种用于检测和监控关于驾驶的认知能力的方法、系统、装置和计算机程序产品。该方法包括：在驾驶车辆时对驾驶员施加刺激系列。刺激系列包括与模式匹配的第一部分和偏离该模式的第二部分，并被配置为引起来自驾驶员的眼睛的眼反应。该方法还包括获得驾驶员的眼睛的一组图像，其在刺激系列的施加期间被捕获。该方法还包括分析该组图像以确定对应于每个图像的一组眼特征，并基于其来确定驾驶员的认知状态。基于驾驶员的认知状态，可以执行驾驶员是否能够安全地操作车辆的确定。

Description

驾驶员的认知状态的检测

相关申请的交叉引用

本申请要求2019年1月22日提交的美国临时申请号62/795,039的权益，该临时申请特此通过引用以其整体并入而没有引起不承认。

技术领域

本公开总体上涉及认知状态检测，且尤其是涉及监控与驾驶有关的认知能力。

背景

车祸对在现代世界中的相当大部分的发病率和死亡率负责。

人为因素是这样的车祸的主要原因。大量车祸源于下面的事实：在许多情况下，驾驶员不具有有效驾驶所需的能力：一些人为因素与可以降低驾驶能力的认知状态(例如倦睡、疲劳、酒精中毒、药物作用、急性心理应激、情绪困扰、暂时分心和诸如此类)有关。这样的认知状态可能降低驾驶员克服道路危险的能力。

简要概述

所公开的主题的一个示例性实施例是一种方法，其包括：对驾驶员施加刺激系列，其中所述施加在驾驶员驾驶车辆时被执行，其中刺激系列包括与模式匹配的第一部分和偏离该模式的第二部分，其中刺激系列被配置为引起来自驾驶员的眼睛的眼反应；获得驾驶员的眼睛的一组图像，其中该组图像在刺激系列的施加期间被捕获；分析该组图像以确定对应于每个图像的一组眼特征；以及基于该组图像的该组眼特征来确定驾驶员的认知状态。

可选地，该方法还包括：基于驾驶员的认知状态来确定驾驶员是否能够安全地操作车辆。

可选地，该方法还包括：确定驾驶员的认知状态是否高于最小阈值；以及响应于认知状态低于最小阈值的确定而执行响应行动。

可选地，该组眼特征包括下列项中的至少一个：眼睛中的至少一只眼睛的飞快扫视(saccade)；眼睛的至少一个瞳孔的大小；眼睛中的至少一只眼睛的扩张反应；眼睛中的至少一只眼睛的收缩反应；在眼睛之间的对称性测量；在眼睛附近的面部表情；以及眉毛运动。

可选地，所述确定认知状态基于该组图像的该组眼特征的一个或更多个统计测量被执行。

可选地，刺激系列基于驾驶员的特性被确定，其中所述确定认知状态进一步基于所述特性被执行。

可选地，所述确定认知状态使用分类器被执行，其中分类器相对于通过监控驾驶员获得的一组测量结果被训练。

可选地，所述确定认知状态使用分类器被执行，其中分类器相对于通过监控与所述驾驶员具有低于阈值的相似性测量结果的一个或更多个不同的驾驶员得到的一组测量结果被训练，其中分类器在没有驾驶员的被监控数据的情况下被训练。

可选地，偏离该模式的第二部分在刺激的定时、刺激的空间位置、刺激的幅度和刺激的类型中的至少一个方面偏离该模式。

可选地，刺激系列包括来自第一部分的多个刺激，后面是来自第二部分的偏离该模式的新异刺激(oddball stimulus)，其中来自第一部分的多个刺激是匹配该模式的刺激序列，其中该模式包括至少一个时间模式。

可选地，刺激系列包括视觉刺激、听觉刺激和触觉刺激中的至少一个。

可选地，该组图像从位于车辆内并面向驾驶员的一个或更多个传感器获得。

可选地，所述确定认知状态进一步基于驾驶员的驾驶数据被执行，其中驾驶数据从车辆的计算设备获得。

可选地，该组图像从车辆的驾驶员监控系统(DMS)获得。

可选地，该方法还包括：响应于确定驾驶员的认知状态不符合安全驾驶要求，向车辆的控制器系统报警。

可选地，控制器系统被配置成响应于所述报警而执行限制行动，其中限制行动包括下列项中的至少一个：激活车辆的自动驾驶；限制车辆的速度；指示车辆进行安全停车；向第三方发出警报；以及向驾驶员发出警报。

可选地，所述施加包括：确定刺激系列；以及使用位于车辆中并指向驾驶员的输出设备来提供刺激系列中的每个刺激。

所公开的主题的另一个示例性实施例是一种方法，其包括：获得驾驶员的眼睛的一组图像，其中该组图像在驾驶员暴露于刺激系列时并且在驾驶员正在驾驶车辆时被捕获，其中刺激系列包括与模式匹配的第一部分和偏离该模式的第二部分，其中刺激系列被配置成引起来自眼睛的眼反应，其中刺激系列至少部分地自然地出现在驾驶员的观看场景中；分析该组图像以确定对应于每个图像的一组眼特征；以及基于该组图像的该组眼特征来确定驾驶员的认知状态。

可选地，该方法还包括利用视觉传感器来捕获驾驶员的观看场景，以及分析观看场景以确定刺激系列的自然地出现的部分。

可选地，刺激系列是部分地自然地出现的，并且其中该方法还包括提供观看场景的增强视图以使驾驶员观看刺激系列。

可选地，刺激系列的第一部分包括在驾驶员的观看场景中的现有视觉刺激，其中该模式基于在现有视觉刺激中的元素来确定，其中刺激系列的第二部分使用增强现实来动态地生成以偏离在现有视觉刺激中的模式，由此最小化对驾驶员的视线的干预。

所公开的主题的又一示例性实施例是一种具有处理器的计算机化装置，该处理器适合于执行下列步骤：对驾驶员施加刺激系列，其中所述施加在驾驶员正在驾驶车辆时被执行，其中刺激系列包括与模式匹配的第一部分和偏离该模式的第二部分，其中刺激系列被配置为引起来自驾驶员的眼睛的眼反应；获得驾驶员的眼睛的一组图像，其中该组图像在刺激系列的施加期间被捕获；分析该组图像以确定对应于每个图像的一组眼特征；以及基于该组图像的该组眼特征来确定驾驶员的认知状态。

所公开的主题的又一示例性实施例是一种计算机程序产品，其包括保持程序指令的非暂时性计算机可读存储介质，程序指令当由处理器读取时使处理器执行一种方法，该方法包括：对驾驶员施加刺激系列，其中所述施加在驾驶员正在驾驶车辆时被执行，其中刺激系列包括与模式匹配的第一部分和偏离该模式的第二部分，其中刺激系列被配置为引起来自驾驶员的眼睛的眼反应；获得驾驶员的眼睛的一组图像，其中该组图像在刺激系列的施加期间被捕获；分析该组图像以确定对应于每个图像的一组眼特征；以及基于该组图像的该组眼特征来确定驾驶员的认知状态。

附图的几个视图的简要描述

从结合附图理解的下面的详细描述中将更全面地理解和认识到当前公开的主题，在附图中，相应的或相似的数字或字符指示相应的或相似的部件。除非另有指示，否则附图提供本公开的示例性实施例或方面，并且不限制本公开的范围。在附图中：

图1示出了根据所公开的主题的一些示例性实施例的系统的示例性架构的示意图；

图2A-2C示出了根据所公开的主题的一些示例性实施例的方法的流程图；

图3A-3B示出了根据所公开的主题的一些示例性实施例的示例性观看场景的示意图；

图4A-4B示出了根据所公开的主题的一些示例性实施例的刺激模式及与其的偏离的示意图；

图4C示出了根据所公开的主题的一些示例性实施例的表示驾驶员的认知状态的退化的曲线图的示意图；

图4D示出了根据所公开的主题的一些示例性实施例的对于清醒受试者和醉酒受试者的对刺激模式和与其偏离的平均眼反应的示意图；

图5示出了根据所公开的主题的一些示例性实施例的示例性的刺激系列的示意图；

图6示出了根据所公开的主题的一些示例性实施例的用于评估驾驶员的认知状态的隐马尔可夫模型(HMM)的示意图；

图7A-7C示出了根据所公开的主题的一些示例性实施例的方法的流程图；以及

图8示出了根据所公开的主题的一些示例性实施例的装置的框图。

详细描述

由所公开的主题处理的一个技术问题是检测驾驶员不能够进行安全驾驶的情况。在一些示例性实施例中，驾驶员的认知状态可能影响他们的驾驶质量。例如由于酒精或药物的消耗、疲劳、情绪压力或诸如此类，认知状态的退化可能降低驾驶员进行安全驾驶的能力，且甚至可能有致命车祸的风险。

在一些示例性实施例中，监控驾驶员的驾驶能力可以通过监控其驾驶行为来执行，例如与驾驶车道的偏离、突然停车、以宽半径转弯、在中间的车道标志或路边标志上驾驶或诸如此类。其他方法可以包括摄像机和处理系统，其可以例如通过对眨眼的频率和持续时间计数、监控驾驶员的眼睛是否正在看道路或诸如此类来警惕倦睡。然而，这样的方法可能无法评估和预测驾驶员的认知状态或其由酒精或药物消耗、疲劳、情绪压力或诸如此类导致的退化。此外或可选地，这样的方法可能不能够在尝试危险驾驶行为之前的早期阶段检测到危险的认知状态，其可能已经有生命危险。

一种技术解决方案是通过主动对驾驶员施加刺激并被动地监控驾驶员的眼反应来连续地监控驾驶员的认知状态。

在一些示例性实施例中，可以对驾驶员施加可操作来引起驾驶员眼睛的眼反应的刺激系列。当驾驶员驾驶车辆时，可以对驾驶员施加刺激系列。刺激系列可以包括与模式匹配的第一部分和偏离该模式的第二部分。偏离该模式的来自第二部分的刺激可以被配置成引起与由匹配该模式的刺激引起的脑活动不同的脑活动。作为结果，刺激系列可以被配置成通过驾驶员的眼睛引起与所引起的不同脑活动关联的眼反应。

在一些示例性实施例中，刺激可以是视觉刺激，其可以显示在平视显示器、车辆中的中间反射镜、遮阳板、挡风玻璃、车辆中的中央控制台、方向盘或诸如此类上。此外或可选地，刺激可以是听觉刺激，其可以由车辆的车内娱乐或信息娱乐系统使用仪表组、使用放置在车辆中的麦克风、经由驾驶员的计算设备或诸如此类来提供。此外或可选地，刺激可以是由方向盘、驾驶员座椅、座椅安全带或诸如此类施加的触觉刺激。此外或可选地，刺激可以由视觉、听觉或触觉模态的组合提供。

可以注意到，所施加的刺激可能不影响驾驶员的驾驶质量或其其他身体或精神机能或诸如此类。在一些实施例中，可以利用不增加对驾驶员的认知负荷的一组潜意识的刺激，从而改善驾驶员的体验。作为例子，视觉刺激可以在驾驶员视场的外围区域或诸如此类中例如在短持续时间(大约100毫秒、大约1.5秒或诸如此类)内具有各种等级的显著性。作为另一个例子，音频刺激可以作为在不同方向上提供的几乎注意不到的音频信号被提供以产生模式。几乎注意不到的音频信号可以用驾驶员的偏好、驾驶员的环境或诸如此类被修改。几乎注意不到的音频信号可以基于例如通过添加具有相似特性的噪声并在短时间段内调制振幅同时监控驾驶员的反应来操纵由系统声传感器检测到的环境声音。作为另一个例子，触觉刺激可以由嵌在驾驶员的座椅或方向盘中的触觉模块提供以引入以不同等级的幅度的触觉刺激。

在一些示例性实施例中，可以监控驾驶员眼睛的行为以根据该组时间-系列刺激来确定一组一系列眼反应。可以使用位于车辆内并面向驾驶员的传感器来被动地执行监控。可以从传感器获得如在刺激系列的施加期间、紧接着施加之后或诸如此类捕获的驾驶员的眼睛的一组图像。该组图像可以被分析以确定对应于每个图像的一组眼特征。在一些示例性实施例中，该组眼特征可以包括被与惊奇相关联的脑活动影响的特征，例如与眼球跳动(saccadic eye movement)相关的特征、与瞳孔的大小以及扩张反应、收缩反应、在眼睛之间的对称性测量、在眼睛附近的面部表情、眉毛运动或诸如此类相关的特征。

在一些示例性实施例中，可以基于该组图像的该组眼特征的一个或更多个统计测量来执行认知状态的确定。作为例子，可以在该组眼特征上应用一个或更多个统计测量以生成一组不相关变量、较小维度的特征向量或诸如此类。

在一些示例性实施例中，可以分析该组眼特征以确定驾驶员的认知状态。可以基于驾驶员的认知状态来执行驾驶员是否能够进行安全驾驶的确定。响应于确定驾驶员的认知状态不符合安全驾驶要求，可以向车辆的控制器系统报警。控制器系统可以被配置成执行限制行动，例如激活车辆的自动驾驶、向驾驶员或向第三方发出警报或诸如此类。

在一些示例性实施例中，可以利用动态控制算法来确定对驾驶员的正或负奖赏(reward)以改变驾驶员的认知状态，以便依从该情况并便于适应性响应。在一些示例性实施例中，可以确定奖赏，以便提高驾驶员的长期反应的质量。在一些实施例中，对驾驶员的强化和奖赏可以包括正强化和负强化，其可操作来调节驾驶员并提高驾驶员的认知状态对期望状态的相符性。在一些实施例中，可以使用低显著性噪声和破坏来引起负奖赏，当驾驶员对刺激的反应明显偏离最佳反应时，低显著性噪声和破坏将使驾驶员感到稍微不舒服。在一些实施例中，长期正奖赏包括可以转换成各种数字商品或购物或饮食的折扣的虚拟辅币，而长期负奖赏可以通过减少在驾驶员的账户中的这样的虚拟辅币的数量来获得。在一些实施例中，游戏化范例用来作为游戏的一部分提供正和负强化。在一些实施例中，强化可以与潜意识刺激相结合以产生驾驶员的行为的无缝和非侵入性塑造。这可以用于将驾驶员的认知状态保持在特定水平处，同时最小化不必要的知觉负荷。

另一种技术解决方案是监控在驾驶员驾驶时的观看场景中自然地出现的刺激，并通过响应于刺激而被动地监控驾驶员的眼反应来连续地监控驾驶员的认知状态。

在一些示例性实施例中，驾驶员在驾驶车辆时的观看场景可以包括可能看起来像刺激系列的元素，例如在道路上的重复对象、重复标志或诸如此类。观看场景甚至可以包括可能导致模式的中断的对象或事件，例如过一会儿出现的标志、遗漏的对象、不同尺寸或不同距离的对象或诸如此类。这样的刺激可以被用来代替动态地生成的刺激以检查驾驶员的眼反应。

此外或可选地，在驾驶员的观看场景中可以仅仅自然地出现刺激系列的一部分。在这样的情况下，可以利用增强现实技术来引起在观看场景中的遗漏的刺激，由此最小化对驾驶员的视线的干预。

在一些示例性实施例中，驾驶员的观看场景可以由一个或更多个视觉传感器(例如在挡风玻璃上的智能摄像机、仪表板摄像机、在车辆前部上的录像机、道路摄像机或诸如此类)捕获。计算机视觉技术可以被应用来分析观看场景并确定刺激系列的自然地出现的部分。使用AI和机器学习技术，可以确定刺激系列的遗漏的部分，并且可以生成观看场景的增强视图以使驾驶员将刺激系列看作整体。可以认识到，最小化由增强现实增加的部分，以便最小化对驾驶员的视线的干预。

利用所公开的主题的一个技术效果是防止由驾驶员的认知状态的损害产生的疲劳车祸。所公开的系统能够在驾驶期间连续地监控驾驶员的认知状态，并且响应于确定驾驶员的认知状态不符合安全驾驶要求而向车辆的控制器系统报警来执行可以防止潜在事故的限制行动。

利用所公开的主题的另一个技术效果是在驾驶期间以最低限度地侵入的方式监控驾驶员的认知状态。在所公开的方法中监控认知状态在不影响她的驾驶或她的其他认知能力的情况下被执行。所公开的系统生成为驾驶员定制的一组刺激。刺激的显著性和内容被设计成符合环境条件和情况的紧急程度，例如认知状态的严重性、与其相关的风险或诸如此类。

利用所公开的主题的又一个技术效果是增强认知状态监控的功效和有效性而不增加对驾驶员的负荷。通过利用在驾驶员的观看场景中自然地出现的刺激，所公开的系统最小化对驾驶员的脑活动的干预。

所公开的主题可以提供优于任何预先存在的技术和先前在本领域中成为例行的或常规的任何技术的一种或更多种技术改进。附加的技术问题、解决方案和效果鉴于本公开对于本领域中的普通技术人员可以是明显的。

现在参考图1，其示出了根据所公开的主题的一些示例性实施例的系统的示例性架构的示意图。

在一些示例性实施例中，系统100可用于在驾驶车辆期间评估驾驶员的认知状态。

在一些示例性实施例中，系统100可以包括用于监控驾驶员105的一个或更多个传感器110。传感器110可以对准驾驶员105以监控她的行为。传感器110可以包括用于驾驶员105、112的眼睛的眼跟踪器、内视摄像机、在车辆的驾驶盘上的压力传感器、麦克风、红外(IR)传感器、其组合或诸如此类。传感器110可以被配置成连续地监控驾驶员105，尤其是驾驶员105的眼睛。传感器110可以被配置成收集可操作来创建关于驾驶员105的认知状态的指标的数据。这样的数据可以包括与驾驶员105相关联的眼特征。

在一些示例性实施例中，系统100可以包括用于评估驾驶员105的认知状态的人工智能(AI)模块120。AI模块120可以被配置成编译来自不同源的各种可观察量和指标，以便评估驾驶员105的认知状态。AI模块120可以被配置成利用各种AI方法和技术，例如深度学习、人工神经网络(ANN)、多层卷积神经网络(CNN)或诸如此类，以分析在驾驶员105m的图像中的指标，例如面部表情、眼运动、注视方向、瞳孔扩张、行为模式或诸如此类。AI模块120可以被配置成将指标转换成提供关于驾驶员105的基本计算能力的信息的更高等级指标。

在一些示例性实施例中，系统100可以包括被配置为探测驾驶员105、显示对驾驶员105的刺激、显示对驾驶员105的警报或诸如此类的探测模块130。探测模块130可以面向驾驶员105被定位在车辆20中，例如在屏幕、挡风玻璃、方向盘、中间反射镜或诸如此类上。在一些示例性实施例中，探测模块130可以可操作来在潜意识水平或几乎不可感知的水平上工作，从而提供对驾驶员105的正常操作的最低水平的干扰。在一些示例性实施例中，探测模块130可以被配置成对驾驶员105施加各种刺激。驾驶员105对刺激的反应可以由探测模块130、由来自传感器110的一个或更多个传感器或诸如此类监控。驾驶员105的反应可以被提供给AI模块120以确定驾驶员105的认知状态。

在一些示例性实施例中，系统100可以包括被配置为与驾驶员105通信、向驾驶员105提供附加输出或诸如此类的通信模块140。通信模块140可以被配置成经由人机界面(HMI)模块150与驾驶员105通信。对驾驶员105的输出可以包括关于她的认知状态的指示、对安全驾驶的建议、推荐、警告、提示、所需的行动(例如停下来休息、减速或诸如此类)或诸如此类。

在一些示例性实施例中，总体上考虑到驾驶员105的身体状况，例如基于其人口统计和身体数据(例如年龄、视线的敏锐度或诸如此类)，系统100可以针对驾驶员105被个别地定制。此外或可选地，可以确定驾驶员105在每个特定时间的身体和精神状况，例如疲劳、警觉、情绪、破坏或诸如此类。此外或可选地，动态是正在进行的注意力分配。系统100可以持续地监控驾驶员105的认知状态和行为，用一组潜在地定制的刺激探测驾驶员105，并分析对刺激的响应。

在一些示例性实施例中，系统100可以包括AI情况评估模块170。AI情况评估模块170可以被配置为分析从环境监控传感器160获得的数据，并且向AI模块120提供过程相关数据。环境监控传感器160用于监控在车辆前方的驾驶员、观看驾驶员105所看到的场景或诸如此类。环境监控传感器160可以被配置成收集关于和背景和情况有关的环境的信息，例如道路的特性、与其他驾驶员的交互、车辆或对象、标志、捕获在驾驶员105前方的观看场景或诸如此类。环境监控传感器160可以包括可操作来评估生理参数(例如体温和脉搏)并穿透太阳镜的多光谱摄像机、利用红外图像的摄像机、数码摄像机、录像机或诸如此类。AI情况评估模块170可以被配置成编译来自环境监控传感器160的可观察量和指标。可观察量和指标可以包括关于道路状况、危险、潜在威胁、来自车辆的内部和外部的破坏的可观察量和指标以及可能是相关的或影响驾驶员105或车辆的性能的其他可观察量或诸如此类。AI模块120可以被配置为应用诸如深度学习、贝叶斯网络或诸如此类的方法，以便组合各种可观察量和指标，并评估情况和上下文，从而推断在驾驶员105的状态和行动与实际情况之间存在不相符的情况。

此外或可选地，系统100可以包括被配置为估计由驾驶员105对酒精或药物的消耗的醉酒确定模块180。醉酒确定模块180可以连接到导航和定位系统182以及数据库184。导航和定位系统182可以被配置成例如使用全球定位系统(GPS)或其他位置传感器连同来自数据库184的关于潜在可疑位置中的位置(例如康复中心、供应酒精的娱乐场所或诸如此类)的其他数据来确定驾驶员105的位置信息。醉酒确定模块180可以被配置成评估驾驶员105可能消耗了酒精或药物的可能性。该可能性可以由AI模块120连同相应的置信区间一起使用，以便调整AI模块120的灵敏度水平。

此外或可选地，系统100可以包括基线模式评估模块122，其被配置为确定驾驶员105的行为模式和历史数据以帮助AI模块120确定驾驶员105的认知状态。基线模式评估模块122可以被配置成利用驾驶员识别模块124，其用于例如基于驾驶员105的生物测定数据例如使用来自传感器110的监控摄像机的面部识别、使用来自传感器110的在驾驶盘上的传感器的指纹或手印或诸如此类来识别驾驶员105及其特性。此外或可选地，驾驶员基线模式评估模块122可以基于驾驶员105的身份从本地数据库126、外部数据库、互联网或诸如此类获得数据。这样的数据可以包括驾驶员105的行为模式、驾驶员105的历史数据、驾驶员105的驾驶模式、交通罚单或诸如此类。数据可以由基线模式评估模块122分析以确定驾驶员105的驾驶模式。模式可以包括在各种位置和条件中的驾驶模式、在各种情况和条件中的眼反应、对刺激的眼反应或诸如此类。模式可以存储在数据库126中、在云中或诸如此类。此外或可选地，系统100可以包括异常检测模块128以检测充当驾驶员105的认知状态的指标的异常。在一些示例性实施例中，异常检测可以基于自动编码器，其被训练成使用较低维度表示来再现数据，并且基于这样的再现的失败来定义这样的异常。

此外或可选地，系统100可以包括被配置为在被提供给AI模块120之前处理来自传感器110的数据的预处理单元119。预处理单元119可以被配置成基于由传感器110收集的数据来产生第二级特征。作为例子，预处理单元119可以产生驾驶员105的眼特征，例如与在可视场景内的注视方向相关的特征、与瞳孔扩张相关的特征、指示表示低感受性水平的行为模式的特征或诸如此类。在一些实施例中，预处理单元119可以被配置成利用预测模型，例如自回归(AR)模型、卡尔曼滤波器、粒子滤波器、具有长-短期记忆的深度神经网络、其组合或诸如此类，以便计算第二级特征。预测模型可用于基于第二级特征或眼特征来确定与驾驶员105的认知状态直接相关的特征。作为例子，预处理单元119可以被配置成预测驾驶员105的注意力的焦点。AI模块120可以被配置成将第二级特征或直接特征连同相应的置信水平一起转换成认知水平指标的向量。在以高于第二预定阈值(例如，约90％、95％或诸如此类)的置信水平确定低于预定阈值(例如低于最佳水平约30％)的认知状态的情况下，系统100可以被配置为使用通信模块140来警告驾驶员105。此外或可选地，在置信水平低于第三预定阈值(例如，大约70％、60％、50％或诸如此类)的情况下，系统100可以使用探测模块130用不同系列的刺激重新探测驾驶员105，并由传感器110监控驾驶员105对这些刺激的反应。AI模块120可以被配置成潜在地以更高的置信水平生成一组新的感受性水平指标。

此外或可选地，AI模块120可以被配置为应用HMM，以便确定驾驶员105的认知状态。作为例子，HMM的可见状态可以包括眼特征，例如对在视场内的各种感兴趣对象的眼注视，以及隐藏状态可以表示相关的认知特征，例如将注意力分配给对象和潜在威胁相对于在做白日梦时仅仅看着或盯着对象，或诸如此类。AI模块120可以其后利用HMM学习算法，例如Baum-Welch算法，以评估转换的可能性，以便评估驾驶员105的认知状态，预测下一个状态，确定施加控制刺激的需要，或诸如此类。

此外或可选地，探测模块130可以被配置为引入刺激，其显著性和内容与环境条件和情况的紧急程度(例如，认知状态的严重性)相符。刺激的显著性可以由多个参数(例如模态、持续时间、强度、位置或诸如此类)确定。刺激的显著性可以逐渐增加，同时持续地监控驾驶员105的反应，直到达到期望的警报水平为止。使用该范例，系统100可以以最低限度地侵入的方式操作。

此外或可选地，系统100可以连接到车辆的控制器区域网络(CAN-总线)190。CAN-总线190可以被配置为从汽车的计算机提供指标，例如加速度、车道保持、突然制动或诸如此类。指示可以由AI模块120用作关于驾驶员105的状态的附加指标。此外或可选地，系统100可以经由CAN-总线190向车辆计算机发出信号，以在驾驶员105的认知状态与环境要求不相符的情况下改变车辆的参数，例如限制车辆的速度、指示车辆改变车道、操作在车辆中的挡风玻璃刮水器以警告驾驶员105、增加或降低驾驶员105使用的媒体中心、无线电或其他娱乐(entrainment)系统的音量以增加她的注意力，或诸如此类。

此外或可选地，AI模块120可以被配置成利用来自云195的数据来改善认知状态的评估。在一些示例性实施例中，云195可以提供关于在相似环境中的其他驾驶员的眼反应的信息，从而改善驾驶员105的认知状态的评估。在一些示例性实施例中，在车辆外部的环境信息(例如最新的交通信息、关于在驾驶员附近的其他车辆的信息、天气信息或诸如此类)也可以用于提高AI模块120的决策的质量。

现在参考图2A，其示出了根据所公开的主题的一些示例性实施例的方法的流程图。

在步骤210，当驾驶车辆时，可以对驾驶员施加刺激系列。在一些示例性实施例中，刺激系列可以包括与模式匹配的第一部分和偏离该模式的第二部分。刺激系列可以被布置为匹配该模式(例如，来自第一部分)的刺激序列和中断该模式(例如，来自第二部分)的刺激。这样的中断可以被配置成引起指示意外事件的脑活动，该脑活动可以被配置成引起来自驾驶员的眼睛的响应性眼反应。来自第一部分的多个刺激可以是匹配时间模式、空间模式或诸如此类的刺激序列。在一些示例性实施例中，偏离该模式的第二部分可以被配置成在刺激的定时、刺激的空间位置、刺激的幅度、刺激的类型或诸如此类方面偏离该模式。该偏离可以基于以可操作来引起特定脑活动的方式中断预期模式的范例。作为例子，刺激可以包括在显示器(例如，屏幕、挡风玻璃或诸如此类)上的相同位置上显示N个连续图像，以及将第N+1个图像移动到新位置上。作为另一个例子，刺激系列可以包括以恒定速度的时间彩色光刺激。

在步骤212，可以基于驾驶员的特性来确定刺激系列。可以根据驾驶员的特性、环境参数或诸如此类为每个驾驶员定制刺激系列。

在一些示例性实施例中，可以总体上基于驾驶员的身体状况(例如，基于人口统计特征、所评估的身体和精神状况、正在进行的注意力分配的动力学或诸如此类)为驾驶员定制刺激系列。在一些示例性实施例中，可以应用机器学习技术，以便基于这样的特性和参数来确定刺激系列。作为例子，控制工程设计和强化学习可以用于向驾驶员提供一组最佳刺激。

在一些示例性实施例中，可以确定刺激的类型，例如视觉、触觉、听觉、其组合或诸如此类。此外或可选地，可以确定提供刺激的手段、每个刺激的定时、刺激的空间位置、刺激的幅度、刺激的类型或诸如此类。此外或可选地，可以基于驾驶员的认知特性以最小化刺激对驾驶员认知活动、驾驶活动或诸如此类的影响的方式来确定刺激系列。作为例子，一些驾驶员可能比其他驾驶员对刺激更敏感。因此，可以对其施加较少的干预刺激或更多的自然刺激。作为另一个例子，如果刺激是视觉提示，例如以X流明的强度在仪表板上出现T秒钟的时间段的照明指示(led)，则系统可以评估反应时间和对刺激的眼注视的时间，以便考虑到一般情况而确定上述参数T和X是否可以为刺激提供一组足够的控制参数。系统可以以参数值开始，例如X＝50、X＝60、X＝100流明或诸如此类；以及T＝0.2、T＝0.5、T＝0.7秒或诸如此类，并且使它们适应于驾驶员。

在步骤214，可以使用位于车辆中并指向驾驶员的输出设备来提供刺激系列中的每个刺激。在一些示例性实施例中，刺激系列可以作为视觉刺激、听觉刺激、触觉刺激、其组合或诸如此类来提供。作为例子，视觉刺激可以呈现在仪表组上的显示器、方向盘、平视显示器、车辆反射镜、车辆遮阳板、挡风玻璃、中央控制台或诸如此类上。在一些示例性实施例中，系统可以利用现有的视觉元素作为视觉刺激，并控制这样的元素以引入与模式的偏离。作为例子，以某个速度出现的车辆的刮水器的运动可以用作具有某个模式的视觉刺激；该模式可以通过改变刮水器的速度、使刮水器突然停止或诸如此类来被中断。作为另一个例子，听觉刺激可以由车辆的信息娱乐系统使用仪表组、使用放置在车辆中的麦克风、经由驾驶员的移动设备或诸如此类来提供。作为又一例子，触觉刺激可以由方向盘、驾驶员座椅、座椅安全带作为来自驾驶员的移动设备的振动或诸如此类来施加。

在步骤220，可以获得驾驶员的眼睛的一组图像。在一些示例性实施例中，该组图像可以在刺激系列的施加期间被捕获。此外或可选地，该组图像可以在刺激系列的施加之后的预定时间窗口(例如，在刺激系列的施加之后的3秒、4秒、10秒或诸如此类)中被拍摄。这组图像可以从位于车辆内并面向驾驶员的一个或更多个传感器(例如眼跟踪器、内视摄像机、热成像摄像机、IR传感器或诸如此类)获得。该组图像可以包括大量图像(例如大约100个图像、400个图像、1000个图像或诸如此类)，以使其中的眼反应的更好分析成为可能。因此，可以利用具有适合的计算能力的传感器，例如能够跟踪大约100帧/秒、大约150帧/秒、大约200帧/秒或诸如此类的眼跟踪器。

在一些实施例中，传感器可以包括可操作来评估受试者的生理参数(例如体温、脉搏或诸如此类)的多光谱摄像机。传感器可以适合于例如通过利用IR图像来穿透太阳镜、镜片、化妆品或诸如此类。此外或可选地，该组图像可以从车辆的DMS或车辆的连接到捕获驾驶员的眼睛的视觉传感器的其他计算设备获得。

在步骤230，可以分析该组图像以确定对应每个图像的一组眼特征。在一些示例性实施例中，可以利用计算机视觉技术、AI图像处理技术、对象检测技术或诸如此类来分析该组图像并提取相关的眼特征。在一些示例性实施例中，该组眼特征可以包括与驾驶员的眼睛相关的特征，其与特定脑活动相关联。该组眼特征可以包括与驾驶员的眼睛中的一只或更多只眼睛的飞快扫视相关的特征(例如，飞快扫视的准确度、飞快扫视的频率、飞快扫视的速度、眼注视时间或诸如此类)、眼睛的至少一个瞳孔的大小、眼睛中的至少一只眼睛的扩张反应、眼睛中的至少一只眼睛的收缩反应、在眼睛之间的对称性测量、在眼睛附近的面部表情、眉毛运动或诸如此类。响应于施加刺激系列，可以针对意外刺激或新异刺激(例如最后几个刺激的模式被中断的实例)捕获不同的眼反应。

在一些示例性实施例中，可以既在时域中直接从表示例如注视点在不同时间处的坐标的时间序列且又从时间序列的功率谱提取特征。

在步骤240，可以基于该组图像的该组眼特征来确定驾驶员的认知状态。在一些示例性实施例中，在某个时间点的认知状态可以指示驾驶员参与驾驶活动的最大能力。在一些示例性实施例中，可以基于该组图像的该组眼特征的一个或更多个统计测量来确定认知状态。统计测量可以包括独立成分分析(ICA)测量、主成分分析(PCA)测量、熵测量、非参数加权特征提取(NWFE)测量、高斯最大似然(GML)测量、k-最近邻分类器(kNN)测量、标准偏差(STD)、平均值、平均数、其组合或诸如此类。

在一些示例性实施例中，可以使用分类器来确定驾驶员的认知状态。在一些示例性实施例中，可以对该组图像的该组眼特征应用分类器。此外或可选地，可以对该组图像的该组眼特征的一个或更多个统计测量应用分类器。此外或可选地，分类器可以确定其他特征，例如但不限于驾驶员的特性，例如人口统计特性(诸如年龄、性别或诸如此类)、道路状况、驾驶习惯或诸如此类。此外或可选地，可以进一步基于如从车辆的计算设备、例如从车辆的CAN-总线、DMS或诸如此类获得的驾驶员的驾驶数据来执行该确定。在一些示例性实施例中，可以在执行所述步骤之前执行分类器的训练。可以相对于通过监控驾驶员获得的一组测量结果来训练分类器。此外或可选地，可以相对于通过监控与该驾驶员具有低于阈值的相似性测量结果的一个或更多个不同的驾驶员而获得的一组测量结果来训练分类器。可以在没有驾驶员的被监控数据的情况下训练分类器。

在步骤250，可以基于驾驶员的认知状态来执行驾驶员是否能够安全地操作车辆的确定。在一些示例性实施例中，可以基于在认知状态和驾驶能力之间的联系、脑-计算机接口(BCI)、在车道保持驾驶实验中确定脑电图(EEG)脑动力学或诸如此类的研究结果来执行该确定。此外或可选地，可以基于将驾驶员的认知状态与其在被检测为清醒时的先前认知状态、与其他人的认知状态或诸如此类进行比较来执行该确定。

在步骤260，响应于确定驾驶员不能够进行安全驾驶，可以应用响应行动。

此外或可选地，响应于确定驾驶员不能够进行安全驾驶，可以重复步骤210，而在步骤212中，可以确定不同的一组刺激。

现在参考图2B，其示出了根据所公开的主题的一些示例性实施例的方法的流程图。

在步骤250b，可以基于驾驶员的认知状态来执行驾驶员是否能够安全地操作车辆的确定。

在步骤252，可以执行驾驶员的认知状态是否高于最小阈值的确定。在一些示例性实施例中，可以基于驾驶员在清醒时的驾驶习惯、基于驾驶员在清醒时所测量的认知状态、基于具有类似特性(例如年龄、性别、驾驶经验或诸如此类)的其他清醒驾驶员的认知状态来确定最小阈值。在一些示例性实施例中，可以基于从眼行为和眼反应的测量导出的该组特征来确定认知状态。可以通过将该组特征映射到相关的表现水平(例如驾驶表现)来确定认知状态。在一些示例性实施例中，可以通过利用对照实验来实现大范围的表现水平，在对照实验中认知表现被故意降级。作为例子，认知表现可以通过引起疲劳或通过指示受试者消耗特定量的酒精而被故意降级。在一些示例性实施例中，可以基于与驾驶员的眼反应的基线的偏离来评估表现水平，例如与认知状态相关的驾驶表现。可以使用在没有表现水平的降级的情况下操作的驾驶员的特征组的聚类来确定基线。

在步骤254，可以执行驾驶员的认知状态是否符合安全驾驶要求的确定。

在步骤260，可以响应于确定驾驶员不能够进行安全驾驶而执行响应行动。作为例子，响应于驾驶员的认知状态与安全驾驶要求不相符的确定、响应于认知状态低于最小阈值的确定或诸如此类可以执行响应行动。

在步骤262，可以向车辆的控制器系统报警。在一些示例性实施例中，控制器系统可以是车辆的计算设备、车辆的自动驾驶系统、车辆的DMS或诸如此类。

在步骤264，控制器系统可以被配置成执行限制行动。在一些示例性实施例中，限制行动可以包括激活车辆的自动驾驶、限制车辆的速度、指示车辆安全停车、向第三方发出警报、向驾驶员发出警报或诸如此类。

现在参考图2C，示出了根据所公开的主题的一些示例性实施例的方法的流程图。

在步骤220c，可以获得驾驶员的眼睛的一组图像。在一些示例性实施例中，该组图像可以在驾驶员暴露于刺激系列时以及在驾驶员正在驾驶车辆时被捕获。在一些示例性实施例中，刺激系列可以至少部分地自然地出现在驾驶员正在驾驶车辆时的观看场景中、驾驶员驾驶时听到的自然噪声中等。

在一些示例性实施例中，刺激系列可以包括与模式匹配的第一部分和偏离该模式的第二部分。刺激系列可以被配置成引起眼睛的眼反应。

在步骤222c，可以分析驾驶员的观看场景以确定刺激系列的自然地出现的部分。在一些示例性实施例中，视觉传感器可以用于捕获驾驶员的观看场景，并通过车辆的前挡风玻璃或其他窗口(例如仪表板摄像机、汽车数字录像器(DVR)、驾驶记录器、事件数据记录器(EDR)或诸如此类)来连续地记录视图。

在步骤224b，可以确定在观看场景中的刺激的模式。在一些示例性实施例中，刺激系列的第一部分可以包括在驾驶员的观看场景中的现有视觉刺激。可以基于在现有视觉刺激中的元素(例如，在观看场景内的静止元素、重复元素或诸如此类)来确定该模式。

在步骤226b，可以确定与指示来自刺激系列的第二部分的刺激的模式的偏离。在一些示例性实施例中，该偏离可以自然地出现在观看场景中，例如遗漏重复元素、在观看场景中的快速变化、意外元素或诸如此类。此外或可选地，可以例如使用临时安排该模式的中断的增强现实、例如模仿遗漏重复元素、在观看场景中的快速变化、意外元素或诸如此类来主动地引起与该模式的偏离。

在步骤228b，可以利用观看场景的增强视图来使驾驶员观看刺激系列。在一些示例性实施例中，刺激系列的第二部分可以使用增强现实来动态地生成以偏离在现有视觉刺激中的模式，由此最小化对驾驶员的视线的干预。

在步骤230c，可以分析该组图像以确定对应于每个图像的一组眼特征。

在步骤240c，可以基于该组图像的该组眼特征来确定驾驶员的认知状态。

现在参考图3A，其示出了根据所公开的主题的一些示例性实施例的示例性观看场景的示意图。

在一些示例性实施例中，驾驶员在驾驶车辆时可以被动地暴露于刺激系列。刺激系列可以至少部分地自然地出现在例如由驾驶员从挡风玻璃、前窗或诸如此类看到的驾驶员的观看场景300中。刺激系列可以被配置成引起来自驾驶员的眼睛的眼反应。

在一些示例性实施例中，观看场景300可以由捕获驾驶员的观看场景的车辆的视觉传感器捕获。可以分析观看场景300以确定刺激系列的自然地出现的部分。

在一些示例性实施例中，刺激系列可以包括与模式匹配的第一部分和偏离该模式的第二部分。该模式可以是自然地出现的模式，例如重复元素、沿着道路的稳定元素或诸如此类。刺激系列的第一部分可以包括在观看场景300中的现有视觉刺激。可以基于在观看场景300的现有视觉刺激中的元素来确定该模式。作为例子，刺激系列330可以包括具有离彼此相同距离的一系列连续电力杆310。

在一些示例性实施例中，偏离刺激(例如，刺激系列的第二部分)也可以自然地出现在环境中，例如在观看场景300中。作为例子，电力杆320可以小于其他电力杆310。

现在参考图3B，其示出了根据所公开的主题的一些示例性实施例的使用增强现实的示例性观看场景的示意图。

在一些示例性实施例中，刺激系列可以以观看场景300可以仅包括与模式匹配的刺激的方式而部分地自然地出现。作为例子，观看场景300可以包括电力杆310，电力杆310包括具有实质上相似的尺寸和离其他电力杆的距离的电力杆320。

为了实现与该模式的偏离，可以向驾驶员提供观看场景300的增强视图350，以使她观看具有该模式及与其的偏离的刺激系列。可以使用增强现实工具(例如增强现实眼镜、增强现实挡风玻璃屏幕、能够在道路上投射全息图的全息透镜或诸如此类)来提供增强视图350。

在一些示例性实施例中，观看场景300可以由可操作来评估在由驾驶员观看的场景内的至少一些这样的模式的存在的前视摄像机获得。此外或可选地，观看场景300可以由摄像机获得，并由认知状态确定系统(例如图1的系统100)分析。

在一些示例性实施例中，可以基于在观看场景300的现有视觉刺激(例如，刺激系列330的一部分)中的元素来确定模式，刺激系列330包括具有离彼此的相同距离的一系列4个连续电力杆310。此外或可选地，可以基于同一车辆或采用该系统的其他车辆的先前行程(previous ride)来评估沿着道路的这样的模式的存在。

刺激系列的第二部分(例如，与模式的偏离)可以使用增强现实工具来动态地生成以偏离在现有视觉刺激中的模式，由此最小化对驾驶员的视线的干预。例如，电力杆320可以从增强视图350移除，以生成缺少的电力杆360的偏离的刺激，其接着4个连续电力杆310的模式。所生成的刺激系列380可以包括重复地自然地观看的4个连续电力杆310，后面是动态地生成的缺少的电力杆360。

在一些示例性实施例中，评估驾驶员的认知状态的模块可以优选地利用对这样的模式的眼反应，从而在不增加对驾驶员的负荷的情况下提高系统的功效和有效性。

现在参考图4A，其示出了根据所公开的主题的一些示例性实施例的刺激模式及与其的偏离的示意图。

图4A示出了允许评估驾驶员的认知状态的各方面以及他们的关于驾驶任务的能力的新异范例。

在一些示例性实施例中，模式400可以包括可以在规律时间间隔期间(例如，每500毫秒、每2000毫秒、每3000毫秒或诸如此类)突然出现在屏幕的右侧(例如410、411、412、414等)或屏幕的左侧(例如413)上的对象410的类似实例。在大多数(例如80％)情况下，对象出现在同一侧上，从而允许驾驶员推断模式的存在。在一小部分(例如20％)时间，对象出现在屏幕的另一侧，从而中断模式。作为结果，模式400可以示出在前3个对象(例如410、411、412)出现在左手侧上、然后第四个(413)出现在右手侧上时这样的模式的中断。

现在参考图4B，其示出了根据所公开的主题的一些示例性实施例的刺激模式及与其的偏离的示意图。

在一个实施例中，刺激系列420是根据在图4A中呈现的模式400在所进行的实验之一中使用的实际时间的刺激系列序列。在刺激系列420中，+1指示出现在右手侧上，而-1指示出现在左手侧上。+符号指示“意外”或“新异”：最后几个刺激的模式被中断的实例。

现在参考图4C，其示出了根据所公开的主题的一些示例性实施例的对于清醒和醉酒的受试者的对刺激模式和与其的偏离的平均眼反应的示意图。

在一些示例性实施例中，预期时间或空间模式的偶然中断可以被配置成引起意外反应，其引起脑活动。作为例子，脑活动可以由在EEG模式中的被称为P300的脉冲显现，该脉冲由可识别的眼反应(例如瞳孔扩张、飞快扫视模式的变化或诸如此类)显现。

曲线图430示出了对于清醒和醉酒的受试者的对在图4B中呈现的刺激系列420中的新异刺激与非新异刺激的平均眼反应。曲线图430表示对于清醒和醉酒的受试者的受试者的平均飞快扫视模式。线432表示对于非新异刺激的清醒受试者的平均飞快扫视模式。线434表示对于非新异刺激的醉酒受试者的平均飞快扫视模式。线436表示对于新异刺激的清醒受试者的平均飞快扫视模式。线438表示对于新异刺激的醉酒受试者的平均飞快扫视模式。

可以注意到，在由沿着清醒与醉酒的水平方向的飞快扫视的时间序列反映的眼反应之间的差异对于新异刺激明显得多。

现在参考图4D，其示出了根据所公开的主题的一些示例性实施例的表示驾驶员的认知状态的退化的曲线图的示意图。

在一些示例性实施例中，驾驶员的认知状态可以在有或没有酒精和药物消耗、疲劳或诸如此类的影响的情况下随着时间的过去而退化。当认知状态被酒精和药物消耗、疲劳或诸如此类影响时，这样的退化可能更加严重(sever)。

根据一些示例性实施例，曲线图700表示驾驶员的认知状态随着时间的过去例如由于疲劳导致的退化的示意性模型。

现在参考图5，其示出了根据所公开的主题的一些示例性实施例的示例性刺激系列的示意图。

在一些示例性实施例中，刺激系列中的模式可以包括子模式组成的模式。模式中的该模式中的偏差可以通过应用不同的子模式来引起。刺激系列可以包括一组刺激子系列。与该模式的偏离可以出现在具有与其他子系列不同的模式的刺激的子系列中。

范例510表示包括以规律间隔的5个实例的一组系列的刺激系列，在这些系列之间有更长的间隔。在范例510中的模式包括被称为“局部模式”的5个相同实例的多个系列，其可以是一组中的大多数，例如系列的大约90％。与“局部”模式的偏离被表示为实质上相似的系列，其中在系列中的第五个实例不同于实例的其余部分，其可以是该一组的少部分，例如系列的大约10％，从而在这种情况下产生与基本模式的“全局”偏离。

范例550表示包括以规则间隔的5个实例的一组系列的刺激系列，在这些系列之间有更长的间隔。在范例550中的模式包括4个相同实例和不同于前4个实例的第五实例的多个系列，使得每个“局部”间隔包括与基本模式的偏离。模式系列可以是该一组的大部分，例如系列的大约90％。与模式的偏离被表示为实质上相似的系列，其中五个实例是相同的，其可以是该一组的少部分，例如系列的大约10％，从而在这种情况下产生与基本模式的“全局”偏离。

在这两种情况下，在呈现与模式匹配的几个系列之后，一个所偏离的系列可能被诱发为“意外”。

可以注意到，识别与包括局部规律的全局规律的偏离可能需要更多的认知资源，且因此可以提供这些资源的存在和驾驶员的能力的指示。在这种情况下，眼反应可以提供关于“意外”的良好指示，并从而允许推断和评估驾驶员的认知状态。

现在参考图6，其示出了根据所公开的主题的一些示例性实施例的用于从可见指标推断驾驶员状态的认知状态的HMM的使用的示意图。

在一些示例性实施例中，HMM 600可以包括多个认知状态C1、C2、C3...Cn(参考数字610、612、614和616)，其中每一个都可以反映对各种精神活动的参与，例如扫描在视场内的对象和威胁、做白日梦、参与非驾驶活动(例如发短信或诸如此类)。此外或可选地，HMM600可以包括多个可见状态O1、O2、O3...Om(参考数字620、622、624和626)，其中每一个可以基于驾驶员的眼反应使用关于驾驶员的参与和接受性的指标的集合来表示。此外或可选地，HMM 600可以包括多个环境状态E1、E2、E3...Ep(参考数字630、632、634和636)。当驾驶员处于认知状态Cj时获得可见状态Oi的概率可以被表示为P(Oi|Cj)。在时间T处于认知状态Ck的概率从在时间T-1、T-2、T-3…的先前认知状态和已知的环境状态E1、E2、E3…Ep导出。通过应用HMM 600，可以基于驾驶员的先前确定的认知状态根据眼反应和环境参数的可见指标来确定驾驶员在某个时间点的认知状态(例如，具有较高概率的认知状态)的预测。现在参考图7A，其示出了根据所公开的主题的一些示例性实施例的方法的流程图。

在步骤710，可以获得参考驾驶员的数据。在一些示例性实施例中，参考驾驶员可以是系统可以访问其数据的不同驾驶员，例如利用所公开的系统以用于监控认知状态的驾驶员、相关数据库(例如生物测定数据库、罪犯数据库或诸如此类)中的驾驶员。在一些示例性实施例中，数据可以包括参考驾驶员的人口统计数据，例如年龄、视线的敏锐度、性别、体重、驾驶执照信息或诸如此类。该数据还可以包括关于参考驾驶员的驾驶模式的信息，例如驾驶风格、经验、平均驾驶速度、遵守道路规则和标志、所记录的交通违法、车道保持、在大转弯中的驾驶习惯或诸如此类。数据还可以包括参考驾驶员的认知特性，例如认知水平和能力、对不同事件的眼反应、在特定时间的所评估的身体和精神状况(例如疲劳、警觉、情绪、破坏或诸如此类)、正在进行的注意力分配的动力学或诸如此类。该数据还可以包括关于药物、酒精、吸烟或诸如此类的消耗的信息。

此外或可选地，数据可以包括关于具有不同特性的受试者的实验数据，例如不同受试者响应于不同刺激的所测量的认知状态、受试者对不同刺激的眼反应、清醒的受试者的眼反应与受试者在药物或酒精作用下的眼反应的比较或诸如此类。

在步骤715，可以针对不同的驾驶员训练分类器。在一些示例性实施例中，参考驾驶员可以基于它们的特性被聚类。每个分类器可以关于不同组或群的驾驶员被训练。分类器可以被训练以基于与对驾驶员施加刺激系列相关联的一组眼特征来预测认知状态。

在步骤720，可以获得当前驾驶员的数据。在一些示例性实施例中，数据可以包括当前驾驶员的人口统计数据、驾驶模式、认知能力、药物和酒精消耗习惯或诸如此类。

在步骤725，可以确定当前驾驶员的简档。在一些示例性实施例中，可以基于参考驾驶员的聚类、基于与其他驾驶员的相似性或诸如此类来确定当前驾驶员的简档。此外或可选地，可以基于在驾驶员和高于预定阈值(例如高于80％、高于90％、高于95％或诸如此类)的一群参考驾驶员之间的相似性测量来确定当前驾驶员的简档。

在步骤730，可以基于简档来选择分类器。在一些示例性实施例中，针对相关群或组的参考驾驶员训练分类器。可以在没有驾驶员的被监控数据的情况下通过对参考驾驶员应用的迁移学习来训练分类器。

在步骤735，可以应用选定分类器来确定驾驶员的认知状态。在一些示例性实施例中，可以对该组图像的该组眼特征应用分类器。此外或可选地，可以对该组图像的该组眼特征的一个或更多个统计测量结果应用分类器。

现在参考图7B，其示出了根据所公开的主题的一些示例性实施例的方法的流程图。

在步骤740，可以获得驾驶员的数据。在一些示例性实施例中，数据可以包括驾驶员的特性，例如人口统计学特性，例如年龄、性别、体重或诸如此类。此外或可选地，数据可以包括如从车辆的计算设备(例如从车辆的CAN-总线、DMS或诸如此类)获得的驾驶员的驾驶数据。驾驶数据可以包括在不同条件下的速度数据、注意力、速度、遵守交通规则或诸如此类。此外或可选地，数据可以包括酒精和药物消耗习惯。

在步骤750，可以确定安全驾驶要求。在一些示例性实施例中，可以基于法规要求、基于DMS数据、基于环境参数(例如道路状况或诸如此类)来确定安全驾驶要求。

在步骤760，可以选择与安全驾驶要求相关的驾驶员的数据的子集。在一些示例性实施例中，可以分析和确定驾驶员的每种类型的数据对安全驾驶要求的影响。

在步骤770，可以基于选定子集来训练个性化分类器。

现在参考图8，其示出了根据所公开的主题的一些示例性实施例的装置的框图。

根据所公开的主题，装置800可以被配置为连续地监控与驾驶有关的驾驶员(未示出)的认知状态。

在一些示例性实施例中，装置800可以包括一个或更多个处理器802。处理器802可以是中央处理单元(CPU)、微处理器、电子电路、集成电路(IC)或诸如此类。处理器802可用于执行装置800或它的任何子部件所需的计算。

在所公开的主题的一些示例性实施例中，装置800可以包括输入/输出(I/O)模块805。I/O模块805可以用于向一个或更多个传感器(例如传感器880)、向车辆的计算设备(例如计算设备870)或向外部数据库(例如数据库890)或诸如此类提供输出，并从一个或更多个传感器(例如传感器880)、从车辆的计算设备(例如计算设备870)或从外部数据库(例如数据库890)或诸如此类接收输入。

在一些示例性实施例中，装置800可以包括存储器807。存储器807可以是硬盘驱动器、闪存盘、随机存取存储器(RAM)、存储器芯片或诸如此类。在一些示例性实施例中，存储器807可以保持用于使处理器802执行与装置800的任何子部件相关联的行动的程序代码。

在一些示例性实施例中，装置800可以被配置为实现驾驶员的状态的被动监控和主动探测，从而连续地监控驾驶员的认知状态。

在一些示例性实施例中，装置800可以包括被配置为利用可操作来引起一组眼反应的一系列刺激的动态控制模块810，该眼反应提供关于驾驶员的认知状态的指示。在一些示例性实施例中，动态控制模块810可以被配置为利用刺激生成器820，以用于生成将对驾驶员施加的刺激系列。刺激系列可以包括与模式匹配的第一部分和偏离该模式的第二部分。权利要求1的方法，其中偏离该模式的第二部分在刺激的定时、刺激的空间位置、刺激的幅度和刺激的类型中的至少一个方面偏离该模式。

此外或可选地，刺激生成器820可以被配置为以可操作来引起特定脑活动的方式基于中断预期时间和/或空间模式的范例来生成刺激。刺激生成器820可以利用模式计算器824以便生成这样的模式，并且利用偏离计算器826以便例如通过生成新异刺激、新异刺激组或诸如此类来生成模式的中断。

在一些示例性实施例中，刺激生成器820可以被配置成应用AI模型822以向驾驶员提供一组最佳刺激。可以对驾驶员的特征、具有相似特性的驾驶员的特征、环境特征(例如天气、道路状况、车辆特性或诸如此类)应用AI模型822。AI模型822可以包括控制工程设计、强化学习、粒子滤波、迁移学习或诸如此类。刺激生成器820可以被配置为利用大数据和迁移学习范例来利用来自其他驾驶员的数据，以便提高驾驶员的认知状态的评估的准确性。

在一些示例性实施例中，刺激生成器820可以被配置成利用人类认知系统特征，以便确定要对驾驶员施加的刺激。人类认知系统特征可以包括人类认知系统的三个特征：(1)它减少维度和信息的努力；(2)它产生涉及世界的预测的能力；以及(3)它对1和2的自顶向下和自底向上关注的依赖性。刺激生成器820可以被配置成可以被配置成生成仅包含相关信息的减少的刺激以引起适应性反应，例如相关刺激的位置、其运动向量和其速度。

在一些示例性实施例中，动态控制模块810可以被配置成根据刺激的类型在显示器830上显示刺激系列。显示器830可以是位于车辆中并指向驾驶员的输出设备。作为例子，视觉刺激可以显示在面向驾驶员的显示器或屏幕上。作为另一个例子，听觉刺激可以由车辆中的音频装置(例如，收音机、麦克风、计算设备或诸如此类)提供。作为又一个例子，触觉刺激可以由触摸驾驶员的触觉装置例如在方向盘、驾驶员座椅、座椅安全带或诸如此类上的传感器施加。

在一些示例性实施例中，刺激系列可以至少部分地自然地出现在驾驶员的观看场景中。可以使用视觉传感器(例如使用传感器880)、行车记录仪、在挡风玻璃上的摄像机或诸如此类来捕获驾驶员的观看场景。刺激生成器820可以被配置成确定刺激系列的自然地出现的部分。在一些示例性实施例中，整个刺激系列可以自然地出现在驾驶员的观看场景中。模式计算器824和偏离计算器826可以被配置为确定在观看场景中的模式及其中断，并且向分析模块845提供模式和偏离以根据自然地出现的刺激系列来确定相应的眼特征。此外或可选地，只有刺激系列的一部分可以是自然地出现的。增强现实模块860可以用于生成观看场景的增强视图以使驾驶员观看刺激系列。刺激生成器820可以被配置成确定刺激的哪个部分是自然地出现的以及哪些刺激应该被添加，并相应地指示增强现实模块860。增强现实模块860可以被配置成根据车辆的系统来利用增强现实技术，以便在驾驶员的观看场景中投射添加的刺激。此外或可选地，增强现实模块860可以被配置成根据驾驶员的观看场景来生成增强现实视图，并使用显示器830来显示它。

在一些示例性实施例中，一个或更多个传感器835可以用于在刺激系列的施加期间捕获驾驶员的眼睛的一组图像840。传感器835可以位于车辆中并面向驾驶员。传感器835可以包括可操作来评估生理参数(例如体温和脉搏)并穿透太阳镜的眼跟踪器、内视摄像机、热成像摄像机、IR传感器、多光谱摄像机或诸如此类。此外或可选地，图像840可以从车辆的其他传感器或系统(例如传感器880、车辆计算设备870、连接到车辆计算设备870的DMS或诸如此类)获得。

在一些示例性实施例中，分析模块845可以被配置成分析图像840以确定对应于每个图像的一组眼特征。该组眼特征可以包括与驾驶员的眼睛的飞快扫视、视线方向、眼运动速度、瞳孔的大小、瞳孔扩张、眼睛的收缩反应、在眼睛之间的对称性测量、在眼睛附近的面部表情、眉毛运动、眨眼的速率、驾驶员的头部或颈部的运动或诸如此类相关的特征。

在一些示例性实施例中，认知状态确定模块850可以被配置成基于图像840的该组眼特征来确定驾驶员的认知状态。认知状态确定模块850可以被配置为基于图像840的该组眼特征的一个或更多个统计测量结果来确定认知状态，例如每个眼特征的所确定的值的ICA、PCA、熵测量结果、STD、平均值或诸如此类。此外或可选地，每个眼特征可以被视为在多层网络中的一个层，并使用网络分析技术被相应地分析。每一层可以基于在相应的眼反应和认知状态之间的关系(例如基于先前的经验、基于文献数据或诸如此类)来被加权。

在一些示例性实施例中，认知状态确定模块850可以被配置成利用时间数据和位置数据，以便评估酒精和药物消耗的先验概率，提高分析的灵敏度或诸如此类。时间和位置数据可以包括车辆随着时间的过去的位置、与酒吧和酒类商店的接近程度、驾驶时间以及与流行的药物和酒精消耗时间(例如周末、深夜时间或诸如此类)重叠的概率。可以从车辆的GPS、从驾驶员的移动设备的位置传感器、从这样的信息的一个或更多个数据库(例如数据库890、在线数据库或诸如此类)获得时间和位置数据。

此外或可选地，认知状态确定模块850可以被配置成基于驾驶员的特性来执行分析。在一些示例性实施例中，可以基于从传感器880获得的数据(例如，面部特征、在方向盘上的指纹或诸如此类)使用面部检测或其他生物测量来确定驾驶员的身份。此外或可选地，可以基于来自驾驶员的计算设备、车辆计算设备870或诸如此类)的数据来确定驾驶员的身份。

此外或可选地，认知状态确定模块850可以被配置为基于驾驶员的关于可以在可能性评估中使用的酒精和药物的消耗的习惯、基于驾驶员的驾驶模式或诸如此类来执行认知状态的确定。这样的数据可以基于驾驶员的先前的眼数据(例如，由装置800或类似装置存储在眼数据DB 895中)来确定，可以基于从数据库890或其他数据库(例如在区域中的警察罚单、社交网络的数据库)获得的数据、基于如从车辆的计算设备(870)获得的驾驶员的驾驶习惯或诸如此类来确定。

在一些示例性实施例中，认知状态确定模块850可以被配置成基于驾驶员的认知状态例如通过确定驾驶员的认知状态是否高于最小阈值、驾驶员的认知状态是否与安全驾驶要求相符或诸如此类来确定驾驶员是否能够安全地操作车辆。响应于确定认知状态低于最小阈值、与安全驾驶要求不相符，装置800可以被配置为执行响应行动，例如经由车辆计算设备870向车辆的控制器系统报警，使用车辆中的一种或更多种方法警告驾驶员，经由车辆计算设备870激活车辆的自动驾驶，限制车辆的速度，指示车辆安全停车，经由驾驶员的移动设备向第三方(例如朋友、受托人、专家或诸如此类)发出警报。

在一些示例性实施例中，认知状态确定模块850可以被配置为对该组特征或其统计测量应用分类器855以确定认知状态。在一些示例性实施例中，与驾驶员在清醒时的驾驶习惯相比，分类器855可以相对于通过监控驾驶员获得的一组测量(例如，驾驶员在被酒精或药物影响时、在疲劳时或诸如此类的驾驶习惯)被训练。此外或可选地，分类器855可以相对于通过监控与驾驶员具有相似特征(例如，相同的年龄、相同的性别、相同的驾驶习惯或诸如此类)的一个或更多个不同的驾驶员获得的一组测量结果被训练。分类器855可以在没有驾驶员的被监控数据的情况下被训练。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质(或多个介质)，其上具有用于使处理器执行本发明的各方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储指令用于由指令执行设备使用的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述设备的任何合适的组合。计算机可读存储介质的更特定例子的非详尽列表包括下列项：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多用途盘(DVD)、记忆棒、软盘、机械编码设备(例如穿孔卡或在凹槽中在其上记录指令的凸起结构(raised structure)以及前述项的任何合适的组合。如本文使用的计算机可读存储介质本身不应被解释为瞬态信号，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线传输的电信号。

本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如互联网、局域网、广域网和/或无线网)下载到外部计算机或外部存储设备。该网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。在每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令用于存储在相应计算/处理设备内的计算机可读存储介质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或更多种编程语言(包括例如Smalltalk、C++或诸如此类的面向对象的编程语言，以及例如“C”编程语言或类似的编程语言的常规过程编程语言)的任何组合编写的源代码或对象代码。计算机可读程序指令可以完全在用户的计算机上、部分地在用户的计算机上、作为独立的软件包、部分地在用户的计算机上和部分地在远程计算机上或者完全在远程计算机或服务器上执行。在后一情形中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以建立到外部计算机(例如，通过使用互联网服务提供商的互联网)的连接。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路系统可以通过利用计算机可读程序指令的状态信息以使电子电路系统个性化来执行计算机可读程序指令，以便执行本发明的各方面。

在本文参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图描述本发明的各方面。应理解的是，流程图图示和/或框图中的每个块和流程图图示和/或框图中的块的组合可以由计算机可读程序指令来实现。

这些计算机可读程序指令可被提供到通用计算机、专用计算机的处理器或产生机器的其他可编程数据处理装置，使得经由计算机的处理器或其他可编程数据处理装置执行的指令创建用于实现在流程图和/或框图的一个或更多个块中所指定的功能/行动的手段。这些计算机可读程序指令还可存储在计算机可读存储介质中，所述指令可指示计算机、可编程数据处理装置和/或其他设备以特定方式起作用，使得存储有指令的计算机可读存储介质包括制造物品，其包括实现在流程图和/或框图的一个或更多个块中所指定的功能/行动的各方面的指令。

计算机可读程序指令也可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使得一系列操作步骤在计算机、其他可编程装置或其他设备上被执行以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现在流程图和/或框图的一个或更多个块中指定的功能/行动。

附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能性和操作。在这一点上，在流程图或框图中的每个块可以代表模块、段落或指令的一部分，其可以包括用于实现指定逻辑功能(多个指定逻辑功能)的一个或更多个可执行指令。在一些可选的实现中，在块中记录的功能可以不以在附图中记录的顺序出现。例如，连续地显示的两个块事实上可以基本上同时执行，或者块有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意到，框图和/或流程图图示中的每个块以及在框图和/或流程图图示中的块的组合可以由执行指定功能或行动或者执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。

本文使用的术语仅为了描述特定实施例的目的，而不意图限制本发明。如在本文所使用的，单数形式“一(a)”、“一(an)”、和“该(the)”意欲也包括复数形式，除非上下文另有清楚指示。还将进一步理解，术语“包括(comprises)”和/或“包括(comprising)”当在本说明书中使用时规定所陈述的特征、整体、步骤、操作、元件和/或部件的存在，但不排除一个或更多个其它特征、整体、步骤、操作、元件、部件和/或其组的存在或添加。

随附权利要求中的对应结构、材料、动作以及所有手段或步骤加上功能元素的等同替换，旨在包括任何用于与在权利要求中具体指出的其它所要求保护的元素相组合地执行该功能的结构、材料或操作。本发明的描述为了说明和描述的目的而被提出，但并没有被规定为无遗漏的或以所公开的形式被限制到本发明。许多修改和变化对本领域中的普通技术人员将是明显的，而不偏离本发明的范围和精神。实施例被选择和描述，以便最好地解释本发明的原理和实际应用，并使本领域中的普通技术人员能够针对具有如适合于所设想的特定用户的各种修改的各种实施例理解本发明。

Claims (23)

1.一种方法，包括：

对驾驶员施加刺激系列，其中所述施加在所述驾驶员驾驶车辆时被执行，其中所述刺激系列包括与模式匹配的第一部分和偏离所述模式的第二部分，其中所述刺激系列被配置为引起来自所述驾驶员的眼睛的眼反应；

获得所述驾驶员的所述眼睛的一组图像，其中所述一组图像在所述刺激系列的施加期间被捕获；

分析所述一组图像以确定对应于每个图像的一组眼特征；以及

基于所述一组图像的所述一组眼特征来确定所述驾驶员的认知状态。

2.根据权利要求1所述的方法，还包括：

基于所述驾驶员的所述认知状态来确定所述驾驶员是否能够安全地操作所述车辆。

3.根据权利要求1所述的方法，还包括：

确定所述驾驶员的所述认知状态是否高于最小阈值；以及

响应于所述认知状态低于所述最小阈值的确定而执行响应行动。

4.根据权利要求1所述的方法，其中，所述一组眼特征包括下列项中的至少一个：

所述眼睛中的至少一只眼睛的飞快扫视；

所述眼睛的至少一个瞳孔的大小；

所述眼睛中的至少一只眼睛的扩张反应；

所述眼睛中的至少一只眼睛的收缩反应；

在所述眼睛之间的对称性测量；

在所述眼睛附近的面部表情；以及

眉毛运动。

5.根据权利要求1所述的方法，其中，所述确定所述认知状态基于所述一组图像的所述一组眼特征的一个或更多个统计测量结果被执行。

6.根据权利要求1所述的方法，其中，所述刺激系列基于所述驾驶员的特性被确定，其中所述确定所述认知状态进一步基于所述特性被执行。

7.根据权利要求1所述的方法，其中，所述确定所述认知状态使用分类器被执行，其中所述分类器相对于通过监控所述驾驶员获得的一组测量结果被训练。

8.根据权利要求1所述的方法，其中，所述确定所述认知状态使用分类器被执行，其中所述分类器相对于通过监控与所述驾驶员具有低于阈值的相似性测量结果的一个或更多个不同的驾驶员得到的一组测量结果被训练，其中所述分类器在没有所述驾驶员的被监控数据的情况下被训练。

9.根据权利要求1所述的方法，其中，偏离所述模式的所述第二部分在刺激的定时、刺激的空间位置、刺激的幅度和刺激的类型中的至少一个方面偏离所述模式。

10.根据权利要求1所述的方法，其中，所述刺激系列包括来自所述第一部分的多个刺激，后面是来自偏离所述模式的所述第二部分的新异刺激，其中来自所述第一部分的多个刺激是匹配所述模式的刺激序列，其中所述模式包括至少一个时间模式。

11.根据权利要求1所述的方法，其中，所述刺激系列包括视觉刺激、听觉刺激和触觉刺激中的至少一个。

12.根据权利要求1所述的方法，其中，所述一组图像从位于所述车辆内并面向所述驾驶员的一个或更多个传感器获得。

13.根据权利要求1所述的方法，其中，所述确定所述认知状态进一步基于所述驾驶员的驾驶数据被执行，其中所述驾驶数据从所述车辆的计算设备获得。

14.根据权利要求1所述的方法，其中，所述一组图像从所述车辆的驾驶员监控系统(DMS)获得。

15.根据权利要求1所述的方法，还包括：

响应于确定所述驾驶员的认知状态与安全驾驶要求不相符，向所述车辆的控制器系统报警。

16.根据权利要求15所述的方法，其中，所述控制器系统被配置成响应于所述报警而执行限制行动，其中所述限制行动包括下列项中的至少一个：

激活所述车辆的自动驾驶；

限制所述车辆的速度；

指示所述车辆安全停车；

向第三方发出警报；以及

向所述驾驶员发出警报。

17.根据权利要求1所述的方法，其中，所述施加包括：

确定所述刺激系列；以及

使用位于所述车辆中并指向所述驾驶员的输出设备来提供所述刺激系列中的每个刺激。

18.一种方法，包括：

获得驾驶员的眼睛的一组图像，其中所述一组图像在所述驾驶员暴露于刺激系列时并且在所述驾驶员正在驾驶车辆时被捕获，其中所述刺激系列包括与模式匹配的第一部分和偏离所述模式的第二部分，其中所述刺激系列被配置成引起来自所述眼睛的眼反应，

其中，所述刺激系列至少部分地自然地出现在所述驾驶员的观看场景中；

分析所述一组图像以确定对应于每个图像的一组眼特征；以及

基于所述一组图像的所述一组眼特征来确定所述驾驶员的认知状态。

19.根据权利要求18所述的方法，还包括利用视觉传感器来捕获所述驾驶员的所述观看场景，以及分析所述观看场景以确定所述刺激系列的自然地出现的部分。

20.根据权利要求18所述的方法，其中，所述刺激系列是部分地自然地出现的，并且其中所述方法还包括提供所述观看场景的增强视图以使所述驾驶员观看所述刺激系列。

21.根据权利要求18所述的方法，其中，所述刺激系列的所述第一部分包括在所述驾驶员的所述观看场景中的现有视觉刺激，其中所述模式基于在所述现有视觉刺激中的元素来被确定，其中所述刺激系列的所述第二部分使用增强现实动态地生成以偏离在所述现有视觉刺激中的模式，由此最小化对所述驾驶员的视线的干预。

22.一种具有处理器的计算机化装置，所述处理器适合于执行下列步骤：

对驾驶员施加刺激系列，其中所述施加在所述驾驶员驾驶车辆时被执行，其中所述刺激系列包括与模式匹配的第一部分和偏离所述模式的第二部分，其中所述刺激系列被配置为引起来自所述驾驶员的眼睛的眼反应；

获得所述驾驶员的所述眼睛的一组图像，其中所述一组图像在所述刺激系列的施加期间被捕获；

分析所述一组图像以确定对应于每个图像的一组眼特征；以及

基于所述一组图像的所述一组眼特征来确定所述驾驶员的认知状态。

23.一种计算机程序产品，其包括保持程序指令的非暂时性计算机可读存储介质，所述程序指令当由处理器读取时使所述处理器执行一种方法，所述方法包括：

对驾驶员施加刺激系列，其中所述施加在所述驾驶员驾驶车辆时被执行，其中所述刺激系列包括与模式匹配的第一部分和偏离所述模式的第二部分，其中所述刺激系列被配置为引起来自所述驾驶员的眼睛的眼反应；

获得所述驾驶员的所述眼睛的一组图像，其中所述一组图像在所述刺激系列的施加期间被捕获；

分析所述一组图像以确定对应于每个图像的一组眼特征；以及

基于所述一组图像的所述一组眼特征来确定所述驾驶员的认知状态。

Images