CN114554957A - 对于负有监视自主车辆的任务的人的精神运动警觉性测试 - Google Patents

Abstract

当人负有监视以自主驾驶模式操作的车辆200的任务时，评估该人经历疲劳事件的可能性可以包括：接收针对对该人施用的精神运动警觉性测试的一组响应时间。测试可以包括涉及人从用户输入设备抬起手指的多个试验。可以确定对于该组试验中的每个试验该人是通过还是失败。针对该人可以识别使用来自对该人施用的先前的精神运动警觉性测试的数据而训练的模型710。可以将对于该组试验中的每个试验该人是通过还是失败的确定的结果输入到模型中，以确定代表疲劳事件的可能性的值。可以基于该值启动干预响应。

Description

对于负有监视自主车辆的任务的人的精神运动警觉性测试

相关申请的交叉引用

本申请要求于2019年10月10日提交的美国专利申请第16/598,752号的优先权并且是该美国专利申请的继续，其全部公开内容通过引用结合于此。

背景技术

诸如在以自主驾驶模式操作时不要求人类驾驶员的车辆的自主车辆可以用于协助将乘客或物品从一个位置运输到另一个位置。这些车辆的测试典型地涉及“测试驾驶员”，该“测试驾驶员”负有监视自主车辆以确保车辆安全地操作的任务。例如，可以预期人在车辆以自主驾驶模式操作时监视车辆和车辆的环境，以及如果有紧急情况或其他这样的情形，则控制住车辆。当疲劳是由于睡眠剥夺、睡眠质量差、由监视本身引起的疲劳、或这些疲劳的贡献来源的相互作用而引起时，已知对这样的车辆的监督增加了人对疲劳的易感性。

精神运动警觉性测试(PVT)可以用于通过人的反应时间(reaction times)的模式来测试他或她的当前意识状态。例如，一旦人识别显示特定图像或消息或播放特定音频，则PVT可能要求人执行特定动作，诸如按下按钮。当前PVT已经证实，单组PVT评价标准可以用于预测一群组疲劳的人的未来任务性能(诸如驾驶性能)。然而，个体在他们的基线PVT性能变化很大，这可能使现有PVT对某些人的疲劳响应较不敏感，并且对其他人的疲劳响应过度敏感。这进而可能导致分别产生针对一些人的假负例(false negative)和针对其他人的假正例(false positive)的群组级别(group-level)PVT通过/失败标准。

发明内容

本公开的一个方面提供了一种评估人经历疲劳事件的可能性的方法，该人负有监视以自主驾驶模式操作的车辆的任务。该方法包括：由一个或多个服务器计算设备接收针对对该人施用的精神运动警觉性测试的一组响应时间，测试包括多个试验；由一个或多个服务器计算设备确定对于该组试验中的每个试验该人是通过还是失败；由一个或多个服务器计算设备识别与该人相关联的模型，该模型是使用来自对该人施用的先前的精神运动警觉性测试的数据来训练的；由一个或多个服务器计算设备将对于该组试验中的每个试验该人是通过还是失败的确定的结果输入到模型中，以确定代表疲劳事件的可能性的值；以及由一个或多个服务器计算设备基于该值启动干预响应。

在一个示例中，该方法还包括通过将该值与一个或多个阈值进行比较来确定干预响应。在另一个示例中，该方法还包括基于对于该组试验中的每个试验该人是通过还是失败的确定来确定测试的分数，并且结果包括分数。在此示例中，分数代表该人的通过率或失败率。在另一个示例中，该方法还包括将该组试验的日期和时间信息输入到模型中，以确定该值。在另一个示例中，该方法还包括将关于测试的人的用于监视车辆的轮班(shift)的相对时间点的轮班信息输入到模型中，以确定该值。在另一个示例中，该方法还包括将自测试的人的最后一次休息以来的时间量输入到模型中，以确定该值。在另一个示例中，该方法还包括将测试的、识别人与他或她的昼夜节律相关的情况的信息输入到模型中，以确定该值。在另一示例中，该方法还包括基于该人是惯用左手还是惯用右手确定阈值时间量，并且确定对于该组试验中的每个试验该人是通过还是失败是基于所述阈值时间量的。在另一个示例中，该方法还包括使用响应时间如何随时间改变而使肌肉疲劳的模型来确定阈值时间量，并且确定对于该组试验中的每个试验该人是通过还是失败是基于所述阈值时间量的。在另一示例中，该方法还包括使用针对该人响应时间如何随时间改变的模型来确定阈值时间量，并且确定对于该组试验中的每个试验该人是通过还是失败是基于所述阈值时间量的。在另一个示例中，该方法还包括使用针对类似处境的人响应时间如何随时间改变的模型来确定阈值时间量，并且确定对于该组试验中的每个试验该人是通过还是失败是基于所述阈值时间量的。在另一示例中，该方法还包括确定阈值时间量是基于用于施用该组试验的用户输入设备的朝向的，并且确定对于该组试验中的每个试验该人是通过还是失败是基于所述阈值时间量的。在另一示例中，该方法还包括确定阈值时间量是基于用于施用该组试验的用户输入设备的朝向的，并且确定对于该组试验中的每个试验该人是通过还是失败是基于所述阈值时间量的。在另一示例中，该方法还包括，一旦识别出干预响应，将一个或多个信号发送给车辆的计算设备、施用测试的PVT系统、以及远程协助操作员的计算设备中的一个或多个，以启动识别的干预响应。在该示例中，信号包括用于测试系统施用第二测试的指令。另外，信号包括用于车辆停止以自主驾驶模式操作的指令。另外，信号包括用于车辆阻止人以手动驾驶模式操作车辆的指令。附加或可替代地，信号使得该人能够与远程协助操作员通信。

本公开的另一方面提供了一种训练用于估计人的疲劳事件的可能性的模型的方法，该人负有监视以自主驾驶模式操作的车辆的任务。该方法包括：由一个或多个服务器计算设备访问来自在不同时间点处施用给人的多组精神运动警觉性测试的结果，结果包括该人的响应时间；由一个或多个服务器计算设备基于结果来确定每组测试的分数；由一个或多个服务器计算设备访问来自远程监视系统的、识别在不同时间处的人的疲劳量的估计的信息；由一个或多个服务器计算设备确定信息是否指示该人经历了一个或多个疲劳事件；以及由一个或多个服务器计算设备使用所确定的分数和所述信息是否指示该人经历了一个或多个疲劳事件的确定来训练对于该人个性化的模型，使得当来自一组测试的数据被输入到模型中时，模型输出指示人经历疲劳事件的可能性的值。

本公开内容的另一方面提供了一种对人施用精神运动警觉性测试的方法，该人负有监视以自主驾驶模式操作的车辆的任务。该方法包括：当人将手指搁置在显示器上时，由一个或多个处理器在触摸敏感显示器上提供视觉刺激以向该人显示；由一个或多个处理器基于来自触摸敏感显示器的反馈来确定手指从显示器移开的时间点；由一个或多个处理器测量在提供视觉刺激的时间与所述时间点之间的、用于该人从显示器移开手指的时间量；以及由一个或多个处理器将该时间量发送给远程计算系统，以在该人负有监视车辆的任务时确定疲劳事件的可能性。

在一个示例中，每个刺激和时间量对应于单一试验，并且其中，测试包括多个试验。在另一示例中，该方法还包括在提供视觉刺激之前，由一个或多个处理器经由显示器向该人提供将手指放置在显示器上的指令。

附图说明

图1是PVT系统的示例。

图2是根据示例性实施例的示例车辆的功能图。

图3是根据本公开的各方面的车辆的示例外部视图。

图4是根据本公开的各方面的系统的示例示意图。

图5是图4的系统的示例框图。

图6是根据本公开的各方面的示例流程图。

图7是代表根据本公开的各方面的模型的训练的示例框图。

图8是根据本公开的各方面的示例流程图。

图9是根据本公开的各方面的示例流程图。

具体实施方式

概述

本技术涉及对于负有监视以自主驾驶模式操作的车辆的驾驶的任务的人的精神运动警觉性测试(PVT)。例如，可以预期人在车辆以自主驾驶模式操作时监视车辆和车辆的环境，以及如果有紧急情况或其他这样的情形，则控制住车辆。当疲劳是由于睡眠剥夺、睡眠质量差、由监视本身引起的疲劳、或这些疲劳的贡献来源的相互作用而引起时，已知对这样的车辆的监督增加了人对疲劳的易感性。为了通过人的反应时间的模式来测试他或她的当前意识状态，PVT可能要求人执行特定的动作，诸如，一旦人识别显示特定图像或消息或播放特定音频，则按下按钮或屏幕，或抬起手指离开按钮或屏幕。当前PVT已经证实，单组PVT评价标准可以用于预测未来任务性能(诸如驾驶性能)。然而，个体在他们的基线PVT性能变化很大，这可能使现有PVT对某些人的响应较不敏感，并且对其他人的响应过度敏感。这进而可能导致分别产生针对一些人的假负例和针对其他人的假正例的群组级别PVT通过/失败标准。

测试系统可以包括输出设备，诸如触摸屏和/或扬声器，以及用户输入设备。用户输入设备可以连接到计算设备，其可以测量在输出设备上显示信息的时间与人完成(例如通过用手指在触摸屏上敲击或者可替代地通过从触摸屏抬起手指)测试的试验的时间之间的时间。例如，计算设备可以提供刺激，诸如在屏幕上显示信息，并开始计时器或计数器。当人的手指从触摸屏移开时，计数器可以用于确定用户输入设备花费多长时间来注册针对该试验的人的响应。这可以对应于响应时间，其实际上考虑了反应时间(人识别刺激的时间)和物理移动时间(人移动他或她的手指所需的时间)两者。然后可以将响应时间与一些通过/失败标准(诸如阈值时间量)进行比较，以确定对于该试验该人是通过还是失败。

如上所述，可以在具有自主驾驶模式的车辆内采用测试系统。因此，测试系统可能能够直接地或间接地经由车辆的计算设备与各种远程计算设备通信以及与车辆的计算设备通信。

为了解决与假正例(或者确切地，实际上不应被视为失败的失败)相关的上述缺点，这里描述的特征可以降低由于将移动时间计数作为响应时间以及创建个性化通过/失败标准(所述标准考虑由于使个体之间的基线性能区分开而引起的错误)而引起的错误。例如，不是简单地监视按钮或屏幕的按压，而是测试的每个试验可以被配置为手指抬起。在这方面，测试的每个试验可能以人的手指搁置在触摸屏或其他触摸敏感设备上开始。

人可以在不同轮班期间在一天中的不同时间进行多个测试。测试系统可以将反应时间发送给远程服务器计算设备。在某些情况下，可以评分来自单一测试的多个试验。评分可以基于响应时间。

该信息可以与其他信号组合。例如，可以使用车载或远程监视系统来确定人的疲劳。作为另一个实例，测试系统可以包括人在相同或不同的评估标度上自我报告他或她的疲劳状态的选项。

来自特定人的PVT的结果以及其他信号可以用于训练模型。该模型可以是由一个或多个服务器计算设备训练的回归模型或统计模型。PVT数据可以包括相对于执行一系列PVT的人的轮班的时间点和时间、日期，以及响应时间和/或分数两者。该PVT数据可以用作训练输入。来自车载或远程监视系统的数据和/或自我报告的数据可以用于确定一组PVT是否对应于疲劳事件(例如，停止集中注意力或者甚至入睡)。这些确定(疲劳事件或非疲劳事件)可以用作训练输出。

可以训练模型，使得输入的新的PVT数据和关于他或她的轮班的点将提供对人的当前和/或未来疲劳状态的估计。用于训练模型的PVT数据和其他信号越多，对人将有疲劳事件的概率的估计越准确。然后，该模型可以例如使用识别代码或其他信息与该人相关联，并保存以供后续检索。

测试系统何时以及多久一次施用测试可以取决于情形而变化。为了施用测试，当发生这种情形时，车辆的计算设备可以向测试系统发送信号。测试系统可以通过施用一组试验并如上所述评价人对于那些试验的响应时间来测试该人。针对测试的试验的响应时间以及日期和时间信息、关于该人轮班的相对点的轮班信息、以及上面讨论的任何附加信息(如果可用的话)然后可以被发送给远程服务器计算设备并由远程服务器计算设备接收。

然后，远程服务器计算设备可以使用反应时间来确定对于测试的该组试验中的每个试验该人是通过还是失败。这还可以包括确定该组的试验的分数。可以识别与该人相关联的模型，如上所述，其是使用来自对该人施用的先前测试的数据以及如上所述的其他信号来训练的。对于该组PVT中的每个PVT该人是通过还是失败的确定的结果，或可替代地响应时间输入模型中，以便确定代表疲劳事件的可能性的值。

为了确定并启动干预响应，然后可以将该值与阈值或多个阈值进行比较，以确定是否采取干预响应以及采取什么类型的干预响应。一旦识别出干预响应，服务器计算设备可以向车辆的计算设备、PVT系统和/或远程协助操作员发送信号以启动识别的干预响应。可以采用各种不同类型的干预响应。

本文描述的特征可以提供用于识别负有监视以自主驾驶模式操作的车辆的驾驶的任务的人的可能的疲劳事件的可靠且有效的系统。例如，因为模型是特定于特定人或类似处境的人来训练的，所以模型会更有可能识别异常情形。此外，由于可以调节用于确定对于特定PVT该人是通过还是失败的阈值时间量以适应特定人或类似处境的人，所以这还可以提高系统的有效性，降低了假正例。换句话说，可以以按照考虑个体变度(variance)(例如由于肌肉疲劳)的方式设置阈值时间量。

示例系统

测试系统可以包括一个或多个计算设备110，其具有一个或多个处理器120以及存储指令132和数据134的存储器130。存储器130存储由一个或多个处理器120可访问的信息，包括可以由处理器120执行或以其他方式使用的指令132和数据134。存储器130可以是能够存储由处理器可访问的信息的任何类型的存储器，包括计算设备可读介质或存储可以借助电子设备读取的数据的其他介质，诸如硬盘驱动器、存储卡、ROM、RAM、DVD或其他光盘，以及其他可写和只读存储器。系统和方法可以包括前述的不同组合，由此指令和数据的不同部分存储在不同类型的介质上。

指令132可以是要由处理器直接(诸如机器代码)或间接(诸如脚本)执行的任何指令集。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这方面，术语“指令”和“程序”可以在本文中可互换使用。指令可以以对象代码格式存储以由处理器直接处理，或者以任何其他计算设备语言(包括按需解释或预先编译的独立源代码模块的集合或脚本)存储。下面更详细地解释指令的功能、方法和例程。

处理器120可以根据指令132检索、存储或修改数据134。例如，尽管所要求保护的主题不受任何特定数据结构限制，但是数据可以存储在计算设备寄存器中，作为具有多个不同字段和记录的表存储在关系数据库中，存储为XML文档或平面文件。数据也可以以任何计算设备可读格式被格式化。

一个或多个处理器120可以是任何传统处理器，诸如市场可获得的CPU或GPU。可替代地，一个或多个处理器可以是诸如ASIC或其他基于硬件的处理器的专用设备。尽管图1在功能上将计算设备110的处理器、存储器和其他元件示出为处于同一块内，但是本领域普通技术人员将理解，处理器、计算设备或存储器实际上可以包括可能存放或可能不存放在相同物理壳体内的多个处理器、计算设备或存储器。例如，存储器可以是位于与计算设备110的壳体不同的壳体中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可以并行操作或不可以并行操作的处理器或计算设备或存储器的集合的引用。

计算设备110还可以包括输出设备160(诸如触摸屏和/或扬声器)、以及用户输入设备150(诸如触摸屏、按钮或其他触摸敏感设备)。在这方面，输出设备和用户输入设备可以是相同的设备(例如触摸屏)。用户输入设备150可以并入到诸如计算设备110的计算设备中或与之连接，该计算设备可以测量在输出设备上显示信息的时间与人完成(例如通过用手指在触摸屏上敲击或可替代地通过从触摸屏上抬起手指)测试的试验的时间之间的时间。例如，计算设备110可以提供刺激(诸如在屏幕上显示信息)，并开始计时器或计数器。当人的手指从触摸屏移开时，计数器可以用于确定用户输入设备150花费多长时间来注册针对该试验的人的响应。这可以对应于响应时间，其实际上考虑了反应时间(人识别刺激的时间)和物理响应时间(人移动他或她的手指的时间)两者。然后可以将响应时间与一些通过/失败标准(诸如阈值时间量)进行比较，以确定该人是通过试验还是试验失败。

作为示例，在单一测试中，可以有多达60-70个试验，这些试验一起可以花费大致3分钟来完成。例如，测试可以利用1-4秒的刺激间间隔(ISA)，在试验/刺激之间随机变化。如果ISA将被设置为1-3秒，则在同一测试内(当前在3分钟)会有更多的试验。另外，可以增加或减小测试长度，这也将增加或减少测试的试验总数。

测试系统100还可以包括通信系统140，其使得测试系统100能够与其他计算设备通信。例如，通信系统可以包括有线和/或无线连接(诸如发射器和接收器)，其使测试系统能够与其他计算设备通信。作为示例，通信系统可以使测试系统能够使用各种协议，所述协议包括短程通信协议，诸如蓝牙、蓝牙LE、互联网、万维网、内联网、虚拟专用网络、广域网、本地网络、使用对一个或多个公司专属的通信协议的专用网络、以太网、WiFi和HTTP，以及前述各种组合。可以通过能够向和从其他计算设备传输数据的任何设备(诸如调制解调器和无线接口)来促进这种通信。

如上所述，可以在具有自主驾驶模式的车辆内采用测试系统。图2是车辆200的示例框图，并且图3是车辆200的示例视图。在该示例中，车辆200是具有自主驾驶模式以及一个或多个另外的驾驶模式(诸如半自主或手动驾驶模式)的车辆。虽然本公开的某些方面结合特定类型的车辆特别有用，但是车辆可以是任何类型的车辆，包括但不限于小汽车、卡车、摩托车、公共汽车、娱乐车辆等。

转到图2，测试系统的计算设备110可以与车辆的一个或多个计算设备210通信。一个或多个计算设备210可以包括一个或多个处理器220、存储指令232和数据234的存储器230、以及通常存在于通用计算设备中的其他组件。这些处理器、存储器、指令和数据可以与处理器120、存储器130、指令132和数据134相同或类似地配置。

在一个方面，计算设备210可以是能够与车辆的各种组件通信以便以自主驾驶模式控制车辆的自主控制系统的部分。例如，返回到图1，计算设备210可以经由有线或无线连接与各种系统250、260、270通信。作为示例，这些系统可以对应于减速系统、加速系统、转向系统、用于确定车辆在两个或更多个位置之间遵循的路线的路由系统、以及用于规划轨迹的规划系统、定位系统、用于检测车辆环境中的对象的感知系统等，计算设备可以使用这些系统来以自主驾驶模式和半自主驾驶模式控制车辆200。

车辆200还可以包括远程监视系统280。该系统可以包括诸如视频相机、麦克风和扬声器的硬件特征，以及一个或多个计算设备和通信系统，其可以与计算设备110和通信系统140相同或类似地配置。硬件特征可以用于使得远程操作员能够“检查”测试驾驶员，以及使得能够实现在远程操作员和测试驾驶员之间的双向通信。

转向图3，作为示例，车辆200包括车顶(roof-top)壳体310、圆顶壳体312，其可以包括LIDAR传感器以及各种相机和雷达单元。另外，位于车辆200前端的壳体320和位于车辆的驾驶员侧和乘客侧的壳体330、332可以各自存放LIDAR传感器。例如，壳体330位于驾驶员车门360的前面。车辆100还包括用于也位于车辆200的顶部上的相机和/或雷达单元的壳体340、342。另外的雷达单元和相机(未示出)可以位于车辆200的前端和后端和/或沿着顶部或车顶壳体310的其他定位上。

计算设备210可以包括可以与通信系统140相同或类似的通信系统240。通信系统可以使得计算设备210能够与远离车辆的其他设备通信。以这种方式，可以将来自测试系统100的信息被发送给远程设备。这样，测试系统100可以能够直接地或间接地经由车辆的计算设备来与车辆的计算设备210以及各种远程计算设备(诸如，作为自主车辆服务的一部分的那些计算设备以及其他计算设备)通信。

图4和图5分别是示例系统400的示意图和功能图，该示例系统包括经由网络460连接的多个计算设备410、420、430、440和存储系统450。系统400还包括可以与车辆200相同或类似地配置的车辆200A、200B、200C、200D。尽管为了简单起见仅描绘了数个车辆和计算设备，但是典型的系统可以包括明显更多。

如图4所示，计算设备410、420、430、440中的每个可以包括一个或多个处理器、存储器、数据和指令。这样的处理器、存储器、数据和指令可以与计算设备110的一个或多个处理器120、存储器130、数据134和指令132类似地配置。

网络460和中间节点可以包括各种配置和协议，包括短程通信协议，例如蓝牙、蓝牙LE、互联网、万维网、内联网、虚拟专用网络、广域网、本地网络、使用对一个或多个公司专属的通信协议的专用网络、以太网、WiFi和HTTP，以及前述各种组合。同样，可以通过能够向和从其他计算设备传输数据的任何设备(诸如调制解调器和无线接口)来促进通信。

在一个示例中，一个或多个计算设备410可以包括具有多个计算设备的一个或多个服务器计算设备，例如负载均衡服务器场(load balanced server farm)，其与网络的不同节点交换信息，以用于从其他计算设备接收数据，处理数据和向其他计算设备发送数据的目的。例如，一个或多个计算设备410可以包括一个或多个服务器计算设备，其能够经由网络460与车辆200的计算设备210或其他车辆的类似计算设备以及计算设备420、430、440通信。例如，车辆200A、200B、200C、200D中的每个可以对应于车辆200，并且可以是可以由服务器计算设备410派遣到各个位置的自主车辆服务的车队的一部分。在这方面，服务器计算设备410可以(结合存储系统450)用作自主车辆服务的派遣系统，其可以用于将诸如车辆200和车辆200A的车辆派遣到不同位置以便接起和放下乘客。另外，服务器计算设备410可以使用网络460向诸如人422、432、442的人发送信息并在显示器(诸如计算设备420、430、440的显示器424、434、444)上向诸如人422、432、442的人呈现信息。在这方面，计算设备420、430、440可以被视为客户端计算设备。

如图4所示，每个客户端计算设备420、430、440可以是意图由人422、432、442使用的个人计算设备，并且具有通常结合个人计算设备使用的所有组件，包括一个或多个处理器(例如，中央处理单元(CPU))、存储数据和指令的存储器(例如，RAM和内部硬盘)、诸如显示器424、434、444的显示器(例如，具有屏幕的监视器、触摸屏、投影仪、电视或可操作以显示信息的其他设备)、以及用户输入设备426、436、446(例如，鼠标、键盘、触摸屏或麦克风)。客户端计算设备还可以包括用于记录视频流的相机、扬声器、网络接口设备、以及用于将这些元件彼此连接的所有组件。

尽管客户端计算设备420、430和440可以各自包括全尺寸的个人计算设备，但是可替代地它们可以包括能够通过诸如互联网的网络与服务器无线地交换数据的移动计算设备。仅作为示例，客户端计算设备可以包括移动电话，或诸如无线启用的PDA、平板PC、可穿戴计算设备或系统、或能够经由互联网或者其他网络获得信息的上网本的设备。

客户端计算设备中的每个可以是管理员或远程协助操作员(例如，人422、432、444)使用的远程监视工作站，以提供测试车辆200A、200B、200C、200D的驾驶员的管家(concierge)服务或远程协助服务。例如，代表442可以使用远程监视工作站440以经由通过人们相应的客户端计算设备或车辆200A、200B、200C、200D与他们进行的电话呼叫或音频连接来进行通信，以便确保车辆100和车辆100A的安全操作和测试驾驶员的安全性，如下面进一步详细描述的。尽管在图4和图5中仅示出了数个远程监视工作站440，但是任何数量的这样的工作站可以被包括在典型的系统中。

与存储器130一样，存储系统450可以是能够存储由服务器计算设备410可访问的信息的任何类型的计算机化存储装置，诸如硬盘驱动器、存储卡、ROM、RAM、DVD、CD-ROM、可写和只读存储器。另外，存储系统450可以包括分布式存储系统，其中数据被存储在可以物理地位于相同或不同的地理位置处的多个不同的存储设备上。存储系统450可以如图3和图4所示地经由网络460连接到计算设备，和/或可以直接连接到或并入到任何计算设备410、420、430、440等中。

存储系统450可以被配置为存储各种信息。该信息可以包括车队的车辆的状态(服务旅程、乘客等)、当前位置和预期的未来位置。信息还可以包括与特定测试驾驶员相关联的数据。例如，存储系统中识别的每个测试驾驶员可以与下述各项相关联：一个或多个模型(或用于与所有测试驾驶员的通用模型一起使用的模型参数值)、反应时间、分数、PVT的日期和时间、轮班信息、来自远程监视系统的疲劳信息和/或自我报告的数据，以及附加信息，如下面进一步讨论的。

示例方法

除了以上描述和图中示出的操作之外，现在将描述各种操作。应当理解，以下操作不必以下面描述的精确顺序执行。反而，可以以不同的顺序或同时处理各种步骤，并且还可以添加或省略步骤。

如上所述，为了解决与假正例(或者确切地，实际上不应被视为失败的失败)相关的上述缺点，此处描述的特征可以降低由于将移动时间计数作为响应时间以及创建个性化通过/失败标准(所述标准考虑由于使个体之间的基线性能区分开而引起的错误)而引起的错误。例如，不是简单地监视按钮或屏幕的按压，而是测试的每个试验可以被配置为手指抬起。例如，如果进行测试的人保持其手指离开有时为1英寸且有时为3英寸，则移动时间的变化将被计数为反应时间的变度，即使在这两种情况下，人可能已经开始同样快速地反应。在这方面，测试的每个试验可以从人的手指放置、搁置或以其他方式位于触摸屏或其他触摸敏感设备上开始。因此，每个试验的初始条件可能是相同的或几乎相同的，因为在所有测试和所有要测试的人中，移动距离保持恒定。换句话说，除了进行测试的人的特性之外，每个试验或跨越许多测试的情况之间的变化几乎不存在。另外，这种布置对于某些人而言也可能是较小肌肉强度的，因为搁置时抬起手指会比将手指保持在输入设备之上以供测试更容易。换句话说，人可以专注于等待刺激，而不是将他或她的手指保持在触摸屏之上的特定位置处。

人或确切地，测试驾驶员，可以在不同轮班期间的一天中的不同时间(例如，期间预期测试驾驶员监视车辆以自主驾驶模式驾驶的时间段，其还可以在这样的时段中包括一个或多个休息)进行多个测试(PVT)。测试系统100可以将反应时间发送给诸如服务器计算设备410的远程服务器计算设备。该数据可以例如存储在存储系统450中。

图6是用于施用对于负有监视以自主驾驶模式操作车辆的任务的人的精神运动警觉性测试的示例流程图600，其可以由一个或多个计算设备的一个或多个处理器(诸如测试系统100的计算设备110的处理器120)执行。在框610，当人将手指搁置在触摸敏感显示器上时，在显示器上提供用于显示的视觉刺激。在框620，基于来自触摸敏感显示器的反馈，确定从显示器移开手指的时间点。在框630，测量在提供视觉刺激的时间与该时间点之间的、用于人从显示器移开手指的时间量。在框640，将时间量提供给远程计算系统，以便在人负有监视车辆的任务时确定疲劳事件的可能性。每个刺激和时间量对应于单一试验，并且其中，该测试包括多个试验。另外，测试还可以包括在提供视觉刺激之前，向人提供将手指放置在显示器上的指令。

在一些情况下，可以由服务器计算设备410和/或计算设备110对来自单一PVT的多个试验评分，并且之后将其发送给服务器计算设备410。分数还可以存储在存储系统450中。

可以基于响应时间来确定评分。在一个示例中，如果阈值时间量为300毫秒，并且反应时间小于3550毫秒，则可以认为测试驾驶员已经通过。如果响应时间大于355毫秒，则可以认为测试驾驶员失败或他或她的注意力走神(lapse)。作为另一个示例，如果测试驾驶员的响应时间在显示或播放试验的刺激的100毫秒内或在显示或播放试验的刺激之前被测量，则也可以认为测试驾驶员失败或者已经走神。在这方面，100毫秒也可以识别假响应时间，因为100ms对应于人类神经系统的传输限制。在假响应时间或“假开始”盛行的情形下，可以忽视并再次施用测试，或者试验可以简单地被识别为失败。可以确定代表乘客对测试的通过率或失败率的、通过或失败的试验的数量与测试中的试验总量的比率。因此，该比率可以在0到1的标度上提供分数。也可以使用其他评分方法。

该信息可以与其他信号组合。例如，远程监视系统280可以用于确定测试驾驶员的疲劳。例如，如上所述，远程监视系统280可以包括一个或多个视频或静止相机，其提供远程协助操作员(诸如人422、432、442)以在测试驾驶员正监视诸如车辆200的车辆时对他或她“检查”。例如，远程协助操作员可以识别诸如测试驾驶员“打瞌睡”，慢慢闭上他或她的眼睛，没有用他或她的眼睛监视道路等的信号。该相同视频或相机数据也可以由自动化系统(例如车载监视系统)使用以寻找类似的信号。作为另一个示例，测试系统可以包括测试驾驶员在相同或不同的评估标度上自我报告他或她的疲劳状态的选项，诸如录入在0到1、0到10、0至100等的标度上的值。该疲劳信息也可以存储在存储系统450中。作为其他信号的又一示例，复位时间(TTR)的模式也可能导致疲劳。换句话说，在每个任务之前驾驶员将他或她的手指放回显示器上所花费的时间可能随时间增加。因此，由于处于警惕性的走神，疲劳可以产生更长的TTR。

来自特定测试驾驶员的PVT以及其他信号的结果可以用于训练模型以确定该特定测试驾驶员的参数值。可替代地，可以针对类似处境的测试驾驶员，而不是针对特定的测试驾驶员，来训练模型。例如，其基线PVT性能(即分数)与其他驾驶员非常相似的驾驶员可以分群组到一起，并且来自这些驾驶员的PVT以及其他信号的结果可以用于训练模型。在这方面，模型可以产生有效专门检测该群组的疲劳的一组参数。该模型可以是回归模型、神经网络、随机林或任何其他预测模型，其可以产生一标度上的数值预测。该模型可以由一个或多个服务器计算设备(诸如服务器计算设备410)训练。

图7是针对特定测试驾驶员训练710的示例表示，但是类似的方法可以用于针对类似处境的测试驾驶员训练模型。针对特定测试驾驶员的PVT数据可以用作训练输入720。PVT数据可以包括相对于执行一系列PVT的特定测试驾驶员的轮班的时间点和时间、日期，以及响应时间和/或分数两者。

来自远程监视系统的数据和/或针对该特定测试驾驶员的自我报告的数据可以用于确定一组PVT是否对应于疲劳事件(例如，停止集中注意力或者甚至入睡)。例如，PVT数据可以与两个群组的其他信号关连(correlated)(例如，手动地)：对应于羞愧轮班期间的后来的疲劳事件的那些信号，和不对应于羞愧轮班期间的后来的疲劳事件的那些信号。这些确定(疲劳事件或非疲劳事件)可以用作训练输出730。训练可以产生对预测特定测试驾驶员的疲劳事件有用的模型的参数值。

可替代地，模型可以是统计模型，其将PVT数据与特定测试驾驶员的疲劳事件的可能性相关。当针对特定测试驾驶员没有大量训练数据时，这可能是最有用的。

可以训练模型，使得输入的新的PVT数据和关于他或她的轮班的时间点将提供测试驾驶员的当前和/或未来疲劳状态的估计。例如，通过紧接在轮班开始之前或刚好在轮班开始之后查看反应时间，该模型可能能够更好地预测测试驾驶员的未来疲劳(例如在轮班中的稍后)。在某些情况下，训练数据还可以包括附加信息，诸如测试驾驶员与他或她的昼夜节律相关的情况，自测试驾驶员的最后一次休息以来的时间(或对应于测试驾驶员不间断监视车辆所花费的持续时间的“任务时间”)，使得该信息也可以用作对模型的输入，以提供对测试驾驶员的当前和/或未来疲劳状态的估计。该估计可以是值，例如，在0到1的标度上，该值代表测试驾驶员将有疲劳事件的概率(例如，停止集中注意力或者甚至入睡)。用于训练模型的PVT数据和其他信号越多，对测试驾驶员将有疲劳事件的概率的估计越准确。然后，该模型可以例如使用识别代码或其他信息与测试驾驶员相关联，并保存在存储系统450中以供后续检索。

图8是用于训练用于估计负有监视以自主驾驶模式操作的车辆的任务的人的疲劳事件的可能性的模型的示例流程图800，其可以由一个或多个服务器计算设备(诸如一个或多个服务器计算设备410)执行。在框810，访问来自在不同时间点处对人施用的多组精神运动警觉性测试的结果。结果包括该人的响应时间。在框820，基于结果确定每组测试的分数。在框830，访问来自远程监视系统(或车载监测系统)的、识别在不同时间处人的疲劳量的估计的信息。在框840，确定该信息是否指示该人经历了一个或多个疲劳事件。在框850，使用确定的分数以及该信息是否指示该人经历了一个或多个疲劳事件的确定来训练对于该人个性化的模型，使得当来自一组测试的数据被输入到模型中时。如上所述，训练可以提供针对该人的模型的参数值。当使用参数值时，模型可以输出指示该人经历疲劳事件的可能性的值。

测试系统何时以及多久一次施用测试可以取决于情形而变化。例如，当车辆停止时、诸如在测试驾驶员的轮班开始或结束时、紧接在测试驾驶员休息之前或之后等可以启动测试。另外，可以在夜班比日班更频繁地执行测试。为了施用测试，当发生这种情形时，车辆的计算设备可以向测试系统发送信号。施用测试的速率可以在轮班开始或轮班快要结束时更高。在这方面，服务器计算设备可以访问关于每个测试驾驶员负有监视的任务的车辆的信息、以及关于每个测试驾驶员轮班的开始和结束的信息。在其他情况下，上述其他信号，诸如远程协助操作员或自动化监视系统，可以确定测试驾驶员正在经历或可能经历疲劳事件。远程协助操作员或远程监视系统可能导致信号发送给测试系统以施用测试。

测试系统可以通过施用一组试验并如上所述评价测试驾驶员对于那些试验的响应时间来测试测试驾驶员。针对测试的试验的响应时间以及日期和时间信息，关于测试驾驶员轮班的相对点的轮班信息，以及上面讨论的任何附加信息(如果可用的话)然后可以被发送给远程服务器计算设备并由远程服务器计算设备接收。

然后，远程服务器计算设备可以使用反应时间来确定对于测试的该组试验中的每个试验驾驶员是通过还是失败。在这种情况下，失败(如上所述)可以指示测试驾驶员不足够机敏以胜任监视自主车辆。服务器计算设备还可以确定该组的试验的分数。为了这样做，如上所述，远程服务器计算设备可以将反应时间与阈值时间量进行比较并确定比率。

可以识别与特定测试驾驶员相关联的模型，如上所述，其是使用来自对该测试驾驶员施用的先前测试的数据以及如上所述的其他信号来训练的。对于该组PVT中的每个PVT测试驾驶员是通过还是失败的确定的结果，或可替代地响应时间输入模型中，以便确定代表疲劳事件的可能性的值。换句话说，比率以及日期和时间信息、轮班信息和任何附加信息可以输入到针对该特定测试驾驶员的模型中，以便如上所指示的那样通过提供值来评估该特定测试驾驶员是否可能有疲劳事件。服务器计算设备410处分析数据可以提供快速改变逻辑、阈值等的灵活性，并且还允许远程协助操作员、服务器计算设备或其他来要求给定的测试驾驶员尽快(例如，在下一次休息)进行另一测试。另外，该模型可以对在服务器计算设备410(或存储系统450)处聚合的、近期的数据敏感。例如，如果来自远程监视系统280的最近期的数据也建议疲劳，则相同的测试性能级别(例如，分数)可能导致有疲劳事件的更高概率。

为了确定并启动干预响应，然后可以由服务器计算设备410将该值与阈值或多个阈值进行比较，以确定是否采取干预响应以及采取什么类型的干预响应。可以取决于PVT系统所期望的精度和召回值来手动调整(hand-tune)或选择阈值或多个阈值。换句话说，阈值可以较低(例如，较低值)以增加干预响应的量或大小，或可以较高(例如，较高值)以减小干预的量或大小。一旦识别出干预响应，服务器计算设备可以向车辆的计算设备、PVT系统和/或远程协助操作员发送信号以启动识别的干预响应。

可以采用各种不同类型的干预响应。例如，干预响应可以包括提供支持性选项，并且如果适用的话，包括任务重新分配。例如，可以向测试驾驶员提供另一个测试或另一组试验，测试驾驶员可以与能够如上所述地与测试驾驶员交互的远程协助操作员之一联系，或者甚至可以解除当前轮班的监视车辆的职责。在这方面，服务器计算设备410可以使用测试和模型，以自动确定测试驾驶员是否应当在轮班之前或者甚至在轮班期间被重新分配任务。在某些情况下，取决于测试驾驶员的整体测试性能，测试驾驶员可以自动或任意地被分配不那么安全关键(safety-critical)的任务，或者车辆甚至可以基于信号阻止测试驾驶员以手动驾驶模式控制车辆。例如，测试驾驶员还可以被分配与改进的机敏性相关联的任务，诸如具有更高参与性的任务或休息时段。在测试驾驶员具有一些疲劳指标但仍然低于如上所述的较低值阈值的情况下，可以添加另外的车载或远程监视以便如果发生疲劳事件，则改进疲劳检测。

还可以基于过去的性能和/或体力疲劳来调整针对特定测试驾驶员的评分(其可以用作对模型的输入)。例如，即使某些测试驾驶员累了，他们也可能具有更快的反射(reflexes)，而其他测试驾驶员可能由于体力疲劳而经历响应时间的下降。在这方面，这些测试驾驶员可以具有相同的反应时间，但是响应时间不同。因此，可以调整用于确定对于特定试验测试驾驶员是通过还是失败的阈值时间量。为了这样做，可以生成该测试驾驶员或类似处境的测试驾驶员(相同的一天中的时间、相同的轮班部分等)的反应时间如何随时间改变的模型。该模型可以是统计回归模型，其提供了将由于疲劳而引起的性能变度与由于其他因素而引起的变度分开的另一种方式。在另一个示例中，尽管PVT的每个试验的持续时间非常短(例如，仅抬起手指)，但它确实需要物理移动，其将随着时间、由于累积疲劳而引起的响应时间变化(即，测试驾驶员的手指的肌肉将变得疲劳，即使测试驾驶员还没)。因此，用于确定测试驾驶员对于试验是通过还是失败的阈值时间量可能根据模型的波动而随着时间增加。

另外，取决于触摸屏的朝向，测试可能更易于体力疲劳或较不易于体力疲劳。例如，如果触摸屏以直立定位朝向，则测试驾驶员可能更易于肌肉疲劳，因为他或她必须将他或她的手臂放在升高的定位。作为另一个示例，具有较长的可及范围(reach)的驾驶员可能比具有较短的可及范围的驾驶员更快发生体力疲劳，该驾驶员可能通过朝着触摸敏感显示器或用于施用试验的其他用户输入设备倾斜来补偿。这样，数据也可以被包括在模型中以确定阈值时间量。

类似地，由于对于惯用左手的人和惯用右手的人而言物理姿势不同，所以取决于测试驾驶员的主导手，变度可能不同。在这方面，可能有不同的模型以用于确定惯用左手的人与惯用右手的人的阈值时间量。同样，惯用左手的人或惯用右手的人的模型可以特定于该测试驾驶员、类似处境的测试驾驶员(相同的一天中的时间、相同的轮班部分等)、或所有测试驾驶员。

图9是用于在人负有监视以自主驾驶模式操作的车辆的任务时评估该人经历疲劳事件的可能性的示例流程图900，其可以由一个或多个服务器计算设备(诸如一个或多个服务器计算设备410)执行。例如，在框910，接收对人施用的精神运动警觉性测试的一组响应时间。该测试包括多个试验。在框920，确定对于该组试验中的每个试验该人是通过还是失败。在框930，识别与该人相关联的模型。该模型是使用来自对该人施用的先前的精神运动警觉性测试的数据来训练的。在框940，将对于该组试验中的每个试验该人是通过还是失败的确定的结果被输入到模型中，以便确定代表疲劳事件的可能性的值。在框950，基于该值启动干预响应。

本文描述的特征可以提供用于识别负有监视以自主驾驶模式操作的车辆的驾驶的任务的人的可能的疲劳事件的可靠且有效的系统。例如，因为模型是特定于特定人或类似处境的人来训练的，所以模型会更有可能识别异常情形。例如，如果特定人在最后三个月的一天中的特定时间具有平均分数0.8，不过有一次该同一人评分为0.7(其可以是对于该人的正常性能之外的一个或多个标准偏差(standard deviation))，则该模型仍然可以指示该人可能有疲劳事件，即使在更广泛的标准下分数0.7可以被认为是可接受的。此外，由于可以调节用于确定对于特定PVT该人是通过还是失败的阈值时间量以便适应特定人或类似处境的人，所以这可以进一步提高系统的有效性，降低了假正例。换句话说，可以以按照使得考虑个体变度(例如由于肌肉疲劳)的方式设置阈值时间量。

除非另外说明，否则前述替选示例不互相排斥，而是可以各种组合来实施，以实现独特优势。由于可在不脱离权利要求限定的主题内容的情况下利用上述特征的这些和其他变化以及组合，所以前面对实施例的描述应理解为权利要求限定的主题内容的说明而非限制。另外，提供此文所述示例以及措辞为“诸如”、“包括”等的子句不应被理解为将权利要求的主题内容限制于特定示例；反而，这些示例意在仅说明许多可能的实施例中的一种。此外，不同附图中的相同附图标记可识别相同或相似元素。

Claims (23)

1.一种评估人经历疲劳事件的可能性的方法，该人负有监视以自主驾驶模式操作的车辆的任务：

由一个或多个服务器计算设备接收针对对该人施用的精神运动警觉性测试的一组响应时间，所述测试包括多个试验；

由一个或多个服务器计算设备确定对于该组试验中的每个试验该人是通过还是失败；

由一个或多个服务器计算设备识别与该人相关联的模型，所述模型是使用来自对该人施用的先前的精神运动警觉性测试的数据来训练的；

由一个或多个服务器计算设备将对于该组试验中的每个试验该人是通过还是失败的确定的结果输入到模型中，以确定代表疲劳事件的可能性的值；以及

由一个或多个服务器计算设备基于所述值启动干预响应。

2.如权利要求1所述的方法，还包括通过将所述值与一个或多个阈值进行比较来确定干预响应。

3.如权利要求1所述的方法，还包括基于对于该组试验中的每个试验该人是通过还是失败的确定来确定测试的分数，其中，所述结果包括所述分数。

4.如权利要求3所述的方法，其中，所述分数代表该人的通过率或失败率。

5.如权利要求1所述的方法，还包括将该组试验的日期和时间信息输入到模型中，以确定所述值。

6.如权利要求1所述的方法，还包括将关于测试的人的用于监视车辆的轮班的相对时间点的轮班信息输入到模型中，以确定所述值。

7.如权利要求1所述的方法，还包括：将自测试的人的最后一次休息以来的时间量输入到模型中，以确定所述值。

8.如权利要求1所述的方法，还包括将测试的、识别人与他或她的昼夜节律相关的情况的信息输入到模型中，以确定所述值。

9.如权利要求1所述的方法，还包括基于该人是惯用左手还是惯用右手确定阈值时间量，并且其中，确定对于该组试验中的每个试验该人是通过还是失败是基于所述阈值时间量的。

10.如权利要求1所述的方法，还包括：使用响应时间如何随时间改变而使肌肉疲劳的模型来确定阈值时间量，并且其中，确定对于该组试验中的每个试验该人是通过还是失败是基于所述阈值时间量的。

11.如权利要求1所述的方法，还包括：使用针对该人响应时间如何随时间改变的模型来确定阈值时间量，并且其中，确定对于该组试验中的每个试验该人是通过还是失败是基于所述阈值时间量的。

12.如权利要求1所述的方法，还包括：使用针对类似处境的人响应时间如何随时间改变的模型来确定阈值时间量，并且其中，确定对于该组试验中的每个试验该人是通过还是失败是基于所述阈值时间量的。

13.如权利要求1所述的方法，还包括：确定阈值时间量是基于用于施用该组试验的用户输入设备的朝向的，并且其中，确定对于该组试验中的每个试验该人是通过还是失败是基于所述阈值时间量的。

14.如权利要求1所述的方法，还包括：确定阈值时间量是基于用于施用该组试验的用户输入设备的朝向的，并且其中，确定对于该组试验中的每个试验该人是通过还是失败是基于所述阈值时间量的。

15.如权利要求1所述的方法，还包括：一旦识别出干预响应，将一个或多个信号发送给车辆的计算设备、施用测试的PVT系统、以及远程协助操作员的计算设备中的一个或多个，以启动识别的干预响应。

16.如权利要求15所述的方法，其中，所述信号包括用于测试系统施用第二测试的指令。

17.如权利要求16所述的方法，其中，所述信号包括用于车辆停止以自主驾驶模式操作的指令。

18.如权利要求17所述的方法，其中，所述信号包括用于车辆阻止人以手动驾驶模式操作车辆的指令。

19.如权利要求16所述的方法，其中，所述信号使得该人能够与远程协助操作员通信。

20.一种训练用于估计人的疲劳事件的可能性的模型的方法，该人负有监视以自主驾驶模式操作的车辆的任务，所述方法包括：

由一个或多个服务器计算设备访问来自在不同时间点处施用给人的多组精神运动警觉性测试的结果，所述结果包括该人的响应时间；

由一个或多个服务器计算设备基于所述结果来确定每组测试的分数；

由一个或多个服务器计算设备访问来自远程监视系统的、识别在不同时间处的人的疲劳量的估计的信息；

由一个或多个服务器计算设备确定所述信息是否指示该人经历了一个或多个疲劳事件；以及

由一个或多个服务器计算设备使用所确定的分数和所述信息是否指示该人经历了一个或多个疲劳事件的确定来训练对于该人个性化的模型，使得当来自一组测试的数据被输入到模型中时，模型输出指示人经历疲劳事件的可能性的值。

21.一种对人施用精神运动警觉性测试的方法，该人负有监视以自主驾驶模式操作的车辆的任务，所述方法包括：

当人将手指搁置在触摸敏感显示器上时，由一个或多个处理器在显示器上提供视觉刺激以向该人显示；

由一个或多个处理器基于来自触摸敏感显示器的反馈来确定手指从显示器移开的时间点；

由一个或多个处理器测量在提供视觉刺激的时间与所述时间点之间的、用于该人从显示器移开手指的时间量；以及

由一个或多个处理器将所述时间量发送给远程计算系统，以在该人负有监视车辆的任务时确定疲劳事件的可能性。

22.如权利要求21所述的方法，其中，每个刺激和时间量对应于单一试验，并且其中，所述测试包括多个试验。

23.如权利要求21所述的方法，还包括：在提供视觉刺激之前，由一个或多个处理器经由显示器向该人提供将手指放置在显示器上的指令。

Images