CN110461679B

CN110461679B - 确保车辆中乘员意识

Info

Publication number: CN110461679B
Application number: CN201880020794.4A
Authority: CN
Inventors: Z·阿斯加尔; R·B·托沃
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2017-03-29
Filing date: 2018-01-29
Publication date: 2020-10-23
Anticipated expiration: 2038-01-29
Also published as: WO2018182841A3; TW201836888A; CN110461679A; WO2018182841A2; US10365647B2; US20180284764A1

Abstract

本发明涉及一种确保车辆中乘员意识的方法和装置，确切地说涉及驾驶员意识。其检查事件是否会改变车辆的操作特性，并确定在预期事件的估计发生之前剩余的时间范围。通知乘员/驾驶员的程序是基于在所述预期事件的所述估计发生之前剩余的经确定时间范围确定的，并随后被执行。本发明尤其意图向驾驶员提供及时警告以在从自主驾驶切换为手动驾驶时接替驾驶任务。

Description

确保车辆中乘员意识

技术领域

本公开涉及车辆，且确切地说涉及恢复车辆中的乘员意识。

背景技术

车辆的自主程度日益变得更高。也就是说，车辆正开始执行在没有任何乘员交互的情况下乘员通常将执行的任务。车辆的自主层级已通过通常指示未自动化的层级零直到层级四或五来界定，层级四或五可指个人仅需要指定完全自主车辆将驶往的目的地的完全自主车辆。

当前，大多数制造车辆落在层级零与层级五之间。中间层级(例如，层级二到三)自主车辆在使用自适应巡航控制、提供车道监视并执行自动化碰撞避免(通常通过应用刹车)等操作车辆时可执行通常由乘员执行的一些任务。

在中间层级自主车辆中且甚至在完全自主(例如，层级四或五)车辆中，当车辆并未经装备以处置的问题发生时，自主车辆可将车辆的控制转变回到乘员。乘员可接着操作车辆，直到问题已被克服。

发明内容

一般来说，本公开描述用于进行以下操作的技术：恢复自主车辆中的乘员意识，使得例如当车辆未经装备以处置的问题发生时，乘员可恢复执行车辆的操作。

在一个实例中，本公开描述一种提供信息以确保车辆中的乘员意识的方法，所述方法包括：通过一或多个处理器确定将改变车辆的操作特性的预期的事件，及通过一或多个处理器确定在预期事件的估计发生之前剩余的时间范围。所述方法还包括通过一或多个处理器基于在预期事件的估计发生之前剩余的经确定时间范围而选择将车辆的操作情形通知乘员所借以的多个程序中的程序，及通过一或多个处理器执行将车辆的操作情形通知乘员所借以的程序。

在一个实例中，本公开描述一种经配置以提供信息以确保车辆中的乘员意识的装置，所述装置包括：一或多个处理器，其经配置以确定将改变车辆的操作特性的预期的事件，及确定在预期事件的估计发生之前剩余的时间范围。所述一或多个处理器经进一步配置以基于在预期事件的估计发生之前剩余的经确定时间范围而确定将车辆的操作情形通知乘员所借以的程序，并执行将车辆的操作情形通知乘员所借以的所述程序。所述装置还可包含经配置以存储所述程序的存储器。

在一个实例中，本公开描述一种经配置以提供信息以确保车辆中的乘员意识的装置，所述装置包括：用于确定将改变车辆的操作特性的预期的事件的装置，及用于确定在预期事件的估计发生之前剩余的时间范围的装置。所述装置进一步包括用于基于在预期事件的估计发生之前剩余的经确定时间范围而确定将车辆的操作情形通知乘员所借以的程序的装置，及用于执行将车辆的操作情形通知乘员所借以的所述程序的装置。

在一个实例中，本公开描述一种其上存储有指令的非暂时性计算机可读存储媒体，所述指令当经执行时使得一或多个处理器确定将改变车辆的操作特性的预期的事件，确定在预期事件的估计发生之前剩余的时间范围，基于在预期事件的估计发生之前剩余的经确定时间范围而确定将车辆的操作情形通知乘员所借以的程序，及执行将车辆的操作情形通知乘员所借以的所述程序。

在以下随附图式及描述中阐述一或多个实例的细节。其它特征、目标及优势从描述、图式及权利要求书将为显而易见的。

附图说明

图1为说明经配置以执行本公开中所描述的乘员意识技术的各种方面的实例自主车辆的框图。

图2为更详细地说明图1的车辆的各种方面的框图。

图3为说明根据本公开中描述的技术的各种方面的通过图2中展示的程序选择单元在选择确保图1的车辆的操作情形的乘员意识所借以的程序中的实例操作的图。

图4为说明经配置以执行本公开中所描述的技术的各种方面的头戴式显示系统的实例的图。

图5A和5B为展示根据本公开中所描述的技术的各种方面应用的具有不同强调层级的实例前视野的图。

图6为说明图1的车辆在执行本公开中所描述的技术的各种方面中的实例操作的流程图。

图7为说明图1的车辆在执行本公开中所描述的技术的各种方面中的实例操作的另一流程图。

具体实施方式

由于自主车辆的乘员变得更少参与车辆的操作，因此乘员可能变得分心及/或掉以轻心，从而不花费比必要时间多的时间在驾驶任务上。然而，自主车辆可将车辆的控制转移到乘员。举例来说，当自主车辆并未经装备以处置的问题发生时，自主车辆可将车辆的控制转移到乘员。取得控制权的乘员可被称为“主乘员”，这是因为此乘员例如在自主车辆可能不再安全地自主控制车辆时主要负责取得控制权。

例如当用以提供自动化的装备归因于天气、故障等等而失效时，将自主车辆的控制转变到主乘员可突然发生。控制到可能分心的主乘员的突然转变可能并未向主乘员提供重新获得安全地操作车辆的足够情形的时间。

当车辆已使驾驶的某方面自动化时，本公开中阐述的技术的各种方面可促进恢复自主车辆中的乘员意识。技术可通过提供信息到乘员确保(或在一些情况下，恢复)乘员意识，以使得主乘员及可能其它乘员可监视主乘员应突然(例如在几分钟或在一些情况下几秒内)控制车辆的当前驾驶情形。此驾驶情形可允许主乘员在接收到突然控制之后更安全地操作车辆。

在一些实例中，技术的各种方面可基于各种准则而适合乘员意识的恢复。举例来说，技术可基于自主车辆的控制的转变(或换句话说，交递)的时间、乘员的当前状态或触发交递事件的条件，或交递的时间、乘员的状态及触发交递事件的条件的类型的任何组合而恢复乘员意识。

图1为说明经配置以执行本公开中所描述的乘员意识技术的各种方面的实例自主车辆10的组件的框图。在图1的实例中，自主车辆10可表示经配置以使与车辆10的操作相关联的一或多个任务自动化的车辆，包含使与车辆10的操作相关联的大部分任务(如果非全部任务)自动化，使得乘员不必在大部分条件下保持车辆10正在操作的情形的意识。

自主车辆10在以下描述中假设为汽车。然而，描述于本公开中的技术可应用于能够运送一或多个乘员并自主地操作的任何类型的车辆，例如机车、公共汽车、休旅车(RV)、半挂车卡车、牵引车或其它类型的农场装备、火车、飞机、直升机、无人机、个人运输车辆等等。

在图1的实例中，自主车辆10包含处理器12、图形处理单元(GPU)14，及系统存储器16。在一些实例中，处理器12及GPU 14可形成为集成电路(IC)。举例来说，IC可被认为是芯片封装内的处理芯片，且可为系统单芯片(SoC)。

处理器12及GPU 14的实例可包含固定功能处理电路及/或可编程处理电路，且可包含(但不限于)一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、场可编程逻辑阵列(FPGA)，或其它等效集成式或离散逻辑电路。处理器12可为自主车辆10的中央处理单元(CPU)。在一些实例中，GPU 14可为包含集成式及/或离散逻辑电路的专用硬件，所述集成式及/或离散逻辑电路向GPU 14提供适合于图形处理的大规模并行处理能力。在一些情况下，GPU 14还可包含通用处理能力，且在实施通用处理任务(即，非图形相关任务)时可被称作通用GPU(GPGPU)。

处理器12可执行各种类型的应用程序。应用程序的实例包含导航应用程序、车辆控制应用程序、调度应用程序、安全应用程序、网页浏览器、电子邮件应用程序、电子数据表、视频游戏，或产生可查看对象以供显示的其它应用程序。系统存储器16可存储指令以供一或多个应用程序执行。应用程序于处理器12上的执行使得处理器12产生针对待显示的图像内容的图形数据。处理器12可将图像内容的图形数据传输到GPU 14以基于处理器12传输到GPU 14的指令或命令而进一步处理。

处理器12可根据特定应用程序处理接口(API)与GPU 14通信。此类API的实例包含

的

Khronos集团的

或OpenGL

以及OpenCL^TM；然而，本公开的方面不限于DirectX、OpenGL或OpenCL API，且可扩展到其它类型的API。此外，本公开中描述的技术并不被要求以根据API起作用，且处理器12及GPU 14可利用用于通信的任何技术。

系统存储器16可为车辆10的存储器。系统存储器16可包括一或多个计算机可读存储媒体。系统存储器16的实例包含(但不限于)随机存取存储器(RAM)、电可擦除可编程只读存储器(EEPROM)、闪存器，或可用以携载或存储呈指令及/或数据结构的形式的所要程序代码并可由计算机或处理器存取的其它媒体。

在一些方面中，系统存储器16可包含使处理器12执行在本公开中归于处理器12的功能的各种方面的指令。因此，系统存储器16可为其上存储有指令的计算机可读存储媒体，所述指令当经执行时使得一或多个处理器(例如处理器12)执行各种功能。

系统存储器16为非暂时性存储媒体。术语“非暂时性”指示存储媒体并不以载波或传播信号体现。然而，术语“非暂时性”不应解释成意谓系统存储器16为非可移动或其内容为静态。作为一个实例，可从自主车辆10去除系统存储器16，并将其移动到另一装置。作为另一实例，可将大体上类似于系统存储器16的存储器插入到自主车辆10中。在某些实例中，非暂时性存储媒体可存储可随着时间推移改变的数据(例如在RAM中)。

如图1的实例中进一步展示，自主车辆10可包含显示器20及用户接口22。显示器20可表示图像可投影于上面的任何类型的被动反射屏幕，或能够投影图像的主动反射、发射或透射式显示器(例如，发光二极管(LED)显示器、有机LED(OLED)显示器、液晶显示器(LCD)或任何其它类型的主动显示器)。尽管展示为包含单个显示器20，但自主车辆10可包含可遍及自主车辆10的座舱定位的多个显示器。在一些实例中，被动型式的显示器20或某些类型的主动型式显示器20(例如，OLED显示器)可集成于座椅、工作台、车顶衬里、底板、窗户中(或在无窗或具有很少窗户、壁情况下集成于车辆中)或自主车辆的座舱的其它方面中。当显示器20表示被动显示器时，显示器20还可包含投影仪或能够将图像投影或以其它方式重新产生于被动显示器20上的其它图像投影装置。

显示器20还可表示与自主车辆10有线或无线通信的显示器。显示器20可例如表示计算装置，例如笔记本电脑、抬头显示器、头戴式显示器、增强现实计算装置或显示器(例如，“智能眼镜”)、虚拟现实计算装置或显示器、移动电话(包含所谓的“智能手机”)、平板计算机、游戏系统，或能够充当集成于自主车辆10中的显示器的扩展或替代集成于所述自主车辆中的显示器的另一类型的计算装置。

用户接口22可表示用户可介接以控制自主车辆10的各种功能性的任何类型的物理或虚拟接口。用户接口22可包含物理按钮、旋钮、滑动块或其它物理控制实施。用户接口22还可包含虚拟接口，借此自主车辆10的乘员作为一个实例经由触敏式屏幕或经由无触碰接口与虚拟按钮、旋钮、滑动块或其它虚拟接口元件交互。乘员可与用户接口22介接以控制以下各者中的一或多者：自主车辆10内的气温、自主车辆10的音乐播放、自主车辆10的视频播放、经由自主车辆10的传输(例如，蜂窝式电话呼叫、视频会议呼叫及/或网页会议呼叫)，或能够由自主车辆10执行的任何其它操作。

用户接口22还可表示在充当集成于自主车辆10中的显示器的扩展或替代所述显示器时扩展到显示器20的接口。也就是说，用户接口22可包含经由以上提及的HUD、增强现实计算装置、虚拟现实计算装置或显示器、平板计算机或上文列出的不同类型的扩展显示器中的任何其它者呈现的虚拟接口。

在自主车辆10的情形下，用户接口22可进一步表示用于手动或半手动地控制自主车辆10的物理元件。举例来说，用户接口22可包含用于控制自主车辆10的行进方向的一或多个方向盘、用于控制自主车辆10的行进速率的一或多个踏板、一或多个手刹等。

自主车辆10可进一步包含自主控制系统24，其表示经配置以自主地操作车辆10的一或多个方面而不需要自主车辆10的乘员干预的系统。自主控制系统24可包含各种传感器及单元，例如全球定位系统(GPS)单元、一或多个加速度计单元、一或多个陀螺仪单元、一或多个罗盘单元、一或多个雷达单元、一或多个激光雷达(其指光检测及测距)单元、一或多个摄影机、用于测量车辆10的各种方面的一或多个传感器(例如方向盘扭矩传感器、方向盘抓握传感器、一或多个踏板传感器、轮胎传感器、胎压传感器)，及可辅助车辆10的自主操作的任何其它类型的传感器或单元。

在这方面，自主控制系统24可控制车辆10的操作，从而允许乘员参与同车辆10的操作不相关的任务。随着自主车辆10的乘员变得更少参与车辆10的操作，乘员可能变得分心及/或掉以轻心，从而不再花费比必要时间多的时间在驾驶任务上。然而，当自主车辆10并未经装备以处置的问题发生时，自主车辆10可将车辆10的控制转移到乘员。取得控制权的乘员可被称为“主乘员”，这是因为此乘员在自主车辆10可能不再安全地自主控制车辆10时主要负责取得控制权。

例如当由自主控制系统24使用的装备归因于天气、故障等等失效时，将自主车辆10的控制转变到主乘员可突然发生。控制到可能分心的主乘员的突然转变可能并未向主乘员提供重新获得安全地操作车辆10的足够情形的时间。

转移控制可指将控制的职责返回到乘员，使得乘员指导车辆10的操作(例如，使用方向盘、踏板及传统车辆中的其它实施；或使用各种非传统接口，例如允许加速、制动及操纵的虚拟接口)。转移控制取决于环境还可为仅控制的部分转移。举例来说，允许确定行进速率的传感器可能失效，但用于操纵及导航的所有其它自主控制系统可以是可操作的。在此实例中，车辆10可转移加速及制动的控制但保持操纵及导航的控制。因而，当一或多个自主执行的操作的职责被转移到乘员时，车辆10可转移车辆10的操作的控制。

根据在本公开中描述的技术的各种方面，自主车辆10可通过(作为一个实例)提供信息而确保乘员意识，以使得主乘员及可能其它乘员可监视主乘员应突然控制车辆10的当前驾驶情形。此类驾驶情形可在将控制从自主控制系统24转移到主乘员后允许主乘员更安全地操作车辆。

在操作中，处理器12可确定车辆的主乘员将被告知的事件。在自主车辆10能够控制车辆10的操作的情形下，处理器12可在自主控制系统24当前自主地控制车辆10的操作时确定自主控制系统24不能继续自主地控制车辆10的操作。当自主控制系统24确定车辆10的自主控制不再可行时(例如，假定一或多个传感器失效、恶劣天气发生，或可妨碍由自主控制系统24成功操作车辆10的某一其它因数)，自主控制系统24可向处理器12指示预期事件即将发生，其中此预期事件可包含将改变操作特性的某一事件(例如，是自主控制系统24还是乘员负责控制车辆10)。作为一个实例，预期事件可包含将车辆10的操作的控制转移到主乘员。控制事件的转移还可被称作“交递事件”，其中控制从自主控制系统24转移到主乘员可被称为“交递”。

自主控制系统24可在发信交递事件之前确定在预期交递事件之前剩余的时间范围。自主控制系统24可基于任何数目个因数确定时间范围，所述因数包含以下各者中的一或多者：在传感器失效影响车辆10的自主控制之前的预测时间、在恶劣天气被预测将开始可能影响操作特性(即，在此实例中车辆10的自主控制)之前的时间，等。当发信交递事件时，自主控制系统24还可向处理器12指示在预期交递事件的估计发生之前剩余的时间范围。以此方式，处理器12可确定在预期交递事件的估计发生之前剩余的时间范围。

处理器12接下来可基于在直到交递事件之前剩余的经确定时间范围确定恢复车辆10的操作情形的意识所借以的程序。换句话说，处理器12可基于在预期交递事件的估计发生之前剩余的经确定时间范围确定将车辆10的操作情形通知乘员所借以的程序。处理器12还可基于额外因数确定恢复车辆10的操作情形的意识所借以的程序。举例来说，处理器12还可确定主乘员是否能够当在预期交递事件之前剩余的时间范围时控制车辆10。作为另一实例，处理器12可确定乘员的机警性的层级，及/或触发预期交递事件的条件。因而，处理器12可基于以下各者中的一或多者确定将操作情形通知乘员的程序：在预期交递事件之前剩余的经确定时间范围、主乘员是否将能够在预期交递事件的估计发生时控制车辆10、乘员的机警性的层级及/或触发预期交递事件的条件。

为了促进基于额外因数(例如，乘员是否将能够控制车辆10，及乘员的意识的层级)确定乘员，车辆10可包含经配置以监视乘员的乘员跟踪单元26。乘员跟踪单元26可表示经配置以跟踪主乘员(及车辆10的可能其它乘员)以确定主乘员是否将能够控制车辆10的单元。

在确定主乘员是否将能够在预期交递事件的估计发生时控制车辆10时，乘员跟踪单元26可确定主乘员的意识的层级(或换句话说意识层级)。意识层级可指示车辆10的操作情形的主乘员的意识的层级。

意识层级还可称为或指示主乘员的状态。因而，意识层级可表示在确定主乘员总体状态中的一个因数。举例来说，处理器12可基于意识层级确定主乘员接管车辆的控制的能力。当主乘员归因于如经由指示聚焦方位的反复降低及头部低垂的眼睛跟踪确定的睡眠剥夺(作为一个实例)而丧失能力时，机警性层级可为在确定在交递事件经确定发生所在的时间主乘员不能接管车辆10的控制中的控制因数。

换句话说，处理器12可相对于阈值机警性层级确定主乘员的机警性层级。当机警性层级比阈值机警性层级低经确定数量(例如比阈值机警性层级低20％或更大)时，处理器12可确定主乘员不能在预期交递事件之前剩余的经确定时间范围内取得车辆10的控制权。然而，当机警性层级在阈值机警性层级的某容限内(例如在阈值机警性层级的20％内)时，处理器12可确定主乘员能够在预期交递事件之前恢复执行车辆10的控制。

关于主乘员是否能够在交递事件的估计发生之前恢复执行车辆10的控制的经确定容限可基于在预期交递事件之前剩余的时间范围而变化。也就是说，处理器12可确定当在预期交递事件的估计发生之前存在较少剩余时间时减少容限，且当预期交递事件的估计发生之前存在较多剩余时间时增加容限。因而，处理器12可基于在预期交递事件经确定发生之前剩余的时间范围、主乘员是否能够在预期交递事件的估计发生之前接管车辆10的控制，及主乘员是否经确定为足够机警(例如，经确定机警性层级在低于机警性阈值层级的容限内)之间的互相作用确定程序。

为确定意识层级，乘员跟踪单元26可包含摄影机或经配置以捕捉主乘员的一或多个图像的其它图像捕捉装置。乘员跟踪单元26可定位摄影机(例如，旋转摄影机到特定方位角及高度)以允许随着主乘员围绕车辆10的座舱移动而捕捉主乘员的图像。

使用摄影机，乘员跟踪单元26可执行关于描绘主乘员的图像的眼睛跟踪(其还可被称作“凝视跟踪”)中的一或多者。关于眼睛跟踪的更多信息可在以下各者中找到：Krafka等人的注明日期为2016年5月5日的题为“Eye Tracking for Everyone”的论文，及Kim等人的注明日期为1999年10月12日到15日的题为“Vision-Based Eye-Gaze Tracking forHuman Computer Interface”的论文。

大体来说，眼睛跟踪经由使用通过红外及/或近红外非准直光的投影产生的角膜反射跟踪光瞳的移动。因而，乘员跟踪单元26可包含红外及/或近红外光源以产生类似于通常被称为图像中的“红眼”的效应的明亮光瞳效应。乘员跟踪单元26通常可跟踪主乘员且接着在主乘员的面部或眼睛上放大以捕捉乘员的至少一只眼睛的图像，同时用红外及/或近红外光源照射眼睛。角膜反射的范围依据亮度在乘员的眼睛的图像中表示出。光瞳的在眼睛的图像中的亮度指示光瞳如何直接地聚焦于红外及/或近红外光源上，其中较高亮度指示更直接聚焦。根据光瞳的此亮度，乘员跟踪单元26可确定主乘员正凝视的方位。

尽管乘员跟踪单元26经描述为执行眼睛跟踪，但乘员跟踪单元26可仅仅执行上文所描述的眼睛跟踪的方面。举例来说，乘员跟踪单元26通常可跟踪主乘员，从而捕捉乘员的眼睛的图像，同时以便于产生角膜反射的方式导引红外及/或近红外光源。乘员跟踪单元26接下来可将乘员眼睛的图像提供到处理器12以用于确定意识层级。

假设乘员跟踪单元26确定机警性层级，乘员跟踪单元26可将所述经确定意识层级提供到处理器12。基于意识层级，处理器12可确定主乘员是否将能够在交递事件的估计发生时控制车辆10。

尽管描述为基于对主乘员的眼睛及/或头部的分析确定主乘员感知操作情形(在本公开中其还可被称作“驾驶情形”)所达到的范围，但处理器12可使确定基于额外信息，所述额外信息包含主要乘员检测到的心跳速率、主要乘员的经确定的疲劳(经由检测更频繁眨眼或经确定的聚焦位置的恒定降低的眼睛跟踪、检测呵欠的主要乘员图像等)或任何其它图像分析及/或传感器信号分析，包含评估主乘员的饮酒的分析等。

当指示在预期交递事件的估计发生之前剩余的时间范围时，自主控制系统24还可确定触发预期交递事件的条件。举例来说，自主控制系统24可依据是使用摄影机在视觉上还是经由非视觉传感器(例如道路感测传感器、轮胎传感器、天气传感器等等)检测到此条件来确定来源或条件。自主控制系统24可在指定在预期交递事件之前剩余的时间范围时、在提供在交递事件之前剩余的时间范围之后及/或之前提供经确定条件。处理器12可接收交递事件，且因而确定触发交递事件的条件。

处理器12可基于前述因数确定程序的任何组合，且执行经确定程序以将车辆10的操作情形通知主乘员(且借此潜在地增加主乘员的意识)。尽管关于图2和3更详细地描述，但作为一个实例，处理器12可确定其中当在预期交递事件的发生之前的时间范围在约数十秒的阈值内，主乘员已经确定能够控制车辆10，意识层级低于阈值意识层级但在意识容限内，且触发事件的条件为来自感测过度粗糙道路条件的传感器的非视觉时车辆10进入触觉协作驾驶模式的程序。

处理器12可与自主控制系统24介接以进入触觉协作驾驶模式，请求主乘员将他或她的手放置于方向盘上。在触觉协作驾驶模式期间，自主控制系统24可经由方向盘中的触觉反馈传达道路的粗糙度，同时还指示主乘员将操控方向盘到哪一侧以继续行进到指定目的地。

在这方面，当车辆已使驾驶的某方面自动化时，本公开中阐述的技术的各种方面可促进自主车辆中的乘员意识。技术可基于在预期事件的估计发生之前剩余的时间范围(及可能当预期交递事件发生时主乘员是否能够控制车辆10的确定，及/或主乘员的经确定意识层级)自适应地选择用以将操作情形通知乘员的程序。操作情形的恢复可允许主乘员在接收到控制之后更安全地操作车辆。

尽管描述为由处理器12执行，但描述于本公开中的技术的各种方面可由GPU 14或处理器12及GPU 14的组合来执行。因此，上文对处理器12的参考可理解为指一或多个处理器，其可包含处理器12、GPU 14、处理器12与GPU 14的组合或各种处理器的任何组合，其中一些可能未展示于图1的实例中。

此外，尽管描述为在具有车辆10的操作的自主控制能力的车辆10的情形下执行，但本公开中描述的技术可应用于任何类型的车辆而不管是否具有自主控制的能力。也就是说，无法自主地驾驶车辆的一级车辆可执行在本公开中描述的技术。因而，技术不应限制于自主车辆。

图2为更详细地说明图1的车辆10的各种方面的框图。在图2的实例中，自主控制系统24包含操作情形单元30。操作情形单元30可表示经配置以基于来自车载传感器(包含摄影机、轮胎传感器、道路条件传感器、天气传感器等)的输入及其它信息(例如经由局域网(LAN)(包含无线LAN、蜂窝式网络、车辆间网络或通信等等)接收的信息)评估操作情形的单元。

举例来说，操作情形单元30可接受来自车载传感器的输入及关于交通条件(例如识别不可预见地操作的车辆)、道路条件(例如识别车道封闭、坠落碎片等)及天气(例如识别或预测具有低可见度的恶劣天气)的其它信息。作为又其它实例，操作情形单元30可接受来自车载传感器的输入及关于车辆10(例如识别通信、系统及/或传感器失效)、乘员(例如识别关于主乘员的医疗紧急情况)及安全系统(例如识别可能撤离等)的其它信息。

操作情形单元30可基于来自车载传感器的输入及其它信息确定在交递事件之前剩余的时间范围(其中输入通常可指来自车载传感器的任何输入或来自其它源(例如上文所列的各种网络或通信)的信息)。操作情形单元30可将在预期交递事件的估计发生之前的时间范围作为剩余时间信息31提供到处理器12。操作情形单元30还可将触发交递事件的条件以及预期交递事件将发生的指示作为条件信息33提供到处理器12。

如图2的实例中进一步所展示，乘员跟踪单元26可包含表示经配置以确定主乘员的意识层级的单元的乘员意识单元34。乘员意识单元34可与跟踪或以其它方式监视主乘员的各种传感器(包含摄影机)介接。乘员意识单元34可接收来自眼睛及头部跟踪单元的眼睛及头部跟踪信息、来自心跳速率监视传感器的心跳速率信息、来自呼吸速率跟踪传感器的呼吸速率等等，且基于此信息确定主乘员当前正睡眠。

乘员意识单元34还可利用跟踪主乘员的历史数据来确定(作为一些实例)主乘员已睡眠的持续期间、当前睡眠周期(例如深度快速眼睛移动(REM)睡眠、预REM浅睡眠等)及主乘员的状态的其它方面(包含酒精性饮料的食用)以确定意识层级。乘员意识单元34可将经确定意识层级作为意识层级信息35提供到处理器12。

同样如图2的实例中所展示，处理器12可包含表示经配置以基于信息31、信息33及信息35选择用以将车辆10的当前操作情形通知主乘员的程序的单元的程序选择单元36。程序选择单元36可首先确定阈值机警性层级37(“TAL 37”)。在一些实例中，程序选择单元36可配置有不适应当前操作情形的静态TAL 37，且因此界定操作车辆10所要求的主乘员的最小意识层级。

在其它实例中，程序选择单元36可基于剩余时间信息31、条件信息33及/或其它信息(例如当日时间、当前天气条件、当前交通条件、车辆10正在上面操作的道路的类型等)自适应地确定TAL 37。举例来说，处理器12可确定在车辆10正在几乎没有交通的相对偏远道路上行进时的胎压监视传感器失效可并不需要高达在具有中到高交通层级的州际道路上的GPS传感器失效所需要的TAL 37。

程序选择单元36还可确定意识容限39(“AM 39”)。此外，在一些实例中，程序选择单元36可预先配置有AM 39，其中此静态AM 39可表示来自TAL 37的对于在交递事件的估计发生之前剩余的任何时间范围可接受的最大容限。对于较高静态AM 39，程序选择单元36可经配置以在比对于较低静态AM 39而配置的剩余时间范围更长的在交递事件的估计发生之前剩余的时间范围内执行默认程序(其可包含导航到道路的一侧并停止或在不导航到道路的一侧的情况下停止)。

换句话说，较高机警性容限可能需要更多时间来确保意识，此可导致程序选择单元36确定默认程序将在预期交递事件的时间在较高时间层级(例如，数十秒或分钟)处时被执行。对比来说，较低机警性容限可能需要更少时间来确保意识，此可导致程序选择单元36确定默认程序将在预期交递事件的时间在较低时间层级(例如，数秒而非数十秒，或数十秒而非数分钟)处时被执行。

在其它实例中，程序选择单元36可基于剩余时间信息31自适应地确定AM 39，当剩余时间信息31指示在预期交递事件的估计发生之前的更多时间时确定较高AM 39，及当剩余时间信息31指示在预期交递事件的估计发生之前的较少时间时确定较低AM39。在这方面，程序选择单元36可确定AM 39。程序选择单元36可在确定TAL 37及AM 39之后，执行用于如关于图3的实例更详细地概述的程序的选择的算法。

尽管图2的实例中未展示，但自主控制系统24还可包含表示经配置以向主乘员提示交递的单元的驾驶员准备单元。驾驶员准备单元可在通知主乘员准备交递时执行车辆10的操作的一或多个方面到主乘员的交递。

图3为说明根据本公开中描述的技术的各种方面的通过图2的程序选择单元36在选择用以将车辆10的操作情形通知乘员的程序时执行的实例操作的图。程序选择单元36可首先比较意识层级(“AL”，其可指由意识信息35界定的意识层级的另一方式)与TAL 37。当AL大于(或在一些实例中，大于或等于)TAL 37时，程序选择单元36可确定主乘员能够在预期交递事件发生的估计时间时控制车辆10，并在操作情形恢复后对操作车辆10充分机警，且继续基于条件信息33选择程序。

然而，当AL不大于(或在一些实例中，不大于或等于)TAL 37时，程序选择单元36可通过(作为一个实例)比较AL与TAL 37减去AM 39确定当预期交递事件发生时主乘员是否将能够控制车辆10。程序选择单元36可在AL大于TAL 37减去AM 39但小于TAL 37时确定当预期交递事件发生但对当前操作车辆10尚不足够机警时主乘员将能够控制车辆10。

当AL小于TAL 37但大于TAL 37减去AM 39时，程序选择单元36可发出音频警示、视频警示及/或触觉警示中的一或多者以试图提高主乘员的AL使得AL大于TAL 37。当AL小于TAL 37-AM 39时，程序选择单元36可确定主乘员不能够在预期交递事件发生所在的时间处控制车辆10。响应于确定主乘员不能够在预期交递事件发生所在的时间处控制车辆10，程序选择单元36可选择默认程序41A(“def proc 41A”)。

当AL小于TAL 37但大于TAL 37减去AM 39时且结合音频、视觉、及/或触觉警示或在发出音频、视觉、及/或触觉警示之后，程序选择单元36可确定如由剩余时间信息31指示的在预期交递事件的估计发生之前剩余的时间范围是否大于一秒数(如由阈值所界定)。当剩余时间范围不大于以秒级界定的某一阈值时，程序选择单元36可确定不存在充足时间来提高主乘员的AL并确定默认程序41A将被执行。

当剩余时间范围大于以秒级界定的阈值时，程序选择单元36可基于条件信息33选择程序41的类别(其可指确保乘员意识所借以的所有程序)。程序选择单元36可如借助于视频、音频及/或触觉程序41所更好地说明对各种条件分类。

可更好地适合于视频程序41的触发预期交递事件的条件包含检测到沿着与车辆10相同的道路，但并不按描述或由自主控制系统24的翻译系统所分析的方式行进的车辆的不稳定操作。可更好地适合于视频程序41的另一实例条件可包含其中自主控制系统24不能识别障碍周围的路线的情况，其中自主控制系统24可能够产生用于显示的突出显示障碍及可能路径的图像及/或视频。换句话说，自主控制系统24可识别其中触发交递事件的条件的视频或图像可用的条件，其中所述条件无法有效地从传感器输出翻译成普通口头语言。

作为一个实例，更好地适合于音频程序41的条件包含当即将到达高速公路的出口且自主控制系统24已确定预期交递事件将在到达出口时发生时。适合于音频程序41的条件的另一实例包含经由车辆间链路经由通信传达到自主控制系统24的交通，其中通信指示其中交通发生(例如，经由GPS坐标或英里标记)但不包含交通的任何图像或视频。换句话说，自主控制系统24可识别可有效地从传感器输出翻译成普通口头语言的条件及/或存在不充足视频或图像所针对的条件。

作为一个实例，更好地适合于触觉程序41的条件包含关于可能难以在视觉上或口头上传达的道路粗糙度的条件。更好地适合于触觉程序41的另一实例条件包含关于归因于道路上的雪或冰的滑动量的条件，其可经由视频或音频程序41清楚地传达。在这方面，自主控制系统24可将触觉条件说明为不能经由视频或音频程序容易地表达，但可借助于触觉经由方向盘或主乘员坐在其中的座椅传达的条件。

基于前述条件信息33，程序选择单元36可选择程序41A到41N(“程序41”)中的一者。此外，程序选择单元36可基于阈值43A到43D对程序41分类，阈值将程序41有效地分类成适合于不同时间层级(例如，借助于第一阈值43A的数秒，借助于第二阈值43B的数十秒，借助于第三阈值43C的数分钟，借助于第四阈值43D的数十分钟)的程序。

在图3中展示的实例分类中，程序选择单元36可在交递之前的时间为约数秒时将程序41A到41D分类为可适合于恢复主乘员意识(借助于例如将操作情形通知主乘员)的秒级程序41。音频、视频及/或触觉警示程序41B(“A/V/H警示41B”)可表示自主控制系统24发出音频、视觉及/或触觉警示到主乘员所借以的程序。程序选择单元36可基于条件信息33选择音频、视频及/或触觉警示中的哪一者来发出。音频查询程序41C可表示处理器12与用户接口22介接以发出音频查询从而提供信息到主乘员所借以的程序。触觉协作驾驶模式程序41D表示自主控制系统24与用户接口22介接以经由方向盘、座椅或主乘员可与其相互作用的其它表面(包含平板计算机、智能电话或能够触觉反馈的其它装置)发出触觉反馈(其指导正在控制车辆10的操作的主乘员)所借以的程序。

程序选择单元36可在剩余时间信息31指示在预期交递事件之前剩余的时间范围低于(或在一些实例中低于或等于)第一阈值43A时选择数秒级程序41中的任一者。程序选择单元36可基于条件信息33选择数秒级程序41中的一或多者，从而使数秒级程序41的选择适合于触发交递事件的条件。在图3的实例中，程序选择单元36可将默认程序41A分类为独立条件，将音频、视频及/或触觉警示程序41B分类为所有音频、视频及触觉程序，将音频查询程序41C分类为音频程序，且将触觉协作驾驶模式程序41D分类为触觉程序。

程序选择单元36可在交递之前的时间为约数十秒时将程序41D到41G分类为可适合于恢复主乘员意识(借助于例如将操作情形通知主乘员)的数十秒级程序41。受限制增强现实程序41E(“LTD AR 41E”)可表示处理器12及/或自主控制系统24可与用户接口22介接以呈现受限制数量增强现实以经由通过主乘员穿戴的抬头显示器或耳机呈现关于触发预期交递事件的条件的标记所借以的程序。视频概述程序41F(“VID SUM 41F”)可表示处理器12及/或自主控制系统24与用户接口22介接以经由显示器20呈现触发交递事件的条件及/或车辆10的操作情形的视频概述所借以的程序。叙述概述程序41G(“NAR SUM 41G”)可表示处理器12及/或自主控制系统24与用户接口22介接以呈现触发预期交递事件的条件及/或车辆10的操作情形的音频叙述所借以的程序。

程序选择单元36可在剩余时间信息31指示在交递之前剩余的时间范围低于(或在一些实例中低于或等于)第二阈值43B时选择数十秒级程序41中的任一者。程序选择单元36可基于条件信息33选择数十秒级程序41中的一或多者，从而使数秒级程序41的选择适合于触发交递事件的条件。在图3的实例中，程序选择单元36可将触觉协作驾驶模式程序41D分类为触觉程序，将受限制AR程序41E及视频概述程序41F分类为视频程序，且将叙述概述程序41G分类为音频程序。

程序选择单元36可在交递之前的时间为约数分钟时将程序41G到41K分类为可适合于恢复主乘员意识(借助于例如将操作情形通知主乘员)的数分钟级程序41。360度快照程序41H(“360SNAP 41G”)可表示处理器12及/或自主控制系统24可与用户接口22介接以经由显示器20呈现触发交递事件的条件及/或车辆10的操作情形的360度视频或图像(其还可被称作“快照”)所借以的程序。具有音频叙述的视频程序41I(“VID W/AUD SUM 41I”)可表示处理器12及/或自主控制系统24与用户接口22介接以经由显示器20呈现具有触发交递事件的条件及/或车辆10的操作情形的实时或近实时音频叙述的视频所借以的程序。沉浸式AR程序41J(“IMM AR 41G”)可表示处理器12及/或自主控制系统24与用户接口22介接以经由显示器20(例如，抬头显示器或增强现实耳机)呈现触发交递事件的条件及/或车辆10的操作情形的沉浸式虚拟概述所借以的程序。视频地图旅行概述程序41K(“MAP TRIP SUM41K”)可表示处理器12及/或自主控制系统24与用户接口22介接以经由显示器20呈现车辆10当前正行进的旅行的基于视频地图的概述所借以的程序。

程序选择单元36可在剩余时间信息31指示在交递之前剩余的时间范围低于(或在一些实例中低于或等于)第三阈值43C时选择数分钟级程序41中的任一者。程序选择单元36可基于条件信息33选择数十秒级程序41中的一或多者，从而使数分钟级程序41的选择适合于触发预期交递事件的条件。在图3的实例中，程序选择单元36可将叙述概述程序41G及具有音频叙述的视频程序41I分类为音频程序，且将360快照程序41H、具有音频叙述的视频程序41I、沉浸式AR 41J及基于地图的旅行概述程序41K分类为视频程序。

程序选择单元36可在预期交递事件之前的时间为约数十分钟时将程序41K到41N分类为可适合于恢复主乘员意识(借助于例如将操作情形通知主乘员)的数十分钟级程序41。音频叙述程序41L(“AUD NAR 41L”)可表示处理器12及/或自主控制系统24可与用户接口22介接以提供触发交递事件的条件及/或车辆10的操作情形的音频叙述所借以的程序。视频叙述程序41M(“VID NAR 41M”)可表示处理器12及/或自主控制系统24与用户接口22介接以经由显示器20呈现触发交递事件的条件及/或车辆10的操作情形的视频叙述所借以的程序。目的地概述程序41N(“DEST SUM 41N”)可表示处理器12及/或自主控制系统24与用户接口22介接以呈现车辆10当前经配置以执行的旅行的基于音频目的地概述所借以的程序。

程序选择单元36可在剩余时间信息31指示在预期交递事件之前剩余的时间范围低于(或在一些实例中低于或等于)第四阈值43D时选择数十分钟级程序41中的任一者。程序选择单元36可基于条件信息33选择数十秒级程序41中的一或多者，从而使数十分钟级程序41的选择适合于触发预期交递事件的条件。在图3的实例中，程序选择单元36可将基于地图的旅行概述程序41K及视频叙述程序41M分类为音频程序，且将音频叙述程序41L及基于目的地的音频概述程序41N分类为音频程序。

如上文所提及，程序选择单元36可将各种程序41分类成两个(或可能更多个)基于时间的类别。举例来说，程序选择单元36可将触觉协作驾驶模式程序41D分类为属于数秒级程序41及数十秒级程序41。此重叠分类表明阈值43中的每一者可包含可重叠相邻阈值的上限及下限两者(或依据一范围而界定)。处理器选择单元36可以此方式将阈值43界定为其中可分类各种程序41的具有上限及下限的范围。具有属于阈值43的范围的重叠部分的预期持续期间的程序41的那些可包含于两个或可能更大类别中。因此，本公开的技术在这方面不应受限于其中程序41仅仅分类成一个及仅仅一个类别的二进制或单个分类系统。

此外，在基于时间的分类及基于条件的分类中的每一者内，程序选择单元36可进一步基于乘员的状态区分程序41的子类别。也就是说，虽然展示为当AL小于TAL 37，但大于TAL 37减AM 39时仅仅发出音频、视觉及/或触觉警示，但程序选择单元36可执行在处理器41的各种上述经识别类别中的各种程序41。

以下表1到表3说明程序选择单元41可在AL大于TAL 37(指明为“乘员机警且能够取得控制”)时，在AL小于TAL 37但大于TAL 37减去AM 39(指明为“乘员不警示但将能够取得控制”)时，及在AL小于TAL 37减去AM 39(指明为“乘员不能够取得控制”)时如何选择程序的实例。

表1：乘员机警并能够取得控制

表2：乘员不机警但将能够取得控制

表3：乘员不能够取得控制

前述表1及表2展示程序选择单元36可如何选择各种不同秒级程序41，数十秒级程序41、数分钟级程序41及数十分钟级程序41可基于AL是否大于TAL 37、小于TAL37但大于TAL 37减去AM 39，及小于TAL 37减去AM 39来分类。尽管在本公开中关于某些基于时间的分类来描述，但所述技术可关于随数量级或其它持续时间变化的其它基于时间或持续期间的分类来执行。

图4为说明经配置以执行本公开中所描述的技术的各种方面的头戴式显示系统70的实例的图。头戴式显示器(HMD)系统70包含可由乘员72穿戴的HMD 80，乘员72可表示主乘员61A或次乘员61B中的一或多者。HMD 80可经配置以由乘员72穿戴，例如，类似于一副眼镜，其中框架84具有从镜片夹持器88延伸的臂86。HMD 80经配置以与车辆10无线地通信，且可充当用户接口22的扩展件。

在一些实例中，HMD 80可包含区别于处理器12以及系统存储器的处理器、GPU，及区别于上文关于图1的实例所描述的车辆10的计算组件的其它计算组件。在其它实例中，HMD 80可简单地构成显示器20的扩展件，其中处理器12及/或自主控制系统24可与HMD 80介接以执行上文提及的各种AR程序，例如受限制AR程序41E及沉浸式AR程序41J。

图5A和5B为展示根据本公开中所描述的技术的各种方面应用的具有不同强调层级的实例前视野90A及90B的图。前视野90A及90B可表示前视野的图像或经由HMD 80查看的实际前视野。

在图5A的实例中，前视野90A并不包含任何强调，且因此表示无借助于虚拟对象的扩增之前视野。前视野90A展示在与车辆10相同的车道中且车辆10正跟随的小型车辆(例如，机车92，其中括号指明机车92并非显示于屏幕上且仅用于读者参考)。在图5B的实例中，除前视野90B包含通过HMD 80呈现的两个较小虚拟对象94A及94B以强调触发即将来临交递事件的条件(例如，正不稳定驾驶的车辆92的存在)以外，前视野90B与前视野90A相同或大体上相同。

图6为说明图1的车辆10在执行本公开中所描述的技术的各种方面中的实例操作的流程图。初始地，车辆10的自主控制系统24可取得车辆10的操作的自主控制权(120)。

在取得车辆10的操作的自主控制权之后(或在一些情况下在取得车辆10的操作的自主控制权之前)，处理器12可与自主控制系统24介接以确定触发预期交递事件(其又可指将车辆10的操作的控制的一或多个方面从自主控制系统24转移到主乘员)的条件(122)。处理器12还可与自主控制系统24介接以确定在预期交递事件之前剩余的时间范围(124)。处理器12接下来可与乘员跟踪单元26介接以确定车辆10的乘员的意识层级(126)。

处理器12接下来可基于所述经确定意识层级及在预期交递事件之前剩余的所述经确定时间来确定乘员是否机警且能够控制车辆10(128)。当处理器12确定乘员机警且能够控制车辆10(“是”130)时，处理器12可基于经确定条件及在预期交递事件之前剩余的时间选择程序41中的一者(132)。处理器12可与用户接口22介接以执行程序41中的选定者，且在执行程序41中的选定者之后将控制交递到乘员(134、136)。

当处理器12确定乘员不机警，且因而并不准备取得车辆10的控制权(“否”130)时，处理器12可确定乘员是否将能够在预期交递事件之前剩余的时间内取得车辆10的控制权(138)。当乘员将准备取得控制权(“是”138)时，处理器12可基于经确定条件及的预期交递事件之前剩余的时间而选择程序41中的一者(132)。处理器12可与用户接口22介接以执行程序41中的选定者，且在执行程序41中的选定者之后将控制交递到乘员(134、136)。

当处理器12确定乘员将不准备在预期交递事件之前剩余的时间内取得车辆10的控制权(“否”138)时，处理器12可选择程序41的默认程序(140)。处理器12接下来可在不执行交递的情况下执行默认程序(142)。

此外，执行交递(或换句话说，转移控制)可指将控制的职责返回到乘员，使得乘员指导车辆10的操作(例如使用传统车辆中的方向盘、踏板及其它器具，或使用各种非传统接口，例如允许加速、制动、及操纵的虚拟接口)。转移控制取决于环境还可为仅控制的部分转移。举例来说，允许确定行进速率的传感器可能失效，但用于操纵及导航的所有其它自主控制系统可以是可操作的。在此实例中，车辆10可转移加速及制动的控制但保持操纵及导航的控制。因而，当一或多个自主执行的操作的职责被转移到乘员时，车辆10可转移车辆10的操作的控制。

尽管所述技术的各种方面描述为由车辆10执行，但技术的各种方面可通过具有经由通信协议提供到车辆10的结果的其它装置执行。也就是说，可通过具有替代车辆10的处理器及/或GPU或除了其之外的处理器及/或GPU的另一车辆、网络服务器或计算机服务器群(即，通过“云”)执行对内容相关图像的图像或视频分析、凝视或眼睛跟踪、乘员跟踪、任何图像或视频混合(例如以形成合成图像)及针对内容相关图像的透明度确定(提供几个实例)。因而，技术不应限制于直接由车辆自身执行。

图7为说明车辆10在执行本公开中所描述的技术的各种方面中的实例操作的流程图。车辆10的处理器12可首先确定将改变车辆10的操作特性的预期事件(150)。将改变车辆10的操作特性的预期事件的一个实例检测到控制从自主控制系统24到主乘员的转移将发生，此在本公开中称为“预期交递事件”。

处理器12接下来可确定在预期事件的估计发生之前剩余的时间范围，且基于在预期事件的估计发生之前剩余的经确定时间范围选择将车辆10的操作情形通知乘员所借以的多个程序中的程序(152、154)。处理器12接下来可与用户接口22及/或自主控制系统24介接以执行将车辆10的操作情形通知乘员所借以的程序(156)。

在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或码而在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体的有形媒体。以此方式，计算机可读媒体一般可对应于非暂时性的有形计算机可读存储媒体。数据存储媒体可为可通过一或多个计算机或一或多个处理器存取以检索指令、码及/或数据结构以用于实施本公开所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。

通过实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、闪存器或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。应理解，计算机可读存储媒体及数据存储媒体并不包含载波、信号或其它暂时性媒体，但取而代之涉及非暂时性、有形存储媒体。如本文中所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘通过激光以光学方式再生数据。以上各者的组合还应包含于计算机可读媒体的范围内。

可由一或多个处理器执行指令，所述一或多个处理器例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。此外，在一些方面中，本文所描述的功能可经提供于经配置以供编码及解码或并入于经组合编解码器中的专用硬件及/或软件模块内。此外，所述技术可完全实施于一或多个电路或逻辑元件中。

本公开的技术可实施于多种装置或设备中，包含无线手机、集成电路(IC)或IC集合(例如芯片组)。本公开中描述各种组件、模块或单元以强调经配置以执行所公开的技术的装置的功能方面，但未必要求由不同硬件单元来实现。确切地说，如上文所描述，各种单元可与合适的软件及/或固件一起组合于编解码器硬件单元中或由互操作性硬件单元的集合提供，硬件单元包含如上文所描述的一或多个处理器。

各种实例已予以描述。这些及其它实例在以下权利要求书的范围内。

Claims

1.一种提供信息以确保车辆中的乘员意识的方法，所述方法包括：

通过所述车辆自主地控制所述车辆的操作；

通过一或多个处理器且在所述车辆自主地控制所述车辆的操作的同时，确定预期事件将发生，所述预期事件包含将对所述车辆的所述操作的控制从所述车辆转移到乘员；

通过所述一或多个处理器且在所述车辆自主地控制所述车辆的操作的同时，确定在所述预期事件的估计发生之前剩余的时间范围；

通过所述一或多个处理器且在所述车辆自主地控制所述车辆的操作的同时，确定触发所述预期事件的条件；

通过所述一或多个处理器且在所述车辆自主地控制所述车辆的操作的同时，选择多个程序中的程序以通过该程序通知所述乘员所述车辆的所述操作情形，使得所述多个程序中的所述程序能够在经确定时间范围内执行；及

通过所述一或多个处理器且在所述经确定时间范围内，执行所述多个程序中的所述程序以通过该程序通知所述乘员所述车辆的所述操作情形。

2.根据权利要求1所述的方法，其进一步包括确定所述乘员的状态，

其中选择所述多个程序中的所述程序包括基于在所述预期事件的所述估计发生之前剩余的所述经确定时间范围、经确定条件及所述乘员的所述状态而从所述多个程序中选择所述程序。

3.根据权利要求2所述的方法，

其中确定所述乘员的所述状态包括确定所述乘员的意识层级，且

其中选择所述多个程序中的所述程序包括基于在所述预期事件的所述估计发生之前剩余的所述经确定时间范围、所述经确定条件及所述乘员的所述意识层级而从所述多个程序中选择所述程序。

4.根据权利要求1所述的方法，

其中确定所述条件包括经由所述多个程序中的一或多个音频程序、所述多个程序中的视频程序及所述多个程序中的触觉程序将所述条件分类为用于通信，且

其中选择所述多个程序中的所述程序包括选择能够在所述预期事件的所述估计发生之前剩余的所述经确定时间范围内将所述操作情形告知所述乘员的所述音频程序中的音频程序、从所述视频程序中选择能够在所述预期事件的所述估计发生之前剩余的所述经确定时间范围内将所述操作情形告知所述乘员的视频程序，及选择能够在所述预期事件的所述估计发生之前剩余的所述经确定时间范围内将所述操作情形告知所述乘员的所述触觉程序中的触觉程序。

5.根据权利要求1所述的方法，其中选择所述多个程序中的所述程序包括：

基于在所述预期事件的所述估计发生之前剩余的所述时间范围及所述经确定条件而选择能够在数秒内将所述操作情形通知所述乘员的数秒级程序中的一者、能够在数十秒内将所述操作情形通知所述乘员的数十秒级程序中的一者、能够在数分钟内将所述操作情形通知所述乘员的数分钟级程序中的一者，或能够在数十分钟内将所述操作情形通知所述乘员的数十分钟级程序中的一者；及

从所述数秒级程序、所述数十秒级程序、所述数分钟级程序或所述数十分钟级程序中的选定者选择所述多个程序中的所述程序。

6.根据权利要求1所述的方法，其进一步包括：

确定当在所述车辆的所述操作的所述控制到所述乘员的所述转移的估计发生之前剩余的所述时间范围发生时，所述乘员是否将能够控制所述车辆；及

确定所述乘员的机警性层级，且

其中选择所述多个程序中的所述程序包括基于在所述车辆的所述操作的所述控制到所述乘员的所述转移的所述估计发生之前剩余的经确定时间范围、所述经确定条件、所述乘员是否将能够控制所述车辆的确定及经确定机警性层级而确定所述程序。

7.根据权利要求1所述的方法，其进一步包括确定当在所述车辆的所述操作的所述控制到所述乘员的所述转移的估计发生之前剩余的所述时间范围发生时，所述乘员是否将能够控制所述车辆，

其中选择所述多个程序中的所述程序包括响应于确定所述乘员将不能够控制所述车辆而确定待通过所述车辆自主地执行的默认动作，且

其中执行所述程序包括自主地执行所述默认动作。

8.根据权利要求7所述的方法，其中所述默认动作包括以下各者中的一者：导航到所述车辆正在上面行进的道路的一侧并停止所述车辆，或停止所述车辆。

9.根据权利要求1所述的方法，其中所述多个程序中的所述程序包括显示所述车辆当前自主地控制所述车辆的操作所针对的旅行的目的地概述。

10.根据权利要求1所述的方法，其中所述多个程序中的所述程序包括如下中的一项或多项：

发出音频警示、发出触觉警示、进入触觉协作驾驶模式，及提供增强现实辅助。

11.根据权利要求1所述的方法，其中所述多个程序中的所述程序包括以下中的一或多项：显示所述操作情形的短暂或加速视频概述，提供所述操作情形的叙述概述，显示所述操作情形的短暂或加速第一人称视角视频，利用不透明显示器突出显示问题或展示所述操作情形，及显示所述操作情形的360度图像。

12.根据权利要求1所述的方法，其中所述多个程序中的所述程序包括呈现所述操作情形的实时及近实时视频中的一或多项。

13.根据权利要求1所述的方法，其中所述多个程序中的所述程序包括以下中的一或多项：显示所述车辆当前自主地控制所述车辆的操作所针对的旅行的基于地图的概述，呈现所述操作情形的音频叙述，及呈现待执行的所述操作情形的视频叙述。

14.根据权利要求1所述的方法，其中，所述多个程序包括对应于不同时间层级的程序。

15.根据权利要求1所述的方法，其中，所述多个程序包括第一子集和第二子集，且其中，所述多个程序的所述第一子集与所述多个程序的所述第二子集相比是针对较高层级的所述经确定时间范围的。

16.一种装置，其经配置以提供信息以确保车辆中的乘员意识，所述装置包括：

一或多个处理器，其经配置以：

自主地控制所述车辆的操作；

在所述一或多个处理器自主地控制所述车辆的操作的同时，确定预期事件将发生，所述预期事件包含将对所述车辆的所述操作的控制从所述车辆转移到乘员；

在所述一或多个处理器自主地控制所述车辆的操作的同时，确定在所述预期事件的估计发生之前剩余的时间范围；

在所述一或多个处理器自主地控制所述车辆的操作的同时，确定触发所述预期事件的条件；

在所述一或多个处理器自主地控制所述车辆的操作的同时，确定多个程序中的程序以通过该程序通知所述乘员所述车辆的所述操作情形，使得所述多个程序中的所述程序能够在经确定时间范围内执行；及

在所述经确定时间范围内，执行所述多个程序中的所述程序以通过该程序通知所述乘员所述车辆的所述操作情形；及

存储器，其经配置以存储所述程序。

17.根据权利要求16所述的装置，

其中所述一或多个处理器经进一步配置以确定所述乘员的状态，且

其中所述一或多个处理器经配置以基于在所述预期事件的所述估计发生之前剩余的所述经确定时间范围、经确定条件及所述乘员的所述状态而从所述多个程序中选择所述程序。

18.根据权利要求16所述的装置，其中所述一或多个处理器经配置以：

确定所述乘员的意识层级，且

基于在所述预期事件的所述估计发生之前剩余的所述经确定时间范围、所述经确定条件及所述乘员的所述意识层级而从所述多个程序中选择所述程序。

19.根据权利要求16所述的装置，其中所述一或多个处理器经配置以：

经由所述多个程序中的一或多个经分类音频程序、所述多个程序中的经分类视频程序及所述多个程序中的经分类触觉程序将所述条件分类为用于通信，且

选择能够在所述预期事件的所述估计发生之前剩余的所述经确定时间范围内将所述操作情形告知所述乘员的所述音频程序中的音频程序、从所述视频程序中选择能够在所述预期事件的所述估计发生之前剩余的所述经确定时间范围内将所述操作情形告知所述乘员的视频程序，及选择能够在所述预期事件的所述估计发生之前剩余的所述经确定时间范围内将所述操作情形告知所述乘员的所述触觉程序中的触觉程序。

20.根据权利要求16所述的装置，其中所述一或多个处理器经配置以：

基于在所述预期事件的所述估计发生之前剩余的所述时间范围及所述经确定条件而选择能够在数秒内将所述操作情形通知所述乘员的数秒级程序中的一者、能够在数十秒内将所述操作情形通知所述乘员的数十秒级程序中的一者、能够在数分钟内将所述操作情形通知所述乘员的数分钟级程序中的一者，或能够在数十分钟内将所述操作情形通知所述乘员的数十分钟级程序中的一者；且

21.根据权利要求16所述的装置，

其中所述一或多个处理器经进一步配置以：

确定当在所述车辆的所述操作的所述控制到所述乘员的所述转移的估计发生之前剩余的所述时间范围发生时，所述乘员是否将能够控制所述车辆；且

确定所述乘员的机警性层级，且

其中所述一或多个处理器经配置以基于在所述车辆的所述操作的所述控制到所述乘员的所述转移的所述估计发生之前剩余的经确定时间范围、所述经确定条件、所述乘员是否将能够控制所述车辆的确定及经确定机警性层级而选择所述多个程序中的所述程序。

22.根据权利要求16所述的装置，

其中所述一或多个处理器经进一步配置以确定当在所述车辆的所述操作的所述控制到所述乘员的所述转移的估计发生之前剩余的所述时间范围发生时，所述乘员是否将能够控制所述车辆，

其中所述一或多个处理器经配置以：

响应于确定所述乘员将不能够控制所述车辆而确定待通过所述车辆自主地执行的默认动作，且

自主地执行所述默认动作。

23.根据权利要求22所述的装置，其中所述默认动作包括以下各者中的一者：导航到所述车辆正在上面行进的道路的一侧并停止所述车辆，或停止所述车辆。

24.根据权利要求16所述的装置，其中所述多个程序中的所述程序包括以下各者中的一者：显示所述车辆当前自主地控制所述车辆的操作所针对的旅行的目的地概述、发出音频警示、发出触觉警示、进入触觉协作驾驶模式、提供增强现实辅助、显示所述操作情形的短暂或加速视频概述、提供所述操作情形的叙述概述、显示所述操作情形的短暂或加速第一人称视角视频、利用不透明显示器突出显示问题或展示所述操作情形、显示所述操作情形的360度图像、呈现所述操作情形的实时或近实时视频、显示所述车辆当前自主地控制所述车辆的操作所针对的旅行的基于地图的概述、呈现所述操作情形的音频叙述，或呈现待执行的所述操作情形的视频叙述。

25.根据权利要求16所述的装置，其中，所述多个程序包括对应于不同时间层级的程序。

26.根据权利要求16所述的装置，其中，所述多个程序包括第一子集和第二子集，且其中，所述多个程序的所述第一子集与所述多个程序的所述第二子集相比是针对较高层级的所述经确定时间范围的。

27.一种设备，其经配置以提供信息以确保车辆中的乘员意识，所述设备包括：

用于自主地控制所述车辆的操作的装置；

用于在自主地控制所述车辆的所述操作的同时确定预期事件将发生的装置，所述预期事件包含将对所述车辆的所述操作的控制从所述车辆转移到乘员；

用于在自主地控制所述车辆的所述操作的同时确定在所述预期事件的估计发生之前剩余的时间范围的装置；

用于在所述车辆自主地控制所述车辆的操作的同时确定触发所述预期事件的条件的装置，所述预期事件包含将所述车辆的所述操作的所述控制转移到所述乘员；

用于在自主地控制所述车辆的所述操作的同时确定多个程序中的程序以通过该程序通知所述乘员所述车辆的所述操作情形，使得所述多个程序中的所述程序能够在经确定时间范围内执行的装置；及

用于在所述经确定时间范围内执行所述多个程序中的所述程序以通过该程序通知所述乘员所述车辆的所述操作情形的装置。

28.根据权利要求27所述的设备，其中，所述多个程序包括对应于不同时间层级的程序。

29.根据权利要求27所述的设备，其中，所述多个程序包括第一子集和第二子集，且其中，所述多个程序的所述第一子集与所述多个程序的所述第二子集相比是针对较高层级的所述经确定时间范围的。

30.一种其上存储有指令的非暂时性计算机可读存储介质，所述指令在经执行时使得一或多个处理器：

自主地控制车辆的操作；

在所述车辆自主地控制所述车辆的操作的同时，确定预期事件将发生，所述预期事件包含将对所述车辆的所述操作的控制从所述车辆转移到乘员；

在所述车辆自主地控制所述车辆的操作的同时，确定在所述预期事件的估计发生之前剩余的时间范围；

在所述车辆自主地控制所述车辆的操作的同时，确定触发所述预期事件的条件；

在所述车辆自主地控制所述车辆的操作的同时，确定多个程序中的程序以通过该程序通知所述乘员所述车辆的所述操作情形，使得所述多个程序中的所述程序能够在经确定时间范围内执行；及

在所述预期事件的所述估计发生之前剩余的所述经确定时间范围内，执行所述多个程序中的所述程序以通过该程序通知所述乘员所述车辆的所述操作情形。

31.根据权利要求30所述的非暂时性计算机可读存储介质，其中，所述多个程序包括对应于不同时间层级的程序。

32.根据权利要求30所述的非暂时性计算机可读存储介质，其中，所述多个程序包括第一子集和第二子集，且其中，所述多个程序的所述第一子集与所述多个程序的所述第二子集相比是针对较高层级的所述经确定时间范围的。