CN115923832A - 用于机器向驾驶员转变的移交助手 - Google Patents

用于机器向驾驶员转变的移交助手 Download PDF

Info

Publication number
CN115923832A
CN115923832A CN202210898630.XA CN202210898630A CN115923832A CN 115923832 A CN115923832 A CN 115923832A CN 202210898630 A CN202210898630 A CN 202210898630A CN 115923832 A CN115923832 A CN 115923832A
Authority
CN
China
Prior art keywords
vehicle
passenger
event
response time
events
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210898630.XA
Other languages
English (en)
Inventor
I·J·阿尔瓦雷斯
M·保利齐
R·罗萨莱斯
C·布尔克尔
F·盖斯勒
F·欧博利尔
F·帕斯克
彭杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN115923832A publication Critical patent/CN115923832A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/172—Driving mode indication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B60K2360/1868—Displaying information according to relevancy according to driving situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4046—Behavior, e.g. aggressive or erratic

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及用于机器向驾驶员转变的移交助手。本文公开了一种监测交通工具的环境的交通工具移交系统。交通工具移交系统接收将交通工具控制权从自动化驾驶模式改变为交通工具的乘客的转变请求。交通工具移交系统检测可能与转变请求相关的关键事件，并且关键事件的检测基于被监测的环境。交通工具移交系统可以生成包括与关键事件相关联的图像的移交场景，并且该图像包括在关键事件的时间段内的图像序列。在交通工具移交系统将交通工具控制权从自动化驾驶模式改变给乘客之前，移交场景被显示给乘客。

Description

用于机器向驾驶员转变的移交助手
技术领域
本公开总体上涉及自动驾驶系统，并且具体地涉及可将交通工具的控制权从自动驾驶模式转移给人类驾驶员的驾驶系统。
背景技术
具有自主或部分自主驾驶模式的交通工具正变得越来越流行。此类交通工具通常包括各种监测系统，这些监测系统配备有用于观察与交通工具内部有关的信息、监测交通工具的运动以及扫描交通工具外部的对象的各种相机和其他传感器。当交通工具以自主(或部分自主)驾驶模式操作时，将交通工具的控制权(或部分控制权)返还给人类驾驶员可能变得是必要的。
附图说明
在附图中，贯穿不同的视图，相同的附图标记一般指代相同部分。这些附图不一定是按比例的，而是一般着重于说明本公开的示例性原理。在下列描述中，参照下列附图描述本公开的各个示例性方面，在附图中：
图1图示出可以从自动驾驶模式转变到手动驾驶模式的交通工具的交通工具移交系统的示例流程图；
图2示出在交通工具移交期间向人类驾驶员呈现转变信息的示例性的交通工具移交系统；
图3描绘了对增强型图像序列的关键事件排定优先级的事件概括的示例性流程图；
图4示出了与在增强型图像序列的单个帧图像中显示的多个关键事件有关的示例性概括信息。
图5图示出可以描绘一个或多个关键事件和相关联的元数据的示例性增强型图像序列；
图6示出了用于预测乘客的预期响应时间并且用于确定在交通工具的特定地理位置和情况下的所需响应时间的响应时间系统的示例性流程图；
图7描绘了用于确定乘客对监测到的事件的响应时间的示例性流程图；
图8示出图示出用于将交通工具的控制权从自动化驾驶模式移交给手动驾驶模式的设备的示例性示意图；
图9描绘了用于将交通工具的控制权移交给乘客的方法的示意性流程图。
具体实施方式
以下详细描述中对附图进行参考，附图通过图示方式示出了示例性细节和特征。
在本文中使用词语“示例性”来意指“充当示例、实例或说明”。本文中被描述为“示例性”的任何方面或设计不必被解释为相比其他方面或设计是优选或有利的。
贯穿附图，应注意，除非另有说明，否则相同的附图标记用于描绘相同或相似的要素、特征和结构。
短语“至少一个”和“一个或多个”可被理解为包括大于或等于一的数量(例如，一个、两个、三个、四个、[...]等)。关于一组要素的短语“……中的至少一个”在本文中可用于意指来自由这些要素组成的组的至少一个要素。例如，关于一组要素的短语“……中的至少一个”在本文中可用于意指以下各项中的选择：所列要素中的一个、多个所列要素中的一个要素、多个个体所列要素、或多个个体所列要素中的多个。
说明书和权利要求书中的词语“复数个(plural)”和“多个(multiple)”明确地指代大于一的量。因此，任何明确地援引上述词语来指代某个数量的要素的短语(例如，“复数个[要素]”、“多个[要素]”)明确地指代多于一个的所述要素。例如，短语“多个(aplurality)”可被理解为包括大于或等于二的数量(例如，两个、三个、四个、五个、[...]等)。
说明书中和权利要求书中的短语“(……的)组”、“(……的)集”、“(……的)集合”、“(……的)系列”、“(……的)序列”、“(……的)分组”等(如果存在)指代等于或大于一的量，即一个或多个。术语“适当的子集”、“减小的子集”、和“较小的子集”指代集合的不等于该集合的子集，说明性地，指代集合的包含比该集合少的元素的子集。
如本文中所使用的术语“数据”可被理解为包括采用任何合适的模拟或数字形式的信息，例如，作为文件、文件的部分、文件集合、信号或流、信号或流的部分、信号或流的集合等等来提供的信息。进一步地，术语“数据”还可用于意指对信息的例如以指针的形式的引用。然而，术语“数据”不限于上述示例，并且可采取各种形式并表示如本领域中理解的任何信息。
例如，如本文中所使用的术语“处理器”或“控制器”可被理解为允许处置数据的任何种类的技术实体。可根据由处理器或控制器执行的一个或多个特定功能来处置数据。进一步地，如本文中所使用的处理器或控制器可被理解为任何种类的电路，例如任何种类的模拟或数字电路。处理器或控制器因此可以是或可包括模拟电路、数字电路、混合信号电路、逻辑电路、处理器、微处理器、中央处理单元(Central Processing Unit，CPU)、图形处理单元(Graphics Processing Unit，GPU)、数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、集成电路、专用集成电路(Application Specific Integrated Circuit，ASIC)等、或其任何组合。下文将进一步详细描述的相应功能的任何其他种类的实现方式也可被理解为处理器、控制器或逻辑电路。应理解，本文中详述的处理器、控制器或逻辑电路中的任何两个(或更多个)可被实现为具有等效功能的单个实体等等，并且相反地，本文中详述的任何单个处理器、控制器或逻辑电路可被实现为具有等效功能的两个(或更多个)分开的实体等等。
如本文中所使用，“存储器”被理解为数据或信息可以被存储在其中以供检取的计算机可读介质(例如，非暂态计算机可读介质)。对本文中所包括的“存储器”的引用可因此被理解为是指易失性或非易失性存储器，包括随机存取存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、闪存、固态存储、磁带、硬盘驱动器、光驱、3DXPointTM等等、或其任何组合。在本文中，寄存器、移位寄存器、处理器寄存器、数据缓冲器等等也可由术语存储器包含。术语“软件”是指任何类型的可执行指令，包括固件。
除非明确地指定，否则术语“发射”涵盖直接(点对点)和间接(经由一个或多个中间点)的发射两者。相似地，术语“接收”涵盖直接和间接的接收两者。此外，术语“发射”、“接收”、“传递”和其他相似术语涵盖物理传输(例如，对无线电信号的传输)和逻辑传输(例如，通过逻辑软件级连接对数字数据的传输)两者。例如，处理器或控制器可通过与另一处理器或控制器的软件级连接以无线电信号的形式对数据进行发射或接收，其中，物理发射和接收由诸如RF收发机和天线之类的无线电层组件处置，并且通过软件级连接的逻辑发射和接收由处理器或控制器执行。术语“传递”涵盖发射和接收中的一者或两者，即，在传入方向和传出方向中的一个方向或这两个方向上的单向或双向传输。术语“计算”涵盖经由数学表达式/等式/关系进行的‘直接’计算和经由查找表或散列表以及其他数组索引或搜索操作进行的‘间接’计算两者。
可以将“交通工具”理解为包括任何类型的被驱动对象。作为示例，交通工具可以是具有内燃机、反作用式引擎、电驱动对象、混合驱动对象或其组合的被驾驶对象。交通工具可以是或者可以包括汽车、公共汽车、小型公共汽车、货车、卡车、房车、交通工具拖车、摩托车、自行车、三轮车、火车机车、火车车厢、移动机器人、个人运输机、船只、船、潜水器、潜艇、无人机、飞机或火箭等。
“乘客”可被理解为包括交通工具内的任何人员。作为示例，乘客可以就坐在可被理解为(例如，方向盘后面的)驾驶员座椅或(例如，不在方向盘后面的)乘客座椅的座椅上。乘客可以被理解为交通工具的“驾驶员”，无论驾驶员是在主动地控制交通工具(例如，交通工具可以由自主驾驶模式或部分自主驾驶模式控制)还是仅仅允许自主模式来控制交通工具。
本文描述的设备和方法可以使用分层架构来实现，例如，通过基于对频谱的优先级排定的接入、针对不同类型的用户引入分层的使用优先级排定(例如，低/中/高优先级等)(例如，其中，最高优先级被给予层1用户、其次是层2用户、然后是层3用户，等等)。
包括自主或部分自主驾驶模式的交通工具通常配备有监测系统，该监测系统通常与用于控制自主驾驶模式或向驾驶员警告可能出现在交通工具附近区域中的对象的安全性系统相关。监测系统通常包括各种输入、传感器、相机和用于辅助自动驾驶模式做出移动、遵循特定的路线、避免碰撞以及在交通工具周围环境动态地改变时通常安全地操作交通工具的其他信息聚集设备。当交通工具以完全自主或部分自主驾驶模式操作时，将交通工具的控制权从自主系统移交回人类驾驶员可能变得是必要的。然而，当前的系统并没有充分评定人类驾驶员是否准备好承担对交通工具的控制权。如下文详细讨论的，本公开提供了一种用于监测、记录和显示最近事件的系统，这些最近事件可以通知人类驾驶员关于在移交时交通工具的当前情形。该系统还可以评定乘客的预期反应时间，以便向移交过程通知和/或向其他交通工具安全性/监测系统通知乘客的预期反应时间。系统还可以评定驾驶员是否对如何对交通工具的当前情形做出正确反应或如何安全地操作交通工具感到困惑，并且随后系统可以在移交过程中使用该信息或通知交通工具的其他安全性/监测系统。因此，该系统提供了可能尚未被即将从自动化驾驶模式中接收交通工具的控制权的乘客所感知的相关的过去事件，从而改善了移交的安全性。通过定制信息如何被渲染和在什么基础上渲染信息，可以进一步改善安全性，以便在移交之前和移交期间改善对乘客的知识传递。
图1图示出用于从自动驾驶模式转变到手动驾驶模式的交通工具的交通工具移交系统的示例流程图100。从左到右阅读流程图100，交通工具可以以自动驾驶模式120操作。自动驾驶模式120可以包括对交通工具的完全自动化控制或部分自动化控制，其中自动化交通工具系统(诸如自动化交通工具系统110)可以通过监测提供与交通工具及其周围环境有关的信息的各种传感器和输入来控制交通工具沿路线移动。当处于自动驾驶模式120时，自动化交通工具系统110可以感测、记录和跟踪与交通工具周围的环境、交通工具的移动以及靠近交通工具的对象的移动有关的信息。交通工具的自动化驾驶系统110可以使用任何数量的传感器来收集此类环境信息，作为示例，包括相机、光检测和测距(light detectionand ranging，LiDAR)传感器、交通工具位置传感器、交通工具速度传感器、加速度计、陀螺仪等。
在交通工具将控制权从自动驾驶模式120释放给手动驾驶模式140中的驾驶员(例如，释放给人类驾驶员150)之前，可能存在转变时段130，其中系统可以将(例如，可能影响移交的安全性的事件的)关键事件信息传输给(例如，信息传输132中的)人类，使得人类驾驶员被通知交通工具的当前情形并促进安全的移交。信息传输132可以被设计成用于向驾驶员通知交通工具的当前情形和最近的事件，对于驾驶员而言要知晓这些事件可能是重要的，以便安全地取得对交通工具的控制权。该系统可以标识与当前情形或最近事件相关联的关键事件信息(例如，关键事件信息115)，并将该关键事件信息(或其一部分)显示为交通工具中的屏幕上(例如，屏幕135上)的文本和/或图像、通过交通工具的音频系统向驾驶员用言辞表达/朗读关键事件信息、在驾驶员的智能电话上提供具有关键事件信息的文本消息或警报和/或以任何其他方式通知驾驶员可能与安全转变相关的关键事件。
图2图示出用于在交通工具从自动驾驶模式向手动驾驶模式移交期间向人类驾驶员呈现转变信息的示例性交通工具移交系统200。当处于自动驾驶模式时，在模块210中，交通工具不断地监测交通工具的运动和周围环境，以便安全地操作交通工具。交通工具/环境传感器可以包括任何数量的传感器和传感器/输入的组合，作为示例，包括相机、光检测和测距(LiDAR)传感器、交通工具位置传感器、交通工具速度传感器、加速计、陀螺仪等。检测关键事件模块220从交通工具/环境传感器模块210接收传感器信息，并使用该信息来确定该信息是否可能与关键事件相关，该关键事件可能与交通工具移交有关。
由检测关键事件模块220检测到的关键事件可以包括例如在处于自动驾驶模式时引起或可能引起交通工具改变其轨迹(例如，先前规划的轨迹的改变)的移动事件，诸如当交通工具检测到道路上的意料之外的对象(例如，从自我交通工具前面的另一交通工具上掉落的对象)或当交通工具检测到未被建图的临时路标(例如，施工区中挥舞发出减速信号的旗帜的人员)。关键事件还可能包括与靠近自我交通工具和/或处于交通工具的所监测的环境中的其他对象或交通工具相关联的意料之外的行为事件。这可能包括，例如，违反交通规则的交通工具(例如，忽视红色交通信号灯的交通工具)或其轨迹不遵循预期行为/路线的交通工具(例如，沿直线道路的不规则移动、无端的或不负责任的变道，等等)。关键事件还可以包括操作域外事件，其中交通工具检测到指示交通工具正以在特定地理位置和/或情形下安全操作交通工具的特定驾驶简档/域之外的设定点进行操作的情形(例如，在夜间没有街道照明的情况下检测到山上的雪，使得可能不再满足当前的域/简档)。检测关键事件模块220可以使用数据驱动的模型(例如，深度神经网络(deep neural network，DNN))检测关键事件来分析外部环境的传感器数据，以标识可能与将交通工具的控制权移交给人类驾驶员有关的任何事件。
检测关键事件模块220可以使用与前段中描述的每种类别的关键事件相关联的专用模块来检测关键事件。例如，检测关键事件模块220可以通过分析可能从交通工具/环境传感器模块210接收到的传感器数据(诸如来自用于对象检测的外部相机的视频帧)来检测关键事件。检测关键事件模块220可利用交通工具的预处理算法(例如，交通工具的交通工具跟踪和轨迹分析)来协调其他事件检测器。另外，检测关键事件模块220可以使用来自其他交通工具模块的诊断信号或输出信号来检测其他类型的事件。检测关键事件模块220可以将与关键事件相关联的传感器/信号信息缓冲为场景概要，该场景概要包括：(i)在指定视角下经处理的环境模型(ii)从交通工具/环境传感器模块210或其他模块接收到的原始传感器/信号信息，和/或(iii)传感器/信号信息对转变的重要性的预先评定。检测关键事件模块220可以缓冲与关键事件相关联的场景概要信息，以便在下面讨论的存储关键事件模块230中潜在使用。
一旦检测关键事件模块220已检测到并缓冲了关键事件及其相关联的信息，该检测关键事件模块220就将信息传递给存储关键事件模块220。存储关键事件模块220可以将每个关键事件存储为增强型图像序列，该增强型图像序列可以是包含与一时间段内的关键事件有关的、被设计用于传递关键事件如何随时间演变的信息的数据结构。增强型图像序列可包括多个不同的视点，例如，前向交通工具相机视图、鸟瞰图、后视镜视图、地图视图等。每个视点可以包括与关键事件相关联的任何信息，并且可以以不同的空间视角布置。存储关键事件模块220可以生成任何数量的空间视角，每个空间视角都基于与关键事件相关联的信息。另外，增强型图像序列可以包括与关键事件相关联的元数据信息，包括例如标识事件何时何处发生、事件的种类、事件和/或增强型图像序列的持续时间、每个图像的图像视点和/或每个帧的预先评定的重要性(如果检测关键事件模块220提供其)的信息，该预先评定的重要性可以实现选择帧的子集或强调更重要的帧。
另外，存储关键事件模块230可以基于从乘客监测模块240接收到的信息来做出与要存储哪些事件、哪些元数据应该与事件一起存储以及所存储的事件的时间段有关的决策。乘客监测模块240可以监测乘客的属性并将信息提供给存储关键事件模块230。如将稍后详细讨论的，乘客的所监测的属性例如可以包括乘客的注意力、乘客在交通工具中的位置、乘客的估计反应时间、乘客的模式型混淆和/或可能影响哪些事件的乘客的任何其他属性、与事件有关的信息类型以及与可能需要存储的事件相关联的细节水平。
接下来，存储关键事件模块230可以将所存储的信息传递给优先对待关键事件模块250。优先对待关键事件模块250可以通过考虑任何数量的变量来评定关键事件中的每一个关键事件，以确定事件对转变的重要性。作为一个示例，优先对待关键事件模块250可以使用时间(例如，比较自关键事件以来所经过的时间)将最近的事件评级为更重要或不太重要(例如，事件越旧，越不重要)。作为另一示例，优先对待关键事件模块250可以标识事件的类别，并且将属于更高优先级类别的事件(例如，高度动态事件、高度不安全事件)突出显示为更重要的事件。为了实现这一点，优先对待关键事件模块250可以使用固定的事件类别优先级表将事件归类为事件类别中的一个类别。作为另一示例，优先对待关键事件模块250可以使用事件的空间位置(例如，它与交通工具的接近度)将更靠近自我交通工具或在自我交通工具的所规划的路径中的那些事件优先对待为更重要的事件。
作为另一示例，优先对待关键事件模块250可将其优先级基于由乘客监测模块240提供的乘客属性。例如，乘客监测模块240可以提供与乘客有关的乘客聚焦信息，该乘客聚焦信息与驾驶员是否可能观察到关键事件、错过关键事件或仅观察到关键事件的一部分相关。例如，如果驾驶员在关键事件发生在交通工具左侧时看向交通工具的右侧，则乘客监测模块240可以确定驾驶员知晓该事件可能性较低。作为另一示例，乘客监测模块240可以确定驾驶员正在看向与关键事件相同的方向，但驾驶员的注意力主要集中在广告牌广告上。因此，乘客监测模块240可以确定驾驶员可能知晓关键事件的某些方面，但可能不具有所有的重要信息。这种类型的乘客信息可由优先对待关键事件模块250使用，以对特定事件对转变的重要性排定优先级和/或确定关于关键事件所需信息的范围。
优先对待关键事件模块250的一个目的在于概括/约简与关键事件有关的信息，集中于与对驾驶员来说将是最重要的事件有关的信息以作为移交的一部分来消费。优先对待关键事件模块250可以使用选择启发法来确定哪些事件和与该事件有关的哪些信息片段对于被包括在概要中是重要的。该选择启发法可以是以下各项的函数：(i)事件对当前情形的危急度，该当前情形例如由时间依赖性和空间依赖性来评估；(ii)驾驶员关于事件(或与事件有关的信息中的差距)的潜在认知差距，以便优先对待驾驶员最有可能错过的事件(或与给定事件有关的信息)。
为此，优先对待关键事件模块250可以考虑上述讨论的维度(例如，时间、事件类别、空间位置、驾驶员聚焦/视场等)中的任何维度。使用该信息(也称为关键事件启发法)，优先对待关键事件模块250可以做出关于哪些视角/视点应该被包括在增强型图像序列(例如，传感器流)中、哪些文本/元数据应该被显示和/或概括的长度(例如，帧的数量)的决策。结果是包括序列概要的事件概括，该序列概要可能包括经概括的图像/视频以及一个或多个关键事件的相关联的文本描述。
为了执行经排定优先级的事件概括，优先对待关键事件模块250可以在本领域技术人员已知的多个图像识别和概括算法中的任一者之上使用自定义网络。例如，优先对待关键事件模块250可以使用三维(3D)卷积神经网络(例如，对于遵循C3D架构的时间序列的3D“Conv-Net”网络)，以获得关键特征集。优先对待关键事件模块250也可以使用二维(2D)卷积神经网络(例如，用于遵循I3D架构的动作识别的Conv-Net)来获得关键特征集。优先对待关键事件模块250还可以将得到的关键特征集提供给主成分分析(PCA)模块，该主成分分析模块具有将来自3D和2D Conv-Net的特征集进行融合的目标长度触发器。优先对待关键事件模块250可以将经融合的特征集提供给(i)产生用于渲染的图像序列350的解码器网络和(ii)产生该序列的文本描述的长短期记忆(LSTM)网络。
图3示出了优先对待关键事件模块250可以对与关键事件有关的信息执行的事件概括的示例性流程图300。例如，流程图300示出多模态概括系统，其中关键事件模块250可以将时间序列310馈送到输出与时间序列310相关联的关键特征集的3D卷积神经网络，例如，3D Conv-Net 320。同样，关键事件模块250可以将图像帧315馈送到二维卷积神经网络(例如，2D Conv-Net325)以用于动作识别，并且输出与图像帧315相关联的关键特征集。与时间序列310相关联的关键特征集和与图像帧315相关联的关键特征集可以流入具有将来自3D Conv-Net 320和2D Conv-Net 325的特征集进行融合的目标长度触发器的主成分分析模块，例如，PCA 330。接下来，PCA 330的输出可以流入产生用于渲染的图像序列的解码器网络，例如，解码器340。PCA 330的输出也可以被馈送到产生序列的文本描述(例如文本描述370)的长短时记忆网络，例如LSTM 360。
返回到图2，优先对待关键事件模块250可以将多个关键事件概括为单个帧或作为叠加的图像的帧，优先对待关键事件模块250可以利用文本、描述或其他元数据来增强多个关键事件中的每一个关键事件。例如，一旦优先对待关键事件模块250生成了序列的文本描述，优先对待关键事件模块250就可以选择可在相同环境(例如，关于自我交通工具的当前环境)中一起显示的事件，该事件可以包括例如在自我交通工具的相对近的接近度内发生的事件。然后，优先对待关键事件模块250可以将所生成的文本(例如，对事件的描述)的一部分和/或附加的元数据(例如，时间戳、自事件发生以来所经过的时间等)放置在与事件相关联的对象(例如，产生不安全状况事件的交通工具)的当前位置上或附近。
在该情境中，当前位置可能取决于图像是鸟瞰图/地图视图还是增强现实图像(例如，前向相机视图)。如果图像是鸟瞰图，则所生成的文本和/或附加的元数据可能位于相应的交通工具附近。如果图像是增强现实(例如，头戴式显示器或在交通工具内)，则所生成的文本和/或附加的元数据可作为文本标签被附连，该文本标签指向与事件相关联的相应对象的适当3D空间。另外，优先对待关键事件模块250可以(结合文本或作为文本的替代)调整对象的透明度，作为指示例如自与对象相关联的事件发生以来所经过的时间的量的方式(例如，相比于与最近发生的事件相关联的对象，与很久以前发生的事件相关联的对象更加透明(并且因此不再重要))。
图4示出在单个图像中显示与多个关键事件有关的经概括的信息的示例性单个帧(或叠加的图像的帧)400，如在接下来的段落中所讨论。单个帧400包含三个关键事件，所有这些关键事件都被显示在关于自我交通工具410相同的环境中。这三个事件适用于显示在单个帧中，因为这些事件是沿着道路440在自我交通工具410的相对近的接近度内发生的。一个事件与附近交通工具430相关，该交通工具430以制动事件的形式表现出不安全/意料之外的行为。对于该事件，优先对待关键事件模块250通过将道路440上的附近交通工具430的图像放置在其相对于自我交通工具410的位置处以及指示事件的类型/名称(例如，制动事件)和自事件发生以来所经过的时间(例如，5秒)的消息框435来对事件数据进行概括。另一事件与表现出不安全的驾驶事件的附近交通工具420相关，其中交通工具420违反了交通工具420与前方对象之间的安全距离。对于该事件，优先对待关键事件模块250通过将道路440上的附近交通工具420的图像放置在其相对于自我交通工具410的位置处、示出交通工具420与前方对象之间的不安全距离测量的双箭头以及指示事件的类型/名称(例如，违反安全距离)和自事件发生以来所经过的时间(例如，3秒)的消息框425来对事件数据进行概括。另一事件与经历了传感器故障的自我交通工具410相关(顺便说一下，这是触发自动驾驶系统确定将自我交通工具410的控制权移交给人类驾驶员的原因)。对于该事件，优先对待关键事件模块250通过将道路440上的自我交通工具410的图像放置在其相对于交通工具420的当前位置处以及指示事件的类型/名称(例如，传感器故障)的消息框415和自事件发生以来所经过的时间(例如，现在)来对事件数据进行概括。
如在单个帧400中还可以看到，优先对待关键事件模块250基于自事件发生以来所经过的时间改变了与关键事件相关联的每个交通工具的透明度。因此，自我交通工具410利用粗线着深色以在视觉上指示其与最近的事件相关联，而交通工具420利用细线着浅色以在视觉上指示其与几秒钟前发生的事件相关联。当然，单个帧400仅是在单个图像中概括多个关键事件(以及与这些事件相关联的数据)的示例性方式，并且应该领会，优先对待关键事件模块250可以使用不同的文本、视角、视觉辅助设备等来概括与多个关键事件相关联的信息，以便有效地将信息传递给人类驾驶员。
一旦被概括，优先对待关键事件模块250(返回到图2)可以将经概括的(多个)关键事件传递给呈现关键事件模块260，以用于将其传递给驾驶员(例如，将其显示在屏幕上(例如，在车载信息娱乐系统上))以供驾驶员消费，如下文更详细地讨论。
呈现关键事件模块260可以从优先对待关键事件模块250接收经概括的图像序列和/或序列的文本描述，并且以有效的方式将其准备好以用于呈现给驾驶员。作为准备的一部分，呈现关键事件模块260可以确定或被通知待移交的紧急性。例如，如果必须快速地完成移交，那么呈现信息的可用时间更短，并且呈现必须被减少以适配在短的时间帧内，并且呈现关键事件模块260可能需要使用例如呈现更短的、不太详细的信息版本，同时仍然以最少的阻碍性方式传递关键信息的最大努力方法压缩信息。如果移交不是紧急的，则呈现关键事件模块260可以以较长的、更详细的呈现方式来呈现信息。
呈现关键事件模块260可以使用紧急性来确定呈现的时间窗口的边界。时间窗口的最大边界可以取决于例如可用于移交的时间量(例如，在交通工具必须将交通工具的控制权释放给人类驾驶员之前呈现信息会是安全的最大时间量)。时间窗口的最小边界可能取决于以足够的质量(例如，以100％、75％或50％的质量)向驾驶员传递关键事件所需的最小时间，同时考虑必须显示的事件数量和每个事件的长度。如果重放所需的最小时间超过最大边界，则呈现关键事件模块260可以通过移除与事件有关的信息或通过例如遵循优先级方案来压缩所需的时间，以仅包括适配最大边界内的最高优先级事件。呈现关键事件模块260通过对序列中的帧的子集进行采样(例如，通过使用同构子采样的快速采样和/或通过移除不太重要帧的、基于每个帧的帧重要性的基于优先级的采样)来移除与关键事件有关的信息。呈现关键事件模块260可以通过使用每个事件的优先级来选择用于包含在呈现中的关键事件(例如，选择用于包含在呈现中的最高优先级的事件，并选择优先级层次体系中的下一事件(或多个事件)，直到达到呈现时间的最大边界)。
呈现关键事件模块260可以基于已经被例如乘客监测模块240监测到的乘客的属性来适配呈现的格式。例如，呈现关键事件模块260可以根据交通工具内的乘客的当前位置来更新格式。因此，如果乘客监测模块240报告驾驶员在移交被请求时坐在驾驶员座椅上并看向前面，则呈现关键事件模块260可以适配要在交通工具显示区域中从基于交通工具的视角被渲染的关键事件的呈现的格式。类似地，乘客监测模块240可以向呈现关键事件模块260报告，乘客在移交被请求时正在观看个人设备(例如，智能电话或膝上型电脑)，因此呈现关键事件模块260可以将格式适配为鸟瞰图，并将其发送到用户的个人设备。
呈现关键事件模块260可以接受来自乘客的对查看呈现和/或从替代视点或以替代形式或格式重新渲染呈现的请求。另外，如果呈现关键事件模块260接收到来自乘客监测模块240的、乘客的属性已经改变或者乘客可能已经错过了呈现(例如，在呈现时，乘客正在向驾驶员座椅移动)的信息，则考虑到乘客的经更新的属性(例如，针对乘客的新位置、交通工具的当前位置等适配呈现的格式)，呈现关键事件模块260可以重放呈现。
图5显示可以描绘关键事件和相关联的元数据的示例性增强型图像序列500。系统可以在存储模块中生成图像序列500(例如，上文关于系统200所描述的存储关键事件模块230)，并且可以在优先级排序(例如，上文关于系统200所描述的优先对待关键事件模块250)和/或呈现模块(例如，上文关于系统200所描述的呈现关键事件模块260)中修改图像序列500。在该特定的示例中，应理解，关键事件是在自我交通工具(交通工具565)前面的道路上的另一交通工具(交通工具515)，其中系统检测到该另一交通工具显示出意料之外的/不安全的行为。如图5所描绘，图像序列500可由关键事件的多个视角组成，其中一个视角可以是从坐在驾驶员座椅上的驾驶员的角度的前相机视图，并且另一视角可以是从交通工具上方的角度的鸟瞰图。前相机视图角度被描绘为一系列图像(前方图像序列510)，这些图像中的每一个图像显示在不同的时间点上的交通工具515(其中增加的时间在水平轴上在t＝0、t＝1、t＝2、...、t＝5处从左到右绘制)。类似地，鸟瞰图角度被描绘在第二系列图像(鸟瞰图像序列550)中，这些图像中的每一个图像显示与自我交通工具565(自我交通工具565在每个图像的底部)相比，在不同时间点的交通工具515。
从鸟瞰图像序列550中应很好理解，系统可以增强图像序列，使得它们不仅仅显示原始数据(例如，来自交通工具565上的相机的原始相机图像)，而是可以是基于(多个)传感器数据的所生成的场景的描述。该系统可能例如基于来自多个传感器的传感器数据创建了鸟瞰图像序列550中的增强型图像中的每一个增强型图像，以生成不存在相机的鸟瞰视角(例如，在自我的交通工具上可能不存在鸟瞰相机来捕获该视角)。系统可以以其他方式(包括例如，突出显示某些图像帧、添加标识对象的标注、添加对象的跟踪信息，等等)增强图像序列或序列中的单个图像帧。鸟瞰图像序列550包括，例如以轨迹575的形式的增强，轨迹575描绘交通工具565随时间的移动轨迹，使得随着时间的增加，轨迹的长度增加。
另外，增强型图像序列500可以(例如，在增强型图像中)包括(例如，描绘)或利用与关键事件相关联的元数据中的任何元数据。例如，在增强型图像序列500中，元数据被显示为前方图像序列510和鸟瞰图像序列550下的文本框360。文本框360显示例如事件的类别(例如，“不稳定的交通工具”)、事件的持续时间(例如，3秒)、发生的时间(例如，“上午12点”)、事件的位置(例如，纬度20.66682和经度103.39182)、图像序列中的每个帧的相对重要性(例如，时间0处的帧具有相对重要性0、时间1处的帧具有相对重要性2、时间2处的帧具有相对重要性10、时间3处的帧具有相对重要性10、时间4处的帧具有相对重要性2、时间5处的帧具有相对重要性10)以及图像的视角(例如，前相机视图为第一序列(例如，前方图像序列510)、鸟瞰视图为第二序列(例如，鸟瞰图像序列550))。当然，系统可以例如通过标记、着色、跟踪、修改、突出显示等使用元数据在视觉上概括图像帧。
如上文关于交通工具移交系统200所解释(参见图2)，存储关键事件模块230、优先对待关键事件模块250和呈现关键事件模块260可以接收来自乘客监测模块240的输入。乘客监测模块240可以监测乘客的属性，包括例如乘客的注意力、交通工具中的乘客的位置、乘客的反应时间、乘客的潜在混淆状态和/或乘客的可能与移交相关的任何其他属性。
乘客监测模块240可监测的乘客属性的一个示例是乘客的反应时间。例如，如果发生需要自动化驾驶系统将交通工具的控制权移交给驾驶员的事件，则乘客监测模块240可以估计乘客的响应时间，并且还可以确定特定事件的所需响应时间。预期响应时间和/或所需响应时间可由例如存储关键事件模块230用于做出与要存储哪些事件、哪些元数据应与事件一起存储以及所存储的事件的时间段有关的决策。作为另一示例，预期响应时间和/或所需响应时间可由优先对待关键事件模块250用于做出与哪些事件要优先对待以及如何将与每个事件相关联的数据进行概括有关的决策。作为另一示例，交通工具移交系统200可以使用预期响应时间和/或所需响应时间，以便确定例如移交所需的时间量和/或鉴于(多个)预期/所需响应时间、移交究竟是否应当进行。
通过观察乘客对先前事件如何进行响应(例如，将驾驶员的实际响应与对某一事件或模拟事件的预期响应进行比较)、观察交通工具的当前环境(例如，天气、光照条件、道路几何形状、附近对象等)、交通工具内的乘客的当前状态/注意力(例如，视场、注意力的焦点、交通工具舱中的令人分心的噪声、驾驶员的简档等)和/或通过将信息与基于地图的信息相关，乘客监测模块240可以估计乘客的响应时间并且还可以确定特定事件的所需响应时间。
图6示出用于预测乘客的预期响应时间并且用于确定在交通工具的特定地理位置和情形下的所需响应时间的响应时间系统600的示例性流程图，该响应时间系统600可被实现为乘客监测模块240的一部分(参见图2)。响应时间系统600可以例如在监测反应模块610中监测乘客对某些事件的反应，以便向响应时间计算模块640提供乘客的经验响应时间。例如，监测反应模块610可以检测被监测的事件，并且随后测量乘客对该特定事件进行响应有多快。为了作出此种确定，监测反应模块610可以使用定义的事件类别和每个类别的相关联的响应动作的列表。然后，监测反应模块610可以将响应时间计算为被监测的事件发生与乘客执行响应动作之间的时间。为了检测被监测的事件，监测反应模块610可以使用来自感测环境、交通工具的移动、检测对象等的多个交通工具传感器和/或交通工具系统(例如，相机、LiDAR传感器、交通工具位置传感器、交通工具速度传感器、加速计、陀螺仪等)中的任何交通工具传感器和/或交通工具系统的数据。一旦监测反应模块610检测到被监测的事件，它就可以(例如，经由事件和/或事件类别的查询表)确定与该事件相关联的预定义响应动作。
图7示出监测反应模块610(参见图6)如何使用事件来获得特定的所监测事件的经验响应时间的实现方式的示例性流程图700。在710中，例如，事件发生，该事件可能是可测量的事件。作为一个示例，这可能是交通信号灯在交通工具停车时从红色变为绿色。在系统方面，在725中，系统(例如，图6的监测反应模块610)检测到交通信号灯变为绿色，并且在735中确定交通信号灯改变的相关联的响应动作是驾驶员压下加速器，使得交通工具开始移动。在人类驾驶员方面，在事件发生之后，在720中，驾驶员会花费某一时间量来感知该事件，并且在730中，实施适当的响应动作。在740中，通过计算所监测的事件发生之后人类驾驶员采取动作所花费的时间来计算响应时间。
返回到图6，监测反应模块610可以监测众多类型的事件，不仅是上文关于图7所描述的示例交通信号灯事件，而且还有更细微和/或更复杂的事件/响应动作。例如，所监测的事件可以包括需要速度改变的新道路状况或新限速标志(例如，交通标志事件)、交通工具应让行的接近的对象(例如，具有更高优先级的交通状况或接近的交通工具(例如，通行权事件)、需要制动、减速、加速或变道动作的意料之外的对象(例如，停车事件、转向事件、减速事件、加速事件等)的出现和/或需要减速和转动方向盘的动作的接近的弯道事件(例如，转向事件)。除了实际事件之外，这些事件可以由监测反应模块610模拟。例如，交通工具可以将模拟事件生成为显示给驾驶员的警告消息(或可听音调或消息)，并且相关联的响应动作可以包括按下所请求的按钮或提供可听确认。模拟事件也可以包括与特定事件场景有关的问题，其中响应动作用于选择对问题的正确响应，并且经验响应时间是驾驶员进行正确地回应所花费的时间。
监测反应模块610可以测量乘客的任何数量的经验响应时间，并且将它们提供给响应时间计算模块640。如果监测反应模块610针对给定的乘客进行众多经验响应测量，则响应时间计算模块640可以估计特定乘客的平均反应时间。平均反应时间可以是所有事件的平均反应时间，或者响应时间计算模块640可以将每个事件分类为更大的事件类别(例如，交通标志/信号灯事件、交叉路口/优先级事件、意料之外的/突然制动的事件等)，使得响应时间计算模块640可以计算出事件类别的平均反应时间。该平均数可以是简单的平均数或者可以是移动平均数，其中，移动平均数可以帮助减少任何一个特定事件(例如，慢反应时间的单个实例)对总平均数的影响。可能的移动平均数可被计算为ρ新的＝αρ事件+(1-α)ρ旧的，其中α是加权因子，并且ρ新的是新的平均响应时间，ρ事件是当前事件的响应时间，并且ρ旧的是先前的平均响应时间。
响应时间系统600还可以确定环境评级，例如在620中，环境评级可以被提供给响应时间计算模块640并在该响应时间计算模块640中使用。因为驾驶时的人类响应时间可能取决于交通工具的当前环境(例如，在交通工具处所经历的或正接近的天气、交通工具处的或正接近的光线水平/状况、道路几何形状、道路类型、交通工具的速度、交通工具处的空气温度、附近对象的存在等)，响应时间计算模块640可以使用来自环境评级模块620的输入来计算预期响应时间。可由环境评级模块620提供的环境评级的一个示例是可见度评级。例如，环境评级模块620可以检测低对比度的区域(例如，由阴影、黄昏掩盖的区域)或者检测可能影响人类驾驶员的眼睛调整速度的区域(例如，从非常明亮的环境快速切换到非常黑暗的环境的区域)，并且随后计算响应时间计算模块640可以将其用于对响应时间进行评级的可见度评级因子。
作为可由环境评级模块620提供的环境评级的另一个示例是拥挤度评级。例如，环境评级模块620可以检测环境中的对象的数量、正在移动的对象的数量、对象之间的距离、交通工具附近的对象流等，并且随后计算拥挤度评级因子，该拥挤度评级因子可被提供给响应时间计算模块640，以用于对响应时间进行评级。可由环境评级模块620提供的环境评级的另一示例是遮挡评级。例如，环境评级模块620可以定位由于驾驶员的视线被阻挡而可能具有对象突然出现的较高风险的被遮挡的区域。遮挡评级可以(例如，通过跟踪驾驶员的头部、眼睛等)考虑到驾驶员是否是专注的或频繁地检查被遮挡的区域，因为如果驾驶员专注于被遮挡的区域，则驾驶员可能对从被遮挡的区域后面突然出现的对象做出反应准备更充分(例如，更快的响应时间)。另一方面，如果驾驶员没有花费很多时间观看被遮挡的区域，则驾驶员可能对从被遮挡的区域后面突然出现的对象做出反应准备不足(例如，反应时间较慢)。
响应时间系统600还可以确定交通工具内评级，例如在630中，交通工具内评级可以被提供给响应时间计算模块640并在该响应时间计算模块640中使用。因为驾驶时的人类响应时间可能取决于驾驶员的注意力评级(例如，基于与乘客有关的观察到的特性，诸如头部方向、眼睛方向、身体姿势、心率、非驾驶活动(例如，次要活动，诸如打电话、改变收音机、与另一乘客交谈、喝饮料或吃食物等)、交通工具舱内的噪声、驾驶习惯等)，响应时间计算模块640可以使用来自交通工具内评级模块630的输入来计算预期响应时间。例如，驾驶员的头部方向可由交通工具内传感器(例如，相机)检测，以估计驾驶员的注意力集中在哪个方向。类似的感测可以检测眼睛方向和身体姿势，以基于这些交通工具内观察来对驾驶员的注意力进行评级。例如，交通工具内评级模块630可以根据观察到的驾驶员的头部、眼睛、身体姿势等的特性确定驾驶员的预期视场，其中，对于在视场中心的附近发生的事件，响应时间的交通工具内评级可能更快，并且对于在视场外周的附近发生的事件，响应时间的交通工具内评级可能更慢。作为另一示例，交通工具内评级模块630也可以例如，通过观察驾驶员是否将他/她的头转向声音(例如，喇叭或紧急交通工具警报器)来监测驾驶员对外部事件的反应，以提供响应时间的评级。
交通工具内评级模块630可以连续地/重复地监测(例如，交通工具的当前环境/操作的情境中的)驾驶员的状态，以使用随时间推移的任何数量的观察来确定交通工具内评级。例如，认识到响应时间可能取决于年龄(例如，更年轻的乘客可能比老年乘客具有更快的响应)、驾驶风格、生理学(例如，具有较短的腿/胳膊的人可能无法快速地反应)或其他驾驶员观察/人口统计学，交通工具内评级模块630可以使用驾驶员简档来提供交通工具内评级。这些驾驶员观察可与其他类型的乘客观察结果组合，以得出交通工具内评级。例如，人的身体姿势或相对于方向盘的位置可能改善评级或使评级变糟(例如，具有较短手臂的驾驶员可能具有较慢的评级，除非他们坐得更靠近于方向盘以进行补偿)。作为另一示例，心率可能会影响评级，如果人具有低的心率，那么他的评级可能会降低，因为这个人可能接近打瞌睡并且具有较慢的反应时间。作为另一示例，交通工具内的人的活动可能会影响评级，因为频繁地控制收音机、查看智能电话、打喷嚏和/或在热烈讨论中的乘客，其响应时间可能更长，所以交通工具内评级模块630可以相应地调整评级。作为另一示例，交通工具内评级模块630可以随着时间的推移监测驾驶员的驾驶行为以通知交通工具内评级。例如，如果交通工具内评级模块630确定驾驶员在不转向和突然转向之间频繁地切换，这表明高分心级别以及差的响应时间，所以交通工具内评级模块630可以相应地调整评级。
响应时间系统600还可以收集基于地图的数据，例如在650中，基于地图的数据可以被提供给响应时间计算模块640并在该响应时间计算模块640中使用。例如，所需响应时间可能取决于道路位置、结构和周围的对象，其中这些基于地图的因子可能影响驾驶员看到不可预见的事件并且对不可预见的事件做出反应的能力。例如，在农村地区的笔直道路上，所需响应时间可能(例如，由于缺乏刺激)比在城市地区中的交叉路口或人行横道处(例如，其中存在许多刺激，以使驾驶员集中于对事件做出反应)的响应时间更长。所需响应时间可能取决于其他基于地图的数据，诸如道路是否靠近于学校、是否充满了商业广告牌或其他分散注意力的对象或者是否是令人困惑的交叉路口的一部分。基于地图的预测模块650可以使用此类基于地图的数据来确定基于地图的所需响应时间预测。
基于地图的预测模块650可以使用多层式方法来确定基于地图的所需响应时间。第一层可以包括静态地图数据(例如，预生成的响应时间地图)，第二层可以包括环境数据(例如，依赖于环境的响应时间地图)，第三层可以包括驾驶员数据/预测数据(例如，用于交通工具的驾驶员的依赖于驾驶员的响应时间地图)，并且第四层可以包括其他驾驶员数据/预测数据(例如，基于地图位置处的其他驾驶员的响应(例如，平均驾驶员响应时间)的共享响应时间地图)。这些层中的任何层、一些层或所有层可用于生成、确认或调整所得的基于地图的所需响应时间。基于地图的预测模块650可以使用在本地上(例如，在交通工具处)存储的数据或基于地图的预测模块650从基于云的服务获得的数据。具体而言，包括其他驾驶员数据/预测数据的第四层可能特别适于基于云的服务，鉴于该数据可能包括来自其他驾驶员和外部源的共享数据。
在静态地图层(例如，第一层)中，基于地图的预测模块650可以生成给定地图位置的所需响应时间。静态地图层可以使用道路几何形状/布局、附近的对象(例如，可能由于遮挡、速度限制或在地图位置处发生的事件的频率而影响响应时间的建筑物、植被、广告牌)。例如，在具有交通信号灯的用信号指示的交叉路口处，所需响应时间可能会更低(更快)，因为当交通信号灯变红时，驾驶员可能需要快速地做出反应。
在环境数据层(例如，第二层)中，基于地图的预测模块650可以基于交通工具在特定地图位置处的环境来调整所需响应时间。环境数据层可以接收从任何数量的传感器(作为示例，包括相机、光检测和测距(light detection and ranging,LiDAR)传感器、交通工具位置传感器、交通工具速度传感器、加速度计、陀螺仪等)本地获得的或从外部源获得的与交通工具周围的环境、交通工具的移动以及接近交通工具的对象的移动有关的所感测的、所记录的和/或所跟踪的信息。例如，环境数据层可以基于一天中的时间(例如，在白天期间可能需要更快的响应时间(例如，在学生可能出现的时间在有学校的位置处/附近))、基于天气(例如，由于暴雨期间较低的能见度，可能需要更快的响应时间)和/或基于该位置的景观(例如，开放道路与森林道路)来调整地图位置的所需响应时间。当然，环境数据层可以使用任何数量的环境因子来调整地图位置处的所需响应时间，并且每个环境因素在被组合考虑时，可能具有不同的影响(例如，恶劣天气可能取决于位置处的景观而对反应时间具有不同的影响)。
在驾驶员数据/预测层(例如，第三层)中，基于地图的预测模块650可以基于可能与特定地图位置相关的驾驶员观察来调整所需响应时间。例如，如果驾驶员数据/预测层了解到驾驶员在特定的地图位置处可能会分心(例如，驾驶员对在该位置处做广告的某个品牌的商品感兴趣、或者驾驶员在该位置具有零售店、或者如果驾驶员具有居住在该地图位置附近的朋友)，驾驶员数据/预测层可以调整所需响应时间以考虑到驾驶员在该位置处的潜在分心。驾驶员数据/预测层还可用于基于驾驶员数据/预测层中的特定于驾驶员的数据来对静态地图层(例如第一层)和/或环境数据层(例如第二层)中生成的/调整的响应时间进行标准化。例如，如果驾驶员数据/预测层确定驾驶员是具有较高响应时间的年老驾驶员，则驾驶员数据/预测层可以增加与地图数据相关联的所有的所需响应时间。
在另一个驾驶员数据/预测层(例如，第四层)中，基于地图的预测模块650可以基于与其他驾驶员在特定地图位置处的反应时间有关的信息来调整所需响应时间。如前所述，该层可能特别适于利用基于云的数据储存库，使得驾驶员响应时间可以从许多其他驾驶员中进行聚合(例如，众包)，并且使得由响应时间计算模块640计算出的响应时间可能被(匿名)发送到基于云的储存库，其中该层可以应用学习算法(例如，神经网络)以基于每个测量的影响来改善对响应时间的调整。基于云的数据储存库可以包括与每个驾驶员的响应时间相关联的空间属性、时间属性和事件属性，使得其他驾驶员数据/预测层可以使用该数据来完善一天中的特定时间的特定地图位置的所需的响应时间。例如，与黄昏时的森林道路相关联的基于云的数据可指示许多其他驾驶员在一天中的该时间经历了与该地图位置相关联的紧急制动事件或事故(例如，由于鹿穿过道路)。因此，例如，出于安全性原因，预计会有类似事件发生，其他驾驶员数据/预测层可以减少该地图位置的所需响应时间，使得其低于阈值水平。其他驾驶员数据/预测层也可以利用或提供与特定驾驶员相关联的用户简档数据，使得特定于驾驶员的调整可以跟随驾驶员从一个交通工具到另一交通工具。
响应时间系统600可以例如在640中使用接收自基于地图的预测模块650的信息(和/或来自监测反应模块610、环境评级模块620和/或交通工具内评级模块610的评级)来确定乘客的预测响应时间和在特定交通工具位置处的交通工具/驾驶员的情形的所需响应时间。响应时间计算模块640可以位于交通工具中(例如，机载处理器/存储器)，或者可以基于云。基于从其他模块接收到的信息，响应时间计算模块640可以使用预测算法来根据例如以下等式计算乘客的预测响应时间(ρtotal)。
ρtotal＝max{ρmin，(ρdriver-ρdriver，baseline)+ρmap+ρin-vehicle}
在以上示例性等式中，ρmin是最小响应时间(例如，基于由监管机构针对从自动驾驶模式到手动驾驶模式的最小移交时间而设定的最小时间)。ρdriver是对特定驾驶员唯一的响应时间评级，ρdriver被偏移了与(例如，来自监测反应模块610的)特定情形/环境相关联的基线响应时间评级ρdriver，baseline。ρmap是对地图位置/(例如，来自环境评级模块620的)环境评级的响应时间调整，并且ρun-vehucle是对(例如，来自交通工具内评级模块630的)交通工具内评级的调整。
如上所述，响应时间系统600可被实现为交通工具移交系统的乘客监测模块240(参见图2)的一部分。除了向交通工具移交系统提供响应时间之外，响应时间系统600还可以向其他类型的交通工具系统(诸如确定交通工具是否应该采取动作(例如，制动、转动方向盘、减速等)的交通工具安全性系统)提供乘客响应时间。例如，如果乘客对某一特定事件做出反应的预期响应时间超过了由交通工具安全性系统确定的安全响应时间，则交通工具可以执行所需的动作，而不是等待驾驶员做出反应。
在另一方面，响应时间系统600还可以将给定地图位置和给定交通工具情形的乘客响应时间提供给自动化驾驶系统，以确定自动化驾驶系统的参数。例如，如果所预测的乘客响应时间比交通工具情形的最小所需响应时间长(例如，慢)，则自动驾驶系统可以使用响应时间来限制驾驶参数(例如，设置最大速度)或完全禁用自动化驾驶系统。作为示例，假设交通工具处于自动驾驶模式，并且接近具有遮挡物的弯曲道路。如果驾驶员分心，则响应时间系统600可能报告比当前状况的所需响应时间更长的乘客响应时间。所以，如果有必要的话，驾驶员可能无法安全地承担对弯道中的交通工具的控制权。因此，系统可以(例如，利用声音警报、视觉警报或触觉警报)警告驾驶员、(例如，通过请求驾驶员按下按钮或说出可听答复)要求驾驶员确认他/她的焦点和/或完全禁用自动驾驶功能(例如，使交通工具安全地停车)。
尽管上文已关于确定自我交通工具的驾驶员响应时间描述了响应时间系统600，但响应时间系统600不限于该方面。响应时间系统600可以基于相同类型的分析来分析行人或其他交通参与者的响应时间。响应时间系统600可以将这些其他目标(例如，行人或其他交通参与者)的响应时间信息提供给交通工具的安全性系统(例如，以确定特定对象预期对特定场景/群集中的其他对象做出反应有多快)或提供给基础设施装备(例如，交通监测装备、交通信号灯等)，以便让它们分析整体情形和/或将所计算的响应时间发布给其他交通参与者。
如上文所述，乘客监测模块240(参见图2)可以监测众多类型的事件(包括模拟事件)和乘客对这些事件的反应，以确定例如乘客的响应时间(例如，参见上文关于图6和图7的讨论)。除了响应时间之外，乘客监测模块240可以使用该基于事件的信息来确定乘客是否对交通工具的当前情形感到困惑(例如，乘客的“模式混淆”)。例如，如果预期乘客对某一事件做出特定的反应(例如，对接近的弯道或道路上出现的对象转动方向盘)，但替代地做出不同的反应(例如，执行不安全的动作或未能进行动作)，则乘客监测模块240可以确定乘客正遭受模式混淆。如上所述，乘客监测模块240可以生成模拟事件，以衡量乘客是否获悉交通工具的当前情形或乘客是否正遭受模式混乱。例如，乘客监测模块240可以显示警告消息(例如，在显示屏上显示警告消息或将警告消息显示为可听音调/语音)，该警告消息请求特定的响应(例如，按下某个按钮或说出某个可听响应)，并且如果乘客提供不正确的响应(例如，按下不同的按钮、不进行响应或提供意料之外的可听响应)，则乘客监测模块240可以确定模式混淆。
模拟事件还可以包括所提出的与特定事件场景有关的问题，该问题具有预期答案(例如，来自可能的答案的多选列表中的正确答案)，并且如果乘客提供不正确的答案(例如，从多选列表中选择错误的答案)，则乘客监测模块240可以确定模式混淆。如果存在模式混淆，则交通工具移交系统200可以拒绝将交通工具的控制权从自动驾驶模式移交给模式混淆的乘客。另外，模式混淆可由存储关键事件模块230、优先对待关键事件模块250和/或呈现关键事件模块260使用，以确定哪些事件应被存储、被优先对待或被呈现和该事件被存储、被优先对待或被呈现到何种程度(例如，事件的长度、事件的优先级和事件中的信息长度/概括，取决于乘客是否在重复出现的情形下频繁地表现出模式混淆)。
图8是图示出用于辅助交通工具移交的设备800的示意图。该设备800可以包括上述特征中的任何特征。图8可以被实现为当其被执行时执行上述特征的装置、方法和/或计算机可读介质。应当理解，设备800仅是示例，并且包括例如不同的组件或附加的组件的其他配置是可能的。
设备800包括交通工具移交系统810。交通工具移交系统810包括处理器820。除了以下段落中描述的特征中的任何特征之外或与以下段落中描述的特征中的任何特征的组合，交通工具移交系统810的处理器820被配置成用于监测交通工具的环境。处理器820还被配置成用于接收将交通工具的控制权从自动化驾驶模式改变给交通工具的乘客的转变请求。处理器820还被配置成用于检测可能与转变请求相关的关键事件。该关键事件基于被监测的环境。处理器820还被配置成用于生成移交场景，该移交场景包括与该关键事件相关联的图像。该图像包括在关键事件的时间段内的图像序列。在交通工具的控制权从自动化驾驶模式改变为乘客之前，处理器820还被配置成用于向乘客显示移交场景。
此外，除了关于交通工具移交系统810的本段落和/或前面段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面段落的特征中的任何特征的组合，关键事件可以包括以下各项中的至少一项：已经导致或可能导致交通工具的轨迹改变的移动事件、交通工具的被监测的环境中观察到的交通工具的意料之外的行为事件和/或包括交通工具的、不符合交通工具的预期操作条件的操作设定点的外部操作域事件。此外，除了关于交通工具移交系统810的本段落和/或前面段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面段落的特征中的任何特征的组合，图像可进一步包括与关键事件相关联的事件元数据。该事件元数据包括以下各项中的至少一项：关键事件的种类、关键事件的时间、关键事件的位置、关键事件的持续时间、与关键事件相关联的图像中的每个图像的重要性和/或与关键事件相关联的图像中的每个图像的图像观点。此外，除了关于交通工具移交系统810的本段落和/或前面段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面段落的特征中的任何特征的组合，图像可以根据与交通工具有关的传感器数据生成。此外，除了关于交通工具移交系统810的本段落和/或前面段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面段落的特征中的任何特征的组合，图像可以包括根据至少一个相机图像生成的增强型图像序列，该至少一个相机图像可以利用事件元数据进行增强。
此外，除了关于交通工具移交系统810的本段落和/或前面段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面段落的特征中的任何特征的组合，移交场景可以包括与乘客的乘客视点相对应的多个视角。此外，除了关于交通工具移交系统810的本段落和/或前面段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面段落的特征中的任何特征的组合，多个视角可以包括交通工具的前向相机视角、鸟瞰视角和/或基于地图的视角。此外，除了关于交通工具移交系统810的本段落和/或前面段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面段落的特征中的任何特征的组合，移交场景可以包括由与多个关键事件相关联的图像和/或事件元数据形成的静态图像。此外，除了关于交通工具移交系统810的本段落和/或前面段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面段落的特征中的任何特征的组合，静态图像可以包括以下各项中的至少一项：与多个关键事件相关联的图像中的一个图像的单个帧和/或基于叠加与多个关键事件相关联的图像中的一个或多个图像的经叠加的图像。
此外，除了关于交通工具移交系统810的本段落和/或前面三个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面三个段落的特征中的任何特征的组合，移交场景进一步可包括与图像相关联的文本。该文本可以使用多模态概括系统从图像中生成。此外，除了关于交通工具移交系统810的本段落和/或前面三个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面三个段落的特征中的任何特征的组合，该文本可包括关键事件的描述和关键事件发生的时间。此外，除了关于交通工具移交系统810的本段落和/或前面三个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面三个段落的特征中的任何特征的组合，该文本可包括可通过交通工具的音频系统向乘客用言辞表达的关键事件的描述。此外，除了关于交通工具移交系统810的本段落和/或前面三个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面三个段落的特征中的任何特征的组合，时间可以是自关键事件发生以来所经过的时间。
此外，除了关于交通工具移交系统810的本段落和/或前面四个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面四个段落的特征中的任何特征的组合，关键事件可被分配优先级，该优先级与关键事件相比于交通工具的当前情形的重要性相对应。此外，除了关于交通工具移交系统810的本段落和/或前面四个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面四个段落的特征中的任何特征的组合，该优先级可以基于以下各项中的至少一项：自关键事件发生以来所经过的时间、关键事件的类别、从关键事件的事件位置到交通工具的当前位置的距离和/或乘客已经知晓该关键事件的可能性。此外，除了关于交通工具移交系统810的本段落和/或前面四个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面四个段落的特征中的任何特征的组合，交通工具的当前位置可以包括在所经过的时间之后交通工具的预期位置。此外，除了关于交通工具移交系统810的本段落和/或前面四个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面四个段落的特征中的任何特征的组合，处理器820可以进一步被配置成用于监测乘客以确定乘客已经知晓关键事件的可能性。
此外，除了关于交通工具移交系统810的本段落和/或前面五个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面五个段落的特征中的任何特征的组合，处理器820可进一步被配置成用于确定用于向乘客呈现移交场景的呈现持续时间。呈现持续时间可以取决于转变请求的紧急性。此外，除了关于交通工具移交系统810的本段落和/或前面五个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面五个段落的特征中的任何特征的组合，处理器820可进一步被配置成用于压缩移交场景的长度以适配在呈现持续时间内。此外，除了关于交通工具移交系统810的本段落和/或前面五个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面五个段落的特征中的任何特征的组合，压缩长度可以基于与图像相关联的图像数据的部分对关键事件的重要性而从移交场景中移除该部分。此外，除了关于交通工具移交系统810的本段落和/或前面五个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面五个段落的特征中的任何特征的组合，移交场景可以包括多个关键事件。压缩长度可被配置成用于基于该多个关键事件中的至少一个关键事件的优先级从移交场景中移除该至少一个关键事件。
此外，除了关于交通工具移交系统810的本段落和/或前面六个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面六个段落的特征中的任何特征的组合，处理器820可进一步被配置成用于将移交场景存储为所存储的移交场景，并且用于基于对审查所存储的移交场景的请求来向乘客显示所存储的移交场景。此外，除了关于交通工具移交系统810的本段落和/或前面六个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面六个段落的特征中的任何特征的组合，生成移交场景可以取决于乘客的预期响应时间。此外，除了关于交通工具移交系统810的本段落和/或前面六个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面六个段落的特征中的任何特征的组合，预期响应时间可基于乘客对多个被监测的事件的平均响应时间。此外，除了关于交通工具移交系统810的本段落和/或前面六个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面六个段落的特征中的任何特征的组合，多个被监测的事件可以包括以下各项中的至少一项：交通标志事件、通行权事件、停车事件、转向事件、减速事件和/或加速事件。
此外，除了关于交通工具移交系统810的本段落和/或前面七个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面七个段落的特征中的任何特征的组合，预期响应时间可基于交通工具的被监测的环境的环境评级来调整。此外，除了关于交通工具移交系统810的本段落和/或前面七个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面七个段落的特征中的任何特征的组合，被监测的环境可包括以下各项中的至少一项：在交通工具处经历的天气事件、交通工具上的光照水平事件、交通工具附近的交通流、交通工具附近交通的交通密度、交通工具的速度、道路几何形状、道路类型和/或交通工具处的空气温度。此外，除了关于交通工具移交系统810的本段落和/或前面七个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面七个段落的特征中的任何特征的组合，预期响应时间可基于乘客的注意力评级来调整，该乘客的注意力评级取决于乘客的观察到的特性。此外，除了关于交通工具移交系统810的本段落和/或前面七个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面七个段落的特征中的任何特征的组合，乘客的观察到的特性可以包括以下各项中的至少一项：乘客的注视、乘客的头部移动、乘客的年龄、乘客的广告偏好、乘客的身体姿势、乘客的身体形状、乘客的身体大小、乘客的心率、乘客的非驾驶活动、乘客的驾驶质量和/或交通工具内部的噪声水平。
此外，除了关于交通工具移交系统810的本段落和/或前面八个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面八个段落的特征中的任何特征的组合，乘客的非驾驶活动可以包括乘客所参与的次要活动。此外，除了关于交通工具移交系统810的本段落和/或前面八个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面八个段落的特征中的任何特征的组合，预期响应时间可基于交通工具的地理位置和与该地理位置相关联的基于地图的信息来调整。此外，除了关于交通工具移交系统810的本段落和/或前面八个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面八个段落的特征中的任何特征的组合，基于地图的信息可以包括以下各项中的至少一项：道路曲率、道路能见度、附近对象的密度和/或地理位置处的道路质量。此外，除了关于交通工具移交系统810的本段落和/或前面八个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面八个段落的特征中的任何特征的组合，基于地图的信息可包括与地理位置的平均反应时间相关联的基线反应时间偏移。此外，除了关于交通工具移交系统810的本段落和/或前面八个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面八个段落的特征中的任何特征的组合，平均响应时间可以被存储在与乘客相关联的平均响应时间数据库中。平均响应时间的数据库可以利用经调整的预期响应时间来更新。
此外，除了关于交通工具移交系统810的本段落和/或前面九个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面九个段落的特征中的任何特征的组合，平均响应时间的数据库可以包括与其他驾驶员相关联的平均响应时间。此外，除了关于交通工具移交系统810的本段落和/或前面九个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面九个段落的特征中的任何特征的组合，处理器820可进一步被配置成用于确定实现将交通工具的控制权改变给乘客的转变请求所需的最小响应时间。此外，除了关于交通工具移交系统810的本段落和/或前面九个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面九个段落的特征中的任何特征的组合，关键事件的时间段内的图像序列可基于最小响应时间。此外，除了关于交通工具移交系统810的本段落和/或前面九个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面九个段落的特征中的任何特征的组合，如果预期响应时间比最小响应时间慢，则交通工具移交系统810可拒绝针对转变的请求。此外，除了关于交通工具移交系统810的本段落和/或前面九个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面九个段落的特征中的任何特征的组合，如果预期响应时间比最小响应时间快，则交通工具移交系统810可继续进行所请求的转变。
此外，除了关于交通工具移交系统810的本段落和/或前面十个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面十个段落的特征中的任何特征的组合，乘客的观察到的特性可以包括乘客的模式混淆。该模式混淆可以基于将乘客的预期动作与乘客的观察到的动作进行比较来确定。此外，除了关于交通工具移交系统810的本段落和/或前面十个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面十个段落的特征中的任何特征的组合，预期动作可包括对向乘客提出的与模拟驾驶情况有关的问题的预期响应。观察到的动作可以包括来自驾驶员的、对该问题的所提供的响应。此外，除了关于交通工具移交系统810的本段落和/或前面十个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面十个段落的特征中的任何特征的组合，预期动作可以基于交通工具的当前操作状态和与当前操作状态相关联的预期交通工具操纵集合。模式混淆可以基于观察到的动作是否是预期交通工具操纵集合中的至少一个交通工具操纵。此外，除了关于交通工具移交系统810的本段落和/或前面十个段落的特征中的任何特征之外或与关于交通工具移交系统810的本段落和/或前面十个段落的特征中的任何特征的组合，处理器820可进一步被配置成用于基于模式混淆来授予或拒绝转变请求。
图9描绘了用于辅助交通工具移交的方法900的示意性流程图。方法900可以实现上述关于设备800的特征中的任何特征。
方法900是用于辅助交通工具移交的方法，包括在910中，监测交通工具的环境。方法900还包括在920中，接收将交通工具的控制权从自动化驾驶模式改变给交通工具的乘客的转变请求。方法900还包括在930中，检测可能与转变请求相关的关键事件，其中该关键事件基于被监测的环境。方法900还包括，在940中，生成包括与关键事件相关联的图像的移交场景，其中该图像包括在关键事件的时间段内的图像序列。方法900还包括，在950中，在交通工具的控制权从自动化驾驶模式改变给乘客之前，向乘客显示移交场景。
示例1是一种交通工具移交系统，该交通工具移交系统包括处理器，该处理器被配置成用于监测交通工具的环境。处理器还被配置成用于接收将交通工具的控制权从自动化驾驶模式改变给交通工具的乘客的转变请求。处理器还被配置成用于检测可能与转变请求相关的关键事件，其中该关键事件基于被监测的环境。该处理器还被配置成用于生成包括与关键事件相关联的图像的移交场景，其中该图像包括在关键事件的时间段内的图像序列。处理器还被配置成用于在交通工具的控制权从自动化驾驶模式改变给乘客之前，向乘客显示移交场景。
示例2是示例1的交通工具移交系统，其中关键事件包括以下各项中的至少一项：已经导致或可能导致交通工具的轨迹改变的移动事件、交通工具的被监测的环境中观察到的交通工具的意料之外的行为事件和/或包括交通工具的、不符合交通工具的预期操作条件的操作设定点的外部操作域事件。
示例3是示例1或2中任一项的交通工具移交系统，其中图像进一步包括与关键事件相关联的事件元数据，其中事件元数据包括以下各项中的至少一项：关键事件的种类、关键事件的时间、关键事件的位置、关键事件的持续时间、与关键事件相关联的图像中的每个图像的重要性和/或与关键事件相关联的图像中的每个图像的图像观点。
示例4是示例1至3中任一项的交通工具移交系统，其中图像根据与交通工具有关的传感器数据生成。
示例5是示例3或4中任一项的交通工具移交系统，其中图像包括根据至少一个相机图像生成的增强型图像序列，该至少一个相机图像利用事件元数据来增强。
示例6是示例1至5中任一项的交通工具移交系统，其中移交场景包括与乘客的乘客视点相对应的多个视角。
示例7是示例6的交通工具移交系统，其中多个视角包括交通工具的前向相机视角、鸟瞰视角和/或基于地图的视角。
示例8是示例3至7中任一项的交通工具移交系统，该移交场景包括由与多个关键事件相关联的图像和/或事件元数据形成的静态图像。
示例9是示例8的交通工具移交系统，其中静态图像包括以下各项中的至少一项：与多个关键事件相关联的图像中的一个图像的单个帧和/或基于叠加与多个关键事件相关联的图像中的一个或多个图像的经叠加的图像。
示例10是示例1至9中任一项的交通工具移交系统，其中移交场景进一步包括与图像相关联的文本，其中该文本是使用多模态概括系统从图像生成的。
示例11是示例10的交通工具移交系统，文本包括关键事件的描述和关键事件发生的时间。
示例12是示例10或11中任一项的交通工具移交系统，其中文本包括通过交通工具的音频系统向乘客用言辞表达的关键事件的描述。
示例13是示例11或12中任一项的交通工具移交系统，其中时间是自关键事件发生以来所经过的时间。
示例14是示例1至13中任一项的交通工具移交系统，其中关键事件被分配优先级，该优先级与关键事件相比于交通工具的当前情形的重要性相对应。
示例15是示例14的交通工具移交系统，其中该优先级基于以下各项中的至少一项：自关键事件发生以来所经过的时间、关键事件的类别、从关键事件的事件位置到交通工具的当前位置的距离和/或乘客已经知晓该关键事件的可能性。
示例16是示例15的交通工具移交系统，其中，交通工具的当前位置包括在所经过的时间之后交通工具的预期位置。
示例17是示例1至16中任一项的交通工具移交系统，其中，处理器进一步被配置成用于监测乘客以确定乘客已经知道关键事件的可能性。
示例18是示例1至17中任一项的交通工具移交系统，其中，处理器进一步被配置成用于确定向乘客呈现移交场景的呈现持续时间，其中，呈现持续时间取决于转变请求的紧急性。
示例19是示例18的交通工具移交系统，其中，处理器进一步被配置成用于压缩移交场景的长度以适配在呈现持续时间内。
示例20是示例19的交通工具移交系统，其中，压缩长度基于与图像相关联的图像数据的部分对关键事件的重要性来从移交场景中移除该部分。
示例21是示例19的交通工具移交系统，其中移交场景包括多个关键事件，其中压缩长度被配置成用于基于多个关键事件中的至少一个关键事件的优先级来从移交场景中移除该至少一个关键事件。
示例22是示例1至21中任一项的交通工具移交系统，其中，处理器进一步被配置成用于将移交场景存储为经存储的移交场景，其中，处理器进一步被配置成用于基于对审查经存储的移交场景的请求向乘客显示经存储的移交场景。
示例23是示例1至22中任一项的交通工具移交系统，其中，生成移交场景取决于乘客的预期响应时间。
示例24是示例23的交通工具移交系统，其中，预期响应时间基于乘客对多个被监测的事件的平均响应时间。
示例25是示例24的交通工具移交系统，其中，多个被监测的事件包括以下各项中的至少一项：交通标志事件、通行权事件、停车事件、转弯事件、减速事件和/或加速事件。
示例26是示例23至25中任一项的交通工具移交系统，其中，预期响应时间基于交通工具的被监测的环境的环境评级来调整。
示例27是示例1至26中任一项的交通工具移交系统，其中，被监测的环境包括以下各项中的至少一项：在交通工具处经历的天气事件、交通工具上的光照水平事件、交通工具附近的交通流、交通工具附近交通的交通密度、交通工具的速度、道路几何形状、道路类型和/或交通工具处的空气温度。
示例28是示例23至27中任一项的交通工具移交系统，其中，预期响应时间基于乘客的注意力评级来调整，该乘客的注意力评级取决于乘客的观察到的特性。
示例29是示例28的交通工具移交系统，其中，乘客的观察到的特性可以包括以下各项中的至少一项：乘客的注视、乘客的头部移动、乘客的年龄、乘客的广告偏好、乘客的身体姿势、乘客的身体形状、乘客的身体大小、乘客的心率、乘客的非驾驶活动、乘客的驾驶质量和/或交通工具内部的噪声水平。
示例30是示例29的交通工具移交系统，其中，乘客的非驾驶活动包括乘客参与的次要活动。
示例31是示例23至30中任一项的交通工具移交系统，其中，预期响应时间基于交通工具的地理位置和与该地理位置相关联的基于地图的信息来调整。
示例32是示例31的交通工具移交系统，其中基于地图的信息包括以下各项中的至少一项：道路曲率、道路能见度、附近对象的密度和/或地理位置处的道路质量。
示例33是示例31或32中任一项的交通工具移交系统，其中，基于地图的信息包括与地理位置的平均反应时间相关联的基线反应时间偏移。
示例34是示例26至33中任一项的交通工具移交系统，其中，平均响应时间被存储在与乘客相关联的平均响应时间的数据库中，其中，平均响应时间的数据库利用经调整的预期响应时间进行更新。
示例35是示例34的交通工具移交系统，其中平均响应时间的数据库进一步包括与其他驾驶员相关联的平均响应时间。
示例36是示例1至35中任一项的交通工具移交系统，其中，处理器进一步被配置成用于确定实现将交通工具的控制权改变给乘客的转变请求所需的最小响应时间。
示例37是示例36的交通工具移交系统，其中，关键事件的时间段内的图像序列基于最小响应时间。
示例38是示例23至37中任一项的交通工具移交系统，其中，如果预期响应时间比最小响应时间慢，则拒绝对转变的请求。
示例39是示例23至38中任一项的交通工具移交系统，其中，如果预期响应时间比最小响应时间快，则继续进行所请求的转变。
示例40是示例1至39中任一项的交通工具移交系统，其中，观察到的乘客的特性包括乘客的模式混淆，其中，模式混淆基于将乘客的预期动作与乘客的观察到的动作进行比较来确定。
示例41是示例40的交通工具移交系统，其中预期动作包括对向乘客提出的与模拟驾驶情况有关的问题的预期响应，并且其中观察到的动作包括来自驾驶员的、对该问题的所提供的响应。
示例42是示例40或41中任一项的交通工具移交系统，其中，预期动作基于交通工具的当前操作状态和与当前操作状态相关联的预期交通工具操纵集合，并且其中，模式混淆基于观察到的动作是否是该预期交通工具操纵集合中的至少一个交通工具操纵。
示例43是示例41或42中任一项的交通工具移交系统，其中，处理器进一步被配置成用于基于模式混淆来授予或拒绝转变请求。
示例44是一种用于评定交通工具中的乘客的注意力水平的系统，该系统包括处理器，该处理器被配置成用于基于乘客对多个被监测的事件的观察来确定交通工具内的乘客的平均响应时间。该处理器被进一步配置成用于基于交通工具外部的被监测的环境来确定交通工具的环境评级。该处理器进一步被配置成用于基于对交通工具内乘客的观察到的特性来确定交通工具的交通工具内评级。该处理器进一步被配置成用于基于所接收的关于与地理位置相关联的响应时间的地图信息来确定交通工具的地理位置的所需响应时间。该处理器进一步被配置成用于基于平均响应时间、环境评级和交通工具内评级来确定乘客在地理位置处的预期响应时间。该系统进一步包括发射器，该发射器被配置成用于将预期响应时间和所需响应时间提供给交通工具的自动化驾驶系统。
示例45是示例44的系统，其中，多个被监测的事件包括以下各项中的至少一项：交通标志事件、通行权事件、停车事件、转弯事件、减速事件和/或加速事件。
示例46是示例44或45中任一项的系统，其中，交通工具外部的被监测的环境包括以下各项中的至少一项：在交通工具处经历的天气事件、交通工具上的光照水平事件、交通工具附近的交通流、交通工具附近交通的交通密度、交通工具的速度、道路几何形状、道路类型和/或交通工具处的空气温度。
示例47是示例44至46中任一项的系统，其中，乘客的观察到的特性可以包括以下各项中的至少一项：乘客的注视、乘客的头部移动、乘客的年龄、乘客的广告偏好、乘客的身体姿势、乘客的身体形状、乘客的身体大小、乘客的心率、乘客的非驾驶活动、乘客的驾驶质量和/或交通工具内部的噪声水平。
示例48是示例44至47中任一项的系统，其中预期响应时间基于所接收的基于地图的信息来调整，其中所接收的基于地图的信息进一步包括以下各项中的至少一项：道路曲率、道路能见度、附近对象的密度和/或地理位置处的道路质量。
示例49是示例44至48中任一项的系统，其中基于地图的信息进一步包括基于与该地理位置处的其他驾驶员相关联的平均响应时间的基线反应时间偏移。
示例50是示例44至49中任一项的系统，其中交通工具的自动化驾驶系统包括交通工具移交系统，该交通工具移交系统基于预期响应时间和所需响应时间来确定是否将交通工具的控制权从自动化驾驶模式移交给乘客。
示例51是一种用于将交通工具的控制权移交给乘客的设备，该设备包括处理器，该处理器被配置成用于监测交通工具的环境。处理器还被配置成用于接收将交通工具的控制权从自动化驾驶模式改变给交通工具的乘客的转变请求。处理器还被配置成用于检测可能与转变请求相关的关键事件，其中该关键事件基于被监测的环境。该处理器还被配置成用于生成包括与关键事件相关联的图像的移交场景，其中该图像包括在关键事件的时间段内的图像序列。处理器还被配置成用于在交通工具的控制权从自动化驾驶模式改变给乘客之前，向乘客显示移交场景。
示例52是示例51的设备，其中关键事件包括以下各项中的至少一项：已经导致或导致交通工具的轨迹改变的移动事件、交通工具的被监测的环境中观察到的交通工具的意料之外的行为事件和/或包括交通工具的、不符合交通工具的预期操作条件的操作设定点的外部操作域事件。
示例53是示例51或52中任一项的设备，其中图像进一步包括与关键事件相关联的事件元数据，其中事件元数据包括以下各项中的至少一项：关键事件的种类、关键事件的时间、关键事件的位置、关键事件的持续时间、与关键事件相关联的图像中的每个图像的重要性和/或与关键事件相关联的图像中的每个图像的图像观点。
示例54是示例51至53中任一项的设备，其中图像根据与交通工具有关的传感器数据生成。
示例55是示例53或54中任一项的设备，其中图像包括根据至少一个相机图像生成的增强型图像序列，该至少一个相机图像利用事件元数据来增强。
示例56是示例51至55中任一项的设备，其中移交场景包括与乘客的乘客视点相对应的多个视角。
示例57是示例56的设备，其中多个视角包括交通工具的前向相机视角、鸟瞰视角和/或基于地图的视角。
示例58是示例53至57中任一项的设备，该移交场景包括由与多个关键事件相关联的图像和/或事件元数据形成的静态图像。
示例59是示例58的设备，其中静态图像包括以下各项中的至少一项：与多个关键事件相关联的图像中的一个图像的单个帧和/或基于叠加与多个关键事件相关联的图像中的一个或多个图像的经叠加的图像。
示例60是示例51至59中任一项的设备，其中移交场景进一步包括与图像相关联的文本，其中该文本是使用多模态概括系统从图像生成的。
示例61是示例60的设备，文本包括关键事件的描述和关键事件发生的时间。
示例62是示例60或61中任一项的设备，其中文本包括通过交通工具的音频系统向乘客用言辞表达的关键事件的描述。
示例63是示例61或62中任一项的设备，其中时间是自关键事件发生以来所经过的时间。
示例64是示例51至63中任一项的设备，其中关键事件被分配优先级，该优先级与关键事件相比于交通工具的当前情形的重要性相对应。
示例65是示例64的设备，其中该优先级基于以下各项中的至少一项：自关键事件发生以来所经过的时间、关键事件的类别、从关键事件的事件位置到交通工具的当前位置的距离和/或乘客已经知晓该关键事件的可能性。
示例66是示例65的设备，其中，交通工具的当前位置包括在所经过的时间之后交通工具的预期位置。
示例67是示例51至66中任一项的设备，其中，处理器进一步被配置成用于监测乘客以确定乘客已经知道关键事件的可能性。
示例68是示例51至67中任一项的设备，其中，处理器进一步被配置成用于确定向乘客呈现移交场景的呈现持续时间，其中，呈现持续时间取决于转变请求的紧急性。
示例69是示例68的设备，其中，处理器进一步被配置成用于压缩移交场景的长度以适配在呈现持续时间内。
示例70是示例69的设备，其中，压缩长度基于与图像相关联的图像数据的部分对关键事件的重要性来从移交场景中移除该部分。
示例71是示例69的设备，其中移交场景包括多个关键事件，其中压缩长度被配置成用于基于多个关键事件中的至少一个关键事件的优先级来从移交场景中移除该至少一个关键事件。
示例72是示例51至71中任一项的设备，其中，处理器进一步被配置成用于将移交场景存储为经存储的移交场景，其中，处理器进一步被配置成用于基于对审查经存储的移交场景的请求向乘客显示经存储的移交场景。
示例73是示例51至72中任一项的设备，其中，生成移交场景取决于乘客的预期响应时间。
示例74是示例73的设备，其中，预期响应时间基于乘客对多个被监测的事件的平均响应时间。
示例75是示例74的设备，其中，多个被监测的事件包括以下各项中的至少一项：交通标志事件、通行权事件、停车事件、转弯事件、减速事件和/或加速事件。
示例76是示例73至75中任一项的设备，其中，预期响应时间基于交通工具的被监测的环境的环境评级来调整。
示例77是示例51至76中任一项的设备，其中，被监测的环境包括以下各项中的至少一项：在交通工具处经历的天气事件、交通工具上的光照水平事件、交通工具附近的交通流、交通工具附近交通的交通密度、交通工具的速度、道路几何形状、道路类型和/或交通工具处的空气温度。
示例78是示例73至77中任一项的设备，其中，预期响应时间基于乘客的注意力评级来调整，该乘客的注意力评级取决于乘客的观察到的特性。
示例79是示例78的设备，其中，乘客的观察到的特性可以包括以下各项中的至少一项：乘客的注视、乘客的头部移动、乘客的年龄、乘客的广告偏好、乘客的身体姿势、乘客的身体形状、乘客的身体大小、乘客的心率、乘客的非驾驶活动、乘客的驾驶质量和/或交通工具内部的噪声水平。
示例80是示例79的设备，其中，乘客的非驾驶活动包括乘客参与的次要活动。
示例81是示例73至80中任一项的设备，其中，预期响应时间基于交通工具的地理位置和与该地理位置相关联的基于地图的信息来调整。
示例82是示例81的设备，其中基于地图的信息包括以下各项中的至少一项：道路曲率、道路能见度、附近对象的密度和/或地理位置处的道路质量。
示例83是示例81或82中任一项的设备，其中，基于地图的信息包括与地理位置的平均反应时间相关联的基线反应时间偏移。
示例84是示例76至83中任一项的设备，其中，平均响应时间被存储在与乘客相关联的平均响应时间的数据库中，其中，平均响应时间的数据库利用经调整的预期响应时间进行更新。
示例85是示例84的设备，其中平均响应时间的数据库进一步包括与其他驾驶员相关联的平均响应时间。
示例86是示例51至85中任一项的设备，其中，处理器进一步被配置成用于确定实现将交通工具的控制权改变给乘客的转变请求所需的最小响应时间。
示例87是示例86的设备，其中，关键事件的时间段内的图像序列基于最小响应时间。
示例88是示例73至87中任一项的设备，其中，如果预期响应时间比最小响应时间慢，则拒绝对转变的请求。
示例89是示例73至88中任一项的设备，其中，如果预期响应时间比最小响应时间快，则继续进行所请求的转变。
示例90是示例51至89中任一项的设备，其中，观察到的乘客的特性包括乘客的模式混淆，其中，模式混淆基于将乘客的预期动作与乘客的观察到的动作进行比较来确定。
示例91是示例90的设备，其中预期动作包括对向乘客提出的与模拟驾驶情况有关的问题的预期响应，并且其中观察到的动作包括来自驾驶员的、对该问题的所提供的响应。
示例92是示例90或91中任一项的设备，其中，预期动作基于交通工具的当前操作状态和与当前操作状态相关联的预期交通工具操纵集合，并且其中，模式混淆基于观察到的动作是否是该预期交通工具操纵集合中的至少一个交通工具操纵。
示例93是示例91或92中任一项的设备，其中，处理器进一步被配置成用于基于模式混淆来授予或拒绝转变请求。
示例94是一种用于评定交通工具中的乘客的注意力水平的设备，该设备包括处理器，该处理器被配置成用于基于乘客对多个被监测的事件的观察来确定交通工具内的乘客的平均响应时间。该处理器被进一步配置成用于基于交通工具外部的被监测的环境来确定交通工具的环境评级。该处理器进一步被配置成用于基于对交通工具内乘客的观察到的特性来确定交通工具的交通工具内评级。该处理器进一步被配置成用于基于所接收的关于与地理位置相关联的响应时间的地图信息来确定交通工具的地理位置的所需响应时间。该处理器进一步被配置成用于基于平均响应时间、环境评级和交通工具内评级来确定乘客在地理位置处的预期响应时间。该系统进一步包括发射器，该发射器被配置成用于将预期响应时间和所需响应时间提供给交通工具的自动化驾驶系统。
示例95是示例94的设备，其中，多个被监测的事件包括以下各项中的至少一项：交通标志事件、通行权事件、停车事件、转弯事件、减速事件和/或加速事件。
示例96是示例94或95中任一项的设备，其中，交通工具外部的被监测的环境包括以下各项中的至少一项：在交通工具处经历的天气事件、交通工具上的光照水平事件、交通工具附近的交通流、交通工具附近交通的交通密度、交通工具的速度、道路几何形状、道路类型和/或交通工具处的空气温度。
示例97是示例94至96中任一项的设备，其中，乘客的观察到的特性可以包括以下各项中的至少一项：乘客的注视、乘客的头部移动、乘客的年龄、乘客的广告偏好、乘客的身体姿势、乘客的身体形状、乘客的身体大小、乘客的心率、乘客的非驾驶活动、乘客的驾驶质量和/或交通工具内部的噪声水平。
示例98是示例94至97中任一项的设备，其中预期响应时间基于所接收的基于地图的信息来调整，其中所接收的基于地图的信息进一步包括以下各项中的至少一项：道路曲率、道路能见度、附近对象的密度和/或地理位置处的道路质量。
示例99是示例94至98中任一项的设备，其中基于地图的信息进一步包括基于与该地理位置处的其他驾驶员相关联的平均响应时间的基线反应时间偏移。
示例100是示例94至99中任一项的设备，其中设备进一步包括交通工具移交系统，该交通工具移交系统基于预期响应时间和所需响应时间来确定是否将交通工具的控制权从自动化驾驶模式移交给乘客。
示例101是一种用于将交通工具的控制权移交给乘客的方法，该方法包括监测交通工具的环境。该方法还包括接收将交通工具的控制权从自动化驾驶模式改变为交通工具的乘客的转变请求。该方法还包括检测可能与转变请求相关的关键事件，其中该关键事件基于被监测的环境。该方法还包括生成包括与关键事件相关联的图像的移交场景，其中该图像包括在关键事件的时间段内的图像序列。方法还包括在交通工具的控制权从自动化驾驶模式改变给乘客之前，向乘客显示移交场景。
示例102是示例101的方法，其中关键事件包括以下各项中的至少一项：已经导致或导致交通工具的轨迹改变的移动事件、交通工具的被监测的环境中观察到的交通工具的意料之外的行为事件和/或包括交通工具的、不符合交通工具的预期操作条件的操作设定点的外部操作域事件。
示例103是示例101或102中任一项的方法，其中图像进一步包括与关键事件相关联的事件元数据，其中事件元数据包括以下各项中的至少一项：关键事件的种类、关键事件的时间、关键事件的位置、关键事件的持续时间、与关键事件相关联的图像中的每个图像的重要性和/或与关键事件相关联的图像中的每个图像的图像观点。
示例104是示例101至103中任一项的方法，其中图像根据与交通工具有关的传感器数据生成。
示例105是示例103或104中任一项的方法，其中图像包括根据至少一个相机图像生成的增强型图像序列，该至少一个相机图像利用事件元数据来增强。
示例106是示例101至105中任一项的方法，其中移交场景包括与乘客的乘客视点相对应的多个视角。
示例107是示例106的方法，其中多个视角包括交通工具的前向相机视角、鸟瞰视角和/或基于地图的视角。
示例108是示例103至107中任一项的方法，该移交场景包括由与多个关键事件相关联的图像和/或事件元数据形成的静态图像。
示例109是示例108的方法，其中静态图像包括以下各项中的至少一项：与多个关键事件相关联的图像中的一个图像的单个帧和/或基于叠加与多个关键事件相关联的图像中的一个或多个图像的经叠加的图像。
示例110是示例101至109中任一项的方法，其中移交场景进一步包括与图像相关联的文本，其中该文本是使用多模态概括系统从图像生成的。
示例111是示例110的方法，文本包括关键事件的描述和关键事件发生的时间。
示例112是示例110或111中任一项的方法，其中文本包括通过交通工具的音频系统向乘客用言辞表达的关键事件的描述。
示例113是示例111或112中任一项的方法，其中时间是自关键事件发生以来所经过的时间。
示例114是示例101至113中任一项的方法，其中关键事件被分配优先级，该优先级与关键事件相比于交通工具的当前情形的重要性相对应。
示例115是示例114的方法，其中该优先级基于以下各项中的至少一项：自关键事件发生以来所经过的时间、关键事件的类别、从关键事件的事件位置到交通工具的当前位置的距离和/或乘客已经知晓该关键事件的可能性。
示例116是示例115的方法，其中，交通工具的当前位置包括在所经过的时间之后交通工具的预期位置。
示例117是示例101至116中任一项的方法，其中，该方法进一步包括监测乘客以确定乘客已经知道关键事件的可能性。
示例118是示例101至117中任一项的方法，其中，该方法进一步包括确定向乘客呈现移交场景的呈现持续时间，其中，呈现持续时间取决于转变请求的紧急性。
示例119是示例118的方法，其中，该方法进一步包括压缩移交场景的长度以适配在呈现持续时间内。
示例120是示例119的方法，其中，压缩长度基于与图像相关联的图像数据的部分对关键事件的重要性来从移交场景中移除该部分。
示例121是示例119的方法，其中移交场景包括多个关键事件，其中压缩长度被配置成用于基于多个关键事件中的至少一个关键事件的优先级来从移交场景中移除该至少一个关键事件。
示例122是示例101至121中任一项的方法，其中，该方法进一步包括将移交场景存储为经存储的移交场景以及基于对审查经存储的移交场景的请求向乘客显示经存储的移交场景。
示例123是示例101至122中任一项的方法，其中，生成移交场景取决于乘客的预期响应时间。
示例124是示例123的方法，其中，预期响应时间基于乘客对多个被监测的事件的平均响应时间。
示例125是示例124的方法，其中，多个被监测的事件包括以下各项中的至少一项：交通标志事件、通行权事件、停车事件、转弯事件、减速事件和/或加速事件。
示例126是示例123至125中任一项的方法，其中，预期响应时间基于交通工具的被监测的环境的环境评级来调整。
示例127是示例101至126中任一项的方法，其中，被监测的环境包括以下各项中的至少一项：在交通工具处经历的天气事件、交通工具上的光照水平事件、交通工具附近的交通流、交通工具附近交通的交通密度、交通工具的速度、道路几何形状、道路类型和/或交通工具处的空气温度。
示例128是示例123至127中任一项的方法，其中，预期响应时间基于乘客的注意力评级来调整，该乘客的注意力评级取决于乘客的观察到的特性。
示例129是示例128的方法，其中，乘客的观察到的特性可以包括以下各项中的至少一项：乘客的注视、乘客的头部移动、乘客的年龄、乘客的广告偏好、乘客的身体姿势、乘客的身体形状、乘客的身体大小、乘客的心率、乘客的非驾驶活动、乘客的驾驶质量和/或交通工具内部的噪声水平。
示例130是示例129的方法，其中，乘客的非驾驶活动包括乘客参与的次要活动。
示例131是示例123至130中任一项的方法，其中，预期响应时间基于交通工具的地理位置和与该地理位置相关联的基于地图的信息来调整。
示例132是示例131的方法，其中基于地图的信息包括以下各项中的至少一项：道路曲率、道路能见度、附近对象的密度和/或地理位置处的道路质量。
示例133是示例131或132中任一项的方法，其中，基于地图的信息包括与地理位置的平均反应时间相关联的基线反应时间偏移。
示例134是示例126至133中任一项的方法，其中，平均响应时间被存储在与乘客相关联的平均响应时间的数据库中，其中，平均响应时间的数据库利用经调整的预期响应时间进行更新。
示例135是示例134的方法，其中平均响应时间的数据库进一步包括与其他驾驶员相关联的平均响应时间。
示例136是示例101至135中任一项的方法，其中，该方法进一步包括确定实现将交通工具的控制权改变给乘客的转变请求所需的最小响应时间。
示例137是示例136的方法，其中，关键事件的时间段内的图像序列基于最小响应时间。
示例138是示例123至137中任一项的方法，其中，如果预期响应时间比最小响应时间慢，则拒绝对转变的请求。
示例139是示例123至138中任一项的方法，其中，如果预期响应时间比最小响应时间快，则继续进行所请求的转变。
示例140是示例101至139中任一项的方法，其中，观察到的乘客的特性包括乘客的模式混淆，其中，模式混淆基于将乘客的预期动作与乘客的观察到的动作进行比较来确定。
示例141是示例140的方法，其中预期动作包括对向乘客提出的与模拟驾驶情况有关的问题的预期响应，并且其中观察到的动作包括来自驾驶员的、对该问题的所提供的响应。
示例142是示例140或141中任一项的方法，其中，预期动作基于交通工具的当前操作状态和与当前操作状态相关联的预期交通工具操纵集合，并且其中，模式混淆基于观察到的动作是否是该预期交通工具操纵集合中的至少一个交通工具操纵。
示例143是示例141或142中任一项的方法，其中，该方法进一步包括基于模式混淆来授予或拒绝转变请求。
示例144是一种用于评定交通工具中的乘客的注意力水平的方法，该方法包括基于乘客对多个被监测的事件的观察来确定交通工具内的乘客的平均响应时间。该方法进一步包括基于交通工具外部的被监测的环境来确定交通工具的环境评级。该方法进一步包括基于对交通工具内乘客的观察到的特性来确定交通工具的交通工具内评级。该方法进一步包括基于所接收的关于与地理位置相关联的响应时间的地图信息来确定交通工具的地理位置的所需响应时间。该方法进一步包括基于平均响应时间、环境评级和交通工具内评级来确定乘客在地理位置处的预期响应时间。该方法进一步包括将预期响应时间和所需响应时间提供给交通工具的自动化驾驶系统。
示例145是示例144的方法，其中，多个被监测的事件包括以下各项中的至少一项：交通标志事件、通行权事件、停车事件、转弯事件、减速事件和/或加速事件。
示例146是示例144或145中任一项的方法，其中，交通工具外部的被监测的环境包括以下各项中的至少一项：在交通工具处经历的天气事件、交通工具上的光照水平事件、交通工具附近的交通流、交通工具附近交通的交通密度、交通工具的速度、道路几何形状、道路类型和/或交通工具处的空气温度。
示例147是示例144至146中任一项的方法，其中，乘客的观察到的特性可以包括以下各项中的至少一项：乘客的注视、乘客的头部移动、乘客的年龄、乘客的广告偏好、乘客的身体姿势、乘客的身体形状、乘客的身体大小、乘客的心率、乘客的非驾驶活动、乘客的驾驶质量和/或交通工具内部的噪声水平。
示例148是示例144至147中任一项的方法，其中预期响应时间基于所接收的基于地图的信息来调整，其中所接收的基于地图的信息进一步包括以下各项中的至少一项：道路曲率、道路能见度、附近对象的密度和/或地理位置处的道路质量。
示例149是示例144至148中任一项的方法，其中基于地图的信息进一步包括基于与该地理位置处的其他驾驶员相关联的平均响应时间的基线反应时间偏移。
示例150是示例144至149中任一项的方法，其中该方法进一步包括基于预期响应时间和所需响应时间来确定是否将交通工具的控制权从自动化驾驶模式移交给乘客。
示例151是一种或多种非暂态计算机可读介质，被配置成用于在被执行时使一个或多个处理器执行用于将交通工具的控制权移交给乘客的方法。存储在非暂态计算机可读介质中的方法包括监测交通工具的环境。该方法还包括接收将交通工具的控制权从自动化驾驶模式改变为交通工具的乘客的转变请求。该方法还包括检测可能与转变请求相关的关键事件，其中该关键事件基于被监测的环境。该方法还包括生成包括与关键事件相关联的图像的移交场景，其中该图像包括在关键事件的时间段内的图像序列。方法还包括在交通工具的控制权从自动化驾驶模式改变给乘客之前，向乘客显示移交场景。
示例152是示例151的非暂态计算机可读介质，其中关键事件包括以下各项中的至少一项：已经导致或导致交通工具的轨迹改变的移动事件、交通工具的被监测的环境中观察到的交通工具的意料之外的行为事件和/或包括交通工具的、不符合交通工具的预期操作条件的操作设定点的外部操作域事件。
示例153是示例151或152中任一项的非暂态计算机可读介质，其中图像进一步包括与关键事件相关联的事件元数据，其中事件元数据包括以下各项中的至少一项：关键事件的种类、关键事件的时间、关键事件的位置、关键事件的持续时间、与关键事件相关联的图像中的每个图像的重要性和/或与关键事件相关联的图像中的每个图像的图像观点。
示例154是示例151至153中任一项的非暂态计算机可读介质，其中图像根据与交通工具有关的传感器数据生成。
示例155是示例153或154中任一项的非暂态计算机可读介质，其中图像包括根据至少一个相机图像生成的增强型图像序列，该至少一个相机图像利用事件元数据来增强。
示例156是示例151至155中任一项的非暂态计算机可读介质，其中移交场景包括与乘客的乘客视点相对应的多个视角。
示例157是示例156的非暂态计算机可读介质，其中多个视角包括交通工具的前向相机视角、鸟瞰视角和/或基于地图的视角。
示例158是示例153至157中任一项的非暂态计算机可读介质，该移交场景包括由与多个关键事件相关联的图像和/或事件元数据形成的静态图像。
示例159是示例158的非暂态计算机可读介质，其中静态图像包括以下各项中的至少一项：与多个关键事件相关联的图像中的一个图像的单个帧和/或基于叠加与多个关键事件相关联的图像中的一个或多个图像的经叠加的图像。
示例160是示例151至159中任一项的非暂态计算机可读介质，其中移交场景进一步包括与图像相关联的文本，其中该文本是使用多模态概括系统从图像生成的。
示例161是示例160的非暂态计算机可读介质，文本包括关键事件的描述和关键事件发生的时间。
示例162是示例160或161中任一项的非暂态计算机可读介质，其中文本包括通过交通工具的音频系统向乘客用言辞表达的关键事件的描述。
示例163是示例161或162中任一项的非暂态计算机可读介质，其中时间是自关键事件发生以来所经过的时间。
示例164是示例151至163中任一项的非暂态计算机可读介质，其中关键事件被分配优先级，该优先级与关键事件相比于交通工具的当前情形的重要性相对应。
示例165是示例164的非暂态计算机可读介质，其中该优先级基于以下各项中的至少一项：自关键事件发生以来所经过的时间、关键事件的类别、从关键事件的事件位置到交通工具的当前位置的距离和/或乘客已经知晓该关键事件的可能性。
示例166是示例165的非暂态计算机可读介质，其中，交通工具的当前位置包括在所经过的时间之后交通工具的预期位置。
示例167是示例151至166中任一项的非暂态计算机可读介质，其中，存储在非暂态计算机可读介质中的方法进一步包括监测乘客以确定乘客已经知道关键事件的可能性。
示例168是示例151至167中任一项的非暂态计算机可读介质，其中，存储在非暂态计算机可读介质的方法进一步包括确定向乘客呈现移交场景的呈现持续时间，其中，呈现持续时间取决于转变请求的紧急性。
示例169是示例168的非暂态计算机可读介质，其中，存储在非暂态计算机可读介质的方法进一步包括压缩移交场景的长度以适配在呈现持续时间内。
示例170是示例169的非暂态计算机可读介质，其中，压缩长度基于与图像相关联的图像数据的部分对关键事件的重要性来从移交场景中移除该部分。
示例171是示例169的非暂态计算机可读介质，其中移交场景包括多个关键事件，其中压缩长度被配置成用于基于多个关键事件中的至少一个关键事件的优先级来从移交场景中移除该至少一个关键事件。
示例172是示例151至171中任一项的非暂态计算机可读介质，其中，存储在非暂态计算机可读介质中的方法进一步包括将移交场景存储为经存储的移交场景以及基于对审查经存储的移交场景的请求向乘客显示经存储的移交场景。
示例173是示例151至172中任一项的非暂态计算机可读介质，其中，生成移交场景取决于乘客的预期响应时间。
示例174是示例173的非暂态计算机可读介质，其中，预期响应时间基于乘客对多个被监测的事件的平均响应时间。
示例175是示例174的非暂态计算机可读介质，其中，多个被监测的事件包括以下各项中的至少一项：交通标志事件、通行权事件、停车事件、转弯事件、减速事件和/或加速事件。
示例176是示例173至175中任一项的非暂态计算机可读介质，其中，预期响应时间基于交通工具的被监测的环境的环境评级来调整。
示例177是示例151至176中任一项的非暂态计算机可读介质，其中，被监测的环境包括以下各项中的至少一项：在交通工具处经历的天气事件、交通工具上的光照水平事件、交通工具附近的交通流、交通工具附近交通的交通密度、交通工具的速度、道路几何形状、道路类型和/或交通工具处的空气温度。
示例178是示例173至177中任一项的非暂态计算机可读介质，其中，预期响应时间基于乘客的注意力评级来调整，该乘客的注意力评级取决于乘客的观察到的特性。
示例179是示例178的非暂态计算机可读介质，其中，乘客的观察到的特性可以包括以下各项中的至少一项：乘客的注视、乘客的头部移动、乘客的年龄、乘客的广告偏好、乘客的身体姿势、乘客的身体形状、乘客的身体大小、乘客的心率、乘客的非驾驶活动、乘客的驾驶质量和/或交通工具内部的噪声水平。
示例180是示例179的非暂态计算机可读介质，其中，乘客的非驾驶活动包括乘客参与的次要活动。
示例181是示例173至180中任一项的非暂态计算机可读介质，其中，预期响应时间基于交通工具的地理位置和与该地理位置相关联的基于地图的信息来调整。
示例182是示例181的非暂态计算机可读介质，其中基于地图的信息包括以下各项中的至少一项：道路曲率、道路能见度、附近对象的密度和/或地理位置处的道路质量。
示例183是示例181或182中任一项的非暂态计算机可读介质，其中，基于地图的信息包括与地理位置的平均反应时间相关联的基线反应时间偏移。
示例184是示例176至183中任一项的非暂态计算机可读介质，其中，平均响应时间被存储在与乘客相关联的平均响应时间的数据库中，其中，平均响应时间的数据库利用经调整的预期响应时间进行更新。
示例185是示例184的非暂态计算机可读介质，其中平均响应时间的数据库进一步包括与其他驾驶员相关联的平均响应时间。
示例186是示例151至185中任一项的非暂态计算机可读介质，其中，存储在非暂态计算机可读介质中的方法进一步包括确定实现将交通工具的控制权改变给乘客的转变请求所需的最小响应时间。
示例187是示例186的非暂态计算机可读介质，其中，关键事件的时间段内的图像序列基于最小响应时间。
示例188是示例173至187中任一项的非暂态计算机可读介质，其中，如果预期响应时间比最小响应时间慢，则拒绝对转变的请求。
示例189是示例173至188中任一项的非暂态计算机可读介质，其中，如果预期响应时间比最小响应时间快，则继续进行所请求的转变。
示例190是示例151至189中任一项的非暂态计算机可读介质，其中，观察到的乘客的特性包括乘客的模式混淆，其中，模式混淆基于将乘客的预期动作与乘客的观察到的动作进行比较来确定。
示例191是示例190的非暂态计算机可读介质，其中预期动作包括对向乘客提出的与模拟驾驶情况有关的问题的预期响应，并且其中观察到的动作包括来自驾驶员的、对该问题的所提供的响应。
示例192是示例190或191中任一项的非暂态计算机可读介质，其中，预期动作基于交通工具的当前操作状态和与当前操作状态相关联的预期交通工具操纵集合，并且其中，模式混淆基于观察到的动作是否是该预期交通工具操纵集合中的至少一个交通工具操纵。
示例193是示例191或192中任一项的非暂态计算机可读介质，其中，存储在非暂态计算机可读介质中的方法进一步包括基于模式混淆来授予或拒绝转变请求。
示例194是一种或多种非暂态计算机可读介质，被配置成用于在被执行时使一个或多个处理器执行用于将交通工具的控制权移交给乘客的方法。存储在非暂态计算机可读介质中的方法包括基于乘客对多个被监测的事件的观察来确定交通工具内的乘客的平均响应时间。该方法进一步包括基于交通工具外部的被监测的环境来确定交通工具的环境评级。该方法进一步包括基于对交通工具内乘客的观察到的特性来确定交通工具的交通工具内评级。该方法进一步包括基于所接收的关于与地理位置相关联的响应时间的地图信息来确定交通工具的地理位置的所需响应时间。该方法进一步包括基于平均响应时间、环境评级和交通工具内评级来确定乘客在地理位置处的预期响应时间。该方法进一步包括将预期响应时间和所需响应时间提供给交通工具的自动化驾驶系统。
示例195是示例194的一种或多种非暂态计算机可读介质，其中，多个被监测的事件包括以下各项中的至少一项：交通标志事件、通行权事件、停车事件、转弯事件、减速事件和/或加速事件。
示例196是示例194或195中任一项的一种或多种非暂态计算机可读介质，其中，交通工具外部的被监测的环境包括以下各项中的至少一项：在交通工具处经历的天气事件、交通工具上的光照水平事件、交通工具附近的交通流、交通工具附近交通的交通密度、交通工具的速度、道路几何形状、道路类型和/或交通工具处的空气温度。
示例197是示例194至196中任一项的一种或多种非暂态计算机可读介质，其中，乘客的观察到的特性可以包括以下各项中的至少一项：乘客的注视、乘客的头部移动、乘客的年龄、乘客的广告偏好、乘客的身体姿势、乘客的身体形状、乘客的身体大小、乘客的心率、乘客的非驾驶活动、乘客的驾驶质量和/或交通工具内部的噪声水平。
示例198是示例194至197中任一项的一种或多种非暂态计算机可读介质，其中预期响应时间基于所接收的基于地图的信息来调整，其中所接收的基于地图的信息进一步包括以下各项中的至少一项：道路曲率、道路能见度、附近对象的密度和/或地理位置处的道路质量。
示例199是示例194至198中任一项的一种或多种非暂态计算机可读介质，其中基于地图的信息进一步包括基于与该地理位置处的其他驾驶员相关联的平均响应时间的基线反应时间偏移。
示例200是示例194至199中任一项的一种或多种非暂态计算机可读介质，其中存储在非暂态计算机可读介质中的方法进一步包括基于预期响应时间和所需响应时间来确定是否将交通工具的控制权从自动化驾驶模式移交给乘客。
示例201是一种用于将交通工具的控制权移交给乘客的设备，该设备包括用于监测交通工具的环境的装置。该设备还包括用于接收将交通工具的控制权从自动化驾驶模式改变为交通工具的乘客的转变请求的装置。该设备还包括用于检测可能与转变请求相关的关键事件的装置，其中该关键事件基于被监测的环境。该设备还包括用于生成包括与关键事件相关联的图像的移交场景的装置，其中该图像包括在关键事件的时间段内的图像序列。该设备还包括用于在交通工具的控制权从自动化驾驶模式改变给乘客之前，向乘客显示移交场景的装置。
示例202是示例201的设备，其中关键事件包括以下各项中的至少一项：已经导致或导致交通工具的轨迹改变的移动事件、交通工具的被监测的环境中观察到的交通工具的意料之外的行为事件和/或包括交通工具的、不符合交通工具的预期操作条件的操作设定点的外部操作域事件。
示例203是示例201或202中任一项的设备，其中图像进一步包括与关键事件相关联的事件元数据，其中事件元数据包括以下各项中的至少一项：关键事件的种类、关键事件的时间、关键事件的位置、关键事件的持续时间、与关键事件相关联的图像中的每个图像的重要性和/或与关键事件相关联的图像中的每个图像的图像观点。
示例204是示例201至203中任一项的设备，其中图像根据与交通工具有关的传感器数据生成。
示例205是示例203或204中任一项的设备，其中图像包括根据至少一个相机图像生成的增强型图像序列，该至少一个相机图像利用事件元数据来增强。
示例206是示例201至205中任一项的设备，其中移交场景包括与乘客的乘客视点相对应的多个视角。
示例207是示例206的设备，其中多个视角包括交通工具的前向相机视角、鸟瞰视角和/或基于地图的视角。
示例208是示例203至207中任一项的设备，该移交场景包括由与多个关键事件相关联的图像和/或事件元数据形成的静态图像。
示例209是示例208的设备，其中静态图像包括以下各项中的至少一项：与多个关键事件相关联的图像中的一个图像的单个帧和/或基于叠加与多个关键事件相关联的图像中的一个或多个图像的经叠加的图像。
示例210是示例201至209中任一项的设备，其中移交场景进一步包括与图像相关联的文本，其中该文本是使用多模态概括系统从图像生成的。
示例211是示例210的设备，文本包括关键事件的描述和关键事件发生的时间。
示例212是示例210或211中任一项的设备，其中文本包括通过交通工具的音频系统向乘客用言辞表达的关键事件的描述。
示例213是示例211或212中任一项的设备，其中时间是自关键事件发生以来所经过的时间。
示例214是示例201至213中任一项的设备，其中关键事件被分配优先级，该优先级与关键事件相比于交通工具的当前情形的重要性相对应。
示例215是示例214的设备，其中该优先级基于以下各项中的至少一项：自关键事件发生以来所经过的时间、关键事件的类别、从关键事件的事件位置到交通工具的当前位置的距离和/或乘客已经知晓该关键事件的可能性。
示例216是示例215的设备，其中，交通工具的当前位置包括在所经过的时间之后交通工具的预期位置。
示例217是示例201至216中任一项的设备，其中，该设备进一步包括用于监测乘客以确定乘客已经知道关键事件的可能性的装置。
示例218是示例201至217中任一项的设备，其中，该设备进一步包括用于确定向乘客呈现移交场景的呈现持续时间的装置，其中，呈现持续时间取决于转变请求的紧急性。
示例219是示例218的设备，其中，该设备进一步包括用于压缩移交场景的长度以适配在呈现持续时间内的装置。
示例220是示例219的设备，其中，压缩长度基于与图像相关联的图像数据的部分对关键事件的重要性来从移交场景中移除该部分。
示例221是示例219的设备，其中移交场景包括多个关键事件，其中压缩长度被配置成用于基于多个关键事件中的至少一个关键事件的优先级来从移交场景中移除该至少一个关键事件。
示例222是示例201至221中任一项的设备，其中，该设备进一步包括用于将移交场景存储为经存储的移交场景以及基于对审查经存储的移交场景的请求向乘客显示经存储的移交场景的装置。
示例223是示例201至222中任一项的设备，其中，生成移交场景取决于乘客的预期响应时间。
示例224是示例223的设备，其中，预期响应时间基于乘客对多个被监测的事件的平均响应时间。
示例225是示例224的设备，其中，多个被监测的事件包括以下各项中的至少一项：交通标志事件、通行权事件、停车事件、转弯事件、减速事件和/或加速事件。
示例226是示例223至225中任一项的设备，其中，预期响应时间基于交通工具的被监测的环境的环境评级来调整。
示例227是示例201至226中任一项的设备，其中，被监测的环境包括以下各项中的至少一项：在交通工具处经历的天气事件、交通工具上的光照水平事件、交通工具附近的交通流、交通工具附近交通的交通密度、交通工具的速度、道路几何形状、道路类型和/或交通工具处的空气温度。
示例228是示例223至227中任一项的设备，其中，预期响应时间基于乘客的注意力评级来调整，该乘客的注意力评级取决于乘客的观察到的特性。
示例229是示例228的设备，其中，乘客的观察到的特性可以包括以下各项中的至少一项：乘客的注视、乘客的头部移动、乘客的年龄、乘客的广告偏好、乘客的身体姿势、乘客的身体形状、乘客的身体大小、乘客的心率、乘客的非驾驶活动、乘客的驾驶质量和/或交通工具内部的噪声水平。
示例230是示例229的设备，其中，乘客的非驾驶活动包括乘客参与的次要活动。
示例231是示例223至230中任一项的设备，其中，预期响应时间基于交通工具的地理位置和与该地理位置相关联的基于地图的信息来调整。
示例232是示例231的设备，其中基于地图的信息包括以下各项中的至少一项：道路曲率、道路能见度、附近对象的密度和/或地理位置处的道路质量。
示例233是示例231或232中任一项的设备，其中，基于地图的信息包括与地理位置的平均反应时间相关联的基线反应时间偏移。
示例234是示例226至233中任一项的设备，其中，平均响应时间被存储在与乘客相关联的平均响应时间的数据库中，其中，平均响应时间的数据库利用经调整的预期响应时间进行更新。
示例235是示例234的设备，其中平均响应时间的数据库进一步包括与其他驾驶员相关联的平均响应时间。
示例236是示例201至235中任一项的设备，其中，该设备进一步包括用于确定实现将交通工具的控制权改变给乘客的转变请求所需的最小响应时间的装置。
示例237是示例236的设备，其中，关键事件的时间段内的图像序列基于最小响应时间。
示例238是示例223至237中任一项的设备，其中，如果预期响应时间比最小响应时间慢，则拒绝对转变的请求。
示例239是示例223至238中任一项的设备，其中，如果预期响应时间比最小响应时间快，则继续进行所请求的转变。
示例240是示例201至239中任一项的设备，其中，观察到的乘客的特性包括乘客的模式混淆，其中，模式混淆基于将乘客的预期动作与乘客的观察到的动作进行比较来确定。
示例241是示例240的设备，其中预期动作包括对向乘客提出的与模拟驾驶情况有关的问题的预期响应，并且其中观察到的动作包括来自驾驶员的、对该问题的所提供的响应。
示例242是示例240或241中任一项的设备，其中，预期动作基于交通工具的当前操作状态和与当前操作状态相关联的预期交通工具操纵集合，并且其中，模式混淆基于观察到的动作是否是该预期交通工具操纵集合中的至少一个交通工具操纵。
示例243是示例241或242的设备，其中，该设备进一步包括用于基于模式混淆来授予或拒绝转变请求的装置。
示例244是一种用于评定交通工具中的乘客的注意力水平的设备，该设备包括用于基于乘客对多个被监测的事件的观察来确定交通工具内的乘客的平均响应时间的装置。该设备进一步包括用于基于交通工具外部的被监测的环境来确定交通工具的环境评级的装置。该设备进一步包括用于基于对交通工具内乘客的观察到的特性来确定交通工具的交通工具内评级的装置。该设备进一步包括用于基于所接收的关于与地理位置相关联的响应时间的地图信息来确定交通工具的地理位置的所需响应时间的装置。该设备进一步包括用于基于平均响应时间、环境评级和交通工具内评级来确定乘客在地理位置处的预期响应时间的装置。该设备进一步包括用于将预期响应时间和所需响应时间提供给交通工具的自动化驾驶系统的装置。
示例245是示例244的设备，其中，多个被监测的事件包括以下各项中的至少一项：交通标志事件、通行权事件、停车事件、转弯事件、减速事件和/或加速事件。
示例246是示例244或245中任一项的设备，其中，交通工具外部的被监测的环境包括以下各项中的至少一项：在交通工具处经历的天气事件、交通工具上的光照水平事件、交通工具附近的交通流、交通工具附近交通的交通密度、交通工具的速度、道路几何形状、道路类型和/或交通工具处的空气温度。
示例247是示例244至246中任一项的设备，其中，乘客的观察到的特性可以包括以下各项中的至少一项：乘客的注视、乘客的头部移动、乘客的年龄、乘客的广告偏好、乘客的身体姿势、乘客的身体形状、乘客的身体大小、乘客的心率、乘客的非驾驶活动、乘客的驾驶质量和/或交通工具内部的噪声水平。
示例248是示例244至247中任一项的设备，其中预期响应时间基于所接收的基于地图的信息来调整，其中所接收的基于地图的信息进一步包括以下各项中的至少一项：道路曲率、道路能见度、附近对象的密度和/或地理位置处的道路质量。
示例249是示例244至248中任一项的设备，其中基于地图的信息进一步包括基于与该地理位置处的其他驾驶员相关联的平均响应时间的基线反应时间偏移。
示例250是示例244至249中任一项的设备，其中该设备进一步包括用于基于预期响应时间和所需响应时间来确定是否将交通工具的控制权从自动化驾驶模式移交给乘客的装置。
虽然已经参照具体方面具体地示出和描述了本公开，但本领域技术人员应当理解，可对本发明作出形式上和细节上的各种变化而不背离如所附权利要求所限定的本公开的精神和范围。因此，本公开的范围由所附权利要求表示并且因此旨在涵盖落在权利要求的等效含义和范围内的所有变化。

Claims (25)

1.一种交通工具移交系统，包括：
处理器，所述处理器被配置成用于：
监测交通工具的环境；
接收将所述交通工具的控制权从自动化驾驶模式改变给所述交通工具的乘客的转变请求；
检测与所述转变请求相关的关键事件，其中所述关键事件基于被监测的环境；
生成包括与所述关键事件相关联的图像的移交场景，其中所述图像包括在所述关键事件的时间段内的图像序列；以及
在所述交通工具的控制权从所述自动化驾驶模式改变给所述乘客之前，向所述乘客显示所述移交场景。
2.如权利要求1所述的交通工具移交系统，其中，所述关键事件包括以下各项中的至少一项：已经导致所述交通工具的轨迹改变的移动事件、所述交通工具的被监测的环境中观察到的交通工具的意料之外的行为事件和/或包括所述交通工具的、不符合所述交通工具的预期操作条件的操作设定点的外部操作域事件。
3.如权利要求1所述的交通工具移交系统，其中，所述图像包括根据至少一个相机图像生成的增强型图像序列，该至少一个相机图像利用与所述关键事件相关联的事件元数据进行增强。
4.如权利要求1至3中任一项所述的交通工具移交系统，其中，所述移交场景包括与所述乘客的视点相对应的多个视角。
5.如权利要求1至3中任一项所述的交通工具移交系统，其中，所述移交场景包括由与多个关键事件相关联的图像和/或事件元数据形成的静态图像。
6.如权利要求1至3中任一项所述的交通工具移交系统，其中，所述移交场景进一步包括与所述图像相关联的文本，其中所述文本是使用多模态概括系统从图像生成的。
7.如权利要求6所述的交通工具移交系统，其中，所述文本包括通过所述交通工具的音频系统向所述乘客用言辞表达的所述关键事件的描述。
8.如权利要求1至3中任一项所述的交通工具移交系统，其中，所述关键事件被分配优先级，所述优先级与所述关键事件相比于所述交通工具的当前情形的重要性相对应，其中所述优先级基于以下各项中的至少一项：自所述关键事件发生以来所经过的时间、所述关键事件的类别、从所述关键事件的事件位置到所述交通工具的当前位置的距离和/或所述乘客已经知晓所述关键事件的可能性。
9.如权利要求1至3中任一项所述的交通工具移交系统，其中，所述处理器进一步被配置成用于监测所述乘客以确定所述乘客已经知道所述关键事件的可能性。
10.如权利要求1至3中任一项所述的交通工具移交系统，其中，生成所述移交场景取决于所述乘客的预期响应时间，其中所述预期响应时间基于所述乘客对多个被监测的事件的平均响应时间。
11.如权利要求10所述的交通工具移交系统，其中，所述预期响应时间基于所述交通工具的被监测的环境的环境评级来调整。
12.如权利要求10所述的交通工具移交系统，其中，所述预期响应时间基于所述乘客的注意力评级来调整，所述乘客的注意力评级取决于所述乘客的观察到的特性。
13.如权利要求10所述的交通工具移交系统，其中，所述预期响应时间基于所述交通工具的地理位置和与所述地理位置相关联的基于地图的信息来调整。
14.如权利要求13所述的交通工具移交系统，其中，所述基于地图的信息包括与所述地理位置的平均反应时间相关联的基线反应时间偏移。
15.如权利要求1至3中任一项所述的交通工具移交系统，其中，所述处理器进一步被配置成用于确定实现将所述交通工具的控制权改变给所述乘客的转变请求所需的最小响应时间，并且如果所述预期响应时间比最小响应时间慢，则拒绝对转变的请求。
16.如权利要求1至3中任一项所述的交通工具移交系统，其中，所述处理器进一步被配置成用于基于所述乘客的模式混淆来授予或拒绝所述转变请求，其中所述处理器进一步被配置成用于基于将所述乘客的预期动作与所述乘客的观察到的动作进行比较来确定所述模式混淆。
17.如权利要求16所述的交通工具移交系统，其中，所述预期动作基于所述交通工具的当前操作状态和与所述当前操作状态相关联的预期交通工具操纵集合，并且其中，所述模式混淆基于所述观察到的动作是否是所述预期交通工具操纵集合中的至少一个交通工具操纵。
18.一种用于评定交通工具中的乘客的注意力水平的方法，所述方法包括：
基于所述乘客对多个被监测的事件的观察来确定所述交通工具内的乘客的平均响应时间；
基于所述交通工具外部的被监测的环境来确定所述交通工具的环境评级；
基于对所述交通工具内的所述乘客的观察到的特性来确定所述交通工具的交通工具内评级；
基于所接收的关于与地理位置相关联的响应时间的地图信息来确定所述交通工具的地理位置的所需响应时间；
基于所述平均响应时间、所述环境评级和所述交通工具内评级来确定所述乘客在所述地理位置处的预期响应时间；
将所述预期响应时间和所述所需响应时间提供给所述交通工具的自动化驾驶系统。
19.如权利要求18所述的方法，其中，所述多个被监测的事件包括以下各项中的至少一项：交通标志事件、通行权事件、停车事件、转弯事件、减速事件和/或加速事件。
20.如权利要求18所述的方法，其中，所述交通工具外部的被监测的环境包括以下各项中的至少一项：在所述交通工具处经历的天气事件、所述交通工具上的光照水平事件、所述交通工具附近的交通流、所述交通工具附近交通的交通密度、所述交通工具的速度、道路几何形状、道路类型和/或所述交通工具处的空气温度。
21.如权利要求18所述的方法，其中，所述乘客的观察到的特性可以包括以下各项中的至少一项：所述乘客的注视、所述乘客的头部移动、所述乘客的年龄、所述乘客的广告偏好、所述乘客的身体姿势、所述乘客的身体形状、所述乘客的身体大小、所述乘客的心率、所述乘客的非驾驶活动、所述乘客的驾驶质量和/或所述交通工具内部的噪声水平。
22.如权利要求18所述的方法，所述方法进一步包括基于所接收的基于地图的信息来调整所述预期响应时间，其中所述所接收的基于地图的信息包括以下各项中的至少一项：道路曲率、道路能见度、附近对象的密度和所述地理位置处的道路质量。
23.如权利要求18所述的方法，其中，所述基于地图的信息进一步包括基于与所述地理位置处的其他驾驶员相关联的平均响应时间的基线反应时间偏移。
24.如权利要求18所述的方法，其中，所述方法进一步包括基于所述预期响应时间和所述所需响应时间来确定是否将所述交通工具的控制权从自动化驾驶模式移交给所述乘客。
25.一种计算机程序产品，包括指令，所述指令当由处理器执行时，使所述处理器执行如权利要求18至24中任一项所述的方法。
CN202210898630.XA 2021-08-23 2022-07-28 用于机器向驾驶员转变的移交助手 Pending CN115923832A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/408,521 2021-08-23
US17/408,521 US20210380143A1 (en) 2021-08-23 2021-08-23 Handover assistant for machine to driver transitions

Publications (1)

Publication Number Publication Date
CN115923832A true CN115923832A (zh) 2023-04-07

Family

ID=78818505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210898630.XA Pending CN115923832A (zh) 2021-08-23 2022-07-28 用于机器向驾驶员转变的移交助手

Country Status (3)

Country Link
US (1) US20210380143A1 (zh)
EP (1) EP4140795A1 (zh)
CN (1) CN115923832A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12001958B2 (en) * 2020-03-19 2024-06-04 Nvidia Corporation Future trajectory predictions in multi-actor environments for autonomous machine
KR20220006416A (ko) * 2020-07-08 2022-01-17 현대모비스 주식회사 서라운드뷰 모니터링 시스템 및 방법
FR3131260A1 (fr) * 2021-12-24 2023-06-30 Renault Dispositif et procédé d’évaluation d’un système d’aide à la conduite pour véhicule automobile, le système d’aide à la conduite mettant en œuvre un réseau neuronal artificiel
DE102022115965A1 (de) 2022-06-27 2023-12-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Assistenzsystem zum Unterstützen einer Übergabe einer Fahrzeugführung an einen Fahrer und Kraftfahrzeug

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102064223B1 (ko) * 2017-07-12 2020-02-11 엘지전자 주식회사 차량용 주행 시스템 및 차량
US10676103B2 (en) * 2018-05-17 2020-06-09 Aptiv Technologies Limited Object position history playback for automated vehicle transition from autonomous-mode to manual-mode
KR20210107017A (ko) * 2019-01-08 2021-08-31 소니 세미컨덕터 솔루션즈 가부시키가이샤 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램
US11772671B2 (en) * 2019-06-03 2023-10-03 Toyota Research Institute, Inc. Systems and methods for predicting control handback

Also Published As

Publication number Publication date
EP4140795A1 (en) 2023-03-01
US20210380143A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
US11590890B2 (en) Method and system for augmented alerting based on driver's state in hybrid driving
US11511752B2 (en) Method and system for risk based driving mode switching in hybrid driving
US10663963B2 (en) Method and apparatus for visualizing future events for passengers of autonomous vehicles
JP7352566B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US10599144B2 (en) Method and system for driving mode switching based on self-aware capability parameters in hybrid driving
US9007198B2 (en) Adaptive Actuator interface for active driver warning
US20210380143A1 (en) Handover assistant for machine to driver transitions
US10875538B2 (en) Exhaustive driving analytical systems and modelers
JP7431223B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
WO2021049219A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
US11745745B2 (en) Systems and methods for improving driver attention awareness
KR20190034825A (ko) 소셜 네트워크 서비스와 연동되는 안전 운전 모니터링 방법 및 이를 위한 컴퓨터 프로그램
CN115443495A (zh) 提示控制装置以及提示控制程序
JP2022047580A (ja) 情報処理装置
JP7338653B2 (ja) 提示制御装置及び提示制御プログラム
US11926259B1 (en) Alert modality selection for alerting a driver
JP2019023806A (ja) 情報制御装置
US20240231201A9 (en) Projected av data, hud and virtual avatar on vehicle interior
McCormick et al. The changing car: New vehicle technologies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication