CN114633691A - 基于威胁和轨迹预测的动态威胁信息呈现 - Google Patents

Abstract

一种用于通知车辆用户的系统，包括：接收模块，被配置为接收检测数据；以及威胁分析模块，被配置为接收与车辆周围环境中的检测到的物体相关的物体检测数据，获取检测到的物体的预测轨迹，并基于检测到的物体的预测轨迹和车辆轨迹确定检测到的物体是否构成威胁。该系统还包括威胁显示模块，其被配置为基于用户注意力、视野、操作模式和威胁级别来确定操作场景，并向用户生成呈现威胁的通知，该通知包括检测到的物体的视觉呈现和检测到的物体的预测轨迹的视觉指示器。基于操作场景定制视觉呈现和视觉指示器中的至少一个。

Description

基于威胁和轨迹预测的动态威胁信息呈现

技术领域

本主题公开涉及呈现检测到的威胁及其轨迹以及检测和缓解的技术。更具体地，本主题公开涉及用于预测或评估威胁状况并生成用户警报的系统和方法。

背景技术

威胁检测是许多现代车辆的重要方面，在手动车辆和具有自主和半自主能力的车辆中都有应用。相机和/或其他成像装置和传感器越来越多地被包括在车辆中，以方便车辆操作并允许检测潜在威胁。有效的威胁检测和潜在威胁的通知可能是一项挑战，尤其是在潜在威胁正在移动的动态情况下和/或驾驶员或用户处于分心状态的情况下。

发明内容

在一个示例性实施例中，一种用于通知车辆用户的系统包括：接收模块，被配置为从一个或多个传感器接收检测数据；以及威胁分析模块，被配置为接收与车辆周围环境中的检测到的物体相关的物体检测数据，获取检测到的物体的预测轨迹，并基于检测到的物体的预测轨迹和车辆轨迹来确定检测到的物体是否构成威胁。该系统还包括威胁显示模块，该威胁显示模块被配置为基于确定物体构成威胁，基于用户注意力、视野、操作模式和威胁级别来确定操作场景，并向用户生成表示该威胁的通知，该通知包括检测到的物体的视觉呈现和检测到的物体的预测轨迹的视觉指示器。基于操作场景定制视觉呈现和视觉指示器中的至少一个。

除了这里描述的一个或多个特征之外，操作模式选自手动操作模式、部分自主操作模式和完全自主操作模式。

除了这里描述的一个或多个特征之外，操作场景包括从离散威胁和组合威胁中选择的威胁结构。

除了这里描述的一个或多个特征之外，通知包括呈现组合威胁的多个物体之间的依赖性的视觉呈现。

除了这里描述的一个或多个特征之外，威胁显示模块被配置为基于确定威胁级别高于选定值，和/或基于确定用户相对于检测到的物体注意力不集中，将听觉警报和触觉警报中的至少一个并入到通知中。

除了这里描述的一个或多个特征之外，随着威胁级别的改变，检测到的物体的视觉呈现、预测轨迹的视觉指示器、听觉警报和触觉警报中的至少一个的属性实时地逐渐改变。

除了这里描述的一个或多个特征之外，视觉呈现和视觉指示器中的至少一个的属性选自颜色、不透明度、亮度、闪烁速率、纹理和强度中的至少一个。

除了这里描述的一个或多个特征之外，该通知包括基于威胁级别和用户注意力中的至少一个来调整车辆中的内部照明。

在一个示例性实施例中，通知车辆用户的方法包括从一个或多个传感器接收检测数据，基于检测数据接收与车辆周围环境中的检测到的物体相关的物体检测数据，获取检测到的物体的预测轨迹，以及基于检测到的物体的预测轨迹和车辆轨迹确定检测物体是否构成威胁。该方法还包括，基于确定检测到的物体构成威胁，基于用户注意力、视野、操作模式和威胁级别确定操作场景，以及向用户生成呈现威胁的通知，该通知包括检测到的物体的视觉呈现和检测到的物体的预测轨迹的视觉指示器。基于操作场景定制视觉呈现和视觉指示器中的至少一个。

除了这里描述的一个或多个特征之外，操作模式选自手动操作模式、部分自主操作模式和完全自主操作模式。

除了这里描述的一个或多个特征之外，操作场景包括从离散威胁和组合威胁中选择的威胁结构。

除了这里描述的一个或多个特征之外，通知包括呈现组合威胁的多个物体之间的依赖性的视觉呈现。

除了这里描述的一个或多个特征之外，威胁显示模块被配置为基于确定威胁级别高于选定值，和/或基于确定用户相对于检测到的物体注意力不集中，将听觉警报和触觉警报中的至少一个并入通知中。

除了这里描述的一个或多个特征之外，随着威胁级别的改变，检测到的物体的视觉呈现、预测轨迹的视觉指示器、听觉警报和触觉警报中的至少一个的属性实时地逐渐改变。

除了这里描述的一个或多个特征之外，视觉呈现和视觉指示器中的至少一个的属性选自颜色、不透明度、亮度、闪烁速率、纹理和强度中的至少一个。

除了这里描述的一个或多个特征之外，该通知包括基于威胁级别和用户注意力中的至少一个来调整车辆中的内部照明。

在一个示例性实施例中，车辆系统包括具有计算机可读指令的存储器和用于执行计算机可读指令的处理装置。计算机可读指令控制处理装置执行从一个或多个传感器接收检测数据、基于检测数据接收与车辆周围环境中的检测到的物体相关的物体检测数据、获取检测到的物体的预测轨迹、以及基于检测到的物体的预测轨迹和车辆轨迹确定检测到的物体是否构成威胁。所述指令还控制所述处理装置基于确定所述检测到的物体构成威胁，基于用户注意力、视野、操作模式和威胁级别来确定操作场景，并向用户生成呈现所述威胁的通知，所述通知包括所述检测到的物体的视觉呈现和所述检测到的物体的预测轨迹的视觉指示器。基于操作场景定制视觉呈现和视觉指示器中的至少一个。

除了这里描述的一个或多个特征之外，威胁显示模块被配置为基于确定威胁级别高于选定值，和/或基于确定用户相对于检测到的物体注意力不集中，将听觉警报和触觉警报中的至少一个并入通知中。

除了这里描述的一个或多个特征之外，随着威胁级别的改变，检测到的物体的视觉呈现、预测轨迹的视觉指示器、听觉警报和触觉警报中的至少一个的属性实时地逐渐改变。

除了这里描述的一个或多个特征之外，该通知包括基于威胁级别和用户注意力中的至少一个来调整车辆中的内部照明。

当结合附图时，根据以下详细描述，本公开的上述特征和优点以及其他特征和优点将变得显而易见。

附图说明

其他特征、优点和细节仅作为示例出现在以下详细描述中，详细描述参考附图，其中：

图1是根据示例性实施例的包括威胁检测和通知系统的各方面的机动车辆的俯视图；

图2描绘了根据示例性实施例的被配置为执行威胁检测和通知方面的计算机系统；

图3是描绘根据示例性实施例的检测威胁和呈现通知的方法的各方面的流程图，该方法包括确定驾驶场景、生成物体轨迹的预测、以及设计和呈现通知；

图4描绘了根据示例性实施例的确定驾驶场景的方法的各方面；

图5A和5B描绘了根据示例性实施例的设计通知的方法的各方面，该方法包括选择一个或多个显示形态；

图6描绘了根据示例性实施例的图5的方法的示例，其包括根据威胁级别选择一个或多个模态；

图7描绘了根据示例性实施例的为集群显示器设计用户通知的方法的各方面；

图8描绘了根据示例性实施例的为增强现实显示器设计用户通知的方法的各方面；

图9描绘了根据示例性实施例的在集群显示器上生成的用户通知的示例，该用户通知呈现被识别为具有高威胁级别的物体以及预测的物体轨迹；

图10描绘了根据示例性实施例的在集群显示器上生成的用户通知的示例，该用户通知呈现被识别为具有中等威胁等级的物体和预测的物体轨迹；

图11描绘了根据示例性实施例的在集群显示器上生成的用户通知的示例，该用户通知呈现儿童、球(被识别为威胁)和球的预测轨迹；

图12描绘了根据示例性实施例的在集群显示器上生成的用户通知的示例，该用户通知呈现被识别为威胁的多个道路用户(车辆)；

图13描绘了根据示例性实施例，在自主操作模式期间，在集群显示器上生成的用户通知的示例，该用户通知显示被识别为威胁的具有其预测轨迹的物体；和

图14描绘了根据示例性实施例的在增强现实平视显示器上生成的用户通知的示例，该增强现实平视显示器显示被识别为威胁的具有其预测轨迹的物体。

具体实施方式

以下描述本质上仅仅是示例性的，并不旨在限制本公开、其应用或使用。应当理解，在所有附图中，相应的附图标记表示相似或相应的部件和特征。

根据一个或多个示例性实施例，提供了用于监控车辆(或需要威胁或物体检测的其他机器、装置或系统)周围的环境、检测潜在威胁并向车辆的用户(例如，司机或乘客)呈现上下文通知的系统和方法。系统的实施例被配置成从一个或多个车辆传感器获取检测数据，以及与车辆动力学相关的数据(例如，速度、方向)，并识别由检测到的物体呈现的一个或多个潜在威胁。该系统获取或确定检测到的物体的预测轨迹，并向用户生成通知，该通知考虑了用户关注度和威胁级别，以向用户提供关于威胁(或组合威胁)的预测动态的信息，提供相关上下文，并引导用户的注意力。如下文进一步讨论的，通知是基于威胁级别和关注度定制的，以向用户提供细节级别和足够的刺激，以确保用户被警告有威胁并且有足够的上下文来做出反应。

在一个实施例中，该系统使用驾驶员监控系统(DMS)或其他合适的传感装置或系统获取与用户状况相关的数据，例如驾驶员意识和注意力(例如，用户是否专注于道路，用户是否在关注威胁，用户是否分心，等等)。还可以获取指示车辆环境和驾驶上下文(例如，道路布局、天气、交通等)的环境数据。基于上述信息，系统估计与检测到的一个或多个物体相关联的威胁结构(单个威胁或组合威胁)和威胁级别，并使用基于威胁级别和用户关注级别的上下文化的一个或多个可用形式来生成通知。

该通知利用一个或多个各种模态，包括视觉模态(图形、文本等)、听觉模态(例如，嘟嘟声、音调或其系列)和触觉模态(例如，方向盘和/或座椅振动)。触觉和听觉模态可以被配置为方向信号，以提示用户将注意力引向威胁的位置。在一个实施例中，模态包括使用内部照明来警告用户。每个模态的组合和/或特征用于生成通知，该通知增强了用户对给定上下文的意识，而不会过度分散用户的注意力。

这里描述的实施例呈现了许多优点。该系统提供了包括增强的态势感知的好处，既以直观的方式向用户提供相关信息，又有效且迅速地传达检测到的威胁的严重性及其预测轨迹。因此，与传统系统相比，该系统提高了用户响应时间并增强了事故避免。

下面在车辆运行的上下文描述实施例。实施例不限于此，并且可以用于用户的情况意识是一个因素的各种环境中的任何一种。因此，这里描述的实施例被理解为适用于各种环境中的任何一种(例如，电动工具、飞机、建筑活动、工厂机器(例如，机器人)和其他的操作)。

图1示出了机动车辆10的实施例，该机动车辆10包括至少部分地限定乘员舱14的车身12。车身12还支撑包括发动机系统16(例如，燃烧、电气和其他)和用于支持发动机系统16和其他车辆部件的功能的其他子系统(制动子系统、转向子系统等)的各种车辆子系统。

该车辆还包括威胁检测和通知系统18，其各方面可以被结合到车辆10中或连接到车辆10。该实施例中的系统18包括被配置成拍摄图像的一个或多个光学相机20，图像可以是静止图像和/或视频图像。系统18中可以包括附加的装置或传感器，例如车辆10中包括的一个或多个雷达组件22。系统18不限于此，可以包括其他类型的传感器，例如红外传感器。

车辆10和系统18还包括车载计算机系统30，其包括一个或多个处理装置32和用户界面34。用户界面34可以包括触摸屏、语音识别系统和/或各种按钮，用于允许用户与车辆的特征进行交互。用户界面24可以被配置成通过视觉通信(例如，文本和/或图形显示)、触觉通信或警报(例如，振动)和/或听觉通信与用于进行交互。车载计算机系统30还可以包括用于监控用户的装置，例如内部相机和图像分析部件，或者与这些装置通信。这种装置可以并入驾驶员监控系统(DMS)。

除了用户界面之外，车辆10可以包括能够与用户交互和/或向用户传递信息的其他类型的显示器和/或其他装置。例如，附加地或者替代地，车辆10可以包括结合到后视镜36和/或一个或多个侧镜38中的显示屏(例如，全显示镜或FDM)。在一个实施例中，车辆10包括一个或多个平视显示器(HUD)。可以结合的其他装置包括指示灯、触觉装置、内部灯、听觉通信装置等。触觉装置(触觉接口)包括例如车辆方向盘和/或座椅中的振动装置。

各种显示器、触觉装置、灯和听觉装置被配置成以各种组合使用来向用户呈现信息(例如，驾驶员、操作员或乘客)。这种形式的例子包括文本、图形、视频、音频、触觉和/或通过其向用户传递信息的其他形式。如本文所讨论的，基于上下文来组合和/或定制这些通信形式，以确保用户迅速意识到任何检测到的威胁。

图2示出了计算机系统40的实施例的各方面，该计算机系统40与威胁检测和通知系统18通信或者是威胁检测和通知系统18的一部分，并且可以执行这里描述的实施例的各个方面。计算机系统40包括至少一个处理装置42，其通常包括一个或多个处理器，用于执行这里描述的图像获取和分析方法的各方面。处理装置42可以集成到车辆10中，例如作为车载处理装置32，或者可以是与车辆10分离的处理装置，例如服务器、个人计算机或移动装置(例如，智能手机或平板电脑)。

计算机系统40的部件包括处理装置42(例如一个或多个处理器或处理单元)、系统存储器44和将包括系统存储器44的各种系统部件联接到处理装置32的总线46。系统存储器44可以包括各种计算机系统可读介质。这种介质可以是可由处理装置42访问的任何可用介质，并且包括易失性和非易失性介质，以及可移动和不可移动介质。

例如，系统存储器44包括诸如硬盘驱动器的非易失性存储器48，并且还可以包括诸如随机存取存储器(RAM)和/或高速缓冲存储器的易失性存储器50。计算机系统40还可以包括其他可移动/不可移动、易失性/非易失性计算机系统存储介质。

系统存储器44可以包括至少一个程序产品，其具有被配置成执行这里描述的实施例的功能的程序模块。例如，系统存储器44存储通常执行这里描述的实施例的功能和/或方法的各种程序模块。可以包括接收模块52，以执行与获取和处理从检测装置接收的图像和信息相关的功能；威胁分析模块54，用于分析检测到的图像和威胁估计；以及威胁显示模块56，用于基于检测到的威胁向用户显示信息。系统40不限于此，因为可以包括其他模块。系统存储器44还可以存储各种数据结构，例如存储与成像和图像处理相关的数据的数据文件或其他结构。如这里所使用的，术语“模块”指的是处理电路，其可以包括专用集成电路(ASIC)、电子电路、处理器(共享的、专用的或成组的)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能的其他合适的部件。

处理装置42还可以与一个或多个外部装置58通信，例如键盘、定点装置和/或任何装置(例如，网卡、调制解调器等)，其使得处理装置42能够与一个或多个其他计算装置通信。此外，处理装置32可以与一个或多个装置通信，例如用于图像分析的相机20和雷达组件22。处理装置32可以与一个或多个显示装置60通信(例如，机载触摸屏、集群、中央堆栈、平视显示器、镜面显示器(FDM)等)和车辆控制装置或系统62(例如，对于部分自主的(例如，驾驶员辅助)和/或全自主车辆控制)。与各种装置的通信可以通过输入/输出(I/O)接口64和65进行。

处理装置32还可以与一个或多个网络66通信，例如局域网(LAN)、通用广域网(WAN)和/或公共网络(例如，互联网)。应当理解，尽管未示出，但是其他硬件和/或软件部件可以与计算机系统40结合使用。示例包括但不限于：微码、装置驱动程序、冗余处理单元、外部磁盘驱动器阵列、磁盘阵列系统和数据存档存储系统等。

图3描绘了监控车辆环境并向用户呈现威胁通知和威胁的预测轨迹的方法80的实施例。系统18或其他处理装置或系统可用于执行方法80的各方面。结合框81-86讨论方法80。方法80不限于其中步骤的数量或顺序，因为由框81-86表示的一些步骤可以以不同于下面描述的顺序来执行，或者可以执行少于所有的步骤。

注意，方法80和随后讨论的方法被描述为由处理装置执行，例如车辆10和/或计算机系统40中的处理器。然而，这些方法可以由任何合适的处理装置或系统来执行。此外，这些方法可以应用于各种车辆条件、能力、环境。在一个实施例中，该方法在反应时间和威胁检测被认为是优先的驾驶条件期间执行(例如，车辆以阈值速度移动，例如8英里/小时)。

本文讨论的方法结合车辆10进行描述，但不限于此，并且可以结合各种车辆(例如，汽车、卡车、飞机)和/或其他系统(例如，建筑设备、制造系统、机器人等。

在框81，处理装置在车辆运行期间使用一个或多个各种监控装置来监控车辆周围或车辆环境。例如，处理装置可以使用光学相机和图像分析和/或使用雷达来监控车辆周围的环境。车辆10被认为是观察者，并且可以被称为“自我车辆”。

处理装置检测环境中是否有任何物体，或者获取或接收与检测到的物体相关的数据(例如，来自另一个处理装置或系统)，并确定任何检测到的物体是否是威胁。如果物体位于车辆10的预测路径上，在选定距离内的位置，在可能干扰或碰撞车辆的方向上移动，或者处于可能导致干扰的位置，则该物体被认为是威胁。

在框82，处理装置收集与驾驶员状态相关或指示驾驶员状态的数据(“用户检测数据”)、与车辆周围环境相关的数据(“环境数据”)、以及与车辆动力学相关的数据(“车辆动力学数据”)。车辆通过驾驶员监控系统(DMS)收集用户数据90。通常，用户数据用于确定与用户注意力相关的用户状况。在一个实施例中，如果用户数据90(例如，眼睛跟踪数据)指示用户的注意力被引向检测到的物体或受威胁影响的位置或区域，正在看着道路，或者处于用户正在注意的状态，则用户被认为是“注意力集中”。如果用户的视线远离道路或检测到的物体或区域，或者如果用户的状态被分散，则用户被认为是“注意力不集中”。

此外，处理装置收集与车辆所处和/或运行的环境的条件或环境相关的环境数据92。环境数据92包括例如道路布局、周围特征和结构、地图数据、交通信息、天气数据、道路类型数据、交通灯数据等。

处理装置还收集车辆动力学数据94，例如速度和方向。车辆10在下文中被称为“自我车辆”。

在框83，基于以下因素中的一个或多个来确定操作或驾驶场景。这些因素包括用户(例如，驾驶员)注意力、视野(FOV)、操作模式(例如，手动、自动)、显示类型、威胁级别和威胁结构。驾驶场景可以包括所有上述因素(即，注意力、FOV、操作模式、显示类型、威胁级别和威胁结构)，或者可以包括上述因素的子集。

用户或驾驶员的注意力涉及对用户的注意力是否指向检测到的物体或检测到的物体位于或预期位于的区域或位置的评估。在一个实施例中，如果用户数据(例如，来自DMS)表示用户正在关注给定的物体或区域，用户注意力被确定为“注意力集中”。注意力可以基于眼睛跟踪以确定用户目光的方向来确定。基于其他指示，例如用户的情绪状态(例如，通过面部图像分析来确定)和用户行为来评估用户为注意力集中或注意力不集中。

将用户的FOV与检测到的物体的位置进行比较，以确定该物体是否对用户可见。如下所述生成的通知可以基于物体是在用户的视野内还是在FOV之外来定制。

操作场景可以包括自我车辆中可用的显示器类型或显示能力。显示类型的例子包括集群显示器(例如，数字仪表板和图形)、平视显示器(HUD)、镜面显示器、增强现实显示器等。

威胁级别表示检测到的威胁的紧急程度。威胁级别可以用数字分数或离散级别表示，如高、中、低。威胁级别可以基于诸如自我车辆速度、自我车辆轨迹、自我车辆和检测到的物体之间的距离以及它们的预测轨迹、碰撞的估计时间和/或对威胁的紧迫性和所需反应时间有影响的任何其他考虑因素来确定。

威胁结构包括离散威胁和组合威胁。离散威胁是指代表威胁的单个检测到的物体，组合威胁是指包括多个物体的威胁。组合威胁可能包括物体及其实际和预测的相互依赖性。组合威胁的一个例子是，自我车辆前面的几辆车正在刹车的情况。

在框84，每个检测到的物体(即，被认为是威胁或潜在威胁的物体)的轨迹被获取，或者基于传感器数据被计算。此外，可以获取或计算自我车辆物体轨迹。例如，可以绘制物体或自我车辆的雷达检测以估计物体或自我车辆的轨迹。

在框85，获取或计算每个检测到的物体和自我车辆的预测轨迹。检测数据如位置、速度、计算出的轨迹用于预测轨迹。基于预测的轨迹，处理装置可以确定在给定的预测时间帧中物体轨迹和自我车辆在何时何地将相交或进入彼此的阈值距离内(假设自我车辆保持其当前速度和方向)。每个预测轨迹以及关于相交的预测可以被分配置信分数或置信水平P。

在框86，操作场景、当前物体和自我车辆位置和轨迹以及预测轨迹被用于基于威胁、其轨迹和威胁的特定上下文生成用户通知。例如，用户通知包括视觉或图形显示，在该显示中，检测到的物体、它们的轨迹以及预测碰撞点或受影响区域的指示被视觉描绘。基于威胁级别和威胁条件，显示器中包括视觉呈现，其特征被设计为向用户通知威胁，并确保用户的注意力被引向威胁和威胁的预测轨迹。例如，物体和/或轨迹表示可以是彩色编码的、阴影的、增强的或以其他方式强调的，以给用户快速和直观的威胁印象。在一个实施例中，呈现的强度可以随着威胁级别的增加而逐渐变化(例如，自我车辆移动得更靠近检测到的物体)。

此外，通知的类型和/或强度取决于威胁的级别以及是否存在组合威胁。例如，如果确定了组合威胁，则通知可以提供关于检测到的物体或威胁之间的依赖性的附加细节。

该通知可以包括一个或多个模态，包括视觉模态、听觉模态和/或触觉模态。装置的类型和组合可能取决于操作场景、威胁级别和/或威胁结构。例如，较低级别的威胁可能会导致通知具有单一模态，如视觉显示。对于更高级别的威胁(或者如果威胁级别增加)，可以添加附加的模态(听觉和/或触觉)来增加传达给用户的紧迫感。

例如，处理装置生成通知96，通知96可以包括视觉显示96a、触觉信号96b、音频(例如，音调或口头)警报96c和照明信号96d的任何组合。

例如，通知由不同的模态提供，包括视觉的(例如，包括根据需要摇摄和放大和缩小)、方向性声音/触觉(孤立的或组合的)和语音警报，这取决于驾驶员的估计反应时间。当需要时，也可以操纵内部照明来集中用户的注意力。

图4描绘了用于确定驾驶场景的方法110的实施例。方法110可以是结合框83描述的方法80的一部分。

在框111，处理装置接收指示车辆状况的车辆数据，包括车辆动力学和操作模式。例如，操作模式是自动或自主驾驶模式(框112)。操作模式也可以是手动驾驶模式。自主驾驶模式可以是完全自主模式，或者是部分自主模式，例如驾驶员辅助模式、自适应巡航和车道保持辅助、停车辅助等(例如，用户在特定时间或特定条件下不控制速度和/或转向的模式)。自主模式可以包括半自主驾驶中的各种自动化水平(例如，2级和3级自动化)。

在框113，获取用户检测数据，并将其用于评估用户注意力的水平(即，用户是注意力集中还是不集中)。例如，DMS相机可以监控驾驶员的压力指示(例如，面部颜色和表情)，并跟踪眼睛目光以确定驾驶员正在看哪里。注意力的确定可以包括置信水平。

在框114，从外部传感器获取环境数据，例如相机和/或雷达组件。在一个实施例中，环境数据被处理以提供环境中检测到的物体的网格视图，并且可以提供威胁得分(例如，基于物体位置、速度和/或轨迹)。网格视图可以包括物体特征或者与物体特征相关联(例如，孤立或集群、静态/动态、FOV内部或外部)。

在框115，处理装置估计检测概率，以确定用户是否正在查看网格中的给定位置的概率。可以针对任何期望的位置、像素、网格区域和/或检测到的物体来计算检测概率。

例如，物体(潜在威胁)在网格中被识别，并且网格被呈现给用户。眼睛扫描信息用于估计用户的目光聚焦在与每个物体相关联的位置上的持续时间。持续时间用于导出对每个物体的概率值(例如，分数或百分比)。

网格被处理以生成像素矩阵，其中每个像素是网格的一个区域，并且与威胁分数相关联。对于没有物体位于其中和/或没有物体轨迹预期与像素相交的那些像素，可以填充零威胁分数。将检测概率乘以每个像素的威胁分数，得到“检测概率”值。检测概率值可以被计算为与给定物体相关联的所有像素的平均(或最大)检测概率。

在框116，处理装置确定通知中是否要强调任何物体或物体集群。例如，位于车辆路径中的物体(以及那些具有预测与车辆路径相交的轨迹的物体)和/或检测概率低(低于阈值)的物体被选择用于更大的强调。

在框117，处理装置输出或保持用于设计通知的数据。示例包括驾驶员注意力状态120a、应该强调哪个(些)物体的威胁结构和指示120b、以及威胁分数或威胁级别120c。

提供了驾驶员注意力状态120a、威胁结构和指示120b以及威胁分数或威胁级别120c。尽管图4中未示出，但提供了车辆控制状态(自动驾驶级别)120d的指示和(一个或多个物体的)预测威胁轨迹102e。注意，驾驶员注意力状态120a、威胁结构和指示120b、以及威胁分数120c可以作为输入应用于图5A和5B所示的方法(由元素“A”、“B”和“C”表示)。

基于这些输入，可以显示用户通知，这增强了用户对情况的意识。用户通知提供视觉和/或图形显示，通知用户潜在的威胁及其预测的轨迹。用户通知提供包括被识别为威胁的物体的预测轨迹和/或关于物体轨迹是否将与自我车辆轨迹相交的预测的信息，并且还可以包括针对威胁级别和/或用户注意力定制的指示。其他信息包括威胁分数、置信分数、相交可能性等。

图5A和5B描绘了选择通知的模态和属性的方法130的实施例。方法130包括由框131-160表示的步骤或阶段。提供各种模态和属性是为了说明的目的，而不是为了限制，因为在设计通知时可以使用少于所有的模态和属性。注意，方法130从图5A开始，并在图5B继续。如图所示，框140连接到框141-143(由元素“D”表示)，框144连接到框145-147(由元素“E”表示)，框155连接到框156-158(由元素“F”表示)，

在框131，提供输入数据。例如，提供输出120a-c，以及被识别为威胁的一个或多个物体的操作模式120d和预测轨迹120e。在此基础上，通过选择适当的模态及其特征生成通知。

在该示例中，处理装置可以选择视觉/图形模态(框132)、诸如振动的触觉模态(框133)、诸如嘟嘟声、语音警报等听觉模态(框134)和/或照明模态(框135)。

视觉形式包括对用户可见的任何表示，并且可以是文本的、字母数字的、图形的、符号的和/或任何其他类型的视觉指示。也可以基于可用的视觉显示类型来选择视觉模态。在框136，处理装置确定可用的显示类型。例如，处理装置可以在框137选择集群显示器(例如，数字仪表板)，在框138选择增强现实FDM，在框139选择增强现实平视显示器，或者选择它们的组合。

在框140，处理装置可以确定多个视图是否可用。如果可用，处理装置可以从层视图(框141)、鸟瞰图(框142)和俯视图(框143)中的一个或多个中进行选择。

在框144，系统基于诸如置信水平P(误检测概率)、基于预测的威胁级别以及环境的受影响区域和视觉显示器中的对应位置等因素定制视觉显示。例如，系统在框145确定置信水平，在框146确定威胁级别，在框147确定受影响区域。

处理装置定制视觉显示，例如，通过添加或结合强调威胁或潜在威胁以及相应的预测轨迹的视觉指示器。在框148，视觉显示可以通过威胁级别进行彩色编码(例如，红色表示高威胁，黄色表示中等威胁，等)，并且在框149基于威胁级别给物体的视觉呈现赋予不透明度。此外，呈现的纹理(例如，轨迹线、物体周围的轮廓)可以被选择以指示威胁级别和/或置信度(框150)。

在增强现实显示中，在框151，可以基于上下文显著性来添加或强调视觉指示器。上下文显著视觉指示器或特征是基于上下文操纵的特征，例如威胁级别和用户注意力。例如，视觉部件的特征(例如，检测到的物体和轨迹)可以随着威胁级别增加或降低逐渐改变(例如，颜色之间的转换，逐渐变亮，闪烁率，透明度)。

听觉和/或触觉通知也可以基于威胁级别、注意力和其他因素来选择或定制。例如，处理装置在框152确定是否应该使用方向指示器，并且在框153从中央(非方向)指示器和在框154从方向指示器中进行选择。方向性可用于提示用户将注意力集中到威胁或潜在威胁的指定位置。

在框155，处理装置可以例如通过调整听觉和/或触觉指示器的时间和/或频谱属性来定制听觉和/或触觉指示器。例如，可以选择听觉或触觉脉冲持续时间(框156)、脉冲重复次数(框157)和暂停持续时间(框158)。此外，在框159，可以基于威胁级别和/或注意力来调整声音或触觉信号的强度。在框160，也可以调整发作和释放(声音或触觉信号强度的增加和降低的速率)。

在一个实施例中，视觉内容充当基线模态。可以基于威胁级别和注意力在通知中添加其他模态。例如，触觉和声音作为附加层添加，以在需要时引起注意。决定所选择的一个或多个模态是例如驾驶自动化水平、情况紧急程度和用户注意力状态的函数。例如，在高度紧急的情况下，使用所有三种模态。在中度紧急情况下，当用户注意时使用视觉和触觉，当不注意时增加声音。在紧急程度较低的情况下，当驾驶员注意力集中时，只有显示器是可视的，当用户注意力不集中时，添加温和的触觉。

如果可用的模态少于全部，可以确定模态的双重组合。例如，如果触觉不可用，视觉和声音模态用于高度紧急的情况。在中度紧急情况下，当用户注意力集中时，采用视觉模态，而当用户注意力不集中时，增加具有中度紧急特征的声音。

图6示出了为生成用户通知分配媒体的方法170。方法170包括由框171-182表示的步骤或阶段。

在框171，输入数据用于确定视觉显示的内容。处理装置在框172确定威胁级别，在该示例中，威胁级别被分类为低、中或高。

如果威胁级别低(框173)，则在框174，处理装置确定用户或驾驶员是注意力集中还是不集中。在框175，如果用户注意力不集中，可以添加触觉。

如果威胁级别中(框176)，则在框177，处理装置确定用户是注意力集中还是不集中。如果驾驶员注意力集中，则在框178添加触觉。如果驾驶员注意力不集中，则可以在框179添加诸如通知嘟嘟声的声音。如果威胁级别高(框180)，则声音(框181)和触觉(框182)都可以被添加。

在一个实施例中，处理装置连续监控威胁级别，并通过根据方法调整视觉和/或其他模态从一个级别转换到另一个级别。

内部照明可以包含在通知中。例如，当通知要求操作员集中注意力(或自动模式下的乘客)时，可以以尖锐的方式加强内部照明。

图7描绘了通过提供与动态事件相关联的威胁和预测轨迹的各种视觉呈现来定制用户通知的方法190的示例。在本例中，车辆显示器是集群显示器。方法190包括由框191-213表示的多个步骤或阶段。

在框191，处理装置接收输入数据，并且如果物体被检测为威胁，则系统确定用于视觉显示的适当视图(框192)。如果检测到的物体是可见的，则可以选择鸟瞰图(框193)。如果物体对用户不可见，则可以使用俯视图。例如，如果检测到的物体在车辆的后面或侧面，或者当预测的碰撞很远时，俯视图可用于“缩小”并提供场景的完整背景(框194)。倾斜可以用来在两个视图之间移动。

在框195，确定威胁级别，并且在框196，确定检测到的物体和自我车辆的检测和/或预测轨迹。

为了表示检测到的物体和轨迹，可以以各种方式定制视觉内容。物体和/或轨迹由可视元素表示，可视元素的属性是基于威胁级别、威胁结构、注意力和/或其他因素选择的。例如，可以选择物体大小(例如，对于更大的威胁，变得稍微更大)(框203)，并且选择可视元素的形状(块208)来指示威胁。此外，可视元素可以通过不透明度(框209)和/或纹理(框212)来定制。检测到的物体和/或自我车辆的轨迹或路径可以被赋予选定的颜色，例如，以指示威胁严重程度(框213)。

例如，在集群显示器中，可以使用不同级别的不透明度和纹理将某些物体与它们的预测路径区分开来。不透明度可以是透明的(框210)、不透明的或半透明的(框211)。

在框204，可以包括轮廓和/或线来表示例如物体和自我车辆轨迹以及潜在的冲击或碰撞位置和/或受影响区域。线可以是全的或实线(框205)、虚线(框206)、模糊(框207)或以其他方式操纵。例如，当前物体位置可以由实线表示，并且预测轨迹和预测轨迹的交点可以具有虚线或轮廓。形状和/或线可以是模糊的，物体和线可以是半透明的和/或可以使用微弱的光束。其他设计方法也是可能的，只要以直观的方式呈现检测到的物体和预测之间的区别。

在一个实施例中，显示器可以被配置成表示和区分有效的和推测的威胁或物体。“有效的”威胁或物体是处理装置实际检测和解释的区域中的物体或条件。“推测的”威胁或物体是那些不被直接检测到，而是由处理装置推断出的威胁或物体。通过为推测的威胁分配与有效的威胁不同的视觉特征，可以在显示器中区分推测的威胁。例如，在显示器视场中或在显示器边缘的有效威胁(如果有效的威胁在视场之外)可以用实线或不透明的符号或图像来表示，而推测的威胁可以用虚线或半透明的符号或图像来表示。当呈现涉及增强现实时(例如，挡风玻璃，FDM)，可以应用与上述类似的原则。在增强现实显示器中，希望视觉场景清晰且易于处理。特定场景或物体的上下文显著性原则可以被应用于将注意力吸引到可见目标，同时避免注意力捕捉(例如，使用亮度变化、对比度强调、颜色修改、闪烁和其他修改)。

对于增强现实(AR)显示器，在一个实施例中，应用以下规则：使用不会在视觉上模糊场景的微妙或不引人注目的视觉指示器，例如轮廓或微妙的辉光，将预测的轨迹限制在检测到的物体的附近。增强现实显示器中的可视化可以与集群显示器(或其他非增强现实显示器)中的相应指示器兼容，用于中和高紧急警报，形成现实世界中检测到的物体的参考。增强现实显示器外围的预测物体(即将进入场景)通过挡风玻璃框架中微妙的方向闪烁进行反射，精确定位目标将出现的方向。

形状大小和/或纹理(或其他操作)可用于可视化预测轨迹并提供上下文可视化。例如，预测路径的视觉表示可以被调整以反映计算的置信水平。此外，可以调整预测路径的可视化(例如，变得更厚、更亮)以使得当自我车辆接近检测到的物体或检测到的物体的预测路径(例如，与主车辆碰撞的时间(TTC))，使视觉化更强，更不模糊。

颜色编码可以作为一种手段，在情况的紧急程度下创建层次。例如，物体和/或轨迹可以用传统的颜色编码来表示，红色表示紧急事件，橙色表示中等紧急事件，绿色(或原始物体的颜色)表示低紧急事件。在一个实施例中，视觉元素的颜色和/或其他属性逐渐改变，以表示威胁级别的增加和/或随着自我车辆的接近。例如，颜色可以通过不同颜色编码之间的阴影逐渐改变颜色来“连续”改变。除了颜色之外的其他可视化可以用来指示紧急程度，例如亮度、厚度等。不同的视觉层次也可以应用在这样的策略中(例如，操纵亮度水平、厚度值等)。

框197-202表示可以在视觉显示中表示自我车辆的各种方式。自我车辆的受影响区域或碰撞区域(框197)可以通过颜色编码、增亮或以其他方式强调自我车辆的受检测物体的碰撞影响的区域(框198)来表示。轮廓或线(框199)可以与颜色一起使用，以指示受影响的区域或碰撞区域，或者以其他方式将检测到的物体与预测碰撞将发生的预测位置相关联(框200)。自我车辆的估计停车区域(块201)可以被放置在视觉显示器(202)的网格或区域内。

图8描绘了为增强现实HUD显示器定制用户通知的方法220的示例。方法220包括由框221-233表示的多个步骤或阶段。

在框221，处理装置接收输入数据，并且如果物体被检测为威胁，则系统确定检测到的物体在显示器的视野内是否可见(框222)。如果是，则根据上述上下文显著性原则来表示物体(框223)。如果检测到的物体不可见，则根据检测到的物体进入视野的预测点在HUD上呈现该物体(方框224)。在框225，确定威胁级别，并且在框226，通过在显示器中添加与检测到的物体的图像相关的视觉特征来可视化检测到的物体(目标)。视觉特征可以应用于物体的身体(框227)，例如，通过将轮廓和/或颜色应用于身体，或者操纵物体的透明度或亮度。其他可视化包括指示例如威胁级别的轮廓或线(框228)，以及视觉特征(例如，线、光束、发光区域)来指示物体的预测方向(框229)。可被操纵的视觉特征的例子包括亮度(框230)、具有选定闪烁速率的闪烁特征(框231)、透明度(框232)和颜色(框233)。

当威胁具有方向性时，可以包括方向性显示以增强情况感知。例如，受影响的区域可以如上所述被突出显示或强调(例如，自我车辆表示的前面、后面或侧面被突出显示)。方向性声音和触觉可以与视觉显示器结合使用来指示方向。

对于通知的听觉和/或触觉元素，可以控制脉动频谱和时间特性来传达情况的潜在紧迫性。例如，在高度紧急的情况下(例如，高威胁水平)，可以发射高强度脉冲，伴随着刺激包络的急剧发作和释放，并且刺激包括具有短脉冲间间隔和高重复次数的短脉冲。对于中紧急情况，听觉和/或触觉信号可以通过中等强度的脉冲发射，具有急剧发作和刺激包络的更平滑的释放，并且刺激包括具有更长脉冲间间隔和更少重复的更长脉冲。对于低到中的紧急程度，信号可以以低强度脉冲的形式发出，具有中等强度的发作和刺激包络的长释放，并且刺激包括具有长脉冲间间隔和少量重复的长脉冲，以给用户低紧急程度的感觉。

当物体离得很远时，威胁的紧迫性(和预测的置信水平)通常较低，只有视觉通知就足够了。对于任何一种模态，当用户变得注意力不集中时，可以加强通知。

以下是针对各种威胁级别以及驾驶员注意力集中或不集中的情况，在人工操作下生成的通知示例的描述。

如果威胁级别高，并且用户注意力集中，则通知被设计为使用视觉、听觉和触觉模态来表达高度紧急性。该通知包括视觉显示，例如，通过使用红色图形来表示紧急程度，突出显示一个或多个检测到的(有效的)物体。此外，视觉显示区分视场内的检测到的物体及其预测路径，以及视场外的检测到的物体。此外，视觉显示可以区分有效的物体和推测的物体(例如，通过用实线画出有效的物体的轮廓，用虚线画出推测的物体的轮廓，或者指定不同的透明度级别)。

例如，如果检测到的物体(预测目标)在视野之外，图形指示器可以与预测轨迹一起位于增强现实显示器的外围(或者在另一个显示器上，例如侧镜显示器，如果可用的话)。检测到的代表威胁的物体也通过显示器与场景中本身可能不代表威胁的其他物体区分开来。视场之外的有效的和推测的物体可以在外围使用区分推测的和有效的物体的图形指示器来表示。

包含具有紧急特征的方向性声音和触觉，以优化情境感知(例如，刺激包络急剧发作和衰减的高强度脉冲、具有短间隔和高重复次数的短脉冲将给予使用者高度的紧迫感)。

如果用户注意力不集中，可以产生类似的通知(即，类似于对注意力集中用户的通知)，但是更早地升级到更高的紧迫性。换句话说，对于注意力不集中的驾驶员来说，从中威胁级别切换到高威胁级别所需的威胁的紧迫性(例如，物体和自我车辆之间的距离)低于注意力集中的驾驶员。因此，当驾驶员注意力不集中时，威胁级别将在较早的时间从中切换到高。

如果威胁级别是中，并且用户注意力集中，则通知可以用视觉和触觉模态来表达这种紧急程度。例如，使用橙色图形突出显示检测到的物体，以表示中紧急程度。方向性触觉包括中紧急特征以优化情况意识(例如，中强度的脉冲具有急剧发作和刺激包络更平滑的衰减，较长的脉冲具有更长的间隔和少量的重复会给用户一种中等的紧迫感)。如果用户注意力不集中，通知可以使用与注意力集中相同的视觉和方向性触觉，加上附加的方向性声音。如果只有一种模态被添加到视觉显示器中，则通过增加触觉或声音的频谱和时间特性，可以对注意力不集中的用户进行等同的操作。声音特征可以与触觉特征相匹配，以形成同步输出。此外，当驾驶员注意力不集中时，威胁级别将在较早的时间从低切换到中。

如果威胁级别低，并且用户注意力集中，则通知包括视觉模态，而没有附加模态。在这种情况下，通知被设计为在视觉通道中表达低紧迫性。例如，使用绿色图形(或简单的原始物体的颜色)来表示低紧迫性。如果用户注意力不集中，通知包括类似的视觉模态，如果需要吸引注意力，还会加上温和的方向性触觉。如果用户注意力不集中，可以对所有模态进行升级(从低到中或从中到高)。触觉件以低紧急特征(例如，具有中等发作的低强度脉冲和刺激包络的长衰减，具有较长间隔和极少重复的长脉冲会给使用者一种低紧迫感)施加。

在完全自主模式下(例如，对于自主车辆)，对于任何给定的威胁级别，通知类似于上面讨论的手动控制，以向乘客提供更好的情况意识。随着威胁级别的增加(例如，随着碰撞时间的减少)，中高威胁级别通知之间的升级可以通过模态的频谱和时间方面的变化来表现。如果用户注意力不集中，升级会在所有模态中表现出来，并且可能比用户注意力集中的情况下更早升级。此外，可以操纵内部照明来将用户的注意力吸引回场景。对于低威胁分数，照明可以保持暗淡。在处于部分自主模式的半自主车辆中，当用户控制被解除，并且部分自主模式被激活时，通知可以类似于完全自主车辆通知。如果时间允许进行适当的处理，可以在两种自主模式下添加解释层。

图9-11示出了包括如上所述配置的视觉呈现的集群显示器的例子。在这些例子中，操作模式是手动的，驾驶员注意力集中。

参考图9，示出了集群显示器300的示例，其中检测到的物体在FOV之外，威胁结构是离散的(单个威胁)，并且威胁级别高。在这个例子中，检测到摩托车正从后面和左边靠近车辆以通过。该显示器结合了自我车辆图像302、摩托车的轨迹304和显示车辆可能受碰撞影响的区域的潜在碰撞图形306。摩托车的当前位置由红色图像308示出，并且摩托车的预测位置由摩托车图形310示出。显示器300可以以其他方式表示摩托车，例如，通过使用光束、虚线等突出显示摩托车的预测路径。

当在视野之外检测到摩托车时(假设在鸟瞰图中不能看到它)，显示器被配置为俯视图以向用户提供上下文。当前位置的摩托车用红色实线标记。受影响的区域(影响图形306)也用红色实线标记。预测路径和预测位置用红色虚线标出。

在这个例子中，视觉注意力被引导到屏幕上的聚焦区域，避免在其他地方出现任何红色图标，并且不包括解释层以避免在手动驾驶中在其他地方引起注意。可以添加方向性声音和触觉(左后方)，以使注意力集中的用户理解威胁的方向性，并在紧迫性高时查看集群。

参考图10，示出了集群显示器300的另一个例子，其中检测到的物体在FOV之外，威胁结构是离散的(单个威胁)，并且威胁级别是中。在这个例子中，检测到预测与车辆相交的鹿。该显示器结合了自我车辆图像322、鹿的图像324，并且还可以包括指示轨迹的虚线。潜在碰撞图形326示出了可能受碰撞影响的车辆区域。

鹿在其当前位置的图像324用半透明的橙色标记。受影响的区域也在图形328中被标记，图形328包括带有细微辉光的橙色虚线。视觉注意力被引导到显示器320上的聚焦区域，避免了其他地方的任何橙色图标，并且在手动驾驶中没有提供解释层。可以发出方向性触觉脉冲(左前方)，以使注意力集中的用户理解威胁的方向性，并在紧迫性中时查看集群。在这个例子中，鹿实际上已经被检测，因此被认为是确定的。如果一个或多个物体或威胁是推测性的，它们可以与鹿区分开来，例如，使用虚线轮廓。

参考图11，示出了集群显示器300的示例，其中检测到的物体在FOV内部，威胁结构是组合的(多个威胁)，并且威胁级别高。在这个例子中，行人和球正在接近十字路口附近的道路。该显示器组合了自我车辆图像342、行人图像344、球的当前图像346、预测轨迹348和球在预测位置的图形350。潜在碰撞图形352示出了可能受碰撞影响的车辆区域。

在当前位置的球和受影响的汽车区域用红色实线标出。预测路径、位置、在球后跑的行人(小孩)用红色虚线标出，不包括解释层。方向性声音和触觉(前行人刹车警报，FPB)将使用户检测到威胁的方向性，瞥一眼集群，然后直接关注场景。

图11的示例还示出了有效的威胁或物体的呈现与推测的威胁的呈现相结合的示例。在这个例子中，球是确定的，因为球实际上是由自我车辆中的威胁检测系统检测到的。行人是推测的，因为系统根据情境推断可能有孩子在跟随球。因此，球的图像346包括实心轮廓(圆形)，行人图像344包括虚线。参考图12，示出了具有中低威胁级别的组合威胁结构的集群显示器300的示例。在该示例中，显示包括自我车辆图像362，以及代表自我车辆前方的车辆的车辆图像364和366。在这种情况下，车辆在自我车辆之前刹车，导致由物体364和366表示的车辆刹车。显示是顶视图，以支持从用户可能看不到的电子交通工具中呈现内容。

在该示例中，车辆图像364和366呈现橙色光，并且橙色虚线368表示预测的停止效果。橙色线370标记了预测的撞击区域。可以发出方向性触觉信号，以使注意力集中的用户确定威胁的方向性并查看集群显示器。

图13示出了用于以自主模式运行的车辆(用于全自主或半自主车辆)的集群显示器300的示例。在本例中，威胁结构是单一的，威胁级别高。检测到的物体是由鹿图像372呈现的鹿，而自我车辆由自我车辆物体374呈现。如图所示，提供了解释性文本(“前方有鹿，刹车”)，以确保用户掌握场景的全部上下文。

在上面，通知被设计成将用户的注意力引导到显示器的特定区域。其他不被视为威胁的物体可能以比被视为威胁的物体更柔和或更微妙的方式来呈现。例如，上述显示器中的其他车辆由灰色图形物体表示。

图14显示了增强现(AR)实显示器的例子，例如HUD 390。在这个例子中，图形物体和特征被保持在提醒用户所需的最低限度。视觉层，例如临时高亮392，覆盖在HUD 390中的鹿上。HUD 390增加了视觉层，以提供更好的情况意识。与集群中的可视化兼容的可能遗漏的物体的临时突出显示可用于提供对现实世界中的威胁的参考。可以包括方向性声音和触觉来提醒用户。在这个例子中，鹿被认为是确定的；任何推测的物体或威胁可以例如在HUD390的外围以与鹿(或其他某些物体或威胁)不同的方式来呈现。

这里使用的术语仅用于描述特定实施例的目的，并不旨在限制本公开。如这里所使用的，单数形式“一个”、“一个”和“该”意在也包括复数形式，除非上下文清楚地另外指出。将进一步理解，当在本说明书中使用时，术语“包括”和/或“包含”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但是不排除一个或多个其他特征、整数、步骤、操作、元件组件和/或其组的存在或添加。

虽然已经参考示例性实施例描述了上述公开，但是本领域技术人员将理解，在不脱离本发明的范围的情况下，可以进行各种改变，并且等同物可以替代其元件。此外，在不脱离本公开的基本范围的情况下，可以进行许多修改以使特定情况或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims (10)

1.一种用于通知车辆用户的系统，包括：

接收模块，被配置为从一个或多个传感器接收检测数据；

威胁分析模块，被配置为接收与车辆周围环境中的检测到的物体相关的物体检测数据，获取检测到的物体的预测轨迹，并基于检测到的物体的预测轨迹和车辆轨迹确定检测到的物体是否构成威胁；和

威胁显示模块，被配置为基于确定检测到的物体构成威胁：

基于用户注意力、视野、操作模式和威胁级别来确定操作场景；和

向用户生成呈现威胁的通知，所述通知包括检测到的物体的视觉呈现和检测到的物体的预测轨迹的视觉指示器，其中基于操作场景定制视觉呈现和视觉指示器中的至少一个。

2.根据权利要求1所述的系统，其中所述操作模式选自手动操作模式、部分自主操作模式和完全自主操作模式。

3.根据权利要求1所述的系统，其中所述操作场景包括从离散威胁和组合威胁中选择的威胁结构，并且所述通知包括呈现组合威胁的多个物体之间的依赖性的视觉呈现。

4.根据权利要求1所述的系统，其中所述威胁显示模块被配置为基于以下至少一项将听觉警报和触觉警报中的至少一项并入所述通知：

确定威胁级别高于选定值；和

确定用户相对于检测到的物体注意力不集中。

5.根据权利要求4所述的系统，其中随着所述威胁级别的改变，所述检测到的物体的视觉呈现、所述预测轨迹的视觉指示器、所述听觉警报和所述触觉警报中的至少一个的属性实时地逐渐改变。

6.根据权利要求1所述的系统，其中所述通知包括基于威胁级别和用户注意力中的至少一个来调整车辆中的内部照明。

7.一种通知车辆用户的方法，包括：

从一个或多个传感器接收检测数据；

基于所述检测数据接收与车辆周围环境中的检测到的物体相关的物体检测数据，获取检测到的物体的预测轨迹，并基于检测到的物体的预测轨迹和车辆轨迹确定检测到的物体是否构成威胁；

基于确定检测到的物体构成威胁，基于用户注意力、视野、操作模式和威胁级别确定操作场景；和

向用户生成呈现威胁的通知，所述通知包括检测到的物体的视觉呈现和检测到的物体的预测轨迹的视觉指示器，其中基于操作场景定制视觉呈现和视觉指示器中的至少一个。

8.根据权利要求7所述的方法，其中威胁显示模块被配置为基于以下至少一项将听觉警报和触觉警报中的至少一项并入所述通知中：

确定威胁级别高于选定值；和

确定用户相对于检测到的物体注意力不集中。

9.根据权利要求8所述的方法，其中，随着所述威胁级别的改变，所述检测到的物体的视觉呈现、所述预测轨迹的视觉指示器、所述听觉警报和所述触觉警报中的至少一个的属性实时地逐渐改变。

10.根据权利要求9所述的方法，其中所述视觉呈现和所述视觉指示器中的至少一个的属性选自颜色、不透明度、亮度、闪烁速率、纹理和强度中的至少一个。

Images