CN116030652A - 用于自主系统的让行场景编码 - Google Patents

Abstract

本公开涉及用于自主系统的让行场景编码。在示例中，自主车辆能够以安全和可预测的方式协商让行场景。响应于检测到让行场景，生成一个等待元素数据结构，该数据结构对自我路径的几何、包括与自我路径的至少一个竞争点的竞争者路径的几何以及与至少一个竞争点相关联的竞争状态进行编码。还可以对让行场景上下文的几何进行编码，例如交叉口的内部地面、入口线或出口线等。等待元素数据结构被传递给自主车辆的让行规划器。让行规划器至少基于等待元素数据结构来确定自主车辆的让行行为。自主车辆的控制系统可以根据让行行为来操作自主车辆，使得自主车辆安全地协商让行场景。

Description

用于自主系统的让行场景编码

相关申请的交叉引用

本申请与2021年8月5日提交的题为“让行场景中的自主车辆的行为规划(Behavior Planning for Autonomous Vehicles in Yield Scenarios)”的美国专利申请第17/395,318号相关，该申请通过引用整体并入本文。

背景技术

机器视觉方法、神经网络架构和计算基板的进步开始支持自主车辆——例如但不限于基于陆地的自主车辆(例如，自动驾驶汽车和卡车)和机器人。为了让公共和政府监管机构接受在道路上广泛部署自动驾驶汽车和卡车，自动驾驶汽车和卡车必须达到超过当前普通人类驾驶员安全水平的安全水平。安全有效的驾驶要求所有驾驶员都相信该区域中的其他车辆在有义务时会适当地让行。如果车辆未能让行，由于其他驾驶员的“不可预测性”，附近其他车辆的驾驶员可能无法以安全有效的方式继续行驶，例如，被提供了在有义务时可能未能让行的行为提示的驾驶员。因此，部署自动驾驶汽车和卡车的必要条件包括自动驾驶汽车和卡车在“安全和礼貌”的谈判让行场景(例如，交叉口和合并车道)中取得成功。

通常，该区域的当地交通法规和驾驶协议规定哪些车辆操作员(以及在什么条件下)有责任或义务向他人让行。此类法规包括交通法规(例如，车辆必须在人行横道上让行行人)、特定于情况的标志(例如，指示交叉口的哪些进入道路有责任让行其他进入道路的街道标志)、和其他实时提示(例如，多辆汽车几乎同时到达一个交通圈)。然而，传统的自主车辆无法编码和部署此类协议。相反，传统系统可能旨在避免碰撞，同时未能考虑让行协议，因此无法安全且可预测地导航让行场景。

发明内容

本公开的实施例涉及对自主系统(例如，有人驾驶或无人驾驶车辆或机器人)的让行场景进行编码。公开了当系统遇到让行场景时提供对自主系统的实时控制的系统和方法。

与诸如上述那些的传统系统相比，所公开的实施例使自主系统能够以安全和可预测的方式协商让行场景。在至少一个实施例中，响应于检测到让行场景，生成数据结构，该数据结构对自我路径的几何、包括与自我路径的至少一个竞争点的竞争者路径的几何以及与至少一个竞争点相关的竞争状态进行编码。还可以对让行场景上下文的几何图形进行编码，例如定义交叉口的内部地面区域的几何图形(例如，作为多边形)、入口或出口线等。数据结构被传递给自主系统的让行规划器。让行规划器至少基于数据结构确定自主系统的让行行为。自主系统的控制系统可以根据让行行为来操作自主系统，使得自主系统安全地协商让行场景。

在至少一个实施例中，可以至少基于分析由自主车辆的至少一个传感器生成的传感器数据来检测让行场景(例如，交叉口或并道让行场景)。地图定位和/或感知可用于确定与让行场景相关联的各种信息。例如，可以通过让行场景确定自主车辆的第一路径和竞争者(例如，另一车辆或其他物体)的第二路径。路径之间可能存在至少一个竞争点，这可能表明如果经过路径可能发生碰撞。为了确定至少一个竞争点的竞争状态(定义车辆应该如何表现)，系统可以确定适用于让行场景的一个或更多个交通规则。等待元素数据结构(也称为等待元素)然后可以对车辆使用的信息进行编码以导航让行场景，例如路径的几何、竞争状态和其他信息。例如，可以将等待元素提供给车辆的控制代理。可以使控制代理能够使用等待元素来确定第一车辆的让行行为。

附图说明

下面参考附图详细描述本发明的用于自主系统的让行场景编码的系统和方法，其中：

图1是根据本公开的一些实施例的根据本公开的一些实施例的让行场景的示例；

图2示出了根据本公开的一些实施例的等待元素数据结构的非限制性示例和竞争状态数据结构的非限制性示例；

图3示出了根据本公开的一些实施例的根据各种实施例的等待元素引擎的非限制性示例；

图4是示出根据本公开的一些实施例的用于对自主车辆(例如，自我车辆)的让行场景进行编码的方法的流程图；

图5是示出根据本公开的一些实施例的用于对自主车辆(例如，自我车辆)的让行场景进行编码的方法的流程图；

图6是示出根据本公开的一些实施例的用于解决车辆路径之间的竞争状态的方法600的流程图；

图7A是根据本公开的一些实施例的示例自主车辆的图示；

图7B是根据本公开的一些实施例的图7A的示例性自主车辆的相机位置和视野的示例；

图7C是根据本公开的一些实施例的图7A的示例自主车辆的示例系统架构的框图；

图7D是根据本公开的一些实施例的用于基于云的服务器与图7A的示例自主车辆之间的通信的系统图；

图8是适用于实现本公开的一些实施例的示例计算设备的框图；以及

图9是适用于实现本公开的一些实施例的示例数据中心的框图。

具体实施方式

公开了与编码自主车辆的让行场景相关的系统和方法。尽管本公开可针对示例自主车辆700(在本文中也称为“车辆700”或“自我车辆700”，其示例参照图7A-7D进行描述)进行描述，这并非意在限制。例如，本文所述的系统和方法可以由非自主车辆、半自主车辆(例如，在一个或更多个自适应驾驶员辅助系统(ADAS)中)、有人驾驶和无人驾驶机器人或机器人平台、仓库车辆、越野车辆、连接到一个或更多个拖车的车辆、飞行器、船只、穿梭车、应急响应车辆、摩托车、电动或机动自行车、飞机、工程车辆、水下航行器、无人机和/或其他车辆类型使用，但不限于此。此外，虽然本公开可关于控制自主车辆以协商让行场景进行描述，但这并非旨在限制，并且本文描述的系统和方法可用于增强现实、虚拟现实、混合现实、机器人技术、安全和监视、自主或半自主机器应用和/或任何其他可以使用自主控制系统的技术空间。

在操作自主车辆的正常过程中，控制代理必须避开移动和非移动障碍物(例如，其他车辆、行人、自行车、车道障碍物等)。除了避免碰撞之外，代理还负有在某些场景下(例如，“让行条件”)向其他道路使用者让行的基本责任。这样的让行条件可能存在于(受控和不受控)交叉口、人行横道、合并车道、高速公路(或州际)上/下坡道、交通圈等，例如导航停车结构和/或停车场。为了让其他用户安全、自信和有效地“清除”让行条件，让行行为可能涉及减速，甚至使车辆完全停止。例如，在另一汽车先前到达的无标记交叉口中，随后到达的汽车可能会通过放慢速度来部署适当的让行行为，以使第一汽车能够安全地通过交叉口。这种让行行为确保了后续汽车不会进入交叉口直到第一汽车安全通过交叉口。在这种让行条件下，一个或更多个用户可能有明确定义的义务(或责任)来给其他用户让行。

让行行为不仅提供避免碰撞的效用。适当的让行行为可以确保“礼貌和预期”的驾驶动态，这是安全和高效运输所必需的。例如，即使代理在让行条件下采取行动避免潜在的碰撞(例如，通过加速通过交叉口)，但在有义务这样做时未能让行会给该区域的所有用户带来紧张和焦虑的驾驶条件。即使一个人加速以避免碰撞，不让行的车辆也可能在其他司机、骑自行车的人和行人中产生焦虑、危险感和愤怒(例如，路怒)。也就是说，即使通过采取攻击性行动避免了碰撞；碰撞并没有如其他用户所期望的那样以“安全和礼貌的方式”避免。因此，在操作自主车辆时，自主车辆的代理可能有义务(例如，合法地或规范地)在接近让行场景时采用一种或更多种行为让行策略。

本公开部分地提供了自主车辆(“自我车辆”)的“等待元素引擎”，其可以主动监控一个或更多个让行场景的到来(例如，车辆正在到达一个交叉口，车辆正在通过上/下坡道，或车辆准备改变车道)。等待元素引擎可以生成一个或更多个“等待元素”数据结构，该数据结构对让行场景的表示进行编码。等待元素可以作为输入提供给自我车辆的“让行规划器”。让行场景的示例包括十字路口(例如，交叉口)和并道(例如，在入口/入口匝道上的车道合并)。每个让行场景可能与至少两个参与者相关联：自我车辆和至少一个竞争者(例如，另一车辆、行人、骑自行车的人等)。竞争者可以包括另一车辆(例如，自主、半自主和/或传统手动操作的)，以及个人(行人和骑自行车的人)。

在各种实施例中，让行场景可以与多于一个竞争者相关联(例如，自我车辆接近交叉口处，交叉口处有多辆其他车辆、行人和/或骑自行车的人，自我车辆与多辆其他车辆合并成一个车道，等等)。与让行场景相关联的每个参与者可能与一个或更多个“潜在路径”或车道相关联。对于让行场景的参与者，潜在路径或车道可能包括给定的当前或可能的空间路径集，例如，参与者在空间速度相空间中的当前坐标。因此，参与者的潜在路径可能不仅取决于他们当前的空间和速度坐标，还取决于车辆(或个人或实体)对加速、减速(例如，制动力)和机动性(例如，转弯半径、牵引力控制等)的限制。

当检测到让行条件时，等待元素引擎可以接收和/或生成源自与让行场景相关的各种源(例如，车载和/或车外传感器和/或检测器、基于感知的数据、基于地图的数据、地理位置数据等)的环境数据。等待元素引擎可以分析和融合各种数据，以及根据融合和分析的数据检查、解析和匹配数据至与各种让行相关的交通规则，以生成各种“等待几何”和“竞争状态”，其可表征自我车辆的让行场景。例如，编码车辆的潜在路径和场景几何图形的各个方面的数据可以被解析并与一个或更多个让行或交通规则匹配，以确定让行场景的竞争状态(例如，不让行(take way)、在入口停止、从入口让行，等等)。等待几何可以被分组成一个或更多个“等待组”，其中等待组可以指代让行场景的所有等待元素。等待几何和竞争状态可以被编码在“等待元素”数据结构中。可以将一个或更多个等待元素数据结构提供给自主车辆的“让行规划器”以用于控制车辆。

让行规划器可以接收等待元素数据结构并确定适当的让行行为。当自我车辆的控制代理采用确定的让行行为(例如，由竞争状态定义)时，自我车辆可以安全地满足其要求和预期的让行义务，同时避免碰撞。

在至少一个实施例中，等待元素引擎可以接收和/或获取各种输入数据，其可以包括几何相关数据、信号相关数据和地图相关数据。获取(或接收)数据可以使用感测、感知和/或检测技术来完成，这些技术可以利用几何或视觉感知、地图感知(可能包括定位)和信号感知。在至少一个实施例中，感知数据可以包括车道图数据。车道图数据可以包括可以被指派为自我车辆的潜在路径(例如，自我路径)的一条或更多条路径以及可以被指派为一个或更多个竞争者的潜在路径(例如，竞争者路径)的一条或更多条路径。其他输入数据可能包括来自自我车辆或竞争者的各种原始传感器数据。几何输入数据可以包括关于环境几何的各种信息，如应用于与让行场景和/或背景上下文相关联的潜在路径。信号输入数据可以包括和/或编码交通信号，例如交通信号灯、交通标志、停车标志、让行标志、通行权标志，例如主要道路标志、速度标志，以及手势或用于地交通发信号通知的其他身体姿势。

在各种实施例中，可以为自我车辆潜在路径和竞争者潜在路径的每个可能配对生成等待元素数据结构。在让行场景的非限制性示例中，让行场景与一个自我车辆和j个竞争者相关联，其中j是正整数。自我车辆可能与i个潜在路径相关联，并且j个竞争者中的每一个与k个潜在路径相关联，其中i和k也是正整数。在这样的示例中，等待元素引擎可以生成i×j×k个单独的等待元素。因此，每个等待元素可以与一个自我车辆潜在路径和一个竞争者潜在路径相关联。等待元素可以对自我路径的“等待几何”、竞争者路径的等待几何和两条路径的上下文的等待几何进行编码。等待元素可以进一步对两条路径之间的“竞争状态”进行编码。

简而言之，声明路径(例如，自我路径或竞争者路径)的等待几何可以包括一组字段-值对或用于对声明路径的各个方面编码的路径的其他数据类型或元素。用于路径的等待几何的此类字段可以包括但不限于进入线、退出线、进入和退出竞争者区域、交叉口进入线和内部地面、自我路径和竞争者路径之间的竞争点(路径之间的交叉点或合并点之一的可选的显式编码)等。等待元素的竞争状态(例如，竞争状态)可以是或定义给让行规划器的关于自我车辆应该以何种方式就该等待元素进行让行或不让行的指令。此类状态包括但不限于：不让行、在入口停止、从入口让行等。

在至少一个实施例中，为了生成等待元素，可以被称为等待几何数据的几何输入数据可以与车道图数据和地图数据“融合”。然后可以将“融合几何”数据分类(例如，作为左转、右转、U形转弯等)并与一条或更多条路径相关联。信号数据可以与地图数据融合。可以从融合的信号数据确定信号状态(例如，绿灯、红线、不活动等)。融合的、分类的和关联的几何数据，连同地图数据、信号状态和其他数据可以作为输入被馈送到等待元素引擎的“竞争状态解析器”。条件状态解析器可以使用几何、信号、地图和其他传感器数据以及交通规则来确定竞争状态并将数据解析为等待元素。

参考图1，图1示出了根据本公开的一些实施例的让行场景100的示例。图1的非限制性让行场景100是十字路口(或交叉口)让行场景的示例。其他类型的让行场景至少包括合并让行场景(例如，在高速公路入口处)。在十字路口让行场景100的这个非限制性示例中，三辆车辆正在接近四向交叉口。这三个车辆包括第一车辆102(例如，自我车辆)、第二车辆104(例如，第一竞争者)和第三车辆106(例如，第二竞争者)。等待元素引擎130被用于为让行场景100生成一个或更多个等待元素数据结构(例如，等待元素_1 110和等待元素_2120)。在一些实施例中，等待元素引擎130可以是自我车辆102车载的。在其他实施例中，等待元素引擎130可以至少部分地远离自我车辆102。在这样的实施例中，自我车辆102可以经由一个或更多个通信网络访问等待元素引擎130。

至少结合图3的等待元素引擎300讨论等待元素引擎的各种实施例。3.应该理解，本文描述的这种和其他布置仅作为示例阐述。除了所示的之外或代替所示的那些，可以使用其他布置和元素(例如，机器、接口、功能、命令、功能分组等)，并且可以完全省略一些元素。此外，本文描述的许多元素是功能实体，它们可以实现为离散或分布式组件或与其他组件结合，并以任何合适的组合和位置实现。本文描述为由实体执行的各种功能可以由硬件、固件和/或软件来执行。例如，可以通过处理器执行存储在存储器中的指令来执行各种功能。

等待元素数据结构，例如但不限于等待元素_1 110和等待元素_2 120，可以与一对声明的路径相关联，其中声明的路径之一是自我车辆102的声明路径，并且成对的声明路径中的另一个是竞争者(例如，第一竞争者104或第二竞争者106)的声明路径。每个等待元素可以对自我车辆102声明路径的等待几何(例如，等待元素_1 110的自我等待几何112或等待元素_2 120的自我等待几何122)和竞争者声明路径的等待几何(例如，等待元素_1110的竞争者_1等待几何114或等待元素_2 120的竞争者_1等待几何124)进行编码。因此，等待几何_1 110可以与自我车辆102的单个声明路径和第一竞争者104的单个声明路径相关联(在其他示例中，更多路径可以与等待元素相关联)。同样，等待几何_2 120与自我车辆102的单个声明路径和第二竞争者106的单个声明路径相关联。注意，与等待元素_1 110相关联的自我车辆102声明路径可以是(但不必是)与等待元素_2 120相关联的相同的自我车辆102声明路径。等待元素几何的各种实施例至少结合图2来讨论。

除了一对声明路径的等待几何之外，每个等待元素可以对用于上下文的等待几何(例如，等待元素_1 110的等待几何上下文116和等待元素_2120的等待几何上下文126))进行编码。此外，每个等待元素可以对成对声明路径的竞争状态(例如，等待元素_1 110的竞争状态_1 118和等待元素_2 120的竞争状态_2)进行编码。至少结合图2讨论了等待几何上下文和竞争状态的各种实施例。

更一般地，等待元素可以包括(或编码)一个自我路径的等待几何(例如，自我车辆的声明路径)和一个竞争者路径的等待几何(例如，让行场景100的竞争者的声明路径)、等待几何上下文和竞争状态的一些子集。自我等待几何112、竞争者_1等待几何114、等待几何上下文116和(等待元素_1 110的)竞争状态_1 118可以是数据对象和/或数据结构。同样，自我等待几何122、竞争者_2等待几何124、等待几何上下文126和(等待元素_2 120的)竞争状态_2 128可以是数据对象和/或数据结构。在各种实施例中，如果这些数据对象中的一个或更多个的数据值(或元素)不容易获得(或不适用于给定的让行场景)，则这些缺失元素的数据编码可以设置为“无效”和/或“不适用”。

在一个或更多个实施例中，等待元素(例如，等待元素_1 110和等待元素_2 120)构成关于等待条件(例如，让行场景100)如何编码信息(或数据)的“原子”。等待元素可以作为输入提供给自我车辆102的让行规划器(图1中未示出)。至少基于等待元素的编码，让行规划器可以确定适当的让行行为以安全地协商让行场景100。如本文所讨论的，等待元素可以通过采用两种方法中的至少一种(和/或其组合)来确定和/或生成。一种方法包括将一组与让行相关的交通规则(例如，让行启发法)用于让行场景100。另一种方法包括将几何相关和/或信号状态数据的映射和实时感知用于让行场景100。根据所指出的，在各种实施例中，这两种方法可以以各种形式组合以采用地图数据、几何/信号数据的实时感知以及让行启发法。

将我们的注意力转向图2，图2示出了根据本公开的一些实施例的等待元素数据结构200的非限制性示例和竞争状态数据结构210(也称为竞争状态)的非限制性示例。在各种实施例中，等待几何200和/或竞争状态210可以是数据对象，或任何其他这样的结构化数据。通常，等待几何200可以表示当附加信息(例如，与让行场景(例如图1的让行场景100)相关的信息和/或数据)被应用于车道图(例如，自我车辆声明路径和/或竞争者声明路径)时产生的几何和相关联的元数据。即，等待几何200可以应用于自我路径(例如，自我车辆的声明路径)、竞争者路径(例如，竞争者的声明路径)或背景上下文。例如，如果等待几何200应用于自我路径，则等待几何200可以类似于图1的等待元素_1 110的自我等待几何112和/或等待元素_2 120的自我等待几何122。如果等待几何200适用于竞争者路径，则等待几何200可以类似于等待元素_1 110的竞争者_1等待几何114和/或等待元素_2 120的竞争者_2等待几何124。如果等待几何200应用于背景上下文，则等待几何200可以类似于等待元素_1110的等待几何上下文116和/或等待元素_2 120的等待几何上下文126。这样的上下文等待几何可以与边界和/或交叉口的内部地面区域，或交叉口入口线的存在相关。

在各种非限制性实施例中，等待几何可以将其数据中的至少一些编码成字段-值对。因此，一组字段(例如，等待几何字段202)可以与等待几何200相关联(或在其中编码)。一个或更多个值可以与等待几何字段202的每个字段相关联以编码一组字段-值对。请注意，值可能是数据结构或数据。在一些实施例中，特定字段的值可以是另一字段，使得等待几何200可以编码一个或更多个数据树。如图2所示，这样的字段202可以包括但不限于：进入线(例如，相应的自我路径或竞争者路径的)、退出线(例如，相应的自我路径或竞争者路径的)、进入竞争者区域(例如，相应的自我路径或竞争者路径的)、退出竞争者区域(例如，相应的自我路径或竞争者路径的)和交叉口入口线(例如，相应的自我路径或竞争者路径的)。在一些实施例中，字段202可以包括定义边界和/或内部地面区域的位置(作为等待组的一般上下文的一部分)的坐标或其他信息，以及自我路径和竞争者路径之间的一个或更多个竞争点(路径之间的十字路口或合并点之一的可选显式编码)。字段202可以另外包括在一般上下文中应用的速度限制(将被认为应用在入口线和出口线之间)。这些字段中的每一个的值都可以编码为无效，以适应编码等待条件，其中这些字段不适用于特定的让行场景(例如，入口匝道的交通灯只有一条自我路径和一条入口线，但没有出口线、竞争者路径或内部地面)。另一个示例是等待组对新速度限制的编码，该等待组在整个上下文中仅包含一个入口线和一个速度限制，其他所有内容都设置为无效。退出线将被解释为无限或直到另行通知，对于其他属性也是如此。

自我路径的入口线可以编码若干让行行为的停止点。入口线也可以表示一般竞争区域的开始，由出口线结束，这可以指示需要清除自我路径的哪一段以清除该等待组的等待条件。内部地面区域可以将交叉口的内部地面表示为可以参考坐标空间的多边形区域。内部地面区域可能覆盖入口线和相应出口线之间的部分(有时出口线可能会移出，例如超出人行横道，即使内部地面没有)。进入竞争者区域和内部地面为分析其他参与者提供了上下文。这可以通过将参与者指派给路径和区域来执行(以非互斥的方式)。让行规划器可以使用自我路径和竞争者路径的几何图形以及竞争点来根据需要实施让行行为。几何图形也可以用来确定应用哪些规则。

在一些示例中，竞争点可以指示或表示显式的几何点。在其他示例中，竞争点可以指抽象概念，该抽象概念是等待元素所指和/或正在对其状态进行编码的特定竞争。在这样的示例中，竞争点处的竞争状态可以是整个竞争状态解决过程的有效载荷。对于每个竞争点，它可以提供对自我车辆相对于该竞争点应该让行或不让行的方式的确定。在这个意义上，竞争点还可以指示自我路径的选择、访问竞争者路径以及经由该竞争者路径、实际竞争者以及自我车辆相对于它们的行为方式。

等待几何可以被收集(例如，逻辑组织)成组，其中等待组的语义含义可以是该组中的所有等待条件可以被一起考虑并且特别是一起被清除，使得自我车辆不在中间(例如，当自我车辆仍在迎面而来的交通路径上时，自我车辆不应该在左转结束时卡住等待行人，因此迎面而来的交通竞争可以与同一等候组中的人行横道竞争可以一起考虑)。

参考竞争状态210，等待元素引擎，例如但不限于图3的等待元素引擎300，可以包括竞争状态解析器(例如，等待元素引擎300的竞争状态解析器340)。这种竞争状态解析器可以执行竞争状态解析过程。竞争状态解析过程的目标可以是为每个等待元素(例如，图1的等待元素_1 110和等待元素_2 120)提供竞争状态(例如，竞争状态210)。等待元素的竞争状态210可以是给让行规划器的关于自我车辆应该以何种方式相对于这个等待元素让行或不让行的指令，作为规则、期望、正式或非正式约定或规范的问题。

在一些非限制性实施例中，竞争状态210可能不指示在让行场景中实际发生的事情、在让行场景中物理上可能发生的事情、或者自我车辆是否可能被迫让行尽管它在让行场景中拥有通行权(例如，十字路口让行场景或合并让行场景)。相反，竞争状态210可以指示根据惯例应该发生什么。然后，在考虑应该发生什么(例如，如在竞争状态210中编码的那样)、自我车辆是否实际上处于停止和跟随该指令的位置以及其他参与者(例如，让行场景的竞争者)是否似乎正在履行其预期的让行义务，并采取适当的行动的意义上，实际实施让行可能是让行规划器的责任。例如，让行规划器可以确定即使竞争状态是不让行(TakeWay)，竞争者也没有让行(本质上是检测到“适当鸣喇叭”)并决定让行，尽管这不是应该发生的。让行规划器可以实现让行行为，分析等待组中的所有竞争，直到可以联合清除组中的所有等待元素。等待组中的所有竞争都可以共同遵守，这意味着最严格的竞争可以定义自我车辆的预期让行行为。例如，如果等待组的一个竞争状态是不让行，另一个是在入口停止(Stop at Entry)，则自我车辆可能会停留在入口线。

如图2所示，竞争状态210(例如，在等待元素中编码)可以包括在竞争状态210中列出的十七个状态中的一个或更多个。注意，这个可能的竞争状态的列表是非穷尽的，并且在其他实施例中，竞争状态210可以包括附加的和/或替代的竞争状态。不让行状态可能指示期望竞争者让行。因此，不让行状态可以指示相应等待元素没有正式的约束(除了让让行规划器观察与该等待元素相关的竞争者并确保它们按预期让行)。对于各种竞争状态，可以使用关键字瞬变(Transient)来指示相应的竞争状态可以在近期更新和/或演变。因此，不让行瞬变状态可以指示不让行状态当前适用，但可能很快会变为更具限制性的状态。典型的例子是交通灯的“黄色”状态，它可能由不让行瞬变(Take Way Transient)编码。在入口停止(Stop at Entry)可能表示指令是在入口线处停止，等待进一步的指令，并且在竞争状态改变之前不继续进行。从入口让行(Yield from Entry)状态可以指示在预期该竞争被清除的时间之前，自我车辆应保持在入口线处。对于此类在入口停止的状态，规则可能不强制要求预先停止，但自我车辆的控制代理应确保在自我车辆通过入口线之前竞争清除，这通常会导致预先停止。还要注意，由于可以联合考虑等待组中的等待条件，这通常意味着在实践中，控制代理应确保在自我车辆通过入口线之前等待组中的所有竞争都已清除。换句话说，如果等待组中的一个竞争具有从入口让行，则等待组中的所有其他竞争在让行规划器分析时可能继承相同的竞争状态，并且如果一个具有在入口停止，则等待组中的所有等待元素可以继承预先停止。从入口让行瞬变(Yield From Entry transient)状态可以是从入口让行状态的瞬变版本。

让行竞争点(Yield Contention Point)状态可以指示规则可能不强制要求预先停止，也可能在等待竞争清除时自我车辆可能不必须正式停留在入口线处(尽管原则上这样做没有任何错误)。控制代理可能必须确保自我车辆正确地让行给与此竞争相关的竞争者，自我车辆不会阻止竞争，并且自我车辆的行为方式使竞争者清楚与自我车辆正在让行的该竞争有关。这可能意味着自我车辆在交叉口向前左转，但速度足够慢且有足够的余量，以便迎面而来的交通理解自我车辆似乎打算让行，并且显然不会妨碍迎面而来的交通。让行竞争点瞬变(Yield Contention Point Transient)状态可以是让行竞争点状态的瞬变版本。在入口停止然后从入口让行(Stop at Entry then Yield from Entry)状态可能等同于(或至少类似于)从入口让行状态，但附加条件是在入口线处需要预先停止。在入口停止然后让行竞争点(Stop at Entry then Yield Contention Point)状态可能等同于(或至少类似于)让行竞争点状态，但附加条件是在入口线需要预先停止。

在入口停止然后让行竞争点瞬变(Stop at Entry then Yield ContentionPoint Transient)状态可以是在入口停止然后让行竞争点(Stop at Entry then YieldContention Point)状态的瞬变版本。首先停止具有优先(Stopped First hasPrecedence)状态可能是典型的“美国多路停止”情况。通行权可以确定为先进先出队列，其中“进入”被定义为作为来自那条竞争路径的第一个参与者靠近交叉口(可能在入口线指向内部地面的相应竞争者区域中)并停下来。换句话说，这种竞争状态可能意味着进一步处理“谁先停止”，以实际解析成每个与该竞争者路径相关联的参与者的不让行或从入口让行状态。

协商(Negotiate)状态可以指示不存在确定通行权的已知基础，例如对于没有来自交通规则、地图统计、几何或道路大小的提示的高速公路汇合处(同样大的高速公路并道并具有类似的直线形状)。在入口停止然后协商(Stop at Entry then Negotiate)状态可能等同于(或至少类似于)协商状态，但附加条件是在入口线需要预先停止。当没有约定但有明确的入口线时，可以采用这种状态。不允许(Not Allowed)状态可用于启用不允许某事物的编码。例如，等待元素可能包含一条穿过交通进入停车场的左转路径，并且可能存在指示禁止转弯的信号(例如穿过一条双黄实线)。在这种情况下，自我车辆可能会以这样的方式前进(向竞争者)发出信号，不仅条件是立即停止，而且它永远不会改变，根本不允许。这种状态可能对让行规划器有用，因为它正在考虑自我路径的多种选择(例如，可以同时考虑多个自我路径)。停止和请求接管(Stop and Request Takeover)状态可以指示自我车辆遇到确定为在操作设计域之外的事物(例如，可能已经检测到指示道路施工中的信号或标记并且自我车辆尚未实施处理这样的条件)。在这种状态下，控制代理(或让行规划器)可能会请求自我车辆减速、停止和请求接管行为。未知(Unknown)状态可用于对未来竞争状态的预测进行编码，在这种情况下，能够对没有知识或预测的情况进行编码可能是有用的。

图3示出了根据本公开的一些实施例的等待元素引擎300的非限制性示例。如通篇所述，等待元素引擎300可以在自主车辆(例如，图1的自我车辆102)上车载。在其他实施例中，自主车辆可以通过一个或更多个通信网络访问远程等待元素引擎。如通篇所讨论的，当自我车辆接近十字路口或并道让行场景(例如，图1的十字路口让行场景100)时，等待元素引擎300可以生成一个或更多个等待元素(例如，图1的等待元素_1 110，图1的等待元素_2120和图3的等待元素310)作为输出。下面讨论等待元素引擎300的各种输入。

等待元素引擎300可以包括等待几何感知器302、映射器304、信号感知器306、车道图示器350和/或另一个传感器数据接收器308。等待几何感知器302、映射器204、信号感知器306、车道图示器250和其他传感器数据接收器308接收各种输入，如下所述。等待元素引擎300还可以包括等待几何融合器322、几何分类器324和几何关联器326。等待元素引擎300还可以包括信号融合器328、信号状态估计器330和竞争状态解析器340。竞争状态解析器340可以包括条件检查器342、基础规则解析器344、映射规则检查器346和等待元素融合器348。输出的等待元素310可以包括自我等待几何312、竞争者等待几何314、上下文等待几何316和竞争状态318。

车道图示器350通常负责接收一个或更多个车道图作为对等待元素引擎300的输入。车道图可以响应于接近和/或检测到让行场景而被接收。车道图可以包括来自同一车道束的一组声明路径，并且包括一组自我路径352和一组竞争者路径354。可以从一个或更多个神经网络或其他机器学习模型、地图和/或车辆轨迹的输出接收或生成自我路径352。例如但不限于，本文描述的机器学习模型可以包括任何类型的机器学习模型，例如使用线性回归、逻辑回归、决策树、支持向量机(SVM)、朴素贝叶斯、k最近邻(Knn)，K均值聚类、随机森林、降维算法、梯度提升算法、神经网络(例如，自动编码器、卷积、循环、感知器、长/短期记忆(LSTM)、Hopfield、Boltzmann、深度信念、反卷积、生成对抗、液态机器等)和/或其他类型的机器学习模型的一个或更多个机器学习模型。

自我路径352可以在集合中融合成新的车道图。车道图可以构造成车道图阵列，允许轻松使用车道图的任何组合的灵活性。一个或更多个竞争者路径354可以在一个或更多个竞争点处与一个或更多个自我路径352重叠。特定竞争点可以分类为两种主要竞争点类型之一：十字路口竞争点或并道竞争点。对于十字路口竞争，作为示例而非限制，自我路径可以在单个点(或点的小邻域)处与竞争者路径相交。对于并道竞争点，自我路径可能会遇到竞争者路径并在竞争者路径的至少一段内加入竞争者路径(或反之亦然)。竞争者路径354可以从一个或更多个神经网络或其他机器学习模型、地图或交叉点解析的输出接收或生成。虽然自我路径352是自我车辆的声明路径，但竞争者路径是来自车辆、自行车、行人、电车和火车或让行场景中的任何其他参与者的声明路径。与自我路径352一样，竞争者路径354可以从它们的源(其可以与自我路径352的源相似或相同)合并以形成整体。

等待几何感知器302和信号感知器306通常可以执行“等待感知”。等待几何感知器302接收各种几何相关输入(响应于识别和/或检测到自我车辆接近让行场景)并生成等待几何用于输出(例如，图2的等待几何200)。因此，等待几何感知器302可以为自我路径集合352中的每个自我路径生成等待几何(例如，自我等待几何312)。同样，等待几何感知器302可以为竞争者路径集合354中的每个竞争者路径生成等待几何(例如，竞争者等待几何314)。同样，信号感知器306接收各种信号相关输入(响应于识别和/或检测到自我车辆接近让行场景)并生成信号以供输出。

等待几何(例如，自我等待几何312或竞争者等待几何314)可以包括当关于等待条件的附加信息应用于车道图时产生的几何和元数据。等待几何可以应用于自我路径(例如入口线)、竞争者路径(例如竞争者区域)或背景上下文(例如交叉口的内部地面，或交叉口入口线的存在)。正如至少结合图2的等待几何200所讨论的，特定的等待几何可能包括以下字段值对：入口线和出口线(对于自我路径和竞争者路径)、入口和出口竞争者区域(对于自我路径和竞争者路径)、交叉口入口线和内部地面(作为等待组的一般上下文的一部分)、自我路径和竞争者路径之间的竞争点(路径之间的十字路口或合并点之一的可选显式编码)。等待几何可以包括在一般上下文中应用的速度限制的字段-值对(被认为适用于入口线和出口线之间)。这些字段中的每一个的值都可能被编码为无效，以适应字段不适用让行场景的编码等待条件(例如，入口匝道交通灯只有一条自我路径和一条入口线，但没有出口线、竞争者路径、或内部地面)。另一个示例可能是一个等待组对新速度限制的编码，该等待组在整个上下文中仅包含一个入口线和一个速度限制，并且其他所有内容都设置为无效。然后出口线可能被解释为无限或直到另行通知，对于其他属性也是如此。

自我路径的入口线字段的值可以编码自我车辆的声明路径停止点以用于多种可能的让行行为。这样的入口线也可以编码一般竞争区域的开始，以出口线结束，这可以指示需要清除自我路径的哪个段以清除该等待条件的等待组。内部地面区域可以将交叉口的内部地面表示为多边形区域。内部地面区域可能覆盖入口线和出口线之间的路径段(有时出口线被移出，例如超出人行横道，即使内部地面没有)。进入竞争者区域和内部地面可以提供用于分析其他参与者的上下文。这可以通过路径分析(OIPA)中的障碍来实现，该障碍将参与者指派到路径和区域(以非互斥方式)。让行规划器可以使用自我和竞争者路径的几何以及竞争点来根据需要实施让行。等待几何也可用于确定哪些规则适用。

竞争点可以表示一个或更多个显式几何点(例如，自我路径和竞争者路径的交叉点)。在一些实施例中，竞争点可以被认为是一个抽象概念，它是等待元素所指的特定竞争并且正在对其状态进行编码。在后一种意义上，竞争点处的竞争状态可以是竞争状态解析过程的有效载荷(如由竞争状态解析器340执行的)。对于每个竞争点，竞争状态可以提供“关于该竞争点，自我车辆应该以哪种方式让行或不让行”的确定。在这个意义上，竞争点也可以指示，给定自我路径选择，通过访问竞争者路径和通过竞争者路径，实际竞争者以及自我车辆应该如何相对于他们前进。

等待几何可以被分组成一个或更多个等待组，其中等待组的语义含义是可以联合考虑该组中的所有等待条件，特别是可以联合清除，以便自我车辆没有留在中间(例如，在左转结束时，自我车辆没有卡在等待行人，而自我车辆仍在迎面而来的交通的路径上，因此需要与迎面而来的交通竞争一起考虑同一等候组中的人行横道竞争)。

映射器304可以响应于识别和/或检测到接近让行场景的自我车辆(例如，至少基于地图定位)来接收地图数据。地图数据可以包括即将到来的让行场景的环境的一个或更多个2D或3D地图。信号感知器306响应于识别和/或检测到接近让行场景的自我车辆而接收信号相关数据。与信号相关的数据可以包括对诸如交通灯和交通标志之类的事物的指示进行编码的信号数据，例如停车标志、让行标志、诸如主要道路标志的通行权标志以及速度标志。信号数据还可以对从一个或更多个神经网络或其他机器学习模型生成的输出进行编码，例如交叉口是否是交通标志交叉口、停车标志交叉口、无标记、环形交叉口、高速公路入口匝道、收费站、或其他类型。信号数据可以对警察、旗手或指示交通的道路工作人员、挡路的栏杆和人行横道处的路灯的指示进行编码。信号数据可以对交通锥、合并箭头和放置在道路上以重新引导交通的所有临时物品的指示进行编码。在各种实施例中，信号感知器306可以将信号的存在与其状态分开。信号感知器306可以执行实时信号感知，其提供信号的存在和状态(例如，在这些2D或3D坐标处存在交通灯并且其当前状态为黄色)。在一些实施例中，地图(例如，由映射器304接收的地图)可以包括关于信号的可能存在和/或位置的信息，例如交通灯或停车标志的存在，而信号的状态(诸如交通信号灯的状态)可以通过信号感知器306由现场感知(或基础设施到车辆通信)提供。信号检测(通过信号感知器306)可以提供信号的存在、类型和空间属性，例如交通信号灯或标志或警察检测交通的3D位置和边界框。

等待几何融合器322可以通过称为等待几何融合的过程将来自映射器304的地图数据与来自等待几何感知器302的几何数据(例如，等待元素)“融合”或组合。可以可选地执行等待几何融合以从实时感知(例如，由等待几何感知器302执行的实时几何感知)和地图信息(由映射器304接收和/或提供)的组合获得改进的几何信息。例如，等待几何感知器302可以通过实况(例如，实时)感知来检测交叉口的存在。地图也可以在地图数据中标注交叉点。在一些实施例中，如果交叉点存在于任一源中，则可以融合地图和几何数据以实例化交叉点，并且如果它们来自两个源，则链接检测。类似地，入口线可以实时检测(通过等待几何感知器302)，和/或至少基于包含实况检测或实际停止点的统计数据的先前地图流在地图中(通过映射器304)提供。竞争区域、内部地面、路径几何和竞争点都是可以实况检测到的实体，也可以注入到地图流中，以利于未来的驾驶。实际的行驶路径(“事实上的车道图”)也可以从多次驾驶中挖掘出来。因此，等待几何融合可以协调和关联多个源，以便为进一步的处理阶段提供清晰的等待几何。

信号融合器328可以通过称为信号融合的过程将来自映射器304的地图数据与来自信号感知器306的信号数据“融合”或组合。信号融合可以提供将来自实况感知的信息(通过信号感知器306的实时感知)与来自地图的信息(由映射器304接收和/或提供)协调的选项，例如利用证实存在交通信号灯、标志或交叉口类型帮助实况感知。与几何融合类似，信号融合在一些实施例中可以是可选的。这种信号融合提供了对难以检测的交通灯执行状态估计的可能性，和/或还提供了来自实时信号感知的结果。

信号状态估计器330通常负责被称为信号状态估计的过程。信号状态估计可以确定和/或提供交通信号灯的状态、指挥交通的警察的手势、旗手的“停止”或“慢”标志、人行横道处的路灯状态或阻挡交通的栏杆的位置。结果通常是从枚举类(例如绿色/黄色/红色)或几个组合中进行选择。

几何分类器324通常负责几何分类过程。几何分类将等待几何分类为离散类。例如，几何分类器324可以将自我路径(例如，编码在自我等待几何312中)和竞争者路径(例如，编码在竞争者等待几何314中)分类为诸如但不限于：“左转”、“直行”、“右转”、“掉头”等的类别。可以执行该分类以标准化路径，从而可以在由竞争状态解析器340执行的竞争状态解析过程中将诸如“在曼哈顿红灯右转是不允许的”之类的通用语言规则应用于路径。为了应用这样的规则，可以将路径分类为包括通用语言的类别(例如，“右转”)。请注意，这种分类可以从其他路径的上下文中受益(例如，如果它是最右边的路径，则相对笔直的形状可能是右转，而如果另外还有一个非常急转的右转，则可能不是)。如果自我或竞争者来自右边，几何分类也可以确定等待元素。

几何分类也可以应用于路径对。例如，几何分类器324可以确定两条路径(例如，自我路径和竞争者路径)是否正在交叉或合并(如果没有在车道图中明确给出)、竞争点在哪里以及哪些路径来自右侧(以支持在欧洲和某些情况下在美国普遍适用的右手优先规则)。这可以通过在竞争点检查两条路径的方向向量是否明显不同于平行线来执行，如果是，则它们之间的2D向量叉积的符号(应用于由堆叠为顶行的自我路径方向向量和作为底行的竞争者路径方向向量形成的2x2矩阵的行列式的符号)。如果符号为正，则竞争者来自右侧。请注意，此定义可能意味着对于通过迎面而来的交通的自我左转，迎面而来的交通被视为来自右侧(因为在竞争点就是这种情况)。如果在竞争点处方向向量几乎平行(通常因为它是汇合处)，则可以使用对应入口线处的向量)。

几何分类器324还可以确定或从实况感知源(例如，等待几何感知器302)合并，竞争者路径是否来自“短路”(例如，车道、加油站或停车场)，或者比“短路”“明显更大”或“明显更小”。也就是说，可以通过几何分类过程对道路进行分类(例如，分类为“短路”)。几何分类器324可以提供允许逻辑规则应用于输入变量的连贯集合的类谓词分类。其中一些信息可能直接来自一个或更多个神经网络或其他机器学习模型的输出，而不是通过等待几何数据结构的几何确定。

几何分类器324还可以确定路径是否具有属性，例如但不限于：“穿越线”，这可以是路径是否穿越线的明确确定(例如，路径可以是归类为“穿越线”)。当优先级不清楚如何仲裁时，这种分类可以用作某些规则的提示。例如，如果两条路径处于竞争并且在其他方面是等效的，但一条穿过线而另一条没有穿过，则未穿过线的路径可能具有优先权。通过迎面而来的交通左转的路径可以具有“穿越虚线”、“穿越实线”或“穿越双黄实线”类型属性的分类，以便可以应用特定国家/地区的规则来确定这是否允许。几何分类器324还可以针对等待组(并且因此针对每个等待元素)将诸如但不限于“交叉”的变量设置为真或假。这也可以用来提示一些规则(例如，区分人行横道是否与交叉口相邻，以及如何处理)。

几何关联器326可以通过称为几何关联的过程将信号与路径关联。几何关联确定哪些信号适用于路径。这可能会回答问题诸如“这盏灯是否足够接近这条路径以应用于它？”、“这盏灯是否与该路径是该类型的最接近/最相关？”、“这个标志是否打算应用于这条路径？”。对于灯到路径的关联，它可能不容易与规则分开，因为例如很难知道灯是否适用于左转，然后它会亮起一个绿色箭头来解决歧义。另请注意，这种分析通常可能受益于所有信号和路径被共同考虑。例如，在没有其他路径的情况下，向右偏移的灯可能适用于自我路径，但不适用于在更靠右侧有路径的另一种情况。类似地，在没有其他灯的情况下，向右偏的灯可能适用于自我路径，但不适用于路径上方正好有灯的另一种情况。因此，几何关联可以根据需要考虑整个场景以及信号状态(甚至原始传感器数据)。出于同样的原因，该架构可以允许由几何分类器324执行的几何分类和由几何关联器326执行的几何关联联合运行并且有权访问等待几何、信号以及甚至原始传感器数据。从这个意义上说，该过程可能会在信号灯、标志和路径等信号之间指派链接。在至少一个实施例中，几何关联可以首先检查灯或标志是否在允许链接到路径的距离处，然后它是否确实找到了最接近的(在某种意义上)适用的每种类型的灯或标志，确定优先顺序(例如左转灯具有左转的最高优先级，但最近的常规灯也适用，尽管它具有第二优先级)。请注意，如果灯光改变状态并解决某种形式的歧义，则关联可能会立即改变。

等待几何融合器322、映射器304、信号状态估计器330、几何分类器324、几何关联器326和其他传感器数据接收器308的输出可以被馈送到(作为输入)到竞争状态解析器340中。竞争状态解析器340可以执行被称为竞争状态解析过程的过程。竞争状态解决过程的目标可以是为等待元件310(和/或其他等待元件)提供竞争状态(例如，竞争状态318)。作为规则、期望、正式或非正式约定或规范的问题，等待元素310的竞争状态318可以是给让行规划器关于自我车辆应该以何种方式相对于该等待元素让行或不让行的指令。在一些非限制性实施例中，竞争状态318可能不指示在让行场景中实际发生的事情、在让行场景中物理上可能发生的事情，或者自我车辆是否可能被迫让行，尽管它在让行场景中具有先行权(例如，人行横道让行场景或并道让行场景)。相反，竞争状态318可以指示根据惯例应该发生什么。实际实现让行可能是让行规划器的责任，从某种意义上说，它将考虑应该发生什么(例如，如在竞争状态318中编码的那样)，自我车辆是否实际上处于停止和跟随该指令的位置，以及其他参与者(例如，让行场景的竞争者)是否似乎正在履行其预期的让行义务，并采取适当的行动。换句话说，让行规划器可以确定即使竞争状态是不让行，竞争者也没有让行(本质上是检测到“适合鸣喇叭”)并决定让行，尽管这不是应该发生的。让行规划器可以实现让行行为，分析等待组中的所有竞争，直到可以联合清除组中的所有等待元素。等待组中的所有竞争都可以共同遵守，这意味着最严格的竞争可以定义自我车辆的预期让行行为。例如，如果等待组的一个竞争状态是不让行，另一个是在入口停止，则自我车辆可能会停留在入口线。竞争状态318可以类似于图2的竞争状态210。结合竞争状态210讨论竞争状态318的各种可能状态值。

竞争状态解析器340的竞争状态解析过程可以至少基于可以从国家到国家、州到州、区域到区域等等不同的基本的“道路规则”(或“基础规则”)。基础规则可以是在它们已经通过几何分类过程(例如，通过几何分类器324)和几何关联过程(例如，通过几何关联器326)缩减为基本枚举变量状态之后应用于等待几何(例如，自我等待几何312和竞争者等待几何314)和信号的基本逻辑规则。在这些缩减之后，每个等待元素可能具有适用于等待几何的一组明确定义的几何类和信号状态。除了基础规则之外，竞争状态解析过程还可以使用“映射规则”。映射规则可以包括等待元素(例如，等待元素310)和链接到竞争状态的命题对的阵列。

每个命题可以以任何数量的信号状态为条件(也允许不以任何信号状态为条件)。如果命题评估为真，则竞争状态和/或其命题可以与所指示的竞争状态配对。映射规则的语义可能是每个命题都按顺序进行评估，第一个评估为真的命题定义了竞争状态。已经包含在等待元素中的状态可以认为是默认竞争状态，如果没有一个命题评估为真，则选择该默认竞争状态。竞争状态解析器340的条件检查器342通常可以负责执行这样的评估和链接命题。

在至少一个实施例中，条件检查器342通常可以至少基于一种或更多种感知和/或确定的环境条件来确定哪些信号是有效的或无效的(或活跃的或不活跃的)。例如，根据天气条件(例如，雨、雪、雾、风)、一天中的时间、一周中的某天、是否存在其他标志(例如，道路施工标志可能取代其他标志)、自主车辆的车辆类型(例如，汽车对卡车)等，某些标志可能适用也可能不适用。例如，如果存在具有仅适用于时间X到时间Y的条件的映射规则，则可以使用条件检查器342确定并标记映射规则当前是否适用。

映射规则匹配器346通常负责执行映射规则匹配过程。映射规则匹配过程可以采用映射规则并将它们的组件(或数据组件)与被确定为实际存在的项目进行匹配，并在该过程中产生等待元素。例如，映射规则匹配器346可以采用条件检查器342确定要应用的信号和其他输入，并将它们解析为一个或更多个映射规则。例如，映射规则匹配器346可以基于相关联的交通灯信号为绿色来确定一个或更多个映射规则应用，而映射规则匹配器346可能不确定映射规则在交通灯信号是红色的情况下是否应用(但可能会确定适用不同的规则)。这些确定可以至少基于映射规则匹配器346知道根据条件检查器342的确定实际应用的条件(例如，交通灯状态)。

为了增加从互斥约束中受益并且通常做出整体决策的能力，由映射规则匹配器346执行的映射规则匹配过程可以从建立地图和路径中的路径、等待几何和信号以与由条件检查器342确定为实际存在的等待几何和信号之间的对应关系的过程开始。注意，在某些情况下，这些实体可能首先来自地图(例如，等待元素引擎300可以被配置为从地图接收车道图，并考虑具有相同路径之一的映射规则以及它是否匹配)，因此它可以执行在车道图融合、等待几何融合或信号融合期间已经建立的‘按id’匹配。然而，为了增加灵活性和通用性，映射规则匹配器346可以在不使用来自地图的信息的情况下执行匹配。例如，映射规则匹配器346可以使用来自实况感知的车道图(例如，通过等待几何感知器302)并应用将交通灯与自我路径相关联的来自地图的映射规则，并避免因必须通过车道图、等待几何图形和信号一直传播地图标识符号而引起的架构复杂性。如果路径、等待几何图形或信号实际上来自地图，则其几何图形应该相同(如果成功融合/混合，则几乎相同)，因此应该正确恢复匹配。匹配还可以匹配不完全相同的实体。例如，可能预期大致相似的左转形状和位置会匹配(再次注意，如果存在两个平行的左转，则将它们联合考虑会有助于匹配)。因此，该过程可以本质上执行将“地图场景”与“实际场景”对应的匹配，该“实际场景”已由实况感知和地图定位的任意组合确定。结果可能是实际实体的子集与地图实体的子集之间的一对一对应。

在各种实施例中，每个映射规则可以通过匹配其所有实体并解析其所有信号来产生输出等待元素(例如，等待元素310或其前导)。许多映射规则可能包含有效的自我路径(因为许多竞争状态是有条件地在其上实现的，没有它就没有意义)。如果该自我路径没有找到匹配项，可能有几个原因。如果以已知方式定位失败，则可能不使用映射规则并且可以以不同方式处理定位失败。但是，如果定位不准确，可能会导致自我路径不匹配。另一种可能是自我路径在地图或实际场景中不准确。另一种可能性是路径离实况感知太远或被遮挡。在这种情况下，保守的方法可能会迫使自我路径进入场景。出于这个原因，可以添加来自未找到匹配项的映射规则的自我路径，以及它们的等待几何。相同的过程可以应用于竞争者路径。实际上，除了信号之外，可以单独考虑来自映射规则的整个等待元素集，尽管在考虑映射规则与等待元素融合器348执行的基础规则的融合时对应关系可能很重要。另一方面，信号可能必须匹配才能解析它们的状态。任何不匹配的信号状态都可以设置为状态未知(Unknown)，映射规则中的命题可以考虑这种可能性并指派适当的竞争状态。例如，这通常需要在单个交通灯的状态未知时将竞争状态设置为在入口停止(Stop at Entry)。这也可能需要使用几个同步的交通信号灯中的一个来解析相同的等待元素，只有在它们都是未知的情况下才默认为在入口停止(Stop at Entry)。在其他情况下，当绿色转向箭头交通灯不可见但绿色圆圈可见并且已知在这种情况下始终允许转弯时，这可能需要返回让行竞争点(Yield Contention Point)以通过迎面而来的交通左转(虽然不知道它是否受到保护)。这个例子是激进的，但是设计提供了高度的灵活性而不是高度的复杂性(另一个不太灵活的选择是列出可能的状态并枚举所有可能的组合，并在所有可能性中找到最具约束力的竞争状态)。

基础规则解析器344通常负责执行可以采用以两种方式导出的命题规则的基础规则解析过程。首先，命题规则可以通过基本状态变量估计、几何分类和几何关联从基础规则推导出来。其次，命题规则可以从映射规则推导出来。例如，基础规则解析器344可以采用条件检查器342确定要应用的信号和其他输入，并将它们解析为一个或更多个基础规则。在至少一个实施例中，基础规则解析器344可以与映射规则匹配器346类似地操作，但是在驾驶时应用一般或通用规则和条件，这些规则和条件与让行场景位置处车辆的历史或观察到的行为无关。

虽然基础规则可能在国家与国家之间、州与州之间、地区与地区之间等而不同，但只要满足相应条件，它们就可以在让行场景与让行场景之间一致地应用。相比之下，映射规则可以应用至少基于车辆在让行场景位置或类似让行场景位置的历史或观察到的行为的驾驶规则和条件。在至少一个实施例中，映射规则可以被编码到地图数据中并且至少基于将自主车辆定位到地图来应用。但是，无论定位和让行场景位置如何，都可以应用基础规则。通过提供基础规则解析器344，即使在地图数据不可用或不能应用或定位到当前让行场景的情况下，也可以生成等待元素。例如，在映射规则匹配器346不能确定等待元素的一个或更多个组件和/或元素的情况下，基础规则解析器344可以填充任何间隙，反之亦然。因此，等待元素可以完全从地图数据、完全从感知数据或从两种类型的数据的组合中生成。

等待元素融合器348通常负责融合或组合对应于解析的基础规则和匹配的映射规则的数据以解析竞争状态318。例如，在至少一个实施例中，基础规则解析器344和映射规则匹配器346可以各自产生相应的等待元素和/或元素和/或其组件。等待元素融合器348可以融合这些不同方面中的任何一个以形成等待元素310。在至少一个实施例中，来自基础规则解析器344和映射规则匹配器346的一个或更多个方面可能会发生冲突。例如，相同的字段或数据元素可能具有不同的值。等待元素融合器348可以识别和/或检测这样的冲突以确定等待元素310的一个或更多个解析值。在至少一个实施例中，映射规则匹配器346的确定通常可以优先，因为它们基于位置并且感知数据可能并不总是可靠的。例如，在基础规则解析器344不能导出应该应用的相关规则的情况下，这可能是有用的。例如，如果没有标志或其他视觉指示器表明十字路口不能左转，则基础规则解析器344可能无法应用相应的基础规则，即使按惯例不遵循该规则。然而，映射规则匹配器346可以至少基于观察到该规则适用于自主车辆通过交叉口的历史驾驶来应用该规则。但是，可能有临时或新信号可能不存在或具有足够高的置信度(例如，基于不一致或太少的观察、陈旧的观察等)以包含在地图数据中。基础规则解析器344可在将数据解析到等待元素310时用于考虑这样的场景(例如，对于建筑标志、电子标志或其他临时或瞬态信号，基于至少指派给这些类型的信号或与这些类型的信号相关联，基础规则解析器344的相应确定可以优先)。

尽管图3未示出，等待元素引擎可以可选地包括路径障碍物分析器，其执行路径障碍物分析(OIPA)。OIPA可以使用车道图、等待几何和语义运动分割(SMS)障碍物感知输出将参与者链接到路径和等待几何。可以通过将路径和区域渲染为索引图像，然后将参与者的多边形形状投影到图像中并整合重叠量来执行OIPA。

另外，等待元素引擎可以包括遮挡分析器。遮挡分析可以通过获取车道图和障碍物感知输出(例如SMS和深度图)并检测车道图中可能隐藏看不见的参与者的段，从而为OIPA结果提供遮挡理解。这可能允许让行规划器考虑看不见的参与者以及可见的参与者。竞争者路径可能带有预期的速度限制，然后可以使用该路径的被遮挡部分在其当前可能处于的最近的被遮挡位置插入具有最大速度的看不见的参与组合，对预期的约定有适当的警告(例如,如果竞争状态是先停止优先(Stopped First has Precedence)，那么在其竞争区域和入口线后面很远的看不见的车辆如果不允许它在其入口线停止，则不应合理地期望它以最大速度进入，而如果它是让行竞争点(Yield Contention Point)，可以假设它可能以最大速度进入)。有了这些信息，让行规划器就可以考虑看不见的车辆，并正确地生成诸如减速、等待或缓慢前行等行为，直到它可以发现被遮挡的区域，或者直到红绿灯在右转为红的情况下变为绿色。

等待元素引擎300可以另外执行谁先停(Who-Stopped-First)分析。谁先停分析可以使用运动分析和OIPA结果确定哪个参与者首先停止以支持竞争状态先停止优先(Stopped First has Precedence)。OIPA结果可用于确定参与者是否已进入场地内、是否在其进入竞争者区域还是在入口线。运动也可用于确定参与者是否在运动中、停止但最近移动，或者是否可能是停放的车辆。等待元素引擎300的另一种分析可以包括谁先行(Who-Goes-First)分析。谁先行分析可以是机器学习的分析，它估计对应于每个竞争者的竞争状态。这种分析可以通过许多未来进展的例子来训练，在这些例子中可以确定参与者是否在自我车辆之前超过了竞争点，反之亦然。知道谁先行的可能性可能表明让行期望。

如通篇所述，等待元素引擎300的等待元素310输出可以被传递给自我车辆的让行规划器。给定具有已解析竞争状态的等待元素、具有遮挡的OIPA结果、谁先停、谁先行和障碍物感知输出，让行规划器可以为自我车辆实施让行行为。如果需要和可能的话，让行规划器可以在自我车辆中引起让行行为，并在不让行时监控其他参与者的让行。可以执行让行规划器分析以提前预测如果自我车辆在声明路径上前进会发生什么。如果自我车辆继续前进并且应该让行，则自我车辆可能会在拥有通行权的竞争者受到影响(例如，被迫改变他们的行为)之前清除竞争。让行可能包括确保自我车辆不会影响竞争者以改变他们的行为，使其偏离他们的首选或预期行为。

现在参考图4-6，方法400-600的每个块以及本文描述的其他方法包括可以使用硬件、固件和/或软件的任何组合来执行的计算过程。例如，可以通过处理器执行存储在存储器中的指令来执行各种功能。该方法还可以体现为存储在计算机存储介质上的计算机可用指令。这些方法可以由独立应用程序、服务或托管服务(独立或与另一个托管服务组合)或另一个产品的插件提供，仅举几例。此外，作为示例，关于图3的等待元素引擎300描述了方法400-600。然而，这些方法可以附加地或替代地由任何一个系统或系统的任何组合执行，包括但不限于本文所述的那些。

图4是示出了根据本公开的一些实施例的用于对自主车辆(例如，自我车辆)的让行场景进行编码的方法400的流程图。该方法可以通过等待元素引擎来执行，例如但不限于图3的等待元素引擎300。在块B402，方法400包括检测和/或识别即将到来的让行场景。让行场景可以对应于十字路口(或交叉口)让行场景或并道让行场景。让行场景可以与自主车辆(例如，自我车辆)和一个或更多个竞争者相关联。

在块B404，可以接收几何数据。在一些实施例中，几何数据可以响应于检测到让行场景而被接收。几何数据可以包括几何感知数据。例如，等待元素引擎300的等待几何感知器302可以接收从自主车辆的一个或更多个传感器生成的实时几何数据。

在块B406，可以接收信号数据。在一些实施例中，可以响应于检测到让行场景来接收信号数据。信号数据可以包括信号感知数据。例如，等待元素引擎300的信号感知器306可以接收从自主车辆的一个或更多个传感器生成的实时信号数据。

在块B408，可以接收地图数据。在一些实施例中，可以响应于检测到让行场景来接收地图数据。例如，等待元素引擎300的映射器304可以接收地图数据。

在块B410，可以接收车道图数据。在一些实施例中，可以响应于检测到让行情况来接收车道图数据。车道图数据可以包括一个或更多个自我路径和用于让行场景的一个或更多个竞争者的一个或更多个竞争者路径。例如，等待元素引擎300的车道图示器350可以接收自我车辆(例如，自主车辆)的自我路径352和与让行场景相关联的一个或更多个竞争者的竞争者路径354。

在块B412，可以确定一个或更多个自我路径中的自我路径的几何图形。可以通过几何数据、地图数据、信号数据和/或车道图数据来确定自我路径的几何图形。这样，等待几何感知器302、映射器304、信号感知器306、车道图示器350或其任何组合通常可以负责确定自我路径的几何图形。在一些实施例中，等待元素引擎300的等待几何融合器322、等待元素引擎300的几何分类器324、等待元素引擎300的几何关联器326、等待元素引擎300的信号融合器328、等待元素引擎300的信号状态估计器330或它们的任何组合可有助于确定自我路径的几何图形。

同样在块B412，可以确定一个或更多个竞争者的一个或更多个竞争者路径的竞争者路径的几何图形。与自我路径类似，竞争者路径的几何图形可以通过几何数据、地图数据、信号数据和/或车道图数据来确定。因此，等待几何感知器302、映射器304、信号感知器306、车道图示器350或它们的任何组合通常可以负责确定竞争者路径的几何图形。在一些实施例中，等待元素引擎300的等待几何融合器322、等待元素引擎300的几何分类器324、等待元素引擎300的几何关联器326、等待元素引擎300的信号融合器328、等待元素引擎300的信号状态估计器330或它们的任何组合可有助于确定竞争者路径的几何图形。在一些实施例中，在块414，确定路径和/或让行场景的上下文的几何图形。

在块B414，可以对自我路径和竞争者路径的几何图形进行编码。自我路径的几何可以被编码在自我等待几何中(例如，图3的自我等待几何312)。竞争者路径的几何图形可以被编码在竞争者等待几何中(例如，图3的竞争者等待几何314)。在至少一个实施例中，用于路径和/或让行几何的上下文的几何被编码在上下文等待几何中，例如，图3的上下文等待几何316)。

在块B416，可以至少基于所确定的几何图形来确定自我路径和竞争者路径之间的竞争状态。至少结合等待元素引擎300、图5的方法500和/或图6的方法600讨论了用于确定竞争状态的各种实施例。然而，在此简要地说，等待元素引擎300的竞争状态解析器340通常可以负责确定和/或解析自我路径和竞争者路径的竞争状态。可以对竞争状态(例如，图3的竞争状态318)进行编码。

在块B418，可以生成等待元素数据结构(或数据对象)，例如，图3的等待元素310。等待元素数据结构可以包括自我路径的几何图形、竞争者路径的几何图形和竞争状态中的至少一种。等待元素还可以包括上下文等待几何。

在B420，可以将等待元素提供给自主车辆的让行规划器。

图5是示出了根据本公开的一些实施例的用于对自主车辆(例如，自我车辆)的让行场景进行编码的方法500的流程图。该方法可以通过等待元素引擎来执行，例如但不限于图3的等待元素引擎300。在块B502，方法500包括感知自我路径和竞争者路径的等待几何。几何感知器(例如，等待元素引擎300的几何感知器302)可以感知等待几何。响应于检测和/或识别自我车辆(自主车辆)的让行场景，可以感知等待几何。自我路径和竞争者路径可以由车道图示器(例如，等待元素引擎300的车道图示器350)感知。

在块B504，可以感知自我路径/竞争者路径的一个或更多个信号。信号感知器(例如，信号感知器306)可以感知路径的信号。

在块B506，等待几何可以与地图数据融合。等待几何融合器(例如，等待元素引擎300的等待几何融合器322)可以将等待几何与地图数据融合。

在块B508，可以对融合的等待几何进行分类。几何分类器(例如，等待元素引擎300的几何分类器324)可以对等待几何进行分类。

在块B510，可以关联融合的等待几何。几何关联器(例如，等待元素引擎300的几何关联器326)可以关联等待几何。

在块B512，可以将信号与地图数据融合。信号融合器(例如，等待元素引擎300的信号融合器328)可以将信号与地图数据融合。

在块B514，可以估计融合信号的状态。信号状态估计器(例如，等待元素引擎300的信号状态估计器330)可以估计融合信号的状态。

在块B516，可以解析自我路径和竞争者路径之间的竞争状态。至少结合图6的方法600讨论了解析竞争状态的各种实施例。然而，此处简单地说，竞争状态解析器(例如，等待元素引擎300的竞争状态解析器340)可以解析自我路径和竞争者路径之间的竞争状态。

在块B518，可以生成等待元素。例如，等待元素引擎300可以生成等待元素310。

在块B520，可以将等待元素提供给向自主车辆(例如，自我车辆)提供引导服务的系统(例如，让行规划器)。

图6是示出根据本公开的一些实施例的用于解析车辆路径之间的竞争状态的方法600的流程图。该方法可以通过竞争状态解析器来执行，例如但不限于图3的竞争状态解析器340。可以向竞争状态解析器提供各种输入以解析两条路径(例如，自我路径和竞争者路径)之间的竞争状态。例如，如图3所示，可以将两条路径的地图数据以及融合、分类和/或关联的几何(例如，等待几何)提供给竞争状态解析器340。此外，可以将融合的信号(包括的估计信号状态)提供到竞争状态解析器。可以将各种其他传感器数据(来自自主车辆上的传感器)提供给竞争状态解析器。方法600的各个块可以采用任何这种输入数据。

方法600在块B602处包括检查竞争状态的条件。可以使用条件检查器(例如，竞争状态解析器340的条件检查器342)来检查竞争状态的条件。

在块B604，可以解析一个或更多个基础规则。基础规则解析器(例如，竞争状态解析器340的基础规则解析器344)可以解析基础规则。

在块B606，可以将一个或更多个映射规则匹配到竞争状态。映射规则匹配器(例如，竞争状态解析器340的映射规则匹配器346)可以将竞争状态与一个或更多个映射规则匹配。

在块B608，可以将各种数据结构(例如，等待几何和竞争状态)融合到一个等待元素中。等待元素融合器(例如，竞争状态解析器340的等待元素融合器348)可以融合数据结构。

在块B610，融合的数据结构(例如，等待几何和已解析的竞争状态)可以被封装到等待元素(例如，图3的等待元素310)中。

示例自主车辆

图7A是根据本公开的一些实施例的示例自主车辆700的图示。自主车辆700(可替代地，在本文称为“车辆700”)可以包括但不限于，客运车辆，如小汽车、卡车、公共汽车、第一响应车辆、摆渡车、电动或机动自行车、摩托车、消防车、警用车辆，救护车、船、施工车辆、水下船只、无人机、与拖车相连的车辆和/或另一类型的车辆(例如，无人驾驶的和/或容纳一个或更多个乘客的车辆)。自主车辆通常按照美国运输部的一个部门——国家公路交通安全管理局(NHTSA)以及汽车工程师协会(SAE)“Taxonomy and Definitions for TermsRelated to Driving Automation Systems for On-Road Motor Vehicles”(2018年6月15日发布的标准No.J3016-201806，2016年9月30日发布的标准No.J3016-201609，以及该标准的先前和未来的版本)定义的自动化级别进行描述。车辆700可能够实现符合自主驾驶级别的3级-5级中的一个或更多个的功能。车辆700可以能够根据自动驾驶级别的1级-5级中的一个或更多个来发挥功能。例如，取决于实施例，车辆700可能能够提供驾驶员辅助(1级)、部分自动化(2级)、条件自动化(3级)、高自动化(4级)和/或全自动化(5级)。如本文所用，术语“自主”可包括车辆700或其他机器的任何和/或所有类型的自主，例如完全自主、高度自主、有条件自主、部分自主、提供辅助自主、是半自主的、主要是自主的或其他指定。

车辆700可以包括诸如底盘、车身、车轮(例如2个、4个、6个、8个、18个等)、轮胎、车轴之类的部件以及车辆的其他部件。车辆700可以包括推进系统750，例如内燃机、混合动力发电厂、全电动发动机和/或另一种推进系统类型。推进系统750可以连接到可以包括变速器的车辆700的传动系以便实现车辆700的推进。可以响应于接收到来自油门/加速器752的信号而控制推进系统750。

可以包括方向盘的转向(steering)系统754可以用来在推进系统750操作时(例如在车辆运动时)使车辆700转向(例如沿着希望的路径或路线)。转向系统754可以接收来自转向致动器756的信号。对于全自动(5级)功能而言，方向盘可以是可选的。

制动传感器系统746可以用来响应于接收到来自制动致动器748和/或制动传感器的信号而操作车辆制动器。

可以包括一个或更多个片上系统(SoC)704(图7C)和/或一个或更多个GPU的一个或更多个控制器736可以向车辆700的一个或更多个部件和/或系统提供(例如表示命令的)信号。例如，一个或更多个控制器可以发送经由一个或更多个制动致动器748操作车辆制动器、经由一个或更多个转向致动器756操作转向系统754、经由一个或更多个油门/加速器752操作推进系统750的信号。一个或更多个控制器736可以包括一个或更多个板载(例如集成)计算设备(例如超级计算机)，所述计算设备处理传感器信号并且输出操作命令(例如表示命令的信号)，以实现自主驾驶和/或辅助人类驾驶员驾驶车辆700。一个或更多个控制器736可以包括用于自主驾驶功能的第一控制器736、用于功能性安全功能的第二控制器736、用于人工智能功能(例如计算机视觉)的第三控制器736、用于信息娱乐功能的第四控制器736、用于紧急情况下的冗余的第五控制器736和/或其他控制器。在一些示例中，单个控制器736可以处理上述功能中的两个或更多，两个或更多控制器736可以处理单个功能，和/或其任意组合。

一个或更多个控制器736可以响应于接收自一个或更多个传感器的传感器数据(例如传感器输入)，提供用于控制车辆700的一个或更多个部件和/或系统的信号。传感器数据可以接收自例如且不限于全球导航卫星系统传感器758(例如全球定位系统传感器)、RADAR传感器760、超声传感器762、LIDAR传感器764、惯性测量单元(IMU)传感器766(例如加速度计、陀螺仪、磁罗盘、磁力计等)、麦克风796、立体相机768、广角相机770(例如鱼眼相机)、红外相机772、环绕相机774(例如360度相机)、远程和/或中程相机798、速度传感器744(例如用于测量车辆700的速率)、振动传感器742、转向传感器740、制动传感器(例如作为制动传感器系统746的部分)和/或其他传感器类型。

控制器736中的一个或更多个可以接收来自车辆700的仪表组732的输入(例如由输入数据表示)，并且经由人机接口(HMI)显示器734、听觉信号器、扬声器和/或经由车辆700的其他部件提供输出(例如输出数据、显示数据等表示的)。这些输出可以包括诸如车辆速度、速率、时间、地图数据(例如图7C的HD地图722)、位置数据(例如，车辆700例如在地图上的位置)、方向、其他车辆的位置(例如占用网格)之类的信息，如控制器736所感知的关于对象和对象状态的信息等等。例如，HMI显示器734可以显示关于一个或更多个对象(例如街道指示牌、警示牌、交通灯变化等)的存在性的信息和/或关于车辆已经做出、正在做出或者将会做出的驾驶机动的信息(例如现在变道、两英里后离开34B，等等)。

车辆700还包括网络接口724，其可以使用一个或更多个无线天线726和/或调制解调器通过一个或更多个网络通信。例如，网络接口724可能够通过LTE、WCDMA、UMTS、GSM、CDMA2000等通信。一个或更多个无线天线726也可以使用诸如蓝牙、蓝牙LE、Z波、ZigBee等等之类的一个或更多个局域网和/或诸如LoRaWAN、SigFox等等之类的一个或更多个低功率广域网(LPWAN)实现环境中的对象(例如车辆、移动设备等等)之间的通信。

图7B为根据本公开一些实施例的用于图7A的示例自主车辆700的相机位置和视场的示例。相机和各自的视场是一个示例实施例，并不意图是限制性的。例如，可以包括附加的和/或可替换的相机，和/或这些相机可以位于车辆700上的不同位置。

用于相机的相机类型可以包括但不限于可以适于与车辆700的部件和/或系统一起使用的数字相机。所述相机可以在汽车安全完整性级别(ASIL)B下和/或在另一个ASIL下操作。相机类型可以具有任何图像捕获率，例如60帧每秒(fps)、120fps、240fps等等，这取决于实施例。相机可能够使用滚动快门、全局快门、另一种类型的快门或者其组合。在一些示例中，滤色器阵列可以包括红白白白(RCCC)滤色器阵列、红白白蓝(RCCB)滤色器阵列、红蓝绿白(RBGC)滤色器阵列、Foveon X3滤色器阵列、拜耳传感器(RGGB)滤色器阵列、单色传感器滤色器阵列和/或另一种类型的滤色器阵列。在一些实施例中，诸如具有RCCC、RCCB和/或RBGC滤色器阵列的相机之类的清晰像素相机可以用在提高光敏感度的努力中。

在一些示例中，所述相机中的一个或更多个可以用来执行高级驾驶员辅助系统(ADAS)功能(例如作为冗余或故障安全设计的部分)。例如，可以安装多功能单目相机以提供包括车道偏离警告、交通指示牌辅助和智能前照灯控制在内的功能。所述相机中的一个或更多个(例如全部相机)可以同时记录和提供图像数据(例如视频)。

所述相机中的一个或更多个可以安装在诸如定制设计的(3-D打印的)组件之类的安装组件中，以便切断可能干扰相机的图像数据捕获能力的杂散光和来自汽车内的反射(例如挡风玻璃镜中反射的来自仪表板的反射)。关于翼镜安装组件，翼镜组件可以是定制3-D打印的，使得相机安装板匹配翼镜的形状。在一些示例中，一个或更多个相机可以集成到翼镜中。对于侧视相机而言，一个或更多个相机也可以集成到驾驶室每个拐角的四根柱子内。

具有包括车辆700前面的环境部分的视场的相机(例如前置相机)可以用于环视，以帮助识别前向路径和障碍，以及在一个或更多个控制器736和/或控制SoC的帮助下辅助提供对于生成占用网格和/或确定优选车辆路径至关重要的信息。前置相机可以用来执行许多与LIDAR相同的ADAS功能，包括紧急制动、行人检测和碰撞避免。前置相机也可以用于ADAS功能和系统，包括车道偏离警告(“LDW”)、自主巡航控制(“ACC”)，和/或诸如交通指示牌识别之类的其他功能。

各种各样的相机可以用于前置配置中，包括例如包括CMOS(互补金属氧化物半导体)彩色成像仪在内的单目相机平台。另一个示例可以是广角相机770，其可以用来感知从周边进入视场的对象(例如行人、十字路口交通或者自行车)。尽管图7B中图示出仅仅一个广角相机，但是在车辆700上可以存在任意数量的广角相机770。此外，远程相机798(例如长视立体相机对)可以用于基于深度的对象检测，尤其是用于尚未针对其训练神经网络的对象。远程相机798也可以用于对象检测和分类以及基本的对象追踪。

一个或更多个立体相机768也可以包括在前置配置中。立体相机768可以包括集成控制单元，该单元包括可扩展处理单元，其可以提供在单个芯片上具有集成的CAN或以太网接口的多核微处理器和可编程逻辑(FPGA)。这样的单元可以用来生成车辆环境的3-D地图，包括针对图像中的所有点的距离估计。可替代的立体相机768可以包括紧凑型立体视觉传感器，其可以包括两个相机镜头(左右各一个)以及可以测量从车辆到目标对象的距离并且使用生成的信息(例如元数据)激活自主紧急制动和车道偏离警告功能的图像处理芯片。除了本文所描述的那些之外或者可替代地，可以使用其他类型的立体相机768。

具有包括车辆700的侧面的环境部分的视场的相机(例如侧视相机)可以用于环视，提供用来创建和更新占用网格以及生成侧撞击碰撞警告的信息。例如，环绕相机774(例如如图7B中所示的四个环绕相机774)可以置于车辆700上。环绕相机774可以包括广角相机770、鱼眼相机、360度相机和/或类似物。四个示例，四个鱼眼相机可以置于车辆的前面、后面和侧面。在一种可替代的布置中，车辆可以使用三个环绕相机774(例如左边、右边和后面)，并且可以利用一个或更多个其他相机(例如前向相机)作为第四环视相机。

具有包括车辆700的后面的环境部分的视场的相机(例如后视相机)可以用于辅助停车、环视、后面碰撞警告以及创建和更新占用网格。可以使用各种各样的相机，包括但不限于也适合作为如本文所描述的前置相机(例如远程和/或中程相机798、立体相机768、红外相机772等等)的相机。

图7C为根据本公开一些实施例的用于图7A的示例自主车辆700的示例系统架构的框图。应当理解，这种布置和本文描述的其他布置仅仅作为示例而被阐述。除了所示的那些之外或者代替它们的是，可以使用其他的布置和元素(例如机器、接口、功能、顺序、功能分组等等)，并且一些元素可以完全省略。进一步，许多本文描述的元素是功能实体，其可以实现为分立的或分布式部件或者结合其他部件实现，以及以任何适当的组合和位置实现。本文描述为由实体执行的各个功能可以通过硬件、固件和/或软件实现。例如，各个功能可以通过处理器执行存储在内存中的指令而实现。

图7C中车辆700的部件、特征和系统中的每一个被图示为经由总线702连接。总线702可以包括控制器区域网络(CAN)数据接口(可替代地，本文称为“CAN总线”)。CAN可以是车辆700内部的网络，用来辅助控制车辆700的各种特征和功能，例如制动器、加速、制动、转向、挡风玻璃雨刷等等的驱动。CAN总线可以被配置为具有数十或者甚至数百个节点，每个节点具有其自己的唯一标识符(例如CAN ID)。可以读取CAN总线以找到方向盘角度、地速、每分钟发动机转速(RPM)、按钮位置和/或其他车辆状态指示符。CAN总线可以是ASIL B兼容的。

尽管这里将总线702描述为CAN总线，但是这并不意图是限制性的。例如，除了CAN总线之外或者可替代地，可以使用FlexRay和/或以太网。此外，尽管用单条线来表示总线702，但是这并不意图是限制性的。例如，可以存在任意数量的总线702，其可以包括一条或更多条CAN总线、一条或更多条FlexRay总线、一条或更多条以太网总线和/或一条或更多条使用不同协议的其他类型的总线。在一些示例中，两条或更多总线702可以用来执行不同的功能，和/或可以用于冗余。例如，第一总线702可以用于碰撞避免功能，并且第二总线702可以用于驱动控制。在任何示例中，每条总线702可以与车辆700的任何部件通信，并且两条或更多总线702可以与相同的部件通信。在一些示例中，车辆内的每个SoC 704、每个控制器736和/或每个计算机可以有权访问相同的输入数据(例如来自车辆700的传感器的输入)，并且可以连接到诸如CAN总线之类的公共总线。

车辆700可以包括一个或更多个控制器736，例如本文关于图7A所描述的那些控制器。控制器736可以用于各种各样的功能。控制器736可以耦合到车辆700的任何其他不同的部件和系统，并且可以用于车辆700的控制、车辆700的人工智能、用于车辆700的信息娱乐和/或类似物。

车辆700可以包括一个或更多个片上系统(SoC)704。SoC 704可以包括CPU 706、GPU 708、处理器710、高速缓存712、加速器714、数据存储716和/或未图示出的其他部件和特征。在各种各样的平台和系统中，SoC 704可以用来控制车辆700。例如，一个或更多个SoC704可以在系统(例如车辆700的系统)中与HD地图722结合，所述HD地图可以经由网络接口724从一个或更多个服务器(例如图7D的一个或更多个服务器778)获得地图刷新和/或更新。

CPU 706可以包括CPU簇或者CPU复合体(可替代地，本文称为“CCPLEX”)。CPU 706可以包括多个核和/或L2高速缓存。例如，在一些实施例中，CPU 706在一致性多处理器配置中可以包括八个核。在一些实施例中，CPU 706可以包括四个双核簇，其中每个簇具有专用的L2高速缓存(例如2MB L2高速缓存)。CPU 706(例如CCPLEX)可以被配置为支持同时簇操作，使得CPU 706的簇的任意组合能够在任何给定时间是活动的。

CPU 706可以实现包括以下特征中的一个或更多个的功率管理能力：各硬件块在空闲时可以自动进行时钟门控以节省动态功率；由于WFI/WFE指令的执行，每个核时钟可以在该核不主动地执行指令时进行门控；每个核可以独立地进行功率门控；当所有核都进行时钟门控或者功率门控时，可以独立地对每个核簇进行时钟门控；和/或当所有核都进行功率门控时，可以独立地对每个核簇进行功率门控。CPU 706可以进一步实现用于管理功率状态的增强算法，其中指定允许的功率状态和期望的唤醒时间，并且硬件/微代码为所述核、簇和CCPLEX确定要进入的最佳的功率状态。处理核可以在软件中支持简化的功率状态进入序列，该工作被卸载到微代码。

GPU 708可以包括集成的GPU(可替代地，本文称为“iGPU”)。GPU708可以是可编程的，并且对于并行工作负载而言是高效的。在一些示例中，GPU 708可以使用增强张量指令集。GPU 708可以包括一个或更多个流式微处理器，其中每个流式微处理器可以包括L1高速缓存(例如具有至少96KB存储能力的L1高速缓存)，并且这些流式微处理器中的两个或更多可以共享L2高速缓存(例如具有512KB存储能力的L2高速缓存)。在一些实施例中，GPU 708可以包括至少八个流式微处理器。GPU 708可以使用计算应用编程接口(API)。此外，GPU708可以使用一个或更多个并行计算平台和/或编程模型(例如NVIDIA的CUDA)。

在汽车和嵌入式使用的情况下，可以对GPU 708进行功率优化以实现最佳性能。例如，可以在鳍式场效应晶体管(FinFET)上制造GPU 708。然而，这并不意图是限制性的，并且GPU 708可以使用其他半导体制造工艺来制造。每个流式微处理器可以合并划分成多个块的若干混合精度处理核。例如且非限制性地，可以将64个PF32核和32个PF64核划分成四个处理块。在这样的示例中，每个处理块可以分配16个FP32核、8个FP64核、16个INT32核、用于深层学习矩阵算术的两个混合精度NVIDIA张量核、L0指令高速缓存、线程束(warp)调度器、分派单元和/或64KB寄存器文件。此外，流式微处理器可以包括独立的并行整数和浮点数据路径，以利用计算和寻址计算的混合提供工作负载的高效执行。流式微处理器可以包括独立线程调度能力，以允许实现并行线程之间的更细粒度的同步和协作。流式微处理器可以包括组合的L1数据高速缓存和共享内存单元，以便在简化编程的同时提高性能。

GPU 708可以包括在一些示例中提供大约900GB/s的峰值内存带宽的高带宽内存(HBM)和/或16GB HBM2内存子系统。在一些示例中，除了HBM内存之外或者可替代地，可以使用同步图形随机存取存储器(SGRAM)，例如第五代图形双倍数据速率同步随机存取存储器(GDDR5)。

GPU 708可以包括统一内存技术，其包括访问计数器以允许内存页面更精确地迁移到最频繁地访问它们的处理器，从而提高处理器之间共享的内存范围的效率。在一些示例中，地址转换服务(ATS)支持可以用来允许GPU 708直接访问CPU 706页表。在这样的示例中，当GPU 708内存管理单元(MMU)经历遗漏时，可以将地址转换请求传输至CPU 706。作为响应，CPU 706可以在其页表中寻找用于地址的虚拟-物理映射，并且将转换传输回GPU708。这样，统一内存技术可以允许单个统一虚拟地址空间用于CPU 706和GPU 708二者的内存，从而简化了GPU 708编程和将应用程序移(port)到GPU 708。

此外，GPU 708可以包括访问计数器，其可以追踪GPU 708访问其他处理器的内存的频率。访问计数器可以帮助确保内存页面移至最频繁地访问这些页面的处理器的物理内存。

SoC 704可以包括任意数量的高速缓存712，包括本文描述的那些高速缓存。例如，高速缓存712可以包括CPU 706和GPU 708二者可用的L3高速缓存(例如，其连接到CPU 706和GPU 708二者)。高速缓存712可以包括回写高速缓存，其可以例如通过使用高速缓存一致性协议(例如MEI、MESI、MSI等)追踪行的状态。取决于实施例，L3高速缓存可以包括4MB或者更多，但是也可以使用更小的高速缓存大小。

SoC 704可以包括算术逻辑单元(ALU)，所述算术逻辑单元可以在执行关于车辆700的各种任务或操作中的任何任务或操作(如处理DNN)的处理中被利用。此外，SoC 704可以包括用于在系统内执行数学运算的浮点单元(FPU)(或其他数学协处理器或数字协处理器类型)。例如，SoC 104可以包括集成为CPU 706和/或GPU 708内的执行单元的一个或更多个FPU。

SoC 704可以包括一个或更多个加速器714(例如硬件加速器、软件加速器或者其组合)。例如，SoC 704可以包括硬件加速器簇，其可以包括优化的硬件加速器和/或大型片上内存。该大型片上内存(例如4MB SRAM)可以使得硬件加速器簇能够加速神经网络和其他计算。硬件加速器簇可以用来补充GPU 708，并且卸载GPU 708的一些任务(例如释放GPU708的更多周期以用于执行其他任务)。作为一个示例，加速器714可以用于足够稳定以易于控制加速的有针对性的工作负载(例如感知、卷积神经网络(CNN)等等)。当在本文中使用时，术语“CNN”可以包括所有类型的CNN，包括基于区域的或者区域卷积神经网络(RCNN)和快速RCNN(例如用于对象检测)。

加速器714(例如硬件加速器簇)可以包括深度学习加速器(DLA)。DLA可以包括可以被配置成为深度学习应用和推理提供额外的每秒10万亿次操作的一个或更多个张量处理单元(TPU)。TPU可以是被配置为执行图像处理功能(例如用于CNN、RCNN等)且针对执行图像处理功能而优化的加速器。DLA可以进一步针对特定的一组神经网络类型和浮点运算以及推理进行优化。DLA的设计可以比通用GPU提供每毫米更高的性能，并且远远超过CPU的性能。TPU可以执行若干功能，包括单实例卷积函数，支持例如用于特征和权重二者的INT8、INT16和FP16数据类型，以及后处理器功能。

DLA可以在处理的或者未处理的数据上针对各种各样的功能中的任何功能快速且高效地执行神经网络，尤其是CNN，例如且不限于：用于使用来自相机传感器的数据进行对象识别和检测的CNN；用于使用来自相机传感器的数据进行距离估计的CNN；用于使用来自麦克风的数据进行应急车辆检测和识别与检测的CNN；用于使用来自相机传感器的数据进行面部识别和车主识别的CNN；和/或用于安全和/或安全相关事件的CNN。

DLA可以执行GPU 708的任何功能，并且通过使用推理加速器，例如，设计者可以使DLA或GPU 708针对任何功能。例如，设计者可以将CNN的处理和浮点运算聚焦在DLA上，并且将其他功能留给GPU 708和/或其他加速器714。

加速器714(例如硬件加速器簇)可以包括可编程视觉加速器(PVA)，其在本文中可以可替代地称为计算机视觉加速器。PVA可以被设计和配置为加速用于高级驾驶员辅助系统(ADAS)、自主驾驶和/或增强现实(AR)和/或虚拟现实(VR)应用的计算机视觉算法。PVA可以提供性能与灵活性之间的平衡。例如，每个PVA可以包括例如且不限于任意数量的精简指令集计算机(RISC)核、直接内存访问(DMA)和/或任意数量的向量处理器。

RISC核可以与图像传感器(例如本文描述的任何相机的图像传感器)、图像信号处理器和/或类似物交互。这些RISC核中的每一个可以包括任意数量的内存。取决于实施例，RISC核可以使用若干协议中的任何协议。在一些示例中，RISC核可以执行实时操作系统(RTOS)。RISC核可以使用一个或更多个集成电路设备、专用集成电路(ASIC)和/或存储设备实现。例如，RISC核可以包括指令高速缓存和/或紧密耦合的RAM。

DMA可以使得PVA的部件能够独立于CPU 706访问系统内存。DMA可以支持用来向PVA提供优化的任意数量的特征，包括但不限于支持多维寻址和/或循环寻址。在一些示例中，DMA可以支持高达六个或更多维度的寻址，其可以包括块宽度、块高度、块深度、水平块步进、竖直块步进和/或深度步进。

向量处理器可以是可编程处理器，其可以被设计为高效且灵活地执行用于计算机视觉算法的编程并且提供信号处理能力。在一些示例中，PVA可以包括PVA核和两个向量处理子系统分区。PVA核可以包括处理器子系统、一个或更多个DMA引擎(例如两个DMA引擎)和/或其他外围设备。向量处理子系统可以作为PVA的主处理引擎而操作，并且可以包括向量处理单元(VPU)、指令高速缓存和/或向量内存(例如VMEM)。VPU核可以包括数字信号处理器，诸如例如单指令多数据(SIMD)、超长指令字(VLIW)数字信号处理器。SIMD和VLIW的组合可以增强吞吐量和速率。

向量处理器中的每一个可以包括指令高速缓存并且可以耦合到专用内存。结果，在一些示例中，向量处理器中的每一个可以被配置为独立于其他向量处理器执行。在其他示例中，包括在特定PVA中的向量处理器可以被配置为采用数据并行化。例如，在一些实施例中，包括在单个PVA中的多个向量处理器可以执行相同的计算机视觉算法，但是在图像的不同区域上执行。在其他示例中，包括在特定PVA中的向量处理器可以在相同的图像上同时执行不同的计算机视觉算法，或者甚至在序列图像或者图像的部分上执行不同的算法。除其他的以外，任意数量的PVA可以包括在硬件加速器簇中，并且任意数量的向量处理器可以包括在这些PVA中的每一个中。此外，PVA可以包括附加的纠错码(ECC)内存，以增强总体系统安全性。

加速器714(例如硬件加速器簇)可以包括片上计算机视觉网络和SRAM，以提供用于加速器714的高带宽、低延迟SRAM。在一些示例中，片上内存可以包括由例如且不限于八个现场可配置的内存块组成的至少4MB SRAM，其可以由PVA和DLA二者访问。每对内存块可以包括高级外围总线(APB)接口、配置电路系统、控制器和复用器。可以使用任何类型的内存。PVA和DLA可以经由向PVA和DLA提供高速内存访问的主干(backbone)访问内存。主干可以包括(例如使用APB)将PVA和DLA互连到内存的片上计算机视觉网络。

片上计算机视觉网络可以包括在传输任何控制信号/地址/数据之前确定PVA和DLA二者都提供就绪且有效的信号的接口。这样的接口可以提供用于传输控制信号/地址/数据的单独相位和单独信道，以及用于连续数据传输的突发式通信。这种类型的接口可以符合ISO 26262或者IEC 61508标准，但是也可以使用其他标准和协议。

在一些示例中，SoC 704可以包括例如在2018年8月10日提交的美国专利申请No.16/101,232中描述的实时光线追踪硬件加速器。该实时光线追踪硬件加速器可以用来快速且高效地确定(例如世界模型内的)对象的位置和范围，以便生成实时可视化仿真，以用于RADAR信号解释、用于声音传播合成和/或分析、用于SONAR系统仿真、用于一般波传播仿真、用于为了定位和/或其他功能的目的与LIDAR数据相比较和/或用于其他用途。在一些实施例中，一个或更多个树遍历单元(TTU)可以用于执行一个或更多个光线跟踪相关操作。

加速器714(例如硬件加速器簇)具有广泛的自主驾驶用途。PVA可以是可编程视觉加速器，其可以用于ADAS和自主车辆中的关键处理阶段。PVA的能力是需要可预测处理、低功率和低延迟的算法域的良好匹配。换言之，PVA在半密集或者密集规则计算上，甚至在需要具有低延迟和低功率的可预测运行时间的小数据集上都表现良好。因此，在用于自主车辆的平台的背景下，PVA被设计为运行经典计算机视觉算法，因为它们在对象检测和整数数学运算方面很有效。

例如，根据该技术的一个实施例，PVA用来执行计算机立体视觉。在一些示例中，可以使用基于半全局匹配的算法，但是这并不意图是限制性的。许多用于3-5级自主驾驶的应用都需要即时运动估计/立体匹配(例如来自运动的结构、行人识别、车道检测等等)。PVA可以在来自两个单目相机的输入上执行计算机立体视觉功能。

在一些示例中，PVA可以用来执行密集的光流。根据过程原始RADAR数据(例如使用4D快速傅立叶变换)以提供经处理的RADAR。在其他示例中，PVA用于飞行时间深度处理，其例如通过处理原始飞行时间数据以提供经处理的飞行时间数据。

DLA可以用来运行任何类型的网络以增强控制和驾驶安全性，包括例如输出用于每个对象检测的置信度度量的神经网络。这样的置信度值可以解释为概率，或者解释为提供每个检测与其他检测相比的相对“权重”。该置信度值使得系统能够做出关于哪些检测应当被认为是真阳性检测而不是假阳性检测的进一步决定。例如，系统可以为置信度设置阈值，并且仅仅将超过阈值的检测看作真阳性检测。在自动紧急制动(AEB)系统中，假阳性检测会使得车辆自动地执行紧急制动，这显然是不希望的。因此，只有最确信的检测才应当被认为是AEB的触发因素。DLA可以运行用于回归置信度值的神经网络。该神经网络可以将至少一些参数子集作为其输入，例如边界框维度，(例如从另一个子系统)获得的地平面估计，与车辆700取向、距离相关的惯性测量单元(IMU)传感器766输出，从神经网络和/或其他传感器(例如LIDAR传感器764或RADAR传感器760)获得的对象的3D位置估计等。

SoC 704可以包括一个或更多个数据存储716(例如内存)。数据存储716可以是SoC704的片上内存，其可以存储要在GPU和/或DLA上执行的神经网络。在一些示例中，为了冗余和安全，数据存储716可以容量足够大以存储神经网络的多个实例。数据存储712可以包括L2或L3高速缓存712。对数据存储716的引用可以包括对与如本文所描述的PVA、DLA和/或其他加速器714关联的内存的引用。

SoC 704可以包括一个或更多个处理器710(例如嵌入式处理器)。处理器710可以包括启动和功率管理处理器，其可以是用于处理启动功率和管理功能以及有关安全实施的专用处理器和子系统。启动和功率管理处理器可以是SoC 704启动序列的一部分，并且可以提供运行时间功率管理服务。启动功率和管理处理器可以提供时钟和电压编程、辅助系统低功率状态转换、SoC 704热和温度传感器管理和/或SoC 704功率状态管理。每个温度传感器可以实现为环形振荡器，其输出频率与温度成比例，并且SoC 704可以使用环形振荡器检测CPU 706、GPU 708和/或加速器714的温度。如果确定温度超过阈值，那么启动和功率管理处理器可以进入温度故障例程并且将SoC 704置于较低功率状态和/或将车辆700置于司机安全停车模式(例如使车辆700安全停车)。

处理器710可以还包括可以用作音频处理引擎的一组嵌入式处理器。音频处理引擎可以是一种音频子系统，其允许实现对于通过多个接口的多声道音频的完全硬件支持以及一系列广泛而灵活的音频I/O接口。在一些示例中，音频处理引擎是具有带有专用RAM的数字信号处理器的专用处理器核。

处理器710可以还包括始终在处理器上的引擎，其可以提供必要的硬件特征以支持低功率传感器管理和唤醒用例。该始终在处理器上的引擎可以包括处理器核、紧密耦合的RAM、支持外围设备(例如定时器和中断控制器)、各种I/O控制器外围设备和路由逻辑。

处理器710可以还包括安全簇引擎，其包括处理汽车应用的安全管理的专用处理器子系统。安全簇引擎可以包括两个或更多处理器核、紧密耦合的RAM、支持外围设备(例如定时器、中断控制器等等)和/或路由逻辑。在安全模式下，所述两个或更多核可以操作于锁步模式下，并且用作具有检测它们的操作之间的任何差异的比较逻辑的单核。

处理器710可以还包括实时相机引擎，其可以包括用于处理实时相机管理的专用处理器子系统。

处理器710可以还包括高动态范围信号处理器，其可以包括图像信号处理器，该图像信号处理器是一种硬件引擎，该硬件引擎是相机处理管线的部分。

处理器710可以包括可以是(例如微处理器上实现的)处理块的视频图像复合器，其实现视频回放应用程序产生用于播放器窗口的最终图像所需的视频后处理功能。视频图像复合器可以对广角相机770、环绕相机774和/或对驾驶室内监控相机传感器执行镜头畸变校正。驾驶室内监控相机传感器优选地由运行在高级SoC的另一个实例上的神经网络监控，被配置为识别驾驶室内事件并且相对应地做出响应。驾驶室内系统可以执行唇读，以激活移动电话服务并拨打电话、口述电子邮件、改变车辆目的地、激活或改变车辆的信息娱乐系统和设置或者提供语音激活的网上冲浪。某些功能仅在车辆操作于自主模式下时对于驾驶员可用，并且在其他情况下被禁用。

视频图像复合器可以包括用于空间和时间降噪的增强时间降噪。例如，在视频中出现运动的情况下，降噪适当地对空间信息加权，降低邻近帧提供的信息的权重。在图像或者图像的部分不包括运动的情况下，视频图像复合器执行的时间降噪可以使用来自先前的图像的信息以降低当前图像中的噪声。

视频图像复合器也可以被配置为对输入立体镜头帧执行立体校正。当操作系统桌面正在使用并且GPU 708无需连续地渲染(render)新的表面时，视频图像复合器可以进一步用于用户接口组成。甚至在GPU 708上电并且激活，进行3D渲染时，视频图像复合器可以用来减轻GPU 708的负担以提高性能和响应能力。

SoC 704可以还包括用于从相机接收视频和输入的移动行业处理器接口(MIPI)相机串行接口、高速接口和/或可以用于相机和有关像素输入功能的视频输入块。SoC 704可以还包括可以由软件控制并且可以用于接收未提交到特定角色的I/O信号的输入/输出控制器。

SoC 704可以还包括大范围的外围设备接口，以使能与外围设备、音频编解码器、功率管理和/或其他设备通信。SoC 704可以用来处理来自(通过千兆多媒体串行链路和以太网连接的)相机、传感器(例如可以通过以太网连接的LIDAR传感器764、RADAR传感器760等等)的数据，来自总线702的数据(例如车辆700的速率、方向盘位置等等)，来自(通过以太网或CAN总线连接的)GNSS传感器758的数据。SoC 704可以还包括专用高性能大容量存储控制器，其可以包括它们自己的DMA引擎，并且其可以用来从日常数据管理任务中释放CPU706。

SoC 704可以是具有灵活架构的端到端平台，该架构跨越自动化3-5级，从而提供利用和高效使用计算机视觉和ADAS技术以实现多样性和冗余、连同深度学习工具一起提供用于灵活可靠驾驶软件堆栈的平台的综合功能安全架构。SoC 704可以比常规的系统更快、更可靠，甚至更加能量高效和空间高效。例如，当与CPU 706、GPU 708和数据存储716结合时，加速器714可以提供用于3-5级自主车辆的快速高效平台。

因此该技术提供了不能通过常规系统实现的能力和功能。例如，计算机视觉算法可以在CPU上执行，这些CPU可以使用诸如C编程语言之类的高级编程语言配置为跨各种各样的视觉数据执行各种各样的处理算法。然而，CPU常常不能满足许多计算机视觉应用的性能要求，诸如与例如执行时间和功耗有关的那些要求。特别地，许多CPU不能实时地执行复杂的对象检测算法，这是车载ADAS应用的要求和实用3-5级自主车辆的要求。

与常规系统形成对比的是，通过提供CPU复合体、GPU复合体和硬件加速器簇，本文描述的技术允许同时和/或顺序地执行多个神经网络，并且将结果组合在一起以实现3-5级自主驾驶功能。例如，在DLA或dGPU(例如GPU 720)上执行的CNN可以包括文本和单词识别，允许超级计算机读取和理解交通指示牌，包括尚未针对其特别地训练神经网络的指示牌。DLA可以还包括能够识别、解释和提供对指示牌的语义理解，并且将该语义理解传递给运行在CPU复合体上的路径规划模块的神经网络。

作为另一个示例，如3、4或5级驾驶所需的，多个神经网络可以同时运行。例如，由“注意：闪烁的灯指示结冰条件”组成的警告指示牌连同电灯可以由若干神经网络独立地或者共同地进行解释。指示牌本身可以由部署的第一神经网络(例如经过训练的神经网络)识别为交通指示牌，文本“闪烁的灯指示结冰条件”可以由部署的第二神经网络解释，该部署的第二神经网络告知车辆的路径规划软件(优选地在CPU复合体上执行)当检测到闪烁的灯时，存在结冰条件。闪烁的灯可以通过在多个帧上操作部署的第三神经网络而识别，该神经网络告知车辆的路径规划软件闪烁的灯的存在(或不存在)。所有三个神经网络可以例如在DLA内和/或在GPU 708上同时运行。

在一些示例中，用于面部识别和车主识别的CNN可以使用来自相机传感器的数据识别车辆700的授权的驾驶员和/或车主的存在。始终在传感器上的处理引擎可以用来在车主接近驾驶员车门时解锁车辆并且打开灯，并且在安全模式下，在车主离开车辆时禁用车辆。按照这种方式，SoC 704提供了防范盗窃和/或劫车的安全性。

在另一个示例中，用于应急车辆检测和识别的CNN可以使用来自麦克风796的数据来检测并且识别应急车辆警报(siren)。与使用通用分类器检测警报并且手动地提取特征的常规系统形成对比的是，SoC 704使用CNN以对环境和城市声音分类以及对视觉数据分类。在优选的实施例中，运行在DLA上的CNN被训练为识别应急车辆的相对关闭速率(例如通过使用多普勒效应)。CNN也可以被训练为识别如GNSS传感器758所识别的特定于车辆在其中操作的局部区域的应急车辆。因此，例如，当在欧洲操作时，CNN将寻求检测欧洲警报，并且当在美国时，CNN将寻求识别仅仅北美的警报。一旦检测到应急车辆，在超声传感器762的辅助下，控制程序可以用来执行应急车辆安全例程，使车辆放慢速度，开到路边，停下车辆，和/或使车辆空转，直到应急车辆通过。

车辆可以包括可以经由高速互连(例如PCIe)耦合到SoC 704的CPU 718(例如分立的CPU或dCPU)。CPU 718可以包括例如X86处理器。CPU 718可以用来执行各种各样的功能中的任何功能，包括例如仲裁ADAS传感器与SoC 704之间潜在地不一致的结果，和/或监控控制器736和/或信息娱乐SoC 730的状态和健康状况。

车辆700可以包括可以经由高速互连(例如NVIDIA的NVLINK)耦合到SoC 704的GPU720(例如分立的GPU或dGPU)。GPU 720可以例如通过执行冗余的和/或不同的神经网络而提供附加的人工智能功能，并且可以用来至少部分地基于来自车辆700的传感器的输入(例如传感器数据)来训练和/或更新神经网络。

车辆700可以还包括网络接口724，该网络接口可以包括一个或更多个无线天线726(例如用于不同通信协议的一个或更多个无线天线，例如蜂窝天线、蓝牙天线等等)。网络接口724可以用来使能通过因特网与云(例如与服务器778和/或其他网络设备)、与其他车辆和/或与计算设备(例如乘客的客户端设备)的无线连接。为了与其他车辆通信，可以在这两辆车之间建立直接链接，和/或可以建立间接链接(例如跨网络以及通过因特网)。直接链接可以使用车对车通信链路提供。车对车通信链路可以向车辆700提供关于接近车辆700的车辆(例如车辆700前面、侧面和/或后面的车辆)的信息。该功能可以是车辆700的协作自适应巡航控制功能的部分。

网络接口724可以包括提供调制和解调功能并且使得控制器736能够通过无线网络通信的SoC。网络接口724可以包括用于从基带到射频的上转换以及从射频到基带的下转换的射频前端。频率转换可以通过公知的过程执行，和/或可以使用超外差(super-heterodyne)过程执行。在一些示例中，射频前端功能可以由单独的芯片提供。网络接口可以包括用于通过LTE、WCDMA、UMTS、GSM、CDMA2000、蓝牙、蓝牙LE、Wi-Fi、Z波、ZigBee、LoRaWAN和/或其他无线协议通信的无线功能。

车辆700可以还包括可包括片外(例如SoC 704外)存储装置的数据存储728。数据存储728可以包括一个或更多个存储元件，包括RAM、SRAM、DRAM、VRAM、闪存、硬盘和/或可以存储至少一个比特的数据的其他部件和/或设备。

车辆700可以还包括GNSS传感器758。GNSS传感器758(例如GPS、辅助GPS传感器、差分GPS(DGPS)传感器等)用于辅助映射、感知、占用网格生成和/或路径规划功能。可以使用任意数量的GNSS传感器758，包括例如且不限于使用带有以太网到串行(RS-232)网桥的USB连接器的GPS。

车辆700可以还包括RADAR传感器760。RADAR传感器760可以甚至在黑暗和/或恶劣天气条件下也由车辆700用于远程车辆检测。RADAR功能安全级别可以是ASIL B。RADAR传感器760可以使用CAN和/或总线702(例如以传输RADAR传感器760生成的数据)以用于控制以及访问对象追踪数据，在一些示例中接入以太网以访问原始数据。可以使用各种各样的RADAR传感器类型。例如且非限制性地，RADAR传感器760可以适合前面、后面和侧面RADAR使用。在一些示例中，使用脉冲多普勒RADAR传感器。

RADAR传感器760可以包括不同的配置，例如具有窄视场的远程、具有宽视场的短程、短程侧覆盖等等。在一些示例中，远程RADAR可以用于自适应巡航控制功能。远程RADAR系统可以提供通过两个或更多独立扫描实现的广阔视场(例如250m范围内)。RADAR传感器760可以帮助区分静态对象和运动对象，并且可以由ADAS系统用于紧急制动辅助和前方碰撞警告。远程RADAR传感器可以包括具有多根(例如六根或更多)固定RADAR天线以及高速CAN和FlexRay接口的单站多模RADAR。在具有六根天线的示例中，中央四根天线可以创建聚焦的波束图案，其被设计为在更高速率下以来自邻近车道的最小交通干扰记录车辆700的周围环境。其他两根天线可以扩展视场，使得快速地检测进入或离开车辆700的车道的车辆成为可能。

作为一个示例，中程RADAR系统可以包括高达760m(前面)或80m(后面)的范围以及高达42度(前面)或750度(后面)的视场。短程RADAR系统可以包括但不限于被设计为安装在后保险杠两端的RADAR传感器。当安装在后保险杠两端时，这样的RADAR传感器系统可以创建持续地监控后方和车辆旁边的视盲点的两个波束。

短程RADAR系统可以在ADAS系统中用于视盲点检测和/或变道辅助。

车辆700可以还包括超声传感器762。可以置于车辆700的前面、后面和/或侧面的超声传感器762可以用于停车辅助和/或创建和更新占用网格。可以使用各种各样的超声传感器762，并且不同的超声传感器762可以用于不同的检测范围(例如2.5m、4m)。超声传感器762可以操作于功能安全级别的ASIL B。

车辆700可以包括LIDAR传感器764。LIDAR传感器764可以用于对象和行人检测、紧急制动、碰撞避免和/或其他功能。LIDAR传感器764可以为功能安全级别的ASIL B。在一些示例中，车辆700可以包括可以使用以太网(例如以将数据提供给千兆以太网交换机)的多个LIDAR传感器764(例如两个、四个、六个等等)。

在一些示例中，LIDAR传感器764可能够对360度视场提供对象列表及其距离。商业上可用的LIDAR传感器764可以具有例如近似700m的广告范围，精度为2cm-3cm，支持700Mbps以太网连接。在一些示例中，可以使用一个或更多个非突出的LIDAR传感器764。在这样的示例中，LIDAR传感器764可以实现为可以嵌入到车辆700的前面、后面、侧面和/或拐角的小设备。在这样的示例中，LIDAR传感器764可以甚至对于低反射率对象提供高达120度水平的和35度竖直的视场，具有200m的范围。前面安装的LIDAR传感器764可以被配置用于45度与135度之间的水平视场。

在一些示例中，也可以使用诸如3D闪光LIDAR之类的LIDAR技术。3D闪光LIDAR使用激光的闪光作为发射源，以照亮高达约200m的车辆周围环境。闪光LIDAR单元包括接受器，该接受器将激光脉冲传输时间和反射光记录在每个像素上，其进而与从车辆到对象的范围相对应。闪光LIDAR可以允许利用每个激光闪光生成周围环境的高度精确且无失真的图像。在一些示例中，可以部署四个闪光LIDAR传感器，车辆700的每一侧一个。可用的3D闪光LIDAR系统包括没有风扇以外的运动部件(moving part)的固态3D凝视阵列LIDAR相机(例如非扫描LIDAR设备)。闪光LIDAR设备可以使用每帧5纳秒I类(眼睛安全)激光脉冲，并且可以以3D范围点云和共同寄存的强度数据的形式捕获反射的激光。通过使用闪光LIDAR，并且因为闪光LIDAR是没有运动部件的固态设备，LIDAR传感器764可以不太容易受到运动模糊、振动和/或震动的影响。

该车辆可以还包括IMU传感器766。在一些示例中，IMU传感器766可以位于车辆700的后轴的中心。IMU传感器766可以包括例如且不限于加速度计、磁力计、陀螺仪、磁罗盘和/或其他传感器类型。在一些示例中，例如在六轴应用中，IMU传感器766可以包括加速度计和陀螺仪，而在九轴应用中，IMU传感器766可以包括加速度计、陀螺仪和磁力计。

在一些实施例中，IMU传感器766可以实现为微型高性能GPS辅助惯性导航系统(GPS/INS)，其结合微机电系统(MEMS)惯性传感器、高灵敏度GPS接收器和高级卡尔曼滤波算法以提供位置、速度和姿态的估计。这样，在一些示例中，IMU传感器766可以使得车辆700能够在无需来自磁传感器的输入的情况下通过直接观察从GPS到IMU传感器766的速度变化并且将其相关来估计方向(heading)。在一些示例中，IMU传感器766和GNSS传感器758可以结合到单个集成单元中。

该车辆可以包括置于车辆700中和/或车辆700周围的麦克风796。除别的以外，麦克风796可以用于应急车辆检测和识别。

该车辆可以还包括任意数量的相机类型，包括立体相机768、广角相机770、红外相机772、环绕相机774、远程和/或中程相机798和/或其他相机类型。这些相机可以用来捕获车辆700整个外围周围的图像数据。使用的相机类型取决于实施例和车辆700的要求，并且相机类型的任意组合可以用来提供车辆700周围的必要覆盖。此外，相机的数量可以根据实施例而不同。例如，该车辆可以包括六个相机、七个相机、十个相机、十二个相机和/或另一数量的相机。作为一个示例且非限制性地，这些相机可以支持千兆多媒体串行链路(GMSL)和/或千兆以太网。所述相机中的每一个在本文关于图7A和图7B更详细地进行了描述。

车辆700可以还包括振动传感器742。振动传感器742可以测量车辆的诸如车轴之类的部件的振动。例如，振动的变化可以指示道路表面的变化。在另一个示例中，当使用两个或更多振动传感器742时，振动之间的差异可以用来确定道路表面的摩擦或滑移(例如当动力驱动轴与自由旋转轴之间存在振动差异时)。

车辆700可以包括ADAS系统738。在一些示例中，ADAS系统738可以包括SoC。ADAS系统738可以包括自主/自适应/自动巡航控制(ACC)、协作自适应巡航控制(CACC)、前方撞车警告(FCW)、自动紧急制动(AEB)、车道偏离警告(LDW)、车道保持辅助(LKA)、视盲点警告(BSW)、后方穿越交通警告(RCTW)、碰撞警告系统(CWS)、车道居中(LC)和/或其他特征和功能。

ACC系统可以使用RADAR传感器760、LIDAR传感器764和/或相机。ACC系统可以包括纵向ACC和/或横向ACC。纵向ACC监控并控制到紧接在车辆700前方的车辆的距离，并且自动地调节车速以维持离前方车辆的安全距离。横向ACC执行距离保持，并且在必要时建议车辆700改变车道。横向ACC与诸如LCA和CWS之类的其他ADAS应用程序有关。

CACC使用来自其他车辆的信息，该信息可以经由网络接口724和/或无线天线726经由无线链路或者通过网络连接(例如通过因特网)间接地从其他车辆接收。直接链接可以由车对车(V2V)通信链路提供，而间接链接可以是基础设施到车辆(I2V)的通信链路。通常，V2V通信概念提供关于紧接在前的车辆(例如紧接在车辆700前方且与其处于相同车道的车辆)的信息，而I2V通信概念提供关于前方更远处的交通的信息。CACC系统可以包括I2V和V2V信息源中的任一个或者二者。给定车辆700前方车辆的信息，CACC可以更加可靠，并且它有可能提高交通流的畅通性且降低道路拥堵。

FCW系统被设计为提醒驾驶员注意危险，使得驾驶员可以采取纠正措施。FCW系统使用耦合到专用处理器、DSP、FPGA和/或ASIC的前置相机和/或RADAR传感器760，该专用处理器、DSP、FPGA和/或ASIC电耦合至诸如显示器、扬声器和/或振动部件之类的驾驶员反馈。FCW系统可以提供例如声音、视觉警告、振动和/或快速制动脉冲形式的警告。

AEB系统检测即将发生的与另一车辆或其他对象的前方碰撞，并且可以在驾驶员在指定的时间或距离参数内没有采取纠正措施的情况下自动地应用制动器。AEB系统可以使用耦合到专用处理器、DSP、FPGA和/或ASIC的前置相机和/或RADAR传感器760。当AEB系统检测到危险时，它典型地首先提醒(alert)驾驶员采取纠正措施以避免碰撞，并且如果驾驶员没有采取纠正措施，那么AEB系统可以自动地应用制动器以努力防止或者至少减轻预测的碰撞的影响。AEB系统可以包括诸如动态制动支持和/或碰撞迫近制动之类的技术。

LDW系统提供了诸如方向盘或座位振动之类的视觉、听觉和/或触觉警告，以在车辆700穿过车道标记时提醒驾驶员。当驾驶员指示有意偏离车道时，通过激活转弯信号，不激活LDW系统。LDW系统可以使用耦合到专用处理器、DSP、FPGA和/或ASIC的前侧朝向相机，该专用处理器、DSP、FPGA和/或ASIC电耦合至诸如显示器、扬声器和/或振动部件之类的驾驶员反馈。

LKA系统是LDW系统的变型。如果车辆700开始离开车道，那么LKA系统提供纠正车辆700的转向输入或制动。

BSW系统检测并向驾驶员警告汽车视盲点中的车辆。BSW系统可以提供视觉、听觉和/或触觉警报以指示合并或改变车道是不安全的。系统可以在驾驶员使用转弯信号时提供附加的警告。BSW系统可以使用耦合到专用处理器、DSP、FPGA和/或ASIC的后侧朝向相机和/或RADAR传感器760，该专用处理器、DSP、FPGA和/或ASIC电耦合至诸如显示器、扬声器和/或振动部件之类的驾驶员反馈。

RCTW系统可以在车辆700倒车时在后置相机范围之外检测到对象时提供视觉、听觉和/或触觉通知。一些RCTW系统包括AEB以确保应用车辆制动器以避免撞车。RCTW系统可以使用耦合到专用处理器、DSP、FPGA和/或ASIC的一个或更多个后置RADAR传感器760，该专用处理器、DSP、FPGA和/或ASIC电耦合至诸如显示器、扬声器和/或振动部件之类的驾驶员反馈。

常规的ADAS系统可能易于出现假阳性结果，这可能会让驾驶员烦恼并分散注意力，但是典型地不是灾难性的，因为ADAS系统提醒驾驶员并且允许驾驶员决定安全条件是否真正存在并且相对应地采取行动。然而，在自主车辆700中，在冲突结果的情况下，车辆700本身必须决定是否注意(heed)来自主计算机或者辅助计算机(例如第一控制器736或第二控制器736)的结果。例如，在一些实施例中，ADAS系统738可以是用于向备用计算机合理性模块提供感知信息的备用和/或辅助计算机。备用计算机合理性监视器可以在硬件部件上运行冗余多样的软件，以检测感知和动态驾驶任务中的故障。来自ADAS系统738的输出可以提供给监督MCU。如果来自主计算机和辅助计算机的输出冲突，那么监督MCU必须确定如何协调该冲突以确保安全操作。

在一些示例中，主计算机可以被配置为向监督MCU提供置信度评分，指示主计算机对所选结果的置信度。如果置信度评分超过阈值，那么监督MCU可以遵循主计算机的方向，而不管辅助计算机是否提供冲突或不一致的结果。在置信度评分不满足阈值的情况下并且在主计算机和辅助计算机指示不同的结果(例如冲突)的情况下，监督MCU可以在这些计算机之间进行仲裁以确定适当的结果。

监督MCU可以被配置为运行神经网络，所述神经网络被训练并且被配置为至少部分地基于来自主计算机和辅助计算机的输出，确定辅助计算机提供假警报的条件。因此，监督MCU中的神经网络可以了解何时可以信任辅助计算机的输出以及何时不能。例如，当辅助计算机为基于RADAR的FCW系统时，监督MCU中的神经网络可以了解FCW系统何时正在识别事实上不是危险的金属对象，例如触发警报的排水栅格或井盖。类似地，当辅助计算机是基于相机的LDW系统时，监督MCU中的神经网络可以学习在骑车者或行人在场并且车道偏离实际上是最安全的策略时无视该LDW。在包括运行在监督MCU上的神经网络的实施例中，监督MCU可以包括适合于利用关联的内存运行神经网络的DLA或GPU中的至少一个。在优选的实施例中，监督MCU可以包括SoC 704的部件和/或作为SoC 704的部件而被包括。

在其他示例中，ADAS系统738可以包括使用传统计算机视觉规则执行ADAS功能的辅助计算机。这样，辅助计算机可以使用经典的计算机视觉规则(如果-那么)，并且在监督MCU中存在神经网络可以提高可靠性、安全性和性能。例如，多样化的实现方式和有意的非完全相同(non-identity)使得整个系统更加容错，对于软件(或者软件-硬件接口)功能造成的故障而言尤其如此。例如，如果在主计算机上运行的软件中存在软件漏洞或错误并且运行在辅助计算机上的非完全相同的软件代码提供相同的总体结果，那么监督MCU可以更加确信总体结果是正确的，并且主计算机上的软件或硬件中的漏洞不造成实质性的错误。

在一些示例中，ADAS系统738的输出可以馈送至主计算机的感知块和/或主计算机的动态驾驶任务块。例如，如果ADAS系统738由于对象紧接在前的原因而指示前方碰撞警告，那么感知块可以在识别对象时使用该信息。在其他示例中，辅助计算机可以具有它自己的神经网络，其被训练并且因此如本文所描述的降低假阳性的风险。

车辆700可以还包括信息娱乐SoC 730(例如车载信息娱乐系统(IVI))。尽管被图示和描述为SoC，但是信息娱乐系统可以不是SoC，并且可以包括两个或更多分立的部件。信息娱乐SoC 730可以包括可以用来向车辆700提供音频(例如音乐、个人数字助理、导航指令、新闻、广播等等)、视频(例如TV、电影、流媒体等等)、电话(例如免提呼叫)、网络连接(例如LTE、WiFi等等)和/或信息服务(例如导航系统，后停车援助，无线电数据系统，诸如燃油水平、覆盖的总距离、制动燃油水平、油位、车门开/关、空气过滤器信息之类的车辆有关信息，等等)的硬件和软件的组合。例如，信息娱乐SoC 730可以包括收音机、盘播放器、导航系统、视频播放器、USB和蓝牙连接、车载电脑、车载娱乐、WiFi、方向盘音频控件、免提语音控件、平视显示器(HUD)、HMI显示器734、远程信息处理设备、控制面板(例如用于控制各种部件、特征和/或系统，和/或与其交互)和/或其他部件。信息娱乐SoC 730可以进一步用来向车辆的用户提供信息(例如视觉的和/或听觉的)，例如来自ADAS系统738的信息，诸如规划的车辆机动、轨迹、周围环境信息(例如交叉路口信息、车辆信息、道路信息等等)之类的自主驾驶信息，和/或其他信息。

信息娱乐SoC 730可以包括GPU功能。信息娱乐SoC 730可以通过总线702(例如CAN总线、以太网等)与车辆700的其他设备、系统和/或部件通信。在一些示例中，信息娱乐SoC730可以耦合至监督MCU，使得在主控制器736(例如车辆700的主计算机和/或备用计算机)出现故障的情况下，信息娱乐系统的GPU可以执行一些自驾驶功能。在这样的示例中，信息娱乐SoC 730可以如本文所描述的将车辆700置于司机安全停车模式。

车辆700可以还包括仪表组732(例如数字仪表板、电子仪表组、数字仪表面板等等)。仪表组732可以包括控制器和/或超级计算机(例如分立的控制器或超级计算机)。仪表组732可以包括一套仪器，例如车速表、燃油水平、油压、转速表、里程表、转弯指示器、换档位置指示器、安全带警告灯、停车制动警告灯、发动机故障灯、安全气囊(SRS)系统信息、照明控件、安全系统控件、导航信息等等。在一些示例中，信息可以被显示和/或在信息娱乐SoC 730和仪表组732之间共享。换言之，仪表组732可以作为信息娱乐SoC 730的部分而被包括，或者反之亦然。

图7D为根据本公开一些实施例的基于云的服务器与图7A的示例自主车辆700之间的通信的系统示意图。系统776可以包括服务器778、网络790以及包括车辆700在内的车辆。服务器778可以包括多个GPU 784(A)-784(H)(这里统称为GPU 784)、PCIe交换机782(A)-782(H)(这里统称为PCIe交换机782)和/或CPU 780(A)-780(B)(这里统称为CPU 780)。GPU784、CPU 780和PCIe交换机可以与诸如例如且不限于NVIDIA开发的NVLink接口788之类的高速互连和/或PCIe连接786互连。在一些示例中，GPU 784经由NVLink和/或NVSwitch SoC连接，并且GPU 784和PCIe交换机782经由PCIe互连连接。尽管图示出八个GPU 784、两个CPU780和两个PCIe交换机，但是这并不意图是限制性的。取决于实施例，服务器778中的每一个可以包括任意数量的GPU 784、CPU 780和/或PCIe交换机。例如，服务器778中的每一个可以包括八个、十六个、三十二个和/或更多GPU 784。

服务器778可以通过网络790并且从车辆接收图像数据，该图像数据表示示出诸如最近开始的道路工程之类的意外或改变的道路状况的图像。服务器778可以通过网络790并且向车辆传输神经网络792、更新的神经网络792和/或地图信息794，包括关于交通和道路状况的信息。对地图信息794的更新可以包括对于HD地图722的更新，例如关于建筑工地、坑洼、弯道、洪水或其他障碍物的信息。在一些示例中，神经网络792、更新的神经网络792和/或地图信息794可以已从新的训练和/或从环境中的任意数量的车辆接收的数据中表示和/或基于数据中心处执行的训练(例如使用服务器778和/或其他服务器)的经验产生。

服务器778可以用来基于训练数据训练机器学习模型(例如神经网络)。训练数据可以由车辆生成，和/或可以在仿真中生成(例如使用游戏引擎)。在一些示例中，训练数据被标记(例如在神经网络受益于有监督学习的情况下)和/或经历其他预处理，而在其他示例中，训练数据不被标记和/或预处理(例如在神经网络无需有监督学习的情况下)。可以根据任何一类或更多类别的机器学习技术来执行训练，包括但不限于诸如以下类别：监督训练、半监督训练、非监督训练、自学习、强化学习、联合学习、转移学习、特征学习(包括主要组成和聚类分析)、多线性子空间学习、流形学习、表示学习(包括备用字典学习)、基于规则的机器学习、异常检测及其任何变体或组合。一旦机器学习模型被训练，机器学习模型可以由车辆使用(例如通过网络790传输至车辆)，和/或机器学习模型可以由服务器778用来远程地监控车辆。

在一些示例中，服务器778可以接收来自车辆的数据，并且将该数据应用到最新的实时神经网络以用于实时智能推理。服务器778可以包括由GPU 784供电的深度学习超级计算机和/或专用AI计算机，例如NVIDIA开发的DGX和DGX站机器。然而，在一些示例中，服务器778可以包括仅使用CPU供电的数据中心的深度学习基础设施。

服务器778的深度学习基础设施可能够快速实时推理，并且可以使用该能力来评估并验证车辆700中的处理器、软件和/或关联硬件的健康状况。例如，深度学习基础设施可以接收来自车辆700的定期更新，例如图像序列和/或车辆700已经定位的位于该图像序列中的对象(例如经由计算机视觉和/或其他机器学习对象分类技术)。深度学习基础设施可以运行它自己的神经网络以识别对象并且将它们与车辆700识别的对象相比较，如果结果不匹配并且该基础设施得出车辆700中的AI发生故障的结论，那么服务器778可以向车辆700传输信号，指示车辆700的故障保护计算机进行控制，通知乘客，并且完成安全停车操作。

为了推理，服务器778可以包括GPU 784和一个或更多个可编程推理加速器(例如NVIDIA的TensorRT)。GPU供电的服务器和推理加速的组合可以使得实时响应成为可能。在其他示例中，例如在性能不那么重要的情况下，CPU、FPGA和其他处理器供电的服务器可以用于推理。

示例计算设备

图8是适合用于实现本公开的一些实施例的示例计算设备800的框图。计算设备800可以包括直接或间接耦合以下设备的互连系统802：存储器804、一个或更多个中央处理单元(CPU)806、一个或更多个图形处理单元(GPU)808、通信接口810、输入/输出(I/O)端口812、输入/输出组件814、电源816，一个或更多个呈现组件818(例如，(一个或更多个)显示器)和一个或更多个逻辑单元820。在至少一个实施例中，(一个或更多个)计算设备800可以包括一个或更多个虚拟机(VM)，和/或其任何组件可以包括虚拟组件(例如，虚拟硬件组件)。对于非限制性示例，GPU 808中的一个或更多个可以包括一个或更多个vGPU，CPU 806中的一个或更多个可以包括一个或更多个vCPU，和/或逻辑单元820中的一个或更多个可以包括一个或更多个虚拟逻辑单元。这样，(一个或更多个)计算设备800可以包括分立组件(例如，专用于计算设备800的全GPU)、虚拟组件(例如，专用于计算设备800的GPU的一部分)、或其组合。

尽管图8的各个方框被示出为利用线路经由互连系统802连接，但这并不旨在是限制性的并且仅是为了清楚起见。例如，在一些实施例中，呈现组件818(诸如显示设备)可被认为是I/O组件814(例如，如果显示器是触摸屏)。作为另一个示例，CPU 806和/或GPU 808可以包括存储器(例如，存储器804可以表示除了GPU 808的存储器、CPU 806和/或其他组件之外的存储设备)。换言之，图8的计算设备仅是说明性的。在如“工作站”、“服务器”、“膝上型计算机”、“桌面型计算机”、“平板计算机”、“客户端设备”、“移动设备”、“手持式设备”、“游戏控制台”、“电子控制单元(ECU)”、“虚拟现实系统”和/或其他设备或系统类型的此类类别之间不做区分，因为所有都被考虑在图8的计算设备的范围内。

互连系统802可表示一个或更多个链路或总线，诸如地址总线、数据总线、控制总线或其组合。互连系统802可以包括一个或更多个总线或链路类型，诸如工业标准架构(ISA)总线、扩展工业标准架构(EISA)总线、视频电子标准协会(VESA)总线、外围组件互连(PCI)总线、快速外围组件互连(PCIe)总线和/或另一类型的总线或链路。在一些实施例中，组件之间存在直接连接。作为示例，CPU 806可直接连接到存储器804。进一步，CPU 806可直接连接到GPU 808。在组件之间存在直接或点对点连接的情况下，互连系统802可包括PCIe链路以执行连接。在这些示例中，PCI总线不需要被包括在计算设备800中。

存储器804可以包括各种计算机可读介质中的任何计算机可读介质。计算机可读介质可以是可由计算设备800访问的任何可用介质。计算机可读介质可以包括易失性和非易失性介质，以及可移除和不可移除介质。作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。

计算机存储介质可以包括以用于存储诸如计算机可读指令、数据结构、程序模块和/或其他数据类型的信息的任何方法或技术实现的易失性和非易失性介质和/或可移动和不可移动介质。例如，存储器804可以存储计算机可读指令(例如，表示(一个或更多个)程序和/或(一个或更多个)程序元件，诸如操作系统)。计算机存储介质可以包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术，CD-ROM、数字通用盘(DVD)或其他光盘存储、磁带盒、磁带、磁盘存储装置或其他磁性存储装置，或可用于存储所要信息且可由计算设备800存取的任何其他介质。如本文所使用的，计算机存储介质不包括信号本身。

计算机存储介质可将计算机可读指令、数据结构、程序模块和/或其他数据类型体现在诸如载波或其他传输机制之类的已调制数据信号中，并且包括任何信息传递介质。术语“调制数据信号”可以指代以编码信号中的信息的方式设置或改变其一个或更多个特性的信号。作为示例而非限制，计算机存储介质可包括有线介质(诸如有线网络或直接有线连接)和无线介质(诸如声学、RF、红外和其他无线介质)。以上任何内容的组合也应包含在计算机可读介质的范围内。

CPU 806可经配置以执行计算机可读指令中的至少一些以控制计算设备800的一个或更多个组件执行本文中所描述的方法和/或过程中的一个或更多个。CPU 806可各自包含能够同时处置众多软件线程的一个或更多个核心(例如，一个、两个、四个、八个、二十八个、七十二个等)。CPU 806可包含任何类型的处理器，且可取决于所实施的计算设备800的类型而包含不同类型的处理器(例如，针对移动装置具有较少核心的处理器和针对服务器具有较多核心的处理器)。例如，取决于计算设备800的类型，处理器可以是使用精简指令集计算(RISC)实现的高级RISC机器(ARM)处理器或使用复杂指令集计算(CISC)实现的x86处理器。除了一个或更多个微处理器或补充协处理器(诸如数学协处理器)之外，计算设备800还可包括一个或更多个CPU 806。

除(一个或更多个)CPU 806以外或替代(一个或更多个)CPU 806，(一个或更多个)GPU 808可被配置成执行计算机可读指令中的至少一些以控制计算设备800的一个或更多个组件执行本文所描述的方法和/或过程中的一个或更多个。GPU 808中的一个或更多个可为集成GPU(例如，有CPU 806中的一个或更多个)和/或GPU 808中的一个或更多个可为离散GPU。在实施例中，GPU 808中的一个或更多个可以是CPU 806中的一个或更多个的协处理器。GPU 808可由计算设备800使用以渲染图形(例如，3D图形)或执行通用计算。例如，GPU808可用于GPU上的通用计算(GPGPU)。GPU 808可包含能够同时处置数百或数千软件线程的数百或数千核心。GPU 808可响应于渲染命令(例如，经由主机接口从CPU 806接收的渲染命令)而产生输出图像的像素数据。GPU 808可包含用于存储像素数据或任何其他合适数据(例如，GPGPU数据)的图形存储器(例如，显示存储器)。显示存储器可作为存储器804的一部分被包括。GPU 808可包含并行操作(例如，经由链路)的两个或两个以上GPU。链路可以直接连接GPU(例如，使用NVLINK)或可以通过交换机(例如，使用NVSwitch)连接GPU。当组合在一起时，每一GPU 808可产生用于输出的不同部分或用于不同输出的像素数据或GPGPU数据(例如，用于第一图像的第一GPU和用于第二图像的第二GPU)。每一GPU可包含其自己的存储器，或可与其他GPU共享存储器。

除CPU 806和/或GPU 808之外或替代CPU 806和/或GPU 808，逻辑单元820可经配置以执行计算机可读指令中的至少一些以控制计算设备800的一个或更多个组件执行本文中所描述的方法和/或过程中的一个或更多个。在实施例中，(一个或更多个)CPU 806、(一个或更多个)GPU 808、和/或(一个或更多个)逻辑单元820可以离散地或联合地执行方法、过程和/或其部分的任何组合。逻辑单元820中的一个或更多个可为CPU 806和/或GPU 808中的一个或更多个中的一部分和/或集成于CPU 806和/或GPU 808中的一个或更多个和/或逻辑单元820中的一个或更多个可为离散组件或以其他方式在CPU 806和/或GPU 808外部。在实施例中，逻辑单元820中的一个或更多个可以是CPU 806中的一个或更多个和/或GPU808中的一个或更多个的协处理器。

逻辑单元820的示例包括一个或更多个处理核心和/或其组件，诸如数据处理单元(DPU)、张量核心(TC)、张量处理单元(TPU)、像素视觉核心(PVC)、视觉处理单元(VPU)、图形处理群集(GPC)、纹理处理群集(TPC)、流多处理器(SM)、树横向单元(TTU)、人工智能加速器(AIA)、深度学习加速器(DLA)、算术逻辑单元(ALU)、专用集成电路(ASIC)、浮点单元(FPU)、输入/输出(I/O)元件、外围组件互连(PCI)或快速外围组件互连(PCIe)元件等。

通信接口810可以包括使计算设备800能够经由电子通信网络(包括有线和/或无线通信)与其他计算设备通信的一个或更多个接收机、发射机和/或收发机。通信接口810可包括实现通过多个不同网络中的任一个进行通信的组件和功能，诸如无线网络(例如，Wi-Fi、Z-Wave、蓝牙、蓝牙LE、ZigBee等)、有线网络(例如，通过以太网或无限带通信)、低功率广域网(例如，LoRaWAN、SigFox等)和/或互联网。在一个或更多个实施例中，一个或更多个逻辑单元820和/或通信接口810可以包括一个或更多个数据处理单元(DPU)以将通过网络和/或通过互连系统802接收的数据直接传输到一个或更多个GPU 808(例如，一个或更多个GPU 808的存储器)。

I/O端口812可以使得计算设备800能够逻辑地耦合到包括I/O组件814、(一个或更多个)呈现组件818和/或其他组件的其他设备，其中一些可以被内置到(例如，集成在)计算设备800中。说明性I/O组件814包括麦克风、鼠标、键盘、操纵杆、游戏垫、游戏控制器、碟形卫星天线、扫描仪、打印机、无线设备等。I/O组件814可以提供处理空中姿势、语音或由用户生成的其他生理输入的自然用户界面(NUI)。在一些情况下，可将输入发射到适当的网络元件以供进一步处理。NUI可实现与计算设备800的显示器相关联的语音识别、指示笔识别、面部识别、生物特征识别、屏幕上和屏幕附近的姿势识别、空中姿势、头部和眼睛跟踪、以及触摸识别(如以下更详细地描述的)的任何组合。计算设备800可以包括用于手势检测和识别的深度相机，诸如立体相机系统、红外相机系统、RGB相机系统、触摸屏技术和这些的组合。另外，计算设备800可包含使得能够检测运动的加速度计或陀螺仪(例如，作为惯性测量单元(IMU)的部分)。在一些示例中，计算设备800可以使用加速度计或陀螺仪的输出来渲染沉浸式增强现实或虚拟现实。

电源816可包括硬连线电源、电池电源或其组合。电源816可向计算设备800提供电力以使得计算设备800的组件能够操作。

呈现组件818可包括显示器(例如，监视器、触摸屏、电视屏幕、平视显示器(HUD)、其他显示器类型或其组合)、扬声器和/或其他呈现组件。

呈现组件818可从其他组件(例如，GPU 808、CPU 806、DPU等)接收数据，且输出所述数据(例如，作为图像、视频、声音等)。

示例数据中心

图9示出了可在本公开的至少一个实施例中使用的示例数据中心900。数据中心900可包括数据中心基础设施层910、框架层920、软件层930和/或应用层940。

如图9所示，数据中心基础设施层910可以包括资源协调器912、分组的计算资源914和节点计算资源(“节点C.R.s”)916(1)-916(N)，其中“N”表示任何完整的正整数。在至少一个实施例中，节点C.R.s 916(1)-916(N)可包括，但不限于任何数量的中央处理单元(“CPU”)或其他处理器(包括DPU、加速器、现场可编程门阵列(FPGA)、图形处理器或图形处理单元(GPU)等)，存储器设备(例如，动态只读存储器)，存储设备(例如，固态或磁盘驱动器)，网络输入/输出(“NW I/O”)装置、网络交换机、虚拟机(“VM”)、功率模块和/或冷却模块，等等。在一些实施例中，来自节点C.R.s 916(1)-916(N)中的一个或更多个节点C.R.s可对应于具有上述计算资源中的一个或更多个的服务器。此外，在一些实施例中，节点C.R.s916(1)-9161(N)可包括一个或更多个虚拟组件，诸如vGPU、vCPU等，和/或节点C.R.s 916(1)-916(N)中的一个或更多个可对应于虚拟机(VM)。

在至少一个实施例中，分组的计算资源914可包括容纳在一个或更多个机架(未示出)内的节点C.R.s 916的单独分组，或容纳在不同地理位置(也未示出)处的数据中心内的许多机架。分组的计算资源914内的节点C.R.s 916的单独分组可包括可被配置或分配来支持一个或更多个工作负荷的分组计算、网络、存储器或存储资源。在至少一个实施例中，包括CPU、GPU、DPU和/或其他处理器的若干节点C.R.s 916可以分组在一个或更多个机架内以提供计算资源来支持一个或更多个工作负荷。一个或更多个机架还可包括任意组合的任意数量的功率模块、冷却模块和/或网络交换机。

资源协调器912可配置或以其他方式控制一个或更多个节点C.R.s916(1)-916(N)和/或分组的计算资源914。在至少一个实施例中，资源协调器912可以包括用于数据中心900的软件设计基础设施(“SDI”)管理实体。资源协调器912可以包括硬件、软件或其某种组合。

在至少一个实施例中，如图9所示，框架层920可以包括作业调度器933、配置管理器934、资源管理器936和/或分布式文件系统938。框架层920可以包括支持软件层930的软件932和/或应用层940的一个或更多个应用942的框架。软件932或应用942可分别包含基于网络的服务软件或应用，例如由Amazon(亚马逊)网络服务、Google Cloud(谷歌云)和Microsoft Azure提供的那些。框架层920可以是但不限于可以利用分布式文件系统938进行大规模数据处理(例如，“大数据”)的免费和开源的软件网络应用框架(如Apache Spark^TM(下文称为“Spark”))的类型。在至少一个实施例中，作业调度器933可以包括Spark驱动器以促进调度由数据中心900的不同层支持的工作负荷。配置管理器934可以能够配置不同层，诸如软件层930和框架层920(其包括用于支持大规模数据处理的Spark和分布式文件系统938)。资源管理器936可以能够管理被映射到分布式文件系统938和作业调度器933或被分配用于支持分布式文件系统938和作业调度器933的集群的或分组的计算资源。在至少一个实施例中，集群的或分组的计算资源可包括在数据中心基础设施层910的分组的计算资源914。资源管理器936可与资源协调器912协调以管理这些被映射或分配的计算资源。

在至少一个实施例中，在软件层930中包括的软件932可包括由节点C.R.s 916(1)-916(N)、分组的计算资源914和/或框架层920的分布式文件系统938中的至少部分使用的软件。一种或更多种类型的软件可以包括但不限于互联网网页搜索软件、电子邮件病毒扫描软件、数据库软件和流式视频内容软件。

在至少一个实施例中，在应用层940中包括的应用942可包括由节点C.R.s 916(1)-916(N)、分组的计算资源914和/或框架层920的分布式文件系统938中的至少部分使用的一个或更多个类型的应用。一种或更多种类型的应用可以包括但不限于任何数量的基因组应用、认知计算和机器学习应用，包括训练或推断软件、机器学习框架软件(例如，PyTorch、TensorFlow、Caffe等)和/或结合一个或更多个实施例使用的其他机器学习应用。

在至少一个实施例中，配置管理器934、资源管理器936和资源协调器912中的任一个可基于在任何技术上可行的方式中获取的任何量和类型的数据来实现任何数量和类型的自修改动作。自修改动作可使数据中心900的数据中心操作者免于做出可能较差的配置决策和可能避免数据中心的未充分利用和/或较差执行部分。

根据本文描述的一个或更多个实施例，数据中心900可包括工具、服务、软件或其他资源来训练一个或更多个机器学习模型或使用一个或更多个机器学习模型来预测或推断信息。例如，可以通过使用以上相对于数据中心900描述的软件和/或计算资源根据神经网络架构来计算权重参数来训练(一个或更多个)机器学习模型。在至少一个实施例中，对应于一个或更多个神经网络的经训练或部署的机器学习模型可用于通过使用通过一种或多种训练技术(诸如但不限于本文中描述的那些训练技术)计算的权重参数，使用上文相对于数据中心900描述的资源来推断或预测信息。

在至少一个实施例中，数据中心900可使用CPU、专用集成电路(ASIC)、GPU、FPGA和/或其他硬件(或与其对应的虚拟计算资源)来使用上述资源执行训练和/或推断。此外，上文所描述的一或更多个软件和/或硬件资源可被配置为允许用户训练或执行对信息的推断的服务，例如图像识别、语音识别或其他人工智能服务。

示例网络环境

适合用于实现本公开的实施例的网络环境可以包括一个或更多个客户端设备、服务器、网络附加存储(NAS)、其他后端设备和/或其他设备类型。客户端设备、服务器和/或其他设备类型(例如，每个设备)可以在图8的(一个或更多个)计算设备800的一个或更多个实例上实现——例如，每个设备可以包括(一个或更多个)计算设备800的类似部件、特征和/或功能。此外，在实现后端设备(例如，服务器、NAS等)的情况下，后端设备可被包括作为数据中心900的一部分，数据中心900的示例在本文中关于图9更详细地描述。

网络环境的组件可经由网络彼此通信，所述网络可为有线的、无线的或为两者。网络可以包括多个网络或多个网络中的一个网络。例如，网络可包括一个或更多个广域网(WAN)、一个或更多个局域网(LAN)、一个或更多个公共网络(诸如互联网和/或公共交换电话网(PSTN))和/或一个或更多个私有网络。在网络包括无线电信网络的情况下，诸如基站、通信塔或者甚至接入点(以及其他组件)的组件可以提供无线连接。

兼容的网络环境可以包括一个或更多个对等网络环境(在这种情况下，服务器可以不被包括在网络环境中)和一个或更多个客户端-服务器网络环境(在这种情况下，一个或更多个服务器可以被包括在网络环境中)。在对等网络环境中，本文针对服务器所描述的功能可在任何数量的客户端设备上实现。

在至少一个实施例中，网络环境可包括一个或更多个基于云的网络环境、分布式计算环境、其组合等。基于云的网络环境可包括框架层、作业调度器、资源管理器和在一个或更多个服务器上实现的分布式文件系统，所述服务器可包括一个或更多个核心网服务器和/或边缘服务器。框架层可包括支持软件层的软件和/或应用层的一个或更多个应用的框架。软件或应用可分别包含基于网络的服务软件或应用。在实施例中，一个或更多个客户端设备可以使用基于网络的服务软件或应用(例如，通过经由一个或更多个应用编程接口(API)访问服务软件和/或应用)。框架层可以是但不限于如可以使用分布式文件系统进行大规模数据处理(例如，“大数据”)的一种免费和开源软件网络应用框架。

基于云的网络环境可提供执行本文描述的计算和/或数据存储功能(或其一个或更多个部分)的任何组合的云计算和/或云存储。这些不同功能中的任何功能可以分布在来自(例如，可以分布在州、地区、国家、全球等的一个或更多个数据中心的)中央或核心服务器的多个位置上。如果与用户(例如，客户端设备)的连接相对靠近边缘服务器，则核心服务器可以将功能的至少一部分指定给边缘服务器。基于云的网络环境可以是私有的(例如，限于单个组织)，可以是公共的(例如，对许多组织可用)，和/或其组合(例如，混合云环境)。

(一个或更多个)客户端设备可以包括本文关于图8所描述的(一个或更多个)示例计算设备800的组件、特征和功能中的至少一些。作为示例而非限制，客户端设备可被实现为个人计算机(PC)，膝上型计算机、移动设备、智能电话、平板计算机、智能手表、可穿戴计算机、个人数字助理(PDA)、MP3播放器、虚拟现实耳机、全球定位系统(GPS)或设备、视频播放器、摄像机、监视设备或系统、车辆、船、飞船、虚拟机、无人机、机器人、手持式通信设备、医院设备、游戏设备或系统、娱乐系统、车辆计算机系统、嵌入式系统控制器、遥控器、电器、消费电子设备、工作站、边缘设备、这些描绘的设备的任何组合或任何其他合适的设备。

本公开可以在由计算机或者诸如个人数字助理或其他手持式设备之类的其他机器执行的、包括诸如程序模块之类的计算机可执行指令的机器可使用指令或者计算机代码的一般背景下进行描述。通常，包括例程、程序、对象、组件、数据结构等等的程序模块指的是执行特定任务或者实现特定抽象数据类型的代码。本公开可以在各种各样的系统配置中实践，这些配置包括手持式设备、消费电子器件、通用计算机、更专业的计算设备等等。本公开也可以在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实践。

如在本文中使用的，“和/或”关于两个或更多元件的叙述应当解释为仅指一个元件或者元件组合。例如，“元件A、元件B和/或元件C”可以包括仅仅元件A，仅仅元件B，仅仅元件C，元件A和元件B，元件A和元件C，元件B和元件C，或者元件A、B和C。此外，“元件A或元件B中的至少一个”可以包括元件A中的至少一个，元件B中的至少一个，或者元件A中的至少一个和元件B中的至少一个。进一步，“元件A和元件B中的至少一个”可以包括元件A中的至少一个，元件B中的至少一个，或者元件A中的至少一个和元件B中的至少一个。

这里详细地描述了本公开的主题以满足法定要求。然而，描述本身并非意在限制本公开的范围。相反地，本公开人已经设想到，要求保护的主题也可以以其他的方式具体化，以包括与本文中结合其他当前或未来技术描述的步骤不同的步骤或者相似的步骤的组合。而且，尽管术语“步骤”和/或“块”在本文中可以用来隐含采用的方法的不同元件，但是这些术语不应当被解释为暗示本文公开的各个步骤之中或之间的任何特定顺序，除非明确描述了各步骤的顺序。

Claims (20)

1.一种方法，包括：

至少基于分析由环境中的第一车辆的至少一个传感器生成的感知数据来识别所述第一车辆的场景；

至少基于所述感知数据确定所述场景中所述第一车辆的第一路径和所述场景中第二车辆的第二路径，其中所述第二路径包括与所述第一路径的至少一个竞争点；

至少基于所述感知数据和与所述环境对应的一组交通规则，确定该组交通规则中的一个或更多个交通规则适用于所述场景；

至少基于所述一个或更多个交通规则适用于所述场景，将竞争状态指派给所述至少一个竞争点；

生成与所述场景相关联的等待元素，所述等待元素对与所述第一路径相关联的第一几何、与所述第二路径相关联的第二几何以及所述竞争状态的表示进行编码；以及

将所述等待元素提供给所述第一车辆的控制代理，其中所述控制代理被配置为使用所述等待元素确定所述第一车辆的让行行为。

2.根据权利要求1所述的方法，还包括：使用所述感知数据检测包括在所述环境中的一个或更多个交通信号的当前状态，其中至少基于所述一个或更多个交通信号的当前状态确定所述一组交通规则中的所述一个或更多个交通规则适用于所述场景。

3.根据权利要求1所述的方法，其中，所述感知数据包括与至少所述第一路径相关联的第一几何信息，并且所述方法还包括：

接收表示与至少所述第一路径相关联的第二几何信息的地图数据；以及

至少基于将所述第一几何信息与所述第二几何信息融合来生成所述第一路径的所述第一几何的表示。

4.根据权利要求1所述的方法，其中，所述感知数据包括与所述环境中的一个或更多个检测到的交通信号相关联的第一信号信息，并且所述方法还包括：

从至少一个地图接收包括与一个或更多个定位交通信号相关联的第二信号信息的地图数据；以及

至少基于将所述第一信号信息与所述第二信号信息融合来生成与至少一个交通信号相关联的融合信号信息，其中至少基于所述融合信号信息确定所述一组交通规则中的所述一个或更多个交通规则适用于所述场景。

5.根据权利要求1所述的方法，其中，所述感知数据包括几何感知数据，并且所述方法还包括：至少基于所述几何感知数据将所述第一路径分类为属于一组预定类别中的至少一个类别，其中至少基于所述第一路径属于所述至少一个类别确定所述一组交通规则中的所述一个或更多个交通规则适用于所述场景。

6.根据权利要求1所述的方法，其中，所述感知数据包括与一个或更多个交通信号相关联的信号感知数据和与所述第一路径相关联的几何数据，并且所述方法还包括：至少基于使用所述信号感知数据和所述几何数据评估所述一个或更多个交通信号与所述第一路径之间的距离将所述一个或更多个交通信号指派给所述第一路径。

7.根据权利要求1所述的方法，其中，所述一组交通规则包括与将所述第一车辆定位到至少一个地图相关联的一个或更多个映射规则或与所述第一车辆的地理区域相关联的一个或更多个基础规则中的至少一个。

8.一种处理器，包括：

一个或更多个电路，用于

至少基于分析由环境中的第一车辆的至少一个传感器生成的传感器数据来识别所述第一车辆的场景；

至少基于将所述第一车辆定位到一个或更多个地图，确定所述场景中所述第一车辆的第一路径和所述场景中第二车辆的第二路径，其中所述第二路径包括与所述第一路径的至少一个竞争点；

至少基于对所述第一车辆的定位，确定一个或更多个交通规则适用于所述场景；

至少基于所述一个或更多个交通规则适用于所述场景，将竞争状态指派给所述至少一个竞争点；

生成与所述场景相关联的等待元素，该等待元素对与所述第一路径相关联的第一几何、与所述第二路径相关联的第二几何以及所述竞争状态的表示进行编码；以及

将所述等待元素提供给所述第一车辆的控制代理，其中所述控制代理被配置为使用所述等待元素确定所述第一车辆的让行行为。

9.根据权利要求8所述的处理器，其中，所述一个或更多个电路还用于使用由所述环境中的所述第一车辆的至少一个传感器生成的感知数据来检测包括在所述一个或更多个地图中的一个或更多个交通信号的当前状态，其中至少基于所述一个或更多个交通信号的所述当前状态确定所述一个或更多个交通规则适用于所述场景。

10.根据权利要求8所述的处理器，其中，所述一个或更多个电路进一步用于：

至少基于所述定位接收所述一个或更多个地图的地图数据，其中所述地图数据包括与至少所述第一路径相关联的第一几何信息；

确定由所述环境中的所述第一车辆的至少一个传感器生成的感知数据，其中所述感知数据包括与至少所述第一路径相关联的第二几何信息；以及

至少基于将所述第一几何信息与所述第二几何信息融合来生成所述第一路径的至少所述第一几何的表示。

11.根据权利要求8所述的处理器，其中，所述一个或更多个电路进一步用于：

至少基于所述定位接收所述一个或更多个地图的地图数据，其中所述地图数据包括与来自所述一个或更多个地图的一个或更多个定位交通信号相关联的第一信号信息；

确定由所述环境中的所述第一车辆的至少一个传感器生成的感知数据，其中所述感知数据包括与所述环境中的一个或更多个检测到的交通信号相关联的第二信号信息；以及

至少基于将所述第一信号信息与所述第二信号信息融合来生成与至少一个交通信号相关联的融合信号信息，其中至少基于所述融合信号信息确定所述一个或更多个交通规则适用于所述场景。

12.根据权利要求8所述的处理器，其中，所述地图数据包括几何数据，并且所述方法还包括：至少基于所述几何数据将所述第一路径分类为属于一组预定类别中的至少一个类别，其中至少基于所述第一路径属于所述至少一个类别确定所述一个或更多个交通规则适用于所述场景。

13.根据权利要求8所述的处理器，其中，所述地图数据包括与一个或更多个交通信号相关联的信号数据，并且所述一个或更多个电路进一步用于至少基于使用与所述第一路径相关联的所述信号数据和几何数据评估所述一个或更多个交通信号与所述第一路径之间的距离将所述一个或更多个交通信号指派给所述第一路径。

14.根据权利要求8所述的处理器，其中，所述交通规则包括与将所述第一车辆定位到至少一个地图相关联的一个或更多个映射规则或与所述第一车辆的地理区域相关联的一个或更多个基础规则。

15.一种系统，包括：

一个或更多个处理单元，用于

至少基于分析使用环境中的车辆的至少一个传感器生成的传感器数据，确定一个或更多个交通规则适用于场景，所述场景包括所述环境中车辆的生成路径；

至少基于所述一个或更多个交通规则适用于所述场景来指派竞争状态；

生成与所述场景相关联的等待元素，所述等待元素对至少与所述生成路径和所述竞争状态相关联的第一几何进行编码；以及

将所述等待元素提供给所述车辆的控制代理，其中所述控制代理被配置为使用所述等待元素确定所述车辆的让行行为。

16.根据权利要求15所述的系统，其中，所述一个或更多个处理单元进一步用于检测包括在所述环境中的一个或更多个交通信号的当前状态，其中至少基于所述一个或更多个交通信号的当前状态确定所述一个或更多个交通规则适用于所述场景。

17.根据权利要求15所述的系统，其中，所述一个或更多个处理单元进一步用于：

接收感知数据，所述感知数据包括与至少所述路径相关联的第一几何信息；

接收地图数据，所述地图数据表示与至少所述路径相关联的第二几何信息；以及

至少基于将所述第一几何信息与所述第二几何信息融合来生成所述路径的至少所述第一几何。

18.根据权利要求15所述的系统，其中所述一个或更多个处理单元进一步用于：

接收感知数据，所述感知数据包括与所述环境中的一个或更多个检测到的交通信号相关联的第一信号信息；

从至少一个地图接收包括与一个或更多个定位交通信号相关联的第二信号信息的地图数据；以及

至少基于将所述第一信号信息与所述第二信号信息融合来生成与至少一个交通信号相关联的融合信号信息，其中至少基于所述融合信号信息确定所述一个或更多个交通规则适用于所述场景。

19.根据权利要求15所述的系统，其中所述一个或更多个处理单元进一步用于至少基于几何感知数据将所述路径分类为属于一组预定类别中的至少一个类别，其中至少基于所述路径属于所述至少一个类别确定所述一个或更多个交通规则适用于所述场景。

20.根据权利要求15所述的系统，其中，所述一个或更多个处理单元包括在以下至少之一中：

用于自主或半自主机器的控制系统；

用于自主或半自主机器的感知系统；

用于执行模拟操作的系统；

用于执行深度学习操作的系统；

使用边缘设备实现的系统；

使用机器人实现的系统；

包含一个或更多个虚拟机(VM)的系统；

至少部分在数据中心中实现的系统；或

至少部分使用云计算资源实现的系统。

Images