CN111559383A - 用于基于车辆和边缘传感器数据确定自主车辆（av）动作的方法和系统 - Google Patents

Abstract

一种确定用于主车辆的自主车辆（AV）动作的自主车辆（AV）感知系统和方法。所述方法包括：从至少一个车载传感器获得车载传感器数据，所述车载传感器是所述主车辆的车辆电子器件的一部分；从至少一个边缘传感器获得边缘传感器数据，所述边缘传感器是边缘层的一部分；基于所述车载传感器数据和所述边缘传感器数据生成统一感知输出；基于所述统一感知输出确定用于所述主车辆的AV动作；以及将所述AV动作提供至所述主车辆，其中，所述主车辆配置为执行所述AV动作。

Description

用于基于车辆和边缘传感器数据确定自主车辆（AV）动作的方 法和系统

技术领域

本公开涉及自主车辆系统，包括利用边缘和/或云层的那些自主车辆系统。

背景技术

车辆包括执行用于车辆的各种任务的各种电子控制单元（ECU）。许多车辆现在包括各种传感器，以感测与车辆的操作和/或附近或周围环境相关的信息。此外，一些道路现在包括电子计算系统，该电子计算系统能够与附近车辆通信并且还可以包括或连接至路边传感器。

因此，可能期望提供一种用于确定用于主车辆的自主车辆（AV）动作的系统和/或方法。

发明内容

根据一个方面，提供了一种确定用于主车辆的自主车辆（AV）动作的方法。方法包括以下步骤：从至少一个车载传感器获得车载传感器数据，该车载传感器是主车辆的车辆电子器件的一部分；从至少一个边缘传感器获得边缘传感器数据，该边缘传感器是边缘层的一部分；基于车载传感器数据和边缘传感器数据生成统一感知（unified perception）输出；基于该统一感知输出确定用于主车辆的AV动作；以及将该AV动作提供至该主车辆，其中，该主车辆配置为执行该AV动作。

根据各种实施例，方法可以进一步包括以下特征中的任何一个或这些特征中的一些或全部的任何技术上可行的组合：

● 生成步骤进一步包括：用边缘层的边缘节点生成统一感知输出；

● 生成步骤进一步包括：通过将车载传感器数据或边缘传感器数据中的至少一个变换为齐次坐标系（homogeneous coordinate system）来生成统一感知输出；

● 作为变换步骤的一部分，使用边缘传感器数据来生成边缘传感器数据投影

，该边缘传感器数据表示为

，边缘传感器数据投影表示为

，并且其中，该边缘传感器数据投影包括或表示齐次坐标系内的边缘传感器数据；

● 作为变换步骤的一部分，使用车载传感器数据来生成车载传感器数据投影

，该车载传感器数据表示为

，车载传感器数据投影表示为

，并且其中，该车载传感器数据投影包括或表示齐次坐标系内的车载传感器数据；

● 统一感知输出包括一组独特点（unique point）

，并且其中，该一组独特点包括或表示所述边缘传感器数据投影

和所述车载传感器数据投影

；

● 该一组独特点

包括来自除主车辆以外的一个或多个附近车辆的车载传感器数据；

● 方法由边缘节点执行，该边缘节点包括处理器、存储器和无线通信设备，边缘节点通信地联接至边缘传感器，并且无线通信设备与包括主车辆的一个或多个附近车辆进行通信；

● 生成步骤进一步包括：从边缘节点的存储器收集关于静态对象的地理和/或空间信息；以及生成统一感知输出，以便包括地理和/或空间信息，其中，静态对象在与边缘节点对应的边缘单元内；

● 方法进一步包括以下步骤：确定是否将与AV动作的确定相关的一个或多个计算任务分配至云层，以及当确定将与AV动作的确定相关的一个或多个计算任务分配至云层时，将任务信息发送到该云层的云设备；

● 主车辆进一步配置为确定AV动作是否与车辆确定的AV动作冲突，并且如果冲突，则执行最小风险动作；

● 统一感知输出包括与至少一个车载传感器或至少一个边缘传感器的视场内的一个或多个对象相关的对象信息，并且其中，基于对象检测技术来生成统一感知输出的对象信息；和/或

● 主车辆配置为确定是否将与AV相关的任务分配至边缘层的边缘节点，并且其中，该边缘节点执行方法步骤并响应于完成与AV相关的任务而将AV动作提供至车辆。

根据另一方面，提供了一种确定用于主车辆的自主车辆（AV）动作的方法。方法包括以下步骤：从至少一个车载传感器获得车载传感器数据，该车载传感器是主车辆的车辆电子器件的一部分；从一个或多个其它车辆获得车载传感器数据；确定是否将车辆任务分配至边缘层；当确定将该车辆任务分配至边缘层时，将车载传感器数据从主车辆发送到边缘层的边缘节点，其中，该边缘节点配置为：（i）将主车辆的车载传感器数据和一个或多个其它车辆的该车载传感器数据变换为齐次坐标系；（ii）基于变换后的车载传感器数据确定统一感知输出；（iii）基于统一感知输出进行车辆任务，以获得车辆任务输出；以及（iv）将该车辆任务输出发送到主车辆；在该主车辆处从边缘节点接收车辆任务输出；以及基于在主车辆处的车辆任务输出执行AV动作。

根据各种实施例，方法可以进一步包括以下特征中的任何一个或这些特征中的一些或全部的任何技术上可行的组合：

● 车辆电子器件包括短程无线通信（SRWC）电路系统，并且其中，使用该SRWC电路系统来执行发送车载传感器数据的步骤；

● 确定步骤包括执行难以保证的调度过程（hard-guaranteed schedulingprocess），并且其中，主车辆是低级别自主车辆；

● 难以保证的调度过程包括：确定服务质量（QoS）性能等级，并且其中，该QoS性能等级包括可靠性度量、准确性度量和延迟度量；

● 边缘节点进一步配置为：确定是否将车辆任务或该车辆任务的一部分分配至云层，以及当确定将车辆任务或该车辆任务的一部分分配至云层时，然后向该云层的云设备发送指示以进行车辆任务或该车辆任务的一部分；和/或

● 车辆任务输出指示AV动作以及至少一个AV参数，并且其中，车辆使用车辆电子器件的AV控制单元根据至少一个AV参数来执行AV动作。

根据另一方面，提供了一种自主车辆（AV）感知系统，其包括：边缘层和车辆层。边缘层包括至少一个边缘节点和至少一个边缘传感器，该边缘传感器通信地联接至至少一个边缘节点，并且该至少一个边缘节点包括处理器、通信地联接至该处理器的存储器以及通信地联接至该处理器的无线通信设备。车辆层包括主车辆，该主车辆包括至少一个车载传感器、无线通信设备和AV控制单元。边缘层和车辆层配置为：从主车辆的至少一个车载传感器获得车载传感器数据；从边缘层的至少一个边缘传感器获得边缘传感器数据；基于车载传感器数据和边缘传感器数据生成统一感知输出；基于该统一感知输出确定用于主车辆的AV动作；以及将AV动作提供至该主车辆，其中，该主车辆配置为使用AV控制单元来执行AV动作。

本发明还公开了如下技术方案：

方案1. 一种确定用于主车辆的自主车辆（AV）动作的方法，所述方法包括以下步骤：

从至少一个车载传感器获得车载传感器数据，所述车载传感器是所述主车辆的车辆电子器件的一部分；

从至少一个边缘传感器获得边缘传感器数据，所述边缘传感器是边缘层的一部分；

基于所述车载传感器数据和所述边缘传感器数据生成统一感知输出；

基于所述统一感知输出确定用于所述主车辆的AV动作；以及

将所述AV动作提供至所述主车辆，其中，所述主车辆配置为执行所述AV动作。

方案2. 根据方案1所述的方法，其中，生成步骤进一步包括：用所述边缘层的边缘节点生成所述统一感知输出。

方案3. 根据方案2所述的方法，其中，生成步骤进一步包括：通过将所述车载传感器数据或所述边缘传感器数据中的至少一个变换为齐次坐标系来生成所述统一感知输出。

方案4. 根据方案3所述的方法，其中，作为变换步骤的一部分，使用所述边缘传感器数据来生成边缘传感器数据投影

，所述边缘传感器数据表示为

，所述边缘传感器数据投影表示为

，并且其中，所述边缘传感器数据投影包括或表示所述齐次坐标系内的所述边缘传感器数据。

方案5. 根据方案4所述的方法，其中，作为变换步骤的一部分，使用所述车载传感器数据来生成车载传感器数据投影

，所述车载传感器数据表示为

，所述车载传感器数据投影表示为

，并且其中，所述车载传感器数据投影包括或表示所述齐次坐标系内的所述车载传感器数据。

方案6. 根据方案5所述的方法，其中，所述统一感知输出包括一组独特点

，并且其中，所述一组独特点包括或表示所述边缘传感器数据投影

和所述车载传感器数据投影

。

方案7. 根据方案6所述的方法，其中，所述一组独特点

包括来自除所述主车辆以外的一个或多个附近车辆的车载传感器数据。

方案8. 根据方案2所述的方法，其中，所述方法由所述边缘节点执行，所述边缘节点包括处理器、存储器和无线通信设备，所述边缘节点通信地联接至所述边缘传感器，并且所述无线通信设备与包括所述主车辆的一个或多个附近车辆进行通信。

方案9. 根据方案8所述的方法，其中，生成步骤进一步包括：从所述边缘节点的存储器收集关于静态对象的地理和/或空间信息；以及生成所述统一感知输出，从而包括所述地理和/或空间信息，其中，所述静态对象在与所述边缘节点对应的边缘单元内。

方案10. 根据方案1所述的方法，其中，所述方法进一步包括以下步骤：确定是否将与所述AV动作的确定相关的一个或多个计算任务分配至云层，以及当确定将与所述AV动作的确定相关的一个或多个计算任务分配至所述云层时，将任务信息发送到所述云层的云设备。

方案11. 根据方案10所述的方法，其中，所述主车辆进一步配置为确定所述AV动作是否与车辆确定的AV动作冲突，并且如果冲突，则执行最小风险动作。

方案12. 根据方案1所述的方法，其中，所述统一感知输出包括与所述至少一个车载传感器或所述至少一个边缘传感器的视场内的一个或多个对象相关的对象信息，并且其中，基于对象检测技术来生成所述统一感知输出的所述对象信息。

方案13. 根据方案1所述的方法，其中，所述主车辆配置为确定是否将与AV相关的任务分配至所述边缘层的边缘节点，并且其中，所述边缘节点执行所述方法步骤，并响应于完成所述与AV相关的任务而将所述AV动作提供至所述车辆。

方案14. 一种确定用于主车辆的自主车辆（AV）动作的方法，所述方法包括以下步骤：

从至少一个车载传感器获得车载传感器数据，所述车载传感器是所述主车辆的车辆电子器件的一部分；

从一个或多个其它车辆获得车载传感器数据；

确定是否将车辆任务分配至边缘层；

当确定将所述车辆任务分配至所述边缘层时，将所述车载传感器数据从所述主车辆发送到所述边缘层的边缘节点，其中，所述边缘节点配置为：

将所述主车辆的所述车载传感器数据和所述一个或多个其它车辆的所述车载传感器数据变换为齐次坐标系；

基于变换后的车载传感器数据确定统一感知输出；

基于所述统一感知输出执行所述车辆任务，以获得车辆任务输出；以及

将所述车辆任务输出发送到所述主车辆；

在所述主车辆处从所述边缘节点接收所述车辆任务输出；以及

基于在所述主车辆处的所述车辆任务输出执行AV动作。

方案15. 根据方案14所述的方法，其中，所述车辆电子器件包括短程无线通信（SRWC）电路系统，并且其中，使用所述SRWC电路系统来执行发送所述车载传感器数据的步骤。

方案16. 根据方案14所述的方法，其中，确定步骤包括执行难以保证的调度过程，并且其中，所述主车辆是低级别自主车辆。

方案17. 根据方案16所述的方法，其中，所述难以保证的调度过程包括：确定服务质量（QoS）性能等级，并且其中，所述QoS性能等级包括系统可靠性度量、系统准确性度量和系统端到端延迟度量。

方案18. 根据方案14所述的方法，其中，所述边缘节点进一步配置为：确定是否将所述车辆任务或所述车辆任务的一部分分配至云层，以及当确定将所述车辆任务或所述车辆任务的一部分分配至所述云层时，然后向所述云层的云设备发送指示以执行所述车辆任务或所述车辆任务的一部分。

方案19. 根据方案14所述的方法，其中，所述车辆任务输出指示所述AV动作以及至少一个AV参数，并且其中，所述车辆使用所述车辆电子器件的AV控制单元根据所述至少一个AV参数来执行所述AV动作。

方案20. 一种自主车辆（AV）感知系统，包括：

边缘层，其包括至少一个边缘节点和至少一个边缘传感器，所述边缘传感器通信地联接至所述至少一个边缘节点，并且所述至少一个边缘节点包括处理器、通信地联接至所述处理器的存储器以及通信地联接至所述处理器的无线通信设备；以及

车辆层，其包括主车辆，所述主车辆包括至少一个车载传感器、无线通信设备和AV控制单元；

其中，所述边缘层和所述车辆层配置为：

从所述主车辆的所述至少一个车载传感器获得车载传感器数据；

从所述边缘层的所述至少一个边缘传感器获得边缘传感器数据；

基于所述车载传感器数据和所述边缘传感器数据生成统一感知输出；

基于所述统一感知输出确定用于所述主车辆的AV动作；以及

将所述AV动作提供至所述主车辆，其中，所述主车辆配置为使用所述AV控制单元来执行所述AV动作。

附图说明

下文将结合附图描述本公开的一个或多个实施例，其中，相同的附图标记表示相同的元件，并且其中：

图1是描绘能够利用本文中所公开的方法的通信系统的实施例的框图；

图2是描绘图1的通信系统的某些部件的详细实施例的框图；

图3是描绘确定用于主车辆的自主车辆（AV）动作的方法的实施例的流程图；

图4是描绘由主车辆执行的过程的实施例的流程图，该过程是确定用于主车辆的自主车辆（AV）动作的方法的一部分；

图5是描绘由边缘节点或边缘层执行的过程的实施例的流程图，该过程是确定用于主车辆的自主车辆（AV）动作的方法的一部分；以及

图6是描绘由云层执行的过程的实施例的流程图，该过程是确定用于主车辆的自主车辆（AV）动作的方法的一部分。

具体实施方式

下文的系统和方法使自主车辆能够利用边缘和云计算系统，以便促进和/或改善AV计划。系统通常包括三层：具有一个或多个车辆的车辆层；具有一个或多个边缘节点的边缘层；以及具有一个或多个云服务器或系统的云层。车辆能够是半自主或自主车辆，其包括一个或多个车载传感器和AV控制单元。车辆能够与边缘节点通信，并且具体地说，当进入或接近边缘单元时，车辆能够登记或与特定边缘节点通信。边缘单元是与边缘节点相关联并且被视为预定或离散区域的预定区域或无线操作范围，以用于跟踪和计划通过预定区域的AV移动的目的。

根据一个实施例，车辆能够确定将车辆任务分配至车辆层、边缘层、云层或其某一组合，并且当车辆确定这样分配时，能够将车载传感器数据和/或其它车辆操作信息发送到这些相应的系统。边缘节点能够组合或融合来自各种传感器的各种传感器数据，诸如来自一个或多个车辆的车载传感器和来自边缘或路边传感器的边缘传感器数据，以便生成统一感知输出。至少在一个实施例中，统一感知输出包括映射到齐次坐标系的传感器数据的集合，这使得来自各种来源的传感器数据中的每一个能够相对于公共或共享坐标系进行分析和/或评估。这能够用于改善AV计划，因为能够提高的准确性来预测或确定车辆和其它对象轨迹。

同样，来自云层的信息能够用于补充或调整统一感知输出。例如，能够从一个或多个云服务器获得交通和/或天气信息，这能够帮助关于各种车辆任务的输出做出确定，诸如确定要进行哪个车辆动作和这种动作的参数。另外，云层能够用于处理某些任务，以供车辆层或边缘层使用。在一个实施例中，能够将计算量大和/或没有严格时间限制的那些任务分配至云层以获得任务输出，然后能够将该任务输出发送回请求者（或任务分配器），该请求者能够是主车辆或边缘节点。

图1图示了包括通信系统10并且能够用于实现本文中所公开的方法的操作环境。通信系统10通常包括半自主或自主车辆12、14（其为车辆层16的一部分）、边缘计算系统（或“边缘节点”）80（其为边缘层18的一部分）、一个或多个无线载波系统70、陆地通信网络76和远程计算机或服务器78（其为云层20的一部分）。如本文中所使用，术语“自主或半自主车辆”或“AV”广义上是指能够在没有驾驶者请求的情况下自动进行与驾驶相关的动作或功能的任何车辆，并且包括落入汽车工程师协会（SAE）国际分类系统的1-5级内的动作。“低级别自主车辆”是1-3级车辆，并且“高级别自主车辆”是4或5级车辆。应理解，所公开的方法能够与任何数量的不同系统一起使用，并且不具体限于此处示出的操作环境。因此，以下段落仅提供一个这种通信系统10的简要概述；然而，此处未示出的其它系统也能够采用所公开的方法。

车辆层16可以包括一个或多个自主或半自主车辆12、14（例如，车辆层能够包括多个或一队这种车辆），每个车辆都配备有需要用以与系统10的其它部件一起收集、处理和交换数据的必需的硬件和软件。尽管下文详细描述了车辆12，但是该描述也适用于车辆14，除非另有说明或暗示，否则该车辆14能够包括车辆12的部件、模块、系统等中的任一个。根据非限制性示例，车辆12是自主或半自主车辆，并且包括车辆电子器件22，这些车辆电子器件包括自主车辆（AV）控制单元24、无线通信设备30、通信总线40、车身控制模块（BCM）44、全球导航卫星系统（GNSS）接收器46和车载传感器62-68，以及执行自主或半自主驾驶功能所需的系统、模块、设备、部件、硬件、软件等的任何其它合适组合。车辆电子器件22的各个部件可以通过车辆通信网络或通信总线40（例如，有线车辆通信总线、无线车辆通信网络或某一其它合适的通信网络）连接。

本领域的技术人员将了解，车辆电子器件22的示意性框图仅意味着图示与本方法一起使用的一些更相关的硬件部件，而并不意味着是通常会在这种车辆上找到的车辆硬件的确切或详尽的表示。此外，车辆电子器件22的结构或架构可以与图1中所图示的结构或架构实质上不同。因此，由于潜在布置的数量众多，并且出于简洁和清楚起见，结合图1的所图示实施例描述了车辆电子器件22，但是应了解，本系统和方法不限于此。

在所图示实施例中，将车辆12描绘为运动型多用途车（SUV），但是应了解，也能够使用包括客车、摩托车、卡车、休闲车（RV）等的任何其它车辆。车辆电子器件22的部分大体上在图1中示出，并且包括自主车辆（AV）控制单元24、无线通信设备30、通信总线40、车身控制模块（BCM）44、全球导航卫星系统（GNSS）接收器46和车载传感器62-68。可以连接一些或所有不同的车辆电子器件，以用于经由一个或多个通信总线（诸如通信总线40）彼此通信。通信总线40使用一种或多种网络协议为车辆电子器件提供网络连接，并且能够使用串行数据通信架构。合适的网络连接的示例包括控制器局域网（CAN）、面向媒体的系统传送（MOST）、局域互连网络（LIN）、局域网（LAN）和其它适当的连接，仅举几例，诸如以太网或符合已知的ISO、SAE和IEEE标准和规范的其它连接。

尽管图1描绘了一些示例性电子车辆设备，但是车辆12还能够包括呈遍布车辆的电子硬件部件的形式的其它电子车辆设备，这些其它电子车辆设备可以接收来自一个或多个传感器的输入并使用感测到的输入来进行诊断、监控、控制、报告和/或其它功能。“电子车辆设备”是车辆电子器件22的设备、模块、部件、单元或其它部分。每个电子车辆设备（例如AV控制单元24、无线通信设备30、BCM 44、GNSS接收器46、传感器62-68）能够通过通信总线40连接到车辆电子器件22的其它电子车辆设备，并且可以被编程以运行车辆系统和子系统诊断测试。此外，每个电子车辆设备能够包括和/或通信地联接至合适的硬件，该合适的硬件使得能够通过通信总线40执行车内通信；这种硬件能够包括例如总线接口连接器和/或调制解调器。同样，任何一个或多个电子车辆设备能够是独立模块或合并到另一模块或设备中，并且任何一个或多个设备能够包括其自己的处理器和/或存储器，或者可以与其它设备共享处理器和/或存储器。如本领域的技术人员所了解，上述电子车辆设备仅是可以在车辆12中使用的一些设备或模块的示例，因为许多其它设备或模块也是可能的。

自主车辆（AV）控制单元24是控制器，该控制器帮助管理或控制自主车辆操作，并且能够用于进行AV逻辑（能够体现在计算机指令中）以执行AV操作。AV控制单元24包括处理器26和存储器28，其能够包括下文所论述的那些类型的处理器或存储器中的任何一种。AV控制单元24能够是进行AV操作的单独和/或专用的模块，或能够与车辆电子器件22中的一个或多个其它电子车辆设备整合在一起。AV控制单元24连接到通信总线40，并且能够从一个或多个车载传感器或其它电子车辆设备（诸如BCM 44或GNSS接收器46）接收信息。在一个实施例中，车辆是完全自主车辆。并且，在其它实施例中，车辆可以是半自主车辆。

AV控制单元24可以是单个模块或单元、或模块或单元的组合。例如，AV控制单元24可以包括以下子模块（无论这些子模块是硬件、软件还是两者）：感知子模块、定位子模块和/或导航子模块。AV控制单元24的特定布置、配置和/或架构并不重要，只要模块帮助使车辆能够执行自主和/或半自主驾驶功能即可。AV控制单元24能够间接地或直接地连接到车辆传感器62-68以及其它电子车辆设备30、44、46的任何组合（例如，经由通信总线40）。

无线通信设备30向车辆提供短程和/或长程无线通信能力，使得车辆能够与不是车辆电子器件22的一部分的其它设备或系统（诸如远程计算机和服务器78）通信和交换数据。在所图示实施例中，无线通信设备30包括短程无线通信（SRWC）电路32、蜂窝芯片组34、处理器36和存储器38。SRWC电路32使得能够与任何数量的附近设备进行短程无线通信（例如，蓝牙™、其它IEEE 802.15通信、Wi-Fi™、车辆与车辆（V2V）通信、车辆对基础设施（V2I）通信、其它IEEE 802.11通信等）。蜂窝芯片组34使得能够进行蜂窝无线通信，诸如与无线载波系统70一起使用的那些蜂窝无线通信。无线通信设备30还包括能够用于传输和接收这些无线通信的天线33和35。无线通信设备30还包括处理器36和存储器38。尽管将SRWC电路32和蜂窝芯片组34图示为单个设备的一部分，但在其它实施例中，SRWC电路32和蜂窝芯片组34能够是不同模块的一部分——例如，SRWC电路32能够是信息娱乐单元的一部分，而蜂窝芯片组34能够是与信息娱乐单元分离的远程信息单元的一部分。

车身控制模块（BCM）44能够用于控制车辆的各种电子车辆设备或部件，以及获得与电子车辆设备相关的信息，包括其当前情形或状态，当前情形或状态能够呈车载传感器数据的形式或基于车载传感器数据。在一个实施例中，BCM 44能够从传感器62-68以及本文中未明确论述的其它车辆传感器接收车载传感器数据。BCM 44能够将车载传感器数据发送到一个或多个其它电子车辆设备，诸如AV控制单元24和/或无线通信设备30。在一个实施例中，BCM 44可以包括处理器和可由处理器访问的存储器。

全球导航卫星系统（GNSS）接收器46从多个GNSS卫星接收无线电信号。GNSS接收器46能够配置为遵守给定地理政治区域（例如，国家）的特定规定或法律和/或根据这些特定规定或法律操作。GNSS接收器46能够配置为与各种GNSS实施方案一起使用，包括美国的全球定位系统（GPS）、中国的北斗导航卫星系统（BDS）、俄罗斯的全球导航卫星系统（GLONASS）、欧盟的伽利略和各种其它导航卫星系统。GNSS接收器46能够包括至少一个处理器和存储器，该存储器包括非暂时性计算机可读存储器，该非暂时性计算机可读存储器存储可由处理器访问以执行由接收器46进行的处理的指令（软件）。GNSS接收器46可以用于向车辆操作者提供导航和其它与定位相关的服务。能够使用专用的车内导航模块（其能够是GNSS接收器46的一部分和/或合并为无线通信设备30的一部分或车辆电子器件22的另一部分）来提供导航服务，或一些或所有导航服务都能够经由安装在车辆中的无线通信设备（或其它启用远程信息的设备）来完成，其中，出于向车辆提供导航地图、地图注释（兴趣点、餐厅等）、路线计算等的目的，将定位信息发送到远程位置。

传感器62-68是能够捕获或感测信息的车载传感器，然后能够将该信息发送到一个或多个其它电子车辆设备。由传感器62-68获得的车载传感器数据能够与时间指示器（例如时间戳）以及其它元数据或信息相关联。车载传感器数据能够由传感器62-68以原始格式获得，并且诸如出于例如压缩、过滤和/或其它格式化的目的，该车载传感器数据可以由传感器处理。此外，能够经由通信总线40将车载传感器数据（呈其原始格式或格式化形式）发送到一个或多个其它电子车辆设备，诸如发送到AV控制单元24和/或无线通信设备30。在至少一个实施例中，无线通信设备30能够打包车载传感器数据以供无线传输，并将车载传感器数据发送到其它系统或设备，诸如边缘层18的路边单元（RSU）82和/或云层20的远程计算机或服务器78。

激光雷达单元62是车辆电子器件22的电子车辆设备，该电子车辆设备包括激光雷达发射器和激光雷达接收器。出于对象检测的目的，激光雷达单元62能够发射不可见的光波。激光雷达单元62操作以通过发射光波并接收反射的光波来获得与激光雷达单元62的视场内的一个或多个对象相关的空间或其它物理信息。在许多实施例中，激光雷达单元62发射多个光脉冲（例如激光脉冲）并使用激光雷达接收器接收反射的光脉冲。激光雷达单元62可以安装（或安置）在车辆12的前部上。在这种实施例中，激光雷达单元62能够面向车辆12前方的区域，使得激光雷达单元62的视场包括该区域。激光雷达单元62能够定位于车辆12的前保险杠的中间、前保险杠的侧面、车辆12的侧面上、车辆12的后部（例如，后保险杠）上等。并且，尽管在所图示实施例中仅描绘了单个激光雷达单元62，但是车辆12能够包括一个或多个激光雷达单元。此外，由激光雷达单元62捕获的激光雷达数据能够以像素阵列（或其它相似的视觉表示）表示。激光雷达单元62能够捕获静态激光雷达图像和/或激光雷达图像或视频流。

雷达单元64是车辆电子器件22的电子车辆设备，该电子车辆设备使用无线电波以获得与雷达64的视场内的一个或多个对象相关的空间或其它物理信息。雷达64包括经由使用传输天线来传输电磁无线电波的发射器，并且能够包括使得能够生成和调制电磁载波信号的各种电子电路系统。在其它实施例中，雷达64能够在另一频域（诸如微波域）内传输电磁波。雷达64包括信号处理器，该信号处理器能够使用上文所论述的处理器至少部分地（例如，完全地）实现，或可以用专用电路系统至少部分地（例如，完全地）实现。雷达64能够包括单独的接收天线，或雷达64能够包括用于接收和传输无线电信号的单个天线。并且，在其它实施例中，雷达64能够包括多个传输天线、多个接收天线或其组合，以便实现多输入多输出（MIMO）、单输入多输出（SIMO）或多输入单输出（MISO）技术。尽管示出了单个雷达64，但是车辆12能够包括一个或多个雷达，这些雷达能够安装在车辆12的相同或不同位置处。

车辆相机66安装在车辆12上，并且可以包括行业中已知或使用的任何合适的系统。根据非限制性示例，车辆12包括位于车辆周围的CMOS相机或图像传感器66的集合，包括提供数字图像的多个前向CMOS相机，随后能够将这些数字图像缝合在一起以产生车辆前方和/或侧面的道路和环境的2D或3D表示。车辆相机66可以将车辆视频数据提供至车辆电子器件22的一个或多个部件，包括提供至无线通信设备30和/或AV控制单元24。取决于特定应用，车辆相机66能够是：静止相机、摄像机和/或某种其它类型的图像生成设备；BW和/或彩色相机；面向前、面向后、面向侧面和/或面向360°的相机；单声道和/或立体声系统的一部分；模拟和/或数码相机；短程、中程和/或远程相机；以及宽和/或窄FOV（孔径角）相机，列举了几种可能性。在一个示例中，车辆相机66输出原始车辆视频数据（即，没有或仅有很少的预处理），而在其它示例中，车辆相机66包括图像处理资源并在将捕获的图像作为车辆视频数据输出之前对这些捕获的图像进行预处理。

运动传感器68能够用于获得与车辆相关的运动或惯性信息，诸如车辆速度、加速度、偏航（和偏航率）、俯仰、侧倾以及如通过使用车载传感器在本地测量的与车辆的运动相关的车辆的各种其它属性。运动传感器68能够在各种位置上安装在车辆上，诸如在内部车厢内、在车辆的前保险杠或后保险杠上和/或在车辆12的发动机盖上。运动传感器68能够直接或经由通信总线40联接至各种其它电子车辆设备。能够获得运动传感器数据并将其发送到其它电子车辆设备，包括AV控制单元24、BCM 44和/或无线通信设备30。

在一个实施例中，运动传感器68能够包括车轮速度传感器，该车轮速度传感器能够作为车载传感器安装在车辆中。车轮速度传感器各自联接至车辆12的车轮，并且能够确定相应车轮的转速。然后，能够使用来自各种车轮速度传感器的转速来获得直线或横向车辆速度。另外，在一些实施例中，车轮速度传感器能够用于确定车辆的加速度。在一些实施例中，车轮速度传感器能够称为车辆速度传感器（VSS），并且能够是车辆12的防抱死制动（ABS）系统和/或电子稳定性控制程序的一部分。如下文更多地论述，电子稳定性控制程序能够体现在计算机程序或应用中，该计算机程序或应用能够存储在非暂时性计算机可读存储器（诸如包括在AV控制单元24的存储器或无线通信设备30的存储器38中的非暂时性计算机可读存储器）上。电子稳定性控制程序能够使用AV控制单元24的处理器（或无线通信设备30的处理器36）来执行，并且能够使用来自各种车辆传感器的各种传感器读数或数据，包括来自传感器62-68的传感器数据。

另外或可替代地，运动传感器68能够包括一个或多个惯性传感器，这些惯性传感器能够作为车载传感器安装在车辆中。惯性传感器能够用于获得与车辆的加速度和加速度的方向相关的传感器信息。惯性传感器能够是获得惯性信息的微机电系统（MEMS）传感器或加速度计。惯性传感器能够用于基于相对高的减速度的检测来检测碰撞。当检测到碰撞时，能够将来自用于检测碰撞的惯性传感器的信息以及由惯性传感器获得的其它信息发送到无线通信设备30（或车辆的其它中央车辆计算机）。另外，惯性传感器能够用于检测高水平的加速或制动。在一个实施例中，车辆12能够包括遍布车辆定位的多个惯性传感器。并且，在一些实施例中，每个惯性传感器能够是能够测量沿着多个轴线的加速度或惯性力的多轴加速度计。多个轴线可以彼此正交或垂直，并且另外，轴线中的一个可以在从车辆12的前部到后部的方向上延伸。其它实施例可以采用单轴加速度计或单轴和多轴加速度计的组合。能够使用其它类型的传感器，包括其它加速度计、陀螺仪传感器和/或本领域中已知的或可能变得已知的其它惯性传感器。

运动传感器68能够包括一个或多个偏航率传感器，这些偏航率传感器能够作为车载传感器安装在车辆中。偏航率传感器能够获得相对于车辆的竖直轴的车辆角速度信息。偏航率传感器能够包括能够确定偏航率和/或偏离角的陀螺仪机构。能够使用各种类型的偏航率传感器，包括微机械偏航率传感器和压电偏航率传感器。

运动传感器68还能够包括方向盘转角传感器，该方向盘转角传感器能够作为车载传感器安装在车辆中。方向盘转角传感器联接至车辆12的方向盘或方向盘的部件，包括作为转向柱的一部分的任一部件。方向盘转角传感器能够检测方向盘旋转的角度，该角度能够对应于一个或多个车轮相对于从后部延伸到前部的车辆12的纵轴的角度。传感器数据和/或来自方向盘转角传感器的读数能够用在电子稳定性控制程序中，该电子稳定性控制程序能够在AV控制单元24的处理器或无线通信设备30的处理器36上执行。

无线载波系统70能够是任何合适的蜂窝电话系统。将载波系统70示出为包括蜂窝塔72；然而，载波系统70可以包括以下部件中的一个或多个（例如，取决于蜂窝技术）：蜂窝塔、收发器基站、移动交换中心、基站控制器、演进型节点（例如，eNodeB）、移动性管理实体（MME）、服务和PGN网关等，以及将无线载波系统70与陆地网络76连接或将无线载波系统与用户设备（UE，例如，其能够包括车辆12中的远程信息设备）连接所需的任何其它网络部件。载波系统70能够实现任何合适的通信技术，包括GSM/GPRS技术、CDMA或CDMA2000技术、LTE技术等。大体上，无线载波系统70、其部件、其部件的布置、部件之间的相互作用等在本领域中通常是已知的。

陆地网络76可以是传统的基于陆地的电信网络，其连接到一个或多个陆线电话，并将无线载波系统70连接到远程计算机78。例如，陆地网络76能够包括公共交换电话网络（PSTN），诸如用于提供硬线电话、分组交换数据通信和因特网基础设施的公共交换电话网络。陆地网络76的一个或多个网段能够通过使用标准的有线网络、光纤或其它光学网络、电缆网络、电力线、其它无线网络（诸如无线局域网（WLAN）、提供宽带无线访问（BWA）的网络，或其任何组合）来实现。陆地网络76和/或无线载波系统70能够用于将云层20与边缘层18和/或车辆层16通信地联接。

边缘层18是系统10的一部分，并且可以包括与车辆和云层16、20通信并帮助执行本文中所描述的方法所需的硬件、固件、软件等的任何合适的组合。例如，边缘层18可以包括执行本方法所需的各种边缘计算和其它任务所需的服务器、路由器、交换机、处理单元（例如中央处理单元（CPU））、电路（例如专用集成电路（ASIC））、数据存储设备等的各种组合。边缘层也称为“移动边缘计算（MEC）层”或“雾层”，并且这些术语在整个本申请中能够互换使用。边缘层18包括多个边缘节点80（示出了一个），每个边缘节点包括一个或多个路边单元（RSU）82和一个或多个边缘传感器84。边缘节点80能够和与特定边缘单元相关的信息相关联或专用于处理该信息，该特定边缘单元是边缘节点80附近的预定或预定义位置。同样，尽管本公开论述了边缘节点80与边缘单元相关联的实施例，但是应了解，边缘节点可以根据各种类型的关系与边缘单元对应，这些类型的关系例如一对一关系、多对一关系、一对多关系或多对多关系。边缘节点80（例如RSU 82）能够包括处理器87和存储器86，以及能够包括无线发射器和无线接收器的无线通信设备88。无线通信设备能够包括启用SRWC（诸如IEEE 802.11、802.15等）的电路系统。将边缘节点80和RSU 82图示为硬连线到陆地网络76，但是在其它实施例中，边缘节点80和RSU 82能够包括与车辆12的无线通信设备30的芯片组34相似的蜂窝芯片组。

RSU 82能够沿着道路或在道路附近设置，并且能够用于控制交通信号灯，获得交通数据或对道路系统进行其它边缘或雾层处理。RSU 82（或边缘节点80的另一部分）也能够通信地联接至一个或多个边缘传感器84，这些边缘传感器能够是配置为获得与一个或多个道路和/或一个或多个道路实体（例如车辆、自行车、行人）相关的传感器信息的感测设备。例如，边缘传感器84能够是激光雷达单元、雷达单元和/或相机，其能够与车辆12的传感器62-66相似。尽管仅示出了单个边缘传感器84，但是边缘节点80将很可能包括获得与车辆12周围的一个或多个道路相关的信息的各种传感器，诸如一个或多个激光雷达单元、一个或多个雷达单元和/或一个或多个相机。RSU 82能够经由使用短程无线通信（SRWC）与一个或多个附近的车辆（例如车辆12、14）通信，以便使得车辆层16和边缘层18能够在其间交换信息。边缘层18的RSU 82或其它设备也能够连接到云层20，使得信息能够从边缘层18共享或发送到云层20，且反之亦然。

云层20是系统10的一部分，并且可以包括与车辆和边缘层16、18通信并执行本文中所描述的方法所需的硬件、固件、软件等的任何合适的组合。云层20可以包括执行与车辆场景重建的不同任务以及其它自主车辆任务所需的服务器、路由器、交换机、处理单元（例如中央处理单元（CPU））、电路（例如专用集成电路（ASIC））、数据存储设备等的各种组合。

将云层20图示为包括计算机和/或服务器78。计算机78（图1中仅示出了一个）能够用于一种或多种目的，诸如用于为一个或多个车辆提供后端自主服务。计算机78能够是可经由私有或公共网络（诸如因特网）访问的多个计算机中的一些。计算机或服务器78各自能够包括处理器和存储器，并且能够用于向车辆12、14以及边缘层18提供各种信息。此外，边缘层18和/或车辆层16能够分配要由云层20进行的任务，然后该云层能够进行任务并将结果发送到边缘层18和/或车辆层16，如下文更详细地论述。由于边缘和云层架构领域的广泛知识，并且由于本方法和系统不旨在限于任何特定的架构或布置，而是能够与广泛的这种架构一起使用，因此已经省略了边缘和云层18、20的额外详细描述。

参照图2，示出了通信系统10的某些部件的详细部分，该图图示了车辆层16、边缘层18和云层20的通信和各种处理。大体上，在车辆层16处，车辆12能够包括资源管理器102、处理系统104、感测和感知系统106和接收处理程序108。资源管理器102能够确定要进行的一个或多个任务，且然后能够将一个或多个任务的执行引导到车辆12（例如处理系统104）、边缘层18或云层20，如由图2中的箭头所图示。资源管理器102、处理系统104、感测和感知系统106以及接收处理程序108能够体现在车辆电子器件22的一个或多个电子车辆设备（诸如AV控制单元24）中。除了确定要在哪一层（例如车辆层16、边缘层18、云层20）进行哪个任务之外，车辆12（或资源管理器102）还能够确定什么信息将提供至某些设备、系统或层。例如，当将任务指定至边缘层18时，资源管理器102能够将相关的传感器信息发送到边缘层18。

当确定要在车辆12处执行任务时，车辆能够使用处理系统104来执行任务。处理系统104能够是一个或多个电子车辆设备的一部分，诸如车辆12的AV控制单元24、无线通信设备30或另一车载计算系统。在一些实施例中，处理系统104能够从一个或多个车载传感器（诸如传感器62-68）获得信息。感测和感知系统106能够用于获得并初步处理车载传感器数据，然后能够将车载传感器数据发送到处理系统104和/或其它设备，诸如边缘层18和/或云层20处的设备。在一个实施例中，处理系统104以及感测和感知系统106共享车辆电子器件22的相同电子车辆设备或部件。在其它实施例中，这些系统能够是单独的和/或由车辆电子器件22的不同电子车辆设备执行。

当确定要由边缘层18执行任务时，车辆12能够向边缘层18（或特定边缘节点80）发送信息，该信息指示要在边缘层18处进行任务。在一些实施例中，车辆12能够发送执行任务的请求。车辆12还能够向边缘层18发送相关信息，诸如原始或处理后的车载传感器数据和/或其它车辆情形信息，包括位置和/或轨迹信息（例如，如使用GNSS接收器46所确定的信息，例如）。边缘层18能够在接收处理程序122处接收该分配的任务信息（例如，包括对要进行的任务的指示器、请求，和/或相关的任务信息）。在一个实施例中，边缘层18与车辆层16之间的这些通信使用SRWC（诸如通过使用车辆12的无线通信设备30的SRWC电路32）来执行。在一些实施例中，即使当没有将某一任务分配至边缘节点80时，车辆也能够将传感器信息提供至边缘节点80。这使得边缘节点80能够使用车辆的车载传感器数据，以便有助于其它车辆的AV性能。例如，即使在车辆14可能不是自主车辆或不将任务分配至边缘节点80的实施例中，车辆14也能够将传感器信息提供至边缘节点80。

一旦接收处理程序122接收到无线通信，边缘节点80就能够确定是否进行任务，和/或是否将任务（或其某些子任务）分配至云层20。如所图示，边缘节点80包括接收处理程序122、资源管理器124、调度器126、处理系统128以及感测和感知系统130。这些模块或系统中的任何一个或多个能够由一个或多个电子计算设备（诸如RSU 82）执行。此外，在一些实施例中，边缘节点80能够与其它边缘节点通信，这些其它边缘节点诸如邻近边缘节点，其中，对应边缘单元在地理上与边缘节点80相邻。资源管理器124与车辆层16的资源管理器102相似，因为它能够用于确定将任务分配至哪个层（或设备）。调度器126能够用于组织传入的（或要进行的）任务，并将任务分发至边缘层18的某些部分，以便有效地处理任务。例如，可以将第一任务和第二任务传递至调度器，并且第二任务可以包括在10ms（或其它预定时间段）内进行其的要求，而第一任务不包括这种限制时间线。因此，即使第二任务晚于第一任务在调度器（或边缘层18）处接收到，也可以在第一任务之前将第二任务发送到处理系统128。

处理系统128能够用于执行任务，这能够产生任务输出132。在一个实施例中，能够基于从车辆12接收到的信息以及在边缘层18处获得的其它信息来执行任务。例如，车辆12能够将车载传感器数据发送到边缘节点80，并且边缘节点80能够使用从边缘传感器84获得的传感器信息来生成统一感知输出，该统一感知输出更准确和/或完全地表示车辆12周围的区域或附近道路的情形，如下文更多地论述。在另一实施例中，边缘节点80能够从其它车辆（诸如车辆14）接收信息，并且然后使用该其它车辆信息来处理任务，以便改善或补充任务结果或输出。另外，在一个实施例中，边缘节点80能够生成统一感知输出，并且然后使用统一感知输出来执行一个或多个与AV相关的任务，以产生AV任务输出，该AV任务输出能够是AV动作或发送到车辆12的命令。

感测和感知系统130能够用于获得并初步处理边缘传感器数据（即，来自边缘传感器84的传感器数据），然后能够将该边缘传感器数据发送到处理系统128和/或其它设备。感测和感知系统130还能够用于组合车载传感器数据和边缘传感器数据，以便提供统一感知输出，该统一感知输出更准确和/或完全地表示车辆12周围的区域或附近道路的情形。统一感知输出能够是或表示来自两个或更多个传感器的传感器数据，其中，至少两个传感器是异构的。当两个传感器提供呈不同格式（例如，传感器数据的不同编码类型）、使用不同参考点或坐标系、使用不同测量标准或单位制（例如，英制、公制）或否则需要进行变换、映射或处理以便提供对相关区域的统一感知的传感器数据时，将两个传感器认为是异构的。也就是说，车辆传感器数据和边缘传感器数据能够被组合和处理，使得产生单个统一感知输出。在一个实施例中，统一感知输出是如通过来自两个或更多个传感器的传感器数据所获知的一个或多个对象的地理和/或空间表示。然后，该统一感知输出能够用于执行一个或多个任务，和/或能够提供到云层20和/或车辆层16。在将边缘层18进行的任务的结果发送到车辆12的情况下，使用接收处理程序在车辆12处接收该结果。接收处理程序108能够用于处理边缘节点80（或其它边缘层设备）和/或云层20发送的传入的结果或信息。该处理能够包括格式化（或以其它方式处理）接收到的信息，以及将接收到的信息引导至车辆电子器件22的适当的电子车辆设备。

云层20包括接收处理程序142、调度器144和处理系统146。这些部件中的任何一个或多个能够由远离车辆12定位的一个或多个电子计算设备执行。这些一个或多个电子计算设备（诸如计算机和/或服务器78）中的每一个能够包括处理器和存储器，并且能够被包括为更大的服务器系统的一部分。接收处理程序142与边缘层18的接收处理程序122相似，并且能够处理来自车辆层16和边缘层18的传入的消息或请求。调度器144与边缘层18的调度器126相似，并且能够用于调度从车辆层16和/或边缘层18接收的各种任务的进行。云层20的处理系统146能够用于执行一个或多个任务以获得任务输出148，然后能够将该任务输出发送回边缘层18和/或车辆层16。然后这些处理后的任务的输出（称为任务输出）能够用于执行一个或多个车辆动作，诸如一个或多个自主车辆操作。在一个实施例中，任务输出能够是AV操作命令，其命令车辆进行特定的AV操作。

参照图3，示出了流程图，该流程图描绘了基于周围区域的统一感知来确定并且至少部分地执行自主车辆（AV）动作的示例性方法200。方法200能够由系统10的任何部件或部件的任何组合来执行，该系统包括以下：车辆层16（例如主车辆12）、边缘层18和云层20。在一个实施例中，步骤210-230由车辆12和边缘层18的组合执行，并且步骤240由车辆12执行。

在步骤210中，通过感知系统获得传感器数据。感知系统是将传感器信号作为输入且然后输出统一感知输出的系统或模块。统一感知输出表示车辆的周围区域内的对象，并且包括一个或多个对象的物理特性。一个或多个对象能够是周围区域内的任何对象，诸如公路上的其它车辆（例如车辆14）、公路上的障碍物、行人、自行车、车道标记、交通标志、交通信号灯等。能够识别并表示为统一感知输出的一部分的一个或多个对象的物理特性能够包括位置、距离、航向、速度、大小、几何形状、对象类型、定向、颜色等。

感知系统能够包括位于车辆层16和边缘层18中的任一个或两个处的设备或部件。在一些实施例中，感知系统能够进一步包括云层20的设备或部件。在一个实施例中，感知系统位于边缘层18处，并且能够包括感测和感知系统130。在另一实施例中，感知系统位于车辆层16处，并且能够包括感测和感知系统106。并且，在另一实施例中，感知系统位于车辆层16和边缘层18两者处。

因此，在步骤210中，能够从车辆传感器62-68（或未图示的其它传感器）中的一个或多个和/或从一个或多个边缘传感器84获得传感器数据。例如，车辆传感器数据能够由传感器62-68获得，并经由通信总线40发送到无线通信设备30，且然后发送到边缘感测和感知系统130。来自车辆的该传感器数据能够伴随有进行任务的请求（或包括在具有该请求的消息中），该请求能够是为了提供统一感知输出、推荐的车辆动作（例如推荐的AV动作）或车辆命令（例如，进行特定车辆操作的命令）。推荐的车辆动作和车辆命令能够统称为车辆动作。方法200继续到步骤220。

在步骤220中，方法基于传感器数据生成统一感知输出。如上所述，感知系统106、130能够用于获得统一感知输出，该统一感知输出能够表示与车辆周围的一个或多个对象相关的信息。传感器信息能够从车载传感器62-68以及从边缘传感器84获得。来自这些传感器中的每一个的传感器数据中的每一个可以以不同的方式格式化，可以基于不同的锚点（或参考信息），和/或否则可以在不同的上下文中或在不同的条件下获得。因此，在一个实施例中，感知系统106、130用于使来自各种传感器的传感器信息一般化（或标准化）。在一个示例中，这能够包括变换、映射或以其它方式处理传感器数据，使得传感器数据与齐次坐标系对应。齐次坐标系是能够将来自各种传感器（例如传感器62-68、84等）的传感器信息映射到其上的坐标系，使得能够参照共享或公共坐标系来查看或描述来自各种传感器的传感器信息 。能够以原始格式或在处理后（或格式化）的情形下在感知系统处接收传感器数据（例如，边缘传感器数据、车载传感器数据）。感知系统能够从格式化的传感器数据中提取传感器数据，并生成统一感知输出。

同样，在一个实施例中，当生成统一感知输出时，感知系统能够收集关于静态对象或边缘单元内的地理区域的某些地理和/或空间信息。例如，视场内的一个或多个静态对象的海拔、纬度、经度、大小和其它物理特性可以存储在感知系统可访问的存储器中。在一个实施例中，感知系统是边缘节点或边缘计算系统的一部分，该边缘节点或边缘计算系统包括具有该物理特性信息的存储器。在车载传感器数据的视场中特定静态对象的存在能够通知感知系统如何将车载感知数据与边缘传感器数据以及来自其它（非主）车辆（如车辆14）的其它车载传感器数据合并或统一。

在一个实施例中，边缘（或基于基础设施的）传感器数据能够表示为

，其中

是边缘传感器的数量，并且边缘（或基于基础设施的）传感器数据到齐次坐标系的对应投影

表示为

。同样，来自第

个车辆的车载传感器数据能够表示为

，其中，N是车辆总数，并且

是第

个车辆的传感器总数。车辆车载传感器数据到齐次坐标系的对应投影

表示为

。在短时间间隔

中，将来自边缘（或基于基础设施的）传感器和车载传感器的点映射或变换为一组独特点

，并且每个点

，其中，k是来自边缘（或基于基础设施的）传感器和车载传感器两者的独特尺寸的并集。因此，统一感知输出能够由

和

表示，其中x、y和z表示在时间t时齐次坐标系内的对象的空间坐标，r表示在时间t时齐次坐标系内的对象的红色，g表示在时间t时齐次坐标系内的对象的绿色，b表示在时间t时齐次坐标系内的对象的蓝色，ir表示在时间t时齐次坐标系内的对象的红外特性或信息，并且doppler表示在时间t时齐次坐标系内的对象的多普勒信息（例如，经由多普勒确定的多普勒位移、速度或速率）。当然，其它特性能够由各种边缘和车辆传感器确定，并且然后用作统一感知输出的一部分。

同样，在一些实施例中，统一感知输出能够包括与在任何一个或多个传感器（例如，边缘传感器，车载传感器）的视场内检测到一个或多个对象相关的信息。在车辆12处和/或在边缘节点80处（以及在一些情况下，在云层20处）使用对象检测技术，至少一个传感器的视场内的一个或多个对象能够用于获得时间t时的对象列表

，并且这些对象到齐次坐标系的对应投影为

，其中，每个对象

的尺寸可能为

。应了解，虽然这些物理特性与上文相对于车辆

所论述的那些物理特性不同，但是这些物理特性的任何组合都能够用于表示与车辆和/或一个或多个对象相关的信息。因此，能够获得齐次坐标系中的对象列表：

，其中，每个对象具有一个固定尺寸，该尺寸是

的尺寸的并集。时间t的齐次坐标系中的新对象列表为：

。

另外，在一些实施例中，统一感知输出能够包括从其它边缘节点（诸如从邻近边缘节点）接收的传感器信息。从另一边缘节点接收的该传感器信息能够作为原始传感器数据被接收，或可以是映射（或变换）到齐次坐标系的传感器数据。此外，该传感器数据能够包括来自一个或多个车辆以及来自一个或多个边缘传感器的数据。一旦生成了统一感知输出，方法200就继续到步骤230。

在步骤230中，基于统一感知输出来确定下一车辆动作。车辆行为系统进行该步骤，并且能够包括边缘层18和/或车辆12的一个或多个设备或部件。车辆行为系统是来自边缘层18和/或车辆层16的设备和/或部件的集合，其确定边缘单元内或边缘节点80附近的一个或多个AV的行为或一个或多个AV动作。在一些实施例中，车辆行为系统能够另外在云层20处包括一个或多个设备或部件。车辆行为系统能够处理统一感知输出以确定下一车辆动作。在许多实施例中，下一车辆动作是自主车辆（AV）车辆动作或AV车辆命令。在一个实施例中，确定下一车辆动作包括进行态势感知以评估哪些周围对象与车辆12和/或其AV操作最相关。例如，使用统一感知输出，车辆行为系统能够确定哪些对象存在于哪些位置处，以及这些对象的轨迹或估计/预测的路径（以及其它相关的物理特性）。然后，这些预测路径能够与车辆12的当前轨迹（例如，如经由运动传感器68和/或GNSS接收器46获得）一起处理，以确定或识别哪些对象在确定下一车辆动作时最相关。

因此，在一个实施例中，一旦已知或预测到了一个或多个对象的物理特性，车辆行为系统就能够评估某些潜在的车辆动作和其预测的后果。例如，当主车辆12在同一车道内接近目标车辆14（以较低速度行驶）时，行为系统能够确定主车辆12是否要改变车道以便超过目标车辆14或目标车辆14是否正在计划改变车道，使得主车辆12能够留在其车道中。通过使用来自主车辆12和边缘传感器84（和/或目标车辆14）的传感器信息，能够确定下一车辆动作。在一个实施例中，例如，边缘传感器84能够使用相机来检测目标车辆14的车道改变指示器（例如转向信号灯），该车道改变指示器能够用于指示目标车辆14正在改变车道或计划改变车道。此外，能够从目标车辆14和/或边缘传感器84获得车辆航向和其它运动信息，并且然后将该信息与来自车辆12的传感器信息一起处理，以便关于下一车辆动作进行确定。在一个实施例中，能够对主车辆12和目标车辆14两者做出下一车辆动作，使得这些动作彼此对应或互补。在一个实施例中，车辆动作能够是AV车辆动作，诸如车道改变、减速度、加速度、维持轨迹动作等。以这种方式，通过提供来自主车辆由于车辆的位置和/或或感测能力而无法感知的区域的传感器信息，能够使用边缘传感器（或其它车辆的传感器）来补充车辆传感器数据。

在一些实施例中，一旦确定了车辆动作，车辆行为系统就确定车辆动作的一个或多个参数。因此，能够将车辆动作确定为车辆动作的类型（例如，加速、车道改变、无轨迹改变），并且车辆动作的一个或多个参数能够是在进行车辆动作时要使用的参数信息，诸如速度、方向盘转角、制动强度、航向等。当在主车辆处确定AV动作的一个或多个参数时，将这些参数称为“车辆确定的AV动作参数”，并且将AV动作称为“车辆确定的AV动作”。在一个示例中，当确定要进行车道改变时，随后车辆行为系统生成主车辆12要遵循的轨迹以及车道改变的速度。在一个实施例中，步骤210-230中的任何一个或多个能够考虑来自云层20的信息，诸如天气信息和/或交通信息。例如，当车辆要在存在结冰条件时进行车道改变时（如由来自云层20的天气信息所指示），能够修改车道改变的速度和/或轨迹，以便增加安全性。方法200继续到步骤240。

在步骤240中，控制系统执行下一车辆动作。在一个实施例中，在车辆处（诸如在AV控制单元24处）执行车辆行为系统。因此，在这种实施例中，例如，下一车辆动作能够用于命令AV控制单元24执行规定的车辆动作。在其它实施例中，在边缘层18（例如边缘节点80）处执行车辆行为系统，并且将结果发送到车辆12。这些结果能够规定推荐的车辆动作，或可以规定车辆命令。在一个实施例中，车辆12能够是低级别半自主车辆（例如2级），并且能够高度依赖于边缘处理以用于确定下一车辆AV动作。在这种情况下，能够将边缘结果（或下一车辆动作）视为指导车辆执行车辆动作的命令。在另一实施例中，车辆12能够是完全自主车辆（例如5级），并且能够将边缘结果视为推荐的车辆动作。因此，例如，车辆能够进一步分析传感器信息以确定是否执行推荐的车辆动作和/或是否修改由车辆动作规定的一个或多个参数。

在一个实施例中，AV控制单元24使用来自行为系统的车辆动作以及车辆状态信息来生成对应的控制信号，能够将该控制信号发送到车辆上的各种电子车辆设备（例如控制器）以控制车辆的油门、制动和转向系统，使得车辆能够遵循行为命令。当然，这仅是一个示例，因为也能够控制车辆的其它方面。然后，方法200结束。

在一些实施例中，感知系统和/或行为系统的功能能够基于如下各项而在不同的实体或层（例如车辆层16、边缘层18、云层20）处执行：任务的不同要求（或车辆动作确定）；要进行的任务的时序要求；要进行的任务的可靠性和/或质量要求；一个或多个设备的计算要求、计算能力和/或当前计算负荷（例如，已经确定要在特定设备或层处进行的任务/操作的数量）；以及车辆信息，诸如车辆类型和/或车辆的AV能力。

在一个实施例中，车辆12是较低级别自主车辆（AV），诸如2级车辆。因此，在这种实施例中，车辆在执行AV功能（或AV动作）时能够更多地取决于来自边缘层18和/或云层20的引导。在另一实施例中，车辆是较高级别自主车辆（AV），诸如5级车辆。在该实施例中，车辆在执行AV功能（或AV动作）时可能不取决于来自边缘层18和/或云层20的引导，而是能够替代地将任何输入（例如任务输出、AV动作）视为在确定下一AV动作时的第二意见或建议。

在车辆层16包括至少一些低级别AV的一个实施例中，系统能够使用难以保证的调度过程，该过程用于确定哪个节点（例如云层20的服务器78、AV控制单元24、RSU 82）将执行某一车辆任务，诸如确定车辆12要执行的AV动作（或信息）的任务。在该难以保证的调度过程中，系统10能够为可以分配车辆任务的每个实体确定服务质量（QoS）性能水平。在一个实施例中，该QoS性能等级能够表示为元组，其包括可靠性α、延迟τ和准确性ε。

能够针对云层20、边缘层18和车辆层16预测QoS性能水平。在一个实施例中，以下方程能够用于预测QoS性能元组（可靠性α、延迟τ、准确性ε）：

其中，

是基于不同执行选项（例如本地或车辆、云和边缘）的估计系统端到端延迟，

是基于不同执行选项（本地、云和边缘）的估计系统可靠性度量，

是基于不同执行选项（例如本地或车辆、云和边缘）的估计系统误差或准确性度量，

是在特定执行选项（本地、云和边缘）下的任务执行时间，

是上传到云/边缘以用于任务执行的数据量，

是任务执行完成后从云/边缘下载到本地车辆的数据量，

是数据上传的数据率，

是数据下载的数据率，p是无线通信信道中的丢包率等。在一个实施例中，针对本地执行，将执行选项指示器

设置为1，针对云执行，将执行选项指示器

设置为1，并且针对边缘执行，将执行选项指示器

设置为1，并且

、

和

能够互斥。还应理解，即使在一些实施例中可能很少使用其它系统QoS参数（诸如抖动、带宽、系统能量消耗等），也能够将这些参数视为该评估的一部分。

上文方程能够用于获得本地执行元组(

)的预测、远程（或云）执行元组（

）的预测和/或边缘执行元组(

）。远程执行元组能够基于相似任务的先前远程执行的结果在线更新，这些任务是诸如针对相同车辆或相同车辆类型的任务、具有与当前情况相似的情况的任务等。能够经由高级统计模型（包括但不限于回归分析、阶乘分析或贝叶斯分析）了解这些估计值。同样，能够基于与连接相关的操作环境（诸如通过构建显式的高维多因素模型）来对远程执行元组进行参数化。

参照图4-6，示出了确定主车辆的AV动作的方法300，该方法能够包括来自过程400-600的任何一个或多个步骤。图4图示了由主车辆12执行的过程400，图5图示了由边缘层18执行的过程500，并且图6图示了由云层20执行的过程600。尽管将过程400-600的步骤描述为以特定顺序执行，但是据此可以设想，能够以如本领域的技术人员将了解的任何技术上可行的顺序来执行过程400-600的步骤。

在步骤405中，方法处理车辆12上的传感器信息和/或其它信息以确定下一车辆动作、以确定是否将一个或多个车辆任务分配至边缘层18或云层20和/或其某一组合。该车载处理能够由车辆12的资源管理器102和/或处理系统104执行，并且能够基于车载传感器数据和/或先前从边缘层18和/或云层20获得的信息（诸如先前的车辆动作和/或表示来自方法300的过去迭代的统一感知结果的信息）来进行。例如，步骤405的车载处理能够包括对于是否向边缘层18或云层20卸载（即，分配任务）（步骤430）进行确定，并且如果是，则能够将某些车辆信息（例如来自传感器62-68的传感器数据、来自GNSS接收器46的位置信息）发送到边缘层18和/或云层20，其由步骤435说明。因此，在步骤430中，确定是否卸载车辆信息，并且如果是（Y），则过程400继续到步骤435。否则（N），过程400从步骤430继续到步骤410。

在步骤410中，获得下一车辆动作（或命令）。如上文相对于图3所论述，下一车辆动作能够使用例如方法200来获得，该方法能够包括使用感知系统和行为系统，感知系统和行为系统中的任一个或两者能够由车辆层16和/或边缘层18的部件或设备来执行。在卸载车辆信息（步骤435）的情况下，过程400能够等待结果（或任务输出），并且一旦在步骤440处接收到任务输出，方法400就能够继续到步骤410。过程400从步骤410继续到步骤415。

在步骤415中，车辆确定来自车载处理的命令（或因为车载处理而做出的确定）是否与从边缘或云接收的命令或信息冲突。例如，车辆12的处理系统104能够处理车辆的车载传感器数据以确定下一AV动作。另外，边缘层18能够将下一车辆任务或其它任务输出提供至车辆12。然后能够将来自边缘层18的下一车辆任务或其它任务输出与来自车辆12的处理系统104的下一AV动作进行比较，以确定它们是否彼此一致或是否存在冲突。在其它实施例中，步骤415的该确定还能够包括确定是否以及时的方式接收到来自边缘层18和/或云层20的命令（或任务输出）或其它信息。例如，当在预定时间量（能够基于任务的类型和/或情况来选择该预定时间量）内没有从边缘层18接收到下一车辆动作时（Y），则能够确定过程400将进行到步骤425；否则（N），过程400从步骤415继续到步骤420。

在步骤425中，最小风险动作能够由车辆12确定并执行。最小风险动作是被确定为满足最小安全性要求和/或最小性能要求的车辆动作。例如，当接近交叉路口时，最小风险动作能够使得车辆在继续通过交叉路口之前完全停止。然后，过程400能够结束或循环返回以重复执行。

在步骤420中，执行或实施下一车辆动作。该下一车辆动作能够由车辆12的车载处理系统104、由边缘层18或由其组合来确定。在另一实施例中，还能够基于来自云层20的信息来确定或生成下一车辆动作。该步骤与上文所论述的方法200（图3）的步骤240相似，并且能够以类似的方式执行。然后，过程400能够结束或循环返回以重复执行。

参照图5，示出了能够用作方法300的一部分并且由边缘层18执行的过程500。在一个实施例中，过程500能够至少部分地由一个或多个边缘节点80（包括例如RSU 82）执行。在步骤505中，识别附近区域内（或边缘单元）的车辆。例如，附近区域能够包括构成与特定边缘节点相关联的边缘单元的预定义地理区域，如上所述，“边缘节点”能够指代用于确定“边缘单元”的信息的硬件和/或软件模块，该边缘单元能够指代特定的预定义地理区域。该附近区域能够包括一个或多个道路，并且能够与特定的边缘设备（诸如特定的边缘传感器84和/或RSU 82）相关联。因此，在一个实施例中，能够在感知区域（或该边缘单元的附近区域）内识别车辆。这些车辆能够包括车辆12和/或车辆14。一旦识别出边缘单元内的车辆，就能够（诸如通过使用方法200）确定统一感知输出。例如，能够接收来自车辆12、14的车载传感器数据，并将其映射/变换为齐次坐标系。过程500继续到步骤510。

在一些实施例中，边缘还可能需要从附近的边缘或云中获取进一步的信息（步骤510），并且然后将所有信息融合在一起以生成感知结果（步骤515）。因此，在步骤510中，边缘节点能够识别邻近边缘节点（步骤510），并获得与存在于邻近边缘单元中的某些对象相关的信息。由于车辆（和其它对象）可在单元之间移动，因此该邻近信息能够用于更好地分类和确定与边缘单元内的一个或多个对象相关的物理特性（例如，航向、对象类型、速度、位置）。基于从一个或多个邻近边缘节点接收的该信息，能够更新或修改表示与这些对象相关的信息的数据库或其它存储器结构。过程500继续到步骤520。

在步骤520中，边缘节点评估统一感知输出以确定边缘单元内的一个或多个车辆的一个或多个车辆动作。该步骤能够包括分析统一感知输出并预测边缘单元内的对象的未来位置和/或运动。作为该分析的一部分，能够进行威胁评定，该威胁评定确定事故或其它显著事件的概率。在一个实施例中，统一感知输出和/或对象的预测行为或运动能够用于评定是否满足或可能满足威胁条件。如步骤525中所说明，如果满足或可能满足威胁条件（Y），则过程500继续到步骤530，其中，将紧急控制命令发送到车辆12。该紧急控制命令能够指示（例如，基于统一感知输出）要执行的特定的车辆动作，或可以指示车辆将执行最小风险动作，诸如上文相对于过程400（图4）的步骤425所论述的最小风险动作。如果不满足威胁条件（N），则过程500从步骤525继续到步骤535。

在步骤535中，边缘节点进行资源评定和时序分析，以确定哪个设备、系统或层（例如车辆层16、边缘层18、云层20）要（或应该）进行一个或多个任务。这些一个或多个任务能够包括确定下一车辆动作和/或确定周围对象的一个或多个特性（例如物理特性，包括运动或空间特性）。在一个实施例中，一个或多个任务包括执行额外感知任务以更好地估计周围对象的特性。该资源评定和时序分析能够基于：要进行的各种任务的时序要求；要进行的各种任务的可靠性和/或质量要求；一个或多个设备的计算要求、计算能力和/或当前计算负荷（例如，已经确定要在特定设备或层处进行的任务/操作的数量）；以及车辆信息，诸如车辆类型和/或车辆的AV能力。过程500继续到步骤540。

当边缘节点确定将一个或多个任务卸载到云层时（Y），过程500从步骤540继续到步骤545；否则（N），过程500从步骤540继续到步骤550，其中，确定下一车辆动作并将其发送到车辆12，该车辆在步骤410（图4）处接收下一车辆动作（或任务输出）。当过程500继续到步骤545时，过程500能够等待来自云层20的任务输出，并且然后能够处理该输出并将该输出发送到车辆12。在一个实施例中，卸载的任务能够仅仅是对某些信息的请求，该信息将被边缘节点用于执行一个或多个车辆任务，诸如确定下一车辆动作。一旦边缘节点从云层20接收到结果，随后边缘节点就能够确定下一车辆动作（或任务输出）并将该输出提供至车辆12。在其它实施例中，边缘节点能够将要接收结果的车辆通知云层20，使得能够将结果直接从云层20提供至车辆12。然后，过程500结束或返回继续以重复执行。

参照图6，示出了能够用作方法300的一部分并且由云层20执行的过程600。在一个实施例中，过程600能够至少部分地由计算机78执行。在步骤605中，从边缘节点和/或从车辆（例如车辆12）接收任务。然后，在步骤610中，能够基于对于任务的某些要求（诸如基于特定任务的延迟要求）来调度任务。然后，根据时间表，执行任务，该任务能够包括处理从车辆和/或边缘节点接收的各种信息（例如传感器信息、统一感知结果）。一旦获得任务输出，然后就将输出发送回请求者，该请求者可以是车辆12和/或边缘层18的边缘节点。在其它实施例中，能够规定除请求者以外的不同设备（即，请求任务的设备/系统），并且然后能够相应地提供任务输出。然后，过程600结束或返回继续以重复执行。

本文中所论述的处理器中的任何一个或多个能够是能够处理电子指令的任何类型的设备，包括微处理器、微控制器、主处理器、控制器、车辆通信处理器、通用处理单元（GPU）、加速器、现场可编程门控阵列（FPGA）和专用集成电路（ASIC），列举了几种可能性。处理器能够执行各种类型的电子指令，诸如存储在存储器中的软件和/或固件程序，这些软件和/或固件程序使得模块能够执行各种功能。本文中所论述的存储器中的任何一个或多个能够是非暂时性计算机可读介质；这些包括不同类型的随机存取存储器（RAM）（包括各种类型的动态RAM（DRAM）和静态RAM（SRAM））、只读存储器（ROM）、固态驱动器（SSD）（包括其它固态存储设备，诸如固态混合驱动器（SSHD））、硬盘驱动器（HDD）、磁盘驱动器或光盘驱动器、或电子地存储信息的其它合适的计算机介质。此外，尽管可以将某些电子车辆设备描述为包括处理器和/或存储器，但是这种电子车辆设备的处理器和/或存储器可以与其它电子车辆设备共享和/或容纳在车辆电子器件的其它电子车辆设备（或其一部分）中，例如，这些处理器或存储器中的任何一个能够是仅用于模块的专用处理器或存储器，或能够与其它车辆系统、模块、设备、部件等共享。

应理解，前述描述不是对本发明的限定，而是对本发明的一个或多个优选示例性实施例的描述。本发明不限于本文中所公开的特定实施例，相反，仅由以下权利要求书限定。此外，在前述描述中包含的陈述涉及特定实施例，并且不应被理解为是对本发明的范围或对权利要求书中使用的术语的定义的限制，除非上文明确定义了术语或短语。各种其它实施例和对所公开的实施例的各种改变和修改对于本领域的技术人员而言将变得显而易见。例如，步骤的具体组合和顺序仅是一种可能性，因为本方法可以包括具有比本文所示出的步骤组合更少、更多或不同的步骤组合。所有这种其它实施例、改变和修改旨在落入所附权利要求书的范围内。

如本说明书和权利要求书中所使用，术语“例如”、“像如”、“比如”、“诸如”以及“如”和动词“包括”、“具有”、“包含”及其其它动词形式，在结合一个或多个部件或其它项的列举使用时，每一个均应被理解为是开放性的，意味着不应该将该列举视为排除其它的额外的部件或项。其它术语应使用它们的最广泛的合理含义来理解，除非它们被用在要求不同解释的上下文中。另外，术语“和/或”应被理解为包含性的或。作为示例，短语“A、B和/或C”包括：“A”；“B”；“C”；“A和B”；“A和C”；“B和C”；以及“A、B和C”。

Claims (10)

1.一种确定用于主车辆的自主车辆（AV）动作的方法，所述方法包括以下步骤：

从至少一个车载传感器获得车载传感器数据，所述车载传感器是所述主车辆的车辆电子器件的一部分；

从至少一个边缘传感器获得边缘传感器数据，所述边缘传感器是边缘层的一部分；

基于所述车载传感器数据和所述边缘传感器数据生成统一感知输出；

基于所述统一感知输出确定用于所述主车辆的AV动作；以及

将所述AV动作提供至所述主车辆，其中，所述主车辆配置为执行所述AV动作。

2.根据权利要求1所述的方法，其中，生成步骤进一步包括：用所述边缘层的边缘节点生成所述统一感知输出。

3.根据权利要求2所述的方法，其中，生成步骤进一步包括：通过将所述车载传感器数据或所述边缘传感器数据中的至少一个变换为齐次坐标系来生成所述统一感知输出。

4.根据权利要求3所述的方法，其中，作为变换步骤的一部分，使用所述边缘传感器数据来生成边缘传感器数据投影

，所述边缘传感器数据表示为

，所述边缘传感器数据投影表示为

，并且其中，所述边缘传感器数据投影包括或表示所述齐次坐标系内的所述边缘传感器数据。

5.根据权利要求4所述的方法，其中，作为变换步骤的一部分，使用所述车载传感器数据来生成车载传感器数据投影

，所述车载传感器数据表示为

，所述车载传感器数据投影表示为

，并且其中，所述车载传感器数据投影包括或表示所述齐次坐标系内的所述车载传感器数据。

6.根据权利要求5所述的方法，其中，所述统一感知输出包括一组独特点

，并且其中，所述一组独特点包括或表示所述边缘传感器数据投影

和所述车载传感器数据投影

。

7.根据权利要求6所述的方法，其中，所述一组独特点

包括来自除所述主车辆以外的一个或多个附近车辆的车载传感器数据。

8.根据权利要求2所述的方法，其中，所述方法由所述边缘节点执行，所述边缘节点包括处理器、存储器和无线通信设备，所述边缘节点通信地联接至所述边缘传感器，并且所述无线通信设备与包括所述主车辆的一个或多个附近车辆进行通信。

9.一种确定用于主车辆的自主车辆（AV）动作的方法，所述方法包括以下步骤：

从至少一个车载传感器获得车载传感器数据，所述车载传感器是所述主车辆的车辆电子器件的一部分；

从一个或多个其它车辆获得车载传感器数据；

确定是否将车辆任务分配至边缘层；

当确定将所述车辆任务分配至所述边缘层时，将所述车载传感器数据从所述主车辆发送到所述边缘层的边缘节点，其中，所述边缘节点配置为：

将所述主车辆的所述车载传感器数据和所述一个或多个其它车辆的所述车载传感器数据变换为齐次坐标系；

基于变换后的车载传感器数据确定统一感知输出；

基于所述统一感知输出执行所述车辆任务，以获得车辆任务输出；以及

将所述车辆任务输出发送到所述主车辆；

在所述主车辆处从所述边缘节点接收所述车辆任务输出；以及

基于在所述主车辆处的所述车辆任务输出执行AV动作。

10.一种自主车辆（AV）感知系统，包括：

边缘层，其包括至少一个边缘节点和至少一个边缘传感器，所述边缘传感器通信地联接至所述至少一个边缘节点，并且所述至少一个边缘节点包括处理器、通信地联接至所述处理器的存储器以及通信地联接至所述处理器的无线通信设备；以及

车辆层，其包括主车辆，所述主车辆包括至少一个车载传感器、无线通信设备和AV控制单元；

其中，所述边缘层和所述车辆层配置为：

从所述主车辆的所述至少一个车载传感器获得车载传感器数据；

从所述边缘层的所述至少一个边缘传感器获得边缘传感器数据；

基于所述车载传感器数据和所述边缘传感器数据生成统一感知输出；

基于所述统一感知输出确定用于所述主车辆的AV动作；以及

将所述AV动作提供至所述主车辆，其中，所述主车辆配置为使用所述AV控制单元来执行所述AV动作。

Images