CN117999497A - 用于检测环境中的对象的系统 - Google Patents

Abstract

本文讨论了使用激光雷达数据检测和分类对象的技术。在一些情况下，系统可以被配置为利用激光雷达数据的预定数量的先前帧来帮助检测和分类对象。在一些实施方式中，系统可以利用与先前激光雷达帧相关联的数据的子集以及与当前帧相关联的数据的完整集来检测和分类对象。

Description

用于检测环境中的对象的系统

相关申请的交叉引用

本申请要求于2021年9月24日提交的名称为“用于检测环境中的对象的系统(SYSTEM FOR DETECTING OBJECTS IN AN ENVIRONMENT)”的美国申请号17/484,169的优先权，其全部内容通过引用并入本文。

背景技术

自主车辆可以沿着路线导航。例如，当自主车辆接收到行驶到目的地地点的请求时，该自主车辆可以沿着路线从自主车辆的当前地点导航到上车地点以接载乘客和/或从上车地点到目的地地点。在导航时，自主车辆可以检测环境中的其他对象并预测它们的行为。预测每个对象的行为可以包括一定程度的不确定性，这可能会对车辆安全导航通过环境产生挑战。

附图说明

参照附图描述具体实施方式。在附图中，附图标记的最左边的数字(单个或多个)标识该附图标记首次在其中出现的附图。在不同附图中使用相同的附图标记指示类似或同样的部件或特征。

图1是示出与自主车辆的操作决策相关联的示例架构的示例框图。

图2是示出与自主车辆的操作决策相关联的示例架构的另一个示例框图。

图3是示出与时间传感器数据系统相关联的示例过程的流程图。

图4是示出与时间传感器数据系统相关联的示例过程的另一个流程图。

图5是示出与自主车辆的激光雷达传感器系统相关联的以两个间隔捕获的激光雷达数据的示例的示意图。

图6是示出激光雷达数据的示例自上而下表示的另一个示意图。

图7描绘了用于实施本文讨论的技术的示例系统的框图。

具体实施方式

如本文所讨论的，自主车辆可以导航通过物理环境。例如，当自主车辆接收到行驶到目的地地点的请求时，该自主车辆可以沿着参考轨迹或路线从自主车辆的当前地点导航到上车地点以接载乘客并且然后从上车地点到目的地地点。在导航时，自主车辆可能遇到环境中的动态对象(例如，车辆、行人、动物等)、静态对象(例如，建筑物、标牌、停放的车辆等)。为了确保乘员和对象的安全并做出操作决策，本文讨论的系统和车辆可以对动态对象的状态和/或行为进行分割、分类和/或预测。预测的行为和/或状态可以基于由自主车辆捕获的激光雷达数据。

感知和预测系统可以依赖表示物理环境的激光雷达数据的当前或最近帧作为与预测系统相关联的一个或多个机器学习模型或网络的输入。然后，预测系统可以确定和/或输出检测到的对象的识别、分类、状态、地点或位置、以及一个或多个预测的行为。

在一些情况下，当输入数据包括激光雷达数据的多个或N个先前帧以及当前帧时，与预测系统相关联的机器学习模型和/或网络可以提供改善的分割、分类、对象识别、状态识别、预测的行为等。以此方式，预测系统可以利用时间数据(例如，对象(单个或多个)随时间的变化)来帮助分割、分类、对象识别、状态识别、预测的行为等。例如，当使用单个帧时，从道路产生的蒸汽、雾、车辆尾气和/或其他(干扰因素)通常被分类为静态对象。然而，当处理蒸汽等干扰物时，激光雷达数据的形状和一致性通常随多个帧改变或变化，因此，机器学习模型和/或网络可以更容易地将蒸汽和其他干扰物与静态固体对象区分开来，从而改善预测系统的输出。

然而，自主车辆的操作可能受到处理时间(例如，以毫秒为单位)以及可用计算资源的限制。在一些情况下，处理单个激光雷达帧可能需要多个通道(诸如在100至200个通道的范围内)并且相对于每个帧处理甚至两个附加先前帧可能使所需的处理时间和/或资源增至三倍。以此方式，对多个帧上的激光雷达数据进行时间处理在计算上是昂贵的并且难以在实践中实施。

本文讨论的系统可以利用自上而下的分割和分类来识别自主车辆周围的环境内的动态和静态对象。在某些情况下，自上而下的分割和分类将数据称为到此类机器学习算法中的输入。例如，机器学习模型或网络可以接受呈网格形式的数据，其中Z维度指示高度维度。以此方式，数据被有效地旋转，使得可以从上方查看数据并且随后将其输入到机器学习模型或网络中。在一些示例中，机器学习模型或网络可以接受有效旋转的数据，使得可以从正视图或侧视图查看该数据。

在一些情况下，系统可以被配置为根据物理环境的自上而下表示中的网格的离散区域来表示和对齐先前帧的数据以减少激光雷达数据的先前N帧所需的整体处理，同时仍然给机器学习模型和/或网络提供时间输入。在一些情况下，自上而下表示可以是多通道图像，其包括表示自上而下表示的各个离散区域在Z维度的高度(诸如最大高度和最小高度)的通道以及值(诸如传感器强度值)。在一些情况下，与当前帧相关联的数据可以包括任何数量的其他通道(诸如附加特征、对象、特性等)。以此方式，系统可以利用多通道图像的三个通道来表示相对于先前N帧的自上而下表示的区域以及相对于当前帧的任何数量的通道。与先前N帧相关联的三个通道可以分别包括诸如像素的最小高度、像素的最大高度以及区域或像素的激光雷达强度(诸如像素处的平均激光雷达强度)等信息。以此方式，附加先前帧的总体处理仅部分地增加了所需的总体计算资源。

在一些示例中，多个帧(每个帧表示对应的时间处的场景的状态)的对齐可以包括使帧围绕车辆集中。如本文所公开的，车辆可以包括用于生成传感器数据的传感器系统，该传感器数据用于确定车辆周围的环境(场景)的状态。对齐可以包括去除动态(例如，移动)对象以留下静态(不能移动)对象。静态对象可以用作参考来确定将相应的场景移动到什么程度，使得它们对齐和/或集中在车辆上。使用此信息，可以对齐帧(包括动态和静态对象)。应当理解，车辆可以独立于静态对象移动，并且因此偏移信息可以对应于帧之间的静态对象的地点差异，然后可以将该差异应用于场景中的所有对象(包括车辆和动态对象)。对齐可以包括填充或裁剪相应的帧使得它们具有相同的尺寸，以例如准备帧以供感知系统进行分析。

在本文讨论的系统中，与每个激光雷达帧相关联的数据也可以被对齐。例如，激光雷达数据可以基于自主车辆的当前地点来对齐，使得环境内的静态对象在每个激光雷达帧中的相同位置处对齐。在一些情况下，系统可以通过对每个先前激光雷达帧应用一个或多个变换以将所有数据点放置在共享的世界坐标系内来对齐激光雷达帧。一旦N个先前激光雷达帧的数据点对齐，则系统就可以计算每个帧的每个像素的最大高度和最小高度以及激光雷达强度值。然后，经变换的数据可以被堆叠或置于物理环境的公共表示中。

在一些情况下，应用于N个先前激光雷达帧的一个或多个变换可以至少部分地基于由自主车辆执行的同时定位和映射(SLAM)技术或系统来确定。例如，除了使用全球定位或其他地点跟踪之外，车辆还可以随一系列帧跟踪其相对于物理环境的位置。SLAM系统的输出然后可以用于生成先前N帧中的每一个的变换(诸如在六个自由度中)，以将对应的帧数据转变为共同的当前帧。例如，与姿态和/或位置确定相关联的细节在美国专利申请号15/675,487中讨论，该专利申请的全部内容通过引用并入本文并用于所有目的。

图1是示出根据本公开的实施例的与自主车辆的操作决策相关联的示例架构100的示例框图。如上所述，自主车辆可以配备有激光雷达传感器系统102，以当车辆行驶到目的地地点时捕获车辆周围的物理环境的激光雷达数据或帧。自主车辆可以利用激光雷达数据来检测并避开计划路线上的对象。可以按预定间隔(诸如每毫秒)在帧中捕获激光雷达数据。例如，与激光雷达传感器和数据捕获相关的细节在美国专利号10,444,759中讨论，该专利的全部内容通过引用并入本文并用于所有目的。

在一些示例中，激光雷达传感器系统102可以将与传感器102的当前时间间隔相关联的当前帧104提供给帧处理系统106。帧处理系统106可以被配置为将当前帧104和多个先前帧108一起提供给感知和预测系统110。帧处理系统106可以首先减少与先前帧108相关联的数据或通道，以维持处理速度并减少与提供时间激光雷达传感器数据历史相关联的总体资源消耗。例如，如上所述，感知和预测系统110可以基于当前激光雷达帧104关于分割、分类和做出多个预测和/或生成机器学习模型和/或网络的多个输出来处理当前帧的多个通道(例如，在100-200个通道之间)。然而，使用相同数量的通道处理与多个先前帧108相关联的所有数据通常使可用的处理资源过载和/或将机器学习模型以及网络的输出延迟到不适合需要实时决策和反应时间的自主驾驶的程度。

相应地，在示例中，帧处理系统106在将先前帧108提供给感知和预测系统110之前处理和/或减少与这些先前帧相关联的总体数据。在一些情况下，帧处理系统106可以生成用于先前帧108的环境的多通道自上而下表示。多通道自上而下表示可以包括用于表示的各个离散区域的三个通道。例如，通道可以包括最大高度、最小高度和强度值。通过以此方式表示时间数据(例如，先前帧108)，帧处理系统106可以减少由感知和预测系统110输入和处理的数据的量。在示例中，可以将表示深度数据的通道减少到三个，从而减少处理资源并提高处理速度。

如本文所讨论的，多通道图像可以包括多个通道，这些通道可以被输入到训练模型中以确定一个或多个输出。在本文讨论的一些示例中，多通道图像可以被表示为自上而下表示，其中多通道表示(例如，图像、编码、矩阵表示等)的各个通道表示关于对象和/或自主车辆所在的周围物理环境的不同信息。在各种示例中，多通道表示的每个通道可以对与传感器数据和/或物理环境相关联的属性、类别、特征和/或信号单独地进行编码。例如，此类通道可以对应于关于场景的语义信息，并且可以被存储为识别场景的网格表示内的特定对象类型和/或占用的地点和特性的编码(例如，二进制掩码)。

在一些情况下，多通道表示的各个通道可以表示但不限于以下一项或多项：道路网络信息(例如，指示车道、人行横道、停车线、车道分隔线、停车标志、十字路口、交通灯等的语义标签)，交通灯状态(例如，红灯、黄灯、绿灯等)，与自主车辆和/或智能体相关联的边界框，自主车辆和/或智能体在x方向和y方向上的速度，自主车辆和/或智能体在x方向和y方向上的加速度，自主车辆和/或智能体的闪光灯状态(例如，左转、右转、制动、倒车、危险、无光等)等。在一些示例中，多个通道可以被输入到训练模型以生成与对象的状态相关的至少一个预测的行为和/或任何其他预测。

帧处理系统106还可以将多个先前帧108中的各个帧的数据与当前帧104对齐。例如，当激光雷达传感器系统102捕获连续的激光雷达帧时，自主车辆和激光雷达传感器系统102两者可以在环境内移动。为了准确地表示与自主车辆的位置相关联的参考系内的对象位置，与先前帧108相关联的数据可以由帧处理系统106与当前帧104或其他帧对齐。

在一些情况下，帧处理系统106可以在对齐之前过滤或去除动态对象数据。例如，如所示，由感知和/或预测系统110输出的对象数据116可以被提供给帧处理系统106以用于生成N个先前帧108的自上而下表示。例如，随着动态对象独立于自主车辆移动，动态对象在当前时间(例如，捕获先前帧之后的一段时间)的位置可能已经改变。在一个示例中，帧处理系统106可以通过识别当前帧104的数据内的移动来去除和/或过滤动态对象。例如，帧处理系统106可以确定已知传感器原点(例如，激光雷达传感器的位置)与激光雷达点云的各个激光雷达点的位置之间的负空间或空的环境，因为激光雷达点表示距离激光雷达传感器的位置最近的障碍物和/或对象。然后，帧处理系统可以确定来自与负空间相关联和/或对应的先前帧108的数据可以表示动态对象。然后，帧处理系统106可以至少部分地基于与先前帧108相关联的数据从生成的多通道自上而下表示中去除和/或过滤与动态对象(例如，负空间内)相关联的数据。

在其他示例中，帧处理系统106可以至少部分地基于对象数据116从N个先前帧108去除与动态对象相关联的数据。以此方式，通过从先前帧的数据中去除或过滤动态对象，可以在不依赖于动态对象的预测的行为和/或位置的情况下执行对齐。替代地，在一些情况下，帧处理系统106可以将动态对象作为静态对象来处理。在又一些替代示例中，系统可以对齐各个帧内的动态对象数据，基于重叠数据和/或平均位置数据来确定重叠和/或平均位置以及自上而下表示的指定占用。在一些情况下，自主车辆还可以实施位置跟踪系统112以生成位置数据114。例如，位置跟踪系统112可以是SLAM系统、基于卫星的地点跟踪系统(例如，全球定位系统(GPS))、基于蜂窝网络的跟踪系统、基于已知地标的跟踪系统等。帧处理系统106可以利用位置数据114来生成自主车辆和/或激光雷达传感器系统102的先前位置与自主车辆和/或激光雷达传感器系统102在例如世界系或坐标系中的当前位置之间的一个或多个平移和/或旋转(诸如在六个自由度内的平移和旋转)。

一旦先前帧108的各个帧基于公共参考系(例如，全球世界系或本地车辆系)对齐，则帧处理系统106就可以将先前帧108和当前帧104一起输入到感知和预测系统110中。如上所述，感知系统可以对当前帧104和/或先前帧108的激光雷达数据内表示的对象进行分割和分类。预测系统可以利用由感知系统生成的对象数据来确定对象的状态和/或预测的行为。例如，与预测系统和感知系统相关联的细节在美国申请序列号16/238,475和16/732,243中讨论，这些申请通过引用以其整体并入本文并用于所有目的。感知和/或预测系统110可以一起生成对象数据116(例如，经分割和分类的对象、对象的特征、对象的状态、对象的预测的行为等)。然后对象数据116由操作决策系统114(诸如计划系统、驱动系统、安全系统等)处理以做出用于自主车辆的操作决策。

图2是根据本公开的实施例的示出与自主车辆202的操作决策相关联的示例架构200的另一个示例框图。如上所述，自主车辆202可以配备有传感器系统，以当车辆经过从当前地点到目的地地点的计划轨迹或路线时捕获车辆202周围的物理环境的数据或帧(诸如激光雷达数据、图像数据等)。

在当前示例中，与捕获传感器的当前时间间隔相关联的当前帧204由帧处理系统206接收。帧处理系统206可以被配置为在将先前帧208输入到一个或多个感知和预测系统210之前减少与数据(例如，在先前时间间隔期间捕获的激光雷达数据)的预定数量的先前帧208相关联的数据。在一些情况下，预定数量的先前帧208可以基于与自主车辆202相关联的各种条件确定。例如，速度、加速度、减速度、天气条件(例如，下雪、干燥、雾等)、道路条件(例如，直行、倾斜、下坡、弯道、恶化、车道数量等)。

在一些示例中，帧处理系统206可以减少与先前帧208相关联的数据或通道以维持处理速度并减少与感知和/或预测系统210相关联的总体资源消耗。例如，如上所述，感知和/或预测系统210可以使用一个或多个机器学习模和/或网络来一起处理用于当前帧204的多个通道(例如，在100-200个通道之间)以用于及预定数量的先前帧208中的每一个的三个或更多个通道。在某些情况下，各个通道可以用于每个先前帧。在其他情况下，与先前帧相关联的通道可以被组合、平均或者以其他方式在帧之间保持一致。在一些具体示例中，通道可以至少部分地基于所得到的自上而下表示来确定。例如，多个通道可以在帧等之间重叠和/或以其他方式共享。在一些情况下，与分割和机器学习模型相关联的细节在美国专利号10,535,138和10,649,459中讨论，这些专利的全部内容通过引用并入本文并用于所有目的。

在一些示例中，在将自上而下表示输入到感知和/或预测系统210的机器学习模型和网络中之前，帧处理系统206还可以将多个先前帧208的各个帧的数据与当前帧204使用的世界系或车辆系对齐。例如，随着自主车辆202在环境内移动，捕获激光雷达帧204和208的位置发生改变。然后，帧处理系统206可以将来自各个帧的数据对齐到公共参考位置或坐标系，以基于自主车辆的当前地点准确地表示对象位置。

在一些示例中，帧处理系统206可以通过至少部分地基于与先前帧208的各个帧相关联的激光雷达点云生成三角形网格(或其他网格)来对齐先前帧208的数据。然后，帧处理系统206可以基于例如通过确定与当前帧204相关联的负空间或空环境并去除先前帧208中的负空间或空环境内的数据进行的运动检测，从三角形网格中去除动态对象数据。然后，帧处理系统206可以确定从先前帧208的位置到当前帧204处的位置的变换。在一些情况下，帧处理系统206可以确定先前帧208的位置与当前帧204的位置之间的平移，同时忽略旋转以进一步提高处理速度。在其他情况下，帧处理系统206可以确定二维中的变换以再次提高处理速度，因为对象不太可能经历垂直位置改变。

在一些情况下，帧处理系统206可以在将与先前帧208相关联的总体数据提供给感知和预测系统210之前将它们减少，如上所述。例如，帧处理系统206可以使用先前帧208生成环境的自上而下表示。自上而下表示可以是多通道的并且包括共享来自各个帧的对齐数据的物理环境的各个离散区域。在一些示例中，各个区域可以包括表示最大高度、最小高度和强度值的数据。在一些示例中，一旦先前帧208的数据在自上而下表示内对齐，则帧处理系统206就可以为自上而下表示的各个区域确定最大高度、最小高度和平均强度值。以此方式，自上而下表示的区域的占据可以被表示为具有顶表面和底表面的连续垂直扩展。虽然连续垂直扩展可以提供关于对象形状和/或边界区域的较少细节，但是可以使用较少处理资源来处理、存储和发送连续垂直扩展。

在示例中，多个帧的多通道表示可以包括用于每个帧的通道(单个或多个)。例如，每个帧可以对应于不同的时间点并且通道(单个或多个)可以对与每个时间点对应的信息进行编码。这可以包括如本文所公开地编码的对象的高度，其中每个时间点可以具有用于编码高度信息的三个通道。在一些示例中，共享对应于多个时间点的信息的通道可以在帧之间共享。例如，如果帧不是以环境中移动的车辆为中心，而是集中于静态点上，则可以共享包含静态对象信息的通道。

在一些情况下，帧处理系统206可以生成各个帧的数据与车辆202的当前位置之间的一个或多个平移和/或旋转。例如，帧处理系统206可以从SLAM系统、基于卫星的地点跟踪系统、基于蜂窝网络的跟踪系统、基于已知地标的跟踪系统等接收位置数据，如上所述。在将一个或多个平移和/或旋转应用于对应的先前帧208的数据之前，帧处理系统206可以利用位置数据来生成用于每个单独的先前帧的一个或多个平移和/或旋转。

一旦先前帧208的各个帧对齐，则帧处理系统206就可以将先前帧208与当前帧204一起输入到感知和/或预测系统210中以分割、检测、分类并生成与在自主车辆202周围的物理环境内检测到的对象的行为相关联的预测。然后，感知和/或预测系统210可以生成对象数据212，该对象数据可以由一个或多个操作决策系统214处理以经由控制信号216计划和执行与自主车辆202相关联的操作。

图3-图4是示出与本文讨论的时间传感器数据系统相关联的示例过程的流程图。该过程被示出为逻辑流程图中的一系列框，其表示操作序列，其中一些或全部可以用硬件、软件或其组合来实施。在软件的上下文中，块表示存储在一种或多种计算机可读介质上的计算机可执行指令，该指令在由一个或多个处理器执行时，执行所述的操作。通常，计算机可执行指令包括执行特定功能或实施特定抽象数据类型的例程、程序、对象、组件、加密、解密、压缩、记录、数据结构等。

描述操作的顺序不应被解释为限制。可以按任何顺序和/或并行地组合任何数量的所描述的框，以实施该过程或替代过程，并且不需要执行所有框。出于讨论的目的，参考本文的示例中描述的框架、架构和环境来描述本文的过程，尽管这些过程可以在各种各样的其他框架、架构或环境中实施。

图3是示出根据本公开的示例的与时间传感器数据系统相关联的示例过程300的流程图。如上所述，自主车辆可以配备有传感器系统(例如，一个或多个激光雷达传感器)以捕获车辆周围的物理环境的数据或帧。自主车辆可以利用激光雷达数据沿着计划路线检测并响应动态和静态对象。

在302，车辆或与其相关联的系统可以从传感器系统接收当前激光雷达帧。例如，车辆可以配备有一个或多个激光雷达传感器系统以生成与预定时间间隔相关联的激光雷达数据的帧或刻度。激光雷达数据可以表示周围物理环境的预定距离内的对象。在一些情况下，当前激光雷达帧可以与车辆的当前全局位置、坐标或帧相关联。

在304，车辆或与其相关联的系统可以访问下一个先前激光雷达帧。例如，车辆可以存储与多个先前激光雷达帧(诸如预定数量的先前激光雷达帧)相关联的数据的至少一部分。在一些情况下，存储的先前激光雷达帧的数量可以基于与当前车辆相关的各种特性来确定，各种特性是诸如计划路线或轨迹、安全设置、环境条件、车辆类型、乘客的数量和/或存在等。

在306，车辆或与其相关联的系统可以至少部分地基于一个或多个传递函数将下一个先前激光雷达帧与当前激光雷达帧的坐标系对齐。例如，车辆的中心或预定参考点(诸如激光雷达传感器的位置)可以被用作或选择作为当前坐标系的中心。在一些情况下，车辆还可以实施一个或多个SLAM跟踪系统，其可以用于确定车辆在先前时间的先前位置与车辆在当前时间的当前位置之间的相对位置的变化。例如，SLAM系统可以跟踪检测到的环境对象的相对或后续姿态之间的关键点或特征对应关系。系统可以利用相对关键点以及惯性测量单元(IMU)数据来确定位置的相对变化(例如，在多达六个自由度上)和/或生成每个个体帧的位置数据。以此方式，先前帧与当前帧之间的变换可以包括中间帧的每个自由度或每个平移和旋转的变化的累积。相应地，对于各个帧，系统可以将车辆的中心或预定参考点之间的变换(租入，一个或多个平移和/或旋转)确定为独立变换。然后，系统可以将变换应用于对应的先前帧的数据以将帧的数据与车辆的当前位置对齐。以此方式，应当理解，系统可以确定先前帧中的每个帧的独立变换以将帧的数据与当前坐标系对齐。

在308，车辆或与其相关联的系统可以生成下一个先前激光雷达帧的简化表示。例如，车辆可以减少与激光雷达点相关联的数据，使得车辆维持用于下一个先前激光雷达帧内表示的各个激光雷达点的最大高度值、最小高度值和强度。在一些情况下，简化表示可以包括存储环境的像素或区域的自上而下表示，包括各个像素或区域的占用以及占用者的最大和最小高度。在一些情况下，系统可以通过至少部分地基于在先前时间段中确定的帧的分割和分类结果(例如，当先前帧是当前帧时)来过滤和/或去除动态对象数据，来进一步减少与先前帧相关联的数据。以此方式，系统可以避免提供与动态对象在当前时间(例如，相对于捕获的先前帧的未来时间)的预测的行为和/或地点相关联的附加通道。

在310，车辆或与其相关联的系统可以确定车辆是否已经满足或超过预定数量的先前帧。例如，车辆可以迭代地减少与各个帧相关联的数据并确定传递函数以将帧的数据与当前坐标系对齐，直到预定数量的先前帧被包括在用于感知和/或预测系统的输入数据中。如果未满足或超过先前帧的预定数量，则过程300可以返回到304。否则，过程300可以前进到312。

在312，车辆或与其相关联的系统可以至少部分地基于先前激光雷达帧的简化表示和当前激光雷达帧来检测对象并对其进行分类。例如，如上所述，使用单个激光雷达帧使用激光雷达数据来检测和分类一些类型的对象/环境条件(诸如蒸汽、雾、废气等)可能是困难的。然而，通过利用多个激光雷达帧，感知和/或预测系统可以检测激光雷达点相对于蒸汽、雾、废气等的变化，并且因此更准确地将环境条件分类(例如在这种情况下)为干扰物而不是要避免的固体对象。

在314，车辆或与其相关联的系统可以至少部分地基于对象来确定与车辆相关联的至少一个操作决策，并且在316，车辆可以执行该至少一个操作决策。例如，车辆可以至少部分地基于与检测到的对象相关联的对象数据来加速、减速、转弯、改变车道等。在上面讨论的蒸汽、雾、废气的具体示例中，车辆可以简单地按计划继续。

图4是示出根据本公开的示例的与时间传感器数据系统相关联的示例过程400的另一个流程图。如上所述，自主车辆可以配备有传感器系统(例如，一个或多个激光雷达传感器)以捕获车辆周围的物理环境的数据或帧。自主车辆可以利用激光雷达数据沿着计划路线检测并响应动态和静态对象。

在402，车辆或与其相关联的系统可以从传感器系统接收当前激光雷达帧。例如，自主车辆可以配备有一个或多个激光雷达传感器系统以生成与预定时间间隔相关联的激光雷达数据的帧或刻度。激光雷达数据可以表示周围物理环境的预定距离内的对象。在一些情况下，当前激光雷达帧可以与车辆的当前全局位置、坐标或帧相关联。

在404，系统可以从位置跟踪系统接收位置数据。例如，车辆可以实施一个或多个SLAM跟踪系统、基于卫星的地点跟踪系统、基于蜂窝网络的跟踪系统、基于已知地标的跟踪系统等。位置数据可以表示车辆在先前时间的先前位置(诸如与先前帧相关联的间隔)与车辆的当前位置(例如捕获当前帧所在的位置)之间的位置变化。

在406，系统可以为一个或多个先前帧中的各个先前帧确定变换，诸如至少一个传递函数(例如，一个或多个平移和/或旋转)，以将各个先前帧与自主车辆的当前坐标系对齐，以及在408，系统可以将变换应用于对应的先前帧。例如，系统可以至少部分地基于位置数据来确定车辆的当前位置与捕获下一先前帧所在的位置之间的一个或多个平移和/或旋转。以此方式，系统可以为先前帧中的每个个体帧确定定制的传递函数(单个或多个)。

在410，系统可以生成一个或多个先前帧的简化表示。例如，系统可以减少与激光雷达点相关联的数据，使得车辆维持用于下一个先前激光雷达帧内表示的各个激光雷达点的最大高度值、最小高度值和强度。在一些情况下，简化表示可以包括自上而下表示，自上而下表示至少部分地基于各个像素或区域的占用以及占用者的最大和最小高度来存储环境的像素或区域。

在412，过程400可以确定是否有任何附加的先前帧。如果存在附加的先前帧，则过程400可以返回到406。否则，过程400可以进行到414。在414，系统可以至少部分地基于与先前帧和当前帧相关联的数据来确定对象数据。例如，系统可以将数据输入到一个或多个机器学习模型和/或网络中，该模型和/或网络被训练来分割、检测、分类和确定与检测到的对象相关联的特征或表征。例如，如上所述，模型和/或网络可以与一个或多个感知系统和/或预测系统相关联。

在416，车辆或与其相关联的系统可以至少部分地基于对象来确定与车辆相关联的至少一个操作决策，以及在418，车辆可以执行该至少一个操作决策。例如，车辆可以至少部分地基于与检测到的对象相关联的对象数据来加速、减速、转弯、改变车道等。在上面讨论的蒸汽、雾、废气的具体示例中，车辆可以简单地按计划继续。

图5是示出根据本公开的示例的与自主车辆510的激光雷达传感器系统相关联的以两个间隔506和508捕获的激光雷达数据502和504的示例500的示意图。当前示例示出了当在间隔508内做出操作决策时利用激光雷达数据502的先前帧可以如何帮助感知系统和预测系统更准确地检测和分类对象。例如，激光雷达数据502和504的激光雷达点表示从沿着道路的炉排升起的蒸汽。如所示，激光雷达数据502的激光雷达点相对于激光雷达数据504的激光雷达点已经改变。以此方式，由于与固体对象相关联的激光雷达点未改变，所以基于至少在间隔506与508之间的激光雷达点内的已知变化，车辆510的感知系统和预测系统更有可能将蒸汽分类为如与固体对象相反的蒸汽。

图6是示出根据本公开的示例的激光雷达数据的示例表示600的另一个示意图。在当前示例中，由激光雷达数据表示的对象可以表示为环境的各个预定义区域内的最大高度值与最小高度值之间的连续垂直扩展。例如，各个区域可以与用于直观地表示对应的区域的占用的最大高度、最小高度和强度值相关联。以此方式，可以相对于激光雷达数据的各个帧减少要由感知系统和/或预测系统处理的总数据。

图7描绘了用于实施本文所述的技术的示例系统700的框图。在至少一个示例中，系统700可以包括车辆702，例如上文所述的自主车辆。车辆702可以包括计算装置(单个或多个)704、一个或多个传感器系统706、一个或多个发射器708、一个或多个通信连接710(也称为通信装置和/或调制解调器)、至少一个直接连接712(例如，用于与车辆702物理耦合以交换数据和/或提供电力)、以及一个或多个驱动系统714。一个或多个传感器系统706可以被配置为捕获与周围物理环境相关联的传感器数据728。

在至少一些示例中，传感器系统(单个或多个)706可以包括热传感器、飞行时间传感器、地点传感器(例如，GPS、罗盘等)、惯性传感器(例如，惯性测量单元(IMU)、加速度计、磁力计、陀螺仪等)、激光雷达传感器、雷达传感器、声纳传感器、红外传感器、相机(例如，RGB、IR、强度、深度等)、麦克风传感器、环境传感器(例如，温度传感器、湿度传感器、光传感器、压力传感器等)、超声换能器、车轮编码器等。在一些示例中，传感器系统(单个或多个)706可以包括每种类型传感器的多个实例。例如，飞行时间传感器可以包括位于车辆702的角落、前部、后部、侧面和/或顶部处的各个飞行时间传感器。作为另一示例，相机传感器可以包括设置在车辆702的外部和/或内部附近的各地点处的多个相机。在一些情况下，传感器系统706可以给计算装置704提供输入。

车辆702还可以包括用于发射光和/或声音的一个或多个发射器708。该示例中的一个或多个发射器708包括与车辆702的乘客通信的内部音频和视觉发射器。通过示例而非限制的方式，内部发射器可以包括扬声器、灯、标志、显示屏、触摸屏、触觉发射器(例如，振动和/或力反馈)、机械致动器(例如，安全带张紧器、座椅定位器、头枕定位器等)等。该示例中的一个或多个发射器708还可以包括外部发射器。作为示例而非限制，该示例中的外部发射器包括示意行进方向的灯或车辆动作的其他指示器(例如，指示灯、标志、灯阵列等)，以及一个或多个音频发射器(例如，扬声器、扬声器阵列、喇叭等)以与行人或其他附近车辆用声音进行通信，其中的一个或多个可以包括声束转向技术(acoustic beam steeringtechnology)。

车辆702也可以包括一个或多个通信连接710，其使得能够实现车辆702与一个或多个其他本地或远程计算装置(例如，远程操作计算装置)或远程服务之间的通信。例如，通信连接(单个或多个)710可以有助于与车辆702上的其他本地计算装置(单个或多个)和/或驱动系统(单个或多个)714的通信。还有，通信连接(单个或多个)710可以允许车辆702与其他附近的计算装置(单个或多个)(例如，其他附近的车辆、交通信号等)通信。

通信连接(单个或多个)710可以包括物理接口和/或逻辑接口，用于将计算装置(单个或多个)704连接到另一个计算装置或一个或多个外部网络734(例如，因特网)。例如，通信连接(单个或多个)710可以使得能够实现：基于Wi-Fi的通信，诸如经由IEEE 802.11标准定义的频率；短程离无线频率，诸如蓝牙；蜂窝通信(例如，2G、3G、4G、4G LTE、5G等)；卫星通信；专用短程通信(DSRC)；或任何合适的有线或无线通信协议，其使得能够实现相应的计算机装置与其他计算机装置(单个或多个)接口。在至少一些示例中，通信连接(单个或多个)710可以包括如上详细描述的一个或多个调制解调器。

在至少一个示例中，车辆702可以包括一个或多个驱动系统714。在一些示例中，车辆702可以具有单个驱动系统714。在至少一个示例中，如果车辆702具有多个驱动系统714，则各个驱动系统714可以被定位在车辆702的相对端部(例如，前部和后部等)上。在至少一个示例中，驱动系统(单个或多个)714可以包括一个或多个传感器系统706，以检测驱动系统(单个或多个)714和/或车辆702的周围环境的状况。作为示例而非限制，传感器系统(单个或多个)706可以包括：一个或多个车轮编码器(例如，旋转编码器)以感测驱动系统的车轮的旋转，惯性传感器(例如，惯性测量单元、加速度计、陀螺仪、磁力计等)以测量驱动系统的朝向和加速，相机或其他图像传感器，超声传感器以声学检测驱动系统的周围环境中的对象，激光雷达传感器，雷达传感器等。一些传感器，诸如车轮编码器，可以对于驱动系统(单个或多个)714是唯一的。在一些情况下，驱动系统(单个或多个)714上的传感器系统(单个或多个)706可以重叠或补充车辆702的对应的系统(例如，传感器系统(单个或多个)706)。

驱动系统(单个或多个)714可以包括车辆系统中的许多系统，包括：高压电池；马达，用于推进车辆；逆变器，将来自电池的直流电转换成交流电以供其他车辆系统使用；转向系统，包括转向马达和转向齿条(其可以是电动的)；制动系统，包括液压致动器或电动致动器；悬架系统，包括液压部件和/或气动部件；稳定性控制系统，用于分配制动力以减轻牵引力的损失并维持控制；HVAC系统；照明(例如，诸如用于照亮车辆的外部周围环境的头/尾灯的照明)；以及一个或多个其他系统(例如，冷却系统、安全系统、车载充电系统、其他电气部件，诸如DC/DC转换器、高压接头、高压电缆、充电系统、充电端口等)。另外，驱动系统(单个或多个)714可以包括驱动系统控制器，其可以接收和预处理来自传感器系统(单个或多个)706的数据以及控制各种车辆系统的操作。在一些示例中，驱动系统控制器可以包括一个或多个处理器以及与该一个或多个处理器通信耦合的存储器。存储器可以存储一个或多个模块以执行驱动系统(单个或多个)714的各种功能。此外，驱动系统(单个或多个)714还可以包括一个或多个通信连接，其使得能够实现相应的驱动系统与一个或多个其他本地或远程计算装置的通信。

计算装置(单个或多个)704可以包括一个或多个处理器716和与该处理器(单个或多个)716通信耦合的一个或多个存储器718。在所示示例中，计算装置(单个或多个)704的存储器718存储感知和预测系统(单个或多个)720、帧处理系统(单个或多个)722、计划系统(单个或多个)724、以及一个或多个系统控制器726。存储器718也可以存储数据，诸如地图数据730和由一个或多个传感器系统706捕获或收集的传感器数据728。虽然出于说明目的被描绘为存在于存储器718中，但是设想感知和预测系统(单个或多个)720、帧处理系统(单个或多个)722、计划系统(单个或多个)724、以及一个或多个系统控制器726可以附加地或替代地可以由计算装置(单个或多个)704访问(例如，存储在车辆702的不同组件中和/或可以由车辆702访问(例如，远程地存储))。

感知和预测系统720可以被配置为对传感器数据728和/或地图数据730执行对象检测、分割、和/或分类。在一些示例中，感知和预测系统720可以从传感器数据728生成经处理的感知数据。感知数据可以指示物理接近车辆702的对象的存在和/或该对象的分类或类型(例如，汽车、行人、骑自行车的人、建筑物、树木、路面、路缘、人行道、未知等)。在一些情况下，感知数据可以诸如经由多分辨率体素空间的语义层集成到地图数据730中。在附加和/或替代示例中，感知和预测系统720可以生成或识别一个或多个与对象和/或物理环境相关联的特性。在一些示例中，与对象相关联的特性可以包括但不限于x位置、y位置、z位置、朝向、类型(例如，分类)、速度、大小、行进方向等。与环境相关的特性可以包括但不限于另一个对象的存在、一天中的时间、天气状况、地理位置、黑暗/光的指示等。

感知和预测系统720还可以被配置为确定与识别的对象对应的预测的行为和/或状态。例如，感知和预测系统720可以被配置为预测速度、位置、轨迹改变、或以其他方式预测识别的对象的决策和移动。例如，感知和预测系统720可以包括一个或多个机器学习模型，该模型可以基于诸如对象类型或分类以及对象特性的输入，输出对象在一个或多个未来时间点的预测特性。在一些情况下，可以为预测的行为和/或状态分配置信值，使得可以对行为和/或状态进行整理、排名等。

帧处理系统722被示为与感知和预测系统720分离的系统，但是应当理解，在一些示例中，帧处理系统722可以被集成到感知和预测系统720中。在一些情况下，帧处理系统722可以被被配置为将当前帧和多个先前帧一起提供给感知和预测系统720。帧处理系统722可以首先减少与先前帧相关联的数据或通道以维持处理速度并减少与提供时间激光雷达传感器数据历史相关联的总体资源消耗。例如，如上所述，感知和预测系统720可以基于当前激光雷达帧关于分割、分类和做出多个预测和/或生成机器学习模型和/或网络的多个输出来处理用于当前帧的多个通道(例如，在100-200个通道之间)。然而，使用相同数量的通道处理与多个先前帧相关联的所有数据通常使可用的处理资源过载和/或延迟机器学习模型和网络的输出。因此，在该示例中，帧处理系统722可以在将与先前帧相关联的总体数据提供给感知和预测系统720之前处理和/或减少它们。在一些情况下，帧处理系统722可以生成用于先前帧的环境的自上而下的分割或表示。例如，帧处理系统722可以至少部分地基于最小深度值、最大深度值和强度值来表示环境的各个像素或区域。通过以这种方式表示时间数据(例如，先前帧)，帧处理系统106可以将输入到感知和预测系统720中的通道的数量减少到少至三个，从而减少处理资源并提高处理速度。

帧处理系统722还可以将多个先前帧中的各个帧的数据与当前帧对齐。例如，当激光雷达传感器系统捕获连续的激光雷达帧时，自主车辆和激光雷达传感器系统都可以在环境内移动。为了准确地表示与自主车辆的位置相关联的参考系内的对象位置，与先前帧相关联的数据由帧处理系统722与当前帧对齐。例如，帧处理系统722可以利用位置跟踪系统生成的位置数据来生成自主车辆的先前位置与自主车辆在例如世界系中的当前位置之间的一个或多个平移和/或旋转(诸如在六个自由度内的平移和旋转)。并且然后将平移和/或旋转应用于激光雷达数据的各个帧以对齐与其相关联的数据。

计划系统724可以被配置为确定车辆702穿过环境要遵循的路线。例如，计划系统724可以至少部分地基于识别的对象、对象在未来时间的预测的行为、状态和/或特性、与每个预测的行为或状态相关联的置信值、以及对应于当前场景的一组安全要求(例如，检测到的对象和/或环境条件的组合)来确定各种路线和路径以及各种细节水平。在一些实例中，计划系统726可以确定从第一地点(例如，当前地点)行进到第二地点(例如，目标地点)的路线以以避免对象阻碍或阻塞车辆702的计划路径。在一些情况下，路线可以是用于在两个地点(例如，第一地点和第二地点)之间行进的一系列路径点(waypoint)。在一些情况下，航路点包括街道、十字路口、全球定位系统(GPS)坐标等。

在至少一个示例中，计算装置(单个或多个)704可以存储一个或多个系统控制器726，其可以被配置为控制车辆702的转向(steering)、推进、制动、安全、发射器、通信、和其他系统。系统控制器726可以与驱动系统(单个或多个)714的对应的系统和/或车辆702的其他组件进行通信和/或对其进行控制，其可以被配置为按照从计划系统724提供的路线进行操作。

在一些实施方式中，车辆702可以经由网络(单个或多个)734连接到计算装置(单个或多个)732。例如，计算装置(单个或多个)732可以从一个或多个车辆702接收日志数据736。日志数据736可以包括传感器数据728、感知数据、预测数据和/或其组合。在一些情况下，日志数据728可以包括传感器数据728、感知数据和预测数据中的一个或多个的一部分。

计算装置732可以包括一个或多个处理器738和与一个或多个处理器738通信耦合的存储器740。在至少一个实例中，处理器(单个或多个)738可以类似于处理器(单个或多个)716以及存储器740可以类似于存储器718。在示出的示例中，计算装置(单个或多个)732的存储器740存储传感器数据728(包括热数据)、地图数据730、日志数据736和训练数据748。存储器740还可以存储训练组件742、机器学习组件744以及其他组件746，诸如操作系统。

在一些情况下，训练组件742可以使用从一个或多个车辆702接收的传感器数据728、日志数据736和/或地图数据730来生成训练数据748。例如，训练组件742可以用一个或多个测量参数或特性标记表示事件的数据。训练组件742然后可以使用训练数据742来训练机器学习组件744以生成用于帧处理系统722和/或感知和预测系统720的模型，以便将置信值分配给识别的对象的预测的行为和/或状态，如上所述。

计算装置(单个或多个)704的处理器(单个或多个)716和计算装置(单个或多个)732的处理器(单个或多个)738可以是如本文所描述的能够执行指令以处理数据和执行操作的任何合适的处理器。作为示例而非限制，处理器(单个或多个)716和738可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、或处理电子数据以将该电子数据变换为可以存储在寄存器和/或存储器中的其他电子数据的任何其他装置或装置的一部分。在一些示例中，集成电路(例如，ASIC等)、门阵列(例如，FPGA等)、和其他硬件装置也可以被视为处理器(只要他们被配置为实施编码的指令)。

计算装置(单个或多个)704的存储器718和计算装置(单个或多个)732的存储器740是非暂时性计算机可读介质的示例。存储器718和/或740可以存储操作系统和一个或多个软件应用、指令、程序、和/或数据以实施本文描述的方法以及归因于各种系统的功能。在各种示例中，存储器718和740可以使用任何合适的存储器技术来实施，诸如静态随机存取存储器(SRAM)、同步动态RAM(SDRAM)、非易失性/闪存型存储器、或能够存储信息的任何其他类型的存储器。本文描述的架构、系统、和各个元件可以包括许多其他逻辑组件、程序化组件和物理组件，其中附图中示出的那些组件仅仅是与本文中的讨论有关的示例。

在一些情况下，本文讨论的一些或所有组件的方面可以包括任何模型、算法和/或机器学习算法。例如，在一些实例中，存储器718和740中的组件可以被实施为神经网络。

结论

虽然已经描述了本文所述的技术的一个或多个示例，但是其各种改变、添加、置换和等同物被包括在本文所描述的技术的范围内。如可以理解的，本文讨论的组件出于说明性目的被描述为划分的。然而，由各种组件执行的操作可以在任何其他组件中组合或执行。还应当理解，关于一个示例或实施方式讨论的组件或步骤可以与其他示例的组件或步骤结合使用。例如，图7的组件和指令可以利用图1-6的过程和流程。

在示例的描述中，参考形成其一部分的附图，附图通过图示的方式示出所要求保护的主题的具体示例。应当理解，可以使用其他示例，并且可以进行诸如结构改变的改变或更改。这样的示例、改变或更改不一定偏离关于意图要求保护的主题的范围。虽然本文中的步骤可以按某种顺序呈现，但是在一些情况下，可以改变排序，使得某些输入在不同的时间或按不同的顺序提供，而不会改变所描述的系统和方法的功能。公开的程序也可以按不同的顺序执行。另外，不需要按照所公开的顺序执行本文的各种计算，并且可以容易地实施使用计算的替代顺序的其他示例。除了被重新排序之外，还可以将计算分解为具有相同结果的子计算。

示例条款

A、一种系统，包括：一个或多个处理器；以及一种或多种非暂时性计算机可读介质，其存储指令，所述指令在由所述一个或多个处理器执行时，使所述一个或多个处理器执行包括以下操作的操作：在第一时间接收表示物理环境的第一激光雷达数据，所述第一激光雷达数据与第一位置相关联；在所述第一时间之后的第二时间接收表示所述物理环境的第二激光雷达数据，所述第二激光雷达数据与第二位置相关联；基于所述第一激光雷达数据来确定第一自上而下数据，所述第一自上而下数据包括与所述第一激光雷达数据的一部分相关联的第一最小高度值和与所述第一激光雷达数据的所述第一部分的所述一部分相关联的第一最大高度值；基于所述第二激光雷达数据来确定第二自上而下数据，所述第二自上而下数据包括表示与所述第二激光雷达数据的一部分相关联的第二最小高度值和表示与所述第二激光雷达数据的所述一部分相关联的第二最大高度值；将所述第一自上而下数据与所述第二自上而下数据对齐，使得所述第一激光雷达数据的所述一部分与所述第二激光雷达数据的所述一部分对齐；基于所述对齐来确定聚合的自上而下数据，其中所述聚合的自上而下数据包括所述物理环境的多通道自上而下表示，所述多通道自上而下表示的第一通道包括绝对最小高度值并且所述多通道自上而下表示的第二通道包括最大高度值；至少部分地基于所述聚合的自上而下数据来确定与所述物理环境中的对象相关联的对象数据；以及至少部分地基于所述对象数据执行与自主车辆相关联的操作。

B、如权利要求A所述的系统，其中，确定所述对象数据进一步包括：将所述聚合的自上而下数据输入到机器学习模型中；以及从所述机器学习模型接收所述对象数据。

C、如权利要求A所述的系统，其中，所述多通道自上而下表示的第三通道包括用于高度维度的平均强度值。

D、如权利要求A所述的系统，其中，所述操作进一步包括：在所述第二时间之后的第三时间接收表示所述物理环境的第三激光雷达数据，所述第三激光雷达数据与第三位置相关联；基于所述第三激光雷达数据来确定第三自上而下数据，所述第三自上而下数据包括表示与所述第三激光雷达数据的一部分相关联的第三最小高度值和表示与所述第三激光雷达数据的所述一部分相关联的第三最大高度值；将所述第三自上而下数据与所述第一自上而下数据和所述第二自上而下数据对齐，使得所述第三激光雷达数据的所述一部分与所述第一激光雷达数据的所述一部分和所述第二激光雷达数据的所述一部分对齐；并且其中，所述聚合的自上而下数据包括所述第三激光雷达数据的所述一部分。

E、如权利要求A所述的系统，其中，所述变换是至少部分地基于所述自主车辆在所述第一地点的第一姿态和所述自主车辆在所述第二地点的第二姿态的。

F、一种方法，包括：在第一时间接收表示物理环境的第一激光雷达数据；在第二时间接收表示所述物理环境的第二激光雷达数据；至少部分地基于与所述第一激光雷达数据相关联的第一地点和与所述第二激光雷达数据相关联的第二地点来确定传递函数；至少部分地基于所述第一激光雷达数据、所述第二激光雷达数据和所述传递函数来确定表示所述物理环境的聚合的数据，其中，所述聚合的数据的第一通道表示用于在所述第一激光雷达数据和所述第二激光雷达数据中表示的一部分的第一高度值，并且所述聚合的数据的第二通道表示用于所述一部分的第二高度值；以及至少部分地基于所述聚合的数据来确定与所述物理环境中的对象相关联的对象数据。

G、如段落F所述的方法，其中，确定与所述物理环境中的所述对象相关联的所述对象数据进一步包括：将所述聚合的数据输入到机器学习模型中；以及从所述机器学习模型接收所述对象数据。

H、如段落F所述的方法，进一步包括：至少部分地基于所述第二激光雷达数据来确定与所述物理环境相关联的空的空间；以及在生成所述变换函数之前将所述第一激光雷达数据过滤以去除所述空的空间内的数据。

I、如段落H所述的方法，进一步包括：生成与所述第一激光雷达数据相关联的第一网格；

生成与所述第二激光雷达数据相关联的第二网格；并且其中，确定所述聚合的数据包括将所述变换函数应用于所述第一网格。

J、如段落F所述的方法，其中，所述聚合的数据是自上而下聚合的数据。

K、如段落F所述的方法，进一步包括：在第三时间接收表示所述物理环境的第三激光雷达数据；并且其中，所述聚合的数据的表示是至少部分地基于所述第三激光雷达数据的。

L、如段落K所述的方法，进一步包括：至少部分地基于与所述第三激光雷达数据相关联的第三地点和与所述第二激光雷达数据相关联的所述第二地点来确定第二传递函数；并且其中，所述聚合的数据的表示是至少部分地基于所述第二传递函数的。

M、如段落F所述的方法，其中，所述第一高度值是最大高度值，并且所述第二高度值是最小高度值。

N、一种或多种非暂时性计算机可读介质，存储指令，所述指令在被执行时，使一个或多个处理器执行包括以下操作的操作：在第一时间接收表示物理环境的第一激光雷达数据；在第二时间接收表示所述物理环境的第二激光雷达数据，所述第二时间在所述第一时间之后；至少部分地基于与所述第一激光雷达数据相关联的第一地点和与所述第二激光雷达数据相关联的第二地点来确定传递函数；至少部分地基于所述第一激光雷达数据、所述第二激光雷达数据和所述传递函数来确定表示所述物理环境的聚合的数据，其中，所述聚合的数据的第一通道表示用于在所述第一激光雷达数据和所述第二激光雷达数据中表示的一部分的第一高度值，并且所述聚合的数据的第二通道表示用于所述一部分的第二高度值；以及至少部分地基于所述聚合的自上而下数据来确定与所述物理环境中的对象相关联的对象数据。

O、如段落N所述的非暂时性计算机可读介质，其中，所述聚合的数据是所述物理环境的多通道自上而下表示。

P、如段落N所述的非暂时性计算机可读介质，其中，所述操作进一步包括：至少部分地基于所述第二激光雷达数据来确定与所述物理环境相关联的空的空间；以及在生成所述变换函数之前将所述第一激光雷达数据过滤以去除所述空的空间内的数据。

Q、如段落P所述非暂时性计算机可读介质，其中，所述操作进一步包括：生成与所述第一激光雷达数据相关联的第一网格；生成与所述第二激光雷达数据相关联的第二网格；以及其中，确定所述聚合的数据包括将所述变换函数应用于所述第一网格。

R、如段落N所述的非暂时性计算机可读介质，其中，所述第一高度值是最大高度值，并且所述第二高度值是最小高度值。

S、如段落N所述的非暂时性计算机可读介质，所述操作进一步包括：在第三时间接收表示所述物理环境的第三激光雷达数据，所述第三时间在所述第二时间之前；至少部分地基于与所述第三激光雷达数据相关联的第三地点和与所述第二激光雷达数据相关联的所述第二地点来确定第二传递函数；并且其中，所述聚合的数据的表示是至少部分地基于所述第三激光雷达数据和所述第二传递函数的。

T、如段落N所述的非暂时性计算机可读介质，所述操作进一步包括：至少部分地基于所述对象数据来执行与自主车辆相关联的至少一个操作。

虽然上述示例条款是关于一种具体实施方式进行描述的，但是应当理解，在本文的上下文中，示例条款的内容也可以经由方法、装置、系统、计算机可读介质、和/或另一个实施方式来实施。另外，示例A-T中的任何示例可以单独地实施或与示例A-T中的任何其他一个或多个组合来实施。

Claims (15)

1.一种方法，包括：

在第一时间接收表示物理环境的第一激光雷达数据；

在第二时间接收表示所述物理环境的第二激光雷达数据；

至少部分地基于与所述第一激光雷达数据相关联的第一地点和与所述第二激光雷达数据相关联的第二地点来确定传递函数；

至少部分地基于所述第一激光雷达数据、所述第二激光雷达数据和所述传递函数来确定表示所述物理环境的聚合的数据，其中，所述聚合的数据的第一通道表示用于在所述第一激光雷达数据和所述第二激光雷达数据中表示的一部分的第一高度值，并且所述聚合的数据的第二通道表示用于所述一部分的第二高度值；以及

至少部分地基于所述聚合的数据来确定与所述物理环境中的对象相关联的对象数据。

2.如权利要求1所述的方法，其中，确定与所述物理环境中的所述对象相关联的所述对象数据进一步包括：

将所述聚合的数据输入到机器学习模型中；以及

从所述机器学习模型接收所述对象数据。

3.如权利要求1或2中的任一项所述的方法，进一步包括：

至少部分地基于所述第二激光雷达数据来确定与所述物理环境相关联的空的空间；以及

在生成所述变换函数之前将所述第一激光雷达数据过滤以去除所述空的空间内的数据。

4.如权利要求1至3中的任一项所述的方法，进一步包括：

生成与所述第一激光雷达数据相关联的第一网格；

生成与所述第二激光雷达数据相关联的第二网格；并且

其中，确定所述聚合的数据包括将所述变换函数应用于所述第一网格。

5.如权利要求1至4中的任一项所述的方法，其中，所述聚合的数据是自上而下聚合的数据。

6.如权利要求1至5中的任一项所述的方法，进一步包括：

在第三时间接收表示所述物理环境的第三激光雷达数据；并且

其中，所述聚合的数据的表示是至少部分地基于所述第三激光雷达数据的。

7.如权利要求1至6中的任一项所述的方法，进一步包括：

至少部分地基于与所述第三激光雷达数据相关联的第三地点和与所述第二激光雷达数据相关联的所述第二地点来确定第二传递函数；并且

其中，所述聚合的数据的表示是至少部分地基于所述第二传递函数的。

8.如权利要求1至7中的任一项所述的方法，其中，所述第一高度值是最大高度值，并且所述第二高度值是最小高度值。

9.一种计算机程序产品，包括编码的指令，所述编码的指令在在计算机上运行时，实施如权利要求1至8中的任一项所述的方法。

10.一种系统，包括：

一个或多个处理器；以及

一种或多种非暂时性计算机可读介质，其存储指令，所述指令在被执行时，使所述一个或多个处理器执行包括以下操作的操作：

在第一时间接收表示物理环境的第一激光雷达数据；

在所述第一时间之后的第二时间接收表示所述物理环境的第二激光雷达数据；

至少部分地基于与所述第一激光雷达数据相关联的第一地点和与所述第二激光雷达数据相关联的第二地点来确定传递函数；

至少部分地基于所述第一激光雷达数据、所述第二激光雷达数据和所述传递函数来确定表示所述物理环境的聚合的数据，其中，所述聚合的数据的第一通道表示用于在所述第一激光雷达数据和所述第二激光雷达数据中表示的一部分的第一高度值，并且所述聚合的数据的第二通道表示用于所述一部分的第二高度值；以及

至少部分地基于所述聚合的自上而下数据来确定与所述物理环境中的对象相关联的对象数据。

11.如权利要求10所述的系统，其中，所述聚合的数据是所述物理环境的多通道自上而下表示。

12.如权利要求10或11中的任一项所述的系统，其中，所述操作进一步包括：

至少部分地基于所述第二激光雷达数据来确定与所述物理环境相关联的空的空间；以及

在生成所述变换函数之前将所述第一激光雷达数据过滤以去除所述空的空间内的数据。

13.如权利要求10至12中的任一项所述的系统，其中，所述操作进一步包括：

生成与所述第一激光雷达数据相关联的第一网格；

生成与所述第二激光雷达数据相关联的第二网格；以及

其中，确定所述聚合的数据包括将所述变换函数应用于所述第一网格。

14.如权利要求10至13中的任一项所述的系统，其中，所述第一高度值是最大高度值，并且所述第二高度值是最小高度值。

15.如权利要求10至14中的任一项所述的系统，所述操作进一步包括：

在第三时间接收表示所述物理环境的第三激光雷达数据，所述第三时间在所述第二时间之前；

至少部分地基于与所述第三激光雷达数据相关联的第三地点和与所述第二激光雷达数据相关联的所述第二地点来确定第二传递函数；并且

其中，所述聚合的数据的表示是至少部分地基于所述第三激光雷达数据和所述第二传递函数的。