CN116783105A

CN116783105A - 自主车辆的车载反馈系统

Info

Publication number: CN116783105A
Application number: CN202180090822.1A
Authority: CN
Inventors: 约翰·勒皮德; 洛伦佐·纳尔迪; 安德鲁·T·哈特内特
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2020-11-23
Filing date: 2021-11-02
Publication date: 2023-09-19
Also published as: WO2022108744A1; US11977440B2; DE112021006099T5; US20220164245A1

Abstract

系统包括自主车辆的车载电子设备和具有一个或多个编程指令的计算机可读介质。系统接收与踪迹有关的一个或多个预测信息，其中每个预测信息包括与踪迹相关联的唯一标识符，并接收与踪迹有关的一个或多个推理信息，其中每个推理信息包含唯一标识符。系统聚合一个或多个预测信息和一个或多个推理信息以生成信息集，并对信息集应用一组处理操作以生成反馈信息。系统从反馈信息中识别一个或多个事件，自动为已识别的一个或多个事件生成注释，并将生成的注释嵌入到自主车辆的事件日志中。

Description

自主车辆的车载反馈系统

相关申请的引用和优先权要求

本专利申请要求2020年11月23日在美国专利局提交的专利申请号为17/102,303的优先权，以上申请的内容在此引用。

背景技术

为了让自主车辆计划其行动，它必须首先做出关于世界未来状态的预测。实际上，这些预测可能存在缺陷。这些缺陷可能会涉及的范围为从轻微的差异到对相关行为的误解。然而，这些缺陷还包括可用于改进AV预测系统的操作的有用的信息。现有的解决方案并没有系统地捕获、存储和分析这些缺陷以便于促进AV的持续学习。

本申请描述了旨在解决上面描述的问题和/或其他问题的方法和系统。

发明内容

在各种实施例中，一种系统包括自主车辆的车载电子设备，以及具有一个或多个编程指令的计算机可读介质。该系统接收与踪迹(track)有关的一个或多个预测信息，其中，每个预测信息包括与踪迹相关联的唯一标识符，以及接收与踪迹有关的一个或多个推理信息，其中，每个推理信息包括唯一标识符。该系统聚合一个或多个预测信息和一个或多个推理信息以生成信息集，并对信息集应用一组处理操作以生成反馈信息。该反馈信息包括预测信息中的一个或多个与推理信息中的一个或多个之间的一个或多个预测误差的指示。该系统从反馈信息中识别一个或多个事件，自动为已识别的一个或多个事件生成注释并将生成的注释嵌入到自主车辆的事件日志中。

该系统可以通过监测正在播报一个或多个预测信息的预测频道来接收与包含一个或多个编程指令的踪迹有关的一个或多个预测信息。

该系统可以通过监测正在播报一个或多个推理信息的推理频道来接收与踪迹有关的一个或多个推理信息。

该一个或多个预测信息可以包括对自主车辆的未来状态的一个或多个预测或对在自主车辆附近的一个或多个物体或行动者的未来状态的一个或多个预测。

该一个或多个推理信息可以包括与自主车辆的当前状态或与在自主车辆附近的一个或多个物体或行动者的当前状态有关的信息。

该系统可以通过从数据存储器访问映射并从映射识别与唯一标识符相关联的一组处理操作来将特定于唯一标识符的一组处理操作应用于信息集以生成反馈信息。

该系统可以通过对反馈信息应用第二组处理操作来从反馈信息中识别一个或多个事件，其中所述第二组处理操作与特定的事件类型相关联。

该系统可以通过自动生成包含字母数字字符或多个字母数字字符的人类可读的字符串来自动生成对事件的注释。

该系统可以使用在事件日志中的注释来训练用于自主车辆的一个或多个机器学习模型的一个或多个分类器。

附图说明

图1示出了示例性的反馈评估系统；

图2示出了提供和评估反馈的示例方法的流程图；

图3是示出示例自主车辆系统的框图；

图4示出了示例车辆控制器系统；

图5示出了示例激光雷达系统；

图6是示出AV的可能的电子系统、子系统、控制器和/或其他组件和/或外部电子设备的各种元素的框图。

具体实施方式

正如在本文中使用的，单数形式“一”、“一个”和“该”包括复数引用，除非上下文另有明确规定。除非另有定义，本文使用的所有技术和科学术语具有本领域普通技术人员通常理解的含义。在本文中使用的术语“包含”指“包括但不限于”。对与本文相关的附加术语的定义包含在具体实施方式的末尾。

图1示出了示例性的反馈评估系统。图2示出了根据各实施例提供和评估反馈的示例方法的流程图。

在各实施例中，本发明描述的反馈评估系统可以使用自主车辆的一个或多个车载计算设备来实现。如图1所示，该系统可以包括预测反馈管理器102。预测反馈管理器可以实现为硬件、软件、固件或硬件、软件和/或固件的组合。预测反馈管理器102可以接收推理信息和/或预测信息并将其路由到一个或多个反馈源，如下文更详细地描述。

如图1所示，预测反馈管理器可以订阅预测信息频道104，并可以从该频道接收200一个或多个预测信息。预测信息频道可能会播报一个或多个预测信息。预测信息是指包含与自主车辆或其所处的环境有关的一个或多个预报或预测的信息。这些预报或预测可能关于自主车辆的未来状态，或关于在自主车辆附近的一个或多个物体或行为者的未来状态。例如，预测信息可能包括一个指示，表明接近自主车辆的某个物体是一辆停放的车辆，并且在自主车辆导航经过该物体时车辆将保持停放状态。如果一个或多个物体或行动者在自主车辆的框架内或如果他们预计将进入自主车辆的框架，则它们可能要接近自主车辆。

预测信息可以包括对信息的预测或预报有关的特定踪迹的指示。指示可以是与踪迹相关联的唯一标识符。踪迹是指通过物体的运动学和/或分类属性来识别物体的空间描述。踪迹可以包括但不限于与该物体相关联的点云中每个数据点的位置(例如，x坐标和y坐标)、范围速率和速度(例如，速率加上行进方向)。生成踪迹的技术可以包括但不限于使用卡尔曼滤波器。

在各实施例中，一个或多个预测信息可以由自主车辆的预测子系统生成。一个或多个预测信息可以通过预测信息频道进行播报。一个或多个系统、子系统、任务或其他设备或组件可以订阅预测信息频道并可在一旦播报后接收预测信息。

如图1所示，预测反馈管理器可以订阅推理信息频道106，并可以从该频道接收202的一个或多个推理信息。推理信息频道可以播报一个或多个推理信息。推理信息是指包含有关自主车辆的当前状态或在该自主车辆的环境中的一个或多个物体或行动者的当前状态的信息的信息。如果一个或多个物体或行动者在自主车辆的框架内或者如果它们预计会进入自主车辆的框架，那么它们可能会接近自主车辆。例如，参考上面的例子，当自主车辆更接近先前预测为停放车辆的物体时，系统可以产生包含与该物体当前状态有关的信息(例如，它的速度、位置和/或类似的东西)的推理信息。

推理信息可以包括对信息中所包含的信息有关的特定踪迹的指示。该指示可以是与踪迹有关的唯一标识符。

在各实施例中，一个或多个推理信息可以由自主车辆的感知子系统产生。一个或多个推理信息可以通过推理信息频道106进行播报。一个或多个系统、子系统、任务或其他设备或组件可以订阅该推理信息频道并可以在一旦播报后接收推理信息。

如图1所示，反馈管理器102可以与一个或多个反馈源108a-N进行通信，反馈源可以是被配置为对一个或多个预测信息和/或推理信息运行一个或多个处理操作以生成反馈的一个或多个任务。处理操作可包括但不限于一个或多个规则、约束、启发、其他逻辑、和/或类似的东西。一个示例的处理操作可以包括，例如，执行数据的比较，确定值是否低于或高于阈值，确定值是否在一定范围内或超出了一定的范围，和/或诸如此类。

反馈管理器102可以维持204踪迹和反馈源的映射，例如，特定的反馈源可以只与特定的踪迹相关联。反馈管理器可以利用映射来促进推理信息和/或预测信息的正确路由。映射可以存储在可访问预测管理器的一个或多个数据存储器中。例如，映射可以存储反馈源的指示(例如，反馈源的名称，与反馈源相关联的唯一标识符，和/或诸如此类)以使它对应于与其关联的踪迹的唯一踪迹标识符。预测管理器可以从数据存储器访问映射，以确定它将路由一个或多个推理信息和/或一个或多个预测信息到哪个反馈源。

反馈管理器可以收集一个或多个预测信息和/或推理信息，并可以组织与相同的唯一踪迹标识符有关的信息以生成204信息集。反馈管理器可以利用该映射来识别206与和信息集相关联的唯一踪迹标识符相关联的反馈源。

在各实施例中，如果反馈管理器接收到与在映射中未包含的唯一踪迹标识符相关联的预测信息和/或推理信息，则反馈管理器可以为新的踪迹标识符分配一个反馈源并可以更新映射以包括新的踪迹标识符和所分配的反馈源的指示。

在各实施例中，如果反馈管理器在一段时间后没有收到映射中某个唯一踪迹标识符的任何新的预测信息和/或推理信息，则反馈管理器可以从映射中删除唯一轨迹标识符和相关联的反馈源的指示。反馈管理器可以删除相关的反馈源。例如，反馈管理器可以定期检查以查看上次接收到针对映射中特定唯一踪迹标识符的推理信息和/或预测信息的时间。如果最近的针对唯一踪迹标识符的推理信息和/或预测信息是在三个多小时前接收到的，则反馈管理器可以从映射中删除唯一踪迹标识符和相关的反馈源，并可以从存储器中删除相关的反馈源。可以理解的是，在本公开的范围内可以使用附加的和/或替代的时间段。

反馈管理器可以向已识别的反馈源提供208信息集。在各实施例中，反馈管理器可以制作信息集的副本并将该副本提供208给反馈源。

反馈源可以接收210信息集。在各种实施例中，该反馈源可以在缓冲区中存储所接收到的信息集的至少一部分。该缓冲区可以是一个固定长度的圆形缓冲区。因此，当超过了缓冲区的大小时，旧的信息集可以被覆盖。

反馈源可以将其处理操作中的一个或多个应用212于信息集以生成反馈。一个或多个处理操作可以分析信息集中的一个或多个预测信息以识别信息中出现的一个或多个预测或预报。处理操作可以将所识别的预测或预报与包含在一个或多个推理信息中的状态信息进行比较以评估这些预测或预报的准确性。反馈源可以产生212包括与比较有关的信息的反馈信息。此信息可以包括一个或多个预测误差。预测误差是指预报或预测和与预报或预测相关的推理或实际观测之间的区别或差异。例如，如果预测或预报不准确，则反馈源可以产生212包括指示预报或预测和实际观测之间的差异的反馈信息作为预测误差。作为另一个实施例，如果预测或预报是准确的，则反馈源可以产生212包括指示这个预测或预报准确的反馈信息。

在各实施例中，与比较有关的信息可以包括关于预测或预报的更新信息。例如，系统可以以高置信度确定物体在t＝0时驻车。在t＝0.1时，系统可以观察到物体以10m/s的速度移动。这些信息可以用来断定最初的驻车判定可能是不正确的。

作为另一个示例，一个或多个预测信息可以表明系统在T时刻做出了在T+3秒时物体将位于X位置的预测。在T+3秒时，系统可以生成包括对在Y位置的物体观察的推理信息。反馈源可以分析预测信息和推理信息，并且可以产生包括指示X和Y之间差异的反馈信息。可以理解的是，在本公开的范围内可以执行其他类型的分析并且可以生成其他类型的反馈。

反馈源可以向反馈管理器提供214反馈信息。在各实施例中，如图1所示，反馈管理器可以存储一个或多个反馈信息到一个或多个数据存储器112。至少一部分所存储的反馈信息可用于跟踪进度和识别回归。在一些实施例中，至少一部分所存储的反馈信息可以被用作系统对环境的理解的实时指示。

反馈管理器可以向注释管理器110提供216一个或多个反馈信息。如图1所示，注释管理器可以将一个或多个反馈信息的至少一部分提供给一个或多个注释提供器114a-N。注释提供器可以是被配置为对一个或多个反馈信息运行一个或多个处理操作以生成一个或多个注释的一个或多个任务。

在各实施例中，一个或多个注释提供器可以与唯一踪迹标识符相关联。与上面描述的反馈管理器一样，注释管理器可以维护唯一踪迹标识符和注释提供器的映射。当注释管理器接收到反馈信息时，它可以从该反馈信息中识别对应的唯一踪迹标识符。注释管理器可以从映射中识别出与唯一踪迹标识符相关联的注释提供器，并可以向该注释提供器提供至少一部分反馈信息。

在各实施例中，如果注释管理器接收到与映射中未包含的唯一踪迹标识符相关联的反馈信息，则注释管理器可以为新的踪迹标识符分配注释提供器，并可以更新该映射以包括对新踪迹标识符和所分配的注释提供器的指示。在各实施例中，该系统可以根据正在执行的分析类型启用和/或禁用一个或多个注释提供器。例如，当收集与停放车辆相关的数据时，可以启用与停放车辆的执行检查相关联的注释提供器。

在各实施例中，一个或多个注释提供器可以与特定物体类型相关联。注释管理器可以维护物体类型和注释提供器的映射。当注释管理器接收到反馈信息时，它可以从反馈信息中识别相应的物体类型。注释管理器可以从映射中识别与物体类型相关联的注释提供器，并且可以向该注释提供器提供至少一部分反馈信息。

在各实施例中，如果注释管理器接收到与映射中未包含的物体类型相关联的反馈信息，则注释管理器可以为新物体类型分配注释提供器，并可以更新映射以包含新物体类型和分配的注释提供器的指示。

注释提供器可以对一个或多个反馈信息的内容应用一个或多个处理操作以识别218一个或多个事件。事件可以是系统识别为需要用于场外分析的事件。当事件触发时，相应的事件数据可以以一种防止被系统覆盖的方式存储。因此，可以存储此事件数据以供后续的场外分析。这种分析可能涉及人工审查和/或自动化任务。

在各种实施例中，注释提供器中的一个或多个可以与可用于标识特定事件或事件类型的一个或多个处理操作相关联。通过这种方式，每个注释提供器可以分析一个或多个反馈信息的内容以确定内容是否指示特定事件或事件类型。例如，注释提供器可以与物体的停放状态相关的一个或多个处理操作相关联。这些处理操作可以应用于一个或多个反馈信息的内容以确定预测为正在停放的物体是否实际上未停放或者以确定预测为未停放的物体是否实际上已停放。如果这两种情况中的任何一种为真，则注释提供器可以将其识别218为驻车事件类型的事件。

另一个例子是，注释提供器可以与观察物体和/或行动者的位置相关的一个或多个处理操作相关联。例如，参考上面的示例，如果物体的预测位置(X)和物体的实际位置(Y)之间的差值超过阈值，则注释提供器可以识别218事件。与偏航、速度和加速度预测误差相关的类似处理操作可以在本公开的范围内使用。

在各实施例中，可以识别218的事件的其他示例可以包括但不限于大的预测位移误差、物体或行动者的未识别行为、行动者被指定为已停放但被观察到移动的情况、系统在一段时间内改变物体的二进制指定的情况(例如，快速改变行动者是否停放的二进制分类)、行动者执行K点转弯或变道的情况，和/或其他为代表性数据集收集数据的情况。

注释提供器可以自动为一个或多个已识别事件生成220注释。注释可以是人类可读的字符串。例如，注释可以是由字母和数字组成的字符串。在各实施例中，人类可读的注释可以描述被注释的事件。例如，对于行动者的预测和实际轨迹之间存在误差的情况，注释提供器可以生成包含误差大小(例如以米为单位)的指示的注释。使用包含一个或多个人类可读字符串的注释可以有助于执行大规模离线查询以识别感兴趣的事件。

可以生成的注释可以包括具有感兴趣的物体或行动者的踪迹的唯一标识符。例如，如果与踪迹1234关联的物体最初被确定为已停放，但后来被确定为正在移动，则注释提供器可以生成注释#i是_已停放_误差#已停放_但是_正在移动#踪迹_1234。在本公开的范围内可以使用附加和/或替代注释。

注释提供器可以向注释管理器提供222生成的注释。注释管理器可以聚合224从一个或多个与唯一踪迹标识符相关的注释提供器接收的注释。

在各实施例中，注释管理器可将聚合注释的至少一部分提供给事件监视器116。事件监视器可以将注释中的一个或多个嵌入226到与相关唯一踪迹标识符相关联的一个或多个自主车辆事件日志中，从而使其与适用的事件相关联。注释可以与其关联的时间戳一起存储为一对(例如，(时间戳，字符串))。与事件相关联的时间段可以认为是注释发生前的某个时间段和注释发生后的某个时间段。本公开中描述的系统和/或过程可以将手动和/或自动后处理限制为仅针对感兴趣的物体，这可以将适用的任务加快50-100倍。

至少一部分带注释的事件日志可用于训练一个或多个机器学习模型的一个或多个分类器，例如，用于自主车辆的一个或多个预测模型。例如，指示与物体停放状态有关的预测中的误差的注释(例如，在车辆实际上移动时将其识别为已停放)可以用于训练模型的分类器，以便将来自主车辆可以将类似的物体识别为正在移动而不是已停放。

作为另一个例子，指示行动者在没有预期的情况下改变车道的注释可以用于训练模型的分类器，以便在未来，自主车辆可以识别描绘类似行为的行动者可能会改变车道。

图3是示出示例系统300的框图，该示例系统300包括与一个或多个数据存储器302和/或一个或多个数据服务器303通过网络310通信的自主车辆301。虽然展示的是一辆自主车辆，但可能会有多辆自主车辆相互耦合，和/或与数据存储器302和/或服务器303通过网络310耦合。网络310可以是任何类型的网络，诸如局域网(LAN)、诸如因特网的广域网(WAN)、蜂窝网络、卫星网络或其组合，并且可以是有线或无线的。数据存储器302可以是任何类型的数据存储器，例如但不限于地图数据存储器、交通信息数据存储器、用户信息数据存储器、兴趣点数据存储器或任何其他类型的内容数据存储器。服务器303可以是任何类型的服务器或服务器集群，例如但不限于Web或云服务器、应用程序服务器、后端服务器或它们的组合。

如图3所示，自主车辆301可以包括传感器系统311、车载计算设备312、通信接口314和用户接口315。自主车辆301进一步可以包括车辆中所包含的某些组件(例如在图4中所示)，例如发动机、车轮、方向盘、变速器等，其可由车载计算设备312使用各种通信信号和/或命令(诸如，例如加速信号或命令、减速信号或命令、转向信号或指令等)控制。

传感器系统311可以包括耦合到和/或是包括在自主车辆301内的一个或多个传感器。这种传感器的例子包括但不限于激光雷达系统，无线电探测和测距(RADAR，以下也称为雷达)系统，激光探测和测距(LADAR)系统，声音导航和测距(SONAR，以下也称为声纳)系统，一个或多个摄像机(例如，可见光谱摄像机、红外摄像机等)、温度传感器、位置传感器(如全球定位系统(GPS)等)、定位传感器、燃料传感器、运动传感器(如惯性测量单元(IMU)等)、湿度传感器、占用传感器等。传感器数据可以包括描述物体在自主车辆301周围环境中的位置的信息、关于环境本身的信息、关于自主车辆301的运动的信息、关于自主车辆路线的信息等。当自主车辆301在地面上行驶时，至少一些传感器可以收集与表面有关的数据。

激光雷达系统可以包括配置为感测或检测物体和/或自主车辆301所在环境中的行动者的传感器。一般来说，激光雷达系统是一种结合光学遥感技术通过用光照射目标来测量到目标(例如，地面)的距离和/或目标的其他属性的设备。作为一个例子，激光雷达系统可以包括配置为发射激光脉冲的激光源和/或激光扫描仪和配置为接收激光脉冲反射的探测器。例如，激光雷达系统可以包括由旋转镜反射的激光测距仪，并且在正在数字化的场景周围在一个、两个或更多的维度以指定的角度间隔扫描激光以收集距离测量值。例如，激光雷达系统可以被配置为发射激光脉冲作为光束。可选地，可以扫描光束以产生两维或三维距离矩阵。在一个示例中，可以使用距离矩阵通过测量脉冲传输和检测各自的反射信号之间的时间延迟来确定到给定车辆或地面的距离。在一些例子中，多个激光雷达系统可以耦合到第一车辆以扫描第一车辆的完整360°视界。激光雷达系统可以配置为向计算设备提供代表被激光击中的表面的点数据云。点可以用激光雷达系统除了距离之外在方位角和仰角方面都可以转换为相对于附加在车辆上的局部坐标系的(X，Y，Z)点数据来表示。此外，激光雷达可以配置为提供从可以指示表面类型的表面反射的光或激光的强度值。在示例中，激光雷达系统可以包括诸如光(如激光)源、扫描仪和光学器件、光电探测器和接收电子器件以及定位和导航系统等组件。在一个实施例中，激光雷达系统可以配置为使用紫外线(UV)、可见光或红外光对物体进行成像，并且可以用于包括非金属物体的广泛的目标。在一个实施例中，狭窄的激光束可用于以高分辨率映射物体的物理特征。

应当注意，用于收集与表面有关的数据的激光雷达系统可以包括在自主车辆901以外的系统中，例如但不限于其他车辆(自动或被驱动)、机器人、卫星等。

图4示出了用于车辆401的示例系统架构，例如图3自主车辆的自主车辆301。车辆401可以包括发动机或马达402和用于测量车辆和/或其环境的各种参数的各种传感器。两种类型车辆共有的操作参数传感器包括，例如：位置传感器436，例如加速度计、陀螺仪和/或惯性测量单元；速度传感器438；以及里程表传感器440。车辆401还可以具有时钟442，系统架构使用该时钟442来确定操作期间的车辆时间。时钟442可以被编码到车载计算设备412中，它可以是一个单独的设备，或者多个时钟可以可用。

车辆401也可以包括操作以收集关于车辆行驶的环境信息的各种传感器。这些传感器可以包括，例如：诸如GPS设备的定位传感器460；如一个或多个摄像机462的物体检测传感器；激光雷达传感器系统464；和/或雷达和/或和/或声纳系统466。传感器还可以包括例如雨量传感器和/或环境温度传感器的环境传感器468。物体检测传感器可使车辆401能够检测在车辆401任何方向的给定距离或范围内的物体，而环境传感器收集车辆行驶区域内的环境条件数据。该系统架构还将包括用于捕捉环境图像的一个或多个摄像机462。

在操作期间，信息从传感器传送到车载计算设备412。该车载计算设备412分析传感器捕获的数据并基于该分析的结果可选地控制车辆的操作。例如，车载计算设备412可通过制动控制器422控制制动；通过转向控制器424控制方向；通过节气门控制器426(在燃气动力车辆中)或马达速度控制器428(例如电动车辆中的电流电平控制器)控制速度和加速度；控制差动齿轮控制器430(在有变速器的车辆中)和/或控制其它诸如辅助设备控制器454的控制器。

地理位置信息可以从定位传感器460传送到车载计算设备412，车载计算设备随后可访问对应于位置信息的环境的地图以确定已知的环境等固定特征如街道、建筑物、停车标志和/或停/行信号。从摄像机462捕捉到的图像和/或从如激光雷达系统464的传感器捕获的物体检测信息从那些传感器传送到车载计算设备412。物体检测信息和/或捕获的图像可由车载计算设备412处理以检测靠近车辆401的物体。另外或可选地，车辆401可以将任何数据传输到远程服务器系统303(图3)以进行处理。任何已知的或以后已知的基于传感器数据和/或捕获的图像进行物体检测的技术可用于本文公开的实施例中。

车载计算设备412可以获得、检索和/或创建地图数据以提供自主车辆401周围环境的详细信息。车载计算设备412还可以确定环境中的自主车辆的位置、方向、姿态等(定位)，例如基于三维位置数据(例如，来自GPS的数据)、三维方向数据、预测位置等。例如，车载计算设备412可接收GPS数据以确定自主车辆的纬度、经度和/或海拔位置。其他位置传感器或系统，如基于激光定位系统、惯性辅助GPS或基于摄像机的定位也可用于识别车辆的位置。车辆的位置可以包括绝对地理位置(如纬度、经度、海拔)以及相对位置信息(如相对于周围其他车辆的位置)，相比于绝对地理位置，相对位置信息通常可以在噪音较小的情况下确定。地图数据可以提供以下信息：不同道路、道路段、车道段、建筑物或其他物品的身份和位置；交通车道的位置、边界和方向(如停车场的位置和方向、转弯车道、自行车道或特定道路内的其他车道)和与交通车道有关的元数据；交通管制数据(例如，标志的位置和指示，交通灯或其他交通控制装置)和/或提供信息的任何其他地图数据以协助车载计算设备412分析自主车辆401的周围环境。

在一些实施例中，地图数据还可以包括对应于车辆沿着一条或多条车道行驶的常见模式的参考路径信息，使得物体的运动被约束到参考路径(例如，物体通常行驶的交通车道内的位置)。这些参考路径可以是预先定义的，例如交通车道的中心线。可选地，参考路径可以基于一段时间内对车辆或其他物体的历史观察(例如，直线行驶、车道合并、转弯等的参考路径)。

在一些实施例中，车载计算设备412还可以包括和/或可以接收与用户的行程或路线、路线上的实时交通信息等有关的信息。

车载计算设备412可以包括路由控制器431和/或可以与路由控制器431通信，路由控制器431产生自主车辆从起始位置到目的地位置的导航路线。路由控制器431可以访问地图数据存储器以识别车辆从起始位置出发到达目的地位置的可以行驶的可行路线和路段。路由控制器431可以对可行路线进行评分并识别到达目的地的首选路线。例如，路由控制器431可以生成使该路线间的欧氏距离或其他成本函数最小化的导航路线，并可进一步访问在特定路线上可影响行驶所需时间量的交通信息和/或估计。根据实现，路由控制器431可以使用各种路由方法生成一条或多条路由，例如Dijkstra算法，Bellman-Ford算法，或者其他算法。路由控制器431也可以使用交通信息生成反映路线的预期条件(例如，一周中的当前日期或一天中的当前时间等)的导航路线，使得在高峰时间为行程生成的路线可以不同于为深夜行程生成的路线。路由控制器431还可以生成到目的地的一条以上的导航路线，并将一条以上的这些导航路线发送给用户，供用户从各种可能的路线中选择。

在各实施例中，车载计算设备412可以确定自主车辆401周围环境的感知信息。基于一个或多个传感器提供的传感器数据和获得的位置信息，车载计算设备412可以确定自主车辆401周围环境的感知信息。感知信息可以代表普通驾驶员在车辆周围环境中将感知到的情况。感知数据可以包括与自主车辆401环境中的一个或多个物体相关的信息。例如，车载计算设备412可以处理传感器数据(例如，激光雷达或雷达数据，摄像机图像等)，以便识别自主车辆401环境中的物体和/或特征。这些物体可能包括交通信号、道路边界、其他车辆、行人和/或障碍物等。车载计算设备412可以使用任何现在或者以后已知的物体识别算法、视频跟踪算法和计算机视觉算法(例如，在多个时间段内逐帧迭代地跟踪物体)来确定感知。

在一些实施例中，车载计算设备412还可以为环境中的一个或多个已识别物体确定该物体的当前状态。状态信息可以包括但不限于每个物体的以下信息：当前位置；当前速度和/或加速度，当前航向；当前姿态；当前形状、大小或足迹(footprint)；类型(例如，车辆vs.行人vs.自行车vs.静态物体或障碍物)；和/或其他状态信息。

车载计算设备412可以执行一个或多个预测和/或预报操作。例如，车载计算设备412可以预测一个或多个物体的未来位置、轨迹和/或动作。例如，车载计算设备412可以至少部分地基于感知信息(例如，每个物体的状态数据，包括如下所述确定的估计形状和姿态)、位置信息、传感器数据、和/或任何描述物体、自主车辆401和周围环境的过去和/或当前状态和/或它们之间的关系的其他数据来预测物体的未来位置、轨迹和/或动作。例如，如果物体是车辆和当前驾驶环境包括十字路口，该车载计算设备412可以预测物体是否有可能直接向前移动或转弯。如果感知数据表示该十字路口没有红绿灯，则车载计算设备412也可以预测车辆在进入十字路口前是否必须完全停车。

在各实施例中，车载计算设备412可以确定用于自主车辆的运动计划。例如，车载计算设备412可以基于感知数据和/或预测数据确定自主车辆的运动计划。具体来说，根据对邻近物体未来位置的预测和其他感知数据，车载计算设备412可以确定自主车辆401的运动计划，该运动计划使自主车辆相对于未来位置处的物体最佳地导航。

在一个或多个实施例中，车载计算设备412可以接收预测并决定如何应对自主车辆401环境中的物体和/或行动者。例如，对于特定的行动者(例如，具有给定的车辆速度、方向、转弯角等的车辆)，车载计算设备412基于例如交通条件、地图数据、自主车辆的状态等决定是否进行超车、让路、停止和/或通过。此外，车载计算设备412还计划了自主车辆401在给定的路线上行驶的路径，以及驾驶参数(例如，距离、速度，和/或转弯角度)。即，对于给定的物体，车载计算设备412决定如何应对该物体并决定如何做。例如，对于给定的物体，车载计算设备412可以决定通过该物体并可以决定是在物体的左侧还是右侧通过(包括速度等运动参数)。车载计算设备412还可以评估被检测物体和自主车辆401之间发生碰撞的风险。如果风险超过了可接受的阈值，则可以确定在自主车辆遵循规定的车辆轨迹和/或在预定义的时间段(例如，N毫秒)内执行一个或多个动态生成的紧急机动的情况下是否可以避免碰撞。如果碰撞可以避免，那么车载计算设备412可以执行一个或多个控制指令，以执行谨慎的操作机动(如轻度减速、加速、改变车道或转向)。相反，如果不能避免碰撞，那么车载计算设备412可以执行一个或多个控制指令以执行紧急的操作机动(例如，制动和/或改变行进方向)。

如上所述，生成关于自主车辆运动的规划和控制数据以供执行。车载计算设备412可以例如通过制动控制器控制制动；通过转向控制器控制方向；通过节气门控制器(在燃气动力车辆中)或马达速度控制器(例如电动车辆中的电流电平控制器)控制速度和加速度；控制差动齿轮齿轮控制器(在有变速器的车辆中)；和/或控制其他控制器。

在本文中讨论的各实施例中，描述可以说明车辆或包括在车辆中的控制器(例如，在车载计算系统中)可以执行可使车辆和/或控制器做出决策的编程指令并利用这些决策来控制车辆的操作。然而，这些实施例并不仅限于此设置，如在各实施例中，分析、决策和/或操作控制可以由与车辆的车载计算设备和/或车辆控制系统电通信的其他计算设备全部或部分地处理。这类其他计算设备的例子包括与正在开车的人有关的电子设备(如智能手机)，以及通过无线通信网络与车辆进行电通信的远程服务器。任何此类设备的处理器都可以执行下面将讨论的操作。

回到图3，通信接口314可以被配置为允许自主车辆301与外部系统之间的通信，比如，外部设备、传感器、其他车辆、服务器、数据存储器、数据库等。通信接口314可以使用任何现在或以后已知的协议、保护方案、编码、格式、包装等，例如，但不限于无线网络、红外连接、蓝牙等。用户接口系统315可以是在车辆301内实现的外围设备的一部分，包括：例如，关键字、触摸屏显示设备、麦克风和扬声器等。

图5示出了可在各实施例中使用的示例性激光雷达系统501。如图5所示，激光雷达系统501包括可围绕中心轴(如轮毂或轮轴518)旋转360°的壳体505。壳体可包括由一种对光透明的材料制成的发射孔/接收孔。虽然在图5中所示的示例有单个的孔，在各实施例中，可以提供用于发射和/或接收光的多个孔。无论采用哪种方式，当壳体505围绕内部组件旋转时系统都可以通过一个或多个孔511发射光并向一个或多个孔511接收反射光。在一替代实施例中，壳体505的外壳可以是固定的圆顶，至少部分由对光透明的材料制成，壳体505内部具有可旋转的组件。

在旋转外壳或固定的圆顶内部是光发射器系统504，该光发射器系统504配置和定位为通过一个或多个激光发射器芯片或其他发光器设备通过孔511或通过壳体505的透明圆顶产生和发射光脉冲。发射器系统504可以包括任意数量的单独发射器，包括例如8个发射器，64个发射器或128个发射器。发射器可以发射出基本上相同的强度的光，或发射不同的强度的光。由504发射的单个光束将有在整个阵列上不一样的明确的偏振状态。举例来说，有一些光束可能具有垂直偏振，而其他光束可能具有水平偏振。激光雷达系统还将包括包含光电探测器或光电探测器阵列的光探测器508，光电探测器或光电探测器阵列定位和配置为接收反射回系统的光。发射器系统504和探测器508将随旋转的壳体而旋转，或者它们会在壳体505的固定的圆顶内旋转。一个或多个光学元件结构509可以是位于光发射单元504和/或探测器508的前面以作为聚焦和引导光通过光学元件结构509的一个或多个透镜或波板。

一个或多个光学元件结构509可以位于反射镜502的前面来聚焦和引导通过光学元件结构509的光。如下所示，该系统包括光学元件结构509，该光学元件结构509位于反射镜503的前面并与系统的旋转元件连接使得光学元件结构509随反射镜502旋转。替代地或另外，光学元件结构509可以包括多个这样的结构(例如，透镜和/或波板)。可选地，多个光学元件结构509可以布置阵列上或与外壳部分511集成的阵列中。

可选地，每个光学元件结构509可以包括将系统接收的光与系统产生的光分开的分束器。分束器可包括，例如，四分之一波或半波波板以执行分离和确保接收到的光被引导到接收器单元而不是发射器系统(没有这样的波板也会发射，因为发射的光和接收的光应该显示相同或类似的偏振)。

激光雷达系统将包括功率单元521以为激光发射器单元504、马达503和电子元件供电。激光雷达系统还将包括具有诸如处理器522和包含编程指令的非临时计算机可读存储器523元件的分析仪515，这些编程指令被配置为使系统能够接收光探测器单元收集的数据，对其进行分析以测量接收到的光的特性，并生成连接系统可用于在收集数据的环境中做出操作决策的信息。可选地，分析仪515可以与激光雷达系统501集成，如图所示，或其部分或全部可位于激光雷达系统的外部，并通过有线或无线通信网络或链路与激光雷达系统通信连接。

图6描述了可包括在系统的任何电子元件中的内部硬件的示例，如自主车辆的内部处理系统，外部监视和报告系统，或远程服务器。电总线600作为连接硬件的其他列举的组件的信息高速公路。处理器605是系统的中央处理装置，被配置为执行执行编程指令所需的计算和逻辑操作。如在本文中和在权利要求中使用的，术语“处理器”和“处理设备”可以指单个处理器或在一组处理器中共同执行一组操作的任一数量的处理器，例如中央处理单元(CPU)、图形处理单元(GPU)、远程服务器或这些中的组合。只读存储器(ROM)、随机存取存储器(RAM)、闪存、硬盘和其他能够存储电子数据的设备构成了存储器设备625的示例。存储器设备可以包括存储数据和/或指令的单个设备或设备集合。本发明的各实施例可包括包含编程指令的计算机可读介质，该编程指令被配置为使一个或多个处理器执行在前面图的上下文中描述的功能。

可选显示接口630可以允许来自总线600的信息以视觉、图形或字母数字格式显示在显示设备635上，例如在车辆的仪表板显示系统上。也可以提供音频接口和音频输出(如扬声器)。与外部设备的通信可以使用诸如无线天线、射频识别(RFID)标签和/或短距离或近场通信收发器等各种通信设备640进行，其中每一个都可以通过一个或多个通信系统选择性地与设备的其他组件通信连接。通信设备640可以被配置为通信连接到如因特网、局域网或蜂窝电话数据网络的通信网络。

硬件还可以包括用户接口传感器645，该传感器允许接收来自输入设备650(如键盘或案件、操纵杆、触摸屏、触摸板，遥控器、指向设备和/或麦克风)的数据。也可以从可以捕捉视频和/或静止图像的摄像机620接收到数字图像帧。该系统也可以从运动和/或位置传感器670(如加速度计、陀螺仪或惯性计量单位)接收数据。该系统还可以从如本文前面描述的激光雷达系统660中接收数据。

上述公开的特征和功能以及替代方案可以组合成许多其他不同的系统或应用程序。各种组件可以在硬件或软件或嵌入式软件中实现。本领域的技术人员作出各种目前无法预见或未预料到的替代方案、修改、变化或改进，其中的每一个也旨在包含在所公开的实施例中。

与上面提供的公开相关的术语包括：

“自动化设备”或“机器人设备”是指包括处理器、编程指令和一个或多个物理硬件组件的电子设备，这些硬件组件响应处理器的命令，可以在最小程度上或不需要人为干预的情况下移动。通过这种运动，机器人设备可以执行一个或多个自动功能或函数集。此类操作、功能或任务的示例可以包括但不限于操作车轮或螺旋桨以实现驾驶、飞行或其他运输行动，操作用于装载、卸载、医疗相关流程、建筑相关流程和/或类似操作的机器人升降机。自动化设备的示例可以包括但不限于自主车辆、无人机和其他自动驾驶机器人设备。

“推理信息”是指包含有关自主车辆当前状态或自主车辆环境中一个或多个物体或行动者的当前状态的信息的信息。

“预测信息”是指包含与自主车辆或其环境有关的一个或多个预测或预报的信息。

“车辆”是指能够携带一个或多个乘员和/或货物并由任何形式的能源提供动力的任何移动形式的运输工具。术语“车辆”包括但不限于轿车、卡车、货车、火车、自主车辆、飞机、无人机和诸如此类。“自主车辆”是一种具有处理器、编程指令和可由处理器控制而不需要人为操作者控制的驱动系统部件的车辆。自主车辆可以是完全自动驾驶的，因为它不需要人为操作者来完成大多数或所有的驾驶条件和功能，或也可能是半自动的，因为在某些条件下或在某些操作中可能需要人为操作者，或者人为操作者可以超驰车辆的自动驾驶系统并可以控制车辆。自主车辆还包括一些使用自动驾驶系统增强人为操作的车辆，如具有驾驶员辅助转向、速度控制、制动、停车和其他系统的车辆。

在本文中，术语“街道”、“车道”和“交叉路口”通过在一条或多条道路上行驶的车辆的示例方式进行说明。然而，本实施例旨在包括其他位置的车道和交叉路口，如停车场。此外，对于设计用于室内使用的自主车辆(例如仓库中的自动拾取设备)，街道可以是仓库的走廊，车道可以是走廊的一部分。如果自主车辆是无人机或其他飞机，那么术语“街道”可以表示气道而车道可以是该气道的一部分。如果自主车辆是船只，那么术语“街道”可以表示水道而车道可以是该水道的一部分。

“电子设备”或“计算设备”是指包括处理器和存储器的设备。每个设备可以有自己的处理器和/或存储器，或处理器和/或存储器可以与虚拟机或容器安排中的其他设备共享。存储器包含或接收编程指令，当由处理器执行该编程指令时，使电子设备根据该编程指令执行一个或多个操作。

术语“存储器”、“存储器设备”、“数据存储器”、“数据存储设备”等均是指存储计算机可读数据、编程指令或两者的非临时设备。除另有特别说明外，术语“存储器”，“存储器设备”、“数据存储器”、“数据存储设备”等旨在包括单个设备实施例，多个存储设备一起或集体存储一组数据或指令的实施例以及这些设备内的单个扇区。

术语“物体”，当指由车辆感知系统检测或由模拟系统模拟的物体时，旨在包括静止物体和移动(或潜在移动)行动者，除非在使用术语“行动者”或“静止物体”时另有明确说明。

术语“处理器”和“处理设备”是指被配置为执行编程指令的电子设备的硬件组件。除非另有明确说明，单数术语“处理器”或“处理设备”旨在包括单处理设备实施例和其中多个处理设备一起或集体执行过程的实施例。

在本文中，术语“通信链路”和“通信路径”是指第一设备向一个或多个其他设备发送通信信号和/或接收来自该设备的通信信号的有线或无线路径。如果设备能够通过通信链路发送和/或接收数据，则设备是“通信连接”的。“电子通信”是指在两个或更多个电子设备之间通过一个或多个信号传输数据，无论是通过有线网络或无线网络，还是直接或间接的通过一个或多个中间设备。

术语“分类器”是指人工智能系统可将标签或类别分配给一个或多个数据点的自动化过程。分类器包括通过机器学习等自动化过程训练的算法。分类器通常从一组已标记或未标记的训练数据开始，并应用一种或多种算法来检测与各种标签或类对应的数据中一个或多个特征和/或模式。算法可能包括但不限于像决策树这样简单的算法，像朴素贝叶斯分类这样复杂的算法，和/或像k近邻这样的中间算法。分类器可以包括人工神经网络(ANNs)，支持向量机分类器，和/或任何不同类型的分类器。一旦训练完毕，分类器就可以使用它在训练过程中学到的知识库对新的数据点进行分类。训练分类器的过程可以随着时间的推移而发展，因为分类器可以定期对更新的数据进行训练，并且它们可以从提供的关于它们可能错误分类的数据的信息中学习。分类器将由执行编程指令的处理器实现，并且它可以在大型数据集(例如图像数据、激光雷达系统数据、和/或其他数据)上操作。

“机器学习模型”或“模型”是指一组算法例程和参数，它们可以根据一组输入特征预测现实世界过程的输出(例如，预测物体轨迹，对患者的诊断或治疗，基于用户搜索查询的合适推荐等)，而无需显式编程。软件例程的结构(例如，子例程的数量以及它们之间的关系)和/或参数的值可以在训练过程中确定，这可以使用正在被建模的现实世界过程的实际结果。这样的系统或模型被理解为必然植根于计算机技术，事实上，在没有计算技术的情况下无法实现甚至不能存在。虽然机器学习系统利用各种类型的统计分析，但机器学习系统与统计分析的区别在于没有明确的编程和扎根于计算机技术的学习能力。

在本文件中，当使用诸如“第一”和“第二”等相对顺序术语来修饰名词时，这样的用法只是为了区分一项和另一项，除非特别说明，否则不是旨在要求顺序。

此外，术语相对位置如“垂直”和“水平”，或“前”和“后”，当使用时，旨在彼此相对而不必是绝对的，并且根据设备的方向仅指与这些术语相关的设备的一个可能位置。当本文使用术语“前方”、“后方”和“侧面”来指车辆的一个区域时，它们指的是相对于车辆默认行驶区域的车辆区域。例如，汽车的“前方”是距离车辆前灯比尾灯更近的区域，而汽车的“后方”是距离车辆尾灯比车辆前灯更近的区域。此外，术语“前方”和“后方”并不一定局限于面向前方或面向后方的区域，还包括更靠近前方而不是后方的侧面区域，反之亦然。车辆的“侧面”是指车辆最前面和最后面部分之间的面向侧面的部分。

Claims

1.一种系统，包括：

自主车辆的车载电子设备；以及

包括一个或多个编程指令的计算机可读介质，当所述编程指令被执行时使所述车载电子设备执行以下操作：

接收与踪迹有关的一个或多个预测信息，其中，每个所述预测信息包括与所述踪迹相关联的唯一标识符，

接收与所述踪迹有关的一个或多个推理信息，其中，每个所述推理信息包括所述唯一标识符，

聚合所述一个或多个预测信息和所述一个或多个推理信息以生成信息集，

对所述信息集应用一组处理操作以生成反馈信息，其中，所述反馈信息包括所述预测信息中的一个或多个与所述推理信息中的一个或多个之间的一个或多个预测误差的指示，

从所述反馈信息中识别一个或多个事件，

对于已识别的一个或多个所述事件，自动生成对所述事件的注释，以及

将生成的所述注释嵌入到所述自主车辆的事件日志中。

2.根据权利要求1所述的系统，其中，当被执行时使得所述车载电子设备接收与踪迹有关的一个或多个预测信息的所述一个或多个编程指令包括：当被执行时使得所述车载电子设备监测正在播报所述一个或多个预测信息的预测频道的一个或多个编程指令。

3.根据权利要求1所述的系统，其中，当被执行时使得所述车载电子设备接收与踪迹有关的一个或多个推理信息的所述一个或多个编程指令包括：当被执行时使得所述车载电子设备监测正在播报所述一个或多个推理信息的推理频道的一个或多个编程指令。

4.根据权利要求1所述的系统，其中，所述一个或多个预测信息包括对所述自主车辆的未来状态的一个或多个预测，或对在所述自主车辆附近的一个或多个物体或行动者的未来状态的一个或多个预测。

5.根据权利要求1所述的系统，其中，所述一个或多个推理信息包括与所述自主车辆的当前状态或与在所述自主车辆附近的一个或多个物体或行动者的当前状态有关的信息。

6.根据权利要求1所述的系统，其中，当被执行时使得所述车载电子设备将特定于所述唯一标识符的一组处理操作应用于所述信息集来生成反馈信息的所述一个或多个编程指令包括：当被执行时使得所述车载电子设备执行以下操作的一个或多个编程指令：

从数据存储器访问映射；并且

从所述映射识别与所述唯一标识符相关联的所述一组处理操作。

7.根据权利要求1所述的系统，其中，当被执行时使得所述车载电子设备从所述反馈信息中识别一个或多个事件的所述一个或多个编程指令包括：当被执行时使得所述车载电子设备对所述反馈信息应用第二组处理操作的一个或多个编程指令，其中，所述第二组处理操作与特定的事件类型相关联。

8.根据权利要求1所述的系统，其中，当被执行时使得所述车载电子设备自动生成对所述事件的注释的所述一个或多个编程指令包括：当被执行时使得所述车载电子设备自动生成包含字母数字字符或者多个字母数字字符的人类可读的字符串的一个或多个编程指令。

9.根据权利要求1所述的系统，其中，所述计算机可读存储介质进一步包括当被执行时使得所述车载电子设备使用在所述事件日志中的所述注释来训练用于所述自主车辆的一个或多个机器学习模型的一个或多个分类器的一个或多个编程指令。

10.一种方法，包括：

通过自主车辆的车载电子设备执行以下操作：

从所述反馈信息中识别一个或多个事件，

对于已识别的所述事件中一个或多个，自动生成对所述事件的注释，以及

将生成的所述注释嵌入到所述自主车辆的事件日志中。

11.根据权利要求10所述的方法，其中接收与踪迹有关的一个或多个预测信息包括监测正在播报所述一个或多个预测信息的预测频道。

12.根据权利要求10所述的方法，其中接收与踪迹有关的一个或多个推理信息包括监测正在播报所述一个或多个推理信息的推理频道。

13.根据权利要求10所述的方法，其中所述一个或多个预测信息包括对所述自主车辆的未来状态的一个或多个预测，或对在所述自主车辆附近的一个或多个物体或行动者的未来状态的一个或多个预测。

14.根据权利要求10所述的方法，其中所述一个或多个推理信息包括与所述自主车辆的当前状态或与在所述自主车辆附近的一个或多个物体或行动者的当前状态有关的信息。

15.根据权利要求10所述的方法，对所述信息集应用一组处理操作以生成反馈信息，包括：

从数据存储器访问映射；以及

16.根据权利要求10所述的方法，其中从所述反馈信息中识别一个或多个事件包括对所述反馈信息应用第二组处理操作，其中，所述第二组处理操作与特定的事件类型相关联。

17.根据权利要求10所述的方法，其中自动生成对所述事件的注释包括自动生成包含字母数字字符或多个字母数字字符的人类可读的字符串。

18.根据权利要求10所述的方法，进一步包括使用在所述事件日志中的所述注释来训练用于所述自主车辆的一个或多个机器学习模型的一个或多个分类器。

19.一种存储指令的非临时计算机可读介质，所述指令通过至少一个计算机设备执行时被配置为使所述至少一个计算机设备执行的操作包括：

从所述反馈信息中识别一个或多个事件，

将生成的所述注释嵌入到所述自主车辆的事件日志中。