CN114729803A - 更新地图数据 - Google Patents

Abstract

公开了用于更新地图数据的技术。该些技术可以包括检测第一图像中的交通灯，至少部分地基于在第一图像中检测到的交通灯确定在与地图数据相关联的三维坐标系中交通灯的提议的三维位置。然后可将提议的三维位置投影到第二图像中，以确定第二图像中交通灯的二维位置，并且第二图像可注释为带有与交通灯相关联的提议的交通灯位置指示符的带注释的图像。该技术还包括使显示器向用户显示带注释的图像、接收与带注释的图像相关联的用户输入、并更新为经更新的地图数据，地图数据包括至少部分地基于用户输入的地图数据中的交通灯的位置。

Description

更新地图数据

相关申请的交叉引用

本PCT国际申请请求以2019年11月27日提交的美国专利申请16/698,366为优先权，其公开内容通过引用并入本文。

背景技术

数据可以在环境中捕获并表示为环境地图。通常，尽管这些地图可用于目的，这些地图可由在环境中导航行进的车辆使用。在某些情况下，环境可能会发生变化，使得地图无法准确地反映环境情况，这可能会导致地图数据不适于使用。更新地图数据以反映环境的变化可能十分困难或代价高昂。

附图说明

以下详细描述是参照附图来加以叙述的。在以下附图中，附图标记的最左侧数字标识第一次出现该附图标记的附图。在不同附图中使用相同的附图标记表示相似或相同的条目。

图1示出了检测环境中的对象并基于其而更新地图数据的示例自主车辆系统。

图2A至图2C示出了在不同时间捕获到的交叉点的一系列图像以及感知组件对该系列图像中的对象的检测和跟踪的示例。

图3A至图3C描绘了图2A至图2C的示例图像，其中针对由感知组件检测和跟踪的对象提出了对象位置指示符。

图4示出了用于检测、跟踪和标记环境中的对象以供地图更新系统处理的示例过程的流程图。

图5示出了用于基于检测和跟踪环境中的对象来更新地图数据的示例过程的流程图。

具体实施方式

本公开针对用于更新地图数据的系统和技术，例如，由在环境中导航行进的自主车辆使用的系统和技术。例如，根据本公开的系统和技术可允许基于由车辆利用当前地图数据获取的图像数据来更新环境的地图数据。

可以例如通过车辆的车载计算机来标记由车辆利用当前地图数据获取的图像数据，当(1)在图像数据中检测到的对象与地图数据中的对象不对应时，(2)在图像数据中未检测到地图数据中的对象时；或(3)图像数据中的对象呈现为与地图数据中的对象对应，但位置不同时(例如，已在交通灯组件上移动或重新定位的交通灯)。标记的图像数据可提供给地图更新系统，该地图更新系统可以是中央控制系统的一部分，其可操作以分析图像数据并生成可提供给系统操作员(例如查看用户)的对地图数据的提议更改。

在一些示例中，地图更新系统的感知组件可以检测图像数据中的对象。可在图像帧(例如，多个视频帧或多个静止图像帧)上跟踪检测到的对象。基于该跟踪，可以生成对象在地图数据的坐标系中的提议的位置(在本文中也称为候选位置或初始位置)。感知系统还可对检测到的对象进行分类(例如，作为道路标志、交通灯等)。地图更新系统的地图组件可被配置为确定地图数据是否包括在提议的位置处确定的分类的对象。

在检测到的对象未出现在地图数据中或对应于地图数据中已移动的对象的情况下(例如，检测到一分类的新对象，并且缺少相同分类的先前的映射的对象)，地图更新系统的投影组件可将提议的位置指示符投影到包含检测到的对象的视图的图像帧中。在一些示例中，投影组件可执行将提议的位置指示符和对应的标识符投影到与检测到的对象的提议的位置的三维坐标相对应的每个图像的二维图像空间中位置处的多个图像中。

类似地，在地图数据包括未出现在图像数据中的对象的情况下，地图更新系统的投影组件可以将位置指示符投影到图像帧中，以说明丢失的对象的先前的位置。

包括一个或多个位置指示符的图像帧可向查看用户显示。查看用户可提供关于位置指示符的反馈。例如，查看用户可以接受或拒绝提议的位置。然后，地图组件可以针对接受的提议的位置而将对象添加到地图数据中。此外，查看用户可以针对提议的位置被拒绝的对象请求附加的提议的位置(例如，基于附加的图像数据)。在一些实施方式中，地图更新系统可以是中央控制系统的其中一部分，地图更新系统可指示符一个或多个自主车辆行驶到感兴趣对象的位置以捕获附加图像数据。在先前的位置指示符的情况下，查看用户可提供反馈，该反馈确认地图数据中的对象不再存在于先前的位置处。

通过提供经更新的地图数据，本文描述的地图更新技术可改进计算设备的功能，计算设备例如自主车辆系统，经更新的地图数据反映环境的变化以用于执行后续操作，从而以降低的难度和成本来控制自主车辆。例如，经更新的地图数据可以允许诸如定位、感知(例如，检测、识别、分割、分类、跟踪等)、路线规划、轨迹生成等等后续过程更准确地执行，同时仅需更少的人工干预和/或中断。例如，在某些情况下，可以使用更快和/或更准确的地图更新来更快地生成自主车辆的轨迹，来减少干扰以及更短的窗口，在更短的窗口中，可能需要手动覆写以处理环境变化的窗口，并可以提高自主车辆中乘客的安全(例如，通过减少地图数据不准确的窗口，或者自主车辆可能基于将过时的地图数据不准确地应用到改变的环境而执行不适当的动作的窗口)。本文将针对计算机功能的这些和其他改进加以讨论。

示例架构

图1示出了可检测环境中的对象并基于其更新地图数据的示例自主车辆系统100。在一些情况下，自主车辆102可为自主车辆，该自主车辆被配置为根据美国国家公路交通安全管理局发布的5级分类操作，其描述了一种能够在整个行程中执行所有安全关键功能的车辆，其中，驾驶员(或乘员)在任何时候都不被期望对车辆进行控制。然而，在其他示例中，自主车辆102可以是具有任何其他级别或分类的完全或部分自主的车辆。此外，在某些情况下，本文所述的引导隔离技术也可以由非自主车辆使用。可预期地，本文所讨论的技术可应用于机器控制以外的领域，例如用于自主车辆。例如，本文讨论的技术可应用于视频游戏、制造、增强现实等。

根据本文讨论的技术，自主车辆102可从自主车辆102的一个或多个传感器104接收传感器数据。例如，传感器数据可包括位置信号(例如，GPS信号)、惯性信号(例如，加速度计信号、陀螺仪信号等)、磁力计信号、车轮编码器信号、速度计信号、累积的激光雷达和/或雷达点的点云，图像(或多个图像)、音频信号和/或缩减或其他环境信号等。例如，自主车辆102可从一个或多个传感器104接收图像106(1)至106(M)(统称为“图像106”)，其中M是大于1的任何整数。为方便起见，本文的讨论主要为图像，但可设想这些技术可应用于能够离散地表示对象的任何传感器数据(例如，包括表示对象的点的点云)。

在一些示例中，自主车辆可以包括计算设备108，计算设备108可包括定位组件110、感知组件112、规划组件114、地图组件116和/或控制系统接口118。

在至少一个示例中，定位组件110可以包括用于从一个或多个传感器系统104接收数据以确定车辆102的位置(在本文中也称为定位数据)的功能。例如，定位组件110可包括和/或请求/接收环境的地图(例如，从地图组件116)并且可连续地确定自主车辆在地图内的位置(例如，在全局地图和/或本地地图上定位自主车辆102的位置)。在某些情况下，定位组件110可以利用SLAM(同时定位和映射)或CLAMS(同时校准、定位和映射)来接收图像数据、激光雷达数据、雷达数据、IMU数据、GPS数据、车轮编码器数据等，以准确确定自主车辆的位置。在某些情况下，定位组件110可将定位数据提供给车辆102的各种组件，以确定用于生成候选轨迹的自主车辆的初始位置，如本文所讨论的。

感知组件112可包括一个或多个ML模型和/或其他计算机可执行指令，用于对来自从自主车辆102的环境收集的传感器数据的对象进行检测、识别、分割、分类和/或跟踪。在某些情况下，感知组件112可接收来自自主车辆102的一个或多个传感器104的传感器数据和来自定位组件的定位数据，从传感器数据确定感知数据，并将感知数据传输到规划组件114以供规划组件114使用以确定一个或多个轨迹，和/或控制自主车辆102的运动以穿过路径或路线，尽管任何这样的操作可以在各种其他组件中执行。在某些情况下，感知数据可包括与在图像中检测到的对象相关联的感兴趣区域(“ROI”)和/或轨迹。规划组件114可以至少部分地基于ROI和/或轨迹来确定用于控制自主车辆102的操作的指令。

例如，感知组件112可检测环境中的对象并对对象进行分类(例如，“交通信号”、“四轮车辆”、“半卡车”、“行人”、“动物”、“工事车辆”)。在所示示例中，自主车辆102可接收包括图像106(1)的一个或多个图像106，图像106(1)包括两个交通信号的表示。感知组件112可以生成ROI 122(1)和122(2)，其中每个对应于图像106(1)中表示的相应交通灯。在所示示例中，ROI 122表示为边界框，但也可以考虑用于识别ROI的其他技术。

在某些示例中，感知组件112还可跟踪的对象，例如与ROI 122相对应的交通灯。在一些示例中，轨迹可以包括在两个不同图像中检测到的对象之间的关联。轨迹由此可以是如下指示：感知组件112正在将两个对象检测识别为对应于相同对象。在某些示例中，轨迹可以附加地或替代地包括对象的当前、预测的和/或历史位置、行驶方向、速度、加速度、距离、一个或多个ROI和/或中心。在某些示例中，这些特征中的任何一个都可以是现实世界的值(例如，现实世界中对象的速度，其以米/秒、公里/小时为单位、相对于捕捉其图像的传感器的行驶方向)和/或图像的相关特征(例如，与对象表示在图像上的移动相关联的速度，其以像素/每秒为单位、标识图像中的对象表示的移动角度的行驶方向)。当然，对象的轨迹信息可包括任何数据结构和/或格式。

在一些情况下，定位组件110可确定自主车辆102的位置，例如，使用任何传感器数据来定位自主车辆102)。感知组件112可确定与自主车辆102附近的对象相关的数据、指定车辆目的地的路线数据、识别道路特征的全局地图数据(例如，在用于定位自主车辆的不同传感器模态中可检测的特征)、识别在车辆附近检测到的特征(例如，建筑物、树木、围栏、消防栓、停车标志的位置和/或尺寸，以及在传感器模态中可检测到的任何其他特征)的本地地图数据等。由感知组件112产生的数据可统称为“感知数据”。在某些情况下，地图数据可以由地图组件116取回和提供。更具体地，基于自主车辆102的位置，地图组件116可从存储器或网络加载或以其他方式取回本地地图数据和全局地图数据，以供感知组件112在从图像中检测和分类对象时使用。一旦感知组件112从图像中识别和/或分割了对象和/或确定了其他感知数据，该感知可向规划组件114提供感知数据，包括对象检测和/或实例分割。

在一些情况下，规划组件114可使用感知数据，感知数据包括ROI、轨迹和/或分割(下文进一步讨论)来生成用于控制自主车辆102的操作的指令。例如，规划组件114可以确定自主车辆102从第一位置到第二位置的路线；根据后退水平技术(例如，1微秒、半秒、两秒、八秒等)并且至少部分地基于ROI、跟踪和/或分割，基本上同时生成用于控制自主车辆102的运动的潜在轨迹，以控制车辆通过路线；以及选择潜在轨迹之一作为自主车辆102的轨迹，该轨迹可用于生成驱动控制信号，该驱动控制信号可传输以驱动自主车辆102的部件。

此外，感知组件112可以确定是否(1)在图像数据中检测到的对象不对应于地图数据中的对象、(2)在图像数据中未检测到地图数据中的对象；或者(3)图像数据中的对象呈现为对应于地图数据中的对象但具有不同的位置(例如，已在交通灯组件上移动或重新定位的交通灯)。若是如此，感知组件112可在多个图像帧中标记检测到的对象，并且使控制系统接口118通过一个或多个网络120将标记对象的图像发送到地图更新系统130。

如上所述和本公开中的讨论，车辆102可以通过一个或多个网络120将图像数据发送到一个或多个计算设备124。在一些示例中，车辆102可以将原始传感器数据(例如，没有检测到的对象的元数据或标识的图像或其他原始传感器数据)发送到一个或多个计算设备124。在其他示例中，一个或多个计算设备124可以将处理后的传感器数据和/或传感器数据的表示(例如，处理后的图像或其他处理后的传感器数据，例如，带有元数据或其他附加数据，其他附加数据用于识别检测到的一个或多个对象，这些对象的存在导致图像被标记)发送到一个或多个计算设备124。在一些情况下，车辆102可将传感器数据(原始的或处理的)作为一个或多个日志文件发送到一个或多个计算设备124。为了便于理解，以下讨论可能将传感器数据称为图像数据。然而，实施方式将不限于此，并且除了图像数据之外或替代图像数据，可以使用诸如上述那些的其他传感器数据。

在至少一些示例中，车辆102可以检测这种交通对象和/或特征确定这种检测到的信息和包括在地图数据中的信息之间的差异。此类差异的检测可用作触发器，该触发器用于将此类数据发送到一个或多个计算设备124以进行确认和/或验证。在至少一些这样的示例中，车辆102可基于差异(例如到达安全停车站)和/或向上和/或向下加权这种检测的贡献来执行一个或多个操纵，以便继续规划穿越环境的轨迹。

一个或多个计算设备124可以接收图像数据并且可以基于图像数据生成和/或更新地图数据。在至少一个示例中，一个或多个计算设备124可包括一个或多个处理器126和与一个或多个处理器126通信耦合的存储器128。在图示示例中，一个或多个计算设备124的存储器128可存储地图更新系统130，其可以包括或利用感知和定位组件132(以下称为感知组件132)、地图组件134、投影组件136和用户界面组件138的功能。在至少一个示例中，一个或多个计算设备124可以是管理多个自主车辆102的操作的自主车辆控制系统或者是该自主车辆控制系统的一部分。

如上所述，地图更新系统130可以通过一个或多个网络120接收图像数据。地图更新系统130可被配置为基于接收到的图像数据来更新地图。

在一些示例中，地图更新系统130的感知组件132可对图像数据执行感知处理以在图像数据中检测对象。可在多个图像帧(例如，多个视频帧或多个静止图像帧)上跟踪检测到的对象。该信息可进一步包括或者地图更新系统130可以另外确定地图数据的坐标系中的定位信息(例如，图像捕获传感器的位置)。更具体地，定位信息可在环境中定位车辆(或图像捕获传感器)，并且定位信息可以使用各种技术(例如，SLAM)和使用潜在的多类型的传感器数据(激光雷达、GPS、图像、IMU)来被生成。定位信息还可包括相机的姿势(位置、取向等)。

基于跟踪和定位信息，可以在地图数据的坐标系中生成针对对象的提议的位置。例如，基于车辆位置和相机姿态，可以确定与图像数据中的每个像素相关联的UTM(通用横轴墨卡托投影)位置(或诸如纬度和经度的其他位置)和高度。在一系列帧上，感知组件132可对环境中跟踪的对象的位置进行三角测量，并可以足够的确定性来确定每个帧的UTM和/或高度信息。换言之，在一些实施例中，感知组件132可将来自相机原点的射线投射到图像中的每个像素，并随时间对位置进行三角测量。在一些实施例中，可在没有深度数据的情况下执行该过程。在一系列帧上确定的与跟踪的对象的中心相关联的UTM和/或高度信息可以用作提议的位置。

感知组件132还可将检测到的对象分类(例如，作为道路标志、交通灯等)。在一些示例中，感知组件132可执行与以上关于感知组件112讨论的功能类似的功能和/或以类似的方式执行功能。

地图更新系统130的地图组件134可取回为捕获图像数据的环境、区域或地理位置而提供的地图数据。在示例中，捕获图像数据的环境、区域或地理位置可作为元数据提供给接收到的图像数据，或者由捕获图像数据的系统提供。

基于由感知组件132检测到的对象的位置和/或分类以及为捕获图像数据的环境、区域或地理位置提供的地图数据，地图更新系统130的感知组件132可确定地图数据是否包括在提议的位置处的确定分类的对象。

在检测到的对象未出现在地图数据中或与地图数据中已移动的对象相对应的情况下，地图更新系统的投影组件136可将提议的位置指示符投影至包括检测到的对象的视图的图像帧中。在一些示例中，投影组件136可以通过将提议的位置指示符和对应的标识符叠加到在每幅图像的二维图像空间中与检测到的对象的提议的位置的三维坐标相对应的位置处的多幅图像中来执行投影。例如，与跟踪的对象的中心相关联的UTM和/或高度信息可用作提议的位置，并可从UTM的3D坐标和高度信息投影到图像空间中的2D位置。

在本文讨论的示例或任何其他示例中，投影组件136可以将指示符投影到由任何车辆捕获的任何图像或视频中(只要车辆在环境中被正确地定位)。换言之，所提议的位置指示符被投影到其中的图像可以是用于检测和位置确定的相同图像、完全不同的图像或它们的某种混合。此外，可在与用于检测和位置确定的图像不同的时间捕获所提议的位置指示符被投影到的图像。

类似地，在地图数据包括未出现在图像数据中的对象的情况下，地图更新系统130的投影组件136可将先前的位置指示符投影到图像帧中以说明丢失对象的先前的位置。

用户界面组件138可向查看用户显示包括一个或多个位置指示符的图像帧。查看用户可向用户界面组件138提供关于位置指示符的反馈。例如，查看用户可提供接受或拒绝提议的位置的反馈。在先前的位置指示符的情况下，查看用户可提供反馈，该反馈确认或否认地图数据中的对象不再存在于先前的位置处。

基于该反馈，地图组件134可以针对接受的提议的位置而将对象添加到地图数据。在用户确认对象不再存在于先前的位置处的情况下，地图组件134可被配置为从地图数据中移除该对象。在提议的位置被拒绝的情况下，查看用户可以针对提议的位置被拒绝的对象而请求附加的提议的位置(例如，基于附加的图像数据)。在某些实施方式中，地图更新系统130可以是控制系统的一部分，控制系统可指示一个或多个自主车辆行驶到感兴趣的对象的位置以捕获附加图像数据。

尽管图1的示例系统基于由自主车辆捕获的图像数据进行操作，但实施方式不限于此，并且图像数据的来源可以变化。其他变型或特征可结合到一些实施例中。例如，一些实施例可并入过滤功能，该过滤功能被配置为确定所捕获的关于新的、丢失的或改变的一个或多个对象的数据与现有地图数据之间的差异。该过滤功能可确定差异是否高于阈值，并在差异低于阈值时丢弃或不执行投影和查看过程。这可减少因诸如校准错误的传感器或类似因素等问题所导致的误报数量。

此外，虽然本文讨论的示例涉及将位置指示符投影到图像数据中，但实施例不限于此。例如，附加地或可替代地，投影组件136可以将其他信息投影到图像中。可投影到图像中的一些其他非限制性类型的信息可以包括范围、尺寸和取向、检测到的对象的状态等。例如，取向信息可包括交通灯的偏转、俯仰和滚动。在特定示例中，可以将交通灯的偏转投影至图像中以帮助查看用户确定与交通灯相关联的将到来的道路或车道。

图2A-图2C示出了在不同时间捕获的交叉点的一系列图像200、220和240以及感知组件132对这一系列图像的示例检测和跟踪。更具体地，图2A示出了在第一时间捕获的交叉点的图像200(也称为图像帧或帧)，图2B示出了在第二时间捕获的交叉点图像220，而图2C示出了在第三时间捕获的交叉点的图像240。

为了便于说明和解释，对图中对象的检测和跟踪仅限于交通信号。实施例中并不限于该些交通信号，并且可以在类似的过程中检测和跟踪包括在地图数据中的任何其他对象。例如，可包括在地图数据中的其他对象，其包括其他标志和道路特征。更具体地，此类对象可包括标志和信号，例如人行横道信号(步行和/或手持指示符)、限速标志、停车标志、让行标志、街道名称标志、单向街道标志、转弯指引标志(例如红色禁止右转、禁止回转、禁止进入和错误行驶方向、禁止左转等)等。可能包含在地图数据中的道路特征可能包括绘制标记，例如人行横道、停车线、车道标记等。类似地，这种检测可以更一般地包括用于交通控制的环境中的对象的特征。作为非限制性示例，这样的特征可以包括但不限于交通灯的大小、范围、取向(例如偏转角)或状态(红灯、黄灯、绿灯等)等。

此外，尽管在图2A-图2C所示的示例中显示了三个图像帧，可使用更多或更少的图像帧，并且下方的讨论假定在帧200和220以及220和240之间处理附加的帧，这些帧并未示出以避免过度冗长。然而，实现方式可利用任何数量的帧。

在图2A中，感知组件132可对图像200执行检测和跟踪处理。感知组件132可检测与相对应的感兴趣区域(ROI)内的交通信号相对应的三个对象，跟踪的对象一202、跟踪的对象二204和跟踪的对象三206。如本文所讨论的，每个检测到的对象可与分类和/或对象轨迹相关联。

在图2B中，感知组件132可对图像220执行检测和跟踪处理。类似于图2A，感知组件132可检测和跟踪最左边和最右边的交通信号作为跟踪的对象一202和跟踪的对象三206。然而，由于各种原因中的任何一种，感知组件132可能检测中间交通灯，但没有将中间交通灯分配给跟踪的对象二204的轨迹。例如，在图像帧200和220之间的一个或多个图像帧中可能会没有检测到中间交通灯，导致丢失跟踪，或图2B中检测到的位置可能与在图2A中检测到的位置完整不同，以致感知组件132开始新的轨迹。更具体地，中间交通信号可检测为新对象并且被分配新轨迹作为跟踪的对象四208。

在图2C中，感知组件132可对图像240执行检测和跟踪处理。特别地，感知组件132可检测来自图2B的每个交通信号的轨迹，并且维持来自图2B的每个交通信号的轨迹分别作为跟踪的对象一202、跟踪的对象四4208和跟踪的对象三206。

基于在图像200、220和240中的每个被捕获时的检测和跟踪以及相机的位置，感知组件可估计每个跟踪的对象202-208的位置(例如，基于相机在捕获图像200、220和240中的每个时的位置以及跟踪的对象202-208与相机的相对位置)。相机在其捕获每个图像时在地图数据的坐标系中的位置可作为包括于图像中的元数据，或者地图更新系统130可以确定位置信息。感知组件132还可将检测到的对象分类(例如，作为道路标志、交通灯等)。在标题为“Pose Determination From Contact Points(从接触点确定姿势)”的美国专利NO.15/814,870中提供了对用于确定对象位置和分类的技术和系统的附加讨论，其全部内容通过引用并入本文。

地图更新系统130的地图组件134可取回为捕获图像数据的环境、区域或地理位置而提供的地图数据。在示例中，捕获图像数据的环境、区域或地理位置可以作为元数据提供给接收到的图像数据，或者由捕获图像数据的系统提供。

基于由感知组件132检测到的跟踪的对象202-208的位置和/或分类以及由地图组件134提供的地图数据，感知组件132可以确定地图数据是否包括在提议的位置处确定的分类的对应对象。

在检测到的对象没有出现在地图数据中的情况下，地图更新系统的投影组件136可将提议的位置指示符投影到包括跟踪的对象的视图的图像帧中。如上所述，投影组件136可以通过将提议的位置指示符和对应的标识符叠加到在每幅图像的二维图像空间中与检测到的对象的提议的位置的三维坐标相对应的位置处的多幅图像中来执行投影。更一般地来说，这种检测到的交通特征可与要在显示器上呈现的图形元素相关联。例如，并且作为非限制性示例，交通灯的偏转指示可呈现为箭头指示符，其范围可呈现为边界框，交通灯的状态可与颜色(例如，红灯、绿灯、黄灯)等相关联。在标题为“从接触点确定姿势(PoseDetermination From Contact Points)”的美国专利NO.15/814,870中提供了对用于将指示符或其他信息投影到与三维空间中的位置相对应的图像空间中的位置的技术和系统的附加讨论，其全部内容通过引用并入本文。

图3A-图3C示出了来自图2A-图2C的一系列图像帧，其中示例性提议的位置指示符(具有相对应的标识符)用于由感知组件132检测和跟踪的跟踪的对象。这样的图像帧可以由用户界面组件138向查看用户显示并且查看用户可以基于其而提供反馈(例如接受、拒绝和/或修改所指示符的提议的位置)。此外，尽管在图3A-图3C所示的示例中显示了三个图像帧，但是可使用更多或更少的图像帧，并且下方的讨论假定可以在未示出的帧300和320以及320和340之间处理附加的帧并将其显示给用户，以避免过度冗长。然而，可使用大于一的任何数量的帧加以实施。

更具体地，在图像300的视图中，对应于跟踪的对象一202的提议的对象位置一302示出为具有标识符“6”，并且具有由最左侧交通信号中心上的“x”指示的提议的位置。对应于跟踪的对象二204的提议的对象位置二304显示为具有标识符“4”并且具有由中间交通信号中心上的“x”指示的提议的位置。对应于跟踪的对象三206的提议的对象位置三306显示为具有标识符“5”并且具有由最右侧交通信号中心上的“x”指示的提议的位置。对应于跟踪的对象四208的提议的对象位置四308被示为具有标识符“10”和由中间交通信号中心上方的第二“x”指示的提议的位置。

图3B和图3C示出了对应于图像220和240的图像320和340。图像320和340中的每一个还包括如投影到相应图像的视图中的提议的对象位置302-308。如图所示，提议的对象位置一302、位置三306和位置四308从图像300到340在图像视图中保持它们相对于交通信号的位置。因为对应于提议的对象位置302、306和308的指示符保持相对于相对应交通信号的位置，所以查看用户可以确定提议的位置是正确的。另一方面，对应于提议的对象位置二304的指示符从图像300到图像320以及从图像320到图像340偏离中间交通信号。这可指示并且查看用户可以确定针对提议的对象位置二304的提议的位置是不正确的。实际上，提议的对象位置二304的提议的位置在地图数据的坐标空间中位于中间交通信号的后方(例如，交通信号和交通信号后方的天桥之间的位置)，如此可导致提议的位置指示符相对于中间交通信号发生偏离。因此，查看用户可以提供拒绝提议的对象位置二304的反馈。

虽然未示出，但在地图数据中包括未出现在图像数据中的对象的情况下，地图更新系统130的投影组件136可以将先前的位置指示符投影到图像帧中以说明丢失对象的先前的位置。在查看图像帧时，用户可以利用先前的位置指示符来确定对象仍然位于指示的位置(例如，如果指示符保持其相对于图像帧中未检测到的对象的位置，则检测可能失败并且对象可能仍然存在)。

如上所述，用户界面组件138可向查看用户显示包括提议的对象位置302-308的图像帧300、320和340。查看用户可以向用户界面组件138提供如上所述的关于位置指示符的反馈。例如，查看用户可以提供接受或拒绝提议的位置的反馈。在先前的位置指示符的情况下，查看用户可以提供反馈，该反馈确认或否认地图数据中的对象不再存在于先前的位置。

基于该反馈，地图组件134可以针对所接受的提议的对象位置而将对象添加到地图数据。在用户确认对象不再存在于先前的位置的情况下，地图组件134可被配置为从地图数据中移除该对象。在提议的对象位置被拒绝的情况下，查看用户可以为提议的位置被拒绝的对象而请求附加的提议的位置(例如，基于附加的图像数据)。

示例过程

图4示出了用于检测、跟踪和标记环境中的没有出现在地图数据中的对象以供地图更新系统处理的示例过程400。在一些示例中，过程400可以由系统100的一个或多个组件来完成。在一些示例中，示例过程400可由自主车辆102的车载计算机系统执行，或者可以全部或部分地由一个或多个计算设备124的方面执行。虽然图4是在交通灯和交通信号的特定上下文中所讨论的，但是一些实施例可以关于在地图数据中表示的环境中的任何类型的对象执行类似的操作。

在操作402中，自主车辆的一个或多个传感器(或捕获传感器数据的任何车辆或系统)可以在自主车辆的操作期间捕获图像。在操作404中，自主车辆上的计算设备可以对捕获的图像执行对象检测和分类。然后可以在步骤406中将图像中检测和分类的对象与地图数据中的对象进行比较。

在操作408中，车载计算设备可以确定任何检测到的对象是否被分类为交通灯并且不包括在地图数据中或不同地位于地图数据中。若是如此，可以继续到步骤410。否则，该过程可以继续到操作414并退出。

在操作410中，车载计算设备可以在元数据或其他数据中将检测到的被分类为交通灯并且不包括或不同地位于地图数据中的对象进行标记。然后，在步骤412中，车载计算设备可以向地图更新系统发送标记对象的多个图像以及关于检测到和标记的对象的元数据或其他数据。

请注意，虽然示例过程400描述为顺序操作，但是应当理解的是，此处讨论的操作可以以不同的顺序、同时和/或由一个或多个设备执行。此外，虽然过程400描述为发生于自主车辆，但实施方式并不限于此。例如，在一些实施例中，用于地图更新的对于对象的检测和标记可以由具有执行上述操作的车载传感器和计算设备系统的手动驾驶车辆执行。此外，在一些实施例中，执行上述操作的传感器和计算设备可不在车辆上或以与车辆进行关联的任何方式进行。此外，在其他实施例中，可以将所有图像上传到地图更新系统而无需进行处理和标记。

图5示出了用于基于检测和跟踪环境中的对象(例如交通信号)来更新地图数据的示例过程500。在一些示例中，示例过程500可由系统100的一个或多个组件来完成。在一些示例中，过程500可以由自主车辆控制系统的地图更新系统130执行。虽然在交通灯和交通信号的特定上下文中对图5进行了讨论，但一些实施例可针对在地图数据中表示的环境中的任何类型的对象执行类似的操作。

在操作502中，地图更新系统可以接收与自主车辆相关联的数据，该数据包括被分类为交通灯的对象的多个图像以及关于检测的信息，该对象不被包括在地图数据中或不同地位于地图数据中。然而，如上所述，实现方式不限于从自主车辆接收的输入。在其他实施例中，输入可以是原始传感器数据或标记或处理的图像数据的另一来源。

在504中，地图更新系统可以执行对象检测、跟踪和分类。然后可在步骤506中将图像中检测到的对象与地图数据中的对象进行比较。在步骤508中，地图更新系统可确定任何检测到的对象是否被分类为交通灯并且不包括在地图数据中或不同地位于地图数据中。若是，则继续到步骤510。否则，该过程可以继续至步骤518并退出。

在步骤510中，地图更新系统可以将标识符和位置指示符投影到与检测对象的提议的位置的三维坐标相对应的二维图像空间中的位置处的多个图像中，该检测对象被分类为交通灯并且不包括或不同地位于地图数据中。然后在步骤512中地图更新系统可向用户界面输出或显示包括投影的标识符和位置指示符的多个图像以供查看用户进行查看。

在步骤514中，地图更新系统可通过用户界面接收关于提议的位置的反馈。例如，接收到的反馈可以指示接受或拒绝提议的位置。例如，如果检测到的对象的位置指示符在多个帧上和/或当投影到从不同距离或角度拍摄的图像中时保持“附着”检测到的对象或在检测到的对象上方，查看用户可以确定提议的位置是正确的并提供接受提议的反馈。

在步骤516中，响应于反馈，地图更新系统可以基于提议的对象的位置来添加或更新地图数据中的一个或多个对象记录。

请注意，虽然示例过程500描述为顺序操作，但是应当理解的是，此处讨论的操作可以以不同的顺序、同时和/或由一个或多个设备执行。此外，虽然过程500描述为从自主车辆接收图像数据或作为自主车辆控制系统的一部分或描述为对自主车辆使用的地图数据进行更新，但实施方式并不限于此。例如，在一些实施例中，对象的检测和基于对象的检测而对地图数据的更新可以利用使用手动驾驶车辆捕获的图像，该手动驾驶车辆具有执行上述操作的车载传感器和计算设备系统。此外，在一些实施例中，用于捕获图像数据的传感器和计算设备可以不在车辆上或以与车辆进行关联的任何方式。

示例条款

A.一种方法，包括：在第一图像中检测交通灯；至少部分地基于在第一图像中检测到的交通灯，确定该交通灯在与地图数据相关联的三维坐标系中的提议的三维位置；将提议的三维位置投影到第二图像中，以确定交通灯在第二图像中的二维位置；用与交通灯相关联的提议的交通灯位置指示符将第二图像注释为带注释的图像；使显示器向用户显示带注释的图像；接收与带注释的图像相关联的用户输入；以及至少部分地基于该用户输入而更新地图数据以将交通灯的位置包括在地图数据中作为更新的地图数据。

B.如示例A所述的方法，其中第一图像与自主车辆的图像传感器相关联，该方法还包括：至少部分地基于图像传感器相对于地图数据的定向来确定交通灯的提议的三维位置；并将经更新的地图数据传输至自主车辆。

C.如示例A所述的方法，还包括：在第三图像中检测该交通灯；确定交通灯在三维坐标系中的第二提议的三维位置；将第二提议的三维位置投影到第二图像中以确定交通灯在第二图像中的第二二维位置；以及对第二图像进行注释以进一步包括与交通灯相关联的第二提议的交通灯位置指示符作为带注释的图像，第二提议的交通灯位置指示符在第二图像中的位置至少部分地基于交通灯的第二二维位置。

D.如示例C所述的方法，其中：接收用户输入包括：接收第一用户输入，该第一用户输入拒绝所提议的三维位置；以及接收第二用户输入，该第二用户输入接受第二提议的三维位置；以及更新地图数据包括：基于第二提议的三维位置，将地图对象添加到与交通灯相对应的地图数据中。

E.如示例C所述的方法，其中第一图像由与第三图像不同的设备捕获。

F.如示例A所述的方法，其中对第二图像进行注释包括将提议的交通灯位置指示符叠加到与提议的三维位置相对应的第二图像的二维图像空间中的第二图像中。

G.一种系统，包括：一个或多个处理器；以及存储器，其存储处理器可执行指令，所述处理器可执行指令当由一个或多个处理器执行时，使系统执行包括以下操作的操作：在第一传感器数据中检测交通对象，该交通对象与交通对象特征相关联；确定在与地图数据相关联的坐标系中交通对象的提议的特征；确定要在第二传感器数据中显示的提议的特征的表示；基于该表示将图形元素与第二传感器数据进行关联；使显示器向用户显示图形元素；接收用户输入；以及至少部分地基于用户输入来更新地图数据。

H.如示例G所述的系统，交通对象特征包括以下各项中的一项或多项：交通灯、交通灯取向、交通灯状态、交通标志、车道指示符或人行横道。

I.如示例G所述的系统，其中用户输入包括确认，并且其中更新地图数据包括：确定地图数据不包括与交通对象相关联的交通指示符；以及至少部分地基于所提议的特征将交通对象与地图进行关联。

J.如示例G所述的系统，所述操作还包括：在第三传感器数据中检测交通对象；确定交通对象的第二提议的特征；确定要在第二传感器数据中显示的第二提议的特征的第二表示；基于第二表示，将第二图形元素与第二传感器数据进行关联；并使显示器向用户显示第二图形元素。

K.如示例J所述的系统，其中：接收用户输入包括：接收第一用户输入，该第一用户输入拒绝所提议的特征；以及接收第二用户输入，该第二用户输入接受第二提议的特征；以及更新地图数据包括：至少部分地基于第二提议的特征来进行以下各项中的一项或多项：添加或更新地图数据以包括交通对象。

L.示例G所述的系统，其中第一传感器数据包括由第一设备获取的第一图像，并且第二传感器数据包括由第二设备获取的图像。

M.如示例L所述的系统，其中：所述第一传感器数据包括由第一图像传感器捕获的第一图像；第二传感器数据包括由第二图像传感器捕获的第二图像；交通对象包括交通灯；提议的特征包括交通灯相对于地图数据的提议的位置；以及将图形元素与第二传感器数据进行关联包括至少部分地基于图像传感器相对于地图数据的取向和第二图像传感器相对于地图数据的第二取向将提议的位置投影到第二图像中。

N.如示例G所述的系统，其中：更新地图数据包括确定更新的地图数据；第一传感器数据由与自主车辆相关联的设备捕获；以及操作还包括将更新的地图数据传输到自主车辆，自主车辆被配置为至少部分地基于更新的地图数据来穿越环境。

O.一种或多种存储处理器可执行指令的非暂时性计算机可读介质，所述处理器可执行指令当由一个或多个处理器执行时，使该一个或多个处理器执行包括以下各项的操作：在第一传感器数据中检测交通对象，该交通对象与交通对象特征相关；确定在与地图数据相关联的坐标系中交通对象的提议的特征；确定要在第二传感器数据中显示的提议的特征的表示；基于该表示将图形元素与第二传感器数据进行关联；使显示器向用户显示图形元素；接收用户输入；以及至少部分地基于用户输入来更新地图数据，作为更新的地图数据。

P.如示例O所述的一种或多种非暂时性计算机可读介质，其中对象是交通对象，其中用户输入包括确认，并且其中更新地图数据包括：确定地图数据不包括与交通对象相关联的交通指示符；以及至少部分地基于所提议的特征将交通对象与地图进行关联。

Q.如示例O所述的一种或多种非暂时性计算机可读介质，操作进一步包括：在第三传感器数据中检测对象；确定对象的第二提议的特征；确定要在第二图像中显示的第二提议的特征的第二表示；基于第二表示，将第二图形元素与第二图像进行关联；并使显示器向用户显示第二图形元素。

R.如示例Q所述的一种或多种非暂时性计算机可读介质，其中：接收用户输入包括：接收第一用户输入，该第一用户输入拒绝提议的特征；接收第二用户输入，该第二用户输入接受第二提议的特征；以及更新地图数据包括：至少部分地基于第二提议的特征来进行以下各项中的一项或多项添加地图数据或更新地图数据以包括对象。

S.如示例O所述的一个或多个非暂时性计算机可读介质，其中第一传感器数据包括由第一设备的第一图像传感器捕获的第一图像，而第二传感器数据包括由第二设备的第二图像传感器捕获的第二图像；该对象包括交通灯；提议的特征包括交通灯相对于地图数据的提议的位置；以及将图形元素与第二传感器数据进行关联包括至少部分地基于第二图像传感器相对于地图数据的取向和第二图像传感器相对于地图数据的第二取向而将提议的位置投影到第二图像中。

T.如示例15所述的一个或多个非暂时性计算机可读介质，其中第一传感器数据由与自主车辆相关的设备捕获，并且其中操作还包括将更新的地图数据传输到自主车辆，自主车辆被配置为至少部分地基于更新的地图数据来穿越环境。

尽管上述示例条款是针对一种特定实施方式进行描述的，但应理解的是，在本文档的内容中，示例条款的内容也可以通过方法、设备、系统、计算机可读介质和/或其他实现方式来实现。此外，示例A-T中的任何一者可单独实施或与示例A-T中的任何其他一个或多个示例组合实施。

尽管已经用特定于结构特征和/或方法行为的语言描述了主题，但是应当理解的是，权利要求中定义的主题不一定限于所描述的特定特征或动作。但是，具体的特征和行为已被公开为实施权利要求的示例形式。

本文中所描述的组件表示可以存储在任何类型的计算机可读介质中并且可以在软件和/或硬件中实现的指令。上述所有方法和过程可通过由一台或多台计算机或处理器、硬件执行的软件代码组件和/或计算机可执行指令或其某种组来体现并完全自动化。一些或所有方法可替代地体现于专门的计算机硬件中。

除非另有明确说明，否则诸如“可能(may)”、“可(could)”、“可能(may)”或“可能会(might)”等条件性语言在上下文中被理解为表示某些示例包括，而其他示例不包括某些特征、元素和/或步骤。因此，这种有条件的语言通常并不意味着某些特征、元素和/或步骤是以一个或多个示例所需要的任何方式，也不意味着一个或多个示例必须包括在具有或不具有用户输入或提示的情况下用于如下决策的逻辑：某些特征、元素和/或步骤是否被包括或者以任何特定的示例执行的。

除非另有明确说明，否则诸如用语“X、Y或Z中的至少一个”之类的连接词语言应理解为表示项目、术语等可以是X、Y或Z，或其任何组合，包括每个元素的倍数。除非明确描述为单数，否则英语字母“a”可表示单数和复数。

本文描述和/或在附图中描绘的流程图中的任何常规描述、元素或块，应理解为潜在地表示模块、区段或代码的部分，该模块、区段或代码的部分包括用于实现例程中的特定逻辑功能或元素的一个或多个计算机可执行指令。替代实施方式包括在本文描述的示例的范围内，其中元素或功能可被删除，或与所示或讨论的顺序不同的顺序方式执行，如本领域技术人员将理解的，取决于所涉及的功能，包括基本上同步的、以相反的顺序、具有附加操作或省略操作。

可对上述示例进行许多变化和修改，其中的元素将理解为在其他可接受的示例中。所有这样的修改和变化都可包括在本公开的范围内并受以下权利要求保护。

Claims (15)

1.一种方法，包括：

在第一传感器数据中检测交通对象，所述交通对象与交通对象特征相关联；

确定在与地图数据相关联的坐标系中所述交通对象的提议的特征；

确定要在第二传感器数据中显示的所述提议的特征的表示；

基于所述表示来将图形元素与所述第二传感器数据进行关联；

使显示器向用户显示所述图形元素；

接收用户输入；以及

至少部分地基于所述用户输入来更新所述地图数据。

2.根据权利要求1所述的方法，其中，所述交通对象特征包括以下各项中的一项或多项：

交通灯，

交通灯取向，

交通灯状态，

交通标志，

车道指示符，或

人行横道。

3.根据权利要求1至2中任一项所述的方法，其中，所述用户输入包括确认，并且

其中，更新所述地图数据包括：

确定所述地图数据不包括与所述交通对象相关联的交通指示符；以及

至少部分地基于所述提议的特征而将所述交通对象与所述地图数据进行关联。

4.根据权利要求1至2中任一项所述的方法，还包括：

在第三传感器数据中检测所述交通对象；

确定所述交通对象的第二提议的特征；

确定要在所述第二传感器数据中显示的所述第二提议的特征的第二表示；

基于所述第二表示，而将第二图形元素与所述第二传感器数据进行关联；以及

使所述显示器向所述用户显示所述第二图形元素。

5.根据权利要求4所述的方法，其中：

接收所述用户输入包括：

接收第一用户输入，所述第一用户输入拒绝所述提议的特征；以及

接收第二用户输入，所述第二用户输入接受所述第二提议的特征；以及

更新所述地图数据包括：

至少部分地基于所述第二提议的特征来进行以下中的一项或多项：添加所述地图数据或更新所述地图数据以包括所述交通对象。

6.根据权利要求1至5中任一项所述的方法，其中，所述第一传感器数据包括由第一设备获取的第一图像，而所述第二传感器数据包括由第二设备获取的图像。

7.根据权利要求6所述的方法，其中：

所述第一传感器数据包括由第一图像传感器捕获的第一图像；

所述第二传感器数据包括由第二图像传感器捕获的第二图像；

所述交通对象包括交通灯；

所述提议的特征包括所述交通灯相对于所述地图数据的提议的位置；以及

将所述图形元素与所述第二传感器数据进行关联包括至少部分地基于图像传感器相对于所述地图数据的取向和所述第二图像传感器相对于所述地图数据的第二取向而将所述提议的位置投影至所述第二图像中。

8.根据权利要求1至7中任一项所述的方法，其中：

更新地图数据包括确定更新的地图数据；

所述第一传感器数据是由与自主车辆相关联的设备捕获的；以及

所述方法还包括：

将所述更新的地图数据传输到所述自主车辆，所述自主车辆被配置为至少部分地基于所述更新的地图数据来穿越环境。

9.一种或多种存储指令的非暂时性计算机可读介质，所述指令当由一个或多个处理器执行时，使一个或多个计算设备执行根据权利要求1至8中任一项所述的方法。

10.一种系统，包括：

一个或多个处理器；以及

一种或多种存储指令的计算机可读介质，所述指令能够由一个或多个处理器执行，其中，所述指令当被执行时，使得所述一个或多个处理器执行包括以下各项的动作：

在第一传感器数据中检测交通对象，所述交通对象与交通对象特征相关联；

确定在与地图数据相关联的坐标系中所述交通对象的提议的特征；

确定要在第二传感器数据中显示的所述提议的特征的表示；

基于所述表示而将图形元素与所述第二传感器数据进行关联；

使显示器向用户显示所述图形元素；

接收用户输入；以及

至少部分地基于所述用户输入来更新所述地图数据，作为更新的地图数据。

11.根据权利要求10所述的系统，其中，所述用户输入包括确认，并且

其中，更新所述地图数据包括：

确定所述地图数据不包括与所述交通对象相关联的交通指示符；以及

至少部分地基于所述提议的特征而将所述交通对象与所述地图数据进行关联。

12.根据权利要求10所述的系统，其中，所述动作还包括：

在第三传感器数据中检测所述交通对象；

确定所述交通对象的第二提议的特征；

确定要在第二图像中显示的所述第二提议的特征的第二表示；

基于所述第二表示，将第二图形元素与所述第二图像进行关联；以及

使所述显示器向所述用户显示所述第二图形元素。

13.根据权利要求12所述的系统，其中：

接收所述用户输入包括：

接收第一用户输入，所述第一用户输入拒绝所述提议的特征；以及

接收第二用户输入，所述第二用户输入接受所述第二提议的特征；以及

更新所述地图数据包括：

至少部分地基于所述第二提议的特征来进行以下各项中的一项或多项：添加所述地图数据或更新所述地图数据以包括所述交通对象。

14.根据权利要求11至13中任一项所述的系统，其中：

所述第一传感器数据包括由第一设备的第一图像传感器捕获的第一图像，并且所述第二传感器数据包括由第二设备的第二图像传感器捕获的第二图像；

所述交通对象包括交通灯；

所述提议的特征包括所述交通灯相对于所述地图数据的提议的位置；以及

将所述图形元素与所述第二传感器数据进行关联包括至少部分地基于所述第二图像传感器相对于所述地图数据的取向和所述第二图像传感器相对于所述地图数据的第二取向而将所述提议的位置投影至所述第二图像中。

15.根据权利要求11至14中任一项所述的系统，其中，所述第一传感器数据是由与自主车辆相关联的设备捕获的，并且

其中，所述动作还包括将所述更新的地图数据传输至所述自主车辆，所述自主车辆被配置为至少部分地基于所述更新的地图数据来穿越环境。

Images