CN111833443A - 自主机器应用中的地标位置重建 - Google Patents

自主机器应用中的地标位置重建 Download PDF

Info

Publication number
CN111833443A
CN111833443A CN201910557052.1A CN201910557052A CN111833443A CN 111833443 A CN111833443 A CN 111833443A CN 201910557052 A CN201910557052 A CN 201910557052A CN 111833443 A CN111833443 A CN 111833443A
Authority
CN
China
Prior art keywords
observations
landmark
probability
probability distribution
landmarks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910557052.1A
Other languages
English (en)
Inventor
P·布特弗鲁瓦
D·尼斯特
I·埃登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of CN111833443A publication Critical patent/CN111833443A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明公开了一种自主机器应用中的地标位置重建。在各个示例中，可以使用3D重建来识别方向地标(如垂直地标)的位置。对方向地标的一组观测(例如，从移动的车辆上捕获的图像)可以通过修正观测以使方向地标沿着观测的特定方向对齐，而减少为一维查表。可以应用对象检测，并可以生成相应的一维查表来表示图像中检测到的垂直地标的存在。

Description

自主机器应用中的地标位置重建
背景技术
本公开的实施例涉及三维(3D)物体的重建，具体涉及3D方向、线 性和/或垂直物体的重建。3D重建在很多领域都有应用----例如计算机视觉 和计算机图形学-----通常是为了捕捉真实世界物体的形状和外观。
传统的3D重建技术存在诸多缺陷。例如，直接三角化(direct triangulation)试图从一组二维(2D)观测(observation)和相关联的摄像 机姿态(例如方向和位置)重建特征(例如，3D特征)。然而，直接三角 化有许多缺点。例如，直接三角化需要跨2D观测的数据关联(例如，给定 3D点的2D观测轨迹)，但在存在快速和大运动的情况下，数据关联往往 难以实现。在某些情况下，被重建的特征可能不会出现在某些2D观测中。 此外，直接三角化可能对噪声观测和摄像机方向敏感，可能不容易平行， 而且在有噪声观测的情况下，可能很难保证计算的上限。
另一种用于执行3D重建的传统技术是体(volumetric)重建，它对3D 空间进行采样，并在一组2D观测中寻找3D物体的标记。然而，体重建需 要解决大量的独立问题：即在3D空间中采样的每个点处的联合概率的计算。 由于计算复杂，传统的体重建方法通常不能在足够的时间内被执行以用于 实时应用。
发明内容
在自主驾驶的背景下，3D地标可以用于定位(例如，在地图上定位车 辆)，而垂直地标可以提供重要的经度精度。本公开的实施例涉及用于使 用3D重建识别方向地标的位置的技术。更具体地说，公开了用于识别方向 地标的位置的系统和方法，例如垂直地标。垂直地标可包括电线杆、标志 杆、直树、灯杆和/或诸如此类的物体。图像数据和/或来自方向地标的其他 标记(indicia)的数据可用于确定它们的位置。与传统的系统相比，本公开 的系统可以将标记数据合并为反映方向地标的简化形式，而不需要存储、 检索或分析所有原始标记数据。合并的标记数据可用于重建3D空间中方向 地标的位置。与传统的系统相比，3D重建可以简化为2D任务，例如，通 过确定2D平面(例如，3D空间的地平面)上方向地标的位置。检测到的 地标的位置可以嵌入到地图中，提供给地图提供者以便整合到地图中，或者其他方式。在涉及垂直地标检测的实施例中，检测到的垂直地标可以帮 助自主车辆在物理环境中导航。
附图说明
参照所附的附图，下面详细描述了自主机器应用中地标位置重建的现 有系统和方法，其中：
图1是根据本公开的一些实施例的示例地标探测器的框图；
图2A是根据本公开的一些实施例的、传感器配置和相应的二维观测 的示例的说明；
图2B是根据本公开的一些实施例的、另一种传感器配置和相应的二 维观测的示例的说明；
图2C是根据本公开的一些实施例的、另一种传感器配置和相应的二 维观测的示例的说明；
图3是根据本公开的一些实施例的、图像修正和查表生成的示例的说 明；
图4是根据本公开的一些实施例的、用于垂直地标重建的网格采样的 示例的说明；
图5是根据本公开的一些实施例的、用于垂直地标重建的模式找到的 示例的说明；
图6是根据本公开的一些实施例的、沿着与地标探测器的位移正交的 线播种的示例的说明；
图7是根据本公开的一些实施例的、示出了用于垂直地标重建的方法 的流程图；
图8是根据本公开的一些实施例的、示出了用于方向地标重建的方法 的流程图；
图9是根据本公开的一些实施例的、示出了用于方向地标重建的另一 方法的流程图；
图10是根据本公开的一些实施例的、车辆上可能的摄像机位置和相应 的视场的示例；
图11是根据本公开的一些实施例的、用于将检测到的地标量传送至一 个或更多个车辆和基于云的服务器的系统图；以及
图12是适用于实现本公开的一些实施例的示例计算设备的框图。
详细描述
本发明公开了与三维(3D)方向地标(landmark)(如3D垂直地标) 的检测相关的系统和方法。本公开可以关于便于地标检测的车辆进行描述。 合适车辆的实例在下文中关于图10和图11更详细地描述。此外，尽管本 公开可以关于便于地标检测的车辆进行描述，但不一定如此。本文描述的 方法和过程可以在没有车辆的情况下实现和/或在包括附加的或替代的结 构、组件和/或体系架构的配置中实现，而不偏离本公开的范围。例如，本 公开可能适用于机器人应用、增强现实(AR)应用、虚拟现实(VR)应 用、遥控机或无人机(UAV)应用，和/或识别垂直地标可能有助于定位、 导航和/或其他用途的其他应用。
本公开涉及使用3D重建识别方向地标的位置的技术。更具体地，本 文描述的实施例涉及标记捕获、修正(rectification)、标记合并、3D重建 和/或模式识别的方法和过程。在一些例子中，与使用二维(2D)查表(lookup) 的传统方法相比，标记合并可以将2D观测(observation)减小到相应的1D 查表，从而减少处理和存储需求。此外或替代地，重建3D方向地标(诸如 垂直地标)可被限制为2D重建，与使用3D网格相比，从而避免了采样3D 网格的维度之一的需求并减少了所需的许多相应计算。
如本文所述，一些传统的系统使用直接三角化以从一组二维(2D)观 测和相关的摄像机方向重建3D特征。直接三角化可用于使用直接线性变换 并选择在整组观测上最小化代数和/或几何误差的方案来估计观测到的3D 点的3D位置。然而，直接三角化有许多缺点。例如，直接三角化需要跨 2D观测的数据关联(例如，给定3D点的2D观测的轨迹)，但在存在快速 和大运动的情况下，数据关联往往难以实现。此外，直接三角化可能对噪 声观测和摄像机方向敏感，可能不易并行化，而且在有噪声观测的情况下， 很难保证计算的上限。
此外，一些传统的系统使用体重建来执行3D重建，体重建对3D空间 进行采样，并在一组2D观测中寻找3D对象的标记。这一原理在许多应用 中都得到了应用，比如从照片的一致性进行空间切割(carving)，从剪影进 行塑形，以及通过背景减法对运动物体进行概率重建。一般来说，体重建 构建3D概率分布，该分布反映了将特定3D位置处存在3D物体作为在一 组2D观测中存在该物体的联合概率。然而，体重建需要解决大量的独立问 题，即计算在3D空间中采样的每个点处的联合概率。计算3D概率分布的 计算复杂度为nd,其中n为每维度的样本数，d为维数(这里，d＝3)。在实 践中，如果体重建没有严重并行化，就不能在足够的时间内执行以用于实 时应用。
与传统系统相比，本公开的实施例涉及从经修正的一维(1D)空间中 的标记查表重建3D垂直地标或其他3D方向地标。在高水平上，可以生成 一个或更多个3D对象的一组2D观测。例如，一个或更多个传感器，诸如 摄像机、激光雷达等----可安装在移动的车辆上，并用于在车辆行驶时捕获 一个或更多个传感器的一个或更多个视野(包括垂直地标)的图像。在某 些情况下，2D观测(例如，二维的观测值)可以是3D观测(例如，二维 或三维的观测值)的一部分。摄像机配置信息可以与2D观测相关联。对象 检测(如边缘检测或线检测)可用于生成方向地标(例如，参数化，诸如 线、折线、分割掩码等)的指示。在检测垂直地标的实施例中，可以通过 对每个观测应用转换来修正每个观测，从而将垂直方向消失点推到无穷远。 或者，转换可以应用于检测到的方向地标(例如，线、折线、分割掩码等) 的指示。因此，对于传感器数据的每一帧，可以至少部分地基于摄像机配 置信息应用转换，以生成经修正的观测。
经修正的观测可包括经转换或平移的垂直地标，使得垂直地标相对于 经修正的观测垂直延伸(例如，沿经修正的观测的一个或更多个像素列延 伸)。对于每个经修正的观测，可以生成相应的1D查表，以通过概率分布 表示所检测到的垂直地标的存在，该概率分布是单个参数的函数(例如， 图像中归一化的水平位置)。将每个2D观测简化为1D查表(例如，通过 生成修正后的帧)，以后的计算可能不再需要考虑完整的2D观测(例如， 图像的每一个像素，或更确切地说，每一行像素)。因此，与使用2D查表 的传统方法相比，可能需要加载、缓存和/或缓冲的数据要少得多，因此可 以节省大量的处理和内存。
在一些实施例中，可以在不计算完整的3D概率分布的情况下重建3D 方向地标(如垂直地标)。例如，可以假设方向地标可以用它的具有2D平 面的横截面表示。例如，在识别垂直地标的实施例中，可以将该垂直地标 在地平面上的2D位置作为该3D位置的代表(例如，因为垂直地标沿着已 知的垂直方向延伸，所以可以分离出(factor out)垂直方向)。因此，3D 重建可能限制为2D重建。结果，2D网格可以在3D空间中采样(沿着地 平面)，对于每一个3D点，可以基于1D查表计算出垂直地标在该点的概 率。更具体地说，对于网格上给定的点，可以将该点的位置反向投影到每 个1D查表中来计算垂直地标位于该点的位置的概率----对于指定数量的1D 查表(例如，N个最近的1D查表，满足某些基线标准的N个最近的1D查 表，等等)。垂直地标位于该点位置的概率可以指定为垂直地标位于该位置 的不同概率(例如，每个1D查表对应一个)的联合概率。结果可能是2D 概率分布，其反映了垂直地标位于2D网格上每个点的可能性(例如，沿着 地平面)。将3D重建简化为2D重建，就不需要对3D网格的维度之一进行 采样，从而减少了与使用3D网格(诸如，在传统的体重建中)相比所需的 相应计算量。
从2D概率分布中，可以通过找到分布模式来确定垂直地标的位置。 可以使用任何传统技术，例如集群、模式查找、优化和/或类似的技术。在 一些例子中，可以使用迭代模式——爬山算法(如均值漂移)来识别模式。 一般情况下，为了保证所有的模式都是爬升的，在概率分布中，每个吸引 域(basin of attraction)中可能至少有一个种子(seed)。在一些实施例中， 可以假设模式之间以最小距离d分隔，(并使用具有无限支持的内核)来辅助识别所使用的种子数目的上限，同时确保每个点d内有至少一个种子。 此外，在垂直地标重建的情况下，如果每个2D观测中车辆所行进的距离小 于d，则只需沿着与车辆位移正交的线(如沿着地平面)播种即可识别所有 模式。在实际中，即使距离大于d，概率分布也可能是光滑的、各向异性的 (例如，沿着行进方向拉长)，以足以使种子有可能收敛到相应的模式。因 此，在某些例子中，种子可以沿着与车辆位移正交的线以间隔d处初始化。
在某些实施例中，对于每一个新的2D观测(或一组观测)，可以在世 界坐标中估计相应的概率分布，并可以生成种子以爬升到该模式。在一些 实施例中，均值漂移可以进一步应用于来自先前2D观测(或一组观测)的 模式。因此，多个种子可能会聚到同一个模式，这样就可以修剪重复的种 子。例如，基于距离的修剪方案可用于丢弃重复项(例如，在1米内)。在 一些实施例中，通过将重建的方向地标重新投影到传感器数据的帧中，并 通过与投影的地标进行比较识别出被检测到的方向地标的起点和终点，可 以恢复沿着该地标方向(例如，垂直地标的垂直高度)的重建的方向地标 的范围。在某些示例中，可以维护持久组的模式(例如跨时间)。在这样的 例子中，如果在持久组中还没有存在检测到的模式，则可以将该模式添加 到该组中，并可以发出一个信号，作为在特定位置找到新的垂直地标的通 知。垂直地标的位置可以嵌入到地图中，提供给地图提供者以便集成到地 图或映射的应用中等。因此，垂直地标可以帮助自主车辆在物理环境中导 航，特别是可以帮助自主车辆进行定位，从而实现更准确、更安全的导航。
现在参照图1，图1是根据本公开的一些实施例的示例地标探测器102 的框图。应该理解的是，本文所述的这种布置和其他布置只是作为例子进 行阐述。其他布置和元素(例如，机器、接口、函数、命令、函数组等) 可以用来补充或代替显示的布置和元素，有些元素可以完全省略。此外， 本文描述的许多元素都是功能实体，可以作为离散化或分布式组件实现， 也可以与其他组件一起实现，并且可以在任何适当的组合和位置实现。本 文描述的由实体执行的各种功能可以由硬件、固件和/或软件执行。例如， 可以由执行存储在内存中的指令的处理器来执行各种功能。
在较高的水平上，地标探测器102可以捕获3D方向地标(“方向地标”) (例如3D垂直地标(“垂直地标”))的标记，并可以从标记中识别方向地 标的位置。一般来说，地标探测器102或者其一部分可以作为单独的设备 来实现，也可以与一些机器或设备合并、安装到(例如，固定地或可移动 地)一些机器或设备，或以其他方式与某些机器或设备相关联。例如，地 标探测器102或其一部分可以安装到例如下面关于图10所述的示例车辆上 或图11中车辆1110A至1110N中的一个车辆上，或以其他方式与其合并。 在某些示例中，地标探测器102的组件、特征和/或功能可以使用图12中 计算设备1200的任何或所有特征、组件和/或功能来实现，本发明对此进 行了更详细的描述，或者可以包括附加组件或替代组件。
在图1所示的实施例中，地标探测器100包括标记捕获组件110、修 正组件120、标记合并组件130、网格采样器140、模式识别组件150、空 间范围组件160和地图整合组件170。此配置仅用于说明的目的，其他具有 类似或不同功能的配置可以在不偏离本公开的范围的情况下实现。例如， 地标探测器100的一些组件可能位于另一个车辆或设备上，例如图11中的 服务器1130，其在本文有详细描述。这些组件可以通过网络彼此通信，如 图11中的网络1120。
标记捕获组件110可包括一个或更多个传感器112。一个或更多个传 感器112可包括能够捕获传感器数据的任何类型的传感器，包括对3D物体 (诸如，垂直地标等)的观测。在某些实施例中，一个或更多个传感器112 可包括能够捕获、导出或以其他方式生成代表包括2D观测的帧的传感器数 据的一个或更多个传感器。例如，一个或更多个传感器112可以包括能够 生成图像(例如2D图像)的一个或更多个摄像机，如下面关于图10所描 述的任何或所有摄像机。此外或者替代地，一个或更多个传感器112可包 括一个或更多个全球导航卫星系统(GNSS)、一个或更多个雷达传感器、一 个或更多个超声波传感器、一个或更多个激光雷达传感器、一个或更多个 惯性测量单元(IMU)传感器、一个或更多个麦克风、一个或更多个立体 相机、一个或更多个广角相机、一个或更多个红外摄像机、一个或更多个 环绕摄像机、一个或更多个远程摄像机和/或中程摄像机和/或其他类型的传 感器的任意组合。来自这些传感器中的任何一个的传感器数据，无论是单 独的还是组合的，都可以用于捕获、导出或以其他方式生成出现在相应的 视场中的3D物体的2D观测的帧，例如垂直地标。
标记捕获组件110可包括控制组件114，该控制组件114与一个或更 多个传感器112通信地操作，以随着时间的推移生成和存储多个传感器数 据的帧。控制组件114可包括控制一个或更多个传感器112的电路和/或逻 辑，以捕获传感器数据并生成用作2D观测的一系列传感器数据的帧(例如 图像)。例如，在一个或更多个传感器112包括安装在车辆上的摄像机的实 施例中，当车辆行驶时，控制组件114可以控制摄像机，以捕获摄像机的 一个或更多个视野的一系列图像。由传感器数据表示的帧(例如图像)可 以在指定的时间、间隔、根据需要、在发生某些检测到的事件时、其某些 组合时或以其他方式生成。
标记捕获组件110可以包括配置组件116。配置组件116可配置为确 定或以其他方式访问配置数据，其包括反映一个或更多个传感器112在给 定时间点的位置和/或方向的位置和/或方向数据。一个或更多个传感器112 的配置数据可以与生成传感器数据的帧相关联地来确定或以其他方式访问 (例如，在捕获传感器数据时，生成帧时等)，配置数据可以与帧相关联。
例如，配置组件116可以包括位置组件，该位置组件被配置为确定或 以其他方式访问反映一个或更多个传感器112位置的位置数据。在将一个 或更多个传感器112安装到车辆的实施例中，可以确定车辆的位置并将其 用作一个或更多个传感器112的位置。位置数据可以基于从一个或更多个 传感器(诸如一个或更多个加速度计、一个或更多个磁力仪、一个或更多 个陀螺仪、一个或更多个磁罗盘和/或其他传感器类型)生成的数据确定或以其他方式访问位置数据，和/或可基于任何类型的定位技术，诸如全球导 航卫星系统(GNSS)、蜂窝网络和/或其他无线定位技术，或其他方式确定或 以其他方式访问位置数据。
此外或替代地，配置组件116可以包括方向组件，该方向组件配置为 确定或以其他方式访问反映在给定时间点上一个或更多个传感器112的方 向的方向数据。方向数据可以基于从一个或更多个传感器(诸如一个或更 多个加速度计、一个或更多个磁力仪、一个或更多个陀螺仪、一个或更多 个磁罗盘和/或其他传感器类型)生成的数据确定或以其他方式访问。此外 或替代地，可以例如基于已知的方向预先确定方向数据。例如，安装在车辆上的传感器可以配置有相对车辆的特定的已知方向。因此，可以基于所 述车辆的方向以及所述一个或更多个传感器112相对于所述车辆的方向来 确定所述车辆的方向，以及确定一个或更多个传感器112的方向。
在一些实施例中，可以关于世界坐标系反映配置数据。例如，方向数 据可以反映为方向矩阵(如旋转矩阵)或一些其他适当的表示。在一些实 施例中，可以使用与传感器数据的帧(如图像)相关联的配置数据(如位 置数据和/或方向数据)来计算透视投影矩阵(如4×3相机投影矩阵)。透 视投影矩阵可用于将世界空间中的任意3D点转换成它在参考的帧中的位 置(例如，图像空间，2D平面，等等)，其对应于由与具有已知位置和方 向的传感器112相关联的传感器数据表示的帧(例如图像)。例如，在一个 或更多个传感器112包括生成图像的摄像机的实施例中，可以使用4×3相 机投影矩阵将3D点转换为其在图像空间中的2D位置(例如，其在图像中 的2D位置)。一般来说，一个或更多个传感器112的透视投影矩阵可与生 成帧相关联地确定或以其他方式访问(例如，在捕获传感器数据时、生成 帧时等)，透视投影矩阵可与帧相关联。
在某些实施例中，修正组件120可以应用转换来修正由传感器数据表 示的一个或更多个帧(例如每一帧)，以调整反映在一个或更多个帧中的物 体的对齐。例如，为了便于检测帧中表示的方向地标(如垂直地标)，可以 对帧进行转换，以使沿特定方向对齐方向地标。通常，以垂直地标的图像 为例，垂直地标可包括电线杆、标志杆、直树、光柱等。如果生成垂直地 标的图像的摄像机指向向下或向上，则垂直地标在图像中可能不显示为垂 直。图2A-图2C说明了不同的传感器(如摄像机)配置和相应的2D观测 (如图像)的示例。
例如，在图2A中，垂直地标220A在摄像机210A的视场中，摄像机 210A向下看时看到垂直地标220A(如，以水平下方的角度)。由于向下看 的摄像机配置指向两个垂直地标240A之间(例如，摄像机安装在车辆上， 并指向行进方向)，两个垂直地标240A可能会在生成的图像230A中指向 向外。使用这种摄像机配置，摄像机210A捕获到的图像230A可能在图像 下方有一个垂直消失点。图2B中，摄像机210B水平地看向垂直地标220B。 当水平摄像机配置指向两个垂直地标220B之间时，这两个垂直地标220B 在生成的图像230C中基本上垂直出现。通过这种配置，摄像机210B捕捉 到的图像230B可能在无穷远或接近无穷远处有一个垂直消失点。相比之下， 在图2C中，摄像机210C在向上看时看到垂直地标220C(如以水平上方的 角度)。当向上看的摄像机配置指向两个垂直地标240C之间时，两个垂直 地标240C可能会在生成的图像230C中指向向内。通过这种配置，摄像机 210C捕捉到的图像230C可能在图像上方有一个垂直消失点。
一般来说，在涉及检测方向地标的实施例中，修正组件120可以应用 转换来对传感器数据表示的帧(例如，每一帧)进行修正，以使反映在帧 中的方向地标沿帧的特定方向对齐。以垂直地标的图像为例，修正组件120 可以应用转换来修正特定的图像(例如每个图像)，以使图像中的垂直地标 沿着图像的垂直方向对齐。在本例中，至少部分地基于摄像机的对应配置 数据，通过对每个图像进行转换，可以对每个图像进行修正，从而将垂直 方向消失点推到无穷远。在一些实施例中，对帧的转换可基于将与帧相关 联的相应的传感器方向(如摄像机矩阵)调整到水平方向、与地平面平行、 垂直于重力的方向或某些其他参考方向的点的转换。所得到的经修正的帧 可以反映经转换或平移的垂直地标，使垂直地标相对于经修正的帧垂直延 伸(例如，沿着经修正的帧的像素的一个或更多个列延伸)。
图3示出了根据本公开的一些实施例的图像修正的示例。在图3中， 摄像机帧310A、310B和310C反映了随着时间的推移所捕捉到的一系列垂 直地标的图像(例如，摄像机安装在车辆上并指向行进方向)。在图3中， 每个摄像机帧310A、310B和310C可以分别对应摄像机位姿320A、320B 和320C。在示例中，修正组件120可应用转换以基于摄像机位姿320A、 320B和320C修正摄像机帧310A、310B和310C，从而分别生成垂直地标 对齐经修正的帧的垂直方向的经修正的帧330A、330B和330C。如图3所 示，在摄像机帧310A、310B和310C中出现的垂直地标都是指向向外的， 而在经修正的帧330A、330B和330C中出现的相同垂直地标基本上是垂直 的。
此外或替代地，修正组件可以识别沿帧的特定方向对齐反映在传感器 数据的帧中的方向地标的转换，并将转换应用到帧中检测到的方向地标的 相应指示(如直线、折线、分割掩码等)。
回到图1，地标探测器102可包括标记合并组件130。标记合并组件 130可以将方向地标的标记坍塌(collapse)成1D查表，该1D查表是单个 参数的函数。例如，标记合并组件130可以将检测到的地标合并成概率分 布，该概率分布是单个参数的函数(例如图像中的水平位置)。在图1所示 的实施例中，标记合并组件130包括1D查表生成器134。
目标探测器132可以访问帧(例如图像)，诸如经修正的帧(例如，经 修正的图像)，并执行目标检测，以识别帧中表示的方向地标，诸如垂直地 标。目标探测器132可以使用任何合适的检测技术。例如，可以使用计算 机视觉、图像处理、机器学习、边缘或线检测、其某些组合或其他执行目 标检测。在某些实施例中，可以训练神经网络(例如，卷积神经网络(CNN)) 来检测特定类型的地标(例如，方向地标，诸如垂直地标)。对于任何给定 的帧(例如每个经修正的帧)，目标探测器132都可以执行目标检测以识别 帧中的方向地标。结果可以是帧的一部分(如像素、区域、边框等)的指 示，其包括检测到的地标(如二进制指示)、检测到的地标的可能性(例如， 概率)，或者其他。以垂直地标的图像为例，目标探测器132可以输出其中 已检测到垂直地标的图像的检测区域，检测区域包括检测到的垂直地标的 概率，每个像素的、像素作为垂直地标的一部分的概率，或其组合，或其 他。例如，在使用CNN时，结果或输出可以是分割掩码，其包括与可对应 于目标类型的一个或更多个图像的像素相关联的值(例如概率值)。在这样 的例子中，CNN可以被训练以输出二进制分割掩码，其识别垂直地标(例 如，作为第一类)和背景(例如，与垂直地标不相关联的像素，作为第二 类)或者可以被训练以输出识别不同类型的垂直地标(如树类、杆类等等) 和背景的多类分割掩码。这些仅仅是例子，任何合适的目标检测技术都可 以应用。此外，虽然有些示例是关于垂直地标进行描述的，但在某些实施 例中，可以检测到任何方向地标、地标类别或其他所需目标。
1D查表生成器134可以访问在传感器数据的帧(诸如来自目标探测器 132的输出)中检测到的目标的标记，并将标记简化为概率分布，它是单个 参数的函数(1D概率分布)。帧中检测到的目标的存在可以通过1D查表来 表示，1D查表返回概率分布的对应值。更具体地说，1D查表的单个参数 可对应于帧的特定维度，并且特定维度可垂直于经修正的帧中对齐的地标 的方向。将经修正的图像中的垂直地标作为一个例子，1D查表可反映垂直 地标位于经修正的图像的特定水平位置(例如，像素的列)处的概率。在 传感器数据的帧包括两个维度(如图像)的实施例中，通过将每个2D帧简 化为1D查表，1D查表可代替2D帧被存储和/或用于后续计算。因此，后 续的计算可不再需要考虑整个2D帧(例如，图像的每个像素，或者更具体 地说，图像的每一行像素)。此外，可以使用单个参数从1D查表中识别检 测到的地标，而不是使用具有两个参数的2D查表(例如，给定像素的x 和y值)。因此，与使用2D查表的传统方法相比，需要加载、缓存或缓冲 的数据要少得多，因此可以节省大量的处理和内存。
在某些实施例中，对于每一个经修正的帧，可以通过概率分布(单个 参数的函数)生成相应的1D查表来表示检测到的地标(例如，检测到的垂 直地标)的存在。一般来说，经修正的图像中的垂直地标可以表示为单个 参数族的线(例如，对θ参数化)，因为表示垂直地标的所有线都经过垂直 方向的消失点。图2A-图2C说明了基于不同垂直消失点位置的θ的不同参 数化。例如，在图2A和图2C中，通过垂直地标240A和240C的线分别 通过图像230A和230C中对应的消失点。在这些例子中，θ表示相对于图 像中的消失点的角位置。在图2B中，垂直消失点处于无穷远处时，参数θ 表示图像230B的水平位置。在一些实施例中，可以归一化参数化表示。在 图2B的参数化示例中，可以对帧上的位置范围进行归一化(如[0，1])。 此外或替代地，可以将1D概率分布离散化成1D直方图，以便于采样。因 此，在帧包含方向地标且其对应的消失点大致在无穷远处(例如经修正的 帧)的实施例中，可以在θ上参数化方向地标，以表示它们在帧中垂直于 方向地标的方向上的位置。
1D查表生成器134可以使用任何合适的技术生成1D概率分布。例如， 通过在检测到的垂直地标位置处放置具有指定方差的内核并对内核求和， 可以使用内核密度估计生成1D概率分布。图3说明了根据本公开的一些实 施例的三个示例1D查表340A、340B和340C。在图3中，经修正的帧330A、 330B和330C包括与经修正的帧的垂直方向对齐的垂直地标。在本例中， 1D查表340A、340B和340C分别基于经修正的帧330A、330B和330C的 水平位置而被参数化，并且示例内核已被放置在1D查表340A、340B和 340C中经修正的帧330A、330B和330C中检测到的垂直地标的位置处。 这些参数化表示可不随图像的行而变化。因此，垂直地标的位置可以通过 以不随执行查表的行而变化的方式执行1D查表而从图像或传感器数据的 其他帧中识别出来。
将传感器数据所表示的部分或全部帧(例如图像)简化为相应的1D 查表可能会节省大量的处理和内存。例如，在一些实施例中，1D查表生成 器134可以将指定数量的1D查表存储在滚动缓冲区中。作为非限制性示例， 通过存储最近的10或50个(或一些其他数字)1D查表而不是最近的10 或50个图像，可能需要存储的数据要少得多。类似地，当从1D查表中识 别出地标的位置时，可能需要加载和/或缓存的数据要少得多。因此，转换 传感器数据的帧，使所有地标都出现在一维(例如横截面)中，可能有助 于节省大量处理和内存。
回到图1，地标探测器102的网格采样器140可以基于传感器数据的 一组帧和/或相应的1D查表来重建方向地标。更具体地说，网格采样器140 可以使用与一组帧(例如最近的N帧)对应的一组1D查表来对帧中出现 的方向地标执行3D重建。通常，传感器数据的帧可以反映3D方向地标的 2D观测结果。3D方向地标的位置和/或位置的概率分布可以在3D坐标系 (例如3D世界空间)中识别出。例如，世界坐标系可以关于绝对坐标(例 如经度、纬度和高度)、相对坐标(例如，关于地标探测器102的位置来定 义)、其一些组合，或者以其他方式来定义。如上所述，传感器数据的帧可 以与用于生成该帧的一个或更多个传感器112的相应配置数据和/或相应的 透视投影矩阵相关联(例如，关联地存储在滚动缓冲区中)。因此，网格采 样器140可以通过在3D坐标系中采样点的网格、将3D点转换为帧中相应 的位置(如，其在图像上的2D位置)以及从对应的1D查表中访问概率以 识别出地标通过给定3D点的概率，来执行3D重建。
在一些实施例中，可以在不计算完整的3D概率分布的情况下对诸如 垂直地标之类的3D方向地标进行重建。更具体地说，可以假设方向地标可 以用其具有2D平面的横截面表示。例如，在识别出垂直地标的实施例中， 可以将垂直地标在地平面上的2D位置视为表示3D位置(例如，由于垂直 地标沿着已知的垂直方向延伸，因此可以分离出垂直方向)。因此，在某些 实施例中，网格采样器140可以从3D坐标系中的平面(例如地平面)采样 点的网格，并计算地标通过每个点的概率。因此，3D重建可限制为2D重 建，避免了对3D网格的维度之一进行采样，从而减少了与使用3D网格相 比所需的相应计算量----例如在传统的体重建中。
对于网格上的每个采样点(例如地平面上的每个单元(cell))，网格采 样器140可以使用1D查表和相应的配置数据和/或透视投影矩阵来确定方 向地标通过该点的概率。图4是根据本公开的一些实施例的、用于垂直地 标重建的网格采样的示例的说明。在图4中，网格410可以与3D坐标系的 地平面重合。对于网格410中的每个单元，网格采样器140可以确定垂直 地标通过该单元的概率。例如，对于网格410中的给定单元，单元在3D空 间中的位置可以反投影到每个1D查表中，以识别出针对指定数量的1D查 表(例如，N个最近的1D查表)中的每一个，垂直地标位于该单元的位置 处的概率。在一些实施例中，1D查表可以将检测到的地标的位置表示为概 率。因此，投影为1D查表可涉及查找和使用来自1D查表的概率。在目标 检测得到检测区域(如直线、方框等)的实施例中，如果投影落在指定公 差范围内的检测区域上，则可以指定与检测区域相关联的对应概率。这些 和其他用于确定概率的技术都可以实现。
继续上面的例子，垂直地标位于单元的位置处的概率可以被分配垂直 地标位于该位置的不同概率的联合概率，每个1D查表一个。以单元420 为例，对于一组N个经修正的帧中的每一个，可以使用相应的1D查表来 确定垂直地标通过单元420的概率，得到一组N个概率，每个1D查表一 个。垂直地标通过单元420的概率可以被分配N个概率的联合概率。在一 些实施例中，可以修改联合概率，以通过将偏差γ添加到各个概率中，迫 使其严格为正，从而考虑假的负检测。网格采样的结果可以是2D概率分布， 其反映垂直地标位于2D网格(例如，沿地平面)上的每个点处的可能性。
在一些实施例中，网格中每个点的概率计算可以跨多个处理器并行进 行，例如图形处理单元(GPU)。例如，由于每个点的概率计算可能独立于 其他点的概率计算，每个点的概率计算可以被分配给不同的GPU或相同 GPU的不同线程，以实现每网格采样线程方案。因此，可以在GPU上生成 网格，每个样本的概率被并行解答。例如，对于大小为1000*100的网格， 可以同时制定和解决10∧5个问题。一般来说，本文描述的概率计算可适合 GPU加速，因为它的内存带宽要求较低。更具体地说，在一些实施例中， 对于传感器数据的每一帧，只需要上传仅单个1D查表和相应的转换矩阵 (例如摄像机投影矩阵)。因此，这些元素可以上传到滚动缓冲区中，该缓 冲区维护最近的N对{1D查表，转换}。在一些例子中，数据存储可以减少 为Nx(查找分辨率+摄像机位姿)元素。本实施例仅用于举例目的，其他 适当的变化可以在本公开的范围内实现。
地标探测器102的模式识别组件150(图1)可以访问概率的网格，其 形成指示方向地标的位置的概率分布(如2D概率分布)，可以通过找到分 布的模式来解析位置。图5是根据本公开的一些实施例的用于垂直地标重 建的模式寻找的示例的说明。在图5中，描述了具有模式520A和520B的 2D概率分布510。任何传统技术都可以用于识别模式520A和520B，例如 集群、模式查找、优化和/或类似的技术。在一些例子中，迭代模式——攀 升算法，诸如均值漂移，可以用来识别模式520A和520B。通常，可以实 现任何合适的模式查找技术。
在例子中，为了保证所有的模式都是爬升的，在概率分布中，种子组 件152可以初始化每个吸引域中的至少一颗种子。在一些实施例中，可以 假设模式之间以最小距离d分隔，(并使用具有无限支持的内核)来辅助识 别所使用种子数的上限，同时确保在每个点的d内有至少一颗种子。此外， 在垂直地标重建的情况下，如果传感器数据的每帧中(例如，安装有地标 探测器102的车辆)行驶的距离小于d，则只沿着正交于位移的线(例如， 沿着地平面)的播种应识别出所有模式。在实际中，即使距离大于d，概率 分布也可能是光滑的、各向异性的(例如，沿着行进方向拉长)，以足以使 种子有可能收敛到相应的模式。因此，在某些示例中，种子组件152可以 将种子初始化为沿与地标探测器102的位移正交的直线间隔为d的迭代模 式爬山算法。图6是根据本公开的一些实施例的、沿着与地标探测器的位 移正交的直线播种的示例的说明。在图6中，地标探测器沿x方向行进， 种子610沿y轴以彼此之间距离为d而初始化。这只是播种的一个例子， 可以实现其他变体。
在一些实施例中，对于由传感器数据表示的每个新的帧(或一组帧) 可以估计相应的概率分布(如2D网络)，并可以生成种子以爬升到该模式。 在一些实施例中，均值漂移可以进一步应用于来自前一帧(或一组帧)的 模式。因此，多个种子可会聚到同一模式，这样就可以修剪重复的种子。 因此，去重复组件154可以实现基于距离的修剪方案，例如通过丢弃重复 数据(例如，在1米或其他一些距离内)。在某些示例中，模式识别组件150 可以维护或以其他方式访问持久组模式(例如，跨时间)。在这样的例子中， 如果在持久组中还没有存在检测到的模式，则模式识别组件150可以将检 测到的模式添加到该组中，并可以触发发射信号，以用作在特定位置发现 新地标的通知。
在一些实施例中，空间范围组件160(图1)可以恢复沿着地标方向重 建的方向地标的范围(例如，垂直地标的垂直高度)。例如，重建的方向地 标可以在3D坐标系(例如，世界空间)中表示为一条经过所识别出的模式 的线。空间范围组件160可以通过将重建的方向地标(例如，线)重新投 影到参考的帧(例如，图像空间、2D平面等)，来恢复从其中检测到方向 地标的传感器数据的帧(如图像)的范围。例如，对于与检测到的方向地 标相关联的每一帧Fi(例如，一组N帧中的每一帧)，空间范围组件160 可以执行以下操作中的一个或更多个。空间范围组件160可以通过与重新 投影的地标的比较，来检测出或以其他方式识别出帧中出现的检测到的方 向地标的起点si和终点ei。对于识别出的起点中的每一个，空间范围组件 160可重建通过一个或更多个传感器112(例如，摄像机)和起点的3D光 线，识别出最接近重建地标的光线，并识别出重建地标上最接近光线的相 应点smin。对于识别出的终点中的每一个，空间范围组件160可以重建通过 一个或更多个传感器112(例如，一个或更多个摄像机)和终点的3D光线， 识别出最接近重建地标的光线，并识别出重建地标上最接近光线的相应点 emin。通过对每一帧Fi重复这个过程，空间范围组件160可以生成一组可能的起点{s1 min,s2 min,…,sN min}和一组可能的终点{e1 min,e2 min,…,eN min}。空间范 围组件160可以例如，使用K-均值聚类、其他一些聚类技术或其他方法从 各自的组中识别出代表性的起点和终点。
在某些实施例中，地图整合组件170可将检测到的位置和/或方向地标 的范围嵌入或以其他方式整合到地图中。例如，在检测垂直地标位置的实 施例中，这些位置可以嵌入到地图(例如，高清地图)中，向地图提供者 提供以用于这种嵌入，上传到地标位置的存储库中，和/或诸如此类。因此， 垂直地标可以帮助自主车辆在物理环境中导航，特别是可以帮助自主车辆 执行定位，从而实现更准确、更安全的导航。
现参照图7，这里描述的方法700的每个块包含一计算过程，可以使 用硬件、固件和/或软件的任何组合来执行该计算过程。例如，执行存储在 内存中的指令的处理器可以实施各种功能。该方法还可以体现为存储在计 算机存储介质上的计算机可用指令。该方法可以由独立的应用程序、服务 或托管式服务(独立的或与另一个托管服务相结合的)或另一个产品的插 件提供等等。此外，作为示例关于图1的地标探测器102描述了方法700。 但是，该方法可附加地或替代地由任何一个系统或系统的任何组合来执行， 包括但不限于本文描述的系统。
图7是根据本公开的一些实施例的、示出用于垂直地标重建的方法700 的流程图。在框B702处，方法700包括接收垂直地标的一组观测。例如， 标记捕获组件110可以生成一组图像和相应的摄像机配置信息，并且标记 捕获组件110可以向修正组件120提供图像和相应的配置信息。在某些实 施例中，目标探测器132可对图像执行目标检测，以生成方向地标的指示 (例如，参数化，如线、折线、分割掩码等等)，并且方向地标的指示(例 如，分割掩码)和相应的配置信息可以提供给修正组件120。上述仅仅作为 示例，其他示例也可以在本公开的范围内实现。
在框B704处，方法700包括修正观测。例如，修正组件120可以至 少部分地基于摄像机配置信息对图像应用转换，以生成一组经修正的观测。 转换可以沿经转换图像的垂直方向对齐至少一个垂直地标。此外或替代地， 可以将转换应用于检测到的方向地标的指示(例如线、折线、分割掩码等)， 以生成一组经修正的观测。
在框B706处，方法700包括从每个经修正的观测生成第一概率分布。 例如，标记合并组件130可为每个经转换的观测生成代表至少一个垂直地 标位于经转换的观测的列中的概率的第一概率分布。每个第一概率分布可 能是单个参数的函数。
在框B708处，方法700包括针对网格中每个点，基于每个第一概率 分布计算垂直地标位置位于该点的概率。例如，网格采样器140可以针对 从地平面采样的每个点识别垂直地标位于该点的概率。每个点的概率可以 至少部分地基于每个经转换的观测的第一概率分布。
在框B710处，方法700包括使用针对网格中每个点的概率生成第二 概率分布。例如，网格采样器140可以使用从地平面采样的每个点的概率 生成第二概率分布。第二概率分布可以包括，针对每个点，垂直地标位于 该点的一组概率(每个经转换的观测一个)的联合概率。
在框B712处，方法700包括基于第二概率分布识别垂直地标位置。 例如模式识别组件150可以通过找到第二概率分布的模式来识别垂直地标 的位置。
在框B714处，方法700包括使用垂直地标位置执行一个或更多个操 作。例如，地图整合组件170可以将垂直地标位置嵌入或以其他方式整合 到地图中。因此，垂直地标可以帮助自主车辆在物理环境中导航，特别是 可以帮助自主车辆执行定位，从而实现更准确、更安全的导航。
现在参照图8，这里描述的方法800的每个框包含一计算过程，该计 算过程可以使用硬件、固件和/或软件的任何组合来执行。例如，执行存储 在内存中的指令的处理器可以实施各种功能。该方法还可以体现为存储在 计算机存储介质上的计算机可用指令。这些方法可以由独立的应用程序、 服务或托管服务(独立的或与另一个托管服务组合)或另一个产品的插件 提供等等。此外，作为示例关于图1的地标探测器102描述了方法800。但 是该方法可以附加地或替代地由任何一个系统或系统的任何组合执行，包 括但不限于本文描述的系统。
图8是根据本公开的一些实施例的、示出用于方向地标重建的方法800 的流程图。在框B802处，方法800包括修正观测，以沿着经修正的观测的 方向对齐方向地标。例如，观测可以是3D空间、2D或3D激光雷达数据、 分割掩码(无论是在2D布局，稀疏表示或其他中)，或其他一些表示的图 像，修正组件120可通过对每个观测进行转换来修正观测以生成经修正的 观测，该经修正的观测沿着所述经修正的观测的方向对齐一个或更多个方 向地标。
在框B804处，方法800包括生成表示方向地标沿经修正的观测的方 向的位置的查表。例如，标记合并组件130可以为该组经修正的观测中的 每个经修正的观测生成一查表，其表示一个或更多个方向地标沿经修正的 观测的方向的位置。在一些实施例中，每个查表可以是一概率分布，它是 单个参数的函数。
在框B806处，方法800包括基于查表，对表示方向地标位于网格中 的点处的概率网格进行采样。例如，网格采样器140可以通过针对从3D空 间采样的网格中的每个点，至少部分地基于用于每个经修正的观测的查表 计算一个或更多个方向地标之一位于该点的概率，来生成概率分布。
在框B808处，方法800包括基于概率网格识别方向地标的位置。例 如，模式识别组件150可以通过在概率分布中找到模式来识别3D空间中一 个或更多个方向地标的位置。
现在参照图9，这里描述的方法900的每个框包含一计算过程，该计 算过程可以使用硬件、固件和/或软件的任何组合来执行。例如，执行存储 在内存中的指令的处理器可以实施各种功能。该方法还可以体现为存储在 计算机存储介质上的计算机可用指令。方法可以由独立的应用程序、服务 或托管服务(独立的或与另一个托管服务组合)或另一个产品的插件提供 等等。此外，作为示例关于图1的地标探测器102描述了方法900。但是， 该方法可附加地或替代地由任何一个系统或系统的任何组合来执行，包括 但不限于本文描述的系统。
图9是根据本公开的一些实施例的、示出用于方向地标重建的方法900 的流程图。在框B902处，方法900包括通过沿着经修正的2D观测的方向 对齐方向地标来修正一组2D观测。例如，修正组件120可通过对每个2D 观测进行转换来对一组二维观测进行修正以生成经修正的2D观测，该经修 正的2D观测沿着经修正的2D观测的方向对齐一个或更多个方向地标。
在框B904处，方法900包括生成1D查表，其表示在经修正的2D观 测中出现的方向地标的位置。例如，标记合并组件130可以，针对一组2D 观测中的每个经修正的2D观测，生成一1D查表作为1D概率分布，其表 示经修正的2D观测中出现的一个或更多个方向地标。
在框B906处，方法900包括通过针对网格中的每个点，基于1D查表 计算方向地标之一位于该点的概率来生成概率分布。例如，网格采样器140 可以通过针对网格中的每个点，基于与一组2D观测相关联的1D查表计算 一个或更多个方向地标之一位于该点的概率，来生成概率分布。
在框B908处，方法900包括基于概率分布识别方向地标的位置。例 如，模式识别组件150可以通过在概率分布中找到模式来识别一个或更多 个方向地标的位置。
虽然本文中描述的实施例涉及垂直地标的检测，但在一些实施例中， 可以检测到任何方向地标(例如，水平地标、以某个角度(诸如45度)出 现的地标等)。此外，尽管本文描述的实施例涉及作为2D概率分布的表示 垂直地标位置的2D网格的生成，但在一些实施例中，可以对分布的任何合 适的几何形状进行采样(例如，3D网格、一些不规则的2D或3D形状等)。 此外，尽管本文描述的实施例涉及生成和使用1D查表，不需要如此。更一 般地，一些实施例可以在传感器数据的多维框架上执行降维，以生成坍塌 标记的一个或更多个维度的查表。这些和其他变化将在本公开中考虑。
示例车辆
在一些实施例中，图1中的地标探测器102可以安装到移动的车辆上， 并用于在车辆行驶时捕获一个或更多个传感器的一个或更多个视野(包括 垂直地标)的图像。图10是根据本公开的一些实施例的、根据本公开的一 些实施例的，在车辆1002上可能的摄像机位置和相应的视场的示例。摄像 机和各自的视场是简单的例子，并不意图是限制性的。例如，可以使用一 个或更多个摄像机，可以包括额外的和/或替代的摄像机，和/或摄像机可以位于车辆1002的不同位置处。一般来说，车辆1002可以包括乘用车，例 如轿车、卡车、公共汽车和/或可容纳一名或更多名乘客的其他类型的车辆。 在某些实施例中，车辆可以是空降车辆(例如飞机、直升机等)、航海工具 (如船、潜艇等)、空间或运载工具(如火箭、卫星等)、自主车辆、半自 主车辆、非自主车辆、室内/室外各种大小的机器人或其他。
一般来说，地标探测器102和/或车辆1002可包括任意数量的摄像机 类型，包括一个或更多个立体摄像机1068、一个或更多个广角摄像机1070、 一个或更多个红外摄像机1072、一个或更多个环绕摄像机1074、一个或更 多个远程和/或中程摄像机1098和/或其他类型的摄像机。摄像头可以用来 捕获车辆1002的整个外围的图像数据。所使用的摄像机的类型取决于车辆 1002的实施例和要求，任何摄像机类型的组合可用于提供车辆1002周围的 必要的覆盖。此外，摄像机的数量可因实施例的不同而不同。例如，车辆 可包括6个摄像机、7个摄像机、10个摄像机、12个摄像机和/或另一数目 的摄像机。作为例子但不是限制，这些摄像机可支持低压差分信号(LVDS) 和/或千兆以太网。
摄像机的摄像机类型可包括但不限于可适于与车辆1002的组件和/或 系统一起使用的数码相机。一个或更多个摄像机可以在汽车安全完整性级 别(ASIL)B和/或另一个ASIL下操作。根据实施例，摄像机类型可以具 有任何图像捕获速率，例如60帧每秒(fps)、120帧每秒、240帧每秒等。 这些摄像机可以使用滚动快门、全局快门、另一种类型的快门或它们的组 合。在某些示例中，颜色滤镜阵列可包括红色无色无色无色(RCCC)颜色 滤镜阵列、红色无色无色蓝色(RCCB)颜色滤镜阵列、红色蓝色绿色无色 (RBGC)颜色滤镜阵列、FoveonX3颜色滤镜阵列、拜耳传感器(RGGB) 颜色滤镜阵列、单色传感器颜色滤镜阵列和/或另一种类型的颜色滤镜阵列。 在一些实施例中，可以使用透明像素摄像机，例如带有RCCC、RCCB、和 /或RBGC颜色滤镜阵列的摄像机，以努力提高光敏度。任何合适的镜头都 可以使用，包括具有窄视场镜头、宽视场镜头、鱼眼镜头等的镜头。
在一些例子中，一个或更多个摄像头可用于执行高级驾驶员辅助系统 (ADAS)功能(例如，作为冗余或故障安全设计的一部分)。例如，可以 安装多功能的单摄像头，以提供包括车道偏离警告、交通标志辅助和智能 前照灯控制的功能。一个或更多个摄像机(例如全部摄像机)可以同时记 录和提供图像数据(例如，视频)。
在安装装配时可以安装一个或更多个摄像机，诸如定制设计的(3D打 印)装配，以便减少来自于汽车中的杂散光和反射光(例如，来自仪表板 的反射被反射到挡风玻璃镜子中)，其可能会干扰摄像机的图像数据捕获能 力。对于翼镜安装组件，翼镜组件可以是自定义3D打印的，使得摄像机安 装板与翼镜的形状匹配。在一些例子中，摄像机可以集成到翼镜中。对于 侧视图摄像机，一个或更多个摄像机也可以集成在客舱每个角落的四根柱 子内。
视野包括车辆1002(例如，前置摄像头)前面的部分环境的摄像机可 以用于周围视图，以帮助识别前面面对的路径和障碍，以及在一个或更多 个控制器和/或控制SOC的帮助下，协助提供生成占用网格和/或确定优选 车辆路径的关键信息。前置摄像头可用于执行许多与激光雷达相同的 ADAS功能，包括紧急制动、行人检测和障碍物避险。前置摄像头也可用 于ADAS功能和系统，包括车道偏离警告(“LDW”)、自动巡航控制(“ACC”) 和/或其他功能，如交通标志识别。
多种摄像机可用于前置配置，包括例如单目摄像机平台，其包括CMOS (互补金属氧化物半导体)彩色成像仪。另一个例子可以是一个或更多个 广角摄像机1070，它可以用来感知从周边进入视野的目标(例如行人，过 马路者或自行车)。虽然图10中只有一个广角摄像机，但是在车辆1002上 可能有任意数量的广角摄像机1070。此外，可以使用一个或更多个远程摄 像机1098(例如，长视角立体摄像机组)进行基于深度的目标检测，特别 是尚未针对其训练神经网络的目标。一个或更多个远程摄像机1098也可用 于目标检测和分类，以及基本的目标跟踪。
一个或更多个立体摄像机1068也可以包括在前置配置中。所述一个或 更多个立体摄像机1068可包括集成控制单元，其包含可伸缩处理单元，该 处理单元可提供可编程逻辑(FPGA)和在单个芯片上具有集成CAN或以 太网接口的多核微处理器。这种单元可用于生成车辆环境的3D地图，包括 对图像中所有点的距离估计。替代的一个或更多个立体摄像机1068可以包 括一个或更多个紧凑的立体视觉传感器(其可以包括两个摄像机镜头(左 右各一个))和图像处理芯片，其可以测量车辆与目标对象的距离和使用生 成的信息(例如元数据)激活自动紧急制动和车道偏离警告功能。除了本 文描述的那些以外或替代本文描述的那些，其他类型的一个或更多个立体 摄像机1068也可以使用。
视野包括车辆1002的侧面环境部分的摄像机(例如侧视摄像头)可用 于周围的视图，提供用于创建和更新占用网格以及生成侧面碰撞警告的信 息。例如，一个或更多个环绕式摄像机1074可以定位到车辆1002上。一 个或更多个环绕式摄像机1074可以包括一个或更多个广角照摄像机1070、 一个或更多个鱼眼摄像机、一个或更多个360度摄像机和/或诸如此类摄像 机。例如，四鱼眼摄像机可以定位在车辆的前部、后部和侧面。在替代的 布置中，车辆可使用一个或更多个三向环绕式摄像机1074(例如，左、右 和后方)，并可以利用一个或更多个其他摄像机(如前置摄像机)作为第四 个环绕视图摄像机。
视野包括车辆1002后部环境的部分的摄像机(例如，后视摄像头)可 用于辅助停车、环绕视图、后碰撞警告，以及创建和更新占用网络。可使 用的摄像机种类繁多，包括但不限于也可适于作为一个或更多个前置摄像 机(例如，一个或更多个远程和/或中程摄像机1098、一个或更多个立体摄 像机1068、一个或更多个红外摄像机1072等)的摄像机。
图11是根据本公开的一些实施例的、一个或更多个基于云的服务器与 示例车辆1110A到1110N之间的通信的系统图。车辆通信系统，诸如图11 所示的车辆通信系统，可包括一个或更多个服务器1130、一个或更多个网 络1120和任意数量的车辆1110A到1110N(其可对应于图10中的车辆 1002)。
车辆1110A到1110N中的任何或所有车辆均可包括一个或更多个网络 接口，该网络接口可包括一个或更多个无线天线(例如，用于不同通信协 议的一个或更多个无线天线，如蜂窝天线、蓝牙天线等)。网络接口可用于 实现通过互联网与云(例如，采用一个或更多个服务器1130和/或其他网络 设备)、与其他车辆(例如，车辆1110A到1110N中的一个或更多个车辆) 和/或与计算设备(例如，乘客的客户端设备)的无线连接。为了与其他车 辆通信，可在两个车辆之间建立直接链接和/或建立间接链接(例如，通过 网络和通过互联网)。可使用车辆对车辆通信链路提供直接链接。车辆对车 辆通信链路可向车辆1110A到1110N中的一个或更多个车辆提供关于接近 一个或更多个车辆1110A到1110N的车辆的信息(例如，一个或更多个车 辆1110A到1110N的前面、侧面和/或后面的车辆)。这种功能可能是协同 自适应巡航控制功能的一部分。
网络接口可以包括SOC，它提供调制解调功能，并使一个或更多个控 制器能够通过无线网络通信。网络接口可包括射频前端，用于从基带向上 转换到射频，以及从射频向下转换到基带。频率转换可以通过已知的过程 执行，也可以使用超外差过程执行。在一些例子中，射频前端功能由单独 的芯片提供。网络接口可以包括通过LTE、WCDMA、UMTS、GSM、CDMA2000、蓝牙、蓝牙LE、Wi-Fi、Z-Wave、ZigBee、LoRaWAN和/或 其他无线协议进行通信的无线功能。
网络接口可以使用一个或更多个无线天线和/或调制解调器以通过一 个或更多个网络通信。例如，网络接口能够通过LTE、WCDMA、UMTS、 GSM、CDMA2000等进行通信。一个或更多个无线天线也可使能使用一个 或更多个局域网(如蓝牙、蓝牙LE、Z-Wave、ZigBee等)和/或一个或更 多个低功耗广域网(LPWANs)(如LoRaWAN、SigFox等)的环境中物体 (例如，车辆，移动设备等)之间的通信。
任何或所有车辆1110A至1110N可进一步包括一个或更多个数据存储， 其可包括片外(例如SOC片外)存储。一个或更多个数据存储可以包括一 个或更多个存储元件，包括RAM、SRAM、DRAM、VRAM、闪存、硬盘 和/或其他组件和/或可以存储至少一位数据的设备。
任何或所有车辆1110A至1110N可进一步包括一个或更多个GNSS传 感器。一个或更多个GNSS传感器(例如，GPS和/或辅助GPS传感器)可 协助绘图、感知、占用网格生成和/或路径规划功能。可以使用任意数量的 GNSS传感器，其包括例如但不限于使用USB连接器的GPS，所述USB 连接器带有到串行(RS-232)网桥的以太网。
一个或更多个服务器1130可以包括多个GPU、PCIe交换机和/或CPU。 GPU、CPU和/或PCIe交换机可以采用高速互连进行互连，例如但不限于 由NVIDIA开发的NVLink接口和/或PCIe连接。在一些例子中，GPU通 过NVLink和/或NVSwitch SoC连接，GPU和PCIe交换机通过PCIe互连 连接。根据实施例，多个服务器中的每个可以包括任意数量的GPU、CPU 和/或PCIe交换机。
一个或更多个服务器1130可以通过一个或更多个网络1120从车辆 1110A至1110N中的任何或所有车辆接收检测到的位置和/或方向地标的范 围、嵌入或以其他方式集成到其中的检测到的位置和/或方向地标的范围的 地图或其他相关信息。一个或更多个服务器1130可以通过一个或更多个网 络1120将检测到的位置和/或方向地标的范围、检测到的位置和/或方向地 标的范围嵌入或以其他方式集成到其中的地图或其他相关信息发送至任何 或所有车辆1110A至1110N，和/或通过一个或更多个网络1120将上述信 息发送至一个或更多个地图提供者。此外或作为选择，任何或所有车辆 1110A至1110N均可通过网络1120向一个或更多个地图提供者发送检测到 的位置和/或方向地标的范围、检测到的位置和/或方向地标的范围嵌入或以 其他方式集成在其中的地图，或其他相关信息。这些变化和其他变化都在 本公开内被考虑。
示例计算设备
图12是适合用于实现本公开的一些示例的示例计算设备1200的框图。 计算设备1200可以包括直接或间接耦连以下设备的总线1202：存储器1204、 一个或更多个中央处理单元(CPU)1206、一个或更多个图形处理单元(GPU) 1208、通信接口1210、输入/输出(I/O)端口1212、输入/输出组件1214、 电源1216、以及一个或更多个呈现组件1218(例如，一个或更多个显示器)。
虽然图12中的各个框被示出为经由总线1202与线路连接，但这并不 意图是限制，只是为了清晰。例如，在一些实施例中，呈现组件1218(例 如显示设备)可以被视为I/O组件1214(例如，如果显示器为触摸屏)。另 一个例子是，CPU 1206和/或GPU 1208可包括存储器(例如，存储器1204 可表示GPU 1208、CPU 1206和/或其他组件的存储器之外的存储设备)。换 句话说，图12的计算设备仅仅是说明性的。如“工作站”、“服务器”、“膝 上型电脑”、“台式电脑”、“平板电脑”、“客户端设备”、“移动设备”、“手 持设备”、“游戏机”、“电子控制单元(ECU)”、“虚拟现实系统”和/或其 他设备或系统类型的类别之间没有区别，所有这些都被认为是在图12的计 算设备的范围内的。
总线1202可以表示一个或更多个总线，例如地址总线、数据总线、 控制总线或其组合。总线1202可以包括一个或更多个总线类型，例如行业 标准体系架构(ISA)总线、扩展行业标准体系架构(EISA)总线、视频电子标 准协会(VESA)总线、外围组件互连(PCI)总线、高速外围组件互连(PCIe) 总线和/或其他类型的总线。
存储器1204可以包括各种计算机可读介质中的任何一种。计算机可 读介质可以是计算设备1200可访问的任何可用介质。计算机可读介质可以 包括易失性和非易失性介质，以及可移除和不可移除介质。作为示例但不 是限制，计算机可读介质可以包括计算机存储介质和通信介质。
计算机存储介质可以包括以用于存储信息(诸如计算机可读指令、数 据结构、程序模块和/或其他数据类型)的任何方法或技术实现的易失性和 非易失性介质和/或可移除和不可移除的介质。例如，存储器1204可以存 储计算机可读指令(例如，其表示一个或更多个程序和/或一个或更多个程 序元素，诸如操作系统)。计算机存储介质可以包括但不限于RAM、ROM、 EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或 其他光学磁盘存储、磁带盒、磁带、磁盘存储或其他磁性存储设备、或任 何可用于存储所需信息并可由计算机设备1200访问的其他介质。这里使用 的计算机存储介质并不包含信号。
通信介质可以包含计算机可读指令、数据结构、程序模块和/或调制 数据信号(如载波或其他传输机制)中的其他数据类型，并包括任何信息 传递介质。术语“调制数据信号”可以指代具有一种或更多种特征组或以 关于在信号中编码信息的方式变化的信号。作为示例而不是限制，通信介 质可以包括有线介质(诸如有线网络)或直接有线连接，以及无线介质， 诸如声学、射频、红外介质和其他无线介质。上述任何一种的组合也应包 括在计算机可读介质的范围内。
一个或更多个CPU 1206可配置为执行计算机可读指令，以控制计算 设备1200的一个或更多个组件，以执行本文描述的一个或更多个方法和/ 或过程。一个或更多个CPU1206可以包括一个或更多个核心(例如，一个、 两个、四个、八个、二十八个、七十二个等等)，这些核心能够同时处理大 量软件线程。一个或更多个CPU 1206可以包括任何类型的处理器，也可以 包括不同类型的处理器，这取决于所实现的计算设备1200的类型(例如，用于移动设备的核心较少的处理器和用于服务器的核心较多的处理器)。例 如，取决于计算设备1200的类型，处理器可以是使用精简指令集计算(RISC) 实现的ARM处理器，或者可以是使用复杂指令集计算(CISC)实现的x86 处理器。计算设备1200除了一个或更多个微处理器或补充协同处理器(如 数学协同处理器)外，还可以包括一个或更多个CPU 1206。
计算设备1200可以使用一个或更多个GPU 1208渲染图形(如3D图 形)。一个或更多个GPU 1208可包括数百或数千个核心，这些核心能够同 时处理数百或数千个软件线程。一个或更多个GPU 1208可以响应于呈现命 令生成输出图像的像素数据(例如，呈现通过主机接口从一个或更多个CPU 1206接收的命令。一个或更多个GPU 1208可以包括用于存储像素数据的 图形存储器，诸如显示存储器。显示存储器可以作为存储器1204的一部分 被包括。一个或更多个GPU 1208可以包括并行运行(例如通过链接)的两 个或更多个GPU。当结合在一起时，每个GPU 1208可以为输出图像的不 同部分或不同的输出图像生成像素数据(例如，第一GPU用于第一图像， 第二GPU用于第二图像)。每个GPU可以包括自己的存储器，也可以与其 他GPU共享存储器。
在计算设备1200不包括一个或更多个GPU 1208的例子中，一个或更 多个CPU1206可以用来渲染图形。
通信接口1210可以包括一个或更多个接收器、发射器和/或收发器， 其使计算设备1200能够通过电子通信网络(包括有线和/或无线通信)与 其他计算设备通信。通信接口1210可以包括使能在许多不同的网络中的任 何网络上通信的组件和功能，所述网络诸如无线网络(例如，Wi-Fi、Z-Wave、 Bluetooth、Bluetooth LE、ZigBee等)、有线网络(例如，通过以太网通信)、 低功耗广域网(例如，LoRaWAN、SigFox等)和/或互联网。
I/O端口1212可以使计算设备1200逻辑耦合到其他设备，包括I/O 组件1214、一个或更多个呈现组件1218和/或其他组件，其中一些组件可 内置到(例如集成到)计算设备1200中。说明性的I/O组件1214包括麦 克风、鼠标、键盘、操纵杆、游戏板、游戏控制器、卫星天线、扫描仪、 打印机、无线设备等。I/O组件1214可以提供自然用户界面(NUI)，其处 理用户生成的空中手势、声音或其他身体输入。在某些情况下，输入可以 传输到适当的网络元件以进行进一步处理。NUI可以实现语音识别、手写 笔识别、面部识别、生物特征识别、在屏幕上和靠近屏幕的手势识别、空 中手势、头和眼睛的跟踪以及与计算设备1200的显示器相关联的触摸识别 (后面将更详细地描述)。计算设备1200可以包括深度摄像机，诸如立体摄像机系统、红外摄像机系统、RGB摄像机系统、触摸屏技术以及这些技 术的组合，以用于手势检测和识别。此外，计算设备1200可以包括加速计 或陀螺仪(例如，作为惯性测量单元(IMU)的一部分)，以使能检测运动。 在一些例子中，加速计或陀螺仪的输出可以被计算设备1200用来渲染沉浸 式增强现实或虚拟现实。
电源1216可以包括硬连接电源、电池电源或其组合。电源1216可向 计算设备1200提供电力，以使计算设备1200的组件能够工作。
一个或更多个呈现组件1218可以包括显示器(例如，监视器、触摸 屏、电视屏幕、平视显示器(HUD)、其他显示器类型或其组合)、扬声器 和/或其他呈现组件。一个或更多个呈现组件1218可以从其他组件(例如， 一个或更多个GPU 1208、一个或更多个CPU 1206等)接收数据，并输出 数据(例如，作为图像、视频、声音等)。
本公开可以在能够由计算机或其他机器(诸如，个人数字助理或其他 手持设备)执行的计算机代码或机器可用指令的一般上下文中进行描述， 所述指令包括计算机可执行指令，诸如程序模块。通常，程序模块包括例 程、程序、对象、组件、数据结构等，是指执行特定任务或实现特定抽象 数据类型的代码。本公开可以在各种系统配置中实践，包括手持设备、消 费电子产品、通用计算机、更专业的计算设备等。本公开还可在分布式计 算环境中实践，在其中任务由通过通信网络连接的远程处理设备执行。
如本文使用的，关于两个或更多个元素的记载“和/或”应解释为意 指仅一个元素或多个元素的组合。例如，“元素A、元素B和/或元素C” 可以只包括元素A，只包括元素B，只包括元素C，包括元素A和元素B， 包括元素A和元素C，包括元素B和元素C，或者包括元素A、B和C。 此外，“元素A或元素B中的至少一个”可以包括至少一个元素A，至少 一个元素B，或至少一个元素A和至少一个元素B。进一步地，“元素A 和元素B中的至少一个”可以包括至少一个元素A，至少一个元素B，或 者至少一个元素A和至少一个元素B。
为满足法定要求，本公开的主题在本文中作了具体描述。然而，描述 本身并不意图限制本公开的范围。相反，发明者设想，所要求保护的主题 也可以以其他方式体现，以包括与本文件所述类似的不同步骤或步骤组合， 连同其他现有或未来的技术。此外，虽然本文中使用了术语“步骤”和“框” 以表示所使用方法的不同元素，但除非明确描述了各个步骤的顺序，否则 不应将这些术语解释为暗示本文所揭示的各个步骤之间的任何特定顺序。

Claims (20)

1.一种方法，包括：
接收摄像机的摄像机配置信息以及使用所述摄像机生成的一组图像；
基于至少部分地基于所述摄像机配置信息，通过对从所述一组图像中的至少一个图像导出的数据应用转换来生成一组经转换的观测，所述转换对应于至少一个地标沿某一方向对齐；
针对所述一组经转换的观测中的每个经转换的观测，生成表示所述至少一个地标位于所述经转换的观测的列中的概率的第一概率分布；
针对从地平面上采样的每个点，至少部分地基于针对每个所述经转换的观测的所述第一概率分布识别所述至少一个地标位于所述点处的概率；
利用从所述地平面采样的每个所述点的概率生成第二概率分布；以及
至少部分地基于所述第二概率分布识别所述至少一个地标的位置。
2.根据权利要求1所述的方法，进一步包括将每个经转换的观测的所述第一概率分布上传到滚动缓冲区，所述滚动缓冲区维护与指定数量的最近捕获的图像相关联的相应的概率分布。
3.根据权利要求1所述的方法，其中所述摄像机与车辆相关联，并且在所述车辆移动时生成所述一组图像。
4.根据权利要求1所述的方法，其中针对每个经转换的观测生成所述第一概率分布包括：
识别所述经转换的观测的单个维度中的所述至少一个地标；以及
通过将内核放置在所述单个维度中的所述至少一个地标的位置处并对所述内核求和，来生成所述第一概率分布。
5.根据权利要求1所述的方法，进一步包括将每个经转换的观测的所述第一概率分布离散化为一维直方图。
6.根据权利要求1所述的方法，进一步包括通过并行地求解所述至少一个地标位于从所述地平面采样的每个点处的概率来在GPU上生成所述第二概率分布。
7.根据权利要求1所述的方法，其中，所述识别所述至少一个地标的位置包括：通过沿与所述摄像机的位移正交的线以指定间隔播种来识别所述第二概率分布中的模式。
8.一种方法包括：
通过针对3D空间的一组观测中的每个观测转换所述观测以生成经修正的观测，来修正所述一组观测以生成一组经修正的观测，所述修正使得沿所述经修正的观测的方向对准一个或更多个方向地标；
针对所述一组经修正的观测中的每个所述经修正的观测，生成表示所述一个或更多个方向地标沿所述经修正的观测的方向的位置的查表；
通过针对从所述3D空间采样的网格中的每个点，至少部分地基于每个所述经修正的观测的查表计算所述一个或更多个方向地标中的一个方向地标位于所述点处的概率，来生成概率分布；以及
基于所述概率分布识别所述3D空间中的所述一个或更多个方向地标的位置。
9.根据权利要求8所述的方法，进一步包括将与所述一组观测相关联的查表上传到滚动缓冲区，所述滚动缓冲区维护与指定数量的最近捕获的观测相关联的一组查表。
10.根据权利要求8所述的方法，其中生成表示一个或更多个方向地标沿所述经修正的观测的方向的位置的所述查表包括：
检测与所述经修正的观测的方向正交的维度中的所述一个或更多个方向地标；以及
通过将内核放置在所述维度中的一个或更多个方向地标的检测到的位置处并对所述内核求和，来生成所述查表作为1D概率分布。
11.根据权利要求8所述的方法，进一步包括将每个查表离散化为一维直方图。
12.根据权利要求8所述的方法，其中针对网格中的每个点，计算所述一个或更多个方向地标位于所述点处的概率包括：
使用用于所述查表的相应传感器配置信息将所述点反投影到每个查表中；
通过针对与所述一组观测相关联的每个查表计算所述点与所述查表所表示的方向地标重合的概率，来生成一组概率；以及
将所述方向地标中的一个方向地标位于所述点处的概率指派为所述一组概率的联合概率。
13.根据权利要求8所述的方法，进一步包括通过并行求解所述一个或更多个方向地标中的一个方向地标位于网格中的每个点处的概率来在GPU上生成所述概率分布。
14.根据权利要求8所述的方法，其中识别所述一个或更多个方向地标的位置包括：通过沿着与所述一组观测相关联的传感器的位移正交的线以指定的间隔播种来识别所述概率分布中的模式。
15.一种方法，包括：
通过转换一组二维(2D)观测中的每个2D观测来修正所述一组2D观测以生成经修正的2D观测，所述修正使得沿所述经修正的2D观测的方向对准一个或更多个方向地标；
针对所述一组2D观测中的每个经修正的2D观测，生成一维(1D)查表，所述1D查表将一个或更多个方向地标出现在所述经修正的2D观测中的位置表示为1D概率分布；
通过针对网格中的每个点，基于与所述一组2D观测相关联的所述1D查表计算所述一个或更多个方向地标中的一个方向地标位于所述点处的概率，来生成概率分布；以及
基于所述概率分布识别所述一个或更多个方向地标的位置。
16.根据权利要求15所述的方法，进一步包括在滚动缓冲区中维护与指定数量的最近捕获的2D观测相关联的一组1D查表。
17.根据权利要求15所述的方法，其中，使用安装在车辆上的一个或更多个传感器生成所述一组2D观测。
18.根据权利要求15所述的方法，进一步包括将与每个1D查表相对应的所述1D概率分布离散化为1D直方图。
19.根据权利要求15所述的方法，进一步包括通过并行求解所述一个或更多个方向地标中的一个方向地标位于网格中的每个点处的概率来在GPU上生成所述概率分布。
20.根据权利要求15所述的方法，其中识别所述一个或更多个方向地标的位置包括：通过沿与所述一组2D观测相关联的传感器的位移正交的直以指定的间隔播种来识别所述概率分布中的模式。
CN201910557052.1A 2019-04-16 2019-06-25 自主机器应用中的地标位置重建 Pending CN111833443A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/385,921 US10991155B2 (en) 2019-04-16 2019-04-16 Landmark location reconstruction in autonomous machine applications
US16/385,921 2019-04-16

Publications (1)

Publication Number Publication Date
CN111833443A true CN111833443A (zh) 2020-10-27

Family

ID=72660393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910557052.1A Pending CN111833443A (zh) 2019-04-16 2019-06-25 自主机器应用中的地标位置重建

Country Status (3)

Country Link
US (2) US10991155B2 (zh)
CN (1) CN111833443A (zh)
DE (1) DE102020100230A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022110159A1 (zh) * 2020-11-30 2022-06-02 深圳市大疆创新科技有限公司 定位方法、装置、可移动平台、地标及地标阵列

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11648945B2 (en) 2019-03-11 2023-05-16 Nvidia Corporation Intersection detection and classification in autonomous machine applications
US11164330B2 (en) * 2020-03-13 2021-11-02 Applied Research Associates, Inc. Landmark configuration matcher

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6353679B1 (en) * 1998-11-03 2002-03-05 Compaq Computer Corporation Sample refinement method of multiple mode probability density estimation
WO2007050437A2 (en) * 2005-10-21 2007-05-03 The General Hospital Corporation Methods and apparatus for segmentation and reconstruction for endovascular and endoluminal anatomical structures
US7990379B2 (en) * 2006-10-25 2011-08-02 Siemens Aktiengesellschaft System and method for coronary segmentation and visualization
US20090097704A1 (en) * 2007-10-10 2009-04-16 Micron Technology, Inc. On-chip camera system for multiple object tracking and identification
DE102009028743B4 (de) * 2009-08-20 2011-06-09 Robert Bosch Gmbh Verfahren und Steuergerät zur Entzerrung eines Kamerabildes
US10027952B2 (en) * 2011-08-04 2018-07-17 Trx Systems, Inc. Mapping and tracking system with features in three-dimensional space
US8970701B2 (en) * 2011-10-21 2015-03-03 Mesa Engineering, Inc. System and method for predicting vehicle location
GB2506338A (en) * 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
CN112923936B (zh) * 2015-02-10 2023-04-18 御眼视觉技术有限公司 用于车辆的导航系统、方法及计算机可读介质
US9990766B2 (en) * 2015-10-29 2018-06-05 Intelligent Fusion Technology, Inc Method and system for predicting collision probability of space objects via graphics processing unit
US10176389B2 (en) * 2016-06-09 2019-01-08 International Business Machines Corporation Methods and systems for moving traffic obstacle detection
US10546387B2 (en) * 2017-09-08 2020-01-28 Qualcomm Incorporated Pose determination with semantic segmentation
US10935978B2 (en) * 2017-10-30 2021-03-02 Nio Usa, Inc. Vehicle self-localization using particle filters and visual odometry
US10569773B2 (en) * 2018-05-31 2020-02-25 Nissan North America, Inc. Predicting behaviors of oncoming vehicles
US10825246B2 (en) * 2018-09-27 2020-11-03 Adobe Inc. Generating immersive trip photograph visualizations

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022110159A1 (zh) * 2020-11-30 2022-06-02 深圳市大疆创新科技有限公司 定位方法、装置、可移动平台、地标及地标阵列

Also Published As

Publication number Publication date
US20210233307A1 (en) 2021-07-29
US10991155B2 (en) 2021-04-27
DE102020100230A1 (de) 2020-10-22
US20200334900A1 (en) 2020-10-22
US11842440B2 (en) 2023-12-12

Similar Documents

Publication Publication Date Title
CN109461211B (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
JP7073315B2 (ja) 乗物、乗物測位システム、及び乗物測位方法
US11042762B2 (en) Sensor calibration method and device, computer device, medium, and vehicle
CN112861653B (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
US10437252B1 (en) High-precision multi-layer visual and semantic map for autonomous driving
EP3361278B1 (en) Autonomous vehicle localization based on walsh kernel projection technique
US10794710B1 (en) High-precision multi-layer visual and semantic map by autonomous units
CN108419446B (zh) 用于激光深度图取样的系统及方法
US11094112B2 (en) Intelligent capturing of a dynamic physical environment
US20210004974A1 (en) Systems and methods for semi-supervised depth estimation according to an arbitrary camera
CN114667437A (zh) 用于自主驾驶应用的地图创建和定位
US11842440B2 (en) Landmark location reconstruction in autonomous machine applications
US11227395B2 (en) Method and apparatus for determining motion vector field, device, storage medium and vehicle
CN111670339B (zh) 用于无人飞行器和地面载运工具之间的协作地图构建的技术
US11430199B2 (en) Feature recognition assisted super-resolution method
US10872246B2 (en) Vehicle lane detection system
CN113887400B (zh) 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
Laflamme et al. Driving datasets literature review
CN115147328A (zh) 三维目标检测方法及装置
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
WO2022133986A1 (en) Accuracy estimation method and system
US11514588B1 (en) Object localization for mapping applications using geometric computer vision techniques
WO2023009180A1 (en) Lidar-based object tracking
US20220309693A1 (en) Adversarial Approach to Usage of Lidar Supervision to Image Depth Estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination