CN111402387A - 从用于导航自主车辆的高清晰度地图的点云中移除短时点 - Google Patents

从用于导航自主车辆的高清晰度地图的点云中移除短时点 Download PDF

Info

Publication number
CN111402387A
CN111402387A CN202010005201.6A CN202010005201A CN111402387A CN 111402387 A CN111402387 A CN 111402387A CN 202010005201 A CN202010005201 A CN 202010005201A CN 111402387 A CN111402387 A CN 111402387A
Authority
CN
China
Prior art keywords
lidar
occupied voxel
vehicle
map
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010005201.6A
Other languages
English (en)
Other versions
CN111402387B (zh
Inventor
陈辰
邹亮
德里克·施勒特
马克·达蒙·惠乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Dipup Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dipup Ltd filed Critical Dipup Ltd
Publication of CN111402387A publication Critical patent/CN111402387A/zh
Application granted granted Critical
Publication of CN111402387B publication Critical patent/CN111402387B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B60W2420/408—

Abstract

提供了从用于导航自主车辆的高清晰度地图的点云中移除短时点。自主车辆系统从光检测和测距(lidar)样本中移除短时点。该系统接收由lidar传感器捕获的多个lidar样本。连同lidar样本一起，系统接收针对lidar样本中的每一个的经对准姿态和解开变换。该系统使用lidar样本、它们的经对准姿态和它们的解开变换来确定三维(3D)空间中的一个或更多个被占用体素单元。该系统识别表示与对象相对于lidar传感器的运动相关联的噪声的被占用体素单元。该系统通过移除表示噪声的单元来过滤被占用体素单元。系统例如在地图生成和/或地图更新期间在包括体素单元的3D地图中输入经过滤的被占用体素单元。

Description

从用于导航自主车辆的高清晰度地图的点云中移除短时点
相关申请的交叉引用
本申请要求于2019年1月3日提交的美国临时申请第62/788,073号的权益和优先权，该美国临时申请通过引用整体合并至本文中。
技术领域
本公开内容总体上涉及用于自主车辆的地图，并且更具体地涉及移除点云中的动态对象以生成用于高清晰度地图的点云表示。
背景技术
自主车辆，也称为自动驾驶汽车、无人驾驶汽车、汽车或机器人汽车，在不需要人类驾驶员控制和导航车辆的情况下从源位置行驶到目的地。驾驶的自动化由于若干原因而是困难的。例如，自主汽车使用传感器即时做出驾驶决策，但车辆传感器不能无时无刻地观测所有事物。车辆传感器可能被角落、连绵起伏的山丘和其他车辆遮挡。车辆传感器可能不会足够早地观测某些事物以做出决策。此外，道路上可能缺少车道和标志，或者车道和标志被撞倒或被灌木丛隐藏，因此不能被传感器检测到。此外，可能不容易看到用于通行权的道路标志，以确定车辆可能来自哪里，或者用于在紧急情况下或者在存在必须通过的停止障碍物时转弯或移出车道。
自主车辆可以使用地图数据来找出上述一些信息，而不是依赖传感器数据。然而，传统地图具有若干缺点，使得它们难以用于自主车辆。例如，地图不提供安全导航所需的准确度水平(例如，10cm或更小)。GPS系统提供大约3米到5米的准确度，但是具有导致超过100m的准确度的大的误差条件。这使得准确确定车辆的位置变得具有挑战性。
此外，传统地图由调查团队创建，调查团队使用具有特殊装备汽车的驾驶员，这些汽车具有高分辨率传感器，可以在地理区域内行驶并进行测量。测量值被取回，地图编辑器团队根据测量值汇总地图。该过程昂贵且耗时(例如，可能花费数月来完成地图)。因此，使用这种技术汇总的地图不具有新近数据。例如，道路以每年大约5-10％的频率基础来更新/修改。但调查车昂贵且数量有限，因此不能捕获这些更新中的大部分。例如，调查车队可能包括一千辆汽车。甚至对于美国的单个州，一千辆汽车不能定期更新地图以使得能够安全自动驾驶。因此，维护地图的传统技术不能提供对于自主车辆的安全导航而言足够准确且最新的正确数据。
在构建地图时遇到的一个问题在于，针对区域捕获的传感器数据可能包括正在移动的对象，例如汽车、行人、骑行者等。这些对象不应被表示在区域地图中，因为这些对象是短时的。从这样的传感器数据生成地图数据的系统需要从输入中识别和移除这样的非静止对象。一种系统可以使用基于机器学习的技术来确定对象是静止的还是非静止的。这种技术需要对这种模型进行大量的训练以获得准确的结果。此外，使用这样的模型来处理传感器数据可能在计算上是昂贵的。
发明内容
一种自主车辆系统包括光检测和测距(light detection and ranging，lidar)传感器，其捕获lidar样本以用于生成一个或更多个环境的三维(3D)地图。该系统旨在从lidar样本中移除与环境中的相对于lidar传感器处于运动中的一个或更多个动态对象对应的短时点。动态对象的示例包括其他车辆、行人、骑行者等。这些不同于例如建筑物、电线杆、树木、交通标志等的静止对象。该系统接收由lidar传感器捕获的多个lidar样本，每个lidar样本与经对准姿态和解开变换(unwinding transform)相关联。该系统使用lidar样本、它们的经对准姿态和它们的解开变换来确定3D空间中的一个或更多个被占用体素单元。该系统识别表示与对象相对于lidar传感器的运动相关联的噪声的被占用体素单元。该系统通过移除表示噪声的单元来过滤被占用体素单元。系统例如在地图生成和/或地图更新期间在包括体素单元的3D地图中输入经过滤的被占用体素单元。
在识别表示噪声的被占用体素单元的一个实施方式中，系统考虑被占用体素单元并且以搜索半径搜索附近的lidar样本。对于每个lidar样本，系统将被占用体素投影到lidar样本的范围图像(range image)中。响应于确定投影范围(projected range)小于或等于像素范围(pixel range)，系统将被占用体素单元识别为表示噪声。
在不同的实施方式中，系统考虑lidar样本，并且以搜索半径搜索附近的被占用体素单元。系统将每个所识别的被占用体素投影到lidar样本的范围图像中。响应于确定投影范围小于或等于像素范围，系统将这些体素单元识别为表示噪声。
附图说明
图(图)1示出了根据实施方式的与多个车辆计算系统交互的HD地图系统的整体系统环境。
图2示出了根据实施方式的车辆计算系统的系统架构。
图3示出了根据实施方式的车辆计算系统的HD地图API中的各种指令层。
图4示出了根据实施方式的HD地图系统的系统架构。
图5示出了根据实施方式的HD地图的部件。
图6A和图6B示出了根据实施方式的在HD地图中限定的地理区域。
图7示出了根据实施方式的HD地图中的车道的表示。
图8A和图8B示出了根据实施方式的HD地图中的车道元素和车道元素之间的关系。
图9是根据一个实施方式的用于处理光检测和测距(lidar)样本的方法的流程图。
图10示出了根据一个实施方式的用于处理体素单元的坐标系。
图11A和图11B示出了根据各种实施方式的体素单元的运动的建模。
图12是根据一个实施方式的体素单元的运动的建模的另一图示。
图13示出了根据一个实施方式的lidar坐标系。
图14示出了根据一个实施方式的lidar传感器的运动的建模。
图15A、图15B、图15C、图15D和图15E示出了根据各种实施方式的使用射线追踪所处理的图像。
图16A、图16B、图16C、图16D、图16E和图16F示出了根据各种实施方式的使用射线追踪所处理的图像。
图17示出了可以从机器可读介质读取指令以及在处理器或控制器中执行指令的计算机器的实施方式。
附图仅出于说明的目的描绘了本发明的各种实施方式。本领域的技术人员将从以下讨论中容易地认识到，可以采用在本文中所示的结构和方法的替选实施方式而不脱离在本文中所描述的本发明的原理。
具体实施方式
本发明的实施方式维护使用高精度的包含最新信息的高清晰度(HD)地图。自主车辆可以使用HD地图来安全地导航到他们的目的地而不利用人工输入或利用有限的人工输入。自主车辆是能够感测其环境并在没有人工输入的情况下导航的车辆。自主车辆在本文中也可以被称为“无人驾驶汽车”、“自动驾驶汽车”或“机器人汽车”。HD地图是指存储具有通常为5cm至10cm的非常高精度的数据的地图。实施方式生成包含关于自主车辆可以行驶的道路的空间几何信息的HD地图。因此，生成的HD地图包括自主车辆在无人工干预的情况下安全导航所需的信息。代替使用昂贵且耗时的包括配备有高分辨率传感器的车辆的地图车队过程收集HD地图的数据，本发明的实施方式在自动驾驶车辆行驶通过其环境时使用来自自动驾驶车辆自身的较低分辨率传感器的数据。车辆可以不具有这些路线或甚至区域的先前地图数据。本发明的实施方式提供位置即服务(LaaS)，使得不同制造商的自主车辆各自都可以访问经由本发明的这些实施方式创建的最新地图信息。
实施方式生成并维护包括用于安全导航的最新路况的准确的高清晰度(HD)地图。例如，HD地图提供自主车辆相对于道路车道的当前位置，其足够精确以使得自主车辆能够在车道中安全地行驶。
HD地图存储非常大量的信息，因此面临管理信息方面的挑战。例如，大地理区域的HD地图可能不适合车辆的本地存储。本发明的实施方式向自主车辆提供HD地图的必要部分，该部分使得车辆能够确定其在HD地图中的当前位置、确定相对于车辆位置的道路上的特征、基于物理约束和法律约束等确定使车辆移动是否是安全的。物理约束的示例包括物理障碍，例如墙壁，并且法律约束的示例包括车道的法律允许的行驶方向、速度限制、让行、停靠。
本发明的实施方式通过下述方式来实现自主车辆的安全导航：提供用于提供对请求的响应的高延迟例如10-20毫秒或更短的延迟；位置方面的高准确度即10cm或更小的准确度；通过确保地图被更新以反映在合理时间范围内的道路上的改变的数据新鲜度；以及通过最小化HD地图所需的存储的存储效率。
图1示出了根据实施方式的与多个车辆交互的HD地图系统的整体系统环境。HD地图系统100包括与多个车辆150交互的在线HD地图系统110。车辆150可以是自主车辆，但不是必需的。在线HD地图系统110接收由车辆的传感器捕获的传感器数据，并且组合从车辆150接收的数据以生成和维护HD地图。在线HD地图系统110将HD地图数据发送到车辆以用于驾驶车辆。在实施方式中，在线HD地图系统110被实现为分布式计算系统，例如，使得诸如车辆计算系统120的客户端能够请求信息和服务的基于云的服务。例如，车辆计算系统120可以请求用于沿着路线驾驶的HD地图数据，并且在线HD地图系统110提供所请求的HD地图数据。
图1和其他附图使用相同的附图标记来标识相同的元件。附图标记之后的字母，例如“105A”，表示文本具体指代具有特定附图标记的元件。没有后续字母的文本中的附图标记，例如“105”，指代图中的具有该附图标记的任何或所有元件(例如，文中的“105”指代图中的附图标记“105A”和/或“105N”)。
在线HD地图系统110包括车辆接口模块160和HD地图存储库165。在线HD地图系统110使用车辆接口模块160与各种车辆150的车辆计算系统120交互。在线HD地图系统110将各种地理区域的地图信息存储在HD地图存储库165中。在线HD地图系统110可以包括除图1中所示的模块之外的其他模块，例如，如图4所示并且在本文中进一步描述的各种其他模块。
在线HD地图系统110接收115由多个车辆150例如数百或数千辆汽车的传感器收集的数据。车辆提供在沿着各种路线行驶时捕获的传感器数据并将其发送到在线HD地图系统110。在线HD地图系统110使用从车辆150接收的数据来创建和更新描述车辆150正在行驶的区域的HD地图。在线HD地图系统110基于从车辆150接收的总体信息构建高清晰度地图，并将HD地图信息存储在HD地图存储库165中。
在线HD地图系统110根据车辆150的需求将HD地图发送125到各个车辆150。例如，如果自主车辆需要沿着路线行驶，则自主车辆的车辆计算系统120将描述正在行驶的路线的信息提供给在线HD地图系统110。作为响应，在线HD地图系统110提供用于沿着路线行驶的所需HD地图。
在实施方式中，在线HD地图系统110以压缩格式将HD地图数据的一部分发送到车辆，使得发送的数据消耗较少的带宽。在线HD地图系统110从各种车辆接收描述存储在车辆的本地HD地图存储库275中的数据的信息。如果在线HD地图系统110确定车辆不具有本地存储在本地HD地图存储库275中的HD地图的某些部分，则在线HD地图系统110将HD地图的该部分发送到车辆。如果在线HD地图系统110确定车辆之前确实接收到HD地图的该特定部分但是由于车辆最近接收到相应数据而在线HD地图系统110更新了该数据，则在线HD地图系统110发送针对存储在车辆中的HD地图的该部分的更新。这使得在线HD地图系统110能够使利用车辆传送的数据的量最小化，并且还保持定期更新本地存储在车辆中的HD地图数据。
车辆150包括车辆传感器105、车辆控制器130和车辆计算系统120。车辆传感器105使得车辆150能够检测车辆的周围环境以及描述车辆的当前状态的信息，例如，描述车辆的位置和运动参数的信息。车辆传感器105包括相机、光检测和测距传感器(lidar)、全球定位系统(GPS)导航系统、惯性测量单元(IMU)等。车辆具有捕获车辆的周围环境的图像的一个或更多个相机。lidar通过经由用激光脉冲照亮目标并测量反射脉冲来测量到该目标的距离从而来勘测车辆的周围环境。GPS导航系统基于来自卫星的信号确定车辆的位置。IMU是使用加速度计和陀螺仪或其他测量仪器的组合来测量和报告车辆的运动数据，例如速度、加速度、运动方向、速率，角速率等的电子设备。
车辆控制器130控制车辆的物理运动，例如，加速度、方向改变、启动、停止等。车辆控制器130包括用于控制加速度计、制动器、方向盘等的机器。车辆计算系统120连续地向车辆控制器130提供控制信号，从而使自主车辆沿着所选择的路线行驶。
车辆计算系统120执行各种任务，包括处理由传感器收集的数据以及从在线HD地图系统110接收的地图数据。车辆计算系统120还处理数据以发送到在线HD地图系统110。车辆计算系统的细节在图2中示出并进一步结合图2进行描述。
车辆计算系统120与在线HD地图系统110之间的交互通常经由网络例如经由因特网执行。网络实现车辆计算系统120与在线HD地图系统110之间的通信。在一个实施方式中，网络使用标准通信技术和/或协议。通过网络交换的数据可以使用包括超文本标记语言(HTML)、可扩展标记语言(XML)等的技术和/或格式来表示。此外，可以使用诸如安全套接字层(SSL)、传输层安全性(TLS)、虚拟专用网络(VPN)、因特网协议安全性(IPsec)等的传统加密技术对所有链接或一些链接进行加密。在另一实施方式中，实体可以使用代替上述或者除上述之外的定制和/或专用数据通信技术。
图2示出了根据实施方式的车辆计算系统的系统架构。车辆计算系统120包括感知模块210、预测模块215、计划模块220、控制模块225、本地HD地图存储库275、HD地图系统接口280和HD地图应用程序接口(API)205。车辆计算系统120的各种模块处理各种类型的数据，所述数据包括传感器数据230、行为模型235、路线240和物理约束245。在其他实施方式中，车辆计算系统120可以具有更多或更少的模块。被描述为由特定模块实现的功能可以由其他模块实现。
感知模块210从车辆150的传感器105接收传感器数据230。这包括由汽车的相机、lidar、IMU、GPS导航系统等收集的数据。感知模块210使用传感器数据来确定哪些对象在车辆周围、车辆正在行驶的道路的细节等。感知模块210处理传感器数据230以填充存储传感器数据的数据结构并将信息提供给预测模块215。
预测模块215使用被感知的对象的行为模型来解析由感知模块提供的数据，以确定对象是在移动还是可能移动。例如，预测模块215可以确定表示道路标志的对象不可能移动，然而被识别为车辆、人等的对象正在移动或者可能移动。预测模块215使用各种类型的对象的行为模型235来确定它们是否可能移动。预测模块215向计划模块200提供对各种对象的预测，以计划车辆接下来需要采取的后续动作。
计划模块200从预测模块215接收描述车辆的周围环境的信息、确定车辆的目的地的路线240以及车辆应当采取以到达目的地的路径。计划模块200使用来自预测模块215的信息和路线240来计划车辆在短时间间隔内例如在接下来的几秒内需要采取的一系列动作。在实施方式中，计划模块200将一系列动作指定为表示车辆接下来要行驶通过的附近位置的一个或更多个点。计划模块200将包括要由车辆采取的一系列动作的计划细节提供给控制模块225。计划可以确定车辆的后续动作，例如，车辆是否执行车道变换、转弯、通过增加速度的加速或者减速等。
控制模块225基于从计划模块200接收的计划确定用于发送到车辆的控制器130的控制信号。例如，如果车辆当前在点A并且计划指定车辆接下来应当去往附近的点B，则控制模块225确定控制器130的控制信号，该控制信号将使车辆以安全平稳的方式例如在不进行任何急转弯或不采取从A点到B点的锯齿形路径的情况下从A点去往B点。车辆所采取的从A点去往B点的路径可能取决于车辆的当前速度和方向以及B点相对于A点的位置。例如，如果车辆的当前速度高，则车辆可以进行与缓慢行驶的车辆相比的较宽的转弯。
控制模块225还接收物理约束245作为输入。这些包括该特定车辆的物理能力。例如，具有特定品牌和型号的汽车可能能够安全地进行具有不同品牌和型号的另一辆车可能不能够安全地进行的某些类型的车辆运动，例如加速和转弯。控制模块225在确定控制信号时结合这些物理约束。控制模块225将控制信号发送到车辆控制器130，车辆控制器130使车辆执行指定的一系列动作以使车辆按计划移动。每隔几秒不断重复上述步骤，以使车辆沿着为车辆计划的路线安全地行驶。
包括感知模块210、预测模块215和计划模块220的车辆计算系统120的各种模块接收地图信息以执行它们各自的计算。车辆100将HD地图数据存储在本地HD地图存储库275中。车辆计算系统120的模块使用HD地图API 205与地图数据交互，该HD地图API 205提供可以被模块调用以访问地图信息的一组应用程序接口(API)。HD地图系统接口280允许车辆计算系统120经由网络(图中未示出)与在线HD地图系统110交互。本地HD地图存储库275以HD地图系统110指定的格式存储地图数据。HD地图API 205能够处理由HD地图系统110提供的地图数据格式。HD地图API 205向车辆计算系统120提供接口以利用HD地图数据进行交互。HD地图API 205包括若干个API，所述若干个API包括定位API 250、地标地图API 255、路线API 265、3D地图API 270、地图更新API 285等。
定位API 250确定例如当车辆启动时以及当车辆沿着路线移动时的车辆的当前位置。定位API 250包括确定车辆在HD地图内的准确位置的定位API。车辆计算系统120可以将该位置用作准确的相对定位，以进行其他查询，例如，在本文中进一步描述的特征查询、可导航空间查询和占用地图查询。定位API接收包括由GPS提供的位置、由IMU提供的车辆运动数据、lidar扫描仪数据和相机图像中的一个或更多个的输入。定位API返回作为纬度和经度坐标的车辆的准确位置。与用作输入的GPS坐标相比，定位API返回的坐标更准确，例如，定位API的输出可能具有5cm到10cm的精度范围。在一个实施方式中，车辆计算系统120调用定位API以使用扫描仪数据基于lidar例如以10Hz的频率周期性地确定车辆的位置。如果GPS/IMU数据在更高的速率(例如，60Hz)处可用，则车辆计算系统120可以调用定位API以该速率确定车辆位置。车辆计算系统120存储位置历史记录作为内部状态，以提高后续定位调用的准确性。位置历史记录存储从汽车关闭/停止的时间点开始的位置历史。定位API 250包括基于HD地图生成指定车道的准确路线的定位路线API。定位路线API经由第三方地图将从源到目的地的路线作为输入，并基于HD地图生成表示为沿着输入路线的可导航车道的连通图的高精度路线。
地标地图API 255提供车辆周围的世界的几何和语义描述，例如，车辆当前行驶的车道的各个部分的描述。地标地图API 255包括允许基于地标地图的查询的API，例如，获取车道API和获取特征API。获取车道提供相对于车辆和获取特征API的车道信息。获取车道API接收位置例如使用车辆的纬度和经度指定的车辆的位置作为输入，并返回相对于输入位置的车道信息。获取车道API可以指定指示相对于检索到车道信息的输入位置的距离的距离参数。获取特征API接收识别一个或更多个车道元素的信息，并返回相对于指定车道元素的地标特征。对于每个地标，地标特征包括特定于地标类型的空间描述。
3D地图API 265提供对存储在本地HD地图存储库275中的道路和道路周围的各种物理对象的的空间三维(3D)表示的有效访问。3D地图API 365包括获取可导航表面API和获取占用网格API。获取可导航表面API接收一个或更多个车道元素的标识符作为输入，并返回指定车道元素的可导航边界。获取占用网格API接收位置例如车辆的纬度和经度作为输入，并返回描述针对道路表面以及在HD地图中可用的该位置附近的所有对象的占用的信息。描述占用的信息包括在地图中占用的所考虑的所有位置的分层体积网格。占用网格包括在可导航区域附近例如在路缘和凸起处的高分辨率的信息，以及在较不重要的区域中例如路缘以外的树木和墙壁的相对低的分辨率的信息。获取占用网格API对于检测障碍物并在必要时改变方向是有用的。
3D地图API还包括地图更新API，例如，下载地图更新API和上传地图更新API。下载地图更新API接收计划路线标识符作为输入，并下载与所有计划路线或特定计划路线相关的数据的地图更新。上传地图更新API将由车辆计算系统120收集的数据上传到在线HD地图系统110。这使得在线HD地图系统110能够基于沿着各种路线行驶的车辆的传感器观测到的地图数据的改变使存储在在线HD地图系统110中的HD地图数据保持最新。
当车辆沿着路线行驶时，路线API 270返回包括源和目的地之间的完整路线以及路线的一部分的路线信息。3D地图API 365允许查询HD地图。路线API 270包括添加计划路线API和得到计划路线API。添加计划路线API将描述计划路线的信息提供给在线HD地图系统110，使得描述相关HD地图的信息可以由车辆计算系统120下载并保持最新。添加计划路线API接收使用以纬度和经度表示的折线指定的路线以及指定在其之后可以删除路线数据的时间段的生存时间(TTL)参数作为输入。因此，添加计划路线API允许车辆指示车辆在不久的将来计划采取以作为自主行程的路线。添加计划路线API将路线与HD地图对准、记录路线及其TTL值并确保存储在车辆计算系统120中的路线的HD地图数据是最新的。得到计划路线API返回计划路线列表，并提供描述路线标识符标识的路线的信息。
地图更新API 285管理与本地HD地图存储库275和存储在在线HD地图系统110中的HD地图存储库165的地图数据的更新有关的操作。因此，车辆计算系统120中的模块根据需要调用地图更新API 285，以将数据从在线HD地图系统110下载到车辆计算系统120从而存储在本地HD地图存储库275中。地图更新API 285还使得车辆计算系统120能够确定由车辆传感器105监视的信息是否指示由在线HD地图系统110提供的地图信息中的差异并且将数据上传到在线HD地图系统110，这可以使在线HD地图系统110更新存储在HD地图存储库165中的被提供给其他车辆150的地图数据。
图4示出了根据实施方式的车辆计算系统的HD地图API中的各种指令层。不同的车辆制造商具有用于从车辆传感器105接收信息和用于控制车辆控制器130的不同指令。此外，不同的供应商提供具有自主驾驶功能例如车辆传感器数据的收集和分析的不同计算平台。用于自主车辆的计算平台的示例包括供应商提供的平台，例如NVIDIA、QUALCOMM和INTEL。这些平台提供自主车辆制造商在自主车辆制造中使用的功能。车辆制造商可以使用用于自主车辆的任一个或一些计算平台。在线HD地图系统110基于特定于车辆制造商的指令和特定于车辆的供应商特定平台的指令来提供用于处理HD地图的库。该库提供对HD地图数据的访问，并允许车辆与在线HD地图系统110交互。
如图3所示，在实施方式中，HD地图API被实现为包括车辆制造商适配器310、计算平台适配器320和公共HD地图API层330的库。公共HD地图API层包括可以跨多个车辆计算平台和车辆制造商使用的通用指令。计算平台适配器320包括特定于每个计算机平台的指令。例如，公共HD地图API层330可以调用计算平台适配器320以从特定计算平台支持的传感器接收数据。车辆制造商适配器310包括特定于车辆制造商的指令。例如，公共HD地图API层330可以调用由车辆制造商适配器310提供的功能，以将特定控制指令发送至车辆控制器130。
在线HD地图系统110存储用于多个计算平台的计算平台适配器320和用于多个车辆制造商的车辆制造商适配器310。在线HD地图系统110确定特定自主车辆的特定车辆制造商和特定计算平台。在线HD地图系统110针对该特定车辆的特定车辆制造商选择车辆制造商适配器310，并针对该特定车辆的特定计算平台选择计算平台适配器320。在线HD地图系统110将所选择的车辆制造商适配器310和所选择的计算平台适配器320的指令发送至该特定自主车辆的车辆计算系统120。该特定自主车辆的车辆计算系统120安装所接收的车辆制造商适配器310和计算平台适配器320。车辆计算系统120周期性地检查在线HD地图系统110是否具有对所安装的车辆制造商适配器310和计算平台适配器320的更新。如果与安装在车辆上的版本相比可获得更近的更新，则车辆计算系统120请求并接收最新更新并将其安装。
HD地图系统架构
图4示出了根据实施方式的HD地图系统的系统架构。在线HD地图系统110包括地图创建模块410、地图更新模块420、地图数据编码模块430、负载平衡模块440、地图准确度管理模块450、车辆接口模块460、射线追踪模块470和HD地图存储库165。在线HD地图系统110的其他实施方式可以包括比图4中所示更多或更少的模块。指示由特定模块执行的功能可以由其他模块实现。在实施方式中，在线HD地图系统110可以是包括多个处理器的分布式系统。
地图创建模块410根据从沿着各种路线行驶的多个车辆收集的地图数据来创建地图。地图更新模块420通过从最近沿着地图信息被改变的路线行驶的车辆接收更近的信息来更新先前计算的地图数据。例如，如果由于区域中的建造，某些道路标志已经改变或者车道信息已经改变，则地图更新模块420相应地更新地图。地图数据编码模块430对地图数据进行编码以能够有效地存储数据和有效地将所需的地图数据发送至车辆150。负载平衡模块440平衡车辆之间的负载以确保从车辆接收数据的请求均匀地分布在不同的车辆之间。即使从各个车辆接收的信息可能不具有高准确度，然而地图准确度管理模块450仍使用各种技术保持地图数据的高准确度。
射线追踪模块470处理由车辆传感器捕获的lidar样本。射线追踪模块470可以使用一种或更多种射线追踪算法来过滤使用lidar样本生成的HD地图的噪声(例如，短时点)。例如，HD地图可以是占用地图，其将在下文进一步说明。
图5示出了根据实施方式的HD地图的部件。HD地图包括若干地理区域的地图。地理区域的HD地图510包括地标地图(LMap)520和占用地图(OMap)530。地标地图包括描述车道的包括车道的空间位置的信息和关于每个车道的语义信息。车道的空间位置包括高精度例如等于或低于10cm精度的纬度、经度和高度上的几何位置。车道的语义信息包括诸如方向、速度、车道类型(例如，直行车道、左转车道、右转车道、出口车道等)的限制、向左横穿的限制、到其他车道的连接等。地标地图还可以包括描述停止线、让行线、人行横道的空间位置、安全可导航空间、减速带的空间位置、路缘和包括与行驶限制相关的所有标志的空间位置和类型的道路标志的信息。在HD地图中描述的道路标志的示例包括停车标志、交通灯、速度限制、单向、不进入、让行(车辆、行人、动物)等。
占用地图530包括道路的空间三维(3D)表示以及道路周围的所有物理对象。存储在占用地图530中的数据在本文中也被称为占用网格数据。3D表示可以与指示对象存在于位置处的可能性的置信度分数相关联。占用地图530可以以多种其他方式表示。在一个实施方式中，占用地图530表示为覆盖表面的3D网格几何形状(三角形的集合)。在另一实施方式中，占用地图530表示为覆盖表面的3D点的集合。在另一实施方式中，使用5cm至10cm分辨率的3D体积单元网格(例如，体素单元)来表示占用地图530。每个单元指示在该单元处是否存在表面，并且如果存在表面，则朝向沿着表面的方向。
与地标地图520相比，占用地图530可以占用大量存储空间。例如，占用地图530可以使用1GB/Mile的数据，使美国地图(包括4百万英里的道路)占用4×1015字节或4千兆字节。因此，在线HD地图系统110和车辆计算系统120使用数据压缩技术以能够存储和传输地图数据，从而降低存储和传输成本。因此，在本文中公开的技术使得可以自动驾驶自主车辆。
在一个实施方式中，HD地图不需要或依赖于通常包括在地图中的数据，例如地址、道路名称、地理编码地址的能力和计算地名或地址之间的路线的能力。车辆计算系统120或在线HD地图系统110访问其他地图系统，例如谷歌地图以获得该信息。因此，车辆计算系统120或在线HD地图系统110从诸如谷歌地图的工具接收导航指令到路线中并且基于HD地图信息将信息转换为路线。
HD地图中的地理区域
在线HD地图系统110将大的物理区域划分为地理区域并存储每个地理区域的表示。每个地理区域表示由几何形状例如矩形或正方形界定的连续区域。在实施方式中，在线HD地图系统110将物理区域划分为相同大小的地理区域，而与存储每个地理区域的表示所需的数据量无关。在另一实施方式中，在线HD地图系统110将物理区域划分为不同大小的地理区域，其中每个地理区域的大小是基于表示地理区域所需的信息量来确定的。例如，表示具有大量街道的人口稠密区域的地理区域表示与表示具有非常少街道的人口稀疏区域的地理区域相比的较小物理区域。因此，在该实施方式中，在线HD地图系统110基于存储与HD地图相关的物理区域的各种元素所需的信息量的估计来确定地理区域的大小。
在实施方式中，在线HD地图系统110表示使用对象或数据记录的地理区域，该对象或数据记录包括各种属性，所述各种属性包括地理区域的唯一标识符、地理区域的唯一名称、例如使用纬度和经度坐标的边界框的地理区域的边界的描述以及地标特征和占用网格数据的集合。
图6A和图6B示出了根据实施方式的在HD地图中定义的地理区域。图6A示出了方形地理区域610a。图6B示出了两个相邻的地理区域610a和610b。在线HD地图系统110以地理区域的表示存储数据，其在当车辆跨地理区域边界行驶时实现从一个地理区域平滑过渡到另一地理区域。
根据实施方式，如图6所示，每个地理区域具有围绕其的预定宽度的缓冲区。缓冲区包括地理区域的所有4个侧周围的冗余地图数据(在地理区域由矩形界定的情况下)。图6A示出了地理区域610a周围50米的缓冲区的边界620和地理区域610a周围100米的缓冲区的边界630。当车辆跨越该缓冲区内的阈值距离时，车辆计算系统120将车辆的当前地理区域从一个地理区域切换到相邻的地理区域。例如，如图6B所示，车辆在地理区域610a中的位置650a处启动。车辆沿着路线行进以到达位置650b，在位置650b处它跨越地理区域610的边界但是停留在缓冲区的边界620内。因此，车辆计算系统120继续使用地理区域610a作为车辆的当前地理区域。一旦车辆跨越位置650c处的缓冲区的边界620，车辆计算系统120就将车辆的当前地理区域从地理区域610a切换到610b。由于车辆沿着紧密跟随地理区域的边界的路线行驶，缓冲区的使用阻止了车辆的当前地理区域的快速切换。
HD地图中的车道表示
HD地图系统100表示HD地图中的街道的车道信息。尽管在本文中描述的实施方式涉及街道，但是技术适用于高速公路、小巷、大道、林荫大道或车辆可以行驶的任何其他路径。HD地图系统100使用车道作为参考系，用于路线选择和车辆的定位。由HD地图系统100表示的车道包括明确标记的车道，例如白色黄色带车道，例如在没有线路或路缘但具有两个行驶方向的乡村道路上隐含的车道和用作车道的隐含路径，例如，转弯车从一个车道进入另一车道时所产生的路径。HD地图系统100还存储关于车道的信息，例如，诸如相对于车道的道路标志和交通灯的地标特征、用于障碍物检测的相对于车道的占用网格和相对于车道的可导航空间，因此车辆可以在当车辆必须在车道外进行计划外的移动时的紧急情况下有效地计划/做出反应。因此，HD地图系统100存储车道网络的表示，以允许车辆计划源与目的地之间的合法路径，并添加参考系以实时感测和控制车辆。HD地图系统100存储信息并提供API，API使得车辆能够确定车辆当前所在的车道、相对于车道几何形状的精确车辆位置和相对于车道和相邻连接车道的所有相关特征/数据。
图7示出了根据实施方式的HD地图中的车道表示。图7示出了交通路口处的车辆710。HD地图系统为车辆提供对与车辆的自主驾驶相关的地图数据的访问。这包括例如与车道相关联但可能不是与车辆最接近的特征720a和720b。因此，HD地图系统100存储表示车道与特征的关系的数据的以车道为中心的表示，使得车辆可以在给定车道的情况下有效地提取特征。
HD地图系统100将车道的一部分表示为车道元素。车道元素指定车道的边界和各种约束，所述各种约束包括在车道元素内车辆可以行驶的合法方向、在车道元素内车辆可以行驶的速度、车道元素是否仅用于左转或仅用于右转等。HD地图系统100将车道元素表示为单个车辆车道的连续几何部分。HD地图系统100存储表示车道元素的对象或数据结构，所述车道元素包括表示车道的几何边界；沿着车道的行驶方向；用于在车道中行驶的车辆限制，例如，速度限制、与包括进出车道的连接车道的关系；终止限制，例如，车道是否在停止线处、让行标志处或减速带处终止；以及与自主驾驶相关的道路特征的关系，例如交通灯位置、道路标志位置等的信息。
由HD地图系统100表示的车道元素的示例包括：高速公路上的一条右车道、道路上的一条车道、左转车道、从左转车道进入另一车道的转弯、从入口匝道进入的合并车道、出口匝道上的出口车道，以及私人车道。HD地图系统100表示使用每个方向一个的两个车道元素的一车道道路。HD地图系统100表示类似于一车道道路共享的中间转弯车道。
图8A和图8B示出了根据实施方式的HD地图中的车道元素和车道元素之间的关系。图8A示出了道路中的T形交叉路口的示例，其示出了经由转弯车道810b连接至车道元素810c并且经由转弯车道810d连接至车道810e的车道元素810a。图8B示出了道路中的Y形交叉路口的示例，其示出了直接连接至车道810h并且经由车道810g连接至车道810i的标签810f。HD地图系统100将从源位置到目的地位置的路线确定为可以被遍历以从源位置到达目的地位置的一系列连接车道元素。
射线追踪
图9是根据一个实施方式的用于处理lidar样本的方法的流程图。车辆的lidar车辆传感器可以检测动态对象，例如正在移动的其他车辆、骑行者或行人。来自lidar扫描的lidar样本可以包括由对象的运动产生的短时点。HD地图系统110的射线追踪模块470可以从使用来自lidar扫描的传感器数据生成的占用地图中识别并移除一个或更多个短时点。在各种实施方式中，lidar传感器的激光器可以连续地旋转(例如，围绕垂直于地平面的轴线)持续一定时段以捕获lidar样本。lidar扫描可以包括在激光器的360度旋转期间捕获的样本。lidar样本可以包括行数据和列数据，其中行编码激光器的偏摆角，而列编码激光器的俯仰角(或者相反地，列编码激光器的偏摆角，而行编码激光器的俯仰角)。
在实施方式中，射线追踪模块470在局部扇区坐标系中接收900作为输入的N个lidar样本。lidar样本可以由车辆的lidar传感器捕获。lidar样本可以源自一个或更多个不同的踪迹。射线追踪模块470接收910每个lidar样本的经对准姿态Ti,(i∈1...N)。此外，射线追踪模块470接收920每个lidar样本的对应的解开变换Ti 解开。解开变换考虑了激光器的旋转，并且下文参照图10进一步描述。
射线追踪模块470使用lidar样本、经对准姿态和解开变换来确定930被占用体素(V0)。体素(在本文中也称为单元或体素单元)表示3D空间中的值。3D空间可以与HD地图的占用地图相关联。如先前关于图5所描述的，3D空间可以指示在与体素对应的特定位置处存在一个或更多个对象的似然性。换句话说，体素可以指示在lidar传感器或车辆附近的至少一个对象的存在。在一些实施方式中，射线追踪模块470响应于确定在对应位置处存在一个或更多个对象的似然性(或置信度分数)大于阈值似然性(或分数)来确定该体素是被占用体素。在实施方式中，每个被占用单元是根据经对准姿态和解开变换而包括一个或更多个lidar样本的体素单元，其中，当多个lidar样本与存在于与体素对应的特定位置处的至少一个对象对应时，会出现包含多个lidar样本的被占用体素单元。
射线追踪模块470对被占用体素单元进行过滤940。例如，射线追踪模块470识别具有动态对象或(一个或更多个)短时点的一个或更多个被占用体素单元。短时点可以表示在对象或车辆(具有车辆传感器)的运动期间被动态对象占用的体素。短时点的集合可以指示对象相对于车辆的运动路径。射线追踪模块470例如从经处理的体素单元的集合中移除所识别的具有(一个或更多个)短时点的一个或更多个被占用体素单元。
在过滤的一个实施方式中，射线追踪模块470通过以搜索半径R搜索附近样本S(vi)∈邻近样本R(vi)来处理给定的被占用体素单元vi。在实施方式中，射线追踪模块470如下文所述对被占用体素单元的集合进行过滤。射线追踪模块470基于在被占用体素单元的阈值距离内的lidar来识别lidar样本。射线追踪模块470确定由lidar使用穿过被占用体素单元的射线观测到的点是否比该被占用体素单元远。因此，射线追踪模块470确定通过lidar捕获的范围图像(range image)中的点是否比被占用体素单元远，使得该被占用体素单元位于从lidar追踪到图像的该点的射线上。如果射线追踪模块470确定通过lidar观测到的点比被占用体素单元远，则射线追踪模块470从被占用体素单元的集合中移除该被占用体素单元，因为该被占用单元表示了至少在lidar样本中无法观测到的动态对象。
在实施方式中，对于每个样本si∈S(vi)，射线追踪模块470将vi投影到si的范围图像中。响应于确定投影范围(vi)≤实际像素范围(si)，射线追踪模块470移除体素单元vi。射线追踪模块470可以针对在步骤930中确定的多个或全部被占用体素单元vi重复以上步骤。
在过滤的不同实施方式中，射线追踪模块470通过以搜索半径搜索附近的被占用体素单元来处理lidar样本s。对于每个附近的被占用体素vi，响应于确定该体素被标记为已擦除，射线追踪模块470将vi投影到s的范围图像中。响应于确定投影范围(vi)≤实际像素范围(si)，射线追踪模块470移除体素单元vi。射线追踪模块470可以针对接收到的多个或所有lidar样本重复上述步骤。
射线追踪模块470将经过滤的被占用体素单元输入950到3D地图(例如，占用地图或HD地图)。输入经过滤的被占用体素单元可以在地图生成或地图更新期间发生。例如，射线追踪模块470更新现有地图以指示开放的(即，未被占用的)或被占用的体素单元，这可以指示通过lidar扫描成像的环境中的对象的位置。响应于确定经过滤的被占用体素单元中的至少一些与先前未成像的给定位置相关联，射线追踪模块470可以生成给定位置的地图或扩展现有地图以覆盖该给定位置。
在一些实施方式中，为了改进地图的射线追踪，射线追踪模块470可以以大的深度差异来投射光束，针对没有返回的点使用先前对天空的估计(例如，因为投射到天空中的激光束可能不具有从对象反射的脉冲)，或者使用类锥形结构而不是单个射线来进行处理。
在实施方式中，射线追踪模块470滤除了映射车辆行驶通过的区域的被占用体素。射线追踪模块470确定lidar在lidar样本中的位置以及被lidar附近车辆占用的近似体积。射线追踪模块470滤除了与车辆本身对应的体素。这是因为在车辆经过的体素中不会有任何静止对象。射线追踪模块470对所有lidar样本执行此过滤。
图10示出了根据一个实施方式的用于处理体素单元的坐标系。为了考虑检测到的对象相对于车辆的运动，射线追踪模块470可以将该运动投影到2D平面上并且例如使用解开变换来“解开”体素单元的点云。为了在解开期间投影被占用单元vi，射线追踪模块470可以使用lidar(例如，局部扇区)坐标系和车辆坐标系两者。由于lidar传感器的激光在扫描时间窗口[t0,t1]之间移动(例如，相对于车辆旋转)，因此射线追踪模块470根据任意时间t∈[t0,t1]调整lidar传感器的中心点。特别地，给定时间t，射线追踪模块470可以确定lidar的对应于vi在范围图像中的实际投影的偏摆角。射线追踪模块470可以使用偏摆角(或列索引)通过检查lidar的俯仰角来确定相应的行索引。
射线追踪模块470可以根据体素单元的相应姿态将解开体素单元合并到3D体素网格中。当将局部扇区坐标中的体素投影到lidar范围图像中时，射线追踪模块470可以考虑一个或更多个变量，包括例如局部扇区坐标中的体素中心(vi)、lidar到车辆的变换(TLV)、车辆坐标系中的解开变换(TV 解开)、局部扇区坐标系中的lidar样本姿态(T局部)、局部扇区坐标系中被占用单元坐标以及lidar扫描的开始和/或结束时间(t0，t1)。
图11A和图11B示出了根据各种实施方式的体素单元的运动的建模。为了确定体素的投影，射线追踪模块470可以假设车辆的lidar传感器不移动，而是车辆周围的环境相对于lidar传感器移动。在实施方式中，射线追踪模块470使用线性插值来执行解开变换。如图11A的示例中所示，体素单元的运动可以位于线段上。通过对连接围绕lidar传感器的原点的起点和终点的线建模，射线追踪模块470确定投影的偏摆索引要在偏摆搜索窗口内搜索。射线追踪模块470可以确定实际偏摆vi最接近预定义lidar偏摆的偏摆列：
Figure BDA0002355002200000181
其中t∈[tmin 搜索窗口，tmax 搜索窗口]
给定投影vi的确定的时间t，射线追踪模块470可以使用vi在lidar坐标系中的位置来确定俯仰角。因此，射线追踪模块470可以确定投影像素在lidar样本的图像中的行索引和列索引。行索引和列索引可以通过在期望时间t处在偏摆图中的线段的交点来关联，如图11A所示。
在实施方式中，射线追踪模块470在使用相对于lidar传感器的原点的点的线性插值作为近似的情况下确定vi在lidar坐标系中的起点和终点：
vi LiDAR(t0)＝(T局部·TLV)-1·vi 局部扇区
vi LiDAR(t1)＝(T局部·T解开·TLV)-1·vi 局部扇区
除了通过线性插值进行的近似外，射线追踪模块470还可以对时间范围[t0,t1]中的一列或更多列(或所有列)使用解开变换。射线追踪模块470可以在将恒等变换用于解开变换的情况下进行插值：
T解开(r)＝[R(r)，t(r)；0，1]，其中，r∈[t0，t1]
在实施方式中，射线追踪模块470使用解开变换的逆，其中，旋转分量与表示环境相对于lidar传感器的移动的平移分量相互作用：
[T解开(r)]-1＝[R-1(r)，-R-1(r)t(r)；0，1]，其中，r∈[t0，t1]
变换-R-1(r)t(r)的平移分量可以是非线性的。射线追踪模块470可以使用分段线段来近似旋转，这将在下面参照图11B进一步描述。
如在图11B的示例中所示，射线追踪模块470可以使用分段线段来改进vi的运动近似。例如，代替求解线段的交点，射线追踪模块470可以求解线与分段线性曲线的交点。在实施方式中，射线追踪模块470使用10个样本的窗口来驱动场景，即，时间范围[t0,t1]可以被划分为10个样本数据窗口。在其他实施方式中，时间范围可以被划分为20、50、100或任何其他合适数量的窗口。射线追踪模块470可以使用线段来对分段线性曲线建模，以针对每个窗口近似由于lidar解开而引起的vi的运动。
图12是根据一个实施方式的对体素单元的运动进行建模的另一图示。在vi的偏摆分量未与lidar坐标系上的偏摆值0(例如，图12中所示的水平轴)相交的使用情况下，在表示lidar_yaw(t)和vi的线之间在范围[t0,t1]内存在交点，这是因为lidar偏摆从0°→360°扫过。因此，射线追踪模块470可以确定与线的交点相对应的解。
在图12所示的其他使用情况下，vi与偏摆值0相交。例如，vi的偏摆从小于2π变为大于0。由于角度可以以2π循环，所以线段在[t0,t1]之间可能没有交点。因此，交点(例如，解)的缺失指示vi可能对lidar传感器不可见，这是因为运动在lidar传感器的“盲区”内。在其他使用情况下，如果lidar传感器检测到由于对象和/或lidar传感器的运动而引起的对象的多个实例，则可能存在多个解。响应于确定解(例如，交点)的数量异于一个，射线追踪模块470可以确定处理另一lidar样本，例如，该lidar样本被确定为具有线的一个交点。射线追踪模块470可以确定不使用具有异于一个的多个解的lidar样本来更新或生成地图。
在一些实施方式中，射线追踪模块470执行lidar校准以提高俯仰和偏摆计算的准确度。例如，lidar校准可以考虑从lidar传感器的原点或“真实中心”定位激光的差异。该射线追踪模块470可以使用一个或更多个校准参数，例如，包括旋转校正(hc)、垂直校正(俯仰)、距离校正(dc)、垂直偏移校正(v)、水平偏移校正(h)及其他类型的参数。
图13示出了根据一个实施方式的lidar坐标系。在实施方式中，射线追踪模块470如下来确定lidar坐标系中的俯仰角和偏摆角：
Figure BDA0002355002200000201
如果x≥0，
Figure BDA0002355002200000202
如果x＜0，
Figure BDA0002355002200000203
图14示出了根据一个实施方式的对lidar传感器的运动的建模。给定校准参数(例如，旋转校正hc、距离校正dc、垂直偏移校正v和水平偏移校正h)以及来自lidar样本的强度和范围r，射线追踪模块470可以确定点在局部扇区坐标系(例如，局部扫描仪坐标系)中的(x，y，z)坐标，并使用以下等式求解俯仰(pitch)和偏摆(yaw)：
x＝((r+dc)cos(俯仰)-vsin(俯仰))sin(偏摆-hc)-hcos(偏摆-hc) (1)
y＝((r+dc)cos(俯仰)-vsin(俯仰))cos(偏摆-hc)+hsin(偏摆-hc) (2)
z＝(r+dc)sin(俯仰)+vcos(俯仰) (3)
R＝r+dc，
cp＝cos(俯仰)，
sp＝sin(俯仰)，
cy＝cos(偏摆-hc)，
sy＝sin(偏摆-hc)
射线追踪示例
图15A、图15B、图15C、图15D和图15E示出了根据各个实施方式的使用射线追踪处理的图像。如图所示，与不使用射线追踪处理的示例图像相比，用射线追踪处理的示例图像(例如，使用任何先前描述的实施方式)可以包括更少的噪声。例如，不使用射线追踪处理的示例图像包括短时点，该短时点表示由lidar传感器检测到的对象的运动(例如，噪声伪影)。使用射线追踪处理的示例图像可以过滤短时点。
图16A、图16B、图16C、图16D、图16E和图16F示出了根据各个实施方式的使用射线追踪处理的图像。图16A示出了道路交叉口的示例图像。图16B示出了立交桥的示例图像。图16C示出了高速公路的示例图像。图16D示出了使用针对偏摆的0.001弧度阈值处理的顶部示例图像，以及使用针对偏摆的0.0015弧度阈值处理的底部另一示例图像。图16E示出了停车场的示例图像。图16F示出了道路的示例图像。
计算机器架构
图17是示出能够从机器可读介质读取指令并在处理器(或控制器)中执行它们的示例机器的部件的框图。具体地，图17示出了计算机系统1700的示例形式的机器的图形表示，在所述计算机系统1700内可以执行用于使机器执行在本文中所讨论的任何一种或更多种方法的指令1724(例如，软件)。在替选实施方式中，机器作为独立设备操作或者可以被连接(例如，联网)至其他机器。在联网部署中，机器可以在服务器客户端网络环境中以服务器机器或客户端机器的功能来运行，或者作为对等(或分布式)网络环境中的对等机器运行。
机器可以是服务器计算机、客户端计算机、个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、智能电话、web设备、网络路由器、交换机或网桥，或能够执行指定该机器要采取的动作的指令1724(顺序或以其他方式)的任何机器。此外，虽然仅示出了单个机器，但术语“机器”还应被视为包括单独或联合执行指令1724以执行在本文中所讨论的任一种或更多种方法的机器的任何集合。
示例计算机系统1700包括处理器1702(例如，中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、一个或更多个专用集成电路(ASIC)、一个或更多个射频集成电路(RFIC)或这些的任何组合)、主存储器1704和静态存储器1706，其被配置成经由总线1708彼此通信。计算机系统1700还可以包括图形显示单元1710(例如，等离子体显示板(PDP)、液晶显示器(LCD)、投影仪或阴极射线管(CRT))。计算机系统1700还可以包括也被配置成经由总线1708进行通信的字母数字输入设备1712(例如，键盘)、光标控制设备1714(例如，鼠标、轨迹球、操纵杆、运动传感器或其他指向仪器)、存储单元1716、信号发生设备1718(例如，扬声器)和网络接口设备1720。
存储单元1716包括机器可读介质1722，其上存储有体现在本文中描述的方法或功能中的任一个或更多个的指令1724(例如，软件)。指令1724(例如，软件)也可以在由计算机系统1700、主存储器1704和也构成机器可读介质的处理器1702执行期间完全或至少部分地驻留在主存储器1704内或处理器1702内(例如，在处理器的高速缓存存储器内)。可以经由网络接口设备1720在网络1726上发送或接收指令1724(例如，软件)。
虽然在示例实施方式中将机器可读介质1722示为单个介质，但是术语“机器可读介质”应当被视为包括能够存储指令(例如，指令1724)的单个介质或多个介质(例如，集中式或分布式数据库，或者相关联的高速缓存和服务器)。术语“机器可读介质”还应被视为包括能够存储用于由机器执行的指令(例如，指令1724)并且使机器执行在本文中公开的任一种或更多种方法的任何介质。术语“机器可读介质”包括但不限于固态存储器、光学介质和磁介质形式的数据存储库。
附加配置考虑
已经出于说明的目的呈现了本发明的实施方式的前述描述；它并非旨在穷举或将本发明限制于所公开的确切形式。相关领域的技术人员可以理解，根据以上公开内容，许多修改和变化是可能的。
例如，尽管在本文中描述的技术应用于自主车辆，但是该技术也可以应用于其他应用，例如，用于显示具有驾驶员的车辆的HD地图、用于在诸如移动电话、笔记本电脑、平板电脑或任何具有显示屏的计算设备的客户端设备的显示器上显示HD地图。在本文中显示的技术还可以应用于例如在计算机游戏中显示用于计算机模拟目的的地图等。
本说明书的一些部分根据对信息的操作的算法和符号表示来描述本发明的实施方式。数据处理领域的技术人员通常使用这些算法描述和表示来有效地将其工作的实质传达给本领域的其他技术人员。这些操作虽然在功能上、计算上或逻辑上被描述，但应理解为由计算机程序或等效电路、微代码等实现。此外，在不失一般性的情况下，将这些操作的安排称为模块，有时也证明是方便的。所描述的操作及其相关联的模块可以体现为软件、固件、硬件或其任何组合。
在本文中描述的任何步骤、操作或过程可以单独地或与其他设备组合地用一个或更多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块用包括含有计算机程序代码的计算机可读介质的计算机程序产品实现，计算机程序代码可以由计算机处理器执行以执行所描述的任何或所有步骤、操作或过程。
本发明的实施方式还可以涉及用于执行在本文中的操作的装置。该装置可以针对所需目的而专门构造，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这样的计算机程序可以存储在有形计算机可读存储介质或适合于存储电子指令的任何类型的介质中，并且耦接至计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多个处理器设计以提高计算能力的架构。
本发明的实施方式还可以涉及体现在载波中的计算机数据信号，其中计算机数据信号包括计算机程序产品或在本文中描述的其他数据组合的任何实施方式。计算机数据信号是以有形介质或载波呈现并在有形的载波中调制或以其他方式编码的产品，并且根据任何合适的传输方法传输。
最后，说明书中使用的语言主要是出于可读性和指导目的而选择的，并且其可以不被选择用于描绘或限制本发明的主题。因此，本发明的范围旨在不受该详细描述的限制，而是受基于其的申请提交的任何权利要求的限制。

Claims (27)

1.一种用于从用于自主车辆的导航的三维地图的点云表示中移除动态对象的方法，所述方法包括：
接收多个光检测和测距lidar样本，每个lidar样本由安装在自主车辆上的lidar传感器捕获，所述lidar样本与所述自主车辆的姿态相关联；
使用所述lidar样本确定三维空间中的一个或更多个被占用体素单元，每个被占用体素单元表示在所述lidar样本中观测到的对象；
对所述被占用体素单元的集合进行过滤，包括针对来自所述集合的一个或更多个被占用体素单元执行以下操作：
确定使用穿过所述被占用体素单元的射线通过所述lidar观测到的点是否比所述被占用体素单元远；以及
响应于确定通过所述lidar观测到的点比所述被占用体素单元远，从所述被占用体素单元的集合中移除所述被占用体素单元；
使用经过滤的被占用体素单元的集合来生成包括点云的高清晰度HD地图；以及
提供所述HD地图以用于自主车辆的导航。
2.根据权利要求1所述的方法，其中，所述lidar传感器被放置在车辆上，并且其中，所述被占用体素单元指示在所述车辆附近存在至少一个对象，其中，对被占用体素单元的集合进行过滤还包括：
基于在所述被占用体素单元的阈值距离内的lidar来识别lidar样本。
3.根据权利要求2所述的方法，还包括：
使用一个或更多个解开变换来确定所述至少一个对象相对于所述lidar传感器的运动。
4.根据权利要求3所述的方法，其中，确定所述至少一个对象的运动包括：
使用所述一个或更多个解开变换来确定所述至少一个对象相对于所述lidar传感器的旋转。
5.根据权利要求1所述的方法，还包括：
部分地基于所述HD地图确定车辆控制指令；以及
将所述车辆控制指令提供给所述车辆以用于导航。
6.根据权利要求1所述的方法，还包括：
使用一个或更多个校准参数来执行对所述lidar传感器的位置的校准。
7.根据权利要求6所述的方法，其中，所述校准参数包括以下中的一个或更多个：旋转校正、距离校正、垂直偏移校正和水平偏移校正。
8.一种用于从点云中移除动态对象的方法，所述方法包括：
接收由光检测和测距lidar传感器捕获的多个lidar样本；
接收针对所述lidar样本中的每个lidar样本的经对准姿态；
接收针对所述lidar样本中的每个lidar样本的解开变换；
使用所述lidar样本、所述经对准姿态和所述解开变换来确定三维空间中的一个或更多个被占用体素单元；
对所述被占用体素单元进行过滤，所述过滤包括针对所述被占用体素单元中的每个被占用体素单元执行以下操作：
确定所述被占用体素单元是否表示与动态对象相对于所述lidar传感器的运动相关联的噪声，以及
从经过滤的被占用体素单元的集合中移除所述被占用体素单元；以及
使用所述经过滤的被占用体素单元的集合来生成包括点云的三维地图。
9.根据权利要求8所述的方法，其中，确定所述被占用体素单元是否表示与对象相对于所述lidar传感器的运动相关联的噪声包括：
针对被占用体素单元，识别搜索半径内的一个或更多个lidar样本；
针对所识别的lidar样本中的每个所识别的lidar样本：
确定所述被占用体素单元到所述lidar样本的范围图像中的投影范围；以及
确定所述lidar样本的像素范围；
其中，从所述经过滤的被占用体素单元中移除所述被占用体素单元是基于：对于所识别的lidar样本中的一个或更多个所识别的lidar样本，所述投影范围是否小于或等于所述像素范围。
10.根据权利要求8所述的方法，其中，确定所述被占用体素单元是否表示与对象相对于所述lidar传感器的运动相关联的噪声包括：
对于所述lidar样本中的每个lidar样本，识别搜索半径内的一个或更多个被占用体素单元；
对于所识别的被占用体素单元中的每个所识别的被占用体素单元：
确定所识别的被占用体素单元到所述lidar样本的范围图像中的投影范围；
确定所述lidar样本的像素范围；
其中，从所述经过滤的被占用体素单元中移除所述被占用体素单元是基于：对于所识别的被占用体素单元中的一个或更多个所识别的被占用体素单元，所述投影范围是否小于或等于所述像素范围。
11.根据权利要求8所述的方法，其中，每个被占用体素单元包括：一个或更多个lidar样本根据所述经对准姿态和所述解开变换的投影。
12.根据权利要求8所述的方法，其中，所述lidar传感器被放置在车辆上，并且其中，所述被占用体素单元指示在所述车辆附近存在至少一个对象。
13.根据权利要求12所述的方法，还包括：
使用一个或更多个解开变换来确定所述至少一个对象相对于所述lidar传感器的运动。
14.根据权利要求13所述的方法，其中，确定所述至少一个对象的运动包括：
使用所述一个或更多个解开变换来确定所述至少一个对象相对于所述lidar传感器的旋转。
15.根据权利要求12所述的方法，还包括：
部分地基于所述三维地图确定车辆控制指令；以及
将所述车辆控制指令提供给所述车辆以用于导航。
16.根据权利要求8所述的方法，还包括：
使用一个或更多个校准参数来执行对所述lidar传感器的位置的校准。
17.根据权利要求16所述的方法，其中，所述校准参数包括以下中的一个或更多个：旋转校正、距离校正、垂直偏移校正和水平偏移校正。
18.一种存储指令的非暂态计算机可读存储介质，所述指令在由处理器执行时使所述处理器执行以下步骤：
接收多个光检测和测距lidar样本，每个lidar样本由安装在自主车辆上的lidar传感器捕获，所述lidar样本与所述自主车辆的姿态相关联；
使用所述lidar样本确定三维空间中的一个或更多个被占用体素单元，每个被占用体素单元表示在所述lidar样本中观测到的对象；
对所述被占用体素单元的集合进行过滤，包括针对来自所述集合的一个或更多个被占用体素单元执行以下操作：
基于在所述被占用体素单元的阈值距离内的lidar来识别lidar样本；
确定使用穿过所述被占用体素单元的射线通过所述lidar观测到的点是否比所述被占用体素单元远；以及
响应于确定通过所述lidar观测到的点比所述被占用体素单元远，从所述被占用体素单元的集合中移除所述被占用体素单元；
使用经过滤的被占用体素单元的集合来生成包括点云的高清晰度HD地图；以及
提供所述HD地图以用于自主车辆的导航。
19.根据权利要求18所述的非暂态计算机可读存储介质，其中，所述lidar传感器被放置在车辆上，并且其中，所述被占用体素单元指示在所述车辆附近存在至少一个对象，其中，对所述被占用体素单元的集合进行过滤还包括：
基于在所述被占用体素单元的阈值距离内的lidar来识别lidar样本。
20.根据权利要求19所述的非暂态计算机可读存储介质，其中，所述指令还使所述处理器执行包括以下操作的步骤：
使用一个或更多个解开变换来确定所述至少一个对象相对于所述lidar传感器的运动。
21.根据权利要求20所述的非暂态计算机可读存储介质，其中，用于确定所述至少一个对象的运动的指令使所述处理器执行包括以下操作的步骤：
使用所述一个或更多个解开变换来确定所述至少一个对象相对于所述lidar传感器的旋转。
22.根据权利要求18所述的非暂态计算机可读存储介质，其中，所述指令还使所述处理器执行包括以下操作的步骤：
部分地基于所述HD地图确定车辆控制指令；以及
将所述车辆控制指令提供给所述车辆以用于导航。
23.一种计算机系统，包括：
处理器；以及
存储指令的计算机可读存储介质，所述指令在由所述处理器执行时使所述处理器执行以下步骤：
接收多个光检测和测距lidar样本，每个lidar样本由安装在自主车辆上的lidar传感器捕获，所述lidar样本与所述自主车辆的姿态相关联；
使用所述lidar样本确定三维空间中的一个或更多个被占用体素单元，每个被占用体素单元表示在所述lidar样本中观测到的对象；
对所述被占用体素单元的集合进行过滤，包括针对来自所述集合的一个或更多个被占用体素单元执行以下操作：
基于在所述被占用体素单元的阈值距离内的lidar来识别lidar样本；
确定使用穿过所述被占用体素单元的射线通过所述lidar观测到的点是否比所述被占用体素单元远；以及
响应于确定通过所述lidar观测到的点比所述被占用体素单元远，从所述被占用体素单元的集合中移除所述被占用体素单元；
使用经过滤的被占用体素单元的集合来生成包括点云的高清晰度HD地图；以及
提供所述HD地图以用于自主车辆的导航。
24.根据权利要求23所述的计算机系统，其中，所述lidar传感器被放置在车辆上，并且其中，所述被占用体素单元指示在所述车辆附近存在至少一个对象。
25.根据权利要求24所述的计算机系统，其中，所述指令还使所述处理器执行包括以下操作的步骤：
使用一个或更多个解开变换来确定所述至少一个对象相对于所述lidar传感器的运动。
26.根据权利要求25所述的计算机系统，其中，用于确定所述至少一个对象的运动的指令使所述处理器执行包括以下操作的步骤：
使用所述一个或更多个解开变换来确定所述至少一个对象相对于所述lidar传感器的旋转。
27.根据权利要求18所述的计算机系统，其中，所述指令还使所述处理器执行包括以下操作的步骤：
部分地基于所述HD地图确定车辆控制指令；以及
将所述车辆控制指令提供给所述车辆以用于导航。
CN202010005201.6A 2019-01-03 2020-01-03 从用于导航自主车辆的高清晰度地图的点云中移除短时点 Active CN111402387B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962788073P 2019-01-03 2019-01-03
US62/788,073 2019-01-03

Publications (2)

Publication Number Publication Date
CN111402387A true CN111402387A (zh) 2020-07-10
CN111402387B CN111402387B (zh) 2023-09-12

Family

ID=71403950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010005201.6A Active CN111402387B (zh) 2019-01-03 2020-01-03 从用于导航自主车辆的高清晰度地图的点云中移除短时点

Country Status (2)

Country Link
US (1) US11675083B2 (zh)
CN (1) CN111402387B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3563265B1 (en) * 2016-12-30 2021-06-02 DeepMap Inc. High definition map updates
US11170567B2 (en) * 2019-06-28 2021-11-09 Woven Planet North America, Inc. Dynamic object detection model based on static map collection data
US11567207B2 (en) * 2019-08-16 2023-01-31 Oregon State University Apparatus and method for efficient point cloud feature extraction and segmentation framework
US11885639B2 (en) * 2020-08-10 2024-01-30 Waymo Llc Generating scouting objectives
US11657572B2 (en) * 2020-10-21 2023-05-23 Argo AI, LLC Systems and methods for map generation based on ray-casting and semantic class images
WO2023193681A1 (en) * 2022-04-04 2023-10-12 The University Of Hong Kong System and method for detecting dynamic events

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092020A (zh) * 2017-04-19 2017-08-25 北京大学 融合无人机LiDAR和高分影像的路面平整度监测方法
US20180189578A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Lane Network Construction Using High Definition Maps for Autonomous Vehicles
US20180188041A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Detection of misalignment hotspots for high definition maps for navigating autonomous vehicles
US20180364717A1 (en) * 2017-06-14 2018-12-20 Zoox, Inc. Voxel Based Ground Plane Estimation and Object Segmentation

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201301281D0 (en) * 2013-01-24 2013-03-06 Isis Innovation A Method of detecting structural parts of a scene
KR102618443B1 (ko) * 2016-12-09 2023-12-27 톰톰 글로벌 콘텐트 비.브이. 비디오 기반 위치결정 및 매핑을 위한 방법 및 시스템
CN110799804A (zh) * 2017-06-30 2020-02-14 深圳市大疆创新科技有限公司 地图生成系统和方法
WO2019079211A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. LIDAR-CAMERA CALIBRATION TO GENERATE HIGH DEFINITION MAPS
GB201718692D0 (en) * 2017-11-13 2017-12-27 Univ Oxford Innovation Ltd Detecting static parts of a scene
US11157527B2 (en) * 2018-02-20 2021-10-26 Zoox, Inc. Creating clean maps including semantic information
US10345447B1 (en) * 2018-06-27 2019-07-09 Luminar Technologies, Inc. Dynamic vision sensor to direct lidar scanning
EP3669141A4 (en) * 2018-11-09 2020-12-02 Beijing Didi Infinity Technology and Development Co., Ltd. VEHICLE POSITIONING SYSTEM USING A LIDAR
US11346950B2 (en) * 2018-11-19 2022-05-31 Huawei Technologies Co., Ltd. System, device and method of generating a high resolution and high accuracy point cloud
CN113168764A (zh) * 2018-12-21 2021-07-23 高通股份有限公司 智能且自适应的交通控制系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180189578A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Lane Network Construction Using High Definition Maps for Autonomous Vehicles
US20180188041A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Detection of misalignment hotspots for high definition maps for navigating autonomous vehicles
CN107092020A (zh) * 2017-04-19 2017-08-25 北京大学 融合无人机LiDAR和高分影像的路面平整度监测方法
US20180364717A1 (en) * 2017-06-14 2018-12-20 Zoox, Inc. Voxel Based Ground Plane Estimation and Object Segmentation

Also Published As

Publication number Publication date
US20200217964A1 (en) 2020-07-09
CN111402387B (zh) 2023-09-12
US11675083B2 (en) 2023-06-13

Similar Documents

Publication Publication Date Title
US11353589B2 (en) Iterative closest point process based on lidar with integrated motion estimation for high definition maps
US11747455B2 (en) Calibrating sensors mounted on an autonomous vehicle
CN111108342B (zh) 用于高清地图创建的视觉测程法和成对对准
EP3759562B1 (en) Camera based localization for autonomous vehicles
CN110832417B (zh) 使用高清地图为自主车辆生成路线
US11365976B2 (en) Semantic label based filtering of objects in an image generated from high definition map data
CN110914777B (zh) 用于自主车辆的高清地图以及路线存储管理系统
US11340355B2 (en) Validation of global navigation satellite system location data with other sensor data
CN110869981B (zh) 用于自主车辆的高清晰度地图数据的向量数据编码
CN111402387B (zh) 从用于导航自主车辆的高清晰度地图的点云中移除短时点
WO2020257723A1 (en) Lidar-based detection of traffic signs for navigation of autonomous vehicles
WO2021003455A1 (en) Determining localization confidence of vehicles based on convergence ranges
US11367208B2 (en) Image-based keypoint generation
US20200386555A1 (en) Using map-based constraints for determining vehicle state
WO2021003487A1 (en) Training data generation for dynamic objects using high definition map data
WO2020264528A1 (en) Calibration of inertial measurement units of vehicles using localization
CN112204343B (zh) 高清晰地图数据的可视化

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221207

Address after: California, USA

Applicant after: NVIDIA Corp.

Address before: California, USA

Applicant before: Dipup Ltd.

GR01 Patent grant
GR01 Patent grant