CN111536990A - 在传感器之间的在线外参误标定检测 - Google Patents

在传感器之间的在线外参误标定检测 Download PDF

Info

Publication number
CN111536990A
CN111536990A CN202010079750.8A CN202010079750A CN111536990A CN 111536990 A CN111536990 A CN 111536990A CN 202010079750 A CN202010079750 A CN 202010079750A CN 111536990 A CN111536990 A CN 111536990A
Authority
CN
China
Prior art keywords
sensor
map
feature
data
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010079750.8A
Other languages
English (en)
Inventor
高拉夫·潘迪
詹姆斯·豪沃思
赛达斯·坦瓦尔
阿道夫·阿波洛尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN111536990A publication Critical patent/CN111536990A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Abstract

本公开提供了“在传感器之间的在线外参误标定检测”。描述了在传感器之间的在线外参误标定检测的各种示例。在车辆穿过区域时，用来自所述车辆的第一传感器的第一传感器数据和来自所述车辆的第二传感器的第二传感器数据来检测所述区域的高清晰度(HD)地图中的特征。基于所述检测的结果来估计所述第一传感器和所述第二传感器中的一个的误标定。

Description

在传感器之间的在线外参误标定检测
技术领域
本公开总体上涉及传感器标定，并且更具体地，涉及在传感器之间的在线外参误标定检测。
背景技术
各种自动化应用依赖于使用多个传感器，诸如光检测和测距(LiDAR)传感器、相机、雷达和全球导航卫星系统(GNSS)/惯性导航系统(INS)。在这些应用中，自主车辆(AV)的自动驾驶特别倾向于严重依赖于一套协同地运作的传感器。例如，AV上的多个传感器对于稳健地执行诸如定位、映射和感知(例如，对行人/车辆的检测和跟踪、对车道标记的检测和对交通灯/标志的检测)的任务来说很重要。
外参标定是指在各种传感器的参考帧之间的刚性变换(也被称为外参参数)。外参参数的误标定可能会严重地影响感知和定位任务的执行，因为这些任务通常依赖假设传感器的标定准确。这意味着误标定可能会导致严重的系统故障。
在车辆操作期间的误标定通常是由于对车辆上的传感器的位置和/或取向的物理扰动。可能因各种原因而发生扰动，诸如恶劣的路况、传感器支架的磨损和破损，和/或对传感器硬件的恶意操纵。此外，在车辆操作期间的任何时候都可能会发生扰动和误标定。
发明内容
本公开旨在提供用于在传感器之间的外参误标定的在线检测的方法、系统和设备。根据一个实施例，一种根据本公开的方法可以涉及在车辆穿过区域时，用来自所述车辆的第一传感器的第一传感器数据和来自所述车辆的第二传感器的第二传感器数据来检测所述区域的高清晰度(HD)地图中的特征。所述方法还可以涉及基于所述检测的结果来估计所述第一传感器和所述第二传感器中的一个的误标定。
附图说明
参考以下附图描述本公开的非限制性和非详尽性实施例，其中除非另有说明，否则相同的附图标记贯穿各个附图指代相同的部分。
图1是根据本公开的使用HD地图的误标定检测的示例流水线的图。
图2是根据本公开的相机帧中的特征检测的示例场景的图。
图3是根据本公开的实施例的示例场景的图。
图4是根据本公开的实施例的示例设备的图。
图5是描绘根据本公开的实施例的示例过程的流程图。
具体实施方式
在以下描述中，参考构成其一部分的附图，并且在附图中通过说明的方式来示出可以实践本公开的具体示例性实施例。充分详细地描述这些实施例以使得本领域的技术人员能够实践本文所公开的概念，并且应理解，在不脱离本公开的范围的情况下，可以对各种所公开的实施例进行修改并可以利用其他实施例。因此，以下详细描述不应被视为具有限制意义。
鉴于上文，必要的是存在一种可以以在线方式检测传感器间误标定(例如，在车辆操作期间)并报告该检测的结果(例如，因误标定引起的潜在危害)的方法。在根据本公开的所提议的方案下，可以使用通常出现在道路环境中的对象来检查和检测传感器的误标定，而无需放置特殊的基准标记。特别地，在所提议的方案下，可以使用高清晰度(HD)地图数据来估计误标定，而不是仅依赖传感器数据。由于AV利用HD地图进行导航，因此HD地图对于AV操作来说至关重要。一旦AV定位在HD地图中，就可以知道HD地图上的基础设施、对象或特征(例如，交通灯、交通信号、车道、灯杆、消防栓等)的确切位置以及此类对象相对于AV的相对位置和取向。在所提议的方案下，可以在AV上的各种传感器的参考帧中识别基础设施对象，并且因此，可以通过将基础设施对象从一个传感器的参考帧投影到另一个传感器的参考帧上(例如，基于当前标定参数)以获得投影之间的重叠区域来计算误标定评分。这是因为当被比较的两个传感器的标定参数正确时，从第一参考帧投影的基础设施对象将与第二参考帧中的基础设施对象完全地重叠。此外，由于从HD地图中得知所有感兴趣基础设施对象的位置，因此可以在AV定位在HD地图中的感兴趣区域(例如，具有大量对象和/或特征的地区)中时计算误标定评分。
图1示出了根据本公开的使用HD地图的误标定检测的示例流水线100的图。流水线100可以由AV用来使用HD地图以在线方式检测在感知传感器(例如，三维(3D)LiDAR传感器与相机)之间的外参参数的误标定并且向AV报告检测到的误标定的严重性。
参考图1，HD地图120可以由AV(例如，AV的处理器180)用来识别AV的当前行进路径中的特征丰富的区域。例如，从AV上的LiDAR传感器110的方面来看，可以执行在LiDAR帧中进行特征检测的功能140，并且功能140的输出可以由将点转换为相机帧的功能150使用。类似地，从AV上的相机130的方面来看，可以执行在相机帧中进行特征检测的功能160。一旦AV进入特征丰富的区域(例如，具有相对大量的交通灯、交通标志、车道标记、灯杆和/或消防栓)中的一个，就可以估计或以其他方式检测LiDAR传感器110的误标定，并且可以针对LiDAR传感器110的一个或多个当前参数来计算误标定评分。
图2示出了根据本公开的相机帧中的特征检测的示例场景200的图。在场景200中，特征丰富的区域205可以包括作为HD地图120中的“特征”的许多基础设施对象，诸如，例如灯杆210、交通灯220、消防栓230、交通标志240(例如，限速标志)和车道标记250。这些基础设施对象的位置信息(例如，定位坐标)、尺寸和其他信息可以包括在HD地图120中。另一方面，非基础设施对象(例如，树260和262)和瞬时对象(例如，车辆270)的信息可以不包括在HD地图120中，因为它们不用于根据本公开的误标定检测。
参考图1和图2两者，一旦AV进入特征丰富的区域205，处理器180就可以基于从相机130接收到的一个或多个相机图像来检测特征丰富的区域205。在所提议的方案下，可以用在相机帧(2D)中进行特征检测的功能160来检测在相机图像中的给定特征(例如，交通灯220)周围的边界框224。特别地，来自HD地图120的数据可以用于检测相机130的视野中的特征(例如，交通灯220)的存在。此外，可以识别在相机帧中的特征周围的与特征相对应的边界框224，以突出显示对特征的存在的检测。然后，可以将特征的3D点从HD地图120投影到与来自相机130的相机图像相对应的2D相机帧上。在AV精确地定位在HD地图120中的情况下，来自HD地图120的3D点将与在相机图像中的特征周围的边界框224确切地对准。然而，由于定位的错误，可能存在未对准，并且因此，可以识别在相机图像中的特征周围的搜索窗口226。搜索窗口226可以大于边界框224，并且可以将边界框224包围在其中。例如，在相机流水线中的在相机帧中进行特征检测的功能160可以由处理器180执行以在搜索窗口226中执行对象检测，以识别或以其他方式检测在特征(或在这个示例中，交通灯220)周围的紧密边界框228。紧密边界框228可以小于边界框224。紧密边界框228可以比边界框224更好地与特征对准，并且紧密框228可以比边界框224更准确和/或更紧密地围绕特征。值得注意的是，尽管在该示例中使用了交通灯，但可以利用不同的基础设施对象或特征。
回到图1，功能150的输出和功能160的输出可以由处理器180用来执行对标定参数进行评分的功能170。也就是说，处理器180可以执行对标定参数进行评分的功能170，以基于与检测到的特征相对应的投影的LiDAR传感器数据与围绕从相机130直接计算出的同一特征/与该特征相对应的边界框之间的重叠来计算和获得误标定评分。
在LiDAR流水线中的在LiDAR帧中进行特征检测的功能140可以涉及许多操作。首先，可以通过利用HD地图120来减小点云中的搜索空间。由于HD地图120包含各种特征(包括所关注特征(例如，交通灯220))的位置，因此搜索空间可以被限制为在所关注特征周围的邻近3D空间内。接下来，可以执行检测和目标定位操作以识别点云中的与特征(例如，交通灯220)相对应的点。然后，可以在修剪操作中解决任何模糊。
图3示出了根据本公开的实施例的示例场景300。在场景300中，可以将LiDAR扫描投影到3D城市地图上的十字路口处。框310和320中的每一个示出了与十字路口处的两个交通灯中的相应一个相对应的相应点云中的相应LiDAR点。然后可以使用正在测试和验证的当前相机-LiDAR标定参数将与交通灯对应的这些LiDAR点投影到相机参考帧中的图像平面上。
在LiDAR点投影到相机帧上的情况下，可以例如通过使用统计测量来针对标定参数计算评分，该统计测量结合了从相机图像获得的边界框(例如，类似于图2中的边界框224的边界框)和来自LiDAR传感器110的到相机图像上的点投影的交并比(IoU)。然后，当AV穿过给定区域时，可以聚合从由LiDAR传感器110和相机130生成的一系列不同的视角的计算评分。累积的分数的聚合可以有助于在评分中的异常排除和噪声降低。基于计算的评分，可以向AV的用户和/或第三方(例如，AV的供应商和/或修理厂)报告对误标定的测量(如果有的话)。
总而言之，本公开提供了一种用于检测在车辆(例如，AV、无人驾驶飞行器(UAV)或机器人)的感知传感器之间的外参参数的误标定的方法。该方法可以涉及将HD地图用于车辆定位。这允许车辆识别感兴趣对象(例如，基础设施对象)及其确切位置。感兴趣对象可以包括，例如但不限于，交通灯、交通标志、车道标记、杆、消防栓等。可以在每个传感器的传感器参考帧中识别感兴趣对象。可以将感兴趣对象的图像从一个传感器的参考帧投影到另一传感器的参考帧上。如果两个帧完全地重叠，则传感器被标定。如果不是的话，则该方法可以计算或以其他方式计算误标定评分。可以在具有大量特征(例如，基础设施对象)的地区中执行对感兴趣特征的定位和识别。可以使用HD地图沿着车辆的当前行驶路径识别该地区。
图4示出了根据本公开的实施例的示例设备400。设备400可以包括与本公开相关的许多部件以及与本公开不直接相关的许多部件。因此，为了简洁起见且不模糊对相关部件的说明，图4示出了与本公开的各种实施例相关的那些部件，而没有示出与本公开不直接相关的那些部件。
参考图4，设备400可以包括处理器410、通信装置420、用户接口装置430、第一传感器440、第二传感器445和存储器450。设备400可以在如本文所述的AV、UAV或机器人中实现或作为其一部分。
处理器410可以包括一个或多个集成电路(IC)芯片。通信装置420可以包括能够与一个或多个无线网络和/或一个或多个其他无线通信装置进行无线通信的收发器。例如，通信装置420可以将误标定估计的结果无线地传输到远程服务器(例如，设备400的供应商或在其中安装了设备400的车辆、修理厂或这两者)。用户接口装置430可以能够从用户接收用户输入并且向用户提供可视和/或可听信息。例如，用户接口装置430可以包括触摸感测面板、显示面板、小键盘、扬声器、麦克风或其任何组合。第一传感器440可以是LiDAR传感器，并且第二传感器445可以是图像传感器(例如，相机的图像传感器)。存储器450可以由处理器310访问并且能够存储数据(例如，HD地图452、从第一传感器440接收到的第一传感器数据454(例如，LiDAR数据)和从第二传感器445接收到的第二传感器数据456(例如，图像传感器数据))。存储器450可以包括一种类型的随机存取存储器(RAM)，诸如动态RAM(DRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和/或零电容RAM(Z-RAM)。替代地或另外地，存储器450可以包括一种类型的只读存储器(ROM)，诸如掩模ROM、可编程ROM(PROM)、可擦除可编程ROM(EPROM)和/或电可擦除可编程ROM(EEPROM)。替代地或另外地，存储器450可以包括一种类型的非易失性随机存取存储器(NVRAM)，诸如快闪存储器、固态存储器、铁电RAM(FeRAM)、磁阻RAM(MRAM)和/或相变存储器。
在根据本公开的所提议的方案下，设备400可以执行各种操作以实现根据本公开的所提议的方案。例如，当设备400(或在其中/其上安装了设备400的车辆)穿过区域时，处理器410可以用来自第一传感器440的第一传感器数据454和来自第二传感器445的第二传感器数据456来检测该区域的HD地图452中的特征。此外，处理器410可以基于检测的结果来估计第一传感器440和第二传感器450中的一个的误标定。
在一些实施例中，在检测HD地图中的特征时，处理器410可以识别与第一传感器440相对应的第一参考帧中的特征。另外地，处理器410可以识别与第二传感器445相对应的第二参考帧中的特征。在一些实施例中，在估计第一传感器440和第二传感器450中的一个的误标定时，处理器410可以将特征从第一参考帧投影到第二参考帧上。此外，处理器410可以基于从第一参考帧投影到第二参考帧的特征与在第二参考帧中识别出的特征重叠多少来计算误标定评分。
在一些实施例中，在用来自第一传感器440的第一传感器数据和来自第二传感器445的第二传感器数据来检测区域的HD地图中的特征时，过程500可以涉及处理器410用来自第一传感器440的LiDAR数据和由第二传感器445捕获的图像来检测该区域的HD地图452中的基础设施对象。
在一些实施例中，基础设施对象可以包括交通灯、交通标志、灯杆、车道标记或消防栓。
在一些实施例中，在用来自第一传感器440的第一传感器数据和来自第二传感器445的第二传感器数据来检测区域的HD地图中的特征时，处理器410可以执行许多操作。例如，处理器410可以基于由第二传感器445捕获的图像来识别HD地图452中的具有包括该基础设施对象在内的多个基础设施对象的区域。另外地，处理器410可以基于来自HD地图452的数据来检测第二传感器445的视野中的基础设施对象的存在。此外，处理器410可以基于来自HD地图452的数据来识别在基础设施对象周围的第一边界框，以突出显示对基础设施对象的存在的检测。
在一些实施例中，在用来自第一传感器440的第一传感器数据和来自第二传感器445的第二传感器数据来检测区域的HD地图中的特征时，处理器410可以执行附加的操作。例如，处理器410可以将基础设施对象的3D点从HD地图452投影到与由第二传感器445捕获的图像相对应的2D图像传感器帧上。此外，在3D点和第一边界框未对准的情况下，处理器410可以识别图像中的基础设施对象周围的搜索窗口，其中搜索窗口大于并包围第一边界框。此外，处理器410可以在搜索窗口中执行对象检测，以识别比第一边界框更好地围绕并对准基础设施对象的第二边界框。
在一些实施例中，在用来自第一传感器440的第一传感器数据和来自第二传感器445的第二传感器数据来检测区域的HD地图中的特征时，处理器410可以执行其他操作。例如，处理器410可以根据HD地图452在基础设施对象的位置周围的由LiDAR帧中的LiDAR数据所表示的3D空间中的点云空间中进行搜索。另外地，处理器410可以识别点云中的与基础设施对象相对应的点。此外，处理器410可以将识别的点投影到与由第二传感器445捕获的图像相对应的图像传感器帧上。
在一些实施例中，在基于检测的结果来估计第一传感器440和第二传感器445中的一个的误标定时，处理器410可以基于投影到图像传感器帧上的识别的点与由第二传感器445在图像传感器帧中识别出的特征重叠多少来计算误标定评分。
在一些实施例中，处理器410可以执行附加的操作。例如，处理器410可以确定误标定的严重程度。此外，处理器410可以报告确定的结果。在一些实施例中，在报告时，处理器410可以执行以下一项或多项：(a)经由通信装置420将确定的结果无线地传输到远程服务器；(b)经由用户接口装置430可视地、可听地或者既可视地又可听地向设备400的用户显示该确定的结果；以及(c)将该确定的结果记录在存储器450中。
图5示出了描绘根据本公开的实施例的示例过程500的流程图。过程500可以包括示为诸如510和520的框以及子框512、514、522和524的一个或多个操作、动作或功能。尽管被示为离散框，但根据期望的实现方式，可以将过程500的各个框/子框划分成附加的框、组合成更少的框或消除。此外，可以重复图5的框/子框中的一些或全部。出于说明性目的而非限制，提供了对过程500的以下描述，其中设备400在车辆(例如，AV、UAV或机器人)中实现或被实现为车辆。过程500可以在框510处开始。
在510处，过程500可以涉及当设备400(或在其中/其上安装了设备400的车辆)穿过区域时，设备400的处理器410用来自第一传感器440的第一传感器数据和来自第二传感器445的第二传感器数据来检测该区域的HD地图(例如，HD地图452)中的特征。过程500可以从510进行到520。
在520处，过程500可以涉及处理器410基于检测的结果来估计第一传感器440和第二传感器450中的一个的误标定。
在一些实施例中，在检测HD地图中的特征时，过程500可以涉及处理器410执行如由子框512和514表示的许多操作。
在512处，过程500可以涉及处理器410识别与第一传感器440相对应的第一参考帧中的特征。过程500可以从512进行到514。
在514处，过程500可以涉及处理器410识别与第二传感器445相对应的第二参考帧中的特征。
在一些实施例中，在估计第一传感器440和第二传感器450中的一个的误标定时，过程500可以涉及处理器410执行如由子框522和524表示的许多操作。
在522处，过程500可以涉及处理器410将特征从第一参考帧投影到第二参考帧上。过程500可以从522进行到524。
在524处，过程500可以涉及处理器410基于从第一参考帧投影到第二参考帧的特征与在第二参考帧中识别出的特征重叠多少来计算误标定评分。
在一些实施例中，在用来自第一传感器440的第一传感器数据和来自第二传感器445的第二传感器数据来检测区域的HD地图中的特征时，过程500可以涉及处理器410用来自第一传感器440(其为光探测和测距(LiDAR)传感器)的LiDAR数据和由第二传感器445(其为图像传感器)捕获的图像来检测该区域的HD地图452中的基础设施对象。
在一些实施例中，基础设施对象可以包括交通灯、交通标志、灯杆、车道标记或消防栓。
在一些实施例中，在用来自第一传感器440的第一传感器数据和来自第二传感器445的第二传感器数据来检测区域的HD地图中的特征时，过程500可以涉及处理器410执行许多操作。例如，过程500可以涉及处理器410基于由第二传感器445捕获的图像来识别HD地图452中的具有多个基础设施对象(包括该基础设施对象在内)的区域。另外地，过程500可以涉及处理器410基于来自HD地图452的数据来检测第二传感器445的视野中的基础设施对象的存在。此外，过程500可以涉及处理器410基于来自HD地图452的数据来识别在基础设施对象周围的第一边界框，以突出显示对基础设施对象的存在的检测。
在一些实施例中，在用来自第一传感器440的第一传感器数据和来自第二传感器445的第二传感器数据来检测区域的HD地图中的特征时，过程500可以涉及处理器410执行附加的操作。例如，过程500可以涉及处理器410将基础设施对象的3D点从HD地图452投影到与由第二传感器445捕获的图像相对应的2D图像传感器帧上。此外，在3D点和第一边界框未对准的情况下，过程500可以涉及处理器410识别在图像中的基础设施对象周围的搜索窗口，其中搜索窗口大于并包围第一边界框。此外，过程500可以涉及处理器410在搜索窗口中执行对象检测，以识别比第一边界框更好地围绕并对准基础设施对象的第二边界框。
在一些实施例中，在用来自第一传感器440的第一传感器数据和来自第二传感器445的第二传感器数据来检测区域的HD地图中的特征时，过程500可以涉及处理器410执行其他操作。例如，过程500可以涉及处理器410根据HD地图452在基础设施对象的位置周围的由LiDAR帧中的LiDAR数据所表示的3D空间中的点云空间中进行搜索。另外地，过程500可以涉及处理器410识别点云中的与基础设施对象相对应的点。此外，过程500可以涉及处理器410将识别的点投影到与由第二传感器445捕获的图像相对应的图像传感器帧上。
在一些实施例中，在基于检测的结果来估计第一传感器440和第二传感器445中的一个的误标定时，过程500可以涉及处理器410基于投影到图像传感器帧上的识别的点与由第二传感器445在图像传感器帧中识别出的特征重叠多少来计算误标定评分。
在一些实施例中，过程500可以涉及处理器410执行附加的操作。例如，过程500可以涉及处理器410确定误标定的严重程度。此外，过程500可以涉及处理器410报告确定的结果。在一些实施例中，在报告时，过程500可以涉及处理器410执行以下一项或多项：(a)经由通信装置420将确定的结果无线地传输到远程服务器；(b)经由用户接口装置430可视地、可听地或者既可视地又可听地向设备400的用户显示该确定的结果；以及(c)将该确定的结果记录在存储器450中。
在以上公开内容中，参考形成其一部分的附图，并且在附图中通过说明的方式来示出可以实践本公开的具体实现方式。应理解，在不脱离本公开的范围的情况下，可以利用其他实现方式，并且可以进行结构改变。说明书中对于“一个实施例”、“实施例”、“示例实施例”等的引用指示所述的实施例可以包括特定特征、结构或特性，但每一个实施例都可以不必包括所述特定特征、结构或特性。此外，此类短语不一定是指同一实施例。此外，当结合实施例描述特定特征、结构或特性时，无论是否明确地描述，结合其他实施例实现这样的特征、结构或特性都在本领域的技术人员的知识范围内。
本文公开的系统、设备、装置和方法的实现方式可以包括或利用专用或通用计算机，所述专用或通用计算机包括计算机硬件，诸如像一个或多个处理器和系统存储器，如本文所讨论。本公开的范围内的实现方式还可以包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。此类计算机可读介质可以是可以由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实现方式可以包括至少两种截然不同的计算机可读介质：计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括RAM、ROM、EEPROM、CD-ROM、固态驱动器(“SSD”)(例如，基于RAM)、快闪存储器、相变存储器(“PCM”)、其他类型的存储器、其他光盘存储装置、磁盘存储装置或其他磁存储装置，或者可以用于以计算机可执行指令或数据结构的形式存储期望的程序代码手段并且可以由通用或专用计算机访问的任何其他介质。
本文公开的装置、系统和方法的实现方式可以通过计算机网络进行通信。“网络”被定义为能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当通过网络或另一种通信连接(硬连线、无线或者硬连线或无线的任何组合)向计算机传送或提供信息时，计算机适当地将所述连接视作传输介质。传输介质可以包括网络和/或数据链路，所述网络和/或数据链路可以用于以计算机可执行指令或数据结构形式携带期望的程序代码手段并且可以由通用或专用计算机访问。上述的组合也应包括在计算机可读介质的范围内。
计算机可执行指令包括例如指令和数据，所述指令和数据当在处理器处执行时致使通用计算机、专用计算机或专用处理装置执行特定功能或功能组。计算机可执行指令可以是例如二进制文件、中间格式指令(诸如汇编语言)或者甚至源代码。尽管已经用特定于结构特征和/或方法动作的语言描述了本主题，但应理解，在所附权利要求中定义的主题不必限于已描述的上述特征或动作。更确切地，所述特征和动作被公开作为实施权利要求的示例形式。
本领域的技术人员应理解，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实践，所述计算机系统配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式装置、多处理器系统、基于微处理器的或可编程的消费电子设备、网络PC、小型计算机、大型计算机、移动电话、PDA、平板计算机、寻呼机、路由器、交换机、各种存储装置等。本公开还可以在分布式系统环境中实践，其中通过网络链接(通过硬连线数据链路、无线数据链路或通过硬连线数据链路与无线数据链路的任何组合)的本地和远程计算机系统两者都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器存储装置两者中。
此外，在适当的情况下，本文描述的功能可以在以下一个或多个中执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(ASIC)可以被编程为执行本文中描述的系统和过程中的一个或多个。某些术语贯穿描述和权利要求用于指代特定系统部件。如本领域的技术人员将明白，可以通过不同的名称来提及部件。本文件不意图区分名称不同但功能相同的部件。
应注意，上面讨论的传感器实施例可以包括计算机硬件、软件、固件或它们的任何组合以执行其功能的至少一部分。例如，传感器可以包括被配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例装置在本文中提供用于说明目的，而不意图进行限制。如相关领域的技术人员知道的，本公开的实施例可以在另外的类型的装置中实现。
本公开的至少一些实施例涉及计算机程序产品，其包括(例如，以软件形式)存储在任何计算机可用介质上的这样的逻辑。这样的软件在一种或多种数据处理装置中执行时致使装置如本文所述的进行操作。
尽管已经在上面描述了本公开的各种实施例，但应理解，这些实施例仅通过示例而非限制的方式呈现。对于相关领域的技术人员将显而易见的是，可以在不脱离本公开的精神和范围的情况下做出形式和细节方面的各种改变。因此，本公开的广度和范围不应受上述示例性实施例中的任一个的限制，而是应仅根据所附权利要求及其等效物来限定。已经出于说明和描述目的而呈现了前述描述。其并非意图穷举或将本公开限制为所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。此外，应注意，前述替代实现方式的任一个或所有都可以以任何期望的组合来使用，以形成本公开的附加的混合实现方式。
根据本发明，一种方法，包括：在车辆穿过区域时，用来自所述车辆的第一传感器的第一传感器数据和来自所述车辆的第二传感器的第二传感器数据来检测所述区域的高清晰度(HD)地图中的特征；以及基于所述检测的结果来估计所述第一传感器和所述第二传感器中的一个的误标定。
根据一个实施例，用来自车辆的所述第一传感器的所述第一传感器数据和来自所述车辆的所述第二传感器的所述第二传感器数据对所述区域的所述HD地图中的所述特征的所述检测包括：识别与所述第一传感器相对应的第一参考帧中的所述特征；以及识别与所述第二传感器相对应的第二参考帧中的所述特征。
根据一个实施例，基于所述检测的所述结果对所述第一传感器和所述第二传感器中的一个的所述误标定的所述估计包括：将所述特征从所述第一参考帧投影到所述第二参考帧上；以及基于从所述第一参考帧投影到所述第二参考帧的所述特征与在所述第二参考帧中识别出的所述特征重叠多少来计算误标定评分。
根据一个实施例，用来自车辆的所述第一传感器的所述第一传感器数据和来自所述车辆的所述第二传感器的所述第二传感器数据对所述区域的所述HD地图中的所述特征的所述检测包括用来自所述车辆的光探测和测距(LiDAR)传感器的LiDAR数据和由所述车辆的图像传感器捕获的图像来检测所述区域的所述HD地图中的基础设施对象。
根据一个实施例，所述基础设施对象包括交通灯、交通标志、灯杆、车道标记或消防栓。
根据一个实施例，用来自车辆的所述第一传感器的所述第一传感器数据和来自所述车辆的所述第二传感器的所述第二传感器数据对所述区域的所述HD地图中的所述特征的所述检测包括：基于由所述图像传感器捕获的所述图像来识别所述HD地图中的具有包括所述基础设施对象在内的多个基础设施对象的所述区域；基于来自所述HD地图的数据来检测所述图像传感器的视野中的所述基础设施对象的存在；以及基于来自所述HD地图的所述数据来识别在所述基础设施对象周围的第一边界框，以突出显示对所述基础设施对象的所述存在的所述检测。
根据一个实施例，用来自车辆的所述第一传感器的所述第一传感器数据和来自所述车辆的所述第二传感器的所述第二传感器数据对所述区域的所述HD地图中的所述特征的所述检测包括：将所述基础设施对象的三维(3D)点从所述HD地图投影到与由所述图像传感器捕获的所述图像相对应的二维(2D)图像传感器帧上；在所述3D点和所述第一边界框未对准的情况下，识别在所述图像中的所述基础设施对象周围的搜索窗口，所述搜索窗口大于并包围所述第一边界框；以及在所述搜索窗口中执行对象检测以识别比所述第一边界框更好地围绕并对准所述基础设施对象的第二边界框。
根据一个实施例，用来自车辆的所述第一传感器的所述第一传感器数据和来自所述车辆的所述第二传感器的所述第二传感器数据对所述区域的所述HD地图中的所述特征的所述检测还包括：根据所述HD地图在所述基础设施对象的位置周围的由LiDAR帧中的所述LiDAR数据表示的三维(3D)空间中的点云空间中进行搜索；识别所述点云中的与所述基础设施对象相对应的点；以及将所述识别的点投影到与由所述图像传感器捕获的所述图像相对应的图像传感器帧上。
根据一个实施例，基于所述检测的所述结果对所述第一传感器和所述第二传感器中的一个的所述误标定的所述估计包括基于投影到所述图像传感器帧上的所述识别的点与由所述图像传感器在所述图像传感器帧中识别出的所述特征重叠多少来计算误标定评分。
根据一个实施例，上述发明的特征还在于，确定所述误标定的严重程度；以及报告所述确定的结果。
根据一个实施例，所述报告包括以下一项或多项：将所述确定的所述结果无线地传输到远程服务器；可视地、可听地或者既可视地又可听地向所述车辆的用户显示所述确定的所述结果；以及记录所述确定的所述结果。
根据本发明，提供了一种能够在车辆中实现的设备，所述设备具有：存储器，所述存储器存储区域的高清晰度(HD)地图；第一传感器，所述第一传感器能够在所述车辆穿过所述区域时感测所述区域并且提供第一传感器数据作为所述感测的结果；第二传感器，所述第二传感器能够在所述车辆穿过所述区域时感测所述区域并且提供第二传感器数据作为所述感测的结果；以及处理器，所述处理器耦合到所述存储器、所述第一传感器和所述第二传感器，所述处理器能够：用所述第一传感器数据和所述第二传感器数据来检测所述区域的所述HD地图中的特征；以及基于所述检测的结果来估计所述第一传感器和所述第二传感器中的一个的误标定。
根据一个实施例，在用所述第一传感器数据和所述第二传感器数据来检测所述区域的所述HD地图中的所述特征时，所述处理器能够：识别与所述第一传感器相对应的第一参考帧中的所述特征；以及识别与所述第二传感器相对应的第二参考帧中的所述特征。
根据一个实施例，在基于所述检测的所述结果来估计所述第一传感器和所述第二传感器中的一个的所述误标定时，所述处理器能够：将所述特征从所述第一参考帧投影到所述第二参考帧上；以及基于从所述第一参考帧投影到所述第二参考帧的所述特征与在所述第二参考帧中识别出的所述特征重叠多少来计算误标定评分。
根据一个实施例，所述第一传感器包括光探测和测距(LiDAR)传感器，其中所述第二传感器包括图像传感器，并且其中所述特征包括基础设施对象。
根据一个实施例，在用所述第一传感器数据和所述第二传感器数据来检测所述区域的所述HD地图中的所述特征时，所述处理器能够：基于由所述图像传感器捕获的所述图像来识别所述HD地图中的具有包括所述基础设施对象在内的多个基础设施对象的所述区域；基于来自所述HD地图的数据来检测所述图像传感器的视野中的所述基础设施对象的存在；以及基于来自所述HD地图的所述数据来识别在所述基础设施对象周围的第一边界框，以突出显示对所述基础设施对象的所述存在的所述检测。
根据一个实施例，在用所述第一传感器数据和所述第二传感器数据来检测所述区域的所述HD地图中的所述特征时，所述处理器还能够：将所述基础设施对象的三维(3D)点从所述HD地图投影到与由所述图像传感器捕获的所述图像相对应的二维(2D)图像传感器帧上；在所述3D点和所述第一边界框未对准的情况下，识别在所述图像中的所述基础设施对象周围的搜索窗口，所述搜索窗口大于并包围所述第一边界框；以及在所述搜索窗口中执行对象检测以识别比所述第一边界框更好地围绕并对准所述基础设施对象的第二边界框。
根据一个实施例，在用所述第一传感器数据和所述第二传感器数据来检测所述区域的所述HD地图中的所述特征时，所述处理器还能够：根据所述HD地图在所述基础设施对象的位置周围的由LiDAR帧中的所述LiDAR数据表示的三维(3D)空间中的点云空间中进行搜索；识别所述点云中的与所述基础设施对象相对应的点；以及将所述识别的点投影到与由所述图像传感器捕获的所述图像相对应的图像传感器帧上。
根据一个实施例，在基于所述检测的所述结果来估计所述第一传感器和所述第二传感器中的一个的所述误标定时，所述处理器能够基于投影到所述图像传感器帧上的所述识别的点与由所述图像传感器在所述图像传感器帧中识别出的所述特征重叠多少来计算误标定评分。
根据一个实施例，所述处理器还能够确定所述误标定的严重程度；以及通过执行以下一项或多项来报告所述确定的结果：将所述确定的所述结果无线地传输到远程服务器；可视地、可听地或者既可视地又可听地向所述车辆的用户显示所述确定的所述结果；以及记录所述确定的所述结果。

Claims (15)

1.一种方法，其包括：
在车辆穿过区域时，用来自所述车辆的第一传感器的第一传感器数据和来自所述车辆的第二传感器的第二传感器数据来检测所述区域的高清晰度(HD)地图中的特征；以及
基于所述检测的结果来估计所述第一传感器和所述第二传感器中的一个的误标定。
2.如权利要求1所述的方法，其中用来自车辆的所述第一传感器的所述第一传感器数据和来自所述车辆的所述第二传感器的所述第二传感器数据对所述区域的所述HD地图中的所述特征的所述检测包括：
识别与所述第一传感器相对应的第一参考帧中的所述特征；以及
识别与所述第二传感器相对应的第二参考帧中的所述特征。
3.如权利要求2所述的方法，其中基于所述检测的所述结果对所述第一传感器和所述第二传感器中的一个的所述误标定的所述估计包括：
将所述特征从所述第一参考帧投影到所述第二参考帧上；以及
基于从所述第一参考帧投影到所述第二参考帧的所述特征与在所述第二参考帧中识别出的所述特征重叠多少来计算误标定评分。
4.如权利要求1所述的方法，其中用来自车辆的所述第一传感器的所述第一传感器数据和来自所述车辆的所述第二传感器的所述第二传感器数据对所述区域的所述HD地图中的所述特征的所述检测包括用来自所述车辆的光探测和测距(LiDAR)传感器的LiDAR数据和由所述车辆的图像传感器捕获的图像来检测所述区域的所述HD地图中的基础设施对象。
5.如权利要求4所述的方法，其中所述基础设施对象包括交通灯、交通标志、灯杆、车道标记或消防栓。
6.如权利要求4所述的方法，其中用来自车辆的所述第一传感器的所述第一传感器数据和来自所述车辆的所述第二传感器的所述第二传感器数据对所述区域的所述HD地图中的所述特征的所述检测包括：
基于由所述图像传感器捕获的所述图像来识别所述HD地图中的具有包括所述基础设施对象在内的多个基础设施对象的所述区域；
基于来自所述HD地图的数据来检测所述图像传感器的视野中的所述基础设施对象的存在；以及
基于来自所述HD地图的所述数据来识别在所述基础设施对象周围的第一边界框，以突出显示对所述基础设施对象的所述存在的所述检测。
7.如权利要求6所述的方法，其中用来自车辆的所述第一传感器的所述第一传感器数据和来自所述车辆的所述第二传感器的所述第二传感器数据对所述区域的所述HD地图中的所述特征的所述检测还包括：
将所述基础设施对象的三维(3D)点从所述HD地图投影到与由所述图像传感器捕获的所述图像相对应的二维(2D)图像传感器帧上；
在所述3D点和所述第一边界框未对准的情况下，识别在所述图像中的所述基础设施对象周围的搜索窗口，所述搜索窗口大于并包围所述第一边界框；以及
在所述搜索窗口中执行对象检测以识别比所述第一边界框更好地围绕并对准所述基础设施对象的第二边界框。
8.如权利要求6所述的方法，其中用来自车辆的所述第一传感器的所述第一传感器数据和来自所述车辆的所述第二传感器的所述第二传感器数据对所述区域的所述HD地图中的所述特征的所述检测还包括：
根据所述HD地图在所述基础设施对象的位置周围的由LiDAR帧中的所述LiDAR数据表示的三维(3D)空间中的点云空间中进行搜索；
识别所述点云中的与所述基础设施对象相对应的点；以及
将所述识别的点投影到与由所述图像传感器捕获的所述图像相对应的图像传感器帧上。
9.如权利要求8所述的方法，其中基于所述检测的所述结果对所述第一传感器和所述第二传感器中的一个的所述误标定的所述估计包括基于投影到所述图像传感器帧上的所述识别的点与由所述图像传感器在所述图像传感器帧中识别出的所述特征重叠多少来计算误标定评分。
10.如权利要求1所述的方法，其还包括：
确定所述误标定的严重程度；以及
报告所述确定的结果，
其中所述报告包括以下一项或多项：
将所述确定的所述结果无线地传输到远程服务器；
可视地、可听地或者既可视地又可听地向所述车辆的用户显示所述确定的所述结果；以及
记录所述确定的所述结果。
11.一种能够在车辆中实现的设备，其包括：
存储器，所述存储器存储区域的高清晰度(HD)地图；
第一传感器，所述第一传感器能够在所述车辆穿过所述区域时感测所述区域并且提供第一传感器数据作为所述感测的结果；
第二传感器，所述第二传感器能够在所述车辆穿过所述区域时感测所述区域并且提供第二传感器数据作为所述感测的结果；以及
处理器，所述处理器耦合到所述存储器、所述第一传感器和所述第二传感器，所述处理器能够：
用所述第一传感器数据和所述第二传感器数据来检测所述区域的所述HD地图中的特征；
基于所述检测的结果来估计所述第一传感器和所述第二传感器中的一个的误标定；
确定所述误标定的严重程度；以及
通过执行以下一项或多项来报告所述确定的结果：
将所述确定的所述结果无线地传输到远程服务器；
可视地、可听地或者既可视地又可听地向所述车辆的用户显示所述确定的所述结果；以及
记录所述确定的所述结果。
12.如权利要求11所述的设备，其中：
在用所述第一传感器数据和所述第二传感器数据来检测所述区域的所述HD地图中的所述特征时，所述处理器能够：
识别与所述第一传感器相对应的第一参考帧中的所述特征；以及
识别与所述第二传感器相对应的第二参考帧中的所述特征，并且
在基于所述检测的所述结果来估计所述第一传感器和所述第二传感器中的一个的所述误标定时，所述处理器能够：
将所述特征从所述第一参考帧投影到所述第二参考帧上；以及
基于从所述第一参考帧投影到所述第二参考帧的所述特征与在所述第二参考帧中识别出的所述特征重叠多少来计算误标定评分。
13.如权利要求11所述的设备，其中所述第一传感器包括光探测和测距(LiDAR)传感器，其中所述第二传感器包括图像传感器，其中所述特征包括基础设施对象，其中在用所述第一传感器数据和所述第二传感器数据来检测所述区域的所述HD地图中的所述特征时，所述处理器能够：
基于由所述图像传感器捕获的所述图像来识别所述HD地图中的具有包括所述基础设施对象在内的多个基础设施对象的所述区域；
基于来自所述HD地图的数据来检测所述图像传感器的视野中的所述基础设施对象的存在；以及
基于来自所述HD地图的所述数据来识别在所述基础设施对象周围的第一边界框，以突出显示对所述基础设施对象的所述存在的所述检测。
14.如权利要求13所述的设备，其中在用所述第一传感器数据和所述第二传感器数据来检测所述区域的所述HD地图中的所述特征时，所述处理器还能够：
将所述基础设施对象的三维(3D)点从所述HD地图投影到与由所述图像传感器捕获的所述图像相对应的二维(2D)图像传感器帧上；
在所述3D点和所述第一边界框未对准的情况下，识别在所述图像中的所述基础设施对象周围的搜索窗口，所述搜索窗口大于并包围所述第一边界框；以及
在所述搜索窗口中执行对象检测以识别比所述第一边界框更好地围绕并对准所述基础设施对象的第二边界框。
15.如权利要求13所述的设备，其中在用所述第一传感器数据和所述第二传感器数据来检测所述区域的所述HD地图中的所述特征时，所述处理器还能够：
根据所述HD地图在所述基础设施对象的位置周围的由LiDAR帧中的所述LiDAR数据表示的三维(3D)空间中的点云空间中进行搜索；
识别所述点云中的与所述基础设施对象相对应的点；以及
将所述识别的点投影到与由所述图像传感器捕获的所述图像相对应的图像传感器帧上；
其中在基于所述检测的所述结果来估计所述第一传感器和所述第二传感器中的一个的所述误标定时，所述处理器能够基于投影到所述图像传感器帧上的所述识别的点与由所述图像传感器在所述图像传感器帧中识别出的所述特征重叠多少来计算误标定评分。
CN202010079750.8A 2019-02-06 2020-02-04 在传感器之间的在线外参误标定检测 Pending CN111536990A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/269,173 2019-02-06
US16/269,173 US20200249332A1 (en) 2019-02-06 2019-02-06 Online Extrinsic Miscalibration Detection Between Sensors

Publications (1)

Publication Number Publication Date
CN111536990A true CN111536990A (zh) 2020-08-14

Family

ID=71615522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010079750.8A Pending CN111536990A (zh) 2019-02-06 2020-02-04 在传感器之间的在线外参误标定检测

Country Status (3)

Country Link
US (1) US20200249332A1 (zh)
CN (1) CN111536990A (zh)
DE (1) DE102020102912A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230055783A1 (en) * 2021-08-20 2023-02-23 Institute For Information Industry 3d bounding box reconstruction method, 3d bounding box reconstruction system and non-transitory computer readable medium

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11740335B2 (en) * 2019-03-27 2023-08-29 Zoox, Inc. Identifying and/or removing false positive detections from LIDAR sensor output
US11480686B2 (en) 2019-03-27 2022-10-25 Zoox, Inc. Identifying and/or removing false positive detections from lidar sensor output
KR102115905B1 (ko) * 2019-05-17 2020-05-28 주식회사 만도 운전자 보조 시스템 및 그 제어방법
US20210201666A1 (en) * 2019-12-31 2021-07-01 Oath Inc. Scalable and distributed detection of road anomaly events

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120173185A1 (en) * 2010-12-30 2012-07-05 Caterpillar Inc. Systems and methods for evaluating range sensor calibration data
US9719801B1 (en) * 2013-07-23 2017-08-01 Waymo Llc Methods and systems for calibrating sensors using road map data
EP3258213A4 (en) * 2015-02-13 2018-03-07 Ricoh Company, Ltd. Measurement tool, calibration method, calibration device, and program
US9916703B2 (en) * 2015-11-04 2018-03-13 Zoox, Inc. Calibration for autonomous vehicle operation
US9632502B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
CN110869981B (zh) * 2016-12-30 2023-12-01 辉达公司 用于自主车辆的高清晰度地图数据的向量数据编码
EP3600965B1 (en) * 2017-03-31 2022-08-31 A^3 by Airbus, LLC Systems and methods for calibrating vehicular sensors
US10060751B1 (en) * 2017-05-17 2018-08-28 Here Global B.V. Method and apparatus for providing a machine learning approach for a point-based map matcher
US10775488B2 (en) * 2017-08-17 2020-09-15 Uatc, Llc Calibration for an autonomous vehicle LIDAR module
EP3867668A2 (en) * 2018-10-19 2021-08-25 Innoviz Technologies Ltd. Lidar systems and methods

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230055783A1 (en) * 2021-08-20 2023-02-23 Institute For Information Industry 3d bounding box reconstruction method, 3d bounding box reconstruction system and non-transitory computer readable medium

Also Published As

Publication number Publication date
US20200249332A1 (en) 2020-08-06
DE102020102912A1 (de) 2020-08-06

Similar Documents

Publication Publication Date Title
EP3505869B1 (en) Method, apparatus, and computer readable storage medium for updating electronic map
CN111536990A (zh) 在传感器之间的在线外参误标定检测
CN110869700B (zh) 用于确定车辆位置的系统和方法
US11041729B2 (en) Method and system for determining a global position of a first landmark
JP2020503507A (ja) 測位方法、端末及びサーバー
EP4027167A1 (en) Sensor calibration method and apparatus
WO2019126950A1 (zh) 一种定位方法、云端服务器、终端、系统、电子设备及计算机程序产品
CN110617821B (zh) 定位方法、装置及存储介质
US10210403B2 (en) Method and apparatus for pixel based lane prediction
WO2017208503A1 (ja) 地図データ更新装置、地図データ更新方法および地図データ更新プログラム
KR101444685B1 (ko) 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치
US20200082547A1 (en) Method and apparatus for determining motion vector field, device, storage medium and vehicle
US20180307930A1 (en) Method and apparatus for establishing feature prediction accuracy
US10410072B2 (en) Driving support apparatus, driving support system, driving support method, and computer readable recording medium
JP6456562B1 (ja) 走行支援システム、走行支援方法、および走行支援プログラム
US20220338014A1 (en) Trustworthiness evaluation for gnss-based location estimates
US20200209389A1 (en) Locating Method and Device, Storage Medium, and Electronic Device
US11908206B2 (en) Compensation for vertical road curvature in road geometry estimation
EP3479064A1 (en) Lane level accuracy using vision of roadway lights and particle filter
US11002842B2 (en) Method and apparatus for determining the location of a static object
TW202018256A (zh) 多定位系統切換與融合校正方法及其裝置
CN111103584A (zh) 用于获知车辆的环境中的物体的高度信息的设备和方法
CN114281832A (zh) 基于定位结果的高精地图数据更新方法、装置和电子设备
JP6727032B2 (ja) モバイル端末およびこれを用いた自己位置推定システム並びにサーバおよび自己位置推定方法
CN112781591A (zh) 机器人定位方法、装置、计算机可读存储介质及机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination