CN112005079A - 用于更新高清地图的系统和方法 - Google Patents

用于更新高清地图的系统和方法 Download PDF

Info

Publication number
CN112005079A
CN112005079A CN201980027290.XA CN201980027290A CN112005079A CN 112005079 A CN112005079 A CN 112005079A CN 201980027290 A CN201980027290 A CN 201980027290A CN 112005079 A CN112005079 A CN 112005079A
Authority
CN
China
Prior art keywords
definition map
data frame
local high
high definition
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980027290.XA
Other languages
English (en)
Other versions
CN112005079B (zh
Inventor
马腾
朱晓玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Publication of CN112005079A publication Critical patent/CN112005079A/zh
Application granted granted Critical
Publication of CN112005079B publication Critical patent/CN112005079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • G01C21/367Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003Transmission of data between radar, sonar or lidar systems and remote stations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

使用提供的至少两个点云数据帧来更新高清地图的方法和系统。该方法包括:通过通信接口接收由至少一个传感器获取的目标区域的第一数据帧(S504);由至少一个处理器基于第一数据帧构建本地高清地图(S506);通过通信接口接收由至少一个传感器获取的目标区域的第二数据帧(S508);由至少一个处理器基于相对于本地高清地图与第二数据帧相关的相对位置和姿势信息,使用第二数据帧来更新本地高清地图(S510),并且由所述至少一个处理器基于更新的本地高清地图更新高清地图(S516)。

Description

用于更新高清地图的系统和方法
技术领域
本申请涉及用于更新高清地图的系统和方法,更具体地,涉及用于基于累积点云帧来更新高清地图的系统和方法。
背景技术
自动驾驶技术在很大程度上依赖于精确的地图。例如,导航地图的准确性对于自动驾驶车辆的功能是至关重要的,例如定位、环境识别、决策和控制。高清地图可以通过聚合各种传感器、探测器和装备在车辆上的其他设备获取的数据来获取。例如,车辆可配备有多个传感器,例如激光雷达(LiDAR)、全球定位系统(GPS)接收器、一个或以上惯性测量单元(IMU)传感器、以及一个或以上相机,以捕获车辆行驶的道路或周围物体的特征。捕获的数据可以包括例如车道的中心线或边界线坐标、物体的坐标和图像,例如建筑物、另一车辆、地标、行人或交通标志。
高清地图通常是使用诸如即时定位与地图构建(SLAM)方法构建的。即时定位与地图构建方法包括两个阶段,前端和后端。前端构建了一系列基于姿势的本地高清地图,其基于不同点云帧之间的相对位置进行估计。在相对较短的时间段内,估计姿势中的误差累积可以忽略不计,可以保持本地高清地图内的一致性。后端整合本地高清地图以构建全球地图。本地高清地图之间的累积误差变得显著且无法容忍。因此,后端需要基于前端提供的本地高清地图优化姿势,以构建高清地图。优化可以减少和/或消除定位误差的累积。
现有的前端本地高清地图构建方法通常基于获取时间或车辆的位置划分高清地图。这些方法没有考虑到在后端匹配本地高清地图以构建全球高清地图所需的特征数量。另外,现有方法也未能有效地减少定位误差的累积。本地高清地图中的累积误差将影响后端的优化结果。
本申请的实施例通过基于累积点云帧来更新高清地图的方法和系统来解决上述问题。
发明内容
本申请的实施例披露了一种用于更新高清地图的方法。该方法可以包括通过通信接口接收由至少一个传感器获取的目标区域的第一数据帧。该方法还可以包括由至少一个处理器基于第一数据帧构建本地高清地图。该方法还可以包括通过通信接口接收由至少一个传感器获取的目标区域的第二数据帧。该方法还可以包括由至少一个处理器,基于相对于本地高清地图与第二数据帧相关的相对位置和姿势信息,使用第二数据帧来更新本地高清地图,并基于更新的本地高清地图更新高清地图。
本申请的实施例提供了一种用于更新高清地图的系统。该系统可以包括通信接口,其被配置为经由网络接收由至少一个传感器获取的目标区域的第一数据帧和目标区域的第二数据帧。该系统还可以包括存储器,其被配置为存储高清地图。该系统还可以包括至少一个处理器,该至少一个处理器可以被配置为基于由至少一个传感器获取的目标区域的第一数据帧构建本地高清地图。该至少一个处理器还可以被配置为:基于相对于本地高清地图与第二数据帧相关联的相对位置和姿势信息,使用目标区域的第二数据帧更新本地高清地图。至少一个处理器也可以被配置为基于更新的本地地图更新高清地图。
本申请的实施例还披露了一种非暂时性计算机可读介质,其上存储有计算机程序。当由至少一个处理器执行时,计算机程序可以执行使用至少两个终端更新高清地图的方法。该方法可以包括接收由至少一个传感器获取的目标区域的第一数据帧。该方法还可以包括基于第一数据帧构建本地高清地图。该方法还可以包括接收由至少一个传感器获取的目标区域的第二数据帧。该方法还可以包括:基于相对于本地高清地图与第二数据帧相关联的相对位置和姿势信息,使用第二数据帧来更新本地高清地图,并基于更新的本地高清地图更新高清地图。
应当理解,前面的一般性描述和下面的详细描述都只是示例性和说明性的,并不是对要求保护的本发明的限制。
附图说明
图1是根据本申请的实施例所示的配备有传感器的示例性车辆的示意图。
图2是根据本申请的实施例所示的用于更新高清地图的示例性系统的框图。
图3是根据本申请的实施例所示的用于更新高清地图的示例性方法。
图4是根据本申请的实施例所示的轨迹插值之前和之后的示例性点云帧,以及。
图5是根据本申请的实施例所示的用于更新高清地图的示例性方法的流程图。
具体实施方式
现在将详细参考示例性实施例,其示例在附图中示出。只要有可能,在整个附图中将使用相同的附图标记来表示相同或相似的部分。
图1是根据本申请的实施例所示的具有至少两个传感器140和150的示例性车辆100的示意图。与一些实施例一致,车辆100可以是调查车辆,其被配置为获取用于构建高清地图或三维(3-D)城市建模的数据。可以预见车辆100可以是电动车辆、燃料电池车辆、混合动力车辆或传统的内燃机车辆。车辆100可以具有车身110和至少一个车轮120。车身110可以是任何车身类型,例如运动车辆、轿跑车、轿车、皮卡车、旅行车、运动型多功能车(SUV)、小型货车或改装旅行车。在一些实施例中,车辆100可以包括一对前轮和一对后轮,如图1所示。然而,可以预见车辆100可以具有更多或更少的车轮或等效结构,使车辆100能够四处移动。车辆100可以被配置为全轮驱动(AWD)、前轮驱动(FWR)或后轮驱动(RWD)。在一些实施例中,车辆100可以被配置为由占用车辆、远程控制和/或自主的操作员操作。
如图1所示,车辆100可以配备有经由安装结构130安装到车身110的传感器140。安装结构130可以是安装或以其他方式附接到车辆100的车身110的机电设备。在一些实施例中,安装结构130可以使用螺钉、粘合剂或其他安装机构。车辆100可以使用任何合适的安装机构另外在车身110内部或外部配备传感器150。可以预见,传感器140或150可以配备在车辆100上的方式不受图1所示的示例的限制,并且可以根据传感器140/150和/或车辆100的类型进行修改,以实现期望的传感性能。
在一些实施例中,当车辆100沿轨迹行进时,传感器140和150可以被配置为捕获数据。例如,传感器140可以是激光雷达扫描仪,其被配置为扫描周围并获取点云。激光雷达通过用脉冲激光照射目标并用传感器测量反射脉冲,来测量到目标的距离。然后,可以使用激光返回时间和波长的差异,来制作目标的数字三维表示。用于激光雷达扫描的光可以是紫外线、可见光或近红外线。由于窄激光束可以以非常高的分辨率绘制物理特征,因此激光雷达扫描仪特别适用于高清地图测量。在一些实施例中,激光雷达扫描仪可以捕获点云。当车辆100沿轨迹行进时,传感器140可以连续地捕获数据。在特定时间范围捕获的每组场景数据被称为数据帧。
如图1所示,车辆100可以另外配备有传感器150,传感器150可以包括导航单元中使用的传感器,例如GPS接收器和一个或以上IMU传感器。GPS是一种全球导航卫星系统,为GPS接收器提供定位和时间信息。IMU是一种电子设备,使用各种惯性传感器(如加速度计和陀螺仪,有时还有磁力计)测量并提供车辆的特定力、角速率,有时还包括车辆周围的磁场。通过组合GPS接收器和IMU传感器,传感器150可以在车辆100行进时提供车辆100的实时姿势信息,包括车辆100在每个时间点的位置和方向(例如,欧拉角)。
在一些实施例中,由传感器140的激光雷达单元获取的点云数据最初可以在激光雷达单元的本地坐标系中,并且可能需要被转换为全球坐标系(例如,经度/纬度坐标),以供稍后处理。由导航单元的传感器150收集的车辆100的实时姿势信息,可以用于通过点云数据登记将点云数据从本地坐标系变换为全球坐标系,例如,基于车辆100在获取每个点云数据帧时的姿势。为了将点云数据与匹配的实时姿势信息一起注册,传感器140和150可以集成为集成传感系统,使得当点云数据被收集时,点云数据可以通过姿势信息的注册对齐。对于校准目标,集成传感系统可以校准以减少集成误差,包括但不限于传感器140和150的安装角度误差和安装矢量误差。
与本申请一致,传感器140和150可以与服务器160通信。在一些实施例中,服务器160可以是本地物理服务器、云服务器(如图1所示)、虚拟服务器、分布式服务器,或任何其他合适的计算设备。与本申请一致,服务器160可以存储高清地图。在一些实施例中,高清地图最初可以使用由激光雷达获取的点云数据构建。激光雷达通过用脉冲激光照射目标并用传感器测量反射脉冲,来测量到目标的距离。然后可以使用激光返回时间和波长的差异,来构建目标的数字三维表示。用于激光雷达扫描的光可以是紫外线、可见光或近红外线。由于窄激光束可以以非常高的分辨率绘制物理特征,因此激光雷达特别适用于高清地图调查。
与本申请一致,服务器160还可以负责基于累积的本地高清地图来更新高清地图。服务器160可以基于所接收的传感器数据处理传感器数据、基于接收的传感器数据构建本地高清地图、和/或基于更新的本地高清地图更新高清地图。服务器160可以经由网络与传感器140、150和/或车辆100的其他组件通信,例如无线局域网(WLAN)、广域网(WAN)、无线网络诸如无线电波、蜂窝网络、卫星通信网络和/或本地或短程无线网络(例如,蓝牙TM)。
例如,图2是根据本申请的实施例所示的用于更新高清地图的示例性服务器160的框图。与本申请一致,服务器160可以从传感器140接收数据帧203,并且从传感器150接收姿势信息205。基于数据帧服务器160可以生成本地高清地图,其可以随后与姿势信息一起使用以更新高清地图。在一些实施例中,服务器160可以基于当前数据帧确定是否应当进一步更新本地高清地图。如果计算参数满足预定标准,例如,更新的本地高清地图的平均协方差高于预定的阈值水平,其表示数据帧的姿势或位置误差太高,当前的本地高清地图应该基于最后一个数据帧停止更新,并且应该启动一个新的本地高清地图。否则,如果更新的本地高清地图的平均协方差低于预定的阈值水平,则将基于数据帧继续更新当前的高清地图。在一些实施例中,服务器160还可以基于更新的本地高清地图确定是否应该更新高清地图。如果另一个计算参数满足另一个预定标准,例如,更新的本地高清地图与其他本地高清地图之间的匹配水平高于另一个预定的阈值水平,则服务器160可以基于更新的本地高清地图决定更新高清地图。否则,如果另一个计算参数低于另一个阈值水平,则服务器160可以基于更新的本地高清地图决定不更新高清地图。
在一些实施例中,服务器160可以在单个设备中具有不同的模块,例如集成电路(IC)芯片(实现为专用集成电路(ASIC)或现场可编程门阵列(FPGA)),或具有专用功能的单独设备。在一些实施例中,服务器160的一个或以上组件可以位于云中,或者可以替代地位于单个位置(诸如车辆100内或移动设备内)或分布式位置。服务器160的组件可以在集成设备中,或者分布在不同的位置,但是通过网络(未示出)彼此通信。
在一些实施例中,如图2所示,服务器160可以包括通信接口202、处理器204、内存206和存储器208。通信接口202可以经由通信电缆、无线局域网(WLAN)、广域网(WAN)、无线网络、诸如无线电波、蜂窝网络和/或本地或短程无线网络(例如,蓝牙TM),或其他通信方法向传感器140和150的组件发送数据和接收数据。在一些实施例中,通信接口202可以是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器或调制解调器,以提供数据通信连接。又例如,通信接口202可以是局域网(LAN)卡,以提供与兼容LAN连接的数据通信。无线链路也可以通过通信接口202实现。在这种实现中,通信接口202可以经由网络发送和接收携带表示各种类型信息的数字数据流的电信号、电磁信号或光信号。
与一些实施例一致,通信接口202可以接收诸如由传感器140捕获的数据帧203的数据,以及由传感器150捕获的姿势信息205。通信接口还可以将所接收的数据提供给存储器208以供存储,或提供给处理器204以进行处理。通信接口202还可以接收由处理器204生成的数据,并经由网络将数据提供给车辆100或任何远程设备中的任何本地组件。
处理器204可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器204可以被配置为专用于更新高清地图的单独处理器模块。或者,处理器204可以被配置为共享处理器模块,其用于执行与高清地图更新无关的其他功能。
如图2所示,处理器204可以包括多个模块,例如,本地高清地图构建单元210、姿势信息转换单元212、本地高清地图更新单元214、置信水平计算单元216、特征匹配单元218和高清地图更新单元220等。这些模块(以及任何相应的子模块或子单元)可以是处理器204的硬件单元(例如,集成电路的部分),其被设计为与处理器204通过执行程序的至少一部分而实现的其他组件或软件单元一起使用。程序可以存储在计算机可读介质上,并且当由处理器204执行时,它可以执行一个或以上的功能。尽管图2示出了在一个处理器204内的所有单元210至220,但是可以预期这些单元可以分布在彼此靠近或远离的多个处理器之间。例如,与构建或更新本地高清地图相关的模块,诸如本地高清地图构建单元210、姿势信息转换单元212、本地高清地图更新单元214和置信水平计算单元216等,可以在车辆100上的处理器内。与构建或更新全球高清地图有关的模块,诸如特征匹配单元218和高清地图更新单元220可以在远程服务器上的处理器内。
本地高清地图构建单元210可以基于数据帧203被配置为构建本地高清地图。在一些实施例中,数据帧203可以是点云数据帧。本地高清地图构建单元210可以被解释为基于由传感器140获取的第一点云数据帧构建本地高清地图。例如,本地高清地图可以通过采用第一点云数据帧的坐标来构建。
基于构建本地高清地图,姿势信息转换单元212可以被配置为将第二点云数据帧的姿势信息变换为本地高清地图的本地坐标。在一些实施例中,第二点云数据帧的姿势信息可以由传感器150(例如,GPS接收器和一个或以上IMU传感器)获取的数据确定。例如,在获取第二点云数据帧的同一时间点,通过将第二点云数据帧与由传感器150获取的数据相关联,可以确定第二点云数据帧的姿势信息。姿势信息转换单元212可以进一步被配置为基于与第二数据帧相关联的姿势信息,来确定相对姿势信息。在一些实施例中,基于第二数据帧的相对姿势信息,姿势信息转换单元212可以将第二点云数据帧的姿势信息变换为本地高清地图的本地坐标。
基于第二点云数据帧的转换后的姿势信息,本地高清地图更新单元214可以被配置为基于第二点云数据帧更新本地高清地图。例如,本地高清地图更新单元214可以基于第二点云帧的转换后的姿势信息的刚性变换,通过将第二点云帧映射到本地高清地图来更新本地高清地图。
基于更新的本地高清地图,置信水平计算单元216可以被配置为计算更新的本地高清地图的置信水平。在一些实施例中,可以将置信水平确定为与更新的本地高清地图相关联的平均协方差。在一些实施例中,置信水平计算单元216可以进一步被配置为确定更新的本地高清地图的置信水平是否低于预定的阈值水平。如果更新的本地高清地图的置信水平低于预定的阈值水平,处理器204可以使用激光雷达发起继续捕获目标区域的下一个数据帧(例如,第三数据帧)的请求并更新相同的本地高清地图。如果更新的本地高清地图的置信水平高于预定的阈值水平,可以取消更新的本地高清地图的最后更新(例如,在更新之前使用本地高清地图作为未标注的本地高清地图),并且处理器204可以基于更新的本地高清地图更新高清地图。在一些实施例中,可以启动新的本地高清地图构建。例如,处理器204可以向配备有激光雷达的车辆发起调查请求以调查另一个目标区域。
在一些实施例中,特征匹配单元218可以提取/确定更新的本地高清地图内的特征。在一些实施例中,可以从道路标线或直立物体提取特征,例如车道划分线、行人步行标记(例如,斑马线)、交通标志或围栏。例如,更新的本地高清地图的特征可以包括目标区域中的对象的形状、大小、纹理、颜色等数据。在一些实施例中,特征匹配单元218可以进一步提取/确定已经存储在存储器208中的一个或以上预先存在的高清地图的特征。
另外,特征匹配单元218可以将更新的本地高清地图的特征与一个或以上预先存在的高清地图的特征相匹配。特征匹配单元218可以计算表示更新的本地高清地图的特征与预先存在的高清地图的特征之间的相似性的匹配水平。如果计算的更新的本地高清地图的匹配水平低于预定的阈值水平,处理器204可以使用激光雷达发起继续捕获目标区域的下一个数据帧(例如,第三数据帧)的请求并更新相同的本地高清地图。如果更新的本地高清地图的匹配水平高于预定的阈值水平,则处理器204可以基于更新的本地高清地图更新高清地图。在一些实施例中,可以启动新的本地高清地图构建。例如,处理器204可以向配备有激光雷达的车辆发起调查请求以调查另一个目标区域。
在一些实施例中,处理器204可另外包括传感器校准单元(未示出),被配置用于确定与传感器140或150相关联的一个或以上校准参数。在一些实施例中,传感器校准单元可以替代地在车辆100内、在移动设备中、或其他远离处理器204的位置。例如,传感器校准可用于校准激光雷达扫描仪和定位传感器。
内存206和存储器208可以包括任何适当类型的大容量存储器,其被提供以存储处理器204可能需要操作的任何类型的信息。内存206和存储器208可以是易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的存储设备或有形(即,非暂时性)计算机可读介质,包括但不限于只读存储器、闪存、动态随机存取存储器和静态随机存取存储器。内存206和/或存储器208可以被配置为存储一个或以上计算机程序,其可以由处理器204执行以执行本文披露的颜色点云生成功能。例如,内存206和/或存储器208可以被配置为存储程序,其可以由处理器204执行以基于由传感器140或150捕获的数据帧来更新高清地图。
内存206和/或存储器208可以进一步被配置为存储处理器204使用的信息和数据。例如,内存206和/或存储器208可以被配置为存储由传感器140和150以及高清地图捕获的各种类型的数据(例如,图像帧、姿势信息等)。内存206和/或存储器208还可以存储中间数据,例如机器学习模型、从点云提取的特征、计算的置信水平和本地高清地图等。各种类型的数据可以永久存储、周期性地移除,或者在处理每个数据帧之后立即被忽略。
图3示出了根据本申请的实施例的用于更新高清地图的示例性方法。与一些实施例一致,根据方法300,第一数据帧314可用于构建第m个本地高清地图310。从第二数据帧316到第n个数据帧318的数据帧中的每一个可以用于基于每个数据帧被获取的时间点,以连续顺序更新第m个本地高清地图310。更新的第m个本地高清地图可以与一个或以上预先存在的本地高清地图相匹配,例如,更新的本地高清地图m可以与预先存在的第一本地地图302和/或预先存在的第二本地地图304匹配。然后可以确定匹配的本地高清地图之间的相似性。如果相似度高于预定的阈值水平(例如,更新的本地高清地图m与一个或以上预先存在的高清地图之间的特征足够匹配,和/或特征的匹配水平足够高),存储更新的第m个本地高清地图。在一些实施例中,处理器204然后可以使用下一个可用数据帧(例如,第(n+1)个数据帧320)开始构建新的本地高清地图(例如,第(m+1)个本地高清地图312)。从第(n+2)数据帧322到第p个数据帧324的每个数据帧可用于更新第(m+1)个本地高清地图。更新的第(m+1)个本地高清地图可以与预先存在的第n个本地高清地图匹配,以确定匹配水平。第(m+1)个本地高清地图312的构建、更新和匹配方法可以与第m本地高清地图310的构建、更新和匹配方法相同或基本相同。
图4是根据本申请的实施例所示的轨迹插值之前和之后的示例性点云帧。点云410是轨迹插值之前的点云帧,具有锯齿状的位错。相反,点云420是由本地高清地图构建单元210处理的轨迹插值之后的点云帧。由于使用轨迹插值添加数据点,点云帧的平滑性得到改善。
图5是根据本申请的实施例所示的用于更新高清地图的示例性方法500的流程图。在一些实施例中,方法500可以由高清地图更新系统实现,该系统包括服务器160和传感器140和150等。然而,方法500不限于该示例性实施例。方法500可以包括如下所述的步骤S502至S518。应当理解,一些步骤可以是可选的,以执行本文提供的本申请。此外,一些步骤可以同时执行,或者以与图5中所示不同的顺序执行。
在步骤S502,可以校准一个或以上的传感器140和150。在一些实施例中,可以派遣车辆100进行校准行程以收集用于校准传感器参数的数据。在进行实际调查以构建和/或更新地图之前,可以进行校准。由激光雷达(作为传感器140的示例)捕获的点云数据和由诸如GPS接收器和一个或以上IMU传感器的定位设备获取的姿势信息可以被校准。
在步骤S504,当车辆100沿轨迹行进时,传感器140可以捕获目标区域的第一数据帧。在一些实施例中,当车辆100沿着轨迹移动时,传感器140可以捕获目标区域的第一数据帧。在一些实施例中,目标区域的第一数据帧可以是点云数据帧。车辆100可配备有传感器140,例如激光雷达扫描仪。当车辆100沿轨迹行进时,传感器140可以在本地坐标系中以点云数据帧的形式在不同时间点连续捕获场景数据帧。车辆100还可以配备有传感器150,例如GPS接收器和一个或以上IMU传感器。传感器140和150可以形成集成的传感系统。在一些实施例中,当车辆100沿自然场景中的轨迹行进并且当传感器140捕获表示目标区域的点云数据集时,传感器150可获取车辆100的实时姿势信息。
在一些实施例中,捕获的数据帧(包括例如点云帧和姿势信息)可以实时地从传感器140/150发送到服务器160。例如,数据可以在可用时进行流式传输。数据的实时传输使服务器160能够在捕获后续帧的同时实时地处理数据帧。或者,可以在完成一部分或整个调查之后批量传输数据。
在步骤S506,处理器204可以基于目标区域的第一数据帧和与第一数据帧相关联的姿势信息构建本地高清地图。在一些实施例中,本地高清地图可以基于第一数据帧的坐标构建。例如,处理器204可以基于在获取第一数据帧时的车辆100的全球坐标系姿势信息来生成本地高清地图的本地坐标。
在步骤S508,当车辆100沿轨迹行进时,传感器140可以捕获目标区域的第二数据帧。在一些实施例中,当车辆100沿着轨迹移动时,传感器140可以捕获目标区域的第二数据帧。通常,在每两个时间点之间使用一组时间间隔。例如,可以在捕获第一数据帧之后1ms、2ms等捕获第二数据帧。当捕获不同的数据帧时,车辆100处于对应于每个时间点的不同姿势。因此,每个数据帧可以与车辆姿势相关联。在一些实施例中,目标区域的第二数据帧也可以是点云数据帧。
在步骤S510,处理器204可以基于第二数据帧更新本地高清地图。在一些实施例中,处理器204可以将第二数据帧映射到本地高清地图。例如,处理器204可以使用刚性变换方法(旋转和平移变换)来将第二数据帧的姿势信息变换为本地高清地图的本地坐标。然后处理器204可以基于变换将第二数据帧合并到本地高清地图。
在步骤S512,处理器204可以计算更新的本地高清地图的参数。在一些实施例中,计算参数是更新的本地高清地图与预先存在的本地高清地图之间的匹配水平。例如,更新的本地高清地图的特征可以包括目标区域中的对象的形状、大小、颜色、纹理等。在一些实施例中,处理器204可以进一步提取/确定已经存储在存储器208中的一个或以上预先存在的高清地图的特征。另外,处理器204可以将更新的本地高清地图的特征与一个或以上预先存在的高清地图的特征相匹配,并计算更新的本地高清地图与预先存在的本地高清地图之间的匹配水平。
在一些实施例中,在步骤S514,确定计算参数是否满足预定标准。例如,如果计算参数是上述匹配水平,则可以将其与对应于足够匹配水平的阈值进行比较。如果匹配水平高于阈值(S514:是),则方法500进行到步骤S516。否则(S514:否),方法500返回到S508以继续使用激光雷达捕获目标区域的下一个数据帧(例如,第三数据帧),并在S510中更新相同的本地高清地图。
在一些其他实施例中,计算参数在步骤S512是更新的本地高清地图的置信水平。例如,可以将置信水平确定为与更新的本地高清地图相关联的平均协方差。在一些实施例中,可以通过等式1计算与包括多个点云数据帧的更新的本地高清地图相关联的平均协方差:
Figure BDA0002735118900000141
其中
Figure BDA0002735118900000142
是与本地高清地图相关的平均协方差,wi是第i个点云数据帧中的点的个数,
Figure BDA0002735118900000143
是第i个点云数据帧的协方差,并且
Figure BDA0002735118900000144
是第i个点云数据帧和第一点云帧的协方差。在一些实施例中,可以基于点云帧的姿势来计算协方差。
在步骤S514,如果计算出的参数是本地高清地图的置信水平(例如,平均协方差),则可以将其与对应于足够高的累积误差的阈值进行比较。如果置信水平高于阈值(S514:是),则取消最后更新(例如,在更新之前使用本地高清地图作为更新的本地高清地图),并且方法500进行到步骤S516。否则(S514:否),方法500返回到S508以继续使用激光雷达捕获目标区域的下一个数据帧(例如,第三数据帧)并在S510中更新相同的本地高清地图。
在步骤S516,处理器204可以基于更新的本地高清地图更新高清地图。在一些实施例中,处理器204可以使用更新的本地高清地图作为高清地图更新中的约束条件。例如,更新步骤可包括约束(1)
(xtst-xs)TLs(xtst-xs) (1)
其中δst是姿势xs和xt之间的偏移,而Lst是该约束的强度(逆协方差)。
在步骤S518,处理器204可以开始构建新的本地高清地图。例如,当车辆100沿着另一个轨迹(例如第二轨迹)行进时,处理器204可以使用传感器140和传感器150向车辆100发起调查请求以获取另一个目标区域(例如第二目标区域)的另一个第一数据帧。在一些实施例中,可以通过通信接口202发送对车辆100的调查请求。
本申请的另一方面涉及一种存储指令的非暂时性计算机可读介质,所述指令在被执行时使得一个或以上处理器执行如上所述的方法。所述计算机可读介质包括易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的计算机可读介质或计算机可读存储设备。例如,如本申请的计算机可读介质可以是存储设备或其上存储有计算机指令的存储模块。在一些实施例中,计算机可读介质可以是其上存储有计算机指令的盘或闪存驱动器。
显而易见,本领域普通技术人员可以对本申请的系统和相关方法进行各种修改和变化。考虑到本申请的系统和相关方法的说明书和实践,其他实施例对于本领域普通技术人员是显而易见的。
本申请中的说明书和示例的目的仅被认为是示例性的,真正的范围由权利要求及其等同物限定。

Claims (20)

1.一种更新高清地图的方法,其特征在于,所述方法包括:
通过通信接口接收由至少一个传感器获取的目标区域的第一数据帧;
由至少一个处理器基于所述第一数据帧构建本地高清地图;
通过所述通信接口接收由所述至少一个传感器获取的所述目标区域的第二数据帧;
由所述至少一个处理器,基于相对于所述本地高清地图与所述第二数据帧相关的相对位置和姿势信息,使用所述第二数据帧更新所述本地高清地图;以及
基于更新的本地高清地图更新高清地图。
2.根据权利要求1所述的方法,其特征在于,所述至少一个传感器包括激光雷达,并且其中所述第一数据帧和所述第二数据帧是点云数据帧。
3.根据权利要求1所述的方法,其特征在于,进一步包括:
基于与获取所述第二数据帧相同时间点由惯性测量单元传感器获取的数据,确定与所述第二数据帧相关的姿势信息;以及
基于所述与所述第二数据帧相关联的姿势信息确定相对姿势信息。
4.根据权利要求3所述的方法,其特征在于,进一步包括:基于所述与所述第二数据帧相关的姿势信息,将所述第二数据帧转换为所述本地高清地图的本地坐标。
5.根据权利要求1所述的方法,其特征在于,更新高清地图进一步包括:确定所述更新的本地高清地图的计算参数高于阈值水平。
6.根据权利要求5所述的方法,其特征在于,进一步包括:
通过所述通信接口接收由所述至少一个传感器获取的第三数据帧;以及
使用独立于所述本地高清地图的所述第三数据帧构建新的本地高清地图。
7.根据权利要求5所述的方法,其特征在于,所述计算参数是所述更新的本地高清地图的置信水平。
8.根据权利要求7所述的方法,其特征在于,所述置信水平被确定为与所述更新的本地高清地图相关联的协方差。
9.根据权利要求5所述的方法,其特征在于,所述计算参数是所述更新的本地高清地图与至少一个预先存在的本地高清地图之间的匹配水平,所述计算参数高于所述阈值水平。
10.根据权利要求9所述的方法,其特征在于,进一步包括:
确定所述更新的本地高清地图的第一组特征;
确定所述至少一个预先存在的高清地图的第二组特征;以及
确定所述第一组特征与所述第二组特征之间的匹配水平。
11.根据权利要求1所述的方法,其特征在于,所述更新的本地高清地图为更新所述高清地图的约束条件。
12.一种更新高清地图的系统,其特征在于,所述系统包括:
通信接口,所述通信接口被配置为通过网络接收由至少一个传感器获取的目标区域的第一数据帧和所述目标区域的第二数据帧;
存储器,所述存储器被配置为储存高清地图;以及
至少一个处理器,所述处理器被配置为:
基于所述第一数据帧构建本地高清地图;
基于相对于所述本地高清地图与所述第二数据帧相关的相对位置和姿势信息,使用所述第二数据帧来更新所述本地高清地图;以及
基于更新的本地地图更新所述高清地图。
13.根据权利要求12所述的系统,其特征在于,所述至少一个传感器包括激光雷达,并且其中所述第一数据帧和所述第二数据帧是点云数据帧。
14.根据权利要求12所述的系统,其特征在于,使用所述第二数据帧更新所述本地高清地图,所述至少一个处理器被进一步配置为:
基于与获取所述第二数据帧相同时间点由惯性测量单元传感器获取的数据,确定与所述第二数据帧相关的姿势信息;以及
基于所述与所述第二数据帧相关的姿势信息确定相对姿势信息。
15.根据权利要求14所述的系统,其特征在于,所述至少一个处理器进一步被配置为:基于所述与所述第二数据帧相关的姿势信息,将所述第二数据帧转换为所述本地高清地图的本地坐标。
16.根据权利要求14所述的系统,其特征在于,所述至少一个处理器进一步被配置为:确定所述更新的本地高清地图的计算参数高于阈值水平。
17.根据权利要求16所述的系统,其特征在于,所述计算参数是所述更新的本地高清地图的置信水平。
18.根据权利要求17所述的系统,其特征在于,所述置信水平被确定为与所述更新的本地高清地图相关联的协方差。
19.根据权利要求16所述的系统,其特征在于,所述至少一个处理器被进一步配置为:
确定所述更新的本地高清地图的第一组特征;
确定至少一个预先存在的高清地图的第二组特征;以及
确定所述第一组特征与所述第二组特征之间的匹配水平。
20.一种非暂时性计算机可读介质,其上存储有计算机程序,其特征在于,所述计算机程序在由至少一个处理器执行时,执行所述更新高清地图的方法,所述方法包括:
接收由至少一个传感器获取的目标区域的第一数据帧;
基于所述第一数据帧构建本地高清地图;
接收由所述至少一个传感器获取的所述目标区域的第二数据帧;
基于相对于所述本地高清地图与所述第二数据帧相关的相对位置和姿势信息,使用所述第二数据帧来更新所述本地高清地图;以及
基于更新的本地高清地图更新高清地图。
CN201980027290.XA 2019-01-03 2019-01-03 用于更新高清地图的系统和方法 Active CN112005079B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/118059 WO2020140164A1 (en) 2019-01-03 2019-01-03 Systems and methods for updating a high-definition map

Publications (2)

Publication Number Publication Date
CN112005079A true CN112005079A (zh) 2020-11-27
CN112005079B CN112005079B (zh) 2022-08-09

Family

ID=71407438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980027290.XA Active CN112005079B (zh) 2019-01-03 2019-01-03 用于更新高清地图的系统和方法

Country Status (3)

Country Link
US (1) US10996072B2 (zh)
CN (1) CN112005079B (zh)
WO (1) WO2020140164A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113632035B (zh) * 2019-02-25 2024-07-12 德卡产品有限公司 用于表面特征检测和穿越的系统和方法
WO2020241934A1 (ko) * 2019-05-30 2020-12-03 엘지전자 주식회사 멀티 센서를 동기화시켜 위치를 추정하는 방법 및 이를 구현하는 로봇
KR20220068043A (ko) * 2020-11-18 2022-05-25 현대자동차주식회사 정밀 지도의 오류 판단 장치 및 방법
CN112732313B (zh) * 2020-12-21 2021-12-21 南方电网电力科技股份有限公司 一种变电站巡检机器人地图增量更新方法及系统
CN113763504B (zh) * 2021-03-26 2024-06-04 北京四维图新科技股份有限公司 地图更新方法、系统、车载终端、服务器及存储介质
CN113503883B (zh) * 2021-06-22 2022-07-19 北京三快在线科技有限公司 采集用于构建地图的数据的方法、存储介质及电子设备
EP4206738A1 (en) * 2021-12-28 2023-07-05 Yandex Self Driving Group Llc Method and a server for updating a map representation
CN117419734A (zh) * 2022-07-07 2024-01-19 北京图森智途科技有限公司 一种道路变化检测方法、计算设备及存储介质
CN115049792B (zh) * 2022-08-15 2022-11-11 广东新禾道信息科技有限公司 一种高精度地图构建处理方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160282127A1 (en) * 2015-03-23 2016-09-29 Kabushiki Kaisha Toyota Chuo Kenkyusho Information processing device, computer readable storage medium, and map data updating system
CN106767827A (zh) * 2016-12-29 2017-05-31 浙江大学 一种基于激光数据的移动机器人点云地图创建方法
US20180136651A1 (en) * 2015-11-04 2018-05-17 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
WO2018104563A2 (en) * 2016-12-09 2018-06-14 Tomtom Global Content B.V. Method and system for video-based positioning and mapping
US20180188037A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Occupancy Map Updates Based on Sensor Data Collected by Autonomous Vehicles
CN108387241A (zh) * 2017-02-02 2018-08-10 百度(美国)有限责任公司 更新自动驾驶车辆的定位地图的方法和系统
CN109064506A (zh) * 2018-07-04 2018-12-21 百度在线网络技术(北京)有限公司 高精度地图生成方法、装置及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103941748B (zh) 2014-04-29 2016-05-25 百度在线网络技术(北京)有限公司 自主导航方法及系统和地图建模方法及系统
EP4220537A3 (en) * 2015-05-10 2023-08-16 Mobileye Vision Technologies Ltd. Road profile along a predicted path
US10173324B2 (en) 2015-11-16 2019-01-08 Abb Schweiz Ag Facilitating robot positioning
CN106485744B (zh) 2016-10-10 2019-08-20 成都弥知科技有限公司 一种同步定位与地图构建方法
CN110832348B (zh) * 2016-12-30 2023-08-15 辉达公司 用于自主车辆的高清晰度地图的点云数据丰富
CN108732584B (zh) * 2017-04-17 2020-06-30 百度在线网络技术(北京)有限公司 用于更新地图的方法和装置
CN107657640A (zh) 2017-09-30 2018-02-02 南京大典科技有限公司 基于orb slam的智能巡防巡检管理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160282127A1 (en) * 2015-03-23 2016-09-29 Kabushiki Kaisha Toyota Chuo Kenkyusho Information processing device, computer readable storage medium, and map data updating system
US20180136651A1 (en) * 2015-11-04 2018-05-17 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
WO2018104563A2 (en) * 2016-12-09 2018-06-14 Tomtom Global Content B.V. Method and system for video-based positioning and mapping
CN106767827A (zh) * 2016-12-29 2017-05-31 浙江大学 一种基于激光数据的移动机器人点云地图创建方法
US20180188037A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Occupancy Map Updates Based on Sensor Data Collected by Autonomous Vehicles
CN108387241A (zh) * 2017-02-02 2018-08-10 百度(美国)有限责任公司 更新自动驾驶车辆的定位地图的方法和系统
CN109064506A (zh) * 2018-07-04 2018-12-21 百度在线网络技术(北京)有限公司 高精度地图生成方法、装置及存储介质

Also Published As

Publication number Publication date
US10996072B2 (en) 2021-05-04
WO2020140164A1 (en) 2020-07-09
CN112005079B (zh) 2022-08-09
US20200355513A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
US10937231B2 (en) Systems and methods for updating a high-resolution map based on binocular images
CN112005079B (zh) 用于更新高清地图的系统和方法
TWI705263B (zh) 使用光達的運輸工具定位系統
CA3028653C (en) Methods and systems for color point cloud generation
AU2018282302B2 (en) Integrated sensor calibration in natural scenes
US10996337B2 (en) Systems and methods for constructing a high-definition map based on landmarks
CN112424568B (zh) 构建高清地图的系统和方法
CN113874681B (zh) 点云地图质量的评估方法和系统
AU2018102199A4 (en) Methods and systems for color point cloud generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant