CN112136021A - 用于构建基于地标的高清地图的系统和方法 - Google Patents

用于构建基于地标的高清地图的系统和方法 Download PDF

Info

Publication number
CN112136021A
CN112136021A CN201880092936.8A CN201880092936A CN112136021A CN 112136021 A CN112136021 A CN 112136021A CN 201880092936 A CN201880092936 A CN 201880092936A CN 112136021 A CN112136021 A CN 112136021A
Authority
CN
China
Prior art keywords
landmark
local high
high definition
maps
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880092936.8A
Other languages
English (en)
Inventor
马腾
杨晟
朱晓玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Publication of CN112136021A publication Critical patent/CN112136021A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/183—Compensation of inertial measurements, e.g. for temperature effects
    • G01C21/188—Compensation of inertial measurements, e.g. for temperature effects for accumulated errors, e.g. by coupling inertial systems with absolute positioning systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3852—Data derived from aerial or satellite images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • B60W2420/408—

Abstract

本申请提供了一种用于更新高清地图的系统和方法。该系统可以包括通信接口，该通信接口被配置为接收当车辆经由网络沿着轨迹行进时由配备在车辆上的至少一个传感器获取的目标区域的数据。该系统还可以包括存储器被配置用于存储高清地图。该系统还可以包括至少一个处理器。所述至少一个处理器可以被配置用于识别与地标相关联的至少两个数据帧，每个数据帧对应于轨迹上的至少两个本地高清地图中的一个。至少一个处理器可以进一步被配置为共同优化至少两个本地高清地图的位姿信息和地标的位姿信息。所述至少一个处理器可以进一步被配置为基于所述至少两个本地高清地图的位姿信息构建高清地图。

Description

用于构建基于地标的高清地图的系统和方法
技术领域
本申请涉及用于构建高清(HD)地图的系统和方法，更具体地，涉及用于基于至少两个本地高清地图和与至少两个本地高清地图相关联的地标的共同优化的位姿信息构建高清地图的系统和方法。
背景技术
自动驾驶技术在很大程度上依赖于精确的地图。例如，导航地图的准确性对于自动驾驶车辆的功能至关重要，例如定位、环境识别、决策和控制。位姿图可以主要基于匹配的点云数据和车辆的里程计来获取。以通过使用全球定位系统(GPS)接收器和一个或以上惯性测量单元(IMU)传感器估计车辆的姿态来获取车辆的里程。匹配点云数据可以通过扫描街道的几何特征来完成，这可以确保当GPS信号较差时高清地图的全局一致性。
当前位姿优化方法在匹配不同的点云数据帧时不考虑点云数据的语义解释。因此，优化方法不准确或效率不高。因此，需要一种改进的用于构建和更新高清地图的系统和方法。
本申请的实施例通过用于基于至少两个本地高清地图和地标的共同优化的位姿信息构建高清地图的方法和系统来解决上述问题。
发明内容
本申请的实施例提供了一种构建高清地图的方法。该方法可以包括：当车辆沿轨迹行进时，通过通信接口接收由配备在车辆上的至少一个传感器获取的目标区域的传感器数据，其中目标区域包括地标。该方法还可以包括由至少一个处理器识别与地标相关联的至少两个数据帧，每个数据帧对应于轨迹上的至少两个本地高清地图中的一个地图。该方法还可以包括由至少一个处理器共同优化至少两个本地高清地图的位姿信息和地标的位姿信息。该方法还可以包括由至少一个处理器基于至少两个本地高清地图的位姿信息来构建高清地图。
本申请的实施例还提供了一种用于构建高清地图的系统。该系统可以包括通信接口，当车辆经由网络沿着轨迹行进时该通信接口被配置为接收由配备在车辆上的至少一个传感器获取的目标区域的数据。该系统还可以包括存储器，该存储器被配置以存储高清地图。该系统还可以包括至少一个处理器。所述至少一个处理器可以被配置用于识别与地标相关联的至少两个数据帧，每个数据帧对应于轨迹上的至少两个本地高清地图中的一个地图。至少一个处理器可以进一步被配置为共同优化至少两个本地高清地图的位姿信息和地标的位姿信息。至少一个处理器也可以被配置为基于至少两个本地高清地图的位姿信息构建高清地图。
本申请的实施例还提供了一种非暂时性计算机可读介质，其上存储有指令，当由一个或以上处理器执行时，使得一个或以上处理器执行构建高清地图的方法。该方法可以包括当车辆沿轨迹行进时，通过配备在车辆上的至少一个传感器接收目标区域获取的传感器数据，其中目标区域包括地标。该方法还可以包括识别与地标相关联的至少两个数据帧，每个数据帧对应于轨迹上的至少两个本地高清地图中的一个地图。该方法还可以包括至少共同优化两个本地高清地图的位姿信息和地标的位姿信息。该方法还可以包括共同优化至少两个本地高清地图的位姿信息和地标的位姿信息。
应当理解，前面的一般性描述和下面的详细描述都只是示例性和说明性的，并不是对要求保护的本发明的限制条件。
附图说明
图1示出了根据本申请的实施例的配备有传感器的示例性车辆的示意图。
图2示出了根据本申请的实施例的用于构建高清地图的示例性系统的框图。
图3A和3B示出了根据本申请的实施例的用于共同优化地标的位姿和本地高清地图的位姿的示例性方法。
图4示出了根据本申请的实施例的用于构建高清地图的示例性方法的流程图。
图5示出了根据本申请的实施例的在本地高清地图内的地标的示例性点云帧。
具体实施方式
现在将详细参考示例性实施例，其示例在附图中示出。只要有可能，在整个附图中将使用相同的附图标记来表示相同或相似的部分。
披露了用于基于至少两个本地高清地图和地标的共同优化的位姿信息构建高清地图的方法和系统的实施例。地标(例如，道路标志和交通线路)在全球坐标中有固定的位置。因此，可以通过共同的地标来匹配包括对相同地标的观察的不同的点云数据帧。此外，基于所述匹配，优化方法可以在公共地标和点云数据的不同帧之间建立多对多限制条件。通过这样处理，提高了高清地图构建方法的鲁棒性和准确性。
图1示出了根据本申请的实施例的具有至少两个传感器140和150的示例性车辆100的示意图。与一些实施例一致，车辆100可以是配置用于获取用于构建高清地图或三维(3-D)城市建模的数据的调查车辆。预期车辆100可以是电动车辆、燃料电池车辆、混合动力车辆或传统内燃机车辆。车辆100可具有车身110和至少一个车轮120。车身110可以是任何车身类型，例如运动车辆、轿跑车、轿车、轻型卡车、旅行车、运动型车辆(SUV)、小型货车或改装车。在一些实施例中，车辆100可包括一对前轮和一对后轮，如图1所示。然而，预期车辆100可具有较少的车轮或等效结构以使车辆100能够四处移动。车辆100可以被配置为全轮驱动(AWD)、前轮驱动(FWR)或后轮驱动(RWD)。在一些实施例中，车辆100可以被配置为由占用车辆的操作员操作、远程控制和/或自主驾驶。
如图1所示，车辆100可配备有各种传感器140和150。传感器140可以通过安装结构130安装到车身110上。安装结构130可以是安装或以其他方式连接到车辆100的车身110的机电设备。在一些实施例中，安装结构130可以使用螺钉、粘合剂或其他安装机构。车辆100可以使用任何合适的安装机构在车身110内部或外部另外配备传感器150。可以设想，在车辆100上配备传感器140或150的方式可以不受图1中所示的示例的限制条件，并且可以根据传感器140/150和/或车辆100的类型进行修改，以实现期望的感测性能。
与一些实施例一致，当车辆100沿着轨迹行进时，传感器140和150可以被配置用于捕获数据。例如，传感器140可以是配置用于扫描周围并获取点云的LiDAR扫描仪。LiDAR通过用脉冲激光照射目标并用传感器测量反射脉冲来测量到目标的距离。然后可以使用激光返回时间和波长的差异来制作目标的数字3-D表示。用于LiDAR扫描的光可以是紫外线、可见光或近红外线。由于窄激光束可以以非常高的分辨率绘制物理特征，因此LiDAR扫描仪特别适用于高清地图调查。在一些实施例中，LiDAR扫描仪可以捕获点云。
当车辆100沿着轨迹行进时，传感器140可以连续地捕获数据。在特定时间范围捕获的每组场景数据称为数据帧。例如，由LiDAR捕获的点云数据可以包括对应于不同时间范围的多个点云数据帧。每个数据帧也对应于沿着轨迹的车辆的位姿。可以使用不同的数据帧来构建不同的本地高清地图，其中在一些实施例中，不同的本地高清地图可以包括相同的地标。由于观察角度和距离不同，相同的地标可能在不同的本地高清地图中具有不同的位姿信息，因此这种位姿信息可以在不同的本地高清地图之间进行匹配和关联，以便于构建高清地图。
如图1所示，车辆100可以另外配备有传感器150，传感器150可以包括导航单元中使用的传感器，例如GPS接收器和一个或以上IMU传感器。GPS是一种全球导航卫星系统，可为GPS接收器提供地理定位和时间信息。IMU是一种电子设备，使用各种惯性传感器(如加速度计和陀螺仪，有时还有磁力计)测量并提供车辆的特定力、角速率，有时还包括车辆周围的磁场。通过组合GPS接收器和IMU传感器，传感器150可在其行进时提供车辆100的实时位姿信息，包括车辆100在每个时间点的位置和朝向(例如，欧拉角)。
在一些实施例中，由传感器140的LiDAR单元获取的点云数据最初是在LiDAR单元的本地坐标系中并且可能需要转换成全局坐标系(例如经度/纬度坐标)以供以后处理。由导航单元的传感器150收集的车辆100的实时位姿信息可用于通过点云数据配准将点云数据从本地坐标系变换为全局坐标系，例如，基于车辆100在获取每个点云数据帧时的位姿。为了利用匹配的实时位姿信息来配准点云数据，可以将传感器140和150集成为集成感测系统，使得当收集时，可以通过与位姿信息的配准来对准点云数据。可以相对于校准目标校准集成感测系统以减少积分误差，包括但不限于传感器140和150的安装角度误差和安装矢量误差。
与本申请一致，传感器140和150可以与服务器160通信。在一些实施例中，服务器160可以是本地物理服务器、云服务器(如图1所示)、虚拟服务器、分布式服务器或任何其他合适的计算设备。与本申请一致，服务器160可以构建高清地图。在一些实施例中，可以使用由LiDAR获取的点云数据帧来构建高清地图。
与本申请一致，服务器160可以基于包含在不同本地高清地图内获取的一个或以上地标的多个数据帧的点云数据来构建高清地图。服务器160可以接收点云数据，识别对应于轨迹上的不同本地高清地图的多个点云数据帧内的地标，共同优化不同本地高清地图和地标的位姿信息，并根据不同本地高清地图的位姿信息构建高清地图。服务器160可以经由网络与传感器140和150、和/或车辆100的其他组件通信，例如无线局部区域网络(WLAN)、广域网(WAN)、无线网络，例如无线电波、蜂窝网络、卫星通信网络，和/或本地或短程无线网络(例如，蓝牙TM)。
例如，图2示出了根据本申请的实施例的用于构建高清地图的示例性服务器160的框图。与本申请一致，服务器160可以从传感器140接收传感器数据203并且从传感器150接收车辆的位姿信息205。基于传感器数据203，服务器160可识别对应于与地标相关联的轨迹上的不同本地高清地图的数据帧，共同优化不同本地高清地图和地标的位姿信息，并根据不同本地高清地图的位姿信息构建高清地图。
在一些实施例中，如图2所示，服务器160可以包括通信接口202、处理器204、内存206和存储器208。在一些实施例中，服务器160可以在单个设备中具有不同的模块，例如集成电路(IC)芯片(实现为专用集成电路(ASIC)或现场可编程门阵列(FPGA))，或具有专用功能的独立设备。在一些实施例中，服务器160的一个或以上组件可以位于云中，或者可以替代地位于单个位置(例如车辆内部100或移动设备内)或分布式位置。服务器160的组件可以在集成设备中或分布在不同位置，但是通过网络(未示出)彼此通信。
通信接口202可以经由通信电缆、无线局部区域网络(WLAN)、广域网(WAN)、诸如无线电波的无线网络、蜂窝网络，向诸如传感器140和150的组件和/或本地或短程无线网络(例如，蓝牙TM)或其他通信方法发送数据和从其接收数据。在一些实施例中，通信接口202可以是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器或调制解调器，以提供数据通信连接。又例如，通信接口202可以是局部区域网络(LAN)卡，以提供与兼容LAN的数据通信连接。无线链路也可以由通信接口202实现。在这样的实现中，通信接口202可以发送和接收电信号、电磁信号或光信号，其携带经由网络表示各种类型信息的数字数据流。
与一些实施例一致，通信接口202可以接收传感器数据203，例如由传感器140捕获的点云数据，以及由传感器150捕获的位姿信息205。通信接口还可以将接收的数据提供给存储器208以便存储或提供给处理器204以进行处理。通信接口202还可以接收由处理器204生成的点云，并且经由网络将点云提供给车辆100中的任何本地组件或任何远程设备。
处理器204可包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器204可以被配置为专用于构建高清地图的单独处理器模块。或者，处理器204可以被配置为共享处理器模块，用于执行与色点云生成无关的其他功能。
如图2所示，处理器204可以包括多个模块，例如地标特征提取单元210、地标匹配单元212、地标参数确定单元214，以及高清地图构建单元216等。这些模块(以及任何相应的子模块或子单元)可以是处理器204的硬件单元(例如，集成电路的部分)，其被设计为与处理器204通过执行程序的至少一部分而实现的其他组件或软件单元一起使用。程序可以存储在计算机可读介质上，并且当由处理器204执行时，它可以执行一个或以上的功能。尽管图2示出了在一个处理器204内的单元210-216，但是可以预期这些单元可以分布在彼此靠近或远离的多个处理器之间。例如，与地标识别相关的模块，例如地标特征提取单元210、地标特征匹配单元212、地标参数确定单元214等可以在车辆100上的处理器内。与构建高清地图相关的模块，例如高清地图构建单元216可以在远程服务器上的处理器内。
地标特征提取单元210可以被配置为从传感器数据203中提取地标特征。在一些实施例中，地标特征可以是地标的几何特征。可以使用不同的方法根据地标的类型提取地标特征。例如，地标可以是道路标记(例如，行车道或行人标记)或站立物体(例如，树木或路牌)。
处理器204可以确定地标的类型。在一些实施例中，如果地标被确定为道路标记，则地标特征提取单元210可以基于地标的点云强度来提取地标特征。例如，地标特征提取单元210可以使用随机样本一致性(RANSAC)方法来分割与车辆行驶的路面相关联的点云数据。因为道路标记通常使用对应于高强度点云的特殊标记材料来制作，所以地标特征提取单元210可以基于点云的强度来提取道路标记的特征。例如，地标特征提取单元210可以使用区域生长或聚类方法。在一些其他实施例中，如果地标被确定为站立对象，则地标特征提取单元210可以基于主成分分析(PCA)方法提取地标特征。例如，地标特征提取单元210可以使用PCA方法来识别地标的相邻区域，因此，可以识别地标的几何特征，并且地标特征提取单元210可以使用几何特征的组合来确定地标特征。
地标特征匹配单元212可以被配置为匹配与不同本地高清地图内的相同地标相关联的地标特征。在一些实施例中，可以使用基于已知与相同地标相关联的样本地标特征训练的学习模型来匹配地标特征。例如，地标特征匹配单元212可以使用诸如地标的类型、集合属性和/或几何特征之类的地标特征作为样本地标特征，并且将特征与相关联的车辆位姿组合以识别不同本地高清地图内的地标。然后，地标特征匹配单元212可以基于与相同地标相关联的样本地标特征来训练学习模型(例如，基于规则的机器学习方法)。然后，训练好的模型可用于查找匹配的地标特征。
地标参数确定单元214可以被配置为基于匹配的地标特征确定地标的一组参数。在一些实施例中，可以基于地标的类型来确定地标的参数集。例如，如果地标是线段类型对象(例如，路灯灯杆)，它可以用4或6个自由度表示，包括线方向(2个自由度)、切向位置(2个自由度)和端点(0或2个自由度)。又例如，如果地标是对称型物体(例如树木或路牌)，它可以用5个自由度表示，包括法线矢量(2个自由度)和地标的空间位置(3个自由度)。对于不是上述两种类型的对象的地标，它们可以用6个自由度表示，包括欧拉角(3个自由度)和地标的空间位置(3个自由度)。
高清地图构建单元216基于地标和本地高清地图的共同优化的位姿信息可以被配置为构建高清地图。在一些实施例中，原始位姿图G＝<V，F>被扩展以包含位姿信息和地标的限制条件。例如，优化对象V的集合被扩展为V＝Vp∪Vl，其中，Vp是需要优化的本地高清地图位姿信息的集合，Vl是需要优化的地标位姿信息的集合(例如，V的每个元素可以表示为vi∈SE(3))。限制条件的集合可以同时扩大，以纳入关于地标的限制条件作为F＝Fobs∪Fodom∪Freg，其中，Fobs是本地高清地图和地标之间的限制条件集合，基于对本地高清地图制作的地标的观察，Fodom是基于本地高清地图的里程计算的限制条件集合，而Freg是基于本地高清地图配准的限制条件集合。
例如，如图3A所示，同一轨迹上的本地高清地图301通过基于里程计Fodom311的限制条件相互连接。不同轨迹上的本地高清地图301通过基于本地高清地图位姿信息Freg312的配准的限制条件来连接。在一些实施例中，当不同的本地高清地图在时间上连续时(例如，当服务车辆沿着轨迹行进并且彼此相邻时获取)，可以基于两个本地高清地图的里程表来建立两个不同的本地高清地图Fodom之间的限制条件，如限制条件Fodom311所示，其大致平行于图3A中的虚线。虚线表示车辆行驶的轨迹。当两个不同的本地高清地图不在同一个轨迹上但彼此共享相同的场景时，可以基于两个本地高清地图的位姿信息的配准来建立两个本地高清地图Freg之间的限制条件，如图3A中的限制条件Freg312所示。
如图3B所示，本地高清地图301通过基于观察Fobs313的限制条件进一步连接到地标302。也就是说，当两个不同的本地高清地图既不是时间上连续的也不是彼此共享任何场景时，仍然可以基于对图3B中的相同地标Fobs313的观察来建立两个本地高清地图之间的限制条件。通过引入基于地标的限制条件，可以显着增加本地高清地图之间的限制条件数量(例如，图3A中总共有8个限制条件，而不是图3B中的20个限制条件)。
随着优化对象V的集合中的元素数量和限制条件F集合中的限制条件数量的增加，高清地图结构的鲁棒性和精度得到提升。例如，当GPS定位精度处于分米级时，高清地图仍然可以以厘米级精度构建。
预期处理器204除了单元210-216之外还可以包括其他模块。在一些实施例中，处理器204可另外包括被配置的传感器校准单元(未示出)，用于确定与传感器140或150相关联的一个或以上校准参数。在一些实施例中，传感器校准单元可以替代地在车辆100内，在移动设备中，或者以其他方式远离处理器204定位。例如，传感器校准可用于校准LiDAR扫描仪和定位传感器。
内存206和存储器208可以包括任何适当类型的大容量存储器，其被提供以存储处理器204可能需要操作的任何类型的信息。内存206和存储器208可以是易失性或非易失性、磁性、半导体、带、光学、可移动、不可移动或其他类型的存储设备或有形(即，非暂时性)计算机可读介质，包括但不限于ROM、闪存、动态RAM和静态RAM。内存206和/或存储器208可以被配置为存储一个或以上计算机程序，其可以由处理器204执行本文披露的高清地图构建功能。例如，内存206和/或存储器208可以被配置为存储程序，其可以由处理器204执行以基于由传感器140和150捕获的传感器数据来构建高清地图。
内存206和/或存储器208可以进一步被配置为存储信息和处理器204使用的数据。例如，内存206和/或存储器208可以被配置为存储由传感器140和150以及高清地图捕获的各种类型的传感器数据(例如，点云数据帧、位姿信息等)。内存206和/或存储器208还可以存储中间数据，例如机器学习模型、地标特征和与地标相关联的参数集等。在处理每个数据帧之后，可以永久地存储、周期性地移除或忽略各种类型的数据。
图4示出了根据本申请的实施例的用于构建高清地图的示例性方法400的流程图。在一些实施例中，方法400可以由高清地图构建系统实现，该系统包括服务器160和传感器140和150等。然而，方法400不限于该示例性实施例。方法400可以包括如下所述的步骤S402-S408。应当理解，一些步骤可以是可选的，以执行本文提供的披露。此外，一些步骤可以同时执行，或者以与图4中所示的顺序不同的顺序执行。
在步骤S402，可以校准传感器140和150的一个或以上。在一些实施例中，可以派遣车辆100进行校准行程以收集用于校准传感器参数的数据。在进行实际调查以构建和/或更新地图之前，可能会进行校准。可以校准由LiDAR(作为传感器140的示例)捕获的点云数据和通过诸如GPS接收器和一个或以上IMU传感器的定位设备获取的位姿信息。
在步骤S404，当车辆100沿着轨迹行进时，传感器140和150可以捕获传感器数据203和位姿信息205。在一些实施例中，目标区域的传感器数据203可以是点云数据。车辆100可配备有传感器140，例如LiDAR激光扫描仪，以捕获传感器数据203。当车辆100沿着轨迹行进时，传感器140可以在不同时间点连续捕获传感器数据203的帧以获取点云数据帧。车辆100还可以配备有传感器150，例如GPS接收器和一个或以上IMU传感器。传感器140和150可以形成集成的传感系统。在一些实施例中，当车辆100沿自然场景中的轨迹行进并且当传感器140捕获指示目标区域的一组点云数据时，传感器150可获取车辆100的实时位姿信息。
在一些实施例中，捕获的数据(包括例如传感器数据203和位姿信息205)可以实时地从传感器140/150发送到服务器160。例如，数据可能会在可用时进行流式传输。数据的实时传输使服务器160能够在捕获后续帧的同时实时地处理数据帧。或者，可以在完成一部分或整个调查之后批量传输数据。
在步骤S406，处理器204可以识别基于不同传感器数据帧构建的不同本地高清地图内的相同地标。在步骤S406A，处理器204可以从传感器数据中提取地标特征。在一些实施例中，可以基于地标的类型来提取地标。例如，处理器204可以确定地标是否是道路标记(例如，交通车道)或站立物体(例如，树木或路牌)。在一些实施例中，如果地标被确定为道路标记，则处理器204可以基于地标的点云强度来识别地标。例如，地标特征提取单元210可以使用RANASC算法对传感器数据进行分段。
基于该段，处理器204还可以基于地标的点云强度来识别地标。例如，图5示出了根据本申请的实施例，分别在地标的点云强度识别之前和之后的相同目标区域的示例性点云510和520。道路标记的点云510示出了在点云强度识别之前由传感器140和150收集的数据。相反，相同道路标记的点云520示出了在点云强度识别之后重新生成的数据(例如，使用RANSAC算法来对传感器数据进行分段)。例如，地标(道路标记)在点云520中比在点云510中示出的相同地标(道路标记)更加可区分，因为传感器140和150收集的传感器数据被过滤以通过RANSAC方法减少噪点。
在一些其他实施例中，如果地标被确定为站立对象，则处理器204可以基于PCA方法识别地标。例如，处理器204可以使用正交变换来将可能相关变量的一组观察值(例如，地标附近区域的点云数据)转换为地标的线性不相关变量的一组值。例如，图5示出了在使用PCA方法提取站立对象之后的示例性点云530。
在步骤S406B，处理器204可以被配置为匹配不同的本地高清地图之间的地标特征。在一些实施例中，可以使用基于与已知相同地标相关联的样本地标特征训练的学习模型来匹配地标特征。例如，处理器204可以使用地标特征(例如类、集合属性或几何特征)作为样本地标特征，并将特征与相关的车辆位姿组合以识别不同的本地高清地图中的地标。处理器204然后可以基于匹配的地标的样本地标特征来训练学习模型(例如，使用基于规则的机器学习方法)。训练的模型可以应用于与相同地标相关联的地标特征匹配。
在步骤S406C，处理器204可以确定与地标相关联的一组参数。在一些实施例中，可以基于地标的类型来确定地标的参数集。
例如，如果地标是线段类型对象(例如，路灯灯杆)，它可以用4或6个自由度表示，包括线方向(2个自由度)、切向位置(2个自由度)和端点(0或2个自由度)。又例如，如果地标是对称型物体(例如树木或路牌)，它可以用5个自由度表示，包括法线矢量(2个自由度)和地标的空间位置(3个自由度)。对于不是上述两种类型的对象的地标，它们可以用6个自由度表示，包括欧拉角(3个自由度)和地标的空间位置(3个自由度)。
在步骤S408，处理器204可以通过地标和本地高清地图的共同优化的位姿信息构建高清地图。在一些实施例中，原始位姿图G可以表示为G＝<V，F>。V是位姿图内每个点的位姿信息的集合(例如，点可以是本地高清地图和/或地标)，并且可以扩展为V＝Vp∪Vl，其中Vp是需要优化的本地高清地图的位姿信息的集合，其中Vl是需要优化的地标的位姿信息的集合(例如，V的每个元素可以表示为Vi∈SE(3))。同时，限制条件F的集合也可以扩展为F＝Fobs∪Fodom∪Freg。Fobs是本地高清地图和地标之间的限制条件集合，基于对本地高清地图的地标的观察，Fodom是基于本地高清地图的里程计算的限制条件的集合，而Freg是基于本地高清地图的配准的限制条件的集合。基于限制条件F＝Fobs∪Fodom∪Freg的集合，可以共同优化本地高清地图位姿信息Vp和地标位姿信息Vl的集合。
本申请的另一方面涉及一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使得一个或以上处理器执行如上所述的方法。所述计算机可读介质包括易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的计算机可读介质或计算机可读存储设备。例如，本申请的计算机可读介质可以是存储设备或其上存储有计算机指令的内存模块。在一些实施例中，计算机可读介质可以是其上存储有计算机指令的盘或闪存驱动器。
显而易见，本领域普通技术人员可以对本申请的系统和相关方法进行各种修改和变化。考虑到本申请的系统和相关方法的说明书和实践，其他实施例对于本领域普通技术人员是显而易见的。
本申请中的说明书和示例的目的仅被认为是示例性的，真正的范围由以下权利要求及其等同物限定。

Claims (20)

1.一种构建高清地图的方法，包括：
当所述车辆沿着轨迹行进时，通过通信接口接收由配备在车辆上的至少一个传感器获取目标区域的传感器数据，其中所述目标区域包括地标；
通过至少一个处理器识别与所述地标相关联的至少两个数据帧，每个数据帧对应于所述轨迹上的至少两个本地高清地图中的一个地图；
通过所述至少一个处理器共同优化所述至少两个本地高清地图的位姿信息和所述地标的位姿信息；以及
基于所述至少两个本地高清地图的所述位姿信息，通过所述至少一个处理器构建所述高清地图。
2.根据权利要求1所述的方法，其特征在于，所述共同优化受制于基于对所述地标和所述至少两个本地高清地图的观察确定的第一组限制条件。
3.根据权利要求2所述的方法，进一步包括：
确定每个识别数据帧内的所述地标的一组参数；
基于与所述至少两个本地高清地图相关的所述地标的所述参数集确定所述第一组限制条件。
4.根据权利要求2所述的方法，其特征在于，所述共同优化进一步受制于基于所述至少两个本地高清地图的里程确定的第二组限制条件。
5.根据权利要求2所述的方法，其特征在于，所述共同优化进一步受制于基于所述至少两个本地高清地图的配准确定的第三组限制条件。
6.根据权利要求3所述的方法，其特征在于，所述地标的所述参数集包括所述地标的方向、切线和端点。
7.根据权利要求3所述的方法，其特征在于，所述地标的所述参数集包括欧拉角和所述目标区域内所述地标的空间位置。
8.根据权利要求3所述的方法，其特征在于，所述地标的所述参数集包括所述地标的法线向量和空间位置。
9.一种构建高清地图的系统，包括：
通信接口被配置为接收当所述车辆经由网络沿着轨迹行进时，通过配备在车辆上的至少一个传感器获取的目标区域内的传感器数据；
一个存储器被配置为存储所述高清地图；以及
至少一个处理器被配置为：
识别与地标相关联的至少两个数据帧，每个数据帧对应于所述轨迹上的至少两个本地高清地图中的一个地图；
共同优化所述至少两个本地高清地图的位姿信息和所述地标的位姿信息；以及
基于所述至少两个本地高清地图的所述位姿信息构建所述高清地图。
10.根据权利要求9所述的系统，其特征在于，所述至少一个处理器被进一步配置为使所述共同优化受制于基于对所述地标和所述至少两个本地高清地图的观察确定的第一组限制条件。
11.根据权利要求10所述的系统，其特征在于，所述至少一个处理器被进一步配置为：
确定每个识别数据帧内的所述地标的一组参数；
基于与所述至少两个本地地图相关联的所述地标的所述参数集确定所述第一组限制条件。
12.根据权利要求10所述的系统，其特征在于，所述至少一个处理器被配置为使所述共同优化受制于基于所述至少两个本地高清地图的里程确定的第二组限制条件。
13.根据权利要求10所述的系统，其特征在于，所述至少一个处理器被进一步配置为使所述共同优化受制于基于所述至少两个本地高清地图的配准确定的第二组限制条件。
14.根据权利要求11所述的系统，其特征在于，所述地标的所述参数集包括所述地标的方向、切线和端点。
15.根据权利要求11所述的系统，其特征在于，所述地标的所述参数集包括欧拉角和所述目标区域内的所述地标的和空间位置。
16.根据权利要求11所述的系统，其特征在于，所述地标的所述参数集包括所述地标的法线向量和空间位置。
17.一种非暂时性计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序在由至少一个处理器执行构建高清地图的方法，所述方法包括：
当所述车辆沿着轨迹行进时，通过配备在车辆上的至少一个传感器接收目标区域的传感器数据，其中所述目标区域包括地标；
识别与所述地标相关联的至少两个数据帧，每个数据帧对应于所述轨迹上的至少两个本地高清地图中的一个地图；
共同优化所述至少两个本地高清地图的位姿信息和所述地标的位姿信息；以及
基于所述至少两个本地高清地图的所述位姿信息构建所述高清地图。
18.根据权利要求19所述的非暂时性计算机可读介质，其特征在于，共同优化受制于基于对所述地标和所述至少两个本地高清地图的观察确定的第一组限制条件。
19.根据权利要求19所述的非暂时性计算机可读介质，还包括：
确定每个识别数据帧内的所述地标的一组参数；
基于与所述至少两个本地高清地图相关的所述地标的所述参数集确定所述第一组限制条件。
20.根据权利要求19所述的非暂时性计算机可读介质，其特征在于，共同优化进一步受制于基于所述至少两个本地高清地图的里程计确定的第二组限制条件和基于所述至少两个本地高清地图的配准的第三组限制条件。
CN201880092936.8A 2018-12-29 2018-12-29 用于构建基于地标的高清地图的系统和方法 Pending CN112136021A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/125642 WO2020133415A1 (en) 2018-12-29 2018-12-29 Systems and methods for constructing a high-definition map based on landmarks

Publications (1)

Publication Number Publication Date
CN112136021A true CN112136021A (zh) 2020-12-25

Family

ID=71126155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880092936.8A Pending CN112136021A (zh) 2018-12-29 2018-12-29 用于构建基于地标的高清地图的系统和方法

Country Status (3)

Country Link
US (1) US10996337B2 (zh)
CN (1) CN112136021A (zh)
WO (1) WO2020133415A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114915664A (zh) * 2021-01-29 2022-08-16 华为技术有限公司 一种点云数据传输方法及装置
CN113378800B (zh) * 2021-07-27 2021-11-09 武汉市测绘研究院 基于车载三维点云的道路标志线自动分类与矢量化方法
CN113822932B (zh) * 2021-08-30 2023-08-18 亿咖通(湖北)技术有限公司 设备定位方法、装置、非易失性存储介质及处理器
WO2023028892A1 (en) * 2021-08-31 2023-03-09 Intel Corporation Hierarchical segment-based map optimization for localization and mapping system
CN117405130B (zh) * 2023-12-08 2024-03-08 新石器中研(上海)科技有限公司 目标点云地图获取方法、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040168148A1 (en) * 2002-12-17 2004-08-26 Goncalves Luis Filipe Domingues Systems and methods for landmark generation for visual simultaneous localization and mapping
CN103675868A (zh) * 2012-09-12 2014-03-26 国际商业机器公司 用于使用视觉数据确定对象位置的方法和系统
CN104833370A (zh) * 2014-02-08 2015-08-12 本田技研工业株式会社 用于映射、定位和位姿校正的系统和方法
CN108303721A (zh) * 2018-02-12 2018-07-20 北京经纬恒润科技有限公司 一种车辆定位方法及系统
CN108534789A (zh) * 2017-12-27 2018-09-14 达闼科技（北京）有限公司 一种多路径定位坐标统一方法、电子设备和可读存储介质
CN109029422A (zh) * 2018-07-10 2018-12-18 北京木业邦科技有限公司 一种多无人机协作构建三维调查地图的方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11132611B2 (en) * 2016-05-27 2021-09-28 Kabushiki Kaisha Toshiba Information processing apparatus and information processing method for determining presence probability of object
EP3828657A1 (en) * 2016-12-23 2021-06-02 Mobileye Vision Technologies Ltd. Navigational system
US10254763B2 (en) * 2016-12-29 2019-04-09 Intel Corporation Detection of traffic dynamics and road changes in autonomous driving
US10422639B2 (en) * 2016-12-30 2019-09-24 DeepMap Inc. Enrichment of point cloud data for high-definition maps for autonomous vehicles
WO2018126215A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. High definition map updates
CN110914777B (zh) * 2016-12-30 2023-05-26 辉达公司 用于自主车辆的高清地图以及路线存储管理系统
CN107246876B (zh) * 2017-07-31 2020-07-07 中北润良新能源汽车(徐州)股份有限公司 一种无人驾驶汽车自主定位与地图构建的方法及系统
WO2019079219A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. CALIBRATION OF SENSORS MOUNTED ON AN AUTONOMOUS VEHICLE
US10606274B2 (en) * 2017-10-30 2020-03-31 Nio Usa, Inc. Visual place recognition based self-localization for autonomous vehicles
US10935978B2 (en) * 2017-10-30 2021-03-02 Nio Usa, Inc. Vehicle self-localization using particle filters and visual odometry
CN108038139B (zh) * 2017-11-10 2021-08-13 未来机器人（深圳）有限公司 地图构建方法、装置和机器人定位方法、装置、计算机设备和存储介质
WO2019169358A1 (en) * 2018-03-02 2019-09-06 DeepMap Inc. Camera based localization for autonomous vehicles
CN108550318B (zh) * 2018-03-12 2020-09-29 浙江大华技术股份有限公司 一种构建地图的方法及装置
US10733484B2 (en) * 2018-03-22 2020-08-04 Here Global B.V. Method, apparatus, and system for dynamic adaptation of an in-vehicle feature detector
EP3612857A1 (en) * 2018-06-25 2020-02-26 Beijing Didi Infinity Technology and Development Co., Ltd. A high-definition map acquisition system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040168148A1 (en) * 2002-12-17 2004-08-26 Goncalves Luis Filipe Domingues Systems and methods for landmark generation for visual simultaneous localization and mapping
CN103675868A (zh) * 2012-09-12 2014-03-26 国际商业机器公司 用于使用视觉数据确定对象位置的方法和系统
CN104833370A (zh) * 2014-02-08 2015-08-12 本田技研工业株式会社 用于映射、定位和位姿校正的系统和方法
CN108534789A (zh) * 2017-12-27 2018-09-14 达闼科技（北京）有限公司 一种多路径定位坐标统一方法、电子设备和可读存储介质
CN108303721A (zh) * 2018-02-12 2018-07-20 北京经纬恒润科技有限公司 一种车辆定位方法及系统
CN109029422A (zh) * 2018-07-10 2018-12-18 北京木业邦科技有限公司 一种多无人机协作构建三维调查地图的方法和装置

Also Published As

Publication number Publication date
US10996337B2 (en) 2021-05-04
US20200341150A1 (en) 2020-10-29
WO2020133415A1 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
CN110859044B (zh) 自然场景中的集成传感器校准
CN110832275B (zh) 基于双目图像更新高分辨率地图的系统和方法
EP3612854B1 (en) Vehicle navigation system using pose estimation based on point cloud
TWI705263B (zh) 使用光達的運輸工具定位系統
CN111436216B (zh) 用于彩色点云生成的方法和系统
US10996072B2 (en) Systems and methods for updating a high-definition map
US10996337B2 (en) Systems and methods for constructing a high-definition map based on landmarks
WO2019007263A1 (zh) 车载传感器的外部参数标定的方法和设备
JP2021508815A (ja) 妨害物体の検出に基づいて高精細度マップを補正するためのシステムおよび方法
JP2008065087A (ja) 静止物地図生成装置
CN112424568A (zh) 构建高清地图的系统和方法
AU2018102199A4 (en) Methods and systems for color point cloud generation
WO2021056185A1 (en) Systems and methods for partially updating high-definition map based on sensor data matching
CN113874681A (zh) 点云地图质量的评估方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination