CN111912417B - 地图构建方法、装置、设备及存储介质 - Google Patents

地图构建方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111912417B
CN111912417B CN202010663457.6A CN202010663457A CN111912417B CN 111912417 B CN111912417 B CN 111912417B CN 202010663457 A CN202010663457 A CN 202010663457A CN 111912417 B CN111912417 B CN 111912417B
Authority
CN
China
Prior art keywords
point cloud
sub
pose information
frame
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010663457.6A
Other languages
English (en)
Other versions
CN111912417A (zh
Inventor
李经纬
梁伯均
王哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN202010663457.6A priority Critical patent/CN111912417B/zh
Publication of CN111912417A publication Critical patent/CN111912417A/zh
Priority to JP2022505577A priority patent/JP2022542289A/ja
Priority to PCT/CN2021/086721 priority patent/WO2021218620A1/zh
Application granted granted Critical
Publication of CN111912417B publication Critical patent/CN111912417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • G01C21/32Structuring or formatting of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Navigation (AREA)

Abstract

本申请实施例提供一种地图构建方法、装置、设备及存储介质。该方法包括:获取采集设备在预设时段内采集的点云数据、惯性测量数据和全球导航卫星系统GNSS数据,GNSS数据包括GNSS信号的强度;基于点云数据、惯性测量数据和GNSS数据,采用与GNSS信号的强度对应的方式,生成采集设备的轨迹。本申请实施例能够提高地图生成精度。

Description

地图构建方法、装置、设备及存储介质
技术领域
本申请实施例涉及自动驾驶领域,尤其涉及一种地图构建方法、装置、设备及存储介质。
背景技术
高精度地图是自动驾驶领域的关键技术。目前主流的高精度地图的采图方法是使用专用的采图车,采图车上安装有激光雷达和高精度捷联惯导系统,可以在全球导航卫星系统(Global Navigation Satellite System,GNSS)信号良好(比如高速公路)的条件下建图。
然而城市路网复杂,往往需要多辆采图车分多次采集数据,然后对多次采集的数据进行融合来构建高精度地图。但由于激光雷达与捷联惯导系统(Strapdown inertialnavigation system,SINS)的外参标定误差和时间同步误差,会造成融合多次采集数据时全局一致性变差,比如生成的地图中多帧点云中的同一路牌、栅栏、红绿灯等不重合,造成生成的地图精度不高。
发明内容
本申请实施例提供一种地图构建方法、装置、设备及存储介质,以提高生成的地图精度。
第一方面,本申请实施例提供一种地图构建方法,包括:获取采集设备在预设时段内采集的点云数据、惯性测量数据和全球导航卫星系统GNSS数据,所述GNSS数据包括GNSS信号的强度;基于所述点云数据、所述惯性测量数据和所述GNSS数据,采用与所述GNSS信号的强度对应的方式,生成所述采集设备的轨迹路线;基于所述轨迹路线构建所述地图。
可选的,所述点云数据包括多帧点云;所述轨迹路线包括在时间和空间位置上相邻的多帧点云;所述基于所述点云数据、所述惯性测量数据和所述GNSS数据,采用与所述GNSS信号的强度对应的方式,生成所述采集设备的轨迹路线,包括:确定所述多帧点云中每帧点云对应的采集设备的位姿信息;根据所述GNSS信号的强度以及每帧点云对应的采集设备的位姿信息,将所述点云数据划分为多个子图,其中,每个子图包括至少一帧点云;根据每个子图包括的至少一帧点云对应的采集设备的位姿信息,确定所述每个子图的位姿信息;确定相邻两个子图之间的第一相对位姿信息。
可选的,所述根据所述GNSS信号的强度以及每帧点云对应的采集设备的位姿信息,将所述点云数据划分为多个子图,包括:根据所述GNSS信号的强度,将所述点云数据中多帧点云分别标记为第一点云和第二点云,所述第一点云对应的GNSS数据的信号强度大于所述第二点云;根据对所述多帧点云分别进行标记得到的标记信息,将所述点云数据划分为多个子图。
可选的,所述根据对所述多帧点云分别进行标记得到的标记信息,将所述点云数据划分为多个子图,包括:根据所述多帧点云中每帧点云的位姿信息,确定至少一帧点云的累计位移量或累计旋转量;针对第一点云,若至少一帧第一点云满足第一预设条件,则将所述至少一帧第一点云作为一个第一子图;其中,所述第一预设条件包括如下至少一项:所述至少一帧第一点云的累计位移量大于或等于位移量阈值;所述至少一帧第一点云的累计旋转量大于或等于旋转量阈值;所述至少一帧第一点云的累计帧数大于或等于帧数阈值;和/或,针对第二点云,根据所述GNSS数据丢失前和丢失后分别对应的点云,确定至少一个第二子图。
可选的,所述第一点云包括第一子点云和第二子点云,所述第一子点云对应的GNSS信号的强度大于所述第二子点云;所述确定所述多帧点云中每帧点云对应的采集设备的位姿信息,包括:基于对所述GNSS数据进行插值的方式,确定所述第一子点云的位姿信息。
可选的,所述确定所述多帧点云中每帧点云对应的采集设备的位姿信息,包括:基于对所述GNSS数据进行插值的方式,确定所述第二子点云的初始位姿信息;基于所述惯性测量数据的预积分值和所述GNSS数据,对所述第二子点云的初始位姿信息进行调整,得到所述第二子点云的位姿信息。
可选的,所述确定相邻两个子图之间的相对位姿信息,包括:基于所述惯性测量数据的预积分值和所述GNSS数据,对所述第一子点云的位姿信息进行调整,得到第一子点云的调整后位姿信息;针对所述第二子图,将对GNSS数据进行插值得到的所述第二子图的第一帧点云和最后一帧点云的位姿信息,分别作为所述第二子图的第一帧点云和最后一帧点云的位姿信息;确定所述第二子图中除所述第一帧点云和最后一帧点云以外的其他帧点云的位姿信息;基于第一子点云的调整后位姿信息和所述第二子图中点云的位姿信息,对子图集中的子图进行配准,得到相邻两个子图之间的相对位姿信息,所述子图集包括至少两个第一子图和至少两个第二子图。
可选的,所述基于对所述GNSS数据进行插值的方式,确定所述第一子点云的位姿信息,包括:对所述GNSS数据进行插值,得到与多帧点云的采集时刻为相同时刻的GNSS数据,所述GNSS数据对应有位姿信息,所述GNSS数据对应的位姿信息为所述GNSS接收机在世界坐标系下的位姿信息;根据插值后的GNSS数据,确定同一采集时刻的第一子点云的位姿信息。
可选的,所述基于所述惯性测量数据的预积分值和所述GNSS数据,对所述第二子点云的初始位姿信息进行调整,得到所述第二子点云的位姿信息,包括:对所述第二子点云进行配准;将所述第二子点云的初始位姿信息作为节点,将配准结果、所述惯性测量数据的预积分值和所述GNSS数据作为约束条件,构建位姿图;基于使所述位姿图的残差总和最小化的原则对所述位姿图的初始位姿信息进行调整,得到所述第二子点云的位姿信息。
可选的,所述基于所述惯性测量数据的预积分值和所述GNSS数据,对所述第一子点云的位姿信息进行调整,得到第一子点云的调整后位姿信息,包括:对所述第一子点云进行配准,得到相邻两帧所述第一子点云之间的相对位姿信息;将所述第一子点云的位姿信息作为节点,将相邻两帧所述第一子点云之间的相对位姿信息、所述惯性测量数据的预积分值和所述GNSS数据作为约束条件,构建位姿图;基于使所述位姿图的残差总和最小化的原则对所述位姿图的位姿信息进行调整,得到所述第一点云数据的位姿信息。
可选的,所述确定所述第二子图中除所述第一帧点云和最后一帧点云以外的其他帧点云的位姿信息,包括:根据所述惯性测量数据、所述第二子图中第一帧点云的位姿信息和所述第二子图中最后一帧点云的位姿信息,对其它帧点云的初始位姿信息进行调整,得到其它帧点云的中间位姿信息;根据其它帧点云的中间位姿信息,对所述其它帧点云进行点云配准;根据所述第一帧点云的位姿信息、所述最后一帧点云的位姿信息和对所述其它帧点云进行点云配准的配准结果,对其它帧点云的中间位姿信息进行调整,得到所述其它帧点云的位姿信息。
可选的,所述根据所述惯性测量数据、所述第二点云中首帧点云的位姿信息和所述第二点云中尾帧点云的位姿信息,对第二点云中其它帧点云的初始位姿信息进行调整,得到其它帧点云的中间位姿信息,包括:将所述其它帧点云的初始位姿信息作为节点,构建位姿图;根据所述惯性测量数据确定所述位姿图的边和所述边的权重;基于使所述位姿图的残差总和最小化的原则对所述位姿图中的初始位姿进行调整,得到所述其它帧点云数据的中间位姿信息。
可选的,所述根据所述第一帧点云的位姿信息、所述最后一帧点云的位姿信息和对所述其它帧点云进行点云配准的配准结果,对其它帧点云的中间位姿信息进行调整,得到所述其它帧点云的位姿信息,包括:将所述第一帧点云的位姿信息、所述最后一帧点云的位姿信息和对所述其它帧点云数据进行点云配准的配准结果作为节点,构建位姿图;根据所述惯性测量数据和所述配准结果,确定所述位姿图的边和所述边的权重;基于使所述位姿图的残差总和最小化的原则对所述位姿图中的中间位姿信息进行调整,得到所述其它帧点云数据的位姿值。
可选的,所述采集设备的轨迹路线包括同一采集设备在同一位置的不同方位的多条轨迹路线;所述基于所述点云数据、所述惯性测量数据和所述GNSS数据,采用与所述GNSS信号的强度对应的方式,生成所述采集设备的轨迹路线,还包括:对所述多条轨迹路线进行回环检测,得到回环检测结果;基于所述回环检测结果、相邻两个子图之间的第一相对位姿信息和GNSS数据,对每帧点云对应的采集设备的位姿信息进行调整,得到所述采集设备的轨迹路线。
可选的,所述对多条轨迹路线进行回环检测,得到回环检测结果,包括:基于多条轨迹路线中的所有子图,构建树结构;确定所述树结构中每个子图的n个邻居子图;针对每个子图,若所述子图与所述邻居子图在时间上不相邻,且重合度大于预设重合度,则将所述子图加入回环边集合;对所述回环边集合中的子图进行配准,确定相邻两个子图之间的第二相对位姿信息。
可选的,所述基于所述回环检测结果、相邻两个子图之间的相对位姿信息和GNSS数据,对每帧点云对应的采集设备的位姿信息进行调整,得到所述采集设备的轨迹路线,包括:将所述轨迹路线中的所有子图作为节点,构建位姿图,每个子图对应一个节点;确定所述节点之间的边,所述边对应有邻边约束条件、回环约束条件、GNSS约束条件和标定约束条件中至少一项,所述邻边约束条件包括相邻两个子图之间的第一相对位姿信息,所述回环约束条件包括相邻两个子图之间的第二相对位姿信息;所述GNSS约束条件包括GNSS数据对子图的位姿信息的先验估计,每个标定边对应一条轨迹且与轨迹上所有节点相连;基于使所述位姿图的残差总和最小化的原则对所述位姿图中的位姿信息进行调整,得到所述采集设备的轨迹路线。
可选的,所述多帧点云数据通过采集设备上的激光雷达采集得到;所述多个惯性测量数据通过采集设备上的惯性测量单元采集得到;所述多个GNSS数据通过GNSS接收机获取得到。
第二方面,本申请实施例提供一种地图构建装置,包括:获取模块,用于获取采集设备在预设时段内采集的点云数据、惯性测量数据和全球导航卫星系统GNSS数据,所述GNSS数据包括GNSS信号的强度;生成模块,用于基于所述点云数据、所述惯性测量数据和所述GNSS数据,采用与所述GNSS信号的强度对应的方式,生成所述采集设备的轨迹路线;构建模块,用于基于所述轨迹路线构建所述地图。
可选的,所述点云数据包括多帧点云;所述轨迹路线包括在时间和空间位置上相邻的多帧点云;所述生成模块在基于所述点云数据、所述惯性测量数据和所述GNSS数据,采用与所述GNSS信号的强度对应的方式,生成所述采集设备的轨迹路线时,具体包括:确定所述多帧点云中每帧点云对应的采集设备的位姿信息;根据所述GNSS信号的强度以及每帧点云对应的采集设备的位姿信息,将所述点云数据划分为多个子图,其中,每个子图包括至少一帧点云;根据每个子图包括的至少一帧点云对应的采集设备的位姿信息,确定所述每个子图的位姿信息;确定相邻两个子图之间的第一相对位姿信息。
可选的,所述生成模块根据所述GNSS信号的强度以及每帧点云对应的采集设备的位姿信息,将所述点云数据划分为多个子图时,具体包括:根据所述GNSS信号的强度,将所述点云数据中多帧点云分别标记为第一点云和第二点云,所述第一点云对应的GNSS数据的信号强度大于所述第二点云;根据对所述多帧点云分别进行标记得到的标记信息,将所述点云数据划分为多个子图。
可选的,所述生成模块根据对所述多帧点云分别进行标记得到的标记信息,将所述点云数据划分为多个子图时,具体包括:根据所述多帧点云中每帧点云的位姿信息,确定至少一帧点云的累计位移量或累计旋转量;针对第一点云,若至少一帧第一点云满足第一预设条件,则将所述至少一帧第一点云作为一个第一子图;其中,所述第一预设条件包括如下至少一项:所述至少一帧第一点云的累计位移量大于或等于位移量阈值;所述至少一帧第一点云的累计旋转量大于或等于旋转量阈值;所述至少一帧第一点云的累计帧数大于或等于帧数阈值;和/或,针对第二点云,根据所述GNSS数据丢失前和丢失后分别对应的点云,确定至少一个第二子图。
可选的,所述第一点云包括第一子点云和第二子点云,所述第一子点云对应的GNSS信号的强度大于所述第二子点云;所述生成模块确定所述多帧点云中每帧点云对应的采集设备的位姿信息时,具体包括:基于对所述GNSS数据进行插值的方式,确定所述第一子点云的位姿信息。
可选的,所述生成模块确定所述多帧点云中每帧点云对应的采集设备的位姿信息时,具体包括:基于对所述GNSS数据进行插值的方式,确定所述第二子点云的初始位姿信息;基于所述惯性测量数据的预积分值和所述GNSS数据,对所述第二子点云的初始位姿信息进行调整,得到所述第二子点云的位姿信息。
可选的,所述生成模块确定相邻两个子图之间的相对位姿信息时,具体包括:基于所述惯性测量数据的预积分值和所述GNSS数据,对所述第一子点云的位姿信息进行调整,得到第一子点云的调整后位姿信息;针对所述第二子图,将对GNSS数据进行插值得到的所述第二子图的第一帧点云和最后一帧点云的位姿信息,分别作为所述第二子图的第一帧点云和最后一帧点云的位姿信息;确定所述第二子图中除所述第一帧点云和最后一帧点云以外的其他帧点云的位姿信息;基于第一子点云的调整后位姿信息和所述第二子图中点云的位姿信息,对子图集中的子图进行配准,得到相邻两个子图之间的相对位姿信息,所述子图集包括至少两个第一子图和至少两个第二子图。
第三方面,本申请实施例提供一种电子设备,包括:存储器;处理器;以及计算机程序;其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如第一方面所述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行以实现第一方面所述的方法。
本申请实施例提供的一种地图构建方法、装置、设备及存储介质,通过获取采集设备在预设时段内采集的点云数据、惯性测量数据和全球导航卫星系统GNSS数据,其中,GNSS数据包括GNSS信号的强度,并基于点云数据、惯性测量数据和GNSS数据,采用与GNSS信号的强度对应的方式,生成采集设备的轨迹路线,之后基于轨迹路线构建地图。由于在轨迹路线生成过程中,考虑了GNSS信号的强度,并且采用与GNSS信号的强度对应的方式来生成采集设备的轨迹路线,因此轨迹路线中点云数据的位姿信息的准确度更高,从而能够降低激光雷达与捷联惯导系统的外参标定和时间同步误差带来的全局不一致性,使得构建的地图的精度更高。
附图说明
图1为本申请实施例提供的地图构建系统的架构示意图;
图2为本申请实施例提供的地图构建方法流程图;
图3为本申请实施例提供的惯性测量数据和点云数据按照时间轴排序的示意图;
图4为本申请实施例提供的位姿图的示意图;
图5为本申请实施例提供的二叉搜索树中节点与邻居节点的重合度的示意图;
图6为本申请实施例提供的地图构建装置的结构示意图;
图7为本申请实施例提供的电子设备的结构示意图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是本申请实施例提供的地图构建系统的架构示意图。如图1所示,该系统包括:采集设备11和计算平台12;其中,采集设备11上安装有惯性测量单元(Inertialmeasurement unit,IMU)13、GNSS接收机14、激光雷达15等设备。采集设备11可以是车辆、无人机、移动机器人等移动设备,计算平台12可以为台式计算机、笔记本电脑、手机、服务器等具备数据处理功能的设备,也可以为采集设备11上的数据处理单元,如中控单元等,本实施例在此均不作具体限定。
需要说明的是,本申请实施例的图1是以计算平台12位于采集设备11之外为例进行说明,然而,实际应用中,还可以将计算平台12设置于采集设备11内部,例如在采集设备11是车辆的情况下,可以将计算平台12设置在采集设备11的副驾驶位置上。
在地图构建过程中,首先由计算平台12或者其它设备将设定好的轨迹路线下发至采集设备11,其中,轨迹路线是根据待构建地图的目标区域设定的。然后,采集设备11按照设定好的轨迹路线运动,在运动过程中,惯性测量单元13按照预定的频率采集该采集设备11在运动过程中的惯性测量数据,如采集设备11的角度和加速度信息;GNSS接收机14按照一定的频率接收该采集设备11在运动过程中的GNSS信号,GNSS数据用于记录采集设备11的位置信息;激光雷达15按照预定的帧率采集该采集设备11周围环境的点云数据,点云数据能够精确的反映出采集设备11的位置信息,如路面的宽度、红绿灯的高度以及其它的一些信息。
采集过程中,为了保证采集的数据的完整性,需要进行多次采集,如在路口的时候,从不同的角度开车过去看到的建筑物的轮廓是不一样的,因此,在遇到路口,或者多车道的情况,就需要多采集几次,以收集到比较完整的地图信息。本实施例中,每个采集设备可能对同一目标区域进行重复采集。
在上述的数据采集过程完成后,将惯性测量单元13、GNSS接收机14和激光雷达15采集的数据发送给计算平台12。计算平台12将激光雷达15采集的点云数据、惯性测量单元13采集的惯性测量数据,以及GNSS接收机14接收的GNSS数据进行数据融合,从而构建地图。
其中,数据融合过程包括:点云数据、惯性测量数据和GNSS数据分别对应有时间戳信息,而点云数据、惯性测量数据和GNSS数据的采集频率和精度均不同,惯性测量数据和GNSS数据对应有位姿信息,通过对惯性测量数据进行时间积分,能够得到带有时间戳信息的路径点,之后再融合GNSS数据中的路径点和积分得到的路径点,得到融合后路径点集合.由于点云数据没有位姿信息,因此,可以通过对融合后路径点集合进行插值的方式,寻找在时间上与当前帧点云最接近的路径点,将该融合路径上的路径点的位姿信息作为点云数据的位姿信息(激光雷达的位姿信息),最后根据点云数据的位姿信息就能够确定激光雷达的运动轨迹和姿态信息,从而生成地图。
在上述数据融合过程中,由于惯性测量单元13、GNSS接收机14和激光雷达15的精度差异,如激光雷达与捷联惯导系统的外参标定误差和时间同步误差,会导致融合结果的全局一致性较差,最终影响生成的地图的精度。
针对上述技术问题,本申请实施例通过在整个地图生成过程中,加入GNSS数据的信号强度,确定多帧点云数据的位姿信息,以得到精度更高的位姿信息,从而提高数据融合的全局一致性,并最终提高生成的地图精度。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图2为本申请实施例提供的地图构建方法流程图。本申请实施例针对现有技术的如上技术问题,提供了地图构建方法,如图2所示,该方法具体步骤如下:
步骤201、获取采集设备在预设时段内采集的点云数据、惯性测量数据和GNSS数据。
本实施例的执行主体可以是如图1所示的计算平台。由计算平台从采集设备11获取激光雷达采集的点云数据,IMU采集的惯性测量数据,以及GNSS接收机采集的GNSS数据。其中,GNSS数据包括GNSS信号的强度,也就是说GNSS接收机接收到的每个GNSS数据都对应有GNSS信号强度。
其中,预设时段可以是预先设置的时段,即在本实施例中,通过对预设时段内采集到的数据进行分析、处理,实现地图构建。需要说明的是,在数据采集过程中,可以仅对预设时段内的数据进行采集,或是从采集的覆盖预设时段的数据中,获取在预设时段内采集的数据。在此对于预设时段的设置方式、取值、以及具体的数据采集方式等,不予限定,可以包括但不限于上述例举的情况。
预设时段内的点云数据包括多帧点云,每帧点云包括多个点,每个点可以表示为(X,Y,Z,Intensity)。其中,X,Y,Z代表点的三维坐标,Intensity代表点的反射率。每一帧点云还具有相应的时间戳,代表该帧点云的采集时间。
惯性测量数据(以下简称为IMU数据)包括采集设备在当前位姿下的加速度和角速度信息,可以表示为(ax,ay,az,wx,wy,wz),其中,ax,ay,az表示三轴线加速度,wx,wy,wz表示三轴角速度。
GNSS数据用于记录采集设备的实时位置信息,GNSS数据还具有相应的时间戳,代表GNSS数据的采集时间。
步骤202、基于点云数据、惯性测量数据和GNSS数据,采用与GNSS信号的强度对应的方式,生成采集设备的轨迹路线。
由于激光雷达的扫描范围有限,因此激光雷达扫描得到的每帧点云反应的可能是物体在某一个角度的点云数据,通过将多帧点云进行拼接,可以还原物体的三维形状以及得到采集设备的轨迹路线。
在点云拼接过程中,需要根据点云的位姿信息来确定相邻两帧点云之间的相对位姿信息,以便进行点云拼接。而激光雷达扫描得到的点云数据是没有位姿信息的,因此,需要根据惯性测量数据和GNSS数据,来确定每帧点云的位姿信息。在根据惯性测量数据和GNSS数据,确定每帧点云的位姿信息的过程中,GNSS数据对应有不同的信号强度,在不同的信号强度下,可以分别采用不同的方式来根据点云数据、惯性测量数据和GNSS数据生成采集设备的轨迹路线。
步骤203、基于轨迹路线构建地图。
在得到轨迹路线后,就可以根据轨迹路线来生成地图。具体的地图生成过程可以参见现有技术的介绍,此处不再赘述。
本申请实施例通过获取采集设备在预设时段内采集的点云数据、惯性测量数据和全球导航卫星系统GNSS数据,其中,GNSS数据包括GNSS信号的强度,并基于点云数据、惯性测量数据和GNSS数据,采用与GNSS信号的强度对应的方式,生成采集设备的轨迹路线,之后基于轨迹路线构建地图。由于在轨迹路线生成过程中,考虑了GNSS信号的强度,并且采用与GNSS信号的强度对应的方式来生成采集设备的轨迹路线,因此轨迹路线中点云数据的位姿信息的准确度更高,从而能够降低激光雷达与捷联惯导系统的外参标定和时间同步误差带来的全局不一致性,使得构建的地图的精度更高。
其中,点云数据包括多帧点云,生成的轨迹路线包括在时间和空间位置上相邻的多帧点云,在本实施例的轨迹生成过程中,包括子图划分和子图生成两个过程。下面将分别介绍子图划分和子图生成的具体实施过程。
在一种可选的实施方式中,子图划分,包括:
步骤a1、确定多帧点云中每帧点云对应的采集设备的位姿信息。
可选的,可以采用对GNSS数据进行插值的方式来确定多帧点云中每帧点云的位姿信息。具体的插值算法可以参见现有技术的介绍,此处不再赘述。
步骤a2、根据GNSS信号的强度以及每帧点云对应的采集设备的位姿信息,将多帧点云划分为多个子图。
其中,每个子图包括至少一帧点云。举例来说,假设激光雷达采集了100帧点云,若将这100帧点云均等划分,则这100帧点云可以划分为10个子图,每个子图包括10帧点云,最终划分得到的每个子图可以认为是一帧大点云。需要说明的是,此处的均等划分仅为示例性说明,并不代表实际的子图划分过程。
步骤a3、根据每个子图包括的至少一帧点云对应的采集设备的位姿信息,确定每个子图的位姿信息。
其中,每个子图包括至少一帧点云,若每个子图包括多帧点云,则相邻的两帧点云之间的相对位姿信息表示该两帧点云的位移关系和旋转关系,根据两帧点云的位移关系和旋转关系可以将子图中所有帧点云的位姿信息变换到同一位姿状态下,之后再将每个子图中的多帧点云进行拼接,得到每个子图对应的轨迹路线。
举例来说,一个子图包括10帧点云,这10帧点云是采集设备在不同时刻采集得到的,通常情况下,采集设备在移动过程中会具有不同的位置状态,因此,这10帧点云是采集设备在不同位姿状态下采集的,或者说这10帧点云对应的采集设备在世界坐标系下的位置信息和姿态信息中至少一项是不同的。因此,需要将这10帧点云变换到采集设备的同一位姿状态下,经过位姿变换之后,可以将这10帧点云中任一帧点云的位姿信息作为该子图的位姿信息。
本实施例中,相邻的两帧点云是指在时间上相邻、空间上不相同的两帧点云。
步骤a4、确定相邻两个子图之间的第一相对位姿信息。
同样地,相邻两个子图之间的第一相对位姿信息表示该两个子图的位移关系和旋转关系,如前所述,每个子图可以认为是一个大点云,每个大点云内部的点云变换到世界坐标系下之后,该大点云的位姿信息也就确定了,而这些大点云对应的采集设备在世界坐标系下的位置信息和姿态信息是不同的,因此,还需要将这些大点云变换到世界坐标系下。其中,将这些大点云变换到世界坐标系下,是根据相邻两个子图之间的相对位姿信息,也就是相邻两个子图之间的位移矩阵和旋转矩阵,将这些大点云变换到世界坐标系下。之后将多个子图进行拼接,得到完整的采集设备的轨迹路线。
本实施例中,相邻两个子图包括邻接子图和回环子图,其中邻接子图是指在时间上相邻、空间上也相邻的两个大点云,回环子图指在时间上不相邻,空间上相邻的两个大点云。
其中,根据GNSS信号的强度以及每帧点云对应的采集设备的位姿信息,将点云数据划分为多个子图,包括:根据GNSS信号的强度,将点云数据中多帧点云分别标记为第一点云和第二点云,第一点云对应的GNSS数据的信号强度大于第二点云;根据对多帧点云分别进行标记得到的标记信息,将点云数据划分为多个子图。
本实施例中,若与当前帧点云相同的采集时刻存在GNSS数据,则将当前帧点云作为第一点云,这里第一点云也可以认为是对应有GNSS信号的点云。同样地,若与当前帧点云相同的采集时刻没有GNSS数据,则将当前帧点云作为第二点云,这里第二点云也可以认为是对应无GNSS信号的点云。
本实施例中,有GNSS信号的点云是指在点云对应的采集时间下,同时能够采集到GNSS信号。无GNSS信号的点云是指在点云对应的采集时间下,没有GNSS信号或者无法采集到GNSS信号。在实际应用中,由于激光雷达和GNSS接收机的采集频率不同,因此,点云的采集时间和GNSS的采集时间可能不会完全相同,本实施例通过选择位于点云的采集时间之前和之后的两个GNSS信号中,弱GNSS信号来赋值激光雷达的位姿状态。举例来说,若存在G1>L0>G2序列,其中G1、G2分别代表GNSS信号,L0是激光雷达采集的点云,那么点云对应的GNSS取G1和G2中GNSS信号弱的一个。若G1和G2均为强信号,则L0为强信号;若G1和G2当中有一个为弱信号,则L0为弱信号。
在进行如上标记后,可以针对有GNSS信号的点云,和无GNSS信号的点云,分别基于其内部每帧点云的位姿信息,进行子图划分。
例如,假设采集设备采集了100帧点云,这100帧点云中前80帧点云对应的GNSS数据都是有GNSS信号的GNSS数据,后20帧点云对应的GNSS数据都是无GNSS信号的GNSS数据,则首先将这100帧点云中的后20帧点云划分为一个大点云,再将前80帧点云进行子图划分。
其中,根据对多帧点云分别进行标记得到的标记信息,将点云数据划分为多个子图,包括:
步骤b1、根据多帧点云中每帧点云的位姿信息,确定至少一帧点云的累计位移量或累计旋转量。
其中,每帧点云的位姿信息包括位置信息和姿态信息。累计位移量是指将多帧点云的位置信息的累加。累计旋转量是指多帧点云的姿态信息的累加。
步骤b2、针对第一点云,若至少一帧第一点云满足第一预设条件,则将所述至少一帧第一点云作为一个第一子图;
其中,第一预设条件包括如下至少一项:至少一帧第一点云的累计位移量大于或等于位移量阈值;至少一帧第一点云的累计旋转量大于或等于旋转量阈值;至少一帧第一点云的累计帧数大于或等于帧数阈值。
若至少一帧点云满足上述至少一项第一预设条件,则将位移量阈值、旋转量阈值或者帧数阈值中任一项对应的多帧点云作为一个子图。其中,位移量阈值、旋转量阈值和帧数阈值是预先设置的,本领域技术人员可以根据实际需要进行设置。若累计位移量、累计旋转量或累计帧数中的任一项满足其对应的阈值,则将该项阈值对应的多帧点云作为一个子图。
举例来说,在根据累计位移量确定第一子图的实施方式中,若该子图包括20帧点云,每帧点云对应有位移信息,将这20帧点云按照时间顺序进行位移量累加之后,若累加到第10帧,累计位移量达到了位移量阈值,则将这10帧点云作为一个第一子图。对于根据累计旋转量确定第一子图,和根据累计帧数确定第一子图的实施方式,与根据累计位移量确定第一子图的实施过程类似,具体可以参见根据累计位移量确定第一子图的举例,此处不再一一介绍。
步骤b3、针对第二点云,根据GNSS数据丢失前和丢失后分别对应的点云,确定至少一个第二子图。
具体的,针对第二点云,取GNSS数据丢失前的最后一帧点云作为首帧点云,并取GNSS数据丢失后重新接收到的GNSS数据对应的点云作为尾帧点云,得到至少一个第二子图。举例来说,在采集车位于隧道或GNSS信号被遮挡等场景下,点云对应的采集时刻可能没有GNSS信号,以隧道场景为例,可以将采集车进入隧道前采集的最后一帧点云作为第二子图的首帧点云,并将采集车出隧道后采集的第一帧点云作为第二子图的尾帧点云,将首帧点云、尾帧点云以及首帧点云数据、尾帧点云之间的点云可以作为一个第二子图。
如前所述,第一点云是对应有GNSS信号的点云,而有GNSS信号又可以包括强GNSS信号和弱GNSS信号,则第一点云可以包括第一子点云和第二子点云,第一子点云对应的GNSS信号的强度大于第二子点云。本实施例中,可以认为第一子点云对应的GNSS数据是强GNSS信号,第二子点云对应的GNSS数据是弱GNSS信号。其中,可以基于预设的信号强度对强GNSS信号和弱GNSS信号进行划分,例如若GNSS信号的强度大于或等于预设的信号强度,则认为其是强GNSS信号,反之,若GNSS信号的强度小于预设的信号强度,则认为其是弱GNSS信号。其中,预设的信号强度可以由本领域技术人员根据实际需要预先进行设置。
子图划分需要依赖每帧点云的位姿信息。对于多帧点云中每帧点云的位姿信息,其在不同的GNSS信号环境下,对应有不同的方式来确定该帧点云的位姿信息。下面将详细介绍在不同的GNSS信号环境下,如何确定点云位姿信息。
可选的,针对第一子点云,可以采用对GNSS数据进行插值的方式,确定第一子点云的位姿信息。具体的插值算法可以参见现有技术的介绍,此处不再赘述。
本实施例中,基于对所述GNSS数据进行插值的方式,确定所述第一子点云的位姿信息,包括:对GNSS数据进行插值,得到与多帧点云数据的采集时刻为相同时刻的GNSS数据,GNSS数据对应有位姿信息,GNSS数据对应的位姿信息为GNSS接收机在世界坐标系下的位姿信息;根据插值后的GNSS数据,确定同一采集时刻的第一子点云的位姿信息。举例来说,由于GNSS信号和点云数据的采集频率不同,导致GNSS信号和点云数据的采集时刻不同,且激光雷达的位姿信息需要根据GNSS数据的位姿信息确定,因此,假设两个相邻的GNSS信号G1、G2之间存在一帧点云L1,通过插值算法在这两个GNSS信号G1、G2之间插入一个GNSS信号G3,插入的GNSS信号G3与该帧点云L1的采集时刻接近,就可以将插入的GNSS信号G3的位姿信息作为该帧点云L1的位姿信息了。本实施例是在强GNSS信号环境下,通过对GNSS数据进行插值的方式,确定强GNSS环境的点云数据的位姿信息。
其中,根据插值后的GNSS数据,确定同一采集时刻的第一子点云的位姿信息,包括:对插值后的GNSS数据进行坐标系转换,得到同一采集时刻的第一子点云的位姿信息。具体的,由于插值后的GNSS数据为GNSS接收机在世界坐标系下的位置,因此本实施例还需要通过GNSS数据进行坐标系的转换,来确定同一采集时刻世界坐标系下的雷达位置,从而得到第一子点云的位姿信息。
同样地,针对第二子点云,也可以通过对GNSS数据进行插值的方式确定第二子点云的初始位姿信息,但通过这种方式得到的初始位姿信息的准确度由于受GNSS数据的信号强弱影响,可能会存在不准确的情况。因此,本申请实施例在通过对GNSS数据插值得到第二子点云的初始位姿信息之后,还可以进一步对初始位姿信息进行调整,以得到更高精度的点云位姿信息。
可选的,对初始位姿信息进行调整,包括:基于惯性测量数据的预积分值和GNSS数据,对第二子点云的初始位姿信息进行调整,得到第二子点云的位姿信息。
针对第二子点云,通过对GNSS数据进行插值的方式确定第二子点云的初始位姿信息,包括:对GNSS数据进行插值,得到与多帧点云为相同时刻的GNSS数据,GNSS数据对应的位姿信息为GNSS接收机在世界坐标系下的位姿信息;根据插值后的GNSS数据,确定同一采集时刻的第二子点云的初始位姿信息。
其中,根据插值后的GNSS数据,确定同一采集时刻的第二子点云的初始位姿信息,包括:对插值后的GNSS数据进行坐标系转换,得到同一采集时刻的第二子点云的初始位姿信息。
采用对GNSS数据进行插值的方式确定第二子点云的初始位姿信息的具体实施过程与采用对GNSS数据进行插值的方式确定第一子点云的位姿信息的具体实施过程类似,具体可以参见采用对GNSS数据进行插值的方式确定第一子点云的位姿信息的具体实施过程,此处不再赘述。
其中,基于惯性测量数据的预积分值和GNSS数据,对第二子点云的初始位姿信息进行调整,得到第二子点云的位姿信息,包括:
步骤c1、对第二子点云进行配准。
在弱GNSS环境下,基于惯性测量数据的预积分值和GNSS数据,对第二子点云的初始位姿信息进行调整,得到第二子点云的位姿信息,包括点云配准和位姿图优化两个过程。步骤c1是点云配准过程,用于获取相邻两帧第二子点云之间的位姿变换估计值。可以采用ICP配准算法对弱GNSS环境的多帧第二子点云进行配准,得到弱GNSS环境下多帧第二子点云的位姿变换估计值,作为配准结果。
其中,点云配准包括数据预处理和帧间配准。其中,预处理包括点云去畸变,距离滤波,地面滤波,非地面特征点提取和降采样等处理。点云去畸变是根据IMU提供的高频的位姿信息,将每帧点云中来自不同时刻扫描线的点云恢复到同一个坐标系下,以便于后续的配准;距离滤波用于剔除远距离的稀疏点云;地面滤波用于提取点云中的地面特征,得到地面点;非地面特征点提取可以得到包括线状点、面状点和球状点的特征点;降采样可以减小点云规模,提高配准速度。
经过预处理之后得到的点云用于进行帧间配准。帧间配准可以采用ICP(Iterative Closest Point)配准算法,其包括:根据地面点、线状点、面状点和球状点在两帧点云中进行匹配,找到对应的点对,然后根据特征点类别计算其成本函数,最后将旋转矩阵线性化并求解相应的线性最小二乘解。
步骤c2、将第二子点云的初始位姿信息作为节点,将配准结果、惯性测量数据的预积分值和GNSS数据作为约束条件,构建位姿图。
如图3所示,IMU的更新频率大于激光雷达的采集频率,也就是说在激光雷达采集的相邻两帧点云之间,存在多个惯性测量数据,通过对相邻两帧点云之间的惯性测量数据进行预积分,就可以得到惯性测量数据的预积分值,具体的预积分过程可以参见现有技术的介绍,此处不再赘述。
如图4所示,图中θa1a2a3a4a5b1c1c2分别代表位姿图的节点,每个节点分别代表第二子点云的初始位姿信息,每两个节点之间的连线即为边,图中的两个节点之间的实线代表两个节点之间的边,经过θa1a2a3a4,θ的虚线代表采集车的一条轨迹,经过θb1的虚线代表采集车的一条轨迹,经过θc1c2的虚线代表采集车的一条轨迹。
步骤c3、基于使位姿图的残差总和最小化的原则对位姿图的初始位姿信息进行调整,得到第二子点云的位姿信息。
其中,对于图4而言,由于存在误差,节点无法完全符合边代表的约束,因此会产生残差,通过使位姿图的残差总和最小化,能够对位姿图中的节点所代表的初始位姿信息进行调整,得到调整后的位姿信息。在一个可选的实施方式中,可以采用非线性库,例如ceres库对位姿图进行求解,得到第二子点云的位姿信息,第二子点云的位姿信息可以用于计算累计位移量或累计旋转量。其中,通过非线性库对位姿图进行求解可以参见现有技术的介绍,此处不再赘述。
通过上述实施过程,即可完成子图的划分。接下来将详细介绍子图生成的具体实施过程:
在子图生成过程中,由于第一子图中第一子点云的位姿信息是基于GNSS数据进行插值得到的,尽管其置信度相对较高,但是本申请实施例还可以采用进一步的优化方案对其进行优化,以得到精准度更高的点云位姿信息。进一步的优化方案包括:
步骤d1、基于惯性测量数据的预积分值和GNSS数据,对第一子点云的位姿信息进行调整,得到第一子点云的调整后位姿信息。
其中,步骤d1包括:对第一子点云进行配准;将第一子点云的位姿信息作为节点,将配准结果、惯性测量数据的预积分值和GNSS数据作为约束条件,构建位姿图;基于使位姿图的残差总和最小化的原则对位姿图的位姿信息进行调整,得到第一子点云的调整后位姿信息。对于步骤d1的具体实施过程,与步骤c1至步骤c3的具体实施过程类似,具体可以参考上述实施例中步骤c1至步骤c3的具体实施过程的具体实施过程,此处不再赘述。
步骤d2、确定第二子图中点云的位姿信息。
步骤d2包括:步骤d21、针对第二子图,将对GNSS数据进行插值得到的第二子图的第一帧点云和最后一帧点云的位姿信息,分别作为第二子图的第一帧点云数据和最后一帧点云数据的位姿信息;步骤d22、确定第二子图中除第一帧点云数据和最后一帧点云数据以外的其他帧点云数据的位姿信息。其中,步骤d21是根据对GNSS数据进行插值的方式确定首尾两帧点云的位姿信息。
步骤d3、基于第一子点云的调整后位姿信息和第二子图中点云的位姿信息,对子图集中的子图进行配准,得到相邻两个子图之间的相对位姿信息,其中,子图集包括至少两个第一子图和至少两个第二子图。
其中,步骤d22可以采用如下方法步骤来确定:
步骤e1、根据惯性测量数据、第二子图中第一帧点云的位姿信息和第二子图中最后一帧点云的位姿信息,对其它帧点云的初始位姿信息进行调整,得到其它帧点云的中间位姿信息。
其中,中间位姿信息是采用位姿图的方式对点云数据的初始位姿信息进行优化。点云数据的初始位姿信息可以基于对IMU数据进行插值的方式得到。
其中,步骤e1包括:
步骤e11、将其它帧点云的初始位姿信息作为节点,构建位姿图;
步骤e12、根据惯性测量数据确定位姿图的边和边的权重;
步骤e13、基于使位姿图的残差总和最小化的原则对位姿图中的初始位姿进行调整,得到其它帧点云数据的中间位姿信息。
具体的,是采用位姿图对点云数据的初始位姿信息进行优化,包括:将点云数据的初始位姿作为节点,以IMU预积分结果作为节点之间的边,以信息矩阵作为预积分边的权重构建位姿图。之后,调用非线性优化库对构建的位姿图进行优化,得到中间位姿信息。其中,信息矩阵表示相邻两帧点云数据之间的相对位姿信息的置信度,可以通过对点云数据和IMU数据按照时间戳进行排序,然后对相邻两帧点云数据之间的IMU数据进行预积分得到。
步骤e2、根据其它帧点云的中间位姿信息,对其它帧点云进行点云配准。
点云配准可以采用LLS-LOAM算法、ICP配准算法等进行点云配准,得到相邻两帧点云数据之间的相对位姿信息。
步骤e3、根据第一帧点云的位姿信息、最后一帧点云的位姿信息和对其它帧点云进行点云配准的配准结果,对其它帧点云的中间位姿信息进行调整,得到其它帧点云的位姿信息。
其中,步骤e3包括:
步骤e31、将第一帧点云的位姿信息、最后一帧点云的位姿信息和对其它帧点云数据进行点云配准的配准结果作为节点,构建位姿图。
步骤e32、根据惯性测量数据和配准结果,确定位姿图的边和边的权重。
步骤e33、基于使位姿图的残差总和最小化的原则对位姿图中的中间位姿信息进行调整,得到其它帧点云数据的位姿值。
其中,本步骤的调整是采用位姿图的方式进行优化,与步骤e1的不同之处在于,本次优化过程中加入了点云配准的结果,也就是说在位姿图的边中加入了配准边,配准边的权重采用信息矩阵来表示,之后调用非线性优化库对构建的位姿图进行优化,得到其它帧点云的位姿信息。
在确定了子图内部每帧点云数据的位姿信息之后,就可以基于每个子图中每帧点云数据的调整后位姿信息,对划分的子图进行配准,得到相邻两个子图之间的相对位姿信息,也就是邻边约束条件。子图之间的配准可以采用ICP算法来实现,具体的实现过程此处不再赘述。
经过上述实施过程,可以生成采集设备的多条轨迹路线。其中,多条轨迹路线包括同一采集设备在同一位置的不同方位的轨迹路线。上述实施例介绍的过程包括生成采集设备的多条轨迹路线,以及对每条轨迹路线进行调整的过程,其中调整的过程可以视为局部优化过程,本实施例还可对多条轨迹路线进行全局优化,以得到最终生成的轨迹路线,最终生成的轨迹路线中每帧点云数据的位姿信息即为最终的位姿信息。
其中,对轨迹路线进行全局优化,包括:
步骤f1、对轨迹路线进行回环检测,得到回环检测结果。
回环检测是指对采集设备多次采集的多帧点云数据中的重复点云数据进行检测。举例来说,就是多个采集设备可能会对同一个地方采集点云数据,或者一个采集设备多次经过同一地点采集点云数据。对于这类点云数据,其在空间上相近但在时间上不连续。因此,需要将这类点云数据检测出来,并在轨迹路线生成过程中考虑回环检测结果,例如,若两个点云数据在空间上相近但在时间上不连续,则可以取其中一个点云数据用于生成轨迹路线。对于具体的选取过程,可以根据点云数据的精度来确定,本实施例对此不做具体限定。
另外,回环检测结果包括内部回环边和外部回环边。其中,内部回环边是指同一轨迹内部的回环,外部回环边是指不同轨迹之间的回环,举例来说,内部回环边是同一个采集设备多次经过同一地点采集点云数据形成的,外部回环边是多个采集设备对同一个地方采集点云数据形成的。
步骤f2、基于回环检测结果、相邻两个子图之间的相对位姿信息和GNSS数据,对每帧点云的位姿信息进行调整,得到采集设备的轨迹路线。
其中,步骤f2可以采用位姿图优化的方式对轨迹路线中的多帧点云的位姿信息进行优化,从而得到采集设备的轨迹路线。
其中,对多条轨迹路线进行回环检测,得到回环检测结果,包括:
步骤f11、基于多条轨迹路线中的所有子图,构建树结构。
本实施例中的树结构可以是二叉搜索树(kdtree),其是将多条轨迹路线中的所有子图作为树结构的节点。
步骤f12、确定树结构中每个子图的n个邻居子图。
其中,步骤f12包括:基于最近邻搜索方法,确定树结构中每个子图的n个邻居子图。具体的,本步骤是针对每个子图,以该子图所在的节点为圆心,以预设半径r为半径范围,找出位于半径r范围内的最多的n个子图,作为该子图的邻居子图。
步骤f13、针对每个子图,若该子图与邻居子图在时间上不相邻,且重合度大于预设重合度,则将该子图加入回环边集合。
其中,重合度是指一个子图所在的图形,例如长方形,以及该子图的邻居子图所在的图形的重叠面积的大小,重叠面积越大,重合度(IOU)则越大,反之,重叠面积越小,则重合度越小。如图5所示,子图1所在的长方形和子图2所在的长方形的交集部分占子图1所在的长方形和子图2所在的长方形的并集部分的面积比例即为子图与邻居子图的重合度,即子图1∩子图2所在的区域面积与子图1∪子图2所在的区域面积的比值。
对于回环边集合,又可以划分为内部回环边集合和外部回环边集合。对于一条轨迹内部的回环检测结果,可以将其加入内部回环边集合,对于不同轨迹之间的回环检测结果,可以将其加入外部回环边集合。
步骤f14、对回环边集合中的子图进行配准,确定相邻两个子图之间的第二相对位姿信息。
本步骤中可以采用ICP算法对回环边集合中的所有子图进行配准,以得到相邻两个子图之间的相对位姿信息。其中,步骤f14包括对内部回环边集合中的子图进行配准,以及对外部回环边集合中的子图进行配准。
可选的,基于回环检测结果、相邻两个子图之间的相对位姿信息和GNSS数据,对每帧点云对应的采集设备的位姿信息进行调整,得到采集设备的轨迹路线,包括:
步骤g1、将轨迹路线中的所有子图作为节点,构建位姿图,每个子图对应一个节点。
步骤g2、确定节点之间的边,该边对应有邻边约束条件、回环约束条件、GNSS约束条件和标定约束条件中至少一项。
其中,邻边约束条件包括相邻两个子图之间的第一相对位姿信息;回环约束条件包括相邻两个子图之间的第二相对位姿信息;GNSS约束条件是GNSS数据对子图的位姿信息的先验估计约束条件,标定边与轨迹相关,每个标定边对应一条轨迹且与轨迹上所有节点相连。
步骤g3、基于使位姿图的残差总和最小化的原则对位姿图中的位姿信息进行调整,得到采集设备的轨迹路线。
其中,不同边对应有权重,其权重表示该约束条件的可信度。其中配准边(邻接边,回环边)的权重由LLS-LOAM的协方差计算方法得到。GNSS边权重由GNSS接收机返回的协方差矩阵得到。对于配准边和GNSS边的权重的具体计算过程可参见现有技术的介绍,此处不再赘述。
本实施例是采用位姿图优化的方式对轨迹路线进行全局优化。位姿图优化是定位与地图构建(Simultaneous Localization And Mapping,SLAM)中常见的后端优化方式。与SLAM的位姿图优化方式不同的是,本申请实施例对于回环边的约束条件不同,即加入了GNSS边和回环边作为约束条件,以及邻接边是经过多次优化得到的。
其中,在生成回环约束的过程中,需要输入轨迹生成步骤得到的子图,本申请实施例采用所有子图生成一个图数据结构,并用回环边描述图的连接关系,最后使用宽度优先搜索算法(BFS)决定生成边的顺序,能够减少重复读取次数,加快回环约束的生成速度。
图6为本申请实施例提供的地图构建装置的结构示意图。本申请实施例提供的地图构建装置可以执行地图构建方法实施例提供的处理流程,如图6所示,地图构建装置60包括:获取模块61、生成模块62和构建模块63;其中,获取模块61,用于获取采集设备在预设时段内采集的点云数据、惯性测量数据和全球导航卫星系统GNSS数据,GNSS数据包括GNSS信号的强度;生成模块62用于基于点云数据、惯性测量数据和GNSS数据,采用与GNSS信号的强度对应的方式,生成采集设备的轨迹路线;构建模块63,用于基于轨迹路线构建地图。
可选的,点云数据包括多帧点云;轨迹路线包括在时间和空间位置上相邻的多帧点云;生成模块62在基于点云数据、惯性测量数据和GNSS数据,采用与GNSS信号的强度对应的方式,生成采集设备的轨迹路线时,具体包括:确定多帧点云中每帧点云对应的采集设备的位姿信息;根据GNSS信号的强度以及每帧点云对应的采集设备的位姿信息,将点云数据划分为多个子图,其中,每个子图包括至少一帧点云;根据每个子图包括的至少一帧点云对应的采集设备的位姿信息,确定每个子图的位姿信息;确定相邻两个子图之间的第一相对位姿信息。
可选的,生成模块62根据GNSS信号的强度以及每帧点云对应的采集设备的位姿信息,将点云数据划分为多个子图时,具体包括:根据GNSS信号的强度,将点云数据中多帧点云分别标记为第一点云和第二点云,第一点云对应的GNSS数据的信号强度大于第二点云;根据对多帧点云分别进行标记得到的标记信息,将点云数据划分为多个子图。
可选的,生成模块62根据对多帧点云分别进行标记得到的标记信息,将点云数据划分为多个子图时,具体包括:根据多帧点云中每帧点云的位姿信息,确定至少一帧点云的累计位移量或累计旋转量;针对第一点云,若至少一帧第一点云满足第一预设条件,则将至少一帧第一点云作为一个第一子图;其中,第一预设条件包括如下至少一项:至少一帧第一点云的累计位移量大于或等于位移量阈值;至少一帧第一点云的累计旋转量大于或等于旋转量阈值;至少一帧第一点云的累计帧数大于或等于帧数阈值;和/或,针对第二点云,根据GNSS数据丢失前和丢失后分别对应的点云,确定至少一个第二子图。
可选的,第一点云包括第一子点云和第二子点云,第一子点云对应的GNSS信号的强度大于第二子点云;生成模块62确定多帧点云中每帧点云对应的采集设备的位姿信息时,具体包括:基于对GNSS数据进行插值的方式,确定第一子点云的位姿信息。
可选的,生成模块62确定多帧点云中每帧点云对应的采集设备的位姿信息时,具体包括:基于对GNSS数据进行插值的方式,确定第二子点云的初始位姿信息;基于惯性测量数据的预积分值和GNSS数据,对第二子点云的初始位姿信息进行调整,得到第二子点云的位姿信息。
可选的,生成模块62确定相邻两个子图之间的相对位姿信息时,具体包括:基于惯性测量数据的预积分值和GNSS数据,对第一子点云的位姿信息进行调整,得到第一子点云的调整后位姿信息;针对第二子图,将对GNSS数据进行插值得到的第二子图的第一帧点云和最后一帧点云的位姿信息,分别作为第二子图的第一帧点云和最后一帧点云的位姿信息;确定第二子图中除第一帧点云和最后一帧点云以外的其他帧点云的位姿信息;基于第一子点云的调整后位姿信息和第二子图中点云的位姿信息,对子图集中的子图进行配准,得到相邻两个子图之间的相对位姿信息,子图集包括至少两个第一子图和至少两个第二子图。
可选的,生成模块62基于对GNSS数据进行插值的方式,确定第一子点云的位姿信息,包括:对GNSS数据进行插值,得到与多帧点云的采集时刻为相同时刻的GNSS数据,GNSS数据对应有位姿信息,GNSS数据对应的位姿信息为GNSS接收机在世界坐标系下的位姿信息;根据插值后的GNSS数据,确定同一采集时刻的第一子点云的位姿信息。
可选的,生成模块62基于惯性测量数据的预积分值和GNSS数据,对第二子点云的初始位姿信息进行调整,得到第二子点云的位姿信息,包括:对第二子点云进行配准;将第二子点云的初始位姿信息作为节点,将配准结果、惯性测量数据的预积分值和GNSS数据作为约束条件,构建位姿图;基于使位姿图的残差总和最小化的原则对位姿图的初始位姿信息进行调整,得到第二子点云的位姿信息。
可选的,生成模块62基于惯性测量数据的预积分值和GNSS数据,对第一子点云的位姿信息进行调整,得到第一子点云的调整后位姿信息时,具体包括:对第一子点云进行配准,得到相邻两帧第一子点云之间的相对位姿信息;将第一子点云的位姿信息作为节点,将相邻两帧第一子点云之间的相对位姿信息、惯性测量数据的预积分值和GNSS数据作为约束条件,构建位姿图;基于使位姿图的残差总和最小化的原则对位姿图的位姿信息进行调整,得到第一点云数据的位姿信息。
可选的,生成模块62确定第二子图中除第一帧点云和最后一帧点云以外的其他帧点云的位姿信息,包括:根据惯性测量数据、第二子图中第一帧点云的位姿信息和第二子图中最后一帧点云的位姿信息,对其它帧点云的初始位姿信息进行调整,得到其它帧点云的中间位姿信息;根据其它帧点云的中间位姿信息,对其它帧点云进行点云配准;根据第一帧点云的位姿信息、最后一帧点云的位姿信息和对其它帧点云进行点云配准的配准结果,对其它帧点云的中间位姿信息进行调整,得到其它帧点云的位姿信息。
可选的,生成模块62根据惯性测量数据、第二点云中首帧点云的位姿信息和第二点云中尾帧点云的位姿信息,对第二点云中其它帧点云的初始位姿信息进行调整,得到其它帧点云的中间位姿信息,包括:将其它帧点云的初始位姿信息作为节点,构建位姿图;根据惯性测量数据确定位姿图的边和边的权重;基于使位姿图的残差总和最小化的原则对位姿图中的初始位姿进行调整,得到其它帧点云数据的中间位姿信息。
可选的,生成模块62根据第一帧点云的位姿信息、最后一帧点云的位姿信息和对其它帧点云进行点云配准的配准结果,对其它帧点云的中间位姿信息进行调整,得到其它帧点云的位姿信息,包括:将第一帧点云的位姿信息、最后一帧点云的位姿信息和对其它帧点云数据进行点云配准的配准结果作为节点,构建位姿图;根据惯性测量数据和配准结果,确定位姿图的边和边的权重;基于使位姿图的残差总和最小化的原则对位姿图中的中间位姿信息进行调整,得到其它帧点云数据的位姿值。
可选的,采集设备的轨迹路线包括同一采集设备在同一位置的不同方位的多条轨迹路线;生成模块62基于点云数据、惯性测量数据和GNSS数据,采用与GNSS信号的强度对应的方式,生成采集设备的轨迹路线,还包括:对多条轨迹路线进行回环检测,得到回环检测结果;基于回环检测结果、相邻两个子图之间的第一相对位姿信息和GNSS数据,对每帧点云对应的采集设备的位姿信息进行调整,得到采集设备的轨迹路线。
可选的,生成模块62对多条轨迹路线进行回环检测,得到回环检测结果,包括:基于多条轨迹路线中的所有子图,构建树结构;确定树结构中每个子图的n个邻居子图;针对每个子图,若子图与邻居子图在时间上不相邻,且重合度大于预设重合度,则将子图加入回环边集合;对回环边集合中的子图进行配准,确定相邻两个子图之间的第二相对位姿信息。
可选的,生成模块62基于回环检测结果、相邻两个子图之间的相对位姿信息和GNSS数据,对每帧点云对应的采集设备的位姿信息进行调整,得到采集设备的轨迹路线,包括:将轨迹路线中的所有子图作为节点,构建位姿图,每个子图对应一个节点;确定节点之间的边,边对应有邻边约束条件、回环约束条件、GNSS约束条件和标定约束条件中至少一项,邻边约束条件包括相邻两个子图之间的第一相对位姿信息,回环约束条件包括相邻两个子图之间的第二相对位姿信息;GNSS约束条件包括GNSS数据对子图的位姿信息的先验估计,每个标定边对应一条轨迹且与轨迹上所有节点相连;基于使位姿图的残差总和最小化的原则对位姿图中的位姿信息进行调整,得到采集设备的轨迹路线。
可选的,点云数据通过采集设备上的激光雷达采集得到;惯性测量数据通过采集设备上的惯性测量单元采集得到;GNSS数据通过GNSS接收机获取得到。
图6所示实施例的地图构建装置可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图7为本申请实施例提供的电子设备的结构示意图。本申请实施例提供的电子设备可以执行地图构建方法实施例提供的处理流程,如图7所示,电子设备70包括:存储器71、处理器72、计算机程序和通讯接口73;其中,计算机程序存储在存储器71中,并被配置为由处理器72执行以上方法实施例的步骤。
图7所示实施例的电子设备可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
另外,本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行以实现上述实施例所述的地图构建方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或对其中部分或全部技术特征进行等同替换;而这些修改或替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (17)

1.一种地图构建方法,其特征在于,包括:
获取采集设备在预设时段内采集的点云数据、惯性测量数据和全球导航卫星系统GNSS数据,所述GNSS数据包括GNSS信号的强度;所述点云数据包括多帧点云;
基于所述点云数据、所述惯性测量数据和所述GNSS数据,采用与所述GNSS信号的强度对应的方式,生成所述采集设备的轨迹路线;所述轨迹路线包括在时间和空间位置上相邻的多帧点云;
基于所述轨迹路线构建地图;
所述基于所述点云数据、所述惯性测量数据和所述GNSS数据,采用与所述GNSS信号的强度对应的方式,生成所述采集设备的轨迹路线,包括:
确定所述多帧点云中每帧点云对应的采集设备的位姿信息;
根据所述GNSS信号的强度,将所述点云数据中多帧点云分别标记为第一点云和第二点云,所述第一点云对应的GNSS数据的信号强度大于所述第二点云;所述第一点云包括第一子点云和第二子点云,所述第一子点云对应的GNSS信号的强度大于所述第二子点云;
针对第一点云,若至少一帧第一点云满足第一预设条件,则将所述至少一帧第一点云作为一个第一子图;
针对第二点云,根据所述GNSS数据丢失前和丢失后分别对应的点云,确定至少一个第二子图;
根据每个子图包括的至少一帧点云对应的采集设备的位姿信息,确定所述每个子图的位姿信息;
基于所述惯性测量数据的预积分值和所述GNSS数据,对所述第一子点云的位姿信息进行调整,得到第一子点云的调整后位姿信息;
针对所述第二子图,将对GNSS数据进行插值得到的所述第二子图的第一帧点云和最后一帧点云的位姿信息,分别作为所述第二子图的第一帧点云和最后一帧点云的位姿信息;
确定所述第二子图中除所述第一帧点云和最后一帧点云以外的其他帧点云的位姿信息;
基于第一子点云的调整后位姿信息和所述第二子图中点云的位姿信息,对子图集中的子图进行配准,得到相邻两个子图之间的第一相对位姿信息,所述子图集包括至少两个第一子图和至少两个第二子图。
2.根据权利要求1所述的方法,其特征在于,
所述第一预设条件包括如下至少一项:
所述至少一帧第一点云的累计位移量大于或等于位移量阈值;所述至少一帧第一点云的累计旋转量大于或等于旋转量阈值;所述至少一帧第一点云的累计帧数大于或等于帧数阈值;
其中,所述至少一帧点云的累计位移量或累计旋转量是基于所述多帧点云中每帧点云的位姿信息确定的。
3.根据权利要求1所述的方法,其特征在于,
所述确定所述多帧点云中每帧点云对应的采集设备的位姿信息,包括:
基于对所述GNSS数据进行插值的方式,确定所述第一子点云的位姿信息。
4.根据权利要求1所述的方法,其特征在于,
所述确定所述多帧点云中每帧点云对应的采集设备的位姿信息,包括:
基于对所述GNSS数据进行插值的方式,确定所述第二子点云的初始位姿信息;
基于所述惯性测量数据的预积分值和所述GNSS数据,对所述第二子点云的初始位姿信息进行调整,得到所述第二子点云的位姿信息。
5.根据权利要求3所述的方法,其特征在于,所述基于对所述GNSS数据进行插值的方式,确定所述第一子点云的位姿信息,包括:
对所述GNSS数据进行插值,得到与多帧点云的采集时刻为相同时刻的GNSS数据,所述GNSS数据对应有位姿信息,所述GNSS数据对应的位姿信息为GNSS接收机在世界坐标系下的位姿信息;
根据插值后的GNSS数据,确定同一采集时刻的第一子点云的位姿信息。
6.根据权利要求4所述的方法,其特征在于,所述基于所述惯性测量数据的预积分值和所述GNSS数据,对所述第二子点云的初始位姿信息进行调整,得到所述第二子点云的位姿信息,包括:
对所述第二子点云进行配准;
将所述第二子点云的初始位姿信息作为节点,将配准结果、所述惯性测量数据的预积分值和所述GNSS数据作为约束条件,构建位姿图;
基于使所述位姿图的残差总和最小化的原则对所述位姿图的初始位姿信息进行调整,得到所述第二子点云的位姿信息。
7.根据权利要求1所述的方法,其特征在于,所述基于所述惯性测量数据的预积分值和所述GNSS数据,对所述第一子点云的位姿信息进行调整,得到第一子点云的调整后位姿信息,包括:
对所述第一子点云进行配准,得到相邻两帧所述第一子点云之间的相对位姿信息;
将所述第一子点云的位姿信息作为节点,将相邻两帧所述第一子点云之间的相对位姿信息、所述惯性测量数据的预积分值和所述GNSS数据作为约束条件,构建位姿图;
基于使所述位姿图的残差总和最小化的原则对所述位姿图的位姿信息进行调整,得到所述第一点云数据的位姿信息。
8.根据权利要求1所述的方法,其特征在于,所述确定所述第二子图中除所述第一帧点云和最后一帧点云以外的其他帧点云的位姿信息,包括:
根据所述惯性测量数据、所述第二子图中第一帧点云的位姿信息和所述第二子图中最后一帧点云的位姿信息,对其它帧点云的初始位姿信息进行调整,得到其它帧点云的中间位姿信息;
根据其它帧点云的中间位姿信息,对所述其它帧点云进行点云配准;
根据所述第一帧点云的位姿信息、所述最后一帧点云的位姿信息和对所述其它帧点云进行点云配准的配准结果,对其它帧点云的中间位姿信息进行调整,得到所述其它帧点云的位姿信息。
9.根据权利要求8所述的方法,其特征在于,所述根据所述惯性测量数据、所述第二子图中第一帧点云的位姿信息和所述第二子图中最后一帧点云的位姿信息,对其它帧点云的初始位姿信息进行调整,得到其它帧点云的中间位姿信息,包括:
将所述其它帧点云的初始位姿信息作为节点,构建位姿图;
根据所述惯性测量数据确定所述位姿图的边和所述边的权重;
基于使所述位姿图的残差总和最小化的原则对所述位姿图中的初始位姿进行调整,得到所述其它帧点云数据的中间位姿信息。
10.根据权利要求8所述的方法,其特征在于,所述根据所述第一帧点云的位姿信息、所述最后一帧点云的位姿信息和对所述其它帧点云进行点云配准的配准结果,对其它帧点云的中间位姿信息进行调整,得到所述其它帧点云的位姿信息,包括:
将所述第一帧点云的位姿信息、所述最后一帧点云的位姿信息和对所述其它帧点云数据进行点云配准的配准结果作为节点,构建位姿图;
根据所述惯性测量数据和所述配准结果,确定所述位姿图的边和所述边的权重;
基于使所述位姿图的残差总和最小化的原则对所述位姿图中的中间位姿信息进行调整,得到所述其它帧点云数据的位姿值。
11.根据权利要求2-7任一项所述的方法,其特征在于,所述采集设备的轨迹路线包括同一采集设备在同一位置的不同方位的多条轨迹路线;
所述基于所述点云数据、所述惯性测量数据和所述GNSS数据,采用与所述GNSS信号的强度对应的方式,生成所述采集设备的轨迹路线,还包括:
对所述多条轨迹路线进行回环检测,得到回环检测结果;
基于所述回环检测结果、相邻两个子图之间的第一相对位姿信息和GNSS数据,对每帧点云对应的采集设备的位姿信息进行调整,得到所述采集设备的轨迹路线。
12.根据权利要求11所述的方法,其特征在于,所述对所述多条轨迹路线进行回环检测,得到回环检测结果,包括:
基于多条轨迹路线中的所有子图,构建树结构;
确定所述树结构中每个子图的n个邻居子图;
针对每个子图,若所述子图与所述邻居子图在时间上不相邻,且重合度大于预设重合度,则将所述子图加入回环边集合;
对所述回环边集合中的子图进行配准,确定相邻两个子图之间的第二相对位姿信息。
13.根据权利要求12所述的方法,其特征在于,所述基于所述回环检测结果、相邻两个子图之间的相对位姿信息和GNSS数据,对每帧点云对应的采集设备的位姿信息进行调整,得到所述采集设备的轨迹路线,包括:
将所述轨迹路线中的所有子图作为节点,构建位姿图,每个子图对应一个节点;
确定所述节点之间的边,所述边对应有邻边约束条件、回环约束条件、GNSS约束条件和标定约束条件中至少一项,所述邻边约束条件包括相邻两个子图之间的第一相对位姿信息,所述回环约束条件包括相邻两个子图之间的第二相对位姿信息;所述GNSS约束条件包括GNSS数据对子图的位姿信息的先验估计,每个标定边对应一条轨迹且与轨迹上所有节点相连;
基于使所述位姿图的残差总和最小化的原则对所述位姿图中的位姿信息进行调整,得到所述采集设备的轨迹路线。
14.根据权利要求1-10任一项所述的方法,其特征在于,所述点云数据通过采集设备上的激光雷达采集得到;
所述惯性测量数据通过采集设备上的惯性测量单元采集得到;
所述GNSS数据通过GNSS接收机采集得到。
15.一种地图构建装置,其特征在于,包括:
获取模块,用于获取采集设备在预设时段内采集的点云数据、惯性测量数据和全球导航卫星系统GNSS数据,所述GNSS数据包括GNSS信号的强度;所述点云数据包括多帧点云;
生成模块,用于基于所述点云数据、所述惯性测量数据和所述GNSS数据,采用与所述GNSS信号的强度对应的方式,生成所述采集设备的轨迹路线;所述轨迹路线包括在时间和空间位置上相邻的多帧点云;
构建模块,用于基于所述轨迹路线构建地图;
所述生成模块,具体用于确定所述多帧点云中每帧点云对应的采集设备的位姿信息;根据所述GNSS信号的强度,将所述点云数据中多帧点云分别标记为第一点云和第二点云,所述第一点云对应的GNSS数据的信号强度大于所述第二点云;所述第一点云包括第一子点云和第二子点云,所述第一子点云对应的GNSS信号的强度大于所述第二子点云;
针对第一点云,若至少一帧第一点云满足第一预设条件,则将所述至少一帧第一点云作为一个第一子图;
针对第二点云,根据所述GNSS数据丢失前和丢失后分别对应的点云,确定至少一个第二子图;
根据每个子图包括的至少一帧点云对应的采集设备的位姿信息,确定所述每个子图的位姿信息;
基于所述惯性测量数据的预积分值和所述GNSS数据,对所述第一子点云的位姿信息进行调整,得到第一子点云的调整后位姿信息;
针对所述第二子图,将对GNSS数据进行插值得到的所述第二子图的第一帧点云和最后一帧点云的位姿信息,分别作为所述第二子图的第一帧点云和最后一帧点云的位姿信息;
确定所述第二子图中除所述第一帧点云和最后一帧点云以外的其他帧点云的位姿信息;
基于第一子点云的调整后位姿信息和所述第二子图中点云的位姿信息,对子图集中的子图进行配准,得到相邻两个子图之间的第一相对位姿信息,所述子图集包括至少两个第一子图和至少两个第二子图。
16.一种电子设备,其特征在于,包括:存储器;
处理器;以及
计算机程序;
其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如权利要求1-14中任一所述的方法。
17.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-14任一项所述的方法。
CN202010663457.6A 2020-04-30 2020-07-10 地图构建方法、装置、设备及存储介质 Active CN111912417B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010663457.6A CN111912417B (zh) 2020-07-10 2020-07-10 地图构建方法、装置、设备及存储介质
JP2022505577A JP2022542289A (ja) 2020-04-30 2021-04-12 地図作成方法、地図作成装置、電子機器、記憶媒体及びコンピュータプログラム製品
PCT/CN2021/086721 WO2021218620A1 (zh) 2020-04-30 2021-04-12 地图构建方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010663457.6A CN111912417B (zh) 2020-07-10 2020-07-10 地图构建方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111912417A CN111912417A (zh) 2020-11-10
CN111912417B true CN111912417B (zh) 2022-08-02

Family

ID=73226389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010663457.6A Active CN111912417B (zh) 2020-04-30 2020-07-10 地图构建方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111912417B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021218620A1 (zh) * 2020-04-30 2021-11-04 上海商汤临港智能科技有限公司 地图构建方法、装置、设备及存储介质
CN112362072B (zh) * 2020-11-17 2023-11-14 西安恒图智源信息科技有限责任公司 一种复杂城区环境中的高精度点云地图创建系统及方法
CN112348897A (zh) * 2020-11-30 2021-02-09 上海商汤临港智能科技有限公司 位姿确定方法及装置、电子设备、计算机可读存储介质
CN112781586B (zh) * 2020-12-29 2022-11-04 上海商汤临港智能科技有限公司 一种位姿数据的确定方法、装置、电子设备及车辆
WO2022151011A1 (zh) * 2021-01-13 2022-07-21 华为技术有限公司 一种定位方法、装置和车辆
CN113514863A (zh) * 2021-03-23 2021-10-19 重庆兰德适普信息科技有限公司 一种多传感器融合定位方法
CN113484843A (zh) * 2021-06-02 2021-10-08 福瑞泰克智能系统有限公司 一种激光雷达与组合导航间外参数的确定方法及装置
CN113671530B (zh) * 2021-08-06 2024-01-12 北京京东乾石科技有限公司 位姿确定方法、装置及存储介质和电子设备
CN113834479A (zh) * 2021-09-03 2021-12-24 Oppo广东移动通信有限公司 地图生成方法、装置、系统、存储介质及电子设备
CN113758481A (zh) * 2021-09-03 2021-12-07 Oppo广东移动通信有限公司 栅格地图生成方法、装置、系统、存储介质及电子设备
CN113920258A (zh) * 2021-09-26 2022-01-11 北京三快在线科技有限公司 地图生成方法、装置、介质及电子设备
CN113899361B (zh) * 2021-12-10 2022-03-01 西安电子科技大学 基于空间划分的slam快速回环检测方法
CN114413890A (zh) * 2022-01-14 2022-04-29 广州小鹏自动驾驶科技有限公司 车辆轨迹的生成方法、生成装置、电子设备及存储介质
CN115375866B (zh) * 2022-10-20 2023-02-03 国家电投集团科学技术研究院有限公司 矿区三维地质模型的更新方法、装置、设备和介质
CN117132728B (zh) * 2023-10-26 2024-02-23 毫末智行科技有限公司 构建地图的方法、装置、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8209120B2 (en) * 1997-10-22 2012-06-26 American Vehicular Sciences Llc Vehicular map database management techniques
US8798840B2 (en) * 2011-09-30 2014-08-05 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
US10801855B2 (en) * 2018-01-12 2020-10-13 Zhejiang Guozi Technology Co., Ltd. Method and system for creating map based on 3D laser
CN108955702B (zh) * 2018-05-07 2021-09-07 西安交通大学 基于三维激光和gps惯性导航系统的车道级地图创建系统
CN108801276B (zh) * 2018-07-23 2022-03-15 奇瑞汽车股份有限公司 高精度地图生成方法及装置
CN109887057B (zh) * 2019-01-30 2023-03-24 杭州飞步科技有限公司 生成高精度地图的方法和装置
CN109945856B (zh) * 2019-02-18 2021-07-06 天津大学 基于惯性/雷达的无人机自主定位与建图方法
CN111272181B (zh) * 2020-02-06 2022-04-26 北京京东乾石科技有限公司 构建地图的方法、装置、设备和计算机可读介质

Also Published As

Publication number Publication date
CN111912417A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN111912417B (zh) 地图构建方法、装置、设备及存储介质
WO2021218620A1 (zh) 地图构建方法、装置、设备及存储介质
CN112014857B (zh) 用于智能巡检的三维激光雷达定位导航方法及巡检机器人
CN109059954B (zh) 支持高精度地图车道线实时融合更新的方法和系统
CN113424232A (zh) 三维点云地图构建方法、系统和设备
CN107167826B (zh) 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法
CN104677361B (zh) 一种综合定位的方法
CN112380312B (zh) 基于栅格检测的激光地图更新方法、终端及计算机设备
CN113640822B (zh) 一种基于非地图元素过滤的高精度地图构建方法
Konrad et al. Localization in digital maps for road course estimation using grid maps
CN108981687A (zh) 一种视觉与惯性融合的室内定位方法
CN115451948A (zh) 一种基于多传感器融合的农业无人车定位里程计方法及系统
CN110220517A (zh) 一种结合环境语意的室内机器人鲁棒slam方法
WO2021150779A1 (en) System and method for egomotion estimation
Tang et al. Surveying, geomatics, and 3D reconstruction
CN114577196B (zh) 使用光流的激光雷达定位
Meis et al. A new method for robust far-distance road course estimation in advanced driver assistance systems
CN110223223A (zh) 街道扫描方法、装置及扫描仪
KR102130687B1 (ko) 다중 센서 플랫폼 간 정보 융합을 위한 시스템
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
CN116259025A (zh) 一种自动驾驶视觉感知特征提取方法及装置
CN113227713A (zh) 生成用于定位的环境模型的方法和系统
Roberts et al. Inertial navigation sensor integrated motion analysis for autonomous vehicle navigation
Randeniya et al. Calibration of inertial and vision systems as a prelude to multi-sensor fusion
KR102225321B1 (ko) 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant