CN111561923B - 基于多传感器融合的slam制图方法、系统 - Google Patents

基于多传感器融合的slam制图方法、系统 Download PDF

Info

Publication number
CN111561923B
CN111561923B CN202010422626.7A CN202010422626A CN111561923B CN 111561923 B CN111561923 B CN 111561923B CN 202010422626 A CN202010422626 A CN 202010422626A CN 111561923 B CN111561923 B CN 111561923B
Authority
CN
China
Prior art keywords
data
positioning information
precision
map
gnss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010422626.7A
Other languages
English (en)
Other versions
CN111561923A (zh
Inventor
刘继廷
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Digital Green Earth Technology Co ltd
Original Assignee
Beijing Digital Green Earth Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Digital Green Earth Technology Co ltd filed Critical Beijing Digital Green Earth Technology Co ltd
Priority to CN202010422626.7A priority Critical patent/CN111561923B/zh
Priority to EP20936432.2A priority patent/EP4155669A1/en
Priority to US17/791,505 priority patent/US20230194306A1/en
Priority to PCT/CN2020/092921 priority patent/WO2021232470A1/zh
Publication of CN111561923A publication Critical patent/CN111561923A/zh
Application granted granted Critical
Publication of CN111561923B publication Critical patent/CN111561923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明提供了一种基于多传感器融合的SLAM制图方法和系统，应用于服务器，包括：获取移动平台关于周围环境的多个传感器数据；多个传感器数据包括：点云数据，图像数据，IMU数据和GNSS数据；对多个传感器数据进行层级处理，生成多个定位信息；其中，一个传感器数据对应于一个定位信息；基于多个定位信息，得到移动平台的目标定位信息；基于目标定位信息，生成局部高精度地图；对局部高精度地图进行闭环检测操作，得到移动平台的高精度全局地图。本发明缓解了现有技术中存在的容易受周围环境限制而导致的精度低的技术问题。

Description

基于多传感器融合的SLAM制图方法、系统
技术领域
本发明涉及导航多传感器融合技术领域，尤其是涉及一种基于多传感器融合的SLAM制图方法、系统。
背景技术
SLAM (SIMUltaneous Localization And Mapping)技术是指即时定位与地图构建，即通过处理传感器采集的周围环境数据，实时反馈当前运动系统在未知环境的位置并同时绘制运动系统的周围环境地图，此地图可以是2D平面地图，也可以是三维周围环境地图。在机器人、自动驾驶、虚拟现实、测绘、农业、林业、电力、建筑等行业已经有了很广泛的应用。目前常用的传感器单元包括激光器、惯性导航系统(Inertial Measurement Unit，IMU)、视觉相机、全球导航卫星系统（Global Navigation Satellite System，GNSS）。
当前比较成熟的SLAM算法大致可以分为激光SLAM和视觉SLAM两类。激光SLAM指主要利用激光传感器获取数据，进行同步定位和制图。激光器不依赖周围环境的光照，且能够扫描周围环境的高精度三维信息，其算法较为稳健，目前随着激光器成本的降低，逐渐成为SLAM领域较为热门的研究领域之一。 但是激光器在无明显结构的环境中，如平面墙、草原、狭窄走廊等环境，其无法探测到有效的环境特征，导致定位和制图容易失败。视觉SLAM主要是利用相机传感器来获取周围环境的影像数据，通过拍摄的影像信息来进行定位和制图。其价格低廉、可视化性强，一直是SLAM研究领域最热门的方向。但是视觉相机很依赖周围环境的光照信息和纹理信息，一但光照变化过大，或者纹理重复性单一，容易导致制图失败。
无论是激光SLAM还是视觉SLAM两着还存在随着时间的增长，累计误差会逐渐增加，造成定位和制图效果精度下降，目前比较流行的方式是通过闭环等方式来进行修正，但是在大规模制图中，受限周围环境，精度往往都达不到目前地图生产所要求的精度。
发明内容
有鉴于此，本发明的目的在于提供一基于多传感器融合的SLAM制图方法和系统，以缓解了现有技术中存在的容易受周围环境限制而导致的精度低、误差大的技术问题。
第一方面，本发明实施例提供了一种基于多传感器融合的SLAM制图方法，应用于服务器，包括：获取移动平台关于周围环境的多个传感器数据；所述多个传感器数据包括：点云数据，图像数据，IMU数据和GNSS数据；对所述多个传感器数据进行层级处理，生成多个定位信息；其中，一个传感器数据对应于一个定位信息；基于所述多个定位信息，得到所述移动平台的目标定位信息；基于所述目标定位信息，生成局部高精度地图；对所述局部高精度地图进行闭环检测操作，得到所述移动平台的高精度全局地图。
进一步地，获取移动平台关于周围环境的多个传感器数据，包括：以激光器为基准，标定相机、IMU、GNSS和所述激光器之间的位置关系，得到标定信息；其中，所述激光器、所述相机、IMU和所述GNSS均为所述移动平台上的传感器；以所述GNSS的时间为基准，同步所述激光器、所述相机、所述IMU的时间到当前GNSS的时间系统；同步采集所述激光器、所述相机、所述IMU和所述GNSS的数据，得到所述移动平台关于周围环境的多个传感器数据；其中，所述点云数据为所述激光器采集到的数据，所述图像数据为所述相机采集到的数据，所述IMU数据为所述IMU采集到的数据，所述GNSS数据为所述GNSS采集到的数据。
进一步地，所述多个定位信息包括：初始定位信息，第一定位信息和第二定位信息，对所述多个传感器数据进行层级处理，生成多个定位信息，包括：基于所述IMU数据、所述GNSS数据和所述标定信息，生成初始定位信息；基于所述初始定位信息和所述图像数据，利用视觉SLAM生成第一定位信息；基于所述第一定位信息和所述点云数据，利用激光SLAM生成第二定位信息。
进一步地，基于所述多个定位信息，得到所述移动平台的目标定位信息，包括：提取所述图像数据的关键帧匹配点集和所述点云数据匹配点集；基于所述第二定位信息、所述IMU数据、所述GNSS数据、所述关键帧匹配点集和所述点云数据匹配点集，生成综合定位信息数据库；对所述综合定位信息数据库中的数据集进行联合优化，得到所述移动平台的高精度轨迹；将所述高精度轨迹作为所述目标定位信息。
进一步地，所述局部高精度地图包括：影像局部地图和点云三维场景局部地图，基于所述目标定位信息，生成局部高精度地图，包括：基于所述高精度轨迹解算所述图像数据的关键帧的位置和姿态信息，生成影像局部地图；基于所述高精度轨迹解算所述点云数据的位置和姿态信息，生成点云三维场景局部地图。
进一步地，对所述局部高精度地图进行闭环检测操作，得到所述移动平台的高精度全局地图，包括：对所述局部高精度地图进行闭环检测操作，得到局部地图旋转平移矩阵；基于所述局部地图旋转平移矩阵构造图优化中位姿约束；利用所述图优化中位姿约束对所述高精度轨迹进行修正，得到修正后的高精度轨迹；基于所述修正后的高精度轨迹，得到所述移动平台的高精度全局地图。
第二方面，本发明实施例还提供了一种基于多传感器融合的SLAM制图系统，应用于服务器，包括：获取模块，层级处理模块，定位模块，第一生成模块和第二生成模块，其中，所述获取模块，用于获取移动平台关于周围环境的多个传感器数据；所述多个传感器数据包括：点云数据，图像数据，IMU数据和GNSS数据；所述层级处理模块，用于对所述多个传感器数据进行层级处理，生成多个定位信息；其中，一个传感器数据对应于一个定位信息；所述定位模块，用于基于所述多个定位信息，得到所述移动平台的目标定位信息；所述第一生成模块，用于基于所述目标定位信息，生成局部高精度地图；所述第二生成模块，用于对所述局部高精度地图进行闭环检测操作，得到所述移动平台的高精度全局地图。
进一步地，所述获取模块包括：标定单元，同步单元和采集单元，其中，所述标定单元，用于以激光器为基准，标定相机、IMU、GNSS和所述激光器之间的位置关系，得到标定信息；其中，所述激光器、所述相机、IMU和所述GNSS均为所述移动平台上的传感器；所述同步单元，用于以所述GNSS的时间为基准，同步所述激光器、所述相机、所述IMU的时间到当前GNSS的时间系统；所述采集单元，用于同步采集所述激光器、所述相机、所述IMU和所述GNSS的数据，得到所述移动平台关于周围环境的多个传感器数据；其中，所述点云数据为所述激光器采集到的数据，所述图像数据为所述相机采集到的数据，所述IMU数据为所述IMU采集到的数据，所述GNSS数据为所述GNSS采集到的数据。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。
第四方面，本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面所述方法。
本发明提供了一种基于多传感器融合的SLAM制图方法和系统，应用于服务器，包括：获取移动平台关于周围环境的多个传感器数据；多个传感器数据包括：点云数据，图像数据，IMU数据和GNSS数据；对多个传感器数据进行层级处理，生成多个定位信息；其中，一个传感器数据对应于一个定位信息；基于多个定位信息，得到移动平台的目标定位信息；基于目标定位信息，生成局部高精度地图；对局部高精度地图进行闭环检测操作，得到移动平台的高精度全局地图。本发明缓解了现有技术中存在的容易受周围环境限制而导致的精度低、误差大的技术问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于多传感器融合的SLAM制图方法的流程图；
图2为本发明实施例提供的一种获取移动平台关于周围环境的多个传感器数据的方法流程图；
图3为本发明实施例提供的一种对多个传感器数据进行层级处理的方法流程图；
图4为本发明实施例提供的一种对多个定位信息进行联合优化的方法流程图；
图5为本发明实施例提供的一种得到移动平台的高精度全局地图的方法流程图；
图6为本发明实施例提供的一种基于多传感器融合的SLAM制图系统的示意图；
图7为本发明实施例提供的另一种基于多传感器融合的SLAM制图系统的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
图1是根据本发明实施例提供的一种基于多传感器融合的SLAM制图方法的流程图，该方法应用于服务器。如图1所示，该方法具体包括如下步骤：
步骤S102，获取移动平台关于周围环境的多个传感器数据；多个传感器数据包括：点云数据，图像数据，IMU数据和GNSS数据。
具体地，通过激光器采集周围环境的点云信息，得到点云数据；通过相机采集图像信息，得到图像数据；通过IMU获取移动平台的角速度和加速度，得到IMU数据；通过GNSS获取每一时刻经纬度绝对坐标，得到GNSS数据。
步骤S104，对多个传感器数据进行层级处理，生成多个定位信息；其中，一个传感器数据对应于一个定位信息。
步骤S106，基于多个定位信息，得到移动平台的目标定位信息。
步骤S108，基于目标定位信息，生成局部高精度地图。
步骤S110，对局部高精度地图进行闭环检测操作，得到移动平台的高精度全局地图。
本发明提供了一种基于多传感器融合的SLAM制图方法，获取移动平台关于周围环境的多个传感器数据；多个传感器数据包括：点云数据，图像数据，IMU数据和GNSS数据；对多个传感器数据进行层级处理，生成多个定位信息；其中，一个传感器数据对应于一个定位信息；基于多个定位信息，得到移动平台的目标定位信息；基于目标定位信息，生成局部高精度地图；对局部高精度地图进行闭环检测操作，得到移动平台的高精度全局地图。本发明缓解了现有技术中存在的容易受周围环境限制而导致的精度低、误差大的技术问题。
可选地，如图2所示，步骤S102包括如下步骤：
步骤S1021，以激光器为基准，标定相机、IMU、GNSS和激光器之间的位置关系，得到标定信息；其中，激光器、相机、IMU和GNSS均为移动平台上的传感器。
具体地，激光器和相机的标定，使用在同一刚体上的激光器和相机对着标定板采集数据，拟合点云数据里面的面特征，以及图像中的角点等信息，通过点到面的距离去优化求解出相机和激光器的外参，激光器和IMU之间的标定，通过激光器采集的点云数据可以获取移动设备的轨迹，通过IMU也可以获取移动设备的轨迹，对轨迹进行对齐，即可以获得外参，由于IMU的加速度计容易漂，只能大致的估计两者之间的外参（或者通过尺子进行量测）。
步骤S1022，以GNSS的时间为基准，同步激光器、相机、IMU的时间到当前GNSS的时间系统。
步骤S1023，同步采集激光器、相机、IMU和GNSS的数据，得到移动平台关于周围环境的多个传感器数据；其中，点云数据为激光器采集到的数据，图像数据为相机采集到的数据，IMU数据为IMU采集到的数据，GNSS数据为GNSS采集到的数据。
在本发明实施例中，多个定位信息包括：初始定位信息，第一定位信息和第二定位信息。
可选地，如图3所示，步骤S104包括如下步骤：
步骤S1041，基于IMU数据、GNSS数据和标定信息，生成初始定位信息。
具体地，首先在移动平台上完成导航系统的初始化及对准，对卡尔曼滤波参数的初始参数进行设定，然后利用GNSS卫星定位信息，以及惯性导航系统（INS），以卡尔曼滤波原理，求解得到每一时刻t的状态后验估计信息P0t。
步骤S1042，基于初始定位信息和图像数据，利用视觉SLAM生成第一定位信息。
具体地，a)，针对每一关键帧图像计算其特征点，具体特征点包含ORB特征点及Harris角点等。
b).对相邻两个图像关键帧，依据初始定位信息P0，得到位置修正后的 特征顶F1和F2如下所示，其中，Pt-1表示图像帧F1的所有特征点集合，Pt表示图像帧F2的所有特征点集合。
Figure RE-GDA0002571782410000081
通过RANSAC去除异常点，并进一步优化计算得到相机归一化平面下的特征点
Figure 737289DEST_PATH_IMAGE002
,
Figure 174086DEST_PATH_IMAGE004
。
由于处在同一特征环境下，这些特征匹配点对的变换关系可表示为如下式所示：
Figure 942322DEST_PATH_IMAGE005
；
其中，R为机器人位姿旋转变换矩阵，T为机器人位移矩阵，
Figure 109386DEST_PATH_IMAGE006
与
Figure 974574DEST_PATH_IMAGE007
为t时刻到t+1时刻的特征点匹配点对。采用最小化重投影误差的方法来求解位姿R与T，如下式：
Figure 582272DEST_PATH_IMAGE008
其中，
Figure 87072DEST_PATH_IMAGE002
表示图像帧F1的所有特征点集合，
Figure 805629DEST_PATH_IMAGE004
表示图像帧
Figure 525324DEST_PATH_IMAGE001
的所有特征点集合；
Figure 303924DEST_PATH_IMAGE009
为载体的旋转矩阵，T为载体的平移向量，
Figure 296019DEST_PATH_IMAGE010
表示特征点对的数目。
计算得到相邻关键帧的旋转平移矩阵，并依次得到所有关键帧的第一定位信息P1，将当前的最优特征匹配对（即关于第一定位信息P1的最优特征匹配对）加入到匹配数据库中。
步骤S1043，基于第一定位信息和点云数据，利用激光SLAM生成第二定位信息。
具体的，对于当前帧激光点云数据
Figure 83847DEST_PATH_IMAGE011
，依据以下公式可计算得到其点特征
Figure 392468DEST_PATH_IMAGE012
，线特征
Figure 794500DEST_PATH_IMAGE013
，面特征
Figure 821362DEST_PATH_IMAGE014
。
Figure 147301DEST_PATH_IMAGE015
其中，i为
Figure 765888DEST_PATH_IMAGE011
中的一个点，Xi为点i的坐标，p为点i的邻域点集合，j为p中的点，Xi为点i的坐标，f为特征值；预先给定阈值M1、M2、M3和M4，针对当前点的特征值f小于M1的点属于特征
Figure 886291DEST_PATH_IMAGE016
，大于M2小于M3的点属于
Figure 666028DEST_PATH_IMAGE017
，大于M4的点属于
Figure 779347DEST_PATH_IMAGE018
。
根据第一定位信息P1，将每帧的特征数据转换到P1定位信息对应的坐标系。获取相邻两帧点云数据
Figure 244DEST_PATH_IMAGE019
和
Figure 822706DEST_PATH_IMAGE020
，对所有匹配对
Figure 807849DEST_PATH_IMAGE021
在
Figure 413273DEST_PATH_IMAGE022
中进行领域搜索，确定所有候选特征匹配对。根据匹配对并通过最小二乘法求解得到相邻两帧点云数据的旋转平移参数R和T。具体的，可通过如下公式求解参数：
Figure 816573DEST_PATH_IMAGE023
其中，Y表示从相邻的后一数据帧中提取的特征，X表示从相邻的前一数据帧中提取的特征，
Figure 996887DEST_PATH_IMAGE024
为载体的旋转矩阵，
Figure 954479DEST_PATH_IMAGE025
为载体的平移向量。
然后根据得到的结果对匹配对进行优选，并重新计算特征点
Figure 425912DEST_PATH_IMAGE026
。对点云
Figure 760134DEST_PATH_IMAGE027
中的特征点在
Figure 393240DEST_PATH_IMAGE028
中重新查找特征点对，重新计算得到新的旋转平移矩阵
Figure 306970DEST_PATH_IMAGE029
和
Figure 565782DEST_PATH_IMAGE030
，并更新之。最终得到相邻两帧的旋转平移位置信息
Figure 412515DEST_PATH_IMAGE031
和
Figure 747681DEST_PATH_IMAGE032
，并将当前的最优特征匹配对加入到匹配数据库K中。
最后，通过依据相邻帧的转换矩阵，得到依据激光点云数据的第二定位信息P2（即关于第二定位信息P2的最优特征匹配对）。上述图3涉及了如下操作，步骤S1041，基于IMU数据、GNSS数据和标定信息，生成初始定位信息。步骤S1042，基于初始定位信息和图像数据，利用视觉SLAM生成第一定位信息。步骤S1043，基于第一定位信息和点云数据，利用激光SLAM生成第二定位信息。在上述技术方案中，基于IMU数据、GNSS数据和标定信息，生成初始定位信息采用了全新的算法设计（最小化重投影误差的方法结合最小二乘法），应用上述计算算法，得到初始定位信息。
可选地，图4是根据本发明实施例提供的一种对多个定位信息进行联合优化的方法流程图。如图4所示，该方法包括如下步骤：
步骤S1061，提取图像数据的关键帧匹配点集和点云数据匹配点集。
步骤S1062，基于第二定位信息、IMU数据、GNSS数据、关键帧匹配点集和点云数据匹配点集，生成综合定位信息数据库。
步骤S1063，对综合定位信息数据库中的数据集进行联合优化，得到移动平台的高精度轨迹。
步骤S1064，将高精度轨迹作为目标定位信息。
具体地，首先构建一个容量为n的滑动窗口，滑动窗口每个单元包含原始相机关键帧匹配对信息，或激光点云匹配对信息以及IMU预积分信息，其中，IMU预积分信息为连续两帧数据的所有IMU数据通过IMU预积分模型构成的一个观测值。然后，依次对滑动窗口内的数据构造因子图模型，包括构建IMU预积分约束
Figure 132395DEST_PATH_IMAGE033
，激光点云特征匹配约束
Figure 945630DEST_PATH_IMAGE034
，图像关键帧匹配约束
Figure 912449DEST_PATH_IMAGE035
以及GNSS位置约束
Figure 152938DEST_PATH_IMAGE036
等，通过求解联合概率分布的最大后验概率，得到每一个时间点的各个状态变量。其中，需要估计的状态变量为
Figure 87265DEST_PATH_IMAGE037
。
其中，
Figure 641874DEST_PATH_IMAGE038
分别表示世界坐标系的三维坐标；
Figure 259937DEST_PATH_IMAGE039
分别表示东向、北向、天向速度；
Figure 936906DEST_PATH_IMAGE040
表示姿态角；
Figure 767983DEST_PATH_IMAGE041
分别表示陀螺仪偏差量；
Figure 454180DEST_PATH_IMAGE042
分别表示加速度计偏差量。
对每一时刻的状态集合
Figure 598853DEST_PATH_IMAGE043
,根据上述构造的测量值集合，
Figure 695991DEST_PATH_IMAGE044
，求解联合概率分布
Figure 621222DEST_PATH_IMAGE045
的最大后验概率：
Figure 986475DEST_PATH_IMAGE046
；
其中
Figure 313551DEST_PATH_IMAGE047
,表示
Figure 581590DEST_PATH_IMAGE048
的最优估计值。求解得到最优状态量，从而得到高精度轨迹T。
在本发明实施例中，局部高精度地图包括：影像局部地图和点云三维场景局部地图。可选地，步骤S108还包括如下步骤：
步骤S1081，基于高精度轨迹解算图像数据的关键帧的位置和姿态信息，生成影像局部地图。
步骤S1082，基于高精度轨迹解算点云数据的位置和姿态信息，生成点云三维场景局部地图。
可选地，如图5所示，步骤S110包括如下步骤：
步骤S1101，对局部高精度地图进行闭环检测操作，得到局部地图旋转平移矩阵。
具体地，首先根据GNSS数据初步判断当前地图和之前扫描过的地图是否有重复。若经纬度信息相差在一定的阈值之内，则认为所处在同一地方，那么者两帧就会形成闭环。
然后根据影像的特征点信息判断当前影像局部地图和之前形成的影像地图有无重复，进行影像闭环检测。具体地，将每帧图片的特征在字典里面进行搜索，计算相似度，相似度过高，则认为移动平台回到了之前的某一位置，形成闭环。
之后根据激光点云信息判断当前点云局部地图和之前形成的点云地图有无重复，判断进行点云闭环检测。
具体的，针对获取的两帧候选判断的点云和
Figure 869483DEST_PATH_IMAGE049
，计算其配准误差
Figure 84433DEST_PATH_IMAGE050
，求解最小误差函数
Figure 436DEST_PATH_IMAGE051
。下面公式为计算配准误差及最小误差函数公式：
Figure 455688DEST_PATH_IMAGE052
Figure 748654DEST_PATH_IMAGE053
其中
Figure 49185DEST_PATH_IMAGE054
为所述当前地图中的待配准数据帧中的点，
Figure 85274DEST_PATH_IMAGE055
为
Figure 898378DEST_PATH_IMAGE056
的坐标，
Figure 160864DEST_PATH_IMAGE057
为全局坐标系数据帧中的点，
Figure 530665DEST_PATH_IMAGE058
为
Figure 670528DEST_PATH_IMAGE059
的坐标，
Figure 467583DEST_PATH_IMAGE060
为j到i的旋转平移矩阵，
Figure 217364DEST_PATH_IMAGE061
为配准误差，
Figure 125278DEST_PATH_IMAGE062
为预设范数。
判断依据为基于点云的重叠度，即当配准误差最小时，其同名点占点云重叠区域的点的比例。如果点云重叠度高于一定百分比则判断其为闭环。此时
Figure 119647DEST_PATH_IMAGE063
即为其旋转平移矩阵。
步骤S1102，基于局部地图旋转平移矩阵构造图优化中位姿约束。
步骤S1103，利用图优化中位姿约束对高精度轨迹进行修正，得到修正后的高精度轨迹。
步骤S1104，基于修正后的高精度轨迹，得到移动平台的高精度全局地图。
在本发明实施例中，随着时间的推移，累计误差会越来越大，导致精度降低，而闭环检测可以去判断当前帧所采集的场景和之前的某一帧是否有很大的相似，若是，则形成了环，优化的时候就可以降低误差的累积，生成高精度的全局地图。
与现有技术的方式相比，本发明实施例具有以下至少一种优点：
（1）解决了单一传感器在特征环境下SLAM制图失败的情况，系统采集处理稳定性、鲁棒性较强；
（2）利用多传感器的融合，解决了常规SLAM算法累计误差大的问题，提高了全局地图的成图精度。
实施例二：
图6是根据本发明实施例提供的一种基于多传感器融合的SLAM制图系统的示意图，该系统应用于服务器。如图6所示，该系统包括：获取模块10，层级处理模块20，定位模块30，第一生成模块40和第二生成模块50。
具体地，获取模块10，用于获取移动平台关于周围环境的多个传感器数据；多个传感器数据包括：点云数据，图像数据，IMU数据和GNSS数据。
层级处理模块20，用于对多个传感器数据进行层级处理，生成多个定位信息；其中，一个传感器数据对应于一个定位信息。
定位模块30，用于基于多个定位信息，得到移动平台的目标定位信息。
第一生成模块40，用于基于目标定位信息，生成局部高精度地图。
第二生成模块50，用于对局部高精度地图进行闭环检测操作，得到移动平台的高精度全局地图。
可选地，图7是根据本发明实施例提供的另一种基于多传感器融合的SLAM制图系统的示意图。如图7所示，获取模块10包括：标定单元11，同步单元12和采集单元13。
具体地，标定单元11，用于以激光器为基准，标定相机、IMU、GNSS和激光器之间的位置关系，得到标定信息；其中，激光器、相机、IMU和GNSS均为移动平台上的传感器。
同步单元12，用于以GNSS的时间为基准，同步激光器、相机、IMU的时间到当前GNSS的时间系统。
采集单元13，用于同步采集激光器、相机、IMU和GNSS的数据，得到移动平台关于周围环境的多个传感器数据；其中，点云数据为激光器采集到的数据，图像数据为相机采集到的数据，IMU数据为IMU采集到的数据，GNSS数据为GNSS采集到的数据。
本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例一中的方法的步骤。
本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行上述实施例一中的方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于多传感器融合的SLAM制图方法，其特征在于，应用于服务器，包括：
获取移动平台关于周围环境的多个传感器数据；所述多个传感器数据包括：点云数据，图像数据，IMU数据和GNSS数据；
对所述多个传感器数据进行层级处理，生成多个定位信息；其中，一个传感器数据对应于一个定位信息；所述多个定位信息包括：初始定位信息，第一定位信息和第二定位信息；以激光器为基准，标定相机、IMU、GNSS和所述激光器之间的位置关系，得到标定信息；
对所述多个传感器数据进行层级处理，生成多个定位信息，包括：
基于所述IMU数据、所述GNSS数据和所述标定信息，生成初始定位信息；
基于所述初始定位信息和所述图像数据，利用视觉SLAM生成第一定位信息；
基于所述第一定位信息和所述点云数据，利用激光SLAM生成第二定位信息；
基于所述多个定位信息，得到所述移动平台的目标定位信息，包括：
提取所述图像数据的关键帧匹配点集和所述点云数据匹配点集；
基于所述第二定位信息、所述IMU数据、所述GNSS数据、所述关键帧匹配点集和所述点云数据匹配点集，生成综合定位信息数据库；
对所述综合定位信息数据库中的数据集进行联合优化，得到所述移动平台的高精度轨迹；
将所述高精度轨迹作为所述目标定位信息；
基于所述目标定位信息，生成局部高精度地图；
对所述局部高精度地图进行闭环检测操作，得到所述移动平台的高精度全局地图。
2.根据权利要求1所述的方法，其特征在于，获取移动平台关于周围环境的多个传感器数据，包括：
以所述GNSS的时间为基准，同步所述激光器、所述相机、所述IMU的时间到当前GNSS的时间系统；
同步采集所述激光器、所述相机、所述IMU和所述GNSS的数据，得到所述移动平台关于周围环境的多个传感器数据；其中，所述点云数据为所述激光器采集到的数据，所述图像数据为所述相机采集到的数据，所述IMU数据为所述IMU采集到的数据，所述GNSS数据为所述GNSS采集到的数据；
其中，所述激光器、所述相机、IMU和所述GNSS均为所述移动平台上的传感器。
3.根据权利要求2所述的方法，所述局部高精度地图包括：影像局部地图和点云三维场景局部地图，其特征在于，基于所述目标定位信息，生成局部高精度地图，包括：
基于所述高精度轨迹解算所述图像数据的关键帧的位置和姿态信息，生成影像局部地图；
基于所述高精度轨迹解算所述点云数据的位置和姿态信息，生成点云三维场景局部地图。
4.根据权利要求3所述的方法，其特征在于，对所述局部高精度地图进行闭环检测操作，得到所述移动平台的高精度全局地图，包括：
对所述局部高精度地图进行闭环检测操作，得到局部地图旋转平移矩阵；
基于所述局部地图旋转平移矩阵构造图优化中位姿约束；
利用所述图优化中位姿约束对所述高精度轨迹进行修正，得到修正后的高精度轨迹；
基于所述修正后的高精度轨迹，得到所述移动平台的高精度全局地图。
5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至4任一项所述的方法的步骤。
6.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1-4任一项所述方法。
CN202010422626.7A 2020-05-19 2020-05-19 基于多传感器融合的slam制图方法、系统 Active CN111561923B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010422626.7A CN111561923B (zh) 2020-05-19 2020-05-19 基于多传感器融合的slam制图方法、系统
EP20936432.2A EP4155669A1 (en) 2020-05-19 2020-05-28 Multi-sensor fusion-based slam method and system
US17/791,505 US20230194306A1 (en) 2020-05-19 2020-05-28 Multi-sensor fusion-based slam method and system
PCT/CN2020/092921 WO2021232470A1 (zh) 2020-05-19 2020-05-28 基于多传感器融合的slam制图方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010422626.7A CN111561923B (zh) 2020-05-19 2020-05-19 基于多传感器融合的slam制图方法、系统

Publications (2)

Publication Number Publication Date
CN111561923A CN111561923A (zh) 2020-08-21
CN111561923B true CN111561923B (zh) 2022-04-15

Family

ID=72069489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010422626.7A Active CN111561923B (zh) 2020-05-19 2020-05-19 基于多传感器融合的slam制图方法、系统

Country Status (4)

Country Link
US (1) US20230194306A1 (zh)
EP (1) EP4155669A1 (zh)
CN (1) CN111561923B (zh)
WO (1) WO2021232470A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111983639B (zh) * 2020-08-25 2023-06-02 浙江光珀智能科技有限公司 一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法
CN112414415B (zh) * 2020-09-22 2023-05-23 重庆兰德适普信息科技有限公司 高精度点云地图构建方法
CN112129282B (zh) * 2020-09-30 2021-06-18 杭州海康机器人技术有限公司 一种不同导航方式之间定位结果的转换方法、转换装置
CN112254729A (zh) * 2020-10-09 2021-01-22 北京理工大学 一种基于多传感器融合的移动机器人定位方法
CN112268559B (zh) * 2020-10-22 2023-03-28 中国人民解放军战略支援部队信息工程大学 复杂环境下融合slam技术的移动测量方法
CN112486197B (zh) * 2020-12-05 2022-10-21 青岛民航凯亚系统集成有限公司 基于多源图像自适应选权的融合定位跟踪控制方法
CN112446905B (zh) * 2021-01-29 2021-05-11 中国科学院自动化研究所 基于多自由度传感关联的三维实时全景监控方法
CN113108780A (zh) * 2021-03-30 2021-07-13 沈奥 一种基于视觉惯导slam算法的无人船自主导航方法
CN114061596B (zh) * 2021-11-19 2024-03-22 北京国家新能源汽车技术创新中心有限公司 自动驾驶定位方法、系统、测试方法、设备及存储介质
CN114593724A (zh) * 2022-01-21 2022-06-07 北京邮电大学 集群融合定位方法和装置
CN114758001B (zh) * 2022-05-11 2023-01-24 北京国泰星云科技有限公司 基于pnt的轮胎吊自动行走方法
CN114742884B (zh) * 2022-06-09 2022-11-22 杭州迦智科技有限公司 一种基于纹理的建图、里程计算、定位方法及系统
CN115276761B (zh) * 2022-06-23 2024-04-09 中国空间技术研究院 基于高精高频姿态数据的卫星辅助数据生成方法及系统
CN114913246B (zh) * 2022-07-15 2022-11-01 齐鲁空天信息研究院 相机标定方法、装置、电子设备及存储介质
CN115685292B (zh) * 2023-01-05 2023-03-21 中国人民解放军国防科技大学 一种多源融合导航系统的导航方法和装置
CN116067379B (zh) * 2023-03-07 2023-06-30 青岛慧拓智能机器有限公司 一种基于动态点云的长隧道场景下多传感器融合定位方法
CN116222543B (zh) * 2023-04-26 2023-07-28 齐鲁工业大学(山东省科学院) 用于机器人环境感知的多传感器融合地图构建方法及系统
CN116423515B (zh) * 2023-04-28 2023-10-03 燕山大学 一种多机器人的数字孪生控制系统及其定位与建图的方法
CN116881846B (zh) * 2023-07-17 2024-04-05 无锡北微传感科技有限公司 一种基于多传感器信息融合的多模态通信铁塔监测方法
CN117128951B (zh) * 2023-10-27 2024-02-02 中国科学院国家授时中心 适用于自动驾驶农机的多传感器融合导航定位系统及方法
CN117782227A (zh) * 2024-02-26 2024-03-29 中国铁路设计集团有限公司 一种多源航空遥感数据采集装置、系统及控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107246876A (zh) * 2017-07-31 2017-10-13 中北智杰科技（北京）有限公司 一种无人驾驶汽车自主定位与地图构建的方法及系统
CN108303721A (zh) * 2018-02-12 2018-07-20 北京经纬恒润科技有限公司 一种车辆定位方法及系统
CN108665540A (zh) * 2018-03-16 2018-10-16 浙江工业大学 基于双目视觉特征和imu信息的机器人定位与地图构建系统
CN109341706A (zh) * 2018-10-17 2019-02-15 张亮 一种面向无人驾驶汽车的多特征融合地图的制作方法
CN109887057A (zh) * 2019-01-30 2019-06-14 杭州飞步科技有限公司 生成高精度地图的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180364045A1 (en) * 2015-01-06 2018-12-20 Discovery Robotics Robotic platform with mapping facility
CN106153048A (zh) * 2016-08-11 2016-11-23 广东技术师范学院 一种基于多传感器的机器人室内定位及制图系统
CN109556615B (zh) * 2018-10-10 2022-10-04 吉林大学 基于自动驾驶的多传感器融合认知的驾驶地图生成方法
CN110057373B (zh) * 2019-04-22 2023-11-03 上海蔚来汽车有限公司 用于生成高精细语义地图的方法、装置和计算机存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107246876A (zh) * 2017-07-31 2017-10-13 中北智杰科技（北京）有限公司 一种无人驾驶汽车自主定位与地图构建的方法及系统
CN108303721A (zh) * 2018-02-12 2018-07-20 北京经纬恒润科技有限公司 一种车辆定位方法及系统
CN108665540A (zh) * 2018-03-16 2018-10-16 浙江工业大学 基于双目视觉特征和imu信息的机器人定位与地图构建系统
CN109341706A (zh) * 2018-10-17 2019-02-15 张亮 一种面向无人驾驶汽车的多特征融合地图的制作方法
CN109887057A (zh) * 2019-01-30 2019-06-14 杭州飞步科技有限公司 生成高精度地图的方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Sensor fused three-dimensional localization using IMU, camera and LiDAR;Hanieh Deilamsalehy 等;《2016 IEEE SENSORS》;20170109;第1-3页 *
基于多传感器技术的移动机器人定位与建图研究;张玉将;《中国优秀硕士学位论文全文数据库》;20180615;第1-106页 *
多传感器融合的高精度SLAM关键技术研究;纪晓凤 等;《中国优秀硕士学位论文全文数据库》;20190415;第1-87页 *

Also Published As

Publication number Publication date
CN111561923A (zh) 2020-08-21
US20230194306A1 (en) 2023-06-22
WO2021232470A1 (zh) 2021-11-25
EP4155669A1 (en) 2023-03-29

Similar Documents

Publication Publication Date Title
CN111561923B (zh) 基于多传感器融合的slam制图方法、系统
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
WO2021233029A1 (en) Simultaneous localization and mapping method, device, system and storage medium
CN109307508B (zh) 一种基于多关键帧的全景惯导slam方法
CN110033489B (zh) 一种车辆定位准确性的评估方法、装置及设备
CN112634451B (zh) 一种融合多传感器的室外大场景三维建图方法
CN111210463B (zh) 基于特征点辅助匹配的虚拟宽视角视觉里程计方法及系统
WO2021035669A1 (zh) 位姿预测方法、地图构建方法、可移动平台及存储介质
WO2019057179A1 (zh) 一种基于点线特征的视觉slam方法和装置
CN116222543B (zh) 用于机器人环境感知的多传感器融合地图构建方法及系统
CN112802096A (zh) 实时定位和建图的实现装置和方法
Zhang et al. Hand-held monocular SLAM based on line segments
CN113674412B (zh) 基于位姿融合优化的室内地图构建方法、系统及存储介质
CN115272596A (zh) 一种面向单调无纹理大场景的多传感器融合slam方法
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN113506342B (zh) 一种基于多相机全景视觉的slam全向回环校正方法
CN108827287B (zh) 一种复杂环境下的鲁棒视觉slam系统
CN112731503B (zh) 一种基于前端紧耦合的位姿估计方法及系统
CN116128966A (zh) 一种基于环境物体的语义定位方法
CN115930948A (zh) 一种果园机器人融合定位方法
CN112767482B (zh) 一种多传感器融合的室内外定位方法及系统
CN114842224A (zh) 一种基于地理底图的单目无人机绝对视觉匹配定位方案
CN114723811A (zh) 一种非结构化环境四足机器人立体视觉定位建图方法
Zhong et al. A factor graph optimization mapping based on normaldistributions transform
Hu et al. Efficient Visual-Inertial navigation with point-plane map

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 2301-2308, third floor, building 2, incubator, Zhongguancun Software Park, Dongbeiwang, Haidian District, Beijing 100094

Applicant after: Beijing Digital Green Earth Technology Co.,Ltd.

Address before: Room 2301-2308, third floor, building 2, incubator, Zhongguancun Software Park, Dongbeiwang, Haidian District, Beijing 100094

Applicant before: BEIJING GREENVALLEY TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant