CN110726409A - 一种基于激光slam和视觉slam地图融合方法 - Google Patents

一种基于激光slam和视觉slam地图融合方法 Download PDF

Info

Publication number
CN110726409A
CN110726409A CN201910865934.4A CN201910865934A CN110726409A CN 110726409 A CN110726409 A CN 110726409A CN 201910865934 A CN201910865934 A CN 201910865934A CN 110726409 A CN110726409 A CN 110726409A
Authority
CN
China
Prior art keywords
map
slam
grid
laser
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910865934.4A
Other languages
English (en)
Other versions
CN110726409B (zh
Inventor
李郑慧
王煜聪
孙玲玲
胡莉英
刘新宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Hangzhou Electronic Science and Technology University
Original Assignee
Hangzhou Electronic Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Electronic Science and Technology University filed Critical Hangzhou Electronic Science and Technology University
Priority to CN201910865934.4A priority Critical patent/CN110726409B/zh
Publication of CN110726409A publication Critical patent/CN110726409A/zh
Application granted granted Critical
Publication of CN110726409B publication Critical patent/CN110726409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提出了一种基于激光SLAM和视觉SLAM地图融合方法。本发明使用多种传感器采集数据，再进行原数据处理，之后将数据分别传入对应的SLAM算法，两种SLAM算法分别计算位姿与构建地图，将视觉SLAM构建完成的地图转换为2D栅格概率图，最后将两种2D栅格图通过栅格占用法则进行融合。本发明克服了单种SLAM具有的缺陷，使得融合后的地图更加精准，更加适用于导航。

Description

一种基于激光SLAM和视觉SLAM地图融合方法
技术领域
本发明属于图像融合方法，具体涉及一种基于激光SLAM和视觉SLAM地图融合方法。
背景技术
同时定位和地图创建(simultaneous localization and mapping，SLAM)是移动机器人在解决未知环境中的探索、侦查、导航等各项问题的基础和关键。机器人根据自身携带的传感器获取观测信息创建环境地图，同时根据部分已创建地图估计机器人的位姿。
多传感器数据融合已经运用于机器人的许多方面，如地图创建、定位、路径规划、探险。一旦创建了环境地图，分层架构的移动机器人将会应用定位、路径规划、避障和控制等模块完成相应的功能，实现机器人的完全自主化运动。
由于环境复杂，单纯只靠一种传感器利用SLAM建立的地图存在各自的缺陷。纯VSLAM存在建立地图精度低，传感器受光线影响等问题，但是语义信息丰富；纯激光SLAM存在缺少语义信息，且多线激光雷达价格昂贵等问题。
发明内容
本发明针对单种SLAM有诸多缺陷，提出了利用栅格占用规则将两种SLAM所建立的地图进行融合，使得地图更加精准，能够让机器人更加准确的定位与导航。
本发明技术方案实现如下：
步骤一，数据采集与读取
通过IMU采集机器人的加速度和角速度；机器人的双目摄像头进行左右图像采集，二维激光雷达360°采集距离值，编码器采集机器人的速度，工控机实时读取上述传感器的数据；
步骤二，数据处理
将每个编码器采集的脉冲值转换为每个轮子相对应的速度值，再经过运动解算算法计算机器人整体移动速度，并计算位移；将IMU采集的加速度进行积分，计算速度与位移，利用扩展卡尔曼滤波将上述两种传感器产生速度与位移进行融合，产生位姿。
步骤三，激光SLAM与视觉SLAM建图
将二维激光雷达数据和步骤二得到的机器人位姿信息传入激光SLAM，建立2D栅格图。将双目摄像头采集的图像信息和IMU采集的加速度及角速度传入视觉SLAM，产生三维稀疏点云图。
步骤四，视觉SLAM地图转换
将视觉SLAM产生的位姿与三维稀疏点云图转换为用跳表树表示的三维地图，再将其投影于一个平面，形成2D栅格图；
步骤五，地图融合
利用地图融合算法实时将激光SLAM产生的局部栅格图和视觉SLAM经过转换后的局部栅格图进行融合，产生局部融合地图，并实时存储，一直反复循环上述过程，形成全局融合地图；其中地图融合算法具体为：将激光SLAM产生的局部栅格图和视觉SLAM产生的局部栅格图的每个栅格都用0～1概率表示，设定激光SLAM产生的局部栅格图的阈值T1和视觉SLAM经过转换后的局部栅格图的阈值T2，之后将占有率与预先分别设定的阈值进行比较，若大于阈值则为占有，小于阈值则为空，保存显示时，1表示占据，0表示空，-1表示不确定；再将两种概率按照栅格占有规则进行判别，其中两者都为空时则判定为空，两者都不确定时判定为不确定，其余则判定为占有，进而产生局部融合地图。
本发明的有益效果
1)本发明克服了纯视觉SLAM存在建立地图精度低，传感器受光线影响，纯2D激光SLAM存在缺少语义信息等问题。实验表明有效提升了地图创建的观测区域、鲁棒性、容错性。
2)本发明所提出将两种SLAM相结合产生的地图，使得机器人在导航时，拥有更精准的定位以及更好的避障能力。
3)本发明针对两种SLAM都可以产生2D栅格图的特点，利用栅格占有规则将两种概率栅格地图进行融合，充分融合两种地图信息。
附图说明
图1为本发明的整体流程图；
图2为本发明中视觉SLAM的整体框图；
图3为本发明中激光SLAM的整体框图；
图4(A)为激光SLAM的2D栅格图；
图4(B)为视觉SLAM的三维稀疏点云图；
图4(C)为本发明的融合图像。
具体实施方式
如图1所示，本发明采用2D激光SLAM和视觉SLAM分别计算出机器人实时移动位姿并建立地图，再利用栅格占有规则进行融合。
步骤一，数据采集与读取
工控机通过USB接口实时读取IMU采集的加速度及角速度，双目摄像头采集的左右图像，二维激光雷达360°采集的距离值，编码器采集的机器人运动速度。
步骤二，数据处理
将所有传感器采集的数据转换到同一坐标系下，并进行时间戳的标注。利用线速度模型将每个编码器采集的脉冲值转换为每个轮子相对应的速度值，再经过运动解算算法计算机器人整体移动速度，并计算位移；将IMU采集的加速度进行积分，计算速度与位移，利用扩展卡尔曼滤波将上述两种传感器产生速度与位移进行融合，产生位姿。
步骤三，激光SLAM与视觉SLAM建图
将激光雷达数据、处理完的IMU数据和里程计数据传入激光SLAM，建立运动模型，再利用粒子滤波进行位姿估计及建立2D栅格图。将图像以20HZ和IMU数据以200HZ速度传入视觉SLAM，经过VIO前端视觉里程计位姿估计，计算出位姿；后端(Bundle Adjustment)将前端计算的位姿进行非线性优化；回环检测进行回环判别；最后将特征点建立三维稀疏点云图，如图2、图3所示；
步骤四，视觉SLAM地图转换
接收稀疏点云图的关键帧姿态和地图点，并利用图像数据对场景进行基于颜色的视觉分割，将其划分为地面和非地面区域，然后经过本地和全局计数器优化点云数据到栅格图中空闲单元的映射。通过斜率阈值算法确立障碍物，Canny边界检测算法消除边缘虚假障碍，形成2D栅格图，方便与激光SLAM所建立的地图进行融合。
步骤五，地图融合
利用栅格占有规则将两种概率栅格地图进行融合，由于激光SLAM精度较高，设定阈值为T＝0.5，视觉SLAM精度较低，设定阈值为T＝0.6。接收同坐标系下两种SLAM产生的概率地图，之后将占有率与预先分别设定的阈值进行比较，若大于阈值则为占有，小于阈值则为空。再将两种概率按照栅格占有规则进行判别，占有规则如表1所示。进而产生局部融合地图，并实时存储，一直反复循环上述过程，形成全局融合地图。最后结果如图4所示(A～C)。
Figure BDA0002201255100000041
表1。

Claims (1)

1.一种基于激光SLAM和视觉SLAM地图融合方法，其特征在于，该方法具体包括以下步骤：
步骤一，数据采集与读取
通过IMU采集机器人的加速度和角速度；机器人的双目摄像头进行左右图像采集，二维激光雷达360°采集距离值，编码器采集机器人的速度，工控机实时读取上述传感器的数据；
步骤二，数据处理
将每个编码器采集的脉冲值转换为每个轮子相对应的速度值，再经过运动解算算法计算机器人整体移动速度，并计算位移；将IMU采集的加速度进行积分，计算速度与位移，利用扩展卡尔曼滤波将上述两种传感器产生速度与位移进行融合，产生位姿；
步骤三，激光SLAM与视觉SLAM建图
将二维激光雷达数据和步骤二得到的机器人位姿信息传入激光SLAM，建立2D栅格图；将双目摄像头采集的图像信息和IMU采集的加速度及角速度传入视觉SLAM，产生三维稀疏点云图；
步骤四，视觉SLAM地图转换
将视觉SLAM产生的位姿与三维稀疏点云图转换为用跳表树表示的三维地图，再将其投影于一个平面，形成2D栅格图；
步骤五，地图融合
利用地图融合算法实时将激光SLAM产生的局部栅格图和视觉SLAM经过转换后的局部栅格图进行融合，产生局部融合地图，并实时存储，一直反复循环上述过程，形成全局融合地图；其中地图融合算法具体为：将激光SLAM产生的局部栅格图和视觉SLAM产生的局部栅格图的每个栅格都用0～1概率表示，设定激光SLAM产生的局部栅格图的阈值T1和视觉SLAM经过转换后的局部栅格图的阈值T2，之后将占有率与预先分别设定的阈值进行比较，若大于阈值则为占有，小于阈值则为空，保存显示时，1表示占据，0表示空，-1表示不确定；再将两种概率按照栅格占有规则进行判别，其中两者都为空时则判定为空，两者都不确定时判定为不确定，其余则判定为占有，进而产生局部融合地图。
CN201910865934.4A 2019-09-09 2019-09-09 一种基于激光slam和视觉slam地图融合方法 Active CN110726409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910865934.4A CN110726409B (zh) 2019-09-09 2019-09-09 一种基于激光slam和视觉slam地图融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910865934.4A CN110726409B (zh) 2019-09-09 2019-09-09 一种基于激光slam和视觉slam地图融合方法

Publications (2)

Publication Number Publication Date
CN110726409A true CN110726409A (zh) 2020-01-24
CN110726409B CN110726409B (zh) 2021-06-22

Family

ID=69218101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910865934.4A Active CN110726409B (zh) 2019-09-09 2019-09-09 一种基于激光slam和视觉slam地图融合方法

Country Status (1)

Country Link
CN (1) CN110726409B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111580130A (zh) * 2020-05-25 2020-08-25 中国计量大学 一种基于多传感器融合的建图方法
CN111664843A (zh) * 2020-05-22 2020-09-15 杭州电子科技大学 一种基于slam的智能仓储盘点方法
CN111735446A (zh) * 2020-07-09 2020-10-02 上海思岚科技有限公司 一种激光、视觉定位融合的方法及设备
CN112380312A (zh) * 2020-11-30 2021-02-19 重庆智行者信息科技有限公司 基于栅格检测的激光地图更新方法、终端及计算机设备
CN112462758A (zh) * 2020-11-06 2021-03-09 深圳市优必选科技股份有限公司 一种建图方法、装置、计算机可读存储介质及机器人
CN112762921A (zh) * 2020-12-24 2021-05-07 杭州电子科技大学 一种基于仿人记忆机制的机器人概率地图更新方法
CN113175925A (zh) * 2021-04-14 2021-07-27 武汉理工大学 定位与导航系统以及方法
CN113219492A (zh) * 2021-03-30 2021-08-06 苏州市卫航智能技术有限公司 一种河道船舶行驶定位导航的方法及系统
CN113405547A (zh) * 2021-05-21 2021-09-17 杭州电子科技大学 一种基于语义vslam的无人机导航方法
WO2021208015A1 (zh) * 2020-04-16 2021-10-21 珊口（上海）智能科技有限公司 构建地图及定位方法、客户端、移动机器人及存储介质
CN114018248A (zh) * 2021-10-29 2022-02-08 同济大学 一种融合码盘和激光雷达的里程计方法与建图方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230294671A1 (en) * 2022-03-21 2023-09-21 Volvo Car Corporation Fast sensor fusion for free space detection

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080009966A1 (en) * 2006-07-05 2008-01-10 Battelle Energy Alliance, Llc Occupancy Change Detection System and Method
CN107246876A (zh) * 2017-07-31 2017-10-13 中北智杰科技（北京）有限公司 一种无人驾驶汽车自主定位与地图构建的方法及系统
CN107316308A (zh) * 2017-06-27 2017-11-03 苏州大学 一种基于改进的多路谱聚类算法的清洁机器人地图分割方法
CN109283538A (zh) * 2018-07-13 2019-01-29 上海大学 一种基于视觉和激光传感器数据融合的海上目标大小检测方法
CN109341706A (zh) * 2018-10-17 2019-02-15 张亮 一种面向无人驾驶汽车的多特征融合地图的制作方法
CN109752725A (zh) * 2019-01-14 2019-05-14 天合光能股份有限公司 一种低速商用机器人、定位导航方法及定位导航系统
CN109765901A (zh) * 2019-02-18 2019-05-17 华南理工大学 基于线激光与双目视觉的动态代价地图导航方法
CN109798909A (zh) * 2019-02-01 2019-05-24 安徽达特智能科技有限公司 一种全局路径规划的方法
CN109857123A (zh) * 2019-03-21 2019-06-07 郑州大学 一种基于视觉感知和激光探测的室内slam地图的融合方法
CN110174107A (zh) * 2019-04-30 2019-08-27 厦门大学 一种导览机器人定位建图激光视觉融合方法和机器人
CN110320912A (zh) * 2019-07-10 2019-10-11 苏州欧博智慧机器人有限公司 激光与视觉slam融合的agv定位导航装置及方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080009966A1 (en) * 2006-07-05 2008-01-10 Battelle Energy Alliance, Llc Occupancy Change Detection System and Method
CN107316308A (zh) * 2017-06-27 2017-11-03 苏州大学 一种基于改进的多路谱聚类算法的清洁机器人地图分割方法
CN107246876A (zh) * 2017-07-31 2017-10-13 中北智杰科技（北京）有限公司 一种无人驾驶汽车自主定位与地图构建的方法及系统
CN109283538A (zh) * 2018-07-13 2019-01-29 上海大学 一种基于视觉和激光传感器数据融合的海上目标大小检测方法
CN109341706A (zh) * 2018-10-17 2019-02-15 张亮 一种面向无人驾驶汽车的多特征融合地图的制作方法
CN109752725A (zh) * 2019-01-14 2019-05-14 天合光能股份有限公司 一种低速商用机器人、定位导航方法及定位导航系统
CN109798909A (zh) * 2019-02-01 2019-05-24 安徽达特智能科技有限公司 一种全局路径规划的方法
CN109765901A (zh) * 2019-02-18 2019-05-17 华南理工大学 基于线激光与双目视觉的动态代价地图导航方法
CN109857123A (zh) * 2019-03-21 2019-06-07 郑州大学 一种基于视觉感知和激光探测的室内slam地图的融合方法
CN110174107A (zh) * 2019-04-30 2019-08-27 厦门大学 一种导览机器人定位建图激光视觉融合方法和机器人
CN110320912A (zh) * 2019-07-10 2019-10-11 苏州欧博智慧机器人有限公司 激光与视觉slam融合的agv定位导航装置及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
任明宇等: "融合激光和视觉信息的机器人SLAM方法研究", 《电子测量技术》 *
张杰等: "一种改进ICP算法的移动机器人激光与视觉建图方法研究", 《机电工程》 *
马争光等: "激光和视觉融合SLAM方法研究综述", 《计算机测量与控制》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021208015A1 (zh) * 2020-04-16 2021-10-21 珊口（上海）智能科技有限公司 构建地图及定位方法、客户端、移动机器人及存储介质
CN111664843A (zh) * 2020-05-22 2020-09-15 杭州电子科技大学 一种基于slam的智能仓储盘点方法
CN111580130A (zh) * 2020-05-25 2020-08-25 中国计量大学 一种基于多传感器融合的建图方法
CN111735446A (zh) * 2020-07-09 2020-10-02 上海思岚科技有限公司 一种激光、视觉定位融合的方法及设备
CN111735446B (zh) * 2020-07-09 2020-11-13 上海思岚科技有限公司 一种激光、视觉定位融合的方法及设备
CN112462758B (zh) * 2020-11-06 2022-05-06 深圳市优必选科技股份有限公司 一种建图方法、装置、计算机可读存储介质及机器人
CN112462758A (zh) * 2020-11-06 2021-03-09 深圳市优必选科技股份有限公司 一种建图方法、装置、计算机可读存储介质及机器人
CN112380312A (zh) * 2020-11-30 2021-02-19 重庆智行者信息科技有限公司 基于栅格检测的激光地图更新方法、终端及计算机设备
CN112380312B (zh) * 2020-11-30 2022-08-05 北京智行者科技股份有限公司 基于栅格检测的激光地图更新方法、终端及计算机设备
CN112762921A (zh) * 2020-12-24 2021-05-07 杭州电子科技大学 一种基于仿人记忆机制的机器人概率地图更新方法
CN112762921B (zh) * 2020-12-24 2022-05-20 杭州电子科技大学 一种基于仿人记忆机制的机器人概率地图更新方法
CN113219492A (zh) * 2021-03-30 2021-08-06 苏州市卫航智能技术有限公司 一种河道船舶行驶定位导航的方法及系统
CN113175925A (zh) * 2021-04-14 2021-07-27 武汉理工大学 定位与导航系统以及方法
CN113405547B (zh) * 2021-05-21 2022-03-22 杭州电子科技大学 一种基于语义vslam的无人机导航方法
CN113405547A (zh) * 2021-05-21 2021-09-17 杭州电子科技大学 一种基于语义vslam的无人机导航方法
CN114018248A (zh) * 2021-10-29 2022-02-08 同济大学 一种融合码盘和激光雷达的里程计方法与建图方法
CN114018248B (zh) * 2021-10-29 2023-08-04 同济大学 一种融合码盘和激光雷达的里程计方法与建图方法

Also Published As

Publication number Publication date
CN110726409B (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN110726409B (zh) 一种基于激光slam和视觉slam地图融合方法
CN112785702B (zh) 一种基于2d激光雷达和双目相机紧耦合的slam方法
CN112634451B (zh) 一种融合多传感器的室外大场景三维建图方法
CN113450408B (zh) 一种基于深度相机的非规则物体位姿估计方法及装置
CN112197770B (zh) 一种机器人的定位方法及其定位装置
Pfeiffer et al. Modeling dynamic 3D environments by means of the stixel world
CN111664843A (zh) 一种基于slam的智能仓储盘点方法
KR101711964B1 (ko) 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템
CN115240047A (zh) 一种融合视觉回环检测的激光slam方法及系统
Lategahn et al. Occupancy grid computation from dense stereo and sparse structure and motion points for automotive applications
Pantilie et al. Real-time obstacle detection using dense stereo vision and dense optical flow
CN112907625B (zh) 应用于四足仿生机器人的目标跟随方法及系统
WO2022062480A1 (zh) 移动设备的定位方法和定位装置
CN110751123A (zh) 一种单目视觉惯性里程计系统及方法
Valente et al. Evidential SLAM fusing 2D laser scanner and stereo camera
CN116698014A (zh) 一种基于多机器人激光slam和视觉slam地图融合与拼接方法
CN116817891A (zh) 一种实时多模态感知的高精地图构建方法
Wang et al. Micro aerial vehicle navigation with visual-inertial integration aided by structured light
Lim et al. MSDPN: Monocular depth prediction with partial laser observation using multi-stage neural networks
Azri et al. Visual analytics of 3D LiDAR point clouds in robotics operating systems
Madake et al. Visualization of 3D Point Clouds for Vehicle Detection Based on LiDAR and Camera Fusion
Ross et al. Uncertainty estimation for stereo visual odometry
Orlov et al. Machine vision system for autonomous agricultural vehicle
CN112766100A (zh) 一种基于关键点的3d目标检测方法
Sun et al. Detection and state estimation of moving objects on a moving base for indoor navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant