CN110174107A - 一种导览机器人定位建图激光视觉融合方法和机器人 - Google Patents

一种导览机器人定位建图激光视觉融合方法和机器人 Download PDF

Info

Publication number
CN110174107A
CN110174107A CN201910358130.5A CN201910358130A CN110174107A CN 110174107 A CN110174107 A CN 110174107A CN 201910358130 A CN201910358130 A CN 201910358130A CN 110174107 A CN110174107 A CN 110174107A
Authority
CN
China
Prior art keywords
laser
vision
slam
robot
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910358130.5A
Other languages
English (en)
Other versions
CN110174107B (zh
Inventor
姚俊峰
王兴远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201910358130.5A priority Critical patent/CN110174107B/zh
Publication of CN110174107A publication Critical patent/CN110174107A/zh
Application granted granted Critical
Publication of CN110174107B publication Critical patent/CN110174107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供一种导览机器人定位建图激光视觉融合方法和机器人，该方法包括：(1)导览机器人利用视觉SLAM开始构建环境地图并对目标进行定位跟踪；(2)进行视觉跟踪判断，如果失败，则执行步骤(3)，如果成功，则执行步骤(4)；(3)使用激光位姿建立地图，并重新进行初始化，如果重新初始化成功则执行步骤(1)，如果重新初始化失败则重复执行步骤(3)，直到重新初始化成功为止；(4)如果视觉跟踪成功，则另外使用激光SLAM进行激光定位，并将视觉定位结果与激光定位结果进行EKF融合，然后使用视觉位姿建立地图，导览机器人构建地图成功。本发明可以提高激光SLAM定位制图的精确性。

Description

一种导览机器人定位建图激光视觉融合方法和机器人
技术领域
本申请涉及机器人技术领域，尤其涉及一种导览机器人定位建图激光视觉融合方法和机器人。
背景技术
目前单个传感器已经不能满足现今对机器人定位的精度、鲁棒性的要求。传感器的噪声、漂移非常容易对定位造成越来越大的干扰，并且传感器面对特定情况下才能令性能得到有效发挥。在定位中常用的GPS在室内导航中由于环境复杂，容易被遮挡，造成了信号强度不够，定位精度受限；视觉方法受环境图像特征复杂性的影响，在特征不够明显，或存在大量纹理的情况下，容易造成失败；激光SLAM在点云特征不明显的长走廊情况下，同样容易匹配失败。
发明内容
鉴于现有技术中的上述缺陷或不足，提供一种导览机器人定位建图激光视觉融合方法、机器人和存储介质。利用视觉算法信息丰富、匹配准确等优点来弥补激光算法在这方面的不足，从而提高激光SLAM定位制图的精确性。
第一方面，本申请实施例提供了一种导览机器人定位建图激光视觉融合方法，其特征在于，该方法包括：
(1)导览机器人利用视觉SLAM开始构建环境地图并对目标进行定位跟踪；
(2)进行视觉跟踪判断，如果失败，则执行步骤(3)，如果成功，则执行步骤(4)；
(3)使用激光位姿建立地图，并重新进行初始化，如果重新初始化成功则执行步骤(1)，如果重新初始化失败则重复执行步骤(3)，直到重新初始化成功为止；
(4)如果视觉跟踪成功，则另外使用激光SLAM进行激光定位，并将视觉定位结果与激光定位结果进行EKF融合，然后使用视觉位姿建立地图，导览机器人构建地图成功。
第二方面，本申请实施例提供了一种机器人，其特征在于，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请实施例描述的方法。
第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如本申请实施例描述的方法。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出了本申请实施例提供的导览机器人路径规划方法的流程示意图；
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1，图1示出了本申请实施例提供的导览机器人定位建图激光视觉融合方法的流程示意图。
如图1所示，该方法包括：
(1)导览机器人利用视觉SLAM开始构建环境地图并对目标进行定位跟踪；
(2)进行视觉跟踪判断，如果失败，则执行步骤(3)，如果成功，则执行步骤(4)；
(3)使用激光位姿建立地图，并重新进行初始化，如果重新初始化成功则执行步骤(1)，如果重新初始化失败则重复执行步骤(3)，直到重新初始化成功为止；
(4)如果视觉跟踪成功，则另外使用激光SLAM进行激光定位，并将视觉定位结果与激光定位结果进行EKF融合，然后使用视觉位姿建立地图，导览机器人构建地图成功。
具体的，将视觉定位结果与激光定位结果进行EKF融合具体包括：当视觉SLAM与激光SLAM同时定位成功时，系统同时输出两个位姿，对二者位姿结果进行EKF融合。
具体的，步骤(3)的具体包括：当视觉跟踪不成功时，采用激光的定位结果拼接深度相机的点云数据，获取三维地图，同时，继续在后续帧进行特征探测和匹配，重新初始化视觉SLAM中的地图点，若成功，则继续采用融合模式，否则一直使用激光的定位结果建立三维地图。
具体的，定位建图激光视觉融合时消除累积误差的方法是在激光SLAM框架中加入一个通过视觉判断的闭环信号，首先通过视觉判断出闭环，当视觉判断出闭环后，系统就给激光SLAM部分的闭环检测部分发出一个闭环信号，当机器人收到这个闭环信号后，就开始进行激光SLAM的闭环检测。
作为另一方面，本申请还提供了一种机器人，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请实施例描述的方法。
作为另一方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现本申请实施例描述的方法。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(ProgrammableGate Array；以下简称：PGA)，现场可编程门阵列(Field ProgrammableGate Array；以下简称：FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种导览机器人定位建图激光视觉融合方法，应用于导览机器人，其特征在于，所述方法包括：
(1)导览机器人利用视觉SLAM开始构建环境地图并对目标进行定位跟踪；
(2)进行视觉跟踪判断，如果失败，则执行步骤(3)，如果成功，则执行步骤(4)；
(3)使用激光位姿建立地图，并重新进行初始化，如果重新初始化成功则执行步骤(1)，如果重新初始化失败则重复执行步骤(3)，直到重新初始化成功为止；
(4)如果视觉跟踪成功，则另外使用激光SLAM进行激光定位，并将视觉定位结果与激光定位结果进行EKF融合，然后使用视觉位姿建立地图，导览机器人构建地图成功。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：将视觉定位结果与激光定位结果进行EKF融合具体包括：当视觉SLAM与激光SLAM同时定位成功时，系统同时输出两个位姿，对二者位姿结果进行EKF融合。
3.如权利要求1所述的方法，其特征在于，步骤(3)的具体包括：当视觉跟踪不成功时，采用激光的定位结果拼接深度相机的点云数据，获取三维地图，同时，继续在后续帧进行特征探测和匹配，重新初始化视觉SLAM中的地图点，若成功，则继续采用融合模式，否则一直使用激光的定位结果建立三维地图。
4.如权利要求1所述的方法，其特征在于，所述方法还包括：定位建图激光视觉融合时消除累积误差的方法是在激光SLAM框架中加入一个通过视觉判断的闭环信号，首先通过视觉判断出闭环，当视觉判断出闭环后，系统就给激光SLAM部分的闭环检测部分发出一个闭环信号，当机器人收到这个闭环信号后，就开始进行激光SLAM的闭环检测。
5.一种机器人，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-4中任一所述的方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中任一所述的方法。
CN201910358130.5A 2019-04-30 2019-04-30 一种导览机器人定位建图激光视觉融合方法和机器人 Active CN110174107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910358130.5A CN110174107B (zh) 2019-04-30 2019-04-30 一种导览机器人定位建图激光视觉融合方法和机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910358130.5A CN110174107B (zh) 2019-04-30 2019-04-30 一种导览机器人定位建图激光视觉融合方法和机器人

Publications (2)

Publication Number Publication Date
CN110174107A true CN110174107A (zh) 2019-08-27
CN110174107B CN110174107B (zh) 2021-07-27

Family

ID=67690327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910358130.5A Active CN110174107B (zh) 2019-04-30 2019-04-30 一种导览机器人定位建图激光视觉融合方法和机器人

Country Status (1)

Country Link
CN (1) CN110174107B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110726409A (zh) * 2019-09-09 2020-01-24 杭州电子科技大学 一种基于激光slam和视觉slam地图融合方法
CN111006676A (zh) * 2019-11-14 2020-04-14 广东博智林机器人有限公司 地图构建方法、装置及系统
CN111220148A (zh) * 2020-01-21 2020-06-02 珊口（深圳）智能科技有限公司 移动机器人的定位方法、系统、装置及移动机器人
CN111656138A (zh) * 2020-04-16 2020-09-11 珊口（上海）智能科技有限公司 构建地图及定位方法、客户端、移动机器人及存储介质
CN112652073A (zh) * 2020-12-31 2021-04-13 中国电子科技集团公司信息科学研究院 一种基于云网端机器人的自主导览方法及系统
CN112712107A (zh) * 2020-12-10 2021-04-27 浙江大学 一种基于优化的视觉和激光slam融合定位方法
CN112985416A (zh) * 2021-04-19 2021-06-18 湖南大学 激光与视觉信息融合的鲁棒定位和建图方法及系统
CN117506884A (zh) * 2023-01-06 2024-02-06 奇勃(深圳)科技有限公司 机器人的视觉识别定位方法、装置、设备及存储介质
WO2024037299A1 (zh) * 2022-08-17 2024-02-22 深圳市普渡科技有限公司 定位方法、装置、机器人和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045263A (zh) * 2015-07-06 2015-11-11 杭州南江机器人股份有限公司 一种基于Kinect的机器人自定位方法
CN106153048A (zh) * 2016-08-11 2016-11-23 广东技术师范学院 一种基于多传感器的机器人室内定位及制图系统
CN106272423A (zh) * 2016-08-31 2017-01-04 哈尔滨工业大学深圳研究生院 一种针对大尺度环境的多机器人协同制图与定位的方法
CN106885574A (zh) * 2017-02-15 2017-06-23 北京大学深圳研究生院 一种基于重跟踪策略的单目视觉机器人同步定位与地图构建方法
CN107422730A (zh) * 2017-06-09 2017-12-01 武汉市众向科技有限公司 基于视觉导引的agv运输系统及其驾驶控制方法
WO2017222558A1 (en) * 2016-06-24 2017-12-28 Isee, Inc. Laser-enhanced visual simultaneous localization and mapping (slam) for mobile devices
CN108319976A (zh) * 2018-01-25 2018-07-24 北京三快在线科技有限公司 建图方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045263A (zh) * 2015-07-06 2015-11-11 杭州南江机器人股份有限公司 一种基于Kinect的机器人自定位方法
WO2017222558A1 (en) * 2016-06-24 2017-12-28 Isee, Inc. Laser-enhanced visual simultaneous localization and mapping (slam) for mobile devices
CN106153048A (zh) * 2016-08-11 2016-11-23 广东技术师范学院 一种基于多传感器的机器人室内定位及制图系统
CN106272423A (zh) * 2016-08-31 2017-01-04 哈尔滨工业大学深圳研究生院 一种针对大尺度环境的多机器人协同制图与定位的方法
CN106885574A (zh) * 2017-02-15 2017-06-23 北京大学深圳研究生院 一种基于重跟踪策略的单目视觉机器人同步定位与地图构建方法
CN107422730A (zh) * 2017-06-09 2017-12-01 武汉市众向科技有限公司 基于视觉导引的agv运输系统及其驾驶控制方法
CN108319976A (zh) * 2018-01-25 2018-07-24 北京三快在线科技有限公司 建图方法及装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110726409B (zh) * 2019-09-09 2021-06-22 杭州电子科技大学 一种基于激光slam和视觉slam地图融合方法
CN110726409A (zh) * 2019-09-09 2020-01-24 杭州电子科技大学 一种基于激光slam和视觉slam地图融合方法
CN111006676A (zh) * 2019-11-14 2020-04-14 广东博智林机器人有限公司 地图构建方法、装置及系统
CN111006676B (zh) * 2019-11-14 2021-08-31 广东博智林机器人有限公司 地图构建方法、装置及系统
CN111220148A (zh) * 2020-01-21 2020-06-02 珊口（深圳）智能科技有限公司 移动机器人的定位方法、系统、装置及移动机器人
CN111656138A (zh) * 2020-04-16 2020-09-11 珊口（上海）智能科技有限公司 构建地图及定位方法、客户端、移动机器人及存储介质
WO2021208015A1 (zh) * 2020-04-16 2021-10-21 珊口（上海）智能科技有限公司 构建地图及定位方法、客户端、移动机器人及存储介质
CN112712107A (zh) * 2020-12-10 2021-04-27 浙江大学 一种基于优化的视觉和激光slam融合定位方法
CN112712107B (zh) * 2020-12-10 2022-06-28 浙江大学 一种基于优化的视觉和激光slam融合定位方法
CN112652073A (zh) * 2020-12-31 2021-04-13 中国电子科技集团公司信息科学研究院 一种基于云网端机器人的自主导览方法及系统
CN112985416A (zh) * 2021-04-19 2021-06-18 湖南大学 激光与视觉信息融合的鲁棒定位和建图方法及系统
CN112985416B (zh) * 2021-04-19 2021-07-30 湖南大学 激光与视觉信息融合的鲁棒定位和建图方法及系统
WO2024037299A1 (zh) * 2022-08-17 2024-02-22 深圳市普渡科技有限公司 定位方法、装置、机器人和存储介质
CN117506884A (zh) * 2023-01-06 2024-02-06 奇勃(深圳)科技有限公司 机器人的视觉识别定位方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110174107B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN110174107A (zh) 一种导览机器人定位建图激光视觉融合方法和机器人
Cvišić et al. SOFT‐SLAM: Computationally efficient stereo visual simultaneous localization and mapping for autonomous unmanned aerial vehicles
Tovar et al. Distance-optimal navigation in an unknown environment without sensing distances
Murray et al. Using real-time stereo vision for mobile robot navigation
US9243916B2 (en) Observability-constrained vision-aided inertial navigation
EP3159125A1 (en) Device for recognizing position of mobile robot by using direct tracking, and method therefor
EP3159121A1 (en) Device for updating map of mobile robot and method therefor
EP3159122A1 (en) Device and method for recognizing location of mobile robot by means of search-based correlation matching
US20200184727A1 (en) Localization method and apparatus based on 3d color map
CN109974721A (zh) 一种基于高精度地图的视觉回环检测方法和装置
Schwertfeger et al. Map evaluation using matched topology graphs
CN111060946A (zh) 用于估计位置的方法和装置
Ramanagopal et al. A motion planning strategy for the active vision-based mapping of ground-level structures
Jones et al. Inertial structure from motion with autocalibration
EP4258078A1 (en) Positioning method and apparatus, and vehicle
Chen et al. Perception system design for low-cost commercial ground robots: Sensor configurations, calibration, localization and mapping
Do et al. Autonomous flights through image-defined paths
Andersson et al. Simultaneous localization and mapping for vehicles using ORB-SLAM2
Muravyev et al. Evaluation of topological mapping methods in indoor environments
Santos et al. Unsupervised Change Detection for Space Habitats Using 3D Point Clouds
Clipp et al. Adaptive, real-time visual simultaneous localization and mapping
Duan Visual smart navigation for UAV mission-oriented flight
Abdulov et al. Problems solved during AEROBOT-2021 UAV challenge
Mata Persistent autonomous exploration, mapping and localization
Yang Metric semantic inspection and mapping for concrete infrastructure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant