CN110174107B - 一种导览机器人定位建图激光视觉融合方法和机器人 - Google Patents

一种导览机器人定位建图激光视觉融合方法和机器人 Download PDF

Info

Publication number
CN110174107B
CN110174107B CN201910358130.5A CN201910358130A CN110174107B CN 110174107 B CN110174107 B CN 110174107B CN 201910358130 A CN201910358130 A CN 201910358130A CN 110174107 B CN110174107 B CN 110174107B
Authority
CN
China
Prior art keywords
laser
visual
slam
map
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910358130.5A
Other languages
English (en)
Other versions
CN110174107A (zh
Inventor
姚俊峰
王兴远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201910358130.5A priority Critical patent/CN110174107B/zh
Publication of CN110174107A publication Critical patent/CN110174107A/zh
Application granted granted Critical
Publication of CN110174107B publication Critical patent/CN110174107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供一种导览机器人定位建图激光视觉融合方法和机器人，该方法包括：(1)导览机器人利用视觉SLAM开始构建环境地图并对目标进行定位跟踪；(2)进行视觉跟踪判断，如果失败，则执行步骤(3)，如果成功，则执行步骤(4)；(3)使用激光位姿建立地图，并重新进行初始化，如果重新初始化成功则执行步骤(1)，如果重新初始化失败则重复执行步骤(3)，直到重新初始化成功为止；(4)如果视觉跟踪成功，则另外使用激光SLAM进行激光定位，并将视觉定位结果与激光定位结果进行EKF融合，然后使用视觉位姿建立地图，导览机器人构建地图成功。本发明可以提高激光SLAM定位制图的精确性。

Description

一种导览机器人定位建图激光视觉融合方法和机器人
技术领域
本申请涉及机器人技术领域，尤其涉及一种导览机器人定位建图激光视觉融合方法和机器人。
背景技术
目前单个传感器已经不能满足现今对机器人定位的精度、鲁棒性的要求。传感器的噪声、漂移非常容易对定位造成越来越大的干扰，并且传感器面对特定情况下才能令性能得到有效发挥。在定位中常用的GPS在室内导航中由于环境复杂，容易被遮挡，造成了信号强度不够，定位精度受限；视觉方法受环境图像特征复杂性的影响，在特征不够明显，或存在大量纹理的情况下，容易造成失败；激光SLAM在点云特征不明显的长走廊情况下，同样容易匹配失败。
发明内容
鉴于现有技术中的上述缺陷或不足，提供一种导览机器人定位建图激光视觉融合方法、机器人和存储介质。利用视觉算法信息丰富、匹配准确等优点来弥补激光算法在这方面的不足，从而提高激光SLAM定位制图的精确性。
第一方面，本申请实施例提供了一种导览机器人定位建图激光视觉融合方法，其特征在于，该方法包括：
(1)导览机器人利用视觉SLAM开始构建环境地图并对目标进行定位跟踪；
(2)进行视觉跟踪判断，如果失败，则执行步骤(3)，如果成功，则执行步骤(4)；
(3)使用激光位姿建立地图，并重新进行初始化，如果重新初始化成功则执行步骤(1)，如果重新初始化失败则重复执行步骤(3)，直到重新初始化成功为止；
(4)如果视觉跟踪成功，则另外使用激光SLAM进行激光定位，并将视觉定位结果与激光定位结果进行EKF融合，然后使用视觉位姿建立地图，导览机器人构建地图成功。
第二方面，本申请实施例提供了一种机器人，其特征在于，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请实施例描述的方法。
第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如本申请实施例描述的方法。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出了本申请实施例提供的导览机器人路径规划方法的流程示意图；
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1，图1示出了本申请实施例提供的导览机器人定位建图激光视觉融合方法的流程示意图。
如图1所示，该方法包括：
(1)导览机器人利用视觉SLAM开始构建环境地图并对目标进行定位跟踪；
(2)进行视觉跟踪判断，如果失败，则执行步骤(3)，如果成功，则执行步骤(4)；
(3)使用激光位姿建立地图，并重新进行初始化，如果重新初始化成功则执行步骤(1)，如果重新初始化失败则重复执行步骤(3)，直到重新初始化成功为止；
(4)如果视觉跟踪成功，则另外使用激光SLAM进行激光定位，并将视觉定位结果与激光定位结果进行EKF融合，然后使用视觉位姿建立地图，导览机器人构建地图成功。
具体的，将视觉定位结果与激光定位结果进行EKF融合具体包括：当视觉SLAM与激光SLAM同时定位成功时，系统同时输出两个位姿，对二者位姿结果进行EKF融合。
具体的，步骤(3)的具体包括：当视觉跟踪不成功时，采用激光的定位结果拼接深度相机的点云数据，获取三维地图，同时，继续在后续帧进行特征探测和匹配，重新初始化视觉SLAM中的地图点，若成功，则继续采用融合模式，否则一直使用激光的定位结果建立三维地图。
具体的，定位建图激光视觉融合时消除累积误差的方法是在激光SLAM框架中加入一个通过视觉判断的闭环信号，首先通过视觉判断出闭环，当视觉判断出闭环后，系统就给激光SLAM部分的闭环检测部分发出一个闭环信号，当机器人收到这个闭环信号后，就开始进行激光SLAM的闭环检测。
作为另一方面，本申请还提供了一种机器人，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请实施例描述的方法。
作为另一方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现本申请实施例描述的方法。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(ProgrammableGate Array；以下简称：PGA)，现场可编程门阵列(Field ProgrammableGate Array；以下简称：FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (3)

1.一种导览机器人定位建图激光视觉融合方法，应用于导览机器人，其特征在于，所述方法包括：
(1)导览机器人利用视觉SLAM开始构建环境地图并对目标进行定位跟踪；
(2)进行视觉跟踪判断，如果失败，则执行步骤(3)，如果成功，则执行步骤(4)；
(3)使用激光位姿建立地图，并重新进行初始化，如果重新初始化成功则执行步骤(1)，如果重新初始化失败则重复执行步骤(3)，直到重新初始化成功为止；
(4)如果视觉跟踪成功，则另外使用激光SLAM进行激光定位，并将视觉定位结果与激光定位结果进行EKF融合，然后使用视觉位姿建立地图，导览机器人构建地图成功；
其中，将视觉定位结果与激光定位结果进行EKF融合具体包括：当视觉SLAM与激光SLAM同时定位成功时，系统同时输出两个位姿，对二者位姿结果进行EKF融合；
其中，步骤(3)的具体包括：当视觉跟踪不成功时，采用激光的定位结果拼接深度相机的点云数据，获取三维地图，同时，继续在后续帧进行特征探测和匹配，重新初始化视觉SLAM中的地图点，若成功，则继续采用融合模式，否则一直使用激光的定位结果建立三维地图；
进一步还包括：定位建图激光视觉融合时消除累积误差的方法是在激光SLAM框架中加入一个通过视觉判断的闭环信号，首先通过视觉判断出闭环，当视觉判断出闭环后，系统就给激光SLAM部分的闭环检测部分发出一个闭环信号，当机器人收到这个闭环信号后，就开始进行激光SLAM的闭环检测。
2.一种机器人，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现权利要求1所述的方法。
3.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1所述的方法。
CN201910358130.5A 2019-04-30 2019-04-30 一种导览机器人定位建图激光视觉融合方法和机器人 Active CN110174107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910358130.5A CN110174107B (zh) 2019-04-30 2019-04-30 一种导览机器人定位建图激光视觉融合方法和机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910358130.5A CN110174107B (zh) 2019-04-30 2019-04-30 一种导览机器人定位建图激光视觉融合方法和机器人

Publications (2)

Publication Number Publication Date
CN110174107A CN110174107A (zh) 2019-08-27
CN110174107B true CN110174107B (zh) 2021-07-27

Family

ID=67690327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910358130.5A Active CN110174107B (zh) 2019-04-30 2019-04-30 一种导览机器人定位建图激光视觉融合方法和机器人

Country Status (1)

Country Link
CN (1) CN110174107B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110726409B (zh) * 2019-09-09 2021-06-22 杭州电子科技大学 一种基于激光slam和视觉slam地图融合方法
CN111006676B (zh) * 2019-11-14 2021-08-31 广东博智林机器人有限公司 地图构建方法、装置及系统
CN111220148A (zh) * 2020-01-21 2020-06-02 珊口（深圳）智能科技有限公司 移动机器人的定位方法、系统、装置及移动机器人
WO2021208015A1 (zh) * 2020-04-16 2021-10-21 珊口（上海）智能科技有限公司 构建地图及定位方法、客户端、移动机器人及存储介质
CN112712107B (zh) * 2020-12-10 2022-06-28 浙江大学 一种基于优化的视觉和激光slam融合定位方法
CN112652073A (zh) * 2020-12-31 2021-04-13 中国电子科技集团公司信息科学研究院 一种基于云网端机器人的自主导览方法及系统
CN112985416B (zh) * 2021-04-19 2021-07-30 湖南大学 激光与视觉信息融合的鲁棒定位和建图方法及系统
CN115267796B (zh) * 2022-08-17 2024-04-09 深圳市普渡科技有限公司 定位方法、装置、机器人和存储介质
CN117506884B (zh) * 2023-01-06 2024-08-30 奇勃(深圳)科技有限公司 机器人的视觉识别定位方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045263A (zh) * 2015-07-06 2015-11-11 杭州南江机器人股份有限公司 一种基于Kinect的机器人自定位方法
CN106153048A (zh) * 2016-08-11 2016-11-23 广东技术师范学院 一种基于多传感器的机器人室内定位及制图系统
CN106272423A (zh) * 2016-08-31 2017-01-04 哈尔滨工业大学深圳研究生院 一种针对大尺度环境的多机器人协同制图与定位的方法
CN106885574A (zh) * 2017-02-15 2017-06-23 北京大学深圳研究生院 一种基于重跟踪策略的单目视觉机器人同步定位与地图构建方法
CN107422730A (zh) * 2017-06-09 2017-12-01 武汉市众向科技有限公司 基于视觉导引的agv运输系统及其驾驶控制方法
WO2017222558A1 (en) * 2016-06-24 2017-12-28 Isee, Inc. Laser-enhanced visual simultaneous localization and mapping (slam) for mobile devices

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108319976B (zh) * 2018-01-25 2019-06-07 北京三快在线科技有限公司 建图方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045263A (zh) * 2015-07-06 2015-11-11 杭州南江机器人股份有限公司 一种基于Kinect的机器人自定位方法
WO2017222558A1 (en) * 2016-06-24 2017-12-28 Isee, Inc. Laser-enhanced visual simultaneous localization and mapping (slam) for mobile devices
CN106153048A (zh) * 2016-08-11 2016-11-23 广东技术师范学院 一种基于多传感器的机器人室内定位及制图系统
CN106272423A (zh) * 2016-08-31 2017-01-04 哈尔滨工业大学深圳研究生院 一种针对大尺度环境的多机器人协同制图与定位的方法
CN106885574A (zh) * 2017-02-15 2017-06-23 北京大学深圳研究生院 一种基于重跟踪策略的单目视觉机器人同步定位与地图构建方法
CN107422730A (zh) * 2017-06-09 2017-12-01 武汉市众向科技有限公司 基于视觉导引的agv运输系统及其驾驶控制方法

Also Published As

Publication number Publication date
CN110174107A (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN110174107B (zh) 一种导览机器人定位建图激光视觉融合方法和机器人
US12031837B2 (en) Method and device for updating map
US20210190513A1 (en) Navigation map updating method and apparatus and robot using the same
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
CN112230242B (zh) 位姿估计系统和方法
JP4352034B2 (ja) 物体位置検出装置、地図作成装置、自律移動装置、物体位置検出方法および物体位置検出プログラム
CN111638526B (zh) 一种陌生环境下机器人自主建图的方法
CN110900602B (zh) 一种定位恢复方法、装置、机器人及存储介质
US11173893B2 (en) Method and system for detecting and compensating for mechanical fault in autonomous ground vehicle
JP5776332B2 (ja) 地図処理方法及びプログラム、並びにロボットシステム
KR20180076815A (ko) Qr 마커와 레이저 스캐너를 이용하여 광범위 실내 공간에서 로봇의 위치를 인식하기 위한 방법 및 장치
CN111209978A (zh) 三维视觉重定位方法、装置及计算设备、存储介质
CN114236564B (zh) 动态环境下机器人定位的方法、机器人、装置及存储介质
WO2024001649A1 (zh) 机器人定位方法、装置和计算可读存储介质
CN113534805A (zh) 机器人回充控制方法、装置和存储介质
CN115962773A (zh) 一种移动机器人同步定位与地图构建方法、装置和设备
CN113985436A (zh) 基于slam的无人机三维地图构建与定位方法及装置
US11620846B2 (en) Data processing method for multi-sensor fusion, positioning apparatus and virtual reality device
KR20230018656A (ko) 실내환경의 비전과 라이다를 융합한 slam 시스템 및 방법
CN112967393A (zh) 车辆移动轨迹的修正方法、装置、电子设备及存储介质
CN109710594B (zh) 地图数据的有效性判断方法、装置及可读存储介质
Chen et al. Perception system design for low-cost commercial ground robots: Sensor configurations, calibration, localization and mapping
CN109188419B (zh) 障碍物速度的检测方法、装置、计算机设备及存储介质
CN116203579A (zh) 基于点云残差的激光雷达slam退化检测方法及系统
US20220282987A1 (en) Information processing system, information processing device, and information processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant