CN113932814B - 一种基于多模态地图的协同定位方法 - Google Patents

一种基于多模态地图的协同定位方法 Download PDF

Info

Publication number
CN113932814B
CN113932814B CN202111163279.1A CN202111163279A CN113932814B CN 113932814 B CN113932814 B CN 113932814B CN 202111163279 A CN202111163279 A CN 202111163279A CN 113932814 B CN113932814 B CN 113932814B
Authority
CN
China
Prior art keywords
information
map
unmanned vehicle
laser radar
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111163279.1A
Other languages
English (en)
Other versions
CN113932814A (zh
Inventor
陈若琳
颜成钢
许成浩
朱尊杰
孙垚棋
张继勇
李宗鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202111163279.1A priority Critical patent/CN113932814B/zh
Publication of CN113932814A publication Critical patent/CN113932814A/zh
Application granted granted Critical
Publication of CN113932814B publication Critical patent/CN113932814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于多模态地图的协同定位通过将激光雷达与视觉相机扫描得到的不同环境信息进行融合，构成一份集成了激光几何模态和和视觉纹理模态的多模态地图，以达到无人车在环境中精准的定位与导航的效果。区别于传统的SLAM方法，结合了激光几何模态快速匹配的优势以及视觉纹理mark标记的准确匹配，利用构建出的全新多模态地图，使用组合信息得以更准确地感知周围环境，相较现有方案定位更加精准。

Description

一种基于多模态地图的协同定位方法
技术领域
本发明涉及移动机器人在封闭室内的定位方法，涉及有基于激光几何模态和视觉纹理模态的移动机器人的协同定位方法。
背景技术
随着科技的进步以及移动机器人研究领域的快速发展，地面无人车(UnmannedGround Vehicle,UGV)在社会生活中起到了越来越重要的作用，同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)也成为了热门研究课题。无人地面车辆是一种可自主行驶或遥控操作,可一次或多次使用,并能携带一定数量载荷的地面机动平台。由于无人地面车辆具有自动操控和高度智能化的特点，往往可以达到有人驾驶车辆难以到达，或对人类来说十分危险的地域，并完成人类难以直接完成的工作而日益受到重视。因此复杂环境中进行精确连续可靠的定位是保证无人车在行动时取得成功的关键性一步。
目前，大多数移动机器人内的导航定位系统都是独立工作的，它们之间交换信息量较少，每个传感器都有着自己独特的工作。在室外环境中,无人车的定位主要采用GPS/惯导融合的方法。但是在室内、桥洞等GPS不可用的环境中,需要采用新的自主方式实现自身的导航定位。在GPS拒止环境下常用的传感器主要包括激光雷达、视觉、UWB等。其中,二维激光雷达在结构特征稀少、点云信息不丰富的空旷环境中，易出现匹配误差大、精度低的问题；视觉对光照的依赖性强，在无光条件下或无纹理区域基本不可用；UWB则需要提前对基站进行标定,使用复杂,而且基站的位置精度对其定位精度有较大的影响。
基于上述问题，将多个传感器信息融合起来，才是实现精确定位的关键。因此以多种传感器获得不同形式的观测，综合考虑激光雷达的快速性和视觉mark的准确匹配，生成不同类型和不同权重的约束，最终共同求解获得定位结果，才能更加细致地感知周围的环境，做出更好、更精准的定位。
发明内容
针对现有技术中存在的不足，本发明提供一种基于多模态地图的协同定位方法。
本发明实现功能：通过将激光雷达与视觉相机扫描得到的不同环境信息进行融合，构成一份集成了激光几何模态和和视觉纹理模态的多模态地图，以达到无人车在环境中精准的定位与导航的效果。
一种基于多模态地图的协同定位方法，步骤如下：
步骤1：通过激光雷达扫描获取场景信息，构建场景几何模态图；
步骤2：在场景中贴上相应的mark标记，通过视觉相机采集多角度的视觉特征，获取每一标记处对应的特征描述子向量集合；
步骤3：在几何模态图的基础上，加入视觉纹理特征信息，构建全局多模态地图。
M为全局多模态地图，由激光几何信息G和视觉纹理信息F集成构建。
步骤4：初始化无人车在多模态地图中的位置，即通过激光雷达获取点云信息来初步估计机器人自身处于场景中的位置；
步骤5：规划导航路径，完成协同定位；
首先依靠雷达进行粗定位匹配，到达目标点附近区域，然后依靠视觉相机，捕捉获取周围的mark标记，根据视觉纹理信息进行精准定位；
步骤(1)具体操作如下：
通过无人车搭载激光雷达在场地内部移动，通过激光雷达进行场景全图扫描，获取当前无人车所在位置的环境信息，得到周围角点、平面、障碍物的几何信息。对采集到的点云根据位置信息进行区域划分，再将每个区域进行点云的特征处理并作拓扑处理，以构建全局几何模态图并存储。
步骤(2)具体操作如下：
提前规划无人车行进路线，并在其关键道路上贴上含有信息的mark标记，在建图过程中提取出该特征点，利用视觉相机进行多角度的扫描，获得其各个方向的特征描述子。将获得的特征描述子存储为一个向量序列，再对这些特征描述子进行加权处理，生成一个新的特征描述向量，防止位置微小的变化给特征向量带来过大的改变，并且给远离特征点的点赋予小的权重以防止错误的匹配。
步骤(4)具体操作如下：
根据构建完成的多模态地图与激光雷达所扫描到当前的无人车周围环境信息，对相应帧之间的特征点进行匹配与比对，并计算激光雷达相对运动的距离和姿态的改变，获得无人车初始的状态估计信息，实现即时定位。
步骤(5)具体操作如下：
根据给定的目标点和全局地图实现总体的路径规划，使用A*算法进行全局路径规划，计算最优路线作为全局路线，通过相机捕获的深度图实现障碍物的规避，并选取当前最优路径以尽量符合全局最优路径。到达目标区域附近后，利用视觉相机捕获无人车周围的mark标记，根据步骤(2)中加权形成的特征描述向量，找到最佳匹配，确定具体的标记信息，再对多模态地图中该mark标记各个角度的特征描述子进行遍历比对，以获得更为精准的方位信息，得到详细定位。
与现有技术相比，本发明申请具有优点：
区别于传统的SLAM方法，结合了激光几何模态快速匹配的优势以及视觉纹理mark标记的准确匹配，利用构建出的全新多模态地图，使用组合信息得以更准确地感知周围环境，相较现有方案定位更加精准。
附图说明
图1为本发明实施例的流程图。
具体实施方式
为了实现更精准的无人车定位与导航，本发明将激光雷达与视觉相机扫描得到的不同环境信息进行融合，结合了激光雷达快速匹配的优势以及视觉方面的mark准确匹配，得到具有多类型观测数据的全局图，以达到无人车在环境中精准的定位与导航的效果。
实施流程图如图1所示，一种基于多模态地图的协同定位方法，步骤如下：
步骤1：通过激光雷达扫描获取场景信息，构建场景几何模态图；
通过无人车搭载激光雷达在场地内部移动，通过激光雷达进行场景全图扫描，获取当前无人车所在位置的环境信息，得到周围角点、平面、障碍物的几何信息。对采集到的点云根据位置信息进行区域划分，再将每个区域进行点云的特征处理并作拓扑处理，以构建全局几何模态图并存储。
步骤2：在场景中贴上相应的mark标记，通过视觉相机采集多角度的视觉特征，获取每一标记处对应的特征描述子向量集合；
提前规划无人车行进路线，并在其关键道路上贴上含有信息的mark标记，在建图过程中提取出该特征点，利用视觉相机进行多角度的扫描，获得其各个方向的特征描述子。将获得的特征描述子存储为一个向量序列，再对这些特征描述子进行加权处理，生成一个新的特征描述向量，防止位置微小的变化给特征向量带来过大的改变，并且给远离特征点的点赋予小的权重以防止错误的匹配。丰富了地图中的各部分信息。
步骤3：在几何模态图的基础上，加入视觉纹理特征信息，构建全局多模态地图。
M为全局多模态地图，由激光几何信息G和视觉纹理信息F集成构建。
步骤4：初始化无人车在多模态地图中的位置，即通过激光雷达获取点云信息来初步估计机器人自身处于场景中的位置；
根据构建完成的多模态地图与激光雷达所扫描到当前的无人车周围环境信息，对相应帧之间的特征点进行匹配与比对，并计算激光雷达相对运动的距离和姿态的改变，获得无人车初始的状态估计信息，实现即时定位。
步骤5：规划导航路径，完成协同定位；
根据给定的目标点和全局地图实现总体的路径规划，使用A*算法进行全局路径规划，计算最优路线作为全局路线，但在实际导航过程中，无人车可能随时会遇见一些障碍物，这时通过相机捕获的深度图实现障碍物的规避，并选取当前最优路径以尽量符合全局最优路径。到达目标区域附近后，利用视觉相机捕获无人车周围的mark标记，根据步骤(2)中加权形成的特征描述向量，找到最佳匹配，确定具体的标记信息，再对多模态地图中该mark标记各个角度的特征描述子进行遍历比对，以获得更为精准的方位信息，得到详细定位。

Claims (3)

1.一种基于多模态地图的协同定位方法，其特征在于，步骤如下：
步骤1：通过激光雷达扫描获取场景信息，构建场景几何模态图；
步骤2：在场景中贴上相应的mark标记，通过视觉相机采集多角度的视觉特征，获取每一标记处对应的特征描述子向量集合；
步骤3：在几何模态图的基础上，加入视觉纹理特征信息，构建全局多模态地图；
M为全局多模态地图，由激光几何信息G和视觉纹理信息F集成构建；
步骤4：初始化无人车在多模态地图中的位置，即通过激光雷达获取点云信息来初步估计机器人自身处于场景中的位置；
步骤5：规划导航路径，完成协同定位；
首先依靠雷达进行粗定位匹配，到达目标点附近区域，然后依靠视觉相机，捕捉获取周围的mark标记，根据视觉纹理信息进行精准定位；
步骤(1)具体操作如下：
通过无人车搭载激光雷达在场地内部移动，通过激光雷达进行场景全图扫描，获取当前无人车所在位置的环境信息，得到周围角点、平面、障碍物的几何信息；对采集到的点云根据位置信息进行区域划分，再将每个区域进行点云的特征处理并作拓扑处理，以构建全局几何模态图并存储；
步骤(2)具体操作如下：
提前规划无人车行进路线，并在其关键道路上贴上含有信息的mark标记，在建图过程中提取出特征点，利用视觉相机进行多角度的扫描，获得其各个方向的特征描述子向量；将获得的特征描述子向量存储为一个向量序列，再对这些特征描述子向量进行加权处理，生成一个新的特征描述向量，防止位置微小的变化给特征向量带来过大的改变，并且给远离特征点的点赋予小的权重以防止错误的匹配。
2.根据权利要求1所述的一种基于多模态地图的协同定位方法，其特征在于，步骤(4)具体操作如下：
根据构建完成的多模态地图与激光雷达所扫描到当前的无人车周围环境信息，对相应帧之间的特征点进行匹配与比对，并计算激光雷达相对运动的距离和姿态的改变，获得无人车初始的状态估计信息，实现即时定位。
3.根据权利要求2所述的一种基于多模态地图的协同定位方法，其特征在于，步骤(5)具体操作如下：
根据给定的目标点和全局地图实现总体的路径规划，使用A*算法进行全局路径规划，计算最优路线作为全局路线，通过相机捕获的深度图实现障碍物的规避，并选取当前最优路径以尽量符合全局最优路径；到达目标区域附近后，利用视觉相机捕获无人车周围的mark标记，根据步骤(2)中加权形成的特征描述向量，找到最佳匹配，确定具体的标记信息，再对多模态地图中该mark标记各个角度的特征描述子进行遍历比对，以获得更为精准的方位信息，得到详细定位。
CN202111163279.1A 2021-09-30 2021-09-30 一种基于多模态地图的协同定位方法 Active CN113932814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111163279.1A CN113932814B (zh) 2021-09-30 2021-09-30 一种基于多模态地图的协同定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111163279.1A CN113932814B (zh) 2021-09-30 2021-09-30 一种基于多模态地图的协同定位方法

Publications (2)

Publication Number Publication Date
CN113932814A CN113932814A (zh) 2022-01-14
CN113932814B true CN113932814B (zh) 2024-04-02

Family

ID=79277714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111163279.1A Active CN113932814B (zh) 2021-09-30 2021-09-30 一种基于多模态地图的协同定位方法

Country Status (1)

Country Link
CN (1) CN113932814B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084853A (zh) * 2019-04-22 2019-08-02 北京易达图灵科技有限公司 一种视觉定位方法及系统
CN110568447A (zh) * 2019-07-29 2019-12-13 广东星舆科技有限公司 视觉定位的方法、装置及计算机可读介质
CN111739088A (zh) * 2020-07-21 2020-10-02 上海思岚科技有限公司 基于视觉标签的定位方法及设备
CN111735446A (zh) * 2020-07-09 2020-10-02 上海思岚科技有限公司 一种激光、视觉定位融合的方法及设备
CN112305576A (zh) * 2020-10-31 2021-02-02 中环曼普科技(南京)有限公司 一种多传感器融合的slam算法及其系统
CN112650255A (zh) * 2020-12-29 2021-04-13 杭州电子科技大学 一种基于视觉与激光雷达信息融合的机器人室内外定位导航系统方法
CN112698306A (zh) * 2020-12-17 2021-04-23 上海交通大学宁波人工智能研究院 一种多激光雷达结合相机解决地图构建盲区的系统和方法
CN113052903A (zh) * 2021-03-17 2021-06-29 浙江大学 一种用于移动机器人的视觉与雷达融合定位方法
CN113175925A (zh) * 2021-04-14 2021-07-27 武汉理工大学 定位与导航系统以及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084853A (zh) * 2019-04-22 2019-08-02 北京易达图灵科技有限公司 一种视觉定位方法及系统
CN110568447A (zh) * 2019-07-29 2019-12-13 广东星舆科技有限公司 视觉定位的方法、装置及计算机可读介质
CN111735446A (zh) * 2020-07-09 2020-10-02 上海思岚科技有限公司 一种激光、视觉定位融合的方法及设备
CN111739088A (zh) * 2020-07-21 2020-10-02 上海思岚科技有限公司 基于视觉标签的定位方法及设备
CN112305576A (zh) * 2020-10-31 2021-02-02 中环曼普科技(南京)有限公司 一种多传感器融合的slam算法及其系统
CN112698306A (zh) * 2020-12-17 2021-04-23 上海交通大学宁波人工智能研究院 一种多激光雷达结合相机解决地图构建盲区的系统和方法
CN112650255A (zh) * 2020-12-29 2021-04-13 杭州电子科技大学 一种基于视觉与激光雷达信息融合的机器人室内外定位导航系统方法
CN113052903A (zh) * 2021-03-17 2021-06-29 浙江大学 一种用于移动机器人的视觉与雷达融合定位方法
CN113175925A (zh) * 2021-04-14 2021-07-27 武汉理工大学 定位与导航系统以及方法

Also Published As

Publication number Publication date
CN113932814A (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
EP3570061B1 (en) Drone localization
US11294060B2 (en) System and method for lidar-based vehicular localization relating to autonomous navigation
US11527084B2 (en) Method and system for generating a bird's eye view bounding box associated with an object
Kummerle et al. Autonomous driving in a multi-level parking structure
Sadat et al. Feature-rich path planning for robust navigation of MAVs with mono-SLAM
KR20180079428A (ko) 자동 로컬리제이션을 위한 장치 및 방법
WO2017168899A1 (ja) 情報処理方法および情報処理装置
WO2013150630A1 (ja) 地図データ作成装置、自律移動システムおよび自律移動制御装置
Li et al. Collaborative mapping and autonomous parking for multi-story parking garage
Veronese et al. A light-weight yet accurate localization system for autonomous cars in large-scale and complex environments
CN111982114B (zh) 一种采用imu数据融合估计三维位姿的救援机器人
AU2014203381A1 (en) Systems and methods for autonomous landing using a three dimensional evidence grid
Yoneda et al. Urban road localization by using multiple layer map matching and line segment matching
US11726501B2 (en) System and method for perceptive navigation of automated vehicles
CN111837136A (zh) 基于本地感测的自主导航以及相关联的系统和方法
Zhao et al. 2D LIDAR aided INS for vehicle positioning in urban environments
Sabatini et al. Navigation and guidance system architectures for small unmanned aircraft applications
EP4102327A1 (en) Position recognition method and position recognition system for vehicle
Klingbeil et al. Towards autonomous navigation of an UAV-based mobile mapping system
Hoang et al. 3D motion estimation based on pitch and azimuth from respective camera and laser rangefinder sensing
CN114077249B (zh) 一种作业方法、作业设备、装置、存储介质
US11561553B1 (en) System and method of providing a multi-modal localization for an object
Jäger et al. Efficient navigation based on the Landmark-Tree map and the Z∞ algorithm using an omnidirectional camera
WO2021177887A1 (en) Machine learning based system, methods, and control arrangement for positioning of an agent
Kamat et al. A survey on autonomous navigation techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant