CN113052906A - 基于单目相机与里程计的室内机器人定位方法 - Google Patents
基于单目相机与里程计的室内机器人定位方法 Download PDFInfo
- Publication number
- CN113052906A CN113052906A CN202110353854.8A CN202110353854A CN113052906A CN 113052906 A CN113052906 A CN 113052906A CN 202110353854 A CN202110353854 A CN 202110353854A CN 113052906 A CN113052906 A CN 113052906A
- Authority
- CN
- China
- Prior art keywords
- odometer
- visual
- monocular camera
- wheel type
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000000007 visual effect Effects 0.000 claims abstract description 40
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 14
- 238000005457 optimization Methods 0.000 claims abstract description 13
- 230000010354 integration Effects 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims abstract description 4
- 230000009466 transformation Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000010845 search algorithm Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000010408 sweeping Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/14—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by recording the course traversed by the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本发明提出一种基于单目相机与里程计的室内机器人定位方法：采用单目相机和轮式里程计作为传感器；所述单目相机固定朝向天花板进行视觉跟踪，作为视觉里程计；且至少包括以下步骤：步骤S1：视觉跟踪：在视觉跟踪的过程中，对参考帧的特征点做仿射投影，以限制在当前帧上特征点的邻域搜索范围；步骤S2：融合轮式里程计数据为视觉里程计提供绝对尺度，对轮式里程计信息进行预积分为视觉里程计提供初值；步骤S3：进行局部、全局优化，通过回环检测消除累积误差。能克服室内动态场景的缺陷，且具有较高的定位精度。
Description
技术领域
本发明属于机器人定位技术领域，尤其涉及一种基于单目相机与里程计的室内机器人定位方法。
背景技术
随着机器人技术的发展，越来越多需要人力完成的重复繁琐工作被机器人所替代。对于自主移动机器人，尤其是室内动态环境中的服务型移动机器人，准确的自我定位技术显得尤为重要。在传统方法上，常采用在室内放置如红外、超声波发射装置等主动信号源，或布置一些已知信息的路标以实现定位任务。但这些方法需要安装额外的装置，或对环境进行特殊布置，无法做到普遍适用。
R. Smith等提出同时定位与建图（Simultaneous Localization And Mapping,SLAM）技术在不依赖外部设备或特殊标志情况下，利用相关传感器信息计算器人的位姿并且构建环境地图，逐渐成为解决室内服务机器人定位问题的热门技术。在此之后，基于SLAM技术的研究层出不穷。A. J. Davison在2007年提出了第一个可以实时运行的单目视觉SLAM系统MonoSLAM，拉开了单目视觉SLAM定位技术的发展序幕。该方法建立在扩展卡尔曼滤波（Extended Kalman Filter，EKF）算法上，通过跟踪视觉特征点求解相机的位姿以实现定位。但其鲁棒性不足，存在容易丢失的缺点，且无重定位功能。Raul在2015年提出ORB-SLAM，该方法基于ORB特征点进行匹配跟踪，同时加入了重定位和闭环检测的模块，完善了视觉SLAM技术的统一框架。ORB特征的应用，提升了匹配的速度，但同时也提高了对环境纹理的要求，使得它在弱纹理情况下不能稳定使用。尽管后续作者发布了ORB-SLAM3，其在各方面性能有了一定的提升，但在室内弱纹理场景下仍然存在上述问题。尤其在室内动态环境中，人、宠物、桌椅、装饰物等的位置信息易发生改变，使用上述方法得到的地图信息存在偏差。
在室内动态环境中，天花板信息基本稳定不变，选择其作为视觉信息将减少动态因素改变所带来的误差。在学术研究以及市场应用方面也逐渐出现了采用摄像头朝向天花板方向的实例，如扫地机器人。Sun Y. D.选择场景里已知的圆形灯作为特殊标志物，利用其进行特征匹配求解位姿。但该方法需要视野中至少有两个灯，否则将无法求解。Wang H.使用深度相机获取深度图和原图，结合深度信息使用迭代最近邻（Iterative ClosestPoint ICP）算法估算位姿。
发明内容
有鉴于此，本发明的目的在于提供一种基于单目相机与里程计的室内机器人定位方法，旨在针对室内服务机器人的定位问题，基于两种价格低廉的传感器——单目相机与轮式里程计，提出一种适用于室内动态环境下的服务机器人定位解决方案，克服室内动态场景的缺陷，且具有较高的定位精度。
该方法将单目相机朝向天花板以减少室内动态环境下信息多端变化所带来的误差，并通过改变特征匹配策略提升纹理重复度高场景下的匹配精度，以获得更加准确的位姿求解；结合里程计预积分为视觉里程计提供初值，加快收敛速度，减少非线性优化迭代次数，同时也为单目相机固定了尺度信息。本发明所提出的室内机器人定位方法，在室内动态场景以及重复纹理场景下，能有效的保证机器人定位精度。相较ORB-SLAM3，可以克服室内动态场景的缺陷，且具有较高的定位精度，其拥有较好的应用前景以及实际工程的应用价值。
本发明具体采用以下技术方案：
一种基于单目相机与里程计的室内机器人定位方法，其特征在于：采用单目相机和轮式里程计作为传感器；所述单目相机固定朝向天花板进行视觉跟踪，作为视觉里程计；且至少包括以下步骤：
步骤S1：视觉跟踪：在视觉跟踪的过程中，对参考帧的特征点做仿射投影，以限制在当前帧上特征点的邻域搜索范围；
步骤S2：融合轮式里程计数据为视觉里程计提供绝对尺度，对轮式里程计信息进行预积分为视觉里程计提供初值；
步骤S3：进行局部、全局优化，通过回环检测消除累积误差。
优选地，所述特征点为SURF特征点。
优选地，在步骤S1中，采用基于邻域的特征点搜索算法，依据视觉里程计变化值预估出图像的仿射变换矩阵，并对参考帧的特征点做仿射投影以限制邻域搜索范围。
优选地，在步骤S2中，融合轮式里程计，结合轮式里程计预积分信息为视觉里程计提供初值的具体过程为：在采集图像数据的时刻作为要插入轮式里程计数据的时间点，通过插值的方法获取这一时刻的轮式里程计数据，以及索引这一时间点前后的两个数据，利用前后数据插值计算得到对应时刻的轮式里程计信息，通过预积分计算相邻两帧图像时刻之间的变换信息，再作为视觉里程计的一个初值估计。
优选地，在步骤S3中，利用图优化对各参数进行捆集约束调整，以得到相机参数和空间点线的最优解。
与现有技术中的机器人定位方法相比，本发明及其优选方案具有以下有益效果：
（1）成本低。基于两种价格低廉的传感器——单目相机与轮式里程计，使用成本低且适合在嵌入式系统上实现的单目相机作为视觉传感器。
（2）在室内动态场景中适用。本发明通过固定摄像头方向，使其朝向天花板，以克服室内动态场景下视觉信息变化多端不可靠的问题，再选择定位的关键点为特征显著、且不轻易因光照、仿射变换和噪音等因素而变化的SURF特征点。
（3）准确度更高。优化特征匹配算法，以在纹理重复度高或纹理稀疏的场景中有更好的匹配表现。考虑到扫地机器人移动速度较低，前后帧时刻位姿变换量较小，采用基于邻域的特征点搜索算法替代传统的全局搜索，依据里程计变化值预估出图像的仿射变换矩阵，并对参考帧的特征点做仿射投影以限制邻域搜索范围，显著降低了计算量。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
图1为本发明实施例方法流程示意图；
图2为本发明实施例采用不同特征点效果示意图1；
图3为本发明实施例采用不同特征点效果示意图2；
图4为本发明实施例特征点匹配平均内点数对比示意图；
图5为本发明实施例特征点匹配平均内点率对比示意图；
图6为本发明实施例建图结果对比示意图（ORB-SLAM3 侧面）；
图7为本发明实施例建图结果对比示意图（本文方法 侧面）；
图8为本发明实施例建图结果对比示意图（ORB-SLAM3正面）；
图9为本发明实施例建图结果对比示意图（本文方法 正面）；
图10为本发明实施例轨迹结果对比示意图。
具体实施方式
为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
本发明提供的基于单目相机与里程计的室内机器人定位方法的整体流程如图1所示，将单目相机朝向天花板以减少室内动态环境下信息多端变化所带来的误差，作为视觉里程计，并通过改变特征匹配策略提升纹理重复度高场景下的匹配精度，以获得更加准确的位姿求解；结合里程计预积分为视觉里程计提供初值，加快收敛速度，减少非线性优化迭代次数，同时也为单目相机固定了尺度信息，从而实现室内机器人定位。具体原理框图参见图1，主要包括以下步骤：
S1、固定单目相机朝向天花板进行视觉跟踪，以减小室内动态环境下动态变化信息所造成的误差；在图像匹配策略上进行改进，对参考帧的特征点做仿射投影，以限制在当前帧上特征点的邻域搜索范围；该步骤主要通过视觉跟踪模块完成，还包括图像预处理、特征点提取和匹配等常规操作；
S2、融合轮式里程计数据为视觉里程计提供绝对尺度，对轮式里程计信息进行预积分为视觉里程计提供初值以加速非线性优化收敛；经过该步骤处理可以对地图点进行计算，并进行关键帧的判断；
S3、进行局部、全局优化（包括添加新观测的地图点到局部地图、添加新的关键帧到局部地图、更新共视关系并更新局部地图、去除冗余关键帧、更新关键帧、做局部优化及更新估计量、以及更新局部地图等步骤），通过回环检测消除累积误差（包括计算词向量、回环检测、回环验证、融合地图点及全局优化等步骤），提高定位的精度。同时也可以加入重定位功能以升机器人整体定位的鲁棒性。
本实施例中，选择体积小，成本低且适合在嵌入式系统上实现的单目相机作为视觉传感器，通过固定摄像头方向，使其朝向天花板，以克服室内动态场景下视觉信息变化多端不可靠的问题。
在图像上提取特征点时选择SURF特征点，因其定位的关键点为特征显著、且不轻易因光照、仿射变换和噪音等因素而变化，不同特征点对比图如图2、图3所示。
本实施例中，同时优化特征匹配算法，应对纹理重复度高或纹理稀疏的天花板场景。在特征匹配方面，考虑到一般常用的扫地机器人移动速度较低，前后帧时刻位姿变换量较小，故采用基于邻域的特征点搜索算法替代传统的全局搜索，依据里程计变化值预估出图像的仿射变换矩阵，并对参考帧的特征点做仿射投影以限制邻域搜索范围，显著降低计算量，匹配结果统计数据对比图如图4、图5所示。
本实施例中，融合轮式里程计，结合轮式里程计预积分信息为视觉里程计提供初值。在采集图像数据的时刻作为要插入里程计数据的时间点，通过插值的方法获取这一时刻的里程计数据，需要索引这一时间点前后的两个数据，利用前后数据插值计算得到对应时刻的里程计信息，通过预积分计算相邻两帧图像时刻之间的变换信息，再作为视觉里程计的一个初值估计，加速非线性优化收敛速度，并在稀疏纹理场景中保证视觉里程计不丢失。
本实施例利用图优化的思想对各参数进行捆集约束调整（Bundle Adjustment），以得到相机参数和空间点线的最优解，建图结果对比图如图6-图9所示。最后，对本发明方法和当下在单目视觉方面表现突出的方法——ORB-SLAM3进行机器人定位性能的比较，轨迹对比图结果如图10所示。Trajectory_OURS为所提方法轨迹，Trajectory_GT为轨迹真值，Trajectory_ORB为ORB-SLAM3轨迹。实验时ORB-SLAM3初始化成功耗时久，且短暂运行后即丢失位置，故其轨迹不全。所提方法的轨迹与轨迹真值的平均误差为0.155m。
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于单目相机与里程计的室内机器人定位方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。
Claims (5)
1.一种基于单目相机与里程计的室内机器人定位方法，其特征在于：采用单目相机和轮式里程计作为传感器；所述单目相机固定朝向天花板进行视觉跟踪，作为视觉里程计；且至少包括以下步骤：
步骤S1：视觉跟踪：在视觉跟踪的过程中，对参考帧的特征点做仿射投影，以限制在当前帧上特征点的邻域搜索范围；
步骤S2：融合轮式里程计数据为视觉里程计提供绝对尺度，对轮式里程计信息进行预积分为视觉里程计提供初值；
步骤S3：进行局部、全局优化，通过回环检测消除累积误差。
2.根据权利要求1所述的基于单目相机与里程计的室内机器人定位方法，其特征在于：所述特征点为SURF特征点。
3.根据权利要求1所述的基于单目相机与里程计的室内机器人定位方法，其特征在于：在步骤S1中，采用基于邻域的特征点搜索算法，依据视觉里程计变化值预估出图像的仿射变换矩阵，并对参考帧的特征点做仿射投影以限制邻域搜索范围。
4.根据权利要求1所述的基于单目相机与里程计的室内机器人定位方法，其特征在于：在步骤S2中，融合轮式里程计，结合轮式里程计预积分信息为视觉里程计提供初值的具体过程为：在采集图像数据的时刻作为要插入轮式里程计数据的时间点，通过插值的方法获取这一时刻的轮式里程计数据，以及索引这一时间点前后的两个数据，利用前后数据插值计算得到对应时刻的轮式里程计信息，通过预积分计算相邻两帧图像时刻之间的变换信息，再作为视觉里程计的一个初值估计。
5.根据权利要求1所述的基于单目相机与里程计的室内机器人定位方法，其特征在于：在步骤S3中，利用图优化对各参数进行捆集约束调整，以得到相机参数和空间点线的最优解。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110353854.8A CN113052906A (zh) | 2021-04-01 | 2021-04-01 | 基于单目相机与里程计的室内机器人定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110353854.8A CN113052906A (zh) | 2021-04-01 | 2021-04-01 | 基于单目相机与里程计的室内机器人定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113052906A true CN113052906A (zh) | 2021-06-29 |
Family
ID=76517335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110353854.8A Pending CN113052906A (zh) | 2021-04-01 | 2021-04-01 | 基于单目相机与里程计的室内机器人定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113052906A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113804183A (zh) * | 2021-09-17 | 2021-12-17 | 广东汇天航空航天科技有限公司 | 一种实时地形测绘方法和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107356252A (zh) * | 2017-06-02 | 2017-11-17 | 青岛克路德机器人有限公司 | 一种融合视觉里程计与物理里程计的室内机器人定位方法 |
| US20200226782A1 (en) * | 2018-05-18 | 2020-07-16 | Boe Technology Group Co., Ltd. | Positioning method, positioning apparatus, positioning system, storage medium, and method for constructing offline map database |
-
2021
- 2021-04-01 CN CN202110353854.8A patent/CN113052906A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107356252A (zh) * | 2017-06-02 | 2017-11-17 | 青岛克路德机器人有限公司 | 一种融合视觉里程计与物理里程计的室内机器人定位方法 |
| US20200226782A1 (en) * | 2018-05-18 | 2020-07-16 | Boe Technology Group Co., Ltd. | Positioning method, positioning apparatus, positioning system, storage medium, and method for constructing offline map database |
Non-Patent Citations (1)
| Title |
|---|
| 温倩雯等: ""基于单目相机与里程计的室内机器人定位研究"", 《器件与设计》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113804183A (zh) * | 2021-09-17 | 2021-12-17 | 广东汇天航空航天科技有限公司 | 一种实时地形测绘方法和系统 |
| CN113804183B (zh) * | 2021-09-17 | 2023-12-22 | 广东汇天航空航天科技有限公司 | 一种实时地形测绘方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109186606B (zh) | 一种基于slam和图像信息的机器人构图及导航方法 | |
| CN112230243B (zh) | 一种移动机器人室内地图构建方法 | |
| CN111862213A (zh) | 定位方法及装置、电子设备、计算机可读存储介质 | |
| CN113108771B (zh) | 一种基于闭环直接稀疏视觉里程计的移动位姿估计方法 | |
| CN103198477B (zh) | 一种采用苹果套袋机器人进行视觉定位的方法 | |
| CN111899280B (zh) | 采用深度学习和混合型位姿估计的单目视觉里程计方法 | |
| CN112767546B (zh) | 移动机器人基于双目图像的视觉地图生成方法 | |
| CN112484746A (zh) | 一种基于地平面的单目视觉辅助激光雷达里程计方法 | |
| CN111161318A (zh) | 一种基于yolo算法及gms特征匹配的动态场景slam方法 | |
| CN111113415B (zh) | 一种基于二维码路标、摄像头和陀螺仪的机器人定位方法 | |
| CN113406659A (zh) | 一种基于激光雷达信息的移动机器人位置重识别方法 | |
| CN109784297A (zh) | 一种基于深度学习的三维目标识别与最优抓取方法 | |
| CN113052906A (zh) | 基于单目相机与里程计的室内机器人定位方法 | |
| CN115471748A (zh) | 一种面向动态环境的单目视觉slam方法 | |
| CN113447014A (zh) | 室内移动机器人、建图方法、定位方法以及建图定位装置 | |
| CN112669452B (zh) | 一种基于卷积神经网络多分支结构的物体定位方法 | |
| CN114140527A (zh) | 一种基于语义分割的动态环境双目视觉slam方法 | |
| CN111951341A (zh) | 一种基于rgb-d slam的闭环检测改进方法 | |
| CN113239072A (zh) | 一种终端设备定位方法及其相关设备 | |
| Zhang et al. | Cross-Modal monocular localization in prior LiDAR maps utilizing semantic consistency | |
| CN113947636B (zh) | 一种基于深度学习的激光slam定位系统及方法 | |
| CN109389677A (zh) | 房屋三维实景地图的实时构建方法、系统、装置及存储介质 | |
| Yang et al. | Improved Cartographer Algorithm Based on Map-to-Map Loopback Detection | |
| Hu et al. | Visual Odometry Implementation and Accuracy Evaluation Based on Real-time Appearance-based Mapping. | |
| Wang et al. | ULSM: Underground Localization and Semantic Mapping with Salient Region Loop Closure under Perceptually-Degraded Environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210629 |
|
| RJ01 | Rejection of invention patent application after publication |