CN108955687A - 移动机器人的综合定位方法 - Google Patents
移动机器人的综合定位方法 Download PDFInfo
- Publication number
- CN108955687A CN108955687A CN201810547909.7A CN201810547909A CN108955687A CN 108955687 A CN108955687 A CN 108955687A CN 201810547909 A CN201810547909 A CN 201810547909A CN 108955687 A CN108955687 A CN 108955687A
- Authority
- CN
- China
- Prior art keywords
- frame
- key frame
- robot
- positioning
- mobile robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种移动机器人的综合定位方法，包括环境良好且特征点丰富时采用新型视觉定位算法对机器人进行定位；当视觉定位丢失时保存当前的视觉定位数据并采用码盘对机器人进行定位；当视觉定位恢复时继续采用新型视觉定位算法对机器人进行定位。本发明方法通过新型视觉定位算法和码盘定位算法相融合的方式，实现了机器人的精确定位，而且通过算法实现精确定位，成本相对低廉，而且新型视觉定位算法算法简单可靠，定位精度也较高。
Description
技术领域
本发明具体涉及一种移动机器人的综合定位方法。
背景技术
随着经济技术的发展和人们生活水平的提高，人工智能和机器人技术也得到了长足的发展。在人工智能和机器人技术的不断提升的背景条件下，传统的人力正朝着无人值守方向发展。目前，基于人工智能的机器人技术已经在市场上不断涌现，机场、银行、商场、酒店、企事业单位、展馆、仓库、码头港口以及社区都已经慢慢实现了少人或无人值班。将机器人赋予人的一种本能，其可移动性是最基本的技能，而这种最基本的技能是实现机器人自主行走与导航的关键。其中，机器人如何进行自主定位是关键，只有在知道自己位置的前提下，才能进行下一步的动作。
现今移动机器人的定位方法主要有：磁定位、惯性定位、卫星定位、传感器数据(激光雷达、超声波等)定位和视觉定位。但是，目前常用的定位方法，激光雷达的定位精度非常高的，但是其成本高昂，难以普及；而其他的定位方法，虽然能够实现机器人的定位，但是其定位精度不高，因此难以实现机器人的精准控制和定位。
发明内容
本发明的目的在于提供一种能够实现机器人的精确定位，而且成本相对低廉的移动机器人的综合定位方法。
本发明提供的这种移动机器人的综合定位方法，包括如下步骤：
S1.当环境良好，特征点丰富时，采用新型视觉定位算法对机器人进行定位；
S2.当视觉定位丢失时，保存当前的视觉定位数据，同时采用码盘对机器人进行定位；
S3.当视觉定位恢复时，继续采用新型视觉定位算法对机器人进行定位。
所述的新型视觉定位算法，具体包括如下步骤：
A.采用深度摄像头实时采集环境的深度数据和彩色数据，同时对深度摄像头进行标定；
B.将摄像头获取的第一帧作为关键帧，并存储第一帧的深度图像和彩色图像；
C.在步骤B得到的第一帧关键帧后，继续插入后续的关键帧数据；
D.对步骤C得到的关键帧序列中的每一个关键帧进行特征检测；
E.根据步骤D的特征检测结果，计算步骤C得到的关键帧序列中两两关键帧之间的旋转矩阵和平移矩阵；
F.根据步骤E得到的结果，对关键帧进行连接，并优化旋转矩阵和平移矩阵；
G.根据步骤F得到的优化后的旋转矩阵和平移矩阵，计算机器人的里程数据，从而完成机器人的实时定位。
步骤C所述的插入后续的关键帧数据，具体为采用如下规则选取插入的关键帧：
R1.若当前帧与前一关键帧之间有足够的视差，即当前帧与上一关键帧之间的匹配点数达到设定的阈值；
R2.距离上一次插入关键帧的时间已经达到设定的阈值T；
当当前帧与上一关键帧之间的差别满足规则R1或R2时，将当前帧作为插入的关键帧。
步骤D所述的对关键帧进行特征检测，具体为采用如下步骤进行特征检测：
a.采用基于构建图像金字塔的方法对图像进行分层，从而保证图像特征检测时的尺度不变性；
b.采用OFAST算法对特征点进行检测，同时采用BRIEF描述子对特征进行描述；
c.采用灰度质心法保证特征点的旋转不变性。
步骤E所述的计算两两关键帧之间的旋转矩阵和平移矩阵，具体为采用如下步骤进行计算：
(1)采用如下公式计算世界坐标系下的3D点坐标：
式中，u为图像坐标系的横坐标值，v为图像坐标系的纵坐标值，fx、fy、cx和 cy为相机内部参数；inv(fx)为fx的倒数，inv(fy)为fy的倒数，z为深度数据， x、y和z即为世界坐标系下的3D点的坐标；
(2)将前一帧的特征点投影到当前帧的图像平面上，并在投影的位置进行区域匹配；
(3)采用如下算式，对当前帧的姿态进行估算：
式中pi和p'i是匹配的特征点对的3D点，R为旋转矩阵，T为平移矩阵。
(4)根据步骤(3)得到的姿态数据，剔除误匹配对。
步骤(3)所述的对姿态进行估算，具体为采用迭代最近点算法求解，并采用非线性优化方法找到全局最优值。
步骤F所述的对关键帧进行连接并优化旋转矩阵和平移矩阵，具体为根据匹配关系连接关键帧，并采用g2o进行局部优化和闭环优化。
本发明提供的这种移动机器人的综合定位方法，通过新型视觉定位算法和码盘定位算法相融合的方式，实现了机器人的精确定位，而且通过算法实现精确定位，成本相对低廉，而且新型视觉定位算法算法简单可靠，定位精度也较高。
附图说明
图1为本发明方法的方法流程图。
图2为本发明方法的新型视觉定位算法的算法流程图。
具体实施方式
如图1所示为本发明方法的方法流程图：本发明提供的这种移动机器人的综合定位方法，包括如下步骤：
S1.当环境良好，特征点丰富时，采用新型视觉定位算法对机器人进行定位；
S2.当视觉定位丢失时，保存当前的视觉定位数据，同时采用码盘对机器人进行定位；
S3.当视觉定位恢复时，继续采用新型视觉定位算法对机器人进行定位。
其中，所述的新型视觉定位算法的算法流程图如图2所示，其具体包括如下步骤：
A.采用深度摄像头实时采集环境的深度数据和彩色数据，同时对深度摄像头进行标定；
B.将摄像头获取的第一帧作为关键帧，并存储第一帧的深度图像和彩色图像；
C.在步骤B得到的第一帧关键帧后，继续插入后续的关键帧数据；
采用如下规则选取插入的关键帧：
R1.若当前帧与前一关键帧之间有足够的视差，即当前帧与上一关键帧之间的匹配点数达到设定的阈值；
R2.距离上一次插入关键帧的时间已经达到设定的阈值T；
当当前帧与上一关键帧之间的差别满足规则R1或R2时，将当前帧作为插入的关键帧；
D.对步骤C得到的关键帧序列中的每一个关键帧进行特征检测；具体为采用如下步骤进行特征检测：
a.采用基于构建图像金字塔的方法对图像进行分层，从而保证图像特征检测时的尺度不变形；
b.采用OFAST算法对特征点进行检测，同时采用BRIEF描述子对特征进行描述；将图像分格子，对每个格子进行OFAST特征检测，在每个格子里进行特征检测，然后将特征进行四叉树节点分布，然后对每个节点选取最好的特征，从而保证了特征点分布均匀；
c.采用灰度质心法保证特征点的旋转不变性；其实质是假设角点的灰度与质心之间存在一个偏移，这个向量可以用于表示一个方向，这个向量便是特征点的邻域方向；
E.根据步骤D的特征检测结果，计算步骤C得到的关键帧序列中两两关键帧之间的旋转矩阵和平移矩阵；具体为采用如下步骤进行计算：
(1)采用如下公式计算世界坐标系下的3D点坐标：
式中，u为图像坐标系的横坐标值，v为图像坐标系的纵坐标值，fx、fy、cx和 cy为相机内部参数，其中fx，fy为焦距，cx，cy为在像素坐标系与成像平面相差的相对于原点的平移；inv(fx)为fx的倒数，inv(fy)为fy的倒数，z为深度数据，x、y和z即为世界坐标系下的3D点的坐标；
(2)将前一帧的特征点投影到当前帧的图像平面上，并在投影的位置进行区域匹配；
(3)采用如下算式，对当前帧的姿态进行估算：
式中pi和p'i是匹配的特征点对的3D点，R为旋转矩阵，T为平移矩阵；在具体实施时采用迭代最近点算法求解，并采用非线性优化方法(ICP)找到全局最优值；
(4)根据步骤(3)得到的姿态数据，剔除误匹配对；
F.根据步骤E得到的结果，对关键帧进行连接，并优化旋转矩阵和平移矩阵；具体为根据匹配关系连接关键帧，并采用g2o进行局部优化和闭环优化；在g2o中，将关键帧位姿和特征点3D点作为顶点，将重投影误差作为边，而这个边是连接关键帧位姿顶点和特征点位姿顶点的2维数据；
G.根据步骤F得到的优化后的旋转矩阵和平移矩阵，计算机器人的里程数据，从而完成机器人的实时定位。
Claims (7)
1.一种移动机器人的综合定位方法，包括如下步骤：
S1.当环境良好，特征点丰富时，采用新型视觉定位算法对机器人进行定位；
S2.当视觉定位丢失时，保存当前的视觉定位数据，同时采用码盘对机器人进行定位；
S3.当视觉定位恢复时，继续采用新型视觉定位算法对机器人进行定位。
2.根据权利要求1所述的移动机器人的综合定位方法，其特征在于所述的新型视觉定位算法，具体包括如下步骤：
A.采用深度摄像头实时采集环境的深度数据和彩色数据，同时对深度摄像头进行标定；
B.将摄像头获取的第一帧作为关键帧，并存储第一帧的深度图像和彩色图像；
C.在步骤B得到的第一帧关键帧后，继续插入后续的关键帧数据；
D.对步骤C得到的关键帧序列中的每一个关键帧进行特征检测；
E.根据步骤D的特征检测结果，计算步骤C得到的关键帧序列中两两关键帧之间的旋转矩阵和平移矩阵；
F.根据步骤E得到的结果，对关键帧进行连接，并优化旋转矩阵和平移矩阵；
G.根据步骤F得到的优化后的旋转矩阵和平移矩阵，计算机器人的里程数据，从而完成机器人的实时定位。
3.根据权利要求2所述的移动机器人的综合定位方法，其特征在于步骤C所述的插入后续的关键帧数据，具体为采用如下规则选取插入的关键帧：
R1.若当前帧与前一关键帧之间有足够的视差；所述足够的时差定义为当前帧与上一关键帧之间的匹配点数达到设定的阈值；
R2.距离上一次插入关键帧的时间已经达到设定的阈值T；
当当前帧与上一关键帧之间的差别满足规则R1或R2时，将当前帧作为插入的关键帧。
4.根据权利要求3所述的移动机器人的综合定位方法，其特征在于步骤D所述的对关键帧进行特征检测，具体为采用如下步骤进行特征检测：
a.采用基于构建图像金字塔的方法对图像进行分层，从而保证图像特征检测时的尺度不变性；
b.采用OFAST算法对特征点进行检测，同时采用BRIEF描述子对特征进行描述；
c.采用灰度质心法保证特征点的旋转不变性。
5.根据权利要求2所述的移动机器人的综合定位方法，其特征在于步骤E所述的计算两两关键帧之间的旋转矩阵和平移矩阵，具体为采用如下步骤进行计算：
(1)采用如下公式计算世界坐标系下的3D点坐标：
式中，u为图像坐标系的横坐标值，v为图像坐标系的纵坐标值，fx、fy、cx和cy为相机内部参数；inv(fx)为fx的倒数，inv(fy)为fy的倒数，z为深度数据，x、y和z即为世界坐标系下的3D点的坐标；
(2)将前一帧的特征点投影到当前帧的图像平面上，并在投影的位置进行区域匹配；
(3)采用如下算式，对当前帧的姿态进行估算：
式中pi和p′i是匹配的特征点对的3D点，R为旋转矩阵，T为平移矩阵。
(4)根据步骤(3)得到的姿态数据，剔除误匹配对。
6.根据权利要求5所述的移动机器人的综合定位方法，其特征在于步骤(3)所述的对姿态进行估算，具体为采用迭代最近点算法求解，并采用非线性优化方法找到全局最优值。
7.根据权利要求2所述的移动机器人的综合定位方法，其特征在于步骤F所述的对关键帧进行连接并优化旋转矩阵和平移矩阵，具体为根据匹配关系连接关键帧，并采用g2o进行局部优化和闭环优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810547909.7A CN108955687A (zh) | 2018-05-31 | 2018-05-31 | 移动机器人的综合定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810547909.7A CN108955687A (zh) | 2018-05-31 | 2018-05-31 | 移动机器人的综合定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108955687A true CN108955687A (zh) | 2018-12-07 |
Family
ID=64492453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810547909.7A Pending CN108955687A (zh) | 2018-05-31 | 2018-05-31 | 移动机器人的综合定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108955687A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110992392A (zh) * | 2019-11-20 | 2020-04-10 | 北京影谱科技股份有限公司 | 一种基于运动状态的关键帧选取方法及装置 |
| CN111105455A (zh) * | 2019-12-13 | 2020-05-05 | 灵动科技（北京）有限公司 | 仓储系统与相关方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103559734A (zh) * | 2013-10-17 | 2014-02-05 | 中国科学院自动化研究所 | 双目成像三维视觉系统装置及控制方法 |
| CN105910604A (zh) * | 2016-05-25 | 2016-08-31 | 武汉卓拔科技有限公司 | 一种基于多传感器的自主避障导航系统 |
| CN106885574A (zh) * | 2017-02-15 | 2017-06-23 | 北京大学深圳研究生院 | 一种基于重跟踪策略的单目视觉机器人同步定位与地图构建方法 |
| CN107590827A (zh) * | 2017-09-15 | 2018-01-16 | 重庆邮电大学 | 一种基于Kinect的室内移动机器人视觉SLAM方法 |
| CN107608345A (zh) * | 2017-08-26 | 2018-01-19 | 深圳力子机器人有限公司 | 一种机器人及其跟随方法和系统 |
-
2018
- 2018-05-31 CN CN201810547909.7A patent/CN108955687A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103559734A (zh) * | 2013-10-17 | 2014-02-05 | 中国科学院自动化研究所 | 双目成像三维视觉系统装置及控制方法 |
| CN105910604A (zh) * | 2016-05-25 | 2016-08-31 | 武汉卓拔科技有限公司 | 一种基于多传感器的自主避障导航系统 |
| CN106885574A (zh) * | 2017-02-15 | 2017-06-23 | 北京大学深圳研究生院 | 一种基于重跟踪策略的单目视觉机器人同步定位与地图构建方法 |
| CN107608345A (zh) * | 2017-08-26 | 2018-01-19 | 深圳力子机器人有限公司 | 一种机器人及其跟随方法和系统 |
| CN107590827A (zh) * | 2017-09-15 | 2018-01-16 | 重庆邮电大学 | 一种基于Kinect的室内移动机器人视觉SLAM方法 |
Non-Patent Citations (1)
| Title |
|---|
| 潘心冰: "基于 Kinect 的移动机器人 SLAM技术研究", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110992392A (zh) * | 2019-11-20 | 2020-04-10 | 北京影谱科技股份有限公司 | 一种基于运动状态的关键帧选取方法及装置 |
| CN111105455A (zh) * | 2019-12-13 | 2020-05-05 | 灵动科技（北京）有限公司 | 仓储系统与相关方法 |
| CN111105455B (zh) * | 2019-12-13 | 2024-04-16 | 灵动科技（北京）有限公司 | 仓储系统与相关方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110070615B (zh) | 一种基于多相机协同的全景视觉slam方法 | |
| CN111968129B (zh) | 具有语义感知的即时定位与地图构建系统及方法 | |
| CN109166149B (zh) | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 | |
| CN108717712B (zh) | 一种基于地平面假设的视觉惯导slam方法 | |
| Won et al. | Sweepnet: Wide-baseline omnidirectional depth estimation | |
| CN109544636A (zh) | 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法 | |
| CN109671119A (zh) | 一种基于slam的室内定位方法及装置 | |
| Won et al. | OmniSLAM: Omnidirectional localization and dense mapping for wide-baseline multi-camera systems | |
| CN109472828B (zh) | 一种定位方法、装置、电子设备及计算机可读存储介质 | |
| CN110176032B (zh) | 一种三维重建方法及装置 | |
| CN105809687A (zh) | 一种基于图像中边沿点信息的单目视觉测程方法 | |
| CN110223351B (zh) | 一种基于卷积神经网络的深度相机定位方法 | |
| CN113658337B (zh) | 一种基于车辙线的多模态里程计方法 | |
| CN111696199A (zh) | 同步定位建图的地空融合精密三维建模方法 | |
| Tomono | 3-D localization and mapping using a single camera based on structure-from-motion with automatic baseline selection | |
| CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN112365604A (zh) | 基于语义分割和slam的ar设备景深信息应用方法 | |
| Alcantarilla et al. | Large-scale dense 3D reconstruction from stereo imagery | |
| CN117367427A (zh) | 一种适用于室内环境中的视觉辅助激光融合IMU的多模态slam方法 | |
| CN117152249A (zh) | 基于语义一致性的多无人机协同建图与感知方法及系统 | |
| CN108955687A (zh) | 移动机器人的综合定位方法 | |
| CN111829522A (zh) | 即时定位与地图构建方法、计算机设备以及装置 | |
| CN116128966A (zh) | 一种基于环境物体的语义定位方法 | |
| Zhou et al. | INF: Implicit Neural Fusion for LiDAR and Camera | |
| Nicosevici et al. | Efficient 3D scene modeling and mosaicing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190716 Address after: 410013 16 Floor, F1 Building, Lugu Enterprise Square, 27 Wenxuan Road, Changsha High-tech Development Zone, Hunan Province Applicant after: CHANGSHA WANWEI ROBOT Co.,Ltd. Address before: 410013 16 Floor, F1 Building, Lugu Enterprise Square, 27 Wenxuan Road, Changsha High-tech Development Zone, Hunan Province Applicant before: HUNAN WANWEI INTELLIGENT ROBOT TECHNOLOGY CO.,LTD. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181207 |