CN107025668A - 一种基于深度相机的视觉里程计的设计方法 - Google Patents
一种基于深度相机的视觉里程计的设计方法 Download PDFInfo
- Publication number
- CN107025668A CN107025668A CN201710199736.XA CN201710199736A CN107025668A CN 107025668 A CN107025668 A CN 107025668A CN 201710199736 A CN201710199736 A CN 201710199736A CN 107025668 A CN107025668 A CN 107025668A
- Authority
- CN
- China
- Prior art keywords
- point
- frame
- characteristic point
- frames
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度相机的视觉里程计的设计方法，包括以下步骤：通过深度相机采集环境中的彩色和深度图像信息；提取初始关键帧以及其余图像帧中的特征点；用光流法跟踪特征点在当前帧的位置，找到特征点对；根据实际特征点的数目和前后两帧之间的特征点重叠区域大小选择使用稀疏直接法或者特征点法求得两帧之间的相对位姿；利用深度图像的深度信息，结合两帧之间的相对位姿求取关键帧上特征点在世界坐标系下的3d点坐标，并在另一线程对关键帧进行点云拼接，构建地图。本发明方法结合了稀疏直接法和特征点法，能够提高视觉里程计的实时性和鲁棒性。
Description
技术领域
本发明涉及计算机视觉技术研究领域，特别涉及一种基于深度相机的视觉里程计的设计方法。
背景技术
视觉里程计是一种利用相机采集到的图像序列来估计出智能体相对运动的计算机视觉方法，在机器人自主定位和导航过程中起着很重要的作用。目前，基于视觉的机器人即时定位与地图构建(SLAM，Simultaneous Localization and Mapping)是室内定位研究的热点，而里程计是SLAM前端结构的一部分，设计鲁棒、快速的视觉里程计对整个SLAM构建非常关键。
传统的基于特征法(如SIFT、ORB)的视觉里程计等，对特征提取和匹配的计算量大，整个视觉里程计比较耗时，再加上特征点的误匹配、缺乏纹理特征时，运动估计会有较大的误差，对SLAM后端产生很大的影响。基于此，不少研究者采用直接匹配两帧图像的像素点的方法来进行图像特征跟踪和匹配。例如：有人提出基于图像像素能量函数视觉方法，对所有像素点的像素强度差的平方和求最小，由于是对整张图的所有像素进行匹配，计算量很大，实时性差；或者是SVO直接配准灰度梯度更为突出的特征块，然后采用光度误差最小化来获得运动位姿，虽然SVO的实时性很好，但是对于快速、大范围的运动会跟踪失败；还有人采用光流法和特征法结合，在小位移内采用光流跟踪位姿，在大位移下用特征提取的方式求得位姿，然后对位姿进行卡尔曼融合，在一定程度上能改善里程计的鲁棒性，但是鲁棒性提高有限。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种基于深度相机的视觉里程计的设计方法，方法结合了稀疏直接法和特征点法，能够提高视觉里程计的实时性和鲁棒性。
本发明的目的通过以下的技术方案实现：一种基于深度相机的视觉里程计的设计方法，包括以下步骤：
S1、通过深度相机采集环境中的彩色和深度图像信息，假设k-1时刻的图像Ik-1到k时刻的图像Ik之间的位姿运动为Tk,k-1，每一帧的深度信息已知；
S2、提取初始关键帧以及其余图像帧中的特征点；
S3、用光流法跟踪特征点在当前帧的位置，找到特征点对；
S4、计算出两帧的相对位姿；
对在当前帧跟踪的特征点的数目和前后两帧之间的特征点重叠区域大小分别做阈值规定；
当跟踪的特征点数大于设定阈值，且两帧之间的特征点重叠区域在最大阈值与最小阈值之间，采用稀疏直接法求得两帧之间的相对位姿；
当特征点少于设定阈值或两帧之间的特征点重叠区域小于最小阈值，采用特征点法求得两帧之间的相对位姿；
当两帧之间的特征点重叠区域大于最大阈值时，舍弃当前帧并进行下一帧图像的光流跟踪；
S5、利用深度图像的深度信息，结合两帧之间的相对位姿求取关键帧上特征点在世界坐标系下的3d点坐标，并在另一线程对关键帧进行点云拼接，构建地图。
优选的，提取特征点的方式是：提取帧图上的Fast特征点，对通过Fast检测的角点进行进一步的筛选，添加Shi-Tomasi角点提取的方法，确保角点的稳定性。
具体的，针对初始关键帧，特征点数要求达到300个以上，Fast角点检测的阈值是20。
优选的，步骤S3中采用的光流法是金字塔KL光流法，金字塔层数是5层。
优选的，当前帧跟踪的特征点的数目阈值设定为50。
优选的，两帧之间的特征点重叠区域在最大阈值与最小阈值设定为50％和30％。
优选的，当跟踪的特征点数大于设定阈值，且两帧之间的特征点重叠区域在最大阈值与最小阈值之间，设定当前帧为关键帧，根据两帧之间特征块的像素亮度之差最小来求得两帧之间的相对位姿，特征块指特征点以4*4像素大小的区域，转换为最小二乘问题：
其中L表示当前帧和参考帧中可见的重合的特征块的集合，ui和u′i是参考帧和当前帧对应的特征块。
优选的，当特征点少于设定阈值或两帧之间的特征点重叠区域小于最小阈值，对两帧的特征点进行特征匹配，并最小化重投影误差，进而计算出两帧的相对位姿；重投影误差转换为最小二乘问题：
此处ui和u′i是参考帧和当前帧对应的特征点，两帧的运动通过三维点pi在两帧坐标系之间的转换得到。
具体的，上述特征匹配的过程加上极限约束，且利用深度信息排除错误匹配点，提高匹配精度。
具体的，上述特征匹配中，使用GPU硬件加速，减少匹配时间提高匹配精度。
具体的，最小二乘问题的解决使用的是高斯-牛顿方法。
优选的，地图构建的过程如下：
5)计算出初始关键帧上可观测的图像点的3d坐标；
6)通过上述稀疏直接法或特征法估计出前一帧到当前帧的相对位姿矩阵，通过相对位姿矩阵和初始关键帧的3d点坐标计算当前帧图像点的3d点的坐标；
7)此后，对每一帧图像上能观测到的新的图像点，计算出空间3d点，加入到地图中，对地图点更新；
8)重复2-3过程，最终得到整个地图。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明使用了稀疏的直接法，在处理时间上有优势，能实现实时定位；同时本发明结合了特征点的匹配法，在非平稳运动的条件下能有效的跟踪目标，估计出运动位姿。
2、本发明采用双线程的方式，能够较快速的构建相机运动的地图。
附图说明
图1是实施例中方法的流程图；
图2是测试数据集实验误差对比图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
为解决基于稀疏直接法的视觉里程计中，在快速运动过程中出现位姿跟丢，鲁棒性不好等问题，提出一种基于深度相机的视觉里程计的设计方法。该方法结合了稀疏的直接法匹配的方式和用特征点法匹配的方式，能够提高视觉里程计的实时性和鲁棒性。
该方法通过对两帧之间的重叠区域设定阈值，重叠区的大小能一定程度上反映相机运动的情况。重叠区大即在平缓运动时用稀疏直接法估计相机位姿，重叠区小即在快速运动时进行特征匹配并估计相机位姿。整个过程对采集到的图像帧提取关键帧，以减少地图点和匹配的计算量。一种基于深度相机的视觉里程计的设计方法，如图1所示，步骤如下：
S1、通过深度相机采集环境中的彩色和深度图像信息，假设k-1时刻的图像Ik-1到k时刻的图像Ik之间的位姿运动为Tk,k-1，每一帧的深度信息已知。
S2、提取初始关键帧以及其余帧中图像像素强度较大的特征点。
提取初始关键帧中图像像素强度较大的特征点的方式是：
1)选取初始关键帧，提取关键帧图上的Fast特征点，特征点数要求达到300个以上，Fast角点检测的阈值是20。
2)对通过Fast检测的角点进行进一步的筛选，添加Shi-Tomasi角点提取的方法，确保角点的稳定性。
对除初始关键帧的其他帧图像选取像素点强度较大的特征点，提取的特征点数要求按照选取关键帧的标准，对角点的进一步筛选按照上述步骤(2)的步骤。
S3、用光流法跟踪特征点在当前帧的位置，找到特征点对，采用的光流法是金字塔KL光流法，金字塔层数是5层；并对在当前帧跟踪的特征点的数目和前后两帧之间的特征点重叠区域大小做阈值规定。
特征点太少的情况，相对位姿计算误差大，要求跟踪的特征点数大于50。重叠区域设定为30％～50％，若小于30％，重叠的特征少，相机位姿跟踪过程容易跟丢，采用特征法进行相机位姿估计；若大于50％，重叠特征太多，两帧之间的相对运动小，这时不需提取关键帧，可以减轻计算量；当重叠区域在30％～50％之间时设定为关键帧，且采用稀疏直接法来进行相机位姿估计。
S4、计算出两帧的相对位姿。
(1)跟踪的特征点数大于50，且两帧之间的特征点重叠区域在30％～50％之间，设定当前帧为关键帧，则根据两帧之间特征块(特征块指特征点以4*4像素大小的区域)的像素亮度之差最小来求得两帧之间的相对位姿，即稀疏直接法，转换为最小二乘问题：
其中L表示当前帧和参考帧中可见的重合的特征块的集合，ui和u′i是参考帧和当前帧对应的特征块。
(2)当特征点少于50或两帧之间的特征点重叠区域小于30％，则对两帧的特征点进行特征匹配，并最小化重投影误差，进而计算出两帧的相对位姿，即特征点法，重投影误差转换为最小二乘问题：
此处ui和u′i是参考帧和当前帧对应的特征点，两帧的运动通过三维点pi在两帧坐标系之间的转换得到。
特征匹配的过程加上极限约束，且利用深度信息排除错误匹配点，提高匹配精度。
在特征匹配中，使用GPU硬件加速，减少匹配时间提高匹配精度。
(1)(2)中的最小二乘问题的解决使用的是高斯-牛顿方法。
(3)当两帧之间的特征点重叠区域大于50％时，舍弃当前帧并进行下一帧图像的光流跟踪。
S5、利用深度图像的深度信息，求取关键帧上特征点在世界坐标系下的3d点坐标，并在另一线程对关键帧进行点云拼接，构建地图。
地图构建的过程如下：
a)计算出初始关键帧上可观测的图像点的3d坐标；
b)通过上述稀疏直接法或特征法估计出前一帧到当前帧的相对位姿矩阵(转移矩阵)，通过转移矩阵和初始关键帧的3d点坐标计算当前帧图像点的3d点的坐标；此过程是将相机的运动转换成场景3d点的运动。
c)此后，对每一帧图像上能观测到的新的图像点，计算出空间3d点，加入到地图中，对地图点更新。
d)重复2-3过程，最终得到整个地图。
本实验是在标准数据集TUM(fl1_desk)上进行实验效果的测试。用计算得到实际位姿和真实位姿差值来表示估计效果。直接用稀疏的直接法匹配的方式得到的误差是0.85m，用特征点法匹配得到的误差是0.54m，结合两种方法得到的最后的误差是0.68m。而稀疏直接法处理的平均时间是6.37ms，特征点法的平均处理时间是327.06ms，结合两种方法后的平均处理时间是182.23ms。比只使用稀疏直接法方式虽然实时性降低，但是位姿估计更加鲁棒。
图2显示的是测试数据集中的前50帧图像估计出的相机的运动轨迹图，此时用特征法计算的相机位姿和实际位姿误差不大，可以近似代替实际位姿。从图中可以看出，稀疏直接法计算出的位姿在开始的半程与特征法的位姿是拟合的，但是越到后面，位姿估计的误差越大，较大的偏离了实际位姿，表明此时相机跟丢。采用两者结合的方式，有效的缓解在非平稳运动时出现较大的位姿估计误差，提高了视觉里程计的鲁棒性。实验表明，本实施例方法在保证实时性的前提下，提高了里程计的鲁棒性。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度相机的视觉里程计的设计方法，其特征在于，包括以下步骤：
S1、通过深度相机采集环境中的彩色和深度图像信息，假设k-1时刻的图像Ik-1到k时刻的图像Ik之间的位姿运动为Tk,k-1；
S2、提取初始关键帧以及其余图像帧中的特征点；
S3、用光流法跟踪特征点在当前帧的位置，找到特征点对；
S4、计算出两帧的相对位姿；
对在当前帧跟踪的特征点的数目和k-1时刻的图像Ik-1到k时刻的图像Ik两帧之间的特征点重叠区域大小分别做阈值规定；
当两帧之间的特征点重叠区域大于最大阈值时，舍弃当前帧并进行下一帧图像的光流跟踪；
当跟踪的特征点数大于设定阈值，且两帧之间的特征点重叠区域在最大阈值与最小阈值之间，采用稀疏直接法求得两帧之间的相对位姿；
当特征点少于设定阈值或两帧之间的特征点重叠区域小于最小阈值，采用特征点法求得两帧之间的相对位姿；
S5、利用深度图像的深度信息，结合两帧之间的相对位姿求取图像帧上特征点在世界坐标系下的3d点坐标，并在另一线程对图像帧进行点云拼接，构建地图。
2.根据权利要求1所述的基于深度相机的视觉里程计的设计方法，其特征在于，步骤S2中提取特征点的方式是：提取帧图上的Fast特征点，对通过Fast检测的角点进行进一步的筛选，添加Shi-Tomasi角点提取的方法，确保角点的稳定性；针对初始关键帧，特征点数要求达到300个以上，Fast角点检测的阈值是20。
3.根据权利要求1所述的基于深度相机的视觉里程计的设计方法，其特征在于，步骤S3中采用的光流法是金字塔KL光流法，金字塔层数是5层。
4.根据权利要求1所述的基于深度相机的视觉里程计的设计方法，其特征在于，当前帧跟踪的特征点的数目阈值设定为50。
5.根据权利要求1所述的基于深度相机的视觉里程计的设计方法，其特征在于，两帧之间的特征点重叠区域最大阈值与最小阈值设定为50％和30％。
6.根据权利要求1所述的基于深度相机的视觉里程计的设计方法，其特征在于，步骤S4中，当跟踪的特征点数大于设定阈值，且两帧之间的特征点重叠区域在最大阈值与最小阈值之间，设定当前帧为关键帧，根据两帧之间特征块的像素亮度之差最小来求得两帧之间的相对位姿，特征块指特征点以4*4像素大小的区域，转换为最小二乘问题：
其中L表示当前帧和参考帧中可见的重合的特征块的集合，ui和u′i是参考帧和当前帧对应的特征块。
7.根据权利要求1所述的基于深度相机的视觉里程计的设计方法，其特征在于，步骤S4中，当特征点少于设定阈值或两帧之间的特征点重叠区域小于最小阈值，对两帧的特征点进行特征匹配，并最小化重投影误差，进而计算出两帧的相对位姿；重投影误差转换为最小二乘问题：
此处ui和u′i是参考帧和当前帧对应的特征点，两帧的运动通过三维点pi在两帧坐标系之间的转换得到。
8.根据权利要求7所述的基于深度相机的视觉里程计的设计方法，其特征在于，特征匹配的过程加上极限约束，且利用深度信息排除错误匹配点，提高匹配精度；上述特征匹配中，使用GPU硬件加速，减少匹配时间。
9.根据权利要求6或7所述的基于深度相机的视觉里程计的设计方法，其特征在于，最小二乘问题的解决使用的是高斯-牛顿方法。
10.根据权利要求1所述的基于深度相机的视觉里程计的设计方法，其特征在于，地图构建的过程如下：
1)计算出初始关键帧上可观测的图像点的3d坐标；
2)通过稀疏直接法或特征法估计出前一帧到当前帧的相对位姿矩阵，通过相对位姿矩阵和初始关键帧的3d点坐标计算当前帧图像点的3d点的坐标；
3)此后，对每一帧图像上能观测到的新的图像点，计算出空间3d点，加入到地图中，对地图点更新；
4)重复2-3过程，最终得到整个地图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710199736.XA CN107025668B (zh) | 2017-03-30 | 2017-03-30 | 一种基于深度相机的视觉里程计的设计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710199736.XA CN107025668B (zh) | 2017-03-30 | 2017-03-30 | 一种基于深度相机的视觉里程计的设计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107025668A true CN107025668A (zh) | 2017-08-08 |
| CN107025668B CN107025668B (zh) | 2020-08-18 |
Family
ID=59526338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710199736.XA Active CN107025668B (zh) | 2017-03-30 | 2017-03-30 | 一种基于深度相机的视觉里程计的设计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107025668B (zh) |
Cited By (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107527366A (zh) * | 2017-08-23 | 2017-12-29 | 上海视智电子科技有限公司 | 一种面向深度相机的相机跟踪方法 |
| CN107767450A (zh) * | 2017-10-31 | 2018-03-06 | 南京维睛视空信息科技有限公司 | 一种基于sparse‑slam的实时建图方法 |
| CN107845114A (zh) * | 2017-11-10 | 2018-03-27 | 北京三快在线科技有限公司 | 地图的构建方法、装置及电子设备 |
| CN108062776A (zh) * | 2018-01-03 | 2018-05-22 | 百度在线网络技术（北京）有限公司 | 相机姿态跟踪方法和装置 |
| CN108170297A (zh) * | 2017-09-11 | 2018-06-15 | 南京睿悦信息技术有限公司 | 实时六自由度vr/ar/mr设备定位方法 |
| CN108253962A (zh) * | 2017-12-18 | 2018-07-06 | 中北智杰科技（北京）有限公司 | 一种低照度环境下新能源无人驾驶汽车定位方法 |
| CN108307200A (zh) * | 2018-01-31 | 2018-07-20 | 深圳积木易搭科技技术有限公司 | 一种在线视频拼接方法系统 |
| CN108447097A (zh) * | 2018-03-05 | 2018-08-24 | 清华-伯克利深圳学院筹备办公室 | 深度相机标定方法、装置、电子设备及存储介质 |
| CN108537848A (zh) * | 2018-04-19 | 2018-09-14 | 北京工业大学 | 一种面向室内场景重建的两级位姿优化估计方法 |
| CN108597036A (zh) * | 2018-05-03 | 2018-09-28 | 三星电子（中国）研发中心 | 虚拟现实环境危险感知方法及装置 |
| CN108615246A (zh) * | 2018-04-19 | 2018-10-02 | 浙江大承机器人科技有限公司 | 提高视觉里程计系统鲁棒性和降低算法计算消耗的方法 |
| CN108648274A (zh) * | 2018-05-10 | 2018-10-12 | 华南理工大学 | 一种视觉slam的认知点云地图创建系统 |
| CN108765326A (zh) * | 2018-05-18 | 2018-11-06 | 南京大学 | 一种同步定位与地图构建方法及装置 |
| CN108846857A (zh) * | 2018-06-28 | 2018-11-20 | 清华大学深圳研究生院 | 视觉里程计的测量方法及视觉里程计 |
| CN108921898A (zh) * | 2018-06-28 | 2018-11-30 | 北京旷视科技有限公司 | 摄像机位姿确定方法、装置、电子设备和计算机可读介质 |
| CN108955718A (zh) * | 2018-04-10 | 2018-12-07 | 中国科学院深圳先进技术研究院 | 一种视觉里程计及其定位方法、机器人以及存储介质 |
| CN108981693A (zh) * | 2018-03-22 | 2018-12-11 | 东南大学 | 基于单目相机的vio快速联合初始化方法 |
| CN109035334A (zh) * | 2018-06-27 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 位姿的确定方法和装置、存储介质及电子装置 |
| CN109489553A (zh) * | 2018-12-27 | 2019-03-19 | 中国科学院长春光学精密机械与物理研究所 | 一种空间标志点库的生成方法、装置、设备及存储介质 |
| CN109509211A (zh) * | 2018-09-28 | 2019-03-22 | 北京大学 | 同时定位与建图技术中的特征点提取与匹配方法及系统 |
| CN109544636A (zh) * | 2018-10-10 | 2019-03-29 | 广州大学 | 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法 |
| CN109816696A (zh) * | 2019-02-01 | 2019-05-28 | 西安全志科技有限公司 | 一种机器人定位与建图方法、计算机装置及计算机可读存储介质 |
| CN109974721A (zh) * | 2019-01-08 | 2019-07-05 | 武汉中海庭数据技术有限公司 | 一种基于高精度地图的视觉回环检测方法和装置 |
| CN109974743A (zh) * | 2019-03-14 | 2019-07-05 | 中山大学 | 一种基于gms特征匹配及滑动窗口位姿图优化的rgb-d视觉里程计 |
| CN110006444A (zh) * | 2019-03-21 | 2019-07-12 | 南京师范大学 | 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法 |
| CN110108258A (zh) * | 2019-04-09 | 2019-08-09 | 南京航空航天大学 | 一种单目视觉里程计定位方法 |
| CN110186467A (zh) * | 2018-02-23 | 2019-08-30 | 通用汽车环球科技运作有限责任公司 | 群感测点云地图 |
| CN110196044A (zh) * | 2019-05-28 | 2019-09-03 | 广东亿嘉和科技有限公司 | 一种基于gps闭环检测的变电站巡检机器人建图方法 |
| CN110335308A (zh) * | 2019-06-28 | 2019-10-15 | 中国科学院自动化研究所 | 基于视差约束与双向环形检验的双目视觉里程计计算方法 |
| CN110520694A (zh) * | 2017-10-31 | 2019-11-29 | 深圳市大疆创新科技有限公司 | 一种视觉里程计及其实现方法 |
| CN110610520A (zh) * | 2019-08-29 | 2019-12-24 | 中德（珠海）人工智能研究院有限公司 | 一种基于双球幕相机的视觉定位方法及系统 |
| CN110689572A (zh) * | 2019-08-13 | 2020-01-14 | 中山大学 | 一种三维空间中移动机器人定位系统及方法 |
| CN110853075A (zh) * | 2019-11-05 | 2020-02-28 | 北京理工大学 | 一种基于稠密点云与合成视图的视觉跟踪定位方法 |
| CN110914867A (zh) * | 2018-07-17 | 2020-03-24 | 深圳市大疆创新科技有限公司 | 位姿确定方法、设备、计算机可读存储介质 |
| CN111105460A (zh) * | 2019-12-26 | 2020-05-05 | 电子科技大学 | 一种室内场景三维重建的rgb-d相机位姿估计方法 |
| CN111210463A (zh) * | 2020-01-15 | 2020-05-29 | 上海交通大学 | 基于特征点辅助匹配的虚拟宽视角视觉里程计方法及系统 |
| CN111260779A (zh) * | 2018-11-30 | 2020-06-09 | 华为技术有限公司 | 地图构建方法、装置及系统、存储介质 |
| CN111322993A (zh) * | 2018-12-13 | 2020-06-23 | 杭州海康机器人技术有限公司 | 一种视觉定位方法和装置 |
| CN111638536A (zh) * | 2019-03-01 | 2020-09-08 | 通用汽车环球科技运作有限责任公司 | 用于情境感知众包稀疏高清晰度地图的方法和装置 |
| CN111637897A (zh) * | 2019-03-01 | 2020-09-08 | 纳恩博（常州）科技有限公司 | 地图的更新方法、更新装置、存储介质以及处理器 |
| CN111739144A (zh) * | 2020-06-19 | 2020-10-02 | 天津大学 | 一种基于深度特征光流的同时定位和建图的方法及装置 |
| CN112229380A (zh) * | 2020-10-15 | 2021-01-15 | 西北工业大学 | 一种基于多旋翼无人机协同的无源目标实时定位方法 |
| CN112529936A (zh) * | 2020-11-17 | 2021-03-19 | 中山大学 | 一种用于室外无人机的单目稀疏光流算法 |
| CN112634360A (zh) * | 2019-10-08 | 2021-04-09 | 北京京东乾石科技有限公司 | 一种视觉信息确定方法、装置、设备和存储介质 |
| CN112686204A (zh) * | 2021-01-12 | 2021-04-20 | 昆明理工大学 | 一种基于稀疏像素点跟踪的视频测流方法及装置 |
| CN112967340A (zh) * | 2021-02-07 | 2021-06-15 | 咪咕文化科技有限公司 | 同时定位和地图构建方法、装置、电子设备及存储介质 |
| CN112991448A (zh) * | 2021-03-22 | 2021-06-18 | 华南理工大学 | 一种基于颜色直方图的回环检测方法、装置及存储介质 |
| CN113063424A (zh) * | 2021-03-29 | 2021-07-02 | 湖南国科微电子股份有限公司 | 一种商场内导航方法、装置、设备及存储介质 |
| CN113177984A (zh) * | 2021-06-30 | 2021-07-27 | 湖北亿咖通科技有限公司 | 基于稀疏直接法的语义要素测距方法、装置和电子设备 |
| CN114742884A (zh) * | 2022-06-09 | 2022-07-12 | 杭州迦智科技有限公司 | 一种基于纹理的建图、里程计算、定位方法及系统 |
| CN117132728A (zh) * | 2023-10-26 | 2023-11-28 | 毫末智行科技有限公司 | 构建地图的方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103325108A (zh) * | 2013-05-27 | 2013-09-25 | 浙江大学 | 一种融合光流与特征点匹配的单目视觉里程计的设计方法 |
| CN104121902A (zh) * | 2014-06-28 | 2014-10-29 | 福州大学 | 基于Xtion摄像机的室内机器人视觉里程计实现方法 |
| CN104748727A (zh) * | 2013-12-31 | 2015-07-01 | 中国科学院沈阳自动化研究所 | 阵列式高速视觉里程计及其实现方法 |
-
2017
- 2017-03-30 CN CN201710199736.XA patent/CN107025668B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103325108A (zh) * | 2013-05-27 | 2013-09-25 | 浙江大学 | 一种融合光流与特征点匹配的单目视觉里程计的设计方法 |
| CN104748727A (zh) * | 2013-12-31 | 2015-07-01 | 中国科学院沈阳自动化研究所 | 阵列式高速视觉里程计及其实现方法 |
| CN104121902A (zh) * | 2014-06-28 | 2014-10-29 | 福州大学 | 基于Xtion摄像机的室内机器人视觉里程计实现方法 |
Non-Patent Citations (2)
| Title |
|---|
| 孙欢: "基于三维相机的视觉里程计优化算法的研究", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 * |
| 肖晨: "融合机器学习算法的单目视觉里程计研究", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 * |
Cited By (78)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107527366A (zh) * | 2017-08-23 | 2017-12-29 | 上海视智电子科技有限公司 | 一种面向深度相机的相机跟踪方法 |
| CN107527366B (zh) * | 2017-08-23 | 2020-04-10 | 上海视智电子科技有限公司 | 一种面向深度相机的相机跟踪方法 |
| CN108170297A (zh) * | 2017-09-11 | 2018-06-15 | 南京睿悦信息技术有限公司 | 实时六自由度vr/ar/mr设备定位方法 |
| CN108170297B (zh) * | 2017-09-11 | 2021-11-16 | 南京睿悦信息技术有限公司 | 实时六自由度vr/ar/mr设备定位方法 |
| CN110520694A (zh) * | 2017-10-31 | 2019-11-29 | 深圳市大疆创新科技有限公司 | 一种视觉里程计及其实现方法 |
| CN107767450A (zh) * | 2017-10-31 | 2018-03-06 | 南京维睛视空信息科技有限公司 | 一种基于sparse‑slam的实时建图方法 |
| CN107767450B (zh) * | 2017-10-31 | 2021-05-28 | 南京维睛视空信息科技有限公司 | 一种基于sparse-slam的实时建图方法 |
| CN107845114A (zh) * | 2017-11-10 | 2018-03-27 | 北京三快在线科技有限公司 | 地图的构建方法、装置及电子设备 |
| CN107845114B (zh) * | 2017-11-10 | 2024-03-22 | 北京三快在线科技有限公司 | 地图的构建方法、装置及电子设备 |
| CN108253962A (zh) * | 2017-12-18 | 2018-07-06 | 中北智杰科技（北京）有限公司 | 一种低照度环境下新能源无人驾驶汽车定位方法 |
| US10964049B2 (en) | 2018-01-03 | 2021-03-30 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and device for determining pose of camera |
| CN108062776A (zh) * | 2018-01-03 | 2018-05-22 | 百度在线网络技术（北京）有限公司 | 相机姿态跟踪方法和装置 |
| CN108062776B (zh) * | 2018-01-03 | 2019-05-24 | 百度在线网络技术（北京）有限公司 | 相机姿态跟踪方法和装置 |
| CN108307200B (zh) * | 2018-01-31 | 2020-06-09 | 深圳积木易搭科技技术有限公司 | 一种在线视频拼接方法系统 |
| CN108307200A (zh) * | 2018-01-31 | 2018-07-20 | 深圳积木易搭科技技术有限公司 | 一种在线视频拼接方法系统 |
| CN110186467A (zh) * | 2018-02-23 | 2019-08-30 | 通用汽车环球科技运作有限责任公司 | 群感测点云地图 |
| CN108447097B (zh) * | 2018-03-05 | 2021-04-27 | 清华-伯克利深圳学院筹备办公室 | 深度相机标定方法、装置、电子设备及存储介质 |
| CN108447097A (zh) * | 2018-03-05 | 2018-08-24 | 清华-伯克利深圳学院筹备办公室 | 深度相机标定方法、装置、电子设备及存储介质 |
| CN108981693A (zh) * | 2018-03-22 | 2018-12-11 | 东南大学 | 基于单目相机的vio快速联合初始化方法 |
| CN108955718A (zh) * | 2018-04-10 | 2018-12-07 | 中国科学院深圳先进技术研究院 | 一种视觉里程计及其定位方法、机器人以及存储介质 |
| CN108537848A (zh) * | 2018-04-19 | 2018-09-14 | 北京工业大学 | 一种面向室内场景重建的两级位姿优化估计方法 |
| CN108615246A (zh) * | 2018-04-19 | 2018-10-02 | 浙江大承机器人科技有限公司 | 提高视觉里程计系统鲁棒性和降低算法计算消耗的方法 |
| CN108615246B (zh) * | 2018-04-19 | 2021-02-26 | 浙江大承机器人科技有限公司 | 提高视觉里程计系统鲁棒性和降低算法计算消耗的方法 |
| CN108537848B (zh) * | 2018-04-19 | 2021-10-15 | 北京工业大学 | 一种面向室内场景重建的两级位姿优化估计方法 |
| CN108597036A (zh) * | 2018-05-03 | 2018-09-28 | 三星电子（中国）研发中心 | 虚拟现实环境危险感知方法及装置 |
| CN108648274A (zh) * | 2018-05-10 | 2018-10-12 | 华南理工大学 | 一种视觉slam的认知点云地图创建系统 |
| CN108648274B (zh) * | 2018-05-10 | 2020-05-22 | 华南理工大学 | 一种视觉slam的认知点云地图创建系统 |
| CN108765326A (zh) * | 2018-05-18 | 2018-11-06 | 南京大学 | 一种同步定位与地图构建方法及装置 |
| CN109035334A (zh) * | 2018-06-27 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 位姿的确定方法和装置、存储介质及电子装置 |
| CN108921898B (zh) * | 2018-06-28 | 2021-08-10 | 北京旷视科技有限公司 | 摄像机位姿确定方法、装置、电子设备和计算机可读介质 |
| CN108921898A (zh) * | 2018-06-28 | 2018-11-30 | 北京旷视科技有限公司 | 摄像机位姿确定方法、装置、电子设备和计算机可读介质 |
| CN108846857A (zh) * | 2018-06-28 | 2018-11-20 | 清华大学深圳研究生院 | 视觉里程计的测量方法及视觉里程计 |
| CN110914867A (zh) * | 2018-07-17 | 2020-03-24 | 深圳市大疆创新科技有限公司 | 位姿确定方法、设备、计算机可读存储介质 |
| CN109509211A (zh) * | 2018-09-28 | 2019-03-22 | 北京大学 | 同时定位与建图技术中的特征点提取与匹配方法及系统 |
| CN109509211B (zh) * | 2018-09-28 | 2021-11-16 | 北京大学 | 同时定位与建图技术中的特征点提取与匹配方法及系统 |
| CN109544636A (zh) * | 2018-10-10 | 2019-03-29 | 广州大学 | 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法 |
| CN109544636B (zh) * | 2018-10-10 | 2022-03-15 | 广州大学 | 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法 |
| CN111260779B (zh) * | 2018-11-30 | 2022-12-27 | 华为技术有限公司 | 地图构建方法、装置及系统、存储介质 |
| CN111260779A (zh) * | 2018-11-30 | 2020-06-09 | 华为技术有限公司 | 地图构建方法、装置及系统、存储介质 |
| CN111322993B (zh) * | 2018-12-13 | 2022-03-04 | 杭州海康机器人技术有限公司 | 一种视觉定位方法和装置 |
| CN111322993A (zh) * | 2018-12-13 | 2020-06-23 | 杭州海康机器人技术有限公司 | 一种视觉定位方法和装置 |
| CN109489553A (zh) * | 2018-12-27 | 2019-03-19 | 中国科学院长春光学精密机械与物理研究所 | 一种空间标志点库的生成方法、装置、设备及存储介质 |
| CN109974721A (zh) * | 2019-01-08 | 2019-07-05 | 武汉中海庭数据技术有限公司 | 一种基于高精度地图的视觉回环检测方法和装置 |
| CN109816696A (zh) * | 2019-02-01 | 2019-05-28 | 西安全志科技有限公司 | 一种机器人定位与建图方法、计算机装置及计算机可读存储介质 |
| CN111638536A (zh) * | 2019-03-01 | 2020-09-08 | 通用汽车环球科技运作有限责任公司 | 用于情境感知众包稀疏高清晰度地图的方法和装置 |
| CN111637897A (zh) * | 2019-03-01 | 2020-09-08 | 纳恩博（常州）科技有限公司 | 地图的更新方法、更新装置、存储介质以及处理器 |
| CN111638536B (zh) * | 2019-03-01 | 2023-12-08 | 通用汽车环球科技运作有限责任公司 | 用于情境感知众包稀疏高清晰度地图的方法和装置 |
| CN111637897B (zh) * | 2019-03-01 | 2022-04-19 | 纳恩博（常州）科技有限公司 | 地图的更新方法、更新装置、存储介质以及处理器 |
| CN109974743A (zh) * | 2019-03-14 | 2019-07-05 | 中山大学 | 一种基于gms特征匹配及滑动窗口位姿图优化的rgb-d视觉里程计 |
| CN110006444A (zh) * | 2019-03-21 | 2019-07-12 | 南京师范大学 | 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法 |
| CN110108258A (zh) * | 2019-04-09 | 2019-08-09 | 南京航空航天大学 | 一种单目视觉里程计定位方法 |
| CN110196044A (zh) * | 2019-05-28 | 2019-09-03 | 广东亿嘉和科技有限公司 | 一种基于gps闭环检测的变电站巡检机器人建图方法 |
| CN110335308B (zh) * | 2019-06-28 | 2021-07-30 | 中国科学院自动化研究所 | 基于视差约束与双向环形检验的双目视觉里程计计算方法 |
| CN110335308A (zh) * | 2019-06-28 | 2019-10-15 | 中国科学院自动化研究所 | 基于视差约束与双向环形检验的双目视觉里程计计算方法 |
| CN110689572A (zh) * | 2019-08-13 | 2020-01-14 | 中山大学 | 一种三维空间中移动机器人定位系统及方法 |
| CN110610520B (zh) * | 2019-08-29 | 2022-03-29 | 中德（珠海）人工智能研究院有限公司 | 一种基于双球幕相机的视觉定位方法及系统 |
| CN110610520A (zh) * | 2019-08-29 | 2019-12-24 | 中德（珠海）人工智能研究院有限公司 | 一种基于双球幕相机的视觉定位方法及系统 |
| CN112634360B (zh) * | 2019-10-08 | 2024-03-05 | 北京京东乾石科技有限公司 | 一种视觉信息确定方法、装置、设备和存储介质 |
| CN112634360A (zh) * | 2019-10-08 | 2021-04-09 | 北京京东乾石科技有限公司 | 一种视觉信息确定方法、装置、设备和存储介质 |
| CN110853075A (zh) * | 2019-11-05 | 2020-02-28 | 北京理工大学 | 一种基于稠密点云与合成视图的视觉跟踪定位方法 |
| CN110853075B (zh) * | 2019-11-05 | 2021-08-06 | 北京理工大学 | 一种基于稠密点云与合成视图的视觉跟踪定位方法 |
| CN111105460A (zh) * | 2019-12-26 | 2020-05-05 | 电子科技大学 | 一种室内场景三维重建的rgb-d相机位姿估计方法 |
| CN111210463A (zh) * | 2020-01-15 | 2020-05-29 | 上海交通大学 | 基于特征点辅助匹配的虚拟宽视角视觉里程计方法及系统 |
| CN111210463B (zh) * | 2020-01-15 | 2022-07-15 | 上海交通大学 | 基于特征点辅助匹配的虚拟宽视角视觉里程计方法及系统 |
| CN111739144A (zh) * | 2020-06-19 | 2020-10-02 | 天津大学 | 一种基于深度特征光流的同时定位和建图的方法及装置 |
| CN112229380A (zh) * | 2020-10-15 | 2021-01-15 | 西北工业大学 | 一种基于多旋翼无人机协同的无源目标实时定位方法 |
| CN112529936B (zh) * | 2020-11-17 | 2023-09-05 | 中山大学 | 一种用于室外无人机的单目稀疏光流算法 |
| CN112529936A (zh) * | 2020-11-17 | 2021-03-19 | 中山大学 | 一种用于室外无人机的单目稀疏光流算法 |
| CN112686204A (zh) * | 2021-01-12 | 2021-04-20 | 昆明理工大学 | 一种基于稀疏像素点跟踪的视频测流方法及装置 |
| CN112967340A (zh) * | 2021-02-07 | 2021-06-15 | 咪咕文化科技有限公司 | 同时定位和地图构建方法、装置、电子设备及存储介质 |
| CN112991448B (zh) * | 2021-03-22 | 2023-09-26 | 华南理工大学 | 一种基于颜色直方图的回环检测方法、装置及存储介质 |
| CN112991448A (zh) * | 2021-03-22 | 2021-06-18 | 华南理工大学 | 一种基于颜色直方图的回环检测方法、装置及存储介质 |
| CN113063424A (zh) * | 2021-03-29 | 2021-07-02 | 湖南国科微电子股份有限公司 | 一种商场内导航方法、装置、设备及存储介质 |
| CN113177984A (zh) * | 2021-06-30 | 2021-07-27 | 湖北亿咖通科技有限公司 | 基于稀疏直接法的语义要素测距方法、装置和电子设备 |
| CN113177984B (zh) * | 2021-06-30 | 2021-09-17 | 湖北亿咖通科技有限公司 | 基于稀疏直接法的语义要素测距方法、装置和电子设备 |
| CN114742884A (zh) * | 2022-06-09 | 2022-07-12 | 杭州迦智科技有限公司 | 一种基于纹理的建图、里程计算、定位方法及系统 |
| CN117132728A (zh) * | 2023-10-26 | 2023-11-28 | 毫末智行科技有限公司 | 构建地图的方法、装置、电子设备及存储介质 |
| CN117132728B (zh) * | 2023-10-26 | 2024-02-23 | 毫末智行科技有限公司 | 构建地图的方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107025668B (zh) | 2020-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107025668A (zh) | 一种基于深度相机的视觉里程计的设计方法 | |
| CN109544636B (zh) | 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法 | |
| CN109974707B (zh) | 一种基于改进点云匹配算法的室内移动机器人视觉导航方法 | |
| CN111968129B (zh) | 具有语义感知的即时定位与地图构建系统及方法 | |
| CN107292965B (zh) | 一种基于深度图像数据流的虚实遮挡处理方法 | |
| CN105825173B (zh) | 通用道路和车道检测系统与方法 | |
| CN108564616B (zh) | 快速鲁棒的rgb-d室内三维场景重建方法 | |
| CN110490928A (zh) | 一种基于深度神经网络的相机姿态估计方法 | |
| CN112258618A (zh) | 基于先验激光点云与深度图融合的语义建图与定位方法 | |
| CN107833270A (zh) | 基于深度相机的实时物体三维重建方法 | |
| CN105809687A (zh) | 一种基于图像中边沿点信息的单目视觉测程方法 | |
| CN108615246A (zh) | 提高视觉里程计系统鲁棒性和降低算法计算消耗的方法 | |
| CN113108771B (zh) | 一种基于闭环直接稀疏视觉里程计的移动位姿估计方法 | |
| CN111311666A (zh) | 一种融合边缘特征和深度学习的单目视觉里程计方法 | |
| CN108776989A (zh) | 基于稀疏slam框架的低纹理平面场景重建方法 | |
| WO2015126443A1 (en) | Moving object localization in 3d using a single camera | |
| CN113223045B (zh) | 基于动态物体语义分割的视觉与imu传感器融合定位系统 | |
| CN111582232A (zh) | 一种基于像素级语义信息的slam方法 | |
| CN107527366A (zh) | 一种面向深度相机的相机跟踪方法 | |
| Chen et al. | A stereo visual-inertial SLAM approach for indoor mobile robots in unknown environments without occlusions | |
| CN110189390A (zh) | 一种单目视觉slam方法及系统 | |
| CN111998862A (zh) | 一种基于bnn的稠密双目slam方法 | |
| Zhu et al. | Neuromorphic visual odometry system for intelligent vehicle application with bio-inspired vision sensor | |
| CN111161219B (zh) | 一种适用于阴影环境的鲁棒单目视觉slam方法 | |
| CN105118071B (zh) | 一种基于自适应分块的视频跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |