CN110807799B - 一种结合深度图推断的线特征视觉里程计方法 - Google Patents

一种结合深度图推断的线特征视觉里程计方法 Download PDF

Info

Publication number
CN110807799B
CN110807799B CN201910932055.9A CN201910932055A CN110807799B CN 110807799 B CN110807799 B CN 110807799B CN 201910932055 A CN201910932055 A CN 201910932055A CN 110807799 B CN110807799 B CN 110807799B
Authority
CN
China
Prior art keywords
line segment
line
depth
points
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910932055.9A
Other languages
English (en)
Other versions
CN110807799A (zh
Inventor
黄平
黄俊杰
王伟
王欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201910932055.9A priority Critical patent/CN110807799B/zh
Publication of CN110807799A publication Critical patent/CN110807799A/zh
Application granted granted Critical
Publication of CN110807799B publication Critical patent/CN110807799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种结合深度图推断的线特征视觉里程计方法，利用深度相机获取彩色图像及深度图像；使用线段检测算法提取彩色图像中的2D线特征，而后确定包含线特征的各矩形区域，接着将各矩形区域映射到深度图中，针对深度缺失问题，对各矩形区域使用像素滤波方法进行深度推断；之后采样2D线特征中的点，结合深度推断后的深度图反投影为3D点，利用随机采样一致性方法找到过直线的最佳两点拟合3D线段，根据3D线段的匹配关系估计相机位姿；最后，构建包含距离误差及角度误差的雅克比矩阵，利用高斯‑牛顿法优化位姿；本发明提高3D线段的拟合可靠性、并且加入了一个角度误差信息，进一步提高优化后位姿的准确度。

Description

一种结合深度图推断的线特征视觉里程计方法
技术领域
本发明涉及一种推断视觉里程计方法，尤其涉及一种结合深度图推断的线特征视觉里程计方法，属于于机器人视觉SLAM(Simultaneous Localization and Mapping，同步定位与地图构建)领域。
背景技术
SLAM技术的目的是让身处于未知环境中，并且不确定自身位置的移动机器人同时进行定位与地图构建，它是实现机器人自主化的关键技术。目前，随着现代计算机技术和人工智能的发展，智能机器人的研究出现了新的热潮。如利用自主移动机器人进行危险空间探索，利用无人机进行军事侦察，水下机器人进行海洋环境探测等，而以上应用的实现离不开SLAM技术。随着视觉传感器，如RGB-D相机(深度相机)的不断发展，该类传感器以其应用便捷以及获取信息量大等特点不断在市场中取得广泛应用，也推动着视觉SLAM技术的发展。而视觉里程计是视觉SLAM中不可或缺的部分，它的目的是通过相邻帧间的图像估计出相机的运动。
目前基于特征的视觉里程计广泛使用图像中的点特征，点特征一般是图像中的斑点或角点，但有时我们会遇到欠点特征的环境，特征点数量的明显减少，很可能会导致找不到足够的匹配点来计算相机运动。另外，在很多其他人造环境中，大多存在着特征明显的边缘，利用这些边缘信息也可以增加算法的鲁棒性；
在视觉里程计中使用深度相机会对特征的三维估计提供极大方便，但在使用深度相机的过程中，深度相机采集到的深度图某些地方会产生深度缺失，这很可能会导致2D特征无法反投影为3D特征。针对所述线特征视觉里程计，通过确定线特征所在区域，将缺失部分尽可能推断填充，可以提高线特征视觉里程计的性能。
发明内容
本发明的目的是为了提高线特征视觉里程计的性能而提供一种一种结合深度图推断的线特征视觉里程计方法。
本发明的目的是这样实现的：
一种结合深度图推断的线特征视觉里程计方法，包括如下步骤：
步骤一、利用深度相机采集某一帧的彩色图像及深度图像；
步骤二、使用线段检测算法提取彩色图像中的2D线特征，而后确定包含线特征的各矩形区域；
步骤三、将各矩形区域映射到深度图像中，针对深度缺失问题，对各矩形区域使用像素滤波方法进行深度推断；
步骤四、采样2D线特征中的点，结合深度推断后的深度图像反投影为3D点，利用随机采样一致性方法找到过直线的最佳两点拟合3D线段，根据3D线段的匹配关系估计相机位姿；
步骤五、构建包含距离误差及角度误差的雅克比矩阵，利用高斯-牛顿法优化位姿，根据优化后的位姿结果判断是否将该帧的线特征加入局部地图，完成对某一帧的相机位姿估计；
步骤六、重复步骤一至五即可估计连续帧的位姿变换，完成视觉里程计功能
本发明还包括这样一些特征：
所述彩色图像中的某一点像素与深度图像中该位置的像素是来自于同一处；
所述步骤四具体为：
首先在l上均匀采样2D点，对第j个2D点记为
gj＝[uj vj]T
其中，uj,vj为该点在像素系中的横纵坐标，T代表转置，根据针孔相机模型，将该2D点反投影为相机坐标系下3D坐标，记为
Figure BDA0002220471950000021
其中，xj,yj,zj为相机坐标系下3D坐标，cu,cv为相机光心坐标，fu,fv为焦距，s为尺度因子，dj为gj所对应的深度值；
对于l上其他2D点也执行以上操作，形成一系列3D点集合{Gj},j＝1,2,...,N，N为l上2D点个数，定义拟合阈值T3D，对{Gj}中的3D点每次选取其中两个，形成3D线段，计算其余点到该3D线的欧氏距离，若小于T3D则记为内点，统计内点数量，选取内点数最多的一组两点(P,Q)∈{Gj}作为该3D线段的最优过点；
我们通过两个向量
Figure BDA0002220471950000022
来表示3D线，记三维线段为L，向量/>
Figure BDA0002220471950000023
是L的单位方向向量，向量/>
Figure BDA0002220471950000024
的模为相机原点到该3D线L的距离，/>
Figure BDA0002220471950000025
的方向平行于由相机原点与该3D线L所构成的平面的法向量，假设m是线段的中点，则/>
Figure BDA0002220471950000026
与/>
Figure BDA0002220471950000027
的关系为：
Figure BDA0002220471950000028
其中∧运算为叉乘，m是线段上的任意一点，该步骤完成2D线段反投影为3D线段。
与现有技术相比，本发明的有益效果是：
一般的深度相机会产生深度缺失问题，表现为深度图中灰度值为0(纯黑色)区域，针对线特征的视觉里程计，此缺陷会导致在2D线上采样点后，无法将采样点反投影为3D点，进而无法拟合3D线段或降低拟合可靠性问题，因此所述线特征的视觉里程计在结合了深度推断方法后，可以提高3D线段的拟合可靠性。
本发明位姿优化部分采用了拟合3D线段过程中的最佳过直线两点(而非2D线段端点的反投影)到观测2D线段的重投影误差，增加可靠性，并且加入了一个角度误差信息，进一步提高优化后位姿的准确度。
附图说明
图1是所述结合深度推断的线特征视觉里程计的系统框图；
图2是提取出的2D关键线反投影并通过RANSAC方法拟合成3D线的过程示意图；
图3是位姿优化过程的示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述。
一种结合深度图推断的线特征视觉里程计，
为了应对欠点特征环境下点特征不足导致无法估计相机位姿问题，以及充分利用环境中线结构信息，提出使用线特征的RGB-D(RGB-Depth map，彩色-深度图)视觉里程计，但一般的深度相机会产生深度缺失问题，表现为深度图中灰度值为0(纯黑色)区域，此缺陷会导致在2D线上采样点后，无法将采样点反投影为3D点，进而无法拟合3D线段或降低拟合可靠性问题，因此所述线特征的视觉里程计结合了深度推断方法。
步骤一,利用深度相机采集图像，对于某一帧图像，包含一张RGB(彩色)图以及一张深度图，假设上述两张图像已进行过对齐处理，即RGB图中的某一点像素与深度图中该位置的像素是来自于同一处。
步骤二，对RGB图像采用LSD线段检测算法提取出关键线，确定包含各条关键线的正矩形区域，由于RGB图与深度图是对齐的，因此可将上述所有矩形的位置映射到深度图中。
步骤三，在深度图中对各矩形区域采取深度滤波的方法进行深度推断，补充深度图中灰度值为0的像素位置。以上步骤完成了针对线特征的深度推断部分。
步骤四，通过匹配好的3D线段，利用最小二乘解及RANSAC方法即可求解位姿。
步骤五，构建包含距离误差及角度误差的雅克比矩阵，利用高斯-牛顿法优化位姿。优化位姿过程中，一般方法利用3D线段的端点坐标投影到像素系中，计算两个端点到像素系中2D观测线的距离。但3D线段的端点来自于2D线段的端点反投影，若2D线段端点处的深度值不可靠，那么3D线段的端点也变得不准确。因此所述线特征视觉里程计的优化过程采用拟合3D线段时的最佳过直线两点参与优化过程，并且加入了3D线段投影到像素系中的2D线段l3D→2D与像素系中观测线段lpixel_2D的角度误差信息，推导误差对于李代数位姿的雅克比矩阵，采用高斯-牛顿法进行位姿优化。利用深度相机获取彩色图像及深度图像。首先使用LSD(Line Segment Detector)线段检测算法提取彩色图像中的2D线特征，而后确定包含线特征的各矩形区域，接着将各矩形区域映射到深度图中，针对深度缺失问题，对各矩形区域使用像素滤波方法进行深度推断。之后均匀采样2D线特征中的点，结合深度推断后的深度图反投影为3D点，利用RANSAC方法找到过直线的最佳两点拟合3D线段，根据3D线段的匹配关系估计相机位姿。最后，构建包含距离误差及角度误差的雅克比矩阵，利用高斯-牛顿法优化位姿。
本发明针对使用深度相机的线特征视觉里程计会产生深度缺失，导致在由2D线拟合3D线的过程中由于深度缺失而导致没有足够多的3D点从而无法拟合或可靠性降低问题，提出在线特征的视觉里程计中结合了深度推断方法，并且在位姿优化部分采用了拟合3D线段过程中的最佳过直线两点到观测2D线段的重投影误差，另加入了一个角度误差信息，进一步提高优化后位姿的准确度。所涉及的方法总体系统框图如图1所示，具体实施过程分为以下步骤：
步骤一，RGB-D相机采集RGB图像及深度图像，对于某一帧的两幅图像，假定是已对齐的(即RGB图中的某一点像素与深度图中该位置的像素是来自于同一处)。
步骤二，使用LSD线段检测算法提取RGB图中的关键线特征并计算每条线特征的LBD描述子。
步骤三，计算包含每条线特征的正矩形区域，将矩形区域映射到深度图中，矩形区域为待推断区域，对所有矩形区域内采用像素滤波的方法进行深度推断。定义一个5×5像素的滤波器，中心位置为待修复像素，将该滤波器分为内外两层，则内层为8个像素，外层为16个像素。定义内层阈值为T1，外层阈值为T2。若内层非0灰度值的像素个数大于T1，并且外层非0灰度值的像素个数大于T2，则将中心待修复像素的灰度值推断为内外层所有像素灰度值的众数；其余情况不改变中心待修复像素的灰度值。该步骤完成所有矩形区域内的像素推断。
步骤四，将步骤二中采集到的2D线特征结合推断后的深度图拟合3D线段。拟合过程如图2所示。下面针对某一条2D线段l阐述拟合过程：首先在l上均匀采样2D点，对第j个2D点记为
gj＝[uj vj]T (1)
其中，uj,vj为该点在像素系中的横纵坐标，T代表转置。根据针孔相机模型，将该2D点反投影为相机坐标系下3D坐标，记为
Figure BDA0002220471950000051
其中，xj,yj,zj为相机坐标系下3D坐标，cu,cv为相机光心坐标，fu,fv为焦距，s为尺度因子，dj为gj所对应的深度值。
对于l上其他2D点也执行以上操作，形成一系列3D点集合{Gj},j＝1,2,...,N。N为l上2D点个数。定义拟合阈值T3D。对{Gj}中的3D点每次选取其中两个，形成3D线段，计算其余点到该3D线的欧氏距离，若小于T3D则记为内点，统计内点数量，选取内点数最多的一组两点(P,Q)∈{Gj}作为该3D线段的最优过点。
我们通过两个向量
Figure BDA0002220471950000052
来表示3D线。记三维线段为L，向量/>
Figure BDA0002220471950000053
是L的单位方向向量，向量/>
Figure BDA0002220471950000054
的模为相机原点到该3D线L的距离，/>
Figure BDA0002220471950000055
的方向平行于由相机原点与该3D线L所构成的平面的法向量。假设m是线段的中点，则/>
Figure BDA0002220471950000056
与/>
Figure BDA0002220471950000057
的关系为：
Figure BDA0002220471950000058
其中∧运算为叉乘，事实上，m可以是线段上的任意一点。
综上，该步骤完成2D线段反投影为3D线段。
步骤五，将当前帧估计出的3D线段与局部地图中的3D线段利用LBD(Line BandDescriptor)描述子进行匹配(若当前帧为第一帧则将当前帧的所有3D线段加入到局部地图)。
步骤六，根据匹配结果解算位姿。针对当前帧和局部地图中的第i对匹配线段，位姿变换前的线段
Figure BDA0002220471950000059
与变换后的线段/>
Figure BDA00022204719500000510
的约束关系为/>
Figure BDA00022204719500000511
其中,上标r用于指示变换前，上标c用于指示变换后，R是3×3旋转矩阵，t为平移向量。由
Figure BDA00022204719500000512
计算如下目标函数即可得到旋转矩阵R*：
Figure BDA0002220471950000061
其中，下标i表示第i对匹配线，算子
Figure BDA0002220471950000062
代表二范数的平方。接下来，由
Figure BDA0002220471950000063
计算如下目标函数可得到平移t*：
Figure BDA0002220471950000064
其中，算子
Figure BDA0002220471950000065
代表二范数的平方。
为了尽可能避免选取的两组向量平行，我们选择三组匹配线段计算出初始位姿。遍历所有匹配线，每次选取三组，利用RANSAC选取最合适的位姿。
步骤七，优化位姿结果。如图3所示，首先将世界坐标系下的3D线段(P,Q)投影到相机坐标系下，其中(P,Q)为拟合该3D线段时的最佳两个过点。接着，将相机坐标系下的线段重投影至像素坐标系下，得到2D线段l3D→2D。像素坐标系中的观测线段lpixel_2D上的两点(x,y)为该观测线段的端点，优化过程中定义了三个误差量，分别为：
e1：q'到lpixel_2D的距离，其中q'为Q的重投影像素位置。
e2：p'到lpixel_2D的距离，其中q'为P的重投影像素位置。
e3：向量
Figure BDA0002220471950000066
与向量/>
Figure BDA0002220471950000067
的夹角的余弦值。
则总体误差为e＝[e1,e2,e3]T，其中T为转置。求取误差e对李代数位姿δξ的3×6雅克比矩阵：
Figure BDA0002220471950000068
其中，
Figure BDA0002220471950000069
代表误差对李代数位姿δξ求取偏导数，其中T为转置。
最后，根据上述雅克比矩阵采用高斯-牛顿法进行优化即可，根据优化后的位姿结果判断是否将该帧的线特征加入局部地图。
以上所有步骤即可完成对某一帧的相机位姿估计，重复步骤一至步骤七即可估计连续帧的位姿变换，完成视觉里程计功能。
综上所述：本发明公开了一种结合深度图推断的线特征视觉里程计方法，属于机器人视觉SLAM(Simultaneous Localization and Mapping，同步定位与地图构建)领域。利用深度相机获取彩色图像及深度图像。首先使用LSD(Line Segment Detector，线段检测器)线段检测算法提取彩色图像中的2D线特征，而后确定包含线特征的各矩形区域，接着将各矩形区域映射到深度图中，针对深度缺失问题，对各矩形区域使用像素滤波方法进行深度推断。之后采样2D线特征中的点，结合深度推断后的深度图反投影为3D点，利用RANSAC(Random sampling consistency，随机采样一致性)方法找到过直线的最佳两点拟合3D线段，根据3D线段的匹配关系估计相机位姿。最后，构建包含距离误差及角度误差的雅克比矩阵，利用高斯-牛顿法优化位姿。

Claims (2)

1.一种结合深度图推断的线特征视觉里程计方法，其特征是，包括如下步骤：
步骤一、利用深度相机采集某一帧的彩色图像及深度图像；
步骤二、使用线段检测算法提取彩色图像中的2D线特征，而后确定包含线特征的各矩形区域；
步骤三、将各矩形区域映射到深度图像中，针对深度缺失问题，对各矩形区域使用像素滤波方法进行深度推断；
步骤四、采样2D线特征中的点，结合深度推断后的深度图像反投影为3D点，利用随机采样一致性方法找到过直线的最佳两点拟合3D线段，根据3D线段的匹配关系估计相机位姿；
所述步骤四具体为：
首先在线段l上均匀采样2D点，对第j个2D点记为
gj＝[uj vj]T
其中，uj,vj为该点在像素系中的横纵坐标，T代表转置，根据针孔相机模型，将该2D点反投影为相机坐标系下3D坐标，记为
Figure FDA0004172220850000011
其中，xj,yj,zj为相机坐标系下3D坐标，cu,cv为相机光心坐标，fu,fv为焦距，s为尺度因子，dj为gj所对应的深度值；
对于l上其他2D点也执行以上操作，形成一系列3D点集合{Gj},j＝1,2,...,N，N为l上2D点个数，定义拟合阈值T3D，对{Gj}中的3D点每次选取其中两个，形成3D线段，计算其余点到该3D线段的欧氏距离，若小于T3D则记为内点，统计内点数量，选取内点数最多的一组两点(P,Q)∈{Gj}作为该3D线段的最优过点；
通过两个向量
Figure FDA0004172220850000012
来表示3D线段，记三维线段为L，向量/>
Figure FDA0004172220850000013
是L的单位方向向量，向量/>
Figure FDA0004172220850000014
的模为相机原点到该3D线段L的距离，/>
Figure FDA0004172220850000015
的方向平行于由相机原点与该3D线段L所构成的平面的法向量，假设m是线段的中点，则/>
Figure FDA0004172220850000016
与/>
Figure FDA0004172220850000017
的关系为：
Figure FDA0004172220850000018
其中^运算为叉乘，m是线段上的任意一点，该步骤完成2D线段反投影为3D线段；
步骤五、构建包含距离误差及角度误差的雅克比矩阵，利用高斯-牛顿法优化位姿，根据优化后的位姿结果判断是否将该帧的线特征加入局部地图，完成对某一帧的相机位姿估计；
步骤六、重复步骤一至五估计连续帧的位姿变换，完成视觉里程计功能。
2.根据权利要求1所述的结合深度图推断的线特征视觉里程计方法，其特征是，所述彩色图像中的某一点像素与深度图像中该点的像素是来自于同一处。
CN201910932055.9A 2019-09-29 2019-09-29 一种结合深度图推断的线特征视觉里程计方法 Active CN110807799B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910932055.9A CN110807799B (zh) 2019-09-29 2019-09-29 一种结合深度图推断的线特征视觉里程计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910932055.9A CN110807799B (zh) 2019-09-29 2019-09-29 一种结合深度图推断的线特征视觉里程计方法

Publications (2)

Publication Number Publication Date
CN110807799A CN110807799A (zh) 2020-02-18
CN110807799B true CN110807799B (zh) 2023-05-30

Family

ID=69488020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910932055.9A Active CN110807799B (zh) 2019-09-29 2019-09-29 一种结合深度图推断的线特征视觉里程计方法

Country Status (1)

Country Link
CN (1) CN110807799B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427047B (zh) * 2020-03-30 2023-05-05 哈尔滨工程大学 一种大场景下自主移动机器人slam方法
CN111899280B (zh) * 2020-07-13 2023-07-25 哈尔滨工程大学 采用深度学习和混合型位姿估计的单目视觉里程计方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106556412A (zh) * 2016-11-01 2017-04-05 哈尔滨工程大学 一种室内环境下考虑地面约束的rgb‑d视觉里程计方法
CN107084714A (zh) * 2017-04-29 2017-08-22 天津大学 一种基于RoboCup3D的多机器人协作目标定位方法
CN108053445A (zh) * 2017-12-08 2018-05-18 中南大学 特征融合的rgb-d相机运动估计方法
CN108303099A (zh) * 2018-06-14 2018-07-20 江苏中科院智能科学技术应用研究院 基于三维视觉slam的无人机室内自主导航方法
CN108399610A (zh) * 2018-03-20 2018-08-14 上海应用技术大学 一种融合rgb图像信息的深度图像增强方法
CN109166149A (zh) * 2018-08-13 2019-01-08 武汉大学 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN110060277A (zh) * 2019-04-30 2019-07-26 哈尔滨理工大学 一种多特征融合的视觉slam方法
CN110120093A (zh) * 2019-03-25 2019-08-13 深圳大学 一种多元特征混合优化的rgb-d室内三维测图方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9761008B2 (en) * 2014-05-08 2017-09-12 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for visual odometry using rigid structures identified by antipodal transform

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106556412A (zh) * 2016-11-01 2017-04-05 哈尔滨工程大学 一种室内环境下考虑地面约束的rgb‑d视觉里程计方法
CN107084714A (zh) * 2017-04-29 2017-08-22 天津大学 一种基于RoboCup3D的多机器人协作目标定位方法
CN108053445A (zh) * 2017-12-08 2018-05-18 中南大学 特征融合的rgb-d相机运动估计方法
CN108399610A (zh) * 2018-03-20 2018-08-14 上海应用技术大学 一种融合rgb图像信息的深度图像增强方法
CN108303099A (zh) * 2018-06-14 2018-07-20 江苏中科院智能科学技术应用研究院 基于三维视觉slam的无人机室内自主导航方法
CN109166149A (zh) * 2018-08-13 2019-01-08 武汉大学 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN110120093A (zh) * 2019-03-25 2019-08-13 深圳大学 一种多元特征混合优化的rgb-d室内三维测图方法及系统
CN110060277A (zh) * 2019-04-30 2019-07-26 哈尔滨理工大学 一种多特征融合的视觉slam方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张华 ; 夏菠 ; .基于双目视觉的机器人自定位方法研究.华中科技大学学报(自然科学版).2015,(S1),第3页. *
王开宇 ; 夏桂华 ; 朱齐丹 ; 夏国清 ; 吴迪 ; .基于EKF的全景视觉机器人SLAM算法.计算机应用研究.2013,(11),全文. *

Also Published As

Publication number Publication date
CN110807799A (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
CN110223348B (zh) 基于rgb-d相机的机器人场景自适应位姿估计方法
Choi et al. RGB-D edge detection and edge-based registration
CN111210463B (zh) 基于特征点辅助匹配的虚拟宽视角视觉里程计方法及系统
CN108537848B (zh) 一种面向室内场景重建的两级位姿优化估计方法
CN108921895B (zh) 一种传感器相对位姿估计方法
CN109544636A (zh) 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法
CN112902953A (zh) 一种基于slam技术的自主位姿测量方法
CN108168539A (zh) 一种基于计算机视觉的盲人导航方法、装置及系统
CN104463108A (zh) 一种单目实时目标识别及位姿测量方法
CN111981982B (zh) 一种基于加权sfm算法的多向合作靶标光学测量方法
CN113658337B (zh) 一种基于车辙线的多模态里程计方法
CN112556719B (zh) 一种基于cnn-ekf的视觉惯性里程计实现方法
US6175648B1 (en) Process for producing cartographic data by stereo vision
CN112686877A (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
CN110807799B (zh) 一种结合深度图推断的线特征视觉里程计方法
CN110310331A (zh) 一种基于直线特征与点云特征结合的位姿估计方法
CN114419028A (zh) 融合空间多视角的输电线路绝缘子缺陷去重方法及装置
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
Tamas et al. Relative pose estimation and fusion of omnidirectional and lidar cameras
CN112652020A (zh) 一种基于AdaLAM算法的视觉SLAM方法
CN115471748A (zh) 一种面向动态环境的单目视觉slam方法
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
Feng et al. Semi-automatic 3d reconstruction of piecewise planar building models from single image
CN112419411A (zh) 一种基于卷积神经网络和光流特征视觉里程计的实现方法
CN112731503A (zh) 一种基于前端紧耦合的位姿估计方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant