CN108305278B - 一种orb-slam算法中图像匹配相关性改进方法 - Google Patents

一种orb-slam算法中图像匹配相关性改进方法 Download PDF

Info

Publication number
CN108305278B
CN108305278B CN201810091685.3A CN201810091685A CN108305278B CN 108305278 B CN108305278 B CN 108305278B CN 201810091685 A CN201810091685 A CN 201810091685A CN 108305278 B CN108305278 B CN 108305278B
Authority
CN
China
Prior art keywords
pixel
key frame
orb
polar
slam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810091685.3A
Other languages
English (en)
Other versions
CN108305278A (zh
Inventor
张葛祥
朱英
荣海娜
吴思东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN201810091685.3A priority Critical patent/CN108305278B/zh
Publication of CN108305278A publication Critical patent/CN108305278A/zh
Application granted granted Critical
Publication of CN108305278B publication Critical patent/CN108305278B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

本发明公开了一种ORB‑SLAM算法中图像匹配相关性改进方法，首先对提取的关键帧进行降采样处理，以提高数据处理速度。然后利用关键帧间的共视关系，使用对极几何原理，计算关键帧之间的对应极线，并使用逆深度高斯方法估计极线取值范围。最后进行去均值NCC匹配。本发明的有益效果在于，针对半稠密ORB‑SLAM算法得到的半稠密地图中特征点误匹配较多的问题，在半稠密ORB‑SLAM极线搜索匹配中，加入去均值NCC，增强特征点匹配的准确性。该方法适用于各种复杂的大场景环境，具有更高的定位精度和实时性。经实验验证，本发明算法在室内定位精度最小可达到2mm，定位精度与原作者相比较，平均提高了7％，实时性也有所提高。

Description

一种ORB-SLAM算法中图像匹配相关性改进方法
技术领域
本发明属于计算机视觉领域，特别是一种ORB-SLAM算法中图像匹配相关性改进方法。
背景技术
由于图像具有获得环境信息更加丰富，并且其采集设备体积较小、便于硬件集成、成本低等优势，同时随着人工智能的兴起，计算机视觉成为发展人工智能必不可缺的关键技术之一。由于计算机硬件的不断发展，视觉信息的处理也越来越接近实时化，利用视觉信息进行实时的定位和地图构建在提高信息获取量的同时也极大的降低了智能产品的价格。目前利用计算机视觉技术进行无人驾驶的定位、导航、自动泊车、虚拟现实、增强现实等已成为广大研究人员的研究的热点。其中基于视觉的实时定位和地图构建(SimultaneousLocalization And Mapping，SLAM)是定位、导航和自动泊车等的关键技术之一。
在视觉SLAM领域中，按照安装的视觉传感器的数目，视觉SLAM可分为单目视觉SLAM、双目视觉SLAM等。在双目视觉SLAM中，由于两个摄像头之间的距离即基线和角度是固定不变的，根据立体几何关系很容易得到3D信息。但是单目视觉没有固定基线，在立体匹配上要进行更复杂的处理才能得到图像3D信息。但相对于双目视觉SLAM，单目视觉SLAM可以在获取双目一半的数据中完成实时定位和地图构建，可降低SLAM对计算机内存的要求，并且针对一些特殊用途的小型设备，单目更利于集成。
在单目视觉SLAM方法中，西班牙萨拉戈萨大学博士Raulmur等人在2015年提出ORB-SLAM(Oriented Brief SLAM)算法是目前解决单目视觉SLAM的最佳方案。他发表的“ORB-SLAM:A Versatile and Accurate Monocular SLAM System，in IEEE Transactionson Robotics，vol.31，no.5，pp.1147-1163，Oct.2015”文章，被评为2015年IEEE最佳年度论文。之后，Raulmur等人在论文“Probabulistic Semi-Dense Mapping from HighlyAccurate Feature-Based Monocular SLAM”中进一步增加了半稠密地图构建的线程，获得环境信息更加丰富的三维地图。但是基于概率的半稠密ORB-SLAM在极线搜索和极线上像素匹配过程中，只采用单个像素进行比较，会导致匹配误差较大，从而在构建出的地图中会存在很多误匹配的噪点。本发明针对原始算法存在的图像匹配相关性的不足问题，提出了一种改进ORB-SLAM算法图像匹配的方法，降低图像匹配的同时，提高了整个算法的定位精度和实时性，使得半稠密ORB-SLAM算法能够更好的应用在复杂大场景实时定位和地图构建上。
发明内容
为了改进现有半稠密ORB-SLAM算法在极线搜索上特征点匹配较低的不足并提高半稠密ORB-SLAM的定位精度，本发明提出了一种ORB-SLAM算法中图像匹配相关性改进方法。
实现本发明目的的技术方案如下：
一种ORB-SLAM算法中图像匹配相关性改进方法，包括
步骤一：关键帧提取与降采样：利用ORB-SLAM的关键帧提取方法，对
Figure GDA0002297732140000011
视频流进行关键帧的筛选，筛选得到的关键帧的集合记作K＝{ki}，i＝1，2，…，m，其中m<v且关键帧集合和IO满足K∈IO且
Figure GDA0002297732140000021
对每个关键帧Ki进行步长为n降采样，即
Figure GDA0002297732140000022
其中表示关键帧Ki上的像素坐标；把经过降采样的关键帧集合记作k＝{ki}；
步骤二：图像极线求取，包括
选择关键帧ki中像素梯度大于经验阈值λG的像素值f(XPi)在关键帧kj中进行极线搜索，其中j＝2，3，…，m；
在关键帧kj中利用基础矩阵Fji计算ki中像素点对应的极线，
Figure GDA0002297732140000024
其中
Figure GDA0002297732140000025
表示在关键帧kj中的图像坐标矩阵的转置，包含齐次像素坐标[p q 1]T，XPi表示关键帧ki中的图像坐标，Ij表示在关键帧kj上的极线，p、q表示横、纵坐标；
步骤三：去均值NCC匹配，包括
遍历关键帧ki中每个像素位置其中t＝0,1,2,…,w，其中w表示关键帧ki像素总的像素位置；计算以像素位置
Figure GDA0002297732140000027
为中心，半径为N个像素单位的像素位置范围内的像素的平均值，记作
按照满足所有如下要求，选择每个
Figure GDA0002297732140000029
对应的关键帧kj极线上的像素
Figure GDA00022977321400000210
的位置：
的梯度值大于λG；
Figure GDA00022977321400000212
处的像素梯度方向不与极线方向垂直，其中ΘL是考虑了正向和反向的极线的夹角，
Figure GDA00022977321400000214
表示
Figure GDA00022977321400000215
处的像素梯度方向，ΘL表示极线的方向，λL表示像素梯度方向和极线方向夹角的差值，λL小于90；
极线上
Figure GDA00022977321400000216
的方向满足
Figure GDA00022977321400000217
其中Δθj，i是关键帧ki和kj之间的旋转角，λθ表示角度差值，
Figure GDA00022977321400000218
表示像素位置
Figure GDA00022977321400000219
的夹角；
在每个
Figure GDA00022977321400000220
对应的关键帧kj极线上，对于符合要求的每个像素位置
Figure GDA00022977321400000221
计算以像素位置
Figure GDA00022977321400000222
为中心，半径为N个像素单位的像素位置范围内的像素值的平均值，记作
Figure GDA00022977321400000223
其中，计算关键帧kj极线上的像素值，采用双线性差值的方法，包括
令
Figure GDA00022977321400000224
为关键帧kj的极线上的点的坐标，对
Figure GDA00022977321400000225
点坐标向下取整，
Figure GDA00022977321400000234
在
Figure GDA00022977321400000226
点周围选择与其最邻近的四个整数像素点，分别记为
Figure GDA00022977321400000227
Figure GDA00022977321400000228
和
Figure GDA00022977321400000229
计算
Figure GDA00022977321400000230
点的像素值：
Figure GDA00022977321400000231
Figure GDA00022977321400000232
其中f()表示该点的像素值，g(x0，y0)表示
Figure GDA00022977321400000233
处的像素值；
极线上NCC匹配，即
Figure GDA0002297732140000031
其中，表示
Figure GDA0002297732140000033
两点之间的相关性，取值范围为[-1,1]。
本发明的有益效果是：首先对提取的关键帧进行降采样处理，以提高数据处理速度。然后利用关键帧间的共视关系，使用对极几何原理，计算关键帧之间的对应极线，并使用逆深度高斯方法估计极线取值范围。最后进行去均值NCC匹配。针对半稠密ORB-SLAM算法得到的半稠密地图中特征点误匹配较多的问题，在半稠密ORB-SLAM极线搜索匹配中，加入NCC，增强特征点匹配的准确性。该方法适用于各种复杂的大场景环境，具有更高的定位精度和实时性。经实验验证，本发明算法在室内定位精度最小可达到2mm，定位精度与原作者相比较，平均提高了7％，实时性也有所提高。
附图说明
图1为本发明实施例的关键帧间像素的极线搜索示意图。
其中ki和kj表示关键帧，XP代表关键帧ki中的像素坐标，Xj表示关键帧kj极线上的像素坐标，kikj之间的长度代表基线长，P表示空间中的3D坐标点，该点与ki的距离的倒数服从高斯分布。由于图像只包含2D信息，所以空间坐标中的不同远近的物体会投影到一个点上，在kj对应一条直线，即极线。
图2为双线性插值图。
图3为本发明方法实施例的流程图。
图4为使用TUM数据集f2-desk复现原作者算法得到的三维地图。
图5为本发明使用TUM数据集f2-desk得到的三维地图。
具体实施方式
本发明的主要流程如图3所示，包含以下步骤：
步骤一、关键帧提取与降采样
利用ORB-SLAM的关键帧提取方法，对
Figure GDA0002297732140000034
图像流进行关键帧的筛选，筛选得到的关键帧的集合记作K＝{K1，K2，K3，…，Km}，其中m为关键帧的数目，m<v且关键帧集合和IO满足下面的关系：
K∈IO
Figure GDA0002297732140000035
将所有关键帧的集合，记作K＝{K1，K2，K3，…，Km}，对每个关键帧Ki(i＝1，2，…，m)进行降采样。
由于特征点匹配会消耗大量的时间，而梯度较高的像素点匹配相似度会更高，所以对关键帧K＝{K1，K2，K3，…，Km}进行步长为n＝2的降采样，如下所示：
其中
Figure GDA0002297732140000042
表示关键帧Ki上的像素坐标，为了简便，把经过降采样变换后的关键帧集合记作k＝{k1，k2，k3，…，km}。关键帧降采样可以提高高梯度的像素选择速度，减少冗余数据，提高算法的实时性。
步骤二、图像极线求取
首先计算极线方程，详细步骤如下：
1、选择图像关键帧ki中像素梯度大于某一经验阈值λG的像素f(XPi)在图像关键帧kj中进行极线搜索，其中j＝2，3，…，m。
2、在图像关键帧kj中利用基础矩阵Fji计算ki中像素点对应的极线，计算公式为：
Figure GDA0002297732140000043
其中
Figure GDA0002297732140000044
表示在关键帧kj中的图像坐标矩阵的转置，包含齐次像素坐标[p q 1]T，XPi表示关键帧ki中的图像坐标，Ij表示在关键帧kj上的极线，p、q表示横、纵坐标。
参见图1，由于像素点XP反投影到空间坐标，其深度的倒数服从高斯分布，选择适当的高斯分布范围内的点，投影到关键帧kj的极线上，就可将无限长的极线简化成有限的线段，极大的提高计算效率。
步骤三、去均值NCC匹配
1、遍历关键帧ki中每个像素位置
Figure GDA0002297732140000045
其中t＝0,1,2,…,w，其中w表示关键帧ki像素总的像素位置；计算以像素位置
Figure GDA0002297732140000046
为中心，半径为N个像素单位的像素位置范围内的像素的平均值，记作
Figure GDA0002297732140000047
2、按照如下要求，选择每个对应的关键帧kj极线上的像素
Figure GDA0002297732140000049
的位置：
2.1要位于高梯度的位置，其梯度值要大于λG＝30。
2.2
Figure GDA00022977321400000411
处的像素梯度方向不与极线方向垂直，
Figure GDA00022977321400000412
其中ΘL是考虑了正向和反向的极线的夹角，其中
Figure GDA00022977321400000413
表示
Figure GDA00022977321400000414
处的像素梯度方向，ΘL表示极线的方向，λL表示像素梯度方向和极线方向夹角的差值，λL小于90；可令λL＝75。
2.3极线上的方向满足
Figure GDA00022977321400000416
其中Δθj，i是关键帧ki和kj之间的旋转角，λθ表示角度差值，
Figure GDA00022977321400000417
表示像素位置
Figure GDA00022977321400000418
的夹角；可令λθ＝35。
3、在每个
Figure GDA00022977321400000419
对应的关键帧kj极线上，对于符合要求的每个像素位置
Figure GDA00022977321400000420
计算以像素位置
Figure GDA00022977321400000421
为中心，半径为N个像素单位的像素位置范围内的像素值的平均值，记作
Figure GDA0002297732140000051
其中，为了更加精确地计算关键帧kj极线上点的像素值，采用双线性差值的方法，具体做法如下：
参见图2，假设
Figure GDA0002297732140000052
是关键帧kj的极线上的点的坐标，对
Figure GDA0002297732140000053
点坐标向下取整，如下所示：
Figure GDA0002297732140000054
Figure GDA0002297732140000055
在
Figure GDA0002297732140000056
点周围选择与其最邻近的四个整数像素点，分别记为
Figure GDA0002297732140000057
Figure GDA0002297732140000058
和
Figure GDA0002297732140000059
按照下面的公式计算
Figure GDA00022977321400000510
点的像素值：
Figure GDA00022977321400000511
其中f()表示该点的像素值，g(x0，y0)表示
Figure GDA00022977321400000512
处的像素值。
4、极线上NCC匹配方法
使用NCC算法进一步约束极线上的匹配对应点，用来得到匹配更好的特征点，其计算公式是：
Figure GDA00022977321400000513
其中，N表示匹配范围大小，f()表示该点的像素值。，
Figure GDA00022977321400000514
表示两点之间的相关性，取值范围为[-1,1]，计算结果越接近1表示这两点的相关性越大，反之越小。本实验中选择R的值为0.8，即NCC的计算结果大于0.8时，表明XP，Xj是匹配点。
步骤四、半稠密ORB-SLAM算法参数优化调整
针对ORB-SLAM原作者在算法中涉及到的经验值参数，在实际操作中，对参数按照控制变量法或者枚举法进行调整，调整的参数包括像λG像素梯度、λL是匹配点在极线方向与像素梯度方向间的约束角(不能垂直)、λθ梯度方向、λN逆深度匹配假设点个数、θ梯度和灰度噪声之间的关系系数、以及步骤三中涉及到的NCC归一化互相关算法匹配分数。
使用TUM数据集上6个公开的数据集进行测试，不断优化经验值参数，得到的优化参数如表1所示：
表1经验参数优化调整
Figure GDA00022977321400000516
Figure GDA0002297732140000061
步骤五、验证本发明算法的定位精度
将本方法得到的关键帧轨迹数据，首先进行四元数转换，转换成世界坐标系下的(x，y，z)，然后通过时间戳信息与TUM数据集中对应的基准轨迹数据使用RMSE方法对定位精度进行评估。说怎么进行轨迹评估的，用均方根误差(RMSE)方法进行评估，具体的计算公式是：
其中
Figure GDA0002297732140000063
表示第i个关键帧ki的三维位置，
Figure GDA0002297732140000064
表示对应的基准图像的三维位置，m表示关键帧的数目。
用TUM数据集上的6个公开的数据集，使用表1中的优化参数，记录每个数据集进行实时定位和地图构建精度，并与ORB-SLAM比较，得到如下表2所示的结果：
表2本方法与原算法RMSE误差比较
Figure GDA0002297732140000065
对于构建的三维地图，图4是原始算法构建的TUM数据集中f1-desk2的地图，图5是本方法构建的对应图像。对比图3和图4，可以发现本方法能够有效的剔除深度匹配不准确的点，得到的半稠密地图包含的有用信息更多且地图轮廓更清晰。

Claims (1)

1.一种ORB-SLAM算法中图像匹配相关性改进方法，其特征在于，包括
步骤一：关键帧提取与降采样：利用ORB-SLAM的关键帧提取方法，对
Figure FDA0002297732130000011
视频流进行关键帧的筛选，筛选得到的关键帧的集合记作K＝{Ki}，i＝1，2，…，m，其中m<v且关键帧集合和IO满足K∈IO且
Figure FDA0002297732130000012
对每个关键帧Ki进行步长为n降采样，即
Figure FDA0002297732130000013
Figure FDA0002297732130000014
其中
Figure FDA0002297732130000015
表示关键帧Ki上的像素坐标；把经过降采样的关键帧集合记作k＝{ki}；
步骤二：图像极线求取，包括
选择关键帧ki中像素梯度大于经验阈值λG的像素值f(XPi)在关键帧kj中进行极线搜索，其中j＝2，3，…，m；
在关键帧kj中利用基础矩阵Fji计算ki中像素点对应的极线，
Figure FDA0002297732130000016
其中表示在关键帧kj中的图像坐标矩阵的转置，包含齐次像素坐标[p q 1]T，XPi表示关键帧ki中的图像坐标，
Ij表示在关键帧kj上的极线，p、q表示横、纵坐标；
步骤三：去均值NCC匹配，包括
遍历关键帧ki中每个像素位置
Figure FDA0002297732130000018
其中t＝0,1,2,…,w，其中w表示关键帧ki像素总的像素位置；计算以像素位置为中心，半径为N个像素单位的像素位置范围内的像素的平均值，记作
Figure FDA00022977321300000110
按照满足所有如下要求，选择每个
Figure FDA00022977321300000111
对应的关键帧kj极线上的像素
Figure FDA00022977321300000112
的位置：
Figure FDA00022977321300000113
的梯度值大于λG；
Figure FDA00022977321300000114
处的像素梯度方向不与极线方向垂直，
Figure FDA00022977321300000115
其中ΘL是考虑了正向和反向的极线的夹角，
Figure FDA00022977321300000116
表示处的像素梯度方向，ΘL表示极线的方向，λL表示像素梯度方向和极线方向夹角的差值，λL小于90；
极线上的方向满足
Figure FDA00022977321300000119
其中Δθj，i是关键帧ki和kj之间的旋转角，λθ表示角度差值，
Figure FDA00022977321300000120
表示像素位置的夹角；
在每个
Figure FDA00022977321300000122
对应的关键帧kj极线上，对于符合要求的每个像素位置
Figure FDA00022977321300000123
计算以像素位置
Figure FDA00022977321300000124
为中心，半径为N个像素单位的像素位置范围内的像素值的平均值，记作
Figure FDA00022977321300000125
其中，计算关键帧kj极线上的像素值，采用双线性差值的方法，包括
令
Figure FDA00022977321300000126
为关键帧kj的极线上的点的坐标，对
Figure FDA00022977321300000127
点坐标向下取整，
Figure FDA00022977321300000133
在
Figure FDA00022977321300000128
点周围选择与其最邻近的四个整数像素点，分别记为
Figure FDA00022977321300000129
Figure FDA00022977321300000130
和
Figure FDA00022977321300000131
计算
Figure FDA00022977321300000132
点的像素值：
Figure FDA0002297732130000022
其中f()表示该点的像素值，g(x0，y0)表示
Figure FDA0002297732130000023
处的像素值；
极线上NCC匹配，即
Figure FDA0002297732130000024
其中，
Figure FDA0002297732130000025
表示
Figure FDA0002297732130000026
两点之间的相关性，取值范围为[-1,1]。
CN201810091685.3A 2018-01-30 2018-01-30 一种orb-slam算法中图像匹配相关性改进方法 Expired - Fee Related CN108305278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810091685.3A CN108305278B (zh) 2018-01-30 2018-01-30 一种orb-slam算法中图像匹配相关性改进方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810091685.3A CN108305278B (zh) 2018-01-30 2018-01-30 一种orb-slam算法中图像匹配相关性改进方法

Publications (2)

Publication Number Publication Date
CN108305278A CN108305278A (zh) 2018-07-20
CN108305278B true CN108305278B (zh) 2020-02-21

Family

ID=62867511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810091685.3A Expired - Fee Related CN108305278B (zh) 2018-01-30 2018-01-30 一种orb-slam算法中图像匹配相关性改进方法

Country Status (1)

Country Link
CN (1) CN108305278B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961103B (zh) * 2019-04-02 2020-10-27 北京迈格威科技有限公司 特征提取模型的训练方法、图像特征的提取方法及装置
CN110531618B (zh) * 2019-08-27 2020-07-31 河海大学 基于有效关键帧的闭环检测机器人自定位误差消除方法
CN111045017B (zh) * 2019-12-20 2023-03-31 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN113034601A (zh) * 2021-04-27 2021-06-25 贵州大学 一种在环境建模中场景地图点与图像帧的匹配方法
CN113177971A (zh) * 2021-05-07 2021-07-27 中德（珠海）人工智能研究院有限公司 一种视觉跟踪方法、装置、计算机设备及存储介质
CN115309988B (zh) * 2022-08-10 2023-07-07 上海迪塔班克数据科技有限公司 一种网页搜索内容匹配方法、系统及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358624A (zh) * 2017-06-06 2017-11-17 武汉几古几古科技有限公司 单目稠密即时定位与地图重建方法
CN107533763A (zh) * 2015-05-14 2018-01-02 索尼公司 图像处理装置、图像处理方法及程序

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107533763A (zh) * 2015-05-14 2018-01-02 索尼公司 图像处理装置、图像处理方法及程序
CN107358624A (zh) * 2017-06-06 2017-11-17 武汉几古几古科技有限公司 单目稠密即时定位与地图重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Real-Time Dense Simultaneous Localization and Mapping using Monocular Cameras;W. Nicholas Greene et al.;《MASSACHUSETTS INSTITUTE OF TECHNOLOGY》;20160926;第1-100页 *
SLAM based Quasi Dense Reconstruction For Minimally Invasive Surgery Scenes;Nader Mahmoud et al.;《arXiv:1705.09107v1 [cs.CV]》;20170325;第1-5页 *

Also Published As

Publication number Publication date
CN108305278A (zh) 2018-07-20

Similar Documents

Publication Publication Date Title
CN108305278B (zh) 一种orb-slam算法中图像匹配相关性改进方法
CN110335337B (zh) 一种基于端到端半监督生成对抗网络的视觉里程计的方法
US20210142095A1 (en) Image disparity estimation
CN108564616B (zh) 快速鲁棒的rgb-d室内三维场景重建方法
IL198560A (en) A method and vision system based on motion definition
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
CN111311663B (zh) 一种实时大场景三维语义建模的方法
CN112001926B (zh) 基于多维语义映射rgbd多相机标定方法、系统及应用
CN113468950A (zh) 一种基于深度学习的无人驾驶场景下的多目标跟踪方法
Rangesh et al. Ground plane polling for 6dof pose estimation of objects on the road
Gao et al. ESGN: Efficient stereo geometry network for fast 3D object detection
Zhang et al. Robust stereo matching with surface normal prediction
CN112562001A (zh) 一种物体6d位姿估计方法、装置、设备及介质
Zhu et al. A review of 6d object pose estimation
Lu et al. Large-scale tracking for images with few textures
Tao et al. Pseudo-mono for monocular 3d object detection in autonomous driving
Li et al. Learn then match: A fast coarse-to-fine depth image-based indoor localization framework for dark environments via deep learning and keypoint-based geometry alignment
Xu et al. Learning inverse depth regression for pixelwise visibility-aware multi-view stereo networks
Lin et al. Se (3)-equivariant point cloud-based place recognition
Lai et al. 2D3D-MVPNet: Learning cross-domain feature descriptors for 2D-3D matching based on multi-view projections of point clouds
CN117351078A (zh) 基于形状先验的目标尺寸与6d姿态估计方法
CN113177969B (zh) 一种基于运动方向变化的候选种子的点云单目标跟踪方法
Yuan et al. SHREC 2020 track: 6D object pose estimation
CN114608522A (zh) 一种基于视觉的障碍物识别与测距方法
Wang et al. Object detection in 3D point cloud based on ECA mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200221

Termination date: 20210130