CN108305278A - 一种orb-slam算法中图像匹配相关性改进方法 - Google Patents

一种orb-slam算法中图像匹配相关性改进方法 Download PDF

Info

Publication number
CN108305278A
CN108305278A CN201810091685.3A CN201810091685A CN108305278A CN 108305278 A CN108305278 A CN 108305278A CN 201810091685 A CN201810091685 A CN 201810091685A CN 108305278 A CN108305278 A CN 108305278A
Authority
CN
China
Prior art keywords
pixel
key frame
polar
orb
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810091685.3A
Other languages
English (en)
Other versions
CN108305278B (zh
Inventor
张葛祥
朱英
荣海娜
吴思东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN201810091685.3A priority Critical patent/CN108305278B/zh
Publication of CN108305278A publication Critical patent/CN108305278A/zh
Application granted granted Critical
Publication of CN108305278B publication Critical patent/CN108305278B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种ORB‑SLAM算法中图像匹配相关性改进方法,首先对提取的关键帧进行降采样处理,以提高数据处理速度。然后利用关键帧间的共视关系,使用对极几何原理,计算关键帧之间的对应极线,并使用逆深度高斯方法估计极线取值范围。最后进行去均值NCC匹配。本发明的有益效果在于,针对半稠密ORB‑SLAM算法得到的半稠密地图中特征点误匹配较多的问题,在半稠密ORB‑SLAM极线搜索匹配中,加入去均值NCC,增强特征点匹配的准确性。该方法适用于各种复杂的大场景环境,具有更高的定位精度和实时性。经实验验证,本发明算法在室内定位精度最小可达到2mm,定位精度与原作者相比较,平均提高了7%,实时性也有所提高。

Description

一种ORB-SLAM算法中图像匹配相关性改进方法
技术领域
本发明属于计算机视觉领域,特别是一种ORB-SLAM算法中图像匹配相关性改进方法。
背景技术
由于图像具有获得环境信息更加丰富,并且其采集设备体积较小、便于硬件集成、成本低等优势,同时随着人工智能的兴起,计算机视觉成为发展人工智能必不可缺的关键技术之一。由于计算机硬件的不断发展,视觉信息的处理也越来越接近实时化,利用视觉信息进行实时的定位和地图构建在提高信息获取量的同时也极大的降低了智能产品的价格。目前利用计算机视觉技术进行无人驾驶的定位、导航、自动泊车、虚拟现实、增强现实等已成为广大研究人员的研究的热点。其中基于视觉的实时定位和地图构建(SimultaneousLocalization And Mapping,SLAM)是定位、导航和自动泊车等的关键技术之一。
在视觉SLAM领域中,按照安装的视觉传感器的数目,视觉SLAM可分为单目视觉SLAM、双目视觉SLAM等。在双目视觉SLAM中,由于两个摄像头之间的距离即基线和角度是固定不变的,根据立体几何关系很容易得到3D信息。但是单目视觉没有固定基线,在立体匹配上要进行更复杂的处理才能得到图像3D信息。但相对于双目视觉SLAM,单目视觉SLAM可以在获取双目一半的数据中完成实时定位和地图构建,可降低SLAM对计算机内存的要求,并且针对一些特殊用途的小型设备,单目更利于集成。
在单目视觉SLAM方法中,西班牙萨拉戈萨大学博士Raulmur等人在2015年提出ORB-SLAM(Oriented Brief SLAM)算法是目前解决单目视觉SLAM的最佳方案。他发表的“ORB-SLAM:A Versatile and Accurate Monocular SLAM System,in IEEE Transactionson Robotics,vol.31,no.5,pp.1147-1163,Oct.2015”文章,被评为2015年IEEE最佳年度论文。之后,Raulmur等人在论文“Probabulistic Semi-Dense Mapping from HighlyAccurate Feature-Based Monocular SLAM”中进一步增加了半稠密地图构建的线程,获得环境信息更加丰富的三维地图。但是基于概率的半稠密ORB-SLAM在极线搜索和极线上像素匹配过程中,只采用单个像素进行比较,会导致匹配误差较大,从而在构建出的地图中会存在很多误匹配的噪点。本发明针对原始算法存在的图像匹配相关性的不足问题,提出了一种改进ORB-SLAM算法图像匹配的方法,降低图像匹配的同时,提高了整个算法的定位精度和实时性,使得半稠密ORB-SLAM算法能够更好的应用在复杂大场景实时定位和地图构建上。
发明内容
为了改进现有半稠密ORB-SLAM算法在极线搜索上特征点匹配较低的不足并提高半稠密ORB-SLAM的定位精度,本发明提出了一种ORB-SLAM算法中图像匹配相关性改进方法。
实现本发明目的的技术方案如下:
一种ORB-SLAM算法中图像匹配相关性改进方法,包括
步骤一:关键帧提取与降采样:利用ORB-SLAM的关键帧提取方法,对视频流进行关键帧的筛选,筛选得到的关键帧的集合记作K={Ki},i=1,2,…,m,其中m<v且关键帧集合和IO满足K∈IO对每个关键帧Ki进行步长为n降采样,即其中表示关键帧Ki上的像素坐标;把经过降采样的关键帧集合记作k={ki};
步骤二:图像极线求取,包括
选择关键帧ki中像素梯度大于经验阈值λG的像素值f(XPi)在关键帧kj中进行极线搜索,其中j=2,3,…,m;
在关键帧kj中利用基础矩阵Fji计算ki中像素点对应的极线,其中表示在关键帧kj中的图像坐标矩阵的转置,包含齐次像素坐标[xy1]T,XPi表示关键帧ki中的图像坐标,Ij表示在关键帧kj上的极线;
步骤三:去均值NCC匹配,包括
遍历关键帧ki中每个像素位置其中t=0,1,2,…,w,其中w表示关键帧ki像素总的像素位置;计算以像素位置为中心,半径为N个像素单位的像素位置范围内的像素的平均值,记作
按照满足所有如下要求,选择每个对应的关键帧kj极线上的像素的位置:
的梯度值大于λG
处的像素梯度方向不与极线方向垂直,其中ΘL是考虑了正向和反向的极线的夹角,表示处的像素梯度方向,ΘL表示极线的方向,λL表示像素梯度方向和极线方向夹角的差值,λL小于90;
极线上的方向满足其中Δθji是关键帧ki和kj之间的旋转角,λθ表示角度差值,表示像素位置的夹角;
在每个对应的关键帧kj极线上,对于符合要求的每个像素位置计算以像素位置为中心,半径为N个像素单位的像素位置范围内的像素值的平均值,记作其中,计算关键帧kj极线上的像素值,采用双线性差值的方法,包括
为关键帧kj的极线上的点的坐标,对点坐标向下取整,
点周围选择与其最邻近的四个整数像素点,分别记为 计算点的像素值:
其中f()表示该点的像素值,g(x0,y0)表示处的像素值;
极线上NCC匹配,即
其中,表示两点之间的相关性,取值范围为[-1,1]。
本发明的有益效果是:首先对提取的关键帧进行降采样处理,以提高数据处理速度。然后利用关键帧间的共视关系,使用对极几何原理,计算关键帧之间的对应极线,并使用逆深度高斯方法估计极线取值范围。最后进行去均值NCC匹配。针对半稠密ORB-SLAM算法得到的半稠密地图中特征点误匹配较多的问题,在半稠密ORB-SLAM极线搜索匹配中,加入NCC,增强特征点匹配的准确性。该方法适用于各种复杂的大场景环境,具有更高的定位精度和实时性。经实验验证,本发明算法在室内定位精度最小可达到2mm,定位精度与原作者相比较,平均提高了7%,实时性也有所提高。
附图说明
图1为本发明实施例的关键帧间像素的极线搜索示意图。
其中ki和kj表示关键帧,XP代表关键帧ki中的像素坐标,Xj表示关键帧kj极线上的像素坐标,kikj之间的长度代表基线长,P表示空间中的3D坐标点,该点与ki的距离的倒数服从高斯分布。由于图像只包含2D信息,所以空间坐标中的不同远近的物体会投影到一个点上,在kj对应一条直线,即极线。
图2为双线性插值图。
图3为本发明方法实施例的流程图。
图4为使用TUM数据集f2-desk复现原作者算法得到的三维地图。
图5为本发明使用TUM数据集f2-desk得到的三维地图。
具体实施方式
本发明的主要流程如图3所示,包含以下步骤:
步骤一、关键帧提取与降采样
利用ORB-SLAM的关键帧提取方法,对图像流进行关键帧的筛选,筛选得到的关键帧的集合记作K={K1,K2,K3,…,Km},其中m为关键帧的数目,m<v且关键帧集合和IO满足下面的关系:
K∈IO
将所有关键帧的集合,记作K={K1,K2,K3,…,Km},对每个关键帧Ki(i=1,2,…,m)进行降采样。
由于特征点匹配会消耗大量的时间,而梯度较高的像素点匹配相似度会更高,所以对关键帧K={K1,K2,K3,…,Km}进行步长为m=2的降采样,如下所示:
其中表示关键帧Ki上的像素坐标,为了简便,把经过降采样变换后的关键帧集合记作k={k1,k2,k3,…,km}。关键帧降采样可以提高高梯度的像素选择速度,减少冗余数据,提高算法的实时性。
步骤二、图像极线求取
首先计算极线方程,详细步骤如下:
1、选择图像关键帧ki中像素梯度大于某一经验阈值λG的像素f(XPi)在图像关键帧kj中进行极线搜索,其中j=2,3,…,m。
2、在图像关键帧kj中利用基础矩阵Fji计算ki中像素点对应的极线,计算公式为:
其中表示在关键帧kj中的图像坐标矩阵的转置,包含齐次像素坐标[x y 1]T,XPi表示关键帧ki中的图像坐标,Ij表示在关键帧kj上的极线。
参见图1,由于像素点XP反投影到空间坐标,其深度的倒数服从高斯分布,选择适当的高斯分布范围内的点,投影到关键帧kj的极线上,就可将无限长的极线简化成有限的线段,极大的提高计算效率。
步骤三、去均值NCC匹配
1、遍历关键帧ki中每个像素位置其中t=0,1,2,…,w,其中w表示关键帧ki像素总的像素位置;计算以像素位置为中心,半径为N个像素单位的像素位置范围内的像素的平均值,记作
2、按照如下要求,选择每个对应的关键帧kj极线上的像素的位置:
2.1要位于高梯度的位置,其梯度值要大于λG=30。
2.2处的像素梯度方向不与极线方向垂直,其中ΘL是考虑了正向和反向的极线的夹角,其中表示处的像素梯度方向,ΘL表示极线的方向,λL表示像素梯度方向和极线方向夹角的差值,λL小于90;可令λL=75。
2.3极线上的方向满足其中Δθji是关键帧ki和kj之间的旋转角,λθ表示角度差值,表示像素位置的夹角;可令λθ=35。
3、在每个对应的关键帧kj极线上,对于符合要求的每个像素位置计算以像素位置为中心,半径为N个像素单位的像素位置范围内的像素值的平均值,记作
其中,为了更加精确地计算关键帧kj极线上点的像素值,采用双线性差值的方法,具体做法如下:
参见图2,假设是关键帧kj的极线上的点的坐标,对点坐标向下取整,如下所示:
点周围选择与其最邻近的四个整数像素点,分别记为 按照下面的公式计算点的像素值:
其中f()表示该点的像素值,g(x0,y0)表示处的像素值。
4、极线上NCC匹配方法
使用NCC算法进一步约束极线上的匹配对应点,用来得到匹配更好的特征点,其计算公式是:
其中,N表示匹配范围大小,f()表示该点的像素值。,表示两点之间的相关性,取值范围为[-1,1],计算结果越接近1表示这两点的相关性越大,反之越小。本实验中选择R的值为0.8,即NCC的计算结果大于0.8时,表明XP,Xj是匹配点。
步骤四、半稠密ORB-SLAM算法参数优化调整
针对ORB-SLAM原作者在算法中涉及到的经验值参数,在实际操作中,对参数按照控制变量法或者枚举法进行调整,调整的参数包括像λG像素梯度、λL是匹配点在极线方向与像素梯度方向间的约束角(不能垂直)、λθ梯度方向、λN逆深度匹配假设点个数、θ梯度和灰度噪声之间的关系系数、以及步骤三中涉及到的NCC归一化互相关算法匹配分数。
使用TUM数据集上6个公开的数据集进行测试,不断优化经验值参数,得到的优化参数如表1所示:
表1经验参数优化调整
步骤五、验证本发明算法的定位精度
将本方法得到的关键帧轨迹数据,首先进行四元数转换,转换成世界坐标系下的(x,y,z),然后通过时间戳信息与TUM数据集中对应的基准轨迹数据使用RMSE方法对定位精度进行评估。说怎么进行轨迹评估的,用均方根误差(RMSE)方法进行评估,具体的计算公式是:
其中表示第i个关键帧ki的三维位置,表示对应的基准图像的三维位置,m表示关键帧的数目。
用TUM数据集上的6个公开的数据集,使用表1中的优化参数,记录每个数据集进行实时定位和地图构建精度,并与ORB-SLAM比较,得到如下表2所示的结果:
表2本方法与原算法RMSE误差比较
对于构建的三维地图,图4是原始算法构建的TUM数据集中f1-desk2的地图,图5是本方法构建的对应图像。对比图3和图4,可以发现本方法能够有效的剔除深度匹配不准确的点,得到的半稠密地图包含的有用信息更多且地图轮廓更清晰。

Claims (1)

1.一种ORB-SLAM算法中图像匹配相关性改进方法,其特征在于,包括
步骤一:关键帧提取与降采样:利用ORB-SLAM的关键帧提取方法,对视频流进行关键帧的筛选,筛选得到的关键帧的集合记作K={Ki},i=1,2,…,m,其中m<v且关键帧集合和IO满足K∈IO对每个关键帧Ki进行步长为n降采样,即 其中表示关键帧Ki上的像素坐标;把经过降采样的关键帧集合记作k={ki};
步骤二:图像极线求取,包括
选择关键帧ki中像素梯度大于经验阈值λG的像素值f(XPi)在关键帧kj中进行极线搜索,其中j=2,3,…,m;
在关键帧kj中利用基础矩阵Fji计算ki中像素点对应的极线,其中表示在关键帧kj中的图像坐标矩阵的转置,包含齐次像素坐标[x y 1]T,XPi表示关键帧ki中的图像坐标,Ij表示在关键帧kj上的极线;
步骤三:去均值NCC匹配,包括
遍历关键帧ki中每个像素位置其中t=0,1,2,…,w,其中w表示关键帧ki像素总的像素位置;计算以像素位置为中心,半径为N个像素单位的像素位置范围内的像素的平均值,记作
按照满足所有如下要求,选择每个对应的关键帧kj极线上的像素的位置:
的梯度值大于λG
处的像素梯度方向不与极线方向垂直,其中ΘL是考虑了正向和反向的极线的夹角,表示处的像素梯度方向,ΘL表示极线的方向,λL表示像素梯度方向和极线方向夹角的差值,λL小于90;
极线上的方向满足其中Δθj,i是关键帧ki和kj之间的旋转角,λθ表示角度差值,表示像素位置的夹角;
在每个对应的关键帧kj极线上,对于符合要求的每个像素位置计算以像素位置为中心,半径为N个像素单位的像素位置范围内的像素值的平均值,记作其中,计算关键帧kj极线上的像素值,采用双线性差值的方法,包括
为关键帧kj的极线上的点的坐标,对点坐标向下取整,点周围选择与其最邻近的四个整数像素点,分别记为 计算点的像素值:
其中f()表示该点的像素值,g(x0,y0)表示处的像素值;
极线上NCC匹配,即
其中,表示两点之间的相关性,取值范围为[-1,1]。
CN201810091685.3A 2018-01-30 2018-01-30 一种orb-slam算法中图像匹配相关性改进方法 Expired - Fee Related CN108305278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810091685.3A CN108305278B (zh) 2018-01-30 2018-01-30 一种orb-slam算法中图像匹配相关性改进方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810091685.3A CN108305278B (zh) 2018-01-30 2018-01-30 一种orb-slam算法中图像匹配相关性改进方法

Publications (2)

Publication Number Publication Date
CN108305278A true CN108305278A (zh) 2018-07-20
CN108305278B CN108305278B (zh) 2020-02-21

Family

ID=62867511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810091685.3A Expired - Fee Related CN108305278B (zh) 2018-01-30 2018-01-30 一种orb-slam算法中图像匹配相关性改进方法

Country Status (1)

Country Link
CN (1) CN108305278B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961103A (zh) * 2019-04-02 2019-07-02 北京迈格威科技有限公司 特征提取模型的训练方法、图像特征的提取方法及装置
CN110531618A (zh) * 2019-08-27 2019-12-03 河海大学 基于有效关键帧的闭环检测机器人自定位误差消除方法
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN113034601A (zh) * 2021-04-27 2021-06-25 贵州大学 一种在环境建模中场景地图点与图像帧的匹配方法
CN113177971A (zh) * 2021-05-07 2021-07-27 中德(珠海)人工智能研究院有限公司 一种视觉跟踪方法、装置、计算机设备及存储介质
CN115309988A (zh) * 2022-08-10 2022-11-08 武汉圣男品牌管理有限公司 一种网页搜索内容匹配方法、系统及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358624A (zh) * 2017-06-06 2017-11-17 武汉几古几古科技有限公司 单目稠密即时定位与地图重建方法
CN107533763A (zh) * 2015-05-14 2018-01-02 索尼公司 图像处理装置、图像处理方法及程序

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107533763A (zh) * 2015-05-14 2018-01-02 索尼公司 图像处理装置、图像处理方法及程序
CN107358624A (zh) * 2017-06-06 2017-11-17 武汉几古几古科技有限公司 单目稠密即时定位与地图重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NADER MAHMOUD ET AL.: "SLAM based Quasi Dense Reconstruction For Minimally Invasive Surgery Scenes", 《ARXIV:1705.09107V1 [CS.CV]》 *
W. NICHOLAS GREENE ET AL.: "Real-Time Dense Simultaneous Localization and Mapping using Monocular Cameras", 《MASSACHUSETTS INSTITUTE OF TECHNOLOGY》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961103A (zh) * 2019-04-02 2019-07-02 北京迈格威科技有限公司 特征提取模型的训练方法、图像特征的提取方法及装置
CN109961103B (zh) * 2019-04-02 2020-10-27 北京迈格威科技有限公司 特征提取模型的训练方法、图像特征的提取方法及装置
CN110531618A (zh) * 2019-08-27 2019-12-03 河海大学 基于有效关键帧的闭环检测机器人自定位误差消除方法
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN113034601A (zh) * 2021-04-27 2021-06-25 贵州大学 一种在环境建模中场景地图点与图像帧的匹配方法
CN113177971A (zh) * 2021-05-07 2021-07-27 中德(珠海)人工智能研究院有限公司 一种视觉跟踪方法、装置、计算机设备及存储介质
CN115309988A (zh) * 2022-08-10 2022-11-08 武汉圣男品牌管理有限公司 一种网页搜索内容匹配方法、系统及存储介质

Also Published As

Publication number Publication date
CN108305278B (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN108305278B (zh) 一种orb-slam算法中图像匹配相关性改进方法
CN110335337B (zh) 一种基于端到端半监督生成对抗网络的视觉里程计的方法
CN108416840B (zh) 一种基于单目相机的三维场景稠密重建方法
CN108564616B (zh) 快速鲁棒的rgb-d室内三维场景重建方法
Lin et al. Topology aware object-level semantic mapping towards more robust loop closure
CN112001926B (zh) 基于多维语义映射rgbd多相机标定方法、系统及应用
CN108665491B (zh) 一种基于局部参考点的快速点云配准方法
CN109544677A (zh) 基于深度图像关键帧的室内场景主结构重建方法及系统
WO2022178952A1 (zh) 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统
CN107862735B (zh) 一种基于结构信息的rgbd三维场景重建方法
CN113468950A (zh) 一种基于深度学习的无人驾驶场景下的多目标跟踪方法
CN111105432A (zh) 基于深度学习的无监督端到端的驾驶环境感知方法
Zhu et al. A review of 6d object pose estimation
CN112562001A (zh) 一种物体6d位姿估计方法、装置、设备及介质
Li et al. Learn then match: A fast coarse-to-fine depth image-based indoor localization framework for dark environments via deep learning and keypoint-based geometry alignment
Kallwies et al. Triple-SGM: stereo processing using semi-global matching with cost fusion
CN112581543A (zh) 运动机器人视觉导航方法
CN117078753A (zh) 基于相机的渐进式特征分布采样6d位姿估计方法及系统
Baur et al. Real-time 3D LiDAR flow for autonomous vehicles
Lu et al. Large-scale tracking for images with few textures
Jiang et al. 3DGS-ReLoc: 3D Gaussian Splatting for Map Representation and Visual ReLocalization
CN117351078A (zh) 基于形状先验的目标尺寸与6d姿态估计方法
Yuan et al. SHREC 2020 track: 6D object pose estimation
CN116416608A (zh) 一种基于关键点的单目三维实时检测算法
Liu et al. Binocular depth estimation using convolutional neural network with Siamese branches

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200221

Termination date: 20210130