CN115063715A - 一种基于灰度直方图的orb-slam3回环检测加速方法 - Google Patents

一种基于灰度直方图的orb-slam3回环检测加速方法 Download PDF

Info

Publication number
CN115063715A
CN115063715A CN202210599116.6A CN202210599116A CN115063715A CN 115063715 A CN115063715 A CN 115063715A CN 202210599116 A CN202210599116 A CN 202210599116A CN 115063715 A CN115063715 A CN 115063715A
Authority
CN
China
Prior art keywords
key frame
loop
gray
key
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210599116.6A
Other languages
English (en)
Inventor
胡炜薇
林庆磊
秦会斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202210599116.6A priority Critical patent/CN115063715A/zh
Publication of CN115063715A publication Critical patent/CN115063715A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于灰度直方图的ORB‑SLAM3回环检测加速方法，步骤S1：在局部建图线程向回环检测线程插入关键帧时，提取关键帧的灰度直方图，并计算其标准差、均值等信息；步骤S2：在回环检测的前端筛选出高质量的回环候选关键帧；步骤S3：对回环候选关键帧进行回环可行性验证；步骤S4：在回环检测的后端进行回环矫正。采用本发明的技术方案，利用计算轻量的图像灰度直方图信息，对输入关键帧进行预筛选，从而提高回环验证的输入关键帧的质量，减少由关键帧质量低导致的无效计算的次数，能够提高ORB‑SLAM3系统的实时性能。

Description

一种基于灰度直方图的ORB-SLAM3回环检测加速方法
技术领域
本发明涉及机器人同步定位与地图创建领域，尤其涉及一种基于灰度直方 图的ORB-SLAM3回环检测加速方法。
背景技术
近十年来，同时定位和地图构建(simultaneous localization and mapping,SLAM)的发展非常迅速，研究的重心从最开始的激光雷达SLAM渐渐 的向视觉SLAM转移。其中SLAM系统的实时性被认为是目前研究的关键问题 之一，对机器人的实际应用以及应用扩展有着重要意义。在目前的众多SLAM 框架中，ORB-SLAM3是目前性能最好的开源框架之一，其利用词袋模型进行长 期的数据关联，可以实现同地图的回环以及多地图的融合，并且利用几何验证 结合时序验证的方法，实现了召回率的提升。但由于该方法产生的回环候选关 键帧的质量不高，从而导致回环检测过程进行大量无效的计算，这对SLAM系 统的实时性产生了巨大的影响。
现有技术的回环检测方法主要存在以下两个问题：
1、回环候选关键帧的质量差，导致多次无效计算，甚至错过回环最佳时 间。
2、回环检测线程计算量大，而随着系统运行时间增长，时间消耗也会增 加，导致SLAM系统的实时性下降。
故，针对现有技术的缺陷，实有必要提出一种技术方案以解决现有技术存 在的技术问题。
发明内容
有鉴于此，确有必要提供一种基于灰度直方图的ORB-SLAM3回环检测加 速方法，从输入关键帧的灰度图中提取出灰度直方图及其标准差和均值等信息， 再利用这些信息进行回环候选关键帧的预筛选，然后进行回环验证和回环矫正， 从而大大降低了回环检测线程对每一帧的计算量，同时提高了候选关键帧的质 量，不仅提高了实时性也提高了精度。
为了克服现有技术的缺陷，本发明的技术方案如下：
一种基于灰度直方图的ORB-SLAM3回环检测加速方法，包括以下步骤：
步骤S1：在局部建图线程向回环检测线程插入关键帧时，提取关键帧的 灰度直方图，并计算其标准差、均值等信息；
步骤S2：在回环检测的前端筛选出高质量的回环候选关键帧；
步骤S3：对回环候选关键帧进行回环可行性验证；
步骤S4：在回环检测的后端进行回环矫正；其中，步骤S1进一步包括：
步骤S11：对插入到回环检测线程的关键帧灰度图进行自适应裁剪，根据 I′gray＝Rect(Igray,θ1,λ1,θ2,λ2)，其中I′gray为裁剪后的灰度图，表示将Igray从 坐标(θ1,λ1)截取至(θ2,λ2)，具体坐标根据输入图像大小自动调整；
步骤S12：计算I′gray的灰度直方图Hist，取0～255共256个灰度级；
步骤S13：根据
Figure BDA0003668889410000021
对Hist进行范围归一化得到H， 其中xin、xout分别为原本各灰度级对应的值与归一化后各灰度级对应的值，值 的取值范围从(γ,δ)映射到(α,β)；
步骤S14：计算范围归一化后的灰度直方图的均值和标准差，计算公式如 下：
Figure BDA0003668889410000031
Figure BDA0003668889410000032
其中M×N为灰度直方图H的大小，P(i,j)表示直方图第i行，第j列的 值；
步骤S15：建立二维容器来存放帧的数据结构，以均值作为横坐标，以标 准差作为纵坐标，根据(μ,SD)将关键帧放入容器的对应位置；
步骤S2在回环检测的前端筛选出高质量的回环候选关键帧，该步骤进一 步包括：
步骤S21：根据当前关键帧的均值和标准差，根据(μ,SD)从二维容器中取 出与当前帧的均值和标准差相似的关键帧组，也即在二维容器中存放位置相近 的所有关键帧；
步骤S22：遍历当前关键帧的所有词袋节点，根据词袋的倒排索引，在上 述关键帧组中再取出与当前关键帧有共同节点的所有关键帧KFs；
步骤S23：获取当前帧的共视关键帧的数量m，并从KFs中直接剔除与当 前帧的ID之差小于m的所有关键帧，得到新的KFs；
步骤S24：从上述KFs中寻找最好的三个关键帧，作为候选关键帧组；该 步骤S24进一步包括：
步骤S241：利用词袋向量计算两帧的相似得分；
步骤S242：相似得分低于阈值的关键帧标记以后不与当前帧检测。相似 得分高于阈值的关键帧，再计算其相邻关键帧的得分；
步骤S243：将相似得分高于阈值的关键帧与其相邻关键帧进行得分比较， 返回3个得分远高于相邻关键帧得分的最好关键帧，作为候选关键帧组；
步骤S25：计算候选关键帧组中的关键帧与当前帧的灰度直方图的相似度， 剔除相似度小于0.85的候选关键帧，相似度计算公式如下；
Figure BDA0003668889410000041
Figure BDA0003668889410000042
其中当前帧与候选关键帧处理后的灰度直方图分别为H1和H2，H1和H2之 间的相似度为d(H1,H2)，d(H1,H2)越接近1则认为两帧之间的相似度越高；
步骤S3对回环候选真进行回环可行性验证，该步骤进一步包括：
步骤S31：几何验证。当前关键帧的5个共视关键帧中只要有3个满足条 件(和候选关键帧组匹配成功)即可认为几何验证通过。如果不够3个，则进 行S32；
步骤S32：时序验证。如果后续输入的关键帧也能与候选关键帧组匹配成 功，则认为时序验证通过，与上一步几何验证成功的次数之和为3则认为回环 可行性初步验证通过。如果连续两帧时序验证失败，则认为时序验证失败；
步骤S33：最后进行滚转角、俯仰角、偏航角的变换量验证，只有三个量 都小于一定阈值才认为回环可行性验证最终通过；
步骤S4在回环检测的后端进行回环矫正，该步骤进一步包括：
步骤S41：计算关键帧的Sim3变换；
步骤S42：位姿传播；
步骤S43：地图点修正。
与现有技术相比较，采用本发明技术方案，能够大幅提高实时性。本发明 利用关键帧的灰度直方图等信息，在回环检测前端进行筛选，并根据回环候选 帧与当前关键帧的相似度进行进一步的剔除。该过程计算极其轻量，能够有效 的去除大量无效计算。并且利用灰度直方图之间的相似度，在图像整体的灰度 分布层面能够保证极高的相似，从而提高回环候选帧的质量，使回环候选帧与 当前帧的相似度很高，从而也减少了回环时的计算次数，使SLAM系统的实时 性大幅提高。
附图说明
图1为本发明提供的一种基于灰度直方图的ORB-SLAM3回环检测加速方 法的框架流程图；
图2为本发明提供的一种基于灰度直方图的ORB-SLAM3回环检测加速方 法中步骤S24的详细流程图；
图3为本发明与ORB-SLAM3算法在Euroc数据集上的回环检测过程时间 对比图；
图4为本发明与ORB-SLAM3算法在V203序列上的每一关键帧回环检测 时间对比图；
如下具体实施例将结合上述附图进一步说明本发明。
具体实施方式
以下将结合附图对本发明提供的技术方案作进一步说明。
在目前的性能比较优秀的视觉SLAM系统中，大都采用词袋模型进行闭环 的检测，从而实现数据的长期关联和误差消除过程。词袋模型具有较少的计算 量，能使闭环过程有较高的召回率。但是词袋模型的有效性深受训练集的影响， 少量的图像不能训练出一个有效的词袋模型，并且词袋模型并不是完全精确， 很容易出现假阳性数据，并且基于词袋的回环检测方法只在乎单词有无，不在 乎单词的排列顺序，会容易引发感知偏差，因此需要用其他方式额外验证。图 像的灰度直方图具有平移、旋转、缩放不变性，并且其各项指标都能被快速计 算与比较，能实现以较小的计算代价反应一幅图像的整体像素分布规律，非常适合用于SLAM系统中。
参见图1、图2，本发明提供一种基于灰度直方图的ORB-SLAM3回环检测 加速方法，图1所示为本发明基于灰度直方图的ORB-SLAM3回环检测加速方 法的架构图，整体而言，本发明包括4大步骤，步骤S1：在局部建图线程向 回环检测线程插入关键帧时，提取关键帧的灰度直方图，并计算其标准差、均 值等信息；步骤S2：在回环检测的前端筛选出高质量的回环候选关键帧；步 骤S3：对回环候选关键帧进行回环可行性验证；步骤S4：在回环检测的后端 进行回环矫正；
步骤S1在局部建图线程向回环检测线程插入关键帧时，提取关键帧的灰 度直方图，并计算其标准差、均值等信息，具体包括如下步骤：
步骤S11：对插入到回环检测线程的关键帧灰度图进行自适应裁剪，根据 I′gray＝Rect(Igray,θ1,λ1,θ2,λ2)，其中I′gray为裁剪后的灰度图，表示将Igray从 坐标(θ1,λ1)截取至(θ2,λ2)，具体坐标根据输入图像大小自动调整；
步骤S12：计算I′gray的灰度直方图Hist，取0～255共256个灰度级；
步骤S13：根据
Figure BDA0003668889410000061
对Hist进行范围归一化得到H， 其中xin、xout分别为原本各灰度级对应的值与归一化后各灰度级对应的值，值 的取值范围从(γ,δ)映射到(α,β)；
步骤S14：计算范围归一化后的灰度直方图的均值和标准差，计算公式如 下：
Figure BDA0003668889410000071
Figure BDA0003668889410000072
其中M×N为灰度直方图H的大小，P(i,j)表示直方图第i行，第j列的 值；
步骤S15：建立二维容器来存放帧的数据结构，以均值作为横坐标，以标 准差作为纵坐标，根据(μ,SD)将关键帧放入容器的对应位置；
步骤S2在回环检测的前端筛选出高质量的回环候选关键帧，具体包括如 下步骤：
步骤S21：根据当前关键帧的均值和标准差，根据(μ,SD)从二维容器中取 出与当前帧的均值和标准差相似的关键帧组，也即在二维容器中存放位置相近 的所有关键帧；
步骤S22：遍历当前关键帧的所有词袋节点，根据词袋的倒排索引，在上 述关键帧组中再取出与当前关键帧有共同节点的所有关键帧KFs；
步骤S23：获取当前帧的共视关键帧的数量m，并从KFs中直接剔除与当 前帧的ID之差小于m的所有关键帧，得到新的KFs；
步骤S24：从上述KFs中寻找最好的三个关键帧，作为候选关键帧组；
图2所示为本发明提供的一种基于灰度直方图的ORB-SLAM3回环检测加 速方法中上述步骤的详细流程图，其进一步包括以下步骤：
步骤S241：利用词袋向量计算两帧的相似得分；
步骤S242：相似得分低于阈值的关键帧标记以后不与当前帧检测。相似 得分高于阈值的关键帧，再计算其相邻关键帧的得分；
步骤S243：将相似得分高于阈值的关键帧与其相邻关键帧进行得分比较， 返回3个得分远高于相邻关键帧得分的最好关键帧，作为候选关键帧组；
步骤S25：计算候选关键帧组中的关键帧与当前帧的灰度直方图的相似度， 剔除相似度小于0.85的候选关键帧，相似度计算公式如下；
Figure BDA0003668889410000081
Figure BDA0003668889410000082
其中当前帧与候选关键帧处理后的灰度直方图分别为H1和H2，H1和H2之 间的相似度为d(H1,H2)，d(H1,H2)越接近1则认为两帧之间的相似度越高；
步骤S3对回环后选帧进行回环可行性验证，具体包括如下步骤：
步骤S31：几何验证。当前关键帧的5个共视关键帧中只要有3个满足条 件(和候选关键帧组匹配成功)即可认为几何验证通过。如果不够3个，则进 行S32；
步骤S32：时序验证。如果后续输入的关键帧也能与候选关键帧组匹配成 功，则认为时序验证通过，与上一步几何验证成功的次数之和为3则认为回环 可行性初步验证通过。如果连续两帧时序验证失败，则认为时序验证失败；
步骤S33：最后进行滚转角、俯仰角、偏航角的变换量验证，只有三个量 都小于一定阈值才认为回环可行性验证最终通过；
步骤S4在回环检测的后端进行回环矫正，具体包括如下步骤：
步骤S41：计算关键帧的Sim3变换；
步骤S42：位姿传播；
步骤S43：地图点修正。
在本发明中使用的输入数据采用Euroc数据集中的图像及IMU数据，Euroc 数据集为微型飞行器收集的视觉惯性数据集，包含11段双目视频序列数据集 场景为室内房间和工厂，其中V103、V202以及V203为有回环的序列。本文仿 真实验平台为一台Intel(R)Core(TM)i7-7700HQ CPU@2.80GHz,24G内存的 计算机。将数据集中的所有视频序列都应用到本实验中，观察经本文算法处理 后的回环检测时间与未处理的ORB-SLAM3的回环检测时间的关系。
为了验证本发明的技术效果，将通过算法对比验证本发明的有效性：
在本方法与ORB-SLAM3原方法的对比中，以两者均运行十次并取中值为 最终的比较结果。以算法在回环检测过程中的时间消耗为测量指标进行对比， 并计算较原算法，本方法所提升的时间效率。其次，由于V203序列是一个带 有运动模糊的快速移动序列，在V203序列中，中后期开始出现大量的重复场 景，SLAM系统应当在此段场景中完成回环检测以及回环矫正过程，但是这期 间并不是所有帧都满足回环的条件，有很多帧具有模糊以及rpy方向上的角 度变化过大的特点，虽然能够提取到相似的特征点并进行匹配，但是最后都会 被舍弃，故在V203序列中出现了数次由于以上原因无效计算大量时间的情 况，其中每次计算都耗费了几十毫秒，严重浪费了计算机资源。故以V203为 例，计算该序列中的每一关键帧在回环检测过程所消耗的时间，直观的展示回 环时的大量时间消耗，并展示本算法的提升。
参见表1、图3、图4所示，为本发明与ORB-SLAM3原始算法的实验数据 结果对比。其中表1为本发明与ORB-SLAM3原始算法的回环检测时间消耗数 据以及时间效率的提升；图3为本发明与ORB-SLAM3原始算法分别在Euroc数 据集11个序列上的平均回环检测时间对比图；图4为本发明与ORB-SLAM3原 算法在V203序列上的各关键帧的回环检测时间对比图。
表1本发明算法与ORB-SLAM3原始算法的回环检测时间对比及时间(ms)效率提升
Figure BDA0003668889410000101
上表1列出了本发明算法与ORB-SLAM3原始算法的回环检测时间的对比， 以及时间效率提升的百分比。图3展示了本方法在11个序列中的个关键帧平 均检测时间，能够形象的展示本方法较ORB-SLAM3的时间消耗的减少。进一步 的实验，图4展示了在V203序列上的个关键帧的回环检测时间消耗，形象的 体现出在整个序列中各帧的时间消耗，尤其体现出在计算回环时的时间消耗格 外大，由于更好的体现在图中，将时间取对数。综上所述，本发明通过利用灰 度直方图对ORB-SLAM3的回环检测线程进行改进，极大的减少了每一帧在回 环检测过程中的时间消耗，提高了SLAM系统的实时性，其中在有回环或运行 时间长的情况下实时性提升更为明显。如表1所见，在Euroc数据集的所有序 列中，本发明相比ORB-SLAM3原方法的时间效率平均提升约55.96％。
以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指 出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还 可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的 保护范围内。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本 发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的， 本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它 实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要 符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (1)

1.一种基于灰度直方图的ORB-SLAM3回环检测加速方法，其特征在于，至少包括以下步骤：
步骤S1：在局部建图线程向回环检测线程插入关键帧时，提取关键帧的灰度直方图，并计算其标准差、均值等信息；
步骤S2：在回环检测的前端筛选出高质量的回环候选关键帧；
步骤S3：对回环候选关键帧进行回环可行性验证；
步骤S4：在回环检测的后端进行回环矫正；
其中，所述步骤S1进一步包括：
步骤S11：对插入到回环检测线程的关键帧灰度图进行自适应裁剪，根据I′gray＝Rect(Igray，θ1，λ1，θ2，λ2)，其中，I′gray为裁剪后的灰度图，表示将Igray从坐标(θ1，λ1)截取至(θ2，λ2)，具体坐标根据输入图像大小自动调整；
步骤S12：计算I′gray的灰度直方图Hist，取0～255共256个灰度级；
步骤S13：根据
Figure FDA0003668889400000011
对Hist进行范围归一化得到H，其中xin、xout分别为原本各灰度级对应的值与归一化后各灰度级对应的值，值的取值范围从(γ，δ)映射到(α，β)；
步骤S14：计算范围归一化后的灰度直方图的均值和标准差，计算公式如下：
Figure FDA0003668889400000012
Figure FDA0003668889400000013
其中M×N为灰度直方图H的大小，P(i，j)表示直方图第i行，第j列的值；
步骤S15：建立二维容器来存放帧的数据结构，以均值作为横坐标，以标准差作为纵坐标，根据(μ，SD)将关键帧放入容器的对应位置；
所述步骤S2进一步包括：
步骤S21：根据当前关键帧的均值和标准差，根据(μ，SD)从二维容器中取出与当前帧的均值和标准差相似的关键帧组，也即在二维容器中存放位置相近的所有关键帧；
步骤S22：遍历当前关键帧的所有词袋节点，根据词袋的倒排索引，在上述关键帧组中再取出与当前关键帧有共同节点的所有关键帧KFs；
步骤S23：获取当前帧的共视关键帧的数量m，并从KFs中直接剔除与当前帧的ID之差小于m的所有关键帧，得到新的KFs；
步骤S24：从上述KFs中寻找最好的三个关键帧，作为候选关键帧组；
步骤S25：计算候选关键帧组中的关键帧与当前帧的灰度直方图的相似度，剔除相似度小于0.85的候选关键帧，相似度计算公式如下；
Figure FDA0003668889400000021
Figure FDA0003668889400000022
其中当前帧与候选关键帧处理后的灰度直方图分别为H1和H2，H1和H2之间的相似度为d(H1，H2)，d(H1，H2)越接近1则认为两帧之间的相似度越高；
所述步骤S24进一步包括：
步骤S241：利用词袋向量计算两帧的相似得分；
步骤S242：相似得分低于阈值的关键帧标记以后不与当前帧检测；相似得分高于阈值的关键帧，再计算其相邻关键帧的得分；
步骤S243：将相似得分高于阈值的关键帧与其相邻关键帧进行得分比较，返回3个得分远高于相邻关键帧得分的最好关键帧，作为候选关键帧组；
所述步骤S3进一步包括：
步骤S31：几何验证；当前关键帧的5个共视关键帧中只要有3个满足条件，即和候选关键帧组匹配成功，认为几何验证通过；如果不够3个，则进行S32；
步骤S32：时序验证；如果后续输入的关键帧也能与候选关键帧组匹配成功，则认为时序验证通过，与上一步几何验证成功的次数之和为3则认为回环可行性初步验证通过；如果连续两帧时序验证失败，则认为时序验证失败；
步骤S33：最后进行滚转角、俯仰角、偏航角的变换量验证，只有三个量都小于一定阈值才认为回环可行性验证最终通过；
所述步骤S4进一步包括：
步骤S41：计算关键帧的Sim3变换；
步骤S42：位姿传播；
步骤S43：地图点修正。
CN202210599116.6A 2022-05-30 2022-05-30 一种基于灰度直方图的orb-slam3回环检测加速方法 Pending CN115063715A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210599116.6A CN115063715A (zh) 2022-05-30 2022-05-30 一种基于灰度直方图的orb-slam3回环检测加速方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210599116.6A CN115063715A (zh) 2022-05-30 2022-05-30 一种基于灰度直方图的orb-slam3回环检测加速方法

Publications (1)

Publication Number Publication Date
CN115063715A true CN115063715A (zh) 2022-09-16

Family

ID=83197625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210599116.6A Pending CN115063715A (zh) 2022-05-30 2022-05-30 一种基于灰度直方图的orb-slam3回环检测加速方法

Country Status (1)

Country Link
CN (1) CN115063715A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117409388A (zh) * 2023-12-11 2024-01-16 天津中德应用技术大学 一种改进词袋模型的智能汽车视觉slam闭环检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117409388A (zh) * 2023-12-11 2024-01-16 天津中德应用技术大学 一种改进词袋模型的智能汽车视觉slam闭环检测方法

Similar Documents

Publication Publication Date Title
CN110378997B (zh) 一种基于orb-slam2的动态场景建图与定位方法
CN110490158B (zh) 一种基于多级模型的鲁棒人脸对齐方法
CN112489083B (zh) 基于orb-slam算法的图像特征点跟踪匹配方法
CN112001859B (zh) 一种人脸图像的修复方法及系统
US20210166450A1 (en) Motion trajectory drawing method and apparatus, and device and storage medium
CN111899334A (zh) 一种基于点线特征的视觉同步定位与地图构建方法及装置
US20140193035A1 (en) Method and Device for Head Tracking and Computer-Readable Recording Medium
Chen et al. Using FTOC to track shuttlecock for the badminton robot
CN107066969A (zh) 一种人脸识别方法
CN112785705B (zh) 一种位姿获取方法、装置及移动设备
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
CN111739064B (zh) 用于视频中目标跟踪的方法及存储设备和控制设备
CN116429082A (zh) 一种基于st-orb特征提取的视觉slam方法
CN115063715A (zh) 一种基于灰度直方图的orb-slam3回环检测加速方法
CN115482523A (zh) 轻量级多尺度注意力机制的小物体目标检测方法及系统
CN117315547A (zh) 一种解决动态物体大占比的视觉slam方法
CN117152844A (zh) 基于计算机视觉的高完整性工人施工姿态检测方法及系统
CN111145221A (zh) 一种基于多层深度特征提取的目标跟踪算法
CN108694348B (zh) 一种基于自然特征的跟踪注册方法及装置
CN111709997B (zh) 一种基于点与平面特征的slam实现方法及系统
CN110070110B (zh) 一种自适应阈值图像匹配方法
CN110059651B (zh) 一种相机实时跟踪注册方法
CN110910418B (zh) 基于旋转不变性图像特征描述子的目标跟踪算法
CN110503061B (zh) 一种融合多特征的多因素视频遮挡区域检测方法及系统
CN113888603A (zh) 基于光流跟踪和特征匹配的回环检测及视觉slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination