CN113298014A - 基于逆向索引关键帧选取策略的闭环检测方法、存储介质及设备 - Google Patents

基于逆向索引关键帧选取策略的闭环检测方法、存储介质及设备 Download PDF

Info

Publication number
CN113298014A
CN113298014A CN202110643771.2A CN202110643771A CN113298014A CN 113298014 A CN113298014 A CN 113298014A CN 202110643771 A CN202110643771 A CN 202110643771A CN 113298014 A CN113298014 A CN 113298014A
Authority
CN
China
Prior art keywords
key frame
image
line
reverse
selection strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110643771.2A
Other languages
English (en)
Other versions
CN113298014B (zh
Inventor
陈孟元
丁陵梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Polytechnic University
Original Assignee
Anhui Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Polytechnic University filed Critical Anhui Polytechnic University
Priority to CN202110643771.2A priority Critical patent/CN113298014B/zh
Publication of CN113298014A publication Critical patent/CN113298014A/zh
Application granted granted Critical
Publication of CN113298014B publication Critical patent/CN113298014B/zh
Priority to US17/836,147 priority patent/US11645846B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了基于逆向索引关键帧选取策略的闭环检测方法、存储介质及设备，方法包括下列步骤：步骤一、采集当前位置的图像信息，处理后从中提取相应图像特征并求解相机位姿；步骤二、移动过程中获取连续的图像帧作为连续帧图像，对连续帧图像进行索引，并在关键帧选取策略中引入了逆向索引关键帧选取策略补充机器人弯道运动时常规顺向索引可能遗漏的关键帧；步骤三、依据关键帧携带的图像特征进行闭环检测并修正累计误差。本发明通过引入逆向索引关键帧选取策略解决了在非直线运动条件下漏选关键帧的问题，提高了算法的闭环准确和定位精度。

Description

基于逆向索引关键帧选取策略的闭环检测方法、存储介质及 设备
技术领域
本发明涉及基于逆向索引关键帧选取策略的闭环检测方法、存储介质及设 备。
背景技术
SLAM算法是现有技术中用于定位和建立地图的一种有效方法，关键帧选取 对SLAM算法的定位精度和建图效率有着重要作用，后端优化和闭环检测都是 基于选取的关键帧进行的。而在现有的SLAM算法中，传统的关键帧选取方法 在曲线运动拐点附近易出现漏选关键帧的问题。使得整体算法在进行建图和闭环 检测过程中存在机器人曲线运动条件下累计误差较大，准确定位困难，以及闭环 误差修正不完全的能力。此外，现有SLAM算法为保证有足够的图像特征求得 机器人的相机位姿，保证结果的可靠性，常常采用同时提取点特征和线特征，通 过点线特征结合的方式进行位姿计算，这样在图像纹理稠密场景下，就会因同时 提取点线特征进行位姿估计造成特征冗余，增大了不必要的计算量。当需要对线 特征进行提取和匹配时，现有技术中常采用LSD算法，LSD作为一种优良的局 部直线特征提取算法，其优点是能在线性时间内得出亚像素级别精度的线特征检 测结果。但缺点也很明显，会进一步增加计算耗时。
发明内容
本发明的目的在于提供基于逆向索引关键帧选取策略的闭环检测方法，以解 决现有的SLAM算法用于建立地图并进行闭环检测时存在曲线运动拐点附近易 出现漏选关键帧并且计算过程中计算量较大的技术问题。
所述的基于逆向索引关键帧选取策略的闭环检测方法、存储介质及设备，包 括下列步骤：
步骤一、采集当前位置的图像信息，处理后从中提取相应图像特征并求解相 机位姿；
步骤二、移动过程中获取连续的图像帧作为连续帧图像，对连续帧图像进行 索引，并在关键帧选取策略中引入了逆向索引关键帧选取策略补充机器人弯道运 动时常规顺向索引可能遗漏的关键帧；
步骤三、依据关键帧携带的图像特征进行闭环检测并修正累计误差。
优选的，所述关键帧选取策略包括：进行索引时，采用的索引方式包括索引 次序与图像采集次序相同的顺向索引和索引次序与图像采集次序相反的逆向索 引，顺向索引以最新的关键帧为起点进行顺向索引直至选取下一个关键帧或索引 到连续帧图像的最后一帧，当新的关键帧是依据顺向索引角度阈值确定的时，启 动关键帧逆向索引策略，以新的关键帧作为当前关键帧为起点进行逆向索引直至 检索到上一关键帧，顺向索引过程中依据当前连续帧图像到所述当前关键帧之间 的位移变化量或顺向旋转变化量是否达到相应阈值判断该连续帧图像是否能被 选取为关键帧；逆向索引过程中，估计当前关键帧与介于当前关键帧与上一关键 帧之间所有的普通帧之间的逆向旋转变化量，依据逆向旋转变化量是否大于逆向 角度阈值，判断该普通帧是否为遗漏的关键帧，能否被补充到关键帧库。
优选的，所述关键帧选取策略的数学表达式为：
kfj＝{fi|([Δpji＞τ]∪[Δθji＞γ1]∪[Δθci＞γ2])}，
其中kfj表示关键帧，当满足关键帧选取策略时新插入一个关键帧kfj， j＝j+1，当新插入的关键帧kfj满足Δθji＞γ1时，设定该关键帧kfj为逆向索引的起 点即当前关键帧kfc，c为当前帧的标记，当逆向检索补充关键帧时，设定该新的 关键帧为继续逆向索引的新起点，但不重设当前关键帧kfc，fi表示连续帧图像， 顺向检索时，Δpji为当前第i个连续帧图像fi到前一个关键帧kfj(即第j个关 键帧)的位移变化量，Δθji为当前第i个连续帧图像fi到前一个关键帧kfj(即 第j个关键帧)的顺向旋转变化量；当依照策略进行逆向索引时，计算kfc与kfc-1之间的普通帧
Figure BDA0003108187690000021
与kfc之间的旋转变化量Δθci，此时i＝ic-r； Δθci为逆向索引时介于当前关键帧kfc与kfc-1上一关键帧之间的第i个连续帧图像到当前关键帧kfc的逆向旋转变化量，τ表示位移阈值，γ1表示顺向角度阈值， τ、γ1是顺向索引选取关键帧的主要依据，γ2表示逆向角度阈值，是逆向索引选 取关键帧的依据。
优选的，所述步骤一中提供一种基于信息熵引导的位姿跟踪决策，该跟踪决 策优先提取图像中的点特征，并通过信息熵HX计算优先提取的点特征含有的信 息量，当信息熵HX低于设定阈值ξ，选择调用图像中的线特征辅助位姿估计， 否则仅仅通过点特征进行位姿估计。
优选的，调用线特征辅助位姿估计方法包括下列步骤：
步骤1：机器人在实验场景中探索环境，采集当前位置的图像信息，计算图 像像素梯度，在形成的像素梯度场中利用区域增长算法获得线段支持域，随后对 该支持域进行矩形估计，得到备选的线特征；
步骤2：依据错误报警数更新矩形线段支持域，输出符合标准的LSD线特 征，得到初始的线特征集合
Figure BDA0003108187690000031
步骤3：将初始的线特征集合
Figure BDA0003108187690000032
中的线特征按长度值降序排列，并按一定要 求筛选合并后更新为新的线特征集合
Figure BDA0003108187690000033
步骤4：将冗余的线特征剔除后，利用直线特征的外观和几何约束进行有效 的直线匹配求解相机位姿。
优选的，所述步骤3具体包括下列子步骤：
步骤3.1：计算当前帧图像上线段长度大于长度阈值的线特征数目，将符合 前述要求的线特征存入集合Nλ；
步骤3.2：当集合Nλ中的线特征数目大于δ时，保留集合
Figure BDA0003108187690000034
中的前δ条线特 征，δ为适应于场景纹理的整体稀疏程度的阈值，删除
Figure BDA0003108187690000035
中其他冗余线特征， 获得新的集合Nλ；
步骤3.3：若集合Nλ中的线特征数目小于δ，则通过断线拼接方法拼接被过 度分割的长线特征并同步更新
Figure BDA0003108187690000036
和Nλ；当Nλ≥δ时停止，返回步骤3.2；否则， 说明当前帧图像中场景纹理较为稀疏，此时保留初始的线特征集合
Figure BDA0003108187690000037
中的所有线 特征并输出。
优选的，所述步骤三具体为：选取关键帧后利用词袋模型中的词包向量在地 图中搜索与之具有相同词汇的所有关键帧，并通过计算被选取的关键帧与新的关 键帧中特征的相似度得分判断移动轨迹是否形成闭环。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计 算机程序被处理器执行时实现如上所述的基于逆向索引关键帧选取策略的闭环 检测方法的步骤。
本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并 可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所 述的基于逆向索引关键帧选取策略的闭环检测方法的步骤。
本发明具有以下优点。
(1)针对PL-SLAM在稠密场景下同时使用点线特征(进行位姿跟踪)造 成特征计算冗余的问题，提出一种基于信息熵引导的位姿跟踪决策，使用信息熵 评价优先提取的特征点，依据评价结果决策点线特征的融合使用方式，避免了在 纹理稠密场景下点线特征同时使用造成数据冗余，提高了算法的实时性。
(2)针对LSD线特征提取时存在的长线特征被过度分割为短线特征，导致 短线特征较多，为后续的特征匹配造成的误匹配干扰等问题。本发明对LSD算 法提取出的线特征进行条件筛选和断线拼接，剔除冗余短线特征，提高了特征匹 配的准确率。
(3)针对传统的关键帧选取方法在曲线运动时易出现漏选关键帧等问题。 本发明提出一种逆向索引关键帧选取策略，当新关键帧是依据旋转变化量确定的 时，启动逆向索引关键帧选取策略，求解当前关键帧与介于当前关键帧与上一关 键帧之间的所有普通帧之间的逆向旋转变化量，当该旋转变化量超过设定阈值 时，补充对应的普通帧为关键帧。这样通过引入逆向索引关键帧选取策略解决了 在非直线运动条件下漏选关键帧的问题，提高了算法的闭环准确和定位精度。
附图说明
图1为本发明基于逆向索引关键帧选取策略的闭环检测方法的框架图。
图2为本发明中对线特征按条件筛选的流程图。
图3为本发明中线特征提取的效果对比图。
图4为本发明中基于信息熵引导的位姿跟踪决策的框架图。
图5为本发明中逆向索引关键帧选取策略的示意图。
图6为本发明中点特征对极几何约束和线特征的三角化算法的示意图。
图7为第一节实验中3种算法对不同稠密程度场景的特征提取对比图。
图8为第二节实验中3种算法在KITTI数据集序列下的轨迹图。
图9为第三节实验中3种算法在TUM数据集序列下的轨迹图。
图10为第三节实验中3种算法TUM数据下的准确率－召回率对比图。
图11为第三节实验中3种算法在TUM数据集下的运行时间对比图。
具体实施方式
下面对照附图，通过对实施例的描述，对本发明具体实施方式作进一步详细 的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准 确和深入的理解。
考虑到现有的PL-SLAM算法在稠密场景下同时使用点线特征进行位姿跟 踪，容易造成特征计算冗余的问题，我们基于PL-SLAM算法进一步改进设计了 一种新的IFPL-SLAM算法(改进型快速PL-SLAM算法)，并利用该算法实现 了一种基于逆向索引关键帧选取策略的闭环检测方法，具体实施例如下。
实施例一：
如图1-11所示，本发明提供了基于逆向索引关键帧选取策略的闭环检测方 法，包括下列步骤：
步骤一、采集当前位置的图像信息，处理后从中提取相应图像特征并求解相 机位姿。
机器人获取视觉场景图像序列后，为避免图像纹理稠密场景下，同时提取点 线特征进行位姿估计造成特征冗余，本发明提出一种基于信息熵引导的位姿跟踪 决策。该跟踪决策优先提取图像中的点特征，并通过信息熵计算点特征的信息量， 当点特征信息量不足时，调用图像中的线特征进行辅助位姿估计，否则仅仅通过 点特征进行位姿估计。基于信息熵引导的位姿跟踪决策框架图如图4所示。
信息熵是对随机离散信息的一种量化度量，能够直接表示图像中含有的信息 量，由于图像中提取的特征点的分布具有不确定性，因此本发明通过信息熵来计 算优先提取的点特征含有的信息量。其计算规则如式(1)所示。
Figure BDA0003108187690000061
其中，P(xi,yi)表示第i个特征点在图像中(xi,yi)处出现的概率。n为图像中 特征点的个数。HX为图像中特征点的信息熵。信息熵值越大，图像中提取的特 征点携带的信息量越大，反之，说明图像中携带的信息量较少。
当点特征的信息熵HX高于设定阈值ξ时(ξ为经验值，由多次实验估计而 来)，表明该图像上的点特征可满足算法进行位姿估计和跟踪，即此时不需调用 环境中的线特征；而当图像中的场景纹理特征变稀疏时，点特征提取难度增大， 点特征数量减少或分布不均，此时信息熵HX低于设定阈值ξ，为保证有足够的 环境信息参与到位姿估计中选择调用图像中的线特征辅助位姿估计，避免位姿跟 踪丢失。此外，有选择地加入线特征进行位姿估计。该方法相对于传统的点线融 合视觉里程计算法，从根源上避免了图像特征的冗余提取和计算，缓解了计算资 源的紧张和因大量计算带来的实时性不足等问题。基于信息熵引导的位姿跟踪决 策算法如下所示。
Figure BDA0003108187690000071
当需要对线特征进行提取和匹配时，现有技术中常采用LSD算法，LSD作 为一种优良的局部直线特征提取算法，其优点是能在线性时间内得出亚像素级别 精度的线特征检测结果.但缺点也很明显，如计算耗时。因此，本方法对LSD 算法提取的线特征进行条件筛选，包括拼接被过度分割的线特征和去除冗余短线 特征，减少冗余匹配的计算耗时和提高线特征匹配的准确率。步骤一中改进后的 调用线特征辅助位姿估计方法具体步骤如下。
步骤1：机器人在实验场景中探索环境，采集当前位置的图像信息，计算图 像像素梯度，包括方向Lθ与幅值G(x,y)，计算方式如式(2)-(4)所示。
Figure BDA0003108187690000072
Lθ＝arctan[-gx(x,y)/gy(x,y)] (3)
Figure BDA0003108187690000073
其中，gx(x,y)、gy(x,y)为像素点在x轴和y轴方向上的梯度，i(x,y)表示图像 中(x,y)位置处像素点的灰度值。在形成的像素梯度场中利用区域增长算法获得 线段支持域，随后对该支持域进行矩形估计，得到备选的线特征。
步骤2：依据错误报警数(NFA)更新矩形线段支持域，输出符合标准的LSD 线特征，具体表达式如式(5)。
Figure BDA0003108187690000081
其中，阈值ε为矩形中像素点密度的评估量。使用LBD描述算子对输出的 线特征进行描述，并将提取的线特征存入集合
Figure BDA0003108187690000082
中，集合
Figure BDA0003108187690000083
表示第 i帧图像中共有n条线特征，
Figure BDA0003108187690000084
表示第i帧图像中的第n条线特征，集合
Figure BDA0003108187690000085
即初始 的线特征集合。
步骤3：将集合
Figure BDA0003108187690000086
中的线特征按长度值降序排列，并按一定要求筛选合并后 更新为新的线特征集合
Figure BDA0003108187690000087
其中，集合中元素的数目和元素本身携 带的线特征信息与
Figure BDA0003108187690000088
保持不变。该步骤具体包括下列子步骤。
步骤3.1：计算当前帧图像fc上线段长度大于长度阈值λ的线特征数目，记 为Nλ，记集合
Figure BDA0003108187690000089
步骤3.2：当集合Nλ中的线特征数目大于δ(δ适应于场景纹理的整体稀疏 程度)时，保留集合
Figure BDA00031081876900000810
中的前δ条线特征，删除
Figure BDA00031081876900000811
中其他冗余线特征。
步骤3.3：若集合Nλ中的线特征数目小于δ，则通过断线拼接方法拼接被过 度分割的长线特征并同步更新
Figure BDA00031081876900000812
和Nλ。当Nλ≥δ时停止，返回步骤3.2。否则， 说明图像fc中场景纹理较为稀疏，可能相机正处于纹理稀疏的区域或相机抖动导 致图像质量不佳，此时保留初始的线特征集合
Figure BDA00031081876900000813
中的所有线特征并输出。其流程 图如图2所示。
步骤4：将冗余的线特征剔除后，利用直线特征的外观和几何约束进行有效 的直线匹配求解相机位姿。
图3(a)、图3(c)为LSD线特征提取效果图，由于图像中物体本身的特 性和光线等原因，存在较多短线特征和少数被过度分割的长线特征。图3(b)、 图3(d)为条件筛选的线特征提取效果图，图中可以看出通过本发明提出的条 件筛选方法剔除了图像中冗余短线特征和部分重复提取的线特征，使得提取的线 特征在图像中分布较为清晰，为后续线特征匹配提供了良好的基础。
步骤二、确定第一帧图像为第一个关键帧，移动过程中获取连续的图像帧作 为连续帧图像(又称为普通帧)，对连续帧图像进行索引并依据关键帧选取策略 从中选取新的关键帧插入关键帧库。
关键帧选取所述关键帧选取策略包括：进行索引时，采用的索引方式包括索 引次序与图像采集次序相同的顺向索引和索引次序与图像采集次序相反的逆向 索引，顺向索引以最新的关键帧为起点进行顺向索引直至选取下一个关键帧或索 引到连续帧图像的最后一帧，当新的关键帧是依据顺向索引角度阈值确定的时， 启动关键帧逆向索引策略，以新的关键帧作为当前关键帧为起点进行逆向索引直 至检索到上一关键帧，顺向索引过程中依据当前连续帧图像到所述当前关键帧之 间的位移变化量或顺向旋转变化量是否达到相应阈值判断该连续帧图像是否能 被选取为关键帧；逆向索引过程中，估计当前关键帧与介于当前关键帧与上一关 键帧之间所有的普通帧之间的逆向旋转变化量，依据逆向旋转变化量是否大于逆 向角度阈值，判断该普通帧是否为遗漏的关键帧，能否被补充到关键帧库。顺向 旋转变化量和逆向旋转变化量都属于旋转变化量。所述逆向索引和所述顺向索引能够同时进行，即同时进行双向索引。
所述关键帧选取策略的数学表达式为：
kfj＝{fi|([Δpji＞τ]∪[Δθji＞γ1]∪[Δθci＞γ2])}， (6)
其中kfj表示关键帧，当满足关键帧选取策略时新插入一个关键帧kfj， j＝j+1，当新插入的关键帧kfj满足Δθji＞γ1时，设定该关键帧kfj为逆向索引的起 点即当前关键帧kfc，c为当前帧的标记，当逆向检索补充关键帧时，设定该新的 关键帧为继续逆向索引的新起点，但不重设当前关键帧kfc，fi表示连续帧图像， 顺向检索时，Δpji为当前第i个连续帧图像fi到前一个关键帧kfj(即第j个关 键帧)的位移变化量，Δθji为当前第i个连续帧图像fi到前一个关键帧kfj(即 第j个关键帧)的顺向旋转变化量；当依照策略进行逆向索引时，计算kfc与kfc-1之间的普通帧
Figure BDA0003108187690000102
与kfc之间的旋转变化量Δθci，此时i＝ic-r。 Δθci为逆向索引时介于当前关键帧kfc与kfc-1上一关键帧之间的第i个连续帧图像到当前关键帧kfc的逆向旋转变化量，τ表示位移阈值，γ1表示顺向角度阈值， τ、γ1是顺向索引选取关键帧的主要依据，γ2表示逆向角度阈值，是逆向索引选 取关键帧的依据。
下面依据附图对索引和选取关键帧的过程进行具体说明：机器人沿指示方向 行驶，获取连续帧图像数据，首先确定第一帧图像为第一个关键帧并将其位置定 为世界坐标系的起点。通过对极几何方法估计帧间的位姿变化。帧间位姿变化矩 阵用对极几何表示为公式(7)。图像中的点、线特征经过提取与匹配之后，得 到如图6所示的点特征对极几何约束和线特征的三角化算法。以点特征为例，空 间一点P＝[X,Y,Z]T在两帧图像中的投影为p1和p2，由针孔相机模型可得像素点 p1和p2的像素位置能表示为上述公式：
Figure BDA0003108187690000101
其中，s1、s2为尺度因子，K为相机内参矩阵，R21和t21分别为I2相对于I1的 旋转和平移矩阵。可由基础矩阵或本质矩阵求解恢复相机运动得到。旋转和平移 矩阵得出之后将三维向量到二维平面，继而可求得本算法所需的任意两帧之间的 平移变化量Δp和旋转变化量Δθ。机器人直线运动阶段旋转变化量Δθ变化较小， 运动变化主要体现在位移变化量Δp上，因此机器人直线运动阶段依照位移阈值 τ选取关键帧，即当Δp超过位移阈值τ时选取关键帧，对应于图5中的顺向索 引。
具体到本方案的实施例中，当机器人作曲线运动，尤其是发生转弯时，机器 人可在短时间、短距离范围内发生较大的行驶角度变化，若未将关键位置处的图 像帧设为关键帧，造成关键位置关键帧遗漏，将直接影响后端的闭环检测及累计 误差修正，继而影响全局一致性轨迹图的构建，因此，机器人曲线运动时，需要 结合顺向和逆向的角度阈值进行关键帧选取。关键帧选取的具体过程为：Δpjc和 Δθjc表示当前帧fc相对于上一关键帧kfj的位移和角度变化量，计算当前帧fc与 上一关键帧kfj之间的旋转变化量Δθjc，其中c为当前帧的标记，j表示关键帧的 编号，当Δθjc大于顺向角度阈值γ1时，记当前关键帧为新的关键帧，记为当前关 键帧kfc，同时以当前关键帧为起点双向索引，双向索引除包括顺向索引外还包 括逆向索引，其中逆向索引是指：估计kfc与介于kfc与kfc-1之间所有的普通帧之间的逆向旋转变化量Δθci，当Δθci大于逆向度阈值γ2时，补充选取对应的连续帧 图像fi为关键帧，插入关键帧库，逆向索引的关键帧选取策略示意图如图5所示。 该过程不中断关键帧的顺向索引，即同时继续帧间位姿估计，依据平移阈值τ和 角度阈值γ1选取新的关键帧。在实际操作中γ1和γ2的设定受环境纹理稀疏程度的 影响，同时，为了避免关键帧的冗余，一般设置γ1＞γ2。逆向索引关键帧选取策 略的算法如下所示。
Figure BDA0003108187690000121
若采用定期重排插入的所有关键帧以方便第三步闭环检测对关键帧搜索，则 可以将逆向索引获取的关键帧设定为
Figure BDA0003108187690000122
表示重排前以第j个关键帧开始进行 逆向检索得到的第s个新的关键帧，获取该关键帧
Figure BDA0003108187690000123
后插入到kfc-1与kfc之间 或插入到kfc-1与上一个关键帧
Figure BDA0003108187690000124
之间。定期重排时，结合逆向索引获取的关键 帧
Figure BDA0003108187690000125
从f1开始重排。当排列到第一个逆向获取的关键帧
Figure BDA0003108187690000126
时，其中s值为最 大值sj，该关键帧重排后为kfj。之后的关键帧
Figure BDA0003108187690000127
重排后为kfj，且j＝j-s+sj，s 表示逆向索引获取的第s个新的关键帧，sj表示在
Figure BDA0003108187690000128
中s的最大值，此后重排 时依次会遇到j＝k1、k2、…km的m个j取值不同的
Figure BDA0003108187690000131
每遇到一个就在之后 编号重排时累加一个对应关键帧
Figure BDA0003108187690000132
中s的最大值skm，由此可得重排时的编号 算式为j＝j-s+sk1+sk2+…+skm，其中k1、k2、…km为当前关键帧kfj重排前遇到 的所有关键帧
Figure BDA0003108187690000133
中j的第1、2…m个取值。经过重排后得到新的关键帧序列， 供步骤3使用。
步骤三、依据采集的图像特征进行闭环检测并修正累计误差。
该步骤具体为：选取关键帧后利用词袋模型中的词包向量在地图中搜索与之 具有相同词汇的所有关键帧，并通过计算被选取的关键帧与新的关键帧中特征的 相似度得分判断移动轨迹是否形成闭环。在计算相似度得分时，按照闭环候选帧 中的点线比例进行加权:
Figure BDA0003108187690000134
其中，
Figure BDA0003108187690000135
对应于当前闭环候选帧上的点线特征权重，由对应帧上正确 匹配的点线特征各自的数量决定，二值的变化区间同为[0，1]，
Figure BDA0003108187690000136
和
Figure BDA0003108187690000137
对应于点、 线特征的相似度得分。
针对上述的基于逆向索引关键帧选取策略的闭环检测方法，下面将结合具体 实验对其过程进行说明。
本文实验所用的电脑软硬件配置：CPU为i5处理器，主频2.9GHz，内存 8G，系统为Ubuntu18.04。为了验证本发明的有效性，分别使用KITTI公开数据 集和TUM公开数据集对本发明所提策略进行验证。
一、点线特征提取实验
图7所示为ORB-SLAM2、PL-SLAM和IFPL-SLAM 3种算法在TUM数据 集上的特征提取效果对比图。表1所示为对应3种算的法特征提取时间与匹配准 确率对比结果。其中，图7(a)～7(f)所示场景纹理信息丰富，点线特征稠密。该6 幅图的特征提取对比可知，稠密场景下3种算法均能提取到丰富的特征信息，而 IFPL-SLAM算法与PL-SLAM算法相比，由于IFPL-SLAM算法采用了基于信息 熵引导的位姿跟踪决策，通过计算点特征的信息熵得出该图像中提取的点特征已 能满足相机位姿求解，因此，本发明在该图像帧未进行线特征提取，节省了线特 征的处理时间。使得本发明的单帧处理时间与PL-SLAM算法相比减少了16.0％。 图7(h)～7(i)所示场景的纹理较为稀疏，仅提取点特征的ORB-SLAM2算法由于缺乏数目充足且均匀分布点特征进行特征匹配，导致匹配准确率较低。IFPL-SLAM 算法克服了稀疏场景中点特征不足的弊端，针对稀疏场景点特征不足的情况及时 调用环境中的线特征，并对提取的线特征进行条件筛选，剔除了冗余线特征，整 体提升了该算法的特征匹配正确率。使得本发明的匹配准确率与ORB-SLAM2 相比提高了7.8％。
表1：TUM数据集下3种算法特征匹配准确率和特征处理时间对比
Figure BDA0003108187690000141
二、KITTI数据集评估
本文选取KITTI数据集进行评估，如图8(a)～8(d)分别为ORB-SLAM2、 PL-SLAM和IFPL-SLAM 3种算法在KITTI 4个序列下获取的轨迹图对比。表2 为对应的3种算法在4个序列中运行时获取的对比数据。01序列和10序列较为 简单，3种算法均实现了不同精准程度的跟踪，其中IFPL-SLAM算法的轨迹更 加接近真实轨迹。图8(c)所示为3种算法在08序列中获取的轨迹图，该序列在 真实轨迹坐标为(375，400)位置附近时，场景纹理信息较为稀疏。ORB-SLAM2 算法由于在稀疏场景中提取的点特征较少导致跟踪丢失。而IFPL-SLAM和 PL-SLAM算法凭借线特征的补充跟踪完成了对整个环境的建图。图8(d)所示02 序列是一个带闭环的图像序列，对比的3种算法均通过闭环检测修正累计误差。 从图8(c)和8(d)中的局部放大图中可以看出，在拐弯和曲线运动过程中，由于 IFPL-SLAM算法提出的逆向索引关键帧选取策略补充了更多关键位置的关键 帧，提高了算法的定位精度，使得IFPL-SLAM的绝对轨迹误差相比于PL-SLAM 算法缩小了23.4％，相比于ORB-SLAM2缩小了43.0％。可见本发明在定位精度 方面与ORB-SLAM2和PL-SLAM算法相比有较大优势。
表2：3种算法在KITTI数据集4个序列下的结果对比
Figure BDA0003108187690000151
三、TUM数据集评估
本文进一步使用TUM数据集进行评估，TUM数据集主要源于室内环境， 实验中选取纹理较为稀疏的fr3/large/cabinet序列、旋转度较大的 fr2/360-hemisphere序列、具有闭环场景的fr1/plant与fr2/xyz序列对本发明进行 验证。图9所示分别为ORB-SLAM2、PL-SLAM和IFPL-SLAM 3种算法在不同 序列下构建的轨迹图。从图9(a)可以看出，由于场景为稀疏环境，ORB-SLAM2 算法的跟踪效果较差，且在运行时由于提取的点特征无法满足匹配要求导致跟踪 丢失。而IFPL-SLAM算法和PL-SLAM算法通过点线特征结合进行跟踪，能够完成全局一致性建图。从图9(b)中可以看出机器人在蓝色矩形区域内出现了多次 剧烈的拐弯导致ORB-SLAM2和PL-SLAM最终在(1.344，0)附近发生跟踪丢 失，而IFPL-SLAM算法的逆向索引关键帧选取策略补充了拐弯处漏选的关键帧， 因此能够较好地完成弯道轨迹的跟踪并提升整个环境的建图效果。图9(c)和9 (d)是对闭环场景轨迹的跟踪效果，2种场景下的3种算法均因具有闭环检测 环节完成了全局地图的构建，由于IFPL-SLAM算法对提取的线特征进行了条件 筛选且引入了逆向索引关键帧选取策略使得本发明获取的轨迹图更加接近真实 轨迹。
表3为3种算法在不同序列下的平移误差和旋转误差对比。从表中数据可知，IFPL-SLAM算法的平移误差与PL-SLAM相比减少了21.3％，与ORB-SLAM2 相比减少了43.1％。同时，IFPL-SLAM算法的旋转误差与PL-SLAM相比减少了 17.2％，与ORB-SLAM2相比减少了39.3％。
表3：3种算法在TUM数据集下的平移误差和旋转误差对比
Figure BDA0003108187690000161
图10所示为3种算法在TUM-fr1/plant和TUM-fr2/xyz序列下的准确率-召 回率曲线对比图；从图10中可以看出在两个序列中，IFPL-SLAM算法准确率维 持在100％的前提下，召回率最大值分别为87.5％和89.1％，该结果与PL-SLAM 相比提高了12.4％，与ORB-SLAM2相比提高了19.2％。
图11所示为3种算法在TUM数据集下的运行时间对比图，从图中可以看 出本发明的运行时间与PL-SLAM相比减少了22.1％，与ORB-SLAM2算法相比， 由于本发明增加了对场景纹理稠密程度的识别能力、线特征的提取与筛选占用了 一部分运行时间，使得本发明运行时间较ORB-SLAM2有所增加，但仍可满足 实时性需求。
通过第一节实验证明了本发明提出的位姿跟踪决策可以通过特征点的信息 熵对场景纹理稠密程度进行识别，能够决策点线特征的融合使用方式。通过第二、 三节实验将本发明在公开的KITTI数据集和TUM数据集进行测试，测试结果表 明由于本发明引入了基于信息熵引导的位姿跟踪决策，在环境纹理稠密场景下提 取的点特征已能满足相机位姿求解，将不会调用图像中的线特征，提高了算法的 实时性，使得本发明的运行时间与PL-SLAM算法相比减少了16.0％。
通过改进后的相机位姿求解方法的实验验证了本发明。如图3所示，测试结 果表明，由于图像中物体本身的特性和光线等原因，传统的LSD算法提取存在 较多短线特征和少数被过度分割的长线特征。经过本发明提出的条件筛选和断线 拼接方法剔除了图像中冗余短线特征和部分重复提取的线特征，使得提取的线特 征在图像中分布较为清晰，为后续线特征匹配提供了良好的基础，提高了特征匹 配的准确率。
在第二、三节实验中，本发明通过逆向索引关键帧选取策略补充了拐弯处漏 选的关键帧，因此能够较好地完成弯道轨迹的跟踪并提升整个环境的建图效果， 克服了机器人曲线运动条件下累计误差大，准确定位困难，以及回环误差修正不 完全的弊端，提升了算法的定位精度和闭环的准确率。使得IFPL-SLAM的绝对 轨迹误差相比于PL-SLAM算法缩小了23.4％，相比于ORB-SLAM2缩小了 43.0％。闭环检测中，在准确率为100％的情况下，IFPL-SLAM与PL-SLAM相 比提高了约12.4％，与ORB-SLAM2相比提高了约19.2％，表现出了良好的构图 能力。
实施例二：
与本发明实施例一对应，本发明实施例二提供一种计算机可读存储介质，其 上存储有计算机程序，该程序被处理器执行时依照实施例一的方法实现以下步 骤。
步骤一、采集当前位置的图像信息，处理后从中提取相应图像特征并求解相 机位姿。
步骤二、移动过程中获取连续的图像帧作为连续帧图像，对连续帧图像进行 索引，并在关键帧选取策略中引入了逆向索引关键帧选取策略补充机器人弯道运 动时常规顺向索引可能遗漏的关键帧。
步骤三、依据关键帧携带的图像特征进行闭环检测并修正累计误差。
上述存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、光盘等各种可 以存储程序代码的介质。
上述关于计算机可读存储介质中程序执行后实现步骤的具体限定可以参见 实施例一，在此不再做详细说明。
实施例三：
与本发明实施例一对应，本发明实施例三提供一种计算机设备，包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所 述程序时依照实施例一的方法实现以下步骤。
步骤一、采集当前位置的图像信息，处理后从中提取相应图像特征并求解相 机位姿。
步骤二、移动过程中获取连续的图像帧作为连续帧图像，对连续帧图像进行 索引，并在关键帧选取策略中引入了逆向索引关键帧选取策略补充机器人弯道运 动时常规顺向索引可能遗漏的关键帧。
步骤三、依据关键帧携带的图像特征进行闭环检测并修正累计误差。
上述关于计算机设备实现步骤的具体限定可以参见实施例一，在此不再做详 细说明。
需要说明的是，本发明的说明书附图中的框图和/或流程图中的每个方框、 以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的 基于硬件的系统来实现，或者可以用专用硬件与获得机指令的组合来实现。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述 方式的限制，只要采用了本发明的发明构思和技术方案进行的各种非实质性的改 进，或未经改进将本发明构思和技术方案直接应用于其它场合的，均在本发明保 护范围之内。

Claims (9)

1.基于逆向索引关键帧选取策略的闭环检测方法，其特征在于：包括下列步骤：
步骤一、采集当前位置的图像信息，处理后从中提取相应图像特征并求解相机位姿；
步骤二、移动过程中获取连续的图像帧作为连续帧图像，对连续帧图像进行索引，并在关键帧选取策略中引入了逆向索引关键帧选取策略补充机器人弯道运动时常规顺向索引可能遗漏的关键帧；
步骤三、依据关键帧携带的图像特征进行闭环检测并修正累计误差。
2.根据权利要求1所述的基于逆向索引关键帧选取策略的闭环检测方法，其特征在于：所述关键帧选取策略包括：进行索引时，采用的索引方式包括索引次序与图像采集次序相同的顺向索引和索引次序与图像采集次序相反的逆向索引，顺向索引以最新的关键帧为起点进行顺向索引直至选取下一个关键帧或索引到连续帧图像的最后一帧，当新的关键帧是依据顺向索引角度阈值确定的时，启动关键帧逆向索引策略，以新的关键帧作为当前关键帧为起点进行逆向索引直至检索到上一关键帧，顺向索引过程中依据当前连续帧图像到所述当前关键帧之间的位移变化量或顺向旋转变化量是否达到相应阈值判断该连续帧图像是否能被选取为关键帧；逆向索引过程中，估计当前关键帧与介于当前关键帧与上一关键帧之间所有的普通帧之间的逆向旋转变化量，依据逆向旋转变化量是否大于逆向角度阈值，判断该普通帧是否为遗漏的关键帧，能否被补充到关键帧库。
3.根据权利要求2所述的基于逆向索引关键帧选取策略的闭环检测方法，其特征在于：所述关键帧选取策略的数学表达式为：
kfj＝{fi|([Δpji＞τ]∪[Δθji＞γ1]∪[Δθci＞γ2])}，
其中kfj表示关键帧，当满足关键帧选取策略时新插入一个关键帧kfj，j＝j+1，当新插入的关键帧kfj满足Δθji＞γ1时，设定该关键帧kfj为逆向索引的起点即当前关键帧kfc，c为当前帧的标记，当逆向检索补充关键帧时，设定该新的关键帧为继续逆向索引的新起点，但不重设当前关键帧kfc，fi表示连续帧图像，顺向检索时，Δpji为当前第i个连续帧图像fi到前一个关键帧kfj(即第j个关键帧)的位移变化量，Δθji为当前第i个连续帧图像fi到前一个关键帧kfj(即第j个关键帧)的顺向旋转变化量；当依照策略进行逆向索引时，计算kfc与kfc-1之间的普通帧fic-r,(ic-1＜ic-r＜ic)与kfc之间的旋转变化量Δθci，此时i＝ic-r；Δθci为逆向索引时介于当前关键帧kfc与kfc-1上一关键帧之间的第i个连续帧图像到当前关键帧kfc的逆向旋转变化量，τ表示位移阈值，γ1表示顺向角度阈值，τ、γ1是顺向索引选取关键帧的主要依据，γ2表示逆向角度阈值，是逆向索引选取关键帧的依据。
4.根据权利要求1-3中任一所述的基于逆向索引关键帧选取策略的闭环检测方法，其特征在于：所述步骤一中提供一种基于信息熵引导的位姿跟踪决策，该跟踪决策优先提取图像中的点特征，并通过信息熵HX计算优先提取的点特征含有的信息量，当信息熵HX低于设定阈值ξ，选择调用图像中的线特征辅助位姿估计，否则仅仅通过点特征进行位姿估计。
5.根据权利要求4所述的基于逆向索引关键帧选取策略的闭环检测方法，其特征在于：调用线特征辅助位姿估计方法包括下列步骤：
步骤1：机器人在实验场景中探索环境，采集当前位置的图像信息，计算图像像素梯度，在形成的像素梯度场中利用区域增长算法获得线段支持域，随后对该支持域进行矩形估计，得到备选的线特征；
步骤2：依据错误报警数更新矩形线段支持域，输出符合标准的LSD线特征，得到初始的线特征集合
Figure FDA0003108187680000021
步骤3：将初始的线特征集合
Figure FDA0003108187680000022
中的线特征按长度值降序排列，并按一定要求筛选合并后更新为新的线特征集合
Figure FDA0003108187680000023
步骤4：将冗余的线特征剔除后，利用直线特征的外观和几何约束进行有效的直线匹配求解相机位姿。
6.根据权利要求5所述的基于逆向索引关键帧选取策略的闭环检测方法，其特征在于：所述步骤3具体包括下列子步骤：
步骤3.1：计算当前帧图像上线段长度大于长度阈值的线特征数目，将符合前述要求的线特征存入集合Nλ；
步骤3.2：当集合Nλ中的线特征数目大于δ时，保留集合
Figure FDA0003108187680000031
中的前δ条线特征，δ为适应于场景纹理的整体稀疏程度的阈值，删除
Figure FDA0003108187680000032
中其他冗余线特征，获得新的集合Nλ；
步骤3.3：若集合Nλ中的线特征数目小于δ，则通过断线拼接方法拼接被过度分割的长线特征并同步更新
Figure FDA0003108187680000033
和Nλ；当Nλ≥δ时停止，返回步骤3.2；否则，说明当前帧图像中场景纹理较为稀疏，此时保留初始的线特征集合
Figure FDA0003108187680000034
中的所有线特征并输出。
7.根据权利要求1所述的基于逆向索引关键帧选取策略的闭环检测方法，其特征在于：所述步骤三具体为：选取关键帧后利用词袋模型中的词包向量在地图中搜索与之具有相同词汇的所有关键帧，并通过计算被选取的关键帧与新的关键帧中特征的相似度判断移动轨迹是否形成闭环。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的基于逆向索引关键帧选取策略的闭环检测方法的步骤。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-7中任一所述的基于逆向索引关键帧选取策略的闭环检测方法的步骤。
CN202110643771.2A 2021-06-09 2021-06-09 基于逆向索引关键帧选取策略的闭环检测方法、存储介质及设备 Active CN113298014B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110643771.2A CN113298014B (zh) 2021-06-09 2021-06-09 基于逆向索引关键帧选取策略的闭环检测方法、存储介质及设备
US17/836,147 US11645846B2 (en) 2021-06-09 2022-06-09 Closed-loop detecting method using inverted index-based key frame selection strategy, storage medium and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110643771.2A CN113298014B (zh) 2021-06-09 2021-06-09 基于逆向索引关键帧选取策略的闭环检测方法、存储介质及设备

Publications (2)

Publication Number Publication Date
CN113298014A true CN113298014A (zh) 2021-08-24
CN113298014B CN113298014B (zh) 2021-12-17

Family

ID=77327848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110643771.2A Active CN113298014B (zh) 2021-06-09 2021-06-09 基于逆向索引关键帧选取策略的闭环检测方法、存储介质及设备

Country Status (2)

Country Link
US (1) US11645846B2 (zh)
CN (1) CN113298014B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418927A (zh) * 2021-11-09 2022-04-29 四川大学 一种基于空间关系特征匹配的闭环检测方法及系统
CN116399326A (zh) * 2023-04-06 2023-07-07 安徽工程大学 一种基于自适应关键帧选取的机器人地图构建方法、存储介质及设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630901B (zh) * 2023-07-24 2023-09-22 南京师范大学 一种基于潜在图预测无监督学习框架的视觉里程计方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909877A (zh) * 2016-12-13 2017-06-30 浙江大学 一种基于点线综合特征的视觉同时建图与定位方法
CN107784671A (zh) * 2017-12-01 2018-03-09 驭势科技（北京）有限公司 一种用于视觉即时定位与建图的方法与系统
US20180174323A1 (en) * 2016-12-20 2018-06-21 Samsung Electronics Co., Ltd. Multiscale weighted matching and sensor fusion for dynamic vision sensor tracking
CN108682027A (zh) * 2018-05-11 2018-10-19 北京华捷艾米科技有限公司 基于点、线特征融合的vSLAM实现方法及系统
CN108734737A (zh) * 2018-06-14 2018-11-02 哈尔滨工业大学 基于视觉slam估计空间旋转非合作目标转轴的方法
CN108986168A (zh) * 2018-06-13 2018-12-11 深圳市感动智能科技有限公司 一种基于深度度量学习结合词袋树模型的机器人回环检测方法和装置
CN110853100A (zh) * 2019-10-24 2020-02-28 东南大学 一种基于改进点线特征的结构化场景视觉slam方法
WO2020078064A1 (zh) * 2018-10-19 2020-04-23 北京极智嘉科技有限公司 基于地面纹理图像的导航方法、装置、设备及存储介质
CN111415375A (zh) * 2020-02-29 2020-07-14 华南理工大学 一种基于多鱼眼摄像机和双针孔投影模型的slam方法
CN111427047A (zh) * 2020-03-30 2020-07-17 哈尔滨工程大学 一种大场景下自主移动机器人slam方法
CN111813113A (zh) * 2020-07-06 2020-10-23 安徽工程大学 仿生视觉自运动感知地图绘制方法、存储介质及设备
CN112595322A (zh) * 2020-11-27 2021-04-02 浙江同善人工智能技术有限公司 一种融合orb闭环检测的激光slam方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9964955B2 (en) * 2016-08-04 2018-05-08 Canvas Technology, Inc. System and methods of determining a geometric pose of a camera based on spatial and visual mapping
US11210805B2 (en) * 2017-01-13 2021-12-28 Zhejiang University Simultaneous localization and dense three-dimensional reconstruction method
CN109906069B (zh) * 2017-01-22 2021-12-31 四川金瑞麒智能科学技术有限公司 一种具有医疗监测及反应功能的智能轮椅系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909877A (zh) * 2016-12-13 2017-06-30 浙江大学 一种基于点线综合特征的视觉同时建图与定位方法
US20180174323A1 (en) * 2016-12-20 2018-06-21 Samsung Electronics Co., Ltd. Multiscale weighted matching and sensor fusion for dynamic vision sensor tracking
CN107784671A (zh) * 2017-12-01 2018-03-09 驭势科技（北京）有限公司 一种用于视觉即时定位与建图的方法与系统
CN108682027A (zh) * 2018-05-11 2018-10-19 北京华捷艾米科技有限公司 基于点、线特征融合的vSLAM实现方法及系统
CN108986168A (zh) * 2018-06-13 2018-12-11 深圳市感动智能科技有限公司 一种基于深度度量学习结合词袋树模型的机器人回环检测方法和装置
CN108734737A (zh) * 2018-06-14 2018-11-02 哈尔滨工业大学 基于视觉slam估计空间旋转非合作目标转轴的方法
WO2020078064A1 (zh) * 2018-10-19 2020-04-23 北京极智嘉科技有限公司 基于地面纹理图像的导航方法、装置、设备及存储介质
CN110853100A (zh) * 2019-10-24 2020-02-28 东南大学 一种基于改进点线特征的结构化场景视觉slam方法
CN111415375A (zh) * 2020-02-29 2020-07-14 华南理工大学 一种基于多鱼眼摄像机和双针孔投影模型的slam方法
CN111427047A (zh) * 2020-03-30 2020-07-17 哈尔滨工程大学 一种大场景下自主移动机器人slam方法
CN111813113A (zh) * 2020-07-06 2020-10-23 安徽工程大学 仿生视觉自运动感知地图绘制方法、存储介质及设备
CN112595322A (zh) * 2020-11-27 2021-04-02 浙江同善人工智能技术有限公司 一种融合orb闭环检测的激光slam方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XIAOHU LIN等: "《An Automatic Key-Frame Selection Method for Monocular Visual Odometry of Ground Vehicle》", 《IEEE ACCESS》 *
刘嗣琳: "《融合点线特征的RGBD SLAM算法研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
尚文: "《以视觉传感为主的移动机器人定位导航和环境建模》", 《中国博士学位论文全文数据库 (信息科技辑)》 *
许曈 等: "《一种改进闭环检测算法的鼠类SLAM模型研究》", 《控制工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418927A (zh) * 2021-11-09 2022-04-29 四川大学 一种基于空间关系特征匹配的闭环检测方法及系统
CN116399326A (zh) * 2023-04-06 2023-07-07 安徽工程大学 一种基于自适应关键帧选取的机器人地图构建方法、存储介质及设备
CN116399326B (zh) * 2023-04-06 2023-10-13 安徽工程大学 一种基于自适应关键帧选取的机器人地图构建方法、存储介质及设备

Also Published As

Publication number Publication date
US11645846B2 (en) 2023-05-09
US20220406059A1 (en) 2022-12-22
CN113298014B (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN113298014B (zh) 基于逆向索引关键帧选取策略的闭环检测方法、存储介质及设备
Dymczyk et al. The gist of maps-summarizing experience for lifelong localization
CN112132897A (zh) 一种基于深度学习之语义分割的视觉slam方法
CN110555901A (zh) 动静态场景的定位和建图方法、装置、设备和存储介质
CN109740537B (zh) 人群视频图像中行人图像属性的精确标注方法及系统
CN111445526A (zh) 一种图像帧之间位姿的估计方法、估计装置和存储介质
CN110267101B (zh) 一种基于快速三维拼图的无人机航拍视频自动抽帧方法
CN112395957A (zh) 一种针对视频目标检测的在线学习方法
CN110531618B (zh) 基于有效关键帧的闭环检测机器人自定位误差消除方法
CN109784155B (zh) 基于验证和纠错机制的视觉目标跟踪方法、智能机器人
CN113902991A (zh) 一种基于级联特征融合的孪生网络目标跟踪方法
CN114708300A (zh) 一种可抗遮挡的自适应目标跟踪方法及系统
CN111767905A (zh) 一种改进的基于陆标-卷积特征的图像方法
CN113516682B (zh) 一种激光slam的回环检测方法
CN115527050A (zh) 图像特征匹配方法、计算机设备和可读存储介质
CN111091583B (zh) 长期目标跟踪方法
CN116563341A (zh) 一种处理复杂环境下动态物体的视觉定位与建图方法
EP4235492A1 (en) A computer-implemented method, data processing apparatus and computer program for object detection
CN116453033A (zh) 一种视频监控场景下高精度低算量的人群密度估计方法
CN116592897B (zh) 基于位姿不确定性的改进orb-slam2定位方法
CN116681123B (zh) 感知模型训练方法、装置、计算机设备和存储介质
CN114372997A (zh) 一种基于质量及相似评估在线模板更新的目标跟踪方法
CN110503663B (zh) 一种基于抽帧检测的随机多目标自动检测跟踪方法
Wang et al. Sequence Matching with Discriminative Binary Features for Robust and Fast Light-Rail Localization at High Frame Rate
CN116342885A (zh) 一种基于语义的实时视觉slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Ding Lingmei

Inventor after: Chen Mengyuan

Inventor before: Chen Mengyuan

Inventor before: Ding Lingmei

GR01 Patent grant
GR01 Patent grant