CN112802104A - 一种基于rgb-d相机的回环检测方法 - Google Patents

一种基于rgb-d相机的回环检测方法 Download PDF

Info

Publication number
CN112802104A
CN112802104A CN202110153349.9A CN202110153349A CN112802104A CN 112802104 A CN112802104 A CN 112802104A CN 202110153349 A CN202110153349 A CN 202110153349A CN 112802104 A CN112802104 A CN 112802104A
Authority
CN
China
Prior art keywords
current frame
frame
loop
kth
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110153349.9A
Other languages
English (en)
Other versions
CN112802104B (zh
Inventor
刘屿
潘文钊
蔡鹤
何畅然
刘涛
胡国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Guangzhou Institute of Modern Industrial Technology
Original Assignee
South China University of Technology SCUT
Guangzhou Institute of Modern Industrial Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Guangzhou Institute of Modern Industrial Technology filed Critical South China University of Technology SCUT
Priority to CN202110153349.9A priority Critical patent/CN112802104B/zh
Publication of CN112802104A publication Critical patent/CN112802104A/zh
Application granted granted Critical
Publication of CN112802104B publication Critical patent/CN112802104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于RGB‑D相机的回环检测方法，该方法首先将当前帧划分为两个区域，再分别对每个区域进行基于词袋模型的图像相似度匹配，找出与每个区域最相似的多个回环候选帧；再通过建立区域与回环候选帧间的结构矩阵，从而得到最终用于回环检测的两个回环候选帧。本发明可以有效地解决传统的回环检测方法因图像间重叠面积小而导致回环检测失败的问题。其次，本发明可以根据当前帧特征点的相似度和特征点间的拓扑结构对RGB‑D相机进行回环检测，从而可以有效地检测出不仅与当前帧的特征点相似，并且特征点间拓扑结构相似的回环帧。

Description

一种基于RGB-D相机的回环检测方法
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种基于RGB-D相机的回环检测方法。
背景技术
经过多年的发展，SLAM(同时定位与地图构建)技术已经很成熟并成功地运用于多个领域中。作为SLAM技术中关键的一环，回环检测可以让相机识别出曾经到达过的地点，从而消除累计误差达到减小定位误差的效果。
传统的回环检测方法一般使用词袋向量作为图像相似度的度量，图像间的词袋向量越相似，图像相似度越高。使用词袋向量作为图像相似度的度量有着计算开销小的优点，但是词袋向量仅仅根据图像的特征点的种类和数量去衡量图像间的相似度，从而忽略了特征点之间的拓扑结构。因此，如果仅仅使用词袋向量去进行回环检测，可能会将特征点的种类和数量与当前帧相近，但是特征点之间的拓扑结构相差很大的图像作为当前帧的回环帧，从而导致回环检测失败。其次，传统的回环检测通常使用当前的相机帧作为一个整体去匹配候选帧，如果候选帧与当前帧的图像重叠区域过小，容易导致回环检测失败。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于RGB-D相机的回环检测方法，该方法不仅可以有效地解决传统的回环检测方法因图像间重叠面积小而导致回环检测失败的问题，而且可以有效地检测出与当前帧的特征点相似并且特征点间拓扑结构相似的回环帧。
本发明的目的可以通过采取如下技术方案达到：
一种基于RGB-D相机的回环检测方法，所述的回环检测方法包括以下步骤：
S1、在RGB-D相机采集的当前帧的RGB图像上进行ORB特征点提取，再将当前帧划分为2个长方形区域，每个区域的长等于当前帧的长的55％～65％，宽等于当前帧的宽的95％～100％；
S2、计算当前帧每个区域的词袋向量，表示为：
Figure BDA0002933320840000021
其中，
Figure BDA0002933320840000022
为当前帧第k个区域的词袋向量，k的取值范围为{1,2}，
Figure BDA0002933320840000023
为第k个区域内的第i类特征点的数量，N为特征点的种类数，
Figure BDA0002933320840000024
为当前帧第k个区域的第i类特征的词袋权重，表示为：
Figure BDA0002933320840000025
其中，nk为当前帧第k个区域的特征点的数量；
S3、计算当前帧第k个区域与每个关键帧之间的图像相似度，表示为：
Figure BDA0002933320840000026
其中，
Figure BDA0002933320840000027
为当前帧的第k个区域对应的词袋向量的第i个分量，vj为第j个关键帧对应的词袋向量，vji为vj的第i个分量，
Figure BDA0002933320840000028
为当前帧第k个区域与第j个关键帧之间的图像相似度；
S4、找出与当前帧第k个区域图像相似度最大的Ns个关键帧，记为回环候选帧，Ns为大于1的整数；
S5、分别计算当前帧的第k个区域与对应的Ns个回环候选帧的结构相似度，找出结构相似度与当前帧第k个区域最大的回环候选帧，将计算得到的2个区域的回环候选帧记为最终回环帧；
S6、将当前帧每个区域分别与对应的最终回环帧进行特征点匹配，再将最终回环帧的特征点对应的地图点重投影到当前帧对应的区域，通过最小化重投影误差计算出当前帧的位姿，表示为：
Figure BDA0002933320840000031
其中，Tcw为RGB-D相机当前帧的最终位姿，K为RGB-D相机的内参数矩阵，pk,i为当前帧第k个区域的第i个特征点，zk,i为特征点pk,i的对应的地图点，Nk为当前帧第k个区域的地图点的数量；
S7、最小化重投影误差eall，即可求得RGB-D相机当前帧的最终位姿Tcw。
进一步地，所述步骤S5过程如下：
S51、在当前帧与第s个回环候选帧的比较中，s的取值范围为{1,2,...,Ns}，计算当前帧第k个区域的第i类的特征点
Figure BDA0002933320840000032
与第s个回环候选帧的第i类的每个特征点之间的汉明距离，并找出第s个回环候选帧中与特征点
Figure BDA0002933320840000033
的汉明距离最小的特征点fs，c的取值范围为
Figure BDA0002933320840000034
Figure BDA0002933320840000035
为当前帧第k个区域的第i类的特征点的数量；
S52、计算特征点fs与当前帧第k个区域第i类的每个特征点之间的汉明距离，如果特征点fs与特征点
Figure BDA0002933320840000036
的汉明距离最小，则记特征点fs和
Figure BDA0002933320840000037
为共同特征点；
S53、建立当前帧第k个区域与对应的每个回环候选帧的结构矩阵：在当前帧每个区域与第s个回环候选帧的比较中，当前帧第k个区域的结构矩阵为行数和列数都为
Figure BDA0002933320840000041
的矩阵，表示为：
Figure BDA0002933320840000042
其中
Figure BDA0002933320840000043
为当前帧第k个区域与第s个回环候选帧的共同特征点的数量，
Figure BDA0002933320840000044
表示为：
Figure BDA0002933320840000045
其中，dk(i,j)为当前帧第k个区域的第i个共同特征点与第j个共同特征点的距离，表示为：
Figure BDA0002933320840000046
其中，
Figure BDA0002933320840000047
为当前帧第k个区域的第i个共同特征点的三维坐标，ds(i,j)为第s个回环候选帧的第i个共同特征点与第j个共同特征点的距离，表示为：
Figure BDA0002933320840000048
其中，
Figure BDA0002933320840000049
为第s个回环候选帧的第i个共同特征点的三维坐标；
S54、遍历结构矩阵M(k,s)中的所有元素，将结构矩阵中大于TD的元素的行序号和列序号分别放入行集合setrow和列集合setcol中，setrow和setcol初始时为空集，TD为大于0的常数；
S55、将结构矩阵M(k,s)中的所有元素置1；
S56、将结构矩阵M(k,s)中行序号属于行集合setrow的元素置0，并将结构矩阵M(k,s)中列序号属于列集合setcol的元素置0；
S57、将结构矩阵M(k,s)中的所有元素之和记为当前帧第k个区域与第s个回环候选帧的回环权重，找出与当前帧第k个区域回环权重最大的回环候选帧，并记为第k个区域的最终回环帧。
进一步地，所述步骤S1中长方形区域的长等于当前帧的长的60％，宽等于当前帧的宽的100％。
本发明相对于现有技术具有如下的优点及效果：
(1)传统的基于词袋模型的回环检测技术通常使用当前的相机帧作为一个整体去匹配候选帧，如果候选帧与当前帧的图像重叠区域过小，容易导致回环检测失败。与传统的基于词袋模型的回环检测技术相比，本发明将当前帧划分为两个区域，再分别对每个区域进行基于词袋模型的图像相似度匹配，找出与每个区域最相似的多个回环候选帧，可以有效地解决传统的回环检测方法因图像间重叠面积小而导致回环检测失败的问题。
(2)传统的回环检测方法一般使用词袋向量作为图像相似度的度量，图像间的词袋向量越相似，图像相似度越高。但是仅仅根据图像的特征点的种类和数量去衡量图像间的相似度，忽略了特征点之间的拓扑结构，可能会将特征点的种类和数量与当前帧相近，但是特征点之间的拓扑结构相差很大的图像作为当前帧的回环帧，从而导致回环检测失败。与传统的基于词袋模型的回环检测技术相比，本发明根据特征点间的拓扑关系，建立区域与回环候选帧间的结构矩阵，从而可以有效地检测出不仅与当前帧的特征点相似，并且特征点间拓扑结构相似的回环帧。
附图说明
图1是本发明公开的一种基于RGB-D相机的回环检测方法的流程图；
图2是本发明实施例中在某引用场景下的所有ORB特征点示意图；
图3是本发明实施例中在某引用场景下的区域分割示意图；
图4是本发明实施例中最终回环帧的选取方法的流程图；
图5是本发明实施例中在某引用场景下的回环检测结果示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1所示，本实施例具体公开了一种基于RGB-D相机的回环检测方法，该方法包括以下步骤：
S1、在RGB-D相机采集的当前帧的RGB图像上进行ORB特征点提取(如图2所示)，再将当前帧划分为2个长方形区域(如图3所示)，每个区域的长等于当前帧的长的55％～65％，宽等于当前帧的宽的95％～100％，将当前帧划分为2个区域的目的是进一步防止因候选帧与当前帧的图像重叠区域过小而导致回环检测失败的问题；
S2、计算当前帧每个区域的词袋向量，表示为：
Figure BDA0002933320840000061
其中，
Figure BDA0002933320840000062
为当前帧第k个区域的词袋向量，k的取值范围为{1,2}，
Figure BDA0002933320840000063
为第k个区域内的第i类特征点的数量，N为特征点的种类数，
Figure BDA0002933320840000064
为当前帧第k个区域的第i类特征的词袋权重，表示为：
Figure BDA0002933320840000065
其中，nk为当前帧第k个区域的特征点的数量；
S3、计算当前帧第k个与每个关键帧之间的图像相似度，表示为：
Figure BDA0002933320840000071
其中，
Figure BDA0002933320840000072
为当前帧的第k个区域对应的词袋向量的第i个分量，vj为第j个关键帧对应的词袋向量，vji为vj的第i个分量，
Figure BDA0002933320840000073
为当前帧第k个区域与第j个关键帧之间的图像相似度；
S4、找出与当前帧每个区域的图像相似度最大的Ns个关键帧，记为回环候选帧，Ns为大于1的常数；
S5、分别计算当前帧每个区域与对应的Ns个回环候选帧的结构相似度，找出结构相似度与当前帧每个区域最大的回环候选帧，这2个回环候选帧记为最终回环帧，步骤S5的流程图如图4所示；
本实施例中，步骤S5过程如下：
S51、在当前帧与第s个回环候选帧的比较中，s的取值范围为{1,2,...,Ns}，计算当前帧第k个区域的第i类的特征点
Figure BDA0002933320840000074
与第s个回环候选帧的第i类的每个特征点之间的汉明距离，并找出第s个回环候选帧中与特征点
Figure BDA0002933320840000075
的汉明距离最小的特征点fs，c的取值范围为
Figure BDA0002933320840000076
Figure BDA0002933320840000077
为当前帧第k个区域的第i类的特征点的数量；
S52、计算特征点fs与当前帧第k个区域第i类的每个特征点之间的汉明距离，如果特征点fs与特征点
Figure BDA0002933320840000078
的汉明距离最小，则记特征点fs和
Figure BDA0002933320840000079
为共同特征点；
S53、建立当前帧第k个区域与每个回环候选帧的结构矩阵：传统的回环检测方法一般使用词袋向量作为图像相似度的度量，图像间的词袋向量越相似，图像相似度越高。然而，词袋向量仅仅根据图像的特征点的种类和数量去衡量图像间的相似度，从而忽略了特征点之间的拓扑信息。如果仅仅使用词袋向量去进行回环检测，可能会将特征点的种类和数量与当前帧相近，但是特征点之间的拓扑结构相差很大的图像作为当前帧的回环帧，从而导致回环检测失败。因此，本发明通过建立当前帧第k个区域与每个回环候选帧的结构矩阵(结构矩阵中包含特征点间的拓扑信息)，来衡量RGB-D图像间的相似度。在当前帧每个区域与第s个回环候选帧的比较中，当前帧第k个区域的结构矩阵为行数和列数都为
Figure BDA0002933320840000081
的矩阵，表示为：
Figure BDA0002933320840000082
其中
Figure BDA0002933320840000083
为当前帧第k个区域与第s个回环候选帧的共同特征点的数量，
Figure BDA0002933320840000084
表示为：
Figure BDA0002933320840000085
其中，dk(i,j)为当前帧第k个区域的第i个共同特征点与第j个共同特征点的距离，表示为：
Figure BDA0002933320840000086
其中，
Figure BDA0002933320840000087
为当前帧第k个区域的第i个共同特征点的三维坐标，ds(i,j)为第s个回环候选帧的第i个共同特征点与第j个共同特征点的距离，表示为：
Figure BDA0002933320840000088
其中，
Figure BDA0002933320840000089
为第s个回环候选帧的第i个共同特征点的三维坐标；
dk(i,j)代表着当前帧第k个区域的任意两个共同特征点间的距离，ds(i,j)代表着第s个回环候选帧的对应的两个共同特征点间的距离。因此，dk(i,j)与ds(i,j)的绝对值越小，
Figure BDA00029333208400000810
就越小，对应的两个共同特征点对间的拓扑结构也越相似；
S54、遍历结构矩阵M(k,s)中的所有元素，将结构矩阵中大于TD的元素的行序号和列序号分别放入行集合setrow和列集合setcol中，setrow和setcol初始时为空集，TD为大于0的常数；
S55、将结构矩阵M(k,s)中的所有元素置1；
S56、将结构矩阵M(k,s)中行序号属于行集合setrow的元素置0，并将结构矩阵M(k,s)中列序号属于列集合setcol的元素置0；
S57、结构矩阵M(k,s)中值为1的元素越多，说明越多拓扑结构相似共同特征点对，图像间的拓扑结构相似度也越高。因此，将结构矩阵M(k,s)中的所有元素之和记为当前帧第k个区域与第s个回环候选帧的回环权重，找出与当前帧第k个区域回环权重最大的回环候选帧，并记为第k个区域的最终回环帧，如图5所示。
S6、将当前帧每个区域分别与对应的最终回环帧进行特征点匹配，再将最终回环帧的特征点对应的地图点重投影到当前帧对应的区域，通过最小化重投影误差计算出当前帧的位姿，表示为
Figure BDA0002933320840000091
其中，Tcw为RGB-D相机当前帧的最终位姿，K为RGB-D相机的内参数矩阵，pk,i为当前帧第k个区域的第i个特征点，zk,i为特征点pk,i的对应的地图点，Nk为当前帧第k个区域的地图点的数量；
S7、最小化重投影误差eall，即可求得RGB-D相机当前帧的最终位姿Tcw。
综上所述，本实施例公开的回环检测方法可以有效地解决传统的回环检测方法因图像间重叠面积小而导致回环检测失败的问题。其次，该回环检测方法根据当前帧特征点的相似度和特征点间的拓扑结构对RGB-D相机的当前帧进行回环检测，从而可以有效地检测出不仅与当前帧的特征点相似，并且特征点间拓扑结构相似的回环帧。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.一种基于RGB-D相机的回环检测方法，其特征在于，所述的回环检测方法包括以下步骤：
S1、在RGB-D相机采集的当前帧的RGB图像上进行ORB特征点提取，再将当前帧划分为2个长方形区域，每个区域的长等于当前帧的长的55％～65％，宽等于当前帧的宽的95％～100％；
S2、计算当前帧每个区域的词袋向量，表示为：
Figure FDA0002933320830000011
其中，
Figure FDA0002933320830000012
为当前帧第k个区域的词袋向量，k的取值范围为{1,2}，
Figure FDA0002933320830000013
为第k个区域内的第i类特征点的数量，N为特征点的种类数，
Figure FDA0002933320830000014
为当前帧第k个区域的第i类特征的词袋权重，表示为：
Figure FDA0002933320830000015
其中，nk为当前帧第k个区域的特征点的数量；
S3、计算当前帧第k个区域与每个关键帧之间的图像相似度，表示为：
Figure FDA0002933320830000016
其中，
Figure FDA0002933320830000017
为当前帧的第k个区域对应的词袋向量的第i个分量，vj为第j个关键帧对应的词袋向量，vji为vj的第i个分量，
Figure FDA0002933320830000018
为当前帧第k个区域与第j个关键帧之间的图像相似度；
S4、找出与当前帧第k个区域图像相似度最大的Ns个关键帧，记为回环候选帧，Ns为大于1的整数；
S5、分别计算当前帧的第k个区域与对应的Ns个回环候选帧的结构相似度，找出结构相似度与当前帧第k个区域最大的回环候选帧，将计算得到的2个区域的回环候选帧记为最终回环帧；
S6、将当前帧每个区域分别与对应的最终回环帧进行特征点匹配，再将最终回环帧的特征点对应的地图点重投影到当前帧对应的区域，通过最小化重投影误差计算出当前帧的位姿，表示为：
Figure FDA0002933320830000021
其中，Tcw为RGB-D相机当前帧的最终位姿，K为RGB-D相机的内参数矩阵，pk,i为当前帧第k个区域的第i个特征点，zk,i为特征点pk,i的对应的地图点，Nk为当前帧第k个区域的地图点的数量；
S7、最小化重投影误差eall，即可求得RGB-D相机当前帧的最终位姿Tcw。
2.根据权利要求1所述的一种基于RGB-D相机的回环检测方法，其特征在于，所述步骤S5过程如下：
S51、在当前帧与第s个回环候选帧的比较中，s的取值范围为{1,2,...,Ns}，计算当前帧第k个区域的第i类的特征点
Figure FDA0002933320830000022
与第s个回环候选帧的第i类的每个特征点之间的汉明距离，并找出第s个回环候选帧中与特征点
Figure FDA0002933320830000023
的汉明距离最小的特征点fs，c的取值范围为
Figure FDA0002933320830000024
Figure FDA0002933320830000025
为当前帧第k个区域的第i类的特征点的数量；
S52、计算特征点fs与当前帧第k个区域第i类的每个特征点之间的汉明距离，如果特征点fs与特征点
Figure FDA0002933320830000026
的汉明距离最小，则记特征点fs和
Figure FDA0002933320830000027
为共同特征点；
S53、建立当前帧第k个区域与对应的每个回环候选帧的结构矩阵：在当前帧每个区域与第s个回环候选帧的比较中，当前帧第k个区域的结构矩阵为行数和列数都为
Figure FDA0002933320830000031
的矩阵，表示为：
Figure FDA0002933320830000032
其中
Figure FDA0002933320830000033
为当前帧第k个区域与第s个回环候选帧的共同特征点的数量，
Figure FDA0002933320830000034
表示为：
Figure FDA0002933320830000035
其中，dk(i,j)为当前帧第k个区域的第i个共同特征点与第j个共同特征点的距离，表示为：
Figure FDA0002933320830000036
其中，
Figure FDA0002933320830000037
为当前帧第k个区域的第i个共同特征点的三维坐标，ds(i,j)为第s个回环候选帧的第i个共同特征点与第j个共同特征点的距离，表示为：
Figure FDA0002933320830000038
其中，
Figure FDA0002933320830000039
为第s个回环候选帧的第i个共同特征点的三维坐标；
S54、遍历结构矩阵M(k,s)中的所有元素，将结构矩阵中大于TD的元素的行序号和列序号分别放入行集合setrow和列集合setcol中，setrow和setcol初始时为空集，TD为大于0的常数；
S55、将结构矩阵M(k,s)中的所有元素置1；
S56、将结构矩阵M(k,s)中行序号属于行集合setrow的元素置0，并将结构矩阵M(k,s)中列序号属于列集合setcol的元素置0；
S57、将结构矩阵M(k,s)中的所有元素之和记为当前帧第k个区域与第s个回环候选帧的回环权重，找出与当前帧第k个区域回环权重最大的回环候选帧，并记为第k个区域的最终回环帧。
3.根据权利要求1所述的一种基于RGB-D相机的回环检测方法，其特征在于，所述步骤S1中长方形区域的长等于当前帧的长的60％，宽等于当前帧的宽的100％。
CN202110153349.9A 2021-02-04 2021-02-04 一种基于rgb-d相机的回环检测方法 Active CN112802104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110153349.9A CN112802104B (zh) 2021-02-04 2021-02-04 一种基于rgb-d相机的回环检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110153349.9A CN112802104B (zh) 2021-02-04 2021-02-04 一种基于rgb-d相机的回环检测方法

Publications (2)

Publication Number Publication Date
CN112802104A true CN112802104A (zh) 2021-05-14
CN112802104B CN112802104B (zh) 2022-09-16

Family

ID=75814139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110153349.9A Active CN112802104B (zh) 2021-02-04 2021-02-04 一种基于rgb-d相机的回环检测方法

Country Status (1)

Country Link
CN (1) CN112802104B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378788A (zh) * 2021-07-07 2021-09-10 华南农业大学 机器人视觉slam回环检测方法、计算机设备及存储介质
CN116989772A (zh) * 2023-09-26 2023-11-03 北京理工大学 一种空地多模态多智能体协同定位与建图方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130148851A1 (en) * 2011-12-12 2013-06-13 Canon Kabushiki Kaisha Key-frame selection for parallel tracking and mapping
US20140334668A1 (en) * 2013-05-10 2014-11-13 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
CN105974932A (zh) * 2016-04-27 2016-09-28 中国人民解放军装甲兵工程学院 无人机控制方法
CN109242899A (zh) * 2018-09-03 2019-01-18 北京维盛泰科科技有限公司 一种基于在线视觉词典的实时定位与地图构建方法
US20190073792A1 (en) * 2017-09-05 2019-03-07 Canon Kabushiki Kaisha System and method for determining a camera pose
CN110349212A (zh) * 2019-06-28 2019-10-18 Oppo广东移动通信有限公司 即时定位与地图构建的优化方法及装置、介质和电子设备
CN111882602A (zh) * 2019-12-31 2020-11-03 南京理工大学 基于orb特征点和gms匹配过滤器的视觉里程计实现方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130148851A1 (en) * 2011-12-12 2013-06-13 Canon Kabushiki Kaisha Key-frame selection for parallel tracking and mapping
US20140334668A1 (en) * 2013-05-10 2014-11-13 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
CN105974932A (zh) * 2016-04-27 2016-09-28 中国人民解放军装甲兵工程学院 无人机控制方法
US20190073792A1 (en) * 2017-09-05 2019-03-07 Canon Kabushiki Kaisha System and method for determining a camera pose
CN109242899A (zh) * 2018-09-03 2019-01-18 北京维盛泰科科技有限公司 一种基于在线视觉词典的实时定位与地图构建方法
CN110349212A (zh) * 2019-06-28 2019-10-18 Oppo广东移动通信有限公司 即时定位与地图构建的优化方法及装置、介质和电子设备
CN111882602A (zh) * 2019-12-31 2020-11-03 南京理工大学 基于orb特征点和gms匹配过滤器的视觉里程计实现方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WENZHAO PAN ET AL.: "A Novel RGB-D SLAM for Recognizing Features", 《CHINESE AUTOMATION CONGRESS》 *
张云帆: "基于CUDA的回环检测实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
邹雄 等: "基于特征点法和直接法VSLAM的研究", 《计算机应用研究》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378788A (zh) * 2021-07-07 2021-09-10 华南农业大学 机器人视觉slam回环检测方法、计算机设备及存储介质
CN116989772A (zh) * 2023-09-26 2023-11-03 北京理工大学 一种空地多模态多智能体协同定位与建图方法
CN116989772B (zh) * 2023-09-26 2024-01-02 北京理工大学 一种空地多模态多智能体协同定位与建图方法

Also Published As

Publication number Publication date
CN112802104B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
CN106909888B (zh) 应用于移动设备端的人脸关键点跟踪系统及方法
CN107633526B (zh) 一种图像跟踪点获取方法及设备、存储介质
EP3982322A1 (en) Panoramic image and video splicing method, computer-readable storage medium, and panoramic camera
CN109974743B (zh) 一种基于gms特征匹配及滑动窗口位姿图优化的视觉里程计
US8280173B2 (en) Feature point location determination method and apparatus
US10636165B2 (en) Information processing apparatus, method and non-transitory computer-readable storage medium
US8718324B2 (en) Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation
CN112802104B (zh) 一种基于rgb-d相机的回环检测方法
CN111582062B (zh) 一种基于YOLOv3的目标跟踪中的重检测方法
CN109409418B (zh) 一种基于词袋模型的回环检测方法
WO2021082922A1 (zh) 一种检测屏幕显示断线的方法及设备
CN111914832B (zh) 一种rgb-d相机在动态场景下的slam方法
CN110648363A (zh) 相机姿态确定方法、装置、存储介质及电子设备
CN114140527A (zh) 一种基于语义分割的动态环境双目视觉slam方法
CN111177811A (zh) 一种应用于云平台的消防点位自动布图的方法
CN107578424A (zh) 一种基于时空分类的动态背景差分检测方法、系统及装置
CN111950370A (zh) 动态环境下线拓展视觉里程计方法
CN115049731A (zh) 一种基于双目摄像头的视觉建图和定位方法
CN114674826A (zh) 基于布匹的视觉检测方法及检测系统
CN116258663A (zh) 螺栓缺陷识别方法、装置、计算机设备和存储介质
Min et al. Coeb-slam: A robust vslam in dynamic environments combined object detection, epipolar geometry constraint, and blur filtering
CN112215266A (zh) 一种基于小样本学习的x光图像违禁物品检测方法
CN115717887B (zh) 基于灰度分布直方图的星点快速提取方法
CN111738085A (zh) 实现自动驾驶同时定位与建图的系统构建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant