CN110110694B - 一种基于目标检测的视觉slam闭环检测方法 - Google Patents

一种基于目标检测的视觉slam闭环检测方法 Download PDF

Info

Publication number
CN110110694B
CN110110694B CN201910411429.2A CN201910411429A CN110110694B CN 110110694 B CN110110694 B CN 110110694B CN 201910411429 A CN201910411429 A CN 201910411429A CN 110110694 B CN110110694 B CN 110110694B
Authority
CN
China
Prior art keywords
semantic
target detection
key frame
clustering
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910411429.2A
Other languages
English (en)
Other versions
CN110110694A (zh
Inventor
张云洲
张括嘉
龚益群
徐文娟
吕光浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201910411429.2A priority Critical patent/CN110110694B/zh
Publication of CN110110694A publication Critical patent/CN110110694A/zh
Application granted granted Critical
Publication of CN110110694B publication Critical patent/CN110110694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例涉及一种基于目标检测的视觉SLAM闭环检测方法，其包括：针对环境获取RGB图像和深度图像，并对RGB图像进行目标检测得到目标检测结果；根据RGB图像和目标检测结果确定的关键帧内利用DBSCAN密度聚类算法进行聚类融合，得到聚类结果；结合深度图像将聚类结果作为语义节点进行空间位置复原，构建局部语义拓扑图；对局部语义拓扑图利用SURF特征匹配和语义节点的类别进行节点匹配，并根据节点匹配结果对局部语义拓扑图的语义节点计算相似度；基于连续关键帧的相似度是否符合预设条件进行闭环判断。本公开实施例提供的方法可以消除目标检测中可能存在的错误和遗漏，可以改善利用目标检测结果进行环境描述的条件。

Description

一种基于目标检测的视觉SLAM闭环检测方法
技术领域
本公开涉及智能机器人场景识别技术领域，尤其涉及一种基于目标检测的视觉SLAM闭环检测方法。
背景技术
同步定位与地图构建(Simultaneous localization and mapping，简称SLAM)是移动机器人研究技术中的核心问题之一。与激光传感器相比，视觉传感器具有感知细腻、价格低廉、体积较小、重量较轻等优点。在视觉SLAM中，传感器误差和机器人对自身运动估计的误差会不断累积，在长时间的运动之后往往会产生较大的累积误差，很容易导致建图的失败。因此，需要借助闭环检测环节来消除累积误差的影响。
闭环检测问题实质上是一个场景识别问题，其基本内容是将当前场景与历史场景进行对比。在主流的SLAM方案中较为常用的方法是利用传感器图像中的SIFT、SURF和ORB等人工设计的视觉特征作为判别依据，利用特征匹配来实现闭环检测。但传统视觉特征容易受到光照等环境因素影响，在实际的场景中往往会产生假阳性的闭环检测，导致错误的结果。而且，SIFT等视觉特征虽然可以进行精确的匹配，但计算量大、效率低，在实际应用上存在较大的阻碍。
闭环检测在实际的场景识别过程中存在准确性不够高的问题。
上述缺陷是本领域技术人员期望克服的。
发明内容
(一)要解决的技术问题
为了解决现有技术的上述问题，本公开提供一种基于目标检测的视觉SLAM闭环检测方法，解决现有技术中闭环检测在实际的场景识别过程中存在准确性不够高的的问题。
(二)技术方案
为了达到上述目的，本公开采用的主要技术方案包括：
本公开一实施例提供一种基于目标检测的视觉SLAM闭环检测方法，其包括：
针对环境获取RGB图像和深度图像，并对所述RGB图像进行目标检测得到目标检测结果；
根据所述RGB图像和所述目标检测结果确定的关键帧内利用DBSCAN密度聚类算法进行聚类融合，得到聚类结果；
结合所述深度图像将所述聚类结果作为语义节点进行空间位置复原，构建局部语义拓扑图；
对所述局部语义拓扑图利用SURF特征匹配和所述语义节点的类别进行节点匹配，并根据节点匹配结果对所述局部语义拓扑图的语义节点计算相似度；
基于连续关键帧的相似度是否符合预设条件进行闭环判断。
本公开的一个实施例中，所述对所述RGB图像进行目标检测得到目标检测结果包括：
利用YOLOv3目标检测算法对所述RGB图像进行目标检测，确定目标中心在所述RGB图像中的像素位置；
根据所述像素位置，结合所述RGB图像所对应的深度图像得到所述目标中心在所述深度图像的深度信息；
根据所述像素位置和所述深度信息得到所述目标检测结果。
本公开的一个实施例中，所述根据所述RGB图像和所述目标检测结果确定的关键帧内利用DBSCAN密度聚类算法进行聚类融合，得到聚类结果包括：
将每10帧所述RGB图像和对应的所述目标检测结果划分为一个关键帧；
根据所述环境图像所覆盖的范围和目标之间的距离选取适应的距离阈值和最小聚类点数作为聚类条件，在所述关键帧内利用DBSCAN密度聚类算法进行聚类融合，得到所述聚类结果。
本公开的一个实施例中，得到所述聚类结果之后还包括：
针对同一关键帧，将符合所述聚类条件且属于相同类别的语义节点进行合并，形成新的目标检测结果集合；
针对所述新的目标检测结果集合，根据所述聚类结果中聚类簇的点数确定所述关键帧中目标的置信度。
本公开的一个实施例中，所述结合所述深度图像将所述聚类结果作为语义节点进行空间位置复原，构建局部语义拓扑图包括：
对所述目标检测结果结合深度相机模型的空间位置与像素位置投影关系进行转换，得到目标在相机坐标系中的空间位置；
将所述聚类结果作为语义节点，将聚类的目标的空间位置的中位数作为所述语义节点的空间位置；
针对所述关键帧内的所述语义节点进行全连接拓扑，得到所述局部语义拓扑图，所述局部语义拓扑图的权重为相连的两个语义节点之间的距离和方位关系。
本公开的一个实施例中，所述对所述局部语义拓扑图利用SURF特征匹配和所述语义节点的类别进行节点匹配包括：
对第一关键帧中处于中间位置的第一RGB图像进行SURF特征提取，并与第二关键帧相应的第二RGB图像进行SURF特征匹配，得到SURF特征匹配结果，其中所述第一关键帧和所述第二关键帧为待计算相似度的两个关键帧；
根据所述SURF特征匹配结果结合所述语义节点的所述类别进行节点匹配，确定所述第一关键帧和所述第二关键帧中相互对应的语义节点。
本公开的一个实施例中，所述节点匹配成功的条件为：当所述第一关键帧和所述第二关键帧在进行目标检测时，检测框内至少存在一组语义节点匹配成功的SURF特征，且特征匹配成功的所述第一关键帧中的第一语义节点和所述第二关键帧中的第二语义节点的类别相同。
本公开的一个实施例中，所述根据节点匹配结果对所述局部语义拓扑图的语义节点计算相似度包括：
按照所述节点匹配结果从所述第一关键帧和所述第二关键帧中选取语义节点；
根据选取的语义节点中任意两个语义节点组成的连接边缩放、旋转和平移的程度，计算得到所述连接边的相似度；
对所述第一关键帧和所述第二关键帧中选取的所述语义节点组成的全部连接边相似度分别求加权平均值，得到关键帧的相似度。
本公开的一个实施例中，所述基于连续关键帧的相似度是否符合预设条件进行闭环判断时的所述预设条件为：
所述连续关键帧内是否存在所述相似度大于上阈值的元素；
所述连续关键帧内所有元素是否均大于下阈值；
所述连续关键帧内大于中间阈值的元素的数量是否达到预设数目；
其中所述中间阈值大于所述下阈值，且所述中间阈值小于所述上阈值。
本公开的一个实施例中，所述连续关键帧的选取根据获取所述环境图像的深度相机的运动范围的大小和运动时间的长短确定。
(三)有益效果
本公开的有益效果是：本公开实施例提供的视觉SLAM闭环检测方法，一方面，利用DBSCAN密度聚类算法可以消除目标检测中可能存在的错误和遗漏，可以改善利用目标检测结果进行环境描述的条件。另一方面，将聚类结果结合深度图像进行空间位置复原进行场景描述，比传统的视觉特征方法具有更好的准确性和鲁棒性。
附图说明
图1为本公开一实施例提供的一种基于目标检测的视觉SLAM闭环检测方法的流程图；
图2为本公开一实施例图1中步骤S110对所述RGB图像进行目标检测得到目标检测结果的流程图；
图3为本公开一个实施例中获取到的环境图像中的RGB图像；
图4为本公开一个实施例中获取到的环境图像中的深度图像；
图5为本公开一个实施例中进行目标检测得到的像素位置分布示意图；
图6为本公开一个实施例图1中步骤S120的流程图；
图7为本公开一个实施例图1中步骤S130的流程图；
图8为本公开一实施例中相机坐标系中目标检测结果聚类示意图；
图9为本公开一实施例中基于目标的像素位置标记置信度的聚类结果示意图；
图10为本公开一实施例中相机坐标系中对目标标记置信度的聚类结果示意图；
图11为本公开一实施例中得到的局部语义拓扑图的示意图；
图12为本公开一实施例中对局部语义拓扑图中连接边的权重进行标记的示意图；
图13为本公开一实施例图1中步骤S140的流程图；
图14为本公开一实施例中对目标匹配与相似度计算的示意图；
图15为本公开一实施例中相似度分布情况与闭环检测判断的示意图。
具体实施方式
为了更好的解释本公开，以便于理解，下面结合附图，通过具体实施方式，对本公开作详细描述。
本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中在本公开的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本公开。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
在本公开相关实施例中，通过将深度学习与SLAM相结合，利用深层网络提取更加鲁棒的图像特征，提高闭环检测的可靠性和准确率。与传统视觉特征相比，深层特征在闭环检测中的表现更佳，是获得广泛认可的闭环检测手段之一。而深层特征的一项缺点是计算量较大，对计算设备的要求较高，而且难以构建合适的模型来存储维数较高的特征向量。
与单纯依赖几何信息的方式相比，将语义信息引入闭环检测，可以产生更具辨识度的判别依据，有利于形成更准确的闭环检测。同时，与视觉特征和深层特征相比，利用语义信息对环境进行描述，可以有效简化环境信息的保存和对比的过程。语义信息的获取手段主要依靠目标检测和语义分割，与语义分割形成的稠密像素级分类相比，目标检测手段获取的环境信息更稀疏，对环境特征的描述更精练。
基于上述，虽然深度学习技术在目标检测领域得以应用，与传统的目标检测算法相比，这些算法速度更快，准确度更高，使得语义信息与SLAM的结合成为了可能。但目前的研究没有针对目标检测可能存在的错检和漏检问题采取相应的措施，而且仅考虑单一关键帧，在复杂环境中容易造成假阳性检测，因此在本公开中提供一种基于目标检测的视觉闭环检测方法。
图1为本公开一实施例提供的一种基于目标检测的视觉SLAM闭环检测方法的流程图，如图1所示，该方法包括以下步骤：
如图1所示，在步骤S110中，针对环境获取RGB图像和深度图像，并对所述RGB图像进行目标检测得到目标检测结果；
如图1所示，在步骤S120中，根据所述RGB图像和所述目标检测结果确定的关键帧内利用DBSCAN密度聚类算法进行聚类融合，得到聚类结果；
如图1所示，在步骤S130中，结合所述深度图像将所述聚类结果作为语义节点进行空间位置复原，构建局部语义拓扑图；
如图1所示，在步骤S140中，对所述局部语义拓扑图利用SURF特征匹配和所述语义节点的类别进行节点匹配，并根据节点匹配结果对所述局部语义拓扑图的语义节点计算相似度；
如图1所示，在步骤S150中，基于连续关键帧的相似度是否符合预设条件进行闭环判断。
在图1所示本公开实施例所提供的技术方案中，提供一种基于目标检测的视觉SLAM闭环检测方法，该方法旨在根据经过改进的目标检测结果进行场景描述，提高视觉SLAM闭环检测的准确性，是一种物体级别的场景识别方法。
以下对图1所示实施例的各个步骤的具体实现进行详细阐述：
在步骤S110中，针对环境获取RGB图像和深度图像，并对所述RGB图像进行目标检测得到目标检测结果。
在本公开的一个实施例中，该步骤利用RGB-D相机获取环境图像，获取的环境图像中包括RGB图像和深度图像，因此基于获取的环境图像得到RGB图像和深度图像之后，进一步对所述RGB图像进行目标检测得到目标检测结果。
图2为本公开一实施例图1中步骤S110对所述RGB图像进行目标检测得到目标检测结果的流程图，具体包括以下步骤：
如图2所示，在步骤S201中，利用YOLOv3目标检测算法对所述RGB图像进行目标检测，确定目标中心在所述RGB图像中的像素位置。
该步骤中采用的参数为YOLOv3(即You Only Look Once)算法的默认参数对RGB图像进行目标检测，根据目标检测框实现目标定位，得到目标中心在RGB图像中的像素位置l＝{x,y}，其中x和y为坐标系的横纵坐标。
图3为本公开一个实施例中获取到的环境图像中的RGB图像，图4为本公开一个实施例中获取到的环境图像中的深度图像，图5为本公开一个实施例中进行目标检测得到的像素位置分布示意图。以图3所示为例，RGB图像中包括的目标有椅子(k1)、书(k2)、瓶子(k3)，图5中对各个目标的像素位置进行标记。
如图2所示，在步骤S202中，根据所述像素位置，结合所述RGB图像所对应的深度图像得到所述目标中心在所述深度图像的深度信息。
该步骤中，结合与当前RGB图像对应的深度图像，取深度图像中与目标中心的像素位置相对应的同一位置的像素点的深度信息，作为当前目标检测结果到相机的距离信息Z，即深度信息为Z。
如图2所示，在步骤S203中，根据所述像素位置和所述深度信息得到所述目标检测结果。
根据像素位置l＝{x,y}和深度信息为Z目标检测结果可以扩展为s＝{id,label,x,y,Z}，其中id为目标的标识，label为目标的名称，可以用语义字段标识。
在步骤S120中，根据所述RGB图像和所述目标检测结果确定的关键帧内利用DBSCAN密度聚类算法进行聚类融合，得到聚类结果。
图6为本公开一个实施例图1中步骤S120的流程图，如图6所示，包括以下步骤：
如图6所示，在步骤S601中，将每10帧所述RGB图像和对应的所述目标检测结果划分为一个关键帧。
在本公开其他实施例中还可以根据需要选择大于或小于10帧的RGB图像划分为一个关键帧，本实施例中可以以10帧为例进行介绍，将10帧RGB图像和对应的目标检测结果作为一个关键帧，将一个关键帧作为一个图像处理单元进行后续处理。
以第i个关键帧
Figure BDA0002062922290000081
为例，设该关键帧内包含的M帧图像中的目标检测结果为：
Figure BDA0002062922290000091
Figure BDA0002062922290000092
Figure BDA0002062922290000093
Figure BDA0002062922290000094
假设在该关键帧内RGB-D相机的运动幅度很小，在每一帧图像内将全部目标检测结果集合在一起，构建目标集合为：
Figure BDA0002062922290000095
如图6所示，在步骤S602中，根据所述环境图像所覆盖的范围和目标之间的距离选取适应的距离阈值和最小聚类点数作为聚类条件，在所述关键帧内利用DBSCAN密度聚类算法进行聚类融合，得到所述聚类结果。
该步骤中在关键帧内利用DBSCAN密度聚类算法融合可能为同一目标的检测结果，其中，DBSCAN聚类的各项参数需根据应用场景进行相应的调整，例如对聚类是选择的距离阈值∈和最小聚类点数MinPts进行调整，并且定义在聚类的过程中，能够成功聚类的同类目标即为在不同图像中的同一目标。
另外，本实施例中得到所述聚类结果之后还包括：针对同一关键帧，将符合所述聚类条件且属于相同类别的语义节点进行合并，形成新的目标检测结果集合；以及针对所述新的目标检测结果集合，根据所述聚类结果中聚类簇的点数确定所述关键帧中目标的置信度。
基于上述，通过将符合聚类条件的同类型目标合并，对于关键帧Fi，形成新的目标检测结果集合
Figure BDA0002062922290000096
聚类结果即为关键帧中的语义节点，同时将语义节点中成功聚类的各个目标空间位置的中位数作为语义节点的空间位置。还可以根据聚类簇中的点数，计算当前关键帧中的各个语义节点的置信度
Figure BDA0002062922290000097
该置信度可以用于控制语义节点在相似度计算时的权重。
在步骤S130中，结合所述深度图像将所述聚类结果作为语义节点进行空间位置复原，构建局部语义拓扑图。
图7为本公开一个实施例图1中步骤S130的流程图，如图7所示，包括以下步骤：
如图7所示，在步骤S701中，对所述目标检测结果结合深度相机模型的空间位置与像素位置投影关系进行转换，得到目标在相机坐标系中的空间位置。
假设目标s在相机坐标系中的空间位置为L＝{X,Y,Z}，根据深度相机模型,空间位置L与像素位置l存在如下投影关系：
Figure BDA0002062922290000101
其中fx,fy,cx,cy均为相机参数，可视为已知量，根据像素位置、深度信息和上述公式，可以完成全部目标检测结果在当前相机坐标系中的空间位置复原，得到目标在相机坐标中的空间位置。
图8为本公开一实施例中相机坐标系中目标检测结果聚类示意图。
如图7所示，在步骤S702中，将所述聚类结果作为语义节点，将聚类的目标的空间位置的中位数作为所述语义节点的空间位置。
该步骤中，对于单一关键帧，将得到的DBSCAN聚类结果作为语义节点，其空间位置为聚类点的平均值，其置信度为聚类点的数量。
以图5和图8所示聚类结果为例，还分别对计算得到的置信度进行标记，图9为本公开一实施例中基于目标的像素位置标记置信度的聚类结果示意图，图10为本公开一实施例中相机坐标系中对目标标记置信度的聚类结果示意图。
如图7所示，在步骤S703中，针对所述关键帧内的所述语义节点进行全连接拓扑，得到所述局部语义拓扑图，所述局部语义拓扑图的权重为相连的两个语义节点之间的距离和方位关系。
在本公开一实施例中，将位于单一关键帧内的全部语义节点构建全连接拓扑图，形成局部语义拓扑图。图11为本公开一实施例中得到的局部语义拓扑图的示意图，如图11所示，包括S1～S4供4个语义节点，每两个语义节点之间连接形成连接边，且拓扑图的连接边带有权重，权重是根据该连接边所连接的两个语义节点之间的距离和方位关系计算得到的，图12为本公开一实施例中对局部语义拓扑图中连接边的权重进行标记的示意图，如图12所示，以语义节点S1和S2的连接边的权重标记为例，distance12表示两个语义节点之间的距离，angle12表示两个语义节点之间的方位角，其他权重表示含义类似，此处不再赘述。
在步骤S140中，对所述局部语义拓扑图利用SURF特征匹配和所述语义节点的类别进行节点匹配，并根据节点匹配结果对所述局部语义拓扑图的语义节点计算相似度。
在本公开一实施例中，该步骤中对局部语义拓扑图进行节点匹配和相似度的计算，其中相似度计算时考虑前述置信度。
图13为本公开一实施例图1中步骤S140的流程图，如图13所示，具体包括以下步骤：
如图13所示，在步骤S1301中，对第一关键帧中处于中间位置的第一RGB图像进行SURF特征提取，并与第二关键帧相应的第二RGB图像进行SURF特征匹配，得到SURF特征匹配结果，其中所述第一关键帧和所述第二关键帧为待计算相似度的两个关键帧。
如图13所示，在步骤S1302中，根据所述SURF特征匹配结果结合所述语义节点的所述类别进行节点匹配，确定所述第一关键帧和所述第二关键帧中相互对应的语义节点。
在本公开一实施例中，节点匹配成功的条件为：当所述第一关键帧和所述第二关键帧在进行目标检测时，检测框内至少存在一组语义节点匹配成功的SURF特征，且特征匹配成功的所述第一关键帧中的第一语义节点和所述第二关键帧中的第二语义节点的类别相同。
例如，第一关键帧中的目标检测结果集合为S＝{S1,S2,S3,S4}，对应的目标类别分别是K1，K2，K3，K4，第二关键帧中的目标检测结果集合为S＝{S5,S6,S7}，对应的目标类别分别是K1，K2，K3，则第一关键帧和第二关键帧的节点匹配结果为：第一关键帧中的语义节点S1，S2，S3与第二关键帧中的语义节点S5，S6，S7匹配成功。
如图13所示，在步骤S1303中，按照所述节点匹配结果从所述第一关键帧和所述第二关键帧中选取语义节点。
该步骤中根据上述匹配结果从第一关键帧中选取语义节点S1，S2，S3，从第二关键帧中选取语义节点S5，S6，S7。该匹配和选取的过程可以按照两个关键帧中语义节点所有可能的组合成对选取出匹配成功的语义节点。
如图13所示，在步骤S1304中，根据选取的语义节点中任意两个语义节点组成的连接边缩放、旋转和平移的程度，计算得到所述连接边的相似度。
该步骤按照局部语义拓扑图中节点之间的相对位置关系，计算语义节点之间连接边的放缩、旋转和平移，并根据连接边放缩、旋转和平移的程度，得到当前连接边的相似度得分，然后继续计算下一条连接边，直到完成局部语义拓扑图中所有连接边相似度的计算。
假设
Figure BDA0002062922290000124
则n1到n2的变换可由如下公式表示[28]:
n2＝R(αn1) 公式(3)
其中R为三阶方阵，α为标量。由于两向量的坐标已知，因此可采用如下公式求取α和R：
Figure BDA0002062922290000121
Figure BDA0002062922290000122
其中，σ＝cosθ，
Figure BDA0002062922290000125
θ为旋转角，(ωx,ωy,ωz)T为旋转轴：
Figure BDA0002062922290000123
Figure BDA0002062922290000131
在实际场景中，在考虑向量坐标下旋转的同时，还需要考虑两向量起点位置不同而造成的差异。设向量起点
Figure BDA0002062922290000133
和
Figure BDA0002062922290000132
的坐标分别为(xi,yi,zi)T和(xj,yj,zj)T，则平移向量t可表示为：
t＝(xj-xi,yj-yi,zj-zi)T 公式(8)
在语义向量未发生尺度缩放、旋转和平移时，各参数的取值为：
α＝1,R＝I3×3,t＝(0,0,0)T，其中I为单位矩阵。此时旋转矩阵R的欧式范数||R||＝1，平移向量t的欧式范数||t||＝0。
另外，旋转矩阵的欧式范数与单位矩阵的欧式范数之间的差值、平移向量与零向量的欧式范数之间的差值与语义向量的相似度成正比。按照如下公式计算连接边的相似度：
Figure BDA0002062922290000134
图14为本公开一实施例中对目标匹配与相似度计算的示意图，如图14所示为一系列关键帧计算相互之间的相似度得到的结果，其形式为相似度矩阵，该矩阵中位于第i行、第j列的元素表示第i个关键帧与第j个关键帧的相似度。
如图13所示，在步骤S1305中，对所述第一关键帧和所述第二关键帧中选取的所述语义节点组成的全部连接边相似度分别求加权平均值，得到关键帧的相似度。
需要说明的是，该步骤助攻求加权平均值时的权重根据前述步骤计算的置信度进行计算。
在步骤S150中，基于连续关键帧的相似度是否符合预设条件进行闭环判断。
在本公开一实施例中，所述连续关键帧的选取根据获取所述环境图像的深度相机的运动范围的大小和运动时间的长短确定。
在该步骤中预设条件为满足以下三个条件：
所述连续关键帧内是否存在所述相似度大于上阈值Tt的元素；
所述连续关键帧内所有元素是否均大于下阈值Tb；
所述连续关键帧内大于中间阈值Tm的元素的数量是否达到预设数目；
其中所述中间阈值Tm大于所述下阈值Tb，且所述中间阈值Tm小于所述上阈值Tt。
在本公开一实施例中，上阈值Tt的取值可以为0.7，下阈值Tb的取值可以为0.4，中间阈值Tm的取值可以为0.6，预设数目Tn的取值可以为5，在本公开其他实施例中上述阈值还可以根据需要进行调整。因此以上述阈值为例，基于预设条件，只有连续关键帧内的相似度中存在大于0.7的，且所有元素相似度均大于0.4，且相似度大于0.6的元素个数至少为5个以上时才认为是闭环，否则不是闭环。
图15为本公开一实施例中相似度分布情况与闭环检测判断的示意图，该图展示了第224～233关键帧分别与第11～20关键帧的相似度，其中第227～230关键帧与第14～17关键帧为闭环。根据所述的算法，将这一关键帧序列判定为闭环。
综上所述，采用本公开实施例提供的基于目标检测的视觉SLAM闭环检测方法，通过利用DBSCAN聚类算法，消除了目标检测中可能存在的错误和遗漏，改善了利用目标检测结果进行环境描述的条件，并计算了目标检测结果的置信度，控制相似度的计算；本公开将经过聚类的目标检测结果和它们之间的相对位置关系作为场景描述的依据，比传统的视觉特征方法具有更好的准确性和鲁棒性；本公开利用传统视觉特征辅助关键帧之间的节点匹配，根据空间变换关系计算节点连接边的相似度，最终得到关键帧之间的相似度；本公开通过分析连续关键帧的相似度变化趋势，避免了单一相似度过高而造成错误判断的可能，增强了判定算法的准确性。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于目标检测的视觉SLAM闭环检测方法，其特征在于，其包括：
针对环境获取RGB图像和深度图像，并对所述RGB图像进行目标检测得到目标检测结果；针对环境获取RGB图像和深度图像包括：利用RGB-D相机获取环境图像，获取的环境图像中包括RGB图像和深度图像；
根据所述RGB图像和所述目标检测结果确定的关键帧内利用DBSCAN密度聚类算法进行聚类融合，得到聚类结果；
结合所述深度图像将所述聚类结果作为语义节点进行空间位置复原，构建局部语义拓扑图；
对所述局部语义拓扑图利用SURF特征匹配和所述语义节点的类别进行节点匹配，并根据节点匹配结果对所述局部语义拓扑图的语义节点计算相似度；
基于连续关键帧的相似度是否符合预设条件进行闭环判断。
2.如权利要求1所述的基于目标检测的视觉SLAM闭环检测方法，其特征在于，所述对所述RGB图像进行目标检测得到目标检测结果包括：
利用YOLOv3目标检测算法对所述RGB图像进行目标检测，确定目标中心在所述RGB图像中的像素位置；
根据所述像素位置，结合所述RGB图像所对应的深度图像得到所述目标中心在所述深度图像的深度信息；
根据所述像素位置和所述深度信息得到所述目标检测结果。
3.如权利要求1所述的基于目标检测的视觉SLAM闭环检测方法，其特征在于，所述根据所述RGB图像和所述目标检测结果确定的关键帧内利用DBSCAN密度聚类算法进行聚类融合，得到聚类结果包括：
将每10帧所述RGB图像和对应的所述目标检测结果划分为一个关键帧；
根据所述环境图像所覆盖的范围和目标之间的距离选取适应的距离阈值和最小聚类点数作为聚类条件，在所述关键帧内利用DBSCAN密度聚类算法进行聚类融合，得到所述聚类结果。
4.如权利要求3所述的基于目标检测的视觉SLAM闭环检测方法，其特征在于，得到所述聚类结果之后还包括：
针对同一关键帧，将符合所述聚类条件且属于相同类别的语义节点进行合并，形成新的目标检测结果集合；
针对所述新的目标检测结果集合，根据所述聚类结果中聚类簇的点数确定所述关键帧中目标的置信度。
5.如权利要求2所述的基于目标检测的视觉SLAM闭环检测方法，其特征在于，所述结合所述深度图像将所述聚类结果作为语义节点进行空间位置复原，构建局部语义拓扑图包括：
对所述目标检测结果结合深度相机模型的空间位置与像素位置投影关系进行转换，得到目标在相机坐标系中的空间位置；
将所述聚类结果作为语义节点，将聚类的目标的空间位置的中位数作为所述语义节点的空间位置；
针对所述关键帧内的所述语义节点进行全连接拓扑，得到所述局部语义拓扑图，所述局部语义拓扑图的权重为相连的两个语义节点之间的距离和方位关系。
6.如权利要求4所述的基于目标检测的视觉SLAM闭环检测方法，其特征在于，所述对所述局部语义拓扑图利用SURF特征匹配和所述语义节点的类别进行节点匹配包括：
对第一关键帧中处于中间位置的第一RGB图像进行SURF特征提取，并与第二关键帧相应的第二RGB图像进行SURF特征匹配，得到SURF特征匹配结果，其中所述第一关键帧和所述第二关键帧为待计算相似度的两个关键帧；
根据所述SURF特征匹配结果结合所述语义节点的所述类别进行节点匹配，确定所述第一关键帧和所述第二关键帧中相互对应的语义节点。
7.如权利要求6所述的基于目标检测的视觉SLAM闭环检测方法，其特征在于，所述节点匹配成功的条件为：当所述第一关键帧和所述第二关键帧在进行目标检测时，检测框内至少存在一组语义节点匹配成功的SURF特征，且特征匹配成功的所述第一关键帧中的第一语义节点和所述第二关键帧中的第二语义节点的类别相同。
8.如权利要求7所述的基于目标检测的视觉SLAM闭环检测方法，其特征在于，所述根据节点匹配结果对所述局部语义拓扑图的语义节点计算相似度包括：
按照所述节点匹配结果从所述第一关键帧和所述第二关键帧中选取语义节点；
根据选取的语义节点中任意两个语义节点组成的连接边缩放、旋转和平移的程度，计算得到所述连接边的相似度；
对所述第一关键帧和所述第二关键帧中选取的所述语义节点组成的全部连接边相似度分别求加权平均值，得到关键帧的相似度。
9.如权利要求8所述的基于目标检测的视觉SLAM闭环检测方法，其特征在于，所述基于连续关键帧的相似度是否符合预设条件进行闭环判断时的所述预设条件为：
所述连续关键帧内是否存在所述相似度大于上阈值的元素；
所述连续关键帧内所有元素是否均大于下阈值；
所述连续关键帧内大于中间阈值的元素的数量是否达到预设数目；
其中所述中间阈值大于所述下阈值，且所述中间阈值小于所述上阈值。
10.如权利要求9所述的基于目标检测的视觉SLAM闭环检测方法，其特征在于，所述连续关键帧的选取根据获取所述环境图像的深度相机的运动范围的大小和运动时间的长短确定。
CN201910411429.2A 2019-05-16 2019-05-16 一种基于目标检测的视觉slam闭环检测方法 Active CN110110694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910411429.2A CN110110694B (zh) 2019-05-16 2019-05-16 一种基于目标检测的视觉slam闭环检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910411429.2A CN110110694B (zh) 2019-05-16 2019-05-16 一种基于目标检测的视觉slam闭环检测方法

Publications (2)

Publication Number Publication Date
CN110110694A CN110110694A (zh) 2019-08-09
CN110110694B true CN110110694B (zh) 2023-01-24

Family

ID=67490583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910411429.2A Active CN110110694B (zh) 2019-05-16 2019-05-16 一种基于目标检测的视觉slam闭环检测方法

Country Status (1)

Country Link
CN (1) CN110110694B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325243B (zh) * 2020-02-03 2023-06-16 天津大学 一种基于区域注意力学习机制的视觉关系检测方法
CN113326716B (zh) * 2020-02-28 2024-03-01 北京创奇视界科技有限公司 面向装配现场环境装配指导ar应用定位的回环检测方法
CN111882663A (zh) * 2020-07-03 2020-11-03 广州万维创新科技有限公司 一种融合语义信息完成视觉slam闭环检测方法
CN112464989B (zh) * 2020-11-02 2024-02-20 北京科技大学 一种基于目标检测网络的闭环检测方法
CN112508985B (zh) * 2020-12-21 2022-12-16 华南理工大学 一种基于语义分割的slam回环检测改进方法
US20220287530A1 (en) * 2021-03-15 2022-09-15 Midea Group Co., Ltd. Method and Apparatus for Localizing Mobile Robot in Environment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466923B1 (en) * 1997-05-12 2002-10-15 Chroma Graphics, Inc. Method and apparatus for biomathematical pattern recognition
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
CN108830220A (zh) * 2018-06-15 2018-11-16 山东大学 基于深度学习的视觉语义库构建及全局定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3474230B1 (en) * 2017-10-18 2020-07-22 Tata Consultancy Services Limited Systems and methods for edge points based monocular visual slam

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466923B1 (en) * 1997-05-12 2002-10-15 Chroma Graphics, Inc. Method and apparatus for biomathematical pattern recognition
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
CN108830220A (zh) * 2018-06-15 2018-11-16 山东大学 基于深度学习的视觉语义库构建及全局定位方法

Also Published As

Publication number Publication date
CN110110694A (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
CN110110694B (zh) 一种基于目标检测的视觉slam闭环检测方法
CN107832672B (zh) 一种利用姿态信息设计多损失函数的行人重识别方法
Zhu et al. A three-pathway psychobiological framework of salient object detection using stereoscopic technology
WO2022002150A1 (zh) 一种视觉点云地图的构建方法、装置
CN105574505B (zh) 一种多摄像机间人体目标再识别的方法及系统
Lynen et al. Placeless place-recognition
WO2015139574A1 (zh) 一种静态物体重建方法和系统
CN112347861B (zh) 一种基于运动特征约束的人体姿态估计方法
Lee et al. Place recognition using straight lines for vision-based SLAM
CN111625667A (zh) 一种基于复杂背景图像的三维模型跨域检索方法及系统
Sudderth et al. Depth from familiar objects: A hierarchical model for 3D scenes
Held et al. Robust single-view instance recognition
Held et al. Deep learning for single-view instance recognition
WO2019128460A1 (zh) 图像显著性检测方法和装置
Weerasekera et al. Dense monocular reconstruction using surface normals
Zhang et al. Category modeling from just a single labeling: Use depth information to guide the learning of 2d models
CN111709317A (zh) 一种基于显著性模型下多尺度特征的行人重识别方法
Debaque et al. Thermal and visible image registration using deep homography
CN108765384B (zh) 一种联合流形排序和改进凸包的显著性检测方法
Liu et al. Mean shift fusion color histogram algorithm for nonrigid complex target tracking in sports video
Tensmeyer et al. Robust keypoint detection
CN110503061B (zh) 一种融合多特征的多因素视频遮挡区域检测方法及系统
Mebtouche et al. Depth estimation from a single 2D image
Tsin et al. Learn to track edges
CN110148161A (zh) 一种遥感图像误匹配剔除方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant