CN113781563A - 一种基于深度学习的移动机器人回环检测方法 - Google Patents
一种基于深度学习的移动机器人回环检测方法 Download PDFInfo
- Publication number
- CN113781563A CN113781563A CN202111073896.2A CN202111073896A CN113781563A CN 113781563 A CN113781563 A CN 113781563A CN 202111073896 A CN202111073896 A CN 202111073896A CN 113781563 A CN113781563 A CN 113781563A
- Authority
- CN
- China
- Prior art keywords
- loop
- frame
- descriptor
- detected
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000012795 verification Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 21
- 238000009434 installation Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 description 8
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
Abstract
一种基于深度学习的移动机器人回环检测方法。其包括构成航站楼实际场景数据集和航站楼实际场景增强数据集；获得区域生成模型、全局描述模型和回环检测模型；获得回环候选帧；进行回环验证，获得最终的回环帧等步骤。本发明具有如下有益效果：本发明引入深度学习技术学习图像帧局部区域的全局特征描述子，相比于人工设计的描述子，能学习到更深层次的语义信息，能更好地适应场景变化，并且结合了全局描述子和局部描述子的优点，在全局描述子本身具有的良好外观不变性的基础上，增强了描述子对于视点变化的鲁棒性。
Description
技术领域
本发明属于视觉同步定位与建图(Simultaneous Localization and Mapping，SLAM)技术领域，特别是涉及一种基于深度学习的移动机器人回环检测方法。
背景技术
视觉SLAM是基于视觉传感器的同步定位与建图技术，在未知环境中，其通过跟踪提取的图像特征，求解相机帧之间的位姿及三维空间地图，目前已被广泛应用于机器人、无人机及自动驾驶汽车平台上。
作为视觉SLAM的重要组成部分，回环检测是通过图像数据识别出曾经到达过的地方，是视觉SLAM技术中的重要组成部分。在长期工作过程中，视觉SLAM系统会不可避免存在累计误差。正确识别回环后进行全局优化可消除累计误差。一个真阳性回环(被预测为回环的真回环)能够显著降低系统的累积误差，但一个假阳性回环(被预测为回环的假回环)可能会使整个优化算法收敛到完全错误的值。因此，正确识别回环对于整个视觉SLAM技术来说十分重要。
早期基于词袋的回环检测方法在稳定的环境下尚能正常运行，但在受诸如动态目标、光照变化、视角变化等因素影响的航站楼场景中，它的召回率和准确率都会产生下降，因此这就成为很多研究人员争相解决的重要问题。随着深度学习、图像分类、语义分割等领域的迅速发展，使得使用这些技术来进行回环检测成为可能。
发明内容
为了解决上述问题，本发明的目的在于提供了一种基于深度学习的移动机器人回环检测方法。
为了达到上述目的，本发明提供的基于深度学习的移动机器人回环检测方法包括按顺序进行的下列步骤：
1)利用采集设备获取航站楼场景中具有回环的序列原始图像帧而构成航站楼实际场景数据集D；
2)对上述航站楼实际场景数据集D中的所有图像帧进行包括旋转、翻转、缩放及光照强度改变在内的处理，以对图像帧进行增强，获得航站楼实际场景增强数据集D’；
3)将上述航站楼实际场景增强模数据集D’输入区域生成网络而对其进行训练，获得区域生成模型A；
4)将上述航站楼实际场景增强模数据集D’输入NetVLAD网络而对其进行训练，获得全局描述模型B；
5)将区域生成模型A和全局描述模型B连接而构成回环检测模型C；
6)将待检测原始图像帧输入上述回环检测模型C中，得到待检测原始图像的局部区域全局描述子，然后计算上述局部区域全局描述子与关键帧数据库中关键帧描述子的相似度，当相似度高于相似度阈值时，将关键帧作为回环候选帧Q，由所有的回环候选帧Q组成回环候选帧集Qn；
7)对上述回环候选帧集Qn进行回环验证，若回环验证成功，则判断出现回环，获得最终的回环帧。
在步骤1)中，所述利用采集设备获取航站楼场景中具有回环的序列原始图像帧而构成航站楼实际场景数据集D的方法是：
1.1)在航站楼室内区域选取包含回环的路线作为图像采集环境；
1.2)将RGB-D相机安装在移动平台上作为采集设备，RGB-D相机的安装方式为平视，安装方向与移动平台前进方向一致，RGB-D相机中轴线与移动平台中轴线重合，允许安装误差分别为5°以内和2mm以内；
1.3)使移动平台沿上述包含回环的路线行驶的同时，利用RGB-D相机采集航站楼场景中具有回环的序列原始彩色图像帧和深度图像帧，然后将上述图像帧以相应格式保存并将同一位置的彩色图像帧和深度图像帧一一对应而构成图像对，由所有图像帧对构成航站楼实际场景数据集D。
在步骤3)中，所述将上述航站楼实际场景增强模数据集D’输入区域生成网络而对其进行训练，获得区域生成模型A的方法是：
首先将航站楼实际场景增强数据集D’输入区域生成网络的输入层，在零值附近随机初始化权重；经过CNN层之后产生多尺度特征图，利用滑窗算法在特征图上生成初始框区域，对初始框区域计算分类损失函数及边界框回归损失函数找到候选框区域，执行反向传播算法并进行梯度检查，通过反向传播算法最小化损失函数，经过迭代直到损失函数误差满足阈值要求后，确定出权重参数，获得区域生成模型A。
在步骤4)中，所述将上述航站楼实际场景增强模数据集D’输入NetVLAD网络而对其进行训练，获得全局描述模型B的方法是：
所述NetVLAD网络由卷积层、池化层、全连接层和NetVLAD层构成；
首先将航站楼实际场景增强数据集D’输入NetVLAD网络的输入层，在零值附近随机初始化权重，通过前向传播算法计算输出，选取对应的损失函数，执行反向传播算法并进行梯度检查，通过反向传播算法最小化损失函数，经过迭代直到损失函数误差满足阈值要求后，确定出权重参数，获得全局描述模型B。
在步骤6)中，所述将待检测原始图像帧输入上述回环检测模型C中，得到待检测原始图像的局部区域全局描述子，然后计算上述局部区域全局描述子与关键帧数据库中关键帧描述子的相似度，当相似度高于相似度阈值时，将关键帧作为回环候选帧Q，由所有的回环候选帧Q组成回环候选帧集Qn的方法是：
6.1)将待检测原始图像帧输入到回环检测模型C的区域生成模型A中，以待检测原始图像帧中物体在内的目标为先验信息进行局部区域划分并存储待检测原始图像帧的局部区域描述子，记为
其中n为局部区域数量；获得含有局部区域信息的图像帧；
6.2)将上述含有局部区域信息的图像帧输入回环检测模型C的全局描述模型B中，每个局部区域描述子会被聚类为k个全局描述子，获得含有局部区域全局描述子的图像帧，由所有含有局部区域全局描述子的图像帧组成待检测原始图帧像的描述子矩阵；
6.3)以邻近图和K-D树为基础建立关键帧数据库；
6.4)计算待检测图像帧的局部区域全局描述子与关键帧数据库中关键帧描述子的相似度，相似度使用待检测图像帧的局部区域全局描述子和关键帧描述子这两个矩阵A,B的余弦距离进行度量，计算公式如式(1)所示：
其中，矩阵A，B均为k×D矩阵，aij，bij分别为矩阵A，B的第i行第j列元素；
当相似度满足相似度阈值要求时，将此时的关键帧作为回环候选帧Q。
在步骤7)中，所述对上述回环候选帧集Qn进行回环验证，若回环验证成功，则判断出现回环，获得最终的回环帧的方法是：
7.1)遍历回环候选帧集Qn中的回环候选帧Q，对待检测图像帧与回环候选帧Q进行描述子匹配，确定匹配成功的匹配对数量；
7.2)将待检测图像帧中描述子的三维空间位置投影到回环候选帧Q的二维平面上的重投影误差满足阈值要求的描述子称为内点；采用RANSAC算法判断上述匹配对数量是否满足内点数要求，若满足，会返回待检测图像帧和回环候选帧Q的相对位姿，然后基于上述相对位姿进行内点重投影搜索以进行描述子匹配；
7.3)根据上述内点重投影搜索结果，进行双向优化，即将待检测图像帧中描述子的三维空间位置投影到回环候选帧Q的二维平面上并计算重投影误差e1，再将回环候选帧Q中描述子的三维空间位置投影到待检测图像帧的二维平面上并计算重投影误差e2，再将上述两个误差放在一起优化，即J＝∑(||e1||2+||e2||2))，得到新内点，之后判断新内点数量是否大于新内点数量阈值，如果判断结果为是，表明此回环候选帧Q是最终的回环帧。
本发明提供的基于深度学习的移动机器人回环检测方法具有如下有益效果：本发明引入深度学习技术学习图像帧局部区域的全局特征描述子，相比于人工设计的描述子，能学习到更深层次的语义信息，能更好地适应场景变化，并且结合了全局描述子和局部描述子的优点，在全局描述子本身具有的良好外观不变性的基础上，增强了描述子对于视点变化的鲁棒性。
附图说明
图1为本发明提供的基于深度学习的移动机器人回环检测方法流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
在视觉SLAM系统中，位姿估计是一个递推的过程，即由上一帧位姿解算当前帧位姿，因此误差便会传递下去，即累积误差。消除累计误差有效的办法是进行回环检测。回环检测判断机器人是否回到了先前经过的位置，如果检测到回环，它会将信息传递给后端进行优化处理。回环是一个比后端更加紧凑、准确的约束，基于这一约束可以求解全局一致的位姿和地图。
如图1所示，本发明提供的基于深度学习的移动机器人回环检测方法包括按顺序进行的下列步骤：
1)利用采集设备获取航站楼场景中具有回环的序列原始图像帧而构成航站楼实际场景数据集D；
1.1)在航站楼室内区域选取包含回环的路线作为图像采集环境；
1.2)将RGB-D相机安装在移动平台上作为采集设备，RGB-D相机的安装方式为平视，安装方向与移动平台前进方向一致，RGB-D相机中轴线与移动平台中轴线重合，允许安装误差分别为5°以内和2mm以内；因为单目相机无法获得深度信息，因此尺度不确定，但RGB-D相机能直接获取一定范围内的深度信息，从而可以克服尺度不确定性问题，因此选择RGB-D相机作为采集设备的感知部分；
1.3)使移动平台沿上述包含回环的路线行驶的同时，利用RGB-D相机采集航站楼场景中具有回环的序列原始彩色图像帧和深度图像帧，然后将上述图像帧以相应格式保存并将同一位置的彩色图像帧和深度图像帧一一对应而构成图像对，由所有图像帧对构成航站楼实际场景数据集D。若未一一对应或对应失败则会为深度特征匹配及位姿估计引入不必要的误差。
2)对上述航站楼实际场景数据集D中的所有图像帧进行包括旋转、翻转、缩放及光照强度改变在内的处理，以对图像帧进行增强，获得航站楼实际场景增强数据集D’；
3)将上述航站楼实际场景增强模数据集D’输入区域生成网络(RPN)而对其进行训练，获得区域生成模型A；
区域生成网络是基于滑窗的无类别目标检测器。训练过程如下：首先将航站楼实际场景增强数据集D’输入区域生成网络的输入层，在零值附近随机初始化权重；经过CNN层之后产生多尺度特征图，利用滑窗算法在特征图上生成初始框区域，对初始框区域计算分类损失函数及边界框回归损失函数找到候选框区域，执行反向传播算法并进行梯度检查，通过反向传播算法最小化损失函数，经过迭代直到损失函数误差满足阈值要求后，确定出权重参数，获得区域生成模型A。
4)将上述航站楼实际场景增强模数据集D’输入NetVLAD网络而对其进行训练，获得全局描述模型B；
所述NetVLAD网络由卷积层、池化层、全连接层和NetVLAD层构成，其可将局部特征聚类为具有固定维数的全局表示。
训练过程如下：首先将航站楼实际场景增强数据集D’输入NetVLAD网络的输入层，在零值附近随机初始化权重，通过前向传播算法计算输出，选取对应的损失函数，执行反向传播算法并进行梯度检查，通过反向传播算法最小化损失函数，经过迭代直到损失函数误差满足阈值要求后，确定出权重参数，获得全局描述模型B。
5)将区域生成模型A和全局描述模型B连接而构成回环检测模型C；
6)将待检测原始图像帧输入上述回环检测模型C中，得到待检测原始图像的局部区域全局描述子，然后计算上述局部区域全局描述子与关键帧数据库中关键帧描述子的相似度，当相似度高于相似度阈值时，将关键帧作为回环候选帧Q，由所有的回环候选帧Q组成回环候选帧集Qn；
6.1)将待检测原始图像帧输入到回环检测模型C的区域生成模型A中，以待检测原始图像帧中物体在内的目标为先验信息进行局部区域划分并存储待检测原始图像帧的局部区域描述子，记为
其中n为局部区域数量；获得含有局部区域信息的图像帧；
6.2)将上述含有局部区域信息的图像帧输入回环检测模型C的全局描述模型B中，每个局部区域描述子会被聚类为k(固定不变)个全局描述子，获得含有局部区域全局描述子的图像帧，由所有含有局部区域全局描述子的图像帧组成待检测原始图帧像的描述子矩阵；
6.3)以邻近图和K-D树为基础建立关键帧数据库；
6.4)计算待检测图像帧的局部区域全局描述子与关键帧数据库中关键帧描述子的相似度，相似度使用待检测图像帧的局部区域全局描述子和关键帧描述子这两个矩阵A,B的余弦距离进行度量，计算公式如式(1)所示：
其中，矩阵A，B均为k×D矩阵，aij，bij分别为矩阵A，B的第i行第j列元素。
当相似度满足相似度阈值要求时，将此时的关键帧作为回环候选帧Q。相似度阈值作为一个可以调整的参数影响着最终回环检测的准确率和召回率，需要在实验过程中进行调整。本发明中相似度阈值设置为待检测图像帧与回环候选帧集Qn中共视最多的描述子数量的80％。
7)对上述回环候选帧集Qn进行回环验证，若回环验证成功，则判断出现回环，获得最终的回环帧；
7)对上述回环候选帧集Qn进行回环验证，若回环验证成功，则判断出现回环；
7.1)遍历回环候选帧集Qn中的回环候选帧Q，对待检测图像帧与回环候选帧Q进行描述子匹配，确定匹配成功的匹配对数量；
7.2)将待检测图像帧中描述子的三维空间位置投影到回环候选帧Q的二维平面上的重投影误差满足阈值要求的描述子称为内点；采用RANSAC算法判断上述匹配对数量是否满足内点数要求，若满足要求，会返回待检测图像帧和回环候选帧Q的相对位姿，然后基于上述相对位姿进行内点重投影搜索以进行描述子匹配；
7.3)根据上述内点重投影搜索结果，进行双向优化，即将待检测图像帧中描述子的三维空间位置投影到回环候选帧Q的二维平面上并计算重投影误差e1，再将回环候选帧Q中描述子的三维空间位置投影到待检测图像帧的二维平面上并计算重投影误差e2，再将上述两个误差放在一起优化，即J＝∑(||e1||2+||e2||2))，得到新内点，之后判断新内点数量是否大于新内点数量阈值，如果判断结果为是，表明此回环候选帧Q是最终的回环帧。所述新内点数量阈值为绝对阈值，本发明中设置为30。
Claims (6)
1.一种基于深度学习的移动机器人回环检测方法，其特征在于：所述基于深度学习的移动机器人回环检测方法包括按顺序进行的下列步骤：
1)利用采集设备获取航站楼场景中具有回环的序列原始图像帧而构成航站楼实际场景数据集D；
2)对上述航站楼实际场景数据集D中的所有图像帧进行包括旋转、翻转、缩放及光照强度改变在内的处理，以对图像帧进行增强，获得航站楼实际场景增强数据集D’；
3)将上述航站楼实际场景增强模数据集D’输入区域生成网络而对其进行训练，获得区域生成模型A；
4)将上述航站楼实际场景增强模数据集D’输入NetVLAD网络而对其进行训练，获得全局描述模型B；
5)将区域生成模型A和全局描述模型B连接而构成回环检测模型C；
6)将待检测原始图像帧输入上述回环检测模型C中，得到待检测原始图像的局部区域全局描述子，然后计算上述局部区域全局描述子与关键帧数据库中关键帧描述子的相似度，当相似度高于相似度阈值时，将关键帧作为回环候选帧Q，由所有的回环候选帧Q组成回环候选帧集Qn；
7)对上述回环候选帧集Qn进行回环验证，若回环验证成功，则判断出现回环，获得最终的回环帧。
2.根据权利要求1所述的基于深度学习的移动机器人回环检测方法，其特征在于：在步骤1)中，所述利用采集设备获取航站楼场景中具有回环的序列原始图像帧而构成航站楼实际场景数据集D的方法是：
1.1)在航站楼室内区域选取包含回环的路线作为图像采集环境；
1.2)将RGB-D相机安装在移动平台上作为采集设备，RGB-D相机的安装方式为平视，安装方向与移动平台前进方向一致，RGB-D相机中轴线与移动平台中轴线重合，允许安装误差分别为5°以内和2mm以内；
1.3)使移动平台沿上述包含回环的路线行驶的同时，利用RGB-D相机采集航站楼场景中具有回环的序列原始彩色图像帧和深度图像帧，然后将上述图像帧以相应格式保存并将同一位置的彩色图像帧和深度图像帧一一对应而构成图像对，由所有图像帧对构成航站楼实际场景数据集D。
3.根据权利要求1所述的基于深度学习的移动机器人回环检测方法，其特征在于：在步骤3)中，所述将上述航站楼实际场景增强模数据集D’输入区域生成网络而对其进行训练，获得区域生成模型A的方法是：
首先将航站楼实际场景增强数据集D’输入区域生成网络的输入层，在零值附近随机初始化权重；经过CNN层之后产生多尺度特征图，利用滑窗算法在特征图上生成初始框区域，对初始框区域计算分类损失函数及边界框回归损失函数找到候选框区域，执行反向传播算法并进行梯度检查，通过反向传播算法最小化损失函数，经过迭代直到损失函数误差满足阈值要求后，确定出权重参数，获得区域生成模型A。
4.根据权利要求1所述的基于深度学习的移动机器人回环检测方法，其特征在于：在步骤4)中，所述将上述航站楼实际场景增强模数据集D’输入NetVLAD网络而对其进行训练，获得全局描述模型B的方法是：
所述NetVLAD网络由卷积层、池化层、全连接层和NetVLAD层构成；
首先将航站楼实际场景增强数据集D’输入NetVLAD网络的输入层，在零值附近随机初始化权重，通过前向传播算法计算输出，选取对应的损失函数，执行反向传播算法并进行梯度检查，通过反向传播算法最小化损失函数，经过迭代直到损失函数误差满足阈值要求后，确定出权重参数，获得全局描述模型B。
5.根据权利要求1所述的基于深度学习的移动机器人回环检测方法，其特征在于：在步骤6)中，所述将待检测原始图像帧输入上述回环检测模型C中，得到待检测原始图像的局部区域全局描述子，然后计算上述局部区域全局描述子与关键帧数据库中关键帧描述子的相似度，当相似度高于相似度阈值时，将关键帧作为回环候选帧Q，由所有的回环候选帧Q组成回环候选帧集Qn的方法是：
6.1)将待检测原始图像帧输入到回环检测模型C的区域生成模型A中，以待检测原始图像帧中物体在内的目标为先验信息进行局部区域划分并存储待检测原始图像帧的局部区域描述子，记为Li A(i＝1,2,...,n)，其中n为局部区域数量；获得含有局部区域信息的图像帧；
6.2)将上述含有局部区域信息的图像帧输入回环检测模型C的全局描述模型B中，每个局部区域描述子会被聚类为k个全局描述子，获得含有局部区域全局描述子的图像帧，由所有含有局部区域全局描述子的图像帧组成待检测原始图帧像的描述子矩阵；
6.3)以邻近图和K-D树为基础建立关键帧数据库；
6.4)计算待检测图像帧的局部区域全局描述子与关键帧数据库中关键帧描述子的相似度，相似度使用待检测图像帧的局部区域全局描述子和关键帧描述子这两个矩阵A,B的余弦距离进行度量，计算公式如式(1)所示：
其中，矩阵A，B均为k×D矩阵，aij，bij分别为矩阵A，B的第i行第j列元素；
当相似度满足相似度阈值要求时，将此时的关键帧作为回环候选帧Q。
6.根据权利要求1所述的基于深度学习的移动机器人回环检测方法，其特征在于：在步骤7)中，所述对上述回环候选帧集Qn进行回环验证，若回环验证成功，则判断出现回环，获得最终的回环帧的方法是：
7.1)遍历回环候选帧集Qn中的回环候选帧Q，对待检测图像帧与回环候选帧Q进行描述子匹配，确定匹配成功的匹配对数量；
7.2)将待检测图像帧中描述子的三维空间位置投影到回环候选帧Q的二维平面上的重投影误差满足阈值要求的描述子称为内点；采用RANSAC算法判断上述匹配对数量是否满足内点数要求，若满足，会返回待检测图像帧和回环候选帧Q的相对位姿，然后基于上述相对位姿进行内点重投影搜索以进行描述子匹配；
7.3)根据上述内点重投影搜索结果，进行双向优化，即将待检测图像帧中描述子的三维空间位置投影到回环候选帧Q的二维平面上并计算重投影误差e1，再将回环候选帧Q中描述子的三维空间位置投影到待检测图像帧的二维平面上并计算重投影误差e2，再将上述两个误差放在一起优化，即J＝∑(||e1||2+||e2||2))，得到新内点，之后判断新内点数量是否大于新内点数量阈值，如果判断结果为是，表明此回环候选帧Q是最终的回环帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111073896.2A CN113781563B (zh) | 2021-09-14 | 2021-09-14 | 一种基于深度学习的移动机器人回环检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111073896.2A CN113781563B (zh) | 2021-09-14 | 2021-09-14 | 一种基于深度学习的移动机器人回环检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113781563A true CN113781563A (zh) | 2021-12-10 |
| CN113781563B CN113781563B (zh) | 2023-10-24 |
Family
ID=78843536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111073896.2A Active CN113781563B (zh) | 2021-09-14 | 2021-09-14 | 一种基于深度学习的移动机器人回环检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113781563B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882254A (zh) * | 2022-07-12 | 2022-08-09 | 东南大学 | 基于改进ransac校验的空间失效卫星回环检测方法 |
| CN115371695A (zh) * | 2022-07-13 | 2022-11-22 | 深圳大学 | 一种行为语义辅助回环检测的同步定位建图方法 |
| CN118038103A (zh) * | 2024-04-11 | 2024-05-14 | 南京师范大学 | 基于改进动态扩展模型自适应算法的视觉回环检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190259170A1 (en) * | 2018-02-21 | 2019-08-22 | Beijing Jingdong Shangke Information Technology Co., Ltd. | System and method for feature screening in slam |
| CN110349213A (zh) * | 2019-06-28 | 2019-10-18 | Oppo广东移动通信有限公司 | 基于深度信息的位姿确定方法、装置、介质与电子设备 |
| US20200043130A1 (en) * | 2018-08-04 | 2020-02-06 | Beijing Jingdong Shangke Information Technology Co., Ltd. | System and method for scan-matching oriented visual slam |
| CN112258580A (zh) * | 2020-11-02 | 2021-01-22 | 上海应用技术大学 | 基于深度学习的视觉slam回环检测方法 |
| WO2021035669A1 (zh) * | 2019-08-30 | 2021-03-04 | 深圳市大疆创新科技有限公司 | 位姿预测方法、地图构建方法、可移动平台及存储介质 |
| CN112562081A (zh) * | 2021-02-07 | 2021-03-26 | 之江实验室 | 一种用于视觉分层定位的视觉地图构建方法 |
| CN112990195A (zh) * | 2021-03-04 | 2021-06-18 | 佛山科学技术学院 | 一种面向复杂环境下融入语义信息的slam回环检测方法 |
-
2021
- 2021-09-14 CN CN202111073896.2A patent/CN113781563B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190259170A1 (en) * | 2018-02-21 | 2019-08-22 | Beijing Jingdong Shangke Information Technology Co., Ltd. | System and method for feature screening in slam |
| US20200043130A1 (en) * | 2018-08-04 | 2020-02-06 | Beijing Jingdong Shangke Information Technology Co., Ltd. | System and method for scan-matching oriented visual slam |
| CN110349213A (zh) * | 2019-06-28 | 2019-10-18 | Oppo广东移动通信有限公司 | 基于深度信息的位姿确定方法、装置、介质与电子设备 |
| WO2021035669A1 (zh) * | 2019-08-30 | 2021-03-04 | 深圳市大疆创新科技有限公司 | 位姿预测方法、地图构建方法、可移动平台及存储介质 |
| CN112258580A (zh) * | 2020-11-02 | 2021-01-22 | 上海应用技术大学 | 基于深度学习的视觉slam回环检测方法 |
| CN112562081A (zh) * | 2021-02-07 | 2021-03-26 | 之江实验室 | 一种用于视觉分层定位的视觉地图构建方法 |
| CN112990195A (zh) * | 2021-03-04 | 2021-06-18 | 佛山科学技术学院 | 一种面向复杂环境下融入语义信息的slam回环检测方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882254A (zh) * | 2022-07-12 | 2022-08-09 | 东南大学 | 基于改进ransac校验的空间失效卫星回环检测方法 |
| CN115371695A (zh) * | 2022-07-13 | 2022-11-22 | 深圳大学 | 一种行为语义辅助回环检测的同步定位建图方法 |
| CN118038103A (zh) * | 2024-04-11 | 2024-05-14 | 南京师范大学 | 基于改进动态扩展模型自适应算法的视觉回环检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113781563B (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563442B (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及系统 | |
| CN111127513B (zh) | 一种多目标跟踪方法 | |
| CN110717927A (zh) | 基于深度学习和视惯融合的室内机器人运动估计方法 | |
| CN113781563B (zh) | 一种基于深度学习的移动机器人回环检测方法 | |
| CN109341703B (zh) | 一种全周期采用CNNs特征检测的视觉SLAM算法 | |
| CN110782494A (zh) | 一种基于点线融合的视觉slam方法 | |
| CN111201451A (zh) | 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置 | |
| CN113139470B (zh) | 一种基于Transformer的玻璃识别方法 | |
| CN113313763B (zh) | 一种基于神经网络的单目相机位姿优化方法及装置 | |
| CN111368759B (zh) | 基于单目视觉的移动机器人语义地图构建系统 | |
| Armagan et al. | Learning to align semantic segmentation and 2.5 d maps for geolocalization | |
| Ji et al. | RGB-D SLAM using vanishing point and door plate information in corridor environment | |
| CN110533661A (zh) | 基于图像特征级联的自适应实时闭环检测方法 | |
| CN112541403B (zh) | 一种利用红外摄像头的室内人员跌倒检测方法 | |
| Saleem et al. | Neural network-based recent research developments in SLAM for autonomous ground vehicles: A review | |
| CN113112547A (zh) | 机器人及其重定位方法、定位装置及存储介质 | |
| CN115147576A (zh) | 一种基于关键特征的水下机器人对接单目视觉导引方法 | |
| CN117576665B (zh) | 一种面向自动驾驶的单摄像头三维目标检测方法及系统 | |
| CN114612545A (zh) | 图像分析方法及相关模型的训练方法、装置、设备和介质 | |
| CN113570713B (zh) | 一种面向动态环境的语义地图构建方法及装置 | |
| CN109544632B (zh) | 一种基于层次主题模型的语义slam对象关联方法 | |
| CN116543283B (zh) | 一种考虑模态不确定性的多模态目标检测方法 | |
| CN113744301B (zh) | 移动机器人的运动轨迹估计方法、装置和存储介质 | |
| CN115235505A (zh) | 一种基于非线性优化的视觉里程计方法 | |
| Svedman et al. | Structure from stereo vision using unsynchronized cameras for simultaneous localization and mapping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20211210 Assignee: TIANJIN BONUO INTELLIGENT CREATIVE ROBOTICS TECHNOLOGY CO.,LTD. Assignor: CIVIL AVIATION University OF CHINA Contract record no.: X2024980003382 Denomination of invention: A Deep Learning Based Loop Detection Method for Mobile Robots Granted publication date: 20231024 License type: Common License Record date: 20240322 |