CN113378788A - 机器人视觉slam回环检测方法、计算机设备及存储介质 - Google Patents

机器人视觉slam回环检测方法、计算机设备及存储介质 Download PDF

Info

Publication number
CN113378788A
CN113378788A CN202110770369.0A CN202110770369A CN113378788A CN 113378788 A CN113378788 A CN 113378788A CN 202110770369 A CN202110770369 A CN 202110770369A CN 113378788 A CN113378788 A CN 113378788A
Authority
CN
China
Prior art keywords
cnn
image
similarity
matrix
current image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110770369.0A
Other languages
English (en)
Inventor
陈琰
钟洋
薛家骏
李岭
蔡梦祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202110770369.0A priority Critical patent/CN113378788A/zh
Publication of CN113378788A publication Critical patent/CN113378788A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了机器人视觉SLAM回环检测方法、计算机设备及存储介质，其中，方法考虑了移动和嵌入式视觉应用场景，采用轻量级深度学习模型对图片进行特征提取，并将其编码为一个全图像级的低维CNN特征向量，减少了移动端储存资源的消耗和相似性度量计算资源的开销，使检测过程更加高效。还有的是，方法中使用奇异值分解检测CNN特征向量组成矩阵的数据依赖和冗余信息，去掉这些依赖和冗余后重构矩阵用以检测回环，这样做可以减少歧义检测。

Description

机器人视觉SLAM回环检测方法、计算机设备及存储介质
技术领域
本发明涉及机器人定位的技术领域，尤其涉及到机器人视觉SLAM回环检测方法、计算机设备及存储介质。
背景技术
同步定位与地图构建(Simultaneous Localization And Mapping)一直是自主机器人系统研究的热点，其主要功能是通过创建环境地图，使机器人能够在没有先验信息的未知环境中实现自主导航，同时完成对自身的精确定位。在定位的过程中，机器人需要识别出之前经过的地方。此功能是由视觉SLAM系统中被称为回环检测的部分来完成。正确的回环检测有助于SLAM系统实现重新定位，并通过减少由于机器人运动在地图上所产生的累积漂移来提高映射精度。
研究者开发了基于bag-of-words(BoW)的回环检测方法。尽管BoW方法为回环检测提供了一个快速的解决方案，但是BoW需要大量的内存来存储视觉词汇。同时，这种方法只有在已知的环境中进行回环检测才能表现良好，对于未知的环境来说并不实用。
在过去的几年里，深度学习已经被引入到视觉SLAM系统中，以克服真正的回环检测的挑战。众所周知，基于深度学习的回环检测方法对多变的环境条件，例如季节变化以及由于动态对象的存在而造成的遮挡具有更强的鲁棒性。现有的基于深度学习的回环检测方法大多使用开源深度学习模型的某个卷积层或者全连接层的输出特征作为图像表示来进行回环检测。然而，这些方法有以下几点不足：1卷积层的输出实际上是高维向量，这不仅给移动端带来了巨大的存储压力，还增加了相似性度量的计算开销；2预训练的分类模型在第一个全连接层之前进行了池化操作，这将造成特征的丢失；3全连接层的输出忽略了特征的空间信息，不能得到全图像级的特征表示，而回环检测的关键点在于对两张图片进行全图像域的相似性度量。因此现有的方法要么需要大量存储资源，要么在回环检测中由于特征丢失不能很好地应对光照变化、环境条件、不同视点、不同地方存在相似物等挑战。此外，在移动和嵌入式视觉应用场景，大体量的深度学习模型会增加内存开销。
发明内容
本发明的目的在于克服现有技术的不足，提供一种机器人视觉SLAM回环检测方法、计算机设备及存储介质，解决了现有的基于深度学习的回环检测方法存储开销大以及由于特征丢失严重导致回环检测准确率低的问题，减少了由于机器人运动在地图上所产生的累积漂移，提高了地图映射精度，同时降低了相似性度量的计算量，提高了检测的实时性。。
为实现上述目的，本发明所提供的技术方案为：
机器人视觉SLAM回环检测方法、计算机设备及存储介质，包括以下步骤：
S1、搭建神经网络架构，定义为CAE+，其包括两部分，第一部分采用开源的预训练的轻量级深度学习模型，第二部分为包含A层的CNN网络，将其定义为DEmodel，其中A的大小根据第一部分的输出维度来选择；
S2、将训练集图片裁剪后输入到CAE+进行训练，得到训练后的CAE+模型；
S3、将搭载在移动机器人上的相机获取到的当前图片裁剪后输入到训练后的CAE+模型，得到全图像级的CNN特征向量，并将该CNN特征向量用阿拉伯数字按照图片获取顺序进行编号；
S4、对历史图像的CNN特征向量矩阵先进行归一化然后执行奇异值分解，将最大的M个奇异值置零，重构CNN特征向量矩阵；
S5、计算当前图像的CNN特征向量与奇异值分解后的历史图像的CNN特征向量的相似度，选择相似度最高的前K个历史图像的CNN特征向量；
S6、在步骤S5选择出的K个历史图像的CNN特征向量中找出编号连续的CNN特征向量，若有，则计算连续的CNN特征向量中所有向量与当前图像的CNN特征向量的结构相似度平均值，并将结构相似度的平均值大于设定阈值的连续图像视为与当前图像构成回环，否则，表明当前图像与历史图片不够成回环，将当前图像的CNN特征向量加入历史图像CNN特征向量矩阵，获取新图像，进行下一轮回环检测。
进一步地，所述步骤S1中，
预训练的轻量级深度学习模型是在ImageNet大规模图像数据集上预先训练好并除去全连接层的网络模型；
而DEmodel模型包含A层，其输入和输出大小均等于预训练的深度学习模型的输出，用以将输入压缩编码为一个隐藏的空间表示。
进一步地，所述步骤S2中，将训练集图片裁剪后输入到CAE+进行训练，得到训练后的CAE+模型，过程包括：
S2-1、获取预训练的深度学习模型的最后一个卷积层的特征图，所述特征图维度为N×W×W,可视为N个大小为W×W的特征矩阵；
S2-2、训练网络，直到损失函数曲线不再下降或下降缓慢时停止训练；训练网络的损失函数采用均方误差损失函数，计算方法如下：
Figure BDA0003152742050000031
其中，Output1表示预训练的深度学习模型的输出特征，Output2表示DEmodel的输出特征。
进一步地，所述步骤S3中，所述全图像级的CNN特征向量为DEmodel中间层输出并展平为d维的向量，记为(X1，X2，...，Xd)，d的大小由DEmodel决定。
进一步地，所述步骤S4中，对历史图像的CNN特征向量矩阵进行归一化和奇异值分解，将最大的M个奇异值置零，重构CNN特征向量矩阵，包括：
S4-1、对历史图像的CNN特征向量矩阵中每一个向量进行L2归一化，即：
Figure BDA0003152742050000041
S4-2、定义归一化后的CNN特征向量矩阵为CNNMatrixm×n,m、n代表CNNMatrixm×n的大小，对其进行奇异值分解，即：
CNNMatrixm×n＝PCQT
其中，矩阵P为CNNMatrixm×n的左奇异向量，大小为m×m；矩阵∑的大小为m×n，位于对角线的元素称为奇异值；矩阵Q为CNNMatrixm×n的右奇异向量，大小为n×n；
S4-3、将矩阵∑的中最大的M个值置零，得到∑1，继而重构CNNMatrixm×n，重构方法如下：
CNNMatrixm×n＝P∑1QT。
进一步地，所述步骤S5计算当前图像的CNN特征向量与奇异值分解后的历史图像的CNN特征向量的相似度，选择相似度最高的前K个历史图像的CNN特征向量；具体包括：
S5-1，采用均方误差算法度量历史图像和当前图像的CNN特征向量的相似性，定义历史图像A和当前图像B的特征向量分别为FA和FB，则历史图像A和当前图像B的相似度计算为：
Figure BDA0003152742050000042
其中
Figure BDA0003152742050000043
和
Figure BDA0003152742050000044
分别表示FA和FB的各分量，m为分量个数，SIM值越小，代表图像A和图像B的相似度越大；
S5-2，基于所述相似度，对当前图像与历史图像的CNN特征向量进行相似度计算，提取出与当前图像SIM值最小的K个历史图像的CNN特征向量。
进一步地，所述步骤S6的具体过程如下：
S6-1、在K个历史图像的CNN特征向量中找出编号连续的CNN特征向量，若不存在编号连续CNN特征向量，则历史图像与当前图像不构成回环，否则进入步骤S6-2；
S6-2、SSIM为结构相似度算法，用于计算两个CNN特征向量的相似度，假设有CNN特征向量x和y,其结构相似度计算公式如下：
SSIM(x，y)＝[l(x，y)]α[c(x，y)]β[s(x，y)]γ
其中，α＞0，β＞0，γ＞0,分别代表每个度量标准的相对重要性，
Figure BDA0003152742050000051
Figure BDA0003152742050000052
Figure BDA0003152742050000053
上式中，l(x，y)表示亮度比较，c(x，y)表示对比度比较，s(x，y)表示结构比较，μx和μy分别为x,y的平均值，σx和σy分别为x和y的标准差，σxy代表x和y的协方差，c1、c2、c3分别为常数；
S6-3、若连续的CNN特征向量中所有向量与当前图像的CNN特征向量的结构相似度平均值大于设定阈值，则视为检测到回环；否则当前图像的CNN特征向量加入历史图像CNN特征向量矩阵，获取新图像，进行下一轮回环检测。
为实现上述目的，本发明另外提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-7任意一项所述方法的步骤。
为实现上述目的，本发明另外提供一种存储介质，其存储有计算机程序，该程序被处理器执行时实现权利要求1-7任意一项所述方法的步骤。
与现有技术相比，本方案原理及优点如下：
1)考虑移动和嵌入式视觉应用场景，采用轻量级深度学习模型对图片进行特征提取，并将其编码为一个全图像级的低维CNN特征向量，减少了移动端储存资源的消耗和相似性度量计算资源的开销，使检测过程更加高效。
2)使用奇异值分解检测CNN特征向量组成矩阵的数据依赖和冗余信息，去掉这些依赖和冗余后重构矩阵用以检测回环，这样做可以减少歧义检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明机器人视觉SLAM回环检测方法、计算机设备及存储介质的原理流程图；
图2为本发明机器人视觉SLAM回环检测方法、计算机设备及存储介质中采用的CNN架构示意图。
具体实施方式
下面结合具体实施例对本发明作进一步说明：
如图1-图2所示，本实施例所述的机器人视觉SLAM回环检测方法、计算机设备及存储介质，包括以下步骤：
S1、搭建神经网络架构，定义为CAE+，其包括两部分，第一部分采用开源的预训练的轻量级深度学习模型MobileNet-v2，其为在ImageNet大规模图像数据集上预先训练好并除去全连接层的网络模型，输出大小为1280×7×7；第二部分为包含13层的CNN网络，将其定义为DEmodel，输入和输出大小均为1280×7×7，第1到7层为编码网络，用于将MobileNet-v2的输出作为输入，将其编码为N×7×7隐藏的空间表示，N的大小可根据任务复杂度进行调整；第8到13层为解码网络，用以重构这种隐藏的空间表示的输入，每层的卷积核大小均为3×3，步长均为1，填充均为1，同时，每层均进行归一化处理，激活函数统一使用Tanh()激活函数；
S2、将训练集图片裁剪为224×224后输入到CAE+进行训练，得到训练后的CAE+模型；
本步骤采用开源的包含1803460张图像的Data-of-Places365-Standard数据集；
训练过程如下：
S2-1、获取预训练的MobileNet-v2深度网络最后一个卷积层的特征图，所述特征图维度为1280×7×7,可视为1280个大小为7×7的特征矩阵；
S2-2、训练网络，直到损失函数曲线不再下降或下降缓慢时停止训练；训练网络的损失函数采用均方误差损失函数，计算方法如下：
Figure BDA0003152742050000071
其中，Output1表示预训练的深度学习模型的输出特征，Output2表示DEmodel的输出特征。
S3、将搭载在移动机器人上的相机获取到的当前图片裁剪后输入到训练后的CAE+模型，得到全图像级的CNN特征向量，在本实施例中，N的取值为10(即将DEmodel的第7层的大小为7×7×10输出特征展平成一个490维的向量)，并将该CNN特征向量用阿拉伯数字按照图片获取顺序进行编号；
S4、对历史图像的CNN特征向量矩阵先进行归一化然后执行奇异值分解，将最大的3个奇异值置零(即M的取值为3)，重构CNN特征向量矩阵，具体过程如下：
S4-1、对历史图像的CNN特征向量矩阵中每一个向量按以下步骤进行L2归一化，即：
Figure BDA0003152742050000072
S4-2、定义归一化后的n个CNN特征向量矩阵为CNNMatrixn×490，对其进行奇异值分解，即：
CNNMatrirn×490＝P∑QT
其中，矩阵P为CNNMatrixn×490的左奇异向量，大小为n×n；矩阵∑的大小为n×490，位于对角线的元素称为奇异值；矩阵Q为CNNMatrixn×490的右奇异向量，大小为490×490；
S4-3、将矩阵∑的中最大的M个值置零，得到∑1，继而重构CNNMatrixm×n，重构方法如下：
CNNMatrixn×490＝P∑1QT。
S5、计算当前图像的CNN特征向量与奇异值分解后的历史图像的CNN特征向量的相似度，选择相似度最高的前20个历史图像的CNN特征向量(即K取20)；具体过程如下：
S5-1，采用均方误差算法度量历史图像和当前图像的CNN特征向量的相似性，定义历史图像A和当前图像B的特征向量分别为FA和FB，则历史图像A和当前图像B的相似度计算为：
Figure BDA0003152742050000081
其中，
Figure BDA0003152742050000082
和
Figure BDA0003152742050000083
分别表示FA和FB的各分量，490为分量个数，SIM值越小，代表图像A和图像B的相似度越大；
S5-2，基于所述相似度，对当前图像与历史图像的CNN特征向量进行相似度计算，提取出与当前图像SIM值最小的20个历史图像的CNN特征向量。
S6、在步骤S5选择出的20个历史图像的CNN特征向量中找出编号连续的CNN特征向量，若有，则计算连续的CNN特征向量中所有向量与当前图像的CNN特征向量的结构相似度平均值，
假设有CNN特征向量x和y，其结构相似度计算公式如下：
SSIM(x，y)＝[l(x，y)]α[c(x，y)]β[s(x，y)]γ
其中，α＞0，β＞0，γ＞０，分别代表每个度量标准的相对重要性，
Figure BDA0003152742050000091
Figure BDA0003152742050000092
Figure BDA0003152742050000093
上式中，l(x，y)表示亮度比较，c(x，y)表示对比度比较，s(x，y)表示结构比较，μx和μy分别为x,y的平均值，σx和σy分别为x和y的标准差，σxy代表x和y的协方差，c1、c2、c3分别为常数；
接着，将结构相似度的平均值大于设定阈值的连续图像视为与当前图像构成回环，否则，表明当前图像与历史图片不够成回环，将当前图像的CNN特征向量加入历史图像CNN特征向量矩阵，获取新图像，进行下一轮回环检测。
本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现机器人视觉SLAM回环检测方法。
本发明还提供了一种存储介质，其存储有计算机程序，该程序被处理器执行时实现机器人视觉SLAM回环检测方法。
本发明为验证回环检测的有效性，测试部分采用牛津大学机器人团队收集的NewCollege和CityCenter两个视觉SALM回环检测数据集，在数据集中分别包含2146张和2474张由移动机器人在室外环境中采集的左右对图像，在数据集中下标是奇数的为左摄像头采集，偶数的为右摄像头采集，图像格式为.jpg，尺寸为640×480像素，数据集中包含有回环真值方便研究人员对比实验结果。在CityCenter数据集上，CAE+能在准确率100％的情况下保持0.65的召回率；在NewCollege数据集上，CAE+能在准确率100％的情况下保持0.38的召回率；从以上数据可以看出，CAE+在回环检测任务中有非常好的表现。
以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (9)

1.机器人视觉SLAM回环检测方法，其特征在于，包括以下步骤：
S1、搭建神经网络架构，定义为CAE+，其包括两部分，第一部分采用开源的预训练的轻量级深度学习模型，第二部分为包含A层的CNN网络，将其定义为DEmodel，其中A的大小根据第一部分的输出维度来选择；
S2、将训练集图片裁剪后输入到CAE+进行训练，得到训练后的CAE+模型；
S3、将搭载在移动机器人上的相机获取到的当前图片裁剪后输入到训练后的CAE+模型，得到全图像级的CNN特征向量，并将该CNN特征向量用阿拉伯数字按照图片获取顺序进行编号；
S4、对历史图像的CNN特征向量矩阵先进行归一化然后执行奇异值分解，将最大的M个奇异值置零，重构CNN特征向量矩阵；
S5、计算当前图像的CNN特征向量与奇异值分解后的历史图像的CNN特征向量的相似度，选择相似度最高的前K个历史图像的CNN特征向量；
S6、在步骤S5选择出的K个历史图像的CNN特征向量中找出编号连续的CNN特征向量，若有，则计算连续的CNN特征向量中所有向量与当前图像的CNN特征向量的结构相似度平均值，并将结构相似度的平均值大于设定阈值的连续图像视为与当前图像构成回环，否则，表明当前图像与历史图片不够成回环，将当前图像的CNN特征向量加入历史图像CNN特征向量矩阵，获取新图像，进行下一轮回环检测。
2.根据权利要求1所述的机器人视觉SLAM回环检测方法，其特征在于，所述步骤S1中，
预训练的轻量级深度学习模型是在ImageNet大规模图像数据集上预先训练好并除去全连接层的网络模型；
而DEmodel模型包含A层，其输入和输出大小均等于预训练的深度学习模型的输出，用以将输入压缩编码为一个隐藏的空间表示。
3.根据权利要求1所述的机器人视觉SLAM回环检测方法，其特征在于，所述步骤S2中，将训练集图片裁剪后输入到CAE+进行训练，得到训练后的CAE+模型，过程包括：
S2-1、获取预训练的深度学习模型的最后一个卷积层的特征图，所述特征图维度为N×W×W,可视为N个大小为W×W的特征矩阵；
S2-2、训练网络，直到损失函数曲线不再下降或下降缓慢时停止训练；训练网络的损失函数采用均方误差损失函数，计算方法如下：
Figure FDA0003152742040000021
其中，Output1表示预训练的深度学习模型的输出特征，Output2表示DEmodel的输出特征。
4.根据权利要求1所述的机器人视觉SLAM回环检测方法，其特征在于，所述步骤S3中，所述全图像级的CNN特征向量为DEmodel中间层输出并展平为d维的向量，记为(X1，X2，...，Xd)，d的大小由DEmodel决定。
5.根据权利要求1所述的机器人视觉SLAM回环检测方法，其特征在于，所述步骤S4中，对历史图像的CNN特征向量矩阵进行归一化和奇异值分解，将最大的M个奇异值置零，重构CNN特征向量矩阵，包括：
S4-1、对历史图像的CNN特征向量矩阵中每一个向量进行L2归一化，即：
Figure FDA0003152742040000022
S4-2、定义归一化后的CNN特征向量矩阵为CNNMatrixm×n,m、n代表CNNMatrixm×n的大小，对其进行奇异值分解，即：
CNNMatrixm×n＝P∑QT
其中，矩阵P为CNNMatrixm×n的左奇异向量，大小为m×m；矩阵∑的大小为m×n，位于对角线的元素称为奇异值；矩阵Q为CNNMatrixm×n的右奇异向量，大小为n×n；
S4-3、将矩阵∑的中最大的M个值置零，得到∑1，继而重构CNNMatrixm×n，重构方法如下：
CNNMatrixm×n＝P∑1QT。
6.根据权利要求1所述的机器人视觉SLAM回环检测方法，其特征在于，所述步骤S5计算当前图像的CNN特征向量与奇异值分解后的历史图像的CNN特征向量的相似度，选择相似度最高的前K个历史图像的CNN特征向量；具体包括：
S5-1，采用均方误差算法度量历史图像和当前图像的CNN特征向量的相似性，定义历史图像A和当前图像B的特征向量分别为FA和FB，则历史图像A和当前图像B的相似度计算为：
Figure FDA0003152742040000031
其中，
Figure FDA0003152742040000032
和
Figure FDA0003152742040000033
分别表示FA和FB的各分量，m为分量个数，SIM值越小，代表图像A和图像B的相似度越大；
S5-2，基于所述相似度，对当前图像与历史图像的CNN特征向量进行相似度计算，提取出与当前图像SIM值最小的K个历史图像的CNN特征向量。
7.根据权利要求1所述的机器人视觉SLAM回环检测方法，其特征在于，所述步骤S6的具体过程如下：
S6-1、在K个历史图像的CNN特征向量中找出编号连续的CNN特征向量，若不存在编号连续CNN特征向量，则历史图像与当前图像不构成回环，否则进入步骤S6-2；
S6-2、SSIM为结构相似度算法，用于计算连续的CNN特征向量中所有向量与当前图像的CNN特征向量的相似度，假设有CNN特征向量x和y,其结构相似度计算公式如下：
SSIM(x，y)＝[l(x，y)]α[c(x，y)]β[s(x，y)]γ
其中，α＞0，β＞0，γ＞0,分别代表每个度量标准的相对重要性，
Figure FDA0003152742040000041
Figure FDA0003152742040000042
Figure FDA0003152742040000043
上式中，l(x，y)表示亮度比较，c(x，y)表示对比度比较，s(x，y)表示结构比较，μx和μy分别为x,y的平均值，σx和σy分别为x和y的标准差，σxy代表x和y的协方差，c1、c2、c3分别为常数；
S6-3、若连续的CNN特征向量中所有向量与当前图像的CNN特征向量的结构相似度平均值大于设定阈值，则视为检测到回环；否则当前图像的CNN特征向量加入历史图像CNN特征向量矩阵，获取新图像，进行下一轮回环检测。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任意一项所述方法的步骤。
9.一种存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任意一项所述方法的步骤。
CN202110770369.0A 2021-07-07 2021-07-07 机器人视觉slam回环检测方法、计算机设备及存储介质 Pending CN113378788A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110770369.0A CN113378788A (zh) 2021-07-07 2021-07-07 机器人视觉slam回环检测方法、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110770369.0A CN113378788A (zh) 2021-07-07 2021-07-07 机器人视觉slam回环检测方法、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN113378788A true CN113378788A (zh) 2021-09-10

Family

ID=77581359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110770369.0A Pending CN113378788A (zh) 2021-07-07 2021-07-07 机器人视觉slam回环检测方法、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113378788A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800692A (zh) * 2019-01-07 2019-05-24 重庆邮电大学 一种基于预训练卷积神经网络的视觉slam回环检测方法
CN111553193A (zh) * 2020-04-01 2020-08-18 东南大学 一种基于轻量级深层神经网络的视觉slam闭环检测方法
CN112258580A (zh) * 2020-11-02 2021-01-22 上海应用技术大学 基于深度学习的视觉slam回环检测方法
CN112802104A (zh) * 2021-02-04 2021-05-14 华南理工大学 一种基于rgb-d相机的回环检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800692A (zh) * 2019-01-07 2019-05-24 重庆邮电大学 一种基于预训练卷积神经网络的视觉slam回环检测方法
CN111553193A (zh) * 2020-04-01 2020-08-18 东南大学 一种基于轻量级深层神经网络的视觉slam闭环检测方法
CN112258580A (zh) * 2020-11-02 2021-01-22 上海应用技术大学 基于深度学习的视觉slam回环检测方法
CN112802104A (zh) * 2021-02-04 2021-05-14 华南理工大学 一种基于rgb-d相机的回环检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鲍黎明: "基于深度学习的单目SLAM稠密地图构建方法研究", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》, no. 01, 15 January 2021 (2021-01-15), pages 16 - 18 *

Similar Documents

Publication Publication Date Title
US11200424B2 (en) Space-time memory network for locating target object in video content
CN109087258B (zh) 一种基于深度学习的图像去雨方法及装置
JP7097641B2 (ja) 畳み込み知覚ハッシュアルゴリズムに基づくループ検出方法
CN113807361B (zh) 神经网络、目标检测方法、神经网络训练方法及相关产品
CN113066089B (zh) 一种基于注意力引导机制的实时图像语义分割方法
CN111191649A (zh) 一种识别弯曲多行文本图像的方法与设备
CN114445420B (zh) 编解码结构结合注意力机制的图像分割模型及其训练方法
CN116453067B (zh) 基于动态视觉识别的短跑计时方法
CN114140831B (zh) 人体姿态估计方法、装置、电子设备及存储介质
CN105354800B (zh) 基于图像结构的粒子群优化非凸压缩感知图像重构方法
CN113177432A (zh) 基于多尺度轻量化网络的头部姿态估计方法、系统、设备及介质
CN113255719A (zh) 目标检测方法、装置、电子设备及计算机可读存储介质
CN117237858B (zh) 一种回环检测方法
CN108520532B (zh) 识别视频中物体运动方向的方法及装置
CN113313077A (zh) 基于多策略和交叉特征融合的显著物体检测方法
CN117095168A (zh) 一种基于改进SwinTransformer的遥感图像分割方法及系统
CN110826554A (zh) 一种红外目标检测方法
CN112989952A (zh) 一种基于遮罩引导的人群密度估计方法及装置
CN116975651A (zh) 相似度确定模型处理方法、目标对象搜索方法和装置
CN116486107A (zh) 一种光流计算方法、系统、设备及介质
CN113378788A (zh) 机器人视觉slam回环检测方法、计算机设备及存储介质
CN117036368A (zh) 图像数据处理方法、装置、计算机设备和存储介质
CN112288738B (zh) 基于深度学习的单幅图像去雪花方法、装置及存储介质
CN118675215B (zh) 人脸图像生成模型的训练方法、装置和计算机设备
CN116030347B (zh) 一种基于注意力网络的高分辨率遥感影像建筑物提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210910