CN111241986B - 一种基于端到端关系网络的视觉slam闭环检测方法 - Google Patents

一种基于端到端关系网络的视觉slam闭环检测方法 Download PDF

Info

Publication number
CN111241986B
CN111241986B CN202010017054.4A CN202010017054A CN111241986B CN 111241986 B CN111241986 B CN 111241986B CN 202010017054 A CN202010017054 A CN 202010017054A CN 111241986 B CN111241986 B CN 111241986B
Authority
CN
China
Prior art keywords
image
convolution
current image
features
loop detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010017054.4A
Other languages
English (en)
Other versions
CN111241986A (zh
Inventor
肖卓凌
李莹
陈宁皓
黄渲宝
袁正希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010017054.4A priority Critical patent/CN111241986B/zh
Publication of CN111241986A publication Critical patent/CN111241986A/zh
Application granted granted Critical
Publication of CN111241986B publication Critical patent/CN111241986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于端到端关系网络的视觉SLAM闭环检测方法，包括以下步骤：S1：向VGG16网络中输入视觉传感器采集的先前图像和当前图像；S2：对原始数据进行预处理；S3：通过5个卷积阶段获取预处理后的先前图像和当前图像的特征，得到多层特征；S4：对多层特征进行加权融合；S5：对多层特征进行标准化，得到标准特征；S6：对标准特征进行组合，得到组合图像；S7：通过CNN关系模块回归得到组合图像的相似性得分，完成闭环检测。本发明可避免学习冗余特征，使得学习到的特征更加适应相似性度量要求的可区分性，可以更加准确地检测闭环并节省检测时间，提高闭环检测地精度。

Description

一种基于端到端关系网络的视觉SLAM闭环检测方法
技术领域
本发明属于定位与地图技术领域，具体涉及一种基于端到端关系网络的视觉SLAM闭环检测方法。
背景技术
闭环检测在计算机视觉领域常被称为位置识别，对整个SLAM系统意义重大。闭环检测的目的是识别机器人当前所处的位置是否是先前访问过的位置。在移动机器人的定位和建图中，通过相邻帧间的图像来估计轨迹并恢复空间结构，不可避免地存在累积漂移。闭环检测通过正确检测“机器人回到曾经位置”这件事情，可以显著减少累积误差，对构建一致的环境地图非常重要。此外，闭环检测由于关联了历史信息，当机器人由于突然运动、严重遮挡或运动模糊导致跟踪失败时，可以利用闭环检测进行重新定位。因此，闭环检测在提高整个SLAM系统地鲁棒性和有效性方面发挥着至关重要的作用。
发明内容
本发明的目的是为了解决现有闭环检测方法中相似性度量受限于特征提取难以提高检测精度的问题，提出了一种基于端到端关系网络的视觉SLAM闭环检测方法。
本发明的技术方案是：一种基于端到端关系网络的视觉SLAM闭环检测方法，包括以下步骤：
S1：向VGG16网络中输入视觉传感器采集的先前图像和当前图像；
S2：对先前图像和当前图像的原始数据进行预处理；
S3：通过VGG16网络的5个卷积阶段获取预处理后的先前图像和当前图像的特征，得到多层特征；
S4：对先前图像和当前图像的多层特征进行加权融合；
S5：对先前图像和当前图像融合后的多层特征进行标准化，得到标准特征；
S6：对先前图像和当前图像标准化后的标准特征进行组合，得到组合图像；
S7：通过CNN关系模块回归得到组合图像的相似性得分，完成闭环检测。
本发明的有益效果是：本发明提供了一种基于端到端关系网络的视觉SLAM闭环检测方法。与现有的基于深度学习的闭环检测方法相比，本发明的加权融合来自不同中间层的不同尺度的特征，并可以自动学习其重要性。融合后的特征不仅保持了一定的不变性，而且包含更多的高层语义信息，更有效地克服感知偏差和感知变异，在统一的框架内将特征提取与相似性度量联合起来，将原始图片数据送入网络可以直接从像素点度量两个图像的相似性，避免学习冗余特征，使得学习到的特征更加适应相似性度量要求的可区分性，可以更加准确地检测闭环并节省检测时间，提高闭环检测地精度。
进一步地，步骤S2包括以下子步骤：
S21：调整先前图像和当前图像的尺寸为224×224；
S22：将调整大小后的先前图像和当前图像转换为224×224×3的张量；
S23：对转换张量后的先前图像和当前图像进行标准化操作，完成对先前图像和当前图像的原始数据预处理。
上述进一步方案的有益效果是：在本发明中，对先前图像和当前图像的原始数据进行预处理可满足卷积神经网络对输入数据的尺度要求。
进一步地，步骤S23中，标准化操作的公式为
Figure BDA0002359283000000021
其中，x代表图像张量，μ代表图像的均值，stddev代表图像的标准方差。
上述进一步方案的有益效果是：在本发明中，对每张图片采取标准化操作，便于后续步骤实施。
进一步地，步骤S3包括以下子步骤：
S31：对VGG16网络的5个卷积阶段进行结构划分：第一卷积阶段和第二卷积阶段均采用卷积+卷积+池化的结构；第三卷积阶段、第四卷积阶段和第五卷积阶段均采用卷积+卷积+卷积+池化的结构；
S32：通过不同的卷积阶段对预处理后的先前图像和当前图像数据提取特征，得到基本特征，其基本特征提取公式为
Figure BDA0002359283000000031
其中，
Figure BDA0002359283000000032
为卷积层l第i个神经元上第j个特征图的输出，
Figure BDA0002359283000000033
为卷积核，bj为卷积特征图的偏置；激活函数Relu(·)为非线性映射；
S33：通过池化对基本特征进行压缩，得到多层特征，其压缩公式为
Figure BDA0002359283000000034
其中，
Figure BDA0002359283000000035
表示池化过程后的输出，r为池化核的尺寸。
上述进一步方案的有益效果是：在本发明中，对图像提取基本特征并且压缩，可去除冗余信息，并增加了基本特征的平移不变性。
进一步地，步骤S31中，VGG16网络的5个卷积阶段的卷积核尺寸均为3×3，卷积核数量分别为64、128、256、512和512，池化层均采用最大池化，池化核的尺寸均为2×2。
上述进一步方案的有益效果是：在本发明中，针对不同的卷积阶段定义不同的卷积核数量，并规定其尺寸，使得检测方法准确简洁。
进一步地，步骤S4包括以下子步骤：
S41：通过VGG16网络将第三卷积阶段、第四卷积阶段和第五卷积阶的最后一层卷积层定义为conv3_3、conv4_3和conv5_3；
S42：转换conv3_3、conv4_3和conv5_3的尺寸为28×28×256；
S43：对相同大小的conv3_3、conv4_3和conv5_3进行加权融合；其加权融合公式为
Figure BDA0002359283000000041
其中，Fconv3_3、Fconv4_3和Fconv5_3分别表示conv3_3、conv4_3和conv5_3转换后的多层特征，ωi为多层特征对应的权重，F表示融合三层之后得到的特征。
上述进一步方案的有益效果是：在本发明中，对最后三个卷积阶段进行加权融合，可以更好地表达图像。
进一步地，步骤S5中，标准化公式为
Figure BDA0002359283000000042
其中，i＝1,2，F1表示先前图像融合后的多层特征，F2表示当前图像融合后的多层特征；F_std1表示先前图像的标准特征，F_std2表示当前图像的标准特征。
上述进一步方案的有益效果是：在本发明中，步骤S5中的标准化公式便于处理图像的标准化过程，使用公式快速。
进一步地，步骤S6包括以下子步骤：
S61：转换标准特征F_std1和F_std2的尺寸为256×784，调整其尺寸为448×448；
S62：根据VGG16网络的深度将当前图像和先前时刻图像的标准特征拼接，得到组合图像Fcom，其尺寸为448×448×2，并将其作为关系模块的输入，完成先前图像和当前图像标准化后的标准特征组合。
上述进一步方案的有益效果是：在本发明中，根据深度完成图像的拼接，并作为关系模块的输入，便于回归得到图像的相似性得分。
进一步地，步骤S7包括以下子步骤：
S71：设置组合后图像的阈值；
S72：通过Relu(·)函数提取Fcom中的特征；
S73：根据Fcom中的特征，采用Sigmoid(·)函数输出组合后图像的相似性得分；
S74：通过比较阈值数值和相似性得分数值的大小，若比较阈值数值大于相似性得分数值，则未发生闭环；若比较阈值数值小于相似性得分数值，则发生闭环；完成闭环检测。
上述进一步方案的有益效果是：在本发明中，根据相似性得分判断是否大于阈值。若相似性得分大于阈值，则发生闭环；若相似性得分小于阈值，则未发生闭环。
附图说明
图1为基于端到端关系网络的视觉SLAM闭环检测方法的步骤图；
图2为步骤S2的子步骤图；
图3为步骤S3的子步骤图；
图4为步骤S4的子步骤图；
图5为步骤S6的子步骤图；
图6为步骤S7的子步骤图；
图7为实施例的模块示意图；
图8为实施例的加权融合示意图；
图9为实施例的标准特征组合示意图；
图10为实施例的关系模块比较示意图。
具体实施方式
下面结合附图对本发明的实施例作进一步的说明。
如图1所示，本发明提供了一种基于端到端关系网络的视觉SLAM闭环检测方法，包括以下步骤：
S1：向VGG16网络中输入视觉传感器采集的先前图像和当前图像；
S2：对先前图像和当前图像的原始数据进行预处理；
S3：通过VGG16网络的5个卷积阶段获取预处理后的先前图像和当前图像的特征，得到多层特征；
S4：对先前图像和当前图像的多层特征进行加权融合；
S5：对先前图像和当前图像融合后的多层特征进行标准化，得到标准特征；
S6：对先前图像和当前图像标准化后的标准特征进行组合，得到组合图像；
S7：通过CNN关系模块回归得到组合图像的相似性得分，完成闭环检测。
在本发明实施例中，如图2所示，步骤S2包括以下子步骤：
S21：调整先前图像和当前图像的尺寸为224×224；
S22：将调整大小后的先前图像和当前图像转换为224×224×3的张量；
S23：对转换张量后的先前图像和当前图像进行标准化操作，完成对先前图像和当前图像的原始数据预处理。
在本发明中，对先前图像和当前图像的原始数据进行预处理可满足卷积神经网络对输入数据的尺度要求。
在本发明实施例中，如图2所示，步骤S23中，标准化操作的公式为
Figure BDA0002359283000000061
其中，x代表图像张量，μ代表图像的均值，对应图像张量μ的不同取值为0.485,0.456和0.406，stddev代表图像的标准方差，对应图像张量stddev的不同取值为0.229,0.224和0.225。
在本发明中，对每张图片采取标准化操作，便于后续步骤实施。
在本发明实施例中，如图3所示，步骤S3包括以下子步骤：
S31：对VGG16网络的5个卷积阶段进行结构划分：第一卷积阶段和第二卷积阶段均采用卷积+卷积+池化的结构；第三卷积阶段、第四卷积阶段和第五卷积阶段均采用卷积+卷积+卷积+池化的结构；
S32：通过不同的卷积阶段对预处理后的先前图像和当前图像数据提取特征，得到基本特征，其基本特征提取公式为
Figure BDA0002359283000000071
其中，
Figure BDA0002359283000000072
为卷积层l第i个神经元上第j个特征图的输出，
Figure BDA0002359283000000073
为卷积核，bj为卷积特征图的偏置；激活函数Relu(·)为非线性映射；
S33：通过池化对基本特征进行压缩，得到多层特征，其压缩公式为
Figure BDA0002359283000000074
其中，
Figure BDA0002359283000000075
表示池化过程后的输出，r为池化核的尺寸。
在本发明中，对图像提取基本特征并且压缩，可去除冗余信息，并增加了基本特征的平移不变性。
在本发明实施例中，如图3所示，步骤S31中，VGG16网络的5个卷积阶段的卷积核尺寸均为3×3，卷积核数量分别为64、128、256、512和512，池化层均采用最大池化，池化核的尺寸均为2×2。在本发明中，针对不同的卷积阶段定义不同的卷积核数量，并规定其尺寸，使得检测方法准确简洁。
在本发明实施例中，如图4所示，步骤S4包括以下子步骤：
S41：通过VGG16网络将第三卷积阶段、第四卷积阶段和第五卷积阶的最后一层卷积层定义为conv3_3、conv4_3和conv5_3；
S42：转换conv3_3、conv4_3和conv5_3的尺寸为28×28×256；
S43：对相同大小的conv3_3、conv4_3和conv5_3进行加权融合；其加权融合公式为
Figure BDA0002359283000000076
其中，Fconv3_3、Fconv4_3和Fconv5_3分别表示conv3_3、conv4_3和conv5_3转换后的多层特征，ωi为多层特征对应的权重，F表示融合三层之后得到的特征。
在本发明中，对最后三个卷积阶段进行加权融合，可以更好地表达图像。
在本发明实施例中，如图1所示，步骤S5中，标准化公式为
Figure BDA0002359283000000077
其中，i＝1,2，F1表示先前图像融合后的多层特征，F2表示当前图像融合后的多层特征；F_std1表示先前图像的标准特征，F_std2表示当前图像的标准特征。
在本发明中，步骤S5中的标准化公式便于处理图像的标准化过程，使用公式快速。
在本发明实施例中，如图5所示，步骤S6包括以下子步骤：
S61：转换标准特征F_std1和F_std2的尺寸为256×784，调整其尺寸为448×448；
S62：根据VGG16网络的深度将当前图像和先前时刻图像的标准特征拼接，得到组合图像Fcom，其尺寸为448×448×2，并将其作为关系模块的输入，完成先前图像和当前图像标准化后的标准特征组合。
在本发明中，根据深度完成图像的拼接，并作为关系模块的输入，便于回归得到图像的相似性得分。并且为了适应网络训练习惯调整其尺寸为448×448。
在本发明实施例中，如图6所示，步骤S7包括以下子步骤：
S71：设置组合后图像的阈值；
S72：通过Relu(·)函数提取Fcom中的特征；
S73：根据Fcom中的特征，采用Sigmoid(·)函数输出组合后图像的相似性得分；
S74：通过比较阈值数值和相似性得分数值的大小，若比较阈值数值大于相似性得分数值，则未发生闭环；若比较阈值数值小于相似性得分数值，则发生闭环；完成闭环检测。
以具体的图像为例，如图7所示，网络结构是双分支的，主要包括四个模块：特征提取模块、特征融合模块、特征组合模块、关系模块。采用图片对作为网络的输入数据，通过网络直接输出闭环检测的结果。这保证了特征提取和相似性度量的有效性，同时加快了闭环检测的速度。如图8所示，对先前图像和当前图像进行加权融合。如图9所示，对先前图像和当前图像标准化后的标准特征进行组合。如图10所示，关系模块包含三层卷积层和两层全连接层。三层卷积层分别采用大小为7×7、5×5和3×3的卷积核，卷积核的数量均为16，采用Relu(·)作为激活函数进行非线性映射。每层卷积后面包括批量归一化和最大池化层，池化核大小为2×2，进一步提取Fcom中蕴含的特征。第一层全连接层包含100个神经元，采用Relu(·)作为激活函数,对卷积层的输出进行加权求和整合出更加抽象的数据特征。第二层全连接层只包含一个神经元，采用Sigmoid(·)作为激活函数，输出为两张图片的相似性得分。通过设置合适的阈值，当相似性得分大于阈值时，则认为发生了闭环，小于阈值时，则认为不是闭环。在本实施例中，阈值设为0.5。
本发明的工作原理及过程为：本发明提供了一种简单有效的基于端到端关系网络的闭环检测方法。首先对先前图像和当前图像的数据进行预处理，利用VGG16网络分别提取当前图像和先前时刻图像的特征。再分别对两个图像的多层特征进行加权融合，组合两个图像的特征，利用CNN构成的关系模块回归得到两张图像的相似性得分，并决定是否是闭环。
本发明的有益效果为：本发明提供了一种基于端到端关系网络的视觉SLAM闭环检测方法。与现有的基于深度学习的闭环检测方法相比，本发明的加权融合来自不同中间层的不同尺度的特征，并可以自动学习其重要性。融合后的特征不仅保持了一定的不变性，而且包含更多的高层语义信息，更有效地克服感知偏差和感知变异，在统一的框架内将特征提取与相似性度量联合起来，将原始图片数据送入网络可以直接从像素点度量两个图像的相似性，避免学习冗余特征，使得学习到的特征更加适应相似性度量要求的可区分性，可以更加准确地检测闭环并节省检测时间，提高闭环检测地精度。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (4)

1.一种基于端到端关系网络的视觉SLAM闭环检测方法，其特征在于，包括以下步骤：
S1：向VGG16网络中输入视觉传感器采集的先前图像和当前图像；
S2：对先前图像和当前图像的原始数据进行预处理；
所述步骤S2包括以下子步骤：
S21：调整先前图像和当前图像的尺寸为224×224；
S22：将调整大小后的先前图像和当前图像转换为224×224×3的张量；
S23：对转换张量后的先前图像和当前图像进行标准化操作，完成对先前图像和当前图像的原始数据预处理；
S3：通过VGG16网络的5个卷积阶段获取预处理后的先前图像和当前图像的特征，得到多层特征；
所述步骤S3包括以下子步骤：
S31：对VGG16网络的5个卷积阶段进行结构划分：第一卷积阶段和第二卷积阶段均采用卷积+卷积+池化的结构；第三卷积阶段、第四卷积阶段和第五卷积阶段均采用卷积+卷积+卷积+池化的结构；
S32：通过不同的卷积阶段对预处理后的先前图像和当前图像数据提取特征，得到基本特征，其基本特征提取公式为
Figure FDA0002943485260000011
其中，
Figure FDA0002943485260000012
为卷积层l第i个神经元上第j个特征图的输出，
Figure FDA0002943485260000013
为卷积核，bj为卷积特征图的偏置；激活函数Relu(·)为非线性映射；
S33：通过池化对基本特征进行压缩，得到多层特征，其压缩公式为
Figure FDA0002943485260000014
其中，
Figure FDA0002943485260000015
表示池化过程后的输出，r为池化核的尺寸；
S4：对先前图像和当前图像的多层特征进行加权融合；
所述步骤S4包括以下子步骤：
S41：通过VGG16网络将第三卷积阶段、第四卷积阶段和第五卷积阶的最后一层卷积层定义为conv3_3、conv4_3和conv5_3；
S42：转换conv3_3、conv4_3和conv5_3的尺寸为28×28×256；
S43：对相同大小的conv3_3、conv4_3和conv5_3进行加权融合；其加权融合公式为F＝ω1Fconv3_3+ω2Fconv4_3+ω3Fconv5_3；其中，Fconv3_3、Fconv4_3和Fconv5_3分别表示conv3_3、conv4_3和conv5_3转换后的多层特征，ωi为多层特征对应的权重，F表示融合三层之后得到的特征；
S5：对先前图像和当前图像融合后的多层特征进行标准化，得到标准特征；
S6：对先前图像和当前图像标准化后的标准特征进行组合，得到组合图像；
所述步骤S6包括以下子步骤：
S61：转换先前图像的标准特征F_std1和当前图像的标准特征F_std2的尺寸为256×784，调整其尺寸为448×448；
S62：根据VGG16网络的深度将当前图像和先前时刻图像的标准特征拼接，得到组合图像Fcom，其尺寸为448×448×2，并将其作为关系模块的输入，完成先前图像和当前图像标准化后的标准特征组合；
S7：通过CNN关系模块回归得到组合图像的相似性得分，完成闭环检测；
所述步骤S7包括以下子步骤：
S71：设置组合后图像的阈值数值；
S72：通过Relu(·)函数提取Fcom中的特征；
S73：根据Fcom中的特征，采用Sigmoid(·)函数输出组合后图像的相似性得分数值；
S74：通过比较阈值数值和相似性得分数值的大小，若比较阈值数值大于相似性得分数值，则未发生闭环；若比较阈值数值小于相似性得分数值，则发生闭环；完成闭环检测。
2.根据权利要求1所述的基于端到端关系网络的视觉SLAM闭环检测方法，其特征在于，所述步骤S23中，标准化操作的公式为
Figure FDA0002943485260000031
其中，x代表图像张量，μ代表图像的均值，stddev代表图像的标准方差。
3.根据权利要求1所述的基于端到端关系网络的视觉SLAM闭环检测方法，其特征在于，所述步骤S31中，VGG16网络的5个卷积阶段的卷积核尺寸均为3×3，卷积核数量分别为64、128、256、512和512，池化层均采用最大池化，池化核的尺寸均为2×2。
4.根据权利要求1所述的基于端到端关系网络的视觉SLAM闭环检测方法，其特征在于，所述步骤S5中，标准化公式为
Figure FDA0002943485260000032
其中，i＝1,2，F1表示先前图像融合后的多层特征，F2表示当前图像融合后的多层特征。
CN202010017054.4A 2020-01-08 2020-01-08 一种基于端到端关系网络的视觉slam闭环检测方法 Active CN111241986B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010017054.4A CN111241986B (zh) 2020-01-08 2020-01-08 一种基于端到端关系网络的视觉slam闭环检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010017054.4A CN111241986B (zh) 2020-01-08 2020-01-08 一种基于端到端关系网络的视觉slam闭环检测方法

Publications (2)

Publication Number Publication Date
CN111241986A CN111241986A (zh) 2020-06-05
CN111241986B true CN111241986B (zh) 2021-03-30

Family

ID=70877650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010017054.4A Active CN111241986B (zh) 2020-01-08 2020-01-08 一种基于端到端关系网络的视觉slam闭环检测方法

Country Status (1)

Country Link
CN (1) CN111241986B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766305B (zh) * 2020-12-25 2022-04-22 电子科技大学 一种基于端到端度量网络的视觉slam闭环检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330357A (zh) * 2017-05-18 2017-11-07 东北大学 基于深度神经网络的视觉slam闭环检测方法
CN109341703A (zh) * 2018-09-18 2019-02-15 北京航空航天大学 一种全周期采用CNNs特征检测的视觉SLAM算法
CN109443382A (zh) * 2018-10-22 2019-03-08 北京工业大学 基于特征提取与降维神经网络的视觉slam闭环检测方法
CN109902532A (zh) * 2017-12-07 2019-06-18 广州映博智能科技有限公司 一种视觉闭环检测方法
WO2019180414A1 (en) * 2018-03-20 2019-09-26 University Of Essex Enterprises Limited Localisation, mapping and network training

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11347054B2 (en) * 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
CN110533661A (zh) * 2019-09-04 2019-12-03 电子科技大学 基于图像特征级联的自适应实时闭环检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330357A (zh) * 2017-05-18 2017-11-07 东北大学 基于深度神经网络的视觉slam闭环检测方法
CN109902532A (zh) * 2017-12-07 2019-06-18 广州映博智能科技有限公司 一种视觉闭环检测方法
WO2019180414A1 (en) * 2018-03-20 2019-09-26 University Of Essex Enterprises Limited Localisation, mapping and network training
CN109341703A (zh) * 2018-09-18 2019-02-15 北京航空航天大学 一种全周期采用CNNs特征检测的视觉SLAM算法
CN109443382A (zh) * 2018-10-22 2019-03-08 北京工业大学 基于特征提取与降维神经网络的视觉slam闭环检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AN END-TO-END SIAMESE CONVOLUTIONAL NEURAL NETWORK FOR LOOP CLOSURE DETECTION IN VISUAL SLAM SYSTEM;Hong Liu et al;《2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)》;20180913;1-5页 *
基于卷积神经网络的视觉闭环检测研究;杨孟军等;《广东工业大学学报》;20180930;第35卷(第5期);31-37页 *
融合多层次卷积神经网络特征的闭环检测算法;鲍振强等;《激光与光电子学进展》;20181231(第11期);375-381页 *

Also Published As

Publication number Publication date
CN111241986A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
WO2022036777A1 (zh) 基于卷积神经网络的人体动作姿态智能估计方法及装置
US10366313B2 (en) Activation layers for deep learning networks
WO2020228446A1 (zh) 模型训练方法、装置、终端及存储介质
CN112926396B (zh) 一种基于双流卷积注意力的动作识别方法
WO2022000420A1 (zh) 人体动作识别方法、人体动作识别系统及设备
CN109902548B (zh) 一种对象属性识别方法、装置、计算设备及系统
WO2021143101A1 (zh) 人脸识别方法和人脸识别装置
CN111582044B (zh) 基于卷积神经网络和注意力模型的人脸识别方法
CN110782420A (zh) 一种基于深度学习的小目标特征表示增强方法
CN112364931B (zh) 一种基于元特征和权重调整的少样本目标检测方法及网络系统
JP2017062781A (ja) 深層ｃｎｎプーリング層を特徴として用いる、類似度に基づく重要な対象の検知
CN110414344B (zh) 一种基于视频的人物分类方法、智能终端及存储介质
CN110879982B (zh) 一种人群计数系统及方法
CN110222718B (zh) 图像处理的方法及装置
WO2021218238A1 (zh) 图像处理方法和图像处理装置
CN111241986B (zh) 一种基于端到端关系网络的视觉slam闭环检测方法
CN112766305B (zh) 一种基于端到端度量网络的视觉slam闭环检测方法
CN111652245B (zh) 车辆轮廓检测方法、装置、计算机设备及存储介质
CN117522807A (zh) 基于对比学习改进的图像篡改检测方法
CN116664952A (zh) 一种融合卷积与ViT的图像方向识别方法
CN112613457B (zh) 图像采集方式检测方法、装置、计算机设备和存储介质
CN116091596A (zh) 一种自下而上的多人2d人体姿态估计方法及装置
CN112464989B (zh) 一种基于目标检测网络的闭环检测方法
CN110738225B (zh) 图像识别方法及装置
CN117237858B (zh) 一种回环检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant