CN113780102B - 智能机器人视觉slam闭环检测方法、装置及存储介质 - Google Patents

智能机器人视觉slam闭环检测方法、装置及存储介质 Download PDF

Info

Publication number
CN113780102B
CN113780102B CN202110968243.4A CN202110968243A CN113780102B CN 113780102 B CN113780102 B CN 113780102B CN 202110968243 A CN202110968243 A CN 202110968243A CN 113780102 B CN113780102 B CN 113780102B
Authority
CN
China
Prior art keywords
matrix
similarity
loop detection
closed loop
feature vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110968243.4A
Other languages
English (en)
Other versions
CN113780102A (zh
Inventor
姚华南
陈琰
钟洋
蔡梦祥
欧阳佳
程宜华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Password Camp Technology Co ltd
Original Assignee
Guangzhou Password Camp Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Password Camp Technology Co ltd filed Critical Guangzhou Password Camp Technology Co ltd
Priority to CN202110968243.4A priority Critical patent/CN113780102B/zh
Publication of CN113780102A publication Critical patent/CN113780102A/zh
Application granted granted Critical
Publication of CN113780102B publication Critical patent/CN113780102B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了智能机器人视觉SLAM闭环检测方法、装置及存储介质，方法包括：根据机器人获取的图像，提取CNN特征向量；计算各个所述CNN特征向量之间的相似度，得到相似性矩阵；对所述相似性矩阵进行特征值分解，得到主对角矩阵和特征向量矩阵；对所述主对角矩阵进行重构，得到重构后的矩阵；根据所述特征向量矩阵和所述重构后的矩阵，计算目标矩阵；对所述目标矩阵进行K近邻中值滤波后构建闭环检测。本发明增强了闭环检测的鲁棒性和可靠性，可广泛应用于智能机器人技术领域。

Description

智能机器人视觉SLAM闭环检测方法、装置及存储介质
技术领域
本发明涉及智能机器人技术领域，尤其是智能机器人视觉SLAM闭环检测方法、装置及存储介质。
背景技术
随着无人驾驶和虚拟现实技术的快速发展，视觉同时定位与地图构建(SLAM)受到了学术界和工业界的广泛关注，它是指搭载特定传感器的主体，在没有环境先验信息的情况下，于运动过程中建立环境模型，同时估计自己的运动。如果上述传感器主要为相机，则称之为视觉SLAM。闭环检测是SLAM系统的重要组成部分。正确的闭环检测有助于提高视觉SLAM系统的鲁棒性，减少机器人运动在地图上所产生的累计漂移来提高映射精度；错误的闭环检测可能使优化算法收敛到一个错误的值，甚至给机器人带来灾难性的后果。
尽管有很多学者围绕降低错误闭环影响的优化算法展开了研究，但这些算法不能从根本上消除错误闭环带来的影响，而且加重了优化后端的计算负担。因此，如何设计更加鲁棒、更加可靠的闭环检测方法来正确检测出闭环依然是一个开放性问题。
发明内容
有鉴于此，本发明实施例提供一种鲁棒性高且可靠性高的，智能机器人视觉SLAM闭环检测方法、装置及存储介质。
本发明的一方面提供了一种智能机器人视觉SLAM闭环检测方法，包括：
根据机器人获取的图像，提取CNN特征向量；
计算各个所述CNN特征向量之间的相似度，得到相似性矩阵；
对所述相似性矩阵进行特征值分解，得到主对角矩阵和特征向量矩阵；
对所述主对角矩阵进行重构，得到重构后的矩阵；
根据所述特征向量矩阵和所述重构后的矩阵，计算目标矩阵；
对所述目标矩阵进行K近邻中值滤波后构建闭环检测。
可选地，所述根据机器人获取的图像，提取CNN特征向量，包括：
将机器人获取的图像裁剪后输入到预训练的Alexnet模型；
提取所述Alexnet模型的第三个卷积层的输出作为图像描述符，得到代表输入图像的CNN特征向量；
将所述CNN特征向量放入存储介质。
可选地，所述计算各个所述CNN特征向量之间的相似度，得到相似性矩阵，包括：
采用均方误差算法度量CNN特征向量之间的相似度；
所述相似度的计算公式为：
其中，similarityij代表特征向量fi和fj之间的相似度；和/>分别表示fi和fj的分量，m为分量个数。
可选地，所述对所述相似性矩阵进行特征值分解，得到主对角矩阵和特征向量矩阵中，所述特征值分解的计算公式为：
A＝QΛQ-1
其中，A代表相似性矩阵；Q代表由相似性矩阵的多个特征向量组成的特征向量矩阵；Λ代表由相似性矩阵的多个特征值组成的主对角矩阵。
可选地，所述对所述主对角矩阵进行重构，得到重构后的矩阵，包括：
根据所述特征向量矩阵确定矩阵变换的方向；
根据所述主对角矩阵确定矩阵变换的变换速度；
通过改变矩阵特征值的分布情况及大小来调整矩阵在对应特征向量方向上的变换速度。
可选地，所述根据所述特征向量矩阵和所述重构后的矩阵，计算目标矩阵中，所述目标矩阵的计算公式为：
Arec＝QΛrecQ-1
其中，Arec代表目标矩阵；Q代表特征向量矩阵；Λrec代表重构后的矩阵。
可选地，所述对所述目标矩阵进行K近邻中值滤波后构建闭环检测，包括：
K近邻中值滤波器以待处理像素为中心，作一个m×m的模板；
在所述模板中，选择K个与待处理像素灰度差最小的像素，将这K个像素的灰度均值替换掉原来的像素值；
在完成了K近邻中值滤波处理之后，将相似矩阵中的假阳性闭环全部剔除；
将算法检测出的闭环的置信度全部置1；
将置信度1的行号和列号对应的图像编号视为构成闭环，以完成当前轮次的闭环检测。
本发明实施例的另一方面提供了一种智能机器人视觉SLAM闭环检测装置，包括：
第一模块，用于根据机器人获取的图像，提取CNN特征向量；
第二模块，用于计算各个所述CNN特征向量之间的相似度，得到相似性矩阵；
第三模块，用于对所述相似性矩阵进行特征值分解，得到主对角矩阵和特征向量矩阵；
第四模块，用于对所述主对角矩阵进行重构，得到重构后的矩阵；
第五模块，用于根据所述特征向量矩阵和所述重构后的矩阵，计算目标矩阵；
第六模块，用于对所述目标矩阵进行K近邻中值滤波后构建闭环检测。
本发明实施例的另一方面提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例的另一方面提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明的实施例根据机器人获取的图像，提取CNN特征向量；计算各个所述CNN特征向量之间的相似度，得到相似性矩阵；对所述相似性矩阵进行特征值分解，得到主对角矩阵和特征向量矩阵；对所述主对角矩阵进行重构，得到重构后的矩阵；根据所述特征向量矩阵和所述重构后的矩阵，计算目标矩阵；对所述目标矩阵进行K近邻中值滤波后构建闭环检测。本发明增强了闭环检测的鲁棒性和可靠性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的整体步骤流程图；
图2为本发明实施例提供的实施过程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
针对现有技术存在的问题，本发明提供一种鲁棒的智能机器人视觉SALM闭环检测方法、装置及存储介质，能减少复杂环境对闭环检测的影响，高效剔除假阳性闭环，从而提高闭环检测的精度，增强智能机器人视觉SLAM系统的鲁棒性和可靠性。
参考图1，本发明的智能机器人视觉SALM闭环检测方法，包括以下步骤：
根据机器人获取的图像，提取CNN特征向量；
计算各个所述CNN特征向量之间的相似度，得到相似性矩阵；
对所述相似性矩阵进行特征值分解，得到主对角矩阵和特征向量矩阵；
对所述主对角矩阵进行重构，得到重构后的矩阵；
根据所述特征向量矩阵和所述重构后的矩阵，计算目标矩阵；
对所述目标矩阵进行K近邻中值滤波后构建闭环检测。
可选地，所述根据机器人获取的图像，提取CNN特征向量，包括：
将机器人获取的图像裁剪后输入到预训练的Alexnet模型；
提取所述Alexnet模型的第三个卷积层的输出作为图像描述符，得到代表输入图像的CNN特征向量；
将所述CNN特征向量放入存储介质。
可选地，所述计算各个所述CNN特征向量之间的相似度，得到相似性矩阵，包括：
采用均方误差算法度量CNN特征向量之间的相似度；
所述相似度的计算公式为：
其中，similarityij代表特征向量fi和fj之间的相似度；和/>分别表示fi和fj的分量，m为分量个数。
可选地，所述对所述相似性矩阵进行特征值分解，得到主对角矩阵和特征向量矩阵中，所述特征值分解的计算公式为：
A＝QΛQ-1
其中，A代表相似性矩阵；Q代表由相似性矩阵的多个特征向量组成的特征向量矩阵；Λ代表由相似性矩阵的多个特征值组成的主对角矩阵。
可选地，所述对所述主对角矩阵进行重构，得到重构后的矩阵，包括：
根据所述特征向量矩阵确定矩阵变换的方向；
根据所述主对角矩阵确定矩阵变换的变换速度；
通过改变矩阵特征值的分布情况及大小来调整矩阵在对应特征向量方向上的变换速度。
可选地，所述根据所述特征向量矩阵和所述重构后的矩阵，计算目标矩阵中，所述目标矩阵的计算公式为：
Arec＝QΛrecQ-1
其中，Arec代表目标矩阵；Q代表特征向量矩阵；Λrec代表重构后的矩阵。
可选地，所述对所述目标矩阵进行K近邻中值滤波后构建闭环检测，包括：
K近邻中值滤波器以待处理像素为中心，作一个m×m的模板；
在所述模板中，选择K个与待处理像素灰度差最小的像素，将这K个像素的灰度均值替换掉原来的像素值；
在完成了K近邻中值滤波处理之后，将相似矩阵中的假阳性闭环全部剔除；
将算法检测出的闭环的置信度全部置1；
将置信度1的行号和列号对应的图像编号视为构成闭环，以完成当前轮次的闭环检测。
本发明实施例的另一方面提供了一种智能机器人视觉SLAM闭环检测装置，包括：
第一模块，用于根据机器人获取的图像，提取CNN特征向量；
第二模块，用于计算各个所述CNN特征向量之间的相似度，得到相似性矩阵；
第三模块，用于对所述相似性矩阵进行特征值分解，得到主对角矩阵和特征向量矩阵；
第四模块，用于对所述主对角矩阵进行重构，得到重构后的矩阵；
第五模块，用于根据所述特征向量矩阵和所述重构后的矩阵，计算目标矩阵；
第六模块，用于对所述目标矩阵进行K近邻中值滤波后构建闭环检测。
本发明实施例的另一方面提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例的另一方面提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
下面结合说明书附图，对本发明的具体实现原理进行详细说明。
闭环检测是SLAM系统的重要组成部分。正确的闭环检测有助于提高视觉SLAM系统的鲁棒性，减少机器人运动在地图上所产生的累计漂移来提高映射精度；错误的闭环检测可能使优化算法收敛到一个错误的值，甚至给机器人带来灾难性的后果。当机器人运动在纷繁复杂的环境中时，由于光照变化、昼夜交替、季节更迭、运动物体的存在以及不同地方存在相似物体等因素的影响，使得闭环检测算法的检测精度不高。因此，本发明通过改变相似矩阵特征值的分布情况及大小来调整相似性矩阵在对应特征向量方向上的变换速度的策略，高效剔除了假阳性闭环。
如图1所示，本发明的方法包括以下步骤1-7：
步骤1，机器人在运动过程中通过单目相机获取所处环境的图像，将该图像裁剪为256×256作为预训练的深度学习模型AlexNet的输入，提取AlexNet第三个卷积层的输出作为图像描述，得到代表输入图像的CNN特征向量并放入存储介质中；
步骤2，计算存储介质中所有CNN特征向量之间的相似度，得到相似性矩阵，将相似性矩阵记为A，其中CNN特征向量之间的相似度采用均方误差算法度量假设有图像i和图像j的CNN特征向量分别为fi和fj，则fi和fj的相似度计算如下：
其中和/>分别表示fi和fj的分量，m为分量个数，similarityij的值越小，代表图像i和图像j越相似；
步骤3，对相似性矩阵A进行特征值分解，得到A的特征值构成的矩阵∧和A的特征向量构成的矩阵Q，其中∧为主对角矩阵，特征值的大小从左上角到右下角依次递减，矩阵A特征值分解如下式：
A＝QΛQ-1
其中，若A的大小为n×n，则Q是由矩阵A的n个特征向量组成的n×n维矩阵；Λ是由矩阵A的n个特征值组成的对角阵，维度也为n×n；矩阵Q中的特征向量与矩阵Λ中的特征值是有序配对的，即第p个特征值对应低p个特征向量；
步骤4，矩阵可以表示为一种变换，特征向量表示矩阵变换的方向，特征值表示矩阵变换在对应特征向量方向上的变换速度。实验证明，通过改变矩阵特征值的分布情况及大小来调整矩阵在对应特征向量方向上的变换速度，可以高效剔除假阳性闭环，详细过程为将∧主对角线上的特征值按从大到小排列顺序参照比例a：b分割为两部分，将第一部分的特征值全部设为M，第二部分的特征值全部设为N(M＞N)，重构矩阵∧，记为Λrec；
步骤5，用矩阵Q、矩阵Λrec及矩阵Q的逆矩阵Q-1做矩阵乘法运算，将得到的新矩阵记为Arec，新矩阵Arec计算公式如下：
Arec＝QΛrecQ-1
其中，矩阵Q为矩阵A的特征向量构成的矩阵，矩阵Λrec为按步骤[004]中所述方法调整后的对角矩阵；
步骤6，为了解决图像模糊问题，一个自然的想法是在进行平滑处理时首先判别当前像素是否为边界上的点，若是，则不进行平滑处理，若不是，则进行平滑处理，K近邻中值滤波器以待处理像素为中心，作一个m×m的模板，在模板中，选择K个与待处理像素灰度差最小的像素，将这K个像素的灰度均值替换掉原来的像素值，对矩阵Arec执行K近邻中值滤波，完成了K近邻中值滤波处理之后，相似矩阵中的假阳性闭环全部被剔除，同时，算法检测出的闭环的置信度将全部置1，将置信度1的行号和列号对应的图像编号视为构成闭环，到此，本轮闭环检测结束；
步骤7，获取新的图像进行下一轮闭环检测。
本发明为验证闭环检测的有效性，测试部分采用牛津大学机器人团队收集的NewCollege和City Center数据集，这两个数据集被广泛应用于评估视觉SALM回环检测算法的效果，两个数据集中分别包含2146张和2474张由移动机器人在室外环境中采集的左右对图像，在数据集中下标是奇数的为左摄像头采集，偶数的为右摄像头采集，图像格式为.jpg，尺寸为640×480像素，数据集中包含有回环真值方便研究人员对比实验结果，从图2的相似性矩阵中可以看出，本发明所提方法高效剔除了假阳性闭环，提高了闭环检测的精度。
综上所述，相较于现有技术，本发明具有以下优点：
1.通过改变矩阵特征值的分布情况及大小来调整矩阵在对应特征向量方向上的变换速度，高效剔除了假阳性闭环。
2.采用K近邻中值滤波算法，将算法置信闭环的相似度置1，非置信闭环的相似度置0，使得检测结果一目了然。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.智能机器人视觉SLAM闭环检测方法，其特征在于，包括：
根据机器人获取的图像，提取CNN特征向量；
计算各个所述CNN特征向量之间的相似度，得到相似性矩阵；
对所述相似性矩阵进行特征值分解，得到主对角矩阵和特征向量矩阵；
对所述主对角矩阵进行重构，得到重构后的矩阵，包括：
根据所述特征向量矩阵确定矩阵变换的方向；
根据所述主对角矩阵确定矩阵变换的变换速度；
通过改变矩阵特征值的分布情况及大小来调整矩阵在对应特征向量方向上的变换速度；
根据所述特征向量矩阵和所述重构后的矩阵，计算目标矩阵；
对所述目标矩阵进行K近邻中值滤波后构建闭环检测，包括：
K近邻中值滤波器以待处理像素为中心，作一个m×m的模板；
在所述模板中，选择K个与待处理像素灰度差最小的像素，将这K个像素的灰度均值替换掉原来的像素值；
在完成了K近邻中值滤波处理之后，将相似矩阵中的假阳性闭环全部剔除；
将算法检测出的闭环的置信度全部置1；
将置信度1的行号和列号对应的图像编号视为构成闭环，以完成当前轮次的闭环检测。
2.根据权利要求1所述的智能机器人视觉SLAM闭环检测方法，其特征在于，所述根据机器人获取的图像，提取CNN特征向量，包括：
将机器人获取的图像裁剪后输入到预训练的Alexnet模型；
提取所述Alexnet模型的第三个卷积层的输出作为图像描述符，得到代表输入图像的CNN特征向量；
将所述CNN特征向量放入存储介质。
3.根据权利要求1所述的智能机器人视觉SLAM闭环检测方法，其特征在于，所述计算各个所述CNN特征向量之间的相似度，得到相似性矩阵，包括：
采用均方误差算法度量CNN特征向量之间的相似度；
所述相似度的计算公式为：
其中，similarityij代表特征向量和之间的相似度；和/>分别表示fi和fj的分量，m为分量个数。
4.根据权利要求1所述的智能机器人视觉SLAM闭环检测方法，其特征在于，所述对所述相似性矩阵进行特征值分解，得到主对角矩阵和特征向量矩阵中，所述特征值分解的计算公式为：
A＝QΛQ-1
其中，A代表相似性矩阵；Q代表由相似性矩阵的多个特征向量组成的特征向量矩阵；Λ代表由相似性矩阵的多个特征值组成的主对角矩阵。
5.根据权利要求1所述的智能机器人视觉SLAM闭环检测方法，其特征在于，所述根据所述特征向量矩阵和所述重构后的矩阵，计算目标矩阵中，所述目标矩阵的计算公式为：
Arec＝QΛrecQ-1
其中，Arec代表目标矩阵；Q代表特征向量矩阵；Λrec代表重构后的矩阵。
6.智能机器人视觉SLAM闭环检测装置，其特征在于，包括：
第一模块，用于根据机器人获取的图像，提取CNN特征向量；
第二模块，用于计算各个所述CNN特征向量之间的相似度，得到相似性矩阵；
第三模块，用于对所述相似性矩阵进行特征值分解，得到主对角矩阵和特征向量矩阵；
第四模块，用于对所述主对角矩阵进行重构，得到重构后的矩阵，包括：
根据所述特征向量矩阵确定矩阵变换的方向；
根据所述主对角矩阵确定矩阵变换的变换速度；
通过改变矩阵特征值的分布情况及大小来调整矩阵在对应特征向量方向上的变换速度；
第五模块，用于根据所述特征向量矩阵和所述重构后的矩阵，计算目标矩阵；
第六模块，用于对所述目标矩阵进行K近邻中值滤波后构建闭环检测，包括：
K近邻中值滤波器以待处理像素为中心，作一个m×m的模板；
在所述模板中，选择K个与待处理像素灰度差最小的像素，将这K个像素的灰度均值替换掉原来的像素值；
在完成了K近邻中值滤波处理之后，将相似矩阵中的假阳性闭环全部剔除；
将算法检测出的闭环的置信度全部置1；
将置信度1的行号和列号对应的图像编号视为构成闭环，以完成当前轮次的闭环检测。
7.一种电子设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1-5中任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-5中任一项所述的方法。
CN202110968243.4A 2021-08-23 2021-08-23 智能机器人视觉slam闭环检测方法、装置及存储介质 Active CN113780102B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110968243.4A CN113780102B (zh) 2021-08-23 2021-08-23 智能机器人视觉slam闭环检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110968243.4A CN113780102B (zh) 2021-08-23 2021-08-23 智能机器人视觉slam闭环检测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113780102A CN113780102A (zh) 2021-12-10
CN113780102B true CN113780102B (zh) 2024-05-03

Family

ID=78838817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110968243.4A Active CN113780102B (zh) 2021-08-23 2021-08-23 智能机器人视觉slam闭环检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113780102B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104330090A (zh) * 2014-10-23 2015-02-04 北京化工大学 机器人分布式表征智能语义地图创建方法
CN110880010A (zh) * 2019-07-05 2020-03-13 电子科技大学 基于卷积神经网络的视觉slam闭环检测算法
CN111553193A (zh) * 2020-04-01 2020-08-18 东南大学 一种基于轻量级深层神经网络的视觉slam闭环检测方法
CN111753752A (zh) * 2020-06-28 2020-10-09 重庆邮电大学 基于卷积神经网络多层特征融合的机器人闭环检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104330090A (zh) * 2014-10-23 2015-02-04 北京化工大学 机器人分布式表征智能语义地图创建方法
CN110880010A (zh) * 2019-07-05 2020-03-13 电子科技大学 基于卷积神经网络的视觉slam闭环检测算法
CN111553193A (zh) * 2020-04-01 2020-08-18 东南大学 一种基于轻量级深层神经网络的视觉slam闭环检测方法
CN111753752A (zh) * 2020-06-28 2020-10-09 重庆邮电大学 基于卷积神经网络多层特征融合的机器人闭环检测方法

Also Published As

Publication number Publication date
CN113780102A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN108898560B (zh) 基于三维卷积神经网络的岩心ct图像超分辨率重建方法
Yuan et al. Fast hyperspectral anomaly detection via high-order 2-D crossing filter
KR20240069802A (ko) 3차원 객체 재구성
US20110249865A1 (en) Apparatus, method and computer-readable medium providing marker-less motion capture of human
CN113298934B (zh) 一种基于双向匹配的单目视觉图像三维重建方法及系统
CN106952288A (zh) 基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法
CN112669348A (zh) 一种鱼体姿势估计和鱼体表型数据测量方法及装置
Yang et al. Visual tracking with long-short term based correlation filter
Wang et al. Manifold regularization graph structure auto-encoder to detect loop closure for visual SLAM
CN110517300A (zh) 基于局部结构算子的弹性图像配准算法
Kang et al. Image registration based on harris corner and mutual information
CN113112547A (zh) 机器人及其重定位方法、定位装置及存储介质
CN113780102B (zh) 智能机器人视觉slam闭环检测方法、装置及存储介质
CN111696167A (zh) 自范例学习引导的单张影像超分辨率重构方法
Slimani et al. RoCNet++: Triangle-based descriptor for accurate and robust point cloud registration
CN116758212A (zh) 基于自适应去噪算法的3d重建方法、装置、设备及介质
JP2023145404A (ja) イメージ間の対応関係を識別するためにピラミッド及び固有性マッチングフライアを使用するシステム及び方法
da Silva Tavares Image processing and analysis: applications and trends
Xiong et al. Attention u-net with feature fusion module for robust defect detection
Lobaton et al. Robust topological features for deformation invariant image matching
CN114140524A (zh) 一种多尺度特征融合的闭环检测系统及方法
Li et al. FeatFlow: Learning geometric features for 3D motion estimation
CN112614166A (zh) 基于cnn-knn的点云匹配方法和装置
Ma et al. Multiview Sensing with Unknown Permutations: an Optimal Transport Approach
Rosman et al. Topologically constrained isometric embedding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant