CN108805149A - 一种视觉同步定位与地图构建的回环检测方法及装置 - Google Patents
一种视觉同步定位与地图构建的回环检测方法及装置 Download PDFInfo
- Publication number
- CN108805149A CN108805149A CN201710310793.0A CN201710310793A CN108805149A CN 108805149 A CN108805149 A CN 108805149A CN 201710310793 A CN201710310793 A CN 201710310793A CN 108805149 A CN108805149 A CN 108805149A
- Authority
- CN
- China
- Prior art keywords
- model
- frame
- picture
- winding
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种视觉同步定位与地图构建的回环检测方法及装置，其中，所述方法包括：获取基于深度学习的卷积策略训练后建模得到的第一模型；获取与当前场景匹配的相似场景，对所述相似场景进行图片采集，得到第一图片数据集；根据所述基于深度学习的卷积策略和所述第一图片数据集对所述第一模型进行训练，得到用于回环检测验证的第二模型；将待验证数据帧输入所述第二模型，得到与视觉同步定位与地图构建(slam)系统关键帧数据库中的关键帧相似度高于第一阈值的数据帧；提取所述数据帧，将所述数据帧作为回环候选帧进行相似变换解算，得到回环关键帧。
Description
技术领域
本发明涉及机器人技术领域，尤其涉及一种视觉同步定位与地图构建(slam，simultaneous localization and mapping)的回环检测方法及装置。
背景技术
近来年，智能机器人技术在世界范围内得到了广泛的关注。从室内的移动机器人，到野外的自动驾驶汽车、空中的无人机、水下环境的探测机器人，人们致力于把机器人用于各种不同的实际场景，slam作为研究热点之一，一方面是因为视觉直观且重要；另一方面，CPU、GPU处理速度的增长也使得许多以前被认为无法实时化的视觉算法，可以以10Hz以上的速度运行；同时，硬件技术水平的提高也促进了slam的发展。
slam技术是机器人技术研究中的基础性的研究难点，没有准确的定位与地图，扫地机就无法在房间自主地移动，只能随机乱碰；家用机器人就无法按照指令准确到达某个房间。在这些应用领域中，利用slam技术可向应用层提供空间定位的信息，并完成地图的构建或场景的生成。
slam通常都有一个基本框架。如图1所示，在slam基本框架中，一个slam系统分为前端视觉里程计(VO，Visual Odometry)、后端优化、建图、回环检测四个模块。其中回环检测，又称闭环检测(Loop closure detection)，是指机器人识别曾到达场景的能力。回环检测实质上是一种检测数据相似性的算法，如果回环检测成功，可以显著地减小累积误差。对于视觉slam，多数系统采用传统模式识别的方法或目前较为成熟的词袋模型(BoW，Bag ofWords)进行回环检测。采用传统模式识别的方法进行回环检测时，将回环检测建构成一个分类问题，训练分类器进行分类。采用词袋模型进行回环检测时，将图像中的SIFT，SURF等视觉特征聚类，然后建立词典，进而寻找每个图中含有哪些“单词”。
当前实时slam领域里主要采用基于词汇树的词袋模型进行回环检测。该方法需要采用大量的实时slam运行类似环境的训练图片来进行离线视觉词典训练，对训练图片数量的要求比较高。而对于一般的环境大小固定的室内环境而言，采集足够数量的当前环境的训练图片较为困难。
此外，如图2所示，使用词袋模型进行回环检测时，由于基于视觉词汇进行图像匹配的方法比较模糊、粗糙，通常需要进行匹配相似度得分、匹配词汇树个数等多轮阈值以及逻辑上的判断多个步骤，逻辑复杂，阈值个数多，与使用场景相适应的参数也较难调节。
发明内容
有鉴于此，本发明实施例提供一种slam回环检测方法及装置，以解决使用词袋模型进行slam回环检测时难以采集大量场景图片以及较难调节系统参数的问题。
为达到上述目的，本发明实施例的技术方案是这样实现的：
本发明实施例提供一种视觉同步定位与地图构建的回环检测方法，所述方法包括：
获取基于深度学习的卷积策略训练后建模得到的第一模型；
获取与当前场景匹配的相似场景，对所述相似场景进行图片采集，得到第一图片数据集；
根据所述基于深度学习的卷积策略和所述第一图片数据集对所述第一模型进行训练，得到用于回环检测验证的第二模型；
将待验证数据帧输入所述第二模型，得到与视觉同步定位与地图构建slam系统关键帧数据库中的关键帧相似度高于第一阈值的数据帧；
提取所述数据帧，将所述数据帧作为回环候选帧进行相似变换解算，得到回环关键帧。
上述方案中，所述根据所述基于深度学习的卷积策略和所述第一图片数据集对所述第一模型进行训练，得到用于回环检测验证的第二模型，包括：
采用siamese网络的双分支结构，在两个分支中同时根据所述基于深度学习的卷积策略和所述第一图片数据集对所述第一模型进行联合训练，得到用于回环检测验证的第二模型。
上述方案中，所述将待验证数据帧输入所述第二模型，得到与关键帧数据库中的关键帧相似度高于第一阈值的数据帧，包括：
对原有的回环检测模块采用所述第二模型进行更新；
将待验证数据帧输入所述第二模型，根据所述基于深度学习的卷积策略计算所述待验证数据帧和关键帧数据库中的关键帧的相似度；
得到与所述关键帧数据库中的关键帧相似度高于第一阈值的数据帧。
上述方案中，所述获取基于深度学习的卷积策略训练后建模得到的第一模型，包括：
从服务器下载基于图片数据库和所述卷积策略得到的第一模型。
上述方案中，所述获取与当前场景匹配的相似场景，对所述相似场景进行图片采集，得到第一图片数据集，包括：
获取与当前场景匹配的相似场景，对所述相似场景进行图片采集得到相似场景图片；
根据所述相似场景图片按照是否属于同一场景进行判断，将属于同一场景的图片对归为一对正样本，将属于不同场景的图片对归为一对负样本；
根据所述正样本和所述负样本获取所述第一图片数据集。
上述方案中，所述根据所述基于深度学习的卷积策略和所述第一图片数据集对所述第一模型进行训练，得到用于回环检测验证的第二模型之前，所述方法包括：
生成所述第一图片数据集中的图片对应的文件路径描述文件；
根据所述文件路径描述文件获取所述第一图片数据集中的图片，将所述第一图片数据集中的图片进行格式转化。
本发明实施例还提供一种视觉同步定位与地图构建的回环检测装置，所述装置包括：
第一获取单元，用于获取基于深度学习的卷积策略训练后建模得到的第一模型；
第二获取单元，用于获取与当前场景匹配的相似场景，对所述相似场景进行图片采集，得到第一图片数据集；
训练单元，用于根据所述基于深度学习的卷积策略和所述第一图片数据集对所述第一模型进行训练，得到用于回环检测验证的第二模型；
输入单元，用于将待验证数据帧输入所述第二模型，得到与视觉同步定位与地图构建slam系统关键帧数据库中的关键帧相似度高于第一阈值的数据帧；
解算单元，用于提取所述数据帧，将所述数据帧作为回环候选帧进行相似变换解算，得到回环关键帧。
上述方案中，所述训练单元具体用于：
采用siamese网络的双分支结构，在两个分支中同时根据所述基于深度学习的卷积策略和所述第一图片数据集对所述第一模型进行联合训练，得到用于回环检测验证的第二模型。
上述方案中，所述输入单元具体用于：
对原有的回环检测模块用所述第二模型进行更新；
将待验证数据帧输入所述第二模型，根据所述基于深度学习的卷积策略计算所述待验证数据帧和关键帧数据库中的关键帧的相似度；
得到与所述关键帧数据库中的关键帧相似度高于第一阈值的数据帧。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述技术方案中的的步骤。
本发明实施例提供的slam回环检测方法及装置，获取基于深度学习的卷积策略训练后建模得到的第一模型后，结合获取的第一图片数据集得到用于回环检测验证的第二模型；再将待验证数据帧输入所述第二模型，得到与slam系统关键帧数据库中的关键帧相似度高于第一阈值的数据帧；最后对该数据帧进行相似变换解算，得到回环关键帧。在进行回环检测时，本发明实施例仅需要一个阈值，相比较现有技术，特征提取能力较为强大，实施步骤比较简单，效率较高，避免了使用词袋模型进行slam回环检测时难以采集大量场景图片以及较难调节系统参数等问题的出现。
附图说明
图1为现有技术中slam回环检测的示意图；
图2为现有技术中slam回环检测方法的实现流程图；
图3为本发明实施例中slam回环检测的示意图；
图4为本发明实施例中slam回环检测方法的实现流程图；
图5为本发明实施例中siamese网络的组成结构示意图；
图6为本发明实施例中slam回环检测方法的实施流程示意图；
图7为本发明实施例中slam回环检测之前的地图的示意图；
图8为本发明实施例中slam回环检测优化之后的地图的示意图；
图9为本发明实施例slam回环检测装置的组成结构示意图。
具体实施方式
深度学习的概念由Hinton等人于2006年提出。Hinton基于深度置信网络(DBN，Deep Belief Net)提出的非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来了希望，Hinton还提出了多层自动编码器深层结构。此外，Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。2012年Alex Krizhevsky提出深度卷积网络后，深度学习技术凭借其强大的特征提取能力已经在包括目标识别、目标检测、目标分割、目标跟踪等各个计算机视觉领域显示出压倒众多传统视觉算法的优势。
基于深度学习技术的以上特点，本发明实施例提出了一种slam回环检测方法及装置。
如图3所示，基于imageNet上经过预训练后的模型文件、slam场景图片数据集以及siamese网络进行训练，得到回环检测验证模型，即可以将回环检测验证模型应用到slam回环检测中。
为了能够更加详尽地了解本发明的特点与技术内容，下面结合附图对本发明的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明。
图4为本发明实施例slam回环检测方法的实现流程图。如图4所示，本发明实施例提供的slam回环检测方法包括：
步骤401，获取基于深度学习的卷积策略训练后建模得到的第一模型。
步骤402，获取与当前场景匹配的相似场景，对相似场景进行图片采集，得到第一图片数据集。
步骤403，根据基于深度学习的卷积策略和第一图片数据集对第一模型进行训练，得到用于回环检测验证的第二模型。
步骤404，将待验证数据帧输入第二模型，得到与slam系统关键帧数据库中的关键帧相似度高于第一阈值的数据帧。
步骤405，提取数据帧，将数据帧作为回环候选帧进行相似变换解算，得到回环关键帧。
采用本发明实施例提供的slam回环检测方法，使用特征提取能力强大的深度学习技术替代传统slam系统中的词袋模型回环检测技术，可较准确地通过简单相似度比对的方法得到相似场景的回环候选帧图片，而不需要进行多轮阈值设置以及判断，使用起来比较简单，不易出错，充分体现了深度学习的端到端的技术优势。相比较如图2所示的传统的词袋模型回环检测方法，由于传统方法存在流程十分繁琐、涉及多个参数阈值的设置、难以把控最佳的阈值设置值等问题，本发明实施例提供的slam回环检测方法优势明显。
应用深度学习网络的特征迁移技术，直接在网上下载预训练后的模型文件对图片数据初训练后，只需要相对较少的数据就可以得到具有较好的特征提取能力的回环检测验证模型。
本发明实施例提供给的slam回环检测方法实施时，在步骤401之前，首先需要获取基于深度学习的卷积策略。其中，基于深度学习的卷积策略即卷积网络结构为LeNet、AlexNet、GoogLeNet、VGGNet等网络结构中的一种。以上网络结构都是深度学习的经典模型。在实际应用中，基于深度学习的卷积策略即卷积网络结构的种类并不局限于以上几种。
获取基于深度学习的卷积策略后，在步骤401中，从caffe zoo等网站的服务器上下载基于图片数据库和卷积策略得到的第一模型。第一模型为基于深度学习的卷积策略使用图片数据库imageNet预训练后的模型文件。其中，ImageNet是美国斯坦福的计算机科学家模拟人类的识别系统建立的，是目前世界上最大的图像识别数据库。
回环检测验证模型根据基于深度学习的卷积策略及第一模型在步骤403中利用训练数据集训练得到。
具体地，在步骤403中，在caffe环境下采用siamese网络的双分支结构，在两个分支中同时根据基于深度学习的卷积策略和第一图片数据集对第一模型进行联合训练，得到用于回环检测验证的第二模型。
siamese网络结构是深度卷积网络中的一种双流网络结构，该网络非常适合于用来训练如人脸匹配等图像匹配验证场景下的数据，例如，google的facenet就采用了类似siamese的网络结构。
如图5所示，siamese网络结构使用成对的数据进行训练，在数据集有限的情景中，可以充分组合数据集以得到多样性丰富的训练数据对，即使在数量较少的图片数据集上也可以得到数量较多的训练图片数据对。
因此，在本发明实施例中训练深度模型的时候使用siamese结构，可以充分利用有限数据集构造更多更丰富的训练数据对。
其中，步骤403中的训练数据集为第一图片数据集，第一图片数据集在步骤402中获取。在步骤402中，获取相似场景的第一图片数据集时，首先获取相似场景图片；再将相似场景图片按照是否属于同一场景进行整理，其中，以属于同一场景的图片对为一对正样本，以属于不同场景的图片对为一对负样本；此时，应注意正样本里应包含不同角度、尺度以及光线变化的情况。将相似场景图片进行整理后，根据整理后的相似场景图片获取第一图片数据集。
其中，获取相似场景图片数据时，在实际需要使用的相似场景下拍摄多张场景图片，这些场景图片尽量包含各个角度、尺度以及光线条件下的图片，为了考虑到应该能够充分代表后期实际使用的场景，应该多找一些类似场景进行拍摄以获取更具有代表性的图片数据集。
在步骤402中获取第一图片数据集后，需要将第一图片数据集中的数据格式转换为第一格式，其转换过程为：首先生成第一图片数据集中的图片对应的文件路径描述文件；再根据文件路径描述文件获取第一图片数据集中的图片，将第一图片数据集中的图片进行格式转化。
在步骤404中，提取与关键帧数据库中的关键帧相似度较高的当前帧时，首先对原有的回环检测模块用第二模型进行更新；再将待验证数据帧输入第二模型，根据基于深度学习的卷积策略计算待验证数据帧和关键帧数据库中的关键帧的相似度；之后，得到与关键帧数据库中的关键帧相似度高于第一阈值的数据帧。
在步骤405中，将深度卷积网络计算得到的匹配度较高的少数几帧作为回环候选帧进行相似变换(sim3)解算从而得到最终的回环关键帧。
图6为一种slam回环检测方法的实施流程的示意图。如图6所示，进行slam回环检测的实施步骤如下：
步骤601，选择VGGNet作为第一深度卷积网络结构，在caffe zoo上下载VGGNet的网络结构文件(prototxt)。
步骤602，在caffe model zoo或者VGGNet研究组主页下载VGGNet网络结构在imageNet上预训练后的caffemodel模型文件。
步骤603，确定slam需要运行的实际场景为家庭场景，选择一些比较常见的家庭环境拍摄各个角度、尺度以及不同光线条件下的图片。为了使拍摄的图片能够充分代表后期实际使用的场景，应该多找一些类似场景进行拍摄以获取更具有代表性的图片数据集。
步骤604，将步骤603拍摄的图片按照是否属于同一场景整理训练图片，以代表同一场景的图片对为一对正样本，代表不同场景的图片对为一对负样本，最后得到训练图片。其中，代表同一场景的图片绝大部分区域属于同一个场景的情况，只是存在因为角度不同或者镜头远近不同造成的图像差别，负样本为明显不是同一地方的不同场景的图片。另外，为了增加训练中的对抗样本数量，可以适当增加一些看上去外观比较相似，但是实际不是同一个场景的图片对。与拍摄图片时的要求类似，最后得到的训练图片对最好能包含各种光线条件下的场景图片。
步骤605，制作训练图片对的文件路径描述文件。
步骤606，利用上述文件路径描述文件，将步骤604中整理后的训练图片数据使用caffe自带的格式转化工具转化为lmdb格式的训练数据。
步骤607，编写caffe的solver文件，设置训练模型的迭代优化参数，指定步骤601和步骤602下载的网络结构文件以及网络模型文件作为初始化条件，利用指定步骤606生成的训练数据进行训练，得到最终需要的回环检测验证模型。
步骤608，将slam系统里将原有的由多次阈值判断进行词袋模型回环检测的模块去掉，更改为利用步骤607训练得到的深度卷积网络模型进行相似图片计算，得到较少的回环候选帧。
步骤609，将深度卷积网络计算得到的匹配度较高的少数几帧作为回环候选帧进行相似变换(sim3)解算从而得到最终的回环关键帧。
如图7和图8所示的分别为本发明实施例中回环检测前和回环检测后的地图对比示意图。其中，如图7所示的地图中，在回环检测前，地图中的建筑物的边界比较模糊，且环形走廊呈现断开的状态。而在如图8所示的经过回环检测优化后的地图中，由于已经经过回环检测的优化，地图中的建筑物的边界比较清楚，环形走廊呈现闭合的状态。
本发明实施例提供的slam回环检测方法，获取基于深度学习的卷积策略训练后建模得到的第一模型后，结合获取的第一图片数据集得到用于回环检测验证的第二模型；再将待验证数据帧输入第二模型，得到与slam系统关键帧数据库中的关键帧相似度高于第一阈值的数据帧；最后对该数据帧进行相似变换解算，得到回环关键帧。在进行回环检测时，本发明实施例仅需要一个阈值，相比较现有技术，特征提取能力较为强大，实施步骤比较简单，效率较高，避免了使用词袋模型进行slam回环检测时难以采集大量场景图片以及较难调节系统参数等问题的出现。
如图9所示，本发明实施例提供的slam回环检测装置，包括：
第一获取单元901，用于获取基于深度学习的卷积策略训练后建模得到的第一模型。
第二获取单元902，用于获取与当前场景匹配的相似场景，对相似场景进行图片采集，得到第一图片数据集。
训练单元903，用于根据基于深度学习的卷积策略和第一图片数据集对第一模型进行训练，得到用于回环检测验证的第二模型。
输入单元904，用于将待验证数据帧输入第二模型，得到与slam系统关键帧数据库中的关键帧相似度高于第一阈值的数据帧。
解算单元905，用于提取数据帧，将数据帧作为回环候选帧进行相似变换解算，得到回环关键帧。
采用本发明实施例提供的slam回环检测装置，使用特征提取能力强大的深度学习技术替代传统slam系统中的词袋模型回环检测技术，可较准确地通过简单相似度比对的方法得到相似场景的回环候选帧图片，而不需要进行多轮阈值设置以及判断，使用起来比较简单，不易出错，充分体现了深度学习的端到端的技术优势。相比较如图2所示的传统的词袋模型回环检测过程，由于传统检测过程流程十分繁琐、涉及多个参数阈值的设置、难以把控最佳的阈值设置值等问题，本发明实施例提供的slam回环检测装置优势明显。
应用深度学习网络的特征迁移技术，直接在网上进行下载预训练后的模型对图片数据初训练后，只需要相对较少的数据就可以得到具有较好的特征提取能力的回环检测验证模型。
本发明实施例提供的slam回环检测装置的第一获取单元901获取第一模型前，需要获取基于深度学习的卷积策略。其中，基于深度学习的卷积策略即卷积网络结构为LeNet、AlexNet、GoogLeNet、VGGNet等网络结构中的一种。以上网络结构都是深度学习的经典模型。在实际应用中，基于深度学习的卷积策略即卷积网络结构的种类并不局限于以上几种。
获取基于深度学习的卷积策略后，第一获取单元901从caffe zoo等网站的服务器上下载基于图片数据库和卷积策略得到的第一模型。第一模型为基于深度学习的卷积策略使用图片数据库imageNet预训练后的模型文件。
回环检测验证模型由训练单元903根据基于深度学习的卷积策略及第一模型利用训练数据集训练得到。
具体地，在caffe环境下，训练单元903采用siamese网络的双分支结构，在两个分支中同时根据基于深度学习的卷积策略和第一图片数据集对第一模型进行联合训练，得到用于回环检测验证的第二模型。
siamese网络结构是深度卷积网络中的一种双流网络结构，该网络非常适合于用来训练如人脸匹配等图像匹配验证场景下的数据，例如，google的facenet就采用了类似siamese的网络结构。
如图5所示，siamese网络结构使用成对的数据进行训练，在数据集有限的情景中，可以充分组合数据集以得到多样性丰富的训练数据对，即使在数量较少的图片数据集上也可以得到数量较多的训练图片数据对。
因此，在本发明实施例中训练深度模型的时候使用siamese结构，可以充分利用有限数据集构造更多更丰富的训练数据对。
其中，训练单元903使用的训练数据集为第一图片数据集，第一图片数据集由第二获取单元902获取。第二获取单元902获取相似场景的第一图片数据集时，首先获取相似场景图片；再将相似场景图片按照是否属于同一场景进行整理，其中，以属于同一场景的图片对为一对正样本，以属于不同场景的图片对为一对负样本；此时，应注意正样本里应包含不同角度、尺度以及光线变化的情况。将相似场景图片进行整理后，根据整理后的相似场景图片获取第一图片数据集。
其中，获取相似场景图片数据时，在实际需要使用的相似场景下拍摄多张场景图片，这些场景图片尽量包含各个角度、尺度以及光线条件下的图片，为了考虑到应该能够充分代表后期实际使用的场景，应该多找一些类似场景进行拍摄以获取更具有代表性的图片数据集。
本发明实施例提供的slam回环检测装置还包括格式转化单元，在第二获取单元902获取第一图片数据集后，训练单元903需要将第一图片数据集中的数据格式转换为第一格式，其转换过程为：首先生成第一图片数据集中的图片对应的文件路径描述文件，再根据文件路径描述文件获取第一图片数据集中的图片，将第一图片数据集中的图片进行格式转化。
输入单元904在提取与关键帧数据库中的关键帧相似度较高的当前帧时，首先对原有的回环检测模块用第二模型进行更新，再将待验证数据帧输入第二模型，根据基于深度学习的卷积策略计算待验证数据帧和关键帧数据库中的关键帧的相似度，然后得到与关键帧数据库中的关键帧相似度高于第一阈值的数据帧。
解算单元905将深度卷积网络计算得到的匹配度较高的少数几帧作为回环候选帧进行相似变换(sim3)解算从而得到最终的回环关键帧。
本发明实施例提供的slam回环检测装置，获取基于深度学习的卷积策略训练后建模得到的第一模型后，结合获取的第一图片数据集得到用于回环检测验证的第二模型；再将待验证数据帧输入第二模型，得到与slam系统关键帧数据库中的关键帧相似度高于第一阈值的数据帧；最后对该数据帧进行相似变换解算，得到回环关键帧。在进行回环检测时，本发明实施例仅需要一个阈值，相比较现有技术，特征提取能力较为强大，实施步骤比较简单，效率较高，避免了使用词袋模型进行slam回环检测时难以采集大量场景图片以及较难调节系统参数等问题的出现。
在实际应用中，第一获取单元901、第二获取单元902、转化单元、训练单元903、输入单元904以及解算单元905均可由位于slam回环检测装置上的中央处理器(CPU，CentralProcessing Unit)、微处理器(MPU，Micro Processor Unit)、数字信号处理器(DSP，Digital Signal Processor)、或现场可编程门阵列(FPGA，Field Programmable GateArray)等实现。
在示例性实施例中，本发明实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器，上述计算机程序可由slam回环检测装置的处理器执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
基于此，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器运行时，执行：
获取基于深度学习的卷积策略训练后建模得到的第一模型；
获取与当前场景匹配的相似场景，对相似场景进行图片采集，得到第一图片数据集；
根据基于深度学习的卷积策略和第一图片数据集对第一模型进行训练，得到用于回环检测验证的第二模型；
将待验证数据帧输入第二模型，得到与视觉同步定位与地图构建slam系统关键帧数据库中的关键帧相似度高于第一阈值的数据帧；
提取数据帧，将数据帧作为回环候选帧进行相似变换解算，得到回环关键帧。
计算机程序被处理器运行时，还执行：
采用siamese网络的双分支结构，在两个分支中同时根据基于深度学习的卷积策略和第一图片数据集对第一模型进行联合训练，得到用于回环检测验证的第二模型。
计算机程序被处理器运行时，还执行：
对原有的回环检测模块采用第二模型进行更新；
将待验证数据帧输入第二模型，根据基于深度学习的卷积策略计算待验证数据帧和关键帧数据库中的关键帧的相似度；
得到与关键帧数据库中的关键帧相似度高于第一阈值的数据帧。
计算机程序被处理器运行时，还执行：
从服务器下载基于图片数据库和卷积策略得到的第一模型。
计算机程序被处理器运行时，还执行：
获取与当前场景匹配的相似场景，对相似场景进行图片采集得到相似场景图片；
根据相似场景图片按照是否属于同一场景进行判断，将属于同一场景的图片对归为一对正样本，将属于不同场景的图片对归为一对负样本；
根据正样本和负样本获取第一图片数据集。
计算机程序被处理器运行时，还执行：
生成第一图片数据集中的图片对应的文件路径描述文件；
根据文件路径描述文件获取第一图片数据集中的图片，将第一图片数据集中的图片进行格式转化。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
Claims (10)
1.一种视觉同步定位与地图构建的回环检测方法，其特征在于，所述方法包括：
获取基于深度学习的卷积策略训练后建模得到的第一模型；
获取与当前场景匹配的相似场景，对所述相似场景进行图片采集，得到第一图片数据集；
根据所述基于深度学习的卷积策略和所述第一图片数据集对所述第一模型进行训练，得到用于回环检测验证的第二模型；
将待验证数据帧输入所述第二模型，得到与视觉同步定位与地图构建slam系统关键帧数据库中的关键帧相似度高于第一阈值的数据帧；
提取所述数据帧，将所述数据帧作为回环候选帧进行相似变换解算，得到回环关键帧。
2.根据权利要求1所述的方法，其特征在于，所述根据所述基于深度学习的卷积策略和所述第一图片数据集对所述第一模型进行训练，得到用于回环检测验证的第二模型，包括：
采用siamese网络的双分支结构，在两个分支中同时根据所述基于深度学习的卷积策略和所述第一图片数据集对所述第一模型进行联合训练，得到用于回环检测验证的第二模型。
3.根据权利要求2所述的方法，其特征在于，所述将待验证数据帧输入所述第二模型，得到与关键帧数据库中的关键帧相似度高于第一阈值的数据帧，包括：
对原有的回环检测模块采用所述第二模型进行更新；
将待验证数据帧输入所述第二模型，根据所述基于深度学习的卷积策略计算所述待验证数据帧和关键帧数据库中的关键帧的相似度；
得到与所述关键帧数据库中的关键帧相似度高于第一阈值的数据帧。
4.根据权利要求3所述的方法，其特征在于，所述获取基于深度学习的卷积策略训练后建模得到的第一模型，包括：
从服务器下载基于图片数据库和所述卷积策略得到的第一模型。
5.根据权利要求4所述的方法，其特征在于，所述获取与当前场景匹配的相似场景，对所述相似场景进行图片采集，得到第一图片数据集，包括：
获取与当前场景匹配的相似场景，对所述相似场景进行图片采集得到相似场景图片；
根据所述相似场景图片按照是否属于同一场景进行判断，将属于同一场景的图片对归为一对正样本，将属于不同场景的图片对归为一对负样本；
根据所述正样本和所述负样本获取所述第一图片数据集。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述基于深度学习的卷积策略和所述第一图片数据集对所述第一模型进行训练，得到用于回环检测验证的第二模型之前，所述方法包括：
生成所述第一图片数据集中的图片对应的文件路径描述文件；
根据所述文件路径描述文件获取所述第一图片数据集中的图片，将所述第一图片数据集中的图片进行格式转化。
7.一种视觉同步定位与地图构建的回环检测装置，其特征在于，所述装置包括：
第一获取单元，用于获取基于深度学习的卷积策略训练后建模得到的第一模型；
第二获取单元，用于获取与当前场景匹配的相似场景，对所述相似场景进行图片采集，得到第一图片数据集；
训练单元，用于根据所述基于深度学习的卷积策略和所述第一图片数据集对所述第一模型进行训练，得到用于回环检测验证的第二模型；
输入单元，用于将待验证数据帧输入所述第二模型，得到与视觉同步定位与地图构建slam系统关键帧数据库中的关键帧相似度高于第一阈值的数据帧；
解算单元，用于提取所述数据帧，将所述数据帧作为回环候选帧进行相似变换解算，得到回环关键帧。
8.根据权利要求7所述的装置，其特征在于，所述训练单元具体用于：
采用siamese网络的双分支结构，在两个分支中同时根据所述基于深度学习的卷积策略和所述第一图片数据集对所述第一模型进行联合训练，得到用于回环检测验证的第二模型。
9.根据权利要求8所述的装置，其特征在于，所述输入单元具体用于：
对原有的回环检测模块用所述第二模型进行更新；
将待验证数据帧输入所述第二模型，根据所述基于深度学习的卷积策略计算所述待验证数据帧和关键帧数据库中的关键帧的相似度；
得到与所述关键帧数据库中的关键帧相似度高于第一阈值的数据帧。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710310793.0A CN108805149A (zh) | 2017-05-05 | 2017-05-05 | 一种视觉同步定位与地图构建的回环检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710310793.0A CN108805149A (zh) | 2017-05-05 | 2017-05-05 | 一种视觉同步定位与地图构建的回环检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108805149A true CN108805149A (zh) | 2018-11-13 |
Family
ID=64054714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710310793.0A Pending CN108805149A (zh) | 2017-05-05 | 2017-05-05 | 一种视觉同步定位与地图构建的回环检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108805149A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685214A (zh) * | 2018-12-29 | 2019-04-26 | 百度在线网络技术（北京）有限公司 | 一种驾驶模型训练方法、装置和终端设备 |
| CN109800692A (zh) * | 2019-01-07 | 2019-05-24 | 重庆邮电大学 | 一种基于预训练卷积神经网络的视觉slam回环检测方法 |
| CN110136175A (zh) * | 2019-05-21 | 2019-08-16 | 杭州电子科技大学 | 一种基于神经网络的室内典型场景匹配定位方法 |
| CN110531618A (zh) * | 2019-08-27 | 2019-12-03 | 河海大学 | 基于有效关键帧的闭环检测机器人自定位误差消除方法 |
| CN111126172A (zh) * | 2019-12-04 | 2020-05-08 | 江西洪都航空工业集团有限责任公司 | 一种基于视觉的草场自主建图方法 |
| CN111241943A (zh) * | 2019-12-31 | 2020-06-05 | 浙江大学 | 自动驾驶场景下基于背景目标检测与三元组损失的场景识别与回环检测方法 |
| CN111238524A (zh) * | 2018-11-28 | 2020-06-05 | 驭势科技（北京）有限公司 | 视觉定位方法以及装置 |
| CN111882607A (zh) * | 2020-07-14 | 2020-11-03 | 中国人民解放军军事科学院国防科技创新研究院 | 一种适用于增强现实应用的视觉惯导融合位姿估计方法 |
| CN112270384A (zh) * | 2020-11-19 | 2021-01-26 | 湖南国科微电子股份有限公司 | 一种回环检测方法、装置及电子设备和存储介质 |
| CN113670300A (zh) * | 2019-08-28 | 2021-11-19 | 爱笔（北京）智能科技有限公司 | 一种slam系统的回环检测方法及装置 |
-
2017
- 2017-05-05 CN CN201710310793.0A patent/CN108805149A/zh active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111238524A (zh) * | 2018-11-28 | 2020-06-05 | 驭势科技（北京）有限公司 | 视觉定位方法以及装置 |
| CN111238524B (zh) * | 2018-11-28 | 2021-12-14 | 驭势科技（北京）有限公司 | 视觉定位方法以及装置 |
| CN109685214A (zh) * | 2018-12-29 | 2019-04-26 | 百度在线网络技术（北京）有限公司 | 一种驾驶模型训练方法、装置和终端设备 |
| CN109800692A (zh) * | 2019-01-07 | 2019-05-24 | 重庆邮电大学 | 一种基于预训练卷积神经网络的视觉slam回环检测方法 |
| CN109800692B (zh) * | 2019-01-07 | 2022-12-27 | 重庆邮电大学 | 一种基于预训练卷积神经网络的视觉slam回环检测方法 |
| CN110136175A (zh) * | 2019-05-21 | 2019-08-16 | 杭州电子科技大学 | 一种基于神经网络的室内典型场景匹配定位方法 |
| CN110531618A (zh) * | 2019-08-27 | 2019-12-03 | 河海大学 | 基于有效关键帧的闭环检测机器人自定位误差消除方法 |
| CN113670300A (zh) * | 2019-08-28 | 2021-11-19 | 爱笔（北京）智能科技有限公司 | 一种slam系统的回环检测方法及装置 |
| CN111126172B (zh) * | 2019-12-04 | 2022-11-18 | 江西洪都航空工业集团有限责任公司 | 一种基于视觉的草场自主建图方法 |
| CN111126172A (zh) * | 2019-12-04 | 2020-05-08 | 江西洪都航空工业集团有限责任公司 | 一种基于视觉的草场自主建图方法 |
| CN111241943A (zh) * | 2019-12-31 | 2020-06-05 | 浙江大学 | 自动驾驶场景下基于背景目标检测与三元组损失的场景识别与回环检测方法 |
| CN111241943B (zh) * | 2019-12-31 | 2022-06-21 | 浙江大学 | 基于背景目标与三元组损失的场景识别与回环检测方法 |
| CN111882607A (zh) * | 2020-07-14 | 2020-11-03 | 中国人民解放军军事科学院国防科技创新研究院 | 一种适用于增强现实应用的视觉惯导融合位姿估计方法 |
| CN112270384A (zh) * | 2020-11-19 | 2021-01-26 | 湖南国科微电子股份有限公司 | 一种回环检测方法、装置及电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108805149A (zh) | 一种视觉同步定位与地图构建的回环检测方法及装置 | |
| Yin et al. | 3d lidar-based global localization using siamese neural network | |
| Liu et al. | 3DCNN-DQN-RNN: A deep reinforcement learning framework for semantic parsing of large-scale 3D point clouds | |
| Wang et al. | Omnidirectional cnn for visual place recognition and navigation | |
| Costea et al. | Creating roadmaps in aerial images with generative adversarial networks and smoothing-based optimization | |
| Mei et al. | Closing loops without places | |
| CN110210551A (zh) | 一种基于自适应主体敏感的视觉目标跟踪方法 | |
| CN109341703A (zh) | 一种全周期采用CNNs特征检测的视觉SLAM算法 | |
| CN110968734B (zh) | 一种基于深度度量学习的行人重识别方法及装置 | |
| Xia et al. | An evaluation of deep learning in loop closure detection for visual SLAM | |
| CN111105439B (zh) | 一种使用残差注意力机制网络的同步定位与建图方法 | |
| CN113076871A (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
| Xu et al. | A scene-adaptive descriptor for visual SLAM-based locating applications in built environments | |
| CN112949647A (zh) | 三维场景描述方法、装置、电子设备和存储介质 | |
| CN110110694A (zh) | 一种基于目标检测的视觉slam闭环检测方法 | |
| Alidoost et al. | Knowledge based 3D building model recognition using convolutional neural networks from LiDAR and aerial imageries | |
| CN109508686A (zh) | 一种基于层次化特征子空间学习的人体行为识别方法 | |
| Wang et al. | Study on the method of transmission line foreign body detection based on deep learning | |
| Jin et al. | Cvt-assd: convolutional vision-transformer based attentive single shot multibox detector | |
| CN113538218A (zh) | 基于位姿自监督对抗生成网络的弱配对图像风格迁移方法 | |
| Pham et al. | Pencilnet: Zero-shot sim-to-real transfer learning for robust gate perception in autonomous drone racing | |
| Zhu et al. | A novel simple visual tracking algorithm based on hashing and deep learning | |
| CN113762049B (zh) | 内容识别方法、装置、存储介质和终端设备 | |
| Gopal et al. | Tiny object detection: Comparative study using single stage CNN object detectors | |
| CN112329830B (zh) | 一种基于卷积神经网络和迁移学习的无源定位轨迹数据识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181113 |
|
| WD01 | Invention patent application deemed withdrawn after publication |