CN108986168B - 一种基于深度度量学习结合词袋树模型的机器人回环检测方法和装置 - Google Patents

Abstract

本发明公开一种基于深度度量学习结合词袋树模型的机器人回环检测方法和装置。该方法为：1)输入长时间的环境外观变化的场景视频流；2)采用深度度量学习框架训练并学习得到特征提取网络；3)利用特征提取网络从训练视频流图像中抽取特征；4)对得到的特征进行迭代聚类，建立词袋树模型；5)在实际机器人定位和导航过程中，输入机器人实时获取的视频流中的当前关键帧；6)利用特征提取网络提取当前关键帧的特征；7)将当前关键帧的特征添加到词袋树模型；8)利用词袋树模型搜索和匹配图像特征相近的图像帧，并进行相似性度量，判断机器人是否遇到回环。本发明能够实现机器人在动态环境中长时间定位和导航过程中的高效的回环检测。

Description

一种基于深度度量学习结合词袋树模型的机器人回环检测方 法和装置

技术领域

本发明属于机器人自主定位与导航和机器人视觉技术领域，具体涉及在机器人定位与导航过程中一种基于深度度量学习的回环检测方法和装置；通过基于深度度量学习训练有效的模型，采用词袋树模型存储和加速特征的匹配，能够准确快速地度量两个场景的相似度，进而判断是否发生回环。

背景技术

机器人自主定位和导航是一门交叉学科，近十几年来，机器人自主定位和导航以及机器人视觉已经有了很大的进步。尽管机器人视觉在特定的场景和数据库中已经达到高的精度，也有一部分的服务机器人走进生活，但是机器人视觉在机器人的自主导航与定位的应用也只在近几年才得以运用，在实现机器人自主视觉定位和导航的问题上还没有很好的解决，特别是机器人应对动态复杂场景和长时间的定位和导航方面仍然需要很大的努力。

目前，在动态复杂场景和长时间的定位和导航过程中，容易出现的问题一方面在于机器人的定位误差随时间的积累，一方面在于机器人快速运动旋转或者环境突变引起的定位丢失。高效准确的回环检测技术不仅可以辅助机器人的重定位，并且可以为定位系统的后端优化提供额外的约束，消除积累误差。基本的回环检测系统通过机器人在线采集的图像建立数据库，对每一张当前关键帧，在以往帧中查找匹配当前帧的相似帧作为回环候选。

现在常用的回环检测算法多提取图像的传统特征，如Scale-invariant featuretransform(SIFT)，ORiented Brief(ORB)等，受限于传统手工特征的缺陷，无法适应在长时间定位与导航过程中环境的变化，例如由于光照、天气等引起的环境外观变化。其中SIFT见文献“D.G.Lowe,Distinctive image features from scale-invariant keypoints,International Journal of Computer Vision,vol.60,no.2,pp.91–110,2004.”，ORB见文献“E.Rublee,V.Rabaud,K.Konolige,and G.Bradski,ORB:an efficient alternative toSIFT or SURF,in IEEE International Conference on Computer Vision(ICCV),Barcelona,Spain,November 2011,pp.2564–2571.”。而基于训练好的经典的卷积神经网络如AlexNet等，虽然能够克服环境外观变化，但提取深度特征耗时较多，无法满足移动机器人定位与导航实时性能的要求。其中AlexNet见文献“A.Krizhevsky,I.Sutskever,andG.E.Hinton.Imagenet classification with deep convolutional neural networks.InAdvances in neural information processing systems,pp.1097-1105.”。所以，既能够适应长时间导航中环境外观变化又可以满足实时性要求的回环检测方案非常有必要性。

发明内容

针对现有技术存在的技术问题，本发明的目的是提供一种基于深度度量学习与词袋树模型结合的机器人回环检测方法和装置，能够在光照、天气变化的环境中实现机器人的长时间定位和导航。

本发明采用的技术方案如下：

一种基于深度度量学习结合词袋树模型的机器人回环检测方法，包括以下步骤：

1)输入长时间的环境外观变化的场景视频流；

2)利用视频流中的图像，采用深度度量学习框架训练并学习得到特征提取网络；

3)利用步骤2)得到的特征提取网络，从训练视频流图像中抽取特征；

4)对得到的特征进行迭代聚类，建立词袋树模型；

5)在实际机器人定位和导航过程中，输入机器人实时获取的视频流中的当前关键帧；

6)利用步骤2)得到的特征提取网络，提取当前关键帧的特征；

7)将步骤6)中得到的当前关键帧的特征添加到词袋树模型；

8)利用词袋树模型搜索和匹配图像特征相近的图像帧，并进行相似性度量，判断机器人是否遇到回环。

进一步地，步骤1)所述场景视频流，室内或室外场景都可以，室外场景更容易出现环境条件的变化。

进一步地，步骤2)在训练过程中联合特征提取与相似性度量，通过相似性值计算网络损失值。

进一步地，在网络训练过程中将所述网络损失值迭代降低到最小。

进一步地，步骤4)对词袋树模型中的每个特征，保存其正向索引和反向索引。

进一步地，所述正向索引中包含每一帧图像的特征以及该特征所在树的父节点，所述反向索引存储每一个特征所在的图像的序号以及在该图像中所占的比重。

进一步地，步骤7)中利用机器人实际工作过程中不断得到的新关键帧对步骤4)得到的初始词袋树进行不断更新。

进一步地，在更新过程中，在词袋树模型中添加新的节点，包括正向索引和反向索引。

进一步地，步骤8)中，在所述搜索和匹配过程中，通过反向索引快速定位到所需要比较的相似图像，通过正向索引快速检查图像中的特征。

一种基于深度度量学习结合词袋树模型的机器人回环检测装置，其包括：

特征提取网络训练模块，负责利用输入的长时间的环境外观变化的场景视频流中的图像，采用深度度量学习框架训练并学习得到特征提取网络；

训练视频特征抽取模块，负责利用特征提取网络从训练视频流图像中抽取特征；

词袋树模型建立模块，负责对得到的特征进行迭代聚类，建立词袋树模型；

实时视频特征抽取模块，负责在实际机器人定位和导航过程中，输入机器人实时获取的视频流中的当前关键帧，利用特征提取网络提取当前关键帧的特征，并添加到词袋树模型；

回环检测模块，负责利用词袋树模型搜索和匹配图像特征相近的图像帧，并进行相似性度量，判断机器人是否遇到回环。

本发明使用深度度量学习联合训练一个经过设计的简洁的卷积神经网络和相似性度量算法，使提取特征的卷积神经网络参数更加贴合相似性度量的需要，去除冗余。利用训练好的卷积神经网络高效地将图片转化为特征向量，进一步存储在词袋树模型的树结构中，从而加速特征的匹配和相似性度量，最后实现机器人在环境外观变化的情况下保证高效准确的回环检测，实现机器人长时间的自主定位和导航。本发明避免了使用传统特征并解决了提取深度学习特征算法速度的问题，弥补了现有的特征提取算子的缺点。

本发明能够利用深度学习针对性的训练对光照和天气变换鲁棒的图像特征提取网络，并且提高深度学习方法的特征提取和匹配效率，实现机器人在室外动态环境中长时间定位和导航过程中的高效的回环检测。

附图说明

图1.基于深度度量学习的特征提取网络训练流程图。

图2.基于DBoW的词袋树模型示意图。

图3.基于深度度量学习结合词袋树模型的回环检测流程图。

图4.采用本发明方法的回环检测效果示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步说明。

1.基于深度度量学习的特征提取网络训练

深度度量学习思想是将用于深度特征提取的卷积神经网络与相似性度量方法在一个框架中统一训练。为了满足整个系统的实时性要求，采用简洁的卷积神经网络，即通过减少卷积层数和卷积核数量以达到实时提取图像特征。在与相似性度量的联合优化过程中，使得图像特征的提取更加贴合相似性度量的需求，最终得到一个高效的特征提取网络(也可称为特征提取器)。在迭代优化的过程中，相似样本通过特征提取、相似性度量得到的相似性接近于1，而非相似性样本之间的相似性接近于-1。

本发明的基于深度度量学习是基于深度度量学习的训练方式建立一个高效的并且对光照等环境变换鲁棒的场景特征提取网络，以得到不同场景图片的特征。深度度量学习的具体训练流程如图1所示，包括以下步骤：

a)输入一个三元组图像，包括两张相似场景图片I+，I和一张不同的场景图I-；

b)通过简洁的卷积神经网络提取三张场景图像的对应的深度学习特征F+，F和F-；

c)利用相似性度量算法和图像的特征分别计算相似性样本间和非相似性样本间的相似性值S+和S-；

d)通过损失函数计算网络的损失Loss；

e)利用梯度下降法优化网络参数；

f)重复上述过程，对整个网络进行迭代优化，直到网络的损失Loss值下降到稳定在某个值附近，网络训练完成。

2.基于DBoW的词袋树模型建立

DBoW(参考文献：Galvez-López D,Tardos J D.Bags of Binary Words for FastPlace Recognition in Image Sequences[J].IEEE Transactions on Robotics,2012,28(5):1188-1197.)将图像特征进行结构化描述。DBoW的思想是将特征提取得到的图像特征离散为视觉单词，并用树的结构存储视觉单词，构成视觉特征词典，加快特征的匹配和相似图像的检索。将当前图像的特征与视觉词典中的视觉单词匹配，再通过计算视觉单词间的距离计算图像的相似性，从而完成识别、图像分类、检索等任务。

本发明的基于DBoW的词袋树模型是基于DBoW的原理建立用于存储图像特征的树形结构，以减少当前帧与以往帧之间的匹配时间，加快相似帧的检索和相似性度量，从而高效地确定相似候选帧。基于DBoW的词袋树模型的具体构建过程包括以下步骤：

a)利用训练完成的卷积神经网络离线提取训练图像的特征；

b)将提取的深度学习特征用k-means++算法聚类，将特征空间划分为K个分支；

c)对于每个分支的特征空间，继续利用k-means++算法聚类，分为更加细致的子分支；

d)达到设定的树的深度停止继续分支，完成将训练集的深度学习特征建立成树形结构。

图2为词袋树模型的示意图，Node表示树中的节点，Feature表示节点下存储的特征的值，每个树节点还分别存储正向索引Direct index image和反向索引Inverse indexword，正向索引用来记录每张处理过的图像涉及的节点和对应的特征，反向索引中V＝0.79表示该节点特征在每张对应图像中所占的比重。

3.本发明方法的整体流程

参考图3，本发明方法的流程包括模型训练流程和回环检测流程，具体包括以下步骤：

1)输入训练视频

本发明是针对长时间动态场景的应用，室外场景的外观随着光照或天气的变化而发生改变，因此在训练特征提取网络和用于特征匹配的词袋树模型时，训练集的样本要充分考虑光照天气变化下同一场景和不同场景的对照训练，训练视频获取时要保证环境的真实性和较大的时间跨度。

2)搭建深度度量学习框架，训练特征提取网络

首先利用输入的训练视频中的图像构成三元组，其中相似图片对由同一地点的附近的图像帧构成，包括同一时刻、不同时刻以及不同天气状况下的样本，不相似的图像则由地理位置相距较远的图像帧构成。将三元组输入深度度量学习框架中，训练直到网络Loss下降到一个稳定的值附近，停止训练，得到对光照天气变化鲁棒的深度学习特征提取网络。

3)对训练集提取特征向量，基于DBoW建立词袋树模型

利用训练好的特征提取网络，对输入的训练视频中的图像提取特征向量，然后将提取的特征通过k-means++算法进行聚类，然后进一步对子空间进行迭代聚类，直到达到设定的树的深度。迭代次数即为树的深度，由人为设定，在多次迭代后，仍在同一个最小子空间的特征视为同一类特征。

4)输入机器人工作进程中当前关键帧

在特征提取网络和词袋树模型都训练和建立完成后，在机器人的实际工作过程中，导入这两个模型，并由机器人的视觉传感器得到实时输入的视频，得到当前关键帧，作为回环检测系统的输入。

5)在词袋树模型中存储每张关键帧的特征

输入机器人实时获取的视频流后，对每张关键帧进行实时处理。首先利用训练好的特征提取网络提取当前关键帧的特征，聚类后在词袋树模型中匹配相应的节点，在词袋树模型中添加当前图像。在词袋树模型的树结构中，每个节点保存特征的正向索引Directindex image和反向索引Inverse index word。正向索引包含每一帧图像的特征以及该特征所在树的父节点，反向索引存储每一个特征所在的图像的序号以及在该图像中所占的比重。

6)根据词袋树模型搜索和匹配可能出现的回环，最终判断机器人是否发生回环

在对机器人获取的当前图像帧实时处理时，一方面根据提取的特征更新词袋树和添加当前图像，同时一方面利用反向索引搜索相似特征较多的可能相似的帧，并根据正向索引中的信息进行相似性度量，根据相似性判断是否出现回环。若判断出现回环，则机器人当前位置为之前曾到过的位置，若未发现回环，则当前机器人来到一个新的地方。

图4为采用本发明方法的回环检测效果示意图，其中的曲线为机器人运行轨迹，箭头所示的连线为检测出来的回环。

本发明另一实施例提供一种基于深度度量学习结合词袋树模型的机器人回环检测装置，其包括：

特征提取网络训练模块，负责利用输入的长时间的环境外观变化的场景视频流中的图像，采用深度度量学习框架训练并学习得到特征提取网络；

训练视频特征抽取模块，负责利用特征提取网络从训练视频流图像中抽取特征；

词袋树模型建立模块，负责对得到的特征进行迭代聚类，建立词袋树模型；

实时视频特征抽取模块，负责在实际机器人定位和导航过程中，输入机器人实时获取的视频流中的当前关键帧，利用特征提取网络提取当前关键帧的特征，并添加到词袋树模型；

回环检测模块，负责利用词袋树模型搜索和匹配图像特征相近的图像帧，并进行相似性度量，判断机器人是否遇到回环。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (5)

1.一种基于深度度量学习结合词袋树模型的机器人回环检测方法，其特征在于，包括以下步骤：

1)输入长时间的环境外观变化的场景视频流；

2)利用视频流中的图像，采用深度度量学习框架训练并学习得到特征提取网络；

3)利用步骤2)得到的特征提取网络，从训练视频流图像中抽取特征；

4)对得到的特征进行迭代聚类，建立词袋树模型；

5)在实际机器人定位和导航过程中，输入机器人实时获取的视频流中的当前关键帧；

6)利用步骤2)得到的特征提取网络，提取当前关键帧的特征；

7)将步骤6)中得到的当前关键帧的特征添加到词袋树模型，利用机器人实际工作过程中不断得到的新关键帧对步骤4)得到的初始词袋树进行不断更新，在更新过程中，在词袋树模型中添加新的节点，包括正向索引和反向索引；

8)利用词袋树模型搜索和匹配图像特征相近的图像帧，并进行相似性度量，判断机器人是否遇到回环；在所述搜索和匹配过程中，通过反向索引快速定位到所需要比较的相似图像，通过正向索引快速检查图像中的特征；

其中，步骤2)在训练过程中联合特征提取与相似性度量，通过相似性值计算特征提取网络的损失值，在特征提取网络的训练过程中将所述损失值迭代降低到最小；

步骤2)中深度度量学习的训练流程包括以下步骤：

a)输入一个三元组图像，包括两张相似场景图片I+，I和一张不同的场景图I-；

b)通过简洁的卷积神经网络提取三张场景图像的对应的深度学习特征F+，F和F-；

c)利用相似性度量算法和图像的特征分别计算相似性样本间和非相似性样本间的相似性值S+和S-；

d)通过损失函数计算网络的损失Loss；

e)利用梯度下降法优化网络参数；

f)重复上述过程，对整个网络进行迭代优化，直到网络的损失Loss值下降到稳定在某个值附近，网络训练完成。

2.如权利要求1所述的方法，其特征在于，步骤4)对词袋树模型中的每个特征，保存其正向索引和反向索引。

3.如权利要求2所述的方法，其特征在于，所述正向索引中包含每一帧图像的特征以及该特征所在树的父节点，所述反向索引存储每一个特征所在的图像的序号以及在该图像中所占的比重。

4.如权利要求1所述的方法，其特征在于，步骤4)采用k-means++算法进行所述聚类。

5.一种采用权利要求1～4中任一权利要求所述方法的基于深度度量学习结合词袋树模型的机器人回环检测装置，其特征在于，包括：

特征提取网络训练模块，负责利用输入的长时间的环境外观变化的场景视频流中的图像，采用深度度量学习框架训练并学习得到特征提取网络；

训练视频特征抽取模块，负责利用特征提取网络从训练视频流图像中抽取特征；

词袋树模型建立模块，负责对得到的特征进行迭代聚类，建立词袋树模型；

实时视频特征抽取模块，负责在实际机器人定位和导航过程中，输入机器人实时获取的视频流中的当前关键帧，利用特征提取网络提取当前关键帧的特征，并添加到词袋树模型；

回环检测模块，负责利用词袋树模型搜索和匹配图像特征相近的图像帧，并进行相似性度量，判断机器人是否遇到回环。

Images