CN109886065A - 一种在线增量式回环检测方法 - Google Patents

Abstract

本发明公开了一种在线增量式回环检测方法，该方法包括以下步骤：(1)采用ISODATA聚类算法生成自适应聚类中心数的树形结构，并采用此树形结构存储训练样本集的特征，从而得到特征字典；(2)每隔一定的单位时间后，将采集到的回环帧并入样本集，重新在线训练，增量式的提高词典特征的差异化；(3)根据本方法构建的词典结构计算两帧的相似度评分，判断是否存在回环。本发明方法解决了常用的二进制视词典算法中字典结构固定及训练样本集差异化程度较低所带来的检测精度不高和检测速率偏低的问题，能有效提高了存在大回环的场景下的检测精度和系统的鲁棒性；同时，在满足实时性要求的前提下，本方法有效的降低了字典的体积，并提高了查询效率。

Description

一种在线增量式回环检测方法

技术领域

本发明涉及SLAM技术，尤其涉及一种在线增量式回环检测方法。

背景技术

回环检测与“定位”和“建图”有密切的关系。通过回环检测可以修正错误的定位点，从而构建更加精确的地图。常用的回环检测有基于里程计几何关系的，和基于外观两种。基于几何关系是说，当我们发现当前相机运动到了之前的某个位置时，检测他们是否存在回环。但是由于累积误差的存在，我们往往没办法正确发现“运动到了之前的某个位置附近”的事情。基于外观的回环检测不考虑图像的几何关系，仅仅依据两帧图像的相似性确定是否存在回环。

基于视觉词典的方法本质上是一个场景识别的问题，提取图片集中所有的特征作为元素的词典，并以一定的数据结构进行存储。一般为了元素匹配的方便以及尽可能的减小查询的时间复杂度，字典的结构多采用树形结构进行存储。字典中的特征经过聚类之后，进行分层，再聚类，直至到达底层的叶子节点，以一个k分支,深度为d的树而言，可以容纳k^d个单词, 并保证了对数级别的查找效率。常用DBoW算法的以下缺点：(1)固定深度以及聚类中心数的树形结构导致检测精度不高；(2)样本集的训练过程一次性完成，因此为了达到一定的样本集特征差异性，通常需要海量的不同场景照片，因此训练样本集十分庞大；(3)由问题(1) 所产生的另一弊病就是字典结构复杂带来的构建与查询的时间复杂度高；(4)由于回环检测的结果均来自于一次性检测所得的视觉字典，因此受制于训练样本集差异化程度。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种在线增量式回环检测方法。

本发明解决其技术问题所采用的技术方案是：一种在线增量式回环检测方法，包括以下步骤：

步骤1)预先采取多个场景下的图片作为训练样本图像集，根据场景的样本图像集中的所有的特征，构建场景图像视觉字典模型；

步骤2)在移动机器人实时运动过程中，实时采集当前场景图像序列；

步骤3)根据图像的相对运动估计获取当前场景图像序列中的关键帧，并将提取关键帧按提取顺序进行存储；

步骤4)基于最新提取的当前图像帧和存储序列中的所有关键帧，进行闭环检测；具体如下：

4.1)利用场景图像视觉字典模型，提取当前场景图像帧对应的字典向量，计算当前场景图像帧与所有关键帧之间的相似度评分；

4.2)选择相似度大于3的前n帧关键帧作为候选回环帧组；

4.3)对候选回环帧组进行回环验证；

4.4)选择通过回环验证的相似度最高的一帧作为回环帧。

按上述方案，所述步骤1)中，构建场景图像视觉字典模型的建立方法如下：

1.1)从图像集的特征集中随机选取k₀个样本作为初始聚类中心C＝{c₁,c₂,…,c_k0}；k₀一般取值为10；

1.2)针对图像集的特征集中的每个样本x_i，计算其到k₀个聚类中心的距离并将其分到距离最小的聚类中心所对应的类中；

1.3)判断上述每个类中的元素数目是否小于N_min；如果小于N_min，则需要丢弃该类，令 k＝k-1,并将该类中的样本重新分配给剩下类中距离最小的类；k的初始值为k₀；

1.4)针对每个类别c_i，重新计算它的聚类中心(即属于该类对的所有样本的质心)；

1.5)如果当前说明当前类别数太少，进行分裂操作；转入步骤1.7)；

1.6)如果当前k≥2k₀,说明当前类别数太多，进行合并操作；转入步骤1.7)；

1.7)如果达到最大迭代次数则终止，否则返回1.2)步继续执行；

最大迭代次数一般不超过5次；

1.8)确定字典树的分支因子k和树的层数d，d为预设值；采用此树形结构存储训练样本集的特征，得到特征字典的视觉字典。

按上述方案，所述步骤1.1)中的样本图像集更新方法如下：每隔单位时间，将该时间段内检测验证的历史回环帧序列并入样本图像集。

按上述方案，所述相似度评分采用TF-IDF方法计算。

本发明产生的有益效果是：

1、本发明采用ISODATA聚类算法，根据一定的差异度标准，自行进行聚合与分裂，选择合适的聚类中心点个数(即树形结构的k值)，能构建针对特定图片集最合适的树形结构。

2、本发明采用回环的缓存机制，每次选择相似度较高的前n帧(并非最优帧)进行验证，验证方式采用空间一致性验证，估计候选帧与当前帧之间的运动是否与位姿图中的差异过大。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的方法流程图；

图2是本发明实施例的方法流程图；

图3是本发明实施例的实验结果示意图；

图4是本发明实施例的实验结果示意图；

图5是本发明实施例的实验结果示意图；

图6是本发明实施例的对比结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，一种在线增量式回环检测方法，包括以下步骤：

步骤1)预先采取多个场景下的图片作为样本图像集，根据场景的样本图像集中的所有的特征，构建场景图像视觉字典模型；

如图2，构建场景图像视觉字典模型的建立方法如下：采用ISODATA聚类算法生成自适应聚类中心数的树形结构，并采用此树形结构存储训练样本集的特征，从而得到特征字典：

1.1)从样本图像集的特征集中随机选取k₀个样本作为初始聚类中心C＝{c₁,c₂,…,c_k0}；步骤1.1)中的样本图像集更新方法如下：每隔单位时间，将该时间段内检测验证的历史回环帧序列并入。

1.2)针对样本图像集的特征集中的每个样本x_i，计算其到k₀个聚类中心的距离并将其分到距离最小的聚类中心所对应的类中；

1.3)判断上述每个类中的元素数目是否小于N_min；如果小于N_min，则需要丢弃该类，令 k＝k-1,并将该类中的样本重新分配给剩下类中距离最小的类；k的初始值为k₀；

1.4)针对每个类别c_i，重新计算它的聚类中心(即属于该类对的所有样本的质心)；

1.5)如果当前说明当前类别数太少，进行分裂操作；即

1.6)如果当前k≥2k₀,说明当前类别数太多，前往合并操作；

1.7)如果得到最大迭代次数则终止，否则返回1.2)步继续执行；

1.8)确定字典树的分支因子k和树的层数d；采用此树形结构存储训练样本集的特征，得到特征字典的视觉字典。

步骤2)在移动机器人实时运动过程中，实时采集当前场景图像序列；

步骤3)根据图像的相对运动估计获取当前场景图像序列中的关键帧，并将提取关键帧按提取顺序进行存储；

步骤4)基于最新提取的当前图像帧和存储序列中的所有关键帧，进行闭环检测；具体如下：

4.1)利用场景图像视觉字典模型，提取当前场景图像帧对应的字典向量，计算当前场景图像帧与所有关键帧之间的相似度评分；

相似度评分采用TF-IDF方法计算，具体的做法是：统计某叶子节点w_i中的特征数量相对有所有特征数量的比例作为IDF部分，假设所有特征数量为n,wi数量为n_i，那么该单词的 IDF为：

假设图像A中单词w_i出现了n_i次，一共出现的单词次数为n，那么TF为：

于是，叶子节点的w_i权重等于TF乘IDF之积：

n_i＝TFi×IDF_i

在构建了视觉字典以及节点权重之后，我们就可以采用向量的方式来表达一张图片，并利用范数来进行图像比较，例如文献[]中提到的L₁范数形式：

归一化处理

对于任意两幅图像，我们都能给出一个相似度评分，但是如果利用相似度评分的绝对值来进行判断，往往会带来较大的误差，这里我们引入归一化的思想来进行处理。即先取一个先验相似度s(v_t,v_t-Δt),他表示某时刻关键帧图像与上一时刻的关键帧的相似性。然后，其他的分值都参照这个值进行归一化:

S(v_t,v_tj)’＝s(v_t,v_tj)/s(v_t,v_t-Δt)

一般，我们认为如果当前帧与之前某关键帧的相似度超过当前帧与上一个关键帧之间相似度的3倍，那么就认为可能存在回环。引入归一化的思想，避免了引入绝对的相似性阈值，使得算法能够适应更多的环境。

4.2)选择相似度大于3的前n帧关键帧作为候选回环帧组；

4.3)对候选回环帧组进行回环验证；

常用的验证方式主要分为三种：基于时间上的连续性方法和基于空间上的一致性方法以及对极几何约束方法。

时间连续性验证

基于时间的一致性是指在某时刻t_i检测到回环帧，通常在t_i+Δ_t也会检测到回环帧，即在一段时间中一直检测到的回环，才被认定为正确的回环。

空间一致性验证

空间一致性是指使用检测帧以及回环候选帧进行特征匹配，同一场景的空间几何关系通常保持不变，如果特征匹配对数较多，则认为回环正确。具体的计算方式如下。

其中，v是图像特征的向量表示，v_nm是邻近空间位置的图像特征的向量表达。

为两幅图像相同最近邻的特征个数，|v¹∩v²|为匹配到的特征个数。因为机器人经过一段时间采集到相似场景时，将当前帧的两个向量与相似历史帧的两个向量进行匹配并且匹配点对较多，则产生错误闭环的可能性较小。若邻近图像向量之间的匹配对数小于设定的阈值，即时图像之间相似度得分较高，但他们为相同场景额可能性也较小。

对极几何约束

检测到闭环结构的两帧图像应该满足对极几何约束，根据空间一致性计算的正确匹配点对，使用RANSAC估计两帧之间的基础矩阵，如果矩阵的内点数比例超过得定阈值Tp，则认为该闭环为正确闭环，具体计算方式如下。

其中，inliers是内点数个数，n_x,n_y分别代表x,y帧的特征个数。

4.4)选择双向匹配度最高的一帧作为回环帧，即选择通过回环验证的相似度最高的一帧。

整体算法对比实验结果及分析

本申请提出的在线增量式回环检测主要是为了解决常用DBoW算法的以下缺点：

1、固定深度以及聚类中心数的树形结构导致检测精度不高；

2、样本集的训练过程一次性完成，因此为了达到一定的样本集特征差异性，通常需要海量的不同场景照片，因此训练样本集十分庞大；

3、由问题(1)所产生的另一弊病就是字典结构复杂带来的构建与查询的时间复杂度高；

4、由于回环检测的结果均来自于一次性检测所得的视觉字典，因此受制于训练样本集差异化程度。

实验一：树形结构中(k,d)值对检测结果的影响

以下实验中的训练图片样本集总量为1200张，样本分别来自TUM中不同的标准数据集，视觉字典采用DBoW树形结构进行训练。分别进行不同(k,d)值对待测帧相似性计算的影响以及(k,d)值对特征字典大小的影响实验。实验结果如图3所示。图3(a)为(k,d)值对相似性评分的影响，图3(b)为(k,d)值对特征字典大小的影响。

在树形结构中，k代表聚类中心数，d代表树的深度，对一个中心数为k,深度为d的字典来说，能够存储的单词极限是k^d。/3(a)中的纵坐标是相似性评分归一化之后的结果，具体的做法，利用某时刻关键帧图像与之前某关键帧的相似度除以当前帧与上一个关键帧之前相似度，如果商大于3，一般认为存在回环。具体的操作如下：

S(v_t,v_tj)′＝S(v_t,v_tj)/S(v_t,v_t-Δt)

引入归一化的原因是避免引入绝对的相似性阈值，使得算法能够适应更多的环境。由图 3(a)可以看出，归一化之后的相似性得分极值具有随机性，并不一致出现在k＝10时。例如 d＝7时，极值出现在k＝12点；d＝6时，极值出现在k＝11点；d＝5时，极值出现在k＝13点。因此不同的(k,d)对极值点的位置具有随机性。由图3(b)可以看出，在视觉词典中深度d 只决定了树形结构的层数，即视觉词典的体积大小，随着k值的增大，视觉词典的体积也在不断变大。K代表了树形结构中每层的元素多少，即聚类中心数目。由于训练样本集的差异度未知，因此k值的不同对回环检测中的相似性计算产生很大的差异，如果能选择合适的k 值，则能够保证不同的训练样本集下较高的检测稳定性，以及尽可能的压缩字典体积，减少时间复杂度，提高检索效率。

实验二：添加历史回环帧特征对检测结果的影响

由实验(一)可知，训练样本的差异性对相似性评分对的影响很大。为了保证样本特征的丰富性和差异化，通常需要构建一个数目庞大的视觉词典，但这会严重的影响回环检测的速度。因此，我们决定探究一种改善小样本集中差异化的方法，即在训练样本集中添加历史图片。其时间结果如图4所示。图4(a)为添加历史帧前后对比图，图4(b)(k,d) 值对算法耗时的影响。

图4(a)中实线代表未添加历史帧时d值与相似度评分的关系，虚线代表添加历史帧之后d值与相似度评分的关系。图4(a)中仅展示k＝8及k＝10情况下的对比图。由图4(a)可知，在训练样本集中添加历史帧明显提高了相似度评分，即回环帧与其他候选帧的差异度更高，有利于在候选帧中选择出最优解。

图4(b)可知，回环检测部分(不包含训练样本的时间)的时间为秒级。在聚类中心个数一定情况下，深度越大，则处理算法的时间复杂度越高，因此在实际使用中要根据样本的情况，合理设置树形词袋深度以及字典体积。

实验三：增量训练图片样本集对比实验

由实验二可知，添加历史帧能够提高回环检测的相似度得分，下面我们需要探讨在同种树形结构下，例如：k＝10,d＝5时。增量式的回环检测对相似度得分的影响，以及训练图片样本集大小对相似度得分的影响。在本次实验中，分别采取N＝100张，300张，600张，1200 张的图片样本集进行训练，得到聚类中心数为10，深度为5的树形词典。其实验结果如图5 所示。

图5中绿色线为原始DBoW算法，可见随着训练样本集的增大，回环检测的相似度得分越高，即精度越高。观察N＝100时，即小样本集的情况下，原始算法得分最低，而随着次数增多(即添加的历史关键帧数量)，本发明算法的计算得分越来越高，当N＝300以及600时基本一致。随着样本集的逐步增大，本算法的计算得分逐步下降并低于原始DBoW算法，其原因在于随着训练样本集随着历史关键帧的添加，特征差异度的逐渐丰富，固定(k,d)值的树形结构无法自适应表示特征的差异性。因此换用步骤1)中提到的ISODATA方法重新计算即可。

本发明方法与DBoW算法在不同样本下的准确性对比实验

由实验一可知，采用固定参数的DBoW3算法并不能取到测量值的极值。本算法针对k-Means++聚类样本中心参数固定的问题，采用ISODATA聚类方法，根据训练图片样本集的特征差异性自适应调整聚类中心个数，分别在训练图片样本集大小为100，00，600，1200以及 5000张时，进行了对比实验。其实验结果如图6所示。

可见，在小样本集的条件下(N＝100,300,600,1200张)，本发明计算的相似度评分远高于 DBoW3算法，但是随着样本集的增大，两者的差异逐渐减小。例如当图片集数量为5000时，两种算法的计算结果基本一致。其原因在于小样本的特征较少，聚类中心个数过多导致每类特征之间的差异性不大，相似性得分较低；训练集到达一定数量之后，本发明方法所计算的聚类中心个数与DBoW3一致。具体数据如表1所示。

表1本发明方法与DBoW算法数据对比

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种在线增量式回环检测方法，其特征在于，包括以下步骤：

步骤1)预先采取多个场景下的图片作为训练样本图像集，根据场景的样本图像集中的所有的特征，构建场景图像视觉字典模型；

步骤2)在移动机器人实时运动过程中，实时采集当前场景图像序列；

步骤3)根据图像的相对运动估计获取当前场景图像序列中的关键帧，并将提取关键帧按提取顺序进行存储；

步骤4)基于最新提取的当前图像帧和存储序列中的所有关键帧，进行闭环检测；具体如下：

4.1)利用场景图像视觉字典模型，提取当前场景图像帧对应的字典向量，计算当前场景图像帧与所有关键帧之间的相似度评分；

4.2)选择相似度大于3的前n帧关键帧作为候选回环帧组；

4.3)对候选回环帧组进行回环验证；

4.4)选择通过回环验证的相似度最高的一帧作为回环帧。

2.根据权利要求1所述的在线增量式回环检测方法，其特征在于，所述步骤1)中，构建场景图像视觉字典模型的建立方法如下：

1.1)从图像集的特征集中随机选取k₀个样本作为初始聚类中心C＝{c₁,c₂,…,c_k0}；k₀一般取值为10；

1.2)针对图像集的特征集中的每个样本x_i，计算其到k₀个聚类中心的距离并将其分到距离最小的聚类中心所对应的类中；

1.3)判断上述每个类中的元素数目是否小于N_min；如果小于N_min，则需要丢弃该类，令k＝k-1,并将该类中的样本重新分配给剩下类中距离最小的类；k的初始值为k₀；

1.4)针对每个类别c_i，重新计算它的聚类中心，即属于该类对的所有样本的质心；

1.5)如果当前说明当前类别数太少，进行分裂操作；转入步骤1.7)；

1.6)如果当前k≥2k₀,说明当前类别数太多，进行合并操作；转入步骤1.7)；

1.7)如果达到最大迭代次数则终止，否则返回1.2)步继续执行；

最大迭代次数一般不超过5次；

1.8)确定字典树的分支因子k和树的层数d，d为预设值；采用此树形结构存储训练样本集的特征，得到特征字典的视觉字典。

3.根据权利要求2所述的在线增量式回环检测方法，其特征在于，所述步骤1.1)中的样本图像集更新方法如下：每隔单位时间，将该时间段内检测验证的历史回环帧序列并入样本图像集。

4.根据权利要求1所述的在线增量式回环检测方法，其特征在于，所述步骤4.1)中相似度评分采用TF-IDF方法计算。