CN109871803B - 机器人回环检测方法和装置 - Google Patents

Abstract

本发明提出一种机器人回环检测方法和装置，其中，方法包括：获取机器人采集的当前图像，并将当前图像输入至稠密连接的卷积神经网络DenseNet，得到全局特征；其中，稠密连接的卷积神经网络DenseNet由多层稠密块组成，每层稠密块与其他层稠密块以前馈方式进行连接；根据特征映射解耦算法，对全局特征进行解耦，得到局部特征；根据加权局部特征聚合描述符编码算法，对局部特征进行编码处理，得到编码结果；计算编码结果对应的第一局部敏感哈希值，并根据第一局部敏感哈希值，确定与当前图像相似的目标图像。该方法能够实现提升机器人进行回环检测时抵抗视角、光照、季节等变换的鲁棒性，同时，提高了对包含相似的纹理或者相似的表面特征的不同场景的识别能力。

Description

机器人回环检测方法和装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种机器人回环检测方法和装置。

背景技术

随着人工智能技术的不断发展，机器人不断普及。目前，对于可移动的机器人而言，视觉地点识别是重定位或者回环检测中的一个重要部分，如果机器人能够判别出当前场景与之前看过的场景为同一场景，那么机器人就可以利用这些信息来进行重新定位，纠正之前即时定位与地图构建(Simultaneous Localization and Mapping,简称SLAM)系统累积的历史误差。

然而，由于光线、季节、视角等因素的影响，可能造成相同的场景在不同的时间，具有不同的特征，并且，两个不同的场景也可能因为包含相似的纹理或者相似的表面特征，从而造成机器人误识别的情况。如果回环检测判断错误，尤其是将非回环判定为回环，将会破坏SLAM系统的全局优化过程，严重时可能导致整个系统崩溃。

现有技术中，通过词袋模型(Bag of Words，简称BoWs)将图像的局部特征的描述符作为视觉词，来解决上述回环检测存在的误识别的情况。然而，词袋模型中的特征为人工设计的，较难识别环境光线变化的场景以及具有相似纹理的场景。

发明内容

本发明提出一种机器人回环检测方法和装置，以实现准确识别当前图像中的场景是否为机器人之前走过的场景，提升回环检测的准确性，从而纠正SLAM系统累积的历史误差。并且，基于局部敏感哈希算法，确定与当前图像相似的目标图像，可以提升计算的实时性，从而提升回环检测的实时性。此外，还可以提升机器人进行回环检测时抵抗视角、光照、季节等变换的鲁棒性，同时，提高了对包含相似的纹理或者相似的表面特征的不同场景的识别能力，用于解决现有技术中的词袋模型较难识别环境光线变化的场景以及具有相似纹理的场景技术问题。

本发明第一方面实施例提出了一种机器人回环检测方法，包括：

获取机器人采集的当前图像，并将所述当前图像输入至稠密连接的卷积神经网络DenseNet，得到全局特征；其中，所述稠密连接的卷积神经网络DenseNet由多层稠密块组成，每层稠密块与其他层稠密块以前馈方式进行连接；

根据特征映射解耦算法，对所述全局特征进行解耦，得到局部特征；

根据加权局部特征聚合描述符编码算法，对所述局部特征进行编码处理，得到编码结果；

计算所述编码结果对应的第一局部敏感哈希值，并根据所述第一局部敏感哈希值，确定与所述当前图像相似的目标图像，其中，所述目标图像为机器人在移动过程中采集的，或者为机器人本地存储的。

本发明实施例的机器人回环检测方法，通过获取机器人采集的当前图像，并将当前图像输入至稠密连接的卷积神经网络DenseNet，得到全局特征，而后，根据特征映射解耦算法，对全局特征进行解耦，得到局部特征，之后，根据加权局部特征聚合描述符编码算法，对局部特征进行编码处理，得到编码结果，最后，计算编码结果对应的第一局部敏感哈希值，并根据第一局部敏感哈希值，确定与当前图像相似的目标图像。由此，可以准确识别当前图像中的场景是否为机器人之前走过的场景，提升回环检测的准确性，从而纠正SLAM系统累积的历史误差。并且，基于局部敏感哈希算法，确定与当前图像相似的目标图像，可以提升计算的实时性，从而提升回环检测的实时性。此外，还可以提升机器人进行回环检测时抵抗视角、光照、季节等变换的鲁棒性，同时，提高了对包含相似的纹理或者相似的表面特征的不同场景的识别能力。

本发明第二方面实施例提出了一种机器人回环检测装置，包括：

采集模块，用于获取机器人采集的当前图像，并将所述当前图像输入至稠密连接的卷积神经网络DenseNet，得到全局特征；其中，所述稠密连接的卷积神经网络DenseNet由多层稠密块组成，每层稠密块与其他层稠密块以前馈方式进行连接；

解耦模块，用于根据特征映射解耦算法，对所述全局特征进行解耦，得到局部特征；

编码模块，用于根据加权局部特征聚合描述符编码算法，对所述局部特征进行编码处理，得到编码结果；

决策模块，用于计算所述编码结果对应的第一局部敏感哈希值，并根据所述第一局部敏感哈希值，确定与所述当前图像相似的目标图像，其中，所述目标图像为机器人在移动过程中采集的，或者为机器人本地存储的。

本发明实施例的机器人回环检测装置，通过获取机器人采集的当前图像，并将当前图像输入至稠密连接的卷积神经网络DenseNet，得到全局特征，而后，根据特征映射解耦算法，对全局特征进行解耦，得到局部特征，之后，根据加权局部特征聚合描述符编码算法，对局部特征进行编码处理，得到编码结果，最后，计算编码结果对应的第一局部敏感哈希值，并根据第一局部敏感哈希值，确定与当前图像相似的目标图像。由此，可以准确识别当前图像中的场景是否为机器人之前走过的场景，提升回环检测的准确性，从而纠正SLAM系统累积的历史误差。并且，基于局部敏感哈希算法，确定与当前图像相似的目标图像，可以提升计算的实时性，从而提升回环检测的实时性。此外，还可以提升机器人进行回环检测时抵抗视角、光照、季节等变换的鲁棒性，同时，提高了对包含相似的纹理或者相似的表面特征的不同场景的识别能力。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例一所提供的机器人回环检测方法的流程示意图；

图2为本发明实施例中DenseNet的结构示意图；

图3为本发明实施例中检测结果示意图一；

图4为本发明实施例中检测结果示意图二；

图5为本发明实施例二所提供的机器人回环检测方法的流程示意图；

图6为本发明实施例中全局特征的解耦过程示意图；

图7为本发明实施例三所提供的机器人回环检测方法的流程示意图；

图8为本发明实施例中局部特征的编码过程示意图；

图9为本发明实施例四所提供的机器人回环检测方法的流程示意图；

图10为本发明实施例中数据集回环检测的真值和检测结果的比较示意图；

图11为本发明实施例中深度网络对比实验精度-召回率曲线示意图；

图12为本发明实施例中数据集对比实验欧式距离示意图；

图13为本发明实施例中编码方式对比实验精度-召回率曲线示意图；

图14为本发明实施例五所提供的机器人回环检测装置的结构示意图；

图15为本发明实施例六所提供的机器人回环检测装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明主要针对现有技术中词袋模型较难识别环境光线变化的场景以及具有相似纹理的场景的技术问题，提出一种机器人回环检测方法。

本发明实施例的机器人回环检测方法，通过获取机器人采集的当前图像，并将当前图像输入至稠密连接的卷积神经网络DenseNet，得到全局特征，而后，根据特征映射解耦算法，对全局特征进行解耦，得到局部特征，之后，根据加权局部特征聚合描述符编码算法，对局部特征进行编码处理，得到编码结果，最后，计算编码结果对应的第一局部敏感哈希值，并根据第一局部敏感哈希值，确定与当前图像相似的目标图像。由此，可以准确识别当前图像中的场景是否为机器人之前走过的场景，提升回环检测的准确性，从而纠正SLAM系统累积的历史误差。并且，基于局部敏感哈希算法，确定与当前图像相似的目标图像，可以提升计算的实时性，从而提升回环检测的实时性。此外，还可以提升机器人进行回环检测时抵抗视角、光照、季节等变换的鲁棒性，同时，提高了对包含相似的纹理或者相似的表面特征的不同场景的识别能力。

下面参考附图描述本发明实施例的机器人回环检测方法和装置。

图1为本发明实施例一所提供的机器人回环检测方法的流程示意图。

本发明实施例以机器人回环检测方法被配置于机器人回环检测装置中来举例说明，该机器人回环检测装置可以应用于机器人中，以使该机器人可以执行回环检测功能。

如图1所示，该机器人回环检测方法包括以下步骤：

步骤101，获取机器人采集的当前图像，并将当前图像输入至稠密连接的卷积神经网络DenseNet，得到全局特征；其中，稠密连接的卷积神经网络DenseNet由多层稠密块组成，每层稠密块与其他层稠密块以前馈方式进行连接。

其中，当前图像为机器人在移动过程中采集的当前时刻对应的图像。

需要说明的是，由于深度网络中的低层特征包含更多的结构信息，能够测量细粒度的相似度，而高层次特征更关注于语音信息，能够测量语义距离。因此，若将深度网络中的高层特征与低层特征抽取出来，并进行融合，则可以提取图像高层次的语义信息以及低层次的结构信息，然而，上述提取高层特征和低层特征并进行融合处理，计算量较大。而稠密连接的卷积神经网络DenseNet在网络内部，已经将高层特征和低层特征进行融合，从而低层特征可以有效传递给高层特征，这对于图像的细粒度表达十分有效。

具体地，稠密连接的卷积神经网络DenseNet由多层稠密块组成，每层稠密块与其它层稠密块以前馈方式进行连接，即DenseNet是由多层稠密块组成的紧缩网络，任意一层稠密块与其他层稠密块之间都有直接的连接。也就是说，DenseNet网络中，每层稠密块的输入为前面所有层稠密块的输出的并集，并且，该层稠密块所学习的特征图，也会被直接传给后面所有层稠密块作为输入。由此，每层稠密块均直接连接输入和损失，可以减轻梯度消失现象。

本发明实施例中，在机器人回环检测装置获取到当前图像后，可以将当前图像输入至DenseNet，由DenseNet的最后一层输出对应的全局特征，其中，全局特征包括通道数以及每个通道(channel)对应的特征图。例如，全局特征可以包括1024个通道、每个通道对应的特征图的大小为宽(W)×高(H)＝7×7。需要说明的是，本发明仅以通道数为1024，特征图的大小为7×7示例，实际应用时，可以根据自身需求，设置通道数以及每个通道数对应的特征图的大小，对此不作限制。

作为一种示例，参见图2，图2为本发明实施例中DenseNet的结构示意图。其中，DenseNet由5层稠密块组成，将当前图像输入至DenseNet的第一层稠密块(input)，并由最后一层稠密块(output)输出当前图像对应的全局特征。DenseNet可以提供当前图像中优秀的原始特征，将高级语义信息和细粒度信息进行有效传递，从而可以提升回环检测结果的准确性。

步骤102，根据特征映射解耦算法，对全局特征进行解耦，得到局部特征。

可以理解的是，当机器人移动时，视角可能发生变化，每个通道对应的特征图上可能会产生一个较大的偏移，因此，本发明实施例中，为了保证全局特征的空间不变性，可以对全局特征进行解耦，得到局部特征。

具体地，可以基于特征映射解耦(Decoupling By Feature maps，简称DBF)算法，对全局特征进行解耦，得到局部特征。

步骤103，根据加权局部特征聚合描述符编码算法，对局部特征进行编码处理，得到编码结果。

本发明实施例中，为了提高回环检测对视角变化和尺度变换的鲁棒性，可以对局部特征进行编码处理，得到编码结果。

关于编码方法，在传统词袋模型中，词袋(Bag of Words，简称BoW)编码方式用来评价两张图片的相似性，而BoW编码方式适用于低维度的特征向量，而本发明中采用DBF算法，对全局特征进行解耦，得到的局部特征为高维度的，因此，本发明无法使用BoW编码方式，对局部特征进行编码处理，得到编码结果。除此之外，词袋模型是一种统计学的方法，通常字典中需要包含大量的视觉单词，比如10⁶，由于单词量太大，训练这样的词袋模型也比较困难，需要耗费大量的计算资源。

然而，加权局部特征聚合描述符(Weighted Vector of Locally AggregatedDescriptor，简称WVLAD)编码算法通过聚类的方式，可以弱化视角变化带来图片结构变化，通过分配权重的方式来提高区分不同特征的能力。因此，这种编码方式比直接采用深度特征之间的欧氏距离作为相似度的计算方式，具有更好的尺度不变性和视角鲁棒性，弥补了深度特征在这一方面的弱势。

基于以上分析，本发明实施例中，可以根据加权局部特征聚合描述符(WeightedVector of Locally Aggregated Descriptor，简称WVLAD)编码算法，对局部特征进行编码处理，得到编码结果。

步骤104，计算编码结果对应的第一局部敏感哈希值，并根据第一局部敏感哈希值，确定与当前图像相似的目标图像，其中，目标图像为机器人在移动过程中采集的，或者为机器人本地存储的。

本发明实施例中，可以根据局部敏感哈希(Locality Sensitive Hashing，简称LSH)算法，计算编码结果对应的第一局部敏感哈希值，而后，可以根据第一局部敏感哈希值，确定与当前图像相似的目标图像。

具体地，可以获取机器人在历史移动过程中采集的历史图像，其中，历史图像可以为一幅图像，也可以为多幅图像，对此不作限制。而后，可以计算历史图像对应的第二局部敏感哈希值，例如，可以将历史图像输入至稠密连接的卷积神经网络，得到历史图像对应的全局特征，而后根据特征映射解耦算法对历史图像对应的全局特征进行解耦，得到历史图像对应的局部特征，之后根据加权局部特征聚合描述符编码算法，对历史图像对应的局部特征进行编码处理，得到历史图像对应的编码结果，最后根据LSH算法，计算得到历史图像对应的编码结果的第二局部敏感哈希值。

在计算得到第二局部敏感哈希值后，可以将第二局部敏感哈希值和历史图像对应存储至预设的哈希表中，从而，本发明中，在计算得到第一局部敏感哈希值后，可以计算第一局部敏感哈希值与预设的哈希表中各第二局部敏感哈希值的相似度，并判断是否存在一个相似度大于或者等于预设阈值，若存在至少一个相似度大于预设阈值，则确定最大相似度对应的第二局部敏感哈希值，并将上述确定的第二局部敏感哈希值对应的历史图像，作为目标图像；若所有的相似度均小于预设阈值，则确定未存在与当前图像相似的目标图像。由此，可以准确识别当前场景是否为机器人之前走过的场景，提升回环检测的准确性，从而纠正SLAM系统累积的历史误差。并且，基于局部敏感哈希算法，确定与当前图像相似的目标图像，可以提升计算的实时性，从而提升回环检测的实时性。

需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。

作为一种示例，参见图3，由于树木和天空的相似纹理区域，人工设计的特征会得到高相似度的得分，将两幅图误识别为同一个场景，而本发明可以利用高级语义和全局信息来判定相似性，判断出的相似度接近于0，可以提升回环检测的准确性。

作为另一种示例，参见图4，同一地点的两张图像，由于光照改变的影响，人工特征不能分别出这两张照片是否来自同一地点。而本发明对视角的变化具有鲁棒性，可以准确识别这两张图来自同一个地点。对于WVLAD算法而言，其可以通过加权处理，来减少通道冗余，并且，通过特征图加权，可以专注于图像的区分和图像中独特的部分，因此在某些情况下可以获得更好的性能。

本发明实施例的机器人回环检测方法，通过获取机器人采集的当前图像，并将当前图像输入至稠密连接的卷积神经网络DenseNet，得到全局特征，而后，根据特征映射解耦算法，对全局特征进行解耦，得到局部特征，之后，根据加权局部特征聚合描述符编码算法，对局部特征进行编码处理，得到编码结果，最后，计算编码结果对应的第一局部敏感哈希值，并根据第一局部敏感哈希值，确定与当前图像相似的目标图像。由此，可以准确识别当前图像中的场景是否为机器人之前走过的场景，提升回环检测的准确性，从而纠正SLAM系统累积的历史误差。并且，基于局部敏感哈希算法，确定与当前图像相似的目标图像，可以提升计算的实时性，从而提升回环检测的实时性。此外，还可以提升机器人进行回环检测时抵抗视角、光照、季节等变换的鲁棒性，同时，提高了对包含相似的纹理或者相似的表面特征的不同场景的识别能力。

作为一种可能的实现方式，为了降低计算的复杂程度，本发明中，在步骤102之后，还可以对局部特征进行池化处理，以降低局部特征包括的通道数。下面结合图5，对上述过程进程详细说明。

图5为本发明实施例二所提供的机器人回环检测方法的流程示意图。

如图5所示，该机器人回环检测方法可以包括以下步骤：

步骤201，获取机器人采集的当前图像，并将当前图像输入至稠密连接的卷积神经网络DenseNet，得到全局特征。

步骤201的执行过程可以参见上述实施例中步骤101的执行过程，在此不做赘述。

步骤202，根据特征映射解耦算法，对全局特征进行解耦，得到局部特征。

需要说明的是，在词袋模型中提取图像特征，需要从图像中提取大量无序的低维特征，提取的这些特征保留了原始图像的视角、尺度鲁棒性，而在大数据中，学习的深度特征是三维的且有序的，因此，首先需要将上述全局特征映射至二维无序向量。具体地，为了实现将全局特征映射到二维，可以对全局特征进行解耦，得到局部特征。

作为一种可能的实现方式，可以基于特征映射解耦(Decoupling By Featuremaps，简称DBF)算法，对全局特征进行解耦，得到局部特征。例如，当全局特征包括1024个通道，每个通道对应的特征图大小为7×7时，可以基于DBF算法，将全局特征解耦成49个1024维的特征向量。

作为另一种可能的实现方式，可以基于通道解耦(Decoupling By Channel，简称DBC)算法，对全局特征进行解耦，得到局部特征。例如，当全局特征包括1024个通道，每个通道对应的特征图大小为7×7时，可以基于DBF算法，将全局特征解耦成1024个49维的特征向量。

作为一种示例，参见图6，当全局特征包括1024个通道，每个通道对应的特征图大小为7×7时，根据DBF算法，可以将全局特征解耦为49个1024维的特征向量(局部描述子)，而根据DBC算法，可以将全局特征解耦为1024个49维的特征向量(局部描述子)。

需要说明的是，全局特征中的每个通道对应的特征图中的每个像素，对应着图片中的一个感受野，那么一个像素的所有的通道联合起来描述的则为该像素相关感受野区域的特性。而DBC算法更倾向于用很多全局描述子来表达图像，当机器人的视角发生变化时，特征图上有可能会产生一个较大的偏移，因此，根据DBC算法，解耦得到局部特征，视角鲁棒性很差。基于上述分析，本发明中，可以采用DBF算法，对全局特征进行解耦，得到局部特征。

步骤203，根据最大池化算法，对局部特征进行池化处理，以降低局部特征包括的通道数。

本发明实施例中，为了降低计算的复杂程度，可以根据最大池化算法，对局部特征进行池化处理，以降低局部特征包括的通道数。例如，当局部特征包括1024个通道，每个通道对应的特征图大小为7×7时，可以对通道进行4取1的最大池化操作，将局部特征包括的通道数变为1024/4＝256个，以降低计算的复杂程度。

需要说明的是，本发明中仅以对局部特征进行池化处理示例，实际应用时，还可以对全局特征进行池化处理，以降低局部特征包括的通道数，从而对全局特征进行解耦时，可以进一步降低计算的复杂程度，提升处理效率。

步骤204，根据加权局部特征聚合描述符编码算法，对局部特征进行编码处理，得到编码结果。

步骤204的执行过程可以参见上述实施例中步骤103的执行过程，在此不做赘述。

步骤205，计算编码结果对应的第一局部敏感哈希值。

需要说明的是，对于回环检测来说，快速高效的搜索也是需要考虑的重要性能。而在传统的词袋模型中采用K-D树的数据结构加速搜索，随着数据维数的增加，基于树的搜索表现性能会急剧的下降。而本发明提取的局部特征的空间维度很高，为了提升检索效率，可以采用局部敏感哈希方法作为最近邻搜索算法。

因此，本发明实施例中，可以首先基于LSH算法，计算编码结果对应的第一局部敏感哈希值。

步骤206，计算第一局部敏感哈希值与预设的哈希表中各第二局部敏感哈希值的相似度。

本发明实施例中，哈希表是在计算机器人采集的历史图像对应的第二局部敏感哈希值后，将第二局部敏感哈希值和历史图像对应存储得到的。

具体地，为了实现回环检测，可以获取机器人在历史移动过程中采集的历史图像，其中，历史图像的个数可以为一幅，也可以为多幅图像，对此不作限制。之后，可以将历史图像输入至稠密连接的卷积神经网络，得到历史图像对应的全局特征，而后根据特征映射解耦算法对历史图像对应的全局特征进行解耦，得到历史图像对应的局部特征，之后根据加权局部特征聚合描述符编码算法，对历史图像对应的局部特征进行编码处理，得到历史图像对应的编码结果，最后根据LSH算法，计算得到历史图像对应的编码结果的第二局部敏感哈希值。在计算得到第二局部敏感哈希值后，将第二局部敏感哈希值和历史图像对应存储至预设的哈希表中。

本发明实施例中，可以根据第一局部敏感哈希值与第二局部敏感哈希值的汉明距离，确定相似度。其中，汉明距离越小，相似度越大，汉明距离越大，相似度越小。

步骤207，判断是否存在一个相似度大于或者等于预设阈值，若是，执行步骤208，若否，执行步骤209。

本发明实施例中，预设阈值为预先设置的，预设阈值例如可以为机器人的内置程序预先设置的，或者还可以由用户进行设置，对此不做限制。

步骤208，根据最大相似度，确定目标图像。

本发明实施例中，在存在至少一个相似度大于预设阈值时，可以确定最大相似度对应的第二局部敏感哈希值，并将上述确定的第二局部敏感哈希值对应的历史图像，作为目标图像。

步骤209，确定未存在与当前图像相似的目标图像。

本发明实施例中，在所有的相似度均小于预设阈值时，可以确定未存在与当前图像相似的目标图像。由此，可以准确识别当前图像中的当前场景是否为机器人之前走过的场景，提升回环检测的准确性，从而纠正SLAM系统累积的历史误差。

本发明实施例的机器人回环检测方法，通过根据最大池化算法，对局部特征进行池化处理，以降低局部特征包括的通道数，可以降低计算的复杂程度。

作为一种可能的实现方式，参见图7，在上述实施例的基础上，步骤103或者204具体可以包括以下子步骤：

步骤301，计算局部特征的加权特征图和加权通道向量。

可以理解的是，为了匹配人类的感知系统，一般希望局部特征可以更关注于当前图像中有区别度的区域，降低空白区域(比如天空、墙面等)的重要性。

作为一种可能的实现方式，可以基于区域提案(Region Proposal)算法，提取每个区域，而后计算每个区域的局部特征。然而这种方式，计算代价太高，不利于回环检测的实时性。

作为另一种可能的实现方式，为了提升回环检测的实时性，可以采用自适应权重调整算法，来调整各个区域对应的权重，从而计算得到局部特征的加权特征图(FW)和加权通道向量(CW)。

具体地，卷积响应强烈的区域通常与有物体的区域有关，FW能够强制特征更加关注纹理区域，进而提高抵抗尺度变化的能力，可以采用F∈R^(C×H×W)表示卷积神经网络内层的3维特征图，采用X∈R^(H×W)表示二维特征图，其中，C表示通道数，H表示特征图的高，W表示特征图的宽，c、h、w分别表示特征向量的位置，c为不高于C的自然数，h为不高于H的自然数，w为不高于W的自然数。可以将所有通道对应的特征图X_c相加，得到S，然后通过L2范式和开方得到FW对应的权重值S'，则可以通过公式1至3，得到加权特征图FW：

其中，FW∈R^(H×W)，为二维的特征图。

CW∈R^(1×C)借鉴了词袋模型中的逆文本频率指数(Inverse DocumentaryFrequency，简称IDF)权重的思想，也就是降低高频出现的特征，比如某一个通道对应的特征图中每一个像素值都是非零的，且都比较大，从视觉上看上去，白色区域占据了整个特征图，这样的特征图不利于回环检测，因此需要降低这个通道的权重，而对于白色区域占特征图面积很小的通道，可以认为它包含了特别的特征信息，因此可以加大这种通道的权重，每个通道对应的权重T_c为：

则可以根据公式(5)计算得到加权通道向量：

作为一种示例，参见图8，在确定局部特征后，可以根据公式(1)至(3)计算得到加权特征图FW，并根据公式(4)至(5)计算得到加权通道向量CW。

步骤302，根据加权特征图和加权通道向量，计算目标特征图。

本发明实施例中，可以根据下述公式(6)，计算得到目标特征图F_weight：

F_weight＝F'_c,h,w×CW_c； (6)

其中，可以根据公式(7)计算得到F'_c,h,w：

F'_c,h,w＝F_c×FW； (7)

其中，F_c表示为二维特征图X_c对应的三维特征图。

步骤303，根据局部特征聚合描述符编码算法，对目标特征图对应的二维局部描述子进行编码处理，得到编码结果。

本发明实施例中，在得到三维的目标特征图F_weight后，可以将其转换为二维的局部描述子L，而后，根据局部特征聚合描述符编码(Vector of Locally AggregatedDescriptor，简称VLAD)算法，将局部描述子L进行编码，得到编码结果。

具体地，可以采用K-Means聚类算法，对局部描述子进行聚类，得到码书{u₁,…,u_K}。其中，K是聚类中心的个数，每一个局部描述子L_i都有对应的聚类中心u_j:NN(L_i)＝argmin_j|L_i-u_j|。其中，NN表示最近邻。

用

表示VLAD编码集合，其中，每一个v_i都有一个相关的聚类中心u_i，那么，每一个v_i可以由每一个L_i和NN(L_i)之间的误差相加得到，其计算公式如下所示：

最后，同样应用L2范式和开方对V进行标准化，可以得到最终的编码结果。

本发明实施例的机器人回环检测方法，通过权重、聚类、编码等方式，可以提高深度特征视角鲁棒性，从而提升回环检测结果的准确性。

作为一种示例，参见图9，图9为本发明实施例四所提供的机器人回环检测方法的流程示意图，其中，以全局特征可以包括1024个通道、每个通道对应的特征图的大小为7×7示例。采用DenseNet对当前图像进行特征提取，可以得到特征图大小为7×7，通道数为1024的全局特征。然后，可以根据最大池化算法，将全局特征进行池化处理，得到特征图大小为7×7，通道数为256的全局特征。之后，可以采用DBF算法，对全局特征进行解耦，计算得到大小为7×7加权特征图(feature-maps weight)和大小为256×1加权通道向量(channelweight)。之后，使用VLAD编码，得到大小为512的局部特征，最后，使用局部敏感哈希算法，来加速回环检测过程。

根据图9可知，在回环检测过程中，可以首先找到当前图像落入在哪个哈希表(HashTable)中，如果空间的划分是在需求的相似性度量下进行分割的，则当前图像的最近邻将极有可能落在查询样本的表中，如此，只需要在当前的哈希表中遍历比较，而不用在所有的数据集中进行遍历，因此可以大大提高检索效率。根据实验结果，当哈希编码长度设置为512时，能够保留99％的性能，但是搜索速度却得到了大幅提升。

为了验证本发明的回环检测效果，可以采用City Center、New College数据集进行实验，这两个数据集被广泛用于视觉SLAM的研究，特别是回环检测任务。其中，CityCenter数据集有许多动态物体，比如人和车辆，还有光线、风和视角变换导致的不稳定的特征。New College数据集中也有许多动态物体和重复元素，例如外形相似的墙和灌木丛。这两个数据集中都给出了真值，例如，参见图10，左边表示的是New College数据集中回环检测的真值，右边表示的为Dense-Loop在这个数据集中的检测结果。

回环检测的目标是在同一个地方检测出一个回环即可，而数据集提供的真值通常是一张照片对应很多个真值，在这种情况下，如果一次没有检测出来，就会产生大量的错误，导致精度大幅下降。因此，数据集所提供的真值并不能直接使用。

因此，本发明可以采用自定义的回环检测方案：首先，在原有真值的基础上，可以对真实回环重新定义，将每个数据集中的图像分成两组，分别为左图和右图，真值也被同样划分。如果检测到一个回环，那么在10帧之内就会停止搜索回环。由此，通过改变回环设定的阈值，精度(precision)和召回率(recall)的数值将会发生变化，进而可以得到精度-召回率曲线(PR-Curve)。

为了验证本发明的有效性，进行了一系列的对比实验。从两个角度入手，首先，把DenseNet和其他优秀的卷积神经网路进行比较，参见图11，展示了在New College数据集上不同网络的PR曲线结果，其中，每一条曲线按照“网络名+所取内层名”的方式进行命名，所有的网络都在ImageNet2012数据集中进行了预先的训练，并采用欧氏距离作为相似度得分，且每个网络中都选取了具有最佳性能的层进行图像绘制。从图11中的PR曲线可以看出，DenseNet显然超过了其他流行的网络架构。

参见图12，显示了在NewCollege数据集中，分别采用DenseNet和Xception时图像之间的欧氏距离。其中，Xception的高层次特征更多的关注图像的语义信息，图像的之间的区别性比DenseNet差。如果想要得到结合不同层次的特征，目前常用的方法就是对他们进行组合。但是DenseNet在网络框架中帮助我们完成了这一工作，最后几层的输出自然地集成了低层次和高层次的特征。此外，卷积深度网络中ReLU层具有较低的噪声，并且在不同环境中表现的更加稳定。

其次，可以将WVLAD编码方式和其他编码方式进行比较，参见图13，采用两种人工特征(ORB和SIFT)和两种编码方法(BoW和VLAD)作为对比对象。其中，VLAD码本有512个聚类中心，和WVLAD相同，BoW码本有10000个视觉单词。由图11可知，WVLAD可以比BoW和VLAD两种编码方法取得更好的结果，并且基于DenseNet的WVLAD和VLAD编码方法表现远远超过人工特征。

本发明通过City Center数据集和New College数据集进行验证，相较于其他流行的网络架构和BoW和VLAD两种编码方法，在回环检测下对视角变换和尺度变换的鲁棒性有较为显著的提升。

为了实现上述实施例，本发明还提出一种机器人回环检测装置。

图14为本发明实施例五所提供的机器人回环检测装置的结构示意图。

如图14所示，该机器人回环检测装置包括：采集模块110、解耦模块120、编码模块130，以及决策模块140。

其中，采集模块110，用于获取机器人采集的当前图像，并将当前图像输入至稠密连接的卷积神经网络DenseNet，得到全局特征；其中，稠密连接的卷积神经网络DenseNet由多层稠密块组成，每层稠密块与其他层稠密块以前馈方式进行连接。

解耦模块120，用于根据特征映射解耦算法，对全局特征进行解耦，得到局部特征。

编码模块130，用于根据加权局部特征聚合描述符编码算法，对局部特征进行编码处理，得到编码结果。

作为一种可能的实现方式，编码模块130，具体用于：计算局部特征的加权特征图和加权通道向量；根据加权特征图和加权通道向量，计算目标特征图；根据局部特征聚合描述符编码算法，对目标特征图对应的二维局部描述子进行编码处理，得到编码结果。

决策模块140，用于计算编码结果对应的第一局部敏感哈希值，并根据第一局部敏感哈希值，确定与当前图像相似的目标图像，其中，目标图像为机器人在移动过程中采集的，或者为机器人本地存储的。

进一步地，在本发明实施例的一种可能的实现方式中，参见图15，在图14所示实施例的基础上，该机器人回环检测装置还可以包括：处理模块150。

处理模块150，用于在根据特征映射解耦算法，对初始图像特征进行解耦，得到局部图像特征之后，根据最大池化算法，对局部特征进行池化处理，以降低局部特征包括的通道数。

作为一种可能的实现方式，决策模块140，具体用于：计算第一局部敏感哈希值与预设的哈希表中各第二局部敏感哈希值的相似度；其中，哈希表是在计算机器人采集的历史图像对应的第二局部敏感哈希值后，将第二局部敏感哈希值和历史图像对应存储得到的；判断是否存在一个相似度大于或者等于预设阈值；若存在至少一个相似度大于预设阈值，则根据最大相似度，确定目标图像。

作为另一种可能的实现方式，决策模块140，还用于：若所有的相似度均小于预设阈值，则确定未存在与当前图像相似的目标图像。

需要说明的是，前述对机器人回环检测方法实施例的解释说明也适用于该实施例的机器人回环检测装置，此处不再赘述。

本发明实施例的机器人回环检测装置，通过获取机器人采集的当前图像，并将当前图像输入至稠密连接的卷积神经网络DenseNet，得到全局特征，而后，根据特征映射解耦算法，对全局特征进行解耦，得到局部特征，之后，根据加权局部特征聚合描述符编码算法，对局部特征进行编码处理，得到编码结果，最后，计算编码结果对应的第一局部敏感哈希值，并根据第一局部敏感哈希值，确定与当前图像相似的目标图像。由此，可以准确识别当前图像中的场景是否为机器人之前走过的场景，提升回环检测的准确性，从而纠正SLAM系统累积的历史误差。并且，基于局部敏感哈希算法，确定与当前图像相似的目标图像，可以提升计算的实时性，从而提升回环检测的实时性。此外，还可以提升机器人进行回环检测时抵抗视角、光照、季节等变换的鲁棒性，同时，提高了对包含相似的纹理或者相似的表面特征的不同场景的识别能力。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种机器人回环检测方法，其特征在于，包括：

获取机器人采集的当前图像，并将所述当前图像输入至稠密连接的卷积神经网络DenseNet，得到全局特征；其中，所述稠密连接的卷积神经网络DenseNet由多层稠密块组成，每层稠密块与其他层稠密块以前馈方式进行连接；

根据特征映射解耦算法，对所述全局特征进行解耦，得到局部特征；

根据加权局部特征聚合描述符编码算法，对所述局部特征进行编码处理，得到编码结果；

计算所述编码结果对应的第一局部敏感哈希值，并根据所述第一局部敏感哈希值，确定与所述当前图像相似的目标图像，其中，所述目标图像为所述机器人在移动过程中采集的，或者为所述机器人本地存储的；

其中，所述根据加权局部特征聚合描述符编码算法，对所述局部特征进行编码处理，得到编码结果，包括：

计算所述局部特征的加权特征图和加权通道向量；其中，将所有通道对应的特征图X_c相加，得到S，对S进行L2范式和开方处理，得到FW对应的权重值S'，则

其中，所述FW表示二维的加权特征图；所述加权通道向量CW通过下述公式计算得到：

其中，

X∈R^(H×W)表示二维特征图，C表示通道数，H表示特征图的高，W表示特征图的宽，c、h、w分别表示特征向量的位置，c为不高于C的自然数，h为不高于H的自然数，w为不高于W的自然数；

根据所述加权特征图和所述加权通道向量，计算目标特征图；其中，所述目标特征图F_weight通过下述公式计算得到：F_weight＝F′_c,h,w×CW_c，F′_c,h,w是根据F_c和FW的乘积得到的；其中，F_c表示为二维特征图X_c对应的三维特征图；

根据局部特征聚合描述符编码算法，对所述目标特征图对应的二维局部描述子进行编码处理，得到所述编码结果。

2.如权利要求1所述的方法，其特征在于，所述根据特征映射解耦算法，对所述全局特征进行解耦，得到局部特征之后，所述方法还包括：

根据最大池化算法，对所述局部特征进行池化处理，以降低所述局部特征包括的通道数。

3.如权利要求1所述的方法，所述根据所述第一局部敏感哈希值，确定与所述当前图像相似的目标图像，包括：

计算所述第一局部敏感哈希值与预设的哈希表中各第二局部敏感哈希值的相似度；其中，所述哈希表是在计算所述机器人采集的历史图像对应的第二局部敏感哈希值后，将所述第二局部敏感哈希值和所述历史图像对应存储得到的；

判断是否存在一个相似度大于或者等于预设阈值；

若存在至少一个相似度大于预设阈值，则根据最大相似度，确定目标图像。

4.如权利要求3所述的方法，其特征在于，所述方法还包括：

若所有的相似度均小于预设阈值，则确定未存在与所述当前图像相似的目标图像。

5.一种机器人回环检测装置，其特征在于，包括：

采集模块，用于获取机器人采集的当前图像，并将所述当前图像输入至稠密连接的卷积神经网络DenseNet，得到全局特征；其中，所述稠密连接的卷积神经网络DenseNet由多层稠密块组成，每层稠密块与其他层稠密块以前馈方式进行连接；

解耦模块，用于根据特征映射解耦算法，对所述全局特征进行解耦，得到局部特征；

编码模块，用于根据加权局部特征聚合描述符编码算法，对所述局部特征进行编码处理，得到编码结果；

决策模块，用于计算所述编码结果对应的第一局部敏感哈希值，并根据所述第一局部敏感哈希值，确定与所述当前图像相似的目标图像，其中，所述目标图像为所述机器人在移动过程中采集的，或者为所述机器人本地存储的；

其中，所述编码模块，具体用于：

计算所述局部特征的加权特征图和加权通道向量；其中，将所有通道对应的特征图X_c相加，得到S，对S进行L2范式和开方处理，得到FW对应的权重值S'，则

其中，FW表示二维的加权特征图；所述加权通道向量CW通过下述公式计算得到：

其中，

X∈R^(H×W)表示二维特征图，C表示通道数，H表示特征图的高，W表示特征图的宽，c、h、w分别表示特征向量的位置，c为不高于C的自然数，h为不高于H的自然数，w为不高于W的自然数；

根据所述加权特征图和所述加权通道向量，计算目标特征图；其中，所述目标特征图F_weight通过下述公式计算得到：F_weight＝F′_c,h,w×CW_c，F′_c,h,w是根据F_c和FW的乘积得到的；其中，F_c表示为二维特征图X_c对应的三维特征图；

根据局部特征聚合描述符编码算法，对所述目标特征图对应的二维局部描述子进行编码处理，得到所述编码结果。

6.如权利要求5所述的装置，其特征在于，所述装置还包括：

处理模块，用于在所述根据特征映射解耦算法，对所述全局特征进行解耦，得到局部特征之后，根据最大池化算法，对所述局部特征进行池化处理，以降低所述局部特征包括的通道数。

7.如权利要求5所述的装置，所述决策模块，具体用于：

计算所述第一局部敏感哈希值与预设的哈希表中各第二局部敏感哈希值的相似度；其中，所述哈希表是在计算所述机器人采集的历史图像对应的第二局部敏感哈希值后，将所述第二局部敏感哈希值和所述历史图像对应存储得到的；

判断是否存在一个相似度大于或者等于预设阈值；

若存在至少一个相似度大于预设阈值，则根据最大相似度，确定目标图像。

8.如权利要求7所述的装置，其特征在于，所述决策模块，还用于：

若所有的相似度均小于预设阈值，则确定未存在与所述当前图像相似的目标图像。

Images