CN111368624A - 基于生成对抗网络的回环检测方法和装置 - Google Patents

Abstract

本申请公开了一种基于生成对抗网络的回环检测方法和装置，涉及回环检测领域。该方法包括：将数据集中的所有图像输入生成对抗网络进行训练，生成器进行计算后输出特征点概率图和深度特征描述子，鉴别器根据特征点概率图和深度特征描述子进行判别处理，输出图像来自真实数据的概率，获取当前位置的图像，输入到训练好的生成对抗网络，计算其与多个待比较图像中每一个图像的相似性，根据相似性计算结果确定有图像符合相似性条件时，确定发生回环。该装置包括：处理模块、计算模块、判别模块和检测模块。本申请利用神经网络出色的判断能力提升了回环检测的性能，提升了回环检测的准确率，而且使得训练的过程不完全依靠数据集。

Description

基于生成对抗网络的回环检测方法和装置

技术领域

本申请涉及回环检测领域，特别是涉及一种基于生成对抗网络的回环检测方法和装置。

背景技术

vSLAM(Visual Simultaneous Localization And Mapping，基于视觉的即时定位与地图构建)系统中回环检测的关键，就是找出和目前这一帧信息基本一样的历史帧，来甄别出相机是否经过同一个场景。但现实场景中有许多相似或相同的物体，拍摄角度不同，结果就会产生偏差，影响回环的准确检测。如果成功的检测到这件事，就可以为后端提供更多的有效数据，使之可以得到更好的估计结果，特别是得到一个全局一致的估计结果。

传统的回环检测大致分为两种思路：一种是基于视觉里程计的几何关系，另一种是基于外观。基于视觉里程计的几何关系是依靠位姿判断机器人是否回到探索过的区域，如果位姿的距离足够小就认为产生了回环。早期Olson等人考虑传感器的测量精度范围，通过比较当前点和之前所有点位姿之间的马氏距离来判断是否产生回环。基于外观的方法通常采用BoW(Bag-of-Word，词袋模型)，字典生成问题类似一个聚类问题，即一种无监督的机器学习，词袋模型对图像中视觉特征描述子进行聚类，每个单词可以看作局部相邻特征点的集合，建立词典，然后在词袋中找到对应的单词。随着神经网络的发展，出现了基于AlexNet的回环检测，以及基于PCANet的回环检测等等。

传统基于视觉里程计的几何关系方法，由于视觉里程计累计误差的存在，往往精度很差，无法判断回到之前的某个位置附近的事实。而基于外观的方法中，词袋模型在场景不断发生变化时的特征提取鲁棒性较低，对于环境及装饰非常相似的情况易发生误认为回到出发点的情况。而且基于神经网络的回环检测训练依赖于数据集，数据集的好坏直接影响训练的结果。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种基于生成对抗网络的回环检测方法，包括：

将数据集中的所有图像输入GAN(Generative Adversarial Networks，生成对抗网络)进行训练，所述生成对抗网络包括生成器和鉴别器；

所述生成器进行计算后输出特征点概率图和深度特征描述子给所述鉴别器；

所述鉴别器根据所述特征点概率图和深度特征描述子进行判别处理，输出所述图像来自真实数据的概率；

获取当前位置的图像，将所述当前位置的图像输入到训练好的所述生成对抗网络，计算其与多个待比较图像中每一个图像的相似性，根据相似性计算结果确定有图像符合相似性条件时，确定发生回环。

可选地，所述生成器进行计算后输出特征点概率图和深度特征描述子给所述鉴别器，包括：

所述生成器包括编码器和解码器，所述解码器包括特征点检测器和描述子提取器；

所述编码器使用VGGNet16网络结构计算后，经所述特征点检测器和描述子提取器处理后，输出特征点概率图和深度特征描述子给所述鉴别器。

可选地，所述鉴别器根据所述特征点概率图和深度特征描述子进行判别处理，输出所述图像来自真实数据的概率，包括：

所述鉴别器使用VGGNet16网络结构，根据所述特征点概率图和深度特征描述子进行判别处理，输出所述图像来自真实数据的概率。

可选地，计算其与多个待比较图像中每一个图像的相似性，包括：

在所述数据集的所有图像中，排除距离所述当前位置的图像最近的L个图像，将其余图像确定为待比较图像；

计算输入的所述当前位置的图像与所述待比较图像中的每一个图像的余弦相似性。

可选地，所述根据相似性计算结果确定有图像符合相似性条件时，确定发生回环，包括：

在得到的所有余弦相似性中，判断是否有超出指定阈值的，如果有，则确定发生回环。

根据本申请的另一个方面，提供了一种基于生成对抗网络的回环检测装置，包括：

处理模块，其配置成将数据集中的所有图像输入生成对抗网络进行训练，所述生成对抗网络包括生成器和鉴别器；

计算模块，其配置成使用所述生成器进行计算后输出特征点概率图和深度特征描述子给所述鉴别器；

判别模块，其配置成使用所述鉴别器根据所述特征点概率图和深度特征描述子进行判别处理，输出所述图像来自真实数据的概率；

检测模块，其配置成获取当前位置的图像，将所述当前位置的图像输入到训练好的所述生成对抗网络，计算其与多个待比较图像中每一个图像的相似性，根据相似性计算结果确定有图像符合相似性条件时，确定发生回环。

可选地，所述计算模块具体配置成：

所述生成器包括编码器和解码器，所述解码器包括特征点检测器和描述子提取器；

所述编码器使用VGGNet16网络结构计算后，经所述特征点检测器和描述子提取器处理后，输出特征点概率图和深度特征描述子给所述鉴别器。

可选地，所述判别模块具体配置成：

所述鉴别器使用VGGNet16网络结构，根据所述特征点概率图和深度特征描述子进行判别处理，输出所述图像来自真实数据的概率。

可选地，所述检测模块具体配置成：

在所述数据集的所有图像中，排除距离所述当前位置的图像最近的L个图像，将其余图像确定为待比较图像；

计算输入的所述当前位置的图像与所述待比较图像中的每一个图像的余弦相似性。

可选地，所述检测模块具体配置成：

在得到的所有余弦相似性中，判断是否有超出指定阈值的，如果有，则确定发生回环。

根据本申请的又一个方面，提供了一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的方法。

根据本申请的又一个方面，提供了一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如上所述的方法。

根据本申请的又一个方面，提供了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行上述的方法。

本申请提供的技术方案，通过将数据集中的所有图像输入生成对抗网络进行训练，生成器进行计算后输出特征点概率图和深度特征描述子，鉴别器根据特征点概率图和深度特征描述子进行判别处理，输出所述图像来自真实数据的概率，获取当前位置的图像，入到训练好的生成对抗网络，计算其与多个待比较图像中每一个图像的相似性，根据相似性计算结果确定有图像符合相似性条件时，确定发生回环，利用神经网络出色的判断能力提升了回环检测的性能，应用生成对抗网络进行vSLAM的回环检测，获得了比其他神经网络更高的准确性，提升了回环检测的准确率，而且使得训练的过程不完全依靠数据集。

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本申请一个实施例的基于生成对抗网络的回环检测方法流程图；

图2是根据本申请另一个实施例的基于生成对抗网络的回环检测方法流程图；

图3是根据本申请另一个实施例的基于生成对抗网络的回环检测装置结构图；

图4是根据本申请另一个实施例的计算设备结构图；

图5是根据本申请另一个实施例的计算机可读存储介质结构图。

具体实施方式

回环检测是vSLAM中重要的一部分。随着相机的运动，传感器的数据，计算出的相机位姿，都是有误差的，即使进行优化仍然会存在累积误差。而消除误差最有效的办法是发现闭环，回环检测需要机器人实时在移动中判断是否访问过该位置，并根据闭环对所有结果进行优化。本申请实施例提供一种基于生成对抗网络的回环检测方法和装置，通过相机获取的环境图像来分辨是否经过同一位置。

图1是根据本申请一个实施例的基于生成对抗网络的回环检测方法流程图。

参见图1，该方法包括：

101：将数据集中的所有图像输入生成对抗网络进行训练，生成对抗网络包括生成器和鉴别器；

102：生成器进行计算后输出特征点概率图和深度特征描述子给鉴别器；

103：鉴别器根据特征点概率图和深度特征描述子进行判别处理，输出图像来自真实数据的概率；

104：获取当前位置的图像，将当前位置的图像输入到训练好的生成对抗网络，计算其与多个待比较图像中每一个图像的相似性，根据相似性计算结果确定有图像符合相似性条件时，确定发生回环。

本实施例中，可选的，生成器进行计算后输出特征点概率图和深度特征描述子给鉴别器，包括：

生成器包括编码器和解码器，解码器包括特征点检测器和描述子提取器；

编码器使用VGGNet16网络结构计算后，经特征点检测器和描述子提取器处理后，输出特征点概率图和深度特征描述子给鉴别器。

本实施例中，可选的，鉴别器根据特征点概率图和深度特征描述子进行判别处理，输出图像来自真实数据的概率，包括：

鉴别器使用VGGNet16网络结构，根据特征点概率图和深度特征描述子进行判别处理，输出图像来自真实数据的概率。

本实施例中，可选的，计算其与多个待比较图像中每一个图像的相似性，包括：

在数据集的所有图像中，排除距离当前位置的图像最近的L个图像，将其余图像确定为待比较图像；

计算输入的当前位置的图像与待比较图像中的每一个图像的余弦相似性。

本实施例中，可选的，根据相似性计算结果确定有图像符合相似性条件时，确定发生回环，包括：

在得到的所有余弦相似性中，判断是否有超出指定阈值的，如果有，则确定发生回环。

本实施例提供的上述方法，通过将数据集中的所有图像输入生成对抗网络进行训练，生成器进行计算后输出特征点概率图和深度特征描述子，鉴别器根据特征点概率图和深度特征描述子进行判别处理，输出所述图像来自真实数据的概率，获取当前位置的图像，入到训练好的生成对抗网络，计算其与多个待比较图像中每一个图像的相似性，根据相似性计算结果确定有图像符合相似性条件时，确定发生回环，利用神经网络出色的判断能力提升了回环检测的性能，应用生成对抗网络进行vSLAM的回环检测，获得了比其他神经网络更高的准确性，提升了回环检测的准确率，而且使得训练的过程不完全依靠数据集。

图2是根据本申请另一个实施例的基于生成对抗网络的回环检测方法流程图。参见图2，该方法包括：

201：将数据集中的所有图像输入生成对抗网络进行训练，生成对抗网络包括生成器和鉴别器，生成器包括编码器和解码器，解码器包括特征点检测器和描述子提取器；

本实施例采用的实验数据集为City Center和New College数据集，由牛津大学移动机器人团队收集的专门用于vSLAM的闭环检测算法的评估验证数据集，目的是进行vSLAM回环检测的实验。该数据集包含了1073对图像，它们是由移动平台左右两边分别放置的摄像头采集，移动平台每行进1.5m采集一次图像，且在不同的光线、通透度、背景杂乱程度下在室外进行数据采集，符合实际情况对回环检测的要求。该数据集中还给出了形成闭环区域的真实标注，标注以矩阵的形式给出，若图像i与图像j形成闭环区域，则(i,j)对应的数值为1，否则为0。

202：编码器使用VGGNet16网络结构计算后，经特征点检测器和描述子提取器处理后，输出特征点概率图和深度特征描述子给鉴别器；

203：鉴别器使用VGGNet16网络结构，根据特征点概率图和深度特征描述子进行判别处理，输出图像来自真实数据的概率；

204：获取当前位置的图像，将当前位置的图像输入到训练好的生成对抗网络，在数据集的所有图像中，排除距离当前位置的图像最近的L个图像，将其余图像确定为待比较图像；

本实施例中，可选的，由于与当前位置的图像距离相近的图像，余弦相似度很高，故无需计算距离最近的L张图像，将其排除在外，计算当前位置图像与N-L张图像的余弦相似度，N为数据集中所有图像的个数。

205：计算输入的当前位置的图像与待比较图像中的每一个图像的余弦相似性，在得到的所有余弦相似性中，判断是否有超出指定阈值的，如果有，则确定发生回环。

本实施例中，可选的，如果所述当前位置的图像确定未发生回环，则获取下一个当前位置的图像继续检测，直到确定发生回环为止。

本实施例中，可选的，还可以使用精准率和召回率来判断算法的好坏，并做出Precision-Recall曲线，通过和数据集中真实的回环数据比对可以得到成功率。

本实施例提供的上述方法，通过将数据集中的所有图像输入生成对抗网络进行训练，生成器进行计算后输出特征点概率图和深度特征描述子，鉴别器根据特征点概率图和深度特征描述子进行判别处理，输出所述图像来自真实数据的概率，获取当前位置的图像，入到训练好的生成对抗网络，计算其与多个待比较图像中每一个图像的相似性，根据相似性计算结果确定有图像符合相似性条件时，确定发生回环，利用神经网络出色的判断能力提升了回环检测的性能，应用生成对抗网络进行vSLAM的回环检测，获得了比其他神经网络更高的准确性，提升了回环检测的准确率，而且使得训练的过程不完全依靠数据集。

图3是根据本申请另一个实施例的基于生成对抗网络的回环检测装置结构图。参见图3，该装置包括：

处理模块301，其配置成将数据集中的所有图像输入生成对抗网络进行训练，生成对抗网络包括生成器和鉴别器；

计算模块302，其配置成使用生成器进行计算后输出特征点概率图和深度特征描述子给鉴别器；

判别模块303，其配置成使用鉴别器根据特征点概率图和深度特征描述子进行判别处理，输出图像来自真实数据的概率；

检测模块304，其配置成获取当前位置的图像，将当前位置的图像输入到训练好的生成对抗网络，计算其与多个待比较图像中每一个图像的相似性，根据相似性计算结果确定有图像符合相似性条件时，确定发生回环。

本实施例中，可选的，计算模块具体配置成：

生成器包括编码器和解码器，解码器包括特征点检测器和描述子提取器；

编码器使用VGGNet16网络结构计算后，经特征点检测器和描述子提取器处理后，输出特征点概率图和深度特征描述子给鉴别器。

本实施例中，可选的，判别模块具体配置成：

鉴别器使用VGGNet16网络结构，根据特征点概率图和深度特征描述子进行判别处理，输出图像来自真实数据的概率。

本实施例中，可选的，检测模块具体配置成：

在数据集的所有图像中，排除距离当前位置的图像最近的L个图像，将其余图像确定为待比较图像；

计算输入的当前位置的图像与待比较图像中的每一个图像的余弦相似性。

本实施例中，可选的，检测模块具体配置成：

在得到的所有余弦相似性中，判断是否有超出指定阈值的，如果有，则确定发生回环。

本实施例提供的上述装置，可以执行上述任一方法实施例提供的方法，详细过程详见方法实施例中的描述，此处不再赘述。

本实施例提供的上述装置，通过将数据集中的所有图像输入生成对抗网络进行训练，生成器进行计算后输出特征点概率图和深度特征描述子，鉴别器根据特征点概率图和深度特征描述子进行判别处理，输出所述图像来自真实数据的概率，获取当前位置的图像，入到训练好的生成对抗网络，计算其与多个待比较图像中每一个图像的相似性，根据相似性计算结果确定有图像符合相似性条件时，确定发生回环，利用神经网络出色的判断能力提升了回环检测的性能，应用生成对抗网络进行vSLAM的回环检测，获得了比其他神经网络更高的准确性，提升了回环检测的准确率，而且使得训练的过程不完全依靠数据集。

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

本申请实施例还提供了一种计算设备，参照图4，该计算设备包括存储器1120、处理器1110和存储在所述存储器1120内并能由所述处理器1110运行的计算机程序，该计算机程序存储于存储器1120中的用于程序代码的空间1130，该计算机程序在由处理器1110执行时实现用于执行任一项根据本发明的方法步骤1131。

本申请实施例还提供了一种计算机可读存储介质。参照图5，该计算机可读存储介质包括用于程序代码的存储单元，该存储单元设置有用于执行根据本发明的方法步骤的程序1131′，该程序被处理器执行。

本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行根据本发明的方法步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于生成对抗网络的回环检测方法，包括：

将数据集中的所有图像输入生成对抗网络进行训练，所述生成对抗网络包括生成器和鉴别器；

所述生成器进行计算后输出特征点概率图和深度特征描述子给所述鉴别器；

所述鉴别器根据所述特征点概率图和深度特征描述子进行判别处理，输出所述图像来自真实数据的概率；

获取当前位置的图像，将所述当前位置的图像输入到训练好的所述生成对抗网络，计算其与多个待比较图像中每一个图像的相似性，根据相似性计算结果确定有图像符合相似性条件时，确定发生回环。

2.根据权利要求1所述的方法，其特征在于，所述生成器进行计算后输出特征点概率图和深度特征描述子给所述鉴别器，包括：

所述生成器包括编码器和解码器，所述解码器包括特征点检测器和描述子提取器；

所述编码器使用VGGNet16网络结构计算后，经所述特征点检测器和描述子提取器处理后，输出特征点概率图和深度特征描述子给所述鉴别器。

3.根据权利要求1所述的方法，其特征在于，所述鉴别器根据所述特征点概率图和深度特征描述子进行判别处理，输出所述图像来自真实数据的概率，包括：

所述鉴别器使用VGGNet16网络结构，根据所述特征点概率图和深度特征描述子进行判别处理，输出所述图像来自真实数据的概率。

4.根据权利要求1所述的方法，其特征在于，计算其与多个待比较图像中每一个图像的相似性，包括：

在所述数据集的所有图像中，排除距离所述当前位置的图像最近的L个图像，将其余图像确定为待比较图像；

计算输入的所述当前位置的图像与所述待比较图像中的每一个图像的余弦相似性。

5.根据权利要求4所述的方法，其特征在于，所述根据相似性计算结果确定有图像符合相似性条件时，确定发生回环，包括：

在得到的所有余弦相似性中，判断是否有超出指定阈值的，如果有，则确定发生回环。

6.一种基于生成对抗网络的回环检测装置，包括：

处理模块，其配置成将数据集中的所有图像输入生成对抗网络进行训练，所述生成对抗网络包括生成器和鉴别器；

计算模块，其配置成使用所述生成器进行计算后输出特征点概率图和深度特征描述子给所述鉴别器；

判别模块，其配置成使用所述鉴别器根据所述特征点概率图和深度特征描述子进行判别处理，输出所述图像来自真实数据的概率；

检测模块，其配置成获取当前位置的图像，将所述当前位置的图像输入到训练好的所述生成对抗网络，计算其与多个待比较图像中每一个图像的相似性，根据相似性计算结果确定有图像符合相似性条件时，确定发生回环。

7.根据权利要求6所述的装置，其特征在于，所述计算模块具体配置成：

所述生成器包括编码器和解码器，所述解码器包括特征点检测器和描述子提取器；

所述编码器使用VGGNet16网络结构计算后，经所述特征点检测器和描述子提取器处理后，输出特征点概率图和深度特征描述子给所述鉴别器。

8.根据权利要求6所述的装置，其特征在于，所述判别模块具体配置成：

所述鉴别器使用VGGNet16网络结构，根据所述特征点概率图和深度特征描述子进行判别处理，输出所述图像来自真实数据的概率。

9.根据权利要求6所述的装置，其特征在于，所述检测模块具体配置成：

在所述数据集的所有图像中，排除距离所述当前位置的图像最近的L个图像，将其余图像确定为待比较图像；

计算输入的所述当前位置的图像与所述待比较图像中的每一个图像的余弦相似性。

10.根据权利要求9所述的装置，其特征在于，所述检测模块具体配置成：

在得到的所有余弦相似性中，判断是否有超出指定阈值的，如果有，则确定发生回环。

Images