CN112270384B

CN112270384B - 一种回环检测方法、装置及电子设备和存储介质

Info

Publication number: CN112270384B
Application number: CN202011306240.6A
Authority: CN
Inventors: 胡建兵
Original assignee: Hunan Goke Microelectronics Co Ltd
Current assignee: Hunan Goke Microelectronics Co Ltd
Priority date: 2020-11-19
Filing date: 2020-11-19
Publication date: 2023-06-13
Anticipated expiration: 2040-11-19
Also published as: CN112270384A

Abstract

本申请公开了一种回环检测方法、装置及电子设备和计算机可读存储介质，该方法包括：获取待检测的多通道图像，将多通道图像输入预先训练的CNN神经网络中，提取CNN神经网络预设层输出的目标特征图和高维向量；若存在多通道图像对应的历史关键帧，则确定历史关键帧的历史向量与当前高维向量的余弦相似度；若余弦相似度大于第一阈值，则确定历史关键帧对应的历史特征图与目标特征图的匹配度；若匹配度大于第二阈值，则确定最终检测结果为存在回环。本申请利用CNN神经网络实现特征图和高维向量的输出，并结合特征图和高维向量共同完成回环检测确认，避免了多帧匹配的过程，提升了回环检测效率，且避免了存储、迁移和匹配过程导致的资源浪费。

Description

一种回环检测方法、装置及电子设备和存储介质

技术领域

本申请涉及图像处理技术领域，更具体地说，涉及一种回环检测方法、装置及一种电子设备和一种计算机可读存储介质。

背景技术

传统的回环检测方案，通常包括以下流程：将关键帧使用特征提取方法生成特征数据，采用一定的结构模型对特征点进行建模，例如生成树、生成字典等，进而对后续图像进行特征树或特征字典的匹配，并进行相似度比较。若同一关键帧有多帧确认后，则更新回环检测结果。

然而，上述传统检测方案中，不同的特征提取算子将会影响生成的查询字典或特征树的复杂度和内存开销，且如果生成的字典规模较大，不利于存储和迁移。而由于匹配时需要对大量的数据进行比对，导致效率不高。

因此，如何解决上述问题是本领域技术人员需要重点关注的。

发明内容

本申请的目的在于提供一种回环检测方法、装置及一种电子设备和一种计算机可读存储介质，提升了回环检测效率，且避免了资源浪费问题。

为实现上述目的，本申请提供了一种回环检测方法，包括：

获取待检测的多通道图像，将所述多通道图像输入预先训练的CNN神经网络中，提取所述CNN神经网络预设层输出的目标特征图和高维向量；

若存在所述多通道图像对应的历史关键帧，则确定所述历史关键帧的历史向量与当前所述高维向量的余弦相似度；

若所述余弦相似度大于第一阈值，则确定所述历史关键帧对应的历史特征图与所述目标特征图的匹配度；

若所述匹配度大于第二阈值，则确定最终检测结果为存在回环。

可选的，所述确定所述历史关键帧的历史向量与当前所述高维向量的余弦相似度之后，还包括：

若所述余弦相似度小于所述第一阈值，则确定初步检测结果为不存在回环，并直接输出所述初步检测结果，禁止执行所述确定所述历史关键帧对应的历史特征图与所述目标特征图的匹配度的过程；

若所述余弦相似度大于所述第一阈值，且所述匹配度小于所述第二阈值，则确定所述最终检测结果为不存在回环。

可选的，所述将所述多通道图像输入预先训练的CNN神经网络中，提取所述CNN神经网络预设层输出的目标特征图和高维向量之后，还包括：

将所述目标特征图和所述高维向量保存至预设存储器，所述预设存储器用于存储历史提取的特征图和高维向量。

可选的，所述CNN神经网络的训练过程包括：

获取多通道图像样本，并对所述多通道图像样本进行图像增强处理；

利用增强处理后图像样本进行CNN神经网络的训练，得到用于提取特征图和高维向量的CNN神经网络。

可选的，所述对所述多通道图像样本进行图像增强处理，包括：

利用随机选取的图像增强处理方式，对所述多通道图像样本进行增强处理，得到增强处理后图像样本；其中，所述图像增强处理方式包括光照增强处理、缩放增强处理、场景增强处理和噪声增强处理。

可选的，所述利用增强处理后图像样本进行CNN神经网络的训练，包括：

通过图像ID训练模式和/或图像组训练模式，利用所述增强处理后图像样本进行CNN神经网络的训练。

为实现上述目的，本申请提供了一种回环检测装置，包括：

图像输入模块，用于获取待检测的多通道图像，将所述多通道图像输入预先训练的CNN神经网络中，提取所述CNN神经网络预设层输出的目标特征图和高维向量；

相似度确定模块，用于若存在所述多通道图像对应的历史关键帧，则确定所述历史关键帧的历史向量与当前所述高维向量的余弦相似度；

匹配度确定模块，用于若所述余弦相似度大于第一阈值，则确定所述历史关键帧对应的历史特征图与所述目标特征图的匹配度；

第一结果确定模块，用于若所述匹配度大于第二阈值，则确定最终检测结果为存在回环。

可选的，还包括：

第二结果确定模块，用于在确定所述历史关键帧的历史向量与当前所述高维向量的余弦相似度之后，若所述余弦相似度小于所述第一阈值，则确定初步检测结果为不存在回环，并直接输出所述初步检测结果，禁止执行所述确定所述历史关键帧对应的历史特征图与所述目标特征图的匹配度的过程；

第三结果确定模块，用于若所述余弦相似度大于所述第一阈值，且所述匹配度小于所述第二阈值，则确定所述最终检测结果为不存在回环。

为实现上述目的，本申请提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现前述公开的任一种回环检测方法的步骤。

为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述公开的任一种回环检测方法的步骤。

通过以上方案可知，本申请提供的一种回环检测方法，包括：获取待检测的多通道图像，将所述多通道图像输入预先训练的CNN神经网络中，提取所述CNN神经网络预设层输出的目标特征图和高维向量；若存在所述多通道图像对应的历史关键帧，则确定所述历史关键帧的历史向量与当前所述高维向量的余弦相似度；若所述余弦相似度大于第一阈值，则确定所述历史关键帧对应的历史特征图与所述目标特征图的匹配度；若所述匹配度大于第二阈值，则确定最终检测结果为存在回环。由上可知，本申请利用CNN神经网络实现关键帧中特征图和高维向量的输出，并结合特征图和高维向量共同完成回环检测确认，避免了传统方式多帧匹配的过程，从而提升了回环检测效率，且避免了存储、迁移和匹配过程导致的资源浪费。

本申请还公开了一种回环检测装置及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种回环检测方法的流程图；

图2为本申请实施例公开的一种具体的回环检测方法的使用流程图；

图3为本申请实施例公开的一种回环检测装置的结构图；

图4为本申请实施例公开的一种电子设备的结构图；

图5为本申请实施例公开的另一种电子设备的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例公开了一种回环检测方法，提升了回环检测效率，且避免了资源浪费问题。

参见图1所示，本申请实施例公开的一种回环检测方法包括：

S101：获取待检测的多通道图像，将所述多通道图像输入预先训练的CNN神经网络中，提取所述CNN神经网络预设层输出的目标特征图和高维向量；

本申请实施例中，可首先获取待检测的多通道图像，该图像可具体为由图像采集装置实时获取到的图像。在获取到图像后，可将该图像输入预先训练的CNN神经网络，所述CNN神经网络具体用于进行目标特征图和高维向量的提取。将图像输入CNN神经网络之后，可获取CNN神经网络提取得到的目标特征图和高维向量。特征图，是由多个二维向量堆叠而成的三维向量，常见格式为c*h*w，其中，c表示有多少个二维向量，h、w表示每一个二维向量的宽度和高度数据。

需要指出的是，上述CNN神经网络预设层可具体指CNN神经网络的倒数第二层，这是由于更高的层不具备共通性，而倒数第一层信息覆盖范围过大，没有特异性，因此优选地选用倒数第二层。

可以理解的是，本实施例在将多通道图像输入预先训练的CNN神经网络中，提取CNN神经网络预设层输出的目标特征图和高维向量之后，还可以进一步将目标特征图和高维向量保存至预设存储器，所述预设存储器具体用于存储历史提取的特征图和高维向量，以便后续进行匹配。

S102：若存在所述多通道图像对应的历史关键帧，则确定所述历史关键帧的历史向量与当前所述高维向量的余弦相似度；

本步骤中，如果在预设存储器中保存了多通道图像对应的历史关键帧，则可获取历史关键帧的历史向量，进而确定历史向量与当前高维向量的余弦相似度。

S103：若所述余弦相似度大于第一阈值，则确定所述历史关键帧对应的历史特征图与所述目标特征图的匹配度；

在确定历史向量与当前高维向量的余弦相似度之后，可判断当前余弦相似度是否大于第一阈值。其中，第一阈值为预先根据实际的实施情况设定的数值，在此不对其进行具体限定。

若当前余弦相似度大于第一阈值，则可确定初步检测结果为存在回环，进而进一步确定历史关键帧对应的历史特征图与目标特征图的匹配度，以进行二次确认。若当前余弦相似度小于第一阈值，则确定初步检测结果为不存在回环，并直接输出初步检测结果，禁止执行后续确定历史关键帧对应的历史特征图与目标特征图的匹配度的过程。

S104：若所述匹配度大于第二阈值，则确定最终检测结果为存在回环。

可以理解的是，若匹配度大于第二阈值，则确定最终检测结果为存在回环，可返回相应的检测结果。而若匹配度小于第二阈值，则确定最终检测结果为不存在回环并返回结果。需要指出的是，所述第二阈值为预先根据实际的实施情况设定的数值，在此不对其进行具体限定。

作为一种可行的实施方式，本实施例中针对CNN神经网络的训练过程可以具体包括：获取多通道图像样本，并对多通道图像样本进行图像增强处理；利用增强处理后图像样本进行CNN神经网络的训练，得到用于提取特征图和高维向量的CNN神经网络。具体地，上述对多通道图像样本进行图像增强处理时，可利用随机选取的图像增强处理方式，对多通道图像样本进行增强处理，得到增强处理后图像样本；其中，图像增强处理方式可以包括但不限于光照增强处理、缩放增强处理、场景增强处理和噪声增强处理。

在利用增强处理后图像样本进行CNN神经网络的训练时，可以通过图像ID训练模式和/或图像组训练模式，利用增强处理后图像样本进行CNN神经网络的训练。图像ID训练模式，即每次选择一张图片，并告知模型该图片ID是多少；图像组训练模式，即每次选择多张图片，并告知模型该组图像对应同一个物体。

下面通过一种具体的实施场景对本申请实施例提供的回环检测方法进行介绍。首先，本申请实施例中的训练过程可以包括：对多通道图像样本进行光照、缩放、场景、噪声等数据增强处理，并随机选择图片ID训练和图片组训练两种模式中的一种，利用增强处理后的图像进行CNN神经网络模型的训练。

在完成模型训练后，参见图2所示，实际的使用过程可以包括：

第一步：将待检测的多通道图像直接输入CNN神经网络中；

第二步：提取CNN神经网络的倒数第二层输出的特征图和高维向量，并将特征图和高维向量进行存储；

第三步：在有对应的历史关键帧存在后，使用新图片的高维向量和历史向量进行比对，并通过高维向量的余弦相似度直接确认回环检测结果；

第四步：若余弦相似度大于预设的阈值，则可进一步通过高维向量对应的特征图进行二次确认，结合得到最终的回环检测结果。

本申请实施例中，可直接利用CNN神经网络模型生成特征图和高维向量，并结合特征图和高维向量共同完成回环检测确认，不仅针对不同场景、光照、噪声的鲁棒性更强，同时依赖于CNN的尺度自适应能力，无需进行多个尺度的数据提取。而CNN神经网络的计算模式固定，可以在专用硬件等进行大规模加速。另外，高维向量的存储需求少，建模方式容易，查询速度快，通过高维向量和特征图共同完成回环检测确认，避免了传统方法需要多次确认同一个关键帧才能判断回环检测结果时存在的资源浪费问题。

下面对本申请实施例提供的一种回环检测装置进行介绍，下文描述的一种回环检测装置与上文描述的一种回环检测方法可以相互参照。

参见图3所示，本申请实施例提供的一种回环检测装置包括：

图像输入模块201，用于获取待检测的多通道图像，将所述多通道图像输入预先训练的CNN神经网络中，提取所述CNN神经网络预设层输出的目标特征图和高维向量；

相似度确定模块202，用于若存在所述多通道图像对应的历史关键帧，则确定所述历史关键帧的历史向量与当前所述高维向量的余弦相似度；

匹配度确定模块203，用于若所述余弦相似度大于第一阈值，则确定所述历史关键帧对应的历史特征图与所述目标特征图的匹配度；

第一结果确定模块204，用于若所述匹配度大于第二阈值，则确定最终检测结果为存在回环。

关于上述模块201至204的具体实施过程可参考前述实施例公开的相应内容，在此不再进行赘述。

在上述实施例的基础上，作为一种优选实施方式，本申请实施例提供的回环检测装置还可以进一步包括：

本申请还提供了一种电子设备，参见图4所示，本申请实施例提供的一种电子设备包括：

存储器100，用于存储计算机程序；

处理器200，用于执行所述计算机程序时可以实现上述实施例所提供的步骤。

具体的，存储器100包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令，该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。处理器200在一些实施例中可以是一中央处理器(CentralProcessing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，为电子设备提供计算和控制能力，执行所述存储器100中保存的计算机程序时，可以实现前述任一实施例公开的回环检测方法。

在上述实施例的基础上，作为优选实施方式，参见图5所示，所述电子设备还包括：

输入接口300，与处理器200相连，用于获取外部导入的计算机程序、参数和指令，经处理器200控制保存至存储器100中。该输入接口300可以与输入装置相连，接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是键盘、触控板或鼠标等。

显示单元400，与处理器200相连，用于显示处理器200处理的数据以及用于显示可视化的用户界面。该显示单元400可以为LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。

网络端口500，与处理器200相连，用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术，如移动高清链接技术(MHL)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术等。

图5仅示出了具有组件100-500的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

本申请还提供了一种计算机可读存储介质，该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述任一实施例公开的回环检测方法。

本申请利用CNN神经网络实现关键帧中特征图和高维向量的输出，并结合特征图和高维向量共同完成回环检测确认，避免了传统方式多帧匹配的过程，从而提升了回环检测效率，且避免了存储、迁移和匹配过程导致的资源浪费。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种回环检测方法，其特征在于，包括：

2.根据权利要求1所述的回环检测方法，其特征在于，所述确定所述历史关键帧的历史向量与当前所述高维向量的余弦相似度之后，还包括：

3.根据权利要求1所述的回环检测方法，其特征在于，所述将所述多通道图像输入预先训练的CNN神经网络中，提取所述CNN神经网络预设层输出的目标特征图和高维向量之后，还包括：

4.根据权利要求1至3任一项所述的回环检测方法，其特征在于，所述CNN神经网络的训练过程包括：

5.根据权利要求4所述的回环检测方法，其特征在于，所述对所述多通道图像样本进行图像增强处理，包括：

6.根据权利要求4所述的回环检测方法，其特征在于，所述利用增强处理后图像样本进行CNN神经网络的训练，包括：

7.一种回环检测装置，其特征在于，包括：

8.根据权利要求7所述的回环检测装置，其特征在于，还包括：

9.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述回环检测方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述回环检测方法的步骤。