CN113591865A - 一种回环检测方法、装置以及电子设备 - Google Patents

Abstract

本申请实施例公开了一种回环检测方法、装置以及电子设备，涉及回环检测技术领域。方法包括：获取待检测环境的当前图像，对当前图像进行语义识别，获得当前图像的语义信息作为当前语义信息；获取当前语义信息所属的分类作为当前分类；获取预先建立的链表作为预设链表，从预设链表中查找与当前分类对应的预设分类，并获取预设分类包含的预设语义信息；基于当前语义信息与预设语义信息，确定回环检测匹配结果。本申请实施例基于当前图像的当前语义信息所对应的当前分类，从预设链表中查找与当前分类对应的预设分类，获取预设分类包括的预设语义信息，最终基于当前语义信息与预设语义信息确定回环检测结果，以提升回环检测方法的高效性。

Description

一种回环检测方法、装置以及电子设备

技术领域

本申请涉及回环检测技术领域，更具体地，涉及一种回环检测方法、装置以及电子设备。

背景技术

随着家用机器人行业的发展，视觉同步定位与建图(Visual SimultaneousLocalization and Mapping，VSLAM)技术呈现出了一个快速发展的态势。并且，随着社会的发展，VSLAM技术的应用范围不断扩大，例如，通过对摄像头采集的图像进行特征提取、光流计算、位姿解算等方式，从而定位机器人运行的位姿同时建立环境地图。但是目前通用的回环检测方法，回环检测耗时长、占用大量的处理器资源，因此回环检测成功率较低，严重影响整个系统的性能。

发明内容

鉴于上述问题，本申请提出了一种回环检测方法、装置以及电子设备，以解决上述问题。

第一方面，本申请实施例提供了一种回环检测方法，应用于电子设备，所述方法包括：获取待检测环境的当前图像，对所述当前图像进行语义识别，获得所述当前图像的语义信息作为当前语义信息；获取所述当前语义信息所属的分类作为当前分类；获取预先建立的链表作为预设链表，其中，所述预设链表中包括预设语义信息和所述预设分类的对应关系；从所述预设链表中查找与所述当前分类对应的预设分类，并获取所述预设分类包含的预设语义信息；基于所述当前语义信息与所述预设语义信息，确定回环检测匹配结果。

第二方面，本申请实施例提供了一种回环检测装置，应用于电子设备，所述装置包括：第一获取模块，用于获取待检测环境的当前图像，对所述当前图像进行语义识别，获得所述当前图像的语义信息作为当前语义信息；第二获取模块，用于获取所述当前语义信息所属的分类作为当前分类；预设链表获取模块，用于获取预先建立的链表作为预设链表，其中，所述预设链表中包括预设语义信息和所述预设分类的对应关系；分类查找模块，用于从所述预设链表中查找与所述当前分类对应的预设分类，并获取所述预设分类包含的预设语义信息；匹配检测模块，用于基于所述当前语义信息与所述预设语义信息，确定回环检测匹配结果。

第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行上述方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。

本申请实施例提供的回环检测方法、装置以及电子设备，当识别到图像时，对当前图像进行语义识别获得图形的语义信息，作为当前语义信息，根据当前语义信息进行分类，作为当前分类，获取预先建立的链表作为预设链表，基于当前分类从预设链表中查找与当前分类对应的预设分类，从而获取所述预设分类包含的预设语义信息，最终基于当前语义信息与预设语义信息，最终确定回环检测结果，以提升回环检测方法的高效性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了适用于本申请实施例提供的回环检测方法的应用环境示意图；

图2示出了本申请一个实施例提供的回环检测方法的流程示意图；

图3示出了本申请另一个实施例提供的回环检测方法的流程示意图；

图4示出了本申请再一个实施例提供的回环检测方法的流程示意图；

图5示出了本申请又另一个实施例提供的回环检测方法的流程示意图；

图6示出了本申请又再一个实施例提供的回环检测方法的流程示意图；

图7示出了本申请的再又一个实施例提供的回环检测方法的流程示意图；

图8本申请实施例提供的回环检测装置的模块框图。

图9示出了本申请实施例用于执行根据本申请实施例的回环检测方法的电子设备的框图；

图10示出了本申请实施例的用于保存或者携带实现根据本申请实施例的回环检测方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

随着社会的发展以及家用机器人行业的发展，视觉同步定位与建图技术的应用范围不断扩大，视觉同步定位与建图技术呈现出了一个快速发展的态势。例如，通过对摄像头采集的图像进行特征提取、光流计算、位姿解算等方式，从而定位机器人运行的位姿同时建立环境地图。但是目前通用的回环检测方法基于词袋模型算法，需要计算尺度不变特征变换(Scale-invariant feature transform，SIFT)，加速稳健特征(Speeded-Up RobustFeatures，SURF)，快速特征(Oriented FAST and Rotated BRIEF，ORB)等人工设计的图像特征，非常消耗计算资源，并且计算效率低下，回环检测耗时长、占用大量的中央处理器(central processing unit，CPU)资源，因此回环检测成功率较低，严重影响整个系统的性能。

因此，针对上述技术问题，发明人经过长期的研究发现并提出了一种回环检测方法、装置以及电子设备，设备端通过基于所述当前语义信息与所述预设语义信息，确定回环检测匹配结果，根据匹配结果对图像进行校准，以提升回环检测方法的高效性。其中，具体的回环检测处理方法在后续的实施例中进行详细的说明。

下面先对适用于本申请实施例提供的一种回环检测方法的应用场景进行介绍。

请参阅图1，图1示出了可用于本申请实施例提供的回环检测方法的应用场景示意图。电子设备(如扫地机器人)100在待检测环境中通过摄像头130获取待检测环境的图像，基于图像进行语义识别获得图像的语义信息，从而获得语义信息所属的分类，基于分类从预设链表中获取对应的预设分类以及预设分类对应的预设语义信息，基于当前语义信息与预设语义信息匹配，确定回环检测结果，根据结果对图像进行处理，进而最终图像处理后的结果显示到电子设备100的显示屏140上。

请参阅图2，图2示出了本申请一个实施例提供的回环检测方法的流程示意图。所示回环检测方法用于通过对当前换将进行图像获取获得当前图像，基于当前图像进行语义识别获得当前语义信息，根据当前语义信息进行分类，作为当前分类，以及从预设链表中查找与当前分类对应的预设分类，从而获取所述预设分类包含的预设语义信息，最终基于当前语义信息与预设语义信息确定回环检测结果，以提升回环检测方法的高效性。在具体的实施例中，所述回环检测方法应用于如图8所示的回环检测装置以及配置有所述回环检测装置200的电子设备100(图9)。下面将以电子设备为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的电子设备可以为智能手机、平板电脑、穿戴式电子设备，机器人等设置有摄像头与显示屏的电子设备，在此不做限定。下面将针对图2所示的流程进行详细的阐述，所述回环检测方法具体可以包括以下步骤：

步骤S110：获取待检测环境的当前图像，对所述当前图像进行语义识别，获得所述当前图像的语义信息作为当前语义信息。

在一些实施方式中，通过摄像头对于待检测环境进行当前图像的获取，其中，当前图像可以是彩色图像，也可以是灰度图像，还可以是二值图像，在此不作限定。

在另一些实施方式中，电子设备对于待检测环境图像的获取可以在电子设备的前台进行运行，也可以在电子设备的后台进行运行。电子设备可以通过带有摄像头的机器人获取待检测环境的当前图像，也可以通过摄像头与手机获取待检测环境的当前图像，其中，待检测环境的当前图像获取方式包括但不限于机器人、手机等。例如，当电子设备为机器人时，机器人直接通过自带的摄像头获取得到待检测环境的图像；当电子设备为手机时，手机预先与服务器相连接，摄像头获取待检测环境的图像后将图像传送至服务器，手机则通过服务器直接得到待检测环境的图像。

作为一种方式，待检测环境可以为室内环境，也可以为室外环境，例如，待检测环境可以是室内的卧室环境全景，也可以是室内的卧室环境的指定部分区域；待检测环境可以是室外的广场环境全景，也可以是室外的广场环境中有运动物体的区域，其中，运动物体包括但不限于人、移动的篮球、滑动的滑板、悬浮的羽毛球等，在此不作限定。作为又一种方式，待检测环境可以为随机区域，也可以为指定区域，例如，待检测环境可以是广场环境中的篮球场区域，也可以是指定的广场环境中的游戏区域，待检测环境可以是室内的客厅环境，也可以是指定的室内的客厅环境中的沙发区域。

在一些实施方式中，在获得当前图像后，可以对当前图像进行语义识别，获得语义信息。其中语义信息包括但不限于当前图像中的内容信息，当前图像的属性特征等。图像的属性特征，例如，图像的视觉层特征即颜色、纹理和形状等；图像对象层特征，就是某一对象在某一时刻的状态；图像概念层特征，即图像表达出的最接近人类理解的东西。

作为一种实施方式，当电子设备对当前图像进行语义识别时，语义识别的过程中使用预先设置好的NPU神经网络硬件加速模块。

作为另一种实施方式，电子设备可以预先设置并存储与环境图像对应的图像特征，然后将该图像特征与该环境图像相关联，该图像特征可以记录有环境图像的语义信息，在电子设备进行图像的语义识别的过程中，可以基于环境图像与图像特征的关联关系从电子的本地读取与该环境图像相关联的图像特征，从而获取该环境图像的语义信息。其中，环境图像的语义信息可以用于描述该环境图像，例如，环境图像为某个物体(如沙发)时，则该环境图像的语义信息可以用于描述该物体(如沙发)在环境图像中的位置、在环境图像中的大小、在环境图像中的颜色、在环境图像中的形状等。

作为再一种实施方式，电子设备可以预先设置并存储环境图像与语义信息之间的第一映射关系表，可以理解的是，该第一映射关系表中添加有多个或单个环境图像和多个或单个语义信息，其中，多个或单个环境图像中的每个环境图像可以对应一个或多个语义信息。因此，在获取电子设备得到的环境图像后，可以从第一映射关系表中查找该环境图像对应的语义信息，从而获取该当前图像的语义信息。

步骤S120：获取所述当前语义信息所属的分类作为当前分类。

在一些实施方式中，电子设备预先设置并存储有语义信息的分类，该语义信息的分类作为当前语义信息所属分类的分类依据，因此，电子设备在获得当前环境的当前语义信息之后，可以将当前环境的当前语义信息与语义信息的分类进行配对，以获取当前语义信息所属的分类即当前分类。在本实施例中，该语义信息的分类用于获取当前语义信息所属的分类，因此，可以理解的是，每种语义信息都有其相对应的分类。

在另一些实施方式中，根据不同的分类策略将当前语义信息分为不同的当前分类，示例性的，分类策略包括第一分类策略以及第二分类策略，根据第一分类策略将当前语义信息分为第一当前分类，根据第二分类策略将当前语义信息分为第二当前分类。例如，第一分类策略为物体作用，基于物体作用对当前语义信息进行分类，获取对应的第一当前分类；第二分类策略为物体形状，基于物体形状对当前语义信息进行分类，获取对应的第二当前分类。

步骤S130：获取预先建立的链表作为预设链表，其中，所述预设链表中包括预设语义信息和所述预设分类的对应关系。

作为一种方式，可以预先建立并存储包括有预设语音信息和预设分类的对应关系的链表，相应地，在进行回环检测时，可以从存储处获取预先建立的链表。

作为又一种方式，可以在进行回环检测时，建立并获取链表作为预设链表，其中，该预设链表中包括预设语义信息和预设分类的对应关系。

步骤S140：从所述预设链表中查找与所述当前分类对应的预设分类，并获取所述预设分类包含的预设语义信息。

在一些实施方式中，电子设备端预先设置并存储有多个预设分类，该多个预设分类用于作为当前分类的匹配依据，因此，电子设备在获得当前图像的当前分类后，可以将当前分类与多个预设分类进行匹配对比，从多个预设分类中确定当前分类对应的预设分类，再根据电子设备预先设置并存储的预设分类与预设语义信息的映射关系，获得与所述当前分类所对应的预设分类存在映射关系的预设语义信息。在本实施例中，该预设分类可以用于对于当前语义信息的当前分类对于预设语义信息的获得，因此，可以理解的是，当基于当前分类获得对应的预设分类与预设语义信息后，即可以进行下一步骤，以提升电子设备的工作效率。

作为一种实施方式，映射关系中添加有多个预设分类和多种预设语义信息，其中，多个预设分类中的每个预设分类可以对应一种或多种预设语义信息。因此，在获取电子设备语义识别到的当前分类以及从多个预设分类中确定当前分类对应的预设分类后，可以从第二映射关系表中查找该当前分类对应的预设分类对应的一个或多个预设语义信息，获得所需要的预设语义信息。

作为一种方式，当从第二映射关系表中查找到该当前分类对应的预设分类对应一个预设语义信息时，则可以直接确定将此一个预设语义信息进行下一步骤。当从第二映射关系表中查找到该当前对应的预设分类对应多个预设语义信息时，多个预设语义信息也需直接参与进行下一步骤的实施。

步骤S150：基于所述当前语义信息与所述预设语义信息，确定回环检测匹配结果。

在本实施例中，确定待检测环境的当前图像所对应的当前语义信息以及当前分类对应的预设分类所映射的预设语义信息，可以基于当前语义信息以及预设语义信息进行语义信息的匹配比较，从而确定回环检测的匹配结果。

在一些实施方式中，若当前语义信息和预设语义信息匹配成功时，表征该当前语义信息所描述的图像(物体)与预设语义信息所描述的图像(物体)一致，则确定该回环检测匹配成功；若当前语义信息和预设语义信息匹配失败时，表征该当前语义信息所描述的图像(物体)与预设语义信息所描述的图像(物体)不一致，则确定该回环检测匹配失败。

可以理解的是，匹配结果分为两类，第一类匹配成功，第二类匹配失败，在此不作限定。例如，当匹配结果显示匹配成功时，即基于预设语义信息对当前语义信息所对应的当前图像进行位姿校正以及地图优化，当匹配结果显示匹配失败时，则对待检测环境再进行步骤S110-S140的处理直至回环检测匹配成功；或对当前图像对应的语义信息的分类重新获取其所属分类，之后再进行步骤S130-S140的处理直至回环检测匹配成功。

本申请一个实施例提供的回环检测方法，在电子设备对待检测环境的当前图像进行语义识别获得当前图像的当前语义信息后，获取当前语义信息的所属分类作为当前分类，获取预先建立的链表作为预设链表，基于当前分类在预设链表中匹配比较得到预设分类以及预设分类对应的预设语义信息，基于当前语义信息与预设语义信息进行进一步的匹配比较，确定回环检测结果，基于分类来进行预设语义信息的查找，节约了时间，提高了匹配效率，提升了匹配准确率。

请参阅图3，图3示出了本申请另一个实施例提供的回环检测方法的流程示意图。该方法应用于上述电子设备，下面将针对图3所示的流程进行详细的阐述，所述回环检测方法具体可以包括以下步骤：

步骤S210：获取待检测环境的当前图像，对所述当前图像进行物体识别，获得多个物体。

在另一些实施方式中，对当前图像进行物体识别，当前图像中的物体个数可以为零，可以为单个，也可以为多个，在此不作限定。通过物体识别算法对于当前图像中的物体进行物体识别，其中物体识别算法包括但不限于YOLOV5算法，加速稳健特征(Speeded-UpRobust Features，SURF)算法，尺度不变特征变换(Scale-invariant feature transform，SIFT)算法以及哈尔特征(Haar-like features，HAAR)算法。通过对当前图像进行物体识别可以获取当前图像对应的物体，其中，电子设备进行物体识别时使用预先设置的NPU神经网络硬件加速模块对当前图像包括的物体进行识别计算，其中，物体识别所获得的物体数量不限。例如，使用摄像头对于待检测环境获取当前图像，基于当前图像使用YOLOV5算法对图像中的物体进行物体识别，若识别到物体个数为零，则当前图像不存在对应的物体；若识别到单个物体，则获取当前图像所对应的单个物体得单个物体；若识别到多个物体，则获取当前图像所对应的多个物体的多个物体。

步骤S220：从所述多个物体中筛选目标物体，并获取所述目标物体的语义信息作为所述当前语义信息。

在本实施例中，在获得多个物体后，可以对多个物体进行筛选，从中获得目标物体，并获取该目标物体的语义信息作为当前语义信息。其中，目标物体的语义信息可以用于描述该目标物体，例如，目标物体为沙发时，则该目标物体的语义信息可以用于描述该沙发，如描述该沙发的位置、沙发的大小、沙发的颜色、沙发的形状等；又例如，目标物体为沙发和电视时，则该目标物体的语义信息可以用于描述该沙发和电视，如描述该沙发的位置、沙发的大小、沙发的颜色、沙发的形状、电视的位置、电视的大小、电视的颜色、电视的形状以及沙发和电视的相对位置等。

在一些实施方式中，当前图像中包括多个物体，其中多个物体包括动态物体和静态物体，其中，多个物体对应当前图像中单个或者多个物体，且所述的单个物体或者多个物体分别处于静止状态或者运动状态，基于物体的实时状态分别获取物体的动态物体以及物体的静态物体。例如，识别到当前图像中的物体处于运动状态，则获取该物体对应的动态物体；识别到当前图像中的物体处于静止状态，则获取该物体所对应的静态物体。其中，处于运动状态以及静止状态的物体可以分别为零个，单个以及多个，在此不作限定。

在再一些实施方式中，物体包括静态物体与动态物体，且有多个，且静态物体与动态物体分别有多个，其中，由于具备静态物体的物体保持静止(位置不变)，因此，该物体所在的位置有规律可循，可以作为语义对比的依据，而由于具备动态物体的物体保持运动(位置可变)，因此，该物体所在的位置不具有规律可循，不可以作为语义对比的依据，因此，可以从多个物体中筛选出静态物体，并获取静态物体的语义信息作为当前语义信息。

作为一种方式，电子设备识别到当前图像中的多个物体，获取多个物体分别对应的动态物体与静态物体，筛选出获得的静态物体，并获取静态物体的语义信息作为当前语义信息。

步骤S230：获取所述当前语义信息所属的分类作为当前分类。

步骤S240：获取预先建立的链表作为预设链表，其中，所述预设链表中包括预设语义信息和所述预设分类的对应关系。

步骤S250：从所述预设链表中查找与所述当前分类对应的预设分类，并获取所述预设分类包含的预设语义信息。

步骤S260：基于所述当前语义信息与所述预设语义信息，确定回环检测匹配结果。

其中步骤S230-步骤S260的具体描述请参阅步骤S120-步骤S150，在此不再赘述。

本申请又一个实施例提供的回环检测方法，在电子设备对待检测环境获取当前图像之后，基于当前图像使用物体识别算法对当前图像进行物体识别，从而获取物体所对应的物体，其中，当前图像中的物体数量不做限定，物体包括静态物体与动态物体，从物体中筛选得到静态物体作为当前语义信息，在获取当前语义信息之后，进一步地，获取当前语义信息的所述分类作为当前分类，获取预先建立的链表作为预设链表，基于当前分类在预设链表中匹配比较得到预设分类以及预设分类对应的预设语义信息，根据当前语义信息与预设语义信息进行进一步的匹配比较，最终确定回环检测结果，对于物体进行识别，以及物体的分类，提高了分类的精确性与匹配阶段的时间效率，提升了回环检测的高效性与准确性。

请参阅图4，图4示出了本申请再一个实施例提供的回环检测方法的流程示意图。该方法应用于上述电子设备，下面将针对图4所示的流程进行详细的阐述，所述回环检测方法具体可以包括以下步骤：

步骤S310：获取待检测环境的当前图像，对所述当前图像进行语义识别，获得所述当前图像的语义信息作为当前语义信息。

步骤S320:获取所述当前语义信息所属的分类作为当前分类。

步骤S330：获取预先建立的链表作为预设链表，其中，所述预设链表中包括预设语义信息和所述预设分类的对应关系。

步骤S340：从所述预设链表中查找与所述当前分类对应的预设分类，并获取所述预设分类包含的预设语义信息。

其中步骤S310-步骤S340的具体描述请参阅步骤S110-步骤S140，在此不再赘述。

步骤S350：将所述当前语义信息分别与多个或单个预设语义信息进行匹配。

在一些实施方式中，预设图像对应的预设语义信息可以包括多个或单个信息，因此，在本实施例中，可以将当前语义信息分别与多个或单个预设语义信息进行匹配。

同一待检测环境的预设图像在不同时间的情况下，预设图像对应的预设语义信息不同。在一些情况下，预设图像在不同时间的时候，预设图像中所对应的物体存在不同。例如，当待检测环境为室内时，在工作日时，当时间为早晨8点，则预设图像中的物体会包括活动对象；当时间上午11点时，则预设图像中的物体不包括活动对象；当待检测环境为广场时，当时间为早上6点到晚上12点时，则预设图像中的物体会包括活动对象，当时间为晚上12点到早上6点时，则预设图像中的物体不会包括活动对象，其中，活动对象包括但不限于人以及宠物。

步骤S360:当所述当前语义信息与所述多个或单个预设语义信息中的任一预设语义信息匹配时，确定回环检测成功；或者当所述当前语义信息与所述多个或单个预设语义信息均不匹配时，确定回环检测失败。

在本实施方式中，在分别获取当前语义信息以及预设语义信息之后，基于当前语义信息与预设语义信息进行进一步的匹配比较，确定回环检测结果。可以理解的是，回环检测结果会存在成功以及失败两种情况。

在一些实施方式中，当前语义信息会存在单个，预设语义信息会存在多个或单个，即将单个当前语义信息与预设的多个或单个语义信息进行匹配，匹配成功，则回环检测成功，反之，即失败。例如当前语义信息中表征水杯，则该水杯与预设语义信息中的所有水杯进行匹配，确定匹配结果。

在另一些实施方式中，当前语义信息会存在多个，预设语义信息也会存在多个或单个，即将多个当前语义信息与预设的多个或单个语义信息分别逐一进行匹配比较，匹配成功，则回环检测成功，反之，即回环检测失败。例如当前语义信息中表征床和柜子，则该床和柜子与预设语义信息中的所有床和柜子逐一进行匹配，继而确定匹配结果。

本申请再一个实施例提供的回环检测方法，在电子设备对待检测环境的当前图像进行语义识别获得当前图像的当前语义信息后，获取当前语义信息的所述分类作为当前分类，获取预先建立的链表作为预设链表，基于当前分类在预设链表中匹配比较得到预设分类以及预设分类对应的预设语义信息，将当前语义信息与预设语义信息进行比较匹配，当前语义信息处与预设语义信息的数量在此不做限定，当前语义信息与多个或单个预设语义信息中的任一预设语义信息匹配时，从而确定回环检测成功；或者当前语义信息与所述多个或单个预设语义信息均不匹配时，从而确定回环检测失败，基于分类进行预设语义信息的获取以及语义信息的匹配比较，节约了时间以及CPU资源，提高了回环检测的效率。

请参阅图5，图5示出了本申请又另一个实施例提供的回环检测方法的流程示意图。该方法应用于上述电子设备，下面将针对图5所示的流程进行详细的阐述，所述回环检测方法具体可以包括以下步骤：

步骤S410：获取待检测环境的当前图像，对所述当前图像进行语义识别，获得所述当前图像的语义信息作为当前语义信息。

步骤S420:获取所述当前语义信息所属的分类作为当前分类。

步骤S430：获取预先建立的链表作为预设链表，其中，所述预设链表中包括预设语义信息和所述预设分类的对应关系。

步骤S440:从所述预设链表中查找与所述当前分类对应的预设分类，并获取所述预设分类包含的预设语义信息。

其中步骤S410-步骤S440的具体描述请参阅步骤S110-步骤S140，在此不再赘述。

步骤S450：获取多个或单个预设语义信息各自对应的预设图像。

作为一种实施方式，电子设备可以预先设置并存储预设图像与预设语义信息之间的第四映射关系表，可以理解的是，该第四映射关系表中添加有多个或单个预设语义信息和多个或单个预设图像，其中，多个或单个预设图像中的每个预设图像可以对应多个或单个预设语义信息。因此，在获取电子设备运行的预设语义信息后，可以从第四映射关系表中查找该预设语义信息对应的预设图像，从而获取该预设语义信息的预设图像。

作为另一种实施方式，电子设备可以预先设置并存储与预设语义信息对应的标签信息，然后将该标签信息与该预设语义信息相关联，该标签信息可以记录有预设语义信息关联的预设图像，在电子设备运行该预设语义信息的过程中，可以基于预设语义信息与标签信息的关联关系从电子设备的本地读取与该预设语义信息相关联的预设图像，从而获取该预设语义信息的预设图像。

步骤S460：分别计算所述当前图像与多个或单个所述预设图像的相似度，获得多个或单个相似度结果。

在一些实施方式中，计算当前图像与预设图像的相似度可以通过词袋模型算法进行计算。

步骤S470:基于所述多个或单个相似度结果，确定回环检测匹配结果。

在本实施例中，通过相似度的计算，得到不同的相似度结果，例如，将预设图像按照顺序排序，分别为第一预设图像，第二预设图像等，即当前图像第一预设图像的相似度为第一相似度，当前图像与第二预设图像的相似度为第二相似度。当第一相似度的值为第二相似度的n倍时，则表征当前图像与第一个预设图像匹配成功，则回环检测结果为匹配成功，其中，n可以包括3。

本申请又另一个实施例提供的回环检测方法，电子设备通过摄像头获取待检测环境的当前图像，对当前图像进行语义识别获得当前图像的当前语义信息后，基于当前语义分类获取其所属分类作为当前分类，获取预先建立的链表作为预设链表，在当前分类的基础上从预设链表中匹配得到对应的预设分类以及预设分类对应的预设语义信息，从而获取多个或单个预设语义信息各自对应的预设图像，之后分别计算当前图像与多个或单个所述预设图像的相似度，获得多个或单个相似度结果，最终根据多个或单个相似度结果，确定回环检测匹配结果，对当前图像与预设图像进行相似度的计算，提高了匹配的准确率，提升了回环检测的成功率与高效性。

请参阅图6，图6示出了本申请又再一个实施例提供的回环检测方法的流程示意图。该方法应用于上述电子设备，下面将针对图7所示的流程进行详细的阐述，所述回环检测方法具体可以包括以下步骤：

步骤S510：获取预设环境的图像，对所述图像进行语义识别，获得所述图像的语义信息作为预设语义信息，其中，所述预设环境至少包括所述待检测环境。

在一些实施方式中，预设环境可以为室内环境，也可以为室外环境，可以为随机区域，也可以为指定区域。在本实施例中，预设环境至少包括所述待检测环境。

在另一些实施方式中，获取预设环境的图像，对图像进行语义识别，获得预设语义信息。其中通过带有摄像头的电子设备获取图像，基于物体识别算法，识别图像中的物体从而获取物体，其中，物体包括静态物体与动态物体，基于物体进行选择得到预设语义信息。

作为一种实施方式，电子设备可以预先设置并存储环境图像与预设语义信息之间的第五映射关系表，可以理解的是，该第五映射关系表中添加有多个环境图像和多个预设语义信息，其中，多个环境图像中的每个环境图像可以对应一个或多个预设语义信息。因此，在获取电子设备得到的环境图像后，可以从第五映射关系表中查找该环境图像对应的预设语义信息，从而获取该图像的预设语义信息。

步骤S520：对所述预设语义信息进行分类，获得所述预设语义信息所属的预设分类。

在一些实施方式中，根据不同的分类策略将预设语义信息分为不同的预设分类，示例性的，分类策略包括第一分类策略以及第二分类策略，根据第一分类策略将预设语义信息分为第一预设分类，根据第二分类策略将预设语义信息分为第二预设分类。例如，第一分类策略为物体作用，基于物体作用对预设语义信息进行分类，获取对应的第一预设分类；第二分类策略为物体形状，基于物体形状对预设语义信息进行分类，获取对应的第二预设分类。

步骤S530：基于所述预设语义信息以及所述预设分类的对应关系，建立预设链表。

在本实施例中，预设语义信息以及预设分类存在对应关系，基于对应关系建立链表，预先设置存储在电子设备中。

在本实施方式中，基于预设语义信息与预设分类的对应关系建立链表，将该链表存储到电子设备中。

在一些情况下，将预设语义信息通过标签信息进行标识，将预设分类也通过相同标签信息进行标识，从而通过标签信息建立预设语义信息与预设分类的对应关系，基于所述对应关系建立链表。

在另一些情况下，基于预设分类的分类类型直接对预设语义信息进行分类，从而获得预设分类与预设语义信息的对应关系，最终通过对应关系建立链表。

步骤S540:获取待检测环境的当前图像，对所述当前图像进行语义识别，获得所述当前图像的语义信息作为当前语义信息。

步骤S550:获取所述当前语义信息所属的分类作为当前分类。

步骤S560：获取预先建立的链表作为预设链表，其中，所述预设链表中包括预设语义信息和所述预设分类的对应关系。

步骤S570:从所述预设链表中查找与所述当前分类对应的预设分类，并获取所述预设分类包含的预设语义信息。

步骤S580:基于所述当前语义信息与所述预设语义信息，确定回环检测匹配结果。

其中步骤S540-步骤S580的具体描述请参阅步骤S110-步骤S150，在此不再赘述。

本申请又再一个实施例提供的回环检测方法，电子设备首先获取预设环境的图像，其中，预设环境至少包括待检测环境，之后对图像进行语义识别，获得该图像的语义信息作为预设语义信息，从而对预设语义信息进行分类，获得预设语义信息所属的预设分类，基于预设语义信息以及预设分类的对应关系，建立预设链表，之后电子设备获取待检测环境的当前图像，对当前图像进行语义识别获得当前图像的当前语义信息以及当前语义信息的所属分类作为当前分类，获取预先建立的链表作为预设链表，根据当前分类在预设链表中匹配得到对应预设分类以及预设语义信息，基于当前语义信息与预设语义信息进行进一步的匹配，确定回环检测结果，基于预设语义信息与预设分类的对应关系来建立链表，提高了匹配的速度，提高了匹配效率。

请参阅图7，图7示出了本申请再又一个实施例提供的回环检测方法的流程示意图。该方法应用于上述电子设备，下面将针对图8所示的流程进行详细的阐述，所述回环检测方法具体可以包括以下步骤：

步骤S610:获取待检测环境的当前图像，对所述当前图像进行语义识别，获得所述当前图像的语义信息作为当前语义信息。

步骤S620:获取所述当前语义信息所属的分类作为当前分类。

步骤S630：获取预先建立的链表作为预设链表，其中，所述预设链表中包括预设语义信息和所述预设分类的对应关系。

步骤S640:从所述预设链表中查找与所述当前分类对应的预设分类，并获取所述预设分类包含的预设语义信息。

步骤S650:基于所述当前语义信息与所述预设语义信息，确定回环检测匹配结果。

其中步骤S610-步骤S650的具体描述请参阅步骤S110-步骤S150，在此不再赘述。

步骤S650:当回环检测匹配成功时，基于所述预设语义信息对应的预设图像对所述当前图像进行位姿校准。

在一些实施方式中，当回环检测匹配成功时，基于预设图像对当前图像进行位姿校准。在一些情况下，使用预设图像对当前图像直接进行位姿校准；在另一些情况下，可以对预设图像与当前图像重新提取特征点、特征点匹配来计算位姿，从而进行校准。

在一些实施方式中，可以对预设图像进行特征提取，获得第一特征参数，对当前图像进行特征提取，获得第二特征参数，基于第一特征参数和第二特征参数，获取当前图像相对预设图像的位移参数，基于位移参数，对当前图像进行位姿调整。作为一种可实施的方式，对预设图像和当前图像进行特征提取时所针对的特征为相同的特征，例如，若对预设图像中某个物体的某个位置进行特征提取，则也对当前图像中的该物体的该位置进行特征提取，以保证获得的第一特征参数和第二特征参数存在比较的基础。作为一种可实施的方式，基于位移参数对当前图像进行位姿调整包括：对当前图像进行移动处理、转动处理等，在此不做限定。

本申请再又一个实施例提供的回环检测方法，在电子设备获取得到当前语义信息以及预设语义信息后，根据当前语义信息与预设语义信息进行进一步的匹配，当回环检测匹配成功时，基于预设语义信息对应的预设图像对当前图像进行校正，提升了匹配准确率以及回环检测的高效性。

请参阅图8，图8示出了本申请实施例提供的回环检测装置100的模块框图。该回环检测装置应用于上述电子设备，下面将针对图9所示的框图进行阐述，所述回环检测装置200包括：第一获取模块210、第二获取模块220、预设链表获取模块230、分类查找模块240以及匹配检测模块250，其中：

第一获取模块210，用于获取待检测环境的当前图像，对所述当前图像进行语义识别，获得所述当前图像的语义信息作为当前语义信息。

进一步地，所述第一获取模块210包括：物体获得子模块和当前语义信息获取子模块，其中：

物体获得子模块，用于对所述当前图像进行物体识别，获得多个物体；

当前语义信息获取子模块，用于从所述多个物体中筛选目标物体，并获取所述目标物体的语义信息作为所述当前语义信息。

进一步地，所述多个物体包括动态物体和静态物体，所述当前语音信息获取子模块包括：当前语义信息获取单元，其中：

当前语义信息获取单元，用于从所述多个物体中筛选静态物体，并获取所述静态物体的语义信息作为所述当前语义信息。

第二获取模块220，用于获取所述当前语义信息所属的分类作为当前分类。

预设链表获取模块230，用于获取预先建立的链表作为预设链表，其中，所述预设链表中包括预设语义信息和所述预设分类的对应关系。

分类查找模块240，用于从预设链表中查找与所述当前分类对应的预设分类，并获取所述预设分类包含的预设语义信息。

匹配检测模块250，用于基于所述当前语义信息与所述预设语义信息，确定回环检测匹配结果。

进一步地，所述预设语义信息的数量为多个或单个，所述匹配检测模块250包括：匹配检测子模块、成功确定子模块以及失败确定子模块，其中：

匹配检测子模块，用于将所述当前语义信息分别与多个或单个预设语义信息进行匹配。

成功确定子模块，用于当所述当前语义信息与所述多个或单个预设语义信息中的任一预设语义信息匹配时，确定回环检测成功。

失败确定子模块，用于当所述当前语义信息与所述多个或单个预设语义信息均不匹配时，确定回环检测失败。

进一步地，所述预设语义信息的数量为多个或单个，所述匹配检测模块250包括：预设图像获取子模块、相似度结果获得子模块以及匹配结果确定子模块，其中：

预设图像获取子模块，用于获取多个或单个预设语义信息各自对应的预设图像。

相似度结果获得子模块，用于分别计算所述当前图像与多个或单个所述预设图像的相似度，获得多个或单个相似度结果。

匹配结果确定子模块，用于基于所述多个或单个相似度结果，确定回环检测匹配结果。

进一步地，所述回环检测装置200还包括：图像获取模块、预设分类获得模块以及预设链表建立模块，其中：

图像获取模块，用于获取预设环境的图像，对所述图像进行语义识别，获得所述图像的语义信息作为预设语义信息，其中，所述预设环境至少包括所述待检测环境。

预设分类获得模块，用于对所述预设语义信息进行分类，获得所述预设语义信息所属的预设分类。

预设链表建立模块，用于基于所述预设语义信息以及所述预设分类的对应关系，建立预设链表。

进一步地，所述回环检测装置200还包括：

位姿校准模块，用于当回环检测匹配成功时，基于所述预设语义信息对应的预设图像对所述当前图像进行位姿校准。

进一步地，所述位姿校准模块包括：第一特征参数获得子模块、第二特征参数获得子模块、位移参数获取子模块以及位姿调整子模块，其中：

第一特征参数获得子模块，用于对所述预设图像进行特征提取，获得第一特征参数。

第二特征参数获得子模块，用于对所述当前图像进行特征提取，获得第二特征参数。

位移参数获取子模块，用于基于所述第一特征参数和所述第二特征参数，获取所述当前图像相对所述预设图像的位移参数。

位姿调整子模块，用于基于所述位移参数，对所述当前图像进行位姿调整。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参阅图9，其示出了本申请实施例提供的一种电子设备100的结构框图。该电子设备100可以是智能手机、平板电脑、穿戴式智能设备、机器人等有摄像头的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

其中，处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个移动终端100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行移动终端100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参阅图10，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质300中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质300可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质300包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质300具有执行上述方法中的任何方法步骤的程序代码310的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码310可以例如以适当形式进行压缩。

综上所述，本申请实施例提供的回环检测方法、装置以及电子设备，获取待检测环境的图像作为当前图像，对当前图像进行语义识别获得当前语义信息，根据当前语义信息进行分类作为当前分类，获取预先建立的链表作为预设链表，基于当前分类从预设链表中查找与当前分类对应的预设分类，从而获取所述预设分类包含的预设语义信息，最终基于当前语义信息与预设语义信息进行匹配比较，确定回环检测结果，以提升回环检测方法的高效性。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种回环检测方法，其特征在于，所述方法包括：

获取待检测环境的当前图像，对所述当前图像进行语义识别，获得所述当前图像的语义信息作为当前语义信息；

获取所述当前语义信息所属的分类作为当前分类；

获取预先建立的链表作为预设链表，其中，所述预设链表中包括预设语义信息和所述预设分类的对应关系；

从所述预设链表中查找与所述当前分类对应的预设分类，并获取所述预设分类包含的预设语义信息；

基于所述当前语义信息与所述预设语义信息，确定回环检测匹配结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述当前图像进行语义识别，获得所述当前图像的语义信息作为当前语义信息，包括：

对所述当前图像进行物体识别，获得多个物体；

从所述多个物体中筛选目标物体，并获取所述目标物体的语义信息作为所述当前语义信息。

3.根据权利要求2所述的方法，其特征在于，所述多个物体包括动态物体和静态物体，所述从所述多个物体中筛选目标物体，并获取所述目标物体的语义信息作为所述当前语义信息，包括：

从所述多个物体中筛选静态物体，并获取所述静态物体的语义信息作为所述当前语义信息。

4.根据权利要求1所述的方法，其特征在于，所述预设语义信息的数量为多个或单个，所述基于所述当前语义信息与所述预设语义信息，确定回环检测匹配结果，包括：

将所述当前语义信息分别与多个或单个预设语义信息进行匹配；

当所述当前语义信息与所述多个或单个预设语义信息中的任一预设语义信息匹配时，确定回环检测成功；或者

当所述当前语义信息与所述多个或单个预设语义信息均不匹配时，确定回环检测失败。

5.根据权利要求1所述的方法，其特征在于，所述预设语义信息的数量为多个或单个，所述基于所述当前语义信息与所述预设语义信息，确定回环检测匹配结果，包括：

获取多个或单个预设语义信息各自对应的预设图像；

分别计算所述当前图像与多个或单个所述预设图像的相似度，获得多个或单个相似度结果；

基于所述多个或单个相似度结果，确定回环检测匹配结果。

6.根据权利要求1-5任一项所述的方法，其特征在于，在所述获取待检测环境的当前图像，对所述当前图像进行语义识别，获得所述当前图像的语义信息作为当前语义信息之前，还包括：

获取预设环境的图像，对所述图像进行语义识别，获得所述图像的语义信息作为预设语义信息，其中，所述预设环境至少包括所述待检测环境；

对所述预设语义信息进行分类，获得所述预设语义信息所属的预设分类；

基于所述预设语义信息以及所述预设分类的对应关系，建立预设链表。

7.根据权利要求1-5任一项所述的方法，其特征在于，在所述基于所述当前语义信息与所述预设语义信息，确定回环检测匹配结果之后，还包括：

当回环检测匹配成功时，基于所述预设语义信息对应的预设图像对所述当前图像进行位姿校准。

8.根据权利要求7所述的方法，其特征在于，所述基于所述预设语义信息对应的预设图像对所述当前图像进行位姿校准，包括：

对所述预设图像进行特征提取，获得第一特征参数；

对所述当前图像进行特征提取，获得第二特征参数；

基于所述第一特征参数和所述第二特征参数，获取所述当前图像相对所述预设图像的位移参数；

基于所述位移参数，对所述当前图像进行位姿调整。

9.一种回环检测装置，其特征在于，所述装置包括：

第一获取模块，用于获取待检测环境的当前图像，对所述当前图像进行语义识别，获得所述当前图像的语义信息作为当前语义信息；

第二获取模块，用于获取所述当前语义信息所属的分类作为当前分类；

预设链表获取模块，用于获取预先建立的链表作为预设链表，其中，所述预设链表中包括预设语义信息和所述预设分类的对应关系；

分类查找模块，用于从所述预设链表中查找与所述当前分类对应的预设分类，并获取所述预设分类包含的预设语义信息；

匹配检测模块，用于基于所述当前语义信息与所述预设语义信息，确定回环检测匹配结果。

10.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令有所述处理器执行时所述处理器执行如权利要求1-8任一项所述的方法。

Images