CN115982399A - 图像查找方法、移动设备、电子设备、及计算机程序产品 - Google Patents

Abstract

本公开提供了一种图像查找方法、移动设备、电子设备及计算机程序产品，其中，该方法包括：通过多相机获取目标移动设备当前时刻所处环境的多帧当前图像，从历史数据库中确定与多帧当前图像对应的候选图像组以及候选图像组中的代表图像组，在代表图像组中缺失至少一个目标代表图像的情况下，从候选图像组中确定用于补充目标代表图像的替补图像，并将替补图像加入到代表图像组中，形成新的代表图像组，从新的代表图像组中确定与多帧当前图像相似度最大的目标图像组，这样，在代表图像组存在图像缺失的情况下，可以利用候选图像组确定出替补图像，以对代表图像组进行补充，实现对于多相机信息缺失的弥补，有助于提升目标图像组的准确性和精确度。

Description

图像查找方法、移动设备、电子设备、及计算机程序产品

技术领域

本公开涉及计算机视觉技术领域，具体而言，涉及一种图像查找方法、移动设备、电子设备及计算机程序产品。

背景技术

随着计算机视觉技术的快速发展，即时定位与地图构建（SimultaneousLocalization and Mapping，SLAM）技术在自动驾驶、智能机器人等领域被广泛应用。以自动驾驶为例，基于车载相机提供的相机图像，通过SLAM技术能够构建并维护环境地图，同时确定车辆自身相对姿态，在此过程中，通过重定位检测可以在环境地图中进行位姿校准，通过回环检测可以消除构建地图过程中存在的累积误差。

在进行重定位检测以及回环检测的过程中，针对相机采集的当前图像，都需要从相机采集的多个历史图像中确定出与当前图像最相似的相似图像，然而在此过程中可能会出现缺少个别历史图像的情况，从而影响确定出的相似图像的准确度，进而影响重定位检测以及回环检测的准确性，导致位姿偏离，或者导致构建的环境地图与实际偏差较大。

发明内容

本公开实施例至少提供一种图像查找方法、移动设备、电子设备及计算机程序产品。

本公开实施例提供了一种图像查找方法，所述方法包括：

通过多相机获取目标移动设备当前时刻所处环境的多帧当前图像；其中，每帧当前图像对应一个相机；

从历史数据库中确定与所述多帧当前图像对应的候选图像组以及所述候选图像组中的代表图像组，所述历史数据库中的图像为所述多相机在所述当前时刻之前所拍摄的所述目标移动设备所处环境的第一图像；

在所述代表图像组中缺失至少一个目标代表图像的情况下，从所述候选图像组中确定用于补充所述目标代表图像的替补图像，并将所述替补图像加入到所述代表图像组中，形成新的代表图像组；

从所述新的代表图像组中确定与所述多帧当前图像相似度最大的目标图像组。

本公开实施例中，针对多帧当前图像，可以从历史数据库中确定与其对应的候选图像组以及代表图像组，在代表图像组存在图像缺失的情况下，可以利用候选图像组确定出替补图像，以对代表图像组进行补充，实现对于多相机信息缺失的弥补，从而可以通过补充后的代表图像组快速确定出与多帧当前图像相似度最大的目标图像组，有助于提升确定出的目标图像组的准确性和精确度。此外，本公开实施例中，先确定候选图像组，然后从候选图像组中确定替补图像，可以减少替补图像的搜索范围进而有利于提升替补图像的确定效率。

一种可选的实施方式中，所述历史数据库包括每张第一图像以及与所述每张第一图像对应的单词特征；所述从历史数据库中确定与所述多帧当前图像对应的候选图像组以及所述候选图像组中的代表图像组，包括：

针对每帧当前图像，对所述当前图像进行单词特征提取处理，得到所述当前图像对应的单词特征；

基于所述当前图像对应的单词特征，从所述历史数据库中确定与所述当前图像对应的单词特征匹配的至少一张候选第一图像，并将所述至少一张候选第一图像确定为所述代表图像组；

针对每张候选第一图像，从所述历史数据库中确定与所述候选第一图像的匹配的特征点的数量大于预设数量的至少一张共视第一图像；

基于每张当前图像对应的至少一张候选第一图像以及至少一张共视第一图像，生成所述多帧当前图像对应的候选图像组。

本公开实施例中，首先基于单词特征从历史数据库中匹配得到至少一张候选第一图像，作为代表图像组，在此基础上，可以根据匹配的特征点的数量从历史数据库中确定出至少一张共视第一图像，将至少一张候选第一图像以及至少一张共视第一图像共同生成候选图像组，通过单词特征和匹配的特征点的数量进行两次筛选，有助于保障候选图像组的全面性，避免出现图像的遗漏。

一种可选的实施方式中，所述从所述候选图像组中确定用于补充所述目标代表图像的替补图像，包括：

确定所述目标代表图像的缺失类型，所述缺失类型包括所述目标代表图像在存入所述历史数据库时被删除的第一缺失类型、以及所述目标代表图像在多相机采集图像时缺失的第二缺失类型；

基于确定出的所述缺失类型，从所述候选图像组中确定用于补充所述目标代表图像的替补图像。

本公开实施例中，可以确定目标代表图像的缺失类型，在不同的缺失类型下，有针对性地从候选图像组中确定用于补充目标代表图像的替补图像，提升确定替补图像的灵活性。

一种可选的实施方式中，所述基于确定出的所述缺失类型，从所述候选图像组中确定用于补充所述目标代表图像的替补图像，包括：

在确定所述目标代表图像的缺失类型为所述第一缺失类型的情况下，从所述候选图像组中确定删除所述目标代表图像时与所述目标代表图像具有匹配特征点数量最多的目标第一图像，并将所述目标第一图像作为所述目标代表图像的替补图像。

本公开实施例中，在确定目标代表图像的缺失类型为第一缺失类型的情况下，由于目标代表图像在存入历史数据库时被删除，因此可以直接找到在删除目标代表图像时与目标代表图像具有匹配特征点数量最多的目标第一图像用于进行补充，有效提升确定替补图像的速度，同时兼顾替补图像和目标代表图像的相似性。

一种可选的实施方式中，所述候选图像组中的候选图像基于所述多相机分别在所述目标移动设备上的相对位置关系进行存放；所述基于确定出的所述缺失类型，从所述候选图像组中确定用于补充所述目标代表图像的替补图像，包括：

在确定所述目标代表图像的缺失类型为所述第二缺失类型的情况下，基于所述多相机分别在所述目标移动设备上的相对位置关系，从所述多相机中确定与所述目标代表图像所对应的目标相机位置相邻的第一相机；

基于所述目标代表图像的图像拍摄时间，从所述第一相机所对应的多张候选图像中确定与所述目标代表图像的图像拍摄时间对应的第二图像；

从所述候选图像组中确定与所述第二图像的匹配特征点数量最多的第三图像，基于所述第三图像从所述候选图像组中确定用于补充所述目标代表图像的替补图像。

本公开实施例中，通过多相机分别在目标移动设备上的相对位置关系，可以确定各个相机之间的位置关系，从而结合图像拍摄时间以及匹配的特征点的数量，从候选图像组中确定替补图像，实现利用相机摆放位置，结合相对位姿，只需进行少量的数据处理，即可得到查找用于弥补缺失信息的替补图像。

一种可选的实施方式中，针对所述多相机在同一时刻所拍摄的候选图像，按照所述多相机的预设排列顺序进行存放；所述基于所述第三图像从所述候选图像组中确定用于补充所述目标代表图像的替补图像，包括：

基于所述多相机的预设排列顺序，确定所述目标代表图像所对应的目标相机与所述第一相机之间的相对排列关系；

基于所述相对排列关系以及所述第三图像所对应的相机，从所述多相机中确定替补相机，并从所述替补相机所对应的候选图像中确定用于补充所述目标代表图像的替补图像。

本公开实施例中，通过预先设置好固定的预设排列顺序，可以确定相机之间的相对排列关系，从而可以从多相机中快速找到对应的替补相机，提升确定替补相机的速度和效率，进而可以从替补相机所对应的候选图像中确定替补图像，有效减少数据处理量。

一种可选的实施方式中，所述从所述替补相机所对应的候选图像中确定用于补充所述目标代表图像的替补图像，包括：

从所述替补相机所对应的候选图像中，确定与所述第三图像的图像拍摄时间相同的候选图像，并将所述替补相机所对应的与所述第三图像的图像拍摄时间相同的候选图像确定为所述替补图像。

本公开实施例中，通过替补相机所对应的候选图像的拍摄时间，可以确定出与第三图像的图像拍摄时间相同的候选图像，从而得到替补图像，有助于提升替补图像与目标代表图像的匹配度。

一种可选的实施方式中，每个代表图像组中的图像按照所述多相机的预设排列顺序进行存放；所述从所述新的代表图像组中确定与所述多帧当前图像相似度最大的目标图像组，包括：

针对每个代表图像组，按照所述预设排列顺序将所述代表图像组中的图像进行排序，得到多个有序代表图像组，每个所述有序代表图像组中的首个图像对应的相机不同；

将所述多帧当前图像按照所述预设排列顺序进行排序，得到有序当前图像组；

将所述有序当前图像组与每个所述代表图像组对应的各个所述有序代表图像组分别进行匹配，得到匹配结果；

将所述匹配结果中与所述有序当前图像组相似度最大的有序代表图像组确定为所述目标图像组。

本公开实施例中，可以按照预先设置好的预设排列顺序，分别将每个代表图像组中的图像进行排序，得到首个图像对应的相机不同的多个有序代表图像组，同时可以将多帧当前图像进行排序得到有序当前图像组，进而将有序当前图像组分别和每个有序代表图像组进行匹配，根据匹配结果确定目标图像组，有助于减少匹配次数，提升匹配速度，提高确定目标图像组的效率，减少处理时间。

一种可选的实施方式中，在所述从所述新的代表图像组中确定与所述多帧当前图像相似度最大的目标图像组之后，所述方法还包括：

基于所述多帧当前图像以及所述目标图像组，进行重定位处理或回环处理。

本公开实施例中，可以通过多帧当前图像以及目标图像组，进行重定位处理或回环处理，有效提升位姿校准的准确性，有助于减少构建的地图与实际环境的偏差。

本公开实施例还提供一种图像查找装置，所述装置包括：

图像获取模块，用于通过多相机获取目标移动设备当前时刻所处环境的多帧当前图像；其中，每帧当前图像对应一个相机；

图像筛选模块，用于从历史数据库中确定与所述多帧当前图像对应的候选图像组以及所述候选图像组中的代表图像组，所述历史数据库中的图像为所述多相机在所述当前时刻之前所拍摄的所述目标移动设备所处环境的第一图像；

图像补充模块，用于在所述代表图像组中缺失至少一个目标代表图像的情况下，从所述候选图像组中确定用于补充所述目标代表图像的替补图像，并将所述替补图像加入到所述代表图像组中，形成新的代表图像组；

图像确定模块，用于从所述新的代表图像组中确定与所述多帧当前图像相似度最大的目标图像组。

一种可选的实施方式中，所述历史数据库包括每张第一图像以及与所述每张第一图像对应的单词特征；所述图像筛选模块具体用于：

针对每帧当前图像，对所述当前图像进行单词特征提取处理，得到所述当前图像对应的单词特征；

基于所述当前图像对应的单词特征，从所述历史数据库中确定与所述当前图像对应的单词特征匹配的至少一张候选第一图像，并将所述至少一张候选第一图像确定为所述代表图像组；

针对每张候选第一图像，从所述历史数据库中确定与所述候选第一图像的匹配的特征点的数量大于预设数量的至少一张共视第一图像；

基于每张当前图像对应的至少一张候选第一图像以及至少一张共视第一图像，生成所述多帧当前图像对应的候选图像组。

一种可选的实施方式中，所述图像补充模块具体用于：

确定所述目标代表图像的缺失类型，所述缺失类型包括所述目标代表图像在存入所述历史数据库时被删除的第一缺失类型、以及所述目标代表图像在多相机采集图像时缺失的第二缺失类型；

基于确定出的所述缺失类型，从所述候选图像组中确定用于补充所述目标代表图像的替补图像。

一种可选的实施方式中，所述图像补充模块具体用于：

在确定所述目标代表图像的缺失类型为所述第一缺失类型的情况下，从所述候选图像组中确定删除所述目标代表图像时与所述目标代表图像具有匹配特征点数量最多的目标第一图像，并将所述目标第一图像作为所述目标代表图像的替补图像。

一种可选的实施方式中，所述候选图像组中的候选图像基于所述多相机分别在所述目标移动设备上的相对位置关系进行存放；所述图像补充模块具体用于：

在确定所述目标代表图像的缺失类型为所述第二缺失类型的情况下，基于所述多相机分别在所述目标移动设备上的相对位置关系，从所述多相机中确定与所述目标代表图像所对应的目标相机位置相邻的第一相机；

基于所述目标代表图像的图像拍摄时间，从所述第一相机所对应的多张候选图像中确定与所述目标代表图像的图像拍摄时间对应的第二图像；

从所述候选图像组中确定与所述第二图像的匹配特征点数量最多的第三图像，基于所述第三图像从所述候选图像组中确定用于补充所述目标代表图像的替补图像。

一种可选的实施方式中，针对所述多相机在同一时刻所拍摄的候选图像，按照所述多相机的预设排列顺序进行存放；所述图像补充模块具体用于：

基于所述多相机的预设排列顺序，确定所述目标代表图像所对应的目标相机与所述第一相机之间的相对排列关系；

基于所述相对排列关系以及所述第三图像所对应的相机，从所述多相机中确定替补相机，并从所述替补相机所对应的候选图像中确定用于补充所述目标代表图像的替补图像。

一种可选的实施方式中，所述图像补充模块具体用于：

从所述替补相机所对应的候选图像中，确定与所述第三图像的图像拍摄时间相同的候选图像，并将所述替补相机所对应的与所述第三图像的图像拍摄时间相同的候选图像确定为所述替补图像。

一种可选的实施方式中，每个代表图像组中的图像按照所述多相机的预设排列顺序进行存放；所述图像确定模块具体用于：

针对每个代表图像组，按照所述预设排列顺序将所述代表图像组中的图像进行排序，得到多个有序代表图像组，每个所述有序代表图像组中的首个图像对应的相机不同；

将所述多帧当前图像按照所述预设排列顺序进行排序，得到有序当前图像组；

将所述有序当前图像组与每个所述代表图像组对应的各个所述有序代表图像组分别进行匹配，得到匹配结果；

将所述匹配结果中与所述有序当前图像组相似度最大的有序代表图像组确定为所述目标图像组。

一种可选的实施方式中，所述装置还包括图像处理模块，所述图像处理模块用于：

基于所述多帧当前图像以及所述目标图像组，进行重定位处理或回环处理。

本公开实施例还提供一种移动设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述任一种可能的图像查找方法的步骤。

本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述任一种可能的图像查找方法的步骤。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述任一种可能的图像查找方法的步骤。

本公开可选实现方式还提供一种计算机程序产品，包括计算机程序，当所述计算机程序被执行上述任一种可能的图像查找方法的步骤。

关于上述图像查找装置、移动设备、电子设备、计算机可读存储介质及计算机程序产品的效果描述参见上述图像查找方法的说明，这里不再赘述。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开一些实施例所提供的图像查找方法的流程图；

图2示出了本公开一些实施例所提供的目标移动设备的多相机布置的示意图；

图3示出了本公开一些实施例所提供的建图的过程示意图；

图4示出了本公开一些实施例所提供的确定替补图像的过程示意图；

图5示出了本公开一些实施例所提供的图像组匹配的示意图；

图6示出了本公开另一些实施例所提供的图像查找方法的流程图；

图7示出了本公开一些实施例所提供的图像查找装置的示意图之一；

图8示出了本公开一些实施例所提供的图像查找装置的示意图之二；

图9示出了本公开一些实施例所提供的电子设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

经研究发现，在进行重定位检测以及回环检测的过程中，针对相机采集的当前图像，都需要从相机采集的多个历史图像中确定出与当前图像最相似的相似图像，相关技术中，大多是同时使用多目相机，与使用单目相机或双目相机相比可以得到更多的采集信息，但却带来了极大的数据处理量，为了提升处理速度，常常会将内容变化不大的历史图像删去，只保留内容变化较大的历史图像，这就导致在进行与历史图像的匹配时可能会出现缺少个别历史图像的情况，从而影响确定出的相似图像的准确度，进而影响重定位检测以及回环检测的准确性，导致位姿偏离，或者导致构建的环境地图与实际偏差较大。

基于上述研究，本公开提供了一种图像查找方法，针对多相机获取目标移动设备当前时刻所处环境的多帧当前图像，可以从历史数据库中确定与其对应的候选图像组以及代表图像组，在代表图像组存在图像缺失的情况下，可以利用候选图像组确定出替补图像，以对代表图像组进行补充，实现对于多相机信息缺失的弥补，从而可以通过补充后的代表图像组快速确定出与多帧当前图像相似度最大的目标图像组，有助于提升确定出的目标图像组的准确性和精确度，无需从历史数据库中确定目标图像组，大大提高确定目标图像组的效率。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像查找方法进行详细介绍，本公开实施例所提供的图像查找方法的执行主体一般为具有一定计算能力的电子设备，本实施方式中，该电子设备可以为服务器。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云存储、大数据和人工智能平台等基础云计算服务的云服务器。

其他实施方式中，该电子设备还可以为终端设备或者其他处理设备，该终端设备可以为用户设备（User Equipment，UE）、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理（Personal Digital Assistant，PDA）、手持设备、计算设备、车载设备、可穿戴设备等，其它处理设备可以是包括处理器和存储器的设备，在此不做限定。在一些可能的实现方式中，该图像查找方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

在一些实施例中，执行主体还可以是移动设备，该移动设备包括移动机器人以及自动驾驶设备等。在其他实施例中，该移动设备还可以为其他处理设备，其它处理设备可以是包括处理器和存储器的设备，在此不做限定。在一些可能的实现方式中，该图像查找方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

下面对本公开实施例提供的一种图像查找方法加以说明。

参照图1所示，为本公开实施例提供的一种图像查找方法的流程图，如图1中所示，本公开实施例提供的图像查找方法包括步骤S101~S104，其中：

S101：通过多相机获取目标移动设备当前时刻所处环境的多帧当前图像；其中，每帧当前图像对应一个相机。

这里，所述目标移动设备可以为车辆、机器人等可以移动的设备，所述目标移动设备上设置有多个相机，每个相机对应的拍摄视角不同，在各个时刻多个相机能够同时对所述目标移动设备所处环境进行拍摄，即每个相机都能在当前时刻拍摄生成一帧当前图像，从而能够得到当前时刻下的多帧当前图像。

示例性的，请同时参阅图2，图2为本公开实施例所提供的一种目标移动设备的多相机布置的示意图。如图2中所示，目标移动设备上配置有四个相机，分别为朝向前方的相机1、朝向右方的相机2、朝向后方的相机3以及朝向左方的相机4，也即，每个朝向对应一个相机。

本示例中，目标移动设备上设置的相机的数量以及各相机的位置和朝向仅为示意，可以根据实际拍摄需求进行调整，在此不做具体限制。

可选地，在同一朝向，也可以设置有多个相机。这里，针对对应同一朝向的多个相机，可以是多个相机的拍摄角度相同，也可以是多个相机中任意两个相机之间的拍摄角度偏差在预设范围（比如相差45度）以内。

其中，不同相机所拍摄的图像具有相机标识，通过相机标识可以将对应不同相机的图像进行区分。其中，相机标识的形式不做限定，比如可以是数字或者字母组成。

可选地，各个图像可以标注有拍摄时间。

S102：从历史数据库中确定与所述多帧当前图像对应的候选图像组以及所述候选图像组中的代表图像组，所述历史数据库中的图像为所述多相机在所述当前时刻之前所拍摄的所述目标移动设备所处环境的第一图像。

这里，在后续所述多帧当前图像用于进行重定位处理的情况下，所述第一图像可以为所有多相机在所述当前时刻之前所拍摄的所述目标移动设备所处环境的历史拍摄图像，在后续所述多帧当前图像用于进行回环处理的情况下，所述第一图像可以为对所述历史拍摄图像进行图像剔除后的图像。

其中，为了剔除冗余，可以对所述历史拍摄图像进行图像剔除处理，将进行图像剔除处理后的图像存入历史数据库中，具体地，针对每张所述历史拍摄图像，可以确定该历史拍摄图像对应的三维点数量，也就是确定该历史拍摄图像与其他历史拍摄图像匹配的特征点的数量，这里并不限定要对同一相机拍摄的历史拍摄图像进行比对，可以对不同相机拍摄的历史拍摄图像进行比对，当该历史拍摄图像与其他历史拍摄图像匹配的特征点的数量高于预设阈值时，可以认为该历史拍摄图像的内容变化不大，该历史拍摄图像与其他历史拍摄图像局部共视程度高，因此可以将该历史拍摄图像删除，在对每张所述历史拍摄图像都进行上述处理后，可以得到写入所述历史数据库的第一图像。

其中，针对每张历史拍摄图像提取的特征点可以为能够表征该张历史拍摄图像关键信息的点，比如针对包含目标物（比如墙壁）的历史拍摄图像，这里的特征点可以表示该目标物轮廓信息的特征点。

此外，针对同一朝向设置有多个相机的情况，上述图像剔除处理的过程类似，在此不再赘述。

可选地，所述图像剔除处理，大多是在建图过程中实施。示例性的，请同时参阅图3，图3为本公开实施例所提供的一种建图的过程示意图。本示例以用于进行回环处理的建图过程为例进行说明，如图3中所示，针对多相机在所述当前时刻之前所拍摄的所述目标移动设备所处环境的图像，将其输入到前端，这里输入前端的图像一般会包括所有相机的拍摄图像，除非个别相机未采集到图像，因此就没有这部分图像的输入，在前端可以对输入前端的图像进行单词特征提取处理，提取得到每张图像对应的单词特征。

可选地，可以采用词袋（Bag of Word，BoW）算法对输入前端的图像进行检测，提取得到每张图像对应的单词特征。

然后将每张图像及其对应的单词特征进行存放，这里分为整体存放和单独存放，并且在整体存放和单独存放时都要按顺序存放。这里，整体存放是指，将每张图像及其对应的单词特征共同存放在一起，单独存放是指，按照每张图像对应的相机分类存放，按顺序存放是指，针对同一时刻多相机拍摄的多帧图像按照所述多相机的预设排列顺序进行存放，其中，所述预设排列顺序为多相机摆放的顺时针顺序或逆时针顺序。

可选地，还可以按照所述预设排列顺序将同一时刻多相机拍摄的多帧图像对应的单词特征存放到一个向量中，向量中数据的个数为相机的个数，每个向量中所有单词特征作为一个整体。

示例性的，可以以图2为例进行说明，图2中包括编号分别为1、2、3、4的四个相机，针对按顺序存放，可以是按照例如1234、2341、3412、4123这样的顺时针顺序，还可以是按照1432、4321、3214、2143这样的逆时针顺序。

这里，若某朝向设置有多个相机，则将同一朝向下的多个相机放在同一编号下，并且同一编号下的多个相机之间无需进行顺序区分。

可选地，若缺失某个相机采集的图像，仍然保持存放位置的数量不变，将缺失图像对应的位置预留出来。

接着，针对前端处理后的图像，输入至后端，在后端对图像进行三角化处理和局部优化处理，从而对图像进行图像剔除处理，从而得到组建完成的历史数据库。

可选地，所述历史数据库可以为单词索引数据库的形式，该库的数据结构为map结构，所述map结构包括key和value，其中，key为单词特征，value为对应的第一图像。

根据前述内容可知，所述历史数据库包括每张第一图像以及与所述每张第一图像对应的单词特征，为了确定与所述多帧当前图像对应的候选图像组以及所述候选图像组中的代表图像组，在一些可能的实施方式中，可以针对每帧当前图像，对所述当前图像进行单词特征提取处理，得到所述当前图像对应的单词特征，基于所述当前图像对应的单词特征，从所述历史数据库中确定与所述当前图像对应的单词特征匹配的至少一张候选第一图像，并将所述至少一张候选第一图像确定为所述代表图像组，针对每张候选第一图像，从所述历史数据库中确定与所述候选第一图像的匹配的特征点的数量大于预设数量的至少一张共视第一图像，基于每张当前图像对应的至少一张候选第一图像以及至少一张共视第一图像，生成所述多帧当前图像对应的候选图像组。

上述步骤中，首先对所述多帧当前图像中的每帧当前图像都进行单词特征提取处理，得到所述当前图像对应的单词特征，可选地，这里同样可以采用BoW算法进行提取，然后可以基于所述当前图像对应的单词特征，将所述历史数据库中每张第一图像对应的单词特征和所述当前图像对应的单词特征进行比对，确定所述当前图像和各个所述第一图像相同的单词特征的数量，按照相同的单词特征的数量从大到小进行排序，将符合预先设定的名次的第一图像确定为与所述当前图像对应的单词特征匹配的至少一张候选第一图像，并将所述至少一张候选第一图像确定为所述代表图像组，示例性的，可以按照相同的单词特征的数量从大到小进行排序，将排名属于前三名的第一图像确定为候选第一图像。

接着针对每张候选第一图像，遍历所述历史数据库查找与所述候选第一图像共视程度较高的共视第一图像，具体地，将与所述候选第一图像的匹配的特征点的数量大于预设数量的第一图像确定为至少一张共视第一图像，进而可以将每张当前图像对应的至少一张候选第一图像以及至少一张共视第一图像放到一起，组成所述候选图像组。

S103：在所述代表图像组中缺失至少一个目标代表图像的情况下，从所述候选图像组中确定用于补充所述目标代表图像的替补图像，并将所述替补图像加入到所述代表图像组中，形成新的代表图像组。

上述步骤中，虽然已经确定出代表图像组，但是代表图像组中可能缺失目标代表图像，这在后续进行相似度确定时会缺少图像信息，此时可以从所述候选图像组中确定用于补充所述目标代表图像的替补图像，并将所述替补图像加入到所述代表图像组中，形成新的代表图像组，以进行信息弥补。

在一些可能的实施方式中，可以确定所述目标代表图像所对应的目标相机，若在所述目标相机的朝向下，只设置有所述目标相机这一个相机，则需要确定用于补充所述目标代表图像的替补图像；若在所述目标相机的朝向下设置有多个相机，所述多个相机包括所述目标相机以及至少一个其他相机，此时可以基于所述目标代表图像的图像拍摄时间，判断所述其他相机是否拍摄有与所述目标代表图像的图像拍摄时间相同的图像，若存在，则无需确定用于补充所述目标代表图像的替补图像，直接将所述其他相机拍摄的、与所述目标代表图像的图像拍摄时间相同的图像，确定为所述目标代表图像的替补图像。

若不存在所述其他相机拍摄的、与所述目标代表图像的图像拍摄时间相同的图像，则针对所述多个相机，确定用于补充所述目标代表图像的替补图像。可选地，可以针对所述多个相机中的每个相机进行替补图像的确定，可以得到替补图像组，所述替补图像组包括多个替补图像，所述替补图像组中的替补图像的数量与所述多个相机中的相机数量相同，此时可以基于预设条件从所述替补图像组中筛选出用于补充所述目标代表图像的替补图像；为了提高处理效率，还可将所述替补图像组中的任一替补图像作为用于补充所述目标代表图像的替补图像。

为了加快筛选速度，还可以针对所述多个相机中预设数量的相机进行替补图像的确定，可以得到替补图像组，所述替补图像组包括多个替补图像，此时所述替补图像组中的替补图像的数量与所述预设数量相同，进而从替补图像组中筛选得到用于补充所述目标代表图像的替补图像，这里从替补图像组中筛选得到用于补充所述目标代表图像的替补图像与上述过程类似，这里不再赘述。

可选地，也可以只针对多个相机中的任一相机，即只针对所述目标相机或者所述至少一个其他相机中的任一相机，确定用于补充所述目标代表图像的替补图像。

下面就针对所述多个相机中的任一相机，从所述候选图像组中确定用于补充所述目标代表图像的替补图像的方法加以说明。

根据前述内容可知，在组建历史数据库时会对多相机拍摄的图像进行图像剔除处理，因此所述代表图像组中缺失的所述目标代表图像，可能是由于在存入所述历史数据库时被删除所导致的，此外，还有可能是由于相机本身未采集到图像所导致的。为此，在确定所述代表图像组中缺失至少一个目标代表图像的情况下，首先可以确定所述目标代表图像的缺失类型，进而针对不同的缺失类型有针对性地进行替补图像的确定。

相应地，在一些可能的实施方式中，可以确定所述目标代表图像的缺失类型，所述缺失类型包括所述目标代表图像在存入所述历史数据库时被删除的第一缺失类型、以及所述目标代表图像在多相机采集图像时缺失的第二缺失类型，基于确定出的所述缺失类型，从所述候选图像组中确定用于补充所述目标代表图像的替补图像。

根据前述内容可知，在某一历史拍摄图像与其他历史拍摄图像匹配的特征点的数量高于预设阈值时，可以认为该历史拍摄图像的内容变化不大，该历史拍摄图像与其他历史拍摄图像局部共视程度高，因此可以将该历史拍摄图像删除，由此造成第一缺失类型下的目标代表图像的缺失，此时可以直接找到此前与被删除的目标代表图像最相似的图像用于填补。

具体地，在一些可能的实施方式中，在确定所述目标代表图像的缺失类型为所述第一缺失类型的情况下，从所述候选图像组中确定删除所述目标代表图像时与所述目标代表图像具有匹配特征点数量最多的目标第一图像，并将所述目标第一图像作为所述目标代表图像的替补图像。

针对第二缺失类型下的目标代表图像的缺失，需要利用候选图像组，从中找出用于补充所述目标代表图像的替补图像。

具体地，在一些可能的实施方式中，所述候选图像组中的候选图像基于所述多相机分别在所述目标移动设备上的相对位置关系进行存放；在确定所述目标代表图像的缺失类型为所述第二缺失类型的情况下，基于所述多相机分别在所述目标移动设备上的相对位置关系，从所述多相机中确定与所述目标代表图像所对应的目标相机位置相邻的第一相机，基于所述目标代表图像的图像拍摄时间，从所述第一相机所对应的多张候选图像中确定与所述目标代表图像的图像拍摄时间对应的第二图像，从所述候选图像组中确定与所述第二图像的匹配特征点数量最多的第三图像，基于所述第三图像从所述候选图像组中确定用于补充所述目标代表图像的替补图像。

上述步骤中，基于所述多相机中每个相机分别在所述目标移动设备上的相对位置关系，这里，所述相对位置关系可以是所述相机设置在所述目标移动设备的前方、后方、左方、右方等，在确定所述相对位置关系后，就可以确定各个相机之间的位置关系，从而可以基于所述目标代表图像所对应的目标相机，从所述多相机中确定与所述目标相机位置相邻的第一相机，进而可以基于所述目标代表图像的图像拍摄时间，从所述第一相机所对应的多张候选图像中确定与所述目标代表图像的图像拍摄时间对应的第二图像，也即，所述第二图像的图像拍摄时间与所述目标代表图像的图像拍摄时间相同，然后可以对所述候选图像组进行筛选，确定出与所述第二图像共视程度最高的第三图像，具体地，可以从所述候选图像组中确定与所述第二图像的匹配特征点数量最多的第三图像，接着可以基于所述第三图像从所述候选图像组中确定用于补充所述目标代表图像的替补图像。

示例性的，请同时参阅图4，图4为本公开实施例所提供的一种确定替补图像的过程示意图。如图4中所示，分别呈现了同一目标移动设备在k时刻、k+1时刻以及k+2时刻的运行状态，若所述目标代表图像为k+2时刻相机2拍摄的图像，此时所述目标代表图像所对应的目标相机为相机2，基于所述多相机分别在所述目标移动设备上的相对位置关系，可以从所述多相机中确定与所述目标相机位置相邻的第一相机，本示例中，所述第一相机为相机1或相机3，这里以第一相机为相机1为例进行说明，基于所述目标代表图像的图像拍摄时间k+2时刻，从相机1所对应的多张候选图像中确定同样在k+2时刻拍摄的图像作为第二图像，然后从所述候选图像组中确定与k+2时刻相机1拍摄的图像的匹配特征点数量最多的第三图像，这里以确定出的第三图像为k+1时刻相机4拍摄的图像为例进行说明，可以基于k+1时刻相机4拍摄的图像从所述候选图像组中确定用于补充所述目标代表图像的替补图像。

根据前述内容可知，针对所述多相机在同一时刻所拍摄的候选图像，按照所述多相机的预设排列顺序进行存放，为了基于所述第三图像确定所述替补图像，在一些可能的实施方式中，可以基于所述多相机的预设排列顺序，确定所述目标代表图像所对应的目标相机与所述第一相机之间的相对排列关系，基于所述相对排列关系以及所述第三图像所对应的相机，从所述多相机中确定替补相机，并从所述替补相机所对应的候选图像中确定用于补充所述目标代表图像的替补图像。

承接上述示例，以所述预设排列顺序为多相机摆放的顺时针顺序为例进行说明，基于所述多相机的预设排列顺序，可以确定相机2与相机1之间的相对排列关系，本示例中相机2与相机1之间的相对排列关系为相机2位于相机1相邻的下一位，基于所述相对排列关系以及k+1时刻相机4拍摄的图像所对应的相机4，从所述多相机中确定替补相机为相机1，可以知道，相机1位于相机4相邻的下一位，并从相机4所对应的候选图像中确定用于补充所述目标代表图像的替补图像。

为了保证所述替补图像与所述目标代表图像的相似度，所述替补图像的拍摄时间与所述第三图像的拍摄时间相同。

因此，在一些可能的实施方式中，可以从所述替补相机所对应的候选图像中，确定与所述第三图像的图像拍摄时间相同的候选图像，并将所述替补相机所对应的与所述第三图像的图像拍摄时间相同的候选图像确定为所述替补图像。

承接上述示例，第三图像为k+1时刻相机4拍摄的图像，因此第三图像的图像拍摄为k+1时刻，针对相机1所对应的候选图像，可以从中确定同样在k+1时刻拍摄的候选图像，即将k+1时刻相机1拍摄的候选图像确定为所述替补图像。

S104：从所述新的代表图像组中确定与所述多帧当前图像相似度最大的目标图像组。

这里，在对代表图像组进行补充得到新的代表图像组后，可以从所述新的代表图像组中确定与所述多帧当前图像相似度最大的目标图像组。

其中，由于所述新的代表图像组是加入所述替补图像后得到的，因此所述新的代表图像组包括每个相机的图像，但不一定是同一拍摄时间的图像。

根据前文内容可知，每个代表图像组中的图像按照所述多相机的预设排列顺序进行存放，为了确定所述目标图像组，在一些可能的实施方式中，可以针对每个代表图像组，按照所述预设排列顺序将所述代表图像组中的图像进行排序，得到多个有序代表图像组，每个所述有序代表图像组中的首个图像对应的相机不同，将所述多帧当前图像按照所述预设排列顺序进行排序，得到有序当前图像组，将所述有序当前图像组与每个所述代表图像组对应的各个所述有序代表图像组分别进行匹配，得到匹配结果，将所述匹配结果中与所述有序当前图像组相似度最大的有序代表图像组确定为所述目标图像组。

具体地，请同时参阅图5，图5为本公开实施例所提供的一种图像组匹配的示意图。如图5中所示，以所述预设排列顺序为多相机摆放的顺时针顺序为例进行说明，针对每个代表图像组，按照所述预设排列顺序将所述代表图像组中的图像进行排序，得到多个有序代表图像组，每个所述有序代表图像组中的首个图像对应的相机不同，在本示例中，由于所述目标移动设备设置有四个相机，因此每个代表图像组对应四个有序代表图像组，各个所述有序代表图像组中图像对应的相机编号的顺序分别为1234、2341、3412、4123，将所述多帧当前图像按照所述预设排列顺序进行排序，得到有序当前图像组，所述有序当前图像组中图像对应的相机编号的顺序为1234，将所述有序当前图像组与每个所述代表图像组对应的各个所述有序代表图像组分别进行匹配，在本示例中，所述有序当前图像组与每个所述代表图像组分别进行四次匹配，从而得到匹配结果，将所述匹配结果中与所述有序当前图像组相似度最大的有序代表图像组确定为所述目标图像组。

上述实施方式是以同一朝向下只设置有一个相机为例进行说明的，在另一些可能的实施方式中，若同一朝向下设置有多个相机，将所述多帧当前图像按照所述预设排列顺序进行排序，可以得到多个有序当前图像组，这里，每个所述有序当前图像组包括所有朝向下的图像，并且每个所述有序当前图像组包括同一朝向下一个相机拍摄的图像，进而将每个所述有序当前图像组与每个所述代表图像组对应的各个所述有序代表图像组分别进行匹配，得到每个所述有序当前图像组对应的匹配结果，基于多个匹配结果，从多个所述有序代表图像组中确定所述目标图像组。

可选地，可以基于所述多个匹配结果中每个匹配结果指示的有序代表图像组与有序当前图像组的相似度，将相似度最大的有序代表图像组确定为所述目标图像组。

还可以基于所述多个匹配结果中每个匹配结果指示的有序代表图像组，将多个所述有序代表图像组中出现次数最多的有序代表图像组确定为所述目标图像组。

可选地，为了提高确定出的目标图像组的精确度，在得到所述匹配结果后，还可以计算出相对的位姿关系，并利用所述多帧当前图像以及各个所述有序代表图像组对应的局部地图进行地图匹配，从而综合确定所述目标图像组。

本公开实施例提供的图像查找方法，针对多帧当前图像，可以从历史数据库中确定与其对应的候选图像组以及代表图像组，在代表图像组存在图像缺失的情况下，可以利用候选图像组确定出替补图像，以对代表图像组进行补充，实现对于多相机信息缺失的弥补，从而可以通过补充后的代表图像组快速确定出与多帧当前图像相似度最大的目标图像组，有助于提升确定出的目标图像组的准确性和精确度。此外，本公开实施例中，先确定候选图像组，然后从候选图像组中确定替补图像，可以减少替补图像的搜索范围进而有利于提升替补图像的确定效率。

参照图6所示，为本公开实施例提供的另一种图像查找方法的流程图，如图6中所示，本公开实施例提供的图像查找方法包括步骤S601~S605，其中：

S601：通过多相机获取目标移动设备当前时刻所处环境的多帧当前图像；其中，每帧当前图像对应一个相机。

S602：从历史数据库中确定与所述多帧当前图像对应的候选图像组以及所述候选图像组中的代表图像组，所述历史数据库中的图像为所述多相机在所述当前时刻之前所拍摄的所述目标移动设备所处环境的第一图像。

S603：在所述代表图像组中缺失至少一个目标代表图像的情况下，从所述候选图像组中确定用于补充所述目标代表图像的替补图像，并将所述替补图像加入到所述代表图像组中，形成新的代表图像组。

S604：从所述新的代表图像组中确定与所述多帧当前图像相似度最大的目标图像组。

其中，步骤S601至步骤S604的描述可以参照步骤S101至步骤S104的描述，并且可以达到相同的技术效果和解决相同的技术问题，在此不做赘述。

S605：基于所述多帧当前图像以及所述目标图像组，进行重定位处理或回环处理。

这里，基于所述多帧当前图像以及所述目标图像组，进行重定位处理，可以得到对应的重定位结果，基于所述重定位结果，可以对所述目标移动设备的当前位姿进行校准。

相应地，基于所述多帧当前图像以及所述目标图像组，进行回环处理，可以得到对应的回环结果，基于所述回环结果，可以对所述目标移动设备所处环境对应的地图进行构建。

本公开实施例提供的图像查找方法，针对多帧当前图像，可以从历史数据库中确定与其对应的候选图像组以及代表图像组，在代表图像组存在图像缺失的情况下，可以利用候选图像组确定出替补图像，以对代表图像组进行补充，实现对于多相机信息缺失的弥补，从而可以通过补充后的代表图像组快速确定出与多帧当前图像相似度最大的目标图像组，有助于提升确定出的目标图像组的准确性和精确度。此外，本公开实施例中，先确定候选图像组，然后从候选图像组中确定替补图像，可以减少替补图像的搜索范围进而有利于提升替补图像的确定效率。

进一步的，本公开实施例可以通过多帧当前图像以及目标图像组，进行重定位处理或回环处理，有效提升位姿校准的准确性，有助于减少构建的地图与实际环境的偏差。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与图像查找方法对应的图像查找装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像查找方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

请参阅图7和图8，图7为本公开实施例提供的一种图像查找装置的示意图之一，图8为本公开实施例提供的一种图像查找装置的示意图之二。如图7中所示，本公开实施例提供的图像查找装置700包括：

图像获取模块710，用于通过多相机获取目标移动设备当前时刻所处环境的多帧当前图像；其中，每帧当前图像对应一个相机；

图像筛选模块720，用于从历史数据库中确定与所述多帧当前图像对应的候选图像组以及所述候选图像组中的代表图像组，所述历史数据库中的图像为所述多相机在所述当前时刻之前所拍摄的所述目标移动设备所处环境的第一图像；

图像补充模块730，用于在所述代表图像组中缺失至少一个目标代表图像的情况下，从所述候选图像组中确定用于补充所述目标代表图像的替补图像，并将所述替补图像加入到所述代表图像组中，形成新的代表图像组；

图像确定模块740，用于从所述新的代表图像组中确定与所述多帧当前图像相似度最大的目标图像组。

一种可选的实施方式中，所述历史数据库包括每张第一图像以及与所述每张第一图像对应的单词特征；所述图像筛选模块720具体用于：

针对每帧当前图像，对所述当前图像进行单词特征提取处理，得到所述当前图像对应的单词特征；

基于所述当前图像对应的单词特征，从所述历史数据库中确定与所述当前图像对应的单词特征匹配的至少一张候选第一图像，并将所述至少一张候选第一图像确定为所述代表图像组；

针对每张候选第一图像，从所述历史数据库中确定与所述候选第一图像的匹配的特征点的数量大于预设数量的至少一张共视第一图像；

基于每张当前图像对应的至少一张候选第一图像以及至少一张共视第一图像，生成所述多帧当前图像对应的候选图像组。

一种可选的实施方式中，所述图像补充模块730具体用于：

确定所述目标代表图像的缺失类型，所述缺失类型包括所述目标代表图像在存入所述历史数据库时被删除的第一缺失类型、以及所述目标代表图像在多相机采集图像时缺失的第二缺失类型；

基于确定出的所述缺失类型，从所述候选图像组中确定用于补充所述目标代表图像的替补图像。

一种可选的实施方式中，所述图像补充模块730具体用于：

在确定所述目标代表图像的缺失类型为所述第一缺失类型的情况下，从所述候选图像组中确定删除所述目标代表图像时与所述目标代表图像具有匹配特征点数量最多的目标第一图像，并将所述目标第一图像作为所述目标代表图像的替补图像。

一种可选的实施方式中，所述候选图像组中的候选图像基于所述多相机分别在所述目标移动设备上的相对位置关系进行存放；所述图像补充模块730具体用于：

在确定所述目标代表图像的缺失类型为所述第二缺失类型的情况下，基于所述多相机分别在所述目标移动设备上的相对位置关系，从所述多相机中确定与所述目标代表图像所对应的目标相机位置相邻的第一相机；

基于所述目标代表图像的图像拍摄时间，从所述第一相机所对应的多张候选图像中确定与所述目标代表图像的图像拍摄时间对应的第二图像；

从所述候选图像组中确定与所述第二图像的匹配特征点数量最多的第三图像，基于所述第三图像从所述候选图像组中确定用于补充所述目标代表图像的替补图像。

一种可选的实施方式中，针对所述多相机在同一时刻所拍摄的候选图像，按照所述多相机的预设排列顺序进行存放；所述图像补充模块730具体用于：

基于所述多相机的预设排列顺序，确定所述目标代表图像所对应的目标相机与所述第一相机之间的相对排列关系；

基于所述相对排列关系以及所述第三图像所对应的相机，从所述多相机中确定替补相机，并从所述替补相机所对应的候选图像中确定用于补充所述目标代表图像的替补图像。

一种可选的实施方式中，所述图像补充模块730具体用于：

从所述替补相机所对应的候选图像中，确定与所述第三图像的图像拍摄时间相同的候选图像，并将所述替补相机所对应的与所述第三图像的图像拍摄时间相同的候选图像确定为所述替补图像。

一种可选的实施方式中，每个代表图像组中的图像按照所述多相机的预设排列顺序进行存放；所述图像确定模块740具体用于：

针对每个代表图像组，按照所述预设排列顺序将所述代表图像组中的图像进行排序，得到多个有序代表图像组，每个所述有序代表图像组中的首个图像对应的相机不同；

将所述多帧当前图像按照所述预设排列顺序进行排序，得到有序当前图像组；

将所述有序当前图像组与每个所述代表图像组对应的各个所述有序代表图像组分别进行匹配，得到匹配结果；

将所述匹配结果中与所述有序当前图像组相似度最大的有序代表图像组确定为所述目标图像组。

一种可选的实施方式中，如图8中所示，所述装置还包括图像处理模块750，所述图像处理模块750用于：

基于所述多帧当前图像以及所述目标图像组，进行重定位处理或回环处理。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述，并不意味着严格的处理流程和交互流程而对实施过程构成任何限定，各模块的处理流程、和交互流程应当以其功能和可能的内在逻辑确定。

本公开实施例提供的图像查找装置，针对多帧当前图像，可以从历史数据库中确定与其对应的候选图像组以及代表图像组，在代表图像组存在图像缺失的情况下，可以利用候选图像组确定出替补图像，以对代表图像组进行补充，实现对于多相机信息缺失的弥补，从而可以通过补充后的代表图像组快速确定出与多帧当前图像相似度最大的目标图像组，有助于提升确定出的目标图像组的准确性和精确度。此外，本公开实施例中，先确定候选图像组，然后从候选图像组中确定替补图像，可以减少替补图像的搜索范围进而有利于提升替补图像的确定效率。

对应于上述的图像查找方法，本公开实施例还提供了一种电子设备900，如图9所示，为本公开实施例提供的电子设备900的结构示意图，包括：

处理器910、存储器920、和总线930。其中，存储器920用于存储执行指令，包括内存921和外部存储器922；这里的内存921也称内存储器，用于暂时存放处理器910中的运算数据，以及与硬盘等外部存储器922交换的数据，处理器910通过内存921与外部存储器922进行数据交换。

本申请实施例中，存储器920具体用于存储执行本申请方案的应用程序代码，并由处理器910来控制执行。也即，当电子设备900运行时，处理器910与存储器920之间通过总线930通信，使得处理器910执行存储器920中存储的应用程序代码，进而执行前述任一实施例中所述的方法。

其中，存储器920可以是，但不限于，随机存取存储器（RandomAccess Memory，RAM），只读存储器（ReadOnly Memory，ROM），可编程只读存储器（ProgrammableRead－OnlyMemory，PROM），可擦除只读存储器（Erasable Programmable Read－Only Memory，EPROM），电可擦除只读存储器（Electric Erasable Programmable Read－Only Memory，EEPROM）等。

处理器910可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（NetworkProcessor，NP）等；还可以是数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备900的具体限定。在本申请另一些实施例中，电子设备900可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

本公开实施例还提供一种移动设备，所述移动设备的结构与电子设备类似，不同的是，所述移动设备还包括移动部件以及用于驱动移动部件移动的驱动系统。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像查找方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，当所述计算机程序被执行时实现上述方法实施例中所述的图像查找方法的步骤，具体可参见上述方法实施例，在此不再赘述。

本公开实施例中的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备、核心网设备、OAM或者其它可编程装置。

所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘；还可以是半导体介质，例如，固态硬盘。该计算机可读存储介质可以是易失性或非易失性存储介质，或可包括易失性和非易失性两种类型的存储介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种图像查找方法，其特征在于，所述方法包括：

通过多相机获取目标移动设备当前时刻所处环境的多帧当前图像；其中，每帧当前图像对应一个相机；

从历史数据库中确定与所述多帧当前图像对应的候选图像组以及所述候选图像组中的代表图像组，所述历史数据库中的图像为所述多相机在所述当前时刻之前所拍摄的所述目标移动设备所处环境的第一图像；

在所述代表图像组中缺失至少一个目标代表图像的情况下，从所述候选图像组中确定用于补充所述目标代表图像的替补图像，并将所述替补图像加入到所述代表图像组中，形成新的代表图像组；

从所述新的代表图像组中确定与所述多帧当前图像相似度最大的目标图像组。

2.根据权利要求1所述的方法，其特征在于，所述历史数据库包括每张第一图像以及与所述每张第一图像对应的单词特征；所述从历史数据库中确定与所述多帧当前图像对应的候选图像组以及所述候选图像组中的代表图像组，包括：

针对每帧当前图像，对所述当前图像进行单词特征提取处理，得到所述当前图像对应的单词特征；

基于所述当前图像对应的单词特征，从所述历史数据库中确定与所述当前图像对应的单词特征匹配的至少一张候选第一图像，并将所述至少一张候选第一图像确定为所述代表图像组；

针对每张候选第一图像，从所述历史数据库中确定与所述候选第一图像的匹配的特征点的数量大于预设数量的至少一张共视第一图像；

基于每张当前图像对应的至少一张候选第一图像以及至少一张共视第一图像，生成所述多帧当前图像对应的候选图像组。

3.根据权利要求1所述的方法，其特征在于，所述从所述候选图像组中确定用于补充所述目标代表图像的替补图像，包括：

确定所述目标代表图像的缺失类型，所述缺失类型包括所述目标代表图像在存入所述历史数据库时被删除的第一缺失类型、以及所述目标代表图像在多相机采集图像时缺失的第二缺失类型；

基于确定出的所述缺失类型，从所述候选图像组中确定用于补充所述目标代表图像的替补图像。

4.根据权利要求3所述的方法，其特征在于，所述基于确定出的所述缺失类型，从所述候选图像组中确定用于补充所述目标代表图像的替补图像，包括：

在确定所述目标代表图像的缺失类型为所述第一缺失类型的情况下，从所述候选图像组中确定删除所述目标代表图像时与所述目标代表图像具有匹配特征点数量最多的目标第一图像，并将所述目标第一图像作为所述目标代表图像的替补图像。

5.根据权利要求3所述的方法，其特征在于，所述候选图像组中的候选图像基于所述多相机分别在所述目标移动设备上的相对位置关系进行存放；所述基于确定出的所述缺失类型，从所述候选图像组中确定用于补充所述目标代表图像的替补图像，包括：

在确定所述目标代表图像的缺失类型为所述第二缺失类型的情况下，基于所述多相机分别在所述目标移动设备上的相对位置关系，从所述多相机中确定与所述目标代表图像所对应的目标相机位置相邻的第一相机；

基于所述目标代表图像的图像拍摄时间，从所述第一相机所对应的多张候选图像中确定与所述目标代表图像的图像拍摄时间对应的第二图像；

从所述候选图像组中确定与所述第二图像的匹配特征点数量最多的第三图像，基于所述第三图像从所述候选图像组中确定用于补充所述目标代表图像的替补图像。

6.根据权利要求5所述的方法，其特征在于，针对所述多相机在同一时刻所拍摄的候选图像，按照所述多相机的预设排列顺序进行存放；所述基于所述第三图像从所述候选图像组中确定用于补充所述目标代表图像的替补图像，包括：

基于所述多相机的预设排列顺序，确定所述目标代表图像所对应的目标相机与所述第一相机之间的相对排列关系；

基于所述相对排列关系以及所述第三图像所对应的相机，从所述多相机中确定替补相机，并从所述替补相机所对应的候选图像中确定用于补充所述目标代表图像的替补图像。

7.根据权利要求6所述的方法，其特征在于，所述从所述替补相机所对应的候选图像中确定用于补充所述目标代表图像的替补图像，包括：

从所述替补相机所对应的候选图像中，确定与所述第三图像的图像拍摄时间相同的候选图像，并将所述替补相机所对应的与所述第三图像的图像拍摄时间相同的候选图像确定为所述替补图像。

8.根据权利要求1所述的方法，其特征在于，每个代表图像组中的图像按照所述多相机的预设排列顺序进行存放；所述从所述新的代表图像组中确定与所述多帧当前图像相似度最大的目标图像组，包括：

针对每个代表图像组，按照所述预设排列顺序将所述代表图像组中的图像进行排序，得到多个有序代表图像组，每个所述有序代表图像组中的首个图像对应的相机不同；

将所述多帧当前图像按照所述预设排列顺序进行排序，得到有序当前图像组；

将所述有序当前图像组与每个所述代表图像组对应的各个所述有序代表图像组分别进行匹配，得到匹配结果；

将所述匹配结果中与所述有序当前图像组相似度最大的有序代表图像组确定为所述目标图像组。

9.根据权利要求1-8任一项所述的方法，其特征在于，在所述从所述新的代表图像组中确定与所述多帧当前图像相似度最大的目标图像组之后，所述方法还包括：

基于所述多帧当前图像以及所述目标图像组，进行重定位处理或回环处理。

10.一种移动设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至9中任一项所述的图像查找方法的步骤。

11.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至9中任一项所述的图像查找方法的步骤。

12.一种计算机程序产品，包括计算机程序，其特征在于，当所述计算机程序被执行时实现如权利要求1至9中任一项所述的图像查找方法的步骤。

Images