CN115129921A - 图片检索方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本发明实施例提出一种图片检索方法、装置、电子设备和计算机可读存储介质，涉及图像处理领域。该方法可将采用不同AI算法提取特征向量的各下级检索平台返回的初始检索结果汇聚到中心检索平台，按照中心检索平台提供的AI算法再分析计算一次，最终确定与待检索图片相似的目标图片，实现了将多种AI算法产生的数据进行简单汇聚后融合检索来完成以图搜图功能，从而达到较好的基于多种AI算法产生的数据的融合检索效果。各下级检索平台无需对全量图片数据提取特征向量，也不必全量存储特征向量数据，故能有效节省GPU计算资源和数据存储空间，避免数据冗余。

Description

图片检索方法、装置、电子设备和计算机可读存储介质

技术领域

本发明涉及图像处理领域，具体而言，涉及一种图片检索方法、装置、电子设备和计算机可读存储介质。

背景技术

以图搜图是通过输入图片来检索相似的图片的一种搜索技术，在很多领域都有广泛应用，为用户提供相关图形图像资料检索的功能。

例如，在AI(Artificial Intelligence，人工智能)安防领域，人脸、人体、机动车、非机动车的以图搜图功能已普遍进行应用，但经常会遇到不同区域(地区)的人脸、人体、机动车、非机动车图片中的特征向量来源于不同厂家的算法的情况。由于不同厂家提取特征向量的AI算法各不相同，导致这些来源于各厂家数据中的特征向量，不能相互间兼容以及存在算法精度差异，进而无法基于多种AI算法产生的数据实现以图搜图功能。

发明内容

有鉴于此，本发明的目的在于提供一种图片检索方法、装置、电子设备和计算机可读存储介质，以解决现有技术中无法基于多种AI算法产生的数据实现以图搜图功能的问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明提供一种图片检索方法，应用于中心检索平台，所述中心检索平台与多个下级检索平台通信连接；其中，不同下级检索平台对应不同的第一特征向量库，所述第一特征向量库存储有多个抓拍图片的特征向量以及每个所述特征向量对应的结构化数据，所述结构化数据包括所述特征向量对应的抓拍图片的存储路径；所述方法包括：

根据获取到的待检索图片，分别向每个下级检索平台下发图片检索请求，以便每个下级检索平台在接收到所述图片检索请求后，提取所述待检索图片的特征向量，根据所述待检索图片的特征向量和所述第一特征向量库中的每个特征向量的相似度，确定所述第一特征向量库中与所述待检索图片的特征向量相似的第一目标特征向量，根据所述第一目标特征向量对应的结构化数据中的存储路径，获取所述第一目标特征向量对应的抓拍图片，并将所述第一目标特征向量对应的抓拍图片作为候选图片，根据所述候选图片向所述中心检索平台返回初始检索结果；

对所述待检索图片进行特征提取，获得所述待检索图片的特征向量；

对各下级检索平台返回的初始检索结果中的候选图片进行特征提取，获得所述候选图片的特征向量；

计算所述候选图片的特征向量和所述待检索图片的特征向量的相似度；

根据所述候选图片的特征向量和所述待检索图片的特征向量的相似度，从所有的候选图片中确定与所述待检索图片相似的目标图片。

在可选的实施方式中，所述根据所述候选图片的特征向量和所述待检索图片的特征向量的相似度，从所有的候选图片中确定与所述待检索图片相似的目标图片，包括：

根据所述候选图片的特征向量和所述待检索图片的特征向量的相似度，对所有的候选图片的特征向量进行排序，得到第一排序结果；

根据所述第一排序结果确定与所述待检索图片相似的目标图片。

在可选的实施方式中，所述计算所述候选图片的特征向量和所述待检索图片的特征向量的相似度，包括：

计算所述候选图片的特征向量与所述待检索图片的特征向量的距离，得到所述候选图片的特征向量和所述待检索图片的特征向量的相似度。

在可选的实施方式中，所述中心检索平台对应第二特征向量库；在对所述待检索图片进行特征提取，获得所述待检索图片的特征向量之后，所述方法还包括：

计算所述待检索图片的特征向量和所述第二特征向量库中的每个特征向量的相似度；

根据所述待检索图片的特征向量和所述第二特征向量库中的每个特征向量的相似度，确定所述第二特征向量库中与所述待检索图片的特征向量相似的第二目标特征向量；

根据所述第二目标特征向量对应的结构化数据中的存储路径，获取所述第二目标特征向量对应的抓拍图片，并将所述第二目标特征向量对应的抓拍图片作为候选图片。

在可选的实施方式中，所述根据所述待检索图片的特征向量和所述第二特征向量库中的每个特征向量的相似度，确定所述第二特征向量库中与所述待检索图片的特征向量相似的第二目标特征向量，包括：

根据所述待检索图片的特征向量和所述第二特征向量库中的每个特征向量的相似度，对所述第二特征向量库中的所有特征向量进行排序，得到第二排序结果；

根据所述第二排序结果确定与所述待检索图片的特征向量相似的第二目标特征向量。

在可选的实施方式中，所述计算所述候选图片的特征向量和所述待检索图片的特征向量的相似度，包括：

计算所述初始检索结果中的候选图片的特征向量与所述待检索图片的特征向量的相似度，以及所述第二目标特征向量与所述待检索图片的特征向量的相似度；

所述根据所述候选图片的特征向量和所述待检索图片的特征向量的相似度，从所有的候选图片中确定与所述待检索图片相似的目标图片，包括：

根据所述初始检索结果中的候选图片的特征向量与所述待检索图片的特征向量的相似度，以及所述第二目标特征向量与所述待检索图片的特征向量的相似度，从所述初始检索结果中的候选图片以及所述第二目标特征向量对应的抓拍图片中，确定与所述待检索图片相似的目标图片。

在可选的实施方式中，所述初始检索结果中还包括所述候选图片的结构化数据；在根据所述候选图片的特征向量和所述待检索图片的特征向量的相似度，从所有的候选图片中确定与所述待检索图片相似的目标图片之后，所述方法还包括：

根据所述目标图片以及所述目标图片的结构化数据，得到所述待检索图片的最终检索结果，并将所述最终检索结果发送到用户终端进行展示。

第二方面，本发明提供一种图片检索装置，应用于中心检索平台，所述中心检索平台与多个下级检索平台通信连接；其中，不同下级检索平台对应不同的第一特征向量库，所述第一特征向量库存储有多个抓拍图片的特征向量以及每个所述特征向量对应的结构化数据，所述结构化数据包括所述特征向量对应的抓拍图片的存储路径；所述装置包括：

检索请求发送模块，用于根据获取到的待检索图片，分别向每个下级检索平台下发图片检索请求，以便每个下级检索平台在接收到所述图片检索请求后，提取所述待检索图片的特征向量，根据所述待检索图片的特征向量和所述第一特征向量库中的每个特征向量的相似度，确定所述第一特征向量库中与所述待检索图片的特征向量相似的第一目标特征向量，根据所述第一目标特征向量对应的结构化数据中的存储路径，获取所述第一目标特征向量对应的抓拍图片，并将所述第一目标特征向量对应的抓拍图片作为候选图片，根据所述候选图片向所述中心检索平台返回初始检索结果；

特征提取模块，用于对所述待检索图片进行特征提取，获得所述待检索图片的特征向量，以及对各下级检索平台返回的初始检索结果中的候选图片进行特征提取，获得所述候选图片的特征向量；

图片确定模块，用于计算所述候选图片的特征向量和所述待检索图片的特征向量的相似度，根据所述候选图片的特征向量和所述待检索图片的特征向量的相似度，从所有的候选图片中确定与所述待检索图片相似的目标图片。

第三方面，本发明提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如前述实施方式中任一项所述的图片检索方法的步骤。

第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的图片检索方法的步骤。

本发明实施例提供的图片检索方法、装置、电子设备和计算机可读存储介质，中心检索平台与多个下级检索平台通信连接，不同下级检索平台对应不同的第一特征向量库，第一特征向量库存储有多个抓拍图片的特征向量以及每个特征向量对应的结构化数据，该结构化数据包括特征向量对应的抓拍图片的存储路径。中心检索平台根据获取到的待检索图片，分别向每个下级检索平台下发图片检索请求，每个下级检索平台在接收到图片检索请求后，提取待检索图片的特征向量，根据待检索图片的特征向量和第一特征向量库中的每个特征向量的相似度，确定第一特征向量库中与待检索图片的特征向量相似的第一目标特征向量，根据第一目标特征向量对应的结构化数据中的存储路径，获取第一目标特征向量对应的抓拍图片，并将第一目标特征向量对应的抓拍图片作为候选图片，然后根据候选图片向中心检索平台返回初始检索结果。中心检索平台对待检索图片进行特征提取，获得待检索图片的特征向量，对各下级检索平台返回的初始检索结果中的候选图片进行特征提取，获得候选图片的特征向量，然后计算候选图片的特征向量和待检索图片的特征向量的相似度，根据候选图片的特征向量和待检索图片的特征向量的相似度，从所有的候选图片中确定与待检索图片相似的目标图片。如此，可将采用不同AI算法提取特征向量的各下级检索平台返回的初始检索结果汇聚到中心检索平台，按照中心检索平台提供的AI算法再分析计算一次，最终确定与待检索图片相似的目标图片，实现了将多种AI算法产生的数据进行简单汇聚后融合检索来完成以图搜图功能，从而达到较好的基于多种AI算法产生的数据的融合检索效果。各下级检索平台无需对全量图片数据提取特征向量，也不必全量存储特征向量数据，故能有效节省GPU计算资源和数据存储空间，避免数据冗余。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了适用于本发明实施例的一种应用环境示意图；

图2示出了本发明实施例提供的图片检索方法的一种流程示意图；

图3示出了本发明实施例提供的图片检索方法的另一种流程示意图；

图4示出了本发明实施例提供的图片检索方法的又一种流程示意图；

图5示出了本发明实施例提供的图片检索方法的又一种流程示意图；

图6示出了本发明实施例提供的图片检索方法的又一种流程示意图；

图7示出了本发明实施例提供的图片检索装置的一种功能模块图；

图8示出了本发明实施例提供的图片检索装置的另一种功能模块图；

图9示出了本发明实施例提供的电子设备的一种方框示意图。

图标：100-中心检索平台；200-下级检索平台；300-用户终端；700-图片检索装置；710-检索请求发送模块；720-特征提取模块；730-图片确定模块；740-图片输出模块；810-存储器；820-处理器；830-通信模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在AI安防领域，人脸、人体、机动车、非机动车的以图搜图功能已普遍进行应用，但经常会遇到不同区域(地区)的人脸、人体、机动车、非机动车图片中的特征向量来源于不同厂家的算法的情况。由于不同厂家提取特征向量的AI算法各不相同，导致这些来源于各厂家数据中的特征向量，不能相互间兼容以及存在算法精度差异，进而无法基于多种AI算法产生的数据实现以图搜图功能。

经发明人研究发现，目前主要采用以下两种方案来解决上述问题：一种是各个厂家将全部的人脸、人体、机动车、非机动车图片中的目标都独立计算一次，以便从图片中提取特征向量并存储于各自的MPP(Massively Parallel Processing，大规模并行处理)数据库，因此每个厂家都需保留全量的特征向量数据，从而各自独立进行以图搜图业务，这种方式由于各个厂家需要对全量图片数据提取特征向量，故对GPU(Graphics ProcessingUnit，图形处理器)等AI计算资源的消耗极大；同时全量的特征向量数据需要在每个厂家存储一份，故会产生极大的数据冗余，导致资源的浪费。另一种是对各厂家算法使用测试样本数据进行算法精度标注，算出一个中间的精度转换值，这种方式虽然避免了数据冗余，但由于不同场景下的各厂家算法精度不同，故容易存在很大偏差的情况。

基于此，本发明实施例提供了一种图片检索方法、装置、电子设备和计算机可读存储介质，该方法可将采用不同AI算法提取特征向量的各下级检索平台返回的初始检索结果汇聚到中心检索平台，按照中心检索平台提供的AI算法再分析计算一次，最终确定与待检索图片相似的目标图片，实现了将多种AI算法产生的数据进行简单汇聚后融合检索来完成以图搜图功能，从而达到较好的基于多种AI算法产生的数据的融合检索效果。各下级检索平台无需对全量图片数据提取特征向量，也不必全量存储特征向量数据，故能有效节省GPU计算资源和数据存储空间，避免数据冗余。

请参照图1，为适用于本发明实施例的一种应用环境示意图。如图1所示，中心检索平台100与多个下级检索平台200通信连接，以实现中心检索平台100与多个下级检索平台200之间的数据通信或交互。

可选地，中心检索平台100以及各个下级检索平台200分别部署在不同的服务器或者服务器集群中，中心检索平台100以及各个下级检索平台200均为运行在服务器或者服务器集群中的软件程序。

中心检索平台100还可与用户终端300进行数据通信或交互。例如，用户终端300可以安装应用程序(例如，Web浏览器)，用户通过Web应用界面上传需检索的图片，进而向中心检索平台100发起以图搜图请求；中心检索平台100返回的以图搜图结果也可在用户终端300的Web应用界面进行显示。

在本实施例中，中心检索平台100与各下级检索平台200将提供不同的AI算法(即不同厂家的AI算法)，用于提取图片的特征向量。其中，中心检索平台为多算法融合检索平台，用于为用户终端300提供统一的以图搜图融合检索入口，并代理向各个注册上来的各厂家对应的下级检索平台发送图片检索请求，以及将各厂家的检索数据进行融合检索后返回最终检索结果到用户终端300，从而使用户层面感知不到底下的多个下级检索平台的存在。

在本实施例中，每个检索平台(中心检索平台、下级检索平台)主要包括4大功能模块，分别为以图搜图模块、AI算法引擎模块、向量大数据库、图片存储模块。

其中，以图搜图模块作为整个检索服务的入口及整个检索流程的控制中心，其输入一般为用户需要检索的图片，如人脸、人体、机动车、非机动车的图片，输出可以为图片比对后的按相似度从高到低的排序结果。在中心检索平台100，以图搜图模块为融合以图搜图模块，增加了多算法融合能力，提供多厂家检索后数据汇聚、检索结果的重排序、平台注册等功能，以实现多算法的数据融合检索。

AI算法引擎模块通过深度学习框架，提取出人脸、人体、机动车、非机动车等图片的特征向量。其中，中心检索平台100以及各下级检索平台200中的AI算法引擎模块采用的AI算法各不相同。

向量大数据库提供分布式特征向量比对能力，并按相似度返回比对后的结果，同时提供该特征向量相关的结构化数据，如关联的图片存储路径、图片拍摄时间以及与图片中的目标相关的各类属性信息。其中，向量大数据库可以部署在各检索平台所在服务器上，也可以部署在其他服务器上。

图片存储模块提供对特征向量关联的图片的存储服务，以便在比对中能够快速读取对应的图片数据。其中，各检索平台利用图片存储模块可以将前端采集的图片数据存储到相应的图片存储设备，图片数据的存储路径以结构化数据的形式存储在向量大数据库，后续基于存储路径可从相应的图片存储设备获取图片数据。

如此，通过中心检索平台100以及各下级检索平台200中的向量大数据库，可以实现图片的特征向量数据的分布式存储。即在图片数据入库时，中心检索平台100和各下级检索平台200无需对全量图片数据提取特征向量，也不必全量存储特征向量数据。例如，针对某个省的图片数据，可设置中心检索平台100以及下级检索平台200各自对应某一个市，这样前端采集设备采集的图片数据只需根据所在位置对应发送到中心检索平台100或者某个下级检索平台200进行特征提取，提取出的特征向量数据也只需在该中心检索平台100或者某个下级检索平台200对应的向量大数据库存储，从而将整个省的图片特征向量数据分布式存储到各下级检索平台200以及中心检索平台100。

在本实施例中，在进行以图搜图融合检索之前，各下级检索平台200需要向中心检索平台100进行注册，注册的流程如下：

中心检索平台100提供注册服务接口，各下级检索平台200通过中心检索平台100提供的注册服务接口向中心检索平台100进行注册，注册消息中携带各下级检索平台200的以图搜图服务接口(以图搜图模块)的URL(Uniform Resource Locator，统一资源定位符)路径，中心检索平台100在进行有效的密码验证后，向各下级检索平台200返回注册成功消息，否则返回注册失败消息。注册完成后，各下级检索平台200还需要向中心检索平台100进行定时保活，使中心检索平台100感知下级的下级检索平台200的服务可用性。

下面将结合附图对本发明的各实施例进行详细说明。

请参照图2，为本发明实施例提供的图片检索方法的一种流程示意图。需要说明的是，本发明实施例的图片检索方法并不以图2以及以下的具体顺序为限制，应当理解，在其他实施例中，本发明实施例的图片检索方法中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该图片检索方法可以由图1所示的中心检索平台100执行，下面将对图2所示的具体流程进行详细阐述。

步骤S201，根据获取到的待检索图片，分别向每个下级检索平台下发图片检索请求，以便每个下级检索平台在接收到图片检索请求后，提取待检索图片的特征向量，根据待检索图片的特征向量和第一特征向量库中的每个特征向量的相似度，确定第一特征向量库中与待检索图片的特征向量相似的第一目标特征向量，根据第一目标特征向量对应的结构化数据中的存储路径，获取第一目标特征向量对应的抓拍图片，并将第一目标特征向量对应的抓拍图片作为候选图片，根据候选图片向中心检索平台返回初始检索结果。

在本实施例中，第一特征向量库可以理解为上述下级检索平台200中的向量大数据库，不同下级检索平台200对应不同的第一特征向量库；第一特征向量库存储有多个抓拍图片(人脸、人体机动车、非机动车图片等)的特征向量以及每个特征向量对应的结构化数据，结构化数据中可以包括特征向量对应的抓拍图片的存储路径、图片拍摄时间以及与抓拍图片中的目标相关的各类属性信息。可以理解，不同第一特征向量库中的特征向量，是各下级检索平台200按照各自提供的AI算法对接收到的抓拍图片进行特征提取后获得的。

用户通过用户终端300向中心检索平台100发起以图搜图请求，即将待检索图片通过以图搜图请求的方式提交到中心检索平台100的融合以图搜图模块，融合以图搜图模块接收到该以图搜图请求后，遍历已注册的下级检索平台200，然后对各下级检索平台200的以图搜图服务接口下发图片检索请求，图片检索请求中携带待检索图片。

每个下级检索平台200在接收到该图片检索请求后，可先将待检索图片提交到各自的AI算法引擎模块，通过下级检索平台200的AI算法引擎模块提取该待检索图片的特征向量，然后通过以图搜图模块将提取到的待检索图片的特征向量与第一特征向量库中的每个特征向量进行相似度计算，根据计算出的待检索图片的特征向量和第一特征向量库中的每个特征向量的相似度，确定出第一特征向量库中与待检索图片的特征向量相似的第一目标特征向量，由于第一特征向量库还存储有每个特征向量的结构化数据，且结构化数据中包括特征向量对应的抓拍图片的存储路径，故通过获取第一特征向量库中的第一目标特征向量对应的结构化数据，进而根据结构化数据中的存储路径可获取第一目标特征向量对应的抓拍图片，并将第一目标特征向量对应的抓拍图片作为候选图片，最后根据候选图片向中心检索平台100返回初始检索结果。

在一种实施方式中，各下级检索平台在确定第一特征向量库中与待检索图片的特征向量相似的第一目标特征向量时，可以根据待检索图片的特征向量和第一特征向量库中的每个特征向量的相似度的高低顺序，对第一特征向量库中的各特征向量进行排序，并选取排序结果中的TOP K特征向量，得到与待检索图片的特征向量最相似的K个第一目标特征向量。K的具体取值根据实际需要设置。在另一种实施方式中，还可以根据待检索图片的特征向量和第一特征向量库中的每个特征向量的相似度，选取相似度达到设定阈值的特征向量作为第一目标特征向量。

步骤S202，对待检索图片进行特征提取，获得待检索图片的特征向量。

在本实施例中，中心检索平台100在接收到该图片检索请求后，通过融合以图搜图模块将待检索图片提交到AI算法引擎模块，通过中心检索平台100的AI算法引擎模块提取该待检索图片的特征向量。

步骤S203，对各下级检索平台返回的初始检索结果中的候选图片进行特征提取，获得候选图片的特征向量。

在本实施例中，中心检索平台100在接收到各个下级检索平台200返回的初始检索结果后，可以采用并发方式将初始检索结果中的候选图片发送给中心检索平台100的AI算法引擎模块，由中心检索平台100的AI算法引擎模块对初始检索结果中的候选图片重新进行AI分析，提取出候选图片的特征向量，并将提取出的候选图片的特征向量返回给融合以图搜图模块。

需要说明的是，中心检索平台100的AI算法引擎模块提取该待检索图片的特征向量既可以在步骤S203之前执行，也可以在步骤S203之后执行，还可以与步骤S201同时执行，本实施例对此不做限制。

步骤S204，计算候选图片的特征向量和待检索图片的特征向量的相似度。

在本实施例中，中心检索平台100的融合以图搜图模块汇聚重新提取的候选图片的特征向量，根据候选图片的特征向量和待检索图片的特征向量进行相似度计算，从而得到每个候选图片的特征向量和待检索图片的特征向量的相似度。

步骤S205，根据候选图片的特征向量和待检索图片的特征向量的相似度，从所有的候选图片中确定与待检索图片相似的目标图片。

在本实施例中，中心检索平台100的融合以图搜图模块获得所有候选图片的特征向量和待检索图片的特征向量的相似度后，可通过对相似度进行排序或者判断相似度是否达到设定阈值的方式，从所有的候选图片中确定与待检索图片相似的目标图片。

可见，本发明实施例提供的图片检索方法中，中心检索平台根据获取到的待检索图片，分别向每个下级检索平台下发图片检索请求，每个下级检索平台在接收到图片检索请求后，提取待检索图片的特征向量，根据待检索图片的特征向量和第一特征向量库中的每个特征向量的相似度，确定第一特征向量库中与待检索图片的特征向量相似的第一目标特征向量，根据第一目标特征向量对应的结构化数据中的存储路径，获取第一目标特征向量对应的抓拍图片，并将第一目标特征向量对应的抓拍图片作为候选图片，然后根据候选图片向中心检索平台返回初始检索结果。中心检索平台对待检索图片进行特征提取，获得待检索图片的特征向量，对各下级检索平台返回的初始检索结果中的候选图片进行特征提取，获得候选图片的特征向量，然后计算候选图片的特征向量和待检索图片的特征向量的相似度，根据候选图片的特征向量和待检索图片的特征向量的相似度，从所有的候选图片中确定与待检索图片相似的目标图片。如此，可将采用不同AI算法提取特征向量的各下级检索平台返回的初始检索结果汇聚到中心检索平台，按照中心检索平台提供的AI算法再分析计算一次，最终确定与待检索图片相似的目标图片，实现了将多种AI算法产生的数据进行简单汇聚后融合检索来完成以图搜图功能，从而达到较好的基于多种AI算法产生的数据的融合检索效果。各下级检索平台无需对全量图片数据提取特征向量，也不必全量存储特征向量数据，故能有效节省GPU计算资源和数据存储空间，避免数据冗余。

在本实施例中，事物的特征之间的相似度可以通过计算特征之间的距离获得，例如欧式距离、余弦距离等。也即是说，上述步骤S204具体可以包括：计算候选图片的特征向量与待检索图片的特征向量的距离，得到候选图片的特征向量和待检索图片的特征向量的相似度。

其中，距离越大，表明候选图片的特征向量和待检索图片的特征向量之间的相似度越小，候选图片与待检索图片之前的相似度也越小；距离越小，表明候选图片的特征向量和待检索图片的特征向量之间的相似度越大。

可选地，为了从所有的候选图片中确定出与该待检索图片相似的目标图片，可以基于候选图片的特征向量和待检索图片的特征向量进行相似度比对来获得。基于此，请参照图3，上述步骤S205具体可包括：

子步骤S2051，根据候选图片的特征向量和待检索图片的特征向量的相似度，对所有的候选图片的特征向量进行排序，得到第一排序结果。

在本实施例中，可以按照相似度从高到低(或者从低到高)的顺序对所有的候选图片的特征向量进行排序，获得第一排序结果。

子步骤S2052，根据第一排序结果确定与待检索图片相似的目标图片。

在本实施例中，由于第一排序结果中包括按照相似度高低顺序排序的所有候选图片的特征向量，故通过获取第一排序结果中的TOP M(M的具体取值根据实际需要设置)特征向量，就可以获取M个与待检索图片的特征向量最相似的候选图片的特征向量，进而确定出候选图片中与待检索图片最相似的M个目标图片。

当然，在其他实施例中，还可以根据各候选图片的特征向量和待检索图片的特征向量的相似度，选取相似度达到设定阈值的特征向量所对应的候选图片，作为与待检索图片相似的目标图片。

可见，本发明实施例提供的图片检索方法，通过中心检索平台的融合以图搜图模块对候选图片的特征向量和待检索图片的特征向量进行距离计算，从而得到以中心检索平台的AI算法为基准的相似度值，然后按照相似度值的高低顺序对候选图片的特征向量进行排序，最终根据排序结果确定出候选图片中与待检索图片最相似的M个目标图片。

在实际应用中，考虑到中心检索平台100也可能涉及以图搜图，即中心检索平台也需要基于自身的向量大数据库和图片存储模块对待检索图片进行初步检索，其检索流程与下级的下级检索平台基本相同。具体的，请参照图4，在步骤S202之后，本发明实施例提供的图片检索方法还可以包括：

步骤S401，计算待检索图片的特征向量和第二特征向量库中的每个特征向量的相似度。

在本实施例中，中心检索平台100对应第二特征向量库，第二特征向量库可以理解为中心检索平台100中的向量大数据库。与第一特征向量库类似，第二特征向量库中也存储有多个抓拍图片的特征向量以及每个特征向量对应的结构化数据，结构化数据包括特征向量对应的抓拍图片的存储路径，还可以包括图片拍摄时间以及与抓拍图片中的目标相关的各类属性信息。可以理解，第二特征向量库中的特征向量，是中心检索平台100按照自身提供的AI算法对接收到的抓拍图片进行特征提取后获得的。

中心检索平台100中的融合以图搜图模块获取到AI算法引擎模块提取的待检索图片的特征向量后，将该待检索图片的特征向量与第二特征向量库中的每个特征向量进行相似度计算，得到待检索图片的特征向量和第二特征向量库中的每个特征向量的相似度。

在本实施例中，可通过计算待检索图片的特征向量与第二特征向量库中的每个抓拍图片的特征向量的距离，得到待检索图片的特征向量与第二特征向量库中的每个抓拍图片的特征向量的相似度。

步骤S402，根据待检索图片的特征向量和第二特征向量库中的每个特征向量的相似度，确定第二特征向量库中与待检索图片的特征向量相似的第二目标特征向量。

在本实施例中，中心检索平台100中的融合以图搜图模块根据计算出的待检索图片的特征向量和第二特征向量库中的每个特征向量的相似度，确定出第二特征向量库中与待检索图片的特征向量相似的第二目标特征向量。

步骤S403，根据第二目标特征向量对应的结构化数据中的存储路径，获取第二目标特征向量对应的抓拍图片，并将第二目标特征向量对应的抓拍图片作为候选图片。

在本实施例中，由于第二特征向量库中还存储有每个特征向量的结构化数据，且结构化数据中包括特征向量对应的抓拍图片的存储路径，故通过获取第二特征向量库中的第二目标特征向量对应的结构化数据，进而根据结构化数据中的存储路径可获取第二目标特征向量对应的抓拍图片，并将第二目标特征向量对应的抓拍图片也作为候选图片。

可选地，为了从第二特征向量库中确定出于待检索图片的特征向量相似的第二目标特征向量，可以基于第二特征向量库中的抓拍图片的特征向量和待检索图片的特征向量进行相似度比对来获得。请参照图5，上述步骤S402具体可包括：

子步骤S4021，根据待检索图片的特征向量和第二特征向量库中的每个特征向量的相似度，对第二特征向量库中的所有特征向量进行排序，得到第二排序结果。

在本实施例中，可以按照相似度从高到低(或者从低到高)的顺序对第二特征向量库中的特征向量进行排序，得到第二排序结果。

子步骤S4022，根据第二排序结果确定与待检索图片的特征向量相似的第二目标特征向量。

在本实施例中，由于第二排序结果中包括按照相似度高低顺序排序的第二特征向量库中的特征向量，故通过获取第二排序结果中的TOP N(N的具体取值根据实际需要设置)特征向量，就可以确定出第二特征向量库中与待检索图片的特征向量最相似的N个第二目标特征向量。

当然，在其他实施例中，还可以根据待检索图片的特征向量和第二特征向量库中的每个特征向量的相似度，选取相似度达到设定阈值的特征向量作为第二目标特征向量。

可选地，由于中心检索平台100进行以图搜图后也获得了候选图片，在此情形下，候选图片实际包含两部分，一部分来自各下级检索平台200返回的初始检索结果，另一部分来自中心检索平台获取的第二目标特征向量对应的抓拍图片。基于此，上述步骤S204具体可包括：

计算初始检索结果中的候选图片的特征向量与待检索图片的特征向量的相似度，以及第二目标特征向量与待检索图片的特征向量的相似度。

也即是说，中心检索平台100对待检索图片进行初步检索获得第二目标特征向量对应的抓拍图片后，会将对下级检索平台返回的候选图片进行二次特征提取后得到的特征向量、第二目标特征向量，分别与待检索图片的特征向量进行距离计算，得到第二目标特征向量与待检索图片的特征向量的相似度，以及下级检索平台返回的候选图片的特征向量与待检索图片的特征向量的相似度。

在此情形下，上述步骤S205具体包括：根据初始检索结果中的候选图片的特征向量与待检索图片的特征向量的相似度，以及第二目标特征向量与待检索图片的特征向量的相似度，从初始检索结果中的候选图片以及第二目标特征向量对应的抓拍图片中，确定与待检索图片相似的目标图片。

例如，获得第二目标特征向量与待检索图片的特征向量的相似度，以及下级检索平台返回的候选图片的特征向量与待检索图片的特征向量的相似度后，按照相似度高低顺序对所有的候选图片(包括下级检索平台200返回的候选图片以及中心检索平台100获取的第二目标特征向量对应的抓拍图片)的特征向量进行排序，获得第一排序结果，并选取第一排序结果中的TOP M特征向量，将TOP M特征向量对应的候选图片确定为与待检索图片最相似的M个目标图片。

可选地，为了便于用户查看检索到的图片的结构化数据，可在输出检索结果时将图片数据与图片的结构化数据合并后一起反馈。基于此，请参照图6，在步骤S205之后，本发明实施例提供的图片检索方法还可以包括：

步骤S601，根据目标图片以及目标图片的结构化数据，得到待检索图片的最终检索结果，并将最终检索结果发送到用户终端进行展示。

在本实施例中，每个下级检索平台200在根据候选图片向中心检索平台100返回初始检索结果时，将候选图片与候选图片的结构化数据合并后返回给中心检索平台100，故初始检索结果中包括候选图片的结构化数据。

中心检索平台的融合以图搜图模块在进行待检索图片的相似图片的输出时，将确定出的与待检索图片相似的目标图片与目标图片的结构化数据合并为最终检索结果，并将最终检索结果返回给用户终端300，以便用户查看。

应理解的是，在获取目标图片的结构化数据时，如果目标图片来自下级检索平台200返回的初始检索结果，则目标图片的结构化数据可以从初始检索结果中获得；如果目标图片来自中心检索平台100对应的图片存储设备，则目标图片的结构化数据可以从中心检索平台100对应的第二特征向量库获得。

为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种图片检索装置的实现方式。请参阅图7，为本发明实施例提供的图片检索装置700的一种功能模块图。需要说明的是，本实施例所提供的图片检索装置700，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该图片检索装置700包括：检索请求发送模块710、特征提取模块720、图片确定模块730。

检索请求发送模块710，用于根据获取到的待检索图片，分别向每个下级检索平台下发图片检索请求，以便每个下级检索平台在接收到图片检索请求后，提取待检索图片的特征向量，根据待检索图片的特征向量和第一特征向量库中的每个特征向量的相似度，确定第一特征向量库中与待检索图片的特征向量相似的第一目标特征向量，根据第一目标特征向量对应的结构化数据中的存储路径，获取第一目标特征向量对应的抓拍图片，并将第一目标特征向量对应的抓拍图片作为候选图片，根据候选图片向中心检索平台返回初始检索结果。

可以理解，该检索请求发送模块710可以执行上述步骤S201。

特征提取模块720，用于对待检索图片进行特征提取，获得待检索图片的特征向量，以及对各下级检索平台返回的初始检索结果中的候选图片进行特征提取，获得候选图片的特征向量。

可以理解，该特征提取模块720可以执行上述步骤S202、S203。

图片确定模块730，用于计算候选图片的特征向量和待检索图片的特征向量的相似度，根据候选图片的特征向量和待检索图片的特征向量的相似度，从所有的候选图片中确定与待检索图片相似的目标图片。

可以理解，该图片确定模块730可以执行上述步骤S204、S205。

可选地，图片确定模块730具体用于：根据候选图片的特征向量和待检索图片的特征向量的相似度，对所有的候选图片的特征向量进行排序，得到第一排序结果；根据第一排序结果确定与待检索图片相似的目标图片。

图片确定模块730还具体用于计算候选图片的特征向量与待检索图片的特征向量的距离，得到候选图片的特征向量和待检索图片的特征向量的相似度。

可以理解，该图片确定模块730具体可以执行上述子步骤S2051～S2052。

可选地，中心检索平台对应第二特征向量库，该图片确定模块730还用于计算待检索图片的特征向量和第二特征向量库中的每个特征向量的相似度；根据待检索图片的特征向量和第二特征向量库中的每个特征向量的相似度，确定第二特征向量库中与待检索图片的特征向量相似的第二目标特征向量；根据第二目标特征向量对应的结构化数据中的存储路径，获取第二目标特征向量对应的抓拍图片，并将第二目标特征向量对应的抓拍图片作为候选图片。

可以理解，该图片确定模块730还可以执行上述步骤S401～S403。

可选地，该图片确定模块730还具体用于根据待检索图片的特征向量和第二特征向量库中的每个特征向量的相似度，对第二特征向量库中的所有特征向量进行排序，得到第二排序结果；根据第二排序结果确定与待检索图片的特征向量相似的第二目标特征向量。

可以理解，该图片确定模块730还可以执行上述子步骤S4021～S4022。

可选地，该图片确定模块730还具体用于计算初始检索结果中的候选图片的特征向量与待检索图片的特征向量的相似度，以及第二目标特征向量与待检索图片的特征向量的相似度；根据初始检索结果中的候选图片的特征向量与待检索图片的特征向量的相似度，以及第二目标特征向量与待检索图片的特征向量的相似度，从初始检索结果中的候选图片以及第二目标特征向量对应的抓拍图片中，确定与待检索图片相似的目标图片。

可选地，初始检索结果中还包括候选图片的结构化数据，请参照图8，该图片检索装置700还可以包括图片输出模块740，该图片输出模块740用于根据目标图片以及目标图片的结构化数据，得到待检索图片的最终检索结果，并将最终检索结果发送到用户终端进行展示。

可以理解，该图片输出模块740可以执行上述步骤S601。

可见，本发明实施例提供的图片检索装置，应用于中心检索平台，中心检索平台与多个下级检索平台通信连接，不同下级检索平台对应不同的第一特征向量库，第一特征向量库存储有多个抓拍图片的特征向量以及每个特征向量对应的结构化数据，该结构化数据包括特征向量对应的抓拍图片的存储路径。该图片检索装置包括检索请求发送模块、特征提取模块和图片确定模块，检索请求发送模块根据获取到的待检索图片，分别向每个下级检索平台下发图片检索请求，以便每个下级检索平台在接收到图片检索请求后，提取待检索图片的特征向量，根据待检索图片的特征向量和第一特征向量库中的每个特征向量的相似度，确定第一特征向量库中与待检索图片的特征向量相似的第一目标特征向量，根据第一目标特征向量对应的结构化数据中的存储路径，获取第一目标特征向量对应的抓拍图片，并将第一目标特征向量对应的抓拍图片作为候选图片，然后根据候选图片向中心检索平台返回初始检索结果；特征提取模块对待检索图片进行特征提取，获得待检索图片的特征向量，对各下级检索平台返回的初始检索结果中的候选图片进行特征提取，获得候选图片的特征向量；图片确定模块计算候选图片的特征向量和待检索图片的特征向量的相似度，根据候选图片的特征向量和待检索图片的特征向量的相似度，从所有的候选图片中确定与待检索图片相似的目标图片。如此，可将采用不同AI算法提取特征向量的各下级检索平台返回的初始检索结果汇聚到中心检索平台，按照中心检索平台提供的AI算法再分析计算一次，最终确定与待检索图片相似的目标图片，实现了将多种AI算法产生的数据进行简单汇聚后融合检索来完成以图搜图功能，从而达到较好的基于多种AI算法产生的数据的融合检索效果。各下级检索平台无需对全量图片数据提取特征向量，也不必全量存储特征向量数据，故能有效节省GPU计算资源和数据存储空间，避免数据冗余。

请参照图9，为本发明实施例提供的可以运行上述中心检索平台100的电子设备的一种方框示意图。电子设备包括存储器810、处理器820及通信模块830。存储器810、处理器820以及通信模块830各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

其中，存储器810用于存储程序或者数据。存储器810可以是，但不限于，随机存取存储器(RandomAccessMemory，RAM)，只读存储器(ReadOnlyMemory，ROM)，可编程只读存储器(ProgrammableRead-OnlyMemory，PROM)，可擦除只读存储器(ErasableProgrammableRead-OnlyMemory，EPROM)，电可擦除只读存储器(ElectricErasableProgrammableRead-OnlyMemory，EEPROM)等。

处理器820用于读/写存储器810中存储的数据或程序，并执行相应地功能。例如，当存储器810中存储的计算机程序被处理器820执行时，可以实现上述各实施例所揭示的图片检索方法。通信模块830用于通过网络建立电子设备与其它通信终端之间的通信连接，并用于通过网络收发数据。

应当理解的是，图9所示的结构仅为电子设备的结构示意图，电子设备还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。图9中所示的各组件可以采用硬件、软件或其组合实现。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器820执行时实现上述各实施例所揭示的图片检索方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图片检索方法，其特征在于，应用于中心检索平台，所述中心检索平台与多个下级检索平台通信连接；其中，不同下级检索平台对应不同的第一特征向量库，所述第一特征向量库存储有多个抓拍图片的特征向量以及每个所述特征向量对应的结构化数据，所述结构化数据包括所述特征向量对应的抓拍图片的存储路径；所述方法包括：

根据获取到的待检索图片，分别向每个下级检索平台下发图片检索请求，以便每个下级检索平台在接收到所述图片检索请求后，提取所述待检索图片的特征向量，根据所述待检索图片的特征向量和所述第一特征向量库中的每个特征向量的相似度，确定所述第一特征向量库中与所述待检索图片的特征向量相似的第一目标特征向量，根据所述第一目标特征向量对应的结构化数据中的存储路径，获取所述第一目标特征向量对应的抓拍图片，并将所述第一目标特征向量对应的抓拍图片作为候选图片，根据所述候选图片向所述中心检索平台返回初始检索结果；

对所述待检索图片进行特征提取，获得所述待检索图片的特征向量；

对各下级检索平台返回的初始检索结果中的候选图片进行特征提取，获得所述候选图片的特征向量；

计算所述候选图片的特征向量和所述待检索图片的特征向量的相似度；

根据所述候选图片的特征向量和所述待检索图片的特征向量的相似度，从所有的候选图片中确定与所述待检索图片相似的目标图片。

2.根据权利要求1所述的方法，其特征在于，所述根据所述候选图片的特征向量和所述待检索图片的特征向量的相似度，从所有的候选图片中确定与所述待检索图片相似的目标图片，包括：

根据所述候选图片的特征向量和所述待检索图片的特征向量的相似度，对所有的候选图片的特征向量进行排序，得到第一排序结果；

根据所述第一排序结果确定与所述待检索图片相似的目标图片。

3.根据权利要求1所述的方法，其特征在于，所述计算所述候选图片的特征向量和所述待检索图片的特征向量的相似度，包括：

计算所述候选图片的特征向量与所述待检索图片的特征向量的距离，得到所述候选图片的特征向量和所述待检索图片的特征向量的相似度。

4.根据权利要求1所述的方法，其特征在于，所述中心检索平台对应第二特征向量库；在对所述待检索图片进行特征提取，获得所述待检索图片的特征向量之后，所述方法还包括：

计算所述待检索图片的特征向量和所述第二特征向量库中的每个特征向量的相似度；

根据所述待检索图片的特征向量和所述第二特征向量库中的每个特征向量的相似度，确定所述第二特征向量库中与所述待检索图片的特征向量相似的第二目标特征向量；

根据所述第二目标特征向量对应的结构化数据中的存储路径，获取所述第二目标特征向量对应的抓拍图片，并将所述第二目标特征向量对应的抓拍图片作为候选图片。

5.根据权利要求4所述的方法，其特征在于，所述根据所述待检索图片的特征向量和所述第二特征向量库中的每个特征向量的相似度，确定所述第二特征向量库中与所述待检索图片的特征向量相似的第二目标特征向量，包括：

根据所述待检索图片的特征向量和所述第二特征向量库中的每个特征向量的相似度，对所述第二特征向量库中的所有特征向量进行排序，得到第二排序结果；

根据所述第二排序结果确定与所述待检索图片的特征向量相似的第二目标特征向量。

6.根据权利要求4所述的方法，其特征在于，所述计算所述候选图片的特征向量和所述待检索图片的特征向量的相似度，包括：

计算所述初始检索结果中的候选图片的特征向量与所述待检索图片的特征向量的相似度，以及所述第二目标特征向量与所述待检索图片的特征向量的相似度；

所述根据所述候选图片的特征向量和所述待检索图片的特征向量的相似度，从所有的候选图片中确定与所述待检索图片相似的目标图片，包括：

根据所述初始检索结果中的候选图片的特征向量与所述待检索图片的特征向量的相似度，以及所述第二目标特征向量与所述待检索图片的特征向量的相似度，从所述初始检索结果中的候选图片以及所述第二目标特征向量对应的抓拍图片中，确定与所述待检索图片相似的目标图片。

7.根据权利要求1所述的方法，其特征在于，所述初始检索结果中还包括所述候选图片的结构化数据；在根据所述候选图片的特征向量和所述待检索图片的特征向量的相似度，从所有的候选图片中确定与所述待检索图片相似的目标图片之后，所述方法还包括：

根据所述目标图片以及所述目标图片的结构化数据，得到所述待检索图片的最终检索结果，并将所述最终检索结果发送到用户终端进行展示。

8.一种图片检索装置，其特征在于，应用于中心检索平台，所述中心检索平台与多个下级检索平台通信连接；其中，不同下级检索平台对应不同的第一特征向量库，所述第一特征向量库存储有多个抓拍图片的特征向量以及每个所述特征向量对应的结构化数据，所述结构化数据包括所述特征向量对应的抓拍图片的存储路径；所述装置包括：

检索请求发送模块，用于根据获取到的待检索图片，分别向每个下级检索平台下发图片检索请求，以便每个下级检索平台在接收到所述图片检索请求后，提取所述待检索图片的特征向量，根据所述待检索图片的特征向量和所述第一特征向量库中的每个特征向量的相似度，确定所述第一特征向量库中与所述待检索图片的特征向量相似的第一目标特征向量，根据所述第一目标特征向量对应的结构化数据中的存储路径，获取所述第一目标特征向量对应的抓拍图片，并将所述第一目标特征向量对应的抓拍图片作为候选图片，根据所述候选图片向所述中心检索平台返回初始检索结果；

特征提取模块，用于对所述待检索图片进行特征提取，获得所述待检索图片的特征向量，以及对各下级检索平台返回的初始检索结果中的候选图片进行特征提取，获得所述候选图片的特征向量；

图片确定模块，用于计算所述候选图片的特征向量和所述待检索图片的特征向量的相似度，根据所述候选图片的特征向量和所述待检索图片的特征向量的相似度，从所有的候选图片中确定与所述待检索图片相似的目标图片。

9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-7中任一项所述的图片检索方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的图片检索方法的步骤。

Images