CN113297452A - 多级检索方法、多级检索装置及电子设备 - Google Patents

Abstract

公开了一种多级检索方法、多级检索装置和电子设备。该多级检索方法包括：获取包括检索输入数据的检索请求；使用所述检索输入数据进行第一层级的检索以获得第一检索结果；基于所述第一层级和所述第一检索结果确定第二层级；使用所述第一检索结果进行所述第二层级的检索以获得第二检索结果；以及，融合所述第一检索结果和所述第二检索结果以获得最终检索结果。这样，可以提高跨模态数据的检索能力。

Description

多级检索方法、多级检索装置及电子设备

技术领域

本申请涉及检索技术领域，且更为具体地，涉及一种多级检索方法、多级检索装置和电子设备。

背景技术

随着智能手机及移动互联网的快速发展，人们接触到的多模态数据在数量和类别上都在飞速增长。并且，随着计算、存储能力的不断突破，人工智能技术也得以快速发展，在云端、端侧计算机视觉技术、增强现实/虚拟现实技术都为人们提供更便利、更智能的体验。

例如，对于拥有海量职业生成内容(OGC)、用户生产内容(UGC)等视频内容的视频平台来说，视频内容数据就是一个高维度多模态的数据，即，既有标题、简介、评论等文本信息，又有视频帧的图像信息，声音信息，也有连贯的视频片段和视频。但是，传统的基于倒排索引的搜索引擎只适合检索文本信息，对于多媒体内容的检索能力不足。

因此，期望提供一种能够提高跨模态数据的检索能力的检索方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种多级检索方法、多级检索装置和电子设备，其能够基于检索输入数据进行相关联的不同层级的检索以获得与不同层级对应的检索结果，并融合与不同层级对应的检索结果，从而提高跨模态数据的检索能力。

根据本申请的一方面，提供了一种多级检索方法，包括：获取包括检索输入数据的检索请求；使用所述检索输入数据进行第一层级的检索以获得第一检索结果；基于所述第一层级和所述第一检索结果确定第二层级；使用所述第一检索结果进行所述第二层级的检索以获得第二检索结果；以及，融合所述第一检索结果和所述第二检索结果以获得最终检索结果。

在根据本申请实施例的多级检索方法中，所述检索输入数据选自文本、图像、音频、或视频中的至少一种。

在根据本申请实施例的多级检索方法中，使用所述检索输入数据进行第一层级的检索以获得第一检索结果包括：使用向量化模型将检索输入数据处理为检索向量；以及，使用所述检索向量进行所述第一层级的检索以获得第一检索结果。

在根据本申请实施例的多级检索方法中，所述第一检索结果包括与所述检索输入数据相同模态和/或不同模态的检索结果。

在根据本申请实施例的多级检索方法中，基于所述第一层级和所述第一检索结果确定第二层级包括：确定所述第一层级对应的一个或多个第一实体；基于实体的关系的知识和/或实体的相似性确定与所述一个或多个第一实体对应的一个或多个第二实体；以及，将与所述一个或多个第二实体中的至少一个实体对应的层级确定为所述第二层级。

在根据本申请实施例的多级检索方法中，所述实体是视频、所述视频的视频片段、所述视频片段的视频帧或者所述视频帧中包含的对象；所述实体是人物或者包含所述人物的媒体文件；所述实体是商品或者所述商品所属的类别；以及，所述实体是用户或者所述用户消费的内容。

在根据本申请实施例的多级检索方法中，基于所述第一层级和所述第一检索结果确定第二层级包括：以所述第一检索结果中各项检索结果的检索热度作为权重对所述各项检索结果进行筛选，并基于筛选后的第一检索结果所对应的实体确定第二层级；以所述第一检索结果中各项检索结果的检索时间作为权重对所述各项检索结果进行筛选，并基于筛选后的第一检索结果所对应的实体确定第二层级；或者，将所述第一检索结果与做出所述检索请求的用户的用户画像结合以确定符合所述用户画像的实体，并将所述实体对应的乘积确定为所述第二层级。。

在根据本申请实施例的多级检索方法中，融合所述第一检索结果和所述第二检索结果以获得最终检索结果包括：对所述第一检索结果和所述第二检索结果进行排序、筛选和/或补充以获得所述最终检索结果。

在根据本申请实施例的多级检索方法中，融合所述第一检索结果和所述第二检索结果以获得最终检索结果包括：对所述第二检索结果设置权重；按照权重对所述第二检索结果进行筛选；以及，将筛选后的第二检索结果与所述第一检索结果进行合并以获得所述最终检索结果。

在根据本申请实施例的多级检索方法中，进一步包括：基于所述第二层级和所述第二检索结果确定第三层级；以及，使用所述第二检索结果进行所述第三层级的检索以获得第三检索结果。

在根据本申请实施例的多级检索方法中，融合所述第一检索结果和所述第二检索结果以获得最终检索结果包括：融合所述第一检索结果、所述第二检索结果和所述第三检索结果以获得最终检索结果。

根据本申请的另一方面，提供了一种商品的多级检索方法，包括：获取包括待检索商品数据的检索请求；使用所述待检索商品数据进行第一层级的检索以获得第一检索结果；基于所述第一层级和所述第一检索结果确定第二层级；使用所述第一检索结果进行所述第二层级的检索以获得第二检索结果；以及，融合所述第一检索结果和所述第二检索结果以获得最终检索结果。

在上述商品的多级检索方法中，所述待检索商品数据包括所述待检索商品的名称、图像、音频和视频中的至少一个。

在上述商品的多级检索方法中，所述最终检索结果包括所述待检索商品的广告媒体文件、基于所述待检索商品的推荐商品和所述待检索商品的销售视频中的至少一个。

根据本申请的再一方面，提供了一种多级检索的交互方法，包括：接收包括检索输入数据的检索请求；使用所述检索输入数据进行第一层级的检索以获得第一检索结果；确定是否接收到基于所述第一检索结果的扩展检索请求；响应于接收到所述扩展检索请求，基于所述第一层级和所述第一检索结果确定第二层级；使用所述第一检索结果进行所述第二层级的检索以获得第二检索结果；以及，融合所述第一检索结果和所述第二检索结果以获得最终检索结果。

根据本申请的又一方面，提供了一种多级检索装置，包括：请求获取单元，用于获取包括检索输入数据的检索请求；第一检索单元，用于使用所述检索输入数据进行第一层级的检索以获得第一检索结果；层级确定单元，用于基于所述第一层级和所述第一检索结果确定第二层级；第二检索单元，用于使用所述第一检索结果进行所述第二层级的检索以获得第二检索结果；以及，检索融合单元，用于融合所述第一检索结果和所述第二检索结果以获得最终检索结果。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的多级检索方法，如上所述的商品的多级检索方法和如上所述的多级检索的交互方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的多级检索方法，如上所述的商品的多级检索方法和如上所述的多级检索的交互方法。

本申请提供的多级检索方法、多级检索装置和电子设备，能够基于检索输入数据进行相关联的不同层级的检索以获得与不同层级对应的检索结果，并融合与不同层级对应的检索结果，从而提高跨模态数据的检索能力。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的多级检索方法的应用场景的示意图。

图2图示了根据本申请实施例的多级检索方法的流程图。

图3图示了根据本申请实施例的商品的多级检索方法的流程图。

图4图示了根据本申请实施例的多级检索的交互方法的流程图。

图5图示了根据本申请实施例的多级检索的交互方法的示意图。

图6图示了根据本申请实施例的多级检索装置的框图。

图7图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

如上所述，随着用户的搜索请求不仅限于文字，而且包括比如图片、视频等跨模态，即不同模态的数据。这里，模态指的是一种内容形式，例如图片属于一种模态，文字也属于一种模态，多模态或跨模态指的是包括一种以上内容形式。例如，在图片搜索中，用户通过输入图片可以搜索想要的结果，例如图片对应的商品或者相似图片，这为用户提供了图片模态的搜索体验。

另外，为了促进多模态数据的理解和使用，正在努力研究图像、视频内容的理解，且视频理解，例如人脸识别等关键技术的准确率也在不断提升。并且，知识图谱(结构化知识)在多模态数据的搜索中也有比较广泛的利用，其可以通过对于用户搜索意图的理解，结果化内容的组织呈现，来为用户提供了更便捷的搜索体验。

对于视频搜索来说，目前在视频元素级搜索方面已经有了一定成果，通过将视频内容的元素理解出来，再进行文本检索获得检索结果。

目前的多模态搜索引擎虽然能够支持多媒体、多语种搜索查询输入，但是各模态的搜索查询输入会进行独立召回，未做到跨模态检索，导致检索性能较差。

针对上述技术问题，本申请的基本构思是对于检索输入数据进行相关联的不同层级的检索，即基于检索的第一层级及其检索结果来确定检索的第二层级，以获得与不同层级对应的检索结果，并进行融合。

本申请提供的多级检索方法、多级检索装置和电子设备首先获取包括检索输入数据的检索请求，然后使用所述检索输入数据进行第一层级的检索以获得第一检索结果，再基于所述第一层级和所述第一检索结果确定第二层级，然后使用所述第一检索结果进行所述第二层级的检索以获得第二检索结果，最后融合所述第一检索结果和所述第二检索结果以获得最终检索结果。

这样，本申请提供的多级检索方法、多级检索装置和电子设备可以从输入的检索请求的起始查询层级到输出层级进行扩展检索，并且，例如，可以通过使用各层级对应的实体之间的关系的知识来确定扩展检索的层级，使得检索具备一定扩展能力。

并且，本申请提供的多级检索方法、多级检索装置和电子设备通过跨层级的检索可以支持多模态查询下的结果的交叉合并，并进行基于知识推理的扩展查询和基于相似性的扩展查询。

下面，将参考附图来进一步说明根据本申请实施例的示例性的多级检索方法。

示例性方法

图1图示了根据本申请实施例的多级检索方法的应用场景的示意图。

如图1所示，根据本申请实施例的多级检索方法包括第一层级检索S1和第二层级检索S2。对于检索输入数据，例如如图1所示的输入图像IN，通过第一层级检索S1可以获得第一检索结果。并且，所述第一检索结果可以包括与检索输入数据相同模态的检索结果，比如检索出的图像IM，也可以包括与检索输入数据不同模态的检索结果，比如检索出的视频V1。相应地，第一层级检索S1包括基于图像的图像检索和视频检索。

这里，模态指的是一种媒体类型，例如，模态可以是图像，可以是视频，可以是音频，也可以是文字，比如字符串。

之后，基于第一层级检索S1和第一检索结果IM和V1确定第二层级检索S2，如图1所示，第一层级检索S1是基于图像的检索，包括图像检索和视频检索，因此第一检索结果包括图像IM和视频V1。第二层级检索S2可以被确定为基于图像的检索和基于视频的检索，包括视频检索和人物检索，从而获得第二检索结果。如图1所示，所述第二检索结果包括检索出的第二视频V2和检索出的人物P。

图2图示了根据本申请实施例的多级检索方法的流程图。

如图2所示，根据本申请实施例的多级检索方法包括如下步骤。

S110，获取包括检索输入数据的检索请求。这里，所述检索请求指的是用户输入的检索请求，其包括检索输入数据，例如文字或者多媒体文件和检索请求指令。对于多媒体文件，可以通过端侧或者云侧的内容理解能力表征成向量。也就是，在本申请实施例中，可以接收多模态的文本、向量作为检索输入数据。

因此，在根据本申请实施例的多级检索方法中，所述检索输入数据选自文本、图像、音频、或视频中的至少一种。

S120，使用所述检索输入数据进行第一层级的检索以获得第一检索结果。如上所述，对于多媒体形式的检索输入数据，例如图片、视频等，可以首先使用向量化模型将检索输入数据处理为检索向量，再使用所述检索向量进行检索。

也就是，在根据本申请实施例的多级检索方法中，使用所述检索输入数据进行第一层级的检索以获得第一检索结果包括：使用向量化模型将检索输入数据处理为检索向量；以及，使用所述检索向量进行所述第一层级的检索以获得第一检索结果。

另外，对于不同模态数据，可以分别使用不同的向量化模型将其转换为向量，再进行向量检索。也就是，可以将文本形式、图片形式、视频形式等的检索输入数据分别由不同的向量化模型转换为检索向量，再使用这些检索向量进行检索。

如上所述，在本申请实施例中，将检索分解为多层级跨模态的多次检索，并且根据检索逻辑来自主决定发起新的层级或跨模态扩展检索。也就是，在支持多层级及多模态检索输入数据的基础上，进行跨层级、跨模态的检索，以从输入的检索请求的起始层级到输出层级进行扩展检索。

这里，如图1所示，跨层级指的是对于检索输入数据进行多个层级的检索。具体地，首先进行对应于起始层级的第一层级检索S1，然后针对第一层级检索S1的检索结果，进行对应于最终层级的第二层级检索S2，而不仅进行单一的第一层级检索S1或者第二层级检索S2。并且，如上所述，跨模态指的是在每一层级的检索中，检索出不同模态的检索结果。也就是，除了检索出与检索输入数据相同模态的检索结果，还检索出与检索输入数据不同模态的检索结果，例如对于第一层级检索S1，不仅检索出与图像IN相同模态的检索结果IM，而且检索出与图像IN不同模态的检索结果V1。

在该步骤中，所述第一层级的检索是输入的检索请求的起始检索层级，其基于检索输入数据获得第一检索结果，例如，基于用户输入的查询文本获得文本、图片或者视频形式的第一检索结果。也就是，所述第一检索结果包括与所述检索输入数据相同模态和/或不同模态的检索结果。

S130，基于所述第一层级和所述第一检索结果确定第二层级。如上所述，所述第一层级是输入的检索请求的起始检索层级，所述第二层级可以是用户想要的检索结果的最终层级，也可以是起始检索层级和最终检索层级之间的中间检索层级。在本申请实施例中，通过各层级对应的实体从所述第一层级和所述第一检索结果确定所述第二层级。

具体地，在本申请实施例中，可以以起始检索层级作为起点，以最终检索层级作为终点，通过层级所对应的实体来确定一个或多个中间检索层级。具体地，在确定第二层级时，可以基于第一层级与第二层级对应的实体之间的关系的知识，也可以基于第一层级与第二层级对应的实体之间的相似性来进行确定。其中，每个层级可以对应于一个或多个实体，这里，实体指的是具体搜索的一类对象，例如图像、视频、用户、用户购买的商品、用户消费的内容等。并且，两个实体之间可以有多种关系，比如包含关系(图像包含于视频)，比如从属关系(用户购买的商品从属于用户)等。例如，对于图片和视频来说，单个图片可以包含在多个视频中，且单个视频也包括多个图片。另外，在本申请实施例中，多个实体之间可能存在关系链条，例如，作为包含关系的视频-图像-图像中的对象的关系链条。

例如，如图1所示，第一层级检索S1包括图像检索和视频检索，也就是第一层级所对应的实体为图像和视频，基于如上所述的视频-图像-图像中的人物的关系的知识，可以确定与图像和视频具有关系的实体，即视频、图像和图像中的人物。那么，在确定第二层级检索S2时，就可以将与视频、图像和图像中的人物中的至少一个对应的层级确定为第二层级检索S2。在实际的确定过程中，可以按照具体场景来确定第二层级，比如在视频搜索的场景下，可以确定与视频对应的层级为第二层级，而在人物搜索的场景下，可以确定与人物对应的层级为第二层级。另外，在另一示例中，也可以如图1所示，对于扩展搜索的需要，因为在第一检索结果中已经包含了多个图像IM，可以确定第二层级对应的实体不包含图像，而仅包含视频和人物，从而第二层级检索S2是视频检索和人物检索。

并且，还可以基于实体的相似性来确定第二层级的检索所对应的实体。例如，在第一层级检索为图像检索的情况下，所述第一层级对应的实体为图像，那么可以确定所述第二层级对应的实体为具有相似性的图像，从而所述第二层级检索是基于与第一检索结果中的图像相似的图像的图像检索。

也就是，在根据本申请实施例的多级检索方法中，基于所述第一层级和所述第一检索结果确定第二层级包括：确定所述第一层级对应的一个或多个第一实体；基于实体的关系的知识和/或实体的相似性确定与所述一个或多个第一实体对应的一个或多个第二实体；以及，将与所述一个或多个第二实体中的至少一个对应的层级确定为所述第二层级。

实体的关系的知识用于描述哪些实体之间具有关系，例如视频、图片和图片中的对象之间具有关系，用户和用户消费的内容之间具有关系。而实体的相似性用于描述相同类型的实体之间的彼此相似的关系，例如图片的相似性表示源图像和与源图像相似的目标图像之间的彼此相似的关系。

这里，如上所述，实体是具体搜索的一类对象，按照实体之间可能具有的关系，实体可以是具有包含关系的视频、所述视频的视频片段、所述视频片段的视频帧或者所述视频帧中包含的对象；可以是具有包含关系的人物和包含所述人物的媒体文件；可以是具有包含关系和从属关系的商品和所述商品所属的类别；以及，可以是具有从属关系的用户和所述用户消费的内容。

另外，除了如上所述的基于具体场景或者扩展搜索的需要来确定第二层级以外，还可以针对层级对应的实体，依据搜索热度、搜索时间和用户画像中的至少一个来确定所述第二层级，其中，用户画像可以包括搜索历史等。

例如，对于第一搜索结果按照热度排序，发现热度高的第一搜索结果都为图像，那么可以确定第二层级所对应的实体为图像，即第二层级搜索是图像搜索。又例如，如果对于第一搜索结果按照时间排序，发现比较近的搜索时间对应的第一搜索结果都为视频，那么可以确定第二层级所对应的实体为视频，即第二层级搜索是视频搜索。另外，如果按照第一搜索结果的用户画像，确定用户热衷于搜索图像，则可以确定第二层级所对应的实体为图像，即第二层级搜索是图像搜索。

也就是，在根据本申请实施例的的多级检索方法中，基于所述第一层级和所述第一检索结果确定第二层级包括：以所述第一检索结果中各项检索结果的检索热度作为权重对所述各项检索结果进行筛选，并基于筛选后的第一检索结果所对应的实体确定第二层级；以所述第一检索结果中各项检索结果的检索时间作为权重对所述各项检索结果进行筛选，并基于筛选后的第一检索结果所对应的实体确定第二层级；或者，将所述第一检索结果与做出所述检索请求的用户的用户画像结合以确定符合所述用户画像的实体，并将所述实体对应的层级确定为所述第二层级。

步骤S140，使用所述第一检索结果进行所述第二层级的检索以获得第二检索结果。也就是，在确定所述第二层级之后，进一步使用所述第一检索结果进行第二层级的扩展检索，以获得第二检索结果。

如上所述，在本申请实施例中，如果用户想要检索图像，则用户可以做出包含待检索图像的检索请求，通过第一层级检索获得作为第一检索结果的多个图像。然后，将所述多个图像按照相似度或者知识来确定第二检索层级，例如与所述多个图像具有相似度的图像，或者包含所述多个图像的视频。这样，在该步骤中，以所述多个图像或者所述多个图像中的一部分作为输入，进行第二层级的扩展检索，即相似图像检索或者视频检索，以获得第二检索结果。

又或者，可以通过人名来进行第一层级检索，以检索出人物ID，然后再确定第二层级为包含所述人物的视频，从而进行视频检索，以检索出该人物ID出演的视频。在另一示例中，当获取到比如人物照片的检索输入数据时，可以将人物照片转换为向量表示，并基于该向量表示来检索出人物对应的人名/人物ID等。

因此，在本申请实施例中，跨层级指的是在检索过程中，包含两个或者两个以上的层级的检索。

S150，融合所述第一检索结果和所述第二检索结果以获得最终检索结果。具体地，对于检索出的多模态内容，可以对检索到的内容进行排序，Top N选择等，并且可以补全概要信息并返回。

另外，由于跨层级、跨模态检索过程中，可能产生大量的检索结果，因此可以进行距离(相似度、权重)排序以对检索结果进行筛选，以避免结果的发散及数量爆炸。例如，可以对第二搜索结果设置权重，并基于权重进行筛选，然后与第一检索结果进行合得到最终检索结果。

也就是，在根据本申请实施例的多级检索方法中，融合所述第一检索结果和所述第二检索结果以获得最终检索结果包括：对所述第一检索结果和所述第二检索结果进行排序、筛选和/或补充以获得所述最终检索结果。

另外，在根据本申请实施例的多级检索方法中，融合所述第一检索结果和所述第二检索结果以获得最终检索结果包括：对所述第二检索结果设置权重；按照权重对所述第二检索结果进行筛选；以及，将筛选后的第二检索结果与所述第一检索结果进行合并以获得所述最终检索结果。

如上所述，在根据本申请实施例的多级检索方法中，可以跨多个层级进行检索。因此根据本申请实施例的多级检索方法可以进一步包括：基于所述第二层级和所述第二检索结果确定第二层级；以及，使用所述第二检索结果进行所述第三层级的检索以获得第三检索结果。

相应地，在上述多级检索方法中，融合所述第一检索结果和所述第二检索结果以获得最终检索结果包括：融合所述第一检索结果、所述第二检索结果和所述第三检索结果以获得最终检索结果。

下面，以节目、视频、帧、人脸的索引检索来说明根据本申请实施例的跨层级跨模态检索。

例如，当检索输入数据是一行图片时，可以将图片整体转换为向量进行检索，也可以将图片中的一部分转换为向量进行检索，例如，将图片中包含的人脸转换为向量进行检索，从而给出与输入图片最相近的图片。然后，可以根据对于数据结果的要求，通过第二层级的检索给出包含所述图片的视频或者视频帧(通过视频的定帧播放实现)。此外，如果高置信度确认输入的图片是个明星脸，可以通过如上所述的从人物照片的向量表示检索出人物对应的人名/人物ID的方式来给出明星的名字，并通过第三层级的检索来检索该明星的帧、视频、节目等，做扩展查询。

或者，如果检索输入数据是一个文本，则可以通过该文本进行第一层级的检索，以检索与该文本相关的各种文本信息，例如，节目的名字、视频的标题、帧的文本信息、人脸的人名等。然后，可以将检索到的人脸、帧等转换为向量表示，并进行第二层级的检索，以通过进一步的扩展查询给出要求扩展检索的结果。

此外，对于语音、视频等检索输入数据也可以进行类似的检索。当然，本领域技术人员可以理解，检索流程根据实际业务会有不同，所以在根据本申请实施例的多级检索方法中，可以自定义各种检索方式。

应用示例

例如，根据本申请实施例的多级检索方法可以应用于以图搜剧的场景。也就是，用户可以通过拍照、上传图片的方式来搜索人物及节目、相似画面的视频。

这样，用户的输入不仅限于文本，还可以是图像，通过根据本申请实施例的多级检索方法，既可以以传统的方式通过人脸识别后用人名检索节目，又可以直接通过图片向量进行检索。

或者，根据本申请实施例的多级检索方法可以应用于其它类型的智能视频搜索，即，通过根据本申请实施例的多级检索方法对视频、帧、元素(人物、动作)等多级内容进行索引，检索出视频解构后的信息，且可以实现定帧播放，支持用户对于精准视频内容片断的需求。

示例性方法二

图3图示了根据本申请实施例的商品的多级检索方法的流程图。

如图3所示，根据本申请实施例的商品的多级检索方法包括：S210，获取包括待检索商品数据的检索请求；S220，使用所述待检索商品数据进行第一层级的检索以获得第一检索结果；S230，基于所述第一层级和所述第一检索结果确定第二层级；S240，使用所述第一检索结果进行所述第二层级的检索以获得第二检索结果；以及，S250，融合所述第一检索结果和所述第二检索结果以获得最终检索结果。

这里，所述待检索商品数据可以以多种媒体文件形式，例如，用户可以输入待检索商品数据的名称，也可以输入待检索商品数据的图像，或者可以输入待检索商品数据的音频，例如进行语音输入，或者可以输入待检索商品数据的视频，例如商品的直播视频的片段。

因此，在根据本申请实施例的商品的多级检索方法中，所述待检索商品数据包括所述待检索商品的名称、图像和视频中的至少一个。

另外，通过根据本申请实施例的多级多模态的检索方法，最终检索结果也可以具有不同的呈现形式，比如文字、图像、音频、视频等。另外，除了直接与待检索商品相关的最终搜索结果以外，还可以向用户呈现与待检索商品相关的其它搜索结果。具体地，最终搜索结果可以包括待检索商品的广告，比如海报或者广告视频等，且最终搜索结果还可以包括待检索商品的推荐商品。

另外，所述最终搜索结果可以直接引导用户进行待检索商品的购买，例如，包括待检索商品的购买页面的链接，或者待检索商品的销售直播的视频等。

因此，在根据本申请实施例的商品的多级检索方法中，所述最终检索结果包括所述待检索商品的广告媒体文件、基于所述待检索商品的推荐商品和所述待检索商品的销售视频中的至少一个。

这里，本领域技术人员可以理解，根据本申请实施例的商品的多级检索方法的其它细节与之前描述的根据本申请实施例的多级检索方法的相应细节完全相同，这里为了避免冗余便不再赘述。

示例性方法三

图4图示了根据本申请实施例的多级检索的交互方法的流程图。

如图4所示，根据本申请实施例的多级检索的交互方法包括：S310，接收包括检索输入数据的检索请求；S320，使用所述检索输入数据进行第一层级的检索以获得第一检索结果；S330，确定是否接收到基于所述第一检索结果的扩展检索请求；S340，响应于接收到所述扩展检索请求，基于所述第一层级和所述第一检索结果确定第二层级；S350，使用所述第一检索结果进行所述第二层级的检索以获得第二检索结果；以及，S360，融合所述第一检索结果和所述第二检索结果以获得最终检索结果。

图5图示了根据本申请实施例的多级检索的交互方法的示意图。

如图5所示，用户U作为检索请求，以输入图像IN进行第一层级检索S1，并获得第一检索结果，即多个图像IM。然后，基于用户U的检索确认来进行是否进行扩展检索判定，如果判定是否，则直接输出第一检索结果，即多个图像IM。而如果判定为是，继续进行第二层级检索S2，并获得第二检索结果，即视频V。

也就是，在根据本申请实施例的多级检索的交互方法中，可以在完成第一层级的检索，即获得第一检索结果之后，给用户一个交互机会，即由用户选择是否进行第二层级的检索，并在获得用户的确认之后，再进行第二层级的检索。

这里，本领域技术人员可以理解，根据本申请实施例的多级检索的交互方法的其它细节与之前描述的根据本申请实施例的多级检索方法的相应细节完全相同，这里为了避免冗余便不再赘述。

示例性装置

图6图示了根据本申请实施例的多级检索装置的框图。

如图6所示，根据本申请实施例的多级检索装置400包括：请求获取单元410，用于获取包括检索输入数据的检索请求；第一检索单元420，用于使用所述检索输入数据进行第一层级的检索以获得第一检索结果；层级确定单元430，用于基于所述第一层级和所述第一检索结果确定第二层级；第二检索单元440，用于使用所述第一检索结果进行所述第二层级的检索以获得第二检索结果；以及，检索融合单元450，用于融合所述第一检索结果和所述第二检索结果以获得最终检索结果。

在一个示例中，在如上所述的多级检索装置400中，所述检索输入数据选自文本、图像、音频、或视频中的至少一种。

在一个示例中，在如上所述的多级检索装置400中，所述第一检索单元420用于：使用向量化模型将检索输入数据处理为检索向量；以及，使用所述检索向量进行所述第一层级的检索以获得第一检索结果。

在一个示例中，在如上所述的多级检索装置400中，所述第一检索结果包括与所述检索输入数据相同模态和/或不同模态的检索结果。

在一个示例中，在如上所述的多级检索装置400中，所述层级确定单元430用于：确定所述第一层级对应的一个或多个第一实体；基于实体的关系的知识和/或实体的相似性确定与所述一个或多个第一实体对应的一个或多个第二实体；以及，将与所述一个或多个第二实体中的至少一个实体对应的层级确定为所述第二层级。

在一个示例中，在如上所述的多级检索装置400中，所述实体是视频、所述视频的视频片段、所述视频片段的视频帧或者所述视频帧中包含的对象；所述实体是人物或者包含所述人物的媒体文件；所述实体是商品或者所述商品所属的类别；以及，所述实体是用户或者所述用户消费的内容。

在一个示例中，在如上所述的多级检索装置400中，所述层级确定单元430：以所述第一检索结果中各项检索结果的检索热度作为权重对所述各项检索结果进行筛选，并基于筛选后的第一检索结果所对应的实体确定第二层级；以所述第一检索结果中各项检索结果的检索时间作为权重对所述各项检索结果进行筛选，并基于筛选后的第一检索结果所对应的实体确定第二层级；或者，将所述第一检索结果与做出所述检索请求的用户的用户画像结合以确定符合所述用户画像的实体，并将所述实体对应的层级确定为所述第二层级。

在一个示例中，在如上所述的多级检索装置400中，所述检索融合单元450用于：对所述第一检索结果和所述第二检索结果进行排序、筛选和/或补充以获得所述最终检索结果。

在一个示例中，在如上所述的多级检索装置400中，所述检索融合单元450用于：对所述第二检索结果设置权重；按照权重对所述第二检索结果进行筛选；以及，将筛选后的第二检索结果与所述第一检索结果进行合并以获得所述最终检索结果。

在一个示例中，在如上所述的多级检索装置400中，进一步包括：扩展确定单元，用于基于所述第二层级和所述第二检索结果确定第三层级；以及，第三检索单元，用于使用所述第二检索结果进行所述第三层级的检索以获得第三检索结果。

在一个示例中，在如上所述的多级检索装置400中，所述检索融合单元450用于：融合所述第一检索结果、所述第二检索结果和所述第三检索结果以获得最终检索结果。

这里，本领域技术人员可以理解，上述多级检索装置200中的各个单元和模块的具体功能和操作已经在上面参考图2和图3的多级检索方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的多级检索装置200可以实现在各种服务器设备中，例如检索服务提供商的云服务器等。在一个示例中，根据本申请实施例的多级检索装置200可以作为一个软件模块和/或硬件模块而集成到服务器设备中。例如，该多级检索装置200可以是该服务器设备的操作系统中的一个软件模块，或者可以是针对于该服务器设备所开发的一个应用程序；当然，多级检索装置200同样可以是该服务器设备的众多硬件模块之一。

替换地，在另一示例中，该多级检索装置200与该服务器设备也可以是分立的设备，并且该多级检索装置200可以通过有线和/或无线网络连接到该服务器设备，并且按照约定的数据格式来传输交互信息。

示例性电子设备

下面，参考图7来描述根据本申请实施例的电子设备。

图7图示了根据本申请实施例的电子设备的框图。

如图7所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的多级检索方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如各层级的检索对应的实体、检索结果等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括最终检索结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图7中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的多级检索方法，商品的多级检索方法或者多级检索的交互方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在第一用户计算设备上执行、部分地在第一用户设备上执行、作为一个独立的软件包执行、部分在第一用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的多级检索方法，商品的多级检索方法或者多级检索的交互方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (17)

1.一种多级检索方法，包括：

获取包括检索输入数据的检索请求；

使用所述检索输入数据进行第一层级的检索以获得第一检索结果；

基于所述第一层级和所述第一检索结果确定第二层级；

使用所述第一检索结果进行所述第二层级的检索以获得第二检索结果；以及

融合所述第一检索结果和所述第二检索结果以获得最终检索结果。

2.根据权利要求1所述的多级检索方法，其中，所述检索输入数据选自文本、图像、音频、或视频中的至少一种。

3.根据权利要求2所述的多级检索方法，其中，使用所述检索输入数据进行第一层级的检索以获得第一检索结果包括：

使用向量化模型将检索输入数据处理为检索向量；以及

使用所述检索向量进行所述第一层级的检索以获得第一检索结果。

4.根据权利要求2所述的多级检索方法，其中，所述第一检索结果包括与所述检索输入数据相同模态和/或不同模态的检索结果。

5.根据权利要求1所述的多级检索方法，其中，基于所述第一层级和所述第一检索结果确定第二层级包括：

确定所述第一层级对应的一个或多个第一实体；

基于实体的关系知识和/或实体的相似性确定与所述一个或多个第一实体对应的一个或多个第二实体；以及

将与所述一个或多个第二实体中的至少一个实体对应的层级确定为所述第二层级。

6.根据权利要求5所述的多级检索方法，其中，

所述实体是视频、所述视频的视频片段、所述视频片段的视频帧或者所述视频帧中包含的对象；

所述实体是人物或者包含所述人物的媒体文件；

所述实体是商品或者所述商品所属的类别；以及

所述实体是用户或者所述用户消费的内容。

7.根据权利要求1所述的多级检索方法，其中，基于所述第一层级和所述第一检索结果确定第二层级包括：

以所述第一检索结果中各项检索结果的检索热度作为权重对所述各项检索结果进行筛选，并基于筛选后的第一检索结果所对应的实体确定第二层级；

以所述第一检索结果中各项检索结果的检索时间作为权重对所述各项检索结果进行筛选，并基于筛选后的第一检索结果所对应的实体确定第二层级；或者

将所述第一检索结果与做出所述检索请求的用户的用户画像结合以确定符合所述用户画像的实体，并将所述实体对应的层级确定为所述第二层级。

8.根据权利要求1所述的多级检索方法，其中，融合所述第一检索结果和所述第二检索结果以获得最终检索结果包括：

对所述第一检索结果和所述第二检索结果进行排序、筛选和/或补充以获得所述最终检索结果。

9.根据权利要求1所述的多级检索方法，其中，融合所述第一检索结果和所述第二检索结果以获得最终检索结果包括：

对所述第二检索结果设置权重；

按照权重对所述第二检索结果进行筛选；以及

将筛选后的第二检索结果与所述第一检索结果进行合并以获得所述最终检索结果。

10.根据权利要求1所述的多级检索方法，进一步包括：

基于所述第二层级和所述第二检索结果确定第三层级；

使用所述第二检索结果进行所述第三层级的检索以获得第三检索结果。

11.根据权利要求10所述的多级检索方法，其中，融合所述第一检索结果和所述第二检索结果以获得最终检索结果包括：

融合所述第一检索结果、所述第二检索结果和所述第三检索结果以获得最终检索结果。

12.一种商品的多级检索方法，包括：

获取包括待检索商品数据的检索请求；

使用所述待检索商品数据进行第一层级的检索以获得第一检索结果；

基于所述第一层级和所述第一检索结果确定第二层级；

使用所述第一检索结果进行所述第二层级的检索以获得第二检索结果；以及

融合所述第一检索结果和所述第二检索结果以获得最终检索结果。

13.根据权利要求12所述的商品的多级检索方法，其中，所述待检索商品数据包括所述待检索商品的名称、图像、音频和视频中的至少一个。

14.根据权利要求12所述的商品的多级检索方法，其中，所述最终检索结果包括所述待检索商品的广告媒体文件、基于所述待检索商品的推荐商品和所述待检索商品的销售视频中的至少一个。

15.一种多级检索的交互方法，包括：

接收包括检索输入数据的检索请求；

使用所述检索输入数据进行第一层级的检索以获得第一检索结果；

确定是否接收到基于所述第一检索结果的扩展检索请求；

响应于接收到所述扩展检索请求，基于所述第一层级和所述第一检索结果确定第二层级；

使用所述第一检索结果进行所述第二层级的检索以获得第二检索结果；以及

融合所述第一检索结果和所述第二检索结果以获得最终检索结果。

16.一种多级检索装置，包括：

请求获取单元，用于获取包括检索输入数据的检索请求；

第一检索单元，用于使用所述检索输入数据进行第一层级的检索以获得第一检索结果；

层级确定单元，用于基于所述第一层级和所述第一检索结果确定第二层级；

第二检索单元，用于使用所述第一检索结果进行所述第二层级的检索以获得第二检索结果；以及

检索融合单元，用于融合所述第一检索结果和所述第二检索结果以获得最终检索结果。

17.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-11中任一项所述的多级检索方法，如权利要求12-14中任一项所述的商品的多级检索方法，和如权利要求15所述的多级检索的交互方法。

Images