CN103975323A - 搜索结果的基于原型的重排名 - Google Patents

Abstract

一种基于原型的重排名方法可以对搜索结果重排名以提供经重排名的搜索结果集合。响应于接收到一个或多个查询，可生成搜索结果集合，由此搜索结果中的每一个可以与一排名位置相关联。至少部分地基于这些搜索结果，可生成在视觉上表示该一个或多个查询或这些搜索结果的一个或多个原型。该一个或多个原型可被用来构造一个或多个元重排名器，该元重排名器可生成搜索结果的重排名分数。重排名分数可被聚集以产生搜索结果集合中包括的每一搜索结果的最终相关分数。至少部分地基于每一搜索结果的相关性分数和/或习得的重排名模型，可以提供一组经重排名的搜索结果。

Description

搜索结果的基于原型的重排名

背景

用户利用网络(诸如因特网)搜索各种类型的信息已变得很常见。例如，利用计算设备，用户可以向基于web的搜索引擎提交对这样的信息的查询并且可随后接收响应于该查询的搜索结果。具体而言，假定用户在搜索一个或多个图像，基于web的搜索引擎可检索图像并基于与在其中发现这些图像的网页相关联的文本(例如，标题、实际内容、元数据等)进行排名。然而，返回给用户的图像可能不令用户满意和/或可能与对应的查询不相关和/或没有对该对应查询作出响应。这可能由于所返回的图像与对应于搜索引擎所标识的网页的文本之间的失配或缺乏相关性。因此，因为作为这样的失配的结果，搜索结果的精确性可能受限，用户可能经常接收到不相关的搜索结果，这会造成很差的用户体验。

发明内容

本文描述了用于至少部分地基于重排名模型来对搜索结果集合进行重排名的系统和过程。在各实施例中，可从用户接收一个或多个查询。作为响应，可生成搜索结果集合，其中搜索结果中的每一个可以与该搜索结果集合内的排名位置相关联。至少部分地基于这些搜索结果，可生成在视觉上表示该一个或多个查询和/或这些搜索结果的一个或多个原型。该一个或多个原型可被用来构造一个或多个元重排名器，该元重排名器可生成搜索结果中的每一个的重排名分数。重排名分数随后可被聚集以产生搜索结果集合中包括的每一搜索结果的最终相关性分数。重排名模型也可至少部分地基于搜索结果来学习。至少部分地基于每一搜索结果的相关性分数和/或习得的重排名模型，可以提供经重排名的搜索结果的集合。

提供本概述是为了以简化的形式介绍将在以下具体实施例中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。

附图说明

参考附图来阐明详细描述，附图中，附图标记最左边的数字标识该附图标记首次出现的附图。在相同不同附图中使用同一附图标记指示相似或相同的项或特征。

图1是示出包括用户、计算设备、网络和内容服务器的示例系统的示图。在这一系统中，搜索结果集合可被重排名并输出给用户。

图2是示出用于响应于接收到查询来生成经重排名的图像的集合的示例系统的示图。

图3是示出用于至少部分地基于被确定为与查询相关的图像来构造一个或多个原型或元重排名器的系统的示图。

图4是示出用于通过迭代地将一个或多个图像与元重排名器相关联来构造一个或多个原型或元重排名器的系统的示图。

图5是示出至少部分地基于重排名模型对搜索结果集合进行重排名的示例过程的流程图。

具体实施方式

本文描述了用于至少部分地基于受监督和/或无监督学习来对多个图像进行重排名的系统和/或过程。在一些实施例中，本文描述的系统和过程可以学习可被用来对已响应于一个或多个查询而返回的多个图像进行重排名的重排名模型。更具体地，该重排名模型可以按受监督的方式来学习，通过该方式，初始基于文本的搜索结果的至少一部分被解释为是相关的。此外，针对有限数量的代表性查询而获得的基于文本的搜索结果，可相对于它们与这些代表性查询的相应相关性被手动地标记。

相对于响应于一个或多个查询所返回的搜索结果集合，现有重排名过程可按各种方式来重排该集合中的前N个图像。然而，这些过程往往假定该前N个图像相对于该一个或多个查询是均等地相关的。此外，因为被用来生成搜索结果集合的基于文本的搜索引擎可能没有生成完全相关于和/或响应于该一个或多个查询的搜索结果，所以该搜索引擎可能返回用户不感兴趣的图像。作为结果，来自搜索结果集合的前N个图像也可能不与该一个或多个查询相关。这些不相关图像的存在可能将噪声引入到重排名模型的学习中，这可导致在对图像进行重排名后返回非最优搜索结果。

在各实施例中，对于每一查询，被确定为与查询相关且被排名(在不同的排名位置)的图像可具有与该查询相关的不同概率。例如，被确定为相对于特定查询排名第一的图像可具有与被确定为同该排名第一的图像相比排名较低(例如，第七)的图像不同的与该查询相关的概率。因此，为了基于它们与对应查询的相应相关性来对图像进行重排名，基于原型的过程可被用来至少部分地基于对学习模型的受监督和/或无监督学习，和/或至少部分地基于每一图像可与它在初始搜索结果中的排名位置相关的相关性概率的概念来对图像进行重排名。

至少部分地基于初始搜索结果中标识的图像，可生成可在视觉上表示一个或多个查询的视觉原型。视觉原型可以是任何类型的应用、模型、和/或模式，并且可被用来构造可产生初始搜索结果中包括的图像的重排名分数的一个或多个元重排名器。元重排名器也可以是被配置成生成重排名分数的任何类型的应用、模型、和/或模式。此外，来自元重排名器中的每一个的重排名分数可利用重排名模型，如线性重排名模型，来被聚集，以产生每一图像的最终相关性分数并定义每一图像在经重排名的搜索结果集合中的位置。

在各示例实施例中，重排名模型可按受监督方式来学习，通过该方式可向不同的元重排名器分配适当的权重。因为习得的模型权重可与对应图像的初始排名位置相关，而非与图像本身相关，所以该重排名模型可以是查询无关的并且可跨多个不同的查询来应用。此外，重排名模型可按无监督方式来学习。具体而言，来自代表性查询的各搜索结果(例如，图像)的相关性可被手动确定并随后被用来训练重排名模型。在下文参考图1-5描述根据各实施例的响应于一个或多个查询提供经重排名的搜索结果集合的各示例。

图1示出用于至少部分地基于习得的重排名模型对响应于一个或多个查询的搜索结果进行重排名的系统100。更具体地，系统100可包括用户102、计算设备104、网络106、以及内容服务器108。在各实施例中，计算设备104可包括一个或多个处理器110、存储器112以及显示器114。此外，内容服务器108可包括一个或多个处理器116以及存储器118，存储器118可包括搜索模块120、元重排名器模块122、学习模块124以及重排名模块126。

在各实施例中，用户102可以利用计算设备104搜索、访问、和/或审阅各种类型的信息(例如，文本、图像等)。更具体而言，用户102可以使用计算设备104提交一个或多个查询以接收响应于这些查询的信息。作为响应，搜索引擎或其他机制可以返回可具有与先前提交的查询的不同程度的相关性和/或响应性的搜索结果。在各示例实施例中，返回给用户102的搜索结果可按它们与查询的相应相关性的次序来排名。用户可经由计算设备104的显示器114来访问和/或查看搜索结果。计算设备104的各组件将在下文更详细地描述。

在一些实施例中，网络106可以是本领域中已知的任何类型的网络，如因特网，并可包括多个相同或不同网络。此外，计算设备104可以按任何方式，诸如通过有线和/或无线连接，来通信上耦合到网络106。另外，网络106可将计算设备104通信耦合到内容服务器108，以使得用户102可以利用计算设备104提交信息查询，并且内容服务器108可向计算设备104返回响应于和/或相关于该查询的搜索结果。

此外，内容服务器108可以是本领域公知的任何类型的计算设备或服务器，诸如web服务器。内容服务器108可以存储和/或能访问可被提供给计算设备104的各种类型的信息。在各个实施例中，这一信息可包括媒体内容(例如，视频文件、音频文件等)、文本数据、图像、web文档、和/或本领域中已知的任何其他类型的内容。此外，并且如图1所示，内容服务器108可包括处理器116和存储器118，存储器118可包括搜索模块120、元重排名器模块122、学习模块124、以及重排名模块126，这些模块将在下文详细地描述。

本文描述的技术和机制可以由计算设备104和/或内容服务器108的多个实例来实现，以及由任何其他计算设备、系统、和/或环境来实现。图1所示的计算设备104和内容服务器只分别是计算设备和服务器的一个示例，且并非旨在对用于执行上述过程和/或流程的任何计算设备或服务器的使用范围或功能提出任何限制。

就计算设备104而言，处理器110可以执行一个或多个模块和/或过程来使得计算设备102执行各种功能。在某些实施例中，处理器110是中央处理单元(CPU)、图形处理单元(GPU)、CPU和GPU两者、或本领域已知的其他处理单元或组件。此外，每个处理器110可拥有其自己的本地存储器，这些本地存储器还可存储程序模块、程序数据和/或一个或多个操作系统。计算设备104还可处理某种类型的组件，如通信接口，可允许计算设备104能够与网络106和/或诸如内容服务器108之类的一个或多个设备通信和/或接口。

取决于计算设备104的确切配置和类型，存储器114可以是易失性的(诸如RAM)、非易失性的(诸如ROM、闪存、微型硬盘驱动器、存储卡等)或是其某种组合。存储器114可以包括操作系统、一个或多个程序模块，且可以包括程序数据。

计算设备104可具有附加特征和/或功能。例如，计算设备104还可包括附加数据存储设备(可移动和/或不可移动)，诸如，例如磁盘、光盘或磁带。这种附加存储可以包括可移动存储和/或不可移动存储。

计算设备104还可具有输入设备，诸如键盘、鼠标、笔、语音输入设备、触摸输入设备等。还可包括输出设备，诸如显示器114、扬声器、打印机等。在一些实施例中，用户102可以利用上述特征来与计算设备104、网络106、和/或内容服务器108进行交互。例如，计算设备104的输入设备可被用来提交一个或多个查询，而计算设备104的显示器114可被用来访问和/或查看响应于和/或相关于先前提交的查询的搜索结果。

可以理解，计算设备104只是合适的设备的一个示例，并不旨在对所述各实施方式的使用范围或功能提出任何限制。适用于各实施例的其他公知的计算设备、系统、环境和/或配置包括但不限于，个人计算机、服务器计算机、手持式或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、游戏控制台、可编程消费者电子产品、网络PC、小型计算机、大型计算机、包括上述系统或设备中的任一个的分布式计算机环境。此外，上述设备中的任何设备或全部设备可至少部分地由使用现场可编程门阵列(FPGA)和专用集成电路(ASIC)等的实现来实现。

在其他实施例中，并且如上所述，内容服务器108可以是被配置成向用户102提供搜索结果的任何类型的服务器。更具体地，内容服务器108可被配置成接收查询、生成响应于该查询的搜索结果、学习重排名模型、和/或至少部分地基于该重排名模型向用户102提供经重排名的搜索结果的集合。如上所述，内容服务器108可包括一个或多个处理器116和存储器118，它们可分别类似于或不同于计算设备104的处理器110和存储器112。

在各实施例中，计算机可读介质可包括至少两种类型的计算机可读介质，即计算机存储介质和通信介质。计算机存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术来实现的易失性和非易失性、可移动和不可移动介质。存储器114和118、可移动存储和不可移动存储是计算机存储介质的全部示例。计算机存储介质包括但不限于，随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存或其他存储器技术、紧致盘只读存储器(CD-ROM)、数字多功能盘(DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁存储设备、或能用于存储所需信息且可以由计算设备104和/或内容服务器108访问的任何其他非传输介质。任何这样的计算机存储介质都可以是计算设备104的一部分。而且，计算机可读介质可包括在由处理器110和116执行时执行此处所描述的各种功能和/或操作的计算机可执行指令。

作为对比，通信介质可用诸如载波或其他传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据。如本文所定义的，计算机存储介质不包括通信介质。在各种实施例中，存储器112和118可以是计算机可读介质的示例。

在一些实施例中，内容服务器108的存储器118可包括搜索模块120。搜索模块120可以从计算设备104的用户102接收一个或多个查询。该一个或多个查询可涉及对特定类型的信息(例如，数据、图像等等)的请求。响应于该一个或多个查询，内容服务器108的搜索模块120可以搜索响应于和/或相关于该一个或多个查询的信息。为了生成搜索结果集合，搜索模块120可以确定特定信息是否相关于该一个或多个查询。这一搜索结果集合随后可由搜索模块120至少部分地基于它们与该一个或多个查询的相应相关性来排名，并且可任选地经由计算设备104被提供给用户102。

在其他实施例中，元重排名器模块122可至少部分地基于搜索结果集合内包括的图像来生成可在视觉上表示查询和/或搜索结果集合中的一个或多个的视觉原型。例如，元重排名器模块122可以使用视觉原型来构造一个或多个元重排名器，一个或多个元重排名器被配置成产生初始结果集中包括的任何图像的重排名分数。

此外，内容服务器108的学习模块124可以利用搜索结果和/或重排名分数来学习重排名模型。在一些实施例中，重排名模型可以按无监督和/或受监督方式来学习。出于本讨论的目的，搜索结果的重排名被分类成无监督还是受监督可取决于已基于手动过程(例如，受监督)还是自动过程(例如，无监督)学习了重排名模型。更具体而言，无监督学习可不依赖于对相关数据(例如，图像)的人类标记和/或手动标记。相反，无监督学习可以至少部分地基于与如何采用底层搜索结果集合中包含的信息来对该搜索结果集合进行重排名有关的先前假设。例如，无监督学习过程可包括利用搜索结果集合内的被确定为与查询相关的搜索结果来学习重排名模型。此外，与每一搜索结果相关联的排名位置也可被考虑。

另一方面，并且在其他实施例中，受监督学习可包括被用来对搜索结果集合进行重排名的人类干预和/或手动过程。更具体而言，受监督学习可包括将搜索结果集合内的搜索结果手动地标记为与查询相关，并随后利用这些相关的搜索结果来学习重排名模型。随后，习得的重排名模型可被用来对搜索结果集合进行重排名，并最终向用户102提供这些经重排名的搜索结果。

此外，内容服务器的重排名模块126可以利用重排名模型和元重排名器模块122所生成的重排名分数来对搜索结果集合进行重排名。作为结果，经重排名的图像可以反映相对于先前提交的查询的相关性的分等级次序，意味着排名第一的图像被确定为最相关，排名第二的图像被确定为第二最相关图像，以此类推。经重排名的图像的集合随后可经由网络106被提供给在计算设备104处的用户102并由用户102访问。在一些实施例中，经重排名的图像的集合可以反映最相关于和/或响应于用户102所提交的查询的信息(例如，图像)的集合。用户102可以访问这一信息以标识用户102可能感兴趣的信息。在一些实施例中，经重排名的图像的相关性和/或响应性可以至少部分地基于分配给每一经重排名的图像的分数或其他度量。

搜索模块120、元排名器模块122、学习模块124、以及重排名模块126将参考图2-5更详细地描述。

图2示出了至少部分地基于受监督和/或无监督学习，响应于接收到一个或多个查询来提供一组经重排名的数据的系统200。在一些实施例中，系统200可包括内容服务器108，如参考图1讨论的。内容服务器108可包括在线组件202和离线组件204。在各实施例中，在线组件202可以接收查询206，并可包括搜索模块120、一个或多个图像208、元重排名器模块126、重排名模型220、以及经重排名的图像222的集合。此外，内容服务器108的离线模块204可包括相关性模块224和学习模块124。内容服务器108，且更具体地是在线组件202，可接收来自计算设备104的用户102的查询206。在一些实施例中，查询206可以表示用户102同时地或在不同的时间提交的多个查询。

在各实施例中，响应于接收到一个或多个查询206，内容服务器108可以标识据信相关于和/或响应于该一个或多个查询206的搜索结果(例如，图像)的集合。虽然该搜索结果集合内的数据可被排名，但每一搜索结果的排名可能没有与它同该一个或多个查询的实际相关性相对应。作为结果，内容服务器108可以学习重排名模型220并利用重排名模型220来对搜索结果集合内的搜索结果进行重排名。因此，经重排名的搜索结果的集合可至少部分地基于它们与先前提交的查询206的相应相关性和/或响应性来被排名。一旦被提供给计算设备104，用户12就可以接收据信与用户102的查询206相关的相关数据(例如，图像)。

更具体地，内容服务器108的在线组件202可以经由网络106接收来自计算设备104的查询206。例如，操作计算设备104的用户102可以提交请求诸如媒体内容、图像、文本数据等特定类型的信息的查询206。作为响应，用户102可期望接收响应于和/或相关于查询206的信息。一旦接收到查询206，搜索模块120就可以搜索这些信息并确定各信息是否相关于和/或响应于查询206。在一些实施例中，搜索模块120可以是任何类型的搜索引擎和/或通信耦合到搜索引擎。

至少部分地基于查询206，搜索模块120可以返回搜索结果的集合。在这些实施例中，搜索结果的集合可包括图像208的集合(例如，5个图像)。然而，搜索结果可包括任何类型的信息且不限于特定数量。在各实施例中，搜索模块120所返回的图像208可被确定为相关于和/或响应于查询206，诸如通过利用搜索引擎并对图像208进行排名。在这些实施例中，离线组件204的相关性模块224可被用来确定搜索模块120所返回的图像208的相关性。相关性模块224可包括可被用来确定特定图像208是否相关于查询206的各种数据/信息和/或在先查询-搜索结果对。查询-搜索结果对可能已被形成作为用户102和/或其他用户提交的先前查询206的结果。

在其他实施例中，基于初始搜索结果中包括的图像208，可以生成可表示查询206和/或图像208的任何数量的原型(可能包括视觉原型)。此外，对于所生成的原型中的每一个，元重排名器模块122可以构造元重排名器，如元重排名器210-218。元重排名器210-218的构造参考图3和4更详细地解释。

在各实施例中，对于初始搜索结果中的前N个图像208中的每一个(其中N可以是任何数)，元重排名器模块122可以获得或生成维度分数向量。在这些实施例中，维度分数向量可包括元重排名器210-218在被应用于特定图像208时的分数。一旦为前N个图像208中的每一个确定了维度分数向量，这些维度分数向量可被用作重排名模块126的输入。如下所示，重排名模型220可能已由离线组件204训练或学习，并且因此可被配置成生成图像208中的每一个的重排名分数。作为结果，重排名模块126可以对图像208进行重排名以示出经重排名的图像222的集合。在各实施例中，重排名图像222可被排序，以使得最相关和/或响应的图像被呈现给用户102。此外，经重排名的图像222可以按分等级的次序来呈现，其中最相关的图像208被首先呈现。

另外，内容服务器108的离线组件204可以学习重排名模型220，使得重排名模块126可以促进对图像208的重排名。在某些实施例中，离线组件204的学习模块124可以至少部分地基于手动地标记的训练数据来学习重排名模型220。因为学习模块124可被用来对搜索结果(例如，图像)进行重排名，所以可以从搜索结果中构造训练数据。例如，在各实施例中，相关性模块224可以维护查询日志，该查询日志标识已被提交给内容服务器108的查询206以及已被确定为相关于和/或响应于这些查询206的信息。为了学习重排名模型224，学习模块124可以从相关性模块224获得和/或选择一个或多个代表性查询206。学习模块124随后可以利用这些代表性查询206来从搜索模块120检索前N个图像并下载这些图像以供后续处理。如上所述，学习模块124可以检索任何数量的图像。

因此，学习模块124可以将特定图像208与特定查询206进行关联(例如，查询-图像对)。此外，对于每一查询-图像对，每一图像208与其对应的查询206的相关性可被手动地标记。在一些实施例中，这可由操作某一类型的设备的个人来执行或者通过自动或半自动过程来执行。一旦查询-图像对已被做了相关性标记，则对于每一图像208和对应的查询206，学习模块124就可以收集这一训练数据并随后计算来自元排名器210-218的分数向量，如以上参考在线组件202讨论的。随后，学习模块124可以利用该分数向量来学习重排名模型220，该重排名模型随后可被存储在存储器118中并由在线组件202用来对与用户提交的查询206相对应的图像208进行重排名。

在各实施例中，重排名模型220可通过估计元重排名器模块122所生成的(且具体地是由不同的元重排名器210-218生成的)组合分数(例如，分数向量)的权重来学习。更具体地，重排名模型220和/或重排名模块126可以利用学习排名过程，由此元排名器模块122所输出的分数向量可被用作关于特定图像208的排名特征。在一些实施例中，重排名模块220可由学习模块124通过将排名分解成一组对级偏好，并通过利用一个或多个算法(如下式1)来学习：

$\begin{array}{cc}\min & \frac{1}{2}{W}^{T}W+\mathrm{C\Σ}{\mathrm{\ξ}}_{\mathrm{jk}}^i\end{array}$

使得 $\∀q_i,I_j>I_k:W^T(M\left(I_j\right)-M\left(I_k\right))\≥1-{\mathrm{\ξ}}_{\mathrm{jk}}^i$

$\∀i,j,k:{\mathrm{\ξ}}_{\mathrm{jk}}^i\≥0.---\left(1\right)$

在式1中，W可以指模型权重向量，C可以是对损失和规则化进行折中的参数，M(I_j)可以指特定图像I_j的来自元重排名器210-218的分数向量，且I_j>I_k可以指示对于特定查询q_i，I_j比I_k更相关。在一些实施例中，可以利用用于学习重排名模型220的标准高效方法，如序列最小优化。此外，在其他实施例中，快速算法(例如，割平面算法)也可被采用来提高学习重排名模型220的速度。

因为模型权重和/或向量分数可能不与特定图像208相关，而可能改为与它们在初始搜索结果中的相应排名位置相关，所以重排名模型220可跨除被用来学习重排名模型220的查询206以外的多个查询206来被通用化。即，学习模块124可以通过确定搜索结果集合中的各排名位置中的每一个处的图像208有多可能相关于和/或响应于查询206来学习重排名模型220。作为结果，权重/分数与特定图像208的分开可以允许重排名模型220被一次性学习并被应用于任何任意查询206。即，一旦接收到新查询206，内容服务器108就可能够至少部分地基于图像208在与该查询206相关联的搜索结果(例如，图像208)的集合内的排名位置对该搜索结果的集合进行重排名，而不必重新学习重排名模型220。

图3示出了用于构造与对搜索结果集合进行重排名相关联的一个或多个原型或一组元重排名器的系统300。具体而言，系统300可包括图2中示出的搜索结果集合(例如，诸图像208)，该搜索结果集合还可包括图像302-310。即，诸图像208可能已经响应于接收到查询(例如，查询206)而被返回并且已被确定为相关于和/或响应于该查询206。此外，图像302-310中的每一个可具有相关联的排名312和/或排名位置，由此排名312和/或排名位置可依赖于每一图像302-310与特定查询206的相关性和/或响应性。图像302-310可以按任何次序排名312和/或可以按任何方式来排名(例如，分等级，等等)。在一些实施例中，表示排名312的箭头可以表示相对于图像集合208中的其他图像而言每一图像302-310与特定查询206的相应相关性。例如，因为该箭头向下指，这可表示由高到低排名，图像302可已被确定为最相关于和/或响应于特定查询206，而图像310可已被确定为最不相关于和/或响应于该查询206。

系统300还可包括元重排名器模块122，元重排名器模块可包括元重排名器210-218，如图2所示。如上所述，元重排名器210-218可被构造使得对于前N个图像208中的每一个，维度分数向量可被生成并提供给重排名模块126作为输入。在一些实施例中，维度分数向量可包括元重排名器210-218所生成的关于特定图像208的分数。因为重排名模型220可能先前已被学习和/或训练，所以重排名模型220和/或重排名模块126可以估计该组经重排名的图像222的排名分数。如图3所示，图像302-310分别对应于元重排名器210-218。即，每一图像302-310可对应于和/或关联于元重排名器210-218中的不同一个。

在各实施例中，为了构造原型或元重排名器210-218，给定原型P_i和一组N个图像这些图像208的排名分数可基于原型P_i来计算。计算得到的分数随后可被用作重排名模型220和/或重排名模块126的输入，以估计各图像208的排名分数。此外，排名分数可被用来确定每一图像208在经重排名的图像的集合222内的排名位置。在各实施例中，所构造的元重排名器的类型可依赖于从初始搜索结果集合中生成原型的方式。图3可表示至少部分地基于单-图像原型来构造原型或元重排名器210-218。

例如，并且在一些实施例中，原型或元重排名器210-218可通过经由从初始搜索结果集合(这可由图像302-310来表示，如图3所示)选择前L个图像生成一个或多个原型来构造。假定前L个图像的集合被表示为则元重排名器210-218可至少部分地基于原型与要被排名的图像I_j之间的视觉相似度S(.)来构造，如式2所示：

$M^S\left(I_j\right|P_i^S)=S(I_j,P_i^S).---\left(2\right)$

分数向量可通过聚集该L个元重排名器中的每一个的来自式2的值来确定，并且随后可被用作重排名模型220和/或重排名模块126的输入。随后，重排名模型220和/或重排名模块126可能够计算图像I_j的最后排名分数，这可由式3来表示：

$R^S\left(I_j\right)={\mathrm{\Σ}}_{i=1}^L{w}_i\×S(I_j,P_i^S).---\left(3\right)$

参考式3，w_i可以指来自模型权重训练W的各单独权重。利用单-图像原型对初始搜索结果集合进行重排名可至少部分地基于以下假设：特定图像208的相关性可与其在初始搜索结果集合内的相应排名位置相关。在一些实施例中，按前述方式对搜索结果集合进行重排名可以允许内容服务器108相对于响应于特定查询206返回的搜索结果集合的不精确性和/或不可靠性而言更稳健。这可以是由于相关性-排名相互关系被实际地反映在搜索模块120的目标中。另外，并且如上所述，学习模块220可以按查询无关的方式学习重排名模块126，使得重排名模块126可以对搜索结果集合进行重排名而不管提交给内容服务器108的查询206。例如，因为学习模块124被配置成利用来自有限数量的代表性查询206的带相关性标记的数据来学习和/或训练重排名模型220，所以重排名模型220可便于使重排名模型126能够跨大范围的查询206来对搜索结果进行重排名。作为结果，将监督引入学习过程可能不会危及内容服务器108的可伸缩性。

图4示出了用于构造与对搜索结果集合进行重排名相关联的一个或多个原型或一组元重排名器的系统400。更具体而言，系统400可包括来自搜索结果的集合(例如，诸图像208)的多个图像302-310。即，图像302-310可被选择，因为它们已被确定为更相关于和/或响应于特定查询206。此外，图像302-310中的每一个可具有相关联的排名402和/或排名位置，由此排名402和/或排名位置可依赖于每一图像302-310与特定查询206的相关性和/或响应性。图像302-310可以按任何次序排名402和/或可以按任何方式来排名(例如，分等级，等等)。在一些实施例中，表示排名402的箭头可以表示相对于图像集合208中的其他图像每一图像302-310与特定查询206的相应相关性。例如，因为该箭头从左向右指，这可表示由高到低排名，图像302可已被确定为最相关于和/或响应于特定查询206，而图像310可已被确定为最不相关于和/或响应于该查询206。

系统400还可包括元重排名器模块122，元重排名器模块可包括元重排名器210-218，如图2所示。如上所述，元重排名器210-218可被构造使得对于前N个图像208中的每一个，维度分数向量可被生成并提供给重排名模块126作为输入。在一些实施例中，维度分数向量可包括元重排名器210-218所生成的关于特定图像208的分数。因为重排名模型220可能先前已被学习和/或训练，所以重排名模型220和/或重排名模块126可以估计该组经重排名的图像222的排名分数。如图4所示，不同的一组图像302-310可对应于不同的元重排名器210-218。在一些实施例中，不同的图像302-310可与每一元重排名器210-218迭代地相关联，使得每一元重排名器210-218可以与不同的一组图像302-310相关联。例如，图像302可对应于元排名器210，图像302和304可对应于元重排名器212，图像302、304和306可对应于元重排名器214，以此类推。

在各实施例中，原型或元重排名器210-218可利用多-平均原型来构造。更具体而言，与考虑单个图像作为原型相对，原型或元重排名器210-218可基于考虑多个图像(包括第一图像和来自邻居排名位置的一个或多个附加图像)的原型来被构造。例如，在构造元排名器216时，原型可以考虑图像302、304、306、308以及310。

作为以上参考图3讨论的单-图像原型的替换或补充，多-平均原型可通过选择初始搜索结果集合(例如，图像302-310)中的前L个图像，并随后从最高排名位置到最低排名位置i对每一经排名图像的特征累积地求平均来构造。在一些实施例中，原型可由式4定义，如下所示：

$P_i^{\mathrm{MA}}=\frac{1}{i}{\mathrm{\Σ}}_{j=1}^i{I}_j.---\left(4\right)$

随后，式4中标识的原型可被用来通过计算原型与要被排名的图像之间的相似度来计算各单独的元重排名器210-218的分数，如式5所示：

$M^{\mathrm{MA}}\left(I_j\right|P_i^{\mathrm{MA}})=S(I_j,P_i^{\mathrm{MA}}).---\left(5\right)$

因此，关于利用至少部分地基于多-平均原型的元重排名器210-218对诸图像208进行重排名，诸图像208的每一排名位置可以与包括与该排名位置相关联的图像以及与邻居排名位置相关联的其他图像的多个图像相关。此外，因为原型可以基于各排名位置的平均，而非基于与该排名位置相关的单个图像，所以与可能不与特定查询206相关的图像相关联的任何噪声可被平滑掉和/或消除。

在各实施例中，利用多-平均原型方法，对应的元重排名器可如式6所示：

$M^{\mathrm{MA}}\left(I_j\right|P_i^{\mathrm{MA}})=\frac{1}{i}{\mathrm{\Σ}}_{k=1}^{i}S(I_k,I_j).---\left(6\right)$

此外，将式6整合到重排名模型220中得到以下表达式，它被示为式7和8：

$\begin{array}{c}{R}^{\mathrm{MA}}\left(I_j\right)={\mathrm{\Σ}}_{i=1}^L(w_i\×\frac{1}{i}{\mathrm{\Σ}}_{k=1}^{i}S(I_k,I_j))\\ ={\mathrm{\Σ}}_{i=1}^L{\mathrm{\α}}_i\×S(I_i,I_j)\end{array}---\left(7\right)$

其中，

${\mathrm{\α}}_i={\mathrm{\Σ}}_{k=i}^L\frac{w_k}{k}.---\left(8\right)$

在一些实施例中，基于多-平均原型的重排名模型220可具有至少三个属性。首先，在搜索结果集合中排名较高的图像208的权重可以大于排名较低的图像208的权重，如式9所示：

α_i＞＝α_jfori＜j。 (9)

上述属性可从式8导出，这声明搜索结果集合中的排名可以表示被用作重排名的原型的每一单独的图像208的重要性的次序。即，与基于单-图像原型进行重排名的情况相比，至少部分地基于多-平均原型对搜索结果集合进行重排名可更依赖于初始搜索结果集合。原因是使重排名基于多-平均原型可削弱较不相关于初始查询206的图像208的影响。例如，单-图像原型可涉及具有与初始查询206的相对低的相关性的图像208。另一方面，即使使用多-平均原型来考虑具有相对低的相关性的图像208，考虑与邻居排名位置相关联且具有与查询206的相对较高相关性的其他图像也可补偿该特定图像208的相关性的缺乏。

关于第二和第三属性，模型权重W可如式10所示地定义：

$w_i=i\×{\mathrm{\Σ}}_{k=i}^L{(-1)}^{k-i}{\mathrm{\α}}_i.---\left(10\right)$

随后，式10可被整合到式1以获得式11，如下所示：

$\begin{array}{cc}\min & \frac{1}{2}{\mathrm{\Σ}}_i|i\×{\mathrm{\Σ}}_{k=i}^L{(-1)}^{k-i}{\mathrm{\α}}_i{|}^2+\mathrm{C\Σ}{\mathrm{\ξ}}_{\mathrm{jk}}^i\end{array}$

使得 $\∀q_i,I_j>I_k:A^T(M\left(I_j\right)-M\left(I_k\right))\≥1-{\mathrm{\ξ}}_{\mathrm{jk}}^i$

$\∀i,j,k:{\mathrm{\ξ}}_{\mathrm{jk}}^i\≥0.---\left(11\right)$

如上所示，每一模型参数α_i可由其对应的排名来加权。因此，关于多-平均原型生成，不同的α参数可具有不同的灵活性来确定最优值。此外，与较高排名(例如，较小i)相对应的参数可具有较大的解空间，且反之亦然。在一些实施例中，图像208在初始搜索结果集合中排名越高，图像208对于搜索结果集合的重排名而言就越重要。另外，式11中阐明的重排名模型不仅可调整模型参数α的解空间，还可以执行各种类型的调整以使得相邻排名的图像可具有类似权重。作为结果，并考虑上述属性，利用多-平均原型学习到的各单独图像208的权重可以随下降排名逐渐地下降。

在其他实施例中，作为单-图像原型和多-平均原型的补充，多-集合原型可被用来构造元重排名器210-218。在这些实施例中，排名i的多-集合原型可被定义为排名从最高位置(例如，关于查询206的最相关图像208)到排名i的多个图像208，如式12所示：

$P_i^{\mathrm{MS}}={\left\{I_j\right\}}_{j=1}^i.---\left(12\right)$

此外，给定多-集合原型可通过将中的图像208中的每一个认为正面样本来学习视觉分类器，该视觉分类器随后可被用作元重排名器210-218，并且预测分数可被用作元重排名分数。出于本讨论的目的，正面样本可以指具有与特定查询206的超过预定阈值的对应相关性的图像208。另外，负面样本也可被按各种方式使用并选择。更具体地，背景图像和/或随机图像可被选择作为负面样本。背景图像可被选择作为负面样本是因为它们较不可能与关联于用户102的任何查询206相关。在一些实施例中，搜索结果集合中包括的较不相关并且因此排名较靠近每一查询206的底部的图像208可被选择。在其他实施例中，从数据库中随机采样的图像208可被选择作为负面样本。随机样本可被选择作为负面样本，使得多个负面样本集合可被构造，这可解除不同元重排名器210-218的相关。

不管正面和/或负面样本是否被利用，使用多-集合原型的元重排名器210-218可在式13中定义：

$M^{\mathrm{MS}}\left(I_j\right|P_i^{\mathrm{MS}})=p\left(I_j\right|\widehat{\mathrm{\θ}}),---\left(13\right)$

其中可以表示习得的重排名模型220，且

$\widehat{\mathrm{\θ}}=\arg {\max }_{\mathrm{\θ}}p\left(P_i^{\mathrm{MS}}\right|\mathrm{\θ}).---\left(14\right)$

图5示出了用于至少部分地基于重排名模型对搜索结果集合进行重排名的各示例过程。这些示例过程在图1-4的系统的上下文中描述，但不限于这些环境。每一示例过程中描述操作的次序并不旨在解释为限制，并且任何数量的所描述的框可以按任何次序和/或并行组合以实现每一个过程。此外，图5中的框可以是可用硬件、软件及其组合来实现的操作。在软件的上下文中，各个框表示在由一个或多个处理器执行时使得一个或多个处理器执行既定操作的计算机可执行指令。一般而言，计算机可执行指令可包括使得执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。

图5是示出用于至少部分地基于一个或多个查询和/或重排名模型对搜索结果集合进行重排名的过程500的流程图。在各实施例中，图5中示出的操作可由计算设备(如计算设备104)、服务器(如内容服务器108)和/或任何其他设备执行。

具体而言，框502示出接收查询。更具体而言，用户(例如，用户102)可以利用计算设备(例如，计算设备104)来提交请求各种类型的信息(例如，媒体内容、文本数据、图像等)的一个或多个查询。内容服务器随后可分析该一个或多个查询以确定所请求的特定信息。

框504示出了返回搜索结果集合。在一些实施例中，一旦接收到一个或多个查询，内容服务器(例如，内容服务器108的搜索模块120)就可以进行搜索，以尝试标识相关于和/或响应于该一个或多个查询的信息。该搜索可以与搜索引擎相关联地执行，并且该信息可包括各种类型的数据、媒体内容(例如，音频内容、视频内容等)、图像、和/或任何其他类型的信息。内容服务器随后可生成包括被确定为相关于和/或响应于该一个或多个查询的搜索结果的搜索结果集合。在各实施例中，搜索结果可被排名和/或可以与搜索结果集合内的不同排名位置相关联。例如，搜索结果可按分等级次序来排名，通过分等级次序，被确定为更相关于该一个或多个查询的搜索结果排名更高。

框506示出了生成视觉原型。在一些实施例中，可表示查询和/或搜索结果集合中包括的搜索结果中的至少一个的一个或多个原型可被生成。此外，视觉原型可被用来构造一个或多个元重排名器。

框508示出了构造元重排名器。更具体而言，该一个或多个原型可被用来构造一个或多个元重排名器。元重排名器可以按多种方式来构造，如通过利用单-图像原型、多-平均原型和/或多-集合原型，如以上参考图1-4讨论的。在各示例实施例中，元重排名器可通过将搜索结果中的不同一个与每一元重排名器进行关联和/或相关来构造。作为替换或补充，搜索结果集合内的搜索结果可按降序被迭代地添加和/或与每一元重排名器相关联。例如，本文描述的系统可以将排名第一的搜索结果与第一元重排名器相关联，将该第一图像和排名第二的搜索结果与第二元重排名器相关联，将该第一和第二搜索结果以及排名第三的搜索结果与第三元重排名器相关联，以此类推。此外，正面或负面训练样本的集合可被用来构造元重排名器。

框510示出了产生每一搜索结果的重排名分数。具体而言，元重排名器中的每一个可以产生搜索结果集合中包括的每一搜索结果的重排名分数和/或维度分数向量。在一些实施例中，重排名分数和/或维度分数向量可与同该一个或多个查询的相对相关性相对应。

框512示出了学习重排名模型。在各实施例中，重排名模型可以按不同的方式来学习，并且随后可依赖该重排名模型来对搜索结果集合中包括的搜索结果进行重排名。例如，该重排名模型可通过向搜索结果集合内的每一排名位置分配不同的权重来学习。该重排名模型还可向元重排名器中的不同的各元重排名器分配不同的权重。此外，因为该重排名模型可基于搜索结果集合内的排名位置(与搜索结果本身相对)来学习，所以该重排名模型可以是查询无关的。因此，该重排名模型可被通用化并且可应用于多个不同的查询。

在其他实施例中，该重排名模型可以按无监督方式习得，通过该无监督方式，各搜索结果的相关性可被自动确定。这可至少部分地基于与搜索结果中的每一个相关联的排名位置。此外，该重排名模型也可按受监督方式来学习。例如，搜索结果集合中包括的搜索结果可至少部分地基于所确定的搜索结果相对于该一个或多个查询的相关性来被手动地标记。

框514示出了聚集重排名分数。更具体而言，由元重排名器计算得到的重排名分数和/或维度分数向量可被聚集或组合。在一些实施例中，元重排名器可以生成搜索结果集合中包括的一个搜索结果、多个搜索结果或所有搜索结果的重排名分数和/或维度分数向量。无论如何，一旦与搜索结果相关联的重排名分数和/或维度分数向量被生成，则它们就可被聚集。

框516示出了生成每一搜索结果的最终相关性分数。更具体而言，一旦重排名分数和/或维度分数向量已被聚集，就可生成搜索结果中的每一个的最终相关性分数。在一些实施例中，最终相关性分数可以表示和/或可被用来定义每一搜索结果在经重排名的搜索结果的集合中的排名位置。此外，搜索结果可至少部分地基于它们的相应相关性分数被重新排序。例如，具有较高相关性分数的搜索结果可比具有较低相关性分数的搜索结果排名更高。然而，搜索结果可以按任何方式和/或次序来重排名。

框518示出了生成并提供经重排名的搜索结果的集合。在其他实施例中，至少部分地基于搜索结果的相关性分数，可以生成经重排名的搜索结果的集合。经重排名的搜索结果可以表示搜索结果与先前提交的一个或多个查询的不同程度的相关性和/或响应性。一旦经重排名的搜索结果的集合被创建，则它就可被提供给作为该一个或多个查询的源的用户或计算设备。作为结果，用户可访问据信相关于该一个或多个查询或用户可能感兴趣的搜索结果集合。

尽管已经用结构特征和/或方法动作专用的语言描述了本主题，但要理解，所附权利要求书中定义的主题不必限于所描述的具体特征或动作。相反地，这些具体特征和动作是作为实现该权利要求的示例性形式而公开的。

Claims (20)

1.一种方法，包括：

在计算设备的一个或多个处理器的控制下：

接收一个或多个查询；

响应于接收到所述一个或多个查询，生成搜索结果集合，由此所述搜索结果集合内的每一搜索结果基于与所述一个或多个查询的相对相关性来被排名；

向所述搜索结果集合内的每一排名位置分配不同的权重；

至少部分地基于所分配的权重来学习重排名模型；以及

至少部分地基于所述重排名模型来对所述搜索结果进行重排名，以生成经重排名的搜索结果的集合。

2.如权利要求1所述的方法，其特征在于，所述重排名模型是查询无关的，从而使得所述重排名模型能够跨多个查询通用。

3.如权利要求1所述的方法，其特征在于，还包括：

生成一个或多个原型，所述一个或多个原型在视觉上表示所述一个或多个查询或所述搜索结果集合中包括的至少一个搜索结果中的至少一个；以及

将所述经重排名的搜索结果的集合输出给提交所述一个或多个查询的用户。

4.如权利要求3所述的方法，其特征在于，还包括利用所述一个或多个原型来构造至少一个元重排名器，每一元重排名器产生所述搜索结果集合中包括的搜索结果中的一个或多个的重排名分数。

5.如权利要求4所述的方法，其特征在于，所述一个或多个原型中的至少一个是使用单-图像过程通过将单个搜索结果与每一元重排名器进行相关来构造的。

6.如权利要求4所述的方法，其特征在于，所述一个或多个原型中的至少一个是使用多-平均过程通过按降序将搜索结果的经重排名的集合内的搜索结果迭代地添加到每一元重排名器来构造的。

7.如权利要求4所述的方法，其特征在于，所述一个或多个原型中的至少一个是使用多-集合过程通过按降序将搜索结果的经重排名的集合内的搜索结果迭代地添加到每一元重排名器来构造的，每一元重排名器是通过从所述至少 一个原型和所选择的负面样本中学习分类器来构造的。

8.如权利要求4所述的方法，其特征在于，还包括聚集所述元重排名器中的每一个所产生的重排名分数来生成所述搜索结果中的每一个的最终相关性分数，所述最终相关性分数被用来定义在所述经重排名的搜索结果的集合内每一搜索结果的排名位置。

9.如权利要求1所述的方法，其特征在于，所述重排名模型是至少部分地基于以下来学习到的：自动选择所述搜索结果的被确定为最相关于所述一个或多个查询的至少一子集，或通过参考手动地应用于所述搜索结果的至少一子集的具有与所述一个或多个查询的不同程度的相关性的标记。

10.一个或多个具有计算机可执行指令的计算机可读介质，当所述计算机可执行指令被一个或多个处理器执行时，配置所述一个或多个处理器以执行包括以下的操作：

响应于一个或多个查询返回图像集合，每一图像相对于彼此被排名；

生成在视觉上表示所述一个或多个查询且被用来构造一个或多个元重排名器的一个或多个原型；以及

至少部分地基于由所述一个或多个元重排名器所提供的重排名分数来对所述图像进行重排名以生成经重排名的图像的集合。

11.如权利要求9所述的一个或多个计算机可读介质，其特征在于：

每一图像相对于所述一个或多个查询的相关性概率表示在所述图像集合中的对应排名位置；以及

所述一个或多个元重排名器是生成所述图像中的每一个的重排名分数的应用、模块、或模式，所述重排名分数被聚集以产生所述图像中的每一个的最终相关性分数。

12.如权利要求11所述的一个或多个计算机可读介质，其特征在于，每一图像的最终相关性分数定义在所述经重排名的图像的集合中的排名位置。

13.如权利要求10所述的一个或多个计算机可读介质，其特征在于，所述经重排名的图像的集合是至少部分地基于重排名模型来生成的，所述重排名模型是至少部分地基于与所述一个或多个查询的相应相关性以及所述图像的手动地标记的子集的排名位置来从所述图像子集学习的。

14.如权利要求10所述的一个或多个计算机可读介质，其特征在于，所述一个或多个元重排名器是通过将所述图像中的不同一个与所述一个或多个原型进行关联来构造的。

15.如权利要求10所述的一个或多个计算机可读介质，其特征在于，所述一个或多个原型是如下构造的：通过按降序将所述图像与所述一个或多个元重排名器迭代地进行关联，使得第一图像与第一元重排名器相关联，且所述第一图像和第二图像与第二元重排名器相关联。

16.一种方法，包括：

在计算设备的一个或多个处理器的控制下：

接收各自请求一个或多个图像的一个或多个查询；

生成包括响应于所述一个或多个查询的图像的图像集合，所述图像集合的每一图像至少部分地基于所述图像的相对相关性与排名位置相关联；

利用在视觉上表示所述一个或多个查询的一个或多个原型来构造一个或多个元重排名器，所述一个或多个元重排名器产生所述图像中的每一个的排名分数；

聚集与所述图像相关联的重排名分数以产生每一图像的最终相关性分数；以及

至少部分地基于所述重排名模型和所述图像的最终相关性分数来生成经重排名的图像的集合。

17.如权利要求16所述的方法，其特征在于，还包括至少部分地基于所述图像集合中包括的查询的至少一子集的排名位置来学习所述重排名模型。

18.如权利要求16所述的方法，其特征在于，所述重排名模型向所述一个或多个元重排名器中的不同的各元重排名器分配不同的权重。

19.如权利要求16所述的方法，其特征在于，还包括按无监督方式学习所述重排名模型，由此从所述图像集合中包括的图像中自动确定相关信息。

20.如权利要求16所述的方法，其特征在于，还包括按受监督方式学习所述重排名模型，由此所述图像集合中包括的图像已至少部分地基于所确定的所述图像相对于所述一个或多个查询的相关性而被手动地标记。