CN109952571B - 基于上下文的图像搜索结果 - Google Patents

Abstract

响应于搜索查询来确定图像相关性的各种实施方式导致更少的查询修正和搜索，这反过来提高了执行图像搜索操作的系统的整体系统性能。一种示例方法包括，对于多个资源中的每个资源，其中每个资源包括一个或多个图像和与每一个图像分离的文本：根据资源的文本确定由资源的文本描述的资源话题。对于一个或多个图像中的每一个，处理图像以确定描述图像中描述的内容所属话题的图像话题的集合。确定一个或多个话题匹配分数，其中每个话题匹配分数是图像的一个或多个图像话题与资源的一个或多个资源话题的相关性的度量。

Description

基于上下文的图像搜索结果

背景技术

本说明书涉及响应于搜索查询的图像搜索结果的呈现。

互联网提供了对各种资源的访问，例如，网页、图像文件、音频文件和视频。这些资源包括特定主题的内容、书籍文章或新闻文章。搜索系统可以响应于接收到搜索查询而选择一个或多个资源。搜索查询是用户提交给搜索引擎以查找满足用户的信息需求的信息的数据。搜索查询通常是文本的形式，例如，一个或多个查询项，但是也可以处理其他类型的搜索查询。搜索系统基于诸如图像和资源的内容与搜索查询的相关性以及它们相对于其他资源的重要性来选择和评分诸如图像和资源的内容，并提供链接到所选内容的搜索结果。搜索结果通常根据分数进行排名，并根据排名进行呈现。

在图像搜索的情况下，可以基于标签(例如，与图像相关联的标题)与查询项的相关性、图像的选择比率和其他因素中的一个或多个来对图像评分。然而，图像可能不总是描绘与图像在其中显示的资源的底层(underlying)内容紧密对应的内容。例如，与背景中的标志性地标一起表演艺术家的图像可能被显示在包括报道所述表演的文章的网页中。然而，底层网页和文章可能没有提供关于背景中的著名地标的信息。不管怎样，许多图像处理系统将识别背景中的地标，并将图像标记为与该地标相关。此外，如果该艺术家相对著名，则图像和资源可能会收到相对大量的流量。因此，如果正在寻找关于著名地标的信息的用户输入描述该著名地标的查询，则可能向用户呈现所述图像作为许多搜索结果之一。然而，报道艺术家的表演的底层资源将很可能不满足用户对著名地标的信息需求。

发明内容

一般来说，本说明书中描述的主题的一个创新方面可以体现在方法中，该方法包括，对于多个资源中的每个资源的动作，其中每个资源包括一个或多个图像和与一个或多个图像中的每一个分离的文本：由数据处理装置从资源的文本确定由资源的文本描述的资源话题(topic)。对于一个或多个图像中的每一个，由数据处理装置处理图像以确定描述图像中描绘的内容所属话题的图像话题的集合。由数据处理装置确定一个或多个话题匹配分数，其中每个话题匹配分数是图像的一个或多个图像话题与资源的一个或多个资源话题的相关性的度量。由数据处理装置针对图像，在索引中存储描述图像的图像话题、资源的资源话题、以及图像的一个或多个话题匹配分数的数据。该方面的其他实施例包括对应的系统、装置和计算机程序，其被配置为执行在计算机存储设备上编码的方法的动作。

可以实施本说明书中描述的主题的特定实施例，以便实现以下优点中的一个或多个。本系统和方法基于图像和包括图像的资源之间的话题相似性来提供图像搜索结果。这导致更少的查询修正和搜索，其反过来提高了执行图像搜索操作的系统的整体系统性能。话题相似性被用作响应于搜索查询对图像进行排序的排序信号。通过考虑话题相似性，系统提供链接到图像的图像搜索结果，这些图像很可能与图像所在资源的文本话题相关。这更好地服务于那些信息需求仅被图像部分满足，并且可以从包括在资源中的附加上下文信息中受益的用户。

在一些实施方式中，当确定图像搜索结果中呈现的每个图像的话题匹配分数时，本系统和方法还考虑图像的特征(例如，大小、位置、类型等)。当确定话题匹配分数时考虑图像的特征进一步改善图像与搜索查询相关性的准确性。

本说明书中描述的主题的一个或多个实施例的细节在附图和下面的描述中阐述。根据说明书、附图和权利要求书，主题的其它特征、方面和优点将变得显而易见。

附图说明

图1是处理图像搜索结果的示例环境的框图。

图2A是示出对图像的话题和话题相关性进行评分的组件的框图。

图2B是由图2A中的系统确定话题匹配分数的示例过程的流程图。

图3A是示出用于基于图像话题匹配分数对图像搜索结果进行排名的组件的框图。

图3B是由图3A中的系统对图像搜索结果进行排名的示例过程的流程图。

各个附图中相同的参考数字和标记表示相同的元件。

具体实施方式

概述

通常响应于搜索查询，向用户呈现图像搜索结果，以试图满足用户的信息需求。通过基于以下对图像排名来生成图像搜索结果：图像中描绘的内容与搜索查询的相关性、图像中的内容与图像所属资源内的内容的话题性的相关性、以及(可选地)图像在资源内的突显度(prominence)。图像中的内容与图像所属资源内的内容的话题性的相关性以及图像在资源内的突显度是可以在查询时间之前存储在索引中的度量。

为了建立这个索引，搜索系统选择包括图像的资源，诸如网页。对于每个资源，系统确定由资源的文本描述的资源话题。对于资源中的每个图像，系统确定一组图像话题，这些话题描述了图像中描绘的内容所属的话题。相互比较资源话题和图像话题，以确定话题匹配分数，该分数指示图像内容话题与资源话题有多相似。

该系统还可以确定每个图像的突显度分数，并使用该突显度分数来调整话题匹配分数。突显度分数描述图像在其所呈现在的资源内有多突显。例如，具有较高突显度分数的图像可以是在资源中央显示的较大图像。相反，具有较低突显度分数的图像可以是位于资源底部或侧边的缩略图。每个图像的话题匹配分数可以通过结合图像的突显度分数来修改。

响应于图像寻找查询，系统可以通过访问存储了信息的索引来访问先前确定的资源话题、图像话题、以及特定候选图像的话题匹配分数。然后，系统可以基于这些值为图像中的每一个确定搜索分数。搜索分数是图像与图像寻找查询的相关性的度量。

基于图像的话题相关性提供图像搜索结果的这些特征和附加特征将在下面更详细地描述。此外，虽然下面的描述使用图像作为说明性示例，但是下面描述的系统和方法也可以用于其他类型的内容，诸如视频、音频和可以相对于内容所呈现在的底层资源的内容的话题性确定和评估内容的话题性的任何其他非文本内容。

示例环境

图1是处理图像搜索结果的示例环境100的框图。示例环境100包括连接网页104、用户设备108和搜索系统116的网络102(例如，局域网(local area network，LAN)、广域网(wide area network，WAN)、因特网或它们的组合)。环境100可以包括成千上万的网页104和用户设备108。

网页104是与域名相关联的一个或多个资源，并且每个网页由一个或多个服务器托管(host)。示例网页是以超文本标记语言(hypertext markup language，HTML)格式化的、可以包含文本、图形图像、多媒体内容和编程元素，诸如脚本的网页的集合。每个网页104由发布者(例如，管理和/或拥有该网页的实体)维护。

网页104可以包括随资源呈现的一个或多个图像106。每个网页104和图像106与资源地址，诸如URL，相关联。网页104包括文本，并且还可以包括到与网页资源的文本一起渲染和显示的其他类型的资源的链接。特别地，图像106通常用网页104渲染。图像106由用于渲染某主题的图像的图像数据表示。虽然图像数据通常包括在网页数据中，但它们也可以作为可单独寻址的资源来托管。

为了便于搜索网页104，搜索系统116通过抓取(crawl)发布者网页104并对由发布者网页104提供的资源编索引来识别资源。在一些实施方式中，索引存储在图像资源索引114和网页索引118中。索引114和118显示为分开的索引。然而，在一些实施方式中，索引可以被组合在单个索引中，并且对各自语料库(corpus)的搜索可以被限制在组合的索引的用于索引相应语料库的部分。

对于文本内容的搜索，搜索网页索引118，并且基于以下来对资源排名：度量资源与查询的相关性的信息检索(“IR”)分数以及(可选地)每个资源相对于其他资源的权限分数。搜索结果的排名基于相关性分数，该相关性分数是IR分数和权限分数的组合(例如，总和、乘积或其他数学组合)。搜索结果122根据这些相关性分数被排序，并根据该排序被提供给用户设备。

对于针对图像的搜索，搜索系统116访问图像资源索引114。在一些实施方式中，搜索系统116确定图像的搜索分数，该搜索分数度量图像与图像寻找查询的相关性。

搜索通常会返回图像和资源两者的搜索结果。当这种情况发生时，图像搜索结果通常在与资源搜索结果串联(in-line)的组中提供。将结合图2A-图3B讨论描述图像搜索的另外的细节。

用户设备108例如以网页中的结果列表的形式接收搜索结果122，并渲染这些页面以呈现给用户。搜索结果是由搜索系统116生成的数据，其标识响应于特定搜索查询的资源。每个搜索结果包括到对应资源的链接，例如，作为一般搜索结果的到网页的链接、或者作为图像搜索结果的到图像的链接。示例一般搜索结果包括网页标题、文本片段和网页的URL。示例图像搜索结果包括图像的缩略图、其中引用了图像的网页的URL、以及(可选地)描述图像的主题的标记数据。

为了响应于搜索查询对图像评分，搜索系统116访问图像话题匹配分数索引120中的话题匹配分数。图像话题匹配分数为每个资源中的每个图像定义图像的一个或多个图像话题与资源的一个或多个资源话题的相关性的度量。这些话题匹配分数部分用于生成响应于图像寻找查询的图像的搜索分数。

下面参照图2A和图2B描述图像话题匹配分数的生成。下面参照图3A和图3B描述使用图像话题匹配分数的搜索处理。

图像话题匹配分数生成

图2A是示出对图像的话题和话题相关性进行评分的组件的框图。这些组件可以在一台或多台计算机的数据处理装置中实施。

图像/资源话题评分器112处理资源104，每个资源包括一个或多个图像。每个资源还包括与一个或多个图像中的每一个分离的其他信息，诸如文本。对于每个资源，评分器112确定资源中每个图像的(多个)话题匹配分数。特别地，图像的话题匹配分数基于图像中描绘的内容属于的话题与由资源的文本所描述的资源话题的相关性。因此，图像中的内容的话题与资源的内容的话题的相关性越高，话题匹配分数越高。

在图2A的示例实施方式中，图像/资源话题评分器112包括图像话题识别器202、资源话题识别器204和话题匹配评分器206，其操作参考图2B描述，图2B是用于由图2A中的系统确定话题匹配评分的示例过程250的流程图。对包括一个或多个图像的每个资源104执行过程250。

资源话题识别器204从资源的文本确定由资源的文本描述的资源话题(252)。在一些实施方式中，资源话题识别器使用以下一项或多项来确定资源的话题：对资源的文本主体的语义分析、分析资源中的锚文本和资源的标题、和/或用于确定资源的话题的任何其他适当技术。例如，资源话题识别器204可以识别哪些术语(例如，词语、通用名称(commonname)等)更频繁地出现在资源内，并认为这些术语代表了资源内的内容的话题和/或话题标签。

如图2A所示，资源104可以具有在资源104内呈现的多于一个图像，例如，106a和106b。对于资源104内的每个图像，图像话题识别器202处理图像以确定描述图像中描绘的内容所属话题的图像话题的集合(254)。在一些实施方式中，图像106可以具有与图像106中的每一个相关联的话题标签。话题标签(通常是元数据标签)描述图像的内容和图像所属的类别。例如，帝国大厦的图像可以具有以下话题标签：帝国大厦、纽约、摩天大楼、高楼、曼哈顿等。这些标签可以用于确定图像的话题。

在一些实施方式中，确定描述图像中描绘的内容所属话题的图像话题的集合可以通过将图像提交给图像注释系统并为图像接收注释的集合作为图像话题来进行。在一些实施方式中，图像注释系统基于对图像的计算机图像处理来确定标签，所述对图像的计算机图像处理确定图像中描绘的内容，并且标签描述所确定的内容。例如，图像内容注释系统可以使用机器学习模型将图像分类。在分析图像之后，图像注释系统将元数据标签分配给图像。

也可以使用确定图像中描绘的内容所属话题的其他方式。

对于资源内的每个图像，话题匹配评分器206确定一个或多个话题匹配评分(256)。每个话题匹配分数是图像的一个或多个图像话题与资源的一个或多个资源话题的相关性的度量。话题匹配评分器206使用由图像话题识别器202和资源话题识别器204识别的图像和资源话题来确定话题匹配分数。例如，第一资源可以描述帝国大厦的历史、事实和当前状态，并且包含帝国大厦的图像——图像A。第二资源也可以包括描绘帝国大厦的图像(图像B)，但是第二资源可以描述照片编辑技术，并且帝国大厦的图像用于说明这些技术的最终结果。对于图像A，话题匹配分数将比图像B高得多。作为示例，话题匹配评分器206可以为图像A分配.99的名词化(nominalized)话题匹配分数，并且为图像B分配.10的名词化话题匹配评分。

在一些实施方式中，可以为每个图像生成单个话题匹配分数。例如，假设为图像确定了四个话题—IT1、IT2、IT3和IT4，为资源确定了三个话题—RT1、RT2和RT3。图像I的话题匹配分数可以由广义函数生成:

TM(I)＝f(IT1,IT2,IT3,IT4,RT1,RT2,RT3)。

可以使用任何适当的评分函数。例如，二进制评分可以用于图像和资源之间的匹配的话题，并且话题匹配评分可以是正二进制匹配的总和。可替换地，可以使用基于话题相似性的评分，例如，图像的“棒球”话题和资源的“棒球”话题可以导致非常高的相似性分数，而图像的“棒球”话题和资源的“垒球”话题可以导致中等的相似性分数。相反，图像的“棒球”话题和资源的“物理”话题可以导致非常低的相似性分数。

在其他实施方式中，可以为每个图像话题生成话题匹配分数，例如，用于每个话题IT1、IT2、IT3和IT4的单独的话题匹配分数。在又另外的实施方式中，可以为每个资源话题生成图像的话题匹配分数，例如，用于每个话题RT1、RT2和RT3的单独的话题匹配分数。同样，可以使用各种评分算法来确定话题匹配分数。

在一些实施方式中，话题匹配分数还通过考虑资源内的图像的突显度的度量来确定。图像/资源话题评分器112确定一个或多个图像突显度分数，这些分数共同度量资源104中的图像的显示的突显度。图像的突显度考虑在资源104内的图像的特征(例如，图像的大小、位置、像素计数等)。

例如，作为显示在资源的显示区域侧边的小缩略图的图像106a将被给予比更大并且位于资源中心附近的图像106b更低的突显度分数。通常，缩略图图像不代表资源104的话题，而位于资源中心的图像通常代表资源104的话题。

在一些实施方式中，为图像确定的一个或多个话题匹配分数基于图像话题与资源话题的相关性的度量和一个或多个图像突显度分数。话题匹配分数可以通过由一个或多个突显度分数调整图像话题与资源话题的相关性的度量来合并突显度分数。例如，具有突显度分数P(I)的图像I的话题匹配分数可以由广义函数生成:

TM(I)＝f(IT1,IT2,IT3,IT4,RT1,RT2,RT3,P(I))。

一些资源可能具有为每次加载资源服务的不同的图像。例如，第一次在用户设备上呈现资源时，位于资源中心的图像可以描绘第一动物(例如，熊猫)。当资源被重新加载时，呈现的文本、位于资源中心的图像可以描绘第二动物(例如，刺猬)。当这种情况发生时，图像的突显度被确定为非常低，即使图像以其他方式突出显示(例如，在网页的中间内)。可替换地，当确定一个或多个话题匹配分数时，系统可以多次加载资源以确保加载相同的图像。具有针对每次重新加载而不同的图像的任何位置都可以被确定为托管了(host)动态图像，并且该位置中的任何图像的相关性可以被系统忽略或打折扣。

一个或多个话题匹配分数、与一个或多个话题匹配分数相关联的资源的资源话题、以及与一个或多个话题匹配分数相关联的图像的图像话题被存储在图像话题匹配分数索引120中(258)。如前所述，图像话题匹配分数索引是先前确定的话题匹配分数、图像话题和资源话题的储存库。在一些实施方式中，当响应于搜索查询确定在用户设备处呈现哪些图像搜索结果时，搜索系统116从图像话题匹配分数索引120检索话题匹配分数。将结合图3A和图3B描述关于呈现图像搜索结果的进一步细节。

搜索处理

响应于图像搜索查询而在图像搜索结果页面中呈现的图像基于图像的话题匹配分数进行排名。图3A是示出用于基于图像话题匹配分数对图像搜索结果进行排名的组件300的框图，图3B是图3A中的系统对图像搜索结果进行排名的示例过程的流程图。将结合图3A讨论图3B。在一些实施方式中，搜索系统包括图像评分器304、图像/资源话题评分器112、搜索评分器308和排名器310，其操作在下面描述。

搜索系统116接收图像寻找查询(352)。例如，系统116可以从用户设备接收搜索查询。

对于每个图像，搜索系统116确定度量图像寻找查询与图像的图像话题的相关性的相关性分数(354)。例如，图像评分器304使用描述为图像确定的话题的元数据来确定图像与图像搜索查询110多么相关。

在其他实施方式中，相关性分数可以不基于为图像识别的话题而是基于计算机视觉处理来确定，其中计算机视觉处理从图像确定语义，然后评估查询与语义的相关性。也可以使用确定度量图像与查询的相关性的相关性分数的其他适当方式。

对于每个图像，搜索系统116根据为查询确定的相关性分数和存储在索引中的图像的一个或多个话题匹配分数来确定搜索分数(356)。搜索分数可以基于考虑如以上参考图2A和图2B所描述确定的话题匹配分数的评分函数。

遵循图像A和B的先前示例，其中图像A是在描述帝国大厦的历史、事实和当前状态的资源中呈现的帝国大厦的图像，而图像B是关于照片编辑的资源内的帝国大厦的图像，假设图像评分器304为图像A确定0.95的相关性分数，以及为图像B确定0.97的相关性分数。仅基于这些分数，图像B的排名将高于图像A。然而，假设图像/资源话题评分器112为图像A确定.92的话题匹配分数，以及为图像B确定.10的话题匹配分数。回想一下，由评分器112确定的话题匹配分数度量图像的一个或多个图像话题与资源的一个或多个资源话题的相关性。使用由搜索系统确定的相关性分数和由评分器112确定的话题匹配分数，搜索评分器308基于将相关性分数和话题匹配分数作为输入的评分函数，可以确定图像A的搜索分数为.91，以及图像B的搜索分数为.20。因此，即使图像B描绘了似乎与图像寻找查询稍微更相关的内容，图像B最终也比图像A收到更低的搜索分数，因为图像A被显示在与图像中描绘的内容更话题相关的页面上，而图像B被显示在与图像中描绘的内容更不话题相关的页面上。

搜索系统116根据图像的各自搜索分数对图像进行排名(358)。根据该示例，搜索系统116将图像A排名为1，以及图像B排名为2。搜索系统116向从其接收图像搜索查询110的用户设备提供图像搜索结果的集合，该图像搜索结果的集合标识根据搜索系统116的排名选择的图像的子集(360)。基于搜索分数对图像进行排名和呈现，通过提供属于具有与图片中的内容的话题相同或相似话题性的资源的图像，提供更准确的方式来满足用户的信息需求。

本说明书中描述的主题和操作的实施例可以在数字电子电路中实施，或者在包括本说明书中公开的结构和它们的结构等同物的计算机软件、固件或硬件中实施，或者在它们中的一个或多个的组合中实施。本说明书中描述的主题的实施例可以被实施为一个或多个计算机程序，例如，计算机程序指令的一个或多个模块，其编码在计算机存储介质上以由数据处理装置运行或控制数据处理装置的操作。可替换地或另外地，程序指令可以被编码在人工生成的传播信号上，例如，机器生成的电、光或电磁信号，该信号被生成来编码信息以传输到合适的接收器装置供数据处理装置运行。计算机存储介质可以是或包括在计算机可读存储设备、计算机可读存储衬底、随机或串行存取存储器阵列或设备、或它们中的一个或多个的组合中。此外，虽然计算机存储介质不是传播信号，但是计算机存储介质可以是编码在人工生成的传播信号中的计算机程序指令的源或目的地。计算机存储介质也可以是或包括在一个或多个单独的物理组件或介质(例如，多个CD、盘或其他存储设备)中。

本说明书中描述的操作可以被实施为由数据处理装置对存储在一个或多个计算机可读存储设备上或从其他来源接收的数据执行的操作。

术语“数据处理装置”涵盖用于处理数据的所有种类的装置、设备和机器，包括例如可编程处理器、计算机、片上系统、或前述的多个或组合。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建运行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机、或它们中的一个或多个的组合的代码。装置和运行环境可以实现各种不同的计算模型基础设施，诸如web服务、分布式计算和网格计算基础设施。

计算机程序，也称为程序、软件、软件应用、脚本或代码，可以以任何形式的编程语言编写，包括编译或解释语言、声明性或过程性语言，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程、对象或其他适合在计算环境中使用的单元。计算机程序可以但不必对应于文件系统中的文件。程序可以被存储在保存其他程序或数据的文件的一部分中，例如，存储在标记语言文档中的一个或多个脚本，存储在专用于所讨论的程序的单个文件中，或者存储在多个协调文件中，例如，存储一个或多个模块、子程序或代码部分的文件中。计算机程序可以被部署为在一台计算机上运行，或者在位于一个站点或分布在多个站点并通过通信网络互连的多台计算机上运行。

本说明书中描述的过程和逻辑流程可以由运行一个或多个计算机程序的一个或多个可编程处理器来执行，以通过对输入数据进行操作并生成输出来执行动作。这些过程和逻辑流程也可以由专用逻辑电路(例如，FPGA(field programmable gate array，现场可编程门阵列)或ASIC(application-specific integrated circuit，专用集成电路))执行，并且装置也可以被实施为专用逻辑电路(例如，FPGA(field programmable gate array，现场可编程门阵列)或ASIC(application-specific integrated circuit，专用集成电路))。

作为示例，适合于计算机程序的运行的处理器包括通用和专用微处理器两者，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于根据指令执行动作的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如，磁盘、磁光盘或光盘，或可操作地耦合以从其接收数据或将数据传送到其或两者。然而，计算机不需要有这样的设备。此外，计算机可以被嵌入到另一设备中，例如，移动电话、个人数字助理(personal digital assistant，PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(Global Positioning System，GPS)接收器或便携式存储设备(例如，通用串行总线(universal serial bus，USB)闪存驱动器)等等。适于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储设备，例如，EPROM、EEPROM和闪存设备；磁盘，例如，内部硬盘或可移除磁盘；磁光盘；以及CD-ROM和DVD-ROM光盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。

为了提供与用户的交互，本说明书中描述的主题的实施例可以在计算机上实施，该计算机具有用于向用户显示信息的显示设备，例如，CRT(阴极射线管)或LCD(液晶显示器)监视器，以及用户可以通过其向计算机提供输入的键盘和定点设备，例如，鼠标或轨迹球。其他种类的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。此外，计算机可以通过向用户使用的设备发送文档和从用户使用的设备接收文档来与用户交互；例如，通过响应于从网络浏览器接收的请求将网页发送到用户的用户设备上的网络浏览器。

本说明书中描述的主题的实施例可以在计算系统中实施，该计算系统包括后端组件，例如，作为数据服务器，或者包括中间件组件，例如，应用服务器，或者包括前端组件，例如，具有图形用户界面或Web浏览器的客户端计算机，用户可以通过该界面或Web浏览器与本说明书中描述的主题的实施方式交互，或者一个或多个这样的后端、中间件或前端组件的任意组合。系统的组件可以通过数字数据通信的任何形式或介质互连，例如，通信网络。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)、网络间(例如，互联网)和对等网络(例如，自组织对等网络)。

计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系是借助在各自计算机上运行的计算机程序而产生的，并且彼此之间具有客户端-服务器关系。在一些实施例中，服务器向用户设备发送数据，例如，HTML页面，例如，用于向与用户设备交互的用户显示数据和从用户接收用户输入。可以在服务器处从用户设备接收在用户设备处生成的数据，例如，用户交互的结果。

虽然本说明书包含许多具体的实施细节，但这些细节不应被解释为对任何发明或所要求保护的范围的限制，而是对特定发明的特定实施例的特征的描述。本说明书中在分开的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以分开在多个实施例中或以任何合适的子组合来实施。此外，尽管特征可以在上文中被描述为以某些组合方式起作用，甚至最初被如此要求保护，但是在一些情况下，要求保护的组合中的一个或多个特征可以从该组合中切除，并且要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但这不应被理解为要求以所示的特定顺序或顺次地执行这些操作，或者执行所有所示的操作，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这种分离，而是应该理解为，所描述的程序组件和系统通常可以被一起集成在单个软件产品中或者封装到多个软件产品中。

因此，已经描述了主题的特定实施例。其它实施例在以下权利要求的范围内。在一些情况下，权利要求中列举的动作可以以不同的顺序执行，并且仍然实现期望的结果。此外，附图中描绘的过程不一定需要所示的特定顺序或顺次来实现期望的结果。在某些实施方式中，多任务和并行处理可能是有利的。

Claims (20)

1.一种用于图像搜索的数据处理系统，包括：

数据处理装置；和

软件，其存储在存储由所述数据处理装置可运行的指令的非暂时性计算机可读存储介质中，并且在这种运行时所述指令使得所述数据处理装置执行包括以下内容的操作：

对于多个资源中的每个资源，其中每个资源包括一个或多个图像以及与一个或多个图像中的每一个图像分离的文本：

由所述数据处理装置根据资源的文本确定由所述资源的文本描述的资源话题；

对于一个或多个图像中的每一个图像，

由所述数据处理装置处理所述图像，以确定描述所述图像中描绘的内容所属话题的图像话题的集合；

由所述数据处理装置确定一个或多个话题匹配分数，其中每个话题匹配分数是所述图像的图像话题中的一个或多个与所述资源的资源话题中的一个或多个的相关性的度量；

由所述数据处理装置针对所述图像，在索引中存储描述所述图像的图像话题、所述资源的资源话题、以及所述图像的一个或多个话题匹配分数的数据；

响应于图像寻找查询，通过访问存储在索引中的信息来访问先前确定的特定候选图像的资源话题、图像话题和话题匹配分数。

2.根据权利要求1所述的系统，还包括，对于每个图像，由所述数据处理装置处理所述图像和所述资源，以确定一个或多个图像突显度分数，所述一个或多个图像突显度分数共同度量所述资源中的图像的显示的突显度。

3.根据权利要求2所述的系统，其中，确定一个或多个话题匹配分数包括基于所述图像话题与所述资源话题的相关性的度量和一个或多个图像突显度分数来确定一个或多个话题匹配分数。

4.根据权利要求3所述的系统，其中，基于所述图像话题与所述资源话题的相关性的度量和一个或多个图像突显度分数来确定所述一个或多个话题匹配分数包括通过所述一个或多个突显度分数来调整所述图像话题与所述资源话题的相关性的度量。

5.根据权利要求4所述的系统，其中，确定一个或多个突显度分数包括基于所述图像的图像大小确定突显度分数。

6.根据权利要求4或5所述的系统，其中，确定一个或多个突显度分数包括基于如在用户设备上渲染的资源内的图像的位置来确定突显度分数。

7.根据权利要求1至5中任一项所述的系统，还包括：

从用户设备接收图像寻找查询；

对于每一个图像，确定度量所述图像与所述图像寻找查询的相关性的搜索分数，所述确定搜索分数至少部分包括：

确定度量所述图像寻找查询与所述图像的图像话题的相关性的相关性分数；

根据相关性分数和存储在索引中的图像的一个或多个话题匹配分数，确定搜索分数。

8.根据权利要求2所述的系统，还包括：

从用户设备接收图像寻找查询；

对于每一个图像，确定度量所述图像与所述图像寻找查询的相关性的搜索分数，所述确定搜索分数至少部分包括：

确定度量所述图像寻找查询与所述图像的图像话题的相关性的相关性分数；

根据所述相关性分数、所述突显度分数、以及存储在索引中的图像的一个或多个话题匹配分数，确定搜索分数。

9.根据权利要求8所述的系统，还包括：

根据所述图像的相应搜索分数对所述图像进行排名；和

向从其接收所述图像寻找查询的用户设备提供图像搜索结果的集合，所述图像搜索结果的集合标识所述图像的子集，所述子集是根据排名选择的。

10.一种由数据处理装置执行的用于图像搜索的方法，包括：

对于多个资源中的每个资源，其中，每个资源包括一个或多个图像和与一个或多个图像中的每一个图像分离的文本：

由数据处理装置根据资源的文本确定由所述资源的文本描述的资源话题；

对于所述一个或多个图像中的每一个图像，

由所述数据处理装置处理所述图像，以确定描述所述图像中描绘的内容所属话题的图像话题的集合；

由所述数据处理装置确定一个或多个话题匹配分数，其中，每个话题匹配分数是所述图像的图像话题中的一个或多个与所述资源的资源话题中的一个或多个的相关性的度量；

由所述数据处理装置针对所述图像，在索引中存储描述所述图像的图像话题、所述资源的资源话题、以及所述图像的一个或多个话题匹配分数的数据。

11.根据权利要求10所述的方法，还包括，对于每个图像，由所述数据处理装置处理所述图像和所述资源，以确定一个或多个图像突显度分数，所述一个或多个图像突显度分数共同度量所述资源中的图像的显示的突显度。

12.根据权利要求11所述的方法，其中，确定一个或多个话题匹配分数包括基于所述图像话题与所述资源话题的相关性的度量和所述一个或多个图像突显度分数来确定所述一个或多个话题匹配分数。

13.根据权利要求12所述的方法，其中，基于所述图像话题与所述资源话题的相关性的度量和所述一个或多个图像突显度分数来确定所述一个或多个话题匹配分数包括通过所述一个或多个突显度分数来调整所述图像话题与所述资源话题的相关性的度量。

14.根据权利要求13所述的方法，其中，确定一个或多个突显度分数包括基于所述图像的图像大小确定突显度分数。

15.根据权利要求13或14所述的方法，其中，确定一个或多个突显度分数包括基于如在用户设备上渲染的资源内的图像的位置来确定突显度分数。

16.根据权利要求10至14中任一项所述的方法，其中，处理所述图像以确定描述所述图像中所描绘的内容所属话题的图像话题的集合包括将所述图像提交给图像注释系统，并且为所述图像接收注释的集合作为所述图像话题。

17.根据权利要求16所述的方法，其中，所述图像注释系统基于确定所述图像中描绘的内容的对图像的计算机图像处理来确定标签，并且所述标签描述所确定的内容。

18.根据权利要求10至14中任一项所述的方法，还包括：

从用户设备接收图像寻找查询；

对于每一个图像，确定度量所述图像与所述图像寻找查询的相关性的搜索分数，所述确定搜索分数至少部分包括：

确定度量所述图像寻找查询与所述图像的图像话题的相关性的相关性分数；

根据所述相关性分数和存储在索引中的图像的一个或多个话题匹配分数，确定搜索分数。

19.根据权利要求11所述的方法，进一步包括：

从用户设备接收图像寻找查询；

对于每一个图像，确定度量所述图像与所述图像寻找查询的相关性的搜索分数，所述确定搜索分数至少部分包括：

确定度量所述图像寻找查询与所述图像的图像话题的相关性的相关性分数；

根据所述相关性分数、所述突显度分数、以及存储在索引中的图像的一个或多个话题匹配分数，确定搜索分数。

20.根据权利要求19所述的方法，还包括：

根据所述图像的相应搜索分数对所述图像进行排名；和

向从其接收所述图像寻找查询的用户设备提供图像搜索结果的集合，所述图像搜索结果的集合标识所述图像的子集，所述子集是根据排名选择的。