CN105900087B - 用于查询答案的丰富内容 - Google Patents

Abstract

用于与问题查询的答案一起提供丰富内容的方法和系统。方法包括：接收被确定为问题查询的查询和响应于所述问题查询所生成的对应的答案；生成包括与所述问题查询相关的元素和与所述答案相关的元素的场境查询；将所述场境查询提交至丰富内容搜索过程以及接收指定响应于所述场境查询的丰富内容项的第一集合的数据；确定满足指示丰富内容项提供所述问题查询的元素和所述答案查询的元素这两者的场境信息的场境条件的丰富内容项的所述第一集合中的第一丰富内容项；以及相对于第二丰富内容项优先从所述第一内容项选择以作为一个或多个答案丰富内容项来提供。

Description

用于查询答案的丰富内容

技术领域

本说明书涉及搜索系统查询处理。

背景技术

互联网提供对诸如图像文件、音频文件、视频文件、以及网页的种类繁多的资源的访问。搜索系统能够响应于由用户提交的查询来识别资源并且以对用户有用的方式提供关于该资源的信息。

搜索系统的用户通常搜索具体问题的答案，而不是资源的列表。例如，用户可能想知道特定位置的天气、股票的当前报价、国家的首都等。当接收到以问题形式的查询时，响应于该查询的问题格式，有些搜索系统可以执行专门的搜索操作。例如，有些搜索系统可以以“答案”的形式提供响应于这样的查询的信息，诸如以“一体框(one box)”的形式来针对问题提供的信息。

发明内容

大体上，本说明书中所描述的主题的一个创新性方面能够被体现在包括以下动作的方法中：接收被确定为问题查询的查询和响应于所述问题查询所生成的对应的答案，所述答案被确定为响应于所述问题查询，其中所述问题查询和所述答案中的每一个具有一个或多个词项；生成包括与所述问题查询相关的元素和与所述答案相关的元素的场境查询；将所述场境查询提交至丰富内容搜索过程以及接收指定响应于所述场境查询的丰富内容项的第一集合的数据，所述丰富内容项根据指示每个丰富内容项与针对其生成所述集合的查询的相关性的顺序被排名；确定满足指示丰富内容项提供所述问题查询的元素和所述答案查询的元素这两者的场境信息的场境条件的丰富内容项的所述第一集合中的第一丰富内容项；以及相对于第二丰富内容项优先从所述第一内容项选择以作为一个或多个答案图像来提供。本方面的其他实施例包括被配置为执行被编码在计算机存储设备上的所述方法的动作的对应的系统、装置和计算机程序。

本说明书中所述的主题的特定实施例能够被实施以便实现以下优点中的一个或多个。能够与问题的答案一起提供丰富内容，诸如图像、音频、或者视频，并且选择所述丰富内容使得其向用户传达与所述问题的内容和所述答案的内容这两者相关的信息。这有助于确保被提供给用户的针对答案的丰富信息响应于所述问题并且与所提供的问题一致。

在附图和下面的描述中阐述了本说明书中所描述的主题的一个或多个实施例的细节。本主题的其他特征、方面和优势根据说明书、附图和权利要求书将变得显而易见。

附图说明

图1是在其中丰富内容与问题查询的答案被一起提供的环境的图示；

图2是在其中丰富内容与问题查询的答案被一起提供的示例用户界面的图示；

图3是用于与问题查询的答案一起提供丰富内容的系统流程图；

图4是用于与问题查询的答案一起提供丰富内容的示例过程的流程图；

图5A是被用于调整多个图像集合中的一个集合的排名的多个图像集合的示意图；

图5B是用于将图像的集合中的图像分类为第一图像或者第二图像的示例过程的流程图，其中在排名中相对于所述第一图像使所述第二图像降级；

图6A是图像集合和被用于调整该图像集合中的图像的排名的标签的示意图；

图6B是用于将图像的集合中的图像分类为第一图像或第二图像的另一示例过程的流程图，其中在排名中相对于所述第一图像使所述第二图像降级。

各个附图中相似的参考数字和名称指代相似的元素。

具体实施方式

概述

用户通常使用搜索系统来寻找“答案”而非广泛的信息。答案是响应于问题的事实或者关系。“问题查询”与信息查询的不同之处在于问题查询寻找答案，而信息查询请求针对主题的各种不同类型的信息。例如，问题查询“派克峰有多高”是明确请求派克峰的高度这一事实的结构化查询。搜索系统能够检测查询的结构化性质并将该查询解读为问题查询；并且响应于该查询，提供特定结果，该特定结果提供该问题的答案，以及可选地提供其他结果。

丰富内容问题处理系统提供问题查询的答案以及该问题查询和答案所特有的丰富信息。该系统接收问题查询以及响应于该问题查询而生成的对应的答案。问题查询和答案中的每一个具有一个或多个词项。所述系统生成场境查询，所述场境查询包括与问题查询相关的要素和与答案相关的要素。例如，场境查询能够至少包括来自问题查询的一个或多个词项以及来自答案的一个或多个词项。替选地，场境查询能够指定由问题查询和答案所识别的实体、或者从问题查询和答案得出的相关词项。

丰富内容问题处理系统将场境查询提交给诸如图像搜索过程的丰富内容搜索过程。诸如视频和音频的其他丰富内容也能够被搜索和处理。为了简洁，使用图像丰富内容作为示例。图像搜索过程指定响应于场境查询的图像的第一集合，并且根据指示每个图像与问题查询的相关性的顺序来对图像进行排名。该第一集合被提供给丰富内容问题处理系统，然后该丰富内容问题处理系统进而确定该第一集合中的第一图像和第二图像。所述第一图像是满足场境条件的图像，所述场境条件指示图像提供问题的词项和答案的词项这两者的场境信息；以及所述第二图像是不满足该场境条件的图像。

在一些实施方式中，可以部分地基于针对问题查询和答案查询的相应的图像集合以及这些图像集合与针对场境查询的图像集合的比较来选择第一图像和第二图像。在其他实施方式中，可以部分地基于每个相应的图像的图像标签来选择第一图像和第二图像。

在后续章节中更详细地描述这些特征和附加特征。在来源于网站的资源的背景下对特征进行描述，然而，特征不限于仅仅在互联网搜索引擎的场境中的应用。例如，能够在包括丰富内容并且包括描述该丰富内容的数据的知识图谱中实现特征。更普遍地，以下所述的特征能够被实现在任何数据处理系统中，在所述数据处理系统中，丰富内容、词项和实体由它们的对应关系来映射并且可由这样的映射来搜索。

示例操作环境

图1是在其中丰富内容与问题查询的答案被一起提供的环境100的图示。诸如互联网的计算机网络102连接发布者网站104、用户设备106、以及搜索系统110。在线环境100可以包括成千上万的发布者网站104和用户设备106。

发布者网站104包括与域相关联并且由一个或多个位置的一个或多个服务器来托管的一个或多个资源105。通常，网站是格式为超文本标记语言(HTML)的网页集，所述网页能够包含文本、图像、多媒体内容、以及例如脚本的编程元素。每个网站104由内容发布者来维护，所述内容发布者是控制、管理和/或拥有网站104的实体。

资源是能够由发布者网站104通过网络102来提供并且具有例如统一资源定位符(URL)的资源地址的任何数据。资源可以是HTML页面、电子文档、图像文件、视频文件、音频文件、以及馈给源，仅举数例。资源可以包括嵌入式信息，例如元信息和超链接；和/或嵌入式指令，例如客户端侧的脚本。用户设备106是受用户控制并且能够通过网络102来请求和接收资源的电子设备。示例用户设备106包括个人计算机、移动通信设备、以及能够通过网络102来发送和接收数据的其他设备。用户设备106典型地包括便于通过网络102来发送和接收数据的用户应用，例如web浏览器。Web浏览器能够使得用户能够显示典型地位于万维网或局域网上的网站处的网页上的文本、图像、视频、音乐以及其他信息，并且与之进行交互。

为了便于搜索这些资源105，搜索系统110爬取发布者网站104并且对由发布者网站104所提供的资源编索引。索引数据存储在资源索引112中。

用户设备106将搜索查询提交至搜索系统110。搜索查询以搜索请求的形式来提交，所述搜索请求包括搜索请求以及可选地包括识别提交该请求的用户设备106的唯一标识符。唯一标识符能够是来自存储在用户设备处的cookie的数据，或者能够是当用户使用搜索系统110来维护账户时的用户账户标识符，或者能够是识别用户设备106或者使用该用户设备的用户的一些其他标识符。

响应于搜索请求，搜索系统110使用索引112来识别与查询相关的资源。搜索系统110识别以搜索结果的形式的资源并且在搜索结果页面资源中将搜索结果返回至用户设备106。搜索结果是搜索系统110生成的数据，所述数据识别资源或提供满足特定搜索查询的信息。资源的搜索结果能够包括网页标题、从网页提取的一段文本、以及资源的资源定位符，例如网页的URL。基于诸如信息检索(“IR”)分值的与由搜索结果所识别的资源相关的分值来对搜索结果进行排名，或者可选地基于每个资源相对于其他资源的单独排名(例如权威分值)来对搜索结果进行排名。根据这些分值来对搜索结果排序，并且根据该顺序将搜索结果提供给用户设备。

用户设备106接收搜索结果页面并且呈现该页面以用于向用户展示。响应于在用户设备106处用户选择搜索结果，用户设备106请求由包括在所选择的搜索结果中的资源定位符所识别的资源。托管该资源的网站104的发布者从用户设备106接收对该资源的请求，并且将该资源提供给发出请求的用户设备106。

在一些实施方式中，将从用户设备106提交的查询存储在查询日志114中。将由搜索结果所引用以及由用户所选择的对于查询和网页的选择数据储存在选择日志116中。查询日志114和选择日志116限定搜索历史数据117，所述搜索历史数据117包括来自与唯一标识符相关联的先前搜索请求并且与先前搜索请求相关的数据。选择日志表示对搜索系统110所提供的搜索结果作出响应而采取的动作。这样的动作的示例包括在搜索结果上的点击。能够使用查询日志114和选择日志116来将用户设备所提交的查询映射到在搜索结果中识别的资源和当响应于查询将搜索结果呈现给用户时用户所采取的动作。在一些实施方式中，数据与来自搜索请求的标识符相关联，使得能够访问每个标识符的搜索历史。因此，选择日志116和查询日志114能够被搜索系统用来确定由用户设备提交的相应的查询序列、响应于查询而采取的动作、以及查询被提交的频率。

在此处所讨论的系统收集关于用户的个人信息、或者可能利用个人信息的状况下，可以向用户提供机会来控制程序或特征是否收集用户信息(例如关于用户的社交网络的信息、社交动作或活动、职业、用户的偏好、或者用户的当前位置)，或者控制是否和/或如何从内容服务器接收可能与用户较为相关的内容。此外，在储存或使用某些数据之前，可以以一种或多种方式来处理该数据，使得个人可识别信息被去除。例如，可以处理用户的身份以使得不能够对于用户来确定个人可识别信息，或者可以将从其获取位置信息的用户的地理位置一般化(诸如到城市、ZIP编码、或者国家层级)，使得不能够确定用户的特定位置。因此，用户可以控制收集关于该用户的信息的方式以及内容服务器使用该信息的方式。

问题查询

如以上所述，一些查询以问题的形式，或者以隐含问题的形式。例如，查询“capital of California(加利福尼亚的首府)”以隐含问题“What is the capital ofCalifornia？(加利福尼亚的首府在哪里？)”的形式。同样，问题可以是具体的，如查询“加利福尼亚的首府在哪里”这样的。搜索系统110包括查询问题处理器120，所述查询问题处理器120利用处理来确定查询是否是查询问题，以及如果是的话，则确定是否存在响应于该问题的答案。查询问题处理器120能够使用各种不同的算法来确定查询是否是问题以及是否存在响应于该问题的特定答案。例如，查询问题处理器120可以利用语言模型、机器学习过程、知识图谱、语法、搜索结果以及搜索结果所引用的资源、或者其组合来确定问题查询和答案。

当确定查询为问题查询并且存在响应的答案时，查询问题处理器120调用丰富内容处理器122，所述丰富内容处理器122进而识别待与答案一起提供的丰富内容。在下面所述的示例实施方式中，所提供的丰富内容是图像或图像的集合。然而，能够提供例如非文本内容的其他类型的丰富内容，所述非文本内容诸如视频数据、音频数据等。

图2是在其中丰富内容与问题查询的答案被一起提供的示例用户界面200的图示。用户界面200是搜索结果界面，并且查询202“加利福尼亚的首府在哪里”已经被输入到输入栏204中。查询问题处理器120将查询识别为问题查询，并且还识别出答案“Sacramento(萨克拉门托)”。响应于确定查询是问题查询以及确定识别出答案，与查询问题处理器120连接的搜索系统110提供答案框206。答案框206包括描述答案“萨克拉门托”的文本数据208。此外，答案框206包括作为丰富内容的一个或多个图像——在此情况下，加利福尼亚的政府大楼的一个图像210。诸如搜索结果212和搜索结果214的附加信息也能够被提供在搜索结果页面上。

参照图3描述了对丰富内容图像210的选择，图3是用于与问题查询的答案一起提供丰富内容的系统流程图300。系统流程图300描述了实现在丰富内容处理器122中的过程。图4中示出了一个这样的过程，图4是用于与问题查询的答案一起提供丰富内容的示例过程400的流程图。因此结合图4的描述来描述系统流程图300。

丰富内容处理器122接收被确定为问题查询的查询以及响应于该问题查询所生成的对应的答案(402)。例如，当查询问题处理器120确定查询是问题并且存在响应的答案时，该问题查询和答案被提供给丰富内容处理器122。例如，对于问题查询“加利福尼亚的首府”，答案为“萨克拉门托”，并且该问题查询和答案这两者都被提供给丰富内容处理器。问题查询和答案中的每一个都具有一个或多个词项，所述词项分别由图3中的问题查询词项{QQT}和答案词项{AT}来表示。

丰富内容处理器生成包括与问题查询相关的元素和与答案相关的元素的场境查询(404)。例如，场境查询能够包括来自问题查询的至少一个或多个词项和来自答案的至少一个或多个词项。替选地，场境查询能够指定由问题查询和答案识别的实体、或者从问题查询的词项和答案的词项得出的相关词项(同义词、词项扩展等)。在一些实施方式中，场境查询是问题查询和答案的串接。

对于本示例，使用了包括问题查询的词项和答案的词项的场境查询。例如，对于问题查询“加利福尼亚的首府”以及答案为“萨克拉门托”，场境查询为“Capital ofCalifornia Sacramento(加利福尼亚的首府萨克拉门托)”。也能够使用生成场境查询的其他方式，诸如去除停止词、替换词项等。在图3中场境查询由词项{CQT}来表示，并且由场境查询生成过程步骤302来生成。

丰富内容处理器122将场境查询提交至图像搜索过程并且接收指定响应于该场境查询的图像的第一集合的数据(406)。例如，如图3所示，从图像搜索过程接收N个图像310的第一集合。根据指示每个图像与针对其生成所述集合的查询的相关性的顺序来对图像进行排名。在此示例中，根据指示每个图像与场境查询的相关性的顺序来对图像排序。

丰富内容处理器确定图像的第一集合中的满足场境条件的第一图像以及不满足场境条件的第二图像(408)。场境条件是当图像满足该条件时指示图像提供问题查询和答案查询这两者的元素的场境信息的条件。例如，当图像满足该条件时，该条件指示图像提供问题的词项和词项这两者的场境信息。集合310中的一些图像可能满足该条件，而其他的则可能不满足。那些满足条件的图像被分类为第一图像，而那些不满足的被分类为第二图像。场境评价步骤304执行分析以确定第一图像和第二图像。

场境条件的两个示例是基于例如响应于问题查询或答案中的一个或多个的图像的其他集合的丰富内容集合的条件，以及基于例如可以描述图像的标签、描述符以及其他文本的丰富内容标签的条件。在以下章节中参照图5A和5B以及图6A和6B来描述这些条件。

之后丰富内容处理器122相对于第二图像优先从第一图像选择以作为一个或多个答案图像被提供。例如，丰富内容处理器122相对于第一集合中的第一图像在第一集合中在顺序中使第二图像降级，使得根据修正的顺序来对第一集合中的图像进行排名(410)。例如，如图3所示，图像的集合312包括来自集合310的图像，但是已经调整了图像的排名，如相应的第一、第二和第N次序位置处的不同图像标记所指示的。在一些实施方式中，可以相对于第二图像的排名升高第一集合310中的第一图像的排名，或者可以相对于第一图像的排名使第一集合310中的第二图像的排名降级，或者可以出现升级和降级的组合。升级和降级可以是固定的，例如固定的数目或次序位置，或者升级和降级可以基于被用于根据排名来排序图像的基础相关性分值的调整而变化。排名调整步骤306执行分析以确定第一图像和第二图像。以下参照图5A和5B以及图6A和6B来描述示例调整过程。

丰富内容处理器基于修正的顺序来从图像的第一集合选择一个或多个图像以作为一个或多个答案图像与答案一起被提供(412)。例如，丰富内容处理器可以选择所调整的顺序中最高排名的图像例如IMG C03以与答案一起提供在答案框206中，或者可以选择若干图像例如IMG C03和IMG C04来与答案一起提供。

基于丰富内容集合的降级

在此示例实施方式中，对于问题查询和答案生成附加图像集合，并且由相应的第二集合和第三集合来表示该附加图像集合。其在图5A中示出，图5A是被用于调整多个图像集合中的一个集合的排名的多个图像集合的示意图。图像集合310是响应于场境查询{CQT}的第一集合；图像集合502是响应于问题查询{QQT}的第二集合；以及图像集合504是当在图像搜索引擎上将答案{AQT}作为查询来运行时，响应于该答案的第三集合。由虚连线来指示对相同的图像进行匹配。

在此实施方式中，仅出现在第一集合310中的图像被分类为第一图像，以及出现在第二集合或第三集合中的一个或多个集合中的图像被分类为第二图像。使也出现在第二集合502或第三集合504中的一个或多个集合中的第一集合310中的图像降级基于以下根本原因：这样的图像或者与问题查询在场境上较为相关或者与答案在场境上较为相关，但是与虑及场境查询和答案这两者的整个场境较少相关。例如，对于问题查询“加利福尼亚的首府”答案“萨克拉门托”和场境查询“加利福尼亚的首府萨克拉门托”而言，集合中的以下图像是相同的：IMG C01和IMG Q04。同样，图像IMG C02和IMG A03是相同的。例如，图像IMGQ02可以是加利福尼亚州的地图的图像，以及IMG A03可以是设在萨克拉门托市的职业运动队的徽标。

在一些实施方式中，与出现在所有三个集合中的图像相比，出现在第一集合并且仅出现在第二集合或第三集合中但不出现在第二集合和第三集合这二者中的图像被更多地降级。在这些实施方式中，相对于出现在所有集合中的第二图像优选仅出现在第一集合中的第一图像，以及相对于仅出现在第一集合和第二集合中的一个集合中或者第一集合和第三集合中的一个集合中的第三图像优选这些第二图像。

尽管IMG C04和IMG A04这两个图像传达与萨克拉门托市相关的视觉信息，但是场境查询“加利福尼亚的首府萨克拉门托”的场境指示对萨克拉门托市及其作为州首府的功能的特定兴趣。因此，与未出现在第二集合或第三集合中的第一集合中的图像相比，可以出现在第二集合或第三集合中的第一集合中的图像可以在场境上较少相关。此相关性考虑部分地基于以下事实：当搜索系统对丰富内容排名时，搜索系统可以虑及除文本查询词项以外的许多特征，诸如点击率、下层页面的人气等。因此，使也出现在第二集合或第三集合中的一个集合中或在其二者中的第一集合中的图像降级倾向于显现与问题和答案这两者的场境较为相关的图像。

图5B是用于基于图5A的丰富内容集合来将图像的集合中的图像分类为第一图像或者第二图像的示例过程520的流程图。在操作中，对于第一集合中的每个图像(或者第一集合中的前Q个图像中的每一个，其中Q是100、200等)完成过程520。

丰富内容处理器122选择图像的第一集合中的图像(522)。例如，丰富内容处理器122选择图像IMG C01。

丰富内容处理器122确定图像是否在图像的第二集合或图像的第三集合中的一个集合中或在其二者中(524)。例如，丰富内容处理器122根据图像标识符来确定图像IMG C01是否在第二集合502或第三集合504中。此处，IMG C01与IMG C04匹配。

如果图像在图像的第二集合或图像的第三集合中的一个集合中或在其二者中，则丰富内容处理器将该图像分类为第二图像(526)。此处，由于图像IMG C01与IMG C04匹配，其被分类为第二图像。在下一次迭代中，由于图像IMG C02与图像IMG A03匹配，图像IMGC02也将被分类为第二图像。

在另一方面，如果图像既不在图像的第二图像集合中也不在图像的第三集合中，则丰富内容处理器将该图像分类为第一图像(526)。例如，在第三次迭代中，由于图像IMGC03与集合502和集合504中的一个集合或其二者中的图像不匹配，图像IMG C03将被分类为第一图像。

在图像被分类为第一图像和第二图像之后，相对于第一图像使第二图像降级。降级可以是固定的，或者可以是基于一个或多个因子而可变化的。例如，仅被包括在第二集合或第三集合中的一个集合中的每个第二图像可以以第一降级因子被降级，诸如次序位置的固定数目，或者降级达被用于降低所述图像的相应的相关性分值的标量。然而，包括在第二集合和第三集合这两者中的每个第二图像可以以小于第一降级因子的第二降级因子被降级。第二降级因子也可以是次序位置的固定数目或者是标量，但比第一降级因子更小。较小的值反映出如果该图像在第一集合和第二集合这两者之中，则与仅在第一集合和第二集合中的一个集合中的图像相比，该图像可以在场境上与问题和答案的整个场境更为相关。

另一个降级过程能够可选地虑及第二集合和/或第三集合中的匹配的图像的次序位置。然后，与包括第一集合中的第二图像的图像的另一第二集合或第三集合在顺序中该第二图像的次序位置成比例地使第一集合中的该第二图像降级。如果该图像在第二集合和第三集合这两者中，则能够使用该图像的次序位置的平均值，或者能够使用次序位置中的最大值。在一些实施方式中，在另一集合中图像越是相关，在第一集合中其降级就可以越多。

也能够使用其他降级过程。

基于丰富内容标签的降级

在此示例实施方式中，每个图像的图像标签被处理以确定图像是第一图像还是待被相对于第一图像而降级的第二图像。图6A中示出了标签，图6A是第一图像集合310和被用于调整图像集合中的一个集合的排名的标签的示意图。图像集合310是响应于场境查询{CQT}的第一集合。标签{L Cx}是与每个图像相关联的标签。标签可以被预定义，并且可以包括内容，诸如元数据、描述图像主题的与该图像相关联的文本内容、来自包括图像的网页的文本、来自链接到图像的链接的文本等。

此外或替换地，标签可以包括描述凭借计算机视觉技术/图像处理技术在图像中检测到的实体的文本。例如，可以在图像中检测到著名地标或名人的脸，以及诸如地标或人物的名字的描述该实体的文本与该图像相关联。

通常，如果图像具有与问题查询和答案这两者的词项匹配的标签，则该图像被分类为第一图像。在另一方面，如果图像具有仅与问题查询或答案中的一个的词项匹配的标签，则该图像被分类为第二图像。使第二图像降级倾向于显现与问题和答案这两者的场境较为相关的第一图像。

在此实施方式的变型中，如果图像具有与问题查询和答案这两者的词项匹配的标签，以及还具有与其他实体匹配的附加标签，则该图像被分类为第二图像。这么做使场境相关性聚焦在问题和答案上。例如，假设问题查询“比尔克林顿的副总统是谁”。由于问题查询和答案的场境焦点是曾担任比尔克林顿手下的副总统的阿尔戈尔，包括仅针对阿尔戈尔或仅针对比尔克林顿的标签的图像将被分类为第二图像。同样，包括针对阿尔戈尔和比尔克林顿这两人的标签，并且也包括针对其他政府官员的标签的图像也将被分类为第二图像。包括仅针对阿尔戈尔和比尔克林顿这两人的标签的图像被分类为第一图像。

图6B是用于基于图6A的标签来将图像的集合中的图像分类为第一图像或第二图像的示例过程620的流程图。在操作中，对于第一集合中的每个图像(或者第一集合中的前Q个图像中的每一个，其中Q是100、200等)完成过程620。

丰富内容处理器选择图像的第一集合中的图像(622)。例如，丰富内容处理器122选择图像IMG C01。丰富内容处理器122确定图像的标签是否匹配问题查询的词项和答案的词项这两者(624)。例如，问题查询是“Ima Starr的丈夫”以及答案是“Hesa Starr”。假设第一图像是Hesa Starr的面部特写，丰富内容处理器122会由此确定该图像不具有与问题查询的词项和答案的词项这两者都匹配的标签。

然而，假设图像IMG C02是Ima Starr和Hesa Starr两人的图像。对于此图像，丰富内容处理器122会确定该图像确实具有与问题查询的词项和答案的词项这两者都匹配的标签。

如果图像的标签不与问题查询的词项和答案的词项这两者都匹配，则丰富内容处理器将该图像分类为第二图像(626)。在此示例中，图像IMG C01被分类为第二图像。

在另一方面，如果图像的标签与问题查询的词项和答案的词项这两者都匹配，则丰富内容处理器将该图像分类为第一图像(628)。在此示例中，图像IMG C02被分类为第一图像。

在图像被分类为第一图像和第二图像之后，相对于第一图像使第二图像降级。如上所述，降级可以是固定的，也可以是基于一个或多个因子而可变化的。例如，与包括与问题词项匹配的标签但不包括与答案词项匹配的标签的第二图像相比，包括与答案词项匹配的标签但不包括与问题词项匹配的标签的每个第二图像可以降级达较小的因子。这反映出：包括与答案词项匹配的标签但不包括与问题词项匹配的标签的图像仍然响应于答案并且因此会提供对用户的信息需求的某种程度的满足。

附加实施方式细节

在本说明书中描述的主题和操作的实施例可以以数字电子电路，或者以计算机软件、固件或硬件，包括在本说明书中公开的结构及其结构等价物，或者以以上的一个或多个的组合来实现。能够将在本说明书中描述的主题的实施例实现为一个或多个计算机程序，即计算机程序指令的一个或多个模块，所述计算机程序指令被编码在计算机存储介质上，用于由数据处理装置执行或控制数据处理装置的操作。替选地或另外地，程序指令能够被编码在例如机器生成的电信号、光信号、或电磁信号的人工生成的传播信号上，该信号被生成以编码用于传输至合适的接收装置的信息以供数据处理装置执行。计算机存储介质能够是下述或被包括在下述中：计算机可读存储设备、计算机可读存储基片、随机或串行存取存储器阵列或设备、或它们中的一个或多个的组合。此外，尽管计算机存储介质并非传播信号，但是计算机存储介质能够是编码在人工生成的传播信号中的计算机程序指令的源或目的地。计算机存储介质还能够是下述或被包括在下述中：一个或多个单独的物理组件或介质(例如多个CD、盘、或者其他存储设备)。

本说明书中所述的操作能够被实现为由数据处理装置所执行的对存储在一个或多个计算机可读存储设备上或者从其他源接收到的数据的操作。

术语“数据处理装置”涵盖用于处理数据的所有类型的装置、设备和机器，包括例如可编程处理器、计算机、片上系统、或者前述中的多个或前述的组合。所述装置能够包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除硬件外，所述装置还能够包括创建用于所述的计算机程序的执行环境的代码，例如构成处理器固件、协议堆栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机、或者以上的一个或多个的组合的代码。所述装置和执行环境能够实现各种不同的计算模型基础设施，诸如web服务、分布式计算和网格计算基础设施。

计算机程序(也称作程序、软件、软件应用、脚本、或代码)能够以任何形式的编程语言编写，包括编译或解释语言，说明性或过程性语言，并且其可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程、对象、或适于在计算环境中使用的其他单元。计算机程序可以但不需要对应于文件系统中的文件。可以将程序存储在保持其他程序或数据的文件(例如，存储在标记语言文档中的一个或多个脚本)的一部分、专用于所述程序的单个文件、或者多个协调文件(例如，存储一个或多个模块、子程序或代码的部分的文件)中。能够将计算机程序部署为在一个计算机上或者在位于一个地点或跨多个地点分布并且由通信网络互连的多个计算机上执行。

在本说明书中描述的过程和逻辑流能够由执行一个或多个计算机程序的一个或多个可编程处理器执行以通过操作输入数据并且生成输出来执行动作。过程和逻辑流还能够由专用逻辑电路执行，以及装置还能够被实现为专用逻辑电路，所述专用逻辑电路例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

适于执行计算机程序的处理器包括例如通用和专用微处理器这两者，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的主要元件是用于依据指令来执行动作的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，或可操作地耦接以从所述一个或多个大容量存储设备接收数据或向所述一个或多个大容量存储设备传送数据，或以上这两者。然而，计算机不必具有这样的设备。此外，能够将计算机嵌入于另一设备中，所述另一设备例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收机、或者便携式存储设备(例如通用串行总线(USB)闪存驱动器)，仅举数例。适于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备，包括例如：半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动盘；磁光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器能够由专用逻辑电路补充，或合并入专用逻辑电路。

为了提供与用户的交互，本说明书中描述的主题的实施例可以在具有下述的计算机上实现：用于向用户显示信息的显示设备，例如CRT(阴极射线管)或LCD(液晶显示)监视器，以及用户通过其可以向计算机提供输入的键盘和定点设备，例如鼠标或轨迹球。也能够使用其他类型的设备来提供与用户的交互；例如，提供给用户的反馈能够是任何形式的感知反馈，例如视觉反馈、听觉反馈、或触觉反馈；以及能够以任何形式，包括声学、语音、或触觉输入，接收来自用户的输入。此外，计算机能够通过将文档发送至用户所使用的设备或从该设备接收文档来与用户交互，例如通过响应于从用户的用户设备上的web浏览器接收到的请求而将网页发送到该web浏览器上。

能够在计算系统中实现本说明书中描述的主题的实施例，所述计算系统包括：后端组件，例如作为数据服务器；或者包括中间件组件，例如应用服务器；或者包括前端组件，例如具有用户通过其可以与在本说明书中描述的主题的实施方式相交互的图形用户界面或web浏览器的用户计算机；或者一个或多个这样的后端、中间件或前端组件的任何组合。能够通过例如通信网络的任何形式或介质的数字数据通信将系统的组件互连。通信网络的示例包括局域网("LAN")和广域网("WAN")、互连网络(例如互联网)、以及对等网络(例如点对点(adhoc)对等网络)。

计算系统能够包括用户和服务器。用户和服务器通常彼此远离并且一般通过通信网络进行交互。用户与服务器的关系依靠在相应的计算机上运行并且彼此具有用户-服务器关系的计算机程序产生。在一些实施例中，服务器将数据(例如HTML页面)传输至用户设备(例如出于向与用户设备进行交互的用户显示数据以及从该用户接收用户输入的目的)。能够从服务器处的用户设备接收在用户设备处生成的数据(例如用户交互的结果)。

虽然本说明书包含许多具体实施方式细节，但是这些细节不应当被解释为对任何发明或可能要求保护的内容的范围的限制，而应当被解释为对具体到特定发明的特定实施方式的特征的描述。还可以将在本说明书中在单独的实施例的场境中描述的某些特征组合在单个实施例中实现。相反地，也可以将在单个实施例的场境中描述的各种特征分离地在多个实施例中实现或在任何合适的子组合中实现。此外，尽管可能在上面将特征描述为在某些组合中起作用，甚至最初如此要求保护，但是可以在一些情况下将来自所要求保护的组合的一个或多个特征从组合中删去，并且可以将所要求保护的组合指向子组合或者子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是不应当将这理解为需要以所示的特定顺序或者以序列顺序来执行这样的操作、或者需要执行所有图示的操作才能达到期望的结果。在某些情况下，多任务以及并行处理可以是有利的。此外，不应当将在上述实施例中的各种系统组件的分离理解为在所有实施例中均需要这样的分离，而应当理解的是，通常能够将所描述的程序组件和系统共同集成为单个软件产品或封装为多个软件产品。

因此，已经描述了本主题的特定实施例。其他实施例落入所附的权利要求的范围内。在一些情况下，可以以不同的顺序来执行权利要求中记载的动作并且仍然达到期望的结果。此外，在附图中描绘的过程不一定要求所示的特定顺序或序列顺序来达到期望的结果。在某些实施方式中，多任务以及并行处理可以是有利的。

Claims (19)

1.一种由数据处理装置执行的方法，所述方法包括：

接收被确定为问题查询的查询和响应于所述问题查询所生成的对应的答案，所述答案被确定为响应于所述问题查询，其中所述问题查询和所述答案中的每一个具有一个或多个词项；

生成包括与所述问题查询相关的元素和与所述答案相关的元素的场境查询；

将所述场境查询提交至丰富内容搜索过程以及接收指定响应于所述场境查询的丰富内容项的第一集合的数据，所述丰富内容项根据指示每个丰富内容项与针对其生成所述集合的查询的相关性的顺序被排名；

确定满足指示丰富内容项提供与所述问题查询相关的元素和与所述答案相关的元素这两者的场境信息的场境条件的丰富内容项的所述第一集合中的第一丰富内容项；以及

相对于第二丰富内容项优先从所述第一丰富内容项选择以作为一个或多个答案丰富内容项来提供，其中所述选择包括：

相对于所述第一集合中的所述第一丰富内容项在所述第一集合中的顺序中使所述第二丰富内容项降级以使得根据修正的顺序对所述第一集合中的所述丰富内容项进行排名；

从所述第一集合中的所述丰富内容项中选择一个或多个丰富内容项以作为一个或多个答案丰富内容项与所述答案一起被提供至从其接收了所述问题查询的用户设备，所述选择至少部分地基于所修正的顺序。

2.根据权利要求1所述的方法，其中：

生成包括与所述问题查询相关的元素和与所述答案相关的元素的场境查询包括：生成至少包括来自所述问题查询的一个或多个词项以及来自所述答案的一个或多个词项的场境查询；

指示丰富内容项提供与所述问题查询相关的元素和与所述答案相关的元素这两者的场境信息的所述场境条件是指示丰富内容项提供所述问题查询的词项和所述答案的词项的场境信息的条件。

3.根据权利要求1所述的方法，其中：

将所述场境查询提交至丰富内容项搜索过程以及接收指定响应于所述场境查询的丰富内容项的第一集合的数据包括：将所述问题查询、所述答案、和所述场境查询中的每一个提交至丰富内容项搜索过程以及接收指定响应于所述场境查询的丰富内容项的第一集合、响应于所述问题查询的丰富内容项的第二集合、以及响应于所述答案的丰富内容项的第三集合的数据，其中丰富内容项的每个集合不同于丰富内容项的另外的每个相应的集合，而且丰富内容项的每个集合中的所述丰富内容项是根据指示每个丰富内容项与针对其生成了所述集合的查询的相关性的顺序而被排名的；以及

确定满足指示丰富内容项提供所述问题查询的词项和所述答案的词项这两者的场境信息的场境条件的丰富内容项的所述第一集合中的第一丰富内容项以及不满足所述场境条件的第二丰富内容项包括：根据指定丰富内容项的所述第一集合、所述第二集合和所述第三集合的数据，确定未被包括在所述第二集合和所述第三集合这两者中的所述第一集合中的第一丰富内容项以及被包括在所述第二集合或所述第三集合中的至少一个中的所述第一集合中的第二丰富内容项。

4.根据权利要求3所述的方法，其中相对于所述第一集合中的所述第一丰富内容项在所述第一集合中的顺序中使所述第二丰富内容项降级以使得根据修正的顺序对所述第一集合中的所述丰富内容项进行排名包括：

针对所述第一集合中的每个第二丰富内容项，与该第二丰富内容项在丰富内容项的所述第二集合和所述第三集合中包括了该第二丰富内容项的一集合外的另一集合的顺序中的次序位置成比例地使该第二丰富内容项降级，其中所述次序位置越低则该丰富内容项与所述查询的相关性越高。

5.根据权利要求3所述的方法，其中相对于所述第一集合中的所述第一丰富内容项在所述第一集合中的顺序中使所述第二丰富内容项降级以使得根据修正的顺序对所述第一集合中的所述丰富内容项进行排名包括：

以第一降级因子使仅被包括在所述第二集合或所述第三集合中的一个集合中的每个第二丰富内容项降级；以及

以小于所述第一降级因子的第二降级因子使被包括在所述第二集合和所述第三集合两者中的每个第二丰富内容项降级。

6.根据权利要求3所述的方法，其中相对于所述第一集合中的所述第一丰富内容项在所述第一集合中的顺序中使所述第二丰富内容项降级以使得根据修正的顺序对所述第一集合中的所述丰富内容项进行排名包括：

对于仅被包括在所述第二集合或所述第三集合中的一个集合中的每个第二丰富内容项，与该第二丰富内容项在丰富内容项的所述第二集合和所述第三集合中包括了该第二丰富内容项的一集合外的另一集合的顺序中的次序位置成比例地使该第二丰富内容项降级，其中所述次序位置越低则该丰富内容项与所述查询的相关性越高。

7.根据权利要求6所述的方法，其中相对于所述第一集合中的所述第一丰富内容项在所述第一集合中的顺序中使所述第二丰富内容项降级以使得根据修正的顺序对所述第一集合中的所述丰富内容项进行排名包括：

对于被包括在所述第二集合和所述第三集合这两者中的每个第二丰富内容项，与该第二丰富内容项在所述第二集合和所述第三集合中的顺序中的次序位置中的最高值成比例地使所述第一集合中的该第二丰富内容项降级，其中所述次序位置越低则该丰富内容项与所述查询的相关性越高。

8.根据权利要求1所述的方法，其中确定满足指示丰富内容项提供所述问题查询的词项和所述答案的词项这两者的场境信息的场境条件的丰富内容项的所述第一集合中的第一丰富内容项以及不满足所述场境条件的第二丰富内容项包括：

对于第一丰富内容项的所述集合中的每个丰富内容项，接收指定针对该丰富内容项的丰富内容项标签的数据；

将具有与所述答案的词项和所述问题查询的词项匹配的标签的每个丰富内容项确定为第一丰富内容项；以及

将不具有与所述答案的至少一个词项和所述问题查询的词项匹配的标签的每个丰富内容项确定为第二丰富内容项。

9.根据权利要求1所述的方法，其中确定满足指示丰富内容项提供所述问题查询的词项和所述答案的词项这两者的场境信息的场境条件的丰富内容项的所述第一集合中的第一丰富内容项以及不满足所述场境条件的第二丰富内容项包括：

对于第一丰富内容项的所述集合中的每个丰富内容项，通过使用丰富内容项处理来检测该丰富内容项中所描绘的实体；

将描绘由所述答案的词项和所述问题查询的词项这两者所描述的实体的每个丰富内容项确定为第一丰富内容项；以及

将描绘未由所述答案的词项和所述问题查询的词项这两者所描述的实体的每个丰富内容项确定为第二丰富内容项。

10.根据权利要求1所述的方法，其中所述丰富内容项是图像。

11.一种用于提供丰富内容项的系统，包括：

数据处理装置；以及

计算机可读存储器系统，所述计算机可读存储器系统与所述数据处理装置相互数据通信并且存储能够由所述数据处理装置执行的指令，并且在进行这样的执行时使得所述数据处理装置执行操作，所述操作包括：

接收被确定为问题查询的查询和响应于所述问题查询所生成的对应的答案，所述答案被确定为响应于所述问题查询，其中所述问题查询和所述答案中的每一个具有一个或多个词项；

生成包括与所述问题查询相关的元素和与所述答案相关的元素的场境查询；

将所述场境查询提交至丰富内容搜索过程以及接收指定响应于所述场境查询的丰富内容项的第一集合的数据，所述丰富内容项根据指示每个丰富内容项与针对其生成所述集合的查询的相关性的顺序被排名；

确定满足指示丰富内容项提供与所述问题查询相关的元素和与所述答案相关的元素这两者的场境信息的场境条件的丰富内容项的所述第一集合中的第一丰富内容项；以及

相对于第二丰富内容项优先从所述第一丰富内容项选择以作为一个或多个答案丰富内容项来提供，其中所述选择包括：

相对于所述第一集合中的所述第一丰富内容项在所述第一集合中的顺序中使所述第二丰富内容项降级以使得根据修正的顺序对所述第一集合中的所述丰富内容项进行排名；

从所述第一集合中的所述丰富内容项中选择一个或多个丰富内容项以作为一个或多个答案丰富内容项与所述答案一起被提供至从其接收了所述问题查询的用户设备，所述选择至少部分地基于所修正的顺序。

12.根据权利要求11所述的系统，其中：

生成包括与所述问题查询相关的元素和与所述答案相关的元素的场境查询包括：生成至少包括来自所述问题查询的一个或多个词项以及来自所述答案的一个或多个词项的场境查询；

指示图像提供与所述问题查询相关的元素和与所述答案相关的元素这两者的场境信息的所述场境条件是指示图像提供所述问题查询的词项和所述答案的词项的场境信息的条件；以及

所述丰富内容项是图像。

13.根据权利要求11所述的系统，其中：

将所述场境查询提交至图像搜索过程以及接收指定响应于所述场境查询的图像的第一集合的数据包括：将所述问题查询、所述答案、和所述场境查询中的每一个提交至图像搜索过程以及接收指定响应于所述场境查询的图像的第一集合、响应于所述问题查询的图像的第二集合、以及响应于所述答案的图像的第三集合的数据，其中图像的每个集合不同于图像的另外的每个相应的集合，而且图像的每个集合中的所述图像根据指示每个图像与针对其生成所述集合的查询的相关性的顺序而被排名的；以及

确定满足指示图像提供所述问题查询的词项和所述答案的词项这两者的场境信息的场境条件的图像的所述第一集合中的第一图像以及不满足所述场境条件的第二图像包括：根据指定图像的所述第一集合、所述第二集合和所述第三集合的数据，确定未被包括在所述第二集合和所述第三集合这两者中的所述第一集合中的第一图像以及被包括在所述第二集合或所述第三集合中的至少一个中的所述第一集合中的第二图像。

14.根据权利要求13所述的系统，其中相对于所述第一集合中的所述第一图像在所述第一集合中的顺序中使所述第二图像降级以使得根据修正的顺序对所述第一集合中的所述图像进行排名包括：

针对所述第一集合中的每个第二图像，与该第二图像在图像的所述第二集合和所述第三集合中包括了该第二图像的一集合外的另一集合的顺序中的次序位置成比例地使该第二图像降级，其中所述次序位置越低则该图像与所述查询的相关性越高。

15.根据权利要求13所述的系统，其中相对于所述第一集合中的所述第一图像在所述第一集合中的顺序中使所述第二图像降级以使得根据修正的顺序对所述第一集合中的所述图像进行排名包括：

以第一降级因子使仅被包括在所述第二集合或所述第三集合中的一个集合中的每个第二图像降级；以及

以小于所述第一降级因子的第二降级因子使被包括在所述第二集合和所述第三集合两者中的每个第二图像降级。

16.根据权利要求13所述的系统，其中相对于所述第一集合中的所述第一图像在所述第一集合中的顺序中使所述第二图像降级以使得根据修正的顺序对所述第一集合中的所述图像进行排名包括：

对于仅被包括在所述第二集合或所述第三集合中的一个集合中的每个第二图像，与该第二图像在图像的所述第二集合和所述第三集合中包括了该第二图像的一集合外的另一集合的顺序中的次序位置成比例地使该第二图像降级，其中所述次序位置越低则该图像与所述查询的相关性越高。

17.根据权利要求16所述的系统，其中相对于所述第一集合中的所述第一图像在所述第一集合中的顺序中使所述第二图像降级以使得根据修正的顺序对所述第一集合中的所述图像进行排名包括：

对于被包括在所述第二集合和所述第三集合这两者中的每个第二图像，与该第二图像在所述第二集合和所述第三集合中的顺序中的次序位置中的最高值成比例地使所述第一集合中的该第二图像降级，其中所述次序位置越低则该图像与所述查询的相关性越高。

18.根据权利要求11所述的系统，其中确定满足指示图像提供所述问题查询的词项和所述答案的词项这两者的场境信息的场境条件的图像的所述第一集合中的第一图像以及不满足所述场境条件的第二图像包括：

对于第一图像的所述集合中的每个图像，接收指定针对该图像的图像标签的数据；

将具有与所述答案的词项和所述问题查询的词项匹配的标签的每个图像确定为第一图像；以及

将不具有与所述答案的至少一个词项和所述问题查询的词项匹配的标签的每个图像确定为第二图像。

19.一种存储指令的非暂时性计算机可读存储介质，所述指令当由数据处理装置执行时，使得所述数据处理装置执行操作，所述操作包括：

接收被确定为问题查询的查询和响应于所述问题查询所生成的对应的答案，所述答案被确定为响应于所述问题查询，其中所述问题查询和所述答案中的每一个具有一个或多个词项；

生成包括与所述问题查询相关的元素和与所述答案相关的元素的场境查询；

将所述场境查询提交至丰富内容搜索过程以及接收指定响应于所述场境查询的丰富内容项的第一集合的数据，所述丰富内容项根据指示每个丰富内容项与针对其生成所述集合的查询的相关性的顺序被排名；

确定满足指示丰富内容项提供与所述问题查询相关的元素和与所述答案相关的元素这两者的场境信息的场境条件的丰富内容项的所述第一集合中的第一丰富内容项；以及

相对于第二丰富内容项优先从所述第一丰富内容项选择以作为一个或多个答案丰富内容项来提供，其中所述选择包括：

相对于所述第一集合中的所述第一丰富内容项在所述第一集合中的顺序中使所述第二丰富内容项降级以使得根据修正的顺序对所述第一集合中的所述丰富内容项进行排名；

从所述第一集合中的所述丰富内容项中选择一个或多个丰富内容项以作为一个或多个答案丰富内容项与所述答案一起被提供至从其接收了所述问题查询的用户设备，所述选择至少部分地基于所修正的顺序。