CN107408125A - 用于查询答案的图像 - Google Patents

Abstract

与问题查询的答案一起提供图像的方法和系统。一种方法包括：接收被确定为问题查询的第一查询；根据所述第一查询来生成第二查询；致使使用所述第二查询作为输入对第一语料库的多个资源的搜索，其中，所述第一资源语料库是包括图像和与所述图像一起渲染的文本数据的资源；接收数据，其指示被确定为响应于所述第二查询的资源集合；致使对该资源集合中的图像的搜索；部分地基于对第一资源集合中的图像的搜索，从图像集合中选择与响应于所述查询的所述答案一起提供的图像；以及通过所述数据处理设备响应于所述第一查询与所述答案一起提供所述图像。从整个说明书将理解，选择图像并且连同答案一起供给图像可以提供许多技术益处，不仅仅是减少网络流量。

Description

用于查询答案的图像

优先权要求

本申请根据35USC§119(e)要求2015年7月13日提交的美国专利申请序列号62/191,987的优先权，其全部内容以引用的方式并入本文。

背景技术

本说明书涉及搜索系统查询处理。

互联网提供对诸如图像文件、音频文件、视频文件和网页的广泛多种资源的访问。搜索系统可以响应于用户提交的查询来识别资源，并且以对用户有用的方式提供关于资源的信息。

搜索系统的用户通常会搜索具体问题的答案，而不是搜索资源列表。例如，用户可能想知道特定位置的天气、股票的当前行情、州的首府等。当接收到以问题形式的查询时，一些搜索系统可以响应于该查询的问题形式而执行专门的搜索操作。例如，一些搜索系统可以通过“答案”的形式提供响应于这样的查询的信息，诸如，以“一体框(One box)”的形式针对问题提供的信息。

发明内容

大体而言，本说明书中描述的主题的一个创新方面可以实施为方法，该方法包括以下动作：通过数据处理设备接收被确定为问题查询的第一查询，响应于所述第一查询将提供所述问题查询的对应答案；通过所述数据处理设备根据所述第一查询来生成第二查询；通过所述数据处理设备致使使用所述第二查询作为输入来完成的、对第一资源语料库的多个资源的搜索，其中，第一资源语料库是包括图像和与该图像一起渲染的文本数据的资源；接收指示资源集合的数据，所述资源集合被确定为响应于第二查询并且根据指示对所述查询的响应度的第一顺序来被排名；致使对所述资源集合中的图像的搜索；部分地基于对第一资源集合中的图像的搜索，从图像集合中选择将与响应于查询的答案一起提供的图像；以及通过数据处理设备响应于所述第一查询而与所述答案一起提所述供图像。该方面的其它实施方式包括对应的系统、设备、和编码在计算机存储装置上的、配置为执行该方法的动作的计算机程序。

可以实现在本说明书中描述的主题的特定实施例以便实现系统和/或用户的以下一个或者多个优点。与问题的答案一起提供图像，并且，选择图像以使得该图像向用户传达关于问题的内容和答案二者的信息。这有助于确保针对问题向用户提供的图像响应于该问题并且与提供的答案一致。与问题的答案一起提供相关的图像可以有助于回答该问题，而不需要用户执行有关该答案的进一步搜索(例如，通过选择可以与问题查询的答案一起提供的搜索结果)。例如，如果用户不熟悉答案的文本形式，则提供与答案相关的图像可以允许用户理解该答案，而不需要执行进一步搜索。因此，得出的结论是，平均来看，连同答案一起供给相关的图像可以减少为了令人满意地回答用户的问题可能需要的进一步用户输入/选择的数目。进一步用户输入的这种减少虽然不一定在每次与答案一起提供图像时都能实现，但是当放大到跨搜索引擎的许多用户时，整体上可以显著降低网络的网络流量。此外，平均来看，减少进一步输入可以减少每个用户装置内的计算资源的使用。这样的计算资源可以包括应对用户输入以及与网络通信所产生的处理能力、以及屏幕开启时间所产生的电力使用。减少屏幕开启时间可能起因于用户更有可能在连同图像一起接收其问题的答案后立即完成其装置的使用，而不必执行任何进一步的搜索/调查。屏幕使用可以占去用户装置的很大一部分电力使用，特别是在移动装置中，并且因此减少屏幕开启时间可能特别有利。

对问题查询提供与答案相关的图像还可以通过多种方式减少用户的认知负担。如上所述，可以减少回答问题达到令用户满意的程度所需的输入数目和搜索范围。同样，图像可以提供容易辨别的视觉核实——用户的搜索问题查询以正确的词项表达以提供该用户正在搜索的答案。例如，如果用户输入了“谁在电影B中扮演角色A(who played characterA in film B？)”的查询，则连同答案(诸如，演员姓名)一起供给扮演角色A的演员的图像可以允许该用户意识到其问题是以正确词项表达的并且答案正确。相似地，供给图像可以给予用户连同图像一起提供的任何搜索结果都是相关的附加把握。

在将从提取出答案的相同资源(又称“源资源”)提供图像的一些实施方式中，系统在接收到指示提取出答案的资源的数据之前，对响应于查询的图像进行评分。因此，当识别出源资源时，与在对图像进行评分之前等待识别源资源的情况相比，可以更快地选择源资源的图像。这减少了针对答案进行图像选择的总体时延，从而改进了与问题查询的答案一起提供图像的过程。

在附图和下面的描述中阐述了在本说明书中描述的主题的一个或者多个实施例的细节。本主题的其它特征、方面、和优点通过本说明书、附图、以及权利要求书将变得显而易见。

附图说明

图1是与问题查询的答案一起提供图像的环境的图示。

图2是与问题查询的答案一起提供图像的示例用户界面的图示。

图3A是与问题查询的答案一起提供图像的系统流程图。

图3B是用于对图像进行评分的示例过程的系统流程图。

图4是根据问题查询来生成图像查询的示例过程的流程图。

图5是与问题查询的答案一起提供图像的另一个示例过程的流程图。

在各个附图中，类似的附图标记和名称指示类似的元素。

具体实施方式

概述

用户经常使用搜索系统寻找“答案”，而不是广泛的信息。答案是响应于问题的事实或者关系。“问题查询”与信息查询的不同之处在于问题查询寻找答案，而信息查询是针对主题对各种不同类型的信息的请求。例如，问题查询“派克峰有多高(How high is PikesPeak)”是明确请求事实——派克峰的高度的结构化查询。搜索系统可以检测该查询的结构化性质并且将该查询解释为问题查询，并且响应于该查询，提供特定结果，该特定结果提供该问题的答案，以及可选地提供其它结果。

本文的主题涉及一种识别相关图像以与问题查询的文本答案一起显示的系统。在操作中，该系统接收查询。如果该查询是触发文本答案的类型——即“问题查询”，则该系统进行以下图像寻找回答过程。首先，系统基于问题查询来生成图像搜索的图像查询。如果该主题是定义性的类型(例如，类别的具体实例、特定的人等，诸如，“猎豹能跑多快？(Howfast can a Cheetah run？)”，其中，“猎豹”是主题)，则该图像查询基于查询的所识别的主题。如果问题查询是不是定义性的(例如，查询“最快的动物是什么(what is the fastestanimal)”，术语“动物”不是具体实例，它是一个类别)，则将接收到的查询用作问题查询。

在一些实施方式中，问题查询被用于搜索网页资源的web语料库。对于响应于第二查询而返回的前N个资源，然后针对该前N个资源中的图像运行单独搜索以识别图像集合。再次，图像查询可以作为输入查询而用于该随后搜索。因此，图像查询用于找出网页资源集合，并且然后用于在约束于该网页资源的搜索中找出图像。

然后，可以将排名最高的图像用作要与答案一起提供的图像。然而，在其它实施方式中，可以进行附加处理以细化图像选择。例如，该系统可以确定从其提取对应答案的源资源。如果该源资源在该前N个资源当中并且包括该资源集合中的一个或者多个图像，则选择该资源集合中具有最高排名的源资源中的图像。替选地，可以进行附加选择处理，诸如，根据选择准则来对包括在源资源中的图像进行进一步排名。例如，选择准则可以包括：图像是否位于页面的突出位置，图像是否被识别为低信息图像(例如，“剪贴画(clipart)”、或者锚点按钮、图标等)等。然后选择排名最高的图像，与答案文本一起提供。

如果源资源不包括图像，则可以不与答案一起提供图像，或者，替选地，可以将图像的选择扩展到被确定为响应于问题查询的资源集合中的图像。

通过在识别源资源之前对图像搜索进行预处理，系统减少了时延，这是因为在单独的答案生成系统识别源资源前完成了对源资源中的图像的图像评分。

当可以容许更高的时延时，系统可以等待直到识别出源资源，并且然后对包括在源资源中的图像进行评分。如果源资源不包括图像，则可以不与答案一起提供图像，或者，替选地，可以将搜索扩展到来自响应于问题查询的资源的图像。在另外其它的实施方式中，所产生的答案文本可以用来搜索响应于图像查询所识别的排名最高的资源。

以下部分将对这些特征和附加特征进行更详细的描述。所述特征是在图像的场境(context)下进行描述的；然而，这些特征不仅仅局限于图像的场境并且还可以应用于其它内容类型中，诸如视频和音频。

示例操作环境

图1是与问题查询的答案一起提供图像的环境100的图示。诸如互联网的计算机网络102连接发布者网站104、用户装置106、和搜索系统110。在线环境100可以包括数以千计的发布者网站104和用户装置106。

发布者网站104包括与域相关联并且由处于一个或者多个位置的一个或者多个服务器托管的一个或者多个资源105。通常，网站是可以包含文本、图像、多媒体内容、和例如脚本的编程元素的格式为超文本标记语言(HTML)的网页集。每个网站104由内容发布者维护，该内容发布者是控制、管理和/或拥有网站104的实体。

资源是可以由发布者网站104通过网络102提供并且具有例如统一资源定位符(URL)的资源地址的任何数据。资源可以是HTML页面、电子文档、图像文件、视频文件、音频文件、和馈给源，仅举几例。资源可以包括：嵌入式信息，例如元信息和超链接；和/或嵌入式指令，例如客户端侧脚本。用户装置106是受用户控制并且能够通过网络102请求和接收资源的电子装置。示例用户装置106包括个人计算机、移动通信装置、和可以通过网络102发送和接收数据的其它装置。用户装置106通常包括促进通过网络102来发送和接收数据的用户应用，例如web浏览器。web浏览器可以使得用户能够显示通常位于网站的网页上的文本、图像、视频、音乐和其它信息，并且与它们进行交互。

为了促进对这些资源105的搜索，搜索系统110爬取发布者网站104并且对发布者网站104提供的资源进行索引。索引数据存储在资源索引112中。索引112可以索引多个语料库，诸如，网页资源语料库114、图像语料库116、和其它语料库。搜索系统110可以使用针对正在被搜索的特定语料库设计的搜索过程来单独搜索每个语料库。

用户装置106向搜索系统110提交搜索查询。响应于搜索请求，搜索系统110使用索引112来识别与查询相关的资源。搜索系统110以搜索结果的形式识别资源，并且以搜索结果页面资源将搜索结果返回到用户装置106。搜索结果是搜索系统110生成的、识别资源或者提供满足特定搜索查询的信息的数据。资源的搜索结果可以包括网页标题、从网页提取的文本片段、以及资源的资源定位符——例如网页的URL。

基于诸如信息检索(“IR”)分值的与搜索结果所识别的资源相关的分值，并且可选地，基于每个资源相对于其它资源的单独排名(例如，权限分值)，来对搜索结果进行排名。根据这些分值对搜索结果进行排序，并且，根据该顺序将搜索结果提供至用户装置。

用户装置106接收搜索结果页面并且对该页面进行渲染以供呈现给用户。响应于用户在用户装置106处选择搜索结果，用户装置106请求在所选择的搜索结果中包括的资源定位符所标识的资源。托管该资源的网站104的发布者从用户装置106接收对该资源的请求，并且将该资源提供给进行请求的用户装置106。

针对问题查询的图像

如上所述，一些查询处于问题的形式、或者处于隐式问题的形式。例如，查询“加利福尼亚的首府(capital of California)”是隐式问题(“加利福尼亚的首府是什么？”)的形式。同样，问题查询可以是显式的，如“加利福尼亚州的首府是什么？(What is the capitalof California？)”的查询的情况。搜索系统110包括查询问题处理器120，该查询问题处理器120利用过程来确定查询是否是查询问题，并且，如果是，则确定是否存在响应于该问题的答案。查询问题处理器120可以使用各种不同的算法来确定查询是否是问题、以及是否有响应于该问题的特定答案。例如，查询问题处理器120可以利用语言模型、机器学习过程、知识图、语法、搜索结果、以及该搜索结果所引用的资源、或者其组合来确定问题查询和答案。

当确定查询是问题查询时，查询问题处理器120调用图像处理器122，该图像处理器122进而识别要与答案一起提供的图像。

图2是与问题查询的答案一起提供图像的示例用户界面200的图示。用户界面200是搜索结果界面，并且，在输入字段204中已经输入了查询202“加利福尼亚州的首府是什么”。查询问题处理器120将该查询识别为问题查询，并且，还识别出答案“萨克拉门托(Sacramento)“。响应于确定该查询是问题查询并且确定识别出答案，与查询问题处理器120连接的搜索系统110提供答案框206。答案框206包括描述答案“萨克拉门托”的文本数据208。另外，答案框206包括一个或者多个图像——在这种情况下作为加利福尼亚的首府建筑的图像的一个图像210。也可以将诸如搜索结果212和214的附加信息提供在搜索结果页面上。

参考图3A来描述对图像210的选择，图3A是与问题查询的答案一起提供图像的系统流程图300。该系统流程图300描述了在图像处理器122中实现的过程。

图像处理器122接收被确定是问题查询的第一查询，响应于该问题查询会提供该问题查询的对应答案(302)。例如，当查询问题处理器120确定查询是问题时，例如“加利福尼亚的首府”或者“加利福尼亚的首府是什么”是被确定为问题查询的查询，将该问题查询提供给图像处理器122。

图像处理器122根据第一查询生成第二查询(304)。可以使用各种过程来从该第一查询导出第二查询。下面描述的图4是从问题查询(第一查询)生成图像查询(第二查询)的示例过程400的流程图。

图像处理器122致使使用第二查询作为输入来完成的、对第一资源语料库中的一个或者多个资源的搜索(306)。通过图像处理器122外部的系统来执行该搜索。在一些实施方式中，处理阶段306仅致使对从其提取答案文本的源资源进行图像搜索。例如，源资源可以具有多个图像，并且，以测量图像对第二查询的响应度的分值来对每个图像进行评分。

在其它实施方式中，使用第二查询来搜索资源集合，并且然后通过第二查询来对前N个响应性资源中的图像进行评分。然后，一旦查询问题处理器120识别出源资源，就可以基于第二查询的搜索分值来选择图像。虽然该替选过程可能对在确定了源资源之后不考虑的许多图像进行评分，但是，由于在识别出源资源前完成了对图像进行评分，所以它仍然减少了时延。下面参照图5描述该特定实施方式。

在另外其它的实施方式中，使用第二查询来搜索该资源集合，并且然后，如上所述，通过第二查询对前N个响应性资源中的图像进行评分。然而，在这种实施方式中，所选择的图像不必包括在源资源中，并且，独立于源资源而被选择。

至少部分地基于对第一语料库的一个或者多个资源的搜索，图像处理器122选择要与响应于第一查询的答案一起提供的图像(308)。如上所述，当仅搜索源资源或者当识别源资源时，可以选择源资源中排名最高的图像。替选地，可以作为替代选择前N个资源中被评分的图像当中排名最高的图像。

也可以使用附加选择准则来选择已经响应于第二查询而被排名的图像。例如，这样的附加选择准则可以包括：经渲染资源上的图像位置；该资源中的图像的图像标签；以及是否将图像用作链接。对于位置准则，相对于渲染在中央位置的图像，可能会在分值上对通常渲染在资源的侧面部分的图像降级。也可以使用其它位置准则。

对于图像标签准则，可以降级具有指示图像经常被包括在多个网页资源中的标签的图像，例如，被标为图标、剪贴画、UI按钮、条等的图像，这是因为这样的标签指示相对低的信息值。然而，对于这样的标签可以指示高信息值的某些问题查询，可以忽略该标签准则，或者，替选地，可以提高图像的分值。例如，如果该问题涉及图标，例如，“计算机图标是什么(What is a computer icon)”，则可以提高带有“图标”标签的缩略图像的搜索分值。同样，如果该问题涉及经常使用剪贴画类型图像的主题——诸如在数学公式的情况下，则可以忽略标签图标准则。

对于链接准则，可以忽略用作链接的锚点的图像，或者，可以降低其分值的值。可以使用其它选择准则来调整响应于第二查询的图像的分值，和/或过滤响应于第二查询的图像。

搜索系统110将图像与响应于第一查询的答案一起提供(310)。例如，选择最高分值的图像来与答案一起提供。

在一些实施方式中，也可以使用要提供的实际答案来对针对图像搜索返回的图像进行选择和/或评分调整。图3B是用于对图像进行评分的示例过程350的系统流程图350。

图像处理器122接收指示响应于第二查询的图像集合的数据(352)。例如，搜索系统110提供按照对第二查询的响应度的顺序来排名的图像列表。然后，图像处理器122可以访问图像和描述图像的内容的元数据。

图像处理器122接收要响应于问题查询而提供的答案，其中，该答案指定特定实体(354)。例如，图像处理器从查询问题处理系统接收答案文本，并且，使用任何适当的实体检测过程——诸如名称识别器、语言模型、语法和解析器等——检测该答案所指定的特定实体。例如，特定实体可以是人、地点或事物、或者一类人、一类地点或一类事物。

图像处理器122确定一个或者多个图像的图像元数据是否指定特定实体(356)。例如，判定过程356可以虑及每个图像。例如，图像处理器122将答案所指定的特定实体与指定图像中描绘的(一个或多个)实体的图像元数据进行比较，以确定是否存在匹配。该匹配可以是完全匹配，或者基于相似度度量的匹配。

如果一个或者多个图像的图像元数据指定该特定实体，则图像处理器122执行第一图像选择过程(358)。该第一图像选择过程针对每个图像虑及答案所指定的特定实体与该图像中描绘的实体的匹配(或不匹配)。基于匹配或者不匹配，图像处理系统122可以提高或者降低图像的相关性分值；或者可以在选择过程中包括该图像或者排除该图像；或者，可以执行虑及到实体的匹配(或者不匹配)的任何其它适当的选择过程。

另一方面，如果一个或者多个图像的图像元数据未指定该特定实体，则图像处理器122执行第二图像选择过程(360)。该第二图像选择过程可以是可以选择图像并且不必虑及答案所指定的实体与针对该图像来指定的实体的匹配的任何过程。

第二查询生成

如上所述，图4是根据问题查询生成图像查询的示例过程400的流程图。在操作中，图像处理器122接收第一查询(402)。该第一查询是被确定为问题查询的查询。

图像处理器122确定问题查询是否指定了类别的实例(404)。为了做出该确定，图像处理器122可以使用各种语言模型，或者访问类别列表和属于该类别的实例。例如，对于查询“猎豹可以跑多快”，图像处理器122可以基于语言模型或者预先指定的类别/实例数据来确定术语“猎豹”是类别“动物”的实例。

如果查询指定了类别的实例，则图像处理器122选择该实例作为第二查询(406)。否则，图像处理器122选择第一查询作为第二查询。

也可以使用确定第二查询的其它方法。例如，对于非常流行的问题查询，可以预先指定第二查询。例如，对于“月球距离地球有多远(How far from the earth is themoon)”的查询，可以预先指定第二查询为“月球”。

在另外其它的实施方式中，第二查询可以是答案文本、或者问题查询与答案文本的组合。在这种实施方式的变型中，系统可以接收被预测作为问题的答案的答案，并且将预测的答案用作第二查询。预测答案不一定是响应于问题查询而要提供的实际答案。此后，当系统接收到响应于问题查询将提供的实际答案时，该系统将验证预测答案匹配(完全匹配或者满足相似性分值)实际答案。在肯定证实时，与实际答案一起提供所选择的图像。然而，如果实际答案没有证实预测答案，则系统可以使用实际答案来重新运行搜索，或者，替选地，可以不与答案文本一起提供所选择的图像。

后一个实施方式对于可能经常改变的事实是有用的。这样变化的事实的示例可以是人之间的关系、公职人员的办公室、组织中的人的职位等。

源资源处理

如上所述，在一个实施方式中，使用第二查询来搜索资源集合，然后，通过第二查询对前N个响应性资源中的图像进行评分。此后，一旦查询问题处理器120识别出源资源，就可以基于第二查询的搜索分值来选择图像。图5是描述实施该实施方式的过程500的流程图。

图像处理器122致使利用第二查询对第一语料库的搜索(502)。例如，图像处理器122将第二查询提交给搜索引擎110以搜索网页资源的索引。

图像处理器122接收指示响应于第二查询的资源集合的数据(504)。例如，搜索系统110提供按照对第二查询的响应度的顺序来排名的web资源的列表。

图像处理器122致使针对图像对第二资源语料库的搜索(506)。例如，图像处理器122将第二查询提交给搜索引擎110，以便对约束于该资源集合中的前N排名的web资源进行图像搜索。N的值可以是100、500、或者一些其它数字。

图像处理器122接收指示响应于第二查询的图像集合的数据(508)。例如，搜索系统110提供按照对第二查询的响应度的顺序来排名的图像的列表。

图像处理器122确定包括答案文本和排名图像的资源是否在该资源集合中(510)。例如，将从其提取答案的资源称为“源资源”。图像处理器122确定源资源是否在进行了受约束图像搜索的前N个资源中。

如果图像处理器122确定包括答案文本的资源和排名图像在该资源集合中，则图像处理器122从该资源中选择要与答案文本一起包括的图像(512)。在一些实施方式中，该选择可以仅仅基于源资源中的图像的组成排名。为了进行说明，假设源资源具有已经响应于第二查询来排名的五个图像。对应的搜索分值为0.78、0.73、0.33、0.31和0.08，其中，搜索分值的幅值与图像对查询的响应度成比例。在此，将选择搜索分值为0.78的图像。

在这种实施方式的变型中，可以基于如上面描述的附加选择准则来调整图像的搜索分值。该调整可以基于各种适当的调整公式，例如，可以使用基于文档中的图像位置的位置分值来扩缩搜索分值。

相反，如果图像处理器122确定包括答案文本的资源和排名图像不在该资源集合中，则图像处理器122不选择要与答案文本一起包括的图像(514)。替选地，图像处理器122可以作为替代从来自基于第二查询来评分的前N个资源当中的图像中进行选择。上述调整因素也可以用于调整分值。

附加实施细节

在此处讨论的系统收集有关用户的个人信息或者可以利用个人信息的情形下，可以为用户提供机会来控制程序或者特征是否收集用户信息(例如，有关用户的社交网络、社交动作或者活动、职业、用户的偏好、或者用户的当前位置的信息)或者控制是否和/或如何从内容服务器接收可能与该用户更相关的内容。另外，在存储或者使用特定数据之前，可以按照一种或者多种方式来处理该特定数据，使得去除个人身份信息。例如，可以处理用户的身份以使得无法确定该用户的个人可识别信息，或者可以在获得位置信息的情况下将该用户的地理位置泛化(诸如，至城市、邮政编码、或者州县等级)，使得无法确定该用户的具体位置。由此，用户可以对内容服务器收集和使用有关该用户的信息的方式进行控制。

可以以数字电子电路系统、或者以计算机软件、固件、或者硬件中——包括本说明书所公开的结构及其结构等同物、或者它们中的一个或者多个的组合中来实现本说明书中描述的主题和操作的实施例。可以将本说明书中描述的主题的实施例实现为一个或者多个计算机程序，即计算机程序指令的一个或者多个模块，该计算机程序指令被编码在计算机存储介质上以供由数据处理设备执行或者控制该数据处理设备的操作。替选地或者另外，程序指令可以编码在人工生成的传播信号上——例如机器生成的电、光、或者电磁信号，该信号被生成以对信息进行编码以用于传输至合适的接收器设备供数据处理设备执行。计算机存储介质可以是计算机可读存储装置、计算机可读存储基底、随机或者串行存取存储器阵列或者装置、或者它们中的一个或者多个的组合，或者被包括在其中。此外，尽管计算机存储介质并非传播信号，但是计算机存储介质可以是编码在人工生成的传播信号中的计算机程序指令的源或者目的地。计算机存储介质也可以是一个或者多个单独的物理组件或者介质(例如，多个CD、磁盘、或者其它存储装置)，或者包括在其中。

可以将本说明书中描述的操作实现为由数据处理设备对存储在一个或者多个计算机可读存储装置或者从其它源接收到的数据执行的操作。

术语“数据处理设备”涵盖用于处理数据的所有种类的设备、装置和机器，包括：例如，可编程处理器、计算机、片上系统、或者上述中的多个或者组合。设备可以包括专用逻辑电路，例如，FPGA(现场可编程门阵列)或者ASIC(专用集成电路)。除了硬件之外，该设备还可以包括为探讨中的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机、或者它们中的一个或者多个的组合的代码。该设备和执行环境可以实现各种不同的计算模型基础架构，诸如，web服务、分布式计算和网格计算基础架构。

可以以任何形式的程序语言来编写计算机程序(也称为程序、软件、软件应用、脚本、或者代码)，包括编译的或者解译语言、说明性或者过程性语言，并且可以以任何形式来部署计算机程序，包括部署为独立的程序或者部署为模块、组件、子例程、对象、或者适合在计算环境中使用的其它单元。计算机程序可以但并非必须与文件系统中的文件相对应。可以将程序存储在保持其它程序或者数据(例如，存储在标记语言文档中的一个或者多个脚本)的文件的一部分中，或者存储在专用于所探讨中的程序的单个文件中，或者存储在多个协作文件(例如，存储一个或者多个模块、子程序、或者部分代码的文件)中。可以将计算机程序部署为在一个计算机上执行或者在位于一个站点处或者跨多个站点分布并且通过通信网络互连的多个计算机上执行。

可以通过一个或者多个可编程处理器来执行本说明书中描述的过程和逻辑流程，该一个或者多个可编程处理器执行一个或者多个计算机程序以通过操作输入数据并且生成输出来执行动作。还可以由专用逻辑电路——例如FPGA(现场编程门阵列)或者ASIC(专用集成电路)来执行过程和逻辑流，并且还可以将设备实现为该专用逻辑电路。

适合执行计算机程序的处理器包括：例如，通用微处理器、专用微处理器二者、以及任何种类的数字计算机的任何一个或者多个处理器。一般而言，处理器将接收来自只读存储器或者随机存取存储器或者两者的指令和数据。计算机的必要元件是：用于根据指令来执行动作的处理器、和用于存储指令和数据的一个或者多个存储器装置。一般而言，计算机还将包括用于存储数据的一个或者多个大容量存储装置——例如磁盘、磁光盘、或者光盘，或者计算机操作地耦合以接收来自该大容量存储装置的数据或者将数据传输至该大容量存储装置或者进行两者。然而，计算机不需要具有这样的装置。此外，计算机可以嵌入在另一装置中，该另一装置例如移动电话、个人数字助理(PDA)、移动音频或者视频播放器、游戏控制台、全球定位系统(GPS)接收器、或者便携式存储装置(例如，通用串行总线(USB)闪存驱动)，仅举数例。适合于存储计算机程序指令和数据的装置包括所有形式的非易失性存储器、介质和存储器装置，包括：例如半导体存储器装置，例如EPROM、EEPROM、和闪速存储器装置；磁盘，例如内部硬盘或者可移动盘；磁光盘；以及CD-ROM盘和DVD-ROM盘。处理器和存储器可以由专用逻辑电路系统补充或者可以并入该专用逻辑电路系统中。

为了提供与用户的交互，可以在计算机上实现本说明书中描述的主题的实施例，该计算机具有：用于向用户显示信息的显示装置，例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器；以及键盘和指示装置，例如，鼠标或者轨迹球，用户可以通过该键盘和该指示装置来将输入提供给计算机。其它种类的装置也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈，例如，视觉反馈、听觉反馈、或者触觉反馈；并且可以用任何形式——包括声输入、语音输入、或者触觉输入来接收来自用户的输入。另外，计算机可以通过将文档发送到用户所使用的装置并且接收来自该装置的文档来与用户交互，例如，通过响应于从用户的用户装置上的web浏览器接收的请求来将网页发送至该web浏览器来与用户交互。

可以以计算系统来实现本说明书中描述的主题的实施例，该计算系统包括：后端组件——例如作为数据服务器、或者包括中间件组件——例如应用服务器、或者包括前端组件——例如具有用户可以通过来与本发明中所描述的主题的实施方式交互的图形用户界面或者web浏览器的用户计算机、或者包括一个或者多个这样的后端组件、中间件组件或者前端组件的任何组合。可以通过例如通信网络的任何形式或者介质的数字数据通信来将系统的组件互连。通信网络的示例包括：局域网(“LAN”)和广域网(“WAN”)、网际网(例如，互联网)、以及对等网络(例如，点对点(ad hoc)对等网络)。

计算机系统可以包括用户和服务器。用户和服务器一般远离彼此并且通常通过通信网络进行交互。依靠在相应的计算机上运行并且彼此具有用户-服务器关系的计算机程序来产生用户和服务器的关系。在一些实施例中，服务器将数据(例如，HTML页面)传输至用户装置(例如，为了向与用户装置交互的用户显示数据并且接收来自该用户的用户输入的目的)。可以从在服务器处的用户装置接收在用户装置处生成的数据(例如，用户交互的结果)。

虽然本说明书包含了许多具体实施方式细节，但是不应该将这些细节视为对任何发明或者可能被要求的内容的范围的限制，而应当解释为特定发明的特定实施方式所特有的特征的描述。在本说明书中在单独实施例的场境下描述的某些特征还可以组合地实施在单个实施例中。相反，在单个实施例的场境中描述的各种特征也可以单独地或者按照任何合适的子组合实现在多个实施例中。此外，虽然上文可能将特征描述为以某些组合来起作用并且最初甚至如此要求保护，但是在一些情况下可以从组合中删除来自所要求保护的组合的一个或者多个特征。并且所要求的组合可以指向子组合或者子组合的变型。

相似地，虽然在附图中按照特定顺序描绘了操作，但是不应该将其理解为需要按照所示的特定顺序或者按照相继的顺序来执行这样的操作，或者需要执行所有图示的操作以实现期望的结果。在某些情况下，多任务处理和并行处理可以是有利的。此外，不应该将在上述实施例中的各个系统组件的分离理解为在所有实施例中需要这样的分离，并且应该理解，所描述的程序组件和系统通常可以一起整合在单个软件产品中或者封装到多个软件产品中。

因此，已经描述了本主题的特定实施例。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定需要所示的特定顺序或者相继顺序来实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。

Claims (19)

1.一种在数据处理设备中实现的计算机实现的方法，包括：

通过所述数据处理设备接收被确定为问题查询的第一查询，响应于所述第一查询将提供所述问题查询的对应答案；

通过所述数据处理设备根据所述第一查询来生成第二查询；

通过所述数据处理设备致使使用所述第二查询作为输入来完成的、对第一资源语料库的多个资源的搜索，其中，所述第一资源语料库是包括图像和与所述图像一起渲染的文本数据的资源；

接收指示资源集合的数据，所述资源集合被确定为响应于所述第二查询并且根据指示对查询的响应度的第一顺序来被排名；

致使对所述资源集合中的图像的搜索；

部分地基于对所述第一资源集合中的图像的所述搜索从图像集合中选择将与响应于所述查询的所述答案一起提供的图像；以及

通过所述数据处理设备响应于所述第一查询而与所述答案一起提供所述图像。

2.根据权利要求1所述的计算机实现的方法，其中，致使对所述资源集合中的图像的搜索包括：致使使用所述第二查询作为输入对所述资源集合中的图像的搜索。

3.根据权利要求2所述的计算机实现的方法，其中，从所述图像集合中选择将与响应于所述查询的所述答案一起提供的图像包括：

确定源资源，所述对应答案是从所述源资源提取的；以及

确定所述源资源是被确定为响应于所述第二查询的所述资源集合中包括的资源，并且确定所述源资源包括所述资源集合中的图像，并且作为响应进行以下操作：

根据指示每个图像对所述第二查询的响应度的第二顺序，从所述源资源中的图像当中选择将提供的图像。

4.根据权利要求3所述的计算机实现的方法，其中，根据所述第二顺序来从所述源资源中的图像当中选择将提供的图像进一步包括：

根据与所述源资源中的图像的所述第二顺序的排名分开的附加图像选择准则，从所述源资源中的图像当中进一步选择将提供的图像。

5.根据权利要求4所述的计算机实现的方法，其中，所述附加图像选择准则包括：在所述源资源的渲染位置上的图像位置、以及所述源资源中的图像的图像标签。

6.根据权利要求2所述的计算机实现的方法，其中，从所述图像集合中选择将与响应于所述查询的所述答案一起提供的图像包括：根据指示每个图像对所述第二查询的响应度的第二顺序，从所述图像集合中的图像当中选择将提供的图像。

7.根据前述权利要求中的任一项所述的计算机实现的方法，其中，根据所述第一查询来生成所述第二查询包括：

确定所述第一查询是否识别出实体类别的具体实例；

如果所述查询识别出所述实体类别的具体实例，则选择所识别的具体实例作为所述第二查询；或者

如果所述查询未识别出所述实体类别的具体实例，则选择所述第一查询作为所述第二查询。

8.根据权利要求1至6中的任一项所述的计算机实现的方法，其中，根据所述第一查询来生成所述第二查询包括：选择所述答案作为所述第二查询。

9.根据权利要求1至6中的任一项所述的方法，其中，致使针对所述资源中提供的图像对所述资源集合的搜索包括：致使使用被识别为响应于所述查询而将提供的答案针对所述资源中提供的图像对所述资源集合的搜索。

10.一种系统，包括：

数据处理设备；以及

计算机可读存储器系统，所述计算机可读存储器系统与所述数据处理设备处于数据通信并且存储能够由所述数据处理设备执行的指令，所述指令在被执行时使得所述数据处理设备执行操作，所述操作包括：

通过所述数据处理设备接收被确定为问题查询的第一查询，响应于所述第一查询将提供所述问题查询的对应答案；

通过所述数据处理设备根据所述第一查询来生成第二查询；

通过所述数据处理设备致使使用所述第二查询作为输入来完成的、对第一资源语料库的多个资源的搜索，其中，所述第一资源语料库是包括图像和与所述图像一起渲染的文本数据的资源；

接收指示资源集合的数据，所述资源集合被确定为响应于所述第二查询并且根据指示对查询的响应度的第一顺序来被排名；

致使对所述资源集合中的图像的搜索；

部分地基于对所述第一资源集合中的图像的所述搜索从图像集合中选择将与响应于所述查询的所述答案一起提供的图像；以及

通过所述数据处理设备响应于所述第一查询而与所述答案一起提供所述图像。

11.根据权利要求10所述的系统，其中，致使对所述资源集合中的图像的搜索包括：致使使用所述第二查询作为输入对所述资源集合中的图像的搜索。

12.根据权利要求11所述的系统，其中，从所述图像集合中选择将与响应于所述查询的所述答案一起提供的图像包括：

确定源资源，所述对应答案是从所述源资源提取的；以及

确定所述源资源是被确定为响应于所述第二查询的所述资源集合中包括的资源，并且确定所述源资源包括所述资源集合中的图像，并且作为响应进行以下操作：

根据指示每个图像对所述第二查询的响应度的第二顺序，从所述源资源中的图像当中选择将提供的图像。

13.根据权利要求12所述的系统，其中，根据所述第二顺序来从所述源资源中的图像当中选择将提供的图像进一步包括：

根据与所述源资源中的图像的所述第二顺序的排名分开的附加图像选择准则，从所述源资源中的图像当中进一步选择将提供的图像。

14.根据权利要求13所述的系统，其中，所述附加图像选择准则包括：在所述源资源的渲染位置上的图像位置、以及所述源资源中的图像的图像标签。

15.根据权利要求11所述的系统，其中，从所述图像集合中选择将与响应于所述查询的所述答案一起提供的图像包括：根据指示每个图像对所述第二查询的响应度的第二顺序，从所述图像集合中的图像当中选择将提供的图像。

16.根据权利要求10至15中的任一项所述的系统，其中，根据所述第一查询来生成所述第二查询包括：

确定所述第一查询是否识别出实体类别的具体实例；

如果所述查询识别出所述实体类别的具体实例，则选择所识别的具体实例作为所述第二查询；或者

如果所述查询未识别出所述实体类别的具体实例，则选择所述第一查询作为所述第二查询。

17.根据权利要求10至15中的任一项所述的系统，其中，根据所述第一查询来生成所述第二查询包括：选择所述答案作为所述第二查询。

18.根据权利要求10至15中的任一项所述的系统，其中，致使针对所述资源中提供的图像对所述资源集合的搜索包括：致使使用被识别为响应于所述查询而将提供的答案针对所述资源中提供的图像对所述资源集合的搜索。

19.一种存储指令的计算机可读存储器设备，所述指令能够由数据处理设备执行并且在被执行时使得所述数据处理设备执行操作，所述操作包括：

通过所述数据处理设备接收被确定为问题查询的第一查询，响应于所述第一查询将提供所述问题查询的对应答案；

通过所述数据处理设备根据所述第一查询来生成第二查询；

通过所述数据处理设备致使使用所述第二查询作为输入来完成的、对第一资源语料库的多个资源的搜索，其中，所述第一资源语料库是包括图像和与所述图像一起渲染的文本数据的资源；

接收指示资源集合的数据，所述资源集合被确定为响应于所述第二查询并且根据指示对查询的响应度的第一顺序来被排名；

致使对所述资源集合中的图像的搜索；

部分地基于对所述第一资源集合中的图像的所述搜索从图像集合中选择将与响应于所述查询的所述答案一起提供的图像；以及

通过所述数据处理设备响应于所述第一查询而与所述答案一起提供所述图像。