CN107977398A - 对搜索结果文档进行排名 - Google Patents

Abstract

本申请涉及对搜索结果文档进行排名。方法和设备涉及使用响应于查询的文档的文档特征、及可选地该查询的查询特征来确定呈现与该文档相对应的搜索结果的呈现特性。在一些方面，与该文档特征和/或查询特征相关联的度量可以用于确定所述呈现特性。该度量可以基于相对应的用户与其它文档的过往交互，所述其它文档与该文档共享所述文档特征中的一个或多个，其中，所述多个其它文档与该文档不同(并且可选地，每个其它文档都彼此不同)。在一些方面，该文档和/或所述其它文档包括但不限于：访问被限制的文档。以及因为在搜索过程期间维持安全性，所以当跨搜索引擎的许多用户按比例增加时，实施例提供了总体上在用于网络的网络业务方面的足够的减少。

Description

对搜索结果文档进行排名

技术领域

本申请涉及对搜索结果文档进行排名。

背景技术

搜索引擎提供有关各种文档(诸如，网页、图像、文本文档、多媒体内容、和/或电子通信)的信息。例如，响应于接收到搜索查询，搜索引擎识别响应于查询的一个或多个文档。搜索引擎基于文档与查询的相关性和/或基于其它排名信号来对文档进行排名，并且响应于搜索查询提供相对应的搜索结果。该搜索结果可以包括文档的方面和/或链路，并且可以基于排名来提供该搜索结果。

发明内容

本说明书涉及一种技术特征，该技术特征涉及使用响应于查询的给定文档的文档特征、以及可选地查询的查询特征，来确定呈现与给定文档相对应的搜索结果的呈现特性，并且响应于该查询，提供要用呈现特性呈现的搜索结果。在一些实施方式中，响应于查询的给定文档可以是访问受限文档，诸如，仅可对提交查询的用户、以及可选地该用户指定的其它用户访问的访问受限文档。

在一些实施方式中，与文档特征和/或查询特征相关联的度量可以用于确定呈现特性。度量可以是基于由相对应的用户与其它文档的过往交互的，该其它文档与给定文档共享文档特征中的一个或多个文档特征，其中，多个其它文档各自与给定文档不同(并且可选地，每个其它文档都彼此不同)。可选地，在不需要对特定针对给定文档的基于任何基于查询的过往交互的参考的情况下，使用这种度量使在确定给定文档的基于交互的相关性时能够利用与其它文档的过往交互。在一些实施方式中，其它文档包括但不限于：它们本身访问被限制的文档。以这个方式，能够维持搜索过程期间的安全性。

例如，呈现特性可以是呈现顺序或者其它显示突出。在各种实施例中，与提供不具有呈现特性的搜索结果进行比较，提供用于具有呈现特性的呈现的搜索结果以对用户更有用的方式提供了该搜索结果。因为，平均而言最高排名的或最突显的搜索结果可能是更相关的结果，所以该改进是客观性的，而不是主观性的。这意味着用户可能花费较少的时间调查和访问作为较小相关性的其它搜索结果，以便建立这些其它搜索结果实际上是否是感兴趣的。结果，平均而言减少了关于这些搜索结果接收的用户输入/选择的数目。虽然利用相对应的呈现特性不一定每次呈现所获得的搜索结果，但是当跨搜索引擎的许多用户按比例增加时，减少用户输入/选择提供了总体上在用于网络的网络业务方面的足够的减少。此外，进一步减少输入/选择平均而言可以减少每个用户装置内的计算资源的使用。这种计算资源可以包括根据处理用户输入和与网络通信得到的处理能力(power)以及根据屏幕上的时间得到的功率使用。屏幕上时间的减少在接收到利用呈现特性呈现的搜索结果之后可以从用户很有可能能够立即完成针对特定信息的他们的搜索。屏幕使用能够考虑到用户装置(具体地在移动装置中)的功率使用的极大部分，以及因此可以特别有利于减少在屏幕上的时间。

在一些实施方式中，在确定与响应于查询的给定文档相对应的搜索结果的呈现特性时，生成针对给定文档的查询相关度量，并且该查询相关度量用于确定呈现特性。在那些实施方式中的一些中，查询相关度量用于针对确定给定文档的评分，并且该评分用于相对于针对查询的其它响应文档对给定文档进行排名(例如，基于其相对应的评分，该相对应的评分还可以是基于相对应的查询相关度量)。例如，可以利用查询相关度量，以修改针对给定文档的初始评分(例如，基于在查询与给定文档之间的匹配的程度的评分)，并且利用该修改过的评分以相对于针对查询的其它响应文档对给定文档进行排名。例如，排名可以被利用，以确定在响应于查询而提供相对应搜索结果针供呈现时被首先利用的那个响应文档和/或确定搜索结果的呈现顺序(或者其它显示突出)。

在一些实施方式中，基于在查询的查询特征与给定文档的文档特征之间的过往交互的度量来确定针对响应于查询的给定文档的查询相关度量。度量中的每个度量可以基于由当响应于具有查询特征中的一个或多个的相对应查询而呈现其它文档时相对应的用户与具有文档特征中的一个或多个的其它文档的过往交互的数目。可以利用各种过往交互来确定度量，诸如，选择与响应于相对应查询的其它文档相对应的搜索结果(例如，点击观察分数)、文档访问计数、光标追踪、和/或触摸手势。在一些实施方式中，其它文档本身可以包括但不限于：多个访问受限文档，诸如，各自对其他用户中的一个相对应用户是个人的并且不可访问文档不可对用户访问。

在一些实施方式中，生成针对给定文档的查询不相关量度，并且附加地或者可替选地，该查询不相关量度用于确定呈现特性。在那些实施方式中的一些中，查询不相关量度是基于由当响应于不包括查询特征中的任何一个的相对应查询而呈现其它文档时相对应的用户与具有给定文档的文档特征中的一个或多个的其它文档的过往交互的度量。因此，响应于具有查询特征的查询，查询不相关量度可以提供具有文档特征的文档的整体受欢迎度的指示，而查询相关度量提供具有文档特征的文档的受欢迎度的指示。

在一些实施方式中，提供了一种方法，该方法包括：接收查询，该查询由用户经由用户的计算装置的用户界面输入装置录入。该方法进一步包括：识别响应于查询的响应文档，包括发送至用户的电子邮件地址的电子邮件。该方法进一步包括：识别针对电子邮件的一个或多个文档特征。该文档特征包括基于以下至少一项的至少一个电子邮件特征：From(发件人)内容，所述From内容基于其在电子邮件的From字段中的存在，以及Subject(主题)内容，所述Subject内容基于其在电子邮件的Subject字段中的存在。该方法进一步包括：基于在查询特征与文档特征之间的过往交互的度量来识别针对查询的一个或多个查询特征并且生成针对电子邮件的查询相关度量，其中，多个度量中的每个度量是基于由当响应于具有查询特征中的一个或多个的相对应查询而呈现其它文档时相对应的用户与具有文档特征中的一个或多个文档特征的其它文档的过往交互的数目。该方法进一步包括：使用电子邮件的查询相关度量来确定用于呈现与电子邮件相对应的电子邮件搜索结果的呈现特性；以及响应于查询，提供电子邮件搜索结果以用呈现特性来呈现。

该方法和本文中公开的技术的其它实施方式可以分别可选地包括以下特征中的一个或多个：

在一些实施方式中，至少一个电子邮件特征是基于From字段中的From内容和Subject字段中的Subject内容的。在那些实施方式中的一些中，该至少一个电子邮件特征是基于该From字段中的From内容和Subject字段中的Subject内容的同时存在。From内容可以包括电子邮件的发送方电子邮件地址的域名、和/或Subject内容包括模板，该模板包括一个或多个词项和一个或多个占位符。

在一些实施方式中，至少一个电子邮件特征基于Subject字段中的Subject内容，并且该Subject内容包括模板，该模板包括一个或多个词项和一个或多个占位符。

在一些实施方式中，度量所基于的其它文档不包括该电子邮件。

在一些实施方式中，该方法进一步包括：响应于不具有查询特征中的任何一个查询特征的附加查询，基于与文档特征的附加过往交互的附加度量来生成针对电子邮件的查询不相关量度；以及进一步使用针对电子邮件的查询不相关量度来确定呈现与电子邮件相对应的电子邮件搜索结果的呈现特性。

在一些实施方式中，使用针对电子邮件的查询相关度量来确定呈现特性包括：基于查询相关度量来确定针对电子邮件的评分；确定针对响应文档中的其它响应文档的附加评分；基于评分和附加评分，相对于响应文档中的其它响应文档对电子邮件进行排名；以及基于该排名来确定呈现特性。

在一些实施方式中，文档特征进一步包括电子邮件的类别。在那些实施方式中的一些中，该方法进一步包括：使用机器学习模型以确定电子邮件的类别。

在一些实施方式中，与具有文档特征中的一个或多个文档特征的其它文档的过往交互包括选择其它文档。

在一些实施方式中，提供了一种方法，该方法包括：接收查询，该查询由用户经由用户的计算装置的用户界面输入装置录入，以及识别响应于查询的响应文档。该响应文档包括用户的访问受限文档。该访问受限文档仅能够对用户和该用户指定的任何受限的其它用户组访问。该方法进一步包括：识别针对查询的一个或多个查询特征，以及对于多个访问受限文档中的每个：识别针对访问受限文档的一个或多个文档特征；以及基于在查询特征与文档特征之间的过往交互的度量，生成针对访问受限文档的查询相关度量，其中，度量中的每个度量是基于由当响应于具有查询特征中的一个或多个的相对应查询而呈现其它文档时相对应的用户与具有文档特征中的一个或多个的其它文档的过往交互的数目，以及其中，其它文档可以可选地包括对用户不能够访问的多个不可访问文档。该方法进一步包括：使用针对访问受限文档的查询相关度量来确定针对响应文档的呈现顺序；以及响应于查询，提供响应文档中的一个或多个响应文档以基于呈现顺序来呈现。

该方法和本文中公开的技术的其它实施方式可以分别可选地包括以下特征中的一个或多个：

在一些实施方式中，访问受限文档的文档特征包括模板，该模板包括在访问受限文档的特定字段中。

在一些实施方式中，其它文档不包括访问受限文档中的一个或多个访问受限文档。

在一些实施方式中，度量中的给定度量所基于的其它文档由用户不能够访问的不能够访问文档组成。

在一些实施方式中，该方法进一步包括：对于多个访问受限文档中的每个：响应于不具有查询特征中的任何一个查询特征的附加查询，基于与文档特征的附加过往交互的附加度量来生成访问受限文档的查询不相关量度；以及进一步使用针对访问受限文档的查询不相关量度来确定响应文档的呈现顺序。

在一些实施方式中，提供了一种方法，该方法包括：接收查询，该查询由用户经由用户的计算装置的用户界面输入装置录入，识别响应于查询的响应文档，以及识别针对该查询的一个或多个查询特征。该方法进一步包括：对于多个文档中的每个：基于在查询特征与文档特征之间的过往交互的度量来识别文档的一个或多个文档特征以生成针对文档的查询相关度量；其中，度量中的每个度量基于当响应于具有查询特征中的一个或多个查询特征的相对应查询而呈现其它文档时相对应的用户与具有文档特征中的一个或多个文档特征的其它文档的过往交互的数目，并且其中，其它文档包括除了该文档之外的多个文档。该方法进一步包括：使用针对文档的查询相关度量来确定响应文档的呈现顺序；以及响应于查询，提供响应文档中的一个或多个响应文档以基于呈现顺序来呈现。

在一些实施方式中，提供了一种方法，该方法包括：选择多个文档特征；以及选择多个查询特征。选择文档特征中的每个包括：基于文档特征在至少阈值数目的用户的访问受限文档中的存在来选择文档特征。选择查询特征中的各个查询特征包括：基于查询特征在至少阈值数目的用户的访问受限查询中的存在来选择查询特征。访问受限查询是作为其响应提供访问受限文档中的至少一个的那些查询。对于多个查询特征中的每个：该方法进一步包括文档特征元组，该文档特征元组各自包括查询特征中的至少一个和文档特征中的至少一个。生成在查询特征、文档特征元组中的查询特征与文档特征之间的过往交互度量。生成过往交互度量基于当响应于访问受限查询的相对应查询而呈现相对应的文档时与访问受限文档的相对应文档的过往交互的数目，其中，相对应的文档具有查询特征、文档特征元组中的文档特征，并且其中，相对应的查询具有查询特征、文档特征元组中的查询特征。该方法进一步包括：在一个或多个计算机可读介质中存储与相对应的查询特征、文档特征元组相关联的过往交互度量中的每个。

该方法和本文中公开的技术的其它实施方式可以分别可选地包括以下特征中的一个或多个：

在一些实施方式中，该方法进一步包括：识别响应于给定用户的新查询并且包括文档特征的新查询组的新文档；以及基于一组过往交互度量来生成新文档的度量。可以基于与查询特征相关联地存储的组的过往交互度量、分别包括新查询组的文档特征中的至少一个的文档特征元组来选择该一组过往交互度量。该方法进一步包括：响应于基于度量的新查询，提供新文档。在那些实施方式中的一些中，还基于与查询特征相关联地存储的组的过往交互度量、分别包括新查询的至少一个的文档特征元组来选择一组过往交互度量。在一些实施方式中，在用于生成过往交互度量的访问受限文档中省略新文档。

在一些实施方式中，提供了一种方法，该方法包括：选择多个文档特征；以及选择多个查询特征。对于多个查询特征中的每个：该方法进一步包括文档特征元组，该文档特征元中的每个包括查询特征中的至少一个和文档特征中的至少一个。生成在查询特征、文档特征元组中的查询特征与文档特征之间的过往交互度量。生成过往交互度量是基于当响应于相对应的查询而呈现相对应的文档时与相对应的文档的过往交互的数目；相对应的文档具有查询特征、文档特征元组中的文档特征；并且相对应的查询具有查询特征、文档特征元组中的查询特征。该方法进一步包括：在一个或多个计算机可读介质中存储与相对应的查询特征、文档特征元组相关联的过往交互度量中的每个过往交互度量。

其它实施方式可以包括一个或多个非暂时性计算机可读存储介质，该一个或多个非暂时性计算机可读存储介质存储能够由一个或多个处理器执行以执行诸如本文中描述的一种或者多种方法的指令。再一实施方式可以包括系统，该系统包括存储器和可操作以执行存储在存储器中的指令以执行诸如本文中描述的一种或者多种方法的一个或多个处理器。

应当了解，本文更详细地描述的前述概念和附加概念的所有组合被认为是本文所公开的主题的一部分。例如，出现在本公开的最后的所要求保护的主题的所有组合被认为是本文所公开的主题的一部分。

附图说明

图1是其中可以实施本文中公开的一些实施方式的示例环境的框图。

图2A图示了根据各种实施方式的查询-文档模型的部分的表示。

图2B图示了根据各种实施方式的查询-特征模型的部分的表示。

图2C图示了根据各种实施方式的文档-特征模型的部分的表示。

图2D图示了根据各种实施方式的查询特征-文档特征模型的一部分的表示。

图3图示了多个用户的多个访问受限文档的示例。

图4是图示了生成多个查询特征、文档特征元组中的每个查询特征、文档特征元组的过往交互度量的示例方法的流程图。

图5是图示了使用响应于查询的文档的查询相关和/或无关度量来对文档进行排名，并且基于该排名来提供相对应的搜索结果的示例方法的流程图。

图6图示了根据本文中公开的实施方式的具有显示带有确定的呈现特性的访问受限搜索结果的显示屏幕的示例客户端计算装置。

图7图示了计算装置的示例架构。

具体实施方式

本文中公开的一些实施方式可以应用于访问受限文档。如本文中使用的是，“访问受限文档”是与可公开访问的文档(例如，公众可经由万维网自由访问的)形成对比，并且是受限的用户组可访问的电子文档。在一些实施方式中，可以基于受限的用户组的登录凭证、基于仅可对受限的用户组经由专用网络访问的访问受限文档、和/或基于其它技术来将对访问受限文档的访问限制到受限的用户组。如本文中使用的是，“用户的访问受限文档”是仅可对用户访问的、以及可选地可由用户指定的或者以其他方式控制的受限的一个或多个其他用户组访问的访问受限文档。例如，用户的访问受限文档可以仅对用户访问作为以下功能：被本地存储在由用户控制的计算装置上、可经由用户的适当登录凭证经由一个或多个计算机应用访问等。例如，用户的电子邮件可以是用户的仅可对用户经由用户的适当登录凭证访问的访问受限文档。而且，例如，用户的在基于云的存储系统中存储的异类文档可以是用户的仅可对用户经由用户的适当登录凭证访问的访问受限文档。可选地，可以基于由用户经由一个或多个计算机应用进行明确授权来使异类文档中的一个或多个异类文档还可以对受限的其他用户组访问。而且，例如，因为在用户的计算装置上本地存储用户的受限文档，所以在用户的移动电话、平板、台式计算机、和/或其它计算装置上本地存储的各种文档可以是用户的访问受限文档。

已经使用用户交互数据(例如，点击率)以对特定查询的特定可公开访问的搜索结果文档进行排名。例如，用户交互数据可以指示：对于特定搜索查询，响应于特定搜索查询的特定可公开访问的搜索结果文档具有针对特定搜索查询的点击率，该点击率远远超过响应于特定搜索查询的任何其它可公开访问的搜索结果文档。基于这种指示，对于特定搜索查询，与其它响应的可公开访问的搜索结果相比可以将与特定可公开访问的搜索结果文档相对应的搜索结果排名得更为显著(例如，经提供用于更显著地呈现)。

然而，涉及使用用户交互数据以针对特定查询的可公开访问的搜索结果进行排名的各种技术不可以应用到各种文档和/或不可以提供期望的性能。例如，各种技不可以应用到各种访问受限文档(例如，访问用户提交查询的受限文档)和/或各种可公开访问的文档(例如，响应于查询，不具有和/或具有相对较少的交互的可公开访问的文档)。

作为一个示例，假设的是用户提交搜索查询以搜索用户的个人电子邮件，并且多个响应电子邮件(即，用户的访问受限文档)被识别为响应于搜索查询(例如，电子邮件包括与搜索查询中的一个或多个词项匹配的一个或多个词项)。可以是以下项的情况：可以未响应于其他用户和/或用户的先前搜索而呈现响应电子邮件中一个或多个(例如，全部)和/或与其进行交互。例如，特定电子邮件可以是响应于先前的搜索查询而仅发送至用户并且具有用户先前不进行交互的电子邮件。因此，可以不存在与特定电子邮件相关联的任何用户交互数据，再现涉及使用用户交互数据以对可公开访问的搜索结果进行排名的，但对特定电子邮件进行排名不起作用的各种技术。

作为另一示例，假设的是用户提交搜索查询，以搜索可对受限的用户组访问的访问受限文档的语料集，并且多个响应文档被识别为对搜索查询的响应。可以是以下项的情况：可以不响应于搜索查询的先前提交而呈现响应文档中一个或多个(例如，全部)和/或与其进行交互，并且/或者可能响应于搜索查询的先前提交而呈现响应文档中一个或多个响应文档和/或仅与其最小量进行交互。因此，响应于搜索查询，可以不存在与这种文档相关联的足够的用户交互数据，再现涉及使用用户交互数据以对可公开访问的搜索结果进行排名的，但对这种文档进行排名不起作用的各种技术。

作为再一示例，假设的是用户提交搜索查询以搜索可公开访问的文档的语料集，并且多个响应文档被识别为响应于搜索查询。可以是以下项的情况：可以不响应于搜索查询的先前提交而呈现响应文档中一个或多个(例如，全部)和/或与其进行交互，并且/或者已经响应于搜索查询的先前提交而呈现响应文档中一个或多个(例如，全部)和/或仅与其最小量进行交互。因此，响应于搜索查询，可能不存在与这种文档相关联的足够的用户交互数据，再现涉及使用用户交互数据以对可公开访问的搜索结果进行排名的，但对这种文档进行排名不起作用各种技术。

本说明书呈现了各种技术特征，该各种技术特征涉及使用响应于查询的文档的文档特征和可选地查询的查询特征来确定用于呈现与文档相对应的搜索结果的呈现特性，并且响应于该查询，提供搜索结果以利用呈现特性来呈现。与文档特征和/或查询特征相关联的度量可以用于确定呈现特性。度量可以是基于由相对应的用户与其它文档的过往交互，该其它文档与文档共享该文档特征中的一个或多个，其中，多个其它文档各自与文档不同(并且可选地，这些文档中的与彼此不同)。可选地在不需要与特定针对访问受限文档的任何过往交互的参考的情况下，而使用这种度量使在确定访问受限文档的基于交互的相关性时能够参与的过往交互。在一些实施方式中，其它文档包括但不限于：它们本身访问被限制的文档。

在一些实施方式中，在确定与响应于查询的文档相对应的搜索结果的呈现特性时，生成针对访问受限文档的查询相关度量，并且该查询相关度量用于确定呈现特性。在那些实施方式中的一些中，查询相关度量是基于在查询的查询特征与文档的文档特征之间的过往交互的度量。度量中的每一个可以基于当响应于具有查询特征中的一个或者多个查询特征的对应查询而呈现其它文档时对应的用户与具有文档特征中的一个或者多个文档特征的其它文档的过往交互的数量。

作为一个示例，假设的是用户利用电子邮件搜索界面来提交“书籍订单编号”的查询。可以搜索用户的各自是用户的访问受限文档的电子邮件的语料集，并且可以是识别为对查询的响应的多个响应电子邮件。特定响应电子邮件可以是来自“store@exampleurl.com”，可以包括“订单1A2B3C的确认”的主题，以及可以包括具有识别由用户购买的特定书籍的内容的主体、以及购买细节(例如，购买日期、送货地址、交货日期、费用)。不可以是响应于其他用户的查询而由其他用户与特定响应电子邮件进行交互(即，由于特定响应电子邮件对用户是个人的，并且对其他用户是不可访问)-并且潜在地不可以是响应于用户的查询而由用户与特定响应电子邮件进行交互。然而，仍然可以利用本文中描述的技术，以基于在查询“书籍订单编号”的查询特征与特定电子邮件的文档特征之间的过往交互的度量来确定特定电子邮件的查询相关度量。

例如，当响应于具有n元语法(n-gram)“书籍订单”的相对应的查询而呈现那些其它电子邮件时，可以基于多个用户的与在From(从)字段中包括“store@exampleurl.com”并且在Subject(主题)字段中包括“确认订单[#]”(其中，[#]是指示字母和/或数字字符串的占位符)的电子邮件的交互的数目来确定第一度量。而且，例如，当响应于具有n元语法“书籍订单”的相对应查询而呈现那些其它电子邮件时，可以基于多个用户的与在From字段中包括“store@exampleurl.com”并且在Subject字段中包括“订单确认[#]”的电子邮件的交互的数目来确定第二度量。可以基于第一度量、第二度量、和可选地其它类似的确定的度量来生成查询相关度量。例如，查询相关度量可以是度量的总和、平均值、中间值、或其它统计组合。

查询相关度量可以用于确定针对特定响应电子邮件的呈现特性。例如，可以利用查询相关度量以修改针对特定响应电子邮件的初始评分(例如，基于在查询与特定电子邮件之间的匹配的程度的评分)，并且利用该评分以相对于其它响应电子邮件对特定电子邮件进行排名(例如，可选地，基于那些电子邮件的修改过的初始评分)。例如，可以利用排名以确定在响应于查询而提供相对应搜索结果以供呈现时被首先利用的那个响应电子邮件，以确定用于搜索结果的呈现顺序(或者其它显示突出性)，和/或确定用于搜索结果的附加的或者可替选的呈现特性。

在一些实施方式中，生成用于文档的查询不相关量度，并且附加地或者可替选地，该查询不相关量度用于确定呈现特性。在那些实施方式中的一些中，查询独立度量基于当响应于对应查询而呈现其它文档时对应的用户与具有文档的文档特征中的一个或者多个文档特征的其它文档的过往交互的度量，其中，那些查询包括但不限于：不包括查询特征中的任何的那些查询。因此，响应于具有查询特征的查询，查询不相关量度可以提供具有文档特征的文档的整体受欢迎度的指示，然而查询相关度量提供了具有文档特征的文档的受欢迎度的指示。

在一些实施方式中，可以基于查询特征-文档特征模型来生成文档的查询相关度量和/或查询不相关量度。可以基于查询-文档模型、文档-特征模型、和/或查询-特征模型来生成查询特征-文档特征模型。

如由过往查询和相对应的交互的一个或多个存储的记录指示的是，查询-文档模型可以是，例如，对查询与文档之间的交互进行建模的二分图。例如，查询-文档图的节点可以指示查询和文档。边可以是在查询节点与文档节点之间，并且可以各自表示例如针对相对应的查询是否观察到相对应的文档(例如，响应于相对应的查询而呈现的相对应的搜索结果)和/或针对相对应的文档是否与文档进行交互(例如，选择相对应的搜索结果)。

文档-特征模型可以是例如对文档与文档的文档特征之间的关系进行建模的二分图。可以利用各种特征，诸如，类别特征、结构特征、和/或n元语法特征。例如，文档的类别特征可以指示文档属于的一个或多个类别，并且可以基于例如，将文档的特征应用到分类器或者其它机器学习模型和基于通过机器学习模型生成的输出来确定类别特征。作为类别的一个示例，电子邮件可以属于财务、旅行、订单确认、和/或其它类别。结构特征可以指示文档的特定结构字段的模板和/或其它内容。例如，对于电子邮件或者其它电子通信，结构特征可以包括：在电子通信的From字段中包括的From内容(例如，发送方的电子邮件地址的域名、发送方与用户的关系)、在电子通信的Subject字段中包括的Subject内容(例如，Subject字段符合的特定模板，诸如，“确认订单[#]”)、和/或共同出现特定From内容和特定Subject内容(即，From内容和Subject内容二者出现在其相应字段中)。而且，例如，访问受限文档的结构特征可以包括文件类型特征，该文件类型特征基于例如，访问受限文档的文件扩展名。其它结构特征可以包括在文档的一个或多个特定附加和/或可替选字段(诸如，在文档的标题字段中、在日历条目文档的标题、位置、和/或注释字段中)中出现的诸如模板和/或n元语法的内容。

查询-特征模型可以是例如对查询与查询的查询特征之间的关系进行建模的二分图。查询的查询特征可以包括：例如，在查询中出现的一个或多个n元语法(例如，在查询中出现的最长的n元语法)、在查询中引用的一个或多个实体(例如，特定人物、地点、和/或事物)、在查询中引用的一个或多个实体类别(例如，城市、人物名称、位置、餐馆)、查询的语法特征等。

查询特征-文档特征模型可以是例如使用查询-文档图、文档-特征图、和查询-特征图生成的二分图。查询特征-文档特征模型对文档特征与查询特征之间的交互进行建模。换句话说，查询特征-文档特征模型对文档与查询特征之间的交互、而不是直接在查询与文档之间的交互进行建模。在一些实施方式中，基于将查询-文档模型转换为由文档-特征和查询-特征模型共同建模的“文档特征”和“查询特征”空间来生成查询特征-文档特征模型。

在许多实施方式中，仅在生成查询-特征、文档-特征、和/或查询特征-文档特征图时可以利用以词项的至少阈值数目存在的(在查询或者文档中)和/或针对用户的至少阈值数目存在的特征(查询或者文档)。在那些实施方式中的一些中，这可以通过确保那些特征至少发生阈值的数目和/或针对用户的至少阈值数目发生来确保特征不包括敏感信息。

可以利用查询特征-文档特征模型以为给定文档确定针对给定文档的查询不相关量度和/或查询相关度量。例如，为了确定具有给定查询特征的给定查询的查询相关度量，可以确定在给定查询特征与给定文档的文档特征之间的边。边中的每个提供了在相对应的查询特征与相对应的文档特征之间的过往交互的度量。可以组合度量(例如，求和和/或其它统计组合)以确定查询相关度量。而且，例如，为了确定针对给定文档的查询不相关量度，可以确定在文档的所有查询特征与文档特征之间的边。可以组合度量(例如，求和和/或其它统计组合)，以确定查询不相关量度。

现在参照图1，图示了其中可以实施本文中公开的技术的示例环境。该示例环境包括：客户端装置106、搜索系统110、过往交互度量系统120、和文档度量系统130。示例环境进一步包括：客户端装置106的用户的个人语料集158。可以各自将该个人语料集158存储在一个或多个相对应的非暂时性计算机可读介质上，该非暂时性计算机可读介质可以是在客户端装置106上和/或远离客户端装置106(例如，在一个或多个远程服务器上)。个人语料集158可以各自存储用户的一个或多个访问受限文档，诸如，用户的电子通信(例如，电子邮件、SMS消息、聊天消息、社交网络消息)、媒体文件(例如，音频文件、图像文件、视频文件)、文字处理文档、日历条目、联系人条目等。

示例环境进一步包括：查询-文档模型150，该查询-文档模型150可以存储在一个或多个非暂时计算机可读介质上。如由过往查询和相对应的交互的一个或多个存储的记录指示的，查询-文档模型150可以是，例如，对查询与文档(包括但不限于：访问受限文档)之间的交互进行建模的二分图。例如，可以基于过往查询和相对应的交互的记录来生成查询-文档模型150，该过往查询和相对应的交互记录是基于由多个用户经由多个相对应的客户端装置与搜索系统的交互，由搜索系统110和/或其它搜索系统来提供的。示例环境进一步包括：一个或多个附加模型160，该一个或多个附加模型160可以是由过往交互度量系统120生成的并且由文档度量系统130利用的。例如，一个或多个附加模型160可以至少包括一个查询特征-文档特征模型。

客户端装置106的用户能够经由客户端装置106的一个或多个用户界面输入装置来向搜索系统110提交查询。例如，用户可以使用客户端装置106的麦克风来说出查询，通过使用客户端装置106的硬件和/或虚拟键盘来键入查询等。响应于来自客户端装置106的查询，搜索系统110使用例如常规和/或其它信息检索技术来搜索个人语料集158，以识别用户的响应于搜索查询的访问受限文档(如果有的话)。在一些实施方式中，个人语料集158可以包括基于一个或多个特征来对其文档进行索引的索引，并且搜索系统110使用该索引来识别响应文档。在一些实施方式中，搜索系统110附加地或者可替选地搜索语料集，该语料集110包括但不限于：不是用户的访问受限文档的访问受限文档和/或可公开访问的文档。

搜索系统110包括：排名引擎112，该排名引擎112例如，使用一个或多个排名信号来计算被识别为响应于搜索查询的文档的评分。每个排名信号提供有关文档本身和/或文档与搜索查询之间的关系的信息。

在许多实施方式中，排名引擎112在其上计算针对给定文档的评分的排名信号包括根据本文中描述的实施方式的由文档度量系统130生成的查询相关度量和/或查询不相关量度。在一些实施方式中，排名引擎112可以利用附加排名信号，诸如，指示给定文档与搜索查询之间的匹配的程度的排名信号。例如，针对文档的排名信号可以基于一个或多个查询词项中的每个是否出现在文档中、一个或多个查询词项中的每个出现在文档中的位置、在文档中出现的查询词项中的一个或多个中的每个的查询词项频率、和/或在文档中出现的查询词项的一个或多个中的每个的查询词项的文档频率。

然后，排名引擎112使用评分来对响应文档进行排名。搜索系统110使用由排名引擎112进行排名的响应文档，以生成要响应于查询而提供的搜索结果。搜索结果包括与响应于搜索查询的文档相对应的搜索结果。例如，一个或多个搜索结果中的每个可以包括：文档中的相应文档的标题、到文档中的相应文档的链路、和/或来自文档中的相应文档的内容的摘要。例如，内容的摘要可以包括响应于搜索查询的文档的特定“片段(snippet)”或者节段。而且，例如，对于与图像文档相关联的搜索结果，搜索结果可以包括：图像文档的缩小尺寸显示、与图像文档相关联的标题、和/或到图像文档的链路。而且，例如，对于与视频文档相关联的搜索结果，搜索结果可以包括：来自视频的图像、视频的区段、视频的标题、和/或到视频的链路。搜索结果的其它示例包括：响应于搜索查询的信息的摘要。能够通过响应于搜索查询和/或来自其它源的一个或多个文档来而生成摘要。

以使经由客户端装置106的一个或多个用户界面输出装置(例如，显示器和/或扬声器)能够向用户呈现搜索结果的形式来提供搜索结果。例如，通过客户端装置106可以将搜索结果呈现在弹出窗口或者再现在客户端装置106上执行的应用中的其它界面中，和/或作为经由音频传送至用户的一个或多个搜索结果。图6呈现了显示搜索结果并且本文中另外详细描述的客户端装置106的一个示例。可以用是基于相对应的搜索结果文档的排名的一个或多个呈现特性来将搜索结果呈现给用户。例如，最显著地显示的搜索结果可以是排名最高的搜索结果，下一个最显著地显示的搜索结果可以是第二高排名的搜索结果等。而且，例如，可以最初仅呈现搜索结果的所有子集，并且可以基于排名来选择那个子集。

客户端装置106可以是：例如，台式计算装置、膝上型计算装置、平板计算装置、移动电话计算装置、用户的车辆的计算装置(例如，车载通信系统、车载娱乐系统、车载导航系统)、或者用户的包括计算装置的可穿戴设备(例如，用户的具有计算装置的手表、用户的具有计算装置的眼镜)。可以提供附加和/或可替选的客户端装置。客户端装置106通常包括一个或多个应用以促进提交搜索查询以及通过网络发送和接收数据。

虽然在图1中单独地描绘搜索系统110，但是在一些实施方式中，搜索系统110可以由客户端装置106整体地或者部分地实施。例如，个人语料集158可以包括在客户端装置106上本地存储的文档并且搜索系统110可以搜索这种本地存储的文档。在一些实施方式中，搜索系统110可以由一个或多个远程计算装置整体地或者部分地实施，并且客户端装置106可以通过诸如局域网(LAN)或者广域网(WAN)等网络(例如，互联网)来与搜索系统110进行通信。而且，虽然图1描绘了仅与客户端装置106接口连接(interface)的搜索系统110和仅包括客户端装置106的用户的访问受限文档的个人语料集158，但是在一些实施方式中，搜索系统110可以与多个客户端装置接口连接和/或访问多个语料集，诸如，多个用户的个人语料集和/或非个人语料集。例如，搜索系统110可以是电子邮件服务的电子邮件搜索系统，并且可以响应于第一用户的查询来搜索第一用户的个人电子邮件语料集，可以响应于第二用户的查询来搜索第二用户的个人电子邮件语料集等。

而且，虽然在图1中仅图示了单个搜索系统110，但是可以提供多个搜索系统110，并且各个搜索系统110可以利用由文档度量系统130(或者，其单独实例)提供的查询相关度量和/或查询不相关量度。而且，虽然搜索系统110被图示为仅与个人语料集158通信，但是在一些实施方式中，搜索系统110可以附加地或者可替选地搜索非个人语料集，诸如，包括访问受限文档的公共语料集和/或非个人语料集。例如，搜索系统110可以附加地搜索公共语料集并且提供包括公共内容和访问受限内容的搜索结果。而且，虽然在图1中将文档度量系统130图示为与搜索系统110分离开，但是在一些实施方式中，可以将文档度量系统130和搜索系统110的一个或多个方面组合在单个系统中。例如，在一些实施方式中，文档度量系统130的一个或多个方面可以由搜索系统110的排名引擎112来实施。

在一些实施方式中，文档度量系统130可以包括：文档特征引擎132、查询特征引擎134、查询相关度量引擎136、和/或查询不相关量度引擎138。在一些实施方式中，可以在与文档度量系统130分离开的部件中省略、组合、和/或实施引擎132、134、136、和/或138的全部或者各个方面。

文档度量系统130从搜索系统110接收已经提交至搜索系统110的查询的指示和/或已经由搜索系统110识别为响应于查询的一个或多个文档(诸如，来自个人语料集158的访问受限文档)的指示。

文档特征引擎132针对文档中的每个文档识别文档的一个或多个文档特征。可以识别各种文档特征，诸如，本文中描述的类别特征、结构特征、和/或n元语法特征。例如，对于响应于查询的图像文档，文档特征可以包括n元语法或者指示存在于图像文档中的特定对象和/或对象的类的其它指示(例如，基于自动图像分析和/或人类应用标签确定的)。在一些实施方式中，文档特征引擎132的全部或者各个方面可以由搜索系统110来实施。

查询特征引擎134针对查询识别用于查询的一个或多个查询特征。可以识别各种查询特征，诸如，在查询中出现的一个或多个n元语法、在查询中引用的一个或多个实体、在查询中引用的一个或多个实体类别、语法特征等。在一些实施方式中，查询特征引擎134的全部或者各个方面可以由搜索系统110来实施。

查询相关度量引擎136生成文档中的每个的查询相关度量。在确定文档的查询相关度量时，查询相关度量引擎136确定在模型160中分配给由引擎132和134确定的查询特征和文档特征的过往交互度量。例如，假设的是针对查询的查询特征QF1和QF2(其中，QF指示查询特征)和响应于查询的访问受限文档的文档特征DF1、DF2、和DF3(其中，DF指示文档特征)。查询相关度量引擎136可以确定针对以下内容中每个的过往交互度量：QF1和DF1、QF1和DF2、QF1和DF3、QF2和DF1、QF2和DF2、以及QF2和DF3。然后，查询相关度量引擎136可以基于六个单独的过往交互度量的组合来生成访问受限文档的查询相关度量。

由查询相关度量引擎136所利用的过往交互度量中的每一个过往交互度量可以基于当响应于具有查询特征中的一个或者多个查询特征的对应查询而呈现其它文档时对应的用户与具有文档特征中的一个或者多个文档特征的其它文档的过往交互的数目。其它文档本身可以包括但不限于：多个访问受限文档，诸如，对其他用户中的一个相对应用户各自是个人的并且对用户是不可访问的不可访问文档。本文中提供了对生成过往交互度量的附加描述。

查询相关度量引擎138生成文档中的每个的查询相关度量。在确定文档的查询不相关量度时，查询不相关量度引擎138确定在模型160中分配给查询特征组和由引擎134确定的文档特征的过往交互度量。该查询特征组包括但不限于：除了由查询特征引擎134确定那些查询特征之外的查询特征。因此，查询特征组与文档是响应的查询不相关，其意义在于：查询特征组包括除了查询的查询特征之外的查询特征。作为一个示例，假设的是针对访问受限文档的文档特征DF1、DF2、和DF3(其中，DF指示文档特征)。查询不相关量度引擎138可以确定：查询特征组与DF1之间的所有过往交互度量、查询特征组与DF2之间的所有过往交互度量、和查询特征组与DF3之间的所有过往交互度量。例如，假设的是查询特征组包括查询特征QF1-QF1000。对于DF1，可以针对QF1和DF1、QF2和DF1、QF3和DF1、...、以及QF1000和DF1确定过往交互度量。然后，查询不相关量度引擎136可以基于过往交互度量的组合来生成查询相关度量。

文档度量系统130将针对文档中的每个的查询相关度量和/或查询不相关量度提供至搜索系统110。排名引擎112可以在对文档进行排名时利用查询相关度量和/或查询不相关量度，并且可以在确定呈现顺序和/或针对对文档的搜索结果的其它呈现特性时使用该排名。在一些实施方式中，排名引擎112利用查询相关度量和/或查询不相关量度来确定文档的评分，并且使用该评分来对文档进行排名。例如，排名引擎112可以考虑到查询相关度量和/或查询不相关量度来调整针对文档的基本评分(例如，基于其它排名信号的基本评分)以创建所修改的评分。

作为一个示例，针对查询假设的是文档的基本评分为sc_b。该基本评分可以基于例如，关键字匹配和/或其它排名信号。排名引擎112可以基于f(sc_b，M_d，M_q，d)来确定最终评分sc_f，其中，M_d表示针对文档的查询相关度量，并且其中，M_q，d表示针对文档的查询不相关量度。可选地，f(·)能够是手动调整的评分或者机器学习的排名函数。在一些实施方式中，排名引擎112保持基本评分(sc_b)固定，并且对基本评分sc_b训练调整δ(M_d，M_q，d)。因此，评分函数f(·)变为：f(sc_b，M_d，M_q，d)＝sc_b+δ(M_d，M_q，d)。该自适应公式可以对于已经对基本评分进行了高度优化的环境、以及可选地与查询不相关量度和/或查询相关度量不相交的环境可能是有益的。

在一些实施方式中，文档度量系统120可以包括：查询-文档模型引擎122、文东-特征模型引擎124、查询-特征模型引擎126、和/或查询特征-文档特征模型引擎128。在一些实施方式中，可以在与过往交互测量系统120分离开的部件中省略、组合、和/或实施引擎132、124、126、和/或128的全部或者各个方面。

查询-文档模型引擎122生成查询-文档模型150。在一些实施方式中，查询-文档模型引擎122的所有或者各个方面可以由搜索系统110来实施。如由过往查询和相对应的交互的一个或多个存储的记录指示的是，查询-文档模型150可以是例如，对查询与文档之间的交互进行建模的二分图。例如，查询-文档图的节点可以指示查询和文档。边可以是在查询节点与文档节点之间，并且可以各自表示例如，针对相对应的查询是否观察到相对应的文档(例如，响应于相对应的查询而呈现的相对应的搜索结果)和/或针对相对应的查询是否与文档进行交互(例如，选择相对应的搜索结果)。在一些实施方式中，边中的每个可以包括是否发生交互的二进制表示。在一些实施方式中，可以基于交互的类型来对边进行加权。例如，与未在阈值时间持续时间内访问底层文档之后选择搜索结果相比，可以对在至少阈值时间持续时间内访问底层文档之后的选择搜索结果进行更重的加权，不进行结果选择的情况下，该操作可能被加权得比搜索结果的“悬停”更重。

在一些实施方式中，可以由元组来表示查询-文档模型150，其中，Q是表示相对应的查询的文档节点的集合，是表示相对应的文档的文档节点的集合，以及边集合表示连接查询节点和文档特征节点的边。可以通过e(q，d)＝<γ_o(q，d)，γ_c(q，d)>来使在边集合中的边参数化，其中，q表示由边连接的查询节点，d表示由边连接的文档节点，以及参数化函数γ_o(a，b)和γ_c(a，b)指示在相同的搜索会话中观察到的或者点击的实体a和b。

在本说明书中，术语“图形”将会广泛地用于指代多个相关联的信息项目的任何映射。图形或者图形的部分不需要存在于单个存储装置中，并且可以包括指针或者可以存在于其它存储装置上的信息项目的其它指示。例如，图形可以包括映射至彼此的多个节点，其中，每个节点包括实体的标识符或者可以存在于另一数据结构和/或另一存储介质中的其它信息项目。

文档-特征模型引擎124生成可以可选地包括在模型160中的文档-特征模型。文档-特征模型引擎124可以基于在查询-文档模型150中包括的文档来生成文档特征。例如，对于查询-文档模型150的文档中的每个，引擎124可以识别一个或多个文档特征并且定义文档与文档的文档特征之间的关系。文档-特征模型可以是例如，对文档与文档的文档特征之间的关系进行建模的二分图。例如，在模型中的第一节点可以表示文档特征，并且可以通过相对应的边来将那个节点连接至分别表示包括文档特征的相对应文档的多个文档节点中的每个。边可以分别指示相对应的特征是否存在于相对应的文档中，并且可选地指示针对相对应的文档的相对应特征的权重(例如，对于类别特征，权重可以指示文档如何更强地与类别相关联)。可以利用各种特征，诸如，类别特征、结构特征、和/或n元语法特征。

在一些实施方式中，可以由元组来表示文档-特征模型，其中，是表示相对应的文档的文档节点的集合，其中，A^D是表示文档特征的集合的文档特征节点的集合，以及边集合表示连接文档节点和文档特征节点的边。可以由来使在边集合中的边参数化，其中，指示相对应的特征是否存在于相对应的文档中、以及是否是可选地针对相对应的文档的相对应特征的权重。

查询-特征模型引擎126生成可以可选地在模型160中包括的查询-特征模型。查询-特征模型引擎126可以生成查询的针对在查询-文档模型150中包括的特征。例如，对于查询-文档模型150的查询中的每个，引擎126可以识别一个或多个查询特征并且定义查询与查询的查询特征之间的关系。查询-特征模型可以是例如，对查询与查询的查询特征之间的关系进行建模的二分图。例如，在模型中的第一节点可以表示查询特征，并且可以通过相对应的边来将该节点连接至各自表示包括查询特征的相对应文档的多个查询节点中的每个查询节点。边可以各自指示相对应的特征是否存在于相对应的查询中，并且是否是可选地指示相对应的查询的相对应特征的权重。可以利用各种特征，诸如，在查询中出现的一个或多个n元语法、在查询中引用的一个或多个实体、在查询中引用的一个或多个实体类别、查询的语法特征等。

可以用元组(Q，A^Q，ε^Q)来表示查询-特征模型，其中，Q是表示相对应的查询的查询节点的集合，其中，A^Q是表示查询特征的集合的查询特征节点的集合，以及边集合ε^Q表示连接查询节点和查询特征节点的边。可以由来使在边集合ε^Q中的边参数化，其中，指示相对应的查询特征是否存在于相对应的查询中、以及是否是可选地相对应的查询的相对应特征的权重。

查询特征-文档特征模型引擎128生成可以可选地在模型160中包括的查询特征-文档特征模型。该查询特征-文档特征模型可以是例如，使用查询-文档图、文档-特征图、和查询-特征图生成的二分图。查询特征-文档特征模型对文档特征与查询特征之间的交互进行建模。换句话说，查询特征-文档特征模型对文档特征与查询特征之间的交互而不是直接在查询与文档之间的交互进行建模。在一些实施方式中，基于将查询-文档模型转换为由文档-特征和查询-特征模型共同建模的“文档特征”和“查询特征”空间来生成查询特征-文档特征模型。

可以由元组来表示查询特征-文档特征模型，其中，A^Q是表示查询特征的集合的查询特征节点的集合，A^D是表示文档属性的集合的文档特征节点的集合，以及边集合ε^A表示连接查询特征节点和文档特征节点的边。在边集合ε^A中的边各自具有基于在相对应的查询特征节点的查询特征与相对应的文档特征节点的文档特征之间的过往交互的数目的权重或者其它度量。可以按照以下公式来使边集合ε^A中的边参数化：

其中，如上面阐述的那样定义各个边函数e(·)。如通过查看上面阐述的边的参数化了解到的，参数化经由对能够与其相应属性相关联的所有查询和文档进行求和来对观察到的查询-文档属性和同时点击关联进行建模。

在许多实施方式中，仅在生成查询-特征、文档-特征、和/或查询特征-文档特征模型时可以利用以至少阈值次数存在(在查询或者文档中)和/或针对至少阈值个数的用户存在的特征(查询或者文档)。在那些实施方式中的一些中，这可以通过确保那些特征节点至少发生阈值的次数和/或针对用户的至少阈值数目发生来确保特征节点不包括敏感信息。在那些实施方式中的一些中，这可以通过从文档-特征图中去除不具有指示在相对应的文档中存在的至少阈值数目的边的任何文档特征节点来实现；和/或通过从查询-特征模型中去除不具有指示在相对应的查询中存在的至少阈值数目的边的任何查询特征节点。附加地或者可替选地，可以利用类似的技术来将查询特征节点和/或文档特征节点从查询-特征文档特征模型中去除。

可以利用查询特征-文档特征模型来为给定文档确定针对给定文档的查询不相关量度和/或查询相关度量。例如，为了确定针对具有给定查询特征的给定查询的查询相关度量，可以确定在给定查询特征与文档的文档特征之间的边。边中的每个提供在相对应的查询特征与相对应的文档特征之间的过往交互的度量。可以组合度量(例如，求和和/或其它统计组合)以确定查询相关度量。而且，例如，为了确定针对给定文档的查询不相关量度，可以确定在查询特征组(该查询特征组包括但不限于：给定查询特征中不包括的查询特征)与文档的文档特征之间的边。可以组合度量(例如，求和和/或其它统计组合)以确定查询不相关量度。

参照图2A至图2D、以及图3提供了对可以在各种实施方式中利用的各种模型的附加描述。

图2A图示了根据各种实施方式的查询-文档模型158的部分的表示。该部分包括通过边151A连接至文档节点153A的查询节点152A。该部分还包括通过边151B连接至另一文档节点153B的单独的查询节点152B。

查询节点152A表示特定查询，并且文档节点153A表示特定文档。出于工作示例之目的，将会假设的是查询节点152A表示“书籍订单编号”的查询并且文档节点153A表示图3的电子邮件353A。边151A表示响应于与查询节点152A相对应的查询，由用户与相对应于文档节点153A的文档的搜索结果进行交互。

查询节点152B表示与由查询节点152A表示的特定查询不同的特定查询，并且文档节点153A表示与由文档节点153A表示的特定文档不同的特定文档。出于工作示例之目的，将假设的是查询节点152B表示“书籍订单”的查询并且文档节点153B表示图3的电子邮件353B。边151B表示响应于与查询节点152B相对应的查询，由用户与相对应于文档节点153B的文档的搜索结果进行交互。

应当理解，查询-文档模型158将会包括大量附加查询节点、文档节点、和边。例如，将会提供连接附加查询节点和附加文档节点的附加边。而且，例如，可能的是：可以将附加边连接至节点152A、152B、153A、和153B中的一个或多个。例如，可能已经响应于多个不同的查询而选择了由文档节点153A表示的文档。而且，例如，由查询节点152A表示的查询可能已经由多个用户发出并且用于选择多个不同的文档，诸如，那些用户的多个访问受限文档。

图2B图示了根据各种实施方式的模型160的查询-特征模型160A的部分的表示。查询节点152A通过相对应的边161A至161C连接至查询特征节点162A至162C，这指示由查询节点152A表示的查询具有由查询特征节点162A至162C表示的查询特征。查询节点152B通过相对应的边161A和161C连接至查询特征节点162A和162C，但是不连接至查询特征节点162B。查询节点152B与查询特征节点162B之间缺少边指示由查询节点152B表示的查询不具有由查询特征节点162B表示的查询特征。在一些实施方式中，仍然可以对边进行限定，但是边可以指示特征不存在(例如，该边可以是“不存在的”边，而边161C和161D可以是“存在的”边)。

继续工作示例，查询特征节点162A可以是n元语法“书籍订单”的查询特征，查询特征节点162B可以是n元语法“书籍订单编号”的查询特征，以及查询特征节点162C可以是n元语法“订单”的查询特征。

应当理解，查询-特征模型将会包括大数目的附加查询节点、查询特征节点、和边。例如，可以将附加查询特征节点连接至查询节点152A和152B中的每个。而且，例如，可以将查询特征节点162A至162C中的每个连接至多个附加查询节点。而且，例如，将会向附加查询节点和附加查询特征节点提供有相对应的边。

图2C图示了根据各种实施方式的模型160的文档-特征模型160B的部分的表示。文档节点153A通过相对应的边163A和163B连接至文档特征节点164A和164B，这指示由文档节点153A表示的文档具有由文档特征节点164A和164B表示的文档特征。文档节点153B通过相对应的边163C和163D连接至文档特征节点164A和164C，这指示由文档节点153B表示的文档具有由文档特征节点164A和164C表示的文档特征。文档节点153A与文档特征节点164C之间缺少边指示由查询节点153A表示的文档不具有由文档特征节点164C表示的文档特征。同样，文档节点153B与文档特征节点164B之间缺少边指示由文档节点153B表示的文档不具有由文档特征节点164B表示的文档特征。在一些实施方式中，代替缺少边，仍然可以对边进行限定，但是可以指示不存在相对应的文档特征。

继续工作示例，文档特征节点164A可以是结构文档特征，诸如，指示存在于电子邮件353A和353B中的From字段和/或发件人(Sender)字段中的特定内容的结构文档特征。例如，文档特征节点164A可以指示From字段中的域名“@exampleurl.com”和Subject字段中的模板“购买确认-[#]”同时存在，其中，[#]是指示字符(alpha)和/或数字字符串的占位符。作为另一示例，文档特征节点164A(或者附加文档特征节点)反而可以指示From字段和Subject字段两者中的特定内容同时存在(例如，From字段中的store@exampleurl.com和Subject字段中的“购买确认”同时存在)，或者该特定内容仅包被括在From字段和Subject字段中的一个中。文档特征节点164A可以指示来自电子邮件353A的主体的n元语法，诸如，构成的书名“Bald Potter”。文档特征节点164C可以指示来自电子邮件353A的主体的n元语法，诸如，构成的书名“Fear and Dislike in Los Angeles”。

应当理解，文档-特征模型将会包括大数目的附加文档节点、文档特征节点、和边。例如，附加文档特征节点可以被连接至文档节点153A和153B中的每个。而且，例如，文档特征节点164A至164C中的每个可以被连接至多个附加文档节点。而且，例如，将向附加文档节点和文档特征节点提供有相对应的边。

图2D图示了根据各种实施方式的模型160的查询特征-文档特征模型160C的部分的表示。查询特征节点162A至162C各自通过相对应的边连接至文档特征节点164A至164C中的每个。为了简单起见，没有标记图2D的边。图2D的边中的每个限定在相对应的查询特征节点与文档特征节点之间的相对应的过往交互度量，并且可以基于在图2A至图2C中的部分中图示的模型来生成该相对应的过往交互度量。

注意的是，在生成由图2D的边限定的过往交互度量时，对在图2A中表示的文档交互的两个查询将会对除了在查询特征节点162B与文档特征节点164C之间的边之外的所有的边的过往交互度量具有积极影响。这是因为，如由图2A至图2C的模型指示的是，在图2A中表示的交互不指示查询特征节点162B与文档特征节点164C之间的交互。换句话说，由于文档特征节点164C与文档节点153B相关联，但是不与文档节点153A相关联，并且查询特征节点162B与查询节点152A相关联，但是不与查询节点152B相关联，图2A的交互不映射至查询特征节点162B与文档特征节点164C之间的交互。与其它模型相同的是，应当理解，查询特征-文档特征模型将会包括大量附加查询特征节点、文档特征节点、和边。

图4是图示了生成多个查询特征、文档特征元组中的每个的过往交互度量的示例方法400的流程图。为了方便起见，参照执行操作的系统来描述流程图的操作。该系统可以包括各种计算机系统的各种部件，诸如，过往交互度量系统120的一个或多个部件。此外，虽然以特定顺序来示出方法400的操作，但是这并不意味着仅限于此。可以对一个或多个操作重新排序，省略、或者添加。

在框452中，系统选择多个文档特征。例如，系统可以基于在用户的至少阈值数目的访问受限文档中发生的文档特征和/或在至少阈值数目的文档中发生的文档特征来选择文档特征。在一些实施方式中，系统基于针对作为如本文中描述的查询-文档模型中包括的文档的特征的那些特征来选择文档特征。在一些实施方式中，在选择文档特征时，系统创建如本文中描述的文档-特征模型。

在框454中，系统选择多个查询特征。例如，针对访问受限文档，系统可以基于在至少阈值数目的用户的查询中发生的查询特征和/或在至少阈值数目的这种查询中发生的查询特征来选择查询特征。在一些实施方式中，系统基于作为如本文中描述的查询-文档模型中包括的查询的特征的那些特征来选择查询特征。在一些实施方式中，在选择查询特征时，系统创建如本文中描述的查询-特征模型。

在框456中，系统选择查询特征、文档特征元组。例如，查询特征、文档特征元组可以是单个查询特征和单个文档特征。在一些实施方式中，单个查询特征和/或单个文档特征本身可以是特征的组合。例如，单个文档特征可以是同时存在的以下内容：在文档的第一特定字段中的某个第一内容；以及在文档的第二特定字段中的某个第二内容。

在框458中，响应于具有元组的查询特征，系统基于与具有元组的文档特征的文档的过往交互的数目来生成元组的过往交互度量。在一些实施方式中，系统可以基于将查询-文档模型转换为由如本文中描述的文档-特征和查询-特征模型共同建模的“文档特征”和“查询特征”空间来生成过往交互度量。

在框460中，系统存储与元组相关联的过往交互度量。例如，系统可以将过往交互度量存储为用于连接表示元组的查询特征的查询特征节点和表示元组的文档特征的文档特征节点的边的值。在一些实施方式中，可以将过往交互度量存储在如本文中描述的查询-文档特征模型中。

在框462中，系统确定是否存在要处理的剩余元组。如果存在，则系统进行返回至框456以选择另一查询特征、文档特征元组，并且执行框458、460、和462的另一迭代。系统可以执行框456、458、460和462的大量迭代以针对大数目的元组生成大数目的过往交互度量。可以顺序地和/或并行地执行这种迭代。

如果在框460中，系统确定不存在要处理的剩余元组，则过程在框464处结束。例如，可以在下面描述的方法500中和/或通过如本文中描述的文档度量系统130来利用基于方法400生成的过往交互度量。

图5是图示了使用响应于查询的文档的查询相关度量和/或不相关量度来对文档进行排名，并且基于该排名来提供相对应的搜索结果的示例方法500的流程图。为了方便起见，参照执行操作的系统来描述流程图的操作。该系统可以包括各种计算机系统的各种部件，诸如，文档度量系统130的一个或多个部件。此外，虽然以特定顺序来示出方法500的操作，但是这并不意味着仅限于此。可以对一个或多个操作重新排序，省略、或者添加。

在框552中，系统接收查询。

在框554中，系统识别响应于查询的响应文档。该响应文档可以可选地包括但不限于：访问受限文档。

在框556中，系统识别针对框552的查询的一个或多个查询特征，并且识别针对框554的响应文档中的文档的一个或多个文档特征。

在框558中，系统基于在查询特征与文档特征之间的过往交互的度量来生成针对文档的查询相关度量。

在框560中，响应于不具有在框552处接收到的查询的查询特征中的任何的查询，系统基于过往交互的度量来生成针对文档的查询不相关量度。在一些实施方式中，系统可以仅执行框558和框560中的一个。

在框562中，系统确定是否存在要处理的剩余文档。如果存在，则系统继续至框564并且识别针对剩余文档中的一个的文档特征。然后，系统使用那些文档特征来执行框558和560的另一迭代。针对不同的响应文档的每个时刻，系统可以执行框564、558、和560的多个迭代。系统可以处理所有响应文档或者响应文档的子集(例如，仅根据基于其它排名信号生成的那些文档的评分前X个文档)。可以顺序地和/或并行地执行多次迭代。

如果在框562中，系统确定不存在要处理的剩余访问受限文档，则系统继续至框566。

在框566中，系统使用在框558的多次迭代中生成的查询相关度量和/或在框560的多次迭代中生成的查询不相关量度来对在框554处识别到的响应文档进行排名。例如，系统可以考虑到查询相关度量和/或查询不相关量度来调整针对响应文档中的每个的基本评分(例如，基于其它排名信号的基本评分)，以创所建修改的评分。

在框568中，系统基于框566的排名来提供针对响应文档中的一个或多个响应文档的搜索结果。基于框566的排名来提供搜索结果可以包括：向搜索结果提供有基于排名的呈现特性，诸如，呈现顺序。

图6图示了客户端装置106的计算装置106和显示屏幕140的示例。显示屏幕140包括系统接口元件181、182、183，通过用户可以与该系统接口元件181、182、183进行交互，以使客户端装置106执行一个或多个动作。显示屏幕140还包括搜索接口元件184，在该搜索接口元件184中，用户已经使用例如虚拟键盘或者经由麦克风提供的用户界面输入来输入了查询“书籍订单编号”。可以响应于查询来提供搜索结果185A、185B、和185C。

在图6中，首先基于本文中描述的技术来呈现搜索结果185A，该本文中描述的技术涉及生成并且利用与搜索结果185A相对应的文档的查询相关度量。搜索结果185A与图3的电子邮件353C相对应。在一些实施方式中，可以至少部分地基于在针对查询“书籍订单编号”的查询特征与基于电子邮件353C的Subject字段和From字段中的内容中的一个或者两个的文档特征之间的过往交互度量，以确定针对搜索结果185A的查询相关度量。在一些实施方式中，基于此确定搜索结果185A的查询相关度量的过往交互度量可以是与电子邮件353C不相关来确定的过往交互度量。在那些实施方式中的一些中，可以基于不同的电子邮件和/或其它文档来确定过往交互度量，诸如，对其他用户是个人的并且在图6中录入查询的用户不可访问的电子邮件353A和353B(图3)。

注意的是，在图6的示例中，在不需要利用查询相关度量的情况下，将不会首先呈现搜索结果185A。例如，因为那些搜索结果包括在它们相对应的电子邮件的Subject字段中的查询的词项，所以使用仅考虑关键字匹配的排名信号可能已经引起将搜索结果185A和搜索结果185C比搜索结果185A呈现得更显著。例如，搜索结果185B针对在其主题中具有“书籍”和“订单”的电子邮件，并且搜索结果185C是针对在其主题中具有“订单”的另一电子邮件。与此相反，文档353C(针对搜索结果185A的相对应文档)在其Subject字段中不具有查询的任何词项。相反，文档353C仅包括在电子邮件的主体中的词项(“订单”)中的一个词项(见图3)。因此，与在没有技术特征的搜索结果185A和/或按照最初呈现搜索结果185A情况下相比，可以利用本文中描述的技术特征来呈现更显著地呈现搜索结果185A，而在没有技术特征的情况下将不会按照最初呈现搜索结果185A。这可能引起相关的搜索结果185A更可能响应于查询而被用户注意到和/或选择，这会产生各种技术优点。例如，假设的是搜索结果未被更显著地呈现，则这可以减少将会被消耗的各种计算资源，诸如，由于以下原因而被消耗的资源：用户通过多个搜索结果进行导航以定位搜索结果185A，用户由于搜索结果185A未被注意和/或按最初呈现而发出新的搜索。

虽然图6和关于电子邮件文档描述的其它示例、本文中描述的许多实施方式附加地或者可替选地可应用到其它文档，诸如但不限于：本文中明确描述的其它文档(例如，媒体文档(例如，图像文档、音频文档、视频文档)、日历条目文档、联系人条目文件、其它电子通信(例如，社交网络帖子、聊天消息)。

在本文中描述的系统采集有关用户的个人信息或者可以利用个人信息的情况下，可以为用户提供如下机会：控制程序或者特征是否采集用户信息(例如，有关用户的社交网络、社交动作或者活动、职业、用户的偏好、或者用户的当前位置的信息)或者控制是否和/或如何从内容服务器接收可能与用户更有关的内容。而且，在存储或者使用特定数据之前，可以以一种或者多种方式来处理该特定数据，从而使得可以去除个人身份信息。例如，可以处理用户的身份，从而使得无法确定用户的个人身份信息，或者可以将用户的可以从中获得地理位置信息(诸如，城市、邮政编码、或者州县等级)的地理位置一般化，从而使得无法确定用户的特定地理位置。由此，用户可以对采集和/或使用有关用户的信息的方式进行控制。

图7是可以可选地利用来执行本文中描述的技术的一个或多个方面的示例计算装置710的框图。在一些实施方式中，图1的部件中的一个或多个部件可以包括示例计算装置710的一个或多个部件。

计算装置710通常包括至少一个处理器714，该至少一个处理器714经由总线子系统712来与若干外围装置进行通信。这些外围装置可以包括存储子系统724，该存储子系统724包括：例如，存储器子系统725和文件存储子系统726、用户界面输出装置720、用户界面输入装置722、和网络接口子系统716。输入和输出装置允许用户与计算装置710进行交互。网络接口子系统716提供到外部网络的接口并且耦合至其它计算装置中的相对应接口装置。

用户界面输入装置722可以包括：键盘、指向装置(诸如，鼠标、轨迹球、触摸板、或者图形输入板)、扫描仪、并入显示器中的触摸屏幕、音频输入装置(诸如，语音识别系统、麦克风和/或其它类型的输入装置)。一般而言，对术语“输入装置”的使用旨在包括将信息输入到计算装置710中或者通信网络上的所有可能类型的装置和方式。

用户界面输出装置720可以包括：显示子系统、打印机、传真机、或者非视觉显示器(诸如，音频输出装置)。显示子系统可以包括：阴极射线管(CRT)，平板装置(诸如，液晶显示器(LCD))、投影装置、或者用于创建可视图像的一些其它机构。显示子系统还可以诸如，经由音频输出设备来提供非视觉显示器。一般而言，对术语“输出装置”的使用旨在包括将信息从计算装置710输出至用户或者另一机器或者计算装置的所有可能类型的装置和方式。

存储子系统724存储提供本文中描述的模块中的一些或者所有模块的功能的程序和数据结构。例如，存储子系统724可以包括执行图4和/或图5的方法的选定方面的逻辑件。

这些软件模块通常由处理器714单独执行或者结合其它处理器执行。用于存储子系统724的存储器725能够包括若干存储器，包括：用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)730和将固定指令存储在其中的只读存储器(ROM)732。文件存储子系统726能够为程序和数据文件提供持久存储，并且可以包括硬盘驱动器、软盘驱动器以及关联的可移动介质、CD-ROM驱动器、光学驱动器、或者可移动介质盒。文件存储子系统726可以将实施某些实施方式的功能的模块存储在存储子系统724中或者可由处理器714访问的其它机器中。

总线子系统712提供用于使计算装置710的各个部件和子系统如预期彼此通信的机制。虽然总线子系统712被示意性地示出为单个总线，但是总线子系统的可替选实施方式可以使用多个总线。

计算装置710的类型能够变化，包括：工作站、服务器、计算集群、刀片式服务器、服务器群、或者任何其它数据处理系统或者计算装置。由于计算机和网络的不断变化的性质，对在图7中描绘的计算装置710的描述仅旨在作为为了说明一些实施方式的具体示例。计算装置710的许多其它配置可以具有比在图7中描绘的计算装置更多或者更少的部件。

虽然本文已经描述并且图示了几种实施方式，但是可以利用用于执行功能和/或获得结果和/或本文中描述的一种或者多种优点的各种其它装置和/或结构，并且这种变化和/或修改中的每个被认为在本文中描述的实施方式的范围内。更一般地，本文中描述的所有参数、尺寸、材料、和配置旨在是示例性的，并且实际的参数、尺寸、材料、和/或配置将取决于教导/使用的具体应用。本领域的技术人员要认识到或者能够确定：仅使用例行实验、本文中描述的具体实施方式许多等效物。因此，应当理解，仅通过示例的方式呈现前述实施方式，并且前述实施方式在所附权利要求书及其等效物的范围内，可以按照与具体描述的和要求保护的不同的方式实践实施方式。本公开的实施方式涉及本文中描述的各个单独特征、系统、制品、材料、套件、和/或方法。另外，如果这种特征、系统、制品、材料、套件、和/或方法不相互矛盾，则两个或者更多个这种特征、系统、制品、材料、套件、和/或方法的任何组合包括在本公开的范围内。

Claims (19)

1.一种由一个或多个处理器实施的方法，包括：

接收查询，所述查询由用户经由所述用户的计算装置的用户界面输入装置录入；

识别响应于所述查询的多个响应文档，其中，所述多个响应文档包括发送至所述用户的电子邮件地址的电子邮件；

识别针对所述电子邮件的一个或多个文档特征，所述一个或多个文档特征包括基于以下至少一项的至少一个电子邮件特征：

From内容，所述From内容基于其在所述电子邮件的From字段中的存在，以及

Subject内容，所述Subject内容基于其在所述电子邮件的Subject字段中的存在；

识别针对所述查询的一个或多个查询特征；

基于在所述一个或多个查询特征与所述一个或多个文档特征之间的过往交互的度量来生成针对所述电子邮件的查询相关度量，其中，所述度量中的每个度量是基于由当响应于具有所述一个或多个查询特征的相对应查询而呈现其它文档时相对应的用户与具有所述一个或多个文档特征的所述其它文档的过往交互的数目；

使用所述电子邮件的所述查询相关度量来确定用于呈现与所述电子邮件相对应的电子邮件搜索结果的呈现特性；以及

响应于所述查询，提供所述电子邮件搜索结果以经由所述计算装置的用户界面输出装置利用所述呈现特性来呈现。

2.根据权利要求1所述的方法，其中，所述至少一个电子邮件特征是基于所述From字段中的所述From内容和所述Subject字段中的所述Subject内容的。

3.根据权利要求2所述的方法，其中，所述至少一个电子邮件特征是所述From字段中的所述From内容和所述Subject字段中的所述Subject内容的同时存在。

4.根据权利要求3所述的方法，其中，所述From内容包括所述电子邮件的发送方电子邮件地址的域名。

5.根据权利要求4所述的方法，其中，所述Subject内容包括模板，所述模板包括一个或多个词项和一个或多个占位符。

6.根据权利要求1所述的方法，其中，所述至少一个电子邮件特征是基于所述Subject字段中的所述Subject内容的，并且其中，所述Subject内容包括模板，所述模板包括一个或多个词项和一个或多个占位符。

7.根据权利要求1所述的方法，其中，所述多个度量所基于的所述其它文档不包括所述电子邮件。

8.根据权利要求1所述的方法，其进一步包括：

响应于不具有所述一个或多个查询特征中的任何一个查询特征的附加查询，基于与所述一个或多个文档特征的附加过往交互的附加度量来生成针对所述电子邮件的第二查询不相关量度；以及

进一步使用针对所述电子邮件的所述第二查询不相关量度，来确定用于呈现与所述电子邮件相对应的所述电子邮件搜索结果的呈现特性。

9.根据权利要求1所述的方法，其中，使用针对所述电子邮件的所述查询相关度量来确定所述呈现特性包括：

基于所述查询相关度量来确定针对所述电子邮件的评分；

确定针对所述多个响应文档中的其它响应文档的相应评分；

基于针对所述电子邮件的所述评分和针对所述多个响应文档中的所述其它响应文档的所述相应评分，相对于所述多个响应文档中的所述其它响应文档对所述电子邮件进行排名；以及

基于所述电子邮件的所述排名来确定所述呈现特性。

10.根据权利要求1所述的方法，其中，所述一个或多个文档特征进一步包括所述电子邮件的类别，并且所述方法进一步包括：

使用机器学习模型来确定所述电子邮件的所述类别。

11.根据权利要求1所述的方法，其中，与具有所述一个或多个文档特征的其它文档的所述过往交互包括选择所述其它文档。

12.一种由一个或多个处理器实施的方法，包括：

接收查询，所述查询由用户经由所述用户的计算装置的用户界面输入装置录入；

识别响应于所述查询的多个响应文档，其中，所述多个响应文档包括所述用户的多个访问受限文档，所述多个访问受限文档仅能够对所述用户和所述用户指定的任何受限的其它用户组访问；

识别针对所述查询的一个或多个查询特征；

对于所述多个访问受限文档中的每个访问受限文档：

识别针对该访问受限文档的一个或多个文档特征；以及

基于在所述一个或多个查询特征与所述一个或多个文档特征之间的过往交互的度量，生成针对该访问受限文档的查询相关度量，

其中，所述度量中的每个度量是基于由当响应于具有所述一个或多个查询特征的相对应查询而呈现其它文档时相对应的用户与具有所述一个或多个文档特征的所述其它文档的所述过往交互的数目，以及

其中，所述其它文档包括对所述用户不能够访问的多个不能够访问文档；

使用针对所述多个访问受限文档的相应查询相关度量来确定针对所述多个响应文档的呈现顺序；以及

响应于所述查询，提供所述一个或多个响应文档以经由所述计算装置的用户界面输出装置基于所述呈现顺序来呈现。

13.根据权利要求12所述的方法，其中，针对所述访问受限文档的所述一个或多个文档特征包括模板，所述模板被包括在所述访问受限文档的特定字段中。

14.根据权利要求12所述的方法，其中，所述其它文档不包括所述多个访问受限文档中的一个或多个访问受限文档。

15.根据权利要求12所述的方法，其中，所述度量中的给定度量所基于的所述其它文档由所述用户不能够访问的不能够访问文档组成。

16.根据权利要求12所述的方法，进一步包括：

对于所述多个访问受限文档中的每个访问受限文档：响应于不具有所述一个或多个查询特征中的任何一个查询特征的附加查询，基于与所述一个或多个文档特征的附加过往交互的附加度量来生成该访问受限文档的查询不相关量度；以及

进一步使用针对所述多个访问受限文档的相应查询不相关量度来确定所述多个响应文档的所述呈现顺序。

17.一种由一个或多个处理器实施的方法，包括：

接收查询，所述查询由用户经由所述用户的计算装置的用户界面输入装置录入；

识别响应于所述查询的多个响应文档；

识别所述查询的一个或多个查询特征；

对于所述多个文档中的每个文档：

识别针对该文档的一个或多个文档特征；

基于在所述一个或多个查询特征与所述一个或多个文档特征之间的过往交互的度量，以生成针对该文档的查询相关度量，

其中，所述度量中的每个度量由基于当响应于具有所述一个或多个查询特征的相对应查询而呈现其它文档时相对应的用户与具有所述一个或多个文档特征的所述其它文档的过往交互的数目，以及

其中，所述其它文档包括除了该文档之外的多个文档；

使用针对所述多个文档的相应查询相关度量来确定针对所述多个响应文档的呈现顺序；以及

响应于所述查询，提供所述多个响应文档以经由所述计算装置的用户界面输出装置基于所述呈现顺序来呈现。

18.根据权利要求17所述的方法，其中，针对所述文档的所述一个或多个文档特征包括模板，所述模板被包括在所述文档的特定字段中。

19.根据权利要求17所述的方法，其进一步包括：

对于所述多个文档中的每个文档：响应于不具有所述一个或多个查询特征中的任何一个查询特征的附加查询，基于与所述一个或多个文档特征的附加过往交互的附加度量来生成针对该文档的查询不相关量度；以及

进一步使用针对所述多个响应文档的相应查询不相关量度来确定针对所述多个响应文档的所述呈现顺序。