CN110692054A - 预测数字分量的不可观察参数 - Google Patents

Abstract

用于提高选择要呈现在电子文档中的数字分量的效率并减少在电子文档中显现数字分量的时延的系统、方法、设备和技术。在一些实施方式中，内容分发系统响应于请求，使用候选分量集合的预测度量来确定要呈现在电子文档中的项。度量预测模型可以借助参数预测子模型来生成预测度量，其中该参数预测子模型预测与对数字分量的请求相关联的不可观察参数的值。

Description

预测数字分量的不可观察参数

相关申请的交叉引用

本申请要求于2017年9月12日提交的美国申请序列号62/557,655的优先权，其全部内容通过引用而合并于此。

技术领域

本说明书通常涉及数据处理，并且更具体地，涉及预测用于选择数字分量的不可观察参数的值。

背景技术

互联网促进了全球用户之间的信息交换和交易执行。互联网使能的设备之间的广泛连接允许以显著的规模向终端用户分发数字内容，例如，用于在诸如网页或应用界面的电子文档中呈现。在一些实例中，来自多个不同源的数字分量可以被集成到单个电子文档中，以创建复合文档(例如，主机电子文档)。例如，被包括在电子文档中的内容的主要部分可以由电子文档的发布者选择(或指定)。内容的次要部分(例如，数字第三方内容)可以代表第三方(例如，不是作为电子文档的发布者的实体)而分发。

发明内容

本文档描述了用于选择要显示在诸如用户设备上的网页或应用的图形界面的电子文档中的数字分量的系统、方法、设备和其他技术。在一些实施方式中，数字分量由内容分发系统选择以用于在文档中显示，其中该内容分发系统使数字分量可用于代表许多不同的独立内容提供商的分发。内容提供商可以与电子文档的发布者(例如，第三方内容提供商)分离，因此内容分发系统基于优化一个或多个选择准则的评估过程来选择要呈现在电子文档中的内容。例如，内容分发系统可以基于网站和数字分量之间的主题类似性，或者基于这些和附加准则，选择被确定为与在特定网站处提交的用户查询相关的数字分量。例如，与速降滑雪相关的创意(例如，数字分量)可以被选择以用于在与科罗拉多州阿斯彭的旅游相关的网页中呈现，而与家居装修服务相关的另一创意可以响应于对“厨房改造”的查询而呈现。

内容分发系统部分依赖于数字分量请求(例如，第三方内容请求)的上下文来响应于请求而确定要返回给用户设备的数字分量。请求的上下文可以指示内容分发系统用来针对请求而选择合适和相关的分量的一个或多个参数(称为“选择参数”或“请求参数”)的值。例如，请求的上下文可以包括将在其中显示所选择的数字分量的电子文档的标识信息(例如，网页的URL或应用的标识符)、与电子文档内数字分量的显示相关联的参数、在其中显现文档的用户代理的标识信息(例如，网络浏览器标识符、用户设备的品牌/型号/类别)、屏幕尺寸和/或分辨率、用户设备的地理位置、一天中提交请求时的当前时间、描述电子文档的内容的关键词、用户提交以发起搜索的搜索查询(如果数字项要被包括在搜索结果页面中)、或者这些和其他参数的组合。

在一些实例中，形成请求的上下文的许多选择参数是可观察特征，因为它们可以在做出对数字分量的请求时被直接测量/观察和从用户设备报告。然而，其他参数可能是不可观察的，使得它们不能被容易地测量或及时报告给内容分发系统用于系统用于针对请求而选择数字分量。例如，在一些内容分发方案中，数字分量将被呈现在主机电子文档中的位置是一个这样的不可观察参数：对于内容选择过程，可能不是系统先验已知的。因为文档通常包括针对每次服务而改变的动态元素，所以第三方数字分量的精确显示位置例如可能直到所有元素在用户设备处被实际标识和显现时才是已知的。然而，显示位置，尤其是垂直显示位置，可以对数字分量的显示的效果有显著影响。例如，这样的参数可能影响内容项是否被有效地显示在文档内。

本文档描述了用于预测数字分量的垂直显示位置的不可观察选择参数的值的技术。在一些实施方式中，内容分发系统使用参数预测模型来处理在请求中实际可用的(或者可以从请求中的信息间接推导的)可观察参数，以预测诸如数字分量的垂直显示位置的不可观察参数的值。不可观察参数的预测值然后可以与其他预测输入一起被考虑，以预测候选数字分量的预测度量(例如，所估计的点击率、转换率、或者与项的用户交互的其他可能性)，其中内容分发系统使用该候选数字分量来确定是否应该响应于请求而返回项。在一些实施方式中，度量预测模型基于所预测的不可观察参数、与请求相关联的可观察选择参数以及与候选数字分量相关联的分发参数的值来生成预测度量。此外，参数预测模型可以是度量预测模型的一部分。例如，度量预测模型和参数预测模型可以是机器学习模型(例如，神经网络)，其中该机器学习模型被联合训练并且其中参数预测模型的输出由度量预测模型的第一隐藏层在参数预测模型的最后一层之后处理。

在一些实施方式中，内容分发系统使用参数预测模型来处理在请求中实际可用的(或者可以从请求中的信息间接推导的)可观察参数，以预测诸如数字分量的垂直显示位置的不可观察参数的值。不可观察参数的预测值然后可以与其他预测输入一起被考虑，以选择内容分发系统响应于请求而返回的候选数字分量。在一些实施方式中，性能预测模型基于所预测的不可观察参数、与请求相关联的可观察选择参数以及与候选数字内容项相关联的分发参数的值来生成预测的性能度量。此外，参数预测模型可以是性能预测模型的一部分。例如，性能预测模型和参数预测模型可以是机器学习模型(例如，神经网络)，其中该机器学习模型被联合训练并且其中参数预测模型的输出由性能预测模型的第一隐藏层在参数预测模型的最后一层之后处理。

在某些实例中，本文描述的主题的一些实施方式可以实现以下优点中的一个或多个。第一，内容分发系统可以使用预测的选择参数而不是所观察的(例如，所测量的)参数来更高效地选择数字分量以用于在电子文档中呈现，从而减少将所选择的数字分量返回给用户设备的时延。例如，用户设备处的浏览器可以开始加载网页。作为初始加载过程的一部分，浏览器可以执行页面中的机器可读指令(例如，脚本)，其中该机器可读指令使得设备从内容分发系统请求第三方数字分量。脚本可以配置设备在请求中嵌入可观察参数集合，例如表征浏览会话、用户设备、网页和/或其他特征的参数。一些参数可以被快速和立即确定，而另一些参数(例如，垂直显示位置)可能直到稍后时间才是可确定的。然而，可能直到稍后时间才是可确定的参数可能影响可以多有效地显示不同类型或形式的数字分量，并且可能因此有助于选择要被显示的数字分量以提供改善的显示。不同于等待标识这些潜在参数，设备可以传送具有关于可以被立即确定的参数的信息的请求，并且内容分发系统然后可以部分地基于可立即确定的参数来预测潜在参数。以这种方式，分发系统具有利用不可观察参数(例如，在定义的时间段内或在内容选择已经发生之前不能在用户设备处观察到的潜在参数)的益处，而无需等待这些参数的实际值变得可用。系统因此可以在更早的时间响应于请求而选择数字分量并将其返回给用户设备，从而减少响应请求的时延并减少浏览器完全显现具有第三方数字分量的网页所需的时间。返回的数字分量可以更好地适于显示器和/或界面，使得所选择的数字分量被更有效地显示给用户。具体地，对所预测的潜在参数的使用可以允许内容的显示被改善。

第二，在一些实施方式中，从用户设备发送到内容分发系统的第三方内容请求的尺寸和复杂性可以通过从请求消除一些所观察的或所测量的参数而减少。内容分发系统然后可以预测不被包括在请求中的一个或多个参数的值，而不是依赖于用户设备将值作为请求的一部分直接报告给系统。不被包括在请求中的参数可以是不可观察参数，因为这些参数在期望的约束(例如，时间或处理约束)内在用户设备处是不可确定的。更小尺寸的请求的传输可以节省网络带宽，并且有利地可以减少生成请求的用户设备和接收并解析请求的分发系统的处理负担。

第三，本文公开的主题的一些实施方式可以提高内容分发系统选择更相关的数字分量以用于在电子文档中呈现的能力。例如，不同于预先使用请求的不可观察参数，系统可以预测这些参数的值，其中该参数在一些实例中可以显著影响候选数字分量的预测度量并且提高系统响应于请求而选择要返回的项(例如，可以更好地适于显示环境和/或用户的项)的能力。

第四，在一些实施方式中，内容分发系统可以使用具有嵌入式参数预测子模型的度量预测模型，通过评估项来更高效地生成候选数字分量的预测度量。通过嵌入参数预测模型作为度量预测模型的组件并联合训练模型，系统可以基于单个请求而不是首先对不可观察请求参数的预测值然后在单独的阶段中对预测度量的单独的、串行化请求来生成预测度量。此外，可以更容易地维护模型，因为可以在模型上共同执行基于新的训练数据的重新训练，例如，而不是推迟对度量预测模型的训练直到参数预测模型被完全训练。

基于整个说明书、权利要求书和附图，本领域普通技术人员将认识和理解附加的特征和优点。

附图说明

图1是其中第三方数字内容被分发以用于在电子文档中呈现的示例环境的框图。

图2A-图2C描绘了具有为呈现第三方数字分量而保留的显示区域的示例电子文档的截屏。

图3是选择数字分量以用于在电子文档中呈现的示例内容分发系统的框图。

图4A是具有嵌入式参数预测子模型的示例度量预测模型的框图。

图4B是与度量预测模型分开实施的示例参数预测模型的框图。

图5是用于响应于请求而选择要返回以用于在电子文档中呈现的一个或多个数字分量的示例过程的流程图。

图6是用于训练具有嵌入式参数预测子模型的度量预测模型的示例过程的流程图。

图7描绘了可以应用于实施本文公开的计算机实施的方法和其他技术的示例计算设备和移动计算设备。

附图当中的相同的数字和标记指示相同的元件。

具体实施方式

本文档描述了用于预测由内容分发系统在选择要呈现在用户设备处的电子界面(例如，电子文档的界面)中的第三方数字分量时使用的参数的值的系统、方法、设备和其他技术。该选择使用基于实际参数而生成的所预测的参数。所预测的参数允许更适于向用户显示的数字分量被选择。例如，在一些实施方式中，所选择的数字分量可以预测在传送请求时不可用的、用户设备和/或显示环境的参数，使得在选择内容时考虑所预测的参数，使得所选择的数字分量更适于在用户设备处显示。

在一些实施方式中，内容分发系统可以使用度量预测模型来估计将发生与电子界面中的数字分量的用户交互的可能性。该预测可以基于表示来自对电子内容的请求的所观察的选择参数的预测输入、与候选数字分量相关联的分发参数以及如由内容分发系统处的参数预测模型确定的一个或多个不可观察参数的预测值而确定。关于附图更详细地描述了这些和其他实施方式。

如贯穿本文档所使用的，短语“数字分量”是指数字内容或数字信息的离散单元(例如，视频剪辑、音频剪辑、多媒体剪辑、图像、文本或另一内容单元)。数字分量可以以电子方式被存储在物理存储设备中作为单个文件或者存储在文件的集合中，并且数字分量可以采取视频文件、音频文件、多媒体文件、图像文件或文本文件的形式，并且包括广告信息，使得广告是一类型的数字分量。

图1是其中第三方数字内容被分发以用于与电子文档一起呈现的示例环境100的框图。示例环境100包括网络102，诸如局域网(Local Area Network，LAN)、广域网(WideArea Network，WAN)、互联网、或者其组合。网络102连接电子文档服务器104、用户设备106、第三方内容服务器108和第三方内容分发系统110(也称为内容分发系统)。示例环境100可以包括许多不同的电子文档服务器104、用户设备106(例如，客户端计算机)和第三方内容服务器108。

用户设备106是能够通过网络102请求和接收数字分量(例如，电子文档和用于在电子文档中呈现的第三方数字内容)的电子设备。示例用户设备106包括个人计算机、移动通信设备、以及可以通过网络102传送和接收数据的其他设备。用户设备106通常包括诸如网络浏览器的用户应用，以促进通过网络102传送和接收数据，但是由用户设备106执行的本地应用也可以促进通过网络102传送和接收数据。

电子文档是在用户设备106处呈现内容集合的数据。电子文档的示例包括网页、文字处理文档、便携式文档格式(Portable Document Format，PDF)文档、图像、视频、搜索结果页面和馈源。诸如安装在移动、平板或台式计算设备上的应用的本地应用(例如，“app”)也是(例如，在用户设备106处呈现图形应用界面的)电子文档的示例。电子文档可以由电子文档服务器104提供给用户设备106。例如，电子文档服务器104可以包括托管发布者网站的服务器。在该示例中，用户设备106可以发起对给定的发布者网页的请求，并且托管给定的发布者网页的电子服务器104可以通过传送在用户设备106处发起给定网页的呈现的机器可执行指令来响应请求。

在另一示例中，电子文档服务器104可以包括用户设备106可以从其下载app(例如，本地应用)的app服务器。在该示例中，用户设备106可以下载在用户设备106处安装app所需的文件，然后本地执行所下载的app。

电子文档可以包括各种内容。例如，电子文档可以包括在电子文档本身内的和/或不随时间改变的静态内容(例如，文本或其他指定内容)。电子文档还可以包括可能随时间或基于每个请求而改变的动态内容。例如，给定电子文档的发布者可以维护用来填充(populate)电子文档的部分的数据源。在该示例中，给定电子文档可以包括标签或脚本，其中该标签或脚本使得当给定电子文档由用户设备106处理(例如，显现或执行)时，用户设备106从数据源请求内容。用户设备106将从数据源获得的内容集成到给定电子文档的呈现中，以创建包括从数据源获得的内容的复合电子文档。

在一些实例中，给定电子文档可以包括引用第三方内容分发系统110的第三方标签或第三方脚本。在这些实例中，当给定电子文档由用户设备106处理时，第三方标签或第三方脚本由用户设备106执行。第三方标签或第三方脚本的执行将用户设备106配置为生成对第三方内容112的请求，该请求通过网络102被发送到第三方内容分发系统110。例如，第三方标签或第三方脚本可以使用户设备106能够生成包括报头和有效载荷数据的分组数据请求。请求112可以包括定义请求的上下文并且可以由第三方内容分发系统110在选择一个或多个第三方数字分量以用于在电子文档中呈现的过程中使用的数据。请求的上下文可以包括由用户设备106收集或确定的参数，诸如正在向其请求第三方内容的服务器的名称(或网络位置)、请求设备(例如，用户设备106)的名称(或网络位置)、和/或第三方内容分发系统110可以用来选择响应于请求而提供的第三方内容的其他信息。被包括在请求112中的参数可以被称为可观察参数，因为它们表示与请求相关联的参数的实际值(例如，与预测/估计的值或由于固有或规定的约束而不能观察到的不可观察参数相反)。可以由用户设备106通过网络102(例如，电信网络)将请求112发送到第三方内容分发系统110的服务器。在一些实施方式中，请求112可以包括指定与电子文档相关联的关键词的数据、对电子文档的引用(例如，URL)、可用于呈现第三方内容的电子文档的可用位置(例如，第三方内容槽(slot))、可用位置的尺寸、和/或有资格在该位置呈现的媒体类型，并且可以被提供给内容分发系统110。类似地，指定与电子文档或由电子文档引用的实体(例如，人、地点或事物)相关联的关键词的数据也可以被包括在请求112中(例如，作为有效载荷数据)并且被提供给内容分发系统110，以促进对第三方数字分量的标识。

请求112还可以包括与其他信息相关的数据，诸如用户已经提供的信息(例如，搜索查询)、指示从其提交请求的州或区域的地理信息、或者提供将在其中显示第三方内容的环境的上下文的其他信息(例如，将在其处显示第三方内容的设备的类型，诸如移动设备或平板设备)。还可以在请求112中提供指定用户设备106的特性的数据，诸如标识用户设备106的模型、用户设备106的配置、或者在其上呈现电子文档的电子显示器(例如，触摸屏或台式监视器)的尺寸(例如，物理尺寸或分辨率)的信息。请求112可以例如通过分组网络而发送，并且请求112本身可以被格式化为具有报头和有效载荷数据的分组数据。报头可以指定分组的目的地，并且有效载荷数据可以包括上面讨论的任何信息。

响应于接收到请求112和/或使用被包括在请求112中的信息，第三方内容分发系统110选择将与给定电子文档一起被呈现的第三方内容。在一些实施方式中，在不到一秒钟的时间内选择第三方内容，以避免可能由延迟选择第三方内容导致的错误。例如，响应于请求112而提供第三方内容的延迟可能导致用户设备106处的页面加载错误，或者使得电子文档的部分即使在电子文档的其他部分被呈现在用户设备106处之后保持未填充。此外，随着向用户设备106提供第三方内容的延迟增加，当第三方内容时，电子文档更有可能将不再被呈现在用户设备106处，从而负面影响用户对电子文档的体验。此外，例如，如果当提供第三方内容时电子文档不再被呈现在用户设备106处，则提供第三方内容的延迟可能导致对第三方内容的失败递送。

在一些实施方式中，第三方内容分发系统110在分布式计算系统中被实施，其中该分布式计算系统包括例如服务器以及互连并响应于请求112而标识和分发第三方内容的多个计算设备的集合114。多个计算设备的集合114一起操作以从数百万可用的第三方内容(3PC1-x)的语料库当中标识有资格被呈现在电子文档中的第三方内容集合。可以例如在第三方语料库数据库116中对数百万可用的第三方内容进行索引。每个第三方内容索引条目可以引用对应的第三方内容和/或包括调节对应的第三方内容的分发的分发参数(DP1-DPx)。

在一些实施方式中，特定的第三方数字分量的分发参数可以包括分发关键词，其中这些关键词必须(例如，由电子文档或在请求112中指定的术语)匹配，以便第三方内容有资格呈现。分发参数还可以要求请求112包括指定特定地理区域(例如，国家、州或城市)的信息和/或指定请求112源自特定类型的用户设备(例如，移动设备或平板设备)的信息，以便第三方内容有资格呈现。分发参数还可以指定用于分发特定的第三方内容的出价和/或预算。

对有资格的第三方内容的标识可以被分割为然后在多个计算设备的集合114内的计算设备之间被分配的多个任务117a-117c。例如，集合114中的不同计算设备可以各自分析第三方语料库数据库116的不同部分，以标识具有匹配被包括在请求112中的信息的分发参数的各种第三方内容。在一些实施方式中，集合114中的每个给定计算设备可以分析不同的数据维度(或维度集合)，并且将分析的结果(Res 1-Res 3)118a-118c传递回第三方内容分发系统110。例如，由集合中的计算设备中的每一个提供的结果118a-118c可以标识有资格响应于请求而分发的第三方内容的子集和/或具有某些分发参数或属性的第三方内容的子集。

第三方内容分发系统110聚合从多个计算设备的集合114接收的结果118a-118c，并且使用与聚合的结果相关联的信息来选择将响应于请求112而提供的第三方内容的一个或多个实例。例如，第三方内容分发系统110可以基于一个或多个内容评估过程的结果来选择获胜(winning)的第三方数字分量的集合，如下面更详细讨论的。例如，分发系统1100可以预测未在请求112中指定的不可观察参数，并且使用所预测的参数和其他参数来确定将多有效地显示数字分量。确定将多有效地显示数字分量可以例如基于显示环境和数字分量之间的兼容性。显示环境和数字分量之间的兼容性可以基于与显示环境相关联的所接收的参数和与显示环境相关联的所预测的参数以及与数字分量相关联的所存储的参数而确定。在一些实施方式中，如果响应于请求112将数字分量返回给设备，并且呈现给用户，则所接收的和所预测的参数可以用来估计用户将多可能点击数字分量或以其他方式与项进行交互。反过来，第三方内容分发系统110可以生成回复数据120(例如，表示回复的数字数据)并且通过网络102发送回复数据120，其中该回复数据120使用户设备106能够将获胜的第三方内容的集合集成到给定电子文档中，使得获胜的第三方内容的集合和电子文档的内容被一起呈现在用户设备106的显示器处。

在一些实施方式中，用户设备106执行被包括在回复数据120中的指令，其将用户设备106配置为并使用户设备106能够从一个或多个第三方内容服务器获得获胜的第三方内容的集合。例如，回复数据120中的指令可以包括网络位置(例如，统一资源定位符(Uniform Resource Locator，URL))和脚本，其中该脚本使得用户设备106向第三方内容服务器108发送第三方请求(Third-Party Request，3PR)121，以从第三方内容服务器108获得给定的获胜的第三方内容。响应于请求，第三方内容服务器108将向用户设备106发送第三方数据(TP数据)122，其中该第三方数据122使得给定的获胜的第三方内容被合并到电子文档中并呈现在用户设备106处。

图2A-图2C描绘了呈现在不同上下文中的示例电子文档202的截屏。在该示例中，文档202是在线新闻站点的网页。如图2A所示，文档202包括多个内容槽208-214，其定义用于显示第三方数字分量的电子文档202的相应区域。第三方内容分发系统可以基于来自在其中显现文档202的用户设备的请求来选择用于在槽208-214中显示的分量。图2A是文档202的缩小视图，其示出了整个文档长度和宽度。在缩小视图中，所有四个内容槽208、210、212和214可以彼此同时看到。然而，在实践中，文档202可以大于提供在用户设备的屏幕上的查看区域，使得一次仅文档202的一部分被显示在查看区域内。用户设备上的应用例如可以提供控件，其允许平移、滚动或缩放文档以使用户能够查看文档202的不同部分。图2B是(例如用户设备的更大屏幕(例如，台式LCD监视器)上的网络浏览器界面中的)相对大的查看区域204内的电子文档202的截屏。相比之下，图2C是示出移动计算设备206上的本地应用的更小查看区域208内的文档202的截屏。

图3是选择数字分量以用于在电子文档中呈现的示例内容分发系统300的框图。系统300通常被配置为基于所接收的和所预测的参数，响应于来自用户设备302的对第三方内容的请求而选择一个或多个数字分量。该系统还可以至少部分基于候选数字分量集合的预测度量来选择数字分量。系统300执行两阶段过程来确定预测度量。首先，系统300处理对应于与请求相关联的可观察选择参数的第一子集的预测输入(以及可选地对应于与候选数字分量相关联的分发参数的预测输入)，以预测(例如，计算、确定或推导)一个或多个不可观察选择参数(例如，数字分量将在呈现在用户设备302处的电子文档中呈现的垂直显示位置)的值。其次，系统300处理对应于与请求相关联的可观察选择参数的第二子集、与候选数字分量相关联的分发参数、以及一个或多个不可观察选择参数的预测值的预测输入，以确定候选数字分量的预测度量。针对图5更详细讨论了用于响应于请求而确定预测度量和选择获胜的数字分量的过程。

内容分发系统300可以包括前端服务器304、一个或多个第三方内容服务器306、度量预测引擎308和内容选择引擎310。在一些实施方式中，第三方内容服务器306与内容分发系统300分离，并且可以例如由单独的第三方内容提供商或第三方内容提供商的网络维护。通常，服务器304、306、308和310中的每一个可以用一个或多个计算机实施，其中该一个或多个计算机在一个或多个位置分开或彼此协调地操作。服务器304、306、308和310中的全部或一些可以被集成在公共计算机硬件上，或者它们可以在具有物理上不同的硬件的不同计算机上被分开实施。由如本文所讨论的服务器304、306、308和310执行的操作的划分仅作为示例。在一些实施方式中，可以提供被配置为执行类似于本文讨论的操作的类似操作的计算机的其他配置。

前端服务器304为内容分发系统300提供接口，以通过通信网络(例如，互联网或局域网)与其他计算机进行交互。例如，图3示出了与客户端计算机302通信的前端服务器304。前端服务器304接收对第三方内容的请求，执行对所接收的请求的初始处理，将从请求推导的信息转发给内容分发系统300的其他适当组件，以及发送系统300响应于请求而生成的响应。在一些实施方式中，前端服务器304包括控制器312、请求管理器314和网络接口316。

控制器312协调前端服务器304的各种组件之间的操作。

网络接口316提供内容分发系统300和一个或多个网络之间的互连，其可以是公共的(例如，互联网)或私有的(例如，局域网)。网络接口316可以包括一个或多个网络接口卡，其例如被配置为通过分组网络发送和接收数据。网络接口316可以处理对应于第三方内容请求的输入分组，并且可以生成和发送定义对第三方内容请求的响应的分组。

请求管理器312被配置为分析第三方请求并对由系统300接收的第三方内容请求执行各种预处理操作。在一些实施方式中，请求管理器312可以解析请求以标识参数的值，其中系统300被配置为使用该参数作为用于选择第三方数字分量的输入。例如，请求管理器312可以提取与在请求中指定的可观察选择参数相对应的值。可观察参数是指具有在请求中指定的实际值(例如，而不是预测值)或者具有内容分发系统可以从请求中的信息推导的实际值的参数。例如，请求可以指定可观察参数(诸如在其中呈现电子界面的用户设备302处的用户代理的身份、提交请求时用户设备302的地理位置、一天中与请求相关联的时间、与请求相关联的搜索查询、对要在其中呈现所请求的数字分量的电子文档的引用、从电子文档的内容和/或搜索查询推导的关键词、或者这些和其他参数中的全部或一些的组合)的值。在一些实施方式中，即使请求没有直接指定可观察参数，内容分发系统300也可以从在请求中指定的数据间接推导可观察参数。例如，请求可以包括标识与请求相关联的用户账户的数据，并且分发系统然后可以访问被注册到用户账户的用户的简档数据，以便获得系统可以用来根据用户简档定制其内容选择的数据。

第三方内容服务器306维护一个或多个第三方内容提供商已经使其可用于分发的数字分量的信息。在一些实施方式中，第三方内容服务器306可以被实施为第三方内容服务器108(图1)。第三方内容服务器306可以包括存储已经可用于分发的数字分量的数字分量存储装置324(例如，一个或多个非易失性存储器存储设备)。数据库318可以维护存储在存储装置324中的可用数字分量的索引320。数据库318还可以存储表示每个数字分量的分发参数的数据。在一些实施方式中，数字分量的分发参数包括描述数字分量的分发关键词(例如，描述项的主题的关键词或与在项中表示的产品或服务相关联的关键词)和项的出价金额(例如，对项的每次点击或每1000次曝光(impression)可以向项的创建者收取的金额)。分发参数还可以包括指定特定地理区域(例如，国家、州或城市)的信息和/或指定请求源自特定类型的用户设备(例如，移动设备或平板设备)的信息，以便数字分量有资格呈现。分发参数还可以指定数字分量的本征属性，诸如数字分量的尺寸、格式和/或类型(例如，文本、图像或视频)。

度量预测引擎308被配置为预测如果响应于特定请求而选择候选数字分量作为获胜项并将候选数字分量显示在用户设备302处的电子文档中，候选数字分量可能表现得多好。在一些实施方式中，度量预测引擎308生成候选数字分量的预测度量，其中该预测度量指示如果响应于请求将数字分量返回，用户将与数字分量进行交互的可能性。例如，度量预测引擎308可以预测电子文档中数字分量的点击率(“Click-Through Rate，CTR”)。为了生成预测度量，引擎308包括度量预测模型326和参数预测模型328。参数预测模型328首先处理预测特征的子集，以确定不可观察选择参数(例如，电子文档中第三方数字分量的垂直显示位置)的预测值。度量预测模型326然后处理不可观察选择参数的预测值和其他预测输入，以生成预测度量。在一些实施方式中，度量预测引擎308基于与请求相关联的选择参数和与候选数字分量相关联的分发参数，为模型326、328生成合适格式的预测输入。针对图4A、图4B、图5和图6进一步描述了关于度量预测模型326和参数预测模型328的附加细节。

除了垂直显示位置之外或可替代垂直显示位置地，参数预测模型328也可以被配置为预测其他不可观察选择参数。例如，如果响应于请求，任何以下参数在服务时间都对分发系统不可用，则模型328可以预测将在其中显示数字分量的电子文档的显示属性、将在其处显示数字分量的设备或系统的显示属性(例如，屏幕尺寸/分辨率、设备的类别/品牌/型号)、用户代理或设备类型/类别，将与所请求的第三方数字分量一起被呈现在文档中的其他第三方数字分量的数量、那些其他数字分量的属性、要与所请求的第三方数字分量一起被呈现在电子文档中的搜索结果的特性。在一些实施方式中，模型328可以被配置为在(例如，由于系统组件的故障或客户端设备不能报告特定参数)可观察参数对分发和选择系统不可用的情况下预测可观察选择参数。如果该参数的所观察的(例如，所测量的)值不可用，则预测模型328可以预测参数的值以用作备份。

分发系统300进一步包括内容选择引擎310。内容选择引擎310被配置为响应于第三方内容请求而选择要呈现在用户设备302处的电子文档中的特定数字分量。内容选择引擎310基于所接收的和所预测的参数来选择数字内容项。内容选择引擎310可以基于数字分量的预测度量并且可选地进一步基于诸如与数字分量相关联的出价金额的附加因素，选择数字分量。例如，评分模块330可以基于候选数字分量集合的预测度量，出价金额，以及无、一个、或多个附加因素来对其进行评分。排名模块332可以基于候选数字分量的分数对其进行排名，然后选择模块324可以基于分数和/或排名来选择获胜的第三方内容。例如，n(例如，1、2、3或更多)个排名最高的候选数字分量可以被选择作为要在用户设备302处呈现的获胜内容。

图4A是具有嵌入式参数预测子模型404的示例度量预测模型402的框图400。包括参数预测子模型404的度量预测模型402可以在一个或多个位置的一个或多个计算机上被实施，例如，作为度量预测引擎308的一部分。如同模型326和328(图3)，度量预测模型402被配置为在给定第三方内容请求的选择参数集合的情况下生成候选数字分量的预测度量，并且参数预测模型404被配置为生成不可观察参数的预测值，其中对于该不可观察参数，不能从请求直接或间接确定实际值。参数预测模型404处理预测输入的子集408a-408n，以生成不可观察参数的预测值410。度量预测模型402的另一部分然后处理预测输入的另一子集406a-406n和基于不可观察参数的预测值410的预测的输入，以生成预测度量412。

度量预测模型402和参数预测子模型404可以是机器学习模型。在一些实施方式中，模型402、404是人工神经网络(例如，前馈神经网络、卷积神经网络或递归神经网络)。神经网络是采用非线性单元的一层或多层来预测所接收的输入的输出的机器学习模型。一些神经网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作到网络中的下一层(例如，下一隐藏层或输出层)的输入。网络的每一层根据网络的相应参数集合的当前值(例如，网络的节点/神经元的权重)，从所接收的输入生成输出。神经网络的参数的值定义其状态，该状态可以在训练过程期间被迭代更新。

在一些实施方式中，参数预测子模型404被附接到度量预测模型402的主要部分的第一层。以这种方式，参数预测模型404的输出(例如，不可观察选择参数的预测值410)像第一子集406a-406n中的其他预测输入一样被馈送到度量预测模型402的主要部分的第一层。

在替代实施方式中，图4B是独立于度量预测模型402的示例参数预测模型404的框图450。在该实施方式中，参数预测模型404与度量预测模型402分离。例如，参数预测模型404可以独立于度量预测模型402而完全训练，并且度量预测模型402可以此后使用完全训练的参数预测模型404而训练。针对图6讨论了训练度量预测模型402和参数预测模型的更多细节。

如同在图4A中描绘的实施方式，度量预测模型402被配置为在给定第三方内容请求的选择参数集合的情况下生成候选数字分量的预测度量，并且参数预测模型404被配置为生成不可观察参数的预测值，其中对于该不可观察参数，不能从请求直接或间接确定实际值。参数预测模型404处理预测输入的子集408a-408n，以生成不可观察参数的预测值410。度量预测模型402然后处理预测输入的另一子集406a-406n和基于不可观察参数的预测值410的预测的输入，以生成预测度量412。

图5是用于响应于请求而选择要返回以用于在用户设备处的电子文档中呈现的一个或多个第三方数字分量的示例过程500的流程图。过程500可以由例如使用度量预测模型(例如，模型326或402)和参数预测模型(例如，模型328或404)的系统110或300的内容分发系统执行。

在阶段502，系统接收对要被合并到用户设备处的电子文档(例如，电子界面)的呈现中的数字分量的请求。请求可以是基于用户设备处的自动或用户输入而发起的分组数据请求。例如，用户可以浏览包括搜索功能的网站，其中该搜索功能允许用户搜索网站本身或者搜索托管在网站外部的项，或者两者兼有。用户可以通过显示在网页上的搜索界面提交搜索查询，以便使得设备提交搜索请求。将响应于搜索而呈现的结果页面可以包括为第三方数字分量保留的槽，作为搜索结果本身或者作为与搜索结果一起呈现的补充注释。搜索请求本身可以包括第三方内容请求，或者除了搜索请求之外，可以生成单独的第三方内容请求，以便第三方内容请求与被发送到搜索系统的搜索请求分开地被发送到内容分发系统。

第三方内容请求可以包括至少部分定义请求的上下文的值集合。在请求中指定的值可以对应于可以由用户设备106在生成请求时测量、收集或以其他方式观察的可观察参数。例如，请求可以指定可观察参数(诸如在其中呈现电子界面的用户设备处的用户代理的身份、提交请求时用户设备的地理位置、一天中与请求相关联的时间、与请求相关联的搜索查询、对要在其中呈现所请求的数字分量的电子文档的引用、从电子文档的内容和/或搜索查询推导的关键词、或者这些和其他参数中的全部或一些的组合)的值。在一些实施方式中，即使请求没有直接指定可观察参数，内容分发系统也可以从在请求中指定的数据间接推导可观察参数。

在阶段506，分发系统生成请求的一个或多个不可观察参数的预测值。不可观察参数通常是未在第三方数字分量请求中指定的参数，并且对于该参数，不能从在请求中指定的数据间接推导参数的实际值。不可观察参数可以与内容项的显示相关联。示例性不可观察参数是电子文档中所请求的第三方数字分量的显示位置。对于用户设备来说，在第三方内容请求被生成和发送时(这可能在文档被完全显现之前)，(例如，根据从原始位置偏移的坐标或像素数量)高效或准确地确定将在电子文档中实际显示第三方数字分量的绝对位置可能是不可行的。然而，数字第三方分量的显示位置可能显著影响如何显示分量。例如，显示位置可能影响数字分量是否被有效显示。数字分量的这样的有效显示可以例如基于要在其上显示分量的设备的属性而变化。在一些实施例中，位置可能影响用户实际查看电子文档中的数字分量并与之交互的可能性。在一些实施方式中，垂直显示位置可能尤其重要。例如，在最初加载文档时被显示在文档的顶部附近的突出位置的数字分量可以被更有效地显示给用户，并且可以例如期望其实现比如果数字分量被显示在文档的底部附近的不太突出的位置(除非用户滚动到文档的底部，否则看不到)更高的用户交互(例如，点击)率。作为示例，将关于单个不可观察参数描述过程500，但是本文描述的技术的一些实施方式可以预测多个不可观察参数的值。

在一些实施方式中，系统使用参数预测模型生成不可观察参数的预测值。参数预测模型可以是机器学习模型，例如人工神经网络或支持向量机。如针对图4A和图4B所讨论的，参数预测模型可以是更大的度量预测模型的一部分，或者它可以被实施为独立模型。从请求的可观察参数的第一子集的值推导的预测输入可以由参数预测模型处理，以生成不可观察参数的预测值。例如，为了预测所请求的第三方分量的垂直显示位置，表示用户代理身份、用户设备显示器的屏幕尺寸或分辨率以及电子文档的规划布局(projected layout)的预测输入可以由进行预测的参数预测模型处理。在一些实施方式中，可以至少部分地从与正在评估的候选数字分量相关联的分发参数推导到参数预测模型的一个或多个预测输入。例如，不同的候选项可以具有不同的格式或尺寸，这将导致不同的垂直显示位置。在一些实施方式中，所预测的垂直显示位置可以由数字分量中的参考点(例如，最顶部像素)离将在其中显示项的文档或界面的顶部的距离表征。

在阶段508，系统标识候选数字分量集合。可以基于满足请求的一个或多个资格准则的项来选择候选数字分量。例如，可以响应于请求从可用的第三方数字分量的索引选择合适格式的并具有满足所需选择准则的分发参数的项，用于作为要返回的候选项进行评估。

在阶段510，系统从候选数字分量集合选择特定的候选数字分量以进行评估。

在阶段512，系统可以标识与所选择的候选数字分量相关联的分发参数的值。在一些实施方式中，候选数字分量的分发参数包括描述候选数字分量的分发关键词(例如，描述项的主题的关键词或与在项中表示的产品或服务相关联的关键词)和项的出价金额(例如，对项的每次点击或每1000次曝光可以向项的创建者收取的金额)。分发参数还可以包括指定特定地理区域(例如，国家、州或城市)的信息和/或指定请求源自特定类型的用户设备(例如，移动设备或平板设备)的信息，以便数字分量有资格呈现。分发参数还可以指定数字分量的本征属性，诸如数字分量的尺寸、格式和/或类型(例如，文本、图像或视频)。

在阶段514，系统可以生成到度量预测模型的预测输入，其中该度量预测模型将预测输入映射到候选数字分量的预测度量。到度量预测模型的预测输入可以基于请求的可观察参数的实际值、不可观察参数的预测值、候选数字分量的分发参数的值、或者这些的组合而生成。一些预测输入可以直接表示特定的请求或分发参数。例如，第一预测输入可以表示在请求中指定的关键词，而第二预测输入可以表示与候选数字分量相关联的关键词。在一些实施方式中，给定的预测输入是基于多个参数而生成的。例如，不同于模型处理在请求中指定的关键词和与候选数字分量相关联的关键词的单独的预测输入，度量预测引擎可以反而生成单个预测输入，其中该单个预测输入表示例如请求的关键词和来自候选数字分量的分发参数的关键词之间的类似度。度量预测模型可以包括处理预测输入的第二子集的部分，其中该预测输入的第二子集与参数预测模型处理以生成不可观察参数的预测值的预测输入部分或完全不同。

在阶段516，系统可以用度量预测模型处理预测输入，以生成候选数字分量的预测度量。预测度量是一值，其中该值表示如果候选数字分量被选择作为获胜项并显示在用户设备处的电子文档中的、候选数字分量的规划性能。数字分量的性能可以与当呈现在电子文档中时它对用户设备的用户多有用/相关、或者当呈现在用户群的相应用户设备处的电子文档中时它对用户群多有用/相关而相关。在一些实施方式中，数字分量的有用性或相关性是通过其点击率而测量的。例如，呈现在电子文档中的第三方数字分量可以包括超链接功能。结果，当用户选择(例如，“点击”)文档中的链接数字分量时，用户设备可以被重定向到与数字分量相关联的另一文档(例如，另一网站或另一本地应用的界面)。与第三方数字分量的更高的用户交互(例如，点击)率可以指示项的更大相关性，因此被认为是更高性能项。预测度量因此可以指示如果项被返回给用户设备并呈现在电子文档中，与候选数字分量的一种或多种形式的用户交互(例如，点击)将发生的可能性。可以在历史数据上训练度量预测模型，其中该历史数据指示用户是否与由可观察请求参数、不可观察请求参数、分发参数、或者这样的参数的组合表征的各种上下文中的第三方分量进行交互。针对图6描述了关于训练度量预测模型的更多细节。

在阶段518，系统确定在候选数字分量集合中是否剩余任何附加项用于评估(例如，对于其尚未确定预测度量的项)。如果剩余附加项，则过程500返回到阶段510，其中新的候选数字分量被选择和评估。重复阶段510-518，直到出现终止条件，诸如对于预测度量，没有剩余的候选数字分量来进行评估。

在阶段520，系统从候选数字分量集合选择一个或多个获胜的数字分量。获胜的数字分量是基于所接收的请求和请求的一个或多个不可观察选择参数的预测值而选择的。可以至少部分基于数字分量的预测度量来选择数字分量。在一些实施方式中，内容选择引擎对候选数字分量中的每一个进行评分，基于候选数字分量的分数对候选数字分量进行排名，然后选择排名最高的候选数字分量中的一个或多个作为请求的获胜的数字分量。数字分量的分数可以排他地基于预测度量，或者可以基于包括预测度量的多个因素。在一些实施方式中，候选数字分量的分数是候选数字分量的预测度量、候选数字分量的出价金额以及可选地一个或多个附加因素的函数。与具有更低的性能分数或出价金额的其他项相比，具有更高性能和更高出价金额的数字分量可以更可能被选择作为获胜内容。

在阶段522，内容分发系统向用户设备提供数据，其中该数据使用户设备能够并可选地使得用户设备在电子文档的呈现中呈现获胜的数字分量。在一些实施方式中，内容分发系统本身可以代表第三方内容提供商存储数字分量，并且可以将获胜项直接发送到用户设备。在其他实施方式中，内容分发系统可以将指令返回给用户设备，以在存储在第三方内容服务器处的内容的一个或多个指定地址处访问获胜的第三方内容。在又一些实施方式中，内容分发系统可以指示独立的第三方内容服务器将获胜的第三方内容递送到用户设备。

在一些实施方式中，该系统可以适于返回经由数字助理设备(例如，主要依赖于与用户的口头交互来接收查询/命令/指令并向用户输出响应的、没有显示器的设备)而呈现的数字分量。在这些实施方式中，数字分量可以由数字助理设备例如通过设备的一个或多个扬声器可听地呈现。例如，用户可以向数字助理设备提供表示语音查询的口头输入。设备可以向内容分发系统传送口头输入/语音查询的音频或文本表示，以及指示语音查询请求的一个或多个所观察的选择参数(例如，用户标识符、一天中的时间、语音会话中的先前查询)的上下文数据。数字助理设备可以使用所观察的选择参数中全部或一些来预测不可观察(例如，潜在)参数，并且可以使用所观察的和所预测的参数值来评估候选数字分量并选择要返回给数字助理设备的一个或多个数字分量。

图6是用于训练度量预测模型和参数预测模型的示例过程600的流程图。在该示例中，参数预测模型被嵌入在度量预测模型中，并且模型被联合训练。过程600可以由训练计算系统(例如，一个或多个位置的一个或多个计算机的系统)执行。这里作为训练主题的度量预测模型和参数预测模型可以是先前描述的度量预测模型326和402以及参数预测模型328和404。在该示例中，度量预测模型和参数预测模型是神经网络机器学习模型。

在阶段602，系统获得训练样本集合。训练样本可以各自包括预测输入集合和目标用户动作。在一些实施方式中，训练样本表示所服务的第三方数字内容的历史实例。预测输入可以表征例如与第三方内容请求相关联的选择参数、与响应于请求而选择作为获胜项并返回以用于在电子文档中显示的数字分量相关联的分发参数、或者这些的组合。目标用户动作指示用户是否与电子文档的显示中的第三方分量进行交互(例如，点击第三方分量)。

每个训练样本中的预测输入可以包括存在于所有或大多数训练样本中的公共预测输入集合。这些公共预测输入可以表征请求和/或易于收集和记录在服务日志中的分发参数。例如，公共预测输入可以表征请求的可观察参数，但是可以排除不可观察参数，其中该不可观察参数需要附加仪器来确定，并且获得该不可观察参数可能在计算上是困难或昂贵的。然而，训练样本的一小部分可以进一步包括“稀缺的”预测输入，其特征在于仅可用于所服务内容的一部分(例如，小部分，诸如1-3％)的历史上下文的参数。在一些实施方式中，稀缺的预测输入可以对应于不可观察参数，诸如电子文档中第三方数字分量的垂直显示位置。例如，在一时间段内，对于第三方内容选择过程的每个实例，内容分发系统可能历史上匿名化和记录了请求的获胜的第三方内容的不可观察请求参数和分发参数。可以从该记录的数据推导训练样本中的公共预测输入。此外，对于百分之一的流量，例如，用户设备可以被配置为向内容分发系统的分析服务器报告稀缺参数，诸如实际的垂直显示位置。在这些实例中，训练样本可以进一步包括表示在大多数其他样本中不可用的稀缺参数的预测输入。

在阶段604，系统初始化度量预测模型和参数预测子模型的训练状态。诸如度量预测模型或参数预测子模型的神经网络的训练状态表示网络的内部参数(诸如网络的一个或多个隐藏层中的神经元的权重)的当前值。网络的状态可以用随机值而初始化，然后在本文描述的训练过程600期间被迭代更新。阶段606-626描述了针对特定训练样本的单个训练迭代(周期)的操作，但是可以在针对附加训练样本的附加训练迭代中重复这些阶段606-626，直到满足训练终止条件。例如，训练可以在预定次数的训练迭代之后、在验证模型已经达到一个或多个性能准则之后、和/或在所有训练样本已经被处理之后停止。

在阶段608，系统确定训练样本是否包括稀缺的预测输入。

如果训练样本不包括实际的稀缺的预测输入，则过程600从阶段608前进到阶段612，并且公共预测输入的第一子集由参数预测子模型根据其当前状态来处理，以预测稀缺的预测输入。在阶段614，度量预测模型然后根据模型的当前状态来处理公共预测输入的第二子集和所预测的稀缺的预测输入，以生成对应于当前训练样本的针对数字分量的预测的用户动作。例如，参数预测子模型可以处理公共预测输入的第一子集，以预测电子文档中数字分量的垂直显示位置，然后度量预测模型可以处理其他预测输入和所预测的垂直显示位置，以生成预测的用户动作。预测的用户交互可以是表示在给定由预测输入指示的条件的情况下用户将与数字分量进行交互(例如，点击数字分量)的可能性的分数。

如果训练样本确实包括实际的稀缺的预测输入，则过程从阶段608前进到阶段610，其中度量预测模型处理包括公共预测输入和实际的稀缺的预测输入两者的所有预测输入，以生成预测的用户动作的分数。

在阶段616，系统基于损失函数来确定训练样本的预测的用户动作和目标用户动作之间的第一输出误差。在阶段618，系统然后基于第一输出误差来更新度量预测模型的当前状态。更新模型的当前状态可以包括调整神经网络中的神经元的权重，以便最小化第一输出误差。在一些实施方式中，训练系统使用诸如带反向传播的随机梯度下降的机器学习技术来调整神经网络的内部参数的当前值并优化损失函数。然而，为了防止预测的用户动作和目标用户动作之间的第一输出误差对参数预测子模型的影响，训练系统可以实施将参数预测子模型与度量预测模型的其余部分隔离的停止梯度。因此，当误差通过度量预测模型的神经网络反向传播时，误差不会导致对参数预测子模型的当前状态的修改。

相反，在一些实施方式中，训练系统可以仅在训练样本针对其包括实际的稀缺的预测输入的训练迭代期间更新参数预测子模型的状态。在这种情况下，过程600可以在阶段610之后进一步分支到阶段622。在阶段622，系统使用参数预测子模型来处理预测输入的第一子集，并且生成稀缺的预测输入的预测值。在阶段624，系统确定实际的稀缺的预测输入和预测的稀缺的预测输入之间的第二输出误差。在阶段626，系统然后基于第二输出误差来更新参数预测子模型的当前状态。在一些实施方式中，训练系统使用诸如带反向传播的随机梯度下降的机器学习技术来调整度量预测神经网络的对应于参数预测子模型的部分的内部参数的当前值，以便优化损失函数并最小化第二输出误差。

图7示出了可以用来实施本文描述的技术的计算设备700和移动计算设备的示例。计算设备1000旨在表示各种形式的数字计算机，诸如膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他适当的计算机。移动计算设备旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能手机和其他类似的计算设备。这里示出的组件、它们的连接和关系、以及它们的功能仅仅意味着是示例性的，并不意味着限制本文档中描述和/或要求保护的本发明的实施方式。

计算设备700包括处理器702、存储器704、存储设备706、连接到存储器704和多个高速扩展端口710的高速接口708、以及连接到低速扩展端口714和存储设备706的低速接口712。处理器702、存储器704、存储设备706、高速接口708、高速扩展端口710和低速接口712中的每一个使用各种总线而互连，并且可以被安装在公共主板上或者适当地以其他方式而安装。处理器702可以处理用于在计算设备700内执行的指令(包括存储在存储器704中或存储设备706上的指令)，以在诸如耦合到高速接口708的显示器716的外部输入/输出设备上显示GUI的图形信息。在其他实施方式中，可以适当地使用多个处理器和/或多个总线，以及多个存储器和多种类型的存储器。此外，可以连接多个计算设备，其中每个设备(例如，作为服务器组、一组刀片服务器、或多处理器系统)提供必要操作的部分。

存储器704在计算设备700内存储信息。在一些实施方式中，存储器704是易失性存储单元或多个易失性存储单元。在一些实施方式中，存储器704是非易失性存储单元或多个非易失性存储单元。存储器704也可以是另一形式的计算机可读介质，诸如磁盘或光盘。

存储设备706能够为计算设备700提供大容量存储。在一些实施方式中，存储设备706可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备、或磁带设备、闪存存储器或其他类似的固态存储设备、或者包括存储区域网络中的设备或其他配置的设备阵列。计算机程序产品还可以包含指令，其中该指令在被执行时执行一种或多种方法，诸如上述方法。计算机程序产品可以有形地体现在计算机或机器可读介质中，诸如存储器704、存储设备706、或处理器702上的存储器。

高速接口708管理计算设备700的超宽带(bandwidth-intensive)操作，而低速接口712管理较低的超宽带操作。这样的功能分配仅仅是示例性的。在一些实施方式中，高速接口708被耦合到存储器704、显示器716(例如，通过图形处理器或加速器)、以及可以容纳各种扩展卡(未示出)的高速扩展端口710。在实施方式中，低速接口712被耦合到存储设备706和低速扩展端口714。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以例如通过网络适配器而耦合到一个或多个输入/输出设备，诸如键盘、定点设备、扫描仪、或诸如交换机或路由器的网络设备。

计算设备700可以以多种不同的形式而实施，如图所示。例如，它可以被实施为标准服务器720，或者在一组这样的服务器中被多次实施。此外，它可以在诸如膝上型计算机722的个人计算机中被实施。它也可以被实施为机架式服务器系统724的一部分。可替代地，来自计算设备700的组件可以与诸如移动计算设备750的移动设备(未示出)中的其他组件组合。这样的设备中的每一个可以包含计算设备700和移动计算设备750中的一个或多个，并且整个系统可以由彼此通信的多个计算设备组成。

移动计算设备750包括处理器752、存储器764、诸如显示器754的输入/输出设备、通信接口766和收发器768、以及其他组件。移动计算设备750还可以被提供有诸如微驱动器或其他设备的存储设备，以提供附加存储。处理器752、存储器764、显示器754、通信接口766和收发器768中的每一个使用各种总线而互连，并且该组件中的几个组件可以被安装在公共主板上或者适当地以其他方式而安装。

处理器752可以执行移动计算设备750内的指令，包括存储在存储器764中的指令。处理器752可以被实施为包括单独的和多个模拟和数字处理器的芯片的芯片组。处理器752可以提供例如移动计算设备750的其他组件的协调，诸如对用户接口、由移动计算设备750运行的应用以及通过移动计算设备750的无线通信的控制。

处理器752可以通过耦合到显示器754的控制接口758和显示接口756与用户通信。显示器754可以是例如TFT(Thin-Film-Transistor Liquid Crystal Display，薄膜晶体管液晶显示器)显示器或OLED(Organic Light Emitting Diode，有机发光二极管)显示器、或其他适当的显示技术。显示接口756可以包括用于驱动显示器754以向用户呈现图形和其他信息的适当电路。控制接口758可以从用户接收命令，并且转换它们以用于提交给处理器752。此外，外部接口762可以提供与处理器752的通信，以便实现移动计算设备750与其他设备的近区通信。外部接口762可以例如在一些实施方式中提供有线通信或者在其他实施方式中提供无线通信，并且也可以使用多个接口。

存储器764在移动计算设备750内存储信息。存储器764可以被实施为计算机可读介质或多个计算机可读介质中的一个或多个、易失性存储单元或多个易失性存储单元、或者非易失性存储单元或多个非易失性存储单元。也可以提供扩展存储器774，并且通过可以包括例如SIMM(Single In Line Memory Module，单线存储器模块)卡接口的扩展接口772将其连接到移动计算设备750。这样的扩展存储器774可以为移动计算设备750提供额外存储空间，或者也可以为移动计算设备750存储应用或其他信息。具体地，扩展存储器774可以包括用以实现或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器774可以被提供作为移动计算设备750的安全模块，并且可以用允许安全使用移动计算设备750的指令而编程。此外，可以经由SIMM卡提供安全应用以及附加信息，诸如以不可破解的方式在SIMM卡上放置标识信息。

存储器可以包括例如闪存存储器和/或NVRAM存储器(Non-Volatile RandomAccess Memory，非易失性随机存取存储器)，如下面所讨论的。计算机程序产品包含指令，其中该指令在被执行时执行一种或多种方法，诸如上述方法。计算机程序产品可以是计算机或机器可读介质，诸如存储器764、扩展存储器774、或者处理器752上的存储器。在一些实施方式中，可以例如通过收发器768或外部接口762在传播信号中接收计算机程序产品。

移动计算设备750可以通过在必要时可以包括数字信号处理电路的通信接口766进行无线通信。通信接口766可以提供诸如GSM语音呼叫(Global System for Mobilecommunications，全球移动通信系统)、SMS(Short Message Service，短消息服务)、EMS(Enhanced Messaging Service，增强消息服务)或MMS消息(Multimedia MessagingService，多媒体消息服务)、CDMA(Code Division Multiple Access，码分多址)、TDMA(Time Division Multiple Access，时分多址)、PDC(Personal Digital Cellular，个人数字蜂窝)、WCDMA(Wideband Code Division Multiple Access，宽带码分多址)、CDMA2000或GPRS(General Packet Radio Service，通用分组无线服务)等等的各种模式或协议下的通信。这样的通信可以例如使用射频通过收发器768发生。此外，短程通信可以诸如使用蓝牙、WiFi或其他这样的收发器(未示出)而发生。此外，GPS(Global Positioning System，全球定位系统)接收器模块770可以向移动计算设备750提供可以由移动计算设备750上运行的应用适当地使用的附加的导航相关和位置相关的无线数据。

移动计算设备750还可以使用可以从用户接收口头信息并将其转换为可用的数字信息的音频编解码器760可听地进行通信。音频编解码器760同样可以诸如通过例如在移动计算设备750的听筒中的扬声器来为用户生成可听声音。这样的声音可以包括来自语音电话呼叫的声音，可以包括记录的声音(例如，语音消息、音乐文件等)，并且还可以包括由在移动计算设备750上运行的应用生成的声音。

移动计算设备750可以以多种不同的形式而实施，如图所示。例如，它可以被实施为蜂窝电话780。它也可以被实施为智能手机782、个人数字助理或其他类似的移动设备的一部分。

这里描述的系统和技术的各种实施方式可以在数字电子电路、集成电路、专门设计的ASIC(Application Specific Integrated Circuit，专用集成电路)、计算机硬件、固件、软件、和/或其组合中被实现。这些各种实施方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，其中该可编程系统包括可以是专用或通用的至少一个可编程处理器，其中该可编程处理器被耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并且向存储系统、至少一个输入设备和至少一个输出设备发送数据和指令。

这些计算机程序(也已知为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象的编程语言和/或以汇编/机器语言而实施。如本文所使用的，术语机器可读介质和计算机可读介质是指用来向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(Programmable Logic Device，PLD))，包括接收作为机器可读信号的机器指令的机器可读介质。术语机器可读信号是指用来向可编程处理器提供机器指令和/或数据的任何信号。

为了提供与用户的交互，这里描述的系统和技术可以在计算机上实施，其中该计算机具有用于向用户显示信息的显示设备(例如，CRT(Cathode Ray Tube，阴极射线管)或LCD(Liquid Crystal Display，液晶显示器)监视器)以及用户可以通过其向计算机提供输入的键盘和定点设备(例如，鼠标或轨迹球)。其他种类的设备也可以用来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以以任何形式接收来自用户的输入，包括声学、言语或触觉输入。

这里描述的系统和技术可以在计算系统中实施，其中该计算系统包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，用户可以通过其与这里描述的系统和技术的实施方式进行交互的、具有图形用户界面或网络浏览器的客户端计算机)，或者这样的后端组件、中间件组件或前端组件的任意组合。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)而互连。通信网络的示例包括局域网(LAN)、广域网(WAN)和互联网。

计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且一般通过通信网络进行交互。客户端和服务器的关系借助于在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。

在这里的系统、方法、设备和其他技术收集关于用户的个人信息或者可以利用个人信息的情况下，可以向用户提供机会来控制程序或特征是否收集用户信息(例如，关于用户的社交网络的信息、社交动作或活动、职业、用户的偏好或用户的当前位置)，或者控制是否和/或如何从内容服务器接收可能与用户更相关的内容。另外，某些数据可以在其被存储或使用之前以一种或多种方式而处理，以便移除个人可标识信息。例如，可以处理用户的身份，以便不能针对用户确定个人身份信息，或者可以概括其中获得位置信息的用户的地理位置(诸如城市、ZIP码或州级)，以便无法确定用户的特定位置。因此，用户可以控制如何收集关于用户的信息并由内容服务器使用。

尽管上面已经详细描述了各种实施方式，但是其他修改也是可能的。此外，图中描绘的逻辑流程不需要所示的特定次序、或顺序次序来实现期望的结果。此外，可以提供其他步骤或者可以从所描述的流程消除步骤，并且可以向所描述的系统添加或者从所描述的系统移除其他组件。因此，其他实施方式也在所附权利要求的范围内。

Claims (31)

1.一种计算机实施的方法，包括：

由计算系统接收对要呈现在用户设备处的电子界面中的数字分量的请求；

确定所述请求的上下文，所述上下文指示所述请求的可观察参数的实际值；

基于所述请求的可观察参数的第一子集的实际值，生成所述请求的不可观察参数的预测值；

基于所述请求的不可观察参数的预测值和指示所述请求的可观察参数的第二子集的实际值的上下文，生成一个或多个数字分量；以及

向用户设备提供数据，以使用户设备在电子界面中呈现一个或多个数字分量。

2.根据权利要求1所述的方法，其中，所述请求的不可观察参数表示所述用户设备处的电子界面中所请求的数字分量的垂直显示位置。

3.根据权利要求1或2所述的方法，其中，生成一个或多个数字分量包括：

标识候选数字分量集合；以及

从所述候选数字分量集合选择一个或多个数字分量。

4.根据权利要求3所述的方法，进一步包括：

对于所述候选数字分量集合中的每个候选数字分量，确定如果响应于所述请求将候选数字分量返回给所述用户设备，将发生与所述候选数字分量的用户交互的预测可能性；

其中，从候选数字分量集合选择一个或多个数字分量基于所述预测可能性。

5.根据权利要求4所述的方法，其中，确定预测可能性包括：

(i)基于所述请求的可观察参数的第一子集的实际值，生成所述请求的不可观察参数的预测值，以及

(ii)基于所述预测值来生成与所述候选数字分量的用户交互的所述预测可能性。

6.根据任一前述权利要求所述的方法，其中，所述性能预测引擎被进一步配置为：

(i)基于所述请求的不可观察参数的预测值、所述请求的至少第一可观察参数的实际值、以及所述候选数字分量的至少第一分发参数的值，生成性能预测模型的预测输入，以及

(ii)用性能预测模型处理所述预测输入，以确定候选数字分量的预测的性能度量。

7.根据权利要求6所述的方法，其中，所述性能预测引擎被进一步配置为：使用不可观察参数预测模型来生成所述请求的不可观察参数的预测值，

其中，不可观察参数预测模型是所述性能预测模型的一部分，所述不可观察参数预测模型在所述预测的性能度量被确定之前生成所述请求的不可观察参数的预测值，以用作到所述性能预测模型的所述预测输入中的一个。

8.根据任一前述权利要求所述的方法，其中，对于在所述数字内容数据库中标识的所述候选数字分量集合中的至少一些当中的每个候选数字分量，所述候选数字分量的预测的性能度量指示候选数字分量的预测点击率(“CTR”)。

9.根据任一前述权利要求所述的方法，其中：

所述请求的可观察参数集合包括指示以下中的至少一个的参数：在其中呈现电子界面的用户设备处的用户代理的身份、与所述请求相关联的地理位置、一天中与所述请求相关联的时间、与所述请求相关联的搜索查询或从所述搜索查询推导的关键词、或者要在其中呈现所请求的数字分量的电子界面的身份，以及

与给定的候选数字分量相关联的第一分发参数是与所述候选数字分量相关联的关键词或与所述候选数字分量相关联的出价金额。

10.一种计算系统，包括：

一个或多个计算机；以及

一个或多个计算机可读介质，具有存储在其上的指令，所述指令在由一个或多个计算机执行时使得一个或多个计算机实施根据任一前述权利要求所述的方法。

11.一种计算系统，包括：

一个或多个计算机；以及

一个或多个计算机可读介质，具有存储在其上的指令，所述指令在由一个或多个计算机执行时使得一个或多个计算机实施：

前端接口，被配置为接收对要呈现在用户设备处的电子界面中的数字分量的请求，所述请求指示表示所述请求的上下文的、所述请求的可观察参数集合的实际值；

数字分量数据库，存储标识候选数字分量集合和每个候选数字分量的分发参数的值的数据；

度量预测引擎，被配置为对于在数字分量数据库中标识的候选数字分量集合中的至少一些当中的每个候选数字分量，生成预测度量，所述预测度量指示如果响应于所述请求将候选数字内容时间返回给用户设备，将发生与所述候选数字分量的用户交互的可能性，

其中，所述预测度量是基于以下而生成的：(i)所述请求的不可观察参数的预测值，(ii)来自所述请求的可观察参数集合的、所述请求的至少第一可观察参数的实际值，以及(iii)所述候选数字分量的至少第一分发参数的值，

其中，所述请求的不可观察参数的预测值是基于来自所述请求的可观察参数集合的、所述请求的第二可观察参数的实际值而生成的；以及

内容选择引擎，被配置为基于一个或多个数字分量的预测度量来选择响应于所述请求要返回给用户设备的一个或多个数字分量，

其中，前端接口被进一步配置为向用户设备提供数据，以使用户设备在电子界面中呈现一个或多个数字分量。

12.根据权利要求11所述的计算系统，其中，所述请求的不可观察参数表示所述用户设备处的电子界面中所请求的数字分量的垂直显示位置。

13.根据权利要求11所述的计算系统，其中，所述度量预测引擎被进一步配置为：

(i)基于所述请求的不可观察参数的预测值、所述请求的至少第一可观察参数的实际值、以及所述候选数字分量的至少第一分发参数的值，生成度量预测模型的预测输入，以及

(ii)用预测模型处理所述预测输入，以确定候选数字分量的预测度量。

14.根据权利要求13所述的计算系统，其中，所述度量预测引擎被进一步配置为使用不可观察参数预测模型来生成所述请求的不可观察参数的预测值，

其中，不可观察参数预测模型是所述度量预测模型的一部分，所述不可观察参数预测模型在所述预测度量被确定之前生成所述请求的不可观察参数的预测值，以用作到所述预测模型的所述预测输入中的一个。

15.根据权利要求11所述的计算系统，其中，对于在所述数字分量数据库中标识的所述候选数字分量集合中的至少一些当中的每个候选数字分量，所述候选数字分量的预测度量指示候选数字分量的预测点击率(“CTR”)。

16.根据权利要求11所述的计算系统，其中：

所述请求的可观察参数集合包括指示以下中的至少一个的参数：在其中呈现电子界面的用户设备处的用户代理的身份、与所述请求相关联的地理位置、一天中与所述请求相关联的时间、与所述请求相关联的搜索查询或从所述搜索查询推导的关键词、或者要在其中呈现所请求的数字分量的电子界面的身份，以及

与给定的候选数字分量相关联的第一分发参数是与所述候选数字分量相关联的关键词或与所述候选数字分量相关联的出价金额。

17.一种计算机实施的方法，包括：

由计算系统接收对要呈现在用户设备处的电子界面中的数字分量的请求；

确定所述请求的上下文，所述上下文指示所述请求的可观察参数的实际值；

标识候选数字分量集合；

对于候选数字分量集合中的每个候选数字分量，确定如果响应于所述请求将候选数字分量返回给用户设备，将发生与所述候选数字分量的用户交互的预测可能性，其中，确定预测可能性包括：

(i)基于所述请求的可观察参数的第一子集的实际值，生成所述请求的不可观察参数的预测值，以及

(ii)基于所述请求的不可观察参数的预测值、所述请求的可观察参数的第二子集的实际值、以及与候选数字分量相关联的一个或多个分发参数的值，生成与所述候选数字分量的用户交互的预测可能性；

基于与一个或多个数字分量的用户交互的预测可能性，从候选数字分量集合选择一个或多个数字分量；以及

向用户设备提供数据，以使用户设备在电子界面中呈现一个或多个数字分量。

18.根据权利要求17所述的计算机实施的方法，其中，所述请求的不可观察参数表示所述用户设备处的电子界面中所请求的数字分量的显示位置。

19.根据权利要求18所述的计算机实施的方法，其中，所述显示位置指示所述用户设备处的电子界面中所请求的数字分量的垂直位置。

20.根据权利要求17所述的计算机实施的方法，其中，确定所述请求的上下文包括解析所述请求，以从所述请求的内容提取所述请求的可观察参数的实际值。

21.根据权利要求17所述的计算机实施的方法，其中，确定与所述候选数字分量的用户交互的预测可能性包括用度量预测模型处理预测输入，以生成预测可能性，其中，所述预测输入是从所述请求的不可观察参数的预测值、所述请求的可观察参数的第二子集的实际值以及与所述候选数字分量相关联的一个或多个分发参数的值推导的。

22.根据权利要求21所述的计算机实施的方法，其中，生成所述请求的不可观察参数的预测值包括用与所述度量预测模型的至少第一部分不同的不可观察参数预测模型处理第二预测输入，其中，所述第二预测输入是从所述请求的可观察参数的第一子集的实际值推导的。

23.根据权利要求22所述的计算机实施的方法，其中，所述不可观察参数预测模型是所述度量预测模型的第二部分，其中，所述不可观察参数预测模型和所述度量预测模型被联合训练。

24.根据权利要求22所述的计算机实施的方法，其中，所述不可观察参数预测模型与所述度量预测模型完全不同，其中，所述不可观察参数预测模型和所述度量预测模型被分开训练。

25.根据权利要求21所述的计算机实施的方法，其中，所述度量预测模型和所述度量预测模型是机器学习模型。

26.根据权利要求17所述的计算机实施的方法，其中：

所述电子界面是呈现在所述用户设备处的网页或应用界面，并且

所述数字分量是代表与网页或应用界面的发布者或开发者不同的第三方而分发的第三方媒体项。

27.根据权利要求17所述的计算机实施的方法，其中，与所述候选数字分量的用户交互的预测可能性表示候选数字分量的预测点击率(“CTR”)。

28.根据权利要求17所述的计算机实施的方法，其中，所述请求的可观察参数包括以下中的至少一个：在其中呈现电子界面的用户设备处的用户代理的身份、与所述请求相关联的地理位置、一天中与所述请求相关联的时间、与所述请求相关联的搜索查询或从所述搜索查询推导的关键词、或者要在其中呈现所请求的数字分量的电子界面的身份。

29.根据权利要求28所述的计算机实施的方法，其中，所述请求的可观察参数包括要在其中呈现所请求的数字分量的所述电子界面的身份，其中，所述电子界面的身份由提供电子界面的网页或网站的地址表示。

30.根据权利要求17所述的计算机实施的方法，其中，与所述候选数字分量集合中的至少一些候选数字分量中的每一个相关联的所述分发参数包括与所述候选数字分量相关联的关键词或与所述候选数字分量相关联的出价金额中的至少一个。

31.一种计算系统，包括：

一个或多个处理器；以及

一个或多个计算机可读介质，具有存储在其上的指令，所述指令在由一个或多个处理器执行时使得一个或多个处理器执行操作，所述操作包括：

接收对要呈现在用户设备处的电子界面中的数字分量的请求；

确定所述请求的上下文，所述上下文指示所述请求的可观察参数的实际值；

标识候选数字分量集合；

对于候选数字分量集合中的每个候选数字分量，确定如果响应于所述请求将候选数字分量返回给用户设备，将发生与所述候选数字分量的用户交互的预测可能性，其中，确定预测可能性包括：

(i)基于所述请求的可观察参数的第一子集的实际值，生成所述请求的不可观察参数的预测值，以及

(ii)基于所述请求的不可观察参数的预测值、所述请求的可观察参数的第二子集的实际值、以及与候选数字分量相关联的一个或多个分发参数的值，生成与所述候选数字分量的用户交互的预测可能性；

基于与一个或多个数字分量的用户交互的预测可能性，从候选数字分量集合选择一个或多个数字分量；以及

向用户设备提供数据，以使用户设备在电子界面中呈现一个或多个数字分量。

Images