CN108781223A - 用于内容项选择的数据的数据分组传输优化 - Google Patents

Abstract

用于提供第三方内容的系统和方法可以包括：数据处理系统，其从第三方内容提供者的计算设备接收定义与产品或服务场境相关的在线活动类型的在线活动的标准。数据处理系统可以基于定义的在线活动来识别客户端设备的聚类，并且确定与定义的在线活动和所识别的客户端设备的聚类相关联的关键字子集。数据处理系统可以基于客户端设备的聚类来确定关键字子集的性能度量，并将关键字子集和性能度量提供给计算设备。数据处理系统可以从计算设备接收关键字子集的第一关键字的参数值，以用于选择与第一关键字相关联的第三方内容提供者的内容项。

Description

用于内容项选择的数据的数据分组传输优化

相关申请的交叉引用

本申请要求于2017年1月11日提交的题为“用于内容项选择的数据的数据分组传输优化(Data Packet Transmission Optimization of Data Used for Content ItemSelection)”的美国专利申请No.15/403,990的优先权，其内容全部通过引用并入本文。

背景技术

内容传送系统管理通常为大量第三方内容提供者提供第三方内容的选择和传递。对于每个第三方内容提供者，内容传送系统对选择相应的第三方内容以传送给客户端设备有一套标准。传送到客户端设备的第三方内容项的选择可以涉及多组关键字之间的比较。与第三方内容提供商相关联地保持的标准的总量可以影响由内容传送系统使用的存储器资源和计算资源的数量以及在处理对第三方内容的请求时执行的处理的数量。此外，随着第三方内容提供者的数量或相应标准的数量的增加，实时选择和分发第三方内容项、响应第三方内容呼叫的请求变得更具挑战性并且更需要存储器和计算资源。

发明内容

根据至少一个方面，优化用于第三方内容选择的数据交换的系统可以包括具有关键字选择组件、关键字性能组件、历史在线活动数据库和内容项选择组件的数据处理系统。关键字选择组件可以基于存储在历史在线活动数据库中的数据来识别先前关于产品或服务场境执行在线活动类型的多个在线活动的客户端设备的聚类。关键字选择组件可以基于存储在历史在线活动数据库中的数据从多个关键字中确定与所述客户端设备的聚类关于产品或服务场境执行的在线活动类型的多个在线活动相关联的关键字的子集。关键字性能组件可以基于客户端设备的聚类关于产品或服务场境执行的在线活动类型的多个在线活动来确定关键字子集的性能度量。关键字选择组件可以向第三方内容提供者的计算设备发送关键字子集和性能度量。内容项选择组件可以从第三方内容提供者的计算设备接收关键字子集中的第一关键字的参数值。参数值可以例如由计算设备基于性能度量来确定。内容项选择组件可以接收对用于在客户端设备上显示的第三方内容的请求。请求可以指示第一关键字，并且基于参数值来选择与产品或服务场境相关联的第三方内容提供者的内容项。内容项选择组件可以提供用于在客户端设备上显示的所选的内容项。

根据至少一个方面，用于第三方内容选择的数据交换的优化系统可以包括具有关键字选择组件、关键字性能组件和历史在线活动数据库的数据处理系统。关键字选择组件可以基于存储在历史在线活动数据库中的数据来识别先前关于产品或服务场境执行在线活动类型的多个在线活动的客户端设备的聚类。关键字选择组件可以基于存储在历史在线活动数据库中的数据从多个关键字中确定与客户端设备的聚类关于产品或服务场境执行的在线活动类型的多个在线活动相关联的关键字的子集。关键字性能组件可以基于客户端设备的聚类关于产品或服务场境执行的在线活动类型的多个在线活动确定关键字子集的性能度量。关键字选择组件可以向第三方内容提供者的计算设备发送关键字的子集和性能度量。基于性能度量，可以由第三方内容提供者的计算设备为关键字子集的第一关键字确定参数值。参数值可以用于响应于对第三方内容的请求来选择与产品或服务场境相关联的第三方内容提供者的内容项。对第三方内容的请求可以指示第一关键字。所选的内容项可以被提供为在客户端设备上显示。

根据至少一个方面，基于关键字性能提供第三方内容的方法可以包括数据处理系统，该系统基于存储在历史在线活动数据库中的数据来识别先前关于产品或服务场境执行在线活动类型的多个在线活动的客户端设备的聚类。数据处理系统可以基于存储在历史在线活动数据库中的数据，从多个关键字中确定与客户端设备的聚类关于产品或服务场境执行的在线活动类型的多个在线活动相关联的关键字的子集。数据处理系统可以基于客户端设备的聚类关于产品或服务场境执行的在线活动类型的多个在线活动确定关键字子集的性能度量。数据处理系统可以为第三方内容提供者的计算设备提供对关键字子集和性能度量的访问。基于性能度量，可以由第三方内容提供者的计算设备为关键字子集的第一关键字确定参数值。参数值可以用于响应于对第三方内容的请求来选择与产品或服务场境相关联的第三方内容提供者的内容项。对第三方内容的请求可以指示第一关键字。所选的内容项可以被提供为在客户端设备上显示。

根据至少一个方面，一种包括存储在其上的计算机代码指令的非暂时计算机可读介质，计算机代码指令在由一个或多个处理器执行时，使数据处理系统执行执行基于关键字性能提供第三方内容的方法。该方法可以包括基于存储在历史在线活动数据库中的数据来识别先前关于产品或服务场境执行在线活动类型的多个在线活动的客户端设备的聚类。数据处理系统可以基于存储在历史在线活动数据库中的数据，从多个关键字中确定与客户端设备的聚类关于产品或服务场境执行的在线活动类型的多个在线活动相关联的关键字的子集。数据处理系统可以基于客户端设备的聚类关于产品或服务场境执行的在线活动类型的多个在线活动来确定关键字子集的性能度量。数据处理系统可以为第三方内容提供者的计算设备提供对关键字子集和性能度量的访问。基于性能度量，可以由第三方内容提供者的计算设备为关键字子集的第一关键字确定参数值。参数值可以用于响应于对第三方内容的请求来选择与产品或服务场境相关联的第三方内容提供者的内容项。对第三方内容的请求可以指示第一关键字。所选的内容项可以被提供为在客户端设备上显示。

附图说明

一个或多个实施方式的细节在附图和下面的描述中阐述。通过描述、附图和权利要求书，本公开的其他特征、方面和优点将显而易见，其中：

图1是用于向客户端设备提供第三方内容进行显示的计算机环境的实施方式的框图；

图2A和图2B显示提供在第三方内容计算设备上的用户界面(UI)的屏幕截图；

图3显示存储历史在线活动记录的表；

图4示出了基于关键字性能提供第三方内容的方法400的流程图；和

图5是描绘可用于实现本文描述和示出的系统和方法的各种元件的计算机系统的一般架构的一个实施方式的框图。

为了说明，一些或全部附图是示意图。上述信息和以下详细描述包括各种方面和实现的说明性示例，并且提供用于理解所要求保护的方面和实施方式的性质和特征的概述或框架。附图提供了各种方面和实施的说明和进一步理解，并且被并入并构成本说明书的一部分。

具体实施方式

基于多个标准，第三方内容提供者提供在客户端设备上显示信息资源(例如，网站、游戏平台或地图)的第三方内容。例如，第三方内容提供者可以选择或识别关键字集，基于这些关键字集在客户端设备上显示第三方内容提供者提供的内容项。关键字集可以定义与第三方内容提供者相关的场境。例如，关键字集可以与第三方内容提供者的服务、产品或内容项相关。第三方内容提供者可以决定提供相应的内容项以在使用所选的关键字集的关键字执行搜索的客户端上显示，访问包括所选的关键字集的关键字的资源(例如，网站或客户端应用)，或具有由所选的关键字集的关键字定义的首选项。

向客户端设备传送第三方内容提供者的第三方内容的数据处理系统可以向第三方内容提供者建议关键字，以用作决定是否为客户端设备提供用于显示的相应的内容项的标准。数据处理系统可以基于指示与不同客户端设备相关联的先前在线活动的维护历史信息以及这些在线活动与各种关键字之间的相关性来建议关键字。历史信息可以包括显示基于先前记录的在线活动的关键字性能的统计数据(例如，关键字成功触发一些在线活动)。可用于任何给定场境的关键字的数量可能非常大(例如，超过一百个关键字)。大量关键字可能会让第三方内容提供者陷入困惑。此外，为每个第三方内容提供者维护大量不必要的关键字可能导致数据处理系统的存储器和计算资源的浪费。例如，考虑到由数据处理系统管理的第三方内容提供者帐户的数量通常巨大(例如，数千或数十万)，每个帐户的大量关键字可以耗尽数据处理系统的存储器资源。此外，每次接收到对第三方内容的请求时，数据处理系统必须缓存并比较每个帐户的大量关键字以及与第三方内容请求相关联的关键字。随着每个帐户的关键字数量的增加，关键字的缓存和比较将导致计算资源消耗增加，处理时间更长。本公开解决的技术问题是如何在向第三方内容提供者提供或推荐相关的关键字，且这些内容提供者比其他内容提供者更有可能触发客户端设备的在线活动的同时，减少数据处理系统的存储器和计算资源的使用其他。

数据处理系统可以维护历史在线活动数据库以连续地评估各种关键字的性能。数据处理系统可以直接参与一些在线活动，诸如由客户端设备在线搜索或访问网页。例如，数据处理系统可以接收和处理来自客户端设备的搜索查询，或者响应客户端设备访问网页时接收的对第三方内容的请求。搜索查询可以包括标识发起搜索查询的客户端设备的设备标识符(ID)以及搜索查询中使用的关键字。此外，对第三方内容的请求可以包括访问网站的客户端设备的设备ID和指示所请求的第三方内容的场境的关键字。数据处理系统可以存储与相应的设备ID和相应的关键字相关联的在线搜索或网站访问的实例的指示。此外，当客户端设备与第三方内容项进行交互时，第三方内容项导致该客户端设备ping相应第三方内容提供者的计算设备以报告此类交互。这种方法在本文中可以称为跟踪像素，并且由客户端设备发送的ping消息可以包括该客户端设备的设备ID、第三方内容项的ID以及交互的类型。

在客户端设备在线活动与在线购买相关的情况下，跟踪像素可能无法提供这些活动与触发此类在线活动的任何关键字(例如，使用搜索查询的关键字或与第三方内容项相关联的关键字)之间的准确映射。将检测到的在线活动映射到触发活动的关键字的不准确性可以导致估计关键字性能的不准确。为了克服此类评估关键字性能的缺点，数据处理系统可以提供各种工具来监测和检测在线活动(例如，而不是使用跟踪像素)，并为第三方内容提供者提供访问记录的与相应关键字相关联的在线活动。

本公开描述了基于从由第三方内容提供者选择的客户端设备的特定聚类导出的度量来生成关键字建议的机制。第三方内容提供者可以选择在关键字推荐界面中用作过滤器的客户端设备的聚类(例如，在大量的客户端设备中)。第三方内容提供者可以通过诸如基于历史在线活动的方式选择比其他人更有可能与提供者的内容项进行交互的客户端设备。数据处理系统可以专门基于所选的客户端设备聚类而不是整群客户端设备来确定关键字性能度量，诸如点击率(CTR)、展示、每千次展示的平均有效成本(eCPM)、转化率或关键字得分。数据处理系统可以仅考虑由所选的客户端设备聚类使用的关键字来推荐给第三方内容提供者。此外，数据处理系统可以基于与第三方内容提供者相关的在线活动来确定所选的关键字的性能。仅考虑所选的客户端设备的聚类而不是整群客户端设备以确定用于推荐给第三方内容提供者的关键字使得确定的关键字的数量显着减少。确定的关键字数量的减少使数据处理系统的计算能力和存储器使用减少。确定的关键字的数量的减少也使在数据处理系统和第三方内容提供者的计算设备之间交换的数据分组数量减少，因此节省传输带宽。

第三方内容提供者可以选择客户端设备的聚类作为相对于指定的产品或服务属性执行特定在线活动的客户端设备。例如，第三方内容提供者可以选择考虑在最近60天(或任何其他持续时间)购买过特定在线产品或服务的客户端设备。第三方内容提供者可以选择考虑在最近30天(或任何其他持续时间)中查找过特定在线产品或服务的客户端设备。第三方内容提供者可以选择考虑在最近60天(或任何其他持续时间)中访问与特定产品或服务相关联的(或表现出某些兴趣)的网站的客户端设备。如此选择客户端设备让数据处理系统将其关键字的处理或分析限制于仅与第三方内容提供者相关性更高的客户端设备。这种限制减少了处理能力和电力消耗。数据处理系统可以基于第三方内容提供者所选的标准和历史在线活动的数据库来识别客户端设备的聚类。

数据处理系统可以基于历史在线活动的数据库来识别与所选的客户端设备聚类一起使用或相关联的关键字，以推荐给第三方内容提供者。数据处理系统可以基于与由第三方内容提供者选择或识别的特定产品或服务相关的客户端设备聚类执行的在线活动来评估或确定所识别的关键字的性能度量。通过将所选的关键字和相应的性能限制到所选的客户端设备的聚类，数据处理系统可以向第三方内容提供者推荐相关性更高的关键字(例如，与其他关键字相比)，并提供对第三方内容提供者来说更有意义的关键字的性能。确定的关键字的性能可以允许第三方内容提供者在为该关键字设置参数值(例如，出价值)时更准确地评估每个关键字的价值。此外，通过限制所选的关键字和相应的性能度量，数据处理系统可以显著减少在数据处理系统和第三方内容提供者的计算设备之间传送的数据分组(例如，携带所选的关键字和相应的性能信息)的数量。

根据本公开的方面，用于基于关键字性能提供第三方内容的系统和方法可以包括数据处理系统，该系统基于存储在历史在线活动数据库中的数据来识别先前关于产品或服务场境执行在线活动类型的多个在线活动的客户端设备的聚类。数据处理系统可以基于存储在历史在线活动数据库中的数据，从多个关键字中确定与客户端设备的聚类关于所述产品或服务场境执行的在线活动类型的多个在线活动相关联的关键字的子集。数据处理系统可以基于客户端设备的聚类关于产品或服务场境执行的在线活动类型的多个在线活动确定关键字子集的性能度量。数据处理系统可以向第三方内容提供者的计算设备提供携带关键字子集和性能度量的数据分组。数据处理系统可以从第三方内容提供者的计算设备接收关键字子集的第一关键字的参数值，参数值基于性能度量确定。数据处理系统可以接收对用于在客户端设备上显示的第三方内容的请求，该请求指示第一关键字。数据处理系统可以基于参数值选择与产品或服务场境相关联的第三方内容提供者的内容项，并提供所选的内容项以在客户端设备上显示。

在这里讨论的系统收集关于用户的个人信息或可以利用个人信息的情况下，可以向用户提供控制节目或特征是否收集用户信息的机会(例如，关于用户的社交网络、社交行为或活动、职业、用户的偏好或用户的当前位置的信息)，或者控制是否或如何从内容服务器接收可能与用户更相关的内容。此外，某些数据可以在存储或使用之前以一种或多种方式处理，以便去除可识别的个人信息。例如，可以对用户的身份进行处理，使得不能确定可识别的个人信息，或者在获得位置信息(诸如城市、邮政编码或州级)的情况下，可以将用户的地理位置概括，使得不能确定用户的特定位置。因此，用户可以控制如何收集关于用户的信息和内容服务器如何使用用户的信息。

图1是用于向客户端设备提供用于显示的第三方内容的计算机环境100的实施方式的框图。计算机环境100可以包括数据处理系统102，所述数据处理系统102可以包括关键字选择组件104、关键字性能组件106、内容项选择组件108和历史在线活动数据库110。计算机环境100还可以包括一个或多个第三方内容计算设备112、一个或多个资源服务器114、一个或多个客户端设备和网络118。数据处理系统102可以经由网络118通信地耦合到第三方内容计算设备112、资源服务器114以及客户端设备。网络118可以包括局域网(LAN)、广域网(WAN)、电话网络(诸如公共交换电话网络(PSTN))、无线链路、内联网、互联网或其组合。

数据处理系统102可以是内容传送系统。数据处理系统102可以管理和存储各种第三方内容提供者的内容选择标准。数据处理系统102可以基于该第三方内容提供者的选择标准来选择第三方内容提供者的第三方内容项，并提供所选的第三方内容项以在客户端设备116上显示。数据处理系统102可以包括至少一个逻辑设备，诸如具有数据处理器的计算设备，以经由网络118进行通信，例如与资源服务器114、客户端设备116或第三方内容计算设备112。数据处理系统102可以包括一个或多个数据处理器，诸如内容放置处理器，所述数据处理器被配置为执行存储在存储器设备中的指令以执行本文所述的一个或多个操作。换句话说，数据处理系统102的一个或多个数据处理器和存储器设备可以形成处理模块。处理器可以包括微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等，或其组合。存储器可以包括但不限于能够向处理器提供程序指令的电子、光学、磁性或任何其他存储或传输设备。存储器可以包括软盘、光盘只读存储器(CD-ROM)、数字通用盘(DVD)、磁盘、存储器芯片、只读存储器(ROM)、随机存取存储器(RAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、闪存、光学介质或处理器可以从中读取指令的任何其他合适的存储器。指令可以包括来自任何合适的计算机编程语言的代码。处理器可以处理指令并输出数据以执行与关键字选择组件104、关键字性能组件106或内容项选择组件108相关联的处理。除了处理电路之外，数据处理系统102可以包括一个或多个被配置为存储数据的数据库，诸如历史在线活动数据库110或用于存储各种第三方内容提供者的内容项和选择标准的数据库。数据处理系统110还可以包括被配置为经由网络118接收数据并且将数据从数据处理系统102提供给网络118上的任何其他设备的接口。数据处理系统102可以包括服务器，诸如域服务器或其他。

客户端设备116可以生成对第三方内容的请求，并将这样的请求发送到数据处理系统102。客户端设备116可以响应这些请求，从数据处理系统102接收第三方内容项。客户端设备116可以包括一个或多个设备，诸如计算机、膝上型计算机、台式机、智能电话、平板电脑、个人数字助理、电视机的机顶盒、智能电视或被配置为经由网络118与其他设备通信的服务器设备。客户端设备116可以是包括数据处理器和存储器的任何形式的便携式电子设备。存储器可以存储机器指令，当处理器执行指令时使其执行本文所述的一个或多个操作。存储器还可以存储数据以在计算设备上有效呈现一个或多个资源、内容项等。处理器可以包括微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等，或其组合。存储器可以包括但不限于能够向处理器提供程序指令的电子、光学、磁性或任何其他存储或传输设备。存储器可以包括软盘、光盘只读存储器(CD-ROM)、数字通用盘(DVD)、磁盘、存储器芯片、只读存储器(ROM)、随机存取存储器(RAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、闪存、光学介质或处理器可以从中读取指令的任何其他合适的存储器。指令可以包括来自任何合适的计算机编程语言的代码。

客户端设备116可以执行软件应用(例如，web浏览器或其他应用)以通过网络118从其他计算设备检索内容。这样的应用可以被配置为从资源服务器114检索第一方内容。在客户端设备116上运行的应用本身可以是第一方内容(例如，游戏、媒体播放器等)。客户端设备116可以执行在客户端设备的显示器上提供浏览器窗口的web浏览器应用。提供浏览器窗口的web浏览器应用可以通过从输入设备(例如，指点设备、键盘、触摸屏或其他形式的输入设备)接收统一资源定位符(URL)的输入(诸如，web地址)来进行操作。作为响应，执行来自web浏览器应用的指令的客户端设备116的一个或多个处理器可以从URL地址(例如，资源服务器114)引用的连接到网络118的另一个设备请求数据。然后，其他设备可以向客户端设备116提供网页数据、地理地图数据或其他数据，导致由客户端设备116的显示来显示视觉标记。因此，浏览器窗口显示检索到的第一方内容，诸如来自各种网站的网页，以方便用户与第一方内容的交互。

资源服务器114可以包括诸如服务器的计算设备，所述计算设备被配置为托管资源，如网页或其他资源(例如，文章、评论帖子、音乐、视频、图形、搜索结果、信息种子、地理地图数据等)。资源服务器114可以是计算机服务器(例如，文件传输协议(FTP)服务器、文件共享服务器、web服务器等)或服务器的组合(例如，数据中心、云计算平台等)。资源服务器114可以向客户端设备116提供资源数据或其他内容(例如，文本文档、PDF文件和其他形式的电子文档)。客户端设备116可以经由网络118访问资源服务器114以请求数据以有效呈现资源服务器114的资源。

一个或多个第三方内容提供者可以具有第三方内容计算设备112，以经由网络118直接或间接地将第三方内容项的数据提供给数据处理系统102或其他计算设备。与第三方内容提供者相关联的第三方内容计算设备112可以向数据处理系统102提供内容选择标准，以用于选择在客户端设备116上呈现的第三方内容提供者的内容项。内容项可以是可以呈现在客户端设备116的显示器上的任何格式，例如图形、文本、图像、音频、视频等。内容项还可以是格式的组合(混合)。内容项可以是横幅内容项、插页内容项、弹出内容项、富媒体内容项、混合内容项、Flash内容项、跨域iframe内容项等。内容项还可以包括嵌入信息，诸如超链接、元数据、链接、机器可执行指令、注释等。在一些示例中，第三方内容计算设备112可以被集成到数据处理系统102中，或者第三方内容项的数据可以存储在数据处理系统102的数据库中。内容选择标准可以包括一个或多个主题、关键字、预算值、感兴趣的本地地理区域、感兴趣的日期或时间间隔、感兴趣的客户端设备的类型、感兴趣的第一方资源(例如，网站、网络应用、电子地图或独立应用)的类型、出价值或其组合的指示。

数据处理系统102可以经由网络118接收对呈现资源的内容项的请求。该请求可以从资源服务器114、客户端设备116或任何其他计算设备接收。资源服务器114可以由第一方内容提供者拥有或运行，第一方内容提供者可以包括用于数据处理系统102向第三方内容项提供第一方内容提供者的一个或多个资源的指令。该资源可以包括网页或地理地图数据。客户端设备116可以是由用户操作的计算设备(由匿名设备标识符表示)，当访问资源服务器114的资源时，可以向数据处理系统102请求例如要呈现资源的内容项。内容项请求可以包括请求设备信息(例如，web浏览器类型、操作系统类型、来自请求设备的一个或多个先前资源请求、由请求设备接收的一个或多个先前内容项、请求设备的语言设置、请求设备的地理位置、在请求设备处的一天的时间、在请求设备处的一周中的一天、在请求设备处的一个月中的一天、在请求设备处的一年中的一天等)和资源信息(例如，所请求的资源的URL、所请求的资源的内容的一个或多个关键字、资源的内容的文本、资源的标题、资源的类别、资源的种类等)。数据处理系统102接收的信息可以包括超文本传输协议(HTTP)cookie或包含表示客户端设备116的设备标识符(例如，随机或伪随机数)的其他数据块。设备信息或资源信息可以附加到内容项请求URL(例如，contentitem.item/page/contentitem？devid＝abc123&devnfo＝A34r0)。在附加到内容项请求URL之前可以对设备信息或资源信息进行编码。数据处理系统102可以利用请求设备信息或资源信息来选择要与所请求的资源一起服务并呈现在客户端设备116的显示器上的第三方内容项。响应于内容项请求，数据处理系统102可以检索和处理与给定的第三方内容提供者相关联的内容选择参数，以确定是否提供该第三方内容提供者的内容项以在客户端设备120上呈现。

资源服务器114的资源可以包括搜索引擎特征。搜索引擎特征可以经由输入特征(输入文本框等)接收搜索查询(例如，文本串)。搜索引擎可以基于搜索查询来在文档的索引(例如，诸如网页等的其他资源)中搜索相关搜索结果。搜索结果可以作为第二资源传送，以在客户端设备116的显示器上呈现诸如搜索结果网页的相关搜索结果。搜索结果可以包括例如网页标题或超链接。可以在搜索结果网页的内容项插槽中为一个或多个第三方内容项呈现搜索结果。因此，资源服务器114或客户端设备116可以从数据处理系统102请求一个或多个内容项以呈现在搜索结果网页的内容项插槽中。内容项请求可以包括附加信息，诸如用户设备信息、资源信息、内容项数量、内容项的格式、搜索查询字符串、搜索查询字符串的关键字、与查询相关的信息(例如，地理位置信息或时间信息)。资源服务器114(或数据处理系统102)可以在搜索结果和第三方内容项之间进行描述以避免混淆。例如，资源服务器114(或数据处理系统102)可以指定Web浏览器上的搜索结果和第三方内容项的显示区域。

数据处理系统102可以包括关键字选择组件104，其可以向第三方内容提供者推荐关键字。第三方内容提供者可能想要根据关键字集和客户端设备聚类来定义用于选择和呈现相应内容项的标准。特别地，第三方内容提供者可能想要限制他的关于其中提供相应的第三方内容以在客户端设备116上显示的场景的兴趣限于请求第三方内容(或搜索查询)，其包括由预定义的客户端设备聚类116的任何客户端设备116启动的预定义关键字集中的至少一个。关键字选择组件104可以有助于例如基于由第三方内容计算设备112提供的一个或多个标准来定义客户端设备的聚类和关键字集。

关键字选择组件104可以从第三方内容计算设备112接收指示一个或多个标准以识别第三方内容提供者感兴趣的一组客户端设备116的数据。该标准可以指示先前参与与产品或服务场境相关联的活动的客户端设备116，例如已经参与与给定产品或服务相关联的指定类型的在线活动的客户端设备116。在线活动的类型可以包括在线购买、在线搜索、访问网页、与一个或多个特定内容项进行交互，或其组合。例如，第三方内容提供者可以将感兴趣的客户端设备聚类识别为购买过特定在线产品或在线服务的客户端设备(例如，特定移动电话、特定无线计划、特定运动设备、特定附件、或特定)。第三方内容提供者可以将感兴趣的客户端设备的聚类识别为搜索第三方内容提供者的特定产品或服务或访问与此类产品或服务相关联的网页的客户端设备。

从第三方内容计算设备112接收的数据可以指示与产品或服务类别而不是特定产品或服务相关联的一个或多个在线活动。例如，该标准可以指示与汽车类别(例如，轿车或跑车)，蜂窝电话计划或有线互联网服务相关联的在线活动(例如，在线购买、在线搜索或访问网页)。这些标准也可能表示感兴趣的在线活动发生的持续时间。例如，第三方内容提供者可以指定对在最近十二个月、最后三个月、最后三十天、最后年终假期或任何其他时间段中执行指定活动的客户端设备116感兴趣。该标准还可以指示在线活动发生的资源(例如，特定网站、特定社交媒体网络或特定移动应用)。例如，第三方内容提供者可以指定对在特定网站或特定移动应用(例如，特定电子商务应用)上购买或搜索产品或服务的客户端设备116感兴趣。标准可以进一步指定与第三方内容提供者感兴趣的客户端设备相关联的地理位置(例如，特定的城市区域)或客户端设备类型(例如，移动设备)。如下面的进一步细节所讨论的，关键字选择组件104可以提供可经由第三方内容计算设备104访问的用户界面，用于选择或定义标准以确定第三方内容提供者感兴趣的客户端设备的聚类(或组)。

关键字选择组件104可以基于从第三方内容客户端设备112接收的标准和存储在历史在线活动数据库110中的数据来识别感兴趣的客户端设备的聚类。历史在线活动数据库110可以包括由多个客户端设备116执行的在线活动的记录。每个记录可以包括指示执行该记录中报告的活动的客户端设备116、活动的类型、活动的时间和日期以及产品的信息、服务、产品类别或与活动相关联的服务类别。关键字选择组件104可以扫描历史在线活动数据库110，并且识别满足从第三方内容计算设备112接收的标准的所有客户端设备。例如，关键字选择组件104可以扫描存储在历史在线数据活动数据库110中以识别在最近十二个月内购买特定产品或特定类别的产品的客户端设备116的聚类(或组)。

关键字选择组件104可以基于所识别的客户端设备的聚类来确定多个关键字中的关键字的子集。例如，关键字选择组件104可以确定与所识别的客户端设备的聚类相关联的所有关键字或与从历史在线活动数据库110识别的活动相关联的关键字。例如，如果客户端设备的聚类被识别的方式是基于指示给定类别的产品的在线购买的多个在线活动，则关键字选择组件104可以确定与该多个活动相关联的所有关键字。与给定的在线活动相关联的关键字可以包括导致该活动或者是该活动的一部分的搜索查询中的关键字，与作为该活动的一部分访问的网页相关联的关键字，或者与作为该活动的一部分相互作用的内容项相关联的关键字活动。历史在线活动数据库110可以包括与数据库中列出的每个在线活动相关联的关键字。例如，指示相应在线活动的历史在线活动数据库110中的每个记录可以包括与该活动相关联的所有关键字。关键字选择组件104可以将关键字的子集确定为所识别的客户端设备聚类中的客户端设备116使用或相关联的关键字。例如，关键字选择组件104可以从与所识别的客户端设备聚类中的客户端设备116相关联的简档中提取关键字。

在一些情况下，关键字选择组件104可以识别具有与所确定的关键字子集具有相似属性的一个或多个其他关键字。例如，关键字选择组件104可以将一个或多个其他关键字识别为与确定的关键字子集中的关键字的同义词，或指示感兴趣的产品或服务类别中的新产品或服务的关键字。关键字选择组件104可以从与由第三方内容提供者识别的产品或服务类别(或特定产品或服务)相关联的资源(例如，网页)识别一个或多个其他关键字。关键字选择组件104可以更新确定的关键字子集以进一步包括一个或多个其他关键字。将其他关键字添加到确定的关键字子集中允许引入新的关键字(例如，不要在历史在线活动数据库110中显示与感兴趣的产品或服务相关联的之前活动相关)，其可能与第三方内容提供者相关。

关键字性能组件106可以确定关键字子集的性能度量。性能度量可以包括例如点击率(CTR)或转化率。性能度量可以表示客户端设备聚类内的关键字子集的性能。例如，关键字性能组件106可以将性能度量确定为所识别的客户端设备聚类中的关键字子集的CTR或转化率。关键字性能组件106可以识别例如由客户端设备聚类执行的所有在线搜索，其包括确定的关键字子集中的任何关键字。然后，关键字性能组件106可以确定导致转化(例如，在线购买)的这些搜索的比率。在某些情况下，关键字性能组件106可以识别与确定的关键字子集中的任何关键字相关联的内容(例如，网页、第三方内容项、搜索结果或其组合)被呈现给客户端设备聚类的任何客户端设备116的所有事件。关键字性能组件106可以将这些事件限制为与由第三方内容提供者识别的产品或服务类别(或特定产品或服务)相关联的内容相关的事件。然后，关键字性能组件106可以确定导致转化的识别事件(例如，在线购买或由接收客户端设备执行的其他动作)的比率作为关键字子集的性能度量。

关键字性能组件106可以确定所确定的关键字子集的每个关键字的单独的性能度量。对于所确定的关键字子集中的每个关键字，可以将相应的表现度量定义为例如该关键字的转化率或点击率。对于所确定的关键字子集中的每个关键字，关键字性能组件106可以基于搜索查询或与该关键字相关的其他事件确定相应的性能度量并且涉及所确定的客户端设备的聚类的至少一个客户端设备116，以及由第三方内容提供者指定的产品或服务类别。关键字性能组件106还可以基于相应的性能度量对关键字的子集进行排序。例如，关键字性能组件106可以根据相应性能度量的降序对关键字的子集进行排序。

确定关键字的子集或相应的性能度量可能在计算上非常苛刻，特别是当考虑大量的关键字子集和客户端设备的聚类对(例如，与各种第三方内容提供者相关联)。确定关键字的子集或相应的性能度量可以包括扫描历史在线活动数据库110。为了减少这些过程的计算复杂度，数据处理系统102可以预定义产品或服务类别集，并根据历史在线活动数据库110中的预定义类记录(或维护)历史在线活动。每个产品或服务类可以包括一个或多个产品或服务类别。产品或服务类别的示例可以包括“通信服务”、“运动器材和运动服”、“电影”、“音乐和游戏”、“电子计算机”或其组合。通信服务类可以包括例如“有线互联网”、“蜂窝电话计划”或其组合的类别。历史在线活动数据库110可以为每个类别包括一个或多个数据结构(例如，表、树、链表或其组合)来存储与该类相关联的历史在线活动的记录。对于给定的产品或服务类，历史在线活动数据库110可以包括多个数据结构，例如每个数据结构与相应的地理位置相关联。当从第三方内容计算设备112接收到标准时，关键字选择组件104可以扫描历史在线活动数据库110中与接收到的标准相关的数据结构。历史在线活动数据库内的历史在线活动数据的这种布置在确定关键字的子集或相应的性能度量时，可以显著降低处理功率并且提高处理速度。

关键字性能组件106还可以确定所确定的关键字子集的全局性能度量。全局性能度量可以代表所有或更大的客户端设备116集(例如，远远大于确定的客户端设备的聚类)之间的关键字子集的性能。全局性能度量可以为任何关键字子集的性能提供参考等级。例如，通过将基于所识别的客户端设备的聚类确定的关键字的子集的性能度量与相应的全局性能度量进行比较，数据处理系统102(或关键字性能组件106)可以确定与较大的客户端设备116集中的相同关键字的性能相比，在所识别的客户端设备聚类中关键字子集执行的程度。

关键字选择组件104(或关键字性能组件106)可以为第三方内容计算设备112提供对所确定的关键字子集和相应的性能度量的访问。例如，关键字选择组件104可以传送携带指示所确定的关键字子集的信息的数据分组和用于在第三方内容计算设备112上显示的相应性能度量作为推荐关键字。基于所识别的客户端设备的聚类而不是更大量的客户端设备来确定关键字子集导致在数据处理系统和第三方内容计算设备之间传输的关键字数量减少和数据分组数量的减少。关键字选择组件104还可以传送表示在携带关键字子集的数据分组内的关键字排名的数据，以便在第三方内容计算设备112上显示。关键字选择组件104还可以提供关键字子集的全局性能度量以及基于所识别的客户端设备聚类计算的相应性能度量。

第三方内容计算设备112可以响应于关键字的子集和相应的性能度量的显示来选择或设置关键字子集的至少一个关键字的至少一个参数值(例如，出价值)。第三方内容计算设备112可以基于性能度量来自动设置参数值，或者可以从相应的用户接收参数值作为输入。第三方内容计算设备112可以针对关键字子集的每个关键字选择或设置相关参数值。第三方内容计算设备112可以例如经由网络118向数据处理系统提供参数值。数据处理系统102(或内容项选择组件108)可以接收和存储与相应关键字相关联的参数值。例如，数据处理系统102可以将参数值存储为与第三方内容提供者相关联的帐户的一部分。向第三方内容计算设备112提供关键字子集以及为客户端设备的聚类确定的相应的性能度量允许第三方内容提供者特别针对关键字和客户端设备聚类对出价，而不是仅针对关键字出价。此外，关键字子集中的相对较少数量的关键字(例如，与考虑可能与第三方内容提供者相关的所有关键字相比)允许第三方内容计算设备112(或第三方内容提供者)设置或选择反映了关键字的预期性能的参数值。

第三方内容计算设备112还可以接收关键字子集的全局性能度量。通过将基于客户端设备的聚类确定的性能度量与全局性能度量进行比较，第三方内容计算设备112(或其用户)可以确定与在较大量的客户设备116内相比，在客户端设备的聚类内执行关键字子集的关键字的情况。这样的比较可以允许第三方内容计算设备112(或第三方内容提供者)以反映关键字的预期性能的方式充分地设置或选择参数值。例如，如果关键字在客户端设备的聚类中比在更大量的客户端设备中实质执行得更好，则第三方内容计算设备112可以为该关键字和客户端设备的聚类设置或选择相对较高的参数值。

内容项选择组件108可以接收对用于在客户端设备的聚类的客户端设备116上显示的第三方内容项的请求。可以接收和处理对要在客户端设备116上显示的第三方内容的请求。响应于请求访问或访问资源(例如，网站)，可以由客户端设备116启动对第三方内容项的请求。对第三方内容项的请求可以包括搜索查询。该请求可以包括或指示关键字子集的关键字。对第三方内容项的请求还可以包括场境信息，诸如客户端设备116的标识符(ID)、由客户端设备116访问的资源的指示、客户端设备116的地理位置或其组合。内容项选择组件108可以扫描该请求以确定其中包括的任何关键字或场境信息。

内容项选择组件108可以选择与第三方内容提供者相关联的第三方内容项，该第三方内容提供者从数据处理系统102接收关键字子集和相应的性能度量。对于包含在请求中的关键字，内容项选择组件108可以基于从第三方内容计算设备112接收到的参数值选择第三方内容项。内容项选择组件108可以在多个第三方内容提供者中进行竞争(或拍卖)，每个第三方内容提供者参与一个或多个相应的内容项。内容项选择组件108可以识别指示对在与所接收的对第三方内容的请求相关联(或包括在内)的关键字感兴趣的所有第三方内容提供者(例如，经由内容选择参数)。例如，内容项选择组件可以将与所接收的对第三方内容的请求相关联的关键字与与各种第三方内容提供者相关联的关键字进行比较。内容项选择组件108可以选择与最高参数值相关联的第三方内容项。

第三方内容计算设备112可以通过数据处理系统110或内容项选择组件108来管理内容项的选择和服务。例如，第三方内容计算设备112可以向数据处理系统110提供内容选择参数，以用于选择相应的第三方内容提供者的内容项。例如，第三方内容计算设备112可以经由用户界面来设置内容选择参数，用户界面可以定义关于内容项的服务的一个或多个内容项条件或约束。响应于包括任何预定义关键字的请求(例如，任何确定的关键字子集)，第三方内容计算设备112可以指定内容项或内容项集供所识别的客户端设备聚类中的客户端设备116选择并为其服务。第三方内容计算设备112可以指定要为与例如特定地理位置或区域、特定语言、特定操作系统或特定Web浏览器相关联的客户端设备116选择和服务的内容项或内容项集。第三方内容计算设备112可以为每个内容项或每个内容项子集设置单个参数值。

内容项选择组件108可以提供所选的内容项以在客户端设备116上显示，其启动对第三方内容的请求。客户端设备116可以例如在位于所访问的资源或搜索结果网页中的广告插槽中显示所接收的第三方内容项。响应于显示第三方内容项，客户端设备116可以通过执行基于哪个客户端设备的聚类被识别的在线活动类型的在线活动来与第三方内容项进行交互。例如，客户端设备116可以点击第三方内容项，点击嵌入在第三方内容项中的链接来访问与其关联的网页，或者响应于显示的第三方内容项执行在线购买。

客户端设备116可以将响应于第三方内容项的显示而执行的在线活动的指示传送到数据处理系统102。在从客户端设备116接收到在线活动的指示时，关键字性能组件106可以基于响应于第三方内容项的显示由客户端设备执行的在线活动来更新与第三方内容项相关联的一个或多个关键字的性能度量。例如，关键字性能组件106可以增加与一个或多个关键字相关联的在线活动的数量，或将执行的在线活动的记录存储在历史在线活动数据库110中。

通过基于所识别的客户端设备的聚类来确定关键字的子集，数据处理系统102可以推荐与第三方内容提供者感兴趣的客户端设备组116相关的关键字。与当考虑更大的(或全部)客户端设备集相比，这种方法会导致与第三方内容提供者相关的关键字列表较短。当数据处理系统102维护大量第三方内容提供者的大量关键字子集时，关键字子集的简洁性将大量节省存储器。此外，存储每个第三方内容提供者的相对较小的关键字子集可以加速处理接收到的对第三方内容的请求的处理。具体地说，为每个第三方内容提供者维护的关键字数量减少导致在处理每个对第三方内容的请求时执行的关键字比较(或匹配)数量的减少，因此使计算复杂度降低并且处理更快。

图2A和图2B示出了设置在第三方内容计算设备112上的用户界面(UI)200a和200b的屏幕截图。UI 200a可以包括用于输入第三方内容提供者的特定产品或服务的第一文本输入项目202，用于输入第三方内容提供者的登录页的第二文本输入项目204以及用于向第三方内容提供者输入感兴趣的产品或服务类别的第三文本输入项目206。UI200a可以包括用于选择第三方内容提供者感兴趣的地理位置、语言和平台或网站的多个选择项目208。地理位置可以指示第三方内容提供者感兴趣的客户端设备116的位置或与识别客户端设备的聚类时要考虑的历史在线活动相关联的位置。该语言可以指示第三方内容提供者感兴趣的客户端设备116的语言。平台或网站可以指示在其上第三方内容提供者喜欢呈现相应内容项的平台或网站，或者与识别客户端设备聚类时要考虑的历史在线活动相关联的平台或网站。UI 200a可以包括用于选择(或输入)要考虑的历史在线活动的日期范围的选择项目210。UI 200a可以包括用于选择和管理第三方内容提供者感兴趣的关键字的多个选择项目212。“目标种子设备”项目允许输入用于选择或识别第三方内容提供者感兴趣的客户端设备的聚类的标准。

响应于“目标种子设备”项目的选择，客户端设备116可以显示UI 200b。UI 200b可以包括用于输入标准以识别第三方内容提供者感兴趣的客户端设备的聚类的文本输入项目214。例如，标准可以是指使用包括术语“公司”和“有线”中的至少一个的搜索查询,在Google平台上进行在线搜索的客户端设备。响应于通过文本输入项目214提供并被发送到数据处理系统102的标准，基于接收到的标准,关键字选择组件104可以识别第三方内容提供者感兴趣的客户端设备116。UI 200b还可以包括文件上传项目216，以上传第三方内容提供者感兴趣的包括客户端设备ID的文档。

图3示出了存储历史在线活动的数据记录的表300。表300可以表示历史在线活动数据库110的数据结构。表300可以存储与产品或服务类相关联的数据记录(例如，与表300的行相关联的记录)。例如，表300中的数据记录可以指示与通信服务相关的历史在线活动，诸如有线互联网或手机计划。历史在线活动数据库110可以包括多个数据结构(例如，多个表)，每个数据结构与产品或服务的相应类别相关联。

表300中的每个数据记录可以包括指示相应在线活动的发生时间的时间戳。数据记录可以包括与相应类别相关联的产品或服务类别的指示，以及指示相应活动发生的资源或平台的资源地址(或标识符)。数据记录可以包括执行相应在线活动的客户端设备的设备ID，以及与相应在线活动相关联的一个或多个关键字。数据记录还可以包括在线活动类型(或动作类型)的指示。每个数据记录还可以包括在执行相应在线活动时客户端设备116的地理位置的指示、客户端设备类型或其组合的指示(例如，移动电话、平板电脑、膝上型计算机或台式机)。

在接收到定义第三方内容提供者感兴趣的客户机设备116的标准时，关键字选择组件104可以基于接收到的标准来识别产品或服务的类，并且扫描与该类产品或服务的类相关联的数据结构(例如，表300)。扫描数据结构可以包括识别与接收标准匹配的数据结构中的数据记录。例如，如果标准指示特定产品或服务类别和特定数据范围，则关键字选择组件104可以识别在特定日期范围内具有时间戳的所有数据记录，以及与特定产品或服务匹配的产品或服务类别。关键字选择组件104可以基于与所接收的标准匹配的数据记录相关联的设备ID来识别第三方内容提供者感兴趣的客户端设备的聚类。

历史在线活动数据库110可以以其他不同的方式存储或排列数据记录。例如，每个类的产品或服务可以与树相关联。树可以包括多个子节点，每个子节点表示相应的产品或服务类别。每个子节点可以包括存储相应产品或服务类别的数据记录的相应表(或其他数据结构)。

图4示出了基于关键字性能提供第三方内容的方法400的流程图。方法400可以包括数据处理系统，其识别先前关于产品或服务场境执行给定在线活动类型的多个在线活动的客户端设备的聚类(ACT 410)，并且确定与多个在线活动相关联的关键字的子集和客户端设备聚类(ACT 420)。方法400可以包括数据处理系统，其确定关键字子集的性能度量(ACT 430)，并且使第三方内容提供者的计算设备能够访问关键字子集和性能度量(ACT440)。方法400可以包括数据处理系统，其从第三方内容提供者的计算设备接收关键字子集的第一关键字的参数值(ACT 450)。方法400可以包括数据处理系统，其接收对用于在客户端设备上显示的第三方内容的请求(ACT 460)，以及基于参数值(ACT 470)来选择第三方内容提供者的内容项。方法400可以包括数据处理系统，其提供用于在客户端设备(ACT 480)显示的所选的内容项。

参见图1-4，方法400可以包括数据处理系统102，其识别先前关于产品或服务场境执行给定在线活动类型的多个在线活动的客户端设备的聚类(ACT 410)。例如，第三方内容提供者可以经由UI 200a和200b指定标准集，其定义与产品或服务场境相关联的一组历史在线活动。产品或服务场境可以包括例如产品或服务类别或特定产品或服务。在线活动类型可以包括在线购买、在线搜索、访问特定网页或与第三方内容项的特定交互，诸如点击第三方内容项的内容项或其链接或致动促动项目(例如，点击呼叫项目)。例如，该标准集可以指示表示在给定时间段内执行的特定产品或服务(例如，特定移动电话、特定无线计划、特定运动设备、特定附件或特定)的在线购买的在线活动。标准集可以进一步指定在线活动发生的特定网站或平台。标准集可以指示例如在特定搜索引擎上执行的与特定产品或服务类别相关联的在线搜索。

在从第三方内容计算设备112接收到标准集时，数据处理系统102可以识别历史在线活动数据库110中与接收到的标准集匹配的数据记录。如上文关于图3所讨论的，数据处理系统102可以扫描存储在历史在线活动数据库110中的至少一个数据结构，以识别与标准集匹配的所有数据记录。每个数据记录可以包括执行由该数据记录描述的在线活动的客户端设备116的设备标识符。数据处理系统102可以根据与标准集匹配的数据记录中引用的设备ID来识别第三方内容提供者感兴趣的客户端设备的聚类。数据记录还可以包括客户端设备的其他设备信息，诸如地理位置、设备类型、设备能力或设备偏好。

方法400可以包括数据处理系统110，其确定与多个在线活动和客户端设备的聚类相关联的关键字的子集(ACT420)。如上文关于图3所述，每个数据记录可以包括导致或者与该数据记录所描述的在线活动相关联的一个或多个相应的关键字。数据处理系统102可以将关键字的子集确定为与所接收的标准集相匹配的数据记录中引用的关键字。例如，考虑到与服务类别“有线互联网”相关联的表300中的数据记录，关键字的子集可以包括“有线互联网”、“互联网服务”、“家庭互联网”和“商业互联网”。在某些情况下，数据处理系统102可以将关键字的子集确定为与所识别的客户端设备的聚类相关联的所有关键字。在这种情况下，确定的关键字子集可以包括与客户端设备的聚类相关联，但是在与所接收的标准集匹配的数据记录中未被引用的其他关键字。例如，数据处理系统102可以从所识别的客户端设备聚类中的与客户端设备116相关联的简档中提取关键字。

在一些情况下，数据处理系统102可以识别具有与所确定的关键字子集相似属性的一个或多个其他关键字。例如，数据处理系统102可以将一个或多个其他关键字识别为与确定的关键字子集中的关键字同义的关键字，或者表示感兴趣的产品或服务类别中的新产品或服务的关键字。数据处理系统102可以从与由第三方内容提供者识别的产品或服务类别(或特定产品或服务)相关联的资源(例如，网页)识别一个或多个其他关键字。关键字选择组件104可以更新确定的关键字子集以进一步包括一个或多个其他关键字。将其他关键字添加到确定的关键字子集中允许引入可能与第三方内容提供者有关的新的关键字(例如，在与感兴趣的产品或服务相关联的之前的相关活动中没有出现在历史在线活动数据库110中)。

方法400可以包括数据处理系统102，所述数据处理系统102确定关键字子集的性能度量(ACT 430)。性能度量可以包括例如点击率(CTR)或转化率。性能度量可以表示客户端设备聚类内的关键字子集的性能。例如，数据处理系统102可以将性能度量确定为所识别的客户端设备聚类中的关键字子集的CTR或转化率。数据处理系统102可以识别例如由客户端设备聚类执行的包括所确定的关键字子集中的任何关键字的所有在线搜索。然后，数据处理系统102可以确定导致转换(例如在线购买)的这些搜索的比率。在某些情况下，数据处理系统102可以识别与所确定的关键字子集中的任何关键字相关联的内容(例如，网页，第三方内容，搜索结果或其组合)被呈现给客户端设备聚类的任何客户端设备116的所有事件。数据处理系统102可以将这些事件限制为与在所接收的标准集中识别的产品或服务类别(或特定产品或服务)相关联的内容相关的事件。然后，数据处理系统102可以确定导致转换(例如，在线购买或由接收客户端设备执行的其他动作)的识别事件的比率作为关键字子集的性能度量。

数据处理系统102可以确定所确定的关键字子集的每个关键字的单独的性能度量。对于确定的关键字子集中的每个关键字，可以将相应的表现度量定义为例如仅考虑与所识别的客户端设备的聚类相关联的在线活动的该关键字的转化率或CTR。对于所确定的关键字子集中的每个关键字，数据处理系统102可以基于搜索查询或与该关键字相关的其他事件确定相应的性能度量，并且涉及所确定的客户端设备的聚类的至少一个客户端设备116和由接收的标准集定义的产品或服务类别。数据处理系统102还可以基于相应的性能度量对关键字的子集进行排序。例如，数据处理系统102可以根据相应性能度量的降序对关键字的子集进行排序。

数据处理系统102还可以确定所确定的关键字子集的全局性能度量。全局性能度量可以代表所有或更大的客户端设备116集的关键字子集的性能(例如，远远大于确定的客户端设备的聚类)。全局性能度量可以为任何关键字子集的性能提供参考等级。例如，通过将基于所识别的客户端设备聚类确定的关键字子集的性能度量与相应的全局性能度量进行比较，数据处理系统102(或第三方内容计算设备112)可以确定与在更大的客户端设备116集中的相同关键字的性能相比较子关键的字集在所识别的客户端设备的聚类中执行的程度。

方法400可以包括数据处理系统102，其为第三方内容计算设备112提供关键字子集和性能度量(ACT 440)的访问。例如，数据处理系统102可以传送携带指示用于在第三方内容计算设备112上显示的所确定的关键字子集和相应的性能度量的信息的数据分组作为推荐的关键字。基于所识别的客户端设备的聚类而不是更大量的客户端设备来确定关键字子集导致在数据处理系统和第三方内容计算设备112之间传输的关键字数量减少和较少量的数据分组。数据处理系统102还可以传送表示在携带关键字子集的数据分组内的关键字排名的数据，以便在第三方内容计算设备112上显示。数据处理系统102还可以将关键字子集的全局性能度量与包括关键字子集的数据分组以及基于所识别的客户端设备的聚类计算的相应性能度量一起传送到第三方内容计算设备112。

方法400可以包括数据处理系统102，其从第三方内容计算设备112接收用于关键字子集的第一关键字的参数值(ACT 450)。第三方内容计算设备112可以响应于显示关键字子集和相应的性能度量来为关键字子集的至少第一关键字选择或设置至少一个参数值(例如，出价值)。第三方内容计算设备112可以基于性能度量来自动设置参数值，或者可以从相应的用户接收参数值作为输入。第三方内容计算设备112可以为关键字子集的每个关键字选择或设置相应的参数值。第三方内容计算设备112可以例如经由网络118向数据处理系统102提供参数值。数据处理系统102可以接收并存储与第一关键字相关联的参数值。例如，数据处理系统102可以将参数值存储为与第三方内容提供者相关联的帐户的一部分。向第三方内容计算设备112提供为客户端设备的聚类确定的关键字的子集以及相应的性能度量允许第三方内容提供者专门针对关键字和客户端设备的聚类对出价，而不是仅针对关键字出价。此外，关键字子集中的关键字数量相对较少(例如，与考虑与第三方内容提供者相关的所有关键字相比)允许第三方内容计算设备112(或第三方内容提供者)设置或选择反映了关键字的预期性能的参数值。

方法400可以包括数据处理系统102，其接收对用于在所识别的客户端设备的聚类的客户端设备116上显示的第三方内容的请求(ACT460)。响应于请求访问或访问资源(例如，网站)，数据处理系统102可以接收对例如由客户端设备116启动的第三方内容项的请求。对第三方内容项的请求可以包括搜索查询。该请求可以包括或指示关键字子集的第一关键字。对第三方内容项的请求还可以包括场境信息，诸如客户端设备116的标识符(ID)、由客户端设备116访问的资源的指示、客户端设备116的地理位置或其组合。数据处理系统102可以扫描该请求以确定其中包括的任何关键字或场境信息。

方法400可以包括数据处理系统102，其基于与第一关键字相关联的参数值来选择第三方内容提供者的内容项(ACT 470)。数据处理系统102可以在多个第三方内容提供者之中进行竞争(或拍卖)，每个第三方内容提供者参与一个或多个相应的内容项。数据处理系统102可以识别指示对在与所接收的对第三方内容的请求相关联的关键字感兴趣(例如经由内容选择参数)的所有第三方内容提供者。例如，数据处理系统102可以将与接收到的第三方内容的请求相关联的关键字与与各种第三方内容提供者相关联的关键字进行比较。数据处理系统102可以选择与最高参数值相关联的第三方内容项。

方法400可以包括数据处理系统102，其提供所选择的内容项以在发起对第三方内容的请求的客户端设备116上显示(ACT 480)。客户端设备116可以显示接收到的第三方内容项，例如在位于所访问的资源中或搜索结果网页中的广告插槽中。响应于显示第三方内容项，客户端设备116可以例如通过基于哪个客户端设备的聚类被识别执行在线活动类型的在线活动来与第三方内容项进行交互。例如，客户端设备116可以点击第三方内容项，点击嵌入在第三方内容项中的链接来访问与其关联的网页，或者响应于显示第三方内容项执行在线购买。

在一些情况下，可以使用由第三方内容提供者的计算设备基于性能度量来为关键字子集的第一关键字确定的参数值(例如，通过数据处理系统102或其他计算机系统)以响应于接收到的对第三方内容的请求来选择与产品或服务场境相关联的第三方内容提供者的内容项。对第三方内容的请求可以表示第一个关键字。可以提供所选的内容项(例如，通过数据处理系统102或另一个计算机系统)以在客户端设备上显示。

客户端设备116可以将响应于第三方内容项的显示而执行的在线活动的指示传送到数据处理系统102。在从客户端设备116接收到在线活动的指示时，数据处理系统102可以基于由客户端设备116执行的在线活动响应于显示第三方内容项而更新与所确定的关键字子集相关联的一个或多个关键字(包括第一关键字)的性能度量项目。例如，数据处理系统102可以增加与一个或多个关键字相关联的在线活动的数量，或将所执行的在线活动的记录存储在历史在线活动数据库110中。

图5是可以用于实现客户端设备116、数据处理系统102、第三方内容计算设备112、资源服务器114、关键字选择组件104、关键字性能组件106或内容项选择组件108的计算机系统500的框图。计算系统500包括总线505或其他用于传送信息的其他通信组件以及耦合到总线505以处理信息的处理器510。计算系统500还可以包括耦合到总线以处理信息的一个或多个处理器510。计算系统500还包括耦合到总线505以存储信息以及要由处理器510执行的指令的主存储器515，诸如RAM或其他动态存储设备。主存储器515还可以用于存储位置信息、临时变量或处理器510执行指令期间的其他中间信息。计算系统500还可以包括耦合到总线505以存储用于处理器510的静态信息和指令的ROM 520或其他静态存储设备。诸如固态设备、磁盘或光盘的存储器设备525耦合到总线505，用于持久存储信息和指令。计算设备500可以包括但不限于数字计算机，诸如笔记本电脑、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机、蜂窝电话、智能手机、移动计算设备(例如，记事本、e阅读器等)等。

计算系统500可以经由总线505耦合到显示器535，诸如液晶显示器(LCD)、薄膜晶体管LCD(TFT)、有机发光二极管(OLED)显示器、LED显示器、电子纸显示器、等离子体显示面板(PDP)或其他显示器等，用于向用户显示信息。诸如包括字母数字和其他键的键盘的输入设备530可以耦合到总线505，用于将信息和命令选择传送到处理器510。在另一个实施方式中，输入设备530可以与显示器535集成，诸如在触摸屏显示器中。输入设备530可以包括诸如鼠标、轨迹球或光标方向键的光标控制，用于将方向信息和命令选择传送到处理器510并用于控制在显示器535上的光标移动。

根据各种实施方式，本文描述的过程或方法可以由计算系统500响应于处理器510执行包含在主存储器515中的指令的布置来实现。这样的指令可以从诸如存储设备525的另一个计算机可读介质读取到主存储器515中。执行包含在主存储器515中的指令的布置使计算系统500执行本文所述的说明性过程或ACTs描述的方法。多处理布置中的一个或多个处理器也可以用于执行包含在主存储器515中的指令。在替代实施方式中，可以使用硬连线电路代替软件指令或与软件指令组合以实现说明性实施方式。因此，实施方式不限于硬件电路和软件的任何特定组合。

尽管已经在图5中描述了计算系统500的实施方式，但是本说明书中描述的主题和功能操作的实施方式可以在其他类型的数字电子电路中，或在计算机软件、固件或硬件(包括本说明书中公开的结构及其结构等同物，或者在它们中的一个或多个的组合)中实现。

本说明书中描述的主题和操作的实施方式(包括本说明书中公开的结构及其结构等同物，或者它们中的一个或多个的组合)可以在数字电子电路中实现，或者在实体介质、固件或硬件上实施的计算机软件中实现。本说明书中描述的主题可以被实现为一个或多个计算机程序，例如，一个或多个计算机程序指令的模块，该模块被编码在一个或多个计算机存储介质上用于执行或控制数据处理设备的操作。或者或此外，程序指令可以在人造生成的传播信号(例如，机器产生的电、光或电磁信号)上编码，其被产生以编码信息以便传输到合适的接收器设备以供数据处理设备执行。计算机存储介质可以包括在计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备中，或其一个或多个的组合中。此外，当计算机存储介质不是传播信号时，计算机存储介质可以是以人为生成的传播信号编码的计算机程序指令的源或目的地。计算机存储介质也可以是或被包括在一个或多个单独的组件或介质中(例如，多个CD、磁盘或其他存储设备)。因此，计算机存储介质是有形的和非暂时的。

在本说明书中描述的操作可以由数据处理设备对存储在一个或多个计算机可读存储设备上或从其他源接收的数据执行。

术语“数据处理装置”、“计算设备”或“处理电路”涵盖用于处理数据的各种装置、设备和机器，包括例如可编程处理器、计算机、芯片上系统或多个芯片、编程处理器的一部分，或前述的组合。该装置可以包括专用逻辑电路，例如FPGA或ASIC。除了硬件之外，该装置还可以包括为所述计算机程序创建执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或其一个或多个的组合的代码。装置和执行环境可以实现各种不同的计算模型基础设施(诸如Web服务)、分布式计算和网格计算基础设施。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言编写，包括编译或解释语言、声明性或程序性语言，并且可以部署成任何形式，包括作为独立程序或作为模块、组件、子程序、对象或适用于计算环境的其他单元。计算机程序可以但不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中，专用于所讨论的程序的单个文件中，或在多个协调文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。可以将计算机程序部署为在一个计算机上或位于一个站点上或者分布在多个站点上并由通信网络互连的多个计算机上执行。

适用于执行计算机程序的处理器例如包括通用和专用微处理器以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本要素是用于根据指令执行动作的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括或有效地耦合以从一个或多个用于存储数据的大容量存储设备接收数据和/或传输数据到一个或多个用于存储数据的大容量存储设备，例如磁、磁光盘或光盘。但是，计算机不需要这样的设备。此外，计算机可以嵌入在另一个设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器或便携式存储设备(例如，通用串行总线(USB)闪存驱动器)等。适用于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪速存储器设备；磁盘，例如内部硬盘或可移动盘；磁光盘；和CD ROM和DVD光盘。处理器和存储器可由专用逻辑电路补充或并入其中。

为了提供与用户的交互，本说明书中描述的主题的实施方式可以在计算机上实现，其具有用于向用户显示信息的显示设备(例如CRT(阴极射线管)或LCD监视器)，以及键盘和指示设备，例如鼠标或轨迹球，用户可以通过其向计算机提供输入。其他类型的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。

虽然本说明书包含许多具体的实施方式细节，但是这些说明不应被解释为对可要求保护的范围的限制，而应被解释为对特定实施方式特有的特征的描述。在本说明书中描述的在单个实施方式的场境中的某些特征也可以在单个实施方式中组合地实现。相反，在单个实施方式的场境中描述的各种特征也可以分开地或以任何合适的子组合在多个实施方式中实现。此外，虽然以上可以将特征描述为以某些组合的方式起作用，并且甚至最初要求保护，但要求保护的组合的一个或多个特征在某些情况下可以从组合中被切除，并且所要求保护的组合可以针对子组合或子组合的变化。

类似地，虽然在附图中以特定顺序描绘操作，但是这不应被理解为要求以所示的特定顺序或按顺序执行这种操作，或者执行所有所示的操作以实现所需的结果。在某些情况下，多任务和并行处理可能是有利的。而且，上述实施方式中的各种系统组件的分离不应被理解为在所有实施方式中需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以集成在单个软件产品中或者被打包成体现在有形媒体上的多个软件产品。

对“或”的引用可以被解释为包容性，使得使用“或”描述的任何术语可以指示单个、多于一个和全部所描述的术语中的任何一个。对至少一个术语的连接列表的引用可以被解释为包容性或以表示单个、多于一个和全部所描述的术语中的任何一个。例如，对“A”和“B”中的至少一个的引用可以仅包括“A”、仅“B”以及“A”和“B”。结合“包含”或其他公开术语使用的这种参考可以包括附加项目。在附图、详细描述或任何权利要求中的技术特征之后是附图标记的情况下，已经包括附图标记以增加附图、详细描述和权利要求的清晰度。因此，附图标记及其不存在对任何权利要求要素的范围都没有任何限制。

因此，已经描述了主题的特定实施方式。其他实施方式在所附权利要求的范围内。在一些情况下，权利要求中所述的动作可以以不同的顺序执行并且仍然实现期望的结果。此外，附图中所描绘的过程不一定需要所示的特定顺序或按顺序来获得期望的结果。在某些实施方式中，多任务和并行处理可能是有利的。

除非另外说明，否则权利要求不应被限制于所述的顺序或元件。应当理解，在不脱离所附权利要求的精神和范围的情况下，可以进行形式和细节上的各种改变。要求保护落入所附权利要求及其等同物的精神和范围内的所有实施方式。

Claims (20)

1.一种用于优化用于第三方内容选择的数据交换的系统，包括：

数据处理系统，所述数据处理系统具有关键字选择组件、关键字性能组件和历史在线活动数据库：

所述关键字选择组件基于存储在所述历史在线活动数据库中的数据来识别先前关于产品或服务场境执行在线活动类型的多个在线活动的客户端设备的聚类；

所述关键字选择组件基于存储在所述历史在线活动数据库中的数据从多个关键字中确定与所述客户端设备的聚类关于所述产品或服务场境执行的所述在线活动类型的多个在线活动相关联的关键字的子集；

所述关键字性能组件基于所述客户端设备的聚类关于所述产品或服务场境执行的所述在线活动类型的多个在线活动来确定所述关键字的子集的性能度量；以及

所述关键字选择组件向第三方内容提供者的计算设备发送所述关键字的子集和所述性能度量；

其中，基于所述性能度量为所述关键字的子集中的第一关键字确定的参数值用于响应于对第三方内容的请求而选择与所述产品或服务场境相关联的所述第三方内容提供者的内容项，所述对第三方内容的请求指示所述第一关键字，所选择的内容项被配置为在客户端设备上显示。

2.根据权利要求1所述的系统，包括：内容项选择组件，所述内容项选择组件被配置为：

从所述第三方内容提供者的计算设备接收针对所述关键字的子集中的所述第一关键字的参数值；

接收对用于在所述客户端设备上显示的第三方内容的请求，所述请求指示所述第一关键字；

基于所述参数值来选择与所述产品或服务场境相关联的所述第三方内容提供者的内容项；以及

提供所选择的内容项以用于在所述客户端设备上显示。

3.根据权利要求1所述的系统，包括所述关键字选择组件被配置为：

提供用于在所述第三方内容提供者的计算设备上显示的用户界面，所述用户界面提供要从中选择的产品或服务的列表；以及

从所述第三方内容提供者的计算设备接收对表示所述产品或服务场境的至少一个产品或服务的选择的指示。

4.根据权利要求1所述的系统，包括所述关键字选择组件被配置为：

提供用于在所述第三方内容提供者的计算设备上显示的用户界面，所述用户界面提供要从中选择的产品或服务类别的列表；以及

从所述第三方内容提供者的计算设备接收对表示所述产品或服务场境的所选择的产品或服务类别的指示。

5.根据权利要求1所述的系统，包括所述关键字选择组件被配置为：

从所述第三方内容提供者的计算设备接收对持续时间的选择，在所述持续时间期间由所述客户端设备的聚类关于所述产品或服务场境执行所述在线活动类型的多个在线活动。

6.根据权利要求1所述的系统，包括所述关键字选择组件被配置为：

从所述第三方内容提供者的计算设备接收对与由所述客户端设备的聚类关于所述产品或服务场境执行的所述在线活动类型的多个在线活动相关联的资源的选择。

7.根据权利要求1所述的系统，包括所述关键字性能组件被配置为：

确定所述关键字的子集中的每个关键字的单独性能度量，所述单独性能度量指示在由所述客户端设备的聚类关于所述产品或服务场境执行的所述在线活动类型的多个在线活动当中关键字的性能。

8.根据权利要求7所述的系统，包括所述关键字性能组件被配置为：

基于相应的单独性能度量来对所述关键字的子集进行排名，并且所述关键字选择组件被配置为向所述第三方内容提供者的计算设备提供访问所述关键字的子集的排名值。

9.根据权利要求1所述的系统，包括所述关键字性能组件被配置为：

响应于所选择的内容项的显示，接收所述客户端设备执行所述在线活动类型的在线活动的指示；以及

响应于所选择的内容项的显示，基于由所述客户端设备执行的所述在线活动类型的在线活动来更新性能度量。

10.根据权利要求1所述的系统，包括所述关键字选择组件被配置为：

识别具有与所述关键字的子集相似的属性的所述多个关键字中的一个或多个其他关键字；以及

更新所述关键字的子集以进一步包括所述一个或多个其他关键字，所述关键字性能组件被配置为基于所更新的关键字的子集来确定所述性能度量。

11.根据权利要求1所述的系统，其中，所述在线活动类型的类型包括以下中的至少一个：

与所述产品或服务场境相关联的产品或服务的在线购买；

点击与所述产品或服务场境相关联的内容项；

访问与所述产品或服务场境相关联的资源；和

执行与所述产品或服务场境相关的搜索。

12.一种基于关键字性能提供第三方内容的方法，包括：

由数据处理系统基于存储在历史在线活动数据库中的数据来识别先前关于产品或服务场境执行在线活动类型的多个在线活动的客户端设备的聚类；

由所述数据处理系统基于存储在所述历史在线活动数据库中的数据从多个关键字中确定与所述客户端设备的聚类关于所述产品或服务场境执行的所述在线活动类型的多个在线活动相关联的关键字的子集；

由所述数据处理系统基于所述客户端设备的聚类关于所述产品或服务场境执行的所述在线活动类型的多个在线活动来确定所述关键字的子集的性能度量；以及

由所述数据处理系统为第三方内容提供者的计算设备提供对所述关键字的子集和所述性能度量的访问，

由所述第三方内容提供者的计算设备基于所述性能度量为所述关键字的子集中的第一关键字确定的参数值用于响应于对第三方内容的请求而选择与所述产品或服务场境相关联的所述第三方内容提供者的内容项，所述对第三方内容的请求指示所述第一关键字，并且所选择的内容项被提供为在客户端设备上显示。

13.根据权利要求12所述的方法，包括以下中的至少一个：

由所述数据处理系统在选择所述内容项时基于第一内容选择参数来更新所述第一内容选择参数；以及

由所述数据处理系统在选择所述内容项时基于多个第二内容选择参数中的一个内容选择参数来更新所述多个第二内容选择参数中的所述一个内容选择参数。

14.根据权利要求12所述的方法，包括：

提供用于在所述第三方内容提供者的计算设备上显示的用户界面，所述用户界面提供要从中选择的产品或服务的列表；以及

由所述数据处理系统从所述第三方内容提供者的计算设备接收对产品、服务、表示所述产品或服务场境的产品类别和服务类别中的至少一个的选择的指示。

15.根据权利要求12所述的方法，包括：

由所述数据处理系统从所述第三方内容提供者的计算设备接收对以下中的至少一个的选择：

持续时间，在所述持续时间期间由所述客户端设备的聚类关于所述产品或服务场境执行所述在线活动类型的多个在线活动；和

资源，所述资源与由所述客户端设备的聚类关于所述产品或服务场境执行的所述在线活动类型的多个在线活动相关联。

16.根据权利要求12所述的方法，包括：

由所述数据处理系统确定针对所述关键字的子集中的每个关键字的单独性能度量，所述单独性能度量指示在由所述客户端设备的聚类关于所述产品或服务场境执行的所述在线活动类型的多个在线活动当中关键字的性能；以及

由所述数据处理系统基于相应的单独性能度量来对所述关键字的子集进行排名，并且所述关键字选择组件被配置为向所述第三方内容提供者的计算设备提供对所述关键字的子集的排名值的访问。

17.根据权利要求12所述的方法，包括：

由所述数据处理系统响应于所选择的内容项的显示而接收所述客户端设备执行的所述在线活动类型的在线活动的指示；以及

由所述数据处理系统响应于所选择的内容项的显示而基于由所述客户端设备执行的所述在线活动类型的在线活动来更新所述性能度量。

18.根据权利要求12所述的方法，包括：

由所述数据处理系统识别具有与所述关键字的子集相似的属性的所述多个关键字中的一个或多个其他关键字；

由所述数据处理系统更新所述关键字的子集以进一步包括所述一个或多个其他关键字；

由所述数据处理系统基于所更新的关键字的子集来确定所述性能度量。

19.根据权利要求12所述的方法，其中，所述在线活动类型的类型包括以下中的至少一个：

与所述产品或服务场境相关联的产品或服务的在线购买；

点击与所述产品或服务场境相关联的内容项；

访问与所述产品或服务场境相关联的资源；和

执行与所述产品或服务场境相关的搜索。

20.一种包括存储在其上的计算机代码指令的非暂时计算机可读介质，所述计算机代码指令在由一个或多个处理器执行时使得数据处理系统：

基于存储在历史在线活动数据库中的数据来识别先前关于产品或服务场境执行在线活动类型的多个在线活动的客户端设备的聚类；

基于存储在所述历史在线活动数据库中的数据从多个关键字中确定与所述客户端设备的聚类关于所述产品或服务场境执行的所述在线活动类型的多个在线活动相关联的关键字的子集；

基于所述客户端设备的聚类关于所述产品或服务场境执行的所述在线活动类型的多个在线活动来确定所述关键字的子集的性能度量；以及

为第三方内容提供者的计算设备提供对所述关键字的子集和所述性能度量的访问，

由所述第三方内容提供者的计算设备基于所述性能度量为所述关键字的子集中的第一关键字确定的参数值用于响应于对第三方内容的请求而选择与所述产品或服务场境相关联的所述第三方内容提供者的内容项，所述对第三方内容的请求指示所述第一关键字，并且所选择的内容项被提供为在客户端设备上显示。