CN109074366A - 用于计算机网络路由基础架构的增益调整组件 - Google Patents

Abstract

提供了用于内容选择基础架构的增益调整组件的系统和方法。该系统可以接收由语义分析技术识别的多个主题的选择，并且识别一个或多个关键字。系统可以确定关键字中每一个与多个主题之间的相关性分值。该系统可以基于关键字和多个主题中的每一个的相关性分值，为每个关键字生成聚合的相关性分值。该系统可以基于与多个主题相关联的度量来确定阈值。该系统可以基于对应的聚合相关性分值与阈值的比较，确定输入或排除一个或多个关键字中的每一个。

Description

用于计算机网络路由基础架构的增益调整组件

相关申请的交叉引用

本申请要求于2017年2月1日提交的名称为“Gain Adjustment Component forComputer Network Routing Infrastructure(用于计算机网络路由基础架构的增益调整组件)”的美国专利申请No.15/422,204的优先权，其内容以引用的方式全文并入到本文中。

背景技术

计算设备之间网络流量数据，基于分组或其它方式的过度网络传输能够会阻止计算设备正常处理网络流量数据、完成与网络流量数据有关的操作、或及时响应网络流量数据。如果响应的计算设备处于或超过其处理能力，则网络流量数据的过度网络传输也能够使数据路由复杂化或降低响应质量，这能够导致低效率的带宽利用。与内容项对象相对应的网络传输的控制能够由于能够在计算设备之间发起网络流量数据的网络传输的大量内容项对象而变得复杂。

发明内容

至少一个方面涉及增益调整系统基础架构。该系统可以被引导以获得对内容选择基础架构的增益调整。该系统可以包括数据处理系统。该数据处理系统可以包括由至少一个处理器执行的增益调整组件和内容选择器组件。数据处理系统接收由语义分析引擎生成的多个主题的选择。多个主题可以包括第一主题和第二主题。数据处理系统可以确定第一关键字与第一主题之间的第一相关性分值。数据处理系统可以确定第一关键字与第二主题之间的第二相关性分值。数据处理系统可以确定第二关键字与第一主题之间的第三相关性分值。数据处理系统可以确定第二关键字与第二主题之间的第四相关性分值。数据处理系统可以基于第一相关性分值和第二相关性分值确定第一聚合分值。数据处理系统可以基于第三相关性分值和第四相关性分值确定第二聚合分值。数据处理系统可以基于与多个主题相对应的度量来识别阈值。数据处理系统可以响应于第一聚合分值大于阈值而将第一关键字输入到由内容选择基础架构执行的内容选择过程。数据处理系统可以响应于第二聚合分值小于阈值而从内容选择基础架构执行的内容选择过程中排除第二关键字。数据处理系统可以经由由内容选择基础架构执行的内容选择过程的第一关键字来选择内容项以提供用于在客户端计算设备上显示。数据处理系统可以响应于从客户端计算设备接收的请求来选择内容项。

至少一个方面涉及一种调整内容选择基础架构中的增益的方法。该方法可以包括数据处理系统接收由语义分析引擎生成的多个主题的选择，该多个主题包括第一主题和第二主题。该方法可以包括数据处理系统确定第一关键字与第一主题之间的第一相关性分值。该方法可以包括数据处理系统确定第一关键字与第二主题之间的第二相关性分值。该方法可以包括数据处理系统确定第二关键字与第一主题之间的第三相关性分值。该方法可以包括数据处理系统确定第二关键字与第二主题之间的第四相关性分值。该方法可以包括数据处理系统基于第一相关性分值和第二相关性分值确定第一聚合分值。该方法可以包括数据处理系统基于第三相关性分值和第四相关性分值确定第二聚合分值。该方法可以包括数据处理系统基于与多个主题相对应的度量来识别阈值。该方法可以包括数据处理系统响应于第一聚合分值大于阈值，将第一关键字输入到由内容选择基础架构执行的内容选择过程中。该方法可以包括数据处理系统响应于第二聚合分值小于阈值而从内容选择基础架构执行的内容选择过程排除第二关键字。该方法可以包括数据处理系统响应于从客户端计算设备接收到的请求而经由由内容选择基础架构执行的内容选择过程的第一关键字来选择内容项，以提供用于在客户端计算设备上显示。

这些和其它方面以及实施方式在下面详细讨论。上述信息和以下详细描述包括各种方面和实施方式的说明性示例，并且提供用于理解所要求保护的方面和实施方式的性质和特性的概述或框架。附图提供了各种方面和实施方式的说明和进一步的理解，并且被并入本说明书并构成其一部分。

附图说明

本说明书中描述的主题的一个或多个实施方式的细节在附图和下面的描述中阐述。主题的其它特征、方面和优点通过说明书、附图和权利要求将变得显而易见。

图1是用于内容选择基础架构的增益调整系统的图示。

图2是用于调整内容选择基础架构中的增益的系统的操作流程图的图示。

图3是用于调整内容选择基础架构中的增益的系统的操作流程图的图示。

图4是调整内容选择基础架构中的增益的方法的图示。

图5是图示可以用于实现图1、图2和图3所示的系统的各个元素以及图4所示的方法的计算机系统的架构的框图。

各附图中相似的附图标记和名称指示相似的元素。

具体实施方式

以下是对与参数化网络通信路径的方法、装置和系统有关的各个概念或其实施方式的更详细的描述。上面介绍并在下面更详细讨论的各个概念可以以许多方式中的任何一个来实现。

包括用于处理内容项投放宣传活动的一个或多个服务器或计算设备的数据处理系统能够消耗执行实时内容选择过程(例如，广告竞拍)的大量计算资源，用于不会被数据处理系统或接收所选广告的用户选择的内容项。在内容提供者执行相关关键字的搜索，或从数据处理系统请求相关关键字的建议时，数据处理系统能够消耗大量的计算资源。由于每个新的页面视图使数据处理系统执行另一个搜索过程或远程过程调用(“RPC”)，因此在内容提供者将关键字结果列表结果向下滚动时，能够利用额外计算资源。关键字生成能够容易受到搜索引擎优化尝试的污染、欺诈、提供许多欺骗性传入链接的链接养殖场(linkfarming)和类似恶意技术。数据处理系统可能会在检测操纵关键字生成的欺骗性尝试上花费大量资源。

本方案的系统和方法提供了一种数据处理系统，其可以通过为改善内容选择基础架构的基于机器学习的决策工具提供增益调整组件来降低处理系统利用率、存储器利用率，远程过程调用、和带宽使用。增益调整组件可以促进选择可以提高内容选择基础架构的效率和性能的参数，同时减少远程过程调用、分页、存储器利用率和处理器利用率。

由于要基于所期望的功能来选择许多参数，所以配置内容选择基础架构能够是具有挑战性的。可以基于所期望的功能使用配置工具或组件来生成、调整、或以其它方式设置用于配置内容选择基础架构的参数。然而，当输入到内容选择基础架构中时，为了生成参数以进一步实现所期望的功能而校准或调谐配置工具能够更具挑战性。

本方案的系统和方法提供了一种数据处理系统，其包括增益调整组件以促进调谐或校准用于生成供输入到内容选择基础架构的参数的配置工具。该配置工具可以利用语义分析工具或其它机器学习技术来识别概念和基于该概念的关键字，或者排除与不期望的概念相对应的关键字。可以使用阈值来包括或排除关键字。例如，如果关键字相对于概念的相关性分值大于或等于阈值，则可以包括该关键字。如果关键字相对于概念的相关性分值小于阈值，则可以排除该关键字。然而，基于所期望的功能或所期望的网络活动水平来调谐阈值或动态地调谐阈值能够是具有挑战性的。调谐阈值可以指代调整系统的增益以满足所期望的功能或网络活动水平。

本方案提供了一种具有增益调整机制的数据处理系统，该增益调整机制可以组合候选条件决策中的每个所选主题的关键字的多个相关性分值。数据处理系统可以接收与多个概念相关联的多个主题和过程向量或相关性分值的选择，以便生成或识别用于输入到内容选择基础架构或由其使用的单个参数，诸如关键字。例如，如果数据处理系统接收到两个或更多个主题的选择，则仅当边缘关键字与多个所选主题有关时，数据处理系统才可以确定包括边缘关键字。

因此，本方案的数据处理系统可以减少内容提供者需要提交的搜索、浏览和连续查询的数目，以便为其内容选择过程找到合适的关键字列表。这减少了网络请求以及服务器侧CPU和存储器成本。此外，由于该数据处理系统可以缩小推荐关键字的集合，因此数据处理系统还可以减少响应大小，这进一步降低客户端设备上的网络带宽利用以及CPU和存储器利用。

图1图示了用于使用增益调整组件来配置内容选择基础架构的示例系统100。系统100可以包括内容选择基础架构。系统100可以包括数据处理系统120，该数据处理系统120经由网络105与内容提供者计算设备125、内容发布者计算设备115或客户端计算设备110中的一个或多个通信。网络105可以包括：计算机网络——诸如互联网、局域网、广域网、城域网、或其它区域网络、内联网、卫星网络，以及诸如语音或数据移动电话网络的其它通信网络。网络105可以用于访问可以显示在至少一个计算设备110——诸如膝上型计算机、桌面计算机、平板计算机、个人数字助理、智能电话、或便携式计算机——上的诸如网页、网站、域名、或统一资源定位符的信息资源。例如，经由网络105，计算设备110的用户可以访问由至少一个网站运营商或内容发布者115提供的网页。计算设备110的web浏览器(例如，资源，应用或代理)可以访问网站运营商或内容发布者115的web服务器来检索用于在计算设备110的监视器上显示的网页。内容发布者115可以向计算设备110上执行的资源提供指令以渲染内容。网站运营商或内容发布者115通常包括操作网页的实体。网站运营商或内容发布者115包括至少一个网页服务器，该网页服务器与网络105进行通信以使网页可用于计算设备110。数据处理系统120可以向计算设备110上执行的资源提供指令来渲染内容。

网络105可以是任何类型或形式的网络，并且可以包括以下中的任何一个：点到点网络、广播网络、广域网、局域网、电信网络、数据通信网络、计算机网络、ATM(异步传输模式)网络、SONET(同步光网络)网络、SDH(同步数字体系)网络、无线网络和有线网络。网络105可以包括诸如红外线信道或卫星频带的无线链路。网络105的拓扑可以包括总线、星形、或环形网络拓扑。网络可以包括使用用于在移动设备间通信的任何一个或多个协议的移动电话网络，包括高级移动电话协议(“AMPS”)、时分多址(“TDMA”)、码分多址(“CDMA”)、全球移动通信系统(“GSM”)、通用分组无线业务(“GPRS”)或通用移动通信系统(“UMTS”)。可以经由不同的协议传送不同类型的数据，或者可以经由不同的协议传送相同类型的数据。

系统100可以包括至少一个数据处理系统120。数据处理系统120可以包括至少一个逻辑设备——诸如计算设备，其具有处理器以经由网络105例如与计算设备110、网站运营商或内容发布者计算设备115(或内容发布者115)、以及至少一个内容提供者计算设备125(或提供者设备125或内容提供者125)进行通信。数据处理系统120可以包括至少一个计算资源、服务器、处理器或存储器。例如，数据处理系统120可以包括位于至少一个数据中心中的多个计算资源或服务器。数据处理系统120可以包括多个逻辑分组的服务器并且促进分布式计算技术。服务器的逻辑群组可以被称为数据中心、服务器群或机器群。服务器也可以在地理上分散。数据中心或机器群可以作为单个实体来管理，或者机器群可以包括多个机器群。每个机器群中的服务器可以是异构的——服务器或机器中的一个或多个可以根据一种或多种类型的操作系统平台来操作。

机器群中的服务器可以连同相关联的存储系统一起存储在高密度机架系统中，并位于企业数据中心。例如，以这种方式整合服务器可以通过在本地化高性能网络上定位服务器和高性能存储系统来提高系统可管理性、数据安全性、系统的物理安全性、和系统性能。集中化服务器和存储系统并将其与先进的系统管理工具相耦合，允许更有效率地使用服务器资源。

数据处理系统120可以包括具有至少一个计算资源或服务器的内容投放系统。数据处理系统120可以包括至少一个接口130、至少一个增益调整组件135、至少一个配置组件140、至少一个内容选择器组件145和至少一个数据存储库150。至少一个数据存储库150可以在一个或多个数据结构或数据库中包括或存储内容数据151、权重152、阈值153或分值154(例如，相关性分值)。内容数据151可以包括例如内容宣传活动信息、内容组、内容选择准则、内容项对象或由内容提供者125提供的或由数据处理系统获得或确定以促进内容选择的其它信息。接口130、增益调整组件135、配置组件140和内容选择器组件145均可以包括至少一个处理单元或其它逻辑设备——诸如可配置为可编程逻辑阵列引擎或与数据库存储库或数据库150通信的模块。接口130、增益调整组件135、配置组件140以及内容选择器组件145和数据存储库150可以是单独的组件、单个组件、或数据处理系统120的一部分。系统100及其组件——诸如数据处理系统120——可以包括诸如一个或多个处理器、逻辑设备、或电路的硬件元素。

数据处理系统120可以获得与多个计算设备110相关联的匿名计算机网络活动信息。计算设备110的用户可以肯定地授权数据处理系统120获得与用户的计算设备110相对应的网络活动信息。例如，数据处理系统120可以提示计算设备110的用户以得到同意获得一种或多种类型的网络活动信息。计算设备110的用户的身份可以保持匿名，并且计算设备110可以与唯一的标识符相关联(例如，用户或数据处理系统提供的计算设备或者计算设备的用户的唯一标识符)。数据处理系统可以将每个观察结果与相应的唯一标识符相关联。

内容提供者125可以建立具有一个或多个参数——诸如关键字或其它选择准则——的电子内容宣传活动。电子内容宣传活动可以指代与公共题目相对应的一个或多个内容组。内容宣传活动可以包括分层数据结构，其包括内容组、内容项数据对象和内容选择准则。为了创建内容宣传活动，内容提供者125可以指定内容宣传活动的宣传活动级别参数的值。宣传活动级别参数可以包括例如宣传活动名称、用于投放内容项对象的优选内容网络、内容宣传活动的预算、内容宣传活动的开始和结束日期、内容宣传活动的持续时间，内容项对象投放的时间表、语言、地理位置、内容选择准则、关键字、其上提供内容项对象的计算设备的类型。其它宣传活动级别参数可以包括例如支付技术，例如每点击成本(CPC)，每千次闪现(impression)成本(CPM)、每次动作成本(CPA)，每次转化成本、或每千次转化的成本。闪现可以指代何时从其来源(例如，数据处理系统120或内容提供者125)取得内容项对象，并且是可计数的。由于点击欺诈的可能性，机器人活动可以被过滤和排除而不作为闪现。因此，闪现可以指代过滤了机器人活动和错误代码的、来自Web服务器的对来自浏览器的页面请求的响应的度量，并且被记录在尽能够接近渲染内容项对象以在计算设备110上显示的机会的点。闪现可以指代可见的闪现；例如，内容项对象在客户端计算设备110的显示设备上至少部分地(例如，20％、30％、30％、40％、50％、60％、70％或更多)可见。点击或选择可以指与内容项对象的用户交互，诸如鼠标点击、触摸交互、手势、摇动、音频交互、或键盘点击。转换可以指代用户对内容项对象采取所期望的动作；例如购买产品或服务，完成群体调查、到访与内容项相对应的物理商店、或完成电子交易。

内容提供者125可以进一步建立用于内容宣传活动的一个或多个内容组。内容组包括一个或多个内容项对象和对应的内容选择准则，诸如关键字、单词、词项、短语、地理位置、计算设备的类型、日内时间、兴趣、主题或垂直元(vertical)。相同内容宣传活动下的内容组可以共享相同的宣传活动级别参数，但能够已经针对特定内容组级别参数定制规范，诸如关键字、否定关键字(例如，在主要内容上存在否定关键字的情况下阻止内容项的投放)、关键字的竞价、或预算。

为了创建新的内容组，内容提供者可以(例如，经由接口130)提供内容组的内容组级别参数值。内容组级参数包括例如内容组名称或内容组题目，以及针对不同内容投放机会(例如，自动投放或管理投放)或结果(例如点击，闪现或转换)的竞价。内容组名称或内容组题目可以是一个或多个词项，内容提供者125可以用该一个或多个词项来捕获将被选择显示的内容组的内容项对象的主题或主旨。例如，汽车经销商可以为其销售的每个车辆品牌创建不同的内容组，并且可以进一步为其销售的车辆的每个型号创建不同的内容组。汽车经销商可以使用的内容组题目的示例包括例如“Make A sports car(A牌跑车)”、“MakeB sports car(B牌跑车)”、“Make C sedan(C牌轿车)”、“Make C truck(C牌卡车)”、“MakeC hybrid(C牌混合动力车)”或“Make D hybrid(D牌混合动力车)”。例如，示例内容宣传活动题目可以是“hybrid”，并且包括“Make C hybrid”和“Make D hybrid”的内容组。

内容提供者125可以向每个内容组(例如，经由接口)提供一个或多个关键字和内容项对象。关键字可以包括与内容项对象相关联或由内容项对象标识的产品或服务相关的词项。关键字可以包括一个或多个词项或短语。例如，汽车经销商可以包括“sports car”、“V-6engine(V-6引擎)”、“four-wheel drive(四轮驱动)”、“fuel efficiency(燃油效率)”作为内容组或内容宣传活动的关键字。内容提供者可以指定否定关键字，以避免、防止、阻止或禁止内容投放在某些搜索结果网页或匹配这些否定关键字的内容网页上。内容提供者可以指定用于选择内容项对象的匹配类型，例如完全匹配、短语匹配或广泛匹配。

内容提供者125可以提供用于由数据处理系统120选择的一个或多个内容项对象。数据处理系统120可以在与预算、内容时间表、最大竞价、关键字、和为内容组指定的其它选择准则匹配的内容投放机变为可用时选择内容项对象。不同类型的内容项对象可以被包括在诸如文本内容项、图像内容项、视频内容项、音频内容项、多媒体内容项、呼叫内容项、或内容项链接等的内容组中。

由于要基于所期望的功能来选择许多参数，所以配置内容选择基础架构能够是具有挑战性的。配置工具或组件驾驶室基于所期望的功能来生成、调整、或以其它方式设置用于配置内容选择基础架构的参数。然而，当输入到内容选择基础架构中时，校准或调谐配置工具以便生成参数来进一步实现所期望的功能能够更具挑战性的。

本方案的数据处理系统120包括增益调整组件135，以促进调谐或校准配置工具，该配置工具用于生成供输入到内容选择基础架构内的参数。该配置工具可以利用语义分析工具或其它机器学习技术来识别概念和基于该概念的关键字，或者排除与不期望的概念相对应的关键字。可以使用阈值来包括或排除关键字。例如，如果关键字相对于概念的相关性分值大于或等于阈值，则可以包括该关键字。如果关键字相对于概念的相关性分值小于阈值，则可以排除该关键字。然而，基于所期望的功能或所期望的网络活动水平来调谐阈值或动态地调谐阈值能够是有挑战性的。调谐阈值可以指代调整系统的增益以满足所期望的功能或网络活动级别。

数据处理系统120可以包括接口130、执行接口130、或与接口130通信。接口130可以包括例如具有一个或多个输入文本框、按钮、下拉菜单、小部件或其它用户界面元素的图形用户界面。数据处理系统120可以提供用于在内容提供者设备125上渲染的图形用户界面。数据处理系统120可以经由接口130接收促进内容选择过程或建立内容选择过程的参数或其它信息。

接口130可以包括动态接口。该动态接口可以响应于从内容提供者设备125接收的输入来提供信息。接口130可以将从内容提供者设备125接收的数据分组转发或路由到数据处理系统120的一个或多个组件，诸如增益调整组件135、配置组件140、内容选择器组件145或数据存储库150。接口130可以包括网络接口、用户界面、输入/输出接口、通信端口、总线、或其它软件或硬件，以向内容提供者设备125、内容发布者设备115或计算设备110提供数据分组或信息内容，并且从内容提供者设备125、内容发布者设备115或计算设备110接收数据分组或信息。

数据处理系统120可以包括配置组件140。可以设计和构造配置组件140以促进配置数据处理系统120、内容选择基础架构、或由数据处理系统120实现或执行的内容选择过程。配置组件135可以是与数据处理系统120的一个或多个组件的一部分或以其它方式与数据处理系统120的一个或多个组件对接。例如，配置组件140可以与内容选择器组件145集成或是内容选择器组件145的一部分。

配置组件140可以指令接口130提供图形用户界面以用于在内容提供者设备125上渲染。配置组件140可以提示内容提供者设备140以获得诸如参数或内容选择准则的信息。配置组件140可以为参数提供建议或意见。配置组件140可以基于从内容提供者125接收的数据分组或信息或由数据处理系统120检测到的信息来提供建议。例如，数据处理系统120可以监视与一个或多个客户端计算设备110相关联的网络活动，其指示与由内容提供者125提供的内容项对象的网络交互。数据处理系统可以处理所监视的网络活动以生成可用于选择在后续网页上显示的内容项对象的参数或内容选择准则的推荐。

当为内容提供者设备125设置内容选择过程时，数据处理系统120可以接收一个或多个主题的选择。多个主题的选择可以由内容提供者设备125提供。例如，内容提供者设备125可以经由接口130提供的图形用户界面指示一个或多个主题。

数据处理系统120可以接收主题的集合来作为输入。主题可以指代例如基于具有类似网络活动或网络交互的聚类关键字的机器学习主题。主题可以指代经由语义分析技术生成的概念。主题可以指代诸如由内容提供者125使用种子关键字手动构建的人工主题。数据处理系统120可以使用所选择的主题来生成具有排名的关键字推荐集合的输出。关键字推荐可以录入两个桶(bucket)：1)与所选主题之一紧密有关的关键字；以及2)多个所选主题之间适合的关键字。

数据处理系统120可以包括增益调整组件135，增益调整组件135被设计和构造成确定相关性分值、确定聚合相关性分值、确定阈值、和排名参数。增益调整组件135可以是与数据处理系统120的一个或多个组件的一部分或与数据处理系统120的一个或多个组件以其它方式对接。例如，增益调整组件135可以与配置组件140或内容选择器集成或是配置组件或内容选择器的一部分。增益调整组件135可以促进生成落入以下两个桶的关键字的输出：1)与所选主题之一紧密有关的关键字；以及，2)适合多个所选主题之间的关键字。

数据处理系统120可以识别一个或多个关键字。数据处理系统120可以基于由内容提供者设备125选择的主题来识别一个或多个关键字。数据处理系统120可以检索、识别、或以其它方式获得关键字。数据处理系统120可以从数据存储库150获得关键字。例如，由内容提供者设备125选择的主题可以与一个或多个关键字、关键字的集合、或关键字群集相关联。语义分析工具或机器学习引擎可以识别或选择与主题相关联或与主题有关的一个或多个关键字。数据处理系统120可以访问远离数据处理系统120的数据存储库或数据库以检索或获取一个或多个关键字。

数据存储库150可以包括例如与主题相关联的多个关键字。数据存储库150可以包括与一个或多个主题中的每一个相关联的多个关键字，所述主题包括由内容提供者设备125选择的每个主题。数据存储库150可以预先填充有关键字，并且所述关键字中每一个可以与对应主题相关联。数据存储库150可以预先填充有关键字。数据存储库150可以由终端用户、数据处理系统120的管理员、内容提供者125、内容发布者115或客户端计算设备110预先填充有关键字。数据处理系统120可以经由众包技术接收关键字，以及关键字和主题之间的关联。

数据处理系统120可以经由前端接口130接收由内容提供者设备125提供的种子关键字的指示。数据处理系统120可以经由语义分析技术从种子关键字中提取多个主题中的至少一个。例如，数据处理系统120可以接收诸如“baseball(棒球)”的种子关键字，并从其中提取诸如“sports(运动)”的主题。

对于每个主题，数据处理系统120可以识别相关(releveant)关键字，有关系(related)的关键字、或其它关键字列表。数据处理系统120可以确定关键字与主题之间的相关性分值。数据处理系统120可以使用语义分析技术、机器学习引擎、或其它技术来确定关键字与主题之间的相关性分值。数据处理系统120可以从存储在数据存储库150中的数据结构检索相关性分值，该数据结构包含每个关键字关于主题的相关性分值。

相关性分值可以包括值、水平指示、文本、或相关性的量的其它指示。相关性分值可以包括数值，诸如0到1、0到10、0到100或其它一些范围。相关性分值可以包括诸如A、B、C或D的等级；或低、中或高的指示。

数据处理系统可以配置有一种或多种技术来确定相关性分值。例如，数据处理系统可以确定语义图中的“距离”。根据该图的结构，距离可以指代主题中的核心节点与关键字的节点之间的边数(链接)数目。距离可以指代从主题的核心到关键字的图形化概念流程，该图形化概念流程可以包括或虑及图中小于将关键字连接到核心群集的指定长度的替选路径的数目。数据处理系统120可以使用其它基于图的距离技术。

数据处理系统120可以在不使用语义图的情况下确定距离。例如，数据处理系统120可以基于诸如在web或网络上的同现度量线(line of co-occurrence metric)来确定距离。可以使用同现度量的线来确定关键字与主题的距离。这些统计数据可以通过逆文档频率进行修改，以了解常见/不常见的词项。数据处理系统120可以使用其它统计技术。

数据处理系统120可以识别包括第一主题和第二主题的多个主题。数据处理系统120可以基于这些主题中每一个来识别多个关键字，包括第一关键字和第二关键字。数据处理系统120可以确定每个关键字与每个主题之间的相关性分值。例如，数据处理系统120可以确定第一关键字与第一主题之间的第一相关性分值，以及第一关键字与第二主题之间的第二相关性分值。数据处理系统120可以确定第二关键字与第一主题之间的第三相关性分值，以及第二关键字与第二主题之间的第四相关性分值。

对于每个关键字，数据处理系统可以生成、计算、或确定聚合的相关性分值。数据处理系统120可以使用针对每个关键字和主题对的独立相关性分值(例如，关键字和第一主题的第一分值；相同关键字和不同的第二主题的第二分值；以及相同主题和不同的第三主题的第三分值)来确定聚合相关性分值。数据处理系统120可以通过组合关键字的两个或更多个相关性分值来确定聚合的相关性分值。例如，数据处理系统120可以将第一相关性分值与第二相关性分值组合以生成第一聚合相关性分值；并将第三相关性分值与第四相关性分值组合以生成第二聚合相关性分值。

数据处理系统可以基于否定主题建议来识别关键字。通过将主题选择为否定，数据处理系统可以排除与否定主题有关的关键字，或者识别关键字以用作否定关键字，该否定关键字被配置为阻止内容项被选择以供显示在具有包含否定关键字的主要内容的网页上。

数据处理系统120可以滤除或移除一个或多个关键字以生成要生成聚合相关性分值的关键字子集。数据处理系统120可以使用阈值(例如，第一过滤阈值，第一增益调整阈值，单个主题阈值)来基于关键字的相关性分值来确定哪些关键字要滤除、移除、排除、删除、或以其它方式不进一步处理。数据处理系统120可以从内容选择过程中排除该关键字、不包括该关键字、不推荐该关键字、禁用该关键字、或以其它方式不使用该关键字来选择内容提供者125的一个或多个内容项。例如，数据处理系统120可以识别均与第一主题相关联的五个关键字的第一集合，以及与第二主题相关联的五个关键字的第二集合。数据处理系统120可以确定关键字的第一集合和第二集合中的一个或多个关键字具有满足过滤阈值的第一主题和第二主题二者的相关性分值(例如，从0到1、0至10、0至100的数值、或字母数字值、或字母等级)。

例如，数据处理系统120可以确定五个关键字的第一集合中的三个关键字与关键字的第二集合中的三个关键字重叠(例如，通过具有满足过滤阈值的与第一主题和第二主题的相关性分值)。通过具有相同的三个关键字，五个关键字的第一集合可以与五个关键字的第二集合重叠。数据处理系统120可以识别重叠的三个关键字，并且继续处理重叠的三个关键字，同时移除或排除关键字的第一集合中的非重叠的两个关键字和关键字的第二集合中的非重叠的两个关键字。因此，数据处理系统120可以确定存在于关键字的第一集合和关键字的第二集合二者中的三个重叠关键字的聚合相关性分值，而不处理剩余的四个关键字。通过滤除剩余的四组关键字，数据处理系统120可以减少资源利用(例如，通过不确定滤除的关键字的聚合相关性分值来降低处理器利用；通过不将滤除的四个关键字传送到内容提供者设备125来减小网络带宽利用；以及通过不将相关性分值和与四个滤除的关键字相关联的其它信息保持在高速缓存或其它高速存储器中来减少存储器利用)。

数据处理系统120可以使用静态过滤阈值、动态过滤阈值、或为主题或主题的组合定制或个性化的过滤阈值。数据处理系统120可以将过滤阈值存储在数据存储库150中存储的阈值数据结构153中。对于某些主题过滤阈值可以更高，而对于其它主题过滤阈值可以更低。数据处理系统120可以基于从内容提供者125接收到的信息、基于来自内容提供者设备125的反馈、或者基于通过处理由数据处理系统120检测和监视的网络活动数据分组确定的性能反馈来调整或设置过滤阈值。例如，数据处理系统120可以确定使用过滤阈值选择的关键字在内容选择过程中如何执行，以及响应于内容项对象经由关键字被选择并且被传送用于在计算设备110上渲染或者显示而在计算设备110上发生的网络活动的类型。

因此，数据处理系统120可以针对主题集合的交集中的每个关键字来确定聚合分值。数据处理系统120可以使用一种或多种技术来生成聚合相关性分值。

数据处理系统可以利用一种或多种技术配置以用于组合相关性分值。例如，第一技术可以包括加法技术、乘法技术或分桶(bucketing)。相同的关键字可以有多个含义，并且单个关键字可以针对不同含义中每一个的任何给定主题具有多个相关性分值。数据处理系统可以对其不同含义中的每个含义的关键字进行评估。然而，数据处理系统可以使用相同含义的聚合相关性分值。通过使用相同含义的聚合相关性分值，数据处理系统可以移除来自相同关键字归于不同含义的准则化偏差。

例如，数据处理系统120可以使用加法技术。在加法技术中，数据处理系统可以对每个主题的关键字的相关性分值的取平均。数据处理系统可以将该平均值与低于单个主题阈值的阈值进行比较。例如，数据处理系统120可以通过将两个相关性分值的和除以2来将第一相关性分值与第二相关性分值组合，以确定平均相关性分值或聚合的相关性分值。在另一示例中，如果存在N个主题和N个相关性分值，则数据处理系统120可以将N个相关性分值共同相加以确定N个相关性分值的和，并且将N个相关性分值的和除以N以确定平均值。

数据处理系统120可以使用乘法技术来生成聚合的相关性分值。乘法技术可以类似于加法技术，除了将各个分值加在一起，数据处理系统可以将各个分值共同相乘。通过将分值共同相乘，分值能够通过所有值都适度增加而不成比例地增加得更多，而不是单个值高而其它值低。乘法技术可以将肯定结果缩窄为与所有主题相关的关键字，而不是对于单个主题很接近相关的关键字。

在乘法技术中，数据处理系统120可以使关键字的相关性分值相乘并且然后将乘积除以主题数目以生成聚合相关性分值。数据处理系统120可以将关键字的相关性分值相乘而不将乘积除以主题数目，使得聚合的相关性分值是关键字的相关性分值的乘积。

数据处理系统120可以使用分桶来确定相关性分值并组合多个相关性分值。分桶可以指代将关键字和主题的相关性分值转换为不同的值或类别。例如，数据处理系统120可以如下使用三个桶来桶分化分值：0.7与0.9之间的相关性分值可以指派1的桶分化相关性分值；0.4与0.6之间的相关性分值可以指派0.5的桶分化相关性分值；在0.1与0.3之间的相关性分值可以被指派0的桶分化相关性分值。分桶可以减少相关性分值的粒度。分桶可以将较高的相关性分值(例如，1.5或1以上)降低到较低的桶分化相关性分值1。分桶可以防止单个关键字分值过度增加聚合的相关性分值。桶分化相关性分值可以降低计算的复杂性，或通过为其指派零相关性分值来进一步滤除更多关键字，当零相关性分值在乘法技术中组合时，例如可将聚合分值降低到零或以其它值低于阈值。

分桶可以包括将关键字的相关性分值与每个主题的下阈值单独地进行比较。数据处理系统120可以基于关键字单独地通过其降低的相关性分值的主题数目来将关键字考虑为候选。使用分桶技术，数据处理系统120可能不会高估高得分关键字。可以将分桶技术与加法技术或乘法技术组合以生成标量值。分桶可以提高计算或操作的运行速度，从而提高数据处理系统或增益调整机制的性能。分桶可以通过在关键字相关性分值确实处于特定主题的下匹配阈值内的情况下忽略排列来提高性能。

数据处理系统120可以结合加法技术或乘法技术来利用分桶技术，以便生成聚合的相关性分值。例如，数据处理系统120可以对关键字的一个或多个相关性分值进行桶分化，并且然后将加法技术或乘法技术应用于桶分化相关性分值，以生成关键字的聚合相关性分值。数据处理系统120可以对某些或所有关键字的某些或所有相关性分值应用分桶。

数据处理系统120可以对相关性分值施加权重。数据处理系统120可以基于主题来对相关性分值进行加权。数据处理系统120可以从内容提供者设备125接收权重，或者从存储在数据储存库150中的权重数据结构152中检索权重。数据处理系统120可以基于主题应用不同的权重，使得该主题的分值更多地加权并且在确定聚合相关性分值时起着较大的作用。例如，第一主题可以包括乘数为2的权重，并且第二主题可以不具有加权或权重乘数为1。数据处理系统120可以将关键字和第一主题的相关性分值乘以2，这能够导致第一主题的权重比第二个主题更重。数据处理系统120可以通过使用小于1的权重乘数来减少主题的权重。权重可以是加法权重，例如通过跨主题的所有相关性分值添加0.2的分值。

数据处理系统120可以基于满足阈值(例如，第二过滤阈值，第二增益调整阈值，多主题阈值)的关键字的聚合相关性分值来选择一个或多个关键字。如果聚合相关性分值大于或等于阈值，则聚合相关性分值可以满足该阈值。如果聚合相关性分值小于或等于阈值，则聚合相关性分值可以满足该阈值。

数据处理系统120可以基于与多个主题相对应的度量来识别阈值。数据处理系统120可以基于主题的数目来确定度量。例如，数据处理系统120可以基于主题的数目来增加或减少阈值。数据处理系统120可以使用确定阈值的函数。该函数可以接收主题数目作为输入。用于确定阈值的函数可以基于用于生成聚合相关性分值的技术而变化。数据处理系统120可以使用相同的函数来确定用于生成聚合的相关性分值的技术中每一个的阈值。

例如，数据处理系统120可以随主题数目增加而确定下阈值，以便提高识别具有满足阈值的聚合相关性分值的关键字的可能性。随着主题数目的减少，数据处理系统120可以使用更高的阈值。随着主题数目的增加，数据处理系统120可以使用更高的阈值，以便提高基于满足阈值的聚合相关性分值所选择的关键字与多个主题相关的可能性。

不同的主题可以具有相同或不同的阈值。例如，内容提供者设备125可以指示增益调整阈值，以致使数据处理系统120识别与某个主题更多或更少紧密有关的关键字。增益调整阈值可用于在确定聚合相关性分值时加权主题，或者基于聚合相关性分值来选择关键字。通过为不同的主题提供不同的阈值，可以调整数据处理系统120的增益以使得生成的关键字具有所期望的相关性分值或聚合的相关性分值，从而减少资源利用。

因此，数据处理系统120可以基于满足增益调整阈值的关键字的聚合相关性分值来识别或选择一个或多个关键字以输入到内容选择过程。数据处理系统120可以基于不满足增益调整阈值(例如，被第一增益调整阈值或第二增益调整阈值滤除)的关键字来识别要从内容选择过程中排除的一个或多个关键字。第一增益调整阈值可以是单主题阈值，而第二增益调整阈值可以是多主题阈值。

数据处理系统120可以识别具有满足阈值的聚合相关性分值的一个或多个关键字。数据处理系统120可以将所识别的一个或多个关键字输入到由内容选择基础架构执行的内容选择过程。数据处理系统120可以使用所识别和选择的一个或多个关键字来选择内容提供者125的内容项数据对象。可以将所选择的内容项对象传送到客户端计算设备110，以致使客户端计算设备110渲染用于经由内容提供者设备110的显示设备显示的内容项对象，或者以其他方式将所选择的内容项对象呈现给客户端计算设备110的最终用户。

数据处理系统120可以对具有满足阈值的聚合相关性分值的多个关键字进行排名，并且传送经排名的关键字以用于在内容提供者设备125上显示。数据处理系统120可以对主题的聚合相关性分值进行准则化。数据处理系统120可以基于主题的数目或聚合相关性分值对应于哪个主题来对聚合相关性分值进行排名或分类。数据处理系统120可以经由接口130将排名的关键字传送到内容提供者设备125。内容提供者设备125可以选择排名的关键字中的一个或多个以供包括在内容选择过程中，该内容选择过程被配置为选择由内容提供者设备125提供的内容项对象。

数据处理系统120可以包括、执行或以其它方式与内容选择器组件145通信，以经由实时内容选择过程基于该关键字接收和选择内容项。内容选择过程可以指代或包括选择由第三方内容提供者125提供的赞助内容项对象。实时内容选择过程可以包括解析、处理、加权、或匹配由多个内容提供者提供的内容项以选择提供给计算设备110的一个或多个内容项的服务。内容选择器组件145可以实时地执行内容选择过程。实时地执行内容选择过程可以指代响应于经由客户端计算设备110接收到的对内容的请求而执行内容选择过程。可以在接收请求的时间间隔(例如5秒、10秒、20秒、30秒、1分钟、2分钟、3分钟、5分钟、10分钟或20分钟)内执行(例如，发起或完成)实时内容选择过程。可以在与客户端计算设备110的通信会话期间，或者在通信会话终止之后的时间间隔内执行实时内容选择过程。

例如，数据处理系统120可以包括内容选择器组件145，内容选择器组件145被设计、构造、配置或操作以选择内容项对象。为了选择用于显示的内容项，数据处理系统120可以使用关键字基于广泛匹配、精确匹配或短语匹配来选择匹配的内容项。例如，内容选择器组件145可以分析、解析或以其它方式处理候选内容项的主旨，以确定候选内容项的主旨是否与来自计算设备110的内容请求相关联的关键字或短语的主旨相对应(例如，与网页的主要内容相关联的关键字或输入到搜索引擎中的搜索查询)。内容选择器组件145可以使用图像处理技术、字符辨识技术或数据库查找来识别、分析或辨识候选内容项的词项、字符、文本、符号或图像。候选内容项可以包括指示候选内容项的主旨的元数据，在这种情况下，内容选择器组件145可以处理该元数据以确定候选内容项的主旨是否对应于输入的关键字。

因此，数据处理系统120可以通过使用多个增益调整阈值来减少处理器利用、存储器利用、远程过程调用、和带宽利用，以调谐用于生成对内容选择过程的输入的关键字选择过程，并且因此改进内容选择过程本身。

图2是用于调整内容选择基础架构中的增益的系统的操作流程图的图示。图解200的操作流程可以由系统100或系统500的一个或多个组件或元素执行或包括系统100或系统500的一个或多个组件或元素。如图解200所示，内容提供者设备125可以在动作220提供第一输入主题和在动作222提供第二输入主题。内容提供者设备125可以提供主题1和主题2、种子关键字的指示，或者从经由数据处理系统120的图形用户界面提供的主题列表中选择主题1和主题2。

数据处理系统120可以分别经由动作220和动作222接收主题1和主题2。在动作224，数据处理系统120可以提取一个或多个主题的关键字。例如，数据处理系统120可以提取主题1的关键字并提取主题2的关键字。例如，提取关键字可以包括在动作220识别与主题输入相关或有关的一个或多个关键字。在动作226，数据处理系统120可以确定一个或多个相关性分值。数据处理系统120可以确定单个主题相关性分值、聚合的相关性分值、或者桶分化相关性分值。在动作228，数据处理系统120可以识别用于分组、分类、或以其它方式确定关键字与单个主题或多个主题的相关度的阈值。

在动作230，数据处理系统120可以生成主题1的图表(202)。在动作232，数据处理系统120可以生成主题2的图表(204)。数据处理系统120可以在存储器中生成这些图表而不对其进行渲染以供显示。数据处理系统120可以执行功能而不生成图形202和204。

例如，图解200图示了第一主题202和第二主题204。第一主题202可以与第二主题204重叠，如部分212所图示。第一主题202可以包括松散地与第一主题202匹配的第一关键字。第一主题202可以包括与第一主题202紧密匹配的第二关键字208。数据处理系统120可以基于一个或多个阈值来确定关键字是否紧密或松散地与第一主题202匹配(例如，如动作228所确定)。例如，数据处理系统120可以基于阈值210(例如，增益调整阈值或第一阈值)来确定哪些关键字与主题202紧密匹配。也可以使用阈值来确定哪些关键字与主题202松散地匹配。阈值210可以被图示为包括紧密匹配的关键字208的圆的半径。

松散匹配的关键字206可能不会与主题202紧密匹配，因为它们的相关性分值可能不满足第一阈值210。然而，松散匹配关键字206的相关性分值可以满足能够被图示为由主题202形成的圆的半径的阈值。松散匹配的阈值可以是诸如大于0的基线阈值。因此，数据处理系统120可以对关键字和主题使用单个主题相关性分值，并将单个主题相关性分值与单个主题阈值相比较以识别哪些关键字在206以内，哪些关键字在208以内。

第二主题204可以包括基于基线阈值与第二主题204松散匹配的第三关键字214。第二主题204可以包括与第二主题202紧密匹配的第四关键字216。数据处理系统120可以基于第二阈值218(例如，增益调整阈值)来确定关键字是否紧密或松散地匹配第一主题204。第二阈值218可以与第一阈值210不同。第一阈值和第二阈值可以是单主题阈值。

数据处理系统可以识别与第一主题202和第二主题204二者松散匹配的关键字212。例如，数据处理系统120可以使用关键字的多主题聚合相关性分值来比较聚合相关性分值与多主题阈值(例如，增益调整阈值)，以识别哪些关键字在212内。数据处理系统120可以将关键字212选择为包含在内容选择过程中的候选，因为关键字212与第一主题202和第二主题204二者有关。数据处理系统120还可以选择关键字208和216以包含在内容选择过程中，因为它们可以分别与第一主题和第二主题紧密相关。

例如，在动作234，数据处理系统120可以接收关于紧密匹配的关键字208和216、松散匹配的关键字206和214、以及与主题和主题2松散匹配的关键字(212)的数据。在动作236，数据处理系统120可以从与主题1和主题2松散匹配的关键字集合中选择一个或多个关键字(212)。数据处理系统120可以向内容提供者设备125提供关键字，并且提示内容提供者设备125(或其最终用户)选择一个或多个关键字。在动作238，数据处理系统120可以更新内容数据数据结构(例如，存储在图1所示的数据存储库150中的内容数据数据结构151)以包括所选择的关键字。数据处理系统120可以使从212选择的关键字与由内容提供者125提供的一个或多个内容项(例如，经由配置组件140)相关联。

在动作240，经由网络访问资源或网页的计算设备110可以发起或触发对内容的请求，对内容的请求可以提供给数据处理系统120。内容请求可以由计算设备110经由网络(例如，网络105)传送到数据处理系统。内容请求可由计算设备110(例如，内容发布者设备115)访问的资源或网页的发布者传送。

在动作242，数据处理系统120可以接收对内容的请求。在动作244处，数据处理系统120可以执行或实施实时内容选择过程并选择与从212中选择的关键字相关联的内容项。在动作246，数据处理系统120可以将使用来自212的关键字所选择的内容项传送到计算设备110。计算设备110可以接收所选择的内容项并渲染其以用于显示或以其它方式执行或呈现内容项。

因此，增益调整可以指代设置单主题相关性分值阈值(例如，210或218)和用于生成与主题1和主题2松散匹配的关键字集合212的多主题(或聚合)相关性分值阈值。通过增加阈值210，数据处理系统120可以确定较少的关键字与主题1紧密匹配，从而减少集合208中的关键字的数目。然而，增加阈值210可以进而增加与主题202松散匹配的关键字206的数目，其可以增加与主题1和主题2二者松散匹配的关键字212的数目。类似地，调整阈值218可以增加或减少与主题2松散地匹配的关键字214的数目。数据处理系统120可以进一步调整聚合相关性阈值以控制如何生成关键字集合212。例如，具有满足多主题阈值的多主题相关性分值的关键字可以包括在关键字集合212中。因此，数据处理系统120可以调整单主题增益和多主题增益二者。增益调整组件可以调整单主题和多主题增益，以促进选择可以提高内容选择基础架构的效率和性能的参数，同时减少远程过程调用、分页、存储器利用和处理器利用。例如，如果数据处理系统接收到两个或多个主题的选择，则只有当边缘关键字与多个所选的主题有关(例如，关键字212)时数据处理系统可以确定包括边缘关键字(例如，关键字206和214)。因此，本方案的数据处理系统可以减少内容提供者需要提交的搜索、浏览、和连续查询的数目，以便为其内容选择过程找到合适的关键字列表。这减少了网络请求以及服务器侧CPU和存储器成本。此外，由于该数据处理系统120可以缩小推荐的关键字集合(例如，到集合212)，所以数据处理系统还可以减少响应大小，这进一步降低客户端设备上的网络带宽利用以及CPU和存储器利用。数据处理系统120可以滤除与主题1紧密匹配的关键字208，并且滤除与主题2紧密匹配的关键字216，以便识别字与主题1和主题2二者松散地匹配的松散匹配关键字的子集(例如，关键字集合212)。

图3是用于调整内容选择基础架构中的增益的系统的操作流程图的图示。图300的操作流程可以由系统100、图解200、或系统500的一个或多个组件或元素执行或包括其。如图解300所示，内容提供者设备125可以在动作220处提供第一输入主题，在动作222处提供第二输入主题，以及在动作316处提供第三输入主题。内容提供者设备125可以提供主题1、主题2和主题3的指示，种子关键字、或从经由数据处理系统120的图形用户界面提供的主题列表选择主题1、主题2或主题3。

数据处理系统120可以分别经由动作220、动作222和动作316接收主题1、主题2和主题3。在动作224，数据处理系统120可以提取一个或多个主题的关键字。例如，数据处理系统120可以提取主题1的关键字，提取主题2的关键字，和提取主题3的关键字。例如，提取关键字可以包括在动作220处识别与主题输入相关或有关的一个或多个关键字。在动作226，数据处理系统120可以确定一个或多个相关性分值。数据处理系统120可以确定单个主题相关性分值、聚合的相关性分值、或者桶分化相关性分值。在动作228，数据处理系统120可以识别用于分组、分类、或以其它方式确定关键字与单个主题或多个主题的相关度的阈值。

在动作230，数据处理系统120可以生成主题1的图表(202)。在动作232，数据处理系统120可以生成主题2的图表(204)。在动作318，数据处理系统120可以生成主题3的图表(314)。数据处理系统120可以在存储器中生成这些图表而不对其进行渲染以供显示。数据处理系统120可以执行功能而不生成图表202、204和314。

图解300示出了第一主题202、第二主题204和第三主题314。第三主题314包括：基于单主题阈值306(例如，第三阈值)和相对应的单主题相关性分值，与第三主题314松散匹配的关键字302和与第三主题314紧密匹配的关键字304。第三主题314可以进一步与第一主题202和第二主题204重叠。在一些情况下，第三主题314的关键字310只能与第一主题202重叠。在一些情况下，第三主题314的关键字312可以仅与第二主题204重叠。在一些情况下，关键字308可以与所有三个主题202、204和314重叠。数据处理系统120可以基于多主题聚合相关性分值满足对部分308建立的多主题增益调整阈值来确定关键字308与所有三个主题相关。

例如，在动作234，数据处理系统120可以接收关于紧密匹配的关键字208、216和304，松散匹配的关键字206、214和302、以及与所有三个主题松散匹配的关键字的数据(308)。在动作236，数据处理系统120可以从与所有三个主题308松散匹配的关键字集合中选择一个或多个关键字。数据处理系统120可以向内容提供者设备125提供关键字，并提示内容提供者设备125(或其最终用户)选择一个或多个关键字。在动作238，数据处理系统120可以更新内容数据数据结构(例如，存储在图1所示的数据存储库150中的内容数据数据结构151)以包括所选择的关键字。数据处理系统120可以将从212选择的关键字与由内容提供者125提供的一个或多个内容项(例如，经由配置组件140)相关联。

在动作240，经由网络访问资源或网页的计算设备110可以发起或触发对内容的请求，对内容的请求可以提供给数据处理系统120。内容请求可以由计算设备110经由网络(例如，网络105)传送到数据处理系统。内容请求可由计算设备110(例如，内容发布者设备115)访问的资源或网页的发布者传送。

在动作242，数据处理系统120可以接收对内容的请求。在动作244，数据处理系统120可以执行或实施实时内容选择过程，并且选择与从308中选择的关键字相关联的内容项。在动作246，数据处理系统120可以将使用来自308的关键字所选择的内容项传送到计算设备110。计算设备110可以接收所选择的内容项并渲染其以用于显示或以其它方式执行或呈现内容项。

图4是调整内容选择基础架构中的增益的方法的图示。方法400可以包括调整内容选择基础架构中的增益的计算机实现的方法(或数据处理系统)，其包括与至少一个存储器通信的至少一个处理器。方法400可以经由图1、图2或图5所图示的一个或多个系统或组件来执行，包括例如数据处理系统、接口、增益调整组件、配置组件、内容选择器145、数据存储库、内容提供者、内容发布者、网络、计算设备。

在动作405，数据处理系统可以接收一个或多个主题，诸如第一主题或第二主题。在某些情况下，数据处理系统可以接收一个或多个种子关键字并该提取一个或多个种子关键字以识别一个或多个主题。数据处理系统可以将主题识别为由语义分析引擎生成或定义的概念。主题可以包括一个或多个关键字。该主题可以通过众包分层图来定义。每个主题都可以包含或具有标识主题的唯一标识符。该标识符可以包括字母数字标识符。

数据处理系统可以确定每个主题的已标识关键字的相关性分值。例如，在动作410，数据处理系统可以基于第一主题和第二主题中的每一个的单个主题相关性分值来确定第一关键字的第一聚合相关性分值。在动作415，数据处理系统可以确定第二聚合相关性分值。数据处理系统可以基于第一主题和第二主题中的每一个的单个主题相关性分值来确定第二关键字的第二聚合相关性分值。

数据处理系统可以确定每个关键字和主题对的单个主题相关性分值。结果，数据处理系统可以确定单个关键字的多个单主题相关性分值，因为可能存在作为动作405接收的多个主题。数据处理系统可以组合单个主题相关性分值以生成关键字的聚合多主题相关性分值。因此，关键字可以具有多个单个主题相关性分值，但是可以具有单个聚合的多主题相关性分值。数据处理系统可以使用各种技术——诸如加法、乘法、或其它技术或功能——组合单主题相关性分值。

对于多个主题中的每一个，数据处理系统可以基于具有大于阈值——诸如第一增益调整阈值——的单个主题相关性分值的关键字来确定生成关键字的聚合相关性分值。例如，如果数据处理系统在动作405接收到两个主题，则如果对于第一主题和第二主题中每一个，第一关键字具有大于第一增益调整阈值的单个主题相关性分值，则数据处理系统可以确定继续生成聚合相关性分值。然而，如果关键字具有小于第一增益调整阈值的单主题相关性分值，则数据处理系统可以将关键字从进一步的下游处理中排除以减少计算资源利用。

数据处理系统可以在组合相关性分值之前(或在组合单主题相关性分值以生成聚合相关性分值时的单个操作中)操纵或变换单个主题相关性分值。例如，数据处理系统可以对单个主题相关性分值进行桶分化，以降低它们的粒度。数据处理系统可以对单个主题相关性分值进行加权，使得某些主题可以更多或更少地加权。

在动作420，数据处理系统可以选择第一关键字以供输入到内容选择过程中。数据处理系统可以基于具有满足阈值——诸如第二增益调整阈值——的聚合相关性分值的第一关键字来选择第一关键字。数据处理系统可以针对内容提供者在内容选择过程中自动包括第一关键字。数据处理系统可以将第一关键字提供为候选关键字，并且提示内容提供者指示在内容选择过程中是否包括第一关键字。

在动作425，数据处理系统可以确定从内容选择过程排除第二关键字。数据处理系统可以基于具有不满足增益调整阈值的聚合多主题关键字分值的第二关键字来确定排除第二关键字。数据处理系统可以自动排除第二个关键字，或提示内容提供者进行确认以排除第二关键字。

数据处理系统可以通过识别多个主题和关键字来周期性地调谐内容选择过程，并且基于它们的多主题相关性来应用增益调整机制以选择一个或多个关键字。数据处理系统可以通过增加或降低单主题阈值或多主题阈值或调整应用于相关性分值的基于主题的权重来进一步周期性地调整关键字生成系统的增益。通过调谐该系统的增益，本方案可以通过从下游处理中滤除或排除关键字来降低资源利用，从而可以节省处理器利用、存储器利用和带宽利用。此外，增益调整机制可以通过提供与多个主题相关的关键字来改善内容选择过程。

例如，第一主题可以是“refrigerator(冰箱)”，第二个主题可以是“plumbing ormaintenance(水暖工程或维护)”。数据处理系统可以识别“installation(设施)”、“energyefficiency(能效)”、“ice maker(制冰器)”、“water dispenser(饮水机)”、“service(服务)”、“San Jose”、“temperature(温度)”，“repair(维修)”或“delivery(递送)”。数据处理系统可以确定关键字“water dispenser”和“repair”与两个主题都相关，而关键字“temperature”和“energy efficiency”与第二个主题无关。数据处理系统可以基于其关于第二主题的单主题相关性分值从进一步处理中排除关键字“temperature”和“energyefficiency”。数据处理系统可以进一步确定关键字“water dispenser”的聚合相关性分值不满足多主题阈值，而“repair”的聚合相关性分值满足聚合相关性分值。因此，数据处理系统可以将关键字“repair”输入到内容选择过程中，以促进选择与第一主题和第二主题相对应的内容项对象。

在动作430，数据处理系统可以选择内容项。数据处理系统可以使用第一关键字选择内容项。数据处理系统可以使用由内容选择基础架构执行的内容选择过程的第一关键字来选择内容项。数据处理系统可以响应于从客户端计算设备接收到的请求来选择内容项，并且提供所选择的内容项以供在客户端计算设备上显示。

图5是示例计算机系统500的框图。计算机系统或计算设备500可以包括或用于实现系统100或其组件，例如数据处理系统120。计算系统500包括总线505或用于传送信息的其它通信组件和耦合到总线505以用于处理信息的处理器510或处理电路。计算系统500还可以包括用于处理信息的一个或多个处理器510或耦合到总线的处理电路。计算系统500还包括耦合到总线505用于存储信息以及由处理器510执行的指令的主存储器515——诸如随机存取存储器(RAM)或其它动态存储设备。主存储器515可以是或包括数据存储库145。主存储器515还可以用于存储位置信息、临时变量或在由处理器510执行指令期间的其它中间信息。计算系统500还可以包括只读存储器(ROM)520或其它静态存储设备，其被耦合到总线505以用于存储静态信息和处理器510的指令。诸如固态设备、磁盘或光盘的存储设备525可以耦合到总线505以持久性存储信息和指令。存储设备525可以包括数据存储库145或者是数据存储库145的一部分。

计算系统500可以经由总线505耦合到用于向用户显示信息的显示器535，诸如液晶显示器或有源矩阵显示器。诸如包括字母数字键和其它键的键盘的输入设备530可以耦合到总线505，以用于将信息和命令选择传送到处理器510。输入设备530可以包括触摸屏显示器535。输入设备530可以还包括诸如鼠标、轨迹球或光标方向键的光标控制器，其用于将方向信息和命令选择传送到处理器510并用于控制显示器535上的光标移动。显示器535可以是数据处理系统120的一部分，客户端计算设备150、或图1的其它组件。

本文描述的过程、系统和方法可以由计算系统500响应于处理器510执行包含在主存储器515中的指令的布置来实现。这样的指令可以从另一计算机可读介质——诸如存储设备525——读取到主存储器515中。执行包含在主存储器515中的指令的布置致使计算系统500执行本文所描述的说明性过程。多处理布置中的一个或多个处理器也可以用于执行包含在主存储器515中的指令。硬连线电路可以代替软件指令或者与软件指令组合来与本文描述的系统和方法一起使用。本文描述的系统和方法不限于硬件电路和软件的任何特定组合。

尽管已经在图5中描述了示例计算系统，但能用其它类型的数字电子电路或用计算机软件、固件、或硬件中——包括在本说明书中公开的结构及其结构等同物、或者用它们中一个或多个的组合来实现包括本说明书中所述的操作的主题。

对于本文所讨论的系统收集关于用户的个人信息或者可以利用个人信息的情况，可以向用户提供控制机会来控制程序或特征是否可以收集个人信息(例如，关于用户社交网络、社交行为或活动、用户偏好、或用户的位置的信息)，或者控制是否或如何从可能与用户更相关的内容服务器或其它数据处理系统接收内容。此外，某些数据可以在其存储或使用之前以一种或多种方式进行匿名化，以便在生成参数时移除个人可识别信息。例如，用户的身份可以被匿名化，使得无法确定该用户的个人可识别信息，或者在获得位置信息的情况下泛化用户的地理位置(诸如到城市，邮政编码或州级别)，使得无法确定用户的特定位置。因此，用户可以控制如何收集关于他或她的信息如何由内容服务器收集或使用。

本说明书中描述的主题和操作可以实现在数字电子电路中或者在计算机软件、固件或硬件中——包括本说明书中公开的结构及其结构等同物、或其一个或多个的组合。本说明书中描述的主题可以实现为一个或多个计算机程序——例如一个或多个计算机程序指令的电路——其被编码在一个或多个计算机存储介质上以用于由数据处理设备执行或控制其操作。替选地或另外，程序指令可以在人工生成的传播信号上进行编码，该人工生成传播信号例如机器生成的电、光、或电磁信号，其被生成以编码信息以用于传输到合适的接收机装置以供数据处理装置执行。计算机存储介质可以是以下或包括在以下中：计算机可读存储设备、计算机可读存储基底、随机或串行存取存储器阵列或设备、或其中的一个或多个的组合。虽然计算机存储介质不是传播的信号，但是计算机存储介质可以是在人工生成的传播信号中编码的计算机程序指令的源或目的地。计算机存储介质也可以是以下或包括以下：一个或多个单独的组件或介质(例如，多个CD、磁盘或其它存储设备)。本说明书中描述的操作可以实现为由数据处理设备对存储在一个或多个计算机可读存储设备上或从其它源接收的数据执行的操作。

术语“数据处理系统”“计算设备”“组件”或“数据处理装置”涵盖用于处理数据的各种装置、设备和机器，例如包括可编程处理器、计算机、片上系统、或上述中的多个或上述的组合。该装置可以包括专用逻辑电路、例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统，跨平台运行时环境、虚拟机、或其中的一个或多个的组合的代码。装置和执行环境可以实现各种不同的计算模型基础架构，如Web服务、分布式计算和网格计算基础架构。接口130、增益调整组件135、配置组件140、内容选择器组件145、和其它数据处理系统120组件可以包括或共享一个或多个数据处理装置、系统、计算设备、或处理器。

计算机程序(也称为程序、软件、软件应用程序、app、脚本或代码)可以以任何形式的编程语言编写——包括编译或解释语言、声明式或过程语言，并且可以以任何形式部署——包括作为独立程序或适用于计算环境的模块、组件、子例程、对象、或其它单元。计算机程序可以对应于文件系统中的文件。可以将计算机程序存储在保存其它程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中、专用于所讨论的程序的单个文件或多个协调文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。可以将计算机程序部署为在一个计算机上或位于一个站点上或者跨多个站点分布并由通信网络互连的多个计算机上执行。

本说明书中描述的过程和逻辑流程可以由一个或多个可编程处理器执行，该一个或多个可编程处理器执行一个或多个计算机程序(例如，数据处理系统120的组件)以通过对输入数据进行操作并生成输出来执行动作。过程和逻辑流程也可以由专用逻辑电路——例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)执行，并且装置也可以实现为专用逻辑电路。适用于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储设备，包括例如半导体存储设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动盘；磁光盘；和CD ROM和DVD-ROM磁盘。处理器和存储器可由专用逻辑电路补充或并入其中。

本文描述的主题可以实现在包括后端组件——例如，作为数据服务器——的计算系统中，或包括中间件组件——例如，应用服务器——的计算系统中，或者包括前端组件——例如，具有用户可以用来与本说明书所描述的主题交互的图形用户界面或web浏览器的客户端计算机、或者在一个或多个这样的后端、中间件、或前端组件的组合中实现。该系统的组件可以通过例如通信网络的数字数据通信的任何形式或介质互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)、互连网(例如互联网)和对等网络(例如，点对点对等网络)。

诸如系统100或系统500的计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络(例如，网络105)进行交互。客户端和服务器之间的关系是依靠在相应计算机上运行并且彼此间具有客户端-服务器关系的计算机程序而产生的。服务器可以将数据(例如，表示内容项的数据分组)传送到客户端设备(例如，为了向与客户端设备交互的用户显示数据并从其接收用户输入的目的)。在客户端设备处生成的数据(例如，用户交互的结果)可以在服务器处从客户端设备接收(例如，由数据处理系统120从计算设备110或内容提供者计算设备125或内容发布者设备115接收)。

虽然以特定次序在附图中描绘了操作，但是这样的操作不需要以所示的特定次序或顺序次序执行，并且不需要执行所有图示的操作。本文描述的动作可以以不同的顺序执行。

各种系统组件的分离并不需要在所有实施方式中都分离，并且所描述的程序组件可以被包括在单个硬件或软件产品中。例如，增益调整组件135或内容选择器组件145可以是单个组件、app、或程序，或具有一个或多个处理电路的逻辑设备或数据处理系统120的一个或多个服务器的一部分。

现在已经描述了一些说明性实施方式，但是显而易见的是，前文的描述是说明性的而不是限制性的，以举例说明的方式给出。具体地说，尽管本文提出的许多示例涉及方法动作或系统元素的具体组合，但是那些动作和那些元素可以以其它方式组合以实现相同的目标。与一个实施方式相关讨论的动作、元素和特征并不意图在其它实施方式或实施例中被排除在类似的角色之外。

这里使用的措辞和术语是为了描述的目的，不应被视为限制。“包含”、“包括”、“含有”、“涉及”、“其特征为”、“其特征在于”及其变型意在包括其后列出的项目，等同物和附加项目以及由其后排他地列出的项目组成的替选实施方式。在一个实施方式中，本文描述的系统和方法由所描述的元素、动作或组件中的一个、多于一个、或所有的组合组成。

对本文以单数形式提及的系统和方法的实施方式或元素或动作的任何引用也可以包括具有多个这些元素的实施方式，并且对于本文中的任何实施方式或元素或动作的任何复数的引用也可以涵盖仅包括单一元素的实施方式。单数或复数形式的引用不意图在将目前公开的系统或方法、其组件、动作或元素限制为单数或复数配置。基于任何信息、动作或元素对任何动作或元素的引用可以包括动作或元素至少部分地基于任何信息、动作、或元素的实施方式。

本文公开的任何实施方式可以与任何其它实施方式或实施例组合，并且对“实施方式”，“一些实施方式”，“一个实施方式”等的引用并不一定是相互排斥的，并且旨在表示结合该实施方式描述的特定特征、结构、或特性可以包括在至少一个实施方式或实施例中。这里使用的术语不一定都引用相同的实施方式。任何实施方式可以以与本文公开的方面和实施方式一致的任何方式与任何其它实施方式组合，包括性地或排他性地组合。

对“或”的引用可以被解释为包括性的，使得使用“或”描述的任何术语可以指示所描述的术语中的单个、多于一个和全部中的任何一个。例如，对“‘A’和‘B’中的至少一个”的引用可以仅包括“A”、“B”以及“A”和“B”二者。结合“包含”或其它开放式术语使用的这样的引用可以包括附加项目。

在附图，详细描述或任何权利要求中的技术特征后面是附图标记的情况下，已经包括附图标记以增加附图的可懂度，详细描述和权利要求。因此，参考标志及其不存在对任何权利要求要素的范围都没有任何限制。

本文描述的系统和方法可以以其它具体形式实现，而不脱离本发明的特征。上述实施方式是说明性的而不是限制所描述的系统和方法。因此，本文描述的系统和方法的范围由所附权利要求而不是前述描述来指示，并且在权利要求的等同物的含义和范围内的变化包括在其中。

Claims (20)

1.一种用于内容选择基础架构的增益调整系统，包括：

数据处理系统，包括由至少一个处理器执行的增益调整组件和内容选择器组件，所述数据处理系统用于：

接收由语义分析引擎生成的多个主题的选择，所述多个主题包括第一主题和第二主题；

确定第一关键字与所述第一主题之间的第一相关性分值、第一关键字与所述第二主题之间的第二相关性分值、第二关键字与所述第一主题之间的第三相关性分值、以及所述第二关键字与所述第二主题之间的第四相关性分值；

基于所述第一相关性分值和所述第二相关性分值来确定第一聚合分值，以及基于所述第三相关性分值和所述第四相关性分值来确定第二聚合分值；

基于与所述多个主题相对应的度量来识别阈值；

响应于所述第一聚合分值大于所述阈值，将所述第一关键字输入到由所述内容选择基础架构执行的所述内容选择过程；

响应于所述第二聚合分值小于所述阈值，从由所述内容选择基础架构执行的所述内容选择过程排除所述第二关键字；以及

响应于从客户端计算设备接收的请求，经由所述内容选择基础架构所执行的所述内容选择过程的所述第一关键字，选择内容项以提供用于在所述客户端计算设备上显示。

2.基于权利要求1所述的系统，包括所述数据处理系统以用于：

经由前端接口接收所述多个主题的指示。

3.基于权利要求1所述的系统，包括所述数据处理系统以用于：

经由前端接口接收种子关键字的指示；以及

经由所述语义分析技术从种子关键字提取多个主题中的至少一个。

4.基于权利要求1所述的系统，包括所述数据处理系统以用于：

从存储器中的数据库检索所述第一相关性分值和所述第二相关性分值；以及

将所述第一相关性分值与所述第二相关性分值组合以生成所述聚合相关性分值。

5.基于权利要求1所述的系统，包括所述数据处理系统以用于：

基于加法技术来将所述第一相关性分值与所述第二相关性分值组合；以及

根据基于所述加法技术与所述第二相关性分值组合的所述第一相关性分值，来生成所述第一聚合关键字。

6.基于权利要求1所述的系统，包括所述数据处理系统以用于：

基于乘法技术来将所述第一相关性分值与所述第二相关性分值组合；以及

根据基于所述乘法技术与所述第二相关性分值组合的第一相关性分值，来生成所述第一聚合关键字。

7.基于权利要求1所述的系统，包括所述数据处理系统以用于：

基于所述第一相关性分值和指派给所述第一主题的第一权重来生成第一加权相关性分值；

基于所述第二相关性分值和指派给所述第二主题的第二权重来生成第二加权相关性分值；

基于乘法技术来将第一加权相关性分值与第二加权相关性分值组合；以及

根据基于所述乘法技术与所述第二加权相关性分值组合的所述第一加权相关性分值，来生成所述第一聚合关键字。

8.基于权利要求1所述的系统，包括所述数据处理系统以用于：

基于分桶技术来将第一相关性分值与所述第二相关性分值组合；以及

根据基于所述分桶技术与所述第二相关性分值组合的所述第一相关性分值，来生成所述第一聚合关键字。

9.基于权利要求1所述的系统，包括所述数据处理系统以用于：

将所述第一相关性分值桶分化来生成第一分桶相关性分值；

将所述第二相关性分值桶分化来生成第二分桶相关性分值；

基于加法技术来将所述第一分桶相关性分值与第二分桶相关性分值组合；以及

根据基于所述加法技术与所述第二分桶相关性分值组合的所述第一分桶相关性分值，来生成所述第一聚合关键字。

10.基于权利要求1所述的系统，包括所述数据处理系统以用于：

将所述第一相关性分值桶分化来生成第一分桶相关性分值；

将所述第二相关性分值桶分化来生成第二分桶相关性分值；

基于乘法技术来将所述第一分桶相关性分值与所述第二分桶相关性分值组合；以及

根据基于所述乘法技术与所述第二分桶相关性分值组合的所述第一分桶相关性分值，来生成所述第一聚合关键字。

11.基于权利要求1所述的系统，包括所述数据处理系统以用于：

基于多个主题的数目来设置所述阈值。

12.基于权利要求1所述的系统，包括所述数据处理系统以用于：

基于多个主题中的每一个的权重来设置所述阈值。

13.一种调整内容选择基础架构中的增益的方法，包括：

由数据处理系统接收由语义分析引擎生成的多个主题的选择，所述数据处理系统包括由至少一个处理器执行的增益调整组件和内容选择器组件，所述多个主题包括第一主题和第二主题；

由所述数据处理系统确定第一关键字与所述第一主题之间的第一相关性分值；

由所述数据处理系统确定所述第一关键字与所述第二主题之间的第二相关性分值；

由所述数据处理系统确定第二关键字与所述第一主题之间的第三相关性分值；

由所述数据处理系统确定所述第二关键字与所述第二主题之间的第四相关性分值；

由所述数据处理系统基于所述第一相关性分值和所述第二相关性分值来确定第一聚合分值；

由所述数据处理系统基于所述第三相关性分值和所述第四相关性分值确定第二聚合分值；

由所述数据处理系统基于与所述多个主题相对应的度量来识别阈值；

由所述数据处理系统响应于所述第一聚合分值大于所述阈值，将所述第一关键字输入到由所述内容选择基础架构执行的内容选择过程；

由所述数据处理系统响应于所述第二聚合分值小于所述阈值，从所述内容选择基础架构执行的内容选择过程中排除所述第二关键字；以及

由所述数据处理系统响应于从客户端计算设备接收到的请求，经由所述内容选择基础架构所执行的所述内容选择过程的所述第一关键字，选择内容项以提供用于在所述客户端计算设备上显示。

14.基于权利要求13所述的方法，包括：

由所述数据处理系统经由前端接口接收所述多个主题的指示。

15.基于权利要求13所述的方法，包括：

由所述数据处理系统经由前端接口接收种子关键字的指示；以及

由所述数据处理系统经由语义分析技术从所述种子关键字提取所述多个主题中的至少一个。

16.基于权利要求14所述的方法，包括：

由所述数据处理系统从存储器中的数据库检索所述第一相关性分值和所述第二相关性分值；以及

由所述数据处理系统将所述第一相关性分值与所述第二相关性分值组合以生成所述聚合相关性分值。

17.基于权利要求14所述的方法，包括：

由所述数据处理系统基于加法技术来将所述第一相关性分值与所述第二相关性分值组合；以及

由所述数据处理系统根据基于所述加法技术与所述第二相关性分值组合的所述第一相关性分值，来生成所述第一聚合关键字。

18.基于权利要求14所述的方法，包括：

由所述数据处理系统基于乘法技术来将第一相关性分值与所述第二相关性分值组合；以及

由所述数据处理系统根据基于所述乘法技术与所述第二相关性分值组合的所述第一相关性分值，来生成所述第一聚合关键字。

19.基于权利要求14所述的方法，包括：

由所述数据处理系统基于所述第一相关性分值和指派给所述第一主题的第一权重来生成第一加权相关性分值；

由所述数据处理系统基于所述第二相关性分值和指派给所述第二主题的第二权重来生成第二加权相关性分值；

由所述数据处理系统基于乘法技术来将所述第一加权相关性分值与所述第二加权相关性分值组合；以及

由所述数据处理系统根据基于所述乘法技术与所述第二加权相关性分值组合的所述第一加权相关性分值，来生成所述第一聚合关键字。

20.基于权利要求14所述的方法，包括：

由所述数据处理系统基于分桶技术来将所述第一相关性分值与所述第二相关性分值组合；以及

由所述数据处理系统根据基于所述分桶技术与所述第二相关性分值组合的所述第一相关性分值，来生成所述第一聚合关键字。