CN102576436A - 用于将竞争估价模型用于实时广告报价的学习系统 - Google Patents

Abstract

在本发明的实施例中，描述如下改进的能力，所述能力用于响应于接收对布局广告的请求来使用多个竞争经济估价模型以预测用于多个广告布局、广告和广告-广告布局组合中的每个的经济估价。经济估价模型可以至少部分基于实时事件数据、历史事件数据、用户数据、第三方商业数据、历史广告印象、广告商数据、广告代理数据、历史广告表现数据和机器学习。另外，基于本发明的方法和系统的计算机程序产品可以评估多个竞争经济估价模型中的每个模型产生的每个经济估价以选择一个作为广告布局、广告和/或广告-广告布局组合的当前估价。

Description

用于将竞争估价模型用于实时广告报价的学习系统

相关申请的交叉引用

本申请要求对整体通过引用而结合于此的以下共有美国临时专利申请的权益：申请号为61/234,186、于2009年8月14日提交并且标题为“Real-Time Bidding System for Delivery of Advertising”。

技术领域

本发明涉及使用与数字媒体关联的历史和实时数据以及将它用于调整广告媒体的定价和投放。

背景技术

对向数字媒体用户呈现广告的管理经常以如下批量模式优化方案为特征，在该方案中选择广告内容用于向所选用户群呈现，收集和分析表现数据，然后执行优化步骤以达到更好的将来广告表现。然后在优化分析序列中迭代地运行这一过程以求通过更富含信息的广告用户配对和其它技术改进广告表现标准（比如完整交易）。然而这一优化框架在若干重要方面上受限制。例如鉴于普遍创新（比如社交网络化）带来的数字媒体用户增长，有过多如下数据，该数据涉及业内进行的许多当前广告表现建模的预先计划的批量模式分析学不能适应和分析的数字媒体使用。另外，批量模式的广告分析学可能强迫如下内容分组，这些内容分组未对应于在用户的行为内或者跨越用户池出现的实际且不断改变的广告印象序列。因而广告内容的发布者可能被强迫不必要地利用多个广告网络以至少部分基于不同广告网络使用的多个优化技术和标准来分发它们的广告。这可能产生冗余并且限制对广告的印象的价值及其在数字媒体用户全体内随时间的表现进行估价的能力。

因此需要一种用于使用如下自动化分析技术对广告给数字媒体用户的印象进行估价的方法和系统，这些自动化分析技术能够使用涉及广告表现的历史和实时数据作为学习系统的部分以优化广告选择并且辅助广告呈现的估价。

发明内容

在实施例中，本发明可以提供用于响应于接收对布局广告的请求来使用多个竞争经济估价模型以预测用于多个广告布局中的每个广告布局的经济估价的方法和系统。经济估价模型可以至少部分基于实时事件数据、历史事件数据、用户数据、第三方商业数据、历史广告印象、广告商数据、广告代理数据、历史广告表现数据和机器学习。另外，基于本发明的方法和系统的计算机程序产品在一个或者多个计算机上执行时可以执行评估多个竞争经济估价模型中的每个模型产生的每个经济估价以选择一个作为广告布局的当前估价的步骤。

在实施例中，一种基于本发明的方法和系统的计算机程序产品在一个或者多个计算机上执行时可以执行以下步骤：响应于接收对布局广告的请求来部署多个竞争经济估价模型以预测用于多个广告布局中的每个广告布局的经济估价。在实施例中，可以从发布者接收请求，并且可以向发布者自动发送推荐的报价数额。在另一实施例中，可以从发布者接收请求，并且可以代表发布者自动提出与推荐的报价数额相等的报价。另外，推荐的报价数额可以与广告布局的推荐时间关联。在实施例中，可以通过分析可以与实时报价机关联的实时报价日志来得出推荐的报价数额。

在实施例中，一种基于本发明的方法和系统的计算机程序产品在一个或者多个计算机上执行时可以执行以下步骤：评估多个竞争经济估价模型中的每个模型产生的每个经济估价以选择一个估价作为广告布局的第一估价。另外，计算机程序产品可以重新评估多个竞争经济估价模型中的每个模型产生的每个估价以选择一个作为广告布局的修正估价。修正估价可以至少部分基于经济估价模型的分析，该经济估价模型可以使用可能在选择第一估价时不可用的实时事件数据。此外，计算机程序产品可以将第一估价替换为第二修正估价以在得出用于广告布局的推荐估价数额时使用。

在实施例中，一种基于本发明的方法和系统的计算机程序产品在一个或者多个计算机上执行时可以执行以下步骤：响应于接收对布局广告的请求来部署多个竞争经济估价模型以评估涉及多个可用广告布局的信息从而预测用于多个广告布局中的每个广告布局的经济估价。另外，计算机程序产品可以评估多个竞争经济估价模型中的每个模型产生的每个经济估价以选择一个估价作为广告布局的将来估价。

在实施例中，一种基于本发明的方法和系统的计算机程序产品在一个或者多个计算机上执行时可以执行以下步骤：响应于接收对布局广告的请求来部署多个竞争经济估价模型以评估涉及多个可用广告布局的信息从而预测用于多个广告布局中的每个广告布局的经济估价。另外，计算机程序产品可以实时评估多个竞争经济估价模型中的每个模型产生的每个经济估价以选择一个估价作为广告布局的将来估价。在实施例中，将来估价可以至少部分基于描述将来事件的仿真数据。另外，将来事件可以是股票市场波动。此外，可以从历史事件数据的分析来得出描述将来事件的仿真数据。

在实施例中，一种基于本发明的方法和系统的计算机程序产品在一个或者多个计算机上执行时可以执行以下步骤：响应于接收对布局广告的请求来部署涉及多个可用广告布局的多个竞争实时报价算法以针对广告布局进行报价。竞争实时报价算法可以使用来自实时报价日志的数据。另外，计算机程序产品可以评估每个报价算法以选择优选算法。

在实施例中，一种基于本发明的方法和系统的计算机程序产品在一个或者多个计算机上执行时可以响应于接收对布局广告的请求来部署涉及多个可用广告布局的多个竞争实时报价算法以针对广告布局进行报价。另外，计算机程序产品可以评估竞争实时报价算法产生的每个报价推荐。另外，计算机程序产品可以重新评估竞争实时报价算法产生的每个报价推荐以选择一个作为修正的报价推荐。修正的报价推荐可以至少部分基于实时报价算法，该算法使用可能在选择报价推荐时不可用的实时事件数据。此外，计算机程序产品可以将报价推荐替换为修正的报价推荐以在得出用于广告布局的推荐报价数额时使用。该替换可以相对于接收对布局广告的请求实时出现。

尽管已结合某些优选实施例描述了本发明，但是本领域普通技术人员将理解并且这里涵盖其它实施例。

附图说明

可以通过参照以下附图来理解本发明和对其某些实施例的以下详细描述：

图1A描绘用于投放广告的实时报价方法和系统。

图1B描绘跨越多个交易所来执行实时报价系统。

图2描绘用于优化报价管理的学习方法和系统。

图3描绘可以用来预测与关键表现指示符关联的媒体成功的样本数据域。

图4描绘训练涉及广告活动的多个算法，其中可以检测表现更好的算法。

图5A描绘将微分段用于报价估价。

图5B描绘广告活动的微分段分析。

图5C描绘通过频率分析来优化定价。

图5D描绘如何可以在实时报价系统内通过近因（recency）分析来优化定步。

图6描绘将毫微分段用于报价估价。

图7描绘实时报价方法和系统在主要媒体供应链内的样本集成。

图8A描绘使用实时报价方法和系统的假想情况研究。

图8B描绘第二假想情况研究，该研究比较使用实时报价方法和系统的两个广告活动。

图9以如下流程图的形式描绘简化的使用情况，该流程图概括用户可以在使用实时报价方法和系统时采取的关键步骤。

图10描绘用于可以与实时报价系统关联的像素供应系统的用户界面的示例性实施例。

图11描绘可以与实时报价系统关联的印象级别数据的示例性实施例。

图12描绘假想广告活动表现报告。

图13图示用于购买在线广告布局的实时报价和估价的报价估价设施。

图14图示用于购买在线广告布局的实时报价和经济估价的方法。

图15图示用于确定报价数额的方法。

图16图示对用于广告的最优布局自动提出报价的方法。

图17图示根据本发明实施例的分析平台的如下设施，这些设施可以用于针对在线广告购买进行报价目标设定。

图18图示用于基于经济估价来选择并且向用户呈现多个可用布局中的至少一个布局的方法。

图19图示用于区分从经济估价得出的可用广告布局的优先次序的方法。

图20图示用于选择如下替代算法的实时设施，这些替代算法用于针对用于在线广告的报价来预测购买价格趋势。

图21图示用于基于当前市场条件来预测广告布局的表现的方法。

图22图示用于确定在用于预测经济估价的主要模型与第二模型之间的偏好的方法。

图23图示用于确定在用于预测经济估价的主要模型与第二模型之间的偏好的方法。

图24图示用于在用于广告布局的实时报价中在多个竞争估价模型之中选择一个估价模型的方法。

图25图示用于将第一经济估价模型替换为第二经济估价模型以得出用于广告布局的推荐报价数额的方法。

图26图示用于评估多个经济估价模型并且选择一个估价作为广告布局的将来估价的方法。

图27图示用于实时评估多个经济估价模型并且选择一个估价作为广告布局的将来估价的方法。

图28图示用于评估多个报价算法以选择用于布局广告的优选算法的方法。

图29图示用于将报价推荐替换为修正的报价推荐以用于广告布局的方法。

图30图示用于测量附加第三方数据的价值的实时设施。

图31图示有能力测量附加第三方数据的价值的用于广告估价的方法。

图32图示用于计算第三方数据集的估价并且向广告商开具部分估价的账单的方法。

图33图示用于计算第三方数据集的估价并且至少部分基于估价来校准发布者为广告内容的布局而支付的报价数额推荐的方法。

图34描绘按照当天时间比对当周某天呈现广告表现概要的数据可视化实施例。

图35描绘按照人口密度呈现广告表现概要的数据可视化实施例。

图36描绘按照美国的地理区域呈现广告表现概要的数据可视化实施例。

图37描绘按照个人收入呈现广告表现概要的数据可视化实施例。

图38描绘按照性别呈现广告表现概要的数据可视化实施例。

图39描绘按照类别的用于广告活动的亲和度（affinity）指数。

图40描绘按照印象次数呈现页面拜访概要的数据可视化实施例。

具体实施方式

参照图1A，实时报价系统100A可以根据如这里描述的方法和系统用于对赞助的内容购买机会进行选择和估价、实时报价并且跨越多个内容投放渠道布局赞助的内容（比如广告）。实时报价设施可以通知用于跨越多个广告（“ad”）投放渠道布局赞助的内容的购买机会。实时报价设施还可以实现收集关于广告表现的数据并且使用这一数据向想要布局广告的各方提供现行反馈，并且自动调整用来呈现赞助的内容的广告投放渠道并且对其进行目标设定。实时报价系统100A可以有助于选择用于在每个布局机会中示出的特定广告类型和广告布局随时间（以及例如按照布局时间调整）的关联成本。实时设施可以有助于使用估价算法对广告进行估价并且还可以优化用于广告商104的投资回报。

实时报价系统100A可以包括和/或还关联于一个或者多个分发服务消费者，比如广告代理102或者广告商104、广告网络108、广告交易所110或者发布者112、分析设施114、广告标记设施118、广告订单发送和接收设施120、和广告分发服务设施122、广告数据分发服务设施124、广告显示客户端设施128、广告表现数据设施130、上下文组织器（contextualizer）服务设施132、数据集成设施134以及提供涉及广告和/或广告表现的不同类型的数据的一个或者多个数据库。在本发明的实施例中，实时报价系统100A可以包括如下分析设施，该分析设施可以至少部分包括学习机设施138、估价算法设施140、实时报价机设施142、跟踪机设施144、印象/点击/动作日志设施148和实时报价日志设施150。

在实施例中，向实时报价系统100A并且向学习机设施138提供涉及广告、广告表现或者广告布局上下文的数据的一个或者多个数据库可以包括代理数据库和/或广告商数据库152。代理数据库可以包括活动描述符并且可以描述涉及广告的使用和分发的渠道、时线、预算和包括历史信息的其它信息。代理数据152也可以包括如下活动和历史日志，这些日志可以包括用于向用户示出的每个广告的布局。代理数据152也可以包括以下各项中的一项或者多项：用于用户的标识符、网页上下文、时间、支付价格、所示广告消息和合成用户动作或者某一其它类型的活动或者历史日志数据。广告商数据库可以包括如下企业智能数据或者某一其它类型的数据，该数据可以描述动态和/或静态行销目标或者可以描述广告商104的操作。在例子中，（广告商104在它的仓库中具有的）给定的产品的存货过剩数量可以由广告商数据152描述。在另一例子中，数据可以描述消费者在与广告商104交互时执行的购买。

在实施例中，一个或者多个数据库可以包括历史事件数据库。历史事件数据154可以用来将用户事件的时间与例如在用户所在的区域中发生的其它事件相关。在例子中，对某些类型的广告的响应率可以与股票市场动向相关。历史事件数据154可以包括但不限于天气数据、事件数据、本地新闻数据或者某一其它类型的数据。

在实施例中，一个或者多个数据库可以包括用户数据158的数据库。用户数据158可以包括第三方可以内部发源和/或提供的如下数据，该数据可以包含关于广告接收者的个人链接信息。这一信息可以将用户与可以用来对用户进行标注、描述或者分类的偏好或者其它指示符关联。

在实施例中，一个或者多个数据库可以包括实时事件数据库。实时事件数据160可以包括与历史数据相似但是更当前的数据。实时事件数据160可以包括但不限于当前至秒、分钟、小时、天或者某一其它时间测量的数据。在例子中，如果学习机设施138发现在广告表现与历史股票市场指数值之间的相关性，则实时股票市场指数值可以由实时报价机设施142用来对广告进行估价。

在实施例中，一个或者多个数据库可以包括如下上下文数据库，该数据库可以提供与发布者、发布者的内容（例如发布者的网站）等关联的上下文数据162。上下文数据162可以包括但不限于在广告内发现的关键词、与广告的在先布局关联的URL或者某一其它类型的上下文数据162并且可以存储为涉及发布者的内容的分类元数据。在例子中，这样的分类元数据可以记录第一发布者的网站与财经内容有关而第二发布者的内容主要与体育有关。

在实施例中，一个或者多个数据库还可以包括第三方/商业数据库。第三方/商业数据库可以包括涉及消费者交易的数据164，比如从零售交易获得的销售点扫描仪数据或者某一其它类型的第三方或者商业数据。

在本发明的实施例中，来自一个或者多个数据库的数据可以通过数据集成设施134来与实时报价系统100A的分析设施114共享。在例子中，数据集成设施134可以向实时报价系统100A的分析设施提供来自一个或者多个数据库的数据以用于评估潜在广告和/或广告布局的目的。例如数据集成设施134可以组合、合并、分析或者集成从可用数据库接收的多个数据类型（例如用户数据158和实时事件数据160）。在实施例中，上下文组织器可以分析web内容以确定网页是否包含关于体育、财经或者某一其它主题的内容。这一信息可以用作向分析平台设施114的输入以便标识相关发布者和/或将出现广告所在的网页。

在实施例中，实时报价系统100A的分析设施可以经由广告订单发送和接收设施120接收广告请求。广告请求可以来自广告代理102、广告商104、广告网络108、广告交易所110和发布者112或者请求广告内容的某一其它方。例如跟踪机设施144可以经由广告订单发送和接收设施120接收广告请求并且提供如下服务，该服务可以包括将标识符（比如使用广告标记设施118的广告标签）附着到每个广告订单并且产生广告布局。这一广告跟踪功能可以使得实时报价系统100A能够跟踪、收集和分析广告表现数据130。例如可以使用跟踪像素来标记在线显示广告。一旦像素从跟踪机设施144得到服务，它就可以记录布局机会以及机会的时间和日期。在本发明的另一实施例中，跟踪机设施144可以记录广告请求者（用户）的ID和标注用户的其它信息，包括但不限于网际协议（IP）地址、广告和/或广告布局的上下文、用户的历史、用户的地理位置信息、社交行为、推断的人口统计或者某一其它类型的数据。广告印象、用户点进、动作日志或者某一其它类型的数据可以由跟踪机设施144产生。

在实施例中，记录的日志和其它数据类型可以由学习机设施138用来改进和定制如这里描述的目标设定和估价算法140。学习机设施138可以产生关于针对给定的客户表现良好的广告的规则并且可以基于产生的规则优化广告活动的内容。另外，在本发明的实施例中，学习机设施138可以用来开发用于实时报价机设施142的目标设定算法。学习机设施138可以学习模式，包括网际协议（IP）地址、广告和/或广告布局的上下文、广告布局网站的URL、用户的历史、用户的地理位置信息、社交行为、推断的人口统计或者用户的或者可以链接到用户的任何其它特性、广告概念、广告大小、广告格式、广告颜色或者广告的任何其它特性或者某一其它类型的如下数据以及其它数据，该数据可以用来对广告和广告布局机会进行目标设定和估价。在本发明的实施例中，学习模式可以用来对广告进行目标设定。另外，学习机设施138可以如图1所示的那样耦合到一个或者多个如下数据库，它可以从该数据库获得为了进一步优化目标设定和/或估价算法140而需要的附加数据。

在本发明的实施例中，广告商104可以提出具有如下指令的“订单”，这些指令限制何处以及何时可以布局广告。来自广告商104的订单可以由平台的学习机设施或者另一单元接收。广告商104可以指定用于广告活动成功的‘良好度’标准。另外，跟踪机设施144可以用来测量‘良好度’标准。广告商104也可以提供与‘订单’关联的历史数据以便自举（bootstrap）分析的收入。因此基于从一个或者多个数据库可用的数据和广告商104提供的数据，学习机设施138可以开发用于广告的定制目标设定算法。目标设定算法可以在某些条件之下计算广告的预计价值（例如使用实时事件数据160作为建模的部分）。目标设定算法也可以寻求最大化指定的‘良好度’标准。学习机设施138开发的目标设定算法可以由可能等待用于布局广告的机会的实时报价机142接收。在本发明的实施例中，实时报价机设施142也可以经由广告订单发送和接收设施120接收广告和/或报价请求。实时报价机设施142可以视为“实时”设施，因为它可以答复与时间约束关联的广告或者报价请求。在用户等待系统决定时，实时报价机设施142可以使用非无状态（non-stateless）方法计算将示出哪个广告消息。实时报价机设施142可以使用学习机设施138提供的算法来执行实时计算从而动态估计最优报价值。在实施例中，替代实时报价机设施142可以具有用于确定将呈现的广告的无状态配置。

实时报价机设施142可以混合历史和实时数据以产生用于计算将与广告和/或广告布局机会关联的实时报价值的估价算法。实时报价机设施142可以计算如下预计价值，该预计价值组合关于如下的信息：网际协议（IP）地址、广告和/或广告布局的上下文、用户的历史、用户的地理位置信息、社交行为、推断的人口统计或者某一其它类型的数据。在实施例中，实时报价机设施142可以通过使用跟踪机144或者广告表现数据以至少部分基于每个算法的表现对算法排序和区分优先次序来使用机会算法更新。学习机设施138可以使用并且从机器学习设施和实时报价设施中的多个竞争算法的开放列表选择。实时报价机142可以使用控制系统理论来控制一组广告的定价和投放速度。另外，实时报价机设施142可以使用获胜和失败报价数据构建用户简档。实时报价机142也可以将预计价值与在广告接收者的地理中的当前事件相关。实时报价机设施142可以跨越多个交易所交换广告买入，因此将多个交易所视为单个库存源，从而至少部分基于实时报价系统100A建模的估价来选择和买入广告。

在实施例中，实时报价系统100A还可以包括如下实时报价日志设施，该设施可以记录实时报价机设施142接收的报价请求和发送的报价响应。在本发明的实施例中，实时报价日志可以记下与用户有关的附加数据。在例子中，附加数据可以包括用户可以拜访的网站的细节。这些细节可以用来得出用户兴趣或者浏览习惯。此外，实时报价日志设施可以记录来自不同广告渠道的广告布局机会的到达率。在本发明的实施例中，实时报价日志设施也可以耦合到学习机设施138。

在实施例中，实时报价机142可以至少部分基于与学习机设施138关联的估价算法140针对用于广告的多个潜在布局中的每个布局动态确定预期经济估价。响应于接收对布局广告的请求，实时报价机设施142可以针对用于广告的多个潜在布局中的每个布局动态确定预期经济估价并且可以基于经济估价来选择和决定是否向一个或者多个分发服务消费者呈现可用布局。

在实施例中，实时报价机142可以包括在处理针对布局的第二请求之前变更用于动态确定经济估价的模型。模型的变更可以至少部分基于与学习设施关联的估价算法。在本发明的实施例中，在选择和呈现一个或者多个可用布局之前，可以变更经济估价模型的行为以产生用于多个布局中的每个布局的第二组估价。

在实施例中，估价算法140可以评估涉及多个广告布局中的每个广告布局的表现信息。动态可变经济估价模型可以用来确定预期估价。估价模型可以关于用于多个布局的经济估价来评估报价值。在针对多个可用布局和/或多个广告进行报价时的步骤可以基于经济估价。在示例性情况下，实时报价机设施142可以采用以下序列：在步骤1，实时报价机142可以使用估价算法140来过滤将示出的可能广告。在步骤2，实时报价机设施142可以校验过滤的广告是否具有剩余预算资金并且可以从列表去除列表当中无可用预算资金的任何广告。在步骤3，实时报价机设施142可以运行用于广告的经济估价算法以便确定用于每个广告的经济价值。在步骤4，实时报价机设施142可以按照布局广告的机会成本调整经济价值。在步骤5，实时报价机设施142可以在按照机会成本调整之后选择具有最高经济价值的广告。在步骤6，关于第一请求的信息（该信息可以包括关于请求的发布者112内容的信息）可以用来在接收和处理第二请求之前更新动态算法。最后在步骤7，可以在与第一广告相同的序列中处理第二广告而在布局第三广告之前更新动态算法。在实施例中，多个竞争估价算法140可以在每个步骤用来选择将呈现的广告。通过跟踪最终布局的广告的广告表现，可以评估竞争算法以便确定它们的相对表现和效用。

在本发明的实施例中，可以通过将数据部分划分成单独训练集和验证集来测试竞争算法。可以关于训练数据集训练每个算法，然后针对验证数据集验证（测量）每个算法的预测性。可以使用度量（比如接收器工作特性（ROC）区域、提升、精确度/召回、广告开支回报、其它信号处理度量、其它机器学习度量、其它广告度量或者某一其它分析算法、统计技术或者工具）针对验证集评估每个报价算法的预测性。将理解用于评估竞争算法和模型（比如估价模型）的一般分析方法、统计技术和工具以及本领域普通技术人员已知的分析方法、统计技术和工具旨在于由本发明涵盖并且可以用来根据本发明的方法和系统评估竞争算法和估价模型。可以按照算法有多好地预测在特定上下文中向特定消费者示出特定广告可能影响消费者参加希望的动作（比如购买广告商的产品之一、预订广告商产品、影响消费者关于广告商的产品的感受、拜访网页或者采取广告商所估价的某一其它种类的动作）的可能性来测量算法的预测性。

在本发明的实施例中，交叉验证可以用来改进算法评估度量。交叉验证描述如下方法，其中通过改变训练和验证数据集来多次重复用于评估竞争算法和/或模型的训练集-验证集程序。可以作为这里描述的方法和系统的部分而使用的交叉验证技术包括但不限于重复的随机二次采样验证、k倍交叉验证、k×2交叉验证、留一（leave-one-out）交叉验证或者某一其它类型的交叉验证技术。

在实施例中，可以实时、在批量模式处理中或者使用某一其它定期处理框架使用如这里描述的方法和系统来评估竞争算法。在实施例中，可以在线（比如使用因特网或者某一其它联网平台）评估竞争算法，或者可以离线评估竞争算法并且在评估之后使这些算法可用于在线设施。在样本实施例中，一个算法可以在它的预测性方面严格地好于所有其它算法，并且它可以在学习设施138中离线选择。在另一样本实施例中，来自集合的一个算法可以在特定变量组合给定时更有预测性，并且可以使不止一个算法可用于实时报价设施142，并且选择表现最好的算法可以例如通过检查特定布局请求的属性、然后确定来自训练算法集的哪个算法针对该特定属性集最有预测性而实时发生。

在实施例中，来自实时报价系统100A的与广告的估价对应的数据可以由广告分发服务设施122接收并且投放到估价数据的消费者，比如广告代理102、广告商104、广告网络108、广告交易所110、发布者112或者某一其它类型的消费者。在本发明的另一实施例中，广告分发服务设施122可以是广告服务器。广告分发服务设施122可以向一个或者多个广告服务器分发实时报价系统100A的输出（比如所选广告）。在实施例中，广告分发服务设施122可以耦合到跟踪机设施144。在本发明的另一实施例中，广告分发服务设施122可以耦合到广告显示客户端128。在实施例中，广告显示客户端128可以是移动电话、PDA、蜂窝电话、计算机、通信器、数字设备、数字显示板或者能够呈现广告的某一其它类型的设备。

在实施例中，在广告显示客户端128接收的广告可以包括交互数据；例如弹出电影票上的要约。广告显示客户端128的用户可以与广告交互并且可以执行动作，比如进行购买、点击广告、填写表单或者执行某一其它类型的用户动作。用户动作可以由广告表现数据设施130记录。在实施例中，广告表现数据设施130可以耦合到一个或者多个数据库。在例子中，表现数据设施可以耦合到上下文数据库用于实时更新上下文数据库。在实施例中，更新的信息可以由实时报价系统100A访问用于更新估价算法140。在实施例中，广告表现数据设施130可以耦合到一个或者多个分发服务消费者。

来自分析平台设施114的与广告的估价对应的数据也可以由广告分发服务设施122接收。在本发明的实施例中，广告分发服务设施122可以将估价数据用于对一个或者多个广告重新排序/重新布置/重新组织。在另一实施例中，广告分发服务设施122可以将估价数据用于基于预定义标准对广告进行排行。预定义标准可以包括当天时间、位置等。

广告数据分发服务设施124也可以向广告估价数据的一个或者多个消费者提供估价数据。在实施例中，广告数据分发服务设施124可以卖出估价数据或者可以向广告估价数据的一个或者多个消费者提供估价数据的预订。在实施例中，广告分发服务设施122可以向广告估价数据的一个或者多个消费者提供来自实时报价系统100A或者来自学习机设施138的输出。广告估价数据的消费者可以包括而不限于广告代理102/广告商104、广告网络108、广告交易所110、发布者112或者某一其它类型的广告估价数据消费者。在例子中，广告代理102可以是如下服务企业，该企业专用于为它的客户产生、计划和操纵广告。广告代理102可以独立于客户并且可以向卖出客户的产品或者服务的努力提供外界观点。另外，广告代理102可以是不同类型，包括而不限于有限服务广告代理、专家广告代理、内部广告代理、交互代理、搜索引擎代理、社会媒体代理、保健交流代理、医疗教育代理或者某一其它类型的代理。另外，在例子中，广告网络108可以是如下实体，该实体可以将广告商104连接到可能想要托管它们的广告的网站。广告网络108可以包括而不限于竖直网络、盲网络和目标网络。广告网络108也可以分类为一级和二级网络。一级广告网络可以具有大量它们自己的广告商104和发布者，它们可以具有高质量业务，并且它们可以向二级网络供应广告和业务。二级广告网络可以具有一些它们自己的广告商104和发布者，但是它们的主要收入源可能来自其它广告网络的联合广告。广告交易所110的网络可以包括与广告库存属性（比如广告印象价格、在具体产品或者服务类别中的广告商104的数目、关于用于具体时段的最高和最低报价的旧数据、广告成功（用户点击广告印象）等）有关的信息。广告商104可以能够使用这一数据作为它们的做出决策的部分。例如存储的信息可以描绘用于特定发布者112的成功率。此外，广告商104可以具有选择用于进行金融交易的一个或者多个模型的选项。例如每笔交易成本定价结构可以由广告商104采用。类似地，在另一例子中，广告商104可以具有支付每次点击成本的选项。广告交易所110可以实施如下算法，这些算法可以允许发布者112在报价期间对广告印象实时定价。

在实施例中，用于广告消息投放的实时报价系统100A可以是如下机器的组成，这些机器旨在用于买入用于跨越多个投放渠道布局广告消息的机会。系统可以提供主动反馈以便对用来呈现广告消息的渠道自动微调和目标设定以及选择将在每个布局时机中示出什么广告消息和随时间的关联成本。在实施例中，系统可以由互连机器（包括但不限于：（1）学习机设施138、（2）实时报价机142和（3）跟踪机144）组成。机器中的两个机器可以产生学习机设施138可以内部使用的日志。在实施例中，向系统的输入可以来自实时和非实时源。历史数据可以与实时数据组合以微调用于广告活动的定价和投放指令。

在实施例中，用于广告消息投放的实时报价系统100A可以包括外部机器和服务。外部机器和服务可以包括但不限于代理102、广告商104、代理数据152（比如活动描述符和历史日志）、广告商数据152、关键表现指示符、历史事件数据154、用户数据158、上下文组织器服务132、实时事件数据160、广告分发服务122、广告接收者或者某一其它类型的外部机器和/或服务。

在实施例中，代理和/或广告商104可以提供历史广告数据并且可以是实时报价系统100A的受益者。

在实施例中，代理数据152（比如活动描述符）可以描述可以被允许用于散播广告消息的渠道、时间、预算和其它信息。

在实施例中，代理数据152（比如活动和历史日志）可以描述用于向用户的每次广告消息示出的布局，包括以下各项中的一项或者多项：用于用户的标识符、渠道、时间、支付价格、所示广告消息以及用户合成用户动作或者某一其它类型的活动或者历史日志数据。附加日志也可以记录自发用户动作，例如未直接可追踪至广告印象的用户动作或者某一其它类型的自发用户动作。

在实施例中，广告商数据152可以由如下企业智能数据或者某一其它类型的数据构成，该数据描述动态和/或静态行销目标。例如广告商104在它的仓库中具有的给定产品的存货过剩数量可以由该数据描述。

在实施例中，关键表现指示符可以包括如下参数集，该参数集表达用于每个给定的用户动作的‘良好度’。例如可以将产品激活估价为$X并且可以将产品配置估价为$Y。

在实施例中，历史事件数据154可以由实时报价系统100A用来将用户事件的时间与发生于在他们的区域中的其它事件相关。例如对某些类型的广告的响应率可以与股票市场动向相关。历史事件数据154可以包括但不限于天气数据、事件数据、本地新闻数据或者某一其它类型的数据。

在实施例中，用户数据158可以包括第三方提供的如下数据，该数据包含关于广告接收者的个人链接信息。这一信息可以示出标注或者描述用户的用户偏好或者其它指示符。

在实施例中，上下文组织器服务132可以标识用于广告的媒体的上下文类别。例如上下文组织器可以分析web内容以确定网页是否包含关于体育、财经或者某一其它主题的内容。这一信息可以用作向学习系统138的输入以精化广告将出现于哪些类型的页面上。

在实施例中，实时事件数据160可以包括与历史数据相似但是更当前的数据。实时事件数据160可以包括但不限于当前至秒、分钟、小时、天或者某一其它时间测量的数据。例如如果学习机设施138发现在广告表现与历史股票市场指数值之间的相关性，则实时股票市场指数值可以由实时报价机142用来对广告进行估价。

在实施例中，广告分发服务122可以包括但不限于广告网络108、广告交易所110、卖出侧优化器或者某一其它类型的广告分发服务122。

在实施例中，广告接收者可以包括接收广告消息的个人。广告内容可以具体请求（“拉取”）作为广告接收者请求的内容的部分或者附着到该内容，或者可以例如由广告分发服务122通过网络“推送”。接收广告的模式的一些非限制例子包括因特网、移动电话显示屏、无线电发送、电视发送、电子公告牌、印刷媒体和电影摄影投影。

在实施例中，用于广告消息投放的实时报价系统100A可以包括内部机器和服务。内部机器和服务可以包括但不限于实时报价机142、跟踪机144、实时报价日志、印象、点击和动作日志、学习机设施138或者某一其它类型的内部机和/或服务。

在实施例中，实时报价机142可以从广告分发服务142接收报价请求消息。实时报价机142可以视为“实时”系统，因为它可以答复与时间约束关联的报价请求。在用户等待系统决定时，实时报价机142可以使用非无状态方法计算将示出哪个广告消息。系统可以使用学习机设施138提供的算法来执行实时计算，从而动态估计最优报价值。在实施例中，替代系统可以具有用于确定将呈现的广告的无状态配置。

在实施例中，跟踪机144可以提供如下服务，该服务将向每个广告附着跟踪ID。例如在线显示广告可以由像素跟踪。一旦像素从跟踪机144得到服务，它就可以记录布局机会以及时间和日期；此外，机器还可以记录用户的ID和标注用户的其它信息，包括但不限于IP地址、地理位置或者某一其它类型的数据。

在实施例中，实时报价日志可以记录实时报价机142接收的报价请求和发送的报价响应。这一日志可以包含关于用户已拜访哪些站点的如下附加数据，该数据可以用来得出用户兴趣或者浏览习惯。此外，这一日志还可以记录来自不同渠道的广告布局机会的到达率。

在实施例中，印象、点击和动作日志可以是可以由学习机设施138使用的跟踪系统产生的记录。

在实施例中，学习机设施138可以用来开发用于实时报价机142的目标设定算法。学习机设施138可以学习可以用来对在线广告进行目标设定的模式（包括社交行为、推断的人口统计以及其它模式）。

在例子中，广告商104可以提出具有如下指令的“订单”，这些指令限制何处以及何时可以布局广告。订单可以由学习机设施138接收。广告商104可以指定用于活动成功的‘良好度’标准。这样的‘良好度’标准可以使用跟踪机144是可测量的。广告商104可以提供用于自举系统的历史数据。基于可用数据，学习系统138可以开发用于广告的定制目标设定算法。算法可以在某些条件给定时计算广告的预计价值并且寻求最大化指定的‘良好度’标准。算法可以由可能等待用于布局广告的机会的实时报价机142接收。报价请求可以由实时报价机142接收。可以使用接收的算法来评估每个报价请求对每个广告商104的价值。可以针对具有诱人价值的广告发送报价响应。如果估计适当则可以报价更低价值。报价响应可以请求以特定价格布局广告。可以用跟踪系统（比如显示于浏览器中的像素）标记广告。跟踪机144可以记下广告印象、用户点击和用户动作和/或其它数据。跟踪机日志可以发送到学习系统138，该系统可以使用‘良好度标准’并且决定将改进哪些算法并且进一步定制它们。这一过程可以迭代。系统也可以将预计价值与在广告接收者的地理区域中的当前事件相关。

在实施例中，实时报价机142可以动态更新目标设定算法。

在实施例中，实时报价机142可以混合历史和实时数据以产生用于计算实时报价值的算法。

在实施例中，实时报价机142可以计算如下预计价值，该预计价值组合关于如下的信息以计算在给定的时间示出特定广告的预计价值：广告布局的上下文、用户的历史和地理位置信息和广告本身或者某一其它类型的数据。

在实施例中，实时报价机142可以使用除了设定“桶”为目标之外的算法。

在实施例中，实时报价机142可以通过使用跟踪机设施144的反馈对表现最差的算法区分优先次序来使用机会算法更新。

在实施例中，实时报价机142可以使用学习系统138和实时报价系统100A中的多个竞争算法的开放列表。

在实施例中，实时报价机142可以使用控制系统理论来控制一组广告的定价和投放速度。

在实施例中，实时报价机142可以使用获胜和失败报价数据构建用户简档。

如图1B中所示，在实施例中，实时报价机可以跨越多个交易所100B交换广告买入。将多个交易所视为单个库存源。

参照图2，实时报价系统的分析算法可以用来优化与广告和广告印象关联的报价管理、转换或者某一其它类型的广告用户交互200。在实施例中，例如学习机138体现的学习系统可以产生关于哪些广告针对给定的客户表现良好的规则并且至少部分基于规则优化广告活动的内容混合。在例子中，数字媒体用户的行为（比如与用户关联的广告点进、印象、网页拜访、交易或者购买或者第三方数据）可以与实时报价系统的学习系统关联并且由该学习系统使用。实时报价系统可以使用学习系统的输出（例如规则和算法）以将针对广告的请求与如下广告选择配对，该广告选择符合学习机产生的规则和/或算法。所选广告可以来自广告交易所、库存伙伴或者某一其它广告内容源。所选广告然后可以与如这里描述的广告标签关联并且发送到数字媒体用户用于比如在网页上呈现。然后可以跟踪广告标签，并且在与实时报价系统关联的数据库中记录将来印象、点进等。规则和算法然后可以至少部分基于在所选广告与数字媒体用户之间的新交互（或者无新交互）由学习机进一步优化。

在实施例中，在计算机可读介质中体现的计算机程序产品在一个或者多个计算机上执行时可以至少部分基于接收对为发布者布局广告的请求而针对用于广告的多个潜在布局中的每个布局动态确定预期经济估价。响应于接收对为发布者布局广告的请求，本发明的方法和系统可以针对用于该广告和/或多个广告的多个潜在布局中的每个布局动态确定预期经济估价并且基于经济估价来选择和决定是否向发布者呈现多个广告和/或多个可用布局中的至少一个。

在实施例中，计算机程序实现的方法和系统可以包括在处理针对布局的第二请求之前变更用于动态确定经济估价的模型。模型的变更可以至少部分基于机器学习。

在实施例中，在选择和呈现多个广告和/或多个可用布局中的至少一个之前，可以变更经济估价模型的行为以产生用于多个布局中的每个布局的第二组估价，其中选择和呈现步骤至少部分基于第二组估价。针对布局的请求可以是时间有限的请求。

在实施例中，经济估价模型可以评估涉及多个广告布局中的每个广告布局的表现信息。

在实施例中，动态可变经济估价模型可以用来确定预期经济估价。动态可变经济估价模型可以关于用于多个布局的经济估价来评估报价值。针对多个广告和/或多个可用布局中的至少一个进行报价的步骤可以基于经济估价。

仍然参照图2，实时报价系统可以包含与上文描述200相配的算法。在将示出的多个可能广告给定时，实时报价系统可以遵循以下示例性序列：1）可以使用目标设定规则来过滤所有可能广告以示出，并且可以示出列举的广告的输出；2）系统可以校验可能广告是否具有剩余预算资金并且可以从列表去除无可用预算资金的那些广告；3）系统可以运行用于广告的经济估价动态算法以便确定用于每个广告的经济价值；4）可以按照在给定的站点而不是替代站点上布局广告的机会成本来调整价值；5）可以在按照机会成本调整之后选择具有最高价值的广告；6）关于第一请求的信息（其可以包括关于请求的发布者内容的信息）可以用来在接收和处理第二请求之前更新动态算法。这一信息可以用来确定特定类型的发布者内容是频繁还是不频繁可用；并且7）可以在与第一广告相同的序列中处理第二广告而在布局第三广告之前更新动态算法。

在实施例中，动态算法可以类似于在随着大气条件改变而针对大气条件调整的飞机飞行控制系统或者随着风力拖曳改变或者汽车爬山或者下山而动态调整油门位置的汽车巡航控制系统中使用的算法。

参照图3，涉及上下文、消费者（即数字媒体用户）和消息/广告的数据可以用来至少部分基于指定的关键表现指示符300预测广告的成功。上下文数据可以包括涉及如下的数据：媒体类型、当天或者当周的时间或者某一其它类型的上下文数据。涉及消费者或者数字媒体用户的数据可以包括人口统计、地理数据和涉及消费者意图或者行为的数据或者某一其它类型的消费者数据。涉及消息和/或广告的数据可以包括与消息/广告的创意内容、意图或者在消息/广告中体现的行动呼吁关联的数据或者某一其它类型的数据。

如图4中所示，实时报价系统可以用来产生在活动结果（例如点进、转换、交易等）变得实时可用时使用与它们关联的数据来连续产生、测试和运行的广告活动特有模型和算法400。在实施例中，可以使用预备数据集来测试多个模型以设计样本广告活动。可以针对体现指定目标（比如关键表现指示符）的多个训练算法来运行多个模型。可以保持并且向多个数字媒体用户呈现针对算法表现良好的广告内容。可以至少部分基于多个数字媒体用户和所选广告内容的交互来收集附加数据，并且这一数据可以用来优化算法并且选择用于向多个数字媒体用户呈现的新或不同的广告内容。

仍然参照图4，在实施例中，在计算机可读介质中体现的计算机程序产品在一个或者多个计算机上执行时可以部署如下经济估价模型400，可以通过机器学习来精化该经济估价模型以评估涉及多个可用布局和/或多个广告的信息以预测用于多个布局中的每个布局的经济估价。可以至少部分基于经济估价来选择并且向发布者呈现多个广告和/或多个可用布局中的至少一个。

在实施例中，可以从各种格式（包括但不限于未关于广告的信息，比如成功市场人口统计数据等）取得数据。这可以包括具体数据流、将数据转译成中性格式、具体机器学习技术或者某一其它数据类型或者技术。在实施例中，学习系统可以执行审核和/或监督功能，包括但不限于优化如这里描述的方法和系统。在实施例中，学习系统可以从多个数据源学习并且使如这里描述的方法和系统的优化至少部分基于多个数据源。

在实施例中，如这里描述的方法和系统可以使用于基于因特网的应用、移动应用、固线应用（例如有线媒体）或者某一其它类型的数字应用中。

在实施例中，如这里描述的方法和系统可以使用于多个可寻址广告媒体（包括但不限于机顶盒、数字公告牌、无线电广告或者某一其它类型的可寻址广告媒体）中。

机器学习算法的例子可以包括但不限于朴素贝叶斯、贝叶斯网、支持矢量机、逻辑回归、神经网络和决策树。这些算法可以用来产生如下分类器，这些分类器是对广告是否可能产生作用进行分类的算法。在它们的基本形式中，它们返回“是”或者“否”答案，并且分数表明分类器的确信强度。当应用校准技术时，它们返回对预测将是准确的可能性的概率估计。它们也可以返回什么具体广告最可能产生作用或者哪些特性描述最可能产生作用的广告。这些特性可以包括广告概念、广告大小、广告颜色、广告文字或者广告的任何其它特性。另外，它们也可以返回广告商网站的什么版本最可能产生作用或者什么特性描述最可能产生作用的广告商网站的版本。这些特性可以包括网站概念、呈现的产品、颜色、图像、价格、文字或者任何其它的网站特性。在实施例中，本发明的计算机实施的方法可以包括应用多个算法以预测在线广告布局的表现并且跟踪多个算法在多种市场条件之下的表现。可以确定用于算法类型的优选表现条件并且跟踪市场条件，并且可以至少部分基于当前市场条件选择用于预测广告布局的表现的算法。在实施例中，多个算法可以包括三个算法。

在实施例中，在计算机可读介质中体现的计算机程序产品在一个或者多个计算机上执行时可以使用主要模型、部分基于相似广告布局的以往表现和价格来预测多个可用web可发布广告布局中的每个广告布局的经济估价。可以通过第二模型来预测多个web可发布广告布局中的每个广告布局的经济估价，并且可以比较由主要模型和第二模型产生的估价以确定在主要模型与第二模型之间的偏好。在实施例中，主要模型可以是响应于购买请求的活跃模型。购买请求可以是时间有限的购买请求。

在实施例中，第二模型可以替换主要模型作为响应于购买请求的活跃模型。该替换可以至少部分基于第二模型将在当前市场条件之下比主要模型表现更好的预测。

在实施例中，本发明的计算机实施的方法可以应用多个算法以预测在线广告布局的表现、跟踪多个算法在多个市场条件之下的表现并且确定用于算法类型的优选表现条件。可以跟踪市场条件，并且可以至少部分基于当前市场条件来精化用于预测广告布局的表现的算法。

在实施例中，本发明的计算机实施的方法可以监视如下一组算法，每个算法预测一组广告的购买价格值并且至少部分基于当前市场条件从该组算法选择最佳算法。

再次参照图4，可以向分类机制（图4中的漏斗所示）中录入新数据（400）。可以通过用如下指示符标注每个广告印象来预备这一数据用于机器学习训练，该指示符表明该广告印象是否造成点击或者动作。可以对标注的数据训练替代机器学习算法。可以保存标注的数据的部分用于测试阶段。这一测试部分可以用来测量每个替代算法的预测表现。可以向实时决策系统转发在预测取出的（hold-out）训练数据集的结果时最成功的算法。

在实施例中，在计算机可读介质中体现的计算机程序产品在一个或者多个计算机上执行时可以响应于接收对为发布者布局广告的请求来部署多个竞争经济估价模型以预测用于多个广告布局中的每个广告布局的经济估价。可以评估多个竞争经济估价模型中的每个模型产生的估价以选择模型之一用于广告布局的当前估价。将理解用于评估竞争算法和模型（比如估价模型）的一般分析方法、统计技术和工具以及本领域普通技术人员已知的分析方法、统计技术和工具旨在于由本发明涵盖并且可以用来根据本发明的方法和系统评估竞争算法和估价模型。

在实施例中，在计算机可读介质中体现的计算机程序产品在一个或者多个计算机上执行时可以响应于接收对布局广告的请求来部署多个竞争经济估价模型以评估涉及多个可用广告布局的信息。经济估价模型可以用来预测用于多个广告布局中的每个广告布局的经济估价。可以评估多个竞争经济估价模型中的每个模型产生的估价以选择模型之一用于将来估价。将理解用于评估竞争算法和模型（比如估价模型）的一般分析方法、统计技术和工具以及本领域普通技术人员已知的分析方法、统计技术和工具旨在于由本发明涵盖并且可以用来根据本发明的方法和系统评估竞争算法和估价模型。

在实施例中，可以评估数据以确定它是否支持学习系统中的获胜算法。可以确定买入附加数据的递增价值，并且数据样本的审核和测试可以用来确定数据是否增加预测的有效性。例如系统可以使用与人口统计信息组合的从广告服务器日志得出的数据来以某一水平的准确度得出估价模型。这样的模型可以实现低于市场价格获取在线广告的广告以让装置制造商受益。添加附加数据源（比如如下消费者的列表，这些消费者已表达他们对买入具体装置的兴趣）可以增加模型的准确度，因而给装置制造商增加利益。声明增加的接收利益将与新数据源的添加链接，因此可以向这样的数据源分配与递增利益链接的价值。虽然这一例子呈现在线广告的情况，但是本领域技术人员应当理解该应用可以推广至使用不同类型的数据源以及如下模型通过不同渠道的广告：该模型预测用于广告的经济价值或者定价。

如图5A和5B中所示，广告库存可以划分成多个分段或者微分段（500，502）。实时报价系统可以至少部分基于接收的关于库存及其微分段中的广告的表现（例如与每个广告关联的印象或者转换的次数）例如通过使用学习机来产生并且连续修正算法。至少部分基于学习系统的算法，实时报价系统可以产生相对于广告表现数据视为“公平”的报价值。这一报价值数据又可以用来确定将与位于库存中的广告关联的平均报价值。在实施例中，每个微分段可以与规则、算法、或者规则和/或算法集、支付价格和/或预算关联。规则可以用来买入一个或者多个机会的组中的广告布局机会。该组布局机会的大小可以由向规则分配的预算确定。可以通过服务器到服务器的接口、通过其它电子通信渠道（包括电话和传真）、通过基于纸件的订单、通过口头通信或者用于传送用于买入广告布局机会的订单的任何其它方式向广告布局机会的卖出者发送规则。图5C描绘将频率分析用于定价优化504的目的。图5D描绘如何可以在实时报价系统508内通过近因分析来优化定步。现在参照图6，实时报价系统可以实现对广告库存下至毫微分段水平（例如用于每次印象的报价值）的自动化分析以便标识原本低价值广告库存600的有价值分段（即广告）。实时报价系统可以至少部分基于接收的如下数据例如通过使用学习机来产生并且连续修正算法，该数据关于广告库存的毫微分段中的广告的表现（例如与每个广告关联的印象次数）。至少部分基于学习系统的算法，实时报价系统可以至少部分基于表现数据产生相对于毫微分段中的（一个或多个）广告视为“公平”的报价值。在实施例中，可以基于其它标准（例如与广告关联的印象次数）调整与毫微分段关联的平均报价价格。在实施例中，每个毫微分段可以与规则、算法、或者规则和/或算法集关联。

在实施例中，在计算机可读介质中体现的计算机程序产品在一个或者多个计算机上执行时可以至少部分基于用于多个广告布局中的每个广告布局的表现信息和以往报价价格来预测用于多个可用web可发布广告布局中的每个广告布局的购买价格。可以跟踪和预测用于多个广告中的每个广告的购买价格以确定定价趋势。

在实施例中，定价趋势可以包括预测估价是否将在将来改变。

在实施例中，在计算机可读介质中体现的计算机程序产品在一个或者多个计算机上执行时可以至少部分基于用于多个广告布局中的每个广告布局的表现信息和以往报价价格来预测用于多个可用web可发布广告布局中的每个广告布局的经济估价。可以跟踪和预测用于多个广告中的每个广告的经济估价以确定定价趋势。

在例子中，系统可以呈现用于在拍卖中买入广告、预计它们成功的部分的报价并且给予它发送报价所针对的广告。随着系统运转，成功的报价部分可能降至预计目标以下。这样的行为可能发生于可用广告的全体或者它们的子集。价格趋势预测算法可以估计应当对报价价格完成什么校正使得成功买入的广告部分变得更接近既定目标并且可以最终达到既定目标。

如图7中所示，如这里描述的实时报价方法和系统可以与多个组织和组织类型（包括但不限于广告商和广告代理）集成、关联和/或联系700。实时报价系统可以使用如这里描述的学习算法和技术来执行买入侧优化以优化来自从内容发布者接收广告的卖出侧聚集者（比如卖出侧优化器、广告网络和/或交易所）的广告选择。这可以优化在库存内可用的消息和广告与数字媒体用户的配对。广告代理可以包括基于因特网的广告公司、广告卖出者（比如卖出向数字媒体用户显示的广告印象的组织）和/或广告买入者。广告商和广告代理可以提供实时报价系统广告活动描述符。活动描述符可以包括但不限于渠道、时间、预算或者某一其它类型的活动描述符数据。在实施例中，广告代理数据可以包括如下历史日志，这些日志描述每个广告的布局和用户印象、转换等，包括但不限于与用户关联的标识符、渠道、时间、支付价格、所示广告、合成用户动作或者涉及广告和/或印象的某一其它类型的历史数据。历史日志也可以包括涉及自发用户动作的数据。在实施例中，实时报价系统利用的广告商数据可以包括但不限于涉及广告的主题内容的元数据，例如作为广告主题的产品的库存水平。可以根据这一和其它元数据优化估价、报价数额等。可以根据关键表现指示符优化估价、报价数额等。

图8A和8B描绘使用实时报价方法和系统的假想情况研究（800，802）。在实施例中，学习系统可以使用训练数据集（比如从在先零售商广告活动得出的训练数据集）来产生如这里描述的规则和算法。训练数据集可以包括多个数字媒体用户执行的在先印象、转换、动作、点进等的记录与在先活动中包括的广告。学习系统然后可以从在先活动标识比活动中的其它广告相对更成功的广告内容子集并且基于这一广告内容的更高预计值推荐它用于将来使用。

在实施例中，在计算机可读介质中体现的计算机程序产品在一个或者多个计算机上执行时可以响应于接收对布局广告的请求来部署经济估价模型以便评估涉及多个可用广告布局的信息。经济估价模型可以用来针对用于多个广告布局中的每个广告布局的报价预测经济估价或者定价。可以确定关于市场机会的假想，并且可以响应于假想的市场机会更新经济估价模型。

在例子中，系统可以每数秒发现数据集或者标识对如下模型的改变，该模型改进用来预测广告经济价值的估价模型的准确度。系统可能对它的以与产生新数据或者对模型的改变相同的速率在整体上替换估价模型的能力具有限制。因而在提供经济估价时选择哪些部分更未有效可以是有益的。机会更新部件可以选择什么是用于替换估价模型的分节的顺序和优先级。这样的区分优先次序可以基于将替换的分节比对将并入的新分节的经济价值。因而系统可以关于将向估价系统添加模型的什么数据或者分节和以什么顺序这样做产生区分优先次序的指令集。

在实施例中，本发明的方法和系统可以拆分广告活动并且比较来自使用如这里描述的方法和系统的活动的第一集合的表现与来自未使用所述方法和系统的活动的第二集合。分析比较可以示出提升并且基于在第一集合与第二集合之间的提升来收费（例如第三方活动）。

在例子中，系统可以分离广告的部分用于产生系统未应用于的基线样本，因此可能未给予它的收益。这样的过程可以是自动的。可以通过跨越可用广告全体的随机选择或者对随机选择的小组用户完成这样的分离。可以使用系统来布局未属于基线样本的剩余广告。

在实施例中，在广告活动呈现可能测量的一些目标并且收益越大就判断活动越好时，它表示认为广告商愿意为给予增加的收益的广告活动支付溢价。

在实施例中，定价模型可以计算如基线样本上的在使用系统布局的广告与未用系统布局的广告所产生的收益之间的差。系统收益是这样的净差。向广告商收费的价格可以是系统收益的部分。

图9描绘如下简化流程图，该流程图概括可以在使用实时报价方法和系统时涉及到的关键步骤900。

图10描绘用于可以与实时报价系统关联的像素供应系统的用户界面1000的示例性实施例。

图11描绘可以与实时报价系统关联的印象水平数据1100的示例性实施例。

图12描绘假想广告活动表现报告1200。

图13图示根据本发明实施例的用于购买在线广告布局的实时报价和估价的报价估价设施1300。报价估价设施1300还可以（除了其它设施之外）包括发布者设施112、分析平台设施114、广告订单发送和接收设施120、上下文组织器服务设施132、数据集成设施134、提供用于由分析设施使用的不同类型的数据的一个或者多个数据库。在本发明的实施例中，分析平台设施114可以包括学习机设施138、估价算法设施140、实时报价机设施142、跟踪机设施144、印象/点击/动作日志设施148和实时报价日志设施150。

在本发明的实施例中，学习机138可以用来开发用于实时报价机设施142的目标设定算法。学习机138可以学习可以用来对在线广告进行目标设定的模式（包括社交行为和推断的人口统计以及其它模式）。另外，学习机设施138可以耦合到一个或者多个数据库。在本发明的实施例中，一个或者多个数据库可以包括广告代理/广告商数据库152。广告代理数据152可以包括活动描述符并且可以描述可以被允许用于散播广告消息的渠道、时间、预算和其它信息。广告代理数据152也可以包括可以如下活动和历史日志，这些日志可以是用于将向用户示出的每个广告消息的布局。广告代理数据152可以包括以下各项中的一项或者多项：用于用户的标识符、渠道、时间、支付价格、所示广告消息以及用户合成用户动作或者某一其它类型的活动或者历史日志数据。另外，广告商数据152可以包括可以描述动态和/或静态行销目标的企业智能数据或者某一其它类型的数据。在例子中，广告商104在它的仓库中具有的给定产品的存货过剩数量可以由广告商数据152描述。另外，一个或者多个数据库可以包括历史事件数据库。历史事件数据154可以用来将用户事件的时间与发生于他们的区域中的其它事件相关。在例子中，对某些类型的广告的响应率可以与股票市场动向相关。历史事件数据154可以包括但不限于天气数据、事件数据、本地新闻数据或者某一其它类型的数据。另外，一个或者多个数据集可以包括用户数据库。用户数据158可以包括第三方提供的如下数据，该数据可以包含关于广告接收者的个人链接信息。这一信息可以向用户提供可以标注或者描述用户的偏好或者其它指示符。另外，一个或者多个数据库可以包括实时事件数据库。实时事件数据160可以包括与历史数据相似但是更当前的数据。实时事件数据160可以包括但不限于当前至秒、分钟、小时、天或者某一其它时间测量的数据。在例子中，如果学习机设施138发现在广告表现与历史股票市场指数值之间的相关性，则实时股票市场指数值可以由实时报价机设施142用来对广告进行估价。另外，一个或者多个数据库可以包括如下上下文数据库，该数据库可以提供与发布者112、发布者的网站等关联的上下文数据162。一个或者多个数据库还可以包括第三方/商业数据库。

另外，在本发明的实施例中，数据集成设施134和上下文组织器服务设施132可以与分析平台设施114和一个或者多个数据库关联。数据集成设施134可以有助于将来自一个或者多个数据库的不同类型的数据集成到分析平台设施114中。上下文组织器服务设施132可以标识用于广告和/或发布者内容、网站或者其它发布者广告上下文的媒体的上下文类别。在例子中，上下文组织器可以分析web内容以确定网页是否包含关于体育、财经或者某一其它主题的内容。这一信息可以用作向学习机设施的输入以便标识相关发布者和/或其中可以出现广告的网页。在另一实施例中，可以基于该信息确定广告在发布者112的网页上的位置。在本发明的实施例中，上下文组织器服务设施132也可以与实时报价机设施142和/或与一个或者多个数据库关联。

在本发明的实施例中，实时报价机设施142可以从发布者设施112接收报价请求消息。实时报价机设施142可以视为“实时”设施，因为它可以答复与时间约束关联的报价请求，其中该答复与请求接收基本上同时和/或在时间上与请求接收很接近地出现。在用户等待系统决定时，实时报价机设施142可以使用非无状态方法计算将示出哪个广告消息。实时报价机设施142可以使用学习机138提供的算法来执行实时计算从而动态估计最优报价值。在实施例中，替代实时报价机设施142可以具有用于确定将呈现的广告的无状态配置。

另外，在本发明的实施例中，实时报价机设施142可以基于接收对为发布者设施112布局广告的请求而针对用于广告的多个潜在布局中的每个布局动态确定预期经济估价。响应于接收对为发布者设施112布局广告的请求，实时报价机设施142可以针对用于广告的多个潜在布局中的每个布局动态确定预期经济估价并且可以基于经济估价来选择和决定是否向发布者设施112呈现可用布局。

在实施例中，实时报价机设施142可以包括在处理针对布局的第二请求之前变更用于动态确定经济估价的模型。模型的变更可以至少部分基于机器学习设施。在本发明的实施例中，在选择和呈现多个广告和/或多个可用布局中的至少一个之前，可以变更经济估价模型的行为以产生用于多个布局中的每个布局的第二组估价。在实施例中，用于选择和呈现的步骤可以基于第二组估价。另外，在本发明的实施例中，针对布局的请求可以是时间有限的请求。另外，经济估价模型可以评估涉及多个广告布局中的每个广告布局的表现信息。动态可变经济估价模型也可以用来确定预期经济估价。在本发明的实施例中，动态可变经济估价模型可以关于用于多个布局的经济估价来评估报价值。用于广告的多个潜在布局中的每个布局的预期经济估价的动态确定可以至少部分基于广告商数据152、历史事件数据154、用户数据158、实时事件数据160、上下文数据162和第三方商业数据164。

在实施例中，实时报价机设施142响应于接收对为发布者112布局广告的请求可以针对用于广告的多个潜在布局中的每个布局动态确定预期经济估价。在已确定经济估价模型之后，实时报价机设施142可以至少部分基于针对用于广告的多个潜在布局中的每个布局的预期经济估价来确定报价数额。报价数额的确定可以包括分析实时报价日志。在另一实施例中，报价数额的确定可以包括至少部分基于机器学习的分析建模。至少部分基于机器学习的分析建模可以包括分析如下历史日志数据，该数据概括以下各项中的至少一项：广告印象、广告点进和与广告呈现关联地采取的用户动作。另外，在本发明的实施例中，报价数额的确定可以包括分析来自上下文组织器服务设施132的数据。

在本发明的实施例中，实时报价机设施142响应于接收对为发布者142布局广告的请求可以针对用于广告的多个潜在布局中的每个布局动态确定预期经济估价。在已确定经济估价模型之后，实时报价机设施142可以至少部分基于针对用于广告的多个潜在布局中的每个布局的预期经济估价来确定报价数额。随后，实时报价机设施可以从多个潜在布局之中选择用于广告的最优布局。另外，实时报价机设施142可以对用于广告的最优布局自动提出报价。

图14图示用于基于经济估价来选择并且向发布者呈现多个广告和/或多个可用布局中的至少一个的方法1400。该方法始于步骤1402。在步骤1404，响应于接收对为发布者布局广告的请求，可以针对用于广告的多个潜在布局中的每个布局动态确定预期经济估价。随后在步骤1408，可以至少部分基于经济估价来选择并且向发布者呈现多个广告和/或多个可用布局中的至少一个。在本发明的实施例中，可以在处理针对布局的第二请求之前变更用于动态确定经济估价的模型。在实施例中，可以至少部分基于机器学习来变更模型。在本发明的实施例中，在选择和呈现的步骤之前，可以变更经济估价模型的行为以产生用于多个布局中的每个布局的第二组估价。在实施例中，选择的步骤和呈现步骤可以基于替换（一个或多个）第一估价而使用的第二组估价。在实施例中，针对布局的请求可以是时间有限的请求。在实施例中，如这里描述的经济估价模型可以评估涉及多个广告布局中的每个广告布局的表现信息。动态可变经济估价模型可以用来确定预期经济估价并且关于用于多个布局的经济估价来评估报价值。针对用于广告的多个潜在布局中的每个布局的预期经济估价可以至少部分基于广告商数据、历史事件数据、用户数据、实时事件数据、上下文数据或者第三方商业数据。该方法终止于步骤1410。

图15图示根据本发明实施例的用于确定报价数额的方法1500。该方法始于步骤1502。在步骤1504，响应于接收对为发布者布局广告的请求，可以动态确定针对用于广告的多个潜在布局中的每个布局的预期经济估价。随后在步骤1508，至少部分基于针对用于广告的多个潜在布局中的每个布局的预期经济估价来确定报价数额。在本发明的实施例中，报价数额的确定可以包括至少部分基于机器学习的实时报价日志分析和/或分析建模。在本发明的实施例中，分析建模可以包括分析如下历史日志数据，该数据概括以下各项中的至少一项：广告印象、广告点进和与广告呈现关联地采取的用户动作。在本发明的实施例中，确定报价数额可以包括分析来自上下文组织器服务的数据。

图16图示用于对用于广告的最优布局自动提出报价的方法1600，其中至少部分基于预期经济估价来选择最优布局。该方法始于步骤1602。在步骤1604，响应于接收对为发布者布局广告的请求，动态确定针对用于广告的多个潜在布局中的每个潜在布局的预期经济估价。随后在步骤1608，至少部分基于针对用于广告的多个潜在布局中的每个潜在布局的预期经济估价来确定报价数额。另外在步骤1610，至少部分基于报价数额从多个潜在布局之中选择用于广告的最优布局。最后在步骤1612，自动提出对用于广告的最优布局的报价。该方法终止于步骤1614。

图17图示根据本发明实施例的用于对用于在线广告购买的报价进行目标设定的实时设施1700。实时设施可以包括学习机设施138和实时报价机设施142。在本发明的实施例中，实时报价机设施142可以从发布者设施112接收报价请求消息。实时报价机设施142可以视为“实时”设施，因为它可以答复与时间约束关联的报价请求。实时报价机设施142可以使用学习机138提供的目标设定算法来执行实时计算，从而动态估计最优报价值。

另外，在本发明的实施例中，实时报价机设施142可以部署如下经济估价模型，该模型可以针对用于广告的一个或者多个潜在布局中的每个布局动态确定经济估价（基于接收对为发布者设施112布局广告的请求）。响应于接收对为发布者设施112布局广告的请求，实时报价机设施142可以针对用于广告的一个或者多个潜在布局中的每个布局动态确定经济估价。在已确定经济估价之后，实时报价机设施142可以基于经济估价来选择并且向用户呈现多个广告和/或多个可用布局中的至少一个。在实施例中，选择并且向发布者112呈现可以包括用于多个广告和/或多个可用布局中的至少一个的推荐报价数额。报价数额可以与时间约束关联。另外，在实施例中，通过机器学习的精化可以包括通过回溯地比较模型反映广告的实际经济表现的程度来比较经济估价模型。在本发明的实施例中，经济估价模型可以至少部分基于广告代理数据152、实时事件数据160、历史事件数据154、用户数据158、第三方商业数据164和上下文数据162。在实施例中，广告代理数据152可以包括至少一个活动描述符。在实施例中，活动描述符可以是历史日志数据、广告代理活动预算数据和表明对广告布局的时间约束的数据。

在实施例中，学习机设施138可以接收经济估价模型。经济估价模型可以至少部分基于分析来自实时报价机设施142的实时报价日志数据150。随后，学习机设施138可以精化经济估价模型。该精化可以至少部分基于分析广告印象日志。在本发明的实施例中，精化经济估价模型可以包括如下数据集成步骤，在该步骤期间可以将学习机设施138中将使用的数据变换成学习机设施138可以读取的数据格式。格式可以是中性格式。另外在实施例中，使用学习机来精化经济估价模型可以至少部分基于机器学习算法。机器学习算法可以至少部分基于朴素贝叶斯分析技术和逻辑回归分析技术。另外，实时报价机设施142可以使用精化的经济估价模型对多个可用广告布局中的每个广告布局进行分类。该分类可以是如下数据，该数据表明每个可用广告布局实现广告印象的概率。实时报价机设施142然后可以至少部分基于如下数据对可用广告布局区分优先次序，该数据表明实现广告印象的概率。随后，实时报价机设施142可以基于优先次序而选择并且向用户呈现多个广告和/或多个可用布局中的至少一个。

在本发明的实施例中，实时报价机设施142部署的经济估计模型可以由学习机设施精化以评估涉及一个或者多个可用布局的信息以预测用于一个或者多个布局中的每个布局的经济估价。另外，在实施例中，学习机设施138可以获得用于精化经济估价模型的不同类型的数据。不同类型的数据可以包括而不限于如下代理数据152，该数据可以包括活动描述符并且可以描述可以被允许用于散播广告消息的渠道、时间、预算和其它信息。代理数据152也可以包括如下活动和历史日志，这些日志可以是用于将向用户示出的每个广告消息的布局。代理数据152也可以包括以下各项中的一项或者多项：用于用户的标识符、渠道、时间、支付价格、所示广告消息以及用户合成用户动作或者某一其它类型的活动或者历史日志数据。另外，不同类型的数据可以包括可以描述动态和/或静态行销目标的企业智能数据或者某一其它类型的数据。

在本发明的实施例中，学习机设施138可以执行审核和/或监督功能（包括但不限于优化如这里描述的方法和系统）。在本信息的其它实施例中，学习系统138可以从多个数据源学习并且使如这里描述的方法和系统的优化至少部分基于多个数据源。在实施例中，如这里描述的方法和系统可以使用于基于因特网的应用、移动应用、固线应用（例如有线媒体）或者某一其它类型的数字应用中。在实施例中，如这里描述的方法和系统可以使用于一个或者多个可寻址广告媒体（包括但不限于机顶盒、数字公告牌、无线电广告或者某一其它类型的可寻址广告媒体）中。

另外，在本发明的实施例中，学习机设施138可以利用各种类型的算法以精化实时报价机设施142的经济估价模型。算法可以包括而不限于决策树学习、关联规则学习、人工神经网络、基因编程、归纳逻辑编程、支持矢量机、聚类、贝叶斯网络和巩固学习。在本发明的实施例中，各种类型的算法可以产生如下分类器，这些分类器是可以对广告是否可能产生作用进行分类的算法。在它们的基本形式中，它们可以返回“是”或者“否”答案和/或如下分数，该分数表明分类器的确信强度。当应用校准技术时，它们可以返回对预测将是正确的可能性的概率估计。

图18图示用于基于经济估价来选择并且向用户呈现多个可用广告布局中的至少一个广告布局的方法1800。该方法始于步骤1802。在步骤1804，可以响应于接收对为发布者布局广告的请求来部署经济估价模型。可以通过机器学习来精化经济估价模型以评估涉及多个可用布局和/或多个广告的信息以预测用于多个布局中的每个布局的经济估价。在实施例中，通过机器学习的精化可以包括通过回溯地比较模型反映广告的实际经济表现的程度来比较经济估价模型。另外，经济估价模型可以至少部分基于广告代理数据、实时事件数据、历史事件数据、用户数据、第三方商业数据和上下文数据。另外，广告代理数据可以包括至少一个活动描述符。另外，活动描述符可以是历史日志数据、广告代理活动预算数据和广告代理活动预算数据。在步骤1808，可以基于经济估价来选择并且向用户呈现多个广告和/或多个可用布局中的至少一个。在实施例中，选择并且向发布者呈现可以包括用于多个可用布局和/或多个广告中的至少一个的推荐报价数额。另外，报价数额可以与时间约束关联。方法1800终止于步骤1810。

图19图示用于使用实时报价日志数据至少部分基于经济估价模型从多个可用广告布局选择区分优先次序的布局机会的方法1900。该方法1900始于步骤1902。在步骤1904，可以接收在学习机的经济估价模型。经济估价模型可以至少部分基于分析来自实时报价机的实时报价日志。在步骤1908，可以使用学习机来精化经济估价模型。在实施例中，该精化可以至少部分基于分析广告印象日志。另外，精化经济估价模型可以包括如下数据集成步骤，在该步骤期间可以将学习机中将使用的数据变换成学习机可以读取的数据格式。在实施例中，格式可以是中性格式。另外，使用学习机来精化经济估价模型可以至少部分基于机器学习算法。机器学习算法可以至少部分基于朴素贝叶斯分析技术。另外，机器学习算法可以至少部分基于逻辑回归分析技术。在步骤1910，精化的经济估价模型可以用来对多个可用广告布局中的每个广告布局进行分类。可以使用如下数据来概括每个分类，该数据表明每个可用广告布局实现广告印象的概率。另外，在步骤1912，可以至少部分基于该数据对可用广告布局区分优先次序。此外，在步骤1914，可以基于优先次序而选择并且向用户呈现多个广告和/或多个可用布局中的至少一个。方法1900终止于步骤1918。

图20图示根据本发明实施例的用于选择如下替代算法的实时设施2000，该算法用于针对用于在线广告的报价来预测购买价格趋势。实时设施1700可以包括学习机设施138、估价算法设施140、实时报价机设施142、多项数据2002和来自发布者设施112的报价请求消息2004。在本发明的实施例中，实时报价机设施142可以从发布者设施112接收报价请求消息1704。实时报价机设施142可以视为“实时”设施，因为它可以答复与时间约束关联的报价请求。实时报价机设施142可以使用学习机设施138提供的目标设定算法来执行实时计算以针对用于在线广告的报价来预测购买价格趋势。在本发明的实施例中，学习机设施138可以基于用于针对用于在线广告的报价而预测购买价格趋势的当前工作算法的表现来选择替代算法。在本发明的另一实施例中，学习机设施138可以基于用于针对用于在线广告的报价预测购买价格趋势的替代算法的表现来选择替代算法。另外，在本发明的实施例中，学习机设施138可以从估价算法设施140获得替代算法。

在实施例中，实时报价机设施142可以应用多个算法以预测在线广告布局的表现。一旦应用多个算法，实时报价机设施142可以跟踪多个算法在多种市场条件之下的表现。实时报价机设施142然后可以确定用于来自多个算法的算法类型的表现条件。随后，实时报价机设施142可以跟踪市场条件并且可以基于当前市场条件选择用于预测广告布局的表现的算法。

在实施例中，用于预测表现的多个算法中的至少一个算法可以包括广告商数据152。广告商数据152可以包括可以描述动态和/或静态行销目标的企业智能数据或者某一其它类型的数据。在本发明的另一实施例中，用于预测表现的多个算法中的至少一个算法可以包括历史事件数据154。历史事件数据154可以用来将用户事件的时间与其它事件在他们的区域中的出现相关。在例子中，对某些类型的广告的响应率可以与股票市场动向相关。历史事件数据154可以包括但不限于天气数据、事件数据、本地新闻数据或者某一其它类型的数据。在本发明的又一实施例中，用于预测表现的多个算法中的至少一个算法可以包括用户数据158。用户数据158可以包括第三方提供的如下数据，该数据可以包含关于广告接收者的个人链接信息。这一信息可以向用户提供可以标注或者描述用户的偏好或者其它指示符。在本发明的又一实施例中，用于预测表现的多个算法中的至少一个算法可以包括实时事件数据160。实时事件数据160可以包括与历史数据相似但是更当前的数据。实时事件数据160可以包括但不限于当前至秒、分钟、小时、天或者某一其它时间测量的数据。在本发明的又一实施例中，用于预测表现的多个算法中的至少一个算法可以包括上下文数据162。在本发明的又一实施例中，用于预测表现的多个算法中的至少一个算法可以包括第三方商业数据。

另外，在本发明的实施例中，实时报价机设施142可以使用如下主要模型，该模型用于至少部分基于相似广告布局的以往表现和价格来预测多个可用web可发布广告布局中的每个广告布局的经济估价。实时报价机设施142也可以使用如下第二模型，该模型用于预测多个web可发布广告布局中的每个广告布局的经济估价。在使用主要模型和第二模型来预测经济估价之后，实时报价机设施142可以比较主要模型和第二模型产生的估价以确定在主要模型与第二模型之间的偏好。在本发明的实施例中，比较估价可以包括回溯地比较模型反映广告的实际经济表现的程度。另外，在本发明的实施例中，主要模型可以是响应于购买请求的活跃模型。购买请求可以是时间有限的购买请求。在本发明的实施例中，第二模型可以替换主要模型作为响应于购买请求的活跃模型。另外，该替换可以基于第二模型可以在当前市场条件之下比主要模型表现更好的预测。在本发明的实施例中，该预测可以至少部分基于机器学习、历史广告表现数据130、历史事件数据和实时事件数据160。

在本发明的另一实施例中，实时报价机设施142可以使用如下主要模型，该模型用于部分基于相似广告布局的以往表现和价格来预测多个可用移动设备广告布局中的每个广告布局的经济估价。实时报价机设施142也可以使用如下第二模型，该模型用于预测多个移动设备广告布局中的每个广告布局的经济估价。在使用主要模型和第二模型来预测经济估价之后，实时报价机设施142可以比较主要模型和第二模型产生的估价以确定在主要模型与第二模型之间的偏好。在本发明的实施例中，比较估价可以包括回溯地比较模型反映广告的实际经济表现的程度。另外，在本发明的实施例中，主要模型可以是响应于购买请求的活跃模型。购买请求可以是时间有限的购买请求。在本发明的实施例中，第二模型可以替换主要模型作为响应于购买请求的活跃模型。另外，该替换可以基于第二模型可以在当前市场条件之下比主要模型表现更好的预测。

在本发明的实施例中，实时报价机设施142部署的经济估价模型可以由机器学习设施138精化以评估涉及一个或者多个可用布局的信息以预测用于一个或者多个布局中的每个布局的经济估价。

在实施例中，学习机设施138可以获得用于精化经济估价模型的不同类型的数据。不同类型的数据可以包括但不限于广告商数据152、历史事件数据154、用户数据158、实时事件数据160、上下文数据162和第三方商业数据。不同类型的数据可以具有可以未直接涉及广告的不同格式和信息（比如市场人口统计数据等）。在本发明的实施例中，不同格式的不同类型的数据可以转译成中性格式或者是与学习机设施138兼容的格式特有的或者适合于学习机设施138的某一其它数据类型。

在实施例中，学习机设施138可以利用各种类型的算法以精化实时报价机设施142的经济估价模型。算法可以包括而不限于决策树学习、关联规则学习、人工神经网络、基因编程、归纳逻辑编程、支持矢量机、聚类、贝叶斯网络和加固学习。

图21图示用于基于当前市场条件预测广告布局的表现的方法2100。该方法始于步骤2102。在步骤2104，可以应用用于预测在线广告布局的表现的多个算法。在本发明的实施例中，用于预测表现的多个算法中的至少一个算法可以包括广告商数据、历史事件数据、用户数据、实时事件数据、上下文数据和第三方商业数据或者某一其它类型的数据。随后在步骤2108，可以在各种市场条件之下跟踪多个算法的表现。另外，在步骤2110，可以确定用于算法类型的表现，然后可以在步骤2112跟踪市场条件。最后在步骤2114，可以基于当前市场条件选择用于预测广告布局的表现的算法。该方法终止于步骤2118。

图22图示根据本发明实施例的用于确定在用于预测经济估价的主要模型与第二模型之间的偏好的方法2200。该方法始于步骤2202。在步骤2204，使用主要模型可以预测多个可用web可发布广告布局中的每个广告布局的经济估价。经济估价可以部分基于相似广告布局的以往表现和价格。在步骤2208，使用第二模型可以预测多个可用web可发布广告布局中的每个广告布局的经济估价。随后在步骤2210，可以比较使用主要模型和第二模型的经济估价以确定在主要模型与第二模型之间的偏好。在本发明的实施例中，比较估价可以包括回溯地比较模型反映广告的实际经济表现的程度。另外，在本发明的实施例中，主要模型可以是响应于购买请求的活跃模型。购买请求可以是时间有限的购买请求。在本发明的实施例中，第二模型可以替换主要模型作为响应于购买请求的活跃模型。另外，该替换可以基于第二模型可以在当前市场条件之下比主要模型表现更好的预测。在本发明的实施例中，该预测可以至少部分基于机器学习、历史广告表现数据、历史事件数据和实时事件数据。该方法终止于步骤2212。

现在参照图23，该图图示根据本发明另一实施例的用于确定在用于预测经济估价的主要模型与第二模型之间的偏好的方法2300。该方法始于步骤2302。在步骤2304，使用主要模型可以预测多个可用移动设备广告布局中的每个广告布局的经济估价。经济估价可以部分基于相似广告布局的以往表现和价格。在步骤2308，使用第二模型可以预测多个可用移动设备广告布局中的每个广告布局的经济估价。随后在步骤2310，可以比较使用主要模型和第二模型的经济估价以确定在主要模型与第二模型之间的偏好。在本发明的实施例中，比较估价可以包括回溯地比较模型反映广告的实际经济表现的程度。另外，在本发明的实施例中，主要模型可以是响应于购买请求的活跃模型。购买请求可以是时间有限的购买请求。在本发明的实施例中，第二模型可以替换主要模型作为响应于购买请求的活跃模型。另外，该替换可以基于第二模型可以在当前市场条件之下比主要模型表现更好的预测。该方法终止于步骤2312。

另外在本发明的实施例中，实时报价机设施142可以从发布者设施112接收对布局广告的请求。响应于这一请求，实时报价机设施142可以部署多个竞争经济估价模型以预测用于多个可用广告布局中的每个广告布局的经济估价。在部署多个经济估价模型之后，实时报价机设施142可以评估多个竞争经济估价模型中的每个模型产生的每个估价以选择一个经济估价模型作为广告布局的当前估价。

在本发明的实施例中，经济估价模型可以至少部分基于实时事件数据160。实时事件数据160可以包括与历史数据相似但是更当前的数据。实时事件数据160可以包括但不限于当前至秒、分钟、小时、天或者某一其它时间测量的数据。在本发明的另一实施例中，经济估价模型可以至少部分基于历史事件数据154。历史事件数据154可以用来将用户事件的时间与其它事件在他们的区域中的发生相关。在例子中，对某些类型的广告的响应率可以与股票市场动向相关。历史事件数据154可以包括但不限于天气数据、事件数据、本地新闻数据或者某一其它类型的数据。在本发明的又一实施例中，经济估价模型可以至少部分基于用户数据158。用户数据158可以包括第三方提供的如下数据，该数据可以包含关于广告接收者的个人链接信息。这一信息可以向用户提供可以标注或者描述用户的偏好或者其它指示符。在本发明的又一实施例中，经济估价模型可以至少部分基于第三方商业数据。在本发明的实施例中，第三方商业数据可以包括涉及历史广告印象的金融数据。在本发明的又一实施例中，经济估价模型可以至少部分基于上下文数据162。在本发明的另一实施例中，经济估价模型可以至少部分基于广告商数据152。广告商数据152可以包括可以描述动态和/或静态行销目标的企业智能数据或者某一其它类型的数据。在本发明的又一实施例中，经济估价模型可以至少部分基于广告代理数据152。广告代理数据152也可以包括如下活动和历史日志，这些日志可以是用于将向用户示出的每个广告消息的布局。广告代理数据152也可以包括以下各项中的一项或者多项：用于用户的标识符、渠道、时间、支付价格、所示广告消息以及用户合成用户动作或者某一其它类型的活动或者历史日志数据。在本发明的又一实施例中，经济估价模型可以至少部分基于历史广告表现数据130。在本发明的又一实施例中，经济估价模型可以至少部分基于机器学习。

在本发明的实施例中，实时报价机设施142部署的经济估价模型可以由机器学习设施138精化以评估涉及一个或者多个可用布局的信息以预测用于一个或者多个布局中的每个布局的经济估价。

在本发明的实施例中，在实时报价机设施142从发布者设施112接收对布局广告的请求之后，实时报价机设施142响应于这一请求可以部署多个竞争经济估价模型以预测用于多个广告布局中的每个广告布局的经济估价。在部署多个经济估价模型之后，实时报价机设施142可以评估多个竞争经济估价模型中的每个模型产生的每个估价以选择一个作为广告布局的第一估价。在选择第一估价时，实时报价机设施142可以重新评估多个竞争经济估价模型中的每个模型产生的每个估价以选择一个作为广告布局的修正估价。在本发明的实施例中，修正估价可以至少部分基于如下经济估价模型的分析，该模型使用在选择第一估价时不可用的实时事件数据160。随后，实时报价机设施142可以将第一估价替换为第二修正估价以在得出用于广告布局的推荐报价数额时使用。在本发明的实施例中，可以从发布者112接收请求，并且可以向发布者112自动发送推荐报价数额。在本发明的另一实施例中，可以从发布者112接收请求，并且可以代表发布者112自动提出与推荐报价数额相等的报价。在本发明的实施例中，推荐报价数额可以与广告布局的推荐时间关联。在本发明的另一实施例中，还可以通过分析可以与实时报价机设施142关联的实时报价日志来得出推荐报价数额。将理解用于评估竞争算法和模型（比如估价模型）的一般分析方法、统计技术和工具以及本领域普通技术人员已知的分析方法、统计技术和工具旨在于由本发明涵盖并且可以用来根据本发明的方法和系统评估竞争算法和估价模型。

在本发明的另一实施例中，在实时报价机设施142从发布者112接收对布局广告的请求之后，实时报价机设施142可以部署多个竞争经济估价模型以评估涉及多个可用广告布局的信息。实时报价机设施142可以部署竞争经济估价模型以预测用于多个广告布局中的每个广告布局的经济估价。在部署多个经济估价模型之后，实时报价机设施142可以评估多个竞争经济估价模型中的每个模型产生的每个估价以选择一个估价作为广告布局的将来估价。将理解用于评估竞争算法和模型（比如估价模型）的一般分析方法、统计技术和工具以及本领域普通技术人员已知的分析方法、统计技术和工具旨在于由本发明涵盖并且可以用来根据本发明的方法和系统评估竞争算法和估价模型。

在本发明的另一实施例中，在实时报价机设施142从发布者设施112接收对布局广告的请求之后，实时报价机设施142可以部署多个竞争经济估价模型以评估涉及多个可用广告布局的信息。实时报价机设施142可以部署竞争经济估价模型以预测用于多个广告布局中的每个广告布局的经济估价。在部署多个经济估价模型之后，实时报价机设施142可以实时评估多个竞争经济估价模型中的每个模型产生的每个估价以选择一个估价作为广告布局的将来估价。将理解用于评估竞争算法和模型（比如估价模型）的一般分析方法、统计技术和工具以及本领域普通技术人员已知的分析方法、统计技术和工具旨在于由本发明涵盖并且可以用来根据本发明的方法和系统评估竞争算法和估价模型。在本发明的实施例中，将来估价可以至少部分基于描述将来事件的仿真数据。在本发明的实施例中，将来事件可以是股票市场波动。另外，在本发明的实施例中，可以从历史事件数据的分析来得出描述将来事件的仿真数据。

在本发明的实施例中，在实时报价机设施142从发布者设施112接收对布局广告的请求之后，实时报价机设施142可以部署涉及多个可用广告布局的多个竞争实时报价算法以针对广告布局进行报价。在部署多个竞争实时报价算法之后，实时报价机设施142可以评估每个报价算法以选择优选算法。在本发明的实施例中，竞争实时报价算法可以使用来自实时报价日志的数据。将理解用于评估竞争算法和模型（比如估价模型）的一般分析方法、统计技术和工具以及本领域普通技术人员已知的分析方法、统计技术和工具旨在于由本发明涵盖并且可以用来根据本发明的方法和系统评估竞争算法和估价模型。

在本发明的另一实施例中，在实时报价机设施142从发布者设施112接收对布局广告的请求之后，实时报价机设施142可以部署涉及多个可用广告布局的多个竞争实时报价算法。实时报价机设施142可以部署多个竞争实时报价算法以针对广告布局进行报价。在部署多个竞争实时报价算法之后，实时报价机设施142可以评估竞争实时报价算法产生的每个报价推荐。实时报价机设施142可以重新评估竞争实时报价算法产生的每个报价推荐以选择一个作为修正的报价推荐。在本发明的实施例中，修正的报价推荐可以至少部分基于如下实时报价算法，该算法使用在选择报价推荐时不可用的实时事件数据160。随后，实时报价机设施142可以将报价推荐替换为修正的报价推荐以在得出用于广告布局的推荐报价数额时使用。在本发明的实施例中，该替换可以相对于接收对布局广告的请求实时出现。

现在参照图24，该图图示根据本发明实施例的用于在针对广告布局实时报价中在多个竞争估价模型之中选择一个估价模型的方法2400。该方法始于步骤2402。在步骤2404，响应于接收对布局广告的请求，可以部署多个竞争经济估价模型以预测用于多个广告布局中的每个广告布局的经济估价。随后在步骤2408，可以评估多个竞争经济估价模型中的每个模型产生的每个估价以选择估价模型之一作为广告布局的当前估价。在本发明的实施例中，经济估价模型可以至少部分基于实时事件数据、历史事件数据、用户数据、上下文数据、广告商数据、广告代理数据、历史广告表现数据、机器学习和第三方商业数据。在本发明的实施例中，第三方商业数据可以包括涉及历史广告印象的金融数据。该方法终止于步骤2410。将理解用于评估竞争算法和模型（比如估价模型）的一般分析方法、统计技术和工具以及本领域普通技术人员已知的分析方法、统计技术和工具旨在于由本发明涵盖并且可以用来根据本发明的方法和系统评估竞争算法和估价模型。

图25图示用于将第一经济估价模型替换为第二经济估价模型以得出用于广告布局的推荐报价数额的方法2500。该方法始于步骤2502。在步骤2504之后，响应于接收对布局广告的请求，可以部署多个竞争经济估价模型以预测用于多个广告布局中的每个广告布局的经济估价。随后在步骤2508，可以评估多个竞争经济估价模型中的每个模型产生的估价，然后可以选择广告布局的第一估价。另外在步骤2510，可以重新评估多个竞争经济估价模型中的每个模型产生的每个估价。然后可以选择竞争经济估价模型之一作为广告布局的修正估价。修正估价可以至少部分基于如下经济估价模型的分析，该模型使用在选择第一估价时不可用的实时事件数据。另外在步骤2512，第一估价可以替换为第二修正估价以在得出用于广告布局的推荐报价数额时使用。在本发明的实施例中，可以从发布者接收请求，并且可以向发布者自动发送推荐报价数额。在本发明的另一实施例中，可以从发布者接收请求，并且可以代表发布者自动提出与推荐报价数额相等的报价。在本发明的又一实施例中，推荐报价数额可以与广告布局的推荐时间关联。另外，在本发明的另一实施例中，还可以通过分析与实时报价机关联的实时报价日志得出推荐报价数额。该方法终止于步骤2514。将理解用于评估竞争算法和模型（比如估价模型）的一般分析方法、统计技术和工具以及本领域普通技术人员已知的分析方法、统计技术和工具旨在于由本发明涵盖并且可以用来根据本发明的方法和系统评估竞争算法和估价模型。

图26图示根据本发明一个实施例的评估多个经济估价模型并且选择一个估价作为广告布局的将来估价的方法2600。该方法始于步骤2602。在步骤2604，响应于接收对布局广告的请求，可以部署多个竞争经济估价模型。可以评估涉及多个可用广告布局的信息以预测用于多个广告布局中的每个广告布局的经济估价。另外在步骤2608，可以评估多个竞争经济估价模型中的每个模型产生的每个估价以选择一个估价作为广告布局的将来估价。该方法终止于步骤2610。将理解用于评估竞争算法和模型（比如估价模型）的一般分析方法、统计技术和工具以及本领域普通技术人员已知的分析方法、统计技术和工具旨在于由本发明涵盖并且可以用来根据本发明的方法和系统评估竞争算法和估价模型。

图27图示根据本发明实施例的用于实时评估多个经济估价模型并且选择一个估价作为广告布局的将来估价的方法2700。该方法始于步骤2702。在步骤2704，响应于接收对布局广告的请求，可以部署多个竞争经济估价模型。可以评估涉及多个可用广告布局的信息以预测用于多个广告布局中的每个广告布局的经济估价。随后在步骤2708，可以实时评估多个竞争经济估价模型中的每个模型产生的每个估价以选择一个估价作为广告布局的将来估价。在本发明的实施例中，将来估价可以至少部分基于描述将来事件的仿真数据。在本发明的另一实施例中，将来事件可以是股票市场波动。在本发明的实施例中，可以从如下历史事件数据的分析来得出描述将来事件的仿真数据，该历史事件数据可以至少部分基于如下上下文数据来选择，该上下文数据涉及将在广告布局中布局的广告。该方法终止于步骤2710。将理解用于评估竞争算法和模型（比如估价模型）的一般分析方法、统计技术和工具以及本领域普通技术人员已知的分析方法、统计技术和工具旨在于由本发明涵盖并且可以用来根据本发明的方法和系统评估竞争算法和估价模型。

图28图示根据本发明实施例的用于评估多个报价算法以选择用于布局广告的优选算法的方法2800。该方法始于步骤2802。在步骤2804，响应于接收对布局广告的请求，可以部署多个竞争实时报价算法。报价算法可以与多个可用广告布局有关以针对广告布局进行报价。随后在步骤2808，可以评估每个报价算法以选择优选算法。该方法终止于步骤2810。将理解用于评估竞争算法和模型（比如估价模型）的一般分析方法、统计技术和工具以及本领域普通技术人员已知的分析方法、统计技术和工具旨在于由本发明涵盖并且可以用来根据本发明的方法和系统评估竞争算法和估价模型。

图29图示根据本发明实施例的用于将报价推荐替换为修正报价推荐以用于广告布局的方法2900。该方法始于步骤2902。在步骤2904，响应于接收对布局广告的请求，可以部署涉及多个可用广告布局的多个竞争实时报价算法以针对广告布局进行报价。在步骤2908，可以评估竞争实时报价算法产生的每个报价推荐。另外在步骤2910，可以再估价竞争实时报价算法产生的每个报价推荐以选择一个作为修正的报价推荐。在实施例中，修正的报价推荐至少部分基于如下实时报价算法，该算法使用在选择报价推荐时不可用的实时事件数据。随后在步骤2912，报价推荐可以替换为修正报价推荐以在得出用于广告布局的推荐报价数额时使用。在本发明的实施例中，该替换可以相对于接收对布局广告的请求实时出现。该方法终止于步骤2914。将理解用于评估竞争算法和模型（比如估价模型）的一般分析方法、统计技术和工具以及本领域普通技术人员已知的分析方法、统计技术和工具旨在于由本发明涵盖并且可以用来根据本发明的方法和系统评估竞争算法和估价模型。

图30是图示根据本发明实施例的用于测量附加第三方数据164的价值的实时设施3000。实时设施2700可以包括学习机设施138、估价算法设施140、实时报价机设施142、附加第三方数据集3002、来自发布者设施112的报价请求消息3004和跟踪设施144。在本发明的实施例中，实时报价机设施142可以从发布者设施112接收报价请求消息3004。实时报价机设施142可以视为“实时”设施，因为它可以答复与时间约束关联的报价请求。实时报价机设施142可以使用学习机设施138提供的目标设定算法来执行实时计算。在本发明的实施例中，实时报价机设施142可以部署经济估价模型以执行实时计算。

在实施例中，学习机设施138可以获得用于精化经济估价模型的第三方数据集3002。在本发明的实施例中，第三方数据集2702可以包括涉及广告内容用户的数据。在本发明的实施例中，涉及广告内容用户的数据可以包括人口统计数据、交易数据、转换数据或者某一其它类型的数据。在本发明的另一实施例中，第三方数据集可以包括涉及多个可用布局和/或多个广告的上下文数据162。在本发明的实施例中，可以从可以与学习机设施138关联的上下文组织器服务132得出上下文数据162。在本发明的又一实施例中，第三方数据集3010可以包括涉及历史广告印象的金融数据。另外，在本发明的实施例中，经济估价模型可以至少部分基于实时事件数据、历史事件数据154、用户数据158、第三方商业数据、广告商数据152和广告代理数据152。

在本发明的实施例中，实时报价机设施142可以接收广告活动数据集并且可以将广告活动数据集拆分成第一广告活动数据集和第二广告活动数据集。随后，实时报价机设施142可以部署如下经济估价模型，可以通过机器学习来精化该模型以评估涉及多个可用布局和/或多个广告的信息以针对来自第一广告活动数据集的广告内容的布局来预测经济估价。在本发明的实施例中，机器学习可以至少部分基于第三方数据集。机器学习可以由学习机设施138实现。在精化评估模型之后，实时报价机设施142可以在多个可用布局和/或多个广告内布局来自第一和第二广告活动数据集的广告内容。可以至少部分基于预测的经济估价来布局来自第一广告活动的内容，并且可以基于未依赖于第三方数据集的方法来布局来自第二广告活动数据集的内容。实时报价机设施142还可以从跟踪机设施144接收如下印象数据，该数据可以涉及从第一和第二广告活动数据集布局的广告内容。在本发明的实施例中，印象数据可以包括关于用户与广告内容的交互的数据。随后，实时报价机设施142可以至少部分基于比较如下印象数据来确定第三方数据集的价值，该印象数据涉及从第一和第二广告活动数据集布局的广告内容。

另外，在本发明的实施例中，实时报价机设施142可以至少部分基于比较如下广告印象数据来计算第三方数据集3002的估价，该广告印象数据涉及从第一和第二广告活动数据集布局的广告内容。在本发明的实施例中，布局来自第一广告活动数据集的广告内容可以至少部分基于如下机器学习算法，该算法运用第三方数据集2710以选择最优广告布局。随后，实时报价机设施142可以向广告商104开具用于布局来自第一广告活动数据集的广告内容的部分估价的账单。在本发明的实施例中，可以在从广告商140接收对布局内容的请求时自动执行计算估价并且向广告商104开具账单。在本发明的另一实施例中，估价计算可以是多个竞争估价算法140的表现的比较结果。在本发明的实施例中，比较多个竞争估价算法140的表现可以包括使用至少部分基于历史数据的估价算法140。将理解用于评估竞争算法和模型（比如估价模型）的一般分析方法、统计技术和工具以及本领域普通技术人员已知的分析方法、统计技术和工具旨在于由本发明涵盖并且可以用来根据本发明的方法和系统评估竞争算法和估价模型。

另外在本发明的实施例中，实时报价机设施142可以至少部分基于比较如下广告印象数据来计算第三方数据集3010的估价，该广告印象数据涉及从第一和第二广告活动数据集布置的广告内容。在本发明的实施例中，布局来自第一广告活动数据集的广告内容可以至少部分基于如下机器学习算法，该算法运用第三方数据集3010以选择最优广告布局。随后，实时报价机设施142可以至少部分基于估价来校准用于发布者112为广告内容的布局而支付的报价数额推荐。在本发明的实施例中，可以迭代地调整该校准以考虑到实时事件数据160及其对估价的影响。

图31图示根据本发明实施例的有能力测量附加第三方数据的价值的用于广告估价的方法3100。该方法始于步骤3102。在步骤3104，可以将广告活动数据集拆分成第一广告活动数据集和第二广告活动数据集。在步骤3108，可以部署可以通过机器学习来精化的经济估价模型以评估涉及多个可用布局和/或多个广告的信息以针对来自第一广告活动数据集的广告内容的布局来预测经济估价。在本发明的实施例中，机器学习可以至少部分基于第三方数据集。在步骤3110，可以在多个可用布局和/或多个广告内布局来自第一和第二广告活动数据集的广告内容。在本发明的实施例中，可以至少部分基于预测的经济估价来布局来自第一广告活动的内容，并且可以基于未依赖于第三方数据集的方法来布局来自第二广告活动数据集的内容。另外在步骤3112，可以接收来自跟踪机设施的如下印象数据，该数据涉及从第一和第二广告活动数据集布局的广告内容。在实施例中，印象数据可以包括关于用户与广告内容的交互的数据。随后在步骤3114，可以至少部分基于比较如下印象数据来确定第三方数据集的价值，该印象数据涉及从第一和第二广告活动数据集布局的广告内容。在本发明的实施例中，第三方数据集可以包括涉及广告内容用户的数据、涉及多个可用布局和/或多个广告的上下文数据或者涉及历史广告印象的金融数据。在本发明的实施例中，涉及广告内容用户的数据可以包括人口统计数据、交易数据或者广告转换数据。在本发明的实施例中，可以从与机器学习设施关联的上下文组织器服务得出上下文数据。在本发明的实施例中，经济估价模型可以至少部分基于实时事件数据、部分基于历史事件数据、部分基于用户数据、部分基于第三方商业数据、部分基于广告商数据或者部分基于广告代理数据。该方法终止于步骤3118。

图32图示根据本发明实施例的用于计算第三方数据集的估价并且向广告商开具部分估价的账单的方法3200。该方法始于步骤3202。在步骤3204，可以至少部分基于比较如下广告印象数据来计算第三方数据集的估价，该广告印象数据涉及从第一和第二广告活动数据集布局的广告内容。在本发明的实施例中，布局来自第一广告活动数据集的广告内容可以至少部分基于如下机器学习算法，该算法运用第三方数据集以选择最优广告布局。随后在步骤3208，可以向广告商开具用于布局来自第一广告活动数据集的广告内容的部分估价的账单。在本发明的实施例中，可以在从广告商接收对布局内容的请求时自动执行计算估价并且向广告商开具账单。在本发明的另一实施例中，估价的计算可以是多个竞争估价算法的表现的比较结果。在本发明的实施例中，比较多个竞争估价算法的表现可以包括使用至少部分基于历史数据的估价算法。该方法终止于步骤3210。将理解用于评估竞争算法和模型（比如估价模型）的一般分析方法、统计技术和工具以及本领域普通技术人员已知的分析方法、统计技术和工具旨在于由本发明涵盖并且可以用来根据本发明的方法和系统评估竞争算法和估价模型。

图33图示根据本发明实施例的用于计算第三方数据集的估价并且至少部分基于估价来校准用于发布者为广告内容的布局而支付的报价数额推荐的方法3300。该方法始于步骤3302。在步骤3304，可以至少部分基于比较如下广告印象数据来计算第三方数据集的估价，该广告印象数据涉及从第一和第二广告活动数据集布局的广告内容。在本发明的实施例中，布局来自第一广告活动数据集的广告内容可以至少部分基于如下机器学习算法，该算法运用第三方数据集以选择最优广告布局。随后在步骤3308，可以至少部分基于估价针对广告内容的布局来校正用于发布者支付的报价数额推荐。在本发明的实施例中，可以迭代地调整该校准以考虑到实时事件数据及其对估价的影响。该方法终止于步骤3310。

在实施例中，可以使用数据可视化技术（包括但不限于图34-38中所示的表面图）来图示分析平台114的分析输出。表面图可以图示例如在广告活动的表现内的效率地点，其中表面的高度测量指数化为平均表现的每个广告印象的转换价值。在实施例中，具有大于一（1）的价值的表面区域可以表明更好的平均转换价值，而在一（1）以下的区域可以表明表现不足。可以应用置信度测试以考虑到表面图及其关联数据的更低量横截面图。图34描绘如下数据可视化实施例，该实施例按照当天时间比对当周某天呈现广告表现概要。图35描绘如下数据可视化实施例，该实施例按照人口密度呈现广告表现概要。图36描绘如下数据可视化实施例，该实施例按照美国的地理区域呈现广告表现概要。图37描绘如下数据可视化实施例，该实施例按照个人收入呈现广告表现概要。图38描绘如下数据可视化实施例，该实施例按照性别呈现广告表现概要。

图39图示按照类别的用于广告活动/品牌的亲和度指数。本发明的方法和系统可以标识比一般人群更可能对广告商品牌感兴趣的消费者的特性。方法和系统也可以标识比一般人群更少可能对广告商品牌感兴趣的消费者的特性。在图39中的图表的左侧上呈现更感兴趣的消费者的特性。图表也示出如下指数，该指数代表那些消费者比一般人群有多么更可能预订广告商品牌。图表的右侧呈现更少感兴趣的消费者的特性并且示出如下指数，该指数代表那些消费者比一般人群有多么更少可能预订该品牌。指数（比如图39中呈现的指数）可以考虑到样本的大小并且使用如下公式表达，该公式表达并入样本大小和不确信范围。

图40描绘按照印象次数呈现页面拜访概要的数据可视化实施例。本发明的方法和系统可以标识不同消费者群体呈现的转换率。如图40中所示，每个群体可以由向该群体的消费者成员示出的广告数目限定。分析平台114可以分析看见给定数目的广告的消费者并且计算转换率。分析平台114可以仅考虑到在消费者执行动作之前向消费者示出的印象。作为例子，在执行广告商所希望的动作之前已看见3个广告的消费者是群体3的成员。群体3的其他10个成员可能已看见3个广告，但是可能未执行视为有益于广告商的任何动作。用于群体3的转换率是3/10=0.3或者300,000每百万消费者。该分析考虑到样本的大小并且使用如下公式表达，该公式表达并入样本大小和不确信范围。该分析也拟合如下曲线，该曲线最可能代表跨越所有群体观察到的行为。

可以部分或者全部通过如下机器执行这里描述的方法和系统，该机器在处理器上执行计算机软件、程序代码和/或指令。处理器可以是服务器、客户端、网络基础结构、移动计算平台、静止计算平台或者其它计算平台的部分。处理器可以是能够执行程序指令、代码、二进制指令等的任何种类的计算或者处理设备。处理器可以是或者包括可以直接或者间接有助于执行存储于其上的程序代码或者程序指令的信号处理器、数字处理器、嵌入式处理器、微处理器或者任何变体比如协同处理器（数学协同处理器、图形协同处理器、通信协同处理器等）等。此外，处理器可以实现执行多个程序、线程和代码。可以同时执行线程以增强处理器的性能并且有助于应用的同时操作。通过实施，可以在一个或者多个线程中实施这里描述的方法、程序代码、程序指令等。线程可以产生其它如下线程，这些线程可以已分配与它们关联的优先级；处理器可以基于在程序代码中提供的指令基于优先级或者任何其它顺序执行这些线程。处理器可以包括如下存储器，该存储器存储如这里和别处描述的方法、代码、指令和程序。处理器可以通过接口访问如下存储介质，该存储介质可以存储如这里和别处描述的方法、代码和指令。与处理器关联的存储介质（该存储介质用于存储能够由计算或者处理设备执行的方法、程序、代码、程序指令或者其它类型的指令）可以包括但不限于CD-ROM、DVD、存储器、硬盘、闪存驱动、RAM、ROM、高速缓存等中的一项或者多项。

处理器可以包括可以增强多处理器的速度和性能的一个或者多个芯。在实施例中，处理器可以是可以组合两个或者更多独立芯（称为管芯）的双芯处理器、四芯处理器、其它芯片级多处理器等。

可以部分或者全部通过如下机器部署这里描述的方法和系统，该机器执行服务器、客户端、防火墙、网关、集线器、路由器或者其它这样的计算机和/或联网硬件上的计算机软件。软件程序可以与如下服务器关联，该服务器可以包括文件服务器、打印服务器、域服务器、因特网服务器、内部网服务器和其它变体（比如次级服务器、主机服务器、分布式服务器等）。服务器可以包括存储器、处理器、计算机可读介质、存储介质、端口（物理和虚拟）、通信设备以及能够通过有线或者无线介质访问其它服务器、客户端、机器和设备的接口等中的一项或者多项。如这里和别处描述的方法、程序或者代码可以由服务器执行。此外，为了执行如在本申请中描述的方法而需要的其它设备可以视为与服务器关联的基础结构的部分。

服务器可以提供与其它设备（包括但不限于客户端、其它服务器、打印机、数据库服务器、打印服务器、文件服务器、通信服务器、分布式服务器等）的接口。此外，这一耦合和/或连接可以有助于跨越网络远程执行程序。这些设备中的一些或者所有设备的联网可以有助于在一个或者多个位置并行处理程序或者方法而未脱离本发明的范围。此外，通过接口附着到服务器的任何设备可以包括能够存储方法、程序、代码和/或指令的至少一个存储介质。中心存储库可以提供将在不同设备上执行的程序指令。在这一实施方式中，远程存储库可以充当用于程序代码、指令和程序的存储介质。

软件程序可以与如下客户端关联，该客户端可以包括文件客户端、打印客户端、域客户端、因特网客户端、内部网客户端和其它变体（比如次级客户端、主机客户端、分布式客户端等）。客户端可以包括存储器、处理器、计算机可读介质、存储介质、端口（物理和虚拟）、通信设备以及能够通过有线或者无线介质访问其它客户端、服务器、机器和设备的接口等中的一项或者多项。如这里和别处描述的方法、程序或者代码可以由客户端执行，此外，为了执行如在本申请中描述的方法而需要的其它设备可以视为与客户端关联的基础结构的部分。

客户端可以提供与其它设备（包括但不限于服务器、其它客户端、打印机、数据库服务器、打印服务器、文件服务器、通信服务器、分布式服务器等）的接口。此外，这一耦合和/或连接可以有助于跨越网络远程执行程序。这些设备中的一些或者所有设备的联网可以有助于在一个或者多个位置并行处理程序或者方法而未脱离本发明的范围。此外，通过接口附着到客户端的任何设备可以包括能够存储方法、程序、应用、代码和/或指令的至少一个存储介质。中心存储库可以提供将在不同设备上执行的程序指令。在这一实施方式中，远程存储库可以充当用于程序代码、指令和程序的存储介质。

可以部分或者全部通过网络基础结构部署这里描述的方法和系统。网络基础结构可以包括如本领域已知的单元，比如计算设备、服务器、路由器、集线器、防火墙、客户端、个人计算机、通信设备、路由设备以及其它有源和无源设备、模块和/或部件。与网络基础结构关联的（一个或多个）计算和/或非计算设备可以除了其它部件之外还包括存储介质比如闪存、缓冲器、栈、RAM、ROM等。这里和别处描述的过程、方法、程序代码、指令可以由一个或者多个网络基础结构单元执行。

可以在具有多个小区的蜂窝网络上实施这里和别处描述的方法、程序代码和指令。蜂窝网络可以是频分多址（FDMA）网络或者码分多址（CDMA）网络。蜂窝网络可以包括移动设备、小区站点、基站、转发器、天线、塔等。蜂窝网络可以是GSM、GPRS、3G、EVDO、网格或者其它网络类型。

可以在移动设备上或者通过移动设备实施这里和别处描述的方法、程序代码和指令。移动设备可以包括导航设备、蜂窝电话、移动电话、移动个人数字助理、膝上型计算机、掌上型计算机、笔记本计算机、寻呼机、电子书阅读器、音乐播放器等。这些设备除了其它部件之外还可以包括存储介质（比如闪存、缓冲器、RAM、ROM和一个或者多个计算设备）。可以使得与移动设备关联的计算设备能够执行存储于其上的程序代码、方法和指令。备选地，移动设备可以被配置成与其它设备协作执行指令。移动设备可以与如下基站通信，这些基站与服务器对接并且配置成执行程序代码。移动设备可以在对等网络、网格网络或者其它通信网络上通信。程序代码可以存储于与服务器关联的存储介质上并且由嵌入于服务器内的计算设备执行。基站可以包括计算设备和存储介质。存储介质可以存储与基站关联的计算设备执行的程序代码和指令。

可以在如下机器可读介质上存储和/或访问计算机软件、程序代码和/或指令，该介质可以包括：保持用于计算的数据达某一时间间隔的计算机部件、设备和记录介质；称为随机存取存储器（RAM）的半导体存储器；通常用于更持久存储的海量存储器，比如光盘、磁存储器的形式（如硬盘、磁带、磁鼓、磁卡和其它类型）；处理器寄存器、高速缓存存储器、易失性存储器、非易失性存储器；光学存储器（比如CD、DVD）；可拆卸介质，比如闪存（例如US棒或者键）、软盘、磁带、纸带、打孔卡、独立RAM盘、Zip驱动、可拆卸海量存储器、离线等；其它计算机存储器，比如动态存储器、静态存储器、读/写存储器、可变存储器、只读、随机存取、顺序存取、位置可寻址、文件可寻址、内容可寻址、网络附着存储器、存储区域网络、条形码、磁墨等。

这里描述的方法和系统可以将物理和/或无形项从一个状态变换成另一状态。这里描述的方法和系统也可以将代表物理和/或无形项的数据从一个状态变换成另一状态。

这里描述和描绘的单元（包括在遍及附图的流程图和框图中）意味着在单元之间的逻辑边界。然而根据软件或者硬件工程实践，可以通过具有处理器（该处理器能够执行存储于其上的程序指令）的计算机可执行介质在机器上将描绘的单元及其功能实施为整体软件结构、独立软件模块、或者运用外部例程、代码、服务等的模块、或者这些的任何组合，并且所有这样的实施方式可以在本公开内容的范围内。这样的机器的例子可以包括但不限于个人数字助理、膝上型计算机、个人计算机、移动电话、其它手持计算设备、医疗设备、有线或者无线通信设备、换能器、芯片、计算器、卫星、平板PC、电子书、配件、电子设备、具有人工智能的设备、计算设备、联网设备、服务器、路由器等。另外，可以在能够执行程序指令的机器上实施在流程图和框图中描绘的单元或者任何其它逻辑部件。因此，尽管前文附图和描述阐述公开的系统的功能方面，但是除非明确指出或者根据上下文另外清楚则不应根据这些描述来推断用于实施这些功能方面的特定软件布置。类似地，将理解可以变化上文标识和描述的各种步骤并且步骤顺序可以适应这里公开的技术的特定应用。所有这样的变化和修改旨在于落入本公开内容的范围内。这样，除非特定应用要求或者明确指出或者根据上下文另外清楚，则对用于各种步骤的顺序的描绘和/或描述不应理解为要求用于那些步骤的特定执行顺序。

可以用适合于特定应用的硬件、软件或者硬件和软件的任何组合来实现上文描述的方法和/或过程及其步骤。硬件可以包括通用计算机和/或专用计算设备或者具体计算设备或者具体计算设备的特定方面或者部件。可以在一个或者多个微处理器、微控制器、嵌入式微控制器、可编程数字信号处理器或者其它可编程设备以及内部和/或外部存储器中实现过程。也可以或者替代地在可以配置成处理电子信号的专用集成电路、可编程门阵列、可编程阵列逻辑或者任何其它设备或者设备组合中体现过程。还将理解一个或者多个过程可以实现为能够在机器可读介质上执行的计算机可执行代码。

可以使用如下结构化编程语言（比如C）、面向对象编程语言（比如C++）或者任何其它高级或者低级编程语言（包括汇编语言、硬件描述语言以及数据库编程语言和技术）来产生计算机可执行代码，其中可以存储、编译或者解译所述编程语言以在上述设备之一以及处理器、处理器架构的异构组合或者不同硬件和软件的组合或者能够执行程序指令的任何其它机器上运行。

因此，在一个方面中，可以在如下计算机可执行代码中体现上文描述的每种方法及其组合，该代码在一个或者多个计算设备上执行时执行其步骤。在另一方面中，方法可以体现于执行其步骤的系统中并且可以用许多方式分布于设备上，或者所有功能可以集成到专用、独立设备或者其它硬件中。在另一方面中，用于执行与上文描述的过程关联的步骤的装置可以包括上文描述的任何硬件和/或软件。所有这样的排列和组合旨在于落入本公开内容的范围内。

尽管结合详细示出和描述的优选实施例已公开了本发明，但是对其的各种修改和改进对本领域技术人员将变得容易明白。因而本发明的精神和范围将不受前述例子限制而是将在法律可允许的最广泛意义上加以理解。

这里引用的所有文献通过引用结合于此。

Claims (25)

1.一种在计算机可读介质中体现的计算机程序产品，在一个或者多个计算机上执行时执行以下步骤：

响应于接收对布局广告的请求，部署多个竞争经济估价模型以预测用于所述多个广告布局中的每个广告布局的经济估价；并且

评估所述多个竞争经济估价模型中的每个模型产生的每个估价以选择一个作为广告布局的当前估价。

2.根据权利要求1所述的计算机程序产品，其中所述经济估价模型至少部分基于实时事件数据。

3.根据权利要求1所述的计算机程序产品，其中所述经济估价模型至少部分基于历史事件数据。

4.根据权利要求1所述的计算机程序产品，其中所述经济估价模型至少部分基于用户数据。

5.根据权利要求1所述的计算机程序产品，其中所述经济估价模型至少部分基于第三方商业数据。

6.根据权利要求1所述的计算机程序产品，其中所述第三方商业数据包括涉及历史广告印象的金融数据。

7.根据权利要求1所述的计算机程序产品，其中所述经济估价模型至少部分基于上下文数据。

8.根据权利要求1所述的计算机程序产品，其中所述经济估价模型至少部分基于广告商数据。

9.根据权利要求1所述的计算机程序产品，其中所述经济估价模型至少部分基于广告代理数据。

10.根据权利要求1所述的计算机程序产品，其中所述经济估价模型至少部分基于历史广告表现数据。

11.根据权利要求1所述的计算机程序产品，其中所述经济估价模型至少部分基于机器学习。

12.一种在计算机可读介质中体现的计算机程序产品，在一个或者多个计算机上执行时执行以下步骤：

响应于接收对布局广告的请求，部署多个竞争经济估价模型以预测用于广告布局和广告的多个组合中的每个组合的经济估价；

评估所述多个竞争经济估价模型中的每个模型产生的每个估价以选择一个作为广告布局和广告的组合的第一估计；

重新评估所述多个竞争经济估价模型中的每个模型产生的每个估价以选择一个作为用于所述广告布局和所述广告的所述组合的修正估价，其中所述修正估价至少部分基于经济估价模型的分析，所述经济估价模型使用在选择所述第一估价时不可用的实时事件数据；并且

将所述第一估价替换为所述第二修正估价以在得出用于所述广告布局和所述广告的所述组合的推荐报价数额时使用。

13.还包括根据权利要求12所述的计算机程序产品，其中从发布者接收所述请求并且向所述发布者自动发送所述推荐报价数额。

14.还包括根据权利要求12所述的计算机程序产品，其中从发布者接收所述请求并且代表所述发布者自动提出与所述推荐报价数额相等的报价。

15.还包括根据权利要求12所述的计算机程序产品，其中所述推荐报价数额与广告布局的推荐时间关联。

16.还包括根据权利要求12所述的计算机程序产品，其中还通过分析与实时报价机关联的实时报价日志来得出所述推荐报价数额。

17.一种在计算机可读介质中体现的计算机程序产品，在一个或者多个计算机上执行时执行以下步骤：

响应于接收对布局广告的请求，部署多个竞争经济估价模型以评估涉及多个广告布局和多个广告的多个可用组合的信息以预测用于所述多个广告布局和所述多个广告的每个组合的经济估价；并且

评估所述多个竞争经济估价模型中的每个模型产生的每个估价以选择一个估价作为广告布局和广告的组合的将来估价。

18.一种在计算机可读介质中体现的计算机程序产品，在一个或者多个计算机上执行时执行以下步骤：

响应于接收对布局广告的请求，部署多个竞争经济估价模型以评估涉及多个可用广告布局和多个广告的组合的信息以预测用于所述多个广告布局和所述多个广告的每个组合的经济估价；并且

实时评估所述多个竞争经济估价模型中的每个模型产生的每个估价以选择一个估价作为用于广告布局和广告的所述组合的将来估价。

19.还包括根据权利要求17所述的计算机程序产品，其中所述将来估价至少部分基于描述将来事件的仿真数据。

20.还包括根据权利要求12所述的计算机程序产品，其中所述将来事件是股票市场波动。

21.还包括根据权利要求12所述的计算机程序产品，其中通过分析至少部分基于上下文数据选择的历史事件数据来得出描述将来事件的所述仿真数据，所述上下文数据涉及将在所述广告布局中布局的广告。

22.一种在计算机可读介质中体现的计算机程序产品，在一个或者多个计算机上执行时执行以下步骤：

响应于接收对布局广告的请求，部署涉及多个可用广告布局和多个广告的组合的多个竞争实时报价算法以针对广告布局进行报价；并且

评估每个报价算法以选择优选算法。

23.根据权利要求22所述的计算机程序产品，其中所述竞争实时报价算法使用来自实时报价日志的数据。

24.一种在计算机可读介质中体现的计算机程序产品，在一个或者多个计算机上执行时执行以下步骤：

响应于接收对布局广告的请求，部署涉及多个可用广告布局和多个广告的组合的多个竞争实时报价算法以针对广告布局进行报价；

评估所述竞争实时报价算法产生的每个报价推荐；

重新评估所述竞争实时报价算法产生的每个报价推荐以选择一个作为修正的报价推荐，其中所述修正的报价推荐至少部分基于实时报价算法，所述实时报价算法使用在选择所述报价推荐时不可用的实时事件数据；并且

将所述报价推荐替换为所述修正的报价推荐以在得出用于广告布局和广告的组合的推荐报价数额时使用。

25.根据权利要求24所述的计算机程序产品，其中所述替换相对于接收对布局广告的所述请求实时出现。

Images