CN102201098A

CN102201098A - 拍卖栏栅

Info

Publication number: CN102201098A
Application number: CN2011100819480A
Authority: CN
Inventors: P·Y·西马德; D·M·奇克林; D·X·查尔斯
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2010-03-25
Filing date: 2011-03-24
Publication date: 2011-09-28
Also published as: US20110238490A1

Abstract

各种实施例提供了用于拍卖栏栅的技术。在一个或多个实施例中，对在线拍卖中彼此竞争的参与者指定控制组和测试组。然后可采用包容模型来用于使用各组来测试拍卖的新条件。具体来说，可进行和/或模拟多个拍卖，使得控制条件被应用于不包括测试组的至少一个成员的拍卖中，测试条件被应用于具有来自测试组和控制组两者的成员的拍卖中。然后可通过对照用测试条件进行的拍卖中参与者的行为来分析用控制条件进行的拍卖中参与者的行为，来测量对测试条件的响应。

Description

拍卖栏栅

技术领域

本申请涉及拍卖栏栅技术。

背景技术

在许多情况下，服务提供者可能希望在资源投放系统内执行受控实验来测试参数设置和配置。这种情况的一个示例是在向广告商进行的拍卖以竞争广告空间的情景中，其中广告空间可用于连同经服务提供者可获得的网页和/或其他资源来显示广告。对拍卖的受控实验在这里可称为“拍卖栏栅”(AuctionFlighting)，并可用于改进拍卖中的参与者的定价、匹配和/或用户体验。

传统上，受控实验可在一小部分通信上进行，如用广告商的子集来测试或用广告投放系统中的广告印象的随机抽样来测试。尽管在拍卖参与者的子集或随机抽样上进行实验可能不能准确地测量拍卖中的行为，因为参与者不仅响应于拍卖参数还响应于在拍卖中竞争的其他参与者的行动。免除某些参与者对测试拍卖的竞争造成市场“稀释”(thinning)，和/或可造成影响拍卖中参与者的行为的对市场的改变。因此，可能难以以能够对参与者对新配置的响应进行准确建模的方式来划分拍卖参与者。

发明内容

提供本发明内容是为了以简化的形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。

各种实施例提供了用于拍卖栏栅的技术。在一个或多个实施例中，对在在线拍卖中彼此竞争的参与者指定控制组和测试组。然后可采用包容模型来用于使用各组来测试拍卖的新条件。具体来说，可进行和/或模拟多个拍卖，使得控制条件被应用于不包括测试组的至少一个成员的拍卖中，并且测试条件被应用于具有来自测试组和控制组两者的成员的拍卖中。然后可通过对照用测试条件进行的拍卖中参与者的行为来分析用控制条件进行的拍卖中参与者的行为，来测量对测试条件的响应。

附图说明

图1示出其中可采用拍卖栏栅的一个或多个实施例的示例操作环境。

图2是描述根据一个或多个实施例的示例过程的流程图。

图3是描述根据一个或多个实施例的另一示例过程的流程图。

图4是描绘根据一个或多个实施例的示例广告商响应的示图。

图5是描绘根据一个或多个实施例的用于拍卖栏栅的不相交模型的示图。

图6是描绘根据一个或多个实施例的使用不相交模型的示例广告商响应的示图。

图7是描绘根据一个或多个实施例的在用于拍卖栏栅的不相交模型和包容模型之间进行划分的比较的示图。

图8是描绘根据一个或多个实施例的用于拍卖栏栅的包容模型的示图。

图9是描绘根据一个或多个实施例的使用包容模型的示例广告商响应的示图。

图10是描绘根据一个或多个实施例的用于拍卖栏栅的扩展包容模型的划分的示图。

图11是描绘根据一个或多个实施例的扩展包容模型的示图。

图12是描绘根据一个或多个实施例的示例拍卖参与图的示图。

图13是可用于实现各种实施例的系统的框图。

具体实施方式

概览

各种实施例提供了用于拍卖栏栅的技术。在一个或多个实施例中，对在在线拍卖中彼此竞争的参与者指定控制组和测试组。然后可采用包容模型来用于使用各组来测试拍卖的新条件(如处理(treatment))。具体来说，可进行和/或模拟多个拍卖，使得控制条件被应用于不包括测试组的至少一个成员的拍卖中，并且测试条件被应用于具有来自测试组和控制组两者的成员的拍卖中。然后可通过对照用测试条件进行的拍卖中参与者的行为来分析用控制条件进行的拍卖中参与者的行为，来测量对测试条件的响应。

在以下讨论中，题为“操作环境”的章节仅描述其中可采用各实施例的一个环境。接着，题为“拍卖栏栅过程”的章节描述了根据一个或多个实施例的用于拍卖栏栅的示例技术和算法。接着，题为“拍卖栏栅实现细节”的章节描述了根据一个或多个实施例的拍卖栏栅技术的示例实现。最后，提供了题为“示例系统”的章节并且该章节描述可用于实现一个或多个实施例的示例系统。

操作环境

图1在100处概括地示出根据一个或多个实施例的操作环境。环境100包括具有一个或多个处理器104、一个或多个计算机可读介质106和存储在计算机可读介质上并可由一个或多个处理器104执行的一个或多个应用108的服务提供者102。计算机可读介质106可包括，作为示例而非限制，通常与计算设备相关联的所有形式的易失性和非易失性存储器和/或存储介质。这种介质可包括ROM、RAM、闪存、硬盘、光盘、可移动介质等。计算机可读介质106也被描绘成存储操作系统110、服务管理器模块112、资源(如内容、服务和数据)、以及可由处理器104执行的拍卖栏栅工具116。尽管分开示出，但是拍卖栏栅工具116也可被实现为服务管理器模块112的组件。

服务提供者102可被实施为任何合适的计算设备或诸如以下设备的组合，例如但不限于：服务器、服务器场、设备的对等网络、台式计算机等。计算设备的一个具体示例在以下关于图13示出并描述。服务提供者102可通信上通过网络118耦合到各种其他实体(如设备、服务器、存储位置、客户机等)。具体来说，服务提供者102被示为通过网络118连接到提供广告122的广告商120以及客户124。广告商120和客户124可通过网络118与服务提供者102交互来获得对各种资源114的访问。虽然网络118被示为因特网，但是该网络可以采用各种各样的配置。例如，网络118可以包括广域网(WAN)、局域网(LAN)、无线网络、公共电话网和内联网等等。此外，虽然示出了单个网络118，但是网络118可被配置为包括多个网络。

服务管理器模块112表示可由服务提供者102操作来管理各种资源114的功能，可使各种资源114可通过网络被获得。服务管理器模块112可管理对资源114的访问、资源114的性能、用户界面或数据的配置来提供资源114等等。例如，客户124可形成资源请求126来传送到服务提供者102以获得相应的资源114。响应于接收到这样的请求，服务提供者102可经网页128或通过网络118传送的其他用户界面来提供各种资源114以供一个或多个客户124输出。

资源114可包括内容和/或服务的任何合适的组合，通常由一个或多个服务提供者使这些内容和/或服务通过网络可被获得。内容可包括文本、视频、广告、音频、多媒体流、动画、图像等的各种组合。服务的某些示例包括但不限于：搜索服务、发送和接收电子邮件的电子邮件服务、在客户之间提供即时消息的即时消息通信服务、以及便于分享公共兴趣和活动的用户组之间的连接和交互的社交网络服务。服务还可包括配置成使得广告商120能够放置广告122以连同资源114一起呈现给客户124的广告服务。

例如，至少一些网页128可被配置成包括由广告商120提供的广告122。可通过使用任何适合选择和投放广告的技术的广告服务来选择用于包含在网页中的广告122。在一个示例中，可对网页128中保留的用于来自广告商120的广告122的空间进行拍卖。

拍卖栏栅工具116被配置成实现此处描述的拍卖栏栅技术的各方面。拍卖栏栅工具116可被配置成选择性地管理以实况设置在线进行的拍卖(例如栏栅)和/或通过使用参与者(例如客户、服务提供者、广告商等)的行为的预测模型的离线平台离线进行的拍卖的条件。离线平台和行为建模可用于廉价且快速地检查可能的测试配置而无需干扰实际市场。但是设想了此处描述的拍卖栏栅技术可应用于在线和离线设置两者。

具体来说，拍卖栏栅工具116表示可操作来使得对拍卖中的参与者能够进行栏栅实验的功能，其中参与者例如在对网页128中保留的广告空间的拍卖中竞争的广告商120。一般来说，栏栅实验指的是将参与者的测试组暴露于测试配置(例如一组测试条件、参数、接口等)以确定参与者对测试配置的响应。这可包括将参与者划分成指定组，在(在线和/或离线)拍卖期间选择性地将测试条件应用于这些组，收集指示参与者在拍卖中的行为的数据，以及分析所收集的数据来测量对测试条件的预期响应。在至少某些实施例中，拍卖栏栅工具116可被配置成实现包容模型，其中控制条件和测试条件以重叠的方式被暴露给指定组。通过这样做，市场稀释效应可被控制以更接近地预测对测试配置的实际市场响应。还考虑了诸如不相交模型之类的其他模型。可关于以下附图来找到关于拍卖栏栅工具116的操作以及用于拍卖栏栅技术的不同模型的进一步讨论和细节。

已经考虑了示例操作环境，现在考虑对根据一个或多个实施例的示例拍卖栏栅技术的讨论。

拍卖栏栅过程

下面的讨论描述了可利用上述和下述的环境、系统和/或设备来实现的拍卖栏栅技术。这些过程中每一过程的各方面可用硬件、固件、软件、或其组合来实现。这些过程被示为指定由一个或多个设备执行的操作的一组框，并且其不必限于所示由各框执行操作的顺序。在以下讨论的各部分中，可对图1的示例环境100做出参考。

图2是描述根据一个或多个实施例的示例过程200的流程图。在至少某些方面中，过程200可由诸如具有拍卖栏栅工具116的图1的服务提供者102之类的适当配置的服务提供者来执行。

步骤202将控制组和处理组指定为拍卖参与者的不同子组。具体来说，服务提供者102可使用描述拍卖中参与者彼此参与的数据以导出划分参与者的合适的组。在至少某些实施例中，参与者是对来自服务提供者的广告空间彼此竞争的广告商。可形成组的一个方式是通过图1的拍卖栏栅工具116的操作。拍卖栏栅工具116可利用组来选择性地将不同组的拍卖条件(这里也称为“配置”或“处理”)暴露给不同的组。然后，可检查参与者在不同条件下的行为方式来确定条件中的改变对参与者行为的影响。

考虑了可被设置来控制拍卖的各种拍卖条件。拍卖条件对应于对拍卖的一个或多个可配置设置的具体设置。对于在线拍卖的这些可配置设置的例子包括但不限于：最低价、最高价、保留价格、始拍价格、出价增量、参与者人数、拍卖时间段、自动出价设置、拍卖类型、或每个出价人允许的出价次数。

考虑这样一个例子，其中服务提供者意欲相对于由一组控制条件限定的拍卖的控制配置来检查对由一组测试条件限定的测试处理的参与者响应。为了进行实验，拍卖栏栅工具116可操作来设置测试条件和控制条件，以分别限定测试处理和控制配置。在在线和/或离线模拟拍卖期间，拍卖栏栅工具116可根据拍卖中参与者的构成来选择性地暴露测试处理或控制配置。例如，为拍卖选择的条件可基于哪些组具有参与拍卖的成员。

在至少某些实施例中，拍卖栏栅工具116被配置成利用下面的例子中更为详细讨论的包容模型。在包容模型下，拍卖栏栅工具116在至少某些拍卖中将控制组的至少某些成员暴露给测试处理，以便尽可能地去除稀释效应。

例如，步骤204在没有测试组的成员的拍卖中应用控制条件。这可能发生在不涉及来自测试组的成员的在线和/或离线模拟拍卖的过程中。步骤206将测试条件应用于具有来自测试组和控制组两者的成员的拍卖中。相应地，测试组被暴露给测试条件。但是控制组被暴露给重叠的拍卖条件。换言之，控制组看到具有测试组的拍卖中的测试处理，且在测试组的成员不参与时看到拍卖中的控制配置。

在某些实例中，可在不同的运行中使用测试条件和控制条件重复地运行拍卖，以确定控制条件是否可被用作测试条件的替代。例如，假设有测试组的至少一个成员参与拍卖。如果应用了测试条件且测试组的某一成员没有“赢得”拍卖(如对应于测试组的成员的广告没有显示在页面上)，则拍卖可再次运行，这次是使用控制条件运行。如果再一次测试组的成员没有“赢得”拍卖，则控制条件可取代控制条件。在该情况中，控制组看到控制条件，且测试组看到相同的内容，就好像应用了测试条件的情况下测试组将看到的那样。可在处理组的成员参与许多拍卖却输给控制组的成员的实例中采用该技术。

在步骤208，比较拍卖结果以测量对测试条件的预期拍卖参与者响应。例如，拍卖栏栅工具116可被配置成收集指示测试条件和控制条件下拍卖中的拍卖参与者的行为的数据。这可包括存储与多个拍卖有关的数据。拍卖栏栅工具116还可被配置成比较测试条件和控制条件下广告拍卖参与者的行为，以分析广告拍卖参与者如何响应于测试条件。关于测量对测试条件的拍卖参与者响应的其他细节可在下面的题为“拍卖栏栅实现细节”的章节中找到。

图3是描述根据一个或多个实施例的示例过程300的流程图。在至少某些方面中，过程300可由诸如具有拍卖栏栅工具116的图1的服务提供者102之类的适当配置的服务提供者来执行。具体来说，图3描绘了可响应于资源请求126执行拍卖栏栅的过程。过程300的各部分是关于在广告商之间对广告空间的示例拍卖来描述的，广告空间可用于连同所请求的资源一起向客户呈现广告。

步骤302检测资源请求。在在线“实况”拍卖设置中，资源请求126可由服务提供者从客户124获得。当采用离线平台用于栏栅实验时，拍卖栏栅工具116可被配置成模拟资源请求以发起对与所请求的资源114相关联的广告空间的拍卖。考虑了各种不同类型的请求。例如，请求可与可从图1的服务提供者102获得的各种资源114相关联。在一个或多个实施例中，服务提供者102可提供通过网络118可供客户124使用的搜索服务。在该上下文中，资源请求126可对应于客户124为通过搜索服务获得搜索结果而作出的搜索查询。还考虑了其他请求，例如与电子邮件服务或即时消息通信相关联的请求、对多媒体内容的请求、为客户124的桌面应用获得资源的请求等等。请求可发起对应的拍卖以出售网页中128为广告所保留的空间，该保留的空间用于将所请求的资源投放给客户124。

步骤304解析资源请求以标识与资源请求有关的关键字。例如，拍卖栏栅工具116可被配置成截取该请求并从该请求标识关键字。所标识的关键字然后可用于选择拍卖的参与者。

可从资源请求126得出各种关键字。在从服务提供者102提供资源114的商业广告模型(sponsored model)中，广告商可被选择性地与可包含于来自客户124的请求或另外基于来自客户的请求确定的各种关键字相关联。在该例子中，关键字可对应于经客户124的浏览器输入的搜索项。通过与关键字相关联，广告商表明他们意欲在与所标识的关键字有关的广告拍卖中竞争。在上述搜索查询的例子中，客户124可使用搜索服务进行对“数码相机”的搜索。基于该搜索，作为相机和/或相机配件的商家的一个或多个广告商120可能有兴趣将广告针对客户124。通过与关键字“数码”和“相机”相关联，这些广告商被选择来竞争与对“数码相机”的示例搜索相关联的广告空间。

具体来说，步骤306基于所标识的关键字来确定在拍卖中竞争的参与者。例如，拍卖栏栅工具116可从请求中提取关键字并将关键字和与该关键字相关联的广告商120相匹配。匹配关键字的广告商被选作响应于该请求而发起的拍卖的参与者。

步骤308基于参与者是否包括测试组的成员来选择性地进行拍卖。具体来说，步骤310在存在测试组的成员时对拍卖应用测试条件，而步骤312在不存在测试组的成员时对拍卖应用控制条件。然后拍卖的一个或多个赢家可使得他们的广告连同通过网页128或以其他方式提供给客户124的资源114一起被示出(如显示)。

步骤314存储关于测试条件和控制条件下参与者行为的数据。例如，拍卖栏栅工具116可收集一系列拍卖期间的各种数据。这可包括随时间变化测量各种关键性能指标(KPI)。可被测量的KPI的一些示例包括收益、投资回报(ROI)以及每参与者的平均收益。收集的数据还可与参与者的行为有关。例如，可在拍卖期间跟踪诸如出价增量、出价频率、始拍价格等之类的参与者策略中的变化。拍卖栏栅工具116可对具有测试条件的拍卖以及具有控制条件的拍卖收集数据。数据可存储在包括与服务提供者102相关联的计算机可读介质106上的存储的任何合适的存储中。被收集和/或存储的数据然后可被分析来测量对测试条件的响应。例如，可作出具有测试条件的拍卖和具有控制条件的拍卖中的KPI和/或参与者行为的比较，以理解测试条件对拍卖的影响。

已经描述了涉及拍卖栏栅的示例性过程，现在考虑可用此处描述的一个或多个实施例来实施的具体实现示例。

拍卖栏栅实现示例

顺着该节的讨论中，首先为上下文提供对拍卖栏栅的一般讨论。然后在可用于实现此处所述的拍卖栏栅技术的不同模型之间作出比较。接着，给出关于拍卖栏栅的包容模型的细节，然后是对包容模型的扩展版本的讨论。最后，提供了对出于拍卖栏栅的目的可用来指定控制组和测试组的划分技术的讨论。

如上所述，对广告投放系统内测试参数设置的受控实验一般在一小部分通信上进行。例如，测试可用参与者的小子集来进行或用小的随机库存抽样(如在广告拍卖的情况中的广告印象)来进行测试。测试系统配置的现有技术足以测量变化对客户行为的影响。然而，可能难以测量拍卖参与者的响应。具体来说，可“保护”个体参与者免予实验，因为他们参与一小部分拍卖。因此，仅仅参与者竞争的某些拍卖将会受到影响。

使用离线实验平台可通过对生态系统中不同玩家的行为建模来去除这一局限。为了构建准确的生态系统模型，对不同参与者构造模型。在商业广告资源设置中，这可包括用户(例如客户)、拍卖参与者(例如广告商)以及服务提供者。用户模型按照可测量的量(如p点击、转换、停留时间、回报率、会话长度等)来预测用户效用。可使用对服务提供者编制的用户和/或历史数据进行栏栅处理的现有技术来使用户模型有效。此外，服务提供者一般具有关于他们自己的行为的充足信息，因此服务提供者行为的模型可被认为是已知量。构建准确的生态系统模型的一个有挑战性的方面是使拍卖参与者模型有效。

如上所述，栏栅一般涉及选择性地将不同的处理暴露给不同组的用户或参与者。在广告拍卖的例子中，这可对应于在某些广告拍卖中使用控制条件而在其他拍卖中使用测试条件。所使用的条件可取决于拍卖中包括哪些参与者。

为了说明，假设控制配置T0，它由一组控制条件定义且通常用于在广告商之间的广告拍卖。服务提供者可能希望在假设测试处理T1被运用到某一子集的广告商中的情况下对广告商响应进行建模。该实验的一种传统方式是(1)将广告商分成控制组A0和测试组A1，(2)将控制配置T0应用于A0中的广告商，将测试条件T1应用于A1中的广告商，以及(3)比较A0广告商的响应和A1广告商的响应。假设A0和A1中的广告商代表被作为测试处理的目标的广告商，并且进一步假设T0和T1所应用于其中的环境分别代表预处理和后处理环境，则两组之间的响应差异可被归因于控制配置和测试处理的不同条件。注意，尽管讨论了将“广告商”分成组A0和A1，但是也可能以类似的方式划分广告活动或广告组。更为一般的，各种不同种类的拍卖中的参与者可以以类似的方式被划分。一般来说，发生分割或划分使得属于不同组的参与者彼此独立地被最佳化。

当为拍卖参与者设计受控实验时可能存在两个挑战。它们都源于参与共同拍卖的多个参与者之间的相互依赖关系。第一个挑战是参与者不仅仅响应于即时处理(例如提高保留价格)，还响应于同一处理的其他参与者的行动(如提高出价)。从而，因参与者彼此作出反应，对某种处理T1的广告商的“响应差异”可随时间变化按行动序列中的差异来测量。

为了进一步说明，现在考虑图4，图4在400处一般地描绘了对测试处理的示例响应。Y轴标识服务提供者可希望通过实验来测量的某种关键性能指标(KPI)的归一化版本。作为示例，用于广告拍卖的KPI可包括每广告商的平均收益或每广告商的平均投资回报(ROI)。值相对于控制组被归一化使得控制值是常数，且示出了对于处理组中参与者的KPI中的相对增加或减少。

为了说明，假设各个参与者在离散时间步长之间最优化他们的策略，其中在每一时间步长，允许参与者向拍卖系统提交改变。在时间t＝0处，A0(控制组)和A1(处理组)都看到控制配置T0。在时间t＝1，测试处理T1被应用于A1广告商，且测量广告商有机会反应之前KPI中的相对变化。在时间t＝2，参与者能在原始出价的上下文中对测试处理起反应(如通过改变出价)，导致新的相对KPI值。在随后的时间间隔处，参与者可对来自先前时间间隔的每个其他参与者的改变作出反应。图示显示出相对KPI在收敛，可能是由于参与者接近平衡。由于参与者响应于彼此的动态，测量两个组之间的差异可能不是直接的。但是预期在某一固定时间量之后参与者会收敛到某种平衡。

为参与者设计实验的第二个挑战是实验的下面两个所希望的特性之间的张力：

(1)“可分开的”：每个组中的参与者看到他们的分配的处理。

(2)“代表性的”：每个组中的参与者体验到与就好像他们的处理被应用于参与者整个群体的情况下体验到的环境相同的环境。

如果存在将参与者划分成A0和A1使得在广告拍卖系统中的任何拍卖中没有A0中的参与者与A1中的任何参与者竞争，则上述两个特性都保持为是。为了理解这一点，考虑包含来自两个组的一参与者的任一拍卖。为了满足可分开的特性，两者不能在该拍卖中竞争，但是如果两者之一从竞争中被剔除，则市场被“稀释”且违反了代表性的特性。即使存在对广告商的“完美”划分，如果从该划分产生的一个组包含大量广告商或对应于服务提供者的广告量或收益的相对较高百分比，则该组也可能不适合于实验。

已经考虑了与以产生可接受的实验的方式划分组相关联的挑战，讨论现在转向描述可用于在可分开的特性和代表性的特性不能被同时满足的假设下标识控制组和处理组的技术。给定上述假设，考虑标识合适的控制组和处理组的模型，对于这些模型，可分开的特性和/或代表性的特性“几乎”成立。

不相交模型

在该节中，讨论显式保留可分开的特性的不相交模型。在该模型中，通过确保向控制组A0参与者给予控制配置T0且向测试组A1参与者给予T1配置，消除了参与者依赖关系。换言之，控制组中的参与者和测试组中的参与者接收排他的处理。

图5在500处一般地描绘了用于拍卖栏栅的不相交模型的表示。参考图5，当请求502被提交时，分别在框504和506，控制配置T0和测试处理T1之一或两者用相对应的子集A0和A1来执行。具体来说，当检测到资源请求126时，可如关于图3所描述的那样确定与该请求相关联的参与者(如广告商)。然后，使用不相交模型，可对控制组A0中的参与者使用控制条件T0来进行拍卖。可使用测试处理T1对测试组A1中的参与者进行另一拍卖。从而，在两个组之间排他性地划分了拍卖条件。两个拍卖之一的结果在椭圆508或椭圆510处示出(如具有最高收益的一个，或者可随机选取T0和T1)。分别对控制组和测试组使用对应的条件可进行多个拍卖。

尽管不相交模型确保独立性，但是该模型也通过防止A1中的参与者与A0中的参与者竞争而限制了竞争。如果已经随机地选择了A0和A1，则这能导致对市场的全局稀释以及对A1参与者在其中竞争的环境中的相当大的变化。即使对A0和A1做出了审慎的选择，也可能相当难以在不改变组动态的情况下将一组参与者与其他参与者隔离。

为了说明稀释如何能够影响受控实验的结果，考虑图4的归一化的KPI图中对于收益的前两个响应，除了现在包括“真”处理值。图6在600处一般地描绘了不相交模型下的示例响应图。在该示例中，被测量的KPI是收益。如所示，图6的图包括对测试处理被应用于整个群体的情况预测的收益值。

如在图6中的时间t＝1处所示，在不相交拍卖模型下，测试组A1中的参与者实际上看到两个处理。也就是说，测试组A1看到预期的处理T1以及由于去除了A0竞争而产生的“稀释”处理。因此，即使A1参与者是代表性集合，测试组和真实情况的KPI测量之间在时间t＝1处也将存在差异。在图6所示的该例子中，稀释对KPI具有显著的负面影响。在时间t＝2处，在时间t＝1处给出了每个其他参与者的出价的情况下，参与者对处理作出反应。由于稀释，与“真的响应”相比，“稀释的响应”对测量的KPI有不同的影响。假如稀释的市场动态可能不同于真的动态，则在时间t＝1之后，这种发散可能继续。由于有较少的参与者，可假设在稀释的市场中参与者响应的影响更显著，如图所示。

包容模型

为了补偿稀释效应，考虑一备选方案，其中分开的特性不成立。该模型在这里被称为包容模型。在包容模型下，允许很大一部分拍卖参与者既参与实验又参与其控制。同样，参与者被划分成控制组A0和测试组A1。控制配置仍然是T0，测试处理是T1。然而，测试处理T1用于A0和A1两者，而控制配置T0仅用于A0。换言之，控制组被暴露给重叠的拍卖条件，如T0和T1两者。这与上述T1仅用于A1的不相交模型相对照。

图7在700处一般地描绘了用于拍卖栏栅的不相交模型和包容模型之间的比较。不相交模型702示于左侧，包容模型704示于右侧。对于不相交模型702，排他性地应用测试处理T1和控制配置T0。具体来说，测试处理T1应用于测试组A1中的参与者，而控制配置T0应用于控制组A0中的参与者。不相交模型可能导致某种稀释并对于T1来说可能不切实际。

对于包容模型704，以重叠的方式应用测试处理T1和控制配置T0。具体来说，控制配置T0应用于控制组A0。但是，测试处理T1被应用于测试组A1和控制组A0两者中的参与者。使用测试处理T1的拍卖通过包含A0而获得厚度。如果控制组A0被选为参与者的大的子集(例如99％)，则使用控制配置T0的拍卖也保持为厚的。

图8在800处一般地描绘了用于拍卖栏栅的包容模型的计算表示。具体来说，响应于请求802(如资源请求126)，分别在框804和806，控制配置T0和测试处理T1之一或两者用相对应的参与者子集A0和A1来执行。具体来说，当检测到资源请求126时，可如关于图3所描述的那样确定与该请求相关联的参与者。然后，使用包容模型，可对控制组A0中的参与者使用控制条件T0来进行拍卖。可使用测试处理T1用测试组A1中的参与者和控制组A0中的参与者来进行对应于同一或不同请求的另一拍卖。从而，包容模型中使用的拍卖条件就控制组A0而言重叠。

可分配优先级来控制哪个拍卖结果被示出。例如，较高优先级P1与T1拍卖相关联，而较低优先级P2与T0拍卖相关联。如果在T1拍卖中选择了来自A1的参与者，则这是椭圆808处示出的拍卖(优先级P1)。如果在T1拍卖中没有A1中的参与者被选择，则在椭圆810处示出T0拍卖的结果(优先级P2)。

注意，包容拍卖明显违反了可分开的特性，以便对测试组A1保持市场厚度。通过在T1拍卖中包含控制组A0，也违反了代表性的特性，因为控制组A0正接收两个处理。因此，来自控制组A0的响应可能不代表任一处理。具体来说，控制组A0中的参与者将为他们接收的两个处理的混合最优化。

为了理解这些违反的结果，考虑(1)涉及A1中的参与者的拍卖中的A0参与者的人数与(2)相同拍卖中的参与者的总数的比率r。该比率r这里被称为传导值。对于非常小的r值(例如r非常接近于0)，不相交模型和包容模型(几乎)等价且都将适合于预测地面真实情况。对于非常大的r值(例如r非常接近于1)，任一模型都将不适用于预测地面真实情况。不相交模型将使得A1拍卖显著稀释。由于A0参与者支配性地存在，包容模型将不允许对参与者响应的准确测量。

对于介于0和1之间的传导值r，预期不相交模型和包容模型的参与者行为将介于它们的相应极限值之间。增加r值相当于改变涉及A1的拍卖中增加数量的A0的响应。对于不相交模型，这相当于迫使参与者出低价并有效地将他们剔除。对于包容模型，它防止参与者适应于市场并因此使他们懒惰或低效率。尽管“插值假设”一般是不可证明的，但是它可能对于就参与者响应而言相对稳定的处理成立。在该假设下，可能清楚的是包容模型可具有超过不相交模型的某些优点。具体来说，操作中的包容模型用已知的无响应模型冲淡了地面真实情况，这与用不可预测的模型冲淡地面真实情况相对，后者可能是不相交模型的情况。但是，在各种实施例中，考虑了不相交模型和包容模型以及其他模型都可被采用来实现此处描述的拍卖栏栅技术。同样清楚的是最小化传导值r可产生更接近于地面真实情况的模型。

图9在900处一般地描绘了包容模型的广告商响应图。出于该示例的目的，假设控制组和测试组被形成为使得传导值r相对较小。在时间t＝1，测试处理T1被应用于A1参与者所参与的全部拍卖。地面真实情况表示的是假设测试处理T1被应用于每个参与者的情况下的预测KPI。测试组的测量的A1收益仅应用于涉及A1的拍卖，因为地面真实情况和处理收益是对A1测量的，且因为参与者不曾有机会响应于每一其他参与者的出价变化。因此，两条曲线在时间1都产生相同的值。

对处理组在时间t＝2测量的KPI可根据来自控制组A0的出价数量而不同于真实情况。如果拍卖中的大多数竞争来自其他测试组A1参与者(例如传导值r如假设的那样较小)，则由于控制组A0的出价所导致的差异可被保持相对较小。在随后的时间步长，测试组A1参与者将主要对彼此作出反应。测试组效应将被可不对T1作出反应的控制组A0的少数成员冲淡或阻抑。相反，对于真实信号，控制组A0的所有成员都被假设为对T1作出反应。对于大的传导值r，系统可能是无响应的(时间t＝1之后的平坦线)，因为T1处理涉及来自A0的许多无响应的参与者。因此，将拍卖参与者划分成组使得传导值r较小能够产生接近地预测地面真实情况的合适的模型。

扩展的包容模型

刚刚描述的包容模型可被扩展来测试多个测试处理。图10在1000处描绘了用于拍卖栏栅的扩展的包容模型1002的示例性图示。对于扩展的包容模型，拍卖参与者被划分成控制组A0、第一测试组A1和第二测试组A2。类似地，该模型利用控制配置T0、第一测试处理T1和第二测试处理T2。通过添加具有类似于A1的特征的第二组参与者A2，检查多个处理。对比处理测试允许同时进行的两个或多个测试处理的比较(如两个不同的保留价格)，而无需考虑可能影响结果的市场波动。此外，如果被选择的目标兴趣组具有某些特征(如小市场、国际性、受管制工业)，则控制组和处理组可被指定成具有相似的特征。换言之，控制组A0具有与处理组相似的特征。否则，控制组A0可能不代表测试处理所针对的参与者。

图11在1100处一般地描绘了用于拍卖栏栅的扩展的包容模型的计算表示。当请求1102被提交时，可执行三个拍卖。具体来说，在框1104，控制配置T0应用于控制组A0的参与者。在框1106，第一测试处理T1被应用于第一测试组A1中的参与者以及控制组A0。类似地，在框1108，第二测试处理T2被应用于第二测试组A2中的参与者以及控制组A0。可同样向这三个拍卖分支的结果分配优先级。

在框1110，作出关于A1的成员是否出现在T1的结果中的判断。如果A1的成员没有出现，则在框1112相对于T1的结果不采取动作(优先级P3)。类似地，在框1114，作出关于A2的成员是否出现在T2的结果中的判断。如果A2的成员没有出现，则在框1116相对于T2的结果不采取动作(优先级P3)。如果A1的成员出现在T1的结果中或者A2的成员出现在T2的结果中，则可分别在框1118和框1120示出对应的拍卖的结果(优先级P1)。在A1的成员出现在T1的结果中且A2的成员出现在T2的结果中的情况下，可选择结果之一来示出(优先级P1)。该选择可以任何合适的方式发生，包括随机选择、定时、预指定等。

回想形成各组使得传导值r较小。如果A1和A2各自表示1％的参与者，则拍卖T0具有98％的参与者，拍卖T1具有99％的参与者，且拍卖T2具有99％的参与者。此外，如果A1和A2具有类似的特征，且如果A1中的参与者通常不与A2中的参与者竞争，则T1和T2可以是比较组。注意，该扩展的包容模型不将A1和A2包含在同一拍卖中。然而，A1表示A0的某一小百分比，所以在T2拍卖中去除A1对A2的影响较小。对于在T1中去除A2对A1的影响来说，这同样成立。注意与不相交模型的差异，不相交模型中参与组整体上与剩余的参与者分离。

划分拍卖参与者

讨论现在转到关于选择控制组和一个或多个测试组的问题。利用所描述的拍卖栏栅技术，可采用任何合适的技术来得出组。在至少某些实施例中，可通过对配置成表示拍卖中的参与者之间的交互的图进行划分来形成合适的组。在在线拍卖的上下文中，该图可被称为“拍卖参与图”。就在下文中关于附图12更为详细地描述拍卖参与图的一个示例。对图的划分可涉及选择各组来最优化控制组的成员和测试组的成员之间发生的交互数量。在一个示例中，优化对应于最小化传导值r。回想传导值r是按照具有控制组的成员的多个拍卖中的测试组的成员的参与者与多个拍卖中的参与者的总数的比率来计算的。

如先前所述，可指定用于拍卖栏栅的组，使得组“松散地”彼此交互。这可涉及标识对应于广告商的相互隔离的分市场，以及根据相互隔离的分市场来形成控制组和测试组。在该情况中，实验结果可接近地对作为实验对象的真实处理进行建模。为了进一步理解该问题，考虑上述引入的“拍卖参与者图”的示例。在该图中，节点表示参与者，节点之间的边指示出对应的参与者已经在某一给定的持续时间中在同一拍卖中进行了竞争。拍卖参与图中的边可任选地具有权重，权重反映出参与者在其中竞争的拍卖的量或参与者在其中竞争的拍卖所产生的收益量。

图12在1200一般地描绘了拍卖参与图的示例。在该示例中，可用使A1、A2和A0之间的边权重最小化的方式来指定测试组A1和A2。在图理论中，该任务被称为图划分。可采用划分图的任何合适的技术来形成松散相关的各个组。可选择合适的组的一种方式是使拍卖参与图中的参与者的聚类之间的传导值r最小化。将传导值r最小化相当于将组之间的边权重最小化。直观上，这相当于确保整个纵向市场被包含在A1和A2中。如果聚类足够小，聚类纵向市场可被随机分配给A1和A2以确保实验是公正的。

示例系统

图13在1300一般地示出可以实现上述各实施例的示例计算设备1302。计算设备1302可以是例如图1的客户机124、服务提供者102的服务器、广告商120的服务器，或任何其他合适的计算设备。

计算设备1302包括一个或多个处理器或处理单元1304、一个或多个存储器和/或存储组件1306、用于输入/输出(I/O)设备的一个或多个输入/输出(I/O)接口1308、以及允许各组件和设备彼此通信的总线1310。总线1310代表示若干类型的总线结构中的一个或多个，包括存储器总线或存储器控制器、外围总线、加速图形端口以及使用各种总线体系结构中的任一种的处理器或局部总线。总线1310可包括有线和/或无线总线。

存储器/存储组件1306表示一个或多个计算机存储介质。存储器/存储组件1306可包括易失性介质(如随机存取存储器(RAM))和/或非易失性介质(如只读存储器(ROM)、闪存、光盘、磁盘等等)。存储器/存储组件1306可包括固定介质(例如，RAM、ROM、固定硬盘驱动器等)以及可移动介质(例如闪存驱动器、可移动硬盘驱动器、光盘等等)。

一个或多个输入/输出接口1308允许用户向计算设备1300输入命令和信息，并且还允许使用各种输入/输出设备向用户和/或其他组件或设备呈现信息。输入设备的示例包括键盘、光标控制设备(例如鼠标)、话筒、扫描仪等。输出设备的示例包括显示设备(例如监视器或投影仪)、扬声器、打印机、网卡等。

各种技术在此可以在软件或程序模块的一般上下文中描述。一般而言，软件包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。这些模块和技术的实现可以存储在某种形式的计算机可读介质上或通过某种形式的计算机可读介质传输。计算机可读介质可包括各种可获得的介质或可由计算设备访问的介质。作为示例而非限制，计算机可读介质可以包括“计算机可读存储介质”。

包括拍卖栏栅工具116、应用108、服务管理器模块112、操作系统110的软件或程序模块以及其他程序模块可被实现为存储在计算机可读存储介质上的一个或多个指令。计算设备1302可被配置成实现对应于存储在计算机可读存储介质上的软件或模块的特定功能。这些指令可由一个或多个制品(如一个或多个计算设备1302和/或处理器1304)来执行，以实现用于拍卖栏栅的技术以及其他技术。这些技术包括但不限于这里所述的示例过程。因此，计算机可读存储介质可被配置成存储指令，当由这里所述的一个或多个设备执行指令时，产生用于拍卖栏栅的各种技术。

计算机可读存储介质包括以适合于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的方法或技术来实现的易失性和非易失性、可移动和不可移动介质。该计算机可读存储介质包括但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、硬盘、磁带盒、磁带、磁盘存储或其它磁存储设备、或者可适用于存储所需信息并可由计算机访问的另一有形介质或制品。

结论

虽然已经用对结构特征和/或方法步骤专用的语言描述了本发明，但是应当理解，所附权利要求书中定义的本发明不必限于所描述的具体特征或步骤。相反，特定特征和步骤是作为实现所要求保护的本发明的示例形式来公开的。

Claims

1.一种计算机实现的方法，包括：

将控制组和测试组指定成在线拍卖中彼此竞争的参与者的不同子组(202)，这是通过对配置成表示拍卖中的参与者之间的交互的图进行划分以最优化控制组中的成员和测试组中的成员之间发生的交互数量来进行的；

基于参与者是否包括与测试组相关联的成员来进行多个拍卖(204，206)，其中

测试条件被用于多个拍卖中包括来自测试组和控制组两者的参与者的拍卖(204)；以及

控制条件被用于多个拍卖中不包括来自测试组的成员作为参与者(206)的拍卖；以及

通过将用控制条件进行的拍卖中参与者的行为与用测试条件进行的拍卖中参与者的行为进行比较，来测量对测试条件的响应。

2.如权利要求1所述的计算机实现的方法，其特征在于，所述多个拍卖包括对广告空间的拍卖，使得服务提供者连同来自服务提供者的资源一起向客户示出广告。

3.如权利要求2所述的计算机实现的方法，其特征在于，所述多个拍卖响应于检测到来自客户的要从服务提供者获得资源的请求而发生。

4.如权利要求1所述的计算机实现的方法，其特征在于，所述多个拍卖响应于检测到客户对服务提供者作出的要通过经服务提供者可访问的搜索服务来获得搜索结果的搜索查询而发生。

5.如权利要求1所述的计算机实现的方法，其特征在于，所述控制条件和测试条件包括用于多个拍卖的一个或多个可配置的设置。

6.如权利要求5所述的计算机实现的方法，其特征在于，用于多个拍卖的一个或多个可配置的设置包括以下的一个或多个：最低价、最高价、保留价格、始拍价格、出价增量、拍卖时间段、自动出价设置、拍卖类型、或每个出价人允许的出价次数。

7.如权利要求1所述的计算机实现的方法，其特征在于，测量响应包括计算由测试条件产生的一个或多个关键性能指标中的变化。

8.如权利要求7所述的计算机实现的方法，其特征在于，所述关键性能指标包括由多个拍卖产生的收益。

9.如权利要求1所述的计算机实现的方法，其特征在于，进行多个拍卖包括：

模拟对资源的请求以发起多个拍卖；

解析请求以标识与请求有关的关键字；以及

根据所标识的关键字来确定在对与资源相关联的广告空间的多个拍卖中的每一个拍卖中竞争的参与者。

10.如权利要求1所述的计算机实现的方法，其特征在于，所述交互数量被表达为传导值，所述传导值是按照具有控制组的成员的多个拍卖中的测试组的成员的参与者与多个拍卖中的参与者的总数的比率来计算的。

11.存储指令的一个或多个计算机可读存储介质(106)，当由一个或多个服务器设备执行时，使得所述一个或多个服务器设备实现广告栏栅工具(116)，所述广告栏栅工具被配置成：

检测来自客户设备的资源请求(302)；

解析资源请求以标识与资源请求有关的关键字(304)；

基于所标识的关键字确定竞争广告空间的广告拍卖参与者(306)；

基于所确定的广告拍卖参与者是否包括与测试组相关联的成员来选择性地进行广告拍卖(308)，其中：

当测试组的成员参与拍卖时，对广告拍卖使用测试条件(310)；

当测试组的成员不参与广告拍卖时，对广告拍卖使用控制条件(312)。

12.如权利要求11所述的一个或多个计算机可读存储介质，其特征在于，所述广告栏栅工具还被配置成：

收集指示测试条件和控制条件下拍卖中的广告拍卖参与者的行为的数据；以及

比较测试条件和控制条件下广告拍卖参与者的行为，以确定广告拍卖参与者如何响应于测试条件。

13.如权利要求11所述的一个或多个计算机可读存储介质，其特征在于，所述资源请求包括经客户设备输入的搜索查询，以调用通过搜索提供者能获得的搜索功能。

14.如权利要求11所述的一个或多个计算机可读存储介质，其特征在于，所述关键字包括形成所述搜索查询的搜索项。

15.如权利要求12所述的一个或多个计算机可读存储介质，其特征在于，所述广告栏栅工具还被配置成：

以包括基于所述广告拍卖而选择的至少一些广告的方式来向客户设备提供所请求的资源。