CN110892436A - 通过地理选择提高实验结果的准确性 - Google Patents

通过地理选择提高实验结果的准确性 Download PDF

Info

Publication number
CN110892436A
CN110892436A CN201880027558.5A CN201880027558A CN110892436A CN 110892436 A CN110892436 A CN 110892436A CN 201880027558 A CN201880027558 A CN 201880027558A CN 110892436 A CN110892436 A CN 110892436A
Authority
CN
China
Prior art keywords
experimental group
updated
group
initial
geographic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880027558.5A
Other languages
English (en)
Other versions
CN110892436B (zh
Inventor
N.H.雷米
T.C-W.奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN110892436A publication Critical patent/CN110892436A/zh
Application granted granted Critical
Publication of CN110892436B publication Critical patent/CN110892436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0204—Market segmentation
    • G06Q30/0205—Location or geographical consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G06Q30/0244—Optimization

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)
  • Processing Or Creating Images (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

方法、系统和装置，包括编码在计算机存储介质上的计算机程序，其用于：创建包括地理区域的初始实验组；为初始实验组创建匹配对照组；创建更新实验组，该更新实验组包括来自初始实验组的地理区域和附加地理区域，该更新实验组提供模型质量指标的指定增加水平；迭代地创建以下中的每一个：i)基于更新实验组的更新匹配对照组和ii)基于更新匹配对照组的附加更新实验组，直到停止条件出现；接收指定实验组大小的输入；以及响应于接收到输入，使用i)包括与实验组大小匹配的某一数量的地理区域的更新实验组和ii)为该更新实验组创建的更新匹配对照组来进行实验。

Description

通过地理选择提高实验结果的准确性
技术领域
本说明书涉及数据处理和通过选择在实验中利用的地理位置来提高实验结果的准确性。
背景技术
通常，为了测量在线数字内容对离线行为的影响，可以利用随机化实验。例如，为了测量呈现特定的一组在线数字内容对指定区域中的用户行为(例如，访问特定位置)的影响，可以通过将用户群体随机分成两组(例如，对照组和实验组)来实施随机实验。实验组将从特定的一组在线数字内容中接收在线数字内容，而对照组将不接收这种内容。对照组和实验组的离线行为的比较可以揭示特定的一组在线数字内容的曝光将如何影响用户的离线行为。
发明内容
本说明书中描述的主题的创新方面可以体现在包括以下动作的方法中：为一个或多个实验创建包括一个或多个地理区域的初始实验组；为初始实验组创建匹配对照组，该匹配对照组包括不被包括在初始实验组中的一个或多个地理区域；创建更新实验组，该更新实验组包括来自初始实验组的地理区域和来自多个不同的有资格的地理区域中的附加地理区域，该更新实验组相对于由初始实验组提供的模型质量指标的水平提供模型质量指标的指定增加水平；迭代地创建以下中的每一个：i)基于更新实验组的更新匹配对照组和ii)基于更新匹配对照组的附加更新实验组，直到停止条件出现，其中，相比前一实验组，每个附加更新实验组包括附加的地理区域；接收为给定实验指定实验组大小的输入；以及响应于接收到为给定实验指定实验组大小的输入，使用i)包括与实验组大小匹配的某一数量的地理区域的更新实验组和ii)为该更新实验组创建的更新匹配对照组来进行实验。
这些方面的其他实施例包括相应的系统、装置和编码在计算机存储设备上的计算机程序，其被配置为执行该方法的动作。
这些和其他实施例中均可以可选地包括一个或多个以下特征。例如，为初始实验组创建匹配对照组包括：基于由使用初始实验组和初始实验组的初始对照组的实验模型提供的结果来确定模型质量指标的第一水平；对于多个不同的候选对照地理区域中的每个附加地理区域：i)创建包括附加地理区域或排除被包括在初始实验组的初始对照组中的地理区域之一的相邻对照组，以及ii)基于由使用初始实验组和相邻对照组的实验模型提供的结果来确定模型质量指标的第二水平；将与模型质量指标的最高第二水平对应的相邻对照组之一指派为初始实验组的匹配对照组。获取地理需求数据，该地理需求数据指定需要被包括在初始实验组中的一组地理区域；和获取对照数据，该对照数据指定被允许包括在实验的对照组中的一组地理区域，其中：创建包括一个或多个地理区域的初始实验组包括创建初始实验组以包括需要被包括在初始实验组中的一组地理区域；和为初始实验组创建包括不被包括在初始实验组中的一个或多个地理区域的该匹配对照组包括，将来自被允许包括在实验的对照组中的一组地理区域的至少一个地理区域包括在该匹配对照组中。创建更新实验组包括：对于有资格被包含在该更新实验组中的一个或多个附加地理区域中的每个附加地理区域：创建候选实验组，该候选实验组包括该附加地理区域和当前被包括在用于实验的现有实验组中的地理区域；确定该候选实验组是否提供比现有实验组更高水平的模型质量指标；和基于该候选实验组是否提供比现有实验组更高水平的模型质量指标来确定是否将该附加地理区域添加到现有实验组，其包括：当该候选实验组提供比现有实验组更高水平的模型质量指标时，将该附加地理区域添加到现有实验组以创建该更新实验组，以及当该候选实验组不能提供比现有实验组更高水平的模型质量指标时，不将该附加地理区域添加到现有实验组。迭代地创建该更新匹配对照组和该更新实验组中的每一个，直到该更新实验组中包括最大指定数量的地理区域。迭代地创建该更新匹配对照组和该更新实验组中的每一个，直到向现有实验组添加另一地理区域不能相对于由现有实验组提供的模型质量指标的水平提高模型质量指标的水平。修改内容在被包括在更新实验组中的地理区域中如何分发，并且不修改内容在被包括在匹配对照组中的地理区域中如何分发。
本说明书中描述的主题的特定实施方式可以被实施，以便实现一个或多个以下优点。例如，与传统的地理定义的实验相比，下面公开的主题提高了通过地理定义的实验可达到的准确性。例如，通过为每个实验组和对照组的识别将在实验结果中提供最高精确度(或至少指定水平的精度)的指定地理区域的探索过程，可以增加准确性。如以下讨论的，可被称为匹配市场方法(matched markets approach)的该探索过程包括创建地理区域的实验组，然后找到将提供最低(或指定水平的)不确定性的地理区域的匹配对照组。探索过程可以有效地搜索所有可能的对照组和实验组的集合，并且还消除了当尝试使用一组标准(诸如，商店销售额或人口统计信息)来指定实验和对照地理位置时会出现的问题，这些标准不包括关于通过实验将达到的精度的任何信息。
本说明书中描述的主题的一个或多个实施例的细节在附图和以下描述中阐述。从描述、附图和权利要求书中，主题的其他潜在特征、方面和优点将变得显而易见。
附图说明
图1描绘了用于选择用于实验的地理区域的系统。
图2A-图2C描绘了地理区域的不同组的图示。
图3描绘了用于选择用于实验的地理区域的算法。
图4是用于选择用于实验的地理区域的示例过程的流程图。
图5描绘了可用于实施本文描述的技术的示例计算系统。
具体实施方式
过去，地理实验是通过将用户群体随机分成两组(例如，对照组和实验组)来进行的。然而，在设计地理实验时，可能无法依赖随机化。例如，当某些地理区域与其他地理区域明显不同时，或者当只有少数地理区域可用于实验时，随机化可能无法创建平衡的实验组。此外，在给定某些实验需求的情况下，随机化可能是不可行的—诸如在给定预算内需要运行较小规模的地理实验，或者在指定实验组中包括指定地理区域。此外，用户在地理区域之间移动的能力会降低地理实验的准确性。因此，可能难以实施这种随机实验的实施方式。
本文描述了通过在选择在实验中利用的地理位置来提高实验结果的准确性的方法、系统和计算机可读介质。例如，通过考虑到已经选择的实验地理区域来识别提供最佳精度(或至少指定精度)的地理区域的对照组，所描述的选择过程克服了随机地理实验的不足。具体地，兴趣点(诸如实体商店)可以位于地理区域内。在某些情况下，地理区域可以是包括到兴趣点的大多数游客的最小实体区域。这些地理区域可以用于数字内容(例如，广告或其他信息)的曝光。例如，第一地理区域可以用作对照地理区域(例如，在该地理区域内不曝光数字内容)，同时第二地理区域可以用作实验地理区域(例如，曝光数字内容)。可以选择被包括在每个实验地理区域和对照地理区域中的每一个中的特定地理区域，例如，以使得使用该实验地理区域和对照地理区域来执行的实验的结果提供最大精度(或至少指定量的精度)，该特定地理区域可以被称为最合适的地理区域。通过优化感兴趣的期望指标来选择用于实验的最适合的地理区域的过程包括评估地理区域的每个可能的组合。
在某些情况下，选择过程从创建包括一组地理区域的初始实验组开始；并且创建初始实验组的匹配对照组，该匹配对照组包括不被包括在初始实验组中的地理区域。换句话说，初始实验组可以包括第一组地理区域(用于实验的应用—例如，曝光数字内容)，并且匹配指定初始实验组的初始对照组可以包括不被第一组包括的第二组地理区域(用于对照—例如，不曝光数字内容)。然后可以创建更新实验组，其包括来自初始实验组的地理区域和附加地理区域。换句话说，更新实验组比初始实验组增加了一个地理区域(或者可能不止一个地理区域)。此外，附加地理区域被选择，与初始实验组提供的模型质量指标的水平相比，这提供了模型质量指标的指定增加水平。也就是说，与初始实验组相比，将地理区域添加到初始实验组以形成更新实验组增加了模型质量指标的水平。然后可以基于更新实验组创建更新匹配对照组，并且可以迭代地重复创建实验组和匹配对照组的过程，直到停止条件出现。然后可以进行实验，包括接收为给定实验指定实验组大小的输入，并使用i)包括与接收到的实验组大小匹配的某一数量的地理区域的实验组和ii)为该实验组创建的匹配对照组来进行实验。
图1描绘了用于选择用于实验的地理区域的系统100。系统100包括计算设备102、地理区域数据存储110和实验结果数据存储112。计算设备102可以通过一个或多个网络(未示出)与数据库110、112通信。在一些示例中，计算设备102可以包括一个或多个模块，并且可以实施为计算系统的组合或在同一组物理硬件中实施。
在一些示例中，计算设备102可以从地理区域数据存储110获取地理区域数据120。地理区域数据120可以包括定义地理区域的数据，包括作为地理区域所包括的兴趣点的位置、地理区域的地理维度和地理区域的地理位置的这种数据。计算设备102还可以接收识别实验模型142的数据，实验模型142包括指示模型质量指标140的数据。计算设备102可以选择性地将实验模型142应用于地理区域数据120的地理区域，以识别来自所选地理区域内数字内容分发的结果，如本文进一步描述的。此外，模型质量指标140可以与所选区域内数字内容的分发相关，如本文进一步描述的。
简言之，计算设备102可以创建实验组和对照组，每个实验组和对照组包括来自地理区域数据120的地理区域。计算设备102可以使用实验组和/或对照组进行实验—也就是说，修改数字内容在实验组所包含的地理区域中如何分发，而不修改数字内容在对照组所包含的地理区域中如何分发，如本文进一步描述的。在一些示例中，由计算设备102获取的地理区域数据120可以包括i)指定哪些地理区域需要被包括在实验组中的数据，以及ii)指定哪些地理区域被允许包括在对照组中的数据。
在一些实施方式中，计算设备102为一个或多个实验创建包括一个或多个地理区域的初始实验组。图2A示出了多个地理区域202a、202b、202c、202d、202e、202f、202g，统称为地理区域202。地理区域数据120可以包括指示地理区域202的数据。在图示的示例中，计算设备102创建包括地理区域202a的初始实验组210。在一些示例中，初始实验组210可以提供模型质量指标140的值(或水平)。模型质量指标140可以是将由计算系统102优化的目标函数的指标，例如，基于系统100期望的和/或由系统100的用户提供的参数来进行优化。例如，地理区域202可以包括在相应计算设备上接收数字内容分发的区域，例如，提供给计算设备的广告数字内容，该广告数字内容包括指示包含在相应地理区域内的用户简档数据。在该示例中，模型质量指标140可以包括与数字内容的分发和用户所展示的这种分发的效果相关的指标—例如，用户与接收数字内容分发的地理区域202所包括的兴趣点的参与度。例如，指标可以包括兴趣点的店内销售量；然而，任何指标都可以用于期望被优化的与地理区域202内的数字内容分发相关的任何模型。
在图示的示例中，计算设备102创建初始实验组210，该初始实验组210包括单个地理区域，例如地理区域202a。计算设备102可以创建初始实验组210，使得初始实验组210提供模型质量指标140的指定水平。也就是说，计算设备102选择地理区域202a以包含在初始实验组210中，使得初始实验组210提供模型质量指标140的指定水平。在一些示例中，计算设备102选择地理区域202a以包含在初始实验组210中，初始实验组210提供模型质量指标140的优化水平。
在一些示例中，计算设备102创建初始实验组，以包括如地理区域数据120所指示的、被指示为需要被包括在初始实验组中的一组地理区域。例如，当如地理区域数据120所指示的、地理区域202a需要被包括在初始实验组210中时，计算设备102创建初始实验组210以包括地理区域202a。在一些示例中，地理区域数据120可以指示一定数量的地理区域，例如两个或多个地理区域202，将被包括在任何实验组内，包括初始实验组210。
在一些实施方式中，计算设备102为初始实验组创建匹配对照组，该对照组包括不被初始实验组包括的地理区域。也就是说，在图2A所示的示例中，计算设备102为初始实验组210创建匹配对照组212。匹配对照组212包括不被初始实验组210包括的地理区域202c和202d。在一些示例中，计算设备102从可用地理区域202b、202c、202d、202e、202f、202g中选择地理区域202c和202d，以优化可以使用初始实验组210和匹配对照组212来确定的模型质量指标140。具体地，计算设备102可以利用使用初始实验组210和初始实验组的初始对照组的实验模型142来进行实验。
例如，计算设备102可以利用使用初始实验组210和初始实验组的初始对照组的实验模型142来进行实验。计算设备102为多个不同的候选地理区域202中的每个附加地理区域，i)创建包括该附加地理区域或排除被包括在初始实验组210的初始对照组中的地理区域之一的相邻对照组，以及ii)基于由使用初始实验组210和相邻对照组的实验模型142提供的结果来确定模型质量指标140的水平。例如，对于每个附加地理区域202，计算设备102为可用地理区域202—例如，不被初始实验组210包括的地理区域202(地理区域202b、202c、202d、202e、202f、202g)的每个组合创建相邻对照组。对于可用地理区域202的每个组合，即对于每个相邻对照组，计算设备102基于由使用初始实验组210和相邻对照组的实验模型142提供的结果来确定模型质量指标140的水平。例如，计算设备210将实验模型140应用于i)初始实验组210和ii)相邻对照组的每个组合—例如，地理区域202b、202c、202d、202e、202f、202g的任何组合。然后，计算设备120可以为i)初始实验组210和ii)相邻对照组的每个组合确定由实验模型142提供的模型质量指标142的水平。计算设备102可以将与模型质量指标140的最高水平对应的相邻对照组之一指派为初始实验组210的匹配对照组212。例如，当包括地理区域202c、202d的相邻对照组与模型质量指标140的最高第二水平对应时，计算设备102可以将包括地理区域202c、202d的相邻对照组指派为匹配对照组212。
在一些示例中，计算设备102创建匹配对照组以包括如地理区域数据120所指示的、被允许包括在匹配对照组212中的地理区域202。例如，当地理区域202b、202c、202d、202e、202f、202g中的任何一个被允许包括在匹配对照组212中时(例如，如地理区域数据120所指示的)，计算设备102创建匹配对照组212以包括匹配对照组212中的地理区域202b、202c、202d、202e、202f、202g的子集。
在一些实施方式中，计算设备102创建更新实验组，该更新实验组包括来自初始实验组的地理区域和来自多个不同的有资格的地理区域中的附加地理区域。也就是说，在图2B所示的示例中，计算设备102创建包括地理区域202a和202b的更新实验组220。在一些示例中，计算设备102从多个不同的有资格的地理区域中选择附加地理区域，使得相对于由初始实验组提供的模型质量指标的水平，附加地理区域和来自初始实验组的地理区域提供更新实验组的模型质量指标的指定增加水平。在图2B所示的示例中，计算设备102从地理区域202b、202c、202d、202e、202f、202g中选择地理区域202b，使得相对于由初始实验组210提供的模型质量指标140的值，地理区域202b和来自初始实验组210的地理区域202a提供更新实验组220的模型质量指标140的指定增加水平。具体地，计算设备102可以利用使用更新实验组210的实验模型142来进行实验。例如，计算设备102可以利用使用更新实验组220(即，初始实验组210和附加地理区域)的实验模型142来进行实验。对于来自地理区域数据120的多个不同地理区域中的有资格被包括在更新实验组220中的每个附加地理区域，计算设备102基于由使用初始实验组210和该附加地理区域的实验模型142提供的结果来确定模型质量指标140的增加水平。例如，对于每个附加地理区域202，计算设备102基于由使用初始实验组210和附加地理区域202的实验模型142提供的结果来确定模型质量指标140的增加水平。换句话说，计算设备210将实验模型142应用于i)初始实验组210和ii)附加地理区域202的每个组合，以确定针对i)初始实验组210和ii)附加地理区域202的每个组合由实验模型142提供的模型质量指标140的增加水平。然后，计算设备102可以选择与模型质量指标140的最高增加水平对应的附加地理区域202之一。计算设备102可以创建更新实验组220，该更新实验组220包括来自初始实验组210的地理区域202a和与模型质量指标140的最高增加水平对应的附加地理区域202b。
在一些示例中，计算设备102创建候选实验组，该候选实验组包括附加地理区域和当前被包括在用于实验的任何现有实验组中的地理区域。对于地理区域数据120的多个不同地理区域中的有资格被包括在更新实验组中的每个附加地理区域，计算设备102创建候选实验组，该候选实验组包括现有实验组的地理区域和该附加地理区域。对于地理区域数据120的多个不同地理区域中的有资格被包括在更新实验组中的每个附加地理区域，计算设备102例如基于由使用候选实验组的实验模型142提供的结果来确定候选实验组是否提供比现有实验组更高水平的模型质量指标140。当候选实验组不能提供比现有实验组更高水平的模型质量指标140时，计算设备102不将该附加地理区域添加到现有实验组。
在一些实施方式中，计算设备102迭代地创建以下中的每一个：i)基于更新实验组的更新匹配对照组和ii)基于更新匹配对照组的附加更新实验组，直到停止条件出现。在图2B所示的示例中，计算设备102基于更新实验组220创建更新匹配对照组222。更新匹配对照组222包括不被更新实验组220包括的地理区域202f和202g。在一些示例中，计算设备102从可用地理区域202c、202d、202e、202f、202g中选择地理区域202f和202g，以优化模型质量指标140，模型质量指标140可以使用更新实验组220和更新匹配对照组222的所选择的地理区域202来确定。
例如，计算设备102可以利用使用更新实验组220和更新实验组220的更新对照组的实验模型142来进行实验。计算设备102为地理区域数据120的多个不同的候选对照地理区域中的每个附加地理区域，i)创建相邻对照组，该相邻对照组包括该附加地理区域或排除被包括在更新实验组的更新对照组中的地理区域之一，以及ii)基于由使用更新实验组和相邻更新对照组的实验模型142提供的结果来确定模型质量指标140的水平。例如，对于每个附加地理区域202，计算设备102为可用地理区域202—例如，不被更新实验组210包括的地理区域202(地理区域202c、202d、202e、202f、202g)的每个组合创建相邻更新对照组。对于可用地理区域202的每个组合，即对于每个相邻更新对照组，计算设备102基于由使用更新实验组220和相邻更新对照组的实验模型142提供的结果来确定模型质量指标140的水平。例如，计算设备210将实验模型142应用于i)更新实验组220和ii)相邻更新对照组(例如，地理区域202c、202d、202e、202f、202g的任意组合)的每个组合，并且确定针对i)更新实验组220和ii)相邻更新对照组的每个组合由实验模型142提供的模型质量指标202的水平。然后，计算设备102可以将与模型质量指标140的最高水平对应的相邻更新对照组之一指派为更新实验组的匹配更新对照组。例如，当包括地理区域202f、202g的相邻更新对照组与模型质量指标140的最高水平对应时，计算设备102可以将包括地理区域202f、202g的相邻更新对照组指派为更新匹配对照组222。
此外，计算设备102创建进一步更新实验组，该进一步更新实验组包括来自更新实验组的地理区域和来自多个不同的有资格的地理区域中的附加地理区域。也就是说，在图2C所示的示例中，计算设备102创建包括地理区域202a、202b、202d的进一步更新实验组240。在一些示例中，计算设备102从多个不同的有资格的地理区域中选择附加地理区域，使得相对于由更新实验组提供的模型质量指标的水平，该附加地理区域和来自更新实验组的地理区域提供进一步更新实验组的模型质量指标的指定增加水平。具体地，对于地理区域数据120的多个不同地理区域中的有资格被包含在进一步更新实验组240中的每个附加地理区域，计算设备102基于由使用更新实验组220和该附加地理区域的实验模型142提供的结果来确定模型质量指标140的增加水平。例如，对于每个附加地理区域202，计算设备102基于由使用更新实验组220和附加地理区域202的实验模型142提供的结果来确定模型质量指标140的增加水平。例如，计算设备102将实验模型142应用于i)更新实验组220和ii)附加地理区域202的每个组合。计算设备102为i)更新实验组220和ii)附加地理区域202的每个组合确定由实验模型142提供的模型质量指标202的增加水平。然后，计算设备102可以选择与模型质量指标140的最高增加水平对应的附加地理区域202之一。计算设备102可以创建进一步更新实验组240，其包括来自更新实验组220的地理区域202a、202b和与模型质量指标140的最高增加水平对应的附加地理区域202d。
此外，在图2C所示的示例中，计算设备102基于进一步更新实验组240创建进一步更新匹配对照组242。进一步更新匹配对照组242包括地理区域202g。在一些示例中，计算设备102从可用地理区域202c、202e、202f、202g中选择地理区域202g，以优化模型质量指标140，模型质量指标140可以使用进一步更新实验组240和进一步更新匹配对照组242的所选择的地理区域202来确定。例如，计算设备102可以利用使用i)进一步更新实验组240和ii)相邻进一步更新对照组的实验模型142来进行实验，该相邻进一步更新对照组是地理区域202c、202e、202f、202g的组合。计算设备210针对i)进一步更新实验组240和ii)相邻进一步更新对照组的每个组合确定由实验模型142提供的模型质量指标140的水平。然后，计算设备102可以将与模型质量指标140的最高水平对应的相邻进一步更新对照组之一指派为进一步更新实验组的进一步更新匹配对照组。例如，当包括地理区域202g的相邻进一步更新对照组与模型质量指标140的最高水平对应时，计算设备102可以将包括地理区域202g的相邻进一步更新对照组指派为进一步更新匹配对照组242。
在一些示例中，计算系统102迭代地创建更新匹配对照组和更新实验组，直到停止条件出现。也就是说，计算系统102迭代地创建实验组(例如，实验组210、220、240)和匹配对照组(例如，对照组212、222、242)，直到停止条件出现。在一些示例中，停止条件可以与将被包括在更新实验组中的最大指定数量的地理区域相关联。具体地，计算系统102可以迭代地创建更新匹配对照组和更新实验组，直到(最后/最终)更新实验组中包括最大指定数量的地理区域。在一些示例中，计算系统102可以接收指示在停止条件下使用的地理区域的最大指定数量的数据。例如，参考图2A、图2B、图2C，用于停止条件的地理区域的最大指定数量是三，因此，计算系统102可以迭代地创建实验组(例如，实验组210、220、240)和匹配对照组(例如，对照组212、222、242)，直到最终实验组(例如，进一步更新实验组240)中包括三个地理区域。指示在停止条件下使用的地理区域的最大指定数量的数据可以由计算系统102的用户提供，或者基于地理区域数据120的地理区域的数量自动确定。
在一些示例中，计算系统102可以迭代地创建更新匹配对照组和更新实验组，直到相对于由现有实验组提供的模型质量指标140的水平，向现有实验组添加另一地理区域不能提高模型质量指标140的水平。也就是说，计算设备102基于实验模型142提供的结果确定向现有实验组添加另一地理区域不能增加模型质量指标140。例如，计算设备102基于实验模型142提供的结果可以确定向进一步更新实验组240添加另一地理区域不能增加模型质量指标140，因此，停止条件满足，并且计算系统102停止迭代地创建更新匹配对照组和更新实验组。
在一些示例中，计算设备102创建附加更新实验组，使得相比前一实验组，每个附加更新实验组包括附加的地理区域。例如，计算设备102创建进一步更新实验组240，以包括地理区域202d，该地理区域202d是相对于前一实验组(即，更新实验组220)的附加的地理区域。
在一些实施方式中，计算系统102接收为给定实验指定实验组大小的输入144。也就是说，实验组大小输入144指示用于给定实验的实验组的地理数据120的地理区域的指定数量。例如，输入144可以指示两个地理区域用于给定实验的实验组—即更新实验组220。响应于接收到为给定实验指定的实验组大小的输入144，计算设备102使用i)包括与输入144的实验组大小匹配的数量的地理区域的更新实验组和ii)为该更新实验组创建的更新匹配对照组来进行实验。例如，计算设备102可以使用i)更新实验组220和ii)更新匹配对照组222来进行实验。在一些示例中，计算设备102可以向实验结果数据存储112提供实验结果160。在一些示例中，实验结果160可以包括与向i)更新实验组和ii)为该更新实验组创建的更新匹配对照组提供数字内容相关联的数据，该更新实验组包括与输入144的实验组大小匹配的数量的地理区域。在一些示例中，由计算设备102进行实验可以包括修改数字内容在被包括在更新实验组中的地理区域中如何分发，并且不修改数字内容在被包括在匹配对照组中的地理区域中如何分发。具体地，计算设备102可以修改数字内容在更新实验组220中的地理区域202a、202b中如何分发，并且不修改数字内容在被包括在更新匹配对照组222中的地理区域202f、202g中如何分发。
参考图3，在一些示例中，图1的系统100中可以利用爬山算法(hill climbingalgorithm)300。具体地，爬山算法300可用于优化目标函数f—即模型质量指标140。算法300在匹配阶段和增强阶段之间交替，匹配阶段是指在给定实验组的当前地理区域组的情况下识别对照组的“最佳”地理区域组，增强阶段是指在给定当前对照组的情况下确定是否向实验组添加一个新的地理区域。该过程被重复，直到实验组达到最大允许大小，例如，如停止条件所指示的最大允许大小。此外，爬山算法300在一些预先测试期日期t∈T0期间对于每个地理区域i＝1,...,N还需要指定一组允许的实验组指派Ai和感兴趣的(多个)度量mi,t。让k0＝|{i|Ai＝{treatment}}|表示需要指派给实验组的地理区域的数量，算法300还可选地允许正整数K，其表示用于实验的实验组中的地理区域的最大数量。给定这些输入，算法300提供若干不同的实验设计选择—每个大小为k＝max(k0,1),...,K的实验组一个实验设计选择。特别地，对于每个k，指定推荐实验组G* trt,k和匹配对照组G* ctl,k，其中在上标中使用星号来区分这些推荐组和其他非推荐组。此外，请注意，k＝│G* trt,k│表示推荐实验组G* trt,k将精确包含k个地理区域。推荐对照组G* ctl,k的下标k仅表示其与哪个推荐实验组G* trt,k配对。
算法300开始于将地理区域初始化为实验组，如算法300的第1行中的等式(8)所定义的。特别地，初始推荐实验组G* trt,k0包含需要指派给实验组的地理区域，而初始对照组Gctl,k0由允许指派给对照组的地理区域组成。之后，取决于是否已经确定了G* trt,k的推荐匹配对照组G* ctl,k，算法300然后可以在“匹配”例程和“增强”例程之间重复交替，直到达到停止规则。注意，算法300的第2-6行确定首先使用哪个例程—基于地理区域中的任何一个是否需要被包含在实验组中的决定。
在算法300的第9-16行所概述的匹配例程中，通过递增地更新非推荐对照组Gctl,k直到达到局部最优来找到给定推荐实验组G* trt,k的匹配对照组G* ctl,k。这是通过首先找到由等式(9)和(10)定义的集合Rctl和Ruad来实现的，集合集合Rctl和Ruad分别包含有资格被重新指派给对照组的地理区域或有资格重新指派给未指派组的地理区域。之后，如等式(11)定义的，“相邻”对照组G’ctl,k通过重新分配地理区域而从Gctl,k导出，其中，当与推荐实验组G* trt,k结合使用时，该地理区域的重新指派(从对照组到未指派组或者从未指派组到对照组)使f最大化。然后，如算法1的第12-13行所述，如果f(G* trt,k,G’ctl,k)>f(G* trt,k,Gctl,k)，也就是说，当与G* trt,k配对时，G’ctl,k产生比Gctl,k更高的质量模型，则算法300将更新对照组Gctl,k的定义，以与G’ctl,k一致，并且该更新的对照组然后将用于匹配例程的下一次迭代。
然而，如果f(G* trt,k,G’ctl,k)≤f(G* trt,k,Gctl,k)，也就是说，如果已经达到了局部最优，则如算法300的第14-16行所示，算法300将现有集合Gctl,k作为大小为k的推荐实验组G* trt,k的推荐匹配对照组G* ctl,k，同时，算法300的第17-22行中详述的增强例程用于从现有大小为k的推荐实验组G* trt,k导出大小为k+1的更大的推荐实验组G* trt,k+1。为了实现这一点，算法300首先找到有资格被重新指派给由等式(12)定义的实验组的地理区域Rtrt的集合。之后，从等式(13)可以看出，然后通过利用地理区域增强大小为k的推荐实验组G* trt,k来构造大小为k+1的推荐实验组G* trt,k+1，其中，当与推荐对照组G* ctl,k结合使用时，该地理区域被重新指派到实验组会使f最大化。最后，如算法300的第20-22行所示，推荐对照组G* ctl,k然后被作为下一次调用用于找到G* trt,k+1的匹配对照组的匹配例程的起点。如算法300的第8行所示，算法300继续在增强例程和匹配例程之间交替，直到它已经为具有大小为k＝max(k0,1),...,K的实验组的实验设计确定了推荐实验组G* trt,k及其对应的匹配对照组G* ctl,k为止。此外，就需求而言，这些推荐的设计中的每一个都局部优化目标函数f，并且如果算法300的假设在地理区域实验T的整个持续时间内成立，则由匹配市场方法推荐的地理区域实验将产生直接的因果估计。此外，可以对每个推荐的实验设计进行效能计算(powercalculation)，以获取对每个设计的实验成本的估计。特别地，随着实验组体积的增加，实验成本往往成比例增加。因此，由于算法300推荐实验组中的体积随着k增加，算法300能够向实体(例如，广告商)提供改变实验成本的若干地理实验设计选项。
图4示出了用于选择用于实验的地理区域的示例过程400。过程400可以例如由计算系统102或另一数据处理装置执行。过程400也可以被实施为存储在计算机存储介质上的指令，并且由一个或多个数据处理装置执行该指令使得该一个或多个数据处理装置执行过程300的操作中的一些或全部。
计算设备102为一个或多个实验创建包括一个或多个地理区域的初始实验组(402)。例如，在图2A所示的示例中，计算设备102创建包括地理区域202a的初始实验组210。计算设备102为初始实验组创建匹配对照组，该匹配对照组包括不被初始实验组包括的地理区域(404)。例如，在图2A所示的示例中，计算设备102为初始实验组210创建匹配对照组212。匹配对照组212包括不被初始实验组210包括的地理区域202c和202d。计算设备102创建更新实验组，该更新实验组包括来自初始实验组的地理区域和来自多个不同的有资格的地理区域中的附加地理区域(406)。也就是说，在图2B所示的示例中，计算设备102创建包括地理区域202a和202b的更新实验组220。在一些示例中，计算设备102从多个不同的有资格的地理区域中选择附加地理区域，使得相对于由初始实验组提供的模型质量指标水平，附加地理区域和来自初始实验组的地理区域提供更新实验组的模型质量指标的指定增加水平。在图2B所示的示例中，计算设备102从地理区域202b、202c、202d、202e、202f、202g中选择地理区域202b，使得相对于由初始实验组210提供的模型质量指标140的值，地理区域202b和来自初始实验组210的地理区域202a提供更新实验组220的模型质量指标140的指定增加水平。
计算设备102迭代地创建以下中的每一个：i)基于更新实验组的更新匹配对照组和ii)基于更新匹配对照组的附加更新实验组，直到停止条件出现(408)。例如，在图2C所示的示例中，计算设备102基于更新实验组220创建更新匹配对照组222。更新匹配对照组222包括不被更新实验组220包括的地理区域202f和202g。另外，在图2C所示的示例中，计算设备102创建包括地理区域202a、202b、202d的进一步更新实验组240。此外，在一些示例中，停止条件可以与将被包括在更新实验组中的地理区域的最大指定数量相关联。计算系统102接收为给定实验指定实验组大小的输入144(410)。也就是说，实验组大小输入144指示用于给定实验的实验组的地理数据120的地理区域的指定数量。响应于接收到为给定实验指定实验组大小的输入144，计算设备102使用i)包括与输入144的实验组大小匹配的数量的地理区域的更新实验组和ii)为该更新实验组创建的更新匹配对照组来进行实验(412)。例如，计算设备102可以使用i)更新实验组220和更新匹配对照组222来进行实验。
图5示出了可以与本文描述的技术一起使用的通用计算机设备500和通用移动计算机设备550的示例。计算设备500旨在表示各种形式的数字计算机，诸如膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他合适的计算机。计算设备550旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。这里示出的组件、它们的连接和关系以及它们的功能仅仅是示例性的，并不意味着限制本文档中描述和/或要求保护的发明的实施方式。
计算设备500包括处理器502、存储器504、存储设备506、连接到存储器504和高速扩展端口510的高速接口508、以及连接到低速总线514和存储设备506的低速接口512。组件502、504、506、508、510和512中的每一个都使用各种总线互连，并且可以安装在公共主板上或者以其他适当的方式安装。处理器502可以处理用于在计算设备500内执行的指令，包括存储在存储器504或存储设备506中的指令，以在外部输入/输出设备(诸如耦合到高速接口508的显示器516)上显示GUI的图形信息。在其他实施方式中，可以适当地使用多个处理器和/或多个总线，以及多个存储器和多种类型的存储器。而且，可以连接多个计算设备500，每个设备提供必要操作的一部分(例如，作为服务器组、一组刀片服务器或多处理器系统)。
存储器504在计算设备500内存储信息。在一个实施方式中，存储器504是一个或多个易失性存储单元。在另一实施方式中，存储器504是一个或多个非易失性存储单元。存储器504还可以是另一种形式的计算机可读介质，诸如磁盘或光盘。
存储设备506能够为计算设备500提供大容量存储。在一个实施方式中，存储设备506可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备或磁带设备、闪存或其他类似的固态存储设备，或设备阵列，包括存储区域网络中的设备或其他配置。计算机程序产品可以有形地体现在信息载体中。计算机程序产品还可以包含指令，当该指令被执行时，执行一种或多种方法，诸如上述的那些方法。信息载体是计算机或机器可读介质，诸如存储器504、存储设备506或处理器502上的存储器。
高速控制器508管理计算设备500的带宽密集型操作，而低速控制器512管理更低的带宽密集型操作。这种功能指派仅是示例性的。在一个实施方式中，高速控制器508耦合到存储器504、显示器516(例如，通过图形处理器或加速器)，并且耦合到可以接受各种扩展卡(未示出)的高速扩展端口510。在实施方式中，低速控制器512耦合到存储设备506和低速扩展端口514。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以例如通过网络适配器耦合到一个或多个输入/输出设备，诸如键盘、定点设备、扫描仪或网络设备(诸如交换机或路由器)。
如图所示，计算设备500可以以多种不同的形式实施。例如，它可以实施为标准服务器520，或者在一组这种服务器中多次实施。它也可以被实施为机架式服务器系统524的一部分。另外，它可以在诸如膝上型计算机522的个人计算机中实施。可选地，来自计算设备500的组件可以与移动设备(未示出)中的其他组件相结合，诸如设备550。每个这种设备可以包含计算设备500、550中的一个或多个，并且整个系统可以由彼此通信的多个计算设备500、550组成。
计算设备550包括处理器552、存储器564、诸如显示器554的输入/输出设备、通信接口570和收发器568以及其他组件。设备550还可以设置有存储设备，诸如微驱动器或其他设备，以提供额外的存储。组件550、552、564、554、570和568中的每一个都使用各种总线互连，并且若干组件可以安装在公共主板上或者以其他适当的方式安装。
处理器552可以执行计算设备500内的指令，包括存储在存储器564中的指令。处理器可以实施为芯片的芯片组，芯片的芯片组包括独立的和多个模拟和数字处理器。处理器可以提供例如设备550的其他组件的协调，诸如用户界面的控制、设备550运行的应用以及设备550的无线通信。
处理器552可以通过控制接口558和耦合到显示器554的显示接口556与用户通信。显示器554可以是例如TFT LCD(Thin-Film-Transistor Liquid Crystal Display，薄膜晶体管液晶显示器)或OLED(Organic Light Emitting Diode，有机发光二极管)显示器，或其他合适的显示技术。显示接口556可以包括用于驱动显示器554向用户呈现图形和其他信息的适当电路。控制接口558可以从用户接收命令，并转换它们以提交给处理器552。此外，外部接口562可以与处理器552通信，以使得设备550能够与其他设备进行附近区域通信。外部接口562可以例如在一些实施方式中提供有线通信，或者在其他实施方式中提供无线通信，并且也可以使用多个接口。
存储器564在计算设备550内存储信息。存储器564可以实施为一个或多个计算机可读介质、一个或多个易失性存储单元或一个或多个非易失性存储单元。还可以提供扩展存储器554，并通过扩展接口552将其连接到设备550，扩展接口552可以包括例如SIMM(单直插内存模块，Single In Line Memory Module)卡接口。这种扩展存储器554可以为设备550提供额外的存储空间，或者也可以为设备550存储应用或其他信息。具体地，扩展存储器554可以包括执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器554可以被提供作为设备550的安全模块，并且可以用允许安全使用设备550的指令来编程。此外，可以经由SIMM卡提供安全应用，以及附加信息，诸如以不可破解的方式在SIMM卡上放置识别信息。
如下讨论的，存储器可以包括例如闪存和/或NVRAM存储器。在一个实施方式中，计算机程序产品有形地体现在信息载体中。计算机程序产品包含指令，当该指令被执行时，执行一种或多种方法，诸如上述那些方法。信息载体是计算机或机器可读介质，诸如存储器564、扩展存储器554、处理器552上的存储器，或者可以例如通过收发器568或外部接口562接收的传播信号。
设备550可以通过通信接口570无线通信，通信接口570在必要时可以包括数字信号处理电路。通信接口570可以提供各种模式或协议下的通信，诸如GSM语音呼叫、SMS、EMS、或MMS发送消息、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这种通信可以例如通过射频收发器568发生。此外，可以发生短程通信，诸如使用蓝牙、WiFi或其他这种收发器(未示出)。此外，GPS(全球定位系统)接收器模块550可以向设备550提供附加的导航和位置相关无线数据，这些数据可以被设备550上运行的应用适当地使用。
设备550还可以使用音频编解码器560可听地通信，音频编解码器560可以从用户接收口头信息，并将其转换成可用的数字信息。音频编解码器560同样可以诸如通过(例如在设备550的手机中的)扬声器为用户生成可听声音。这种声音可以包括来自语音电话呼叫的声音，可以包括已记录的声音(例如，语音消息、音乐文件等)。并且还可以包括由在设备550上运行的应用生成的声音。
如图所示，计算设备550可以以多种不同的形式实施。例如，它可以实施为蜂窝电话580。它也可以实施为智能电话582、个人数字助理或其他类似移动设备的一部分。
这里描述的系统和技术的各种实施方式可以在数字电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件、和/或他们的组合中实施。这些不同的实施方式可以包括在一个或多个计算机程序中的实施方式，所述计算机程序可以在包括至少一个可编程处理器的可编程系统上执行和/或解析，所述可编程处理器可以是专用的或通用的，被耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并将数据和指令发送到该存储系统、至少一个输入设备和至少一个输出设备。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以用高级过程和/或面向对象的编程语言和/或汇编/机器语言来实施。如本文使用的，术语“机器可读介质”“计算机可读介质”指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(PLD，Programmable Logic Devices))，包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”指用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互，这里描述的系统和技术可以在具有用于向用户显示信息的显示设备(例如，CRT(cathode ray tube，阴极射线管)和LCD(liquid crystal display，液晶显示器)监视器)和用户可以通过其向计算机提供输入的键盘和指示设备(例如鼠标或轨迹球)的计算机上实施。也可以使用其他类型的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。
这里描述的系统和技术可以在包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，具有图形用户界面或网络浏览器的客户端计算机，用户可以通过图形用户界面或网络浏览器与这里描述的系统和技术的实施交互)，或者这种后端、中间件或前端组件的任意组合的计算系统中实施。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系是通过在相应计算机上运行的计算机程序产生的，并且彼此之间具有客户端-服务器关系。
虽然本公开包括一些细节，但是这些不应被解释为对本公开的范围或可以要求保护的内容的限制，而是对本公开的示例实施方式的特征的描述。在单独的实施方式的上下文中描述的某些特征也可以在单个实施方式中组合提供。相反，在单个实施方式的上下文中描述的各种特征也可以在多个实施方式中单独地或以任何合适的子组合提供。此外，尽管上述特征可被描述为以某些组合起作用，甚至最初也是这样要求保护的，但是在某些情况下，所要求保护的组合中的一个或多个特征可从该组合中删除，并且所要求保护的组合可针对子组合或子组合的变体。
类似地，尽管在附图中以特定顺序描述了操作，但这不应理解为，为了达到期望的结果需要以所示的特定顺序或按顺序执行这些操作或者需要执行所有示出的操作。在某些情况下，多任务处理和并行处理可能是有利的。此外，上述实施方式中的各种系统组件的分离不应该理解为在所有实施方式中需要这种分离，并且应该理解，所描述的程序组件和系统通常可以集成在单个软件产品中或者打包到多个软件产品中。
因此，已经描述了本公开的特定实施方式。其他实施方式也在以下权利要求的范围内。例如，权利要求中列举的动作可以以不同的顺序执行，并且仍然达到期望的结果。已经描述了许多实施方式。然而，应当理解，可以进行各种修改而不脱离本公开的精神和范围。例如，可以使用上面示出的各种形式的流程，其中步骤被重新排序、添加或移除。因此，其他实施方式也在所附权利要求的范围内。

Claims (20)

1.一种计算机实施的方法，包括：
为一个或多个实验创建包括一个或多个地理区域的初始实验组；
为初始实验组创建匹配对照组，所述匹配对照组包括不被包括在初始实验组中的一个或多个地理区域；
创建更新实验组，所述更新实验组包括来自初始实验组的地理区域和来自多个不同的有资格的地理区域中的附加地理区域，所述更新实验组相对于由初始实验组提供的模型质量指标的水平提供模型质量指标的指定增加水平；
迭代地创建以下中的每一个：i)基于更新实验组的更新匹配对照组和ii)基于更新匹配对照组的附加更新实验组，直到停止条件出现，其中，相比前一实验组，每个附加更新实验组包括附加的地理区域；
接收为给定实验指定实验组大小的输入；以及
响应于接收到为给定实验指定实验组大小的输入，使用i)包括与实验组大小匹配的某一数量的地理区域的更新实验组和ii)为所述更新实验组创建的更新匹配对照组来进行实验。
2.根据权利要求1所述的方法，其中，为所述初始实验组创建匹配对照组包括：
基于由使用初始实验组和初始实验组的初始对照组的实验模型提供的结果来确定模型质量指标的第一水平；
对于多个不同的候选对照地理区域中的每个附加地理区域：
i)创建包括附加地理区域或排除被包括在初始实验组的初始对照组中的地理区域之一的相邻对照组，以及
ii)基于由使用初始实验组和相邻对照组的实验模型提供的结果来确定模型质量指标的第二水平；
将与模型质量指标的最高第二水平对应的相邻对照组之一指派为初始实验组的匹配对照组。
3.根据权利要求1所述的方法，还包括：
获取地理需求数据，所述地理需求数据指定需要被包括在初始实验组中的一组地理区域；和
获取对照数据，所述对照数据指定被允许包括在实验的对照组中的一组地理区域，其中：
创建包括一个或多个地理区域的初始实验组包括创建初始实验组以包括需要被包括在初始实验组中的一组地理区域；和
为初始实验组创建包括不被包括在初始实验组中的一个或多个地理区域的所述匹配对照组包括，将来自被允许包括在实验的对照组中的一组地理区域的至少一个地理区域包括在所述匹配对照组中。
4.根据权利要求1所述的方法，其中，创建更新实验组包括：
对于有资格被包含在所述更新实验组中的一个或多个附加地理区域中的每个附加地理区域：
创建候选实验组，所述候选实验组包括所述附加地理区域和当前被包括在用于实验的现有实验组中的地理区域；
确定所述候选实验组是否提供比现有实验组更高水平的模型质量指标；和
基于所述候选实验组是否提供比现有实验组更高水平的模型质量指标来确定是否将所述附加地理区域添加到现有实验组，包括：当所述候选实验组提供比现有实验组更高水平的模型质量指标时，将所述附加地理区域添加到现有实验组以创建所述更新实验组，以及当所述候选实验组不能提供比现有实验组更高水平的模型质量指标时，不将所述附加地理区域添加到现有实验组。
5.根据权利要求1所述的方法，其中，迭代地创建以下中的每一个：基于更新实验组的更新匹配对照组和基于更新匹配对照组的附加更新实验组，直到停止条件出现，包括，迭代地创建所述更新匹配对照组和所述更新实验组中的每一个，直到所述更新实验组中包括最大指定数量的地理区域。
6.根据权利要求1所述的方法，其中，迭代地创建以下中的每一个：基于更新实验组的更新匹配对照组和基于更新匹配对照组的附加更新实验组，直到停止条件出现，包括，迭代地创建所述更新匹配对照组和所述更新实验组中的每一个，直到向现有实验组添加另一地理区域不能相对于由现有实验组提供的模型质量指标的水平提高模型质量指标的水平。
7.根据权利要求1所述的方法，其中，进行所述实验包括修改内容在被包括在更新实验组中的地理区域中如何分发，并且不修改内容在被包括在匹配对照组中的地理区域中如何分发。
8.一种系统，包括：
一个或多个计算机和存储指令的一个或多个存储设备，当所述指令被所述一个或多个计算机执行时，所述指令可操作为使得所述一个或多个计算机执行包括以下各项的操作：
为一个或多个实验创建包括一个或多个地理区域的初始实验组；
为初始实验组创建匹配对照组，所述匹配对照组包括不被包括在初始实验组中的一个或多个地理区域；
创建更新实验组，所述更新实验组包括来自初始实验组的地理区域和来自多个不同的有资格的地理区域中的附加地理区域，所述更新实验组相对于由初始实验组提供的模型质量指标的水平提供模型质量指标的指定增加水平；
迭代地创建以下中的每一个：i)基于更新实验组的更新匹配对照组和ii)基于更新匹配对照组的附加更新实验组，直到停止条件出现，其中，相比前一实验组，每个附加更新实验组包括附加的地理区域；
接收为给定实验指定实验组大小的输入；和
响应于接收到为给定实验指定实验组大小的输入，使用i)包括与实验组大小匹配的某一数量的地理区域的更新实验组和ii)为所述更新实验组创建的更新匹配对照组来进行实验。
9.根据权利要求8所述的系统，其中，为所述初始实验组创建匹配对照组包括：
基于由使用初始实验组和初始实验组的初始对照组的实验模型提供的结果来确定模型质量指标的第一水平；
对于多个不同的候选对照地理区域中的每个附加地理区域：
i)创建包括附加地理区域或排除被包括在初始实验组的初始对照组中的地理区域之一的相邻对照组，以及
ii)基于由使用初始实验组和相邻对照组的实验模型提供的结果来确定模型质量指标的第二水平；
将与模型质量指标的最高第二水平对应的相邻对照组之一指派为初始实验组的匹配对照组。
10.根据权利要求8所述的系统，所述操作还包括：
获取地理需求数据，所述地理需求数据指定需要被包括在初始实验组中的一组地理区域；和
获取对照数据，所述对照数据指定被允许包括在实验的对照组中的一组地理区域，其中：
创建包括一个或多个地理区域的初始实验组包括创建初始实验组以包括需要被包括在初始实验组中的一组地理区域；和
为初始实验组创建包括不被包括在初始实验组中的一个或多个地理区域的匹配对照组包括，将来自被允许包括在实验的对照组中的一组地理区域中的至少一个地理区域包括在所述匹配对照组中。
11.根据权利要求8所述的系统，其中创建更新实验组包括：
对于有资格被包含在所述更新实验组中的一个或多个附加地理区域中的每个附加地理区域：
创建候选实验组，所述候选实验组包括所述附加地理区域和当前被包括在用于实验的现有实验组中的地理区域；
确定所述候选实验组是否提供比现有实验组更高水平的模型质量指标；和
基于所述候选实验组是否提供比现有实验组更高水平的模型质量指标来确定是否将所述附加地理区域添加到现有实验组，包括：当所述候选实验组提供比现有实验组更高水平的模型质量指标时，将所述附加地理区域添加到现有实验组以创建所述更新实验组，以及当所述候选实验组不能提供比现有实验组更高水平的模型质量指标时，不将所述附加地理区域添加到现有实验组。
12.根据权利要求8所述的系统，其中，迭代地创建以下中的每一个：基于更新实验组的更新匹配对照组和基于更新匹配对照组的附加更新实验组，直到停止条件出现，包括，迭代地创建所述更新匹配对照组和所述更新实验组中的每一个，直到所述更新实验组中包括最大指定数量的地理区域。
13.根据权利要求8所述的系统，其中，迭代地创建以下中的每一个：基于更新实验组的更新匹配对照组和基于更新匹配对照组的附加更新实验组，直到停止条件出现，包括，迭代地创建所述更新匹配对照组和所述更新实验组中的每一个，直到向现有实验组添加另一地理区域不能相对于由现有实验组提供的模型质量指标的水平提高模型质量指标的水平。
14.根据权利要求8所述的系统，其中，进行所述实验包括修改内容在被包括在更新实验组中的地理区域中如何分发，并且不修改内容在被包括在匹配对照组中的地理区域中如何分发。
15.一种非暂时性计算机可读介质，其存储包括可由一个或多个计算机执行的指令的软件，所述指令在被如此执行时，使得所述一个或多个计算机执行包括以下各项的操作：
为一个或多个实验创建包括一个或多个地理区域的初始实验组；
为初始实验组创建匹配对照组，所述匹配对照组包括不被包括在初始实验组中的一个或多个地理区域；
创建更新实验组，所述更新实验组包括来自初始实验组的地理区域和来自多个不同的有资格的地理区域中的附加地理区域，所述更新实验组相对于由初始实验组提供的模型质量指标的水平提供模型质量指标的指定增加水平；
迭代地创建以下中的每一个：i)基于更新实验组的更新匹配对照组和ii)基于更新匹配对照组的附加更新实验组，直到停止条件出现，其中，相比前一实验组，每个附加更新实验组包括附加的地理区域；
接收为给定实验指定实验组大小的输入；以及
响应于接收到为给定实验指定实验组大小的输入，使用i)包括与实验组大小匹配的某一数量的地理区域的更新实验组和ii)为所述更新实验组创建的更新匹配对照组来进行实验。
16.根据权利要求15所述的计算机可读介质，其中，为所述初始实验组创建匹配对照组包括：
基于由使用初始实验组和初始实验组的初始对照组的实验模型提供的结果来确定模型质量指标的第一水平；
对于多个不同的候选对照地理区域中的每个附加地理区域：
i)创建包括附加地理区域或排除被包括在初始实验组的初始对照组中的地理区域之一的相邻对照组，以及
ii)基于由使用初始实验组和相邻对照组的实验模型提供的结果来确定模型质量指标的第二水平；
将与模型质量指标的最高第二水平对应的相邻对照组之一指派为初始实验组的匹配对照组。
17.根据权利要求15所述的计算机可读介质，所述操作还包括：
获取地理需求数据，所述地理需求数据指定需要被包括在初始实验组中的一组地理区域；和
获取对照数据，所述对照数据指定被允许包括在实验的对照组中的一组地理区域，其中：
创建包括一个或多个地理区域的初始实验组包括创建初始实验组以包括需要被包括在初始实验组中的一组地理区域；和
为初始实验组创建包括不被包括在初始实验组中的一个或多个地理区域的所述匹配对照组包括，将来自被允许包括在实验的对照组中的一组地理区域的至少一个地理区域包括在所述匹配对照组中。
18.根据权利要求15所述的计算机可读介质，其中创建更新实验组包括：
对于有资格被包含在所述更新实验组中的一个或多个附加地理区域中的每个附加地理区域：
创建候选实验组，所述候选实验组包括所述附加地理区域和当前被包括在用于实验的现有实验组中的地理区域；
确定所述候选实验组是否提供比现有实验组更高水平的模型质量指标；和
基于所述候选实验组是否提供比现有实验组更高水平的模型质量指标来确定是否将所述附加地理区域添加到现有实验组，包括：当所述候选实验组提供比现有实验组更高水平的模型质量指标时，将所述附加地理区域添加到现有实验组以创建所述更新实验组，以及当所述候选实验组不能提供比现有实验组更高水平的模型质量指标时，不将所述附加地理区域添加到现有实验组。
19.根据权利要求15所述的计算机可读介质，其中，迭代地创建以下中的每一个：基于更新实验组的更新匹配对照组和基于更新匹配对照组的附加更新实验组，直到停止条件出现，包括，迭代地创建所述更新匹配对照组和所述更新实验组中的每一个，直到所述更新实验组中包括最大指定数量的地理区域。
20.根据权利要求15所述的计算机可读介质，其中，迭代地创建以下中的每一个：基于更新实验组的更新匹配对照组和基于更新匹配对照组的附加更新实验组，直到停止条件出现，包括，迭代地创建所述更新匹配对照组和所述更新实验组中的每一个，直到向现有实验组添加另一地理区域不能相对于由现有实验组提供的模型质量指标的水平提高模型质量指标的水平。
CN201880027558.5A 2018-07-11 2018-07-11 通过地理选择提高实验结果的准确性 Active CN110892436B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2018/041671 WO2020013821A1 (en) 2018-07-11 2018-07-11 Improving accuracy of experimental results through geo selection

Publications (2)

Publication Number Publication Date
CN110892436A true CN110892436A (zh) 2020-03-17
CN110892436B CN110892436B (zh) 2023-12-19

Family

ID=63168487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880027558.5A Active CN110892436B (zh) 2018-07-11 2018-07-11 通过地理选择提高实验结果的准确性

Country Status (5)

Country Link
US (1) US20210027324A1 (zh)
EP (1) EP3619672A1 (zh)
JP (1) JP6908727B2 (zh)
CN (1) CN110892436B (zh)
WO (1) WO2020013821A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514274B2 (en) * 2020-03-30 2022-11-29 Google Llc Geographic dataset preparation system
US11843568B1 (en) * 2022-06-29 2023-12-12 Amazon Technologies, Inc. Personalized communications management

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110276392A1 (en) * 2010-05-10 2011-11-10 Google Inc. Performing Geography-Based Advertising Experiments
US8676799B1 (en) * 2010-04-15 2014-03-18 Google Inc. Evaluating techniques for clustering geographic entities
US20150169629A1 (en) * 2013-03-15 2015-06-18 Google Inc. Geographic targeting
US20160203211A1 (en) * 2013-02-18 2016-07-14 PlaceIQ, Inc. Geolocation data analytics on multi-group populations of user computing devices
CN107004205A (zh) * 2014-07-01 2017-08-01 谷歌公司 向广告主建议用于在线内容项的创意类型的系统和方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070156382A1 (en) * 2005-12-29 2007-07-05 Graham James L Ii Systems and methods for designing experiments
US8666802B2 (en) * 2010-05-20 2014-03-04 Google Inc. Classifying locations for ad presentation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8676799B1 (en) * 2010-04-15 2014-03-18 Google Inc. Evaluating techniques for clustering geographic entities
US8782045B1 (en) * 2010-04-15 2014-07-15 Google Inc. Evaluating techniques for clustering geographic entities
US20110276392A1 (en) * 2010-05-10 2011-11-10 Google Inc. Performing Geography-Based Advertising Experiments
US20160203211A1 (en) * 2013-02-18 2016-07-14 PlaceIQ, Inc. Geolocation data analytics on multi-group populations of user computing devices
US20150169629A1 (en) * 2013-03-15 2015-06-18 Google Inc. Geographic targeting
CN107004205A (zh) * 2014-07-01 2017-08-01 谷歌公司 向广告主建议用于在线内容项的创意类型的系统和方法

Also Published As

Publication number Publication date
WO2020013821A1 (en) 2020-01-16
CN110892436B (zh) 2023-12-19
EP3619672A1 (en) 2020-03-11
US20210027324A1 (en) 2021-01-28
JP6908727B2 (ja) 2021-07-28
JP2020530142A (ja) 2020-10-15

Similar Documents

Publication Publication Date Title
US11550871B1 (en) Processing structured documents using convolutional neural networks
US11544491B2 (en) Data clustering
KR101889451B1 (ko) 트레이닝 데이터를 위한 가중치 이득 평가기
US20180060122A1 (en) Method and system for predicting task completion of a time period based on task completion rates of prior time periods using machine learning
JP6443858B2 (ja) 算出装置、算出方法、学習装置、学習方法、及びプログラム
US9449283B1 (en) Selecting a training strategy for training a machine learning model
CN106774975B (zh) 输入方法和装置
US11763084B2 (en) Automatic formulation of data science problem statements
CN105719001A (zh) 使用散列的神经网络中的大规模分类
US11574233B2 (en) Suggestion and completion of deep learning models from a catalog
US20210174403A1 (en) Next best action management platform
US10142187B2 (en) Predicting an effect of performing an action on a node of a geographical network
US20200265089A1 (en) Optimizing geographic region selection
US20180121942A1 (en) Customer segmentation via consensus clustering
WO2011094934A1 (en) Method and apparatus for modelling personalized contexts
CN110892436B (zh) 通过地理选择提高实验结果的准确性
KR20190061130A (ko) 소셜 네트워크 정보와 레이팅 정보를 활용한 설명가능하고 정확한 추천 방법 및 추천 시스템
CN114972877A (zh) 一种图像分类模型训练方法、装置及电子设备
US11809808B2 (en) System, method, and computer program product for classifying service request messages
JP2022518671A (ja) デュアル・ネットワークと共に訓練された主ネットワークを介した多目的タスクの実行
US20180336588A1 (en) Customer engagement platform experimentation framework
KR20220124609A (ko) 경영 자문 정보 제공 방법 및 장치
CN112567415B (zh) 对通过网络的数字分量的分发建模
CN106716414A (zh) 动态结果
CN112352256B (zh) 优化地理区域选择

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant