CN108604350A - 用于测量传递到移动装置的信息的效果的方法和设备 - Google Patents

用于测量传递到移动装置的信息的效果的方法和设备 Download PDF

Info

Publication number
CN108604350A
CN108604350A CN201680071581.5A CN201680071581A CN108604350A CN 108604350 A CN108604350 A CN 108604350A CN 201680071581 A CN201680071581 A CN 201680071581A CN 108604350 A CN108604350 A CN 108604350A
Authority
CN
China
Prior art keywords
data
mobile device
request
group
data packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680071581.5A
Other languages
English (en)
Inventor
罗辉涛
维姆西·巴特拉
理查德·邱
普拉维什·凯泰尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Explore Advertising Ltd By Share Ltd
Original Assignee
Explore Advertising Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Explore Advertising Ltd By Share Ltd filed Critical Explore Advertising Ltd By Share Ltd
Publication of CN108604350A publication Critical patent/CN108604350A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G06Q30/0246—Traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0273—Determination of fees for advertising
    • G06Q30/0275—Auctions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services

Abstract

本申请提供用于测量传递到移动装置的信息的效果的方法和设备。在某些实施例中，由连接到分组网络的一个或多个计算机系统执行的方法包括：通过所述分组网络接收第一多个请求数据包；通过所述分组网络接收小组数据包；以及从所述第一多个移动装置中选择一组校准移动装置，所述一组校准移动装置中的每一个已传输所述小组数据包中的至少一个。所述校准移动装置用于导出校准因子。所述方法进一步包括：追踪已提供特定信息的第一数目的移动装置以确定已访问一个或多个预定义地点中的至少一个的第二数目的所暴露存储器装置；以及使用所述第一数目、所述第二数目和所述校准因子计算传递到所述第一数目的移动装置的所述特定信息的效果的度量。

Description

用于测量传递到移动装置的信息的效果的方法和设备
相关申请案的交叉参考
本申请案要求2016年10月7日提交的第62/238,122号美国临时专利申请案以及2016年6月22日提交的第62/353,036号美国临时专利申请案的权益和优先级，所述申请案中的每一个通过引用以其全文并入本文中。
技术领域
本申请涉及信息服务，且更具体地说，涉及用于测量传递到移动装置的信息的效果的方法和设备。
背景技术
智能电话和其它形式的移动装置正被越来越广泛地使用。如今，人们使用移动装置与其它人保持联系并且获得由发布商和应用程序开发商提供的信息和服务。为了保持信息和服务免费以及低成本，发布商和应用程序开发商至少部分通过向参与其的移动装置传递赞助信息来为活动提供资金。赞助信息由通过基于用户的移动装置的位置而向用户的移动装置传递相关信息的赞助商提供。随着移动装置的使用变得越来越普遍，信息赞助商对其信息投放活动的有效性或性能(即，提升)进行准确测量是非常重要的。
常规上，基于小组的方法已用于测量信息活动性能。所述方法涉及注册为组员的一组用户，所述用户同意通过参与调查或同意由某种软件跟踪来共享其行为。暴露于信息活动的组员的行为随后与未暴露于信息活动的那些人的行为相比较，以获得活动性能或提升的测量结果。然而，基于小组的测量具有以下问题：(a)所述测量需要一组组员；(b)组员的组合可以与暴露于活动的移动用户的实际组合有很大不同，从而导致提升分析出现偏差；以及(c)为了避免采样误差，维持所需的一大群组员的费用很高。例如，如果家得宝(Home Depot)广告活动将距家得宝商店一英里半径内的移动装置作为目标，则许多暴露组员将比未暴露组员更倾向于访问商店，从而导致广告提升的有偏差的测量。一般来说，用于信息活动的任何目标属性可以潜在地产生此偏差。
附图说明
图1是根据实施例的分组网络的图示。
图2是根据实施例的执行方法中的一个或多个和/或提供用于提升测量的系统的部分或全部的计算机/服务器的图示。
图3是根据某些实施例的提升测量系统的图示。
图4是说明根据某些实施例的用于处理信息请求的方法的流程图。
图5是根据某些实施例的说明用于提升测量的方法的流程图。
图6是根据某些实施例的说明三种不同类别的移动装置(或用户)的图示。
图7是说明根据某些实施例的处理后的请求数据库中的示例性内容的表格。
图8A和8B是说明根据某些实施例的选择用于提升分析的测试组和对照组中的移动用户的可能不同组合的条形图。
图9A到9C是说明信息活动飞行，以及在信息活动期间用于确定测试组和对照组以及用于计算提升的曝光窗和属性窗的曲线图。
图10是说明用于计算自然趋势测量以说明不归因于暴露于广告活动的测试组中的用户的目标响应的更强趋势的信息活动飞行和回顾窗选择的曲线图。
图11是说明根据某些实施例的用于投射暴露于信息活动的移动用户的实际目标响应速率的频率建模方法的流程图。
图12是说明针对拟合到模型函数的相应频率桶计算的目标响应速率数据点的曲线图。
图13是说明小组上的合格移动装置(用户)和通过信息服务器系统看到的合格移动装置(用户)的重叠的图示。
图14是说明根据某些实施例的估计实际目标响应速率的小组辅助方法的流程图。
具体实施方式
本申请提供测量传递到移动装置的信息的有效性的方法和设备。该方法和设备允许移动信息赞助商通过检测在暴露于信息之后的移动用户的目标响应来测量其信息活动的有效性或性能，由此将信息活动如何影响移动用户行为量化。
图1说明分组网络100(本文有时称为“云平台”)。在一些实施例中，所述分组网络包括蜂窝网络101、互联网110以及连接到互联网(或网络)110的计算机/服务器120的部分或全部。计算机/服务器120可以使用以下方式连接到互联网110：有线以太网以及任选地电力以太网(PoE)、WiFi和/或通过包括多个蜂窝塔101a的蜂窝网络101的蜂窝连接。网络还可以包括一个或多个网络连接存储(network attached storage，简称“NAS”)系统121，所述NAS系统是连接到计算机网络以向客户端的异构组提供数据访问的计算机数据存储服务器。如图1所示，一个或多个移动装置130(例如智能电话或平板计算机)还通过到蜂窝网络101的蜂窝连接而连接到分组网络，所述蜂窝网络通过互联网网关连接到互联网110。当WiFi热点(例如，热点135)可用时，移动装置130可以使用其内置WiFi连接通过WiFi热点135连接到互联网110。因此，移动装置130可以与连接到互联网110的其它计算机/服务器交互。
连接到互联网的计算机/服务器120可以包括一个或多个发布商，其与运行由发布商提供的应用程序的移动装置交互；一个或多个信息中间商或信息网络，其用作发布商与信息提供商之间的媒介；一个或多个信息服务器，其选择信息并将信息发送到发布商以在移动装置上发布；运行信息交换的一个或多个计算机/服务器；在信息交换时发布移动供应的一个或多个计算机/服务器；和/或一个或多个信息提供商，其监视信息交换并且对信息交换中发布的移动供应进行投标。发布商在与移动装置交互时产生移动供应，所述移动供应可以是对呈携带移动装置的特征的数据包形式的信息、关于其用户的某些信息，以及与移动装置相关联的原始位置数据等的请求，等。发布商可以在信息交换时发布移动供应以供信息或其代理投标，将移动供应传输到信息代理或信息中间商以供履行，或履行供应本身。
信息服务的一个实例是在移动装置与发布商和应用程序开发商交互时，将广告传递给移动装置。广告商(信息提供商)、代理商、发布商和广告中间商还可以通过广告交易所购买移动供应。广告网络和其它实体还从交换所购买广告。广告网络通常聚合来自一系列发布商的库存并且将其出售给广告商来获利。广告交易所是使广告商和发布商能够购买和出售广告空间(显示)和移动广告库存的数字市场。显示的价格可以通过被称为实时投标的过程由实时竞价确定。这表示销售人员不需要与买家协商价格，因为显示仅拍卖给出价最高者。当移动装置加载应用程序或网页时，这些过程以毫秒为单位发生。
广告商和代理商可以使用需求方平台(demand-side platforms,简称“DSP”)。DSP是使用某些算法来决定是否购买某种供应的软件。许多广告网络现在还提供某种类别的类似DSP的产品或实时投标能力。由于在线和移动发布商通过交换所使他们的更多库存可用，因此对于许多广告商来说，使用DSP购买广告的成本效益更高。
广告服务器是由数据库服务器支持的计算机服务器，例如，网络服务器。计算机服务器存储用于在线销售的广告并将广告放置在网站和/或移动应用程序上。网络服务器的内容不断更新，使得在用户访问或刷新网站或页面时，其上显示广告的网站或网页包含新广告，例如，横幅(静态图像/动画)或文本。除了选择广告并将广告传递给用户之外，广告服务器还管理网站广告空间和/或为广告商提供独立的计数和追踪系统。因此，广告服务器提供/投放广告，对广告进行计数，选择将使网站或广告商赚钱最多的广告，以及监视不同广告活动的进程。广告服务器可以是发布商广告服务器、广告商广告服务器和/或广告中间商广告服务器。广告服务器可以是还用作发布商、广告商和广告中间商的相同计算机或服务器的一部分。
广告服务还可以涉及不同的其它任务，例如，对广告活动的显示/点击次数进行计数以及生成报告，这有助于确定特定网站上广告商的投资回报率(the return oninvestment,简称“ROI”)。广告服务器可以本地或远程运行。本地广告服务器通常由单个发布商运行并向该发布商的域投放广告，从而允许该发布商进行细粒度广告素材、格式和内容的控制。远程广告服务器可以在多个发布商拥有的域商投放广告。远程广告服务器从一个中心源传递广告，使得广告商和发布商可以追踪其在线广告的分布，并且具有用于控制其广告在网络上的轮播和分布的一个位置。
计算机/服务器120可以包括服务器计算机、客户端计算机、个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理装置(PDA)、网络设备、网络路由器、交换器或桥接器，或能够执行指定由计算装置获取的动作的指令的任何计算装置。如图1中所示，计算机/服务器120中的一些通过局域网(LAN)110彼此连接，进而连接到互联网110。此外，本申请文件提到的每个计算机/服务器120可以包括计算装置的任何集合，该计算装置单独地或共同地执行指令以提供本申请文件论述的系统中的一个或多个，或者执行本申请文件论述的方法或功能中的任何一个或多个，或者单独地或共同地作为采用本申请文件论述的系统，方法和功能的发布商、广告商、广告代理商、广告中间商、广告服务器、广告交易所等中的一个或多个。
图2是计算机/服务器120的图示，该计算机/服务器120可以用于通过执行某些指令提供系统和/或执行用于广告提升测量的方法。计算机/服务器120可以作为独立装置或点对点(或分布式)网络计算环境中的对等计算装置。如图2所示，计算机/服务器120包括一个或多个处理器202(例如，中央处理单元(CPU)、图形处理单元(GPU)和/或数字信号处理器(DSP))以及通过系统总线200彼此连接的系统或主存储器204。计算机/服务器120可以进一步包括静态存储器206、网络接口装置208、存储装置210、一个或多个显示装置230、一个或多个输入装置234和信号产生装置(例如，扬声器)236，处理器202可以通过系统总线200与所述信号产生装置通信。
在某些实施例中，显示装置230包括一个或多个图形显示单元(例如，等离子显示面板(PDP)、液晶显示器(LCD)、投影仪或阴极射线管(CRT))。输入装置234可以包括字母数字输入装置(例如，键盘)、光标控制装置(例如，鼠标、轨迹球、操纵杆、运动传感器或其它指向仪器)。存储单元210包括在其上存储指令216(例如，软件)的机器可读介质212，这些指令用于实现本申请文件所论述的商店提升测量的系统、方法或功能。存储单元210还可以存储由系统、方法或功能使用和/或产生的数据218。指令216(例如，软件)可以在其执行期间由计算机/服务器120完全或部分加载在主存储器204内或处理器202内(例如，处理器的高速缓冲存储器内)。因此，主存储器204和处理器1102还构成机器可读介质。
尽管计算机可读介质212在实例实施方案中示出为单个介质，但是术语“计算机可读介质”应被视为包括能够存储指令(例如，指令1124)的单个介质或多个介质(例如，集中式或分布式数据库，或相关联的高速缓存器和服务器)。术语“机器可读介质”还应被视为包括能够存储用于由计算机/服务器120执行的指令(例如，指令216)并使计算装置1100执行本申请文件所公开的方法中的任一个或多个的任何介质。术语“机器可读介质”包括，但不限于，采用固态存储器、光学介质和磁性介质的形式的数据存储库。在某些实施例中，指令216和/或数据218可以存储在网络100中并由计算机/服务器120通过其网络接口装置208访问，所述网络接口装置208通过某种类型的网络连接器280a提供到网络的有线和/或无线连接，例如，局域网111和/或广域网(例如，互联网110)。指令216(例如，软件)和/或数据218可以通过网络接口装置208传输或接收。
图3是根据某些实施例的通过本地或远程地彼此连接的一个或多个计算机/服务器系统120提供的提升测量系统(LMS)300的图示。如图3所示，计算机/服务器系统120中的处理器202在执行加载在其各自的一个或多个主存储器204中的一个或多个软件程序301时提供一组模块，这一组模块包括请求处理模块310、请求履行模块315、面板信号处理模块、提升分析模块325、追踪模块330和校准模块335。系统300利用存储由LMS 300使用和/或生成的数据的多个数据库302，包括空间索引数据库350，其将与各个兴趣点对应的预定义地点的空间索引存储在其中；请求日志数据库355，其将从请求处理模块310产生的处理后的请求存储在其中；活动数据库360，用于将例如活动标准和活动文档或链接的活动信息存储在其中以服务于移动装置；历史数据存储装置365，其将与请求处理模块310所看到的移动装置的活动有关的历史数据存储在其中；显示日志文件数据库370，用于存储由请求履行模块315产生的日志文件；以及校准数据库，其将例如由校准模块产生的校准面板信息和结果的校准数据存储在其中。这些数据库中的任何或全部数据库可以位于在LMS 300中或在网络100中的另一个服务器/计算机120和/或NAS 121中提供模块的一个或多个计算机/服务器系统的相应存储装置210中，处理器202可以通过网络接口装置208访问所述存储装置。
在某些实施例中，请求处理模块310通过网络110接收和处理通过信息服务器，例如，移动发布商、广告中间商和/或广告交易所等展示的信息请求。每个信息请求与移动装置有关并且以例如包括携载相应信息的数据单元的数据包的形式到达LMS 300。所述信息可以为移动装置(或其用户)的标识(UID)、移动装置的制造商/型号(例如，iPhone 6S)、在移动装置上运行的操作系统(例如，iOS 10.0.1)、移动装置的用户的属性(例如，年龄、性别、教育程度、收入水平等)、移动装置的位置(例如，城市、州、邮政编码、IP地址、纬度/经度或LL等)。请求数据包还可以包括请求时间戳、请求ID和其它数据/信息。如在通过引用全文并入本申请中的2015年5月19日提交的，发明名称为“用于销售移动广告供应的系统和方法(System and Method for Marketing Mobile Advertising Supplies)”的第14/716,811号待审的美国专利申请案中所描述，在某些实施例中，请求处理模块310执行方法400以处理请求数据包，如图4中所说明。方法400包括通过到网络(例如互联网)的连接接收信息请求(410)；基于信息请求中的位置数据导出移动装置位置(420)；确定移动装置位置是否触发一个或多个预定义地点或地理围栏(430)；向广告服务系统提供处理后的请求(440)；以及将处理后的请求存储在请求数据库350中，用于广告提升分析。
在某些实施例中，导出移动装置位置(420)包括使用智能定位系统和方法处理请求中的位置信息，所述智能定位系统和方法在2015年5月19日提交的，发明名称为“用于估计移动装置位置的系统和方法(System and Method for Estimating Mobile DeviceLocations)”的第14/716,816号待审的美国专利申请案中描述，所述申请案通过引用全文方式并入本申请中。导出的移动装置位置用于在空间索引数据库350中搜索一个或多个地点，与请求有关的移动装置可以位于所述一个或多个位置中。如果发现广告请求已触发空间索引数据库350中的一个或多个地点，则用对应于一个或多个地点的标签对请求进行注释，所述标签标识商业/品牌名称、与商业/品牌名称相关联的产品或服务类别，以及地点类型(例如商店、停车场、街区等)，从而产生注释请求。处理后的请求存储在请求日志355中。
在某些实施例中，请求履行模块315将注释请求410与存储在活动数据库360中的多个信息活动的匹配标准相比较。在确定注释请求中的数据单元和标签匹配一个或多个信息活动并且一个或多个信息活动的预设预算尚未用完之后，请求履行模块315选择一个或唯一或多个信息活动(有时考虑关于存储在历史数据数据库365中的相关移动装置(用户)的行为的历史数据)，通过将链接附加到一个或多个信息活动中的一个相关联的文档来使请求成为注释请求，以及通过网络110将注释请求传输到信息服务器，例如移动发布商，广告中间商和/或广告交易所等。请求履行模块315还监视来自信息服务器的反馈，所述反馈指示与一个或多个信息活动相关联的文档是否已经被传递到相关移动装置(或显示在相关移动装置上)并且将反馈存储在显示日志370中。
图5说明由提升分析模块325执行的方法500，该方法用于不使用静态小组而测量信息活动的性能。根据某些实施例，方法500包括当请求履行模块315处理实时或之后来自请求日志355和/或显示日志370的信息请求时，识别(510)合格的请求；将与合格请求相关联的移动装置划分(520)成测试组和对照组；追踪(530)测试组和对照组的活动；为测试组和对照组中的每一个导出(540)目标响应率(例如，商店访问率)(SVR)；以及获得(550)从商店访问率产生的提升结果。
如图5所示，在请求正被处理之时或之后，与请求相关联的移动装置(或其用户)由提升分析模块325分类成三组：请求用户、合格用户和暴露用户。图6显现针对给定信息活动，请求用户、合格用户与暴露用户之间的关系。请求用户中的每一个可以是在信息活动的飞行期间与至少一个请求相关联的任何用户。在请求用户中，与有资格用于信息活动的信息请求相关联的那些用户称为合格用户。在某些实施例中，如果信息请求符合信息活动的某些定向标准(人口统计、日期时间、地点等)，则信息请求有资格用于信息活动。
在基于实时投标(Real Time Bidding,简称“RTB”)的典型广告服务系统中，合格请求并不总是得到满足，因此导致显示事件。例如，广告活动可能用完每日预算，或者相同的请求有资格用于多于一个活动，或者请求履行模块315没有赢得投标，尤其在RTB定价竞争中，或者请求履行模块315指定的广告素材(文档)由于不兼容性问题等而未能在相关联的移动装置上显示。因此，在合格用户中，响应相关联的请求而被显示广告的那些用户被分类为暴露用户。
因此，提升分析模块325基于请求日志355和/或显示日志中的数据来确定用于提升测量的移动装置组。提升分析模块325将用户和/或装置划分成用于相应信息活动的对照组(对照小组)和测试组(测试小组)，其中用户和/或装置由移动电话的唯一设备标识符(UDID)、广告标识符(IDFA)或GIDFA，或由与发布商相关的网络跟踪器(cookie)或登录ID表示。这两个小组都是在信息活动的飞行期间从广告投放系统看到的请求中动态提取的。
在某些实施例中，提升分析模块325选择暴露用户的全部或子集作为测试小组，并且选择作为未暴露用户的合格用户的全部或子集作为对照小组。在某些实施例中，提升分析模块325包括标记函数和聚合函数。标记函数结合请求履行模块315运行，所述请求履行模块产生请求日志355和显示日志370。
请求日志355以例如每个合格请求的(user_id、ad_1、ad_2、...、ad_n)的元组形式跟踪其有资格的请求和信息活动，其中user_id表示请求的移动用户。并且(ad_1、ad_2、...、ad_n)指示请求合格的信息活动。显示日志370成功地记录显示有与信息活动相关联的相关信息的每个用户，所述信息活动根据某些实施例呈现为(user_id、ad_id)对的阵列。
提升分析模块325处理每个信息活动的请求日志355和显示日志370，以确定已暴露于活动作为测试组的用户的列表，以及有资格参与活动，但未暴露于活动作为对照组的用户的列表。
给定测试组和对照组，跟踪模块330测量两个组中的用户的目标响应，例如在组中的移动用户已被确定为合格用户之后发生的商店访问、购买等。跟踪模块330利用请求数据库355中的对照组和测试组数据，以及通过网络110获得的和/或存储在请求数据库355中的一些第三方数据或第一方数据，以获得对照组和测试组中的用户的曝光后活动的记录。第三方数据可以是通过结账页面上的在线跟踪像素跟踪，或通过Paypal等移动付费软件跟踪的用户购买活动。购买活动还可以从第一方数据，例如，直接来自广告商的销售报告中获得。
在某些实施例中，感兴趣的用户活动是商店访问(SV)，并且信息活动的类型是移动广告(ad)活动，其中广告请求包括移动用户位置信息。在某些实施例中，测试组用户和对照组用户的商店访问(SV)活动可以源自其在请求数据库355中记录的相关联的后续广告请求。图7说明请求数据库中所记录请求的实例，对于每个所记录的请求，所述请求数据库包括用户ID(UID)或装置ID、移动装置的制造商/型号、移动用户的年龄、性别和教育水平等、装置位置已触发的一个或多个商业/品牌名称、装置位置已触发的地点的类型(例如，用于商业建筑的类型X、用于商业区附近的停车场或购物中心的类型Y，以及用于商业区所在的街区的类型Z等)以及请求的时间等。在某些实施例中，与广告请求相关联的商业/品牌名称使用2015年5月19日提交的，发明名称为“用于销售移动广告供应的系统和方法(Systemand Method for Marketing Mobile Advertising Supplies)”的第14/716,811号待审的美国专利申请中描述的方法获得，所述申请案的全部内容通过引用全文的方式并入本申请。在某些实施例中，跟踪模块330搜寻所记录的请求以查找与对照组和测试组中的移动用户相关联的条目并检查这些条目是否还包括指示广告活动所需的商店访问事件的装置位置和/或商业/品牌名称。
在一些实施例中，只有在显示之后的指定时间段(例如，2周)内进行访问时，才将SV事件归因于测试组中的用户。类似地，只有在用户已获得广告资格后的指定时间内进行访问时，才将SV事件归因于对照组中的用户。在一些实施例中，商店的“雇员”源自相关联的SV事件的频率和/或持续时间，并且从测试组和对照组中移除。
在某些实施例中，提升分析模块导出对照组和测试组的活动度量并生成商店访问提升结果。例如，可以针对测试组和对照组中的每一个采用如下公式计算出商店访问率度量：
在某些实施例中，如果在访问之后存在多次曝光，则在上述SVR计算中仅考虑一次访问。在某些实施例中，如果在曝光之后存在多次访问，则在上述SVR计算中仅考虑一次访问。
商店访问提升度量可以计算为：
如果性能目标是购买，则可以为性能度量定义对应的一组度量。
上述计算基于测试小组和对照小组在主要元数据维度上平衡的假设。在某些实施例中，构建划分模块310以确保小组选择过程在主要元数据维度上的平衡。例如，如果活动不是按性别定向的，则划分模块必须确保对照小组和测试小组应该具有男性和女性的平等混合，以消除性别偏见。如果活动没有定向于任何特定的流量源(移动应用程序或网站)，则小组选择还应避免两个小组之间的流量源分布不均。
图8A和8B说明在小组选择过程期间如何形成性别偏见的实例，这可能导致偏态的广告提升计算。如图8A所示，如果活动不是按性别定向的，则合格用户应包括大致相同数目的男性用户(810)和女性用户(820)。然而，实际上，广告服务过程可以形成性别偏见，从而导致对照小组和测试小组具有不相等的女性/男性比率。例如，图8B说明测试小组和对照小组的女性/男性比率的明显不平衡。如图8B所示，框830表示暴露于活动并由此分配给测试组的女性用户的数目，而框840表示未暴露于活动并由此分配给对照组的女性用户的数目。同样，框850表示暴露于活动并由此分配给测试组的男性用户的数目，而框860表示不暴露于活动并由此分配给对照组的男性用户的数目。
仍参考图8B，框832表示已经具有至少一个曝光后SV事件的框830中的用户，而框842表示已经具有至少一个SV事件，而没有任何暴露于广告活动的框840中的用户。同样，框852表示已经具有至少一个曝光后SV事件的框850中的用户，而框862表示已经具有至少一个SV事件，而没有任何暴露于广告活动的框860中的用户。为了说明图8B中所示的不平衡如何可以产生偏态或甚至错误的广告提升结果，假设合格用户的总数目是2000，包括框810中1000个女性用户以及图8A中的框820中的1000个男性用户，下表I列出图8B中的框中的用户的示例性数目。
如表I所示，由于测试组和对照组的女性/男性比率不平衡，即使暴露于广告活动并没有使已具有SV事件的男性或女性用户的百分比产生任何差异(在测试组和对照组两者中，已具有SV事件的女性用户的百分比约为20％，并且已具有SV事件的男性用户的百分比约为10％)，SVL计算仍然产生积极的结果，从而指示广告提升。
在某些实施例中，为了避免产生此偏态或错误的提升结果，划分模块310用于确保主要元数据维度上的平衡。例如，在图8B中所示的情况下，划分模块310可以移除测试组中的女性用户的一部分(例如，500)以及对照组中的男性用户的一部分(例如，500)，以确保两组中的女性/男性比率平衡，如表II中所示。
或者，特别是当不存在足够数目的合格用户时，最好保持每个小组中的用户数并且在分析阶段期间作出调整。例如。提升分析模块可以将数量较少的元数据部分中的用户数量相乘，以形成组之间的人为平衡，如III中所示。
表I
表II
表III
在某些实施例中，广告活动飞行(即，广告活动的持续时间)被划分为包括多个窗，并且首先为每个窗计算商店访问提升，然后在多个窗上平均，以达到最终提升。随着广告活动的进行，用户有更大机会进入测试用户组，此方法是必不可少的。例如，广告活动飞行可能持续数周，随着显示数随着时间的推移而增加，越来越多的移动用户变得暴露于广告活动，如通过图9A中的曲线910所说明。因此，如果测试组和对照组基于在活动的整个飞行期间接收到的广告请求确定，则可能会导致对照和测试用户组的大小出现偏差，因为在广告活动的第1周期间未暴露于广告活动的用户可能在接下来几周遇到广告活动。应注意，移动用户可能在活动飞行期间多次暴露于广告活动，因此图9A中的显示次数不一定等于暴露的移动用户的数目。
为了解决此偏态，如图9B所示，广告活动的飞行被划分为包括多个曝光窗，例如EW1、EW2、...、和EW6，每个曝光窗分别与访问分配窗，例如，AW1、AW2、...、和AW6相关联。对于每个曝光窗，对照用户小组和测试用户小组基于在曝光窗期间的广告请求和广告投放确定，并基于在相关联的访问分配窗期间的商店访问计算提升。如上所述确定用于每个曝光窗的组员和商店访问提升度量。整体访问提升通过对多个曝光窗平均化来计算，如下所示：
SVL＝平均(SVLi)，其中SVLi是针对第i个曝光窗计算的提升
表IV示出用于使用六个曝光窗计算的广告活动的总体SVL的实例：
表IV
EW1 EW2 EW3 EW4 EW5 EW6 总体
5％ 10％ 15％ 10％ 5％ 15％ 10％
在图9B中，每个提升分配窗(例如，AW1)被示为与其相关联的曝光窗(例如，EW1)重叠。在这种情况下，即使在曝光窗结束时确定测试组和对照组，在曝光窗(例如，SVL1)的商店访问提升的计算中也考虑在曝光窗(例如，EW1)期间以及之后发生的商店访问。在其它实施例中，如图9C所示，每个提升分配窗(例如，AW1)不与其相关联的曝光窗(例如，EW1)重叠。因此，在曝光窗(例如，SVL1)的商店访问提升的计算中不考虑在曝光窗(例如，EW1)期间发生的商店访问。
在某些实施例中，使对测试组中的用户的广告曝光效果随时间衰减。因此，随着广告曝光与商店访问之间的延迟增加，引起所述访问的广告曝光的效果减小。为了避免在商店访问提升计算中出现过多陈述(over statement)，初次参加测试组的用户可能随着广告活动进行而漂移到对照组，除非所述用户再次暴露于广告活动。在某些实施例中，定义衰减函数，所述衰减函数基于用户多久以前已暴露于广告活动来确定用户对测试组或对照组的贡献。在用户暴露于广告活动的那一天，用户100％在测试组中，并且随着广告活动的进行，此贡献百分比降低，直到用户再次暴露。用户的剩余百分比计入对照组。因此，在曝光窗结束时，测试组(NT)中的用户数目和对照组(NC)中的用户数目可以如下计算：
NT＝∑F(T-Tj)，以及
NC＝∑(1-F(T-Tj))，
其中Tj表示第j个合格用户暴露于广告活动的时间，T表示在曝光窗结束时的时间，F(T-Tj)表示衰减函数，并且总和超过合格用户。衰减函数可以是线性衰减函数，例如，
F(T-Tj)＝1-(T-Tj)/(T-T0)，
其中T0表示曝光窗的开始时间。衰减函数还可以是指数函数，例如，
F(T-Tj)＝e-(T-Tj)/(T-T0)，
或适用于特定广告活动的任何其它衰减函数。
如果广告活动定向于具有访问商店的较强自然倾向的用户，则测试组可以由非自然大的百分比的此类用户构成，并且提升计算可能会夸大广告活动的效果。在某些实施例中，测试组中的一些用户访问与广告活动相关联的商店的更强烈自然倾向被计算，并从商店访问提升计算中取消，以免夸大广告活动的效果。在某些实施例中，如图10所示，为了捕获和消除上述偏差，检查在开始广告活动之前在时间窗(回顾窗，或LBW)中的移动用户的商店访问记录，并将其用于计算测试组中的移动用户的自然倾向度量(NTM)，尽管这些移动用户在活动期间在曝光窗(EWX)结束时分配给测试组。
在此过程中，基于在曝光窗(EWX)期间处理的合格广告请求确定对照用户小组或对照组以及测试用户小组或测试组。将活动开始之前的回顾窗(LBW)选择为紧挨活动之前，并且所述LBW优选地与EWX相关联的分配窗(AWX)具有相同或相似的大小。测试组中的移动用户的自然倾向度量(NTM)可以使用用于计算商店访问提升的上述方法之一来计算，就好像测试组中的用户已暴露于广告活动一样。换句话说，在广告活动开始之前在回顾窗(LBW)期间为这两组用户计算商店访问率，并且所述商店访问率用于计算回顾窗的“店铺访问提升”(SVLLook-Back)。如上所述计算在活动飞行期间的店铺访问提升(SVLcampaign flight)，并且网店访问提升测量为：
SVL＝SVLcampaign flight-NTM，其中NTM＝SVLLook-Back。
表V说明网店访问提升计算的结果的实例，所述网店访问提升计算消除由测试组用户的商店访问的更强自然倾向引起的偏差。
表V
SVLcampaign flight NTM SVL
20％ 10％ 10％
在一些其它实施方案中，LBW可以选择为不一定紧挨在活动开始之前的窗。例如，LBW可以选择为在活动开始之前某处，但与EWX或AWX窗具有相等的工作日和周日混合。
或者，不使用LBW，而将散列函数可以构建到请求履行模块315中，以故意跳过一些用户，这些用户却会被广告商选择显示(例如，具有最后或第一数字为“0”的用户ID数的用户)。换句话说，不试图显示尽可能多的青睐用户(例如，具有访问商店的更强烈自然倾向的用户)，而将尽可能多的此类用户移动到测试组中，并将剩余用户留在对照组，广告服务过程可以用于随机选择青睐用户的百分比(例如，10％)以形成对照组。因此，对照组主要由被广告服务过程跳过的，却在曝光窗期间会进入测试组的那些青睐用户构成。因此，对照组和测试组中的用户配置文件几乎完全相同。
理想地，测试组和对照组应具有大致相同的用户数目。然而，此理想情况不能仅使用更高百分比(例如50％)的散列函数来实现，因为并非发送到信息服务器(例如，移动发布商、广告中间商和/或广告交易所等)的所有处理后的请求实际上会造成显示。因此，50％散列函数将导致测试组中的用户少于对照组中的用户，并且牺牲过量的请求库存来创建由测试组中的类似移动用户组成的对照组。为了解决此问题，请求履行模块315使用10％散列函数并且包括计数器，所述计数器保持反映测试组中的移动用户的数目与对照组中的移动用户的数目之间的差的计数。每当来自信息服务器的反馈指示响应于对特定活动的有利请求的显示时，计数增加1，并且每当有利请求被分配给对照组时，计数减小1。设计请求履行模块315，使得当技术是1或更大时，此有利请求仅被分配给对照组。因此，在开始时，由于10％散列函数，有利请求导致的显示超过了分配给控制组的显示，并且计数增加多于减小。但是，在活动开始用尽预算之后，更多有利请求被分配给对照组，而不是导致显示，直到计数达到0。因此，不仅对照组和测试组中的用户配置文件几乎相同，而且对照组和测试组中的用户数目几乎相等，从而确保去除由有利于某些用户的广告服务过程引起的偏差。
注意到使用以下公式计算SVR：
此计算通常不单独作为广告活动的效果的实际表示，因为虽然可通过对用户组中的用户数目计数容易地获得分母，但分子通常不表示用户组中已访问商店的实际用户数目，因为这些用户中的大部分不能随时访问其位置。在典型的移动广告网络设置中，仅当与移动用户相关联的广告请求被发送到广告服务器时，用户的位置(例如，经度和纬度，或LL)才与广告服务器共享。如果用户的移动装置没有运行在用户访问商店时向广告服务器发送广告请求的应用程序，则此访问对于LMS 300是不可见的，因此不计入SVR计算的分母中。在上述商店访问提升计算中，这不是大问题，其中商店访问提升测量计算为：
其中SVR_test和SVR_control的比率用于计算SVL。
在一些应用中，不使用SVR_test和SVR_control的比率测量广告活动的店铺访问提升，信息发起人可能想要知道已对传递信息作出响应的移动用户的实际数目。这需要在暴露于信息之后对具有目标响应的移动用户进行更准确的计数。
在某些实施例中，频率建模方法用于投射在广告曝光之后访问目标商店的移动用户的更准确计数。如图11所示，使用根据某些实施例的频率建模方法1100，将暴露于广告活动的移动用户分成(1110)多个频率桶，每个频率桶与请求处理模块310看到移动用户的频率范围相关联，并且由提升分析模块325为频率桶中的每一个计算SVR值(1120)。在某些实施例中，可以在预定时间窗(30天)期间，频率可以测量为与移动用户有关的请求在请求处理模块310处出现的天数。因此，仅在30天中的一天内出现的移动用户在访问目标商店期间被捕获的可能性低于在30天中的10天内出现的移动用户。因此，从较低频率桶中的移动用户计算出的SVR将低于从较高频率桶中的移动用户计算出的SVR，如图12所示。
参考图11和12，方法1100进一步包括根据模型函数对计算出的SVR值进行拟合(1130)。例如，图12中的SVR数据点可以拟合到以下指数模型函数：
y＝a/(1+exp(-b*x+1))。
通过将此函数拟合到图12中的数据点，其中x对应于桶频率(Imp)并且y对应于相应桶的SVR值，参数a和b可以被确定。当x接近无穷大时，方法1100随后确定(1140)模型函数的收敛值，在这种情况下x等于a。可以将整个移动用户组的实际SVR估计为(1150)此收敛值，其对应于当在预定时间窗期间广告投放系统可以一直看到移动用户时的预测情况。换句话说，图12中所示的曲线图被外插以找到在广告服务网络上看到无数次的投影用户组的SVR。
在某些实施例中，小组辅助方法用于估计实际SVR。使用此方法，合格移动用户的初始小组用于导出乘数值，所述乘数值用于由LMS 300进行的随后的SVR计算。在某些实施例中，用户的初始小组中的组员是合格的移动用户，所述合格的移动用户已同意通过在其移动装置上安装并运行后台指定的应用程序而以非常高的频率(例如，每20分钟或10分钟或更短时间内一个数据包)与LMS 300共享其移动装置位置。移动装置上的指定应用程序被设计成以例如数据包的形式以预定频率(例如，每10分钟)提供移动装置的位置(例如，LL)，所述数据包还包括相应移动装置的标识以及其它相关信息。由于位置共享的高频率，组员的大部分商店访问对于现在接收两种类型的传入数据包的LMS 300是可见的，所述两种类型的传入数据包(即，来自信息服务器，例如移动发布商、广告中间商和/或广告交易所等的信息请求)，以及来自运行指定应用程序的小组移动装置的数据包。
图13说明三组移动用户，组A是小组中的合格的移动用户，组B是由于相关联的广告请求已经被LMS 300“看到”的合格的移动用户，并且组C是既在组A又在组B中的移动用户。因此，组C是一直在使用向LMS 300发送广告请求的应用程序并属于在其移动装置的后台中运行指定的应用程序的小组的移动用户。组C将用于小组协助方法，以确定用于实际SVR估计的乘数值。
图14说明根据某些实施例的用于估计实际SVR的小组协助方法1400。如图14所示，使用方法1400，请求履行模块315从第一组移动用户(例如，组A)接收信息请求并处理所述信息请求，而校准模块335从第二组移动用户(例如，组B)接收小组数据包并处理所述小组数据包(1410)。处理后的信息请求存储于请求日志355中，如上文所述。处理后的小组数据包还可以存储在请求日志355或校准数据库375中。校准模块335随后确定校准用户组(组C)，其中每个用户既在第一组移动用户又在第二组移动用户之中(1420)。使用从校准用户组中的移动用户接收到的小组数据包，校准模块335确定已访问出于校准目的选择的一组校准POI中的至少一个的第一数目的移动用户(1430)。使用从校准用户组中的移动用户接收的信息请求，校准模块335确定已访问所述组校准POI中的至少一个的第二数目的移动用户(1440)。现在，第一数目应该更多地表示校准组中已访问校准POI的移动用户的实际数目，因为其位置更经常与LMS 300共享。第二数目是不具有指定应用程序的LMS 300看到的移动用户的数目。因此，第二数目的移动用户更多地表示可以不通过指定应用程序追踪的移动用户。
在某些实施例中，对于暴露移动用户的任何组，LMS 300可以使用第一数目和第二数目来计算作为近似表示的校准因子(1450)，即商店访问的实际数目与可以仅使用广告请求通过LMS 300检测到的商店访问的计数的比率。在某些实施例中，此校准因子(SVR_multiplier)仅是第一数目与第二数目的比率。此SVR_multiplier存储在校准数据库中并且用于随后的SVR计算。
在某些实施例中，在超过例如90天的时间窗的此时间窗期间，从规则广告请求和小组数据包中看到的任何装置ID(以IDFA、GIDFA的形式)存储在请求数据库355中作为键值商店。用于广告请求和小组数据包的键值商店分别充当规则用户和小组用户的用户商店。既在小组用户商店又在规则用户商店中的用户在上文称为形成校准用户组。在某些实施例中，时间窗(例如，1周)用作校准窗，其中基于分别从指定应用程序以及由LMS 300接收的规则广告请求产生的数据包来对第一数目的用户和第二数目的用户进行计数。
因此，当LMS 300或其相关联的广告投放系统继续接收并处理广告请求(1460)时，LMS采用如下公式计算未来暴露移动用户的SVR(1470)：
SVR＝SVR_observed*SVR_multiplier
其中SVR_observed是基于在广告服务器上捕获的规则广告请求信号的观察到的SVR，如在上文中定义的一样，即，
SVR乘数可以在不同的级别上确定，如按区域、纵向、品牌和活动，如下所述。在某些实施例中，针对不同的商业纵向(即，一组相关品牌)估计不同SVR_multiplier。为此目的，选择校准POI集合(即，用于测量SVR的一个或多个目标商店)，使得只属于一个特定纵向或品牌(例如，McDonalds')的POI被选择，以确定所述特定的纵向或品牌的SVR乘数。
为了确定按区域乘数，校准POI集合被选择为包括地理区域中的所有主要品牌，所述地理区域可以是国家(例如，美国)、州(例如，加利福尼亚州)、城市(例如，纽约)或其它自治市或区域。利用如此大量的数据，按区域(例如，国家级)乘数可以在延长的时间段内保持稳定。然而，按区域乘数并未考虑可能直接影响SVR的广告活动的具体方面，例如目标受众和品牌。
为了确定纵向级乘数，校准POI集合被选择为仅包括属于纵向的POI，例如全国范围内的一组(例如，一类)品牌。通过考虑不同类型的商店(即餐厅与零售商)的访客在商店访问中的潜在差异，纵向级乘数改进了国家级乘数。然而，在一个纵向内的品牌可能会呈现彼此不同的SVR模式。
为了确定品牌级乘数，校准POI集合被选择为仅包括与一个特定品牌相关联的POI。由于广告活动通常与品牌相关联，因此品牌级乘数允许直接乘法。然而，稀疏数据的问题开始出现在此级别上，特别是对于国际品牌。此外，考虑到定义的广告曝光窗，品牌级乘数比纵向级或国家级乘数更容易波动。
除了局限于由特定广告活动定义的目标用户组的计算之外，活动级乘数等于品牌级乘数。活动级乘数最能反映个别活动的具体情况，但有时会由于规模不足而受到影响。
因此，每个后续级别都会更准确地捕获错过的访问，但由于规模不足可能会出现更多的波动。
在每个广告活动中，可能会存在各自与一个或多个品牌相关联的几个广告组，可以针对所述广告组应用对应的乘数。例如，对于品牌的广告活动，可能存在主要定向于成年男性移动用户的广告组，主要定向于成年女性移动用户的广告组，主要定向于确定为处于一个或多个指定地点中的移动用户的基于位置的广告组(LBA)，以及主要定向于确定为处于与品牌相关联的内部部署上的移动用户的内部部署广告组。在某些实施例中，使用两步过程来导出此广告活动的SVR。首先，除了不需要SVR乘数的基于位置的广告组(LBA)和内部部署广告组以外，为广告组中的每一个确定SVR_multiplier，因为已发现这些受众先前通过广告请求和小组数据包访问过商店，因此不太可能出现丢失访问。随后，可以采用加权平均值来导出最终SVR。
此方法适用于具有低观察到的SVR和高观察到的SVR的广告活动。对于前一类型，由于缺乏LBA，可以通过应用品牌级乘数来简化计算。举例来说，考虑针对地铁的广告活动，观察到的SVR为0.39％。对于此活动，使用国家级乘数3.9产生1.54％的SVR，考虑到历史数据可能低估了SVR。实际上，基于小组的分析表明：基于请求的追踪低估了对地铁的访问数约16次。因为此活动不具有LBA，所以可以简单地将品牌级乘数15应用于观察到的SVR以产生5.86％的结果，这更符合预期。
在另一实例中，考虑针对四个零售商(Target、Walgreens、CVS和Rite Aid)的广告活动，具有7％的相对高的观察到的SVR。使用国家级乘数SVR估计，报告的SVR将被高估为28％。使用具有品牌级乘数和排除LBA的新方法，SVR被计算为更合理的16％。使用品牌级乘数也更好地了解这些品牌的商店访问模式。
在某些实施例中，SVR估计被模型化为典型的伯努利(Bernoulli)过程，其中每个用户具有访问商店的给定概率p。用于此e p估计的置信区间因此是：
其中z对于95％可信程度是1.96，是观察到的商店访问率SVR。在出于投射目的将乘数应用于观察到的SVR的情况下，相同乘数应用于所述置信区间。

Claims (20)

1.一种由连接到分组网络的一个或多个计算机系统执行的方法，包括：
通过所述分组网络接收小组数据包，每个小组数据包包括移动装置的预选择小组中的一个的位置；所述移动装置以特定频率传输小组数据包；
通过所述分组网络接收第一多个请求数据包，所述第一多个请求数据包中的每个请求数据包表示对信息的请求，并且包括与连接到所述分组网络的第一多个移动装置中的一个有关的请求数据，所述请求数据包括位置数据，所述位置数据指示所述第一多个移动装置中的一个的位置；
从所述第一多个移动装置中选择一组校准移动装置，所述一组校准移动装置中的每个校准移动装置已传输所述小组数据包中的至少一个；
使用通过所述一组校准移动装置传输的小组数据包来确定第一数目的校准移动装置，所述第一数目的校准移动装置已访问一个或多个预定义校准地点中的至少一个；
使用与所述一组校准移动装置有关的请求数据包来确定第二数目的校准移动装置，所述第二数目的校准移动装置已访问所述一个或多个预定义校准地点中的至少一个；
使用所述第一数目和所述第二数目计算校准因子；
通过互联网接收第二多个请求数据包，所述第二多个请求数据包中的每个请求数据包表示对信息的请求，并且包括与连接到所述分组网络的第二多个移动装置中的一个有关的请求数据；
处理所述第二多个请求数据包，以使所述第二多个移动装置之中的第一数目的移动装置显示与特定活动相关联的信息；
通过所述互联网接收第三多个请求数据包，所述第三多个请求数据包中的每个请求数据包包括与连接到所述分组网络的第三多个移动装置中的一个有关的请求数据；
使用所述第三多个请求数据包追踪所述第一数目的所显示移动装置，以确定已访问与所述特定活动相关联的一个或多个预定义地点中的至少一个的第二数目的所显示移动装置；以及
使用所述第一数目、所述第二数目和所述校准因子导出所述特定活动的性能的度量。
2.根据权利要求1所述的方法，其中，处理所述第二多个请求数据包，包括：对于所述第二多个请求数据包中的每个相应数据包，(1)根据空间索引数据库处理相应请求数据包中的请求数据；(2)将处理后的请求数据存储在请求数据库中，所述处理后的请求数据包括所述请求数据中的至少一些，以及用于识别相关移动装置被估计所处的至少一个地点的至少一个地点标识符；(3)基于所述处理后的请求数据以及一组或多组标准，确定是否履行由所述相应数据包表示的请求；以及(4)响应于确定履行由所述相应数据包表示的所述请求，通过所述分组网络将投标数据包传输到至少一个信息服务器；所述投标数据包包括所述处理后的请求数据中的至少一些以及到与匹配活动相关联的信息的链接；响应于所述投标数据包，从所述至少一个信息服务器接收反馈，所述反馈与相关移动装置是否已显示与所述匹配活动相关联的所述信息相关；以及将所述反馈存储在显示数据库中。
3.根据权利要求1所述的方法，其中所述特定频率测量为每一预定时间段中的一个小组数据包，并且其中所述预定时间段等于或短于20分钟。
4.根据权利要求3所述的方法，其中所述预定时间段等于或短于10分钟。
5.根据权利要求1所述的方法，其中所述一个或多个预定义校准地点包括在空间索引数据库中识别的地理区域中的所有地点。
6.根据权利要求5所述的方法，其中所述地理区域是国家。
7.根据权利要求5所述的方法，其中所述地理区域是自治市。
8.根据权利要求1所述的方法，其中所述一个或多个预定义校准地点包括在空间索引数据库中识别且与一组一个或多个品牌相关联的地理区域中的所有地点。
9.根据权利要求1所述的方法，其中所述一个或多个预定义校准地点由所述特定活动限定。
10.根据权利要求1所述的方法，其中所述第一数目的校准移动装置和所述第二数目的校准移动装置中的每一个符合与所述特定活动相关联的一组活动标准。
11.一种由连接到分组网络的一个或多个计算机系统执行的方法，包括：
通过互联网接收第一多个数据包，所述第一多个数据包中的每个数据包表示对信息的请求，并且包括与连接到所述分组网络的第一多个移动装置中的一个有关的请求数据，所述请求数据包括位置数据，所述位置数据指示所述第一多个移动装置中的一个的位置；
处理所述第一多个请求数据包，以使所述第一多个移动装置之中的第一组移动装置显示有与特定活动相关联的信息，并且使得所述第一多个移动装置之中尚未提供与所述特定活动相关联的任何信息的第二组移动装置具有所述特定活动资格；
通过所述互联网接收第二多个数据包，所述第二多个数据包中的每个数据包包括与连接到所述分组网络的第二多个移动装置中的一个有关的请求数据；
使用所述第二多个数据包追踪所述第一组移动装置和所述第二组移动装置，以确定所述第一组移动装置之中已访问与所述特定活动相关联的一个或多个地点中的一个的第一数目的移动装置，以及所述第二组移动装置之中已访问所述一个或多个地点中的一个的第二数目的合格移动装置；以及
使用所述第一数目和所述第二数目导出所述特定活动的性能的度量。
12.根据权利要求11所述的方法，其中处理所述第一多个数据包，包括：对于所述第一多个数据包中的每个相应数据包，(1)根据空间索引数据库处理对应请求数据；(2)将处理后的请求数据存储在请求数据库中，所述处理后的请求数据包括所述请求数据中的至少一些，以及用于识别相关移动装置被估计所处的至少一个地点的至少一个地点标识符；(3)基于所述处理后的请求数据以及一组或多组标准，确定是否履行由所述相应数据包表示的请求；以及(4)响应于确定履行由所述相应数据包表示的所述请求，通过所述分组网络将投标数据包传输到至少一个信息服务器；所述投标数据包包括所述处理后的请求数据以及到与匹配活动相关联的信息的链接；从所述至少一个信息服务器接收反馈，所述反馈与是否已履行与所述相应数据包相关联的所述对信息的请求相关；以及将所述反馈存储在显示数据库中。
13.根据权利要求11所述的方法，其中所述一组或多组标准包括存储在活动数据库中的活动标准。
14.根据权利要求11所述的方法，其中所述一组或多组标准包括根据散列函数的标准，所述散列函数内置于用于所述特定活动的所述一个或多个计算机系统中。
15.根据权利要求14所述的方法，其中所述一组或多组标准包括根据计数器记录的数目的标准，所述计数器内置于所述一个或多个计算机系统中，所述数目表示与所述特定活动有关的所履行请求的数目和与所述活动有关的未履行请求的数目之间的差，所述未履行请求的数目通过所述散列函数排除。
16.根据权利要求11所述的方法，其中在第一时间窗期间接收所述第一多个数据包，并且在第二时间窗期间接收所述第二多个数据包，所述第一时间窗与所述第二时间窗重叠。
17.根据权利要求11所述的方法，进一步包括：
在接收所述第一多个数据包之前的时间窗期间，通过所述分组网络接收第三多个数据包，所述第三多个数据包中的每个数据包与对信息的请求相关联，并且包括与连接到所述分组网络的第三多个移动装置中的一个有关的请求数据，所述请求数据包括指示所述第一多个移动装置中的一个的位置的位置数据，所述第三多个移动装置包括所暴露移动装置的群组中的至少一些以及合格移动装置的群组中的至少一些；
确定在所暴露移动装置的所述群组中的所述至少一些之中的已在所述时间窗期间访问与所述特定活动相关联的所述一个或多个地点中的一个的第三数目的所暴露移动装置，以及在合格移动装置的所述群组中的所述至少一些之中的已在所述时间窗期间访问所述一个或多个地点中的一个的第四数目的合格移动装置；以及
其中使用所述第一数目、所述第二数目、所述第三数目以及所述第四数目导出所述特定活动的性能的度量。
18.一种由连接到分组网络的一个或多个计算机系统执行以测量移动广告(ad)活动的性能的方法，所述方法包括：
通过所述分组网络接收第一多个数据包，所述第一多个数据包中的每个数据包表示对信息的请求，并且包括与连接到所述分组网络的第一多个移动装置中的一个有关的请求数据，所述请求数据包括位置数据，所述位置数据指示所述第一多个移动装置中的一个的位置；
处理所述第一多个数据包，以使所述第一多个移动装置之中的第二多个移动装置提供与特定活动相关联的信息；
将所述第二多个移动装置分成多个组，多个子组的每个相应组对应于相应频率范围，使得相应组中的每个移动装置与所述第一多个数据包之中的一组数据包有关，其中所述一个或多个计算机系统以所述相应频率范围中的某一频率接收所述一组数据包；
对于所述多个组中的每个组，基于与所述每个组中的所述移动装置相关联的所述数据包中的请求数据，确定所述每个组中已访问与所述特定活动相关联的一个或多个地点中的一个的移动装置的子集的数目，并且使用移动装置的所述子集的数目导出所述每个组的相应访问率；以及
将所述多个组的相应比率拟合到模型函数；以及
从所述模型函数中推断所述特定活动的所述性能的度量。
19.根据权利要求18所述的方法，其中处理所述第一多个数据包，包括：对于所述第一多个数据包中的每个相应数据包，(1)根据空间索引数据库处理对应请求数据；(2)将处理后的请求数据存储在请求数据库中，所述处理后请求数据包括所述请求数据中的至少一些，以及用于识别相关移动装置被估计所处的至少一个地点的至少一个地点标识符；(3)基于所述处理后的请求数据以及一组或多组标准，确定是否履行与所述相应数据包相关联的所述对信息的请求；以及(4)响应于确定履行与所述相应数据包相关联的所述对信息的请求，通过所述分组网络将投标数据包传输到至少一个信息服务器；所述投标数据包包括所述处理后的请求数据以及与匹配活动相关联的信息；响应于所述投标数据包，从所述至少一个信息服务器接收反馈；所述反馈与所述相关移动装置是否已显示有与所述匹配活动相关联的所述信息相关；以及将所述反馈存储在显示数据库中。
20.根据权利要求19所述的方法，其中使用存储在所述请求数据库以及所述显示数据库中的数据来确定所述每个组中的移动装置的所述子集的数目。
CN201680071581.5A 2015-10-07 2016-10-07 用于测量传递到移动装置的信息的效果的方法和设备 Pending CN108604350A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562238122P 2015-10-07 2015-10-07
US62/238,122 2015-10-07
US201662353036P 2016-06-22 2016-06-22
US62/353,036 2016-06-22
PCT/US2016/056185 WO2017062912A2 (en) 2015-10-07 2016-10-07 Method and apparatus for measuring effect of information delivered to mobile devices

Publications (1)

Publication Number Publication Date
CN108604350A true CN108604350A (zh) 2018-09-28

Family

ID=58488689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680071581.5A Pending CN108604350A (zh) 2015-10-07 2016-10-07 用于测量传递到移动装置的信息的效果的方法和设备

Country Status (6)

Country Link
US (1) US20170132658A1 (zh)
EP (1) EP3360104A4 (zh)
JP (2) JP6636143B2 (zh)
CN (1) CN108604350A (zh)
AU (1) AU2016335870A1 (zh)
WO (1) WO2017062912A2 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10491696B2 (en) 2016-12-13 2019-11-26 The Nielson Company (Us), Llc Methods and apparatus for adjusting model threshold levels
US11170393B1 (en) * 2017-04-11 2021-11-09 Snap Inc. System to calculate an engagement score of location based media content
US10621627B2 (en) * 2017-05-04 2020-04-14 Microsoft Technology Licensing, Llc Running client experiments based on server-side user segment data
US11599521B2 (en) 2017-05-25 2023-03-07 Zeta Global Corp. Systems and methods for providing real-time discrepancies between disparate execution platforms
WO2018218059A2 (en) * 2017-05-25 2018-11-29 Collective, Inc. Systems and methods for providing real-time values determined based on aggregated data from disparate systems
US11810147B2 (en) 2017-10-19 2023-11-07 Foursquare Labs, Inc. Automated attribution modeling and measurement
JP6997922B2 (ja) * 2018-02-01 2022-01-18 株式会社電通 分析装置
US11321733B2 (en) 2018-05-02 2022-05-03 Pepsico, Inc. Analyzing second party digital marketing data
US20200356894A1 (en) * 2019-05-07 2020-11-12 Foursquare Labs, Inc. Visit prediction
EP4176404A4 (en) * 2020-07-02 2024-03-20 Catalina Marketing Corp SYSTEM FOR CREATING A DIGITAL DEVICE ON THE BASIS OF AN ADVERTISING PRINT AND AN ADJUSTMENT FACTOR FOR SALES UPLINE TRACEABILITY
WO2023049905A1 (en) * 2021-09-24 2023-03-30 Accretive Media LLC Automated measurement and analytics software for out of home content delivery

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101393629A (zh) * 2007-09-20 2009-03-25 阿里巴巴集团控股有限公司 一种网络广告效果监测的实现方法及装置
CN101689263A (zh) * 2006-12-01 2010-03-31 谷歌公司 确定广告效果
CN102254265A (zh) * 2010-05-18 2011-11-23 北京首家通信技术有限公司 一种富媒体互联网广告内容匹配、效果评估方法
CN102663616A (zh) * 2012-03-19 2012-09-12 北京国双科技有限公司 一种基于多触点归因模型的网络广告效果衡量方法和系统
CN103295150A (zh) * 2013-05-20 2013-09-11 厦门告之告信息技术有限公司 一种精确量化及准确统计投放效果的广告发布系统及方法
US20140172573A1 (en) * 2012-12-05 2014-06-19 The Rubicon Project, Inc. System and method for planning and allocating location-based advertising
US20140236706A1 (en) * 2013-02-20 2014-08-21 Datalogix Inc. System and method for measuring advertising effectiveness

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4139925B2 (ja) * 1998-07-27 2008-08-27 東芝ライテック株式会社 蛍光ランプ装置
JP2002366464A (ja) * 2001-06-05 2002-12-20 Nec Corp 携帯電話マーケティングシステム及び携帯電話マーケティングプログラム
US8290810B2 (en) * 2005-09-14 2012-10-16 Jumptap, Inc. Realtime surveying within mobile sponsored content
JP4475251B2 (ja) * 2006-04-25 2010-06-09 トヨタ自動車株式会社 車両環境サービスシステム
US10489795B2 (en) * 2007-04-23 2019-11-26 The Nielsen Company (Us), Llc Determining relative effectiveness of media content items
CN101785022B (zh) * 2007-07-03 2016-06-01 3M创新有限公司 用于产生可以将内容分配到其上的时隙样本以用于测定所分配内容效应的系统和方法
KR100901938B1 (ko) * 2007-08-14 2009-06-10 엔에이치엔비즈니스플랫폼 주식회사 Ｃｔｒ을 보정하는 방법 및 시스템
US8072914B2 (en) * 2008-05-08 2011-12-06 At&T Mobility Ii Llc Location survey for power calibration in a femto cell
US10163113B2 (en) * 2008-05-27 2018-12-25 Qualcomm Incorporated Methods and apparatus for generating user profile based on periodic location fixes
JP5633773B2 (ja) * 2010-01-13 2014-12-03 独立行政法人情報通信研究機構 地域ネットワークを利用した定量的な広告効果診断分析が可能な広告配信システム
US8909771B2 (en) * 2011-09-15 2014-12-09 Stephan HEATH System and method for using global location information, 2D and 3D mapping, social media, and user behavior and information for a consumer feedback social media analytics platform for providing analytic measurements data of online consumer feedback for global brand products or services of past, present or future customers, users, and/or target markets
WO2013065042A1 (en) * 2011-11-02 2013-05-10 Ronen Shai Generating and using a location fingerprinting map
AU2013204865B2 (en) * 2012-06-11 2015-07-09 The Nielsen Company (Us), Llc Methods and apparatus to share online media impressions data
US20140108130A1 (en) * 2012-10-12 2014-04-17 Google Inc. Calculating audience metrics for online campaigns
US20140156387A1 (en) * 2012-12-04 2014-06-05 Facebook, Inc. Generating Advertising Metrics Using Location Information
JP2014153828A (ja) * 2013-02-06 2014-08-25 Ntt Docomo Inc サーバ装置、広告配信システム及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101689263A (zh) * 2006-12-01 2010-03-31 谷歌公司 确定广告效果
CN101393629A (zh) * 2007-09-20 2009-03-25 阿里巴巴集团控股有限公司 一种网络广告效果监测的实现方法及装置
CN102254265A (zh) * 2010-05-18 2011-11-23 北京首家通信技术有限公司 一种富媒体互联网广告内容匹配、效果评估方法
CN102663616A (zh) * 2012-03-19 2012-09-12 北京国双科技有限公司 一种基于多触点归因模型的网络广告效果衡量方法和系统
US20140172573A1 (en) * 2012-12-05 2014-06-19 The Rubicon Project, Inc. System and method for planning and allocating location-based advertising
US20140236706A1 (en) * 2013-02-20 2014-08-21 Datalogix Inc. System and method for measuring advertising effectiveness
CN103295150A (zh) * 2013-05-20 2013-09-11 厦门告之告信息技术有限公司 一种精确量化及准确统计投放效果的广告发布系统及方法

Also Published As

Publication number Publication date
WO2017062912A3 (en) 2018-02-08
EP3360104A2 (en) 2018-08-15
WO2017062912A2 (en) 2017-04-13
JP6890652B2 (ja) 2021-06-18
JP6636143B2 (ja) 2020-01-29
EP3360104A4 (en) 2019-06-26
JP2020061174A (ja) 2020-04-16
AU2016335870A1 (en) 2018-05-24
JP2018531464A (ja) 2018-10-25
US20170132658A1 (en) 2017-05-11

Similar Documents

Publication Publication Date Title
CN108604350A (zh) 用于测量传递到移动装置的信息的效果的方法和设备
JP6788667B2 (ja) 広告リフトの測定
US9536249B2 (en) Measuring inline ad performance for third-party ad serving
JP5996815B1 (ja) 配信装置、配信方法、配信プログラム及び配信システム
TW201937428A (zh) 行銷產品的推薦方法和裝置
US20170337578A1 (en) Dynamic media buy optimization using attribution-informed media buy execution feeds
US10262339B2 (en) Externality-based advertisement bid and budget allocation adjustment
US20160210656A1 (en) System for marketing touchpoint attribution bias correction
US20220148033A1 (en) Method and apparatus for providing promotion recommendations
CN111164950B (zh) 用于用户分段即服务的方法和系统
US20130151345A1 (en) Social reputation ads
CN105894313A (zh) 用来使交易与媒体印象相关联的方法和装置
CN104508700A (zh) 确定内容项的呈现和用户在销售点终端的交易间的相关性
JP2018531464A6 (ja) モバイル機器に配信された情報の効果を測定するための方法及び装置
US20170061502A1 (en) Unified cross-channel advertisement platform
US20180096383A1 (en) Systems and methods to display three dimensional digital assets in an online environment based on an objective
US11010790B1 (en) System and methods for using a revenue value index to score impressions for users for advertisement placement
US10872355B2 (en) Controlling user data visibility in online ad auctions
JP7157570B2 (ja) サーバ
US9972027B1 (en) System and method of tracking the effectiveness of viewing resources on electronic devices in causing transaction activity to subsequently occur at a physical location associated with the resources
US20200027118A1 (en) Systems and methods to display three dimensional digital assets in an online environment based on an objective
KR102620221B1 (ko) 구매 인스턴트 메시지를 이용한 광고 방법, 그리고 이를 제공하는 서버, 단말 및 어플리케이션
US20220405785A1 (en) Methods and systems for programmatic control of transmitted electronic content
US20220067778A1 (en) System of determining advertising incremental lift
EP3499385A1 (en) Estimating viewability of a content element of a web page

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180928

WD01 Invention patent application deemed withdrawn after publication