CN113159815B - 一种信息投放策略测试方法、装置、存储介质和电子设备 - Google Patents

一种信息投放策略测试方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN113159815B
CN113159815B CN202110095892.8A CN202110095892A CN113159815B CN 113159815 B CN113159815 B CN 113159815B CN 202110095892 A CN202110095892 A CN 202110095892A CN 113159815 B CN113159815 B CN 113159815B
Authority
CN
China
Prior art keywords
test data
experimental
account
data
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110095892.8A
Other languages
English (en)
Other versions
CN113159815A (zh
Inventor
邓颖
蔡政
朱志华
蔡越
任宇堃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110095892.8A priority Critical patent/CN113159815B/zh
Publication of CN113159815A publication Critical patent/CN113159815A/zh
Application granted granted Critical
Publication of CN113159815B publication Critical patent/CN113159815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供一种信息投放策略测试方法、装置、存储介质和电子设备，涉及广告测试领域。将待测试的账户划分为实验账户集合和对照账户集合；在指定的目标时刻之后，按照预设的信息投放策略对实验账户集合中各实验账户投放目标多媒体信息；基于测试数据采集结果，获得第一实验测试数据，第一对照测试数据，第二实验测试数据和第二对照测试数据；若第一实验测试数据和第一对照测试数据之间的数据差异随时间的变化幅度在设定阈值范围内，根据第一实验测试数据、第一对照测试数据、第二实验测试数据和第二对照测试数据，确定信息投放策略的行为影响度。上述方法可以提高得到的行为影响度的准确率。

Description

一种信息投放策略测试方法、装置、存储介质和电子设备
技术领域
本申请涉及广告测试领域，具体涉及一种信息投放策略测试方法、装置、存储介质和电子设备。
背景技术
广告测试也叫广告文案测试(Copy Test)，指对已经创作出来但还未发布的广告作品的测试评估。通常测试会涉及到若干个广告脚本，通过消费者对比各个文案的形式、风格、诉求点、理解程度等，选择出效果可能比较理想的广告脚本用于实际的广告投放中。
目前，在通过广告系统进行广告测试时，可以向实验组的用户播放广告，而不向对照组的用户播放广告，分别采集实验组的用户和对照组的用户的测试数据，然后通过t检验来比较实验组和对照组的用户测试数据，得到广告对实验组的用户的行为影响度。
在实际应用中，由于用户的消费观念和日常需求会不可避免地影响用户的行为，而每个用户的消费观念和日常需求往往不同，因此在广告测试之前，实验组的用户与对照组的用户的行为可能本来就存在较大的个体差异，使得通过上述广告测试方法得到的行为影响度准确率较低。
发明内容
为解决现有存在的技术问题，本申请实施例提供一种信息投放策略测试方法、装置、存储介质和电子设备，用以提高测试得到的行为影响度的准确率。
为达到上述目的，本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供了一种信息投放策略测试方法，该方法包括：
将待测试的各账户划分为实验账户集合和对照账户集合；
在指定的目标时刻之后，按照预设的信息投放策略，对所述实验账户集合中的各实验账户投放目标多媒体信息；
基于测试数据采集结果，获得所述各实验账户在所述目标时刻之前的第一实验测试数据，以及在所述目标时刻之后的第二实验测试数据；所述测试数据采集结果包括针对各实验账户和各对照账户实时采集的测试数据；
基于所述测试数据采集结果，获得所述各对照账户在所述目标时刻之前的第一对照测试数据，以及在所述目标时刻之后的第二对照测试数据；
若所述第一实验测试数据与所述第一对照测试数据之间的数据差异随时间的变化幅度在设定的阈值范围之内，则根据所述第一实验测试数据、所述第一对照测试数据、所述第二实验测试数据和所述第二对照测试数据，确定所述信息投放策略对各实验账户的行为影响度；所述行为影响度为由所述信息投放策略影响的各实验账户的测试指标的变化量。
第二方面，本申请实施例还提供了一种信息投放策略测试装置，包括：
分配单元，用于将待测试的各账户划分为实验账户集合和对照账户集合；
投放单元，用于在指定的目标时刻之后，按照预设的信息投放策略，对所述实验账户集合中的各实验账户投放目标多媒体信息；
采集单元，用于基于测试数据采集结果，获得所述各实验账户在所述目标时刻之前的第一实验测试数据，以及在所述目标时刻之后的第二实验测试数据；所述测试数据采集结果包括针对各实验账户和各对照账户实时采集的测试数据；基于所述测试数据采集结果，获得所述各对照账户在所述目标时刻之前的第一对照测试数据，以及在所述目标时刻之后的第二对照测试数据；
确定单元，用于若所述第一实验测试数据与所述第一对照测试数据之间的数据差异随时间的变化幅度在设定的阈值范围之内，则根据所述第一实验测试数据、所述第一对照测试数据、所述第二实验测试数据和所述第二对照测试数据，确定所述信息投放策略对各实验账户的行为影响度；所述行为影响度为由所述信息投放策略影响的各实验账户的测试指标的变化量。
在一种可选的实施例中，所述基于所述实时数据采集结果，获得所述各对照账户在所述目标时刻之前的第一对照测试数据，以及在所述目标时刻之后的第二对照测试数据之后，所述确定单元还用于：
根据所述第一实验测试数据与所述第一对照测试数据在每个预设时间段的数据差异，确定所述第一实验测试数据和所述第一对照测试数据之间的数据差异随时间的变化幅度是否在设定的阈值范围之内。
在一种可选的实施例中，所述确定单元具体用于：
根据所述第一实验测试数据和所述第一对照测试数据在每个预设时间段的数据差异，确定每个预设时间段对应的交互项系数；所述交互项系数用于表征对应的预设时间段内所述第一实验测试数据与所述第一对照测试数据的数据差异的变化；
若每个预设时间段对应的交互项系数均小于或等于设定阈值，则确定所述第一实验测试数据和所述第一对照测试数据之间的数据差异随时间的变化幅度在设定的阈值范围之内。
在一种可选的实施例中，所述确定单元具体用于：
根据所述第一实验测试数据和所述第一对照测试数据在每个预设时间段的数据差异，确定每个预设时间段对应的交互项系数的置信区间；
若每个预设时间段对应的交互项系数的置信区间均包含设定值，则确定所述第一实验测试数据和所述第一对照测试数据之间的数据差异随时间的变化幅度在设定的阈值范围之内。
在一种可选的实施例中，所述确定单元具体用于：
根据所述第一实验测试数据与所述第一对照测试数据之间的差异，以及所述第二对照测试数据，确定所述各实验账户的预测实验测试数据，并根据所述第二实验测试数据与所述预测实验测试数据之间的差异，确定所述信息投放策略对所述各实验账户的行为影响度；或者，
根据所述第一实验测试数据与所述第一对照测试数据之间的差异，以及所述第二实验测试数据与所述第二对照测试数据之间的差异，确定所述信息投放策略对所述各实验账户的行为影响度。
在一种可选的实施例中，所述确定单元具体用于：
若在相同时刻之后对所述实验账户集合中的各实验账户投放目标多媒体信息，则采用第一双重差分模型，对所述第一实验测试数据、所述第一对照测试数据、所述第二实验测试数据和所述第二对照测试数据进行拟合，确定所述第一双重差分模型中的个体固定效应参数、时间固定效应参数和策略影响差异参数；所述个体固定效应参数为针对各实验账户和各对照账户分别确定的效应参数；所述时间固定效应参数为针对各时间段分别确定的参数；
根据所述策略影响差异参数，确定所述信息投放策略对所述各实验账户的行为影响度。
在一种可选的实施例中，所述确定单元具体用于：
若在不同时刻之后对所述各实验账户分别投放所述目标多媒体信息，采用第二双重差分模型，对所述第一实验测试数据、所述第一对照测试数据、所述第二实验测试数据和所述第二对照测试数据进行拟合，确定所述第二双重差分模型中的个体固定效应参数、时间固定效应参数、策略作用参数和策略影响差异参数；所述策略作用参数为针对各实验账户对应的所述目标多媒体信息的投放时间确定的参数；
根据所述策略影响差异参数，确定所述信息投放策略对所述各实验账户的行为影响度。
在一种可选的实施例中，所述对实验账户集合中的各实验账户投放目标多媒体信息之前，所述投放单元还用于：
按照初始信息投放策略，对所述实验账户集合中的各实验账户和所述对照账户集合中的各对照账户均投放所述目标多媒体信息；
所述投放单元具体用于：
在所述指定的目标时刻之后，按照预设方式对所述初始信息投放策略进行更新，并按照更新后的信息投放策略，对所述实验账户集合中的各实验账户投放所述目标多媒体信息。
在一种可选的实施例中，所述根据所述第一实验测试数据、所述第一对照测试数据、所述第二实验测试数据和所述第二对照测试数据，确定所述信息投放策略对各实验账户的行为影响度之前，所述确定单元还用于：
若所述第一实验测试数据和所述第一对照测试数据之间的数据差异随时间的变化幅度超出设定的阈值范围，则从所述第一实验测试数据或所述第一对照测试数据中删除极端数据；所述第一实验测试数据中的极端数据为所述实验账户集合中与各个其他实验账户的测试数据的数据差异均超出设定差异范围的账户的测试数据；所述第一对照测试数据中的极端数据为所述对照账户集合中与各个其他对照账户的测试数据的数据差异均超出设定差异范围的账户的测试数据。
在一种可选的实施例中，确定所述信息投放策略对各实验账户的行为影响度之后，所述确定单元还用于：
若所述行为影响度达到设定影响度阈值，则按照所述预设的信息投放策略，扩大所述目标多媒体信息的投放范围。
第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上述第一方面任一种的信息投放策略测试方法。
第四方面，本申请实施例还提供了一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器实现上述第一方面任一种的信息投放策略测试方法。
本申请实施例提供的一种信息投放策略测试方法、装置、存储介质和电子设备，在测试过程中的指定的目标时刻之后，按照预设的信息投放策略，对各实验账户投放目标多媒体信息，并在测试过程中采集各实验账户和各对照账户的测试数据，获得在目标时刻之前各实验账户的第一实验测试数据和各对照账户的第一对照测试数据，以及在目标时刻之后各实验账户的第二实验测试数据和各对照账户的第二对照测试数据。在确定第一实验测试数据和第一对照测试数据之间的数据差异随时间的变化幅度在设定的阈值范围之内时，根据获取到的各时间段的实验测试数据和对照测试数据之间的相互联系及差异，确定信息投放策略对各实验账户的行为影响度，可以排除各实验账户与各对照账户之间存在的个体差异对行为影响度的影响，从而提高测试得到的行为影响度的准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种信息投放策略测试方法的应用场景图；
图2为本申请实施例提供的一种信息投放策略测试方法的流程图；
图3为本申请实施例提供的平行趋势检验示意图；
图4为本申请实施例提供的交互项系数的置信区间示意图；
图5为本申请实施例提供的一种信息投放策略测试方法的交互流程图；
图6为本申请实施例提供的广告系统的分析界面的示意图；
图7为本申请实施例提供的DID分析结果界面的示意图；
图8为本申请实施例提供的一种信息投放策略测试方法的完整流程图；
图9为本申请实施例提供的一种信息投放策略测试装置的结构框图；
图10为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
需要说明的是，本申请的文件中涉及的术语“包括”和“具有”以及它们的变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
(1)A/B测试：测试策略效果的一种实验方法。将参加测试的目标用户通过随机抽样分成实验组和对照组两个互斥的用户组，对对照组用户不使用信息投放策略，而对实验组用户使用信息投放策略，最后比较两组用户的测试数据的差异，从而确定信息投放策略的作用或效果。
(2)AA实验：在实验测试系统上开启一个和对照组的配置一模一样的实验，用来辅助观察在不受信息投放策略的影响的情况下，对照组用户的测试数据受环境因素的影响产生的偏差。
(3)实验账户：A/B测试中接受信息投放策略的用户对应的账户。
(4)对照账户：A/B测试中未接受信息投放策略的用户对应的账户。
(5)广告曝光：即广告被投放给用户后，被用户看到的次数。
(6)曝光率：指特定的一群用户中，被广告曝光影响的用户的比例。
(7)转化：广告主投放广告后，期望对用户产生的影响，如下载app，激活app，下单，购买，出行等等，不同场景下指代不同的行为。
(8)转化率：指特定的一些用户中，发生转化行为的用户的比例。
(9)反事实：是指针对已经发生的事情假设一种与事实相反的可能性，比如假设实验组如果没有接受策略的情况。
(10)个体固定效应：为针对各实验账户和各对照账户分别确定的效应参数；是面板数据中随个体变化但不随时间变化的一类变量。个体固定效应模型有n个不同的截距，其中一个截距对应一个个体。可以用一系列虚拟变量来表示这些截距。
(11)时间固定效应：为针对各时间段分别确定的参数；是面板数据中随时间点变化但不随个体变化的一类变量。时间固定效应模型有n个不同的截距，其中一个截距对应一个时间点。
下文中所用的词语“示例性”的意思为“用作例子、实施例或说明性”。作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
文中的术语“第一”、“第二”仅用于描述目的，而不能理解为明示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
为更好地理解本申请实施例提供的技术方案，下面对本申请实施例提供的技术方案适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本申请实施例提供的技术方案。
本申请实施例涉及区块链(Blockchain)技术，区块链为分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的区块。每一个区块中记录了一批次用户行为的测试数据，用于验证其测试数据的有效性(防伪)和生成下一个区块。区块链的每个区块中包括本区块存储的测试数据的哈希值(本区块的哈希值)、以及前一区块的哈希值，各区块通过哈希值连接形成区块链。另外，区块链的每个区块中还可以包括本区块生成时的时间戳等信息。
本申请实施例在信息投放策略测试的过程中，可以将各个账户的测试数据实时保存到区块链上，从区块链上获取各实验账户的测试数据，得到第一实验测试数据和第二实验测试数据，以及从区块链上获取各对照账户的测试数据，得到第一对照测试数据和第二对照测试数据。
本申请实施例提供的信息投放策略测试方法可以应用于广告投放领域，用于测试广告的效果或广告投放策略的效果，也可以应用于其他信息的投放领域。下文实施例中以在广告投放领域使用本申请实施例提供的信息投放策略测试方法为例进行说明。
示例性地，本申请实施例所提供信息投放策略测试方法可以应用于图1示出的一种应用场景中。参见图1所示，服务器100通过网络200与终端设备300进行通信连接，其中，网络200可以是但不限于局域网、城域网或广域网等，与服务器100连接的终端设备300的数量可以是多个。终端设备300可以通过网络200和服务器100相互传输通信数据和消息。
终端设备300可以是便携设备(例如：手机、平板电脑、笔记本电脑等)，也可以是计算机、智能屏或个人电脑(PC，Personal Computer)等。终端设备300可以安装各类客户端，包括视频播放客户端、社交应用客户端等，并且是能够将已安装的客户端中提供的各个操作界面及操作界面中的各个对象进行显示的电子设备。
客户端是一种安装在终端设备300上的软件，例如，安装在手机等移动终端上的APP，属于终端设备300中的软件资源。例如，终端设备300可以通过网络下载客户端的安装包，利用安装包安装该客户端，完成安装后，客户端即可在终端设备300上运行。
服务器100可以是一台服务器或由若干台服务器组成的服务器集群或分布式系统，或者是一个虚拟化平台，或者是，也可以是个人计算机、大中型计算机或计算机集群，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。根据实现需要，本申请实施例中的应用场景中可以具有任意数目的终端设备和服务器。本申请实施例对此不做特殊限定。
示例性地，终端设备300上安装有第三方应用客户端，该第三方应用客户端可以是浏览器、视频播放器或音乐播放器等。在进行信息投放策略测试的过程中，服务器100会向第三方应用的各个实验账户投放目标多媒体信息，如广告视频或广告图片等。当用户使用实验账户登录第三方应用客户端时，第三方应用客户端向用户展示该目标多媒体信息，以使用户接收到相关信息，了解到广告宣传的相关内容。
具体地说，在对信息投放策略进行测试时，可以选择若干个账户参加测试，将待测试的各账户划分为实验账户集合和对照账户集合。服务器100在指定的目标时刻之后，按照预设的信息投放策略，向实验账户集合中的各实验账户对应的终端设备300发送目标多媒体信息，并采集各实验账户和各对照账户的用户测试数据。相关技术中，服务器采用t检验的方法比较各实验账户和各对照账户的用户测试数据，得到广告对实验组的用户的行为影响度。由于各实验账户和各对照账户的用户测试数据可能会存在较大的个体差异，因此通过上述方法得到的行为影响度的准确率低。
基于此，本申请实施例提供一种信息投放策略测试方法、装置、存储介质和电子设备。本申请实施例中的服务器100根据用户的设定将待测试的各账户划分为实验账户集合和对照账户集合，并在指定的目标时刻之后，按照预设的信息投放策略，对实验账户集合中的各实验账户对应的终端设备300发送目标多媒体信息，使测试对象通过终端设备300上安装的客户端查看目标多媒体信息；采集各测试账户对应的终端设备300中的测试数据。然后，服务器100基于测试数据采集结果，获取各实验账户在目标时刻之前的第一实验测试数据，以及在目标时刻之后的第二实验测试数据，并获取各对照账户在目标时刻之前的第一对照测试数据，以及在目标时刻之后的第二对照测试数据；如果第一实验测试数据和第一对照测试数据之间的数据差异随时间的变化幅度在设定的阈值范围之内，则服务器100根据第一实验测试数据、第一对照测试数据、第二实验测试数据和第二对照测试数据，确定信息投放策略对各实验账户的行为影响度。
本申请实施例在确定第一实验测试数据和第一对照测试数据之间的数据差异随时间的变化幅度在设定的阈值范围之内时，根据获取到的各时间段的实验测试数据和对照测试数据之间的相互联系及差异，确定信息投放策略对各实验账户的行为影响度，可以排除各实验账户与各对照账户之间存在的个体差异对行为影响度的影响，从而提高测试得到的行为影响度的准确率。
为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在该方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。该方法在实际的处理过程中或者装置执行时，可按照实施例或者附图所示的方法顺序执行或者并行执行。
在一种实施例中，本申请实施例提供的信息投放策略测试方法可以由服务器执行，也可以由具有一定计算能力，用于进行广告测试计算的其他电子设备执行，还可以由终端设备上安装的客户端与服务器协同执行。下文实施例以服务器执行该信息投放策略测试方法为例进行说明。图2示出了一种信息投放策略测试方法的流程图，如图2所示，该方法可以包括如下步骤：
步骤S201，将待测试的各账户划分为实验账户集合和对照账户集合。
用户需要了解设计好的信息投放策略的效果时，可以对该信息投放策略进行测试。用户可以选择若干个待测试的账户，服务器可以随机将待测试的各账户划分至实验账户集合和对照账户集合。
例如，待测试的账户包括账户A1、账户A2、账户A3、账户A4。服务器可以将账户A1和账户A4划分至实验账户集合，将账户A2和账户A3划分至对照账户集合，即账户A1和账户A4为实验账户，账户A2和账户A3为对照账户。此处仅为举例，实际实施时，待测试的账户一般远大于四个。
步骤S202，在指定的目标时刻之后，按照预设的信息投放策略，对实验账户集合中的各实验账户投放目标多媒体信息。
其中，目标多媒体信息可以理解为广告。信息投放策略是预先设计好的，信息投放策略可以包括但不限于广告的投放方式、广告的相关内容等。例如，广告的投放方式可以是图片形式投放或视频形式投放。
在一些实施例中，服务器可以在统一的目标时刻之后，按照预设的信息投放策略，向所有实验账户投放目标多媒体信息。例如，服务器可以在5月1日向实验账户A1和实验账户A4投放广告。
在另一些实施例中，服务器可以在不同的目标时刻之后，按照预设的信息投放策略，向不同的实验账户投放目标多媒体信息。例如，服务器可以在5月1日向实验账户A1投放广告，在5月4日向实验账户A4投放广告。
步骤S203，基于测试数据采集结果，获得各实验账户在目标时刻之前的第一实验测试数据，以及在目标时刻之后的第二实验测试数据。
需要说明的是，测试数据采集结果包括针对各实验账户和各对照账户实时采集的测试数据。
在对信息投放策略进行测试的整个过程中，服务器可以实时采集各实验账户的测试数据和各对照账户的测试数据，得到测试数据采集结果。也就是说，测试数据采集结果中包括各实验账户在测试过程的各个时间段的测试数据和各对照账户在测试过程的各个时间段的测试数据。根据用户关注的测试指标的不同，测试数据可以包括但不限于所投放目标多媒体信息的曝光量、曝光率、转化、转化率、消耗、点击量等。
将实验账户集合中的各实验账户在目标时刻之前的测试数据作为第一实验测试数据，将实验账户集合中的各实验账户在目标时刻之后的测试数据作为第二实验测试数据。
步骤S204，基于测试数据采集结果，获得各对照账户在目标时刻之前的第一对照测试数据，以及在目标时刻之后的第二对照测试数据。
将对照账户集合中的各对照账户在目标时刻之前的测试数据作为第一对照测试数据，将对照账户集合中的各对照账户在目标时刻之后的测试数据作为第二对照测试数据。
步骤S205，若第一实验测试数据和第一对照测试数据之间的数据差异随时间的变化幅度在设定的阈值范围之内，则根据第一实验测试数据、第一对照测试数据、第二实验测试数据和第二对照测试数据，确定信息投放策略对各实验账户的行为影响度。
需要说明的是，行为影响度为由信息投放策略影响的各实验账户的测试指标的变化量。
在一些实施例中，如果第一实验测试数据和第一对照测试数据之间的数据差异随时间的变化幅度在设定的阈值范围之内，即第一实验测试数据和第一对照测试数据随时间的变化趋势呈平行趋势，可以根据第一实验测试数据与第一对照测试数据之间的差异，以及第二对照测试数据，确定各实验账户的预测实验测试数据，并根据第二实验测试数据与预测实验测试数据之间的差异，确定信息投放策略对各实验账户的行为影响度。
例如，如图3所示，假设目标时刻为7月1日，在7月1日之后按照信息投放策略向各实验账户投放目标多媒体信息，采集在测试过程中，实验账户集合和对照账户集合分别对应的测试数据，并根据测试数据的采集结果绘制折线图，得到如图3所示的折线图，其中，位于上方的实线表示实验账户集合中的各实验账户的测试数据，目标时刻7月1日之前为第一实验测试数据，目标时刻7月1日之后为第二实验测试数据；位于下方的实线表示对照账户集合中的各对照账户的测试数据，目标时刻7月1日之前为第一对照测试数据，目标时刻7月1日之后为第二对照测试数据。通过图3所示的折线图，可以看出，在目标时刻7月1日之前，第一实验测试数据和第一对照测试数据之间的数据差异随时间的变化幅度在设定的阈值范围之内，即第一实验测试数据和第一对照测试数据随时间的变化趋势呈平行趋势。可以根据第一实验测试数据与第一对照测试数据之间的差异，以及第二对照测试数据，预估实验账户集合中的各实验账户的预测实验测试数据，如图3中的虚线部分表示的反事实数据。反事实数据表示假设未按照信息投放策略向各实验账户投放目标多媒体信息，可能得到的各实验账户的测试数据。反事实数据与第二对照测试数据的差异表示实验账户集合与对照账户集合之间存在的固有差异，第二实验测试数据与反事实数据的差异表示信息投放策略对各实验账户的影响程度。
在另一些实施例中，如果第一实验测试数据和第一对照测试数据之间的数据差异随时间的变化幅度在设定的阈值范围之内，可以根据第一实验测试数据与第一对照测试数据之间的差异，以及第二实验测试数据与第二对照测试数据之间的差异，确定信息投放策略对各实验账户的行为影响度。
本申请实施例在根据采集到的测试数据确定信息投放策略对各实验账户的行为影响度之前，需要对采集到的目标时刻之前的测试数据进行平行趋势检验，即确定第一实验测试数据与第一对照测试数据之间的数据差异随时间的变化幅度是否在设定的阈值范围之内。当第一实验测试数据与第一对照测试数据之间的数据差异随时间的变化幅度在设定的阈值范围之内时，根据获取到的各时间段的实验测试数据和对照测试数据之间的相互联系及差异，确定信息投放策略对各实验账户的行为影响度，可以排除各实验账户与各对照账户之间存在的个体差异对行为影响度的影响，从而提高测试得到的行为影响度的准确率。
在一些实施例中，在目标时刻之前，可以不向各实验账户和各对照账户投放目标多媒体信息，即向各实验账户投放目标多媒体信息之前，不对各实验账户和各对照账户进行任何干预。
在另一些实施例中，在目标时刻之前，可以按照初始信息投放策略，对各实验账户和各对照账户均投放目标多媒体信息。在指定的目标时刻之后，按照预设方式对初始信息投放策略进行更新，并按照更新后的信息投放策略，对各实验账户投放目标多媒体信息，对各对照账户可仍按照初始信息投放策略投放目标多媒体信息或者不投放目标多媒体信息。
例如，在目标时刻之前，可以以图片形式向各实验账户和各对照账户均投放目标广告，在指定的目标时刻之后，可以以视频形式向各实验账户投放目标广告。通过测试，可以确定视频形式投放广告的效果。
本申请实施例在按照更新的信息投放策略，对各实验账户投放目标多媒体信息之前，对各实验账户和各对照账户投放相同的目标多媒体信息，使采集到的第一实验测试数据和第一对照测试数据处于相同的影响因素下，可以减小实验账户与对照账户之间的差异，从而提高行为影响度的准确率。
在一些实施例中，在指定的目标时刻之后，按照信息投放策略向实验账户集合中的各实验账户投放目标多媒体信息，进行信息投放策略测试。在测试过程中，采集各实验账户的测试数据以及各对照账户的测试数据，将采集到的测试数据分为目标时刻之前的测试数据和目标时刻之后的测试数据，并且获取各实验账户在目标时刻之前的第一实验测试数据，各对照账户在目标时刻之前的第一对照测试数据，各实验账户在目标时刻之后的第二实验测试数据，以及各对照账户在目标时刻之后的第二对照测试数据。
具体地说，在一种实施例中，在确定出第一实验行为数据、第一对照行为数据、第二实验行为数据和第二对照行为数据之后，可以根据第一实验测试数据和第一对照测试数据在每个预设时间段的数据差异，确定第一实验测试数据和第一对照测试数据之间的数据差异随时间的变化幅度是否在设定的阈值范围之内。
需要说明的是，本申请实施例中确定第一实验测试数据和第一对照测试数据之间的数据差异随时间的变化幅度是否在设定的阈值范围之内，相当于确定第一实验测试数据和第一对照测试数据随时间的变化趋势是否呈平行趋势。
具体实施中，本申请实施例可根据下列方式确定第一实验测试数据和第一对照测试数据随时间的变化趋势是否呈平行趋势。
方式1、通过交互项系数确定第一实验测试数据和第一对照测试数据随时间的变化趋势是否呈平行趋势；
本申请实施例根据第一实验测试数据和第一对照测试数据在每个时间段的数据差异，确定每个预设时间段对应的交互项系数；交互项系数用于表征对应的预设时间段内所述第一实验测试数据与所述第一对照测试数据的数据差异的变化。若确定每个交互项系数均小于或等于设定阈值，则确定本申请实施例中的第一实验测试数据和第一对照测试数据随时间的变换趋势呈平行趋势。
本申请实施例在确定第一实验测试数据和第一对照测试数据随时间变化呈平行趋势时，通过确定目标时刻之前每个预设时间段对应的交互项系数均小于或等于设定阈值，确定每个预设时间段对应的第一实验测试数据和第一对照测试数据呈平行趋势，从而确定第一实验测试数据和第一对照测试数据随时间变化呈平行趋势，提高确定平行趋势的准确率。
例如，设定阈值可以是接近于0的数值，假定预设时间段为1天，测试时间为7天，指定的目标时刻为第4天，即在第4天之后向各实验账户投放目标多媒体信息，采集测试时间内各实验账户和各对照账户的测试数据，并确定测试时间的7天内，每一天的实验测试数据和对照测试数据。可以将第3天的测试数据作为基准，确定目标时刻之前的第一实验测试数据和第一对照测试数据的变化趋势是否呈平行趋势。具体地，以第3天的测试数据为基准，根据确定出的测试数据，做以下回归：
yit＝α*ti+β1*d1+β2*d2+β4*d4+…+β7*d7+γ1*ti*d1+γ2*ti*d2+γ4*ti*d4+…+γ7*ti*d7+b+εit
其中，yit表示1天内采集到的测试数据；α表示实验账户的测试数据与对照账户的测试数据之间的差异；ti表示测试数据是否为从实验账户集合中采集到的测试数据，即实验账户集合为1，对照账户集合为0；交互项系数γt表示测试第t天实验账户的测试数据和对照账户的测试数据之间的数据差异的变化；dt表示测试时间，βt表示测试数据随时间的变化量，βt*dt表示时间固定效应参数，当t＝1时，d1＝1，其余为0；b表示实施策略不同时的实验账户和对照账户之间的差异，策略影响差异参数；εit表示随机误差项；
根据上述公式，可得实验组对应的实验账户集合和对照组对应的对照账户集合在7天的测试时间的测试数据y的值，如下表1所示：
表1测试数据表格
Figure GDA0003093068750000171
根据表1中实验账户集合和对照组对应的对照账户集合在7天的测试时间的测试数据y的值，以及在7天测试时间之内采集到的测试数据，确定交互项系数γt的值。
在对测试数据进行回归处理后，可以通过下列方式，确定第一实验测试数据和第一对照测试数据随时间变化趋势是否呈平行趋势：
示例性地，在确定测试第2天和测试第3天的实验测试数据和对照测试数据是否平行，可通过确定第2天的实验测试数据与对照测试数据的差值，与第3天的实验测试数据与对照测试数据的差值是否相等，即确定[(α+β2+γ2+b)-(β2+b)]-[(α+b)-(b)]是否为0，确定γ2是否为0。考虑到计算过程中可能会存在一定误差，因此只要γ2小于或等于一个接近于0的设定阈值，即γ2不显著，就可以认为测试第2天和测试第3天的实验测试数据和对照测试数据呈平行趋势。在确定测试第2天和测试第1天的实验测试数据和对照测试数据是否平行时，可通过确定第2天的实验测试数据与对照测试数据的差值，与第1天的实验测试数据与对照测试数据的差值是否相等，即确定(γ2-γ1)是否为0。如果(γ2-γ1)不显著，则可以认为测试第2天和测试第1天的实验测试数据和对照测试数据呈平行趋势。综上，如果γ1和γ2均不显著，则可以确定目标时刻之前的实验测试数据和对照测试数据呈平行趋势，即确定第一实验测试数据与第一对照测试数据随时间变化趋势呈平行趋势。
方式2、通过交互项系数的置信区间确定第一实验测试数据和第一对照测试数据随时间的变化趋势呈平行趋势；
本申请实施例根据第一实验测试数据和第一对照测试数据在每个预设时间段的数据差异，确定每个预设时间段对应的交互项系数的置信区间；若每个预设时间段对应的交互项系数的置信区间均包含设定值，则确定第一实验测试数据和第一对照测试数据随时间的变化趋势呈平行趋势。
在一些实施例中，本申请实施例根据采集到的测试数据，确定每个预设时间段对应的交互项系数，以及根据确定出的交互项系数，确定标准偏差；根据交互项系数的平均值，以及标准偏差，确定交互项系数的置信区间。
若本申请实施例中每个预设时间段对应的交互项系数的置信空间均包含设定值，则确定第一实验测试数据和第一对照测试数据随时间的变化趋势呈平行趋势。
在一些实施例中，设定值可以为0。
例如，如图4所示，教育行业在确定信息投放策略对广告消耗的影响时，根据采集到的消耗数据，确定交互项系数，以及交互项系数的置信区间，根据确定出的交互项系数以及其置信区间的对数，得到如图4所示的折线图。其中，广告测试的时间为7月1日到7月9日，目标多媒体信息的投放时间为7月7号，以7月6号的测试数据为基准，图4的交互项系数的折线图中没有7月6号的数据，线段的上下端点表示在每个测试时间的交互项系数的90％置信区间，整体数据中的交互项系数在置信区间的概率为90％；线段的中点位置为根据样本数据确定出的交互项系数。教育行业在进行平行趋势检验时，确定在7月6号之前的每个时间段对应的交互项系数的置信区间是否包含0；若包含0，则确定交互项系数不显著，第一实验测试数据与第一对照测试数据随时间的变化趋势呈平行趋势。
通过上述方式，如果确定第一实验测试数据与第一对照测试数据随时间的变化趋势呈平行趋势，则可以根据第一实验测试数据、第一对照测试数据、第二实验测试数据和第二对照测试数据，确定信息投放策略对各实验账户的行为影响度。如果确定第一实验测试数据和第一对照测试数据呈非平行趋势，则可以查找第一实验测试数据和第一对照测试数据中是否存在极端数据。
需要说明的是，第一实验测试数据中的极端数据为实验账户集合中与各个其他实验账户的测试数据的数据差异均超出设定差异范围的账户的测试数据；第一对照测试数据中的极端数据为对照账户集合中与各个其他对照账户的测试数据的数据差异均超出设定差异范围的账户的测试数据。
在一些实施例中，若确定本申请实施例中的第一实验测试数据中存在极端数据，则删除第一实验测试数据中的极端数据，使第一实验测试数据和第一对照测试数据随时间的变化趋势呈平行趋势。若确定本申请实施例中的第一对照测试数据中存在极端数据，则删除第一对照测试数据中的极端数据，使第一实验测试数据和第一对照测试数据随时间的变化趋势呈平行趋势。
本申请实施例在确定第一实验测试数据和第一对照测试数据随时间的变化趋势呈非平行趋势时，通过删除第一实验测试数据或第一对照测试数据中的极端数据，使第一实验测试数据和第一对照测试数据所时间的变化趋势呈平行趋势，从而排除了实验账户集合与对照账户集合之间的固有差异，提高得到的行为影响度的准确率。
本申请实施例在确定第一实验测试数据和第一对照测试数据随时间的变化趋势呈平行趋势后，可以通过下列方式确定信息投放策略对各实验账户的行为影响度。
方式一、根据测试数据之间的差异确定行为影响度。
在一些实施例中，本申请实施例可以根据第一实验测试数据与第一对照测试数据之间的差异，以及第二对照测试数据，确定各实验账户的预测实验测试数据，根据第二实验测试数据与预测实验测试数据之间的差异，确定信息投放策略对各实验账户的行为影响度。
需要说明的是，本申请实施例中的预测实验测试数据是各实验账户的反事实测试数据，假设各实验账户未接收到投放目标多媒体信息时所产生的测试数据。
具体实施中，本申请实施例通过采用A/A实验的方式，根据第二实验测试数据与预测实验测试数据的差异，能够直观地确定信息投放策略对各实验账户的测试数据的影响，进而根据对测试数据的影响确定信息投放策略对各实验账户的行为影响度。
在另一些实施例中，本申请实施例根据第一实验测试数据与第一对照测试数据之间的差异，以及第二实验测试数据与第二对照测试数据之间的差异，确定信息投放策略对各实验账户的行为影响度。
在一些实施例中，本申请实施例根据第一实验测试数据与第一对照测试数据之间的差异，与第二实验测试数据与第二对照测试数据之间的差异的差值，确定信息投放策略对各实验账户的测试数据的影响，进而确定信息投放策略对各实验账户的行为影响度。
方式二、根据双重差分模型DID模型确定行为影响度。
如果对账户使用实验前和实验后的方式来简单比较政策效果，可能指标会随时间趋势变化、或在测试期间受其他事件干预的影响，但是通过DID方法找出另一组没有受到干预的账户，在同样的测试时期内，就可以排除时间趋势和共性事件的影响。
本申请实施例采用DID模型对第一实验测试数据、第一对照测试数据、第二实验测试数据和第二对照测试数据进行拟合，确定DID模型中的个体固定效应参数、时间固定效应参数和策略影响差异参数。
在一些实施例中，本申请实施例根据确定出的策略影响差异参数，确定信息投放策略对各实验账户的行为影响度。
由于本申请实施例通过采用DID模型的方法排除各实验账户和各对照账户之间已经存在的差异，将行为影响度的确定方式转化为确定模型各参数的过程，来获得实验账户集合和对照账户集合的真实差异，并根据获得的真实差异确定行为影响度，从而得到信息投放策略的准确的行为影响度。
在一些实施例中，根据广告测试中待测试账户的数量以及测试时间的不同，采用不同的DID模型确定行为影响度。
在一些实施例中，若在相同时刻或从相同时刻开始对实验账户集合中的各实验账户投放目标多媒体信息，则采用第一DID模型，对第一实验测试数据、第一对照测试数据、第二实验测试数据进行拟合，确定第一DID模型中的个体固定效应参数、时间固定效应参数和策略影响差异参数；根据确定出的测量影响差异参数确定信息投放策略对各实验账户的行为影响度。
在一些实施例中，本申请实施例中的第一DID模型可以为加入固定效应的固定效应DID模型，该固定效应DID模型具体形式如下：
Figure GDA0003093068750000211
其中，yit表示测试数据；α表示实验账户集合和对照账户集合的固定差异；λi表示个体固定效应参数；ti表示是否为测试数据是否为从实验账户集合中的测试数据，即实验账户为1，对照账户为0；b2表示策略影响差异参数；postt表示信息投放策略实施时间；
Figure GDA0003093068750000212
表示时间固定效应参数；εit表示随机误差项。
在一些实施例中，本申请实施例将各实验账户对应的测试数据以及各对照账户对应的测试数据输入到固定效应DID模型中，进行拟合，进而确定固定效应DID模型的个体固定效应参数、时间固定效应参数和策略影响差异参数；再根据确定出的策略影响差异参数确定信息投放策略对各实验账户的行为影响度。
本申请实施例通过固定效应DID模型确定行为影响度时，由于固定效应DID模型能够更好地摒除账户之间的差异以及时间变化趋势带来的影响，降低了固定效应DID模型中参数的估计方差，从而提高了确定策略影响差异参数的准确率，进而提高了行为影响度的准确率。
在另一些实施例中，固定效应DID模型的具体形式还可以如下所示：
Figure GDA0003093068750000223
其中，yit表示1天内采集到的测试数据；λi表示个体固定效应参数；ti表示是否为测试数据是否为从实验账户集合中采集到的测试数据，即实验组为1，对照组为0；交互项系数γt表示测试第t天实验组和对照组之间的差异；dt表示测试时间；
Figure GDA0003093068750000221
表示时间固定效应参数；b表示实施策略不同时的实验组和对照组之间的差异，策略影响差异参数；εit表示随机误差项。
在另一些实施例中，在进行广告测试时，如果待测试账户的数量较少，测试时间较短，且在相同时刻或从相同时刻开始对各实验账户投放目标多媒体信息时，本申请实施例可采用如下DID模型确定行为影响度。
DID模型的具体形式为：
yit＝α+b0*ti+b1*postt+b2*ti*postt+εit
其中，yit表示测试数据；α表示实验账户集合和对照账户集合的固定差异；b0*ti表示实验账户与对照账户之间的差异；ti表示是否为测试数据是否为从实验账户集合中的测试数据，即实验账户为1，对照账户为0；b1*postt表示随时间变化实验账户与对照账户之间的差异；b2表示策略影响差异参数；postt表示信息投放策略实施时间；εit表示随机误差项。
本申请实施例将各实验账户对应的实验测试数据，以及各对照账户对应的对照测试数据输入到传统DID模型后，确定传统DID的参数；其中，传统DID模型中各参数的含义具体如表2所示：
表2传统DID模型中各参数的含义
Figure GDA0003093068750000222
Figure GDA0003093068750000231
在另一些实施例中，若在不同时刻对各实验账户分别投放目标多媒体信息，采用第二双重差分模型，对第一实验测试数据、第一对照测试数据、第二实验测试数据和第二对照测试数据进行拟合，确定第二DID模型中的个体固定效应参数、时间固定效应参数、策略作用参数和策略影响差异参数；再根据确定出的策略影响差异参数，确定行为影响度。
需要说明的是，本申请实施例中的策略作用参数为针对各实验账户对应的目标多媒体信息的投放时间确定的参数；例如，在7月1号开始向各实验账户投放目标多媒体信息，对于各实验账户来说，在7月1号之前的时间点策略作用参数为0，在7月1号之后的时间点策略作用参数为1；对于各对照账户，策略作用参数始终为0。
在一些实施例中，在采用逐步向各实验账户投放目标多媒体信息的方式进行广告测试时，可通过多时点DID模型对各实验账户的第一实验测试数据、第二实验测试数据，以及各对照账户的第一对照测试数据、第二对照测试数据进行拟合，确定多时点DID模型中的策略影响差异参数；并根据确定出的策略影响差异参数确定信息投放策略对各实验账户的行为影响度。
在一些实施例中，多时点DID模型的设定如下：
Figure GDA0003093068750000232
其中，yit表示测试数据；α表示实验账户集合和对照账户集合的固定差异；λi表示个体固定效应参数；b2表示策略影响差异参数；effectit表示策略作用参数；
Figure GDA0003093068750000233
表示时间固定效应参数；εit表示随机误差项。
本申请实施例在不同时刻或从不同时刻开始对各实验账户分别投放目标多媒体信息时，通过采用多时点DID模型，通过模型中的策略作用参数消除各实验账户与各对照账户之间由投放目标多媒体信息的时间点不同而带来的差异，从而提高确定DID模型中的策略影响差异参数的准确率，进而提高行为影响度的准确率。
在一些实施例中，本申请实施例在采用DID模型对采集到的测试数据进行拟合时，先确定第一实验测试数据与第一对照测试数据的第一差值，以及第二实验测试数据与第二对照测试数据的第二差值，再根据确定出的第一差值与第二差值的差值，确定策略影响差异参数，并根据确定出的策略影响差异参数确定行为影响度。示例性地，可以确定上述DID模型中的策略影响差异参数b2，如果策略影响差异参数b2显著，则说明信息投放策略的行为影响度较大，该信息投放策略达到的效果较好。
在一些实施例中，行为影响度达到设定影响度阈值后，确定信息投放策略对广告具有很大的提升，则按照预设的信息投放策略，扩大目标多媒体信息的投放范围，提高广告的影响力。
在一些实施例中，行为影响度包括但不限于P值，本申请实施例可通过下列方式确定P值：
本申请实施例在确定策略影响差异参数后，根据确定出的策略影响差异参数，以及确定出的估计标准差，确定P值。
在另一些实施例中，可通过下列公式确定P值：
P＝2P{X>C}
其中，P值表示一件事发生的概率；X表示各个实验账户对应的策略影响差异参数，C表示策略影响差异参数的估计值。
在一些实施例中，若X服从正态分布，P＝P{|X|}>C}。
本申请实施例在确定出P值后，根据设定的显著水平确定策略影响差异参数是否显著；若显著水平大于P值，则在显著水平下拒绝原假设；若显著水平小于P值，则在显著水平下拒接受原假设；
需要说明的是，本申请实施例中的原假设为信息投放策略为广告带来提升。
在一些实施例中，在采用DID模型确定信息投放策略对各实验账户的行为影响度时，需要先验证DID模型的有效性；
本申请实施例可通过下列方式验证DID模型的有效性：
本申请实施例从数据库中获取在测试时间段内的效果数据，确定开始向各实验账户投放目标多媒体信息的目标时刻，将获取到的效果数据分为实验组和对照组，根据预先设置的实验组与对照组的差异验证DID模型的有效性。
在一些实施例中，在验证DID模型的有效性时，可通过直接进行数据比对的结果、DID模型分析结果和认为提升DID模型后的分析结果之间的对比，确定DID模型的有效性。
例如，从数据库抽取广告日曝光效果数据，时间范围为20180714～20180921，共70天，其中，效果数据的字段具体包括：广告组id，请求日期，日曝光量，日点击量，日消耗(微元)。选取0902为实验开始日期，0714～0901(50天)为实验前阶段，0902～0921(20天)为实验后阶段，即t∈[-50，20]。将抽取的3000个广告组随机划分为实验组和对照组，在验证DID模型的有效性时，根据直接比对、DID模型分析和提升后的DID模型分析三种确定方式进行预期：
(1)直接对比实验组和对照组的广告效果(曝光量、点击量、消耗)时，广告组之间的自身基础差异会导致较大的效果差异。
(2)因为样本数据并无真实的实验处理，实验组和对照组在虚拟实验开始时间前后并无差异，故对实验组和对照组建立DID模型后，效果差异会基本消失，策略影响差异参数b2不显著。
(3)当给实验组实验阶段数据添加一定程度的人为提升时，DID模型可以识别该提升策略影响差异参数b2显著。
根据上述三种确定行为影响度的方式，对采集到的效果数据进行分析：
(1)直接比对实验组和对照组的效果数据，得到如表3所示的结果：
表3直接比对结果
Figure GDA0003093068750000251
Figure GDA0003093068750000261
本申请实施例在没有对实验组投放目标多媒体信息时，直接将实验组中的效果数据与对照组中的效果数据进行比较，出现了较大差异，从而为广告评估带来很大的干扰。
(2)通过DID模型分析实验组和对照组的效果数据，得到的DID模型分析结果如表4所示：
表4 DID分析结果
模型 <![CDATA[b<sub>2</sub>估计值]]> 估计标准差 P值
曝光量DID模型 -0.83％ 2.50％ 0.7403
点击量DID模型 -1.34％ 1.92％ 0.4671
消耗DID模型 -3.51％ 7.25％ 0.6284
本申请实施例在使用DID模型确定行为影响度时，由表4可以看出，对照组和实验组之间的效果差异基本消失，且由于P值大于预设的显著水平0.1，则表示策略影响差异参数不显著，行为影响度不显著，表示DID模型可以消除对照组和实验组之间的固有差异，提高行为影响度的准确率，进而提高信息投放策略的准确度。
(3)本申请实施例对实验组中的效果数据曝光量人为提升1％、3％、5％，对点击量人为提升1％、3％、5％、10％，对消耗人为提升1％、3％、5％、10％、20％、30％，确定DID模型能够检测到提升的提升百分比。
通过提升后DID模型分析实验组和对照组的效果数据，得到的提升后DID模型分析结果如表5所示：
表5提升后DID模型分析结果
Figure GDA0003093068750000262
Figure GDA0003093068750000271
由表5中的P值可知，DID模型可检测到曝光量5％以上的提升，点击量10％以上的提升，以及检测到消耗20％～30％的提升。
在一些实施例中，本申请实施例中的DID模型应用于广告系统中，使用广告系统中的DID效果分析测试数据；
需要说明的是，广告系统包括但不限于DID处理器、至少一个数据库、查询接口和显示设备；其中，DID处理器、至少一个数据库和查询接口可以位于广告系统的服务器中，显示设备可以为广告系统中的服务器的外接显示设备，在此并不作限定。
如图5所示，本申请实施例在通过广告系统中的DID效果分析选项分析测试数据时，包括以下步骤：
步骤S501，响应用户在显示界面触发的DID效果分析的操作，显示设备向DID处理器发送分析请求。
步骤S502，DID处理器根据接收到的分析请求，向数据库发送获取测试数据的请求。
在一种实施例中，存储测试数据的数据库可以包括但不限于HDFS(HadoopDistributed File System，分布式文件系统)等。HDFS中可以包括多个服务器，多个服务器可组成为区块链，每个服务器为区块链上的一个节点。
步骤S503，数据库根据接收到的获取测试数据的请求，向DID处理器发送测试数据。
步骤S504，DID处理器对接收到的测试数据进行DID分析，得到DID分析结果。
步骤S505，DID处理器将得到的DID分析结果存储到相应的数据库中。
需要说明的是，存储DID分析结果的数据库可以为实时检索分析平台HERMES。
步骤S506，显示设备响应用户在显示界面中触发的查询DID分析结果的操作，向查询接口发送查询请求。
需要说明的是，查询接口与存储DID分析结果的数据库相连接，例如，查询接口可以为HERMES中的查询接口。
步骤S507，查询接口根据接收到的查询请求，向数据库发送获取DID分析结果的请求。
例如，查询接口根据接收到的查询请求，向HERMES发送获取DID分析结果的请求。
步骤S508，数据库根据接收到的获取DID分析结果的请求，向查询接口发送DID分析结果。
步骤S509，查询接口向显示设备发送包含DID分析结果的查询响应。
步骤S510，显示设备根据接收到的查询响应，在显示界面中展示DID分析结果。
例如，如图6所示，用户可通过在广告系统中的分析界面中选择“DID效果分析”选项，并点击分析界面中的查询结果。如图7所示，广告系统响应用户的操作，在广告系统的显示界面显示DID分析结果界面。
如图8所示，本申请实施例提供一种信息投放策略测试方法的完整流程图，其中，以投放初始信息投放策略，根据交互项系数进行平行趋势检验，以及在不同时刻对各实验账户分别投放目标多媒体信息为例，包括以下步骤：
步骤S801、将待测试的各账户划分为实验账户集合和对照账户集合；
步骤S802、按照初始信息投放策略，对各实验账户和各对照账户均投放目标多媒体信息；
步骤S803、在指定的目标时刻之后，按照预设方式对初始信息投放策略进行更新，并按照更新后的信息投放策略，对实验账户集合中的各实验账户投放目标多媒体信息；
步骤S804、基于测试数据采集结果，获得第一实验测试数据，第二实验测试数据，第一对照测试数据，以及第二对照测试数据；
需要说明的是，测试数据采集结果包括针对各实验账户和各对照账户实时采集的测试数据；第一实验测试数据为各实验账户在目标时刻之前的测试数据，第二实验测试数据为各实验账户在目标时刻之后的测试数据，第一对照测试数据为各对照账户在目标时刻之前的测试数据，第二对照测试数据为各对照账户在目标时刻之后的测试数据；
步骤S805、根据第一实验测试数据和第一对照测试数据在每个预设时间段的数据差异，确定每个预设时间段对应的交互项系数；
步骤S806、确定每个预设时间段对应的交互项系数是否均小于或等于设定阈值；若是，则执行步骤S808；若否，则执行步骤S807；
步骤S807、确定第一实验测试数据和第一对照测试数据之间的数据差异随时间的变化幅度超出设定的阈值范围，从第一实验测试数据或第一对照测试数据中删除极端数据；
需要说明的是，第一实验测试数据中的极端数据为实验账户集合中与各个其他实验账户的测试数据的数据差异均超出设定差异范围的账户的测试数据；第一对照测试数据中的极端数据为对照账户集合中与各个其他对照账户的测试数据的数据差异均超出设定差异范围的账户的测试数据；
步骤S808、确定第一实验测试数据和第一对照测试数据之间的数据差异随时间的变化幅度在设定的阈值范围之内；
步骤S809、采用第二双重差分模型，对第一实验测试数据、第一对照测试数据、第二实验测试数据和第二对照测试数据进行拟合，确定第二双重差分模型中的个体固定效应参数、时间固定效应参数、策略作用参数和策略影响差异参数；
步骤S810、根据策略影响差异参数，确定信息投放策略对各实验账户的行为影响度；
步骤S811、若行为影响度达到设定影响度阈值，则按照预设的信息投放策略，扩大目标多媒体信息的投放范围。
与图2所示的信息投放策略测试方法基于同一发明构思，本申请实施例中还提供了一种信息投放策略测试装置，该信息投放策略测试装置可以布设在终端设备中。由于该装置是本申请实施例信息投放策略测试方法对应的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见上述方法的实施，重复之处不再赘述。
图9示出了本申请实施例提供的一种信息投放策略测试装置的结构示意图，如图9所示，该信息投放策略测试装置包括：分配单元901和投放单元902，采集单元903，确定单元904；其中，
分配单元901，用于将待测试的各账户划分为实验账户集合和对照账户集合；
投放单元902，用于在指定的目标时刻之后，按照预设的信息投放策略，对实验账户集合中的各实验账户投放目标多媒体信息；
采集单元903，用于基于测试数据采集结果，获得各实验账户在目标时刻之前的第一实验测试数据，以及在目标时刻之后的第二实验测试数据；基于测试数据采集结果，获得各对照账户在目标时刻之前的第一对照测试数据，以及在目标时刻之后的第二对照测试数据；
需要说明的是，测试数据采集结果包括针对各实验账户和各对照账户实时采集的测试数据；
确定单元904，用于若第一实验测试数据与第一对照测试数据之间的数据差异随时间的变化幅度在设定的阈值范围之内，则根据第一实验测试数据、第一对照测试数据、第二实验测试数据和第二对照测试数据，确定信息投放策略对各实验账户的行为影响度；
需要说明的是，行为影响度为由信息投放策略影响的各实验账户的测试指标的变化量。
一种可选的实施方式为，基于实时数据采集结果，获得各对照账户在目标时刻之前的第一对照测试数据，以及在目标时刻之后的第二对照测试数据之后，确定单元904还用于：
根据第一实验测试数据和第一对照测试数据在每个预设时间段的数据差异，确定第一实验测试数据和第一对照测试数据之间的数据差异随时间的变化幅度是否在设定的阈值范围之内。
在一种可选的实施例中，确定单元904具体用于：
根据第一实验测试数据和第一对照测试数据在每个预设时间段的数据差异，确定每个预设时间段对应的交互项系数；交互项系数用于表征对应的预设时间段内第一实验测试数据与第一对照测试数据的数据差异的变化；
若每个预设时间段对应的交互项系数均小于或等于设定阈值，则确定第一实验测试数据和第一对照测试数据之间的数据差异随时间的变化幅度在设定的阈值范围之内。
在一种可选的实施例中，确定单元904具体用于：
根据第一实验测试数据和第一对照测试数据在每个预设时间段的数据差异，确定每个预设时间段对应的交互项系数的置信区间；
若每个预设时间段对应的交互项系数的置信区间均包含设定值，则确定第一实验测试数据和第一对照测试数据之间的数据差异随时间的变化幅度在设定的阈值范围之内。
在一种可选的实施例中，确定单元904具体用于：
根据第一实验测试数据与第一对照测试数据之间的差异，以及第二对照测试数据，确定各实验账户的预测实验测试数据，并根据第二实验测试数据与预测实验测试数据之间的差异，确定信息投放策略对各实验账户的行为影响度；或者，
根据第一实验测试数据与第一对照测试数据之间的差异，以及第二实验测试数据与第二对照测试数据之间的差异，确定信息投放策略对各实验账户的行为影响度。
在一种可选的实施例中，确定单元904具体用于：
若在相同时刻对实验账户集合中的各实验账户投放目标多媒体信息，则采用第一双重差分模型，对第一实验测试数据、第一对照测试数据、第二实验测试数据和第二对照测试数据进行拟合，确定第一双重差分模型中的个体固定效应参数、时间固定效应参数和策略影响差异参数；
需要说明的是，个体固定效应参数为针对各实验账户和各对照账户分别确定的效应参数；时间固定效应参数为针对各时间段分别确定的参数；
根据策略影响差异参数，确定信息投放策略对各实验账户的行为影响度。
在一种可选的实施例中，确定单元904具体用于：
若在不同时刻对各实验账户分别投放目标多媒体信息，采用第二双重差分模型，对第一实验测试数据、第一对照测试数据、第二实验测试数据和第二对照测试数据进行拟合，确定第二双重差分模型中的个体固定效应参数、时间固定效应参数、策略作用参数和策略影响差异参数；策略作用参数为针对各实验账户对应的目标多媒体信息的投放时间确定的参数；
根据策略影响差异参数，确定信息投放策略对各实验账户的行为影响度。
在一种可选的实施例中，对实验账户集合中的各实验账户投放目标多媒体信息之前，投放单元902还用于：
按照初始信息投放策略，对实验账户集合中的各实验账户和对照账户集合中的各对照账户均投放目标多媒体信息；
投放单元902具体用于：
在指定的目标时刻之后，按照预设方式对初始信息投放策略进行更新，并按照更新后的信息投放策略，对实验账户集合中的各实验账户投放目标多媒体信息。
在一种可选的实施例中，根据第一实验测试数据、第一对照测试数据、第二实验测试数据和第二对照测试数据，确定信息投放策略对各实验账户的行为影响度之前，确定单元904还用于：
若第一实验测试数据和第一对照测试数据之间的数据差异随时间的变化幅度超出设定的阈值范围，则从第一实验测试数据或第一对照测试数据中删除极端数据；第一实验测试数据中的极端数据为实验账户集合中与各个其他实验账户的测试数据的数据差异均超出设定差异范围的账户的测试数据；第一对照测试数据中的极端数据为对照账户集合中与各个其他对照账户的测试数据的数据差异均超出设定差异范围的账户的测试数据。
在一种可选的实施例中，确定信息投放策略对各实验账户的行为影响度之后，确定单元904还用于：
若行为影响度达到设定影响度阈值，则按照预设的信息投放策略，扩大目标多媒体信息的投放范围。
与图2所示的信息投放策略测试方法基于同一发明构思，本申请实施例还提供了一种电子设备。如图10所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，可参照本申请方法实施例部分。该电子设备可以是服务器，如图1所示的服务器100。在该实施例中，电子设备的结构可以如图10所示，包括存储器131，通讯模块133以及一个或多个处理器132。
存储器131，用于存储处理器132执行的计算机程序。存储器131可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。
处理器132，可以包括一个或多个中央处理单元(central processing unit，CPU)或者为数字处理单元等等。处理器132，用于调用存储器131中存储的计算机程序时实现上述控制方法。
通讯模块133用于与终端设备进行通信，获取测试数据。
本申请实施例中不限定上述存储器131、通讯模块133和处理器132之间的具体连接介质。本公开实施例在图10中以存储器131和处理器132之间通过总线134连接，总线134在图10中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线134可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一实施例中的信息投放策略测试方法。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (14)

1.一种信息投放策略测试方法，其特征在于，该方法包括：
将待测试的各账户划分为实验账户集合和对照账户集合；
按照初始信息投放策略，对所述实验账户集合中的各实验账户和所述对照账户集合中的各对照账户均投放目标多媒体信息；
在指定的目标时刻之后，按照预设方式对所述初始信息投放策略进行更新，并按照更新后的信息投放策略，对所述实验账户集合中的各实验账户投放所述目标多媒体信息；
基于测试数据采集结果，获得所述各实验账户在所述目标时刻之前的第一实验测试数据，以及在所述目标时刻之后的第二实验测试数据；所述测试数据采集结果包括针对各实验账户和各对照账户实时采集的测试数据；
基于所述测试数据采集结果，获得所述各对照账户在所述目标时刻之前的第一对照测试数据，以及在所述目标时刻之后的第二对照测试数据；
若所述第一实验测试数据与所述第一对照测试数据之间的数据差异随时间的变化幅度在设定的阈值范围之内，则根据所述第一实验测试数据、所述第一对照测试数据、所述第二实验测试数据和所述第二对照测试数据，确定所述信息投放策略对各实验账户的行为影响度；所述行为影响度为由所述信息投放策略影响的各实验账户的测试指标的变化量。
2.根据权利要求1所述的方法，其特征在于，所述基于所述测试数据采集结果，获得所述各对照账户在所述目标时刻之前的第一对照测试数据，以及在所述目标时刻之后的第二对照测试数据之后，所述方法还包括:
根据所述第一实验测试数据和所述第一对照测试数据在每个预设时间段的数据差异，确定所述第一实验测试数据与所述第一对照测试数据之间的数据差异随时间的变化幅度是否在设定的阈值范围之内。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一实验测试数据和所述第一对照测试数据在每个预设时间段的数据差异，确定所述第一实验测试数据与所述第一对照测试数据之间的数据差异随时间的变化幅度是否在设定的阈值范围之内，包括：
根据所述第一实验测试数据和所述第一对照测试数据在每个预设时间段的数据差异，确定每个预设时间段对应的交互项系数；所述交互项系数用于表征对应的预设时间段内所述第一实验测试数据与所述第一对照测试数据的数据差异的变化；
若每个预设时间段对应的交互项系数均小于或等于设定阈值，则确定所述第一实验测试数据与所述第一对照测试数据之间的数据差异随时间的变化幅度在设定的阈值范围之内。
4.根据权利要求2所述的方法，其特征在于，所述根据所述第一实验测试数据和所述第一对照测试数据在每个预设时间段的数据差异，确定所述第一实验测试数据与所述第一对照测试数据之间的数据差异随时间的变化幅度是否在设定的阈值范围之内，包括：
根据所述第一实验测试数据和所述第一对照测试数据在每个预设时间段的数据差异，确定每个预设时间段对应的交互项系数的置信区间；
若每个预设时间段对应的交互项系数的置信区间均包含设定值，则确定所述第一实验测试数据与所述第一对照测试数据之间的数据差异随时间的变化幅度在设定的阈值范围之内。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一实验测试数据、所述第一对照测试数据、所述第二实验测试数据和所述第二对照测试数据，确定所述信息投放策略对各实验账户的行为影响度，包括：
根据所述第一实验测试数据与所述第一对照测试数据之间的差异，以及所述第二对照测试数据，确定所述各实验账户的预测实验测试数据，并根据所述第二实验测试数据与所述预测实验测试数据之间的差异，确定所述信息投放策略对所述各实验账户的行为影响度；或者，
根据所述第一实验测试数据与所述第一对照测试数据之间的差异，以及所述第二实验测试数据与所述第二对照测试数据之间的差异，确定所述信息投放策略对所述各实验账户的行为影响度。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第一实验测试数据、所述第一对照测试数据、所述第二实验测试数据和所述第二对照测试数据，确定所述信息投放策略对各实验账户的行为影响度，包括：
若在相同时刻对所述实验账户集合中的各实验账户投放目标多媒体信息，则采用第一双重差分模型，对所述第一实验测试数据、所述第一对照测试数据、所述第二实验测试数据和所述第二对照测试数据进行拟合，确定所述第一双重差分模型中的个体固定效应参数、时间固定效应参数和策略影响差异参数；所述个体固定效应参数为针对各实验账户和各对照账户分别确定的效应参数；所述时间固定效应参数为针对各时间段分别确定的参数；
根据所述策略影响差异参数，确定所述信息投放策略对所述各实验账户的行为影响度。
7.根据权利要求1所述的方法，其特征在于，所述根据所述第一实验测试数据、所述第一对照测试数据、所述第二实验测试数据和所述第二对照测试数据，确定所述信息投放策略对各实验账户的行为影响度，包括：
若在不同时刻对所述各实验账户分别投放所述目标多媒体信息，采用第二双重差分模型，对所述第一实验测试数据、所述第一对照测试数据、所述第二实验测试数据和所述第二对照测试数据进行拟合，确定所述第二双重差分模型中的个体固定效应参数、时间固定效应参数、策略作用参数和策略影响差异参数；所述策略作用参数为针对各实验账户对应的所述目标多媒体信息的投放时间确定的参数；
根据所述策略影响差异参数，确定所述信息投放策略对所述各实验账户的行为影响度。
8.根据权利要求2所述的方法，其特征在于，所述根据所述第一实验测试数据、所述第一对照测试数据、所述第二实验测试数据和所述第二对照测试数据，确定所述信息投放策略对各实验账户的行为影响度之前，所述方法还包括：
若所述第一实验测试数据和所述第一对照测试数据之间的数据差异随时间的变化幅度超出设定的阈值范围，则从所述第一实验测试数据或所述第一对照测试数据中删除极端数据；所述第一实验测试数据中的极端数据为所述实验账户集合中与各个其他实验账户的测试数据的数据差异均超出设定差异范围的账户的测试数据；所述第一对照测试数据中的极端数据为所述对照账户集合中与各个其他对照账户的测试数据的数据差异均超出设定差异范围的账户的测试数据。
9.根据权利要求1~8中任一项所述的方法，其特征在于，确定所述信息投放策略对各实验账户的行为影响度之后，所述方法还包括：
若所述行为影响度达到设定影响度阈值，则按照所述预设的信息投放策略，扩大所述目标多媒体信息的投放范围。
10.一种信息投放策略测试装置，其特征在于，该装置包括：
分配单元，用于将待测试的各账户划分为实验账户集合和对照账户集合；
投放单元，用于按照初始信息投放策略，对所述实验账户集合中的各实验账户和所述对照账户集合中的各对照账户均投放目标多媒体信息；在指定的目标时刻之后，按照预设方式对所述初始信息投放策略进行更新，并按照更新后的信息投放策略，对所述实验账户集合中的各实验账户投放所述目标多媒体信息；
采集单元，用于基于测试数据采集结果，获得所述各实验账户在所述目标时刻之前的第一实验测试数据，以及在所述目标时刻之后的第二实验测试数据；所述测试数据采集结果包括针对各实验账户和各对照账户实时采集的测试数据；基于所述测试数据采集结果，获得所述各对照账户在所述目标时刻之前的第一对照测试数据，以及在所述目标时刻之后的第二对照测试数据；
确定单元，用于若所述第一实验测试数据与所述第一对照测试数据之间的数据差异随时间的变化幅度在设定的阈值范围之内，则根据所述第一实验测试数据、所述第一对照测试数据、所述第二实验测试数据和所述第二对照测试数据，确定所述信息投放策略对各实验账户的行为影响度；所述行为影响度为由所述信息投放策略影响的各实验账户的测试指标的变化量。
11.根据权利要求10所述的装置，其特征在于，所述确定单元还用于：
根据所述第一实验测试数据和所述第一对照测试数据在每个预设时间段的数据差异，确定所述第一实验测试数据与所述第一对照测试数据之间的数据差异随时间的变化幅度是否在设定的阈值范围之内。
12.根据权利要求10所述的装置，其特征在于，所述确定单元具体用于：
根据所述第一实验测试数据与所述第一对照测试数据之间的差异，以及所述第二对照测试数据，确定所述各实验账户的预测实验测试数据，并根据所述第二实验测试数据与所述预测实验测试数据之间的差异，确定所述信息投放策略对所述各实验账户的行为影响度；或者，
根据所述第一实验测试数据与所述第一对照测试数据之间的差异，以及所述第二实验测试数据与所述第二对照测试数据之间的差异，确定所述信息投放策略对所述各实验账户的行为影响度。
13.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现权利要求1~9中任一项所述的方法。
14.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现权利要求1~9中任一项所述的方法。
CN202110095892.8A 2021-01-25 2021-01-25 一种信息投放策略测试方法、装置、存储介质和电子设备 Active CN113159815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110095892.8A CN113159815B (zh) 2021-01-25 2021-01-25 一种信息投放策略测试方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110095892.8A CN113159815B (zh) 2021-01-25 2021-01-25 一种信息投放策略测试方法、装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN113159815A CN113159815A (zh) 2021-07-23
CN113159815B true CN113159815B (zh) 2023-04-18

Family

ID=76878748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110095892.8A Active CN113159815B (zh) 2021-01-25 2021-01-25 一种信息投放策略测试方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN113159815B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657930B (zh) * 2021-08-12 2024-05-28 广州虎牙科技有限公司 测试策略有效性的方法、装置、电子设备及可读存储介质
CN113688124B (zh) * 2021-08-20 2023-10-31 广州虎牙科技有限公司 数据干扰消除方法及相关装置
CN113421135B (zh) * 2021-08-24 2022-03-01 北京达佳互联信息技术有限公司 确定资源投放控制参数的方法和装置、电子设备
CN113723795B (zh) * 2021-08-26 2023-11-07 泰康保险集团股份有限公司 一种信息投放策略测试方法、装置、存储介质和电子设备
CN115034833B (zh) * 2022-08-10 2022-12-27 北京达佳互联信息技术有限公司 投放策略的测试方法、装置、电子设备和存储介质
CN115049327B (zh) * 2022-08-17 2022-11-15 阿里巴巴（中国）有限公司 数据处理方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109302301A (zh) * 2017-07-25 2019-02-01 北京嘀嘀无限科技发展有限公司 一种业务策略的评估方法及装置
CN109308552A (zh) * 2017-07-26 2019-02-05 北京嘀嘀无限科技发展有限公司 一种业务策略评估方法、装置及电子设备
CN108520436A (zh) * 2018-03-29 2018-09-11 北京字节跳动网络技术有限公司 内容的价值评价方法和装置
CN111311336B (zh) * 2020-03-17 2023-07-04 北京嘀嘀无限科技发展有限公司 一种策略执行的测试跟踪方法和系统
CN111144957B (zh) * 2020-04-07 2021-03-19 腾讯科技（深圳）有限公司 信息投放方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
CN113159815A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN113159815B (zh) 一种信息投放策略测试方法、装置、存储介质和电子设备
US11130049B2 (en) Entertainment system for performing human intelligence tasks
US8495718B2 (en) Authentication method and apparatus
CN107808295B (zh) 多媒体数据投放方法及装置
US20110004520A1 (en) System to present business network notifications in conjunction with display advertisements
CN110472879B (zh) 一种资源效果的评估方法、装置、电子设备及存储介质
WO2016169193A1 (zh) 用于检测点击作弊的方法及装置
US10360574B2 (en) Systems and methods for response rate determination and offer selection
US9274780B1 (en) Distribution of applications with a saved state
CN109034867B (zh) 点击流量检测方法、装置及存储介质
WO2014026429A1 (zh) 热力图中的数据确定方法及装置
CN109376534B (zh) 用于检测应用的方法和装置
CN113421135B (zh) 确定资源投放控制参数的方法和装置、电子设备
CN111178983A (zh) 用户性别预测方法、装置、设备及存储介质
CN113949941A (zh) 对象投放处理方法、装置、电子设备及存储介质
CN107993078B (zh) 用于评价信息展示效果方法和装置以及计算设备
CN111738770A (zh) 广告异常流量检测方法及装置
CN111444447A (zh) 内容推荐页面的展现方法及装置
CN112418259A (zh) 一种基于直播过程中用户行为的实时规则的配置方法、计算机设备及可读存储介质
CN114065051A (zh) 私域平台视频推荐方法、装置、电子设备和介质
CN115131052A (zh) 一种数据处理方法、计算机设备和存储介质
CN112953904A (zh) 异常检测方法、装置、服务器以及存储介质
CN113329233B (zh) 直播数据的处理方法、装置、电子设备及存储介质
CN114764485B (zh) 一种信息显示方法、装置、存储介质及计算机设备
US20180157725A1 (en) Query-Based Application Data Retrieval

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant