CN113657930A - 测试策略有效性的方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本发明提供的测试策略有效性的方法、装置、电子设备及可读存储介质，包括：当目标应用存在业务提升需求，获取已投放策略的用户集合和未投放策略的用户集合；其中，策略表征目标应用获得的交互信息；从未投放策略的用户集合中，确定与已投放策略的用户集合匹配的对照组用户集合；进而根据已投放策略的用户集合与对照组用户集合的业务评估指标的差异，确定策略的有效性测试结果。本申请从未投放策略的用户集合确定出对照组用户，这样一来，在存在对照组用户的参考下，基于根据已投放策略的用户集合与对照组用户集合的业务评估指标的差异，确定策略的有效性测试结果。可以准确衡量策略的有效性，从而对于投放的成本进行更加有效地分析及控制。

Description

测试策略有效性的方法、装置、电子设备及可读存储介质

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种测试策略有效性的方法、装置、电子设备及可读存储介质。

背景技术

目前，为了提升用户对产品使用率，通常会对产品配置一些提升策略例如，投放礼包、红包、奖金等交互信息到用户设备，以此来吸引用户使用产品。

然而，相关技术一般是选取定向的用户进行策略投放，选取的定向投放用户的用户量太少，导致无法准确衡量策略的投放效果，从而对于投放的成本无法进行更加有效地分析及控制。

发明内容

本发明的目的包括，例如，提供了一种测试策略有效性的方法、装置、电子设备及可读存储介质，用以提高策略有效性评估的准确度，能够更加有效地分析及控制后续投放的成本。

本发明的实施例可以这样实现：

第一方面，本发明提供一种测试策略有效性的方法，所述方法包括：当目标应用存在业务提升需求，获取已投放策略的用户集合和未投放所述策略的用户集合；其中，所述策略表征所述目标应用获得的交互信息；从所述未投放所述策略的用户集合中，确定与所述已投放策略的用户集合匹配的对照组用户集合；根据所述已投放策略的用户集合与所述对照组用户集合的业务评估指标的差异，确定所述策略的有效性测试结果。

第二方面，本发明提供一种测试策略有效性的装置，包括：信息获取模块，用于当目标应用存在业务评估需求，确定已投放策略的用户集合和未投放所述策略的用户集合；其中，所述策略表征所述目标应用获得的交互信息；用户筛选模块，用于从所述未投放所述策略的用户集合中，确定与所述已投放策略的用户集合匹配的对照组用户集合；测试模块，用于根据所述已投放策略的用户集合的业务评估指标与所述对照组用户集合的所述业务评估指标之间的差异，确定所述策略的有效性测试结果。

第三方面，本发明提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现第一方面所述的方法。

第四方面，本发明提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法。

本发明提供的一种测试策略有效性的方法、装置、电子设备及可读存储介质，方法包括：当目标应用存在业务提升需求，首先获取已投放策略的用户集合和未投放所述策略的用户集合；其中，所述策略表征所述目标应用获得的交互信息；然后在从所述未投放所述策略的用户集合中，确定与所述已投放策略的用户集合匹配的对照组用户集合；进而根据所述已投放策略的用户集合与所述对照组用户集合的业务评估指标的差异，确定所述策略的有效性测试结果。

与现有技术的区别在于，现有技术参与定向投放的用户数量太少，没有对照组用户参考，而且在测试过程中没有考虑统计过程中有时间延迟的因素，无法确定业务提升的因素是否来自投放的策略，因此，无法准确衡量策略的有效性，从而对于投放的成本无法进行更加有效地分析及控制。本申请实施例首先获得获取已投放策略的用户集合和未投放策略的用户集合，进而从未投放策略的用户集合中筛选出与已投放策略的用户相似的对照组用户集合，这样一来，在存在对照组用户的参考下，基于根据已投放策略的用户集合与对照组用户集合的业务评估指标的差异，确定策略的有效性测试结果。可以准确衡量策略的有效性，从而对于投放的成本进行更加有效地分析及控制，进而可以加强消费用户对产品的粘性和留存率,增加用户活跃量以及营收。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种测试策略有效性的方法的应用场景示意图；

图2为本发明实施例提供的另一种测试策略有效性的方法的应用场景示意图；

图3为一种电子设备的结构框图；

图4为本申请实施例提供的一种试策略有效性的方法的流程示意图；

图5为图4中步骤S404的一种可能的实现方式的示意性流程图；

图6为图5中子步骤S404-2的一种可能的实现方式的示意性流程图；

图7为本发明实施例所提供的一种测试策略有效性的装置的功能模块图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。

请参见图1，图1为本发明实施例提供的一种测试策略有效性的方法的应用场景示意图，本实施例中，该网络系统可以包括:服务器10与多个用户设备20a和用户设备20b；其中，用户设备20a可以是未被定向投放策略的用户集合，用户设备20b是已经定向投放策略的用户集合。

其中，服务器10，可将与投放相关的信息下发给用户设备20b，例如投放的信息可以但不限于是礼包、红包、奖金、金豆、优惠券等交互信息；进而，对于用户集合中的用户设备20b，该服务器10还用于监控全部用户是否执行相关操作，并根据操作的信息统计获得全部用户的付费信息。这些相关操作可以是如下的动作：用户点击付费的按钮，并且支付成功。

该服务器10，还用于提取已定向投放的用户集合中，所有用户的相关属性，作为匹配属性信息；在一种示例中，相关属性可以但不限于为：用户的登录天数，订阅数，观看数，弹幕数。进而，基于该匹配属性信息，对已定向投放的用户集合中的用户进行筛选，以获得对照用户集合。

如图2所示，图2为本申请实施例提供的另一种网络系统。其中，用户设备20a-b是从用户设备20a的用户集合中筛选出来的，与用户设备20b的用户集合相匹配的用户构成的用户集合20a-b。

需要说明的是，该对照用户集合包含的用户，其所具有的相关属性与已定向投放的用户集合中，所有用户的相关属性，应满足匹配条件。

进而，该服务器10可基于监控的全部用户的付费信息，分别计算该对照用户集合的付费率与已投放策略的用户集合的付费率，通过比较两个付费率的差异，测试定向投放的有效性。

应当理解，在一个策略生成后，可能不会直接上线应用，而是需要对该产品策略进行测试，以检验该产品策略对用户而言是否有效；若无效，及时调整产品策略，以使产品策略对用户而言有效后上线应用。

需要说明的是，该测试功能也可以由其他的设备实现，例如服务器10仅用于采集全部用户的付费信息，进而将全部用户的付费信息的数据发送给具有分析功能的设备进行分析处理。

本实施例中，上述图1或者图2所示的网络系统可以被用于提供多种可能的服务，包括但不限于：多媒体流服务、云游戏、分布式存储等服务。以视频直播为例，该网络系统中的服务器10可以为提供视频直播流的服务器，而上述用户设备20a、用户设备20b可以为安装有视频直播相关应用(Application，简称APP)。服务器10可以基于不同的分析目的，对用户设备20a及用户设备20b上与视频直播应用相关的数据进行采集与分析。

而上述用户设备20a、用户设备20b可以获取用户在使用视频直播应用时的相关操作信息，并上报给上述服务器10。

需要说明的是，上述用户设备可以但不限于：个人电脑、笔记本电脑、平板电脑、手机等。

请参考图3，为一种电子设备的示意图，该电子设备包括存储器110、通讯接口120以及处理器130；

存储器110通讯接口120以及处理器130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。测试策略有效性的装置300包括至少一个可以软件或固件(firmware)的形式存储于存储器110中或固化在服务器10的操作系统(operating system，OS)中的软件功能模块。处理器130用于执行存储器110中存储的可执行模块，例如测试策略有效性的装置300包括的软件功能模块或计算机程序。

其中，存储器110可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器110用于存储程序，处理器130在接收到执行指令后，执行程序，前述本发明实施例任一实施例揭示的流过程定义的服务器10所执行的方法可以应用于处理器130中，或者由处理器130实现。

处理器130可能是一种集成电路芯片，具有信号的处理能力。上述的处理器130可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

需要说明的是，图3所示的电子设备，其结构可以用于实现上述图1或图2中服务器10或用户设备20a、20b；为了实现用户设备的相应功能，该电子设备还可以包括其他模块，例如：射频电路、I/O接口、电池、触控屏、mic/扬声器等。此处不与限定。

进一步的，继续以上述图1所示网络系统为例，现有技术一般是选取定向的用户进行策略投放，选取的定向投放用户的用户量太少，导致无法准确衡量策略的投放效果，从而对于投放的成本无法进行更加有效地分析及控制。

例如，对于直播平台而言，通常可以以投放礼包、红包、奖金、金豆、优惠券的形式吸引用户进行付费，成为付费用户，一般投放信息可以采用定向策略，向部分用户的用户设备投放上述交互信息，然后统计参与定向投放的这部分用户的付费率相对于没有参与投放前的付费率是否提升，但由于统计过程中有时间延迟的因素，有可能是这部分用户本身的付费率就在提升，所以较难量化现在的提升全部都是由礼包投放带来的，而且，参与定向投放的用户由于数量太少，没有对照组用户参考，从而导致对于这些用户的付费率，无法做到准确衡量，从而对于投放的成本无法进行更加有效地分析及控制。

基于上述问题，为了准确测试策略的有效性，有效分析和控制策略的投放成本，下面结合上文图1及图2的系统结构，对本申请实施例提供一种测试策略有效性的方法进行介绍，请参见图4，图4为本申请实施例提供的一种试策略有效性的方法的流程示意图。该方法包括：

S403，当目标应用存在业务提升需求，获取已投放策略的用户集合和未投放策略的用户集合。

本实施例中，目标应用可以但不限于是直播应用、游戏应用、社交应用等，业务可以但不限于是付费业务、云服务业务、网络广告业务等。策略表征目标应用获得的交互信息，例如，礼包、红包、奖金、金豆、优惠券等。还可以是目标产品的外观设计。

例如，当确定直播应用存在付费业务提升需求，则可以获取已投放礼包、红包、奖金、金豆、优惠券等任意至少一种交互信息的用户集合和未投放上述交互信息的用户集合。

在实施过程中，为了划分上述两类用户集合，图1或图2中的服务器10，可以维护一个用户清单，对于已进行定向投放策略的用户，可以通过在该清单中添加标识的方式，在用户清单中体现已定向投放的用户集合与无定向投放的用户集合。

S404，从未投放策略的用户集合中，确定与已投放策略的用户集合匹配的对照组用户集合。

本实施例中，为了能够进行更准确地比对策略投放前和投放后，业务是否提升，因此需要在未进行定向投放的用户中，筛选出与已投放策略的用户相似性较高的用户，作为上文所述的对照用户集合。因此，使用哪些相关属性作为匹配属性信息较为关键。在一种示例中，相关属性可以为：用户的登录天数、订阅数、观看数、弹幕数等。当然，不排除基于特定的分析要求，通过人为方式设置其他的匹配属性信息，比如针对社交产品可以增加好友数的属性数据。

例如，已投放策略的用户集合中的登录天数均值为10天，则可以定义登陆天数在8～12天内的用户均可作为对照用户集合中的用户，进而从未投放策略的用户集合中筛选出登陆天数在8～12天内的用户。

图1或图2中的服务器10，可以统计上述已投放策略的用户集合匹配的对照组用户集合中全部用户的相关属性的属性值，并添加到用户清单中，以便后续的统计。

S405，根据已投放策略的用户集合与对照组用户集合的业务评估指标的差异，确定策略的有效性测试结果。

可以理解的是，上述业务评估指标可以用来衡量策略是否有效，例如，付费业务的业务评估指标可以是付费率，即付费的用户占投放的用户的比例，广告业务的业务评估指标可以是订阅率，即订阅用户占投放的用户的比例。

以付费业务为例，图1或图2中的服务器10，可以通过统计每个用户在用户设备上的付费操作，来确定其是否存在付费行为，进而可将这些付费信息更新至上述用户清单中。一个实施例中，上述的用户清单可以如表一所示：

表一

其中，集合ID中，00表征“未投放策略的用户集合”；01表征“已投放策略的用户集合”；02表征“对照用户集合”；是否存在付费行为中，00表征“无付费行为”；01表征“有付费行为”。

结合上述用户清单，可以计算投放策略的用户集合的付费率与对照用户集合对应的付费率，进而确定两者的差异，当差异在预设误差范围内，确定策略无效，当差异在预设误差范围外，确定策略有效。

本发明实施例提供的测试策略有效性的方法，与现有技术的区别在于，现有技术参与定向投放的用户数量太少，没有对照组用户参考，而且在测试过程中没有考虑统计过程中有时间延迟的因素，无法确定业务提升的因素是否来自投放的策略，因此，无法准确衡量策略的有效性，从而对于投放的成本无法进行更加有效地分析及控制。本申请实施例首先获得获取已投放策略的用户集合和未投放策略的用户集合，进而从未投放策略的用户集合中筛选出与已投放策略的用户相似的对照组用户集合，这样一来，在存在对照组用户的参考下，基于根据已投放策略的用户集合与对照组用户集合的业务评估指标的差异，确定策略的有效性测试结果。可以准确衡量策略的有效性，从而对于投放的成本进行更加有效地分析及控制，进而可以加强消费用户对产品的粘性和留存率,增加用户活跃量以及营收。

可选地，为了保证对照组用户的可参考性，以及测试的准确性，本申请实施例还提供了一种确定对照用户的实现方式，请参见图5，图5为本申请实施例提供的步骤S404的一种可能的实现方式，步骤S404可以包括以下子步骤：

子步骤S404-1，从已投放策略的用户集合中，确定匹配属性信息。

在一个实施例中，匹配属性信息可以为：用户的登录天数x，订阅数y，观看数，弹幕数。当然，不排除基于特定的分析要求，还可以通过人为方式设置其他的匹配属性信息比如针对社交产品可以增加好友数的属性数据。

子步骤S404-2，根据匹配属性信息，从未投放策略的用户集合中，确定对照组用户集合。

具体的，可以利用子步骤S404-1中的匹配属性信息，无定向投放的用户集合中，挑选对应属性与匹配属性信息相似度最高的用户，例如，已定向投放的用户集合中的登录天数均值为10天，则可以定义登陆天数在8～12天内的用户均可作为对照用户集合中的用户。

在实施过程中，上述子步骤S404-2可以通过以下方式执行，请参见图6，图6为本申请实施例提供的子步骤S404-2的一种可能的实现方式。

子步骤S404-2-1，对未投放策略的用户集合进行随机抽样，获得用户样本集合；

子步骤S404-2-2，计算用户样本集合中用户的匹配属性信息与用户样本集合中用户的匹配属性信息相似度。

也就是说，对未投放策略的用户集合中的用户进行随机抽样，将获得的对照组用户的匹配属性与已定向投放的用户集合中用户的匹配属性进行相似性计算，获得相似度。

在一个实施例中，可以将对照组用户的匹配属性与已定向投放的用户集合中用户的匹配属性之间的均方误差作为相似度,该具体的，该均方误差可以通过如下公式获得：

(X-X')^2+(Y-Y')^2+(Z-Z')^2+(M-M')^2

其中，x表示已投放策略的用户集合的平均登录天数，X’表示对照组用户集合的平均登录天数，Y表示已投放策略的用户集合的平均订阅数，Y’表示对照组用户集合的平均订阅数，Z表示已投放策略的用户集合的平均观看数，Z’表示对照组用户集合的平均观看数；M表示已投放策略的用户集合的平均弹幕数，M’表示对照组用户集合的平均弹幕数。

子步骤S404-2-3，若相似度在预设匹配范围内，则将用户样本集合确定为对照组用户集合。

子步骤S404-2-4，若相似度不在预设匹配范围内，则返回对未投放策略的用户集合进行随机抽样，获得用户样本集合的步骤，直到获得对照组用户集合。

继续以上述均方误差作为相似度，上述的预设匹配范围可以随机确定，也可以基于用户样本集合的登录天数、订阅数、观看数和弹幕数来确定，例如，预设匹配范围可以是(登录天数+订阅数+观看数+弹幕数)*5％。若计算的相似度小于(登录天数+订阅数+观看数+弹幕数)*5％，则该用户样本集合可以作为对照组用户集合，若大于或者等于(登录天数+订阅数+观看数+弹幕数)*5％，则丢弃该用户样本集合。

可选地，本是实施例中，为了确定业务评估指标，本申请实施例还提供的一种实现方式：获取已投放策略的用户集合和未投放策略的用户集合中全部用户对应的业务信息；根据全部业务信息，确定业务评估指标。

例如，继续以付费业务为例，付费业务提升的衡量指标可以是付费率，那么为了确定已投放策略的用户集合的付费率和未投放策略的用户集合的付费率，还可以获取已投放策略的用户集合的付费信息和未投放策略的用户集合的付费信息，具体地，可以通过统计每个用户在用户设备上的付费操作，来确定其是否存在付费行为，进而可将这些付费信息更新至上述用户清单中，可以简化后续统计付费率的复杂度。

请参考图7，本发明实施例所提供的一种测试策略有效性的装置的功能模块图。该测试策略有效性的装置300包括：信息获取模块320、用户筛选模块340和有效性测试模块360。

信息获取模块320，用于当目标应用存在业务提升需求，获取已投放策略的用户集合和未投放所述策略的用户集合；其中，所述策略表征所述目标应用获得的交互信息；

用户筛选模块340，用于从所述未投放所述策略的用户集合中，确定与所述已投放策略的用户集合匹配的对照组用户集合；

测试模块360，用于根据所述已投放策略的用户集合与所述对照组用户集合的业务评估指标的差异，确定所述策略的有效性测试结果。

可选地，用户筛选模块340，具体用于：从所述已投放策略的用户集合中，确定匹配属性信息；根据所述匹配属性信息，从所述未投放所述策略的用户集合中，确定所述对照组用户集合。

可选地，用户筛选模块340，具体用于根据所述匹配属性信息，从所述未投放所述策略的用户集合中，确定所述对照组用户集合，包括：对所述未投放所述策略的用户集合进行随机抽样，获得用户样本集合；计算所述用户样本集合中用户的所述匹配属性信息与所述用户样本集合中用户的所述匹配属性信息相似度；若所述相似度在预设匹配范围内，则将所述用户样本集合确定为所述对照组用户集合；若所述相似度不在预设匹配范围内，则返回对所述未投放所述策略的用户集合进行随机抽样，获得用户样本集合的步骤，直到获得所述对照组用户集合。

可选地，测试模块360具体用于当所述差异在预设误差范围内，确定所述策略无效；当所述差异在预设误差范围外，确定所述策略有效；

可选地，信息获取模块320，用于获取已投放策略的用户集合和未投放所述策略的用户集合中全部用户对应的业务信息；根据所述全部业务信息，确定所述业务评估指标。

本发明实施例的测试策略有效性的装置，当目标应用存在业务提升需求，通过信息获取模块获取已投放策略的用户集合和未投放所述策略的用户集合；其中，所述策略表征所述目标应用获得的交互信息；然后通过用户筛选模块从所述未投放所述策略的用户集合中，确定与所述已投放策略的用户集合匹配的对照组用户集合，在存在对照组用户结合的情况下，通过测试模块根据所述已投放策略的用户集合与所述对照组用户集合的业务评估指标的差异，确定所述策略的有效性测试结果，由于存在对照组用户集合进行参考，使得最终获得的测试结果更加准确以及具有可参考性，能够为后续分析和控制投放策略的成本和数量提供指导。

本发明实施例所提供的一种测试策略有效性系统，其可以采用上文图1所示的架构。其中，该服务器10可以执行图4～图6的步骤，以使该系统实现通过服务器10在存在对照组用户结合的情况下，根据所述已投放策略的用户集合与所述对照组用户集合的业务评估指标的差异，确定所述策略的有效性测试结果，由于存在对照组用户集合进行参考，使得最终获得的测试结果更加准确以及具有可参考性，能够为后续分析和控制投放策略的成本和数量提供指导。

本发明实施例提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前述实施方式中任一项测试策略有效性的方法。该可读存储介质可以是，但不限于，U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种测试策略有效性的方法，其特征在于，所述方法包括：

当目标应用存在业务提升需求，获取已投放策略的用户集合和未投放所述策略的用户集合；其中，所述策略表征所述目标应用获得的交互信息；

从所述未投放所述策略的用户集合中，确定与所述已投放策略的用户集合匹配的对照组用户集合；

根据所述已投放策略的用户集合与所述对照组用户集合的业务评估指标的差异，确定所述策略的有效性测试结果。

2.根据权利要求1所述的测试策略有效性的方法，其特征在于，从所述未投放所述策略的用户集合中，确定与所述已投放策略的用户集合匹配的对照组用户集合,包括：

从所述已投放策略的用户集合中，确定匹配属性信息；

根据所述匹配属性信息，从所述未投放所述策略的用户集合中，确定所述对照组用户集合。

3.根据权利要求2所述的测试策略有效性的方法，其特征在于，根据所述匹配属性信息，从所述未投放所述策略的用户集合中，确定所述对照组用户集合，包括：

对所述未投放所述策略的用户集合进行随机抽样，获得用户样本集合；

计算所述用户样本集合中用户的所述匹配属性信息与所述用户样本集合中用户的所述匹配属性信息的相似度；

若所述相似度在预设匹配范围内，则将所述用户样本集合确定为所述对照组用户集合；

若所述相似度不在预设匹配范围内，则返回对所述未投放所述策略的用户集合进行随机抽样，获得用户样本集合的步骤，直到获得所述对照组用户集合。

4.根据权利要求1-3任意一项所述的测试策略有效性的方法，其特征在于，根据所述已投放策略的用户集合与所述对照组用户集合的业务评估指标的差异，确定所述策略的有效性测试结果，包括：

当所述差异在预设误差范围内，确定所述策略无效；

当所述差异在预设误差范围外，确定所述策略有效。

5.根据权利要求1所述的测试策略有效性的方法，其特征在于，根据所述已投放策略的用户集合与所述对照组用户集合的业务评估指标的差异，确定所述策略的有效性测试结果之前，所述方法还包括：

获取已投放策略的用户集合和未投放所述策略的用户集合中全部用户对应的业务信息；

根据全部所述业务信息，确定所述业务评估指标。

6.一种测试策略有效性的装置，其特征在于，包括：

信息获取模块，用于当目标应用存在业务评估需求，确定已投放策略的用户集合和未投放所述策略的用户集合；其中，所述策略表征所述目标应用获得的交互信息；

用户筛选模块，用于从所述未投放所述策略的用户集合中，确定与所述已投放策略的用户集合匹配的对照组用户集合；

测试模块，用于根据所述已投放策略的用户集合的业务评估指标与所述对照组用户集合的所述业务评估指标之间的差异，确定所述策略的有效性测试结果。

7.根据权利要求6所述的测试策略有效性的装置，其特征在于，确定模块，具体用于：

从所述已投放策略的用户集合中，确定匹配属性信息；

根据所述匹配属性信息，从所述未投放所述策略的用户集合中，确定所述对照组用户集合。

8.根据权利要求7所述的测试策略有效性的装置，其特征在于，确定模块，具体用于：

对所述未投放所述策略的用户集合进行随机抽样，获得用户样本集合；

确定所述用户样本集合中用户的所述匹配属性信息与所述用户样本集合中用户的所述匹配属性信息的相似度；

若所述相似度在预设匹配范围内，则将所述用户样本集合确定为所述对照组用户集合；

若所述相似度不在预设匹配范围内，则返回对所述未投放所述策略的用户集合进行随机抽样，获得用户样本集合的步骤，直到获得所述对照组用户集合。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1至5任一所述的测试策略有效性的方法。

10.一种可读存储介质，其上存储有机器可执行指令，其特征在于，所述机器可执行指令被处理器执行时实现如权利要求1至5中任一项所述的测试策略有效性的方法。

Images