CN112148582A - 策略测试方法及装置、计算机可读介质和电子设备 - Google Patents

Abstract

本发明公开了一种策略测试方法、策略测试装置、计算机可读介质和电子设备，涉及计算机技术领域。该策略测试方法包括：获取实验命中信息；其中，实验命中信息包含各实验组用户的用户标识以及各实验组对应策略的策略信息；基于各实验组用户的用户标识、各实验组对应策略的策略信息以及一用户画像表分别确定各策略的带画像命中信息；根据各策略的带画像命中信息以及与各策略对应的用户行为信息分别对各策略进行评价。本发明可以提高AB测试的效率。

Description

策略测试方法及装置、计算机可读介质和电子设备

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种策略测试方法、策略测试装置、计算机可读介质和电子设备。

背景技术

随着互联网的发展，为了更好地提高产品质量和用户体验，往往采用AB测试技术来确定产品的可行性和推广程度。AB测试是针对页面、应用程序界面、操作流程等配置两个或更多个策略，可以在同一时间维度，分别让组成成分相同或相似的用户体验这些策略，收集用户反馈的数据，最终分析评估出最好的策略，并上线采用。

然而，在AB测试的过程中，信息处理的效率较低，不利于及时提高产品质量以及产品快速迭代的发展需求。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种策略测试方法、策略测试装置、计算机可读介质和电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的产品策略测试效率低的问题。

根据本公开的一个方面，提供一种策略测试方法，包括：获取实验命中信息；其中，实验命中信息包含各实验组用户的用户标识以及各实验组对应策略的策略信息；基于各实验组用户的用户标识、各实验组对应策略的策略信息以及一用户画像表分别确定各策略的带画像命中信息；根据各策略的带画像命中信息以及与各策略对应的用户行为信息分别对各策略进行评价。

根据本公开的一个方面，提供一种策略测试装置，包括实验信息获取模块、策略信息确定模块和策略评价模块。

具体的，实验信息获取模块用于获取实验命中信息；其中，实验命中信息包含各实验组用户的用户标识以及各实验组对应策略的策略信息；策略信息确定模块用于基于各实验组用户的用户标识、各实验组对应策略的策略信息以及一用户画像表分别确定各策略的带画像命中信息；策略评价模块用于根据各策略的带画像命中信息以及与各策略对应的用户行为信息分别对各策略进行评价。

可选地，策略信息确定模块包括中间命中表生成单元和策略信息确定单元。

具体的，中间命中表生成单元用于将各实验组用户的用户标识、各实验组对应策略的策略信息与用户画像表结合，生成中间命中表；策略信息确定单元用于基于策略信息对中间命中表的信息进行分类，以确定各策略的带画像命中信息。

可选地，中间命中表生成单元被配置为执行：利用配置的应用编程接口将各实验组用户的用户标识以及各实验组对应策略的策略信息写入日志，并生成实验命中信息表；将实验命中信息表与用户画像表结合，生成中间命中表。

可选地，各策略中包括第一策略；其中，策略信息确定单元被配置为执行：针对第一策略，确定第一策略对应实验组的用户标识；基于第一策略对应实验组的用户标识从中间命中表确定第一策略的用户画像集合；根据第一策略的用户画像集合以及第一策略的策略信息确定第一策略的带画像命中信息。

可选地，各策略中包括第二策略；其中，策略评价模块被配置执行：根据第二策略的带画像命中信息以及与第二策略对应的用户行为信息计算第二策略的一个或多个评价指标；基于第二策略的一个或多个评价指标的计算结果对第二策略进行评价。

可选地，策略评价模块包括上线判断单元。

具体的，上线判断单元被配置为执行：确定与第二策略的实验组对应的参照组，并确定参照组的评价结果；将第二策略的评价结果与参照组的评价结果进行比较，根据比较结果确定是否将第二策略应用于线上。

可选地，各策略配置有优先权重；其中，策略评价模块还被配置为执行：按各策略优先权重由大到小的顺序，对各策略进行评价，并反馈评价结果。

根据本公开的一个方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述策略测试方法。

根据本公开的一个方面，提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述策略测试方法。

在本公开的一些实施例所提供的技术方案中，获取实验命中信息，并将实验命中信息与用户画像表结合，根据结合的结果确定出各策略的带画像命中信息，并根据各策略的带画像命中信息以及对应的用户行为信息评价各策略。相比于一些技术中将实验命中信息写入包含用户行为信息的业务数据表中，本公开可以将实验命中信息与用户行为信息解耦，避免了实验命中信息写入业务数据表后业务数据处理逻辑要进行修改的问题，由此可以减少可能出现的逻辑错误，提高了策略测试的效率。另外，通过分别确定各策略的带画像命中信息，使得各策略分析之间的相互独立，保证各策略信息安全的同时，进一步加快了策略测试效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本发明实施例的策略测试方法或策略测试装置的示例性系统架构的示意图；

图2示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图；

图3示出了一些技术中对策略进行测试的示意性框图；

图4示意性示出了根据本公开的示例性实施方式的策略测试方法的流程图；

图5示出了根据本公开的示例性实施方式的对策略进行测试的示意性框图；

图6示意性示出了根据本公开的示例性实施方式的策略测试装置的方框图；

图7示意性示出了根据本公开的示例性实施方式的策略信息确定模块的方框图；

图8示意性示出了根据本公开的示例性实施方式的策略评价模块的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了可以应用本发明实施例的策略测试方法或策略测试装置的示例性系统架构的示意图。

如图1所示，系统架构1000可以包括终端设备1001、1002、1003中的一种或多种，网络1004和服务器1005。网络1004用以在终端设备1001、1002、1003和服务器1005之间提供通信链路的介质。网络1004可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器1005可以是多个服务器组成的服务器集群等。

用户可以使用终端设备1001、1002、1003通过网络1004与服务器1005交互，以接收或发送消息等。终端设备1001、1002、1003可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。

服务器1005可以是提供各种服务的服务器。例如，首先，服务器1005可以获取实验命中信息；其中，实验命中信息包含各实验组用户的用户标识以及各实验组对应策略的策略信息；随后，服务器1005可以基于各实验组用户的用户标识、各实验组对应策略的策略信息以及一用户画像表分别确定各策略的带画像命中信息；接下来，服务器1005可以根据各策略的带画像命中信息以及与各策略对应的用户行为信息分别对各策略进行评价。

需要说明的是，本公开示例性实施方式的策略测试方法一般由服务器1005执行，相应地，下面描述的策略测试装置一般配置在服务器1005中。

图2示出了适于用来实现本公开示例性实施方式的电子设备的计算机系统的结构示意图。

需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图2所示，计算机系统200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。

以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。

特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

参考图3，在一些方案中，首先，可以将实验命中信息与包含用户行为信息的业务数据结合；接下来，将结合的结果匹配一用户画像表生成带画像的业务表；随后，利用该带画像的业务表实现策略的指标计算。

可以看出，这些方案在将业务数据与实验命中信息结合时，需要改变业务数据表的数据结构，在业务数据表中增加实验命中信息，对应的，业务数据的处理逻辑也将被修改，这种实验命中信息与业务数据耦合的方式对业务代码逻辑影响较大，容易引入bug，且整个实验测试系统的改造成本大，效率低。另外，将各种信息整合为带画像的业务表，该业务表耦合程度较大，数据记录多，计算效率低，不利于利用AB测试实现产品快速迭代开发。

鉴于此，除上述方案外，本公开示例性实施方式提供了一种策略测试方法。

需要说明的是，下述策略测试方法可以应用于AB测试的场景下，具体的，当需要验证一个策略是否能够上线运行时，可以采用下述策略测试方法对该策略进行测试评价，并比对与该策略对应的参考实验组的评价结果，确定该策略是否能够上线运行。

虽然下面以AB测试为例进行说明，然而，应当理解的是，下述策略测试方法还可以仅应用于策略评价的场景下。例如，不同厂商针对同一对象(例如，页面、按钮等)可能有不同策略，可以利用本公开示例性实施方式的策略测试方法分别对这些策略进行评价，将这种横向评价的结果反馈给用户，以便作为用户选择产品的参考。另外，还可以将这种横向评价的结果反馈给各厂商，以促进产品优化。

图4示意性示出了本公开的示例性实施方式的策略测试方法的流程图。参考图4，所述策略测试方法可以包括以下步骤：

S42.获取实验命中信息；其中，实验命中信息包含各实验组用户的用户标识以及各实验组对应策略的策略信息。

在进行AB测试时，存在两个或更多个实验组，每个实验组均可以是针对不同策略进行实验的实验组。本公开示例性实施方式所述的策略可以是待测试的具体内容，例如，界面的布局、交互控件的形状或颜色、用户操作方式(点击或滑动)或流程等。在一些实例中，策略信息可以是策略的标识，然而，应当理解的是，策略信息还可以包含策略功能的描述、应用场景等。

实验命中信息可以包含各实验组用户的用户标识以及各实验组对应策略的策略信息。以策略为将一目标控件的颜色由红色调整蓝色为例，针对目标控件为蓝色的实验组，共将此方案推送给1000个用户端，以供对应用户使用，这1000个用户即是该实验组对应的用户，其中，用户端的标识可以作为该实验组用户的用户标识，另外，用户端可以是上述终端设备1001、1002、1003。

根据本公开的一些实施例，可以预先配置一个应用编程接口(ApplicationProgramming Interface，API)，当进行AB测试的业务时，可以利用该应用编程接口获取实验命中信息，并将实验命中信息写入日志中，以方便调取。

S44.基于各实验组用户的用户标识、各实验组对应策略的策略信息以及一用户画像表分别确定各策略的带画像命中信息。

在本公开的示例性实施方式中，用户画像表可以是预先生成的且记录有AB测试所有用户的画像信息的数据表，画像信息可以例如包含用户标识、性别、年龄、职业、是否有配偶、是否有儿女等信息。

根据本公开的一些实施例，首先，可以将各实验组用户的用户标识、各实验组对应策略的策略信息与用户画像表结合，生成一中间命中表。具体的，可以利用上述配置的应用编程接口将各实验组用户的用户标识以及各实验组对应策略的策略信息写入日志，生成实验命中信息表，将实验命中信息表与用户画像表结合，生成中间命中表。其中，由于用户画像表中信息较多，因此，可以采用left join的方式确定出用户画像表中与实验命中信息表对应的用户画像，结合后，生成中间命中表。

接下来，可以基于策略信息对中间命中表的信息进行分类，以确定各策略的带画像命中信息。其中，策略的带画像命中信息可以包含策略对应实验组用户的用户画像信息以及与该策略自身相关的策略信息。

针对确定实验中第一策略的带画像命中信息的过程，其中，第一策略可以是任意一个策略。具体的，可以确定第一策略对应实验组的用户标识，基于该用户标识从中间命中表确定第一策略的用户画像集合，并根据第一策略的用户画像集合以及第一策略的策略信息确定出第一策略的带画像命中信息。

S46.根据各策略的带画像命中信息以及与各策略对应的用户行为信息分别对各策略进行评价。

用户行为信息可以包含用户针对策略的操作信息，仍以策略为将一目标控件的颜色由红色调整蓝色为例，用户行为信息可以包含用户针对该目标控件的点击操作信息，具体的，可以采用点击量进行表征。

在本公开的示例性实施方式中，可以利用各策略的带画像命中信息以及对应的用户行为信息分别计算各策略的评价指标，并根据评价指标计算结果对各策略进行评价。需要说明的是，针对不同的策略，评价指标的数量和种类可不相同，本示例性实施方式中对此不做特殊限定。

针对评价实验中第二策略的过程，其中，第二策略可以是任意一个策略，可以与上述第一策略不同，然而，第二策略也可以是第一策略。首先，可以根据第二策略的带画像命中信息以及与第二策略对应的用户行为信息计算第二策略的一个或多个评价指标；接下来，可以基于第二策略的一个或多个评价指标的计算结果对第二策略进行评价。

在包含多个评价指标的情况下，可以为不同的评价指标设置不同的权重，并采用加权和的方式计算出各策略的评价结果。

此外，本公开的一些实施例还包括判断策略是否可应用于线上的方案。仍以第二策略进行说明，首先，可以确定与第二策略的实验组对应的参照组，其中，对于AB测试，参照组可以是线上正在使用的策略方案，该参照组也可以是一个实验组，可以对该参照组进行评价，以确定参照组的评价结果；接下来，可以将第二策略的评价结果与参照组的评价结果进行比较，并根据比较结果确定是否将第二策略应用于线上。

容易理解的是，如果第二策略的评价结果优于参照组的评价结果，则可以将第二策略应用于线上，还可以将此结果反馈给策略决策人员，由策略决策人员确定是否上线以及何时上线。另外，如果参照组的评价结果优于第二策略的评价结果，则说明用户针对第二策略的反馈比现有的参照组的反馈差，在这种情况下，可以暂时放弃将第二策略部署线上的方案。

根据本公开的一些实施例，在产品竞争激烈的环境下，策略中可能存在一些急需进行评价的策略。在这种情况下，如果存在多个实验组并行执行策略测试，则可以对各策略配置优先权重，由此，服务器可以按策略优先权重由大到小的顺序，对各策略执行上述评价过程，并及时向策略决策人员反馈评价结果。

下面将参考图5对上述策略测试过程进行说明。

首先，一方面，服务器执行业务功能逻辑获取AB测试实验组中包含用户行为信息的业务数据，并存储于业务数据表中，另一方面，执行业务功能逻辑，通过一配置的应用编程接口，确定出实验命中信息，应当理解的是，本公开示例性实施方式将实验命中信息上报至与业务数据表不同的表中。

接下来，实验命中信息与用户画像表通过left join进行查询匹配，生成中间命中表，该中间命中表包含实验命中信息以及与实验命中信息对应的用户画像。

随后，利用实验命中信息包含的策略信息对中间命中表的信息进行分类，以得到各策略的带画像命中信息。图5中“第一策略的带画像命中信息”、“第二策略的带画像命中信息”、“第三策略的带画像命中信息”仅是示例性描述，策略的个数和名称均可根据实际策略发生变化，本示例性实施方式中对此不做特殊限定。

然后，针对每一策略的带画像命中信息，可以与对应的业务数据相结合，以计算用于评价策略的指标。

通过本公开示例性实施方式的策略测试方法，可以将实验命中信息与用户行为信息解耦，避免了实验命中信息写入业务数据表后业务数据处理逻辑要进行修改的问题，由此可以减少可能出现的逻辑错误，提高了策略测试的效率。另外，通过分别确定各策略的带画像命中信息，使得各策略分析之间的相互独立，保证各策略信息安全的同时，进一步加快了策略测试效率。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中还提供了一种策略测试装置。

图6示意性示出了本公开的示例性实施方式的策略测试装置的方框图。参考图6，根据本公开的示例性实施方式的策略测试装置6可以包括实验信息获取模块61、策略信息确定模块63和策略评价模块65。

具体的，实验信息获取模块61可以用于获取实验命中信息；其中，实验命中信息包含各实验组用户的用户标识以及各实验组对应策略的策略信息；策略信息确定模块63可以用于基于各实验组用户的用户标识、各实验组对应策略的策略信息以及一用户画像表分别确定各策略的带画像命中信息；策略评价模块65可以用于根据各策略的带画像命中信息以及与各策略对应的用户行为信息分别对各策略进行评价。

根据本公开示例性实施方式的策略测试装置，可以将实验命中信息与用户行为信息解耦，避免了实验命中信息写入业务数据表后业务数据处理逻辑要进行修改的问题，由此可以减少可能出现的逻辑错误，提高了策略测试的效率。另外，通过分别确定各策略的带画像命中信息，使得各策略分析之间的相互独立，保证各策略信息安全的同时，进一步加快了策略测试效率。

根据本公开的示例性实施例，参考图7，策略信息确定模块63可以包括中间命中表生成单元701和策略信息确定单元703。

具体的，中间命中表生成单元701可以用于将各实验组用户的用户标识、各实验组对应策略的策略信息与用户画像表结合，生成中间命中表；策略信息确定单元703可以用于基于策略信息对中间命中表的信息进行分类，以确定各策略的带画像命中信息。

根据本公开的示例性实施例，中间命中表生成单元701可以被配置为执行：利用配置的应用编程接口将各实验组用户的用户标识以及各实验组对应策略的策略信息写入日志，并生成实验命中信息表；将实验命中信息表与用户画像表结合，生成中间命中表。

根据本公开的示例性实施例，各策略中包括第一策略；其中，策略信息确定单元703可以被配置为执行：针对第一策略，确定第一策略对应实验组的用户标识；基于第一策略对应实验组的用户标识从中间命中表确定第一策略的用户画像集合；根据第一策略的用户画像集合以及第一策略的策略信息确定第一策略的带画像命中信息。

根据本公开的示例性实施例，各策略中包括第二策略；其中，策略评价模块65可以被配置执行：根据第二策略的带画像命中信息以及与第二策略对应的用户行为信息计算第二策略的一个或多个评价指标；基于第二策略的一个或多个评价指标的计算结果对第二策略进行评价。

根据本公开的示例性实施例，参考图8，策略评价模块65可以包括上线判断单元801。

具体的，上线判断单元801可以被配置为执行：确定与第二策略的实验组对应的参照组，并确定参照组的评价结果；将第二策略的评价结果与参照组的评价结果进行比较，根据比较结果确定是否将第二策略应用于线上。

根据本公开的示例性实施例，各策略配置有优先权重；其中，策略评价模块65还可以被配置为执行：按各策略优先权重由大到小的顺序，对各策略进行评价，并反馈评价结果。

由于本发明实施方式的程序运行性能分析装置的各个功能模块与上述方法发明实施方式中相同，因此在此不再赘述。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种策略测试方法，其特征在于，包括：

获取实验命中信息；其中，所述实验命中信息包含各实验组用户的用户标识以及各所述实验组对应策略的策略信息；

基于各所述实验组用户的用户标识、各所述实验组对应策略的策略信息以及一用户画像表分别确定各所述策略的带画像命中信息；

根据各所述策略的带画像命中信息以及与各所述策略对应的用户行为信息分别对各所述策略进行评价。

2.根据权利要求1所述的策略测试方法，其特征在于，基于各所述实验组用户的用户标识、各所述实验组对应策略的策略信息以及一用户画像表分别确定各所述策略的带画像命中信息包括：

将各所述实验组用户的用户标识、各所述实验组对应策略的策略信息与所述用户画像表结合，生成中间命中表；

基于所述策略信息对所述中间命中表的信息进行分类，以确定各所述策略的带画像命中信息。

3.根据权利要求2所述的策略测试方法，其特征在于，将各所述实验组用户的用户标识、各所述实验组对应策略的策略信息和所述用户画像表结合，生成中间命中表包括：

利用配置的应用编程接口将各所述实验组用户的用户标识以及各所述实验组对应策略的策略信息写入日志，并生成实验命中信息表；

将所述实验命中信息表与所述用户画像表结合，生成所述中间命中表。

4.根据权利要求2或3所述的策略测试方法，其特征在于，各所述策略中包括第一策略；其中，基于所述策略信息对所述中间命中表的信息进行分类，以确定各所述策略的带画像命中信息包括：

针对所述第一策略，确定所述第一策略对应实验组的用户标识；

基于所述第一策略对应实验组的用户标识从所述中间命中表确定所述第一策略的用户画像集合；

根据所述第一策略的用户画像集合以及所述第一策略的策略信息确定所述第一策略的带画像命中信息。

5.根据权利要求1所述的策略测试方法，其特征在于，各所述策略中包括第二策略；其中，根据各所述策略的带画像命中信息以及与各所述策略对应的用户行为信息分别对各所述策略进行评价包括：

根据所述第二策略的带画像命中信息以及与所述第二策略对应的用户行为信息计算所述第二策略的一个或多个评价指标；

基于所述第二策略的一个或多个评价指标的计算结果对所述第二策略进行评价。

6.根据权利要求5所述的策略测试方法，其特征在于，所述策略测试方法还包括：

确定与所述第二策略的实验组对应的参照组，并确定所述参照组的评价结果；

将所述第二策略的评价结果与所述参照组的评价结果进行比较，根据比较结果确定是否将所述第二策略应用于线上。

7.根据权利要求1所述的策略测试方法，其特征在于，各所述策略配置有优先权重；其中，根据各所述策略的带画像命中信息以及与各所述策略对应的用户行为信息分别对各所述策略进行评价包括：

按各所述策略优先权重由大到小的顺序，对各所述策略进行评价，并反馈评价结果。

8.一种策略测试装置，其特征在于，包括：

实验信息获取模块，用于获取实验命中信息；其中，所述实验命中信息包含各实验组用户的用户标识以及各所述实验组对应策略的策略信息；

策略信息确定模块，用于基于各所述实验组用户的用户标识、各所述实验组对应策略的策略信息以及一用户画像表分别确定各所述策略的带画像命中信息；

策略评价模块，用于根据各所述策略的带画像命中信息以及与各所述策略对应的用户行为信息分别对各所述策略进行评价。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的策略测试方法。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的策略测试方法。

Images