CN110750436A - 分层测试方法、装置、计算机可读介质及电子设备 - Google Patents

Abstract

本发明的实施例提供了一种分层测试方法、装置、计算机可读介质及电子设备。该分层测试方法包括：获取对多个测试层进行测试的目标访问流量，每个测试层对应于多个流量分桶；将述目标访问流量随机分配至多个测试层中的第一个测试层所对应的各个流量分桶中；对于多个测试层中除第一个测试层之外的其它测试层，将所述其它测试层的上一个测试层所对应的各个流量分桶中的访问流量随机分配至所述其它测试层所对应的各个流量分桶中；通过各个测试层对应的流量分桶中的访问流量对各个测试层进行测试。本发明实施例的技术方案不仅能够通过较多的访问流量确保得到较优的测试效果，而且还能够避免由于访问流量分配不当而导致偶然因素对测试结果造成的影响。

Description

分层测试方法、装置、计算机可读介质及电子设备

技术领域

本发明涉及计算机及通信技术领域，具体而言，涉及一种分层测试方法、装置、计算机可读介质及电子设备。

背景技术

AB测试(即ABTest)是为网页或APP(Application，应用程序)界面等制作两个(A/B)或多个(A/B/n)版本，并在同一时间维度分别让组成成分相同或相似的访客群组随机访问这些版本，进而收集各群组的用户体验数据和业务数据，最后分析评估出最优版本正式采用的一种版本测试方案。

在相关技术中，通常是将访问流量拆分给进行测试的多个实验组，在这种情况下，如果实验组数量较多，那么每个实验组获得的访问流量会比较少，进而会导致偶然因素的存在而影响整个测试效果。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的实施例提供了一种分层测试方法、装置、计算机可读介质及电子设备，能够提高测试结果的客观性及准确性。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的一个方面，提供了一种分层测试方法，包括：获取对多个测试层进行测试的目标访问流量，每个所述测试层对应于多个流量分桶；将所述目标访问流量随机分配至所述多个测试层中的第一个测试层所对应的各个流量分桶中；对于所述多个测试层中除所述第一个测试层之外的其它测试层，将所述其它测试层的上一个测试层所对应的各个流量分桶中的访问流量随机分配至所述其它测试层所对应的各个流量分桶中；通过各个所述测试层对应的流量分桶中的访问流量对各个所述测试层进行测试。

根据本发明实施例的一个方面，提供了一种分层测试装置，包括：第一获取单元，用于获取对多个测试层进行测试的目标访问流量，每个所述测试层对应于多个流量分桶；第一分配单元，用于将所述目标访问流量随机分配至所述多个测试层中的第一个测试层所对应的各个流量分桶中；第二分配单元，用于对于所述多个测试层中除所述第一个测试层之外的其它测试层，将所述其它测试层的上一个测试层所对应的各个流量分桶中的访问流量随机分配至所述其它测试层所对应的各个流量分桶中；测试单元，用于通过各个所述测试层对应的流量分桶中的访问流量对各个所述测试层进行测试。

在本发明的一个实施例中，基于前述方案，所述第一分配单元包括：第二获取单元，用于获取所述目标访问流量中包含的各个用户标识，得到第一用户标识；第一生成单元，用于根据所述第一用户标识，生成与所述第一用户标识相对应的数值；第一处理单元，用于根据所述第一个测试层所对应的流量分桶的数量，对所述第一用户标识相对应的数值进行取模运算，根据取模结果将所述第一用户标识对应的目标访问流量分配至所述第一个测试层所对应的流量分桶中。

在本发明的一个实施例中，基于前述方案，所述第一生成单元配置为：对所述第一用户标识进行哈希运算，将得到的哈希值作为所述第一用户标识相对应的数值。

在本发明的一个实施例中，基于前述方案，所述第一生成单元配置为：根据所述第一用户标识和一个随机字符串生成第二用户标识；对所述第二用户标识进行哈希运算，将得到的哈希值作为所述第一用户标识相对应的数值。

在本发明的一个实施例中，基于前述方案，所述第二分配单元包括：第三获取单元，用于获取所述上一个测试层所对应的各个流量分桶中的访问流量所包含的各个用户标识，得到第三用户标识；第二生成单元，用于根据所述第三用户标识和一个随机字符串生成第四用户标识，并根据所述第四用户标识，生成与所述第四用户标识相对应的数值；第二处理单元，用于根据所述其它测试层所对应的流量分桶的数量，对所述第四用户标识相对应的数值进行取模运算，根据取模结果将所述第三用户标识对应的访问流量分配至所述其它测试层所对应的流量分桶中。

在本发明的一个实施例中，基于前述方案，所述第二获取单元配置为：若所述目标访问流量中包含有登录账号信息，则将所述目标访问流量中包含的登录账号信息作为所述用户标识。

在本发明的一个实施例中，基于前述方案，所述第二获取单元配置为：若所述目标访问流量中不包含登录账号信息，则判断所述目标访问流量中是否包含有硬件设备的标识信息；若所述目标访问流量中包含有所述硬件设备的标识信息，则将所述硬件设备的标识信息作为所述用户标识；若所述目标访问流量中不包含所述硬件设备的标识信息，则将所述目标访问流量中包含的应用程序生成的唯一标识符作为所述用户标识。

在本发明的一个实施例中，基于前述方案，所述第一获取单元还用于：获取用户针对分层测试配置的实验参数，所述实验参数包含多个实验组，各个所述实验组中包含有多个实验对应的实验元素信息和各个所述实验对应的流量分桶，并将所述多个实验组确定为所述多个测试层。

在本发明的一个实施例中，基于前述方案，所述的分层测试装置还包括：第四获取单元，用于获取各个所述测试层中包含的多个实验的实验结果数据；第三生成单元，用于生成所述多个实验的实验结果数据之间的对比效果图；展示单元，用于展示所述对比效果图。

在本发明的一个实施例中，基于前述方案，各个所述实验组中包含的多个实验中具有一对照实验；所述第三生成单元配置为：生成所述对照实验与所述多个实验中的其它实验的实验结果数据之间的对比效果图。

在本发明的一个实施例中，基于前述方案，所述测试单元配置为：确定各个所述测试层中包含的各个实验对应的流量分桶；通过所述各个实验对应的流量分桶，对各个所述测试层中包含的各个实验进行测试，以对各个所述测试层进行测试。

在本发明的一个实施例中，基于前述方案，所述多个测试层包括界面渲染层、后台逻辑层和信息推荐层。

根据本发明实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的分层测试方法。

根据本发明实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的分层测试方法。

在本发明的一些实施例所提供的技术方案中，通过将目标访问流量随机分配至第一个测试层所对应的各个流量分桶中，并将其它测试层的上一个测试层所对应的各个流量分桶中的访问流量随机分配至其它测试层所对应的各个流量分桶中，使得各个测试层能够在使用访问流量的全集来进行测试的前提下，尽可能提高访问流量分配的随机性，不仅能够通过较多的访问流量确保得到较优的测试效果，而且还能够避免由于访问流量分配不当而导致偶然因素对测试结果造成的影响，有效提高了测试结果的客观性及准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本发明实施例的分层测试方法或分层测试装置的示例性系统架构的示意图；

图2示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图；

图3示意性示出了根据本发明的一个实施例的分层测试方法的流程图；

图4示意性示出了根据本发明的一个实施例的将目标访问流量随机分配至第一个测试层所对应的各个流量分桶中的流程图；

图5示意性示出了根据本发明的一个实施例的将其它测试层的上一个测试层所对应的各个流量分桶中的访问流量随机分配至其它测试层所对应的各个流量分桶中的流程图；

图6示出了一种AB测试方案的流量分配过程示意图；

图7示出了另一种AB测试方案的流量分配过程示意图；

图8示意性示出了根据本发明的一个实施例的短视频上传及测试系统的网络拓扑图；

图9示意性示出了根据本发明的一个实施例的实验配置系统的UI界面示意图；

图10示意性示出了根据本发明的一个实施例的基于流量正交的分层测试流程图；

图11示出了根据本发明的一个实施例的基于流量正交的分层测试方法中的流量分桶过程的示意图；

图12示意性示出了根据本发明的一个实施例的分层测试装置的框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了可以应用本发明实施例的分层测试方法或分层测试装置的示例性系统架构100的示意图。

如图1所示，系统架构100可以包括终端设备(如图1中所示智能手机101、平板电脑102和便携式计算机103中的一种或多种，当然也可以是台式计算机等等)、网络104和服务器105。网络104用于在终端设备和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线通信链路、无线通信链路等等。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

用户可以使用终端设备通过网络104与服务器105交互，以接收或发送消息等。服务器105可以是提供各种服务的服务器。例如用户利用终端设备103(也可以是终端设备101或102)向服务器105上传了针对分层测试配置的实验参数，该实验参数包含多个实验组，各个实验组中包含有多个实验对应的实验元素信息和各个实验对应的流量分桶。其中，这多个实验组可以作为多个测试层。服务器105在获取到该实验参数之后，可以将访问流量随机分配至该多个测试层中的第一个测试层所对应的各个流量分桶中，并将该多个测试层中的其它测试层的上一个测试层所对应的各个流量分桶中的访问流量随机分配至其它测试层所对应的各个流量分桶中，然后通过各个测试层对应的流量分桶中的访问流量对各个测试层进行测试，这种方式不仅能够保证通过流量全集来进行测试，以得到较优的测试效果，而且还能够避免由于访问流量分配不当而导致偶然因素对测试结果造成的影响，有效提高了测试结果的客观性及准确性。

需要说明的是，本发明实施例所提供的分层测试方法一般由服务器105执行，相应地，分层测试装置一般设置于服务器105中。但是，在本发明的其它实施例中，终端设备也可以与服务器具有相似的功能，从而执行本发明实施例所提供的分层测试方案。

图2示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图2所示，计算机系统200包括中央处理单元(Central Processing Unit，CPU)201，其可以根据存储在只读存储器(Read-Only Memory，ROM)202中的程序或者从存储部分208加载到随机访问存储器(Random Access Memory，RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU 201、ROM202以及RAM 203通过总线204彼此相连。输入/输出(Input/Output，I/O)接口205也连接至总线204。

以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。

特别地，根据本发明的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本发明实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3至图5所示的各个步骤。

以下对本发明实施例的技术方案的实现细节进行详细阐述：

图3示意性示出了根据本发明的一个实施例的分层测试方法的流程图，该分层测试方法可以由服务器来执行，该服务器可以是图1所示的服务器。参照图3所示，该分层测试方法至少包括步骤S310至步骤S340，详细介绍如下：

在步骤S310中，获取对多个测试层进行测试的目标访问流量，每个所述测试层对应于多个流量分桶。

在本发明的一个实施例中，每个测试层即为一个实验组，用于对相应的功能进行测试，每个实验组中包含了多个实验、各个实验的元素信息和各个实验对应的流量分桶。流量分桶是对访问流量进行更细粒度的划分，即一个流量分桶包含了若干个访问流量。上述的目标访问流量可以是页面访问请求、控件触发请求等。

在步骤S320中，将所述目标访问流量随机分配至所述多个测试层中的第一个测试层所对应的各个流量分桶中。

在本发明的一个实施例中，多个测试层之间具有次序关系，即可以按照次序来给各个测试层分配访问流量，比如若多个测试层的次序是界面渲染层、后台逻辑层和信息推荐层，那么第一个测试层即为界面渲染层。

在本发明的一个实施例中，如图4所示，将目标访问流量随机分配至所述多个测试层中的第一个测试层所对应的各个流量分桶中，包括如下步骤S410、步骤S420和步骤S430。具体说明如下：

在步骤S410中，获取所述目标访问流量中包含的各个用户标识，得到第一用户标识。

在本发明的一个实施例中，用户标识可以登录账号信息，比如可以将登录的QQ号、微信号、手机号等作为用户标识。若访问流量中包含有登录账号信息(如用户未登录)，则将硬件设备的标识信息作为用户标识，比如将发送访问请求的硬件设备的IMEI(International Mobile Equipment Identity，国际移动设备识别码)作为用户标识。若访问流量中不包含硬件设备的标识信息，则可以将应用程序生成的唯一标识符作为用户标识，比如可以将APP生成的GUID(Globally Unique Identifier，全局唯一标识符)作为用户标识。

需要说明的是，每个访问流量中都携带有用户标识，若存在携带有相同用户标识的多个访问流量，那么这多个访问流量也作为不同的访问流量来进行处理。

在步骤S420中，根据所述第一用户标识，生成与所述第一用户标识相对应的数值。

在本发明的一个实施例中，可以对第一用户标识进行哈希运算，然后将得到的哈希值作为第一用户标识相对应的数值。其中，可以通过MD5(Message-Digest Algorithm 5，消息摘要算法第五版)算法来进行哈希运算，或者可以通过SHA1(Secure Hash Algorithm，安全哈希算法)算法来进行哈希运算。

在本发明的另一个实施例中，可以根据第一用户标识和一个随机字符串生成第二用户标识，然后对第二用户标识进行哈希运算，并将得到的哈希值作为第一用户标识相对应的数值。在该实施例中，由于数据发生变化时，哈希运算后得到的结果会有较大的改变，因此即便不同的访问流量中包含有相同的第一用户标识，那么在根据第一用户标识和一个随机字符串生成第二用户标识之后，对第二用户标识进行哈希运算得到的值会有很大的不同，进而能够保证在通过取模运算来分配访问流量时，能够尽可能提高访问流量分配的随机性，避免将包含相同用户标识的访问流量分配至同一流量分桶中而导致偶然因素对测试结果造成的影响。

在本发明的一个实施例中，可以对第一用户标识与随机字符串进行求和，并将得到的和值作为第二用户标识。

继续参照图4所示，在步骤S430中，根据所述第一个测试层所对应的流量分桶的数量，对所述第一用户标识相对应的数值进行取模运算，根据取模结果将所述第一用户标识对应的目标访问流量分配至所述第一个测试层所对应的流量分桶中。

在本发明的一个实施例中，比如若对某一用户标识相对应的数值进行取模的结果为0，则可以将该用户标识对应的访问流量分配至流量分桶1中；若对某一用户标识相对应的数值进行取模的结果为1，则可以将该用户标识对应的访问流量分配至流量分桶2中；以此类推。

继续参照图3所示，在步骤S330中，对于所述多个测试层中除所述第一个测试层之外的其它测试层，将所述其它测试层的上一个测试层所对应的各个流量分桶中的访问流量随机分配至所述其它测试层所对应的各个流量分桶中。

在本发明的一个实施例中，如上所述，多个测试层之间具有次序关系，在将目标访问流量分配至第一个测试层所对应的各个流量分桶中之后，可以按照次序继续给其它测试层分配访问流量。

在本发明的一个实施例中，如图5所示，将其它测试层的上一个测试层所对应的各个流量分桶中的访问流量随机分配至其它测试层所对应的各个流量分桶中，包括：

步骤S510，获取上一个测试层所对应的各个流量分桶中的访问流量所包含的各个用户标识，得到第三用户标识。

在本发明的一个实施例中，如上所述，用户标识可以是硬件设备的标识信息；若访问流量中不包含硬件设备的标识信息，则可以将应用程序生成的唯一标识符作为用户标识；若访问流量中也不包含应用程序生成的唯一标识符，则可以将登录账号信息作为用户标识。

步骤S520，根据所述第三用户标识和一个随机字符串生成第四用户标识。

在本发明的实施例中，由于数据发生变化时，哈希运算后得到的结果会有较大的改变，因此通过根据第三用户标识和一个随机字符串生成第四用户标识，可以保证在通过取模运算来分配访问流量时，能够尽可能提高向各测试层分配访问流量的随机性，进而尽量避免偶然因素对测试结果造成的影响。

在本发明的一个实施例中，可以对第三用户标识与随机字符串进行求和，并将得到的和值作为第四用户标识。

步骤S530，根据所述第四用户标识，生成与所述第四用户标识相对应的数值。

在本发明的一个实施例中，可以对第四用户标识进行哈希运算，然后将得到的哈希值作为第四用户标识相对应的数值。其中，可以通过MD5算法来进行哈希运算，或者可以通过SHA1算法来进行哈希运算。

步骤S540，根据所述其它测试层所对应的流量分桶的数量，对所述第四用户标识相对应的数值进行取模运算，根据取模结果将所述第三用户标识对应的访问流量分配至所述其它测试层所对应的流量分桶中。

在本发明的一个实施例中，比如若对某一用户标识相对应的数值进行取模的结果为0，则可以将该用户标识对应的访问流量分配至流量分桶1中；若对某一用户标识相对应的数值进行取模的结果为1，则可以将该用户标识对应的访问流量分配至流量分桶2中；以此类推。

继续参照图3所示，在步骤S340中，通过各个所述测试层对应的流量分桶中的访问流量对各个所述测试层进行测试。

在本发明的一个实施例中，由于每个测试层是一个实验组，每个实验组中包含了多个实验、各个实验的元素信息和各个实验对应的流量分桶。因此可以通过各个测试层包含的各个实验对应的流量分桶，对各个测试层中包含的各个实验进行测试，以对各个测试层进行测试。

在本发明的一个实施例中，在对各个测试层进行测试之后，可以获取各个测试层中包含的多个实验的实验结果数据，然后生成多个实验的实验结果数据之间的对比效果图，并展示该对比效果图，以便于测试人员直观地查看到不同测试层中包含的各个实验的优劣情况。

在本发明的一个实施例中，各个测试层中包含的多个实验中具有一对照实验，那么在生成多个实验的实验结果数据之间的对比效果图时，可以生成对照实验与多个实验中的其它实验的实验结果数据之间的对比效果图，以便于测试人员直观查看到其它实验与对照实验之间的效果对比情况。

需要说明的是，图3至图5中所示的各个步骤的执行顺序仅为示例，在本发明的其它实施例中，各个步骤的执行顺序可以有所调整，比如在图3中所示的步骤S320执行之后，可以同时执行步骤S330和步骤S340，以在对第一个测试层进行测试的过程中或测试之后，向其它测试层所对应的各个流量分桶中分配访问流量。

以下结合图6至图11，以对短视频的展现及推荐场景为例，对本发明实施例的多层测试方案进行详细阐述：

随着视频技术的发展，互联网上视频的内容越来越丰富，而人们工作生活节奏也越来越快，没有大量空闲的时间来浏览网络长视频，短平快的视频应运而生，为了让短视频类的应用更加贴近用户，提升转化率和留存率，需要使用真实的样本进行快速迭代试验。

在本发明的一个实施例中，AB测试时是通过水平分割的方式来分配流量，具体是通过哈希取模的方式划分出流量桶，不同实验组使用不同的流量分桶。如图6所示，将流量全集划分为5个流量分桶，假设流量全集是100％，那么每个流量分桶分得20％的流量，实验组一使用两个分桶共40％的流量，实验组二使用三个分桶共60％的流量。图6所示的流量分配方式中是由所有实验组水平拆分流量全集，因此若实验组的数量较多时，流量会被分得很细，每个实验组获得的流量样本会比较少，在这种流量样本较少的情况下，偶然因素可能会影响整个实验效果。

在本发明的另一个实施例中，AB测试时可以由所有的实验组共享全部流量，具体如图7所示，使用相同的分桶算法来向每个实验组分配流量，这种方式虽然能够保证各个实验组使用全部流量来进行测试，但是由于使用的流量分桶的划分算法是一样的，会导致不同的实验之间存在较大的干扰，进而会造成测试人员分辨不出是哪组实验带来的效果提升。

基于上述技术问题，本发明的实施例提出了一种基于流量正交的多层AB测试方案，以提升APP的用户转化率及留存率。在具体介绍本发明实施例的基于流量正交的多层AB测试方案之前，结合图8介绍本发明实施例的短视频上传及测试系统的网络拓扑图，具体包括短视频的上传流程及短视频的分层测试流程，以下分别进行详细阐述。

如图8所示，短视频的上传流程包括：

步骤S801a，短视频上传端向短视频发布系统上传待发布的短视频。

步骤S802a，短视频发布系统将短视频上传端发布的短视频存储至短视频数据库中。

步骤S803a，短视频数据库向推荐系统提供其存储的短视频。

短视频的分层测试流程，包括：

步骤S801b，用户通过终端登录APP之后，APP会先请求接入侧的用户界面渲染层。其中，用户界面即为User Interface，简称UI，为便于描述，以下以UI渲染层进行说明。UI渲染层主要用于拼装APP页面的UI展示部分，如背景颜色、字体、控件样式等。

步骤S802b，UI渲染层请求后台逻辑层获取待展示的数据。

步骤S803b，后台逻辑层请求推荐系统获取针对该用户的个性化视频列表。其中，后台逻辑层主要用于控制需要展示的数据部分，包含视频播放地址、标题、封面图、作者、点赞数、关注数、评论数等，具体地，后台逻辑层可以从媒体资源库中获取相应的数据来进行控制展示。

在本发明的一个实施例中，UI渲染层、后台逻辑层、推荐系统都需要与实验配置系统进行交互来获取实验信息，比如可以通过对用户唯一标识进行哈希处理后获得不同的分桶信息进而映射到相关的配置项实现。具体地，后台逻辑层可以通过步骤S804b与实验配置发布系统进行交互；UI渲染层可以通过步骤S805b与实验配置系统进行交互；推荐系统可以通过步骤S806b与实验配置系统进行交互。其中，实验配置系统可以通过步骤S807b从实验配置数据库中获取测试人员配置的实验配置。在进行测试的过程中，若短视频在前端APP上曝光或者用户点击后可以通过步骤S808b上报至日志分析展现系统供测试人员参考。同时，测试人员可以通过步骤S809b调整实验配置参数。

在本发明的一个实施例中，测试人员在调整实验配置系统中的实验配置参数时，可以基于实验配置系统提供的UI界面来进行调整。具体如图9所示，在本发明实施例的实验配置系统的UI界面中，包括：实验组的配置部分901、实验的配置部分(如实验ID为0的实验配置、实验ID为1001的实验配置和实验ID为1002的实验配置)、实验元素的配置部分(如实验ID为1001的元素配置部分904)、流量分配部分(如实验ID为1001的流量分配部分905)、hash算法的选择部分902及分桶数量的选择部分903等。

此外，在图9所示的UI界面中，还可以通过控件906在一个实验组中添加其他实验配置，也可以通过控件907添加其他分层实验组。

在本发明的一个实施例中，当用户通过实验配置系统配置实验参数时，由于实验参数是key-value(关键字-值)的结构，存储在MySQL(一种关系型数据库)数据库中，每一行的数据为实验id、实验元素、实验元素对应的值(即三元组的形式)，因此可以灵活地增加实验元素，并且若干实验id组成一个实验组，不同的实验组进行分层设置，通过分层设置，也可以灵活的增加不同的实验组。此外，当配置数据较大时，可以推送给需要使用实验配置的机器进行内存缓存，以在加载时直接从内存中加载，达到内存加速的目的，缩短请求耗时。

在本发明的一个实施例中，如图10所示，在本发明的一个实施例的基于流量正交的分层测试流程中，当用户登录短视频APP之后，短视频APP通过流程S1001和流程S1002从实验配置系统中获取全局配置(全局配置即为对照实验的配置)，并通过流程S1003和流程S1004从实验配置系统中获取实验配置。其中，全局配置及实验配置主要是用于短视频APP的设置，由于全局配置及实验配置更新比较耗时，因此基于性能优化和用户体验的角度考虑，可以在用户登录后进行拉取并缓存起来，在下次启动短视频APP或者将短视频APP从后台切换至前台时生效。

在本发明的一个实施例中，当配置生效之后，短视频APP通过流程S1005、流程S1006、流程S1007和流程S1008从推荐系统中获取短视频APP请求的频道数据。其中，短视频APP在发送推荐频道的请求中带上用户的ID，以便于后端服务器通过该用户的ID计算该请求(一次请求可以作为一个流量)所属的流量分桶。

在本发明的一个实施例中，UI渲染层可以通过流程S1009从实验配置系统中获取UI渲染层的实验配置数据，如首页的列表的展现形式：西瓜流、瀑布流或者INS流等。后台逻辑层可以通过流程S1010获取逻辑层实验配置，如APP一次刷新拉取的视频数目(拉取视频数目太多会浪费曝光量，拉取视频数目太少会造成用户频繁刷新而造成后台卡顿)；是否对内容进行干预等配置项；是否展示点赞数、关注数、评论、昵称头像等信息。推荐系统可以通过流程S1011获取推荐系统实验配置，推荐系统为视频列表的提供方，通过不同的实验算法来根据用户画像获取到个性化的视频。

在本发明的一个实施例中，实验效果分析及展现系统可以统计短视频APP上报的视频曝光情况和点击数据，并通过报表的形式进行展示。具体地，由于一个实验组包含了多个实验配置，每个实验配置都不同，短视频APP通过上报曝光和点击数据，以及对应的实验组id、实验配置id，使得实验效果分析及展现系统能够进行实时统计分析，生成对照实验与其它实验的对比图，进而测试人员可以清楚的看到实验组中不同实验配置的优劣情况，以便将较优的实验方案应用用全流量中。

以下结合图11对本发明实施例的基于流量正交的分层测试方法中的流量分桶方案，在图11中，以对UI渲染层、后台逻辑层和推荐层进行分桶为例进行说明：

在本发明的实施例中，为了不同层之间的实验互不干扰，需要对流量进行随机打散，层与层之间的流量是正交的，也就是说在流量穿越每层实验时，上层实验的每个分桶的流量都会随机的打散到下一层的每个分桶中，使得随机效果足够离散。具体地，如图11所示，UI渲染层按照哈希取模的方式将流量均分为5份，每个分桶中的流量为20％；穿越到后台逻辑层时，UI渲染层中的各个分桶的流量又随机打散到5个分桶中(图11中仅示出了UI渲染层的第3个分桶中的流量的分配效果)；继续穿越到推荐层时，后台逻辑层中的各个分桶的流量又随机打散到5个分桶中(图11中仅示出了后台逻辑层的第3个分桶中的流量的分配效果)。

在本发明的一个实施例中，在对流量进行分桶时，可以对用户ID进行哈希计算(如通过MD5算法进行计算)的方式生成固定的整数，然后根据桶的数量利用取模的方式将用户ID对应的流量打散到不同的桶中。由于每个用户ID是固定的，因此所在分桶也是固定，如果每层实验都用同样的分桶算法，则会导致流量分配重叠度较大，进而会导致实验之间产生干扰，而根据哈希算法(如MD5算法)的特性，对数据做任何的改动，例如一个比特位的修改，所得到的MD5值都有很大的不同，因此在使用用户ID计算哈希值时，可以针对每层的流量，都将用户id都加上固定的随机字符串(离散因子)，进而得到的哈希值会与不加随机字符串产生很大的区别，当取模后分桶也会足够离散，通过这种方式，使得当流量样本足够大时，从概率上看，分桶将被再次随机化，上一层处于同一个分桶的流量将被离散的打散到下一层的每个桶中。具体地，分桶的计算公式如下所示：

x＝Hash(user_id+rand_{layer_id})mod bucket_num

其中，user_id表示用户id；rand_{layer_id}表示每一层针对用户id生成的随机字符串；bucket_num表示分桶的数量。上述公式表示计算(user_id+rand_{layer_id})的哈希值，然后对bucket_num求模值，x即为得到的模值，最后根据模值x将流量随机分配至各个分桶中。

在本发明的一个实施例中，user_id的选取策略为：对于IOS端而言，优先使用用户的登录账号信息(例如QQ号、微信号、手机号等)，若不存在登录账号信息，则使用硬件设备的IDFV(IdentifierForVendor，广告标示符)信息，当IDFV不存在时使用软件生成的GUID。对于安卓端而言，也是优先使用用户的登录账号信息，若不存在登录账号信息，则使用硬件设备的IMEI信息，当IMEI不存在时使用软件生成的GUID。

以下介绍本发明的装置实施例，可以用于执行本发明上述实施例中的分层测试方法。对于本发明装置实施例中未披露的细节，请参照本发明上述的分层测试方法的实施例。

图12示意性示出了根据本发明的一个实施例的分层测试装置的框图。

参照图12所示，根据本发明的一个实施例的分层测试装置120，包括：第一获取单元1201、第一分配单元1202、第二分配单元1203和测试单元1204。

其中，第一获取单元1201用于获取对多个测试层进行测试的目标访问流量，每个所述测试层对应于多个流量分桶；第一分配单元1202用于将所述目标访问流量随机分配至所述多个测试层中的第一个测试层所对应的各个流量分桶中；第二分配单元1203用于对于所述多个测试层中除所述第一个测试层之外的其它测试层，将所述其它测试层的上一个测试层所对应的各个流量分桶中的访问流量随机分配至所述其它测试层所对应的各个流量分桶中；测试单元1204用于通过各个所述测试层对应的流量分桶中的访问流量对各个所述测试层进行测试。

在本发明的一个实施例中，所述第一分配单元1202包括：第二获取单元，用于获取所述目标访问流量中包含的各个用户标识，得到第一用户标识；第一生成单元，用于根据所述第一用户标识，生成与所述第一用户标识相对应的数值；第一处理单元，用于根据所述第一个测试层所对应的流量分桶的数量，对所述第一用户标识相对应的数值进行取模运算，根据取模结果将所述第一用户标识对应的目标访问流量分配至所述第一个测试层所对应的流量分桶中。

在本发明的一个实施例中，所述第一生成单元配置为：对所述第一用户标识进行哈希运算，将得到的哈希值作为所述第一用户标识相对应的数值。

在本发明的一个实施例中，所述第一生成单元配置为：根据所述第一用户标识和一个随机字符串生成第二用户标识；对所述第二用户标识进行哈希运算，将得到的哈希值作为所述第一用户标识相对应的数值。

在本发明的一个实施例中，所述第二分配单元1203包括：第三获取单元，用于获取所述上一个测试层所对应的各个流量分桶中的访问流量所包含的各个用户标识，得到第三用户标识；第二生成单元，用于根据所述第三用户标识和一个随机字符串生成第四用户标识，并根据所述第四用户标识，生成与所述第四用户标识相对应的数值；第二处理单元，用于根据所述其它测试层所对应的流量分桶的数量，对所述第四用户标识相对应的数值进行取模运算，根据取模结果将所述第三用户标识对应的访问流量分配至所述其它测试层所对应的流量分桶中。

在本发明的一个实施例中，所述第二获取单元配置为：若所述目标访问流量中包含有登录账号信息，则将所述目标访问流量中包含的登录账号信息作为所述用户标识。

在本发明的一个实施例中，所述第二获取单元配置为：若所述目标访问流量中不包含登录账号信息，则判断所述目标访问流量中是否包含有硬件设备的标识信息；若所述目标访问流量中包含有所述硬件设备的标识信息，则将所述硬件设备的标识信息作为所述用户标识；若所述目标访问流量中不包含所述硬件设备的标识信息，则将所述目标访问流量中包含的应用程序生成的唯一标识符作为所述用户标识。

在本发明的一个实施例中，所述第一获取单元1201还用于：获取用户针对分层测试配置的实验参数，所述实验参数包含多个实验组，各个所述实验组中包含有多个实验对应的实验元素信息和各个所述实验对应的流量分桶，并将所述多个实验组确定为所述多个测试层。

在本发明的一个实施例中，所述的分层测试装置还可以包括：第四获取单元，用于获取各个所述测试层中包含的多个实验的实验结果数据；第三生成单元，用于生成所述多个实验的实验结果数据之间的对比效果图；展示单元，用于展示所述对比效果图。

在本发明的一个实施例中，各个所述实验组中包含的多个实验中具有一对照实验；所述第三生成单元配置为：生成所述对照实验与所述多个实验中的其它实验的实验结果数据之间的对比效果图。

在本发明的一个实施例中，所述测试单元1204配置为：确定各个所述测试层中包含的各个实验对应的流量分桶；通过所述各个实验对应的流量分桶，对各个所述测试层中包含的各个实验进行测试，以对各个所述测试层进行测试。

在本发明的一个实施例中，所述多个测试层包括界面渲染层、后台逻辑层和信息推荐层。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (15)

1.一种分层测试方法，其特征在于，包括：

获取对多个测试层进行测试的目标访问流量，每个所述测试层对应于多个流量分桶；

将所述目标访问流量随机分配至所述多个测试层中的第一个测试层所对应的各个流量分桶中；

对于所述多个测试层中除所述第一个测试层之外的其它测试层，将所述其它测试层的上一个测试层所对应的各个流量分桶中的访问流量随机分配至所述其它测试层所对应的各个流量分桶中；

通过各个所述测试层对应的流量分桶中的访问流量对各个所述测试层进行测试。

2.根据权利要求1所述的分层测试方法，其特征在于，将所述目标访问流量随机分配至所述多个测试层中的第一个测试层所对应的各个流量分桶中，包括：

获取所述目标访问流量中包含的各个用户标识，得到第一用户标识；

根据所述第一用户标识，生成与所述第一用户标识相对应的数值；

根据所述第一个测试层所对应的流量分桶的数量，对所述第一用户标识相对应的数值进行取模运算，根据取模结果将所述第一用户标识对应的目标访问流量分配至所述第一个测试层所对应的流量分桶中。

3.根据权利要求2所述的分层测试方法，其特征在于，根据所述第一用户标识，生成与所述第一用户标识相对应的数值，包括：

对所述第一用户标识进行哈希运算，将得到的哈希值作为所述第一用户标识相对应的数值。

4.根据权利要求2所述的分层测试方法，其特征在于，根据所述第一用户标识，生成与所述第一用户标识相对应的数值，包括：

根据所述第一用户标识和一个随机字符串生成第二用户标识；

对所述第二用户标识进行哈希运算，将得到的哈希值作为所述第一用户标识相对应的数值。

5.根据权利要求2所述的分层测试方法，其特征在于，获取所述目标访问流量中包含的各个用户标识，包括：

若所述目标访问流量中包含有登录账号信息，则将所述目标访问流量中包含的登录账号信息作为所述用户标识。

6.根据权利要求5所述的分层测试方法，其特征在于，还包括：

若所述目标访问流量中不包含登录账号信息，则判断所述目标访问流量中是否包含有硬件设备的标识信息；

若所述目标访问流量中包含有所述硬件设备的标识信息，则将所述硬件设备的标识信息作为所述用户标识；

若所述目标访问流量中不包含所述硬件设备的标识信息，则将所述目标访问流量中包含的应用程序生成的唯一标识符作为所述用户标识。

7.根据权利要求1所述的分层测试方法，其特征在于，将所述其它测试层的上一个测试层所对应的各个流量分桶中的访问流量随机分配至所述其它测试层所对应的各个流量分桶中，包括：

获取所述上一个测试层所对应的各个流量分桶中的访问流量所包含的各个用户标识，得到第三用户标识；

根据所述第三用户标识和一个随机字符串生成第四用户标识；

根据所述第四用户标识，生成与所述第四用户标识相对应的数值；

根据所述其它测试层所对应的流量分桶的数量，对所述第四用户标识相对应的数值进行取模运算，根据取模结果将所述第三用户标识对应的访问流量分配至所述其它测试层所对应的流量分桶中。

8.根据权利要求1所述的分层测试方法，其特征在于，还包括：

获取用户针对分层测试配置的实验参数，所述实验参数包含多个实验组，各个所述实验组中包含有多个实验对应的实验元素信息和各个所述实验对应的流量分桶；

将所述多个实验组确定为所述多个测试层。

9.根据权利要求8所述的分层测试方法，其特征在于，还包括：

获取各个所述测试层中包含的多个实验的实验结果数据；

生成所述多个实验的实验结果数据之间的对比效果图；

展示所述对比效果图。

10.根据权利要求9所述的分层测试方法，其特征在于，各个所述实验组中包含的多个实验中具有一对照实验；

生成所述多个实验的实验结果数据之间的对比效果图，包括：

生成所述对照实验与所述多个实验中的其它实验的实验结果数据之间的对比效果图。

11.根据权利要求8所述的分层测试方法，其特征在于，通过各个所述测试层对应的流量分桶中的访问流量对各个所述测试层进行测试，包括：

确定各个所述测试层中包含的各个实验对应的流量分桶；

通过所述各个实验对应的流量分桶，对各个所述测试层中包含的各个实验进行测试，以对各个所述测试层进行测试。

12.根据权利要求1至11中任一项所述的分层测试方法，其特征在于，所述多个测试层包括界面渲染层、后台逻辑层和信息推荐层。

13.一种分层测试装置，其特征在于，包括：

第一获取单元，用于获取对多个测试层进行测试的目标访问流量，每个所述测试层对应于多个流量分桶；

第一分配单元，用于将所述目标访问流量随机分配至所述多个测试层中的第一个测试层所对应的各个流量分桶中；

第二分配单元，用于对于所述多个测试层中除所述第一个测试层之外的其它测试层，将所述其它测试层的上一个测试层所对应的各个流量分桶中的访问流量随机分配至所述其它测试层所对应的各个流量分桶中；

测试单元，用于通过各个所述测试层对应的流量分桶中的访问流量对各个所述测试层进行测试。

14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的分层测试方法。

15.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至12中任一项所述的分层测试方法。

Images