CN110569193A - A/b测试界面的设置方法、a/b测试方法及相关设备 - Google Patents

Abstract

本发明实施例提供一种A/B测试系统界面的设置方法、A/B测试方法及相关设备，通过获取的A/B测试界面信息设置可视化实验列表界面的第一视图层、第二视图层、第一子视图层、第二子视图层和第三子视图层；当第一视图层获取APP选择信息时，基于第一操作指令触发第一视图层选中APP选择消息对应的APP标识，以及在第一子视图层、第二子视图层和第三子视图层上分别显示所选的APP标识所对应的APP的操作界面信息和操作指令选项信息。接收用户通过输入界面输入的域信息、层信息和实验信息，利用A/B测试系统界面对前述信息进行实验分析，可同时对多类软件和业务进行实验分析，以便于更好的满足当前软件开发方面的需求。

Description

A/B测试界面的设置方法、A/B测试方法及相关设备

技术领域

本发明涉及A/B测试技术领域，更具体地说，涉及一种A/B测试系统界面的设置方法、A/B测试方法及相关设备。

背景技术

A/B测试，也叫随机实验或对照实验。在软件开发方面，利用A/B测试对收集到的实验用户的体验数据和业务数据进行分析，可以评估出最好版本的软件，然后再进行分布或者使用。

在现有技术中，由于针对各类型软件的开发存在差别，以及针对同类软件中的不同业务在进行实验时也存在不同，但是，目前使用A/B测试每次仅支持一类软件开发中的实验分析，或者一类业务的实验分析，无法满足当前软件开发方面的需求。

因此，目前亟需一种高效实现A/B测试的方式，以便于更好的满足当前软件开发方面的需求。

发明内容

有鉴于此，本发明实施例提供一种A/B测试系统界面的设置方法、A/B测试方法及相关设备，以便于更好的满足当前软件开发方面的需求。

为实现上述目的，本发明实施例提供如下技术方案：

本发明第一方面公开了一种A/B测试界面的设置方法，所述设置方法包括：

获取A/B测试界面信息，所述A/B测试界面信息包括不同类型的APP标识和不同类型的APP标识对应的操作界面信息，所述操作界面信息包括域信息，层信息和实验信息；

基于所述A/B测试界面信息设置可视化实验列表界面的第一视图层和对应所述第一视图层的第一逻辑控制层，所述第一逻辑控制层用于存储对所述第一视图层进行操作的第一操作指令，所述第一视图层用于显示不同类型的APP标识和第一操作指令选项信息；

在所述第一视图层内设置第二视图层和对应所述第二视图层的第二逻辑控制层，所述第二逻辑控制层用于存储对所述第二视图层进行操作的第二操作指令，所述第二视图层用于显示每一APP对应的操作界面信息和第二操作指令选项信息；

在所述第二视图层内设置第一子视图层和对应所述第一子视图层的第一子逻辑控制层，所述第一子逻辑控制层用于存储对所述第一子视图层进行操作的第三操作指令，所述第一子视图层用于显示域信息和第三操作指令选项信息，所述域信息包括所述层信息；

在所述第一子视图层内设置第二子视图层和对应所述第二子视图层的第二子逻辑控制层，所述第二子逻辑控制层用于存储对所述第二子视图层进行操作的第四操作指令，所述第二子视图层用于显示所述层信息和第四操作指令选项信息，所述层信息包括所述实验信息；

在所述第二子视图层内设置第三子视图层和对应所述第三子视图层的第三子逻辑控制层，所述第三子视图层的第三子逻辑控制层用于存储对所述第三视图层进行操作的第五操作指令，所述第三子视图层用于显示所述实验信息和第五操作指令选项信息，所述实验信息至少包括实验ID、流量分配信息和实验参数；

当所述第一视图层获取APP选择信息时，基于所述第一操作指令触发所述第一视图层选中所述APP选择消息对应的APP标识，以及在第二视图层中的第一子视图层、所述第二子视图层和所述第三子视图层上分别显示所选的APP标识所对应的APP的操作界面信息和操作指令选项信息；

其中，所述第二子视图层使用所属第一子视图层的所有流量，所述第三子视图层分配使用所属第二子视图层的流量。

可选的，还包括：

当所述第二视图层获取创建域请求时，基于所述创建域请求在所述第二视图层生成用于显示新域信息的新第一子视图层和对应所述新第一子视图层的新第一子逻辑控制层。

可选的，还包括：

当所述第一子视图层获取创建实验请求时，判断所述层信息中是否存在与所述待创建实验互斥的实验；

若存在，在用于显示所述层信息的第二子视图层生成新的第三子视图层和对应所述新的第三子视图层的新第三子逻辑控制层；

若不存在，基于所述创建实验请求在所述第一子视图层生成新第二子视图层和对应所述新第二子视图层的新第二子逻辑控制层。

本发明第二方面公开了一种A/B测试方法，所述A/B测试方法包括：

获取用户通过输入界面输入的待执行A/B测试的APP业务的域信息，以及所述域信息包括的层信息，以及所述层信息包括的实验信息；

基于本发明第一方面公开的A/B测试界面的设置方法，获取所述待执行A/B测试的APP业务的A/B测试界面，其中，所述A/B测试界面包括第二视图层、第一子视图层、第二子视图层和第三子视图层，所述第二视图层用于显示所述APP业务和对应所述APP业务的操作指令选项信息，第一子视图层用于显示所述域信息和对应所述域信息的操作指令选项信息，所述第二子视图层用于显示所述层信息和对应所述层信息的操作指令选项信息，所述第三子视图层用于显示所述实验信息和对应所述实验信息的操作指令选项信息；

若获取用户基于所述操作指令选项信息输入的操作指令时，基于所述操作指令执行相应的操作，生成A/B测试结果。

本发明第三方面公开了一种A/B测试界面的设置装置，包括：

获取模块，用于获取A/B测试界面信息，所述A/B测试界面信息包括不同类型的APP标识和不同类型的APP标识对应的操作界面信息，所述操作界面信息包括域信息，层信息和实验信息；

主视图设置模块，用于基于所述A/B测试界面信息设置可视化实验列表界面的第一视图层和对应所述第一视图层的第一逻辑控制层，所述第一逻辑控制层用于存储对所述第一视图层进行操作的第一操作指令，所述第一视图层用于显示不同类型的APP标识和第一操作指令选项信息，以及在所述第一视图层内设置第二视图层和对应所述第二视图层的第二逻辑控制层，所述第二逻辑控制层用于存储对所述第二视图层进行操作的第二操作指令，所述第二视图层用于显示每一APP对应的操作界面信息和第二操作指令选项信息；

子视图设置模块，用于在所述第二视图层内设置第一子视图层和对应所述第一子视图层的第一子逻辑控制层，所述第一子逻辑控制层用于存储对所述第一子视图层进行操作的第三操作指令，所述第一子视图层用于显示域信息和第三操作指令选项信息，所述域信息包括所述层信息；以及在所述第一子视图层内设置第二子视图层和对应所述第二子视图层的第二子逻辑控制层，所述第二子逻辑控制层用于存储对所述第二子视图层进行操作的第四操作指令，所述第二子视图层用于显示所述层信息和第四操作指令选项信息，所述层信息包括所述实验信息，以及在所述第二子视图层内设置第三子视图层和对应所述第三子视图层的第三子逻辑控制层，所述第三子视图层的第三子逻辑控制层用于存储对所述第三视图层进行操作的第五操作指令，所述第三子视图层用于显示所述实验信息和第五操作指令选项信息，所述实验信息至少包括实验ID、流量分配信息和实验参数；

控制模块，用于当所述第一视图层获取APP选择信息时，基于所述第一操作指令触发所述第一视图层选中所述APP选择消息对应的APP标识，以及在第二视图层中的第一子视图层、所述第二子视图层和所述第三子视图层上分别显示所选的APP标识所对应的APP的操作界面信息和操作指令选项信息；

其中，所述第二子视图层使用所属第一子视图层的所有流量，所述第三子视图层分配使用所属第二子视图层的流量。

可选的，所述子视图设置模块，还用于当所述第一子视图层获取创建实验请求时，判断所述层信息中是否存在与所述待创建实验互斥的实验；若存在，在用于显示所述层信息的第二子视图层生成新的第三子视图层和对应所述新的第三子视图层的新第三子逻辑控制层；若不存在，基于所述创建实验请求在所述第一子视图层生成新第二子视图层和对应所述新第二子视图层的新第二子逻辑控制层。

本发明第四方面公开了一种A/B测试装置，包括：

获取模块，用于获取用户通过输入界面输入的待执行A/B测试的APP业务的域信息，以及所述域信息包括的层信息，以及所述层信息包括的实验信息；

测试界面获取模块，用于基于权利要求1-3中任一项所述的A/B测试界面的设置方法，获取所述待执行A/B测试的APP业务的A/B测试界面，其中，所述A/B测试界面包括第二视图层、第一子视图层、第二子视图层和第三子视图层，所述第二视图层用于显示所述APP业务和对应所述APP业务的操作指令选项信息，第一子视图层用于显示所述域信息和对应所述域信息的操作指令选项信息，所述第二子视图层用于显示所述层信息和对应所述层信息的操作指令选项信息，所述第三子视图层用于显示所述实验信息和对应所述实验信息的操作指令选项信息；

测试模块，用于若获取用户基于所述操作指令选项信息输入的操作指令时，基于所述操作指令执行相应的操作，生成A/B测试结果。

本发明第五方面公开了一种A/B测试界面的设置设备，包括存储器和处理器；

所述存储器，用于存储A/B测试界面的设置程序；

所述处理器，用于运行所述A/B测试界面的设置程序，其中，所述A/B测试界面的设置程序运行时执行如本发明第一方面公开的所述的A/B测试界面的设置方法。

本发明第六方面公开了一种A/B测试设备，包括存储器和处理器；

所述存储器，用于存储A/B测试程序；

所述处理器，用于运行所述A/B测试程序，其中，所述A/B测试程序运行时执行如本发明第二方面公开的所述的A/B测试方法。

本发明第七方面公开了一种存储介质，所述存储介质用于存储A/B测试界面的设置程序，在所述A/B测试界面的设置程序运行时控制所述存储介质所在设备执行如本发明第一方面公开的A/B测试界面的设置方法；

或者，所述存储介质用于存储A/B测试程序，在所述A/B测试程序运行时控制所述存储介质所在设备执行如本发明第二方面公开的所述的A/B测试方法。

基于上述本发明实施例提供的一种A/B测试系统界面的设置方法、A/B测试方法及相关设备，通过获取的A/B测试界面信息设置可视化实验列表界面的第一视图层、第二视图层、第一子视图层、第二子视图层和第三子视图层；当第一视图层获取APP选择信息时，基于第一操作指令触发第一视图层选中APP选择消息对应的APP标识，以及在第一子视图层、第二子视图层和第三子视图层上分别显示所选的APP标识所对应的APP的操作界面信息和操作指令选项信息。接收用户通过输入界面输入的域信息、层信息和实验信息，利用A/B测试系统界面对前述信息进行实验分析，可同时对多类软件和业务进行实验分析，以便于更好的满足当前软件开发方面的需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种A/B测试界面的设置方法流程图；

图2为本发明实施例提供的A/B测试界面的示意图；

图3为本发明实施例提供的第一子视图层的界面示意图；

图4为本发明实施例提供的第二子视图层的示意图；

图5为本发明实施例提供的实验状态的界面示意图；

图6为本发明实施例提供的实验参数的界面示意图；

图7为本发明实施例提供的一种A/B测试方法流程图；

图8为本发明实施例提供的一种A/B测试界面的设置装置的结构框图；

图9为本发明实施例提供的一种A/B测试装置的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

参见图1，示出了本发明实施例提供的一种A/B测试界面的设置方法流程图，所述设置方法包括以下步骤：

步骤S101：获取A/B测试界面信息。

在具体实现步骤S101的过程中，所述A/B测试界面信息包括不同类型的APP标识和不同类型的APP标识对应的操作界面信息，所述操作界面信息包括域信息，层信息和实验信息。

为更好解释说明上述涉及的A/B测试界面，请参见图2，图2示出了本发明实施例提供的A/B测试界面的示意图。在图2中，APP适用于Android系统或IOS系统，可根据实际需求选择Android系统或IOS系统。图2中的域、层和实验的具体内容如下。

域：用于划分不同的业务模块，域和域之间的流量不互相影响，预设每个域对应的流量，例如将每个域的流量设置为100％。需要说明的是，修改域的流量需要对应控制权限。

层：在域内可创建不互斥的实验，层和层之间的流量不互相影响，每个用户都可能命中任一层，预设每个层对应的流量。例如将每个域的流量设置为100％。将每个层对应的流量分配给该层所包含的实验，用户可通过发送设置请求确定每一实验的流量值，若用户请求的实验的流量值大于阈值，需获取相应权限。例如：假设该阈值为20％，若用户请求的实验的流量值大于20％，需向管理员发送审批请求，只有管理员反馈审批通过的请求时，才能将实验的流量值设置为大于20％的数值。

实验：在实验内的实验分组，实验和实验之间的流量会互相影响，每个实验的流量由该实验的创建者进行设置。

需要说明的是，图2中示出的域1和域2分别表示UI实验业务和技术侧实验业务，技术人员可通过图2中的添加功能添加新的业务，但在添加新的业务时需要获取对应权限。

步骤S102：基于所述A/B测试界面信息设置可视化实验列表界面的第一视图层和对应所述第一视图层的第一逻辑控制层。

在具体实现步骤S102的过程中，所述第一逻辑控制层用于存储对所述第一视图层进行操作的第一操作指令，所述第一视图层用于显示不同类型的APP标识和第一操作指令选项信息。

为更好解释上述涉及的第一操作指令选项信息和APP标识，结合图2中示出的内容进行举例说明。在所述图2中，诸如“手Y-Android”和“手Y-IOS”等选项为所述第一操作指令选项信息，“手Y-Android”和“手Y-IOS”同时也指示不同类型的APP标识。

步骤S103：在所述第一视图层内设置第二视图层和对应所述第二视图层的第二逻辑控制层。

在具体实现步骤S103的过程中，所述第二逻辑控制层用于存储对所述第二视图层进行操作的第二操作指令，所述第二视图层用于显示每一APP对应的操作界面信息和第二操作指令选项信息。

为更好解释说明上述涉及的操作界面信息和第二操作指令选项信息，结合图2中示出的内容进行举例说明。在所述图2中，所述操作界面信息包括：每个域、每个层和每个实验对应的界面信息，所述第二操作指令选项信息为用于指示添加新的域的标识，例如所述图2中的“+”标识。

步骤S104：在所述第二视图层内设置第一子视图层和对应所述第一子视图层的第一子逻辑控制层。

在具体实现步骤S104的过程中，所述第一子逻辑控制层用于存储对所述第一子视图层进行操作的第三操作指令，所述第一子视图层用于显示域信息和第三操作指令选项信息，所述域信息包括所述层信息。

为更好解释说明的上述涉及的域信息和第三操作指令选项信息，结合图2中示出的内容进行举例说明，所述域信息为所述图2中“域1”和“域2”对应的信息，所述第三操作指令选项信息为所述图2中的“创建实验”选项信息。

优选的，当所述第二视图层获取创建域请求时，基于所述创建域请求在所述第二视图层生成用于显示新域信息的新第一子视图层和对应所述新第一子视图层的新第一子逻辑控制层。

优选的，当所述第一子视图层获取创建实验请求时，判断所述层信息中是否存在与所述待创建实验互斥的实验。

若存在，在用于显示所述层信息的第二子视图层生成新的第三子视图层和对应所述新的第三子视图层的新第三子逻辑控制层。

若不存在，基于所述创建实验请求在所述第一子视图层生成新第二子视图层和对应所述新第二子视图层的新第二子逻辑控制层。

步骤S105：在所述第一子视图层内设置第二子视图层和对应所述第二子视图层的第二子逻辑控制层。

在具体实现步骤S105的过程中，所述第二子逻辑控制层用于存储对所述第二子视图层进行操作的第四操作指令，所述第二子视图层用于显示所述层信息和第四操作指令选项信息，所述层信息包括所述实验信息。

为更好解释说明上述层信息和第四操作指令选项信息，结合图2中示出的内容进行举例说明，所述层信息为所述图2中的“层1”和“层2”对应的信息，所述第四操作指令选项信息为所述图2中的“当前实验流量分配”和“添加互斥实验”选项信息。

步骤S106：在所述第二子视图层内设置第三子视图层和对应所述第三子视图层的第三子逻辑控制层。

在具体实现步骤S106的过程中，所述第三子视图层的第三子逻辑控制层用于存储对所述第三视图层进行操作的第五操作指令，所述第三子视图层用于显示所述实验信息和第五操作指令选项信息，所述实验信息至少包括实验ID、流量分配信息和实验参数。

为更好解释说明上述实验信息和第五操作指令选项信息，结合图2中示出的内容进行解释说明，所述实验信息为所述图2中的多个“实验”对应的信息，所述第五操作指令选项信息为所述图2中的“修改”和“白名单”选项信息。

步骤S107：当所述第一视图层获取APP选择信息时，基于所述第一操作指令触发所述第一视图层选中所述APP选择消息对应的APP标识，以及在第二视图层中的第一子视图层、所述第二子视图层和所述第三子视图层上分别显示所选的APP标识所对应的APP的操作界面信息和操作指令选项信息。

在具体实现步骤S107的过程中，所述第二子视图层使用所属第一子视图层的所有流量，所述第三子视图层分配使用所属第二子视图层的流量。

在本发明实施例中，通过获取的A/B测试界面信息设置可视化实验列表界面的第一视图层、第二视图层、第一子视图层、第二子视图层和第三子视图层；当第一视图层获取APP选择信息时，基于第一操作指令触发第一视图层选中APP选择消息对应的APP标识，以及在第一子视图层、第二子视图层和第三子视图层上分别显示所选的APP标识所对应的APP的操作界面信息和操作指令选项信息。接收用户通过输入界面输入的域信息、层信息和实验信息，利用A/B测试系统界面对前述信息进行实验分析，可同时对多类软件和业务进行实验分析，以便于更好的满足当前软件开发方面的需求。

为更好解释说明上述图1步骤S104中和图2中涉及的“创建实验”选项信息，举例说明创建实验界面时可能设置的各个选项信息，各个选项信息的具体内容详见以下选项信息A1-A12。

A1、关联APP：预先设置可供技术人员选择的多个不同类型的APP，技术人员根据实际需求从前述多个APP中选择需要进行实验分析的APP，需要进行实验分析的APP的个数根据实际需求进行设置。

A2、实验名称：用于对该实验进行命名，所述实验名称与该实验所属的第二子视图层中的名称相对应。

A3、实验ID：该实验的唯一标识，同时也是该实验所属的第二子视图层的唯一标识。

A4、实验描述：用于描述该实验。

A5、实验类型：预先提供多种实验类型，例如hdid和uid，技术人员根据实际需求选择对应实验类型。

A6、流量分配范围：将流量分配给不同类型的设备，例如将流量分配给所有设备、或者，将流量分配给应用商店设备，或者，将流量分配给广告引流设备。

A7、目标地区：预先设置多个不同地区，技术人员根据实际需求从多个预设地区中选择该实验的目标地区。

A8、目标IP地址：根据IP地址的区域，选择该实验对应的IP地址的区域，例如：仅选择中国大陆地区的IP地址。

A9、目标用户：根据预设的用户设备类型，选择该实验对应的用户范围。用户范围包括但不仅限于：新用户设备、全部用户设备、老用户设备、排除指定型号的用户设备、指定型号的用户设备、指定用户设备群和新增用户设备群，具体内容为：

将预设天数内未登录APP的用户设备作为新用户设备，例如180天内未登录APP。

全部用户设备指包括新用户设备在内的所有用户设备。

老用户设备指去除新用户设备的用户设备。

排除指定型号的用户设备指：排除指定型号的用户设备不参与该实验，例如将iPhone机型为4、4S、5、5C、5S、SE和touch的用户设备排除。

指定型号的用户设备指选择设备尾号为预设数值的用户设备参与该实验，例如选择设备尾号为1和2的用户设备参与该实验。

指定用户群指将可指定设备号的txt文件参与该实验。

新增用户群包括：低活跃用户群、中活跃用户群和高活跃用户群，例如活跃天数大于0小于等于3的用户设备为低活跃用户，活跃天数大于等于4小于15的用户设备为中活跃用户，活跃天数大于等于15的用户设备为高活跃用户。

A10、开始版本号：用于判断用户设备的版本号是否可以参与该实验。

A11、实验流量分配和生效时间：设置每一实验的实验流量与该实验对应的第二子视图层中的总流量的比值。具体内容如下：

由前述内容可知，预先为各个实验分配对应的用户设备，获取用户设备命中实验的命中日期。利用预先设置“实验流量分配跟踪”选项，展示所述命中日期。

在未执行实验首条生效时间并未分配用户参与实验时，在创建该实验时显示对应记录，该记录的具体内容为：流量分配和分配日期。预先获取“分配日期”选项中最早的分配日期对应的流量分配值，将所述流量分配值填入“流量分配”栏目中，若所述流量分配值不存在，则在所述“流量分配”栏目中填0。将所述最早的分配日期填入所述“分配日期”栏目中，若所述最早的分配日期不存在，则在所述“分配日期”栏目中填0。

预先设置“重新分配用户参与实验”选项。在对实验进行实际的流量分配和日期分配后，接收重新分配用户参与实验的命令，新增“流量分配”和“分配日期”栏目，并向新增的“流量分配”和“分配日期”栏目中填入对应信息。

新增的“流量分配”中添加当前实验流量分配值，新增的“分配日期”栏目中添加对应时间，该对应时间不包括当前时间以前的时间。

预设“删除”选项，接收删除命令后，可删除分配日期未过期的实验。

预设“保存”选项，接收保存命令后，保存前述设置的各个实验对应的实验信息。对于每一设置好的实验，若当前时间未到达该实验对应的分配日期，可修改该实验对应的实验信息，若当前时间到达该实验对应的分配日期，不可修改该实验对应的实验信息。

根据所述每个实验的分配日期，按照分配日期由前至后的顺序依次执行实验。

需要说明的是，预先设置流量阈值，当向“流量分配”栏目中添加数值时，若该数值大于流量阈值时，需要获取对应权限才能添加成功。例如：假设流量阈值为20％，所述“当前流量分配”栏目中的数值为80％，则需要预先向超级管理员发送审批请求，当审批请求通过后才能添加成功。

进一步需要说明的是，预先为不同设备设置不同权限，权限的等级由高到低分别为：超级管理员、业务管理员、普通用户和无权限用户。

超级管理员具有所有管理权限，业务管理员只有审批流量分配的权限，普通用户只有修改原有流量分配和填写流量分配的权限，无权限用户不具有任何操作权限。

A12、实验值：添加实验组对应的实验值，包括但不仅限于：实验名称、参数ID、参数描述、参数值和流量分布。实验名称、参数ID、参数描述、参数值和流量分布的具体内容如下。

实验名称：用于描述实验分组。

实验ID：由后台自动生成。

参数ID：由技术人员根据实际情况进行设置，具体表示对应到UI层面进行控制样式变化的ID，通常由英文字符构成，对于同一属性的样式变化，参数ID相同。

参数描述：用于描述参数。

参数值的具体设置规则如下：

规则一、参数值由技术人员根据实际需求进行设置，通常可设置为数值。

规则二、若参数值涉及实验代码逻辑，则需根据预设规则设置所述参数值。

规则三、参数值可以为相同的数值，具体用于实验开始时放量的多组分组观察无变量下样本的数据情况，其中，所述多组分组所对应的参数ID相同，该多组分组可以为3组分组。

规则四、在实验运行时，可以修改参数值。

需要说明的是，预设“加参数”选项，在接收到增加参数的命令后，可增加对应的参数值。

流量分布：对于每一个实验ID，只有一个流量分布，对于一个第二子视图层，该第二子视图层下的每个实验ID对应的流量分布之和为100％。

在本发明实施例中，接收用户通过输入界面输入的域信息、层信息和实验信息，通过创建实验界面创建多个实验，可同时对多类软件和业务进行实验分析，以便于更好的满足当前软件开发方面的需求。

为更好解释说明上述图1和图2中涉及的域信息、层信息和实验信息，通过图3至图6示出的内容进行举例说明。

由前述内容可知，当所述第一子视图层获取创建实验请求时，判断所述层信息中是否存在与所述待创建实验互斥的实验。需要说明的是，同一所述第一子视图层内的所述第二子视图层之间共用该第一子视图层的流量，即同一域内平行的各个层之间共用该域内的所有流量，即各个层之间不互斥，如图3示出的第一子视图层的界面示意图。

在图3中，域1内的层1和层2之间不互斥，层1和层2共用域1的流量。

需要说明的是，对于所述层1和层2的权限设置，预先为所述层1和层2中的实验创建者分配对应的权限，以及为该实验创建者指定的普通用户分配对应的权限，具体权限分配方式可参见上述示例A11中对应的内容，在此不再赘述。

为更好解释说明上述涉及的层1和层2中实验的具体配置信息，以层1为例，通过图4示出的第二子视图层的示意图进行举例说明。

在所述图4中，层1中包含的所有实验的信息为：实验名称、实验运行状态、当前实验流量分配、添加互斥实验选项、实验值、与实验值相关的流量分配和参数值。前述涉及的实验的信息具体内容如下详细说明。

实验名称：创建实验时设置的名称。当接收到用户设备发送的携带有实验名称的编辑请求时，获取该实验名称对应的实验状态并反馈给该用户设备，使该用户设备根据实验状态对该实验执行相应操作。实验状态包括但不仅限于：用于指示实验所有内容可编辑的准备状态，用于指示实验ID不可编辑的其它状态，所述其它状态还指示实验值对应的实验ID和参数ID不可编辑。

需要说明的是，前述涉及的根据实验状态对该实验执行相应操作的用户设备为具有对应权限的用户设备。若用户设备没有操作实验的权限，则该用户设备只能浏览实验对应的实验信息。

实验运行状态：用于指示实验的运行状态，具体包括准备中、运行、暂停、终止和停用实验5个状态，实验运行状态的具体信息如图5示出的实验状态的界面示意图，需要说明的是，图5仅用于举例说明。

具有相应权限的用户设备可以修改实验运行状态，例如：当用户设备选择停用实验时，隐藏该实验对应的第二子视图层。

当前实验流量分配：获取在当前时间下该实验对应的第二子视图层的总流量分配情况，接收用户设备发送的调整流量分配请求，基于调整流量分配请求调整流量分配情况。

进一步的，预设“重新分配用户参与实验”选项，当接收到用户设备发送的重新分配请求，为该用户设备重新分配参与实验的用户。

实验值：第二子视图层内的多个第三子视图层，即所述图2中的层中的多个实验。

为更好解释说明上述涉及的：实验值、与实验值相关的流量分配和参数值，通过图6示出的实验参数的界面示意图进行举例说明。在图6中，层1中的多个实验之间互斥，但所述多个实验之间的流量不互相影响。用户设备可修改每个所述实验中的流量值和参数值。

需要说明的是，若一个实验存在多个参数值，向用户设备显示两条可供修改的参数值，当接收到用户设备发送的修改参数值的请求时，获取用户设备发送的修改后的参数值，并添加至对应位置。进一步的，在每个所述实验中，预设“白名单”选项，接收用户设备发送的添加白名单请求，向所述白名单中添加hdid或uid。

由前述内容可知，第二子视图层中的多个实验互斥，用户设备可向第二子视图层中添加互斥实验。需要说明的是，在向第二子视图层添加互斥实验时，若所述第二子视图层中的所有实验的流量分配超过100％，向用户设备反馈用于指示流量分配超过100％的消息，提示用户设备重新分配流量。

本发明实施例中，接收用户通过输入界面输入的域信息、层信息和实验信息，通过创建实验界面创建多个实验，可同时对多类软件和业务进行实验分析，以便于更好的满足当前软件开发方面的需求。

与上述本发明实施例提供的一种A/B测试界面的设置方法相对应，参见图7，本发明实施例还提供一种A/B测试方法的流程图，所述方法包括以下步骤：

步骤S701：获取用户通过输入界面输入的待执行A/B测试的APP业务的域信息，以及所述域信息包括的层信息，以及所述层信息包括的实验信息。

步骤S702：获取所述待执行A/B测试的APP业务的A/B测试界面。

在具体实现步骤S702的过程中，基于上述涉及的一种A/B测试界面的设置方法，获取所述待执行A/B测试的APP业务的A/B测试界面。

需要说明的是，所述A/B测试界面包括第二视图层、第一子视图层、第二子视图层和第三子视图层，所述第二视图层用于显示所述APP业务和对应所述APP业务的操作指令选项信息，第一子视图层用于显示所述域信息和对应所述域信息的操作指令选项信息，所述第二子视图层用于显示所述层信息和对应所述层信息的操作指令选项信息，所述第三子视图层用于显示所述实验信息和对应所述实验信息的操作指令选项信息。

步骤S703：若获取用户基于所述操作指令选项信息输入的操作指令时，基于所述操作指令执行相应的操作，生成A/B测试结果。

在本发明实施例中，获取用户通过输入界面输入的待执行A/B测试的APP业务的域信息，以及域信息包括的层信息，以及层信息包括的实验信息。利用预先设置的A/B测试界面，基于用户通过操作指令选项信息输入的操作指令执行相应的操作，生成A/B测试结果，可同时对多类软件和业务进行实验分析，以便于更好的满足当前软件开发方面的需求。

需要说明的是，在上述图1-图6示出的A/B测试界面的设置方法的实施例中，界面中各域、各层和各实验中可选的选项均对应各自的操作指令选项信息，在执行的过程中通过选择操作指令选项信息中的信息执行相应的操作。

与上述本发明实施例提供的一种A/B测试界面的设置方法相对应，参见图8，本发明实施例还提供一种A/B测试界面的设置装置的结构框图，所述装置包括：获取模块801、主视图设置模块802、子视图设置模块803和控制模块804。

获取模块801，用于获取A/B测试界面信息，所述A/B测试界面信息包括不同类型的APP标识和不同类型的APP标识对应的操作界面信息，所述操作界面信息包括域信息，层信息和实验信息。

主视图设置模块802，用于基于所述A/B测试界面信息设置可视化实验列表界面的第一视图层和对应所述第一视图层的第一逻辑控制层，所述第一逻辑控制层用于存储对所述第一视图层进行操作的第一操作指令，所述第一视图层用于显示不同类型的APP标识和第一操作指令选项信息，以及在所述第一视图层内设置第二视图层和对应所述第二视图层的第二逻辑控制层，所述第二逻辑控制层用于存储对所述第二视图层进行操作的第二操作指令，所述第二视图层用于显示每一APP对应的操作界面信息和第二操作指令选项信息。

在具体实现中，所述主视图设置模块802还用于：当所述第二视图层获取创建域请求时，基于所述创建域请求在所述第二视图层生成用于显示新域信息的新第一子视图层和对应所述新第一子视图层的新第一子逻辑控制层。

子视图设置模块802，用于在所述第二视图层内设置第一子视图层和对应所述第一子视图层的第一子逻辑控制层，所述第一子逻辑控制层用于存储对所述第一子视图层进行操作的第三操作指令，所述第一子视图层用于显示域信息和第三操作指令选项信息，所述域信息包括所述层信息；以及在所述第一子视图层内设置第二子视图层和对应所述第二子视图层的第二子逻辑控制层，所述第二子逻辑控制层用于存储对所述第二子视图层进行操作的第四操作指令，所述第二子视图层用于显示所述层信息和第四操作指令选项信息，所述层信息包括所述实验信息，以及在所述第二子视图层内设置第三子视图层和对应所述第三子视图层的第三子逻辑控制层，所述第三子视图层的第三子逻辑控制层用于存储对所述第三视图层进行操作的第五操作指令，所述第三子视图层用于显示所述实验信息和第五操作指令选项信息，所述实验信息至少包括实验ID、流量分配信息和实验参数。

在具体实现中，所述子视图设置模块803，还用于当所述第一子视图层获取创建实验请求时，判断所述层信息中是否存在与所述待创建实验互斥的实验；若存在，在用于显示所述层信息的第二子视图层生成新的第三子视图层和对应所述新的第三子视图层的新第三子逻辑控制层；若不存在，基于所述创建实验请求在所述第一子视图层生成新第二子视图层和对应所述新第二子视图层的新第二子逻辑控制层。

控制模块804，用于当所述第一视图层获取APP选择信息时，基于所述第一操作指令触发所述第一视图层选中所述APP选择消息对应的APP标识，以及在第二视图层中的第一子视图层、所述第二子视图层和所述第三子视图层上分别显示所选的APP标识所对应的APP的操作界面信息和操作指令选项信息。

其中，所述第二子视图层使用所属第一子视图层的所有流量，所述第三子视图层分配使用所属第二子视图层的流量。

在本发明实施例中，通过获取的A/B测试界面信息设置可视化实验列表界面的第一视图层、第二视图层、第一子视图层、第二子视图层和第三子视图层；当第一视图层获取APP选择信息时，基于第一操作指令触发第一视图层选中APP选择消息对应的APP标识，以及在第一子视图层、第二子视图层和第三子视图层上分别显示所选的APP标识所对应的APP的操作界面信息和操作指令选项信息。接收用户通过输入界面输入的域信息、层信息和实验信息，利用A/B测试系统界面对前述信息进行实验分析，可同时对多类软件和业务进行实验分析，以便于更好的满足当前软件开发方面的需求。

与上述本发明实施例提供的一种A/B测试方法相对应，参见图9，本发明实施例还提供一种A/B测试装置的结构框图，所述装置包括：获取模块901、测试界面获取模块902和测试模块903。

获取模块901，用于获取用户通过输入界面输入的待执行A/B测试的APP业务的域信息，以及所述域信息包括的层信息，以及所述层信息包括的实验信息。

测试界面获取模块902，用于基于上述本发明实施例涉及的A/B测试界面的设置方法，获取所述待执行A/B测试的APP业务的A/B测试界面，其中，所述A/B测试界面包括第二视图层、第一子视图层、第二子视图层和第三子视图层，所述第二视图层用于显示所述APP业务和对应所述APP业务的操作指令选项信息，第一子视图层用于显示所述域信息和对应所述域信息的操作指令选项信息，所述第二子视图层用于显示所述层信息和对应所述层信息的操作指令选项信息，所述第三子视图层用于显示所述实验信息和对应所述实验信息的操作指令选项信息；

测试模块903，用于若获取用户基于所述操作指令选项信息输入的操作指令时，基于所述操作指令执行相应的操作，生成A/B测试结果。

在本发明实施例中，获取用户通过输入界面输入的待执行A/B测试的APP业务的域信息，以及域信息包括的层信息，以及层信息包括的实验信息。利用预先设置的A/B测试界面，基于用户通过操作指令选项信息输入的操作指令执行相应的操作，生成A/B测试结果，可同时对多类软件和业务进行实验分析，以便于更好的满足当前软件开发方面的需求。

优选的，本发明实施例还提供了一种A/B测试界面的设置设备，包括存储器和处理器；

所述存储器，用于存储A/B测试界面的设置程序。

所述处理器，用于运行所述A/B测试界面的设置程序，其中，所述A/B测试界面的设置程序运行时执行如上述本发明实施例示出的A/B测试界面的设置方法。

优选的，本发明实施例还提供一种A/B测试设备，其特征在于，包括存储器和处理器；

所述存储器，用于存储A/B测试程序。

所述处理器，用于运行所述A/B测试程序，其中，所述A/B测试程序运行时执行如上述本发明实施例示出的A/B测试方法。

优选的，本发明实施例还提供一种存储介质，所述存储介质用于存储A/B测试界面的设置程序，在所述A/B测试界面的设置程序运行时控制所述存储介质所在设备执行如上述本发明实施例示出的A/B测试界面的设置方法；

或者，所述存储介质用于存储A/B测试程序，在所述A/B测试程序运行时控制所述存储介质所在设备执行如上述本发明实施例示出的A/B测试方法。

综上所述，本发明实施例提供一种A/B测试系统界面的设置方法、A/B测试方法及相关设备，通过获取的A/B测试界面信息设置可视化实验列表界面的第一视图层、第二视图层、第一子视图层、第二子视图层和第三子视图层；当第一视图层获取APP选择信息时，基于第一操作指令触发第一视图层选中APP选择消息对应的APP标识，以及在第一子视图层、第二子视图层和第三子视图层上分别显示所选的APP标识所对应的APP的操作界面信息和操作指令选项信息。接收用户通过输入界面输入的域信息、层信息和实验信息，利用A/B测试系统界面对前述信息进行实验分析，可同时对多类软件和业务进行实验分析，以便于更好的满足当前软件开发方面的需求。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种A/B测试界面的设置方法，其特征在于，所述设置方法包括：

获取A/B测试界面信息，所述A/B测试界面信息包括不同类型的APP标识和不同类型的APP标识对应的操作界面信息，所述操作界面信息包括域信息，层信息和实验信息；

基于所述A/B测试界面信息设置可视化实验列表界面的第一视图层和对应所述第一视图层的第一逻辑控制层，所述第一逻辑控制层用于存储对所述第一视图层进行操作的第一操作指令，所述第一视图层用于显示不同类型的APP标识和第一操作指令选项信息；

在所述第一视图层内设置第二视图层和对应所述第二视图层的第二逻辑控制层，所述第二逻辑控制层用于存储对所述第二视图层进行操作的第二操作指令，所述第二视图层用于显示每一APP对应的操作界面信息和第二操作指令选项信息；

在所述第二视图层内设置第一子视图层和对应所述第一子视图层的第一子逻辑控制层，所述第一子逻辑控制层用于存储对所述第一子视图层进行操作的第三操作指令，所述第一子视图层用于显示域信息和第三操作指令选项信息，所述域信息包括所述层信息；

在所述第一子视图层内设置第二子视图层和对应所述第二子视图层的第二子逻辑控制层，所述第二子逻辑控制层用于存储对所述第二子视图层进行操作的第四操作指令，所述第二子视图层用于显示所述层信息和第四操作指令选项信息，所述层信息包括所述实验信息；

在所述第二子视图层内设置第三子视图层和对应所述第三子视图层的第三子逻辑控制层，所述第三子视图层的第三子逻辑控制层用于存储对所述第三视图层进行操作的第五操作指令，所述第三子视图层用于显示所述实验信息和第五操作指令选项信息，所述实验信息至少包括实验ID、流量分配信息和实验参数；

当所述第一视图层获取APP选择信息时，基于所述第一操作指令触发所述第一视图层选中所述APP选择消息对应的APP标识，以及在第二视图层中的第一子视图层、所述第二子视图层和所述第三子视图层上分别显示所选的APP标识所对应的APP的操作界面信息和操作指令选项信息；

其中，所述第二子视图层使用所属第一子视图层的所有流量，所述第三子视图层分配使用所属第二子视图层的流量。

2.根据权利要求1所述的方法，其特征在于，还包括：

当所述第二视图层获取创建域请求时，基于所述创建域请求在所述第二视图层生成用于显示新域信息的新第一子视图层和对应所述新第一子视图层的新第一子逻辑控制层。

3.根据权利要求1所述的方法，其特征在于，还包括：

当所述第一子视图层获取创建实验请求时，判断所述层信息中是否存在与所述待创建实验互斥的实验；

若存在，在用于显示所述层信息的第二子视图层生成新的第三子视图层和对应所述新的第三子视图层的新第三子逻辑控制层；

若不存在，基于所述创建实验请求在所述第一子视图层生成新第二子视图层和对应所述新第二子视图层的新第二子逻辑控制层。

4.一种A/B测试方法，其特征在于，所述A/B测试方法包括：

获取用户通过输入界面输入的待执行A/B测试的APP业务的域信息，以及所述域信息包括的层信息，以及所述层信息包括的实验信息；

基于权利要求1-3中任一项所述的A/B测试界面的设置方法，获取所述待执行A/B测试的APP业务的A/B测试界面，其中，所述A/B测试界面包括第二视图层、第一子视图层、第二子视图层和第三子视图层，所述第二视图层用于显示所述APP业务和对应所述APP业务的操作指令选项信息，第一子视图层用于显示所述域信息和对应所述域信息的操作指令选项信息，所述第二子视图层用于显示所述层信息和对应所述层信息的操作指令选项信息，所述第三子视图层用于显示所述实验信息和对应所述实验信息的操作指令选项信息；

若获取用户基于所述操作指令选项信息输入的操作指令时，基于所述操作指令执行相应的操作，生成A/B测试结果。

5.一种A/B测试界面的设置装置，其特征在于，包括：

获取模块，用于获取A/B测试界面信息，所述A/B测试界面信息包括不同类型的APP标识和不同类型的APP标识对应的操作界面信息，所述操作界面信息包括域信息，层信息和实验信息；

主视图设置模块，用于基于所述A/B测试界面信息设置可视化实验列表界面的第一视图层和对应所述第一视图层的第一逻辑控制层，所述第一逻辑控制层用于存储对所述第一视图层进行操作的第一操作指令，所述第一视图层用于显示不同类型的APP标识和第一操作指令选项信息，以及在所述第一视图层内设置第二视图层和对应所述第二视图层的第二逻辑控制层，所述第二逻辑控制层用于存储对所述第二视图层进行操作的第二操作指令，所述第二视图层用于显示每一APP对应的操作界面信息和第二操作指令选项信息；

子视图设置模块，用于在所述第二视图层内设置第一子视图层和对应所述第一子视图层的第一子逻辑控制层，所述第一子逻辑控制层用于存储对所述第一子视图层进行操作的第三操作指令，所述第一子视图层用于显示域信息和第三操作指令选项信息，所述域信息包括所述层信息；以及在所述第一子视图层内设置第二子视图层和对应所述第二子视图层的第二子逻辑控制层，所述第二子逻辑控制层用于存储对所述第二子视图层进行操作的第四操作指令，所述第二子视图层用于显示所述层信息和第四操作指令选项信息，所述层信息包括所述实验信息，以及在所述第二子视图层内设置第三子视图层和对应所述第三子视图层的第三子逻辑控制层，所述第三子视图层的第三子逻辑控制层用于存储对所述第三视图层进行操作的第五操作指令，所述第三子视图层用于显示所述实验信息和第五操作指令选项信息，所述实验信息至少包括实验ID、流量分配信息和实验参数；

控制模块，用于当所述第一视图层获取APP选择信息时，基于所述第一操作指令触发所述第一视图层选中所述APP选择消息对应的APP标识，以及在第二视图层中的第一子视图层、所述第二子视图层和所述第三子视图层上分别显示所选的APP标识所对应的APP的操作界面信息和操作指令选项信息；

其中，所述第二子视图层使用所属第一子视图层的所有流量，所述第三子视图层分配使用所属第二子视图层的流量。

6.根据权利要求5所述的装置，其特征在于，所述子视图设置模块，还用于当所述第一子视图层获取创建实验请求时，判断所述层信息中是否存在与所述待创建实验互斥的实验；若存在，在用于显示所述层信息的第二子视图层生成新的第三子视图层和对应所述新的第三子视图层的新第三子逻辑控制层；若不存在，基于所述创建实验请求在所述第一子视图层生成新第二子视图层和对应所述新第二子视图层的新第二子逻辑控制层。

7.一种A/B测试装置，其特征在于，包括：

获取模块，用于获取用户通过输入界面输入的待执行A/B测试的APP业务的域信息，以及所述域信息包括的层信息，以及所述层信息包括的实验信息；

测试界面获取模块，用于基于权利要求1-3中任一项所述的A/B测试界面的设置方法，获取所述待执行A/B测试的APP业务的A/B测试界面，其中，所述A/B测试界面包括第二视图层、第一子视图层、第二子视图层和第三子视图层，所述第二视图层用于显示所述APP业务和对应所述APP业务的操作指令选项信息，第一子视图层用于显示所述域信息和对应所述域信息的操作指令选项信息，所述第二子视图层用于显示所述层信息和对应所述层信息的操作指令选项信息，所述第三子视图层用于显示所述实验信息和对应所述实验信息的操作指令选项信息；

测试模块，用于若获取用户基于所述操作指令选项信息输入的操作指令时，基于所述操作指令执行相应的操作，生成A/B测试结果。

8.一种A/B测试界面的设置设备，其特征在于，包括存储器和处理器；

所述存储器，用于存储A/B测试界面的设置程序；

所述处理器，用于运行所述A/B测试界面的设置程序，其中，所述A/B测试界面的设置程序运行时执行如权利要求1-3中任一项所述的A/B测试界面的设置方法。

9.一种A/B测试设备，其特征在于，包括存储器和处理器；

所述存储器，用于存储A/B测试程序；

所述处理器，用于运行所述A/B测试程序，其中，所述A/B测试程序运行时执行如权利要求4中任一项所述的A/B测试方法。

10.一种存储介质，其特征在于，所述存储介质用于存储A/B测试界面的设置程序，在所述A/B测试界面的设置程序运行时控制所述存储介质所在设备执行如权利要求1-3中任一所述的A/B测试界面的设置方法；

或者，所述存储介质用于存储A/B测试程序，在所述A/B测试程序运行时控制所述存储介质所在设备执行如权利要求4所述的A/B测试方法。