CN112181829B

CN112181829B - Ab实验的用户分流方法、装置、终端及介质

Info

Publication number: CN112181829B
Application number: CN202011037945.2A
Authority: CN
Inventors: 陈方毅; 杜炳生
Original assignee: Xiamen Meishao Co ltd
Current assignee: Xiamen Meishao Co ltd
Priority date: 2020-09-28
Filing date: 2020-09-28
Publication date: 2022-09-13
Anticipated expiration: 2040-09-28
Also published as: CN112181829A

Abstract

本申请公开了一种AB实验的用户分流方法、装置、终端及介质。其中方法包括：基于预构建的针对目标应用的多个实验层，确定所选定的目标实验层；依据预设的实验层配置信息，确定部署在目标实验层中的多个实验，以及多个实验各自对应的用户群的用户比例；确定针对目标实验层的目标用户群；依据用户比例对目标用户群进行分配处理，得到多个实验分别对应的用户群。本申请通过实验层配置信息不仅提供了创建实验层的依据，还能够同一业务的多个实验部署至同一实验层，达到同一用户仅参部署在同一实验层的一个实验的目的，以依据各个实验的用户比例来对目标用户群进行分配，达到了充分利用目标用户群进行实验，进而筛选出最佳方案的目的。

Description

AB实验的用户分流方法、装置、终端及介质

技术领域

本申请涉及计算机技术领域，具体涉及一种AB实验的用户分流方法、装置、终端及介质。

背景技术

随着科技的发展，为了符合用户需求，应用程序的迭代越来越频繁。当前的主要是通过大量AB实验，对比结果而得出来的。

相关的AB实验分流主要是按照用户ID的最后一位来划分的，不同尾号进入不同实验。然而采用该方法时，由于用户ID尾号有限，只能进行有限的几个实验，其次尾号分布不够随机，会导致实验互相影响，存在较大的结果误差。

发明内容

为了解决上述至少一个技术问题，本申请提供一种AB实验的用户分流方法、装置、终端及介质。

根据本申请的第一方面，提供了一种AB实验的用户分流方法，该方法包括：

基于预构建的针对目标应用的多个实验层，确定所选定的目标实验层；

依据预设的实验层配置信息，确定部署在目标实验层中的多个实验，以及多个实验各自对应的用户群的用户比例；

确定针对目标实验层的目标用户群；

依据用户比例对目标用户群进行分配处理，得到多个实验分别对应的用户群。

根据本申请的第二方面，提供了一种AB实验的用户分流装置，该装置包括：

目标实验层确定模块，用于基于预构建的针对目标应用的多个实验层，确定所选定的目标实验层；

实验及比例确定模块，用于依据预设的实验层配置信息，确定部署在目标实验层中的多个实验，以及多个实验各自对应的用户群的用户比例；

目标用户群确定模块，用于确定针对目标实验层的目标用户群；

用户分流处理模块，用于依据用户比例对目标用户群进行分配，得到多个实验分别对应的用户群。

根据本申请的第三方面，提供了一种终端，该终端包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时以实现上述AB实验的用户分流方法。

根据本申请的第四方面，提供了一种计算机可读存储介质，该介质存储有计算机可执行指令，该计算机可执行指令用于以执行上述AB实验的用户分流方法。

本申请实施例通过预构建多个实验层来进行分层实验，以在确定出所选定的目标实验层的条件下，依据预设的实验层配置信息，确定部署在目标实验层中的多个实验以及多个实验的用户比例，确定针对目标实验层的目标用户群，从而依据用户比例对目标用户群进行分配处理，从而得到多个实验分别对应的用户群，这种实验层配置信息不仅提供了创建实验层的依据，还能够同一业务的多个实验部署至同一实验层，达到同一用户仅参部署在同一实验层的一个实验的目的，从而在查询到部署至多个实验层分别对应的多个实验以及多个实验各自的用户群的用户比例，并依据用户比例来对目标用户群进行分配，达到了充分利用目标用户群进行实验，进而筛选出最佳方案的目的。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的一种AB实验的用户分流方法的流程示意图；

图2为本申请实施例提供的一种AB实验的用户分流方法中对目标用户群进行分配的流程示意意图；以及

图3为根据本申请实施例提供的一种AB实验的用户分流装置的框图结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。

首先对本申请涉及的几个名词进行介绍和解释：

在本申请实施例中，AB实验是为Web或App界面或流程制作两个(A/B) 或多个(A/B/n)版本，在同一时间维度，分别让组成成分相同(相似)的访客群组(目标人群)随机的访问这些版本，以收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

根据本申请的一个实施例，提供了一种AB实验的用户分流方法，如图1 所示，该方法包括步骤S101至步骤S104。

步骤S101：基于预构建的针对目标应用的多个实验层，确定所选定的目标实验层。

具体地，可以通过预设的用户界面来对多个业务分别对应的实验层进行显示，并在检测到用户的选定操作时，确定所选定的目标实验层。其中，各个实验层针对的业务不同。例如，所选定的目标实验层为针对目标应用的推荐页面的实验。

具体地，可以通过预设的AB实验平台来构建多个实验层。

步骤S102：依据预设的实验层配置信息，确定部署在目标实验层中的多个实验，以及多个实验各自对应的用户群的用户比例。

在本申请实施例中，实验层配置信息一般包括各个实验层分别对应的多个实验，以及分配给各个实验层分别对应的多个实验间的用户比例。

例如，实验层a包括实验1、实验2和实验3，假设实验1、实验2和实验 3间的用户比例为3:3:4，以根据该比例向这三个实验进行用户分配处理。

步骤S103：确定针对目标实验层的目标用户群。

具体地，目标用户群可以为目标应用的全部流量，也可以为目标应用的部分流量。

具体地，各个实验层的用户群可以相同，也可以不同。例如，假设预构建有2个实验层，若目标实验层为第一层，那么目标用户群可以全部作为第二层的用户群，也可以从中选择部分作为第二层的用户群。

步骤S104：依据用户比例对目标用户群进行分配处理，得到多个实验分别对应的用户群。

具体地，可以采用哈希算法以及用户比例将目标用户群分配至多个实验，从而得到多个实验分别对应的实验用户群。

本申请实施例通过预构建多个实验层来进行分层实验，以在确定出所选定的目标实验层的条件下，依据预设的实验层配置信息，确定部署在目标实验层中的多个实验以及多个实验各自对应的用户群的用户比例，确定针对目标实验层的目标用户群，从而依据用户比例对目标用户群进行分配处理，从而得到多个实验分别对应的用户群，这种实验层配置信息不仅提供了创建实验层的依据，还能够同一业务的多个实验部署至同一实验层，达到同一用户仅参部署在同一实验层的一个实验的目的，从而在查询到部署至多个实验层分别对应的多个实验以及多个实验各自的用户群的用户比例，并依据用户利弊来对目标用户群进行分配，达到了充分利用目标用户群进行实验，进而筛选出最佳方案的目的。

在一些实施例中，如图1所示，步骤S103进一步包括：步骤S1031和步骤S1032(图中未示出)。

步骤S1031：若目标实验层为独立实验层，则确定参与目标应用的实验用户群；

步骤S1032：依据实验用户群和预设的针对目标实验层的用户数量，确定针对目标实验层的目标用户群。

具体地，可以通过预设的实验标签来确定实验层的类型。例如，X11表示独立实验层，X21表示非独立实验。

具体地，针对目标实验层的用户数量可以通过实验层配置信息来确定。更具体地，不同实验层的用户数量可以相同，也可以不同。例如，独立实验层1 的用户数量为N1，独立实验层2的用户数量为N2，其中，N1和N2可以相同，也可以不同，在N1和N2可以相同的条件下，可以将参与目标应用的实验用户群作为目标用户群。

本申请实施例通过确定目标实验层的类型，起到了依据参与目标应用的实验用户群，快速确定目标用户群的效果。

在一些实施例中，步骤S1031进一步包括：

确定目标应用的各个在线用户分别对应的用户活跃度；

基于预设的用户活跃度阈值，并依据各个在线用户分别对应的用户活跃度，确定参与目标应用的实验用户群。

在本申请实施例中，用户活跃度用于表征使用目标应用的频率、日均均使用时长等参数。

具体地，可以通过用户ID来查询用户活跃度，即通过预先存储各个用户分别对应的用户活跃度，起到了快速执行步骤S1031的效果。

具体地，可以用户key值来表征用户的在线状态。例如，若某用户的key 值为1，表征该某一用户在线；若某一用户的key值为0，表征该某一用户离线。

本申请实施例通过用户活跃度阈值的设置，来对在线用户进行筛选，使得参与实验的用户能够具有较高的参与性，起到了提高实验的精确度的效果。

在一些实施例中，确定目标应用的各个在线用户分别对应的用户活跃度的步骤，进一步包括：

在目标应用的各个注册用户中，确定多个在线用户；

确定多个在线用户分别对应的用户活跃度。

具体地，可以通过用户ID来确定各个注册用户。

具体地，在线用户一般是根据过去预定时长来确定的。例如，过去一个小时内在线的用户。

在一些实施例中，步骤S103进一步包括：步骤S1033和步骤S1034(图中未示出)。

步骤S1033：若目标实验层为非独立实验层，则确定目标实验层依赖的独立实验层；

步骤S1034：将独立实验层对应的用户群，作为针对目标实验层的目标用户群。

具体地，不同的独立实验层对应的用户群可能相同，也可能不同。例如，独立实验层A对应的用户群是目标应用的全部在线用户的90％，独立实验层B 对应的用户群是目标应用的全部在线用户的80％，因此，同一用户可能既参与独立实验层A的实验，也参与独立实验层B的实验。

例如，假设目标实验层为图2中实验层2，目标实验层为非独立实验层，依赖实验层1(即独立实验层)，实验层1部署有四个实验，分别为实验1、实验2、实验3和实验4，实验层2部署有实验5和实验6两个实验，其中，实验 4并非实验5和实验6依赖的实验。因此，将实验1、实验2和实验3分别对应的用户群来作为目标用户群，并向实验5和实验6进行用户分配，以使目标用户群中40％的用户分配给实验5，目标用户群中60％的用户分配给实验6，保证实验5和实验6分别对应的用户群的用户比例为2:3。

在一些实施例中，在步骤S1034之前，该方法包括：在部署在独立实验层中的多个独立实验中，确定目标实验层依赖的多个目标独立实验；步骤S1034 包括：依据多个目标独立实验分别对应的用户群，确定针对目标实验层的目标用户群。

具体地，可以通过两级依赖标签来确定目标实验层依赖的独立实验层以及在独立实验层中依赖的实验。其中，依赖标签可以用T(xy)进行表示，其中，x 表示依赖的独立实验层，y表示在独立实验层中依赖的实验。

例如，假设目标实验层依赖的独立实验层为实验层1，实验层1中部署有实验a、实验b、实验c、实验d，若y同时包括a、b和c，那么将实验a、实验b、实验c各自对应的用户群，来确定针对目标实验层的目标用户群，即实验d对应的用户并不参与部署在目标实验层的实验。

本申请实施例通过目标独立实验的确定，实现了对依赖的实验对应的用户群进行针对性选择的目的，使得目标用户群的确定更为精确，起到了多维度对用户进行分流的效果。

本申请的又一实施例提供了一种AB实验的用户分流装置，如图3所示，该装置30包括：目标实验层确定模块301、实验及比例确定模块302、目标用户群确定模块303以及用户分流处理模块304。

目标实验层确定模块301，用于基于预构建的针对目标应用的多个实验层，确定所选定的目标实验层；

实验及比例确定模块302，用于依据预设的实验层配置信息，确定部署在目标实验层中的多个实验，以及多个实验各自对应的用户群的用户比例；

目标用户群确定模块303，用于确定针对目标实验层的目标用户群；

用户分流处理模块304，用于依据用户比例对目标用户群进行分配，得到多个实验分别对应的用户群。

进一步地，目标用户群确定模块包括：

实验用户群确定子模块，用于若目标实验层为独立实验层，则确定参与目标应用的实验用户群；

第一目标用户群确定子模块，用于将实验用户群作为针对目标实验层的目标用户群。

进一步地，实验用户群确定子模块包括：

用户活跃度确定单元，用于确定目标应用的各个在线用户分别对应的用户活跃度；

实验用户群确定单元，用于基于预设的用户活跃度阈值，并依据各个在线用户分别对应的用户活跃度，确定参与目标应用的实验用户群。

进一步地，用户活跃度确定单元包括：

在线用户确定子单元，用于在目标应用的各个注册用户中，确定多个在线用户；

活跃确定子单元，用于确定多个在线用户分别对应的用户活跃度。

进一步地，目标用户群确定模块包括：

依赖实验确定子模块，用于若目标实验层为非独立实验层，则确定目标实验层依赖的独立实验层；

第二目标用户群确定子模块，用于将独立实验层对应的用户群，作为针对目标实验层的目标用户群。

进一步地，第二目标用户群确定子模块在将独立实验层对应的用户群，作为针对目标实验层的目标用户群之前，还包括：依赖实验确定单元，用于在部署在独立实验层中的多个独立实验中，确定目标实验层依赖的多个目标独立实验；第二目标用户群确定子模块包括：第二用户群确定单元，用于依据多个目标独立实验分别对应的用户群，确定针对目标实验层的目标用户群。

进一步地，用户分流处理模块包括：

离散处理子模块，用于基于预设的哈希算法，将目标用户群离散分布至预定数量的哈希桶，得到预定数量的哈希桶分别对应的多个用户；

用户分配子模块，用于依据用户比例以及预定数量的哈希桶分别对应的多个用户，确定多个实验分别对应的用户群。

本实施例的AB实验的用户分流装置可执行本申请实施例提供的AB实验的用户分流方法，其实现原理相类似，此处不再赘述。

本申请又一实施例提供了一种终端，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行计算机程序时以实现上述AB实验的用户分流方法。

具体地，处理器可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

具体地，处理器通过总线与存储器连接，总线可包括一通路，以用于传送信息。总线可以是PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。

存储器可以是ROM或可存储静态信息和指令的其他类型的静态存储设备， RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、 CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

可选的，存储器用于存储执行本申请方案的计算机程序的代码，并由处理器来控制执行。处理器用于执行存储器中存储的应用程序代码，以实现上述实施例提供的AB实验的用户分流装置的动作。

本申请又一实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，该计算机可执行指令用于执行上述图1所示的AB实验的用户分流方法。

以上所描述的装置实施例仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、 EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本申请的较佳实施进行了具体说明，但本申请并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.一种AB实验的用户分流方法，其特征在于，包括：

依据预设的实验层配置信息，确定部署在所述目标实验层中的多个实验，以及多个所述实验各自对应的用户群的用户比例；

确定针对所述目标实验层的目标用户群；

依据所述用户比例对所述目标用户群进行分配处理，得到多个所述实验分别对应的用户群；

其中，所述确定针对所述目标实验层的目标用户群的步骤，包括：

若所述目标实验层为非独立实验层，则确定所述目标实验层依赖的所述独立实验层；

将所述独立实验层对应的用户群，作为针对所述目标实验层的所述目标用户群；

在所述将所述独立实验层对应的用户群，作为针对所述目标实验层的所述目标用户群的步骤之前，所述方法还包括：

在部署在所述独立实验层中的多个独立实验中，确定所述目标实验层依赖的多个目标独立实验；

所述将所述独立实验层对应的用户群，作为针对所述目标实验层的所述目标用户群的步骤，包括：

依据多个所述目标独立实验分别对应的用户群，确定针对所述目标实验层的所述目标用户群。

2.根据权利要求1所述的方法，其特征在于，所述确定针对所述目标实验层的目标用户群的步骤，包括：

若所述目标实验层为独立实验层，则确定参与所述目标应用的实验用户群；

依据所述实验用户群和预设的针对所述目标实验层的用户数量，确定针对所述目标实验层的所述目标用户群。

3.根据权利要求2所述的方法，其特征在于，所述确定参与所述目标应用的实验用户群的步骤，包括：

确定所述目标应用的各个在线用户分别对应的用户活跃度；

基于预设的用户活跃度阈值，并依据各个所述在线用户分别对应的用户活跃度，确定参与所述目标应用的实验用户群。

4.根据权利要求3所述的方法，其特征在于，所述确定所述目标应用的各个注册用户分别对应的用户活跃度的步骤，包括：

在所述目标应用的各个所述注册用户中，确定多个所述在线用户；

确定多个所述在线用户分别对应的用户活跃度。

5.根据权利要求1所述的方法，其特征在于，所述依据所述用户比例对所述目标用户群进行分配，得到多个所述实验分别对应的用户群的步骤，包括：

基于预设的哈希算法，将所述目标用户群离散分布至预定数量的哈希桶，得到预定数量的哈希桶分别对应的多个用户；

依据所述用户比例以及预定数量的哈希桶分别对应的多个用户，确定多个所述实验分别对应的用户群。

6.一种AB实验的用户分流装置，其特征在于，包括：

实验及比例确定模块，用于依据预设的实验层配置信息，确定部署在所述目标实验层中的多个实验，以及多个所述实验各自对应的用户群的用户比例；

目标用户群确定模块，用于确定针对所述目标实验层的目标用户群；

用户分流处理模块，用于依据所述用户比例对所述目标用户群进行分配，得到多个所述实验分别对应的用户群；

所述目标用户群确定模块包括：

第二目标用户群确定子模块，用于将独立实验层对应的用户群，作为针对目标实验层的目标用户群；

所述第二目标用户群确定子模块在将独立实验层对应的用户群，作为针对目标实验层的目标用户群之前，还包括：

依赖实验确定单元，用于在部署在独立实验层中的多个独立实验中，确定目标实验层依赖的多个目标独立实验；

所述第二目标用户群确定子模块包括：

第二用户群确定单元，用于依据多个目标独立实验分别对应的用户群，确定针对目标实验层的目标用户群。

7.一种终端，包括：存储器、处理器及存储在该存储器上并可在该处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求 1至5中任一项所述的方法。

8.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1至5中任一项所述的方法。