CN117234914A - Ab测试方法及系统 - Google Patents
Ab测试方法及系统 Download PDFInfo
- Publication number
- CN117234914A CN117234914A CN202311189128.2A CN202311189128A CN117234914A CN 117234914 A CN117234914 A CN 117234914A CN 202311189128 A CN202311189128 A CN 202311189128A CN 117234914 A CN117234914 A CN 117234914A
- Authority
- CN
- China
- Prior art keywords
- configuration information
- experiment
- experimental
- task
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010998 test method Methods 0.000 title abstract description 11
- 238000002474 experimental method Methods 0.000 claims abstract description 174
- 238000012360 testing method Methods 0.000 claims abstract description 152
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 28
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003339 best practice Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本申请实施例提供一种AB测试方法，方法包括：获取预先配置的AB实验分组的第一配置信息和若干个AB测试任务的第二配置信息，第一配置信息包括AB实验分组的实验层的配置信息以及每一层实验层的实验组的配置信息，第二配置信息包括AB测试任务与实验组的关联信息；根据第一配置信息将业务流量对应的每一用户在AB实验分组中进行分流，在当前用户分流完成的情形下，获取当前用户所在实验组对应的实验层信息和实验组信息；根据第二配置信息确定与当前用户对应的实验层信息和实验组信息关联的目标AB测试任务；根据目标AB测试任务进行当前用户的测试。本申请实施例提供的AB测试任务，可以提高通过AB测试来寻找最佳策略的过程的效率。
Description
技术领域
本申请涉及测试技术领域，特别涉及一种AB测试方法、系统、计算机设备及存储介质。
背景技术
对于互联网公司而言，用户激励运营是一个重要的业务增长手段，而任务是用户激励运营中常用的工具，如何用尽可能少的资源来覆盖尽可能精准的用户，尽可能地唤起用户的行为，是用户激励运营中最重要的事情。为了寻找到最佳策略，通常采用AB测试来循环不断进行假设、开发、分析的过程。
然而，目前采用AB测试来寻找最佳策略的过程，AB测试中每一个任务都需要单独的开发，使得整个过程的效率比较低下。
发明内容
本申请的目的在于提供一种AB测试方法、系统、计算机设备及存储介质，用于解决目前通过AB测试寻找最佳策略的过程效率低下的技术问题。
本申请实施例的一个方面提供了一种AB测试方法，包括：获取预先配置的AB实验分组的第一配置信息和若干个AB测试任务的第二配置信息，第一配置信息包括AB实验分组的实验层的配置信息以及每一层实验层的实验组的配置信息，第二配置信息包括AB测试任务与实验组的关联信息；根据第一配置信息将业务流量对应的每一用户在AB实验分组中进行分流，在当前用户分流完成的情形下，获取当前用户所在实验组对应的实验层信息和实验组信息；根据第二配置信息确定与当前用户对应的实验层信息和实验组信息关联的目标AB测试任务；根据目标AB测试任务进行当前用户的测试。
可选地，第二配置信息还包括AB测试任务的任务策略的配置信息，任务策略用于配置下发任务的用户条件，根据目标AB测试任务进行当前用户的测试，包括：获取目标AB测试任务对应的任务策略；在当前用户满足任务策略对应的用户条件的情形下，将目标AB测试任务下发给当前用户进行测试。
可选地，根据第一配置信息将业务流量对应的每一用户在AB实验分组中进行分流，包括：从第一层实验层开始，循环以下过程进行当前用户的分流：获取当前实验层的实验层信息；将当前实验层的实验层信息输入至分流软件开发工具包，利用分流软件开发工具包确定当前用户在当前实验层的实验组，获取当前用户当前所在实验组的实验组信息；在当前用户当前所在的实验组存在下层实验层的情况下，将下层实验层作为当前实验层，返回执行获取当前实验层的实验层信息的步骤及之后的步骤；在当前用户当前所在的实验组不存在下层实验层的情况下，结束当前用户的分流过程。
可选地，方法还包括：在第一配置信息和第二配置信息更新的情形下，获取更新的第一配置信息和更新的第二配置信息；根据更新的第一配置信息和更新的第二配置信息、执行根据第一配置信息将业务流量的每一用户在AB实验分组中进行分流，在当前用户分流完成的情形下，获取当前用户所在实验组对应的实验层信息和实验组信息的步骤及之后的步骤。
本申请实施例的一个方面又提供了一种AB测试系统，包括AB实验管理子系统和任务执行子系统；AB实验管理子系统用于配置AB实验分组的第一配置信息和AB测试任务的第二配置信息，将第一配置信息和第二配置信息发送至任务执行子系统，其中，第一配置信息包括AB实验分组的实验层的配置信息以及每一层实验层的实验组的配置信息，第二配置信息包括AB测试任务与实验组的关联信息；任务执行子系统用于接收第一配置信息和第二配置信息，根据第一配置信息将业务流量对应的每一用户在AB实验分组中进行分流，在当前用户分流完成的情形下，获取当前用户所在实验组对应的实验层信息和实验组信息，根据第二配置信息确定与当前用户对应的实验层信息和实验组信息关联的目标AB测试任务，根据目标AB测试任务进行当前用户的测试。
可选地，第二配置信息还包括AB测试任务的任务策略的配置信息，任务策略用于配置下发任务的用户条件，任务执行子系统还用于：获取目标AB测试任务对应的任务策略；在当前用户满足任务策略对应的用户条件的情形下，将目标AB测试任务下发给当前用户进行测试。
可选地，任务执行子系统用于：从第一层实验层开始，循环以下过程进行当前用户的分流；获取当前实验层的实验层信息；将当前实验层的实验层信息输入至分流软件开发工具包，利用分流软件开发工具包确定当前用户在当前实验层的实验组，获取当前用户当前所在实验组的实验组信息；在当前用户当前所在的实验组存在下层实验层的情况下，将下层实验层作为当前实验层，返回执行获取当前实验层的实验层信息的步骤及之后的步骤；在当前用户当前所在的实验组不存在下层实验层的情况下，结束当前用户的分流过程。
可选地，AB实验管理子系统还用于根据输入指令更新第一配置信息和第二配置信息，将更新的第一配置信息和更新的第二配置信息发送至任务执行子系统；任务执行子系统还用于在接收到更新的第一配置信息和更新的第二配置信息的情形下，根据更新的第一配置信息和更新的第二配置信息、执行根据第一配置信息将业务流量对应的用户在AB实验分组中进行分流，在当前用户分流完成的情形下，获取当前用户所在实验组对应的实验层信息和实验组信息的步骤及之后的步骤。
本申请实施例的一个方面又提供了一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时用于实现上述的AB测试方法的步骤。
本申请实施例的一个方面又提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行上述的AB测试方法的步骤。
本申请实施例提供的AB测试方法、系统、计算机设备及存储介质，包括以下优点：
通过获取预先配置的AB实验分组的第一配置信息和AB测试任务的第二配置信息，根据第一配置信息将业务流量对应的每一用户在AB实验分组中进行分流，在当前用户分流完成的情形下，获取当前用户所在实验组对应的实验层信息和实验组信息，根据第二配置信息确定与当前用户对应的实验层信息和实验组信息关联的目标AB测试任务，根据目标AB测试任务进行当前用户的测试，可以通过对任务进行配置来实现任务与AB实验的无缝关联，从而通过配置来实现每一次AB测试过程，避免每次都要重新开发，提高通过AB测试寻找最佳策略的过程的效率。
附图说明
图1示意性示出了本申请实施例的环境架构图；
图2示意性示出了本申请实施例一的AB测试方法的流程图；
图3为AB实验分组的示例图；
图4为实验分组的配置信息的示例图；
图5为图2中步骤S420的子步骤的流程图；
图6为图2中步骤S440的子步骤的流程图；
图7为任务策略的示例图；
图8为图2新增步骤的流程图；
图9为AB测试方法的流程示例图；
图10示意性示出了本申请实施例二的AB测试系统的框图；
图11示意性示出了本申请实施例三的计算机设备的硬件架构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本申请实施例中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
在本申请的描述中，需要理解的是，步骤前的数字标号并不标识执行步骤的前后顺序，仅用于方便描述本申请及区别每一步骤，因此不能理解为对本申请的限制。
下面为本申请涉及的术语解释：
AB：一种随机测试，将两个不同的策略进行假设比较。
任务：通过奖励激励的方式促进用户完成某个行为的手段。
软体开发工具包(Software Development Kit，简称SDK)：指一些被软体工程师用于为特定的软体套件、软体框架、硬体平台及作业系统等建立应用软体的开发工具之集合。
图1示意性示出了本申请实施例的环境架构图，如图所示：
客户端300通过网络200与服务端100相连接，客户端300的测试人员可以输入指令对AB实验分组和AB测试任务进行配置，其中AB实验分组的配置可以包括实验层的配置以及每一层实验层的实验组的配置。AB测试任务的配置可以包括AB测试任务与实验组的关联配置。在配置完成后，服务端100获取配置好的AB实验分组的第一配置信息和AB测试任务的第二配置信息，根据第一配置信息将业务流量对应的每一用户在AB实验分组中进行分流，在当前用户分流完成的情形下，根据第二配置信息获取当前用户所在实验分组对应的实验层信息和实验组信息；获取与当前用户对应的实验层信息和实验组信息关联的目标AB测试任务，根据目标AB测试任务进行当前用户的测试。可选地，AB实验分组和AB测试任务的配置可以设置于服务端100中，客户端300的测试人员可以通过客户端300输入指令来进行相应的配置。可选地，也可以由测试人员在客户端300中完成AB实验分组和AB测试任务的配置后，将相应的配置信息发送至服务端100。
在示例性的实施例中，服务端100可以指数据中心，例如单个房屋，或者分布在不同的地理位置(例如，在几个房屋)。服务端100可以通过一个或多个网络200提供服务。
网络200包括各种网络设备，例如路由器、交换机、多路复用器、集线器、调制解调器、网桥、中继器、防火墙、代理设备和/或类似。网络200可以包括物理链路，例如同轴电缆链路、双绞线电缆链路、光纤链路、它们的组合和/或类似物。网络200可以包括无线链路，例如蜂窝链路、卫星链路、Wi-Fi链路和/或类似物。
客户端300可以包括诸如移动设备、平板设备、膝上型计算机、智能设备(例如智能服装、智能手表、智能眼镜)、虚拟现实耳机、游戏设备、机顶盒、数字流设备、机器人、车载终端、智能电视、电视盒或电子书阅读器。
相关技术中，通过AB测试来寻找最佳策略的过程中，AB测试中的每一个任务都需要单独开发、上线和回收数据，整个过程的效率比较低下。
本申请实施例提供的AB测试方法，可以使AB测试的任务不需要单独开发，提高通过AB测试寻找最佳策略的过程的效率。
以下将通过若干个实施例介绍AB测试方案，为便于理解，下面将以图1中的服务端100为执行主体进行示例性描述。
实施例一
图2示意性示出了本申请实施例一的AB测试方法的流程图，可以包括步骤S410～步骤S440，具体说明如下：
步骤S410，获取预先配置的AB实验分组的第一配置信息和若干个AB测试任务的第二配置信息，第一配置信息包括AB实验分组的实验层的配置信息以及每一层实验层的实验组的配置信息，第二配置信息包括AB测试任务与实验组的关联信息。
具体地，测试人员可以根据业务需要对实验层的层数、每一层包括的实验组进行配置。
请参考图3，其为AB实验分组的示例图。如图所示，实验拆分为三层实验层，每个实验层拆分成若干个实验组。其中，越下层的实验越容易变化，将实验层拆分多层可以减少底层的实验变化对上层的实验的影响。
在配置好AB实验分组后，测试人员可以根据AB策略的需要配置若干个AB测试任务，然后配置每个AB测试任务与某个实验层的实验组相关联。
例如，若AB测试任务为图3实验组exp_a，则可以对相应的实验层和实验组信息进行配置，其具体的配置信息可以如图4所示。
步骤S420，根据第一配置信息将业务流量对应的每一用户在AB实验分组中进行分流，在当前用户分流完成的情形下，获取当前用户所在实验组对应的实验层信息和实验组信息。
可选地，在将业务流量对应的每一用户在AB实验分组中进行分流时，可以直接通过哈希取模来进行分流。
在示例性的实施例中，如图5所示，步骤S420可以是从第一层实验层开始，循环执行图5中的步骤S421～步骤S425来进行当前用户的分流，具体如下：
步骤S421，获取当前实验层的实验层信息。
步骤S422，将当前实验层的实验层信息输入至分流软件开发工具包，利用分流软件开发工具包确定当前用户在当前实验层的实验组，获取当前用户当前所在实验组的实验组信息。
以图3的实验分组为例，例如第一层实验层，则将第一层实验层的key——creative_task_global_prod输入至分流软件开发工具包，分流软件开发工具包再根据实验层的key对应的实验组确定用户当前实验层所在的实验组。在确定用户当前实验层所在的实验组时，分流软件开发工具包可以采用随机哈希函数来确定用户所在的实验组。在确定当前用户所在实验组后，获取当前用户当前所在实验组的实验组信息。例如，若当前用户命中第二层实验层的策略提频组，而策略提频组的实验组信息为automatic，则可以获取到实验组的实验信息为automatic。
步骤S423，判断当前用户当前所在实验组是否存在下层实验层，若是则执行步骤S424，若否则执行步骤S425。
以图3的实验分组为例，若当前用户所在实验组为第二层实验层的运营提频组，则可以确定当前用户当前所在实验组不存在下层实验层；若当前用户所在实验组为第二层实验层的策略提频组，则可以确定当前用户所在实验组存在下层实验层。
步骤S424，将下层实验层作为当前实验层，返回执行步骤S421。
步骤S425，结束当前用户的分流过程。
通过步骤S421～步骤S425，可以确定当前用户最终所在的实验分组，完成当前用户的分流，并可以获取到当前用户所在实验组对应的实验层信息和实验组信息，从而方便根据对应的实验层信息和实验组信息下发相应的AB测试任务。
步骤S430，根据第二配置信息确定与当前用户对应的实验层信息和实验组信息关联的目标AB测试任务。
继续以图3的实验分组为例，若当前用户最终所在的实验组为第三层实验层的策略B组，而根据第二配置信息，策略B组关联的是测试任务A，则可以确定当前用户对应关联的目标AB测试任务为测试任务A。
步骤S440，根据目标AB测试任务进行当前用户的测试。
在确定当前用户的目标AB测试任务后，即可以将目标AB测试任务下发给当前用户进行测试。
在示例性的实施例中，第二配置信息还包括AB测试任务的任务策略的配置信息，其中任务策略用于配置下发任务的用户条件，如图6所示，步骤S440还可以包括步骤S441～步骤S442：
步骤S441，获取目标AB测试任务对应的任务策略。
步骤S442，在所述当前用户满足所述任务策略对应的用户条件的情形下，将所述目标AB测试任务下发给所述当前用户进行测试。
其中任务策略可以用json语法描述，例如可以type字段表示策略的类型，value表示该策略的具体参数。请参考图7，其为任务策略的示例图，如图所示，up_type表示用户类型策略，value下的target_up_type表示用户类型的具体值，其值old表示须满足用户为老用户才能下发该任务。可选地，在当前用户不满足任务策略对应的用户条件的情形下，则不将目标AB测试任务下发给当前用户进行测试。
通过获取目标AB测试任务对应的任务策略，在当前用户满足任务策略对应的用户条件的情形下，将目标AB测试任务下发给当前用户进行测试，可以根据风控或策略需要下发相应的测试任务，提高AB测试任务下发的针对性或灵活性。
本申请实施例提供的AB测试方法，通过获取预先配置的AB实验分组的第一配置信息和AB测试任务的第二配置信息，根据第一配置信息将业务流量对应的每一用户在AB实验分组中进行分流，在当前用户分流完成的情形下，获取当前用户所在实验组对应的实验层信息和实验组信息，根据第二配置信息确定与当前用户对应的实验层信息和实验组信息关联的目标AB测试任务，根据目标AB测试任务进行当前用户的测试，可以通过对任务进行配置来实现任务与AB实验的无缝关联，从而通过配置来实现每一次AB测试过程，避免每次都要重新开发，提高通过AB测试寻找最佳策略的过程的效率。
在示例性的实施例中，如图8所示，AB测试方法还可以包括步骤S510～步骤S520，具体如下：
步骤S510，在第一配置信息和第二配置信息更新的情形下，获取更新的第一配置信息和更新的第二配置信息。
步骤S520，根据更新的第一配置信息和更新的第二配置信息、执行根据第一配置信息将业务流量的每一用户在AB实验分组中进行分流，在当前用户分流完成的情形下，获取当前用户所在实验组对应的实验层信息和实验组信息的步骤及之后的步骤。
具体地，在完成一次AB测试后，测试人员可以根据测试的需要配置下一次AB测试的实验分组和AB测试任务，在更新配置信息后，发送相应指令通知服务端100，服务端100则获取更新的第一配置信息和更新的第二配置信息，再根据更新的第一配置信息和更新的第二配置信息执行步骤S420～步骤S440以及其它的步骤。
本实施例中，通过在第一配置信息和第二配置信息更新的情形下，获取更新的第一配置信息和更新的第二配置信息，根据更新的第一配置信息和更新的第二配置信息执行根据第一配置信息将业务流量的每一用户在AB实验分组中进行分流及其它步骤，可以通过配置信息的更新来进行AB测试的迭代，避免重新开发，提高通过AB测试来寻找最佳策略的过程的效率。
请参考图9，其为AB测试方法的流程示例图。如图所示，其大致流程如下：
1、测试人员根据整体的AB策略确定实验分组；
2、测试人员将整体的AB策略按需配置为多个AB测试任务，每个AB测试任务配置相应的任务策略；
3、测试人员将AB测试任务与实验分组相关联；
4、将所有用户按实验层次顺序依次经过AB分流，一直到对应的实验组没有下层实验组为止，以确定当前用户最终所在的实验组。其中AB分流过程可以使用AB-SDK(分流软件开发工具包)，通过将实验层的key传入AB-SDK，AB-SDK再根据随机哈希函数确定当前用户在当前实验层的实验组，然后返回对应实验组的value数据，在拿到所有的key和value的信息后，将拿到的信息与AB测试任务进行匹配，确定用户对应的AB测试任务。在完成分流后，将用户命中分组情况上报到AB平台。
5、确认当前用户下发的AB测试任务后，根据AB测试任务对应的任务策略执行该任务的筛选策略(如风控及人群要求等)，在确定当前用户满足对应的任务策略的情况下，将AB测试任务下发。
6、在完成上述过程后，整个实验完成上线，后续经过一段时间后，可以通过AB分流表分析各个用户的行为数据进行比对，从而确定多个任务策略中的最佳实践。
实施例二
图10示意性示出了本申请实施例二的AB测试系统600的框图。如图所示，AB测试系统600可以包括AB实验管理子系统610和任务执行子系以620。
AB实验管理子系统610用于配置AB实验分组的第一配置信息和AB测试任务的第二配置信息，将第一配置信息和第二配置信息发送至任务执行子系统620，其中，第一配置信息包括AB实验分组的实验层的配置信息以及每一层实验层的实验组的配置信息，第二配置信息包括AB测试任务与实验组的关联信息；
任务执行子系统620用于接收第一配置信息和第二配置信息，根据第一配置信息将业务流量对应的每一用户在AB实验分组中进行分流，在当前用户分流完成的情形下，获取当前用户所在实验组对应的实验层信息和实验组信息，根据第二配置信息确定与当前用户对应的实验层信息和实验组信息关联的目标AB测试任务，根据目标AB测试任务进行当前用户的测试。
在示例性的实施例中，第二配置信息还包括AB测试任务的任务策略的配置信息，任务策略用于配置下发任务的用户条件，任务执行子系统620还用于：
获取目标AB测试任务对应的任务策略；
在当前用户满足任务策略对应的用户条件的情形下，将目标AB测试任务下发给当前用户进行测试。
在示例性的实施例中，任务执行子系统620用于：
从第一层实验层开始，循环以下过程进行当前用户的分流；
获取当前实验层的实验层信息；
将当前实验层的实验层信息输入至分流软件开发工具包，利用分流软件开发工具包确定当前用户在当前实验层的实验组，获取当前用户当前所在实验组的实验组信息；
在当前用户当前所在的实验组存在下层实验层的情况下，将下层实验层作为当前实验层，返回执行获取当前实验层的实验层信息的步骤及之后的步骤；
在当前用户当前所在的实验组不存在下层实验层的情况下，结束当前用户的分流过程。
在示例性的实施例中，AB实验管理子系统610还用于根据输入指令更新第一配置信息和第二配置信息，将更新的第一配置信息和更新的第二配置信息发送至任务执行子系统620；
任务执行子系统620还用于在接收到更新的第一配置信息和更新的第二配置信息的情形下，根据更新的第一配置信息和更新的第二配置信息、执行根据第一配置信息将业务流量对应的用户在AB实验分组中进行分流，在当前用户分流完成的情形下，获取当前用户所在实验组对应的实验层信息和实验组信息的步骤及之后的步骤。
实施例三
图11示意性示出了根据本申请实施例三的适于AB测试方法的计算机设备700的硬件架构图。计算机设备700可以是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或数据处理的设备。例如，可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)、网关等。如图11所示，计算机设备700至少包括但不限于：可通过系统总线相互通信链接存储器710、处理器720、网络接口730。其中：
存储器710至少包括一种类型的计算机可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器710可以是计算机设备700的内部存储模块，例如该计算机设备700的硬盘或内存。在另一些实施例中，存储器710也可以是计算机设备700的外部存储设备，例如该计算机设备700上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，存储器710还可以既包括计算机设备700的内部存储模块也包括其外部存储设备。本实施例中，存储器710通常用于存储安装于计算机设备700的操作系统和各类应用软件，例如AB测试方法的程序代码等。此外，存储器710还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器720在一些实施例中可以是中央处理器(Central Processing Unit，简称为CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器720通常用于控制计算机设备700的总体操作，例如执行与计算机设备700进行数据交互或者通信相关的控制和处理等。本实施例中，处理器720用于运行存储器710中存储的程序代码或者处理数据。
网络接口730可包括无线网络接口或有线网络接口，该网络接口730通常用于在计算机设备700与其他计算机设备之间建立通信链接。例如，网络接口730用于通过网络将计算机设备700与外部终端相连，在计算机设备700与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通信系统(Global System of Mobile communication，简称为GSM)、宽带码分多址(Wideband CodeDivision Multiple Access，简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图11仅示出了具有部件710-730的计算机设备，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器710中的AB测试方法还可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器720)所执行，以完成本申请实施例。
实施例四
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现实施例中的AB测试方法的步骤。
本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中AB测试方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
显然，本领域的技术人员应该明白，上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请实施例不限制于任何特定的硬件和软件结合。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种AB测试方法，其特征在于，包括：
获取预先配置的AB实验分组的第一配置信息和若干个AB测试任务的第二配置信息，所述第一配置信息包括所述AB实验分组的实验层的配置信息以及每一层所述实验层的实验组的配置信息，所述第二配置信息包括所述AB测试任务与所述实验组的关联信息；
根据所述第一配置信息将业务流量对应的每一用户在所述AB实验分组中进行分流，在当前用户分流完成的情形下，获取所述当前用户所在实验组对应的实验层信息和实验组信息；
根据所述第二配置信息确定与所述当前用户对应的实验层信息和实验组信息关联的目标AB测试任务；
根据所述目标AB测试任务进行当前用户的测试。
2.根据权利要求1所述的AB测试方法，其特征在于，所述第二配置信息还包括所述AB测试任务的任务策略的配置信息，所述任务策略用于配置下发任务的用户条件，所述根据所述目标AB测试任务进行当前用户的测试，包括：
获取所述目标AB测试任务对应的任务策略；
在所述当前用户满足所述任务策略对应的用户条件的情形下，将所述目标AB测试任务下发给所述当前用户进行测试。
3.根据权利要求2所述的AB测试方法，其特征在于，所述根据所述第一配置信息将业务流量对应的每一用户在所述AB实验分组中进行分流，包括：
从第一层实验层开始，循环以下过程进行当前用户的分流：
获取当前实验层的实验层信息；
将所述当前实验层的实验层信息输入至分流软件开发工具包，利用所述分流软件开发工具包确定所述当前用户在所述当前实验层的实验组，获取所述当前用户当前所在实验组的实验组信息；
在所述当前用户当前所在的实验组存在下层实验层的情况下，将下层实验层作为当前实验层，返回执行所述获取当前实验层的实验层信息的步骤及之后的步骤；
在所述当前用户当前所在的实验组不存在下层实验层的情况下，结束所述当前用户的分流过程。
4.根据权利要求1-3任一项所述的AB测试方法，其特征在于，还包括：
在所述第一配置信息和所述第二配置信息更新的情形下，获取更新的第一配置信息和更新的第二配置信息；
根据所述更新的第一配置信息和所述更新的第二配置信息、执行所述根据所述第一配置信息将业务流量的每一用户在所述AB实验分组中进行分流，在当前用户分流完成的情形下，获取所述当前用户所在实验组对应的实验层信息和实验组信息的步骤及之后的步骤。
5.一种AB测试系统，其特征在于，包括AB实验管理子系统和任务执行子系统；
所述AB实验管理子系统用于配置AB实验分组的第一配置信息和AB测试任务的第二配置信息，将所述第一配置信息和所述第二配置信息发送至所述任务执行子系统，其中，所述第一配置信息包括所述AB实验分组的实验层的配置信息以及每一层所述实验层的实验组的配置信息，所述第二配置信息包括AB测试任务与所述实验组的关联信息；
所述任务执行子系统用于接收所述第一配置信息和所述第二配置信息，根据所述第一配置信息将业务流量对应的每一用户在所述AB实验分组中进行分流，在当前用户分流完成的情形下，获取所述当前用户所在实验组对应的实验层信息和实验组信息，根据所述第二配置信息确定与所述当前用户对应的实验层信息和实验组信息关联的目标AB测试任务，根据所述目标AB测试任务进行当前用户的测试。
6.根据权利要求5所述的AB测试系统，其特征在于，所述第二配置信息还包括所述AB测试任务的任务策略的配置信息，所述任务策略用于配置下发任务的用户条件，所述任务执行子系统还用于：
获取所述目标AB测试任务对应的任务策略；
在所述当前用户满足所述任务策略对应的用户条件的情形下，将所述目标AB测试任务下发给所述当前用户进行测试。
7.根据权利要求6所述AB测试系统，其特征在于，所述任务执行子系统用于：
从第一层实验层开始，循环以下过程进行当前用户的分流；
获取当前实验层的实验层信息；
将所述当前实验层的实验层信息输入至分流软件开发工具包，利用所述分流软件开发工具包确定所述当前用户在所述当前实验层的实验组，获取所述当前用户当前所在实验组的实验组信息；
在所述当前用户当前所在的实验组存在下层实验层的情况下，将下层实验层作为当前实验层，返回执行所述获取当前实验层的实验层信息的步骤及之后的步骤；
在所述当前用户当前所在的实验组不存在下层实验层的情况下，结束所述当前用户的分流过程。
8.根据权利要求5-7任一项所述的AB测试系统，其特征在于，所述AB实验管理子系统还用于根据输入指令更新所述第一配置信息和所述第二配置信息，将更新的第一配置信息和更新的第二配置信息发送至所述任务执行子系统；
所述任务执行子系统还用于在接收到所述更新的第一配置信息和所述更新的第二配置信息的情形下，根据所述更新的第一配置信息和所述更新的第二配置信息、执行所述根据所述第一配置信息将业务流量对应的用户在所述AB实验分组中进行分流，在当前用户分流完成的情形下，获取所述当前用户所在实验组对应的实验层信息和实验组信息的步骤及之后的步骤。
9.一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时用于实现权利要求1至4中任一项所述的AB测试方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行权利要求1至4中任一项所述的AB测试方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311189128.2A CN117234914A (zh) | 2023-09-14 | 2023-09-14 | Ab测试方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311189128.2A CN117234914A (zh) | 2023-09-14 | 2023-09-14 | Ab测试方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117234914A true CN117234914A (zh) | 2023-12-15 |
Family
ID=89090543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311189128.2A Pending CN117234914A (zh) | 2023-09-14 | 2023-09-14 | Ab测试方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117234914A (zh) |
-
2023
- 2023-09-14 CN CN202311189128.2A patent/CN117234914A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10225145B2 (en) | Method and device for updating client | |
| CN110830234B (zh) | 一种用户流量分配方法及装置 | |
| CN104133765B (zh) | 网络活动的测试用例发送方法及测试用例服务器 | |
| CN110196804B (zh) | 业务的测试方法和装置、存储介质、电子装置 | |
| CN112154420A (zh) | 自动智能云服务测试工具 | |
| CN112035344A (zh) | 多场景测试方法、装置、设备和计算机可读存储介质 | |
| CN113434293A (zh) | 处理重复请求的方法和装置、存储介质及电子装置 | |
| CN112596768A (zh) | 设备的更新方法和装置、存储介质、电子装置 | |
| EP4142238A1 (en) | Pico base station configuration method and apparatus, and storage medium and electronic apparatus | |
| US20210248056A1 (en) | Method for evaluating application deployment, apparatus, computer program product, and readable medium | |
| CN111832273A (zh) | 目的报文的确定方法及装置、存储介质、电子装置 | |
| CN112804099A (zh) | 参数批量配置方法、装置、计算机设备和可读存储介质 | |
| CN111315026B (zh) | 信道的选择方法、装置、网关及计算机可读存储介质 | |
| CN110971478B (zh) | 云平台服务性能的压测方法、装置及计算设备 | |
| CN111131324A (zh) | 业务系统的登陆方法及装置、存储介质、电子装置 | |
| CN113364820A (zh) | 物联网业务系统的设备管控方法与装置 | |
| CN108647139B (zh) | 系统的测试方法、装置、存储介质及电子装置 | |
| CN116450165A (zh) | 一种快速搭建环境及部署程序的方法、系统、终端及存储介质 | |
| CN117234914A (zh) | Ab测试方法及系统 | |
| CN114090074A (zh) | 运行环境的配置方法和装置、存储介质及电子装置 | |
| CN114285739A (zh) | 一种节点信息批量配置方法、装置、终端及存储介质 | |
| CN114911515A (zh) | 配置管理方法、装置、设备及介质 | |
| CN111385110B (zh) | 网络的管理方法及装置 | |
| CN113934552A (zh) | 功能代码的确定方法及装置、存储介质、电子装置 | |
| CN105812433B (zh) | 一种云适配处理方法、装置、终端及云服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |