CN115774679B

CN115774679B - Ab实验回归测试方法、装置和存储介质

Info

Publication number: CN115774679B
Application number: CN202310046164.7A
Authority: CN
Inventors: 潘婧
Original assignee: Shenzhen Yishi Huolala Technology Co Ltd
Current assignee: Shenzhen Yishi Huolala Technology Co Ltd
Priority date: 2023-01-31
Filing date: 2023-01-31
Publication date: 2023-04-28
Anticipated expiration: 2043-01-31
Also published as: CN115774679A

Abstract

本申请公开了AB实验回归测试方法、装置和存储介质。所述方法，包括：步骤1、调用AB配置查询接口，判断目标场景对应的AB实验ID是否启用中；步骤2、若AB实验处于启用状态，则并行执行UI校验流程和接口校验流程；步骤3、若所述UI校验流程和接口校验流程分别输出UI校验通过结果和接口校验通过结果，则输出所述目标场景回归测试通过。通过并行验证UI校验流程和接口校验流程来最终判断当前AB场景（目标场景）回归测试是否通过。本发明的AB实验回归测试方法可以快速对APP中所有AB实验场景进行回归校验，节省人力，有效避免了应用程序中AB场景的漏回归。

Description

AB实验回归测试方法、装置和存储介质

技术领域

本申请涉及互联网技术领域，尤其涉及AB实验回归测试方法、装置和存储介质。

背景技术

在互联网领域，功能应用上线前，常常需要对待上线的功能应用进行用户测试。AB实验测试是一种应用程序(Application，App)的优化方法，可以用于优化第三方应用程序的点击量、转化率等性能指标。现有技术在进行第三方应用程序的优化时，用户根据历史经验确定影响点击量的优化元素，并基于这个优化元素进行AB测试，实现对第三方应用程序的优化。

在产品设计场景中以及业务决策时，为验证某一个产品能力或者策略的效果好坏，通常会将产品的用户随机分成两部分，分别是实验组和对照组，对比两个组的用户表现来进行决策，这就是平时常说的AB实验（又称为受控实验（Controlled Experiment）或者对照实验）。

因APP迭代更新频繁，每次迭代发布中大部分需求均含有AB实验，且有些AB实验验证周期比较长，这会导致后面的迭代需求中，在设计或测试回归时均需要考虑对当前场景涉及到某些功能点的AB实验进行回归。随着迭代更新次数变多，APP中存在AB实验也会越来越多，要确保版本发布前将APP中每个AB实验都回归确认，是极其耗时耗力的一项任务。

发明内容

本申请主要解决随着迭代更新次数变多，APP中存在AB实验也会越来越多，要确保版本发布前将APP中每个AB实验都回归确认效率较低的技术问题，提供AB实验回归测试方法、装置和存储介质。

为解决上述技术问题，本申请采用的一个技术方案是：提供AB实验回归测试方法，所述方法包括：

步骤1、调用AB配置查询接口，判断目标场景对应的AB实验ID是否启用中；

步骤2、若AB实验处于启用状态，则并行执行UI校验流程和接口校验流程；

步骤3、若所述UI校验流程和接口校验流程分别输出UI校验通过结果和接口校验通过结果，则输出所述目标场景回归测试通过。

其中，所述步骤1、调用AB配置查询接口，判断目标场景对应的AB实验ID是否启用中的步骤之前，所述方法还包括：

调用AB配置接口，配置实验组用户账户和对照组用户账户;

在目标场景正常测试AB实验时，录制UI校验流程，保存场景接口请求参数和UI测试返回值和UI对照返回值。

其中，所述UI校验流程包括：

使用测试组ID执行UI自动化脚本；返回所述UI测试返回值；

使用对照组ID执行UI自动化脚本，返回所述UI对照返回值；

根据所述UI测试返回值和UI对照返回值判断各自当前页面的元素是否有变化；

若无变化则输出UI校验通过结果。

其中，所述录制UI校验流程的步骤包括：

使用实验组用户账户和对照组用户账户执行目标场景时，会触发对应的实验组UI和对照组UI，此时进行UI自动化脚本录制并保存。

其中，所述接口校验流程包括：

使用测试组ID执行场景接口请求参数，获取校验接口实际返回值；

对照组ID执行场景接口请求参数，获取目标返回值；

校验接口实际返回值和目标返回值是否一致；

若一致则输出接口校验通过结果。

其中，所述方法还包括：

步骤4、选择全部所述目标场景加入执行所述步骤1至步骤3，以实现自动化回归应用程序中所有AB实验。

其中，所述方法还包括：

若所述UI校验流程失败，则返回UI校验失败原因信息。

其中，所述方法还包括：

若所述接口校验流程失败，则返回接口校验失败原因信息。

为解决上述技术问题，本申请采用的另一个技术方案是：AB实验回归测试装置，所述装置包括：

调用判断模块，用于调用AB配置查询接口，判断目标场景对应的AB实验ID是否启用中；

执行模块，用于若AB实验处于启用状态，则并行执行UI校验流程和接口校验流程；

输出模块，用于若所述UI校验流程和接口校验流程分别输出UI校验通过结果和接口校验通过结果，则输出所述目标场景回归测试通过。

为解决上述技术问题，本申请采用的另一个技术方案是：计算机可读存储介质，所述计算机可读存储介质中存储有程序数据，所述程序数据在被处理器执行时，用于执行所述程序数据以实现上述的方法。

本申请实施例的有益效果是：区别于现有技术，本申请提供AB实验回归测试方法，包括：步骤1、调用AB配置查询接口，判断目标场景对应的AB实验ID是否启用中；步骤2、若AB实验处于启用状态，则并行执行UI校验流程和接口校验流程；步骤3、若所述UI校验流程和接口校验流程分别输出UI校验通过结果和接口校验通过结果，则输出所述目标场景回归测试通过。通过并行验证UI校验流程和接口校验流程来最终判断当前AB场景（目标场景）回归测试是否通过。本发明的AB实验回归测试方法可以快速对APP中所有AB实验场景进行回归校验，节省人力，有效避免了应用程序中AB场景的漏回归。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的AB实验回归测试方法一实施例的流程图；

图2是本申请提供的AB实验回归测试方法另一实施例的部分流程图；

图3是本申请提供的AB实验回归测试方法又一实施例的部分流程图；

图4是本申请提供的AB实验回归测试方法再一实施例的流程图；

图5是本申请提供的AB实验回归测试装置一实施例的结构框图；

图6是本申请提供的计算机可读存储介质一实施例的结构框图。

实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明实施例提供AB实验回归测试方法，如图1所示，所述方法包括：

进一步地，在所述步骤1、调用AB配置查询接口，判断目标场景对应的AB实验ID是否启用中的步骤之前，所述方法还包括：

调用AB配置接口，配置实验组用户账户和对照组用户账户;

参阅图2，图2是本发明提供的AB实验回归测试方法实施例的场景正常测试时的流程图。具体地，如图2所示，调用AB配置接口，将用户账号uid=001配置为命中实验组，用户uid=002配置为命中对照组（账号也是自动生成）

在场景正常测试时，录制UI自动化脚本，保存接口请求参数和返回值。

使用不同的用户账户（001，002）执行场景时，会触发对应的实验组和对照组UI，此时进行UI自动化脚本录制并保存（其中脚本中的用户账号使用参数化形式保存）；

同时在场景执行时，用户账号（001，002）分别返回实验组和对照组的场景接口返回，此时将请求参数（req）和返回值(t-res)保存（其中接口请求参数中的用户账号使用参数化形式保存），用于后续mock和接口执行。

参阅图3，图3是本发明提供的AB实验回归测试方法实施例的场景回归测试时的流程图。在一些实施例中，如图3所示，在目标场景回归测试时，根据UI校验结果、接口校验结果，判断最终AB回归结果。

调用AB配置查询接口，判断当前场景（目标场景）对应的实验（AB_id）是否仍启用中；

如果AB实验仍是启用状态，则并行执行UI自动化脚本和接口自动化脚本，获取UI元素校验结果和接口校验结果。

进一步地，所述UI校验流程包括：

使用测试组ID执行UI自动化脚本；返回所述UI测试返回值；

使用对照组ID执行UI自动化脚本，返回所述UI对照返回值；

若无变化则输出UI校验通过结果。

在一些实施例中，所述录制UI校验流程的步骤包括：

其中，使用不同的用户账号（001，002）登录App，并执行之前录制的UI自动化脚本，后端接口走mock返回，根据不同的账号返回已保存的返回值t-res，这时主要根据场景接口的返回值判断实验组和对照组各自当前页面的元素是否有变化。

在一些实施例中，所述接口校验流程包括：

对照组ID执行场景接口请求参数，获取目标返回值；

校验接口实际返回值和目标返回值是否一致；

若一致则输出接口校验通过结果。

其中，接口请求参数根据传入不同的用户账号（001，002），可以分别获取实验组和对照组下的场景接口返回r-res，此时校验接口实际返回值r-res和目标返回值t-res是否一致。

如果UI校验和接口校验均通过，则此目标场景的AB实验回归测试通过，否则返回具体失败的原因。

进一步地，所述方法还包括：若所述UI校验流程失败，则返回UI校验失败原因信息。

进一步地，所述方法还包括：若所述接口校验流程失败，则返回接口校验失败原因信息。

在一些实施例中，如图4所示，所述方法还包括：

对于要自动化回归APP中所有AB实验时，只需批量选择所有已保存的AB场景加入执行回归即可。

现有技术中，因APP迭代更新频繁，每次迭代发布中大部分需求均含有AB实验，且有些AB实验验证周期比较长，这会导致后面的迭代需求中，在设计或测试回归时均需要考虑对当前场景涉及到某些功能点的AB实验进行回归。比如APP首页“车型选择”有实验组和对照组两种样式，当后面有需求要求新增一种车型时，那么就需要在实验组和对照组两种样式上均考虑到。随着迭代更新次数变多，APP中存在AB实验也会越来越多，要确保版本发布前将APP中每个AB实验都回归确认，是极其耗时耗力的一项任务。

在后面有需求要求新增一种车型时，如新增车型X，此时目标场景为“车型选择”场景，套用本发明实施例提供AB实验回归测试方法则：

调用AB配置查询接口，判断“车型选择”场景对应的AB实验ID是否启用中；

若AB实验处于启用状态，“车型选择”有实验组和对照组两种样式，则并行执行实验组和对照组的UI校验流程和接口校验流程；

步骤3、若所述UI校验流程和接口校验流程分别输出UI校验通过结果和接口校验通过结果，则输出所述“车型选择”场景回归测试通过。

本发明实施例提供AB实验回归测试方法，具体是移动端AB实验自动化回归测试方法，通过验证页面元素和验证接口返回值（并行验证）来最终判断当前AB场景回归测试是否通过。在对APP中历史实验进行回归时，只需一键批量执行指定的AB实验场景即可。执行场景时会同时执行已保存的UI自动化测试脚本（通过mock返回）、接口请求脚本，再分别根据UI校验结果和接口校验结果判断当前场景的AB实验测试回归是否通过。该方法可以快速对APP中所有AB实验场景进行回归校验，节省人力，有效避免了移动端中AB场景的漏回归。

本发明实施例还提供AB实验回归测试装置100，如图5所示，所述装置包括：

调用判断模块101，用于调用AB配置查询接口，判断目标场景对应的AB实验ID是否启用中；

执行模块102，用于若AB实验处于启用状态，则并行执行UI校验流程和接口校验流程；

输出模块103，用于若所述UI校验流程和接口校验流程分别输出UI校验通过结果和接口校验通过结果，则输出所述目标场景回归测试通过。

需要说明的是，本申请方法实施例与装置实施例具有相同的发明构思，具体的技术特征在此不再一一阐述，均可引入本实施例中。

本发明实施例提供AB实验回归测试装置100，通过并行验证UI校验流程和接口校验流程来最终判断当前AB场景（目标场景）回归测试是否通过。本发明的AB实验回归测试方法可以快速对APP中所有AB实验场景进行回归校验，节省人力，有效避免了应用程序中AB场景的漏回归。

参阅图6，图6是本申请提供的计算机存储介质一实施例的结构示意图，该计算机可读存储介质700中存储有程序数据701，程序数据701在被处理器执行时，用于执行如下方法：

AB实验回归测试方法，所述方法包括：

本发明实施例提供AB实验回归测试方法，通过并行验证UI校验流程和接口校验流程来最终判断当前AB场景（目标场景）回归测试是否通过。本发明的AB实验回归测试方法可以快速对APP中所有AB实验场景进行回归校验，节省人力，有效避免了应用程序中AB场景的漏回归。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法、设备以及系统，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是根据本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims

1. AB实验回归测试方法，其特征在于，所述方法包括：

步骤3、若所述UI校验流程和接口校验流程分别输出UI校验通过结果和接口校验通过结果，则输出所述目标场景回归测试通过；

步骤4、选择全部所述目标场景加入执行所述步骤1至步骤3，以实现自动化回归应用程序中所有AB实验；

所述步骤1之前，所述方法还包括：

调用AB配置接口，配置实验组用户账户和对照组用户账户;

在目标场景正常测试AB实验时，录制UI校验流程，保存场景接口请求参数和UI测试返回值和UI对照返回值；

所述录制UI校验流程的步骤包括：

使用实验组用户账户和对照组用户账户执行目标场景时，触发对应的实验组UI和对照组UI进行UI自动化脚本录制并保存UI自动化脚本；

所述UI校验流程包括：

使用测试组ID执行之前录制的UI自动化脚本，返回已保存的所述UI测试返回值；使用对照组ID执行之前录制的UI自动化脚本，返回已保存的所述UI对照返回值；

根据所述UI测试返回值和UI对照返回值判断测试组ID和对照组ID执行之前录制的UI自动化脚本后当前页面的元素是否有变化；

若无变化则输出UI校验通过结果；

所述接口校验流程包括：

分别使用测试组ID和对照组ID执行已保存的场景接口请求参数，获取测试组ID和对照组ID的场景接口实际返回值；

校验测试组ID的场景接口实际返回值和所述UI测试返回值是否一致，校验对照组ID的场景接口实际返回值和所述UI对照返回值是否一致；

若一致则输出接口校验通过结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述UI校验流程失败，则返回UI校验失败原因信息。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述接口校验流程失败，则返回接口校验失败原因信息。

4.计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序数据，所述程序数据在被处理器执行时，用于执行所述程序数据以实现权利要求1-3任一项所述的方法。