CN111737144B - 一种智能设备ab测试故障排查方法及系统 - Google Patents

Abstract

本发明提供一种智能设备AB测试故障排查方法及系统，其中方法包括在试验控制服务器生成试验版本二维码，还包括以下步骤：在智能设备端SDK保存试验用户信息和试验用户身份认证信息；使用SDK调试模块扫描所述试验版本二维码，获取试验版本信息;使用所述SDK调试模块向试验控制服务器发起请求；所述试验控制服务器验证所述试验用户身份认证信息；用户选择要进入的测试试验组，将对应的所述试验版本信息发送给试验控制服务器；所述试验控制服务器将所述测试试验组的数据在UI界面中单独展示；智能设备端SDK根据分配到的所述试验版本的信息进行渲染，试验管理者通过所述智能设备端的渲染与交互来检查AB测试试验设计是否正常，若不正常则在试验开始前排查问题。

Description

一种智能设备AB测试故障排查方法及系统

技术领域

本发明涉及AB测试的技术领域，特别是一种智能设备AB测试故障排查方法及系统。

背景技术

AB测试试验平台是一套较为复杂的软件系统，其使用人员往往不是程序员，而是互联网产品、运营、市场营销等业务部门。在使用过程中，往往会遇到各种问题，如果没有好的排查工具，使用人员会出现茫然无措，不知道如何解决的情况。

现有AB试验系统的用户是设计和实施试验的业务人员。当使用AB试验系统过程中因为试验配置和技术对接等问题而无法按预期流程实施时，就需要技术人员和数据科学家人工介入，检查系统日志和代码，结合AB测试统计学原理，诊断故障。

百度学术在2013年公开了作者为Shariq Hussain、Zhaoshun Wang、IbrahimaKalil Toure和Abdoulaye Dimp 的论文《Web Service Testing Tools: A ComparativeStudy》，该论文的摘要为：随着web服务的使用和采用，服务质量（Quality of Service，QoS）变得越来越重要。近年来，各种各样的工具和技术被用来测量和评估web服务的QoS。现在有一些商业工具和开源工具可用于监视和测试web服务的QoS。这些工具有助于实时网络服务质量的测量和分析，有助于实时网络服务性能的评估。本文描述了三种流行的开源工具，并从特性、可用性、性能和软件需求等方面对它们进行了比较。比较结果将有助于这些工具的采用和使用，也将促进开源web服务测试工具的开发和使用。该文章中提到的工具都是通用web服务的调试工具，不能应用于智能设备的AB测试系统。针对AB测试系统，需要有专门针对AB测试试验管理和实施的故障排查方法和系统。

发明内容

为了解决上述的技术问题，本发明提出的智能设备AB测试故障排查方法及系统，设计了规范化的故障排查流程和自动化的故障排查相关软件逻辑，帮助业务人员半自动的自主完成故障排查，从而帮助AB试验的实施，达到业务人员最终的业务目标，同时为这些人员提供简单易用的故障排查工具，帮他们快速解决问题。

本发明的第一目的是提供一种智能设备AB测试故障排查方法，包括在试验控制服务器生成试验版本二维码，还包括以下步骤：

步骤1：在智能设备端SDK保存试验用户信息sample_client_id和试验用户身份认证信息sdk_key；

步骤2：使用SDK调试模块扫描所述试验版本二维码，获取试验版本信息experiment_id；

步骤3：使用所述SDK调试模块向试验控制服务器发起请求；

步骤4：所述试验控制服务器验证所述试验用户身份认证信息sdk_key；

步骤5：试验用户选择要进入的测试试验组，将对应的所述试验版本信息experiment_id发送给试验控制服务器；

步骤6：所述试验控制服务器将所述测试试验组的数据在UI界面中单独展示；

步骤7：智能设备端SDK根据分配到的所述试验版本的信息experiment_id进行渲染，试验管理者通过所述智能设备端的渲染与交互来检查AB测试试验设计是否正常，若不正常则在试验开始前排查问题。

优选的是，所述步骤2还包括结合所述智能设备端SDK里的所述试验用户信息sample_client_id，和sdk_key，进行所述试验用户的身份认证。

在上述任一方案中优选的是，所述步骤4还包括确认时被允许参加试验的用户发来的请求。

在上述任一方案中优选的是，所述步骤4还包括检索所述试验版本信息experiment_id，找到对应的测试试验组。

在上述任一方案中优选的是，所述步骤4还包括将发起请求的所述试验用户信息sample_client_id分配到对应的测试试验组里。

在上述任一方案中优选的是，所述测试试验组和正式试验组的试验配置完全一样，但是两组试验用户互相分开，所述测试试验组的用户产生的试验数据不会干扰所述正式试验组的试验数据。

在上述任一方案中优选的是，所述步骤6包括以下子步骤：

步骤61：所述试验控制服务器将试验配置experiment_config下发给设备端SDK，进行试验渲染；

步骤62：所述试验控制服务器将试验数据汇报给试验数据采集模块；

步骤63：所述试验数据采集模块将所述测试试验组和所述正式试验组的数据分开。

本发明的第二目的是提供一种智能设备AB测试故障排查系统，包括智能设备端SDK和试验控制服务器，还包括以下模块：

试验管理模块：用于存储所有AB测试的试验版本信息，主要包括试验版本编号和试验版本配置信息的对应表格；

试验版本调试模块：用于储存加入测试试验组的用户样本sample_client_ids和测试试验组和正式试验组的对应关系；

试验控制模块：用于储存试验用户身份认证信息sdk_key,每个样本试验用户对应进入的测试试验版本；

试验数据采集模块：用于采集SDK汇报的试验数据,进行统计计算,维护每个试验版本对应的试验数据表格；

故障排查模块：包括试验故障排查模块和SDK故障排查模块；

所述系统按照如权利要求1所述的方法进行智能设备AB测试故障排查。

优选的是，所述试验故障排查模块包括以下功能：

1）向客户展示一组二维码,每个二维码对应一个试验版本debug_experiment_id；

2）从试验数据模块experiment-data获得每个测试试验组对应的试验数据结果debug_experiment_result,并向客户展示。

在上述任一方案中优选的是，所述SDK故障排查模块包括以下功能：

1）储存试验用户验证信息sdk_key和试验用户样本信息sample_client_id；

2）扫描试验版本二维码,获取对应的试验版本信息experiment_id；

3）向试验控制服务的试验调试服务模块发送force_experiment(experiment_id,sample_client_id, sdk_key) 请求,强制设备进入指定试验版本；

4）从试验控制服务获得试验配置信息experiment_config,根据试验配置执行试验版本的渲染和逻辑；

5）将试验产生的数据发送回试验数据采集端。

本发明提出了一种智能设备AB测试故障排查方法及系统，可以大大提高AB测试试验实施的效率，让互联网产品业务人员可以在没有技术工程师帮助的情况下自助完成试验调试，顺利上线试验和获取数据。

试验用户样本sample_client_ids：试验管理模块里存储了很多试验用户信息sample_client_id，每一个对应一个试验用户样本，这些试验用户信息的集合称为试验用户样本sample_client_ids。

force_experiment(experiment_id,sample_client_id, sdk_key)协议请求：其工作方法为：测试设备扫描二维码之后，向试验服务端发送force_experiment请求，请求进入experiment_id所对应的试验版本。测试设备的身份由sample_client_id确定。sdk_key是校验密码，试验控制服务端用sdk_key来验证force_experiment请求来自真实的用户。

附图说明

图1为按照本发明的智能设备AB测试故障排查方法的一优选实施例的流程图。

图2为按照本发明的智能设备AB测试故障排查系统的一优选实施例的模块图。

图3为按照本发明的智能设备AB测试故障排查方法的一优选实施例的工作流程示意图。

图4为按照本发明的智能设备AB测试故障排查方法的一优选实施例的调试界面示意图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的阐述。

实施例一

如图1所示，执行步骤100，在试验控制服务器生成试验版本二维码。

执行步骤110，在智能设备端SDK保存试验用户信息sample_client_id和试验用户身份认证信息sdk_key。

执行步骤120，使用SDK调试模块扫描所述试验版本二维码，获取试验版本信息experiment_id，结合所述智能设备端SDK里的所述试验用户信息sample_client_id，和sdk_key，进行所述试验用户的身份验证。

执行步骤130，使用所述SDK调试模块向试验控制服务器发起请求。

执行步骤140，所述试验控制服务器验证所述试验用户身份认证信息sdk_key，确认时被允许参加试验的用户发来的请求，将发起请求的所述试验用户信息sample_client_id分配到对应的测试试验组里，所述测试试验组和正式试验组的试验配置完全一样，但是两组用户互相分开，所述测试试验组的用户产生的试验数据不会干扰所述正式试验组的试验数据。

执行步骤150，用户选择要进入的测试试验组，将对应的所述试验版本信息experiment_id发送给试验控制服务器。

执行步骤160，所述试验控制服务器将所述测试试验组的数据在UI界面中单独展示，本步骤包括以下子步骤：步骤61：所述试验控制服务器将试验配置experiment_config下发给智能设备端SDK，进行试验渲染；步骤62：所述试验控制服务器将试验数据汇报给试验数据采集模块；步骤63：所述试验数据采集模块将所述测试试验组和所述正式试验组的数据分开

执行步骤170，智能设备端SDK根据分配到的所述试验版本的信息experiment_id进行渲染，试验管理者通过所述智能设备端的渲染与交互来检查AB测试试验设计是否正常，若不正常则在试验开始前排查问题。实施例二

如图2所示，一种智能设备AB测试故障排查系统，包括智能设备端SDK200、试验控制服务器210、试验管理模块220、试验版本调试模块230、试验控制模块240、试验数据采集模块250和故障排查模块260。

试验管理模块220：用于存储所有AB测试的试验版本信息，试验版本信息包括版本编号和试验版本配置信息的对应表格。

试验版本调试模块230：用于储存加入测试试验组的用户样本sample_client_ids和测试试验组和正式试验组的对应关系。

试验控制模块240：用于储存试验用户身份认证信息sdk_key,每个样本用户对应进入的测试试验版本；

试验数据采集模块250：用于采集SDK汇报的试验数据,进行统计计算,维护每个试验版本对应的试验数据表格；

故障排查模块260：包括试验故障排查模块和SDK故障排查模块。

试验故障排查模块包括以下功能：

1)向客户展示一组二维码,每个二维码对应一个试验版本debug_experiment_id；

2)从试验数据experiment-data获得每个测试试验组对应的试验数据结果debug_experiment_result,并向客户展示。

SDK故障排查模块包括以下功能：

1)储存试验用户验证信息sdk_key和用户样本信息sample_client_id；

2)扫描试验版本二维码,获取对应的试验版本信息experiment_id；

3) 向试验控制服务的experiment-force试验调试服务模块发送force_experiment(experiment_id,sample_client_id, sdk_key)请求,强制设备进入指定试验版本；

4) 从试验控制服务获得试验配置信息experiment_config,根据试验配置执行试验版本的渲染和逻辑；

5)将试验产生的数据发送回试验数据采集端。

实施例三

本软件系统就是试图为这些人员提供简单易用的故障排查工具，帮他们快速解决问题。该软件系统的主要功能和用途是为AB测试平台的使用人员在接入平台过程中，进行调试、故障排查的工具。其主要的技术特点是简单易用，快速定位和排查故障。

1.试验调试系统：

在AB测试试验开始前，允许测试客户端强制进入指定试验版本，通过观察测试机上的试验版本运行是否正常、指标上报是否正常，判断SDK是否正确集成，以及AB版本的配置是否符合试验设计预期。集成调试数据不计入试验数据。

2.Android/iOS集成调试

对于Android集成调试，吆喝科技开发了debug调试工具。用户可通过悬浮窗中扫码按钮扫码强制进入试验环境，验证代码集成是否正确，并提前检测试验版本的效果。相关调试数据将不计入试验结果。（注意，在集成调试之前，请确保试验APP已处于完全退出的状态，即杀死进程）

3.系统模块

3.1试验管理模块experiment-control: 储存所有AB测试实验版本信息,主要包括试验版本编号和试验版本配置信息的对应表格:experiment_id -> experiment_config为每个试验版本experiment_id生成二维码。

3.2试验版本调式模块experiment-force: 储存了加入测试试验组的用户样本sample_client_ids,这些用户都是通过扫码测试的。

另外储存了测试试验组和正式试验组的对应关系debug_experiment_id ->experiment_id。

3.3试验控制模块experiment: 储存了用户端SDK验证信息sdk_keys,每个样本用户对应进入的测试试验版本sample_client_id -> debug_experiment_id。

从experiment-control获取试验配置信息,给用户下发experiment_config。

3.4试验数据采集端experiment-data: 采集SDK汇报的试验数据,进行统计计算,维护每个试验版本对应的试验数据表格experimend_id -> experiment_result。

3.5试验故障排查UI: 向客户展示一组二维码,每个二维码对应一个试验版本debug_experiment_id。

同时从experiment-data获得每个测试试验组对应的试验数据debug_experiment_result,给客户展示。

3.6SDK故障排查模块: 储存试验用户验证信息sdk_key,用户样本信息sample_client_id。可以扫描试验版本二维码,获取对应的experiment_id,向experiment-force发送force_experiment(),强制设备进入指定试验版本,从experiment获得experiment_config,根据试验配置执行试验版本的渲染和其他代码逻辑,将试验产生的数据发送回试验数据采集端。

本发明设计了规范化的故障排查流程和自动化的故障排查相关软件逻辑，帮助业务人员半自动的自助完成故障排查，从而帮助AB试验的实施，达到业务人员最终的业务目标。

实施例四

本发明的工作流程如图3所示。

1.试验版本二维码由试验控制服务器生成，二维码encode了试验版本信息experiment_id。

2.智能设备端SDK保存了试验用户样本信息sample_client_id，以及试验用户身份验证信息sdk_key。

3.SDK DEBUG工具扫描二维码，获取到experiment_id，结合SDK里的sample_client_id。

4.SDK DEBUG工具向试验控制服务端发起请求，force_experiment(experiment_id,experiment_id, sample_client_id, sdk_key)。

5.试验控制服务端验证sdk_key，确认是被允许参加试验的用户发来的请求，然后检索experiment_id，找到对应的测试试验组，将发起请求的试验样本用户sample_client_id分配到对应的测试试验组里。注意测试试验组和正式试验组的试验配置完全一样，但是两组用户互相分开，测试试验组用户产生的试验数据不会干扰正式试验组。

6.试验控制服务端将试验配置experiment_config下发给设备端SDK,进行试验渲染.试验数据汇报给试验数据采集端.试验数据采集端将测试试验组和正式试验组的数据分开,测试试验组的数在UI界面单独展示。

实施例五

本实施例中介绍了具体的实施方法。

如图4所示，进入「调试」页面，可以看到试验版本的二维码。点击集成SDK后的APP，debug按钮进入扫码页面，选择「扫描加入试验（Android）」，扫描“试验版本_1_test1”页面上的二维码成功后，会自动跳回AdhocTester首页，并显示「已经加入试验」，之后打开需要试验的app，即可看到试验版本。

在进入试验版本后，检查UV是否加1（注意：每台独立设备进行集成调试，无论扫码进入多少次试验版本，只算一个UV）

进入app的试验版本后，当对集成指标的元素进行操作，相应的指标数据也会发生变化时，说明试验版本已经集成成功。

若无法进入试验版本(包括原始版本)或无法正常统计试验数据，可能是集成过程中出现了错误，需修正后重新进行检验。

当有多个试验版本时，重复上述操作，确保所有版本都验证正确。

需要说明的是：扫码后，设备会始终停留在该版本，无论试验是否开始，且不受试验流量调整的影响。如果想退出调试模式请点击“退出试验”。

对于iOS下的集成调试，SDK在调试模式下可通过扫码强制进入试验环境，验证代码集成是否正确，并提前检测试验版本的效果。相关调试数据将不计入试验结果。（注意，在集成调试之前，请确保试验APP已处于完全退出的状态，即杀死进程）

在进行试验的iOS应用中点击悬浮按钮，扫描“试验版本1_1_test1”二维码，之后重新启动应用，即可预览该版本，检验版本配置（如果第一次无法进入试验版本，可以再重复一次这个步骤，如果还是不能进入试验版本，请参考错误排查）。关于悬浮按钮的集成请参考SDK集成文档。

在进入试验版本后，检查UV是否加1（注意：每台独立设备进行集成调试，无论扫码进入多少次试验版本，只算一个UV）

进入app的试验版本后，当对集成指标的元素进行操作，相应的指标数据也会发生变化时，说明试验版本已经集成成功。

若无法进入试验版本(包括原始版本)或无法正常统计试验数据，可能是集成过程中出现了错误，需修正后重新进行检验。

当有多个试验版本时，重复上述操作，确保所有版本都验证正确。

需要说明的是：扫码后，设备会始终停留在该版本，无论试验是否开始，且不受试验流量调整的影响。如果想退出调试模式请点击“退出试验”。

本发明可以大大提高AB测试试验实施的效率，让互联网产品业务人员可以在没有技术工程师帮助的情况下自助完成试验调试，顺利上线试验和获取数据。

为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种智能设备AB测试故障排查方法，包括在试验控制服务器生成试验版本二维码，其特征在于，还包括以下步骤：

步骤1：在智能设备端SDK保存试验用户信息sample_client_id和试验用户身份认证信息sdk_key；

步骤2：使用SDK调试模块扫描所述试验版本二维码，获取试验版本信息experiment_id；

步骤3：使用所述SDK调试模块向试验控制服务器发起请求；

步骤4：所述试验控制服务器验证所述试验用户身份认证信息sdk_key；

步骤5：试验用户选择要进入的测试试验组，将对应的所述试验版本信息experiment_id发送给试验控制服务器；所述试验控制服务器储存每个样本用户对应进入的测试试验版本sample_client_id到debug_experiment_id，并储存测试试验组和正式试验组的对应关系debug_experiment_id到experiment_id，从所述试验控制服务器中获取试验配置信息,给用户下发试验配置信息experiment_config；其中，experiment_id为正式实验组，debug_experiment_id为测试试验组；

步骤6：所述试验控制服务器将所述测试试验组的数据在UI界面中单独展示；

步骤7：智能设备端SDK根据分配到的所述试验版本的信息experiment_id进行渲染，试验管理者通过所述智能设备端的渲染与交互来检查AB测试试验设计是否正常，若不正常则在试验开始前排查问题。

2.如权利要求1所述的智能设备AB测试故障排查方法，其特征在于，所述步骤2还包括结合所述智能设备端SDK里的所述试验用户信息sample_client_id，和sdk_key，进行所述试验用户的身份验证。

3.如权利要求1所述的智能设备AB测试故障排查方法，其特征在于，所述步骤4还包括确认是被允许参加试验的用户发来的请求。

4.如权利要求3所述的智能设备AB测试故障排查方法，其特征在于，所述步骤4还包括检索所述试验版本信息experiment_id，找到对应的测试试验组。

5.如权利要求4所述的智能设备AB测试故障排查方法，其特征在于，所述步骤4还包括将发起请求的所述试验用户信息sample_client_id分配到对应的测试试验组里。

6.如权利要求5所述的智能设备AB测试故障排查方法，其特征在于，所述测试试验组和正式试验组的试验配置完全一样，但是两组试验用户互相分开，所述测试试验组的用户产生的试验数据不会干扰所述正式试验组的试验数据。

7.如权利要求6所述的智能设备AB测试故障排查方法，其特征在于，所述步骤6包括以下子步骤：

步骤61：所述试验控制服务器将试验配置experiment_config下发给智能设备端SDK，进行试验渲染；

步骤62：所述试验控制服务器将试验数据汇报给试验数据采集模块；

步骤63：所述试验数据采集模块将所述测试试验组和所述正式试验组的数据分开。

8.一种智能设备AB测试故障排查系统，包括智能设备端SDK和试验控制服务器，其特征在于，还包括以下模块：

试验管理模块：用于存储所有AB测试的试验版本信息，主要包括试验版本编号和试验版本配置信息的对应表格；

试验版本调试模块：用于储存加入测试试验组的用户样本sample_client_ids和测试试验组和正式试验组的对应关系，并储存测试试验组和正式试验组的对应关系debug_experiment_id到experiment_id，其中，experiment_id为正式实验组，debug_experiment_id为测试试验组；

试验控制模块：用于储存试验用户身份认证信息sdk_key,每个样本试验用户对应进入的测试试验版本，并从所述试验控制服务器中获取试验配置信息,给用户下发试验配置信息experiment_config；

试验数据采集模块：用于采集SDK汇报的试验数据,进行统计计算,维护每个试验版本对应的试验数据表格；

故障排查模块：包括试验故障排查模块和SDK故障排查模块；

所述系统按照如权利要求1所述的方法进行智能设备AB测试故障排查。

9.如权利要求8所述的智能设备AB测试故障排查系统，其特征在于，所述试验故障排查模块包括以下功能：

1)向客户展示一组二维码,每个二维码对应一个试验版本debug_experiment_id；

2)从试验数据模块experiment-data获得每个测试试验组对应的试验数据结果debug_experiment_result,并向客户展示。

10.如权利要求8所述的智能设备AB测试故障排查系统，其特征在于，所述SDK故障排查模块包括以下功能：

1)储存试验用户验证信息sdk_key和试验用户样本信息sample_client_id；

2)扫描试验版本二维码,获取对应的试验版本信息experiment_id；

3)向试验控制服务的试验调试服务模块发送force_experiment(experiment_id,sample_client_id,sdk_key)请求,强制设备进入指定试验版本；

4)从试验控制服务获得试验配置信息experiment_config,根据试验配置执行试验版本的渲染和逻辑；

5)将试验产生的数据发送回试验数据采集端。

Images