CN111737143B - 一种网页ab测试故障排查方法及系统 - Google Patents

一种网页ab测试故障排查方法及系统 Download PDF

Info

Publication number
CN111737143B
CN111737143B CN202010689355.1A CN202010689355A CN111737143B CN 111737143 B CN111737143 B CN 111737143B CN 202010689355 A CN202010689355 A CN 202010689355A CN 111737143 B CN111737143 B CN 111737143B
Authority
CN
China
Prior art keywords
test
version
client
user
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010689355.1A
Other languages
English (en)
Other versions
CN111737143A (zh
Inventor
王晔
白冬立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hot Cloud Technology Co ltd
Original Assignee
Beijing Hot Cloud Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hot Cloud Technology Co ltd filed Critical Beijing Hot Cloud Technology Co ltd
Priority to CN202010689355.1A priority Critical patent/CN111737143B/zh
Publication of CN111737143A publication Critical patent/CN111737143A/zh
Application granted granted Critical
Publication of CN111737143B publication Critical patent/CN111737143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/362—Software debugging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种网页AB测试故障排查方法及系统，其中方法包括在试验控制服务器生成预览链接，还包括以下步骤：在客户端浏览器上保存试验用户信息和试验用户身份认证信息；当客户端浏览器进入集成调试模式时，客户端浏览器向试验控制服务器发起请求；试验控制服务器验证试验用户身份认证信息；客户端浏览器将对应的全部试验版本信息拆分成多个单独的试验版本的信息；试验用户选择要进入的测试试验组，将对应的试验版本的信息发送给所述试验控制服务器；试验控制服务器再次验证试验用户身份认证信息，并进行分配；客户端浏览器根据分配到的试验版本的信息进行渲染，试验管理者通过客户端浏览器的检验页面的渲染与交互来检查AB测试试验设计是否正常，在试验开始前排查问题。

Description

一种网页AB测试故障排查方法及系统
技术领域
本发明涉及AB测试的技术领域，特别是一种网页AB测试故障排查方法及系统。
背景技术
AB测试试验平台是一套较为复杂的软件系统，其使用人员往往不是程序员，而是互联网产品、运营、市场营销等业务部门。在使用过程中，往往会遇到各种问题。
现有AB试验系统的用户是设计和实施试验的业务人员。当使用AB试验系统过程中因为试验配置和技术对接等问题而无法按预期流程实施时，就需要技术人员和数据科学家人工介入，检查系统日志和代码，结合AB测试统计学原理，诊断故障。
百度学术在2013年公开了作者为Shariq Hussain、Zhaoshun Wang、IbrahimaKalil Toure和Abdoulaye Dimp 的论文《Web Service Testing Tools: A ComparativeStudy》，该论文的摘要为：随着web服务的使用和采用，服务质量（Quality of Service，QoS）变得越来越重要。近年来，各种各样的工具和技术被用来测量和评估web服务的QoS。现在有一些商业工具和开源工具可用于监视和测试web服务的QoS。这些工具有助于实时网络服务质量的测量和分析，有助于实时网络服务性能的评估。本文描述了三种流行的开源工具，并从特性、可用性、性能和软件需求等方面对它们进行了比较。比较结果将有助于这些工具的采用和使用，也将促进开源web服务测试工具的开发和使用。该文章中提到的工具都是通用web服务的调试工具，不能应用于AB测试系统这样的专用web服务。针对AB测试系统，需要有专门针对AB测试试验管理和实施的故障排查方法和系统。
发明内容
为了解决上述的技术问题，本发明提出的网页AB测试故障排查方法及系统，设计了规范化的故障排查流程和自动化的故障排查相关软件逻辑，帮助业务人员半自动的自主完成故障排查，从而帮助AB试验的实施，达到业务人员最终的业务目标，同时为这些人员提供简单易用的故障排查工具，帮他们快速解决问题。
本发明的第一目的是提供一种网页AB测试故障排查方法，包括在试验控制服务器生成预览链接，还包括以下步骤：
步骤1：在客户端浏览器上保存试验用户信息sample_client_id和试验用户身份认证信息sdk_key；
步骤2：当所述客户端浏览器进入集成调试模式时，所述客户端浏览器向所述试验控制服务器发起请求；
步骤3：所述试验控制服务器验证所述试验用户身份认证信息sdk_key；
步骤4：所述客户端浏览器将对应的全部试验版本信息experiment_ids拆分成多个单独的试验版本的信息experiment_id，一个试验版本的信息experiment_id应对一个试验组和试验版本；
步骤5：试验用户选择要进入的测试试验组，将对应的所述试验版本的信息experiment_id发送给所述试验控制服务器；
步骤6：所述试验控制服务器再次验证所述试验用户身份认证信息sdk_key，并进行分配；
步骤7：所述客户端浏览器根据分配到的所述试验版本的信息experiment_id进行渲染，试验用户通过所述客户端浏览器的检验页面的渲染与交互AB测试来检查试验设计是否正常，若不正常则在试验开始前排查问题。
优选的是，所述试验控制服务器保存各个试验版本的信息experiment_id。
在上述任一方案中优选的是，述步骤3还包括确认是被允许参与试验的试验用户发来的请求。
在上述任一方案中优选的是，所述步骤3还包括检索该试验用户被允许参与的多个试验版本，将对应的全部试验版本信息experiment_ids返回给所述客户端浏览器。
在上述任一方案中优选的是，所述步骤5还包括由试验用户选择进入哪个试验版本进行调试。
在上述任一方案中优选的是，所述步骤6包括以下子步骤：
步骤61：所述试验控制服务器再次验证所述试验用户身份认证信息sdk_key，确认是被允许参加试验的试验用户发来的请求；
步骤62：检索所述试验版本的信息experiment_id，找到对应的测试试验组；
步骤63：将发起请求的所述试验用户信息sample_client_id分配到对应的测试试验组里。。
本发明的第二目的是提供一种网页AB测试故障排查系统，包括客户端浏览器和试验控制服务器，还包括以下模块：
试验管理模块：用于存储所有AB测试的试验版本信息；
试验版本调试模块：用于储存加入测试试验组的用户样本sample_client_ids和测试试验组和正式试验组的对应关系；
试验控制模块：用于储存试验用户身份认证信息sdk_key,每个样本用户对应进入的测试试验版本；
试验数据采集模块：用于采集SDK汇报的试验数据,进行统计计算；
故障排查模块：用于利用客户端浏览器的cookie储存所述试验用户验证信息sdk_key和所述试验用户信息sample_client_id；
所述系统按照如第一目的所述的方法进行网页AB测试故障排查。
优选的是，所述试验版本信息包括版本编号和试验版本配置信息的对应表格。
在上述任一方案中优选的是，所述试验版本调试模块还具有如下功能：
1）响应所述故障排查模块的get_experiments()请求,验证所述试验用户身份认证信息sdk_key，其中，所述get_experiments()请求是客户端的JavascriptSDK向服务器的请求，用于获取试验版本列表；
2）根据所述试验用户信息sample_client_id挑选适配的试验组列表experiment_ids；
3）将对应的测试试验组列表发回所述客户端浏览器；
4）响应所述故障排查模块脚本的force_experiment()请求,再次验证所述试验用户身份认证信息sdk_key，所述force_experiment()请求是客户端的Javascript SDK向服务器的请求，表示客户端要求进入一个试验版本experiment_id做调试；
5）验证客户端请求加入的测试试验组,调用所述试验管理模块将所述试验用户信息sample_client_id对应的试验版本号 debug_experiment_id存入所述试验管理模块。
在上述任一方案中优选的是，试验用户从试验数据统计服务experiment-data中获得每个测试试验组对应的试验数据debug_experiment_result,给试验用户展示，向experiment-force模块发送force_experiment(),强制设备进入指定试验版本,在experiment模块查找试验配置表格experiment_config,根据试验配置执行试验版本的渲染和其他代码逻辑,将试验产生的数据发送回试验数据采集端；其中，experiment-force模块是试验控制服务里的一个模块，用于响应force_experiment()请求，experiment模块是试验控制服务里的主要模块，存储了所有的试验版本的配置。
本发明提出了一种网页AB测试故障排查方法及系统，可以大大提高AB测试试验实施的效率，让互联网产品业务人员可以在没有技术工程师帮助的情况下自助完成试验调试，顺利上线试验和获取数据。
JavascriptSDK是指程序脚本软件开发工具包。
附图说明
图1为按照本发明的网页AB测试故障排查方法的一优选实施例的流程图。
图2为按照本发明的网页AB测试故障排查系统的一优选实施例的模块图。
图3为按照本发明的网页AB测试故障排查方法的一优选实施例的调试界面示意图。
图4为按照本发明的网页AB测试故障排查方法的一优选实施例的工作流程示意图。
图5为按照本发明的网页AB测试故障排查方法的一优选实施例的上报统计数据示意图。
图6为按照本发明的网页AB测试故障排查方法的一优选实施例的试验日志示意图。
图7为按照本发明的网页AB测试故障排查方法的一优选实施例的上报示意图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的阐述。
实施例一
如图1所示，执行步骤100，在试验控制服务器生成预览链接，试验控制服务器保存各个试验版本的信息experiment_id。
执行步骤110，在客户端浏览器上保存试验用户信息sample_client_id和试验用户身份认证信息sdk_key。
执行步骤120，当所述客户端浏览器进入集成调试模式时，所述客户端浏览器向所述试验控制服务器发起请求。
执行步骤130，所述试验控制服务器验证所述试验用户身份认证信息sdk_key，确认是被允许参与试验的试验用户发来的请求；检索该试验用户被允许参与的多个试验版本，将对应的全部试验版本信息experiment_ids返回给所述客户端浏览器。
执行步骤140，所述客户端浏览器将对应的全部试验版本信息experiment_ids拆分成多个单独的试验版本的信息experiment_id，一个试验版本的信息experiment_id应对一个试验组和试验版本。
执行步骤150，试验用户选择要进入的测试试验组，将对应的所述试验版本的信息experiment_id发送给所述试验控制服务器。由试验用户选择进入哪个试验版本进行调试
执行步骤160，所述试验控制服务器再次验证所述试验用户身份认证信息sdk_key，并进行分配。本步骤6以下子步骤：
步骤61：所述试验控制服务器再次验证所述试验用户身份认证信息sdk_key，确认是被允许参加试验的试验用户发来的请求；
步骤62：检索所述试验版本的信息experiment_id，找到对应的测试试验组；
步骤63：将发起请求的所述试验用户信息sample_client_id分配到对应的测试试验组里。
执行步骤170，所述客户端浏览器根据分配到的所述试验版本的信息experiment_id进行渲染，试验管理者通过所述客户端浏览器的检验页面的渲染与交互来检查AB测试试验设计是否正常，若不正常则在试验开始前排查问题。
实施例二
如图2所示，一种网页AB测试故障排查系统，包括客户端浏览器200、试验控制服务器210、试验管理模块220、试验版本调试模块230、试验控制模块240、试验数据采集模块250和故障排查模块260。
试验管理模块220：用于存储所有AB测试的试验版本信息，试验版本信息包括版本编号和试验版本配置信息的对应表格。
试验版本调试模块230：用于储存加入测试试验组的用户样本sample_client_ids和测试试验组和正式试验组的对应关系。试验版本调试模块230还具有如下功能：
1）响应所述故障排查模块的get_experiments()请求,验证所述试验用户身份认证信息sdk_key，其中，所述get_experiments()请求是客户端的JavascriptSDK向服务器的请求，用于获取试验版本列表；
2）根据所述试验用户信息sample_client_id挑选适配的试验组列表experiment_ids；
3）将对应的测试试验组列表发回所述客户端浏览器；
4）响应所述故障排查模块脚本的force_experiment()请求,再次验证所述试验用户身份认证信息sdk_key，所述force_experiment()请求是客户端的Javascript SDK向服务器的请求，表示客户端要求进入一个试验版本experiment_id做调试；
验证客户端请求加入的测试试验组,调用所述试验管理模块将所述试验用户信息sample_client_id对应的试验版本号debug_experiment_id存入所述试验管理模块
试验控制模块240：用于储存试验用户身份认证信息sdk_key,每个样本用户对应进入的测试试验版本；
试验数据采集模块250：用于采集SDK汇报的试验数据,进行统计计算；
故障排查模块260：用于利用客户端浏览器的cookie储存所述试验用户验证信息sdk_key和所述试验用户信息sample_client_id。
试验用户从试验数据统计服务experiment-data中获得每个测试试验组对应的试验数据debug_experiment_result,给试验用户展示，向experiment-force模块发送force_experiment(),强制设备进入指定试验版本,在experiment模块查找试验配置表格experiment_config,根据试验配置执行试验版本的渲染和其他代码逻辑,将试验产生的数据发送回试验数据采集端；其中，experiment-force模块是试验控制服务里的一个模块，用于响应force_experiment()请求，experiment模块是试验控制服务里的主要模块，存储了所有的试验版本的配置。
实施例三
在AB测试试验开始前，允许测试客户端强制进入指定试验版本，通过观察测试机上的试验版本运行是否正常、指标上报是否正常，判断SDK是否正确集成，以及AB版本的配置是否符合试验设计预期。集成调试数据不计入试验数据。
Web/H5试验集成调试如图3所示。
输入参加试验的页面链接（注：可视化、多链接模式不需要），选择“试验版本_1_testdemo1”并点击“点击预览”，就会跳转到正在设置中的试验版本，检查版本是否正确显示，同时检查UV，PV是否加1（注：同一个浏览器在进行集成调试时，每次点击预览，UV，PV均加1）。
同时，当对该页面集成指标的元素进行操作（如点击CTA按钮），相应的指标数据也会发生变化时（如点击指标button_click加1），说明试验版本已经成功集成。
当有多个试验版本时，重复上述操作，确保所有版本都验证正确。
若无法进入测试版本（包括原始版本）或无法正常统计试验数据，可能是集成过程中出现了错误，需修正后重新进行检验。
系统模块包括：
1、试验管理模块experiment-control: 储存所有AB测试试验版本信息,主要包括试验版本编号和试验版本配置信息的对应表格:experiment_id -> experiment_config。
2、试验版本调式模块experiment-force: 储存了加入测试试验组的用户样本sample_client_ids,这些用户都是通过扫码测试的.
另外储存了测试试验组和正式试验组的对应关系debug_experiment_id <->experiment_id。
响应浏览器脚本的get_experiments()请求,验证sdk_key,根据sample_client_id挑选适配的试验组列表experiment_ids.再将对应的测试试验组列表发回客户端浏览器debug_experiment_ids。
响应浏览器脚本的force_experiment()请求,验证sdk_key,验证客户端请求加入的debug_experiment_id,调用experiment模块将sample_client_id -> debug_experiment_id存入experiment。
3、试验控制模块experiment: 储存了用户端SDK验证信息sdk_keys,每个样本用户对应进入的测试试验版本sample_client_id -> debug_experiment_id。
从experiment-control获取试验配置信息,给用户下发experiment_config。
4、试验数据采集端experiment-data: 采集SDK汇报的试验数据,进行统计计算,维护每个试验版本对应的试验数据表格experimend_id -> experiment_result。
5、故障排查模块: 利用浏览器cookie储存试验用户验证信息sdk_key,用户样本信息sample_client_id。
向experiment_force发送get_experiments(sample_client_id, sdk_key),获取该浏览器用户可以参与试验列表debug_experiment_ids,
为debug_experiment_ids中每个debug_experiment_id生成一个测试链接URL,e.g。
展示给客户
客户
最后从experiment-data获得每个测试试验组对应的试验数据debug_experiment_result,给客户展示。
向experiment-force发送force_experiment(),强制设备进入指定试验版本,
从experiment获得experiment_config,根据试验配置执行试验版本的渲染和其他代码逻辑,
将试验产生的数据发送回试验数据采集端。
实施例四
一种网页AB测试故障排查方法的工作流程如图4所示：
1、预览链接(URL)是由试验控制服务器生成，服务端保存各个试验版本的信息experiment_id。
2、客户端浏览器保存了试验用户信息sample_client_id，以及试验用户身份验证信息sdk_key。
3、当客户端浏览器进入集成调试模式时，浏览器向试验控制服务器发起请求get_experiments(sample_client_id, sdk_key)。
4、试验控制服务器验证sdk_key，确认是被允许参加试验的用户发来的请求，然后检索该用户可以参与的各个试验版本，将对应信息返回给客户端浏览器(experiment_ids)。
5、客户端浏览器将experiment_ids分拆成多个experiment_id，每个对应一个试验组和试验版本，由用户选择进入哪个试验版本调试。
6用户选择要进入的测试试验组，将对应的experiment_id发送给所述试验控制服务器 force_experiment(experiment_id, sample_client_id, sdk_key).
7、试验控制服务器验证sdk_key，确认是被允许参加试验的用户发来的请求，然后检索experiment_id，找到对应的测试试验组，将发起请求的试验样本用户sample_client_id分配到对应的测试试验组里。注意测试试验组和正式试验组的试验配置完全一样，但是两组用户互相分开，测试试验组用户产生的试验数据不会干扰正式试验组。
8、将发起请求的试验样本用户sample_client_id分配到对应的测试试验组里。注意测试试验组和正式试验组的试验配置完全一样，但是两组用户互相分开，测试试验组用户产生的试验数据不会干扰正式试验组。
实施例五
一种网页AB测试故障排查系统还包括模拟试验数据模块、试验操作日志和正式试验数据日知查询。
1、模拟试验数据模块
如果客户发现试验页面的事件没有正常上报，怀疑是后台系统问题，可以使用如图5所示的该模拟上报工具进行模拟上报。如果通过模拟能在试验控制台看到数据，或者能在后台数据系统看到数据记录，则证明后台系统不存在问题，应该怀疑试验页面代码问题。
2、试验操作日志
由于客户的账号可能是多人共享的，一个人的误操作可能会影响到另外一个人的试验。为此有必要把操作日志（如图6所示）展示给客户，以便发生这种情况的时候可以尽快定位到问题所在
3、正式试验数据日知查询
如图7所示，该日志查询系统可以根据时间、应用名称、试验名称筛选试验日志，有助于客户进行相关的试验数据问题排查。
为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (9)

1.一种网页AB测试故障排查方法，包括在试验控制服务器生成预览链接，其特征在于，还包括以下步骤：
步骤1：在客户端浏览器上保存试验用户信息sample_client_id和试验用户身份认证信息sdk_key；
步骤2：当所述客户端浏览器进入集成调试模式时，所述客户端浏览器向所述试验控制服务器发起请求；
步骤3：所述试验控制服务器响应故障排查模块的get_experiments()请求,验证所述试验用户身份认证信息sdk_key，其中，所述get_experiments()请求是客户端的JavascriptSDK向服务器的请求，用于获取试验版本列表；根据所述试验用户信息sample_client_id挑选适配的试验组列表experiment_ids，将对应的测试试验组列表发回所述客户端浏览器；
步骤4：所述客户端浏览器将对应的全部试验版本信息experiment_ids拆分成多个单独的试验版本的信息experiment_id，一个试验版本的信息experiment_id应对一个试验组和试验版本；
步骤5：试验用户选择要进入的测试试验组，将对应的所述试验版本的信息experiment_id发送给所述试验控制服务器；
步骤6：所述试验控制服务器响应所述故障排查模块的force_experiment()请求,再次验证所述试验用户身份认证信息sdk_key，并进行分配，所述force_experiment()请求是客户端的JavascriptSDK向服务器的请求，表示客户端要求进入一个试验版本experiment_id做调试；验证客户端请求加入的测试试验组,调用试验管理模块将所述试验用户信息sample_client_id对应的试验版本号debug_experiment_id存入所述试验管理模块；
步骤7：所述客户端浏览器根据分配到的所述试验版本的信息experiment_id进行渲染，试验管理者通过所述客户端浏览器的检验页面的渲染与交互来检查AB测试试验设计是否正常，若不正常则在试验开始前排查问题。
2.如权利要求1所述的网页AB测试故障排查方法，其特征在于，所述试验控制服务器保存各个试验版本的信息experiment_id。
3.如权利要求1所述的网页AB测试故障排查方法，其特征在于，所述步骤3还包括确认是被允许参与试验的试验用户发来的请求。
4.如权利要求3所述的网页AB测试故障排查方法，其特征在于，所述步骤3还包括检索该试验用户被允许参与的多个试验版本，将对应的全部试验版本信息experiment_ids返回给所述客户端浏览器。
5.如权利要求1所述的网页AB测试故障排查方法，其特征在于，所述步骤5还包括由试验用户选择进入哪个试验版本进行调试。
6.如权利要求5所述的网页AB测试故障排查方法，其特征在于，所述步骤6包括以下子步骤：
步骤61：所述试验控制服务器再次验证所述试验用户身份认证信息sdk_key，确认是被允许参加试验的试验用户发来的请求；
步骤62：检索所述试验版本的信息experiment_id，找到对应的测试试验组；
步骤63：将发起请求的所述试验用户信息sample_client_id分配到对应的测试试验组里。
7.一种网页AB测试故障排查系统，包括客户端浏览器和试验控制服务器，其特征在于，还包括以下模块：
试验管理模块：用于存储所有AB测试的试验版本信息；
试验版本调试模块：用于储存加入测试试验组的用户样本sample_client_ids和测试试验组和正式试验组的对应关系；所述试验版本调试模块还具有如下功能：
1)响应所述故障排查模块的get_experiments()请求,验证所述试验用户身份认证信息sdk_key，其中，所述get_experiments()请求是客户端的JavascriptSDK向服务器的请求，用于获取试验版本列表；
2)根据所述试验用户信息sample_client_id挑选适配的试验组列表experiment_ids；
3)将对应的测试试验组列表发回所述客户端浏览器；
4)响应所述故障排查模块的force_experiment()请求,再次验证所述试验用户身份认证信息sdk_key，所述force_experiment()请求是客户端的JavascriptSDK向服务器的请求，表示客户端要求进入一个试验版本experiment_id做调试；
5)验证客户端请求加入的测试试验组,调用所述试验管理模块将所述试验用户信息sample_client_id对应的试验版本号debug_experiment_id存入所述试验管理模块；
试验控制模块：用于储存试验用户身份认证信息sdk_key,每个样本用户对应进入的测试试验版本；
试验数据采集模块：用于采集SDK汇报的试验数据,进行统计计算；
故障排查模块：用于利用客户端浏览器的cookie储存所述试验用户验证信息sdk_key和所述试验用户信息sample_client_id；
所述系统按照如权利要求1所述的方法进行网页AB测试故障排查。
8.如权利要求7所述的网页AB测试故障排查系统，其特征在于，所述试验版本信息包括版本编号和试验版本配置信息的对应表格。
9.如权利要求8所述的网页AB测试故障排查系统，其特征在于，试验用户从试验数据统计服务experiment-data中获得每个测试试验组对应的试验数据debug_experiment_result,给试验用户展示，向experiment-force模块发送force_experiment(),强制设备进入指定试验版本,在experiment模块查找试验配置表格experiment_config,根据试验配置执行试验版本的渲染和其他代码逻辑,将试验产生的数据发送回试验数据采集端；其中，experiment-force模块是试验控制服务里的一个模块，用于响应force_experiment()请求，experiment模块是试验控制服务里的主要模块，存储了所有的试验版本的配置。
CN202010689355.1A 2020-07-17 2020-07-17 一种网页ab测试故障排查方法及系统 Active CN111737143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010689355.1A CN111737143B (zh) 2020-07-17 2020-07-17 一种网页ab测试故障排查方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010689355.1A CN111737143B (zh) 2020-07-17 2020-07-17 一种网页ab测试故障排查方法及系统

Publications (2)

Publication Number Publication Date
CN111737143A CN111737143A (zh) 2020-10-02
CN111737143B true CN111737143B (zh) 2020-12-22

Family

ID=72654817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010689355.1A Active CN111737143B (zh) 2020-07-17 2020-07-17 一种网页ab测试故障排查方法及系统

Country Status (1)

Country Link
CN (1) CN111737143B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434394B (zh) * 2021-06-22 2023-07-21 青岛海尔科技有限公司 软件的异常处理方法及装置、存储介质及电子装置
CN114090441B (zh) * 2021-11-22 2024-05-28 四三九九网络股份有限公司 一种在线ab测试的实现方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947643A (zh) * 2019-03-01 2019-06-28 广州华多网络科技有限公司 一种基于a/b测试的实验方案的配置方法、装置及设备
CN110413512A (zh) * 2019-07-03 2019-11-05 深圳市珍爱捷云信息技术有限公司 Ab测试方法、装置、计算机设备和存储介质
CN110413533A (zh) * 2019-09-03 2019-11-05 江苏满运软件科技有限公司 Ab测试方法、系统、设备及存储介质
US20200104407A1 (en) * 2018-09-28 2020-04-02 Microsoft Technology Licensing, Llc A/b testing using ego network clusters
CN111338607A (zh) * 2020-02-28 2020-06-26 北京奇艺世纪科技有限公司 一种用于测试的业务数据的选择方法、装置及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107665166B (zh) * 2016-07-27 2020-08-14 广州供电局有限公司 信息系统的功能检测方法及系统
US10147424B1 (en) * 2016-10-26 2018-12-04 Intuit Inc. Generating self-support metrics based on paralinguistic information
CN107818046B (zh) * 2017-10-11 2022-03-22 五八有限公司 应用程序页面的a/b测试方法及装置
CN108345539A (zh) * 2018-01-31 2018-07-31 北京云测信息技术有限公司 一种用于进行ab测试的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200104407A1 (en) * 2018-09-28 2020-04-02 Microsoft Technology Licensing, Llc A/b testing using ego network clusters
CN109947643A (zh) * 2019-03-01 2019-06-28 广州华多网络科技有限公司 一种基于a/b测试的实验方案的配置方法、装置及设备
CN110413512A (zh) * 2019-07-03 2019-11-05 深圳市珍爱捷云信息技术有限公司 Ab测试方法、装置、计算机设备和存储介质
CN110413533A (zh) * 2019-09-03 2019-11-05 江苏满运软件科技有限公司 Ab测试方法、系统、设备及存储介质
CN111338607A (zh) * 2020-02-28 2020-06-26 北京奇艺世纪科技有限公司 一种用于测试的业务数据的选择方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AppAdhoc微信小程序 SDK 集成文档;微信小程序;《www.yiyongtong.com/archives/view-5613-1.html》;20180411;全文 *

Also Published As

Publication number Publication date
CN111737143A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
US8688491B1 (en) Testing and error reporting for on-demand software based marketing and sales
CN102122265B (zh) 一种计算机软件测试结果的验证方法及系统
EP2572294B1 (en) System and method for sql performance assurance services
CN111737143B (zh) 一种网页ab测试故障排查方法及系统
US20120297367A1 (en) Testing an application
CN108509344B (zh) 日切跑批测试方法、设备及可读存储介质
KR20070080313A (ko) 클라이언트 단말로 제공되는 서비스 성능 분석 방법 및시스템
US6691259B1 (en) Terminal server data file extraction and analysis application
EP2113874A1 (en) Method and system for monitoring computer-implemented processes
CN110659870A (zh) 业务审核测试方法、装置、设备及存储介质
CN115080389A (zh) 提升指标统计效率的测试系统、方法、设备及存储介质
US20210390010A1 (en) Software Application Diagnostic Aid
CN111930621A (zh) Dns自动化性能测试方法、装置、设备及可读存储介质
CN111382071A (zh) 一种用户行为数据测试方法及系统
CN111737144B (zh) 一种智能设备ab测试故障排查方法及系统
CN111277427A (zh) 一种数据中心网络设备的巡检方法及系统
CN113282496B (zh) 接口自动测试方法、装置、设备及存储介质
CN106855843B (zh) 一种Web系统的性能分析方法和装置
CN114564387A (zh) 一种针对OpenStack云平台的场景式自动化测试方法及系统
CN113138917A (zh) 一种性能测试平台
CN112667669A (zh) 装备维修性测试性的评估方法、装置和计算机设备
Wu et al. Scenario-based software reliability testing and evaluation of complex information systems
Vukovic et al. A Business Software Testing Process-Based Model Design
Pu et al. Load testing for web applications
CN117033052B (zh) 基于模型识别的对象异常诊断方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant