CN105262636A - 一种在线测试系统和方法 - Google Patents
一种在线测试系统和方法 Download PDFInfo
- Publication number
- CN105262636A CN105262636A CN201510565632.7A CN201510565632A CN105262636A CN 105262636 A CN105262636 A CN 105262636A CN 201510565632 A CN201510565632 A CN 201510565632A CN 105262636 A CN105262636 A CN 105262636A
- Authority
- CN
- China
- Prior art keywords
- version
- access
- user
- data
- data analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
一种在线测试系统和方法，包括：服务器、前端调度器、监控模块、数据分析模块；本发明同时设计多个版本，针对不同用户访问随机测试不同版本，以便搜集各个版本的用户数据进行对比，从而更快速、更全面的对用户行为进行分析。在产品发布过程中，通过前端调度器以流量递增的方式向少量用户逐步开放新产品，这过程中，通过对运行记录的实时监控，第一时间发现可能存在的问题，从而使得产品可能存在的质量问题，在造成大规模用户影响之前，得到最后的修复机会。
Description
技术领域
本发明涉及互联网领域，尤其涉及一种产品发布前的在线测试系统。
背景技术
在快速变化的互联网世界，产品的研发上线速度往往决定产品成败，甚至关系到公司的未来发展，而测试环节对于产品质量和后续改进就显得至关重要。测试贯穿于产品的研发、上线、运营的整个生命周期之中。通常，研发阶段包括了更为严谨的测试流程，而上线、运营阶段则缺乏对代码质量的必要数据支持。
A/B测试，是一种新兴的网页优化方法，可以用于增加转化率、注册率等网页指标。使用A/B测试首先需要建立一个测试页面（variationpage），这个页面可能在标题字体，背景颜色，措辞等方面与原有页面（controlpage）有所不同，然后将这两个页面以随机的方式同时推送给所有浏览用户。接下来分别统计两个页面的用户转化率，即可清晰的了解到两种设计的优劣。传统的A/B解决了A、B两个不同版本的用户喜欢程度问题。
发明内容
本发明的目的是提供一种在线测试系统，通过对全线发布前的不同版本进行测试，在全线发布前修复可能存在的问题。
本发明的第一个目的是提供一种在线测试系统，包括：
服务器，在服务器中设置有多个需要测试的版本的代码，各版本完整且可独立运行。
前端调度器，用于流量引导，使得少部分用户访问新版本，多数用户仍然访问老版本。
监控模块，用于对每个版本的运行进行实时监控，记录访问数据。
数据分析模块，用于分析每个版本的访问数据。
上述的一种在线测试系统，其中，数据分析模块采用谷歌的数据分析系统。
本发明的第二个目的是提供一种在线测试方法，通过上述的一种在线测试系统完成，至少包括以下步骤：
（1）通过发布系统，将多个需要测试的版本的代码发布到不同的目录；
（2）用户第一次访问，设置其中一个版本为默认版本，默认将前端调度器的根目录，定位到默认版本；
（3）使用统一入口页面，在页面中配置每个版本的权重；
（4）通过配置的权重，获取当前用户访问的版本号；
（5）将本次获得的版本号写入cookie中，后续访问，都会固定到cookie标示的版本；
（6）通过配置cookie的生存期来设定测试周期；
（7）用户第二次及后续访问，前端调度器判断cookie中存在版本号，则固定访问到这个版本；
（8）监控模块实时监控用户访问行为，记录访问数据；
（9）数据分析模块分析每个版本的访问数据；
（10）通过分析出的不同版本的错误日志，在全线发布前修复可能存在的问题。
上述的一种在线测试方法，其中，所述步骤（8）还包括：在每个版本中分别设置不同的统计代码，所有客户的访问数据统一到每个版本的统计代码。
综上所述，本发明同时设计多个版本，针对不同用户访问随机测试不同版本，以便搜集各个版本的用户数据进行对比，从而更快速、更全面的对用户行为进行分析。
在产品发布过程中，通过前端调度器以流量递增的方式向少量用户逐步开放新产品，这过程中，通过对运行记录的实时监控，第一时间发现可能存在的问题，从而使得产品可能存在的质量问题，在造成大规模用户影响之前，得到最后的修复机会。
附图说明
图1是本发明一种在线测试系统和方法的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作详细介绍。
请参见图1，本发明提供了一种在线测试系统，包括：
服务器，在服务器中设置有多个需要测试的版本的代码。
前端调度器，用于流量引导，使得少部分用户访问新版本，多数用户仍然访问老版本。
监控模块，用于对每个版本的运行进行实时监控，记录访问数据。
数据分析模块，用于分析每个版本的访问数据，数据分析模块可采用谷歌的数据分析系统。
本发明在服务器端同时部署多个版本的代码，各版本完整且可独立运行，在新的代码版本上线后，用户并不会立即访问的新的代码版本。随后通过前端调度器进行流量引导，使得少部分用户访问新版本，多数用户仍然访问老版本，最终所有用户的访问均被导线新的版本进行访问。
本发明提供的一种在线测试方法，通过上述的线测试系统完成，至少包括以下步骤：
（1）通过发布系统，将多个需要测试的版本的代码发布到不同的目录。
（2）用户第一次访问，设置其中一个版本为默认版本，默认将前端调度器的根目录，定位到默认版本。
（3）使用统一入口页面，在页面中配置每个版本的权重；例如，A、B、C三个版本，版本A的权重为10%、版本B的权重为20%、版本C的权重为70%。
（4）通过配置的权重，获取当前用户访问的版本号。
（5）将本次获得的版本号写入cookie中，后续访问，都会固定到cookie标示的版本。
（6）通过配置cookie的生存期来设定测试周期。
（7）用户第二次及后续访问，前端调度器判断cookie中存在版本号，则固定访问到这个版本。
（8）在每个版本中分别设置不同的统计代码，监控模块实时监控用户访问行为，记录访问数据，所有客户的访问数据统一到每个版本的统计代码。
（9）数据分析模块分析每个版本的访问数据。
（10）通过分析出的不同版本的错误日志，在全线发布前修复可能存在的问题。
本发明同时设计多个版本，针对不同用户访问随机测试不同版本，以便搜集各个版本的用户数据进行对比，从而更快速、更全面的对用户行为进行分析。
在产品发布过程中，通过前端调度器以流量递增的方式向少量用户逐步开放新产品，这过程中，通过对运行记录的实时监控，第一时间发现可能存在的问题，从而使得产品可能存在的质量问题，在造成大规模用户影响之前，得到最后的修复机会。
以上所述的实施例仅用于说明本专利的技术思想及特点，其目的在于使本领域内的技术人员能够了解本专利的内容并据以实施，不能仅以本实施例来限定本专利的专利范围，即凡依本专利所揭示的精神所作的同等变化或修饰，仍落在本专利的专利范围内。
Claims (4)
1.一种在线测试系统，其特征在于，包括：
服务器，在服务器中设置有多个需要测试的版本的代码，各版本完整且可独立运行；
前端调度器，用于流量引导，使得少部分用户访问新版本，多数用户仍然访问老版本；
监控模块，用于对每个版本的运行进行实时监控，记录访问数据；
数据分析模块，用于分析每个版本的访问数据。
2.根据权利要求1所述的一种在线测试系统，其特征在于，所述数据分析模块采用谷歌的数据分析系统。
3.一种在线测试方法，其特征在于，通过权利要求1所述的一种在线测试系统完成，至少包括以下步骤：
（1）通过发布系统，将多个需要测试的版本的代码发布到不同的目录；
（2）用户第一次访问，设置其中一个版本为默认版本，默认将前端调度器的根目录，定位到默认版本；
（3）使用统一入口页面，在页面中配置每个版本的权重；
（4）通过配置的权重，获取当前用户访问的版本号；
（5）将本次获得的版本号写入cookie中，后续访问，都会固定到cookie标示的版本；
（6）通过配置cookie的生存期来设定测试周期；
（7）用户第二次及后续访问，前端调度器判断cookie中存在版本号，则固定访问到这个版本；
（8）监控模块实时监控用户访问行为，记录访问数据；
（9）数据分析模块分析每个版本的访问数据；
（10）通过分析出的不同版本的错误日志，在全线发布前修复可能存在的问题。
4.根据权利要求2所述的一种在线测试方法，其特征在于，所述步骤（8）还包括：在每个版本中分别设置不同的统计代码，所有客户的访问数据统一到每个版本的统计代码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510565632.7A CN105262636A (zh) | 2015-09-08 | 2015-09-08 | 一种在线测试系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510565632.7A CN105262636A (zh) | 2015-09-08 | 2015-09-08 | 一种在线测试系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105262636A true CN105262636A (zh) | 2016-01-20 |
Family
ID=55102153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510565632.7A Pending CN105262636A (zh) | 2015-09-08 | 2015-09-08 | 一种在线测试系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105262636A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109672705A (zh) * | 2017-10-16 | 2019-04-23 | 阿里巴巴集团控股有限公司 | 一种客户端版本选择方法、装置及系统 |
| CN109726087A (zh) * | 2018-04-13 | 2019-05-07 | 平安普惠企业管理有限公司 | 多网页方案测试方法、装置、设备及计算机可读存储介质 |
| CN112487323A (zh) * | 2019-09-11 | 2021-03-12 | 北京沃东天骏信息技术有限公司 | 网页实验方法及服务器 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103324566A (zh) * | 2012-03-20 | 2013-09-25 | 阿里巴巴集团控股有限公司 | 一种网页产品多版本测试方法及装置 |
| CN103577321A (zh) * | 2012-08-07 | 2014-02-12 | 阿里巴巴集团控股有限公司 | 一种网站页面的多版本并行测试方法和服务器 |
| CN104052809A (zh) * | 2014-06-17 | 2014-09-17 | 北京京东尚科信息技术有限公司 | 一种网站测试的分流控制方法和装置 |
| CN104102576A (zh) * | 2013-04-12 | 2014-10-15 | 阿里巴巴集团控股有限公司 | 一种多版本测试方法和装置 |
| CN104102577A (zh) * | 2013-04-12 | 2014-10-15 | 同程网络科技股份有限公司 | 多版本网页访问测试方法 |
-
2015
- 2015-09-08 CN CN201510565632.7A patent/CN105262636A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103324566A (zh) * | 2012-03-20 | 2013-09-25 | 阿里巴巴集团控股有限公司 | 一种网页产品多版本测试方法及装置 |
| CN103577321A (zh) * | 2012-08-07 | 2014-02-12 | 阿里巴巴集团控股有限公司 | 一种网站页面的多版本并行测试方法和服务器 |
| CN104102576A (zh) * | 2013-04-12 | 2014-10-15 | 阿里巴巴集团控股有限公司 | 一种多版本测试方法和装置 |
| CN104102577A (zh) * | 2013-04-12 | 2014-10-15 | 同程网络科技股份有限公司 | 多版本网页访问测试方法 |
| CN104052809A (zh) * | 2014-06-17 | 2014-09-17 | 北京京东尚科信息技术有限公司 | 一种网站测试的分流控制方法和装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109672705A (zh) * | 2017-10-16 | 2019-04-23 | 阿里巴巴集团控股有限公司 | 一种客户端版本选择方法、装置及系统 |
| CN109726087A (zh) * | 2018-04-13 | 2019-05-07 | 平安普惠企业管理有限公司 | 多网页方案测试方法、装置、设备及计算机可读存储介质 |
| CN112487323A (zh) * | 2019-09-11 | 2021-03-12 | 北京沃东天骏信息技术有限公司 | 网页实验方法及服务器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10127146B2 (en) | Systems and methods to identify and classify performance bottlenecks in cloud based applications | |
| Lu et al. | Stream bench: Towards benchmarking modern distributed stream computing frameworks | |
| CN103336766A (zh) | 短文本垃圾识别以及建模方法和装置 | |
| CN105320589B (zh) | 云测试环境中测试脚本自动解析系统及其实现方法 | |
| CN102724059A (zh) | 基于MapReduce的网站运行状态监控与异常检测 | |
| CN106021079A (zh) | 一种基于用户频繁访问序列模型的Web应用性能测试方法 | |
| CN101222349A (zh) | 收集web用户行为及性能数据的方法及系统 | |
| CN109560996B (zh) | 物联网终端自动化测试系统及方法 | |
| CN103942268B (zh) | 搜索与应用相结合的方法、设备以及应用接口 | |
| CN102567494B (zh) | 网站分类方法及装置 | |
| CN103139006A (zh) | 基于web服务的自动化测试装置及方法 | |
| CN103905532A (zh) | 微博营销账号的识别方法及系统 | |
| CN104601408A (zh) | 用于非开放网络环境的网站数据统计及分析方法及系统 | |
| CN105554782A (zh) | 用户感知指标的预测方法和装置 | |
| CN105262636A (zh) | 一种在线测试系统和方法 | |
| CN102915269A (zh) | 一种b/s软件系统的通用日志分析方法 | |
| CN105405221A (zh) | 一种自动化测试的方法及装置 | |
| CN106446113A (zh) | 移动大数据解析方法及装置 | |
| CN101976394A (zh) | 数据采集和统计系统及方法 | |
| CN102156746A (zh) | 搜索引擎的性能评价方法 | |
| CN104967532A (zh) | Toc技术运维系统及应用方法 | |
| CN103139004B (zh) | 利用网络限速工具模拟网络带宽的方法及系统 | |
| CN104123397A (zh) | Web页面的自动化测试装置及方法 | |
| CN105491167B (zh) | 一种实时感知浏览器终端用户操作体验的实现方法 | |
| KR20220041600A (ko) | 스마트공장 데이터 품질평가 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190108 Address after: Room 6020, 6th floor, No. 399 North Fute Road, China (Shanghai) Free Trade Pilot Area, 200233 Applicant after: Shanghai Moku Data Technology Co., Ltd. Address before: Room 6020, 6th floor, No. 399 Fute North Road, Pudong New Area Free Trade Pilot Area, Shanghai, 2001 Applicant before: Mobi (Shanghai) Biotechnology Co. Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160120 |