CN103577321A - 一种网站页面的多版本并行测试方法和服务器 - Google Patents

一种网站页面的多版本并行测试方法和服务器 Download PDF

Info

Publication number
CN103577321A
CN103577321A CN201210279703.3A CN201210279703A CN103577321A CN 103577321 A CN103577321 A CN 103577321A CN 201210279703 A CN201210279703 A CN 201210279703A CN 103577321 A CN103577321 A CN 103577321A
Authority
CN
China
Prior art keywords
website
page
module
shunting
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210279703.3A
Other languages
English (en)
Other versions
CN103577321B (zh
Inventor
欧舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201210279703.3A priority Critical patent/CN103577321B/zh
Publication of CN103577321A publication Critical patent/CN103577321A/zh
Application granted granted Critical
Publication of CN103577321B publication Critical patent/CN103577321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种网站页面的多版本并行测试方法和服务器,网站框架接收网站应用提交的渲染所述网站某一页面的页面渲染请求,在页面渲染引擎渲染网站某一页面之前,将页面处理逻辑从网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块对网站某一页面执行AB测试,并将网站某一页面的命中改版方案返回到网站框架,根据网站某一页面的命中改版方案渲染网站页面,实现了一种高效灵活的网站页面多版本并行测试的通用方法和系统,适用于不同网站框架和渲染引擎,解决多版本并行测试时所带来的系统侵入性问题,多版本并行测试执行逻辑可以重复利用,方便扩展,能够灵活调整测试策略,动态生效,无需发布。

Description

一种网站页面的多版本并行测试方法和服务器
技术领域
本申请涉及网站应用推广领域,特别是一种网站页面的多版本并行测试方法和服务器。
背景技术
网站的经营者都希望每一个访问者能够尽可能停留在自己的网站,最好能注册成用户,更理想的就是成为付费用户或者成功下单,给网站带来收益。这些预期的达成,一方面,依赖于网站本身能否提供用户需要的核心业务;另一方面,依赖于网站页面的排版布局、颜色搭配、文字描述、流程设计和展示数据的相关性。这些因素都会影响到网站对用户的吸引力,最终影响到用户的好感度和转化率。
为了达到预期目的,大多数网站都不断地对网站页面进行改版和优化,设计多个改版方案,对每个改版方案进行测试,最终选出最佳的设计方案投入使用。
传统的串行化测试方法,是每隔一段时间将一个改版方案替换现有的网站页面设计方案,记录这段时间内的某一个改版方案的用户客户端行为。例如:周一、周二使用A改版方案,周三、周四使用B改版方案,周五、周六使用C改版方案,并同时对每个时间段内的用户客户端行为进行记录,分析记录结果,选出最佳的改版方案。
由于周一至周日当中每一天的用户客户端行为都是不一样的,淡季和旺季的用户客户端行为差异更大,使用串行化的测试方法在不同时段使用不同的改版方案记录用户客户端的行为差异,测试结果的误差较大。
基于页面替换的多版本并行测试,即AB测试,是一种新兴的网页改版优化方法,能同时并行地测试多个设计方案下的用户客户端行为,可以用于快速科学地评估针对同一网页的多个改版方案的好坏,决策出最优的改版方案。
使用基于页面替换的AB测试,首先需要建立一个或多个具有相同功能的改版方案页面,即新版本页面。新版本页面可能是完整的网页页面,也可能是一个页面的某个区块,或者称为子页面。并且新版本页面可能在排版布局、颜色搭配、文字描述、流程设计或展示数据的相关性上与原版本页面有所不同。然后,在需要测试的网站应用系统中引入AB测试逻辑。
一个成熟的网站应用系统,通常都是由很多子系统组成的,例如:一个电子商务网站,至少由商品展示子系统、订单管理子系统、会员管理子系统、商品搜索子系统和社区子系统组成,并且每一个子系统下面还有多个子模块。当某一个子系统中的页面需要进行AB测试时,在这个子系统下的页面处理逻辑中嵌入AB测试逻辑。根据AB分流测试策略,同时分流不同用户客户端看到不同的新版本页面,记录用户客户端的行为,最后根据用户客户端的行为数据分析,决定哪个新版本页面更好,更优。因此,AB测试能够并行测试多个改版方案,大大缩短了测试周期,减少测试干扰,提高了测试准确性。
对需要进行测试的网站应用的子系统下的页面处理逻辑中引入AB测试逻辑,根据AB测试逻辑中预先设置的分流策略将页面A的两个改版方案A1和A2同时分流给不同的用户客户端。网站应用的子系统接收到用户客户端访问页面的请求,当根据嵌入的AB测试逻辑判断出用户客户端请求访问的是页面A时,用根据分流策略所确定的命中改版方案页面替换该用户客户端请求的原页面A,网站应用提交页面渲染请求,网站框架根据请求发起页面渲染,调用渲染引擎渲染页面,最终网站应用向用户客户端返回根据命中的改版方案而渲染后的页面,记录用户客户端行为。
在实现本申请的过程中,本申请的发明人发现使用上述方法进行AB测试至少有如下缺点:
首先,在对每一个网站应用的子系统进行AB测试之前,需要在每一个网站应用某一页面处理子模块中嵌入AB分流测试策略,AB分流测试策略实现分散于网站应用的某一页面处理子模块中,这对网站应用的侵入性较大,很难维护和管理,也很容易引起系统问题和故障,而各网站框架和渲染引擎通常由第三方开发,无法修改源代码,而且没有在第三方的网站框架和渲染引擎中嵌入AB分流测试策略的商业许可;
其次,AB测试在测试期间需要根据实际情况调整测试策略,例如:将页面A的改版方案A1的分流命中比例从5%提升为10%,在每一次调整测试策略时,都需要重新修改嵌入在子模块中的AB测试逻辑,并且重新发布,灵活性低;
再次,AB测试中一个关键步骤是根据测试策略计算当前用户客户端请求命中哪个改版方案,这个过程为AB测试的用户客户端分流,用户客户端分流的方式有很多类型,例如:按随机比例分流、按用户客户端比例分流、按地区分流和按会员非会员分流等,已开发的AB分流测试执行逻辑在应用于其它网站应用同一或网站应用的不同子模块执行AB测试时,需要将AB分流测试执行逻辑重新编写嵌入网站应用或网站应用的各子模块中,比较麻烦,复用性差。
发明内容
有鉴于此,本申请提供了一种网站页面的多版本并行测试的方法和服务器,将页面处理逻辑从网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块对网站某一页面执行多版本AB测试,不需要在网站某一应用的页面处理逻辑中加入AB分流测试策略,防止AB分流测试策略对网站应用的侵入性,便于维护管理,无需对网站应用重新发布,灵活性高,根据分流配置参数由已开发的AB分流测试执行逻辑动态生成AB分流测试策略,AB分流测试执行逻辑复用性好,实现了一种高效灵活的网站页面AB测试的方法和服务器,支持构建于不同网站框架和渲染引擎的各种网站应用。
一种网站页面的多版本并行测试方法,所述方法包括:
网站应用接收用户客户端发送的访问网站某一页面的网站页面访问请求;
网站框架接收网站应用提交的渲染所述网站某一页面的页面渲染请求,根据某一页面的页面渲染请求调用页面渲染引擎,在页面渲染引擎渲染网站某一页面之前,将页面处理逻辑从网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块;
所述测试执行模块按照AB分流测试策略分别对网站某一页面执行AB测试,并将网站某一页面的命中改版方案返回到网站框架,所述AB分流测试策略包括AB分流测试执行逻辑和分流配置参数;
渲染引擎接收网站框架提交的网站某一页面的命中改版方案,根据网站某一页面的命中改版方案渲染网站页面。
优选的,所述网站框架将页面处理逻辑从在网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块包括:
在网站框架的页面处理模块中和/或渲染引擎的页面渲染模块中设置面向切面编程AOP方法的切入点;
将所述测试执行模块设置为AOP方法的拦截器。
优选的,所述面向切面编程AOP方法包括:
Spring、cglib或jboss的AOP方法。
优选的,所述在网站框架的页面处理模块中设置切入点包括:
将Strusts2框架中org.apache.struts2.components.template类的TemplateEngine renderTemplate方法设置为切入点;
和/或,
将SpringMVC框架中org.springframework.web.servlet.view.UrlBasedViewResolver类的buildView方法设置为切入点。
优选的,所述在渲染引擎的页面渲染模块中设置切入点包括:
将velocity引擎中org.apache.velocity.runtime.RuntimeInstance类的getTemplate方法设置为切入点;
和/或,
将freemaker引擎中freemarker.template.Configuration类的getTemplate方法设置为切入点;
和/或,
将JSP引擎中javax.servlet.ServletContext类的getRequestDispatcher方法设置为切入点。
优选的,所述测试执行模块按照AB分流测试策略分别对网站某一页面执行AB测试为:
所述测试执行模块预先嵌入AB分流测试策略;
所述测试执行模块按照嵌入其内部的AB分流测试策略,分别对网站某一页面执行AB测试。
优选的,所述测试执行模块按照AB分流测试策略分别对网站某一页面执行AB测试为:
所述测试执行模块从策略同步模块调用配置生成的AB分流测试策略;
所述测试执行模块根据调用所获得的AB分流测试策略,分别对网站某一页面执行AB测试。
优选的,所述测试执行模块从策略同步模块调用配置生成的AB分流测试策略具体包括:
策略同步模块获取各个集成客户端设置的分流配置参数,根据所述分流配置参数,将AB分流测试执行逻辑配置生成AB分流测试策略,将配置生成的AB分流测试策略进行存储,所述分流配置参数包括分流类型、分流比例和改版方案中的任意一个或者任意多个组合;
所述测试执行模块从策略同步模块调用配置生成的AB分流测试策略。
一种网站应用服务器,所述服务器包括:
网站应用,用于接收用户客户端发送的访问网站某一页面的网站页面访问请求;
网站框架,用于接收网站应用提交的渲染所述网站某一页面的页面渲染请求,根据某一页面的页面渲染请求调用页面渲染引擎,在页面渲染引擎渲染网站某一页面之前,将页面处理逻辑从网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块;
测试执行模块,用于按照AB分流测试策略分别对网站某一页面执行AB测试,并将网站某一页面的命中改版方案返回到网站框架,所述AB分流测试策略包括AB分流测试执行逻辑和分流配置参数;
渲染引擎,接收网站框架提交的网站某一页面的命中改版方案,根据网站某一页面的命中改版方案渲染网站页面。
优选的,所述网站框架包括:
切入点设置模块,用于在网站框架的页面处理模块中和/或渲染引擎的页面渲染模块中设置面向切面编程AOP方法的切入点;
拦截器设置模块,用于将所述测试执行模块设置为AOP方法的拦截器。
优选的,所述网站框架切入点设置模块包括:
第一网站框架切入点设置模块,用于将Strusts2框架中org.apache.struts2.components.template类的TemplateEngine renderTemplate方法设置为切入点;
和/或,
第二网站框架切入点设置模块,用于将SpringMVC框架中org.springframework.web.servlet.view.UrlBasedViewResolver类的buildView方法设置为切入点。
优选的,所述渲染引擎切入点设置模块包括:
第一渲染引擎切入点设置模块,用于将velocity引擎中org.apache.velocity.runtime.RuntimeInstance类的getTemplate方法设置为切入点;
和/或,
第二渲染引擎切入点设置模块,用于将freemaker引擎中freemarker.template.Configuration类的getTemplate方法设置为切入点;
和/或,
第三渲染引擎切入点设置模块,用于将JSP引擎中javax.servlet.ServletContext类的getRequestDispatcher方法设置为切入点。
优选的,所述测试执行模块包括:
策略嵌入模块,用于预先嵌入AB分流测试策略;
第一测试模块,用于按照嵌入其内部的AB分流测试策略分别对网站某一页面执行AB测试。
优选的,所述测试执行模块包括:
策略调用模块,用于从策略同步模块调用配置生成的AB分流测试策略;
第二测试模块,用于根据调用所获得的AB分流测试策略,分别对网站某一页面执行AB测试。
优选的,所述策略同步模块包括:
配置参数获取模块、配置生成模块和策略存储模块;
所述配置参数获取模块,用于获取各个集成客户端设置的分流配置参数,所述分流配置参数包括分流类型、分流比例和改版方案中的任意一个或者任意多个组合;
所述配置生成模块,用于根据所述分流配置参数,将AB分流测试执行逻辑配置生成AB分流测试策略发送到策略存储模块;
所述策略存储模块,用于存储配置生成的AB分流测试策略。
由上述申请内容可知,本申请有如下有益效果:
首先,网站框架接收网站应用提交的渲染所述网站某一页面的页面渲染请求,根据某一页面渲染请求调用页面渲染引擎,在页面渲染引擎渲染网站某一页面之前,将页面处理逻辑从在网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块,测试执行模块按照AB分流测试策略分别对网站某一页面执行AB测试,并将网站某一页面的命中改版方案返回到网站框架,渲染引擎接收网站框架提交的网站某一页面的命中改版方案,根据网站某一页面的命中改版方案渲染网站页面,从网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块进行AB测试,无需在每一个网站应用子模块的页面处理逻辑中嵌入AB分流测试策略,防止AB分流测试策略对网站应用的侵入性,便于维护管理;
其次,测试执行模块能够动态按照可实时变更的AB分流测试策略分别对网站某一页面执行AB测试,在需要根据实际情况调整测试策略时,只需要针对AB分流测试策略进行动态调整改正即可,方便更正和修改,无需对网站应用进行逻辑修改,重新发布,灵活性高;
再次,在其他网站应用或同一网站应用的不同的子模块使用已开发的AB分流测试执行逻辑时,策略同步模块可以根据各个集成客户端设置的分流配置参数,由已开发的AB分流测试执行逻辑即时配置生成AB分流测试策略,在配置生成AB分流测试策略时,只需更改分流配置参数即可,无需对AB分流测试执行逻辑重新开发嵌入其它网站应用或同一网站应用的不同的子模块,AB分流测试执行逻辑复用性好。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一种网站页面的多版本并行测试方法实施例一流程图;
图2为一种网站页面的多版本并行测试方法实施例二流程图;
图3为策略同步模块配置生成AB分流测试执行逻辑的流程图;
图4为一种网站应用服务器实施例三结构示意图;
图5为一种网站应用服务器实施例四结构示意图。
具体实施方式
本申请提供了一种网站页面的多版本并行测试方法和服务器,在同一个测试执行模块上对网站某一的页面进行多版本AB测试,方便对AB测试的维护和管理。
本申请所提供的方法,网站应用接收用户客户端发送的访问网站某一页面的网站页面访问请求;网站框架接收网站应用提交的渲染所述网站某一页面的页面渲染请求,根据某一页面渲染请求调用页面渲染引擎,在页面渲染引擎渲染网站某一页面之前,将页面处理逻辑从网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块;所述测试执行模块按照AB分流测试策略分别对网站某一页面执行AB测试,并将网站某一页面的命中改版方案返回到网站框架,所述AB分流测试策略包括AB分流测试执行逻辑和分流配置参数;渲染引擎接收网站框架提交的网站某一页面的命中改版方案,根据网站某一页面的命中改版方案渲染网站页面。
本申请所提供的服务器,网站应用,用于接收用户客户端发送的访问网站某一页面的网站页面访问请求;网站框架,用于接收网站应用提交的渲染所述网站某一页面的页面渲染请求,根据某一页面渲染请求调用页面渲染引擎,在页面渲染引擎渲染网站某一页面之前,将页面处理逻辑从网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块;测试执行模块,用于按照AB分流测试策略分别对网站某一页面执行AB测试,并将网站某一页面的命中改版方案返回到网站框架,所述AB分流测试策略包括AB分流测试执行逻辑和分流配置参数;渲染引擎,用于接收网站框架提交的网站某一页面的命中改版方案,根据网站某一页面的命中改版方案渲染网站页面。
下面结合附图对具体的实施例进行详细说明。
实施例一
图1所示的是本申请一种网站页面的多版本并行测试方法实施例一流程图,具体包括:
步骤101:网站应用接收用户客户端发送的访问网站某一页面的网站页面访问请求。
网站应用根据用户客户端发送的网站页面的访问请求获取被访问的网站页面的信息,例如,网站页面的路径信息、名称信息等。根据被访问的网站页面的信息由网站框架对被访问的网站页面进行页面处理。
网站应用接收用户客户端发送的访问网站页面的网站页面访问请求,可以是不同的多个用户客户端发送的访问多个页面的网站访问请求,也可以是同一个客户端在不同的时刻发送的访问多个页面的网站访问请求。网站应用接收用户客户端发送的访问多个页面的网站访问请求。
步骤102:网站框架接收网站应用提交的渲染所述网站某一页面的页面渲染请求,根据某一页面渲染请求调用页面渲染引擎,在页面渲染引擎渲染网站某一页面之前,将页面处理逻辑从网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块。
例如:网站框架接收网站应用提交的渲染网站A页面的页面渲染请求,根据A页面的页面渲染请求调用页面渲染引擎,在页面渲染引擎渲染网站A页面之前,将A页面处理逻辑从网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到测试执行模块;网站框架接收网站应用提交的渲染网站B页面的页面渲染请求,将B页面处理逻辑从网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到对A页面进行测试的同一个测试执行模块。将多个页面处理逻辑从网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块。
在页面渲染引擎渲染网站某一页面之前包括,在网站框架根据网站某一页面的渲染请求调用渲染引擎之前或者渲染引擎根据网站框架的调用渲染网站某一页面之前,将页面处理逻辑从网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块。
网站框架接收网站应用提交的渲染所述网站多个页面的页面渲染请求,根据多个页面的页面渲染请求调用页面渲染引擎,在页面渲染引擎渲染网站多个页面之前,将页面处理逻辑从网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块。
步骤103:所述测试执行模块按照AB分流测试策略分别对网站某一页面执行AB测试,并将网站某一页面的命中改版方案返回到网站框架,所述AB分流测试策略包括AB分流测试执行逻辑和分流配置参数。
AB测试即为多版本并行测试,测试执行模块根据AB分流测试策略确定网站某一页面命中的改版方案,返回改版方案,例如,返回改版方案的路径信息或名称信息等。
例如,测试执行模块对网站A页面执行AB测试,将A页面命中的改版方案A’返回到网站框架;测试执行模块对网站B页面执行AB测试,将B页面命中的改版方案B’返回到网站框架。
所述测试执行模块按照AB分流测试策略分别对网站多个页面执行AB测试,并将网站多个页面的命中改版方案返回到网站框架,所述AB分流测试策略包括AB分流测试执行逻辑和分流配置参数。
步骤104:渲染引擎接收网站框架提交的网站某一页面的命中改版方案,根据网站某一页面的命中改版方案渲染网站页面。
渲染引擎接收网站框架提交的网站页面所命中的改版方案,例如,渲染引擎接收网站框架提交的A页面的改版方案A’,渲染原有网站页面A,将改版方案A’返回到用户客户端;渲染引擎接收网站框架提交的B页面的改版方案B’,渲染原有网站页面B,将改版方案B’返回到用户客户端。
渲染引擎接收网站框架提交的网站多个页面的命中改版方案,根据网站各个页面的命中改版方案渲染多个网站页面。
根据上述内容可知,本申请有如下有益效果:
首先,在对网站页面进行渲染之前,将页面处理逻辑从网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块进行AB测试,无需在每一个网站应用子模块的页面处理逻辑中嵌入AB分流测试策略,防止AB测试策略对网站应用的侵入性,便于维护管理;
其次,测试执行模块按照AB分流测试策略分别对网站某一页面执行AB测试,在需要根据实际情况调整测试策略时,只需要针对AB分流测试策略进行改正即可,方便更正和修改,无需对网站应用重新发布,灵活性高。
实施例二
图2所示的是本申请一种网站页面的多版本并行测试方法实施例二流程图,与实施例一相比,本实施例中,具体限定测试执行模块从策略同步模块中调用AB分流测试策略,分别对网站某一页面执行AB测试,具体包括:
步骤201:网站应用接收用户客户端发送的访问网站某一页面的网站页面访问请求。
网站应用根据用户客户端发送的网站页面访问请求获取网站页面的信息,例如,网站页面的路径信息、名称信息等。
步骤202:网站框架接收网站应用提交的渲染所述网站某一页面的页面渲染请求,根据某一页面渲染请求调用页面渲染引擎。
步骤203:在页面渲染引擎渲染网站某一页面之前,在网站框架的页面处理模块中和/或渲染引擎的页面渲染模块中设置面向切面编程AOP方法的切入点,将所述测试执行模块设置为AOP方法的拦截器。
在本发明实施例中,采用面向切面编程AOP(Aspect OrientedProgramming)的方法将页面处理逻辑从网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块。本发明实施例对采用哪种AOP方法并不进行限定包括Spring、cglib或jboss的AOP方法等。。
在具体应用中,切入点和拦截器是本申请的两个关键工具。通过对切入点和拦截器进行设置,即可实现将页面处理逻辑从网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块。
在本发明实施例中,在网站框架的页面处理模块中和/或渲染引擎的页面渲染模块中设置切入点实现跳转。
服务端向集成客户端提供多种AOP方法的切入点的选择,集成客户端根据需要在网站框架和/或渲染引擎的页面处理模块中设置AOP方法的切入点。
在网站框架的页面处理模块中设置AOP方法的切入点包括:
将Strusts2框架中org.apache.struts2.components.template类的TemplateEngine renderTemplate方法设置为切入点;
和/或,
将SpringMVC框架中org.springframework.web.servlet.view.UrlBasedViewResolver类的buildView方法设置为切入点等。
在渲染引擎的页面渲染模块中设置AOP方法的切入点包括:
将velocity引擎中org.apache.velocity.runtime.RuntimeInstance类的getTemplate方法设置为切入点;
和/或,
将freemaker引擎中freemarker.template.Configuration类的getTemplate方法设置为切入点;
和/或,
将JSP引擎中javax.servlet.ServletContext类的getRequestDispatcher方法设置为切入点等。
上述内容是在常用的网站框架和渲染引擎中设置的切入点的举例说明,本申请并不限于上述设置切入点的设置方式。
通过上述方式设置了切入点后,再将所述测试执行模块设置为AOP方法的拦截器,使测试执行模块包含的处理逻辑即为AOP方法的拦截器所包含的处理逻辑。
通过以上设置AOP方法中的切入点和拦截器的方法实现从网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块对网站某一页面执行AB测试。
例如,以设置Spring的AOP方法中的切入点为例,其具体实现方法如下:
Figure BDA00001982820300131
Figure BDA00001982820300141
其中,“bt-pointcut”表示AOP中的切入点,上述例子中设置Web框架的页面处理服务在org.apache.struts2.components.template这个类的TemplateEngine renderTemplate方法为切入点。
在AOP方法中,将测试执行模块设置为拦截器,具体实现方法如下:
<bean id="bt-interceptor"class="com.test.TemplateInterceptor">,
其中,"com.test.TemplateInterceptor"为测试执行模块中的处理逻辑,"bt-interceptor"表示AOP方法中的拦截器。
在AOP方法中,通过配置advisor将切入点和拦截器进行配对,具体实现方法如下:
Figure BDA00001982820300142
配对后,每当执行Web框架的“org.apache.struts2.components.template.TemplateEngine renderTemplate”方法时,都会被拦截器“com.test.TemplateInterceptor”所拦截,执行拦截器所包含的处理逻辑。
步骤204:测试执行模块从策略同步模块调用配置生成的AB分流测试策略。
AB分流测试策略包括AB分流测试执行逻辑和分流配置参数。服务器向集成客户端提供了一个图形化的界面,集成客户端根据需求可以随时更改分流配置参数,即,更改分流类型,例如,按用户比例分流,按请求比例分流,按ip地址分流,按会员非会员分流等;改版方案和每个改版方案对应的分流比例中的任意一个或者任意多个组合。策略同步模块每隔一段时间远程获取各个集成客户端在图形化界面中设置的分流配置参数,将AB分流测试执行逻辑配置生成AB分流测试策略,及时按照集成客户端的要求不断更新AB分流测试策略。其中,已开发的AB分流测试执行逻辑可在不同的网站应用或同一网站应用中不同子模块中重复使用,如,按比例分流测试执行逻辑、按地域分流测试执行逻辑和按用户分流测试执行逻辑等。其中,获取分流配置参数的时间间隔可以根据实际情况具体配置,本申请中时间间隔为5秒。
图3为测试策略的流程图,具体包括:
301:策略同步模块获取各个集成客户端设置的分流配置参数,所述分流配置参数包括分流类型、分流比例和改版方案中的任意一个或者任意多个组合。
其中,分流配置参数还可以包含起始时间。结束时间等参数信息。
302:根据所述分流配置参数,将AB分流测试执行逻辑配置生成AB分流测试策略。
策略同步模块内置有动态生成AB分流测试策略的配置生成模块,根据分流配置参数,将已开发的AB分流测试执行逻辑动态反射配置生成AB分流测试策略。配置生成模块使用接口方法public StringgetVersion(UserInfo userInfo)实现。例如,分流配置参数中的分流类型为按关键词分流,在配置生成模块中配置selectorImpl="com.test.KeywordSelector"。执行拦截器中的处理逻辑时,配置生成模块会由已开发的AB分流测试执行逻辑通过动态反射的方式动态生成AB分流测试策略。其中,已开发的AB分流测试执行逻辑可在不同网站应用或同一网站应用的不同子模块中重复使用,复用性强,这个AB分流测试执行逻辑具体代码如下:
Figure BDA00001982820300151
Figure BDA00001982820300161
303:将配置生成的AB分流测试策略进行存储。
其中,测试执行模块还可以按照预先嵌入测试执行模块内部的AB分流测试策略分别对网站某一页面执行AB测试,不仅限于从策略同步模块调用AB分流测试策略。
步骤205:所述测试执行模块根据调用所获得的AB分流测试策略分别对网站某一页面执行AB测试,并将网站某一页面的命中改版方案返回到网站框架,所述AB分流测试策略包含分流配置参数和AB分流测试执行逻辑。
测试执行模块按照AB分流测试策略分别对网站某一页面执行AB测试的过程可以采用现有技术,本发明实施例对AB测试的具体执行过程并不进行限定。例如,一种具体实现方法为:测试执行模块通过分析用户客户端发送的请求参数,获取用户客户端请求渲染的网站某一页面的页面信息,如路径信息或名称信息等,根据页面信息判断这个页面是否需要进行AB测试,如果需要,从策略同步模块中获取与路径信息对应的AB分流测试策略,所述AB分流测试策略中的分流配置参数包括分流类型,分流比例和每个分流比例对应的改版方案,获取当前页面信息,根据AB分流测试策略确定命中的改版方案,将命中的改版方案返回到网站框架,其中,通常返回的是改版方案的路径信息。
下面根据一个具体的例子进行说明:
获取用户客户端的标识,将用户客户端的标识散列为0到99的数字,按照百分比的分流类型进行分流,50%的用户客户端命中改版方案1,另外50%的用户客户端命中改版方案2,因此将0到99的数字分为两个区间[0,50)和[50,99),若用户客户端散列后的数字在[0,50),则命中改版方案1,将改版方案1的路径信息返回到网站框架;若用户客户端随机分配的数字在[50,99),则命中改版方案2,将改版方案2的路径信息返回到网站框架。
上述例子只是为了对具体方案的事实过程进行解释说明,本申请不限于使用上述例子实现,还可以有其他类似的实现方式。
步骤206:渲染引擎接收网站框架提交的网站某一页面的命中改版方案,根据网站某一页面的命中改版方案渲染网站页面。
服务器自动记录用户客户端的行为,根据用户客户端的行为的数据分析,决定最优的改版方案。
根据上述内容可知,本申请还具有以下有益效果:
策略同步模块可以根据各个集成客户端设置的分流配置参数即时配置生成AB分流测试策略,测试执行模块可以根据从策略同步模块调用所获得的AB分流测试策略进行AB测试,无需对相同的AB分流测试执行逻辑重新开发嵌入网站应用的各子模块,复用性好。
实施例三
图4所示的是本申请一种网站应用服务器实施例三结构示意图,本实施例中所述的服务器是与一种网站页面的测试方法实施例一对应的服务器,具体包括:
网站应用401,用于接收用户客户端发送的访问网站某一页面的网站页面访问请求。
网站框架402,用于接收网站应用提交的渲染所述网站某一页面的页面渲染请求,根据某一页面渲染请求调用页面渲染引擎,在页面渲染引擎渲染网站某一页面之前,将页面处理逻辑从网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块。
测试执行模块403,用于根据调用所获得的AB分流测试策略分别对网站某一页面执行AB测试,并将网站某一页面的命中改版方案返回到网站框架,所述AB分流测试策略包括AB分流测试执行逻辑和分流配置参数。
渲染引擎404,用于接收网站框架提交的网站某一页面的命中改版方案,根据网站某一页面的命中改版方案渲染网站页面。
实施例四
图5所示的是本申请一种网站应用服务器实施例四结构示意图,本实施例中所述的服务器是与一种网站页面的测试方法实施例二对应的服务器,具体包括:
网站应用401,用于接收用户客户端发送的访问网站某一页面的网站页面访问请求。
网站框架402,用于接收网站应用提交的渲染所述网站某一页面的页面渲染请求,根据某一页面渲染请求调用页面渲染引擎,在页面渲染引擎渲染网站某一页面之前,将页面处理逻辑从网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块。
网站框架401中包括:
切入点设置模块501,在网站框架的页面处理模块中和/或渲染引擎的页面渲染模块中设置面向切面编程AOP方法的切入点。
拦截器设置模块502,用于将所述测试执行模块设置为AOP方法的拦截器。
网站框架切入点设置模块包括:
第一网站框架切入点设置模块,用于将Strusts2框架中org.apache.struts2.components.template类的TemplateEngine renderTemplate方法设置为切入点;
和/或,
第二网站框架切入点设置模块,用于将SpringMVC框架中org.springframework.web.servlet.view.UrlBasedViewResolver类的buildView方法设置为切入点。
渲染引擎切入点设置模块包括:
第一渲染引擎切入点设置模块,用于将velocity引擎中org.apache.velocity.runtime.RuntimeInstance类的getTemplate方法设置为切入点;
和/或,
第二渲染引擎切入点设置模块,用于将freemaker引擎中freemarker.template.Configuration类的getTemplate方法设置为切入点;
和/或,
第三渲染引擎切入点设置模块,用于将JSP引擎中javax.servlet.ServletContext类的getRequestDispatcher方法设置为切入点。
测试执行模块403,用于根据调用所获得的AB分流测试执行逻辑分别对网站某一页面执行AB测试,并将网站某一页面的命中改版方案返回到网站框架。
测试执行模块403包括:
策略调用模块503,用于从策略同步模块调用配置生成的AB分流测试策略;
第二测试模块504,用于按照调用的AB分流测试策略,分别对网站某一页面执行AB测试。
其中,测试执行模块403还可以包括:
策略嵌入模块,用于预先嵌入AB分流测试策略;
第一测试模块,用于按照嵌入其内部的AB分流测试策略分别对网站某一页面执行AB测试。
策略同步模块505包括:
配置参数获取模块506、配置生成模块507和策略存储模块508;
所述配置参数获取模块506,用于获取各个集成客户端设置的分流配置参数,所述分流配置参数包括分流类型、分流比例和改版方案中的任意一个或者任意多个组合;
所述配置生成模块507,用于根据所述分流配置参数,将AB分流测试执行逻辑配置生成AB分流测试策略发送到策略存储模块;
所述策略存储模块508,用于存储配置生成的AB分流测试策略。
渲染引擎404,用于接收网站框架提交的网站某一页面的命中改版方案,根据网站某一页面的命中改版方案渲染网站页面。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (15)

1.一种网站页面的多版本并行测试方法,其特征在于,所述方法包括:
网站应用接收用户客户端发送的访问网站某一页面的网站页面访问请求;
网站框架接收网站应用提交的渲染所述网站某一页面的页面渲染请求,根据某一页面的页面渲染请求调用页面渲染引擎,在页面渲染引擎渲染网站某一页面之前,将页面处理逻辑从网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块;
所述测试执行模块按照AB分流测试策略分别对网站某一页面执行AB测试,并将网站某一页面的命中改版方案返回到网站框架,所述AB分流测试策略包括AB分流测试执行逻辑和分流配置参数;
渲染引擎接收网站框架提交的网站某一页面的命中改版方案,根据网站某一页面的命中改版方案渲染网站页面。
2.根据权利要求1所述的方法,其特征在于,所述网站框架将页面处理逻辑从在网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块包括:
在网站框架的页面处理模块中和/或渲染引擎的页面渲染模块中设置面向切面编程AOP方法的切入点;
将所述测试执行模块设置为AOP方法的拦截器。
3.根据权利要求2所述的方法,其特征在于,所述面向切面编程AOP方法包括:
Spring、cglib或jboss的AOP方法。
4.根据权利要求2所述的方法,其特征在于,所述在网站框架的页面处理模块中设置切入点包括:
将Strusts2框架中org.apache.struts2.components.template类的TemplateEngine renderTemplate方法设置为切入点;
和/或,
将SpringMVC框架中org.springframework.web.servlet.view.UrlBasedViewResolver类的buildView方法设置为切入点。
5.根据权利要求2所述的方法,其特征在于,所述在渲染引擎的页面渲染模块中设置切入点包括:
将velocity引擎中org.apache.velocity.runtime.RuntimeInstance类的getTemplate方法设置为切入点;
和/或,
将freemaker引擎中freemarker.template.Configuration类的getTemplate方法设置为切入点;
和/或,
将JSP引擎中javax.servlet.ServletContext类的getRequestDispatcher方法设置为切入点。
6.根据权利要求1-5任意一项所述的方法,其特征在于,所述测试执行模块按照AB分流测试策略分别对网站某一页面执行AB测试为:
所述测试执行模块预先嵌入AB分流测试策略;
所述测试执行模块按照嵌入其内部的AB分流测试策略,分别对网站某一页面执行AB测试。
7.根据权利要求1-5任意一项所述的方法,其特征在于,所述测试执行模块按照AB分流测试策略分别对网站某一页面执行AB测试为:
所述测试执行模块从策略同步模块调用配置生成的AB分流测试策略;
所述测试执行模块根据调用所获得的AB分流测试策略,分别对网站某一页面执行AB测试。
8.根据权利要求7所述的方法,其特征在于,所述测试执行模块从策略同步模块调用配置生成的AB分流测试策略具体包括:
策略同步模块获取各个集成客户端设置的分流配置参数,根据所述分流配置参数,将AB分流测试执行逻辑配置生成AB分流测试策略,将配置生成的AB分流测试策略进行存储,所述分流配置参数包括分流类型、分流比例和改版方案中的任意一个或者任意多个组合;
所述测试执行模块从策略同步模块调用配置生成的AB分流测试策略。
9.一种网站应用服务器,其特征在于,所述服务器包括:
网站应用,用于接收用户客户端发送的访问网站某一页面的网站页面访问请求;
网站框架,用于接收网站应用提交的渲染所述网站某一页面的页面渲染请求,根据某一页面的页面渲染请求调用页面渲染引擎,在页面渲染引擎渲染网站某一页面之前,将页面处理逻辑从网站框架的页面处理模块中和/或渲染引擎的页面渲染模块跳转到同一个测试执行模块;
测试执行模块,用于按照AB分流测试策略分别对网站某一页面执行AB测试,并将网站某一页面的命中改版方案返回到网站框架,所述AB分流测试策略包括AB分流测试执行逻辑和分流配置参数;
渲染引擎,接收网站框架提交的网站某一页面的命中改版方案,根据网站某一页面的命中改版方案渲染网站页面。
10.根据权利要求9所述的服务器,其特征在于,所述网站框架包括:
切入点设置模块,用于在网站框架的页面处理模块中和/或渲染引擎的页面渲染模块中设置面向切面编程AOP方法的切入点;
拦截器设置模块,用于将所述测试执行模块设置为AOP方法的拦截器。
11.根据权利要求10所述的服务器,其特征在于,所述网站框架切入点设置模块包括:
第一网站框架切入点设置模块,用于将Strusts2框架中org.apache.struts2.components.template类的TemplateEngine renderTemplate方法设置为切入点;
和/或,
第二网站框架切入点设置模块,用于将SpringMVC框架中org.springframework.web.servlet.view.UrlBasedViewResolver类的buildView方法设置为切入点。
12.根据权利要求10所述的服务器,其特征在于,所述渲染引擎切入点设置模块包括:
第一渲染引擎切入点设置模块,用于将velocity引擎中org.apache.velocity.runtime.RuntimeInstance类的getTemplate方法设置为切入点;
和/或,
第二渲染引擎切入点设置模块,用于将freemaker引擎中freemarker.template.Configuration类的getTemplate方法设置为切入点;
和/或,
第三渲染引擎切入点设置模块,用于将JSP引擎中javax.servlet.ServletContext类的getRequestDispatcher方法设置为切入点。
13.根据权利要求9-12所述的服务器,其特征在于,所述测试执行模块包括:
策略嵌入模块,用于预先嵌入AB分流测试策略;
第一测试模块,用于按照嵌入其内部的AB分流测试策略分别对网站某一页面执行AB测试。
14.根据权利要求9-12所述的服务器,其特征在于,所述测试执行模块包括:
策略调用模块,用于从策略同步模块调用配置生成的AB分流测试策略;
第二测试模块,用于根据调用所获得的AB分流测试策略,分别对网站某一页面执行AB测试。
15.根据权利要求14所述的服务器,其特征在于,所述策略同步模块包括:
配置参数获取模块、配置生成模块和策略存储模块;
所述配置参数获取模块,用于获取各个集成客户端设置的分流配置参数,所述分流配置参数包括分流类型、分流比例和改版方案中的任意一个或者任意多个组合;
所述配置生成模块,用于根据所述分流配置参数,将AB分流测试执行逻辑配置生成AB分流测试策略发送到策略存储模块;
所述策略存储模块,用于存储配置生成的AB分流测试策略。
CN201210279703.3A 2012-08-07 2012-08-07 一种网站页面的多版本并行测试方法和服务器 Active CN103577321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210279703.3A CN103577321B (zh) 2012-08-07 2012-08-07 一种网站页面的多版本并行测试方法和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210279703.3A CN103577321B (zh) 2012-08-07 2012-08-07 一种网站页面的多版本并行测试方法和服务器

Publications (2)

Publication Number Publication Date
CN103577321A true CN103577321A (zh) 2014-02-12
CN103577321B CN103577321B (zh) 2016-01-13

Family

ID=50049145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210279703.3A Active CN103577321B (zh) 2012-08-07 2012-08-07 一种网站页面的多版本并行测试方法和服务器

Country Status (1)

Country Link
CN (1) CN103577321B (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104052809A (zh) * 2014-06-17 2014-09-17 北京京东尚科信息技术有限公司 一种网站测试的分流控制方法和装置
CN104539481A (zh) * 2014-12-26 2015-04-22 刘永健 一种测试网站用的方法及装置
CN104699789A (zh) * 2015-03-16 2015-06-10 北京盛世光明软件股份有限公司 一种嵌入网页的方法及系统
CN104978267A (zh) * 2015-06-24 2015-10-14 小米科技有限责任公司 网页测试方法、终端及服务器
CN105005840A (zh) * 2015-04-13 2015-10-28 北京嘀嘀无限科技发展有限公司 用于订单策略的测试方法和装置
CN105262636A (zh) * 2015-09-08 2016-01-20 摩贝(上海)生物科技有限公司 一种在线测试系统和方法
CN105450461A (zh) * 2014-06-05 2016-03-30 阿里巴巴集团控股有限公司 一种分流方法及网络设备
WO2017028695A1 (zh) * 2015-08-17 2017-02-23 阿里巴巴集团控股有限公司 一种用于发布网页应用的方法与设备
CN106681892A (zh) * 2015-11-11 2017-05-17 北京国双科技有限公司 页面数据的处理方法和装置
CN106856439A (zh) * 2016-12-07 2017-06-16 武汉斗鱼网络科技有限公司 一种方案测试的方法及服务器
CN107360010A (zh) * 2016-05-09 2017-11-17 阿里巴巴集团控股有限公司 一种网站灰度发布方法及装置
CN107451020A (zh) * 2017-06-28 2017-12-08 北京五八信息技术有限公司 一种ab测试系统及测试方法
CN107451062A (zh) * 2017-08-09 2017-12-08 百度在线网络技术(北京)有限公司 一种用户界面遍历测试方法、装置、服务器、存储介质
CN107545009A (zh) * 2016-06-29 2018-01-05 阿里巴巴集团控股有限公司 一种确定网页中组件的方法和设备
CN107958081A (zh) * 2017-12-14 2018-04-24 泰康保险集团股份有限公司 信息处理方法与装置
CN108268289A (zh) * 2016-12-30 2018-07-10 阿里巴巴集团控股有限公司 web应用的参数配置方法、装置及系统
CN108319554A (zh) * 2018-02-13 2018-07-24 广州市百果园信息技术有限公司 应用功能的测试方法、计算机可读存储介质和终端设备
CN108469979A (zh) * 2018-03-28 2018-08-31 深圳前海桔子信息技术有限公司 一种页面跳转方法、装置、服务器和存储介质
CN109710511A (zh) * 2018-12-04 2019-05-03 北京达佳互联信息技术有限公司 Ab测试方法、装置、服务器及存储介质
CN109726087A (zh) * 2018-04-13 2019-05-07 平安普惠企业管理有限公司 多网页方案测试方法、装置、设备及计算机可读存储介质
CN110008131A (zh) * 2019-04-12 2019-07-12 重庆天蓬网络有限公司 一种基于算法实现的区域ab实验管理的方法及装置
CN110046092A (zh) * 2019-03-12 2019-07-23 北京创鑫旅程网络技术有限公司 实验分流方法、装置、电子设备和计算机可读存储介质
CN110096396A (zh) * 2019-03-18 2019-08-06 北京奇艺世纪科技有限公司 分组测试的控制方法、分布式应用系统及存储介质
CN110209579A (zh) * 2019-05-28 2019-09-06 Oppo广东移动通信有限公司 测试方法及电子装置
CN110245069A (zh) * 2019-04-28 2019-09-17 阿里巴巴集团控股有限公司 页面版本的测试方法和装置、页面的展示方法和装置
CN110413512A (zh) * 2019-07-03 2019-11-05 深圳市珍爱捷云信息技术有限公司 Ab测试方法、装置、计算机设备和存储介质
CN110471843A (zh) * 2019-07-16 2019-11-19 北京三快在线科技有限公司 版本测试的方法、装置、存储介质及电子设备
CN110601922A (zh) * 2019-09-18 2019-12-20 北京三快在线科技有限公司 一种对照实验的实现方法、装置、电子设备和存储介质
CN110620697A (zh) * 2018-06-19 2019-12-27 北京嘀嘀无限科技发展有限公司 一种基于流量控制的测试方法及系统
CN111104107A (zh) * 2018-10-26 2020-05-05 北京国双科技有限公司 一种用户界面生成方法、测试方法及装置
CN111443983A (zh) * 2019-01-16 2020-07-24 北京右划网络科技有限公司 应用程序的虚拟化方法、装置、电子设备及存储介质
CN111694628A (zh) * 2020-05-28 2020-09-22 平安普惠企业管理有限公司 基于应用程序的线程的页面展示方法及相关设备
CN111782542A (zh) * 2020-07-13 2020-10-16 豆盟(北京)科技股份有限公司 测试方法、装置、设备、系统和计算机存储介质
CN112783548A (zh) * 2019-11-11 2021-05-11 阿里巴巴集团控股有限公司 网络系统的访问方法及装置
CN113010441A (zh) * 2021-04-29 2021-06-22 成都新希望金融信息有限公司 模型发布方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109656814A (zh) * 2018-11-23 2019-04-19 杭州优行科技有限公司 新功能测试方法、装置及智能设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067827A (zh) * 2007-06-14 2007-11-07 上海创图网络科技发展有限公司 一种基于浏览器的三维网页实现方法
US20090100345A1 (en) * 2007-10-15 2009-04-16 Miller Edward F Method and System for Testing Websites
CN102541732A (zh) * 2011-12-23 2012-07-04 中国移动(深圳)有限公司 一种构建Web自动化测试框架的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067827A (zh) * 2007-06-14 2007-11-07 上海创图网络科技发展有限公司 一种基于浏览器的三维网页实现方法
US20090100345A1 (en) * 2007-10-15 2009-04-16 Miller Edward F Method and System for Testing Websites
CN102541732A (zh) * 2011-12-23 2012-07-04 中国移动(深圳)有限公司 一种构建Web自动化测试框架的方法

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105450461A (zh) * 2014-06-05 2016-03-30 阿里巴巴集团控股有限公司 一种分流方法及网络设备
CN105450461B (zh) * 2014-06-05 2018-12-14 阿里巴巴集团控股有限公司 一种分流方法及网络设备
CN104052809A (zh) * 2014-06-17 2014-09-17 北京京东尚科信息技术有限公司 一种网站测试的分流控制方法和装置
CN104052809B (zh) * 2014-06-17 2017-09-26 北京京东尚科信息技术有限公司 一种网站测试的分流控制方法和装置
CN104539481A (zh) * 2014-12-26 2015-04-22 刘永健 一种测试网站用的方法及装置
CN104699789A (zh) * 2015-03-16 2015-06-10 北京盛世光明软件股份有限公司 一种嵌入网页的方法及系统
CN105005840A (zh) * 2015-04-13 2015-10-28 北京嘀嘀无限科技发展有限公司 用于订单策略的测试方法和装置
CN105005840B (zh) * 2015-04-13 2021-02-26 北京嘀嘀无限科技发展有限公司 订单匹配控制方法和装置
CN104978267A (zh) * 2015-06-24 2015-10-14 小米科技有限责任公司 网页测试方法、终端及服务器
CN104978267B (zh) * 2015-06-24 2018-07-27 小米通讯技术有限公司 网页测试方法、终端及服务器
WO2017028695A1 (zh) * 2015-08-17 2017-02-23 阿里巴巴集团控股有限公司 一种用于发布网页应用的方法与设备
CN105262636A (zh) * 2015-09-08 2016-01-20 摩贝(上海)生物科技有限公司 一种在线测试系统和方法
CN106681892A (zh) * 2015-11-11 2017-05-17 北京国双科技有限公司 页面数据的处理方法和装置
CN106681892B (zh) * 2015-11-11 2019-08-20 北京国双科技有限公司 页面数据的处理方法和装置
CN107360010A (zh) * 2016-05-09 2017-11-17 阿里巴巴集团控股有限公司 一种网站灰度发布方法及装置
CN107545009A (zh) * 2016-06-29 2018-01-05 阿里巴巴集团控股有限公司 一种确定网页中组件的方法和设备
CN107545009B (zh) * 2016-06-29 2021-02-02 阿里巴巴集团控股有限公司 一种确定网页中组件的方法和设备
CN106856439B (zh) * 2016-12-07 2019-08-02 武汉斗鱼网络科技有限公司 一种方案测试的方法及服务器
CN106856439A (zh) * 2016-12-07 2017-06-16 武汉斗鱼网络科技有限公司 一种方案测试的方法及服务器
CN108268289A (zh) * 2016-12-30 2018-07-10 阿里巴巴集团控股有限公司 web应用的参数配置方法、装置及系统
CN107451020A (zh) * 2017-06-28 2017-12-08 北京五八信息技术有限公司 一种ab测试系统及测试方法
CN107451062A (zh) * 2017-08-09 2017-12-08 百度在线网络技术(北京)有限公司 一种用户界面遍历测试方法、装置、服务器、存储介质
CN107451062B (zh) * 2017-08-09 2020-12-29 百度在线网络技术(北京)有限公司 一种用户界面遍历测试方法、装置、服务器、存储介质
CN107958081A (zh) * 2017-12-14 2018-04-24 泰康保险集团股份有限公司 信息处理方法与装置
CN107958081B (zh) * 2017-12-14 2021-11-30 泰康保险集团股份有限公司 信息处理方法与装置
CN108319554A (zh) * 2018-02-13 2018-07-24 广州市百果园信息技术有限公司 应用功能的测试方法、计算机可读存储介质和终端设备
CN108319554B (zh) * 2018-02-13 2022-08-09 广州市百果园信息技术有限公司 应用功能的测试方法、计算机可读存储介质和终端设备
CN108469979A (zh) * 2018-03-28 2018-08-31 深圳前海桔子信息技术有限公司 一种页面跳转方法、装置、服务器和存储介质
CN109726087A (zh) * 2018-04-13 2019-05-07 平安普惠企业管理有限公司 多网页方案测试方法、装置、设备及计算机可读存储介质
CN110620697A (zh) * 2018-06-19 2019-12-27 北京嘀嘀无限科技发展有限公司 一种基于流量控制的测试方法及系统
CN111104107A (zh) * 2018-10-26 2020-05-05 北京国双科技有限公司 一种用户界面生成方法、测试方法及装置
CN109710511B (zh) * 2018-12-04 2022-04-01 北京达佳互联信息技术有限公司 Ab测试方法、装置、服务器及存储介质
CN109710511A (zh) * 2018-12-04 2019-05-03 北京达佳互联信息技术有限公司 Ab测试方法、装置、服务器及存储介质
CN111443983B (zh) * 2019-01-16 2024-04-26 北京右划网络科技有限公司 应用程序的虚拟化方法、装置、电子设备及存储介质
CN111443983A (zh) * 2019-01-16 2020-07-24 北京右划网络科技有限公司 应用程序的虚拟化方法、装置、电子设备及存储介质
CN110046092A (zh) * 2019-03-12 2019-07-23 北京创鑫旅程网络技术有限公司 实验分流方法、装置、电子设备和计算机可读存储介质
CN110096396A (zh) * 2019-03-18 2019-08-06 北京奇艺世纪科技有限公司 分组测试的控制方法、分布式应用系统及存储介质
CN110096396B (zh) * 2019-03-18 2023-05-23 北京奇艺世纪科技有限公司 分组测试的控制方法、分布式应用系统及存储介质
CN110008131A (zh) * 2019-04-12 2019-07-12 重庆天蓬网络有限公司 一种基于算法实现的区域ab实验管理的方法及装置
CN110245069A (zh) * 2019-04-28 2019-09-17 阿里巴巴集团控股有限公司 页面版本的测试方法和装置、页面的展示方法和装置
CN110209579A (zh) * 2019-05-28 2019-09-06 Oppo广东移动通信有限公司 测试方法及电子装置
CN110209579B (zh) * 2019-05-28 2023-06-06 Oppo广东移动通信有限公司 测试方法及电子装置
CN110413512A (zh) * 2019-07-03 2019-11-05 深圳市珍爱捷云信息技术有限公司 Ab测试方法、装置、计算机设备和存储介质
CN110471843A (zh) * 2019-07-16 2019-11-19 北京三快在线科技有限公司 版本测试的方法、装置、存储介质及电子设备
CN110601922A (zh) * 2019-09-18 2019-12-20 北京三快在线科技有限公司 一种对照实验的实现方法、装置、电子设备和存储介质
CN112783548A (zh) * 2019-11-11 2021-05-11 阿里巴巴集团控股有限公司 网络系统的访问方法及装置
CN112783548B (zh) * 2019-11-11 2024-02-20 阿里巴巴集团控股有限公司 网络系统的访问方法及装置
CN111694628B (zh) * 2020-05-28 2024-02-09 匠为文化科技集团有限公司 基于应用程序的线程的页面展示方法及相关设备
CN111694628A (zh) * 2020-05-28 2020-09-22 平安普惠企业管理有限公司 基于应用程序的线程的页面展示方法及相关设备
CN111782542A (zh) * 2020-07-13 2020-10-16 豆盟(北京)科技股份有限公司 测试方法、装置、设备、系统和计算机存储介质
CN111782542B (zh) * 2020-07-13 2024-06-18 豆盟(北京)科技股份有限公司 测试方法、装置、设备、系统和计算机存储介质
CN113010441A (zh) * 2021-04-29 2021-06-22 成都新希望金融信息有限公司 模型发布方法、装置、电子设备及存储介质
CN113010441B (zh) * 2021-04-29 2024-05-07 成都新希望金融信息有限公司 模型发布方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN103577321B (zh) 2016-01-13

Similar Documents

Publication Publication Date Title
CN103577321B (zh) 一种网站页面的多版本并行测试方法和服务器
US9860247B2 (en) CAPTCHA systems and methods
KR102021062B1 (ko) 사용법에 기반하여 컴퓨터를 간접적으로 분류하는 시스템 및 방법
US10387530B2 (en) Obfuscating network page structure
US8930239B2 (en) Distributed content exchange and presentation system
US8478862B2 (en) Method and apparatus for internet traffic monitoring by third parties using monitoring implements
CA2645221C (en) Distributed content exchange and presentation system
US11159600B2 (en) Systems, methods, and media for correlating information corresponding to multiple related frames on a web page
AU2008200613A1 (en) Tracking web server
CN106101157A (zh) 在基于web的媒体中经由广告标记的内容联合
CN103646340A (zh) 视频前贴广告跨屏浏览方法及使用该方法的视频系统
US20140237043A1 (en) Dynamic stunt cards using user device displays
KR102131895B1 (ko) 복제된 웹툰 추적 방법 및 프로그램
AU2018201343A1 (en) Method and system for data transmitting and displaying
CN107229653B (zh) 伪静态网页生成方法和装置
CN110134410A (zh) 冷启动用户的个性化信息关联方法、装置及存储介质
CN106507149A (zh) 视频偏好信息处理方法、装置及系统
KR102141133B1 (ko) 인터렉티브 컨텐츠를 이용해서 애플리케이션을 스키닝하기 위한 시스템들 및 방법들
JP6623404B1 (ja) 変更登記申請支援システム、変更登記申請支援方法及び変更登記申請支援プログラム
US20110219077A1 (en) Direct linked two way forms
JP2017207937A (ja) 情報管理装置および情報管理方法
Leudar Integrating plant electrophysiology and sonic art
Yoon et al. The road to sustainability: Examining key drivers in open access diamond journal publishing
Kleb Toward Scientific Numerical Modeling
GB2534831A (en) Storing cookie mappings

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant