CN109308255A - 一种用于a/b测试实验的方法和装置 - Google Patents

Abstract

本发明公开了一种用于A/B测试实验的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：设置流量过滤规则和实验版本的流量分配比例；判断接收到的访问请求是否符合所述流量过滤规则；如果符合，则根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本。该实施方式能够通过设置的流量过滤规则和实验版本的流量分配比例，实现对实验版本的流量分配的控制，进而提升了A/B测试实验的结果数据的科学性。

Description

一种用于A/B测试实验的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种用于A/B测试实验的方法和装置。

背景技术

随着互联网的发展，越来越多人通过互联网技术浏览Web网站、APP等，所以相对于早期的互联网产品，现在对产品的体验要求也更高。产品的每次版本迭代都需要仔细的进行思考，一个Web页面如何布局，展示哪张图片效果会更好，甚至一个按钮的文案，颜色都是需要考虑到产品的设计中。为了评估产品不同的版本效果，避免人为主观因素干扰，需要对产品不同的版本进行对照测试实验，即所谓的A/B测试实验，以实际测试的效果数据来评估版本的好坏，从而决定产品正式上线的版本。不同的页面布局，页面同一区域展示的不同图片，同一按钮不同的文案等，这些都可以作为一个实验的不同的版本，进行A/B测试实验。

现有在互联网领域，进行A/B测试实验的方法，一般有以下两种：

1、随机访问，即当用户访问系统时，随机让用户访问其中一个版本，进而搜集不同版本的效果数据，对比版本效果；

2、系统线上发布多个版本，按照访问的地区不同，将访问请求解析到不同的系统版本，如北京地区访问解析到版本A，四川地区访问解析到版本B，从而使北京、四川的用户看到不同版本的内容，并搜集相关效果数据，进行版本对比。

上述两种方式不仅不能个性化设置版本流量分配比例，进而导致对数据统计结果错误分析，而且还要针对每个实验版本都拆分出一个应用，会大大增加维护成本。

发明内容

有鉴于此，本发明实施例提供一种用于A/B测试实验的方法和装置，能够通过设置流量过滤规则和实验版本的流量分配比例，实现对实验版本的流量分配的控制，进而提升了A/B测试实验的结果数据的科学性。

为实现上述目的，根据本发明实施例的一个方面，提供了一种用于A/B测试实验的方法。

本发明实施例的用于A/B测试实验的方法包括：设置流量过滤规则和实验版本的流量分配比例；判断接收到的访问请求是否符合所述流量过滤规则；如果符合，则根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本。

可选地，所述判断接收到的访问请求是否符合所述流量过滤规则包括：解析接收到的访问请求的参数；根据所述参数判断所述访问请求是否符合所述流量过滤规则。

可选地，所述流量过滤规则包括但不限于：随机分流规则、会员分流规则、地域分流规则。

可选地，本发明实施例的用于A/B测试实验的方法还包括：在根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之前，将实验版本的信息配置在同一个实验页面或服务应用中。

可选地，本发明实施例的用于A/B测试实验的方法还包括：将实验版本的信息配置在同一个实验页面之后，在根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之前，根据配置的信息生成JavaScript脚本；并且将所述JavaScript脚本引入到所述实验页面中。

可选地，本发明实施例的用于A/B测试实验的方法还包括：根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之后，将所述显示的实验版本返回至用户；使得，所述显示的实验版本返回至用户之后，JavaScript脚本控制CSS样式将所述显示的实验版本的内容得以显示。

可选地，本发明实施例的用于A/B测试实验的方法还包括：根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之后，将确定出的结果进行缓存；并且在根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之前，根据所述访问请求判断是否存在历史缓存结果；如果存在，则将所述历史缓存结果返回至用户；否则，根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本。

可选地，所述根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本包括：

通过以下公式计算出每个实验版本的分配概率：

(设置的实验版本的流量比例–已分配至所述实验版本的请求个数)/总的访问请求的个数；

将分配概率最高的实验版本确定为所述访问请求对应的显示的实验版本。

可选地，本发明实施例的用于A/B测试实验的方法还包括：在根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之前，设置A/B测试实验进行的时间；和/或，输入A/B测试实验的描述信息。

为实现上述目的，根据本发明实施例的另一个方面，提供了一种用于A/B测试实验的装置。

本发明实施例的用于A/B测试实验的装置包括：实验配置模块，用于设置流量过滤规则和实验版本的流量分配比例；流量过滤模块，用于判断接收到的访问请求是否符合所述流量过滤规则；分流计算模块，用于流量过滤模块判断出接收到的访问请求符合所述流量过滤规则后，根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本。

可选地，所述流量过滤模块包括：解析单元，用于解析接收到的访问请求的参数；判断单元，用于根据所述参数判断所述访问请求是否符合所述流量过滤规则。

可选地，所述流量过滤规则包括但不限于：随机分流规则、会员分流规则、地域分流规则。

可选地，所述实验配置模块还用于在分流计算模块根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之前，将实验版本的信息配置在同一个实验页面或服务应用中。

可选地，所述实验配置模块还用于在将实验版本的信息配置在同一个实验页面之后，在根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之前，根据配置的信息生成JavaScript脚本；以及，将所述JavaScript脚本引入到所述实验页面中。

可选地，本发明实施例的用于A/B测试实验的装置还包括：返回模块，用于在根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之后，将所述显示的实验版本返回至用户；使得所述显示的实验版本返回至用户之后，JavaScript脚本控制CSS样式将所述显示的实验版本的内容得以显示。

可选地，本发明实施例的用于A/B测试实验的装置还包括：缓存模块，用于在根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之后，将确定出的结果进行缓存；以及，在所述分流计算模块根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之前，根据所述访问请求判断是否存在历史缓存结果；

如果存在，则通过返回模块将所述历史缓存结果返回至用户；否则，所述分流计算模块根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本。

可选地，所述分流计算模块还用于：

通过以下公式计算出每个实验版本的分配概率：

(设置的实验版本的流量比例–已分配至所述实验版本的请求个数)/总的访问请求的个数；

将分配概率最高的实验版本确定为所述访问请求对应的显示的实验版本。

可选地，所述实验配置模块还用于在分流计算模块根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之前，设置A/B测试实验进行的时间；和/或，还用于输入A/B测试实验的描述信息。

为实现上述目的，根据本发明实施例的再一个方面，提供了一种用于A/B测试实验的终端。

本发明实施例的用于A/B测试实验的终端包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的用于A/B测试实验的方法。

为实现上述目的，根据本发明实施例的再一个方面，提供了一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述任一所述的用于A/B测试实验的方法。

上述发明中的一个实施例具有如下优点或有益效果：因为设置实验版本的流量分配比例，并且根据所述流量分配比例进行分流计算，确定出访问请求对应的显示的实验版本。进而可以完成实验版本的流量分配的控制，解决了现有技术中不能个性化的实现版本流量分配比例导致的对数据统计结果的错误分析，使得A/B测试实验的结论更具有科学性。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的用于A/B测试实验的方法的主要流程的示意图；

图2是根据本发明实施例的用于A/B测试实验的方法实现的系统的示意图；

图3是根据本发明实施例的用于A/B测试实验的装置的主要模块的示意图；

图4是本发明实施例可以应用于其中的示例性系统架构图；

图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的用于A/B测试实验的方法的主要流程的示意图。

如图1所示，本发明实施例的用于A/B测试实验主要包括：

步骤S101：设置流量过滤规则和实验版本的流量分配比例。其中，流量过滤规则包括但不限于：随机分流规则、会员分流规则、地域分流规则。对于流量过滤规则，可根据A/B测试实验的测试主体进行设置。例如，如果将A/B测试实验的测试主体限定为北京的用户，则将流量过滤规则设置为访问的用户的地址为北京(地域分流规则)。通过设置流量过滤规则，实现对测试主体的限定，并且面对该测试主体可以显示所有的测试版本，进而可以使得A/B测试实验的结果更加具有说服力。并且，可以根据业务需求，个性化设置实验版本的流量分配比例，使得A/B测试实验满足业务的需求。

以及，将实验版本的信息配置在同一个实验页面或服务应用中。

对于Web页面实验，将实验版本的信息配置在同一个实验页面之后，根据配置的信息生成JavaScript脚本，并且将JavaScript脚本引入到该实验页面中。其中，该配置的信息包括：配置的所有实验版本的信息、设置的流量过滤规则以及实验版本的流量分配比例的信息等A/B测试实验相关的信息。当访问实验页面时，加载JavaScript脚本，获取当前访问请求应该显示的实验版本，然后通过JavaScript脚本控制CSS样式的方式来完成实验版本内容的显示(展示或隐藏或跳转)。

对于服务端实验，将实验版本的信息配置在同一个服务应用中之后，用户在接收到显示的实验版本的信息之后，用户根据自身的业务逻辑，进行不同版本的业务流程的处理，所以对于服务端实验来说，不需要去考虑版本内容控制，该逻辑交由应用处理。

步骤S102：判断接收到的访问请求是否符合流量过滤规则。该过程具体包括：解析接收到的访问请求的参数，根据该参数判断访问请求是否符合所述流量过滤规则。通过该过程可以对相关流量进行过滤，其中如果流量过滤规则为随即分流规则，即对所有的访问的用户进行A/B测试实验，则默认该判断的结果为所有访问的用户都符合流量过滤规则。但是，随即分流规则为流量过滤规则的一种情况，同样包含在本发明的保护范围之内。

流量过滤规则包括随机分流规则、会员分流规则、地域分流规则等，流量过滤规则可以是多个条件，例如：对金牌会员的用户进行A/B测试实验，即按照会员分流规则进行过滤；对北京地区的用户进行A/B测试实验，即按地域分流规则进行过滤，可根据请求的IP地址是否归属于北京地区进行判断；对北京地区的会员进行A/B测试实验，即按照会员分流规则和地域分流规则的组合规则进行过滤。其中，按照会员进行过滤，一般是按照用户的等级判断，这个依赖于各系统自己的会员体系。按照地域进行过滤，可以按照请求的IP地址归属地进行判断。

步骤S103：如果符合流量过滤规则，则根据流量分配比例，确定出访问请求对应的显示的实验版本。其中，通过以下公式计算出每个实验版本的分配概率：

(设置的实验版本的流量比例–已分配至所述实验版本的请求个数)/总的访问请求的个数；

将分配概率最高的实验版本确定为访问请求对应的显示的实验版本。如果出现两个或两个以上的实验版本的分配概率相等的情况，可随机将分配概率相等的实验版本中的一个确定为访问请求对应的显示的实验版本。

根据流量分配比例，确定出访问请求对应的显示的实验版本之后，将确定出的结果进行缓存。并且，在根据流量分配比例，确定出访问请求对应的显示的实验版本之前，先根据访问请求判断是否存在历史缓存结果。如果存在，则不再一次根据流量分配比例确定访问请求对应的显示的实验版本，而是直接将历史缓存结果返回至用户；否则，根据流量分配比例，确定出访问请求对应的显示的实验版本。进而，可以保证用户每次访问的版本是一致的。

在根据流量分配比例，确定出访问请求对应的显示的实验版本之前，设置A/B测试实验进行的时间，即选择实验开始时间和实验结束时间，这两个时间是控制A/B测试实验进行的时间范围。因为A/B测试实验真正开始的时间并非是实验完成创建的时间，比如想实验明天开始，则可提前将实验进行的时间设置好，不需要等到明天才进行设置。并且，在根据流量分配比例，确定出访问请求对应的显示的实验版本之前，还可输入A/B测试实验的描述信息。其中，该描述信息为A/B测试实验的信息属性，以方便用户进行后续查看回溯。

图2是根据本发明实施例的用于A/B测试实验的方法实现的系统的示意图。

如图2所示，本发明实施例的用于A/B测试实验的方法通过A/B实验创建平台创建实验，以及通过A/B服务平台进行流量过滤和分流计算。

其中，本发明实施例中A/B实验创建平台创建实验的过程包括：进入A/B实验创建平台，输入实验描述信息；选择实验开始时间和实验结束时间，这两个时间是控制A/B测试实验进行的时间范围；设置流量过滤规则；配置实验版本的信息，并且将实验版本的信息配置在同一个实验页面或服务应用中；配置每个实验版本的流量分配比例，同时保证同一个实验的所有实验版本的流量分配比例相加为100％。对于Web页面实验，完成上述创建的过程后，A/B实验创建平台根据设置的相关信息生成JavaScript脚本，并且要将JavaScript脚本引入到实验页面中。即A/B测试实验开始前，JavaScript脚本已经部署到实验页面内了。

本发明实施例中A/B服务平台进行流量过滤的过程包括：A/B服务平台接收到用户的访问请求时，根据设置的流量过滤规则解析访问请求中相关参数，以解析出进行判断是否符合流量过滤规则时所需的参数，比如请求IP、请求的用户标识(用户名)等；判断是否符合流量过滤规则；如果符合，则对该访问请求进行分流计算；如果不符合，则显示实验默认版本的内容。默认版本是为了在不符合流量过滤规则或分流异常的时候对页面有个默认的展示，以防止出现空白。例如：一个坑位，可以显示两张图片A和B，按照A/B测试实验的定义，一部分流量会显示图片A，一部分流量会显示图片B，当不符合流量过滤规则的时候，不能给用户展示空白，则会选择一张默认图片进行展示，进而保证用户体验。

本发明实施例中A/B服务平台进行分流计算的过程包括：

步骤1：根据流量过滤规则，获取访问请求的标识。例如，按用户分流，则获取访问请求中的用户标识；按地域分流，则获取访问请求的地域标识。获取到标识之后，将该标识放入Cookie(储存在用户本地终端上)。当访问请求不存在该标识时，则新生成UUID(Universally Unique Identifier通用唯一识别码)放入Cookie中，以唯一确定访问请求。如果存在该标识，则不进行上述新生成UUID的操作，目的是为了保证同一台客户端机器的标识在一段时间内保持一致。例如，按用户分流时，标识应该就是用户相关标识，比如用户账号等，这时就应该是从缓存中获取该请求用户在对应实验的分流结果；当随机分流或是地域分流时，标识就应该是本次请求标识，一般跟请求的浏览器客户端相关，这时就应该是从缓存中获取该请求客户端在对应实验的分流结果。

步骤2：根据要进行的A/B测试实验和访问请求的标识，首先从缓存中获取该客户端在对应实验中的分流结果。如果缓存中有结果，则代表该客户端已经进行过分流计算处理，直接返回缓存的版本的结果；如果不存在，则进入步骤3，进行分流计算处理。

步骤3：对每个实验版本的分配概率进行计算，得出最高分配概率的实验版本，则将访问请求分配至该实验版本，并且将该结果设置到缓存中。实验版本的分配概率的计算公式是：(设置的实验版本的流量比例–已分配至该实验版本的请求个数)/总的访问请求的个数。其中，已分配至该实验版本的请求个数大于等于1。

例如，实验版本A和实验版本B的流量分配比例分别为30％、70％，当接收到第一个访问请求时，实验版本A的分配概率为：(30％-0)/1＝0.3；实验版本B的分配概率为：(70％-0)/1＝0.7。此时，第一个访问请求对应的显示的实验版本为实验版本B。当接收到第二个访问请求时，实验版本A的分配概率为：(30％-0)/2＝0.15；实验版本B的分配概率为：(70％-1)/2＝-0.15。此时，第二个访问请求对应的显示的实验版本为实验版本A。当接收到第三个访问请求时，实验版本A的分配概率为：(30％-1)/3＝-0.23；实验版本B的分配概率为：(70％-1)/3＝-0.1。此时，第三个访问请求对应的显示的实验版本为实验版本B。当继续接收到访问请求时，以此类推。其中，上述分配概率计算的过程，是在接收到的第一个访问请求、第二个访问请求和第三个访问请求符合设置的流量过滤规则的前提下进行的。

图2所示的第三方应用控制版本显示的过程，是在进行A/B测试实验时，用户接收到确定出的显示的版本后，对实验版本的内容进行显示。但是，第三方应用控制版本显示的过程只应用于Web页面实验，通过CSS(Cascading Style Sheets层叠样式表)样式控制和JavaScript技术，控制实验版本内容的显示或隐藏或跳转。对于服务端实验，用户根据自己的业务逻辑，对不同实验版本进行相对应的业务处理。这里不一定是内容显示，应用最多的是算法逻辑类。

对于Web页面实验，通过控制实验版本内容的显示或隐藏或跳转等，实现看到不同版本的内容。其中Web页面实验又可以细分为模块替换，模块注入，整页跳转实验，以下是它们应用的场景描述：

A、模块替换：同一个页面内同一个模块位置内容调整测试，可以是按钮样式，文字描述、图片、布局结构等；

B、模块注入：同一个页面内，指定位置上新增一个内容模块测试，如广告位、icon图标、文字链等；

C、整页面跳转：整页改版时使用，整页改版产生不同链接的页面，需要在不改变用户入口情况下，测试各个页面效果的情况。

以及，图2所示的引入分流脚本是指获取A/B实验创建平台提供的JavaScript脚本。其中，JavaScript脚本已经部署在实验页面中。在通过流量过滤和分流计算的确定出显示的实验版本后，将该确定的结果返回至第三方应用，即图2所示的获取分流结果的过程。

本发明实施例的用于A/B测试实验的方法对于服务端实验和Web页面实验，逻辑是不一样的。对于服务端实验：服务应用通过A/B服务平台提供的接口获取到分流计算出的版本结果，然后应用本身根据业务逻辑，进行不同版本的业务流程处理，所以对于服务端实验来说，A/B服务平台是不需要去考虑版本内容控制，该逻辑交由应用处理。对于Web页面实验：实验页面会引入A/B服务平台提供的JavaScript脚本，同时实验页面会包含不同的实验版本所对应的HTML结构，默认会展示其中一个版本HTML内容，其它版本内容会进行隐藏；当访问页面时，加载A/B服务平台提供的JavaScript脚本，并向服务平台A/B平台发送访问请求，获取访问请求对应的显示的实验版本，然后通过控制CSS样式的方式来完成实验版本内容的显示或隐藏或跳转。

本发明实施例的用于A/B测试实验的方法，可根据业务需求个性化设置实验版本的流量分配比例，并通过流量过滤规则进行相关流量的过滤。同时，现有技术中，针对每个实验版本，都要拆分出一个应用，然后每个应用面向某一个地区进行测试。而在发明实施例中，是将所有实验版本放在一个应用(页面)中，并且所有的实验版本都可面向一个地区进行测试。所以，本发明实施例不仅使得A/B测试实验的结果更具有科学性，而且避免系统部署多个版本进行A/B测试实验，降低了系统的维护成本。

图3是根据本发明实施例的用于A/B测试实验的装置的主要模块的示意图。

如图3所示，本发明实施例的用于A/B测试实验的装置300主要包括：实验配置模块301、流量过滤模块302和分流技术模块303。

实验配置模块301，用于实验配置模块，用于设置流量过滤规则和实验版本的流量分配比例；

流量过滤模块302，用于判断接收到的访问请求是否符合流量过滤规则；

分流计算模块303，用于流量过滤模块判断出接收到的访问请求符合流量过滤规则后，根据流量分配比例，确定出访问请求对应的显示的实验版本。

实验配置模块301还用于在分流计算模块根据流量分配比例，确定出访问请求对应的显示的实验版本之前，将实验版本的信息配置在同一个实验页面或服务应用中。以及在实验版本的信息配置在同一个实验页面之后，在根据流量分配比例，确定出访问请求对应的显示的实验版本之前，根据配置的信息生成JavaScript脚本；以及，将JavaScript脚本引入到实验页面中。其中，该配置的信息包括：配置的所有实验版本的信息、设置的流量过滤规则以及实验版本的流量分配比例的信息等A/B测试实验相关的信息。实验配置模块还用于在分流计算模块根据流量分配比例，确定出访问请求对应的显示的实验版本之前，设置A/B测试实验进行的时间，以及输入A/B测试实验的描述信息。

其中，流量过滤模块302包括解析单元和判断单元，解析单元用于解析接收到的访问请求的参数；判断单元用于根据参数判断访问请求是否符合流量过滤规则。流量过滤规则包括但不限于：随机分流规则、会员分流规则、地域分流规则。

本发明实施例的用于A/B测试实验的装置还包括缓存模块，在分流计算模块根据流量分配比例，确定出访问请求对应的显示的实验版本之前，根据访问请求判断是否存在历史缓存结果。如果存在，则通过返回模块将历史缓存结果返回至用户；否则，分流计算模块根据流量分配比例，确定出访问请求对应的显示的实验版本。以及，根据流量分配比例，确定出访问请求对应的显示的实验版本之后，缓存模块将确定出的结果进行缓存。

分流计算模块通过以下公式计算出每个实验版本的分配概率：

(设置的实验版本的流量比例–已分配至实验版本的请求个数)/总的访问请求的个数；

以及，将分配概率最高的实验版本确定为访问请求对应的显示的实验版本。

本发明实施例的用于A/B测试实验的装置还包括返回模块，用于在根据流量分配比例，确定出访问请求对应的显示的实验版本之后，将显示的实验版本返回至用户；使得显示的实验版本返回至用户之后，JavaScript脚本控制CSS样式将显示的实验版本的内容得以显示。脚本的逻辑是通过JavaScript控制CSS样式，具体为通过对Html中的Dom元素设置style标签，当style标签中设置为display:block时，即显示该Dom元素，当style标签中设置为display:none时，即隐藏该Dom元素，从而完成版本的显示和隐藏。例如：

<div id＝"version_1"style＝"display:block；">

版本1

</div>

<div id＝"version_2"style＝"display:none；">

版本2

</div>

本发明实施例的用于A/B测试实验的装置通过实验配置模块创建A/B实验，为实验设置不同实验版本，以及配置实验版本的流量分配比例等完成A/B测试实验的配置；然后通过选择流量过滤规则以及分流计算，控制实验版本的显示来完成A/B实验测试。因此，本发明实施例的用于A/B测试实验的装置可通过实验配置模块或者A/B服务平台按照统一的逻辑进行实验版本的分流，减少了应用不同版本的部署和应用摆脱对分流逻辑的实现，解决了现有技术中通过多版本部署以及应用自己实现分流算法来进行A/B测试实验的问题。而且，将A/B实验测试划分为Web页面实验和服务端实验。Web页面实验的不同版本发生在Web页面上，通过控制实验版本内容的显示或隐藏或跳转等，实现看到不同版本的内容。其中，Web页面实验又可以细分为模块替换，模块注入，整页跳转实验。服务端实验是通过业务代码后台逻辑，实现方法测试、算法测试或数据测试等场景，比如页面结构无变化，但是内部数据的排序规则有不同，想对不同的排序规则进行A/B测试实验，然后对比测试效果。

图4示出了可以应用本发明实施例的用于A/B测试实验的方法或用于A/B测试实验的装置的示例性系统架构400。

如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果反馈给终端设备。

需要说明的是，本发明实施例所提供的用于A/B测试实验的方法一般由服务器405执行，相应地，用于A/B测试实验的装置一般设置于服务器405中。

应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图5，其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括实验配置模块、流量过滤模块和分流计算模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，实验配置模块还可以被描述为“设置流量过滤规则和实验版本的流量分配比例的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：

设置流量过滤规则和实验版本的流量分配比例；

判断接收到的访问请求是否符合所述流量过滤规则；

如果符合，则根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本。

根据本发明实施例的技术方案，因为设置实验版本的流量分配比例，并且根据所述流量分配比例进行分流计算，确定出访问请求对应的显示的实验版本。进而可以完成实验版本的流量分配的控制，解决了现有技术中不能个性化的实现版本流量分配比例导致的对数据统计结果的错误分析，使得A/B测试实验的结论更具有科学性。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (20)

1.一种用于A/B测试实验的方法，其特征在于，包括：

设置流量过滤规则和实验版本的流量分配比例；

判断接收到的访问请求是否符合所述流量过滤规则；

如果符合，则根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本。

2.根据权利要求1所述的方法，其特征在于，所述判断接收到的访问请求是否符合所述流量过滤规则包括：

解析接收到的访问请求的参数；

根据所述参数判断所述访问请求是否符合所述流量过滤规则。

3.根据权利要求1或2所述的方法，其特征在于，所述流量过滤规则包括但不限于：随机分流规则、会员分流规则、地域分流规则。

4.根据权利要求1所述的方法，其特征在于，还包括：

在根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之前，将实验版本的信息配置在同一个实验页面或服务应用中。

5.根据权利要求4所述的方法，其特征在于，还包括：

将实验版本的信息配置在同一个实验页面之后，在根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之前，根据配置的信息生成JavaScript脚本；并且

将所述JavaScript脚本引入到所述实验页面中。

6.根据权利要求5所述的方法，其特征在于，还包括：

根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之后，将所述显示的实验版本返回至用户；使得，

所述显示的实验版本返回至用户之后，JavaScript脚本控制CSS样式将所述显示的实验版本的内容得以显示。

7.根据权利要求1所述的方法，其特征在于，还包括：

根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之后，将确定出的结果进行缓存；并且

在根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之前，根据所述访问请求判断是否存在历史缓存结果；

如果存在，则将所述历史缓存结果返回至用户；否则，根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本。

8.根据权利要求1所述的方法，其特征在于，所述根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本包括：

通过以下公式计算出每个实验版本的分配概率：

(设置的实验版本的流量比例–已分配至所述实验版本的请求个数)/总的访问请求的个数；

将分配概率最高的实验版本确定为所述访问请求对应的显示的实验版本。

9.根据权利要求1所述的方法，其特征在于，还包括：

在根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之前，设置A/B测试实验进行的时间；和/或，

输入A/B测试实验的描述信息。

10.一种用于A/B测试实验的装置，其特征在于，包括：

实验配置模块，用于设置流量过滤规则和实验版本的流量分配比例；

流量过滤模块，用于判断接收到的访问请求是否符合所述流量过滤规则；

分流计算模块，用于流量过滤模块判断出接收到的访问请求符合所述流量过滤规则后，根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本。

11.根据权利要求10所述的装置，其特征在于，所述流量过滤模块包括：

解析单元，用于解析接收到的访问请求的参数；

判断单元，用于根据所述参数判断所述访问请求是否符合所述流量过滤规则。

12.根据权利要求10或11所述的装置，其特征在于，所述流量过滤规则包括但不限于：随机分流规则、会员分流规则、地域分流规则。

13.根据权利要求10所述的装置，其特征在于，所述实验配置模块还用于在分流计算模块根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之前，将实验版本的信息配置在同一个实验页面或服务应用中。

14.根据权利要求13所述的装置，其特征在于，所述实验配置模块还用于在将实验版本的信息配置在同一个实验页面之后，在根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之前，根据配置的信息生成JavaScript脚本；以及，将所述JavaScript脚本引入到所述实验页面中。

15.根据权利要求14所述的装置，其特征在于，还包括：

返回模块，用于在根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之后，将所述显示的实验版本返回至用户；使得所述显示的实验版本返回至用户之后，JavaScript脚本控制CSS样式将所述显示的实验版本的内容得以显示。

16.根据权利要求10所述的装置，其特征在于，还包括：

缓存模块，用于在根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之后，将确定出的结果进行缓存；以及，在所述分流计算模块根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之前，根据所述访问请求判断是否存在历史缓存结果；

如果存在，则通过返回模块将所述历史缓存结果返回至用户；否则，所述分流计算模块根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本。

17.根据权利要求10所述的装置，其特征在于，所述分流计算模块还用于：

通过以下公式计算出每个实验版本的分配概率：

(设置的实验版本的流量比例–已分配至所述实验版本的请求个数)/总的访问请求的个数；

将分配概率最高的实验版本确定为所述访问请求对应的显示的实验版本。

18.根据权利要求10所述的装置，其特征在于，所述实验配置模块还用于在分流计算模块根据所述流量分配比例，确定出所述访问请求对应的显示的实验版本之前，设置A/B测试实验进行的时间；和/或，还用于输入A/B测试实验的描述信息。

19.一种用于A/B测试实验的终端，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。

20.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。