CN110601922A - 一种对照实验的实现方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种对照实验的实现方法、装置、电子设备和存储介质。该方法包括：根据对照实验的配置信息，对用户进行分组；建立各所述分组与服务器端口的映射关系，其中，各所述服务器端口分别对应所述对照实验的一个对照组；在接收到各用户的流量后，根据各用户所属的分组确定各流量的目标服务器，将各流量转发至相应的目标服务器中，以根据各目标服务器上配置的实验策略完成对照实验。通过上述步骤，当新对照组上线时，不需要更新或者关闭旧的对照组，只要根据配置信息调整流量分配，通过流量路由将流量分配到新的对照组；如果需要回滚新的对照组，只要在配置信息中关闭该对照组的流量；从而支持多个版本的服务端同时存在，减少上线操作对对照实验的影响。

Description

一种对照实验的实现方法、装置、电子设备和存储介质

技术领域

本申请涉及灰度实验领域，具体涉及一种对照实验的实现方法、装置、电子设备和存储介质。

背景技术

分组对照实验(ABTest)就是为同一个产品目标制定两个方案(比如两个页面一个用红色的按钮、另一个用蓝色的按钮)，让一部分用户使用A方案，另一部分用户使用B方案，然后通过日志记录用户的使用情况，并通过结构化的日志数据分析相关指标，如点击率、转化率等，从而得出那个方案更符合预期设计目标，并最终将全部流量切换至符合目标的方案。

现有的ABTest一般先利用服务端的ABTest SDK对实验用户(用户ID、设备号)分组，然后在服务端提前写好每个分组对应的策略代码，从而完成ABTest。然而现有的ABTest要求各个服务端的策略代码一致，如果有新的策略需要上线，需暂停ABTest，等所有服务端的策略代码都更新后，才能继续分组对照实验。假如新上线代码出现问题，需要回滚服务端的代码，也会导致ABTest暂停。

申请内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的一种对照实验的实现方法、装置、电子设备和存储介质。

依据本申请的一个方面，提供了一种对照实验的实现方法，所述方法包括：

根据对照实验的配置信息，对用户进行分组；

建立各所述分组与服务器端口的映射关系，其中，各所述服务器端口分别对应所述对照实验的一个对照组；

在接收到各用户的流量后，根据各用户所属的分组确定各流量的目标服务器，将各流量转发至相应的目标服务器中，以根据各目标服务器上配置的实验策略完成对照实验。

可选的，所述根据对照实验的配置信息，对用户进行分组包括：

利用对照实验的配置信息确定一致性哈希算法，根据确定的一致性哈希算法对所述用户进行分组。

可选的，所述对照实验的配置信息包括：所述对照实验的各个对照组所采用的流量比例；

所述利用对照实验的配置信息确定一致性哈希算法包括：

根据所述流量比例确定一致性哈希算法。

可选的，所述根据确定的一致性哈希算法对所述用户进行分组包括：

利用一致性哈希算法和各用户标识计算出相应用户的分组标识，将分组标识相同的用户划分到同一分组；

所述建立各所述分组与服务器的映射关系包括：建立各分组标识与服务器各端口的映射关系。

可选的，所述在接收到各用户的流量后，根据各用户所属的分组确定各流量的目标服务器，将各流量转发至相应的目标服务器中包括：

根据接收到的用户的流量中包含的分组标识，从所述映射关系中查找出匹配的服务器的端口，然后将接收到的用户的流量转发到匹配的服务器的端口。

可选的，所述方法还包括：

提供配置页面，通过所述配置页面接收对照实验的配置信息；

和/或，

提供实验结果展示页面，通过所述实验结果展示页面展示对照实验的实验结果。

可选的，各所述对照组的属性包括如下的一项或几项：对照组名称、对照组标识、流量占比、类型、白名单、用户数量、描述、创建时间。

依据本申请的另一方面，提供了一种对照实验的实现装置，所述装置包括：

分组单元，适于根据对照实验的配置信息，对用户进行分组；

映射单元，适于建立各所述分组与服务器端口的映射关系，其中，各所述服务器端口分别对应所述对照实验的一个对照组；

路由单元，适于在接收到各用户的流量后，根据各用户所属的分组确定各流量的目标服务器，将各流量转发至相应的目标服务器中，以根据各目标服务器上配置的实验策略完成对照实验。

依据本申请的又一方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。

依据本申请的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的方法。

由上述可知，本申请的技术方案，根据对照实验的配置信息，对用户进行分组；建立各所述分组与服务器端口的映射关系，其中，各所述服务器端口分别对应所述对照实验的一个对照组；在接收到各用户的流量后，根据各用户所属的分组确定各流量的目标服务器，将各流量转发至相应的目标服务器中，以根据各目标服务器上配置的实验策略完成对照实验。通过上述步骤，当新对照组上线时，不需要更新或者关闭旧的对照组，只要根据配置信息调整流量分配，通过流量路由将流量分配到新的对照组；如果需要回滚新的对照组，只要在配置信息中关闭该对照组的流量；从而支持多个版本的服务端同时存在，减少上线操作对对照实验的影响。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本申请一个实施例的一种对照实验的实现方法的流程示意图；

图2示出了根据本申请一个实施例的一种对照实验的实现装置的结构示意图；

图3示出了根据本申请一个实施例的电子设备的结构示意图；

图4示出了根据本申请一个实施例的计算机可读存储介质的结构示意图；

图5示出了根据本申请一个实施例的一种对照实验的实现的实施流程图；

图6示出了根据本申请一个实施例的对照组/策略桶管理界面示例图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

图1示出了根据本申请一个实施例的一种对照实验的实现方法的流程示意图，该方法包括了对用户的流量进行分组，建立各分组与服务器端口的映射关系，并且根据该映射关系将流量各分组转发分配到相应的服务器端口上的步骤。具体地，所述方法包括：

步骤S110，根据对照实验的配置信息，对用户进行分组。

结合图5，该步骤是通过ABTest配置中心的Portal分组模块根据其中的配置信息实现对用户ID的分组，该配置中心的分组算法可以是哈希算法或其他算法，其中，配置信息可以根据对照实验的管理人员输入确定，也可以根据系统的随机算法确定，该配置信息至少包括设立新的策略桶或者是新的对照组，这里对照组和策略桶可以被认为是等同的概念。

步骤S120，建立各所述分组与服务器端口的映射关系，其中，各所述服务器端口分别对应所述对照实验的一个对照组。

该实施例还在分组对照实验中加入了流量路由(route)的模块，需要首先建立各所述用户流量分组与服务器端口的映射关系，在本申请中，为了实现服务器中各对照组和流量分配的解耦，特设置所述对照实验的一个对照组分别对应一个所述服务器端口，即服务器上的每一个对照组/策略桶分别对应一个该服务器上的一个端口号，且各端口号均不同，这样，各个服务器上的设置的对照组可以是相同的，也可以是不同的，从而实现不同版本的对照组并存，但是并不影响流量的分配，因为流量分配是有配置中心在建立上述映射关系之后再将流量转发过来的。

步骤S130，在接收到各用户的流量后，根据各用户所属的分组确定各流量的目标服务器，将各流量转发至相应的目标服务器中，以根据各目标服务器上配置的实验策略完成对照实验。

由此可见，该实施例公开的技术方案，解耦了分组对照实验中的流量分配与服务端对照组/策略桶的布置，让服务端的对照组或策略的开发更加简洁纯净，对照实验的流量分配也更为灵活，并能支持不中断分组对照实验的服务端策略灰度发布与回滚。这样，服务端的策略代码发布时不会影响正在进行的分组对照实验；可以灰度发布新的策略代码，出现异常可以平滑降级与回滚。

在一个实施例中，所述步骤S110，根据对照实验的配置信息，对用户进行分组包括：利用对照实验的配置信息确定一致性哈希算法，根据确定的一致性哈希算法对所述用户进行分组。

实验用户流量分组可以根据不同的终端采用不同的用户标识id来hash分流，如web端采用cookieId，app端采用设备Id，小程序端采用openId作为唯一分流标识符。分组原则上需要保证均匀性和一致性。均匀性是指流量唯一标识符在进行上述取模计算后均匀地落在每个区间。例如，将全站流量分成100份，那么uid％100的值为0～99，必须做到每个值分配的流量几乎相同。一致性是指某个流量唯一标识符取模的值是一定的，如某个流量的唯一标识符uid经过算法模块取模后的值为1，那么下次再经过算法取模的值还是1。上述划分流量中，采用的一致性hash算法就是为了确保上述两个特性。

在一个实施例中，对照实验的配置信息包括：对照实验的各个对照组所采用的流量比例；利用对照实验的配置信息确定一致性哈希算法包括：根据流量比例确定一致性哈希算法。

当配置中心根据实验管理人员的输入等确定各对照组/策略桶的流量比例，配置中心将会主动更新Portal中的一致性哈希算法的配置。因此，利用对照实验的配置信息确定一致性哈希算法的过程，也可以是根据流量比例确定一致性哈希算法的过程。

在一个实施例中，所述根据确定的一致性哈希算法对所述用户进行分组包括：利用一致性哈希算法和各用户标识计算出相应用户的分组标识，将分组标识相同的用户划分到同一分组；所述建立各所述分组与服务器的映射关系包括：建立各分组标识与服务器各端口的映射关系。

一致性哈希算法根据用户标识uid算出一个分组标识sid，之后该用户的请求将会持有该sid，这样，分组标识相同的用户即是划分到同一分组的用户；然后，建立各分组标识与各服务器的各端口的映射关系，从而便于将同一分组的用户分配到与其分组标识对应的端口上。

在一个实施例中，所述步骤S130，在接收到各用户的流量后，根据各用户所属的分组确定各流量的目标服务器，将各流量转发至相应的目标服务器中包括：根据接收到的用户的流量中包含的分组标识，从所述映射关系中查找出匹配的服务器的端口，然后将接收到的用户的流量转发到匹配的服务器的端口，最终根据用户设备信息、用户信息进行AB分流。

在一个实施例中，所述方法还包括：提供配置页面，通过所述配置页面接收对照实验的配置信息；和/或，提供实验结果展示页面，通过所述实验结果展示页面展示对照实验的实验结果。

ABTest除了分流管理功能之外，还包括要实现配置管理功能，用于管理每个AB需求，可以通过配置页面实现，图6示出了对策略桶进行管理配置的页面示例图。ABTest另一个功能是实时效果分析统计，将分流后程序点击、浏览、gmv转化通过hive、hadoop程序统计后，在统计平台上进行展示，具体地，可以通过结果展示页面进行展示。

在一个实施例中，各所述对照组的属性包括如下的一项或几项：对照组名称、对照组标识、流量占比、类型、白名单、用户数量、描述、创建时间。

在该实施例中对各对照组/策略桶的属性进行了举例，在具体实验中，需要为每一个AB测试生成唯一id，围绕id生成测试对象，测试对象包含各种对照组，每一组对照组包含对照组名称、对照组标识、流量占比、类型、白名单、用户数量、描述、创建时间。其中对照组的类型可以是新的对照组或旧的对照组；白名单用户会直接分配到配置分流，而不根据算法计算分配到某个分支，白名单既能对分支算法进行测试，避免找多个用户看用户是否在需要测试算法分支，当产品、运营需要看当前新算法推出文章、商品到底是什么情况也可通过白名单方便实现。

图2示出了根据本申请一个实施例的一种对照实验的实现装置的结构示意图；所述装置200包括：

分组单元210，适于根据对照实验的配置信息，对用户进行分组.

结合图5，分组单元210是通过ABTest配置中心的Portal分组模块实现，该单元根据其中的配置信息实现对用户ID的分组。其中，该配置中心的分组算法可以是哈希算法或其他算法，其中，配置信息可以根据对照实验的管理人员输入确定，也可以根据系统的随机算法确定，该配置信息至少包括设立新的策略桶或者是新的对照组，这里对照组和策略桶可以被认为是等同的概念。

映射单元220，适于建立各所述分组与服务器端口的映射关系，其中，各所述服务器端口分别对应所述对照实验的一个对照组。

该映射单元可通过流量路由(route)模块实现，用于建立各所述用户流量分组与服务器端口的映射关系。

在本申请中，为了实现服务器中各对照组和流量分配的解耦，特设置所述对照实验的一个对照组分别对应一个所述服务器端口，即服务器上的每一个对照组/策略桶分别对应一个该服务器上的一个端口号，且各端口号均不同，这样，各个服务器上的设置的对照组可以是相同的，也可以是不同的，从而实现不同版本的对照组并存，但是并不影响流量的分配，因为流量分配是有配置中心在建立上述映射关系之后再将流量转发过来的。

路由单元230，适于在接收到各用户的流量后，根据各用户所属的分组确定各流量的目标服务器，将各流量转发至相应的目标服务器中，以根据各目标服务器上配置的实验策略完成对照实验。

由此可见，该实施例公开的技术方案，解耦了分组对照实验中的流量分配与服务端对照组/策略桶的布置，让服务端的对照组或策略的开发更加简洁纯净，对照实验的流量分配也更为灵活，并能支持不中断分组对照实验的服务端策略灰度发布与回滚。这样，服务端的策略代码发布时不会影响正在进行的分组对照实验；可以灰度发布新的策略代码，出现异常可以平滑降级与回滚。

在一个实施例中，所述分组单元210适于：利用对照实验的配置信息确定一致性哈希算法，根据确定的一致性哈希算法对所述用户进行分组。

在一个实施例中，对照实验的配置信息包括：对照实验的各个对照组所采用的流量比例；利用对照实验的配置信息确定一致性哈希算法包括：根据流量比例确定一致性哈希算法。

在一个实施例中，所述根据确定的一致性哈希算法对所述用户进行分组包括：利用一致性哈希算法和各用户标识计算出相应用户的分组标识，将分组标识相同的用户划分到同一分组；所述建立各所述分组与服务器的映射关系包括：建立各分组标识与服务器各端口的映射关系。

在一个实施例中，所述路由单元230适于：根据接收到的用户的流量中包含的分组标识，从所述映射关系中查找出匹配的服务器的端口，然后将接收到的用户的流量转发到匹配的服务器的端口，最终根据用户设备信息、用户信息进行AB分流。

在一个实施例中，所述方法还包括配置单元，适于提供配置页面，通过所述配置页面接收对照实验的配置信息；和/或

结果展示单元，适于提供实验结果展示页面，通过所述实验结果展示页面展示对照实验的实验结果。

在一个实施例中，各所述对照组的属性包括如下的一项或几项：对照组名称、对照组标识、流量占比、类型、白名单、用户数量、描述、创建时间。

综上所述，本申请的技术方案，根据对照实验的配置信息，对用户进行分组；建立各所述分组与服务器端口的映射关系，其中，各所述服务器端口分别对应所述对照实验的一个对照组；在接收到各用户的流量后，根据各用户所属的分组确定各流量的目标服务器，将各流量转发至相应的目标服务器中，以根据各目标服务器上配置的实验策略完成对照实验。通过上述步骤，在服务器端无需考虑其他的流程，只需要在该服务器上布置相应对照组；当新对照组上线时，也不需要更新或者关闭旧的对照组，只需要根据配置信息调整流量分配，通过流量路由将流量分配到新的对照组。如果需要回滚新的对照组，只要在配置信息中关闭该对照组的流量。这样可以支持多个版本的服务端同时存在，减少上线操作对分组对照实验的影响。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个申请方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，申请方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的一种对照实验的实现装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图3示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备300包括处理器310和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码331的存储空间330。例如，用于存储计算机可读程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码331。计算机可读程序代码331可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质。图4示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质400存储有用于执行根据本申请的方法步骤的计算机可读程序代码331，可以被电子设备300的处理器310读取，当计算机可读程序代码331由电子设备300运行时，导致该电子设备300执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码331可以执行上述任一实施例中示出的方法。计算机可读程序代码331可以以适当形式进行压缩。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种对照实验的实现方法，其特征在于，所述方法包括：

根据对照实验的配置信息，对用户进行分组；

建立各所述分组与服务器端口的映射关系，其中，各所述服务器端口分别对应所述对照实验的一个对照组；

在接收到各用户的流量后，根据各用户所属的分组确定各流量的目标服务器，将各流量转发至相应的目标服务器中，以根据各目标服务器上配置的实验策略完成对照实验。

2.如权利要求1所述的方法，其特征在于，所述根据对照实验的配置信息，对用户进行分组包括：

利用对照实验的配置信息确定一致性哈希算法，根据确定的一致性哈希算法对所述用户进行分组。

3.如权利要求2所述的方法，其特征在于，所述对照实验的配置信息包括：所述对照实验的各个对照组所采用的流量比例；

所述利用对照实验的配置信息确定一致性哈希算法包括：

根据所述流量比例确定一致性哈希算法。

4.如权利要求2所述的方法，其特征在于，所述根据确定的一致性哈希算法对所述用户进行分组包括：

利用一致性哈希算法和各用户标识计算出相应用户的分组标识，将分组标识相同的用户划分到同一分组；

所述建立各所述分组与服务器的映射关系包括：建立各分组标识与服务器各端口的映射关系。

5.如权利要求4所述的方法，其特征在于，所述在接收到各用户的流量后，根据各用户所属的分组确定各流量的目标服务器，将各流量转发至相应的目标服务器中包括：

根据接收到的用户的流量中包含的分组标识，从所述映射关系中查找出匹配的服务器的端口，然后将接收到的用户的流量转发到匹配的服务器的端口。

6.如权利要求1所述的方法，其特征在于，所述方法还包括：

提供配置页面，通过所述配置页面接收对照实验的配置信息；

和/或，

提供实验结果展示页面，通过所述实验结果展示页面展示对照实验的实验结果。

7.如权利要求1-6任一项所述的方法，其特征在于，各所述对照组的属性包括如下的一项或几项：对照组名称、对照组标识、流量占比、类型、白名单、用户数量、描述、创建时间。

8.一种对照实验的实现装置，其特征在于，所述装置包括：

分组单元，适于根据对照实验的配置信息，对用户进行分组；

映射单元，适于建立各所述分组与服务器端口的映射关系，其中，各所述服务器端口分别对应所述对照实验的一个对照组；

路由单元，适于在接收到各用户的流量后，根据各用户所属的分组确定各流量的目标服务器，将各流量转发至相应的目标服务器中，以根据各目标服务器上配置的实验策略完成对照实验。

9.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1-7中任一项所述的方法。