CN114327693A

CN114327693A - Ab实验方法和系统、终端设备及存储介质

Info

Publication number: CN114327693A
Application number: CN202111604571.2A
Authority: CN
Inventors: 马达
Original assignee: Changsha Developer Technology Co ltd; Beijing Innovation Lezhi Network Technology Co ltd
Current assignee: Changsha Developer Technology Co ltd; Beijing Innovation Lezhi Network Technology Co ltd
Priority date: 2021-12-24
Filing date: 2021-12-24
Publication date: 2022-04-12

Abstract

本申请提供了一种AB实验方法和系统、终端设备及存储介质，该方法包括：实验平台接收用户设备发送的第一请求消息；实验平台根据第一请求消息生成第二请求消息，并向任务执行模块发送第二请求消息；任务执行模块得到任务的执行结果并发送至实验平台；实验平台向用户设备发送任务的执行结果；统计模块接收用户设备返回的用户针对任务的执行结果的响应信息，响应信息包含第一执行方式的标识，并根据标识统计用户设备的操作行为。本申请通过实验平台将用户设备发送的第一请求消息并生成第二请求消息，并携带第一执行方式的标识至任务执行模块和用户设备，实现了AB实验全链路的数据追踪，便于AB实验的数据统计，提高了AB实验的效率。

Description

AB实验方法和系统、终端设备及存储介质

技术领域

本申请涉及互联网技术领域，具体涉及一种AB实验方法和系统、终端设备及存储介质。

背景技术

随着互联网技术的快速发展，互联网在人们的工作、学习以及生活中的应用越来越广泛。一般情况，人们在使用互联网进行页面请求时，通常希望互联网反馈的页面结果与请求具有很大的相关性并且可以有效的解决问题，而不是与页面请求没有相关性的干扰内容。

目前，网络运营商会采用AB实验的方法去统计多个不同技术方案所产生的效果。然而，进行AB实验时一般需要客户端程序修改代码和重新发布版本，会存在实验程序繁琐，工作效率低以及数据统计工作复杂等问题。

发明内容

有鉴于此，本申请实施例提供了一种AB实验方法和系统、终端设备及存储介质，能够降低工作量，提高AB实验的效率。

第一方面，本申请的实施例提供了一种AB实验方法，包括：实验平台接收多个用户设备中的每个用户设备发送的第一请求消息，第一请求消息包括请求参数，用于请求服务器根据请求参数执行任务；实验平台对第一请求消息匹配AB实验的多种任务执行方式中的第一执行方式，根据第一请求消息生成第二请求消息，第二请求消息包括请求参数以及第一执行方式的标识，并向任务执行模块发送第二请求消息；任务执行模块基于第二请求消息，得到任务的执行结果并发送至实验平台，任务的执行结果中包含第一执行方式的标识；实验平台向多个用户设备中的每个用户设备发送任务的执行结果，任务的执行结果包含第一执行方式的标识；统计模块接收多个用户设备中的每个用户设备返回的每个用户设备的用户针对任务的执行结果的响应信息并进行统计，响应信息包含第一执行方式的标识以及用户的操作行为。

在本申请某些实施例中，实验平台根据第一请求消息为所述任务匹配AB实验的多种任务执行方式中的第一执行方式，包括：实验平台对发送第一请求消息的多个用户设备中的每个用户设备进行处理并得到一个数值，并基于数值对多个用户设备中的每个用户设备进行判断，若当前用户设备的数值满足AB实验的多种任务执行方式中的第一执行方式的第一阈值区间，则对当前用户设备的任务匹配第一执行方式。

在本申请某些实施例中，实验平台对发送第一请求消息的多个用户设备中的每个用户设备进行处理并得到一个数值，包括：实验平台根据多个用户设备中的每个用户设备的用户信息或者用户设备的信息所对应的字符串取哈希值，并基于函数关系式对哈希值进行运算处理，得到多个用户设备中的每个用户设备的数值。

在本申请某些实施例中，第一请求消息为搜索请求，请求参数包括搜索词，AB实验的多种任务执行方式为多种搜索排序方式，第二请求消息包括搜索词以及第一搜索排序方式的标识，或者，第二请求消息包括搜索词、第一搜索排序方式的标识以及第一搜索排序方式的参数，搜索请求任务的执行结果中包括第一搜索排序方式的标识。

在本申请某些实施例中，第一请求消息为页面浏览请求，请求参数包括用户设备信息或者用户信息，AB实验的多种任务执行方式为多种页面内容呈现方式，第二请求消息包括用户设备信息或用户设备以及第一页面内容呈现方式的标识，页面浏览请求任务的执行结果中包括第一页面内容呈现方式的标识，或者，页面浏览请求任务的执行结果中包括第一页面内容呈现方式的标识以及第一页面内容呈现方式的参数。

第二方面，本申请的实施例提供了一种AB实验方法，包括：用户设备向服务器发送第一请求消息，第一请求消息包括请求参数，用于请求服务器根据请求参数执行任务，以使服务器根据AB实验的多种任务执行方式中第一执行方式执行任务，并得到任务的执行结果；用户设备接收服务器发送的任务的执行结果，并在用户设备的用户界面上呈现任务的执行结果，任务的执行结果中包含第一执行方式的标识，或者，任务的执行结果中包含第一执行方式的标识以及第一执行方式的参数；若用户设备的用户对任务的执行结果具有操作行为，用户设备向服务器发送响应消息，响应消息包括第一执行方式的标识。

第三方面，本申请的实施例提供了一种AB实验系统，包括：实验平台，用于接收多个用户设备中的每个用户设备发送的第一请求消息，第一请求消息包括请求参数，用于请求服务器根据请求参数执行任务；实验平台还用于根据第一请求消息为任务匹配AB实验的多种任务执行方式中的第一执行方式，根据第一请求消息生成第二请求消息，第二请求消息包括请求参数以及第一执行方式的标识，并向任务执行模块发送第二请求消息；任务执行模块，基于第二请求消息，得到任务的执行结果并发送至实验平台，任务的执行结果中包含第一执行方式的标识；实验平台还用于向多个用户设备中的每个用户设备发送任务的执行结果，任务的执行结果包含第一执行方式的标识；统计模块，用于接收多个用户设备中的每个用户设备返回的每个用户设备的用户针对任务的执行结果的响应信息并进行统计，响应信息包含第一执行方式的标识以及用户的操作行为。

第四方面，本申请的实施例提供了一种终端设备，包括：第一发送模块，用于向服务器发送第一请求消息，第一请求消息包括请求参数，用于请求服务器根据请求参数执行任务，以使服务器根据AB实验的多种任务执行方式中的第一执行方式执行任务，并得到任务的执行结果；接收模块，用于接收服务器发送的任务的执行结果，并在用户设备的用户界面上呈现任务的执行结果，任务的执行结果中包含第一执行方式的标识，或者，任务的执行结果中包含第一执行方式的标识以及第一执行方式的参数；第二发送模块，若用户设备的用户对任务的执行结果具有操作行为，第二发送模块向服务器发送响应消息，响应消息包括第一执行方式的标识。

第五方面，本申请的实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器用于执行上述第一方面或者第二方面所述的AB实验方法。

第六方面，本申请的实施例提供了一种计算可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述第一方面或者第二方面所述的AB实验方法。

本申请实施例提供了一种AB实验方法和系统、终端设备及存储介质，本申请通过实验平台将用户设备的第一请求消息生成第二请求消息，并携带有第一执行方式的标识至任务执行模块和用户设备，任务的执行结果以及用户对该执行结果的响应信息中均携带有第一执行方式的标识，该方法可以通过实验平台实时的修改实验参数，实现了AB实验全链路的数据追踪，便于AB实验的数据统计，提高了AB实验的效率。

附图说明

图1是本申请一示例性实施例提供的AB实验方法的流程示意图。

图2是本申请一示例性实施例提供的AB实验方法的流程示意图。

图3是本申请另一示例性实施例提供的AB实验方法的流程示意图。

图4是本申请另一示例性实施例提供的AB实验方法的流程示意图。

图5是本申请一示例性实施例提供的AB实验方法的流程示意图。

图6是本申请一示例性实施例提供的AB实验系统的结构示意图。

图7是本申请一示例性实施例提供的终端设备的结构示意图。

图8是本申请一示例性实施例提供的用于AB实验方法的电子设备的框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

AB实验是为了验证一个新的产品交互设计、产品功能或者策略、算法的效果，在同一时间段，给多组用户分别展示优化前和优化后的产品交互设计，并通过数据分析，判断优化前后的方案在一个或多个评估指标上是否符合预期的一种实验方法，也可以是采用AB实验验证多个技术方案中，哪一个技术方案所得到的收益会更好。

例如，用户设备安装有客户端程序，用户设备通过客户端程序发起搜索任务，服务器存储有两种搜索排序策略，例如，第一搜索排序方式和第二搜索排序方式，服务器基于第一搜索排序方式或者第二搜索排序方式所得到的任务的执行结果不同，从而会对用户带来不同的体验。服务器通过进行AB实验，选择一定数量的两组用户群，第一组用户群基于第一搜索排序方式执行搜索任务，第二组用户群基于第二搜索排序方式执行搜索任务，然后通过统计用户基于对执行结果的操作行为，若第一组用户群的操作行为可以为运营商带来更高的收益，则任务第一搜索排序方式要优于第二搜索排序方式。

又例如，三种页面内容呈现方式的方案，页面内容中设置有点赞图标，方案一，点赞图标设置在页面的左下角；方案二，点赞图标设置在页面的底部中间，方案三，点赞图标设置在页面的右下角，运营商可以通过AB实验统计上述方案中哪个方案可以收到用户更多的点赞反馈，从而确定最优方案。

图1是本申请一示例性实施例提供的AB实验方法的流程示意图。图2是本申请一示例性实施例提供的AB实验方法的流程示意图。图1和图2的方法由计算设备，例如，服务器，来执行。如图1和图2所示，该AB实验方法包括如下内容。

110：实验平台接收多个用户设备中的每个用户设备发送的第一请求消息，第一请求消息包括请求参数，用于请求服务器根据请求参数执行任务。

在本申请的某些实施例中，实验平台可以是服务器的一个业务模块，也可以是一个服务器，用于在AB实验中对实验参数进行配置，实验参数包括用户设备发送的第一请求参数以及任务的执行结果。用户设备可以是多个终端，分别通过网络与服务器进行通信连接。例如，用户设备可以是手机、平板电脑、个人计算机、笔记本电脑或者其它可以实现通讯的电子设备。

第一请求消息可以是由用户设备发起的任何一个请求任务，具体的，可以是由用户设备上安装的客户端程序发起的，例如，用户设备通过搜索浏览器发起的搜索请求任务，该搜索请求任务通过请求消息的形式发送给服务器，该搜索请求中包含有请求参数，此时请求参数对应为搜索词，服务器基于搜索词执行搜索任务；或者，用户设备发起的页面浏览请求，此时请求参数可以为用户信息，例如用户标识UID、昵称、性别、国家、地区、城市，也可以包括设备信息，例如页面类型(比如，首页)，浏览器参数。

120：实验平台根据第一请求消息为任务匹配AB实验的多种任务执行方式中的第一执行方式，根据第一请求消息生成第二请求消息，第二请求消息包括请求参数以及第一执行方式的标识，并向任务执行模块发送第二请求消息。

在本申请的某些实施例中，AB实验对象可以为两种任务执行方式，也可以为两种以上的任务执行方式，并且基于不同的执行方式在用户设备界面显示的执行结果不同，为了方便描述，本申请的实施例以两种任务执行方式进行详细描述。例如，AB实验的对象为两种不同的搜索排序方式，分别为a排序方式和b排序方式，服务器基于a排序方式和b排序方式得到的执行结果不同。又例如，执行方式也可以是页面浏览请求的呈现方式。

具体地，为了便于实验数据的统计，实验平台对AB实验的多种任务执行方式设置有不同的标识，实验平台接收用户设备发送的第一请求消息，对用户设备的任务进行AB实验匹配，若匹配到a执行方式，则在第一请求消息中加入标识A，并生成第二请求消息，第二请求消息中包括请求参数以及用于该执行方式的标识A。应理解，标识用于表示不同的执行方式，可以是数字，字母或者符号，对此并不作任何限定。

130：任务执行模块基于第二请求消息，得到任务的执行结果并发送至实验平台，任务的执行结果中包含第一执行方式的标识。

任务执行模块可以是服务器的一个业务模块，用于根据用户设备发送的第一请求消息或者实验模块生成的第二请求消息执行任务。

在AB实验中，任务执行模块基于第二请求消息执行任务，得到任务的执行结果并发送至实验模块，任务的执行结果可以是链接的形式，也可以是页面的形式，执行结果可以是一个，也可以是多个。

140：实验平台向多个用户设备中的每个用户设备发送任务的执行结果，任务的执行结果包含第一执行方式的标识。

用户设备的界面显示有任务的执行结果，该执行结果中的标识可以显示在前端的链接数据上，用户的页面中不会显示该标识，这对用户端的体验效果没有任何影响。

150：统计模块接收多个用户设备中的每个用户设备返回的每个用户设备的用户针对任务的执行结果的响应信息并进行统计，响应信息包含第一执行方式的标识以及用户的操作行为。

当用户设备对携带有标识的任务结果产生响应信息时，该响应信息会携带该标识并反馈至统计模块，该响应信息可以包括用户对该任务结果进行的操作行为，例如，浏览、点赞、收藏、转发或者购买等。统计模块可以根据该响应信息中的标识，用于统计任务的多种执行方式的每一种执行方式的用户行为。

根据本申请实施例，通过实验平台将用户设备的第一请求消息生成第二请求消息，并携带有第一执行方式的标识至任务执行模块和用户设备，任务的执行结果以及用户对该执行结果的响应信息中均携带有第一执行方式的标识，该方法可以通过实验平台实时的修改实验参数，实现了AB实验全链路的数据追踪，便于AB实验的数据统计，提高了AB实验的效率。

此外，本申请实施例提供的AB实验方法，不需要客户端程序修改请求参数，修改代码和重新发布版本，只需要在实验平台修改实验参数即可，提高工作效率及用户的使用体验。

根据本申请一实施例，实验平台根据第一请求消息为任务匹配AB实验的多种任务执行方式中的第一执行方式，包括：实验平台对发送第一请求消息的多个用户设备中的每个用户设备进行处理并得到一个数值，并基于数值对多个用户设备中的每个用户设备进行判断，若当前用户设备的数值满足AB实验的多种任务执行方式中的第一执行方式的第一阈值区间，则对当前用户设备的任务匹配第一执行方式。

在本实施例中，实验平台按照预设的比例对用户流量进行划分，并对AB实验的对象设置阈值区间，该阈值区间所表示的是用户设备的数量，例如，AB实验的用户流量划分的预设比例是1：1，实验平台按照1：1的比例分别为两种执行方式匹配相同数量的用户设备，同样的，预设比例可以是1：2、2：1或者1：3等任意比例，实验平台可以实现对用户流量划分的灵活控制。

具体地，AB实验预设比例为1：1，实验平台将收到请求消息时的用户设备进行编号，并且根据编号判断用户设备和两种不同的执行方式的匹配。例如，A执行方式的第一阈值区间可以设置为1～50，B执行方式的第二阈值区间设置为51～100，实验平台将编号为1～50的用户设备的任务匹配为A执行方式，将编号为51～100的用户设备的任务匹配为B执行方式，从而满足A执行方式和B执行方式的用户流量比例为1：1。因此，通过该实施例的方法可以实现实验平台对用户流量划分的精确控制，同时也可以根据情况随时更改用户划分的比例。

根据本申请一实施例，实验平台对发送第一请求消息的多个用户设备中的每个用户设备进行处理并得到一个数值，包括：实验平台根据多个用户设备中的每个用户设备的用户信息或者用户设备的信息所对应的字符串取哈希值，并基于函数关系式对哈希值进行运算处理，得到多个用户设备中的每个用户设备的数值。

在本实施例中，实验平台接收到当前用户设备的请求消息时，获取该用户设备的用户信息或者用户设备的字符串，以及该字符串所对应的哈希值，对哈希值进行相应的运算处理，得到当前用户设备的编号。例如，将哈希值对100取余，得到一个1～100之内的数字，根据数字位于的阈值区间对用户设备的任务匹配AB实验的执行方式。

根据本申请一实施例，第一请求消息为搜索请求，请求参数包括搜索词，AB实验的多种任务执行方式为多种搜索排序方式，第二请求消息包括搜索词以及第一搜索排序方式的标识，或者，第二请求消息包括搜索词、第一搜索排序方式的标识以及第一搜索排序方式的参数，搜索请求任务的执行结果中包括第一搜索排序方式的标识。

实验平台对两种搜索排序方式进行AB实验，实验A对应第一种搜索排序方式，其搜索的排序方式和标识分别为a和A，实验B对应第二种搜索排序方式，其搜索的排序方式和标识分别为b和B，执行模块根据实验A和实验B对同一搜索词所返回的搜索结果不同。

在本申请的一个实施例中，实验平台生成的第二请求消息包括搜索词以及第一搜索排序方式的标识，执行模块中预设有该标识与第一搜索排序方式的对应关系，然后基于该排序方式执行任务并得到搜索结果。

图3是本申请另一示例性实施例提供的AB实验方法的流程示意图。如图3所示，AB实验方法包括如下内容。

在本申请的一个实施例中，实验平台生成的第二请求消息包括搜索词、第一搜索排序方式的标识以及第一搜索排序方式的参数，执行模块基于第二请求消息中的第一搜索排序方式的参数直接执行搜索任务，并将搜索结果返回至实验平台，该搜索结果中包括有第一搜索排序方式的标识。

例如，实验平台接收到当前用户设备通过搜索引擎发送的搜索请求，第一请求消息的请求参数为{“query”：”ppt”}，实验平台对用户设备编号并将该用户设备的任务匹配实验B，并生成第二请求消息，第二请求消息的请求参数为{“query”：”ppt”,”rank”：”b”,”ab_code”：”B”}，任务执行模块根据第二请求消息执行搜索任务并将至少一个结果发送给当前用户设备，至少一个搜索结果中的每一个结果的前端的链接数据上都会携带ab_code＝B，表示当前的搜索结果是通过第二种搜索排序方式得到的，当用户对任意一个搜索结果进行操作后，此时服务器的统计模块就会收到携带有B实验标识的响应信息。该实施例的方法可以通过实验平台随时更改AB实验的相关实验参数，而不需要客户端程序重新发版或更改代码，提高AB实验的效率。

根据本申请一实施例，第一请求消息为页面浏览请求，请求参数包括用户设备信息或者用户信息，AB实验的多种任务执行方式为多种页面内容呈现方式，第二请求消息包括用户设备信息或用户设备以及第一页面内容呈现方式的标识，页面浏览请求任务的执行结果中包括第一页面内容呈现方式的标识，或者，页面浏览请求任务的执行结果中包括第一页面内容呈现方式的标识以及第一页面内容呈现方式的参数。

具体地，实验平台对两种页面内容的用户体验效果进行AB实验，实验A对应第一种页面内容，其页面内容呈现方式和标识分别为a和A，实验B对应第二种页面内容，其页面内容呈现方式和标识分别为b和B，其中，实验A的页面内容与实验B的页面内容不同，可以体现在内容不同，也可以体现在内容相同，页面布局不同，也可以是内容和布局均不同，本申请的实施例对此不作限定。

在本申请的一个实施例中，实验平台生成的第二请求消息包括用户设备信息或用户设备以及第一页面内容呈现方式的标识，执行模块发送实验平台的执行结果中包括有第一页面内容呈现方式的标识，实验平台将执行结果发送用户设备，用户设备预先设置有与第一页面内容呈现方式的标识相对应的第一页面内容呈现方式的参数，用户设备根据实验平台发送的标识在用户设备的界面呈现相对应的页面内容。

图4是本申请另一示例性实施例提供的AB实验方法的流程示意图。如图4所示，AB实验方法包括如下内容。

在本申请的一个实施例中，实验平台生成的第二请求消息包括用户设备信息或用户设备以及第一页面内容呈现方式的标识，执行模块发送实验平台的执行结果中包括有第一页面内容呈现方式的标识，实验平台将第一页面内容呈现方式的参数加入到执行结果发送用户设备，用户设备的客户端程序根据执行结果中的第一页面内容呈现方式的参数在用户设备的界面呈现相对应的页面内容。该实施例的方法可以通过实验平台随时更改AB实验的相关实验参数，而不需要客户端程序重新发版或更改代码，提高AB实验的效率

图5所示是本申请一示例性实施例提供的AB实验方法的流程示意图。图5的方法由客户终端设备，例如，个人计算机或者移动电子设备，来执行。如图5所示，该AB实验方法包括如下内容。

510：用户设备向服务器发送第一请求消息，第一请求消息包括请求参数，用于请求服务器根据请求参数执行任务，以使服务器根据AB实验的多种任务执行方式中第一执行方式执行任务，并得到任务的执行结果。

具体地，用户设备可以是多个终端，分别通过网络与服务器进行通信连接。其中，用户设备可以是手机、平板电脑、个人计算机、笔记本电脑或者其它可以实现通讯的电子设备。

第一请求消息可以是用户设备发起的任何一个请求任务，例如，用户设备发起的包括搜索词搜索请求任务，该搜索请求消息中包含有请求参数，此时请求参数对应为搜索词，服务器基于搜索词执行搜索任务；或者，用户设备发起的页面浏览请求，该页面浏览请求中包含有请求参数，此时请求参数可以为用户信息，例如用户标识UID、昵称、性别、国家、地区、城市，也可以包括设备信息，例如页面类型(比如，首页)，浏览器参数。

520：用户设备接收服务器发送的任务的执行结果，并在用户设备的用户界面上呈现任务的执行结果，任务的执行结果中包含第一执行方式的标识，或者，任务的执行结果中包含第一执行方式的标识以及第一执行方式的参数。

具体地，执行结果可以是一个或者多个，在执行结果的前端链接数据中会携带有标识，该标识是由服务器设置，用于统计AB实验的多种任务执行方式的效果。

530：若用户设备的用户对任务的执行结果具有操作行为，用户设备向服务器发送响应消息，响应消息包括第一执行方式的标识。

用户对执行结果的操作行为可以包括浏览、点赞、收藏、转发或者购买中的一个或多个，用户设备会相服务器发送响应信息，该响应信息中包括标识，统计模块可以根据该响应信息中的标识，统计AB实验中标识对应的用户的操作行为。

该实施例提供的AB实验方法，不需要客户端程序修改请求参数，修改代码和重新发布版本，只需要在实验平台修改实验参数即可，提高工作效率及用户的使用体验。

图6是本申请一示例性实施例提供的AB实验系统的结构示意图。如图6所示，该AB实验系统600包括：实验平台610，任务执行模块620和统计模块630。

实验平台610，用于接收多个用户设备中的每个用户设备发送的第一请求消息，第一请求消息包括请求参数，用于请求服务器根据请求参数执行任务；实验平台610，还用于根据第一请求消息为任务匹配AB实验的多种任务执行方式中的第一执行方式，根据第一请求消息生成第二请求消息，第二请求消息包括请求参数以及第一执行方式的标识，并向任务执行模块发送第二请求消息；任务执行模块620，基于第二请求消息，得到任务的执行结果并发送至实验平台，任务的执行结果中包含第一执行方式的标识；实验平台610还用于向多个用户设备中的每个用户设备发送任务的执行结果，任务的执行结果包含第一执行方式的标识；统计模块630，用于接收多个用户设备中的每个用户设备返回的每个用户设备的用户针对任务的执行结果的响应信息并进行统计，响应信息包含第一执行方式的标识以及用户的操作行为。

应当理解，上述实施例中的实验平台610，任务执行模块620和统计模块630的具体工作过程和功能可以参考上述图1和图2实施例提供的AB实验方法中的描述，为了避免重复，在此不再赘述。

图7是本申请一示例性实施例提供的终端设备的结构示意图。如图7所示，该终端设备包括第一发送模块710，接收模块720以及第二发送模块730。

第一发送模块710，用于向服务器发送第一请求消息，第一请求消息包括请求参数，用于请求服务器根据请求参数执行任务，以使服务器根据AB实验的多种任务执行方式中的第一执行方式执行任务，并得到任务的执行结果。

接收模块720，用于接收服务器发送的任务的执行结果，并在用户设备的用户界面上呈现任务的执行结果，任务的执行结果中包含第一执行方式的标识，或者，任务的执行结果中包含第一执行方式的标识以及第一执行方式的参数。

第二发送模块730，用于若用户设备的用户对任务的执行结果具有操作行为，第二发送模块向服务器发送响应消息，响应消息包括第一执行方式的标识。

应当理解，上述实施例中的第一发送模块710，接收模块720以及第二发送模块730的具体工作过程和功能可以参考上述图5实施例提供的AB实验方法中的描述，为了避免重复，在此不再赘述。

参照图8，电子设备800包括处理组件810，其进一步包括一个或多个处理器，以及由存储器820所代表的存储器资源，用于存储可由处理组件810的执行的指令，例如应用程序。存储器820中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件810被配置为执行指令，以执行上述图1和图2所述的AB实验方法或者图5所述的AB实验方法。

电子设备800还可以包括一个电源组件被配置为执行电子设备800的电源管理，一个有线或无线网络接口被配置为将电子设备800连接到网络，和一个输入输出(I/O)接口。可以基于存储在存储器820的操作系统操作电子设备800，例如Windows Server^TM，Mac OSX^TM，Unix^TM，Linux^TM，FreeBSD^TM或类似。

一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备800的处理器执行时，使得上述电子设备800能够执行一种AB实验方法，包括：实验平台接收多个用户设备中的每个用户设备发送的第一请求消息，第一请求消息包括请求参数，用于请求服务器根据请求参数执行任务；实验平台根据第一请求消息为任务匹配AB实验的多种任务执行方式中的第一执行方式，根据第一请求消息生成第二请求消息，第二请求消息包括请求参数以及第一执行方式的标识，并向任务执行模块发送第二请求消息；任务执行模块基于第二请求消息，得到任务的执行结果并发送至实验平台，任务的执行结果中包含第一执行方式的标识；实验平台向多个用户设备中的每个用户设备发送任务的执行结果，任务的执行结果包含第一执行方式的标识；统计模块接收多个用户设备中的每个用户设备返回的每个用户设备的用户针对任务的执行结果的响应信息并进行统计，响应信息包含第一执行方式的标识以及用户的操作行为。或者，一种AB实验方法，包括：用户设备向服务器发送第一请求消息，第一请求消息包括请求参数，用于请求服务器根据请求参数执行任务，以使服务器根据AB实验的多种任务执行方式中第一执行方式执行任务，并得到任务的执行结果；用户设备接收服务器发送的任务的执行结果，并在用户设备的用户界面上呈现任务的执行结果，任务的执行结果中包含第一执行方式的标识，或者，任务的执行结果中包含第一执行方式的标识以及第一执行方式的参数；若用户设备的用户对任务的执行结果具有操作行为，用户设备向服务器发送响应消息，响应消息包括第一执行方式的标识。

上述所有可选技术方案，可采用任意结合形成本申请的可选实施例，在此不再一一赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。

需要说明的是，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims

1.一种AB实验方法，其特征在于，包括：

实验平台接收多个用户设备中的每个用户设备发送的第一请求消息，所述第一请求消息包括请求参数，用于请求服务器根据所述请求参数执行任务；

所述实验平台根据所述第一请求消息为所述任务匹配所述AB实验的多种任务执行方式中的第一执行方式，根据所述第一请求消息生成第二请求消息，所述第二请求消息包括所述请求参数以及所述第一执行方式的标识，并向任务执行模块发送所述第二请求消息；

所述任务执行模块基于所述第二请求消息，得到所述任务的执行结果并发送至所述实验平台，所述任务的执行结果中包含所述第一执行方式的标识；

所述实验平台向所述多个用户设备中的每个用户设备发送所述任务的执行结果，所述任务的执行结果包含所述第一执行方式的标识；

统计模块接收所述多个用户设备中的每个用户设备返回的所述每个用户设备的用户针对所述任务的执行结果的响应信息并进行统计，所述响应信息包含所述第一执行方式的标识以及所述用户的操作行为。

2.根据权利要求1所述的方法，其特征在于，所述实验平台根据所述第一请求消息为所述任务匹配AB实验的多种任务执行方式中的第一执行方式，包括：

所述实验平台对发送所述第一请求消息的所述多个用户设备中的每个用户设备进行处理并得到一个数值，并基于所述数值对所述多个用户设备中的每个用户设备进行判断，若当前用户设备的数值满足所述AB实验的多种任务执行方式中的第一执行方式的第一阈值区间，则对所述当前用户设备的任务匹配所述第一执行方式。

3.根据权利要求2所述的方法，其特征在于，所述实验平台对发送所述第一请求消息的所述多个用户设备中的每个用户设备进行处理并得到一个数值，包括：

所述实验平台根据所述多个用户设备中的每个用户设备的用户信息或者用户设备的信息所对应的字符串取哈希值，并基于函数关系式对所述哈希值进行运算处理，得到所述多个用户设备中的每个用户设备的数值。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述第一请求消息为搜索请求，所述请求参数包括搜索词，所述AB实验的多种任务执行方式为多种搜索排序方式，所述第二请求消息包括所述搜索词搜索排序方式以及所述第一搜索排序方式的标识，或者，所述第二请求消息包括所述搜索词、所述第一搜索排序方式的标识以及所述第一搜索排序方式的参数，所述搜索请求任务的执行结果中包括所述第一搜索排序方式的标识。

5.根据权利要求1至3中任一项所述的方法，其特征在于，所述第一请求消息为页面浏览请求，所述请求参数包括用户设备信息或者用户信息，所述AB实验的多种任务执行方式为多种页面内容呈现方式，所述第二请求消息包括所述用户设备信息或用户设备以及所述第一页面内容呈现方式的标识，所述页面浏览请求任务的执行结果中包括所述第一页面内容呈现方式的标识，或者，所述页面浏览请求任务的执行结果中包括所述第一页面内容呈现方式的标识以及所述第一页面内容呈现方式的参数。

6.一种AB实验方法，其特征在于，包括：

用户设备向服务器发送第一请求消息，所述第一请求消息包括请求参数，用于请求所述服务器根据所述请求参数执行任务，以使所述服务器根据AB实验的多种任务执行方式中第一执行方式执行所述任务，并得到所述任务的执行结果；

所述用户设备接收所述服务器发送的所述任务的执行结果，并在所述用户设备的用户界面上呈现所述任务的执行结果，所述任务的执行结果中包含所述第一执行方式的标识，或者，所述任务的执行结果中包含所述第一执行方式的标识以及所述第一执行方式的参数；

若所述用户设备的用户对所述任务的执行结果具有操作行为，所述用户设备向所述服务器发送响应消息，所述响应消息包括所述第一执行方式的标识。

7.一种AB实验系统，其特征在于，包括：

实验平台，用于接收多个用户设备中的每个用户设备发送的第一请求消息，所述第一请求消息包括请求参数，用于请求服务器根据所述请求参数执行任务；

所述实验平台还用于根据所述第一请求消息为所述任务匹配所述AB实验的多种任务执行方式中的第一执行方式，根据所述第一请求消息生成第二请求消息，所述第二请求消息包括所述请求参数以及所述第一执行方式的标识，并向任务执行模块发送所述第二请求消息；

任务执行模块，基于所述第二请求消息，得到所述任务的执行结果并发送至所述实验平台，所述任务的执行结果中包含所述第一执行方式的标识；

所述实验平台还用于向所述多个用户设备中的每个用户设备发送所述任务的执行结果，所述任务的执行结果包含所述第一执行方式的标识；

统计模块，用于接收所述多个用户设备中的每个用户设备返回的所述每个用户设备的用户针对所述任务的执行结果的响应信息并进行统计，所述响应信息包含所述第一执行方式的标识以及所述用户的操作行为。

8.一种终端设备，其特征在于，包括：

第一发送模块，用于向服务器发送第一请求消息，所述第一请求消息包括请求参数，用于请求所述服务器根据所述请求参数执行任务，以使所述服务器根据AB实验的多种任务执行方式中的第一执行方式执行所述任务，并得到所述任务的执行结果；

接收模块，用于接收所述服务器发送的所述任务的执行结果，并在所述用户设备的用户界面上呈现所述任务的执行结果，所述任务的执行结果中包含所述第一执行方式的标识，或者，所述任务的执行结果中包含所述第一执行方式的标识以及所述第一执行方式的参数；

第二发送模块，若所述用户设备的用户对所述任务的执行结果具有操作行为，所述第二发送模块向所述服务器发送响应消息，所述响应消息包括所述第一执行方式的标识。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器，

其中，所述处理器用于执行上述权利要求1至6中任一项所述的AB实验方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至6中任一项所述的AB实验方法。