CN113448872A - 一种测试的执行方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供了测试的执行方法、装置、设备及存储介质，该执行方法包括：确定目标产品的第一方案和第二方案的差异特征；根据第二差异特征对用户个性行为的影响，确定针对第一方案和第二方案的用户行为特征分布信息；根据第一差异特征对用户共性行为的影响、受测用户的数量以及第一方案和第二方案的重要程度，确定第一用户数量和第二用户数量；根据用户行为特征分布信息、第一用户数量和第二用户数量，分别确定用于测试第一方案的第一受测用户组和用于测试第二方案的第二受测用户组。这样，本申请在不限制受测方案的制定以及受测方案需要投放相同数量受测用户的基础上，可以准确地得到可信的测试结果，减少受测方案的制定成本，提高测试的灵活程度。

Description

一种测试的执行方法、装置、设备及存储介质

技术领域

本申请涉及大数据技术领域，具体而言，涉及一种测试的执行方法、装置、设备及存储介质。

背景技术

在产品应用的过程中，通常需要更新迭代产品，以通过优化产品来提升用户的满意度。在大数据的应用领域中，一个重要的迭代优化工具是进行AB测试。具体来说，AB测试是根据产品更新方案的版本数量和产品更新前的原始方案的版本数量，将总体流量样本分成若干组，并为每一个版本的方案提供一组流量样本进行测试，其中，每组流量样本的用户数量相同；经过一段时间的运营测试之后，通过对每组流量样本中用户的行为数据进行分析，从而为最终的产品更新方案设计和产品迭代提供决策依据。

为了保证测试结果的可信度，现有的AB测试方法，一方面，需要保证每组流量样本中投放的受测用户总数相同；另一方面，由于现有的AB测试方法并未考虑到不同类型受测用户之间的行为数据差异，因此，在制定至少一个版本的产品更新方案时，还需要保证该至少一个版本的产品更新方案和参考版本方案(可以是原始版本方案)中的区别变量唯一，例如，A方案是参考版本方案，对应使用红色按钮，B方案是产品更新方案，对应使用蓝色按钮；若该至少一个版本的产品更新方案和参考版本方案中的区别变量不唯一，例如，A方案使用圆形红色按钮，B方案使用方形蓝色按钮，此时，难以根据AB测试结果，确定B方案相比于A方案的有益效果的影响因素是按钮颜色还是按钮形状。

通过上述两方面内容可以看出，现有的AB测试方法需要限制产品更新方案的制定以及每个产品更新方案对应的流量样本中的分组人数符合规范，这就导致产品更新方案的制定成本较高，测试灵活程度较差。

发明内容

有鉴于此，本申请的目的在于提供一种测试的执行方法、装置、设备及存储介质，能够在实际进行AB测试时，在不限制受测方案的制定以及受测方案需要投放相同数量的受测用户的基础上，准确地得到受测方案的可信测试结果，减少受测方案的制定成本，提高测试的灵活程度。

第一方面，本申请实施例提供了一种测试的执行方法，所述执行方法包括：

确定目标产品的第一方案和第二方案的差异特征；其中，所述差异特征包括影响用户共性行为的第一差异特征和影响用户个性行为的第二差异特征；

根据所述第二差异特征对用户个性行为的影响，确定针对所述第一方案和所述第二方案的用户行为特征分布信息；其中，所述用户行为特征分布信息根据目标产品实际运营中用户个性行为的特征分布确定；

根据所述第一差异特征对用户共性行为的影响、受测用户的数量以及所述第一方案和所述第二方案的重要程度，确定针对所述第一方案的第一用户数量和针对所述第二方案的第二用户数量；

根据所述用户行为特征分布信息和所述第一用户数量，确定所述第一方案对应的第一受测用户组，以及，根据所述用户行为特征分布信息和所述第二用户数量，确定所述第二方案对应的第二受测用户组；

根据所述第一受测用户组对所述第一方案进行测试以及根据所述第二受测用户组对所述第二方案进行测试。

在一种可能的实施方式中，所述确定目标产品的第一方案和第二方案的差异特征，包括：

响应于所述第一方案与所述第二方案的对比，获取共性特征维度下的第一对比结果和个性特征维度下的第二对比结果；

根据所述共性特征维度下包括的至少一种共性行为类型特征，从所述第一对比结果中，提取与所述至少一种共性行为类型特征相对应的差异特征作为所述第一差异特征；

根据所述个性特征维度下包括的至少一种个性行为类型特征，从所述第二对比结果中，提取与所述至少一种个性行为类型特征相对应的差异特征作为所述第二差异特征。

在一种可能的实施方式中，所述根据所述第二差异特征对用户个性行为的影响，确定针对所述第一方案和所述第二方案的用户行为特征分布信息，包括：

根据所述第二差异特征对用户个性行为的影响，确定至少一种类型的用户个性行为对应的用户层级；

针对每一所述用户层级，根据所述目标产品在实际运营中位于该用户层级内匹配的该种类型用户个性行为的用户数量以及用户总数量，计算所述该种类型的用户个性行为的分布比例；

将每种类型的用户个性行为的分布比例确定为所述用户行为特征分布信息。

在一种可能的实施方式中，所述根据所述第一差异特征对用户共性行为的影响、受测用户的数量以及所述第一方案和所述第二方案的重要程度，确定针对所述第一方案的第一用户数量和针对所述第二方案的第二用户数量，包括：

根据所述第一差异特征对用户共性行为的影响以及所述受测用户的数量，确定备选受测用户的总数量；

根据所述第一方案和所述第二方案的重要程度，分别确定所述第一方案对应的第一用户分配权重以及所述第二方案对应的第二用户分配权重；其中，所述第一方案和所述第二方案中重要程度高的方案对应的用户分配权重大于重要程度低的方案对应的用户分配权重；

根据确定出的所述第一用户分配权重以及所述第二用户分配权重，对所述备选受测用户的总数量进行分配，确定所述第一用户数量以及所述第二用户数量。

在一种可能的实施方式中，所述根据所述用户行为特征分布信息和所述第一用户数量，确定所述第一方案对应的第一受测用户组，包括：

从所述受测用户中，提取符合所述用户行为特征分布信息的所述第一用户数量的受测用户，得到所述第一受测用户组。

在一种可能的实施方式中，所述根据所述用户行为特征分布信息和所述第二用户数量，确定所述第二方案对应的第二受测用户组，包括：

从所述受测用户中，提取符合所述用户行为特征分布信息的所述第二用户数量的受测用户，得到所述第二受测用户组。

在一种可能的实施方式中，所述根据所述用户行为特征分布信息和所述第一用户数量，确定所述第一方案对应的第一受测用户组，以及，根据所述用户行为特征分布信息和所述第二用户数量，确定所述第二方案对应的第二受测用户组，包括：

根据所述第一用户数量和所述第二用户数量的公因数，确定每一待建立用户组内的用户数量；

响应于建立后的每一用户组内的用户分布符合所述用户行为特征分布信息，按照每一所述待建立用户组内的用户数量，对所述受测用户进行分组，得到多个建立后的用户组；其中，所述用户组的数量是第一数量与第二数量的和值；所述第一数量是所述第一用户数量与所述公因数的商值；所述第二数量是所述第二用户数量与所述公因数的商值；

响应于所述目标产品的制造方的指定操作，将所述目标产品的制造方从多个所述用户组中指定的、所述第一数量的用户组作为所述第一受测用户组；

响应于所述指定操作的结束，将剩余的所述第二数量的用户组作为所述第二受测用户组。

在一种可能的实施方式中，所述执行方法，还包括：

获取每一时刻下所述第一受测用户组对所述第一方案的第一测试结果以及每一时刻下所述第二受测用户组对所述第二方案的第二测试结果；

响应于每一时刻下所述第一测试结果与所述第二测试结果之间的数据差异，利用贝叶斯算法，生成测试结果的动态展示图；其中，所述动态展示图的横坐标表征测试时间，纵坐标表征所述第二方案比所述第一方案优越的概率；

向所述目标产品的制造方展示所述动态展示图。

在一种可能的实施方式中，在所述向所述目标产品的制造方展示所述测试结果展示图之后，所述执行方法，还包括：

根据所述动态展示图中所述第二方案与所述第一方案之间的显著性差异程度，在所述显著性差异程度符合所述目标产品的制造方的目标期望时，结束测试。

在一种可能的实施方式中，在所述向所述目标产品的制造方展示所述测试结果展示图之后，所述执行方法，还包括：

响应于测试时间超过所述目标产品的制造方预先设置的等待时间，则结束测试。

在一种可能的实施方式中，在所述获取每一时刻下所述第一受测用户组对所述第一方案的第一测试结果以及所述第二受测用户组对所述第二方案的第二测试结果之后，所述执行方法，还包括：

响应于所述目标产品的制造方输入的测试关键指标，根据每一时刻下所述测试关键指标在所述第一测试结果中的指标值，以及每一时刻下所述测试关键指标在所述第二测试结果中的指标值，生成所述测试关键指标的动态数据分布图；

向所述目标产品的制造方展示所述动态数据分布图。

第二方面，本申请实施例提供了一种测试的执行装置，所述执行装置包括：

第一响应模块，用于确定目标产品的第一方案和第二方案的差异特征；其中，所述差异特征包括影响用户共性行为的第一差异特征和影响用户个性行为的第二差异特征；

第一确定模块，用于根据所述第二差异特征对用户个性行为的影响，确定针对所述第一方案和所述第二方案的用户行为特征分布信息；其中，所述用户行为特征分布信息根据目标产品实际运营中用户个性行为的特征分布确定；

第二确定模块，用于根据所述第一差异特征对用户共性行为的影响、受测用户的数量以及所述第一方案和所述第二方案的重要程度，确定针对所述第一方案的第一用户数量和针对所述第二方案的第二用户数量；

第三确定模块，用于根据所述用户行为特征分布信息和所述第一用户数量，确定所述第一方案对应的第一受测用户组，以及，根据所述用户行为特征分布信息和所述第二用户数量，确定所述第二方案对应的第二受测用户组；

测试模块，用于根据所述第一受测用户组对所述第一方案进行测试以及根据所述第二受测用户组对所述第二方案进行测试。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的测试的执行方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的测试的执行方法的步骤。

本申请的实施例提供的技术方案可以包括以下有益效果：

本申请实施例提供的一种测试的执行方法、装置、设备及存储介质，该执行方法包括：通过确定目标产品的第一方案和第二方案的差异特征；其中，差异特征包括影响用户共性行为的第一差异特征和影响用户个性行为的第二差异特征；根据第二差异特征对用户个性行为的影响，确定针对第一方案和第二方案的用户行为特征分布信息；其中，用户行为特征分布信息根据目标产品实际运营中用户个性行为的特征分布确定；根据第一差异特征对用户共性行为的影响、受测用户的数量以及第一方案和第二方案的重要程度，确定针对第一方案的第一用户数量和针对第二方案的第二用户数量；根据用户行为特征分布信息和第一用户数量，确定第一方案对应的第一受测用户组，以及，根据用户行为特征分布信息和第二用户数量，确定第二方案对应的第二受测用户组；根据第一受测用户组对第一方案进行测试以及根据第二受测用户组对第二方案进行测试。

通过本申请提供的上述测试的执行方法，能够在实际进行AB测试时，在不限制受测方案的制定以及受测方案需要投放相同数量的受测用户的基础上，准确地得到受测方案的可信测试结果，减少受测方案的制定成本，提高测试的灵活程度。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种测试的执行方法的流程示意图；

图2示出了本申请实施例所提供的一种确定第一方案与第二方案的差异特征的方法流程示意图；

图3示出了本申请实施例所提供的一种确定用户行为特征分布信息的方法流程示意图；

图4示出了本申请实施例所提供的一种确定第一用户数量和第二用户数量的方法流程示意图；

图5示出了本申请实施例所提供的一种确定第一受测用户组和第二受测用户组的方法流程示意图；

图6示出了本申请实施例所提供的一种测试结果的反馈方法的流程示意图；

图7示出了本申请实施例所提供的一种动态展示图的示意图；

图8示出了本申请实施例所提供的一种另一种测试结果的反馈方法的流程示意图；

图9示出了本申请实施例所提供的一种动态数据分布图的示意图；

图10示出了本申请实施例所提供的一种测试的执行装置的结构示意图；

图11为本申请实施例提供的一种计算机设备1100的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。本申请实施例中的“用户”等同于“受测用户”，两者可以进行替换。

现有的AB测试方法需要限制产品更新方案的制定以及每个产品更新方案对应的流量样本中的分组人数符合规范，也即，按照现有的AB测试方法进行测试时，若想要得到可信的测试结果，则既需要保证产品更新方案与产品原始方案之间的差异特征唯一，还需要保证产品更新方案与产品原始方案投放的受测用户数量相同，从而导致产品更新方案的制定成本较高，测试灵活程度较差。基于此，本申请实施例提供了一种测试的执行方法、装置、设备及存储介质，能够在实际进行AB测试时，在不限制受测方案的制定以及受测方案需要投放相同数量的受测用户的基础上，准确地得到受测方案的可信测试结果，减少受测方案的制定成本，提高测试的灵活程度。

下面对本申请实施例提供的一种测试的执行方法、装置、设备及存储介质进行详细介绍。

图1示出了本申请实施例所提供的一种测试的执行方法的流程示意图，其中，该方法包括步骤S101-S105；具体的：

S101，确定目标产品的第一方案和第二方案的差异特征；其中，所述差异特征包括影响用户共性行为的第一差异特征和影响用户个性行为的第二差异特征。

S102，根据所述第二差异特征对用户个性行为的影响，确定针对所述第一方案和所述第二方案的用户行为特征分布信息；其中，所述用户行为特征分布信息根据目标产品实际运营中用户个性行为的特征分布确定。

S103，根据所述第一差异特征对用户共性行为的影响、受测用户的数量以及所述第一方案和所述第二方案的重要程度，确定针对所述第一方案的第一用户数量和针对所述第二方案的第二用户数量。

S104，根据所述用户行为特征分布信息和所述第一用户数量，确定所述第一方案对应的第一受测用户组，以及，根据所述用户行为特征分布信息和所述第二用户数量，确定所述第二方案对应的第二受测用户组。

S105，根据所述第一受测用户组对所述第一方案进行测试以及根据所述第二受测用户组对所述第二方案进行测试。

本申请实施例提供上述测试的执行方法，通过确定目标产品的第一方案和第二方案的差异特征；其中，差异特征包括影响用户共性行为的第一差异特征和影响用户个性行为的第二差异特征；根据第二差异特征对用户个性行为的影响，确定针对第一方案和第二方案的用户行为特征分布信息；其中，用户行为特征分布信息根据目标产品实际运营中用户个性行为的特征分布确定；根据第一差异特征对用户共性行为的影响、受测用户的数量以及第一方案和第二方案的重要程度，确定针对第一方案的第一用户数量和针对第二方案的第二用户数量；根据用户行为特征分布信息和第一用户数量，确定第一方案对应的第一受测用户组，以及，根据用户行为特征分布信息和第二用户数量，确定第二方案对应的第二受测用户组；根据第一受测用户组对第一方案进行测试以及根据第二受测用户组对第二方案进行测试。

通过本申请提供的上述测试的执行方法，能够在实际进行AB测试时，在不限制受测方案的制定以及受测方案需要投放相同数量的受测用户的基础上，准确地得到受测方案的可信测试结果，减少受测方案的制定成本，提高测试的灵活程度。

需要说明的是，在实际进行AB测试时，本申请实施例是以目标产品的第一方案作为用于对照测试第二方案的对比方案，其中，第二方案可以是目标产品更新优化之后的一个更新版本的方案也可以是多个更新版本的方案，对于第二方案的数量，本申请并不进行限定。

具体的，当目标产品的第二方案包括多个更新版本的方案时，用于对照测试的第一方案可以是目标产品的原始版本方案(即目标产品迭代更新前正在使用的版本方案)也可以是目标产品的制造方从多个更新版本的第二方案中指定的一个更新版本的方案。

下面以目标产品的第二方案为一个更新版本的方案为例，对本申请实施例提供的上述示例性的各步骤分别进行说明：

S101，确定目标产品的第一方案和第二方案的差异特征；其中，所述差异特征包括影响用户共性行为的第一差异特征和影响用户个性行为的第二差异特征。

本申请实施例中，目标产品的第一方案可以是目标产品的原始版本方案(即目标产品当前使用的版本方案)；目标产品的第二方案是目标产品的一个更新版本方案，其中，更新版本方案可以是目标产品的制造方对目标产品优化之后，制定的用于对目标产品进行更新迭代的版本方案。

具体实施方式中，通过对比第一方案和第二方案，可以从对比结果中，确定第二方案相较于第一的差异特征，差异特征可以是第二方案中新增的区别特征，也可以是在目标产品的同一指标下，第二方案相较于第一方案的区别特征；在确定出上述差异特征之后，针对每一个差异特征，若确定用户随机分组不会对该差异特征的测试结果产生影响，则确定该差异特征的实施会受到用户共性行为的影响，该差异特征属于第一差异特征；若确定用户随机分组会对该差异特征的测试结果产生影响，则确定该差异特征的实施会受到用户个性行为的影响，该差异特征属于第二差异特征。

示例性的说明，以目标产品为游戏A，第一方案为游戏A的原始版本方案a，第二方案为游戏A的更新版本方案b为例，若根据游戏A的原始版本方案a和更新版本方案b的对比结果，确定出更新版本方案b相较于原始版本方案a的差异特征为：“游戏界面颜色改变”和“新增大额礼包的推荐”；则对于“游戏界面颜色改变”而言：由于游戏界面颜色只与用户喜好有关，并不会受到某种特定类型用户的影响，用户随机分组并不会对该差异特征的测试结果造成影响，因此，可以确定“游戏界面颜色改变”是影响用户共性行为的第一差异特征；对于“新增大额礼包的推荐”而言，由于全体游戏用户中，经常购买大额礼包的游戏用户比例较低，用户随机分组会对该差异特征的测试结果产生很大的误差影响，因此，可以确定“新增大额礼包的推荐”是影响用户个性行为的第二差异特征。

S102，根据所述第二差异特征对用户个性行为的影响，确定针对所述第一方案和所述第二方案的用户行为特征分布信息；其中，所述用户行为特征分布信息根据目标产品实际运营中用户个性行为的特征分布确定。

具体实施方式中，第二差异特征与用户个性行为是一一对应的，每个第二差异特征对应一种类型的用户个性行为，每种类型的用户个性行为对应一种用户行为特征分布信息；用户行为特征分布信息是根据目标产品实际运营中用户个性行为的特征分布确定的；例如，以目标产品为游戏A为例，用户在游戏A中的游戏充值行为属于消费类型的用户个性行为，消费类型的用户个性行为对应的用户行为特征分布信息是根据游戏A实际运营中用户消费行为的特征分布确定的，而用户消费行为的特征分布则可以根据游戏A实际运营中消费总金额累积超过不同消费层级阈值的用户在用户总数中所占的比例确定。

其中，用户行为特征分布信息还用于表征该种类型的用户个性行为对应的用户类型均匀分组条件；当第一方案和第二方案对应投放的用户组都符合上述用户类型均匀分组条件时，则可以确定该种类型的用户个性行为对第一方案和第二方案的测试结果产生的影响相同，从而消除因用户随机分组产生的误差。这样，即使第一方案与第二方案之间的差异特征数量不唯一，也可以保证测试结果是可信的，从而，在不限制受测方案的制定以及受测方案需要投放相同数量的受测用户的基础上，准确地得到受测方案的可信测试结果，减少受测方案的制定成本，提高测试的灵活程度。

S103，根据所述第一差异特征对用户共性行为的影响、受测用户的数量以及所述第一方案和所述第二方案的重要程度，确定针对所述第一方案的第一用户数量和针对所述第二方案的第二用户数量。

具体实施方式中，第一差异特征只与用户共性行为有关，即用户随机分组不会对第一差异特征的测试结果产生影响，第一差异特征只与第二方案和第一方案分别投放的用户数量有关；在确定上述的第一用户数量和第二用户数量时，先按照第二方案和第一方案的重要程度，确定第一方案与第二方案的用户分配比例，其中，第一方案和第二方案中重要程度高的方案对应的用户分配比例大于重要程度低的方案对应的用户分配比例，该用户分配比例用于表征第一方案投放的用户数量与第二方案投放的用户数量之间的比值；即第一方案和第二方案中重要程度高的方案对应投放的用户数量大于重要程度低的方案对应投放的用户数量。这样，由于重要程度高的方案对应的测试价值以及潜在收益价值均高于重要程度低的方案，因此，在测试阶段为重要程度高的方案投放更多的用户进行测试，更加符合目标产品的真实测试需求，并且不需要限制受测方案投放相同数量的受测用户，提高了测试的灵活程度。

本申请实施例中，考虑到产品迭代本质上是对当前版本的产品不断进行优化的过程，即更新版本方案是原始版本方案的优化方案，目标产品的制造方对更新版本方案的期望值高于原始版本方案，更新版本方案的投放价值高于原始版本方案，对于测试任务而言，更新版本方案的重要程度高于原始版本方案，因此，当第一方案是目标产品的原始版本方案，第二方案是目标产品的更新版本方案时，在按照上述用户分配比例确定用户数量时，确定出的第二用户数量大于第一用户数量，也即更新版本方案投放的用户数量多于原始版本方案投放的用户数量。这样，在测试阶段，可以为投放价值更高、潜在收益更大的更新版本方案投放更多的用户进行测试，相较于现有的AB测试方法，本申请实施例能够在实际测试时，为目标产品的更新版本方案投放更多的受测用户，在不限制更新版本方案与原始版本方案需要投放相同数量的受测用户的基础上，提高了测试的灵活程度，不仅有利于减少更新版本方案的制定成本，也有利于提高测试阶段的产品收益，使得测试过程更加贴合目标产品的制造方的实际需要。

S104，根据所述用户行为特征分布信息和所述第一用户数量，确定所述第一方案对应的第一受测用户组，以及，根据所述用户行为特征分布信息和所述第二用户数量，确定所述第二方案对应的第二受测用户组。

具体实施方式中，结合上述步骤S102-S103可知，用户行为特征分布信息用于表征该用户个性行为对应的用户类型均匀分组条件，即用户行为特征分布信息确定了第一受测用户组与第二受测用户组中需要提取的用户类型；第一用户数量确定了第一受测用户组需要提取的用户数量，第二用户数量确定了第二受测用户组需要提取的用户数量；因此，用户行为特征分布信息和第一用户数量可以确定出第一受测用户组内的用户所符合的用户筛选条件；用户行为特征分布信息和第二用户数量可以确定出第二受测用户组内的用户所符合的用户筛选条件；按照第一受测用户组和第二受测用户组各自对应的用户筛选条件，对受测用户进行筛选，即可得到用于测试第一方案的第一受测用户组，以及用于测试第二方案的第二受测用户组。

S105，根据所述第一受测用户组对所述第一方案进行测试以及根据所述第二受测用户组对所述第二方案进行测试。

本申请实施例中，在对目标产品进行更新迭代之前，以目标产品的原始版本方案(即第一方案)作为对照方案，以目标产品的更新版本方案(即第二方案)作为测试方案，在同一时间维度下，以第一受测用户组作为原始版本方案的受测用户，以第二受测用户组作为更新版本方案的受测用户，对原始版本方案和更新版本方案进行AB测试，根据AB测试的结果，若更新版本方案相较于原始版本方案的优越性显著，则确定可以按照更新版本方案对目标产品进行更新迭代；若更新版本方案相较于原始版本方案的优越性不显著，则可以提示目标产品的制造方对更新版本方案继续优化，利用优化后的更新版本方案进行下一轮AB测试；从而利用AB测试的结果，为最终的目标产品更新版本方案设计和目标产品迭代提供决策制定依据。

具体实施方式中，一方面，由于第一受测用户组和第二受测用户组都是根据用户行为特征分布信息确定出的，并且用户行为特征分布信息是由影响用户个性行为的第二差异特征确定出的，因此，用户个性行为对第一受测用户组和第二受测用户组的影响是相同的，从而，即使第二方案与第一方案的差异特征数量不唯一，也不会对测试结果的可信度产生影响；另一方面，由于第一用户数量与第二用户数量是根据第一差异特征对用户共性行为的影响、受测用户的数量以及上述步骤S103处的用户分配比例确定的，因此，第一用户数量与第二用户数量是成比例的，在比较测试结果时，只需按照第一用户数量与第二用户数量所成的比例，在同等用户数量下，对第二方案与第一方案的测试结果进行对比即可。这样，按照上述的测试的执行方法，能够在实际进行AB测试时，在不限制受测方案的制定以及受测方案需要投放相同数量的受测用户的基础上，准确地得到受测方案的可信测试结果，减少受测方案的制定成本，提高测试的灵活程度。

在一个可行的实施方案中，图2示出了本申请实施例所提供的一种确定第一方案与第二方案的差异特征的方法流程示意图，如图2所示，在执行步骤S101时，该方法还包括S201-S203；具体的：

S201，响应于所述第一方案与所述第二方案的对比，获取共性特征维度下的第一对比结果和个性特征维度下的第二对比结果。

具体实施方式中，在实际测试之前，预先获取用户使用目标产品时产生的多种历史行为数据，通过对获取到的历史行为数据以及目标产品的用户评价数据进行分析，可以确定出目标产品的方案设计特征中受到用户共性行为影响的共性行为类型特征，这些共性行为类型特征构成了影响用户共性行为的共性特征维度；同样的，通过对收集到的历史行为数据以及目标产品的用户评价数据进行分析，也可以确定出目标产品的方案设计特征中受到用户个性行为影响的个性行为类型特征，这些个性行为类型特征构成了影响用户个性行为的个性特征维度。

S202，根据所述共性特征维度下包括的至少一种共性行为类型特征，从所述第一对比结果中，提取与所述至少一种共性行为类型特征相对应的差异特征作为所述第一差异特征。

示例性的说明，仍以目标产品为游戏A，第一方案为游戏A的原始版本方案a，第二方案为游戏A的更新版本方案b为例，若游戏A的方案设计特征中包括：共性行为类型特征x1、x2…xn，即共性特征维度下包括n种共性行为类型特征x1、x2…xn；从共性特征维度下更新版本方案b和原始版本方案a的第一对比结果中，若得到更新版本方案b和原始版本方案a在共性行为类型特征x1上不相同，在其他n-1个共性行为类型特征上均相同，则可以确定更新版本方案b和原始版本方案a在共性行为类型特征x1上的差异内容为第一差异特征。例如，若共性行为类型特征x1代表“游戏界面颜色”，其中，更新版本方案b中的游戏界面为彩色，原始版本方案a中的游戏界面为黑白色，则可以确定第一差异特征为“游戏界面颜色改变”。

S203，根据所述个性特征维度下包括的至少一种个性行为类型特征，从所述第二对比结果中，提取与所述至少一种个性行为类型特征相对应的差异特征作为所述第二差异特征。

示例性的说明，仍以目标产品为游戏A，第一方案为游戏A的原始版本方案a，第二方案为游戏A的更新版本方案b为例，若游戏A的方案设计特征中包括：个性行为类型特征y1、y2…yn，即个性特征维度下包括n种个性行为类型特征y1、y2…yn；从个性特征维度下更新版本方案b和原始版本方案a的第二对比结果中，若得到更新版本方案b和原始版本方案a在个性行为类型特征y1上不相同，在其他n-1个的个性行为类型特征上均相同，则可以确定更新版本方案b和原始版本方案a在个性行为类型特征y1上的差异内容为第二差异特征。例如，若个性行为类型特征y1代表“游戏礼包推荐”，其中，更新版本方案b中包括大额礼包的推荐信息，原始版本方案a中没有大额礼包的推荐信息，则可以确定第二差异特征为“新增大额礼包推荐”。

在一个可行的实施方案中，图3示出了本申请实施例所提供的一种确定用户行为特征分布信息的方法流程示意图，如图3所示，在执行步骤S102时，该方法还包括S301-S303；具体的：

S301，根据所述第二差异特征对用户个性行为的影响，确定至少一种类型的用户个性行为对应的用户层级。

结合上述步骤S102可知，每个第二差异特征对应一种类型的用户个性行为，每种类型的用户个性行为对应一种用户行为特征分布信息；用户行为特征分布信息根据目标产品实际运营中用户个性行为的特征分布确定，其中，用户行为特征分布信息还用于表征该用户个性行为对应的用户类型均匀分组条件。

具体实施方式中，针对每种类型的用户个性行为，根据第二差异特征对该用户个性行为的影响，可以确定出该种类型的用户个性行为对应的用户层级，将用户组内不同用户层级的用户对应的用户分布比例作为一种可选的用户行为特征分布信息。

示例性的说明，以第二差异特征是“新增大额礼包推荐”为例，该第二差异特征影响的用户个性行为是“游戏充值消费”，根据第二差异特征对用户个性行为的影响，确定出该用户个性行为对应的用户层级是：累积充值消费万元以上的第一用户层级、累积充值消费千元至万元之间的第二用户层级、累积充值消费千元以下的第三用户层级。

S302，针对每一所述用户层级，根据所述目标产品在实际运营中位于该用户层级内匹配的该种类型用户个性行为的用户数量以及用户总数量，计算所述该种类型的用户个性行为的分布比例。

示例性的说明，以上述示例为例，若目标产品游戏A在实际运营中的用户总数量为1000名，其中，累积充值消费万元以上的用户为50人，累积充值消费千元至万元之间的用户为100人，累积充值消费千元以下的用户为850人；即对于用户个性行为“游戏充值消费”而言，在该用户个性行为对应的第一用户层级内匹配的该种类型用户个性行为的用户数量为50人，在该用户个性行为对应的第二用户层级内匹配的该种类型用户个性行为的用户数量为100人，在该用户个性行为对应的第三用户层级内匹配的该种类型用户个性行为的用户数量为850人；由此可以计算出，该种类型的用户个性行为的分布比例为：第一用户层级的用户占用户总数的5％，第二用户层级的用户占用户总数的10％，第三用户层级的用户占用户总数的85％。

S303，将每种类型的用户个性行为的分布比例确定为所述用户行为特征分布信息。

示例性的说明，仍以上述示例为例，此时，用户个性行为只有一种类型的用户个性行为，即“游戏充值消费”；因此，可以得出用户行为特征分布信息是：累积充值消费万元以上(即第一用户层级)的用户在第一受测用户组(即用于测试第一方案的受测用户组)和第二受测用户组(即用于测试第二方案的受测用户组)中所占的用户分布比例均为5％；累积充值消费千元至万元之间(即第二用户层级)的用户在第一受测用户组和第二受测用户组中所占的用户分布比例均为10％；累积充值消费千元以下(即第三用户层级)的用户在第一受测用户组和第二受测用户组中所占的用户分布比例均为85％。

在一个可行的实施方案中，图4示出了本申请实施例所提供的一种确定第一用户数量和第二用户数量的方法流程示意图，如图4所示，在执行步骤S103时，该方法还包括S401-S403；具体的：

S401，根据所述第一差异特征对用户共性行为的影响以及所述受测用户的数量，确定备选受测用户的总数量。

本申请实施例中，受测用户可以是目标产品在实际运营中的全体用户，也可以是按照一定的预设比例，从全体用户中提取的用于执行测试任务的用户。

具体的，结合步骤S103可知，第一差异特征只与用户共性行为有关，用户随机分组不会对第一差异特征的测试结果产生影响，第一差异特征只与第二方案和第一方案分别投放的用户数量有关；因此，根据第一差异特征对用户共性行为的影响，可以直接确定所有的受测用户都作为备选受测用户；也可以按照一定的预设比例，根据受测用户的数量与该预设比例的乘积，确定备选受测用户的总数量。

S402，根据所述第一方案和所述第二方案的重要程度，分别确定所述第一方案对应的第一用户分配权重以及所述第二方案对应的第二用户分配权重；其中，所述第一方案和所述第二方案中重要程度高的方案对应的用户分配权重大于重要程度低的方案对应的用户分配权重。

结合步骤S103可知，对于测试任务而言，更新版本方案的重要程度高于原始版本方案，因此，若第一方案是原始版本方案，第二方案是更新版本方案为例，则第二方案的重要程度高于第一方案。在具体实施方式中，可以根据目标产品的制造方对更新版本方案的投放期望，接收目标产品的制造方指定的分布比例，按照目标产品的制造方指定的分布比例分别确定第一用户分配权重和第二用户分配权重；也可以按照系统默认的分布比例，自动确定第一用户分配权重和第二用户分配权重；其中，该分布比例用于表征原始版本方案的重要程度与更新版本方案的重要程度的比值。

示例性的说明，以系统默认的分布比例为例，若原始版本方案与更新版本方案的分布比例为：2:8；则可以确定原始版本方案对应的第一用户分配权重为20％，确定更新版本方案对应的第二用户分配权重为80％。

S403，根据确定出的所述第一用户分配权重以及所述第二用户分配权重，对所述备选受测用户的总数量进行分配，确定所述第一用户数量以及所述第二用户数量。

示例性的说明，若备选受测用户的总数量为1000人，第一用户分配权重为20％，第二用户分配权重为80％，则可以确定第一用户数量为200人，第二用户数量为800人。

本申请实施例中，在执行S104时，一方面可以根据第一用户数量、第二用户数量以及用户行为特征分布信息，通过系统自动匹配出符合用户行为特征分布信息以及用户数量的第一受测用户组和第二受测用户组；另一方面，为提高测试环节的公开透明度，也可以先由系统匹配出符合用户行为特征分布信息的多个用户组，在由目标产品的制造方按照第一用户数量和第二用户数量分别确定第一受测用户组和第二受测用户下对应的具体用户组；下面分别对上述两种执行方法进行具体说明：

一、当步骤S104完全由系统执行，目标产品的制造方不参与中间环节的交互时：

(1)从所述受测用户中，提取符合所述用户行为特征分布信息的所述第一用户数量的受测用户，得到所述第一受测用户组；

示例性的说明，若第一用户数量为200人，以步骤S303中的用户行为特征分布信息为例，即：累积充值消费万元以上的受测用户在第一受测用户组中所占的用户比例为5％，累积充值消费千元至万元之间的受测用户在第一受测用户组中所占的用户比例为10％，累积充值消费千元以下的受测用户在第一受测用户组中所占的用户比例为85％；则系统从累积充值消费万元以上的受测用户中随机抽取10人，从累积充值消费千元至万元之间的受测用户中随机抽取20人，从累积充值消费千元以下的受测用户中随机抽取170人，将系统随机抽取出的这些受测用户确定为第一受测用户组。

(2)从所述受测用户中，提取符合所述用户行为特征分布信息的所述第二用户数量的受测用户，得到所述第二受测用户组；

示例性的说明，与上述抽取第一受测用户组相同，若第二用户数量为800人，以步骤S303中的用户行为特征分布信息为例，则系统按照相同的用户行为特征分布信息，从累积充值消费万元以上的受测用户中随机抽取40人，从累积充值消费千元至万元之间的受测用户中随机抽取80人，从累积充值消费千元以下的受测用户中随机抽取680人，将系统随机抽取出的这些受测用户确定为第二受测用户组。

二、当步骤S104不完全由系统执行，目标产品的制造方参与中间环节的交互时：

如图5所示，图5示出了本申请实施例所提供的一种确定第一受测用户组和第二受测用户组的方法流程示意图，如图5所示，在执行步骤S104时，该方法还包括S501-S504；具体的：

S501，根据所述第一用户数量和所述第二用户数量的公因数，确定每一待建立用户组内的用户数量。

示例性的说明，仍以第一用户数量为200人、第二用户数量为800人为例，可以将200和800的公因数100作为每一待建立用户组内的用户数量，即待建立的用户组为10个，每个待建立用户组内的用户数量为100人。

需要说明的是，第一用户数量和第二用户数量的公因数的取值并不唯一，只需要能够对待建立用户组进行整数分组即可，本申请对于公因数的具体取值并不进行限定。

S502，响应于建立后的每一用户组内的用户分布符合所述用户行为特征分布信息，按照每一所述待建立用户组内的用户数量，对所述受测用户进行分组，得到多个建立后的用户组。

具体的，其中，所述用户组的数量是第一数量与第二数量的和值；所述第一数量是所述第一用户数量与所述公因数的商值；所述第二数量是所述第二用户数量与所述公因数的商值。

示例性的说明，第一用户数量为200人、第二用户数量为800人，公因数取值为100，则每个待建立用户组内的用户数量为100人，用户组数量为10组；仍以步骤S303中的用户行为特征分布信息为例，则每一用户组内：累积充值消费万元以上的受测用户所占的用户比例为5％，累积充值消费千元至万元之间的受测用户所占的用户比例为10％，累积充值消费千元以下的受测用户所占的用户比例为85％；即系统按照该用户行为特征分布信息，对受测用户进行分组，得到10个用户组，其中，每个用户组内：累积充值消费万元以上的受测用户5人、累积充值消费千元至万元之间的受测用户10人、累积充值消费千元以下的受测用户85人。

S503，响应于所述目标产品的制造方的指定操作，将所述目标产品的制造方从多个所述用户组中指定的、所述第一数量的用户组作为所述第一受测用户组。

示例性的说明，以上述示例为例，系统对得到的10个用户组分别进行标号，响应于目标产品的制造方的指定操作，将目标产品的制造方指定的用户组1和用户组4作为第一受测用户组。

S504，响应于所述指定操作的结束，将剩余的所述第二数量的用户组作为所述第二受测用户组。

示例性的说明，响应于指定操作的结束，将剩余的用户组2、3、5、6、7、8、9、10作为第二受测用户组。

在一个可行的实施方案中，图6示出了本申请实施例所提供的一种测试结果的反馈方法的流程示意图，如图6所示，在执行步骤S105之后，该方法还包括S601-S603；具体的：

S601，获取每一时刻下所述第一受测用户组对所述第一方案的第一测试结果以及每一时刻下所述第二受测用户组对所述第二方案的第二测试结果。

S602，响应于每一时刻下所述第一测试结果与所述第二测试结果之间的数据差异，利用贝叶斯算法，生成测试结果的动态展示图；其中，所述动态展示图的横坐标表征测试时间，纵坐标表征所述第二方案比所述第一方案优越的概率。

结合上述步骤S601-S602可知，本申请实施例中，与现有的AB测试方法不同的是，现有的AB测试方法一般采用假设检验的方式反馈测试结果，对测试结果的显著性进行检验，这样，一方面将导致测试任务必须持续至预定的测试时间才能够终止，若提前结束测试，则无法得到能够支持假设或者推翻假设的可信结论；另一方面，由于假设只有成立和不成立两个结果，因此，假设检验的方式也限制了只能够对两个方案的测试结果进行对照，无法实现多个版本的更新版本方案的同步测试。

具体实施方式中，本申请使用贝叶斯算法对测试结果的显著性进行检验，其对测试时间不存在限制，并且通过贝叶斯算法，可以计算出每一个版本的第二方案相较于第一方案优越的概率，当测试的第二方案具有多个不同更新版本的方案时，本申请能够将多个更新版本的第二方案的测试结果同时与第一方案的测试结果进行对照，从而实现多个更新版本的第二方案的同步测试。

S603，向所述目标产品的制造方展示所述动态展示图。

具体实施方式中，以多个不同更新版本的第二方案与第一方案进行同步测试为例，如图7所示，700是表征第一方案(即原始版本方案)测试结果的曲线，701是表征第一更新版本的第二方案测试结果的曲线，702是表征第二更新版本的第二方案测试结果的曲线，横坐标是测试时间，纵坐标是每条曲线表征的方案相较于第一方案优越的概率，由图7中可以看出，随着测试时间的延长，表征第一方案测试结果的曲线700的纵坐标逐渐趋近于0，这表示第一方案相较于自身并未进行任何优化；而表征第一更新版本的第二方案测试结果的曲线701的纵坐标逐渐趋近于100％，这表示第一更新版本的第二方案相较于第一方案优越的概率趋近于100％，可以确定若按照第一更新版本的第二方案对目标产品进行更新迭代，有接近于100％的概率会优于当前的目标产品。

具体实施方式中，在执行完步骤S603之后，可以按照下面两种方法确定测试的结束时间：

(1)、根据所述动态展示图中所述第二方案与所述第一方案之间的显著性差异程度，在所述显著性差异程度符合所述目标产品的制造方的目标期望时，结束测试。

示例性的说明，如图7所示，动态展示图是测试结果的实时反馈结果，以曲线701和曲线702的交点703的位置为例，当测试时间到达该交点703的横坐标处时，可以看出之后每条曲线之间的纵坐标差异趋于明显，此时，可以确定每条曲线之间的显著性差异程度符合目标产品的制造方的目标期望，得到本次测试表现最优的第二方案是曲线701表征的第一更新版本的第二方案，结束测试，提高测试效率，减少测试成本。

(2)响应于测试时间超过所述目标产品的制造方预先设置的等待时间，则结束测试。

具体实施方式中，不能保证不同更新版本的第二方案之间一定能够像图7所示的一样，在较短的测试时间内即可得到可信的测试结论。因此，当测试时间超过预先设置的等待时间时，表示多个更新版本的第二方案与第一方案之间的显著性差异程度仍未达到目标产品的制造方的目标期望，此时，也可以结束测试，提示目标产品的制造方对当前测试的多个更新版本的第二方案继续进行优化，以尽快进入下一轮测试，缩短测试周期，提高测试效率以及减少测试成本。

在一个可行的实施方案中，图8示出了本申请实施例所提供的一种另一种测试结果的反馈方法的流程示意图，如图8所示，在执行步骤S105之后，该方法还包括S801-S802；具体的：

S801，响应于所述目标产品的制造方输入的测试关键指标，根据每一时刻下所述测试关键指标在所述第一测试结果中的指标值，以及每一时刻下所述测试关键指标在所述第二测试结果中的指标值，生成所述测试关键指标的动态数据分布图。

S802，向所述目标产品的制造方展示所述动态数据分布图。

具体实施方式中，以目标产品是游戏X，测试关键指标是游戏X中用户的人均充值为例；如图9所示，第二方案中包括多个不同更新版本的方案，第二方案包括：A策略、B策略、C策略、D策略、E策略、F策略、G策略、H策略；第一方案的柱形图长度代表原始配置(即原始版本方案)下的游戏X中用户的人均充值金额，A策略-G策略的柱形图长度分别代表不同更新版本的第二方案下的游戏X中用户的人均充值金额，每个柱形图的长度随着测试时间的延长进行动态变化，在测试结束之后，根据柱形图长度，可以确定出在“人均充值”的测试关键指标下表现最优的方案是G策略表征的更新版本的第二方案。

通过本申请提供的上述测试的执行方法，能够在实际进行AB测试时，在不限制受测方案的制定以及受测方案需要投放相同数量的受测用户的基础上，准确地得到受测方案的可信测试结果，减少受测方案的制定成本，提高测试的灵活程度。

基于同一发明构思，本申请实施例中还提供了与测试的执行方法对应的测试的执行装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述图像展示方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图10所示，图10示出了本申请实施例所提供的一种测试的执行装置的结构示意图，所述执行装置包括：

第一响应模块1001，用于确定目标产品的第一方案和第二方案的差异特征；其中，所述差异特征包括影响用户共性行为的第一差异特征和影响用户个性行为的第二差异特征；

第一确定模块1002，用于根据所述第二差异特征对用户个性行为的影响，确定针对所述第一方案和所述第二方案的用户行为特征分布信息；其中，所述用户行为特征分布信息根据目标产品实际运营中用户个性行为的特征分布确定；

第二确定模块1003，用于根据所述第一差异特征对用户共性行为的影响、受测用户的数量以及所述第一方案和所述第二方案的重要程度，确定针对所述第一方案的第一用户数量和针对所述第二方案的第二用户数量；

第三确定模块1004，用于根据所述用户行为特征分布信息和所述第一用户数量，确定所述第一方案对应的第一受测用户组，以及，根据所述用户行为特征分布信息和所述第二用户数量，确定所述第二方案对应的第二受测用户组；

测试模块1005，用于根据所述第一受测用户组对所述第一方案进行测试以及根据所述第二受测用户组对所述第二方案进行测试。

在一种可能的实施方式中，在确定目标产品的第一方案和第二方案的差异特征时，第一响应模块1001，具体用于：

响应于所述第一方案与所述第二方案的对比，获取共性特征维度下的第一对比结果和个性特征维度下的第二对比结果；

根据所述共性特征维度下包括的至少一种共性行为类型特征，从所述第一对比结果中，提取与所述至少一种共性行为类型特征相对应的差异特征作为所述第一差异特征；

根据所述个性特征维度下包括的至少一种个性行为类型特征，从所述第二对比结果中，提取与所述至少一种个性行为类型特征相对应的差异特征作为所述第二差异特征。

在一种可能的实施方式中，第一确定模块1002，具体用于：

根据所述第二差异特征对用户个性行为的影响，确定至少一种类型的用户个性行为对应的用户层级；

针对每一所述用户层级，根据所述目标产品在实际运营中位于该用户层级内匹配的该种类型用户个性行为的用户数量以及用户总数量，计算所述该种类型的用户个性行为的分布比例；

将每种类型的用户个性行为的分布比例确定为所述用户行为特征分布信息。

在一种可能的实施方式中，第二确定模块1003，具体用于：

根据所述第一差异特征对用户共性行为的影响以及所述受测用户的数量，确定备选受测用户的总数量；

根据所述第一方案和所述第二方案的重要程度，分别确定所述第一方案对应的第一用户分配权重以及所述第二方案对应的第二用户分配权重；其中，所述第一方案和所述第二方案中重要程度高的方案对应的用户分配权重大于重要程度低的方案对应的用户分配权重；

根据确定出的所述第一用户分配权重以及所述第二用户分配权重，对所述备选受测用户的总数量进行分配，确定所述第一用户数量以及所述第二用户数量。

在一种可能的实施方式中，在所述根据所述用户行为特征分布信息和所述第一用户数量，确定所述第一方案对应的第一受测用户组时，第三确定模块1004用于：

从所述受测用户中，提取符合所述用户行为特征分布信息的所述第一用户数量的受测用户，得到所述第一受测用户组。

在一种可能的实施方式中，在所述根据所述用户行为特征分布信息和所述第二用户数量，确定所述第二方案对应的第二受测用户组时，第三确定模块1004用于：

从所述受测用户中，提取符合所述用户行为特征分布信息的所述第二用户数量的受测用户，得到所述第二受测用户组。

在一种可能的实施方式中，在所述根据所述用户行为特征分布信息和所述第一用户数量，确定所述第一方案对应的第一受测用户组，以及，根据所述用户行为特征分布信息和所述第二用户数量，确定所述第二方案对应的第二受测用户组时，第三确定模块1004用于：

根据所述第一用户数量和所述第二用户数量的公因数，确定每一待建立用户组内的用户数量；

响应于建立后的每一用户组内的用户分布符合所述用户行为特征分布信息，按照每一所述待建立用户组内的用户数量，对所述受测用户进行分组，得到多个建立后的用户组；其中，所述用户组的数量是第一数量与第二数量的和值；所述第一数量是所述第一用户数量与所述公因数的商值；所述第二数量是所述第二用户数量与所述公因数的商值；

响应于所述目标产品的制造方的指定操作，将所述目标产品的制造方从多个所述用户组中指定的、所述第一数量的用户组作为所述第一受测用户组；

响应于所述指定操作的结束，将剩余的所述第二数量的用户组作为所述第二受测用户组。

在一种可能的实施方式中，所述执行装置，还包括：

获取模块，用于获取每一时刻下所述第一受测用户组对所述第一方案的第一测试结果以及每一时刻下所述第二受测用户组对所述第二方案的第二测试结果；

第二响应模块，用于响应于每一时刻下所述第一测试结果与所述第二测试结果之间的数据差异，利用贝叶斯算法，生成测试结果的动态展示图；其中，所述动态展示图的横坐标表征测试时间，纵坐标表征所述第二方案比所述第一方案优越的概率；

第一展示模块，用于向所述目标产品的制造方展示所述动态展示图。

在一种可能的实施方式中，在所述向所述目标产品的制造方展示所述测试结果展示图之后，所述第一展示模块，还用于：

根据所述动态展示图中所述第二方案与所述第一方案之间的显著性差异程度，在所述显著性差异程度符合所述目标产品的制造方的目标期望时，结束测试。

在一种可能的实施方式中，在所述向所述目标产品的制造方展示所述测试结果展示图之后，所述第一展示模块，还用于：

响应于测试时间超过所述目标产品的制造方预先设置的等待时间，则结束测试。

在一种可能的实施方式中，在所述获取每一时刻下所述第一受测用户组对所述第一方案的第一测试结果以及所述第二受测用户组对所述第二方案的第二测试结果之后，所述获取模块，还用于：

响应于所述目标产品的制造方输入的测试关键指标，根据每一时刻下所述测试关键指标在所述第一测试结果中的指标值，以及每一时刻下所述测试关键指标在所述第二测试结果中的指标值，生成所述测试关键指标的动态数据分布图；

向所述目标产品的制造方展示所述动态数据分布图。

如图11所示，本申请实施例提供了一种计算机设备1100，用于执行本申请中的测试的执行方法，该设备包括存储器1101、处理器1102及存储在该存储器1101上并可在该处理器1102上运行的计算机程序，其中，上述处理器1102执行上述计算机程序时实现上述的测试的执行方法的步骤。

具体地，上述存储器1101和处理器1102可以为通用的存储器和处理器，这里不做具体限定，当处理器1102运行存储器1101存储的计算机程序时，能够执行上述的测试的执行方法。

对应于本申请中的测试的执行方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述的测试的执行方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述的测试的执行方法。

在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种测试的执行方法，其特征在于，所述执行方法包括：

确定目标产品的第一方案和第二方案的差异特征；其中，所述差异特征包括影响用户共性行为的第一差异特征和影响用户个性行为的第二差异特征；

根据所述第二差异特征对用户个性行为的影响，确定针对所述第一方案和所述第二方案的用户行为特征分布信息；其中，所述用户行为特征分布信息根据目标产品实际运营中用户个性行为的特征分布确定；

根据所述第一差异特征对用户共性行为的影响、受测用户的数量以及所述第一方案和所述第二方案的重要程度，确定针对所述第一方案的第一用户数量和针对所述第二方案的第二用户数量；

根据所述用户行为特征分布信息和所述第一用户数量，确定所述第一方案对应的第一受测用户组，以及，根据所述用户行为特征分布信息和所述第二用户数量，确定所述第二方案对应的第二受测用户组；

根据所述第一受测用户组对所述第一方案进行测试以及根据所述第二受测用户组对所述第二方案进行测试。

2.根据权利要求1所述的执行方法，其特征在于，所述确定目标产品的第一方案和第二方案的差异特征，包括：

响应于所述第一方案与所述第二方案的对比，获取共性特征维度下的第一对比结果和个性特征维度下的第二对比结果；

根据所述共性特征维度下包括的至少一种共性行为类型特征，从所述第一对比结果中，提取与所述至少一种共性行为类型特征相对应的差异特征作为所述第一差异特征；

根据所述个性特征维度下包括的至少一种个性行为类型特征，从所述第二对比结果中，提取与所述至少一种个性行为类型特征相对应的差异特征作为所述第二差异特征。

3.根据权利要求1所述的执行方法，其特征在于，所述根据所述第二差异特征对用户个性行为的影响，确定针对所述第一方案和所述第二方案的用户行为特征分布信息，包括：

根据所述第二差异特征对用户个性行为的影响，确定至少一种类型的用户个性行为对应的用户层级；

针对每一所述用户层级，根据所述目标产品在实际运营中位于该用户层级内匹配的该种类型用户个性行为的用户数量以及用户总数量，计算所述该种类型的用户个性行为的分布比例；

将每种类型的用户个性行为的分布比例确定为所述用户行为特征分布信息。

4.根据权利要求1所述的执行方法，其特征在于，所述根据所述第一差异特征对用户共性行为的影响、受测用户的数量以及所述第一方案和所述第二方案的重要程度，确定针对所述第一方案的第一用户数量和针对所述第二方案的第二用户数量，包括：

根据所述第一差异特征对用户共性行为的影响以及所述受测用户的数量，确定备选受测用户的总数量；

根据所述第一方案和所述第二方案的重要程度，分别确定所述第一方案对应的第一用户分配权重以及所述第二方案对应的第二用户分配权重；其中，所述第一方案和所述第二方案中重要程度高的方案对应的用户分配权重大于重要程度低的方案对应的用户分配权重；

根据确定出的所述第一用户分配权重以及所述第二用户分配权重，对所述备选受测用户的总数量进行分配，确定所述第一用户数量以及所述第二用户数量。

5.根据权利要求1所述的执行方法，其特征在于，所述根据所述用户行为特征分布信息和所述第一用户数量，确定所述第一方案对应的第一受测用户组，包括：

从所述受测用户中，提取符合所述用户行为特征分布信息的所述第一用户数量的受测用户，得到所述第一受测用户组。

6.根据权利要求1所述的执行方法，其特征在于，所述根据所述用户行为特征分布信息和所述第二用户数量，确定所述第二方案对应的第二受测用户组，包括：

从所述受测用户中，提取符合所述用户行为特征分布信息的所述第二用户数量的受测用户，得到所述第二受测用户组。

7.根据权利要求1所述的执行方法，其特征在于，所述根据所述用户行为特征分布信息和所述第一用户数量，确定所述第一方案对应的第一受测用户组，以及，根据所述用户行为特征分布信息和所述第二用户数量，确定所述第二方案对应的第二受测用户组，包括：

根据所述第一用户数量和所述第二用户数量的公因数，确定每一待建立用户组内的用户数量；

响应于建立后的每一用户组内的用户分布符合所述用户行为特征分布信息，按照每一所述待建立用户组内的用户数量，对所述受测用户进行分组，得到多个建立后的用户组；其中，所述用户组的数量是第一数量与第二数量的和值；所述第一数量是所述第一用户数量与所述公因数的商值；所述第二数量是所述第二用户数量与所述公因数的商值；

响应于所述目标产品的制造方的指定操作，将所述目标产品的制造方从多个所述用户组中指定的、所述第一数量的用户组作为所述第一受测用户组；

响应于所述指定操作的结束，将剩余的所述第二数量的用户组作为所述第二受测用户组。

8.根据权利要求1所述的执行方法，其特征在于，所述执行方法，还包括：

获取每一时刻下所述第一受测用户组对所述第一方案的第一测试结果以及每一时刻下所述第二受测用户组对所述第二方案的第二测试结果；

响应于每一时刻下所述第一测试结果与所述第二测试结果之间的数据差异，利用贝叶斯算法，生成测试结果的动态展示图；其中，所述动态展示图的横坐标表征测试时间，纵坐标表征所述第二方案比所述第一方案优越的概率；

向所述目标产品的制造方展示所述动态展示图。

9.根据权利要求8所述的执行方法，其特征在于，在所述向所述目标产品的制造方展示所述测试结果展示图之后，所述执行方法，还包括：

根据所述动态展示图中所述第二方案与所述第一方案之间的显著性差异程度，在所述显著性差异程度符合所述目标产品的制造方的目标期望时，结束测试。

10.根据权利要求8所述的执行方法，其特征在于，在所述向所述目标产品的制造方展示所述测试结果展示图之后，所述执行方法，还包括：

响应于测试时间超过所述目标产品的制造方预先设置的等待时间，则结束测试。

11.根据权利要求8所述的执行方法，其特征在于，在所述获取每一时刻下所述第一受测用户组对所述第一方案的第一测试结果以及所述第二受测用户组对所述第二方案的第二测试结果之后，所述执行方法，还包括：

响应于所述目标产品的制造方输入的测试关键指标，根据每一时刻下所述测试关键指标在所述第一测试结果中的指标值，以及每一时刻下所述测试关键指标在所述第二测试结果中的指标值，生成所述测试关键指标的动态数据分布图；

向所述目标产品的制造方展示所述动态数据分布图。

12.一种测试的执行装置，其特征在于，所述执行装置包括：

第一响应模块，用于确定目标产品的第一方案和第二方案的差异特征；其中，所述差异特征包括影响用户共性行为的第一差异特征和影响用户个性行为的第二差异特征；

第一确定模块，用于根据所述第二差异特征对用户个性行为的影响，确定针对所述第一方案和所述第二方案的用户行为特征分布信息；其中，所述用户行为特征分布信息根据目标产品实际运营中用户个性行为的特征分布确定；

第二确定模块，用于根据所述第一差异特征对用户共性行为的影响、受测用户的数量以及所述第一方案和所述第二方案的重要程度，确定针对所述第一方案的第一用户数量和针对所述第二方案的第二用户数量；

第三确定模块，用于根据所述用户行为特征分布信息和所述第一用户数量，确定所述第一方案对应的第一受测用户组，以及，根据所述用户行为特征分布信息和所述第二用户数量，确定所述第二方案对应的第二受测用户组；

测试模块，用于根据所述第一受测用户组对所述第一方案进行测试以及根据所述第二受测用户组对所述第二方案进行测试。

13.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至11任一所述的测试的执行方法的步骤。

14.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至11任一所述的测试的执行方法的步骤。

Images