CN113448876A - 一种业务测试方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种业务测试方法、装置、计算机设备及存储介质，可以用于对地图、交通等领域中的业务进行测试。业务测试方法包括：按照实验组中各个实验对象的历史属性数据，对实验组中的各个实验对象进行分层处理，得到M个实验属性分层；按照对照组中各个对照对象的历史属性数据，对对照组中的各个对照对象进行分层处理，得到M个对照属性分层；采用测试指标对M个实验属性分层进行指标聚合计算，采用测试指标对M个对照属性分层进行指标聚合计算，得到实验组和对照组在测试指标下的指标信息；比较实验组和对照组在测试指标下的指标信息之间的差异，并根据差异确定目标业务的测试结果。可以提升测试结果的准确性。

Description

一种业务测试方法、装置、计算机设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种业务测试方法、装置、计算机设备及存储介质。

背景技术

随着计算机技术的飞速发展与进步，互联网场景中不断涌现出各类业务（例如产品、算法、模型等等），在这些业务正式发布推广之前，需要对其进行测试。目前，针对互联网场景中的任一业务，例如可以是目标业务，所采用的业务测试方案为AB实验，即随机抽取两批对象作为目标业务的实验组和对照组，通过对实验组中产生的对象指标数据和对照组中产生的对象指标数据进行比较分析，达到对目标业务进行测试的目的。

在上述基于AB实验的业务测试方案中，实验组和对照组是随机抽取的，随机抽取的方式极易导致实验组和对照组中的对象分布不均衡；以图1所示的统计表为例，对照组中的高活跃对象比例高于实验组，虽然高活跃对象在实验组和对照组中的对象平均时长是相同的，低活跃对象在实验组和对照组中的对象平均时长也是相同的，但是实验组的整体对象平均时长与对照组的整体对象平均时长之间却产生了4%的偏差；可见，采用随机抽取实验组和对照组的AB实验对目标业务进行测试时，得到的测试结果的准确性较低；因此，如何提高测试结果的准确性成为当前的研究热点。

发明内容

本申请实施例提供了一种业务测试方法、装置、计算机设备及存储介质，可以提升测试结果的准确性。

一方面，本申请实施例提供了一种业务测试方法，该业务测试方法包括：

获取目标业务的实验组和对照组；

按照实验组中各个实验对象的历史属性数据，对实验组中的各个实验对象进行分层处理，得到M个实验属性分层；以及按照对照组中各个对照对象的历史属性数据，对对照组中的各个对照对象进行分层处理，得到M个对照属性分层，M为正整数；

采用测试指标对M个实验属性分层进行指标聚合计算，得到实验组在测试指标下的指标信息；以及采用测试指标对M个对照属性分层进行指标聚合计算，得到对照组在测试指标下的指标信息；

比较实验组在测试指标下的指标信息与对照组在测试指标下的指标信息之间的差异，并根据差异确定目标业务的测试结果。

一方面，本申请实施例提供了一种业务测试装置，该业务测试装置包括：

获取单元，用于获取目标业务的实验组和对照组；

处理单元，用于按照实验组中各个实验对象的历史属性数据，对实验组中的各个实验对象进行分层处理，得到M个实验属性分层；以及按照对照组中各个对照对象的历史属性数据，对对照组中的各个对照对象进行分层处理，得到M个对照属性分层，M为正整数；

处理单元，还用于采用测试指标对M个实验属性分层进行指标聚合计算，得到实验组在测试指标下的指标信息；以及采用测试指标对M个对照属性分层进行指标聚合计算，得到对照组在测试指标下的指标信息；

处理单元，还用于比较实验组在测试指标下的指标信息与对照组在测试指标下的指标信息之间的差异，并根据差异确定目标业务的测试结果。

在一种实现方式中，实验组包括P个实验对象，测试指标的数量为R个，P和R均为正整数；处理单元，用于采用测试指标对M个实验属性分层进行指标聚合计算，得到实验组在测试指标下的指标信息时，具体用于执行如下步骤：

将P个实验对象随机划分至N个随机分层中，N为正整数；

将N个随机分层与M个实验属性分层进行组合，得到N×M个实验综合分层，并确定属于N×M个实验综合分层中的每个实验综合分层的实验对象；

采用R个测试指标对N×M个实验综合分层中的每个实验综合分层进行指标聚合计算，确定N×M个实验综合分层中的每个实验综合分层在R个测试指标下的指标信息。

在一种实现方式中，N×M个实验综合分层中的任一个实验综合分层表示为实验综合分层X_i*Y_j，X_i表示N个随机分层中的第i个随机分层，Y_j表示M个实验属性分层中的第j个实验属性分层，i为小于或等于N的正整数，j为小于或等于M的正整数；

处理单元，用于将N个随机分层与M个实验属性分层进行组合，得到N×M个实验综合分层，并确定属于N×M个实验综合分层中的每个实验综合分层的实验对象时，具体用于执行如下步骤：

将第i个随机分层与第j个实验属性分层进行组合，得到实验综合分层X_i*Y_j；

将第i个随机分层与第j个实验属性分层中均存在的实验对象，确定为属于实验综合分层X_i*Y_j的实验对象。

在一种实现方式中，R个测试指标中的任一个测试指标表示为第r个测试指标，r为小于或等于R的正整数；处理单元，用于采用R个测试指标对N×M个实验综合分层中的每个实验综合分层进行指标聚合计算，确定N×M个实验综合分层中的每个实验综合分层在R个测试指标下的指标信息时，具体用于执行如下步骤：

获取实验综合分层X_i*Y_j中的各个实验对象的对象指标数据；

从对象指标数据中，确定第r个测试指标的关联指标的指标信息；

根据确定的关联指标的指标信息，计算实验综合分层X_i*Y_j在第r个测试指标下的指标信息。

在一种实现方式中，处理单元，用于将P个实验对象随机划分至N个随机分层中时，具体用于执行如下步骤：

获取P个实验对象中的每个实验对象的对象标识；

对获取到的P个实验对象的对象标识进行哈希计算，得到P个实验对象的对象哈希；

根据P个实验对象的对象哈希将P个实验对象随机划分至N个随机分层中。

在一种实现方式中，R个测试指标中的任一个测试指标表示为第r个测试指标，r为小于或等于R的正整数；处理单元，用于比较实验组在测试指标下的指标信息与对照组在测试指标下的指标信息之间的差异时，具体用于执行如下步骤：

对N×M个实验综合分层中的每个实验综合分层在第r个测试指标下的指标信息，与N×M个对照综合分层中的每个对照综合分层在第r个测试指标下的指标信息进行方差消减计算，确定N个随机分层中的每个随机分层在第r个测试指标下的聚合相对差值；

其中，N×M个对照综合分层是将N个随机分层与M个对照属性分层进行组合得到的。

在一种实现方式中，N个随机分层中的任一个随机分层表示为第i个随机分层，i为小于或等于N的正整数；处理单元，用于对N×M个实验综合分层中的每个实验综合分层在第r个测试指标下的指标信息，与N×M个对照综合分层中的每个对照综合分层在第r个测试指标下的指标信息进行方差消减计算，确定N个随机分层中的每个随机分层在第r个测试指标下的聚合相对差值时，具体用于执行如下步骤：

获取由第i个随机分层与M个实验属性分层组合得到的M个实验综合分层，以及获取由第i个随机分层与M个对照属性分层组合得到的M个对照综合分层；

计算M个实验综合分层中的每个实验综合分层在第r个测试指标下的指标信息，与M个对照综合分层中的每个对照综合分层在第r个测试指标下的指标信息之间的M个初始相对差值；其中，M个初始相对差值中的第j个初始相对差值，是根据M个实验综合分层中的第j个实验综合分层在第r个测试指标下的指标信息，和M个对照综合分层中的第j个对照综合分层在第r个测试指标下的指标信息计算得到的，j为小于或等于M的正整数；

对M个初始相对差值进行加权聚合，得到第i个随机分层在第r个测试指标下的聚合相对差值。

在一种实现方式中，处理单元，用于根据差异确定目标业务的测试结果时，具体用于执行如下步骤：

对N个随机分层中的各个随机分层在第r个测试指标下的聚合相对差值进行显著性计算，得到目标业务在第r个测试指标下的显著性结果；

根据目标业务在第r个测试指标下的显著性结果，确定目标业务在第r个测试指标下的测试结果。

在一种实现方式中，实验组包括P个实验对象，P为正整数；M个实验属性分层中的一个实验属性分层对应一个属性划分区间；处理单元，用于按照实验组中各个实验对象的历史属性数据，对实验组中的各个实验对象进行分层处理，得到M个实验属性分层时，具体用于执行如下步骤：

确定P个实验对象中的任一实验对象的历史属性数据所属的属性划分区间；

将任一实验对象划分至确定的属性划分区间所对应的实验属性分层中。

在一种实现方式中，处理单元，还用于执行如下步骤：

采用属性筛选阈值对M个实验属性分层中的实验对象进行筛选，确定M个实验属性分层中历史属性数据满足属性筛选阈值的实验对象。

在一种实现方式中，测试指标的数量为R个，R个测试指标中的任一个测试指标表示为第r个测试指标，R和r均为正整数，且r小于或等于R；实验组与目标业务的第一业务策略对应，对照组与目标业务的第二业务策略对应；处理单元，还用于执行如下步骤：

若目标业务在第r个测试指标下的测试结果指示第一业务策略优于第二业务策略，则采用第一业务策略对目标业务进行优化；

若目标业务在第r个测试指标下的测试结果指示第二业务策略优于第一业务策略，则在目标业务中保持第二业务策略。

一方面，本申请实施例提供一种计算机设备，该计算机设备包括处理器和计算机可读存储介质，其中：

处理器，适于实现计算机程序；以及，计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序适于由处理器加载并执行上述的业务测试方法。

相应的，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被计算机设备的处理器读取并执行时，使得计算机设备执行上述的业务测试方法。

相应的，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的业务测试方法。

本申请实施例中，在获取到目标业务的实验组和对照组之后，可以对实验组中的各个实验对象进行分层处理；类似地，可以对对照组中的各个对照对象进行分层处理；其次，可以对实验组中的各个分层进行指标聚合计算，得到实验组在测试指标下的指标信息，以及可以对对照组中的各个分层进行指标聚合计算，得到对照组在测试指标下的指标信息；然后，通过比较实验组在测试指标下的指标信息与对照组在测试指标下的指标信息之间的差异，可根据差异确定对目标业务的测试结果。由此可见，通过对实验组和对照组进行分层处理，可以强制保持各个分层中实验组和对照组的对象分布趋于均衡，这样有利于降低实验组与对照组之间的组间方差，从而可以提升测试结果的准确性；并且，对实验组和对照组中的各个分层进行指标聚合计算，可以避免对测试指标的指标信息进行计算时因引入分层而产生的额外偏差，可进一步提升测试结果的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一个示例性实施例提供的一种现有技术的业务测试方案的测试结果统计表；

图2a示出了本申请一个示例性实施例提供的一种热点卡片的显示方案的界面示意图；

图2b示出了本申请另一个示例性实施例提供的一种热点卡片的显示方案的界面示意图；

图2c示出了本申请一个示例性实施例提供的一种视频播放方案的界面示意图；

图2d示出了本申请另一个示例性实施例提供的一种视频播放方案的界面示意图；

图3示出了本申请一个示例性实施例提供的一种业务测试系统的架构示意图；

图4a示出了本申请一个示例性实施例提供的一种业务测试方案的流程示意图；

图4b示出了本申请一个示例性实施例提供的一种测试结果的界面示意图；

图5示出了本申请一个示例性实施例提供的一种业务测试方法的流程示意图；

图6示出了本申请另一个示例性实施例提供的一种业务测试方法的流程示意图；

图7示出了本申请一个示例性实施例提供的一种业务测试装置的结构示意图；

图8示出了本申请一个示例性实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了能够更清楚地理解本申请实施例提供的技术方案，下面先对本申请实施例中涉及的相关术语进行介绍：

（1）本申请实施例涉及业务。本申请实施例中提及的业务是指需要发布推广的产品、算法、模型等等；任一业务（以目标业务为例）可以对应多个（例如两个或两个以上）业务策略，业务策略是指业务的执行逻辑，目标业务对应多个业务策略可以理解为是目标业务存在多套业务的执行逻辑。举例来说，目标业务是需要发布推广的产品，目标业务的第一业务策略可以是该产品的新版本，目标业务的第二业务策略可以是该产品的旧版本；产品例如可以是地图应用、智慧交通应用、音视频播放应用、新闻资讯应用等；产品例如也可以是上述应用中的某个业务功能（例如，地图应用中的路线规划功能、路线推荐功能，智慧交通应用中的公共交通实时位置提醒功能、智慧停车推荐功能，音视频播放应用的音视频播放功能等）。又如，目标业务是人工智能模型，目标业务的第一业务策略可以是实现该人工智能模型的新算法，目标业务的第二业务策略可以是实现该人工智能模型的旧算法；人工智能模型例如可以是应用于智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶、智慧交通等领域的人工智能模型。

（2）本申请实施例还涉及AB实验。本申请实施例中提及的AB实验是一种测试方法，可以用于对业务进行测试；在采用AB实验的业务测试过程中，以目标业务的测试过程为例，随机抽取两批对象作为目标业务的实验组和目标业务的对照组，实验组对应目标业务的第一业务策略，对照组对应目标业务的第二业务策略，通过比较分析实验组在第一业务策略下产生的测试指标的指标信息，与对照组在第二业务策略下产生的测试指标的指标信息之间的差异，可以确定对目标业务的测试结果；若测试结果指示第一业务策略优于第二业务策略，则可以发布推广第一业务策略下的目标业务；若测试结果指示第二业务策略优于第一业务策略，则可以发布推广第二业务策略下的目标业务。

（3）本申请实施例还涉及测试指标。本申请实施例提及的测试指标是指用于对实验组或对照组中的对象操作进行衡量的单位或方法，对象操作是指对象对目标项目的访问操作，目标项目可以包括应用程序、网站、链接、图片、文本等等，访问操作可以包括登录操作、查看操作、点击操作、下载操作等等；举例来说，对象对应用程序的登录操作可属于对象操作，对象对链接的查看操作可属于对象操作，对象对图片或文本的下载操作也可属于对象操作。本申请实施例提及的测试指标可以包括但不限于以下至少一种：对象平均停留时长、图文点击通过率、留存率、对象平均访问次数等等。其中：

①对象平均停留时长可以是指多个对象在统计周期内访问目标项目的平均时长，对象平均停留时长可以根据多个对象在统计周期内访问目标项目的总时长与对象总数计算得到；统计周期是指对对象操作进行统计的周期，例如可以是两天、三天、半个月、一个月等等；举例来说，对象A在统计周期内访问目标项目5000秒，对象B在统计周期内访问目标项目3000秒，那么对象平均停留时长可以是（5000+3000）/2=4000秒。②图文CTR（Click-Through-Rate，点击通过率）可以是指图文（例如图片、文本、链接等等）的实际访问次数与图文的展示次数之间的比值；举例来说，某个链接在统计周期内被展示了1000次，但是该链接的实际访问次数是200次，那么图文点击通过率可以是200/1000=0.2。③留存率可以是指在统计周期的开始对目标项目进行访问且在统计周期的结束仍然对目标项目进行访问的对象，在统计周期的开始对目标项目进行访问的对象中所占的比例；举例来说，在统计周期的开始对目标项目进行访问的对象为30个，这30个对象中在统计周期的结束仍然对目标项目进行访问的对象为12个，那么留存率可以为12/30=0.4。④对象平均访问次数可以是指多个对象在统计周期内访问目标项目的平均次数，对象平均访问次数可以根据多个对象在统计周期内访问目标项目的总次数与对象总数计算得到；举例来说，对象A在统计周期内访问目标项目2000次，对象B在统计周期内访问目标项目1000次，那么对象平均访问次数可以是（2000+1000）/2=1500次。

测试指标的指标信息即测试指标的指标值，可以用于反映实验组或对照组中的对象操作属性，也就是说，实验组在测试指标下的指标信息可以用于反映实验组中的对象操作属性，对照组在测试指标下的指标信息可以用于反映对照组中的对象操作属性；举例来说，测试指标为实验组中100个实验对象的对象平均停留时长，当对象平均停留时长的指标值高于某个阈值时，可以确定实验组中的对象操作偏向于高活跃对象的对象操作，当对象平均停留时长的指标值低于某个阈值时，可以确定实验组中的对象操作偏向于低活跃对象的对象操作。

需要说明的是，本申请实施例提及的对象例如可以是用户，本申请实施例涉及的与对象相关的数据（例如上述对象操作、指标信息等）均是经对象同意和授权后采集的数据。

基于上述业务、AB实验以及测试指标的相关描述，本申请实施例提供一种基于AB实验的业务测试方案，该业务测试方案能够解决现有AB实验中因随机抽取实验组和对照组所导致的测试结果不准确的问题。该业务测试方案可描述如下：当需要对任一任务（以目标业务为例）进行测试时，可以获取目标业务的实验组和对照组，实验组对应目标业务的第一业务策略，对照组对应目标业务的第二业务策略；然后，可以对实验组中的各个实验对象进行分层处理，并对实验组中的各个分层进行指标聚合计算，得到第一业务策略下的实验组在测试指标下的指标信息；类似地，可以对对照组中的各个对照对象进行分层处理，并对对照组中的各个分层进行指标聚合计算，得到第二业务策略下的对照组在测试指标下的指标信息；然后，通过对实验组在测试指标下的指标信息与对照组在测试指标下的指标信息进行比较分析，可确定对目标业务的测试结果。在上述业务测试方案中，通过对实验组和对照组进行分层处理，使得实验组和对照组的同一分层中的对象分布是均衡的，例如实验组的第一实验属性分层和对照组的第一对照属性分层中均是处于同一属性（例如活跃度）范围的对象，这样可降低实验组与对照组之间的组间方差，从而提升目标业务的测试结果的准确性；并且，通过对实验组中的各分层之间进行指标聚合计算，对对照组中的各分层之间进行指标聚合计算，可以使得各个分层中的指标信息进行聚合，避免各个分层之间的指标信息存在偏差，这样进一步提升了测试结果的准确性。

本申请实施例提供的业务测试方案可适用于多种业务测试场景中，下面结合图2a至图2d对本申请实施例适用的业务测试场景进行介绍：

（1）需要进行测试的目标业务是确定热点卡片在新闻应用的新闻界面中的显示位置。图2a所示的热点卡片显示方案对应目标业务的第一业务策略，图2a示出了本申请一个示例性实施例提供的一种热点卡片的显示方案的界面示意图，新闻界面20中包括5个显示位置，分别是第一显示位置201、第二显示位置202、第三显示位置203、第四显示位置204和第五显示位置205，热点卡片206显示于第三显示位置203中；图2b所示的热点卡片显示方案对应目标业务的第二业务策略，图2b示出了本申请另一个示例性实施例提供的一种热点卡片的显示方案的界面示意图，热点卡片206显示于第四显示位置204中。在此可采用本申请实施例提供的业务测试方案对目标业务进行测试，若测试结果指示第一业务策略优于第二业务策略，即热点卡片206显示于第三显示位置203时测试指标的指标表现，优于热点卡片206显示于第四显示位置204时测试指标的指标表现，则可以按照第一业务策略发布该新闻应用；若测试结果指示第二业务策略优于第一业务策略，即热点卡片206显示于第四显示位置204时测试指标的指标表现，优于热点卡片206显示于第三显示位置203时测试指标的指标表现，则可以按照第二业务策略发布该新闻应用。

（2）需要进行测试的目标业务是确定视频播放应用的视频播放界面中的视频播放策略。图2c所示的视频播放方案对应目标业务的第一业务策略，图2c示出了本申请一个示例性实施例提供的一种视频播放方案的界面示意图，视频播放界面21中包括多个视频播放区域，任一视频播放区域中，例如视频播放区域211中，当前播放的视频（例如图2c所示的视频2）的播放进度达到80%时，可切换至下一视频（例如图2c所示的视频4）进行播放；图2d所示的视频播放方案对应目标业务的第二业务策略，图2d示出了本申请另一个示例性实施例提供的一种视频播放方案的界面示意图，视频播放区域211中当前播放的视频（例如图2d所示的视频2）播放结束（即播放进度达到100%）后，可切换至下一视频（例如图2d所示的视频4）进行播放；在此可采用本申请实施例提供的业务测试方案对目标业务进行测试，若测试结果指示第一业务策略优于第二业务策略，即当前视频的播放进度达到80%时切换播放下一个视频的指标表现，优于当前视频播放结束后切换播放下一个视频的指标表现，则可以按照第一业务策略发布该视频播放应用；若测试结果指示第二业务策略优于第一业务策略，即当前视频播放结束后切换播放下一个视频的指标表现，优于当前视频的播放进度达到80%时切换播放下一个视频的指标表现，则可以按照第二业务策略发布该视频播放应用。

下面结合图3对适于实现本申请实施例提供的业务测试方案的业务测试系统进行介绍，图3示出了本申请一个示例性实施例提供的一种业务测试系统的架构示意图，业务测试系统中可包括测试终端301、测试服务器302以及多个（例如两个或两个以上）对象终端303，测试终端301、测试服务器302以及多个对象终端303之间可以通过有线通信方式或无线通信方式建立直接或间接地连接。其中，测试终端301可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能语音交互设备、智能家电（例如可以是智能电视）等，但并不局限于此；任一个对象终端303可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能语音交互设备、智能家电（例如可以是智能电视）等，但并不局限于此；测试服务器302可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器，本申请在此不作限制。

其中，对象终端303对应被测对象，对象终端303可根据被测对象针对目标业务的业务策略的对象操作（即访问操作）产出对象指标数据；对象指标数据是反映被测对象的对象操作的数据，对象指标数据中可以包括对象级指标的指标信息，对象级指标可以理解为是针对每个对象的指标，例如对象级指标可以包括对象在统计周期内每天的停留时长、对象在统计周期内每天的访问次数、对象在统计周期内的总停留时长、对象在统计周期内的总访问次数等等。测试终端301对应测试对象，测试终端301中运行有测试客户端，测试客户端例如可以是测试应用程序、测试网站等等，其可向测试对象提供测试界面，测试对象可以通过在测试客户端提供的测试界面中进行操作，与测试服务器302实现交互。测试客户端与测试服务器302可组成业务测试平台；需要说明的是，图3所示的业务测试系统以测试客户端和测试服务器302分布于不同的设备中为例，在实际的业务测试场景中，测试客户端和测试服务器302也可以集成于同一个设备中，例如测试客户端和测试服务器302可集成于测试服务器302中，又如测试客户端和测试服务器302可集成于测试终端301中，本申请实施例对此不作限定。需要说明的是，各个被测对象的对象指标数据是经各个被测对象同意和授权后采集的数据。

在由测试终端301、测试服务器302以及多个对象终端303组成的业务测试系统中，业务测试方案可包括测试准备阶段、业务测试阶段和测试结果展示阶段，下面分别对以上三个阶段进行介绍：

（1）测试准备阶段。

为了对目标业务进行测试，多个对象终端被测试服务器抽取为实验组和对照组，也就是说，多个被测对象被测试服务器抽取为实验对象和对照对象；实验组的对象终端对应目标业务的第一业务策略，实验组的对象终端可以根据实验对象针对第一业务策略的对象操作，产生第一业务策略下的对象指标数据，然后实验组的对象终端可将产生的对象指标数据发送至测试服务器；类似地，对照组的对象终端对应目标业务的第二业务策略，对照组的对象终端可以根据对照对象针对第二业务策略的对象操作，产生第二业务策略下的对象指标数据，然后对照组的对象终端可将产生的对象指标数据发送至测试服务器。值得注意的是，本申请实施例中测试服务器抽取实验组和对照组的方式可存在多种，可以是随机抽取的抽取方式，也可以是按照抽取规则的抽取方式；一种示例性的抽取规则可以描述为，将终端标识为偶数的对象终端抽取为实验组，将终端标识为奇数的对象终端抽取为对照组；在抽取实验组和对照组的过程中可采取上述任意一种抽取方式进行抽取，本申请实施例对此不作限定。

然后，测试服务器可对实验组进行分层处理，对实验组的各个分层之间的对象指标数据进行指标聚合计算，得到实验组在测试指标下的指标信息；以及测试服务器可对对照组进行分层处理，对对照组的各个分层之间的对象指标数据进行指标聚合计算，得到对照组在测试指标下的指标信息。测试服务器还可将处理得到的指标信息存储于数据库中；此处的数据库可以是测试服务器的本地数据库，通过将处理得到的指标信息存储于测试服务器的本地数据库，当在业务测试阶段需要使用指标信息时，可以快速地从本地数据库中查询并加载指标信息，提升指标信息的查询效率和加载速度；此处的数据库也可以是独立于测试服务器的远端数据库，此处的数据库还可以是部署在云服务器中的数据库存储服务，云服务器独立于测试服务器存在，通过借助测试服务器之外的存储服务对指标信息进行存储，可以降低测试服务器对数据库的存储和计算能力的要求；另外，对象级的对象指标数据的数据量是非常庞大的，无需在数据库中存储对象级的对象指标数据，而是在数据库中存储对对象指标数据进行指标聚合计算得到的指标信息，可以减轻数据库的存储压力。

（2）业务测试阶段。

在一种实现方式中，当测试客户端检测到针对目标业务的测试操作时，例如当测试对象在测试客户端中选中关于目标业务的测试控件时，测试客户端可以向测试服务器发送目标业务的测试请求。当测试服务器接收到目标业务的测试请求时，测试服务器可以从数据库中查询目标业务的实验组在测试指标下的指标信息，以及目标业务的对照组在测试指标下的指标信息；然后，测试服务器可以比较实验组在测试指标下的指标信息与对照组在测试指标下的指标信息之间的差异，并根据差异确定目标业务的测试结果，测试服务器还可以将目标业务的测试结果返回至测试客户端中。

在另一种实现方式中，如图4a所示，图4a示出了本申请一个示例性实施例提供的一种业务测试方案的流程示意图，当测试服务器接收到目标业务的测试请求时，测试服务器可以从数据库中查询目标业务的实验组在测试指标下的指标信息，以及目标业务的对照组在测试指标下的指标信息；然后，测试服务器可以调用部署在云服务器中的方差消减服务比较实验组在测试指标下的指标信息与对照组在测试指标下的指标信息之间的差异，并根据差异确定目标业务的测试结果，测试服务器可以从方差消减服务中获取目标业务的测试结果，然后将目标业务的测试结果返回至测试客户端。在此实现方式中，方差消减服务部署于云服务器中，可供多个业务测试过程进行复用，可提升业务测试效率。

其中，方差消减服务可通过服务模块（例如可以是Python Flask模块）部署于云服务器中，测试服务器调用方差消减服务的过程可以包括：①测试服务器可采用目标格式对实验组在测试指标下的指标信息，以及对照组在测试指标下的指标信息进行封装；目标格式例如可以是json格式，通过将指标信息进行封装，可以提升指标信息传输时的便捷性；②测试服务器根据封装后的指标信息生成访问请求，并向云服务器中方差消减服务的服务接口发送该访问请求；访问请求例如可以是HTTP（Hypertext Transfer Protocol，超文本传输协议）中的post请求；③云服务器中的方差消减服务确定目标业务的测试结果后，测试服务器可以通过方差消减服务的服务接口获取目标业务的测试结果。

（3）测试结果展示阶段。

测试客户端接收到测试服务器返回的目标业务的测试结果之后，可以将目标业务的测试结果渲染至测试客户端的测试界面中进行展示；图4b示出了本申请一个示例性实施例提供的一种测试结果的界面示意图，如图4b所示，测试结果中展示了实验组（例如图4b所示的对比1）在7个测试指标下的指标信息，以及对照组（例如图4b所示的对比2）在7个测试指标下的指标信息，实验组在各个测试指标下的指标信息与对照组在各个测试指标下的指标信息之间的差异（例如图4b所示的绝对差值和相对差值）等等。

可以理解，本申请实施例描述的业务测试系统以及业务测试方案的三个阶段是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

基于上述业务测试方案以及业务测试系统的相关描述，下面结合图5和图6对本申请实施例提供的业务测试方案进行更为详细地介绍。请参见图5，图5示出了本申请一个示例性实施例提供的一种业务测试方法的流程示意图，该业务测试方法可以由本申请实施例提供的计算机设备执行，该计算机设备可以是上述业务测试系统中的测试服务器302，该业务测试方法可以包括以下步骤S501至步骤S504：

S501，获取目标业务的实验组和对照组。

当需要对目标业务进行测试时，可以获取目标业务的实验组和目标业务的对照组，目标业务的实验组对应目标业务的第一业务策略，目标业务的对照组对应目标业务的第二业务策略；实验组中可以包括P个实验对象，对照组中可以包括Q个对照对象，P和Q均为正整数。

S502，按照实验组中各个实验对象的历史属性数据，对实验组中的各个实验对象进行分层处理，得到M个实验属性分层；以及按照对照组中各个对照对象的历史属性数据，对对照组中的各个对照对象进行分层处理，得到M个对照属性分层。

对实验组中的实验对象的分层处理过程是基于实验对象的历史属性数据进行的，对对照组中的对照对象的分层处理过程是基于对照对象的历史属性数据进行的，在此先对历史属性数据进行介绍：历史属性数据是指在历史时间区间中的对象操作属性；历史时间区间是指第n-m-T天到第n-m天所形成的时间区间，即历史时间区间可以表示为[n-m-T，n-m]；其中，n表示业务测试方法于第n天执行；m的取值应大于AB实验的实验周期，这样可避免AB实验的实验结果对历史属性数据产生干扰；T表示统计周期，如前述内容可知，统计周期可以是两天、三天、半个月、一个月等等。历史属性数据可以包括对象在历史时间区间中的总停留时长或对象在历史时间区间中的总访问次数。举例来说，业务测试方法于第60天执行，AB实验的实验周期为14天，m的取值为20，T的取值为30，那么历史时间区间是指第10天到第40天所形成的时间区间，也就是说，历史属性数据可包括对象在历史时间区间[10，40]中的总停留时长或对象在历史时间区间[10，40]中的总访问次数。需要说明的是，各个对象（包括实验对象和对照对象）的历史属性数据是经各个对象同意和授权后采集的数据。

另外，历史属性数据可以用于指示对象的活跃度。例如，对象在历史时间区间中的总停留时长越长，表示对象的活跃度越高；对象在历史时间区间中的总停留时长越短，表示对象的活跃度越低；又如，对象在历史时间区间中的总访问次数越多，表示对象的活跃度越高；对象在历史时间区间中的总访问次数越少，表示对象的活跃度越低。

对于实验组中的P个实验对象，可以按照实验组中各个实验对象的历史属性数据，对实验组中的各个实验对象进行分层处理，得到M个实验属性分层，M为正整数。具体来说，M个实验属性分层中的一个实验属性分层对应历史属性数据的一个属性划分区间，对于P个实验对象中的任一实验对象，可以确定该实验对象的历史属性数据所属的属性划分区间，从而可以将该实验对象划分至确定的属性划分区间所对应的实验属性分层中。举例来说，历史属性数据是指对象在历史时间区间中的总停留时长，需要将实验组中的实验对象划分至5个实验属性分层中，5个实验属性分层分别是第一实验属性分层、第二实验属性分层、第三实验属性分层、第四实验属性分层和第五实验属性分层，第一实验属性分层对应总停留时长区间[0，5000)、第二实验属性分层对应总停留时长区间[5000，20000)、第三实验属性分层对应总停留时长区间[20000，50000)、第四实验属性分层对应总停留时长区间[50000，120000)、第五实验属性分层对应总停留时长区间[120000，600000]，单位为秒；若实验组中的实验对象A在历史时间区间中的总停留时长为60000秒，则可将实验对象A划分至第四实验属性分层中。

需要说明的是，上述分层处理过程中采用的分层属性维度是单维度的，为了提升分层的多样性，从而进一步提升测试结果的准确性，可以对分层属性维度进行扩充，基于多个（例如两个或两个以上）历史属性数据对实验组中的实验对象进行分层处理。对于单维度的分层处理过程中，实验属性分层的数量是根据历史属性数据的属性划分区间的数量确定的，实验属性分层的数量等于历史属性数据的属性划分区间的数量，并且一个实验属性分层对应历史属性数据的一个属性划分区间。而对于多维度的分层处理过程中，可以包括但不限于以下两种情况：（1）以两个维度的分层处理过程为例，例如基于第一历史属性数据和第二历史属性数据对实验组中的实验对象进行分层处理；第一历史属性数据包含多个属性划分区间，第二历史属性数据包含多个属性划分区间，那么实验属性分层的数量是根据第一历史属性数据的属性划分区间的数量以及第二历史属性数据的属性划分区间的数量确定的；实验属性分层的数量等于第一历史属性数据的属性划分区间的数量与第二历史属性数据的属性划分区间的数量之间的乘积；实验属性分层对应的属性划分区间是根据第一历史属性数据的属性划分区间和第二历史属性数据的属性划分区间共同确定的。（2）以两个维度的分层处理过程为例，例如基于第一历史属性数据和第二历史属性数据对实验组中的实验对象进行分层处理；第一历史属性数据包含多个属性划分区间，第二历史属性数据包含多个属性值，那么实验属性分层的数量是根据第一历史属性数据的属性划分区间的数量以及第二历史属性数据的属性值的数量确定的，实验属性分层的数量等于第一历史属性数据的属性划分区间的数量与第二历史属性数据的属性值的数量之间的乘积；实验属性分层对应的属性划分区间是根据第一历史属性数据的属性划分区间和第二历史属性数据的属性值共同确定的。举例来说，第一历史属性数据包括两个属性划分区间，分别是[a，b]和[c，d]；第二历史属性数据包括两个属性值，分别是男和女；那么可以确定出实验属性分层的数量为4个，并且4个实验属性分层对应的属性划分区间分别是{[a，b]，男}、{[a，b]，女}、{[c，d]，男}和{[c，d]，女}。

将实验组中的实验对象划分至M个实验属性分层之后，还可以对实验组中的实验对象进行筛选。具体筛选过程可如下描述，采用属性筛选阈值对M个实验属性分层中的实验对象进行筛选，确定M个实验属性分层中历史属性数据满足属性筛选阈值的实验对象；历史属性数据满足属性筛选阈值的实验对象是指历史属性数据小于或等于属性筛选阈值的实验对象；也就是说，将M个实验属性分层中历史属性数据大于属性筛选阈值的实验对象作为异常对象剔除，保留M个实验属性分层中历史属性数据小于或等于属性筛选阈值的实验对象；属性筛选阈值可以是根据测试对象的经验值设定的。由前述内容可知，实验对象的历史属性数据与活跃度相关，高活跃度对象在实验组中虽然占据的比例较小，但是容易引入额外的测试偏差，因此采用属性筛选阈值对高活跃度对象进行过滤，可以避免高活跃度对象的存在对测试结果的准确性造成影响。

对照组中对照对象的分层处理过程与实验组中实验对象的分层处理过程类似，即M个对照属性分层中的一个对照属性分层对应历史属性数据的一个属性划分区间，对于Q个对照对象中的任一对照对象，可以确定该对照对象的历史属性数据所属的属性划分区间，从而可以将该对照对象划分至确定的属性划分区间所对应的对照属性分层中。需要说明的是，在分层处理的过程中，实验组中的历史属性数据的属性划分区间与对照组中的历史属性数据的属性划分区间是相同的，这样可以保持各活跃度对象在实验组和对照组中所占据的比例相同，从而避免各活跃度对象在实验组和对照组中占比不均匀所带来的测试偏差，有利于提升测试结果的准确性。并且，将对照组中的对照对象划分至M个对照属性分层之后，也可采用属性筛选阈值对M个对照属性分层中的实验对象进行筛选，确定M个对照属性分层中历史属性数据满足属性筛选阈值的对照对象，也就是说，通过属性筛选阈值可将实验组和对照组中的高活跃对象均作为异常对象剔除，可以避免高活跃度对象的存在对测试结果的准确性造成影响。

S503，采用测试指标对M个实验属性分层进行指标聚合计算，得到实验组在测试指标下的指标信息；以及采用测试指标对M个对照属性分层进行指标聚合计算，得到对照组在测试指标下的指标信息。

测试指标的数量具体可以是R个，可以采用R个测试指标对M个实验属性分层进行指标聚合计算，得到实验组在R个测试指标下的指标信息；以及可以采用R个测试指标对M个对照属性分层进行指标聚合计算，得到对照组在R个测试指标下的指标信息，R为正整数。实验组与对照组的指标聚合计算过程是类似的，在此以实验组为例对指标聚合计算过程进行介绍，对照组的指标聚合计算过程可参见实验组的指标聚合计算过程，采用R个测试指标对M个实验属性分层进行指标聚合计算的过程可以包括以下（1）-（3）：

（1）将P个实验对象随机划分至N个随机分层中，N为正整数。P个实验对象的随机分层过程可参见如下描述：可以获取P个实验对象中的每个实验对象的对象标识；然后可以对获取到的P个实验对象的对象标识进行哈希计算，得到P个实验对象的对象哈希；进一步可根据P个实验对象的对象哈希将P个实验对象随机划分至N个随机分层中。具体实现中，对象哈希是由随机字母和数字组成的字符串，具有随机性；可以统计P个实验对象的对象哈希中不同尾字符的数量，将P个实验对象的对象哈希中不同尾字符的数量确定为随机分层的数量，一个随机分层对应一个尾字符，然后可按照对象哈希的尾字符将P个实验对象划分至相应的随机分层中，属于同一个随机分层的实验对象的对象哈希的尾字符相同；举例来说，P个实验对象的对象哈希中存在3个不同的尾字符，那么可确定随机分层的数量为3个，可按照对象哈希的尾字符将P个实验对象划分至3个随机分层中。需要说明的是，上述根据P个实验对象的对象哈希中不同尾字符的数量确定随机分层的数量仅用于举例；还可以根据对象哈希中不同首字符的数量确定随机分层的数量，一个随机分层对应一个首字符，在此情况下可按照对象哈希的首字符将P个实验对象划分至相应的随机分层中，本申请实施例对此不作限定。

（2）将N个随机分层与M个实验属性分层进行组合，得到N×M个实验综合分层，并确定属于N×M个实验综合分层中的每个实验综合分层的实验对象。其中，对N个随机分层与M个实验属性分层进行组合得到的N×M个实验综合分层可参见下述表1：

表1

如上述表1所示，N个随机分层可表示为X₁,…,X_i,…,X_N；M个实验属性分层可表示为Y₁,…,Y_j,…,Y_M；X_i表示N个随机分层中的第i个随机分层，Y_j表示M个实验属性分层中的第j个实验属性分层，i为小于或等于N的正整数，j为小于或等于M的正整数，N×M个实验综合分层中的任一个实验综合分层可表示为实验综合分层X_i*Y_j。

在此以实验综合分层X_i*Y_j为例，对确定实验综合分层X_i*Y_j的过程，以及确定属于实验综合分层X_i*Y_j中的实验对象的过程进行介绍。具体地，可以将第i个随机分层与第j个实验属性分层进行组合，得到实验综合分层X_i*Y_j；以及可以将第i个随机分层与第j个实验属性分层中均存在的实验对象，确定为属于实验综合分层X_i*Y_j的实验对象。举例来说，第i个随机分层中包括实验对象A和实验对象B，第j个实验属性分层中包括实验对象A、实验对象B和实验对象C；将第i个随机分层和第j个实验属性分层进行组合得到实验综合分层X_i*Y_j后，属于实验综合分层X_i*Y_j的实验对象为实验对象A和实验对象B。

（3）采用R个测试指标对N×M个实验综合分层中的每个实验综合分层进行指标聚合计算，确定N×M个实验综合分层中的每个实验综合分层在R个测试指标下的指标信息。

R个测试指标中的任一个参考指标可以表示为第r个测试指标，N×M个实验综合分层中的任一个实验综合分层可表示为实验综合分层X_i*Y_j，在此以第r个测试指标和实验综合分层X_i*Y_j为例，对采用第r个测试指标对实验综合分层X_i*Y_j进行指标聚合计算，确定实验综合分层X_i*Y_j在第r个测试指标下的指标信息的过程进行介绍。具体地，可以获取实验综合分层X_i*Y_j中的各个实验对象的对象指标数据；然后，可以从对象指标数据中，确定第r个测试指标的关联指标的指标信息，并根据确定的关联指标的指标信息，计算得到实验综合分层X_i*Y_j在第r个测试指标下的指标信息。此处，第r个测试指标的关联指标是指与第r个测试指标计算相关的指标；例如，第r个测试指标为对象平均停留时长，对象平均停留时长的计算与实验对象在统计周期内的总停留时长相关，那么关联指标可以是实验对象在统计周期内的总停留时长；又如，第r个测试指标为对象平均停留时长，对象平均停留时长的计算与实验对象在统计周期内每天的停留时长相关，那么关联指标也可以是实验对象在统计周期内每天的停留时长。当关联指标是实验对象在统计周期内的总停留时长时，可以根据实验综合分层X_i*Y_j中的各个实验对象在统计周期内的总停留时长，与实验综合分层X_i*Y_j中的总实验对象数量，计算得到实验综合分层X_i*Y_j中的对象平均停留时长。

对于对照组而言，也可以采用R个测试指标对M个对照属性分层进行指标聚合计算，得到对照组在R个测试指标下的指标信息。采用R个测试指标对M个对照属性分层进行指标聚合计算的过程可以包括：将Q个对照对象随机划分至N个随机分层中；将N个随机分层与M个对照属性分层进行组合，得到N×M个对照综合分层，并确定属于N×M个对照综合分层中的每个对照综合分层的对照对象；采用R个测试指标对N×M个对照综合分层中的每个对照综合分层进行指标聚合计算，确定N×M个对照综合分层中的每个对照综合分层在R个测试指标下的指标信息。需要说明的是，采用R个测试指标对M个对照属性分层进行指标聚合计算的过程，与采用R个测试指标对M个实验属性分层进行指标聚合计算的过程类似，具体可参见上述（1）-（3）中关于M个实验属性分层的指标聚合计算过程的描述，在此不再赘述。

S504，比较实验组在测试指标下的指标信息与对照组在测试指标下的指标信息之间的差异，并根据差异确定目标业务的测试结果。

由上述内容可知，测试指标的数量可以是R个，因此可分别比较实验组在各个测试指标下的指标信息与对照组在对应测试指标下的指标信息之间的差异，并根据各个测试指标的差异确定目标业务的测试结果。在此以R个测试指标中的第r个测试指标为例进行说明，可以比较实验组在第r个测试指标下的指标信息与对照组在第r个测试指标下的指标信息之间的差异，并根据第r个测试指标下的差异确定目标业务在第r个测试指标下的测试结果。

另外，对于R个测试指标中的核心指标（核心指标是指灵敏度较高，且对目标业务的测试结果具有较大贡献的指标），可以直接根据目标业务在核心指标下的测试结果，确定目标业务的业务策略。具体地，实验组对应目标业务的第一业务策略，对照组对应目标业务的第二业务策略，第一业务策略相比于第二业务策略而言是可以目标业务的新业务策略，第二业务策略可以是目标业务中原始存在的；若第r个测试指标是R个测试指标中的核心指标，则在根据第r个测试指标下的差异确定目标业务在第r个测试指标下的测试结果之后，可以根据目标业务在符r个测试指标下的测试结果，确定目标业务的业务策略。若目标业务在第r个测试指标下的测试结果指示第一业务策略优于第二业务策略，则可以采用第一业务策略对目标业务进行优化，即采用第一业务策略替换目标业务中原有的第二业务策略；或者，若目标业务在第r个测试指标下的测试结果指示第二业务策略优于第一业务策略，则可以在目标业务中保持第二业务策略，即保持目标业务中原有的第二业务策略不变。通过这样的方式，基于目标业务在核心指标下的测试结果便可确定目标业务的业务策略，无需考虑目标业务在各个测试指标下的测试结果，并且核心指标是对目标业务的测试结果具有较大贡献的指标，可以在保证测试结果准确性的前提下提升业务测试效率。

本申请实施例中，对实验组进行分层处理、指标聚合计算后，可以得到实验组在测试指标下的指标信息；对对照组进行分层处理、指标聚合计算后，可以得到对照组在测试指标下的指标信息；然后，通过比较实验组在测试指标下的指标信息与对照组在测试指标下的指标信息之间的差异，可确定目标业务的测试结果，并且确定出的测试结果准确性较高。此外，可以采用属性筛选阈值对实验组和对照组中的高活跃对象进行过滤，将高活跃对象作为异常对象剔除，可以避免高活跃对象的存在对测试结果的准确性造成影响。另外，在实验组和对照组的分层处理过程中，可以对分层属性维度进行扩充，分层属性维度越多，实验组和对照组的分层方案越细致丰富，这样可进一步提升测试结果的准确性。

请参见图6，图6示出了本申请另一个示例性实施例提供的一种业务测试方法的流程示意图，该业务测试方法可以由本申请实施例提供的计算机设备执行，该计算机设备可以是上述业务测试系统中的测试服务器302，该业务测试方法可以包括以下步骤S601至步骤S606：

S601，获取目标业务的实验组和对照组。

本申请实施例中步骤S601的执行过程与图5所示实施例中步骤S501的执行过程相同，步骤S601的执行过程可参见图5所示实施例中步骤S501的具体描述，在此不再赘述。

S602，按照实验组中各个实验对象的历史属性数据，对实验组中的各个实验对象进行分层处理，得到M个实验属性分层；以及按照对照组中各个对照对象的历史属性数据，对对照组中的各个对照对象进行分层处理，得到M个对照属性分层。

本申请实施例中步骤S602的执行过程与图5所示实施例中步骤S502的执行过程相同，步骤S602的执行过程可参见图5所示实施例中步骤S502的具体描述，在此不再赘述。

S603，采用R个测试指标对M个实验属性分层进行指标聚合计算，确定N×M个实验综合分层中的每个实验综合分层在R个测试指标下的指标信息；以及采用R个测试指标对M个对照属性分层进行指标聚合计算，确定N×M个对照综合分层中的每个对照综合分层在R个测试指标下的指标信息。

本申请实施例中步骤S603的执行过程与图5所示实施例中步骤S503的执行过程相同，步骤S603的执行过程可参见图5所示实施例中步骤S503的具体描述，在此不再赘述。

S604，对N×M个实验综合分层中的每个实验综合分层在第r个测试指标下的指标信息，与N×M个对照综合分层中的每个对照综合分层在第r个测试指标下的指标信息进行方差消减计算，确定N个随机分层中的每个随机分层在第r个测试指标下的聚合相对差值。

由步骤S603可知，采用R个测试指标对M个实验属性分层进行指标聚合计算之后，可以得到N×M个实验综合分层中的每个实验综合分层在R个测试指标下的指标信息；以及采用R个测试指标对M个对照属性分层进行指标聚合计算之后，可以得到N×M个对照综合分层中的每个对照综合分层在R个测试指标下的指标信息。基于此，对于R个测试指标中的任一个测试指标（即第r个测试指标），可以对N×M个实验综合分层中的每个实验综合分层在第r个测试指标下的指标信息，与N×M个对照综合分层中的每个对照综合分层在第r个测试指标下的指标信息进行方差消减计算，确定N个随机分层中的每个随机分层在第r个测试指标下的聚合相对差值。在此以R个测试指标中的任一个测试指标（即第r个测试指标）、N个随机分层中的任一个随机分层（即第i个随机分层）为例，对确定N个随机分层中的第i个随机分层在第r个测试指标下的聚合相对差值的过程进行介绍，该过程可包括以下（1）-（3）：

（1）获取由第i个随机分层与M个实验属性分层组合得到的M个实验综合分层，以及获取由第i个随机分层与M个对照属性分层组合得到的M个对照综合分层。

（2）计算M个实验综合分层中的每个实验综合分层下在第r个测试指标下的指标信息，与M个对照综合分层中的每个对照综合分层在第r个测试指标下的指标信息之间的M个初始相对差值。

其中，M个初始相对差值中的第j个初始相对差值，是根据M个实验综合分层中的第j个实验综合分层在第r个测试指标下的指标信息，和M个对照综合分层中的第j个对照综合分层在第r个测试指标下的指标信息进行计算得到的，j为小于或等于M的正整数；具体地，第j个初始相对差值等于第一数值与第二数值之间的差值，第一数值等于第j个实验综合分层在第r个测试指标下的指标信息与第j个对照综合分层在第r个测试指标下的指标信息之间的比值，第二数值可以是一个常数，例如可以是1。

（3）对M个初始相对差值进行加权聚合，得到第i个随机分层在第r个测试指标下的聚合相对差值。

在对M个初始相对差值进行加权聚合之前，需要确定M个初始相对差值对应的M个权重，一个初始相对差值对应一个权重，第j个初始相对差值对应第j个权重，第j个权重与第r个测试指标的指标信息在第j个对照综合分层中的计算方式相关，在此以第r个测试指标、第j个权重为例，对第j个权重的确定过程进行介绍：首先，可以确定第j个对照综合分层在第r个测试指标下的指标信息的计算方式，第j个对照综合分层是第i个随机分层与第j个对照属性分层进行组合得到的；然后，可以根据第j个对照综合分层在第r个测试指标下的指标信息的计算方式确定第j个权重。

例如，第r个测试指标为对象平均停留时长，第j个对照综合分层在对象平均停留时长下的指标信息的计算方式为：将第j个对照综合分层中的各个对照对象的总停留时长，与第j个对照综合分层中的对照对象总数之间的比值作为第j个对照综合分层在对象平均停留时长下的指标信息；此时第j个权重是根据第j个对照综合分层中的对照对象总数，与第i个随机分层下的对照对象总数确定的，第j个权重等于第j个对照综合分层中的对照对象总数与第i个随机分层下的对照对象总数之间的比值。又如，第r个测试指标为天均停留时长，由于对于各个对照对象而言统计周期是相同，因此，当第r个测试指标为天均停留时长时，各个初始相对差值对应的权重是相同的，均是1/M。

综上（1）-（3），N个随机分层中的第i个随机分层在第r个测试指标下的聚合相对差值的计算过程可参见下述公式1：

公式1

如上述公式1可知，

表示第i个随机分层在第r个测试指标下的聚合相对差值；

表示第j个初始相对差值；

表示第j个权重。

S605，对N个随机分层中的各个随机分层在第r个测试指标下的聚合相对差值进行显著性计算，得到目标业务在第r个测试指标下的显著性结果。

对N个随机分层中的各个随机分层在第r个测试指标下的聚合相对差值进行显著性计算，得到目标业务在第r个测试指标下的显著性结果的过程具体可以包括：将N个随机分层中的各个随机分层在第r个测试指标下的聚合相对差值输入显著性计算模型中，获取显著性计算模型输出的目标业务在第r个测试指标下的显著性结果。其中，显著性计算模型例如可以是双总体T检验模型，双总体T检验模型是一种假设检验模型，双总体T检验模型中存在原假设和备择假设；原假设中假设实验组在第r个测试指标下的指标信息与对照组在第r个测试指标下的指标信息之间不存在差异，备择假设中假设实验组在第r个测试指标下的指标信息与对照组在第r个测试指标下的指标信息之间存在显著差异；显著性计算模型输出的显著性结果可参见图4b所示的测试界面，显著性结果可以包括显著或不显著；若显著性结果为显著，则表明拒绝原假设，选择备择假设，即实验组在第r个测试指标下的指标信息与对照组在第r个测试指标下的指标信息之间存在显著差异；若显著性结果为不显著，则表明选择原假设，拒绝备择假设，即实验组在第r个测试指标下的指标信息与对照组在第r个测试指标下的指标信息之间不存在差异。

S606，根据目标业务在第r个测试指标下的显著性结果，确定目标业务在第r个测试指标下的测试结果。

在将N个随机分层中的各个随机分层在第r个测试指标下的聚合相对差值输入显著性计算模型之后，显著性计算模型除输出的目标业务在第r个测试指标下的显著性结果之外，还可以输出实验组在第r个测试指标下的指标信息与对照组在第r个测试指标下的指标信息之间的总体相对差值，例如图4b所示的测试界面中示出的相对差值；从而可以根据目标业务在第r个测试指标下的显著性结果，以及实验组在第r个测试指标下的指标信息与对照组在第r个测试指标下的指标信息之间的总体相对差值，确定目标业务在第r个测试指标下的测试结果。

具体实现中，测试结果可以包括第一测试结果和第二测试结果，第一测试结果指示实验组对应的第一业务策略优于对照组对应的第二业务策略，第二测试结果指示对照组对应的第二业务策略优于实验组对应的第一业务策略；若目标业务在第r个测试指标下的显著性结果为显著，以及实验组在第r个测试指标下的指标信息与对照组在第r个测试指标下的指标信息之间的总体相对差值为正值，则可确定目标业务的测试结果为第一测试结果；若目标业务在第r个测试指标下的显著性结果为显著，以及实验组在第r个测试指标下的指标信息与对照组在第r个测试指标下的指标信息之间的总体相对差值为负值，则可确定目标业务的测试结果为第二测试结果。

本申请实施例中，对实验组进行分层处理、指标聚合计算后，可以得到实验组在测试指标下的指标信息；对对照组进行分层处理、指标聚合计算后，可以得到对照组在测试指标下的指标信息；然后，通过比较实验组在测试指标下的指标信息与对照组在测试指标下的指标信息之间的差异，可确定目标业务在相应指标下的的测试结果，并且确定出的测试结果准确性较高。此外，在比较实验组在测试指标下的指标信息与对照组在测试指标下的指标信息之间的差异的过程中，通过方差消减计算和显著性计算，可降低测试结果的假阳性比例，降低测试指标的波动，提升测试指标的灵敏度，从而可以降低测试所需最小实验流量（即测试所需实验组与对照组的对象数），节约业务测试成本。

下面对业务测试方法的测试效果的验证过程进行描述，该验证过程针对第一类错误率和第二类错误率；第一类错误率是指第一类错误发生的概率，第一类错误是指拒真错误，即拒绝了正确的假设的错误；第二类错误率是指第二类错误发生的概率，第二类错误是指进行假设检验时，原假设不正确却接受了原假设的错误；在实际测试过程中，第一类错误率和第二类错误率越低，可表明业务测试方法的测试结果越准确。具体的验证方法为：获取多个对象（例如可以是100万个对象）真实的对象指标数据，采用对象平均停留时长、图文点击通过率、留存率三个具有代表性的测试指标，模拟多次（例如可以是1000次）本申请实施例提及的业务测试方案以及现有技术中提及的业务测试方案，针对第一类错误率的验证结果可参见下述表2至表4：

表2

表3

表4

上述表2是对本申请实施例提供的业务测试方案进行验证后产生的针对第一类错误率的验证结果，表3是对现有的业务测试方案进行验证后产生的针对第一类错误率的验证结果，表4是现有的业务测试方案中实际不显著与预测不显著之间的比值；通过上述表2和表3之间的对比可知，本申请实施例提供的业务测试方案在各测试指标下的第一类错误率均低于现有的业务测试方案，可见采用本申请实施例提供的业务测试方案进行测试时，测试结果的准确率较高。

针对第二类错误率的验证结果可参见下述表5至表10，其中表5至表7对应给定较小收益的情况，表8至表10对应给定较大收益的情况：

表5

表6

表7

表8

表9

表10

上述表5是在给定较小收益的情况下，对本申请实施例提供的业务测试方案进行验证后产生的针对第二类错误率的验证结果；表6是在给定较小收益的情况下，对现有的业务测试方案进行验证后产生的针对第二类错误率的验证结果；表7是在给定较小收益的情况下，现有的业务测试方案中实际显著与预测显著之间的比值；上述表8是在给定较大收益的情况下，对本申请实施例提供的业务测试方案进行验证后产生的针对第二类错误率的验证结果；表9是在给定较大收益的情况下，对现有的业务测试方案进行验证后产生的针对第二类错误率的验证结果；表10是在给定较大收益的情况下，现有的业务测试方案中实际显著与预测显著之间的比值；通过上述表5和表6之间的对比，以及表8和表9之间的对比可知，本申请实施例提供的业务测试方案在各测试指标下的第二类错误率均低于现有的业务测试方案，可见采用本申请实施例提供的业务测试方案进行测试时，测试结果的准确率较高；另外，纵向比对上述各表中的各个测试指标，不难看出，本申请实施例提供的业务测试方案对于对象平均类指标（例如对象平均停留时长）的指标灵敏度提升更明显，对于比例类或比率类（例如图文点击通过率、留存率）的指标有一定效果但是比较有限。

上述详细阐述了本申请实施例的方法，为了便于更好地实施本申请实施例的上述方案，相应地，下面提供了本申请实施例的装置。

请参见图7，图7示出了本申请一个示例性实施例提供的一种业务测试装置的结构示意图，该业务测试装置可以设置于本申请实施例提供的计算机设备中，计算机设备可以是上述方法实施例中提及的测试服务器；在一些实施例中，该业务测试装置可以是运行于计算机设备中的一个计算机程序（包括程序代码），该业务测试装置可以用于执行图5或图6所示的方法实施例中的相应步骤。请参见图7，该业务测试装置可以包括如下单元：

获取单元701，用于获取目标业务的实验组和对照组；

处理单元702，用于按照实验组中各个实验对象的历史属性数据，对实验组中的各个实验对象进行分层处理，得到M个实验属性分层；以及按照对照组中各个对照对象的历史属性数据，对对照组中的各个对照对象进行分层处理，得到M个对照属性分层，M为正整数；

处理单元702，还用于采用测试指标对M个实验属性分层进行指标聚合计算，得到实验组在测试指标下的指标信息；以及采用测试指标对M个对照属性分层进行指标聚合计算，得到对照组在测试指标下的指标信息；

处理单元702，还用于比较实验组在测试指标下的指标信息与对照组在测试指标下的指标信息之间的差异，并根据差异确定目标业务的测试结果。

在一种实现方式中，实验组包括P个实验对象，测试指标的数量为R个，P和R均为正整数；处理单元702，用于采用测试指标对M个实验属性分层进行指标聚合计算，得到实验组在测试指标下的指标信息时，具体用于执行如下步骤：

将P个实验对象随机划分至N个随机分层中，N为正整数；

将N个随机分层与M个实验属性分层进行组合，得到N×M个实验综合分层，并确定属于N×M个实验综合分层中的每个实验综合分层的实验对象；

采用R个测试指标对N×M个实验综合分层中的每个实验综合分层进行指标聚合计算，确定N×M个实验综合分层中的每个实验综合分层在R个测试指标下的指标信息。

在一种实现方式中，N×M个实验综合分层中的任一个实验综合分层表示为实验综合分层X_i*Y_j，X_i表示N个随机分层中的第i个随机分层，Y_j表示M个实验属性分层中的第j个实验属性分层，i为小于或等于N的正整数，j为小于或等于M的正整数；

处理单元702，用于将N个随机分层与M个实验属性分层进行组合，得到N×M个实验综合分层，并确定属于N×M个实验综合分层中的每个实验综合分层的实验对象时，具体用于执行如下步骤：

将第i个随机分层与第j个实验属性分层进行组合，得到实验综合分层X_i*Y_j；

将第i个随机分层与第j个实验属性分层中均存在的实验对象，确定为属于实验综合分层X_i*Y_j的实验对象。

在一种实现方式中，R个测试指标中的任一个测试指标表示为第r个测试指标，r为小于或等于R的正整数；处理单元702，用于采用R个测试指标对N×M个实验综合分层中的每个实验综合分层进行指标聚合计算，确定N×M个实验综合分层中的每个实验综合分层在R个测试指标下的指标信息时，具体用于执行如下步骤：

获取实验综合分层X_i*Y_j中的各个实验对象的对象指标数据；

从对象指标数据中，确定第r个测试指标的关联指标的指标信息；

根据确定的关联指标的指标信息，计算实验综合分层X_i*Y_j在第r个测试指标下的指标信息。

在一种实现方式中，处理单元702，用于将P个实验对象随机划分至N个随机分层中时，具体用于执行如下步骤：

获取P个实验对象中的每个实验对象的对象标识；

对获取到的P个实验对象的对象标识进行哈希计算，得到P个实验对象的对象哈希；

根据P个实验对象的对象哈希将P个实验对象随机划分至N个随机分层中。

在一种实现方式中，R个测试指标中的任一个测试指标表示为第r个测试指标，r为小于或等于R的正整数；处理单元702，用于比较实验组在测试指标下的指标信息与对照组在测试指标下的指标信息之间的差异时，具体用于执行如下步骤：

对N×M个实验综合分层中的每个实验综合分层在第r个测试指标下的指标信息，与N×M个对照综合分层中的每个对照综合分层在第r个测试指标下的指标信息进行方差消减计算，确定N个随机分层中的每个随机分层在第r个测试指标下的聚合相对差值；

其中，N×M个对照综合分层是将N个随机分层与M个对照属性分层进行组合得到的。

在一种实现方式中，N个随机分层中的任一个随机分层表示为第i个随机分层，i为小于或等于N的正整数；处理单元702，用于对N×M个实验综合分层中的每个实验综合分层在第r个测试指标下的指标信息，与N×M个对照综合分层中的每个对照综合分层在第r个测试指标下的指标信息进行方差消减计算，确定N个随机分层中的每个随机分层在第r个测试指标下的聚合相对差值时，具体用于执行如下步骤：

获取由第i个随机分层与M个实验属性分层组合得到的M个实验综合分层，以及获取由第i个随机分层与M个对照属性分层组合得到的M个对照综合分层；

计算M个实验综合分层中的每个实验综合分层在第r个测试指标下的指标信息，与M个对照综合分层中的每个对照综合分层在第r个测试指标下的指标信息之间的M个初始相对差值；其中，M个初始相对差值中的第j个初始相对差值，是根据M个实验综合分层中的第j个实验综合分层在第r个测试指标下的指标信息，和M个对照综合分层中的第j个对照综合分层在第r个测试指标下的指标信息计算得到的，j为小于或等于M的正整数；

对M个初始相对差值进行加权聚合，得到第i个随机分层在第r个测试指标下的聚合相对差值。

在一种实现方式中，处理单元702，用于根据差异确定目标业务的测试结果时，具体用于执行如下步骤：

对N个随机分层中的各个随机分层在第r个测试指标下的聚合相对差值进行显著性计算，得到目标业务在第r个测试指标下的显著性结果；

根据目标业务在第r个测试指标下的显著性结果，确定目标业务在第r个测试指标下的测试结果。

在一种实现方式中，实验组包括P个实验对象，P为正整数；M个实验属性分层中的一个实验属性分层对应一个属性划分区间；处理单元702，用于按照实验组中各个实验对象的历史属性数据，对实验组中的各个实验对象进行分层处理，得到M个实验属性分层时，具体用于执行如下步骤：

确定P个实验对象中的任一实验对象的历史属性数据所属的属性划分区间；

将任一实验对象划分至确定的属性划分区间所对应的实验属性分层中。

在一种实现方式中，处理单元702，还用于执行如下步骤：

采用属性筛选阈值对M个实验属性分层中的实验对象进行筛选，确定M个实验属性分层中历史属性数据满足属性筛选阈值的实验对象。

在一种实现方式中，测试指标的数量为R个，R个测试指标中的任一个测试指标表示为第r个测试指标，R和r均为正整数，且r小于或等于R；实验组与目标业务的第一业务策略对应，对照组与目标业务的第二业务策略对应；处理单元702，还用于执行如下步骤：

若目标业务在第r个测试指标下的测试结果指示第一业务策略优于第二业务策略，则采用第一业务策略对目标业务进行优化；

若目标业务在第r个测试指标下的测试结果指示第二业务策略优于第一业务策略，则在目标业务中保持第二业务策略。

根据本申请的一个实施例，图5或图6所示的方法所涉及的各个方法步骤可以是由图7所示的业务测试装置中的各个单元来执行的。例如，图5所示的步骤S501可由图7所示的获取单元701来执行，图5所示的步骤S502至步骤S504可由图7所示的处理单元702来执行。又如，图6所示的步骤S601可由图7所示的获取单元701来执行，图6所示的步骤S602至步骤S606可由图7所示的处理单元702来执行。

根据本申请的另一个实施例，图7所示的业务测试装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个（些）单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，业务测试装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本申请的另一个实施例，可以通过在包括中央处理单元（CPU）、随机存取存储介质（RAM）、只读存储介质（ROM）等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图5或图6所示的相应方法所涉及的各步骤的计算机程序（包括程序代码），来构造如图7中所示的业务测试装置，以及来实现本申请实施例的业务测试方法。所述计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于上述计算设备中，并在其中运行。

本申请实施例中，在获取到目标业务的实验组和对照组之后，可以对实验组中的各个实验对象进行分层处理；类似地，可以对对照组中的各个对照对象进行分层处理；其次，可以对实验组中的各个分层进行指标聚合计算，得到实验组在测试指标下的指标信息，以及可以对对照组中的各个分层进行指标聚合计算，得到对照组在测试指标下的指标信息；然后，通过比较实验组在测试指标下的指标信息与对照组在测试指标下的指标信息之间的差异，可根据差异确定对目标业务的测试结果。由此可见，通过对实验组和对照组进行分层处理，可以强制保持各个分层中实验组和对照组的对象分布趋于均衡，这样有利于降低实验组与对照组之间的组间方差，从而可以提升测试结果的准确性；并且，对实验组和对照组中的各个分层进行指标聚合计算，可以避免对测试指标的指标信息进行计算时因引入分层而产生的额外偏差，可进一步提升测试结果的准确性。

基于上述方法以及装置实施例，本申请实施例提供了一种计算机设备，该计算机设备可以是前述所提及的测试服务器。请参见图8，图8示出了本申请一个示例性实施例提供的一种计算机设备的结构示意图。图8所示的计算机设备至少包括处理器801、输入接口802、输出接口803以及计算机可读存储介质804。其中，处理器801、输入接口802、输出接口803以及计算机可读存储介质804可通过总线或其他方式连接。

输入接口802可以用于获取目标业务的实验组和对照组，还可以用于获取实验组中的各个实验对象的对象指标数据，以及获取对照组中的各个对照对象的对象指标数据；输出接口803可以用于将目标业务的测试结果输出至测试客户端。

计算机可读存储介质804可以存储在计算机设备的存储器中，计算机可读存储介质804用于存储计算机程序，计算机程序包括计算机指令，处理器801用于执行计算机可读存储介质804存储的程序指令。处理器801（或称CPU（Central Processing Unit，中央处理器））是计算机设备的计算核心以及控制核心，其适于实现一条或多条计算机指令，具体适于加载并执行一条或多条计算机指令从而实现相应方法流程或相应功能。

本申请实施例还提供了一种计算机可读存储介质（Memory），计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了计算机设备的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或多条的计算机指令，这些计算机指令可以是一个或一个以上的计算机程序（包括程序代码）。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器（Non-VolatileMemory），例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机可读存储介质。

在一种实现方式中，可由处理器801加载并执行计算机可读存储介质804中存放的一条或多条计算机指令，以实现上述有关图5或图6所示的业务测试方法的相应步骤。具体实现中，计算机可读存储介质804中的计算机指令由处理器801加载并执行如下步骤：

获取目标业务的实验组和对照组；

按照实验组中各个实验对象的历史属性数据，对实验组中的各个实验对象进行分层处理，得到M个实验属性分层；以及按照对照组中各个对照对象的历史属性数据，对对照组中的各个对照对象进行分层处理，得到M个对照属性分层，M为正整数；

采用测试指标对M个实验属性分层进行指标聚合计算，得到实验组在测试指标下的指标信息；以及采用测试指标对M个对照属性分层进行指标聚合计算，得到对照组在测试指标下的指标信息；

比较实验组在测试指标下的指标信息与对照组在测试指标下的指标信息之间的差异，并根据差异确定目标业务的测试结果。

在一种实现方式中，实验组包括P个实验对象，测试指标的数量为R个，P和R均为正整数；计算机可读存储介质804中的计算机指令由处理器801加载并执行采用测试指标对M个实验属性分层进行指标聚合计算，得到实验组在测试指标下的指标信息时，具体用于执行如下步骤：

将P个实验对象随机划分至N个随机分层中，N为正整数；

将N个随机分层与M个实验属性分层进行组合，得到N×M个实验综合分层，并确定属于N×M个实验综合分层中的每个实验综合分层的实验对象；

采用R个测试指标对N×M个实验综合分层中的每个实验综合分层进行指标聚合计算，确定N×M个实验综合分层中的每个实验综合分层在R个测试指标下的指标信息。

在一种实现方式中，N×M个实验综合分层中的任一个实验综合分层表示为实验综合分层X_i*Y_j，X_i表示N个随机分层中的第i个随机分层，Y_j表示M个实验属性分层中的第j个实验属性分层，i为小于或等于N的正整数，j为小于或等于M的正整数；

计算机可读存储介质804中的计算机指令由处理器801加载并执行将N个随机分层与M个实验属性分层进行组合，得到N×M个实验综合分层，并确定属于N×M个实验综合分层中的每个实验综合分层的实验对象时，具体用于执行如下步骤：

将第i个随机分层与第j个实验属性分层进行组合，得到实验综合分层X_i*Y_j；

将第i个随机分层与第j个实验属性分层中均存在的实验对象，确定为属于实验综合分层X_i*Y_j的实验对象。

在一种实现方式中，R个测试指标中的任一个测试指标表示为第r个测试指标，r为小于或等于R的正整数；计算机可读存储介质804中的计算机指令由处理器801加载并执行采用R个测试指标对N×M个实验综合分层中的每个实验综合分层进行指标聚合计算，确定N×M个实验综合分层中的每个实验综合分层在R个测试指标下的指标信息时，具体用于执行如下步骤：

获取实验综合分层X_i*Y_j中的各个实验对象的对象指标数据；

从对象指标数据中，确定第r个测试指标的关联指标的指标信息；

根据确定的关联指标的指标信息，计算实验综合分层X_i*Y_j在第r个测试指标下的指标信息。

在一种实现方式中，计算机可读存储介质804中的计算机指令由处理器801加载并执行将P个实验对象随机划分至N个随机分层中时，具体用于执行如下步骤：

获取P个实验对象中的每个实验对象的对象标识；

对获取到的P个实验对象的对象标识进行哈希计算，得到P个实验对象的对象哈希；

根据P个实验对象的对象哈希将P个实验对象随机划分至N个随机分层中。

在一种实现方式中，R个测试指标中的任一个测试指标表示为第r个测试指标，r为小于或等于R的正整数；计算机可读存储介质804中的计算机指令由处理器801加载并执行比较实验组在测试指标下的指标信息与对照组在测试指标下的指标信息之间的差异时，具体用于执行如下步骤：

对N×M个实验综合分层中的每个实验综合分层在第r个测试指标下的指标信息，与N×M个对照综合分层中的每个对照综合分层在第r个测试指标下的指标信息进行方差消减计算，确定N个随机分层中的每个随机分层在第r个测试指标下的聚合相对差值；

其中，N×M个对照综合分层是将N个随机分层与M个对照属性分层进行组合得到的。

在一种实现方式中，N个随机分层中的任一个随机分层表示为第i个随机分层，i为小于或等于N的正整数；计算机可读存储介质804中的计算机指令由处理器801加载并执行对N×M个实验综合分层中的每个实验综合分层在第r个测试指标下的指标信息，与N×M个对照综合分层中的每个对照综合分层在第r个测试指标下的指标信息进行方差消减计算，确定N个随机分层中的每个随机分层在第r个测试指标下的聚合相对差值时，具体用于执行如下步骤：

获取由第i个随机分层与M个实验属性分层组合得到的M个实验综合分层，以及获取由第i个随机分层与M个对照属性分层组合得到的M个对照综合分层；

计算M个实验综合分层中的每个实验综合分层在第r个测试指标下的指标信息，与M个对照综合分层中的每个对照综合分层在第r个测试指标下的指标信息之间的M个初始相对差值；其中，M个初始相对差值中的第j个初始相对差值，是根据M个实验综合分层中的第j个实验综合分层在第r个测试指标下的指标信息，和M个对照综合分层中的第j个对照综合分层在第r个测试指标下的指标信息计算得到的，j为小于或等于M的正整数；

对M个初始相对差值进行加权聚合，得到第i个随机分层在第r个测试指标下的聚合相对差值。

在一种实现方式中，计算机可读存储介质804中的计算机指令由处理器801加载并执行根据差异确定目标业务的测试结果时，具体用于执行如下步骤：

对N个随机分层中的各个随机分层在第r个测试指标下的聚合相对差值进行显著性计算，得到目标业务在第r个测试指标下的显著性结果；

根据目标业务在第r个测试指标下的显著性结果，确定目标业务在第r个测试指标下的测试结果。

在一种实现方式中，实验组包括P个实验对象，P为正整数；M个实验属性分层中的一个实验属性分层对应一个属性划分区间；计算机可读存储介质804中的计算机指令由处理器801加载并执行按照实验组中各个实验对象的历史属性数据，对实验组中的各个实验对象进行分层处理，得到M个实验属性分层时，具体用于执行如下步骤：

确定P个实验对象中的任一实验对象的历史属性数据所属的属性划分区间；

将任一实验对象划分至确定的属性划分区间所对应的实验属性分层中。

在一种实现方式中，计算机可读存储介质804中的计算机指令由处理器801加载并还用于执行如下步骤：

采用属性筛选阈值对M个实验属性分层中的实验对象进行筛选，确定M个实验属性分层中历史属性数据满足属性筛选阈值的实验对象。

在一种实现方式中，测试指标的数量为R个，R个测试指标中的任一个测试指标表示为第r个测试指标，R和r均为正整数，且r小于或等于R；实验组与目标业务的第一业务策略对应，对照组与目标业务的第二业务策略对应；计算机可读存储介质804中的计算机指令由处理器801加载并还用于执行如下步骤：

若目标业务在第r个测试指标下的测试结果指示第一业务策略优于第二业务策略，则采用第一业务策略对目标业务进行优化；

若目标业务在第r个测试指标下的测试结果指示第二业务策略优于第一业务策略，则在目标业务中保持第二业务策略。

本申请实施例中，在获取到目标业务的实验组和对照组之后，可以对实验组中的各个实验对象进行分层处理；类似地，可以对对照组中的各个对照对象进行分层处理；其次，可以对实验组中的各个分层进行指标聚合计算，得到实验组在测试指标下的指标信息，以及可以对对照组中的各个分层进行指标聚合计算，得到对照组在测试指标下的指标信息；然后，通过比较实验组在测试指标下的指标信息与对照组在测试指标下的指标信息之间的差异，可根据差异确定对目标业务的测试结果。由此可见，通过对实验组和对照组进行分层处理，可以强制保持各个分层中实验组和对照组的对象分布趋于均衡，这样有利于降低实验组与对照组之间的组间方差，从而可以提升测试结果的准确性；并且，对实验组和对照组中的各个分层进行指标聚合计算，可以避免对测试指标的指标信息进行计算时因引入分层而产生的额外偏差，可进一步提升测试结果的准确性。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选方式中提供的业务测试方法。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种业务测试方法，其特征在于，所述方法包括：

获取目标业务的实验组和对照组；

按照所述实验组中各个实验对象的历史属性数据，对所述实验组中的各个实验对象进行分层处理，得到M个实验属性分层；以及按照所述对照组中各个对照对象的历史属性数据，对所述对照组中的各个对照对象进行分层处理，得到M个对照属性分层，M为正整数；

采用测试指标对所述M个实验属性分层进行指标聚合计算，得到所述实验组在所述测试指标下的指标信息；以及采用所述测试指标对所述M个对照属性分层进行指标聚合计算，得到所述对照组在所述测试指标下的指标信息；

比较所述实验组在所述测试指标下的指标信息与所述对照组在所述测试指标下的指标信息之间的差异，并根据所述差异确定所述目标业务的测试结果。

2.如权利要求1所述的方法，其特征在于，所述实验组包括P个实验对象，所述测试指标的数量为R个，P和R均为正整数；所述采用测试指标对所述M个实验属性分层进行指标聚合计算，得到所述实验组在所述测试指标下的指标信息，包括：

将所述P个实验对象随机划分至N个随机分层中，N为正整数；

将所述N个随机分层与所述M个实验属性分层进行组合，得到N×M个实验综合分层，并确定属于所述N×M个实验综合分层中的每个实验综合分层的实验对象；

采用R个测试指标对所述N×M个实验综合分层中的每个实验综合分层进行指标聚合计算，确定所述N×M个实验综合分层中的每个实验综合分层在所述R个测试指标下的指标信息。

3.如权利要求2所述的方法，其特征在于，所述N×M个实验综合分层中的任一个实验综合分层表示为实验综合分层X_i*Y_j，X_i表示所述N个随机分层中的第i个随机分层，Y_j表示所述M个实验属性分层中的第j个实验属性分层，i为小于或等于N的正整数，j为小于或等于M的正整数；

所述将所述N个随机分层与所述M个实验属性分层进行组合，得到N×M个实验综合分层，并确定属于所述N×M个实验综合分层中的每个实验综合分层的实验对象，包括：

将所述第i个随机分层与所述第j个实验属性分层进行组合，得到所述实验综合分层X_i*Y_j；

将所述第i个随机分层与所述第j个实验属性分层中均存在的实验对象，确定为属于所述实验综合分层X_i*Y_j的实验对象。

4.如权利要求3所述的方法，其特征在于，所述R个测试指标中的任一个测试指标表示为第r个测试指标，r为小于或等于R的正整数；所述采用R个测试指标对所述N×M个实验综合分层中的每个实验综合分层进行指标聚合计算，确定所述N×M个实验综合分层中的每个实验综合分层在所述R个测试指标下的指标信息，包括：

获取所述实验综合分层X_i*Y_j中的各个实验对象的对象指标数据；

从所述对象指标数据中，确定所述第r个测试指标的关联指标的指标信息；

根据确定的关联指标的指标信息，计算所述实验综合分层X_i*Y_j在所述第r个测试指标下的指标信息。

5.如权利要求2所述的方法，其特征在于，所述将所述P个实验对象随机划分至N个随机分层中，包括：

获取所述P个实验对象中的每个实验对象的对象标识；

对获取到的P个实验对象的对象标识进行哈希计算，得到所述P个实验对象的对象哈希；

根据所述P个实验对象的对象哈希将所述P个实验对象随机划分至所述N个随机分层中。

6.如权利要求2所述的方法，其特征在于，所述R个测试指标中的任一个测试指标表示为第r个测试指标，r为小于或等于R的正整数；所述比较所述实验组在所述测试指标下的指标信息与所述对照组在所述测试指标下的指标信息之间的差异，包括：

对所述N×M个实验综合分层中的每个实验综合分层在所述第r个测试指标下的指标信息，与N×M个对照综合分层中的每个对照综合分层在所述第r个测试指标下的指标信息进行方差消减计算，确定所述N个随机分层中的每个随机分层在所述第r个测试指标下的聚合相对差值；

其中，所述N×M个对照综合分层是将所述N个随机分层与所述M个对照属性分层进行组合得到的。

7.如权利要求6所述的方法，其特征在于，所述N个随机分层中的任一个随机分层表示为第i个随机分层，i为小于或等于N的正整数；所述对所述N×M个实验综合分层中的每个实验综合分层在所述第r个测试指标下的指标信息，与N×M个对照综合分层中的每个对照综合分层在所述第r个测试指标下的指标信息进行方差消减计算，确定所述N个随机分层中的每个随机分层在所述第r个测试指标下的聚合相对差值，包括：

获取由所述第i个随机分层与所述M个实验属性分层组合得到的M个实验综合分层，以及获取由所述第i个随机分层与所述M个对照属性分层组合得到的M个对照综合分层；

计算所述M个实验综合分层中的每个实验综合分层在所述第r个测试指标下的指标信息，与所述M个对照综合分层中的每个对照综合分层在所述第r个测试指标下的指标信息之间的M个初始相对差值；其中，所述M个初始相对差值中的第j个初始相对差值，是根据所述M个实验综合分层中的第j个实验综合分层在所述第r个测试指标下的指标信息，和所述M个对照综合分层中的第j个对照综合分层在所述第r个测试指标下的指标信息计算得到的，j为小于或等于M的正整数；

对所述M个初始相对差值进行加权聚合，得到所述第i个随机分层在所述第r个测试指标下的聚合相对差值。

8.如权利要求6所述的方法，其特征在于，所述根据所述差异确定所述目标业务的测试结果，包括：

对所述N个随机分层中的各个随机分层在所述第r个测试指标下的聚合相对差值进行显著性计算，得到所述目标业务在所述第r个测试指标下的显著性结果；

根据所述目标业务在所述第r个测试指标下的显著性结果，确定所述目标业务在所述第r个测试指标下的测试结果。

9.如权利要求1所述的方法，其特征在于，所述实验组包括P个实验对象，P为正整数；所述M个实验属性分层中的一个实验属性分层对应一个属性划分区间；所述按照所述实验组中各个实验对象的历史属性数据，对所述实验组中的各个实验对象进行分层处理，得到M个实验属性分层，包括：

确定所述P个实验对象中的任一实验对象的历史属性数据所属的属性划分区间；

将所述任一实验对象划分至确定的属性划分区间所对应的实验属性分层中。

10.如权利要求9所述的方法，其特征在于，所述方法还包括：

采用属性筛选阈值对所述M个实验属性分层中的实验对象进行筛选，确定所述M个实验属性分层中历史属性数据满足所述属性筛选阈值的实验对象。

11.如权利要求1所述的方法，其特征在于，所述测试指标的数量为R个，R个测试指标中的任一个测试指标表示为第r个测试指标，R和r均为正整数，且r小于或等于R；所述实验组与所述目标业务的第一业务策略对应，所述对照组与所述目标业务的第二业务策略对应；所述方法还包括：

若所述目标业务在所述第r个测试指标下的测试结果指示所述第一业务策略优于所述第二业务策略，则采用所述第一业务策略对所述目标业务进行优化；

若所述目标业务在所述第r个测试指标下的测试结果指示所述第二业务策略优于所述第一业务策略，则在所述目标业务中保持所述第二业务策略。

12.一种业务测试装置，其特征在于，所述装置包括：

获取单元，用于获取目标业务的实验组和对照组；

处理单元，用于按照所述实验组中各个实验对象的历史属性数据，对所述实验组中的各个实验对象进行分层处理，得到M个实验属性分层；以及按照所述对照组中各个对照对象的历史属性数据，对所述对照组中的各个对照对象进行分层处理，得到M个对照属性分层，M为正整数；

所述处理单元，还用于采用测试指标对所述M个实验属性分层进行指标聚合计算，得到所述实验组在所述测试指标下的指标信息；以及采用所述测试指标对所述M个对照属性分层进行指标聚合计算，得到所述对照组在所述测试指标下的指标信息；

所述处理单元，还用于比较所述实验组在所述测试指标下的指标信息与所述对照组在所述测试指标下的指标信息之间的差异，并根据所述差异确定所述目标业务的测试结果。

13.一种计算机设备，其特征在于，所述设备包括：

处理器，适于实现计算机程序；以及，

计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1至11任一项所述的业务测试方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序，所述计算机程序适于由处理器加载并执行如权利要求1至11任一项所述的业务测试方法。

Images