CN113485931A - 测试方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本发明提供的测试方法、装置、电子设备及计算机可读存储介质，方法包括：当目标应用存在优化需求，根据优化策略，确定目标应用对应的实验版本和对照版本；获取实验版本对应的实验组用户行为数据集和对照版本对应的对照组用户行为数据集；基于与目标数据指标相关的参考指标，分别对实验组用户行为数据集、对照组用户行为数据集进行分组；参考指标与目标数据指标具有最大相关度；基于分组后的实验组用户行为数据集和分组后的对照组用户行为数据集进行统计分析；若实验版本对应的目标数据指标优于对照版本对应的目标数据指标，则将实验版本确定为目标应用的目标版本。本申请通过分组处理进行指标转换，降低了指标方差，可以保证测试的准确度。

Description

测试方法、装置、电子设备及计算机可读存储介质

技术领域

本发明涉及测试技术领域，具体而言，涉及一种测试方法、装置、电子设备及计算机可读存储介质。

背景技术

随着计算机技术的快速发展，在网站和APP的设计、产品运营中，经常会面临多个设计/运营方案的选择，软件测试作为一种优化方法，可根据收集到的每个版本的用户行为数据确定每个版本的可行性和用户体验，并从各个版本中选定最优的版本投入正式的使用。

目前，在针对一些应用程序的测试过程中，很多实验指标之间的方差(离散程度)较大,很难检测出实验组和对照组的指标差异，而相关技术在降低方差的过程中存在数据失真的现象，降低了测试准确度。

发明内容

有鉴于此，本发明的目的之一在于提供一种测试方法、装置、电子设备及计算机可读存储介质，以降低测试过程中指标之间的方差。

本发明技术方案可以这样实现：

第一方面，本发明提供一种测试方法，所述方法包括：当目标应用存在优化需求，根据优化策略，确定所述目标应用对应的实验版本和对照版本；其中，所述实验版本配置有所述优化策略；所述对照版本没有配置有所述优化策略；获取所述实验版本对应的实验组用户行为数据集和所述对照版本对应的对照组用户行为数据集；基于与目标数据指标相关的参考指标，分别对所述实验组用户行为数据集、所述对照组用户行为数据集进行分组；所述参考指标与所述目标数据指标具有最大相关度；其中，所述目标数据指标用于评估所述优化策略的优化性能；基于分组后的所述实验组用户行为数据集和分组后的所述对照组用户行为数据集进行统计分析；若所述实验版本对应的所述目标数据指标优于所述对照版本对应的所述目标数据指标，则将所述实验版本确定为所述目标应用的目标版本。

第二方面，本发明提供一种测试装置，包括：确定模块，用于当目标应用存在优化需求，根据优化策略，确定所述目标应用对应的实验版本和对照版本；其中，所述实验版本配置有所述优化策略；所述对照版本没有配置有所述优化策略；获取模块，用于获取所述实验版本对应的实验组用户行为数据集和所述对照版本对应的对照组用户行为数据集；分组模块，用于基于与目标数据指标相关的参考指标，分别对所述实验组用户行为数据集、所述对照组用户行为数据集进行分组；所述参考指标与所述目标数据指标具有最大相关度；其中，所述目标数据指标用于评估所述优化策略的优化性能；测试模块，用于基于分组后的所述实验组用户行为数据集和分组后的所述对照组用户行为数据集进行统计分析；所述确定模块，用于若所述实验版本对应的所述目标数据指标优于所述对照版本对应的所述目标数据指标，则将所述实验版本确定为所述目标应用的目标版本。

第三方面，本发明提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现第一方面所述的方法。

第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法。

本发明提供一种测试方法、装置、电子设备及计算机可读存储介质，所述方法包括：当目标应用存在优化需求，根据优化策略，确定目标应用对应的实验版本和对照版本；获取实验版本对应的实验组用户行为数据集和对照版本对应的对照组用户行为数据集；基于与目标数据指标相关的参考指标，分别对实验组用户行为数据集、对照组用户行为数据集进行分组；参考指标与目标数据指标具有最大相关度；基于分组后的实验组用户行为数据集和分组后的对照组用户行为数据集进行统计分析；若实验版本对应的目标数据指标优于对照版本对应的目标数据指标，则将实验版本确定为目标应用的目标版。本申请通过分组处理进行指标转换，降低了指标方差，可以保证测试的准确度。本申请提供的测试方法，在进行测试之前，先根据目标数据指标的参考指标对实验组样本和对照组样本进行分组，分组处理可以降低数据之间的离散程度，降低了指标方差，从而可以保证测试的准确度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供了一种网络系统示意图；

图2为本发明实施例提供的一种测试方法的示意性流程图；

图3提供了一种测试网络架构示意图；

图4为本申请实施例提供的步骤S105的示意性流程图；

图5为本发明实施例提供的另一种测试方法的示意性流程图；

图6为本发明实施例提供的一种测试装置的功能模块图；

图7为本发明实施例提供的一种电子设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。

目前，在网站和APP的设计、产品运营中，经常会面临多个设计/运营方案的选择，软件测试作为一种优化方法，可根据收集到的每个版本的用户行为数据确定每个版本的可行性和用户体验，并从各个版本中选定最优的版本投入正式的使用，目前应用最广的测试方法为AB测试。

AB测试是为Web或App界面或流程制作两个(A/B)或多个(A/B/n)版本，在同一时间维度，分别让组成成分相同(相似)的访客群组(目标人群)随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用。例如，直播应用程序新上线了一个直播功能，那么该直播功能究竟给平台带了来多少额外的用户使用时长，多少直播以外的视频观看时长等，都可以通过AB测试进行评估。

首先，请参见图1，图1为本发明实施例提供了一种网络系统示意图，该网络系统可以包括服务器10、由至少一个终端20-1构成的已安装实验版本应用的终端，以及由至少一个终端20-2构成的对照组应用的终端。

其中，上述终端中的可以安装有各个应用程序(Application，简称APP)，例如，直播程序、聊天程序、音视频程序、游戏程序等。已安装实验版本应用指得的应用配置有优化策略，对照组应用指得是该应用没有配置有优化策略。优化策略指得是应用上的新增功能，例如，直播程序上线的换脸功能、聊天程序新上线的表情包、音视频程序新上线的音效等。

其中，该服务器10可以用于分别采集属于已安装实验版本的终端的实验组用户行为数据集、属于对照版本应用的终端的对照组用户行为数据集，并基于收集到的两类用户行为数据进行统计分析，获得已安装实验版本的终端的测试结果。

需要说明的是，该分析功能也可以由其他的设备实现，例如服务器10仅用于采集获得实验组用户行为数据集与对照组用户行为数据集，进而将这些数据集合的数据发送给具有分析功能的设备进行分析处理。

可选地，上述网络系统可以被用于提供多种可能的服务，包括但不限于：多媒体流服务、云游戏、分布式存储等服务。

例如，以视频直播为例，该网络系统中的服务器10可以为提供视频直播流的服务器，而上述已安装实验版本的终端20-1、对照组应用组的终端20-2可以为安装有视频直播相关应用。服务器10可以基于不同的分析目的，对已安装实验版本的终端20-1、对照组应用组的终端20-2上与视频直播应用相关的数据，使用数据进行采集与分析。而上述已安装实验版本的终端20-1、对照组应用组的终端20-2可以获取用户在使用视频直播应用时的相关数据，例如，用户数量、用户滞留时长、人均使用时长、互动率等，并上报给上述服务器10。

需要说明的是，上述终端设备可以但不限于：个人电脑、笔记本电脑、平板电脑、手机等。

继续以上述图1所述的系统架构为例，现有技术对收集到的用户数据指标之间的方差(离散程度)较大,很难检测出实验组和对照组的指标差异，为了解决这个问题，相关技术给出了解决方式，一种是直接通过削减用户数据指标中的较大值,并放缩均值加上3倍的标准差,这种会有数据一定程度上失真的效果，另一种是剔除用户数据指标中的极大值,这种剔除极大值的方式会丢失掉一定的数据,而且并无极大值评判标准定,不利于真实和科学准确的去评估实验。

为了避免相关技术出现的技术缺陷，本发明实施例提供了一种测试方法，在该测试方法中本发明实施例提供了一种降低指标方差的实现方式，能够提升测试效果的显著性和准确性,从而达到更加科学的决策目的。

请参见图2，图2为本发明实施例提供的一种测试方法的示意性流程图，该方法可以包括以下流程：

S102、当目标应用存在优化需求，根据优化策略，确定目标应用对应的实验版本和对照版本。

在一些可能的实施例中，上述目标应用可以但不限于是，直播程序、聊天程序、音视频程序、游戏程序等，实验版本配置有优化策略，对照组版本没有配置有优化策略。优化策略指得是应用上的新增功能，例如，直播程序上线的换脸功能、聊天程序新上线的表情包、音视频程序新上线的音效等。

S103、获得实验版本对应的实验组用户行为数据集和对照版本对应的对照组用户行为数据集。

可以理解的是，在进行测试的过程中，可以先将一定数量的用户作为实验组，同等数量的用户作为对照组，实验组的每个用户与对照组的每个用户均不相同。用户行为数据指得是用户在使用应用的过程中产生的一些指标数据值，例如使用时长、登录天数、日观看时长等。

例如，以实验组为例(对照组同理)，实验组用户行为数据集可以表示为a，a的形式可以为：[a1,a2,…an]，其中，n表示用户个数，a1,a2,…an分别表示每个用户对应的目标数据指标的指标值，例如，目标数据指标为用户使用时长，则a1,a2,…an分别表示每个用户对应的用户使用时长。

例如，直播应程序上线了一个换脸功能，那么该换脸功能就可以理解为一个优化策略，待优化的目标数据指标可以但不限于是：用户数量、用户滞留、人均使用时长、互动率等，那么实验组的用户行为数据集就是用户在具有换脸功能的直播应用程序的使用期间采集的指标数据,而对照组则是用户在无新直播功能的该直播应用程序的使用期间采集的指标数据。

S105、基于与目标数据指标相关的参考指标，分别对实验组用户行为数据集、对照组用户行为数据集进行分组。

在一些可能的实施例中，目标数据指标可以但不限于是用户数量、用户滞留、人均使用时长、互动率等。参考指标指的是与目标数据指标之间具有最大相关度的指标，可以通过任意一种相关性算法获得。

例如，假设目标数据指标为用户使用时长，那么与用户使用时长有关的指标可能有用户年龄、城市等，通过相关性算法，可以分别计算出年龄、城市等指标与用户使用时长之间的相关度，假设城市与用户使用时长的相关度最大，那么城市便可以作为用户使用时长的参考指标。

上述步骤S105的目的是：降低实验组用户行为数据集中目标指标之间的方差，降低对照组用户行为数据集中目标指标之间的方差。

S106，基于分组后的实验组用户行为数据集和分组后的对照组用户行为数据集进行统计分析。

可以理解的是，对分组后的实验组用户行为数据集和分组后的对照组用户行为数据集进行统计分析，可以是对目标数据指标计算方差、均值、标准差等。

S107，若实验版本对应的目标数据指标优于对照版本对应的目标数据指标，则将实验版本确定为目标应用的目标版本。

可以理解的是，若实验版本对应的目标数据指标优于对照版本对应的目标数据指标，则表明实验版本应用能够优化目标数据指标，例如，假设目标数据指标为用户使用时长，实验版本对应的全部用户使用时长的均值为100分钟，而对照版本对应的全部用户使用时长的均值为70分钟，很显然，实验版本应用对应用户而言使用粘性更强，更利于吸引用户使用。

下面就本申请实施例基于分组原则能够降低指标方差的原理进行证明。

为了能够更加清楚的对本文上述实施例进行说明，下面以目标数据指标为用户使用时长，参考指标为用户所处城市，作为示例，对上文实施例进行说明，具体的，图3提供了一种测试网络架构示意图，参见图3，该网络架构包含：服务器10以及多组基于用户存储城市，被划分的终端。

其中，每一个城市，可基于终端安装的应用版本为实验版本还是对照版本进行划分，例如，城市1中，已安装实验版本应用的终端20-1为2000台；相应的，安装对照版本应用的终端20-2也为2000台。

在一些场景中，为了对可基于城市进行终端的划分，针对不同的城市，其终端数量可以要求一致，也可以基于权重进行差异。例如，继续参见图3，城市1中终端20-1与终端20-2的数量均为2000，而城市2中终端20-1与终端20-2的数量均为3000，城市3中终端20-1与终端20-2的数量均为5000。

其中，针对不同城市的权重，其可以基于测试需求，预先进行设置。例如，若目标数据指示为用户使用时长。而通过其他方式已预知该应用整体用户的分布，在三个城市的比例为2：3：5，则上述终端划分的权重可被配置为2：3：5；而在另一些场景中，该权重可以直接基于对不同城市用户的实际统计获得，例如，经统计三个城市包含的终端实际数量之比就是2：3：5，则确定其权重为2：3：5。

需要说明的是上述示例，仅以目标数据指标为用户使用时长，参考指标为用户所处城市为例。基于不同的测试需求，目标数据指示也可以与多个参考指标建立关联关系，例如，除上述用户所处城市外，参考指标还可以包括用户的年龄层分布。因此，对于本申请实施例提供的目标数据指标与参考指标，其可以包含多种不同的组合，基于测试需求而定，本申请不予限定。

进一步的，若上述图3所示服务器10基于目标数据指标为用户使用时长，参考指标为用户所处城市进行测试，其可以维护测试策略信息如下表一：

表一

参见上述表一，服务器10可以基于测试人员的配置，维护上述与测试相关的信息。并基于该表信息，与相关的终端进行通信，以获得测试所需的用户行为数据。显然，为了实现上述通信，该测试策略信息还可以包括用于通信的用户ID、终端ID等信息。

具体的通信方式可以为：服务器10通过网络与图1中各个终端建立通信链接后，通过广播或其他通信形式，指示每个终端上报用户的用户使用时长。具体上报形式可以包含但不限于：用户使用时长、用户ID、终端ID、用户所处城市等信息，以便服务器10与其维护的测试策略信息进行匹配，进而获得的数据进行有效的存储。

以上述表一中的实验组为例，先确定实验版本应用对应的用户行为数据集中出现的城市分别为城市1，城市2和城市3，然后，确定城市1对应的用户数量分布为2000，城市2对应的用户数量分布为3000，城市3对应的用户数量分布为5000，然后，计算根据各个城市对应用户数量分布和总用户数量计算各个城市对应的权重，例如，城市1对应的权重w1为20％，城市2对应的权重w2为30％，城市3对应的权重w3为50％。

以计算实验组的用户使用时长均值

为例，假设城市1对应的分组中的用户使用时长均值为

城市2对应分组中的用户使用时长均值为

城市3对应分组的用户使用时长均值为

其中，每个组对应的用户使用时长可以用该组全部用户对应的用户使用时长之和除以该组的用户数量分布得到，则可以根据以下公式计算实验组对应的用户使用时长Y的均值，

其中，K为组数，wk为第k个组的概率，

表示在每一个组的用户时长均值。

可以看出，在没有对数据进行分组之前，用户行为数据集的数据方差可以分解为层内方差与层间方差可以用数学公式表达为：

其中，S是组间方差，S>＝0,σ_k表示划分的每个组中的用户数据的标准差，μ_k表示划分的每一个组的目标数据指标均值，μ表示全部用户的用户时长均值，进行分组后，分组后的方差可以表达为：

很显然

由上面的公式证明,通过指标的计算的变换,缩小了指标间的方差。

通过上述实现过程，可以对于付费等指标等方差较大的实验提供更加灵敏的判断,可以更快更科学的进行决策，对于需要较大样本量才能检验出效果的实验,可以大大缩短了样本量的大小,使得较少的用户受到我们策略的影响，同时，还可以大大缩短测试的周期,能够在较短的时间内就可以检验出实验的效果,更好的为业务决策,驱动功能更快速的迭代。

可选地，下面给出一种基于与目标数据指标的参考指标，对实验组用户行为数据集、对照组用户行为数据集进行分组的步骤，请参见图4，图4为本申请实施例提供的步骤S105的示意性流程图，步骤S105可以包括：

子步骤S105-1、基于参考指标，分别确定实验组用户行为数据集对应的第一分组个数以及对照组用户行为数据集对应的第二分组个数。

在一些可能的实施例中，可以根据参考指标的指标值来确定分组个数，例如，请继续参见图3，以参考指标为城市为例，分组个数可以是城市的类别数，例如，实验组用户行为数据的全部用户对应的城市分别是城市1、城市2和城市3，那么第一分组个数则为3，对照组同理。

子步骤S105-2、按照第一分组个数，将实验组用户行为数据集进行分组。

子步骤S105-3、按照第二分组个数，将对照组用户行为数据进行分组。

需要说明的是，上述子步骤S105-2与子步骤S105-3之间并无执行的先后顺序，在一些场景中，也可以执行子步骤S105-3再执行子步骤S105-2，也可以同时执行子步骤S105-2与子步骤S105-3，此处不作限定。

可选地，下面还给出一种具体的分组方式，即上述步骤子步骤S105-2可以按照以下步骤执行：

步骤1，按照第一分组个数，将实验组用户行为数据集划分成与第一分组个数一致的多个实验组；每个实验组对应有一个参考指标的指标值。

步骤2，根据实验组用户行为数据集的数据总量以及划分成的每一个实验组的数据个数来计算相对应的权重，权重的计算方式为数据个数/总数据总量。

上述步骤子步骤S105-3还可以按照以下步骤执行：

步骤1，按照第二分组个数，将对照组用户行为数据集划分成与第二分组个数一致的多个对照组；每个对照组对应有一个参考指标的指标值；

步骤2，根据对照组用户行为数据集的数据总量以及划分成的每一个对照组的数据个数来计算每个对照组对应的权重，权重的计算方式为数据个数/总数据总量。

可选地，在获得实验组用户行为数据、对照组用户行为数据的步骤之前，还可以通过相关性算法确定目标数据指标的参考指标，下面给出一种实现方式，请参见图5，图5为本申请实施例提供的另一种测试方法的示意性流程图，该方法还可以包括：

S104、基于预设的相关性算法，确定与目标数据指标之间具有最大相关度的参考指标。

在一些可能的实施方式中，可以利用pearson相关性法计算与实验指标Y相关性最大的指标,下面以计算30天登录天数指标和30天日均观看时长指标的相关度举例。

步骤1，获得数据组a和数据组b，数据组a＝[a1,a2,…an]，数据组b＝[b1,b2,…bn]。其中，n表示用户个数，a1,a2,…an分别表示每个用户的30天登录天数，同理，b1,b2,…bn分别表示每个用户的30天日均观看时长。

步骤2，计算数据组a的平均值

以及数据组b的平均值

步骤3，将数据组a中的每一个值减去

获得结果c，即，

i＝1,2,3…，n。同理，将数据组b中的每一个值减去

获得结果d，即，

i＝1,2,3…，n。

步骤4，计算c*d的求和作为k，即

步骤5，计算数据组a的方差为

计算数据组b的方差为

步骤6，根据数据组a的方差和数据组b的方差计算参数L，参数

步骤7，相关度

通过上述计算过程，最终获得的相关度是介于(0,1)之间的数字。

需要说明的是，步骤S103和步骤S103之间并无执行的先后顺序，可以先执行步骤S103在执行步骤S103，或者，先执行步骤S103在执行步骤S103，此处不作限定。

为了执行上述实施例及各个可能的方式中的测试方法的步骤，下面给出一种测试装置的实现方式，请参阅图6，图6为本申请实施例提供的一种测试装置的功能模块图。需要说明的是，本实施例所提供的测试装置，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该测试装置40包括：

确定模块41，用于当目标应用存在优化需求，根据优化策略，确定所述目标应用对应的实验版本和对照版本；其中，所述实验版本配置有所述优化策略；所述对照版本没有配置有所述优化策略；

获取模块42，用于获取所述实验版本对应的实验组用户行为数据集和所述对照版本对应的对照组用户行为数据集；

分组模块43，用于基于与目标数据指标相关的参考指标，分别对所述实验组用户行为数据集、所述对照组用户行为数据集进行分组；所述参考指标与所述目标数据指标具有最大相关度；其中，所述目标数据指标用于评估所述优化策略的优化性能；

测试模块44，用于基于分组后的所述实验组用户行为数据集和分组后的所述对照组用户行为数据集进行统计分析；

所述确定模块41，用于若所述实验版本对应的所述目标数据指标优于所述对照版本对应的所述目标数据指标，则将所述实验版本确定为所述目标应用的目标版本。

可选地，所述分组模块43，具体用于：基于所述参考指标，分别确定所述实验组用户行为数据集对应的第一分组个数以及所述对照组用户行为数据集对应的第二分组个数；按照所述第一分组个数，将所述实验组用户行为数据集进行分组；按照所述第二分组个数，将所述对照组用户行为数据进行分组。

可选地，确定模块41，还用于：基于预设的相关性算法，确定与所述目标数据指标之间具有最大相关度的所述参考指标。

可选地，所述分组模块43，具体用于：按照所述第一分组个数，将所述第一取值范围划分成与所述第一分组个数一致的多个实验组；每个所述实验组对应有一个所述参考指标的指标值；根据实验组用户行为数据集的数据总量以及划分成的每一个实验组的数据个数来计算每个实验组对应的权重；按照所述第二分组个数，将所述第二取值范围划分成与所述第二分组个数一致的多个对照组；每个所述对照组对应有一个所述参考指标的指标值；根据对照组用户行为数据集的数据总量以及划分成的每一个对照组的数据个数来计算每个对照组对应的权重。

本申请实施例还提供一种电子设备，如图7，图7为本申请实施例提供的一种电子设备结构框图。该电子设备80包括通信接口81、处理器82和存储器83。该处理器82、存储器83和通信接口81相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器83可用于存储软件程序及模块，如本申请实施例所提供的测试方法对应的程序指令/模块，处理器82通过执行存储在存储器83内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口81可用于与其他节点设备进行信令或数据的通信。在本申请中该电子设备80可以具有多个通信接口81。

其中，存储器83可以是但不限于，随机存取存储器(RandomAccess Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

处理器82可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

可选地，上述模块可以软件或固件(Firmware)的形式存储于图7所示的存储器中或固化于该电子设备的操作系统(Operating System，OS)中，并可由图7中的处理器执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器中。

本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前述实施方式中任一项测试方法。该计算机可读存储介质可以是，但不限于，U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种测试方法，其特征在于，所述方法包括：

当目标应用存在优化需求，根据优化策略，确定所述目标应用对应的实验版本和对照版本；其中，所述实验版本配置有所述优化策略；所述对照版本没有配置有所述优化策略；

获取所述实验版本对应的实验组用户行为数据集和所述对照版本对应的对照组用户行为数据集；

基于与目标数据指标相关的参考指标，分别对所述实验组用户行为数据集、所述对照组用户行为数据集进行分组；所述参考指标与所述目标数据指标具有最大相关度；其中，所述目标数据指标用于评估所述优化策略的优化性能；

基于分组后的所述实验组用户行为数据集和分组后的所述对照组用户行为数据集进行统计分析；

若所述实验版本对应的所述目标数据指标优于所述对照版本对应的所述目标数据指标，则将所述实验版本确定为所述目标应用的目标版本。

2.根据权利要求1所述的测试方法，其特征在于，基于与所述目标数据指标的参考指标，对所述实验组用户行为数据集、所述对照组用户行为数据集进行分组的步骤，包括：

基于所述参考指标，分别确定所述实验组用户行为数据集对应的第一分组个数以及所述对照组用户行为数据集对应的第二分组个数；

按照所述第一分组个数，将所述实验组用户行为数据集进行分组；

按照所述第二分组个数，将所述对照组用户行为数据进行分组。

3.根据权利要求1所述的测试方法，其特征在于，在获得实验组用户行为数据集、对照组用户行为数据集的步骤之后，所述方法还包括：

基于预设的相关性算法，确定与所述目标数据指标之间具有最大相关度的所述参考指标。

4.根据权利要求2所述的测试方法，其特征在于，按照所述第一分组个数，将所述实验组用户行为数据集进行分组，包括：

按照所述第一分组个数，将将所述实验组用户行为数据集分成与所述第一分组个数一致的多个实验组；每个所述实验组对应有一个所述参考指标的指标值；

根据实验组用户行为数据集的数据总量以及划分成的每一个实验组的数据个数来计算每个实验组对应的权重；

按照所述第二分组个数，将所述对照组用户行为数据集进行分组,包括：

按照所述第二分组个数，将所述对照组用户行为数据集划分成与所述第二分组个数一致的多个对照组；每个所述对照组对应有一个所述参考指标的指标值；

根据对照组用户行为数据集的数据总量以及划分成的每一个对照组的数据个数来计算每个对照组对应的权重。

5.一种测试装置，其特征在于，包括：

确定模块，用于当目标应用存在优化需求，根据优化策略，确定所述目标应用对应的实验版本和对照版本；其中，所述实验版本配置有所述优化策略；所述对照版本没有配置有所述优化策略；

获取模块，用于获取所述实验版本对应的实验组用户行为数据集和所述对照版本对应的对照组用户行为数据集；

分组模块，用于基于与目标数据指标相关的参考指标，分别对所述实验组用户行为数据集、所述对照组用户行为数据集进行分组；所述参考指标与所述目标数据指标具有最大相关度；其中，所述目标数据指标用于评估所述优化策略的优化性能；

测试模块，用于基于分组后的所述实验组用户行为数据集和分组后的所述对照组用户行为数据集进行统计分析；

所述确定模块，用于若所述实验版本对应的所述目标数据指标优于所述对照版本对应的所述目标数据指标，则将所述实验版本确定为所述目标应用的目标版本。

6.根据权利要求5所述的测试装置，其特征在于，所述分组模块，具体用于：

基于所述参考指标，分别确定所述实验组用户行为数据集对应的第一分组个数以及所述对照组用户行为数据集对应的第二分组个数；

按照所述第一分组个数，将所述实验组用户行为数据集进行分组；

按照所述第二分组个数，将所述对照组用户行为数据进行分组。

7.根据权利要求5所述的测试装置，其特征在于，还包括：确定模块，用于：

基于预设的相关性算法，确定与所述目标数据指标之间具有最大相关度的所述参考指标。

8.根据权利要求6所述的测试装置，其特征在于，所述分组模块，具体用于：

按照所述第一分组个数，将所述实验组用户行为数据集划分成与所述第一分组个数一致的多个实验组；每个所述实验组对应有一个所述参考指标的指标值；

根据实验组用户行为数据集的数据总量以及划分成的每一个实验组的数据个数来计算每个实验组对应的权重；

按照所述第二分组个数，将所述对照组用户行为数据集划分成与所述第二分组个数一致的多个对照组；每个所述对照组对应有一个所述参考指标的指标值；

根据对照组用户行为数据集的数据总量以及划分成的每一个对照组的数据个数来计算每个对照组对应的权重。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现权利要求1-4任意一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任意一所述的方法。

Images