CN106959925A - 一种版本测试方法及装置 - Google Patents

Abstract

本申请公开了一种版本测试方法及装置。该方法包括：向测试用户数量相同的多个测试组分别分配对应的并行版本；根据各个并行版本的测试情况确定待选版本；向所述待选版本所对应的测试组增加新测试用户，以便重新根据各个并行版本的测试情况确定新的待选版本，并向所述新的待选版本对应的测试组增加新测试用户，直至满足循环终止条件；将测试用户数量最多的测试组所对应的并行版本确定为最优版本。相对于现有的一次性采集使用数据进行分析来确定最优版本，充分考虑了用户喜好的不确定性，因此所确定出的最优版本通常更加准确，从而解决了现有技术中的问题。

Description

一种版本测试方法及装置

技术领域

本申请涉及产品测试技术领域，尤其涉及一种版本测试方法及装置。

背景技术

在快速发展的网络时代，用户对诸如应用APP、网页等产品的接受程度往往能够影响该产品的成败，而测试环节对产品的接受度具有重要影响。

目前在产品的版本测试过程中，往往会先针对该产品设计出多个并行版本，并将这些并行版本投放给对应测试用户，然后采集测试用户对这些并行版本的产品使用数据进行分析，从而根据分析结果确定出用户接受程度最高的并行版本。

但是，由于用户喜好的不确定性，使得这种现有技术通常难以准确的确定用户接受程度最高的并行版本。

发明内容

本申请实施例提供一种版本测试方法及装置，用于解决现有技术中的问题。

本申请实施例提供了一种版本测试方法，该方法包括：

向测试用户数量相同的多个测试组分别分配对应的并行版本；

根据各个并行版本的测试情况确定待选版本；

向所述待选版本所对应的测试组增加新测试用户，以便重新根据各个并行版本的测试情况确定新的待选版本，并向所述新的待选版本对应的测试组增加新测试用户，直至满足循环终止条件；

将测试用户数量最多的测试组所对应的并行版本确定为最优版本。

优选地，根据各个并行版本的测试情况确定待选版本，具体包括：

采集各个测试组中的测试用户对对应并行版本的使用数据；

通过假设检验对所述使用数据进行分析；

根据分析结果确定所述待选版本。

优选地，通过假设检验对所述使用数据进行分析，具体包括：

通过假设检验对所述使用数据进行分析，分别确定各并行版本相对于其他并行版本的提升率；

根据分析结果确定所述待选版本，具体为：

将相对于其他并行版本的提升率为正值的并行版本确定为待选版本。

优选地，通过假设检验对所述使用数据进行分析，具体包括：

通过假设检验对所述使用数据进行分析，分别确定各并行版本统计功效；

根据分析结果确定所述待选版本，具体为：

将统计功效满足统计显著的并行版本确定为待选版本。

优选地，通过假设检验对所述使用数据进行分析，具体包括：

通过假设检验对所述使用数据进行分析，分别确定各并行版本的置信区间的上限和下限；

根据分析结果确定所述待选版本，具体为：

将置信区间的上限和下限均为正值的并行版本确定为待选版本。

优选地，通过假设检验对所述使用数据进行分析，具体包括：

通过假设检验对所述使用数据进行分析，分别确定各并行版本的P值；

根据分析结果确定所述待选版本，具体为：

根据P值与显著性水平的大小比较确定为待选版本。

优选地，循环终止条件，具体为如下任意一种：

全部测试用户均已分配至各个测试组；

各测试组中存在测试用户数量占全部测试用户数量的比例超过预设阈值的测试组。

优选地，在向测试用户数量相同的多个测试组分别分配对应的并行版本之前，所述方法还包括：

确定测试指标；

根据所述测试指标创建多个并行版本。

优选地，向所述待选版本所对应的测试组增加新测试用户，具体包括：

向所述待选版本所对应的测试组增加预设数量或预设比例的新测试用户。

本申请实施例还提供了一种版本测试装置，该装置包括：分配单元、第一确定单元、增加单元以及第二确定单元，其中：

分配单元，用于向测试用户数量相同的多个测试组分别分配对应的并行版本；

第一确定单元，用于根据各个并行版本的测试情况确定待选版本；

增加单元，用于向所述待选版本所对应的测试组增加新测试用户，以便重新根据各个并行版本的测试情况确定新的待选版本，并向所述新的待选版本对应的测试组增加新测试用户，直至满足循环终止条件；

第二确定单元，用于将测试用户数量最多的测试组所对应的并行版本确定为最优版本。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

本申请实施例所提供的版本测试方法，分别向多个测试组分配对应的并行版本，其中各个测试组的测试用户数量相，根据各个并行版本的测试情况确定待选版本，并向该待选版本中增加新的测试用户，然后重新确定新的待选版本和向该新的待选版本中增加测试用户，从而进行循环，直至满足循环终止条件时将测试用户数量最多的测试组所对应的并行版本确定为最优版本。由于这种确定待选版本，并向待选版本对应的测试组增加测试用户，然后重新确定新的待选版本和向新的待选版本对应的测试组增加新测试用户的方式，相对于现有技术一次性采集使用数据进行分析来确定最优版本，充分考虑了用户喜好的不确定性，因此所确定出的最优版本通常能够更加为用户所接受，解决了现有技术中的问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种版本测试方法的具体实现流程示意图；

图2为本申请实施例提供的一种版本测试方法的在实际应用中的具体示例；

图3为本申请实施例提供的一种版本测试装置的具体结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

本发明的主要思想是，将全部的测试用户分成两个部分(分别称之为第一部分和第二部分)，其中第一部分的测试用户平均划分为多个测试组，每个测试组中的测试用户数量相同，并且测试组的数量通常与并行版本的数量可以相同；每一个测试组对应一个并行版本，根据每个测试组中测试用户对对应并行版本的使用情况，可以将表现最优的并行版本确定为待选版本，并将第二部分中的部分测试用户作为“奖励”分配至待选版本的测试组；之后继续根据各个并行版本的表现确定新的待选版本，并对该待选版本进行“奖励”，直到满足终止条件时统计各个侧数组的测试用户数量，并将测试用户数量最多的测试组所对应的并行版本作为最优版本。通过这种持续的根据各个并行版本的表现确定待选版本，并对待选版本进行奖励，从而过多次循环来确定最优版本的方式，相对于现有技术通常能够确定出用户接受程度更高的并行版本。

实施例1

实施例1提供了一种版本测试方法，能够用于解决现有技术难以准确确定用户接受程度最高的并行版本的问题。该方法的具体流程示意图如图1所示，包括下述步骤：

步骤S11：确定测试指标。

步骤S12：根据所述测试指标创建多个并行版本。

这里可以对步骤S11和步骤S12作整体性说明。

该测试指标通常能够反映所需要发布的产品的改进点，比如，相对于原有版本，需要对其颜色进行改进，可以将颜色作为测试指标设计出多个并行版本的产品，其中各个并行版本的产品的颜色并不相同；如果需要对原有版本的页面布局进行改进，也可以将页面布局作为测试指标设计出多个并行版本的产品，其中这些并行版本的产品的页面布局并不相同；当然，也可以同时对颜色和页面布局进行改进，从而将颜色和页面布局同时作为测试指标设计出相应的并行版本，这些并行版本的颜色和/或页面布局并不相同。

在实际应用中如果需要对原有版本的其他方面进行改进，也可以根据改进点确定相应的测试指标；通常一个新版本相对于原有版本可能会有对各方面的改进点，可以将这些改进点分别作为测试指标进行测试，从而分别确定出多个并行版本。

步骤S13：向测试用户数量相同的多个测试组分别分配对应的并行版本。

这里的多个测试组至少为两个测试组，其中各个测试组中的测试用户的数量均相同，需要说明的是，这里的各个测试组中的测试用户的数量均相同，可以是各个测试组中的测试用户的数量绝对相同，比如均有50各测试用户，也可以是各个测试组中的测试用户的数量大致相同，该大致相同可以是各个测试组之间的测试用户差别在误差范围内，通常在各个测试组中测试用户的数量较多时，互相之间用户数量有较少的差别可以作为大致相同，比如，测试组A有1000个测试用户，测试组B有1005个测试用户，此时测试组A和测试组B的测试用户可以大致相同。

另外，这里各个测试组中测试用户数量相同，还可以是各个测试组中均有全部测试用户相同比例的测试用户，比如各个测试组中均有全部测试用户5％(也可以为其它值)的测试用户，也就是说，各个测试组中的测试用户的数量均为全部测试用户的5％。

在实际应用中，通常可以根据并行版本的数量确定对应数量的测试组，各个测试组中测试用户的数量相同，需要说明的是，此时各个测试组中的测试用户数量之和通常小于全部测试用户的数量，也就是说将全部测试用户分成了两个部分，其中一部分平均分配至各个测试组，另一部分此时还并未分配至测试组。

在向各个测试组中分别分配对应的并行版本之后，不同测试组的测试用户使用不同并行版本，而相同测试组的测试用户使用相同并行版本。

比如，对于测试指标(颜色)，创建了A、B和C三个不同的并行版本，将A并行版本分配给测试组1、将B并行版本分配给测试组2、将C并行版本分配给测试组3，其中测试组1、测试组2和测试组3均有5％(占全部测试用户)的测试用户，另外85％的测试用户可以暂时不参与测试，仍然使用原有版本。

步骤S14：根据各个并行版本的测试情况确定待选版本。

通常根据各个并行版本的测试情况确定待选版本，可以先采集各个测试组中的测试用户对对应并行版本的使用数据，然后通过诸如假设检验等统计方法对使用数据进行分析，并根据分析结果确定待选版本。

在实际应用中，需要将表现最优的并行版本确定为待选版本；根据具体产品的不同，比如产品为应用APP(Application，应用)或者网页等，表现最优的并行版本通常有不同的体现方式，比如对于应用APP表现最优可以体现在下载次数最多、登录次数最多、使用时长最长等；对于网页表现最优可以体现在浏览次数最多、在页面的停留时间最长等；当然对于其它的产品，判断表现是否优异可以有对应的评价标准。因此根具体产品的不同，所采集的使用数据也不相同，比如当产品具体为应用APP时，该使用数据可以是下载次数、登陆次数等，当产品具体为网页时，该使用数据可以是网页浏览次数等。通常使用数据能够反映测试组中的测试用户对对应并行版本的使用情况。

在采集使用数据之后，可以通过假设检验等统计学方法对该使用数据进行分析，从而根据分析结果确定待选版本，当然也可以通过其它的方法来确定待选版本。

这里可以以假设检验的方式为例进行具体说明。假设检验通常可以用来判断样本与样本的差异或样本与总体的差异，是由抽样误差引起还是本质差别造成。其基本原理是先对总体的特征作出某种假设，然后通过抽样研究和统计推理，对上述假设应该被拒绝还是接受进行推断。

在通过假设检验确定各个并行版本中的待选版本时，可以分别假设每一个并行版本为待选版本，然后通过分析所采集的使用数据对该假设的正确性进行验证。比如，依次将每一个并行版本作为当前并行版本，并假设将当前并行版本为待选版本，通过分析各个并行版本的使用数据验证该假设是否正确。

当然，在通过假设检验确定各个并行版本中的待选版本时，也可以分别假设每一个并行版本为非待选版本，然后通过分析所采集的使用数据对该假设的正确性进行验证。比如，依次将每一个并行版本作为当前并行版本，并假设将当前并行版本为非待选版本(即假设该当前并行版本不是待选版本)，通过分析各个并行版本的使用数据验证该假设是否正确。在假设检验的过程中，所假设的结论可以根据需要进行设定。

下面分别假设每一个并行版本为非待选版本(称之为原假设)，通过对使用数据的分析对原假设结论的正确性进行验证，下面可以列举几种验证的方式：

方式一，在验证过程中可以先给出显著性水平(α)，然后确定该当前并行版本的P值(P Value)，当P值小于显著性水平时，说明原假设不成立，当前并行版本为待选版本；其中，P值就是当原假设为真时所得到的样本观察结果或更极端结果出现的概率。如果P值很小，说明原假设情况的发生的概率很小，而如果出现了，根据小概率原理，就有理由拒绝原假设，P值越小，拒绝原假设的理由越充分；显著性水平是估计总体参数落在某一区间内，可能犯错误的概率，在实际应用中显著性水平通常可以预先设定为0.05、0.01或0.1，当然也可以为其它值。

此时，这种通过P值和显著性水平的大小比较确定待选版本的方式，可以分别确定各并行版本的P值，然后将P值小于显著性水平的并行版本确定为待选版本。

方式二，还可以通过分别确定各并行版本统计功效，通过统计功效的大小来对原假设的结论进行验证。当某个并行版本的统计功效满足统计显著时，可以将该并行版本确定为待选版本。其中统计功效(statistical power)是指在假设检验中，拒绝原假设后接受正确的替换假设的概率。

方式三，还可以通过假设检验分别确定各并行版本的置信区间，其中置信区间可以包括上限和下限；当某个并行版本的置信区间的上下限均为正值时，说明拒绝原假设，也即该并行版本为待选版本，因此可以将置信区间的上限和下限均为正值的并行版本确定为待选版本。

其中，置信区间是指由样本统计量所构造的总体参数的估计区间。在统计学中，一个概率样本的置信区间(Confidence interval)是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度。

方式四，在验证过程还可以分别确定各并行版本相对于其他并行版本的提升率，如果某一个并行版本相对于其他并行版本的提升率均为正值，说明拒绝原假设，则该并行版本为待选版本；因此可以将相对于其他并行版本的提升率为正值的并行版本确定为待选版本。

步骤S15：向所述待选版本所对应的测试组中增加新测试用户，以便重新根据各个并行版本的测试情况确定新的待选版本，并向所述新的待选版本对应的测试组增加新测试用户，直至满足循环终止条件。

在确定待选版本之后，可以向该待选版本所对应的测试组进行“奖励”，也就是向该测试组增加新的测试用户。比如，测试组1、测试组2和测试组3的测试用户分别使用并行版本A、并行版本B和并行版本C，当并行版本B被确定为待选版本之后，可以向测试组2中增加新的测试用户，当然向测试组2中增加新的测试用户可以是，测试组2中增加预设数量或预设比例的新测试用户。其中，预设数量是指每次向待选最优版增加定量的新测试用户(比如，500人)；预设比例是指每次向待选最优版增加占总测试用户数量一定比例的测试用户(比如，每次增加5％的测试用户)。

在向待选版本所对应的测试组中增加新的测试用户之后，可以判断是否满足循环终止条件，当满足循环终止条件时，终止循环并执行步骤S16；当不满足循环终止条件时，可以重新根据各个并行版本的测试情况确定新的待选版本(再次确定待选版本)，此时，原来的待选版本所对应的测试组已增加了新测试用户；在重新确定新的待选版本之后，向该新的待选版本所对应的测试组进行奖励，也就是并向该新的待选版本对应的测试组中增加新测试用户，这样一直循环确定待选版本对待选版本进行“奖励”，直至满足循环终止条件时才终止循环，在循环终止之后可以将测试用户数量最多的测试组所对应的并行版本确定为最优版本。

当然在循环确定待选版本的过程中，可以采用与步骤S14相同的方式确定新的待选版本；对所确定的新的待选版本所对应的测试组，也可以增加预设数量或预设比例的新测试用户，这里就不再赘述。

需要说明的是，这里的循环终止条件在实际应用中可以有多种，比如当全部测试用户均已分配至各个测试组时，可以终止重新确定新的待选版本以及对其多对应的测试组进行“奖励”，因此全部测试用户均已分配至各个测试组可以作为循环终止条件；或者，当某个测试组中的测试用户的数量在全部测试用户数量中的占比超过预设阈值时，可以终止循环，也就是说可以将各测试组中存在测试用户数量占全部测试用户数量的比例超过预设阈值的测试组，作为循环终止条件，其中预设阈值通常可以设置为50％(或者其它值)；当某个测试组中测试用户的数量占全部测试用户的数量的50％以上时，说明该测试组中的测试用户数量已占多数，可以终止循环。

这种通过确定待选版本，然后对待选版本的测试组进行“奖励”，并重新确定待选版本和重新“奖励”，直至满足终止条件时才将测试用户数量最多的测试组所对应的并行版本确定为最优版本，充分考虑了用户喜好的不确定性，所确定出的最优版本通常能够更加为用户所接受。

步骤S16：将测试用户数量最多的测试组所对应的并行版本确定为最优版本。

在满足循环终止条件之后循环终止，此时，可以确定各个测试组中的测试用户的数量，并将测试用户数量最多的测试组所对应的并行版本确定为最优版本。由于初始时，各个测试组中的测试用户的数量相同，通过不断确定待选版本，并向待选版本中增加新测试用户，最终在循环终止后根据测试用户的数量来确定最优版本，这种方式能够充分反映出测试用户对各个并行版本的接受度，因此所确定出的最优版本通常接受度较高。

当然，在确定最优版本之后，还可以将该最优版本进行发布。

采用实施例1提供的该方法，分别向多个测试组分配对应的并行版本，其中各个测试组的测试用户数量相，根据各个侧数组的测试情况确定待选版本，并向该待选版本中增加新的测试用户，然后重新根据各个侧数组的测试情况确定新的待选版本和向该新的待选版本中增加测试用户，从而进行循环，直至满足循环终止条件时将测试用户数量最多的测试组所对应的并行版本确定为最优版本。由于这种确定待选版本，并向待选版本对应的测试组增加测试用户，然后重新确定新的待选版本和向新的待选版本对应的测试组增加测试用户的方式，相对于现有技术一次性采集使用数据进行分析来确定最优版本，充分考虑了用户喜好的不确定性，因此所确定出的最优版本通常能够更加为用户所接受，解决了现有技术中的问题。

另外，现有技术在将各个并行版本投放给对应测试组之后，会在一段时间内(比如2～4周)采集测试用户对这些并行版本的产品使用数据，并在数据采集结束后统一的对这些使用数据进行分析，而由于后续的分析过程与采集过程的互相独立，导致统一对这些使用数据进行分析时，所需要分析的数据量较大，耗时较长，从而可能会导致版本测试的时间较长。

本申请所提供的该方法，在向测试用户数量相同的多个测试组分别分配对应的并行版本的产品之后，还可以通过实时采集各个测试组中的测试用户对对应并行版本的使用数据，并进行实时的假设检验分析来确定待选版本，之后继续采集使用数据以及数据分析，这种方式将使用数据的采集过程和假设检验的分析过程进行融合，在下一次进行使用数据的采集时可以同时进行上一次假设检验分析，并且由于循环过程中多次进行处理，每一次所分析的数据量较少，因此通常能够减少版本测试的时间。

需要说明的是，实施例1所提供的该方法通常可以由服务端来实现，并且各步骤的执行主体均可以是服务端的同一设备，或者，该方法的各步骤也可以由服务端的不同设备作为执行主体。比如，步骤S11和步骤S12的执行主体可以为设备1；又比如，步骤S11的执行主体可以为设备1，步骤S12和的执行主体可以为设备2；等等。

上述是对本申请所提供的方法的具体说明，为了便于理解，下面可以列举具体的示例进行进一步说明。如图2所示，该示例的步骤如下：

步骤S21：针对试验指标，创建并行版本A、B和C；

步骤S22：将并行版本A分配至测试组1，将并行版本B分配至测试组2，并将并行版本C分配至测试组3，其中测试组1、测试组2和测试组3均为5％的测试用户。

在全部测试用户中，剩余的85％的测试用户，暂时不参与测试，可以仍然使用原有版本。

步骤S23：采集测试组1、测试组2和测试组3的测试用户分别对并行版本A、B和C的使用数据；

步骤S24：通过假设检验对所采集的使用数据进行分析；

步骤S25：根据分析结果确定待选版本；

步骤S26：向待选版本所对应的测试组增加5％的测试用户；

比如步骤S25所确定的待选版本为并行版本A，则步骤S26为向并行版本A所对应的测试组1增加5％的测试用户。

步骤S27：判断是否满足循环终止条件，若否再次执行步骤S23，若是则执行步骤S28；

在这里循环终止条件可以是全部测试用户均已分配至各个测试组，也可以是某个测试组中的测试用户的数量超过全部测试用户数量的50％。

步骤S28：将测试用户数量最多的测试组所对应的并行版本确定为最优版本。

当然在实际应用中，在确定最优版本之后，还可以将该最优版本进行发布。

实施例2

基于与实施例1相同的发明构思，实施例2提供了一种版本测试装置，能够用于解决现有技术中的问题。如图3所示，该装置30包括：分配单元301、第一确定单元302、增加单元303以及第二确定单元304，其中：

分配单元301，用于向测试用户数量相同的多个测试组分别分配对应的并行版本；

第一确定单元302，用于根据各个并行版本的测试情况确定待选版本；

增加单元303，用于向所述待选版本所对应的测试组增加新测试用户，以便重新根据各个并行版本的测试情况确定新的待选版本，并向所述新的待选版本对应的测试组增加新测试用户，直至满足循环终止条件；

第二确定单元304，用于将测试用户数量最多的测试组所对应的并行版本确定为最优版本

采用本申请实施例2所提供的该装置30，由于该装置30采用与实施例1相同的发明构思，因此也能够解决现有技术中的问题，这里就不再一一赘述。另外，在实际应用中，该装置30还可以与具体的硬件设备相结合，从而取得其他的技术效果，比如可以将该装置30的各个单元分别设置于分布式服务器的不同设备中，通过不同设备的协同合作进行产品的发布，通常可以进一步提高版本测试的效率。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种版本测试方法，其特征在于，包括：

向测试用户数量相同的多个测试组分别分配对应的并行版本；

根据各个并行版本的测试情况确定待选版本；

向所述待选版本所对应的测试组增加新测试用户，以便重新根据各个并行版本的测试情况确定新的待选版本，并向所述新的待选版本对应的测试组增加新测试用户，直至满足循环终止条件；

将测试用户数量最多的测试组所对应的并行版本确定为最优版本。

2.如权利要求1所述的方法，其特征在于，根据各个并行版本的测试情况确定待选版本，具体包括：

采集各个测试组中的测试用户对对应并行版本的使用数据；

通过假设检验对所述使用数据进行分析；

根据分析结果确定所述待选版本。

3.如权利要求2所述的方法，其特征在于，通过假设检验对所述使用数据进行分析，具体包括：

通过假设检验对所述使用数据进行分析，分别确定各并行版本相对于其他并行版本的提升率；

根据分析结果确定所述待选版本，具体为：

将相对于其他并行版本的提升率为正值的并行版本确定为待选版本。

4.如权利要求2所述的方法，其特征在于，通过假设检验对所述使用数据进行分析，具体包括：

通过假设检验对所述使用数据进行分析，分别确定各并行版本统计功效；

根据分析结果确定所述待选版本，具体为：

将统计功效满足统计显著的并行版本确定为待选版本。

5.如权利要求2所述的方法，其特征在于，通过假设检验对所述使用数据进行分析，具体包括：

通过假设检验对所述使用数据进行分析，分别确定各并行版本的置信区间的上限和下限；

根据分析结果确定所述待选版本，具体为：

将置信区间的上限和下限均为正值的并行版本确定为待选版本。

6.如权利要求2所述的方法，其特征在于，通过假设检验对所述使用数据进行分析，具体包括：

通过假设检验对所述使用数据进行分析，分别确定各并行版本的P值；

根据分析结果确定所述待选版本，具体为：

根据P值与显著性水平的大小比较确定为待选版本。

7.如权利要求1所述方法，其特征在于，循环终止条件，具体为如下任意一种：

全部测试用户均已分配至各个测试组；

各测试组中存在测试用户数量占全部测试用户数量的比例超过预设阈值的测试组。

8.如权利要求1所述的方法，其特征在于，在向测试用户数量相同的多个测试组分别分配对应的并行版本之前，所述方法还包括：

确定测试指标；

根据所述测试指标创建多个并行版本。

9.如权利要求1所述的方法，其特征在于，向所述待选版本所对应的测试组增加新测试用户，具体包括：

向所述待选版本所对应的测试组增加预设数量或预设比例的新测试用户。

10.一种版本测试装置，其特征在于，包括：分配单元、第一确定单元、增加单元以及第二确定单元，其中：

分配单元，用于向测试用户数量相同的多个测试组分别分配对应的并行版本；

第一确定单元，用于根据各个并行版本的测试情况确定待选版本；

增加单元，用于向所述待选版本所对应的测试组增加新测试用户，以便重新根据各个并行版本的测试情况确定新的待选版本，并向所述新的待选版本对应的测试组增加新测试用户，直至满足循环终止条件；

第二确定单元，用于将测试用户数量最多的测试组所对应的并行版本确定为最优版本。