CN118055044A - 业务场景的比较方法、装置、计算机设备以及存储介质 - Google Patents

Abstract

本申请提供一种业务场景的比较方法、装置、计算机设备以及存储介质。该方法在分组对照测试的每个测试组中，获取测试组的样本序列，并获取测试组的样本序列的直方图带宽参数以及目标分位上的业务指标值，根据直方图带宽参数获取业务指标值所在的业务指标区间，并根据业务指标区间的端点值以及端点值对应的参考分位数获取测试组对应的业务指标值的概率密度值，进而根据测试组对应的业务指标值的概率密度值以及测试组的样本序列的数据量，获取测试组对应业务指标值对应的方差，最终根据各个测试组的样本序列在目标分位上的业务指标值以及方差，通过假设检验算法计算每个测试组之间的统计显著性水平参数，实现业务场景的比较结果。

Description

业务场景的比较方法、装置、计算机设备以及存储介质

技术领域

本申请涉及计算机技术领域，具体涉及一种业务场景的比较方法、装置、计算机设备以及存储介质。

背景技术

随着互联网技术的发展，各种互联网业务场景的优化通常是通过更新业务策略实现，如更新业务算法、业务参数迭等。在各种互联网业务场景优化过程中往往采用AB测试检验业务策略优化的效果，其中，AB测试是指在互联网业务中有业务策略A和B，每一种业务策略应一种业务优化方案。在AB测试中，可以通过定义一系列业务指标(比如点击率)，然后通过在不同测试组上分别使用业务策略A和业务策略B进行测试，比较业务场景下使用了特定业务策略的测试组中的业务指标值以判断业务策略A和业务策略B的优劣，从而确定业务场景中最终的业务策略以更新互联网产品。

现有技术中，使用业务指标的分位数作为检验指标进行AB测试的适用性更强，但是，现有技术中，基于分位数的方差估算计算复杂，计算量大，导致使用分位数作为检验指标的AB测试效率低、业务场景测试耗时长。

发明内容

基于此，有必要针对上述技术问题，提供一种业务场景的比较方法、装置、计算机设备以及存储介质，用以降低于分位数的方差估算计算复杂度，提高业务场景的比较效率。

第一方面，本申请提供一种业务场景的比较方法，该方法包括：

在分组对照测试的每个测试组中，获取测试组的样本序列；其中，样本序列中的样本数据为业务场景下的业务关联数据，测试组包括实验组以及对照组，实验组以及对照组在业务场景下设置不同的业务策略；

获取测试组的样本序列的直方图带宽参数，并获取测试组的样本序列中在目标分位上的业务指标值；

根据直方图带宽参数获取业务指标值所在的业务指标区间，并根据业务指标区间的端点值以及端点值对应的参考分位数获取测试组对应的业务指标值的概率密度值；

根据测试组对应的业务指标值的概率密度值以及测试组的样本序列的数据量，获取在测试组的样本序列中在目标分位上的业务指标值对应的方差；

根据各个测试组的样本序列在目标分位上的业务指标值以及方差，通过假设检验算法计算每个测试组之间的统计显著性水平参数；

根据统计显著性水平参数对业务场景下各测试组在目标分位上的业务指标值进行对比，得到业务场景的比较结果。

在本申请一些实施例中，获取测试组的样本序列的直方图带宽参数的步骤，包括：

获取测试组的样本序列的离散程度信息；

根据测试组的样本序列的离散程度信息获取测试组的直方图带宽参数。

在本申请一些实施例中，获取测试组的样本序列的直方图带宽参数的步骤，包括：

获取测试组的样本序列的标准差；

根据测试组的样本序列的标准差以及测试组的样本序列的数据量，获取测试组的标准误差；

将标准误差确定为测试组的直方图带宽参数。

在本申请一些实施例中，根据业务指标区间的端点值以及端点值对应的参考分位数获取测试组对应的业务指标值的概率密度值的步骤，包括：

获取业务指标区间的第一端点值以及第二端点值；

确定第一端点值对应的第一参考分位数以及第二端点值对应的第二参考分位数；

根据第一端点值、第一参考分位数、第二端点值以及第二参考分位数，估计在测试组的样本序列中业务指标值对应的概率密度值。

在本申请一些实施例中，根据第一端点值、第一参考分位数、第二端点值以及第二参考分位数，估计在测试组的样本序列中业务指标值对应的概率密度值的步骤，包括：

获取第一端点值与第二端点值间的第一差值；

获取第一参考分位数与第二参考分位数的第二差值；

根据第一差值与第二差值间的比值，确定在测试组的样本序列中业务指标值对应的概率密度值。

在本申请一些实施例中，根据各个测试组的样本序列在目标分位上的业务指标值以及方差，通过假设检验算法计算每个测试组之间的统计显著性水平参数的步骤，包括：

获取实验组的样本序列在目标分位上的实验组业务指标值以及实验组方差；

获取对照组的样本序列在目标分位上的对照组业务指标值以及对照组方差；

根据实验组业务指标值、实验组方差、对照组业务指标值以及对照组方差，通过T检验算法计算实验组与对照组之间存在显著差异的T检验统计量；

根据T检验统计量获取统计显著性水平参数。

第二方面，本申请提供一种业务场景的比较装置，该装置包括：

样本序列获取模块，用于在分组对照测试的每个测试组中，获取测试组的样本序列；其中，样本序列中的样本数据为业务场景下的业务关联数据，测试组包括实验组以及对照组，实验组以及对照组在业务场景下设置不同的业务策略；

参数获取模块，用于获取测试组的样本序列的直方图带宽参数，并获取测试组的样本序列中在目标分位上的业务指标值；

密度函数获取模块，用于根据直方图带宽参数获取业务指标值所在的业务指标区间，并根据业务指标区间的端点值以及端点值对应的参考分位数获取测试组对应的业务指标值的概率密度值；

方差估算模块，用于根据测试组对应的业务指标值的概率密度值以及测试组的样本序列的数据量，获取在测试组的样本序列中在目标分位上的业务指标值对应的方差；

显著水平获取模块，用于根据各个测试组的样本序列在目标分位上的业务指标值以及方差，通过假设检验算法计算每个测试组之间的统计显著性水平参数；

比较结果获取模块，用于根据统计显著性水平参数对业务场景下各测试组在目标分位上的业务指标值进行对比，得到业务场景的比较结果。

第三方面，本申请还提供一种计算机设备，该计算机设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行以实现的业务场景的比较方法。

第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器进行加载，以执行的业务场景的比较方法中的步骤。

第五方面，本申请实施例提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面提供的方法。

上述业务场景的比较方法、装置、计算机设备以及存储介质，在分组对照测试的每个测试组中，获取测试组的样本序列；其中，样本序列中的样本数据为业务场景下的业务关联数据，测试组包括实验组以及对照组，实验组以及对照组在业务场景下设置不同的业务策略；获取测试组的样本序列的直方图带宽参数，并获取测试组的样本序列中在目标分位上的业务指标值；根据直方图带宽参数获取业务指标值所在的业务指标区间，并根据业务指标区间的端点值以及端点值对应的参考分位数获取测试组对应的业务指标值的概率密度值；根据测试组对应的业务指标值的概率密度值以及测试组的样本序列的数据量，获取在测试组的样本序列中在目标分位上的业务指标值对应的方差；根据各个测试组的样本序列在目标分位上的业务指标值以及方差，通过假设检验算法计算每个测试组之间的统计显著性水平参数；根据统计显著性水平参数对业务场景下各测试组在目标分位上的业务指标值进行对比，得到业务场景的比较结果。通过测试组的直方图带宽参数，指定测试组的样本数据在目标分位上业务指标值的业务指标区间，并以业务指标区间对应的概率密度值作为目标分位上业务指标值的概率密度值，进而基于该目标分位上业务指标值的概率密度值估算出该目标分位上业务指标值的方差，降低基于分位数的方差估算计算复杂度以及计算量，提高使用分位数作为检验指标的假设检验的计算效率，降低业务场景比较的耗时。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例中业务场景的比较方法的场景示意图；

图2是本申请实施例中业务场景的比较方法的流程示意图；

图3是本申请实施例中直方图带宽参数获取步骤的流程示意图；

图4是本申请实施例中业务场景的比较方法的流程示意图；

图5是本申请实施例中业务场景的比较装置的结构示意图；

图6是本申请实施例中计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请的描述中，“例如”一词用来表示“用作例子、例证或说明”。本申请中被描述为“例如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

以下，介绍本说明书实施例涉及的基本概念：

AB测试：为同一个目标制定两个(A/B)或多个(A/B/n)方案，在同一时间维度，分别让组成成分相同(相似)的访客群组(目标人群)随机访问这些方案，收集各群组的用户体验数据和业务数据，最后分析、评估出最好方案，并正式采用评估出的方案。

假设检验：假设检验是推论统计中用于检验统计假设的一种方法。假设检验的基本思想是小概率反证法思想。小概率思想是指小概率事件(P<0.01或P<0.05)在一次实验中基本上不会发生。反证法思想是先提出假设，比如假设A、B两组实验效果没差异，再用适当的统计方法确定假设成立的可能性大小，如果可能性小，则认为假设不成立，反证出A、B两组实验效果有显著差异，若可能性大，则认为假设成立。

统计显著性：零假设为真的情况下拒绝零假设所要承担的风险水平，又叫概率水平，或者显著水平。

统计显著性水平参数：P值，用来判定假设检验结果的一个参数，即当原假设为真时所得到的样本观察结果或更极端结果出现的概率。如果P值很小，说明原假设情况的发生的概率很小，而如果出现了，根据小概率原理，就有理由拒绝原假设，P值越小，拒绝原假设的理由越充分。总之，P值越小，表明结果越显著。但是检验的结果究竟是“显著的”、“中度显著的”或者“高度显著的”，需要根据P值的大小和来确定。

本申请实施例提供的业务场景的比较方法，可以应用于如图1所示的业务场景的比较系统中。其中，该业务场景的比较系统包括终端110和服务器120。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。终端110具体可以是台式终端或移动终端，终端110具体还可以是手机、平板电脑、笔记本电脑等中的一种。服务器120可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。

AB测试中，通常使用均值作为检验指标进行AB测试。但是，均值对异常值、非对称分布、高度偏斜分布等数据分布情况异常敏感，使用均值作为检验指标有时无法准确获取不同业务策略的差异。例如，一些业务指标，例如网页页面加载时间，因为数据分布问题在不同业务策略下均值差异不明显，但是分布曲线是有差异的，这些业务关联数据用用分位数作为检验指标进行业务策略的评估、比较。又例如，一些业务指标，例如打赏数量，如果在测试组中实验对象数量不多的情况下，很有可能因为极少部分实验对象的大额打赏使得该业务策略的均值高于其他测试组，如果使用分位数作为检验指标，则各策略之间无明显差异。再例如，一些业务指标，例如发表数，如果在测试组中大量实验对象的业务关联数据(如发表数)均为0，采用均值作为检验指标时每个测试组的均值几乎都是0，而采用分位数作为检验指标进行AB测试时可以很好地检测出业务策略的差异，比如在实验组(即业务策略A)中90％的实验对象发表数为0，而对照组(即业务策略B)中95％的实验对象发表数为0，对离群异常数据敏感度大幅度降低。因此，使用业务指标的分位数作为检验指标进行AB测试的适用性更强，但是，现有技术中基于分位数的方差估算计算复杂，计算量大。例如，Bootstrap方法中，对原始样本数据进行有放回的重抽样，每次抽样得到一个新的样本序列，序列长度为n，并获取每次抽样得到的样本序列的目标分位数，重复B次，进而根据B次抽样得到的目标分位数，计算这些目标分位数的方差，以此作为目标分位数的方差的估计；Bootstrap方法的时间复杂度是O(nB)，空间复杂度是O(n)，当样本数据较大时，通过Bootstrap方法进行分位数的方差估计的计算量大，计算效率低。

本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本申请方案一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的计算机设备，例如图1中仅示出1个服务器120，可以理解的，该业务场景的比较系统还可以包括一个或多个其他终端或服务器，具体此处不作限定。另外，如图1所示，该业务场景的比较系统还可以包括存储器，用于存储数据，如存储业务关联数据。

还需说明的是，图1所示业务场景的比较系统的场景示意图仅仅是一个示例，本发明实施例描述的业务场景的比较系统以及场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着业务场景的比较系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。

参阅图2，本申请实施例提供了一种业务场景的比较方法，主要以该方法应用于上述图1中的服务器120来举例说明，该方法包括步骤S210至S260，具体如下：

步骤S210，在分组对照测试的每个测试组中，获取测试组的样本序列；其中，样本序列中的样本数据为业务场景下的业务关联数据，测试组包括实验组以及对照组，实验组以及对照组在业务场景下设置不同的业务策略。

其中，业务场景是指用户使用产品的某个特定环节时，向用户提供可能需要的或者关联的产品或服务；例如，业务场景可以是针对某产品用户进行相关产品营销，或者向产品用户投放广告，或者改变产品的前端显示界面，等等。

对于业务场景或者应用程序(application，APP)产品进行设计和运营的时候，技术人员会设计不同的业务策略，并对业务场景下不同业务策略机进行检验，以确更符合用户需求的业务策略。但是如何验证猜想，需要用数据来加以证明。一般可利用对照测试来发现不同业务策略在实验人群中指标的差异以及衡量这些差异是否有统计上的显著性。

其中，分组对照测试，即AB测试，是将根据参与业务测试的多种业务策略，预设多个测试组，每个测试组对应一种业务策略。在实验过程中，向不同测试组中按照不同的业务策略进行不同的测试，并通过对每个测试组所得到的业务关联数据进行收集，通过对测试组各自的业务关联数据的表现优劣的分析评估得到业务场景比较结果，进而将业务场景比较结果应用于对业务策略决策中的实验方法。

其中，业务关联数据可以是业务场景中实现不同业务功能时的性能指标，例如，业务场景可以是比较不同应用页面加载策略下应用页面加载时间的长短，业务关联数据可以是，在不同应用页面加载策略下，各个测试组中每次打开应用页面的应用业务加载时长。业务关联数据还可以是业务场景中实现不同业务功能时的实验人群的参与度指标；例如，业务场景可以是比较不同业务信息推送策略下用户转化率的大小，业务关联数据可以是，在不同业务推送策略下，各个测试组中的用户点击业务推送的点击次数。

在一些实施例中，分组对照测试可以是AB实验，分组对照测试的测试组至少包括一个对照组以及至少一个实验组。示例性地，在分组对照测试的进行过程中，实验组以及对照组通过执行该其对应设置的业务策略，产生对应的样本数据，如点击次数，使用时长、加载时长等等。

步骤S220，获取测试组的样本序列的直方图带宽参数，并获取测试组的样本序列中在目标分位上的业务指标值。

其中，直方图带宽参数是指针对测试组的样本序列进行基于直方图进行概率密度估计时使用的带宽，也可以是指进行核密度估计时使用的窗口宽度；可以理解的是，通过直方图或核函数(即核密度估计)可以近似估计样本序列的概率密度，而直方图或核函数估算概率密度函数的准确度依赖于直方图带宽参数的选择。

其中，目标分位上的业务指标值是指在样本序列中目标分位所对应样本数据的具体取值，即样本序列中的某个分位数；目标分位可以是根据业务场景进行设置，例如，业务场景为测试不同应用页面加载策略下应用页面加载时间，目标分位可以设置为90％分位，目标分位上的业务指标值是指样本序列中90％分位所对应样本数据的具体取值，即90％分位所对应的应用页面加载时长；又例如，业务场景为测试不同数据传输策略下相机传输延迟时长，目标分位可以设置为60％分位，目标分位上的业务指标值是指90％分位所对应相机传输延迟时长。

进一步地，通过直方图或核函数估计概率密度函数的准确度依赖于直方图带宽参数的选择，当直方图带宽参数过小，则样本序列中的概率密度估计可能变得过于尖锐，样本序列中样本数据分布趋势可能被掩盖，当直方图带宽参数过大，则样本数据分布中的较小特征可能消失。因此，在一个实施例中，获取测试组的样本序列的直方图带宽参数的步骤，具体可以包括：获取测试组的样本序列的离散程度信息；根据测试组的样本序列的离散程度信息获取测试组的直方图带宽参数。

其中，离散程度信息用于衡量样本序列中的各个样本数据间的分散程序，具体地，可以使用样本序列的标准差、方差、平均值等参量作为离散程度信息，技术人员可以根据实际情况自行确定合适的参数作为离散程度信息。

在确定到测试组的样本序列的离散程度信息后，可以基于测试组的样本序列的离散程度信息设置测试组的直方图带宽参数，其中，直方图带宽参数与离散程度信息成正比；也就是说，离散程度信息越大而直方图带宽参数越大，离散程序信息越小而直方图带宽参数越小。

基于样本序列的离散程序信息控制直方图带宽参数的大小，使得在数据稀疏的地方获取更少的样本数据以估算目标分位上的业务指标值的概率密度值，在数据密集的地方获取更多的样本数据以估算目标分位上的业务指标值的概率密度值，避免在后续基于业务指标值的概率密度值估算目标分位上的业务指标值的方差产生偏差。

进一步地，离散程度信息可取值为样本序列的标准差；在一个实施例中，如图3所示，获取测试组的样本序列的直方图带宽参数的步骤，也可以包括：

步骤S310，获取测试组的样本序列的标准差。

其中，样本序列的标准差用于衡量样本序列中各个样本数据与样本序列的均值间的分散程度；具体地，标准差越小，样本序列中各个样本数据越接近样本序列的均值，即样本数据越聚集；标准差越大，样本序列中各个样本数据越远离样本序列的均值，即样本数据越离散。

步骤S320，根据测试组的样本序列的标准差以及测试组的样本序列的数据量，获取测试组的标准误差。

其中，样本序列的数据量是指样本序列中样本数据的数量。

具体地，测试组的标准误差可通过下述公式(1)计算：

其中，σ′表示测试组的标准误差，表示测试组的标准差，n表示测试组样本序列的数据量。

步骤S330，将标准误差确定为测试组的直方图带宽参数。

具体地，在确定到标准误差后，可以直接将标准误差作为单边带宽，以确定测试组的直方图带宽参数。

通过样本序列的标准差计算直方图带宽参数的大小，使得直方图的直方图带宽参数的获取考虑了样本序列的离散分布情况，平衡样本密集度以及样本量间的关系，在数据稀疏的地方以更大的直方图带宽参数获取样本数据，以保证能够获取少量的样本数据以估算目标分位上的业务指标值的概率密度值，在数据密集的地方以较小的直方图带宽参数获取样本数据，避免获取过多的样本数据进行目标分位上的业务指标值的概率密度值的估算导致计算量增加，实现在样本稀疏和样本密集的地方均能选取足够的样本数据来按照直方图的方法估计分位数所在位置的点概率密度，避免在后续基于业务指标值的概率密度值估算目标分位上的业务指标值的方差产生偏差，使得直方图带宽参数能够适应大规模在线实验的任意分位数假设检验场景。例如，在样本序列分布为右偏分布时，通过该直方图带宽参数可以实现在样本序列的尾部数据中获取足够的样本数据进行目标分位数的点概率密度估计，提高概率密度值的准确性。

步骤S230，根据直方图带宽参数获取业务指标值所在的业务指标区间，并根据业务指标区间的端点值以及端点值对应的参考分位数获取测试组对应的业务指标值的概率密度值。

其中，在获取到直方图带宽参数以及在目标分位上的业务指标值后，可以基于直方图带宽参数，确定目标分位上的业务指标值对应的业务指标区间；例如，直方图带宽参数为h，目标分位上的业务指标值为X，则业务指标区间为[X–h，X+h]。

可以理解的是，假设累积分布函数F(*)存在连续的概率密度函数f(*)，那么，对于任意的x₁<x₂，有其中满足/>因此，假设目标分位上的业务指标值/>在x₁、x₂之间，可以通过下式(2)来估计该目标分位上业务指标值/>的概率密度值/>

具体地，在获取到目标分位上的业务指标值所在的业务指标区间后，可基于确定业务指标区间对应的端点值，并确定端点值在测试组的样本序列中的参考分位，进而根据业务指标区间的端点值以及端点值对应的参考分位数，估计测试组的样本序列中在目标分位上的业务指标值的概率密度值。

进一步地，在一个实施例中，根据业务指标区间的端点值以及端点值对应的参考分位数获取测试组对应的业务指标值的概率密度值的步骤，包括：获取业务指标区间的第一端点值以及第二端点值；确定第一端点值对应的第一参考分位数以及第二端点值对应的第二参考分位数；根据第一端点值、第一参考分位数、第二端点值以及第二参考分位数，估计在测试组的样本序列中业务指标值对应的概率密度值。

其中，第一端点值以及第二端点值可以是指业务指标区间的左端点值以及右端点值；例如，第一端点值可以是业务指标区间的左端点值，第二端点值可以是业务指标区间的右端点值；又例如，第一端点值可以是业务指标区间的右端点值，第二端点值可以是业务指标区间的左端点值，在此不进行限定。

其中，第一端点值对应的第一参考分位数是指，将样本序列中的各个样本数据从小到大进行排列后，第一端点值在样本序列中对应的百分位；同样的，第二端点值对应的第二参考分位数是指，将样本序列中的各个样本数据从小到大进行排列后，第二端点值在样本序列中对应的百分位。

例如，假设X₍₁₎,…,X_(n)是测试组的样本序列X＝{X₁,…,X_n}的顺序统计量，即X₍₁₎<…<X_(n)，其中，X_i(i＝1,…,n)；给定目标分位数θ，直方图带宽参数为h，则第一端点值可表示为第二端点值可表示为/>其中：

在获取到第一端点值第二端点值/>第一端点值/>对应的第一参考分位数θ₁以及第二端点值/>对应的第二参考分位数θ₂，根据第一端点值、第一参考分位数、第二端点值以及第二参考分位数，估计在测试组的样本序列中业务指标值对应的概率密度值的步骤，具体可以包括：获取第一端点值与第二端点值间的第一差值；获取第一参考分位数与第二参考分位数的第二差值；根据第一差值与第二差值间的比值，确定在测试组的样本序列中在目标分位上的业务指标值对应的概率密度值。

具体地，可通过下式(3)计算估计

步骤S240，根据测试组对应的业务指标值的概率密度值以及测试组的样本序列的数据量，获取在测试组的样本序列中在目标分位上的业务指标值对应的方差。

其中，样本序列的数据量是指样本序列中样本数据的个数；测试组样本的样本序列在目标分位数上的业务指标值对应的方差是指基于目标分位上的业务指标值进行分位数回归的方差，可以理解的是，通过样本序列中目标分位上的业务指标进行分位数回归估算方法，具有更强的稳健性。

可以理解的是，假设(X₁,……,X_n)是来自累积分布函数F的独立同分布(IID)的随机变量，并且有连续的概率密度函数f(*)。如果f(μ_θ)>0，则下式(4)成立：

因此，对于目标分位上的业务指标值的方差可通过下式(5)进行估计：

其中，表示测试组的样本序列在目标分位上的业务指标值的方差，θ表示目标分位，n表示测试组的样本序列的数据量，f(μ_θ)表示测试组的样本序列在目标分位上的业务指标值的概率密度值。

步骤S250，根据各个测试组的样本序列在目标分位上的业务指标值以及方差，通过假设检验算法计算每个测试组之间的统计显著性水平参数。

其中，假设检验算法可以是T检验算法、U检验算法等。统计显著性水平参数用来判定假设检验结果的一个参数，即当原假设为真时所得到的样本观察结果或更极端结果出现的概率。

在一个实施例中，根据各个测试组的样本序列在目标分位上的业务指标值以及方差，通过假设检验算法计算每个测试组之间的统计显著性水平参数的步骤，包括：获取实验组的样本序列在目标分位上的实验组业务指标值以及实验组方差；获取对照组的样本序列在目标分位上的对照组业务指标值以及对照组方差；根据实验组业务指标值、实验组方差、对照组业务指标值以及对照组方差，通过T检验算法计算实验组与对照组之间存在显著差异的T检验统计量；根据T检验统计量获取统计显著性水平参数。

其中，T检验统计量的计算过程如下式(6)：

其中，表示第一个测试组(比如实验组)的样本序列中在目标分位θ上的业务指标值，/>表示第二个测试组(比如对照组)的样本序列中在目标分位θ上的业务指标值，/>表示/>对应的方差，/>表示/>对应的方差。

可以理解的是，当样本序列的数据量足够大时，T检验统计量可以近似看做一个标准正态分布，因此，统计显著性水平参数可等于2φ(-|T|)，其中，φ(*)是指标准正态分布N(0,1)的累积分布函数。

步骤S260，根据统计显著性水平参数对业务场景下各测试组在目标分位上的业务指标值进行对比，得到业务场景的比较结果。

其中，在获取到统计显著性水平参数后，可将统计样本显著性水平参数与显著水平阈值α进行对比，以确定各测试组所有样本数据在目标分位上的业务指标值的比较结果；具体地，当显著性水平参数大于该显著水平阈值α，则假设检测结果不显著，业务场景下的实验组和对照组的样本序列在目标分位上的业务指标值不存在显著差异，当显著性水平参数小于或等于该显著水平阈值α，则假设检验结果显著，业务场景下的实验组和对照组的样本序列在目标分位上的业务指标值存在显著差异。

上述业务场景的比较方法中，在分组对照测试的每个测试组中，获取测试组的样本序列；其中，样本序列中的样本数据为业务场景下的业务关联数据，测试组包括实验组以及对照组，实验组以及对照组在业务场景下设置不同的业务策略；获取测试组的样本序列的直方图带宽参数，并获取测试组的样本序列中在目标分位上的业务指标值；根据直方图带宽参数获取业务指标值所在的业务指标区间，并根据业务指标区间的端点值以及端点值对应的参考分位数获取测试组对应的业务指标值的概率密度值；根据测试组对应的业务指标值的概率密度值以及测试组的样本序列的数据量，获取在测试组的样本序列中在目标分位上的业务指标值对应的方差；根据各个测试组的样本序列在目标分位上的业务指标值以及方差，通过假设检验算法计算每个测试组之间的统计显著性水平参数；根据统计显著性水平参数对业务场景下各测试组在目标分位上的业务指标值进行对比，得到业务场景的比较结果。通过测试组的直方图带宽参数，指定测试组的样本数据在目标分位上业务指标值的业务指标区间，并以业务指标区间对应的概率密度值作为目标分位上业务指标值的概率密度值，进而基于该目标分位上业务指标值的概率密度值估算出该目标分位上业务指标值的方差，降低基于分位数的方差估算计算复杂度以及计算量，提高使用分位数作为检验指标的假设检验的计算效率，降低业务场景比较的耗时。

通过根据前面实施例所描述的方法，以下将举例作进一步详细说明。在本实施例中，将结合图1的系统进行说明。

如图4所示，本实施例的业务场景比较方法，具体流程可以如下：

步骤S401，终端将实验组在业务场景下的业务关联数据作为实验样本数据发送至服务器，同时，将对照组在业务场景下的业务关联数据作为对照样本数据发送至服务器。

其中，可以由多台终端分别将对应的样本数据直接发送给服务器，或者终端将各自收集得到的实验样本数据发送至云服务器，当服务器需要进行业务场景比较时，可以从云服务器上获取实验样本数据。

步骤S402，服务器获取终端发送的实验样本数据以及测试样本数据，得到实验组对应的实验样本序列以及对照组对应的对照样本序列。

其中，样本数据可以包括实验组标识和对照组标识，服务器获取样本数据后，可以根据样本数据的标识信息对样本数据进行分类，得到包括了实验组对应的实验样本数据和对照组对应的对照样本数据。

步骤S403，服务器获取实验样本序列的第一直方图带宽参数，并获取实验样本序列中在目标分位上的第一业务指标值。

可选的，服务器可以获取实验组的实验样本序列的标准差，根据实验组的实验样本序列的标准差以及实验组的实验样本序列的数据量，获取实验组对应的标准误差，进而将实验组对应的标准误差确定为实验组的第一直方图带宽参数。

具体地，实验组的第一直方图带宽参数可通过下式(7)获取：

其中，h^T表示实验组的第一直方图带宽参数，表示实验样本序列的标准差，n^T表示实验样本序列的数据量。

步骤S404，服务器获取对照样本序列的第二直方图带宽参数，并获取对照样本序列中在目标分位上的第二业务指标值。

可选的，服务器可以获取对照组的实验样本序列的标准差，根据对照组的对照样本序列的标准差以及对照组的对照样本序列的数据量，获取对照组对应的标准误差，进而将对照组对应的标准误差确定为对照组的第二直方图带宽参数。

具体地，对照组的第二直方图带宽参数可通过下式(8)获取：

其中，h^C表示对照的第二直方图带宽参数，表示对照样本序列的标准差，n^C表示对照样本序列的数据量。

步骤S405，服务器根据第一直方图带宽参数获取第一业务指标值在实验样本序列中的业务指标区间，并根据业务指标区间的端点值以及端点值对应的参考分位数获取实验组对应的第一业务指标值的概率密度值。

具体地，实验组对应的第一业务指标值的概率密度值可通过下式(9)获取：

其中，表示实验组对应的第一业务指标值的概率密度值，/>表示业务指标区间第二端点值，/>表示业务指标区间第一端点值，/>表示/>对应的参考分位数，/>表示/>对应的参考分位数。

步骤S406，服务器根据第二直方图带宽参数获取第二业务指标值在对照样本序列中的业务指标区间，并根据业务指标区间的端点值以及端点值对应的参考分位数获取所对照组对应的第二业务指标值的概率密度值。

具体地，对照组对应的第二业务指标值的概率密度值可通过下式(10)获取：

其中，表示对照组对应的第二业务指标值的概率密度值，/>表示业务指标区间第二端点值，/>表示业务指标区间第一端点值，/>表示/>对应的参考分位数，/>表示/>对应的参考分位数。

步骤S407，服务器根据实验组对应的第一业务指标值的第一概率密度值以及实验组的实验样本序列的数据量，获取在实验组的实验样本序列中在目标分位上的第一业务指标值对应的第一方差。

具体地，第一业务指标值对应的第一方差可用过下式(11)获取：

其中，表示第一业务指标值对应的第一方差，θ表示目标分位数，n^T表示实验组的实验样本序列的数据量，/>表示实验组对应的第一务指标值的概率密度值。

步骤S408，服务器根据对照组对应的第二业务指标值的第二概率密度值以及对照组的样本序列的数据量，获取在对照组的样本序列中在目标分位上的第二业务指标值对应的第二方差。

具体地，第二业务指标值对应的第二方差可用过下式(12)获取：

其中，表示第二业务指标值对应的第二方差，θ表示目标分位数，n^C表示对照组的对照样本序列的数据量，/>表示对照组对应的第二务指标值的概率密度值。

步骤S409，服务器根据第一业务指标值、第二业务指标值、第一方差以及第二方差，通过假设检验算法计算实验组与对照组之间的统计显著性水平参数。

具体地，服务器可根据实验组的第一业务指标值、实验组的第一方差、对照组的第二业务指标值以及对照组的第二方差，通过T检验算法计算实验组与对照组之间存在显著差异的T检验统计量；根据T检验统计量获取统计显著性水平参数。

其中，T检验统计量的计算过程如下式(13)：

在确定到T检验统计量后，基于2φ(-|T|)估算统计显著性水平参数。

步骤S410，服务器根据统计显著性水平参数对业务场景下各实验组和对照组在目标分位上的业务指标值进行对比，得到业务场景的比较结果。

其中，在获取到统计显著性水平参数后，可将统计样本显著性水平参数与显著水平阈值α进行对比，以确定各测试组所有样本数据在目标分位上的业务指标值的比较结果；具体地，当显著性水平参数大于该显著水平阈值α，则假设检测结果不显著，业务场景下的实验组和对照组的样本序列在目标分位上的业务指标值不存在显著差异，当显著性水平参数小于或等于该显著水平阈值α，则假设检验结果显著，业务场景下的实验组和对照组的样本序列在目标分位上的业务指标值存在显著差异。

上述业务场景比较方法中，在计算目标分位数(即样本序列中目标分位上的业务指标值)的方差时，采用直方图估计概率密度函数的方法以估算目标分位数的概率密度值，以提高目标分位数对应方差的计算效率，降低目标分位数对应方差的计算量；而直方图的直方图带宽参数的获取，考虑了样本序列的离散分布情况，平衡样本密集度以及样本量间的关系，使得在样本序列分布为右偏分布时，在样本序列的尾部数据中获取足够的样本数据进行目标分位数的点概率密度估计，使得直方图带宽参数能够适应大规模在线实验的任意分位数假设检验场景。

为了更好实施本申请实施例提供的业务场景的比较方法，在本申请实施例所提业务场景的比较方法的基础之上，本申请实施例中还提供一种业务场景的比较装置，如图5所示，业务场景的比较装置500包括：

样本序列获取模块510，用于在分组对照测试的每个测试组中，获取测试组的样本序列；其中，样本序列中的样本数据为业务场景下的业务关联数据，测试组包括实验组以及对照组，实验组以及对照组在业务场景下设置不同的业务策略；

参数获取模块520，用于获取测试组的样本序列的直方图带宽参数，并获取测试组的样本序列中在目标分位上的业务指标值；

密度函数获取模块530，用于根据直方图带宽参数获取业务指标值所在的业务指标区间，并根据业务指标区间的端点值以及端点值对应的参考分位数获取测试组对应的业务指标值的概率密度值；

方差估算模块540，用于根据测试组对应的业务指标值的概率密度值以及测试组的样本序列的数据量，获取在测试组的样本序列中在目标分位上的业务指标值对应的方差；

显著水平获取模块550，用于根据各个测试组的样本序列在目标分位上的业务指标值以及方差，通过假设检验算法计算每个测试组之间的统计显著性水平参数；

比较结果获取模块560，用于根据统计显著性水平参数对业务场景下各测试组在目标分位上的业务指标值进行对比，得到业务场景的比较结果。

在本申请一些实施例中，参数获取模块520，用于获取测试组的样本序列的离散程度信息；根据测试组的样本序列的离散程度信息获取测试组的直方图带宽参数。

在本申请一些实施例中，参数获取模块520，用于获取测试组的样本序列的标准差；根据测试组的样本序列的标准差以及测试组的样本序列的数据量，获取测试组的标准误差；将标准误差确定为测试组的直方图带宽参数。

在本申请一些实施例中，密度函数获取模块530，用于获取业务指标区间的第一端点值以及第二端点值；确定第一端点值对应的第一参考分位数以及第二端点值对应的第二参考分位数；根据第一端点值、第一参考分位数、第二端点值以及第二参考分位数，估计在测试组的样本序列中业务指标值对应的概率密度值。

在本申请一些实施例中，密度函数获取模块530，用于获取第一端点值与第二端点值间的第一差值；获取第一参考分位数与第二参考分位数的第二差值；根据第一差值与第二差值间的比值，确定在测试组的样本序列中业务指标值对应的概率密度值。

在本申请一些实施例中，显著水平获取模块550，用于获取实验组的样本序列在目标分位上的实验组业务指标值以及实验组方差；获取对照组的样本序列在目标分位上的对照组业务指标值以及对照组方差；根据实验组业务指标值、实验组方差、对照组业务指标值以及对照组方差，通过T检验算法计算实验组与对照组之间存在显著差异的T检验统计量；根据T检验统计量获取统计显著性水平参数。

关于业务场景的比较装置的具体限定可以参见上文中对于业务场景的比较方法的限定，在此不再赘述。上述业务场景的比较装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在本申请一些实施例中，业务场景的比较装置500可以实现为一种计算机程序的形式，计算机程序可在如图6所示的计算机设备上运行。计算机设备的存储器中可存储组成该种业务场景的比较装置500的各个程序模块，比如，图5所示的样本序列获取模块510、参数获取模块520、密度函数获取模块530、方差估算模块540、显著水平获取模块550以及比较结果获取模块560。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的种业务场景的比较方法中的步骤。

例如，图6所示的计算机设备可以通过如图5所示的种业务场景的比较装置500中的样本序列获取模块510执行步骤S210。计算机设备可通过参数获取模块520执行步骤S220。计算机设备可通过密度函数获取模块530执行步骤S230。计算机设备可通过方差估算模块540执行步骤S240。计算机设备可通过显著水平获取模块550执行步骤S250。计算机设备可通过比较结果获取模块560执行步骤S260。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的计算机设备通过网络连接通信。该计算机程序被处理器执行时以实现一种业务场景的比较方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在本申请一些实施例中，提供了一种计算机设备，包括一个或多个处理器；存储器；以及一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行以下步骤：

在分组对照测试的每个测试组中，获取测试组的样本序列；其中，样本序列中的样本数据为业务场景下的业务关联数据，测试组包括实验组以及对照组，实验组以及对照组在业务场景下设置不同的业务策略；

获取测试组的样本序列的直方图带宽参数，并获取测试组的样本序列中在目标分位上的业务指标值；

根据直方图带宽参数获取业务指标值所在的业务指标区间，并根据业务指标区间的端点值以及端点值对应的参考分位数获取测试组对应的业务指标值的概率密度值；

根据测试组对应的业务指标值的概率密度值以及测试组的样本序列的数据量，获取在测试组的样本序列中在目标分位上的业务指标值对应的方差；

根据各个测试组的样本序列在目标分位上的业务指标值以及方差，通过假设检验算法计算每个测试组之间的统计显著性水平参数；

根据统计显著性水平参数对业务场景下各测试组在目标分位上的业务指标值进行对比，得到业务场景的比较结果。

在本申请一些实施例中，处理器执行应用程序时还实现以下步骤：获取测试组的样本序列的离散程度信息；根据测试组的样本序列的离散程度信息获取测试组的直方图带宽参数。

在本申请一些实施例中，处理器执行应用程序时还实现以下步骤：获取测试组的样本序列的标准差；根据测试组的样本序列的标准差以及测试组的样本序列的数据量，获取测试组的标准误差；将标准误差确定为测试组的直方图带宽参数。

在本申请一些实施例中，处理器执行应用程序时还实现以下步骤：获取业务指标区间的第一端点值以及第二端点值；确定第一端点值对应的第一参考分位数以及第二端点值对应的第二参考分位数；根据第一端点值、第一参考分位数、第二端点值以及第二参考分位数，估计在测试组的样本序列中业务指标值对应的概率密度值。

在本申请一些实施例中，处理器执行应用程序时还实现以下步骤：获取第一端点值与第二端点值间的第一差值；获取第一参考分位数与第二参考分位数的第二差值；根据第一差值与第二差值间的比值，确定在测试组的样本序列中业务指标值对应的概率密度值。

在本申请一些实施例中，处理器执行应用程序时还实现以下步骤：获取实验组的样本序列在目标分位上的实验组业务指标值以及实验组方差；获取对照组的样本序列在目标分位上的对照组业务指标值以及对照组方差；根据实验组业务指标值、实验组方差、对照组业务指标值以及对照组方差，通过T检验算法计算实验组与对照组之间存在显著差异的T检验统计量；根据T检验统计量获取统计显著性水平参数。

在本申请一些实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器进行加载，使得处理器执行实现以下步骤：

在分组对照测试的每个测试组中，获取测试组的样本序列；其中，样本序列中的样本数据为业务场景下的业务关联数据，测试组包括实验组以及对照组，实验组以及对照组在业务场景下设置不同的业务策略；

获取测试组的样本序列的直方图带宽参数，并获取测试组的样本序列中在目标分位上的业务指标值；

根据直方图带宽参数获取业务指标值所在的业务指标区间，并根据业务指标区间的端点值以及端点值对应的参考分位数获取测试组对应的业务指标值的概率密度值；

根据测试组对应的业务指标值的概率密度值以及测试组的样本序列的数据量，获取在测试组的样本序列中在目标分位上的业务指标值对应的方差；

根据各个测试组的样本序列在目标分位上的业务指标值以及方差，通过假设检验算法计算每个测试组之间的统计显著性水平参数；

根据统计显著性水平参数对业务场景下各测试组在目标分位上的业务指标值进行对比，得到业务场景的比较结果。

在本申请一些实施例中，计算机程序被处理器执行时还实现以下步骤：获取测试组的样本序列的离散程度信息；根据测试组的样本序列的离散程度信息获取测试组的直方图带宽参数。

在本申请一些实施例中，计算机程序被处理器执行时还实现以下步骤：获取测试组的样本序列的标准差；根据测试组的样本序列的标准差以及测试组的样本序列的数据量，获取测试组的标准误差；将标准误差确定为测试组的直方图带宽参数。

在本申请一些实施例中，计算机程序被处理器执行时还实现以下步骤：获取业务指标区间的第一端点值以及第二端点值；确定第一端点值对应的第一参考分位数以及第二端点值对应的第二参考分位数；根据第一端点值、第一参考分位数、第二端点值以及第二参考分位数，估计在测试组的样本序列中业务指标值对应的概率密度值。

在本申请一些实施例中，计算机程序被处理器执行时还实现以下步骤：获取第一端点值与第二端点值间的第一差值；获取第一参考分位数与第二参考分位数的第二差值；根据第一差值与第二差值间的比值，确定在测试组的样本序列中业务指标值对应的概率密度值。

在本申请一些实施例中，计算机程序被处理器执行时还实现以下步骤：获取实验组的样本序列在目标分位上的实验组业务指标值以及实验组方差；获取对照组的样本序列在目标分位上的对照组业务指标值以及对照组方差；根据实验组业务指标值、实验组方差、对照组业务指标值以及对照组方差，通过T检验算法计算实验组与对照组之间存在显著差异的T检验统计量；根据T检验统计量获取统计显著性水平参数。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上对本申请实施例所提供的一种业务场景的比较方法、装置、计算机设备以及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种业务场景的比较方法，其特征在于，所述方法包括：

在分组对照测试的每个测试组中，获取所述测试组的样本序列；其中，样本序列中的样本数据为业务场景下的业务关联数据，所述测试组包括实验组以及对照组，所述实验组以及所述对照组在所述业务场景下设置不同的业务策略；

获取所述测试组的样本序列的直方图带宽参数，并获取所述测试组的样本序列中在目标分位上的业务指标值；

根据所述直方图带宽参数获取所述业务指标值所在的业务指标区间，并根据所述业务指标区间的端点值以及所述端点值对应的参考分位数获取所述测试组对应的业务指标值的概率密度值；

根据所述测试组对应的所述业务指标值的概率密度值以及所述测试组的样本序列的数据量，获取在所述测试组的样本序列中在目标分位上的业务指标值对应的方差；

根据各个测试组的样本序列在所述目标分位上的业务指标值以及方差，通过假设检验算法计算每个测试组之间的统计显著性水平参数；

根据所述统计显著性水平参数对所述业务场景下各所述测试组在目标分位上的业务指标值进行对比，得到所述业务场景的比较结果。

2.根据权利要求1所述的方法，其特征在于，所述获取所述测试组的样本序列的直方图带宽参数的步骤，包括：

获取所述测试组的样本序列的离散程度信息；

根据所述测试组的样本序列的离散程度信息获取所述测试组的直方图带宽参数。

3.根据权利要求1所述的方法，其特征在于，所述获取所述测试组的样本序列的直方图带宽参数的步骤，包括：

获取所述测试组的样本序列的标准差；

根据所述测试组的样本序列的标准差以及所述测试组的样本序列的数据量，获取所述测试组的标准误差；

将所述标准误差确定为所述测试组的直方图带宽参数。

4.根据权利要求1至3任意一项所述的方法，其特征在于，所述根据所述业务指标区间的端点值以及所述端点值对应的参考分位数获取所述测试组对应的业务指标值的概率密度值的步骤，包括：

获取所述业务指标区间的第一端点值以及第二端点值；

确定所述第一端点值对应的第一参考分位数以及第二端点值对应的第二参考分位数；

根据所述第一端点值、所述第一参考分位数、所述第二端点值以及第二参考分位数，估计在所述测试组的样本序列中所述业务指标值对应的概率密度值。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一端点值、所述第一参考分位数、所述第二端点值以及第二参考分位数，估计在所述测试组的样本序列中所述业务指标值对应的概率密度值的步骤，包括：

获取所述第一端点值与所述第二端点值间的第一差值；

获取所述第一参考分位数与所述第二参考分位数的第二差值；

根据所述第一差值与所述第二差值间的比值，确定在所述测试组的样本序列中所述业务指标值对应的概率密度值。

6.根据权利要求1所述的方法，其特征在于，所述根据各个测试组的样本序列在所述目标分位上的业务指标值以及方差，通过假设检验算法计算每个测试组之间的统计显著性水平参数的步骤，包括：

获取实验组的样本序列在所述目标分位上的实验组业务指标值以及实验组方差；

获取对照组的样本序列在所述目标分位上的对照组业务指标值以及对照组方差；

根据所述实验组业务指标值、所述实验组方差、所述对照组业务指标值以及所述对照组方差，通过T检验算法计算所述实验组与所述对照组之间存在显著差异的T检验统计量；

根据所述T检验统计量获取统计显著性水平参数。

7.根据权利要求1所述的方法，其特征在于，所述根据所述统计显著性水平参数对所述业务场景下各所述测试组在目标分位上的业务指标值进行对比，得到所述业务场景的比较结果的步骤，包括：

当显著性水平参数大于该显著水平阈值，所述业务场景下的实验组和对照组的样本序列在目标分位上的业务指标值不存在显著差异；

当显著性水平参数小于或等于该显著水平阈值，所述业务场景下的实验组和对照组的样本序列在目标分位上的业务指标值存在显著差异。

8.一种业务场景的比较装置，其特征在于，所述装置包括：

样本序列获取模块，用于在分组对照测试的每个测试组中，获取所述测试组的样本序列；其中，样本序列中的样本数据为业务场景下的业务关联数据，所述测试组包括实验组以及对照组，所述实验组以及所述对照组在所述业务场景下设置不同的业务策略；

参数获取模块，用于获取所述测试组的样本序列的直方图带宽参数，并获取所述测试组的样本序列中在目标分位上的业务指标值；

密度函数获取模块，用于根据所述直方图带宽参数获取所述业务指标值所在的业务指标区间，并根据所述业务指标区间的端点值以及所述端点值对应的参考分位数获取所述测试组对应的业务指标值的概率密度值；

方差估算模块，用于根据所述测试组对应的所述业务指标值的概率密度值以及所述测试组的样本序列的数据量，获取在所述测试组的样本序列中在目标分位上的业务指标值对应的方差；

显著水平获取模块，用于根据各个测试组的样本序列在所述目标分位上的业务指标值以及方差，通过假设检验算法计算每个测试组之间的统计显著性水平参数；

比较结果获取模块，用于根据所述统计显著性水平参数对所述业务场景下各所述测试组在目标分位上的业务指标值进行对比，得到所述业务场景的比较结果。

9.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至7中任一项所述的业务场景的比较方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7任一项所述的业务场景的比较方法中的步骤。

11.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现如权利要求1至7中任一项所述的业务场景的比较方法的步骤。