CN117097789A - 一种数据处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种数据处理方法、装置、电子设备及存储介质，该方法包括：获取参照组指标数据、实验组指标数据和对照组指标数据；基于对照组指标数据和参照组指标数据，确定第一显著水平值；第一显著水平值表征参照组指标数据的波动程度；基于对照组指标数据和实验组指标数据，确定第二显著水平值；第二显著水平值表征待校验方案相较于当前方案的差异程度；在第一显著水平值小于等于第一预设值、第二显著性水平值大于等于第二预设值时，确定待检验方案的迭代可用性。如此，可以解决小流量下在线测试指标波动大难以准确判断实验效果的问题。本申请可以广泛应用于工业推荐系统的在线评估中，有效的提升迭代效率。

Description

一种数据处理方法、装置、电子设备及存储介质

技术领域

本申请涉及互联网技术领域，特别涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

推荐系统是指互联网时代平台根据用户兴趣自动选择或匹配平台上的商品并呈现给用户。在目前推荐系统中，通常采用在线小流量的测试方式，通过对比线上一段时间指标的优劣来不断进行系统内推荐算法、策略的迭代。在小流量迭代效果置信的情况下，选取在线指标最高的一组算法(策略)进行全流量推广。因此，在小流量下获取置信的迭代效果是业界进行各个场景实现算法迭代的关键。

目前，推荐系统在线实验一般是将整体100％流量划分为1％粒度的最小流量单元的流量桶。例如，某推荐场景日活5万人，每个1％流量桶有500个用户。

但是，在一些流量相对较小(万级用户)的场景，通常采用更大的流量桶(例如20％甚至更多)或者更长的时间周期来获得更加置信的小流量实验效果，但这会导致同时在线实验的数目限制在4个以下，极大的限制了迭代效率，增加实验观察周期也会降低实验迭代效率。且扩大流量和增加实验周期始终还需要判定究竟多大百分比以及多久是置信的，目前基本通过人工经验判断，缺乏客观和说服性。此外，小流量分桶下每个流量桶的流量较小，在线指标往往波动非常大，难以判断效果的提升和下降是迭代算法的差异因素还是波动因素引起的。这样一方面容易给迭代方向带来错误的结论，导致在错误方向浪费过多精力，另一方面，由于波动因素影响，算法扩流后的大盘(整体)的提升会显著低于小流量测试时的效果，造成不符合预期的效果。

因此，需要提高目前小流量测试结果的准确度，以正确指导算法的迭代。

发明内容

为了解决目前小流量测试结果准确度低的问题，本申请提供了一种数据处理方法、装置、电子设备及存储介质：

根据本申请的第一方面，提供了一种数据处理方法，包括：

获取参照组指标数据、实验组指标数据和对照组指标数据；参照组指标数据是从采取当前方案的测试对象的行为日志中得到；实验组指标数据是从采取待校验方案的测试对象的行为日志中得到；待校验方案为当前方案的迭代方案；对照组指标数据是从使用当前方案的历史对象的行为日志中得到；

基于对照组指标数据和参照组指标数据，确定第一显著水平值；第一显著水平值表征参照组指标数据的波动程度；

基于对照组指标数据和实验组指标数据，确定第二显著水平值；第二显著水平值表征待校验方案相较于当前方案的差异程度；

在第一显著水平值小于等于第一预设值、第二显著性水平值大于等于第二预设值时，确定待检验方案的迭代可用性。

根据本申请的第二方面，提供了一种数据处理装置，装置包括：

第一获取模块，用于获取参照组指标数据和实验组指标数据；参照组指标数据是从采取当前方案的测试对象的行为日志中得到；实验组指标数据是从采取待校验方案的测试对象的行为日志中得到；待校验方案为当前方案的迭代方案；

第二获取模块，用于获取对照组指标数据；对照组指标数据是从使用当前方案的历史对象的行为日志中得到；

第一确定模块，用于基于对照组指标数据和参照组指标数据，确定第一显著水平值；第一显著水平值表征参照组指标数据的波动程度；

第二确定模块，用于基于对照组指标数据和实验组指标数据，确定第二显著水平值；第二显著水平值表征待校验方案相较于当前方案的差异程度；

第三确定模块，用于在第一显著水平值小于等于第一预设值、第二显著性水平值大于等于第二预设值时，确定待检验方案的迭代可用性。

根据本申请的第三方面，提供了一种电子设备，电子设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现本申请第一方面的数据处理方法。

根据本申请的第四方面，提供了一种计算机存储介质，存储介质中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现本申请第一方面的数据处理方法。

根据本申请的第五方面，提供了一种计算机程序产品，计算机程序产品包括至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现本申请第一方面的数据处理方法。

本申请提供的一种数据处理方法、装置、电子设备及存储介质，具有如下技术效果：

本申请实施例通过确定对照组指标数据和参照组指标数据之间的第一显著水平值，以及确定对照组指标数据和实验组指标数据之间的第二显著水平值，其中第一显著水平值可以反映指标数据受波动影响的程度，第二显著水平值可以反映迭代方案相较于当前方案的差异程度，在第一显著水平值反映当前未受波动影响时，第二显著水平值的置信程度高，如此，可以解决小流量下在线测试指标波动大难以准确判断实验效果的问题。本申请可以广泛应用于工业推荐系统的在线评估中，可以减少小流量指标提升很多，扩流后大盘并没有对应提升的情况，增加大流量和小流量的实验结果一致性，从而可以有效的提升迭代效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种应用环境的示意图；

图2是本申请实施例提供的一种数据处理方法的流程示意图；

图3是本申请实施例提供的一种数据处理方法的流程示意图；

图4是本申请实施例提供的确定第一显著水平值的一种流程示意图；

图5是本申请实施例提供的确定第二显著水平值的一种流程示意图；

图6是本申请实施例提供的一种前端指定界面的示意图；

图7是本申请实施例提供的一种数据处理装置的组成框图；

图8是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

针对相关技术中，由于在线实验指标在小流量下波动大，导致难以判断实验效果，进而无法确定是否实施迭代方案的情况，本申请实施例提供了一种数据处理方法，可以识别出指标数据是否受波动因素影响，在确定未受波动因素影响的情况下，基于指标数据确定迭代方案的提升效果，可以广泛应用于小流量测试场景。

请参阅图1，图1是本申请实施例提供的一种应用环境的示意图，该应用环境中可以包括客户端10和服务器20。客户端10与服务器20可以通过有线或无线通信方式进行直接或间接地连接。需要说明的是，图1仅仅是一种示例。

其中，客户端10上可以安装有互联网产品，服务器20可以是提供互联网产品相关服务的后台服务器。当前方案指的是互联网产品中为实现某一功能所执行的算法或策略，该算法或策略可通过迭代的方式进行优化，以更好的实现相应功能。测试对象和历史对象即不同客户端10对应的使用用户。

在小流量测试场景中，为确定迭代方案的提升效果，服务器20预先将客户端10的用户划分为采取当前方案的测试对象或采取待校验方案的测试对象，即在不同的测试对象所使用的客户端10中的互联网产品所执行的算法是不同的。客户端10将测试对象的行为日志上传至服务器20中，服务器20根据采取当前方案的测试对象的行为日志得到参照组指标数据，根据采取待校验方案(即迭代方案)的测试对象的行为日志得到实验组指标数据，还从使用所述当前方案的历史对象的行为日志中得到对照组指标数据；服务器20根据对照组指标数据和参照组指标数据，可以确定当前是否受波动因素影响，根据对照组指标数据和实验组指标数据，可以确定待校验方案相较于当前方案的提效情况；服务器20综合上述波动因素的影响和待校验方案的提效情况，来确定是否使用待校验方案替换当前方案，实现方案的迭代。

上述的客户端10可以是智能手机、电脑(如台式电脑、平板电脑、笔记本电脑)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、数字助理、智能语音交互设备(如智能音箱)、智能可穿戴设备、智能家电、车载终端等类型的实体设备，也可以是运行于实体设备中的软体，比如计算机程序。客户端所对应的操作系统可以是安卓系统(Android系统)、iOS系统(是由苹果公司开发的移动操作系统)、linux系统(一种操作系统)、Microsoft Windows系统(微软视窗操作系统)等。

上述的服务器20可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。其中服务器可以包括有网络通信单元、处理器和存储器等等。服务器可以为对应的客户端提供后台服务。

需要说明的是，对于本申请实施例中涉及到用户信息等数据，当本申请实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

以下介绍本申请一种数据处理方法的具体实施例，图2是本申请实施例提供的一种数据处理方法的流程示意图，本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

具体的如图2所示，所述方法可以包括：

S201：获取参照组指标数据、实验组指标数据和对照组指标数据。

其中，参照组指标数据是从采取当前方案的测试对象的行为日志中得到；实验组指标数据是从采取待校验方案的测试对象的行为日志中得到；待校验方案为当前方案的迭代方案；对照组指标数据是从使用当前方案的历史对象的行为日志中得到。

本申请实施例中，当前方案指的是指定互联网产品中为实现某一功能所执行的算法或策略。其中，指定互联网产品可以是云技术产品、人工智能产品、智慧交通产品、辅助驾驶产品、直播产品、在线办公产品、电商产品、游戏产品、本地生活产品、即时通信产品、社交产品等。功能可以是推荐功能，相应的，当前方案可以是召回算法或排序算法。测试对象可以是使用该互联网产品的用户。

本申请实施例中，在对指定互联网产品中所执行的当前方案进行迭代之前，将迭代方案作为待校验方案，通过对待校验方案进行迭代可用性的检验，在确定待校验方案的迭代可用性为可迭代时，再对指定互联网产品中所执行的当前方案进行迭代。

目前，AB测试是互联网公司进行产品迭代、提升用户体验的重要工具。相关技术中，在同一时间维度，对部分用户实施A方案，对另一部分用户实施B方案，然后分别计算A、B两组用户指标数据相关的检验统计量，根据检验统计量确定A、B两组用户指标数据之间是否存在总体显著差异。但是，在目前的小流量测试场景下，即A、B两组用户数量较少的情况下，即使A、B两组用户指标数据之间存在总体显著差异，也无法确定该差异是方案因素引起的还是波动因素引起的，导致AB测试结果不准确。

基于此，本申请实施例中，将当前方案作为A方案，待校验方案作为B方案，除了对比A方案与B方案之间的差异显著性之外，还通过对比不同时间维度上采取A方案的两组测试对象的指标数据，可以识别出实验指标数据是否受波动因素影响，如此，可以提高A方案与B方案之间的差异显著性的置信程度。

因此，本申请实施例中，服务器获取三组指标数据，包括参照组指标数据、实验组指标数据和对照组指标数据；其中，参照组指标数据是从采取当前方案的测试对象的行为日志中得；实验组指标数据是从采取待校验方案的测试对象的行为日志中得到；后续步骤中，通过对参照组指标数据和实验组指标数据进行统计学分析，可以确定待校验方案相较于当前方案是否存在显著的差异。其中，对照组指标数据是从使用当前方案的历史对象的行为日志中得到，历史对象可以是在测试之前使用过该指定互联网产品的用户；后续步骤中，通过对照组指标数据和参照组指标数据进行统计学分析，确定参照组指标数据与对照组指标数据之间的差异，由于两组指标数据均是采取当前方案，因而差异越小，表示当前受波动因素影响越小。

为了获取采取不同方案的测试对象的行为日志，在一些可能的实施例中，本申请实施例的数据处理方法，还包括如图3所示的以下步骤：

S301：获取测试对象集合；测试对象集合包括多个测试对象和多个测试对象中每个测试对象的标识。

其中，每个测试对象的标识可以包括表征用户唯一性的身份标识码。

S303：基于每个测试对象的标识，将测试对象集合划分为多个测试对象子集合；多个测试对象子集合中每个测试对象子集合包括相等数量的测试对象。

具体的，该步骤中，基于AB测试中流量分桶原理，首先根据测试对象集合中所有测试对象的数量，确定待划分的测试对象子集合的数量，即分桶的数量；然后，基于每个用户的身份标识码进行Hash分桶，使得不同的用户落入不同的分桶中，且不同分桶中用户数量相等。

S305：从多个测试对象子集合中确定第一预设数量的测试对象子集合，将第一预设数量的测试对象子集合中的测试对象，作为采取当前方案的测试对象。

具体的，该步骤中，将第一预设数量的测试对象子集合用于测试当前方案，即为当前方案分配对应数量的流量桶。

S307：从多个测试对象子集合中确定第二预设数量的测试对象子集合，将第二预设数量的测试对象子集合中的测试对象，作为采取待校验方案的测试对象。

其中，第一预设数量的测试对象子集合和第二预设数量的测试对象子集合不重叠。

具体的，该步骤中，将第二预设数量的测试对象子集合用于测试待校验方案，即为待校验方案分配对应数量的流量桶。第二预设数量的测试对象子集合可以是，多个测试对象子集合中，除上述已经确定分配给当前方案的第一预设数量的测试对象子集合外的剩余测试对象子集合。

上述实施例中，将多个测试对象进行分组，对不同组的测试对象实施不同的方案，以便后续收集不同方案下测试对象的行为日志。

S203：基于对照组指标数据和参照组指标数据，确定第一显著水平值；其中，第一显著水平值表征参照组指标数据的波动程度。

本申请实施例中，根据对照组指标数据和参照组指标数据，确定第一显著水平值，第一显著水平值表征参照组指标数据的波动程度；由于对照组指标数据和参照组指标数据对应的均是当前方案，因而，第一显著水平值越小，表示当前受波动因素影响越小。

S205：基于对照组指标数据和实验组指标数据，确定第二显著水平值；其中，第二显著水平值表征待校验方案相较于当前方案的差异程度。

本申请实施例中，根据对照组指标数据和实验组指标数据，确定第二显著水平值，第二显著水平值表征待校验方案相较于当前方案的差异程度，即是否存在显著的差异。

本申请实施例中，利用假设检验，确定参照组指标数据是否受波动因素影响，以及确定待校验方案相较于当前方案是否存在显著差异。其中，假设检验是用来判断样本与样本、样本与总体的差异是由抽样误差引起还是本质差别造成的统计推断方法。这里，首先设定第一原假设为：参照组指标数据存在波动因素，第一备择假设为：参照组指标数据不存在波动因素，第一预期显著水平值(α值)设定为0.05。其次设定第二原假设为：待校验方案相较于当前方案存在显著差异，第二备择假设为：待校验方案相较于当前方案不存在显著差异，第二预期显著水平值(α值)设定为0.05。

相应的，在一些可能的实施例中，上述的基于对照组指标数据和参照组指标数据，确定第一显著水平值，可以包括如图4所示的以下步骤：

S401：对对照组指标数据和参照组指标数据进行方差齐性检验，得到第一方差齐性结果。

这里，方差齐性检验指的是，在对不同样本组进行比较的时候，判断某个指标在不同样本组得方差是否一致。方差齐性检验的方法可以包括但不限于F-test、Bartlett'stest和Levene's test。

S403：判断第一方差齐性结果是否为方差齐性。在第一方差齐性结果为方差齐性时，执行步骤S405；否则，执行步骤S407。

S405：采用第一计算方式对对照组指标数据和参照组指标数据进行显著性检验，得到第一显著水平值。

这里，显著性检验可以采用t检验，相应的，在第一方差齐性结果为方差齐性时，第一计算方式为学生t检验。具体的，首先分别计算对照组指标数据和参照组指标数据的均值(用mA，mA’表示)以及样本量(用nA，nA’表示)，然后根据对照组指标数据和参照组指标数据的均值以及样本量，计算得到统一标准差(用S1表示)；再根据统一标准差S1、对照组指标数据和参照组指标数据的均值(mA，mA’)以及样本量(nA，nA’)，计算相应的t值，然后根据t分布表格获取t值对应的p值，该p值即为第一显著水平值。

S407：采用第二计算方式对对照组指标数据和参照组指标数据进行显著性检验，得到第一显著水平值。

在显著性检验采用t检验时，相应的，第二计算方式为Welch t检验。具体的，分别计算对照组指标数据和参照组指标数据的标准差(用SA，SA’表示)、均值(用mA，mA’表示)以及样本量(用nA，nA’表示)，然后根据照组指标数据和参照组指标数据的标准差(SA，SA’)、均值(mA，mA’)以及样本量(nA，nA’)，计算得到相应的t值，然后根据t分布表格获取t值对应的p值，该p值即为第一显著水平值。

在根据上述步骤S405或S407计算得到第一显著水平值后，将其与设定的第一预期显著水平值0.05进行比较，当第一显著水平值小于等于0.05时，拒绝第一原假设，接受第一备择假设，即认为参照组指标数据不存在波动因素。

在一些可能的实施例中，上述的基于对照组指标数据和实验组指标数据，确定第二显著水平值，可以包括如图5所示的以下步骤：

S501：对对照组指标数据和实验组指标数据进行方差齐性检验，得到第二方差齐性结果。

该步骤可以参照上述步骤S401，此处不再赘述。

S503：判断第二方差齐性结果是否为方差齐性。在第二方差齐性结果为方差齐性时，执行步骤S505；否则，执行步骤S507。

S505：采用第一计算方式对对照组指标数据和实验组指标数据进行显著性检验，得到第二显著水平值。

这里，参照上述步骤S405，第一计算方式为学生t检验。具体的，分别计算对照组指标数据和实验组指标数据的均值(用mA，mB表示)以及样本量(用nA，nB表示)，然后根据对照组指标数据和实验组指标数据的均值以及样本量，计算得到统一标准差(用S2表示)；再根据统一标准差S2、对照组指标数据和实验组指标数据的均值(mA，mB)以及样本量(nA，nB)，计算相应的t值，然后根据t分布表格获取t值对应的p值，该p值即为第二显著水平值。

S507：采用第二计算方式对对照组指标数据和实验组指标数据进行显著性检验，得到第二显著水平值。

这里，参照上述步骤S407，第二计算方式为Welch t检验。具体的，分别计算对照组指标数据和实验组指标数据的标准差(用SA，SB表示)、均值(用mA，mB表示)以及样本量(用nA，nB表示)，然后根据照组指标数据和参照组指标数据的标准差(SA，SB)、均值(mA，mB)以及样本量(nA，nB)，计算得到相应的t值，然后根据t分布表格获取t值对应的p值，该p值即为第二显著水平值。

在根据上述步骤S505或S507计算得到第二显著水平值后，将其与设定的第二预期显著水平值0.05进行比较，当第二显著水平值大于等于0.05时，接受第二原假设，拒绝第二备择假设，即认为待校验方案相较于当前方案存在显著差异。

S207：在第一显著水平值小于等于第一预设值、第二显著性水平值大于等于第二预设值时，确定待检验方案的迭代可用性。

本申请实施例中，在第一显著水平值小于等于第一预设值时，表征参照组指标数据不存在波动因素；在第二显著性水平值大于等于第二预设值时，表征待校验方案相较于当前方案存在显著差异。因而，在同时满足上述条件时，由于排除了波动因素的影响，因此待校验方案相较于当前方案存在显著差异的结论，具备较高程度的准确性，即，显著的差异是由于待校验方案本身引起的。在确定待校验方案相较于当前方案存在显著差异后，需要通过确定待检验方案的迭代可用性，待检验方案的迭代可用性为可迭代或不可迭代，即待校验方案相较于当前方案是否是更加优化的方案，在确定为可迭代的情况下，可以在指定互联网产品中使用待检验方案来替换当前方案，实现方案的迭代。

在一些可能的实施例中，对照组指标数据包括预设指标对应的多个第一指标数据，实验组指标数据包括预设指标对应的多个第二指标数据；其中，预设指标可以根据实际业务场景进行定义；在一个具体的应用场景中，比如视频推荐场景，预设指标包括对象转化率、曝光点击率、完播率和播放时长中的至少一个。其中，对象转化率可以表征存在转化行为(比如点击视频或播放视频)的用户占所有推荐用户的比例；曝光点击率可以表征视频曝光(在推荐页展示)后，用户的点击率；完播率指的是完整看完视频的用户比重。

相应的，上述的确定待检验方案的迭代可用性，可以包括以下步骤：根据多个第一指标数据确定第一均值和标准差；根据多个第二指标数据确定第二均值；若第一均值与第二均值的差大于等于标准差的预设倍数，则确定待检验方案的迭代可用性为可迭代；或者；若第一均值与第二均值的差小于标准差的预设倍数，则确定待检验方案的迭代可用性为不可迭代。

具体的，预设倍数可以是2倍、3倍或4倍。若第一均值与第二均值的差大于等于标准差的2倍、3倍或4倍，即可认为实验组指标数据的效果提升明显，从而确定待校验方案相较于当前方案是更加优化的方案，因此，可以确定其迭代可用性为可迭代。

进一步地，本申请实施例的数据处理方法还可以包括以下步骤：根据第一均值和第二均值，确定待检验方案相较于当前方案在预设指标下的提升水平值。

具体的，将第二均值减去第一均值的差除以第一均值，即可得到在预设指标下的提升水平值。

上述实施例中，在确定待校验方案相较于当前方案存在显著差异的情况下，再次通过对照组指标数据的均值和实验组指标数据的均值，确定实验组指标数据的提升效果，在具备明显的提升效果的情况下，可以在指定互联网产品中使用待检验方案来替换当前方案，实现方案的迭代。

在一些可能的实施例中，可以将数据处理过程中涉及的数据以可视化的形式呈现在前端界面中，以便于相关工作人员进行观测。

具体的，如图6所示，图6是本申请实施例提供的一种前端指定界面的示意图。在该指定界面中，数据处理过程中涉及的数据以表格的形式呈现。其中，表格第一行显示各预设指标，第二行显示的是对照组指标数据中各预设指标下的均值，第三行显示的是参照组指标数据中各预设指标对应的提升水平值，第四行显示的是实验组指标数据中各预设指标对应的提升水平值；表格中各提升水平值可以采取不同的颜色进行标识，比如采用灰色表示不存在显著差异，采用红色表示存在显著差异但差异是负向的，采用绿色表示存在显著差异且差异是正向的(图中用加粗表示)，如此，可以直观的看出对应方案在各预设指标下的表现。此外，可以在表格上方设置搜索栏，搜索栏可以包括基准实验选择框和对比实验选择框，其中基准实验选择框可以用于实现对照组指标数据的选取，对比实验选择框可以用于实现参照组指标数据和实验组指标数据的选取。

综上所述，本申请实施例通过确定对照组指标数据和参照组指标数据之间的第一显著水平值，以及确定对照组指标数据和实验组指标数据之间的第二显著水平值，其中第一显著水平值可以反映指标数据受波动影响的程度，第二显著水平值可以反映迭代方案相较于当前方案的差异程度，在第一显著水平值反映当前未受波动影响时，第二显著水平值的置信程度高，如此，可以解决小流量下在线测试指标波动大难以准确判断实验效果的问题。本申请可以广泛应用于工业推荐系统的在线评估中，可以减少小流量指标提升很多，扩流后大盘并没有对应提升的情况，增加大流量和小流量的实验结果一致性，从而可以有效的提升迭代效率。

本申请实施例还提供了一种数据处理装置，如图7所示，该数据处理装置70包括：

第一获取模块701，用于获取参照组指标数据和实验组指标数据；参照组指标数据是从采取当前方案的测试对象的行为日志中得到；实验组指标数据是从采取待校验方案的测试对象的行为日志中得到；待校验方案为当前方案的迭代方案；

第二获取模块702，用于获取对照组指标数据；对照组指标数据是从使用当前方案的历史对象的行为日志中得到；

第一确定模块703，用于基于对照组指标数据和参照组指标数据，确定第一显著水平值；第一显著水平值表征参照组指标数据的波动程度；

第二确定模块704，用于基于对照组指标数据和实验组指标数据，确定第二显著水平值；第二显著水平值表征待校验方案相较于当前方案的差异程度；

第三确定模块705，用于在第一显著水平值小于等于第一预设值、第二显著性水平值大于等于第二预设值时，确定待检验方案的迭代可用性。

在一些可能的实施例中，装置还包括：

第四确定模块，用于获取测试对象集合；测试对象集合包括多个测试对象和多个测试对象中每个测试对象的标识；基于每个测试对象的标识，将测试对象集合划分为多个测试对象子集合；多个测试对象子集合中每个测试对象子集合包括相等数量的测试对象；从多个测试对象子集合中确定第一预设数量的测试对象子集合，将第一预设数量的测试对象子集合中的测试对象，作为采取当前方案的测试对象；从多个测试对象子集合中确定第二预设数量的测试对象子集合，将第二预设数量的测试对象子集合中的测试对象，作为采取待校验方案的测试对象；其中，第一预设数量的测试对象子集合和第二预设数量的测试对象子集合不重叠。

在一些可能的实施例中，第一确定模块703，还用于对对照组指标数据和参照组指标数据进行方差齐性检验，得到第一方差齐性结果；在第一方差齐性结果为方差齐性时，采用第一计算方式对对照组指标数据和参照组指标数据进行显著性检验，得到第一显著水平值；或者；在第一方差齐性结果为方差非齐性时，采用第二计算方式对对照组指标数据和参照组指标数据进行显著性检验，得到第一显著水平值。

在一些可能的实施例中，第二确定模块704，还用于对对照组指标数据和实验组指标数据进行方差齐性检验，得到第二方差齐性结果；在第二方差齐性结果为方差齐性时，采用第一计算方式对对照组指标数据和实验组指标数据进行显著性检验，得到第二显著水平值；或者；在第二方差齐性结果为方差非齐性时，采用第二计算方式对对照组指标数据和实验组指标数据进行显著性检验，得到第二显著水平值。

在一些可能的实施例中，对照组指标数据包括预设指标对应的多个第一指标数据，实验组指标数据包括预设指标对应的多个第二指标数据；

第三确定模块705，还用于根据多个第一指标数据确定第一均值和标准差；根据多个第二指标数据确定第二均值；若第一均值与第二均值的差大于等于标准差的预设倍数，则确定待检验方案的迭代可用性为可迭代；或者；若第一均值与第二均值的差小于标准差的预设倍数，则确定待检验方案的迭代可用性为不可迭代。

在一些可能的实施例中，第三确定模块705，还用于根据第一均值和第二均值，确定待检验方案相较于当前方案在预设指标下的提升水平值；其中，预设指标包括对象转化率、曝光点击率、完播率和播放时长中的至少一个。

需要说明的，所述装置实施例中的装置与方法实施例基于同样的发明构思。

本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的数据处理方法。

进一步地，图8示出了一种用于实现本申请实施例所提供的数据处理方法的电子设备的硬件结构示意图，所述电子设备可以参与构成或包含本申请实施例所提供的数据处理装置。如图8所示，电子设备100可以包括一个或多个(图中采用1002a、1002b，……，1002n来示出)处理器1002(处理器1002可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1004、以及用于通信功能的传输装置1006。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图8所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备100还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。

应当注意到的是上述一个或多个处理器1002和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到电子设备100(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器1004可用于存储应用软件的软件程序以及模块，如本申请实施例中所述的数据处理方法对应的程序指令/数据存储装置，处理器1002通过运行存储在存储器1004内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种数据处理方法。存储器1004可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1004可进一步包括相对于处理器1002远程设置的存储器，这些远程存储器可以通过网络连接至电子设备100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备100的通信供应商提供的无线网络。在一个实例中，传输装置1006包括一个网络适配器(NetworkInterfaceController，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实施例中，传输装置1006可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与电子设备100(或移动设备)的用户界面进行交互。

本申请的实施例还提供了一种计算机可读存储介质，所述存储介质可设置于电子设备之中以保存用于实现方法实施例中一种数据处理方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的数据处理方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

获取参照组指标数据、实验组指标数据和对照组指标数据；所述参照组指标数据是从采取当前方案的测试对象的行为日志中得到；所述实验组指标数据是从采取待校验方案的测试对象的行为日志中得到；所述待校验方案为所述当前方案的迭代方案；所述对照组指标数据是从使用所述当前方案的历史对象的行为日志中得到；

基于所述对照组指标数据和所述参照组指标数据，确定第一显著水平值；所述第一显著水平值表征所述参照组指标数据的波动程度；

基于所述对照组指标数据和所述实验组指标数据，确定第二显著水平值；所述第二显著水平值表征所述待校验方案相较于所述当前方案的差异程度；

在所述第一显著水平值小于等于第一预设值、所述第二显著性水平值大于等于第二预设值时，确定所述待检验方案的迭代可用性。

2.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：

获取测试对象集合；所述测试对象集合包括多个测试对象和所述多个测试对象中每个测试对象的标识；

基于所述每个测试对象的标识，将所述测试对象集合划分为多个测试对象子集合；所述多个测试对象子集合中每个测试对象子集合包括相等数量的测试对象；

从所述多个测试对象子集合中确定第一预设数量的测试对象子集合，将所述第一预设数量的测试对象子集合中的测试对象，作为所述采取当前方案的测试对象；

从所述多个测试对象子集合中确定第二预设数量的测试对象子集合，将所述第二预设数量的测试对象子集合中的测试对象，作为所述采取待校验方案的测试对象；其中，所述第一预设数量的测试对象子集合和所述第二预设数量的测试对象子集合不重叠。

3.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述对照组指标数据和所述参照组指标数据，确定第一显著水平值，包括：

对所述对照组指标数据和所述参照组指标数据进行方差齐性检验，得到第一方差齐性结果；

在所述第一方差齐性结果为方差齐性时，采用第一计算方式对所述对照组指标数据和所述参照组指标数据进行显著性检验，得到所述第一显著水平值；或者；在所述第一方差齐性结果为方差非齐性时，采用第二计算方式对所述对照组指标数据和所述参照组指标数据进行显著性检验，得到所述第一显著水平值。

4.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述对照组指标数据和所述实验组指标数据，确定第二显著水平值，包括：

对所述对照组指标数据和所述实验组指标数据进行方差齐性检验，得到第二方差齐性结果；

在所述第二方差齐性结果为方差齐性时，采用第一计算方式对所述对照组指标数据和所述实验组指标数据进行显著性检验，得到所述第二显著水平值；或者；在所述第二方差齐性结果为方差非齐性时，采用第二计算方式对所述对照组指标数据和所述实验组指标数据进行显著性检验，得到所述第二显著水平值。

5.根据权利要求1所述的数据处理方法，其特征在于，所述对照组指标数据包括预设指标对应的多个第一指标数据，所述实验组指标数据包括所述预设指标对应的多个第二指标数据；

所述确定所述待检验方案的迭代可用性，包括：

根据所述多个第一指标数据确定第一均值和标准差；

根据所述多个第二指标数据确定第二均值；

若所述第一均值与所述第二均值的差大于等于所述标准差的预设倍数，则确定所述待检验方案的迭代可用性为可迭代；或者；若所述第一均值与所述第二均值的差小于所述标准差的预设倍数，则确定所述待检验方案的迭代可用性为不可迭代。

6.根据权利要求5所述的数据处理方法，其特征在于，所述方法还包括：

根据所述第一均值和所述第二均值，确定所述待检验方案相较于所述当前方案在所述预设指标下的提升水平值；

其中，所述预设指标包括对象转化率、曝光点击率、完播率和播放时长中的至少一个。

7.一种数据处理装置，其特征在于，所述装置包括：

第一获取模块，用于获取参照组指标数据和实验组指标数据；所述参照组指标数据是从采取当前方案的测试对象的行为日志中得到；所述实验组指标数据是从采取待校验方案的测试对象的行为日志中得到；所述待校验方案为所述当前方案的迭代方案；

第二获取模块，用于获取对照组指标数据；所述对照组指标数据是从使用所述当前方案的历史对象的行为日志中得到；

第一确定模块，用于基于所述对照组指标数据和所述参照组指标数据，确定第一显著水平值；所述第一显著水平值表征所述参照组指标数据的波动程度；

第二确定模块，用于基于所述对照组指标数据和所述实验组指标数据，确定第二显著水平值；所述第二显著水平值表征所述待校验方案相较于所述当前方案的差异程度；

第三确定模块，用于在所述第一显著水平值小于等于第一预设值、所述第二显著性水平值大于等于第二预设值时，确定所述待检验方案的迭代可用性。

8.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1-6任一项所述的数据处理方法。

9.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-6任一项所述的数据处理方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-6任一项所述的数据处理方法。