CN113421135A - 确定资源投放控制参数的方法和装置、电子设备 - Google Patents

Abstract

本公开是一种确定资源投放控制参数的方法和装置、电子设备。其中，该方法包括：获取与待验证的目标投放策略关联的第一投放时序数据，及第二投放时序数据；基于与第二投放时序数据对应的投放特征，确定第三投放时序数据；获取第一投放时序数据与第三投放时序数据之间的第一差异量，以及第二投放时序数据与第三投放时序数据之间的第二差异量；在第一差异量大于第二差异量的情况下，将待验证的目标投放策略对应的资源投放控制参数确定为目标资源投放控制参数。本发明解决了由于忽略了对照组产生的溢出效应，从而导致确定出的资源投放控制参数准确性较低的技术问题。

Description

确定资源投放控制参数的方法和装置、电子设备

技术领域

本公开涉及计算机领域，具体而言，涉及一种确定资源投放控制参数的方法和装置、电子设备。

背景技术

如今，在很多资源投放平台进行资源投放时，常常会采用不同的资源投放策略，但不同的资源投放策略应用在不同的业务产品上，带来的影响往往也存在很大差异。以投放推广类的广告资源为例，在同一共享平台中，按照不同的营销策略、补贴策略进行广告投放，对投放收益会带来完全不同的结果。

目前，在应用不同的投放策略之前，通常会在较小的用户群内对投放策略进行对照实验，相关技术提供的方式中是直接基于对照实验结果中测得的实验组与对照组之间的变化差异量，来验证被实验的投放策略是否有效。进一步，在被实验的投放策略通过验证的情况下，则将该投放策略对应的投放控制参数确定为广泛应用于各个目标平台的资源投放控制参数。

但上述变化差异量中实际上不仅包括实验组相对于对照组产生的实验效应量，还包括实验过程中实验组对于对照组产生的溢出效应。也就是说，直接基于上述实验测得的变化差异量来确定所要应用的资源投放控制参数的方式中，忽略了对照组产生的溢出效应，从而导致确定出的资源投放控制参数准确性较低的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本公开提供一种确定资源投放控制参数的方法和装置、电子设备，以至少解决由于忽略了对照组产生的溢出效应，从而导致确定出的资源投放控制参数准确性较低的技术问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供了一种确定资源投放控制参数的方法，包括：获取与待验证的目标投放策略关联的第一投放时序数据，及第二投放时序数据；基于与上述第二投放时序数据对应的投放特征，确定第三投放时序数据；获取上述第一投放时序数据与上述第三投放时序数据之间的第一差异量，以及上述第二投放时序数据与上述第三投放时序数据之间的第二差异量；在上述第一差异量大于上述第二差异量的情况下，将上述待验证的目标投放策略对应的资源投放控制参数确定为目标资源投放控制参数。

根据本公开实施例的第二方面，还提供了一种确定资源投放控制参数的装置，包括：第一获取单元，被配置为获取与待验证的目标投放策略关联的第一投放时序数据，及第二投放时序数据；第一确定单元，被配置为基于与上述第二投放时序数据对应的投放特征，确定第三投放时序数据；第二获取单元，被配置为获取上述第一投放时序数据与上述第三投放时序数据之间的第一差异量，以及上述第二投放时序数据与上述第三投放时序数据之间的第二差异量；第二确定单元，被配置为在上述第一差异量大于上述第二差异量的情况下，将上述待验证的目标投放策略对应的资源投放控制参数确定为目标资源投放控制参数。

根据本公开实施例的第三方面，还提供了一种计算机可读的存储介质，当上述存储介质中的指令由电子设备的处理器执行时，使得上述电子设备能够执行如上述的确定资源投放控制参数的方法。

根据本公开实施例的第四方面，还提供一种计算机程序产品，用于实现上述的确定资源投放控制参数的方法。

根据本公开实施例的第五方面，还提供了一种电子设备，包括处理器；用于存储上述处理器可执行指令的存储器；其中，上述处理器被配置为执行上述指令，以实现上述的确定资源投放控制参数的方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

在获取第一投放时序数据与第二投放时序数据之后，基于第二投放时序数据的投放特征来确定第三投放时序数据，然后根据第一投放时序数据与第三投放时序数据之间的第一差异量，和第二投放时序数据与第三投放时序数据之间的第二差异量，来确定出对目标投放策略实验时产生的实验效应量和溢出效应量。从而实现基于第一差异量与第二差异量之间的比对结果来准确地获取到目标投放策略的实验结果，以避免溢出效应对实验过程产生的影响。进一步在第一差异量大于第二差异量的情况下，确定目标投放策略通过验证，并将目标投放策略对应的资源投放控制参数确定为目标资源投放控制参数，从而实现保证确定出的用于投放使用的目标资源投放控制参数的准确性。进而克服由于忽略了对照组产生的溢出效应，从而导致确定出的资源投放控制参数准确性较低的技术问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据本发明实施例的一种可选的确定资源投放控制参数的方法的应用环境的示意图；

图2是根据本发明实施例的一种可选的确定资源投放控制参数的方法的流程图；

图3是根据本发明实施例的另一种可选的确定资源投放控制参数的方法的示意的流程图；

图4是根据本发明实施例的又一种可选的确定资源投放控制参数的方法的示意的流程图；

图5是根据本发明实施例的又一种可选的确定资源投放控制参数的方法的示意图；

图6是根据本发明实施例的一种可选的确定资源投放控制参数的装置的结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本实施例中，上述确定资源投放控制参数的方法可以但不限于应用于对线上信息流采用AB实验的分析过程中，其中这里的AB实验是随机抽取n%用户（小样本量）当作实验组b，随机抽取n%用户（小样本量）当作对照组a，然后根据实验数据来评估实验组b和对照组a中哪组表现更好。这里两组表现的对比结果是根据是否有显著变化来确定，其中，可以但不限于使用用于表示显著变化的显著水平p值来作为评价指标。例如，将p值小于0.01或将p值小于0.05，确定变化显著。

需要说明的是，上述AB实验，作为一种特殊的随机控制实验（RandomizedControlled Trial，简称RCT）广泛应用于商业策略分析、市场模式选择、宏观政策评价、临床科学研究等场景。举例而言，在临床科学研究中，RCT可以用来评估某种疫苗或者治疗方案对于控制传染病或者癌症的效果。在商业策略分析中，RCT可以用来评估资源投放领域（如广告投放领域）某种补贴策略或者营销方式对于消耗（cost）、预算（budget）、收入（GMV）等的影响。因此，一种科学的AB实验统计推断模型往往有至关重要的作用。

根据本发明实施例的一个方面，提供了一种确定资源投放控制参数的方法，可选地，作为一种可选的实施方式，上述确定资源投放控制参数的方法可以但不限于应用于如图1所示的硬件环境中的确定资源投放控制参数的系统中，其中，该确定资源投放控制参数的系统可以包括但不限于终端设备101、网络102、服务器103。这里的终端设备101的数量可以包括但不限于多个硬件设备。终端设备102中运行有使用目标用户账号登录的客户端（如图1所示该客户端用于接受所投放的虚拟资源，如广告资源）。上述终端设备101中包括人机交互屏幕1011，处理器1012及存储器1013。人机交互屏幕1011用于呈现所投放的虚拟资源（如广告1和广告2）。处理器1012用于响应上述人机交互操作生成交互指令，并将该交互指令发送给与客户端对应的服务器，以得到对所投放的虚拟资源的统计时序数据。存储器1013用于存储上述虚拟资源及相关属性数据，其中相关数据包括投放策略及对应的资源投放控制参数。

此外，服务器103中包括数据库1031及处理引擎1032，数据库1031中用于保存上述终端设备101发送的第一投放时序数据，及第二投放时序数据。处理引擎1032用于基于第一投放时序数据及第二投放时序数据，确定出所需的目标资源投放控制参数。

具体过程如以下步骤：如步骤S101，服务器103通过网络102从终端设备101获取与待验证的目标投放策略关联的第一投放时序数据，及第二投放时序数据，然后在服务器103中执行步骤S102-S104：在服务器的处理引擎1032中基于与第二投放时序数据对应的投放特征来确定第三投放时序数据，并获取第一投放时序数据与第三投放时序数据之间的第一差异量，及第二投放时序数据与第三投放时序数据之间的第二差异量；然后，在判断出第一差异量大于第二差异量的情况下，将上述待验证的目标投放策略对应的资源投放控制参数确定为目标资源投放控制参数。最后如步骤S105，服务器103按照上述确定出的目标资源投放控制参数来向运行有目标平台的终端设备（如这里包括终端设备101）投放虚拟资源。

需要说明的是，在本实施例中，在获取第一投放时序数据与第二投放时序数据之后，基于第二投放时序数据的投放特征来确定第三投放时序数据，然后根据第一投放时序数据与第三投放时序数据之间的第一差异量，和第二投放时序数据与第三投放时序数据之间的第二差异量，来确定出对目标投放策略实验时产生的实验效应量和溢出效应量。从而实现基于第一差异量与第二差异量之间的比对结果来准确地获取到目标投放策略的实验结果，以避免溢出效应对实验过程产生的影响。进一步在第一差异量大于第二差异量的情况下，确定目标投放策略通过验证，并将目标投放策略对应的资源投放控制参数确定为目标资源投放控制参数，从而实现保证确定出的用于投放使用的目标资源投放控制参数的准确性。进而克服由于忽略了对照组产生的溢出效应，从而导致确定出的资源投放控制参数准确性较低的技术问题。

可选地，在本实施例中，上述终端设备可以是配置有目标客户端的终端设备，可以包括但不限于以下至少之一：手机（如Android手机、iOS手机等）、笔记本电脑、平板电脑、掌上电脑、MID（Mobile Internet Devices，移动互联网设备）、PAD、台式电脑、智能电视等。目标客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等用于接受所投放的虚拟资源的客户端。上述网络可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。

可选地，作为一种可选的实施方式，如图2所示，上述确定资源投放控制参数的方法包括：

S201，获取与待验证的目标投放策略关联的第一投放时序数据，及第二投放时序数据；

其中，第一投放时序数据为应用目标投放策略来投放虚拟资源后获取的实验投放时序数据，第二投放时序数据为并未应用目标投放策略来投放虚拟资源后获取的对照投放时序数据。

S202，基于与第二投放时序数据对应的投放特征，确定第三投放时序数据；

其中，第三投放时序数据用于参考比对的伪对照投放时序数据（也可称作参考投放时序数据）。

S203，获取第一投放时序数据与第三投放时序数据之间的第一差异量，以及第二投放时序数据与第三投放时序数据之间的第二差异量；

S204，在第一差异量大于第二差异量的情况下，将待验证的目标投放策略对应的资源投放控制参数确定为目标资源投放控制参数。

可选地，在本实施例中，上述确定资源投放控制参数的方法可以但不限于应用于对在线信息流的控制策略的验证过程中。例如，以广告投放领域为例，这里的在线控制策略可以包括但不限于：用于控制广告超投的策略、提高预算消耗率的策略、广告补贴策略、冷启动策略（这里冷启动是指首次投放时对用户喜好未知的情况下所参考的投放策略）等。上述为示例，这里应用场景及领域不作任何限定。

这里需要说明的是，本实施例中对目标投放策略进行AB实验，是将目标投放策略应用于实验组，而对于对照组则不应用上述目标投放策略。通过比对实验组和对照组的差异，来验证按照目标投放策略对应的资源投放控制参数进行投放后的效果。这里的投放效果可以但不限于通过以下参数指示：投放转化率、投放收益等。

需要说明的是，AB实验的实验结果可以如图3所示，其中，图3中（A）表示实验变量仅施加于实验组的情形，如右侧实验数据曲线可知，在实验开始以后，对照组也不会发生巨大变化。受实验变量的影响，实验组会发生一定程度的改变。因此在实验之后，实验组与对照组之间的差距可以用于指示实验效应量。而图3中（B）表示实验变量不仅作用于实验组，而且对对照组会产生溢出效应的情形，如右侧实验数据曲线可知，在实验开始之后，实验组会实验变量的影响中会发生一定程度的变化（例如如图所示是上升变化），对照组也会因为溢出效应的存在发生一定程度的变化（如图所示是下降变化）。这里实验结果中实际上包括实验效应量和溢出效应量的和。

为了从采用相关技术提供的实验结果中拆分出实验变量对对照组产生的溢出效应，在本申请实施例中，通过构建预测出的第三投放时序数据，来分别与第一投放时序数据（即实验投放时序数据）和第二投放时序数据（即对照投放时序数据）分别进行比对，从而实现基于比对后得到的第一差异量与第二差异量，来排除实验中对待验证的目标投放策略产生的溢出效应，以确保验证后得到的目标投放策略的准确性，进而保证根据目标投放策略确定出的目标投放资源控制参数的准确性。使得实验结果更加稳健且更贴近真实值，对实验本身而言，也提高了实验结果的可信度。

可选地，在本实施例中，上述目标投放策略可以但不限于用于控制对虚拟资源的投放过程。其中，这里的目标投放策略可以但不限于对应配置多个资源投放控制参数，例如，投放平台标识、投放时间段、投放范围、投放预算消耗等。这里所列资源投放控制参数为示例，对应不同应用业务领域，不同投放策略各自对应的资源投放控制参数也不相同，这里不做任何限定。

具体假设这里的目标投放策略以广告投放策略A对于投放广告产生收入的影响为例进行说明：

采用广告投放策略A向一组样本用户账号集S1投放广告，而对另一组样本用户账号集S2则不采用广告投放策略进行广告投放，这里样本用户账号集S1作为实验组，样本用户账号集S2作为对照组。

然后，获取上述实验组样本和对照组样本在一段时间（包含实验前后）内产生的投放时序数据（如各个时间的广告收入），即第一投放时序数据（如实验广告收入）和对照第一投放时序数据（如对照广告收入）。基于上述对照第一投放时序数据预测得到第三投放时序数据（如参考广告收入）。并将该第三投放时序数据作为预测出的“伪第二投放时序数据”，来与第一投放时序数据和对照第一投放时序数据分别进行比对。

通过比对实验广告收入和参考广告收入得到用于指示实验效应的第一差异量，并比对对照广告收入和参考广告收入得到用于指示溢出效应的第二差异量。进一步在第一差异量大于第二差异量的情况下，确定目标投放策略通过验证，允许扩大使用，则将上述广告投放策略A对应的资源投放控制参数广泛应用于更多广告资源在目标平台的投放过程中。

通过本申请提供的实施例，在获取第一投放时序数据与第二投放时序数据之后，基于第二投放时序数据的投放特征来确定第三投放时序数据，然后根据第一投放时序数据与第三投放时序数据之间的第一差异量，和第二投放时序数据与第三投放时序数据之间的第二差异量，来确定出对目标投放策略实验时产生的实验效应量和溢出效应量。从而实现基于第一差异量与第二差异量之间的比对结果来准确地获取到目标投放策略的实验结果，以避免溢出效应对实验过程产生的影响。进一步在第一差异量大于第二差异量的情况下，确定目标投放策略通过验证，并将目标投放策略对应的资源投放控制参数确定为目标资源投放控制参数，从而实现保证确定出的用于投放使用的目标资源投放控制参数的准确性。进而克服由于忽略了对照组产生的溢出效应，从而导致确定出的资源投放控制参数准确性较低的技术问题。

作为一种可选的方案，基于与第二投放时序数据对应的投放特征，确定第三投放时序数据包括：

S1，将第二投放时序数据输入数据预测模型，其中，数据预测模型中包括利用多组样本数据进行多次训练后得到的一组目标权重参数；

S2，在数据预测模型中，计算与第二投放时序数据对应的投放特征匹配的第三投放时序数据。

需要说明的是，这里通过数据预测模型预测的第三投放时序数据，是在无实验情境（未应用实验变量）下的对照组的数据表现。实验中的真实对照组，即使没有直接受到实验效应的影响，也会因为溢出效应的存在而收到间接影响。因此，无实验情境下对照组的表现（即“伪对照组”）事实上是无法通过数据观测得到的。

因而在本实施例中，利用上述数据预测模型来预测第三投放时序数据（即“伪对照组”的数据），其中，上述数据预测模型中可以包括但不限于：利用多组样本数据进行多次训练后得到的一组目标权重参数。例如，该数据预测模型可以包括但不限于：1）时间序列模型；2）机器学习模型。

其中，上述时间序列模型可以但不限于是对某一个或一组变量x（t）进行观察测量，将在一系列时刻t1，t2，…，tn（t为自变量）按照时间次序排列，并用于解释变量和相互关系的数学表达式。根据对系统进行观测得到的时间序列数据，用曲线拟合方法对系统进行客观的描述。上述机器学习模型可以但不限于是在计算机中模拟或实现人类的学习行为，以获取新的指示或技能，重新组织已有的知识结构使之不断改善自身的性能的模型。

可选地，在本实施例中，上述投放特征可以但不限于用于指示第二投放时序数据对应的投放特性。例如，该投放特征可以包括但不限于第二投放时序数据中提取出的投放时间段、投放范围、不同平台各自对应的投放量等。这里为示例，本实施例中对于投放特征不作任何具体限定。

通过本申请提供的实施例，在数据预测模型中，基于第二投放时序数据的投放特征来预测第三投放时序数据。从而实现基于预测构建的第三投放时序数据与第一投放时序数据和第二投放时序数据分别比对的结果，来拆分出实验中溢出效应对对照组产生的影响量，从而确保对目标投放策略的验证结果的准确性，进而保证确定出目标资源投放控制参数的准确性。

作为一种可选的方案，在获取与待验证的目标投放策略关联的第一投放时序数据，及第二投放时序数据之前，还包括：

S1，在数据预测模型为时间序列模型的情况下，利用多组样本数据对初始时间序列模型进行测试，直至达到第一收敛条件，其中，第一收敛条件用于指示测试中的时间序列模型输出的测试结果指示的预测曲线与历史投放时序数据对应的对照曲线之间的曲线拟合度小于第一阈值，多组样本数据包括时间序列模型中序列参数的多组参数值。

其中，历史投放时序数据为在历史时间段内的历史对照投放时序数据。

可选地，在本实施例中，上述时间序列模型可以但不限于为自回归移动平均（AutoRegression Moving Average，简称ARMA）模型，该模型中包括的目标权重参数可以包括但不限于以下之一：自回归阶数p（auto-regressive order），差分阶数d（differencingdegree），平滑阶数q（moving-average order）。

例如，假设获取到多组样本数据为时间序列模型中包括的权重参数对应的多组参数值。结合表1所示四组样本值为例进行说明。

表1

将历史投放时序数据输入使用第一组参数值的时间序列模型中，得到输出结果Y1；将历史投放时序数据输入使用第二组参数值的时间序列模型中，得到输出结果Y2；将历史投放时序数据输入使用第三组参数值的时间序列模型中，得到输出结果Y3；将历史投放时序数据输入使用第四组参数值的时间序列模型中，得到输出结果Y4。

进一步，依次获取输出结果Y1对应的预测曲线与历史投放时序数据对应的对照曲线X1之间的拟合度n1、输出结果Y2对应的预测曲线与历史投放时序数据对应的对照曲线X1之间的拟合度n2、输出结果Y3对应的预测曲线与历史投放时序数据对应的对照曲线X1之间的拟合度n3、输出结果Y4对应的预测曲线与历史投放时序数据对应的对照曲线X1之间的拟合度n4。假设在利用四组样本值测试后，确定出拟合度n3小于第一阈值，则可以确定第三组样本值是该时间序列模型最适合的参数。然后使用包括上述第三组样本值的参数的时间序列模型来预测第三投放时序数据。

需要说明的是，上文描述内容及表1所示为示例，实际测试过程中的参数可以包括但不限于更多组样本值，这里不做任何限定。

具体结合以下示例进行说明上述时间序列模型的应用过程：假设待验证的目标投放策略是一项用于控制超投的投放策略B。通过AB实验来验证该投放策略对于投放消耗的影响。在AB实验中，圈定一部分用于接受广告投放的网页界面（page view，简称PV）来应用上述投放策略B，确定为实验组；将另一部分用于接受广告投放的网页界面确定为对照组。

然后，将上述实验组（应用投放策略B）的消耗数据与对照组（未应用投放策略B）的消耗数据作为时间序列模型的输入值。这里时间序列模型以ARMA模型为例，假设实验得到的消耗数据服从ARIMA（p，d，q）时间序列，其中，这里应用过程中参数p，d，q是已经通过测试确定的最适合的参数。

进一步，获取时间序列模型的输出值，作为预测出的第三投放时序数据（也可称作伪对照组数据）。例如，如图4所示横轴表示时间，纵轴表示消耗数据，这里最上面的曲线用于表示实验组对应的消耗数据（如图4中所示加粗实线1），最下面的曲线用于表示对照组对应的消耗数据（如图4中所示加粗虚线2）。而上述两条曲线之间的曲线是预测出的伪对照组数据对应的参考曲线（如图4中所示细实线3）。需要说明的是，上述两条曲线之间的区域代表伪对照组数据预测的置信区间，如图中细线圈中区域。

通过本申请提供的实施例，利用多组样本数据测试得到时间序列模型，来预测第三投放时序数据，以确保预测得到的第三投放时序数据的准确性，进而保证所确定出的目标资源投放控制参数的准确性。

作为一种可选的方案，在获取与待验证的目标投放策略关联的第一投放时序数据，及第二投放时序数据之前，还包括：

S1，在数据预测模型为神经网络模型的情况下，利用多组样本数据对初始神经网络模型进行训练，直至达到第二收敛条件，其中，第二收敛条件用于指示训练中的神经网络模型输出的训练结果与标签投放时序数据之间的误差小于第二阈值，多组样本数据包括历史投放时序数据。

可选地，在本实施例中，上述神经网络模型中可以但不限于包括搭建有多层长短期记忆网络（Long Short-Term Memory，简称LSTM）结构。这是一种时间递归神经网络，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。内部主要包括三个阶段：

1）忘记阶段。主要是对上一个节点传进来的输入进行选择性忘记。

2）选择记忆阶段。对输入进行选择记忆。哪些重要则着重记录下来。

3）输出阶段，将决定哪些将会被当成当前状态的输出。

例如，利用多组样本数据对搭建的初始神经网络模型进行训练，通过神经网络模型中的目标函数来获取每次训练得到的训练结果，与用于参考比对的标签投放时序数据之间的误差损失值。在该误差损失值连续小于第二阈值的情况下，确定达到该神经网络模型的收敛条件。

利用训练好的神经网络模型来预测第三投放时序数据的过程，可以参考上述实施例，这里不再赘述。

通过本申请提供的实施例，利用多组样本数据测试得到神经网络模型，来预测第三投放时序数据，以确保预测得到的第三投放时序数据的准确性，进而保证所确定出的目标资源投放控制参数的准确性。

作为一种可选的方案，获取第一投放时序数据与第三投放时序数据之间的第一差异量，以及第二投放时序数据与第三投放时序数据之间的第二差异量包括：

S1，将第一投放时序数据与第三投放时序数据输入因果推断模型，并基于因果推断模型中的贝叶斯结构时间序列，获取第一投放时序数据与第三投放时序数据之间的第一差异量，及与第一差异量对应的第一显著性系数；

S2，将第二投放时序数据与第三投放时序数据输入因果推断模型，并基于因果推断模型中的贝叶斯结构时间序列，获取第二投放时序数据与第三投放时序数据之间的第二差异量，及与第二差异量对应的第二显著性系数。

可选地，在本实施例中，上述因果推断模型将可以但不限于使用Causalimpact模型，通过贝叶斯结构时间序列（Bayesian Structural Time Series，简称BSTS）评价在时间序列维度实验组与对照组在关键指标的表现差异，并汇报显著性水平。

例如，仍以上述假设的目标投放策略是一项用于控制超投的投放策略B为例进行说明，对应的投放时序数据可以但不限于为消耗数据。

在因果推断模型中比较实验组消耗数据与预测出的“伪对照组”消耗数据，得到第一差异量（也是实验效应量）及其对应的显著性系数（如显著性水平p值）；并比较对照组消耗数据与“伪对照组”消耗数据，得到第二差异量（也是溢出效应量）及其对应的显著性系数（如显著性水平p值）。需要说明的是，这里的显著性水平p值用于表示差异是否显著。

通过本申请提供的实施例，在因果推断模型中获取第一投放时序数据与第三投放时序数据之间的第一差异量，以及第二投放时序数据与第三投放时序数据之间的第二差异量，以便于基于上述第一差异量与第二差异量的比对结果验证目标投放策略是否可以推广使用，从而提升了验证目标投放策略的准确性。

作为一种可选的方案，在获取第一投放时序数据与第三投放时序数据之间的第一差异量，以及第二投放时序数据与第三投放时序数据之间的第二差异量之后，还包括：

S1，在第一显著性系数小于第一水平阈值，且第二显著性系数小于第二水平阈值的情况下，比对第一差异量及第二差异量；

S2，根据比对结果，确定所述目标投放策略对所述第一投放时序数据的策略倾向。

其中，在比对结果指示目标投放策略的策略倾向为正向策略的情况下，目标投放策略将被应用到虚拟资源过程中，其中，在比对结果指示目标投放策略的策略倾向为负向策略的情况下，目标投放策略将被丢弃。

例如，仍以上述假设场景验证用于控制超投的投放策略B为例继续说明，假设实验组消耗数据（即第一投放时序数据）与“伪对照组”消耗数据（即第三投放时序数据）之间比较后得到的实验效应量为130w/天，显著性水平p值小于0.01；而对照组消耗数据（即第二投放时序数据）与“伪对照组”消耗数据（即第三投放时序数据）之间比较后得到的溢出效应量为-98w/天，显著性水平p值小于0.01。

根据上述比对结果，将确定第一差异量大于第二差异量，表示上述用于控制超投的投放策略B对于实验组的消耗产生130w的正向影响，但是对于对照组样本也有98w的挤压，但是整体效果仍为正向影响。

需要说明的是，若用于控制超投的投放策略B确定产生的是负向影响，则表示该用于控制超投的投放策略B不是广泛推广使用，后续将做丢弃处理。此外，在本实施例中，上述第一水平阈值与第二水平阈值可以为0.01，也可以为0.05，本实施例中对具体取值不作任何限定。

通过本申请提供的实施例，根据第一差异量与第二差异量的比对结果，来确定目标投放策略产生的是正向影响还是负向影响，以便于确定是否采用该目标投放策略对应的资源投放控制参数作为目标资源投放控制参数。

在将目标投放策略对应的资源投放控制参数，确定为目标资源投放控制参数之后，还包括：在目标平台中按照目标资源投放控制参数投放目标虚拟资源。

需要说明的是，在本实施例中，上述目标平台可以但不限于各种用于接受投放目标虚拟资源的平台。例如，H5网页界面、应用客户端（Application，简称APP），这里的应用客户端APP可以为社区空间共享应用APP、视频播放应用APP等等。

可选地，在本实施例中，上述虚拟资源可以但不限于包括以下至少之一：文本资源、图片资源、音频资源、视频资源等。这里的虚拟资源可以但不限于用于展示推广某种业务或产品，如广告资源。

例如，以投放广告为例，按照上述确定出的目标资源投放控制参数来投放广告，将获得更加满足广告商需求的投放收益。

作为一种示例，这里结合图5所示过程来完整说明：

如步骤S501，向数据预测模型输入实验组数据和对照组数据；在该数据预测模型中执行步骤S502，预测出“伪对照组”数据。通过比对实验组数据和“伪对照组”数据，将得到实验效应量，通过比对对照组数据和“伪对照组”数据，将得到溢出效应量，如步骤S503。最后，根据上述实验效应量与溢出效应量来验证当前应用于实验组数据的实验变量（即目标投放策略）是否合理。

在确定出该目标投放策略通过验证的情况下，则将该目标投放策略对应的资源投放控制参数确定为目标资源投放控制参数，从而实现通过AB实验来验证目标投放策略，并将验证通过的目标投放策略的资源投放控制参数广泛应用于更多的虚拟资源投放过程中。

上文描述及图5所示为示例，这里不做任何限定。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

图6是根据一示例性实施例示出的一种确定资源投放控制参数的装置的结构示意图。参照图6，该装置：

1）第一获取单601，配置为获取与待验证的目标投放策略关联的第一投放时序数据，及第二投放时序数据；

其中，第一投放时序数据为应用目标投放策略来投放虚拟资源后获取的实验投放时序数据，第二投放时序数据为并未应用目标投放策略来投放虚拟资源后获取的对照投放时序数据。

2）第一确定单元602，被配置为基于与第二投放时序数据对应的投放特征，确定第三投放时序数据；

其中，第三投放时序数据用于参考比对的伪对照投放时序数据（也可称作参考投放时序数据）。

3）第二获取单元603，被配置为获取第一投放时序数据与第三投放时序数据之间的第一差异量，以及第二投放时序数据与第三投放时序数据之间的第二差异量；

4）第二确定单元604，被配置为在第一差异量大于第二差异量的情况下，将待验证的目标投放策略对应的资源投放控制参数确定为目标资源投放控制参数。

需要说明的是，在本实施例中，上述装置的实施例可以参考上述方法实施例，这里不做任何限定。

作为一种可选的方案，第一确定单元包括：

输入模块，被配置为将第二投放时序数据输入数据预测模型，其中，数据预测模型中包括利用多组样本数据进行多次训练后得到的一组目标权重参数；

计算模块，被配置为在数据预测模型中，计算与第二投放时序数据对应的投放特征匹配的第三投放时序数据。

需要说明的是，在本实施例中，上述装置的实施例可以参考上述方法实施例，这里不做任何限定。

作为一种可选的方案，上述装置还包括：

第一训练单元，被配置为在获取与待验证的目标投放策略关联的第一投放时序数据，及第二投放时序数据之前，在数据预测模型为时间序列模型的情况下，利用多组样本数据对初始时间序列模型进行测试，直至达到第一收敛条件，其中，第一收敛条件用于指示测试中的时间序列模型输出的测试结果指示的预测曲线与历史投放时序数据对应的对照曲线之间的曲线拟合度小于第一阈值，多组样本数据包括时间序列模型中序列参数的多组参数值。

需要说明的是，在本实施例中，上述装置的实施例可以参考上述方法实施例，这里不做任何限定。

作为一种可选的方案，上述装置还包括：

第二训练单元，被配置为在获取与待验证的目标投放策略关联的第一投放时序数据，及第二投放时序数据之前，在数据预测模型为神经网络模型的情况下，利用多组样本数据对初始神经网络模型进行训练，直至达到第二收敛条件，其中，第二收敛条件用于指示训练中的神经网络模型输出的训练结果与标签投放时序数据之间的误差小于第二阈值，多组样本数据包括历史投放时序数据。

需要说明的是，在本实施例中，上述装置的实施例可以参考上述方法实施例，这里不做任何限定。

作为一种可选的方案，第二获取单元包括：

第一获取模块，被配置为将第一投放时序数据与第三投放时序数据输入因果推断模型，并基于因果推断模型中的贝叶斯结构时间序列，获取第一投放时序数据与第三投放时序数据之间的第一差异量，及与第一差异量对应的第一显著性系数；

第二获取模块，被配置为将第二投放时序数据与第三投放时序数据输入因果推断模型，并基于因果推断模型中的贝叶斯结构时间序列，获取第二投放时序数据与第三投放时序数据之间的第二差异量，及与第二差异量对应的第二显著性系数。

需要说明的是，在本实施例中，上述装置的实施例可以参考上述方法实施例，这里不做任何限定。

作为一种可选的方案，上述装置还包括：

比对单元，被配置为在获取第一投放时序数据与第三投放时序数据之间的第一差异量，以及第二投放时序数据与第三投放时序数据之间的第二差异量之后，在第一显著性系数小于第一水平阈值，且第二显著性系数小于第二水平阈值的情况下，比对第一差异量及第二差异量；

第三确定单元，被配置为根据比对结果，确定目标投放策略对第一投放时序数据的策略倾向。

需要说明的是，在本实施例中，上述装置的实施例可以参考上述方法实施例，这里不做任何限定。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由装置的处理器执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种确定资源投放控制参数的方法，其特征在于，包括：

获取与待验证的目标投放策略关联的第一投放时序数据，及第二投放时序数据；

基于与所述第二投放时序数据对应的投放特征，确定第三投放时序数据；

获取所述第一投放时序数据与所述第三投放时序数据之间的第一差异量，以及所述第二投放时序数据与所述第三投放时序数据之间的第二差异量；

在所述第一差异量大于所述第二差异量的情况下，将所述待验证的目标投放策略对应的资源投放控制参数确定为目标资源投放控制参数。

2.根据权利要求1所述的方法，其特征在于，所述基于与所述第二投放时序数据对应的投放特征，确定第三投放时序数据包括：

将所述第二投放时序数据输入数据预测模型，其中，所述数据预测模型中包括利用多组样本数据进行多次训练后得到的一组目标权重参数；

在所述数据预测模型中，计算与所述第二投放时序数据对应的投放特征匹配的所述第三投放时序数据。

3.根据权利要求2所述的方法，其特征在于，在所述获取与待验证的目标投放策略关联的第一投放时序数据，及第二投放时序数据之前，还包括：

在所述数据预测模型为时间序列模型的情况下，利用所述多组样本数据对初始时间序列模型进行测试，直至达到第一收敛条件，其中，所述第一收敛条件用于指示测试中的时间序列模型输出的测试结果指示的预测曲线与历史投放时序数据对应的对照曲线之间的曲线拟合度小于第一阈值，所述多组样本数据包括所述时间序列模型中序列参数的多组参数值。

4.根据权利要求2所述的方法，其特征在于，在所述获取与待验证的目标投放策略关联的第一投放时序数据，及第二投放时序数据之前，还包括：

在所述数据预测模型为神经网络模型的情况下，利用所述多组样本数据对初始神经网络模型进行训练，直至达到第二收敛条件，其中，所述第二收敛条件用于指示训练中的神经网络模型输出的训练结果与标签投放时序数据之间的误差小于第二阈值，所述多组样本数据包括历史投放时序数据。

5.根据权利要求1所述的方法，其特征在于，所述获取所述第一投放时序数据与所述第三投放时序数据之间的第一差异量，以及所述第二投放时序数据与所述第三投放时序数据之间的第二差异量包括：

将所述第一投放时序数据与所述第三投放时序数据输入因果推断模型，并基于所述因果推断模型中的贝叶斯结构时间序列，获取所述第一投放时序数据与所述第三投放时序数据之间的所述第一差异量，及与所述第一差异量对应的第一显著性系数；

将所述第二投放时序数据与所述第三投放时序数据输入所述因果推断模型，并基于所述因果推断模型中的所述贝叶斯结构时间序列，获取所述第二投放时序数据与所述第三投放时序数据之间的所述第二差异量，及与所述第二差异量对应的第二显著性系数。

6.根据权利要求5所述的方法，其特征在于，在所述获取所述第一投放时序数据与所述第三投放时序数据之间的第一差异量，以及所述第二投放时序数据与所述第三投放时序数据之间的第二差异量之后，还包括：

在所述第一显著性系数小于第一水平阈值，且所述第二显著性系数小于第二水平阈值的情况下，比对所述第一差异量及所述第二差异量；

根据比对结果，确定所述目标投放策略对所述第一投放时序数据的策略倾向。

7.一种确定资源投放控制参数的装置，其特征在于，包括：

第一获取单元，被配置为获取与待验证的目标投放策略关联的第一投放时序数据，及第二投放时序数据；

第一确定单元，被配置为基于与所述第二投放时序数据对应的投放特征，确定第三投放时序数据；

第二获取单元，被配置为获取所述第一投放时序数据与所述第三投放时序数据之间的第一差异量，以及所述第二投放时序数据与所述第三投放时序数据之间的第二差异量；

第二确定单元，被配置为在所述第一差异量大于所述第二差异量的情况下，将所述待验证的目标投放策略对应的资源投放控制参数确定为目标资源投放控制参数。

8.根据权利要求7所述的装置，其特征在于，所述第一确定单元包括：

输入模块，被配置为将所述第二投放时序数据输入数据预测模型，其中，所述数据预测模型中包括利用多组样本数据进行多次训练后得到的一组目标权重参数；

计算模块，被配置为在所述数据预测模型中，计算与所述第二投放时序数据对应的所述投放特征匹配的所述第三投放时序数据。

9.根据权利要求8所述的装置，其特征在于，还包括：

第一训练单元，被配置为在所述获取与待验证的目标投放策略关联的第一投放时序数据，及第二投放时序数据之前，在所述数据预测模型为时间序列模型的情况下，利用所述多组样本数据对初始时间序列模型进行测试，直至达到第一收敛条件，其中，所述第一收敛条件用于指示测试中的时间序列模型输出的测试结果指示的预测曲线与历史投放时序数据对应的对照曲线之间的曲线拟合度小于第一阈值，所述多组样本数据包括所述时间序列模型中序列参数的多组参数值。

10.根据权利要求8所述的装置，其特征在于，还包括：

第二训练单元，被配置为在所述获取与待验证的目标投放策略关联的第一投放时序数据，及第二投放时序数据之前，在所述数据预测模型为神经网络模型的情况下，利用所述多组样本数据对初始神经网络模型进行训练，直至达到第二收敛条件，其中，所述第二收敛条件用于指示训练中的神经网络模型输出的训练结果与标签投放时序数据之间的误差小于第二阈值，所述多组样本数据包括历史投放时序数据。

11.根据权利要求7所述的装置，其特征在于，所述第二获取单元包括：

第一获取模块，被配置为将所述第一投放时序数据与所述第三投放时序数据输入因果推断模型，并基于所述因果推断模型中的贝叶斯结构时间序列，获取所述第一投放时序数据与所述第三投放时序数据之间的所述第一差异量，及与所述第一差异量对应的第一显著性系数；

第二获取模块，被配置为将所述第二投放时序数据与所述第三投放时序数据输入所述因果推断模型，并基于所述因果推断模型中的所述贝叶斯结构时间序列，获取所述第二投放时序数据与所述第三投放时序数据之间的所述第二差异量，及与所述第二差异量对应的第二显著性系数。

12.根据权利要求11所述的装置，其特征在于，还包括：

比对单元，被配置为在所述获取所述第一投放时序数据与所述第三投放时序数据之间的第一差异量，以及所述第二投放时序数据与所述第三投放时序数据之间的第二差异量之后，在所述第一显著性系数小于第一水平阈值，且所述第二显著性系数小于第二水平阈值的情况下，比对所述第一差异量及所述第二差异量；

第三确定单元，被配置为根据比对结果，确定所述目标投放策略对所述第一投放时序数据的策略倾向。

13.一种计算机可读的存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的确定资源投放控制参数的方法。

14.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至6中任一项所述的确定资源投放控制参数的方法。

15.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的确定资源投放控制参数的方法。

Images