CN115034833B - 投放策略的测试方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开关于一种投放策略的测试方法、装置、电子设备和存储介质，投放策略的测试方法包括：响应于目标对象的资源请求，确定目标投放策略和多个候选素材；其中，目标投放策略包括筛选模型，每个候选素材均与一个候选资源相关联，每个候选资源均与至少一个候选素材相关联；提取目标对象的对象特征，并针对每个候选素材，提取相应候选素材及其关联的候选资源的内容特征；其中，内容特征与对应候选素材的关联程度小于内容特征与对应候选素材所关联的候选资源的关联程度；将对象特征和多个候选素材的内容特征输入筛选模型，得到各个候选素材的预估值；根据多个候选素材的预估值，确定目标投放策略的测试结果。

Description

投放策略的测试方法、装置、电子设备和存储介质

技术领域

本公开涉及资源投放技术领域，尤其涉及一种投放策略的测试方法、装置、电子设备和存储介质。

背景技术

在资源投放中，各个资源提供方将己方的资源搭配不同形式的素材投放到信息展示平台，并竞争在信息展示平台中向合适的对象展示己方资源和素材的机会。为了提高投放效果，也就是提高己方资源和素材被展示给合适对象的几率，平台可为不同资源提供方配置合理的投放策略，例如调整己方资源的目标对象群体，又如通过干预手段增加己方资源在竞争中获胜的可能性。

理论上来说，在应用一个投放策略前，最好先通过对照实验对该投放策略进行测试，再决定是否在实际投放中应用该投放策略。例如在测试调整目标对象群体这一投放策略时，可创建一个实验组和一个对照组，两者投放的素材完全相同，但对实验组应用该投放策略，对对照组则不应用该投放策略（可理解为采用常规的投放策略，没有增加调整目标对象群体的特殊手段），看实验组的投放效果能否优于对照组。

执行对照实验的前提是，实验组和对照组的投放效果仅受所应用的投放策略影响，或主要受所应用的投放策略影响。换言之，如果有两个完全相同的对照组，那么二者的投放结果应该是相同或相似的。具体到单个的素材，就意味着，如果这个素材被置于两个完全相同的对照组内，那么这个素材竞争到展示机会的可能性是相同或相近的。

然而现有的资源投放系统并不能保证这个前提，即并不能保证两组素材的测试条件是均衡的，甚至常常差别很大，也就无法确定实验组和对照组的投放效果差异是否来源于投放策略，降低了小成本测试投放策略的可能性。

发明内容

本公开提供一种投放策略的测试方法、装置、电子设备和存储介质，以至少解决相关技术中的小成本测试投放策略的可能性低的问题，也可不解决任何上述问题。

根据本公开的第一方面，提供了一种投放策略的测试方法，所述投放策略的测试方法包括：响应于目标对象的资源请求，确定目标投放策略和多个候选素材；其中，所述目标投放策略包括筛选模型，每个候选素材均与一个候选资源相关联，每个候选资源均与至少一个候选素材相关联；提取所述目标对象的对象特征，并针对每个候选素材，提取相应候选素材及其关联的候选资源的内容特征；其中，所述内容特征与对应候选素材的关联程度小于所述内容特征与对应候选素材所关联的候选资源的关联程度；将所述对象特征和所述多个候选素材的内容特征输入所述筛选模型，得到各个候选素材的预估值；根据所述多个候选素材的预估值，确定所述目标投放策略的测试结果。

可选地，所述响应于目标对象的资源请求，确定目标投放策略，包括：响应于所述目标对象的资源请求，获取至少两个待测试投放策略；其中，每个待测试投放策略均与一个独立的测试对象集合相关联；确定所述目标对象所属的测试对象集合，作为目标测试对象集合；确定与所述目标测试对象集合相关联的待测试投放策略，作为所述目标投放策略。

可选地，在所述响应于目标对象的资源请求，确定目标投放策略和多个候选素材之前，所述投放策略的测试方法还包括：获取多个测试对象；按照所述至少两个待测试投放策略数量，将所述多个测试对象相对均匀地划分为相应数量的测试对象集合，将所述至少两个待测试投放策略与所述相应数量的测试对象集合一一对应关联。

可选地，所述响应于目标对象的资源请求，确定目标投放策略和多个候选素材，包括：响应于所述目标对象的资源请求，获取多个备选素材，并确定所述目标投放策略；其中，所述目标投放策略还包括定向模块，所述定向模块用于确定所述多个备选素材的对象定向条件；根据所述定向模块，确定所述多个备选素材的对象定向条件；对照所述目标对象和所述多个备选素材的对象定向条件，从所述多个备选素材中确定出与所述目标对象相匹配的素材，作为所述多个候选素材。

可选地，所述根据所述多个候选素材的预估值，确定所述目标投放策略的测试结果，包括：根据所述多个候选素材的预估值，从所述多个候选素材中确定目标素材；根据所述目标素材的提供方，确定所述目标投放策略的单次测试值；汇总并比较包括所述目标投放策略在内的至少两个待测试投放策略的单次测试值，得到所述至少两个待测试投放策略的测试结果。

可选地，所述根据所述目标素材的提供方，确定所述目标投放策略的单次测试值，包括：在确定所述目标素材的提供方为所述目标投放策略对应的目标提供方的情况下，根据所述目标对象基于所述目标素材执行的交互操作，确定所述目标素材产生的展示值，将所述展示值确定为所述目标投放策略的单次测试值。

可选地，在所述响应于目标对象的资源请求，确定目标投放策略和多个候选素材之前，所述投放策略的测试方法还包括：为所述至少两个待测试投放策略分别配置独占的可用值；其中，所述可用值用于抵扣相应待测试投放策略的单次测试值，所述至少两个待测试投放策略的初始的可用值之和小于设定值。

根据本公开的第二方面，提供了一种投放策略的测试装置，所述投放策略的测试装置包括：确定单元，被配置为：响应于目标对象的资源请求，确定目标投放策略和多个候选素材；其中，所述目标投放策略包括筛选模型，每个候选素材均与一个候选资源相关联，每个候选资源均与至少一个候选素材相关联；提取单元，被配置为：提取所述目标对象的对象特征，并针对每个候选素材，提取相应候选素材及其关联的候选资源的内容特征；其中，所述内容特征与对应候选素材的关联程度小于所述内容特征与对应候选素材所关联的候选资源的关联程度；筛选单元，被配置为：将所述对象特征和所述多个候选素材的内容特征输入所述筛选模型，得到各个候选素材的预估值；分析单元，被配置为：根据所述多个候选素材的预估值，确定所述目标投放策略的测试结果。

可选地，所述确定单元还被配置为：响应于所述目标对象的资源请求，获取至少两个待测试投放策略；其中，每个待测试投放策略均与一个独立的测试对象集合相关联；确定所述目标对象所属的测试对象集合，作为目标测试对象集合；确定与所述目标测试对象集合相关联的待测试投放策略，作为所述目标投放策略。

可选地，所述投放策略的测试装置还包括：获取单元，被配置为：获取多个测试对象；第一准备单元，被配置为：按照所述至少两个待测试投放策略数量，将所述多个测试对象相对均匀地划分为相应数量的测试对象集合，将所述至少两个待测试投放策略与所述相应数量的测试对象集合一一对应关联。

可选地，所述确定单元还被配置为：响应于所述目标对象的资源请求，获取多个备选素材，并确定所述目标投放策略；其中，所述目标投放策略还包括定向模块，所述定向模块用于确定所述多个备选素材的对象定向条件；根据所述定向模块，确定所述多个备选素材的对象定向条件；对照所述目标对象和所述多个备选素材的对象定向条件，从所述多个备选素材中确定出与所述目标对象相匹配的素材，作为所述多个候选素材。

可选地，所述分析单元还被配置为：根据所述多个候选素材的预估值，从所述多个候选素材中确定目标素材；根据所述目标素材的提供方，确定所述目标投放策略的单次测试值；汇总并比较包括所述目标投放策略在内的至少两个待测试投放策略的单次测试值，得到所述至少两个待测试投放策略的测试结果。

可选地，所述分析单元还被配置为：在确定所述目标素材的提供方为所述目标投放策略对应的目标提供方的情况下，根据所述目标对象基于所述目标素材执行的交互操作，确定所述目标素材产生的展示值，将所述展示值确定为所述目标投放策略的单次测试值。

可选地，所述投放策略的测试装置还包括第一准备单元，被配置为：为所述至少两个待测试投放策略分别配置独占的可用值；其中，所述可用值用于抵扣相应待测试投放策略的单次测试值，所述至少两个待测试投放策略的初始的可用值之和小于设定值。

根据本公开的第三方面，提供了一种电子设备，所述电子设备包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的投放策略的测试方法。

根据本公开的第四方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的投放策略的测试方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令被至少一个处理器执行时实现根据本公开的投放策略的测试方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

根据本公开的实施例的投放策略的测试方法和投放策略的测试装置，通过提取候选素材的内容特征，并令内容特征主要受对应候选素材所关联的候选资源影响，能够令相同候选资源所关联的不同候选素材具备类似的内容特征，从而改变模型的数据流，使得同样的素材单元在应用相同的投放策略并面向相同的对象时，产生近似的投放效果，为小成本测试投放策略提供可能。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是示出根据本公开的示例性实施例的投放策略的测试方法的流程图。

图2是示出根据本公开的示例性实施例的投放策略的测试方法的分组示意图。

图3是示出根据本公开的示例性实施例的测试对象分桶隔离示意图。

图4是示出根据本公开的示例性实施例的确定测试结果的流程图。

图5是示出根据本公开的示例性实施例的投放策略的测试装置的框图。

图6是示出根据本公开的示例性实施例的电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：（1）包括A；（2）包括B；（3）包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：（1）执行步骤一；（2）执行步骤二；（3）执行步骤一和步骤二。

在资源投放中，各个资源提供方将己方的资源搭配不同形式的素材投放到信息展示平台，并竞争在信息展示平台中向合适的对象展示己方资源和素材的机会。具体来说，提供方可先创建投放计划，以确定投放资源的目的（如向对象推荐应用、品牌、商品等），然后创建若干个素材单元，以确定投放资源的目标对象群体、出价等。其中，出价指达到一定投放目的后，提供方需要投入到信息展示平台的展示值，由各个提供方主动提出，常常在创建素材单元时确定，不同的提供方通过出价可以竞争到展示己方素材的机会。最后，在每个素材单元中又可创建多个素材，供信息展示平台从中确定出要展示的素材。

信息展示平台的资源推荐系统中存在不同的提供方创建的素材单元，每个素材单元又包括多个素材。在日常的资源推荐中，资源推荐系统需要在接收到对象的资源请求时，从这些素材中确定出该对象可能感兴趣的素材进行展示，这个确定出要展示的素材的过程，通常包括定向、召回、粗排、精排等阶段，定向和召回又常常合称为定向召回。关于定向召回，信息展示平台和提供方是双向选择的，每个素材都有其目标对象群体，提供方在创建素材时可相应配置若干个定向条件，信息展示平台将所有素材按照定向条件进行汇总。当接收到对象的资源请求时，就先确定该对象本身的信息条件，例如性别、年龄、地域等，然后查找每个条件对应的素材集合，对这些集合求交集，即可得到候选素材，可从这些候选素材中确定出最终要展示的素材。此后，在粗排、精排等阶段，利用模型预估这些候选素材与对象的匹配程度，从而对这些候选素材进行逐级筛选，可最终得到要展示的素材。

为了提高投放效果，也就是提高己方资源和素材被展示给合适对象的几率，平台可为不同提供方配置合理的投放策略，例如调整己方资源的目标对象群体，又如通过干预手段增加己方资源在竞争中获胜的可能性。

理论上来说，在应用一个投放策略前，最好先通过对照实验对该投放策略进行测试，再决定是否在实际投放中应用该投放策略。例如在测试调整目标对象群体这一投放策略时，可创建一个实验组和一个对照组（当然，根据实际测试需要，也可以增加实验组和对照组的数量），两者所使用的素材完全相同，但对实验组应用该投放策略，对对照组则不应用该投放策略（可理解为采用常规的投放策略，没有增加调整目标对象群体的特殊手段），看实验组的投放效果能否优于对照组。

执行对照实验的前提是，实验组和对照组的投放效果仅受所应用的投放策略影响，或主要受所应用的投放策略影响。换言之，如果有两个完全相同的对照组，那么二者的投放效果应该是相同或相似的。具体到单个的素材，就意味着，如果这个素材被置于两个完全相同的对照组内，那么这个素材竞争到展示机会的可能性是相同或相近的。

然而现有的资源投放系统并不能保证这个前提，即并不能保证两组素材的测试条件是均衡的，甚至常常差别很大，也就无法确定实验组和对照组的投放效果差异是否来源于投放策略，因而目前只能直接在投放资源时应用该投放策略，根据实际的投放效果来完成对投放策略的测试，成本较高。换言之，对照实验的测试条件不均衡，降低了小成本测试投放策略的可能性。

经分析，主要有以下三个原因导致提供方无法通过对照实验来测试投放策略的投放效果。首先是模型上的问题，当相同的资源通过不同的素材进入到资源推荐系统中时，模型对他们的预估值并不相同。其次是策略上的问题，聚量优选策略倾向于将流量聚集在同一个素材上，或者是出价最高的，或者是展示值最大的，因此在做对照实验的时候，本身就会出现相互挤压的情况。最后是提供方用于抵扣展示值的可用值的分配问题。当一个素材被展示后，根据展示的效果会产生相应的展示值，提供方需要从其剩余的可用值中拿出相应的展示值，投入到信息展示平台。目前，实验组、对照组和非测试的素材单元共享可用值，导致可用值相互挤占、抢夺，可用值条件不均衡。

根据本公开的示例性实施例的投放策略的测试方法和投放策略的测试装置，通过提取候选素材的内容特征，并令内容特征主要受对应候选素材所关联的候选资源影响，能够令相同候选资源所关联的不同候选素材具备类似的内容特征，从而改变模型的数据流，使得同样的素材单元在应用相同的投放策略并面向相同的对象时，产生近似的投放效果，为小成本测试投放策略提供可能。

下面，将参照图1至图5具体描述根据本公开的示例性实施例的投放策略的测试方法和投放策略的测试装置。

图1是示出根据本公开的示例性实施例的投放策略的测试方法的流程图。应理解，根据本公开的示例性实施例的投放策略的测试方法可以在诸如智能手机、平板电脑、个人电脑（PC）的终端设备中实现，也可以在诸如服务器的设备中实现。

参照图1，在步骤101，响应于目标对象的资源请求，确定目标投放策略和多个候选素材；其中，目标投放策略包括筛选模型，每个候选素材均与一个候选资源相关联，每个候选资源均与至少一个候选素材相关联。

应理解，目标投放策略就是此次要测试的投放策略，并非指代某个具体的投放策略，可能对应于对照实验的对照组，也可能对应于对照实验的实验组。作为示例，可以随机选取一个组对应的投放策略，也可以按序逐个执行这些待测试的投放策略，这些示例性的确定目标投放策略的方式并非对本公开的限制。此外，为了模拟实际的竞争资源展示机会的场景，所使用的候选素材不但会来自要测试投放策略的特定提供方（以下称为目标提供方），还会来自其他提供方，只是其他提供方的素材仍然采用其原本的投放策略，不采用目标提供方的投放策略。基于此，目标投放策略中既包含针对目标提供方的素材所应用的待测试的投放策略，也包含针对其他提供方的素材所应用的投放策略。

需说明，筛选模型不但涵盖了前文介绍的粗排模型、精排模型，还涵盖了对筛选结果的额外调整操作，以起到辅助筛选的作用，可用于测试投放策略中的辅助筛选功能。

关于对筛选结果的额外调整操作，由于粗排模型、精排模型可用于估计素材被发起资源请求的对象交互的可能性，所以额外调整操作可用于调整该可能性。作为示例，对于尚未在当前信息展示平台投放过资源的提供方，其素材往往还没有被推荐展示过，模型预测出的可能性往往较小，可以利用额外调整操作来主动增大预测的可能性，也可以利用额外调整操作，在发起资源请求的对象与该提供方存在关联，例如该对象基于该提供方的同行业素材做出过交互行为时，让该提供方的素材直接通过筛选。此外，模型预测的可能性和素材对应的出价都会影响最终的筛选结果，所以额外调整操作也可以在提供方的出价不合理时进行主动调整，例如在出价过高、存在展示值浪费时，主动调低出价。

可选地，步骤101具体包括：响应于目标对象的资源请求，获取多个备选素材，并确定目标投放策略；其中，目标投放策略还包括定向模块，定向模块用于确定多个备选素材的对象定向条件；根据定向模块，确定多个备选素材的对象定向条件；对照目标对象和多个备选素材的对象定向条件，从多个备选素材中确定出与目标对象相匹配的素材，作为多个候选素材。

应理解，备选素材是测试当前的目标投放策略时，可参与竞争展示机会的全部素材，和候选素材同理，备选素材中也既有目标提供方的素材，又有其他提供方的素材单元。候选素材则是对备选素材进行定向召回后得到的素材，所以受到目标投放策略的定向模块的影响。通过令候选素材基于备选素材和定向模块得到，可实现不同对投放策略中的定向策略的测试。

需说明，提供方在创建备选素材时往往就会配置对象定向条件，定向模块用于确定多个备选素材的对象定向条件，涵盖了对备选素材原有的对象定向条件的额外调整操作，也就是如何改变对象定向条件，以起到辅助定向的作用，可用于测试投放策略中的辅助定向功能，此时定向模块所确定的就是备选素材调整后的对象定向条件。当然，定向模块的额外调整操作也可能是无操作，也就是不改变备选素材的对象定向条件，这取决于投放策略的实际情况。应理解，如前所述，目标投放策略中包含了针对目标提供方的投放策略以及针对其他提供方的投放策略，所以无论是前文介绍的筛选模型，还是这里的定向模块，在针对不同的提供方时往往都相应有所不同。

可选地，如前所述，对照实验的每个组别都有一个对应的待测试投放策略。步骤101中确定目标投放策略的具体操作可包括：响应于目标对象的资源请求，获取至少两个待测试投放策略；其中，每个待测试投放策略均与一个独立的测试对象集合相关联；确定目标对象所属的测试对象集合，作为目标测试对象集合；确定与目标测试对象集合相关联的待测试投放策略，作为目标投放策略。通过为每个待测试投放策略分别配置独立的测试对象集合，可确保每个待测试投放策略运行时能够触达的测试对象是分桶隔离的，解决了不同待测试投放策略相互挤压的问题。此外，作为示例，若待测试投放策略的定向模块对的额外调整操作是增加召回通路（指目标提供方的素材单元仅面向一部分特定对象，也就是仅在接收到这部分特定对象的资源请求时，目标提供方的素材单元才会被资源推荐系统调用，相当于在目标提供方的素材没有明确的或精准的对象定向条件时，为其辅助配置合理的定向条件），则相应待测试投放策略所关联的测试对象集合需按照召回通路配置。

图2是示出根据本公开的示例性实施例的投放策略的测试方法的分组示意图。参照图2，可选地，目标提供方可根据待测试投放策略的数量创建相应数量的单元组（例如图2所示的单元组A、单元组B、……、单元组S），每个单元组对应一个待测试投放策略，也就是对应于对照实验的一个组别。每个单元组中配置有目标提供方的多个素材单元，各个单元组所配置的素材单元的数量没有限制（例如图2所示，单元组A配置有M个素材单元，分别记为素材单元A-1、素材单元A-2、素材单元A-M；单元组B配置有N个素材单元，分别记为素材单元B-1、素材单元B-2、素材单元B-N；单元组S配置有T个素材单元，分别记为素材单元S-1、素材单元S-2、素材单元S-T），每个素材单元包括多个素材。在此基础上，还需要为每个单元组配置其他提供方的素材单元。

图3是示出根据本公开的示例性实施例的测试对象分桶隔离示意图。参照图3，每个待测试投放策略对应的单元组都关联有测试对象集合，对应于图2所示的各个单元组，图3展示了相应的测试对象集合A、测试对象集合B、……、测试对象集合S。其中，各个单元组中的素材单元内容是相同的，即各个单元组共享素材池，单元组是对待测试投放策略和测试对象的分组，而非对素材的分组。

相应地，在步骤101之前，根据本公开的示例性实施例的投放策略的测试方法还包括为每个待测试投放策略配置测试对象集合的步骤，该步骤具体可包括：获取多个测试对象；按照至少两个待测试投放策略数量，将多个测试对象划分为相应数量的测试对象集合，将至少两个待测试投放策略与相应数量的测试对象集合一一对应关联。通过先获取明确的测试对象，再对测试对象进行分组和关联，可提前做好分桶隔离准备。应理解，投放策略的测试可仅在一部分对象中间进行，也就是不会面向资源展示平台上的全部对象，这一部分对象就作为测试对象。测试对象可随机选取，也可选中资源展示平台上的活跃对象，以累积足够多的测试数据，还可在定向模块涉及召回通路时按需选取，测试对象的数量则可根据测试需求确定，本公开对此不作限制。作为示例，可将多个测试对象相对均匀地划分为相应数量的测试对象集合，以保障每个待测试投放策略能够触达的测试对象总量基本相等，减少测试对象数量差异对测试结果的影响，有助于提高测试的可行性和准确性。应理解，理论上最好是对测试对象进行均匀划分，例如参照图3，每个测试对象集合中的测试对象的数量均为n，以测试对象集合A为例，其中包含测试对象A1、测试对象A2、……、测试对象An，其他测试对象集合与之同理，在此不再一一列举。但受测试对象数量和测试对象集合数量的影响，二者可能刚好不是成整倍数的数量关系，所以难以做到绝对均匀，而只能相对均匀。当然，即使是在二者刚好成整倍数的情况下，也可以根据实际情况需要进行微调而实现相对均匀。

返回参照图1，在步骤102，提取目标对象的对象特征，并针对每个候选素材，提取相应候选素材及其关联的候选资源的内容特征；其中，内容特征与对应候选素材的关联程度小于内容特征与对应候选素材所关联的候选资源的关联程度。通过令内容特征主要受对应候选素材所关联的候选资源影响，能够令相同候选资源所关联的不同候选素材具备类似的内容特征，从而改变模型的数据流，使得同样的素材单元在应用相同的投放策略时产生近似的投放效果，为小成本测试投放策略提供可能。

可选地，对象特征可包括性别、年龄、地域、设备型号、喜好中的至少一个，以了解用户的兴趣倾向。内容特征可包括对应候选素材的素材特征以及对应候选素材所关联的候选资源的资源特征，素材特征具体可包括素材形式特征（例如是文字形式或图片形式）、素材文案特征，以充分反映不同的候选素材在表达同样的内容时所采用的不同素材风格；资源特征具体可包括对应候选资源的资源类型特征、主题特征、资源生产者特征、提供方特征中的至少一个，以充分反映候选资源的实质内容。为了增强内容特征与候选资源的关联程度，作为示例，可以在内容特征中减少素材特征的数量，还可以在将素材特征和资源特征组合成内容特征时，降低素材特征的权重，当然也可以采用其他可行的处理方法，本公开对此不作限制。

在步骤103，将对象特征和多个候选素材的内容特征输入筛选模型，得到各个候选素材的预估值。该步骤对应于前文介绍的粗排、精排等筛选阶段，在此不再赘述。应理解，由于输入筛选模型的是对象特征和内容特征，所以得到的预估值与目标对象、对应的候选素材及其关联的候选资源相关，反映了目标对象对相应候选素材感兴趣的可能性，会影响候选素材能否被选中进行展示。

在步骤104，根据多个候选素材的预估值，确定目标投放策略的测试结果。通过分析候选素材的预估值，就能够评估目标投放策略的投放效果，实现投放策略的测试。

图4是示出根据本公开的示例性实施例的确定测试结果的流程图。

参照图4，可选地，步骤104具体包括如下步骤。

在步骤401，根据多个候选素材的预估值，从多个候选素材中确定目标素材。

应理解，目标素材就是被选中要反馈给目标对象进行展示的素材。若目标素材的提供方是目标提供方，则表明目标提供方的素材通过了筛选，被反馈到了目标对象，可认为采用该目标投放策略对目标提供方有利，能够提升投放效果。相反，若目标素材的提供方是目标提供方以外的其他提供方，则表明目标提供方的素材未通过筛选，是负面的测试结果。故可基于目标素材的提供方确定当前测试的目标投放策略的单次测试值，也就是衡量此次测试的结果的值。

在步骤402，根据目标素材的提供方，确定目标投放策略的单次测试值。

作为示例，可以直接在目标素材的提供方是目标提供方时，将此次测试的单次测试值记为1，否则记为0，相当于将目标提供方的素材是否通过筛选而被展示作为衡量此次测试的标准；也可以在目标素材的提供方是目标提供方时，进一步结合其他数据得到单次测试值，例如当筛选出的目标素材激发了目标对象的交互行为（例如点击行为，又如下载注册应用、购买商品等转化行为），就认为达到了投放目的，可以在目标对象基于目标提供方的目标素材做出了指定的交互行为时，将此次测试的单次测试值记为1，在目标素材的提供方不是目标提供方或目标对象基于目标提供方的目标素材并未做出指定的交互行为时，将此次测试的单次测试值记为0。

作为示例，步骤402具体包括：在确定目标素材的提供方为目标投放策略对应的目标提供方的情况下，根据目标对象基于目标素材执行的交互操作，确定目标素材产生的展示值，将展示值确定为目标投放策略的单次测试值。通过将目标素材实际产生的展示值作为单次测试值，数据简洁，并且单次测试值同时与出价、交互行为相关，因而能够反映出价、交互行为这两方面的结果，增加信息量，有助于更可靠地反映投放效果。

对于将目标提供方的目标资源产生的展示值作为单次测试值的实施例，相应地，在正式测试之前，也就是在参照图1的步骤101之前，根据本公开的示例性实施例的投放策略的测试方法还包括：为至少两个待测试投放策略分别配置独占的可用值；其中，可用值用于抵扣相应待测试投放策略的单次测试值，也就是用于抵扣目标提供方的目标资源产生的展示值，至少两个待测试投放策略的初始的可用值之和小于设定值。设定值可为目标提供方的剩余可用值，应理解，目标提供方还需将可用值应用于非测试的素材单元，所以设定值往往不会等于目标提供方配置的全部可用值。通过为各个待测试投放策略分别配置独占的可用值，可保障每个待测试投放策略的可用值不被其他投放策略抢夺，解决了可用值相互挤占、抢夺，可用值条件不均衡的问题。

应理解，以上均为示例，并非对单次测试值的限定。

在步骤403，汇总并比较包括目标投放策略在内的至少两个待测试投放策略的单次测试值，得到至少两个待测试投放策略的测试结果。单次测试值仅能够反映一次的测试结果，存在误差风险。通过在一定时段内反复执行全部待测试投放策略，可以累积大量的测试数据，汇总各个待测试投放策略的单次测试值，可得到各个待测试投放策略的测试值，再比较各个待测试投放策略的测试值，就能够明确哪个待测试投放策略的投放效果最优，从而相对可靠地得到各个待测试投放策略的测试结果，实现投放策略的测试。换言之，汇总单次测试值并得到测试结果的步骤并不需要每次得到预估值或者说每次得到目标素材时都执行，可以配置一定的触发条件，例如每隔设定周期执行一次，又如每当各个待测试投放策略的单次测试值的数量均达到设定数量就执行一次，还可以仅在整个测试结束之前执行一次，本公开对此不作限制。

图5是示出根据本公开的示例性实施例的投放策略的测试装置的框图。应理解，根据本公开的示例性实施例的投放策略的测试装置可以在诸如智能手机、平板电脑、个人电脑（PC）的终端设备中以软件、硬件或软件硬件结合的方式实现，也可以在诸如服务器的设备中实现。

参照图5，投放策略的测试装置500包括确定单元501、提取单元502、筛选单元503、分析单元504。

确定单元501可响应于目标对象的资源请求，确定目标投放策略和多个候选素材；其中，目标投放策略包括筛选模型，每个候选素材均与一个候选资源相关联，每个候选资源均与至少一个候选素材相关联。

可选地，确定单元501还可响应于目标对象的资源请求，获取至少两个待测试投放策略；其中，每个待测试投放策略均与一个独立的测试对象集合相关联；确定目标对象所属的测试对象集合，作为目标测试对象集合；确定与目标测试对象集合相关联的待测试投放策略，作为目标投放策略。

可选地，根据本公开的示例性实施例的投放策略的测试装置500还包括获取单元（图中未示出）和第一准备单元（图中未示出），获取单元可获取多个测试对象；第一准备单元可按照至少两个待测试投放策略数量，将多个测试对象划分为相应数量的测试对象集合，将至少两个待测试投放策略与相应数量的测试对象集合一一对应关联。

可选地，确定单元501还可响应于目标对象的资源请求，获取多个备选素材，并确定目标投放策略；其中，目标投放策略还包括定向模块，定向模块用于确定多个备选素材的对象定向条件；根据定向模块，确定多个备选素材的对象定向条件；对照目标对象和多个备选素材的对象定向条件，从多个备选素材中确定出与目标对象相匹配的素材，作为多个候选素材。

提取单元502可提取目标对象的对象特征，并针对每个候选素材，提取相应候选素材及其关联的候选资源的内容特征；其中，内容特征与对应候选素材的关联程度小于内容特征与对应候选素材所关联的候选资源的关联程度。

筛选单元503可将对象特征和多个候选素材的内容特征输入筛选模型，得到各个候选素材的预估值。

分析单元504可根据多个候选素材的预估值，确定目标投放策略的测试结果。

可选地，分析单元504还可根据多个候选素材的预估值，从多个候选素材中确定目标素材；根据目标素材的提供方，确定目标投放策略的单次测试值；汇总并比较包括目标投放策略在内的至少两个待测试投放策略的单次测试值，得到至少两个待测试投放策略的测试结果。

可选地，分析单元504还可在确定目标素材的提供方为目标投放策略对应的目标提供方的情况下，根据目标对象基于目标素材执行的交互操作，确定目标素材产生的展示值，将展示值确定为目标投放策略的单次测试值。

可选地，根据本公开的示例性实施例的投放策略的测试装置500还包括第二准备单元（图中未示出），可为至少两个待测试投放策略分别配置独占的可用值；其中，可用值用于抵扣相应待测试投放策略的单次测试值，至少两个待测试投放策略的初始的可用值之和小于设定值。

关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图6是根据本公开的示例性实施例的电子设备的框图。

参照图6，电子设备600包括至少一个存储器601和至少一个处理器602，所述至少一个存储器601中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器602执行时，执行根据本公开的示例性实施例的投放策略的测试方法。

作为示例，电子设备600可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备600并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令（或指令集）的装置或电路的集合体。电子设备600还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程（例如，经由无线传输）以接口互联的便携式电子设备。

在电子设备600中，处理器602可包括中央处理器（CPU）、图形处理器（GPU）、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

处理器602可运行存储在存储器601中的指令或代码，其中，存储器601还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。

存储器601可与处理器602集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器601可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器601和处理器602可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器602能够读取存储在存储器中的文件。

此外，电子设备600还可包括视频显示器（诸如，液晶显示器）和用户交互接口（诸如，键盘、鼠标、触摸输入装置等）。电子设备600的所有组件可经由总线和/或网络而彼此连接。

根据本公开的示例性实施例，还可提供一种计算机可读存储介质，当计算机可读存储介质中的指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的示例性实施例的投放策略的测试方法。这里的计算机可读存储介质的示例包括：只读存储器（ROM）、随机存取可编程只读存储器（PROM）、电可擦除可编程只读存储器（EEPROM）、随机存取存储器（RAM）、动态随机存取存储器（DRAM）、静态随机存取存储器（SRAM）、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器（HDD）、固态硬盘（SSD）、卡式存储器（诸如，多媒体卡、安全数字（SD）卡或极速数字（XD）卡）、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。

根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品包括计算机指令，计算机指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的示例性实施例的投放策略的测试方法。

根据本公开的示例性实施例的投放策略的测试方法、装置、电子设备和存储介质，通过提取候选素材的内容特征，并令内容特征主要受对应候选素材所关联的候选资源影响，能够令相同候选资源所关联的不同候选素材具备类似的内容特征，从而改变模型的数据流，使得同样的素材单元在应用相同的投放策略并面向相同的对象时，产生近似的推荐效果，为小成本测试投放策略的提供可能。

此外，通过将各个待测试投放策略分别关联相互独立的测试对象集合，可确保每个待测试投放策略运行时能够触达的测试对象是分桶隔离的，解决了不同待测试投放策略相互挤压的问题。

通过为各个待测试投放策略分别配置独占的可用值，可保障每个待测试投放策略的可用值不被抢夺，解决了可用值相互挤占、抢夺，可用值条件不均衡的问题。

总体来说，相同候选资源的不同候选素材是平等的，各个待测试投放策略能够触达的测试对象是平等的，各个待测试投放策略的可用值条件也是均衡的，使得当各个单元组的单元设置完全相同时，即素材单元的数量及每个素材单元的投放设置（也就是待测试投放策略的）完全相同时，各个单元组的表现（测试值、对象的交互行为等）大致相同，为小成本测试投放策略的提供可能，有助于提高测试的可行性和准确性。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种投放策略的测试方法，其特征在于，所述投放策略的测试方法包括：

响应于目标对象的资源请求，确定目标投放策略和多个候选素材；其中，所述目标投放策略包括筛选模型，每个候选素材均与一个候选资源相关联，每个候选资源均与至少一个候选素材相关联；

提取所述目标对象的对象特征，并针对每个候选素材，提取相应候选素材及其关联的候选资源的内容特征；其中，所述内容特征与对应候选素材的关联程度小于所述内容特征与对应候选素材所关联的候选资源的关联程度；

将所述对象特征和所述多个候选素材的内容特征输入所述筛选模型，得到各个候选素材的预估值；

根据所述多个候选素材的预估值，确定所述目标投放策略的测试结果；

其中，所述根据所述多个候选素材的预估值，确定所述目标投放策略的测试结果，包括：

根据所述多个候选素材的预估值，确定所述目标投放策略的单次测试值；

汇总并比较包括所述目标投放策略在内的至少两个待测试投放策略的单次测试值，得到所述至少两个待测试投放策略的测试结果。

2.如权利要求1所述的投放策略的测试方法，其特征在于，所述响应于目标对象的资源请求，确定目标投放策略，包括：

响应于所述目标对象的资源请求，获取至少两个待测试投放策略；其中，每个待测试投放策略均与一个独立的测试对象集合相关联；

确定所述目标对象所属的测试对象集合，作为目标测试对象集合；

确定与所述目标测试对象集合相关联的待测试投放策略，作为所述目标投放策略。

3.如权利要求2所述的投放策略的测试方法，其特征在于，在所述响应于目标对象的资源请求，确定目标投放策略和多个候选素材之前，所述投放策略的测试方法还包括：

获取多个测试对象；

按照所述至少两个待测试投放策略数量，将所述多个测试对象划分为相应数量的测试对象集合，将所述至少两个待测试投放策略与所述相应数量的测试对象集合一一对应关联。

4.如权利要求1所述的投放策略的测试方法，其特征在于，所述响应于目标对象的资源请求，确定目标投放策略和多个候选素材，包括：

响应于所述目标对象的资源请求，获取多个备选素材，并确定所述目标投放策略；其中，所述目标投放策略还包括定向模块，所述定向模块用于确定所述多个备选素材的对象定向条件；

根据所述定向模块，确定所述多个备选素材的对象定向条件；

对照所述目标对象和所述多个备选素材的对象定向条件，从所述多个备选素材中确定出与所述目标对象相匹配的素材，作为所述多个候选素材。

5.如权利要求1到4中的任一权利要求所述的投放策略的测试方法，其特征在于，所述根据所述多个候选素材的预估值，确定所述目标投放策略的单次测试值，包括：

根据所述多个候选素材的预估值，从所述多个候选素材中确定目标素材；

根据所述目标素材的提供方，确定所述目标投放策略的单次测试值。

6.如权利要求5所述的投放策略的测试方法，其特征在于，所述根据所述目标素材的提供方，确定所述目标投放策略的单次测试值，包括：

在确定所述目标素材的提供方为所述目标投放策略对应的目标提供方的情况下，根据所述目标对象基于所述目标素材执行的交互操作，确定所述目标素材产生的展示值，将所述展示值确定为所述目标投放策略的单次测试值。

7.如权利要求6所述的投放策略的测试方法，其特征在于，在所述响应于目标对象的资源请求，确定目标投放策略和多个候选素材之前，所述投放策略的测试方法还包括：

为所述至少两个待测试投放策略分别配置独占的可用值；其中，所述可用值用于抵扣相应待测试投放策略的单次测试值，所述至少两个待测试投放策略的初始的可用值之和小于设定值。

8.一种投放策略的测试装置，其特征在于，所述投放策略的测试装置包括：

确定单元，被配置为：响应于目标对象的资源请求，确定目标投放策略和多个候选素材；其中，所述目标投放策略包括筛选模型，每个候选素材均与一个候选资源相关联，每个候选资源均与至少一个候选素材相关联；

提取单元，被配置为：提取所述目标对象的对象特征，并针对每个候选素材，提取相应候选素材及其关联的候选资源的内容特征；其中，所述内容特征与对应候选素材的关联程度小于所述内容特征与对应候选素材所关联的候选资源的关联程度；

筛选单元，被配置为：将所述对象特征和所述多个候选素材的内容特征输入所述筛选模型，得到各个候选素材的预估值；

分析单元，被配置为：根据所述多个候选素材的预估值，确定所述目标投放策略的测试结果；

其中，所述分析单元还被配置为：

根据所述多个候选素材的预估值，确定所述目标投放策略的单次测试值；

汇总并比较包括所述目标投放策略在内的至少两个待测试投放策略的单次测试值，得到所述至少两个待测试投放策略的测试结果。

9.如权利要求8所述的投放策略的测试装置，其特征在于，所述确定单元还被配置为：

响应于所述目标对象的资源请求，获取至少两个待测试投放策略；其中，每个待测试投放策略均与一个独立的测试对象集合相关联；

确定所述目标对象所属的测试对象集合，作为目标测试对象集合；

确定与所述目标测试对象集合相关联的待测试投放策略，作为所述目标投放策略。

10.如权利要求9所述的投放策略的测试装置，其特征在于，所述投放策略的测试装置还包括：

获取单元，被配置为：获取多个测试对象；

第一准备单元，被配置为：按照所述至少两个待测试投放策略数量，将所述多个测试对象相对均匀地划分为相应数量的测试对象集合，将所述至少两个待测试投放策略与所述相应数量的测试对象集合一一对应关联。

11.如权利要求8所述的投放策略的测试装置，其特征在于，所述确定单元还被配置为：

响应于所述目标对象的资源请求，获取多个备选素材，并确定所述目标投放策略；其中，所述目标投放策略还包括定向模块，所述定向模块用于确定所述多个备选素材的对象定向条件；

根据所述定向模块，确定所述多个备选素材的对象定向条件；

对照所述目标对象和所述多个备选素材的对象定向条件，从所述多个备选素材中确定出与所述目标对象相匹配的素材，作为所述多个候选素材。

12.如权利要求8到11中的任一权利要求所述的投放策略的测试装置，其特征在于，所述分析单元还被配置为：

根据所述多个候选素材的预估值，从所述多个候选素材中确定目标素材；

根据所述目标素材的提供方，确定所述目标投放策略的单次测试值。

13.如权利要求12所述的投放策略的测试装置，其特征在于，所述分析单元还被配置为：

在确定所述目标素材的提供方为所述目标投放策略对应的目标提供方的情况下，根据所述目标对象基于所述目标素材执行的交互操作，确定所述目标素材产生的展示值，将所述展示值确定为所述目标投放策略的单次测试值。

14.如权利要求13所述的投放策略的测试装置，其特征在于，

所述投放策略的测试装置还包括第二准备单元，被配置为：为所述至少两个待测试投放策略分别配置独占的可用值；其中，所述可用值用于抵扣相应待测试投放策略的单次测试值，所述至少两个待测试投放策略的初始的可用值之和小于设定值。

15.一种电子设备，其特征在于，包括：

至少一个处理器；

至少一个存储计算机可执行指令的存储器，

其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到7中的任一权利要求所述的投放策略的测试方法。

16.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到7中的任一权利要求所述的投放策略的测试方法。

Images