CN116049530A

CN116049530A - 推广信息的召回方法、装置、计算机设备和存储介质

Info

Publication number: CN116049530A
Application number: CN202111261421.6A
Authority: CN
Inventors: 李少波
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2021-10-28
Filing date: 2021-10-28
Publication date: 2023-05-02

Abstract

本申请涉及一种推广信息的召回方法、装置、计算机设备和存储介质。所述方法包括：获取通过至少两个召回支路分别响应于目标请求所输出的候选推广信息；基于每个候选推广信息当前的质量分确定召回推广信息的期望总量；对于每个候选推广信息，分别基于候选推广信息当前的消耗数据以及曾被相应的召回支路召回时的历史质量分，确定候选推广信息在相应的召回支路对应的质量分阈值；按候选推广信息当前的质量分与质量分阈值，在相应的召回支路中筛选出目标推广信息；当从至少两个召回支路筛选出的目标推广信息的总量符合期望总量时，响应于目标请求，将筛选出的目标推广信息作为召回结果。采用本方法能够提升推广信息召回效果。

Description

推广信息的召回方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种推广信息的召回方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术与互联网技术的飞速发展，推广信息随处可见。从推广信息所推广对象的角度，如何为该推广信息提供合适的用户以实现推广目的，从推广平台的角度，如何提高推广信息的曝光价值，从用户的角度，如何为其推送合适的推广信息以提升用户体验，是信息推广需要综合考虑的问题。

信息推广大致分为两个环节：召回与排序。召回是指从海量的推广信息集合中，筛选用户可能感兴趣的推广信息的候选集，排序是指进一步将该候选集按照与用户的匹配度进行排序，将最合适的候选推送至用户。

可见，召回的目的在于减少参与排序的候选的数量，方便后续的精准排序。目前，对于召回，通常采用的方式是从多个维度出发在海量的推广信息集合中，把相关度高的候选尽可能找出来。但是，这种方式由于召回信息结果的数量过多，在对召回结果进行排序之前，需要按照一定数量进行随机截断，使得部分优质推广信息在截断之后被舍弃，而部分质量较低的推广信息却被保留，导致推广信息召回的效果较差。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升推广信息召回效果的推广信息的召回方法、装置、计算机设备和存储介质。

一种推广信息的召回方法，所述方法包括：

获取通过至少两个召回支路分别响应于目标请求所输出的候选推广信息；

基于每个所述候选推广信息的质量分，确定召回推广信息的期望总量；

确定每个候选推广信息在所述相应的召回支路对应的质量分阈值，所述质量分阈值根据所述候选推广信息的消耗数据进行动态调整；

按所述候选推广信息的质量分与所述候选推广信息在相应的召回支路对应的质量分阈值，在所述相应的召回支路中筛选出目标推广信息；

当从所述至少两个召回支路筛选出的目标推广信息的总量符合所述期望总量时，将所述筛选出的目标推广信息作为响应于所述目标请求的召回信息。

一种推广信息的召回装置，所述装置包括：

候选推广信息获取模块，用于获取通过至少两个召回支路分别响应于目标请求所输出的候选推广信息；

召回总量确定模块，用于基于每个所述候选推广信息当前的质量分，确定召回推广信息的期望总量；

质量分阈值确定模块，用于对于每个所述候选推广信息，分别基于所述候选推广信息当前的消耗数据以及曾被相应的召回支路召回时的历史质量分，确定所述候选推广信息在所述相应的召回支路对应的质量分阈值；

目标推广信息筛选模块，用于按所述候选推广信息当前的质量分与所述候选推广信息在相应的召回支路对应的质量分阈值，在所述相应的召回支路中筛选出目标推广信息；

召回响应模块，用于当从所述至少两个召回支路筛选出的目标推广信息的总量符合所述期望总量时，将所述筛选出的目标推广信息作为响应于所述目标请求的召回结果。

在一个实施例中，所述候选推广信息获取模块，还用于提取所述目标请求中携带的用户标识；获取与所述用户标识对应的用户历史行为数据；通过预训练的神经网络模型，从推广信息集合中确定与所述用户历史行为数据匹配的推广信息，作为所述基于神经网络的召回支路输出的候选推广信息。

在一个实施例中，所述候选推广信息获取模块，还用于提取所述目标请求中携带的用户标识；获取所述用户标识对应的用户标签数据；根据预设的匹配策略，将所述用户标签数据与推广信息标签数据进行匹配；按照匹配结果，从推广信息集合中获得所述基于匹配策略的召回支路输出的候选推广信息。

在一个实施例中，召回总量确定模块，还用于对于每个所述候选推广信息，确定当前的质量分；获取各所述召回支路的历史召回推广信息所对应的历史质量分均值；获取排序阶段对于推广信息的需求总量；根据每个所述候选推广信息当前的质量分、所述历史质量分均值、所述需求总量以及预设的余量控制比例，确定从候选推广信息中召回推广信息的期望总量所在的区间范围。

在一个实施例中，所述装置还包括：质量分计算模块，用于对所述候选推广信息进行点击率预测，获得当前的预估点击率；对所述候选推广信息进行转化率预测，获得当前的预估转化率；获取所述候选推广信息对应的目标出价；根据所述候选推广信息对应的目标出价、所述当前的预估点击率以及所述当前的预估转化率，计算所述候选推广信息当前的质量分。

在一个实施例中，所述装置还包括：质量分阈值索引表计算模块，用于对于每个候选推广信息，获取曾被相应的召回支路召回时的历史质量分；将所述历史质量分排序后划分为预设等份；其中，每等份对应一个分位点；将每等份中历史质量分的最大值，作为每个分位点对应的分位点质量分；根据每个分位点以及对应的分位点质量分，获得所述候选推广信息在相应的召回支路对应的质量分阈值索引表。

在一个实施例中，所述质量分阈值确定模块，还用于获取所述候选推广信息当前的消耗数据，所述消耗数据包括所述候选推广信息当天的总消耗、所述候选推广信息当天在所述相应的召回支路产生的消耗、所述候选推广信息当天的总效应偏离度、所述候选推广信息当天在所述相应的召回支路的效应偏离度；获取前次更新的所述推广信息的质量分阈值对应的分位点；根据所述候选推广信息当前的消耗数据，对所述前次更新的所述推广信息的质量分阈值对应的分位点进行调整，将所述相应的召回支路对应的质量分阈值索引表中，调整后的分位点对应的分位点质量分，作为所述候选推广信息当次更新的在所述相应的召回支路对应的质量分阈值；其中，所述推广信息在所述相应的召回支路对应的初始质量分阈值，是所述质量分阈值索引表中预设的目标分位点对应的分位点质量分。

在一个实施例中，所述质量分阈值确定模块，还用于确定用于对所述分位点进行调整的调节系数与调节步长；根据所述候选推广信息当前的消耗数据，确定调节系数当前的取值；当所述调节系数取非零值时，以所述调节步长增大或减小所述前次更新的所述推广信息的质量分阈值对应的分位点；当所述调节系数取零时，将所述前次更新的所述推广信息的质量分阈值作为所述候选推广信息当次的质量分阈值。

在一个实例中，所述装置还包括召回总量控制模块，用于当从所述至少两个召回支路筛选出的目标推广信息的总量不符合所述期望总量时，迭代地执行调整每个候选推广信息在相应的召回支路对应的质量分阈值后，按所述候选推广信息当前的质量分与所述候选推广信息在相应的召回支路调整后的质量分阈值，从所述相应的召回支路中筛选出目标推广信息的步骤，直至从所述至少两个召回支路筛选出的目标推广信息的总量符合所述期望总量时，停止迭代。

在一个实例中，所述召回总量控制模块，还用于对于每个候选推广信息，确定前次调整后获得的质量分阈值对应的分位点；对所述质量分阈值对应的分位点进行调整，获得当次的分位点；查询所述候选推广信息在相应的召回支路对应的质量分阈值索引表，将所述当次的分位点所对应的分位点质量分，作为所述候选推广信息在相应的召回支路中当次的质量分阈值；对于每个召回支路，按目标比例从输出的候选推广信息中随机筛选；对于每个召回支路随机筛选出的候选推广信息，保留质量分大于所述当次的质量分阈值的候选推广信息，获得从相应的召回支路中筛选出的目标推广信息。

在一个实例中，所述装置还包括：排序模块和推送模块，所述排序模块用于对所述召回结果中的目标推广信息执行排序操作；基于排序结果从所述目标推广信息中确定待推送信息；所述推送模块，用于向触发所述目标请求的终端发送携带所述待推送信息的目标响应。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

基于每个所述候选推广信息当前的质量分，确定召回推广信息的期望总量；

对于每个所述候选推广信息，分别基于所述候选推广信息当前的消耗数据以及曾被相应的召回支路召回时的历史质量分，确定所述候选推广信息在所述相应的召回支路对应的质量分阈值；

按所述候选推广信息当前的质量分与所述候选推广信息在相应的召回支路对应的质量分阈值，在所述相应的召回支路中筛选出目标推广信息；

当从所述至少两个召回支路筛选出的目标推广信息的总量符合所述期望总量时，将所述筛选出的目标推广信息作为响应于所述目标请求的召回结果。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

一种计算机程序，所述计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中，计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行上述推广信息的召回方法的步骤。

一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述推广信息的召回方法的步骤。

上述推广信息的召回方法、装置、计算机设备和存储介质，在面对多个召回支路输出的候选推广信息时，一方面，从单个推广信息的角度出发，利用每个候选推广信息当前的质量分控制召回推广信息的期望总量，能够在各个召回支路输出的候选推广信息总体质量水平较优时，给优质推广信息更多的曝光机会；另一方面，为每个候选推广信息在相应的召回支路上确定相应的质量分阈值，按照候选推广信息的质量分与该质量分阈值的关系，决定该候选推广信息的保留与否，由于每个候选推广信息对应的质量分阈值是依据该候选推广信息当前的消耗数据与历史质量分进行动态调节的，能够在有效控制最终召回的推广信息的总量的同时，又能够给召回支路中更多优质推广信息更多曝光机会；继而，当从多个召回支路筛选出的目标推广信息的总量符合上述期望总量时，将筛选出的目标推广信息作为召回阶段的召回结果。不仅能够灵活调节各个召回支路中筛选出的推广信息的数量，还能达到尽量让优质推广信息被召回的目的，提升推广信息召回效果。

附图说明

图1为一个实施例中推广信息的召回方法的应用环境图；

图2为相关技术中融合多个召回支路输出的候选推广信息的示意图；

图3为相关技术中的整体召回流程示意图；

图4为一个实施例中推广信息的召回方法的流程示意图；

图5为一个实施例中基于每个候选推广信息的质量分确定召回推广信息的期望总量的流程示意图；

图6为一个实施例中推广信息的召回方法的示意图；

图7为一个实施例中确定候选推广信息在相应的召回支路对应的质量分阈值的流程示意图；

图8为一个实施例中根据候选推广信息当前的消耗数据对推广信息的质量分阈值对应的分位点进行调整的流程示意图；

图9为一个实施例中推广信息的召回方法的框架示意图；

图10为一个具体的实施例中推广信息的召回方法的流程示意图；

图11为一个实施例中推广信息的召回装置的结构框图；

图12为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的推广信息的召回方法，可以涉及人工智能技术。例如，利用人工智能技术建立基于神经网络模型的召回支路，还可以利用人工智能技术建立基于匹配策略的召回支路。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。

本申请实施例提供的推广信息的召回方法，还可以涉及云技术。例如，实施例所涉及的数据处理、数据计算可以基于云计算实现。云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。

在对本申请实施例进行详细说明之前，出于描述本申请实施例的目的，而非限制本申请的目的，下面对本申请实施例所涉及的名词和术语进行说明。

原始定向：推广信息所属的推广方自主为其推广信息设定的定向条件或定向条件的组合。例如，推广信息的投放人群的年龄：小于55岁。

不可突破定向：不可忽略定向，是推广信息所属的推广方自主设定的无论如何必须满足的定向条件。

智能定向：又称智能召回，旨在解决传统定向(人口学属性、设备属性、地理位置、行为兴趣等)依赖大量人工先验知识、手动调优难、试错成本高的问题，可以帮助推广信息所属的推广方自动定向到最合适的人群，提升推广信息的投放效率。

ANN：Artificial Neural Network，人工神经网络，是指由大量的处理单元互相连接而形成的复杂网络结构，是对人脑组织结构和运行机制的某种抽象、简化和模拟。

ANN召回支路：一种基于神经网络模型的推广信息的召回方式，其通过建立神经网络模型的方式，从海量推广信息中输出与某次用户请求匹配的一批候选推广信息。

TAG召回支路：一种基于匹配策略的推广信息的召回方式，其通过配置标签和挖掘标签的方式，给推广信息和用户打上标签，从而通过标签信息的匹配，输出与某次用户请求相匹配的一批候选推广信息。

集中度问题：又称头部问题，主要体现在，对于不同用户，都倾向于召回同一批少量的推广信息集合，导致其它推广信息没有曝光机会。

本申请提供的推广信息的召回方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102可以基于用户的曝光行为向服务器104发起目前请求，服务器104在接收到该目标请求后，获取通过至少两个召回支路分别响应于目标请求所输出的候选推广信息；基于每个候选推广信息当前的质量分，确定召回推广信息的期望总量；对于每个候选推广信息，分别基于候选推广信息当前的消耗数据以及曾被相应的召回支路召回时的历史质量分，确定候选推广信息在相应的召回支路对应的质量分阈值；按候选推广信息当前的质量分与候选推广信息在相应的召回支路对应的质量分阈值，在相应的召回支路中筛选出目标推广信息；当从至少两个召回支路筛选出的目标推广信息的总量符合期望总量时，将筛选出的目标推广信息作为响应于目标请求的召回结果。

可选地，该召回信息作为召回阶段的召回结果，服务器104可以进一步对召回结果中的目标推广信息执行排序操作；基于排序结果从目标推广信息中确定待推送信息；向触发目标请求的终端发送携带待推送信息的目标响应。终端102在接收到该目标响应后，提取其中的推广信息并在用户交互界面中展示该推广信息。

其中，终端102可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能电视等，但并不局限于此。服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

相关技术中，在面对多个召回支路输出的候选推广信息时，通常采用的方式是直接融合该多个召回支路输出的候选推广信息后，由于融合数量过多，就根据需要召回的推广信息的目标数量，对融合结果进行随机截断，作为召回阶段的召回结果。

如图2所示，为相关技术中融合多个召回支路输出的候选推广信息的示意图。参照图2，P1是ANN召回支路输出的召回结果，P2是TAG召回支路输出的召回结果，A和B是推广信息所属的推广方设置的原始定向条件。通过图2所示的方式汇总，相当于将P1和P2的结果取并集，然后与原始定向A、B取交集。

如图3所示，为相关技术中的整体召回流程示意图。参照图3，对于召回支路A、召回支路B、召回支路C、召回支路D分别输出的候选推广信息，直接融合后，得到一个总的候选推广信息集合，其总量为num，再按截断比例cut_rate对该候选推广信息集合进行随机截断，得到召回阶段输出的召回结果，其总量为num_cut。

图2与图3所示的融合方式，初步来看考虑的比较全面，从各个角度召回了候选推广信息，且对候选推广信息做了并集融合，不会有损耗。但是这个过程存在着比较明显的问题，就是召回候选推广信息的数量过多，这样一来，在进入排序阶段之前，需要对召回的候选推广信息按照一定数量截断。例如，总共召回4000个广告，只需要2000个广告进入到下一轮的排序，这样就需要从4000个广告中随机截取2000个广告，这个截取过程是没有排序依据的，就会导致部分质量较优的广告在截取之后被舍弃，部分质量较低的广告在截取之后被保留，导致广告召回的效果较差。

本申请实施例提供的推广信息的召回方法，在面对多个召回支路输出的候选推广信息时，提出一种全新的召回结果融合策略，有选择的采纳各个召回支路的召回结果，保留优质的推广信息，剔除劣质的推广信息。在召回阶段控制召回推广信息的期望总量，让更加优质的推广信息被召回，一些相对不那么优质的推广信息在召回阶段就被淘汰，有的放矢的让更多的优质推广信息进入召回结果。这样，在后续截断的时候，优质推广信息被剔除、劣质推广信息却保留的概率就会较低，从而能更好的保证推广信息召回的效果，进而提升整体推广信息推荐系统的效果。

一方面，从单个推广信息的角度出发，利用每个候选推广信息当前的质量分控制召回推广信息的期望总量，能够在各个召回支路输出的候选推广信息总体质量水平较优时，给优质推广信息更多的曝光机会；另一方面，为每个候选推广信息在相应的召回支路上确定相应的质量分阈值，按照候选推广信息的质量分与该质量分阈值的关系，决定该候选推广信息的保留与否，由于每个候选推广信息对应的质量分阈值是依据该候选推广信息当前的消耗数据与历史质量分进行动态调节的，能够在有效控制最终召回的推广信息的总量的同时，又能够给召回支路中更多优质推广信息更多曝光机会；继而，当从多个召回支路筛选出的目标推广信息的总量符合上述期望总量时，将筛选出的目标推广信息作为召回阶段的召回结果。不仅能够灵活调节各个召回支路中筛选出的推广信息的数量，还能达到尽量让优质推广信息被召回的目的，提升推广信息召回效果

在一个实施例中，如图4所示，提供了一种推广信息的召回方法，以该方法应用于图1中的计算机设备(终端102或服务器104)为例进行说明，包括以下步骤：

步骤402，获取通过至少两个召回支路分别响应于目标请求所输出的候选推广信息。

其中，推广信息是推广对象的在线传播媒介，例如推广信息可以是广告内容。推广信息可以是文字、图片、关键词或视频及其组合，等等。计算机设备可采用文字描绘、图片展示或视频呈现等形式来向用户展示所要推广的对象。推广对象，比如可以是广告主提供的应用程序、广告主提供的商品或广告主提供的服务等等。

候选推广信息，是与某次的目标请求匹配的推广信息的集合。基于不同的用户标识触发的目标请求，以及，基于相同的用户标识在不同时刻触发的目标请求，所输出的候选推广信息可以存在差异。

召回支路，是用于从海量的推广信息中召回候选推广信息的模型。不同的召回支路采用的建模方式不同。召回支路通常可分为两大类：ANN召回支路与TAG召回支路。ANN召回支路是基于神经网络的召回模型，其通过建立神经网络模型的方式，从海量推广信息中输出与某次目标请求匹配的一批候选推广信息。TAG召回支路是基于匹配策略的召回模型，其通过配置定向标签和挖掘标签的方式，给推广信息和用户打上标签，从而通过标签信息的匹配，输出与某次目标请求相匹配的一批候选推广信息。

在一个实施例中，终端可在检测到用户的曝光行为后，触发携带该用户的用户标识的目标请求，将该目标请求发送至服务器，服务器可在接收到该目标请求后，通过不同的至少两个召回支路分别获取与该用户标识对应的候选推广信息。可选地，除了用户标识外，终端还可以根据用户当前所处的位置对应的位置信息、用户曝光行为所在的用户交互界面等数据，共同生成相应的目标请求。

用户的曝光行为比如可以是用户登录用于下载应用程序(App)的行为，或者是打开该App的行为；用户的曝光行为还可以是用户浏览社交应用程序的社交圈的行为；还可以是打开门户网站的网页页面的行为、在搜索引擎中输入搜索关键字的行为等等。

用户标识，是用于唯一标识用户的字符。比如可以是用户手机号码、或者用户账号等等。在一个实施例中，用户标识还可以是与任一终端对应的终端标识。比如，对于移动终端而言，用户标识可以是移动终端的IMEI(International Mobile Equipment Identity，国际移动设备识别码)。

在一个实施例中，至少两个召回支路，可以包括一个ANN召回支路与多个TAG召回支路。其中，多个TAG召回支路分别与不同的匹配策略对应。例如，TAG召回支路1，基于行为兴趣的匹配策略实现，计算机设备通过该TAG召回支路1，基于用户的行为来识别其意向和需求，用户的行为包括但不限于用户浏览的网页内容、点击过的广告、安装过的APP所属类别等，并确定用户感兴趣的内容，输出与用户兴趣匹配的候选推广信息。TAG召回支路2，基于App行为的匹配策略实现，计算机设备通过该TAG召回支路2，根据用户已安装的App，基于已安装App的分类以及用户在已安装App上产生的行为，输出相应的候选推广信息。TAG召回支路3，基于自定义人群的匹配策略，通过将用户进行分类，如常用的人群包种类包括：电商人群包、学生人群包、美容人群包等等，广告主可以选某种人群进行定向投放，计算机设备通过该TAG召回支路3，找出与当前用户所属的人群包匹配的候选推广信息并输出。

在一个实施例中，至少两个召回支路包括基于神经网络的召回支路，上述方法还包括：提取目标请求中携带的用户标识；获取与用户标识对应的用户历史行为数据；通过预训练的神经网络模型，从推广信息集合中确定与用户历史行为数据匹配的推广信息，作为基于神经网络的召回支路输出的候选推广信息。

其中，预训练的神经网络模型，可以是多维度的端到端的模型，该模型具备将用户表征为用户特征向量、将推广信息表征为推广信息特征向量的能力。计算机设备可以通过该预训练的神经网络模型，根据输入的用户历史行为数据，获得用户特征向量(userembedding)。计算机设备可以获取事先通过该预训练的神经网络模型输出的推广信息集合中每个推广信息对应的推广信息特征向量(ad embedding)，然后计算user embedding和每个ad embedding之间的距离，根据相似度阈值进行筛选后输出候选推广信息。

在使用训练好的该模型进行线上预测时，相似度阈值可以根据反馈的推广信息的各种推广效果评估数据进行调节，从而控制推广信息投放至用户。该相似度阈值可以实时调整，例如可以依据推广信息的消耗以及成本达成情况来及时反馈调节该相似度阈值，来控制推广信息对定向人群的投放与否。

在该模型的训练阶段，模型训练的预定义目标可以是CTR(Click-Through-Rate，点击通过率)、CVR(Conversion Rate，转化率)、CTCVR(从曝光到点击且转化的概率)，等等。在模型训练过程中，指导模型学习预测每个样本的上述指标，从而使模型学习到提取推广信息与用户的特征向量的能力。该神经网络模型可以是基于双塔结构(DSSM，DeepStructured Semantic Models)的神经网络模型，也叫深度语义匹配模型，DSSM模型分别使用相对独立的两个复杂网络构建用户相关的user embedding和推广信息相关的adembedding，所以称为双塔模型。此外，在模型训练过程中，为了缓解召回推广信息的集中度问题，计算机设备在用户相关的一路网络中，除了使用用户信息之外，还可以引入上下文信息，使用context-aware user embedding代替user embedding，引入更多更丰富的用户特征和推广信息特征，优化模型。

在一个实施例中，至少两个召回支路包括基于匹配策略的召回支路，上述方法还包括：提取目标请求中携带的用户标识；获取用户标识对应的用户标签数据；根据预设的匹配策略，将用户标签数据与推广信息标签数据进行匹配；按照匹配结果，从推广信息集合中获得基于匹配策略的召回支路输出的候选推广信息。

其中，基于匹配策略的召回支路的本质是在模拟推广信息所属的推广方选择定向标签，每个推广信息具有推广信息画像，每个用户拥有用户画像，基于匹配策略的召回支路通过在两者之间制定匹配策略，为每个用户匹配到与之合适的推广信息。

基于匹配策略的召回支路的数量可以有多个，每个基于匹配策略的召回支路所采用的匹配策略不同，每种不同的匹配策略都对应着一个召回支路，这样，从不同的角度制定匹配策略，可以尽可能增加召回推广信息的丰富程度。

对于每个基于匹配策略的召回支路，计算机均需要获取目标请求中的用户标识所对应的与该匹配策略相应的用户标签数据，如表征用户行为兴趣的数据、表征用户的App行为的数据或表征用户所属的人群包的数据。计算机设备按照该召回支路所对应的匹配策略，将获取的用户标签数据与推广信息标签数据进行匹配，按匹配结果筛选出候选推广信息。例如，获取的用户行为兴趣表征用户非常喜欢游戏，某个推广信息是用于宣传游戏产品的，那么，匹配结果将会指示该用户与该推广信息的匹配度较高，该推广信息将会作为该召回支路输出的候选推广信息。可以理解，基于匹配策略的召回支路可以解决推广信息召回的集中度问题和新推广信息的冷启动问题。

步骤404，基于每个候选推广信息当前的质量分，确定召回推广信息的期望总量。

其中，质量分用于量化推广信息的质量，可以理解，每个推广信息的质量分基于其被投放至用户后的推广效果来确定，由于投放是持续的一个过程，所以每个推广信息的质量分是不断变化的，计算机设备可以在每次获取到目标请求后，对于上述的至少两个召回支路输出的每个候选推广信息，分别重新确定当前的质量分。

期望总量(target_num)是通过本申请实施例提供的广告召回方法，融合各召回支路的候选推广信息后召回推广信息的总量的期望值，期望总量是灵活调节的结果，适当地控制各个支路融合后的总量在某个水平附近，不能太多也不能太少，既能够避免融合后召回的推广信息过多，导致在排序阶段阶段时需要直接截断的推广信息过多使优质推广信息被误伤，又能够避免召回推广信息的多样性不够的问题。

具体地，计算机设备基于各个召回支路输出的候选推广信息当前的质量分，确定召回推广信息的期望总量，是为了利用每个推广信息本身的质量分控制召回推广信息的总量。每个候选推广信息当前的质量分能够反映各个召回支路输出的候选推广信息的整体质量，如果当前各个支路中的候选推广信息的质量都很好，就会相应的多召回一些，也就是期望总量大一些，能够尽量让一些优质推广信息得到召回，可以增加以及均衡各个优质推广信息的曝光机会，而如果当前各个支路中的候选推广信息的质量都一般，就会相应的少召回一些，也就是期望总量少一些。

需要说明的是，相比于——将召回支路输出的候选推广信息看成是一个相似的群体，将同一个召回支路输出候选推广信息的质量均值作为该召回支路的质量分，从质量分高的召回支路中召回更多的推广信息——这种从召回支路的角度出发的方式而言，本申请实施例中，是从单个推广信息的角度出发，灵活调节每个召回支路中召回的推广信息的数量，达到尽量让优质推广信息被筛选出的目的，能够利用推广信息本身的特点来对召回推广信息的总量进行调控。避免了上述方式存在的两个问题：1)同一个召回支路中的推广信息相似性假设过于严苛的问题，因为同一个召回支路中的推广信息之间的差异性是明显存在的；2)推广信息本身的特性得不到有效利用的问题，因为利用召回支路的质量分控制召回推广信息的数量，不能有效体现各个推广信息的特点。

为了实现根据单个推广信息的历史表现，来控制该推广信息从某个召回支路中胜出的概率，从而灵活调节各个召回支路胜出的推广信息的数量，来达到尽量让优质推广信息胜出的目的，需要思考如何从各个召回支路输出的候选推广信息中确定出本次推召回广信息的期望总量。

可选地，从各个召回支路召回的推广信息的期望总量，与后续过程需要的推广信息的数量相关，并且是成正相关的，因此，后续过程需要的推广信息越多，从各个召回支持召回的推广信息的期望总量就越高。可选地，从各个召回支路召回的推广信息的期望总量，与召回推广信息的余量比例相关，保持一定的余量比例，可以保留推广信息召回的多样性，提升召回效果，该余量比例可以控制在一定范围内，从而使得期望总量控制在一定范围内。可选地，从各个召回支路召回的推广信息的期望总量，与各个召回支路输出的候选推广信息的整体质量水平相关，如果当前各个召回支路中候选推广信息的质量都很好，就会相应的多召回一些，能够尽量让一些优质推广信息得到召回。

在一个实施例中，计算机设备可以根据后续排序阶段所需要的推广信息的数量、各个召回支路输出的每个候选推广信息当前的质量分，以及各个召回支路中的候选推广信息对应的历史质量分等多种因素来调控在召回阶段输出的召回信息的期望总量。

如图5所示，为一个实施例中基于每个候选推广信息的质量分，确定召回推广信息的期望总量的步骤的流程示意图。参照图5，包括：

步骤502，对于每个候选推广信息，确定当前的质量分；

步骤504，获取各召回支路的历史召回推广信息所对应的历史质量分均值；

步骤506，获取排序阶段对于推广信息的需求总量；

步骤508，根据每个候选推广信息当前的质量分、历史质量分均值、需求总量以及预设的余量控制比例，确定从候选推广信息中召回推广信息的期望总量所在的区间范围。

其中，各召回支路的历史召回推广信息所对应的历史质量分均值，可以是各召回支路在当天已召回推广信息被召回时的质量分的均值。在一个实施例中，计算机设备可以获取各个召回支路当天每次响应于不同的目标请求时所召回的推广信息，并记录推广信息被召回时的质量分，计算召回的这些推广信息的质量分均值，作为历史质量分均值。

在一个实施例中，从各个召回支路召回的推广信息的期望总量，可以通过如下公式计算得到：

其中，num表示至少两个召回支路中各个召回支路召回推广信息的期限总量。num_cut表示需求总量，例如后续排序阶段的需求总量。M表示各个召回支路响应于目标请求输出的候选推广信息的总量。quality_j表示M个候选推广信息中第j个候选推广信息当前的质量分。history_average_quality表示各个召回支路的历史召回推广信息所对应的历史质量分均值。per表示预设的余量控制比例，例如可以取值为10％至30％，在其它参数确定后，根据per的最小取值与最大取值，就能计算得到从候选推广信息中召回推广信息的期望总量所在的区间范围，若最终从各召回支路中召回的目标推广信息的数量落在这个区间范围内，都是合理可取的。

举例说明，一共有4个召回支路，分别为ANN召回支路、TAG召回支路1、TAG召回支路2以及TAG召回支路3，分别输出的候选推广信息的数量为N1、N2、N3和N4，之和为M，计算机设备计算该M推广信息当前的质量分的均值。此外，在当天截止接收到目标请求时，ANN召回支路召回的推广信息的质量分依次为ann_q1、ann_q2、ann_q3…，TAG召回支路1召回的推广信息的质量分依次为tag1_q1、tag1_q2、tag1_q3…，TAG召回支路2召回的推广信息的质量分依次为tag2_q1、tag2_q2、tag2_q3…，TAG召回支路3召回的推广信息的质量分依次为tag3_q1、tag3_q2、tag3_q3…，计算机设备计算这些历史召回推广信息的历史质量分均值，作为历史召回的推广信息的质量水平的参考。

在上述公式中，计算机设备将M推广信息当前的质量分的均值与历史质量分均值之比，作为用来衡量本次各召回支路输出的候选推广信息的整体质量水平，该比值越大，反映本次输出的这一批候选推广信息相对于历史召回而言，质量更为突出，这种情况下，对于这一批候选推广信息，可以适当增加召回的期望总量，让更多优质推广信息有更多曝光机会；反之，该比值越小，反映本次输出的这一批候选推广信息相对于历史召回而言，质量较为一般，这种情况下，就需要适当减少召回的期望总量。

为了实现根据单个推广信息的历史表现，来控制该推广信息从某个召回支路中胜出的概率，从而灵活调节各个召回支路胜出的推广信息的数量，来达到尽量让优质推广信息胜出的目的，还需要思考如何确定从各个召回支路输出的候选推广信息当前的质量分。

在一个实施例中，上述方法还包括：对候选推广信息进行点击率预测，获得当前的预估点击率；对候选推广信息进行转化率预测，获得当前的预估转化率；获取候选推广信息对应的目标出价；根据候选推广信息对应的目标出价、当前的预估点击率以及当前的预估转化率，计算候选推广信息当前的质量分。

其中，点击率预测是对推广信息曝光至用户能否被用户点击的情况进行预测，预测的预估点击率(pctr，predicted click through rate)表示该推广信息被用户点击的概率，可以理解，预估点击率越大，一定程序上能反应该推广信息与用户之间的匹配度越大，故而可以作为影响推广信息当前的质量分的因素之一。

转化率预测，是对推广信息曝光至用户能否被用户点击并产生转化行为的情况进行预测。关于点击率与转化率的关系，可以理解为：推广信息曝光给用户后，用户看到或是点击该推广信息的概率，则为点击率，用户看到推广信息之后，基于推广信息产生相应的转化行为所统计的概率，则为转化率。例如，关于App的推广信息推送至用户后，用户点击该App推广信息的概率为点击率，用户点击后下载该App以及在该App内发生的激活、注册、付费等行为的发生概率，则为转化率。可以理解，虽然一个候选推广信息的点击率很低，但是一旦被用户点击之后，用户购买(即产生转化行为)的概率可能会非常高。

在一个实施例中，候选推广信息当前的质量分可以通过如下公式计算得到：

quality＝target_cpa*pctr*pcvr；

其中，quality表示候选推广信息当前的质量分，target_cpa表示广告主对自己的候选推广信息的目标出价，例如可以是每千次点击所需花费的费用，pctr表示候选推广信息当前的预估点击率，pcvr表示候选推广信息当前的预估转化率。

在一个实施例中，计算机设备可以使用预训练的点击率预估模型，根据发起目标请求的用户对应的用户画像数据、推广信息对应的推广信息画像数据以及发起该目前请求时的上下文信息，预测将推广信息曝光至用户被用户点击的概率，得到推广信息当前的预估点击率。按照这样的方式，对于各个召回支路输出的每个候选信息，计算机设备均对其进行点击率预测，获得对应的预估点击率。

该预训练的点击率预估模型，可以是机器学习模型，计算机设备使用预处理的业务特征数据、在预定义的点击率目标下对初始权重参数的机器学习模型进行模型训练，获得预训练的机器学习模型。机器学习模型可以基于前馈神经网络、卷积神经网络或递归神经网络实现。

类似地，计算机设备可以使用预训练的转化率预估模型，根据发起目标请求的用户对应的用户画像数据、推广信息对应的推广信息画像数据以及发起该目前请求时的上下文信息，预测将推广信息曝光至用户被用户点击后产生转化行为的概率，得到推广信息当前的预估转化率。

步骤406，对于每个候选推广信息，分别基于候选推广信息当前的消耗数据以及曾被相应的召回支路召回时的历史质量分，确定候选推广信息在相应的召回支路对应的质量分阈值。

步骤408，按候选推广信息当前的质量分与候选推广信息在相应的召回支路对应的质量分阈值，在相应的召回支路中筛选出目标推广信息。

为了实现根据单个推广信息的历史表现，来控制该推广信息从某个召回支路中胜出的概率，从而灵活调节各个召回支路胜出的推广信息的数量，来达到尽量让优质推广信息胜出的目的，还需要思考如何控制某个候选推广信息在某个召回支路中胜出与否。

本申请实施例中，对于某个召回支路输出的某个候选推广信息，针对该候选推广信息，在该召回支路上设置一个质量分阈值，如果该候选推广信息当前的质量分大于该候选推广信息在这个召回支路上的质量分阈值，则保留此推广信息进入到最终的召回队列，也就是该候选推广信息从该召回支路中胜出；否则滤除此候选推广信息，这样，可以从每个召回支路中滤除相比别人好，但相比自己的历史表现不好的推广信息，给更多推广信息更多的曝光机会。

其中，每个候选推广信息在相应的召回支路上的质量分阈值根据候选推广信息当前的消耗数据以及历史质量分共同进行调节，从而来控制最终召回的推广信息的数量。候选推广信息当前的消耗数据以及历史质量分能够一定程度上反应推广信息的曝光效果。

消耗数据是推广信息被曝光所产生的成本，是推广信息所属的推广主需要支付给推广平台的推广费用，通常与推广主为推广信息所投出的实时竞价相关。候选推广信息当前的消耗数据，可以是当前截止接收到目标请求时候选推广信息产生的消耗数据。

对于某个候选推广信息，候选推广信息曾被相应的召回支路召回时的历史质量分，可以是过去一个月内该候选推广信息被相应的召回支路召回时的历史质量分。例如，随机采样在过去一个月内的50万次的用户请求，其中候选推广信息ad001一共曾被曝光过3万次：曾被ANN召回支路召回5000次，曾被TAG召回支路1召回8000次，曾被TAG召回支路2召回6000次，曾被TAG召回支路3召回11000次。对于本次目标请求，仅ANN召回支路与TAG召回支路2输出了该候选推广信息ad001，那么对于ANN召回支路，计算机设备根据当前的消耗数据与上述5000次召回时的历史质量分，确定该候选推广信息ad001在ANN召回支路的质量分阈值，对于TAG召回支路2，计算机设备根据当前的消耗数据与上述6000次召回时的历史质量分，确定该候选推广信息ad001在TAG召回支路2的质量分阈值。

可以理解，即便是同一个召回支路，由于候选推广信息当前的消耗数据是动态变化的，其在该同一个召回支路对应的质量分阈值也会动态变化，候选推广信息的质量分也是随着其被投放至用户后的推广效果动态变化的，将基于当次的目标请求所确定的候选推广信息当前的质量分，与基于当次的目标请求所确定的候选推广信息在相应的召回支路对应的质量分阈值进行比较，能够动态控制每次响应于目标请求时该候选推广信息能否在相应的召回支路中胜出，实现灵活调节各个召回支路胜出的优质推广信息的数量。

步骤410，当从至少两个召回支路筛选出的目标推广信息的总量符合期望总量时，将筛选出的目标推广信息作为响应于目标请求的召回结果。

具体地，计算机设备按照前述的步骤，从各个召回支路筛选出目标推广信息后，统计从各个召回支路筛选出的目标推广信息的总量，若该总量与期望总量匹配，则将筛选出的目标推广信息作为响应于目标请求的召回结果。

如图6所示，为一个实施例中推广信息的召回方法的示意图。参照图6，对ANN召回支路、TAG召回支路1、TAG召回支路2和TAG召回支路3，分别输出的候选推广信息，根据每个候选推广信息当前的质量分确定召回推广信息的期望总量target_num，接着是本申请的融合(merge)过程：按照每个候选推广信息在相应召回支路的历史质量分与当前的消耗数据，确定在相应召回支路的质量分阈值quality_threshold，再从各召回支路筛选出目标推广信息，获得筛选出的目标推广信息的总量为merge_num。

上述推广信息的召回方法，在面对多个召回支路输出的候选推广信息时，一方面，从单个推广信息的角度出发，利用每个候选推广信息当前的质量分控制召回推广信息的期望总量，能够在各个召回支路输出的候选推广信息总体质量水平较优时，给优质推广信息更多的曝光机会；另一方面，为每个候选推广信息在相应的召回支路上确定相应的质量分阈值，按照候选推广信息的质量分与该质量分阈值的关系，决定该候选推广信息的保留与否，由于每个候选推广信息对应的质量分阈值是依据该候选推广信息当前的消耗数据与历史质量分进行动态调节的，能够在有效控制最终召回的推广信息的总量的同时，又能够给召回支路中更多优质推广信息更多曝光机会；继而，当从多个召回支路筛选出的目标推广信息的总量符合上述期望总量时，将筛选出的目标推广信息作为召回阶段的召回结果。不仅能够灵活调节各个召回支路中筛选出的推广信息的数量，还能达到尽量让优质推广信息被召回的目的，提升推广信息召回效果。

如图7所示，为一个实施例中确定候选推广信息在相应的召回支路对应的质量分阈值的步骤的流程示意图，包括：

步骤702，对于每个候选推广信息，获取曾被相应的召回支路召回时的历史质量分；

步骤704，将历史质量分排序后划分为预设等份；其中，每等份对应一个分位点。

步骤706，将每等份中历史质量分的最大值，作为每个分位点对应的分位点质量分。

步骤708，根据每个分位点以及对应的分位点质量分，获得候选推广信息在相应的召回支路对应的质量分阈值索引表。

例如，以上文关于候选推广信息ad001的例子来说，计算机设备根据当前的消耗数据与上述5000次召回时的历史质量分，确定该候选推广信息ad001在ANN召回支路的质量分阈值。计算机设备可以将该5000次召回候选推广信息ad001时的历史质量分按照从小到大的顺序排序，分成100等份，每等份50个数据，这100等份的分位点对应的质量分就是分位点质量分，分位点质量分可以是每等份中的质量分最大值。质量分阈值索引表如下表一所示：

表一

分位点质量分	分位点
		0.02	1
0.035	2
		…	…
0.52	100

上述质量分阈值索引表中，第一个分位点对应的分位点质量分，是分成100等份之后，第一个等份的质量分最大值是0.02，第二个分位点、第三个分位点、…、第100个分位点都依此类推，这样，获得候选推广信息ad001在ANN召回支路对应的质量分阈值索引表。

当然，计算机设备也可以根据需求，将历史质量分划分成50等份、200等份，等等，本申请实施例对此不作限制。计算机设备也可以将每个等份的中位值、平均值，作为每个等份对应的分位点质量分，计算机设备也可以按照从大到小的顺序进行排序后，将历史质量分划分成若干等份，本申请实施例对此不作限制。

类似地，对于TAG召回支路2，计算机设备根据当前的消耗数据与上述6000次召回时的历史质量分，确定该候选推广信息ad001在TAG召回支路2的质量分阈值。也就是说，同一个候选推广信息，被多个不同的召回支路召回过，那么计算机设备可以计算与该同一个候选推广信息对应的多个不同的质量分阈值索引表；属于同一个召回支路的不同候选推广信息，由于各自的历史质量分不同，各自对应的质量分阈值索引表也不同。

可选地，为了同时兼顾计算机设备的响应速度与准确表征候选推广信息的历史质量水平，计算机设备可以事先生成每个推广信息对应每个召回支路的质量分阈值索引表，这样在每次响应目前请求时，无需每次都实时计算导致响应效率低下，计算机设备可以直接查询事先生成的质量分阈值索引表。此外，计算机设备可以每隔一段时间(如一天)根据重新采样的推广信息被曝光时的历史质量分，更新推广信息对应每个召回支路的质量分阈值索引表。

对于每个候选推广信息在相应的召回支路中的质量分阈值索引表，计算机设备可以将第N个分位点对应的分位点质量分，作为候选推广信息的初始质量分阈值。例如，第N个分位点可以是第40个分位点，第50个分位点或第60个分位点，等等，本申请实施例对此不作限制。可以理解，属于同一个召回支路的不同候选推广信息，对应的质量分阈值索引表不同，即便都是取第N个分位点对应的分位点质量分作为初始质量分阈值，其值是可能存在差异的。

在该初始质量分阈值的基础上，计算机设备根据候选推广信息当前的消耗数据对其进行迭代：

threshold_t＝threshold_t-1+d*step；

quality_threshold_t＝f(threshold_t)；

其中，threshold_t-1表示前次更新的推广信息的质量分阈值对应的分位点；threshold_t表示当对前次更新的推广信息的质量分阈值对应的分位点进行调整得到的调整后的分位点。step表示调节步长，例如可以取3。d表示调节系数，它的取值包括三种：d为1，则说明增加分位点从而增加质量分阈值；d为0，则说明分位点不变从而质量分阈值保持不变；d为-1，则说明减小分位点从而减少质量分阈值。f(threshold_t)函数表示查询上述质量分阈值索引表的操作，由分位点threshold_t查找到对应的分位点质量分。quality_threshold_t表示候选推广信息当次更新的在相应的召回支路对应的质量分阈值。

也就是说，计算机设备可以按照上述方式更新迭代候选推广信息的质量分阈值，在质量分阈值索引表保持不变的时间周期内(如1天)，计算机设备可以每隔预设时间迭代更新一次候选推广信息的质量分阈值，例如每隔1个小时迭代一次。

在一个实施例中，步骤208，包括：获取候选推广信息当前的消耗数据；获取前次更新的推广信息的质量分阈值对应的分位点；根据候选推广信息当前的消耗数据，对前次更新的推广信息的质量分阈值对应的分位点进行调整，将相应的召回支路对应的质量分阈值索引表中，调整后的分位点对应的分位点质量分，作为候选推广信息当次更新的在相应的召回支路对应的质量分阈值；其中，推广信息在相应的召回支路对应的初始质量分阈值，是质量分阈值索引表中预设的目标分位点对应的分位点质量分。

其中，消耗数据包括候选推广信息当天的总消耗、候选推广信息当天在相应的召回支路产生的消耗(支路消耗)、候选推广信息当天的总效应偏离度、候选推广信息当天在相应的召回支路的效应偏离度。

举例说明，从0点开始，计算机设备对过去3个月中被召回的历史质量分进行采样，如50万次用户请求中被各个召回支路召回的推广信息各自的历史质量分，计算机设备生成各自的质量分阈值索引表。其中，质量分阈值索引表中第40个分位点对应的质量分阈值为初始阈值。计算机设备根据从0点截止目前的消耗数据，从第40个分位点的基础上每间隔1个小时进行调整，如第1次将分位点调整至第43个分位点，第1次调整后的质量分阈值为第43个分位点对应的质量分阈值，第2次调整再次增加分位点，调整至第46个分位点，第2次调整后的质量分阈值为第46个分位点对应的质量分阈值，如此迭代。

接下来说明如何根据消耗数据调整分位点从而实现调整质量分阈值。

如图8所示，为一个实施例中根据候选推广信息当前的消耗数据，对前次更新的推广信息的质量分阈值对应的分位点进行调整的流程示意图。参照图8，包括：

步骤802，确定用于对分位点进行调整的调节系数与调节步长；

步骤804，根据候选推广信息当前的消耗数据，确定调节系数当前的取值；

步骤806，当调节系数取非零值时，以调节步长增大或减小前次更新的推广信息的质量分阈值对应的分位点；

步骤808，当调节系数取零时，将前次更新的推广信息的质量分阈值作为候选推广信息当次的质量分阈值。

通过上面的公式可知，质量分阈值的调整主要通过调节系数的取值来决定是增加质量分阈值、保持质量分阈值还是减少质量分阈值。

调节系数d的取值，可通过如下表2所示的方式来确定：

表2

前文提到，候选推广信息的消耗，指的是广告主需要为候选推广信息所支付的推广费用，该消耗充分指的是消耗相比于候选推广信息对应的目标出价大，代表该候选推广信息的曝光机会已经够多，消耗充分，曝光效果足够好，为了给召回支路中其它优质广告更多曝光机会，可以适当提高该候选推广信息在相应的召回支路对应的质量分阈值，从而提高该候选推广信息从相应的召回支路中胜出的门槛。反之，该消耗不满足消耗充分的条件，代表该候选推广信息的曝光机会不够，消耗不够充分，为了给其更多的曝光机会，可以适当降低该选推广信息在相应的召回支路对应的质量分阈值，从而提高该候选推广信息从相应的召回支路中胜出的几率，提高曝光机会。

举例来说，总体消耗充分，指的是总体消耗>＝6*候选推广信息对应的目标出价，否则认定为总体消耗不充分。支路消耗充分，指的是支路消耗>＝3*候选推广信息对应的目标出价，否则认定为支路消耗不充分。可以理解，上述表二中的阈值可以按需求进行调整，本申请实施例对此不作限制。当然，关于消耗数据影响调节系数d的方式，可以采用与上表二不同的其它方式，本申请实施例对此不作限制。

为了实现根据单个推广信息的历史表现，来控制该推广信息从某个召回支路中胜出的概率，从而灵活调节各个召回支路胜出的推广信息的数量，来达到尽量让优质推广信息胜出的目的，还需要思考，如果按照前面的步骤从各个召回支路筛选出的目标推广信息的总量不满足期望总量，该如何调节。

在一个实施例中，上述方法还包括：

当从至少两个召回支路筛选出的目标推广信息的总量不符合期望总量时，迭代地执行调整每个候选推广信息在相应的召回支路对应的质量分阈值后，按候选推广信息当前的质量分与候选推广信息在相应的召回支路调整后的质量分阈值，从相应的召回支路中筛选出目标推广信息的步骤，直至从至少两个召回支路筛选出的目标推广信息的总量符合期望总量时，停止迭代。

经过上述的步骤，计算机设备已经从各个召回支路中筛选出目标推广信息，然而这些目标推广信息的总量并不一定满足上述的期望总量，为此，当总量不符合期望总量时，计算机设备再次通过调整每个候选推广信息在相应的召回支路对应的质量分阈值，以使最终召回的目标推广性信息的总量符合上述的期望总量。

在一个实施例中，当从至少两个召回支路筛选出的目标推广信息的总量大于期望总量时，以预设步长增大候选推广信息的用于确定质量分阈值的分位点，以增大候选推广信息在相应的召回支路对应的质量分阈值，按候选推广信息当前的质量分与候选推广信息在相应的召回支路增大后的质量分阈值，从相应的召回支路中筛选出目标推广信息，若其总量仍然大于期望总量，则继续在前次增大后的分位点基础上，重复上述步骤，直至筛选出目标推广信息的总量符合上述的期望总量。

在一个实施例中，当从至少两个召回支路筛选出的目标推广信息的总量小于期望总量时，以预设步长减小候选推广信息的用于确定质量分阈值的分位点，以减小候选推广信息在相应的召回支路对应的质量分阈值，按候选推广信息当前的质量分与候选推广信息在相应的召回支路减小后的质量分阈值，从相应的召回支路中筛选出目标推广信息，若其总量仍然减小期望总量，则继续在前次减小后的分位点基础上，重复上述步骤，直至筛选出目标推广信息的总量符合上述的期望总量。

在一个实施例中，调整每个候选推广信息在相应的召回支路对应的质量分阈值后，按候选推广信息当前的质量分与候选推广信息在相应的召回支路调整后的质量分阈值，从相应的召回支路中筛选出目标推广信息，包括：对于每个候选推广信息，确定前次调整后获得的质量分阈值对应的分位点；对质量分阈值对应的分位点进行调整，获得当次的分位点；查询候选推广信息在相应的召回支路对应的质量分阈值索引表，将当次的分位点所对应的分位点质量分，作为候选推广信息在相应的召回支路中当次的质量分阈值；对于每个召回支路，按目标比例从输出的候选推广信息中随机筛选；对于每个召回支路随机筛选出的候选推广信息，保留质量分大于当次的质量分阈值的候选推广信息，获得从相应的召回支路中筛选出的目标推广信息。

举例说明，按以下步骤执行：

1)若从相应的召回支路中筛选出的目标推广信息的总量大于期望总量，则令a＝1，若总量小于期望总量，则令a＝-1；初始化i＝1；

2)按照下面的公式调整分位点以及按照调整后的分位点查询质量分阈值；

threshold_iter＝threshold_iter-1+a*i；

quality_threshold_iter＝f(threshold_iter)；

3)令j初始化为1，从各个支路中随机取j％个候选推广信息，按第2步按调整后的质量分阈值，重新从各个召回支路中筛选出目标推广信息，如果筛选出的总量符合期望总量，则结束流程；如果筛选出的总量不符合期望总量，则令j＝j+1，也就是增大随机挑选出的候选推广信息的数量后，再重新按调整后的质量分阈值筛选出目标推广信息。如此，重复执行第3步，直到j＝100。

4)如果重复执行第3步后推广信息的总量已经符合期望总量，则结束流程；否则i＝i+1，也就是提高质量分阈值调整的幅度之后，再重复执行第2步和3步，直到i为3。

在一个实施例中，上述方法还包括：对召回结果中的目标推广信息执行排序操作；基于排序结果从目标推广信息中确定待推送信息；向触发目标请求的终端发送携带待推送信息的目标响应。

具体地，对于最终召回结果中的目标推广信息，计算机设备可以使用排序算法或排序模型进行打分后排序，得到排序结果，基于最终的排序结果从目标推广信息中确定待推送信息，根据待推送信息生成目标响应后发送至发起目标请求的用户终端，将待推送信息展示给用户。

如图9所示，为一个实施例中推广信息的召回方法的框架示意图，参照图9，对于各个召回支路输出的候选推广信息，分别计算各个候选推广信息当前的质量分。质量分可用于决定召回结果的期望总量以及推广信息能否从支路中胜出。根据各个候选推广信息曾被各个召回支路召回的历史质量分，计算各自在每个召回支路的质量分阈值索引表。再结合各个候选推广信息当前的消耗数据，从质量分阈值索引表中查询相应的质量分阈值，以决定候选推广信息是否能够从召回支路中胜出，从而实现对大量候选推广信息的截断。当胜出的候选推广信息的总量不符合期望总量时，则是通过从召回支路中随机筛选候选推广信息以及调整质量分阈值的方式使得总量符合期望总量。

如图10所示，为一个具体的实施例中推广信息的召回方法的流程示意图。

参照图10，该方法包括以下步骤：

步骤1002，获取通过至少两个召回支路分别响应于目标请求所输出的候选推广信息；

步骤1004，对于每个候选推广信息，根据候选推广信息对应的目标出价、当前的预估点击率以及当前的预估转化率，计算候选推广信息当前的质量分；

步骤1006，获取各召回支路的历史召回推广信息所对应的历史质量分均值；

步骤1008，获取排序阶段对于推广信息的需求总量；

步骤1010，根据每个候选推广信息当前的质量分、历史质量分均值、需求总量以及预设的余量控制比例，确定从候选推广信息中召回推广信息的期望总量所在的区间范围；

步骤1012，对于每个候选推广信息，获取曾被相应的召回支路召回时的历史质量分；

步骤1014，将历史质量分排序后划分为预设等份；其中，每等份对应一个分位点，将每等份中历史质量分的最大值，作为每个分位点对应的分位点质量分；根据每个分位点以及对应的分位点质量分，获得候选推广信息在相应的召回支路对应的质量分阈值索引表；

步骤1016，将质量分阈值索引表中预设的目标分位点对应的分位点质量分，作为推广信息在相应的召回支路对应的初始质量分阈值；

步骤1018，确定用于对分位点进行调整的调节系数与调节步长，对于每个候选推广信息，根据候选推广信息当前的消耗数据，确定调节系数当前的取值；

步骤1020，获取前次更新的候选推广信息的质量分阈值对应的分位点，其中推广信息的质量分阈值是在被召回支路输出作为候选推广信息时被更新；

步骤1022，当调节系数取非零值时，以调节步长增大或减小前次更新的推广信息的质量分阈值对应的分位点，将相应的召回支路对应的质量分阈值索引表中，调整后的分位点对应的分位点质量分，作为候选推广信息当次更新的在相应的召回支路对应的质量分阈值；

步骤1024，当调节系数取零时，将前次更新的推广信息的质量分阈值作为候选推广信息当次的质量分阈值；

步骤1026，筛选出相应的召回支路中当前的质量分大于质量分阈值的候选推广信息；

步骤1028，判断筛选出的目标推广信息的总量是否属于期望总量所在的区间范围，若是，执行步骤1042；若否，执行步骤1030；

步骤1030，若筛选出的目标推广信息的总量大于期望总量，则对于召回支路中的每个候选推广信息，增大前次调整后获得的质量分阈值对应的分位点，获得当次的分位点，若筛选出的目标推广信息的总量小于期望总量，则对于召回支路中的每个候选推广信息，减小前次调整后获得的质量分阈值对应的分位点，获得当次的分位点；查询候选推广信息在相应的召回支路对应的质量分阈值索引表，将当次的分位点所对应的分位点质量分，作为候选推广信息在相应的召回支路中当次的质量分阈值；

步骤1032，令j＝1；

步骤1034，对于每个召回支路，按j％的比例从输出的候选推广信息中随机筛选；

步骤1036，对于每个召回支路随机筛选出的候选推广信息，保留质量分大于当次的质量分阈值的候选推广信息，获得从相应的召回支路中筛选出的目标推广信息；

步骤1038，判断筛选出的目标推广信息的总量是否属于期望总量所在的区间范围；若否，执行步骤1040，若是，执行步骤1042；

步骤1040，判断j是否为100，若否，则令j＝j+1后，返回执行步骤1034；若是，则返回执行步骤1030；

步骤1042，将筛选出的目标推广信息作为响应于目标请求的召回结果；

步骤1044，对召回结果中的目标推广信息执行排序操作；

步骤1046，基于排序结果从目标推广信息中确定待推送信息；

步骤1048，向触发目标请求的终端发送携带待推送信息的目标响应。

应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图11所示，提供了一种推广信息的召回装置1100，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：候选推广信息获取模块1102、召回总量确定模块1104、质量分阈值确定模块1106、目标推广信息筛选模块1108和召回响应模块1110，其中：

候选推广信息获取模块1102，用于获取通过至少两个召回支路分别响应于目标请求所输出的候选推广信息；

召回总量确定模块1104，用于基于每个候选推广信息当前的质量分，确定召回推广信息的期望总量；

质量分阈值确定模块1106，用于对于每个候选推广信息，分别基于候选推广信息当前的消耗数据以及曾被相应的召回支路召回时的历史质量分，确定候选推广信息在相应的召回支路对应的质量分阈值；

目标推广信息筛选模块1108，用于按候选推广信息当前的质量分与候选推广信息在相应的召回支路对应的质量分阈值，在相应的召回支路中筛选出目标推广信息；

召回响应模块1110，用于当从至少两个召回支路筛选出的目标推广信息的总量符合期望总量时，将筛选出的目标推广信息作为响应于目标请求的召回结果。

在一个实施例中，候选推广信息获取模块1102，还用于提取目标请求中携带的用户标识；获取与用户标识对应的用户历史行为数据；通过预训练的神经网络模型，从推广信息集合中确定与用户历史行为数据匹配的推广信息，作为基于神经网络的召回支路输出的候选推广信息。

在一个实施例中，候选推广信息获取模块1102，还用于提取目标请求中携带的用户标识；获取用户标识对应的用户标签数据；根据预设的匹配策略，将用户标签数据与推广信息标签数据进行匹配；按照匹配结果，从推广信息集合中获得基于匹配策略的召回支路输出的候选推广信息。

在一个实施例中，召回总量确定模块1104，还用于对于每个候选推广信息，确定当前的质量分；获取各召回支路的历史召回推广信息所对应的历史质量分均值；获取排序阶段对于推广信息的需求总量；根据每个候选推广信息当前的质量分、历史质量分均值、需求总量以及预设的余量控制比例，确定从候选推广信息中召回推广信息的期望总量所在的区间范围。

在一个实施例中，推广信息的召回装置1100还包括：质量分计算模块，用于对候选推广信息进行点击率预测，获得当前的预估点击率；对候选推广信息进行转化率预测，获得当前的预估转化率；获取候选推广信息对应的目标出价；根据候选推广信息对应的目标出价、当前的预估点击率以及当前的预估转化率，计算候选推广信息当前的质量分。

在一个实施例中，推广信息的召回装置1100还包括：质量分阈值索引表计算模块，用于对于每个候选推广信息，获取曾被相应的召回支路召回时的历史质量分；将历史质量分排序后划分为预设等份；其中，每等份对应一个分位点；将每等份中历史质量分的最大值，作为每个分位点对应的分位点质量分；根据每个分位点以及对应的分位点质量分，获得候选推广信息在相应的召回支路对应的质量分阈值索引表。

在一个实施例中，质量分阈值确定模块1106，还用于获取候选推广信息当前的消耗数据，消耗数据包括候选推广信息当天的总消耗、候选推广信息当天在相应的召回支路产生的消耗、候选推广信息当天的总效应偏离度、候选推广信息当天在相应的召回支路的效应偏离度；获取前次更新的推广信息的质量分阈值对应的分位点；根据候选推广信息当前的消耗数据，对前次更新的推广信息的质量分阈值对应的分位点进行调整，将相应的召回支路对应的质量分阈值索引表中，调整后的分位点对应的分位点质量分，作为候选推广信息当次更新的在相应的召回支路对应的质量分阈值；其中，推广信息在相应的召回支路对应的初始质量分阈值，是质量分阈值索引表中预设的目标分位点对应的分位点质量分。

在一个实施例中，质量分阈值确定模块1106，还用于确定用于对分位点进行调整的调节系数与调节步长；根据候选推广信息当前的消耗数据，确定调节系数当前的取值；当调节系数取非零值时，以调节步长增大或减小前次更新的推广信息的质量分阈值对应的分位点；当调节系数取零时，将前次更新的推广信息的质量分阈值作为候选推广信息当次的质量分阈值。

在一个实例中，推广信息的召回装置1100还包括召回总量控制模块，用于当从至少两个召回支路筛选出的目标推广信息的总量不符合期望总量时，迭代地执行调整每个候选推广信息在相应的召回支路对应的质量分阈值后，按候选推广信息当前的质量分与候选推广信息在相应的召回支路调整后的质量分阈值，从相应的召回支路中筛选出目标推广信息的步骤，直至从至少两个召回支路筛选出的目标推广信息的总量符合期望总量时，停止迭代。

在一个实例中，召回总量控制模块，还用于对于每个候选推广信息，确定前次调整后获得的质量分阈值对应的分位点；对质量分阈值对应的分位点进行调整，获得当次的分位点；查询候选推广信息在相应的召回支路对应的质量分阈值索引表，将当次的分位点所对应的分位点质量分，作为候选推广信息在相应的召回支路中当次的质量分阈值；对于每个召回支路，按目标比例从输出的候选推广信息中随机筛选；对于每个召回支路随机筛选出的候选推广信息，保留质量分大于当次的质量分阈值的候选推广信息，获得从相应的召回支路中筛选出的目标推广信息。

在一个实例中，推广信息的召回装置1100还包括：排序模块和推送模块，排序模块用于对召回结果中的目标推广信息执行排序操作；基于排序结果从目标推广信息中确定待推送信息；推送模块，用于向触发目标请求的终端发送携带待推送信息的目标响应。

上述推广信息的召回装置1100，在面对多个召回支路输出的候选推广信息时，一方面，从单个推广信息的角度出发，利用每个候选推广信息当前的质量分控制召回推广信息的期望总量，能够在各个召回支路输出的候选推广信息总体质量水平较优时，给优质推广信息更多的曝光机会；另一方面，为每个候选推广信息在相应的召回支路上确定相应的质量分阈值，按照候选推广信息的质量分与该质量分阈值的关系，决定该候选推广信息的保留与否，由于每个候选推广信息对应的质量分阈值是依据该候选推广信息当前的消耗数据与历史质量分进行动态调节的，能够在有效控制最终召回的推广信息的总量的同时，又能够给召回支路中更多优质推广信息更多曝光机会；继而，当从多个召回支路筛选出的目标推广信息的总量符合上述期望总量时，将筛选出的目标推广信息作为召回阶段的召回结果。不仅能够灵活调节各个召回支路中筛选出的推广信息的数量，还能达到尽量让优质推广信息被召回的目的，提升推广信息召回效果。

关于推广信息的召回装置1100的具体限定可以参见上文中对于推广信息的召回方法的限定，在此不再赘述。上述推广信息的召回装置1100中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储推广信息的历史质量分。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种推广信息的召回方法。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种推广信息的召回方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述至少两个召回支路包括基于神经网络的召回支路，所述方法还包括：

提取所述目标请求中携带的用户标识；

获取与所述用户标识对应的用户历史行为数据；

通过预训练的神经网络模型，从推广信息集合中确定与所述用户历史行为数据匹配的推广信息，作为所述基于神经网络的召回支路输出的候选推广信息。

3.根据权利要求1所述的方法，其特征在于，所述至少两个召回支路包括基于匹配策略的召回支路，所述方法还包括：

提取所述目标请求中携带的用户标识；

获取所述用户标识对应的用户标签数据；

根据预设的匹配策略，将所述用户标签数据与推广信息标签数据进行匹配；

按照匹配结果，从推广信息集合中获得所述基于匹配策略的召回支路输出的候选推广信息。

4.根据权利要求1所述的方法，其特征在于，所述基于每个所述候选推广信息当前的质量分，确定召回推广信息的期望总量，包括：

对于每个所述候选推广信息，确定当前的质量分；

获取各所述召回支路的历史召回推广信息所对应的历史质量分均值；

获取排序阶段对于推广信息的需求总量；

根据每个所述候选推广信息当前的质量分、所述历史质量分均值、所述需求总量以及预设的余量控制比例，确定从候选推广信息中召回推广信息的期望总量所在的区间范围。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述候选推广信息进行点击率预测，获得当前的预估点击率；

对所述候选推广信息进行转化率预测，获得当前的预估转化率；

获取所述候选推广信息对应的目标出价；

根据所述候选推广信息对应的目标出价、所述当前的预估点击率以及所述当前的预估转化率，计算所述候选推广信息当前的质量分。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对于每个候选推广信息，获取曾被相应的召回支路召回时的历史质量分；

将所述历史质量分排序后划分为预设等份；其中，每等份对应一个分位点；

将每等份中历史质量分的最大值，作为每个分位点对应的分位点质量分；

根据每个分位点以及对应的分位点质量分，获得所述候选推广信息在相应的召回支路对应的质量分阈值索引表。

7.根据权利要求6所述的方法，其特征在于，所述分别基于所述候选推广信息当前的消耗数据以及曾被相应的召回支路召回时的历史质量分，确定所述候选推广信息在所述相应的召回支路对应的质量分阈值，包括：

获取所述候选推广信息当前的消耗数据，所述消耗数据包括所述候选推广信息当天的总消耗、所述候选推广信息当天在所述相应的召回支路产生的消耗、所述候选推广信息当天的总效应偏离度、所述候选推广信息当天在所述相应的召回支路的效应偏离度；

获取前次更新的所述推广信息的质量分阈值对应的分位点；

根据所述候选推广信息当前的消耗数据，对所述前次更新的所述推广信息的质量分阈值对应的分位点进行调整，将所述相应的召回支路对应的质量分阈值索引表中，调整后的分位点对应的分位点质量分，作为所述候选推广信息当次更新的在所述相应的召回支路对应的质量分阈值；

其中，所述推广信息在所述相应的召回支路对应的初始质量分阈值，是所述质量分阈值索引表中预设的目标分位点对应的分位点质量分。

8.根据权利要求7所述的方法，其特征在于，所述根据所述候选推广信息当前的消耗数据，对所述前次更新的所述推广信息的质量分阈值对应的分位点进行调整，包括：

确定用于对所述分位点进行调整的调节系数与调节步长；

根据所述候选推广信息当前的消耗数据，确定调节系数当前的取值；

当所述调节系数取非零值时，以所述调节步长增大或减小所述前次更新的所述推广信息的质量分阈值对应的分位点；

当所述调节系数取零时，将所述前次更新的所述推广信息的质量分阈值作为所述候选推广信息当次的质量分阈值。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当从所述至少两个召回支路筛选出的目标推广信息的总量不符合所述期望总量时，迭代地执行调整每个候选推广信息在相应的召回支路对应的质量分阈值后，按所述候选推广信息当前的质量分与所述候选推广信息在相应的召回支路调整后的质量分阈值，从所述相应的召回支路中筛选出目标推广信息的步骤，直至从所述至少两个召回支路筛选出的目标推广信息的总量符合所述期望总量时，停止迭代。

10.根据权利要求9所述的方法，其特征在于，所述调整每个候选推广信息在相应的召回支路对应的质量分阈值后，按所述候选推广信息当前的质量分与所述候选推广信息在相应的召回支路调整后的质量分阈值，从所述相应的召回支路中筛选出目标推广信息，包括：

对于每个候选推广信息，确定前次调整后获得的质量分阈值对应的分位点；

对所述质量分阈值对应的分位点进行调整，获得当次的分位点；

查询所述候选推广信息在相应的召回支路对应的质量分阈值索引表，将所述当次的分位点所对应的分位点质量分，作为所述候选推广信息在相应的召回支路中当次的质量分阈值；

对于每个召回支路，按目标比例从输出的候选推广信息中随机筛选；

对于每个召回支路随机筛选出的候选推广信息，保留质量分大于所述当次的质量分阈值的候选推广信息，获得从相应的召回支路中筛选出的目标推广信息。

11.根据权利要求1至10任一项所述的方法，其特征在于，所述方法还包括：

对所述召回结果中的目标推广信息执行排序操作；

基于排序结果从所述目标推广信息中确定待推送信息；

向触发所述目标请求的终端发送携带所述待推送信息的目标响应。

12.一种推广信息的召回装置，其特征在于，所述装置包括：

13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。

14.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。

15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述方法的步骤。