CN108921624B - 广告融合方法、装置、存储介质和终端设备 - Google Patents

Abstract

本发明提出一种广告融合方法、装置、存储介质和终端设备，其中，所述方法包括：将非广告结果和广告结果汇合在候选结果集合中；将所述候选结果集合输入序列生成模型，得到所述候选结果集合中的各候选结果的选择概率；根据各所述候选结果的选择概率，从所述候选结果集合中选取候选结果，生成多个候选推荐序列；将各所述候选推荐序列输入序列评估模型，得到各所述候选推荐序列的评估结果；以及根据各所述候选推荐序列的评估结果，从所述各候选推荐序列中选取优选推荐序列。采用本发明，可以使得在序列中插入的广告不会过于突兀，有效地提高用户的浏览体验。

Description

广告融合方法、装置、存储介质和终端设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种广告融合方法、装置、存储介质和终端设备。

背景技术

随着互联网的发展，涌现出多种多样的推荐平台，向互联网用户推送或推荐信息。例如、商品优惠信息的推送、搜索引擎的搜索信息的推荐、新闻信息或各领域的文章等信息的推送。

此类的推荐平台的推荐系统通常会将相关的广告信息插入到推荐的信息流中。常见的方案可以参见图1，基于用户信息分别获取自然结果序列和广告结果。其中，自然结果(非广告结果)序列包括按顺序排列的推荐信息。然后，从广告结果中提取广告，并按预设的插入规则插入到自然结果序列中。其中，广告的提取可以根据广告的商业价值提取。预设的插入规则可以是自然结果序列中的某一固定位置。

但是，在上述方案中，自然结果序列与广告结果是基于不同的方法进行排序，两者之间的排序无关联性，则在将广告结果与自然结果序列进行融合时，插入到自然结果序列中的广告往往会显示突兀，影响用户的浏览体验。

此外，由于广告的插入是基于预设的插入规则来实现的。但是该插入规则与自然结果序列中的结果无关联性，在一定程度上会影响插入的广告的点展比，影响广告的投放效果。其中，点展比是指展现在用户界面的对象的点击次数与展现次数的比值。

发明内容

本发明实施例提供一种广告融合方法、装置、存储介质和终端设备，以解决或缓解现有技术中的以上一个或多个技术问题。

第一方面，本发明实施例提供了一种广告融合方法，包括：

将非广告结果和广告结果汇合在候选结果集合中；

将所述候选结果集合输入序列生成模型，得到所述候选结果集合中的各候选结果的选择概率；

根据各所述候选结果的选择概率，从所述候选结果集合中选取候选结果，生成多个候选推荐序列；

将各所述候选推荐序列输入序列评估模型，得到各所述候选推荐序列的评估结果；以及

根据各所述候选推荐序列的评估结果，从所述各候选推荐序列中选取优选推荐序列。

结合第一方面，在第一方面的第一种实施方式中，所述将所述候选结果集合输入序列生成模型，得到所述候选结果集合中的各候选结果的选择概率，包括：

通过序列生成模型的编码器，对所述候选结果集合中各候选结果进行编码，获得所述各候选结果的编码向量；

通过所述序列生成模型的解码器，对所述各候选结果的编码向量进行解码，获得候选推荐序列的各排列位置的解码向量；以及

通过所述序列生成模型的指向网络，对所述各候选结果的编码向量和所述各排列位置的解码向量进行计算，获得所述各候选结果排列在各排列位置上的选择概率。

结合第一方面，在第一方面的第二种实施方式中，所述根据各所述候选结果的选择概率，从所述候选结果集合中选取候选结果，生成多个候选推荐序列，包括：

根据各候选结果排列在候选推荐序列的各排列位置上的选择概率，按概率大小的顺序对各排列位置上的候选结果进行排序；以及

按照预设规则，选取候选结果排列在各排列位置上，获得候选推荐序列。

结合第一方面的第一种实施方式，在第一方面的第三种实施方式中，计算获得所述各候选结果排列在各排列位置上的选择概率的计算公式，包括：

其中，

表示第j个候选结果在候选推荐序列的第t个排列位置上的打分数值，e_j表示第j个候选结果的编码向量，d_t表示在候选推荐序列的第t个排列位置上的解码向量，

表示第j个候选结果在第t个排列位置的选择概率，W₁、W₂、v^T表示所述序列生成模型的网络参数，τ表示所述指向网络的指向参数。

结合第一方面，在第一方面的第四种实施方式中，所述评估结果包括价值得分，所述将各所述候选推荐序列输入序列评估模型，得到各所述候选推荐序列的评估结果，包括：

将各所述候选推荐序列输入序列评估模型，获得所述候选推荐序列的各推荐结果的点击概率和所述候选推荐序列的用户浏览时长预估值；以及

根据所述候选推荐序列的各推荐结果的点击概率、所述候选推荐序列的时长预估值和所述候选推荐序列包含的广告的价格，计算所述候选推荐序列的价值得分。

结合第一方面的第四种实施方式，在第一方面的第五种实施方式中，计算所述候选推荐序列的价值得分的计算公式，包括：

其中，list_score_l表示第l个候选推荐序列的价值得分，click_i表示第l个候选推荐序列中的第i个推荐结果的点击概率，duration_l表示第l个候选推荐序列的用户浏览时长预估值，click_j表示第l个候选推荐序列包含的第j个广告的点击概率，price_j表示第l个候选推荐序列包含的第j个广告的价格，ad表示第l个候选推荐序列所包含广告的集合。

第二方面，本发明实施例提供一种广告融合装置，包括：

汇合模块，用于将非广告结果和广告结果汇合在候选结果集合中；

选择概率计算模块，用于将所述候选结果集合输入序列生成模型，得到所述候选结果集合中的各候选结果的选择概率；

候选序列生成模块，用于根据各所述候选结果的选择概率，从所述候选结果集合中选取候选结果，生成多个候选推荐序列；

候选序列评估模块，用于将各所述候选推荐序列输入序列评估模型，得到各所述候选推荐序列的评估结果；以及

优选序列选取模块，用于根据各所述候选推荐序列的评估结果，从所述各候选推荐序列中选取优选推荐序列。

结合第二方面，在第二方面的第一种实施方式中，所述选择概率计算模块包括：

编码向量获取单元，用于通过序列生成模型的编码器，对所述候选结果集合中各候选结果进行编码，获得所述各候选结果的编码向量；

解码向量获取单元，用于通过所述序列生成模型的解码器，对所述各候选结果的编码向量进行解码，获得候选推荐序列的各排列位置的解码向量；以及

选择概率获取单元，用于通过所述序列生成模型的指向网络，对所述各候选结果的编码向量和所述各排列位置的解码向量进行计算，获得所述各候选结果排列在各排列位置上的选择概率。

结合第二方面，在第二方面的第二种实施方式中，所述候选序列生成模块包括：

候选结果排序单元，用于根据各候选结果排列在候选推荐序列的各排列位置上的选择概率，按概率大小的顺序对各排列位置上的候选结果进行排序；以及

候选结果排列单元，用于按照预设规则，选取候选结果排列在各排列位置上，获得候选推荐序列。

结合第二方面，在第二方面的第三种实施方式中，所述评估结果包括价值得分，所述候选序列评估模块包括：

点击率与时长计算单元，用于将各所述候选推荐序列输入序列评估模型，获得所述候选推荐序列的各推荐结果的点击概率和所述候选推荐序列的用户浏览时长预估值；以及

价值得分计算单元，用于根据所述候选推荐序列的各推荐结果的点击概率、所述候选推荐序列的时长预估值和所述候选推荐序列包含的广告的价格，计算所述候选推荐序列的价值得分。

所述装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，广告融合结构中包括处理器和存储器，所述存储器用于广告融合装置执行上述第一方面中广告融合程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述广告融合装置还可以包括通信接口，用于广告融合装置与其他设备或通信网络通信。

第三方面，本发明实施例还提供一种计算机可读存储介质，用于广告融合装置所用的计算机软件指令，其中包括用于执行上述第一方面的广告融合方法所涉及的程序。

上述技术方案中的其中一个技术方案具有如下优点或有益效果：

本发明实施例可以在将二维全景图还原得到三维全景图，然后根据所述三维全景图的封面图尺寸和封面图内容，从所述三维全景图中截取选定视角的二维图片，并将截取的二维图片保存为所述三维全景图的封面图。从而可以为三维全景图配置一个合适的二维的封面图。

上述技术方案中的任一个技术方案具有如下优点或有益效果：

本发明实施例将非广告结果和广告结果汇集到候选结果集合中，将候选结果集合输入序列生成模型中，得到所述候选结果集合中的各候选结果的选择概率；然后，根据各所述候选结果的选择概率，从所述候选结果集合中选取候选结果，生成多个候选推荐序列。因此，在将非广告结果和广告结果融合形成序列的过程，利用了非广告结果与广告结果以及相邻非广告结果之间的联系，候选推荐序列中插入的广告不会过于突兀，有效地提高用户的浏览体验。以及，还可以在多个候选推荐序列之中选择最优的序列作为最终下发给用户的推荐结果。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。

图1是现有技术提供的广告融合方法的示意图；

图2是本发明提供的广告融合方法的一个实施例的流程示意图；

图3是本发明提供的各候选结果的选择概率计算过程的一个实施例的流程示意图；

图4是本发明提供的序列生成模型的一个应用示例的示意图；

图5是本发明提供的各候选推荐序列的评估结果的过程的一个实施例的流程示意图；

图6是本发明提供的序列评估模型的一个应用示例的示意图；

图7是本发明提供的广告融合方法的一个应用示例的流程示意图；

图8是本发明提供的广告融合装置的选择概率计算模块的一个实施施例的结构示意图；

图9是本发明提供的广告融合装置的候选序列生成模块的一个实施施例的结构示意图；

图10是本发明提供的广告融合装置的候选序列评估模块的一个实施施例的结构示意图；

图11是本发明提供的广告融合装置的一个实施施例的结构示意图；

图12是本发明提供的终端设备的一个实施例的结构示意图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

请参阅图2，本发明实施例提供了一种广告融合方法，可以应用于服务端。服务端的设备可以包括计算机、微机等。本实施例包括步骤S100至步骤S500，具体如下：

S100，将非广告结果和广告结果汇合在候选结果集合中。

在本实施例中，用户可以在用户终端向服务端发送请求。用户终端可以包括智能手机、平板、计算机等。服务端将相应的推荐信息返回给用户终端。例如，用户在百度等搜索网站输入搜索词或搜索语句后，会向服务端发送搜索请求。服务端可以返回搜索到的结果展示给用户。

服务端可以在预定时间或预定的其他条件内主动向用户终端发送推荐信息。例如，服务端可以定期向用户的邮箱或手机收件发送商品优惠信息。

服务端可以在向用户终端发送下发推荐信息之前，在推荐信息中插入广告。

在本实施例中，根据用户信息或基于用户信息制定的信息召回策略，从相应的信息数据库中召回推荐信息，这些推荐信息属于非广告结果。例如，非广告结果可以包括商品优惠信息、搜索引擎的搜索信息、新闻信息或各领域的文章等。根据用户信息或基于用户信息制定的广告召回策略，从广告数据库中召回广告，这些广告属于广告结果。

将非广告结果和广告结果汇合在一起，形成候选结果集合。可以分别以子集的形式表示非广告结果和广告结果。例如，如果非广告结果包括item1、item2、···、itemn，广告结果包括ad1，ad2，···，adn，则候选结果集合包括子集{item1，item2，···，itemn}以及子集{d1，ad2，···，adn}。

S200，将候选结果集合输入序列生成模型，得到候选结果集合中的各候选结果的选择概率。

S300，根据各候选结果的选择概率，从候选结果集合中选取候选结果，生成多个候选推荐序列。

在本实施例中，可以采用多种启发式的方法来生成候选推荐序列(可以简称为候选序列)。例如采用set2seq(Sequence-to-sequence，序列至序列)的方法。具体地，采用RNN(Recurrent Neural Network，循环神经网络)或PN(pointer-network，指向网络)模型来为候选结果集合中的每个候选结果计算一个选择概率。

在本实施例中，生成候选推荐序列包括非广告结果和广告结果，且结果按顺序排列。例如，候选推荐序列可以为item2＜＜item1＜＜ad2＜＜item6，其中，“＜＜”表示顺序字符。

S400，将各候选推荐序列输入序列评估模型，得到各候选推荐序列的评估结果。

在本实施例中，序列评估模型可以采用RNN(Recurrent Neural Network，循环神经网络)网络或RNN的变形网络来构建。由于RNN网络包括多个隐状态神经元，相邻神经元之间具有连接权重，可以在模型训练过程中学习输入的样本序列中每个样本候选结果之间的特征。因而，在序列评估模型对候选推荐序列的评估过程中，可以利用序列中的候选结果之间的联系，来评估序列。如此，候选推荐序列的评估结果更为准确，更能体现非广告结果与广告结果之间的相互作用关系。

S500，根据各候选推荐序列的评估结果，从各候选推荐序列中选取优选推荐序列。

在本实施例中，可以向用户终端下发并在用户终端中展示优选推荐序列。

本发明实施例将非广告结果和广告结果汇集到候选结果集合中，将候选结果集合输入序列生成模型中，得到所述候选结果集合中的各候选结果的选择概率；然后，根据各所述候选结果的选择概率，从所述候选结果集合中选取候选结果，生成多个候选推荐序列。因此，在将非广告结果和广告结果融合形成序列的过程中，利用了非广告结果与广告结果以及相邻非广告结果之间的联系，能够使得候选推荐序列中插入的广告不会过于突兀，有效地提高用户的浏览体验。此外，还可以在多个候选推荐序列中选取最优的序列作为最后的推荐结果。

在一种可能的实现方式中，如图3所示，上述步骤S200的各候选结果的选择概率计算过程，可以包括步骤S210至步骤S230，如下：

S210，通过序列生成模型的编码器，对候选结果集合中各候选结果进行编码，获得各候选结果的编码向量。

S220，通过序列生成模型的解码器，对各候选结果的编码向量进行解码，获得候选推荐序列的各排列位置的解码向量。

S230，通过序列生成模型的指向网络，对各候选结果的编码向量和各排列位置的解码向量进行计算，获得各候选结果排列在各排列位置上的选择概率。

示例性地，本实施例的序列生成模型可以采用PN模型进行构建。如图4所示，PN模型包括输入层、嵌入(Embedding)层、RNN层及指针(pointer)层(指向网络)这四层。其中，输入层对所有的候选结果进行编码，并在解码过程中，会将生成的解码向量再次输入到输入层中。Embedding层是输入层的表示。在编码阶段，RNN网络仅对候选结果进行编码。在解码阶段，RNN网络输出候选推荐序列中每个位置的解码向量。指针层可以基于各候选结果的注意力机制以及解码向量，计算出各候选结果在候选推荐序列中的各排列位置的选择概率。

在一种可能的实现方式中，上述步骤S230计算选择概率的计算公式，包括：

其中，

表示第j个候选结果在候选推荐序列的第t个排列位置上的打分数值，根据第t个排列位置上的解码向量和第j个候选结果的编码向量，可以计算得到该打分数值。e_j表示第j个候选结果的编码向量，d_t表示在候选推荐序列的第t个排列位置上的解码向量，

表示第j个候选结果在第t个排列位置的选择概率，W₁、W₂、v^T表示序列生成模型的网络参数，τ表示指向网络的指向参数。

在一种可能的实现方式中，上述步骤S300的生成候选推荐序列的过程，可以包括：根据各候选结果排列在候选推荐序列的各排列位置上的选择概率，按概率大小的顺序对各排列位置上的候选结果进行排序；以及按照预设规则，选取候选结果排列在各排列位置上，获得候选推荐序列。候选推荐序列包括按顺序排列的多个推荐结果，推荐结果包括非广告结果和广告结果。

在本实施例中，预设规则可以包括：选择排序在第N个位置的候选结果等。N是正整数，例如1、2或3。

示例性，如果候选推荐序列的排列位置包括L1至L5，各候选结果包括{item1、item2、item3、item4、item5、item6、ad1、ad2、ad3、ad4}，各候选结果在排列位置L1选择概率为：P(item1)＝0.76、P(item2)＝0.79、P(item3)＝0.68、P(item4)＝0.55、P(item5)＝0.89、P(ad1)＝0.70、P(ad2)＝0.78、P(ad3)＝0.51、P(ad4)＝0.42。则，按照候选结果的选择概率的大小顺序，对各候选结果进行排序，可以得到item5＜＜item2＜＜ad2＜＜item1＜＜ad1＜＜item3＜＜item4＜＜ad3＜＜ad4。若预设规则为选择排序在第1个位置上的候选结果，则可以选择item5排列在候选推荐序列的L1位置上。对于候选推荐序列的其他排列位置也可以类推获得相应的候选结果。因而，对候选推荐序列的每一个排列位置采用不同的预设规则进行选择，可以获得多个候选推荐序列。在此不一一举例。

在一种可能的实现方式中，评估结果包括价值得分。如图5所示，上述步骤S400计算各候选推荐序列的评估结果的过程，可以包括步骤S410和步骤S420，如下：

S410，将各候选推荐序列输入序列评估模型，获得候选推荐序列的各推荐结果的点击概率和候选推荐序列的用户浏览时长预估值。用户浏览时长预估值是：当该序列展示在用户终端时，用户浏览此序列的时长和用户点击该序列中的任一个推荐结果链接到另一个页面的浏览时长的总和。

S420，根据候选推荐序列的各推荐结果的点击概率、候选推荐序列的时长预估值和候选推荐序列包含的广告的价格，计算候选推荐序列的价值得分。

本实施例的序列评估模型可以采用统一双向RNN模型来评估序列中的非广告结果的体验价值以及广告结果的商业价值。例如，可以通过预估其点击概率以及整个序列的用户浏览时长预估值来体现。一般地，点击概率越高，非广告结果或广告结果的价值越高；序列的用户浏览时长预估值越高，序列的非广告结果和广告结果的价值越高。因而，本实施例根据各候选推荐序列的评估结果来寻优，可以最大化推荐内容的体验价值与商业价值，达到整体优化的优化与平衡的效果。

参见图6，统一双向RNN模型包括输入层、embedding层、RNN层和输出层四个主要模型层级。将序列中每一个推荐结果的特征输入输入层。对于非广告结果，可以输入非广告结果的原始特征。例如，以非广告结果为文章为例，原始特征可以包括文章标题、主题分类、质量分级、作者等。对于广告结果，可以输入广告特征，例如广告的类别、标题、广告描述等。Embedding层可以表示每个推荐结果。经过RNN层的计算可以得到输出结果。和PN模型的RNN层作用原理相似，RNN层包含两个部分。第一个部分用于编码，对输入的序列依据用户信息以及服务端与用户终端之间的会话信息进行单向的RNN编码，可以得到用户、场景、历史行为等与序列具体内容无关的场景编码表示。第二部分是一个双向RNN结构，可以接收场景编码，并通过上下文信息以及整体序列的信息进行解码，为序列的预估提供解码向量表示。输出层包含多个目标(multi-task)模式。输出层可以预估每个推荐结果的点击概率，同时给出整个序列的用户浏览时长预估值。

可选地，计算候选推荐序列的价值得分的计算公式，包括：

其中，list_score_l表示第l个候选推荐序列的价值得分，click_i表示第l个候选推荐序列中的第i个推荐结果的点击概率，duration_l表示第l个候选推荐序列的用户浏览时长预估值，click_i表示第l个候选推荐序列包含的第j个广告的点击概率，price_j表示第l个候选推荐序列包含的第j个广告的价格，ad表示第l个候选推荐序列所包含广告的集合。

参见图7，图7是本发明提供的广告融合方法的一个应用示例的流程示意图。本应用示例提供的广告融合方法与传统广告融合方法有显著差异。广告结果与非广告结果的融合框架包含两个步骤：序列生成和序列评估选取。

在序列生成阶段，接收下游召回策略产出的非广告结果候选集合和广告结果候选集合。采用模型计算，产出一些融合了非广告结果与广告结果的推荐列表的候选，即候选推荐序列。多个候选推荐序列组成候选推荐序列集合

其中，L_i表示一个候选的列表(序列)。

在序列评估阶段，对每个待评估的序列进行序列级评估，挑选出最好的一个序列(称之为L^*)返回给用户。序列生成阶段在于生成更多更好的候选推荐序列。本阶段的目的在于从候选推荐序列中挑出最优序列。此最优序列可以较好地整体优化用户体验与广告价值。序列生成与序列评估是本发明实施例最主要的框架。以下分别介绍序列生成阶段和序列评估阶段的实现方式。

(一)序列生成阶段

在序列生成阶段，生成较多的候选推荐序列以供评估模型评估。可以采用多种启发式方法来生成候选推荐序列，例如采用set2seq的方法。通过一个打分模型对集合内容进行评分，从集合中提取集合元素组装成一个序列。具体地，本实施例采用指向网络(pointer-network，简称PN模型)来进行序列生成。一种示例性的PN模型结构，可以如图4所示。

从左到右，PN网络分为两个主要阶段，一个是候选编码阶段，一个是结果生成阶段。候选编码阶段对包括非广告结果与广告结果在内的所有候选结果进行编码，得到整体编码后进入候选结果的选择概率的生成阶段。在选择概率的生成阶段可以通过RNN的解码向量与各候选的注意力(attention)机制来确定各候选结果的选择权重(选择概率)。其中，模型按时间序列逐个输出解码向量，解码向量的输出先后顺序对应候选推荐序列的排列顺序，以此确定候选推荐序列的各候选结果的解码向量。因而，第t时刻的解码向量相当于候选推荐序列上第t个排列位置上的解码向量。t为整数值。t时刻仅表示时刻的选后顺序。因而，在t时刻，相当于在候选推荐序列的第t个排列位置上，第j个候选结果的选择概率为：

其中，e_j表示第j个候选结果的编码向量，d_t表示在候选推荐序列的第t个排列位置上的解码向量，

表示第j个候选结果在第t个排列位置的选择概率，W₁、W₂、v^T表示序列生成模型的网络参数，τ表示指向网络的指向参数。

图中，从下到上，PN模型包含输入层、Embedding层、RNN层及指针层(Pointer层)这四层。输入层对所有的候选结果的结构进行编码，并在解码过程中，会将生成的解码向量的部分结果再次输入到输入层中。Embedding层是输入层的表示。在编码阶段，RNN网络仅对候选结果进行编码。在解码阶段，RNN网络输出候选推荐序列中每个位置的解码向量d_t。指针层可以基于各候选结果的注意力机制以及解码向量，计算出各候选结果在候选推荐序列中的各排列位置的选择概率

在确定每个候选结果在候选推荐序列中的各排列位置的选择概率后，可通过多次随机采样得到在各排列位置的多个选择结果，从而形成多个候选推荐序列。

(二)序列评估阶段

在序列评估阶段，将上述序列生成阶段产出的候选推荐序列输入评估模型进行评估，从中挑出最好的一个作为最终结果。基于序列优化的广告融合的一个难点在于如何评估非广告结果的用户体验价值与广告结果的商业价值。本应用示例可以通过一个统一的多目标双向RNN评估模型，同时对这两个方面的多个指标进行评估。最大化序列的推荐内容的体验价值与商业价值，来达到整体优化的目的。一种示例性的评估模型的结构可以如图6所示。

图6中的统一双向RNN模型，包括输入层、embedding层、RNN层和输出层四个主要层级。由于前述已对该模型进行阐述，在此不再赘述。利用该模型预估出序列中每个推荐内容(包括非广告结果和广告结果)的点击概率click_i，同时给出整个序列的用户浏览时长预估值duration_l。序列l总体得分为：

其中，price_j表示广告结果的价格。评估模型挑选评估得分最高的序列作为最终结果下发给用户。

通过以上两个步骤，本实施例可以实现序列级别的广告结果与非广告结果整体融合。在整体融合的过程中，采用PN模型生成候选推荐序列，并通过一个多目标双向RNN评估模型对候选推荐序列进行多角度评估，最终拟合出一个序列的价值得分。此价值得分可以整体评价序列的用户体验与商业价值。将最高价值得分的序列下发给用户，可以起到对序列的用户体验与商业价值优化的效果。

本应用示例的方案具有以下技术优点：

(1)采用序列最优化框架，可以在序列级对下发列表进行寻优，能够在序列阅读节奏、序列内容多样性及插入广告的收益上取得整体效果的优化及平衡。

(2)在序列评估中，结合上下文确定的环境为各结果打分。这种情况下，可以充分体现上下文对非广告结果及广告结果的影响，预估结果会更加准确，更能体现非广告结果与广告的相互作用关系。

请参阅图8，本发明实施例提供一种广告融合装置，包括：

汇合模块100，用于将非广告结果和广告结果汇合在候选结果集合中；

选择概率计算模块200，用于将所述候选结果集合输入序列生成模型，得到所述候选结果集合中的各候选结果的选择概率；

候选序列生成模块300，用于根据各所述候选结果的选择概率，从所述候选结果集合中选取候选结果，生成多个候选推荐序列；

候选序列评估模块400，用于将各所述候选推荐序列输入序列评估模型，得到各所述候选推荐序列的评估结果；以及

优选序列选取模块500，用于根据各所述候选推荐序列的评估结果，从所述各候选推荐序列中选取优选推荐序列。

在一种可能的实现方式中，如图9所示，所述选择概率计算模块200包括：

编码向量获取单元210，用于通过序列生成模型的编码器，对所述候选结果集合中各候选结果进行编码，获得所述各候选结果的编码向量；

解码向量获取单元220，用于通过所述序列生成模型的解码器，对所述各候选结果的编码向量进行解码，获得候选推荐序列的各排列位置的解码向量；以及

选择概率获取单元230，用于通过所述序列生成模型的指向网络，对所述各候选结果的编码向量和所述各排列位置的解码向量进行计算，获得所述各候选结果排列在各排列位置上的选择概率。

在一种可能的实现方式中，如图10所示，所述候选序列生成模块300包括：

候选结果排序单元310，用于根据各候选结果排列在候选推荐序列的各排列位置上的选择概率，按概率大小的顺序对各排列位置上的候选结果进行排序；以及

候选结果排列单元320，用于按照预设规则，选取候选结果排列在各排列位置上，获得候选推荐序列。

在一种可能的实现方式中，如图11所示，所述评估结果包括价值得分，所述候选序列评估模块400包括：

点击率与时长计算单元410，用于将各所述候选推荐序列输入序列评估模型，获得所述候选推荐序列的各推荐结果的点击概率和所述候选推荐序列的用户浏览时长预估值；以及

价值得分计算单元420，用于根据所述候选推荐序列的各推荐结果的点击概率、所述候选推荐序列的时长预估值和所述候选推荐序列包含的广告的价格，计算所述候选推荐序列的价值得分。

所述装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，广告融合结构中包括处理器和存储器，所述存储器用于广告融合装置执行上述第一方面中广告融合程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述广告融合装置还可以包括通信接口，用于广告融合装置与其他设备或通信网络通信。

本发明实施例还提供一种广告融合终端设备，如图12所示，该设备包括：存储器21和处理器22，存储器21内存储有可在处理器22上的计算机程序。处理器22执行计算机程序时实现上述实施例中的广告融合方法。存储器21和处理器22的数量可以为一个或多个。

该设备还包括：

通信接口23，用于处理器22与外部设备之间的通信。

存储器21可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

如果存储器21、处理器22和通信接口23独立实现，则存储器21、处理器22和通信接口23可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器21、处理器22及通信接口23集成在一块芯片上，则存储器21、处理器22及通信接口23可以通过内部接口完成相互间的通信。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

本发明实施例的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质的更具体的示例至少(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

在本发明实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于指令执行系统、输入法或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成的程序，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种广告融合方法，其特征在于，包括：

将非广告结果和广告结果汇合在候选结果集合中；

将所述候选结果集合输入序列生成模型，得到所述候选结果集合中的各候选结果的选择概率；

根据各所述候选结果的选择概率，从所述候选结果集合中选取候选结果，生成多个候选推荐序列；

将各所述候选推荐序列输入序列评估模型，得到各所述候选推荐序列的评估结果；以及

根据各所述候选推荐序列的评估结果，从所述各候选推荐序列中选取优选推荐序列。

2.如权利要求1所述的广告融合方法，其特征在于，所述将所述候选结果集合输入序列生成模型，得到所述候选结果集合中的各候选结果的选择概率，包括：

通过序列生成模型的编码器，对所述候选结果集合中各候选结果进行编码，获得所述各候选结果的编码向量；

通过所述序列生成模型的解码器，对所述各候选结果的编码向量进行解码，获得候选推荐序列的各排列位置的解码向量；以及

通过所述序列生成模型的指向网络，对所述各候选结果的编码向量和所述各排列位置的解码向量进行计算，获得所述各候选结果排列在各排列位置上的选择概率。

3.如权利要求1所述的广告融合方法，其特征在于，所述根据各所述候选结果的选择概率，从所述候选结果集合中选取候选结果，生成多个候选推荐序列，包括：

根据各候选结果排列在候选推荐序列的各排列位置上的选择概率，按概率大小的顺序对各排列位置上的候选结果进行排序；以及

按照预设规则，选取候选结果排列在各排列位置上，获得候选推荐序列。

4.如权利要求2所述的广告融合方法，其特征在于，计算获得所述各候选结果排列在各排列位置上的选择概率的计算公式，包括：

其中，

表示第j个候选结果在候选推荐序列的第t个排列位置上的打分数值，e_j表示第j个候选结果的编码向量，d_t表示在候选推荐序列的第t个排列位置上的解码向量，

表示第j个候选结果在第t个排列位置的选择概率，W₁、W₂、v^T表示所述序列生成模型的网络参数，τ表示所述指向网络的指向参数。

5.如权利要求1所述的广告融合方法，其特征在于，所述评估结果包括价值得分，所述将各所述候选推荐序列输入序列评估模型，得到各所述候选推荐序列的评估结果，包括：

将各所述候选推荐序列输入序列评估模型，获得所述候选推荐序列的各推荐结果的点击概率和所述候选推荐序列的用户浏览时长预估值；以及

根据所述候选推荐序列的各推荐结果的点击概率、所述候选推荐序列的时长预估值和所述候选推荐序列包含的广告的价格，计算所述候选推荐序列的价值得分。

6.如权利要求5所述的广告融合方法，其特征在于，计算所述候选推荐序列的价值得分的计算公式，包括：

其中，list_score_l表示第l个候选推荐序列的价值得分，click_i表示第l个候选推荐序列中的第i个推荐结果的点击概率，duration_l表示第l个候选推荐序列的用户浏览时长预估值，click_j表示第l个候选推荐序列包含的第j个广告的点击概率，price_j表示第l个候选推荐序列包含的第j个广告的价格，ad表示第l个候选推荐序列所包含广告的集合。

7.一种广告融合装置，其特征在于，包括：

汇合模块，用于将非广告结果和广告结果汇合在候选结果集合中；

选择概率计算模块，用于将所述候选结果集合输入序列生成模型，得到所述候选结果集合中的各候选结果的选择概率；

候选序列生成模块，用于根据各所述候选结果的选择概率，从所述候选结果集合中选取候选结果，生成多个候选推荐序列；

候选序列评估模块，用于将各所述候选推荐序列输入序列评估模型，得到各所述候选推荐序列的评估结果；以及

优选序列选取模块，用于根据各所述候选推荐序列的评估结果，从所述各候选推荐序列中选取优选推荐序列。

8.如权利要求7所述的广告融合装置，其特征在于，所述选择概率计算模块包括：

编码向量获取单元，用于通过序列生成模型的编码器，对所述候选结果集合中各候选结果进行编码，获得所述各候选结果的编码向量；

解码向量获取单元，用于通过所述序列生成模型的解码器，对所述各候选结果的编码向量进行解码，获得候选推荐序列的各排列位置的解码向量；以及

选择概率获取单元，用于通过所述序列生成模型的指向网络，对所述各候选结果的编码向量和所述各排列位置的解码向量进行计算，获得所述各候选结果排列在各排列位置上的选择概率。

9.如权利要求7所述的广告融合装置，其特征在于，所述候选序列生成模块包括：

候选结果排序单元，用于根据各候选结果排列在候选推荐序列的各排列位置上的选择概率，按概率大小的顺序对各排列位置上的候选结果进行排序；以及

候选结果排列单元，用于按照预设规则，选取候选结果排列在各排列位置上，获得候选推荐序列。

10.如权利要求7所述的广告融合装置，其特征在于，所述评估结果包括价值得分，所述候选序列评估模块包括：

点击率与时长计算单元，用于将各所述候选推荐序列输入序列评估模型，获得所述候选推荐序列的各推荐结果的点击概率和所述候选推荐序列的用户浏览时长预估值；以及

价值得分计算单元，用于根据所述候选推荐序列的各推荐结果的点击概率、所述候选推荐序列的时长预估值和所述候选推荐序列包含的广告的价格，计算所述候选推荐序列的价值得分。

11.一种实现广告融合的终端设备，其特征在于，所述终端设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-6中任一所述的广告融合方法。

12.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的广告融合方法。

Images