CN114117216A - 推荐概率预测方法及装置、计算机存储介质和电子设备 - Google Patents

Abstract

本公开具体公开一种推荐概率预测方法及装置、存储介质和电子设备。该方法包括：获取用户的行为数据，根据行为数据确定用户行为特征；将待推荐信息的特征和用户行为特征输入至多任务推荐概率预测模型中，输出用户的多个目标推荐概率，多任务推荐概率预测模型至少包括专家网络、与预测目标对应的门网络、隐层网络和融合网络；专家网络用于从多个维度对输入的第一目标特征进行特征提取，门网络用于输出提取的特征在对应的预测目标下的权重且输入至门网络的第二目标特征根据对应的预测目标确定，隐层网络用于根据对应门网络输出的权重，将提取的特征进行融合，融合网络用于对隐层网络输出的推荐概率进行融合处理。本公开能提高推荐概率的预估准确性。

Description

推荐概率预测方法及装置、计算机存储介质和电子设备

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种推荐概率预测方法、推荐概率预测装置、计算机存储介质和电子设备。

背景技术

随着计算机技术的发展，机器学习的应用领域也越来越广泛，很多应用场景下需要根据历史数据的发展规律进行数据预测，例如在个性化推荐领域，为了将用户最可能点击、更喜欢、更有付费倾向的内容能够优先展示，通过对展示的内容进行概率预估，并根据概率预估结果决定内容的展示与否或展示顺序。

相关技术中，采用单目标的概率预估模型仅能预测一个概率，若要同时预测多个概率，则需要训练多个模型并通过同时调用多个模型来获得多个推荐概率，然而在模型训练过程中，不同预测目标对应模型的训练样本量的需求不同，即存在数据稀疏性问题，例如对于点击率和转化率的样本量存在一个或几个数量级的差别，单独用来训练转化率模型的样本是不足的，则导致模型学习精度降低，影响概率预测的准确性；另一方面，单模型在转化率预估的预测阶段跟训练阶段的样本分布存在偏差，例如存在未点击而直接转化的样本并没有被转化率模型学习过，从而导致实际预测不准的情况。此外，相关技术中还有采用多目标预测模型来同时进行概率预测，然而不同预测目标之间存在相互干扰作用影响预测精度。

需要说明的是，在上述背景技术部分发明的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种推荐概率预测方法及装置、计算机存储介质和电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的同时预测多个目标推荐概率时的预测准确性低等问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种推荐概率预测方法，包括：获取用户的行为数据，并根据所述行为数据确定用户行为特征；将待推荐信息的特征和所述用户行为特征输入至多任务推荐概率预测模型中，以输出所述用户的多个目标推荐概率，所述多任务推荐概率预测模型至少包括专家网络、与预测目标对应的门网络、隐层网络和融合网络；其中，所述专家网络用于从多个维度对输入的第一目标特征进行特征提取，所述门网络用于输出提取的特征在对应的预测目标下的权重且输入至门网络的第二目标特征根据对应的预测目标确定，所述第一目标特征包含于所述第二目标特征，所述隐层网络用于根据对应门网络输出的权重，将提取的特征进行融合，所述融合网络用于对所述隐层网络输出的推荐概率进行融合处理。

在本公开的一种示例性实施例中，所述多任务推荐概率预测模型是以用户历史行为样本数据和推荐信息样本数据确定的基础样本特征为输入进行训练得到的；其中，输入至所述专家网络的第一目标样本特征为输入至各个门网络的第二目标样本特征中的共有样本特征集；输入至所述门网络的第二目标样本特征为所述基础样本特征中所述门网络对应预测目标特有的样本特征和所述共有样本特征。

在本公开的一种示例性实施例中，所述目标推荐概率包括点击率和转化率，所述预测目标包括点击率和转化率，所述隐层网络根据对应门网络输出的权重，将提取的特征进行融合，包括：根据所述对应门网络输出的权重，对提取的特征进行加权求和，得到与所述专家网络具有相同维度的向量特征；所述向量特征经过所述隐层网络中的全连接网络和分类网络的处理，输出所述点击率或转化率。

在本公开的一种示例性实施例中，所述目标推荐概率还包括点击且转化率，所述融合网络对各所述隐层网络输出特征进行融合处理，包括：将所述点击率和转化率进行概率连乘以确定所述点击且转化率。

在本公开的一种示例性实施例中，所述多任务推荐概率预测模型训练过程中，损失函数的构建包括：根据得到的所述点击率与具有点击属性的样本特征确定第一交叉熵损失；根据得到的所述点击且转化率与具有转化属性的样本特征确定第二交叉熵损失；将所述第一交叉熵损失和第二交叉熵损失进行融合处理得到所述损失函数。

在本公开的一种示例性实施例中，所述专家网络包括多种类型的深度学习模型且每个所述专家网络输出的特征为具有相同维度的特征向量。

在本公开的一种示例性实施例中，所述待推荐信息的数量为多个；所述将待推荐信息的特征和所述用户行为特征输入至多任务推荐概率预测模型中，以输出所述用户的多个目标推荐概率之后，所述方法还包括：根据预设组合策略对所述多个目标推荐概率进行组合，得到每个待推荐信息对所述用户的组合推荐概率；将所述组合推荐概率大于概率阈值的目标推荐信息推送至所述用户。

根据本公开的一个方面，提供一种推荐概率预测装置，所述装置包括：获取模块，用于获取用户的行为数据，并根据所述行为数据确定用户行为特征；概率预测模块，用于将待推荐信息的特征和所述用户行为特征输入至多任务推荐概率预测模型中，以输出所述用户的多个目标推荐概率，所述多任务推荐概率预测模型至少包括专家网络、与预测目标对应的门网络、隐层网络和融合网络；其中，所述专家网络用于从多个维度对输入的第一目标特征进行特征提取，所述门网络用于输出提取的特征在对应的预测目标下的权重且输入至门网络的第二目标特征根据对应的预测目标确定，所述第一目标特征包含于所述第二目标特征，所述隐层网络用于根据对应门网络输出的权重，将提取的特征进行融合，所述融合网络用于对所述隐层网络输出的推荐概率进行融合处理。

根据本公开的一个方面，提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的推荐概率预测方法。

根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的推荐概率预测方法。

本公开的示例性实施例中的推荐概率预测方法，通过将用户行为特征和待推荐信息的特征输入至多任务推荐概率预测模型可输出用户的多个目标推荐概率。一方面，通过与预测目标对应的门网络输出专家网络输出特征在对应的预测目标下的权重，采用注意力机制将不同特征组合对不同预测目标的重要性动态计算出来，并施加到不同的专家网络，可以让预测和训练都能自适应的决定不同预测目标对输入特征和各个专家网络的依赖程度，缓解预测目标之间的相互干扰，同时由于输入至门网络的第二目标特征是根据对应的预测目标确定的，可以指定不同预测目标下的门网络输入，能更好让门网络学习不同预测目标下关于专家网络输出特征的权重组合，从而提高各个预测目标的预测准确性；另一方面，基于不同预测目标之间的潜在概率关系，通过融合网络将不同隐层网络输出的推荐概率进行融合处理，使模型在学习过程中捕捉两者关系，不仅提升模型预测性能，也增加输出的预测推荐概率的数量并能应用于不同的场景。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：

图1示出了根据本公开示例性实施例的推荐概率预测方法的流程图；

图2示出了根据本公开示例性实施例的多任务推荐概率预测模型的结构示意图；

图3示出了根据本公开示例性实施例的隐层网络的结构示意图；

图4示出了根据本公开示例性实施例的隐层网络将各个专家网络提取的特征进行融合处理的流程图；

图5示出了根据本公开示例性实施例的在多任务推荐概率预测模型训练过程中，损失函数的构建流程图；

图6示出了根据本公开示例性实施例的推荐概率预测装置结构示意图；

图7示出了根据本公开示例性实施例的存储介质的示意图；以及

图8示出了根据本公开示例性实施例的电子设备的框图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

现在将参考附图更全面地描述示例性实施方式。然而，示例性实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施例使得本公开将更加全面和完整，并将示例性实施方式的构思全面地传达给本领域的技术人员。图中相同的附图标记表示相同或类似的结构，因而将省略它们的详细描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

随着计算机和互联网技术的发展，需要进行信息对象推荐的应用场景越来越多，例如，电商平台可为用户推荐商品或服务，电影票购票平台可为用户推荐电影，游戏平台可为用户推荐游戏、玩法、装备，门户网站可向用户推荐资讯，等等。推荐算法的准确性将直接影响用户体验。

在本领域相关技术中，通过对待推荐给用户的内容进行概率预估，并根据概率预估的结果决定是否推荐或推荐顺序，其中涉及点击率CTR，转化率CVR，其中CTR为内容被用户点击的次数与全部内容的展示量的比值，CVR为用户在该内容停留时长超过预设时间的概率，或者CVR为用户发生购买动作的概率。为了能在下发数据给用户之前进行概率预估，可以通过机器学习模型对多种内容对应的概率进行预测，例如通过深度学习模型通过输入用户行为特征和推荐信息的特征来计算CTR和CVR，并基于得到的概率值来决定推荐信息的推荐顺序。相关技术中采用单目标模型组合的形式来预测概率，但是存在数据稀疏性和样本选择偏差问题，且采用的多目标模型预测中无法消除各个预测目标之间的彼此影响，也难以同时把握各个预测目标的预测准确性，模型预测准确性受到极大影响。

基于此，在本公开示例性实施例中，首先提供了一种推荐概率预测方法。参考图1所示，该推荐概率预测方法包括以下步骤：

步骤S110：获取用户的行为数据，并根据行为数据确定用户行为特征；

步骤S120：将待推荐信息的特征和用户行为特征输入至多任务推荐概率预测模型中，以输出用户的多个目标推荐概率；

其中，多任务推荐概率预测模型至少包括专家网络、与预测目标对应的门网络、隐层网络和融合网络；所述专家网络用于从多个维度对输入的第一目标特征进行特征提取，所述门网络用于输出提取的特征在对应的预测目标下的权重且输入至所述门网络的第二目标特征根据对应的预测目标确定，所述隐层网络用于根据对应门网络输出的权重，将提取的特征进行融合，所述融合网络用于对所述隐层网络输出的推荐概率进行融合处理。

根据本示例实施例中的推荐概率预测方法，一方面，通过与预测目标对应的门网络输出专家网络输出特征在对应的预测目标下的权重，采用注意力机制将不同特征组合对不同预测目标的重要性动态计算出来，并施加到不同的专家网络，可以让预测和训练都能自适应的决定不同预测目标对输入特征和各个专家网络的依赖程度，缓解目标之间的相互干扰，同时由于输入至门网络的第二目标特征是根据对应的预测目标确定的，可以指定不同预测目标下的门网络输入，能更好让门网络学习不同预测目标下关于专家网络输出特征的权重组合，从而提高各个预测目标的预测准确性；另一方面，基于不同预测目标之间的潜在概率关系，通过融合网络将不同隐层网络输出的推荐概率进行融合处理，使模型在学习过程中捕捉两者关系，不仅提升模型预测性能，也增加输出的预测推荐概率的数量并能应用于不同的场景。

下面对本公开示例性实施例中的推荐概率预测方法进行进一步的说明。

图2示出了根据本公开示例性实施例的多任务推荐概率预测模型的结构示意图，参见图2所示，本公开的多任务推荐概率预测模型200至少包括专家网络210、与预测目标对应的门网络220、隐层网络230和用于对各隐层网络输出的推荐概率进行融合处理的融合网络240。

在本公开的示例性实施例中，每个专家网络用于从多个维度对输入的第一目标特征进行特征提取，例如，基于输入的第一目标特征，专家网络i的输出为

为一组n维的特征向量；每个门网络用于输出每个专家网络输出特征在对应的预测目标下的权重且输入至每个门网络的第二目标特征根据对应的预测目标确定，例如，基于输入至某个门网络的第二目标特征，该门网络输出为一个长度为m的向量特征

该向量特征的每一个维度上的数值标识在对应的预测目标下各个专家网络输出特征的权重，其中，第一目标特征包含于第二目标特征，即输入至专家网络的第一目标特征为输入至各个门网络的第二目标特征的共有特征形成的共有特征集。

在本公开的示例性实施例中，该多任务推荐概率预测模型200是以用户历史行为样本数据和推荐信息样本数据确定的基础样本特征为输入进行训练得到的。

其中，用户历史行为样本数据确定的基本样本特征包括如年龄、性别、职业、作息习惯等基本特征和如点击、收藏、用户评分、下单次数、物品消费偏好、交友特征、加入购物车等行为特征；推荐信息样本数据确定的基础样本特征包括内容属性特征(如游戏属性、影音属性或购物属性)、受众群体性别和年龄、玩法规则，等等。本公开可根据实际推荐需求，确定训练多任务推荐概率预测模型的基础样本特征的输入，例如，若推荐信息为电影，则输入的基础样本特征可包括评论、收藏、观影等；若推荐信息为商品，则输入的基础样本特征可包括评论、浏览、购买等；若推荐信息为游戏，则输入的基础样本特征可包括皮肤、角色、装备和技能等，当然还需输入用户行为特征，本公开对训练模型采用的基础训练样本不做具体限定。

进一步的，继续参见图2，输入至不同门网络的第二目标样本特征并非完全相同，是根据门网络对应的预测目标确定的。具体地，输入至每个门网络的第二目标样本特征为基础样本特征中门网络对应预测目标特有的样本特征和输入至各门网络所共有的特征，例如在直播场景中，除了输入各个门网络所共有的特征之外，输入至预测目标为点击率所对应的门网络中的第二样本特征还包括：用户观看直播序列、用户观看直播时长序列、用户观看偏好序列特征等，而该些第二样本特征不会输入至其他门网络中；输入至预测目标转化率所对应的门网络中的第二样本特征还包括：用户付费直播序列、用户付费直播金额序列等与用户付费偏好相关的特征，而该些样本特征也不会输入至其他门网络中。基于此，本公开可以根据推荐概率的实际情况，指定输入至各个门网络的第二目标样本特征，使得模型训练更具灵活性，更好地让门网络学习不同预测目标下关于不同专家网络的权重组合。

继续参见图2，本公开输入至每个专家网络的第一目标样本特征是相同的，为输入至各个门网络的第二样本特征中的共有样本特征，即输入至每个专家网络的第一目标样本特征为输入至各个门网络中第二目标样本特征集的交集。

举例而言，若输入至多任务推荐概率预测模型的基础样本特征包括{A1、A2、A3、A4、A5、A6}，其中第一预测目标特有的第二目标样本特征为{A1、A2}，第二预测目标特有的第二目标样本特征为{A5、A6}，则在模型训练过程中，各门网络共有的第二样本特征为{A3、A4}，则将第二目标样本特征{A1、A2、A3、A4}输入至第一预测目标对应的门网络，将第二目标样本特征{A5、A6、A3、A4}输入至第二预测目标对应的门网络，将第一目标样本特征{A3、A4}输入至各个专家网络中。

在本公开的示例性实施例中，每个门网络可以为单层DNN(Deep NeuralNetworks，深度神经网络)模型、DCN(Deep&Cross Network，深度交叉网络)、基于普通注意力模型的DIN(Deep Interest Network，深度兴趣网络)网络，等等；每个专家网络可以为多层DNN网络，还可以为DIN网络，能够通过该网络学习特征之间的交互信息，当然，还可以根据实际预测需求，选择其他深度学习网络，如deepFM网络(深度推荐模型)、Wide&Deep网络，等等，本公开对各门网络和多个专家网络的模型类型不做特殊限定。

在本公开的示例性实施例中，多个专家网络可以包括多种类型的深度学习网络且各专家网络输出的特征具有相同的维度，通过将多个专家网络采用多种不同的网络结构，能够利用不同网络的优势，让专家网络的输出特征更灵活，在不断调试中提高推荐概率的预测准确性。

在本公开的示例性实施例中，图3示出了根据本公开示例性实施例的隐层网络的结构示意图，如图3所示，实线代表的与不同预测目标对应的两个隐层网络M和N的结构；其中，与第一预测目标对应的隐层网络M包括：加权融合网络m1，用于根据门网络1输出的权重，将各个专家网络提取的特征进行融合处理，全连接网络和分类网络m2用于将门加权融合网络m1融合处理后的特征进行处理，输出为第一预测目标(第一推荐概率)，通过与第二预测目标对应的隐藏网络N的处理过程与隐层网络M的处理过程相同，在此不再赘述。其中，隐层网络中的全连接网络和分类网络可以为DNN网络和softmax网络。

在本公开的示例性实施例中，推荐概率包括点击率和转化率，预测目标包括点击率和转化率，隐层网络根据对应门网络输出的权重，将各个专家提取的特征进行融合，分别输出点击率和转化率。图4示出了根据本公开示例性实施例的隐层网络将各个专家网络提取的特征进行融合处理的流程图，如图4所示，该过程包括：

步骤S410，根据对应门网络输出的权重，对提取的特征进行加权求和，得到与各个专家网络具有相同维度的向量特征。

继续参见上述示例，对于某预测目标，对应的门网络输出为一个长度为m的特征向量

专家网络i的输出为

则根据特征向量G_i，对各个专家网络提取的特征进行加权求和，得到对应门网络在该某预测目标下的向量特征为：

步骤S420，将向量特征经过隐层网络中的全连接网络和分类网络的处理，输出点击率或转化率。

由于本模型输出的结果为一个多维特征向量，因此通过隐层网络中的全连接网络和分类网络对加权求和后的向量特征进行处理，以输出为点击率或转化率。例如，在隐层网络中的DNN网络中，加权求和后的向量特征进行前向传播，最终通过softmax网络进行处理，输出为一个推荐概率值。

在本公开的示例性实施例中，目标推荐概率还可以包括点击且转换率，融合网络用来对各个隐层网络输出特征进行融合处理，具体的，可根据点击率PCTR和转化率PCVR确定点击且转化率PCTCVR，参见如下公式：PCTCVR＝PCTR×PCVR。基于此，综合考虑各概率之间的关系，可以让模型同时学习并预测三个概率值，即同时输出点击率、转化率和点击且转化率。

此外，参见图5所示，在多任务推荐概率预测模型训练过程中，损失函数的构建包括如下步骤：

步骤S510，确定点击率与具有点击属性的样本特征之间的第一交叉熵损失；步骤S520，确定点击且转化率与具有转化属性的样本特征之间的第二交叉熵损失；步骤S530，将第一交叉熵损失和第二交叉熵损失进行融合处理得到损失函数。其中，交叉熵用于刻画实际输出概率和期望输出概率的距离，交叉熵值越小则实际与期望差距越小。本公开通过将第一交叉熵损失和第二交叉熵损失进行加权处理，得到损失函数，具体加权处理可以采用如下公式：

L＝αL₁+(1-α)L₂

其中，L₁为第一交叉熵损失，L₂为第二交叉熵损失，0＜α＜1，α用于控制两个交叉熵损失的比例关系，可以通过实际推荐情况确定该值，本公开对α的具体确定过程不做具体限定。

本公开的多任务推荐概率预测模型综合考虑点击且转化率和点击率之间的关系，在最终输出的推荐概率以及损失函数的构建过程中，均考虑两概率目标之间潜在的概率关系，在模型学习过程中能够捕捉两者之间的关系，提升模型同时预测转化率、点击率和点击且转化率的准确性。

下面对本公开的多任务推荐概率预测模型的工作原理进行说明：

首先，指定专家网络，各个门网络输入的目标特征(包括输入至专家网络的第一目标特征和输入至门网络的第二目标特征)；

其次，向多任务推荐概率预测模型中输入用户行为特征和待推荐信息的特征，该些特征在输入层就被划分为多个目标特征，其中，输入至每个门网络的第二目标特征为该些特征中每个门网络对应预测目标特有的样本特征，输入至每个专家网络的第一目标特征为输入至各个门网络的第二样本特征的共有样本特征；

接着，各个专家网络通过对输入的第一目标特征进行特征提取，分别输出多维的向量特征，并且每个门网络根据输入的第二目标特征输出在对应的预测目标下每个专家网络的权重；

然后，各个隐层网络根据对应门网络输出的权重，将各个专家网络提取的特征进行融合处理，分别输出推荐概率；

最后，还可以通过融合网络对各个隐层网络输出的推荐概率进行融合处理，以得到多个目标推荐概率。

此外，在本公开的示例性实施例中，当待推荐信息为多个时，可以将用户行为特征和待推荐信息的特征输入至多任务推荐概率预测模型并输出用户的多个目标推荐概率之后，还可以根据预设组合策略对多个目标推荐概率进行组合，得到每个待推荐信息对用户的组合推荐概率，并将组合推荐概率大于概率阈值的目标推荐信息推送至所述用户。

可选地，可以将点击率直接用于预测点击率；可选地，可以利用离线实验组合点击率和点击且转化率，并将组合得到的值用于预测，其中组合方式可以为线性组合或其他数学组合方式，本申请对此不做特殊限定；概率阈值可以根据实际推荐情况进行限定，例如将组合推荐概率大于75％的待推荐信息推送至用户。例如，可以将该些待推荐信息以组合推荐概率降序的方式推送至用户。

需要说明的是，本公开的推荐概率预测方法在不同应用场景下，得到的多个推荐概率可灵活用于评估不同的推荐信息，例如在直播场景中，点击且转化率可用于预测用户对主播的付费偏好程度，其可作为衡量主播价值的特征之一。

本公开的多任务推荐概率预测模型能够使用场景关于点击转化的数据去建模，利用多个专家网络拟合已有的特征得到多种特征组合，再通过门网络输出的权重，分配点击率和转化率在不同预测目标下各个专家网络输出特征的权重，各个预测目标之间的门网络具有特有的特征输入，底层网络之间不共享输入特征，提高各个门网络对各预测目标下关于不同专家输出特征的权重的组合，提高门网络的表达专注力，从而提升整体模型预测的准确性。

在本公开的示例性实施例中，还提供了一种推荐概率预测装置，参考图6所示，该推荐概率预测装置600可以包括获取模块610和概率预测模块620。其中，获取模块610，用于获取用户的行为数据，并根据行为数据确定用户行为特征；概率预测模块620，用于将待推荐信息的特征和用户行为特征输入至多任务推荐概率预测模型中，以输出用户的多个目标推荐概率，该多任务推荐概率预测模型至少包括专家网络、与预测目标对应的门网络、隐层网络和融合网络；

其中，专家网络用于从多个维度对输入的第一目标特征进行特征提取，门网络用于输出提取的特征在对应的预测目标下的权重且输入至门网络的第二目标特征根据对应的预测目标确定，第一目标特征包含于第二目标特征，隐层网络用于根据对应门网络输出的权重，将提取的特征进行融合，融合网络用于对所述隐层网络输出的推荐概率进行融合处理。

由于本公开的示例性实施例的推荐概率预测装置的各个功能模块与上述推荐概率预测方法的发明实施例中相同，因此在此不再赘述。

应当注意，尽管在上文详细描述中提及了推荐概率预测装置的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，在本公开示例性实施方式中，还提供了一种能够实现上述方法的计算机存储介质。其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。

参考图7所示，描述了根据本公开的示例性实施方式的用于实现上述方法的程序产品700，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。

下面参照图8来描述根据本公开的这种实施例的电子设备800。图8显示的电子设备800仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图8所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：上述至少一个处理单元810、上述至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830、显示单元840。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元810执行，使得所述处理单元810执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。

存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202，还可以进一步包括只读存储单元(ROM)8203。

存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204，这样的程序模块8205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备800也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备800交互的设备通信，和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且，电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器860通过总线830与电子设备800的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种推荐概率预测方法，其特征在于，包括：

获取用户的行为数据，并根据所述行为数据确定用户行为特征；

将待推荐信息的特征和所述用户行为特征输入至多任务推荐概率预测模型中，以输出所述用户的多个目标推荐概率，所述多任务推荐概率预测模型至少包括专家网络、与预测目标对应的门网络、隐层网络和融合网络；

其中，所述专家网络用于从多个维度对输入的第一目标特征进行特征提取，所述门网络用于输出提取的特征在对应的预测目标下的权重且输入至门网络的第二目标特征根据对应的预测目标确定，所述第一目标特征包含于所述第二目标特征，所述隐层网络用于根据对应门网络输出的权重，将提取的特征进行融合，所述融合网络用于对所述隐层网络输出的推荐概率进行融合处理。

2.根据权利要求1所述的方法，其特征在于，所述多任务推荐概率预测模型是以用户历史行为样本数据和推荐信息样本数据确定的基础样本特征为输入进行训练得到的；

其中，输入至所述专家网络的第一目标样本特征为输入至各个门网络的第二目标样本特征中的共有样本特征；

输入至所述门网络的第二目标样本特征为所述基础样本特征中所述门网络对应预测目标特有的样本特征和所述共有样本特征。

3.根据权利要求1所述的方法，其特征在于，所述目标推荐概率包括点击率和转化率，所述预测目标包括点击率和转化率，所述隐层网络根据对应门网络输出的权重，将提取的特征进行融合，包括：

根据所述对应门网络输出的权重，对提取的特征进行加权求和，得到与所述专家网络具有相同维度的向量特征；

所述向量特征经过所述隐层网络中的全连接网络和分类网络的处理，输出所述点击率或转化率。

4.根据权利要求3所述的方法，其特征在于，所述目标推荐概率还包括点击且转化率，所述融合网络对各所述隐层网络输出特征进行融合处理，包括：

将所述点击率和转化率进行概率连乘以确定所述点击且转化率。

5.根据权利要求4所述的方法，其特征在于，所述多任务推荐概率预测模型训练过程中，损失函数的构建包括：

根据得到的所述点击率与具有点击属性的样本特征确定第一交叉熵损失；

根据得到的所述点击且转化率与具有转化属性的样本特征确定第二交叉熵损失；

将所述第一交叉熵损失和第二交叉熵损失进行融合处理得到所述损失函数。

6.根据权利要求1～5任一项所述的方法，其特征在于，所述专家网络包括多种类型的深度学习模型且每个所述专家网络输出的特征为具有相同维度的特征向量。

7.根据权利要求1所述的方法，其特征在于，所述待推荐信息的数量为多个；

所述将待推荐信息的特征和所述用户行为特征输入至多任务推荐概率预测模型中，以输出所述用户的多个目标推荐概率之后，所述方法还包括：

根据预设组合策略对所述多个目标推荐概率进行组合，得到每个待推荐信息对所述用户的组合推荐概率；

将所述组合推荐概率大于概率阈值的目标推荐信息推送至所述用户。

8.一种推荐概率预测装置，其特征在于，所述推荐概率预测装置包括：

获取模块，用于获取用户的行为数据，并根据所述行为数据确定用户行为特征；

概率预测模块，用于将待推荐信息的特征和所述用户行为特征输入至多任务推荐概率预测模型中，以输出所述用户的多个目标推荐概率，所述多任务推荐概率预测模型至少包括专家网络、与预测目标对应的门网络、隐层网络和融合网络；

其中，所述专家网络用于从多个维度对输入的第一目标特征进行特征提取，所述门网络用于输出提取的特征在对应的预测目标下的权重且输入至门网络的第二目标特征根据对应的预测目标确定，所述第一目标特征包含于所述第二目标特征，所述隐层网络用于根据对应门网络输出的权重，将提取的特征进行融合，所述融合网络用于对所述隐层网络输出的推荐概率进行融合处理。

9.一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至7中任一项所述的推荐概率预测方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任一项所述的推荐概率预测方法。

Images