CN113641835B - 多媒体资源推荐方法、装置、电子设备及介质 - Google Patents

Abstract

本公开关于一种多媒体资源推荐方法、装置、电子设备及介质。该方法包括：获取非行为序列信息和目标用户的行为序列信息，非行为序列信息是基于目标用户的用户属性信息和待推荐多媒体资源的多媒体属性信息得到的；将行为序列信息和非行为序列信息输入第一多任务模型的多个专家网络，进行特征处理，得到多个专家网络各自对应的第一特征信息，第一多任务模型的多个专家网络为多头注意力模型；获取多任务各自对应的第一权重信息；根据第一特征信息和第一权重信息，确定多任务预测信息。基于多任务预测信息，向目标用户推荐待推荐多媒体资源。根据本公开提供的技术方案，可以精简多任务模型的结构并提升多任务预测信息的精确度。

Description

多媒体资源推荐方法、装置、电子设备及介质

技术领域

本公开涉及数据处理技术领域，尤其涉及一种多媒体资源推荐方法、装置、电子设备及介质。

背景技术

随着基于多任务预测的推荐业务的发展，相关技术提出基于Transformer和MMOE(Multi-gated Mixture of Expert)模型进行多任务预测以提高多任务预测精度。但现有的MMOE模型只支持非序列特征输入，因此相关技术中选择将序列特征基于Transformer模型中的多头注意力机制(Multi-Head Attention)聚合后再作为MMOE的输入，然而该聚合过程会导致序列特征失去一些细粒度的信息；并且，相关技术中的序列特征聚合后的多个注意力头特征拼接在一起作为MMOE的输入，每个任务均基于全部注意力头的特征进行预测，这种情况下多个注意力头容易趋同；且MMOE中的多个专家网络的输入相同，容易退化到稀疏情况，这些均导致多任务预测仍旧不够精准。另外，在多头注意力机制中的多个头与MMOE中的多个专家网络的功能类似，造成模型结构的冗余。

发明内容

本公开提供一种多媒体资源推荐方法、装置、电子设备及介质，以至少解决相关技术中如何精简多任务模型的结构并提升多任务预测信息的精确度的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种多媒体资源推荐方法，包括：

获取非行为序列信息和目标用户的行为序列信息，所述非行为序列信息是基于所述目标用户的用户属性信息和待推荐多媒体资源的多媒体属性信息得到的；

将所述行为序列信息和所述非行为序列信息输入第一多任务模型的多个专家网络，进行特征处理，得到所述多个专家网络各自对应的第一特征信息，所述第一多任务模型的多个专家网络为多头注意力模型，其中，所述多头注意力模型中的一个头为一个专家网络；

获取多任务各自对应的第一权重信息；

根据所述第一特征信息和所述第一权重信息，确定多任务预测信息；

基于所述多任务预测信息，向所述目标用户推荐所述待推荐多媒体资源。

在一种可能的实现方式中，所述第一多任务模型还包括多个第一门网络；所述获取多任务各自对应的第一权重信息步骤包括：

将所述非行为序列信息输入多个所述第一门网络，进行多任务权重预测处理，得到所述多任务各自对应的第一权重信息。

在一种可能的实现方式中，所述获取多任务各自对应的第一权重信息步骤包括：

获取与每个任务对应的第一变换矩阵以及与所述行为序列信息对应的预设数量的第二变换矩阵，所述预设数量为所述多个专家网络的数量；

根据所述第一变换矩阵、所述非行为序列信息、所述行为序列信息和所述第二变换矩阵，获取所述多任务各自对应的第一权重信息。

在一种可能的实现方式中，在所述根据所述第一特征信息和所述第一权重信息，确定多任务预测信息步骤之前，所述方法还包括：

将所述非行为序列信息输入第二多任务模型中的多个专家网络，进行特征处理，得到所述第二多任务模型中的多个专家网络各自对应的第二特征信息；其中，所述第二多任务模型中的多个专家网络为多个多层感知器；

将所述非行为序列信息输入所述第二多任务模型中的多个第二门网络，进行权重预测处理，得到所述多任务各自对应的第二权重信息；

所述根据所述第一特征信息和所述第一权重信息，确定多任务预测信息步骤包括：

根据所述第一特征信息、所述第一权重信息、所述第二特征信息和所述第二权重信息，确定所述多任务预测信息。

在一种可能的实现方式中，所述根据所述第一特征信息、所述第一权重信息、所述第二特征信息和所述第二权重信息，确定所述多任务预测信息步骤包括：

根据所述第一特征信息和每个任务对应的第一权重信息，获取每个任务的第一特征加权信息；

根据所述第二特征信息和每个任务对应的第二权重信息，获取每个任务的第二特征加权信息；

对每个任务的第一特征加权信息和第二特征加权信息进行信息拼接处理，得到每个任务的第一目标特征加权信息；

将每个任务的第一目标特征加权信息输入每个任务对应的第一塔网络，得到所述多任务预测信息。

在一种可能的实现方式中，在所述根据所述第一特征信息和所述第一权重信息，确定多任务预测信息步骤之前，所述方法还包括：

将所述非行为序列信息输入第三多任务模型中的多个专家网络，进行特征处理，得到所述第三多任务模型中的多个专家网络各自对应的第三特征信息；其中，所述第三多任务模型中的多个专家网络为多个多层感知器；

所述根据所述第一特征信息和所述第一权重信息，确定多任务预测信息步骤包括：

根据所述第一特征信息、所述第一权重信息和所述第三特征信息，确定所述多任务预测信息。

在一种可能的实现方式中，所述根据所述第一特征信息、所述第一权重信息和所述第三特征信息，确定所述多任务预测信息步骤包括：

将所述第一特征信息和所述第三特征信息进行融合处理，得到目标特征信息；

根据每个任务对应的第一权重信息和所述目标特征信息，确定每个任务的第二目标特征加权信息；

将每个任务对应的第二目标特征加权信息输入每个任务对应的第二塔网络，得到所述多任务预测信息。

在一种可能的实现方式中，所述基于所述多任务预测信息，向所述目标用户推荐所述待推荐多媒体资源步骤包括：

获取所述目标用户的标识信息以及所述待推荐多媒体资源的标识信息；

将所述目标用户的标识信息、所述待推荐多媒体资源的标识信息和所述多任务预测信息输入推荐模型，进行推荐预测处理，得到所述待推荐多媒体资源的推荐预测信息；

基于所述推荐预测信息，从所述待推荐多媒体资源中筛选出目标多媒体资源；

将所述目标多媒体资源推荐给所述目标用户。

在一种可能的实现方式中，所述方法还包括：

对所述行为序列信息进行池化处理，得到池化特征信息；

将所述用户属性信息、所述多媒体属性信息和所述池化特征信息进行信息拼接处理，得到所述非行为序列信息。

根据本公开实施例的第二方面，提供一种第一多任务模型的训练方法，包括：

获取多个样本用户的样本行为序列信息、样本非行为序列信息以及对应的标签信息，所述样本非行为序列信息是基于所述多个样本用户的样本用户属性信息和多个样本多媒体资源的样本多媒体属性信息得到的；

将所述样本行为序列信息和所述样本非行为序列信息输入预设多任务模型，进行特征处理，得到所述预设多任务模型中多个专家网络各自对应的样本特征信息；所述预设多任务模型中多个专家网络为预设多头注意力模型，其中，所述预设多头注意力模型中的一个头为一个专家网络；

获取多任务各自对应的样本权重信息；

根据所述样本特征信息和所述样本权重信息，确定样本多任务预测信息；

基于所述样本多任务预测信息和所述标签信息，确定损失信息；

基于所述损失信息训练所述预设多任务模型，得到第一多任务模型。

根据本公开实施例的第三方面，提供一种多媒体资源推荐装置，包括：

非行为序列信息和行为序列信息获取模块，被配置为执行获取非行为序列信息和目标用户的行为序列信息，所述非行为序列信息是基于所述目标用户的用户属性信息和待推荐多媒体资源的多媒体属性信息得到的；

第一特征信息获取模块，被配置为执行将所述行为序列信息和所述非行为序列信息输入第一多任务模型的多个专家网络，进行特征处理，得到所述多个专家网络各自对应的第一特征信息，所述第一多任务模型的多个专家网络为多头注意力模型，其中，所述多头注意力模型中的一个头为一个专家网络；

第一权重信息获取模块，被配置为执行获取多任务各自对应的第一权重信息；

多任务预测信息确定模块，被配置为执行根据所述第一特征信息和所述第一权重信息，确定多任务预测信息；

推荐模块，被配置为执行基于所述多任务预测信息，向所述目标用户推荐所述待推荐多媒体资源。

在一种可能的实现方式中，所述第一权重信息获取模块包括：

第一权重获取单元，被配置为执行将所述非行为序列信息输入多个所述第一门网络，进行多任务权重预测处理，得到所述多任务各自对应的第一权重信息。

在一种可能的实现方式中，所述第一权重信息获取模块包括：

变换矩阵获取单元，被配置为执行获取与每个任务对应的第一变换矩阵以及与所述行为序列信息对应的预设数量的第二变换矩阵，所述预设数量为所述多个专家网络的数量；

第二权重获取单元，被配置为执行根据所述第一变换矩阵、所述非行为序列信息、所述行为序列信息和所述第二变换矩阵，获取所述多任务各自对应的第一权重信息。

在一种可能的实现方式中，所述装置还包括：

第二特征信息获取模块，被配置为执行将所述非行为序列信息输入第二多任务模型中的多个专家网络，进行特征处理，得到所述第二多任务模型中的多个专家网络各自对应的第二特征信息；其中，所述第二多任务模型中的多个专家网络为多个多层感知器；

第二权重信息获取模块，被配置为执行将所述非行为序列信息输入所述第二多任务模型中的多个第二门网络，进行权重预测处理，得到所述多任务各自对应的第二权重信息；

所述多任务预测信息确定模块包括：

第一多任务预测信息确定单元，被配置为执行根据所述第一特征信息、所述第一权重信息、所述第二特征信息和所述第二权重信息，确定所述多任务预测信息。

在一种可能的实现方式中，所述第一多任务预测信息确定单元包括：

第一特征加权信息获取子单元，被配置为执行根据所述第一特征信息和每个任务对应的第一权重信息，获取每个任务的第一特征加权信息；

第二特征加权信息获取子单元，被配置为执行根据所述第二特征信息和每个任务对应的第二权重信息，获取每个任务的第二特征加权信息；

第一目标特征加权信息获取子单元，被配置为执行对每个任务的第一特征加权信息和第二特征加权信息进行信息拼接处理，得到每个任务的第一目标特征加权信息；

第一多任务预测信息获取子单元，被配置为执行将每个任务的第一目标特征加权信息输入每个任务对应的第一塔网络，得到所述多任务预测信息。

在一种可能的实现方式中，所述装置还包括：

第三特征信息获取模块，被配置为执行将所述非行为序列信息输入第三多任务模型中的多个专家网络，进行特征处理，得到所述第三多任务模型中的多个专家网络各自对应的第三特征信息；其中，所述第三多任务模型中的多个专家网络为多个多层感知器；

所述多任务预测信息确定模块包括：

第二多任务预测信息确定单元，被配置为执行根据所述第一特征信息、所述第一权重信息和所述第三特征信息，确定所述多任务预测信息。

在一种可能的实现方式中，所述第二多任务预测信息确定单元包括：

目标特征信息获取子单元，被配置为执行将所述第一特征信息和所述第三特征信息进行融合处理，得到目标特征信息；

第二目标特征加权信息确定子单元，被配置为执行根据每个任务对应的第一权重信息和所述目标特征信息，确定每个任务的第二目标特征加权信息；

第二多任务预测信息子单元，被配置为执行将每个任务对应的第二目标特征加权信息输入每个任务对应的第二塔网络，得到所述多任务预测信息。

在一种可能的实现方式中，所述推荐模块包括：

标识信息获取单元，被配置为执行获取所述目标用户的标识信息以及所述待推荐多媒体资源的标识信息；

推荐预测处理单元，被配置为执行将所述目标用户的标识信息、所述待推荐多媒体资源的标识信息和所述多任务预测信息输入推荐模型，进行推荐预测处理，得到所述待推荐多媒体资源的推荐预测信息；

目标多媒体资源筛选单元，被配置为执行基于所述推荐预测信息，从所述待推荐多媒体资源中筛选出目标多媒体资源；

推荐单元，被配置为执行将所述目标多媒体资源推荐给所述目标用户。

在一种可能的实现方式中，所述装置还包括：

池化处理模块，被配置为执行对所述行为序列信息进行池化处理，得到池化特征信息；

非行为序列信息构建模块，被配置为执行将所述用户属性信息、所述多媒体属性信息和所述池化特征信息进行信息拼接处理，得到所述非行为序列信息。

根据本公开实施例的第四方面，提供一种第一多任务模型的训练装置，包括：

样本数据获取模块，被配置为执行获取多个样本用户的样本行为序列信息、样本非行为序列信息以及对应的标签信息，所述样本非行为序列信息是基于所述多个样本用户的样本用户属性信息和多个样本多媒体资源的样本多媒体属性信息得到的；

样本特征信息获取模块，被配置为执行将所述样本行为序列信息和所述样本非行为序列信息输入预设多任务模型，进行特征处理，得到所述预设多任务模型中多个专家网络各自对应的样本特征信息；所述预设多任务模型中多个专家网络为预设多头注意力模型，其中，所述预设多头注意力模型中的一个头为一个专家网络；

样本权重信息获取模块，被配置为执行获取多任务各自对应的样本权重信息；

样本多任务预测信息确定模块，被配置为执行根据所述样本特征信息和所述样本权重信息，确定样本多任务预测信息；

损失信息确定模块，被配置为执行基于所述样本多任务预测信息和所述标签信息，确定损失信息；

训练模块，被配置为执行基于所述损失信息训练所述预设多任务模型，得到第一多任务模型。

根据本公开实施例的第五方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述第一方面中任一项所述的方法或如上述第二方面中任一项所述的方法。

根据本公开实施例的第六方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例的第一方面中任一所述方法或如上述第二方面中任一项所述的方法。

根据本公开实施例的第七方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时，使得计算机执行本公开实施例的第一方面中任一项所述方法或如上述第二方面中任一项所述的方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

通过将第一多任务模型的多个专家网络替换为多头注意力模型，使得多个专家网络可以支持行为序列信息作为输入，即可以同时支持行为序列信息和非行为序列信息的输入，从而可以避免行为序列特征在输入专家网络之前被执行序列聚合处理，进而不会因为序列聚合处理导致行为序列信息失去细粒度信息，能够保证专家网络输出的第一特征信息更加精准，从而可以提升多任务预测信息的精确度；并且，通过将第一多任务模型的多个专家网络替换为多头注意力模型，可以精简第一多任务模型中的冗余结构；

另外，本公开不仅将行为序列信息和非行为序列信息输入多头注意力模型，还分别获取了多个注意力头对应的第一权重信息，使得本公开能够实现两个层次的注意力Attention，第一层次是单个注意力头内部的行为序列信息与非行为序列信息的Attention，第二层次是多个注意力头与每个任务的Attention。即实现了从多个注意力头到多任务的注意力机制的改变，从而减缓了注意力头坍缩退化的现象。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种应用环境的示意图。

图2是根据一示例性实施例示出的一种多媒体资源推荐方法的流程图。

图3是根据一示例性实施例示出的一种第一多任务模型的示意图。

图4是根据一示例性实施例示出的另一种第一多任务模型的示意图。

图5是根据一示例性实施例示出的一种基于多任务预测信息，向目标用户推荐待推荐多媒体资源的方法流程图。

图6是根据一示例性实施例示出的另一种多媒体资源推荐方法的流程图。

图7是根据一示例性实施例示出的一种多任务模型的示意图。

图8是根据一示例性实施例示出的一种根据第一特征信息、第一权重信息、第二特征信息和第二权重信息，确定多任务预测信息的方法流程图。

图9是根据一示例性实施例示出的一种多媒体资源推荐的方法流程图。

图10是根据一示例性实施例示出的另一种多任务模型的示意图。

图11是根据一示例性实施例示出的一种根据第一特征信息、第一权重信息和第三特征信息，确定多任务预测信息的方法流程图。

图12是根据一示例性实施例示出的一种多媒体资源推荐装置框图。

图13是根据一示例性实施例示出的一种用于多媒体资源推荐的电子设备的框图。

图14是根据一示例性实施例示出的另一种用于多媒体资源推荐的电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

近年来，随着人工智能技术研究和进步，人工智能技术在多个领域得到广泛应用，本申请实施例提供的方案涉及机器学习/深度学习等技术，具体通过如下实施例进行说明：

请参阅图1，图1是根据一示例性实施例示出的一种应用环境的示意图，如图1所示，该应用环境可以包括服务器01和终端02。

在一个可选的实施例中，服务器01可以用于多媒体资源的推荐处理和模型的训练，或者可以接收模型训练服务器训练的第一多任务模型、第二多任务模型等。具体的，服务器01可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。

在一个可选的实施例中，终端02可以接收目标多媒体资源并展示目标多媒体资源。具体的，终端02可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、智能可穿戴设备等类型的电子设备。可选的，电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。

此外，需要说明的是，图1所示的仅仅是本公开提供的图像处理方法的一种应用环境。

本说明书实施例中，上述服务器01以及终端02可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

需要说明的是，以下图中示出的是一种可能的步骤顺序，实际上并不限定必须严格按照此顺序。有些步骤可以在互不依赖的情况下并行执行。本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息、用户行为信息等)和数据(包括但不限于用于展示的数据、训练的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

图2是根据一示例性实施例示出的一种多媒体资源推荐方法的流程图。如图2所示，可以包括以下步骤。

在步骤S201中，获取非行为序列信息和目标用户的行为序列信息。

本说明书实施例中，可以获取目标用户的历史行为序列。该目标用户的历史行为序列可以是指目标用户执行过预设行为的多媒体资源序列，相应地，该待推荐多媒体资源可以是目标用户未执行过预设行为的多媒体资源，该待推荐多媒体资源可以是多个多媒体资源。

上述预设行为可以包括观看、点赞、转发等。每一种预设行为可以对应多种历史行为序列，每一种预设行为对应的一种历史行为序列中可以包括多媒体资源的一种多媒体属性信息。例如，预设行为为观看，该观看对应的多种历史行为序列可以包括：历史观看多媒体ID序列、历史观看多媒体的作者ID序列、历史观看多媒体时长序列、历史观看多媒体距离当前时间长度的序列等。这里的多媒体可以包括视频、图文广告等，视频可以包括短视频。其中，多媒体ID、多媒体的作者ID、多媒体时长、观看多媒体距离当前时间长度等可以属于多媒体属性信息。

在一个示例中，可以基于该目标用户的历史行为序列，获取目标用户的行为序列信息。例如，可以将每一种预设行为对应的多种历史行为序列进行拼接处理，得到每一种预设行为对应的目标用户的行为序列信息。例如，观看对应的两种历史行为序列如下：

[多媒体ID1、多媒体ID2、多媒体ID3、多媒体ID4、多媒体ID5]；

[多媒体ID1的作者1、多媒体ID2的作者2、多媒体ID3的作者3、多媒体ID4的作者4、多媒体ID5的作者1]；

对上述两种历史行为序列进行拼接处理，可以得到目标用户在观看行为上的行为序列信息如下：

[多媒体ID1、作者1；多媒体ID2、作者2；多媒体ID3、作者3；多媒体ID4、作者4；多媒体ID5、作者1]。

基于上述同样的拼接处理方式，可以得到目标用户在每一种预设行为上的行为序列信息，从而可以获取目标用户的行为序列信息。本公开对行为序列信息包括的预设行为的种类以及每一种预设行为对应的多媒体属性信息的种类均不作限定。

在一种可能的实现方式中，非行为序列信息可以是基于目标用户的用户属性信息和待推荐多媒体资源的多媒体属性信息得到的，例如，可以将用户属性信息和多媒体属性信息直接作为非行为序列信息；或者，可以将用户属性信息和多媒体属性信息进行信息拼接处理，得到非行为序列信息。

在另一种可能的实现方式中，该非行为序列信息可以是基于目标用户的用户属性信息、待推荐多媒体资源的多媒体属性信息和行为序列信息得到的。在一个示例中，可以对行为序列信息进行池化处理，得到池化特征信息；并可以根据用户属性信息、多媒体属性信息和池化特征信息，获取非行为序列信息。例如可以将用户属性信息、多媒体属性信息和池化特征信息进行信息拼接处理，得到非行为序列信息。这里的池化处理可以是sum pooling(求和池化)处理，可以是基于预先训练的池化层进行的该池化处理，本公开对此不作限定。其中，用户属性信息可以包括用户ID，设备ID，用户年龄，用户性别，用户地理位置信息等；多媒体属性信息可以包括多媒体ID，多媒体类别，多媒体长度等。在另一个示例中，可以将目标用户的用户属性信息、待推荐多媒体资源的多媒体属性信息和行为序列信息输入预先训练的embedding层(嵌入层)，进行特征处理，得到非行为序列特征，本公开对此不作限定。通过将行为序列信息的池化特征信息用于确定非行为序列信息，能够得到用户行为的均值，更好的刻画用户兴趣。

可选地，可以将多媒体资源平台中的多媒体资源作为该待推荐多媒体资源；或者，可以从多媒体资源平台中的多媒体资源中筛选与目标用户匹配的多媒体资源作为该待推荐多媒体资源。与目标用户匹配可以是指与目标用户的偏好信息匹配、与目标用户的标签信息匹配等，本公开对此不作限定。

需要说明的是，上述的行为序列信息、非行为序列信息、用户属性信息、多媒体属性信息和池化特征信息均可以为相应的特征向量。

可选地，作为一个示例，可以对行为序列信息和非行为序列信息进行门控gating处理，得到行为序列信息的权重和非行为序列信息的权重，这里的权重可以表征行为序列信息和非行为序列信息的重要性。基于此，可以将行为序列信息和行为序列信息的权重、以及非行为序列信息的权重和非行为序列信息的权重，作为第一多任务模型的多个专家网络的输入，使得该输入可以携带输入信息的重要性信息，使得第一特征信息可以更加精准。其中，gating处理可以包括压缩激励SEblock(Squeeze-and-Excitation block)处理或者Lhuc gating(learning hidden unit contributions gating，基于学习隐式单位贡献的门控)处理等，本公开对此不作限定。

在步骤S203中，将行为序列信息和非行为序列信息输入第一多任务模型的多个专家网络，进行特征处理，得到多个专家网络各自对应的第一特征信息，该第一多任务模型的多个专家网络可以为多头注意力模型，其中，多头注意力模型中的一个头可以为一个专家网络。

本说明书实施例中，第一多任务模型可以如图3所示，该第一多任务模型可以是基于样本训练集对预设机器学习模型进行训练得到的，该样本训练集可以包括多个样本用户的行为序列信息、样本非行为序列信息以及对应的标签信息。其中，该预设机器学习模型包括预设多任务模型。在一种可能的实现方式中，可以通过以下步骤进行训练以得到第一多任务模型：

获取多个样本用户的样本行为序列信息、样本非行为序列信息以及对应的标签信息，样本非行为序列信息是基于多个样本用户的样本用户属性信息和多个样本多媒体资源的样本多媒体属性信息得到的；该步骤的实现方式可以参见步骤S201，在此不再赘述。

将样本行为序列信息和样本非行为序列信息输入预设多任务模型，进行特征处理，得到预设多任务模型中多个专家网络各自对应的样本特征信息；预设多任务模型中多个专家网络可以为预设多头注意力模型，其中，预设多头注意力模型中的一个头为一个专家网络；

获取多任务各自对应的样本权重信息；

根据样本特征信息和样本权重信息，确定多任务预测信息；

基于样本多任务预测信息和标签信息，确定损失信息；

基于损失信息训练预设多任务模型，得到第一多任务模型。

本公开对损失信息的确定方式和训练迭代的条件不作限定。通过预先训练第一多任务模型，可以提升多媒体资源推荐的效率和精度。

在一个示例中，该步骤S203可以通过以下步骤实现：

将非行为序列信息作为多头注意力模型的查询矩阵Q对应的输入、将行为序列信息作为键矩阵K对应的输入和值矩阵V对应的输入，进行特征处理，得到多个专家网络各自对应的第一特征信息，即多头注意力模型的多个注意力头各自对应的第一特征信息。

在步骤S205中，获取多任务各自对应的第一权重信息。

在一种可能的实现方式中，如图4所示，可以将非行为序列信息输入多个第一门网络，进行多任务权重预测处理，得到多任务各自对应的第一权重信息。

实际应用中，第一多任务模型还可以包括多个第一门网络，在一个示例中，该多个第一门网络可以为两个第一门网络，例如图4所示的第一门网络A和第一门网络B。进而可以将非行为序列信息输入第一门网络A和第一门网络B，进行多任务权重预测处理，得到两个任务各自对应的第一权重信息。其中，一个第一门网络可以与多任务中的一个任务对应，以下图中的一个第二门网络可以与多任务中的一个任务对应，一个塔网络与一个任务对应，塔网络可以包括第一塔网络和第二塔网络。其中，门网络可以是多层感知器MLP(Multilayer Perceptron)，该门网络可以包括第一门网络和第二门网络。第一门网络的数量与第二门网络的数量可以相同，均为多任务的任务数量。

通过多个第一门网络获取多任务各自对应的第一权重信息，可以提高第一权重信息的获取效率；并且多个第一门网络的输入为非行为序列信息，而非行为序列信息还包括行为序列信息的内容，使得第一权重信息可以有效表征行为序列信息和非行为序列信息与多任务的关系，使得第一权重信息可以更加精准。

在另一种可能的实现方式中，可以不使用门网络，该步骤S205可以通过以下步骤实现：

获取与每个任务对应的第一变换矩阵以及与行为序列信息对应的预设数量的第二变换矩阵，该预设数量可以为多个专家网络的数量；

根据第一变换矩阵、非行为序列信息、行为序列信息和第二变换矩阵，获取多任务各自对应的第一权重信息。

本说明书实施例中，可以获取与每个任务对应的第一变换矩阵以及与行为序列信息对应的预设数量的第二变换矩阵。作为一个示例，第一变换矩阵可以为Q变换矩阵，第二变换矩阵可以为K变换矩阵和V变换矩阵。例如，可以从每个专家网络的网络参数中获取与查询矩阵Q、键矩阵K和值矩阵V各自对应的权重矩阵，分别作为Q变换矩阵、K变换矩阵和V变换矩阵。

进一步地，以8个任务、12个专家网络为例。可以使用8个不同的第一变换矩阵分别对非行为序列信息进行变换，得到8个变换值；例如可以将8个不同的第一变换矩阵分别与非行为序列信息相乘，得到8个变换值。并可以将行为序列信息分别与12个第二变换矩阵相乘，得到12个序列特征。进一步地，可以将该12个序列特征进行拼接，得到拼接特征，进而可以将该8个值与该拼接特征作内积，得到8个第一权重信息。

需要说明的是，在多个专家网络为预设数量时，可以将行为序列信息的长度L乘以预设数量C，即行为序列信息的长度被调整为L*C。上述12个序列特征中每个序列特征的长度均可以为L*C。

通过多头注意力模型的变换矩阵、非行为序列特征和行为序列特征以获取多任务各自对应的第一权重信息，可以让多头注意力模型更精细的得到某个多媒体相对于各任务的注意力权重；并且可以避免使用门网络来获取第一权重信息，可以降低第一多任务模型的复杂度。

在步骤S207中，根据第一特征信息和第一权重信息，确定多任务预测信息。

本说明书实施例中，可以根据下面公式(1)，确定多任务预测信息，该多任务预测信息可以表征目标用户与待推荐多媒体资源的匹配程度。

其中，f^A(x)可以为任务A的预测信息；N可以是专家网络的数量；

可以是任务A对应的第一权重信息中第i专家网络的权重，任务A中对应的第一权重信息中N个专家网络的权重和可以为1；f_i(x)可以是第i个专家网络输出的第一特征信息，其中的x可以是第i个专家网络的输入；i为整数。

在步骤S209中，基于多任务预测信息，向目标用户推荐待推荐多媒体资源。

实际应用中，可以基于多任务预测信息，对待推荐多媒体资源进行排序，得到排序结果。从而可以基于排序结果向目标用户推荐待推荐多媒体资源。本公开对此不作限定。

通过将第一多任务模型的多个专家网络替换为多头注意力模型，使得多个专家网络可以支持行为序列信息作为输入，即可以同时支持行为序列信息和非行为序列信息的输入，从而可以避免行为序列特征在输入专家网络之前被执行序列聚合处理，进而不会因为序列聚合处理导致行为序列信息失去细粒度信息，能够保证专家网络输出的第一特征信息更加精准，从而可以提升多任务预测信息的精确度；并且，通过将第一多任务模型的多个专家网络替换为多头注意力模型，可以精简第一多任务模型中的冗余结构；

另外，本公开不仅将行为序列信息和非行为序列信息输入多头注意力模型，还分别获取了多个注意力头对应的第一权重信息，使得本公开能够实现两个层次的注意力Attention，第一层次是单个注意力头内部的行为序列信息与非行为序列信息的Attention，第二层次是多个注意力头与每个任务的Attention，即实现了从多个注意力头到多任务的注意力机制的改变，从而减缓了注意力头坍缩退化的现象。

图5是根据一示例性实施例示出的一种基于多任务预测信息，向目标用户推荐待推荐多媒体资源的方法流程图。如图5所示，在一种可能的实现方式中，上述步骤S209可以包括：

在步骤S501中，获取目标用户的标识信息以及待推荐多媒体资源的标识信息；

在步骤S503中，将目标用户的标识信息、待推荐多媒体资源的标识信息和多任务预测信息输入推荐模型，进行推荐预测处理，得到待推荐多媒体资源的推荐预测信息；

在步骤S505中，基于推荐预测信息，从待推荐多媒体资源中筛选出目标多媒体资源；

在步骤S507中，将目标多媒体资源推荐给目标用户。

本说明书实施例中，推荐模型可以预先基于训练样本数据对预设机器学习模型进行训练得到的，该训练样本数据可以包括样本用户的标识信息、样本多媒体资源的标识信息、样本多任务信息以及对应的推荐标签信息。

实际应用中，在进行推荐预测时，可以结合目标用户的标识信息以及待推荐多媒体资源的标识信息，从而可以将目标用户的标识信息、待推荐多媒体资源的标识信息和多任务预测信息输入推荐模型，进行推荐预测处理，得到待推荐多媒体资源的推荐预测信息。该推荐预测信息可以是推荐预测概率，或者可以是推荐二分类信息：推荐、不推荐，本公开对此不作限定。

进一步地，可以基于推荐预测信息，从待推荐多媒体资源中筛选出目标多媒体资源，例如可以从待推荐多媒体资源中筛选出推荐预测信息为推荐的多媒体资源作为目标多媒体资源；或者可以从待推荐多媒体资源中筛选出推荐预测概率大于概率阈值的多媒体资源作为目标多媒体资源。本公开对概率阈值不作限定。并可以将目标多媒体资源推荐给目标用户，例如可以将目标多媒体资源发送至目标用户的终端。

通过基于多任务预测信息和推荐模型，进行推荐预测处理，得到待推荐多媒体资源的推荐预测信息，并基于推荐预测信息，从待推荐多媒体资源中筛选出目标多媒体资源，使得推荐给目标用户的目标多媒体资源能够与目标用户精准匹配，且可以提高筛选效率。

图6是根据一示例性实施例示出的另一种多媒体资源推荐方法的流程图。图7是根据一示例性实施例示出的一种多任务模型的示意图。如图7所示，该多任务模型可以包括第一多任务模型和第二多任务模型。该第二多任务模型可以是预先训练的，本公开对此不作限定。其中，第二多任务模型可以包括多个专家网络以及多个第二门网络，例如第二门网络A和第二门网络B。

如图6所示，在一种可能的实现方式中，在步骤S207之前，该方法还可以包括：

在步骤S601，将非行为序列信息输入第二多任务模型中的多个专家网络，进行特征处理，得到第二多任务模型中的多个专家网络各自对应的第二特征信息。

本说明书实施例中，第二多任务模型可以为MMOE模型，该MMOE模型中的多个专家网络可以为多个多层感知器MLP。

在步骤S603，将非行为序列信息输入第二多任务模型中的多个第二门网络，进行权重预测处理，得到多任务各自对应的第二权重信息。如图7所示，以2个任务为例，可以对应2个第二门网络：第二门网络A和第二门网络B。

相应地，上述步骤S207可以包括：

在步骤S605，根据第一特征信息、第一权重信息、第二特征信息和第二权重信息，确定多任务预测信息。

本说明书实施例中，可以将第一特征信息与第一权重信息的乘积作为第一多任务预测信息；将第二特征信息与第二权重信息的乘积作为第二多任务预测信息。从而可以根据第一多任务预测信息和第二多任务预测信息，确定多任务预测信息。例如可以将第一多任务预测信息和第二多任务预测信息的和作为多任务预测信息，本公开对此不作限定。

通过传统的MMOE对非行为序列信息进行任务预测，确定多任务预测信息，由于传统MMOE的输入为非序列特征，第二特征信息可以有效表征非序列特征自身相关性；而第一多任务模型的输入包括非序列特征和序列特征，使得输出的第一特征信息可以有效表征非序列特征与序列特征之间的相关性，通过这两个模型的结合，确定多任务预测信息，可以提升多任务预测信息的准确性。

图8是根据一示例性实施例示出的一种根据第一特征信息、第一权重信息、第二特征信息和第二权重信息，确定多任务预测信息的方法流程图。如图8所示，在一种可能的实现方式中，上述步骤S603可以包括：

在步骤S801，根据第一特征信息和每个任务对应的第一权重信息，获取每个任务的第一特征加权信息。

如图7所示，第一特征信息可以是多头注意力模型的输出701，701可以是指多头注意力模型中多个注意力头对应的多个第一特征信息。这里的一个注意力头可以看作一个专家网络。可以将多个第一特征信息和每个任务对应的第一权重信息进行相乘，即可以利用第一权重信息对多个注意力头对应的多个第一特征信息进行加权，获取每个任务的第一特征加权信息。例如，利用与任务A对应的第一权重信息A对多个第一特征信息进行加权，获取任务A的第一特征加权信息；利用与任务B对应的第一权重信息B对多个第一特征信息进行加权，获取任务B的第一特征加权信息。

在步骤S803，根据第二特征信息和每个任务对应的第二权重信息，获取每个任务的第二特征加权信息。

如图7所示，第二特征信息可以是多个专家网络的输出702，702可以是指多个专家网络对应的多个第二特征信息。可以将多个第二特征信息和每个任务对应的第二权重信息进行相乘，即可以利用第二权重信息对多个专家网络对应的多个第二特征信息进行加权，获取每个任务的第二特征加权信息。例如，利用与任务A对应的第二门网络A输出的第二权重信息对多个第二特征信息进行加权，获取任务A的第二特征加权信息；利用与任务B对应的第二门网络B输出的第二权重信息对多个第二特征信息进行加权，获取任务B的第二特征加权信息。

在步骤S805，对每个任务的第一特征加权信息和第二特征加权信息进行信息拼接处理，得到每个任务的第一目标特征加权信息；

在步骤S807，将每个任务的第一目标特征加权信息输入每个任务对应的第一塔网络，得到多任务预测信息。

本说明书实施例中，上述多任务模型还可以包括多个第一塔网络，如图7所示的第一第一塔网络A和第一塔网络B。可以将第一特征信息和每个任务对应的第一权重信息相乘，获取每个任务的第一特征加权信息；将第二特征信息和每个任务对应的第二权重信息相乘，获取每个任务的第二特征加权信息。并可以对每个任务的第一特征加权信息和第二特征加权信息进行信息拼接处理，得到每个任务的第一目标特征加权信息；以及将每个任务的第一目标特征加权信息输入每个任务对应的第一塔网络，得到多任务预测信息。例如，可以将任务A的第一目标特征加权信息输入第一塔网络A，得到任务A预测信息；将任务B的第一目标特征加权信息输入第一塔网络B，得到任务B预测信息。

通过对每个任务的第一特征加权信息和第二特征加权信息进行信息拼接处理，得到每个任务的第一目标特征加权信息，使得第一目标特征加权信息能够较全面和准确，从而将每个任务的第一目标特征加权信息输入每个任务对应的第一塔网络，得到的多任务预测信息可以更加精准，并可以提高多任务预测信息的处理效率。

图9是根据一示例性实施例示出的一种多媒体资源推荐的方法流程图。图10是根据一示例性实施例示出的一种多任务模型的示意图。如图10所示，该多任务模型可以包括第一多任务模型和第三多任务模型。

如图9所示，在一种可能的实现方式中，在步骤S207之前，该方法还可以包括：

在步骤S901，将非行为序列信息输入第三多任务模型中的多个专家网络，进行特征处理，得到第三多任务模型中的多个专家网络各自对应的第三特征信息；其中，第三多任务模型中的多个专家网络可以为多个多层感知器。该步骤可以参见S701，在此不再赘述。

相应地，上述步骤S207可以包括：

在步骤S903，根据第一特征信息、第一权重信息和第三特征信息，确定多任务预测信息。

在一种可能的实现方式中，如图11所示，图11是根据一示例性实施例示出的一种根据第一特征信息、第一权重信息和第三特征信息，确定多任务预测信息的方法流程图。上述步骤S903可以包括：

在步骤S1101，将第一特征信息和第三特征信息进行融合处理，得到目标特征信息；

在步骤S1103，根据每个任务对应的第一权重信息和目标特征信息，确定每个任务的第二目标特征加权信息；

在步骤S1105，将每个任务对应的第二目标特征加权信息输入每个任务对应的第二塔网络，得到多任务预测信息。

本说明书实施例中，可以将第一特征信息和第三特征信息进行融合处理，得到目标特征信息，并可以根据每个任务对应的第一权重信息和目标特征信息，确定每个任务的第二目标特征加权信息。如图10所示，以2个任务：任务A和任务B为例，可以将任务A对应的第一权重信息A和目标特征信息进行加权，得到任务A的第二目标特征加权信息；将任务B对应的第一权重信息B和目标特征信息进行加权，得到任务B的第二目标特征加权信息。

进一步地，可以将每个任务对应的第二目标特征加权信息输入每个任务对应的第二塔网络，得到多任务预测信息。例如可以将任务A对应的第二目标特征加权信息输入任务A对应的第二塔网络A，得到任务A预测信息；将任务B对应的第二目标特征加权信息输入任务B对应的第二塔网络B，得到任务B预测信息。通过将第一特征信息和第三特征信息进行融合处理，得到目标特征信息，使得目标特征信息更加精准；并且根据每个任务对应的第一权重信息、目标特征信息和第二塔网络，确定多任务预测信息，可以提升多任务预测信息的精度和效率。

通过设置第一特征信息和第三特征信息共用第一权重信息确定多任务预测信息，可以在保证多任务预测信息精度的基础上，精简多任务模型的结构和节省多任务模型的处理复杂度。

图12是根据一示例性实施例示出的一种多媒体资源推荐装置框图。参照图12，该装置可以包括：

非行为序列信息和行为序列信息获取模块1201，被配置为执行获取非行为序列信息和目标用户的行为序列信息，非行为序列信息是基于目标用户的用户属性信息、待推荐多媒体资源的多媒体属性信息和行为序列信息得到的；

第一特征信息获取模块1203，被配置为执行将行为序列信息和非行为序列信息输入第一多任务模型的多个专家网络，进行特征处理，得到多个专家网络各自对应的第一特征信息，第一多任务模型的多个专家网络为多头注意力模型；

第一权重信息获取模块1205，被配置为执行获取多任务各自对应的第一权重信息；

多任务预测信息确定模块1207，被配置为执行根据第一特征信息和第一权重信息，确定多任务预测信息。

推荐模块1209，被配置为执行基于多任务预测信息，向目标用户推荐待推荐多媒体资源。

通过将第一多任务模型的多个专家网络替换为多头注意力模型，使得多个专家网络可以支持行为序列信息作为输入，即可以同时支持行为序列信息和非行为序列信息的输入，从而可以避免行为序列特征在输入专家网络之前被执行序列聚合处理，进而不会因为序列聚合处理导致行为序列信息失去细粒度信息，能够保证专家网络输出的第一特征信息更加精准，从而可以提升多任务预测信息的精确度；并且，通过将第一多任务模型的多个专家网络替换为多头注意力模型，可以精简第一多任务模型中的冗余结构；

另外，本公开不仅将行为序列信息和非行为序列信息输入多头注意力模型，还分别获取了多个注意力头对应的第一权重信息，使得本公开能够实现两个层次的注意力Attention，第一层次是单个注意力头内部的行为序列信息与非行为序列信息的Attention，第二层次是多个注意力头与每个任务的Attention。即实现了从多个注意力头到多任务的注意力机制的改变，从而减缓了注意力头坍缩退化的现象。

在一种可能的实现方式中，第一权重信息获取模块1205可以包括：

第一权重获取单元，被配置为执行将非行为序列信息输入多个第一门网络，进行多任务权重预测处理，得到多任务各自对应的第一权重信息。

在一种可能的实现方式中，第一权重信息获取模块1205可以包括：

变换矩阵获取单元，被配置为执行获取与每个任务对应的第一变换矩阵以及与行为序列信息对应的预设数量的第二变换矩阵，预设数量为多个专家网络的数量；

第二权重获取单元，被配置为执行根据第一变换矩阵、非行为序列信息、行为序列信息和第二变换矩阵，获取多任务各自对应的第一权重信息。

在一种可能的实现方式中，该装置还可以包括：

第二特征信息获取模块，被配置为执行将非行为序列信息输入第二多任务模型中的多个专家网络，进行特征处理，得到第二多任务模型中的多个专家网络各自对应的第二特征信息；其中，第二多任务模型中的多个专家网络为多个多层感知器；

第二权重信息获取模块，被配置为执行将非行为序列信息输入第二多任务模型中的多个第二门网络，进行权重预测处理，得到多任务各自对应的第二权重信息；

多任务预测信息确定模块包括：

第一多任务预测信息确定单元，被配置为执行根据第一特征信息、第一权重信息、第二特征信息和第二权重信息，确定多任务预测信息。

在一种可能的实现方式中，第一多任务预测信息确定单元可以包括：

第一特征加权信息获取子单元，被配置为执行根据第一特征信息和每个任务对应的第一权重信息，获取每个任务的第一特征加权信息；

第二特征加权信息获取子单元，被配置为执行根据第二特征信息和每个任务对应的第二权重信息，获取每个任务的第二特征加权信息；

第一目标特征加权信息获取子单元，被配置为执行对每个任务的第一特征加权信息和第二特征加权信息进行信息拼接处理，得到每个任务的第一目标特征加权信息；

第一多任务预测信息获取子单元，被配置为执行将每个任务的第一目标特征加权信息输入每个任务对应的第一塔网络，得到多任务预测信息。

在一种可能的实现方式中，该装置还可以包括：

第三特征信息获取模块，被配置为执行将非行为序列信息输入第三多任务模型中的多个专家网络，进行特征处理，得到第三多任务模型中的多个专家网络各自对应的第三特征信息；其中，第三多任务模型中的多个专家网络为多个多层感知器；

多任务预测信息确定模块包括：

第二多任务预测信息确定单元，被配置为执行根据第一特征信息、第一权重信息和第三特征信息，确定多任务预测信息。

在一种可能的实现方式中，第二多任务预测信息确定单元可以包括：

目标特征信息获取子单元，被配置为执行将第一特征信息和第三特征信息进行融合处理，得到目标特征信息；

第二目标特征加权信息确定子单元，被配置为执行根据每个任务对应的第一权重信息和目标特征信息，确定每个任务的第二目标特征加权信息；

第二多任务预测信息子单元，被配置为执行将每个任务对应的第二目标特征加权信息输入每个任务对应的第二塔网络，得到多任务预测信息。

在一种可能的实现方式中，推荐模块可以包括：

标识信息获取单元，被配置为执行获取目标用户的标识信息以及待推荐多媒体资源的标识信息；

推荐预测处理单元，被配置为执行将目标用户的标识信息、待推荐多媒体资源的标识信息和多任务预测信息输入推荐模型，进行推荐预测处理，得到待推荐多媒体资源的推荐预测信息；

目标多媒体资源筛选单元，被配置为执行基于推荐预测信息，从待推荐多媒体资源中筛选出目标多媒体资源；

推荐单元，被配置为执行将目标多媒体资源推荐给目标用户。

在一种可能的实现方式中，该装置还可以包括：

池化处理模块，被配置为执行对行为序列信息进行池化处理，得到池化特征信息；

非行为序列信息构建模块，被配置为执行将用户属性信息、多媒体属性信息和池化特征信息进行信息拼接处理，得到非行为序列信息。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图13是根据一示例性实施例示出的一种用于多媒体资源推荐的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图13所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多媒体资源推荐的方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图13中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

图14是根据一示例性实施例示出的另一种用于多媒体资源推荐的电子设备的框图，该电子设备可以是服务器，其内部结构图可以如图14所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多媒体资源推荐的方法。

本领域技术人员可以理解，图14中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例中的多媒体资源推荐方法。

在示例性实施例中，还提供了一种计算机可读存储介质，当该计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的多媒体资源推荐方法。计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的多媒体资源推荐的方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (22)

1.一种多媒体资源推荐方法，其特征在于，包括：

获取非行为序列信息和目标用户的行为序列信息，所述非行为序列信息是基于所述目标用户的用户属性信息和待推荐多媒体资源的多媒体属性信息得到的；

将所述行为序列信息和所述非行为序列信息输入第一多任务模型的多个专家网络，进行特征处理，得到所述多个专家网络各自对应的第一特征信息，所述第一多任务模型的多个专家网络为多头注意力模型，其中，所述多头注意力模型中的一个头为一个专家网络；

获取多任务各自对应的第一权重信息；

根据所述第一特征信息和所述第一权重信息，确定多任务预测信息；

基于所述多任务预测信息，向所述目标用户推荐所述待推荐多媒体资源。

2.根据权利要求1所述的多媒体资源推荐方法，其特征在于，所述第一多任务模型还包括多个第一门网络；所述获取多任务各自对应的第一权重信息步骤包括：

将所述非行为序列信息输入多个所述第一门网络，进行多任务权重预测处理，得到所述多任务各自对应的第一权重信息。

3.根据权利要求1所述的多媒体资源推荐方法，其特征在于，所述获取多任务各自对应的第一权重信息步骤包括：

获取与每个任务对应的第一变换矩阵以及与所述行为序列信息对应的预设数量的第二变换矩阵，所述预设数量为所述多个专家网络的数量；

根据所述第一变换矩阵、所述非行为序列信息、所述行为序列信息和所述第二变换矩阵，获取所述多任务各自对应的第一权重信息。

4.根据权利要求1-3任一项所述的多媒体资源推荐方法，其特征在于，在所述根据所述第一特征信息和所述第一权重信息，确定多任务预测信息步骤之前，所述方法还包括：

将所述非行为序列信息输入第二多任务模型中的多个专家网络，进行特征处理，得到所述第二多任务模型中的多个专家网络各自对应的第二特征信息；其中，所述第二多任务模型中的多个专家网络为多个多层感知器；

将所述非行为序列信息输入所述第二多任务模型中的多个第二门网络，进行权重预测处理，得到所述多任务各自对应的第二权重信息；

所述根据所述第一特征信息和所述第一权重信息，确定多任务预测信息步骤包括：

根据所述第一特征信息、所述第一权重信息、所述第二特征信息和所述第二权重信息，确定所述多任务预测信息。

5.根据权利要求4所述的多媒体资源推荐方法，其特征在于，所述根据所述第一特征信息、所述第一权重信息、所述第二特征信息和所述第二权重信息，确定所述多任务预测信息步骤包括：

根据所述第一特征信息和每个任务对应的第一权重信息，获取每个任务的第一特征加权信息；

根据所述第二特征信息和每个任务对应的第二权重信息，获取每个任务的第二特征加权信息；

对每个任务的第一特征加权信息和第二特征加权信息进行信息拼接处理，得到每个任务的第一目标特征加权信息；

将每个任务的第一目标特征加权信息输入每个任务对应的第一塔网络，得到所述多任务预测信息。

6.根据权利要求1-3任一项所述的多媒体资源推荐方法，其特征在于，在所述根据所述第一特征信息和所述第一权重信息，确定多任务预测信息步骤之前，所述方法还包括：

将所述非行为序列信息输入第三多任务模型中的多个专家网络，进行特征处理，得到所述第三多任务模型中的多个专家网络各自对应的第三特征信息；其中，所述第三多任务模型中的多个专家网络为多个多层感知器；

所述根据所述第一特征信息和所述第一权重信息，确定多任务预测信息步骤包括：

根据所述第一特征信息、所述第一权重信息和所述第三特征信息，确定所述多任务预测信息。

7.根据权利要求6所述的多媒体资源推荐方法，其特征在于，所述根据所述第一特征信息、所述第一权重信息和所述第三特征信息，确定所述多任务预测信息步骤包括：

将所述第一特征信息和所述第三特征信息进行融合处理，得到目标特征信息；

根据每个任务对应的第一权重信息和所述目标特征信息，确定每个任务的第二目标特征加权信息；

将每个任务对应的第二目标特征加权信息输入每个任务对应的第二塔网络，得到所述多任务预测信息。

8.根据权利要求1所述的多媒体资源推荐方法，其特征在于，所述基于所述多任务预测信息，向所述目标用户推荐所述待推荐多媒体资源步骤包括：

获取所述目标用户的标识信息以及所述待推荐多媒体资源的标识信息；

将所述目标用户的标识信息、所述待推荐多媒体资源的标识信息和所述多任务预测信息输入推荐模型，进行推荐预测处理，得到所述待推荐多媒体资源的推荐预测信息；

基于所述推荐预测信息，从所述待推荐多媒体资源中筛选出目标多媒体资源；

将所述目标多媒体资源推荐给所述目标用户。

9.根据权利要求1所述的多媒体资源推荐方法，其特征在于，所述方法还包括：

对所述行为序列信息进行池化处理，得到池化特征信息；

将所述用户属性信息、所述多媒体属性信息和所述池化特征信息进行信息拼接处理，得到所述非行为序列信息。

10.一种第一多任务模型的训练方法，其特征在于，包括：

获取多个样本用户的样本行为序列信息、样本非行为序列信息以及对应的标签信息，所述样本非行为序列信息是基于所述多个样本用户的样本用户属性信息和多个样本多媒体资源的样本多媒体属性信息得到的；

将所述样本行为序列信息和所述样本非行为序列信息输入预设多任务模型，进行特征处理，得到所述预设多任务模型中多个专家网络各自对应的样本特征信息；所述预设多任务模型中多个专家网络为预设多头注意力模型，其中，所述预设多头注意力模型中的一个头为一个专家网络；

获取多任务各自对应的样本权重信息；

根据所述样本特征信息和所述样本权重信息，确定样本多任务预测信息；

基于所述样本多任务预测信息和所述标签信息，确定损失信息；

基于所述损失信息训练所述预设多任务模型，得到第一多任务模型。

11.一种多媒体资源推荐装置，其特征在于，包括：

非行为序列信息和行为序列信息获取模块，被配置为执行获取非行为序列信息和目标用户的行为序列信息，所述非行为序列信息是基于所述目标用户的用户属性信息和待推荐多媒体资源的多媒体属性信息得到的；

第一特征信息获取模块，被配置为执行将所述行为序列信息和所述非行为序列信息输入第一多任务模型的多个专家网络，进行特征处理，得到所述多个专家网络各自对应的第一特征信息，所述第一多任务模型的多个专家网络为多头注意力模型，其中，所述多头注意力模型中的一个头为一个专家网络；

第一权重信息获取模块，被配置为执行获取多任务各自对应的第一权重信息；

多任务预测信息确定模块，被配置为执行根据所述第一特征信息和所述第一权重信息，确定多任务预测信息；

推荐模块，被配置为执行基于所述多任务预测信息，向所述目标用户推荐所述待推荐多媒体资源。

12.根据权利要求11所述的多媒体资源推荐装置，其特征在于，所述第一多任务模型还包括多个第一门网络；所述第一权重信息获取模块包括：

第一权重获取单元，被配置为执行将所述非行为序列信息输入多个所述第一门网络，进行多任务权重预测处理，得到所述多任务各自对应的第一权重信息。

13.根据权利要求11所述的多媒体资源推荐装置，其特征在于，所述第一权重信息获取模块包括：

变换矩阵获取单元，被配置为执行获取与每个任务对应的第一变换矩阵以及与所述行为序列信息对应的预设数量的第二变换矩阵，所述预设数量为所述多个专家网络的数量；

第二权重获取单元，被配置为执行根据所述第一变换矩阵、所述非行为序列信息、所述行为序列信息和所述第二变换矩阵，获取所述多任务各自对应的第一权重信息。

14.根据权利要求11-13任一项所述的多媒体资源推荐装置，其特征在于，所述装置还包括：

第二特征信息获取模块，被配置为执行将所述非行为序列信息输入第二多任务模型中的多个专家网络，进行特征处理，得到所述第二多任务模型中的多个专家网络各自对应的第二特征信息；其中，所述第二多任务模型中的多个专家网络为多个多层感知器；

第二权重信息获取模块，被配置为执行将所述非行为序列信息输入所述第二多任务模型中的多个第二门网络，进行权重预测处理，得到所述多任务各自对应的第二权重信息；

所述多任务预测信息确定模块包括：

第一多任务预测信息确定单元，被配置为执行根据所述第一特征信息、所述第一权重信息、所述第二特征信息和所述第二权重信息，确定所述多任务预测信息。

15.根据权利要求14所述的多媒体资源推荐装置，其特征在于，所述第一多任务预测信息确定单元包括：

第一特征加权信息获取子单元，被配置为执行根据所述第一特征信息和每个任务对应的第一权重信息，获取每个任务的第一特征加权信息；

第二特征加权信息获取子单元，被配置为执行根据所述第二特征信息和每个任务对应的第二权重信息，获取每个任务的第二特征加权信息；

第一目标特征加权信息获取子单元，被配置为执行对每个任务的第一特征加权和第二特征加权进行信息拼接处理，得到每个任务的第一目标特征加权信息；

第一多任务预测信息获取子单元，被配置为执行将每个任务的第一目标特征加权信息输入每个任务对应的第一塔网络，得到所述多任务预测信息。

16.根据权利要求11-13任一项所述的多媒体资源推荐装置，其特征在于，所述装置还包括：

第三特征信息获取模块，被配置为执行将所述非行为序列信息输入第三多任务模型中的多个专家网络，进行特征处理，得到所述第三多任务模型中的多个专家网络各自对应的第三特征信息；其中，所述第三多任务模型中的多个专家网络为多个多层感知器；

所述多任务预测信息确定模块包括：

第二多任务预测信息确定单元，被配置为执行根据所述第一特征信息、所述第一权重信息和所述第三特征信息，确定所述多任务预测信息。

17.根据权利要求16所述的多媒体资源推荐装置，其特征在于，所述第二多任务预测信息确定单元包括：

目标特征信息获取子单元，被配置为执行将所述第一特征信息和所述第三特征信息进行融合处理，得到目标特征信息；

第二目标特征加权信息确定子单元，被配置为执行根据每个任务对应的第一权重信息和所述目标特征信息，确定每个任务的第二目标特征加权信息；

第二多任务预测信息子单元，被配置为执行将每个任务对应的第二目标特征加权信息输入每个任务对应的第二塔网络，得到所述多任务预测信息。

18.根据权利要求11所述的多媒体资源推荐装置，其特征在于，所述推荐模块包括：

标识信息获取单元，被配置为执行获取所述目标用户的标识信息以及所述待推荐多媒体资源的标识信息；

推荐预测处理单元，被配置为执行将所述目标用户的标识信息、所述待推荐多媒体资源的标识信息和所述多任务预测信息输入推荐模型，进行推荐预测处理，得到所述待推荐多媒体资源的推荐预测信息；

目标多媒体资源筛选单元，被配置为执行基于所述推荐预测信息，从所述待推荐多媒体资源中筛选出目标多媒体资源；

推荐单元，被配置为执行将所述目标多媒体资源推荐给所述目标用户。

19.根据权利要求11所述的多媒体资源推荐装置，其特征在于，所述装置还包括：

池化处理模块，被配置为执行对所述行为序列信息进行池化处理，得到池化特征信息；

非行为序列信息构建模块，被配置为执行将所述用户属性信息、所述多媒体属性信息和所述池化特征信息进行信息拼接处理，得到所述非行为序列信息。

20.一种第一多任务模型的训练装置，其特征在于，包括：

样本数据获取模块，被配置为执行获取多个样本用户的样本行为序列信息、样本非行为序列信息以及对应的标签信息，所述样本非行为序列信息是基于所述多个样本用户的样本用户属性信息和多个样本多媒体资源的样本多媒体属性信息得到的；

样本特征信息获取模块，被配置为执行将所述样本行为序列信息和所述样本非行为序列信息输入预设多任务模型，进行特征处理，得到所述预设多任务模型中多个专家网络各自对应的样本特征信息；所述预设多任务模型中多个专家网络为预设多头注意力模型，其中，所述预设多头注意力模型中的一个头为一个专家网络；

样本权重信息获取模块，被配置为执行获取多任务各自对应的样本权重信息；

样本多任务预测信息确定模块，被配置为执行根据所述样本特征信息和所述样本权重信息，确定样本多任务预测信息；

损失信息确定模块，被配置为执行基于所述样本多任务预测信息和所述标签信息，确定损失信息；

训练模块，被配置为执行基于所述损失信息训练所述预设多任务模型，得到第一多任务模型。

21.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至9中任一项所述的多媒体资源推荐方法或如权利要求10所述的训练方法。

22.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至9中任一项所述的多媒体资源推荐方法或如权利要求10所述的训练方法。

Images