CN114282681A - 多任务处理及模型的训练方法、装置、介质及设备 - Google Patents

Abstract

本申请公开了多任务处理及模型的训练方法、装置、介质及设备，涉及人工智能领域，该方法包括：针对目标多任务构建初始化的多任务处理模型，所述多任务处理模型包括多层结构的特征提取网络和与所述目标多任务中各任务对应的塔网络；所述特征提取网络的每一层包括各所述任务共享的多个专家网络以及各所述任务对应的门控网络；获取所述目标多任务对应的训练数据；将所述训练数据输入至所述多任务处理模型，对所述多任务处理模型中的所述专家网络、所述门控网络和所述塔网络进行训练，得到用于处理所述目标多任务的多任务处理模型。本申请提供的方案能够提升多层多任务处理模型的泛化能力和准确性。

Description

多任务处理及模型的训练方法、装置、介质及设备

技术领域

本申请涉及人工智能领域，具体涉及一种多任务处理及模型的训练方法、装置、介质及设备。

背景技术

人工智能(Artificial Intelligence，AI)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理、机器学习、深度学习等几大方向。随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

多任务学习是一种基于共享表征数据，把多个相关的任务放在一起的一种机器学习方式，同时也是迁移学习的一种。传统的多任务学习模型多为单层网络结构，多层多任务学习模型的泛化能力及准确性还有待提升。

发明内容

为了提升多层多任务学习模型的泛化能力和准确性，本申请提供了一种多任务处理及模型的训练方法、装置、介质及设备。所述技术方案如下：

第一方面，本申请提供了一种多任务处理模型的训练方法，所述方法包括：

针对目标多任务构建初始化的多任务处理模型，所述多任务处理模型包括多层结构的特征提取网络和与所述目标多任务中各任务对应的塔网络；所述特征提取网络的每一层包括各所述任务共享的多个专家网络以及各所述任务对应的门控网络；

获取所述目标多任务对应的训练数据；

将所述训练数据输入至所述多任务处理模型，对所述多任务处理模型中的所述专家网络、所述门控网络和所述塔网络进行训练，得到用于处理所述目标多任务的多任务处理模型。

第二方面，本申请提供了一种多任务处理方法，所述方法包括：

获取针对目标多任务构建并训练的多任务处理模型，所述多任务处理模型包括多层结构的特征提取网络和与所述目标多任务中各任务对应的塔网络；所述特征提取网络的每一层包括各所述任务共享的多个专家网络以及各所述任务对应的门控网络；

获取所述目标多任务对应的待处理数据，所述待处理数据包括用户的特征数据和候选对象的特征数据；

将所述待处理数据输入至所述多任务处理模型，得到各所述任务的处理结果；

将各所述任务的处理结果进行融合，得到目标处理结果，所述目标处理结果表征所述用户与所述候选对象的关联程度。

第三方面，本申请提供了一种多任务处理模型的训练装置，所述装置包括：

模型构建模块，用于针对目标多任务构建初始化的多任务处理模型，所述多任务处理模型包括多层结构的特征提取网络和与所述目标多任务中各任务对应的塔网络；所述特征提取网络的每一层包括各所述任务共享的多个专家网络以及各所述任务对应的门控网络；

训练数据获取模块，用于获取所述目标多任务对应的训练数据；

模型训练模块，用于将所述训练数据输入至所述多任务处理模型，对所述多任务处理模型中的所述专家网络、所述门控网络和所述塔网络进行训练，得到用于处理所述目标多任务的多任务处理模型。

第四方面，本申请提供了一种多任务处理装置，所述装置包括：

模型获取模块，用于获取针对目标多任务构建并训练的多任务处理模型，所述多任务处理模型包括多层结构的特征提取网络和与所述目标多任务中各任务对应的塔网络；所述特征提取网络的每一层包括各所述任务共享的多个专家网络以及各所述任务对应的门控网络；

数据获取模块，用于获取所述目标多任务对应的待处理数据，所述待处理数据包括用户特征数据和候选对象的特征数据；

处理模块，用于将所述待处理数据输入至所述多任务处理模型，得到各所述任务的处理结果；

融合模块，用于将各所述任务的处理结果进行融合，得到目标处理结果，所述目标处理结果表征所述用户与所述候选对象的关联程度。

第五方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如第一方面所述的一种多任务处理模型的训练方法或如第二方面所述的一种多任务处理方法。

第六方面，本申请提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行以实现如第一方面所述的一种多任务处理模型的训练方法或如第二方面所述的一种多任务处理方法。

第七方面，本申请提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如第一方面所述的一种多任务处理模型的训练方法或如第二方面所述的一种多任务处理方法。

本申请提供的多任务处理及模型的训练方法、装置、介质及设备，具有如下技术效果：

本申请提供的方案在单层结构的多任务学习模型的基础上，针对所要处理的目标多任务构建了多层结构的多任务处理模型，本申请提供的多任务处理模型包括多层结构的特征提取网络和与目标多任务中各任务对应的塔网络，其中特征提取网络用于提取数据特征和特征共享，塔网络分别用于满足各任务的具体应用需求。在每一层特征提取网络中，均设有各任务共享的多个专家网络和与各任务对应的门控网络，门控网络用于对专家网络提取的特征数据进行融合，不同任务对应的门控网络输出的专家网络权重是不同的，得到的各任务在该层级的特征融合数据因而具有差异性，将各任务的特征融合数据进行合并，作为下一层级的特征提取网络的输入，尽可能地共享了特征数据，直至最后输入至各任务对应的塔网络，得到各任务的处理结果；也即，在本申请提供的多任务处理模型中，对于目标任务中的每一个任务而言，对应的门控网络也是多层的，层数与特征提取网络的层数相同，并且向上传递初始的输入数据，用于各层的门控网络计算对应层级的专家网络权重。在处理多个关联任务的场景下既区分了任务的特异性，又融合了任务之间的相关性，可以有效提升模型的泛化能力和处理结果准确性。此外，在训练阶段，考虑到专家网络的个数较多，所要训练的参数也增多，还可以对每层特征提取网络中的专家网络采用随机沉默处理，也即在一轮训练中，训练的是部分专家网络，通过多轮迭代训练，完成对模型中所有专家网络的训练，提升了模型的稳定性和泛化能力。再者，对于各任务的塔网络，可以采用不同的网络框架，使多任务处理模型具有灵活变动性。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种多任务处理及模型的训练方法的实施环境示意图；

图2是本申请实施例提供的一个区块链系统的结构示意图；

图3是本申请实施例提供的一种多任务处理模型的训练方法的流程示意图；

图4是本申请实施例提供的一种MMOE模型的网络结构示意图；

图5是本申请实施例提供的一种多任务处理模型的网络结构示意图；

图6是本申请实施例提供的一种对多任务处理模型中的所述专家网络、所述门控网络进行训练的流程示意图；

图7是本申请实施例提供的一种得到目标专家网络的特征输出数据的流程示意图；

图8是本申请实施例提供的一种得到各任务对应的特征融合数据的流程示意图；

图9是本申请实施例提供的一种确定目标层级特征提取网络的输出数据的流程示意图；

图10是本申请实施例提供的一种多任务处理方法的流程示意图；

图11是本申请实施例提供的一种多任务处理模型的训练装置的示意图；

图12是本申请实施例提供的一种多任务处理装置的示意图；

图13是本申请实施例提供的一种操作端的硬件结构示意图；

图14是本申请实施例提供的一种服务端的硬件结构示意图。

具体实施方式

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。

本申请实施例提供的方案涉及人工智能的深度学习(Deep Learning,，DL)等技术。

深度学习(Deep Learing，DL)是机器学习(Machine Learning，ML)领域中一个主要的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。

本申请实施例提供的方案可部署在云端，其中还涉及云技术等。

云技术(Cloud technology)：是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术，也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称，可以组成资源池，按需所用，灵活便利。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站，伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，因此云技术需要以云计算作为支撑。云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。作为云计算的基础能力提供商，会建立云计算资源池平台，简称云平台，一般称为基础设施即服务(IaaS，Infrastructure as a Service)，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(可为虚拟化机器，包含操作系统)、存储设备和网络设备。

为了提升多任务处理模型的泛化能力和准确性，本申请实施例提供了多任务处理及模型的训练方法、装置、介质及设备。下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于理解本申请实施例所述的技术方案及其产生的技术效果，本申请实施例对于涉及到的相关专业名词进行解释：

多任务学习：Multi-task learning，MTL；MTL是机器学习中一个很有前景的领域，是一种基于共享表征数据，把多个相关的任务放在一起的一种机器学习方式，同时也是迁移学习的一种。该学习方式将不同任务学习到相关领域的信息，然后基于这部分领域的信息在模型中进行共享，通过多个任务相互学习，相互共享，以便于提升全部模型泛化能力与效果的方式。

Embedding：嵌入表示，是一个将离散变量转为连续变量表示的一种方式，通常是在不损失数据信息的情况下，将高维稀疏的特征变量转换成为低维稠密的特征变量，用于找到最合适的表示以及挖掘其内在联系。

门控网络：门控网络指的是在多任务学习过程中，通过使用门控网络作为对专家网络的输出进行权重的控制。该方式在通过输出权重，对多任务模型当中的专家网络进行选择控制。

专家网络：基于相同的表征输入，采用不同的网络结构与参数，形成对不同任务的专家网络。

CVR模型：CVR(Conversion Rate，转化率)是一个衡量广告效果的指标，简言之就是用户点击广告到成为一个有效激活或者注册甚至付费用户的转化率；CVR模型是用于预估用户在观察到曝光商品后进而点击到商品详情页之后购买某商品的概率，是一个条件概率，基于曝光且点击之后用户购买的概率模型。

CTR模型：CTR(Click-Through-Rate，点击通过率)，是互联网广告常用的术语，指网络广告(图片广告、文字广告、关键词广告、排名广告、视频广告等)的点击到达率，即该广告的实际点击次数(严格的来说，可以是到达目标页面的数量)除以广告的展现量(Showcontent)。CTR模型表示点击率模型，是用于预测用户针对某个页面，某个商品的点击概率的模型。

MMOE模型：Multi-gate Mixture-of-Experts，多门控融合专家网络多任务学习模型；旨在学习如何从数据中权衡任务目标(task-specific objectives)和任务之间(inter-task relationships)的关系。所有任务之间共享混合专家结构(MoE)的子模型来适应多任务学习，同时还拥有可训练的门控网路(Gating Network)以优化每一个任务。

跷跷板效应：Seesaw Phenomenon；多任务学习中不同任务的损失量级很可能不一样，如果存在某个损失过大，模型会倾向于学习该损失下的这个任务，而减少对其它任务的权重的学习，导致某些任务过分拟合，某些任务欠拟合的情况。

Dropout：是一种在深度学习环境中应用的正规化手段。它是这样运作的：在一次循环中先随机选择神经层中的一些单元并将其临时隐藏，然后再进行该次循环中神经网络的训练和优化过程。在下一次循环中，又将隐藏另外一些神经元，如此直至训练结束。其可以有效提高整个神经网络框架的稳定性与泛化能力。在现实应用中，设置dropout＝0.5，意味着该神经元将有50％概率沉默。

请参阅图1，其为本申请实施例提供的一种多任务处理模型的训练方法以及一种多任务处理方法的实施环境示意图，如图1所示，该实施环境可以至少包括客户端01和服务器02。

具体的，所述客户端01可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备、监控设备及语音交互设备等类型的设备，也可以包括运行于设备中的软体，例如一些服务商提供给用户的网页页面，也可以为该些服务商提供给用户的应用。具体的，所述客户端01可以用于收集训练数据或者待处理数据，如用户的基础特征信息、用户的行为序列数据。

具体的，所述服务器02可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。所述服务器02可以包括有网络通信单元、处理器和存储器等等。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。具体的，所述服务器02可以用于构建并训练针对目标多任务的多任务处理模型，所述多任务处理模型包括多层结构的特征提取网络和与所述目标多任务中各任务对应的塔网络；所述特征提取网络的每一层包括各所述任务共享的多个专家网络以及各所述任务对应的门控网络。所述服务器02还可以用于通过输入包括用户的特征数据和物品的特征数据的待处理数据，得到所述目标多任务的处理结果，所述处理结果表征所述用户与所述物品的关联关系。进一步地，向用户推荐与其关联度高的物品，所述物品可以为短视频、文章、推广活动、短信等互联网应用内容。

本申请实施例还可以结合云技术实现，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术，也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称。云技术需要以云计算作为支撑。云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。具体地，所述服务器02和数据库位于云端，所述服务器02可以是实体机器，也可以是虚拟化机器。

在本申请的一个实施例中，多任务处理机模型的训练方法可以基于分布式的区块链系统实现。图2是本申请实施例提供的一个区块链系统的结构示意图。如图2所示，服务器可以为分布式系统100中的一个节点200，其中该分布式系统可以为区块链系统，该区块链系统可以是由多个节点通过网络通信的形式连接形成的分布式系统，节点之间可以组成点对点(Peer To Peer，P2P)网络，任意形式的计算机设备，比如服务器、客户端300等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点，其中区块链包括一系列按照产生的先后时间顺序相互接续的区块(Block)，新区块一旦加入到区块链中就不会再被移除，区块中记录了区块链系统中节点提交的记录数据。

其中区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新兴应用模式，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。平台产品服务层提供典型应用的基本能力和实现框架，开发人员可以基于这些基本能力，叠加业务的特性，完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。

以下介绍本申请提供的一种多任务处理模型的训练方法。图3是本申请实施例提供的一种多任务处理模型的训练方法的流程图，本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。请参照图3，本申请实施例提供的一种多任务处理模型的训练方法可以包括如下步骤：

S210：针对目标多任务构建初始化的多任务处理模型，所述多任务处理模型包括多层结构的特征提取网络和与所述目标多任务中各任务对应的塔网络；所述特征提取网络的每一层包括各所述任务共享的多个专家网络以及各所述任务对应的门控网络。

基于神经网络的多任务学习已经大规模地应用，如推荐系统CV、自然语言处理、强化学习。多任务学习是基于共享表示(shared representation)，把多个相关的任务放在一起学习的一种机器学习方法。在多任务学习(在本申请中亦可称为多任务处理)往往会将多个相关的任务放在一起来学习，例如在广告推荐系统中，排序任务作为主任务，可以包括点击率排序任务和转化率排序任务，同时预估候选广告的点击率和用户转化率。相对于单任务学习，采用多任务学习的方式，多个关联任务共享一个模型，占用内存量减少，推理速度增加；多个关联任务通过共享信息，相互补充，可以提升模型的泛化表现。在本申请实施例中，目标多任务中各任务存在相关性，每个任务可以提升目标多任务这一主任务的学习效果，在主任务的处理模型中，单个任务也能得到更好的表现。在本申请实施例中，各所述任务可以看做是所述目标多任务的子任务。

可以理解的是，本申请提供的多任务处理模型是在MMOE模型的基础上叠加了多层的专家网络和每个任务的多层门控网络。图4示出了MMOE模型的网络结构，如图4示，MMOE模型是在共享底层网络的基础上，叠加多个专家网络，使得不同的子任务能够提取到子任务所需的强力特征，该方案针对每个任务使用单独的门控网络(gating network)，每个子任务的gating network通过最终输出权重不同实现对专家网络(expert networks)的选择性利用。不同子任务的门控网络可以学习到不同的组合专家网络的模式。但MMOE模型仅仅考虑了单层的专家网络，并未考虑到多层的专家门控网络下的模型。

在本申请的一个实施例中，图5示出了本申请实施例提供的一种多任务处理模型，如图5所示，针对所要处理的目标多任务构建了多层结构的多任务处理模型，本申请提供的多任务处理模型包括多层结构的特征提取网络和与目标多任务中各任务对应的塔网络，其中特征提取网络用于提取数据特征，塔网络分别用于满足各任务的具体应用需求，如分类任务或预测任务。在每一层特征提取网络中，均设有各任务共享的多个专家网络和与各任务对应的门控网络，专家网络、门控网络可以为神经网络。同时可以理解的是，在本申请提供的多任务处理模型中，对于目标任务中的每一个任务而言，对应的门控网络也是多层的，层数与特征提取网络的层数相同，也与专家网络的层数相同。对于各任务的塔网络，可以采用不同的网络框架，使多任务处理模型具有灵活变动性，例如任务A可用普通的多层神经网络，任务B可用DeepFM(Deep Factorization Machines，深度因子分解机)，任务C可用DCN(Deep&Cross Network，深度交叉网络)。在图5中，仅示出了任务A和任务B的多层门控网络，没有示出任务C的多层门控网络，任务C的多层门控网络在多任务处理模型的位置可类比任务A和任务B，不作赘述。

S230：获取所述目标多任务对应的训练数据。

在本申请实施例中，所述训练数据用于直接输入至所述多任务处理模型。在输入至所述多任务处理模型的第一层级特征提取网络之前，所述训练数据还可以是经过了嵌入表征处理的初始特征数据。如图5所示，若初始的数据高维且稀疏，则可以将稀疏数据输入至稀疏特征模块进行嵌入表征(Embedding)处理，降低数据的维度，提供给所述多任务处理模型进行标准化读取。

示例性，在推荐系统中，所述训练数据可以包括用户的基础特征序列数据、用户点击行为序列数据、用户购买行为序列数据、用户评论行为序列数据、用户浏览的商品的特征数据、用户观看的短视频的特征数据等。

S250：将所述训练数据输入至所述多任务处理模型，对所述多任务处理模型中的所述专家网络、所述门控网络和所述塔网络进行训练，得到用于处理所述目标多任务的多任务处理模型。

在本申请实施例中，在构建的所述多任务处理模型中，实现了多层结构的特征提取网络(也可认为是多层的专家网络)，可以实现真正意义上的深度学习；在每一层特征提取网络中，均设有各任务共享的多个专家网络和与各任务对应的门控网络，门控网络用于对专家网络提取的特征数据进行融合，使得专家网络提取的特征能够定制化地为不同任务所用，提升多任务处理的灵活性和准确性；不同任务对应的门控网络确定的专家网络权重是不同的，得到的各任务在该层级的特征融合数据因而具有差异性，将各任务的特征融合数据进行合并，作为下一层级的特征提取网络的输入，尽可能地共享了特征数据，直至最后输入至各任务对应的塔网络，得到各任务的处理结果；也即，在本申请提供的多任务处理模型中，对于目标任务中的每一个任务而言，对应的门控网络也是多层的，层数与特征提取网络的层数相同，并且向上传递初始的输入数据，用于各层的门控网络计算对应层级的专家网络权重。在处理多个关联任务的场景下既区分了任务的特异性，又融合了任务之间的相关性，可以有效提升模型的泛化能力和处理结果准确性。

需要说明的是，在本申请实施例中，特征提取网络包含专家网络和门控网络两类网络，而非对应于具体的网络模型，层的概念为表述需要。

在本申请的一个实施例中，当目标层级特征提取网络为第一层级特征提取网络时，也即前一网络节点为所述多任务处理模型的输入节点，第一层级特征提取网络包括两部分，一为各任务共享的多个专家网络(expert net v1)，二为各任务各自的第一层级门控网络，如图5中所示的，对于任务A和B，在第一层级特提取网络中设有门控网络GateA1和GateB1，在expert net v1中有多个专家网络，为目标多任务中的所有任务所共享。

以包含任务A和任务B的目标多任务为示例，首先，GateA1、GateB1和expert netv1中的多个专家网络分别接收所述多任务处理模型的输入节点的输出，也即训练数据。

其次，GateA1根据训练数据确定任务A在第一层级的一组专家网络权重值，GateB1根据训练数据确定任务B在第一层级的一组专家网络权重值，多个专家网络虽然是相同的表征输入，但是采用不同的网络结构和参数，故专家网络权重值可以体现不同任务对该层不同的专家网络的注意力大小；同时，第一层级的多个专家网络对训练数据进行特征提取，得到各个专家网络的特征输出数据；进一步地，当模型层数增加时，在训练过程中大量的专家网络会影响模型的稳定性，参数的计算也带来巨大的消耗，故可以采用Dropout机制，如图5所示，在一轮训练中，对每层的部分专家网络实施沉默处理(灰色图案为实施沉默处理的专家网络)，不参与该轮训练过程，防止模型训练过程中的梯度消失和过拟合的情况出现，提升模型的稳定性和泛化能力。对于不同的任务而言，同一层级的实施沉默处理的专家网络是相同的。在后续轮次的训练中，会选择其他部分专家网络实施沉默处理，多轮训练后，完成对该层级所有专家网络的训练。

然后，根据GateA1确定的一组专家网络权重值和第一层级的各个专家网络的特征输出数据，融合得到任务A在第一层特征提取网络的特征融合数据，相应地，任务B同样对应有任务B在第一层特征提取网络的特征融合数据。

接着，根据任务A在第一层特征提取网络的特征融合数据和任务B在第一层特征提取网络的特征融合数据，确定第一层级特征提取网络的输出数据，并将第一层级特征提取网络的输出数据输入至第二层级特征提取网络中的各个专家网络中进行进一步地特征提取。此外，GateA1、GateB1分别将训练数据向上传递至GateA2、GateB2，以分别用于计算任务A、任务B在第二层级的一组专家网络权重值。

在本申请的一个实施例中，当目标层级特征提取网络为中间层级特征提取网络，也即前一网络节点和后一网络节点为一层特征提取网络时，具体地，如图6所示，所述将所述训练数据输入至所述多任务处理模型，对所述多任务处理模型中的所述专家网络、所述门控网络进行训练，可以包括以下步骤：

S251：在对目标层级特征提取网络的训练过程中，接收前一层级特征提取网络的输出数据。

可以理解的是，前一层级特征提取网络的输出数据也是前一层级的专家网络的特征输出数据与各任务对应的前一层级门控网络交互的结果。

S252：基于所述目标层级特征提取网络的目标专家网络，对所述前一层级特征提取网络的输出数据进行特征提取，得到所述目标专家网络的特征输出数据。

可以理解的是，所述目标专家网络可以是目标层级特征提取网络中多个专家网络的全部或者部分，其参与到这一轮次的训练过程中。

在本申请的一个实施例中，具体地，如图7所示，所述步骤S252可以包括以下步骤：

S2521：在目标轮次的训练过程中，从所述目标层级特征提取网络的多个专家网络中随机抽取得到目标专家网络。

S2523：将所述前一层级特征提取网络的输出数据输入至所述目标专家网络以对所述前一层级特征提取网络的输出数据进行特征提取。

相当于对所述目标层级特征提取网络的多个专家网络中除所述目标专家网络之外的其他专家网络执行预设操作，以使所述其他专家网络不参与所述目标轮次的训练过程。

对于不同的任务而言，同一层级的执行预设操作(在本申请实施例中亦称实施沉默处理)的专家网络是相同的。在后续轮次的训练中，会选择其他部分专家网络实施沉默处理，多轮训练后，完成对该层级所有专家网络的训练。

上述实施例中，使用dropout的方式对部分专家网络实施沉默处理，防止随着专家网络的增加与网络层数的提升，模型训练过程中会出现的梯度消失和过拟合的情况，提升模型的稳定性和泛化能力。

S253：基于所述目标层级特征提取网络中各所述任务对应的目标门控网络，对所述目标专家网络的特征输出数据进行融合，得到各所述任务对应的特征融合数据。

在本申请实施例中，门控网络用于对专家网络提取的特征数据进行融合，使得专家网络提取的特征能够定制化地为不同任务所用，提升多任务处理的灵活性和准确性；不同任务对应的门控网络确定的专家网络权重是不同的，得到的各任务在该层级的特征融合数据因而具有差异性，能够提升各任务处理的准确性。

在本申请的一个实施例中，具体地，如图8所示，所述步骤S253可以包括以下步骤：

S2531：接收所述前一层级特征提取网络中各所述任务对应的门控网络输出的所述训练数据。

可以理解的是，在本申请实施例提供的所述多任务处理模型中，每一个任务对应的多层门控网络之间向上传递训练数据，用于确定各层级的专家网络权重值。

S2533：基于所述目标层级特征提取网络中各所述任务对应的目标门控网络，根据所述训练数据确定各所述任务对应的专家网络权重。

可以理解的是，专家网络权重值可以体现不同任务对该层不同的专家网络的注意力大小。

S2535：根据所述各所述任务对应的专家网络权重和所述目标专家网络的特征输出数据，得到各所述任务对应的特征融合数据。

示例性地，根据各所述任务对应的专家网络权重，对所述目标专家网络的特征输出数据进行加权求和，得到各所述任务对应的特征融合数据。

S254：根据各所述任务对应的特征融合数据确定所述目标层级特征提取网络的输出数据。

在本申请的一个实施例中，具体地，如图9所示，所述步骤S254可以包括以下步骤：

S2541：对各所述任务对应的特征融合数据进行合并，得到所述目标层级特征提取网络的输出数据。

示例性的，将各所述任务对应的特征融合数据按向量的形式进行横向合并，得到所述目标层级特征提取网络的输出数据。

S2543：将所述目标层级特征提取网络的输出数据输入至所述后一层级特征提取网络中的多个专家网络。

此外，所述目标层级特征提取网络中各任务对应的目标门控网络分别向后一层级特征提取网络中的各任务对应的门控网络传递训练数据。

上述实施例体现了多任务处理模型中多层特征提取网络之间的输出与输入关系以及每层特征提取网络中数据特征的提取与融合，实现了真正意义上的深度学习，有效提升了目标多任务处理的准确性和泛化能力。

S255：将所述目标层级特征提取网络的输出数据输入至后一层级特征提取网络。

在本申请的一个实施例中，当目标层级特征提取网络为最后层级特征提取网络，也即后一网络节点为各任务对应的塔网络时，将各所述任务对应的特征融合数据对应输入至各所述任务对应的塔网络，以对塔网络进行训练。如图5所示，根据GateAn确定的第n层级的一组专家网络权重与expert net vn输出的目标专家网络的特征输出数据，确定任务A对应的最终的特征融合数据，将其输入至TowerA中，最后得到对于任务A的训练处理结果OutputA。

在本申请的一个实施例中，各任务对应的塔网络可以采用“隐层输出+MIP(Multi-layer Perceptron，多层感知机)”的框架，实现可插拔的模型框架，具体地，多层特征提取网络之后，叠加MLP、DCN或者DeeopFM等模型，训练阶段可以通过不断的尝试，寻找最优的任务塔网络框架，增加模型的灵活性。在输出端叠加的塔网络去建立适合各任务的模型，能够在整合多任务的基础上，实现单个任务准确率的提高，提升整个模型框架的灵活性。

在一种可行的实施方式中，针对模型训练，采用传统多任务模型框架下的训练目标，即将各个任务的损失直接相加，得到整体的损失数据，模型的损失函数可以如下所示：

也即，模型的总体损失主要由各个任务的损失叠加而成的。

在另一种可行的实施方式中，各个任务的损失数据也分别对应一个权重，整体的损失数据是各个任务的损失数据加权求和的结果。

以下介绍本申请提供的一种多任务处理方法。图10是本申请实施例提供的一种多任务处理方法的流程图，本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。请参照图10，本申请实施例提供的一种多任务处理方法可以包括如下步骤：

S310：获取针对目标多任务构建并训练的多任务处理模型，所述多任务处理模型包括多层结构的特征提取网络和与所述目标多任务中各任务对应的塔网络；所述特征提取网络的每一层包括各所述任务共享的多个专家网络以及各所述任务对应的门控网络。

可以理解的是，在本申请实施例提供的一种多任务处理方法中，所使用的多任务处理模型为上述实施例中针对目标多任务所构建和训练的多任务处理模型，模型结构可参考上述实施例，此处不再赘述。

S330：获取所述目标多任务对应的待处理数据，所述待处理数据包括用户的特征数据和候选对象的特征数据。

示例性的，所述待处理数据可以包括用户的基础特征序列数据、用户行为序列数据、候选对象的特征数据、候选对象的用户历史反馈数据(如点赞数、评论数、转发量、观看时长、转化率等)，所述候选对象可以为待向用户推荐的商品、短视频、文章、推广短信、活动等。

S350：将所述待处理数据输入至所述多任务处理模型，得到各所述任务的处理结果。

可以理解的是，在本申请实施例提供的一种多任务处理方法中，数据的处理过程也可参考上述实施例提供的一种多任务处理模型的训练方法，但不同的是，在模型的实际应用过程中，每一层级特征提取网络中的多个专家网络均参与其中，为各任务所共享，也即Dropout机制仅适用于模型训练阶段。

S370：将各所述任务的处理结果进行融合，得到目标处理结果，所述目标处理结果表征所述用户与所述候选对象的关联程度。

示例性的，在多目标行为预测场景中，所述关联程度可以为预测的用户对候选对象执行多种目标行为的概率或者为前述概率的融合结果。根据所述用户对候选对象执行多种目标行为的概率或者为前述概率的融合结果，对候选对象或者对用户进行排序，向用户推荐排在前列的候选对象，或者将前列的用户作为候选对象的受众进行推广。如在短视频的推荐应用场景下，模型通过用户的基础特征、用户行为特征等一系列特征体系，给用户推荐高点赞、高评论、高分享等多个目标下的短视频，以提升用户在短视频的留存时长，精准推荐用户喜欢且留存时间长的短视频，提升用户的进一步转化；如短信的推广中，需要用到涉及到对用户的精准识别，不仅仅需要提升用户对短信产品的点击率，同时需要提升用户的转化与付费意愿，多项任务的情况下，优秀的多任务学习在提升短信场景的应用也可以发挥有效作用。

本申请实施例还提供了一种多任务处理模型的训练装置1100，如图11所示，所述装置1100可以包括：

模型构建模块1110，用于针对目标多任务构建初始化的多任务处理模型，所述多任务处理模型包括多层结构的特征提取网络和与所述目标多任务中各任务对应的塔网络；所述特征提取网络的每一层包括各所述任务共享的多个专家网络以及各所述任务对应的门控网络；

训练数据获取模块1120，用于获取所述目标多任务对应的训练数据；

模型训练模块1130，用于将所述训练数据输入至所述多任务处理模型，对所述多任务处理模型中的所述专家网络、所述门控网络和所述塔网络进行训练，得到用于处理所述目标多任务的多任务处理模型。

在本申请的一个实施例中，所述模型训练模块1130可以包括：

数据接收单元，用于在对目标层级特征提取网络的训练过程中，接收前一层级特征提取网络的输出数据；

特征提取单元，用于基于所述目标层级特征提取网络的目标专家网络，对所述前一层级特征提取网络的输出数据进行特征提取，得到所述目标专家网络的特征输出数据；

融合单元，用于基于所述目标层级特征提取网络中各所述任务对应的目标门控网络，对所述目标专家网络的特征输出数据进行融合，得到各所述任务对应的特征融合数据；

层级输出确定单元，用于根据各所述任务对应的特征融合数据确定所述目标层级特征提取网络的输出数据；

输出单元，用于将所述目标层级特征提取网络的输出数据输入至后一层级特征提取网络。

在本申请的一个实施例中，所述特征提取单元可以包括：

抽取子单元，用于在目标轮次的训练过程中，从所述目标层级特征提取网络的多个专家网络中随机抽取得到目标专家网络；

特征提取子单元，用于将所述前一层级特征提取网络的输出数据输入至所述目标专家网络以对所述前一层级特征提取网络的输出数据进行特征提取。

在本申请的一个实施例中，所述融合单元可以包括：

接收子单元，用于接收所述前一层级特征提取网络中各所述任务对应的门控网络输出的所述训练数据；

权重计算子单元，用于基于所述目标层级特征提取网络中各所述任务对应的目标门控网络，根据所述训练数据确定各所述任务对应的专家网络权重；

融合子单元，用于根据所述各所述任务对应的专家网络权重和所述目标专家网络的特征输出数据，得到各所述任务对应的特征融合数据。

在本申请的一个实施例中，所述层级输出确定单元可以包括：

合并子单元，用于对各所述任务对应的特征融合数据进行合并，得到所述目标层级特征提取网络的输出数据；

输出子单元，用于将所述目标层级特征提取网络的输出数据输入至所述后一层级特征提取网络中的多个专家网络。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本申请实施例还提供了一种多任务处理装置1200，如图12所示，所述装置1200可以包括：

模型获取模块1210，用于获取针对目标多任务构建并训练的多任务处理模型，所述多任务处理模型包括多层结构的特征提取网络和与所述目标多任务中各任务对应的塔网络；所述特征提取网络的每一层包括各所述任务共享的多个专家网络以及各所述任务对应的门控网络；

数据获取模块1220，用于获取所述目标多任务对应的待处理数据，所述待处理数据包括用户特征数据和候选对象的特征数据；

处理模块1230，用于将所述待处理数据输入至所述多任务处理模型，得到各所述任务的处理结果

结果融合模块1240，用于将各所述任务的处理结果进行融合，得到目标处理结果，所述目标处理结果表征所述用户与所述候选对象的关联程度。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本申请实施例提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的一种多任务处理模型的训练方法或一种多任务处理方法。

请参阅图13，其所示为本申请实施例提供的一种操作端的硬件结构示意图，该操作端用于实施上述实施例中提供的一种多任务处理模型的训练方法或一种多任务处理方法。

操作端1300可以包括RF(Radio Frequency，射频)电路1310、包括有一个或一个以上计算机可读存储介质的存储器1320、输入单元1330、显示单元1340、视频传感器1350、音频电路1360、WiFi(wireless fidelity，无线保真)模块1370、包括有一个或者一个以上处理核心的处理器1380、以及电源130等部件。本领域技术人员可以理解，图13中示出的操作端结构并不构成对操作端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

RF电路1310可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器1380处理；另外，将涉及上行的数据发送给基站。通常，RF电路1310包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(Low Noise Amplifier，低噪声放大器)、双工器等。此外，RF电路1310还可以通过无线通信与网络和其他设备通信。该无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA(CodeDivision Multiple Access，码分多址)、WCDMA(Wideband Code Division MultipleAccess,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(ShortMessaging Service，短消息服务)等。

存储器1320可用于存储软件程序以及模块，处理器1380通过运行存储在存储器1320的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器1320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据操作端1300的使用所创建的数据(比如视频数据、电话本等)等。此外，存储器1320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器1320还可以包括存储器控制器，以提供处理器1380和输入单元1330对存储器1320的访问。

输入单元1330可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元1330可包括图像输入设备1331以及其他输入设备1332。图像输入设备1331可以是摄像头，也可以是光电扫描设备。除了图像输入设备1331，输入单元1330还可以包括其他输入设备1332。具体地，其他输入设备1332可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1340可用于显示由用户输入的信息或提供给用户的信息以及操作端1300的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元1340可包括显示面板1341，可选的，可以采用LCD(Liquid CrystalDisplay，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)等形式来配置显示面板1341。

操作端1300可包括至少一种视频传感器1350，视频传感器用于获取用户的视频信息。操作端1300还可以包括其它传感器(未示出)，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1341的亮度，接近传感器可在操作端1300移动到耳边时，关闭显示面板1341和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等。至于操作端1300还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

视频电路1360、扬声器1361，传声器1362可提供用户与操作端1300之间的视频接口。音频电路1360可将接收到的音频数据转换后的电信号，传输到扬声器1361，由扬声器1361转换为声音信号输出；另一方面，传声器1362将收集的声音信号转换为电信号，由音频电路1360接收后转换为音频数据，再将音频数据输出处理器1380处理后，经RF电路1310以发送给比如另一操作端，或者将音频数据输出至存储器1320以便进一步处理。音频电路1360还可能包括耳塞插孔，以提供外设耳机与操作端1300的通信。

WiFi属于短距离无线传输技术，操作端1300通过WiFi模块1370可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图13示出了WiFi模块1370，但是可以理解的是，其并不属于操作端1300的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器1380是操作端1300的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1320内的软件程序和/或模块，以及调用存储在存储器1320内的数据，执行操作端1300的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1380可包括一个或多个处理核心；优选的，处理器1380可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1380中。

操作端1300还包括给各个部件供电的电源130(比如电池)，优选的，电源可以通过电源管理系统与处理器1380逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源130还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。尽管未示出，操作端1300还可以包括蓝牙模块等，在此不再赘述。

具体在本实施例中，操作端1300还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于执行上述方法实施例提供的一种多任务处理模型的训练方法或一种多任务处理方法的指令。

本申请实施例还提供了一种服务端，该服务端包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的一种多任务处理模型的训练方法或一种多任务处理方法。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及异常行为主体的检测。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

图14是本申请实施例提供的一种服务端的硬件结构框图。如图14所示，该服务端1400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)1410(处理器1410可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1430，一个或一个以上存储应用程序1423或数据1422的存储介质1420(例如一个或一个以上海量存储设备)。其中，存储器1430和存储介质1420可以是短暂存储或持久存储。存储在存储介质1420的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1410可以设置为与存储介质1420通信，在服务端1400上执行存储介质1420中的一系列指令操作。服务器1400还可以包括一个或一个以上电源1460，一个或一个以上有线或无线网络接口1450，一个或一个以上输入输出接口1440，和/或，一个或一个以上操作系统1421，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

输入输出接口1440可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1400的通信供应商提供的无线网络。在一个实例中，输入输出接口1440包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1440可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图14所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务端1400还可包括比图14中所示更多或者更少的组件，或者具有与图14所示不同的配置。

本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。操作端的处理器从计算机可读存储介质读取该计算机指令，操作端的处理器执行该计算机指令，使得操作端执行上述方法实施例中一种多任务处理模型的训练方法或一种多任务处理方法；或者，服务端的处理器从计算机可读存储介质读取该计算机指令，服务端的处理器执行该计算机指令，使得服务端执行上述方法实施例中服务端侧的一种多任务处理模型的训练方法或一种多任务处理方法；

本申请实施例还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由操作端的处理器执行以完成上述方法实施例中操作端侧的各个步骤，或者上述指令由服务端的处理器执行以完成上述方法实施例中服务端侧的各个步骤。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

由上述本申请提供的多任务处理及模型的训练方法、装置、介质及设备，具有如下技术效果：

本申请提供的方案在单层结构的多任务学习模型的基础上，针对所要处理的目标多任务构建了多层结构的多任务处理模型，本申请提供的多任务处理模型包括多层结构的特征提取网络和与目标多任务中各任务对应的塔网络，其中特征提取网络用于提取数据特征和特征共享，塔网络分别用于满足各任务的具体应用需求。在每一层特征提取网络中，均设有各任务共享的多个专家网络和与各任务对应的门控网络，门控网络用于对专家网络提取的特征数据进行融合，不同任务对应的门控网络输出的专家网络权重是不同的，得到的各任务在该层级的特征融合数据因而具有差异性，将各任务的特征融合数据进行合并，作为下一层级的特征提取网络的输入，尽可能地共享了特征数据，直至最后输入至各任务对应的塔网络，得到各任务的处理结果；也即，在本申请提供的多任务处理模型中，对于目标任务中的每一个任务而言，对应的门控网络也是多层的，层数与特征提取网络的层数相同，并且向上传递初始的输入数据，用于各层的门控网络计算对应层级的专家网络权重。在处理多个关联任务的场景下既区分了任务的特异性，又融合了任务之间的相关性，可以有效提升模型的泛化能力和处理结果准确性。此外，在训练阶段，考虑到专家网络的个数较多，所要训练的参数也增多，还可以对每层特征提取网络中的专家网络采用随机沉默处理，也即在一轮训练中，训练的是部分专家网络，通过多轮迭代训练，完成对模型中所有专家网络的训练，提升了模型的稳定性和泛化能力。再者，对于各任务的塔网络，可以采用不同的网络框架，使多任务处理模型具有灵活变动性。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多任务处理模型的训练方法，其特征在于，所述方法包括：

针对目标多任务构建初始化的多任务处理模型，所述多任务处理模型包括多层结构的特征提取网络和与所述目标多任务中各任务对应的塔网络；所述特征提取网络的每一层包括各所述任务共享的多个专家网络以及各所述任务对应的门控网络；

获取所述目标多任务对应的训练数据；

将所述训练数据输入至所述多任务处理模型，对所述多任务处理模型中的所述专家网络、所述门控网络和所述塔网络进行训练，得到用于处理所述目标多任务的多任务处理模型。

2.根据权利要求1所述的多任务处理模型的训练方法，其特征在于，所述将所述训练数据输入至所述多任务处理模型，对所述多任务处理模型中的所述专家网络、所述门控网络进行训练，包括：

在对目标层级特征提取网络的训练过程中，接收前一层级特征提取网络的输出数据；

基于所述目标层级特征提取网络的目标专家网络，对所述前一层级特征提取网络的输出数据进行特征提取，得到所述目标专家网络的特征输出数据；

基于所述目标层级特征提取网络中各所述任务对应的目标门控网络，对所述目标专家网络的特征输出数据进行融合，得到各所述任务对应的特征融合数据；

根据各所述任务对应的特征融合数据确定所述目标层级特征提取网络的输出数据；

将所述目标层级特征提取网络的输出数据输入至后一层级特征提取网络。

3.根据权利要求2所述的多任务处理模型的训练方法，其特征在于，所述基于所述目标层级特征提取网络的目标专家网络，对所述前一层级特征提取网络的输出数据进行特征提取，得到所述目标专家网络的特征输出数据，包括：

在目标轮次的训练过程中，从所述目标层级特征提取网络的多个专家网络中随机抽取得到目标专家网络；

将所述前一层级特征提取网络的输出数据输入至所述目标专家网络以对所述前一层级特征提取网络的输出数据进行特征提取。

4.根据权利要求2所述的多任务处理模型的训练方法，其特征在于，所述基于所述目标层级特征提取网络中各所述任务对应的目标门控网络，对所述目标专家网络的特征输出数据进行融合，得到各所述任务对应的特征融合数据，包括：

接收所述前一层级特征提取网络中各所述任务对应的门控网络输出的所述训练数据；

基于所述目标层级特征提取网络中各所述任务对应的目标门控网络，根据所述训练数据确定各所述任务对应的专家网络权重；

根据所述各所述任务对应的专家网络权重和所述目标专家网络的特征输出数据，得到各所述任务对应的特征融合数据。

5.根据权利要求2所述的多任务处理模型的训练方法，其特征在于，所述根据各所述任务对应的特征融合数据确定所述目标层级特征提取网络的输出数据，包括：

对各所述任务对应的特征融合数据进行合并，得到所述目标层级特征提取网络的输出数据；

将所述目标层级特征提取网络的输出数据输入至所述后一层级特征提取网络中的多个专家网络。

6.一种多任务处理方法，其特征在于，所述方法包括：

获取针对目标多任务构建并训练的多任务处理模型，所述多任务处理模型包括多层结构的特征提取网络和与所述目标多任务中各任务对应的塔网络；所述特征提取网络的每一层包括各所述任务共享的多个专家网络以及各所述任务对应的门控网络；

获取所述目标多任务对应的待处理数据，所述待处理数据包括用户的特征数据和候选对象的特征数据；

将所述待处理数据输入至所述多任务处理模型，得到各所述任务的处理结果；

将各所述任务的处理结果进行融合，得到目标处理结果，所述目标处理结果表征所述用户与所述候选对象的关联程度。

7.一种多任务处理模型的训练装置，其特征在于，所述装置包括：

模型构建模块，用于针对目标多任务构建初始化的多任务处理模型，所述多任务处理模型包括多层结构的特征提取网络和与所述目标多任务中各任务对应的塔网络；所述特征提取网络的每一层包括各所述任务共享的多个专家网络以及各所述任务对应的门控网络；

训练数据获取模块，用于获取所述目标多任务对应的训练数据；

模型训练模块，用于将所述训练数据输入至所述多任务处理模型，对所述多任务处理模型中的所述专家网络、所述门控网络和所述塔网络进行训练，得到用于处理所述目标多任务的多任务处理模型。

8.一种多任务处理装置，其特征在于，所述装置包括：

模型获取模块，用于获取针对目标多任务构建并训练的多任务处理模型，所述多任务处理模型包括多层结构的特征提取网络和与所述目标多任务中各任务对应的塔网络；所述特征提取网络的每一层包括各所述任务共享的多个专家网络以及各所述任务对应的门控网络；

数据获取模块，用于获取所述目标多任务对应的待处理数据，所述待处理数据包括用户特征数据和候选对象的特征数据；

处理模块，用于将所述待处理数据输入至所述多任务处理模型，得到各所述任务的处理结果；

融合模块，用于将各所述任务的处理结果进行融合，得到目标处理结果，所述目标处理结果表征所述用户与所述候选对象的关联程度。

9.一种计算可读机存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至5中任一项所述的一种多任务处理模型的训练方法或如权利要求6所述的一种多任务处理方法。

10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行以实现如权利要求1至5中任一项所述的一种多任务处理模型的训练方法或如权利要求6所述的一种多任务处理方法。

Images