CN115423016A - 多任务预测模型的训练方法、多任务预测方法及装置 - Google Patents

多任务预测模型的训练方法、多任务预测方法及装置 Download PDF

Info

Publication number
CN115423016A
CN115423016A CN202211057036.4A CN202211057036A CN115423016A CN 115423016 A CN115423016 A CN 115423016A CN 202211057036 A CN202211057036 A CN 202211057036A CN 115423016 A CN115423016 A CN 115423016A
Authority
CN
China
Prior art keywords
task
data
task prediction
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211057036.4A
Other languages
English (en)
Inventor
饶刚
黄山山
王宝云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juhaokan Technology Co Ltd
Original Assignee
Juhaokan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juhaokan Technology Co Ltd filed Critical Juhaokan Technology Co Ltd
Priority to CN202211057036.4A priority Critical patent/CN115423016A/zh
Publication of CN115423016A publication Critical patent/CN115423016A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开涉及一种多任务预测模型的训练方法、多任务预测方法及装置，应用于人工智能技术领域，该多任务预测模型的训练方法包括：构建初始多任务预测模型；通过特征补偿模型对训练数据进行特征提取，得到特征补偿数据；通过多个专家网络分别对训练数据进行特征提取，得到多个特征提取数据；基于每个门控网络，分别对特征提取数据进行融合，得到每个门控网络对应的特征融合数据；通过每个tower网络，对相应的tower网络输入数据进行任务预测，以得到每个tower网络的任务预测结果；基于每个tower网络的任务预测结果，对初始多任务预测模型进行训练，得到目标多任务预测模型。能够解决在训练数据较少时，传统多任务模型任务预测准确度低的问题。

Description

多任务预测模型的训练方法、多任务预测方法及装置
技术领域
本申请实施例涉及人工智能技术。更具体地讲，涉及一种多任务预测模型的训练方法、多任务预测方法及装置。
背景技术
随着人工智能技术的发展，对于机器学习的研究也越来越深入，个性化推荐是机器学习在互联网应用的经典案例，在基于任务确定推荐产品的过程中，人们发现很多任务之间的数据可以共享，为了能够共享底层数据，一次得到多种任务的预测结果，各种多任务模型应运而生。现有的使用较广泛的模型如多任务模型，包括：多个门控网络、多个专家网络以及多个tower网络，可以实现对多种任务的结果预测。
但传统的多任务模型在训练数据较少时，底层数据的表示不够充分，导致任务预测准确度低。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种多任务预测模型的训练方法、多任务预测方法及装置，能够解决在训练数据较少时，传统多任务模型任务预测准确度低的问题。
第一方面，本申请实施例提供了一种多任务预测模型的训练方法，该方法包括：构建初始多任务预测模型，初始多任务预测模型包括：特征补偿模型、多个专家网络、多个门控网络以及多个tower网络，其中，多个门控网络与多个tower网络一一对应，每个tower网络对应一个任务；通过特征补偿模型对训练数据进行特征提取，得到特征补偿数据；通过多个专家网络分别对训练数据进行特征提取，得到多个特征提取数据；基于每个门控网络，分别对特征提取数据进行融合，得到每个门控网络对应的特征融合数据；通过每个tower网络，对相应的tower网络输入数据进行任务预测，以得到每个tower网络的任务预测结果，tower网络输入数据是根据特征补偿数据和相应的门控网络对应的特征融合数据得到的；基于每个tower网络的任务预测结果，对初始多任务预测模型进行训练，得到目标多任务预测模型。
第二方面，本申请提供了一种多任务预测方法，该方法包括：获取待预测数据；将待预测数据输入到目标多任务预测模型，以得到每个tower网络对应的任务预测结果；其中，目标多任务预测模型通过上述第一方面提供的多任务预测模型的训练方法中的任一项的方法进行训练得到。
第三方面，本申请提供了一种多任务预测模型的训练装置，该装置包括：构建单元，特征提取单元，融合单元，预测单元，训练单元；该构建单元，用于构建初始多任务预测模型，初始多任务预测模型包括：特征补偿模型、多个专家网络、多个门控网络以及多个tower网络，其中，多个门控网络与多个tower网络一一对应，每个tower网络对应一个任务；该特征提取单元，用于通过特征补偿模型对训练数据进行特征提取，得到特征补偿数据；该特征提取单元，还用于通过多个专家网络分别对训练数据进行特征提取，得到多个特征提取数据；该融合单元，用于基于每个门控网络，分别对特征提取数据进行融合，得到每个门控网络对应的特征融合数据；该预测单元，用于通过每个tower网络，对相应的tower网络输入数据进行任务预测，以得到每个tower网络的任务预测结果，tower网络输入数据是根据特征补偿数据和相应的门控网络对应的特征融合数据得到的；该训练单元，用于基于每个tower网络的任务预测结果，对初始多任务预测模型进行训练，得到目标多任务预测模型。
第四方面，本申请提供了一种多任务预测装置，该装置包括：获取单元和预测单元；该获取单元，用于获取待预测数据；预测单元，用于将待预测数据输入到目标多任务预测模型，以得到每个tower网络对应的任务预测结果；其中，目标多任务预测模型通过上述第一方面提供的多任务预测模型的训练方法中的任一项的方法进行训练得到。
第五方面，本申请提供了一种计算机可读存储介质，包括：计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如第一方面所示的多任务预测模型的训练方法。
第六方面，本申请提供了一种计算机程序产品，包括：当计算机程序产品在计算机上运行时，使得计算机实现如第一方面所示的多任务预测模型的训练方法。
本申请实施例提供的技术方案与现有技术相比具有如下优点：本申请实施例中，构建初始多任务预测模型，初始多任务预测模型包括：特征补偿模型、多个专家网络、多个门控网络以及多个tower网络，其中，多个门控网络与多个tower网络一一对应，每个tower网络对应一个任务；通过特征补偿模型对训练数据进行特征提取，得到特征补偿数据；通过多个专家网络分别对训练数据进行特征提取，得到多个特征提取数据；基于每个门控网络，分别对特征提取数据进行融合，得到每个门控网络对应的特征融合数据；通过每个tower网络，对相应的tower网络输入数据进行任务预测，以得到每个tower网络的任务预测结果，tower网络输入数据是根据特征补偿数据和相应的门控网络对应的特征融合数据得到的；基于每个tower网络的任务预测结果，对初始多任务预测模型进行训练，得到目标多任务预测模型。传统的多任务模型在训练数据较少时，底层数据表示不充分，导致多任务模型对于任务预测的准确度不高，而本方案将传统的多任务模型与FM模型进行融合得到多任务预测模型，使用FM模型增强了共享的底层数据的表示，从而使得各任务预测的准确性得到提升。
附图说明
为了更清楚地说明本申请实施例或相关技术中的实施方式，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1示出了根据一些实施例的一种多任务预测模型的训练方法以及一种多任务预测方法的实施环境示意图；
图2示出了根据一些实施例的一种系统架构的结构示意图；
图3示出了根据一些实施例的多任务预测模型的训练方法的流程示意图之一；
图4示出了根据一些实施例的多任务模型的结构示意图；
图5示出了根据一些实施例的FM模型的结构示意图；
图6示出了根据一些实施例的多任务预测模型的结构示意图；
图7示出了根据一些实施例的多任务预测模型的训练方法的流程示意图之二；
图8示出了根据一些实施例的多任务预测模型的训练方法的流程示意图之三；
图9示出了根据一些实施例的多任务预测模型的训练方法的流程示意图之四；
图10示出了根据一些实施例的多任务预测模型的训练方法的流程示意图之五；
图11示出了根据一些实施例的一种多任务预测模型的训练装置的结构示意图；
图12示出了根据一些实施例的一种多任务预测装置的结构示意图。
具体实施方式
为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
为了便于理解本申请实施例所述的技术方案及其产生的技术效果，本申请实施例对于涉及的相关专业名词进行解释：
人工智能(Artificial Intelligence，AI)是计算机科学的一个分支，目的是生产出能够以人类智能相似的方式做出反应的机器，是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。本申请实施例提供的方案涉及人工智能的深度学习(Deep Learning，DL)等技术。
深度学习(Deep Learing，DL)是机器学习(Machine Learning，ML)领域中一个主要的研究方向，深度学习的基础为神经网络，而神经网络的实质就是一种机器学习算法。深度学习是通过学习大量的样本数据的内在规律和表示层次，帮助解释一些如文字、图像和声音等数据，它的终极目的还是希望机器可以同人一样，具有学习分析能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术，以及其他相关领域都取得很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。
神经网络，也称为人工神经网络(Artificial Neural Network，ANN)，是模仿生物神经网络的结构和功能的数学模型或计算模型，是机器学习的子集，并且是深度学习算法的核心。神经网络由大量的人工神经元联结进行计算，大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具，常用来对输入和输出间复杂的关系进行建模，或用来探索数据的模式。神经网络由节点层组成，包含一个输入层、一个或多个隐藏层和一个输出层。每个节点也称为一个人工神经元，它们连接到另一个节点，具有相关的权重和阈值。如果任何单个节点的输出高于指定的阈值，那么该节点将被激活，并将数据发送到网络的下一层。否则，不会将数据传递到网络的下一层。
多任务学习，(Multi-task learning，MTL)，MTL是机器学习中和单任务学习(single-task learning)相对的一种机器学习方法，标准的算法理论是一次学习一个任务，也就是系统的输出为实数的情况，复杂的学习问题先被分解成理论上独立的子问题，然后分别对每个子问题进行学习，最后通过对子问题学习结果的组合建立复杂问题的数学模型。多任务学习是一种联合学习，多个任务并行学习，结果相互影响，多个任务共享表征数据，该学习方式将不同任务学习到相关领域的信息，然后基于这部分领域的信息在模型中进行共享，通过多个任务相互学习，相互共享，以便于提升全部模型泛化能力与效果的方式。
嵌入表示，Embedding是一个将离散变量转为连续向量表示的一个方式。在神经网络中，embedding是非常有用的，因为它不光可以减少离散变量的空间维数，同时还可以有意义的表示该变量，并且通常是在确保不损失数据信息的情况下，将高维稀疏的特征变量转换成为低维稠密的特征变量。
门控网络，门控网络指的是在多任务学习过程中，通过使用门控网络作为对专家网络的输出进行权重的控制，该方式在通过输出权重，对多任务模型当中的专家网络进行选择控制。
专家网络，基于相同的表征输入，采用不同的网络结构与参数，形成对不同任务的专家网络。
因子分解机(Factorization Machines，FM)模型，是一种基于矩阵分解的机器学习算法模型，目的是解决大规模稀疏矩阵中特征组合问题。与传统的简单线性模型不同的是，FM模型考虑了特征间的交叉，可以在非常稀疏的数据中，进行合理的参数估计，并且FM模型的复杂度是线性的，优化效果好，不需要依赖于支持向量；FM是一个通用的模型，他可以用于任何特征为实值的情况，而其他的因式分解模型只能用于一些输入数据比较固定的情况。
引入场的因子分解机(Field Factorization Machine，FFM)模型，是在FM模型的基础上引入了“场(Field)”的概念而形成的新模型，FFM模型中同一特征针对不同field使用不同隐向量，模型建模更加准确，但计算复杂度相较于FM模型高一些。
如图1所示，为本申请实施例提供的一种多任务预测模型的训练方法以及一种多任务预测方法的实施环境示意图，如图1所示，该实施环境可以至少包括客户端01和服务器02。客户端01可以用于收集训练数据或者待处理数据，如用户的基础特征信息、用户的行为序列数据。服务器02可以用于构建初始多任务预测模型，初始多任务预测模型包括：特征补偿模型、多个专家网络、多个门控网络以及多个tower网络，其中，多个门控网络与多个tower网络一一对应，每个tower网络对应一个任务；通过特征补偿模型对训练数据进行特征提取，得到特征补偿数据；通过多个专家网络分别对训练数据进行特征提取，得到多个特征提取数据；基于每个门控网络，分别对特征提取数据进行融合，得到每个门控网络对应的特征融合数据；通过每个tower网络，对相应的tower网络输入数据进行任务预测，以得到每个tower网络的任务预测结果，tower网络输入数据是根据特征补偿数据和相应的门控网络对应的特征融合数据得到的；基于每个tower网络的任务预测结果，对初始多任务预测模型进行训练，得到目标多任务预测模型。服务器02还可以用于通过输入包括用户的特征数据和物品的特征数据的待处理数据，得到多任务预测结果，其中，多任务预测结果表征用户与物品的关联关系，进而通过该关联关系向用户推荐与其关联度高的物品，所述物品可以为短视频、文章、推广活动、短信等互联网应用内容。
示例性地，客户端01可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备、监控设备及语音交互设备等类型的设备，也可以包括运行于设备中的软体，例如一些服务商提供给用户的网页页面，也可以为该些服务商提供给用户的应用，具体地本申请实施例不做限定。
示例性地，服务器02可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。所述服务器02可以包括有网络通信单元、处理器和存储器等等。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，具体地本申请实施例不做限定。
如图2所示，为本申请实施例提供的一种系统架构的结构示意图。如图2所示，包括：执行设备200，第一存储单元300，模型训练设备400，用户设备500；其中，执行设备200包括：第二存储单元201，多任务预测模型202，输入/输出接口203。
可以理解，第一存储单元300用于存储训练数据；模型训练设备400用于从第一存储单元300获取训练数据，并基于获取到的训练数据生成多任务预测模型202；执行设备200可以调用第二存储单元201中的数据、代码等，也可以将数据、指令等存入第二存储单元201中；用户设备500可以通过输入/输出接口203输入数据，执行设备200处理完用户输入的数据后，通过输入/输出接口203返回给用户设备500。训练设备200可以针对不同的任务，基于不同的数据生成相应的多任务预测202，如任务可以是点击预测、观看时长超过时长阈值的预测、是否观看完成预测、是否收藏预测等等，通过不同的任务，以给用户提供更佳物品推荐。
需要说明的是，图2仅是本申请实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，第二存储单元201位于执行设备200的内部，但在一些情况下，第二存储单元201也可以位于执行设备200的外部。
本申请实施例中，如图3所示，提供了一种多任务预测模型的训练方法，下面以执行主体为测试设备为例，对本申请实施例提供的多任务预测模型的训练方法进行示例性的说明。该方法可以包括下述的步骤101至步骤106。
101、构建初始多任务预测模型。
其中，初始多任务预测模型包括：特征补偿模型、多个专家网络、多个门控网络以及多个tower网络，其中，多个门控网络与多个tower网络一一对应，每个tower网络对应一个任务。
其中，特征补偿模型包括：FM模型或，FFM模型。
可以理解，多个专家网络、多个门控网络以及多个tower网络组成一个多任务模型，如图4所示，以两个任务进行示例，则对应两个任务的有两个门控网络gate1和gate2，两个任务对应的tower网络为tower1和tower2，每个tower网络都是一个多层感知器，均用于进行任务预测，比如，可以进行分类，或者，回归等；每个门控网络通过深度神经网络构建。
具体地，gate1和gate2用于对输入的数据进行处理，用以针对不同的任务为expert 1、expert 2……expert n分配不同的权重，基于每个专家网络的输出和门控网络的输出加权得到各tower对应的输入，通过tower 1和tower 2进行任务预测得到任务预测结果output 1和output 2。
102、通过特征补偿模型对训练数据进行特征提取，得到特征补偿数据。
可以理解，初始多任务预测模型还包括了嵌入表征处理模块，特征补偿模型包括一阶项模块、二阶项模块和融合模块，通过特征补偿模型对训练数据进行特征提取，得到特征补偿数据，具体地，通过嵌入表征处理模块对训练数据进行预处理，得到处理后的训练数据；将训练数据输入一阶项模块，得到第一补偿数据；将处理后的训练数据输入二阶项模块，得到第二补偿数据；基于融合模块，对第一补偿数据和所述第二补偿数据进行融合，得到特征补偿数据。
可以理解，如图5所示，input即为训练数据，训练数据经过嵌入表征处理模块54进行处理，以使离散特征连续化，特征补偿模型50包括：一阶项模块51、二阶项模块52和融合模块53，一阶项模块51用于将训练数据中每个特征域构建一个神经元，输入为全1的向量，基于连接权重加权的结果作为一阶项；二阶项模块52用于将经过嵌入表征处理模块54处理后得到每个特征域的向量两两交叉相乘在求和；融合模块53用于拼接一阶项模块51和二阶项模块52的输出，拼接后的结果作为output。
103、通过多个专家网络分别对训练数据进行特征提取，得到多个特征提取数据。
可以理解，通过多个专家网络分别对训练数据进行特征提取，得到多个特征提取数据，具体地，通过嵌入表征处理模块对训练数据进行预处理，得到处理后的训练数据；通过多个专家网络分别对处理后的训练数据进行特征提取，得到多个特征提取数据。
104、基于每个门控网络，分别对特征提取数据进行融合，得到每个门控网络对应的特征融合数据。
可以理解，基于每个门控网络，分别对特征提取数据进行融合，得到每个门控网络对应的特征融合数据，具体地，以多任务预测模型用于预测第一任务和第二任务，第一任务对应第一门控网络，第二任务对应第二门控网络，通过第一门控网络和第二门控网络分别对特征提取数据进行融合，即通过第一门控网络确定多个专家网络的权重，将每个专家网络基于对应的权重加权求和得到第一门控网络对应的特征融合数据，通过第二门控网络确定多个专家网络的权重，将每个专家网络基于对应的权重加权求和得到第二门控网络对应的特征融合数据。
105、通过每个tower网络，对相应的tower网络输入数据进行任务预测，以得到每个tower网络的任务预测结果。
其中，tower网络输入数据是根据特征补偿数据和相应的门控网络对应的特征融合数据得到的。
可以理解，如图6所示，为本申请实施例提供的多任务预测模型的结构示意图，图中以特征补偿模型为FM模型，预测两个任务为例示出，对应的门控网络为gate 1和gate 2，tower网络为tower 1和tower 2。训练数据61，包括图中示出的file 1至file n，图中示出file 1至file n中数字1的部分表示的为一个数据中有意义的部分，如用向量[1 0 0 0 00 0 0 0 0]表示性别男，用向量[0 1 0 0 0 0 0 0 0 0]表示性别女，图中field 1可以为性别，一个用户非男即女，因此，只会取性别域中的一个，即field 1中仅有一个1，field 2可以为用户偏好的演员，用户偏好的演员可能有多个，假设有2个，即field 1中有两个1；训练数据通过嵌入表征处理模块54(即图中的embedding layer)处理使得训练数据中的离散特征连续化，如：field 2为用户偏好的演员，在embedding layer构建一个演员的embedding矩阵，基于演员的embedding矩阵和field 2可以获取到用户偏好A演员的embedding矩阵和B演员的embedding矩阵，再将两个矩阵求和或者求平均得到用户偏好演员的表达(具体处理可以参考现有技术，此处不再赘述)；图中多专家网络和门控网络的输入62，是将训练数据经过embedding layer处理后得到的连续特征，与训练数据中原本是连续特征的数据进行拼接后作为输入数据，其中，连续特征如：一个媒资的趋热指数为0到1的连续的数，离散特征包括：单值离散特征和多值离散特征，单值离散特征如：性别，任一用户的性别为男或者女，多值离散特征如：用户偏好的演员，一个用户偏好的演员可能有多个；最终输出的output 1和output 2为任务预测的结果，如：任务为预测用户是否会点击某一媒资，以及用户观看该媒资是否会大于或等于预设时长，最终输出的结果为预估用户点击该媒资的概率以及用户观看该媒资大于或等于预设时长的概率。
具体地，FM模型对应的算法如公式(1)所示，FFM模型对应的算法如公式(1)所示：
Figure BDA0003825250550000071
其中，y为FM模型的输出，ω0为常数项，ωi为每个输入向量对应的权重，xi为输入向量，vi为xi经过embedding layer处理后的得到的向量，<vi,vj>为两个向量的点积，该算法具体应用可以参考现有技术，此处不再赘述。
Figure BDA0003825250550000072
其中，y为FFM模型的输出，ω0为常数项，ωi为每个输入向量对应的权重，xi为输入向量，vi为xi经过embedding layer处理后的得到的向量，fj为第j个特征所属的域，
Figure BDA0003825250550000073
为两个向量的点积，该算法具体应用可以参考现有技术，具体可以参考现有技术，此处不再赘述。
可选地，tower网络的输入数据包括特征补偿数据和每个门控网络对应的特征融合数据；或者，tower网络的输入数据是由特征补偿数据和每个门控网络对应的特征融合数据加权得到的。
可以理解，tower网络的输入数据是由特征补偿数据和每个门控网络对应的特征融合数据加权后的结果，作为tower网络的输入，具体地权重根据实际需要确定，本申请实施例不做限定。
106、基于每个tower网络的任务预测结果，对初始多任务预测模型进行训练，得到目标多任务预测模型。
可以理解，训练得到的目标多任务预测模型，基于训练数据的不同，得到的目标多任务预测模型用于预测的任务也不同，如：目标多任务预测模型可以用于预测用户是否会点击某一媒资，进一步的，预测观看媒资的时长是否会大于或者等于时长阈值，进一步的，还可以预测用户是否完整观看完媒资等。
其中，在任务的设置中，用户观看媒资的时长的预测是一个回归类任务，观看时长如以秒为单位则是一个很大的数值，不利于模型的训练，预测准确度也不够高，因此，可以将待预测的媒资根据内容不同进行分类，如：按照内容不同可以将媒资分类(电视剧、电影、综艺、动漫、幼儿、纪录片)，不同分类设置不同的观看时长阈值，将用户观看媒资的时长的预测转化为预测用户观看媒资的时长是否会大于或者等于时长阈值，如此，将一个回归类任务转化为一个二分类任务，任务识别的准确度更高、模型训练也更简单。
可以理解，在有多个任务需要学习时，多种任务间存在业务漏斗的转化，如从点击到付费，一般都是点击数据多，付费数据少，因此针对点击与付费两个任务，构建多任务模型，可以共享底层数据，对数据量少的任务可以做到更好的泛化，同时在多任务模型中，引入FM模型，加强了底层数据表示，使得模型在数据量少的任务上也能取得好的效果，一般数据量太少，训练的多任务模型的准确度偏低，特别深度学习模型，数据量少的情况下很难收敛，本方案通过多任务间共享底层数据，引入FM与传统的embedding共享特征表示，强化底层表示模块，提升了多任务模型预测的准确性。
本申请实施例中，构建初始多任务预测模型，初始多任务预测模型包括：特征补偿模型、多个专家网络、多个门控网络以及多个tower网络，其中，多个门控网络与多个tower网络一一对应，每个tower网络对应一个任务；通过特征补偿模型对训练数据进行特征提取，得到特征补偿数据；通过多个专家网络分别对训练数据进行特征提取，得到多个特征提取数据；基于每个门控网络，分别对特征提取数据进行融合，得到每个门控网络对应的特征融合数据；通过每个tower网络，对相应的tower网络输入数据进行任务预测，以得到每个tower网络的任务预测结果，tower网络输入数据是根据特征补偿数据和相应的门控网络对应的特征融合数据得到的；基于每个tower网络的任务预测结果，对初始多任务预测模型进行训练，得到目标多任务预测模型。传统的多任务模型在训练数据较少时，底层数据表示不充分，导致多任务模型对于任务预测的准确度不高，而本方案将传统的多任务模型与FM模型进行融合得到多任务预测模型，使用FM模型增强了共享的底层数据的表示，从而使得各任务预测的准确性得到提升。
本申请一些实施例中，结合图3，如图7所示，上述步骤106具体可以通过下述106a实现。
106a、基于每个tower网络的任务预测结果，通过优化器训练初始多任务预测模型，得到目标多任务预测模型。
可以理解，优化器是在深度学习反向传播过程中，指引损失函数(目标函数)的各个参数往正确的方向更新合适的大小，使得更新后的各个参数让损失函数(目标函数)的值不断逼近全局最小。
可选地，上述优化器可以为以下任一项：随机梯度下降(Stochastic GradientDescent，SGD)优化器，加入动量机制的随机梯度下降(Stochastic Gradient Descentwith momentum，SGDM)优化器，Adagrad优化器，RMSProp优化器，Adam优化器。
具体地，上述优化器的具体应用，可以参考现有技术，此处不再赘述。
本申请实施例中，基于每个tower网络的任务预测结果，通过优化器训练初始多任务预测模型，得到目标多任务预测模型，可以使得多任务预测模型快速收敛，提升训练的效率。
本申请一些实施例中，结合图7，如图8所示，上述步骤106a具体可以通过下述步骤106b至步骤106d实现。
106b、根据每个tower网络的任务预测结果以及第一损失函数，确定每个tower网络对应的损失。
106c、基于每个tower网络对应的损失，确定目标损失。
106d、基于目标损失，通过优化器训练初始多任务预测模型，得到目标多任务预测模型。
可以理解，损失函数，是用来度量模型的预测值与真实值的差异程度的运算函数，它是一个非负实值函数，损失函数越小，模型的鲁棒性就越好。损失函数在模型的训练阶段，每个批次的训练数据送入模型后，通过前向传播输出预测值，然后损失函数会计算出预测值和真实值之间的差异值，也就是损失值。得到损失值之后，模型通过反向传播去更新各个参数，来降低真实值与预测值之间的损失，使得模型生成的预测值往真实值方向靠拢，从而达到学习的目的。
可以理解，第一损失函数可以是对数损失函数，也可以是其他损失函数，具体根据实际情况确定，本申请实施例不做限定。
可以理解，将每个任务对应的任务预测结果作为第一损失函数的输入，得到第一损失函数对应的输出，将多个任务对应的输出求和的结果作为目标损失。
示例性地，以第一损失函数为对数损失函数为例，第一损失函数的公式如公式(3)所示：
Figure BDA0003825250550000091
其中，N为输入的样本数量，yi为真实值，pi为预测的结果。如：任务为预测是否点击，y1是否点击，p1为预测的点击的概率，具体对数损失函数的相关知识可以参考现有技术，此处不再赘述。
本申请实施例中，根据每个tower网络的任务预测结果以及第一损失函数，确定每个tower网络对应的损失；基于每个tower网络对应的损失，确定目标损失；基于目标损失，通过优化器训练初始多任务预测模型，得到目标多任务预测模型。通过损失函数可以更直观地反应多任务预测模型的鲁棒性，进而可以更快地使模型收敛。
本申请一些实施例中，结合图7，如图9所示，上述步骤106a具体可以通过下述步骤106e和步骤106f实现。
106e、基于每个tower网络的任务预测结果对应的权重，对每个tower网络的任务预测结果进行加权，得到目标预测结果。
106f、基于目标预测结果，通过优化器训练初始多任务预测模型，得到目标多任务预测模型。
可以理解，将多个任务预测结果进行加权，具体权重的确定可以根据实际任务的重要性确定，本申请实施例不做具体限定。
可以理解，通过在构建模型时，设置超参，根据设置的超参将每个任务的预测结果进行加权，将多任务模型的多个任务预测结果通过目标预测结果表达，因为多任务预测模型，各任务之间有相关性，如此，可以减少了模型的输出，使得结果更简单。
示例性地，多任务预测模型的任务1为预测是否点击媒资，任务2观看时长是否大于或者等于时长阈值，但任务1与任务2之间具有相关性，用户只有在点击后才可能进行观看，因此任务1的权重更大，为0.7，任务2的权重为0.3，根据输入的数据模型得到的任务1的任务预测结果为80％，任务2的预测结果为30％，则目标预测结果为80％×0.7+30％×0.3＝65％，即表示用户点击并且观看该媒资的概率为65％。
本申请实施例中，基于每个tower网络的任务预测结果对应的权重，对每个tower网络的任务预测结果进行加权，得到目标预测结果；基于目标预测结果，通过优化器训练初始多任务预测模型，得到目标多任务预测模型。如此，通过设置的超参，将多个相关任务的任务预测结果加权得到目标预测结果，增强了各任务之间的相关性，使得模型的输出结果也更简单。
本申请一些实施例中，结合图9，如图10所示，上述步骤106f具体可以通过下述步骤106g和步骤106h实现。
106g、根据目标预测结果以及第二损失函数，确定初始多任务预测模型对应的损失。
106h、基于初始多任务预测模型对应的损失，通过优化器训练初始多任务预测模型，得到目标多任务预测模型。
可以理解，第二损失函数可以是对数损失函数，也可以是其他损失函数，第二损失函数与上述第一损失函数可以相同也可以不同，具体根据实际情况确定，本申请实施例不做限定。
需要说明的是，第二损失函数的描述可以参考上述步骤106b中的第一损失函数的相关描述，为了避免重复，此处不再赘述。
本申请实施例中，根据目标预测结果以及第二损失函数，确定初始多任务预测模型对应的损失；基于初始多任务预测模型对应的损失，通过优化器训练初始多任务预测模型，得到目标多任务预测模型。目标预测结果只有一个，对应的损失也只有一个，使得模型的训练更简单，提升了模型的训练效率。
本申请实施例中，还提供了一种多任务预测方法，该方法包括下述步骤1001至步骤1002。
1001、获取待预测数据。
1002、将待预测数据输入到目标多任务预测模型，以得到每个tower网络对应的任务预测结果。
其中，目标多任务预测模型通过如上述多任务预测模型的训练方法中任一方法进行训练得到。
本申请实施例中，目标多任务预测模型通过如上述多任务预测模型的训练方法中任一方法进行训练得到，与上述多任务预测模型的训练方法具有相同的技术效果，为避免重复，这里不再赘述。
本申请实施例中，如图11所示，还提供了一种多任务预测模型的训练装置，该装置包括：构建单元1101，特征提取单元1102，融合单元1103，预测单元1104，训练单元1105；构建单元1101，用于针对目标多任务构建初始多任务预测模型，初始多任务预测模型包括：特征补偿模型、多个专家网络、多个门控网络以及多个tower网络，其中，多个门控网络与多个tower网络一一对应，每个tower网络对应一个任务；特征提取单元1102，用于通过特征补偿模型对训练数据进行特征提取，得到特征补偿数据；特征提取单元1102，还用于通过多个专家网络分别对训练数据进行特征提取，得到多个特征提取数据；融合单元1103，用于基于每个门控网络，分别对特征提取数据进行融合，得到每个门控网络对应的特征融合数据；预测单元1104，用于通过每个tower网络，对相应的tower网络输入数据进行任务预测，以得到每个tower网络的任务预测结果，tower网络输入数据是根据特征补偿数据和相应的门控网络对应的特征融合数据得到的；训练单元1105，用于基于每个tower网络的任务预测结果，对初始多任务预测模型进行训练，得到目标多任务预测模型。
本申请一些实施例中，特征补偿模型包括：因子分解机FM模型或，引入场的因子分解机FFM模型。
本申请一些实施例中，训练单元1105，具体用于基于每个tower网络的任务预测结果，通过优化器训练初始多任务预测模型，得到目标多任务预测模型。
本申请一些实施例中，本申请实施例提供的多任务预测模型的训练装置还包括确定单元，该确定单元，用于根据每个tower网络的任务预测结果以及第一损失函数，确定每个tower网络对应的损失；基于每个tower网络对应的损失，确定目标损失；训练单元1105，具体用于基于目标损失，通过优化器训练初始多任务预测模型，得到目标多任务预测模型。
本申请一些实施例中，训练单元1105，具体用于基于每个tower网络的任务预测结果对应的权重，对每个tower网络的任务预测结果进行加权，得到目标预测结果；基于目标预测结果，通过优化器训练初始多任务预测模型，得到目标多任务预测模型。
本申请一些实施例中，该确定单元，还用于根据目标预测结果以及第二损失函数，确定初始多任务预测模型对应的损失；训练单元1105，具体用于基于初始多任务预测模型对应的损失，通过优化器训练初始多任务预测模型，得到目标多任务预测模型。
本申请一些实施例中，tower网络的输入数据包括特征补偿数据和每个门控网络对应的特征融合数据；或者，tower网络的输入数据是由特征补偿数据和每个门控网络对应的特征融合数据加权得到的。
本申请实施例中，各单元可以实现上述方法实施例提供的多任务预测模型的训练方法，且能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例中，如图12所示，还提供了一种多任务预测装置，该装置包括：获取单元1201和预测单元1202；获取单元1201，用于获取待预测数据；预测单元1202，用于将待预测数据输入到目标多任务预测模型，以得到每个tower网络对应的任务预测结果；其中，目标多任务预测模型通过如上述方法实施例提供的多任务预测模型的训练方法中的任一方法训练得到。
本申请实施例中，各单元可以实现上述方法实施例提供的多任务预测模型的训练方法，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例提供还提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现上述多任务预测模型的训练方法执行的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，该计算机可读存储介质可以为只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本发明提供一种计算机程序产品，包括：当所述计算机程序产品在计算机上运行时，使得所述计算机实现上述的多任务预测模型的训练方法。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种多任务预测模型的训练方法，其特征在于，所述方法包括：
构建初始多任务预测模型，所述初始多任务预测模型包括：特征补偿模型、多个专家网络、多个门控网络以及多个tower网络，其中，多个门控网络与多个tower网络一一对应，每个tower网络对应一个任务；
通过所述特征补偿模型对训练数据进行特征提取，得到特征补偿数据；
通过多个专家网络分别对所述训练数据进行特征提取，得到多个特征提取数据；
基于每个门控网络，分别对所述特征提取数据进行融合，得到每个门控网络对应的特征融合数据；
通过所述每个tower网络，对相应的tower网络输入数据进行任务预测，以得到所述每个tower网络的任务预测结果，所述tower网络输入数据是根据所述特征补偿数据和相应的门控网络对应的特征融合数据得到的；
基于所述每个tower网络的任务预测结果，对所述初始多任务预测模型进行训练，得到目标多任务预测模型。
2.根据权利要求1所述的方法，其特征在于，所述特征补偿模型包括：
因子分解机FM模型或，引入场的因子分解机FFM模型。
3.根据权利要求1所述的方法，其特征在于，所述基于所述每个tower网络的任务预测结果，对所述初始多任务预测模型进行训练，得到目标多任务预测模型，包括：
基于所述每个tower网络的任务预测结果，通过优化器训练所述初始多任务预测模型，得到目标多任务预测模型。
4.根据权利要求3所述的方法，其特征在于，所述基于所述每个tower网络的任务预测结果，通过优化器训练所述初始多任务预测模型，得到目标多任务预测模型，包括：
根据所述每个tower网络的任务预测结果以及第一损失函数，确定所述每个tower网络对应的损失；
基于所述每个tower网络对应的损失，确定目标损失；
基于所述目标损失，通过优化器训练所述初始多任务预测模型，得到目标多任务预测模型。
5.根据权利要求3所述的方法，其特征在于，所述基于所述每个tower网络的任务预测结果，通过优化器训练所述初始多任务预测模型，得到目标多任务预测模型，包括：
基于所述每个tower网络的任务预测结果对应的权重，对所述每个tower网络的任务预测结果进行加权，得到目标预测结果；
基于所述目标预测结果，通过优化器训练所述初始多任务预测模型，得到目标多任务预测模型。
6.根据权利要求5所述的方法，其特征在于，所述基于所述目标预测结果，通过优化器训练所述初始多任务预测模型，得到目标多任务预测模型，包括：
根据所述目标预测结果以及第二损失函数，确定所述初始多任务预测模型对应的损失；
基于所述初始多任务预测模型对应的损失，通过优化器训练所述初始多任务预测模型，得到目标多任务预测模型。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述tower网络的输入数据包括所述特征补偿数据和所述每个门控网络对应的特征融合数据；
或者，
所述tower网络的输入数据是由所述特征补偿数据和所述每个门控网络对应的特征融合数据加权得到的。
8.一种多任务预测方法，其特征在于，包括：
获取待预测数据；
将所述待预测数据输入到目标多任务预测模型，以得到每个tower网络对应的任务预测结果；
其中，所述目标多任务预测模型通过如权利要求1～7中任一项所述的方法进行训练得到。
9.一种多任务预测模型的训练装置，其特征在于，所述装置包括：构建单元，特征提取单元，融合单元，预测单元，训练单元；
所述构建单元，用于针对目标多任务构建初始多任务预测模型，所述初始多任务预测模型包括：特征补偿模型、多个专家网络、多个门控网络以及多个tower网络，其中，多个门控网络与多个tower网络一一对应，每个tower网络对应一个任务；
所述特征提取单元，用于通过所述特征补偿模型对训练数据进行特征提取，得到特征补偿数据；
所述特征提取单元，还用于通过多个专家网络分别对所述训练数据进行特征提取，得到多个特征提取数据；
所述融合单元，用于基于每个门控网络，分别对所述特征提取数据进行融合，得到每个门控网络对应的特征融合数据；
所述预测单元，用于通过所述每个tower网络，对相应的tower网络输入数据进行任务预测，以得到所述每个tower网络的任务预测结果，所述tower网络输入数据是根据所述特征补偿数据和相应的门控网络对应的特征融合数据得到的；
所述训练单元，用于基于所述每个tower网络的任务预测结果，对所述初始多任务预测模型进行训练，得到目标多任务预测模型。
10.一种多任务预测装置，其特征在于，所述装置包括：获取单元和预测单元；
所述获取单元，用于获取待预测数据；
所述预测单元，用于将所述待预测数据输入到目标多任务预测模型，以得到每个tower网络对应的任务预测结果；
其中，所述目标多任务预测模型通过如权利要求1～7中任一项所述的方法进行训练得到。
CN202211057036.4A 2022-08-31 2022-08-31 多任务预测模型的训练方法、多任务预测方法及装置 Pending CN115423016A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211057036.4A CN115423016A (zh) 2022-08-31 2022-08-31 多任务预测模型的训练方法、多任务预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211057036.4A CN115423016A (zh) 2022-08-31 2022-08-31 多任务预测模型的训练方法、多任务预测方法及装置

Publications (1)

Publication Number Publication Date
CN115423016A true CN115423016A (zh) 2022-12-02

Family

ID=84200033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211057036.4A Pending CN115423016A (zh) 2022-08-31 2022-08-31 多任务预测模型的训练方法、多任务预测方法及装置

Country Status (1)

Country Link
CN (1) CN115423016A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115844696A (zh) * 2023-02-24 2023-03-28 广州视景医疗软件有限公司 一种视觉训练方案的生成方法、装置、终端设备和介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115844696A (zh) * 2023-02-24 2023-03-28 广州视景医疗软件有限公司 一种视觉训练方案的生成方法、装置、终端设备和介质

Similar Documents

Publication Publication Date Title
CN111368210B (zh) 基于人工智能的信息推荐方法、装置以及电子设备
CN111966914B (zh) 基于人工智能的内容推荐方法、装置和计算机设备
CN113254792B (zh) 训练推荐概率预测模型的方法、推荐概率预测方法及装置
CN112035743B (zh) 数据推荐方法、装置、计算机设备以及存储介质
Wang et al. Learning performance prediction via convolutional GRU and explainable neural networks in e-learning environments
CN115510313A (zh) 信息推荐方法、装置、存储介质及计算机设备
Hicham et al. Comparative study of neural networks algorithms for cloud computing CPU scheduling
KR102551997B1 (ko) 콘텐츠 시청 성향 분석 기반 광고 콘텐츠 기획 자동화 및 커머스 플랫폼 서비스 제공 방법, 장치 및 시스템
CN113515690A (zh) 内容召回模型的训练方法、内容召回方法、装置及设备
CN115983497A (zh) 一种时序数据预测方法和装置、计算机设备、存储介质
CN115423016A (zh) 多任务预测模型的训练方法、多任务预测方法及装置
CN116205700A (zh) 目标产品的推荐方法、装置、计算机设备和存储介质
CN116628345B (zh) 一种内容推荐方法、装置、电子设备和存储介质
CN114817692A (zh) 确定推荐对象的方法、装置和设备及计算机存储介质
KR102552856B1 (ko) 커머스 연계 콘텐츠 제공 플랫폼 서비스를 위한 키워드 추출 및 콘텐츠 템플릿 생성 자동화 방법, 장치 및 시스템
KR102463875B1 (ko) 빅데이터를 활용한 사용자 맞춤 심리 치료 콘텐츠 제공 방법, 장치 및 시스템
CN114692012A (zh) 一种基于Bert的神经协同过滤的电子政务推荐方法
CN114357301A (zh) 数据处理方法、设备及可读存储介质
CN115482019A (zh) 一种活动关注度预测方法、装置、电子设备和存储介质
Bagkar et al. Sentiment analysis on Netflix
CN117711001B (zh) 图像处理方法、装置、设备和介质
KR102618066B1 (ko) 군인 기반 커뮤니티 애플리케이션에서 자연어 처리 및 이미지 대조를 기반으로 하여 군사 보안을 강화하는 방법, 장치 및 시스템
Deng et al. Visual computing resources distribution and balancing by multimodal cat swarm optimization
CN113779396B (zh) 题目推荐方法和装置、电子设备、存储介质
Stephy et al. Empowering tourists with context-aware recommendations using gan

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination