CN112541124B - 生成多任务模型的方法、装置、设备、介质及程序产品 - Google Patents
生成多任务模型的方法、装置、设备、介质及程序产品 Download PDFInfo
- Publication number
- CN112541124B CN112541124B CN202011550776.2A CN202011550776A CN112541124B CN 112541124 B CN112541124 B CN 112541124B CN 202011550776 A CN202011550776 A CN 202011550776A CN 112541124 B CN112541124 B CN 112541124B
- Authority
- CN
- China
- Prior art keywords
- information
- loss function
- layer
- feature
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000006399 behavior Effects 0.000 claims abstract description 177
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000010801 machine learning Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 130
- 238000012512 characterization method Methods 0.000 claims description 46
- 230000007246 mechanism Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000003542 behavioural effect Effects 0.000 claims description 5
- 230000010365 information processing Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 11
- 238000013473 artificial intelligence Methods 0.000 abstract description 7
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 4
- 238000003066 decision tree Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000003924 mental process Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种生成多任务模型的方法、装置、设备、介质及程序产品，涉及深度学习、自然语言处理、计算机视觉和语音识别技术等人工智能技术领域。该方法的一具体实施方式包括：获取信息样本集，其中，信息样本集的样本包括：信息特征和对应的特征参数标签与用户行为特征和对应的行为类别标签；将信息特征作为多任务模型所包括的主任务网络的输入，将特征参数标签作为主任务网络的输出；以及，将用户行为特征作为多任务模型所包括的辅助任务网络的输入，将行为类别标签作为辅助任务网络的输出，训练机器学习模型，得到多任务模型。本申请能够利用用户的行为作为辅助任务，来帮助主任务实现特征参数的预估，提高了多任务模型预估特征参数的准确率。
Description
技术领域
本申请实施例涉及计算机技术领域，具体涉及深度学习、自然语言处理、计算机视觉和语音识别技术等人工智能技术领域，尤其涉及一种生成多任务模型的方法、装置、设备、介质及存储介质。
背景技术
随着互联网行业的蓬勃发展，越来越多的用户通过网络分享信息(例如，落地页、网页等)以达到向其他用户推广的目的。以落地页为例，当前，一套落地页对接所有用户，所以特征参数并不是最优。因此，打造在线实时的落地页优选的能力，优化落地页特征参数，完善端到端的落地页的生态显得尤其重要。
目前，基于点击落地页后的数据样本，采用与点击率(click-through rate，CTR)建模类似的方法，对特征参数进行单任务建模，以实现对落地页特征参数的优化。
发明内容
本申请实施例提出了一种生成多任务模型的方法、装置、设备、介质及程序产品。
第一方面，本申请实施例提出了一种生成多任务模型的方法，包括：获取信息样本集，其中，信息样本集的样本包括：针对信息的信息特征和对应的特征参数标签与针对信息的用户行为特征和对应的行为类别标签，特征参数表示用户浏览信息之后的目标行为执行情况；将信息特征作为多任务模型所包括的主任务网络的输入，将特征参数标签作为主任务网络的输出；以及，将用户行为特征作为多任务模型所包括的辅助任务网络的输入，将行为类别标签作为辅助任务网络的输出，训练机器学习模型，得到多任务模型。
第二方面，本申请实施例提出了一种生成多任务模型的装置，包括：样本获取模块，被配置为获取信息样本集，其中，信息样本集的样本包括：针对信息的信息特征和对应的特征参数标签与针对信息的用户行为特征和对应的行为类别标签；模型训练模块，被配置为将信息特征作为多任务模型所包括的主任务网络的输入，将特征参数标签作为主任务网络的输出；以及，将用户行为特征作为多任务模型所包括的辅助任务网络的输入，将行为类别标签作为辅助任务网络的输出，训练机器学习模型，得到多任务模型。
第三方面，本申请实施例提出了一种用于预测特征参数的方法，包括：获取待预测信息；将待预测信息输入上述的多任务模型中，通过多任务模型的主任务网络输出特征参数概率，并通过多任务模型的辅助任务网络输出行为类别概率；根据特征参数概率和行为类别概率，得到待预测信息的特征参数。
第四方面，本申请实施例提出了一种用于测信息特征参数的装置，包括：信息获取模块，被配置为获取待预测信息；信息处理模块，被配置为将待预测信息输入上述的多任务模型中，通过多任务模型的主任务网络输出特征参数概率，并通过多任务模型的辅助任务网络输出行为类别概率；信息得到模块，被配置为根据特征参数概率和行为类别概率，得到待预测信息的特征参数。
第五方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面描述的方法。
第六方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面描述的方法。
第七方面，本申请实施例提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面描述的方法。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请可以应用于其中的示例性系统架构；
图2是根据本申请的生成多任务模型的方法的一个实施例的流程图；
图3是根据本申请的多任务模型的一个实施例的示意图；
图4是根据本申请的生成多任务模型的方法的另一个实施例的流程图；
图5是根据本申请的多任务模型的另一个实施例的示意图；
图6是根据本申请的生成多任务模型的方法的又一个实施例的流程图；
图7是可以实现本申请实施例的生成多任务模型的场景图；
图8是根据本申请的用于预测特征参数的方法的一个实施例的流程图；
图9是根据本申请的生成多任务模型的装置的一个实施例的结构示意图；
图10是根据本申请的用于预测特征参数的装置的一个实施例的流程图；
图11是用来实现本申请实施例的生成多任务模型的方法或用于预测特征参数的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的生成多任务模型的方法或装置或用于预测特征参数的方法或装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如各种客户端应用、多方交互应用、人工智能应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是支持文档处理应用的各种电子设备，包括但不限于智能终端、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
在实践中，本申请实施例所提供的生成多任务模型的方法或用于预测特征参数的方法可以由终端设备101、102、103或服务器105执行，生成多任务模型的装置或用于预测特征参数的装置也可以设置于终端设备101、102、103或服务器105中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，其示出了根据本申请的生成多任务模型的方法的一个实施例的流程200。该生成多任务模型的方法包括以下步骤：
步骤201，获取信息样本集，其中，信息样本集的样本包括：针对信息的信息特征和对应的特征参数标签与针对信息的用户行为特征和对应的行为类别标签。
在本实施例中，生成多任务模型的方法的执行主体(例如图1所示的服务器105)可以从本地或终端设备(如图1所示的终端设备101、102、103)中获取针对信息的信息特征和对应的特征参数标签与针对信息的用户行为特征和对应的行为类别标签。上述信息特征可以包括信息涉及的特征，例如内容特征、模板特征等。上述用户行为特征可以为用户通过目标行为浏览信息对应的特征，例如，通过点击方式浏览信息，该用户行为特征则为点击特征。上述行为类别可以为具体的目标行为，例如上述点击对应的行为类别为点击。上述信息可以包括网页、落地页、网页、广告等承载的信息。
在这里，上述特征参数可以用于表示用户浏览信息之后的目标行为执行情况。也即用户通过目标行为浏览信息之后，对该信息的行为转化程度(即，转化率)。例如，用户在浏览信息之后，拨打电话来体现用户针对该信息的留电转化行为。
需要说明的是，不同信息对于不同用户的转化(即留联，留电等转化行为)率(conversion rate，CVR)不同，同一信息的不同落地显示形式对于不同用户的转化率也可以不同。
步骤202，将信息特征作为多任务模型所包括的主任务网络的输入，将特征参数标签作为主任务网络的输出；以及，将用户行为特征作为多任务模型所包括的辅助任务网络的输入，将行为类别标签作为辅助任务网络的输出，训练机器学习模型，得到多任务模型。
本实施例中，上述执行主体在得到信息特征和对应的特征参数标签，以及针对信息的用户行为特征和对应的行为类别标签后，可以利用信息特征和对应的特征参数标签，以及针对信息的用户行为特征和对应的行为类别标签训练机器学习模型，得到多任务模型。在训练时，执行主体可以将信息特征作为标签生成模型所包括的主任务网络的输入，将所输入对应的特征参数标签，作为主任务网络的期望输出，以及将针对信息的用户行为特征作为标签生成模型所包括的辅助任务网络的输入，将所输入对应的行为类别标签，作为辅助任务网络的期望输出，得到标签生成模型。上述机器学习模型可以为现有技术或未来发展技术中的概率模型、分类模型或者其他分类器等，例如，机器学习模型可以包括以下任意一项：决策树模型(XGBoost)、逻辑回归模型(LR)、深度神经网络模型(DNN)、梯度提升决策树模型(Gradient Boosting Decision Tree，GBDT)。
本申请实施例提供的生成多任务模型的方法，首先获取信息样本集，其中，信息样本集的样本包括：针对信息的信息特征和对应的特征参数标签与针对信息的用户行为特征和对应的行为类别标签；然后将信息特征作为多任务模型所包括的主任务网络的输入，将特征参数标签作为主任务网络的输出；以及，将用户行为特征作为多任务模型所包括的辅助任务网络的输入，将行为类别标签作为辅助任务网络的输出，训练机器学习模型，得到多任务模型。利用用户针对信息的行为作为辅助任务，来帮助主任务实现特征参数预估，提高了多任务模型预估特征参数的准确率。
在本实施例的一些可选的实现方式中，主任务网络包括共享隐层、以及与共享隐藏依次连接的第一特定表征层和第一输出层；辅助任务网络包括共享隐层，以及与共享隐层依次连接的第二特定表征层和第二输出层。
在本实现方式中，主任务网络可以包括共享隐层、以及与共享隐层依次连接的第一特定表征层和第一输出层；辅助任务网络可以包括共享隐层，以及与共享隐层依次连接的第二特定表征层和第二输出层。
在一个具体的示例中，在图3中，主任务网络包括共享隐层40、第一特定特征表征层31和第一输出层32，辅助任务网络包括共享隐层40、第二特定表征层51和第二输出层52。
在本实现方式中，通过信息特征和对应的特征参数标签对包括共享隐层、第一特定表征层和第一输出层的主任务网络进行训练，以便后续根据训练后的主任务网络确定信息的特征参数概率；以及通过用户行为特征和对应的行为类别标签对包括共享隐层、第二特定表征层和第二输出层的辅助任务网络进行训练，以便后续根据训练后的辅助任务网络确定信息的行为类别概率；最后，根据信息的特征参数概率和行为类别概率，实现对信息的特征参数的确定。
在本实施例的一些可选的实现方式中，信息包括不同落地显示形式的落地页。
在一个具体的示例中，信息可以包括标准页和咨询页。
在本实现方式中，通过不同落地显示形式的落地页来实现对多任务模型的训练，以实现多任务模型对不同落地显示形式的落地页的特征参数的预测。
在本实施例的一些可选的实现方式中，该生成多任务模型的方法还可以包括：针对落地页的落地显示方式对应的特征参数，向用户推荐落地页。
在一个具体的示例中，可以针对落地页的落地显示方式对应的特征参数，可以按照最高的特征参数或特征参数排序在前的几个落地显示方式的落地页推荐给用户，由用户从这几个落地显示方式对应的落地页中选取用户最倾向的落地页，以实现对用户的精准推荐。
请参考图4，其示出了根据本申请的生成多任务模型的方法的另一个实施例的流程400。该生成多任务模型的方法包括以下步骤：
步骤401，获取信息。
在本实施例中，生成多任务模型的方法的执行主体可以从本地或终端设备中获取信息。
步骤402，将信息输入共享隐层中，得到信息的共享特征。
在本实施例中，上述执行主体可以将信息输入共享隐层中，得到信息的共享特征。上述共享隐层可以用于提取信息的共享特征。
在一个具体的示例中，可以先获取信息的全局特征；之后，将全局特征输入共享隐层，得到共享特征。
步骤403，将共享特征输入第一特定表征层中，利用注意力机制，得到信息特征；以及，将共享特征输入第二特定表征层中，利用注意力机制，得到用户行为特征。
在本实施例中，上述执行主体可以将共享特征输入第一特定表征层中，利用注意力机制，得到信息特征；以及，上述执行主体可以将共享特征输入第二特定表征层中，利用注意力机制，将共享特征中与转化率相关的特征进行维度相加concatenation(合并操作)后，得到用户行为特征。上述第一特定表征层可以用于利用注意力机制，从共享特征中组合得到信息特征。上述第二特定表征层可以用于利用注意力机制，从共享特征中组合得到用户行为特征。
在这里，注意力机制可以包括软注意力机制和硬注意力机制。该注意力机制用于确定全局特征对于主任务和辅助任务的重要性分布，并自动学习全局共享特征和特定任务特征。注意力机制用于进行特征学习和抽取任务，即针对主任务和辅助任务，通过注意力机制获取对主任务和辅助任务有效的特征进行学习，通过这种方式，主任务和辅助任务能够自动决定共享特征中对其任务的重要程度，使得模型能够学习到更有表现力的特性组合，以便在不同任务之间进行泛化，使得模型更加高效。经过注意力机制后，主任务和辅助任务分别获得各自的信息特征和用户行为特征。上述全局特征可以为信息所涉及的所有特征，例如包括信息相关的特征、针对信息的用户行为特征，例如落地页涉及到的所有特征。
步骤404，获取与信息特征对应的特征参数标签，以及与用户行为特征对应的行为类别标签。
在本实施例中，上述执行主体可以从本地或终端设备中获取与信息特征对应的特征参数标签，以及与用户行为特征对应的行为类别标签。上述特征参数标签可以包括在信息中。上述行为类别标签可以包括在信息中。
步骤405，将信息特征作为多任务模型所包括的主任务网络的输入，将特征参数标签作为主任务网络的输出；以及，将用户行为特征作为多任务模型所包括的辅助任务网络的输入，将行为类别标签作为辅助任务网络的输出，训练机器学习模型，得到多任务模型。
在本实施例中，步骤405具体操作已在图2所示的实施例中步骤202进行了详细的介绍，在此不再赘述。
从图4中可以看出，与图2对应的实施例相比，本实施例中的生成多任务模型的方法的流程400突出了获取信息样本集的步骤。由此，本实施例描述的方案提升了获取信息样本集的精度，进而提高了主任务和辅助任务的性能，从而也增强了多任务模型的性能。
在本实施例的一些可选的实现方式中，主任务网络还包括：第一全连接层和第一多层感知器层，第一特定表征层依次与第一全连接层、第一多层感知器层和第一输出层连接；以及，辅助任务网络还包括：第二全连接层和第二多层感知器层，第二特定表征层依次与第二全连接层、第二多层感知器层和第二输出层连接。
在本实现方式中，该主任务网络可以包括共享隐层，以及与共享隐层依次连接的第一特定表征层、第一全连接层(fully connected layers，FC)、第一多层感知器(Multi-layer perceptron，MLP)层和第一输出层；辅助任务网络可以包括共享隐层，以及与共享隐层依次连接的第二特定表征层、第二全连接层、第二多层感知器层和第二输出层。
在训练得到多任务模型后，可以将第一特定表征层输出的信息特征，经过第一全连接层层和第一多层感应器层，最后由第一输出层中的sigmoid函数计算对应的概率输出，即p(CVR)(特征参数概率)；还可以将第二特定表征层输出的信息特征，经过第二全连接层层和第二多层感应器层，最后由第二输出层中的sigmoid函数计算对应的概率输出，即p(BVR)(行为类别概率)。
在一个具体的示例中，在图5中，主任务网络包括共享隐层70、第一特定表征层61、第一全连接层62、第一多层感知器层63和第一输出层64；辅助任务网络包括共享隐层70、第二特定表征层81、第二全连接层82、第二多层感知器层83和第二输出层84。
在本实现方式中，通过信息特征和对应的特征参数标签对包括共享隐层、第一特定表征层、第一全连接层、第一多层感知器层和第一输出层的主任务网络进行训练，以便后续根据训练后的主任务网络确定信息的特征参数概率；以及通过用户行为特征和对应的行为类别标签对包括共享隐层、第二特定表征层、和第二输出层的辅助任务网络进行训练，以便后续根据训练后的辅助任务网络确定信息的行为类别概率；最后，根据信息的特征参数概率和行为类别概率，实现对信息的特征参数的确定。
在本实施例的一些可选的实现方式中，共享特征包括以下至少一项：用户特征、流量数据特征、落地页模板特征、落地页的内容特征。
在本实现方式中，共享特征可以包括但不限于用户特征、流量数据特征、落地页模板特征和落地页的内容特征。
在本实现方式中，通过用户特征、流量数据特征、落地页模板特征和落地页的内容特征实现了多来源的共享特征，进而可以从多角度得到信息特征和用户行为特征，根据该信息特征和用户行为特征可以提高多任务模型的精度。
进一步参考图6，图6是根据本申请的生成多任务模型的方法的又一个实施例的流程600。如图6所示，本实施例中，生成多任务模型的方法可以包括：
步骤601，获取信息。
步骤602，将信息输入共享隐层中，得到信息的共享特征。
步骤603，将共享特征输入第一特定表征层中，利用注意力机制，得到信息特征；以及，将共享特征输入第二特定表征层中，利用注意力机制，得到用户行为特征。
步骤604，获取与信息特征对应的特征参数标签，以及与用户行为特征对应的行为类别标签，其中，特征参数表示用户浏览信息之后的目标行为执行情况。
在本实施例中，步骤601-604具体操作已在图4所示的实施例中步骤401-404进行了详细的介绍，在此不再赘述。
步骤605，将信息特征输入主任务网络中，得到特征参数预估值；以及，将用户行为特征输入辅助任务网络中，得到行为类别预估值。
在本实施例中，生成多任务模型的方法执行主体(例如图1所示的服务器105)可以将信息特征输入主任务网络中，得到特征参数预估值，以及将用户行为特征输入辅助任务网络中，得到行为类别预估值。上述主任务网络可以用于根据信息特征确定特征参数预估值。上述辅助任务网络可以用于根据用户行为特征确定行为列表预估值。
在一个具体的示例中，上述执行主体可以将信息特征输入第一输出层中，得到特征参数预估值，以及将用户行为特征输入第二输出层中，得到行为类别预估值；或，
上述执行主体可以将信息特征输入第一全连接层中，得到第一全连接层的输出，将第一全连接层的输出输入第一多层感知器层中，得到第一多层感知器层的输出，将第一多层感知器层的输出输入到第一输出层中，得到特征参数预估值；以及将用户行为特征输入第二全连接层中，得到第二全连接层的输出，将第二全连接层的输出输入第二多层感知器层中，得到第二多层感知器层的输出，将第二多层感知器层的输出输入到第二输出层中，得到行为类别预估值。
步骤606，基于特征参数预估值和特征参数标签，确定第一损失函数；以及基于行为类别预估值和行为类别标签，确定第二损失函数。
在本实施例中，上述执行主体可以根据特征参数预估值和特征参数标签，确定第一损失函数；以及根据行为类别预估值和行为类别标签，确定第二损失函数。
在本实施例中，损失函数通常是用来估量模型的预测值与真实值(如特征参数标签)的不一致程度。一般情况下，损失函数值越小，模型的鲁棒性就越好。损失函数可以根据实际需求来设置。例如，上述第一损失函数和第二损失函数可以包括交叉熵损失函数。
步骤607，根据第一损失函数和第二损失函数，得到联合损失函数。
在本实施例中，上述执行主体可以通过对第一损失函数和第二损失函数进行预设的运算，得到联合损失函数。上述预设的运算包括但不限于：求和、分别赋予第一损失函数和第二损失函数不同的权重系数进行加权求和。
在一个具体的示例中，联合损失函数为：
其中，为第一损失函数，xi为主任务对应的输入(包括共享表征和辅助任务特定表征)，Wcvr为主任务的参数矩阵，/>为转化率对应的label，表示是否有转化，/>p为特征参数预估值率。
为第二损失函数，xj为辅助任务对应的输入(包括共享表征和辅助任务特定表征)，Wbvr为辅助任务的参数矩阵，为行为label，表示是否有落地页行为，/>p为类别预估值。
步骤608，响应于联合损失函数满足预设的迭代截止条件，将机器学习模型作为多任务模型。
在本实施例中，损失函数通常是用来估量模型的预测值与真实值(如键值对标签)的不一致程度。一般情况下，损失函数值越小，模型的鲁棒性就越好。损失函数可以根据实际需求来设置。例如，上述损失函数可以包括交叉熵损失函数。上述迭代截止条件可以由用户根据多任务模型的模型精度进行设置。
在本实现方式中，上述执行主体可以在联合损失函数不满足预设的迭代截止条件时，继续执行步骤605-608。
需要说明的是，在确定第一损失函数和第二损失函数之后，该生成多任务模型的方法还可以包括：根据第一损失函数对主任务网络进行训练，得到训练后的主任务网络；以及根据第二损失函数对辅助任务进行训练，得到训练后的辅助任务网络。也即，可以针对第一损失函数和第二损失函数对主任务网络和辅助任务网络进行训练，且在主任务网络和辅助任务网络训练完之后，得到多任务模型。
从图6中可以看出，与图4对应的实施例相比，本实施例中的生成多任务模型的方法的流程600突出了训练多任务模型的步骤。由此，通过本实施例描述的方案生成的多任务模型的鲁棒性较高。
在本实施例的一些可选的实现方式中，根据第一损失函数和第二损失函数，得到联合损失函数，包括：
根据第一损失函数和预设的第一权重，以及第二损失函数和预设的第二权重，得到联合损失函数。
在本实现方式中，上述执行主体可以根据第一损失函数和预设的第一权重，以及第二损失函数和预设的第二权重，得到联合损失函数。
在一个具体的示例中，联合损失函数为：
其中，α为预设的第一权重，β为预设的第二权重。
在本实现方式中，通过预设的第一权重、预设的第二权重，以及第一损失函数和第二损失函数，实现了对联合损失函数的确定。
在本实施例的一些可选的实现方式中，该生成多任务模型的方法，还包括：
根据联合损失函数，确定与信息特征、第t时刻对应的损失函数值，与信息特征、初始时刻对应的损失函数值，与信息特征、第t时刻对应的梯度，以及所有时刻对应的平均梯度；根据与信息特征、第t时刻对应的损失函数值和与信息特征、初始时刻对应的损失函数值的比值，以及与信息特征、第t时刻对应的梯度和所有时刻对应的平均梯度，确定第一调整因子；响应于第一调整因子大于预设的第一阈值，调整预设的第一权重，其中，t为正整数；
和/或，
根据联合损失函数，确定与用户行为特征、第t时刻对应的损失函数值，与用户行为特征、初始时刻对应的损失函数值，与用户行为特征、第t时刻对应的梯度，以及所有时刻对应的平均梯度；根据与用户行为特征、第t时刻对应的损失函数值和与用户行为特征、初始时刻对应的损失函数值的比值，以及与用户行为特征、第t时刻对应的梯度和所有时刻对应的平均梯度，确定第二调整因子；响应于第二调整因子大于预设的第二阈值，调整预设的第二权重。
在本实现方式中，上述执行主体可以根据联合损失函数，确定与信息特征、第t时刻对应的损失函数值，与信息特征、初始时刻对应的损失函数值，与信息特征、第t时刻对应的梯度，以及所有时刻对应的平均梯度；根据与信息特征、第t时刻对应的损失函数值和与信息特征、初始时刻对应的损失函数值的比值，以及与信息特征、第t时刻对应的梯度和所有时刻对应的平均梯度，确定第一调整因子；响应于第一调整因子大于预设的第一阈值，调整预设的第一权重。
在本实现方式中，上述执行主体可以根据联合损失函数，确定与用户行为特征、第t时刻对应的损失函数值，与用户行为特征、初始时刻对应的损失函数值，与用户行为特征、第t时刻对应的梯度，以及所有时刻对应的平均梯度；根据与用户行为特征、第t时刻对应的损失函数值和与用户行为特征、初始时刻对应的损失函数值的比值，以及与用户行为特征、第t时刻对应的梯度和所有时刻对应的平均梯度，确定第二调整因子；响应于第二调整因子大于预设的第二阈值，调整预设的第二权重。
在一个具体的示例中，将联合损失函数joint loss简单改写如下：其中αi(t)为各任务对应的权重(预设的第一权重、预设的第二权重)，t为训练epoch的轮次，/>为各任务对应的损失函数(第一损失函数，第二损失函数)，Θ为相应参数。t时刻任务i梯度为/>所有任务的平均梯度为/>定义损失函数相对于初始化的占比作为优化程度为：
为了衡量任务i相对于所有任务的优化程度，定义：
其中，Ki(t)越大，表明任务i相对于其它任务优化程度不够，因此可尽量使得主任务和辅助任务的联合损失函数对于参数的梯度与平均值接近，即对主任务和辅助任务首先计算每一个epoch对应损失函数的比值，计算主任务和辅助任务损失的占比，以此动态调整损失函数的权重。
具体计算过程如下：先根据t时刻任务i梯度为所有任务的平均梯度为/>确定/>中的ε系数；之后，根据得到/>之后，将/>代入/>中，得到/>最后，再根据/>与/>的比值，确定Ki(t)。
在本实现方式中，通过对上述步骤实现对预设的第一权重和/或预设的第二权重的调整，以实现对联合损失函数的动态调整。
为了便于理解，下面提供可以实现本申请实施例的生成多任务模型的方法的应用场景。如图7所示，服务器从落地页，例如，咨询页和标准页中获取全局特征；之后，将全局特征输入共享隐层10，得到共享特征；之后，将共享特征分别输入第一特定表征层221和第二特定表征层231，得到咨询页对应的落地页特征、标准页对应的落地页特征、咨询页对应的用户行为特征，以及标准页对应的用户行为特征；之后，将咨询页对应的落地页特征、标准页对应的落地页特征输入第一全连接层222，得到第一全连接层222的输出，之后，将第一全连接层222的输出输入到第一多层感知器223的输出，得到第一多层感知器层223的输出，之后，将第一多层感知器层223的输出输入到第一输出层224，得到咨询页对应的特征参数概率、标准页对应的特征参数概率；将咨询页对应的用户行为特征，以及标准页对应的用户行为特征输入第二全连接层232，得到第二全连接层232的输出，之后，将第二全连接层232的输出输入到第二多层感知器233的输出，得到第二多层感知器层233的输出，之后，将第二多层感知器层233的输出输入到第二输出层234，得到咨询页对应的行为类别概率，以及标准页对应的行为类别概率；之后，根据咨询页对应的特征参数概率和咨询页对应的行为类别概率，确定用户对该咨询页的转化率；以及，根据标准页对应的特征参数概率和标准页对应的行为类别概率，确定用户针对该标准页的转化率；最后，可以根据咨询页的转化率和标准页的转化率的高低来向用户推荐转化率的落地页。例如，在咨询页的转化率大于标准页的转化率时，可以向用户推荐咨询页。
请参考图8，其示出了根据本申请的用于预测特征参数的方法的一个实施例的流程800。该用于预测特征参数的方法可以包括：
步骤801，获取待预测信息。
在本实施例中，用于预测特征参数的方法的执行主体(例如图1所示的服务器105或终端设备101、102、103)可以从本地或外部的其他电子设备中获取待预测信息。
步骤802，将待预测信息输入多任务模型中，通过多任务模型的主任务网络输出特征参数概率，并通过多任务模型的辅助任务网络输出行为类别概率。
在本实施例中，上述执行主体可以将待预测信息输入多任务模型中，通过多任务模型的主任务网络输出特征参数概率，并通过多任务模型的辅助任务网络输出行为类别概率。上述主任务网络可以用于根据待预测信息，确定待预测信息的特征参数概率。上述辅助任务网络可以用于根据待预测信息，确定待预测信息的行为类别概率。上述行为类别概率，可以为目标行为为某一类别的概率。
步骤803，根据特征参数概率和行为类别概率，得到待预测信息的特征参数。
在本实施例中，上述执行主体可以根据特征参数概率和行为类别概率，得到待预测信息的特征参数。例如，特征参数概率和行为类别概率的乘积；或者，行为类别概率对应的权重、行为类别概率和特征参数概率的乘积。
在一个具体的示例中，行为类别为划屏，页面点击，按钮点击，视频播放，电话拨打，订单提交，上述行为类别均对应一个权重，其中，订单提交对应的权重最高，电话拨打、视频播放、按钮点击、页面点击、划屏对应的权重依次递减。假设，行为类别为提交订单，针对该待预测信息的特征参数为：特征参数概率*提交订单概率*提交订单对应的权重。
在本实施例中，可以通过多任务模型实现对待预测信息的特征参数的准确预测。
进一步参考图9，作为对上述各图所示方法的实现，本申请提供了一种生成多任务模型的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图9所示，本实施例的生成多任务模型的装置900可以包括：样本获取模块901和模型训练模块902。其中，样本获取模块901，被配置为获取信息样本集，其中，信息样本集的样本包括：针对信息的信息特征和对应的特征参数标签与针对信息的用户行为特征和对应的行为类别标签；模型训练模块902，被配置为将信息特征作为多任务模型所包括的主任务网络的输入，将特征参数标签作为主任务网络的输出；以及，将用户行为特征作为多任务模型所包括的辅助任务网络的输入，将行为类别标签作为辅助任务网络的输出，训练机器学习模型，得到多任务模型。
在本实施例中，生成多任务模型的装置900中：样本获取模块901和模型训练模块902的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201和202的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，主任务网络包括共享隐层、以及与共享隐藏依次连接的第一特定表征层和第一输出层；辅助任务网络包括共享隐层，以及与共享隐层依次连接的第二特定表征层和第二输出层。
在本实施例的一些可选的实现方式中，样本获取模块901，进一步配置为：获取信息；将信息输入共享隐层中，得到信息的共享特征；将共享特征输入第一特定表征层中，利用注意力机制，得到信息特征；以及，将共享特征输入第二特定表征层中，利用注意力机制，得到用户行为特征；获取与信息特征对应的特征参数标签，以及与用户行为特征对应的行为类别标签。
在本实施例的一些可选的实现方式中，主任务网络还包括：第一全连接层和第一多层感知器层，第一特定表征层依次与第一全连接层、第一多层感知器层和第一输出层连接；以及，辅助任务网络还包括：第二全连接层和第二多层感知器层，第二特定表征层依次与第二全连接层、第二多层感知器层和第二输出层连接。
在本实施例的一些可选的实现方式中，共享特征包括以下至少一项：用户特征、流量数据特征、落地页模板特征、落地页的内容特征。
在本实施例的一些可选的实现方式中，模型训练模块902，进一步被配置为：第一确定单元(在图中未示出)，被配置为将信息特征输入主任务网络中，得到特征参数预估值；以及，将用户行为特征输入辅助任务网络中，得到行为类别预估值；第二确定单元(在图中未示出)，被配置为基于特征参数预估值和特征参数标签，确定第一损失函数；以及基于行为类别预估值和行为类别标签，确定第二损失函数；第三确定单元(在图中未示出)，被配置为根据第一损失函数和第二损失函数，得到联合损失函数；作为模型单元(在图中未示出)，被配置为响应于联合损失函数满足预设的迭代截止条件，将机器学习模型作为多任务模型。
在本实施例的一些可选的实现方式中，第三确定单元，进一步被配置为：根据第一损失函数和预设的第一权重，以及第二损失函数和预设的第二权重，得到联合损失函数。
在本实施例的一些可选的实现方式中，该生成多任务模型的装置还包括：参数处理模块(在图中未示出)，被配置为执行以下至少一项：
根据联合损失函数，确定与信息特征、第t时刻对应的损失函数值，与信息特征、初始时刻对应的损失函数值，与信息特征、第t时刻对应的梯度，以及所有时刻对应的平均梯度；根据与信息特征、第t时刻对应的损失函数值和与信息特征、初始时刻对应的损失函数值的比值，以及与信息特征、第t时刻对应的梯度和所有时刻对应的平均梯度，确定第一调整因子；响应于第一调整因子大于预设的第一阈值，调整预设的第一权重，其中，t为正整数；
根据联合损失函数，确定与用户行为特征、第t时刻对应的损失函数值，与用户行为特征、初始时刻对应的损失函数值，与用户行为特征、第t时刻对应的梯度，以及所有时刻对应的平均梯度；根据与用户行为特征、第t时刻对应的损失函数值和与用户行为特征、初始时刻对应的损失函数值的比值，以及与用户行为特征、第t时刻对应的梯度和所有时刻对应的平均梯度，确定第二调整因子；响应于第二调整因子大于预设的第二阈值，调整预设的第二权重。
在本实施例的一些可选的实现方式中，信息包括不同落地显示形式的落地页。
进一步参考图10，作为对上述各图所示方法的实现，本申请提供了一种用于预测特征参数的装置的一个实施例，该装置实施例与图8所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图10所示，该用于预测特征参数的装置1000可以包括：信息获取模块1001、信息处理模块1002和参数得到模块1003。其中，信息获取模块1001，被配置为获取待预测信息；信息处理模块1002，被配置为将待预测信息输入多任务模型中，通过多任务模型的主任务网络输出特征参数概率，并通过多任务模型的辅助任务网络输出行为类别概率；参数得到模块1003，被配置为根据特征参数概率和行为类别概率，得到待预测信息的特征参数概率。
在本实施例中，用于预测特征参数的装置1000中：样信息获取模块1001、信息处理模块1002和参数得到模块1003的具体处理及其所带来的技术效果可分别参考图8对应实施例中的步骤801-803的相关说明，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图11示出了可以用来实施本申请的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图11所示，设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如生成多任务模型的方法或用于预测特征参数的方法。例如，在一些实施例中，生成多任务模型的方法或用于预测特征参数的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的方法生成多任务模型的方法或用于预测特征参数的方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行生成多任务模型的方法或用于预测特征参数的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
人工智能是研究计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语音处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
根据本申请的技术方案，首先获取信息样本集，其中，信息样本集的样本包括：针对信息的信息特征和对应的特征参数标签与针对信息的用户行为特征和对应的行为类别标签；然后将信息特征作为多任务模型所包括的主任务网络的输入，将特征参数标签作为主任务网络的输出；以及，将用户行为特征作为多任务模型所包括的辅助任务网络的输入，将行为类别标签作为辅助任务网络的输出，训练机器学习模型，得到多任务模型。利用用户针对信息的行为作为辅助任务，来帮助主任务实现特征参数预估，提高了多任务模型预估特征参数的准确率。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (18)
1.一种生成多任务模型的方法，包括：
获取信息样本集，其中，所述信息样本集的样本包括：针对信息的信息特征和对应的特征参数标签与针对所述信息的用户行为特征和对应的行为类别标签；
将所述信息特征输入主任务网络中，得到特征参数预估值；以及，将所述用户行为特征输入辅助任务网络中，得到行为类别预估值；基于所述特征参数预估值和所述特征参数标签，确定第一损失函数；以及基于所述行为类别预估值和所述行为类别标签，确定第二损失函数；根据所述第一损失函数和预设的第一权重，以及所述第二损失函数和预设的第二权重，得到联合损失函数；响应于所述联合损失函数满足预设的迭代截止条件，将机器学习模型作为多任务模型；
其中，所述方法还包括：根据所述联合损失函数，确定与所述信息特征、第t时刻对应的损失函数值，与所述信息特征、初始时刻对应的损失函数值，与所述信息特征、第t时刻对应的梯度，以及所有时刻对应的平均梯度；根据与所述信息特征、第t时刻对应的损失函数值和与所述信息特征、初始时刻对应的损失函数值的比值，以及与所述信息特征、第t时刻对应的梯度和所述所有时刻对应的平均梯度，确定第一调整因子；响应于所述第一调整因子大于预设的第一阈值，调整预设的第一权重，其中，t为正整数。
2.根据权利要求1所述的方法，其中，所述主任务网络包括共享隐层、以及与共享隐藏依次连接的第一特定表征层和第一输出层；所述辅助任务网络包括所述共享隐层，以及与所述共享隐层依次连接的第二特定表征层和第二输出层。
3.根据权利要求2所述的方法，其中，所述获取信息样本集，包括：
获取信息；
将所述信息输入所述共享隐层中，得到信息的共享特征；
将所述共享特征输入所述第一特定表征层中，利用注意力机制，得到所述信息特征；以及，将所述共享特征输入所述第二特定表征层中，利用注意力机制，得到所述用户行为特征；
获取与所述信息特征对应的特征参数标签，以及与所述用户行为特征对应的行为类别标签。
4.根据权利要求3所述的方法，其中，所述主任务网络还包括：第一全连接层和第一多层感知器层，所述第一特定表征层依次与所述第一全连接层、所述第一多层感知器层和所述第一输出层连接；以及，所述辅助任务网络还包括：第二全连接层和第二多层感知器层，所述第二特定表征层依次与所述第二全连接层、所述第二多层感知器层和所述第二输出层连接。
5.根据权利要求4所述的方法，其中，所述共享特征包括以下至少一项：
用户特征、流量数据特征、落地页模板特征、落地页的内容特征。
6.根据权利要求1所述的方法，所述方法还包括：
根据所述联合损失函数，确定与所述用户行为特征、第t时刻对应的损失函数值，与所述用户行为特征、初始时刻对应的损失函数值，与所述用户行为特征、第t时刻对应的梯度，以及所有时刻对应的平均梯度；根据与所述用户行为特征、第t时刻对应的损失函数值和与所述用户行为特征、初始时刻对应的损失函数值的比值，以及与所述用户行为特征、第t时刻对应的梯度和所述所有时刻对应的平均梯度，确定第二调整因子；响应于所述第二调整因子大于预设的第二阈值，调整预设的第二权重。
7.根据权利要求1所述的方法，其中，所述信息包括不同落地显示形式的落地页。
8.一种用于预测特征参数的方法，包括：
获取待预测信息；
将所述待预测信息输入如权利要求1-7任意一项所述的多任务模型中，通过所述多任务模型的主任务网络输出特征参数概率，并通过所述多任务模型的辅助任务网络输出行为类别概率；
根据所述特征参数概率和所述行为类别概率，得到所述待预测信息的特征参数。
9.一种生成多任务模型的装置，包括：
样本获取模块，被配置为获取信息样本集，其中，所述信息样本集的样本包括：针对信息的信息特征和对应的特征参数标签与针对所述信息的用户行为特征和对应的行为类别标签，所述特征参数表示用户浏览所述信息之后的目标行为执行情况；
模型训练模块，包括：第一确定单元，被配置为将所述信息特征输入主任务网络中，得到特征参数预估值；以及，将所述用户行为特征输入辅助任务网络中，得到行为类别预估值；第二确定单元，被配置为基于所述特征参数预估值和所述特征参数标签，确定第一损失函数；以及基于所述行为类别预估值和所述行为类别标签，确定第二损失函数；第三确定单元，被配置为根据所述第一损失函数和预设的第一权重，以及所述第二损失函数和预设的第二权重，得到联合损失函数；作为模型单元，被配置为响应于所述联合损失函数满足预设的迭代截止条件，将机器学习模型作为多任务模型；
其中，所述装置还包括：参数处理模块，被配置为根据所述联合损失函数，确定与所述信息特征、第t时刻对应的损失函数值，与所述信息特征、初始时刻对应的损失函数值，与所述信息特征、第t时刻对应的梯度，以及所有时刻对应的平均梯度；根据与所述信息特征、第t时刻对应的损失函数值和与所述信息特征、初始时刻对应的损失函数值的比值，以及与所述信息特征、第t时刻对应的梯度和所述所有时刻对应的平均梯度，确定第一调整因子；响应于所述第一调整因子大于预设的第一阈值，调整预设的第一权重，其中，t为正整数。
10.根据权利要求9所述的装置，其中，所述主任务网络包括共享隐层、以及与共享隐藏依次连接的第一特定表征层和第一输出层；所述辅助任务网络包括所述共享隐层，以及与所述共享隐层依次连接的第二特定表征层和第二输出层。
11.根据权利要求10所述的装置，其中，所述样本获取模块，进一步配置为：
获取信息；
将所述信息输入所述共享隐层中，得到信息的共享特征；
将所述共享特征输入所述第一特定表征层中，利用注意力机制，得到所述信息特征；以及，将所述共享特征输入所述第二特定表征层中，利用注意力机制，得到所述用户行为特征；
获取与所述信息特征对应的特征参数标签，以及与所述用户行为特征对应的行为类别标签。
12.根据权利要求11所述的装置，其中，所述主任务网络还包括：第一全连接层和第一多层感知器层，所述第一特定表征层依次与所述第一全连接层、所述第一多层感知器层和所述第一输出层连接；以及，所述辅助任务网络还包括：第二全连接层和第二多层感知器层，所述第二特定表征层依次与所述第二全连接层、所述第二多层感知器层和所述第二输出层连接。
13.根据权利要求12所述的装置，其中，所述共享特征包括以下至少一项：
用户特征、流量数据特征、落地页模板特征、落地页的内容特征。
14.根据权利要求9所述的装置，所述装置还包括：
参数处理模块，被配置为执行：
根据所述联合损失函数，确定与所述用户行为特征、第t时刻对应的损失函数值，与所述用户行为特征、初始时刻对应的损失函数值，与所述用户行为特征、第t时刻对应的梯度，以及所有时刻对应的平均梯度；根据与所述用户行为特征、第t时刻对应的损失函数值和与所述用户行为特征、初始时刻对应的损失函数值的比值，以及与所述用户行为特征、第t时刻对应的梯度和所述所有时刻对应的平均梯度，确定第二调整因子；响应于所述第二调整因子大于预设的第二阈值，调整预设的第二权重。
15.根据权利要求9所述的装置，其中，所述信息包括不同落地显示形式的落地页。
16.一种用于预测特征参数的装置，包括：
信息获取模块，被配置为获取待预测信息；
信息处理模块，被配置为将所述待预测信息输入如权利要求1-7任意一项所述的多任务模型中，通过所述多任务模型的主任务网络输出特征参数概率，并通过所述多任务模型的辅助任务网络输出行为类别概率；
参数得到模块，被配置为根据所述特征参数概率和所述行为类别概率，得到所述待预测信息的特征参数。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项或权利要求8所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-7中任一项或权利要求8所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011550776.2A CN112541124B (zh) | 2020-12-24 | 2020-12-24 | 生成多任务模型的方法、装置、设备、介质及程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011550776.2A CN112541124B (zh) | 2020-12-24 | 2020-12-24 | 生成多任务模型的方法、装置、设备、介质及程序产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112541124A CN112541124A (zh) | 2021-03-23 |
| CN112541124B true CN112541124B (zh) | 2024-01-12 |
Family
ID=75017162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011550776.2A Active CN112541124B (zh) | 2020-12-24 | 2020-12-24 | 生成多任务模型的方法、装置、设备、介质及程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112541124B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113570119B (zh) * | 2021-07-07 | 2024-06-07 | 北京淇瑀信息科技有限公司 | 基于Xgboost的多任务处理方法、装置及电子设备 |
| CN113656581B (zh) * | 2021-08-17 | 2023-09-22 | 北京百度网讯科技有限公司 | 文本分类及模型训练的方法、装置、设备以及存储介质 |
| CN114494800B (zh) * | 2022-02-17 | 2024-05-10 | 平安科技（深圳）有限公司 | 预测模型训练方法、装置、电子设备及存储介质 |
| CN117315313A (zh) * | 2022-03-30 | 2023-12-29 | 北京百度网讯科技有限公司 | 多任务识别方法、训练方法、装置、电子设备及存储介质 |
| CN114742645B (zh) * | 2022-05-19 | 2022-09-06 | 北京淇瑀信息科技有限公司 | 基于多阶段时序多任务的用户安全等级识别方法及装置 |
| CN114724011B (zh) * | 2022-05-25 | 2023-01-20 | 北京闪马智建科技有限公司 | 一种行为的确定方法、装置、存储介质及电子装置 |
| CN114882884B (zh) * | 2022-07-06 | 2022-09-23 | 深圳比特微电子科技有限公司 | 一种基于深度学习模型的多任务实现方法、装置 |
| CN115081630A (zh) * | 2022-08-24 | 2022-09-20 | 北京百度网讯科技有限公司 | 多任务模型的训练方法、信息推荐方法、装置和设备 |
| CN116578924A (zh) * | 2023-07-12 | 2023-08-11 | 太极计算机股份有限公司 | 一种用于机器学习分类的网络任务优化方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110569427A (zh) * | 2019-08-07 | 2019-12-13 | 智者四海（北京）技术有限公司 | 一种多目标排序模型训练、用户行为预测方法及装置 |
| CN111027428A (zh) * | 2019-11-29 | 2020-04-17 | 北京奇艺世纪科技有限公司 | 一种多任务模型的训练方法、装置及电子设备 |
| CN111401963A (zh) * | 2020-03-20 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 训练用户行为预测模型的方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140372202A1 (en) * | 2013-06-17 | 2014-12-18 | Google Inc. | Predicting performance of content items using loss functions |
| CN109841220B (zh) * | 2017-11-24 | 2022-09-13 | 深圳市腾讯计算机系统有限公司 | 语音信号处理模型训练方法、装置、电子设备及存储介质 |
-
2020
- 2020-12-24 CN CN202011550776.2A patent/CN112541124B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110569427A (zh) * | 2019-08-07 | 2019-12-13 | 智者四海（北京）技术有限公司 | 一种多目标排序模型训练、用户行为预测方法及装置 |
| CN111027428A (zh) * | 2019-11-29 | 2020-04-17 | 北京奇艺世纪科技有限公司 | 一种多任务模型的训练方法、装置及电子设备 |
| CN111401963A (zh) * | 2020-03-20 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 训练用户行为预测模型的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多任务学习的方言语种识别;秦晨光;王海;任杰;郑杰;袁璐;赵子鑫;;计算机研究与发展(12);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112541124A (zh) | 2021-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112541124B (zh) | 生成多任务模型的方法、装置、设备、介质及程序产品 | |
| CN109766557B (zh) | 一种情感分析方法、装置、存储介质及终端设备 | |
| CN110555714A (zh) | 用于输出信息的方法和装置 | |
| US11922281B2 (en) | Training machine learning models using teacher annealing | |
| CN114036398B (zh) | 内容推荐和排序模型训练方法、装置、设备以及存储介质 | |
| JP2024503774A (ja) | 融合パラメータの特定方法及び装置、情報推奨方法及び装置、パラメータ測定モデルのトレーニング方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム | |
| CN113743971B (zh) | 一种数据处理方法和装置 | |
| CN107437111B (zh) | 基于神经网络的数据处理方法、介质、装置和计算设备 | |
| CN115114439B (zh) | 多任务模型推理、多任务信息处理的方法和装置 | |
| CN115456167B (zh) | 轻量级模型训练方法、图像处理方法、装置及电子设备 | |
| CN113348472A (zh) | 具有软内核选择的卷积神经网络 | |
| CN113434683A (zh) | 文本分类方法、装置、介质及电子设备 | |
| CN116401522A (zh) | 一种金融服务动态化推荐方法和装置 | |
| CN113240177B (zh) | 训练预测模型的方法、预测方法、装置、电子设备及介质 | |
| CN116993185B (zh) | 时间序列预测方法、装置、设备及存储介质 | |
| CN117670366A (zh) | 风险预测方法、装置、设备、介质和程序产品 | |
| CN117351299A (zh) | 图像生成及模型训练方法、装置、设备和存储介质 | |
| CN116796729A (zh) | 基于特征强化的文本推荐方法、装置、设备及存储介质 | |
| WO2020152267A1 (en) | Learning non-differentiable weights of neural networks using evolutionary strategies | |
| CN116542362A (zh) | 一种负荷预测方法、装置、电子设备及存储介质 | |
| CN114792097B (zh) | 预训练模型提示向量的确定方法、装置及电子设备 | |
| CN113642654B (zh) | 图像特征的融合方法、装置、电子设备和存储介质 | |
| CN115457365A (zh) | 一种模型的解释方法、装置、电子设备及存储介质 | |
| CN115795025A (zh) | 一种摘要生成方法及其相关设备 | |
| CN113361621B (zh) | 用于训练模型的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |