CN116468096B - 一种模型训练方法、装置、设备及可读存储介质 - Google Patents

一种模型训练方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN116468096B
CN116468096B CN202310362160.XA CN202310362160A CN116468096B CN 116468096 B CN116468096 B CN 116468096B CN 202310362160 A CN202310362160 A CN 202310362160A CN 116468096 B CN116468096 B CN 116468096B
Authority
CN
China
Prior art keywords
user
service
text
training
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310362160.XA
Other languages
English (en)
Other versions
CN116468096A (zh
Inventor
李海燕
魏忠钰
牟馨忆
俞再亮
文君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Zhejiang Lab
Original Assignee
Fudan University
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University, Zhejiang Lab filed Critical Fudan University
Priority to CN202310362160.XA priority Critical patent/CN116468096B/zh
Publication of CN116468096A publication Critical patent/CN116468096A/zh
Application granted granted Critical
Publication of CN116468096B publication Critical patent/CN116468096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Abstract

本说明书公开了一种模型训练方法、装置、设备及可读存储介质，基于共同发起业务的关系构建第一训练样本组，基于各用户针对各业务的指定行为构建第二训练样本组。根据各用户的言论文本、各业务、第一训练样本组和第二训练样本组训练特征提取模型，之后，根据训练完成的特征提取模型、所述第三训练样本和所述第三训练样本的标注，训练待训练的预测模型。可见，通过构建第一训练样本组和第二训练样本组，结合用户的言论文本以训练特征提取模型的方案，针对用户从未执行过的业务，也可以有效地从用户的言论文本中提取得到用于表征用户对于执行不同类型的业务的态度和立场的用户特征，从而提高预测准确率。

Description

一种模型训练方法、装置、设备及可读存储介质
技术领域
本说明书涉及计算机技术领域，尤其涉及一种模型训练方法、装置、设备及可读存储介质。
背景技术
在实际场景中，用户可以通过业务平台采用线上或线下的方式执行业务，例如，用户通过网购平台购买商品，或者用户通过外卖平台订购外卖。业务平台为了更好的辅助用户执行业务，可以通过预测用户对各种类型的业务的执行概率。
由于不同的用户对执行不同类型的业务的态度和立场可能不同，目前，可以通过机器学习的方法，基于用户执行过的业务，分析得到用户对待执行不同类型的业务的态度和立场，以此预测用户对从未执行过的业务的执行概率。
但是，对于执行业务较少的用户，由于该用户执行过的业务较少，无法从业务中提取到有效的用户特征，进而降低了预测准确率。
发明内容
本说明书提供一种模型训练方法、装置、设备及可读存储介质，以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供了一种模型训练方法，包括：
获取各用户的言论文本、所述各用户发起的各业务，以及所述各用户针对各业务的指定行为；
针对每个用户，根据该用户发起的业务，从所述各用户中确定与该用户共同发起业务的该用户对应的第一候选用户，并将所述各用户中除所述第一候选用户外的其余用户作为该用户对应的第二候选用户；
根据该用户对应的第一候选用户和该用户对应的第二候选用户，分别确定该用户的正样本和该用户的负样本，并根据该用户、该用户的正样本和该用户的负样本构建第一训练样本组；
针对每个业务，根据所述各用户针对各业务的指定行为，从所述各用户中确定针对该业务的指定行为是第一行为的用户作为该业务的正样本，确定针对该业务的指定行为是第二行为的用户作为该业务的负样本，并根据该业务、该业务的正样本和该业务的负样本构建第二训练样本组；
根据所述各用户的言论文本、所述各业务、所述第一训练样本组和所述第二训练样本组，训练待训练的特征提取模型；所述特征提取模型用于从用户的言论文本中提取用户的特征；
将所述各用户的言论文本作为第三训练样本，并以所述各用户针对所述各业务的指定行为作为所述第三训练样本的标注；
根据训练完成的特征提取模型、所述第三训练样本和所述第三训练样本的标注，训练待训练的预测模型；所述预测模型用于基于用户的特征预测用户针对业务的指定行为。
可选地，根据该用户、该用户的正样本和该用户的负样本构建第一训练样本组之前，所述方法还包括：
获取所述各用户分别所属的用户簇；
针对每个用户，根据所述各用户分别所属的用户簇，从所述各用户中确定与该用户属于同一用户簇的其余用户作为该用户的正样本，确定与该用户不属于同一用户簇的其余用户作为该用户的负样本。
可选地，根据该用户对应的第一候选用户和该用户对应的第二候选用户，分别确定该用户的正样本和该用户的负样本，具体包括：
确定数量阈值；
将共同发起业务的数量不高于所述数量阈值的第一候选用户，作为该用户的参考用户，并将该用户的参考用户从该用户的第一用户中删除；
当该用户的正样本从该用户的第一候选用户中选择时，从该用户的参考用户或者该用户的第二候选用户中选择该用户的负样本；
当该用户的正样本从该用户的参考用户中选择时，从该用户的第二候选用户中选择该用户的负样本。
可选地，根据所述各用户的言论文本、所述各业务、所述第一训练样本组和所述第二训练样本组，训练待训练的特征提取模型，具体包括：
将所述第一训练样本组中用户的言论文本、用户的正样本的言论文本以及用户的负样本的言论文本分别输入待训练的特征提取模型，得到所述第一训练样本组中用户的特征、用户的正样本的特征以及用户的负样本的特征；
将所述第二训练样本组中的业务，业务的正样本的言论文本和业务的负样本的言论文本分别输入所述特征提取模型，得到所述第二训练样本组中的业务的特征、业务的正样本的特征以及业务的负样本的特征；
根据所述第一训练样本包含的用户、用户的正样本和用户的负样本，确定所述第一训练样本组中用户的特征和用户的正样本的特征之间的差异，以及用户的特征和用户的负样本的特征之间的相似度，并根据所述第一训练样本组中用户的特征和用户的正样本的特征之间的差异，以及用户的特征和用户的负样本的特征之间的相似度，确定第一损失；
根据所述第二训练样本包含的业务、业务的正样本和业务的负样本，确定第二训练样本组中业务的特征和业务的正样本的特征之间的差异，以及业务的特征和业务的负样本的特征之间的相似度，并根据所述第二训练样本组中业务的特征和业务的正样本的特征之间的差异，以及业务的特征和业务的负样本的特征之间的相似度，确定第二损失；
根据所述第一损失和所述第二损失确定总损失；
以所述总损失的最小化为训练目标，训练所述特征提取模型。
可选地，将所述第一训练样本组中用户的言论文本、用户的正样本的言论文本以及用户的负样本的言论文本分别输入待训练的特征提取模型，得到所述第一训练样本组中用户的特征、用户的正样本的特征以及用户的负样本的特征，具体包括：
针对每个用户，从该用户的言论文本提取多个参考词；
根据该用户对应的各参考词，构建该用户的第一言论序列；
将所述第一训练样本组中用户的第一言论序列、用户的正样本的第一言论序列以及用户的负样本的第一言论序列分别输入待训练的特征提取模型，得到所述第一训练样本组中用户的特征、用户的正样本的特征以及用户的负样本的特征。
可选地，将所述第二训练样本组中的业务，业务的正样本的言论文本和业务的负样本的言论文本分别输入所述特征提取模型，得到所述第二训练样本组中的业务的特征、业务的正样本的特征以及业务的负样本的特征，具体包括：
针对每个用户，从该用户的言论文本提取多个参考词；
根据该用户对应的各参考词，构建该用户的第一言论序列；
针对每个业务领域，从该用户的各言论文本中筛选出属于该业务领域的言论文本，并从属于该业务领域的该用户的言论文本中，提取该用户在该业务领域的多个参考词；
根据该用户在各业务领域的参考词，构建该用户在所述各业务领域内的第二言论序列；
确定所述第二训练样本组中业务所属的目标业务领域，所述第二训练样本组中的业务、业务的正样本的第一言论序列和所述目标业务领域的第二言论序列、业务的负样本的第一言论序列和所述目标业务领域的第二言论序列分别作为输入，输入所述特征提取模型，得到所述第二训练样本组中的业务的特征、业务的正样本的特征以及业务的负样本的特征。
可选地，从该用户的各言论文本中筛选出属于该业务领域的言论文本，具体包括：
获取多个业务领域的关键词以及编码手册；其中，所述编码手册用于记录多个不同业务领域的关键词和多个不同事件之间的对应关系；
获取该用户的针对目标事件的言论文本，所述言论文本包含多个参考词；
从所述编码手册查找所述目标事件，确定该用户的言论文本所属的业务领域，以确定该用户对应的各参考词分别所属的业务领域；
根据该用户的各言论文本分别所述的业务领域，从该用户的各言论文本中筛选出属于该业务领域的言论文本。
可选地，根据该用户对应的各参考词，构建该用户的第一言论序列，具体包括：
针对该用户对应的每个参考词，根据该参考词在该参考词所属的言论文本中的第一词频、该参考词在该用户的各言论文本中的第二词频，以及该用户的言论文本的数量，确定该用户对应的该参考词的排序指标；
根据该用户对应的各参考词的排序指标，对该用户对应的各参考词进行排序，得到该用户的第一言论序列。
可选地，根据该用户在各业务领域的参考词，构建该用户在所述各业务领域内的第二言论序列，具体包括：
针对该用户的每个参考词，根据该参考词在该参考词所属的言论文本中的第一词频、该参考词在该参考词所属的业务领域内该用户的各言论文本中的第二词频，以及该参考词所属的业务领域内该用户的言论文本的数量，确定该参考词的排序指标；
根据该用户对应的各业务领域包括的各参考词的排序指标，对该用户在所述各业务领域的各参考词进行排序，得到该用户在所述各业务领域内的第二言论序列。
可选地，所述特征提取模型包括文本编码子网；
在得到所述第二训练样本组中的业务的特征之前，所述方法还包括：
获取若干掩膜；
针对每个掩膜，将各用户的言论文本包含的各参考词和该掩膜进行组合，确定该掩膜对应的所述文本编码子网对应的训练样本及其标注，所述文本编码子网对应的训练样本为将用户的言论文本包含的参考词用所述掩膜进行遮盖后的结果，所述标注为所述用户的言论文本；
根据所述文本编码子网对应的训练样本及其标注，确定目标损失，并根据所述目标损失对所述文本编码子网的模型参数进行调整。
可选地，所述方法还包括：
响应于预测请求，获取目标业务和目标用户的言论文本；
将所述目标业务和所述目标用户的言论文本作为输入，输入训练完成的特征提取模型，得到所述特征提取模型输出的所述目标用户的特征；
将所述目标用户的特征输入训练完成的预测模型，得到所述预测模型输出的所述目标用户针对所述目标业务的指定行为。
本说明书提供了一种模型训练装置，包括：
第一获取模块，用于获取各用户的言论文本、所述各用户发起的各业务，以及所述各用户针对各业务的指定行为；
候选用户确定模块，用于针对每个用户，根据该用户发起的业务，从所述各用户中确定与该用户共同发起业务的该用户对应的第一候选用户，并将所述各用户中除所述第一候选用户外的其余用户作为该用户对应的第二候选用户；
第一训练样本组构建模块，用于根据该用户对应的第一候选用户和该用户对应的第二候选用户，分别确定该用户的正样本和该用户的负样本，并根据该用户、该用户的正样本和该用户的负样本构建第一训练样本组；
第二训练样本组构建模块，用于针对每个业务，根据所述各用户针对各业务的指定行为，从所述各用户中确定针对该业务的指定行为是第一行为的用户作为该业务的正样本，确定针对该业务的指定行为是第二行为的用户作为该业务的负样本，并根据该业务、该业务的正样本和该业务的负样本构建第二训练样本组；
第一训练模块，用于根据所述各用户的言论文本、所述各业务、所述第一训练样本组和所述第二训练样本组，训练待训练的特征提取模型；所述特征提取模型用于从用户的言论文本中提取用户的特征；
第三训练样本确定模块，用于将所述各用户的言论文本作为第三训练样本，并以所述各用户针对所述各业务的指定行为作为所述第三训练样本的标注；
第二训练模块，用于根据训练完成的特征提取模型、所述第三训练样本和所述第三训练样本的标注，训练待训练的预测模型；所述预测模型用于基于用户的特征预测用户针对业务的指定行为。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型训练方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述模型训练方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
本说明书提供的模型训练方法中，基于共同发起业务的关系确定多个用户中每个用户的正样本和负样本，并基于用户、用户的正样本和用户的负样本构建第一训练样本组，另外，基于各用户针对各业务的指定行为，从各用户中确定每个业务的正样本和负样本，并基于业务、业务的正样本和业务的负样本构建第二训练样本组。基于各用户的言论文本、各业务、第一训练样本组和第二训练样本组训练特征提取模型，之后，根据训练完成的特征提取模型、所述第三训练样本和所述第三训练样本的标注，训练待训练的预测模型。可见，通过构建第一训练样本组和第二训练样本组，结合用户的言论文本以训练特征提取模型的方案，针对用户从未执行过的业务，也可以有效地从用户的言论文本中提取得到用于表征用户对于执行不同类型的业务的态度和立场的用户特征，从而提高预测准确率。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附
图中：
图1为本说明书中一种模型训练方法的流程示意图；
图2为本说明书中一种模型训练方法的流程示意图；
图3为本说明书中一种模型训练方法的流程示意图；
图4为本说明书中一种模型训练方法的流程示意图；
图5为本说明书提供的一种模型训练装置的示意图；
图6为本说明书提供的对应于图1的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
另外，需要说明的是，本说明书中所有获取信号、信息或数据的动作都是在遵照所在地相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
随着人工智能技术的发展，目前可采用数据驱动的方法，基于用户不同种类的信息来刻画用户的画像，确定用户针对执行某项业务的态度和立场，判断用户针对某项业务执行的概率。例如，用户在通过网购平台购买商品时，网购平台可以基于用户的性别、年龄、爱好、历史购买记录等，判断用户购买多个不同商品的概率，从而为用户推荐商品。又如，用户在通过外卖平台订购外卖时，可以基于用户挑选外卖的时段、用户的位置、用户的历史订购记录等信息，判断用户订购不同外卖的概率，从而将订购概率高的外卖商家的推荐位置提前，以方便用户挑选到符合自身需求的外卖。再比如，用户在进行议题投票时，可以利用用户投票的历史记录、用户的社交关系、或者用户发起的历史议题来估计用户针对新兴议题的可能态度，从而预测用户对各种新兴议题的投票倾向，以便预测新兴议题投票通过的概率。
针对上述各种应用场景，目前可以采用机器学习的方法，从用户的不同种类的信息(例如上述网购场景中的用户的性别、年龄、爱好、历史购买记录，上述外卖场景中的用户挑选外卖的时段、用户的位置、用户的历史订购记录等信息，上述议题投票场景中用户投票的历史记录、用户的社交关系、或者用户发起的历史议题)提取用户的特征，然后基于用户的特征预测得到用户执行指定业务的概率。该种方法可能存在以下问题：上述方案是基于特定的训练样本的标注，基于有监督学习的方式训练机器学习模型来实现预测的，也即，上述方案中用户的特征是为特定的下游任务学习的，因此，通过上述方案得到的用户的特征很难迁移到其他任务或者其他场景，也就是说，利用在网购场景中训练得到的机器学习模型，从用户的信息中提取出的用户特征，无法用于外卖场景中的预测。另外一方面，通过上述方案得到的机器学习模型很难评估历史记录较少的新用户执行指定业务的概率。
基于此，本说明书提供一种模型训练方法，通过构建第一训练样本组和第二训练样本组，结合用户的言论文本以训练特征提取模型的方案，针对用户从未执行过的业务，也可以有效地从用户的言论文本中提取得到用于表征用户对于执行不同类型的业务的态度和立场的用户特征，从而提高预测准确率。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书提供的一种模型训练方法的流程示意图。
S100：获取各用户的言论文本、所述各用户发起的各业务，以及所述各用户针对各业务的指定行为。
本说明书实施例中提供的一种模型训练方法，该模型训练方法的执行过程可由用于模型训练的服务器等电子设备执行该模型训练方法。另外，在本说明书提供的模型训练方法涉及的特征提取模型和预测模型训练完成后，所涉及到的基于训练完成的特征提取模型和预测模型执行预测过程的电子设备和执行模型训练方法的电子设备可以相同也可以不同，本说明书对此不做限定。
在实际应用中，对于执行业务较少的用户，由于能够获取到的该用户执行的业务较少，难以从用户执行的业务中提取出丰富有效的特征以表征用户，因此，可获取用户的言论文本，训练特征提取模型学习用户的言论文本到用户的特征的映射。这样，由于用户的言论文本可以包含用户针对多种类型的、历史执行过的业务的态度和立场，因此，特征提取模型可以建模任何发表过公开言论的用户。
其中，获取的各用户的言论文本可以是用户公开发表的言论文本，如用户在社交媒体、业务平台发表的与执行过的业务相关的文本。例如，用户在网购平台发表的针对已购买商品的使用感受文本，或者是用户在外卖平台发表的针对外卖商家的菜品的点评文本，又或者是议员在社交媒体上针对已经被发起的议题发表的观点文本。本说明书对用户的言论文本的具体来源和具体字数不做限定。
在实际应用中，用户发起的业务可以根据具体的应用场景确定，比如在网购场景中，用户发起的业务即为购买商品；在外卖场景中，用户发起的业务即为订购外卖；在议题投票场景中，用户发起的业务即为用户发起(提议、提出)的议题。在本说明书实施例中，获取的用户发起的业务中可以是获取用户发起的业务的文本，如商品的名称文本、外卖商家的店名文本或者用户发起的议题对应的议题名称文本。
进一步的，还可以获取用户针对各业务的指定行为，该指定行为指的是用户在执行业务时可以采取的行为，如网购场景中的收货行为、复购行为，或者是议题投票场景中的投赞成票行为或投反对票行为。用户针对各业务的指定行为可明确表征用户在执行各业务时对各业务的态度和立场，是正向的态度还是负向的态度。
S102：针对每个用户，根据该用户发起的业务，从所述各用户中确定与该用户共同发起业务的该用户对应的第一候选用户，并将所述各用户中除所述第一候选用户外的其余用户作为该用户对应的第二候选用户。
在本说明书实施例中，构建了基于结构和行为信息的自监督任务来将政治场景的一般知识注入到特征提取模型中，而在步骤S102至S104中，首先阐述基于结构感知的对比学习的思想构建第一训练样本组的方案。
在结构信息方面，主要采用各用户之间形成的关系作为构建结构感知的对比学习的第一训练样组的依据。其中，在此步骤中，各用户之间形成的关系可以是各用户共同发起业务的关系。例如，在网购场景中，多个用户针对同一商品的共同团购的关系，又如在议题投票场景中，各用户共同发起议题的关系。在实际应用中，针对每个用户，如果存在其他用户与该用户共同发起业务，则可以认为该用户与其共同发起历史任务的其他用户在对待他们共同发起的业务的态度和立场是相同或相近的。因此，可以基于各用户之间共同发起业务的关系，确定每个用户对应的第一候选用户和第二候选用户，其中，用户对应的第一候选用户是曾经与该用户共同发起过业务的用户，第二候选用户则是从未与该用户共同发起过历史用户的用户。
可见，基于各用户之间共同发起业务的关系，确定出的每个用户的第一候选用户，第一候选用户对待业务的态度和立场，可能是与该用户对待业务的态度和立场是相似的。而相对应的，第二候选用户对待业务的态度和立场，可能是与该用户对待业务的态度和立场是相反的。
S104：根据该用户对应的第一候选用户和该用户对应的第二候选用户，分别确定该用户的正样本和该用户的负样本，并根据该用户、该用户的正样本和该用户的负样本构建第一训练样本组。
进一步的，可以从该用户对应的第一候选用户中选择一个用户作为该用户的正样本，以及从该用户对应的第二候选用户中选择一个用户该用户的负样本。
例如，用户A和用户B共同发起过议题A，用户B和用户C共同发起过议题B，则对于用户A而言，用户B则为用户A的第一候选用户，用户C则为用户A的第二候选用户，可以将用户B作为用户A的正样本，将用户C作为用户A的负样本，构建第一训练样本组(A，B，C)。但是对于用户B而言，用户B与用户A和用户C都共同发起过议题，则用户A和用户C均为用户B的第一候选用户，此时，如果可确定用户D从未与用户B共同发起过议题，则可从用户A和用户C中选择一个用户作为用户B的正样本，而用户D则为用户B的负样本，此时可构建第一训练样本组(B，A，D)或者(B，C，D)。
S106：针对每个业务，根据所述各用户针对各业务的指定行为，从所述各用户中确定针对该业务的指定行为是第一行为的用户作为该业务的正样本，确定针对该业务的指定行为是第二行为的用户作为该业务的负样本，并根据该业务、该业务的正样本和该业务的负样本构建第二训练样本组。
另一方面，在此步骤中，下述将详细阐述针对基于行为信息的对比学习思想构建第二训练样本组的方案。
在行为信息方面，根据不同的应用场景，一般可将用户在执行业务过程中采取的行为划分为正向行为和负向行为两种类型。例如，在网购场景中，用户在购买商品时对商品的确认收货行为可以认为是正向行为，即用户对商品的态度是积极正向的，反之，如果用户在购买商品后对商品采取了退货行为，则可以认为是负向行为，即用户对商品的态度是消极负向的。又比如，在议题投票的场景中，用户针对议题投赞成票的行为可以认为是正向行为，用户针对议题投反对票的行为可以认为是负向行为。
因此，基于行为信息构建第二训练样本组时，可将业务作为锚样本，针对每个业务，从各用户中确定该业务的正样本和该业务的负样本。其中，该业务的正样本即为对该业务持积极正向态度的用户，也就是对该业务采取了第一行为的用户。相对应的，该业务的负样本即为对该业务持消极负向态度的用户，也就是对该业务采取了第二行为的用户。
S108：根据所述各用户的言论文本、所述各业务、所述第一训练样本组和所述第二训练样本组，训练待训练的特征提取模型；所述特征提取模型用于从用户的言论文本中提取用户的特征。
在此步骤中，基于第一训练样本组合第二训练样本组，采用自监督学习的方式，训练特征提取模型，使其具备从用户的言论文本中提取用户特征的能力。
由于在第一训练样本组中包含的均为用户，因此，基于第一训练样本组确定的损失是基于待训练的特征提取模型从用户的言论文本中提取的用户特征得到的。而在第二训练样本组中包含业务和用户，因此，基于第二训练样本组确定的损失是基于待训练的特征提取模型分别从业务和用户的言论文本中提取的业务的特征，以及用户特征得到的。
具体的，使用三元组损失拉近第一训练样本组包含的锚样本与正样本的距离，同时疏远锚样本与负样本。一种可选的损失确定公式可如下所示：
其中是基于第一训练样本组确定的三元组损失，t(a1)是第一训练样本组中锚样本的特征、t(p1)是第一训练样本组中正样本的特征，t(n1)是第一训练样本组中负样本的特征，δSCL是预设的超参数，默认为1。
具体的，使用三元组损失拉近第二训练样本组包含的锚样本与正样本的距离，同时疏远锚样本与负样本。一种可选的损失确定公式可如下所示：
其中是基于第二训练样本组确定的三元组损失，t(a2)是是第二训练样本组中业务的特征，t(p2)是第二训练样本组中正样本的特征，t(n2)是第二训练样本组中负样本的特征，另外，δBCL是预设的超参数，默认为1。
进一步的，结合结构关系和行为信息这两方面损失对特征提取模型进行训练时的总损失可以是上述两各三元组损失的加和。一种可选的损失确定公式可如下所示：
其中，α是控制损失权重的超参数。
S110：将所述各用户的言论文本作为第三训练样本，并以所述各用户针对所述各业务的指定行为作为所述第三训练样本的标注。
在自然语言处理领域，随着技术的发展，人们越来越多的使用自然语言处理技术对各种文本信息进行处理，并基于处理结果执行相应任务。一种常用的执行自然语言处理任务的方法是基于预处理语言模型实现的。而预处理语言模型训练一般分为三个步骤：预训练-微调-使用。
在本说明书实施例中，首先构建第一训练样本组和第二训练样本组，基于第一训练样本组和第二训练样本组，通过用户言论文本对特征提取模型进行预训练。然后，根据预测任务的类型，确定少量有标注的言论文本，再基于确定出的有标注的言论文本对预测模型的参数进行微调，使得模型参数能完成对应的预测任务。
因此，在基于上述步骤S100至S108得到训练完成的特征提取模型后，可将它应用到下游场景的任务中。然后基于训练完成的特征提取模型，微调用于下游任务的预测模型的模型参数。预测模型的训练采用的是有监督学习的方式，因此，需要确定第三训练样本以及第三训练样本的标注。
具体的，由于预测模型是用于基于用户的特征预测用户针对业务的指定行为的，因此，需要训练完成的特征提取模型首先从用户的言论文本中提取用户的特征，然后将用户的特征输入待训练的预测模型中，由预测模型输出用户针对业务的预测行为，然后基于用户针对业务指定行为和预测模型输出的预测行为之间的差异，训练预测模型。
S112：根据训练完成的特征提取模型、所述第三训练样本和所述第三训练样本的标注，训练待训练的预测模型；所述预测模型用于基于用户的特征预测用户针对业务的指定行为。
本说明提供的模型训练方法中，基于共同发起业务的关系确定多个用户中每个用户的正样本和负样本，并基于用户、用户的正样本和用户的负样本构建第一训练样本组，另外，基于各用户针对各业务的指定行为，从各用户中确定每个业务的正样本和负样本，并基于业务、业务的正样本和业务的负样本构建第二训练样本组。基于各用户的言论文本、各业务、第一训练样本组和第二训练样本组训练特征提取模型，之后，根据训练完成的特征提取模型、所述第三训练样本和所述第三训练样本的标注，训练待训练的预测模型。
可见，通过构建第一训练样本组和第二训练样本组，结合用户的言论文本以训练特征提取模型的方案，针对用户从未执行过的业务，也可以有效地从用户的言论文本中提取得到用于表征用户对于执行不同类型的业务的态度和立场的用户特征，从而提高预测准确率。
在本说明书一个或多个实施例中，在如图1步骤S104所示根据该用户、该用户的正样本和该用户的负样本构建第一训练样本组之前，还可以基于各用户分别所属的用户簇，进一步确定每个用户的正样本和负样本，从而扩充第一训练样本组的规模，以便提高训练完成的特征提取模型的准确率，具体方案如下：
首先，获取所述各用户分别所属的用户簇。
在如图1步骤S104基于结构信息构建第一训练样本组之前，除了采用共同发起业务的关系确定每个用户的正样本和负样本之外，还可以基于用户簇这一用户之间形成的关系，再次确定每个用户的正样本和负样本，并根据通过用户簇确定的用户的正样本和负样本，构建第一训练样本组，以便扩充第一训练样本组的规模。
其次，针对每个用户，根据所述各用户分别所属的用户簇，从所述各用户中确定与该用户属于同一用户簇的其余用户作为该用户的正样本，确定与该用户不属于同一用户簇的其余用户作为该用户的负样本。
具体的，由于用户簇可以是基于用户的某个属性将各用户聚类得到的，因此，属于同一用户簇的各用户之间在指定方面具有相似性，而不属于同一用户的各与用户之间在指定方面存在差异性。例如，在外卖场景中，用户在订购外卖的同时可以备注忌口信息，如不吃辣，那么可以将备注“不吃辣”的用户聚合为一个用户簇，将没有备注“不吃辣”的用户聚合为一个用户簇。又比如，在议题投票的场景中，用户所属的党派不同，可以将相同党派的用户聚合为用户簇。
用户簇这一结构信息也能够表征用户针对业务的态度和立场。比如，属于“不吃辣”用户簇的用户对待川菜外卖的态度就是负向的，而属于“吃辣”用户簇的用户对待川菜外卖的态度就是正向。
另外，需要理解的是，如果通过如图1步骤S102所示基于共同发起业务的关系确定的第一训练样本组和上述步骤所述基于用户簇的关系确定的第一训练样本组之间发生重合，可以将重合的第一训练样本组删掉，只保留一组即可。比如，用户A和用户B共同发起议题A，用户A和用户C从未共同发起议题，那么基于共同发起业务的关系确定的第一训练样本组可以是(A，B，C)。同时，用户A和用户B同属于A党派，用户C则是B党派，那么基于用户簇的关系确定的第一训练样本组也可以是(A，B，C)。此时，删除一组第一训练样本组(A，B，C)，只保留一组即可。
在本说明书一个或多个实施例中，在如图1步骤S104所示根据该用户对应的第一候选用户和该用户对应的第二候选用户，分别确定该用户的正样本和该用户的负样本中，可以基于用户与第一候选用户共同发起的业务，对用户对应的第一候选用户进行进一步的分类，以便在基于用户的第一候选用户和用户的第二候选用户确定用户的正样本和负样本时，能够进一步扩充正样本和负样本的规模，从而扩充第一训练样本组的规模，以提高训练完成的特征提取模型的准确性，如图2所示，具体步骤如下：
S200：确定数量阈值。
在基于结构信息中的共同发起业务的关系构建第一训练样本组时，用户的态度和立场是动态变化的，可以根据共同发起业务的数量表征用户之间关系的强弱，并根据用户之间关系的强弱进行分级，并根据等级的高低来构建第一训练样本组。
具体的，可以通过设置数量阈值的方式，将共同发起业务的数量高于数量阈值的第一候选用户，作为与该用户之间关系较强的用户。相对应的，将共同发起业务的数量不高于数量阈值的第一候选用户，作为与该用户之间关系较弱的用户。可见，数量阈值可以表征用户之间关系强弱的分界线。其中，数量阈值可以是人工设置的，也可以是根据各用户发起业务的数量的平均值确定的，本说明书对此不做限定。
S202：将共同发起业务的数量不高于所述数量阈值的第一候选用户，作为该用户的参考用户，并将该用户的参考用户从该用户的第一用户中删除。
在本说明书实施例中，确定数量阈值，并基于数量阈值分类第一候选用户的方案，是为了将与该用户共同发起业务的第一候选用户再次细分等级。因此，可以将该用户的第一候选用户中，与该用户共同发起业务的数量高于数量阈值的第一候选用户保留，将共同发起业务的数量不高于数量阈值的第一候选用户作为参考用户，并从原始的第一候选用户中删除。
此时，在如图1步骤S102确定出的该用户对应的第一候选用户被拆分为该用户对应的第一候选用户以及该用户的参考用户。其中，该用户对应的第一候选用户与该用户共同发起业务的数量较多，则该用户对应的第一候选用户与该用户之间的关系较紧密。反之，该用户的参考用户与该用户共同发起业务的数量较少，则该用户的参考用户与该用户之间存在关系，但关系较为疏远。
S204：当该用户的正样本从该用户的第一候选用户中选择时，从该用户的参考用户或者该用户的第二候选用户中选择该用户的负样本。
在利用第一训练样本组对特征提取模型进行训练时，通过三元组损失拉近锚样本和正样本之间的距离，以及疏远锚样本与负样本。因此，在基于共同发起业务的关系构建第一训练样本组时，对于各用户中的每个用户而言，该用户的正样本可以是与该用户关系紧密的第一候选用户，也可以是与该用户之间存在关系，但关系较为疏远的参考用户。但是，一般的，该用户的正样本与该用户之间的关系的紧密程度，通常比该用户的负样本与该用户之间的关系的紧密程度高。因此，当该用户的正样本从该用户的第一候选用户中选择时，从该用户的参考用户或者该用户的第二候选用户中选择该用户的负样本。而当该用户的正样本从该用户的参考用户中选择时，从该用户的第二候选用户中选择该用户的负样本。
S206：当该用户的正样本从该用户的参考用户中选择时，从该用户的第二候选用户中选择该用户的负样本。
例如，用户A和用户B共同发起过议题A和议题B，用户A和用户C共同发起过议题C，用户A和用户D从未共同发起过议题。那么，对于用户A而言，原本基于步骤S102可以确定用户A对应的第一候选用户为用户B和用户C，用户A对应的第二候选用户为用户D，而基于上述步骤S202可以将用户A的第一候选用户进一步细分为：用户B为用户A的第一候选用户，用户C为用户A的参考用户，用户D为用户A的第二候选用户，进而，当用户A的正样本为用户B时，可以从用户C和用户D中选择一个用户作为用户A的负样本，而当用户A的正样本为用户C时，则可将用户D作为用户A的负样本，即，构建第一训练样本组为(A，B，C)、(A，B，D)和(A，C，D)。
在本说明书一个或多个实施例中，在如图1步骤S108所示根据所述各用户的言论文本、所述各业务、所述第一训练样本组和所述第二训练样本组，训练待训练的特征提取模型，具体可通过下述步骤实现，如图3所示：
S300：将所述第一训练样本组中用户的言论文本、用户的正样本的言论文本以及用户的负样本的言论文本分别输入待训练的特征提取模型，得到所述第一训练样本组中用户的特征、用户的正样本的特征以及用户的负样本的特征。
S302：将所述第二训练样本组中的业务，业务的正样本的言论文本和业务的负样本的言论文本分别输入所述特征提取模型，得到所述第二训练样本组中的业务的特征、业务的正样本的特征以及业务的负样本的特征。
在实际应用中，特征提取模型用于从用户的言论文本中提取用户特征，因此，在特征提取模型的训练过程中，以及在特征提取模型的应用过程中，特征提取模型的输入包含用户的言论文本。
另外，将各业务输入特征提取模型中得到业务的特征是因为在第二训练样本中，以业务作为锚样本，需要通过拉近业务的特征和业务的正样本的特征之间的距离，以及缩短业务的特征以及业务的负样本的特征之间的距离，训练特征提取模型。而基于第二训练样本训练特征提取模型还可以将业务所在应用场景的信息注入到言论文本到用户特征的映射中，提高特征提取模型从用户的言论文本提取用户特征的准确度。
S304：根据所述第一训练样本包含的用户、用户的正样本和用户的负样本，确定所述第一训练样本组中用户的特征和用户的正样本的特征之间的差异，以及用户的特征和用户的负样本的特征之间的相似度，并根据所述第一训练样本组中用户的特征和用户的正样本的特征之间的差异，以及用户的特征和用户的负样本的特征之间的相似度，确定第一损失。
S306：根据所述第二训练样本包含的业务、业务的正样本和业务的负样本，确定第二训练样本组中业务的特征和业务的正样本的特征之间的差异，以及业务的特征和业务的负样本的特征之间的相似度，并根据所述第二训练样本组中业务的特征和业务的正样本的特征之间的差异，以及业务的特征和业务的负样本的特征之间的相似度，确定第二损失。
S308：根据所述第一损失和所述第二损失确定总损失。
S310：以所述总损失的最小化为训练目标，训练所述特征提取模型。
在本说明书一个或多个实施例中，在如图3步骤S300所示将所述第一训练样本组中用户的言论文本、用户的正样本的言论文本以及用户的负样本的言论文本分别输入待训练的特征提取模型，得到所述第一训练样本组中用户的特征、用户的正样本的特征以及用户的负样本的特征中，由于用户的言论文本可能存在文本过长的问题，可能会造成特征提取模型从言论文本中提取用户特征的效率降低，因此，可以对言论文本进行分词，对言论文本包含的各词分别进行编码，在此过程中，由于特征提取模型的目的在于从用户的言论文本中学习到提取用户执行业务的态度和倾向，因此，为了进一步提高效率，可以不对言论文本包含的所有词都进行编码，而是针对言论文本中包含的一个或多个参考词进行编码，其中，参考词用于表征用户针对执行业务的态度和立场，由此，如图3所示步骤S304可以通过下述方案实施：
第一步：针对每个用户，从该用户的言论文本提取多个参考词。
在本说明书实施例中，为避免用户的言论文本过长，降低特征提取模型从言论文本中提取用户特征的效率，针对每个用户，对该用户的言论文本进行分词，得到该用户的各言论词，之后，从该用户的各言论词中识别得到多个参考词。其中，参考词可以是实体词、情感词、框架词等能够表征用户针对业务的主观态度、立场和执行业务的倾向。
用户的言论文本可以从用户公开发表的内容中获取，如在网购场景中，用户针对商品发表的使用感受，在外卖场景中用户针对餐品的点评，或者是在议题投票场景中用户议题发表的演讲或者建议。
上述从该用户的各言论词中识别得到多个参考词的方法可以是基于人工标注，也可以是通过预先训练的实体词识别模型、预先训练的情感词识别模型或预先训练的框架词识别模型，本说明书对此不做限定。
第二步：根据该用户对应的各参考词，构建该用户的第一言论序列。
将该用户的各参考词排序，得到该用户的第一言论序列，其中，各参考词在第一言论序列中的排序次序可以是随机确定的，也可以是基于参考词在言论文本中出现的频率确定的，本说明书对此不做限定。
在本说明书实施例中，一般的，可以从用户的多条言论文本中提取出多个参考词，但在实际应用中，可能存在目标用户公开发表的言论文本较少的情况，此时，从目标用户的言论文本中提取的参考词可以是一个，那么相对应的，目标用户的第一言论序列中仅存在一个参考词。
第三步：将所述第一训练样本组中用户的第一言论序列、用户的正样本的第一言论序列以及用户的负样本的第一言论序列分别输入待训练的特征提取模型，得到所述第一训练样本组中用户的特征、用户的正样本的特征以及用户的负样本的特征。
进一步的，在得到各用户的第一言论序列后，此时，对于第一训练样本组而言，待训练的特征提取模型的输入从用户的言论文本、用户的正样本的言论文本和用户的负样本的言论文本转化为：用户的第一言论序列、用户的正样本的第一言论序列以及用户的负样本的第一言论序列。上述方案中从言论文本到第一言论序列的转变，可以将不表征用户针对业务的主观态度、立场和执行业务的倾向的其他词剔除，只保留参考词，缓解特征提取模型从包含大量字的言论文本中直接提取用户特征的压力，从而提高特征提取模型提取用户特征的效率。
在本说明书一个或多个实施例中，在如图3步骤S304所示将所述第二训练样本组中的业务，业务的正样本的言论文本和业务的负样本的言论文本分别输入所述特征提取模型，得到所述第二训练样本组中的业务的特征、业务的正样本的特征以及业务的负样本的特征中，同样会存在上述言论文本过长的情况，因此，相对应的，在步骤S304中也可通过从用户的言论文本中提取参考词的方式，仅针对参考词进行编码得到特征，如图4所示，具体方案如下：
S400：针对每个用户，从该用户的言论文本提取多个参考词。
此步骤与上述第一步类似，此处不再赘述。
S402：根据该用户对应的各参考词，构建该用户的第一言论序列。
此步骤与上述第二步类似，此处不再赘述。
S404：针对每个业务领域，从该用户的各言论文本中筛选出属于该业务领域的言论文本，并从属于该业务领域的该用户的言论文本中，提取该用户在该业务领域的多个参考词。
在本说明书实施例中，可以从总体和业务领域这两个具体的粒度上表征用户，来为各种下游场景建模用户的一般意识形态和在不同类型的业务领域上的偏好。其中，不同的业务可以对应于相同或者不同的业务领域，而用户针对不同的业务领域下的业务的态度和立场可能不同，因此，需要针对表征了不同业务领域的参考词分别进行编码，以从不同业务领域的参考词中提取得到用户针对不同业务领域的态度和立场。
为此，除了通过上述步骤S400和S402聚合用户发表过的所有言论来获得用于在总体粒度上表征用户的第一言论序列，还可通过针对每个业务领域，聚合用户针对该业务领域发表过的言论，来获得用于在该业务领域粒度上表征用户的在该业务领域内的第二言论序列。
具体的，可首先确定该用户在各业务领域内发表过的言论文本，即，从该用户的各言论文本中筛选出分别属于各业务领域的言论文本。在本说明书实施例中，业务领域可表征执行业务所涉及的具体内容，例如，在外卖场景中，业务领域可以是餐饮外卖、药品外卖、超市外卖等，而在不同业务领域下的业务可以是：餐饮外卖中的A饭店的菜品外卖和B饮品店的奶茶外卖，或者是药品外卖业务领域中的养生产品外卖和感冒药外卖，相对应的，用户在各业务领域内发表过的言论文本可以是针对A饭店的菜品外卖的菜品评价。或者在议题投票场景中，业务领域可以是金融、医药、教育等，而在不同业务领域下的业务可以是：在金融领域中“调整利率”议题和“金融创新”议题，或者是医药领域中“制药产业创新升级”议题和“创新药自主定价”议题，又或者是教育领域中“双减”议题和“促进家庭教育”议题，那么相对应的，用户在业务领域内发表过的言论文本可以是针对金融领域中“调整利率”议题的讨论或建议文本。
确定该用户的各言论文本分别所属的业务领域的方法可以是人工标注，或者预先训练业务领域识别模型等任意现有的识别业务领域的方法，本说明书对此不做限定。
之后，针对每个业务领域，将该用户在该业务领域内的言论文本进行分词，得到该用户在该业务领域的多个参考词。
S406：根据该用户在各业务领域的参考词，构建该用户在所述各业务领域内的第二言论序列。
针对每个业务领域，将该用户在该业务领域的各参考词进行排序，构建该用户在该业务领域内的第二言论序列，其中，各参考词在第二言论序列中的排序次序可以是随机确定的，也可以是基于参考词在相对应的业务领域包含的言论文本中出现的频率确定的，本说明书对此不做限定。
S408：确定所述第二训练样本组中业务所属的目标业务领域，所述第二训练样本组中的业务、业务的正样本的第一言论序列和所述目标业务领域的第二言论序列、业务的负样本的第一言论序列和所述目标业务领域的第二言论序列分别作为输入，输入所述特征提取模型，得到所述第二训练样本组中的业务的特征、业务的正样本的特征以及业务的负样本的特征。
在上述步骤S404建立了该用户在各业务领域的第二言论序列之后，此时，对于第二训练样本组而言，由于每个第二训练样本组中作为锚样本的业务本身就具备业务领域的属性，因此，需要确定第二训练样本组中业务所属的目标业务领域，也即，确定该第二训练样本组中业务对应的正样本(用户)采用在目标业务领域的第二言论序列对特征提取模型进行训练，以及确定该第二训练样本组中业务对应的负样本(用户)采用在目标业务领域的第二言论序列对特征提取模型进行训练。
另外，在联合第二训练样本组训练特征提取模型的过程中，还保留用户在总体粒度上的特征，可以将业务的正样本的第一言论序列和所述目标业务领域的第二言论序列均作为特征提取模型的输入，业务的负样本同理。那么，对于第二训练样本组而言，特征提取模型的输入即为所述第二训练样本组中的业务、业务的正样本的第一言论序列和所述目标业务领域的第二言论序列、业务的负样本的第一言论序列和所述目标业务领域的第二言论序列。
在本说明书一个可选的实施例中，在上述如图4步骤S404所示确定该用户对应的各参考词分别所属的业务领域中，可以基于业务领域的关键词，将言论文本以及言论文本包含的参考词分别映射到不同的业务领域中，从而确定各参考词分别所述的业务领域，具体方案如下：
首先，获取多个业务领域的关键词以及编码手册。其中，所述编码手册用于记录多个不同业务领域的关键词和多个不同事件之间的对应关系。
具体的，为了确定用户对应的各参考词分别所属的业务领域，可以首先确定参考词所在言论文本所属的业务领域。为此，可获取业务领域的关键词和用于记录多个不同业务领域的关键词和多个不同事件之间的对应关系的编码手册。其中，各业务领域的关键词可以从业务平台和编码手册中获取。
其次，获取该用户的针对目标事件的言论文本，所述言论文本包含多个参考词。
在实际应用中，用户针对业务发表的言论文本一般是针对执行业务过程中发生的目标事件发表的、用于表征用户态度和立场的评论或者建议。而参考词所表征的用户的态度和立场也是用户针对执行业务过程中发生的目标事件所持有的。基于此，言论文本可以是该用户针对目标事件发表的。
然后，从所述编码手册查找所述目标事件，确定该用户的言论文本所属的业务领域，以确定该用户对应的各参考词分别所属的业务领域；根据该用户的各言论文本分别所述的业务领域，从该用户的各言论文本中筛选出属于该业务领域的言论文本。
由于编码手册中记录有各业务领域的关键词和各事件之间的对应关系，因此，可直接从编码手册中查找目标事件，如果编码手册中记录有目标事件，那么则可以根据与目标事件对应的业务领域的关键词直接确定该用户的言论文本所属的业务领域，进而在构建该用户在各业务领域下的第二言论序列时，可从该用户的各言论文本中筛选出分别属于各业务领域的言论文本。
在本说明书一个可选的实施例中，在前述对于第一训练样本组确定用户的第一言论文本时，以及在上述如图4步骤S402所示对于第二训练样本组，根据该用户对应的各参考词，构建该用户的第一言论序列中，还可以分别确定各参考词的词频，确定各参考词的排序指标，并基于排序指标对各参考词进行排序，具体方案如下：
首先，针对该用户对应的每个参考词，根据该参考词在该参考词所属的言论文本中的第一词频、该参考词在该用户的各言论文本中的第二词频，以及该用户的言论文本的数量，确定该用户对应的该参考词的排序指标。
具体的，针对该用户对应的多个参考词中的每个参考词，确定该参考词在该参考词所属的言论文本中的第一词频，并确定该参考词在除该参考词所属的言论文本之外的其余该用户的言论文本中的第二词频。并基于第一词频、第二词频，以及该用户的言论文本的数量，确定该用户对应的该参考词的排序指标。
上述确定出的第一词频用于表征该参考词对于该参考词所属的言论文本的重要程度。但是，如果一个参考词不仅在它所属的言论文本中频繁出现，还频繁出现在同一用户的其他言论文本中，则说明该参考词不具备类别区分能力，即该参考词在所有言论文本中的重要程度近似。
在本说明书实施例中，可以将重要程度高且具备较好类别区分能力的参考词排列在言论序列的靠前位置。因此，参考词的排序指标根据第一词频和第二词频确定，其中，排序指标与第一词频呈正比关系，与第二词频呈反比关系。也就是说，参考词在其所属的言论文本出现的次数越多、在同一用户的其他言论文本中出现的次数越少，该参考词在第一言论序列中的排序越靠前。
然后，根据该用户对应的各参考词的排序指标，对该用户对应的各参考词进行排序，得到该用户的第一言论序列。
相对应的，在上述如图4步骤S404所示根据各业务领域包括的各参考词，构建该用户在所述各业务领域内的第二言论序列中，也可以与上述确定第一言论序列的方式类似，具体如下：
首先，针对该用户的每个参考词，根据该参考词在该参考词所属的言论文本中的第一词频、该参考词在该参考词所属的业务领域内该用户的各言论文本中的第二词频，以及该参考词所属的业务领域内该用户的言论文本的数量，确定该参考词的排序指标。
由于不同业务领域内的第二言论序列是表征用户在不同业务领域下的态度和立场的，因此，需要根据该参考词对该参考词所属的言论文本重要程度，以及该参考词在相对应的业务领域下对区分该参考词所属的言论文本和其他言论文本的贡献，确定参考词在第二言论序列中的排序次序。其中，重要程度依然是通过该参考词在该参考词所属的言论文本中的第一词频表征，而区分贡献则是通过该参考词在该参考词所属的业务领域内该用户的各言论文本中的第二词频表征。
为此，需要根据第一词频、第二词频，以及该用户在该业务领域内的言论文本的数量确定该参考词的排序指标。其中，排序指标与第一词频呈正比关系，与第二词频呈反比关系。也就是说，参考词在其所属的言论文本出现的次数越多、在同一用户的相同业务领域的其他言论文本中出现的次数越少，该参考词在第二言论序列中的排序越靠前。
其次，根据该用户对应的各业务领域包括的各参考词的排序指标，对该用户对应的各业务领域包括的各参考词进行排序，得到该用户在所述各业务领域内的第二言论序列。
在本说明书一个可选的实施例中，特征提取模型包括文本编码子网和角色编码子网，其中，文本编码子网可以通过掩膜的方式进行预先训练，然后，基于训练完成的文本编码子网，联合训练角色编码子网，以完成特征提取模型的训练过程。下述为文本编码子网的训练过程：
第一步：获取若干掩膜。
在对语言模型进行预训练时，通常可采用掩膜遮盖部分文本信息的方式来确定训练样本。掩膜可以遮蔽言论文本包含的各参考词。具体的，可首先确定若干掩膜。其中，各掩膜的位置、掩膜长度等都可根据需要进行设置。
第二步：针对每个掩膜，将各用户的言论文本包含的各参考词和该掩膜进行组合，确定该掩膜对应的所述文本编码子网对应的训练样本及其标注，所述文本编码子网对应的训练样本为将用户的言论文本包含的参考词用所述掩膜进行遮盖后的结果，所述标注为所述用户的言论文本。
在此步骤中，将用户的言论文本包含的各参考词和各掩膜分别进行组合，确定文本编码子网对应各训练样本。其中，针对每个训练样本，该训练样本为使用掩膜将部分参考词进行遮盖后的言论文本，该训练样本的标注为原始的言论文本。
第三步：根据所述文本编码子网对应的训练样本及其标注，确定目标损失，并根据所述目标损失对所述文本编码子网的模型参数进行调整。
需要说明的是，由于上述训练过程时对训练样本进行学习，学习到的内容为训练样本的语言，而非针对于对应自然语言处理任务进行学习，后续还需执行微调过程，因此将上述过程称之为预训练过程，而非训练得到不准确的语言模型的过程。
在本说明书一个或多个实施例中，基于训练完成的特征提取模型和训练完成的预测模型可以基于目标用户的言论文本和目标业务，预测得到目标用户针对目标业务可能存在的指定行为，具体方案如下：
首先，响应于预测请求，获取目标业务和目标用户的言论文本。
其次，将所述目标业务和所述目标用户的言论文本作为输入，输入训练完成的特征提取模型，得到所述特征提取模型输出的所述目标用户的特征。
然后，将所述目标用户的特征输入训练完成的预测模型，得到所述预测模型输出的所述目标用户针对所述目标业务的指定行为。
在本说明书一个可选的实施例中，在实际应用中，由于特征提取模型包含文本编码子网和角色编码子网，还可以根据预测请求携带的预测任务的具体类型，通过激活文本编码子网和/或激活角色编码子网的方式，得到适应于不同类型的预测任务的用户特征，从而提升不同类型的预测任务的预测准确度。为了实现上述目的，在预测模型训练的过程中，还需要基于不同类型的第三训练样本的标注对预测模型的模型参数进行微调，以便适用不同类型的预测任务。
如果是角色画像任务，使用用户的第一言论序列作为输入，激活训练完成的特征提取模型中负责角色建模的角色编码子网，得到特征提取模型输出的用户的特征，然后将用户的特征输入到预测模型，基于用户言论文本的角色画像标注，对预测模型的模型参数进行微调。
如果是行为预测任务，使用业务的文本描述作为文本输入，使用用户的第一言论序列和用户的在业务对应的目标业务领域下的第二言论序列作为角色输入，同时激活负责角色建模的角色编码子网和负责文本建模的文本编码子网，得到特征提取模型输出的用户的特征，然后将用户的特征输入到预测模型，基于用户针对业务的指定行为，对预测模型的模型参数进行微调。
如果是语言分析任务，使用用户的言论文本作为输入，激活模型中负责角色建模的角色编码子网，将训练完成的特征提取模型的输出输入到预测模型中进行预测，并基于用户的言论文本的语言分析标注对预测模型的模型参数进行微调。
图5为本说明书提供的一种模型训练装置示意图，具体包括：
第一获取模块500，用于获取各用户的言论文本、所述各用户发起的各业务，以及所述各用户针对各业务的指定行为；
候选用户确定模块502，用于针对每个用户，根据该用户发起的业务，从所述各用户中确定与该用户共同发起业务的该用户对应的第一候选用户，并将所述各用户中除所述第一候选用户外的其余用户作为该用户对应的第二候选用户；
第一训练样本组构建模块504，用于根据该用户对应的第一候选用户和该用户对应的第二候选用户，分别确定该用户的正样本和该用户的负样本，并根据该用户、该用户的正样本和该用户的负样本构建第一训练样本组；
第二训练样本组构建模块506，用于针对每个业务，根据所述各用户针对各业务的指定行为，从所述各用户中确定针对该业务的指定行为是第一行为的用户作为该业务的正样本，确定针对该业务的指定行为是第二行为的用户作为该业务的负样本，并根据该业务、该业务的正样本和该业务的负样本构建第二训练样本组；
第一训练模块508，用于根据所述各用户的言论文本、所述各业务、所述第一训练样本组和所述第二训练样本组，训练待训练的特征提取模型；所述特征提取模型用于从用户的言论文本中提取用户的特征；
第三训练样本确定模块510，用于将所述各用户的言论文本作为第三训练样本，并以所述各用户针对所述各业务的指定行为作为所述第三训练样本的标注；
第二训练模块512，用于根据训练完成的特征提取模型、所述第三训练样本和所述第三训练样本的标注，训练待训练的预测模型；所述预测模型用于基于用户的特征预测用户针对业务的指定行为。
可选地，所述第一训练样本组构建模块504在所述第一训练样本组构建模块504根据该用户、该用户的正样本和该用户的负样本构建第一训练样本组之前，还用于获取所述各用户分别所属的用户簇；针对每个用户，根据所述各用户分别所属的用户簇，从所述各用户中确定与该用户属于同一用户簇的其余用户作为该用户的正样本，确定与该用户不属于同一用户簇的其余用户作为该用户的负样本。
可选地，所述第一训练样本组构建模块504具体用于，确定数量阈值；将共同发起业务的数量不高于所述数量阈值的第一候选用户，作为该用户的参考用户，并将该用户的参考用户从该用户的第一用户中删除；当该用户的正样本从该用户的第一候选用户中选择时，从该用户的参考用户或者该用户的第二候选用户中选择该用户的负样本；当该用户的正样本从该用户的参考用户中选择时，从该用户的第二候选用户中选择该用户的负样本。
可选地，所述第一训练模块508具体用于，将所述第一训练样本组中用户的言论文本、用户的正样本的言论文本以及用户的负样本的言论文本分别输入待训练的特征提取模型，得到所述第一训练样本组中用户的特征、用户的正样本的特征以及用户的负样本的特征；将所述第二训练样本组中的业务，业务的正样本的言论文本和业务的负样本的言论文本分别输入所述特征提取模型，得到所述第二训练样本组中的业务的特征、业务的正样本的特征以及业务的负样本的特征；根据所述第一训练样本包含的用户、用户的正样本和用户的负样本，确定所述第一训练样本组中用户的特征和用户的正样本的特征之间的差异，以及用户的特征和用户的负样本的特征之间的相似度，并根据所述第一训练样本组中用户的特征和用户的正样本的特征之间的差异，以及用户的特征和用户的负样本的特征之间的相似度，确定第一损失；根据所述第二训练样本包含的业务、业务的正样本和业务的负样本，确定第二训练样本组中业务的特征和业务的正样本的特征之间的差异，以及业务的特征和业务的负样本的特征之间的相似度，并根据所述第二训练样本组中业务的特征和业务的正样本的特征之间的差异，以及业务的特征和业务的负样本的特征之间的相似度，确定第二损失；根据所述第一损失和所述第二损失确定总损失；以所述总损失的最小化为训练目标，训练所述特征提取模型。
可选地，所述第一训练模块508具体用于，针对每个用户，从该用户的言论文本提取多个参考词；根据该用户对应的各参考词，构建该用户的第一言论序列；将所述第一训练样本组中用户的第一言论序列、用户的正样本的第一言论序列以及用户的负样本的第一言论序列分别输入待训练的特征提取模型，得到所述第一训练样本组中用户的特征、用户的正样本的特征以及用户的负样本的特征。
可选地，所述第一训练模块508具体用于，针对每个用户，从该用户的言论文本提取多个参考词；根据该用户对应的各参考词，构建该用户的第一言论序列；针对每个业务领域，从该用户的各言论文本中筛选出属于该业务领域的言论文本，并从属于该业务领域的该用户的言论文本中，提取该用户在该业务领域的多个参考词；根据该用户在各业务领域的参考词，构建该用户在所述各业务领域内的第二言论序列；确定所述第二训练样本组中业务所属的目标业务领域，所述第二训练样本组中的业务、业务的正样本的第一言论序列和所述目标业务领域的第二言论序列、业务的负样本的第一言论序列和所述目标业务领域的第二言论序列分别作为输入，输入所述特征提取模型，得到所述第二训练样本组中的业务的特征、业务的正样本的特征以及业务的负样本的特征。
可选地，所述第一训练模块508具体用于，获取多个业务领域的关键词以及编码手册；其中，所述编码手册用于记录多个不同业务领域的关键词和多个不同事件之间的对应关系；获取该用户的针对目标事件的言论文本，所述言论文本包含多个参考词；从所述编码手册查找所述目标事件，确定该用户的言论文本所属的业务领域，以确定该用户对应的各参考词分别所属的业务领域；根据该用户的各言论文本分别所述的业务领域，从该用户的各言论文本中筛选出属于该业务领域的言论文本。
可选地，所述第一训练模块508具体用于，针对该用户对应的每个参考词，根据该参考词在该参考词所属的言论文本中的第一词频、该参考词在该用户的各言论文本中的第二词频，以及该用户的言论文本的数量，确定该用户对应的该参考词的排序指标；根据该用户对应的各参考词的排序指标，对该用户对应的各参考词进行排序，得到该用户的第一言论序列。
可选地，所述第一训练模块508具体用于，针对该用户的每个参考词，根据该参考词在该参考词所属的言论文本中的第一词频、该参考词在该参考词所属的业务领域内该用户的各言论文本中的第二词频，以及该参考词所属的业务领域内该用户的言论文本的数量，确定该参考词的排序指标；根据该用户对应的各业务领域包括的各参考词的排序指标，对该用户在所述各业务领域的各参考词进行排序，得到该用户在所述各业务领域内的第二言论序列。
可选地，所述特征提取模型包括文本编码子网；
可选地，所述第一训练模块508在所述第一训练模块508得到所述第二训练样本组中的业务的特征之前还用于获取若干掩膜；针对每个掩膜，将各用户的言论文本包含的各参考词和该掩膜进行组合，确定该掩膜对应的所述文本编码子网对应的训练样本及其标注，所述文本编码子网对应的训练样本为将用户的言论文本包含的参考词用所述掩膜进行遮盖后的结果，所述标注为所述用户的言论文本；根据所述文本编码子网对应的训练样本及其标注，确定目标损失，并根据所述目标损失对所述文本编码子网的模型参数进行调整。
可选地，所述装置还包括：
预测模块514，用于响应于预测请求，获取目标业务和目标用户的言论文本；将所述目标业务和所述目标用户的言论文本作为输入，输入训练完成的特征提取模型，得到所述特征提取模型输出的所述目标用户的特征；将所述目标用户的特征输入训练完成的预测模型，得到所述预测模型输出的所述目标用户针对所述目标业务的指定行为。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1所示的模型训练方法。
本说明书还提供了图6所示的电子设备的示意结构图。如图6所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所示的模型训练方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (14)

1.一种模型训练方法，其特征在于，包括：
获取各用户的言论文本、所述各用户发起的各业务，以及所述各用户针对各业务的指定行为；
针对每个用户，根据该用户发起的业务，从所述各用户中确定与该用户共同发起业务的该用户对应的第一候选用户，并将所述各用户中除所述第一候选用户外的其余用户作为该用户对应的第二候选用户；
根据该用户对应的第一候选用户和该用户对应的第二候选用户，分别确定该用户的正样本和该用户的负样本，并根据该用户、该用户的正样本和该用户的负样本构建第一训练样本组；
针对每个业务，根据所述各用户针对各业务的指定行为，从所述各用户中确定针对该业务的指定行为是第一行为的用户作为该业务的正样本，确定针对该业务的指定行为是第二行为的用户作为该业务的负样本，并根据该业务、该业务的正样本和该业务的负样本构建第二训练样本组；
根据所述各用户的言论文本、所述各业务、所述第一训练样本组和所述第二训练样本组，训练待训练的特征提取模型；所述特征提取模型用于从用户的言论文本中提取用户的特征；
将所述各用户的言论文本作为第三训练样本，并以所述各用户针对所述各业务的指定行为作为所述第三训练样本的标注；
根据训练完成的特征提取模型、所述第三训练样本和所述第三训练样本的标注，训练待训练的预测模型；所述预测模型用于基于用户的特征预测用户针对业务的指定行为。
2.如权利要求1所述的方法，其特征在于，根据该用户、该用户的正样本和该用户的负样本构建第一训练样本组之前，所述方法还包括：
获取所述各用户分别所属的用户簇；
针对每个用户，根据所述各用户分别所属的用户簇，从所述各用户中确定与该用户属于同一用户簇的其余用户作为该用户的正样本，确定与该用户不属于同一用户簇的其余用户作为该用户的负样本。
3.如权利要求1所述的方法，其特征在于，根据该用户对应的第一候选用户和该用户对应的第二候选用户，分别确定该用户的正样本和该用户的负样本，具体包括：
确定数量阈值；
将共同发起业务的数量不高于所述数量阈值的第一候选用户，作为该用户的参考用户，并将该用户的参考用户从该用户的第一用户中删除；
当该用户的正样本从该用户的第一候选用户中选择时，从该用户的参考用户或者该用户的第二候选用户中选择该用户的负样本；
当该用户的正样本从该用户的参考用户中选择时，从该用户的第二候选用户中选择该用户的负样本。
4.如权利要求1所述的方法，其特征在于，根据所述各用户的言论文本、所述各业务、所述第一训练样本组和所述第二训练样本组，训练待训练的特征提取模型，具体包括：
将所述第一训练样本组中用户的言论文本、用户的正样本的言论文本以及用户的负样本的言论文本分别输入待训练的特征提取模型，得到所述第一训练样本组中用户的特征、用户的正样本的特征以及用户的负样本的特征；
将所述第二训练样本组中的业务，业务的正样本的言论文本和业务的负样本的言论文本分别输入所述特征提取模型，得到所述第二训练样本组中的业务的特征、业务的正样本的特征以及业务的负样本的特征；
根据所述第一训练样本包含的用户、用户的正样本和用户的负样本，确定所述第一训练样本组中用户的特征和用户的正样本的特征之间的差异，以及用户的特征和用户的负样本的特征之间的相似度，并根据所述第一训练样本组中用户的特征和用户的正样本的特征之间的差异，以及用户的特征和用户的负样本的特征之间的相似度，确定第一损失；
根据所述第二训练样本包含的业务、业务的正样本和业务的负样本，确定第二训练样本组中业务的特征和业务的正样本的特征之间的差异，以及业务的特征和业务的负样本的特征之间的相似度，并根据所述第二训练样本组中业务的特征和业务的正样本的特征之间的差异，以及业务的特征和业务的负样本的特征之间的相似度，确定第二损失；
根据所述第一损失和所述第二损失确定总损失；
以所述总损失的最小化为训练目标，训练所述特征提取模型。
5.如权利要求4所述的方法，其特征在于，将所述第一训练样本组中用户的言论文本、用户的正样本的言论文本以及用户的负样本的言论文本分别输入待训练的特征提取模型，得到所述第一训练样本组中用户的特征、用户的正样本的特征以及用户的负样本的特征，具体包括：
针对每个用户，从该用户的言论文本提取多个参考词；
根据该用户对应的各参考词，构建该用户的第一言论序列；
将所述第一训练样本组中用户的第一言论序列、用户的正样本的第一言论序列以及用户的负样本的第一言论序列分别输入待训练的特征提取模型，得到所述第一训练样本组中用户的特征、用户的正样本的特征以及用户的负样本的特征。
6.如权利要求4所述的方法，其特征在于，将所述第二训练样本组中的业务，业务的正样本的言论文本和业务的负样本的言论文本分别输入所述特征提取模型，得到所述第二训练样本组中的业务的特征、业务的正样本的特征以及业务的负样本的特征，具体包括：
针对每个用户，从该用户的言论文本提取多个参考词；
根据该用户对应的各参考词，构建该用户的第一言论序列；
针对每个业务领域，从该用户的各言论文本中筛选出属于该业务领域的言论文本，并从属于该业务领域的该用户的言论文本中，提取该用户在该业务领域的多个参考词；
根据该用户在各业务领域的参考词，构建该用户在所述各业务领域内的第二言论序列；
确定所述第二训练样本组中业务所属的目标业务领域，所述第二训练样本组中的业务、业务的正样本的第一言论序列和所述目标业务领域的第二言论序列、业务的负样本的第一言论序列和所述目标业务领域的第二言论序列分别作为输入，输入所述特征提取模型，得到所述第二训练样本组中的业务的特征、业务的正样本的特征以及业务的负样本的特征。
7.如权利要求6所述的方法，其特征在于，从该用户的各言论文本中筛选出属于该业务领域的言论文本，具体包括：
获取多个业务领域的关键词以及编码手册；其中，所述编码手册用于记录多个不同业务领域的关键词和多个不同事件之间的对应关系；
获取该用户的针对目标事件的言论文本，所述言论文本包含多个参考词；
从所述编码手册查找所述目标事件，确定该用户的言论文本所属的业务领域；
根据该用户的各言论文本分别所述的业务领域，从该用户的各言论文本中筛选出属于该业务领域的言论文本。
8.如权利要求5或6任一所述的方法，其特征在于，根据该用户对应的各参考词，构建该用户的第一言论序列，具体包括：
针对该用户对应的每个参考词，根据该参考词在该参考词所属的言论文本中的第一词频、该参考词在该用户的各言论文本中的第二词频，以及该用户的言论文本的数量，确定该用户对应的该参考词的排序指标；
根据该用户对应的各参考词的排序指标，对该用户对应的各参考词进行排序，得到该用户的第一言论序列。
9.如权利要求6所述的方法，其特征在于，根据该用户在各业务领域的参考词，构建该用户在所述各业务领域内的第二言论序列，具体包括：
针对该用户的每个参考词，根据该参考词在该参考词所属的言论文本中的第一词频、该参考词在该参考词所属的业务领域内该用户的各言论文本中的第二词频，以及该参考词所属的业务领域内该用户的言论文本的数量，确定该参考词的排序指标；
根据该用户对应的各业务领域包括的各参考词的排序指标，对该用户在所述各业务领域的各参考词进行排序，得到该用户在所述各业务领域内的第二言论序列。
10.如权利要求4所述的方法，其特征在于，所述特征提取模型包括文本编码子网；
在得到所述第二训练样本组中的业务的特征之前，所述方法还包括：
获取若干掩膜；
针对每个掩膜，将各用户的言论文本包含的各参考词和该掩膜进行组合，确定该掩膜对应的所述文本编码子网对应的训练样本及其标注，所述文本编码子网对应的训练样本为将用户的言论文本包含的参考词用所述掩膜进行遮盖后的结果，所述标注为所述用户的言论文本；
根据所述文本编码子网对应的训练样本及其标注，确定目标损失，并根据所述目标损失对所述文本编码子网的模型参数进行调整。
11.如权利要求1所述的方法，其特征在于，所述方法还包括：
响应于预测请求，获取目标业务和目标用户的言论文本；
将所述目标业务和所述目标用户的言论文本作为输入，输入训练完成的特征提取模型，得到所述特征提取模型输出的所述目标用户的特征；
将所述目标用户的特征输入训练完成的预测模型，得到所述预测模型输出的所述目标用户针对所述目标业务的指定行为。
12.一种模型训练装置，其特征在于，包括：
第一获取模块，用于获取各用户的言论文本、所述各用户发起的各业务，以及所述各用户针对各业务的指定行为；
候选用户确定模块，用于针对每个用户，根据该用户发起的业务，从所述各用户中确定与该用户共同发起业务的该用户对应的第一候选用户，并将所述各用户中除所述第一候选用户外的其余用户作为该用户对应的第二候选用户；
第一训练样本组构建模块，用于根据该用户对应的第一候选用户和该用户对应的第二候选用户，分别确定该用户的正样本和该用户的负样本，并根据该用户、该用户的正样本和该用户的负样本构建第一训练样本组；
第二训练样本组构建模块，用于针对每个业务，根据所述各用户针对各业务的指定行为，从所述各用户中确定针对该业务的指定行为是第一行为的用户作为该业务的正样本，确定针对该业务的指定行为是第二行为的用户作为该业务的负样本，并根据该业务、该业务的正样本和该业务的负样本构建第二训练样本组；
第一训练模块，用于根据所述各用户的言论文本、所述各业务、所述第一训练样本组和所述第二训练样本组，训练待训练的特征提取模型；所述特征提取模型用于从用户的言论文本中提取用户的特征；
第三训练样本确定模块，用于将所述各用户的言论文本作为第三训练样本，并以所述各用户针对所述各业务的指定行为作为所述第三训练样本的标注；
第二训练模块，用于根据训练完成的特征提取模型、所述第三训练样本和所述第三训练样本的标注，训练待训练的预测模型；所述预测模型用于基于用户的特征预测用户针对业务的指定行为。
13.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～11任一项所述的方法。
14.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～11任一项所述的方法。
CN202310362160.XA 2023-03-30 2023-03-30 一种模型训练方法、装置、设备及可读存储介质 Active CN116468096B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310362160.XA CN116468096B (zh) 2023-03-30 2023-03-30 一种模型训练方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310362160.XA CN116468096B (zh) 2023-03-30 2023-03-30 一种模型训练方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN116468096A CN116468096A (zh) 2023-07-21
CN116468096B true CN116468096B (zh) 2024-01-02

Family

ID=87172850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310362160.XA Active CN116468096B (zh) 2023-03-30 2023-03-30 一种模型训练方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN116468096B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783539A (zh) * 2019-01-07 2019-05-21 腾讯科技（深圳）有限公司 用户挖掘及其模型构建方法、装置及计算机设备
CN112307351A (zh) * 2020-11-23 2021-02-02 中国科学院计算技术研究所 用户行为的模型训练、推荐方法、装置和设备
CN112527958A (zh) * 2020-12-11 2021-03-19 平安科技（深圳）有限公司 用户行为倾向识别方法、装置、设备及存储介质
CN113901799A (zh) * 2021-12-07 2022-01-07 苏州浪潮智能科技有限公司 模型训练、文本预测方法、装置、电子设备及介质
CN115130573A (zh) * 2022-06-24 2022-09-30 腾讯科技（深圳）有限公司 数据处理方法、装置、存储介质、设备及产品
CN115292492A (zh) * 2022-08-05 2022-11-04 平安健康保险股份有限公司 意图分类模型的训练方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902798A (zh) * 2018-05-31 2019-06-18 华为技术有限公司 深度神经网络的训练方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783539A (zh) * 2019-01-07 2019-05-21 腾讯科技（深圳）有限公司 用户挖掘及其模型构建方法、装置及计算机设备
CN112307351A (zh) * 2020-11-23 2021-02-02 中国科学院计算技术研究所 用户行为的模型训练、推荐方法、装置和设备
CN112527958A (zh) * 2020-12-11 2021-03-19 平安科技（深圳）有限公司 用户行为倾向识别方法、装置、设备及存储介质
CN113901799A (zh) * 2021-12-07 2022-01-07 苏州浪潮智能科技有限公司 模型训练、文本预测方法、装置、电子设备及介质
CN115130573A (zh) * 2022-06-24 2022-09-30 腾讯科技（深圳）有限公司 数据处理方法、装置、存储介质、设备及产品
CN115292492A (zh) * 2022-08-05 2022-11-04 平安健康保险股份有限公司 意图分类模型的训练方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
在线评论研究综述:基于细粒度情感分析视角;贾守帆;张博;彭世豪;;电子商务(11);全文 *
基于产品特征树和LSTM模型的产品评论情感分析;颜端武;杨雄飞;李铁军;;情报理论与实践(12);全文 *

Also Published As

Publication number Publication date
CN116468096A (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
WO2019192261A1 (zh) 一种支付方式推荐方法、装置及设备
CN107679686B (zh) 一种业务执行方法及装置
US11392645B2 (en) Computerized domain expert
US10997612B2 (en) Estimation model for estimating an attribute of an unknown customer
CN112799747A (zh) 智能助理评价、推荐方法、系统、终端及可读存储介质
CN108596410B (zh) 一种风控事件自动处理方法及装置
EP1866851A2 (en) Constrained tree structure method and system
CN109508879B (zh) 一种风险的识别方法、装置及设备
CN109213802B (zh) 用户画像构建方法、装置、终端和计算机可读存储介质
EP3867830A1 (en) Adapting prediction models
CN110955766A (zh) 一种自动扩充智能客服标准问题对的方法和系统
TW201923629A (zh) 資料處理方法及裝置
CN114218488A (zh) 基于多模态特征融合的信息推荐方法、装置及处理器
CN115203311A (zh) 一种基于数据大脑的行业数据分析挖掘方法及系统
CN113887206B (zh) 一种模型训练及关键词提取方法及装置
CN116975615A (zh) 基于视频多模态信息的任务预测方法和装置
CN110263817B (zh) 一种基于用户账号的风险等级划分方法及装置
CN116029556B (zh) 一种业务风险的评估方法、装置、设备及可读存储介质
CN117313141A (zh) 一种异常检测方法、装置、设备及可读存储介质
CN116468096B (zh) 一种模型训练方法、装置、设备及可读存储介质
CN116757278A (zh) 一种预测模型的训练方法、装置、存储介质及电子设备
CN116843376A (zh) 一种营销效果预判方法、装置、存储介质及设备
CN116308620A (zh) 一种模型训练和信息推荐的方法、装置、存储介质及设备
CN117523218A (zh) 标签生成、图像分类模型的训练、图像分类方法及装置
CN113377960A (zh) 用于平台商品评论的分析方法、处理器及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant