CN117113088A - 模型生成方法、表征生成方法、装置以及电子设备 - Google Patents

模型生成方法、表征生成方法、装置以及电子设备 Download PDF

Info

Publication number
CN117113088A
CN117113088A CN202311270287.5A CN202311270287A CN117113088A CN 117113088 A CN117113088 A CN 117113088A CN 202311270287 A CN202311270287 A CN 202311270287A CN 117113088 A CN117113088 A CN 117113088A
Authority
CN
China
Prior art keywords
user
interest
model
extraction module
characterization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311270287.5A
Other languages
English (en)
Inventor
陈恩红
宋超
张裕人
林鹏
袁裕清
叶志豪
刘淇
张凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
University of Science and Technology of China USTC
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC, Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical University of Science and Technology of China USTC
Priority to CN202311270287.5A priority Critical patent/CN117113088A/zh
Publication of CN117113088A publication Critical patent/CN117113088A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种模型生成方法、表征生成方法、装置以及电子设备。方法包括：通过第一训练数据对待训练模型中的长期兴趣提取模块进行训练，通过第二训练数据对所述待训练模型中的短期兴趣提取模块进行训练，基于训练完成的长期兴趣提取模块、训练完成的短期兴趣提取模块以及兴趣聚合模块，得到初始表征模型，所述兴趣聚合模块用于对所述长期兴趣提取模块和所述短期兴趣提取模块各自输出的用户兴趣表征进行聚合，基于业务场景对所述初始表征模型进行调整，以得到目标表征模型。从而通过上述方式使得所得到的目标表征模型更加适配该业务场景，进而便于目标表征模型在应用过程中更加准确的确定的用户表征。

Description

模型生成方法、表征生成方法、装置以及电子设备
技术领域
本申请涉及计算机技术领域，更具体地，涉及一种模型生成方法、表征生成方法、装置以及电子设备。
背景技术
随着互联网的发展，累积了海量的用户行为数据，例如，商品购买、广告点击、APP使用等行为数据，这些行为数据往往包含了用户潜在的兴趣，有助于个性化的商品推荐、广告推送等业务。但是，在相关方式中，基于用户的行为数据所确定的用户表征还不够准确。
发明内容
鉴于上述问题，本申请提出了一种模型生成方法、表征生成方法、装置以及电子设备，以改善上述问题。
第一方面，本申请提供了一种模型生成方法，所述方法包括：通过第一训练数据对待训练模型中的长期兴趣提取模块进行训练，所述第一训练数据为表征用户的长期兴趣的行为数据；通过第二训练数据对所述待训练模型中的短期兴趣提取模块进行训练，所述第二训练数据为表征用户的短期兴趣的行为数据；基于训练完成的长期兴趣提取模块、训练完成的短期兴趣提取模块以及兴趣聚合模块，得到初始表征模型，所述兴趣聚合模块用于对所述长期兴趣提取模块和所述短期兴趣提取模块各自输出的用户兴趣表征进行聚合；基于业务场景对所述初始表征模型进行调整，以得到目标表征模型。
第二方面，本申请提供了一种模型生成方法，所述方法包括：获取初始表征模型，所述初始表征模型为基于前述方法得到；基于业务场景对所述初始表征模型进行调整，以得到目标表征模型。
第三方面，本申请提供了一种表征生成方法，所述方法包括：获取目标用户；将所述目标用户的第一行为数据输入到长期兴趣提取模块，得到所述长期兴趣提取模块输出的第一用户兴趣表征；将所述目标用户的第二行为数据输入到短期兴趣提取模块，得到所述短期兴趣提取模块输出的第二用户兴趣表征；基于聚合权重对所述第一用户兴趣表征和所述第二用户兴趣表征聚合，以得到目标兴趣表征，所述聚合权重为基于用户表征所应用业务的业务场景所确定。
第四方面，本申请提供了一种模型生成装置，所述装置包括：第一训练单元，用于通过第一训练数据对待训练模型中的长期兴趣提取模块进行训练，所述第一训练数据为表征用户的长期兴趣的行为数据；第二训练单元，用于通过第二训练数据对所述待训练模型中的短期兴趣提取模块进行训练，所述第二训练数据为表征用户的短期兴趣的行为数据；模型生成单元，用于基于训练完成的长期兴趣提取模块、训练完成的短期兴趣提取模块以及兴趣聚合模块，得到初始表征模型，所述兴趣聚合模块用于对所述长期兴趣提取模块和所述短期兴趣提取模块各自输出的用户兴趣表征进行聚合；模型调整单元，用于基于业务场景对所述初始表征模型进行调整，以得到目标表征模型。
第五方面，本申请提供了一种模型生成装置，所述装置包括：初始模型获取单元，用于获取初始表征模型，所述初始表征模型为基于前述的方法得到；模型调整单元，用于基于业务场景对所述初始表征模型进行调整，以得到目标表征模型。
第六方面，本申请提供了一种表征生成装置，所述装置包括：用户获取单元，用于获取目标用户；第一表征获取单元，用于将所述目标用户的第一行为数据输入到长期兴趣提取模块，得到所述长期兴趣提取模块输出的第一用户兴趣表征；第二表征获取单元，用于将所述目标用户的第二行为数据输入到短期兴趣提取模块，得到所述短期兴趣提取模块输出的第二用户兴趣表征；表征生成单元，用于基于聚合权重对所述第一用户兴趣表征和所述第二用户兴趣表征聚合，以得到目标兴趣表征，所述聚合权重为基于用户表征所应用业务的业务场景所确定。
第七方面，本申请提供了一种电子设备，所述电子设备至少包括处理器、以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述处理器执行以实现上述方法。
第八方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行上述方法。
本申请提供的一种模型生成方法、表征生成方法、装置以及电子设备，在训练过程中可以通过第一训练数据对待训练模型中的长期兴趣提取模块进行训练，以及通过第二训练数据对所述待训练模型中的短期兴趣提取模块进行训练，基于训练完成的长期兴趣提取模块、训练完成的短期兴趣提取模块以及兴趣聚合模块，得到初始表征模型，再基于业务场景对初始表征模型进行调整，以得到目标表征模型。从而通过上述方式使得，在通过第一训练数据对长期兴趣提取模块进行训练，以及通过第二训练数据对短期兴趣提取模块进行训练，以得到初始表征模型后，可以再结合用户表征模型所要应用到的业务场景来对初始表征模型进行调整，使得所得到的目标表征模型更加适配该业务场景，进而便于目标表征模型在应用过程中更加准确的确定的用户表征。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提出的模型生成方法、表征生成方法的一种应用场景的示意图；
图2示出了本申请实施例提出的模型生成方法、表征生成方法的另一种应用场景的示意图；
图3示出了本申请实施例提出的一种模型生成方法的流程图；
图4示出了本申请实施中根据行为数据得到行为序列的示意图；
图5示出了本申请另一实施例提出的一种模型生成方法的流程图；
图6示出了本申请又一实施例提出的一种模型生成方法的流程图；
图7示出了本申请实施中通过业务场景对初始表征模型进行调整的示意图；
图8示出了本申请一实施例提出的一种表征生成方法的流程图；
图9示出了本申请实施例提出的一种模型生成装置的结构框图；
图10示出了本申请实施例提出的另一种模型生成装置的结构框图；
图11示出了本申请实施例提出的一种表征生成装置的结构框图；
图12示出了本申请的用于执行根据本申请实施例的模型生成方法、表征生成方法的另一种电子设备的结构框图；
图13是本申请实施例的用于保存或者携带实现根据本申请实施例的模型生成方法、表征生成方法的程序代码的存储单元。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
用户表征是指使用数据或模型来代表或描绘用户的方式。在数据科学和机器学习中，用户表征通常涉及到使用模型来学习和理解用户的行为、需求和偏好。这些用户表征可以基于用户的历史数据、当前行为以及与系统的交互等方面。随着互联网的发展，累积了海量的用户行为数据，例如，商品购买、广告点击、APP使用等行为数据，这些行为数据往往包含了用户潜在的兴趣，有助于个性化的商品推荐、广告推送等业务。
但是，发明人在研究中发现，在相关方式中基于用户的行为数据所确定的用户表征还不够准确。
因此，发明人在研究中发现上述问题后，提出了本申请中可以改善上述问题的模型生成方法、表征生成方法、装置以及电子设备，在训练过程中可以通过第一训练数据对待训练模型中的长期兴趣提取模块进行训练，以及通过第二训练数据对待训练模型中的短期兴趣提取模块进行训练，基于训练完成的长期兴趣提取模块、训练完成的短期兴趣提取模块以及兴趣聚合模块，得到初始表征模型，再基于业务场景对初始表征模型进行调整，以得到目标表征模型。从而通过上述方式使得，在通过第一训练数据对长期兴趣提取模块进行训练，以及通过第二训练数据对短期兴趣提取模块进行训练，以得到初始表征模型后，可以再结合用户表征模型所要应用到的业务场景来对初始表征模型进行调整，使得所得到的目标表征模型更加适配该业务场景，进而便于目标表征模型在应用过程中更加准确的确定的用户表征。
在对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及一种应用环境进行介绍。
下面先对本申请实施例所涉及的应用场景进行介绍。
在本申请实施例中，所提供的模型生成方法或者表征生成方法可以由电子设备执行。在由电子设备执行的这种方式中，本申请实施例提供的模型生成方法或者表征生成方法中所有步骤可以均由电子设备执行。例如，如图1所示，本申请实施例提供的模型生成方法或者表征生成方法中所有步骤可以均由电子设备执行的情况下，所有步骤均可以通过电子设备100处理器执行。
再者，本申请实施例提供的模型生成方法或者表征生成方法也可以由服务器进行执行。对应的，在由服务器执行的这种方式中，服务器可以响应于触发指令而开始执行本申请实施例提供的模型生成方法或者表征生成方法中的步骤。其中，该触发指令可以由用户使用的电子设备所发送，也可以由服务器响应于一些自动化事件而在本地触发。
另外，示例性的，如图2所示，本申请实施例提供的模型生成方法或者表征生成方法还可以由电子设备和服务器协同执行。在由电子设备和服务器协同执行的这种方式中，本申请实施例提供的模型生成方法或者表征生成方法中的部分步骤由电子设备执行，而另外部分的步骤则由服务器来执行。需要说明的是，在由电子设备和服务器协同执行的这种方式中，电子设备和服务器分别执行的步骤不做具体的限定，在实际应用中，可以根据实际情况动态的调整电子设备和服务器分别执行的步骤。
需要说明的是，其中的电子设备100除了为图1和图2中所示的智能手机外，还可以为平板电脑、计算机、智能语音助手等设备。服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统。其中，在本申请实施例提供的模型生成方法或者表征生成方法由多个物理服务器构成的服务器集群或者分布式系统执行的情况下，模型生成方法或者表征生成方法中的不同步骤可以分别由不同的物理服务器执行，或者可以由基于分布式系统构建的服务器基于分布式的方式执行。
下面先对本申请实施例中涉及的专业术语进行下说明。
表征学习：表征学习是一种将原始数据转换成为更容易被机器学习应用的数据的方法，其目的是将复杂的原始数据提炼为简化的数据表征，使后续的任务事半功倍。
用户表征学习：用户表征学习是表征学习方法的一种，它旨在从用户历史行为记录中提取隐含的用户兴趣，并将其编码为稠密的数值向量，以便在推荐系统等下游任务中使用。
预训练：预训练是一种机器学习方法，它可以利用海量的无标签数据对模型参数进行初步训练，再使用特定任务的少量标注数据进一步训练模型，从而提高数据的利用效率。
下面将结合附图具体描述本申请的各实施例。
请参阅图3，本申请实施例提供的一种表征生成方法，所述方法包括：
S110：通过第一训练数据对待训练模型中的长期兴趣提取模块进行训练，第一训练数据为表征用户的长期兴趣的行为数据。
在本申请实施例中，所训练得到的网络模型(例如，初始表征模型或者目标表征模型)可以包括有长期兴趣提取模块、短期兴趣提取模块以及兴趣聚合模块。对应的，对于待训练模型也可以同样包括有长期兴趣提取模块、短期兴趣提取模块以及兴趣聚合模块。
其中，长期兴趣提取模块可以理解为用于提取用户的长期兴趣，进而输出用户的长期兴趣表征的模块。其中，在本申请实施例中，长期兴趣可以理解为用户长期稳定的兴趣。例如，用户在很多年的时间内所一直保持有的兴趣，可以理解为一种长期兴趣，或者用户从使用电子设备开始就所有的兴趣，也可以理解为一种长期兴趣。短期兴趣提取模块可以理解为用于提取用户的短期兴趣或者近期兴趣，进而输出用户的短期兴趣表征的模块。在本申请实施例中，短期兴趣则指的是用户在短期内表现出的兴趣。例如，用户在最近一周，一个月内所表现出的兴趣，可以理解为一种短期兴趣。
在本申请实施例中，在训练长期兴趣提取模块时，可以对应采用可以体现用户长期兴趣的用户行为数据作为第一训练数据，进而基于该第一训练数据来对长期兴趣模块进行训练。其中，可以体现用户长期兴趣的用户行为数据也可以理解为低频行为数据。低频行为数据是指某些特定的用户行为或者事件很少或者不经常发生。可选的，可以体现用户长期兴趣的用户行为数据可以包括应用程序的安装行为、应用程序的卸载行为以及商品购买行为等。对应的，可以体现用户短期兴趣的用户行为数据也可以理解为高频行为数据。可选的，高频行为数据可以包括应用程序的启动，或者应用程序的点击。其中，应用程序的点击可以包括在应用程序的界面中具体所点击的内容。其中，所点击的内容可以包括图片、文本等。
作为一种方式，长期兴趣提取模块可以包括编码器和解码器。其中，该编码器可以为Transformer模型编码器，解码器可以为Transformer模型解码器。其中，Transformer编码器可以是由多个相同的层叠加而成的，每个层有两个子层。其中，第一个子层是自注意力机制，用于理解输入序列中的语言顺序，第二个子层是前馈神经网络，用于进行计算。
在获取到第一训练数据后，可以根据第一训练数据的产生时间对第一训练数据进行排序，进而得到第一行为序列。示例性的，如图4所示，第一训练数据可以包括有用户行为数据C1、用户行为数据C2、用户行为数据C3、用户行为数据C4以及用户行为数据C5。根据该多个用户行为数据的产生时间进行排序后，可以得到图4中的第一行为序列。
其中，可以通过编码器对第一行为序列进行编码，以得到行为表征。通过解码器对行为表征进行解码，以得到重建的行为序列。基于重建的行为序列以及第一损失函数对编码器以及解码器进行训练，以得到训练完成的长期兴趣提取模块。
可选的，在本申请实施例中，第一损失函数的公式可以如下所示：
其中，Sn表征输入的第一行为序列，an和分别表示模型基于兴趣表征预测的序列S中的行为和真实序列Sn中的目标行为。
S120：通过第二训练数据对待训练模型中的短期兴趣提取模块进行训练，第二训练数据为表征用户的短期兴趣的行为数据。
作为一种方式，可以通过第二行为序列以及基于KL(Kullback-Leiblerdivergence)散度的行为数据分布预测方式，对待训练模型中的短期兴趣提取模块进行训练，第二行为序列为基于第二训练数据得到。其中，基于第二训练数据得到第二行为序列的方式，与基于第一训练数据得到第一行为序列的方式可以相同。
需要说明的是，在本申请实施例中，采用基于KL散度的行为数据分布预测方式的原因在于高频的行为数据(第二训练数据)中往往包含较多的重复数据，会影响序列重建任务的学习效果。因此，为了避免该影响则采用了基于KL散度的行为数据分布预测方式。可选的，在对短期兴趣模块进行训练的过程中，同样可以采用Transformer编码器模块对输入的行为序列(例如，基于第二训练数据所生产的行为序列)进行编码。
可选的，可以假定用户的行为序列S中,真实行为数据分布为p*,模块预测的行为数据分布为p，ai为真实行为数据中的一个行为，ea,i为此行为编码后的表征，es为行为表征序列经过均值池化后获取的序列表征，fω(·)为全连接层，count(·)表示计数，则在对短期兴趣模块进行训练的过程中，模型预测序列中的行为分布的损失函数的公式可以为：
Ls＝DKL(p||p*)∝-∑p*(ai)logp(ea,i)
对应的真实分布与模型预测分布为：
其中，es为行为表征序列经过均值池化后获取的序列表征(短期兴趣表征)。
需要说明的是，在对长期兴趣提取模块和短期兴趣提取模块进行训练的过程中，所输入的第一训练数据和第二训练数据可以包括从大量用户处收集的用户行为数据。该大量的用户在本申请实施例中不做具体的限定，例如，可以为一百位为用户，也可以为一千位用户，还可为一万位用户，甚至更多用户。
S130：基于训练完成的长期兴趣提取模块、训练完成的短期兴趣提取模块以及兴趣聚合模块，得到初始表征模型，兴趣聚合模块用于对长期兴趣提取模块和短期兴趣提取模块各自输出的用户兴趣表征进行聚合。
在完成对长期兴趣提取模块和短期兴趣提取模块的训练后，则可以基于训练完成的长期兴趣提取模块、训练完成的短期兴趣提取模块以及兴趣聚合模块，得到初始表征模型。
S140：基于业务场景对初始表征模型进行调整，以得到目标表征模型。
需要说明的是，在本申请实施例中，初始表征模型可以理解为通过预训练的方式所得到的用户表征模型。并且，初始表征模型也还未结合具体业务场景进行调整。需要说明的是，对于训练得到的用户表征模型(例如，目标表征模型)可以是应用到具体的业务场景中，以用于得到用户的表征。那么为了使得用户表征模型在业务场景中有更好的性能表现，则可以进一步的结合业务场景对初始表征模型进行调整，以得到该目标表征模型。
在本申请实施例中，业务场景可以理解为给用户提供服务的场景。例如，业务场景可以包括有短视频播放场景、资讯浏览场景以及音乐播放场景等。在短视频播放场景中，可以根据用户的兴趣为用户推荐相关的短视频。在资讯浏览场景，可以根据用户的兴趣为用户推荐相关的资讯。在音乐播放场景，可以根据用户的兴趣为用户推荐相关的音乐。
在基于业务场景对初始表征模型进行调整的过程中，可以是对初始表征模型中的至少部分参数进行调整。可选的，可以是对初始表征模型中至少一个模块中所包括的至少部分参数进行调整。
作为一种方式，可以基于业务场景对初始表征模型的长期兴趣提取模块或者短期兴趣提取模块进行调整，以得到目标表征模型。在基于业务场景对长期兴趣提取模块或者短期兴趣提取模块进行调整的情况下，可以使得长期兴趣提取模块或者短期兴趣提取模块所输出的用户表征更加贴合该业务场景。
作为另一种方式，可以基于业务场景对初始表征模型的兴趣聚合模块进行调整，以得到目标表征模型。需要说明的是，兴趣聚合模块的作用是对长期兴趣提取模块和短期兴趣提取模块各自所输出的用户表征进行聚合，以得到融合有用户长短期兴趣的用户表征。可选的，兴趣聚合模块在对长期兴趣提取模块和短期兴趣提取模块各自所输出的用户表征进行聚合的时候，可以基于聚合权重进行用户表征的聚合。
可选的，可以将长期兴趣提取模块所输出的用户表征，作为第一用户表征，以及将短期兴趣提取模块所输出的用户表征，作为第二用户表征。在这种情况下，可以将聚合权重与第一用户兴趣表征相乘，以得到第一待聚合兴趣表征，将指定值(例如，指定值可以为1)与聚合权重的差值与第二用户兴趣表征相乘，以得到第二待聚合兴趣表征，将第一待聚合兴趣表征与第二待聚合兴趣表征聚合，得到目标兴趣表征。在这种情况下，对于不同的聚合权重，长期兴趣提取模块和短期兴趣提取模块各自所输出的用户表征，在聚合得到的用户表征(目标兴趣表征)中的占比会有所不同。示例性的，计算得到目标兴趣表征的公式可以如下：
eu＝α·el+(1-α)·es
其中，el为第一用户表征，es为第二用户表征，eu为目标兴趣表征，α则为聚合权重。
因此，在结合业务场景对兴趣聚合模块进行调整的过程中，可以对兴趣聚合模块中的聚合权重进行调节，从而使得第一用户表征和第二用户表征在目标兴趣表征中的占比与当前的业务场景所适配。例如，基于前述聚合时所采用的公式，在一些业务场景中，更依赖用户的长期兴趣为用户推荐相关的内容，则可以将聚合权重调节得相对更大，而在另外一些业务场景中，更依赖用户的短期兴趣为用户推荐相关的内容，则可以将聚合权重配置得相对更小。
本实施例提供的一种模型生成方法，在训练过程中可以通过第一训练数据对待训练模型中的长期兴趣提取模块进行训练，以及通过第二训练数据对待训练模型中的短期兴趣提取模块进行训练，基于训练完成的长期兴趣提取模块、训练完成的短期兴趣提取模块以及兴趣聚合模块，得到初始表征模型，再基于业务场景对初始表征模型进行调整，以得到目标表征模型。从而通过上述方式使得，在通过第一训练数据对长期兴趣提取模块进行训练，以及通过第二训练数据对短期兴趣提取模块进行训练，以得到初始表征模型后，可以再结合用户表征模型所要应用到的业务场景来对初始表征模型进行调整，使得所得到的目标表征模型更加适配该业务场景，进而便于目标表征模型在应用过程中更加准确的确定的用户表征。
请参阅图5，本申请实施例提供的一种表征生成方法，方法包括：
S210：通过第一训练数据对待训练模型中的长期兴趣提取模块进行训练，第一训练数据为表征用户的长期兴趣的行为数据。
S220：通过第二训练数据对待训练模型中的短期兴趣提取模块进行训练，第二训练数据为表征用户的短期兴趣的行为数据。
S230：基于长期兴趣提取模块和短期兴趣提取模块在训练过程中输出的用户兴趣表征，对待训练的兴趣聚合模块进行对比学习，以得到训练完成的兴趣聚合模块，其中，在对比学习过程中正样本和负样本各自所包括用户不同。
在本实施例中，虽然长期兴趣与短期兴趣会有所不同，但都是属于同一个一个用户的兴趣，因此，同一个的用户的长期兴趣和短期兴趣之间会存在一定的关联性。其中，通过本实施例中的对比学习则可以增强长期兴趣和短期兴趣之间的关联性，进而使得最终聚合得到的目标兴趣表征更加符合用户的真实兴趣。可选的，则对比学习损失函数可形式化为：
其中，Dω(p,q)＝exp(pT·W·q)为建模行为表征之间相似性的鉴别器，S*为负样本集合，e*为负样本中用户对应的用户表征。el为第一用户表征，es为第二用户表征。
作为一种方式，在对待训练模型进行训练的过程中，可以同步的对长期兴趣提取模块、短期兴趣提取模块以及兴趣集合模块进行训练。进而总体的损失函数可以为：
LOSS＝Lre+Ls+Lc
S240：基于训练完成的长期兴趣提取模块、短期兴趣提取模块以及训练完成的兴趣聚合模块，得到初始表征模型，兴趣聚合模块用于对长期兴趣提取模块和短期兴趣提取模块各自输出的用户兴趣表征进行聚合。
S250：基于业务场景对初始表征模型进行调整，以得到目标表征模型。
本实施例提供的一种模型生成方法，从而通过上述方式使得，在通过第一训练数据对长期兴趣提取模块进行训练，以及通过第二训练数据对短期兴趣提取模块进行训练，以得到初始表征模型后，可以再结合用户表征模型所要应用到的业务场景来对初始表征模型进行调整，使得所得到的目标表征模型更加适配该业务场景，进而便于目标表征模型在应用过程中更加准确的确定的用户表征。并且，在本实施例中在得到初始表征模型后，还可以基于长期兴趣提取模块和短期兴趣提取模块在训练过程中输出的用户兴趣表征，对兴趣聚合模块进行对比学习，从而使得增强用户长短期兴趣表征之间的联系，以便可以更充分的表征一个用户的兴趣偏好。
请参阅图6，本申请实施例提供的一种表征生成方法，方法包括：
S310：通过第一训练数据对待训练模型中的长期兴趣提取模块进行训练，第一训练数据为表征用户的长期兴趣的行为数据。
S320：通过第二训练数据对待训练模型中的短期兴趣提取模块进行训练，第二训练数据为表征用户的短期兴趣的行为数据。
S330：基于训练完成的长期兴趣提取模块、训练完成的短期兴趣提取模块以及兴趣聚合模块，得到初始表征模型，兴趣聚合模块用于对长期兴趣提取模块和短期兴趣提取模块各自输出的用户兴趣表征进行聚合。
S340：获取业务场景对应的业务模型。
需要说明的是，对于一些业务场景而言可能会具有自己的业务模型，而对于一些业务场景而言，则不会有自己的业务模型。
其中，在业务场景不具有自己的业务模型的情况下，则可以直接基于业务场景的名称来对初始表征模型进行调整。可选的，可以建立有业务场景与聚合权重的对应关系。示例性的，该对应关系可以包括有业务场景B1对应聚合权重w1，业务场景B2对应聚合权重w2，业务场景B3对应聚合权重w3以及业务场景B4对应聚合权重w4。在这种情况下，若用户表征模型当前所要应用到的业务场景为业务场景B3，则会采用聚合权重w3来对长期兴趣提取模块和短期兴趣提取模块所输出的用户表征进行聚合。
那么，在业务场景具有业务模型的情况下，则可以先获取到业务场景对应的业务模型。其中，业务模型可以理解为执行业务逻辑决策的模型。例如，在音乐播放场景中，音乐播放场景的业务模型则可以具体用于确定为用户所推荐的音乐。
S350：通过业务模型对第三训练数据进行编码，以得到第一参考用户兴趣表征，第三训练数据包括业务场景所对应用户的行为数据。
S360：将第一参考用户兴趣表征与第二参考用户表征进行聚合，得到第三参考用户表征，第二参考用户表征为对训练完成的长期兴趣提取模块以及短期兴趣提取模块各自输出的用户兴趣表征进行聚合得到。
S370：基于第三参考用户表征和第二损失函数，对初始表征模型进行调整，以得到目标表征模型。
作为一种方式，在对初始表征模型进行调整的过程中，可以是对初始表征模型中的所有模块均进行调整，也是对初始表征模型中的部分模块进行调整。可选的，可以是基于第三参考用户表征和第二损失函数，对初始表征模型中的兴趣聚合模块进行调整，以得到目标表征模型。例如，可以是对兴趣聚合模型中的聚合权重进行调整。示例性的，在结合业务模型对聚合权重进行调整的过程中，聚合权重可以表示为：
α＝σ(Linear(concat(el,es,econtext)))
其中，concat(·)为拼接函数，Linear(·)为线性层，econtext为业务场景的表征。
作为一种方式，基于第三参考用户表征和第二损失函数，对业务模型进行训练，以得到目标业务模型。
其中，如图7所示，在得到初始表征模型M后，可以结合下游模型对表征模型M进行微调。在业务场景具有业务模型N的情况下，该任务的场景可以表征为econtext，某用户的行为数据经过模型N的编码层得到表征eN，再经由模型结构和损失函数LN进行训练。结合预训练的表征模型M后，该用户的表征将与表征模型M生成的通用表征进行拼接，变为eN*＝concat(eu,eN)，再继续参与业务模型N的后续训练流程。模型M中可训练的部分参数(例如，聚合权重)将通过损失函数LN与模型N一并进行优化，从而保证在不同的下游场景中对用户长短期兴趣的有效融合。在下游任务中应用，完成微调后，表征模型M的参数将完全固定，并离线生成下游任务所涉及用户的通用表征，存入数据库中备用。在下游任务中，这些表征能够被视作富含用户兴趣信息的额外特征，加入到模型的线上推理过程中。
在本申请实施例中，在结合业务场景对初始表征模型进行调整的过程中，可以有多种方式来确定具体所调节的模块的数量。
作为一种方式，可以结合训练耗时需求来确定初始表征模型中具体所调节的模块的数量。需要说明的是，在一些情况下，可能提供给模型训练的耗时是比较充裕的，但是，在另外一些情况下，可能提供给模型训练的耗时则相对比较紧张。并且，可以明确的是，若初始表征模型中需要进行调节的模块越多，那么所消耗的时长也就会越长。可选的，可以建立有训练耗时需求与待调节模块数量的对应关系。进而，在确定当前的训练耗时需求时，可以再结合该对应关系来得到待调节模块的数量。示例性的，如下表所示：
ID 最大训练耗时 模块数量
1 T1 1
2 T2 2
3 T3 3
如上表所示，在上表中有最大训练耗时和模块数量这两个字段。其中，最大训练耗时则表征了进行模型训练所允许的最大耗时。模块数量则表征对应的最多可以进行调节的模块的数量。基于上表，若本次训练的最大训练耗时不超过T1，那么则在基于业务场景对初始表征模型进行调节的过程中，最多只调节初始表征模型中的1个模块。例如，可以只调节初始表征模型中的模型聚合模块。若本次训练的最大训练耗时不超过T2，那么则在基于业务场景对初始表征模型进行调节的过程中，最多可以调节初始表征模型中的2个模块。例如，可以调节初始表征模型中的模型聚合模块和长期兴趣提取模块，或者，可以调节初始表征模型中的模型聚合模块和短期兴趣提取模块，或者，可以调节初始表征模型中的长期兴趣提取模块和短期兴趣提取模块。若本次训练的最大训练耗时不超过T3，那么则在基于业务场景对初始表征模型进行调节的过程中，最多可以调节初始表征模型中的3个模块。
作为一种方式，可以结合可用处理资源来确定初始表征模型中具体所调节的模块的数量。其中，可用处理资源可以理解为能够提供给模型训练所使用的处理资源。该处理资源可以包括处理器资源等。需要说明的是，在一些情况下，可能提供给模型训练的处理资源是比较充裕的，但是，在另外一些情况下，可能提供给模型训练的处理资源则相对比较紧张。并且，可以明确的是，若初始表征模型中需要进行调节的模块越多，那么所消耗的处理资源也就会越多。可选的，可以建立有可用处理资源与待调节模块数量的对应关系。进而，在确定当前的可用处理资源时，可以再结合该对应关系来得到待调节模块的数量。示例性的，如下表所示：
ID 可用处理资源 模块数量
1 P1 1
2 P2 2
3 P3 3
如上表所示，在上表中有可用处理资源和模块数量这两个字段。其中，可用处理资源则表征了进行模型训练所能使用的最大处理资源。模块数量则表征对应的最多可以进行调节的模块的数量。基于上表，若本次训练的可用处理资源不超过P1，那么则在基于业务场景对初始表征模型进行调节的过程中，最多只调节初始表征模型中的1个模块。例如，可以只调节初始表征模型中的模型聚合模块。若本次训练的可用处理资源不超过P2，那么则在基于业务场景对初始表征模型进行调节的过程中，最多可以调节初始表征模型中的2个模块。例如，可以调节初始表征模型中的模型聚合模块和长期兴趣提取模块，或者，可以调节初始表征模型中的模型聚合模块和短期兴趣提取模块，或者，可以调节初始表征模型中的长期兴趣提取模块和短期兴趣提取模块。若本次训练的可用处理资源不超过P3，那么则在基于业务场景对初始表征模型进行调节的过程中，最多可以调节初始表征模型中的3个模块。
本实施例提供的一种模型生成方法，从而通过上述方式使得所得到的目标表征模型更加适配该业务场景，进而便于目标表征模型在应用过程中更加准确的确定的用户表征。并且，在本实施例中，在业务场景本身具有业务模型的情况下，不仅会结合业务场景对初始表征模型进行调整，而且，还会同步的结合初始表征模型来对业务模型进行调整，从而提升同步对用户表征模型和业务模型进行调整。
请参阅图8，本申请实施例提供的一种表征生成方法，方法包括：
S410：获取目标用户。
S420：将目标用户的第一行为数据输入到长期兴趣提取模块，得到长期兴趣提取模块输出的第一用户兴趣表征。
作为一种方式，将目标用户的第一行为数据输入到长期兴趣提取模块，得到长期兴趣提取模块输出的待处理用户兴趣表征；对待处理用户兴趣表征进行均值池化，以得到第一用户兴趣表征。
S430：将目标用户的第二行为数据输入到短期兴趣提取模块，得到短期兴趣提取模块输出的第二用户兴趣表征。
S440：基于聚合权重对第一用户兴趣表征和第二用户兴趣表征聚合，以得到目标兴趣表征，聚合权重为基于用户表征所应用业务的业务场景所确定。
作为一种方式，获取业务场景对应的业务表征；将第一用户兴趣表征、第二用户兴趣表征以及业务表征进行拼接，得到拼接后的表征；将拼接后的表征输入到目标线性函数，以得到聚合权重。
作为一种方式，将聚合权重与第一用户兴趣表征相乘，以得到第一待聚合兴趣表征；将指定值与聚合权重的差值与第二用户兴趣表征相乘，以得到第二待聚合兴趣表征；将第一待聚合兴趣表征与第二待聚合兴趣表征聚合，得到目标兴趣表征。
本申请提供的一种表征生成方法，在获取到需要确定用户表征的目标用户后，可以将目标用户的第一行为数据输入到长期兴趣提取模块，将目标用户的第二行为数据输入到短期兴趣提取模块，进而将长期兴趣提取模块输出的第一用户兴趣表征和短期兴趣提取模块输出的第二用户兴趣表征进行聚合，以得到目标兴趣表征。并且，在该聚合的过程中，还会结合基于用户表征所应用业务的业务场景来确定该聚合权重，从而使得所确定的目标兴趣表征能够更加贴合具体的业务场景，以提升所确定的目标兴趣表征的准确性。
请参阅图9，本申请实施例提供的一种模型生成装置500，装置500包括：
第一训练单元510，用于通过第一训练数据对待训练模型中的长期兴趣提取模块进行训练，第一训练数据为表征用户的长期兴趣的行为数据。
第二训练单元520，用于通过第二训练数据对待训练模型中的短期兴趣提取模块进行训练，第二训练数据为表征用户的短期兴趣的行为数据。
模型生成单元530，用于基于训练完成的长期兴趣提取模块、训练完成的短期兴趣提取模块以及兴趣聚合模块，得到初始表征模型，兴趣聚合模块用于对长期兴趣提取模块和短期兴趣提取模块各自输出的用户兴趣表征进行聚合。
模型调整单元540，用于基于业务场景对初始表征模型进行调整，以得到目标表征模型。
作为一种方式，长期兴趣提取模块包括编码器和解码器。在这种方式下，第一训练单元510，具体用于通过编码器对第一行为序列进行编码，以得到行为表征，第一行为序列为基于第一训练数据得到。通过解码器对行为表征进行解码，以得到重建的行为序列；基于重建的行为序列以及第一损失函数对编码器以及解码器进行训练，以得到训练完成的长期兴趣提取模块。
作为一种方式，第二训练单元，具体用于通过第二行为序列以及基于KL散度的行为数据分布预测方式，对待训练模型中的短期兴趣提取模块进行训练，第二行为序列为基于第二训练数据得到。
作为一种方式，第一训练单元510或者第二训练单元520，还用于基于长期兴趣提取模块和短期兴趣提取模块在训练过程中输出的用户兴趣表征，对待训练的兴趣聚合模块进行对比学习，以得到训练完成的兴趣聚合模块，其中，在对比学习过程中正样本和负样本各自所包括用户不同。在这种方式下，模型生成单元530，具体用于基于训练完成的长期兴趣提取模块、短期兴趣提取模块以及训练完成的兴趣聚合模块，得到初始表征模型。
可选的，第一训练单元510或者第二训练单元520，还具体用于基于业务场景对初始表征模型的兴趣聚合模块进行调整，以得到目标表征模型。
可选的，第一训练单元510或者第二训练单元520，还具体用于获取业务场景对应的业务模型；通过业务模型对第三训练数据进行编码，以得到第一参考用户兴趣表征，第三训练数据包括业务场景所对应用户的行为数据；将第一参考用户兴趣表征与第二参考用户表征进行聚合，得到第三参考用户表征，第二参考用户表征为对训练完成的长期兴趣提取模块以及短期兴趣提取模块各自输出的用户兴趣表征进行聚合得到；
基于第三参考用户表征和第二损失函数，对初始表征模型进行调整，以得到目标表征模型。
可选的，第一训练单元510或者第二训练单元520，还具体用于基于第三参考用户表征和第二损失函数，对业务模型进行训练，以得到目标业务模型。
请参阅图10，本申请实施例提供的一种模型生成装置600，装置600包括：
初始模型获取单元610，用于获取初始表征模型，初始表征模型为基于前述内容所提供的模型生成方法得到；
模型调整单元620，用于基于业务场景对初始表征模型进行调整，以得到目标表征模型。
请参阅图11，本申请实施例提供的一种模型生成装置700，装置700包括：
用户获取单元710，用于获取目标用户。
第一表征获取单元720，用于将目标用户的第一行为数据输入到长期兴趣提取模块，得到长期兴趣提取模块输出的第一用户兴趣表征。
作为一种方式，第一表征获取单元720，具体用于将目标用户的第一行为数据输入到长期兴趣提取模块，得到长期兴趣提取模块输出的待处理用户兴趣表征；对待处理用户兴趣表征进行均值池化，以得到第一用户兴趣表征。
第二表征获取单元730，用于将目标用户的第二行为数据输入到短期兴趣提取模块，得到短期兴趣提取模块输出的第二用户兴趣表征。
表征生成单元740，用于基于聚合权重对第一用户兴趣表征和第二用户兴趣表征聚合，以得到目标兴趣表征，聚合权重为基于用户表征所应用业务的业务场景所确定。
作为一种方式，表征生成单元740，具体用于获取业务场景对应的业务表征；将第一用户兴趣表征、第二用户兴趣表征以及业务表征进行拼接，得到拼接后的表征；将拼接后的表征输入到目标线性函数，以得到聚合权重。
作为一种方式，表征生成单元740，用于基于将聚合权重与第一用户兴趣表征相乘，以得到第一待聚合兴趣表征；将指定值与聚合权重的差值与第二用户兴趣表征相乘，以得到第二待聚合兴趣表征；将第一待聚合兴趣表征与第二待聚合兴趣表征聚合，得到目标兴趣表征。
本申请提供的一种模型生成装置、表征生成装置，使得所得到的目标表征模型更加适配该业务场景，进而便于目标表征模型在应用过程中更加准确的确定的用户表征。
需要说明的是，本申请中装置实施例与前述方法实施例是相互对应的，装置实施例中具体的原理可以参见前述方法实施例中的内容，此处不再赘述。
下面将结合图12对本申请提供的一种电子设备进行说明。
请参阅图12，基于上述模型生成方法以及表征生成方法，本申请实施例还提供的另一种可以执行前述模型生成方法以及表征生成方法的电子设备200。电子设备200包括相互耦合的一个或多个(图中仅示出一个)处理器202、存储器204以及网络模块206。其中，该存储器204中存储有可以执行前述实施例中内容的程序，而处理器202可以执行该存储器204中存储的程序。
其中，处理器202可以包括一个或者多个处理核。处理器202利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器204内的指令、程序、代码集或指令集，以及调用存储在存储器204内的数据，执行电子设备200的各种功能和处理数据。可选地，处理器202可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器202可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器202中，单独通过一块通信芯片进行实现。
存储器204可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器204可用于存储指令、程序、代码、代码集或指令集。存储器204可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备200在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
所述网络模块206用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯，例如和音频播放设备进行通讯。所述网络模块206可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。所述网络模块206可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。例如，网络模块206可以与基站进行信息交互。
作为一种方式，在电子设备200可以为服务器。作为另外一种方式，电子设备200可以为用户所使用的终端设备。其中，在电子设备200为终端设备的情况下，电子设备200还可以包括：传感器模块以及音频采集装置。
其中，传感器模块可以包括至少一种传感器。具体地，传感器模块可包括但并不限于：光传感器、运动传感器、压力传感器、红外热传感器、距离传感器、加速度传感器、以及其他传感器。
其中，压力传感器可以检测由按压在电子设备200产生的压力的传感器。即，压力传感器检测由用户和电子设备之间的接触或按压产生的压力，例如由用户的耳朵与移动终端之间的接触或按压产生的压力。因此，压力传感器可以用来确定在用户与电子设备200之间是否发生了接触或者按压，以及压力的大小。
其中，加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备200姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等。另外，电子设备200还可配置陀螺仪、气压计、湿度计、温度计等其他传感器，在此不再赘述。
音频采集装置，用于进行音频信号采集。可选的，音频采集装置包括有多个音频采集器件。该音频采集器件可以为麦克风。例如，在一种方式中，音频采集装置可以包括两个麦克风，在这种方式中，其中一个麦克风可以对应有一个模数转换器，另一个麦克风可以对应有两个不同模拟增益的模数转换器。在另一种方式中，音频采集装置可以包括有三个麦克风。在这种方式下，其中两个麦克风(例如，主麦克风和副麦克风)可以各自对应有一个模数转换器，另一个麦克风(例如，摄像头麦克风)可以对应有两个不同模拟增益的模数转换器。
请参考图13，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
综上所述，本申请提供的一种模型生成方法、表征生成方法、装置以及电子设备，在训练过程中可以通过第一训练数据对待训练模型中的长期兴趣提取模块进行训练，以及通过第二训练数据对所述待训练模型中的短期兴趣提取模块进行训练，基于训练完成的长期兴趣提取模块、训练完成的短期兴趣提取模块以及兴趣聚合模块，得到初始表征模型，再基于业务场景对初始表征模型进行调整，以得到目标表征模型。从而通过上述方式使得，在通过第一训练数据对长期兴趣提取模块进行训练，以及通过第二训练数据对短期兴趣提取模块进行训练，以得到初始表征模型后，可以再结合用户表征模型所要应用到的业务场景来对初始表征模型进行调整，使得所得到的目标表征模型更加适配该业务场景，进而便于目标表征模型在应用过程中更加准确的确定的用户表征。
在本申请实施例提供的模型训练方法以及表征生成方法中，包含用户行为数据的建模与预训练以及结合下游任务(业务场景)的微调应用两部分，实现对用户真实兴趣的有效建模和表征生成，并能够高效地在APP推荐、游戏用户召回等多个实践场景中应用。
本申请实施例提出的方法能够高效利用广泛存在的无标签的用户行为数据(例如，高频的行为数据以及低频的行为数据)，从中发掘用户潜藏的兴趣，从而惠及多个不同任务。相较于现有方案，本发明所涉及的行为数据更加多样和全面，贴近用户生活，所生成的用户表征能够提供更为丰富的信息，在下游业务模型中取得更大的性能增益。
本申请实施例仅需获取两类频率不同的用户行为数据，没有限制具体的行为数据，也不包含对训练数据集分布的要求，可以方便地扩展到多种行为数据。本发明对不同类型的数据进行了针对性建模，在预训练时综合采用了序列重建、分布预测和对比学习等技术，保证了模型的收敛效率和生成表征的质量。
本申请实施例采用了“预训练-微调”范式，能够分阶段地完成离线的大规模数据的预训练，并在小规模的下游业务数据中微调、训练和线上部署应用，避免了端到端的序列行为表征学习模型可能带来的额外线上耗时。本发明在下游应用时的计算量随着业务模型的增加是线性增加的，可方便地适用到多个下游场景。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (17)

1.一种模型生成方法，其特征在于，所述方法包括：
通过第一训练数据对待训练模型中的长期兴趣提取模块进行训练，所述第一训练数据为表征用户的长期兴趣的行为数据；
通过第二训练数据对所述待训练模型中的短期兴趣提取模块进行训练，所述第二训练数据为表征用户的短期兴趣的行为数据；
基于训练完成的长期兴趣提取模块、训练完成的短期兴趣提取模块以及兴趣聚合模块，得到初始表征模型，所述兴趣聚合模块用于对所述长期兴趣提取模块和所述短期兴趣提取模块各自输出的用户兴趣表征进行聚合；
基于业务场景对所述初始表征模型进行调整，以得到目标表征模型。
2.根据权利要求1所述的方法，其特征在于，所述长期兴趣提取模块包括编码器和解码器，所述通过第一训练数据对待训练模型中的长期兴趣提取模块进行训练，包括：
通过所述编码器对第一行为序列进行编码，以得到行为表征，所述第一行为序列为基于所述第一训练数据得到；
通过解码器对所述行为表征进行解码，以得到重建的行为序列；
基于所述重建的行为序列以及第一损失函数对所述编码器以及解码器进行训练，以得到训练完成的长期兴趣提取模块。
3.根据权利要求1所述的方法，其特征在于，所述通过第二训练数据对所述待训练模型中的短期兴趣提取模块进行训练，包括：
通过第二行为序列以及基于KL散度的行为数据分布预测方式，对所述待训练模型中的短期兴趣提取模块进行训练，所述第二行为序列为基于所述第二训练数据得到。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述长期兴趣提取模块和所述短期兴趣提取模块在训练过程中输出的用户兴趣表征，对待训练的兴趣聚合模块进行对比学习，以得到训练完成的兴趣聚合模块；
所述基于训练完成的长期兴趣提取模块、训练完成的短期兴趣提取模块以及兴趣聚合模块，得到初始表征模型，包括：
基于训练完成的长期兴趣提取模块、短期兴趣提取模块以及训练完成的兴趣聚合模块，得到初始表征模型。
5.根据权利要求1-4任一所述的方法，其特征在于，所述基于业务场景对所述初始表征模型进行调整，以得到目标表征模型，包括：
基于业务场景对所述初始表征模型的兴趣聚合模块进行调整，以得到目标表征模型。
6.根据权利要求1-4任一所述的方法，其特征在于，所述基于业务场景对所述初始表征模型进行调整，以得到目标表征模型，包括：
获取所述业务场景对应的业务模型；
通过所述业务模型对第三训练数据进行编码，以得到第一参考用户兴趣表征，所述第三训练数据包括所述业务场景所对应用户的行为数据；
将所述第一参考用户兴趣表征与第二参考用户表征进行聚合，得到第三参考用户表征，所述第二参考用户表征为对训练完成的长期兴趣提取模块以及所述短期兴趣提取模块各自输出的用户兴趣表征进行聚合得到；
基于所述第三参考用户表征和第二损失函数，对初始表征模型进行调整，以得到目标表征模型。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
基于所述第三参考用户表征和第二损失函数，对所述业务模型进行训练，以得到目标业务模型。
8.一种模型生成方法，其特征在于，所述方法包括：
获取初始表征模型，所述初始表征模型为基于权利要求1-7任一所述的方法得到；
基于业务场景对所述初始表征模型进行调整，以得到目标表征模型。
9.一种表征生成方法，其特征在于，所述方法包括：
获取目标用户；
将所述目标用户的第一行为数据输入到长期兴趣提取模块，得到所述长期兴趣提取模块输出的第一用户兴趣表征；
将所述目标用户的第二行为数据输入到短期兴趣提取模块，得到所述短期兴趣提取模块输出的第二用户兴趣表征；
基于聚合权重对所述第一用户兴趣表征和所述第二用户兴趣表征聚合，以得到目标兴趣表征，所述聚合权重为基于用户表征所应用业务的业务场景所确定。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
获取所述业务场景对应的业务表征；
将所述第一用户兴趣表征、所述第二用户兴趣表征以及所述业务表征进行拼接，得到拼接后的表征；
将所述拼接后的表征输入到目标线性函数，以得到聚合权重。
11.根据权利要求9所述的方法，其特征在于，所述将所述目标用户的第一行为数据输入到长期兴趣提取模块，得到所述长期兴趣提取模块输出的第一用户兴趣表征，包括：
将所述目标用户的第一行为数据输入到长期兴趣提取模块，得到所述长期兴趣提取模块输出的待处理用户兴趣表征；
对所述待处理用户兴趣表征进行均值池化，以得到第一用户兴趣表征。
12.根据权利要求9所述的方法，其特征在于，所述基于聚合权重对所述第一用户兴趣表征和所述第二用户兴趣表征聚合，以得到目标兴趣表征，包括：
将所述聚合权重与所述第一用户兴趣表征相乘，以得到第一待聚合兴趣表征；
将指定值与所述聚合权重的差值与所述第二用户兴趣表征相乘，以得到第二待聚合兴趣表征；
将所述第一待聚合兴趣表征与所述第二待聚合兴趣表征聚合，得到目标兴趣表征。
13.一种模型生成装置，其特征在于，所述装置包括：
第一训练单元，用于通过第一训练数据对待训练模型中的长期兴趣提取模块进行训练，所述第一训练数据为表征用户的长期兴趣的行为数据；
第二训练单元，用于通过第二训练数据对所述待训练模型中的短期兴趣提取模块进行训练，所述第二训练数据为表征用户的短期兴趣的行为数据；
模型生成单元，用于基于训练完成的长期兴趣提取模块、训练完成的短期兴趣提取模块以及兴趣聚合模块，得到初始表征模型，所述兴趣聚合模块用于对所述长期兴趣提取模块和所述短期兴趣提取模块各自输出的用户兴趣表征进行聚合；
模型调整单元，用于基于业务场景对所述初始表征模型进行调整，以得到目标表征模型。
14.一种模型生成装置，其特征在于，所述装置包括：
初始模型获取单元，用于获取初始表征模型，所述初始表征模型为基于权利要求1-7任一所述的方法得到；
模型调整单元，用于基于业务场景对所述初始表征模型进行调整，以得到目标表征模型。
15.一种表征生成装置，其特征在于，所述装置包括：
用户获取单元，用于获取目标用户；
第一表征获取单元，用于将所述目标用户的第一行为数据输入到长期兴趣提取模块，得到所述长期兴趣提取模块输出的第一用户兴趣表征；
第二表征获取单元，用于将所述目标用户的第二行为数据输入到短期兴趣提取模块，得到所述短期兴趣提取模块输出的第二用户兴趣表征；
表征生成单元，用于基于聚合权重对所述第一用户兴趣表征和所述第二用户兴趣表征聚合，以得到目标兴趣表征，所述聚合权重为基于用户表征所应用业务的业务场景所确定。
16.一种电子设备，其特征在于，包括处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述处理器执行以实现权利要求1-8任一所述的方法，或者执行以实现权利要求9-12任一所述的方法。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行权利要求1-8任一所述的方法，或者执行以实现权利要求9-12任一所述的方法。
CN202311270287.5A 2023-09-27 2023-09-27 模型生成方法、表征生成方法、装置以及电子设备 Pending CN117113088A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311270287.5A CN117113088A (zh) 2023-09-27 2023-09-27 模型生成方法、表征生成方法、装置以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311270287.5A CN117113088A (zh) 2023-09-27 2023-09-27 模型生成方法、表征生成方法、装置以及电子设备

Publications (1)

Publication Number Publication Date
CN117113088A true CN117113088A (zh) 2023-11-24

Family

ID=88811162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311270287.5A Pending CN117113088A (zh) 2023-09-27 2023-09-27 模型生成方法、表征生成方法、装置以及电子设备

Country Status (1)

Country Link
CN (1) CN117113088A (zh)

Similar Documents

Publication Publication Date Title
CN110519636B (zh) 语音信息播放方法、装置、计算机设备及存储介质
US20210142069A1 (en) Video retrieval method, and method and apparatus for generating video retrieval mapping relationship
CN112035743B (zh) 数据推荐方法、装置、计算机设备以及存储介质
JP2020174342A (ja) 映像を生成するための方法、装置、サーバ、コンピュータ可読記憶媒体およびコンピュータプログラム
CN113177538B (zh) 一种视频循环识别方法、装置、计算机设备及存储介质
CN109961032B (zh) 用于生成分类模型的方法和装置
CN113487618B (zh) 人像分割方法、装置、电子设备及存储介质
CN111754985A (zh) 一种语音识别模型的训练以及语音识别的方法和装置
CN112149699B (zh) 用于生成模型的方法、装置和用于识别图像的方法、装置
CN112037792A (zh) 一种语音识别方法、装置、电子设备及存储介质
CN114282047A (zh) 小样本动作识别模型训练方法、装置、电子设备及存储介质
CN112084959B (zh) 一种人群图像处理方法及装置
JP2023535989A (ja) ターゲットビデオを生成するための方法、装置、サーバ及び媒体
CN110276404B (zh) 模型训练方法、装置及存储介质
CN116737895A (zh) 一种数据处理方法及相关设备
CN110008926B (zh) 用于识别年龄的方法和装置
WO2022246986A1 (zh) 数据处理方法、装置、设备及计算机可读存储介质
CN111783731B (zh) 用于提取视频特征的方法和装置
CN111767953B (zh) 用于训练物品编码模型的方法和装置
CN112843681A (zh) 虚拟场景控制方法、装置、电子设备及存储介质
CN110135465B (zh) 模型参数表示空间大小估计方法及装置、推荐方法
CN113962417A (zh) 一种视频处理方法、装置、电子设备和存储介质
CN117113088A (zh) 模型生成方法、表征生成方法、装置以及电子设备
CN114333772A (zh) 语音识别方法、装置、设备、可读存储介质及产品
CN113990347A (zh) 一种信号处理方法、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination