CN117436550B - 推荐模型训练方法及装置 - Google Patents

推荐模型训练方法及装置 Download PDF

Info

Publication number
CN117436550B
CN117436550B CN202311725755.3A CN202311725755A CN117436550B CN 117436550 B CN117436550 B CN 117436550B CN 202311725755 A CN202311725755 A CN 202311725755A CN 117436550 B CN117436550 B CN 117436550B
Authority
CN
China
Prior art keywords
data
feature
network
interest
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311725755.3A
Other languages
English (en)
Other versions
CN117436550A (zh
Inventor
徐琳
董辉
孙若愚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xumi Yuntu Space Technology Co Ltd
Original Assignee
Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xumi Yuntu Space Technology Co Ltd filed Critical Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority to CN202311725755.3A priority Critical patent/CN117436550B/zh
Publication of CN117436550A publication Critical patent/CN117436550A/zh
Application granted granted Critical
Publication of CN117436550B publication Critical patent/CN117436550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种推荐模型训练方法及装置。该方法包括：将各个第一对象的数据和各个第二对象的数据输入推荐模型：利用次序特征提取网络分别处理各个第一对象的数据和各个第二对象的数据，得到各个第一对象的第一次序特征和各个第二对象的第二次序特征；利用兴趣跟踪网络处理所有的第一次序特征，得到第一总序列特征；利用兴趣增强网络处理第一总序列特征，得到第二总序列特征；利用相关性计算网络计算第二总序列特征和各个第二对象的第二次序特征之间的相关分数；基于各个第二对象对应的相关分数计算损失，依据损失优化推荐模型。采用上述技术手段，解决现有技术中，点击预测算法无法捕捉用户的兴趣变化，导致点击预测准确率低的问题。

Description

推荐模型训练方法及装置
技术领域
本公开涉及点击预测技术领域，尤其涉及一种推荐模型训练方法及装置。
背景技术
目前常用的点击预测算法是通过计算用户信息和用户历史点击信息与待推荐对象信息之间的特征距离，判断是否将对象推荐给用户。该算法无法捕捉用户的兴趣变化。实际上用户的兴趣总是在变化，现有点击预测算法因为无法从现有数据中捕捉到用户兴趣变化，导致现有点击预测算法准确率低。
发明内容
有鉴于此，本公开实施例提供了一种推荐模型训练方法、装置、电子设备及计算机可读存储介质，以解决现有技术中，点击预测算法无法捕捉用户的兴趣变化，导致点击预测准确率低的问题。
本公开实施例的第一方面，提供了一种推荐模型训练方法，包括：构建次序特征提取网络、兴趣跟踪网络、兴趣增强网络和相关性计算网络，利用次序特征提取网络、兴趣跟踪网络、兴趣增强网络和相关性计算网络构建推荐模型；获取第一数据集和第二数据集，其中，第一数据集是用户点击过的多个第一对象的数据，第二数据集是用户点击或者浏览过的多个第二对象的数据；将各个第一对象的数据和各个第二对象的数据输入推荐模型：利用次序特征提取网络分别处理各个第一对象的数据和各个第二对象的数据，得到各个第一对象的第一次序特征和各个第二对象的第二次序特征；利用兴趣跟踪网络处理所有的第一次序特征，得到能表示用户点击多个第一对象的兴趣的第一总序列特征；利用兴趣增强网络处理第一总序列特征，得到能表示用户点击多个第一对象的兴趣变化趋势的第二总序列特征；利用相关性计算网络计算第二总序列特征和各个第二对象的第二次序特征之间的相关分数；基于各个第二对象对应的相关分数计算损失，依据损失优化推荐模型。
本公开实施例的第二方面，提供了一种推荐模型训练装置，包括：构建模块，被配置为构建次序特征提取网络、兴趣跟踪网络、兴趣增强网络和相关性计算网络，利用次序特征提取网络、兴趣跟踪网络、兴趣增强网络和相关性计算网络构建推荐模型；获取模块，被配置为获取第一数据集和第二数据集，其中，第一数据集是用户点击过的多个第一对象的数据，第二数据集是用户点击或者浏览过的多个第二对象的数据；提取模块，被配置为将各个第一对象的数据和各个第二对象的数据输入推荐模型：利用次序特征提取网络分别处理各个第一对象的数据和各个第二对象的数据，得到各个第一对象的第一次序特征和各个第二对象的第二次序特征；第一处理模块，被配置为利用兴趣跟踪网络处理所有的第一次序特征，得到能表示用户点击多个第一对象的兴趣的第一总序列特征；第二处理模块，被配置为利用兴趣增强网络处理第一总序列特征，得到能表示用户点击多个第一对象的兴趣变化趋势的第二总序列特征；计算模块，被配置为利用相关性计算网络计算第二总序列特征和各个第二对象的第二次序特征之间的相关分数；优化模块，被配置为基于各个第二对象对应的相关分数计算损失，依据损失优化推荐模型。
本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：因为本公开实施例通过构建次序特征提取网络、兴趣跟踪网络、兴趣增强网络和相关性计算网络，利用次序特征提取网络、兴趣跟踪网络、兴趣增强网络和相关性计算网络构建推荐模型；获取第一数据集和第二数据集，其中，第一数据集是用户点击过的多个第一对象的数据，第二数据集是用户点击或者浏览过的多个第二对象的数据；将各个第一对象的数据和各个第二对象的数据输入推荐模型：利用次序特征提取网络分别处理各个第一对象的数据和各个第二对象的数据，得到各个第一对象的第一次序特征和各个第二对象的第二次序特征；利用兴趣跟踪网络处理所有的第一次序特征，得到能表示用户点击多个第一对象的兴趣的第一总序列特征；利用兴趣增强网络处理第一总序列特征，得到能表示用户点击多个第一对象的兴趣变化趋势的第二总序列特征；利用相关性计算网络计算第二总序列特征和各个第二对象的第二次序特征之间的相关分数；基于各个第二对象对应的相关分数计算损失，依据损失优化推荐模型。采用上述技术手段，可以解决现有技术中，点击预测算法无法捕捉用户的兴趣变化，导致点击预测准确率低的问题，进而提高点击预测的准确率。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本公开实施例提供的一种推荐模型训练方法的流程示意图；
图2是本公开实施例提供的一种目标对象推荐方法的示意图
图3是本公开实施例提供的一种推荐模型训练装置的结构示意图；
图4是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
下面将结合附图详细说明根据本公开实施例的一种推荐模型训练方法和装置。
图1是本公开实施例提供的一种推荐模型训练方法的流程示意图。图1的推荐模型训练方法可以由计算机或服务器，或者计算机或服务器上的软件执行。如图1所示，该推荐模型训练方法包括：
S101，构建次序特征提取网络、兴趣跟踪网络、兴趣增强网络和相关性计算网络，利用次序特征提取网络、兴趣跟踪网络、兴趣增强网络和相关性计算网络构建推荐模型；
S102，获取第一数据集和第二数据集，其中，第一数据集是用户点击过的多个第一对象的数据，第二数据集是用户点击或者浏览过的多个第二对象的数据；
S103，将各个第一对象的数据和各个第二对象的数据输入推荐模型：利用次序特征提取网络分别处理各个第一对象的数据和各个第二对象的数据，得到各个第一对象的第一次序特征和各个第二对象的第二次序特征；
S104，利用兴趣跟踪网络处理所有的第一次序特征，得到能表示用户点击多个第一对象的兴趣的第一总序列特征；
S105，利用兴趣增强网络处理第一总序列特征，得到能表示用户点击多个第一对象的兴趣变化趋势的第二总序列特征；
S106，利用相关性计算网络计算第二总序列特征和各个第二对象的第二次序特征之间的相关分数；
S107，基于各个第二对象对应的相关分数计算损失，依据损失优化推荐模型。
需要说的是，推荐模型用于推荐房源、商品和新闻等。比如推荐模型用于推荐房源，各个对象即为房源，房源的数据包括房源标识号、小区位置、面积、朝向、楼层、总楼层、房源的质量（如新旧程度、装修水平、设施完善度等）、房源的供需（如上架时间、浏览量、关注度、成交率）等。第一数据集和第二数据集包含多个用户，每个用户都有对应的多个第一对象和第二对象，可以将一个用户对应的第一对象或第二对象看作一组，这样实际上第一数据集和第二数据集包含多组数据。
本公开实施例通过构建次序特征提取网络、兴趣跟踪网络、兴趣增强网络和相关性计算网络，利用次序特征提取网络、兴趣跟踪网络、兴趣增强网络和相关性计算网络构建推荐模型；获取第一数据集和第二数据集，其中，第一数据集是用户点击过的多个第一对象的数据，第二数据集是用户点击或者浏览过的多个第二对象的数据；将各个第一对象的数据和各个第二对象的数据输入推荐模型：利用次序特征提取网络分别处理各个第一对象的数据和各个第二对象的数据，得到各个第一对象的第一次序特征和各个第二对象的第二次序特征；利用兴趣跟踪网络处理所有的第一次序特征，得到能表示用户点击多个第一对象的兴趣的第一总序列特征；利用兴趣增强网络处理第一总序列特征，得到能表示用户点击多个第一对象的兴趣变化趋势的第二总序列特征；利用相关性计算网络计算第二总序列特征和各个第二对象的第二次序特征之间的相关分数；基于各个第二对象对应的相关分数计算损失，依据损失优化推荐模型。采用上述技术手段，可以解决现有技术中，点击预测算法无法捕捉用户的兴趣变化，导致点击预测准确率低的问题，进而提高点击预测的准确率。
进一步地，利用次序特征提取网络分别处理各个第一对象的数据和各个第二对象的数据，得到各个第一对象的第一次序特征和各个第二对象的第二次序特征，包括：通过特征嵌入层对各个第一对象的数据和各个第二对象的数据进行处理，得到各个第一对象的嵌入特征和各个第二对象的嵌入特征（该步骤相当于提供一个第一特征嵌入层）；通过特征嵌入层对表示各个第一对象的数据在第一数据集中顺序的数据和表示各个第二对象的数据在第二数据集中顺序的数据进行处理，得到各个第一对象的次序特征和各个第二对象的顺序特征（该步骤相当于提供一个第二特征嵌入层）；通过拼接各个第一对象的嵌入特征和顺序特征，得到各个第一对象的第一次序特征（该步骤相当于提供一个第一特征拼接层）；通过拼接各个第二对象的嵌入特征和顺序特征，得到各个第二对象的第二次序特征（该步骤相当于提供一个第二特征拼接层）。
比如某个第一对象的数据是第一数据集中的第2条数据，那么该第一对象的第一次序特征就是该第一对象的数据是第一数据集中的第2条数据的嵌入表示。第二次序特征与第一次序特征类似。第一数据集和第二数据集中的数据的顺序就是用户与各个对象交互的次序。第一数据集和第二数据集中的对象不重复。本公开通过次序特征捕捉用户兴趣的变化。
在网络结构上，将第一特征嵌入层和第二特征嵌入层并行之后，第一特征嵌入层和第二特征嵌入层各自后接第一特征拼接层和第二特征拼接层，得到次序特征提取网络。
进一步地，利用兴趣跟踪网络处理所有的第一次序特征，得到能表示用户点击多个第一对象的兴趣的第一总序列特征，包括：基于各个第一对象的第一次序特征，确定各个第一对象的第一序列特征（该步骤相当于提供一个计算层）；通过注意力网路处理各个第一对象的第一序列特征，得到各个第一对象的第二序列特征（该步骤相当于提供一个注意力网路）；通过拼接各个第一对象的第二序列特征，得到第三总序列特征（该步骤相当于提供一个特征拼接层）；通过前馈网络处理第三总序列特征，得到第一总序列特征（该步骤相当于提供一个前馈网络）。
将第一个第一对象的第一次序特征作为第一个第一对象的第一序列特征，拼接第一个第一对象的第一次序特征和第二个第一对象的第一次序特征作为第二个第一对象的第一序列特征，拼接第一个第一对象的第一次序特征、第二个第一对象的第一次序特征和第三个第一对象的第一次序特征作为第三个第一对象的第一序列特征……拼接第1至W个第一对象的第一次序特征作为第W个第一对象的第一序列特征（该步骤是计算层实现的作用）。
注意力网路可以采用常用的任意注意力机制，该注意力网路可以替换为依次连接全连接层、激活层和全连接层的得到的网络。前馈网络是前馈神经网络（feedforwardneural network）。
在网络结构上，依次连接计算层、注意力网路、特征拼接层和前馈网络，得到兴趣跟踪网络。
进一步地，利用兴趣增强网络处理第一总序列特征，得到能表示用户点击多个第一对象的兴趣变化趋势的第二总序列特征，包括：按照如下公式处理第一总序列特征L，得到第二总序列特征O：
其中，（）表示兴趣增强网络采用的注意力机制，Ql为L中最后一条序列特征。
兴趣增强网络也可以理解为注意力网络。本公开实施例通过兴趣增强网络处理第一总序列特征得到的第二总序列特征，携带着用户对下一个商品兴趣的变化趋势。L中的Ql对应第三总序列特征中最后一条第二序列特征。
进一步地，利用相关性计算网络计算第二总序列特征和各个第二对象的第二次序特征之间的相关分数，包括：分别计算第二总序列特征和各条第二次序特征的L2范数；通过激活函数处理第二总序列特征和各条第二次序特征的L2范数，得到各个第二对象对应的相关分数。
；
；
O为第二总序列特征，为O的L2范数，xi为第i个第二对象的第二次序特征，/>为xi的L2范数，/>为第二数据集中第i个第二对象对应的相关分数，softmax是激活函数。
在网络结构上，依次连接L2范数计算层和激活层（激活函数），得到兴趣跟踪网络。
进一步地，基于各个第二对象对应的相关分数计算损失S，包括：
；
；
；
其中，为第二数据集中第i个第二对象对应的相关分数，/>1表示第i个第二对象被用户点击过，/>表示第i个第二对象没有被用户点击过，N为第二数据集中第二对象的数量，r为预先设置的温度系数，log（）表示对数运算。
，表示当第i个第二对象被用户点击过，令/>；表示当第i个第二对象没有被用户点击过，令/>。
图2是本公开实施例提供的一种目标对象推荐方法的示意图。如图2所示，该方法包括：
S201，获取底库数据和待预测的目标对象的数据，其中，底库数据是目标用户点击过的多个第三对象的数据，目标对象是目标用户点击或者浏览过的对象的数据；
S202，将各个第三对象的数据和目标对象的数据输入推荐模型：利用次序特征提取网络分别处理各个第三对象的数据和目标对象的数据，得到各个第三对象的第三次序特征和目标对象的目标次序特征；
S203，利用兴趣跟踪网络处理所有的第三次序特征，得到能表示用户点击多个第三对象的兴趣的第三总序列特征；
S204，利用兴趣增强网络处理第三总序列特征，得到能表示用户点击多个第三对象的兴趣变化趋势的第四总序列特征；
S205，利用相关性计算网络计算第四总序列特征和目标次序特征之间的目标相关分数；
S206，当目标相关分数大于预设分数，确定将目标对象推荐给目标用户。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图3是本公开实施例提供的一种推荐模型训练装置的示意图。如图3所示，该推荐模型训练装置包括：
构建模块301，被配置为构建次序特征提取网络、兴趣跟踪网络、兴趣增强网络和相关性计算网络，利用次序特征提取网络、兴趣跟踪网络、兴趣增强网络和相关性计算网络构建推荐模型；
获取模块302，被配置为获取第一数据集和第二数据集，其中，第一数据集是用户点击过的多个第一对象的数据，第二数据集是用户点击或者浏览过的多个第二对象的数据；
提取模块303，被配置为将各个第一对象的数据和各个第二对象的数据输入推荐模型：利用次序特征提取网络分别处理各个第一对象的数据和各个第二对象的数据，得到各个第一对象的第一次序特征和各个第二对象的第二次序特征；
第一处理模块304，被配置为利用兴趣跟踪网络处理所有的第一次序特征，得到能表示用户点击多个第一对象的兴趣的第一总序列特征；
第二处理模块305，被配置为利用兴趣增强网络处理第一总序列特征，得到能表示用户点击多个第一对象的兴趣变化趋势的第二总序列特征；
计算模块306，被配置为利用相关性计算网络计算第二总序列特征和各个第二对象的第二次序特征之间的相关分数；
优化模块307，被配置为基于各个第二对象对应的相关分数计算损失，依据损失优化推荐模型。
本公开实施例通过构建次序特征提取网络、兴趣跟踪网络、兴趣增强网络和相关性计算网络，利用次序特征提取网络、兴趣跟踪网络、兴趣增强网络和相关性计算网络构建推荐模型；获取第一数据集和第二数据集，其中，第一数据集是用户点击过的多个第一对象的数据，第二数据集是用户点击或者浏览过的多个第二对象的数据；将各个第一对象的数据和各个第二对象的数据输入推荐模型：利用次序特征提取网络分别处理各个第一对象的数据和各个第二对象的数据，得到各个第一对象的第一次序特征和各个第二对象的第二次序特征；利用兴趣跟踪网络处理所有的第一次序特征，得到能表示用户点击多个第一对象的兴趣的第一总序列特征；利用兴趣增强网络处理第一总序列特征，得到能表示用户点击多个第一对象的兴趣变化趋势的第二总序列特征；利用相关性计算网络计算第二总序列特征和各个第二对象的第二次序特征之间的相关分数；基于各个第二对象对应的相关分数计算损失，依据损失优化推荐模型。采用上述技术手段，可以解决现有技术中，点击预测算法无法捕捉用户的兴趣变化，导致点击预测准确率低的问题，进而提高点击预测的准确率。
在一些实施例中，提取模块303还被配置为通过特征嵌入层对各个第一对象的数据和各个第二对象的数据进行处理，得到各个第一对象的嵌入特征和各个第二对象的嵌入特征（该步骤相当于提供一个第一特征嵌入层）；通过特征嵌入层对表示各个第一对象的数据在第一数据集中顺序的数据和表示各个第二对象的数据在第二数据集中顺序的数据进行处理，得到各个第一对象的次序特征和各个第二对象的顺序特征（该步骤相当于提供一个第二特征嵌入层）；通过拼接各个第一对象的嵌入特征和顺序特征，得到各个第一对象的第一次序特征（该步骤相当于提供一个第一特征拼接层）；通过拼接各个第二对象的嵌入特征和顺序特征，得到各个第二对象的第二次序特征（该步骤相当于提供一个第二特征拼接层）。
在一些实施例中，第一处理模块304还被配置为基于各个第一对象的第一次序特征，确定各个第一对象的第一序列特征（该步骤相当于提供一个计算层）；通过注意力网路处理各个第一对象的第一序列特征，得到各个第一对象的第二序列特征（该步骤相当于提供一个注意力网路）；通过拼接各个第一对象的第二序列特征，得到第三总序列特征（该步骤相当于提供一个特征拼接层）；通过前馈网络处理第三总序列特征，得到第一总序列特征（该步骤相当于提供一个前馈网络）。
在一些实施例中，第二处理模块305还被配置为按照如下公式处理第一总序列特征L，得到第二总序列特征O：
其中，（）表示兴趣增强网络采用的注意力机制，Ql为L中最后一条序列特征。
在一些实施例中，计算模块306还被配置为进一步地，利用相关性计算网络计算第二总序列特征和各个第二对象的第二次序特征之间的相关分数，包括：分别计算第二总序列特征和各条第二次序特征的L2范数；通过激活函数处理第二总序列特征和各条第二次序特征的L2范数，得到各个第二对象对应的相关分数。
；
；
O为第二总序列特征，为O的L2范数，xi为第i个第二对象的第二次序特征，/>为xi的L2范数，/>为第二数据集中第i个第二对象对应的相关分数，softmax是激活函数。
在一些实施例中，优化模块307还被配置为基于各个第二对象对应的相关分数计算损失S，包括：
；
；
；
其中，为第二数据集中第i个第二对象对应的相关分数，/>1表示第i个第二对象被用户点击过，/>表示第i个第二对象没有被用户点击过，N为第二数据集中第二对象的数量，r为预先设置的温度系数，log（）表示对数运算。
在一些实施例中，获取模块302还被配置为获取底库数据和待预测的目标对象的数据，其中，底库数据是目标用户点击过的多个第三对象的数据，目标对象是目标用户点击或者浏览过的对象的数据；
在一些实施例中，提取模块303还被配置为将各个第三对象的数据和目标对象的数据输入推荐模型：利用次序特征提取网络分别处理各个第三对象的数据和目标对象的数据，得到各个第三对象的第三次序特征和目标对象的目标次序特征；
在一些实施例中，第一处理模块304还被配置为利用兴趣跟踪网络处理所有的第三次序特征，得到能表示用户点击多个第三对象的兴趣的第三总序列特征；
在一些实施例中，第二处理模块305还被配置为利用兴趣增强网络处理第三总序列特征，得到能表示用户点击多个第三对象的兴趣变化趋势的第四总序列特征；
在一些实施例中，计算模块306还被配置为利用相关性计算网络计算第四总序列特征和目标次序特征之间的目标相关分数；
在一些实施例中，计算模块306还被配置为当目标相关分数大于预设分数，确定将目标对象推荐给目标用户。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
图4是本公开实施例提供的电子设备4的示意图。如图4所示，该实施例的电子设备4包括：处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者，处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解，图4仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器401可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器402可以是电子设备4的内部存储单元，例如，电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备，例如，电子设备4上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

Claims (10)

1.一种推荐模型训练方法，其特征在于，包括：
构建次序特征提取网络、兴趣跟踪网络、兴趣增强网络和相关性计算网络，利用所述次序特征提取网络、所述兴趣跟踪网络、所述兴趣增强网络和所述相关性计算网络构建推荐模型；
获取第一数据集和第二数据集，其中，所述第一数据集是用户点击过的多个第一对象的数据，所述第二数据集是所述用户点击或者浏览过的多个第二对象的数据；
将各个第一对象的数据和各个第二对象的数据输入所述推荐模型：
利用所述次序特征提取网络分别处理各个第一对象的数据和各个第二对象的数据，得到各个第一对象的第一次序特征和各个第二对象的第二次序特征；
利用所述兴趣跟踪网络处理所有的第一次序特征，得到能表示所述用户点击多个第一对象的兴趣的第一总序列特征；
利用所述兴趣增强网络处理所述第一总序列特征，得到能表示所述用户点击多个第一对象的兴趣变化趋势的第二总序列特征；
利用所述相关性计算网络计算所述第二总序列特征和各个第二对象的第二次序特征之间的相关分数；
基于各个第二对象对应的相关分数计算损失，依据所述损失优化所述推荐模型。
2.根据权利要求1所述的方法，其特征在于，利用所述次序特征提取网络分别处理各个第一对象的数据和各个第二对象的数据，得到各个第一对象的第一次序特征和各个第二对象的第二次序特征，包括：
通过特征嵌入层对各个第一对象的数据和各个第二对象的数据进行处理，得到各个第一对象的嵌入特征和各个第二对象的嵌入特征；
通过特征嵌入层对表示各个第一对象的数据在所述第一数据集中顺序的数据和表示各个第二对象的数据在所述第二数据集中顺序的数据进行处理，得到各个第一对象的次序特征和各个第二对象的顺序特征；
通过拼接各个第一对象的嵌入特征和顺序特征，得到各个第一对象的第一次序特征；
通过拼接各个第二对象的嵌入特征和顺序特征，得到各个第二对象的第二次序特征。
3.根据权利要求1所述的方法，其特征在于，利用所述兴趣跟踪网络处理所有的第一次序特征，得到能表示所述用户点击多个第一对象的兴趣的第一总序列特征，包括：
基于各个第一对象的第一次序特征，确定各个第一对象的第一序列特征；
通过注意力网络处理各个第一对象的第一序列特征，得到各个第一对象的第二序列特征；
通过拼接各个第一对象的第二序列特征，得到第三总序列特征；
通过前馈网络处理所述第三总序列特征，得到所述第一总序列特征。
4.根据权利要求1所述的方法，其特征在于，利用所述兴趣增强网络处理所述第一总序列特征，得到能表示所述用户点击多个第一对象的兴趣变化趋势的第二总序列特征，包括：
按照如下公式处理所述第一总序列特征L，得到所述第二总序列特征O：
其中，（）表示所述兴趣增强网络采用的注意力机制，Ql为L中最后一条序列特征。
5.根据权利要求1所述的方法，其特征在于，利用所述相关性计算网络计算所述第二总序列特征和各个第二对象的第二次序特征之间的相关分数，包括：
分别计算所述第二总序列特征和各条第二次序特征的L2范数；
通过激活函数处理所述第二总序列特征和各条第二次序特征的L2范数，得到各个第二对象对应的相关分数。
6.根据权利要求1所述的方法，其特征在于，基于各个第二对象对应的相关分数计算损失S，包括：
；
；
；
其中，为第二数据集中第i个第二对象对应的相关分数，/>1表示第i个第二对象被用户点击过，/>表示第i个第二对象没有被用户点击过，N为第二数据集中第二对象的数量，r为预先设置的温度系数，log（）表示对数运算。
7.根据权利要求1所述的方法，其特征在于，基于各个第二对象对应的相关分数计算损失，依据所述损失优化所述推荐模型之后，所述方法还包括：
获取底库数据和待预测的目标对象的数据，其中，所述底库数据是目标用户点击过的多个第三对象的数据，所述目标对象是所述目标用户点击或者浏览过的对象的数据；
将各个第三对象的数据和所述目标对象的数据输入所述推荐模型：
利用所述次序特征提取网络分别处理各个第三对象的数据和所述目标对象的数据，得到各个第三对象的第三次序特征和所述目标对象的目标次序特征；
利用所述兴趣跟踪网络处理所有的第三次序特征，得到能表示所述用户点击多个第三对象的兴趣的第三总序列特征；
利用所述兴趣增强网络处理所述第三总序列特征，得到能表示所述用户点击多个第三对象的兴趣变化趋势的第四总序列特征；
利用所述相关性计算网络计算所述第四总序列特征和所述目标次序特征之间的目标相关分数；
当所述目标相关分数大于预设分数，确定将所述目标对象推荐给所述目标用户。
8.一种推荐模型训练装置，其特征在于，包括：
构建模块，被配置为构建次序特征提取网络、兴趣跟踪网络、兴趣增强网络和相关性计算网络，利用所述次序特征提取网络、所述兴趣跟踪网络、所述兴趣增强网络和所述相关性计算网络构建推荐模型；
获取模块，被配置为获取第一数据集和第二数据集，其中，所述第一数据集是用户点击过的多个第一对象的数据，所述第二数据集是所述用户点击或者浏览过的多个第二对象的数据；
提取模块，被配置为将各个第一对象的数据和各个第二对象的数据输入所述推荐模型：利用所述次序特征提取网络分别处理各个第一对象的数据和各个第二对象的数据，得到各个第一对象的第一次序特征和各个第二对象的第二次序特征；
第一处理模块，被配置为利用所述兴趣跟踪网络处理所有的第一次序特征，得到能表示所述用户点击多个第一对象的兴趣的第一总序列特征；
第二处理模块，被配置为利用所述兴趣增强网络处理所述第一总序列特征，得到能表示所述用户点击多个第一对象的兴趣变化趋势的第二总序列特征；
计算模块，被配置为利用所述相关性计算网络计算所述第二总序列特征和各个第二对象的第二次序特征之间的相关分数；
优化模块，被配置为基于各个第二对象对应的相关分数计算损失，依据所述损失优化所述推荐模型。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
CN202311725755.3A 2023-12-15 2023-12-15 推荐模型训练方法及装置 Active CN117436550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311725755.3A CN117436550B (zh) 2023-12-15 2023-12-15 推荐模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311725755.3A CN117436550B (zh) 2023-12-15 2023-12-15 推荐模型训练方法及装置

Publications (2)

Publication Number Publication Date
CN117436550A CN117436550A (zh) 2024-01-23
CN117436550B true CN117436550B (zh) 2024-04-16

Family

ID=89551792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311725755.3A Active CN117436550B (zh) 2023-12-15 2023-12-15 推荐模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN117436550B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528161A (zh) * 2021-02-07 2021-03-19 电子科技大学 一种基于物品点击序列优化的会话推荐方法
CN112732936A (zh) * 2021-01-11 2021-04-30 电子科技大学 一种基于知识图谱和用户微观行为的广电节目推荐方法
CN113435685A (zh) * 2021-04-28 2021-09-24 桂林电子科技大学 一种分层Attention深度学习模型的课程推荐方法
CN113495991A (zh) * 2020-04-03 2021-10-12 北京沃东天骏信息技术有限公司 一种推荐方法和装置
CN113888282A (zh) * 2021-10-19 2022-01-04 中山大学 一种物品推荐模型的训练方法、物品推荐方法和装置
CN115631012A (zh) * 2022-10-27 2023-01-20 深圳须弥云图空间科技有限公司 目标推荐方法及装置
WO2023087933A1 (zh) * 2021-11-19 2023-05-25 腾讯科技（深圳）有限公司 内容推荐方法、装置、设备、存储介质及程序产品

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839318B2 (en) * 2018-12-12 2020-11-17 Capital One Services, Llc Machine learning models for evaluating differences between groups and methods thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113495991A (zh) * 2020-04-03 2021-10-12 北京沃东天骏信息技术有限公司 一种推荐方法和装置
CN112732936A (zh) * 2021-01-11 2021-04-30 电子科技大学 一种基于知识图谱和用户微观行为的广电节目推荐方法
CN112528161A (zh) * 2021-02-07 2021-03-19 电子科技大学 一种基于物品点击序列优化的会话推荐方法
CN113435685A (zh) * 2021-04-28 2021-09-24 桂林电子科技大学 一种分层Attention深度学习模型的课程推荐方法
CN113888282A (zh) * 2021-10-19 2022-01-04 中山大学 一种物品推荐模型的训练方法、物品推荐方法和装置
WO2023087933A1 (zh) * 2021-11-19 2023-05-25 腾讯科技（深圳）有限公司 内容推荐方法、装置、设备、存储介质及程序产品
CN115631012A (zh) * 2022-10-27 2023-01-20 深圳须弥云图空间科技有限公司 目标推荐方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的长短期序列化推荐研究;周慧慧;《中国优秀硕士学位论文全文数据库》;20220315;I138-3044 *

Also Published As

Publication number Publication date
CN117436550A (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN110866628A (zh) 利用动态时间上下文学习进行多界限时间序列预测的系统和方法
WO2021103761A1 (zh) 化合物的性质分析方法、模型训练方法、装置及存储介质
CN111258593B (zh) 应用程序预测模型的建立方法、装置、存储介质及终端
CN108985501B (zh) 基于指数特征提取的股指预测方法、服务器及存储介质
CN116822651A (zh) 基于增量学习的大模型参数微调方法、装置、设备及介质
CN116684330A (zh) 基于人工智能的流量预测方法、装置、设备及存储介质
CN113344647B (zh) 一种信息推荐的方法及装置
CN117436550B (zh) 推荐模型训练方法及装置
CN116912635A (zh) 目标追踪方法及装置
CN112131274A (zh) 时间序列异常点的检测方法、装置、设备及可读存储介质
CN114241411B (zh) 基于目标检测的计数模型处理方法、装置及计算机设备
CN116562357A (zh) 点击预测模型训练方法及装置
CN116703466A (zh) 基于改进灰狼算法的系统访问量预测方法及其相关设备
CN114821140A (zh) 基于曼哈顿距离的图像聚类方法、终端设备及存储介质
CN110837596B (zh) 一种智能推荐方法、装置、计算机设备及存储介质
WO2020037922A1 (zh) 股指预测方法、装置及存储介质
CN116340864B (zh) 一种模型漂移检测方法、装置、设备及其存储介质
CN116089788B (zh) 在线缺失数据处理方法、装置、计算机设备及存储介质
CN117390295B (zh) 基于掩码模块推荐对象的方法及装置
CN116911955B (zh) 目标推荐模型的训练方法及装置
CN116341640B (zh) 文本处理模型训练方法及装置
CN116501993B (zh) 房源数据推荐方法及装置
CN114792256B (zh) 基于模型选择的人群扩量方法及装置
CN116910455A (zh) 数据扰动方法及装置
CN113239259A (zh) 确定相似店铺的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant