CN116611858A - 目标推荐方法及装置 - Google Patents

目标推荐方法及装置 Download PDF

Info

Publication number
CN116611858A
CN116611858A CN202310871937.5A CN202310871937A CN116611858A CN 116611858 A CN116611858 A CN 116611858A CN 202310871937 A CN202310871937 A CN 202310871937A CN 116611858 A CN116611858 A CN 116611858A
Authority
CN
China
Prior art keywords
task
batch
parameter
tasks
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310871937.5A
Other languages
English (en)
Inventor
徐琳
王芳
董辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xumi Yuntu Space Technology Co Ltd
Original Assignee
Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xumi Yuntu Space Technology Co Ltd filed Critical Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority to CN202310871937.5A priority Critical patent/CN116611858A/zh
Publication of CN116611858A publication Critical patent/CN116611858A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及人工智能技术领域，提供了一种目标推荐方法及装置。该方法包括：确定与推荐任务存在关联的多个预测任务；在对推荐模型进行包括所述推荐任务和多个预测任务的多任务的多批次训练中：计算每个任务在每个批次中对每个参数的累积梯度；计算每个任务在每个批次中更新每个参数的动量；依据每个任务在每个批次中对每个参数的累积梯度和更新该参数的动量，进行该任务在该批次的下一个批次中该参数的更新；利用所述多任务的多批次训练后的推荐模型进行目标推荐。采用上述技术手段，解决现有技术中，多任务训练后的推荐模型的准确率仍然无法得到保障的问题。

Description

目标推荐方法及装置
技术领域
本申请涉及人工智能技术领域，尤其涉及一种目标推荐方法及装置。
背景技术
推荐系统在当今生活中扮演着不可或缺的作用，在各个需要进行目标推荐的场景中，常利用推荐模型为用户推荐合适的目标，比如网络购物、新闻阅读、和视频观看等场景。为了进一步提升推荐模型的准确率，技术人员也通过多任务训练的方式训练推荐模型，但是该方法并没有取得预期的效果。
发明内容
有鉴于此，本申请实施例提供了一种目标推荐方法、装置、电子设备及计算机可读存储介质，以解决现有技术中，多任务训练后的推荐模型的准确率仍然无法得到保障的问题。
本申请实施例的第一方面，提供了一种目标推荐方法，包括：确定与推荐任务存在关联的多个预测任务；在对推荐模型进行包括所述推荐任务和多个预测任务的多任务的多批次训练中：计算每个任务在每个批次中对每个参数的累积梯度；计算每个任务在每个批次中更新每个参数的动量；依据每个任务在每个批次中对每个参数的累积梯度和更新该参数的动量，进行该任务在该批次的下一个批次中该参数的更新；利用所述多任务的多批次训练后的推荐模型进行目标推荐。
本申请实施例的第二方面，提供了一种目标推荐装置，包括：确定模块，被配置为确定与推荐任务存在关联的多个预测任务；第一计算模块，被配置为在对推荐模型进行包括所述推荐任务和多个预测任务的多任务的多批次训练中：计算每个任务在每个批次中对每个参数的累积梯度；第二计算模块，被配置为计算每个任务在每个批次中更新每个参数的动量；更新模块，被配置为依据每个任务在每个批次中对每个参数的累积梯度和更新该参数的动量，进行该任务在该批次的下一个批次中该参数的更新；推荐模块，被配置为利用所述多任务的多批次训练后的推荐模型进行目标推荐。
本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：因为本申请实施例通过确定与推荐任务存在关联的多个预测任务；在对推荐模型进行包括所述推荐任务和多个预测任务的多任务的多批次训练中：计算每个任务在每个批次中对每个参数的累积梯度；计算每个任务在每个批次中更新每个参数的动量；依据每个任务在每个批次中对每个参数的累积梯度和更新该参数的动量，进行该任务在该批次的下一个批次中该参数的更新；利用所述多任务的多批次训练后的推荐模型进行目标推荐，因此，采用上述技术手段，可以解决现有技术中，多任务训练后的推荐模型的准确率仍然无法得到保障的问题，进而提高推荐模型推荐目标的准确率，提升用户满意度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本申请实施例提供的一种目标推荐方法的流程示意图；
图2是本申请实施例提供的一种推荐模型训练方法的流程示意图；
图3是本申请实施例提供的一种目标推荐装置的结构示意图；
图4是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
图1是本申请实施例提供的一种目标推荐方法的流程示意图。图1的目标推荐方法可以由计算机或服务器，或者计算机或服务器上的软件执行。如图1所示，该目标推荐方法包括：
S101，确定与推荐任务存在关联的多个预测任务；
S102，在对推荐模型进行包括推荐任务和多个预测任务的多任务的多批次训练中：计算每个任务在每个批次中对每个参数的累积梯度；
S103，计算每个任务在每个批次中更新每个参数的动量；
S104，依据每个任务在每个批次中对每个参数的累积梯度和更新该参数的动量，进行该任务在该批次的下一个批次中该参数的更新；
S105，利用多任务的多批次训练后的推荐模型进行目标推荐。
本申请实施例在每个批次训练中，均计算各个任务对于每个参数的累积梯度和动量，根据各个任务对于每个参数的累积梯度和动量，分别进行各个任务中对于每个参数的更新。该方法通过分离每个参数在每个任务的累积梯度来平衡不同任务在每个参数上的影响，相当于增强了推荐任务和多个预测任务各自的独立性，避免推荐任务和多个预测任务之间的干扰，解决了现有的多任务学习中某个任务主导的严重的问题，极大的提升了推荐模型的准确率。
推荐模型可以是MMOE(Multi-gateMixture-of-Experts)。
与推荐任务存在关联的多个预测任务，包括：点击率预测任务、转化率预测任务、客单价预测任务和用户浏览时长预测任务；其中，点击率预测任务为预测用户点击目标的概率的任务，转化率预测任务为预测已经点击过目标的用户将产生进一步行为的概率的任务，客单价预测任务为预测用户支付代价等级的任务，用户浏览时长预测任务为预测用户浏览目标时长的任务。
比如在电子商务的商品推荐领域，目标为商品，推荐任务是向用户推荐商品的任务，点击率预测任务为预测用户点击商品的概率的任务，转化率预测任务为预测已经点击过商品的用户会购买该商品的概率的任务（购买该商品为将产生比点击行为更进一步的行为），客单价预测任务为预测用户消费水平（支付代价等级）的任务，用户浏览时长预测任务为预测用户浏览商品时长的任务。
根据本申请实施例提供的技术方案，确定与推荐任务存在关联的多个预测任务；在对推荐模型进行包括推荐任务和多个预测任务的多任务的多批次训练中：计算每个任务在每个批次中对每个参数的累积梯度；计算每个任务在每个批次中更新每个参数的动量；依据每个任务在每个批次中对每个参数的累积梯度和更新该参数的动量，进行该任务在该批次的下一个批次中该参数的更新；利用多任务的多批次训练后的推荐模型进行目标推荐，因此，采用上述技术手段，可以解决现有技术中，多任务训练后的推荐模型的准确率仍然无法得到保障的问题，进而提高推荐模型推荐目标的准确率，提升用户满意度。
进一步地，计算每个任务在每个批次中对每个参数的累积梯度，包括：计算每个任务在每个批次中对每个参数的梯度的平方；按照第一预设权值对每个任务在每个批次的上一个批次中对每个参数的累积梯度和该任务在该批次中对该参数的梯度的平方进行加权求和，得到该任务在该批次中对该参数的累积梯度；其中，每个任务在第一批次中对每个参数的累积梯度为该任务在第一批次中对该参数的梯度。
也就是，对于某个任务和某个参数而言：将该任务在第一批次中对该参数的梯度作为该任务在第一批次中对该参数的累积梯度；按照第一预设权值对该任务在第一批次中对该参数的累积梯度和该任务在第一批次中对该参数的梯度的平方进行加权求和，得到该任务在第二批次中对该参数的累积梯度；按照第一预设权值对该任务在第二批次中对该参数的累积梯度和该任务在第二批次中对该参数的梯度的平方进行加权求和，得到该任务在第三批次中对该参数的累积梯度……
更进一步地，通过如下公式计算每个任务在每个批次中对每个参数的累积梯度：
；
k是任务的序号，任务指推荐任务和多个预测任务，t是批次的序号，i是参数的序号，是第一预设权值，/>是第k个任务在第t批次中对第i个参数的累积梯度，/>是第k个任务在第t-1批次（当前批次为第t批次，当前批次的上一个批次为第t-1批次）中对第i个参数的累积梯度，/>是第k个任务在第t批次中对第i个参数的梯度。
进一步地，计算每个任务在每个批次中更新每个参数的动量，包括：计算每个任务在每个批次中对每个参数的梯度；按照第二预设权值对每个任务在每个批次的上一个批次中更新每个参数的动量和该任务在该批次中对该参数的梯度进行加权求和，得到该任务在该批次中更新该参数的动量；其中，每个任务在第一批次中更新每个参数的动量为预设的初始值。
也就是，对于某个任务和某个参数而言：该任务在第一批次中更新该参数的动量有预设的初始值；按照第二预设权值对该任务在第一批次中更新该参数的动量和该任务在第一批次中对该参数的梯度的平方进行加权求和，得到该任务在第二批次中更新该参数的动量；按照第二预设权值对该任务在第二批次中更新该参数的动量和该任务在第二批次中对该参数的梯度的平方进行加权求和，得到该任务在第三批次中对该参数的累积梯度……
更进一步地，通过如下公式计算每个任务在每个批次中对每个参数的累积梯度：
；
k是任务的序号，任务指推荐任务和多个预测任务，t是批次的序号，i是参数的序号，是第二预设权值，/>是第k个任务在第t批次中更新第i个参数的动量，/>是第k个任务在第t-1批次（当前批次为第t批次，当前批次的上一个批次为第t-1批次）中更新第i个参数的动量，/>是第k个任务在第t批次中对第i个参数的梯度。
依据每个任务在每个批次中对每个参数的累积梯度和更新该参数的动量，进行该任务在该批次的下一个批次中该参数的更新。也就是，对于某个任务和某个参数而言：该任务在第一批次中对每个参数的累积梯度和更新该参数的动量，进行该任务在第二批次中该参数的更新；该任务在第二批次中对每个参数的累积梯度和更新该参数的动量，进行该任务在第三批次中该参数的更新……
更进一步地，通过如下公式计算进行每个任务在每个批次的下一个批次中每个参数的更新：
；
是预设或者初始的学习率，/>是第k个任务在第t批次中更新第i个参数的动量，/>是第k个任务在第t批次中对第i个参数的累积梯度，/>为预设常数，/>中，k的取值从1到N，N为所有任务的数量，/>为第k个任务在第t+1批次中第i个参数，为在第t批次中第i个参数，/>是所有/>求平均的值。
进一步地，在对推荐模型进行包括推荐任务和多个预测任务的多任务的多批次训练中，将推荐任务作为主任务，将多个预测任务作为辅助任务，以通过多个预测任务提升推荐任务的训练效果。
训练效果包括推荐任务训练后推荐模型的精度和准确率等。
进一步地，对推荐模型进行包括推荐任务和多个预测任务的多任务的多批次训练，包括：按照预设顺序对推荐任务和多个预测任务进行排序；按照排序后的推荐任务和多个预测任务，采用迁移学习的方法依次对推荐模型进行训练。
预设顺序可以是用户与目标交互的顺序，比如在向用户推荐目标之前，应该先确定用户群体（用户群体是可以消费水平高于目标价格的用户），所以客单价预测任务是第一个任务；接下来应该预设哪些用户可能点击目标，所以点击率预测任务是第二个任务；用户点击目标后，继续预测用户浏览目标的时长，所以用户浏览时长预测任务是第三个任务；最后应该判断用户是否会从点击预览行为转变为购买行为，所以转化率预测任务是第四个任务。
图2是本申请实施例提供的一种推荐模型训练方法的流程示意图。如图2所示，包括：
S201，计算每个任务在每个批次中对每个参数的累积梯度；
S202，计算每个任务在每个批次中更新每个参数的动量；
S203，计算每个任务在每个批次中对每个参数的指数衰减平均值，并计算所有任务在每个批次中对每个参数的指数衰减平均值的和，基于每个任务在每个批次中对每个参数的指数衰减平均值与所有任务在每个批次中对每个参数的指数衰减平均值的和的比值确定该任务在该批次中该参数对应的自适应学习率；
S204，依据每个任务在每个批次中对每个参数的累积梯度、更新该参数的动量和该参数对应的自适应学习率，进行该任务在该批次的下一个批次中该参数的更新。
通过如下公式确定每个任务在每个批次中对每个参数的指数衰减平均值与所有任务在每个批次中对每个参数的指数衰减平均值的和的比值：
；
；
；
指数衰减平均值是(Average of the squaredUpdates，AU)，是预设权值，为第k个任务在第t-1批次中第i个参数的指数衰减平均值，/>为第k个任务在第t批次中第i个参数的指数衰减平均值，/>具有初始值，/>是所有任务在第t批次中第i个参数的指数衰减平均值的和，/>是第k个任务在第t批次中第i个参数的指数衰减平均值与所有任务在第t批次中第i个参数的指数衰减平均值的和的比值。该比值与第k个任务在第t批次中第i个参数对应的自适应学习率相关，二者可以是线性关系。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图3是本申请实施例提供的一种目标推荐装置的示意图。如图3所示，该目标推荐装置包括：
确定模块301，被配置为确定与推荐任务存在关联的多个预测任务；
第一计算模块302，被配置为在对推荐模型进行包括推荐任务和多个预测任务的多任务的多批次训练中：计算每个任务在每个批次中对每个参数的累积梯度；
第二计算模块303，被配置为计算每个任务在每个批次中更新每个参数的动量；
更新模块304，被配置为依据每个任务在每个批次中对每个参数的累积梯度和更新该参数的动量，进行该任务在该批次的下一个批次中该参数的更新；
推荐模块305，被配置为利用多任务的多批次训练后的推荐模型进行目标推荐。
本申请实施例在每个批次训练中，均计算各个任务对于每个参数的累积梯度和动量，根据各个任务对于每个参数的累积梯度和动量，分别进行各个任务中对于每个参数的更新。该方法通过分离每个参数在每个任务的累积梯度来平衡不同任务在每个参数上的影响，相当于增强了推荐任务和多个预测任务各自的独立性，避免推荐任务和多个预测任务之间的干扰，解决了现有的多任务学习中某个任务主导的严重的问题，极大的提升了推荐模型的准确率。
推荐模型可以是MMOE(Multi-gateMixture-of-Experts)。
与推荐任务存在关联的多个预测任务，包括：点击率预测任务、转化率预测任务、客单价预测任务和用户浏览时长预测任务；其中，点击率预测任务为预测用户点击目标的概率的任务，转化率预测任务为预测已经点击过目标的用户将产生进一步行为的概率的任务，客单价预测任务为预测用户支付代价等级的任务，用户浏览时长预测任务为预测用户浏览目标时长的任务。
比如在电子商务的商品推荐领域，目标为商品，推荐任务是向用户推荐商品的任务，点击率预测任务为预测用户点击商品的概率的任务，转化率预测任务为预测已经点击过商品的用户会购买该商品的概率的任务（购买该商品为将产生比点击行为更进一步的行为），客单价预测任务为预测用户消费水平（支付代价等级）的任务，用户浏览时长预测任务为预测用户浏览商品时长的任务。
根据本申请实施例提供的技术方案，确定与推荐任务存在关联的多个预测任务；在对推荐模型进行包括推荐任务和多个预测任务的多任务的多批次训练中：计算每个任务在每个批次中对每个参数的累积梯度；计算每个任务在每个批次中更新每个参数的动量；依据每个任务在每个批次中对每个参数的累积梯度和更新该参数的动量，进行该任务在该批次的下一个批次中该参数的更新；利用多任务的多批次训练后的推荐模型进行目标推荐，因此，采用上述技术手段，可以解决现有技术中，多任务训练后的推荐模型的准确率仍然无法得到保障的问题，进而提高推荐模型推荐目标的准确率，提升用户满意度。
可选地，第一计算模块301还被配置为计算每个任务在每个批次中对每个参数的梯度的平方；按照第一预设权值对每个任务在每个批次的上一个批次中对每个参数的累积梯度和该任务在该批次中对该参数的梯度的平方进行加权求和，得到该任务在该批次中对该参数的累积梯度；其中，每个任务在第一批次中对每个参数的累积梯度为该任务在第一批次中对该参数的梯度。
也就是，对于某个任务和某个参数而言：将该任务在第一批次中对该参数的梯度作为该任务在第一批次中对该参数的累积梯度；按照第一预设权值对该任务在第一批次中对该参数的累积梯度和该任务在第一批次中对该参数的梯度的平方进行加权求和，得到该任务在第二批次中对该参数的累积梯度；按照第一预设权值对该任务在第二批次中对该参数的累积梯度和该任务在第二批次中对该参数的梯度的平方进行加权求和，得到该任务在第三批次中对该参数的累积梯度……
可选地，第一计算模块302还被配置为通过如下公式计算每个任务在每个批次中对每个参数的累积梯度：
；
k是任务的序号，任务指推荐任务和多个预测任务，t是批次的序号，i是参数的序号，是第一预设权值，/>是第k个任务在第t批次中对第i个参数的累积梯度，/>是第k个任务在第t-1批次（当前批次为第t批次，当前批次的上一个批次为第t-1批次）中对第i个参数的累积梯度，/>是第k个任务在第t批次中对第i个参数的梯度。
可选地，第二计算模块303还被配置为计算每个任务在每个批次中对每个参数的梯度；按照第二预设权值对每个任务在每个批次的上一个批次中更新每个参数的动量和该任务在该批次中对该参数的梯度进行加权求和，得到该任务在该批次中更新该参数的动量；其中，每个任务在第一批次中更新每个参数的动量为预设的初始值。
也就是，对于某个任务和某个参数而言：该任务在第一批次中更新该参数的动量有预设的初始值；按照第二预设权值对该任务在第一批次中更新该参数的动量和该任务在第一批次中对该参数的梯度的平方进行加权求和，得到该任务在第二批次中更新该参数的动量；按照第二预设权值对该任务在第二批次中更新该参数的动量和该任务在第二批次中对该参数的梯度的平方进行加权求和，得到该任务在第三批次中对该参数的累积梯度……
可选地，第二计算模块303还被配置为通过如下公式计算每个任务在每个批次中对每个参数的累积梯度：
；
k是任务的序号，任务指推荐任务和多个预测任务，t是批次的序号，i是参数的序号，是第二预设权值，/>是第k个任务在第t批次中更新第i个参数的动量，/>是第k个任务在第t-1批次（当前批次为第t批次，当前批次的上一个批次为第t-1批次）中更新第i个参数的动量，/>是第k个任务在第t批次中对第i个参数的梯度。
依据每个任务在每个批次中对每个参数的累积梯度和更新该参数的动量，进行该任务在该批次的下一个批次中该参数的更新。也就是，对于某个任务和某个参数而言：该任务在第一批次中对每个参数的累积梯度和更新该参数的动量，进行该任务在第二批次中该参数的更新；该任务在第二批次中对每个参数的累积梯度和更新该参数的动量，进行该任务在第三批次中该参数的更新……
可选地，更新模块304还被配置为通过如下公式计算进行每个任务在每个批次的下一个批次中每个参数的更新：
；
是预设或者初始的学习率，/>是第k个任务在第t批次中更新第i个参数的动量，/>是第k个任务在第t批次中对第i个参数的累积梯度，/>为预设常数，/>中，k的取值从1到N，N为所有任务的数量，/>为第k个任务在第t+1批次中第i个参数，为在第t批次中第i个参数，/>是所有/>求平均的值。
可选地，第二计算模块303还被配置为在对推荐模型进行包括推荐任务和多个预测任务的多任务的多批次训练中，将推荐任务作为主任务，将多个预测任务作为辅助任务，以通过多个预测任务提升推荐任务的训练效果。
训练效果包括推荐任务训练后推荐模型的精度和准确率等。
可选地，第二计算模块303还被配置为按照预设顺序对推荐任务和多个预测任务进行排序；按照排序后的推荐任务和多个预测任务，采用迁移学习的方法依次对推荐模型进行训练。
预设顺序可以是用户与目标交互的顺序，比如在向用户推荐目标之前，应该先确定用户群体（用户群体是可以消费水平高于目标价格的用户），所以客单价预测任务是第一个任务；接下来应该预设哪些用户可能点击目标，所以点击率预测任务是第二个任务；用户点击目标后，继续预测用户浏览目标的时长，所以用户浏览时长预测任务是第三个任务；最后应该判断用户是否会从点击预览行为转变为购买行为，所以转化率预测任务是第四个任务。
可选地，第二计算模块303还被配置为计算每个任务在每个批次中对每个参数的累积梯度；计算每个任务在每个批次中更新每个参数的动量；计算每个任务在每个批次中对每个参数的指数衰减平均值，并计算所有任务在每个批次中对每个参数的指数衰减平均值的和，基于每个任务在每个批次中对每个参数的指数衰减平均值与所有任务在每个批次中对每个参数的指数衰减平均值的和的比值确定该任务在该批次中该参数对应的自适应学习率；依据每个任务在每个批次中对每个参数的累积梯度、更新该参数的动量和该参数对应的自适应学习率，进行该任务在该批次的下一个批次中该参数的更新。
通过如下公式确定每个任务在每个批次中对每个参数的指数衰减平均值与所有任务在每个批次中对每个参数的指数衰减平均值的和的比值：
；
；
；
指数衰减平均值是(Average of the squaredUpdates，AU)，是预设权值，为第k个任务在第t-1批次中第i个参数的指数衰减平均值，/>为第k个任务在第t批次中第i个参数的指数衰减平均值，/>具有初始值，/>是所有任务在第t批次中第i个参数的指数衰减平均值的和，/>是第k个任务在第t批次中第i个参数的指数衰减平均值与所有任务在第t批次中第i个参数的指数衰减平均值的和的比值。该比值与第k个任务在第t批次中第i个参数对应的自适应学习率相关，二者可以是线性关系。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图4是本申请实施例提供的电子设备4的示意图。如图4所示，该实施例的电子设备4包括：处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者，处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解，图4仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器401可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器402可以是电子设备4的内部存储单元，例如，电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备，例如，电子设备4上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种目标推荐方法，其特征在于，包括：
确定与推荐任务存在关联的多个预测任务；
在对推荐模型进行包括所述推荐任务和多个预测任务的多任务的多批次训练中：
计算每个任务在每个批次中对每个参数的累积梯度；
计算每个任务在每个批次中更新每个参数的动量；
依据每个任务在每个批次中对每个参数的累积梯度和更新该参数的动量，进行该任务在该批次的下一个批次中该参数的更新；
利用所述多任务的多批次训练后的推荐模型进行目标推荐。
2.根据权利要求1所述的方法，其特征在于，计算每个任务在每个批次中对每个参数的累积梯度，包括：
计算每个任务在每个批次中对每个参数的梯度的平方；
按照第一预设权值对每个任务在每个批次的上一个批次中对每个参数的累积梯度和该任务在该批次中对该参数的梯度的平方进行加权求和，得到该任务在该批次中对该参数的累积梯度；
其中，每个任务在第一批次中对每个参数的累积梯度为该任务在第一批次中对该参数的梯度。
3.根据权利要求1所述的方法，其特征在于，计算每个任务在每个批次中更新每个参数的动量，包括：
计算每个任务在每个批次中对每个参数的梯度；
按照第二预设权值对每个任务在每个批次的上一个批次中更新每个参数的动量和该任务在该批次中对该参数的梯度进行加权求和，得到该任务在该批次中更新该参数的动量；
其中，每个任务在第一批次中更新每个参数的动量为预设的初始值。
4.根据权利要求1所述的方法，其特征在于，在对推荐模型进行包括所述推荐任务和多个预测任务的多任务的多批次训练中，将所述推荐任务作为主任务，将多个预测任务作为辅助任务，以通过多个预测任务提升所述推荐任务的训练效果。
5.根据权利要求1所述的方法，其特征在于，对推荐模型进行包括所述推荐任务和多个预测任务的多任务的多批次训练，包括：
按照预设顺序对所述推荐任务和多个预测任务进行排序；
按照所述排序后的所述推荐任务和多个预测任务，采用迁移学习的方法依次对所述推荐模型进行训练。
6.根据权利要求1所述的方法，其特征在于，在对推荐模型进行包括所述推荐任务和多个预测任务的多任务的多批次训练中：
计算每个任务在每个批次中对每个参数的累积梯度；
计算每个任务在每个批次中更新每个参数的动量；
计算每个任务在每个批次中对每个参数的指数衰减平均值，并计算所有任务在每个批次中对每个参数的指数衰减平均值的和，基于每个任务在每个批次中对每个参数的指数衰减平均值与所有任务在每个批次中对每个参数的指数衰减平均值的和的比值确定该任务在该批次中该参数对应的自适应学习率；
依据每个任务在每个批次中对每个参数的累积梯度、更新该参数的动量和该参数对应的自适应学习率，进行该任务在该批次的下一个批次中该参数的更新。
7.根据权利要求1所述的方法，其特征在于，与推荐任务存在关联的多个预测任务，包括：
点击率预测任务、转化率预测任务、客单价预测任务和用户浏览时长预测任务；
其中，所述点击率预测任务为预测用户点击目标的概率的任务，所述转化率预测任务为预测已经点击过目标的用户将产生进一步行为的概率的任务，所述客单价预测任务为预测用户支付代价等级的任务，所述用户浏览时长预测任务为预测用户浏览目标时长的任务。
8.一种目标推荐装置，其特征在于，包括：
确定模块，被配置为确定与推荐任务存在关联的多个预测任务；
第一计算模块，被配置为在对推荐模型进行包括所述推荐任务和多个预测任务的多任务的多批次训练中：计算每个任务在每个批次中对每个参数的累积梯度；
第二计算模块，被配置为计算每个任务在每个批次中更新每个参数的动量；
更新模块，被配置为依据每个任务在每个批次中对每个参数的累积梯度和更新该参数的动量，进行该任务在该批次的下一个批次中该参数的更新；
推荐模块，被配置为利用所述多任务的多批次训练后的推荐模型进行目标推荐。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
CN202310871937.5A 2023-07-17 2023-07-17 目标推荐方法及装置 Pending CN116611858A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310871937.5A CN116611858A (zh) 2023-07-17 2023-07-17 目标推荐方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310871937.5A CN116611858A (zh) 2023-07-17 2023-07-17 目标推荐方法及装置

Publications (1)

Publication Number Publication Date
CN116611858A true CN116611858A (zh) 2023-08-18

Family

ID=87682105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310871937.5A Pending CN116611858A (zh) 2023-07-17 2023-07-17 目标推荐方法及装置

Country Status (1)

Country Link
CN (1) CN116611858A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112559007A (zh) * 2020-12-14 2021-03-26 北京百度网讯科技有限公司 多任务模型的参数更新方法、装置及电子设备
CN114519435A (zh) * 2022-02-14 2022-05-20 维沃移动通信有限公司 模型参数更新方法、模型参数更新装置和电子设备
CN114936323A (zh) * 2022-06-07 2022-08-23 北京百度网讯科技有限公司 图表示模型的训练方法、装置及电子设备
CN115062166A (zh) * 2022-06-30 2022-09-16 杭州网易云音乐科技有限公司 一种推荐模型的训练方法、装置、电子设备及存储介质
CN115546576A (zh) * 2022-08-30 2022-12-30 阿里巴巴达摩院(杭州)科技有限公司 建立预测模型的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112559007A (zh) * 2020-12-14 2021-03-26 北京百度网讯科技有限公司 多任务模型的参数更新方法、装置及电子设备
CN114519435A (zh) * 2022-02-14 2022-05-20 维沃移动通信有限公司 模型参数更新方法、模型参数更新装置和电子设备
CN114936323A (zh) * 2022-06-07 2022-08-23 北京百度网讯科技有限公司 图表示模型的训练方法、装置及电子设备
CN115062166A (zh) * 2022-06-30 2022-09-16 杭州网易云音乐科技有限公司 一种推荐模型的训练方法、装置、电子设备及存储介质
CN115546576A (zh) * 2022-08-30 2022-12-30 阿里巴巴达摩院(杭州)科技有限公司 建立预测模型的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张云银等: "《致密油藏储层地震预测技术》", 中国海洋大学出版社, pages: 200 *

Similar Documents

Publication Publication Date Title
CN109214436A (zh) 一种针对目标场景的预测模型训练方法及装置
CN110781321A (zh) 一种多媒体内容推荐方法及装置
CN112380449B (zh) 信息推荐方法、模型训练方法及相关装置
CN111401940B (zh) 特征预测方法、装置、电子设备及存储介质
CN111831855B (zh) 用于匹配视频的方法、装置、电子设备和介质
CN110598120A (zh) 基于行为数据的理财推荐方法及装置、设备
CN116578875B (zh) 基于多行为的点击预测模型训练方法及装置
CN110766513A (zh) 信息排序方法、装置、电子设备及可读存储介质
CN112988840A (zh) 一种时间序列预测方法、装置、设备和存储介质
CN116204714A (zh) 推荐方法、装置、电子设备及存储介质
CN116542328B (zh) Ctr预测模型的知识蒸馏方法及装置
CN110633597B (zh) 一种可行驶区域检测方法和装置
CN110781929B (zh) 信用预测模型的训练方法、预测方法及装置、介质和设备
CN113836388A (zh) 信息推荐方法、装置、服务器及存储介质
CN116611858A (zh) 目标推荐方法及装置
CN116578400A (zh) 多任务数据处理方法和装置
CN114169906A (zh) 电子券推送方法、装置
CN117436550B (zh) 推荐模型训练方法及装置
CN113065066B (zh) 预测方法、装置、服务器及存储介质
CN113516495B (zh) 信息推送方法、装置、电子设备及计算机可读介质
CN112837079B (zh) 商品销量预测方法、装置、计算机设备
CN116911956A (zh) 基于知识蒸馏的推荐模型训练方法、装置及存储介质
CN116562359B (zh) 基于对比学习的ctr预测模型训练方法、装置及电子设备
CN110415020B (zh) 年龄预测方法、装置及电子设备
CN112801743B (zh) 一种商品推荐方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230818

RJ01 Rejection of invention patent application after publication