CN116467594A - 一种推荐模型的训练方法及相关装置 - Google Patents

一种推荐模型的训练方法及相关装置 Download PDF

Info

Publication number
CN116467594A
CN116467594A CN202310377216.9A CN202310377216A CN116467594A CN 116467594 A CN116467594 A CN 116467594A CN 202310377216 A CN202310377216 A CN 202310377216A CN 116467594 A CN116467594 A CN 116467594A
Authority
CN
China
Prior art keywords
feature
network
sub
sample
networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310377216.9A
Other languages
English (en)
Inventor
武楚涵
贾庆林
李璟洁
李辰宇
唐睿明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202310377216.9A priority Critical patent/CN116467594A/zh
Publication of CN116467594A publication Critical patent/CN116467594A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种推荐模型的训练方法，应用于人工智能技术领域。在该方法中，先基于训练样本的特征来生成用于表征训练样本对应的推荐对象的标识特征，能够实现样本内知识迁移；再将训练样本的特征和标识特征融合后输入至全局共享网络和场景专有网络中进行结果预测，以充分学习场景间的共有信息和专有信息，实现跨场景知识迁移。通过同时开展样本内知识迁移和跨场景知识迁移，能够减轻模型对训练数据的依赖，充分地提高知识迁移效率，有效帮扶稀疏数据样本，提高模型的预测准确性。

Description

一种推荐模型的训练方法及相关装置
技术领域
本申请涉及人工智能技术领域，尤其涉及一种推荐模型的训练方法及相关装置。
背景技术
随着互联网的快速发展，互联网在线广告已成为除电视和报纸之外的主要广告投放方式。目前，在互联网上会应用推荐系统来为用户推荐个性化的广告。推荐系统能够根据用户访问的网站或使用的应用等信息来推测用户的兴趣和使用行为，并根据这些兴趣和使用行为来推荐广告，从而改善所投放的广告与用户的相关性，进而提高广告客户的投资回报率。
具体来说，在线广告的收益与广告转化率密切相关。其中，广告转化率率反映了用户点击某个广告后发生特定转化行为的概率，而准确的广告转化率预估对于个性化广告推荐十分关键。对大多数广告转化率的预测方法而言，其核心问题则是构建准确的广告表征并建模广告与用户兴趣的个性化关联。这一步骤的准确性与训练数据量高度相关。
然而，由于用户偏好和市场需求的快速演变，广告商通常需要频繁发布新的广告内容。新广告在投放初期会缺乏转化样本(即广告对应的转化行为)，使得广告转化率模型的训练样本较少，导致广告转化率模型的预测往往不够准确。
有鉴于此，目前亟需一种能够在缺乏广告的转化样本的情况下，提高广告转化率预测的方案。
发明内容
本申请提供了一种推荐模型的训练方法，能够在缺乏数据样本的情况下，提高模型的预测准确性。
本申请第一方面提供一种推荐模型的训练方法，应用于人工智能技术领域。该方法包括：首先获取训练样本，训练样本为内容推荐场景下的样本。其中，内容推荐场景可以是指针对于各种内容对象的推荐场景，例如针对于商品、旅游景点、应用或歌曲等任意对象的推荐。
然后，将训练样本输入第一网络，得到第一网络输出的样本特征和第一标识特征，其中样本特征是对训练样本执行特征提取得到的，第一标识特征是对样本特征执行处理得到的，且第一标识特征用于表征训练样本对应的推荐对象。即，第一网络可以是先对训练样本执行特征提取处理，得到样本特征；第一网络再继续对样本特征执行处理，得到第一标识特征。
其次，融合样本特征和第一标识特征，得到第一融合特征。并且，将第一融合特征输入第二网络，得到第二网络输出的预测结果，第二网络包括全局共享子网络和多个专有子网络，预测结果是融合全局共享子网络和目标子网络对第一融合特征进行处理的结果得到的，目标子网络是基于训练样本对应的推荐场景在多个专有子网络中确定的。具体来说，第二网络中包括一个全局共享子网络和多个专有子网络。多个专有子网络分别对应于多个推荐场景，每个专有子网络对应于唯一的一个推荐场景。在处理第一融合特征的过程中，会根据第一融合特征对应的训练样本的推荐场景在多个专有子网络中确定其中一个专有子网络(即目标子网络)来执行第一融合特征的处理。而全局共享子网络则是用于处理所有场景下对应的特征。
最后，基于损失函数，更新第一模型，该第一模型包括第一网络和第二网络，损失函数是基于预测结果以及训练样本对应的真实标签之间的差异得到的。
本方案中，先基于训练样本的特征来生成用于表征训练样本对应的推荐对象的标识特征，能够实现样本内知识迁移；再将训练样本的特征和标识特征融合后输入至全局共享网络和场景专有网络中进行结果预测，以充分学习场景间的共有信息和专有信息，实现跨场景知识迁移。本方案中通过同时开展样本内知识迁移和跨场景知识迁移，能够减轻模型对训练数据的依赖，充分地提高知识迁移效率，有效帮扶稀疏数据样本，提高模型的预测准确性。
在一种可能的实现方式中，损失函数包括第一子损失函数和第二子损失函数，第一子损失函数是基于预测结果以及训练样本对应的真实标签之间的差异得到的，第二子损失函数是基于不同场景间的相似度得到的，不同场景间的相似度是基于第二网络所输出的对应于不同场景的预测结果得到的。
本方案中，通过基于模型在不同场景上的预测结果来自动评估场景之间的相关性，并根据该相关性来构建损失函数，能够自适应性地控制场景之间的知识蒸馏强度，帮助相关场景之间建立更有效的知识转移通路并避免无关知识的干扰，提高模型的预测准确性。
在一种可能的实现方式中，不同场景间的相似度是基于第二网络输出的多个预测结果得到的，多个预测结果分别是融合全局共享子网络和不同的专有子网络对第一融合特征进行处理的结果得到的。
也就是说，在计算第一子损失函数时，是基于训练样本对应的推荐场景在第二网络中选择处理第一融合特征的专有子网络，进而得到唯一的一个预测结果。在计算第二子损失函数时，则是将第二网络中的全局共享子网络和各个专有子网络组合来处理第一融合特征，从而得到各个场景下对应的预测结果。这样一来，通过输出各个场景下的对应的预测结果，能够基于所输出的多个预测结果来确定不同场景间的相似度，实现场景间相关性的衡量。
在一种可能的实现方式中，损失函数包括第一子损失函数和第三子损失函数，第一子损失函数是基于预测结果以及训练样本对应的真实标签之间的差异得到的，第三子损失函数是基于第一标识特征和第二标识特征之间的差异得到的，第二标识特征是通过对训练样本对应的推荐对象的标识进行特征提取得到的。
具体来说，不同的训练样本可以是对应于相同的推荐对象，而相同的推荐对象的标识则是唯一的，因此不同的训练样本可以是对应于同一个第二标识特征。通过对推荐对象的标识进行特征提取得到第二标识特征之后，可以基于第二标识特征与第一标识特征之间的差异来构建第三子损失函数，进而实现基于第二标识特征来指导第一网络生成第一标识特征。这样一来，第一网络在处理对应于相同推荐对象的不同训练样本时，能够基于第三子损失函数的指导，来学习基于不同训练样本的样本特征生成相同的标识特征，有效地实现样本内知识迁移。
在一种可能的实现方式中，融合样本特征和第一标识特征，得到第一融合特征，包括：融合样本特征、第一标识特征和第二标识特征，得到第一融合特征。
在一种可能的实现方式中，第二网络还包括多个部分共享子网络，预测结果是融合第一结果、第二结果和第三结果得到的，第一结果为全局共享子网络对第一融合特征进行处理的结果，第二结果为目标子网络对第一融合特征进行处理的结果，第三结果是基于训练样本对应的推荐场景来融合多个部分共享子网络对第一融合特征进行处理的结果得到的。
在一种可能的实现方式中，融合样本特征和第一标识特征的方式与训练样本对应的推荐场景和/或训练样本对应的运行状态有关，其中运行状态用于指示训练样本对应的推荐对象的样本数量与预设数量之间的大小关系。例如，训练样本对应的推荐对象的样本数量小于预设数量时，训练样本的运行状态则为冷启动状态；训练样本对应的推荐对象的样本数量大于或等于预设数量时，训练样本的运行状态则为热启动状态。
在一种可能的实现方式中，融合样本特征和第一标识特征，得到第一融合特征，包括：基于训练样本对应的运行状态，融合多个特征生成网络对拼接特征进行处理的结果，得到第二融合特征，该拼接特征是通过拼接样本特征和第一标识特征得到的；基于训练样本对应的推荐场景，融合多个共享特征网络和目标特征网络对第二融合特征进行处理的结果，得到第一融合特征，其中目标特征网络是根据推荐场景从多个专有特征网络中确定的；其中，第一模型还包括多个特征生成网络、多个共享特征网络和多个专有特征网络。
本方案中，基于训练样本对应的推荐场景来融合不同的特征网络对第二融合特征处理进行处理的结果，能够实现对不同场景采用不同的特征聚合方式，进而得到场景定制化的特征表示，有效地提高模型在面对不同场景的训练样本时的预测准确性。
在一种可能的实现方式中，基于训练样本对应的运行状态，融合多个特征生成网络对拼接特征进行处理的结果，得到第二融合特征，包括：将多个特征生成网络对拼接特征进行处理的结果进行加权求和，得到第二融合特征；其中，多个特征生成网络对拼接特征进行处理的结果所对应的权重是根据训练样本对应的运行状态确定的。例如，将训练样本对应的运行状态转换为特征向量，并以该特征向量中的各个元素分别作为多个特征生成网络对拼接特征进行处理的结果在加权求和过程中所对应的权重。
本申请第二方面提供一种推荐模型的训练装置，包括：
获取模块，用于获取训练样本，训练样本为内容推荐场景下的样本；
处理模块，用于将训练样本输入第一网络，得到第一网络输出的样本特征和第一标识特征，其中样本特征是对训练样本执行特征提取得到的，第一标识特征是对样本特征执行处理得到的，且第一标识特征用于表征训练样本对应的推荐对象；
处理模块，还用于融合样本特征和第一标识特征，得到第一融合特征；
处理模块，还用于将第一融合特征输入第二网络，得到第二网络输出的预测结果，第二网络包括全局共享子网络和多个专有子网络，预测结果是融合全局共享子网络和目标子网络对第一融合特征进行处理的结果得到的，目标子网络是基于训练样本对应的推荐场景在多个专有子网络中确定的；
处理模块，还用于基于损失函数，更新第一模型，第一模型包括第一网络和第二网络，损失函数是基于预测结果以及训练样本对应的真实标签之间的差异得到的。
在一种可能的实现方式中，损失函数包括第一子损失函数和第二子损失函数，第一子损失函数是基于预测结果以及训练样本对应的真实标签之间的差异得到的，第二子损失函数是基于不同场景间的相似度得到的，不同场景间的相似度是基于第二网络所输出的对应于不同场景的预测结果得到的。
在一种可能的实现方式中，不同场景间的相似度是基于第二网络输出的多个预测结果得到的，多个预测结果分别是融合全局共享子网络和不同的专有子网络对第一融合特征进行处理的结果得到的。
在一种可能的实现方式中，损失函数包括第一子损失函数和第三子损失函数，第一子损失函数是基于预测结果以及训练样本对应的真实标签之间的差异得到的，第三子损失函数是基于第一标识特征和第二标识特征之间的差异得到的，第二标识特征是通过对训练样本对应的推荐对象的标识进行特征提取得到的。
在一种可能的实现方式中，处理模块，还用于融合样本特征、第一标识特征和第二标识特征，得到第一融合特征。
在一种可能的实现方式中，第二网络还包括多个部分共享子网络，预测结果是融合第一结果、第二结果和第三结果得到的，第一结果为全局共享子网络对第一融合特征进行处理的结果，第二结果为目标子网络对第一融合特征进行处理的结果，第三结果是基于训练样本对应的推荐场景来融合多个部分共享子网络对第一融合特征进行处理的结果得到的。
在一种可能的实现方式中，融合样本特征和第一标识特征的方式与训练样本对应的推荐场景和/或训练样本对应的运行状态有关，其中运行状态用于指示训练样本对应的推荐对象的样本数量与预设数量之间的大小关系。
在一种可能的实现方式中，处理模块，还用于：
基于训练样本对应的运行状态，融合多个特征生成网络对拼接特征进行处理的结果，得到第二融合特征，拼接特征是通过拼接样本特征和第一标识特征得到的；
基于训练样本对应的推荐场景，融合多个共享特征网络和目标特征网络对第二融合特征进行处理的结果，得到第一融合特征，其中目标特征网络是根据推荐场景从多个专有特征网络中确定的；
其中，第一模型还包括多个特征生成网络、多个共享特征网络和多个专有特征网络。
在一种可能的实现方式中，处理模块，还用于：
将多个特征生成网络对拼接特征进行处理的结果进行加权求和，得到第二融合特征；
其中，多个特征生成网络对拼接特征进行处理的结果所对应的权重是根据训练样本对应的运行状态确定的。
本申请第三方面提供一种点云数据的处理装置，可以包括处理器，处理器和存储器耦合，存储器存储有程序指令，当存储器存储的程序指令被处理器执行时实现上述第一方面或第一方面任一实现方式的方法。对于处理器执行第一方面的各个可能实现方式中的步骤，具体均可以参阅第一方面，此处不再赘述。
本申请第四方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面任一实现方式的方法。
本申请第五方面提供了一种电路系统，电路系统包括处理电路，处理电路配置为执行上述第一方面任一实现方式的方法。
本申请第六方面提供了一种计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面任一实现方式的方法。
本申请第七方面提供了一种芯片系统，该芯片系统包括处理器，用于支持服务器或门限值获取装置实现上述第一方面任一实现方式中所涉及的功能，例如，发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中，芯片系统还包括存储器，存储器，用于保存服务器或通信设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。
上述第二方面至第七方面的有益效果可以参考上述第一方面的介绍，在此不再赘述。
附图说明
图1为本申请实施例提供的一种应用商店的广告推荐示意图。
图2为本申请实施例提供的一种广告推荐系统的示意图。
图3为本申请实施例提供的一种系统架构300的示意图。
图4为本申请实施例提供的一种推荐模型的训练方法的流程示意图。
图5为本申请实施例提供的一种第一模型处理训练样本的流程示意图。
图6为本申请实施例提供的一种第二网络处理第一融合特征的流程示意图。
图7为本申请实施例提供的一种融合样本特征和第一标识特征的流程示意图。
图8为本申请实施例提供的一种转化率模型中的多个模块处理特征的流程示意图。
图9为本申请实施例提供的一种推荐模型的训练装置的结构示意图。
图10为本申请实施例提供的执行设备的一种结构示意图；
图11为本申请实施例提供的芯片的一种结构示意图；
图12为本申请实施例提供的一种计算机可读存储介质的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，下面结合附图，对本申请的实施例进行描述。显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。本领域普通技术人员可知，随着新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的描述在适当情况下可以互换，以便使实施例能够以除了在本申请图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行顺序，只要能达到相同或者相类似的技术效果即可。本申请中所出现的单元的划分，是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个单元可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的单元或子单元可以是也可以不是物理上的分离，可以是也可以不是物理单元，或者可以分布到多个电路单元中，可以根据实际的需要选择其中的部分或全部单元来实现本申请方案的目的。
为便于理解，以下先介绍本申请实施例所涉及的一些技术术语。
(1)推荐系统
推荐系统根据用户的历史点击行为数据，采用机器学习算法进行分析和学习，然后对用户的新请求进行预测，返回个性化物品推荐列表。
(2)转化率
转化率指用户在特定环境下对已点击的某个展示物品转化的概率，其中转化泛指下载、安装、注册等行为。
广告转化率则是指用户对所展示的广告进行转化的概率，例如点击观看、评论、下载、安装或注册等行为的概率。
(3)知识迁移
知识迁移是指通过把已有知识集合迁移到另一个目标领域，提升目标领域的建模能力。基于模型的知识迁移可以简单理解为就是基于模型参数的迁移学习，如何使所构建的模型可以学习到域之间的通用知识。
(4)多任务学习
多任务学习是指把多个相关的任务放在一起学习，同时学习多个任务。
(5)冷启动广告
冷启动广告通常是指新投放的且样本数量较少的广告。例如，针对于某一个广告，如果该广告在各个投放场景下的样本数量少于一定数量，则可以称该广告为冷启动广告。
(6)神经网络
神经网络可以是由神经单元组成的，神经单元可以是指以xs(即输入数据)和截距1为输入的运算单元，该运算单元的输出可以为：
其中，s＝1、2、……n，n为大于1的自然数，Ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入，激活函数可以是sigmoid函数。神经网络是将多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
(7)深度神经网络(Deep Neural Network，DNN)
深度神经网络，也称多层神经网络，可以理解为具有很多层隐含层的神经网络，这里的“很多”并没有特别的度量标准。从DNN按不同层的位置划分，DNN内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然DNN看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：其中，/>是输入向量，/>是输出向量，/>是偏移向量，W是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量/>经过如此简单的操作得到输出向量/>由于DNN层数多，则系数W和偏移向量/>的数量也就很多了。这些参数在DNN中的定义如下所述：以系数W为例：假设在一个三层的DNN中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为/>上标3代表系数W所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。总结就是：第L-1层的第k个神经元到第L层的第j个神经元的系数定义为/>需要注意的是，输入层是没有W参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。
(8)多层感知机(Multilayer Perceptron，MLP)
多层感知机是一种前馈人工神经网络模型，能够将输入的多个数据集映射到单一的输出的数据集上。典型的多层感知机包括三种网络层：输入层、隐层和输出层。并且，在多层感知机中，不同网络层之间是全连接的(即上一层的任何一个神经元与下一层的所有神经元都有连接)。
(9)损失函数
在训练神经网络的过程中，因为希望神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断的调整，直到神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么神经网络的训练就变成了尽可能缩小这个loss的过程。
(10)反向传播算法
神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的预测模型中参数的大小，使得预测模型的误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的预测模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的预测模型的参数，例如权重矩阵。
(11)梯度下降法(Gradient descent)
梯度下降法是一个一阶最优化算法，常用于机器学习当中用来递归性地逼近最小偏差预测模型。要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。在求解机器学习算法的预测模型参数，即无约束优化问题时，梯度下降法是最常采用的方法之一。
具体来说，在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和预测模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。
(12)Softmax函数
Softmax函数又称归一化指数函数，是逻辑函数的一种推广。Softmax函数能将一个含任意实数的K维向量Z变换为另一个K维向量σ(Z)，使得变换后的向量σ(Z)中的每一个元素的范围都在(0，1)之间，并且所有元素的和为1。Softmax函数的计算方式可以如公式1所示。
其中，σ(z)j表示经过Softmax函数变换后的向量中第j个元素的值；Zj表示向量Z中第j个元素的值；Zk表示向量Z中第k个元素的值；∑表示求和。
目前，在线广告的收益与广告转化率密切相关。其中，广告转化率率反映了用户点击某个广告后发生特定转化行为的概率，而准确的广告转化率预估对于个性化广告推荐十分关键。对大多数广告转化率的预测方法而言，其核心问题则是构建准确的广告表征并建模广告与用户兴趣的个性化关联。目前，构建准确的广告表征并建模广告与用户兴趣的个性化关联通常是通过神经网络模型来实现，而神经网络模型的准确性是与训练数据量高度相关的。
然而，由于用户偏好和市场需求的快速演变，广告商通常需要频繁发布新的广告内容。新广告在投放初期会缺乏转化样本(即广告对应的转化行为)，使得广告转化率模型(即上述的神经网络模型)的训练样本较少，导致广告转化率模型的预测往往不够准确。
具体来说，用户交互行为具有级联特性，越深层次的交互行为越稀疏。例如，用户针对于某一个广告应用的交互行为包括有：点击、浏览简介或评论、下载以及注册等行为。这些交互行为往往都是级联的，即用户往往是执行了上层行为后，才能够继续执行下层行为。比如，用户往往是需要在推荐界面上点击了所推荐的广告应用，才能够对该广告应用进行浏览简介或评论、下载以及注册等行为；用户往往是需要下载了广告应用，才能够继续在下载的广告应用上执行注册行为。
另一方面，广告主在相同预算下，往往会在多个广告渠道投放相同的广告，因而单种场景下的样本数据细分后更为稀疏。也就是说，对于内容相同的一个广告，该广告在不同场景下的样本数据会更为稀疏(即对应于同一个广告的多个样本数据分布于不同的场景下)。对于数据高度稀疏的广告样本，模型往往难以给出准确的推荐结果。
总而言之，目前亟需一种能够在缺乏广告的转化样本的情况下提高广告转化率预测的方案，便于提高广告投放的收益。
有鉴于此，本申请实施例提供一种推荐模型的训练方法，先基于训练样本的特征来生成用于表征训练样本对应的推荐对象的标识特征，能够实现样本内知识迁移；再将训练样本的特征和标识特征融合后输入至全局共享网络和场景专有网络中进行结果预测，以充分学习场景间的共有信息和专有信息，实现跨场景知识迁移。本方案中通过同时开展样本内知识迁移和跨场景知识迁移，能够减轻模型对训练数据的依赖，充分地提高知识迁移效率，有效帮扶稀疏数据样本，提高模型的预测准确性。
本申请实施例提供的方法可以应用于各种对象的推荐场景，例如商品、应用(Application)或歌曲等对象的推荐。因此，本申请实施例中，广告可以是这些推荐对象的载体，被推荐对象的信息可以通过广告页面来显示。
在一个可能的场景中，本申请实施例提供的方法可以是应用于在应用商店的界面上将应用软件或游戏软件作为广告推荐对象的场景。示例性地，请参阅图1，图1为本申请实施例提供的一种应用商店的广告推荐示意图。如图1所示，针对于用户手机上的某一个应用软件--应用商店而言，该应用商店是用户用于下载各种应用软件或游戏软件的。在该应用商店的界面中，显示了推荐系统所推荐的各种广告软件，即界面上的“精品应用”下所显示的各个应用软件。
在另一个可能的场景中，本申请实施例提供的方法还可以是应用于在社交软件、视频软件等应用软件上将商品或应用作为广告推荐对象的场景。例如，用户在通过视频软件观看视频时，用户在暂停观看视频的期间，视频软件上可以播放相应的广告，以推荐某一个商品或某一个应用。
在另一个可能的场景中，本申请实施例提供的方法还可以是在网上购物软件或网页上将商品作为广告推荐对象的场景。例如，用户在网上购物软件上搜索或浏览各种商品时，网上购物软件上可以将部分作为广告的商品置顶，以向用户优先推荐这部分置顶的商品。
总的来说，本申请实施例中并不限定广告所对应的推荐对象。
本申请实施例应用的系统场景是基于机器学习的应用场景。以下将以推荐系统中的点击率预测场景为例进行介绍，其中点击率为广告转化率中的一种。点击率预测场景是机器学习应用中的一种典型场景，其主要结构如图2所示。其中，图2为本申请实施例提供的一种广告推荐系统的示意图。如图2所示，广告推荐系统中包括日志、离线训练模块、预测模型、线上预测模块以及展示列表。
广告推荐系统的基本运行逻辑为：用户在前端的展示列表中进行一系列的行为，如浏览、点击、评论、下载等，产生行为数据，存储于日志中。推荐系统中的离线训练模块利用包括用户行为日志在内的数据进行离线的模型训练，从而训练得到预测模型。然后，将预测模型部署在线上服务环境并基于用户的请求访问、物品特征和上下文信息给出推荐结果，并将推荐结果显示于展示列表中。最后，用户对该展示列表中的推荐结果产生反馈形成用户的行为数据，且这些行为数据又会存储于日志中。
请参阅图3，图3为本申请实施例提供的一种系统架构300的示意图。如图3所示，在该系统架构300中，执行设备310可以是由一个或多个服务器实现。可选的，执行设备310与其它计算设备配合，例如：数据存储、路由器、负载均衡器等设备；执行设备310可以布置在一个物理站点上，或者分布在多个物理站点上。执行设备310可以使用数据存储系统320中的数据，或者调用数据存储系统320中的程序代码实现本申请实施例所提供的推荐模型的训练方法，进而得到模型。
用户可以操作各自的用户设备(例如本地设备301和本地设备302)与执行设备310进行交互。每个本地设备可以表示任何计算设备，例如个人计算机、计算机工作站、智能手机、平板电脑、笔记本电脑以及智能汽车等。
每个用户的本地设备可以通过任何通信机制/通信标准的通信网络与执行设备310进行交互，通信网络可以是广域网、局域网、点对点连接等方式，或它们的任意组合。
在一种实现中，执行设备310用于实现本申请实施例所提供的推荐模型的训练方法，并将得到的模型通过通信网络发送给本地设备301和本地设备302，以使得本地设备301和本地设备302能够实现模型的部署和运行。
在另一种实现中，执行设备310的一个方面或多个方面可以由每个本地设备实现，例如，本地设备301可以为执行设备310提供本地数据或反馈计算结果，或者是执行本申请实施例提供的推荐模型的训练方法。
需要注意的，执行设备310的所有功能也可以由本地设备实现。例如，本地设备301实现执行设备310的功能并为自己的用户提供服务，或者为本地设备302的用户提供服务。
总的来说，本申请实施例所提供的推荐模型的训练方法可以应用于电子设备上，例如上述的执行设备310、本地设备301或本地设备302。
请参阅图4，图4为本申请实施例提供的一种推荐模型的训练方法的流程示意图。如图4所示，该推荐模型的训练方法包括以下的步骤401-405。
步骤401，获取训练样本，训练样本为内容推荐场景下的样本。
其中，内容推荐场景可以是指针对于各种内容对象的推荐场景，例如针对于商品、旅游景点、应用或歌曲等任意对象的推荐。本实施例并不限定内容推荐场景下所推荐的对象的类型。此外，在本申请实施例中，广告可以是推荐对象的载体，即推荐对象的信息可以通过广告页面来显示。因此，内容推荐场景可以理解为能够通过广告的形式实现推荐各种对象的场景，例如内容推荐场景具体可以为在社交软件、视频平台或网站上推荐商品、旅游景点、应用或歌曲等对象的场景。
在内容推荐场景下，向用户推荐某一个对象时，能够获得用户针对于该被推荐对象的各种行为数据。因此，基于用户针对于推荐对象的各种行为数据、产生行为数据的状态信息以及推荐对象本身的信息，可以得到训练样本。
即，一个训练样本中例如可以包括推荐对象的信息、用户针对于推荐对象所产生的行为数据以及产生行为数据时的状态。其中，推荐对象的信息具体可以是包括但不限于推荐对象的类型(比如汽车、数码产品、食品、社交软件、游戏软件等)、推荐对象的内容特征(例如汽车的品牌、价格、款式以及颜色等)以及推荐对象与用户的关联特征(例如推荐对象被用户的社交好友点集、浏览或下载的次数等)。用户针对于推荐对象所产生的行为数据可以包括用户针对于推荐对象的点击行为、浏览行为、评论行为、下载行为或注册行为。产生行为数据时的状态可以是包括用户针对推荐对象产生行为数据时的日期、时间以及位置等可能会对用户行为产生影响的状态信息。
步骤402，将训练样本输入第一网络，得到第一网络输出的样本特征和第一标识特征，其中样本特征是对训练样本执行特征提取得到的，第一标识特征是对样本特征执行处理得到的，且第一标识特征用于表征训练样本对应的推荐对象。
具体来说，第一网络可以是先对训练样本执行特征提取处理，得到样本特征。然后，第一网络继续对样本特征执行处理，得到第一标识特征，且第一标识特征用于表征训练样本对应的推荐对象。由于同一个推荐对象可能会对应多个训练样本(例如推荐同一辆汽车的广告可能会面向多个用户投放，从而得到多个训练样本)，因此对样本特征进行处理以得到第一标识特征的过程实际上学习同一个推荐对象所对应的训练样本之间的共有特征，实现样本内的知识迁移。
示例性地，请参阅图5，图5为本申请实施例提供的一种第一模型处理训练样本的流程示意图。如图5所示，第一网络中可以包括特征提取子网络1和特征提取子网络2。特征提取子网络1的输入为训练样本，用于对训练样本执行特征提取，得到样本特征。特征提取子网络的输入为样本特征，用于对样本特征继续执行特征提取，得到第一标识特征。
可选的，为了引导第一网络准确地基于样本特征生成第一标识特征，本实施例中可以是对训练样本对应的推荐对象的标识执行特征提取，得到第二标识特征。然后，基于第二标识特征的指导，来引导第一网络生成第一标识特征。
其中，推荐对象的标识用于唯一地标识一个推荐对象。例如，在推荐对象为某一辆汽车的情况下，推荐对象的标识可以为000001；在推荐对象为某一种食品的情况下，推荐对象的标识可以为000121；在推荐对象为某一个游戏软件的情况下，推荐对象的标识可以为002001。并且，由于同一个推荐对象可能会在不同的场景进行推荐，以及会被推荐给不同的用户，因此一个推荐对象会对应于多个不同的训练样本。这样一来，不同的训练样本会对应于相同的推荐对象的标识，即不同的训练样本可能会对应于同一个第二标识特征。
本实施例中，第一网络的网络结构例如可以为MLP，本实施例对此并不做具体限定。
步骤403，融合样本特征和第一标识特征，得到第一融合特征。
本实施例中，融合样本特征和第一标识特征的方式可以有多种，本实施例并不限定融合样本特征和第一标识特征的方式。
在一种可能的实现方式中，可以通过将样本特征和第一标识特征进行拼接，得到第一融合特征。
在另一种可能的方式中，可以先将样本特征和第一标识特征进行拼接，然后通过一个子网络对拼接得到的特征进行处理，得到第一融合特征。
在又一种可能的方式中，可以先将样本特征和第一标识特征进行拼接，然后将拼接得到的特征分别输入多个子网络中，再对多个子网络所输出的特征进行加权求和，得到第一融合特征。
可选的，在预先提取得到训练样本对应的第二标识特征的情况下，本实施例中还可以是融合样本特征、第一标识特征和第二标识特征，得到第一融合特征。类似地，融合样本特征、第一标识特征和第二标识特征的方式同样可以是参考上述的多种实现方式。
步骤404，将第一融合特征输入第二网络，得到第二网络输出的预测结果，第二网络包括全局共享子网络和多个专有子网络，该预测结果是融合全局共享子网络和目标子网络对第一融合特征进行处理的结果得到的，目标子网络是基于训练样本对应的推荐场景在多个专有子网络中确定的。
具体来说，第二网络中包括一个全局共享子网络和多个专有子网络。其中，多个专有子网络分别对应于多个推荐场景，每个专有子网络对应于唯一的一个推荐场景。在处理第一融合特征的过程中，会根据第一融合特征对应的训练样本的推荐场景在多个专有子网络中确定其中一个专有子网络(即目标子网络)来执行第一融合特征的处理。而全局共享子网络则是用于处理所有场景下对应的特征。
可以理解的是，由于推荐对象可以是在不同的场景下被推荐的，因此不同的训练样本可能会对应于不同的推荐场景。例如，对于同一辆汽车的广告，该广告可能会投放在社交软件、视频软件或者是某一个网站等不同的地方(即同一个推荐对象出现在不同的推荐场景下)，进而得到不同推荐场景下的各种样本。并且，针对于同一个推荐对象而言，不同的推荐场景往往可能会影响该推荐对象对应的转化行为，因此本实施例中是为每个推荐场景定制一个对应的专有子网络，以使得第二网络能够学习得到各个推荐场景下的特有知识。
此外，本实施例中在第二网络部署一个全局共享子网络，该全局共享子网络能够对所有场景下对应的特征进行处理，从而学习各个场景之间的共有知识。
示例性地，如图5所示，第二网络中包括全局共享子网络以及M个专有子网络(即专有子网络1-专有子网络M)。由于第一融合特征所对应的训练样本的推荐场景为推荐场景1，因此第一融合特征分别输入至专有子网络和全局共享子网络中。并且，全局共享子网络处理第一融合特征后所输出的结果与专有子网络1处理第一融合特征后所输出的结果进行融合，得到第二网络输出的预测结果。
可选的，在一些实施例中，第二网络还包括多个部分共享子网络，第二网络所输出的预测结果则可以是融合第一结果、第二结果和第三结果得到的。第一结果为全局共享子网络对第一融合特征进行处理的结果，第二结果为目标子网络对第一融合特征进行处理的结果，第三结果是基于训练样本对应的推荐场景来融合多个部分共享子网络对第一融合特征进行处理的结果得到的。例如，第三结果可以是通过对多个部分共享子网络对第一融合特征进行处理的结果进行加权求和得到的，且每个部分共享子网络所输出的结果对应的权重是基于训练样本对应的推荐场景来确定的。
示例性地，请参阅图6，图6为本申请实施例提供的一种第二网络处理第一融合特征的流程示意图。如图6所示，第二网络中包括全局共享子网络、部分共享子网络1-部分共享子网络N、专有子网络1-专有子网络M。其中，第一融合特征输入至全局共享子网络以及部分共享子网络1-部分共享子网络N中。并且，由于第一融合特征对应的推荐场景为场景1，因此第一融合特征输入至对应的专有子网络1中。
其中，全局共享子网络处理第一融合特征，得到第一结果。专有子网络1处理第一融合特征，得到第二结果。部分共享子网络1-部分共享子网络N分别处理第一融合特征后所得到的结果进行融合，得到第三结果。通过进一步融合第一结果、第二结果和第三结果，得到第二网络最终所输出的预测结果。
由于全局共享子网络学习的各个推荐场景之间的共有知识，无法考虑到推荐场景的特点知识，而专有子网络则是针对性地学习推荐场景所特有的知识，从而使得全局共享子网络和专有子网络所学习的内容不够充分。因此，本方案中在全局共享子网络和专有子网络的基础上，引入多个部分共享子网络，通过多个部分共享子网络来处理特征，并基于特征所对应的推荐场景来确定多个部分共享子网络的输出结果的融合方式，实现同时学习推荐场景间的共有知识以及各个推荐场景的特有知识，提高了第二网络的预测准确性。
本实施例中，第二网络中的子网络的结构例如可以为MLP，本实施例对此不做具体限定。
步骤405，基于损失函数，更新第一模型，第一模型包括第一网络和第二网络，该损失函数是基于预测结果以及训练样本对应的真实标签之间的差异得到的。
具体而言，第二网络所输出的预测结果与训练样本对应的真实标签之间的差异越大，则损失函数越大；第二网络所输出的预测结果与训练样本对应的真实标签之间的差异越小，则损失函数越小。
基于损失函数更新第一模型的目标即为尽可能地减小损失函数，以使得第一模型最终所输出的预测结果尽可能地接近真实值。并且，基于损失函数更新第一模型的方式例如可以为采用梯度下降法来更新第一模型中的权重参数。在更新第一模型的过程中，是将第一模型中的所有网络(即第一网络和第二网络)的权重参数均进行更新。
其中，训练样本对应的真实标签例如可以采用0或1来表示，以指示训练样本是否具有对应的转化行为。其中，真实标签为0可以是表示训练样本不具有对应的转化行为(例如用户并没有对该训练样本执行点击、下载或注册等行为)，真实标签为1则可以是表示训练样本具有对应的转化行为(例如用户对该训练样本执行了点击、下载或注册等行为)。第二网络所输出的预测结果则可以为位于(0，1)范围内的任意数值。
本实施例中，先基于训练样本的特征来生成用于表征训练样本对应的推荐对象的标识特征，能够实现样本内知识迁移；再将训练样本的特征和标识特征融合后输入至全局共享网络和场景专有网络中进行结果预测，以充分学习场景间的共有信息和专有信息，实现跨场景知识迁移。本方案中通过同时开展样本内知识迁移和跨场景知识迁移，能够减轻模型对训练数据的依赖，充分地提高知识迁移效率，有效帮扶稀疏数据样本，提高模型的预测准确性。
可以理解的是，在完成第一模型的训练，得到第二模型之后，可以将第二模型部署到实际应用场景中。第二模型用于基于输入的待推荐对象的样本，预测待推荐对象对应的转化率。这样一来，在实际应用场景下，可以预测得到各个待推荐对象的转化率，进而使得推荐系统能够基于各个待推荐对象的转化率，选择在实际场景下推荐转化率较高的对象。
可选的，在一些实施例中，上述的损失函数包括第一子损失函数和第二子损失函数，其中第一子损失函数是基于预测结果以及训练样本对应的真实标签之间的差异得到的。第二子损失函数是基于不同场景间的相似度得到的，且不同场景间的相似度是基于第二网络所输出的对应于不同场景的预测结果得到的。
本方案中，通过基于模型在不同场景上的预测结果来自动评估场景之间的相关性，并根据该相关性来构建损失函数，能够自适应性地控制场景之间的知识蒸馏强度，帮助相关场景之间建立更有效的知识转移通路并避免无关知识的干扰，提高模型的预测准确性。
具体地，不同场景间的相似度可以是基于第二网络输出的多个预测结果得到的，多个预测结果分别是融合全局共享子网络和不同的专有子网络对第一融合特征进行处理的结果得到的。例如，假设第二网络中包括N个专有子网络，分别为专有子网络1-专有子网络N，则第二网络输出的多个预测结果同样可以为N个预测结果，分别为预测结果1-预测结果N。其中，预测结果1是融合全局共享子网络和专有子网络1对第一融合特征进行处理的结果得到的；预测结果2是融合全局共享子网络和专有子网络2对第一融合特征进行处理的结果得到的；…预测结果N是融合全局共享子网络和专有子网络N对第一融合特征进行处理的结果得到的。
也就是说，在计算第一子损失函数时，是基于训练样本对应的推荐场景在第二网络中选择处理第一融合特征的专有子网络，进而得到唯一的一个预测结果。在计算第二子损失函数时，则是将第二网络中的全局共享子网络和各个专有子网络组合来处理第一融合特征，从而得到各个场景下对应的预测结果。这样一来，通过输出各个场景下的对应的预测结果，能够基于所输出的多个预测结果来确定不同场景间的相似度，实现场景间相关性的衡量。
可选的，在一些实施例中，上述的损失函数可以包括第一子损失函数和第三子损失函数。其中，第一子损失函数是基于预测结果以及训练样本对应的真实标签之间的差异得到的，第三子损失函数是基于第一标识特征和第二标识特征之间的差异得到的，第二标识特征是通过对上述的训练样本对应的推荐对象的标识进行特征提取得到的。
具体来说，不同的训练样本可以是对应于相同的推荐对象，而相同的推荐对象的标识则是唯一的，因此不同的训练样本可以是对应于同一个第二标识特征。通过对推荐对象的标识进行特征提取得到第二标识特征之后，可以基于第二标识特征与第一标识特征之间的差异来构建第三子损失函数，进而实现基于第二标识特征来指导第一网络生成第一标识特征。这样一来，第一网络在处理对应于相同推荐对象的不同训练样本时，能够基于第三子损失函数的指导，来学习基于不同训练样本的样本特征生成相同的标识特征，有效地实现样本内知识迁移。
可选的，在一些实施例中，用于更新第一模型的损失函数可以是包括上述的第一子损失函数、第二子损失函数和第三子损失函数。其中，第一子损失函数是基于预测结果以及训练样本对应的真实标签之间的差异得到的，第二子损失函数是基于不同场景间的相似度得到的，第三子损失函数是基于第一标识特征和第二标识特征之间的差异得到的。
具体来说，第一子损失函数可以理解为标识特征生成损失函数，用于指导第一网络准确地基于训练样本的样本特征来生成训练样本对应的推荐对象的标识特征，实现样本内知识迁移。第二子损失函数可以理解为推荐预测损失函数，用于指导第二网络准确地预测输入数据对应的推荐结果。第三子损失函数可以理解为知识蒸馏损失函数，用于指导第二网络学习不同场景间的相关性，自适应性地控制场景之间的知识蒸馏强度，帮助相关场景之间建立更有效的知识转移通路并避免无关知识的干扰。
以上详细介绍了基于第一模型中的第一网络和第二网络来训练样本并构建相应的损失函数，以实现第一模型的训练的过程。
进一步地，以下将详细介绍上述步骤403中融合样本特征和第一标识特征的过程。
示例性地，融合样本特征和第一标识特征的方式与训练样本对应的推荐场景和/或训练样本对应的运行状态有关，其中训练样本的运行状态用于指示训练样本对应的推荐对象的样本数量与预设数量之间的大小关系。例如，训练样本对应的推荐对象的样本数量小于预设数量时，训练样本的运行状态则为冷启动状态；训练样本对应的推荐对象的样本数量大于或等于预设数量时，训练样本的运行状态则为热启动状态。当训练样本对应的运行状态为冷启动状态时，代表该训练样本对应的推荐对象的样本数较少，该推荐对象例如可能为通过新投放的广告来承载；当训练样本对应的运行状态为热启动状态时，代表该训练样本对应的推荐对象的样本数较多，该推荐对象例如可能为通过已投放一段时间的广告来承载。
预设数量的具体数值可以根据实际应用场景来确定或调整，例如预设数量的数值为7或10等数值，在此不做具体限定。
在一个可能的实施例中，融合样本特征和第一标识特征的过程具体可以包括：基于训练样本对应的运行状态，融合多个特征生成网络对拼接特征进行处理的结果，得到第二融合特征。其中，拼接特征是通过拼接样本特征和第一标识特征得到的。可选的，该拼接特征也可以是通过拼接样本特征、第一标识特征和第二标识特征得到的。
具体地，可以参阅图7，图7为本申请实施例提供的一种融合样本特征和第一标识特征的流程示意图。如图7所示，在通过拼接样本特征和第一标识特征得到拼接特征后，先将拼接特征分别输入至多个特征生成网络(即特征生成网络1-特征生成网络K)中，得到每个特征生成网络对拼接特征进行处理的结果。然后，再基于训练样本的运行状态来融合多个特征生成网络对拼接特征进行处理的结果，从而得到第二融合特征。即，训练样本的运行状态用于指导融合多个特征生成网络对拼接特征进行处理的结果。
然后，基于训练样本对应的推荐场景，融合多个共享特征网络和目标特征网络对第二融合特征进行处理的结果，得到第一融合特征，其中目标特征网络是根据训练样本的推荐场景从多个专有特征网络中确定的。即，多个专有特征网络与多个推荐场景一一对应，在处理第二融合特征时，需要根据第二融合特征所对应的训练样本所属的推荐场景从多个专有特征网络选择目标特征网络来处理第二融合特征。其中，多个共享特征网络例如为图7中所示的共享特征网络1-共享特征网络N；多个专有特征网络例如可以为图7中所示的专有特征网络1-专有特征网络M；目标特征网络例如可以为专有特征网络1。
本方案中，基于训练样本对应的推荐场景来融合不同的特征网络对第二融合特征处理进行处理的结果，能够实现对不同场景采用不同的特征聚合方式，进而得到场景定制化的特征表示，有效地提高模型在面对不同场景的训练样本时的预测准确性。
其中，第一模型还包括多个特征生成网络、多个共享特征网络和多个专有特征网络。在第一模型的训练过程中，还需要同步对上述的多个特征生成网络、多个共享特征网络和多个专有特征网络中的权重参数进行更新。
可选的，基于训练样本对应的运行状态，融合多个特征生成网络对拼接特征进行处理的结果具体可以包括：将多个特征生成网络对拼接特征进行处理的结果进行加权求和，得到第二融合特征；其中，多个特征生成网络对拼接特征进行处理的结果所对应的权重是根据训练样本对应的运行状态确定的。例如，将训练样本对应的运行状态转换为特征向量，并以该特征向量中的各个元素分别作为多个特征生成网络对拼接特征进行处理的结果在加权求和过程中所对应的权重。
类似地，基于训练样本对应的推荐场景，融合多个共享特征网络和目标特征网络对第二融合特征进行处理的结果具体可以包括：将多个共享特征网络和目标特征网络对第二融合特征进行处理的结果进行加权求和，得到第二融合特征；其中，多个共享特征网络和目标特征网络对第二融合特征进行处理的结果所对应的权重是根据训练样本对应的推荐场景确定的。例如，将训练样本对应的推荐场景转换为特征向量，并以该特征向量中的各个元素分别作为多个共享特征网络和目标特征网络对第二融合特征进行处理的结果在加权求和过程中所对应的权重。
以上介绍了本申请实施例提供的推荐模型的训练方法，以下将结合具体例子详细介绍在实际应用场景下执行推荐模型的训练方法的具体过程。
以图1所示的应用市场展示广告场景为例，推荐系统在应用市场上向用户展示广告往往需要依赖于各个广告的预测转化率，进而优先向用户展示一些预测转化率较高的广告。为了实现预测各个广告的转化率，可以是先构建并训练转化率预测模型。具体地，转化率预测模型的训练过程如下文所述的步骤S1-S4。
步骤S1，收集各个用户在广告推荐平台(例如应用市场)上针对于各个广告的转化行为，得到多个训练样本。由于训练样本中的各项数值均是离散的值，因此为了便于将训练样本转换为特征，可以是对训练样本进行独热编码，得到各个训练样本对应的编码值。然后，基于编码值与向量之间的映射关系(embedding table)，确定各个训练样本的编码值对应的特征向量，得到训练样本的的特征表达。其中，编码值与向量之间的映射关系可以是作为转化率预测模型的一部分，在转化率预测模型的训练过程中进行更新。
并且，由于每个训练样本均有对应的推荐场景，每个推荐场景有唯一的标识，因此还可以基于训练样本对应的推荐场景的标识生成训练样本对应的原始标识特征。
此外，基于训练样本所对应的推荐对象的样本数量，还可以将每个训练样本定义为冷启动广告或非冷启动广告。其中，冷启动广告是指训练样本对应的推荐对象的样本数量少于预设数量；非冷启动广告则是指训练样本对应的推荐对象的样本数量大于或等于预设数量。因此，还可以基于训练样本所属的运行状态(即是冷启动广告或非冷启动广告)来生成训练样本对应的运行状态特征。
步骤S2，将训练样本对应的样本特征、原始标识特征以及运行状态特征输入图8所示的端到端广告表征生成模块中，获取特征的隐含表征，并计算得到标识特征生成损失函数(即上述的第三子损失函数)。其中，图8为本申请实施例提供的一种转化率模型中的多个模块处理特征的流程示意图。
步骤S3，将端到端广告表征生成模块所输出的隐含表征输入多级参数共享模块，由多级参数共享模块输出每个训练样本在多个场景下的转化率预测值，并利用训练样本所属的真实场景下的转化率预测值与真实标签计算推荐预测损失函数。
步骤S4，将多级参数共享模块所输出的多个转化率预测值输入至场景自适应知识蒸馏模块中，以计算得到知识蒸馏损失函数。这样，基于标识特征生成损失函数、预测损失函数以及知识蒸馏损失函数可以构建得到最终的损失函数，进而基于损失函数完成模型的参数更新，即实现模型训练。
具体地，以下将结合图8详细介绍步骤S2-S3中各个模块的处理流程。
其中，上述的步骤S2具体包括以下的步骤S21-S23。其中，在步骤S21-S23中，端到端广告表征生成模块的输入包括样本特征ef、原始标识特征er以及运行状态特征ec。
步骤S21，通过MLP对样本特征ef进行处理，得到生成标识特征eg。并且，基于属于非冷启动广告的训练样本对应的原始标识特征er以及生成标识特征eg，构建标识特征生成损失函数即，在非冷启动广告样本集合/>上训练用于生成标识特征的MLP。具体地，标识特征生成损失函数/>的构建过程如以下公式所示。
步骤S22，对于任意一个训练样本，对原始标识特征er和生成标识特征eg进行随机混合，得到最终的生成标识特征e′g。
具体来说，对于属于冷启动广告的训练样本，则统一采用生成标识特征eg作为最终的生成标识特征e′g；对属于非冷启动广告的训练样本则随机选取原始标识特征er或生成标识特征eg作为最终的生成标识特征e′g。具体地，得到最终的生成标识特征e′g的过程如以下的公式所示。
其中，M的取值为0或1，且M为0的概率为p，即p为原始标识特征er选择作为最终的生成标识特征e′g的概率，M为1的概率为1-p，1-p为选择生成标识特征eg作为最终的生成标识特征e′g的概率。
步骤S23，将原始标识特征er以及最终的生成标识特征e′g以及样本特征ef拼接后输入至T个MLP中，得到T个MLP所输出的特征E。然后，对T个MLP中每个MLP所输出的特征进行加权求和，得到广告表征e。其中，每个MLP所输出的特征对应的权重是基于运行状态特征ec来确定的。具体地，通过多个MLP处理得到广告表征e的过程如以下的公式所示。
E＝{MLP1([er；e′g；ef]),…,MLPT([er；e′g；ef])}
ae＝Softmax(Weec)
e＝E·ae
其中，MLP1([er；e′g；ef])表示第1个MLP处理原始标识特征er以及最终的生成标识特征e′g以及样本特征ef所得到的特征，MLPT([er；e′g；ef])表示第T个MLP处理原始标识特征er以及最终的生成标识特征e′g以及样本特征ef所得到的特征，ae为T维的向量，We为权重参数。
上述的步骤S3具体包括以下的步骤S31-S33。
步骤S31，将广告表征e通过多个共享特征网络(即图8中所示的共享特征网络1-共享特征网络M)以及每个场景独占的一个专有特征网络进行处理后，输出隐含表征序列其中，/>表示第1个共享特征网络处理广告e后所得到的特征，/>表示第M个共享特征网络处理广告e后所得到的特征，/>表示专有特征网络i(即训练样本所对应的推荐场景所独占的专有特征网络)处理广告e后所得到的特征。
并且，针对不同场景，采用不同的融合方式来实现对隐含表征序列的融合(即加权求和)，从而得到每个场景的定制化特征。其中，步骤S31的具体过程可以如以下的公式所示。
ac＝Softmax(Wcie),
其中，ac为1+M维的向量，Wci为权重参数，且不同推荐场景下的训练样本对应于不同的Wci，hi为定制化特征， 为隐含表征序列。
基于上述的公式，针对同一个训练样本，能够得到该训练样本在不同推荐场景下对应的不同定制化特征，即图8中所示的h1…hM。
步骤S32，针对每个推荐场景下对应的定制化特征，可以将定制化特征输入至一个全局共享子网络、多个部分共享子网络以及一个与推荐场景对应的专有子网络中进行预测。其中，全局共享子网络和专有子网络分别输出预测结果和/>对于多个部分共享子网络，多个部分共享子网络所输出的预测结果会进行加权求和，且每个部分共享子网络对应的权重是基于推荐场景来确定的。具体地，多个部分共享子网络所输出的预测结果进行融合的过程如以下公式所示。
at＝Softmax(Wtes),
其中，表示多个部分共享子网络所输出的预测结果，Wt为权重参数，es为场景标识特征，at为K维的向量，/>为多个部分共享子网络的预测结果融合后所得到的结果。
步骤S33，聚合基于不同网络所得到的预测结果，得到模型最终所输出的预测结果，以基于该预测结果和真实标签计算推荐预测损失函数。其中，推荐预测损失函数的计算方式如以下公式所示。
其中，为模型最终所输出的预测结果，/>为全局共享子网络输出的预测结果，/>为多个部分共享子网络的预测结果融合后所得到的结果，/>为专有子网络输出的预测结果，σ为超参数，/>为推荐预测损失函数，si代表样本i的场景标识，yi为真实标签，/>为在训练样本的真实场景下模型最终所输出的预测结果。
上述的步骤S4具体包括以下的步骤S41-S43。
步骤S41，根据不同场景下的预测结果之间的距离，衡量场景i和j之间的绝对距离di,j：
其中，为第k个训练样本在第i个场景下的预测结果，/>为第k个训练样本在第j个场景下的预测结果。
步骤S42，根据场景平均距离进行归一化，得到场景间的相对距离/>
其中，N为场景的数量。
步骤S43，根据场景间的相对距离计算场景相似度wi,j，并计算自适应加权的知识蒸馏损失函数：
其中，为第i个场景和第j个场景之间的相似度，/>为知识蒸馏损失函数，/>为训练样本对应的真实场景下的预测结果，/>为训练样本对应的第j个场景的预测结果。
以上详细介绍了本申请实施例提供的方法，接下来将介绍本申请实施例提供的用于执行上述方法的设备。
请参阅图9，图9为本申请实施例提供的一种推荐模型的训练装置的结构示意图。如图9所示，该推荐模型的训练装置，包括：获取模块901，用于获取训练样本，训练样本为内容推荐场景下的样本；
处理模块902，用于将训练样本输入第一网络，得到第一网络输出的样本特征和第一标识特征，其中样本特征是对训练样本执行特征提取得到的，第一标识特征是对样本特征执行处理得到的，且第一标识特征用于表征训练样本对应的推荐对象；
处理模块902，还用于融合样本特征和第一标识特征，得到第一融合特征；
处理模块902，还用于将第一融合特征输入第二网络，得到第二网络输出的预测结果，第二网络包括全局共享子网络和多个专有子网络，预测结果是融合全局共享子网络和目标子网络对第一融合特征进行处理的结果得到的，目标子网络是基于训练样本对应的推荐场景在多个专有子网络中确定的；
处理模块902，还用于基于损失函数，更新第一模型，第一模型包括第一网络和第二网络，损失函数是基于预测结果以及训练样本对应的真实标签之间的差异得到的。
在一种可能的实现方式中，损失函数包括第一子损失函数和第二子损失函数，第一子损失函数是基于预测结果以及训练样本对应的真实标签之间的差异得到的，第二子损失函数是基于不同场景间的相似度得到的，不同场景间的相似度是基于第二网络所输出的对应于不同场景的预测结果得到的。
在一种可能的实现方式中，不同场景间的相似度是基于第二网络输出的多个预测结果得到的，多个预测结果分别是融合全局共享子网络和不同的专有子网络对第一融合特征进行处理的结果得到的。
在一种可能的实现方式中，损失函数包括第一子损失函数和第三子损失函数，第一子损失函数是基于预测结果以及训练样本对应的真实标签之间的差异得到的，第三子损失函数是基于第一标识特征和第二标识特征之间的差异得到的，第二标识特征是通过对训练样本对应的推荐对象的标识进行特征提取得到的。
在一种可能的实现方式中，处理模块902，还用于融合样本特征、第一标识特征和第二标识特征，得到第一融合特征。
在一种可能的实现方式中，第二网络还包括多个部分共享子网络，预测结果是融合第一结果、第二结果和第三结果得到的，第一结果为全局共享子网络对第一融合特征进行处理的结果，第二结果为目标子网络对第一融合特征进行处理的结果，第三结果是基于训练样本对应的推荐场景来融合多个部分共享子网络对第一融合特征进行处理的结果得到的。
在一种可能的实现方式中，融合样本特征和第一标识特征的方式与训练样本对应的推荐场景和/或训练样本对应的运行状态有关，其中运行状态用于指示训练样本对应的推荐对象的样本数量与预设数量之间的大小关系。
在一种可能的实现方式中，处理模块902，还用于：
基于训练样本对应的运行状态，融合多个特征生成网络对拼接特征进行处理的结果，得到第二融合特征，拼接特征是通过拼接样本特征和第一标识特征得到的；
基于训练样本对应的推荐场景，融合多个共享特征网络和目标特征网络对第二融合特征进行处理的结果，得到第一融合特征，其中目标特征网络是根据推荐场景从多个专有特征网络中确定的；
其中，第一模型还包括多个特征生成网络、多个共享特征网络和多个专有特征网络。
在一种可能的实现方式中，处理模块902，还用于：
将多个特征生成网络对拼接特征进行处理的结果进行加权求和，得到第二融合特征；
其中，多个特征生成网络对拼接特征进行处理的结果所对应的权重是根据训练样本对应的运行状态确定的。
请参阅图10，图10为本申请实施例提供的执行设备的一种结构示意图，执行设备1000具体可以表现为手机、平板、笔记本电脑、智能穿戴设备、服务器等，此处不做限定。具体的，执行设备1000包括：接收器1001、发射器1002、处理器1003和存储器1004(其中执行设备1000中的处理器1003的数量可以一个或多个，图10中以一个处理器为例)，其中，处理器1003可以包括应用处理器10031和通信处理器10032。在本申请的一些实施例中，接收器1001、发射器1002、处理器1003和存储器1004可通过总线或其它方式连接。
存储器1004可以包括只读存储器和随机存取存储器，并向处理器1003提供指令和数据。存储器1004的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory，NVRAM)。存储器1004存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。
处理器1003控制执行设备的操作。具体的应用中，执行设备的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。
上述本申请实施例揭示的方法可以应用于处理器1003中，或者由处理器1003实现。处理器1003可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1003中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1003可以是通用处理器、数字信号处理器(digital signal processing，DSP)、微处理器或微控制器，还可进一步包括专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
该处理器1003可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1004，处理器1003读取存储器1004中的信息，结合其硬件完成上述方法的步骤。
接收器1001可用于接收输入的数字或字符信息，以及产生与执行设备的相关设置以及功能控制有关的信号输入。发射器1002可用于通过第一接口输出数字或字符信息；发射器1002还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器1002还可以包括显示屏等显示设备。
本申请实施例提供的电子设备具体可以为芯片，芯片包括：处理单元和通信单元，处理单元例如可以是处理器，通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使执行设备内的芯片执行上述实施例描述的模型结构的确定方法，或者，以使训练设备内的芯片执行上述实施例描述的模型结构的确定方法。可选地，存储单元为芯片内的存储单元，如寄存器、缓存等，存储单元还可以是无线接入设备端内的位于芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random accessmemory，RAM)等。
具体的，请参阅图11，图11为本申请实施例提供的芯片的一种结构示意图，芯片可以表现为神经网络处理器NPU 1100，NPU 1100作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU的核心部分为运算电路1103，通过控制器1104控制运算电路1103提取存储器中的矩阵数据并进行乘法运算。
在一些实现中，运算电路1103内部包括多个处理单元(Process Engine,PE)。在一些实现中，运算电路1103是二维脉动阵列。运算电路1103还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路1103是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器1102中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器1101中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)1108中。
统一存储器1106用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(Direct Memory Access Controller，DMAC)1105，DMAC被搬运到权重存储器1102中。输入数据也通过DMAC被搬运到统一存储器1106中。
BIU为Bus Interface Unit即，总线接口单元1110，用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer，IFB)1109的交互。
总线接口单元1110(Bus Interface Unit，BIU)，用于取指存储器1109从外部存储器获取指令，还用于存储单元访问控制器1105从外部存储器获取输入矩阵A或者权重矩阵B的原数据。
DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器1106或将权重数据搬运到权重存储器1102中或将输入数据数据搬运到输入存储器1101中。
向量计算单元1107包括多个运算处理单元，在需要的情况下，对运算电路1103的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如批归一化(Batch Normalization)，像素级求和，对特征平面进行上采样等。
在一些实现中，向量计算单元1107能将经处理的输出的向量存储到统一存储器1106。例如，向量计算单元1107可以将线性函数；或，非线性函数应用到运算电路1103的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元1107生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路1103的激活输入，例如用于在神经网络中的后续层中的使用。
控制器1104连接的取指存储器(instruction fetch buffer)1109，用于存储控制器1104使用的指令；
统一存储器1106，输入存储器1101，权重存储器1102以及取指存储器1109均为On-Chip存储器。外部存储器私有于该NPU硬件架构。
其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述程序执行的集成电路。
可以参阅图12，图12为本申请实施例提供的一种计算机可读存储介质的结构示意图。本申请还提供了一种计算机可读存储介质，在一些实施例中，上述图6所公开的方法可以实施为以机器可读格式被编码在计算机可读存储介质上或者被编码在其它非瞬时性介质或者制品上的计算机程序指令。
图12示意性地示出根据这里展示的至少一些实施例而布置的示例计算机可读存储介质的概念性局部视图，示例计算机可读存储介质包括用于在计算设备上执行计算机进程的计算机程序。
在一个实施例中，计算机可读存储介质1200是使用信号承载介质1201来提供的。信号承载介质1201可以包括一个或多个程序指令1202，其当被一个或多个处理器运行时可以提供以上针对图6描述的功能或者部分功能。
在一些示例中，信号承载介质1201可以包含计算机可读介质1203,诸如但不限于，硬盘驱动器、紧密盘(CD)、数字视频光盘(DVD)、数字磁带、存储器、ROM或RAM等等。
在一些实施方式中，信号承载介质1201可以包含计算机可记录介质1204，诸如但不限于，存储器、读/写(R/W)CD、R/W DVD、等等。在一些实施方式中，信号承载介质1201可以包含通信介质1205,诸如但不限于，数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路、等等)。因此，例如，信号承载介质1201可以由无线形式的通信介质1205(例如，遵守IEEE 802.X标准或者其它传输协议的无线通信介质)来传达。
一个或多个程序指令1202可以是，例如，计算机可执行指令或者逻辑实施指令。在一些示例中，计算设备的计算设备可以被配置为，响应于通过计算机可读介质1203、计算机可记录介质1204、和/或通信介质1205中的一个或多个传达到计算设备的程序指令1202，提供各种操作、功能、或者动作。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本申请各个实施例的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid StateDisk，SSD))等。

Claims (21)

1.一种推荐模型的训练方法，其特征在于，包括：
获取训练样本，所述训练样本为内容推荐场景下的样本；
将所述训练样本输入第一网络，得到所述第一网络输出的样本特征和第一标识特征，其中所述样本特征是对所述训练样本执行特征提取得到的，所述第一标识特征是对所述样本特征执行处理得到的，且所述第一标识特征用于表征所述训练样本对应的推荐对象；
融合所述样本特征和所述第一标识特征，得到第一融合特征；
将所述第一融合特征输入第二网络，得到所述第二网络输出的预测结果，所述第二网络包括全局共享子网络和多个专有子网络，所述预测结果是融合所述全局共享子网络和目标子网络对所述第一融合特征进行处理的结果得到的，所述目标子网络是基于所述训练样本对应的推荐场景在所述多个专有子网络中确定的；
基于损失函数，更新第一模型，所述第一模型包括所述第一网络和所述第二网络，所述损失函数是基于所述预测结果以及所述训练样本对应的真实标签之间的差异得到的。
2.根据权利要求1所述的方法，其特征在于，所述损失函数包括第一子损失函数和第二子损失函数，所述第一子损失函数是基于所述预测结果以及所述训练样本对应的真实标签之间的差异得到的，所述第二子损失函数是基于不同场景间的相似度得到的，所述不同场景间的相似度是基于所述第二网络所输出的对应于不同场景的预测结果得到的。
3.根据权利要求2所述的方法，其特征在于，所述不同场景间的相似度是基于所述第二网络输出的多个预测结果得到的，所述多个预测结果分别是融合所述全局共享子网络和不同的专有子网络对所述第一融合特征进行处理的结果得到的。
4.根据权利要求1-3任意一项所述的方法，其特征在于，所述损失函数包括第一子损失函数和第三子损失函数，所述第一子损失函数是基于所述预测结果以及所述训练样本对应的真实标签之间的差异得到的，所述第三子损失函数是基于所述第一标识特征和第二标识特征之间的差异得到的，所述第二标识特征是通过对所述训练样本对应的推荐对象的标识进行特征提取得到的。
5.根据权利要求4所述的方法，其特征在于，所述融合所述样本特征和所述第一标识特征，得到第一融合特征，包括：
融合所述样本特征、所述第一标识特征和所述第二标识特征，得到所述第一融合特征。
6.根据权利要求1-5任意一项所述的方法，其特征在于，所述第二网络还包括多个部分共享子网络，所述预测结果是融合第一结果、第二结果和第三结果得到的，所述第一结果为所述全局共享子网络对所述第一融合特征进行处理的结果，所述第二结果为所述目标子网络对所述第一融合特征进行处理的结果，所述第三结果是基于所述训练样本对应的推荐场景来融合所述多个部分共享子网络对所述第一融合特征进行处理的结果得到的。
7.根据权利要求1-6任意一项所述的方法，其特征在于，融合所述样本特征和所述第一标识特征的方式与所述训练样本对应的推荐场景和/或所述训练样本对应的运行状态有关，其中所述运行状态用于指示所述训练样本对应的推荐对象的样本数量与预设数量之间的大小关系。
8.根据权利要求7所述的方法，其特征在于，所述融合所述样本特征和所述第一标识特征，得到第一融合特征，包括：
基于所述训练样本对应的运行状态，融合多个特征生成网络对拼接特征进行处理的结果，得到第二融合特征，所述拼接特征是通过拼接所述样本特征和所述第一标识特征得到的；
基于所述训练样本对应的推荐场景，融合多个共享特征网络和目标特征网络对所述第二融合特征进行处理的结果，得到所述第一融合特征，其中所述目标特征网络是根据所述推荐场景从多个专有特征网络中确定的；
其中，所述第一模型还包括所述多个特征生成网络、所述多个共享特征网络和所述多个专有特征网络。
9.根据权利要求8所述的方法，其特征在于，所述基于所述训练样本对应的运行状态，融合多个特征生成网络对拼接特征进行处理的结果，得到第二融合特征，包括：
将所述多个特征生成网络对所述拼接特征进行处理的结果进行加权求和，得到所述第二融合特征；
其中，所述多个特征生成网络对所述拼接特征进行处理的结果所对应的权重是根据所述训练样本对应的运行状态确定的。
10.一种推荐模型的训练装置，其特征在于，包括：
获取模块，用于获取训练样本，所述训练样本为内容推荐场景下的样本；
处理模块，用于将所述训练样本输入第一网络，得到所述第一网络输出的样本特征和第一标识特征，其中所述样本特征是对所述训练样本执行特征提取得到的，所述第一标识特征是对所述样本特征执行处理得到的，且所述第一标识特征用于表征所述训练样本对应的推荐对象；
所述处理模块，还用于融合所述样本特征和所述第一标识特征，得到第一融合特征；
所述处理模块，还用于将所述第一融合特征输入第二网络，得到所述第二网络输出的预测结果，所述第二网络包括全局共享子网络和多个专有子网络，所述预测结果是融合所述全局共享子网络和目标子网络对所述第一融合特征进行处理的结果得到的，所述目标子网络是基于所述训练样本对应的推荐场景在所述多个专有子网络中确定的；
所述处理模块，还用于基于损失函数，更新第一模型，所述第一模型包括所述第一网络和所述第二网络，所述损失函数是基于所述预测结果以及所述训练样本对应的真实标签之间的差异得到的。
11.根据权利要求10所述的装置，其特征在于，所述损失函数包括第一子损失函数和第二子损失函数，所述第一子损失函数是基于所述预测结果以及所述训练样本对应的真实标签之间的差异得到的，所述第二子损失函数是基于不同场景间的相似度得到的，所述不同场景间的相似度是基于所述第二网络所输出的对应于不同场景的预测结果得到的。
12.根据权利要求11所述的装置，其特征在于，所述不同场景间的相似度是基于所述第二网络输出的多个预测结果得到的，所述多个预测结果分别是融合所述全局共享子网络和不同的专有子网络对所述第一融合特征进行处理的结果得到的。
13.根据权利要求10-12任意一项所述的装置，其特征在于，所述损失函数包括第一子损失函数和第三子损失函数，所述第一子损失函数是基于所述预测结果以及所述训练样本对应的真实标签之间的差异得到的，所述第三子损失函数是基于所述第一标识特征和第二标识特征之间的差异得到的，所述第二标识特征是通过对所述训练样本对应的推荐对象的标识进行特征提取得到的。
14.根据权利要求13所述的装置，其特征在于，所述处理模块，还用于融合所述样本特征、所述第一标识特征和所述第二标识特征，得到所述第一融合特征。
15.根据权利要求10-14任意一项所述的装置，其特征在于，所述第二网络还包括多个部分共享子网络，所述预测结果是融合第一结果、第二结果和第三结果得到的，所述第一结果为所述全局共享子网络对所述第一融合特征进行处理的结果，所述第二结果为所述目标子网络对所述第一融合特征进行处理的结果，所述第三结果是基于所述训练样本对应的推荐场景来融合所述多个部分共享子网络对所述第一融合特征进行处理的结果得到的。
16.根据权利要求10-15任意一项所述的装置，其特征在于，融合所述样本特征和所述第一标识特征的方式与所述训练样本对应的推荐场景和/或所述训练样本对应的运行状态有关，其中所述运行状态用于指示所述训练样本对应的推荐对象的样本数量与预设数量之间的大小关系。
17.根据权利要求16所述的装置，其特征在于，所述处理模块，还用于：
基于所述训练样本对应的运行状态，融合多个特征生成网络对拼接特征进行处理的结果，得到第二融合特征，所述拼接特征是通过拼接所述样本特征和所述第一标识特征得到的；
基于所述训练样本对应的推荐场景，融合多个共享特征网络和目标特征网络对所述第二融合特征进行处理的结果，得到所述第一融合特征，其中所述目标特征网络是根据所述推荐场景从多个专有特征网络中确定的；
其中，所述第一模型还包括所述多个特征生成网络、所述多个共享特征网络和所述多个专有特征网络。
18.根据权利要求17所述的装置，其特征在于，所述处理模块，还用于：
将所述多个特征生成网络对所述拼接特征进行处理的结果进行加权求和，得到所述第二融合特征；
其中，所述多个特征生成网络对所述拼接特征进行处理的结果所对应的权重是根据所述训练样本对应的运行状态确定的。
19.一种推荐模型的训练装置，其特征在于，包括存储器和处理器；所述存储器存储有代码，所述处理器被配置为执行所述代码，当所述代码被执行时，所述装置执行如权利要求1至9任意一项所述的方法。
20.一种计算机存储介质，其特征在于，所述计算机存储介质存储有指令，所述指令在由计算机执行时使得所述计算机实施权利要求1至9任意一项所述的方法。
21.一种计算机程序产品，其特征在于，所述计算机程序产品存储有指令，所述指令在由计算机执行时使得所述计算机实施权利要求1至9任意一项所述的方法。
CN202310377216.9A 2023-03-31 2023-03-31 一种推荐模型的训练方法及相关装置 Pending CN116467594A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310377216.9A CN116467594A (zh) 2023-03-31 2023-03-31 一种推荐模型的训练方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310377216.9A CN116467594A (zh) 2023-03-31 2023-03-31 一种推荐模型的训练方法及相关装置

Publications (1)

Publication Number Publication Date
CN116467594A true CN116467594A (zh) 2023-07-21

Family

ID=87174607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310377216.9A Pending CN116467594A (zh) 2023-03-31 2023-03-31 一种推荐模型的训练方法及相关装置

Country Status (1)

Country Link
CN (1) CN116467594A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116821699A (zh) * 2023-08-31 2023-09-29 山东海量信息技术研究院 一种感知模型训练方法、装置及电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116821699A (zh) * 2023-08-31 2023-09-29 山东海量信息技术研究院 一种感知模型训练方法、装置及电子设备和存储介质
CN116821699B (zh) * 2023-08-31 2024-01-19 山东海量信息技术研究院 一种感知模型训练方法、装置及电子设备和存储介质

Similar Documents

Publication Publication Date Title
WO2021047593A1 (zh) 推荐模型的训练方法、预测选择概率的方法及装置
WO2022016556A1 (zh) 一种神经网络蒸馏方法以及装置
CN113688304A (zh) 搜索推荐模型的训练方法、搜索结果排序的方法及装置
WO2023221928A1 (zh) 一种推荐方法、训练方法以及装置
CN111950593A (zh) 一种推荐模型训练的方法及装置
WO2024002167A1 (zh) 一种操作预测方法及相关装置
WO2023185925A1 (zh) 一种数据处理方法及相关装置
CN116108267A (zh) 一种推荐方法及相关设备
CN116467594A (zh) 一种推荐模型的训练方法及相关装置
CN116049536A (zh) 一种推荐方法及相关装置
WO2023050143A1 (zh) 一种推荐模型训练方法及装置
CN117009650A (zh) 一种推荐方法以及装置
WO2023246735A1 (zh) 一种项目推荐方法及其相关设备
CN116910357A (zh) 一种数据处理方法及相关装置
CN116843022A (zh) 一种数据处理方法及相关装置
CN116910373A (zh) 房源推荐方法、装置、电子设备及存储介质
CN117251619A (zh) 一种数据处理方法及相关装置
CN116204709A (zh) 一种数据处理方法及相关装置
CN116308640A (zh) 一种推荐方法及相关装置
CN114707070A (zh) 一种用户行为预测方法及其相关设备
CN116703498B (zh) 商品推荐方法、装置、电子设备及存储介质
CN116881542A (zh) 一种物品推荐方法及其相关设备
US20240242127A1 (en) Recommendation method and related apparatus
WO2023236900A1 (zh) 一种项目推荐方法及其相关设备
CN117216378A (zh) 一种数据处理方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination