CN113269232B - 模型训练方法、向量化召回方法、相关设备及存储介质 - Google Patents

模型训练方法、向量化召回方法、相关设备及存储介质 Download PDF

Info

Publication number
CN113269232B
CN113269232B CN202110450417.8A CN202110450417A CN113269232B CN 113269232 B CN113269232 B CN 113269232B CN 202110450417 A CN202110450417 A CN 202110450417A CN 113269232 B CN113269232 B CN 113269232B
Authority
CN
China
Prior art keywords
advertisement
model
feature vector
user
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110450417.8A
Other languages
English (en)
Other versions
CN113269232A (zh
Inventor
秦筱桦
杜宝坤
杨仕豪
彭长平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Wodong Tianjun Information Technology Co Ltd
Priority to CN202110450417.8A priority Critical patent/CN113269232B/zh
Publication of CN113269232A publication Critical patent/CN113269232A/zh
Application granted granted Critical
Publication of CN113269232B publication Critical patent/CN113269232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Development Economics (AREA)
  • Evolutionary Computation (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种模型训练方法、向量化召回方法、模型训练装置、向量化召回装置、第一电子设备、第二电子设备及存储介质。其中，所述模型训练方法包括：模型训练的第一参与方基于联邦学习技术，确定与模型训练的第二参与方对齐的第一训练数据集；所述第一训练数据集包含第一类用户特征数据、广告特征数据及从所述第二参与方获取的所述第二参与方的加密模型参数；基于所述第一训练数据集，利用第一损失函数和第二损失函数，训练第一模型；所述第一模型用于确定第一类用户特征向量和广告特征向量，基于所述第一类用户特征向量、所述广告特征向量及所述加密模型参数，预测广告的点击通过率(CTR)。

Description

模型训练方法、向量化召回方法、相关设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种模型训练方法、向量化召回方法、相关设备及存储介质。
背景技术
需求方平台(DSP，Demand-Side Platform)，也可以称为DSP广告需求方平台，用于供广告主向媒体方投放广告。DSP通常包含推荐系统，推荐系统的核心作用是从海量的商品库挑选合适的商品并展示给用户。由于商品库中的商品数量巨大，因此，推荐系统通常包含两个数据处理阶段：召回阶段和排序阶段。在召回阶段中，推荐系统从全量的商品库中得到用户可能感兴趣的一小部分商品候选集，在排序阶段中，推荐系统对召回阶段得到的候选集进行排序，并基于排序结果将商品推荐给用户(即向用户推送广告)。为了提升用户体验，如何提高推荐给用户的广告与用户偏好的匹配度是亟待解决的问题。
发明内容
为解决相关技术问题，本申请实施例提供一种模型训练方法、向量化召回方法、相关设备及存储介质。
本申请实施例的技术方案是这样实现的：
本申请实施例提供了一种模型训练方法，包括：
模型训练的第一参与方基于联邦学习技术，确定与模型训练的第二参与方对齐的第一训练数据集；所述第一训练数据集包含第一类用户特征数据、广告特征数据及从所述第二参与方获取的所述第二参与方的加密模型参数；
基于所述第一训练数据集，利用第一损失函数和第二损失函数，训练第一模型；所述第一模型用于确定第一类用户特征向量和广告特征向量，基于所述第一类用户特征向量、所述广告特征向量及所述加密模型参数，预测广告的点击通过率(CTR，Click-Through-Rate)；其中，
所述加密模型参数表征所述第二参与方的第二类用户特征向量；所述加密模型参数是所述第二参与方基于联邦学习技术在与所述第一模型同步训练第二模型的过程中产生的；所述第一损失函数表示利用所述第一模型预测的CTR与实际的CTR之间的差异；所述第二损失函数表示所述第一模型基于所述第一训练数据集中的正向样本数据确定的所述第一类用户特征向量和所述广告特征向量之间的相似度。
上述方案中，所述利用第一损失函数和第二损失函数，训练第一模型，包括：
所述第一参与方基于权重参数，利用所述第一损失函数和所述第二损失函数，训练所述第一模型；所述权重参数表征所述第二损失函数相对于所述第一损失函数的重要程度。
上述方案中，所述训练第一模型，包括：
所述第一参与方基于深度神经网络(DNN，Deep Neural Network)算法和逻辑回归(LR，Logistic Regression)算法，训练所述第一模型。
上述方案中，所述方法还包括：
所述第一参与方在所述第一模型训练完成后，获取所述第一模型基于所述广告特征数据确定的广告特征向量及每个广告特征向量对应的广告标识，得到第一数据库；所述第一数据库用于实现广告的向量化召回。
本申请实施例还提供了一种向量化召回方法，包括：
模型训练的第一参与方接收模型训练的第二参与方发送的广告请求；
获取所述广告请求携带的用户标识对应的用户特征数据；
利用第一模型，确定所述用户特征数据对应的用户特征向量；所述第一模型用于确定第一类用户特征向量和广告特征向量，基于所述第一类用户特征向量、所述广告特征向量及从所述第二参与方获取的所述第二参与方的加密模型参数，预测广告的CTR；所述加密模型参数表征所述第二参与方的第二类用户特征向量；所述第一模型利用上述任一模型训练方法得到；
从第一数据库中确定与所述用户特征向量相似的至少一个广告特征向量；基于所述至少一个广告特征向量确定针对所述广告请求的广告推荐候选集；所述第一数据库包含所述第一模型基于广告特征数据确定的广告特征向量及每个广告特征向量对应的广告标识。
上述方案中，所述方法还包括：
所述第一参与方获取新的广告标识和所述新的广告标识对应的广告特征数据；
利用所述第一模型，确定所述广告特征数据对应的广告特征向量；将所述新的广告标识和所述广告特征向量存储至所述第一数据库。
上述方案中，所述从第一数据库中确定与所述用户特征向量相似的至少一个广告特征向量，包括：
所述第一参与方利用K近邻(KNN，K-NearestNeighbor)算法，从第一数据库中确定与所述用户特征向量相似的至少一个广告特征向量。
上述方案中，所述方法还包括：
所述第一参与方基于所述广告推荐候选集，确定所述用户标识对应的广告推荐结果；
向所述第二参与方发送所述用户标识对应的广告推荐结果。
本申请实施例还提供了一种模型训练装置，包括：
第一处理单元，用于基于联邦学习技术，确定与模型训练的第二参与方对齐的第一训练数据集；所述第一训练数据集包含第一类用户特征数据、广告特征数据及从所述第二参与方获取的所述第二参与方的加密模型参数；
第二处理单元，用于基于所述第一训练数据集，利用第一损失函数和第二损失函数，训练第一模型；所述第一模型用于确定第一类用户特征向量和广告特征向量，基于所述第一类用户特征向量、所述广告特征向量及所述加密模型参数，预测广告的CTR；其中，
所述加密模型参数表征所述第二参与方的第二类用户特征向量；所述加密模型参数是所述第二参与方基于联邦学习技术在与所述第一模型同步训练第二模型的过程中产生的；所述第一损失函数表示利用所述第一模型预测的CTR与实际的CTR之间的差异；所述第二损失函数表示所述第一模型基于所述第一训练数据集中的正向样本数据确定的所述第一类用户特征向量和所述广告特征向量之间的相似度。
本申请实施例还提供了一种向量化召回装置，包括：
接收单元，用于接收模型训练的第二参与方发送的广告请求；
第二获取单元，用于获取所述广告请求携带的用户标识对应的用户特征数据；
第三处理单元，用于利用第一模型，确定所述用户特征数据对应的用户特征向量；所述第一模型用于确定第一类用户特征向量和广告特征向量，基于所述第一类用户特征向量、所述广告特征向量及从所述第二参与方获取的所述第二参与方的加密模型参数，预测广告的CTR；所述加密模型参数表征所述第二参与方的第二类用户特征向量；所述第一模型利用上述任一模型训练方法得到；
第四处理单元，用于从第一数据库中确定与所述用户特征向量相似的至少一个广告特征向量；基于所述至少一个广告特征向量确定针对所述广告请求的广告推荐候选集；所述第一数据库包含所述第一模型基于广告特征数据确定的广告特征向量及每个广告特征向量对应的广告标识。
本申请实施例还提供了一种第一电子设备，包括：第一处理器和用于存储能够在处理器上运行的计算机程序的第一存储器，
其中，所述第一处理器用于运行所述计算机程序时，执行上述任一模型训练方法的步骤。
本申请实施例还提供了一种第二电子设备，包括：第二处理器和用于存储能够在处理器上运行的计算机程序的第二存储器，
其中，所述第二处理器用于运行所述计算机程序时，执行上述任一向量化召回方法的步骤。
本申请实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一模型训练方法的步骤，或者实现上述任一向量化召回方法的步骤。
本申请实施例提供的模型训练方法、向量化召回方法、相关设备及存储介质，模型训练的第一参与方基于联邦学习技术，确定与模型训练的第二参与方对齐的第一训练数据集；所述第一训练数据集包含第一类用户特征数据、广告特征数据及从所述第二参与方获取的所述第二参与方的加密模型参数；基于所述第一训练数据集，利用第一损失函数和第二损失函数，训练第一模型；所述第一模型用于确定第一类用户特征向量和广告特征向量，基于所述第一类用户特征向量、所述广告特征向量及所述加密模型参数，预测广告的CTR；其中，所述加密模型参数表征所述第二参与方的第二类用户特征向量；所述加密模型参数是所述第二参与方基于联邦学习技术在与所述第一模型同步训练第二模型的过程中产生的；所述第一损失函数表示利用所述第一模型预测的CTR与实际的CTR之间的差异；所述第二损失函数表示所述第一模型基于所述第一训练数据集中的正向样本数据确定的所述第一类用户特征向量和所述广告特征向量之间的相似度。本申请实施例的技术方案，在模型训练的第一参与方与第二参与方基于联邦学习技术联合训练模型的过程中，所述第一参与方基于包含第一类用户特征数据、广告特征数据及从所述第二参与方获取的表征所述第二参与方的第二类用户特征向量的加密模型参数的第一训练数据集，利用第一损失函数和第二损失函数，训练第一模型，所述第一损失函数表示利用第一模型预测的CTR与实际的CTR之间的差异；所述第二损失函数表示第一模型基于第一训练数据集中的正向样本数据确定的第一类用户特征向量和广告特征向量之间的相似度；如此，能够在利用所述第一模型预测的CTR与实际的CTR之间的差异最小化的前提下，使所述第一模型基于所述第一训练数据集中的正向样本数据确定的用户特征向量和广告特征向量之间的相似度最大化；换句话说，对于所述第一训练数据集中的正向样本数据，预测的CTR与实际的CTR之间的差异越小，所述第一类用户特征向量和所述广告特征向量之间的相似度更近；因此，第一模型能够提升所述第一参与方(比如DSP)的用户表征(即所述第一类用户特征向量)的表达效果，增加广告召回的泛化能力，即所述第一参与方确定的用户特征向量能够更准确地反映用户偏好，利用该用户特征向量召回的广告与用户偏好的匹配度更高。
附图说明
图1为本申请实施例模型训练方法的流程示意图；
图2为本申请实施例向量化召回方法的流程示意图；
图3为本申请应用实施例的系统原理示意图；
图4为本申请实施例模型训练装置的结构示意图；
图5为本申请实施例向量化召回装置的结构示意图；
图6为本申请实施例第一电子设备的结构示意图；
图7为本申请实施例第二电子设备的结构示意图。
具体实施方式
下面结合附图及实施例对本申请再作进一步详细的描述。
为了实现召回阶段的数据处理，DSP的推荐系统可以包含协同过滤、基于树的深度匹配算法、向量化召回等召回策略。其中，向量化召回的基本思想是：通过模型来学习用户和商品(即广告)的兴趣向量，并通过内积来计算用户和商品之间的相似性，从而得到最终的推荐候选集。实现向量化召回时，考虑到DSP和媒体方都存储了大量用户数据(比如用户标签和偏好数据)，为了提高推荐给用户的广告与用户偏好的匹配度，需要对DSP和媒体方双方的用户数据进行结合。然而，受限于对用户隐私的保护及相关法律法规，无法直接对DSP和媒体方双方的用户数据进行结合。
基于此，在本申请的各种实施例中，在模型训练的第一参与方(比如DSP)与第二参与方(比如媒体方)基于联邦学习技术联合训练模型的过程中，所述第一参与方基于包含第一类用户特征数据、广告特征数据及从所述第二参与方获取的表征所述第二参与方的第二类用户特征向量的加密模型参数的第一训练数据集，利用第一损失函数和第二损失函数，训练第一模型，所述第一损失函数表示利用第一模型预测的CTR与实际的CTR之间的差异；所述第二损失函数表示第一模型基于第一训练数据集中的正向样本数据确定的第一类用户特征向量和广告特征向量之间的相似度；如此，能够在利用所述第一模型预测的CTR与实际的CTR之间的差异最小化的前提下，使所述第一模型基于所述第一训练数据集中的正向样本数据确定的用户特征向量和广告特征向量之间的相似度最大化；换句话说，对于所述第一训练数据集中的正向样本数据，预测的CTR与实际的CTR之间的差异越小，所述第一类用户特征向量和所述广告特征向量之间的相似度更近；因此，第一模型能够提升所述第一参与方的用户表征(即所述第一类用户特征向量)的表达效果，增加广告召回的泛化能力，即所述第一参与方确定的用户特征向量能够更准确地反映用户偏好，利用该用户特征向量召回的广告与用户偏好的匹配度更高。
本申请实施例提供一种模型训练方法，如图1所示，该方法包括：
步骤101：模型训练的第一参与方基于联邦学习技术，确定与模型训练的第二参与方对齐的第一训练数据集；
这里，所述第一训练数据集包含第一类用户特征数据、广告特征数据及从所述第二参与方获取的所述第二参与方的加密模型参数；
步骤102：基于所述第一训练数据集，利用第一损失函数和第二损失函数，训练第一模型；
这里，所述第一模型用于确定第一类用户特征向量和广告特征向量，基于所述第一类用户特征向量、所述广告特征向量及所述加密模型参数，预测广告的CTR；
其中，所述加密模型参数表征所述第二参与方的第二类用户特征向量；所述加密模型参数是所述第二参与方基于联邦学习技术在与所述第一模型同步训练第二模型的过程中产生的；所述第一损失函数表示利用所述第一模型预测的CTR与实际的CTR之间的差异；所述第二损失函数表示所述第一模型基于所述第一训练数据集中的正向样本数据确定的所述第一类用户特征向量和所述广告特征向量之间的相似度。
需要说明的是，所述第一模型和所述第二模型是所述第一参与方和所述第二参与方基于联邦学习技术，利用相同的训练样本、所述第一损失函数和所述第二损失函数联合训练得到。所述加密模型参数是所述第二参与方向所述第一参与方发送的中间数据，相应地，所述第一参与方也会向所述第二参与方发送表征第一类用户特征向量和广告特征向量的加密模型参数。
实际应用时，所述第一参与方可以是DSP，具体可以是电商平台的服务器，所述第二参与方可以是媒体方，具体可以是一个应用程序(APP)的服务器。当然，所述第一参与方和所述第二参与方具体还可以是其他电子设备，本申请实施例对此不作限定。
在步骤101中，实际应用时，所述第一参与方和所述第二参与方作为联邦学习的两个参与方，分别拥有各自的特征数据，为了实现模型的联合训练，所述第一参与方和所述第二参与方需要确定双方共有的训练样本数据，所述双方共有的训练样本数据可以理解为同一标识信息(比如用户标识)分别在所述第一参与方和所述第二参与方对应的特征数据。为了不泄露各自的特征数据，所述第一参与方和所述第二参与方需要利用联邦学习提供的加密的样本对齐机制，确定双方共有的训练样本数据，即实现样本对齐，并基于对齐后的训练样本数据各自确定训练数据集。
实际应用时，所述第一参与方基于联邦学习技术，确定与所述第二参与方对齐的第一训练数据集时，对应的，所述第二参与方也基于联邦学习技术，确定与所述第一参与方对齐的第二训练数据集；所述第二训练数据集包含所述第二参与方的第二类用户特征数据和从所述第一参与方获取的所述第一参与方的加密模型参数；所述第一参与方的加密模型参数表征所述第一类用户特征向量和所述广告特征向量。
实际应用时，所述第一类用户特征数据可以包含用户的属性信息(比如性别信息、地域信息等)、用户的偏好信息(比如品牌、品类等)、用户的行为习惯信息、历史浏览商品信息、历史购买商品信息、历史收藏商品信息等。所述广告特征数据可以包含广告品牌、类目、属性等信息。所述第二参与方的第二类用户特征数据可以包含用户在所述第二参与方的属性信息和偏好信息。可见，所述第一参与方和所述第二参与方都存在用户的属性信息和偏好信息，基于联邦学习对双方的用户的属性信息和偏好信息结合来进行模型的训练，能够进一步提高所述第一模型输出的用户特征向量的表达效果，增加广告召回的泛化能力，即所述第一参与方确定的用户特征向量能够更准确地反映用户偏好，利用该用户特征向量召回的广告与用户偏好的匹配度更高。
在步骤102中，实际应用时，利用第一损失函数和第二损失函数训练第一模型，可以理解为基于第一优化目标和第二优化目标训练所述第一模型；所述第一优化目标与所述第一损失函数对应，使利用所述第一模型预测的CTR与实际的CTR之间的差异最小化；所述第二优化目标与所述第二损失函数对应，使所述第一模型基于所述第一训练数据集中的正向样本数据确定的所述第一类用户特征向量和所述广告特征向量之间的相似度最大化。
在一实施例中，所述利用第一损失函数和第二损失函数，训练第一模型，可以包括：
所述第一参与方基于权重参数，利用所述第一损失函数和所述第二损失函数，训练所述第一模型；所述权重参数表征所述第二损失函数相对于所述第一损失函数的重要程度。
实际应用时，所述权重参数可以根据需求设置。所述权重参数大于1时，表征所述第二损失函数比所述第一损失函数重要，换句话说，训练所述第一模型时，第二优化目标的优先级高于第一优化目标的优先级；所述权重参数等于1时，表征所述第二损失函数与所述第一损失函数同样重要，换句话说，训练所述第一模型时，第二优化目标的优先级等于第一优化目标的优先级；所述权重参数小于1时，表征所述第一损失函数比所述第二损失函数重要，换句话说，训练所述第一模型时，第一优化目标的优先级高于第二优化目标的优先级。
实际应用时，训练所述第一模型所使用的算法可以根据需求设置。
基于此，在一实施例中，所述训练第一模型，可以包括：
所述第一参与方基于DNN算法和LR算法，训练所述第一模型。
实际应用时，为了缩短实现广告向量化召回的时间，所述第一参与方可以在所述第一模型训练完成后，从所述第一模型中获取基于所述第一训练数据集中的广告特征数据确定的广告特征向量，直接从获取的广告特征向量中召回可以推荐给用户的广告。
基于此，在一实施例中，所述方法还可以包括：
所述第一参与方在所述第一模型训练完成后，获取所述第一模型基于所述广告特征数据确定的广告特征向量及每个广告特征向量对应的广告标识，得到第一数据库；所述第一数据库用于实现广告的向量化召回。
相应地，基于所述第一模型和所述第一数据库的应用，本申请实施例还提供了一种向量化召回方法，如图2所示，该方法包括：
步骤201：模型训练的第一参与方接收模型训练的第二参与方发送的广告请求；
步骤202：获取所述广告请求携带的用户标识对应的用户特征数据；
步骤203：利用第一模型，确定所述用户特征数据对应的用户特征向量；
这里，所述第一模型用于确定第一类用户特征向量和广告特征向量，基于所述第一类用户特征向量、所述广告特征向量及从所述第二参与方获取的所述第二参与方的加密模型参数，预测广告的CTR；所述加密模型参数表征所述第二参与方的第二类用户特征向量；所述第一模型利用本申请实施例的任一模型训练方法得到；
步骤204：从第一数据库中确定与所述用户特征向量相似的至少一个广告特征向量；基于所述至少一个广告特征向量确定针对所述广告请求的广告推荐候选集；
这里，所述第一数据库包含所述第一模型基于广告特征数据确定的广告特征向量及每个广告特征向量对应的广告标识。
实际应用时，所述第一参与方可以是DSP，具体可以是电商平台的服务器，所述第二参与方可以是媒体方，具体可以是一个APP的服务器。当然，所述第一参与方和所述第二参与方具体还可以是其他电子设备，本申请实施例对此不作限定。
在步骤201中，实际应用时，所述广告请求可以是用户在通过终端访问所述第二参与方(比如一个APP的服务器)的过程中触发的；所述广告请求携带的用户标识的类型可以根据需要设置。示例性地，所述用户标识可以体现为用户身份标识号(ID)。
在步骤202中，实际应用时，所述第一参与方可以从本地的用户特征数据库中获取所述用户标识对应的用户特征数据；所述用户特征数据可以包含用户的属性信息(比如性别信息、地域信息等)、用户的偏好信息(比如品牌、品类等)、用户的行为习惯信息、历史浏览商品信息、历史购买商品信息、历史收藏商品信息等。
在步骤203中，实际应用时，所述第一参与方可以将确定的用户特征数据输入所述第一模型，得到所述用户特征数据对应的用户特征向量。
在步骤204中，实际应用时，所述第一参与方计算用户特征向量与广告特征向量的相似度的算法可以根据需求设置。
基于此，在一实施例中，所述从第一数据库中确定与所述用户特征向量相似的至少一个广告特征向量，可以包括：
所述第一参与方利用KNN算法，从第一数据库中确定与所述用户特征向量相似的至少一个广告特征向量。
实际应用时，所述第一参与方为DSP的情况下，广告主可能需要投放新的广告(比如上架新商品)，此时，所述DSP可以获取新的广告特征数据，利用所述第一模型生成新的广告特征向量，并将新的广告特征向量存储到所述第一数据库，从而能够将新的广告推荐给用户。
基于此，在一实施例中，所述方法还可以包括：
所述第一参与方获取新的广告标识和所述新的广告标识对应的广告特征数据；
利用所述第一模型，确定所述广告特征数据对应的广告特征向量；将所述新的广告标识和所述广告特征向量存储至所述第一数据库。
实际应用时，所述广告标识可以根据需求设置。示例性地，所述广告标识可以体现为广告ID。
在一实施例中，确定所述广告推荐候选集后，所述方法还可以包括：
所述第一参与方基于所述广告推荐候选集，确定所述用户标识对应的广告推荐结果；
向所述第二参与方发送所述用户标识对应的广告推荐结果。
实际应用时，基于所述广告推荐候选集，确定所述用户标识对应的广告推荐结果的方式可以根据需求设置，比如，可以通过使所述广告推荐候选集中的广告特征向量按照与所述用户特征向量的匹配度排序来确定所述广告推荐结果。
实际应用时，在所述第一参与方为DSP、所述第二参与方为媒体方的情况下，用户在通过终端访问媒体方的过程中(比如用户在终端打开一个APP)触发所述广告请求，DSP确定所述广告请求对应的广告推荐结果发送给媒体方后，媒体方会在用户终端呈现DSP推荐的广告。
本申请实施例提供的模型训练方法和向量化召回方法，由于第一模型是利用第一损失函数和第二损失函数训练得到的，因此，能够在利用所述第一模型预测的CTR与实际的CTR之间的差异最小化的前提下，使所述第一模型基于所述第一训练数据集中的正向样本数据确定的用户特征向量和广告特征向量之间的相似度最大化；换句话说，对于所述第一训练数据集中的正向样本数据，预测的CTR与实际的CTR之间的差异越小，所述第一类用户特征向量和所述广告特征向量之间的相似度更近；因此，第一模型能够提升所述第一参与方(比如DSP)的用户表征(即所述第一类用户特征向量)的表达效果，增加广告召回的泛化能力，即所述第一参与方确定的用户特征向量能够更准确地反映用户偏好，利用该用户特征向量召回的广告与用户偏好的匹配度更高。
下面结合应用实施例对本申请再作进一步详细的描述。
在本应用实施例中，模型训练的第一参与方为DSP；模型训练的第二参与方为媒体方。在DSP于媒体方投放广告的场景下，受限于对用户隐私的保护及相关法律法规，DSP无法获得媒体方真实的用户表征(即用户特征数据)。因此，基于联邦学习技术，在不泄露用户隐私的情况下，有效利用DSP的用户特征数据及媒体方提供的用户特征数据，构建媒体方与DSP实现向量化召回的联合模型，利用联邦学习技术提升广告召回的泛化效果，使得召回的广告特征向量与用户偏好的匹配度更高。具体地，利用了联邦学习平台(比如九数联邦学习(9NFL，9Numbers Federation Learning)平台)对加密的样本对齐以及加密的模型训练的支持，设计了DSP与媒体方进行联邦建模的方案，实现向量化召回。
在本应用实施例中，整个联合模型分为两部分(可以理解为两部分子模型)：站内外数据的CTR预测模型和站内数据的向量化召回模型；这里，站内数据是指DSP的本地数据(包括上述第一类用户特征数据和广告特征数据)，站外数据是指媒体方的数据(包括上述第二类用户特征数据)。
在本应用实施例中，媒体方输入联合模型的特征数据包括：媒体方积累(即存储)的用户特征数据(即所述第二类用户特征数据)；媒体方积累的用户特征数据可以包含用户的偏好标签(比如品牌、品类等)、用户的属性(比如性别、地域等)等信息。DSP输入联合模型的特征数据包括以下三部分：
第一，用户特征数据(即所述第一类用户特征数据)，可以包含用户的偏好标签(比如品牌、品类等)、用户的属性(比如性别、地域等)、用户的行为习惯特征等信息。
第二，广告特征数据，可以包含广告品牌、类目、属性等信息。
第三，交叉特征数据，可以包含用户在线购物的兴趣特征信息，比如历史浏览、购买、收藏的商品/类目等信息。这里，所述交叉特征数据可以理解为能够体现用户特征与广告特征的关联性的特征数据。
下面结合图3详细描述本应用实施例的模型训练过程。
首先，对CTR预测模型进行描述。
基于联邦学习技术训练模型时，媒体方和DSP需要先进行样本对齐，这样能够保证在模型训练的过程中媒体方和DSP的输入数据是来自相同训练样本的特征数据。这里，对齐后的样本可以表示为NAB。进行样本对齐后，媒体方和DSP可以基于NAB，利用DNN算法和LR算法，训练CTR预测模型。
实际应用时，可以基于9NFL平台提供的双塔DNN加密模型，构建媒体方和DSP用于提取特征(也可以称为稠密特征、特征表达或特征向量，英文可以表示为Embedding)的神经网络架构。其中，媒体方的神经网络架构可以表示为NetA；DSP的神经网络架构可以表示为NetB；媒体方利用NetA得到的特征向量(即上述第二类用户特征向量)可以表示为EmbA；DSP利用NetB得到的特征向量可以表示为EmbB。这里，由于DSP的特征数据包括：用户特征(英文可以表示为User Feature)数据、广告特征(英文可表示为Ad Feature)数据和交叉特征(英文可以表示为Cross Feature)数据，因此，对应于DSP的三部分特征数据，NetB可以包含NetB1、NetB2和NetB3；DSP将用户特征数据输入NetB1得到的用户特征向量(即上述第一类用户特征向量)可以表示为EmbBU；DSP将广告特征数据输入NetB2得到的广告特征向量可以表示为EmbBA；DSP将交叉特征数据输入NetB3得到的交叉特征向量可以表示为EmbBC；EmbB包括EmbBU、EmbBA和EmbBC。
实际应用时，媒体方输入NetA的原始特征数据可以表示为xA；DSP输入NetB的原始特征数据可以表示为xB；NetA的输出数据还可以表示为x'A，即x'A＝EmbA＝NetA(xA)；NetB的输出数据还可以表示为x'B，即x'B＝EmbB＝NetB(xB)。得到x'A和x'B后，可以对x'A和x'B进行拼接(英文可以表示为Concat)，利用拼接的结果预测CTR。利用x'A和x'B的拼接结果预测CTR时，可以使x'A和x'B的拼接结果经过一个LR模型，即将x'A和x'B的拼接结果输入LR模型。其中，LR模型的参数可以表示为ω＝[ωA,ωB]，ωA表示媒体方LR模型的回归参数，ωB表示DSP的LR模型的回归参数；则媒体方LR模型的计算结果可以表示为uA＝ωA Tx'A；DSP的LR模型的计算结果可以表示为uB＝ωB Tx'B；预测的CTR可以通过以下公式表示：
其中，表示预测的CTR。
相应地，CTR预测模型的优化目标(使利用公式(1)预测的CTR与实际的CTR之间的差异最小化)可以通过以下公式表示：
其中，ΘA表示NetA的模型参数；ΘB表示NetB的模型参数；L1表示利用公式(1)预测的CTR与实际的CTR之间的差异(即上述第一损失函数)；另外，x'＝[x'A,x'B]；y表示NAB中样本的标签(英文可以表示为Label)，y∈{-1,1}，y为-1时，表示相应样本为负向样本数据，即广告发生曝光且未发生点击；y为1时，表示相应样本为正向样本数据，即广告发生曝光且发生点击。
实际应用时，L1可以通过以下公式表示：
l(x'i,yi)＝log(1+exp(-yiωTx'i)) (3)
其次，对向量化召回模型进行描述。
在本应用实施例中，利用了DSP内部(即本地)的用户特征(英文可以表示为UserFeature)数据和广告特征(英文可表示为Ad Feature)数据，计算利用NetB1得到的向量表征与利用NetB2得到的向量表征/>之间的相似度。实际应用时，可以计算和/>之间的余弦相似度，并和对应的标签yi做差得到上述第二损失函数L2。基于L2，可以通过以下公式表示向量化召回模型的优化目标(利用正向样本数据得到的和/>之间的相似度最大化)：
其中，和/>之间的余弦相似度可以通过以下公式计算：
通过公式(4)和公式(5)训练向量化召回模型，能够使DSP内的用户、广告表征尽可能相似，换句话说，使得利用联合模型(CTR预测模型(包括NetA、NetB1、NetB2、NetB3和LR模型)和向量化召回模型)得到的用户特征向量和广告特征向量之间的相似度最大化。利用所述联合模型，能够提升DSP站内用户表征的表达效果，增加广告召回的泛化能力。
实际应用时，针对所述联合模型的最终优化目标可以通过以下公式表示：
其中，λ表示权重参数，可以根据需求设置，比如1。
实际应用时，所述联合模型训练完成后，DSP可以将自己的子模型(即NetB2)的最后一层EmbBA抽取出来(即导出)，然后将<广告ID,EmbBA>存储到数据库(即上述第一数据库)中。对于来自媒体方的一条广告请求，DSP首先可以基于用户ID在本地收集用户特征数据，将收集的用户特征数据输入NetB1得到EmbBU；之后，DSP可以将得到的EmbBU与数据库中的EmbBA进行相似度计算(比如通过Faiss系统和KNN算法进行相似度计算)，得到K(K为大于0的整数，可以根据需求设置)个与EmbBU最相似的EmbBA及对应的广告ID，实现广告向量化召回。其中，可以利用公式(5)计算EmbBU和EmbBA之间的相似度。
这里，由于经过DNN生成Embedding需要一定耗时，为了降低耗时，考虑到EmbBA相对比较固定，因此，可以在联合模型训练完成后将EmbBA导出并存储在所述第一数据库中，只在有新广告的情况下利用NetB2生成新的EmbBA并添加到所述第一数据库。同时，由于用户特征需要基于媒体方的广告请求实时更新，因此，将最新的用户特征数据(即基于媒体方最新的广告请求采集的用户特征数据)输入NetB1得到最新的EmbBU。
本申请应用实施例提供的方案，通过安全联邦学习技术，不限于传统向量化召回的场景，利用DSP的用户特征数据和媒体方的用户特征数据共同建模，解决了跨公司数据无法直接共享的问题。同时，本申请应用实施例提供了一种CTR预估的站内外联合建模方案(即DSP和媒体方联合建模方案)，利用得到的联合模型，可以得到EmbBU，并利用Faiss系统进行EmbBU与所述第一数据库中的EmbBA之间的相似度计算，实现广告的向量化召回，提高召回的广告特征向量与用户偏好的匹配度。
为了实现本申请实施例的模型训练方法，本申请实施例还提供了一种模型训练装置，设置于模型训练的第一参与方，如图4所示，该装置包括：
第一处理单元401，用于基于联邦学习技术，确定与模型训练的第二参与方对齐的第一训练数据集；所述第一训练数据集包含第一类用户特征数据、广告特征数据及从所述第二参与方获取的所述第二参与方的加密模型参数；
第二处理单元402，用于基于所述第一训练数据集，利用第一损失函数和第二损失函数，训练第一模型；所述第一模型用于确定第一类用户特征向量和广告特征向量，基于所述第一类用户特征向量、所述广告特征向量及所述加密模型参数，预测广告的CTR；其中，
所述加密模型参数表征所述第二参与方的第二类用户特征向量；所述加密模型参数是所述第二参与方基于联邦学习技术在与所述第一模型同步训练第二模型的过程中产生的；所述第一损失函数表示利用所述第一模型预测的CTR与实际的CTR之间的差异；所述第二损失函数表示所述第一模型基于所述第一训练数据集中的正向样本数据确定的所述第一类用户特征向量和所述广告特征向量之间的相似度。
其中，在一实施例中，所述第二处理单元402，具体用于基于权重参数，利用所述第一损失函数和所述第二损失函数，训练所述第一模型；所述权重参数表征所述第二损失函数相对于所述第一损失函数的重要程度。
在一实施例中，所述第二处理单元402，还用于基于DNN算法和LR算法，训练所述第一模型。
在一实施例中，该装置还包括第一获取单元，用于在所述第一模型训练完成后，获取所述第一模型基于所述广告特征数据确定的广告特征向量及每个广告特征向量对应的广告标识，得到第一数据库；所述第一数据库用于实现广告的向量化召回。
实际应用时，所述第一处理单元401、所述第二处理单元402和所述第一获取单元可由模型训练装置中的处理器结合通信接口实现。
需要说明的是：上述实施例提供的模型训练装置在训练模型时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的模型训练装置与模型训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
为了实现本申请实施例的向量化召回方法，本申请实施例还提供了一种向量化召回装置，设置于模型训练的第一参与方，如图5所示，该装置包括：
接收单元501，用于接收模型训练的第二参与方发送的广告请求；
第二获取单元502，用于获取所述广告请求携带的用户标识对应的用户特征数据；
第三处理单元503，用于利用第一模型，确定所述用户特征数据对应的用户特征向量；所述第一模型用于确定第一类用户特征向量和广告特征向量，基于所述第一类用户特征向量、所述广告特征向量及从所述第二参与方获取的所述第二参与方的加密模型参数，预测广告的CTR；所述加密模型参数表征所述第二参与方的第二类用户特征向量；所述第一模型利用本申请实施例的任一模型训练方法得到；
第四处理单元504，用于从第一数据库中确定与所述用户特征向量相似的至少一个广告特征向量；基于所述至少一个广告特征向量确定针对所述广告请求的广告推荐候选集；所述第一数据库包含所述第一模型基于广告特征数据确定的广告特征向量及每个广告特征向量对应的广告标识。
其中，在一实施例中，所述第二获取单元502，还用获取新的广告标识和所述新的广告标识对应的广告特征数据；
所述第三处理单元503，还用于利用所述第一模型，确定所述广告特征数据对应的广告特征向量；将所述新的广告标识和所述广告特征向量存储至所述第一数据库。
在一实施例中，所述第四处理单元504，具体用于利用KNN算法，从第一数据库中确定与所述用户特征向量相似的至少一个广告特征向量。
在一实施例中，该装置还包括：
第五处理单元，用于基于所述广告推荐候选集，确定所述用户标识对应的广告推荐结果；
发送单元，用于向所述第二参与方发送所述用户标识对应的广告推荐结果。
实际应用时，所述接收单元501、所述第二获取单元502和所述发送单元可由向量化召回装置中的处理器结合通信接口实现；所述第三处理单元503、所述第四处理单元504和所述第五处理单元可由向量化召回装置中的处理器实现。
需要说明的是：上述实施例提供的向量化召回装置在进行向量化召回时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的向量化召回装置与向量化召回方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
基于上述程序模块的硬件实现，且为了实现本申请实施例的模型训练方法，本申请实施例还提供了一种第一电子设备，设置于模型训练的第一参与方，如图6所示，该第一电子设备600包括：
第一通信接口601，能够与其他电子设备进行信息交互；
第一处理器602，与所述第一通信接口601连接，以实现与其他电子设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的模型训练方法；
第一存储器603，存储能够在所述第一处理器602上运行的计算机程序。
具体地，所述第一处理器602，用于：
基于联邦学习技术，确定与模型训练的第二参与方对齐的第一训练数据集；所述第一训练数据集包含第一类用户特征数据、广告特征数据及从所述第二参与方获取的所述第二参与方的加密模型参数；
基于所述第一训练数据集，利用第一损失函数和第二损失函数，训练第一模型；所述第一模型用于确定第一类用户特征向量和广告特征向量，基于所述第一类用户特征向量、所述广告特征向量及所述加密模型参数，预测广告的CTR；其中，
所述加密模型参数表征所述第二参与方的第二类用户特征向量；所述加密模型参数是所述第二参与方基于联邦学习技术在与所述第一模型同步训练第二模型的过程中产生的；所述第一损失函数表示利用所述第一模型预测的CTR与实际的CTR之间的差异；所述第二损失函数表示所述第一模型基于所述第一训练数据集中的正向样本数据确定的所述第一类用户特征向量和所述广告特征向量之间的相似度。
其中，在一实施例中，所述第一处理器602，具体用于基于权重参数，利用所述第一损失函数和所述第二损失函数，训练所述第一模型；所述权重参数表征所述第二损失函数相对于所述第一损失函数的重要程度。
在一实施例中，所述第一处理器602，还用于基于DNN算法和LR算法，训练所述第一模型。
在一实施例中，所述第一处理器602，还用于在所述第一模型训练完成后，获取所述第一模型基于所述广告特征数据确定的广告特征向量及每个广告特征向量对应的广告标识，得到第一数据库；所述第一数据库用于实现广告的向量化召回。
需要说明的是：所述第一处理器602的具体处理过程可参照上述方法理解。
当然，实际应用时，第一电子设备600中的各个组件通过总线系统604耦合在一起。可理解，总线系统604用于实现这些组件之间的连接通信。总线系统604除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统604。
本申请实施例中的第一存储器603用于存储各种类型的数据以支持第一电子设备600的操作。这些数据的示例包括：用于在第一电子设备600上操作的任何计算机程序。
上述本申请实施例揭示的方法可以应用于所述第一处理器602中，或者由所述第一处理器602实现。所述第一处理器602可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过所述第一处理器602中的硬件的集成逻辑电路或者软件形式的指令完成。上述的所述第一处理器602可以是通用处理器、数字信号处理器(英文可以表示为DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述第一处理器602可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于第一存储器603，所述第一处理器602读取第一存储器603中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，第一电子设备600可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、数字信号处理器、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex ProgrammableLogic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或者其他电子元件实现，用于执行前述方法。
基于上述程序模块的硬件实现，且为了实现本申请实施例的向量化召回方法，本申请实施例还提供了一种第二电子设备，设置于模型训练的第一参与方，所述第二电子设备与所述第一电子设备600可以是相同或不同的电子设备；如图7所示，该第二电子设备700包括：
第二通信接口701，能够与其他电子设备进行信息交互；
第二处理器702，与所述第二通信接口701连接，以实现与其他电子设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的向量化召回方法；
第二存储器703，存储能够在所述第二处理器702上运行的计算机程序。
具体地，所述第二处理器702，用于：
通过所述第二通信接口701，接收模型训练的第二参与方发送的广告请求；
获取所述广告请求携带的用户标识对应的用户特征数据；
利用第一模型，确定所述用户特征数据对应的用户特征向量；所述第一模型用于确定第一类用户特征向量和广告特征向量，基于所述第一类用户特征向量、所述广告特征向量及从所述第二参与方获取的所述第二参与方的加密模型参数，预测广告的CTR；所述加密模型参数表征所述第二参与方的第二类用户特征向量；所述第一模型利用本申请实施例的任一模型训练方法得到；
从第一数据库中确定与所述用户特征向量相似的至少一个广告特征向量；基于所述至少一个广告特征向量确定针对所述广告请求的广告推荐候选集；所述第一数据库包含所述第一模型基于广告特征数据确定的广告特征向量及每个广告特征向量对应的广告标识。
其中，在一实施例中，所述第二处理器702，还用于：
获取新的广告标识和所述新的广告标识对应的广告特征数据；
利用所述第一模型，确定所述广告特征数据对应的广告特征向量；将所述新的广告标识和所述广告特征向量存储至所述第一数据库。
在一实施例中，所述第二处理器702，具体用于利用KNN算法，从第一数据库中确定与所述用户特征向量相似的至少一个广告特征向量。
在一实施例中，所述第二处理器702，还用于：
基于所述广告推荐候选集，确定所述用户标识对应的广告推荐结果；
通过所述第二通信接口701，向所述第二参与方发送所述用户标识对应的广告推荐结果。
需要说明的是：所述第二处理器702和所述第二通信接口701的具体处理过程可参照上述方法理解。
当然，实际应用时，第二电子设备700中的各个组件通过总线系统704耦合在一起。可理解，总线系统704用于实现这些组件之间的连接通信。总线系统704除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线系统704。
本申请实施例中的第二存储器703用于存储各种类型的数据以支持接第二电子设备700操作。这些数据的示例包括：用于在第二电子设备700上操作的任何计算机程序。
上述本申请实施例揭示的方法可以应用于所述第二处理器702中，或者由所述第二处理器702实现。所述第二处理器702可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过所述第二处理器702中的硬件的集成逻辑电路或者软件形式的指令完成。上述的所述第二处理器702可以是通用处理器、数字信号处理器，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述第二处理器702可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于第二存储器703，所述第二处理器702读取第二存储器703中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，第二电子设备700可以被一个或多个ASIC、数字信号处理器、PLD、CPLD、FPGA、通用处理器、控制器、MCU、Microprocessor、或其他电子元件实现，用于执行前述方法。
可以理解，本申请实施例的存储器(第一存储器603、第二存储器703)可以是易失性存储器或者非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，ProgrammableRead-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically ErasableProgrammable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic randomaccess memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，StaticRandom Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static RandomAccess Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic RandomAccess Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced SynchronousDynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLinkDynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct RambusRandom Access Memory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
在示例性实施例中，本申请实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的第一存储器603，上述计算机程序可由第一电子设备600的第一处理器602执行，以完成前述模型训练方法的步骤。再比如包括存储计算机程序的第二存储器703，上述计算机程序可由第二电子设备700的第二处理器702执行，以完成前述向量化召回方法的步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
需要说明的是：“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
另外，本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (13)

1.一种模型训练方法，其特征在于，包括：
模型训练的第一参与方基于联邦学习技术，确定与模型训练的第二参与方对齐的第一训练数据集；所述第一训练数据集包含第一类用户特征数据、广告特征数据及从所述第二参与方获取的所述第二参与方的加密模型参数；
基于所述第一训练数据集，利用第一损失函数和第二损失函数，训练第一模型；所述第一模型用于确定第一类用户特征向量和广告特征向量，基于所述第一类用户特征向量、所述广告特征向量及所述加密模型参数，预测广告的点击通过率CTR；其中，
所述加密模型参数表征所述第二参与方的第二类用户特征向量；所述加密模型参数是所述第二参与方基于联邦学习技术在与所述第一模型同步训练第二模型的过程中产生的；所述第一损失函数表示利用所述第一模型预测的CTR与实际的CTR之间的差异；所述第二损失函数表示所述第一模型基于所述第一训练数据集中的正向样本数据确定的所述第一类用户特征向量和所述广告特征向量之间的相似度。
2.根据权利要求1所述的方法，其特征在于，所述利用第一损失函数和第二损失函数，训练第一模型，包括：
所述第一参与方基于权重参数，利用所述第一损失函数和所述第二损失函数，训练所述第一模型；所述权重参数表征所述第二损失函数相对于所述第一损失函数的重要程度。
3.根据权利要求1或2所述的方法，其特征在于，所述训练第一模型，包括：
所述第一参与方基于深度神经网络DNN算法和逻辑回归LR算法，训练所述第一模型。
4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
所述第一参与方在所述第一模型训练完成后，获取所述第一模型基于所述广告特征数据确定的广告特征向量及每个广告特征向量对应的广告标识，得到第一数据库；所述第一数据库用于实现广告的向量化召回。
5.一种向量化召回方法，其特征在于，包括：
模型训练的第一参与方接收模型训练的第二参与方发送的广告请求；
获取所述广告请求携带的用户标识对应的用户特征数据；
利用第一模型，确定所述用户特征数据对应的用户特征向量；所述第一模型用于确定第一类用户特征向量和广告特征向量，基于所述第一类用户特征向量、所述广告特征向量及从所述第二参与方获取的所述第二参与方的加密模型参数，预测广告的CTR；所述加密模型参数表征所述第二参与方的第二类用户特征向量；所述第一模型利用权利要求1至4任一项所述的方法得到；
从第一数据库中确定与所述用户特征向量相似的至少一个广告特征向量；基于所述至少一个广告特征向量确定针对所述广告请求的广告推荐候选集；所述第一数据库包含所述第一模型基于广告特征数据确定的广告特征向量及每个广告特征向量对应的广告标识。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
所述第一参与方获取新的广告标识和所述新的广告标识对应的广告特征数据；
利用所述第一模型，确定所述广告特征数据对应的广告特征向量；将所述新的广告标识和所述广告特征向量存储至所述第一数据库。
7.根据权利要求5所述的方法，其特征在于，所述从第一数据库中确定与所述用户特征向量相似的至少一个广告特征向量，包括：
所述第一参与方利用K近邻KNN算法，从第一数据库中确定与所述用户特征向量相似的至少一个广告特征向量。
8.根据权利要求5至7任一项所述的方法，其特征在于，所述方法还包括：
所述第一参与方基于所述广告推荐候选集，确定所述用户标识对应的广告推荐结果；
向所述第二参与方发送所述用户标识对应的广告推荐结果。
9.一种模型训练装置，其特征在于，包括：
第一处理单元，用于基于联邦学习技术，确定与模型训练的第二参与方对齐的第一训练数据集；所述第一训练数据集包含第一类用户特征数据、广告特征数据及从所述第二参与方获取的所述第二参与方的加密模型参数；
第二处理单元，用于基于所述第一训练数据集，利用第一损失函数和第二损失函数，训练第一模型；所述第一模型用于确定第一类用户特征向量和广告特征向量，基于所述第一类用户特征向量、所述广告特征向量及所述加密模型参数，预测广告的CTR；其中，
所述加密模型参数表征所述第二参与方的第二类用户特征向量；所述加密模型参数是所述第二参与方基于联邦学习技术在与所述第一模型同步训练第二模型的过程中产生的；所述第一损失函数表示利用所述第一模型预测的CTR与实际的CTR之间的差异；所述第二损失函数表示所述第一模型基于所述第一训练数据集中的正向样本数据确定的所述第一类用户特征向量和所述广告特征向量之间的相似度。
10.一种向量化召回装置，其特征在于，包括：
接收单元，用于接收模型训练的第二参与方发送的广告请求；
第二获取单元，用于获取所述广告请求携带的用户标识对应的用户特征数据；
第三处理单元，用于利用第一模型，确定所述用户特征数据对应的用户特征向量；所述第一模型用于确定第一类用户特征向量和广告特征向量，基于所述第一类用户特征向量、所述广告特征向量及从所述第二参与方获取的所述第二参与方的加密模型参数，预测广告的CTR；所述加密模型参数表征所述第二参与方的第二类用户特征向量；所述第一模型利用权利要求1至4任一项所述的方法得到；
第四处理单元，用于从第一数据库中确定与所述用户特征向量相似的至少一个广告特征向量；基于所述至少一个广告特征向量确定针对所述广告请求的广告推荐候选集；所述第一数据库包含所述第一模型基于广告特征数据确定的广告特征向量及每个广告特征向量对应的广告标识。
11.一种第一电子设备，其特征在于，包括：第一处理器和用于存储能够在处理器上运行的计算机程序的第一存储器，
其中，所述第一处理器用于运行所述计算机程序时，执行权利要求1至4任一项所述方法的步骤。
12.一种第二电子设备，其特征在于，包括：第二处理器和用于存储能够在处理器上运行的计算机程序的第二存储器，
其中，所述第二处理器用于运行所述计算机程序时，执行权利要求5至8任一项所述方法的步骤。
13.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4任一项所述方法的步骤，或者实现权利要求5至8任一项所述方法的步骤。
CN202110450417.8A 2021-04-25 2021-04-25 模型训练方法、向量化召回方法、相关设备及存储介质 Active CN113269232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110450417.8A CN113269232B (zh) 2021-04-25 2021-04-25 模型训练方法、向量化召回方法、相关设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110450417.8A CN113269232B (zh) 2021-04-25 2021-04-25 模型训练方法、向量化召回方法、相关设备及存储介质

Publications (2)

Publication Number Publication Date
CN113269232A CN113269232A (zh) 2021-08-17
CN113269232B true CN113269232B (zh) 2023-12-08

Family

ID=77229297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110450417.8A Active CN113269232B (zh) 2021-04-25 2021-04-25 模型训练方法、向量化召回方法、相关设备及存储介质

Country Status (1)

Country Link
CN (1) CN113269232B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113988225B (zh) * 2021-12-24 2022-05-06 支付宝(杭州)信息技术有限公司 建立表征提取模型、表征提取、类型识别的方法和装置
CN116796860B (zh) * 2023-08-24 2023-12-12 腾讯科技（深圳）有限公司 联邦学习方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020029585A1 (zh) * 2018-08-10 2020-02-13 深圳前海微众银行股份有限公司 基于迁移学习的神经网络联邦建模方法、设备及存储介质
WO2020107762A1 (zh) * 2018-11-27 2020-06-04 深圳前海微众银行股份有限公司 Ctr预估方法、装置及计算机可读存储介质
CN111967615A (zh) * 2020-09-25 2020-11-20 北京百度网讯科技有限公司 基于特征抽取的多模型训练方法及系统、电子设备和介质
CN112149171A (zh) * 2020-10-27 2020-12-29 腾讯科技（深圳）有限公司 联邦神经网络模型的训练方法、装置、设备及存储介质
WO2021004551A1 (zh) * 2019-09-26 2021-01-14 深圳前海微众银行股份有限公司 纵向联邦学习系统优化方法、装置、设备及可读存储介质
CN112257873A (zh) * 2020-11-11 2021-01-22 深圳前海微众银行股份有限公司 机器学习模型的训练方法、装置、系统、设备及存储介质
CN112446736A (zh) * 2020-12-02 2021-03-05 平安科技（深圳）有限公司 一种点击通过率ctr预测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020029585A1 (zh) * 2018-08-10 2020-02-13 深圳前海微众银行股份有限公司 基于迁移学习的神经网络联邦建模方法、设备及存储介质
WO2020107762A1 (zh) * 2018-11-27 2020-06-04 深圳前海微众银行股份有限公司 Ctr预估方法、装置及计算机可读存储介质
WO2021004551A1 (zh) * 2019-09-26 2021-01-14 深圳前海微众银行股份有限公司 纵向联邦学习系统优化方法、装置、设备及可读存储介质
CN111967615A (zh) * 2020-09-25 2020-11-20 北京百度网讯科技有限公司 基于特征抽取的多模型训练方法及系统、电子设备和介质
CN112149171A (zh) * 2020-10-27 2020-12-29 腾讯科技（深圳）有限公司 联邦神经网络模型的训练方法、装置、设备及存储介质
CN112257873A (zh) * 2020-11-11 2021-01-22 深圳前海微众银行股份有限公司 机器学习模型的训练方法、装置、系统、设备及存储介质
CN112446736A (zh) * 2020-12-02 2021-03-05 平安科技（深圳）有限公司 一种点击通过率ctr预测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于多维特征组合逻辑回归模型的广告点击率预测;伊雯雯;;通信技术(09);全文 *
基于深度置信网络的广告点击率预估的优化;陈杰浩;张钦;王树良;史继筠;赵子芊;;软件学报(12);全文 *

Also Published As

Publication number Publication date
CN113269232A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
Ge et al. Cost-aware travel tour recommendation
CN109493199A (zh) 产品推荐方法、装置、计算机设备和存储介质
CN109582876B (zh) 旅游行业用户画像构造方法、装置和计算机设备
CN111444395B (zh) 获取实体间关系表达的方法、系统和设备、广告召回系统
CN110008397B (zh) 一种推荐模型训练方法及装置
CN108629224A (zh) 信息呈现方法和装置
Tewari et al. Sequencing of items in personalized recommendations using multiple recommendation techniques
CN111985622A (zh) 一种图神经网络训练方法和系统
CN109785064A (zh) 一种基于多源信息融合的移动电子商务推荐方法和系统
CN113269232B (zh) 模型训练方法、向量化召回方法、相关设备及存储介质
CN113268656A (zh) 一种用户推荐方法、装置、电子设备及计算机存储介质
CN109801101A (zh) 标签确定方法、装置、计算机设备和存储介质
CN111008335A (zh) 一种信息处理方法、装置、设备及存储介质
CN111967924A (zh) 商品推荐方法、商品推荐装置、计算机设备和介质
Ding et al. Computational Technologies for Fashion Recommendation: A Survey
Nazari et al. Scalable and data-independent multi-agent recommender system using social networks analysis
CN113327132A (zh) 多媒体推荐方法、装置、设备及存储介质
Yang et al. Attention mechanism and adaptive convolution actuated fusion network for next POI recommendation
CN111460300B (zh) 网络内容推送方法、装置及存储介质
CN115238191A (zh) 对象推荐方法以及装置
Duan et al. MhSa-GRU: combining user’s dynamic preferences and items’ correlation to augment sequence recommendation
CN116109354A (zh) 内容推荐方法、装置、设备、存储介质及计算机程序产品
Yang et al. Precise marketing strategy optimization of E-commerce platform based on KNN clustering
Hernández-Rodríguez et al. A recommender system applied to the indirect materials selection process (RS-IMSP) for producing automobile spare parts
Verma et al. A Smart Movie Recommendation System Using Machine Learning Predictive Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant