CN116049570A - 一种基于联邦对比学习的双塔社交推荐方法 - Google Patents

一种基于联邦对比学习的双塔社交推荐方法 Download PDF

Info

Publication number
CN116049570A
CN116049570A CN202310023586.2A CN202310023586A CN116049570A CN 116049570 A CN116049570 A CN 116049570A CN 202310023586 A CN202310023586 A CN 202310023586A CN 116049570 A CN116049570 A CN 116049570A
Authority
CN
China
Prior art keywords
user
gradient
disturbance
article
social
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310023586.2A
Other languages
English (en)
Inventor
刘柏嵩
罗林泽
胡测
吴诗琪
李钧儒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN202310023586.2A priority Critical patent/CN116049570A/zh
Publication of CN116049570A publication Critical patent/CN116049570A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于联邦对比学习的双塔社交推荐方法，包括：步骤1、中央服务器随机选取固定数量的用户客户端，并将所需参数发送至对应客户端；步骤2、用户客户端通过双塔学习模块和用户注意力对比模块，完成本地训练；步骤3、通过梯度保护模块，对需要更新的梯度进行保护，并上传至中央服务器；步骤4、中央服务器接收到用户客户端上传的梯度，聚合后通过扰动对比学习模块，得到最终需要更新的梯度；步骤5、重复步骤1至4，得到最后收敛的模型；步骤6、根据用户即候选物品集作为模型的输入，得到用户推荐物品集合。本发明能够做到保护用户隐私安全的同时，还能降低用户间的社交噪声和数据扰动引入的噪声对推荐模型性能的影响。

Description

一种基于联邦对比学习的双塔社交推荐方法
技术领域
本发明涉及人工智能交互技术领域，特别是一种基于联邦对比学习的双塔社交推荐方法。
背景技术
随着大数据时代的来临，推荐系统的出现能够帮助用户从海量数据中过滤出他们感兴趣的物品，这已经成为人们生活中必不可少的一种应用。推荐系统通过收集用户的个人信息和历史交互记录(点击、评分、购买等)作为数据源头，对推荐模型进行训练，从而对用户作出推荐物品的序列。然而，在这一过程中，用户的个人数据往往会存储在推荐服务提供商，存在着隐私泄漏的风险，尤其是在社交推荐系统中，这种风险对用户的影响将远超一般的推荐系统。联邦学习的出现，能从根源上降低该风险。
对于联邦社交推荐系统，用户数据始终存储在用户终端，在本地利用用户个人数据和用户社交信息训练推荐模型，并通过数据扰动、安全多方计算等方法，保护需要上传的训练参数，从而杜绝在服务提供商中隐私泄漏的风险。FedGNN作为第一个联邦社交推荐模型，利用GNN在本地提取用户与用户、用户与物品之间的关系，并通过同态加密技术保护上传的梯度。FeSoG通过GAT计算用户间的注意力得分和用户与物品间的注意力得分，聚合得到用户本身兴趣偏好，同时利用差分隐私技术对上传梯度进行扰动，相比同态加密技术，通过牺牲部分模型性能，来降低用户终端设备的计算压力，但仍然能提供较高的隐私保护效果。然而，这些方法并没有考虑社交关系间存在噪声的问题，即用户与其社交好友间的兴趣偏好并没有那么相似，导致直接利用社交信息可能对模型性能产生负面影响，同时，数据扰动的方式引入的噪声，进一步影响着模型收敛速度与收敛效果。
综上所述，尽管当前社交推荐方法能够在保护用户个人信息和社交信息的同时，对用户作出推荐，但这些方法忽略了训练过程中引入的噪声问题，即用户社交信息中存在的隐式噪声和梯度保护中数据扰动引入的噪声，这些噪声最终会影响推荐模型的性能，导致推荐的精准度下降。
发明内容
本发明的目的在于，提供一种基于联邦对比学习的双塔社交推荐方法。本发明在联邦社交推荐环境下，能够做到保护用户隐私安全的同时，还能降低用户间的社交噪声和数据扰动引入的噪声对推荐模型性能的影响。
本发明的技术方案：一种基于联邦对比学习的双塔社交推荐方法，包括以下步骤：
步骤1、中央服务器随机选取固定数量的用户客户端，用于参与当前轮次的本地训练，并将模型参数、用户嵌入向量和物品嵌入向量分发到所述用户客户端；
步骤2、在步骤1所述的用户客户端上进行本地训练，本地训练包含双塔学习模块和用户注意力对比模块，通过双塔学习模块计算用户对于物品的评分损失，通过注意力对比模块计算用户间的对比损失，结合评分损失与对比损失计算模型损失函数；
步骤3、步骤2结束后，得到模型梯度、用户嵌入向量梯度和物品嵌入向量梯度，将所有梯度通过梯度保护模块进行噪声扰动，并将加噪后的扰动梯度上传到中央服务器；
步骤4、由中央服务器对步骤3得到的扰动梯度进行参数聚合，得到最终的模型梯度，并生成首次更新后的用户嵌入向量和物品嵌入向量；首次更新后的用户嵌入向量和物品嵌入向量通过扰动对比学习模块分别计算用户、物品对比损失(相当于根据聚合后的扰动梯度再次更新)，以实现二次更新，得到最终的用户嵌入向量和物品嵌入向量，至此完成一个轮次的训练；
步骤5、重复步骤1至步骤4，直至完成设定数量的训练轮次，得到收敛后的模型、用户嵌入向量和物品嵌入向量；
步骤6、对于步骤5得到的模型，将收敛后的用户嵌入向量和物品嵌入向量作为模型输入，得到输入用户对于输入物品的预测评分，通过排序得到最终对于用户的推荐物品列表。
前述的一种基于联邦对比学习的双塔社交推荐方法中，在所述双塔学习模块中，用户嵌入向量通过三层全连接层，得到其最终表示ui，其中每一层的输入为：
Figure BDA0004043640410000031
其中，ui，k表示用户i的嵌入向量在第k层的输入，Wk和bk分别表示第k层全连接层的权重和偏置，σ(·)表示ReLU激活函数。
前述的一种基于联邦对比学习的双塔社交推荐方法中，同理，在所述双塔学习模块中，物品嵌入向量通过三层全连接层，得到其最终表示υj，对通过三层全连接层后得到的用户嵌入向量ui和物品嵌入向量vj做点积，得到用户i对于物品j的预测评分，并以此计算其评分损失，评分损失为：
Figure BDA0004043640410000032
其中，rij表示用户i对于物品j的真实评分。
前述的一种基于联邦对比学习的双塔社交推荐方法中，在所述注意力对比模块中，根据目前的社会科学理论，即用户往往与其好友之间存在相似的兴趣偏好，基于此将用户及其社交好友作为对比学习的正样本对，并随机选择与其社交好友数量一致的无关用户作为负样本对，同时，考虑到用户与其社交好友间兴趣偏好的相似程度不同，通过注意力机制，得到用户与其社交好友间的相似程度，作为对比学习中的权重，有效减少社交关系中的噪声，以此来计算用户间的对比损失，对比损失计算公式为：
Figure BDA0004043640410000041
其中，Ui表示用户i的社交好友集合，
Figure BDA0004043640410000042
表示用户i的非社交好友集合，且集合中的元素数量与Ui相同，sim(·)表示余弦相似度函数，用于计算用户嵌入向量间的相似度，τ为温度超参数，用于控制用户间相似度的缩放，αn为用户n对用户i的社交信任权重，其计算方式如下：
Figure BDA0004043640410000043
sn＝σ(aT[Wui||Wum])，
其中，sn为用户n对用户i的注意力评分，σ(·)表示LeakReLU激活函数，a、W为需要训练的映射参数，||表示拼接操作。
前述的一种基于联邦对比学习的双塔社交推荐方法中，所述模型损失函数为：
l＝lr+μlcon，
其中，∈为控制用户社交对比损失的超参数。
前述的一种基于联邦对比学习的双塔社交推荐方法中，在所述梯度保护模块中，针对模型参数、用户嵌入向量以及物品嵌入向量，利用差分隐私技术，分别添加自适应的拉普拉斯噪声，能够有效防止恶意攻击者从梯度信息中推理出用户的原始数据信息，所述自适应的拉普拉斯噪声计算方式为：
Figure BDA0004043640410000051
其中，mean(·)为均值函数，∈为隐私预算，最终经过拉普拉斯噪声扰动后的梯度为：
Figure BDA0004043640410000052
其中，clip(·)为裁剪函数，对于模型参数的梯度，通过拉普拉斯噪声扰动的方式得到扰动梯度
Figure BDA0004043640410000053
对于用户嵌入向量和物品嵌入向量，分别添加相同均值和强度的拉普拉斯噪声，计算两次扰动梯度，得到两个不同的扰动梯度
Figure BDA0004043640410000054
前述的一种基于联邦对比学习的双塔社交推荐方法中，所述步骤4中，利用FedAvg算法对扰动梯度
Figure BDA0004043640410000055
进行聚合，聚合后得到的模型梯度为最终需要更新的模型梯度。
前述的一种基于联邦对比学习的双塔社交推荐方法中，在所述扰动对比学习模型中，对于经聚合后得到的两个扰动用户梯度、两个扰动物品梯度，分别与原用户嵌入向量和原物品嵌入向量相加，得到两个扰动用户嵌入向量和两个扰动物品嵌入向量；
由于扰动梯度的存在，能对用户隐私起到保护作用，但同时不可避免的会对模型的收敛速度以及模型收敛后的性能造成一定影响，为了缓解这种负面影响的同时提升嵌入向量的鲁棒性，采用对比学习的方法，将两个扰动用户嵌入向量中，相同用户作为正样本，不同用户作为负样本，对于扰动物品嵌入向量，同样采用相同物品作为正样本，不同物品作为负样本，并计算用户、物品对比损失；
用户对比损失为：
Figure BDA0004043640410000056
物品对比损失为：
Figure BDA0004043640410000061
中央服务器端的总对比损失为：
ls＝μulu+μvlv，
其中，Nu、Nv分别为本轮次中，聚合的用户嵌入向量的集合和聚合的物品嵌入向量的集合，τ为温度超参数，μu和μv分别为超参数。
前述的一种基于联邦对比学习的双塔社交推荐方法中，对ls利用梯度下降的方法，在用户嵌入向量和物品嵌入向量首次更新后，再根据聚合后的扰动梯度二次更新，得到最终的用户嵌入向量和物品嵌入向量。
与现有技术相比，本发明的有益效果体现在：本发明通过利用用户与其社交用户间的注意力得分，计算社交影响力权重，并作为控制用户对比损失的权重，以此实现更加细粒度的对比损失控制，减少在利用社交信息更好地捕获用户兴趣偏好的同时，降低其中社交噪声对推荐模型性能的影响。现有的联邦社交推荐方法，在模型隐私性与有效性之间较难同时取得良好的表现，本发明通过对扰动梯度进行二次加噪的方法，得到两个不同的扰动梯度，以此为基础，利用对比学习的方法，拉近相同嵌入向量之间的距离，拉远不同嵌入向量之间的距离，有效减少了噪声对嵌入向量的扰动，即提高模型的鲁棒性，让模型可以在更小的隐私预算下，仍然能够得到较好的推荐结果。
本发明最终训练后的模型，能有效减少联邦社交推荐场景下，用户社交信息中所包含的社交噪声，并且在保护用户隐私数据的同时，进一步降低隐私保护对模型性能的影响，实现高隐私性的同时实现高有效性。
附图说明
图1是本发明的推荐方法流程图；
图2是本发明推荐方法的双塔学习模块结构示意图；
图3是本发明推荐方法的用户注意力对比模块中注意力机制流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
实施例：一种基于联邦对比学习的双塔社交推荐方法，实施流程可参考图1，包括以下步骤：
步骤1、中央服务器随机选取固定数量的用户客户端，用于参与当前轮次的本地训练，并将模型参数、用户嵌入向量和物品嵌入向量分发到用户客户端。
每一个训练轮次中，由中央服务器随机选择s个用户客户端，并将中央服务器中存储的模型参数、用户嵌入向量和物品嵌入向量分发至对应的s个用户客户端，用于在用户客户端上进行本地训练。
步骤2、在步骤1的用户客户端上进行本地训练，本地训练包含双塔学习模块和用户注意力对比模块，通过双塔学习模块计算用户对于物品的评分损失，通过注意力对比模块计算用户间的对比损失，结合评分损失与对比损失计算模型损失函数。
对于双塔学习模块，该模块结构框架可参考图2，其中包含两个三层的MLP，分别对用户嵌入向量和物品嵌入向量作非线性变换，用于提取用户的兴趣偏好和物品的特征。以用户嵌入向量为例，对于用户i，其嵌入向量
Figure BDA0004043640410000071
其中d为嵌入向量的维度，将ui作为MLP的输入，对于第k层：
Figure BDA0004043640410000072
其中，ui，k表示用户i的嵌入向量在第k层的输入，Wk和bk分别表示第k层全连接层的权重和偏置，σ(·)表示ReLU激活函数，用于实现非线性变换。同理，在双塔学习模块中，物品嵌入向量通过三层的MLP，得到其最终表示vj。
经过两个三层的MLP后得到用户与物品的嵌入向量表示，ui与υj，将其作点积后，得到用户i对物品j的预测评分，并用于计算评分损失，评分损失为：
Figure BDA0004043640410000081
其中，rij表示用户i对于物品j的真实评分，Vi为用户i的历史评分物品集合。
对于用户注意力对比模块，注意力机制流程图可参考图3，根据现有的社交网络理论，即用户往往会产生与其信任用户相似的兴趣偏好。在联邦社交推荐场景中，可以认为用户的社交好友为其信任用户，那么用户的嵌入向量与其社交好友的嵌入向量，在超球面上的距离较为接近，而与非社交好友的距离较远。因此，可以将用户与其社交好友的嵌入向量构成一个正样本对，与非社交好友的嵌入向量构成一个负样本对，利用对比学习计算得到对比损失。然而，简单的将用户的社交好友为其信任用户，存在一定的误差，即社交关系中包含一定的社交噪声。本发明将所有社交好友的信任程度视为同一值，即较高信任的社交好友和较低信任的社交好友对用户的影响是一致的，因此考虑对不同的社交好友，添加不同的社交信任权重，来实现更细粒度的社交影响，减少社交噪声对用户的影响，以此来计算用户间的对比损失，对比损失计算公式为：
Figure BDA0004043640410000082
其中，Ui表示用户i的社交好友集合，
Figure BDA0004043640410000083
表示用户i的非社交好友集合，且集合中的元素数量与Ui相同，sim(·)表示余弦相似度函数，用于计算用户嵌入向量间的相似度，τ为温度超参数，用于控制用户间相似度的缩放，αn为用户n对用户i的社交信任权重，通过αn可控制不同社交信任程度的社交用户，对用户i的社交影响程度，αn通过softmax函数计算得到，其计算方式如下：
Figure BDA0004043640410000091
sn＝σ(aTWui||Wun)，
其中，sn为用户n对用户i的注意力评分，σ(·)表示LeakReLU激活函数，a、W为需要训练的映射参数，||表示拼接操作。利用映射矩阵W将用户i和用户n的嵌入向量映射到嵌入空间后进行拼接，并与参数a进行点积，得到用户n对用户i的注意力评分sn。
相比对比学习的方法，社交信任权重的引入能很好的解决用户社交对比损失过于平均的缺点，使得不同社交用户对目标用户的影响力不同，且根据注意力评分计算得到的社交信任权重融合了目标用户与其社交用户的嵌入向量，进一步挖掘社交关系中深层的联系。
对于得到的用户评分损失lr和用户社交对比损失lcon，计算得到模型损失，模型损失函数为：
l＝lr+μlcon，
其中，μ为控制用户社交对比损失的超参数。
步骤3、步骤2结束后，得到模型梯度、用户嵌入向量梯度和物品嵌入向量梯度，将所有梯度通过梯度保护模块进行噪声扰动，并将加噪后的扰动梯度上传到中央服务器。
经过用户客户端本地训练后，能得到需要上传的模型梯度、用户嵌入向量梯度以及物品嵌入向量梯度。然而，直接将梯度上传至中央服务器存在隐私泄漏的可能，现有研究表明，恶意攻击者可以通过分析上传阶段的梯度，进而推理出对应用户的原始数据，为了避免这类情况的发送，本发明采用差分隐私技术在梯度保护模块中对上传的梯度进行噪声扰动。
对于梯度g，为了使其满足差分隐私的条件，首先对其按照裁剪阈值c进行裁剪，然后固定的裁剪阈值往往会对不同数量级的梯度造成不同的影响，因此使用梯度g的均值作为裁剪阈值，达到一种自适应的效果，随后根据裁剪阈值与隐私预算∈确定添加的拉普拉斯噪声的强度，得到最终扰动后的梯度，具体地，自适应的拉普拉斯噪声计算方式为：
Figure BDA0004043640410000101
其中，mean(·)为均值函数，∈为隐私预算，隐私预算∈可以用来衡量隐私保护的强度，∈越小，添加的噪声越大，隐私保护的强度也越大，∈越大，则相反，最终经过拉普拉斯噪声扰动后的梯度为：
Figure BDA0004043640410000102
其中，clip(·)为裁剪函数，对于模型参数的梯度，通过拉普拉斯噪声扰动的方式得到扰动梯度
Figure BDA0004043640410000103
对于用户嵌入向量和物品嵌入向量，分别添加相同均值和强度的拉普拉斯噪声，计算两次扰动梯度，得到两个不同的扰动梯度
Figure BDA0004043640410000104
步骤4、由中央服务器对步骤3得到的扰动梯度进行参数聚合，得到最终的模型梯度，并生成首次更新后的用户嵌入向量和物品嵌入向量；首次更新后的用户嵌入向量和物品嵌入向量通过扰动对比学习模块分别计算用户、物品对比损失(相当于根据聚合后的扰动梯度再次更新)，以实现二次更新，得到最终的用户嵌入向量和物品嵌入向量，至此完成一个轮次的训练。
在本步骤中，对步骤3得到的扰动梯度
Figure BDA0004043640410000105
利用FedAvg算法进行聚合，聚合后得到的模型梯度即为最终需要更新的模型梯度。
然而，现有技术通常将聚合得到的用户嵌入向量梯度和物品嵌入向量梯度作为最终梯度，并以此对用户嵌入向量和物品嵌入向量进行更新，但出于对用户隐私数据的保护而添加的拉普拉斯噪声，会对用户兴趣偏好的表示以及物品特征的表示的捕获造成较大偏差，因此，本发明需要再次利用对比学习的方法来降低该偏差对模型收敛后性能的影响。
具体地，在扰动对比学习模型中，对于经聚合后得到的两个扰动用户梯度、两个扰动物品梯度，分别与原用户嵌入向量和原物品嵌入向量相加，得到两个扰动用户嵌入向量和两个扰动物品嵌入向量，，将两个扰动用户嵌入向量中，相同用户作为正样本，不同用户作为负样本，对于扰动物品嵌入向量，同样采用相同物品作为正样本，不同物品作为负样本，并计算用户、物品对比损失。
用户对比损失为：
Figure BDA0004043640410000111
物品对比损失为：
Figure BDA0004043640410000112
中央服务器端的总对比损失为：
ls＝μulu+μvlv，
其中，Nu、Nv分别为本轮次中，聚合的用户嵌入向量的集合和聚合的物品嵌入向量的集合，τ为温度超参数，μu和μv分别为超参数。
对ls利用梯度下降的方法，在用户嵌入向量和物品嵌入向量首次更新后，再根据聚合后的扰动梯度二次更新，得到最终的用户嵌入向量和物品嵌入向量。至此完成一个完整的中央服务器与用户客户端之间的训练轮次。
步骤5、重复步骤1至步骤4，直至完成设定数量的训练轮次，得到收敛后的模型、用户嵌入向量和物品嵌入向量。
步骤6、对于步骤5得到的模型，将收敛后的用户嵌入向量和物品嵌入向量作为模型输入，得到输入用户对于输入物品的预测评分，通过排序得到最终对于用户的推荐物品列表。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于联邦对比学习的双塔社交推荐方法，其特征在于：包括以下步骤：
步骤1、中央服务器随机选取固定数量的用户客户端，用于参与当前轮次的本地训练，并将模型参数、用户嵌入向量和物品嵌入向量分发到所述用户客户端；
步骤2、在步骤1所述的用户客户端上进行本地训练，本地训练包含双塔学习模块和用户注意力对比模块，通过双塔学习模块计算用户对于物品的评分损失，通过注意力对比模块计算用户间的对比损失，结合评分损失与对比损失计算模型损失函数；
步骤3、步骤2结束后，得到模型梯度、用户嵌入向量梯度和物品嵌入向量梯度，将所有梯度通过梯度保护模块进行噪声扰动，并将加噪后的扰动梯度上传到中央服务器；
步骤4、由中央服务器对步骤3得到的扰动梯度进行参数聚合，得到最终的模型梯度，并生成首次更新后的用户嵌入向量和物品嵌入向量；首次更新后的用户嵌入向量和物品嵌入向量通过扰动对比学习模块分别计算用户、物品对比损失，以实现二次更新，得到最终的用户嵌入向量和物品嵌入向量，至此完成一个轮次的训练；
步骤5、重复步骤1至步骤4，直至完成设定数量的训练轮次，得到收敛后的模型、用户嵌入向量和物品嵌入向量；
步骤6、对于步骤5得到的模型，将收敛后的用户嵌入向量和物品嵌入向量作为模型输入，得到输入用户对于输入物品的预测评分，通过排序得到最终对于用户的推荐物品列表。
2.根据权利要求1所述的一种基于联邦对比学习的双塔社交推荐方法，其特征在于：在所述双塔学习模块中，用户嵌入向量通过三层全连接层，得到其最终表示ui，其中每一层的输入为：
Figure FDA0004043640400000021
其中，ui，k表示用户i的嵌入向量在第k层的输入，Wk和bk分别表示第k层全连接层的权重和偏置，σ(·)表示ReLU激活函数。
3.根据权利要求2所述的一种基于联邦对比学习的双塔社交推荐方法，其特征在于：在所述双塔学习模块中，物品嵌入向量通过三层全连接层，得到其最终表示vj，对通过三层全连接层后得到的用户嵌入向量ui和物品嵌入向量vj做点积，得到用户i对于物品j的预测评分，并以此计算其评分损失，评分损失为：
Figure FDA0004043640400000022
其中，rij表示用户i对于物品j的真实评分。
4.根据权利要求3所述的一种基于联邦对比学习的双塔社交推荐方法，其特征在于：在所述注意力对比模块中，将用户及其社交好友作为对比学习的正样本对，并随机选择与其社交好友数量一致的无关用户作为负样本对，通过注意力机制，得到用户与其社交好友间的相似程度，作为对比学习中的权重，以此来计算用户间的对比损失，对比损失计算公式为：
Figure FDA0004043640400000023
其中，Ui表示用户i的社交好友集合，
Figure FDA0004043640400000024
表示用户i的非社交好友集合，且集合中的元素数量与Ui相同，sim(·)表示余弦相似度函数，用于计算用户嵌入向量间的相似度，
Figure FDA0004043640400000025
为温度超参数，用于控制用户间相似度的缩放，αn为用户n对用户i的社交信任权重，其计算方式如下：
Figure FDA0004043640400000031
sn＝σ(aT[Wui||WuN])，
其中，sn为用户n对用户i的注意力评分，σ(·)表示LeakReLU激活函数，a、W为需要训练的映射参数，||表示拼接操作。
5.根据权利要求4所述的一种基于联邦对比学习的双塔社交推荐方法，其特征在于：所述模型损失函数为：
l＝lr+μlcon，
其中，μ为控制用户社交对比损失的超参数。
6.根据权利要求1所述的一种基于联邦对比学习的双塔社交推荐方法，其特征在于：在所述梯度保护模块中，针对模型参数、用户嵌入向量以及物品嵌入向量，利用差分隐私技术，分别添加自适应的拉普拉斯噪声，所述自适应的拉普拉斯噪声计算方式为：
Figure FDA0004043640400000032
其中，mean(·)为均值函数，∈为隐私预算，最终经过拉普拉斯噪声扰动后的梯度为：
Figure FDA0004043640400000033
其中，clip(·)为裁剪函数，对于模型参数的梯度，通过拉普拉斯噪声扰动的方式得到扰动梯度
Figure FDA0004043640400000034
对于用户嵌入向量和物品嵌入向量，分别添加相同均值和强度的拉普拉斯噪声，计算两次扰动梯度，得到两个不同的扰动梯度
Figure FDA0004043640400000035
7.根据权利要求6所述的一种基于联邦对比学习的双塔社交推荐方法，其特征在于：所述步骤4中，利用FedAvg算法对扰动梯度
Figure FDA0004043640400000036
进行聚合，聚合后得到的模型梯度为最终需要更新的模型梯度。
8.根据权利要求7所述的一种基于联邦对比学习的双塔社交推荐方法，其特征在于：在所述扰动对比学习模型中，对于经聚合后得到的两个扰动用户梯度、两个扰动物品梯度，分别与原用户嵌入向量和原物品嵌入向量相加，得到两个扰动用户嵌入向量和两个扰动物品嵌入向量；再采用对比学习的方法，将两个扰动用户嵌入向量中，相同用户作为正样本，不同用户作为负样本，对于扰动物品嵌入向量，同样采用相同物品作为正样本，不同物品作为负样本，并计算用户、物品对比损失；
用户对比损失为：
Figure FDA0004043640400000041
物品对比损失为：
Figure FDA0004043640400000042
中央服务器端的总对比损失为：
ls＝μulu+μvlv，
其中，Nu、Nv分别为本轮次中，聚合的用户嵌入向量的集合和聚合的物品嵌入向量的集合，τ为温度超参数，μu和μv分别为超参数。
9.根据权利要求8所述的一种基于联邦对比学习的双塔社交推荐方法，其特征在于：对ls利用梯度下降的方法，在用户嵌入向量和物品嵌入向量首次更新后，再根据聚合后的扰动梯度二次更新，得到最终的用户嵌入向量和物品嵌入向量。
CN202310023586.2A 2023-01-09 2023-01-09 一种基于联邦对比学习的双塔社交推荐方法 Pending CN116049570A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310023586.2A CN116049570A (zh) 2023-01-09 2023-01-09 一种基于联邦对比学习的双塔社交推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310023586.2A CN116049570A (zh) 2023-01-09 2023-01-09 一种基于联邦对比学习的双塔社交推荐方法

Publications (1)

Publication Number Publication Date
CN116049570A true CN116049570A (zh) 2023-05-02

Family

ID=86132737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310023586.2A Pending CN116049570A (zh) 2023-01-09 2023-01-09 一种基于联邦对比学习的双塔社交推荐方法

Country Status (1)

Country Link
CN (1) CN116049570A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116703529A (zh) * 2023-08-02 2023-09-05 山东省人工智能研究院 基于特征空间语义增强的对比学习推荐方法
CN117171814A (zh) * 2023-09-28 2023-12-05 数力聚(北京)科技有限公司 一种基于差分隐私的联邦学习模型完整性验证方法、系统、设备及介质
CN117540106A (zh) * 2024-01-09 2024-02-09 湖南工商大学 一种多模态数据隐私保护的社交活动推荐方法及设备
CN118113817A (zh) * 2024-05-06 2024-05-31 天津电力工程监理有限公司 审计引用制度依据密集检索与重排序方法、系统和设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116703529A (zh) * 2023-08-02 2023-09-05 山东省人工智能研究院 基于特征空间语义增强的对比学习推荐方法
CN116703529B (zh) * 2023-08-02 2023-10-20 山东省人工智能研究院 基于特征空间语义增强的对比学习推荐方法
CN117171814A (zh) * 2023-09-28 2023-12-05 数力聚(北京)科技有限公司 一种基于差分隐私的联邦学习模型完整性验证方法、系统、设备及介质
CN117171814B (zh) * 2023-09-28 2024-06-04 数力聚(北京)科技有限公司 一种基于差分隐私的联邦学习模型完整性验证方法、系统、设备及介质
CN117540106A (zh) * 2024-01-09 2024-02-09 湖南工商大学 一种多模态数据隐私保护的社交活动推荐方法及设备
CN117540106B (zh) * 2024-01-09 2024-04-02 湖南工商大学 一种多模态数据隐私保护的社交活动推荐方法及设备
CN118113817A (zh) * 2024-05-06 2024-05-31 天津电力工程监理有限公司 审计引用制度依据密集检索与重排序方法、系统和设备

Similar Documents

Publication Publication Date Title
Dong et al. Federated class-incremental learning
CN116049570A (zh) 一种基于联邦对比学习的双塔社交推荐方法
CN114510652B (zh) 一种基于联邦学习的社交协同过滤推荐方法
Hidano et al. Model inversion attacks for prediction systems: Without knowledge of non-sensitive attributes
CN106682114B (zh) 一种融合用户信任关系和评论信息的个性化推荐方法
CN113011587B (zh) 一种隐私保护的模型训练方法和系统
CN111310063B (zh) 基于神经网络的记忆感知门控因子分解机物品推荐方法
CN112949837A (zh) 一种基于可信网络的目标识别联邦深度学习方法
Zhao et al. Fedinv: Byzantine-robust federated learning by inversing local model updates
Hu et al. Targeted poisoning attacks on social recommender systems
Wang et al. MIASec: Enabling data indistinguishability against membership inference attacks in MLaaS
CN113128701A (zh) 面向样本稀疏性的联邦学习方法及系统
CN113297573A (zh) 一种基于gan模拟数据生成的垂直联邦学习防御方法和装置
CN111241419A (zh) 一种基于用户关系嵌入模型的下一个兴趣点推荐方法
Zhou et al. Toward robust hierarchical federated learning in internet of vehicles
Wang et al. Ppefl: Privacy-preserving edge federated learning with local differential privacy
CN115795536A (zh) 基于扩散模型的推荐系统隐私攻击的防御方法
Zhou et al. A Network Intrusion Detection Method for Information Systems Using Federated Learning and Improved Transformer
Arevalo et al. Task-Agnostic Privacy-Preserving Representation Learning for Federated Learning against Attribute Inference Attacks
ŞEREF et al. Evolutionary neural networks for improving the prediction performance ofrecommender systems
CN117391816A (zh) 一种异质图神经网络推荐方法、装置及设备
Xia et al. Cascade Vertical Federated Learning Towards Straggler Mitigation and Label Privacy over Distributed Labels
CN117216788A (zh) 基于区块链的联邦学习隐私保护视频场景识别方法
CN116383504A (zh) 基于梯度混洗的信息推荐方法及相关设备
CN116091167A (zh) 一种基于多任务学习框架的团购推荐模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination