CN110276016A - 一种基于差分隐私的社会化推荐方法 - Google Patents

Abstract

本发明公开了一种基于差分隐私的社会化推荐方法，一方面，将差分隐私运用于给用户推荐物品的社会化推荐系统，在做出数值型的评分预测的同时能够保护用户过去数值型评分记录的存在与否；另一方面，由于评分数据中有些评分可能会更加敏感，可以给不同敏感度的评分给予不同强度的隐私保护，使得敏感评分可以得到比普通评分更高的保护强度。

Description

一种基于差分隐私的社会化推荐方法

技术领域

本发明涉及物品推荐算法与隐私保护技术领域，尤其涉及一种社会化推荐方法。

背景技术

今天，随着移动网络和电子商务的快速发展，我们正处在一个信息过载的时代，仅靠人们自己去在众多备选中快速有效地找到感兴趣的东西也变得越来越困难。推荐系统基于用户对物品的评分历史信息，来推测用户的偏好，自动给用户推荐最有可能会喜欢的东西，辅助用户更为轻松快速地挑选到自己想要的东西或是在众多备选之中做出更好的选择。

传统的推荐系统基于用户自己的历史评分来给用户进行推荐，但在实际应用时会遇到用户冷启动的问题。用户冷启动问题指的是当一个新的用户增加到系统中时，由于系统中缺乏关于这些新用户的历史信息，因而难以对其特点进行分析从而做出预测。

随着社交网络规模的不断发展，用户除了对物品进行打分，还会与其他用户产生人际关系，例如关注某个用户或是与某个用户成为好友。这些人际关系可以组成用户之间的信任网络。社会化推荐算法除了使用用户的评分数据以外，也使用这些信任网络的信息作为补充信息，来缓解用户冷启动问题。社会化推荐算法认为用户的喜好会受他所信任的人的影响导致相互信任的用户趋向于有相似的偏好，因此在预测某个用户对某个物品的评分时，不仅基于该用户的历史评分，还考虑了该用户所信任的人的评分。此外，使用社会化推荐算法的另一动机是有研究表明相比于在线推荐系统基于用户行为相似性所做出的推荐结果，用户更倾向于接受他们所信任的人给出的推荐。

虽然推荐系统可以给用户带来巨大的便利，但由于做出推荐时需要基于用户的历史数据，因此也会带来隐私泄露的问题。例如，推荐系统中的恶意用户可能会对推荐系统中其他用户的隐私信息感到好奇，他们可以通过观测该推荐系统给出的推荐结果去推测出系统中其他用户的评分记录，从而获得其他用户的个人隐私信息。此外，在社会化推荐系统中，由于用户可以选定他们自己信任的用户，并且这些用户往往是他们熟悉的人，由此使得恶意用户进行推断攻击时可以将目标限定在一个某个更小范围内的用户并且泄露出的隐私信息往往是关于他们熟悉的人的，使得隐私泄露这一问题更加敏感。

差分隐私是一个可以定量化衡量隐私泄露多少的隐私保护模型。它要求一个算法作用在两个相邻数据集(即两个仅相差一条记录的数据集)上时，它们的输出结果基本相同。因此，即使一个攻击者能够知道除了某条特定记录以外数据集中所有其他的记录，并且拥有无穷的计算能力，也无法通过观察输出结果去推断输入数据集中该条特定记录的存在与否。目前，关于基于差分隐私模型去给用户推荐物品的社会化推荐系统的工作还比较少，并且已有的几种方法都有一定的局限性，例如只能应用于二值型评分或是隐私保护的强度有限。其中2011年Machanavajjhala等人在超大数据库国际会议上发表的《Personalizedsocial recommendations:accurate or private》一文、2014年Jorgensen等人在扩展数据库技术国际会议上发表的《A privacy-preserving framework for personalized,socialrecommendations》一文、以及2018年Guo等人在国际期刊《Information Sciences》上发表的《Differentially private graph-link analysis based social recommendation》一文，提出的三种方法都只应用于二值型评分。二值型评分仅能表达用户是否喜欢某个物品，但却无法表达用户对该物品的喜欢程度等更细节的信息。然而在现实生活中，用户的评分往往是数值型的，例如从一星到五星的打分等。Meng等人于2018年在AAAI人工智能会议上发表的《Personalized privacy-preserving social recommendation》一文提出的方法可以应用于数值型评分，然而该方法仅仅保护用户的评分分数，对于该条评分记录存在与否却没有进行保护。但一条评分记录的存在可能就是敏感信息，例如用户给某个药品进行的打分，即使攻击者无法推测出用户给出的具体评分分数，但仍然可以通过用户购买过某药品这一信息推测用户的健康状况这一隐私信息。

此外，在现实生活中，不同评分记录的敏感度往往是不同的，例如用户给某个药品的评分记录远远比用户给某些普遍购买的生活用品的评分记录敏感。因此，希望在保护所有评分记录的隐私性的同时，在总体隐私预算有限的情况下，可以给不同敏感度的评分给予不同强度的隐私保护，使得敏感评分可以得到比普通评分更高的保护强度；然而，目前还没有较为有效的方案。

发明内容

本发明的目的是提供一种基于差分隐私的社会化推荐方法，能够隐藏数值型评分记录的存在与否，并且可以对不同敏感度的评分给予不同强度的隐私保护，同时仍然保持推荐结果的准确性。

本发明的目的是通过以下技术方案实现的：

一种基于差分隐私的社会化推荐方法，包括：

推荐服务器获取各个用户发送评分记录与信任记录；

推荐服务器根据各评分记录是否为敏感评分进行评分记录的抽取概率的计算，从而抽取出训练数据集来训练一个权重满足差分隐私要求的神经网络；同时，使用所有用户的信任记录构建信任网络；

推荐服务器预测用户i对物品j的评分时，使用信任网络计算得到对用户i而言信任度高于阈值的信任用户集；然后，基于训练好的神经网络预测出用户i和其信任用户集中的用户对物品j的评分，再使用基于信任网络的社会化推荐算法，计算出用户之间的信任度作为权值，给出最终的预测评分；

推荐服务器将预测的评分返回给用户i。

由上述本发明提供的技术方案可以看出，一方面，将差分隐私运用于给用户推荐物品的社会化推荐系统，在做出数值型的评分预测的同时能够隐藏用户过去数值型评分记录的存在与否；另一方面，由于评分数据中有些评分可能会更加敏感，可以对不同敏感度的评分给予不同强度的隐私保护，使得敏感评分可以得到比普通评分更高的保护强度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于差分隐私的社会化推荐方法的系统框图；

图2为本发明实施例提供的一种基于差分隐私的社会化推荐方法的流程图；

图3为本发明实施例提供的神经网络结构图；

图4为本发明实施例提供的基于评分记录的神经网络训练过程示意图；

图5为本发明实施例提供的基于评分记录的神经网络推断过程示意图；

图6为本发明实施例提供的基于信任记录的信任度计算过程示意图；

图7为本发明实施例提供的推荐算法示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

在社会化推荐系统中，除了使用用户自身的评分数据以外，还会使用用户之间的社会关系来给用户推荐他们最有可能喜欢的物品。社会化推荐系统认为有信任关系的用户趋向于有相似的偏好。因此如果有一个用户非常喜欢一个物品，根据社会化推荐的原理，将这个物品推荐给信任该用户的其他用户是合理的。但一些恶意的用户会通过主动去“信任”某些目标用户，来获得相应的社会化推荐结果，并从这些反馈的推荐结果去推测“被信任”用户的一些评分信息，从而造成用户隐私信息的泄露。因此，需要确保评分信息不能被恶意的用户从推荐服务器给出的推荐结果中推测出来，即其他用户不能从推荐的结果推测出某个用户曾经评分过某物品以及评分的情况等信息。

本发明公开了一种基于差分隐私的社会化推荐方法，旨在解决如下技术问题：1、处理数值型评分的评分预测问题，即可以预测某用户对某物品的数值型评分；2、可以隐藏评分记录的存在与否，使得推荐系统中的恶意用户无法通过观察到的推荐结果推断出其他用户某个特定的评分记录是否存在；3、可以给不同敏感度的评分给予不同强度的隐私保护。这三个问题不解决分别会导致以下问题：1、推荐系统只能应用于二值型评分，这意味着用户对物品的所有评分都具有相同的权重；而评分在现实中往往是数值型的，例如用户对物品给出的分数高低或用户听不同歌曲的次数，反映出了用户对物品不同的喜爱程度。如果推荐系统直接把这些数值型评分转化为二值型评分来进行推荐计算的话，会丢失很多反映用户偏好的信息。而如果一个推荐系统可以处理数值型评分，自然也可以处理二值型评分的问题；2、若仅保护评分的分数，并不保护该条评分存在与否的信息，则意味着评分记录的存在与否仍可能被恶意用户推测出来。然而有些评分的存在信息本身就已经是敏感信息，例如用户对某药品的评分。即使恶意用户不能推测出用户对药品评分的具体分数，但只要恶意用户知道用户购买过该药品，就能够去推测用户的健康状况；3、在隐私预算有限的情况下，若对所有评分记录分配一样的隐私预算，则无法合理地对不同敏感度的评分给予不同的隐私保护强度，因为往往敏感评分泄露来的隐私问题会比普通评分泄露带来的问题更严重。

本发明实施例提供一种基于差分隐私的社会化推荐方法，其系统框图如图1所示。本发明实施例中主要涉及两类实体：用户和推荐服务器。用户可以给他们购买过的物品进行数值型评分，从而产生评分记录。此外他们还可以信任推荐系统中的其他用户，从而产生信任记录，这些被信任的用户在社会化推荐算法中被认为会对该用户的偏好产生影响。具体而言，评分记录包括用户ID、物品ID、相应的用户对物品的数值型评分值和用户划定的该评分是否为敏感评分；信任记录包括用户ID与被信任用户ID，并且信任是二值的，即只有某用户是否信任另一个用户的信息。推荐算法需要基于用户的评分记录和信任记录进行用户对物品评分的预测。本方案的主要流程为：推荐服务器首先获取各个用户提供的自己的评分记录来汇总成一个包含所有用户评分记录的评分记录集，再根据评分记录集中各条评分记录是否为敏感评分进行记录抽取概率的计算，从而抽取训练数据来训练一个权重满足差分隐私要求的神经网络，该神经网络以用户i的ID和物品j的ID作为输入，以对应的用户对物品的评分值作为输出；同时，汇总所有用户提供的信任记录构建所有用户之间的信任网络。通过信任网络可以估算一个用户应该在多大程度上信任另一个用户，即信任度。当推荐服务器要预测用户i对物品j的评分时，先计算得到对用户i而言信任度高于服务器设定的阈值的信任用户集；然后，以用户i和其信任用户集中的用户的ID以及物品j的ID作为训练好的神经网络的输入得到用户i和其信任用户集中的用户对物品j的预测评分；再使用基于信任网络的社会化推荐算法，使用用户i对信任用户集中的用户的信任度作为权重对预测出的用户i和信任用户集中的用户给物品i的评分进行加权，计算出用户i对物品j的最终的预测评分并将结果返回给用户i。

为了便于理解，下面针对本发明的整个流程进行说明。

一、安全假设。

在进行流程介绍之前，先引入如下假设：

假设系统中的用户信任推荐服务器并且诚实地将评分记录和信任记录传输给推荐服务器。

假设系统中的推荐服务器是可信的，它可以安全地收集、存储和处理用户的评分记录和信任记录，并且不会使用用户的数据于其他目的。

假设系统中的恶意用户试图从推荐服务器返回的结果中推测其他用户的评分记录。假定一个强大的攻击者，知道推荐系统使用的算法、知道除了一条评分记录以外的其余所有评分记录和信任记录、拥有无穷的计算能力。攻击者的目标是根据推荐系统返回的结果判断他不知道的那条评分记录是否存在。为了达到这个目的，攻击者还可以创建多个用户账户参与到这个推荐系统中来，并且观察推荐服务器返回给这些用户账户的所有结果，即这一假设也考虑了恶意用户之间共谋的情况。

二、隐私保护目标。

本发明实施例中，推荐算法A(R∪T,i,j)中服务器将用户的评分记录R(包括用户ID、物品ID、用户给物品的数值型评分以及用户划分的该评分是否是敏感评分)、信任记录T(包括用户ID以及被信任用户ID)和与要预测的评分相关的用户i的ID及物品j的ID作为输入，输出则是对用户i给物品j的数值型评分的预测值a_i,j，并将相应的结果返回给用户i。

本发明的安全目标是使得恶意用户无法从推荐服务器返回的预测结果中推测出其他用户的评分记录信息。因此，对于任意一组相邻的评分记录集(即两个只相差一条评分记录的数据集)R和R'，任意要求推荐系统输出的评分预测值满足(ε，δ)-差分隐私，即

Pr[A(R∪T,i,j)∈S]≤e^εPr[A(R′∪T,i,j)∈S]+δ (1)

其中，T表示用户的信任记录；A表示本方案使用的推荐算法，它以评分记录、信任记录和与要预测的评分对应的用户i的ID及物品j的ID作为输入，以计算出的评分预测值作为输出；Range(A)表示本推荐算法所有可能的输出结果的集合；Pr表示事件发生的概率。隐私预算ε表示了相邻数据集输出结果的相似程度，ε的值越小，则输出结果更相似，对应隐私保护的强度越高；δ表示隐私泄露的概率。

三、工作流程。

本发明实施例提供的方法流程如图2所示，主要包括：

1、推荐服务器获取各个用户发送的包含用户ID、物品ID、相应用户对物品的数值型评分和用户划分的该评分是否是敏感评分组成的评分记录，以及包含用户ID与被信任用户ID的信任记录。

通常情况下，用户对物品进行评分以及添加信任关系后，会产生相应的评分记录与信任记录，用户可以将这些数据传输给推荐服务器。

因此，对于推荐服务器，可以获取到用户发送的评分记录，包含：用户ID、物品ID、用户给物品的数值型评分以及该条评分是否为敏感评分；以及信任记录，包含：给予信任的用户的ID及被信任用户的ID。

2、推荐服务器根据各评分记录是否为敏感评分进行评分记录的抽取概率计算，从而抽取训练数据来训练一个权重满足差分隐私要求的神经网络，该神经网络以评分记录中的用户ID和物品ID作为输入，以对应的用户对物品的评分值作为输出；同时，使用所有用户的信任记录构建信任网络。

1)训练一个权重满足差分隐私要求的神经网络，优选实施方式如下：

a、根据各用户划分的评分记录是否为敏感评分进行抽取概率的计算：设定一个大于等于1的参数α(表示了一条普通评分被抽取与一条敏感评分被抽取的概率比)，根据α的值和评分记录的总数目计算出每条评分记录被抽取的概率，公式如下：

上式中，p_敏感和p_普通分别表示了一条敏感评分记录和一条普通评分记录被抽取的概率值，|R_敏感|和|R_普通|分别表示敏感评分记录的总条数和普通评分记录的总条数。

b、构建一个神经网络，如图3所示，为神经网络结构示意图。神经网络底层运用节点嵌入技术，将用户ID和物品ID视为分类变量，并为每个分类值创建一个独热向量，然后映射到一个固定维度的数值型的节点嵌入向量，并作为后续全连接神经网络的输入。如图4所示，在该神经网络的训练阶段中，训练算法X(R)以评分记录集R中的用户ID、物品ID和对应的用户给物品的数值型评分作为输入，以训练好的神经网络权重作为输出；如图5所示，在该神经网络的推断阶段中，推断算法P(i,j)以评分记录中的用户i的ID和物品j的ID作为输入，输出为用户给物品的数值型评分的预测值。

本步骤涉及节点嵌入技术，节点嵌入技术应用于神经网络的底层。虽然在推荐系统中，用户和物品的ID都是整数，可以直接用作神经网络的训练算法X的输入，但这是不合理的，因为这些整数的值并不反映这些节点之间的关系。例如，ID为10的用户和ID为11的用户可能彼此并不熟悉。因此，应该将ID视为分类变量，并为每个分类值创建一个独热向量。但是，本神经网络中并不直接使用独热向量作为后续全连接神经网络的输入，因为在推荐系统中ID的数量非常大，所以独热向量的维度会非常高。因此，在本神经网络中，会将每个ID对应的独热向量映射到一个固定维度的数值型节点嵌入向量，并作为后续全连接神经网络的输入。神经网络算法中的后向传播机制和随机梯度下降机制使训练网络时，每个嵌入向量都根据已有的评分值得到更新。使用节点嵌入向量的优点在于，它可以获得表示ID值的固定维度的向量，并且在训练过程中，这种表示将趋向于最优的表达。

c、每轮训练中，根据计算出的评分记录抽取概率抽取一个评分数据子集，作为本轮神经网络的训练数据。

d、神经网络的初始权重值使用随机值进行初始化，在后续训练过程中，每轮训练基于上轮已更新的神经网络的权重值，计算评分数据子集中每条评分记录的梯度并且对梯度进行如公式(4)所示的裁剪，使得所有裁剪后的梯度值的L₂范式值都小于等于设定值C。

裁剪后的梯度表示为：

g(x)为裁剪前的梯度，‖g(x)‖₂为g(x)的L₂范式值，C表示设定值。

e、计算本轮评分数据子集中每条评分记录裁剪后的梯度的平均值，并如公式(5)所示在平均值上添加高斯噪声，将带噪的梯度用于本轮权重值的更新。

带噪的梯度表示为：

B表示评分数据子集的大小，为裁剪后的梯度，I是单位矩阵，N(0,σ²C²I)表示均值为0且协方差为σ²C²I且的高斯噪声，∑为求和运算符。

f、重复步骤c至步骤e，直到到达预设的神经网络训练迭代轮数I，从而训练出一个权重满足差分隐私要求的神经网络。

由Abadi等人于2016年在SIGSAC上发表的《Deep learning with differentialprivacy》一文中提及的时刻累积(moments accountant)机制，当ε满足

时，对任意相邻评分数据集R和R'、对算法X所有可能的输出算法X能够满足(ε，δ)-差分隐私，即

Pr[X(R)∈o]≤e^εPr[X(R′)∈o]+δ (7)

其中q₁～N(0,σ²)，q₂～(1-Bp)N(0,σ²)+BpN(1,σ²)，N(0,σ²)表示是均值为0且方差为σ²的高斯噪声，加入的高斯噪声的标准差N(1,σ²)表示是均值为1且方差为σ²的高斯噪声，p表示评分记录被抽取的概率，q₁、q₂分别表示一轮训练中基于两个相邻数据集计算出的带噪梯度的概率密度函数，λ是任意正整数，Pr表示发生事件的概率，I为迭代轮数，X表示以评分记录中的用户ID、物品ID和对应的用户对物品的评分值作为输入、并以训练出的神经网络的权重值作为输出的神经网络训练算法，X(R)、X(R′)分别表示两个相邻数据集R和R′使用算法X后的输出结果S；ε表示隐私预算，δ表示隐私泄露的概率。

训练出的神经网络结构如图3所示，其中神经网络底层将输入的ID转为独热向量，而后转为低维度的嵌入向量，用于作为之后全连接层的输入。图中虚线表示训练出的神经网络权重值满足差分隐私。并且，由于敏感评分和普通评分的被抽取概率p_敏感和p_普通不同，因此它们对应的ε(隐私预算)的值也不同。而由于敏感评分会计算得到更小的ε值，因此它们较普通评分而言，可以得到更强的隐私保护强度。

2)构建信任网络。

使用所有用户发送的信任记录组成信任网络，其中包含用户ID作为节点，信任关系作为信任网络中的有向二值边。

3、推荐服务器预测用户i对物品j的评分时，使用信任网络计算得到对用户i而言信任度高于阈值的信任用户集；然后，基于训练出的神经网络预测出用户i和其信任用户集中的用户对物品j的评分，再使用基于信任网络的社会化推荐算法，计算出用户之间的信任度作为权值，给出最终的预测评分。

本步骤的优选实施方式如下：

1)基于构建的信任网络推荐服务器可以估算一个用户应该在多大程度上信任另一个用户，即一个用户对另一个用户的信任度，具体信任度值的计算可以使用各类信任传播和聚合算法。例如，Golbeck于2006年在International Provenance and AnnotationWorkshop上发表的《Combining provenance with trust in social networks forsemantic web content filtering》一文中提出的TidalTrust算法、Massa和Avesani于2007年在《International journal on Semantic Web and information systems》上发表的《Trust metrics on controversial users:Balancing between tyranny of themajority》一文中提出的MoleTrust算法等。将计算用户i对用户u的信任度的算法记为D(T,i,u)，该算法以信任网络T、用户i的ID和用户u的ID作为输入，以计算出的用户i对用户u的信任度作为输出。根据计算出的信任度筛选出对用户i而言信任度高于推荐服务器设定阈值的用户，构成信任用户集U_Ti。

2)基于训练好的神经网络预测用户i和其信任用户集U_Ti中的用户对物品j的评分，即预测的用户i对于物品j的评分P(i,j)和预测的信任用户集U_Ti中的用户u对于物品j的评分记为P(u,j)。

3)使用基于信任网络的社会化推荐算法，将用户i对其信任用户集U_Ti中用户u的信任D(T,i,u)作为权值(用户i对于用户u信任度计算过程如图6所示)，计算最终预测的用户i对物品j的评分a_i,j，计算过程如图7所示，公式如下：

α′表示用户i信任的用户对最终预测的用户i对物品j的评分的影响程度，α′的值越大表示会越多地考虑信任用户所带来的影响。

4、推荐服务器将预测的用户i对物品j的评分a_i,j以及相应的推荐结果返回给用户i。

可以证明，在本发明中由于用户的评分记录仅被用于训练神经网络的权重，而这一过程所使用的算法X满足差分隐私的要求；本发明提供的社会化推荐方法中的后续流程都不再使用到用户的评分记录。从而，本发明提供的社会化推荐方法A满足差分隐私要求。因此，恶意用户不能从推荐服务器返回的推荐结果中推测出其他用户的是否对某样物品进行过评分。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种基于差分隐私的社会化推荐方法，其特征在于，包括：

推荐服务器获取各个用户发送评分记录与信任记录；

推荐服务器根据各评分记录是否为敏感评分进行评分记录的抽取概率的计算，从而抽取出训练数据集来训练一个权重满足差分隐私要求的神经网络；同时，使用所有用户的信任记录构建信任网络；

推荐服务器预测用户i对物品j的评分时，使用信任网络计算得到对用户i而言信任度高于阈值的信任用户集；然后，基于训练好的神经网络预测出用户i和其信任用户集中的用户对物品j的评分，再使用基于信任网络的社会化推荐算法，计算出用户之间的信任度作为权值，给出最终的预测评分；

推荐服务器将预测的评分返回给用户i。

2.根据权利要求1所述的一种基于差分隐私的社会化推荐方法，其特征在于，

所述评分记录包括：用户ID、物品ID、相应的用户对物品的数值型评分值和用户划定的该评分是否为敏感评分；

所述信任记录包括：用户ID与被信任用户ID。

3.根据权利要求1或2所述的一种基于差分隐私的社会化推荐方法，其特征在于，所述根据各评分记录是否为敏感评分进行评分记录的抽取概率的计算，从而抽取出训练数据集来训练一个权重满足差分隐私要求的神经网络包括：

a、根据各用户划分的评分记录是否为敏感评分进行抽取概率的计算：设定一个大于等于1的参数α，根据α的值和评分记录的总数目计算出每条评分记录被抽取的概率，公式如下：

上式中，p_敏感和p_普通分别表示了一条敏感评分记录和一条普通评分记录被抽取的概率值，|R_敏感|和|R_普通|分别表示敏感评分记录的总条数和普通评分记录的总条数；

b、构建一个神经网络，神经网络底层运用节点嵌入技术，将用户ID和物品ID视为分类变量，并为每个分类值创建一个独热向量，然后映射到一个固定维度的数值型的节点嵌入向量，并作为后续全连接神经网络的输入；在训练阶段，以评分记录中的用户ID、物品ID及相应的用户对物品的数值型评分值作为输入，以训练好的神经网络权重作为输出；在推断阶段，以评分记录中的用户ID和物品ID作为输入，输出为用户给物品的数值型评分的预测值；

c、每轮训练中，根据计算出的评分记录抽取概率抽取一个评分数据子集，作为本轮神经网络的训练数据；

d、神经网络的初始权重值使用随机值进行初始化，在后续训练过程中，每轮训练基于上轮已更新的神经网络的权重值，计算评分数据子集中每条评分记录的梯度并且对梯度进行裁剪，使得所有裁剪后的梯度值的L2范式值都小于等于设定值；

e、计算本轮评分数据子集中每条评分记录裁剪后的梯度的平均值，并在平均值上添加高斯噪声，将带噪的梯度用于本轮权重值的更新；

f、重复步骤c至步骤e，直到到达预设的神经网络训练迭代次数，从而训练出一个权重满足差分隐私要求的神经网络。

4.根据权利要求1或2所述的一种基于差分隐私的社会化推荐方法，其特征在于，所述使用所有用户的信任记录构建信任网络包括：

使用所有用户发送的信任记录构建信任网络，其中包含用户ID作为节点，信任关系作为信任网络中的有向二值边。

5.根据权利要求1所述的一种基于差分隐私的社会化推荐方法，其特征在于，所述预测用户i对物品j的评分时，使用信任网络计算得到对用户i而言信任度高于推荐服务器设定阈值的信任用户集包括：

基于信任网络使用信任传播和聚合算法，计算用户i对其他用户的信任度；

根据计算出的信任度筛选出对用户a而言信任度高于推荐服务器设定阈值的用户，构成用户i的信任用户集。

6.根据权利要求1所述的一种基于差分隐私的社会化推荐方法，其特征在于，所述基于训练好的神经网络预测出该用户i和其信任用户集中的用户对物品j的评分，再使用基于信任网络的社会化推荐算法，计算出用户之间的信任度作为权值，给出最终的预测评分包括：

将用户i的信任用户集记为U_Ti，使用神经网络得到用户i对于物品j的预测评分P(i，j)及信任用户集中的用户u对于物品j的预测评分P(u,j)；使用基于信任网络的社会化推荐算法，将用户i对其信任用户集U_Ti中用户u的信任度D(T，i，u)作为权值，计算最终预测的用户i对物品j的评分a_i,j为：

上式中，α′表示用户i信任的用户对最终预测的用户i对物品j的评分的影响程度。