CN111768268A - 一种基于本地化差分隐私的推荐系统 - Google Patents

Abstract

本发明公开了一种基于本地化差分隐私的推荐系统，主要的流程为：(1)用户端对其相关的历史购买商品行为数据进行编码，然后使用满足本地化差分隐私的随机扰动算法对其进行扰动，最后将扰动后的数据发送给服务器端；(2)服务器端收集所有扰动后的数据，然后重建用户历史购买行为的相关信息，最后使用图嵌入算法将其映射为低维向量返回给用户端；(3)每个用户端通过最终生成的向量，计算各自推荐的候选集，从而完成在保护隐私情况下的商品推荐。本发明使用了本地化差分隐私保护技术，该系统无需可信第三方作为媒介，保证了每个用户的隐私信息不被第三方窃取，也保证系统最终推荐结果的有用性。

Description

一种基于本地化差分隐私的推荐系统

技术领域

本发明涉及一种隐私保护的推荐系统，尤其是一种基于本地化差分隐私的推荐系统。

背景技术

本地化差分隐私(Local Differential Privacy)是一种无需可信第三方的隐私保护技术，可应用于数据分析中的个体隐私数据的保护。在本地化差分隐私中，每一个需要隐私保护的个体使用满足本地化差分隐私机制的随机扰动算法对各自的数据进行扰动；数据分析者通过收集扰动后的数据来分析原始个体数据的相关统计学特征。本地化差分隐私提供了用于控制隐私强弱的参数，通过该参数可以平衡随机扰动算法的安全性和可用性。

图嵌入(Graph Embedding)是通过深度学习的方式将图模型映射为低维的向量空间，其中低维的向量空间尽可能保留图模型的结构信息。在推荐系统中，借助图嵌入的方式将用户交互过的商品信息用低维向量表示，然后可以通过学习到的向量计算商品之间的相似性，进而为用户提供合适的商品推荐。

现有的具有隐私保护的推荐系统都是基于差分隐私保护技术或加密技术的推荐系统。基于差分隐私保护的系统需要一个可信的第三方作为媒介，收集用户的数据并添加噪声。而使用加密技术的推荐系统，需要客户端和服务器端复杂的加密解密计算。这些系统无疑在无可信第三方的场景下，安全性和效率方面仍存在问题。

发明内容

针对上述问题，本发明基于本地化差分隐私技术，提出了一种推荐系统，在无可信第三方的场景下，既可以保证用户的隐私信息不会泄露给第三方，又能够为用户提供合适的商品推荐，从而节省用户购买商品时的寻找时间。

在本系统方法运行初始阶段，需要对系统的隐私预算参数ε和用户最大行为序列长度L进行设置。系统的整体架构由三个部分组成：用户端隐私信息处理部分、服务器端商品词向量生成部分和用户端个性化推荐部分。

(1)对于用户端隐私信息处理部分，有5个步骤：

步骤1：用户将自己的购买的商品按时间先后顺序进行排列；

步骤2：根据系统参数L对用户的行为序列进行填充和截断操作，使得商品序列的长度为L；

步骤3：对于上述序列除去最后一次购买的商品之外的所有商品与下一次购买的商品作为一次记录，将其编码为比特向量；

步骤4：将编码后的比特向量使用满足ε-本地化差分隐私的随机扰动算法进行扰动，得到扰动向量；

步骤5：将扰动后的向量发送给服务器端；

(2)对于服务器端商品词向量生成部分，有5个步骤：

步骤1：服务器统计所有接收到的扰动向量，并进行累加，得到累加向量；

步骤2：服务器定义用户购买商品的概率转移矩阵，并使用累加后的向量以及参数ε，进行计算得到每两个商品之间的购买转移概率；

步骤3：使用得到的转移概率，随机生成大量的虚拟的用户行为序列；

步骤4：通过上述虚拟的行为序列，使用Skip-Gram算法，生成商品的词嵌入向量；

步骤5：将生成的商品词向量发送给所有的用户端；

(3)用户端个性化推荐部分，有4个步骤：

步骤1：用户接收到商品的词向量后，对所有的商品计算两两之间的相似度；

步骤2：根据用户最近购买的r个商品，计算其各自最相似的N个商品；

步骤3：根据r个权重系数，计算加权后的商品相似度；

步骤4：对加权后的商品相似度按从大到小的顺序进行排列，取出最相似的N个商品作为最终的推荐结果。

本发明的有益效果为：

(1)本发明是一种无需可信第三方的具有隐私保护的推荐系统模型，在本系统中，用户的相关信息上传给服务器时会进行随机化的扰动，这使得服务器得到的用户数据具有不可区分性，从而保证用户的隐私信息不被泄露；

(2)本发明可以为用户提供合适的商品推荐，虽然服务器得到的单个数据具有不可区分性，但总体数据的统计特性可以通过无偏估计得到，当用户数据量越多时，统计的结果就越准确；

(3)用户端的个性化推荐部分位于用户本地，该部分会直接使用用户的历史购买行为，但并不会上传给服务器端，这样既保证了推荐的准确性，又保护了用户的个人隐私。

附图说明

图1为本发明系统的结构图；

图2为用户端隐私信息处理部分的流程图；

图3为服务器端商品词向量生成部分流程图；

图4为用户端个性化推荐部分流程图；

图5用户端购买商品的原始数据；

图6用户1数据的编码和扰动过程；

图7服务器端收集到并计算转移矩阵的结果；

图8服务器端生成的虚拟用户购买行为序列；

图9为用户1推荐商品的过程。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的描述。

一、系统初始化

根据用户所期望的隐私保护强度，设置一个全局的系统隐私预算ε，其建议的范围为0.5≤ε≤2.0，该参数是用来平衡系统提供的隐私性和系统的准确性。当ε越大时，系统提供的隐私保护强度会越弱，而系统的准确性会越高；当ε越小时，系统提供的隐私保护强度会越强，相应的，系统的准确性会越低。

系统的另外一个参数L(用户最大行为序列长度)需要根据实际的系统需要来进行设置。该参数设置的准则是长度L要小于90％用户实际的行为序列长度。为了便于讨论本系统，以图5中的数据为例，设置用户行为序列的最大长度L为4，隐私预算参数ε为1.0，则

二、用户端隐私信息处理部分

用户端隐私信息处理部分主要的功能是用户将各自的购买行为序列通过编码和随机扰动的方式进行数据的隐私保护，然后将扰动后的数据传输给服务器端用于数据分析。该部分的流程图如图2所示，总结来说，总共包括4个步骤：

步骤1：对于用户购买的商品用标号c_i来表示，其中0≤i＜C，C为商品的总个数。用户将自己的购买的商品按时间先后顺序进行排列，得到一个商品序列，以用户1为例排序得到[c₀,c₂,c₅,c₂]，表示用户1依次购买了商品c₀、c₂、c₅和c₂。

步骤2：对上述序列进行填充和截断操作：当用户的行为序列长度K小于L时，在行为序列左侧做随机填充操作，使得最终的序列长度为L；当用户的行为序列长度K大于L时，取用户行为序列右侧长度为L的序列；当K等于L时，无需填充和截断。最终得到长度为L的商品序列[c′₀,c′₁,c′₂,...,c′_L-1]，如图5中用户1的长度K与L相等，无需进行该步骤，用户2需要在其序列左侧随机添加一个商品，而用户100需要取右侧长度为4的序列。

步骤3：对于上述商品序列，依次选取相邻的两个商品进行One-hot编码：

通过该步骤可以得到L-1个E_i向量{E₀,E₁,...,E_L-2}，其中E_i的长度为C²的比特向量，E_i[j]表示向量E_i的第j个比特，E_i中有一个比特为1，其余比特均为0，C为商品的总个数，如图6中的用户1编码和扰动的过程，c₀和c₂会被编码为[0,0,1,0,...,0,0,0]，c₅和c₂会被编码为[0,0,0,...,0,1,0,0,0]。

步骤4：将上述编码后的每一个比特向量E_i，使用如下的扰动方式进行随机化扰动，该扰动方式满足ε-本地化差分隐私。

其中

通过该步骤可以得到L个V_i向量{V₀,V₁,...,V_L-2}

步骤5：将扰动后的向量进行累加，并将累加的结果V发送给服务器端，

图6中的用户1最终将所有扰动向量按比特位进行累加，得到一个36维的累加向量V，并将其发送给服务器端。

三、服务器端商品词向量生成部分

服务器端商品词向量生成部分该部分的流程图如图3所示，其主要功能是首先根据用户发送的扰动数据，估计出用户购买商品行为的概率转移矩阵，然后根据概率转移矩阵生成大量虚拟的用户购买行为序列，最后通过Skip-gram算法计算出商品的词向量。接下来将详细介绍给部分的技术细节。

步骤1：服务器端收集所有用户发送的扰动向量{V⁽¹⁾,V⁽²⁾,...,V⁽ⁿ⁾}，共计n个用户，对收集到的扰动向量进行累加得到。

步骤2：定义用户购买商品的概率转移矩阵M，其中M_i,j表示用户购买商品c_i后再购买商品c_j的概率。然后使用如下的方式计算每一维度的概率值，从而保证得到的最终结果为原始用户购买商品概率转移矩阵的无偏估计。

如图7中的

它表示所有用户中，购买了商品c₀后购买商品c₁出现的总次数的估计的均值为27.3907。

步骤3：使用随机游走的方式生成虚拟商品购买序列，即根据概率转移矩阵M，随机初始化某个位置，然后使用如下的概率公式，生成大量长度为L的虚拟行为序列。

如图7中得到的转移矩阵M，随机选取初始购买的商品为c₀，则下一次购买任意一种商品的概率为Pr(c_j|c₀)，即以概率为Pr(c₁|c₀)选取商品c₁作为下一个购买的商品，重复该过程直到长度为生成的购买序列长度为4。循环整个过程，产生总数为n的虚拟行为序列，最终生成图8中虚拟的用户购买行为序列。

步骤4：基于上述虚拟的用户购买行为序列，定义如下的目标函数：

min-log(Pr({c_i-w,...,c_i-1,c_i+1,...,c_i+w}|c_i))

使用Skip-gram算法将上述目标函数转化为如下形式：

其中δ(x)为sigmoid函数，N(c_i)表示对商品c_i的负采样，Φ₁(c_i)商品c_i对应的中心词向量的编码方式，Φ₂(c_i)商品c_i对应的上下文词向量的编码方式。上述形式的目标函数，使用梯度下降算法可以得到我们需要的商品的词向量编码方式Φ₁(x)。

步骤5：服务器将最终的词向量编码方式Φ₁(x)发送给每个用户。

四、用户端个性化推荐部分

本部分的主要功能是根据接服务器端计算的商品词向量的编码方式Φ₁(x)，计算所有商品之间的相似度，然后根据历史用户自身的购买行为用户推荐最相似的商品。该部分的详细步骤如下所示：

步骤1：用户端根据商品词向量的编码方式Φ₁(x)，使用如下的公式计算每个商品与其它商品之间的相似度。

步骤2：用户端根据用户的历史购买行为，计算出最近r次购买商品的最相似的N个商品，作为推荐候选集。

步骤3：设置r个权重系数{w₁,w₂,...,w_r}，对计算的不同次商品的相似度使用这r个权重系数进行加权。图中权重系数设置为{0.6,0.3,0.1}，即r设置为3。

步骤4：将所有候选集中的商品按加权后相似度从大到小的顺序进行排列，取出权重相似度最大的N个商品，作为最终的推荐结果。以图5中用户1为例，需要为其推荐2个商品：取最近3次购买商品(c₂、c₅和c₂)最相似的2个商品，并对其按权重系数加权后进行排列得到有序序列，取排序后最相似的2个商品作为为用户1推荐的商品。

Claims (4)

1.一种基于本地化差分隐私的推荐系统，其特征在于，包含如下的三个部分：

用户端隐私数据的处理部分：每个用户根据系统隐私预算参数ε以及用户序列最大长度参数L，对其历史购买行为序列进行编码和扰动，并将扰动后的结果发送给服务器端；

服务器端商品词向量生成部分：服务器端收集所有用户扰动后的行为序列，并根据参数ε和L估计出用户购买商品的概率转移矩阵，通过概率转移矩阵随机生成虚拟的用户购买行为序列，基于该序列训练出商品的词向量，并将结果发送给每个用户；

用户端个性化推荐部分：每个用户在本地端根据商品的词向量分别计算所有商品相似度，并根据最近r次购买行为以及权重系数生成最终的推荐结果。

2.根据权利要求1所述的基于本地化差分隐私的推荐系统，其特征在于，所述用户端隐私数据的处理部分的运行步骤为：

步骤1：对于用户购买的商品用标号c_i来表示，其中0≤i＜C，C表示所有商品的总数；用户将其购买的商品按时间先后顺序进行排列，得到一个商品序列[c′₀,c₁′,c′₂,...,c′_K-1]，其中K表示该用户购买的商品总数；

步骤2：当用户的行为序列长度K小于L时，在行为序列左侧做随机填充操作，使得最终的序列长度为L，当用户的行为序列长度K大于L时，取用户行为序列右侧长度为L的序列，当K等于L时，无需处理，最终得到长度为L的商品序列[c′₀,c₁′,c′₂,...,c′_L-1]；

步骤3：对于上述商品序列，依次选取相邻的两个商品进行One-hot编码：

得到L-1个E_i向量{E₀,E₁,...,E_L-2}；其中E_i的长度为C²的比特向量，E_i[j]表示向量E_i的第j个比特，E_i中有一个比特为1，其余比特均为0；

步骤4：将上述编码后的每一个比特向量E_i，使用如下的扰动方式进行随机化扰动，

其中

ε为隐私预算的参数，通过该步骤可以得到L-1个V_i向量{V₀,V₁,...,V_L-2}；

步骤5：将扰动后的向量进行累加，并将累加的结果V发送给服务器端，

其中，

3.根据权利要求1所述的基于本地化差分隐私的推荐系统，其特征在于，所述服务器端商品词向量生成部分的运行步骤为：

步骤1：假设共有n个用户，则对于第j个用户(1≤j≤n)，服务器可以收集到其扰动后的向量V^(j)，则服务器端收集的所有扰动向量为{V⁽¹⁾,V⁽²⁾,...,V⁽ⁿ⁾}，对收集到的扰动向量进行累加得到V′；

步骤2：定义用户购买商品的概率转移矩阵M，其中M_i,j表示用户购买商品c_i后再购买商品c_j的概率，

其中C为商品的总数，

ε为隐私预算的参数；

步骤3：使用随机游走的方式生成虚拟商品购买序列，即根据概率转移矩阵M，随机初始化某个位置，然后使用如下的概率公式，生成大量长度为L的虚拟行为序列；

步骤4：基于上述虚拟的行为序列，定义如下的目标函数：

min-log(Pr({c_i-w,...,c_i-1,c_i+1,...,c_i+w}|c_i))

其中

它表示取出的上下文行为序列的长度，使用Skip-gram算法将上述目标函数转化为如下形式：

其中δ(x)为sigmoid函数，N(c_i)表示对商品c_i的负采样，Φ₁(c_i)商品c_i对应的中心词向量的编码方式，Φ₂(c_i)商品c_i对应的上下文词向量的编码方式；上述形式的目标函数，使用梯度下降算法可以得到商品的词向量编码方式Φ₁(x)；

步骤5：服务器将最终的词向量编码方式Φ₁(x)发送给每个用户。

4.根据权利要求1所述的基于本地化差分隐私的推荐系统，其特征在于，所述用户端个性化推荐部分的运行步骤为：

步骤1：Φ₁(x)为用户端收到服务器计算的词向量编码方式，则用户端根据Φ₁(x)，使用如下的公式计算每个商品与其它商品之间的相似度：

其中Φ₁(c_i)和Φ₁(c_j)分别表示商品c_i和c_j的词向量；步骤2：用户端根据用户的历史购买行为，计算出最近r次购买商品的最相似的N个商品，作为推荐候选集；

步骤3：设置r个权重系数{w₁,w₂,...,w_r}，其中w_i(1≤i≤r)表示最近第i次对于最终推荐结果影响的大小，然后对计算的不同次商品的相似度使用这r个权重系数进行加权；

步骤4：将所有候选集中的商品按加权后相似度从大到小的顺序进行排列，取出权重相似度最大的N个商品，作为最终的推荐结果。

Images