CN111242194A - 亲和传播聚类的差分隐私保护方法 - Google Patents

Abstract

本发明公开一种亲和传播聚类的差分隐私保护方法，首先对数据进行密度定义，针对密度提升数据点作为聚类中心点的偏好程度，随后对迭代过程进行固定。然后对固定的迭代次数使用满足差分隐私的方式进行采样，最后将采样出的迭代轮数中的R矩阵添加拉普拉斯机制噪声。

Description

亲和传播聚类的差分隐私保护方法

技术领域

本发明涉及隐私保护技术领域，具体涉及一种亲和传播聚类的差分隐私保护方法。

背景技术

随着信息时代的到来，信息技术和大数据产业开始进入高速发展阶段。互联网深入到我们生活中的方方面面，每天都会在我们生活的各个领域产生大量的数据，对这些数据进行挖掘可以得到很多有用的信息。聚类是数据挖掘中的一项重要技术，已经得到了大量的研究，近年来越来越多的聚类算法相继涌现。通过聚类技术，我们可以对大量的数据进行分析，使得由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。聚类能够帮助市场分析人员从客户基本库中发现不同的客户群，在生物学上可以帮助研究者对研究的动植物进行分类，对种群结构产生更好的认识等等。2007年，Brendan J.Frey*等人提出了一种基于互信息传递的亲和传播聚类新方法，该方法不需要指定具体的聚类个数，算法精准度高，适用环境广泛，但是该方法没有考虑到用户的隐私问题，当聚类中间结果含有个人敏感信息时(如顾客消费记录，收入等)，敌手可以大概率的推测出用户的个人信息，从而导致个人敏感信息受到威胁。

发明内容

本发明所要解决的是在亲和传播聚类模型运行期间所导致的隐私泄露的问题，提供一种亲和传播聚类的差分隐私保护方法。

为解决上述问题，本发明是通过以下技术方案实现的：

亲和传播聚类的差分隐私保护方法，包括步骤如下：

步骤1、计算原始数据集中每两个不同样本数据之间的距离，以得到每两个不同样本数据之间的相似度，并据此构建出非完整的相似度矩阵S′；

步骤2、对步骤1的非完整的相似度矩阵S′中的对角相似度进行补全，由此得到完整的相似度矩阵S；即：

步骤2.1、分别计算原始数据集中的每个样本数据的密度值，并根据密度值对原始数据集中的样本数据进行降序排序；

步骤2.2、将密度值排在前θ％的样本数据作为第一类样本数据，其余的样本数据作为第二类样本数据；

步骤2.3、将非完整的相似度矩阵S′中所有相似度的最大值作为第一类样本数据的相似度，并将非完整的相似度矩阵S′中所有相似度的平均值作为第二类样本数据的相似度；

步骤2.4、基于步骤2.3所得到的每个样本数据的相似度，对步骤1的非完整的相似度矩阵S′的对角相似度进行补全，由此得到完整的相似度矩阵S；

步骤3、初始化吸引度矩阵R′和归属度矩阵A′，其中吸引度矩阵R′的吸引度初值为全0，归属度矩阵A′的归属度初值为全0；

步骤4、先设定最大迭代次数X和扰动概率参数f；再基于最大迭代次数X，构建一个长度为X的全0的初始比特串B′；后基于扰动概率参数f，对初始比特串B′进行PRR机制扰动，得到扰动比特串B；

步骤5、基于步骤2的相似度矩阵S和步骤4的扰动比特串B，对步骤3的吸引度矩阵R′和归属度矩阵A′进行X次迭代，得到吸引度矩阵R和归属度矩阵A；即：

步骤5.1、先基于相似度矩阵S和归属度矩阵A′，利用吸引度计算公式计算初始的吸引度矩阵R₀；再基于初始的吸引度矩阵R₀，利用归属度计算公式计算初始的归属度矩阵A₀；

步骤5.2、在第1次迭代时，先基于相似度矩阵S和上一次迭代的归属度矩阵A₀，利用吸引度计算公式计算当前吸引度矩阵R₁；再基于当前吸引度矩阵R₁，利用归属度计算公式计算归属度矩阵A₁；

步骤5.3、在第x次迭代时，先基于相似度矩阵S和上一次迭代的归属度矩阵A_x-1，利用吸引度计算公式计算当前吸引度矩阵R_x；再判断扰动比特串B中的第x位是否为1：如果第x位为1，则先对当前吸引度矩阵R_x进行拉普拉斯加噪，得到当加噪后的吸引度矩阵R_x′，再基于当加噪后的吸引度矩阵R_x′，并利用归属度计算公式计算当归属度矩阵A_x；如果第x位为0，则直接基于当吸引度矩阵R_x，并利用归属度计算公式计算当归属度矩阵A_x；

步骤5.4、重复步骤5.3的过程，得到最终的吸引度矩阵R_X和最终的归属度矩阵A_X，此时吸引度矩阵R_X即为所求吸引度矩阵R，归属度矩阵A_X即为所求归属度矩阵A；

步骤6、对于原始数据集的第i个样本数据将步骤5所得吸引度矩阵R第i行第i列的吸引度值与步骤5所得归属度矩阵A的第i行第i列的归属度值进行相加，如果相加所得的值大于0，则将该样本数据视为聚类中心点；否则，将该样本数据视为普通聚类点；

步骤7、对于每个普通聚类点，先基于吸引度矩阵R和归属度矩阵A，计算该普通聚类点与各个聚类中心点的亲和度值，其中亲和度值等于普通聚类点与聚类中心点的吸引度值与归属度值之和，再将普通聚类点分配给亲和度值最大的聚类中心点所在的簇中，由此完成聚类；

步骤8、将步骤7所得到的聚类输出；

上述θ％为设定值；i＝1,2,…,N，N为原始数据集的样本数据个数；x＝1,2,…,X，X为迭代次数。

上述方案中，所有相似度矩阵、所有吸引度矩阵和所有归属度矩阵的大小为N×N，其中N为原始数据集的样本数据个数。

上述方案中，θ％的取值为5％～10％之间。

上述方案中，样本数据

与样本数据

在当前迭代的吸引度

为：

式中，

表示样本数据

与样本数据

的距离，

表示表示样本数据

与样本数据

的距离，

表示样本数据

与样本数据

在上一次迭代的归属度，i,k,k′＝1,2,…,N，N为原始数据集的样本数据个数。

上述方案中，样本数据

与样本数据

在当前迭代的归属度

为：

式中，

表示样本数据

与样本数据

在上一次迭代的吸引度；

表示样本数据

与样本数据

在上一次迭代的吸引度，i,k,k′＝1,2,…,N，N为原始数据集的样本数据个数。

本发明利用相似性函数计算样本数据集的归属度和吸引度，值越大相似性也就越高，聚为一类的可能性也就越大，这种相似性也可以理解为社交网络中的关系亲密度，因此为了保证这种亲密关系不被泄露，在计算吸引度和相似度矩阵的时候加上差分隐私的拉普拉斯噪声来隐藏潜在的个人数据信息，从而实现隐私安全的保护。

与现有技术相比，本发明具有如下特点：

1、在算法迭代过程中，本发明通过引入密度中心点权重的概念对迭代次数进行优化，固定迭代次数，从而加快算法收敛速度。

2、为了合理分配隐私预算，本发明对整体的固定迭代次数使用永久性随机响应机制进行采样，对采样出的一部分迭代步骤中的吸引度矩阵值用拉普拉斯机制进行加噪，从而保护数据的隐私。

附图说明

图1为亲和传播聚类的差分隐私保护方法的原理图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，对本发明进一步详细说明。

一种亲和传播聚类的差分隐私保护方法，如图1所示，其具体包括步骤如下：

步骤1、计算原始数据集中每两个不同样本数据x_i,x_k之间的距离，并得到每两个不同样本数据之间的相似度s(x_i,x_k)，并据此构建出非完整的相似度矩阵S′。

设原始数据集大小为N，对于原始数据集中每两个样本数据，通过如下公式计算两个样本数据x_i,x_k之间的距离s(x_i,x_k)：

s(x_i,x_k)＝-||x_i-x_k||²

将上述计算结果即每两个样本数据之间的距离存入到一个大小为N*N的相似度矩阵S′中去。

步骤2、对步骤1的非完整的相似度矩阵S′中的对角相似度s(x_i,x_i)进行补全，由此得到完整的相似度矩阵S。相似度矩阵S的大小为N*N。

在亲和传播聚类中，每个样本数据都有一个密度值，密度值越大，这个样本数据越有可能成为一个聚类中心点。按照这个思想，本发明根据样本数据的密度值来提升其偏好值，以减少聚类算法的迭代次数，加快收敛速度，从而降低每次迭代需要添加的总噪声。

步骤2.1、分别计算原始数据集中的每个样本数据x_i的密度值ρ_i，并根据密度值对原始数据集中的样本数据进行降序排序；

密度值ρ_i的具体计算方式为：在样本数据点i邻域范围内(此邻域范围由用户指定)的样本数据点的个数就是其密度值，每个样本数据点都有其对应的一个ρ_i值。

步骤2.2、将密度值排在前θ％的样本数据作为第一类样本数据，其余的样本数据作为第二类样本数据；在本发明优选实施例中，θ％的取值为5％～10％之间。

步骤2.3、将非完整的相似度矩阵S′中所有相似度s(x_i,x_k)的最大值作为第一类样本数据的相似度s(x_i,x_i)，并将非完整的相似度矩阵S′中所有相似度s(x_i,x_k)的平均值作为第二类样本数据的相似度s(x_i,x_i)；

步骤2.4、基于步骤2.3所得到的相似度s(x_i,x_i)，对步骤1的非完整的相似度矩阵S′的对角相似度s(x_i,x_i)进行补全，由此得到完整的相似度矩阵S。

步骤3、初始化吸引度矩阵R′和归属度矩阵A′。其中吸引度矩阵R′的大小为N*N，其吸引度初值为全0，归属度矩阵A′的大小为N*N，其归属度初值为全0。

步骤4、先设定迭代次数X和扰动概率参数f；再基于迭代次数X，构建一个长度为X的全0的初始比特串B′；后基于扰动概率参数f，对初始比特串B′进行PRR机制扰动，得到扰动比特串B。

PRR机制为谷歌开发的一个随机响应机制，设有一个确定的映射全0bit串B，使用PRR对其每一位进行翻转，设翻转概率如下：

式中，B_x表示扰动比特串B中的第x位，B′_x表示原始比特串B′中的第x位。在采用PRR机制进行扰动时，以

的概率取1，以

的概率取0，以1-f的概率保持不变。对比特串B中的每一位使用如上概率进行翻转后，就得到最终的扰动比特串B′。f为用户指定的扰动概率参数，在这一步我们分配隐私预算为ε₁(ε₁表示了用户的隐私保护程度，ε₁越小，隐私保护水平越高)，则PRR机制中的f参数就应该设为

采用谷歌的PRR机制对迭代次数进行采样，这种采样方式是满足ε-差分隐私的采样方式。

步骤5、基于步骤2的相似度矩阵S和步骤4的扰动比特串B，对步骤3的吸引度矩阵R′和归属度矩阵A′进行X次迭代，得到吸引度矩阵R和归属度矩阵A；吸引度矩阵R和归属度矩阵A的大小为N*N。

(1)吸引度矩阵

吸引度矩阵R中的每个值由上述S矩阵的对应值计算而来，R矩阵中的每个值用以表示两个样本数据点之间的吸引度。

R矩阵中第i行和第k列的值就用来表示数据样本点k作为数据样本点i的中心点的吸引程度，用r_x(x_i,x_k)表示，即样本数据x_i与样本数据x_k在当前迭代的吸引度r_x(x_i,x_k)为：

r_x(x_i,x_k)＝s(x_i,x_k)-max_k′≠k{a_x-1(x_i,x_k’)+s(x_i,x_k’)}

式中，s(x_i,x_k)表示样本数据x_i与样本数据x_k的距离，s(x_i,x_k’)表示表示样本数据x_i与样本数据x_k′的距离，a_x-1(x_i,x_k’)表示样本数据x_i与样本数据x_k′在上一次迭代的归属度。

(2)归属度矩阵

归属度矩阵A中的每个值由R矩阵中的每个值计算而来，A矩阵中的每个值用以表示两个样本数据点之间的归属度。

A矩阵中第i行和第k列的值就用来表示数据样本点i作为数据样本点k的簇内点的归属程度，用a_x(x_i,x_k)表示，即样本数据x_i与样本数据x_k在当前迭代的归属度a_x(x_i,x_k)为：

式中，r_x-1(x_k,x_k)表示样本数据x_k与样本数据x_k在上一次迭代的吸引度；r_x-1(x_k,x_k′)表示样本数据x_k与样本数据x_k′在上一次迭代的吸引度。

式中，r_x-1(x_k,x_k)表示样本数据x_k与样本数据x_k在上一次迭代的吸引度；r_x-1(x_k,x_k′)表示样本数据x_k与样本数据x_k′在上一次迭代的吸引度。

在每轮迭代中，都会对R矩阵和A矩阵中的每个值使用r_x(x_i,x_k)和a_x(x_i,x_k)公式进行计算。在计算R矩阵的时候，会根据生成的二进制串B中第x位的值决定是否对第x轮迭代中的R矩阵中的值添加拉普拉斯噪声，最终输出运算结束后的R矩阵和A矩阵。

针对拉普拉斯的噪声，我们在此分配隐私预算为ε₂，(ε₂表示了用户的隐私保护程度，ε₂越小，隐私保护水平越高)敏感度Δf由以下公式计算得来：

因此对需要添加噪声的R矩阵，我们添加的拉普拉斯噪声为lap(Δf/ε₂)。

需要注意的是，算法整体的隐私保护预算为ε＝ε₁+ε₂。

本步骤旨在使得不在每次迭代中添加拉普拉斯噪声，而是选择性的使用满足差分隐私的随机扰动机制对迭代次数进行采样，筛选出远小于迭代轮数x的一部分轮数，在这部分轮数中我们添加隐私保护噪声，由于我们的采样是完全随机的且满足严格的ε-差分隐私机制的，所以攻击者无法获知我们究竟在哪几轮的数据中添加了噪声，因为每次迭代计算R矩阵，都会用到上一次R矩阵的计算结果，所以我们只要在一次R矩阵中添加噪声就可以满足严格的差分隐私，我们进一步筛选出一部分的迭代次数多次加噪，可以使得数据的隐私性更高，实验证明，这样既可以高强度的保护隐私，又能够满足数据一定的精度要求，不至于造成噪声叠加导致数据精度的损失灾难,同时，由于仅仅是选择了一部分迭代轮数进行噪声处理，所以对算法的运行效率影响不大，极大地保留了原始算法的精度和效率。

步骤5.1、先基于相似度矩阵S和归属度矩阵A′，利用吸引度计算公式计算吸引度矩阵R₀；再基于吸引度矩阵R₀，利用归属度计算公式计算归属度矩阵A₀；

步骤5.2、在第1次迭代时，先基于相似度矩阵S和归属度矩阵A₀，利用吸引度计算公式计算吸引度矩阵R₁；再基于吸引度矩阵R₁，利用归属度计算公式计算归属度矩阵A₁；

步骤5.3、在第x次迭代时，先基于相似度矩阵S和归属度矩阵A_x-1，利用吸引度计算公式计算吸引度矩阵R_x；再判断扰动比特串B中的第x位是否为1，如果第x位为1，则先对吸引度矩阵R_x进行拉普拉斯加噪后，再基于加噪后的吸引度矩阵R_x，并利用归属度计算公式计算归属度矩阵A_x；如果第x位为0，则直接基于吸引度矩阵R_x，并利用归属度计算公式计算归属度矩阵A_x；

步骤5.4、重复步骤5.3的过程，得到吸引度矩阵R_X和归属度矩阵A_X，则吸引度矩阵R_X即为所求吸引度矩阵R，归属度矩阵A_X即为所求归属度矩阵A。

步骤6、对于原始数据集的样本数据x_i，将步骤5所得吸引度矩阵R第i行第i列的吸引度R(x_i,x_i)与步骤5所得归属度矩阵A的第i行第i列的归属度A(x_i,x_i)进行相加，如果R(x_i,x_i)+A(x_i,x_i)的值大于0，则将样本数据x_i视为聚类中心点；否则，将样本数据x_i视为普通聚类点。

步骤7、对于每个普通聚类点，先基于吸引度矩阵R和归属度矩阵A，计算该普通聚类点与各个聚类中心点的亲和度值，其中亲和度值等于普通聚类点与聚类中心点的吸引度值与归属度值之和，再将普通聚类点分配给亲和度值最大的聚类中心点所在的簇中，由此完成聚类。

假设筛选出了3个聚类中心点C1,C2,C3,我们对于剩下的所有非聚类中心点，如样本数据点x_i，则利用吸引度矩阵R和归属度矩阵A，得到(x_i,C1)的亲和度值A(x_i,C1)+R(x_i,C1)、(x_i,C2)的亲和度值A(x_i,C2)+R(x_i,C2)、(x_i,C3)的亲和度值A(x_i,C3)+R(x_i,C3)。选取三个亲和度值中最大的值，假设A(x_i,C1)+R(x_i,C1)值最大，则将样本数据点x_i分配给聚类中心点C1所在的簇中，其余点以此类推。

步骤8、将步骤7所得到的聚类输出。

上述θ％为设定值；i,k＝1,2,…,N，i≠k，N为原始数据集的样本数据个数；x＝1,2,…,X，X为迭代次数。

需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (5)

1.亲和传播聚类的差分隐私保护方法，其特征是，包括步骤如下：

步骤1、计算原始数据集中每两个不同样本数据之间的距离，以得到每两个不同样本数据之间的相似度，并据此构建出非完整的相似度矩阵S′；

步骤2、对步骤1的非完整的相似度矩阵S′中的对角相似度进行补全，由此得到完整的相似度矩阵S；即：

步骤2.1、分别计算原始数据集中的每个样本数据的密度值，并根据密度值对原始数据集中的样本数据进行降序排序；

步骤2.2、将密度值排在前θ％的样本数据作为第一类样本数据，其余的样本数据作为第二类样本数据；

步骤2.3、将非完整的相似度矩阵S′中所有相似度的最大值作为第一类样本数据的相似度，并将非完整的相似度矩阵S′中所有相似度的平均值作为第二类样本数据的相似度；

步骤2.4、基于步骤2.3所得到的每个样本数据的相似度，对步骤1的非完整的相似度矩阵S′的对角相似度进行补全，由此得到完整的相似度矩阵S；

步骤3、初始化吸引度矩阵R′和归属度矩阵A′，其中吸引度矩阵R′的吸引度初值为全0，归属度矩阵A′的归属度初值为全0；

步骤4、先设定最大迭代次数X和扰动概率参数f；再基于最大迭代次数X，构建一个长度为X的全0的初始比特串B′；后基于扰动概率参数f，对初始比特串B′进行PRR机制扰动，得到扰动比特串B；

步骤5、基于步骤2的相似度矩阵S和步骤4的扰动比特串B，对步骤3的吸引度矩阵R′和归属度矩阵A′进行X次迭代，得到吸引度矩阵R和归属度矩阵A；即：

步骤5.1、先基于相似度矩阵S和归属度矩阵A′，利用吸引度计算公式计算初始的吸引度矩阵R₀；再基于初始的吸引度矩阵R₀，利用归属度计算公式计算初始的归属度矩阵A₀；

步骤5.2、在第1次迭代时，先基于相似度矩阵S和上一次迭代的归属度矩阵A₀，利用吸引度计算公式计算当前吸引度矩阵R₁；再基于当前吸引度矩阵R₁，利用归属度计算公式计算归属度矩阵A₁；

步骤5.3、在第x次迭代时，先基于相似度矩阵S和上一次迭代的归属度矩阵A_x-1，利用吸引度计算公式计算当前吸引度矩阵R_x；再判断扰动比特串B中的第x位是否为1：如果第x位为1，则先对当前吸引度矩阵R_x进行拉普拉斯加噪，得到当加噪后的吸引度矩阵R_x′，再基于当加噪后的吸引度矩阵R_x′，并利用归属度计算公式计算当归属度矩阵A_x；如果第x位为0，则直接基于当吸引度矩阵R_x，并利用归属度计算公式计算当归属度矩阵A_x；

步骤5.4、重复步骤5.3的过程，得到最终的吸引度矩阵R_X和最终的归属度矩阵A_X，此时吸引度矩阵R_X即为所求吸引度矩阵R，归属度矩阵A_X即为所求归属度矩阵A；

步骤6、对于原始数据集的第i个样本数据将步骤5所得吸引度矩阵R第i行第i列的吸引度值与步骤5所得归属度矩阵A的第i行第i列的归属度值进行相加，如果相加所得的值大于0，则将该样本数据视为聚类中心点；否则，将该样本数据视为普通聚类点；

步骤7、对于每个普通聚类点，先基于吸引度矩阵R和归属度矩阵A，计算该普通聚类点与各个聚类中心点的亲和度值，其中亲和度值等于普通聚类点与聚类中心点的吸引度值与归属度值之和，再将普通聚类点分配给亲和度值最大的聚类中心点所在的簇中，由此完成聚类；

步骤8、将步骤7所得到的聚类输出；

上述θ％为设定值；i＝1，2，...，N，N为原始数据集的样本数据个数；x＝1，2，...，X，X为迭代次数。

2.根据权利要求1所述的亲和传播聚类的差分隐私保护方法，其特征是，所有相似度矩阵、所有吸引度矩阵和所有归属度矩阵的大小为N×N，其中N为原始数据集的样本数据个数。

3.根据权利要求1所述的亲和传播聚类的差分隐私保护方法，其特征是，步骤2中，θ％的取值为5％～10％之间。

4.根据权利要求1所述的亲和传播聚类的差分隐私保护方法，其特征是，样本数据

与样本数据

在当前迭代的吸引度

为：

式中，

表示样本数据

与样本数据

的距离，

表示表示样本数据

与样本数据

的距离，

表示样本数据

与样本数据

在上一次迭代的归属度，i，k，k′＝1，2，...，N，N为原始数据集的样本数据个数。

5.根据权利要求1所述的亲和传播聚类的差分隐私保护方法，其特征是，样本数据

与样本数据

在当前迭代的归属度

为：

式中，

表示样本数据

与样本数据

在上一次迭代的吸引度；

表示样本数据

与样本数据

在上一次迭代的吸引度，i，k，k′＝1，2，...，N，N为原始数据集的样本数据个数。

Images