CN112560984A - 自适应K-Nets聚类的差分隐私保护方法 - Google Patents

Abstract

本发明公开一种自适应K‑Nets聚类的差分隐私保护方法，首先采用计算自然邻居的方式得到所有数据点的自然邻居，当所有数据点的自然邻居总数不变或者自然邻居数为0的个数不变时，得到的K值就是我们所需要的K近邻的参数。随后利用K‑Nets的网络模型，计算数据点的KNN平均距离作为数据点的得分值，为了保护隐私，将得分值添加拉普拉斯噪声进行保护。之后对得分值排序选出密度从高到低的簇，依次判断找出自然形成的M个簇，对没有加入到M簇中的点判断是否是离群点，对不是离群点也没有加入簇中的点，遍历将这些点归入到离它最近的簇中。本发明能够有效保证数据的隐私不被泄露。

Description

自适应K-Nets聚类的差分隐私保护方法

技术领域

本发明涉及数据隐私保护技术领域，具体涉及一种自适应K-Nets聚类的差分隐私保护方法。

背景技术

数据的爆炸式增长、广泛可用和巨大数量使得我们的时代成为真正的数据时代，所以我们急需功能强大和通用的工具，以便从这些海量的数据中找到有价值的数据，并把这些数据转化成有组织的知识，这种需求导致了数据挖掘的诞生。而在数据挖掘中，聚类是一项近些年来不断被研究的重要技术。聚类是一种把数据对象集划分成多个组或簇的过程，使得簇内的对象具有很高的相似性，但与其他簇中的对象有较低的相似性。聚类作为一种数据挖掘工具已经根植于许多应用领域，诸如生物学、安全、商务智能和web搜索等。2018年，loannis A.Maraziotis等人提出了一种基于网络结构的K-Nets聚类方法，这是一种简单的、快速的基于样本的聚类算法，它结合了基于密度方法的能力，利用最近邻技术在数据中心寻找自然的聚类。该方法操作起来简单，但是在寻找K近邻的时候，K值的不同对于最后形成的簇影响较大；同时，该方法没有对簇中的离群点进行处理；最后，该方法没有保护到用户的隐私问题，当数据中包含有较为隐私的数据时，攻击者可以通过获取大多数数据来推测出所需的隐私信息，从而导致信息泄露。

发明内容

本发明所要解决的是现有K-Nets聚类模型运行期间所导致的K值参数对聚类结果影响较大的问题，提供一种自适应K-Nets聚类的差分隐私保护方法。

为解决上述问题，本发明是通过以下技术方案实现的：

自适应K-Nets聚类的差分隐私保护方法，包括步骤如下：

步骤1、将原始数据集中的各个数据点都作为中心点，令K值从1开始逐渐累加，确定每个数据点的K近邻，并基于每个数据点的K近邻确定每个数据点的自然邻居；当所有数据点的自然邻居总数不变或者自然邻居数为0的个数不变时，取这时的K值作为最合适K值；

步骤2、将原始数据集中的各个数据点都作为中心点，令K值为步骤1所确定的最合适K值，确定每个数据点的K近邻；计算每个数据点的得分值，并基于所分配的隐私预算对每个数据点的得分值进行拉普拉斯加噪，得到每个数据点的满足差分隐私得分值；

步骤3、对步骤2所得到的数据点的满足差分隐私得分值进行升序排列；

步骤4、基于步骤3所确定的顺序，对原始数据集中的所有数据点进行遍历；在遍历过程中，判断当前数据点及其K近邻是否都存在于当前有归属数据点集合中：如果都不存在，则将当前数据点及其K近邻加入到当前有归属数据点集合中，并将当前数据点加入到当前中心点集合中：否则，则处理原始数据集的下一个数据点，直到遍历完原始数据集中的所有数据点；

步骤5、完成步骤4之后，有归属数据点集合中存在|M|个数据点及其K近邻所组成的预簇，中心点集合中存在|M|个中心点；

步骤6、先将所有预簇的中心点到预簇中各个数据点的最远距离的平均值作为截止距离；再基于截止距离确定每两个预簇的边界区域集合，若这两个预簇中的其中一个预簇的数据点与另一个预簇的数据点之间的距离小于截止距离时，则这两个数据点属于这两个预簇的边界区域集合；后将所有边界区域集合中的数据点的最大局部密度的平均值作为密度阈值；

步骤7、将原始数据集中没有加入到有归属数据点集合，且局部密度小于密度阈值的数据点，作为离散点；

步骤8、对于每个离散点，从中心点集合的|M|个中心点中找出与该离散点距离最近的中心点，并将该离散点加入到该中心点所属的预簇中，由此生成|M|个最终簇。

上述步骤2中，数据点i的得分值S_i为：

其中，i＝1,2,3,...,N，N为原始数据集的数据点个数，d_ij为数据点i与其近邻j的距离，K为数据点i的近邻个数。

上述步骤2中，得分值较大的数据点所分配的隐私预算大于得分值较小的数据点所分配的隐私预算。

上述步骤2中，数据点i的隐私预算ε_i为：

其中，i＝1,2,3,...,N，N为原始数据集的数据点个数，S_i为数据点i的得分值，ε为给定的总的隐私预算。

上述步骤6和7中，数据点i的局部密度ρ_i为：

其中，i＝1,2,3,...,N，N为原始数据集的数据点个数，d_ij为数据点i与其近邻j的距离，K为数据点i的近邻个数，d_c为截止距离。

上述步骤4中，有归属数据点集合和中心点集合初始均为空。

与现有技术相比，本发明具有如下特点：

1、当数据集中所有数据点的自然邻居总数不变或者自然邻居数为0的个数不变时，得到的K值就是我们所需要的K近邻的参数，这样的处理可以不用多次输入参数K来获得最佳的聚类结果，而我们通过程序的运行就可以得到最佳的K值；

2、在K-Nets的构建阶段中，通过计算数据点K近邻的得分，通过对计算的数据添加相应的拉普拉斯噪声，保证数据的隐私不被泄露；

3、在K-Nets的分配阶段对离群点进行检测，离群点检测，又称为异常检测，是找出其行为很不同于预期对象的过程、离群点检测在许多应用中都是重要的，如医疗处理、公共安全、工业损毁监测、图像处理、传感器、视频网络监视和入侵检测等，所以我们需要对异常的情况进行检测处理。

附图说明

图1为自适应K-Nets聚类的差分隐私保护方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，对本发明进一步详细说明。

本发明公开一种自适应K-Nets聚类的差分隐私保护方法，首先采用计算自然近邻的方式得到所有数据点的自然邻居，当所有数据点的自然邻居总数不变或者自然邻居数为0的个数不变时，得到的K值就是我们所需要的K近邻的参数。随后利用K-Nets的网络模型，计算数据点的KNN平均距离作为数据点的得分值，为了保护隐私，将得分值添加拉普拉斯噪声进行保护。之后对得分值排序选出密度从高到低的簇，依次判断找出自然形成的M个簇，对没有加入到M簇中的点判断是否是离群点，对不是离群点也没有加入簇中的点，遍历将这些点归入到离它最近的簇中。

参见图1，一种自适应K-Nets聚类的差分隐私保护方法，具体包括步骤如下：

步骤1、将原始数据集中的所有数据点都作为中心点，令K值从1开始逐渐累加，确定每个数据点的K近邻(K个最近邻居)，并基于每个数据点的K近邻确定每个数据点的自然邻居；当所有数据点的自然邻居总数不变或者自然邻居数为0的个数不变时，取这时的K值作为最合适K值。

步骤1.1、设原始数据集大小为N，将每个数据点都作为中心点；令K＝1；

步骤1.2、基于当前K值，确定每个数据点的K近邻。数据点i的K近邻指距离数据点i最近的K个数据点组成的集合：

其中，dist(p,o)是指数据点p与距离它第K远的数据点o之间的距离。

步骤1.3、基于每个数据点的K近邻KNN_K(p)，确定每个数据点的自然邻居。数据点i的自然邻居指数据点同时存在于自己的K近邻内的点的K近邻范围内，我们就认为这两个数据点互为自然邻居：

NN_i＝{q|q∈KNN_K(i)&&i∈KNN_K(q)}

其中，NN_i是数据点i的自然邻居，存放的数据点为同时存在于自己的K近邻内的点的K近邻范围内的数据点集合。

步骤1.4、当所有数据点的自然邻居总数不变或者自然邻居数为0的个数不变时，说明距离较近的点都已经被统计过，距离较远的点相对稳定，这时的K值就是我们在之后计算数据点的K近邻得分时最合适的选定参数值；否则，令K＝K+1，并返回步骤1.2，直到选出符合条件的最合适的K值结束。

步骤2、将原始数据集中的所有点都作为中心点，并使用步骤1的选定参数值，确定每个数据点的K近邻；计算每个数据点的得分值，并基于所分配的隐私预算对每个数据点的得分值进行拉普拉斯加噪，得到满足差分隐私的得分值；

步骤2.1、将原始数据集中的所有数据点都作为中心点，使用步骤1中得到的参数K值，确定每个数据点的K近邻。

步骤2.2、计算每个数据点i的得分值S_i，其中得分值为数据点i的K近邻距离内的平均值，即：

其中，i＝1,2,3,...,N，N为原始数据集的数据点个数，d_ij为数据点i与其近邻j的距离，K为数据点i的近邻个数。当S_i的值相对较小时，说明数据点i距离它K近邻内的点较近，也就是局部密度较高，同理当S_i值相对较大时，则局部密度较低。

步骤2.3、基于所分配的隐私预算对步骤2.2中的得到的得分值进行拉普拉斯加噪，得到满足差分隐私的得分值。

在本发明中，给各个的得分值分配的隐私预算ε_i可以是相同的，但为了能够提高匿名效果，在本发明中，对大小不同的得分值所分配的隐私预算ε_i是不均等的。对得分值较大的S_i值分配更大的隐私预算，即加的噪声较小，反之亦然。在本发明优选实施例中，数据点i的隐私预算ε_i为：

其中，i＝1,2,3,...,N，N为原始数据集的数据点个数，S_i为数据点i的得分值，ε为给定的总的隐私预算。

此时，第i个数据点的全局敏感度Δf_i为：

其中，

是数据点i的K近邻中距数据点i最远的数据点与数据点i之间的距离，

是数据点i的K近邻中距数据点i最近的数据点与数据点i之间的距离，||·||_L为L-1范数，i＝1,2,3,...,N。

利用差分隐私保护技术对各个数据点的得分值分配不同的隐私预算，进行不均等的噪声添加：

其中，S_i为未加噪的数据点i的得分值，S_i'为加噪后的数据点i的满足差分隐私的得分值。

步骤3、对步骤2所得到的数据点的满足差分隐私得分值进行升序排列。

满足差分隐私得分值相对较小的数据点，由于数据点距它K近邻的点之间的距离都较小，所以局部密度较高，数据点作为簇中心的概率较大。满足差分隐私得分值相对较大的数据点，由于数据点距它K近邻的点之间的距离都较大，所以局部密度较低，数据点作为簇中心的概率较小。

步骤4、基于步骤3所确定的顺序，对原始数据集中的所有数据点进行遍历。在遍历过程中，判断当前数据点及其K近邻是否都存在于有归属数据点集合中：如果都不存在，则将当前数据点加入到中心点集合中，并将当前数据点及其K近邻加入到有归属数据点集合中：否则，处理下一个数据点，直到处理完原始数据集中的所有数据点。

初始化有归属数据点集合L和中心点集合M为空。从满足差分隐私得分值最小的数据点开始，依次取出原始数据集中的所有数据点作为当前数据点。对于第一个数据点(即满足差分隐私得分值最小的数据点)，由于当前有归属数据点集合L为空，所以第一个数据点及其K近邻一定不存在于当前有归属数据点集合L中，这时，将第一个数据点及其K近邻所组成的预簇加入到当前有归属数据点集合L，并将第一个数据点加入到中心点集合M中。对于第二个数据点(即满足差分隐私得分值第二小的数据点)，判断第二个数据点及其K近邻是否都存在于当前有归属数据点集合L中，如果都不存在，则将第二个数据点及其K近邻所组成的预簇加入到当前有归属数据点集合L，并将第二个数据点加入到中心点集合M中；否则，不处理第二个数据点及其K近邻，继续处理第三个数据点(即满足差分隐私得分值第三小的数据点)。以此类推。直到遍历完原始数据集中的所有的数据点。

步骤5、完成步骤4之后，有归属数据点集合中存在|M|个预簇，中心点集合中存在|M|个中心点。

步骤6、先将所有预簇的中心点到簇中各个数据点的最远距离的平均值作为将截止距离；再基于截止距离确定每两个预簇的边界区域集合，若这两个预簇中的其中一个预簇的数据点与另一个预簇的数据点之间的距离小于截止距离时，则这两个数据点属于这两个预簇的边界区域集合；后将所有边界区域集合的数据点的最大密度值的平均值作为密度阈值。

步骤6.1、通过已得到的预簇找到一个截止距离d_c，该截止距离d_c为自然形成的|M|个预簇中，预簇中心点到簇中最远点之间距离的平均值，即：

其中，

为预簇c的中心点C_point到其簇中各个数据点j的最远距离，|M|为预簇的个数。

步骤6.2、有了截止距离之后，我们给出边界区域集合B^mn的概念，即为：

B^mn＝{i,j|d_ij＜d_c,i∈C_m,j∈C_n}

其中，i,j分别是属于簇C_m,C_n的两个数据点，当这两个数据点之间的距离小于上面所计算出来的截止距离d_c时，我们就认为这两个数据点构成的集合{i,j}是属于簇C_m,C_n的边界区域集合中，即距离没有过大也没有过小的边界点集合。由此我们可以得到任意两个簇之间的边界区域集合。

步骤6.3、找到所有预簇的边界区域之后，我们将所有边界区域内的密度最高值的平均值作为离群点的密度阈值。

先给出数据点i的局部密度ρ_i为：

其中，i＝1,2,3,...,N，N为原始数据集的数据点个数，d_ij为数据点i与其近邻j的距离，K为数据点i的近邻个数，d_c为截止距离。

再找出每个边界区域集合中的最大局部密度，并计算每个边界区域集合中的最大局部密度的平均值，该平均值即为我们所需的密度阈值ρ_cutoff：

其中，B^mn为预簇m与预簇n的边界区域集合，|M|为预簇的个数，|B^mn|为边界区域集合的个数，ρ_i为第i个数据点的局部密度，max(ρ_i)为每个边界区域内的密度最高值。

步骤7、将原始数据集中没有加入到有归属数据点集合，且局部密度小于密度阈值的数据点，作为离散点。

离散点的定义为：

其中，outlies是我们在所有没有被加入到集合L中的点小于密度阈值的点，也就是离群点的集合。

步骤8、对于每个离散点，从中心点集合的|M|个中心点中找出与该离散点距离最近的中心点，并将该离散点加入到该中心点所属的簇中，由此生成|M|个最终簇，算法终止。

需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (6)

1.自适应K-Nets聚类的差分隐私保护方法，其特征是，包括步骤如下：

步骤1、将原始数据集中的各个数据点都作为中心点，令K值从1开始逐渐累加，确定每个数据点的K近邻，并基于每个数据点的K近邻确定每个数据点的自然邻居；当所有数据点的自然邻居总数不变或者自然邻居数为0的个数不变时，取这时的K值作为最合适K值；

步骤2、将原始数据集中的各个数据点都作为中心点，令K值为步骤1所确定的最合适K值，确定每个数据点的K近邻；计算每个数据点的得分值，并基于所分配的隐私预算对每个数据点的得分值进行拉普拉斯加噪，得到每个数据点的满足差分隐私得分值；

步骤3、对步骤2所得到的数据点的满足差分隐私得分值进行升序排列；

步骤4、基于步骤3所确定的顺序，对原始数据集中的所有数据点进行遍历；在遍历过程中，判断当前数据点及其K近邻是否都存在于当前有归属数据点集合中：如果都不存在，则将当前数据点及其K近邻加入到当前有归属数据点集合中，并将当前数据点加入到当前中心点集合中：否则，则处理原始数据集的下一个数据点，直到遍历完原始数据集中的所有数据点；

步骤5、完成步骤4之后，有归属数据点集合中存在|M|个数据点及其K近邻所组成的预簇，中心点集合中存在|M|个中心点；

步骤6、先将所有预簇的中心点到预簇中各个数据点的最远距离的平均值作为截止距离；再基于截止距离确定每两个预簇的边界区域集合，若这两个预簇中的其中一个预簇的数据点与另一个预簇的数据点之间的距离小于截止距离时，则这两个数据点属于这两个预簇的边界区域集合；后将所有边界区域集合中的数据点的最大局部密度的平均值作为密度阈值；

步骤7、将原始数据集中没有加入到有归属数据点集合，且局部密度小于密度阈值的数据点，作为离散点；

步骤8、对于每个离散点，从中心点集合的|M|个中心点中找出与该离散点距离最近的中心点，并将该离散点加入到该中心点所属的预簇中，由此生成|M|个最终簇。

2.根据权利要求1所述的自适应K-Nets聚类的差分隐私保护方法，其特征是，步骤2中，数据点i的得分值S_i为：

其中，i＝1,2,3,...,N，N为原始数据集的数据点个数，d_ij为数据点i与其近邻j的距离，K为数据点i的近邻个数。

3.根据权利要求1或2所述的自适应K-Nets聚类的差分隐私保护方法，其特征是，步骤2中，得分值较大的数据点所分配的隐私预算大于得分值较小的数据点所分配的隐私预算。

4.根据权利要求3所述的自适应K-Nets聚类的差分隐私保护方法，其特征是，步骤2中，数据点i的隐私预算ε_i为：

其中，i＝1,2,3,...,N，N为原始数据集的数据点个数，S_i为数据点i的得分值，ε为给定的总的隐私预算。

5.根据权利要求1所述的自适应K-Nets聚类的差分隐私保护方法，其特征是，步骤6和7中，数据点i的局部密度ρ_i为：

其中，i＝1,2,3,...,N，N为原始数据集的数据点个数，d_ij为数据点i与其近邻j的距离，K为数据点i的近邻个数，d_c为截止距离。

6.根据权利要求1所述的自适应K-Nets聚类的差分隐私保护方法，其特征是，步骤4中，有归属数据点集合和中心点集合初始均为空。

Images