CN107122803B - 一种基于数据安全的混合聚类方法 - Google Patents

Abstract

本发明适用于数据挖掘技术领域，提供了一种基于数据安全的混合聚类方法，该方法包括如下步骤：采用结合线性变换的旋转扰动方法对初始矩阵进行扰动；利用密度峰聚类算法构造初始质心解空间；利用万有引力搜索算法迭代完成数据点的聚类。本发明实施例采用结合线性变换的旋转扰动方法对初始矩阵进行扰动，保证聚类的相似性度量函数不变，同时对原始数据进行了数据隐私处理，之后利用密度峰聚类算法根据各数据点密度特性选取质心的方法构造初始质心解空间，最后使用万有引力搜索方法将扰动后的数据依据相似性度量函数进行聚类，直至所有数据对象完成聚类，且测评聚类质量的总均方量化误差最小，从而实现数据的最优聚类，保证数据效用且隐藏数据隐私。

Description

一种基于数据安全的混合聚类方法

技术领域

本发明属于数据安全、隐私保护及数据挖掘技术领域，尤其涉及一种基于数据安全的混合聚类方法。

背景技术

基于互联网的迅速发展，复杂网络已经成为人类社会中社会关系维系和信息传播的重要渠道和载体，在用户数量日益壮大的同时，数据量也以指数型暴涨，此时，数据挖掘技术发挥出不可替代的作用，通过对基于互联网的服务过程产生的数据进行挖掘研究，对分析复杂网络数据的拓扑结构、理解网络功能、发现数据中隐藏的规律、挖掘其中隐含的关联信息等方面有着十分重要的理论意义。

基于数据挖掘在海量数据中提取隐藏信息的强大能力，挖掘数据过程中产生的安全问题越来越受到社会各界的关注，比如通过关联规则分析可以从公开的属性结构信息获取一些隐藏信息从而实现商业化目的，通过数据库分析技术可以从海量数据中提取未知模式。由于以互联网为载体的服务具有特定的属性结构信息，并且其参与主体比较特殊，所以在数据共享和数据挖掘过程带来最直接也最主要的问题就是个人隐私泄漏问题。

现存许多数据保护方法无法兼顾数据效用以及隐私保护度的平衡，通常以牺牲隐私保护度来提高数据效用，造成数据隐私保护度低。

发明内容

本发明实施例提供一种基于数据安全的混合聚类方法，旨在解决现有的数据保护方法无法兼顾数据效用以及隐私保护度的平衡，通常以牺牲隐私保护度来提高数据效用，造成数据隐私保护度低的问题。

本发明实施例提供了一种基于数据安全的混合聚类方法，该方法包括如下步骤：

S1、采用结合线性变换的旋转扰动方法对初始矩阵进行扰动；

S2、利用密度峰聚类算法构造初始质心解空间；

S3、利用万有引力搜索算法迭代完成数据点的聚类。

本发明实施例通过采用结合线性变换的旋转扰动方法对初始矩阵进行扰动，保证聚类的相似性度量函数不变的同时，对原始数据进行了数据隐私处理，之后利用密度峰聚类算法根据各数据点密度特性选取质心的方法构造初始质心解空间，最后使用万有引力搜索方法在解空间强而稳定的搜索能力，将扰动后的数据依据相似性度量函数进行聚类，直至所有数据对象完成聚类，且测评聚类质量的总均方量化误差最小，从而实现数据的最优聚类，保证数据效用且又隐藏数据隐私。

附图说明

图1为本发明实施例提供的基于数据安全的混合聚类方法的流程图；

图2为本发明实施例提供的采用结合线性变换的旋转扰动方法的流程图；

图3为本发明实施例提供的利用密度峰聚类算法构造质心解空间的流程图；

图4为本发明是实体提供的利用万有引力搜索算法迭代完成数据点的聚类的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为本发明实施例提供的基于数据安全的混合聚类方法的流程图，该方法包括如下步骤：

S1、采用结合线性变换的旋转扰动方法对初始矩阵进行扰动；

在本发明实施例中，采用线性变换及旋转对初始矩阵进行扰动，保证聚类的相似性度量函数不变的同时，对原始数据进行了安全的数据隐私处理，

图2为本发明实施例提供的采用结合线性变换的旋转扰动方法的流程图，该方法具体包括如下步骤：

S11、对初始数据矩阵D_m×n进行归一化，且随机生成扰动参数k；

在本发明实施例中，k值为随机函数rand生成的范围(0,1)的随机数，保证方法的随机性。

在本发明实施例中，原始数据矩阵D_m×n，由m行n列组成，m行每行对应一个对象，n列每列对应该对象的一个属性。

S12、基于扰动参数k和参数t对归一化后的初始矩阵进行线性变换；

在本发明实施例中，参数t的计算公式如下：其中，r_ij为归一化后初始矩阵中第i行第j列的矩阵元素。

根据公式G(D)＝KD+T对归一化后的初始矩阵进行线性变换，其中K＝k，T＝kt+t。

S13、对线性变换后的矩阵进行旋转扰动，其旋转角度

在本发明实施例中，θ的选取条件是保证扰动前后的数据对象之间的度量指标不会改变，因此满足如下表达式：[X',Y',1]＝[X,Y,1]*T_r，其中θ经过理论证明可选

在本发明实施例中，旋转扰动具体实施方式如下所述：对线性变换后的矩阵进行属性对的分组，每一组记为D_pair矩阵，如果m为偶数，则随机分配m/2个D_pair矩阵属性对；若m为奇数，则造建一个m行1列随机辅助矩阵help_Mat，随机分配(m+1)/2个D_pair矩阵，将D_pair矩阵逐个进行旋转，直至最后一个D_pair矩阵扰动结束，将旋转后的m行1列的随机辅助矩阵进行删除。

S14、对旋转扰动后的矩阵进行预处理，获取扰动数据。

在本发明实施例，所述预处理具体是指根据公式(1)重新生成矩阵元素，

scaled_ij＝(oldValue_ij-minValue_·j)/(maxValue_·j-minValue_·j) (1)

其中i＝1,2,...,m；j＝1,2,...,n，oldValue_ij为旋转扰动后矩阵中的第i行第j列的矩阵元素，minValue·_j为旋转扰动后矩阵中第j列的最小值，maxValue·_j为旋转扰动后矩阵中第j列的最大值，scaled_ij为重新生成的矩阵元素。

S2、利用密度峰聚类算法构造初始质心解空间；

在本发明实施例中，利用密度峰聚类算法根据各数据点密度特性选取质心的方法构造初始质心解空间。

图3为本发明实施例提供的利用密度峰聚类算法构造质心解空间的流程图，步骤S2具体包括如下步骤：

S21、选取截断距离的参数p；

在本发明实施例中，取截断距离d_c的参数p，按照密度峰算法运行机制，即将数据对象之间构成的距离矩阵以升序排列后，取其第p％个位置上的值作为d_c的值，p值的初始值一般取2。

S22、通过相似度量函数计算距离矩阵，将距离矩阵中的距离值按升序排列；

在本发明实施中，令O＝{o₁,o₂,...,o_m}，其中o_m为扰动数据第m个对象，距离矩阵S＝{d_ij,i,j＝1,2…m}，d_ij表示o_i与o_j之间的距离，将距离矩阵S中的距离按升序排列后的距离矩阵记为S₁，S₁＝{d_k,k＝1,2,...,m²},d_k是升序排列后距离矩阵中第k个距离值。

S23、依次获取(m²×2^n-1p+0.5)向下取整值在距离矩阵S₁中对应位置的距离值d_c，直至d_c≠0，其中n为正整数，m为矩阵S的行数。

通过实验证明，密度峰算法对d_c的选取敏感，当d_c＝0时，会导致聚类效果严重下降。本发明实施过程中，将用于获取d_c的参数p的选取机制进行了修正，采用的方法是循环测试所选的d_c是否为0，如果为0，则p＝2*p；再进行循环检测d_c的值，直至d_c≠0时停止循环；发明实施过程中，通过实验证明了该修正方法是可行并且有效的，例如当n＝1时，公式的最后取值为5，则获取距离矩阵记S₁中第5个距离值，记为d_c，若d_c≠0时，执行步骤S24，若d_c＝0则，则计算n＝2时截断距离向下取整的值所对应到距离矩阵中相应位置的值为d_c，若d_c＝0，则计算n＝3时截断距离向下取整的值所对应到距离矩阵中相应位置的值为d_c，依次类推，直至d_c≠0，则执行步骤S24。

S24、通过数据集中各个对象的局部密度和距离值d_c计算ρ_i，δ，γ_i；其中i＝1,2,…,m；

在本发明实施例中，参考DPC算法运行机制，对于每一个数据点o_i，获取O集合中其他数据点与数据点o_i之间的距离，将O集合中其他数据点与数据点o_i之间的距离小于距离值d_c的作为对象o_i的局部密度，计算密度ρ_i和距离δ_i，再根据ρ_i,δ_i获取γ_i；

在本发明实施例中，密度ρ_i的计算公式如下所示：

其中，d_ij＜d_c时，C＝1，当d_ij≥d_c时，C＝0。

对于具有低密度的数据点o_i，距离δ_i采用公式(2)进行计算：

δ_i＝min(d_ij) (2)

其中，i,j＝1,2,…m，且满足ρ_j＞ρ_i。

对于具有高密度的数据点o_i，距离δ_i采用公式(3)进行计算：

δ_i＝max_j(d_ij) (3)

最后，根据公式γ_i＝ρ_i×δ_i计算γ_i，i＝1,2,...,m。

S25、选取γ中前k行元素构造初始质心行向量，利用随机函数循环生成S-1组随机数，施加在初始质心行向量上构成了s-1随机质心行向量，初始质心行向量和s-1随机质心行向量构成初始质心解空间。

在本发明实施例中，k为数据集的参考分类个数，其中s-1个随机质心行向量的生成方法是：

S251、利用随机函数rand随机生成s-1组随机数，每组随机数为1行，k*n列随机数，n为当前需要聚类的数据对象的属性个数；

S252、用S-1组随机行向量与初始质心行向量分别对应相乘，生成s-1个随机质心行向量。

初始质心行向量及s-1个随机质心行向量构成初始质心解空间，在本发明实施例中，S的最佳取值为50，所以利用随机函数生成49个随机质心行向量，共同构成初始质心解空间。

S3、利用万有引力搜索算法迭代完成数据点的聚类。

本发明实施例中，使用万有引力搜索方法在解空间的强而稳定搜索能力，将扰动后的数据依据相似性度量函数进行聚类，直至所有数据对象完成聚类并且当前状况下测评聚类质量的总均方量化误差最小，从而实现数据的最优聚类，保证数据效用且又隐藏数据隐私。

图4为本发明是实体提供的利用万有引力搜索算法迭代完成数据点的聚类的流程图，步骤S3具体包括如下步骤：

S31、初始化搜索空间，即将s-1个随机质心行向量和1个初始质心行向量拼接重组为解空间矩阵；

在本发明实施例中，将s-1个随机质心行向量和1个初始质心行向量随机组成解空间矩阵，或者按生成顺序依次排列成解空间矩阵。

S32、依次计算对象o_i与聚类中心C_j之间的相似性度量函数，将每个数据点按其距聚类中心的距离进行标记；

在本发明实施例中，相似性度量函数是用来计算对象o_i与聚类中心C_j之间的相似性，假设数据集有4个属性，具有3个分类，那么解空间即为50行12列的矩阵，其中每行每4列为一个聚类中心，即C₁就是第一行的1-4列，C₂就是第一行的5-8列，C₃就是第一行的9-12列。

S33、通过适应度引导公式计算适应度函数，并根据召回率选取最佳聚类中心值；

在本发明实施例中，适应度函数值来引导GSA算法迭代过程中每次选取最佳的适应度函数值，让聚类结果趋于最优，该最佳的适应度函数值依据函数实际意义可以选择最大值或者最小值。在迭代过程中，通过公式(4)计算每次迭代过程中的适应度函数值，将当前计算出来的适应度函数值与之前获取的最佳适应度函数值进行比较，确定当前获取的适应度函数值是否为最佳适应度函数值，并依据当前的召回率获取当前的最佳聚类中心。

适应度引导公式表示如下：

其中，fit(O,C)为适应度函数值，o_i为扰动数据第i个对象，C_j为聚类中心。

召回率的计算公式如下：

S34、根据GSA算法运行机制，计算粒子的质量、加速度及速度值，并更新搜索空间，若迭代次数达到预定次数，则结束循环，获得分类结果，若迭代次数未达到预定次数，则执行步骤S32。

在本发明实施例中，GSA算法每一次迭代结束，都会对整个质心解空间进行更新，计算粒子质量、加速度，从而计算粒子的速度，最后更新粒子的位置(也就是更新解空间的值)，为下一次迭代营造更好的解空间，使得这个解空间渐渐趋于最优的解。

本发明实施例通过采用结合线性变换的旋转扰动方法对初始矩阵进行扰动，保证聚类的相似性度量函数不变的同时，对原始数据进行了安全的数据隐私处理，之后利用密度峰聚类算法根据各数据点密度特性选取质心的方法构造聚类中心解空间，最后使用万有引力搜索方法强而稳定的搜索能力，将扰动后的数据依据相似性度量函数进行聚类，直至所有数据对象完成聚类，且测评聚类质量的总均方量化误差最小，从而实现数据的最优聚类，保证数据效用且又隐藏数据隐私。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于数据安全的混合聚类方法，其特征在于，所述方法包括如下步骤：

S1、采用结合线性变换的旋转扰动方法对初始矩阵进行扰动；

S2、利用密度峰聚类算法构造初始质心解空间；

S3、利用万有引力搜索算法迭代完成数据点的聚类；

所述步骤S1具体包括如下步骤：

S11、对初始数据矩阵D_m×n进行归一化，且随机生成扰动参数k′；

S12、基于所述扰动参数k′和参数t对归一化后的初始矩阵进行线性变换，参数其中，r_ij为归一化后初始矩阵中第i行第j列的矩阵元素；

S13、对线性变换后的矩阵进行旋转扰动，其旋转角度

S14、根据公式(1)对旋转扰动后的矩阵元素进行预处理，获取扰动数据，所述公式(1)表示如下：

scaled_ij＝oldValue_ij-minValu_·j/maxValue_·j-minValue_·j (1)

其中i＝1,2,...,m；j＝1,2,...,n,oldValue_ij为旋转扰动后矩阵中的第i行第j列的矩阵元素，minValue_·j为旋转扰动后矩阵中第j列的最小值，maxValue_·j为旋转扰动后矩阵中第j列的最大值，scaled_ij为重新生成的矩阵元素。

2.如权利要求1所述的基于数据安全的混合聚类方法，其特征在于，所述步骤S2具体包括如下步骤：

S21、选取截断距离的参数p；

S22、通过相似度量函数计算距离矩阵S，将距离矩阵S中的距离值按升序排列，将距离值按升序排列后的矩阵记为S₁；

S23、依次获取m²×2^n′-1p+0.5向下取整值在距离矩阵S₁中对应位置的距离值d_c，直至d_c≠0，其中n′为正整数，m为矩阵S的行数；

S24、基于d_i′j′及距离值d_c计算ρ_i′,δ_i′,γ_i′，密度ρ_i′即为第i′个对象的局部密度；δ_i′为第i′个对象的距离；γ_i′为第i′个对象局部密度和距离的乘积，其中i′,j′＝1,2…m；

S25、选取γ中前k行元素构造初始质心行向量，利用随机函数循环生成s-1组随机数，施加在初始质心行向量上构成了s-1随机质心行向量，初始质心行向量和s-1随机质心行向量构成初始质心解空间。

3.如权利要求2所述的基于数据安全的混合聚类方法，其特征在于，所述随机质心行向量的生成方法包括如下步骤：

S251、利用随机函数rand随机生成s-1组随机数，每组随机数为1行，k*n列随机数，n为当前需要聚类的数据对象的属性个数；

S252、用s-1组随机行向量与初始质心行向量分别对应相乘，生成s-1个随机质心行向量。

4.如权利要求3所述的基于数据安全的混合聚类方法，其特征在于，所述步骤S3具体包括如下步骤：

S31、初始化搜索空间，即将s-1个随机质心行向量和1个初始质心行向量拼接重组为解空间矩阵；

S32、依次计算对象o_i与聚类中心C_j*之间的相似性度量函数，将每个对象按其距聚类中心的距离进行标记；

S33、通过适应度引导公式计算适应度函数，并根据召回率选取最佳聚类中心值；

S34、根据GSA算法运行机制，计算粒子的质量、加速度及速度值，并更新搜索空间，若迭代次数达到预定次数，则结束循环，获得分类结果，若迭代次数未达到预定次数，则执行步骤S32。