CN108920714A - 一种分布式环境下隐私保护的关联规则挖掘方法和系统 - Google Patents

Abstract

本发明公开了一种支持分布式环境下隐私保护的关联规则挖掘方法和系统，涉及关联规则挖掘领域，包括以下步骤：可信机构将一个共享密钥发送给用户；用户将需要进行关联规则挖掘的数据进行加密后，发送给计算集群；计算集群根据用户发送的关联规则挖掘需求进行计算和分析，再将结果返回给用户；用户得到返回结果后，利用共享密钥进行解密从而得到真实的关联规则。本发明中计算集群对用户上传的数据无法进行理解，但用户指定关联规则后却能借用计算集群的计算资源进行数据挖掘，且挖掘结果对计算集群不可见，外部攻击者也无法获取信息，从而完成了基于隐私保护的关联规则挖掘；而计算集群由Scala分布式计算框架搭建，容错率和效率都较高。

Description

一种分布式环境下隐私保护的关联规则挖掘方法和系统

技术领域

本发明涉及关联规则挖掘领域，尤其涉及一种支持分布式环境下隐私保护的关联规则挖掘方法和系统。

背景技术

在当前互联网时代，从用户数据中挖据出企业或者第三方感兴趣的、有潜在价值的信息与规则十分重要。数据挖掘应运而生，它能够帮助捕捉到大量数据中无法直接观测得到的信息，并创造更多价值。而关联规则挖掘就是其中一种较为常见的算法，它能够从大量的数据项中捕捉隐藏关系。关联规则数据挖掘最早由Agrawal等人在1993年针对“市场购物篮问题”所提出，了解并分析了顾客的消费行为，从而挖掘出一次交易中两个不同商品被同时购买的可能性。例如购买儿童尿布的男性顾客常常会顺带购买一些啤酒，若是将儿童尿布与啤酒放在较为接近的地方就能提升更多销售额。这就是关联规则分析的一个典型案例。

而随着这些年数据爆发式地增长，计算资源成为数据挖掘的瓶颈之一。为了突破瓶颈，分布式数据源环境下的云计算成了数据挖掘的完美平台。但是，在数据收集以及挖掘过程中，存在许多安全隐患。过去由于缺乏相关专业知识和计算资源，企业或者数据的所有者通常会将用户数据外包给第三方处理。该场景下，数据保存于服务器，服务器可直接获取数据内容，用户的隐私得不到保障；其次，数据所有者为了从大量用户数据中进行关联规则挖掘而把数据交给第三方时，第三方也能获得挖掘结果。这就导致企业私有财产(数据库中的数据和关联规则的挖掘结果)的泄露，用户数据隐私和企业私有财产受到威胁，特别是当服务提供者有意或无意泄露数据时，将面临巨大的风险。

在当前环境下能够提供隐私保护功能的关联规则挖掘算法主要有以下两类：

1)查询限制：对数据进行抽样、隐藏、划分等处理，基于不完整的数据通过概率统计等方式进行挖掘；

2)数据干扰：对数据进行离散变换、增加干扰噪声从而保护原数据，最后基于增加了干扰的数据进行关联规则挖掘。

当前网络环境下用户的数据通常需要将个人数据发送到云端，而各种操作也需要通过服务提供商。计算集群中直接保存的用户数据存在被泄露的可能。

但加密后的数据通常无法直接进行关联规则挖掘，如何在保证用户数据不可见的同时满足关联规则挖掘的需求便是问题所在。过去服务提供者由于缺乏专业知识或者计算资源，会将数据挖掘部分外包给第三方，但现在的网络环境下数据存储和计算无需交给第三方，这也是要改进的部分。

因此，本领域的技术人员致力于开发一种支持分布式环境下隐私保护的关联规则挖掘方法和系统。无需将数据存储和计算交给第三方，在保证用户数据不可见的同时实现关联规则挖掘。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何从用户数据挖掘出有效信息且保证隐私不会泄露。

为实现上述目的，本发明提供了一种支持分布式环境下隐私保护的关联规则挖掘方法，包括如下步骤：

步骤一，可信机构在执行初期选择两个大素数p，α作为安全参数，并将一个共享密钥s发送所有用户；

步骤二，所述用户对数据加密，第i个用户U_i为第j个事务中的第k个项目item_k选取随机数r_ijk，再使用所述共享密钥s对事务j中的所有项目分别计算e_ijk＝s(α·item_k+r_ijk)modp，将事务j整合为E_j＝{e_ij1,e_ij2,…,e_ijli}，重复该过程加密Ui的所有事务得到加密后的事务S_i＝{E₁,E₂,…,E_ti}，将S_i发送给计算集群；

步骤三，所述计算集群挖掘关联规则，针对所有所述用户的事务集{S_i}及关联规则k′为I_x的项目数，k″为I_y的项目数，计算I_xy的支持数 以及I_x的支持数 将SC_xy′,SC_x′,N发送给所述用户；

步骤四，所述用户计算关联规则，所述用户获得SC’_xy,SC’_x,N，先计算以及再计算真实的支持数 以及最终计算关联规则的支持度S_up＝SC_xy/N和置信度Conf＝SC_xy/SC_x。

进一步地，在所述加密过程对每个项目加入一个随机数项作干扰噪声，密文符合在群上随机分布。

进一步地，在所述挖掘关联规则过程中，对同一条事务内频繁项采用相乘方式，不同条事务的结果相加，避免随机噪声累加干扰实际值的计算，计算关联规则时支持数为除以α^k′+k″所得整数部分。

进一步地，所述计算集群由Scala分布式计算框架搭建。

进一步地，所述可信机构在执行初期初始化整个系统。

进一步地，所述用户在所述可信机构注册时，所述可信机构会为所述用户分配标识符。

进一步地，所述大素数p参数范围为2048至4096位。

进一步地，所述共享密钥s参数范围为2048至4096位。

进一步地，所述可信机构、所述用户和所述计算集群网络连接。

本发明还提供了一种支持分布式环境下隐私保护的关联规则挖掘系统，包括所述可信机构、所述用户和所述计算集群；所述可信机构初始化整个系统，为所述用户和所述计算集群分发密钥；所述用户将需要进行关联规则挖掘的数据进行加密后，发送给所述计算集群；所述计算集群根据所述用户发送的关联规则挖掘需求进行计算和分析，再将结果返回给所述用户；所述用户得到返回结果后，利用共享密钥进行解密从而得到真实的关联规则。

与现有技术相比，本发明具有如下有益效果：

1、过去服务提供者由于缺乏专业知识或者计算资源会将数据挖掘部分外包给第三方，但在本发明中数据存储和计算无需交给第三方；

2、计算集群由Scala分布式计算框架搭建，根据本地处理和计算集群挖掘所需时间，可以看出本发明的效率较好，容错率较高；

3、用户上传的数据都经过了随机数处理，保证了用户U_i任一事务t_i中的项目item_k经过随机数处理后能够保证事务中的项目在计算集群中的隐私性；

4、本发明加入随机数干扰使得用户上传至计算集群的数据混淆了各个事务的差异，符合差分隐私保护的要求，并且具有ln(1+(ln(N-1)+C)/(N-1))的差分隐私性。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的系统模型图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

如图1所示，本实施例提供了一种基于隐私保护的关联规则挖掘方案，为了在提供关联规则挖掘的既有功能的前提下保证隐私安全，本发明在对传输项目增加随机数后再进行数据挖掘的基础上改进了关联规则数据挖掘的过程，改进了共享密钥的分配，并将系统模型中实体改为三个(可信机构，用户和计算集群)，数据和关联规则都由用户提供，计算集群负责数据的保存和挖掘。此外，本发明使用了新的安全模型，降低了隐私泄露的可能，也使其满足差分隐私保护的要求。

为了更加符合当前网络环境下的系统结构，本发明的系统模型由三个不同实体构成：

1)计算集群(CC)：负责从用户的数据中实施隐私保护关联规则挖掘方案；

2)用户集(U)：用户集U＝{U₁,U₂,…,U_n}参与系统活动，每个用户发送到CC的数据都经过了加密；

3)可信机构(TA)：作为信任机构负责为用户和计算集群分发密钥，并且负责初始化整个系统。

本发明提出的隐私保护的关联规则挖掘算法分为以下四个部分：

1)可信机构(TA)对系统进行初始化；

2)用户在本地对数据进行处理；

3)计算集群进行关联规则挖据；

4)用户对结果进行二次处理。

本发明中，可信机构(TA)在执行初期初始化整个系统。当每个用户U_i在TA注册时，可信机构(TA)都会为用户分配标识符ID_i，并将一个共享密钥s发送给U_i。

本发明中，用户U_i加密数据的过程包括如下步骤：

步骤一，U_i为第j个事务(j∈[1,t_i])中的第k个项目item_k选取长度为k的随机数r_ijk；

步骤二，使用共享密钥对事务j中的所有项目分别处理：

1)若item_k为1，则e_ijk＝s(α+r_ijk)modp⑶

2)若item_k为0，则e_ijk＝s·r_ijkmodp⑷

步骤三，将事务j整合为E_j＝{e_ij1,e_ij2,…,e_ijli}；

步骤四，针对U_i的所有事务重复步骤1、2、3，得到加密后的事务S_i＝{E₁,E₂,…,E_ti}；

步骤五，将S_i发送给计算集群(CC)，完毕。

本发明中，计算集群进行关联规则挖掘的过程包括如下步骤：

步骤一，针对用户U_i的事务集S_i，计算I_xy和I_x的支持数，其中I_xy＝I_x∩I_y，该步骤计算出的支持数不会泄露用户隐私。记I_xy的支持数：

Ix的支持数：

步骤二，将所有的SC’_xyi和SC’_xi合并，获得所有用户关于两个规则的支持数；

步骤三，将SC′_xy,SC′_x,N发送给用户U_s。

本发明中，用户U_s从计算集群(CC)获得SC’_xy,SC’_x,N，关联规则的计算过程包括如下步骤：

步骤一，计算和

步骤二，计算真实的支持数；

步骤三，计算关联规则的支持度和置信度；

1)支持度：S_up＝SC_xy/N

2)置信度：Conf＝SC_xy/SC_x

步骤四，当给定支持度和置信度的阈值时，可以确定关联规则是否成立。

实施例：

可信机构(TA)在执行初期初始化整个系统。设定参数范围为：

s:4096位

p:4096位

在本实施例中，选择的两个安全参数alpha和p分别为大素数2348718931403117853658456153046836854112410800899399311651498455491469667626394699737334469423418982435624389878708536360714294201836640445155539304587和大素数634771545323241108361069822760610109800716946268333424478793623427965326408848372495762355730565489066453752722894845247150297123365726301133058145949794279724818308667031102970462801777553215605730842243093177973871419056102602123390362177952380375166444796262789297522959877773288748560060012754592534325363672619772018104840057371690820618799141524820735273544845514664742125080506636086109103738412902460590846266603449520406883202182327780336107615244854690697570857231284683206159573860030804403292470144578542891302198147288969204091311816766978854898836927354819587333183617159501021973704057428175021801349228366398980000752137923489937595863074424954907837290398605495409339198616485750307359048493670122428868585723898946077653453835186267791139017655436220441599280282885085741414488977545847573156648254784972354840772129655538504468154570999158631614625985572098834877501386997820740252984603831931336027099791496650046685570401499628404080905039027819611357898591245285779511683905386594801878483023170236500460090395145767614421038091201782808408088271536362281187972446378439810088986868796335543580013533041066979953215322119647879519219234714510193502358674094014978977232760750293429544959837761265499184029892673；共享密钥s为128782387548472780196897529902944504036400780406866926041427283103373850085122198062809816833781017363503997577738982627062653572907306843186593550743508985755231119587323542603845532793414631807083381587075250772593439893940704552023034551282173121974662121386612482078114455318770334534863939235525552338214208528990214219858560677724751496494789383444103886772690611737275536939496226253676089632462136009391971421199525498336431215110029930504403002414868539791049112263818285338659093076508146904187428274704308670285536702082736048975453845202145225994446001458642451072757896069251728272464396163315673006311013092516981324803585868116398036090705021910718016337822722740676464502442488521973504651260785021486033053368640339251758865605789811538328182182488098522881654364496036592021976964835706952519093870128073736241427527347324467078833856633528198363773901888618797187018322600405185948163483274775422007132404631642504206583997678384656306843823342370264015340010581337818938758054104320731614877614189171456540758489367878668768677473090159484245520212032874876564098308186892812406628087001834426365929275653413648886979023744641715485993957292607322836896926933296122638674368000038679757543836201263722897492202772348718931403117853658456153046836854112410800899399311651498455491469667626394699737334469423418982435624389878708536360714294201836640445155539304587。

本实施例中，用户(U)对数据的加密包括如下步骤(设定所有用户属性L范围：0-1000)：

步骤一，用户i为第j行、第k列的事务选择随机数，设定随机数范围：0-2¹⁰⁰；

步骤二，使用共享密钥s对事务j中的所有项目分别处理：

1)若item_k为1，则e_ijk＝s(α+r_ijk)modp

2)若item_k为0，则e_ijk＝s·r_ijkmodp

步骤三，将事务j整合为E_j＝{e_ij1,e_ij2,…,e_ijli}；

步骤四，针对用户i的所有事务重复步骤一、二、三，得到加密后的事务S_i＝{E₁,E₂,…,E_ti}；

步骤五，将事务S_i发送给计算集群(CC)。

本实施例中，计算集群(CC)进行关联规则挖掘的过程包括如下步骤：

步骤一，针对事务S_i计算I_xy和I_x的支持数，其中I_xy＝I_x∩I_y；

步骤二，将所有的支持数合并，获得所有用户关于两个规则的支持数；

步骤三，将所得支持数和用户事务总量N＝100发送给用户(U)。

本实施例中，关联规则计算过程包括如下步骤：

步骤一，计算和

步骤二，计算真实的支持数；

步骤三，计算关联规则的支持度和置信度；

1)支持度：S_up＝SC_xy/100

2)置信度：Conf＝SC_xy/SC_x

步骤四，计算出支持度和置信度，确定关联规则成立。

至此，本发明提出的隐私保护关联规则挖掘方案结束。

由以上实施例可看出，本发明在保护用户数据不可见的情况下满足了关联规则挖掘的需求，同时数据存储和计算部分无需交给第三方。

本发明中，用户使用随机数对每条事务的每个属性进行加密，当事务量达到100条时，平均需要245毫秒；而事务量达到500条时，平均需要416毫秒；实物量达到1000条时，用户加密全部事务中的属性花费758毫秒。计算集群根据指定用户提交的关联规则进行关联规则挖掘，当事务量为100条时，所需时间平均94毫秒；当事务总量为500条时，所需时间平均332毫秒；当事务总量为1000条时，所需时间平均为460毫秒。由此可发现本发明的效率较高。

本发明中，用户上传的数据都经过了随机数处理，保证了用户U_i任一事务t_i中的项目item_k经过随机数处理后能够保证事务中的项目在计算集群中的隐私性。计算集群的数据挖掘基于用户处理后的事务集S_i，而并非明文事务集，得到的结果SC′_xy,SC′_x只有在与共享密钥s一同计算计算才能获得和而共享密钥s只有用户拥有，计算集群在没有s的情况下无法获取关联规则挖掘的结果。

本发明中，由于共享密钥的存在，计算集群对用户上传的数据无法进行理解，但用户指定关联规则后却能借用计算集群的计算资源来进行数据挖掘，且挖掘结果对计算集群不可见，外部攻击者也无法获取信息，满足差分隐私保护的要求。

本发明中，当计算集群挖掘完毕后，只有用户可以在挖掘结果基础上进行计算，从而获取实际的挖掘结果。而计算集群由Scala分布式计算框架搭建，容错率和效率都较高。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种支持分布式环境下隐私保护的关联规则挖掘方法，其特征在于，包括如下步骤：

步骤一，可信机构在执行初期选择两个大素数p，α作为安全参数，并将一个共享密钥s发送所有用户；

步骤二，所述用户对数据加密，第i个用户U_i为第j个事务中的第k个项目item_k选取随机数r_ijk，再使用所述共享密钥s对事务j中的所有项目分别计算e_ijk＝s(α·item_k+r_ijk)modp，将事务j整合为E_j＝{e_ij1,e_ij2,…,e_ijli}，重复该过程加密Ui的所有事务得到加密后的事务S_i＝{E₁,E₂,…,E_ti}，将S_i发送给计算集群；

步骤三，所述计算集群挖掘关联规则，针对所有所述用户的事务集{S_i}及关联规则k′为I_x的项目数，k″为I_y的项目数，计算I_xy的支持数 以及I_x的支持数 将SC_xy′,SC_x′,N发送给所述用户；

步骤四，所述用户计算关联规则，所述用户获得SC’_xy,SC’_x,N，先计算以及再计算真实的支持数 以及最终计算关联规则的支持度S_up＝SC_xy/N和置信度Conf＝SC_xy/SC_x。

2.如权利要求1所述的支持分布式环境下隐私保护的关联规则挖掘方法，其特征在于，在所述加密过程对每个项目加入一个随机数项作干扰噪声，密文符合在群上随机分布。

3.如权利要求1所述的支持分布式环境下隐私保护的关联规则挖掘方法，其特征在于，在所述挖掘关联规则过程中，对同一条事务内频繁项采用相乘方式，不同条事务的结果相加，避免随机噪声累加干扰实际值的计算，计算关联规则时支持数为除以α^k′+k″所得整数部分。

4.如权利要求1所述的支持分布式环境下隐私保护的关联规则挖掘方法，其特征在于，所述计算集群由Scala分布式计算框架搭建。

5.如权利要求1所述的支持分布式环境下隐私保护的关联规则挖掘方法，其特征在于，所述可信机构在执行初期初始化整个系统。

6.如权利要求1所述的支持分布式环境下隐私保护的关联规则挖掘方法，其特征在于，所述用户在所述可信机构注册时，所述可信机构会为所述用户分配标识符。

7.如权利要求1所述的支持分布式环境下隐私保护的关联规则挖掘方法，其特征在于，所述大素数p参数范围为2048至4096位。

8.如权利要求1所述的支持分布式环境下隐私保护的关联规则挖掘方法，其特征在于，所述共享密钥s参数范围为2048至4096位。

9.如权利要求1所述的支持分布式环境下隐私保护的关联规则挖掘方法，其特征在于，所述可信机构、所述用户和所述计算集群网络连接。

10.一种支持分布式环境下隐私保护的关联规则挖掘系统，其特征在于，包括所述可信机构、所述用户和所述计算集群；所述可信机构初始化整个系统，为所述用户和所述计算集群分发密钥；所述用户将需要进行关联规则挖掘的数据进行加密后，发送给所述计算集群；所述计算集群根据所述用户发送的关联规则挖掘需求进行计算和分析，再将结果返回给所述用户；所述用户得到返回结果后，利用共享密钥进行解密从而得到真实的关联规则。