CN104766020B - 商务数据匿名发布中的极小信息损失控制方法 - Google Patents

Abstract

本发明公开商务数据匿名发布中的极小信息损失控制方法，先将数据集泛化所有的非敏感项目至最高层次结点。再对泛化之后的数据集做隐私检查；如果置信度大于隐私约束条件ρ，则部分删除处理当前数据集。在部分删除处理时不断调用隐私检查，直至当前数据集符合数据隐私保护匿名条件时停止，将符合隐私保护匿名要求的当前数据集传送给极小信息控制机制，通过前后信息损失对比决定是否向下进行分组和细化，如果根据分组细化处理后信息损失小，则向下分组细化处理，同时将一个组形成的多个子分组迭代上述过程。但是如果分组细化进行后，信息损失反而增大，则直接发布当前分组。

Description

商务数据匿名发布中的极小信息损失控制方法

技术领域

本发明涉及电子商务技术领域，具体涉及一种商务数据匿名发布中的极小信息损失控制方法。

背景技术

随着电子商务的快速发展，在互联网中产生了大量的数据，例如:各种购物网站的查询和浏览商品生成的交易数据，在线或离线购物和对产品的评论。这些数据包含丰富的资源，比如群体的购物习惯和商品的市场调查等等，为了吸引更多的消费者，增加交叉销售，提高消费者的忠诚度，通过发布数据集对这些数据进行合理的分析和归纳，为消费者定制更加精确的个性化服务，同时利用这些数据挖掘出更加精确的潜在模式，进行商业预测可以帮助企业决策者更好的调整应对市场策略，躲避风险，做出正确的决策给企业带来巨大的利润，这就需要数据拥有者能够发布数据集供研究使用。但是对于消费者进行日常电子商务交易过程中产生的数据，这些数据可能包括用户的真实姓名，联系地址，身份信息，手机号码等敏感信息，如果在数据共享的过程中不对数据进行处理，将会导致消费者的隐私信息泄露。通常为了保护用户的隐私，简单地采取匿名的形式共享数据，共享的数据不包括消费者的唯一标识符，比如：姓名，ID号等，这样攻击者不能通过用户的唯一标识符确定到某个个体。但是由于目前所采取的是简单匿名操作发布的数据表，因而仍然存在着隐私信息泄露的威胁。

为了更高效地保护消费者的隐私信息不被泄露，我们假定攻击者拥有背景知识最强，也就是可能会知道消费者购买的任何项目，所以我们研究的目标是使得发布的数据集最终能够达到ρ-uncertainty隐私保护模型的要求，即要求对于数据集中的任何一条元组，各元组中的任一项目子集X，对于任何一个敏感项目α∈D_S，D_S为数据集中的敏感项目集，要保证关联规则X→α的置信度conf(X→α)＜ρ。ρ-uncertainty隐私模型的约束条件就是删除conf(X→α)＞ρ的关联规则，此类关联规则称为强隐私关联规则，要使得最后发布的数据集中不再出现任何强隐私关联规则。但是当前的基于ρ-uncertainty隐私保护模型的匿名处理方法中存在着严重不足：即

第一种方法：采用全局删除的方法来处理数据集，使得某些项目在数据集中彻底删除，这样不仅对数据集的信息损失巨大，我们发布数据的初衷是为了研究数据元组项目之间的潜在关联，如果将某个敏感项目从数据集中全部删除，这使得这些项目彻底失去了被研究的机会，这使发布的数据集研究的价值减小；

第二种方法：采用全局泛化与全局删除相联合，泛化与删除相比在一定程度上减少了信息的损失，但是全局泛化会带来了项目之间庞大数量的伪关联规则，伪关联规则是指由于项目过度泛化达到匿名处理的过程中带来的一些其实并不存在的关联规则，但是发布数据的目的就是为了研究项目之间的真实存在的潜在的关联，为消费者提供更加精确的服务和为企业挖掘出潜在的经营模式，所以这样经过这样处理的数据集已经很难符合当前对数据分析者对数据集的需求；

第三种方法：对整个数据集部分删除，仅仅靠删除项目使得数据集从而达到匿名要求是不可取的，因为存在一些项目进行简单泛化就可以达到匿名条件，且某些泛化的信息损失在一定程度上小于匿名。

发明内容

本发明所要解决的是现有基于ρ-uncertainty隐私保护模型的匿名处理方法存在信息损失大的问题，提供一种商务数据匿名发布中的极小信息损失控制方法。

为解决上述问题，本发明是通过以下技术方案实现的：

商务数据匿名发布中的极小信息损失控制方法，包括如下步骤：

步骤1：定义隐私约束条件ρ，将待发布的数据集中的所有非敏感项目根据泛化层次树泛化到最高层次；

步骤2：检查泛化后的数据集是否符合隐私条件，计算数据集中的每个关联规则在数据中出现的概率ρ’，如果ρ’≤ρ，则直接保留当前数据集；如果ρ’＞ρ，则部分删除处理当前数据集，形成符合隐私条件的数据集；

步骤3：计算部分删除处理后的当前数据集的信息损失即细化分组前的信息损失L；按照分组层次树将该数据集进行分组，并对每个分组向下进行细化；计算分组细化后的各分组的信息损失之和即细化分组后的信息损失L’；

步骤4：比较数据集在细化分组前的信息损失L和细化分组后的信息损失L’的大小；如果L＞L’，则保留分组细化的结果，并返回步骤3，迭代处理形成的各个分组；如果L≤L’，则直接发布分组细化前的数据集。

步骤2具体包括如下步骤：

步骤2.1：提取数据集中的所有关联规则，计算每条关联规则在数据集中出现的概率，并将概率大于隐私约束条件ρ的关联规则加入到违反关联规则集中；

步骤2.2：随机从违反关联规则集中选取一条关联规则作为目标关联规则；

步骤2.3：在数据集中选取包含有该目标关联规则的记录，并从该记录中随机删除一个包含有该目标关联规则中的项目；

步骤2.4：再次计算该目标关联规则在数据集中出现的概率ρ’，并将该概率ρ’与隐私约束条件ρ进行比较；如果ρ’＞ρ，则返回步骤2.3，直至ρ’≤ρ，此时该目标关联规则符合隐私条件；

步骤2.5：当选取的目标关联规则符合隐私条件时，则返回步骤2.2，选取另一条关联规则作为目标关联规则进行处理，直至违反关联规则集为空；

步骤2.6：当违反关联规则集为空时，部分删除处理过程结束，输出经过处理后的数据集值送入步骤3。

与现有技术相比，本发明具有如下特点：

1、将部分删除处理匿名方法和向下分组细化匿名方法两种方法结合起来，在分组前和分组后经过部分删除处理达到匿名效果的情况下将两种的信息损失比较，在两种办法中取信息损失较小的方法；

2、将局部分组技术应用到商务数据的匿名处理中，要求每个子分组内部满足隐私保护的约束条件即可，从而使匿名处理过程中信息损失减小。

3、将局部泛化和局部删除方法相结合，在匿名处理过程中，将两种方法的匿名信息损失进行比较，给出信息损失判断依据，选择信息损失最小的方法处理数据集。

附图说明

图1为商务数据匿名发布中的极小信息损失控制方法的整体流程图。

图2为图1中部分删除处理的流程图。

图3为一种泛化层次树图。

图4为一种分组层次树图。

具体实施方式

一种商务数据匿名发布中的极小信息损失控制方法，如图1所示，包括步骤如下：

步骤1：定义隐私约束条件ρ，将待发布的数据集中的所有非敏感项目根据泛化层次树泛化到最高层次，敏感项目不做任何操作。

步骤2：检查泛化后的数据集是否符合隐私条件，如果不满足，则要部分删除敏感项目以达到隐私保护的要求。计算数据集中的每个关联规则在数据中出现的概率即置信度ρ’。如果ρ’≤ρ，则保留当前数据集；如果ρ’＞ρ，则部分删除处理当前数据集，形成符合隐私条件的数据集。

部分删除方法：遍历整个数据集，假设攻击者的背景知识为X,X的支持度SUP(X)为数据集中记录中包含有X的总的记录数，攻击者由已有的背景知识推断某个目标个体的敏感项目为Y，X和Y的支持度SUP(X∪Y)为数据集中某条记录既包含X的同时也包含Y的记录的总条数，最后计算关联规则X-＞Y的置信度CONF(X-＞Y)＝SUP(X∪Y)/SUP(X)的值，如果这个置信度值大于我们所定义的ρ，那么就要在X和Y中随机选择某个项目删除，删除后再更新所有关联规则的置信度，直到整个数据集中不再存在置信度大于ρ的关联规则。

在本发明中，部分删除方法，如图2所示，包括如下步骤：

步骤2.1：提取数据集中的所有关联规则，计算每条关联规则在数据集中出现的概率即置信度，并将概率大于隐私约束条件ρ的关联规则加入到违反关联规则集中；

步骤2.2：随机从违反关联规则集中选取一条关联规则作为目标关联规则；

步骤2.3：在数据集中选取包含有该目标关联规则的记录，并从该记录中随机删除一个包含有该目标关联规则中的项目；

步骤2.4：再次计算该目标关联规则在数据集中出现的概率即置信度ρ’，并将该概率ρ’与隐私约束条件ρ进行比较；如果ρ’＞ρ，则返回步骤2.3，直至ρ’≤ρ，此时该目标关联规则符合隐私条件；

步骤2.5：当选取的目标关联规则符合隐私条件时，则返回步骤2.2，选取另一条关联规则作为目标关联规则进行处理，直至违反关联规则集为空；

步骤2.6：当违反关联规则集为空时，部分删除处理过程结束，输出经过处理后的数据集值送入步骤3。

经过以上步骤处理后的数据集是符合数据发布隐私保护要求的，但是此时的信息损失并不是最优的，我们提出一种极小信息控制机制，使得经过处理后的发布的数据集信息损失最少。信息损失的统计可以分为两个部分之和，一部分是非敏感项目被泛化的信息损失，另一部分是删除某些项目的信息损失。

步骤3：计算当前数据集的信息损失即细化分组前的信息损失L；按照分组层次树将该数据集进行分组，并对每个分组向下进行细化；计算分组细化后的各分组的信息损失之和即细化分组后的信息损失L’。

分组层次树是当用户得到数据集的时候，根据数据集中非敏感项目的属性可以制定出来的。

计算如果将当前数据集根据分组层次树进行分组和细化，分组和细化的时候会带来两部分信息损失的变化。第一部分信息损失的变化，根据分组层次分组且细化后，非敏感项目细化后使得信息损失减少，但是分组和细化后使得形成了多个子分组，破坏了原始关联规则的表现形式，我们就要求对各个子分组重新要做隐私检查，如果出现不符合隐私保护要求的关联规则，就对其进行部分删除处理，删除项目会带来第二部分信息损失的变化，第一部分信息损失是减少，第二部分是增加，最后计算两部分之和，如果比分组细化的信息损失小，那么分组细化是可取的，就进行操作，否则说明当前信息损失是最优的，保持当前数据形式，数据集不作变化。

步骤4：比较数据集在细化分组前的信息损失L和细化分组后的信息损失L’的大小；如果L＞L’，表示分组细化后信息损失较小，保留分组细化的结果，并返回步骤3，迭代处理形成的各个分组；如果L≤L’，表示分组细化前的信息损失较大，分组细化不成功，直接发布分组细化前的数据集。

下面通过一个具体实例对本发明进行进一步说明：

表1中的原始数据集，直接发布如下数据集，如果攻击者已经知道bob买了a1，b1，那么攻击者可以确定bob同时购买了α和γ，但是α和γ为bob的隐私项目不愿被别人所知道信息，所以直接发布会导致隐私信息的泄露，给消费者带来困扰。所以需要在数据集发布之前进行匿名处理。

TID	Items
		t1	a1
t2	a2，α
		t3	b1，b2，α
t4	b1，b2
		t5	a1，b1，α，γ
t6	a1，b3
		t7	a1，b2，γ

表1 原始数据集

本发明对非敏感项目局部泛化的处理，首先定义分组层次树应用于算法执行过程中分组。分组成功的条件，细化处理后，每个子分组中至少有1/ρ条元组，不满足此条件分组就不成功，回滚。例如，数据集中非敏感项目有a1，a2，b1，b2，b3，敏感项目有α，γ，其中a1，a2都属于A类项目，b1，b2，b3都属于B类项目，对非敏感项目的处理是根据泛化层次树进行。

首先将原始数据集中的非敏感项目全部泛化到最高层次的all结点，当前组内就只有一个结点all，所以计算细化all，all向下细化可以分为分别包含{A}，{B}，{AB}的三个子分组，然后再分别处理子分组{A}内的元组，A可以分组为{a1}，{a2}，{a1，a2}三个子分组，按照同样的方式依次处理{B}，{AB}，从而建立分组层次树，最后使得各个组内符合隐私保护的条件即可。

在匿名处理过程中，选择信息损失最小的方法进行数据处理，数据处理的整个过程就是对项目的泛化和删除，统计匿名后的信息损失。

根据非敏感项目定义泛化层次树，计算非敏感项目泛化到每一个结点的信息损失，其中泛化层次树可以定义如图3所示。其中计算某个非敏感项目泛化到结点n的信息损失为：

式中，IL_n为非敏感项目泛化到结点n的信息损失，leaves(n)为以结点n为根的子树下的叶子结点数目，I_N为所有非敏感项目的个数。如果n为叶子结点，则例如图3中的

若删除一个项目的信息损失为1，则可以给出对某个项目的信息损失衡量表达式为：

处理某个子分组时，先根据选取的细化结点自顶向下细化当前分组，如果各子分组中未出现强隐私关联规则，则无需处理，如果某个子分组中出现强隐私关联规则，将所有的强隐私关联规则加入违反集。接着，从违反集中随机选择一个结点，计算采用部分删除处理时的信息损失Loss，Loss(n)表示删除此结点需要删除n的个数，Loss(n)的具体表达式如下：

如果n为敏感项目，删除的方法就是从当前子分组中包含有n的记录中随机选择Loss(n)个n。如果n为非敏感项目，从当前子分组中包含有n且包含有敏感属性的项目中选择Loss(n)个删除，删除之后，更新违反集，同时需要做隐私检查，直到当前组的违反集为空时停止。

计算当前数据集中细化每一个结点带来的净信息增益Ping()，净信息增益是指当前数据集在细化且分组形成多个子分组时非敏感属性信息损失减少和子分组部分删除处理造成的信息损失的差，Ping()的计算如下：

1)先计算当前泛化层次的信息损失

Oldcost(n)＝IL_n*(sup(n))；

2)计算向下细化n到n的所有子结点c时的信息损失

Newcost(n)＝Σ_{c∈children(n)}IL_c*sup(c)；

3)根据结点n分组细化后，子分组中可能会出现强隐私关联规则，那么计算子分组中采用部分删除处理这些强隐私关联规则的信息损失为Loss(n)；

4)计算各个候选子结点的信息增加

Ping_(n)＝Oldcost(n)-Newcost(n)-Loss(n)；

5)选取拥有最大的Ping()的细化结点，判断最大的Ping()是否大于0，如果大于0，则分组层次树根据此结点细化，形成子多个子分组；如果最大的Ping()≤0，则不进行细化，直接发布当前分组。

经过上述方法处理后第一次匿名后的结果为表2所示，所有的非敏感项目全部泛化为all，此时的数据表中有，

conf(all→α)＝3/7，

conf(all→γ)＝2/7

conf((all，α)→γ)＝1/3

conf((all，γ)→α)＝1/2，

假设隐私保护模型中ρ取0.7，则此时满足ρ-uncertainty隐私模型，向下进行分组，首先判断是否满足分组条件，此处满足。

TID	Items
		t1	All
t2	All，α
		t3	Allα
t4	All
		t5	Allα，γ
t6	All
		t7	All，γ

表2 一次匿名处理后的数据集

分裂结点决策机制发现当前只有all结点，则根据分组层次树(见图4)分组all的候选子分组为{A}，{B}，{AB}，则t1，t2属于{A}子分组中，t3，t4属于{B}子分组中，t5，t6，t7属于{AB}子分组中，如下表3所示，分组all之前的数据集信息损失：

Oldcost(all)＝IL_(aIL)*(sup(all))＝12；

细化all之后，各组内细all→(A，B)的数据集信息损失：

Newcost(all)＝Σ_{c∈children(all)}IL_c*(sup(c))＝31/5；

但是细化all之后，第三组出现了强隐私关联规则，

conf((A，B，α)→γ)＝1；

此处采用部分删除方法，所以只需要删除一个敏感项目方可满足ρ-uncertainty隐私模型，所以细化all的部分删除处理的信息损失为：

Loss_(all)＝1；

所以细化all的信息增加

Ping_(all)＝Oldcost(all)-Newcost(all)IL_(all)-Loss(all)＞0；

所以细化all可以进行。

表3 all→(A，B)划分后的数据集

根据all细化之后就对各个子分组进行处理，对于子分组{A}，首先判断是否能继续进行分组，不满足分组条件，所以向下不能进行。

对于子分组{B}，选取细化结点为B→(b1，b2)，则会出现3个候选分组{b1}，{b2}，{b1，b2}，满足分组条件，t3，t4属于候选{b1，b2}子分组内，且满足ρ-uncertainty隐私保护模型。所以不需要做任何处理。

对于子分组{A，B}，先比较细化A和细化B减少的信息损失，

Ping_(A)＝Oldcost(A)-Newcost(A)-Loss(A)＝6/5

Ping_(B)＝Oldcost(B)-Newcost(B)-Loss(B)＝-1/5

Ping(A)＞Ping(B)，

所以细化结点的选择机制选取结点A进行细化，且t5，t6，t7全部属于{a1，B}候选子分组，此时无强隐私关联规则，则无需处理，下一步选择细化结点B，分组机制判断B结点不满足分组条件，所以不进行分组，直接发布当前数据集即可，即表4。

表4 发布的数据集

本发明将数据集泛化所有的非敏感项目至最高层次结点，敏感项目保持不变。对泛化之后的数据集做隐私检查，即计算关联规则X-＞Y的置信度，其中X是非敏感项目和敏感项目的子集，Y中只含有敏感项目的子集；如果置信度≤隐私约束条件ρ，则符合隐私保护的要求，不需处理当前数据集，即不会发送需要删除的项目包；如果置信度＞隐私约束条件ρ，则违反隐私保护的要求，需要处理当前数据集，即会根据部分删除处理的策略发送需要进行删除的项目以及其个数，传送给部分删除处理模块。在部分删除处理期间需要不断调用隐私检查，直至当前数据集符合数据隐私保护匿名条件时停止，将符合隐私保护匿名要求的当前数据集传送给极小信息控制机制，通过前后信息损失对比决定是否向下进行分组和细化，如果根据分组细化处理后信息损失小，则向下分组细化处理，同时将一个组形成的多个子分组迭代上述过程。但是如果分组细化进行后，信息损失反而增大，则直接发布当前分组。

Claims (1)

1.商务数据匿名发布中的极小信息损失控制方法，其特征是，包括如下步骤：

步骤1：定义隐私约束条件ρ，将待发布的数据集中的所有非敏感项目根据泛化层次树泛化到最高层次；

步骤2：检查泛化后的数据集是否符合隐私约束条件，计算数据集中的每个关联规则在数据中出现的概率ρ’；如果ρ’≤ρ，则直接保留当前数据集；如果ρ’＞ρ，则部分删除处理当前数据集，形成符合隐私约束条件的数据集；

步骤2.1：提取数据集中的所有关联规则，计算每条关联规则在数据集中出现的概率，并将概率大于隐私约束条件ρ的关联规则加入到违反关联规则集中；

步骤2.2：随机从违反关联规则集中选取一条关联规则作为目标关联规则；

步骤2.3：在数据集中选取包含有该目标关联规则的记录，并从该记录中随机删除一个包含有该目标关联规则中的项目；

步骤2.4：再次计算该目标关联规则在数据集中出现的概率ρ’，并将该概率ρ’与隐私约束条件ρ进行比较；如果ρ’＞ρ，则返回步骤2.3，直至ρ’≤ρ，此时该目标关联规则符合隐私约束条件；

步骤2.5：当选取的目标关联规则符合隐私约束条件时，则返回步骤2.2，选取另一条关联规则作为目标关联规则进行处理，直至违反关联规则集为空；

步骤2.6：当违反关联规则集为空时，部分删除处理过程结束，输出经过处理后的数据集值送入步骤3；

步骤3：计算部分删除处理后的当前数据集的信息损失即细化分组前的信息损失L；按照分组层次树将该数据集进行分组，并对每个分组向下进行细化；计算分组细化后的各分组的信息损失之和即细化分组后的信息损失L’；

步骤4：比较数据集在细化分组前的信息损失L和细化分组后的信息损失L’的大小；如果L＞L’，则保留分组细化的结果，并返回步骤3，迭代处理形成的各个分组；如果L≤L’，则直接发布分组细化前的数据集。