CN102637247A - 一种集成概化与消隐的高维数据匿名处理方法 - Google Patents

Abstract

本发明“一种集成概化与消隐的高维数据匿名处理方法”用于高维数据匿名处理，为信息共享过程提供安全保护。针对高维数据的高度稀疏性导致现有方法或者有很高信息损失、或是处理结果难以解释、或者有性能缺陷等问题，本发明集成概化与消隐来进行高维数据的匿名处理，提出三项创新性技术，一是自顶向下贪婪搜索法，二是最小安全威胁识别方法，三是多轮次求解策略，从而设计出一种全新的高维数据匿名处理方法，有效地降低信息损失、保证数据效用，并解决时间效率与空间可伸缩性的问题。本发明方法数据效用大大高于三个参照方法，性能也大大优于其中二个参照方法，仅次于另一个参照方法、但该参照方法的数据效用最低。本发明方法处理后的数据能够应用标准数据挖掘工具进行分析，在网络海量信息共享中有着广泛应用前景。

Description

一种集成概化与消隐的高维数据匿名处理方法

技术领域

本发明涉及信息处理与信息安全领域。本发明设计一种用于高维数据匿名处理的方法，为信息共享过程提供安全保护，在网络海量信息共享中有着广泛应用前景。

背景技术

匿名处理是信息共享过程中一种重要的安全保护手段。现有匿名处理方法主要针对低维的关系型数据。然而，现实应用特别是网络应用中，有大量高维数据必须进行匿名处理后才能共享。例如，网络销售数据[1]、网络搜索日志[2][3][4]、网络影视租赁记录[5]等，如果不经匿名处理直接共享这些数据，会造成敏感信息泄露[2][5]。

低维数据匿名处理的基本原则是由Samarati和Sweeney提出的k-anonymity[6]，要点是保证任何个人信息与k-1个他人不可分辨，主要采用基于伪标识的方法来实施。将这些方法简单应用于高维数据[7][8][9][10]，会导致高信息损失[7][8]、无法应用标准数据挖掘工具[9]、处理结果难以解释[9][10]。具体来讲，Terrovitis等[7]将适用低维数据的k-anonymity[6]移植到高维数据、提出k^m-anonymity，要求个人信息记录中的任意m个项目也出现在至少k-1个他人记录中，并采用全子树概化方法[11]来实施，其缺陷是易受异常项目影响而过度概化。Xu等[8]采用全消隐方法来进行匿名处理，其缺陷是对于稀疏数据集会导致过多的数据项被消隐。He等[9]采用局部概化方法[12]，其缺陷在于破坏了数据的域互斥性，即匿名处理后数据项目的域可能相互重叠，使得数据分析结果很难解释。Ghinita等[10]采用带宽矩阵法进行随机化匿名处理，其缺陷是处理后数据会产生不合理的分析结果。此外，现有方法[7][8]还存在计算性能差的问题。

本发明的思路是集成概化与消隐来进行高维数据的匿名处理。通过集成使两种方法得到互补，即消隐少量异常数据项目从而避免大规模的概化操作，适度概化从而避免大量数据项目的消隐。本发明的集成方法有两个优点：一是匿名处理后的数据能够直接采用标准的数据挖掘工具进行分析，二是从中得出的分析结果在原始数据中必定也成立。这是由于集成方法保留数据的域互斥性。然而，集成方法的解空间远远大于采用任何单一方法的解空间，其计算复杂性大大增加。

因此，本发明提出三项创新性技术，一是自顶向下贪婪搜索法，二是最小安全威胁识别方法，三是多轮次求解策略，从而设计出一种全新的高维数据匿名处理方法，有效地降低信息损失、保证数据效用，并解决时间效率与空间可伸缩性的问题。

本发明处理方法数据效用大大高于三个参照方法[7][8][9]，性能也人大优于其中二个参照方法[7][8]，仅次于另一个参照方法[9]、但该参照方法[9]的数据效用最低。本发明方法处理后的数据能够应用标准数据挖掘工具进行分析，在网络海量信息共享中有着广泛应用前景。

参考文献：

[1]M.Atzori，F.Bonchi，F.Giannotti，D.Pedreschi.Anonymity preserving pattern discovery.VLDB Journal，2008.

[2]M.Barbaro，T.Zeller.A Face Is Exposed for AOL Searcher No.4417749.New York Times，August 9，2006.

[3]E.Adar.User 4XXXXX9：Anonymizing Query Logs.Query Log Analysis Workshop，WWW 2007.

[4]A.Korolova，K.Kenthapadi，N.Mishra，A.Ntoulas.Releasing search queries and clicks privately.WWW2009.

[5]A.Narayanan and V.Shmatikov.How to Break Anonymity of the Netflix Prize Dataset.ArXiv ComputerScience e-prints，October 2006.

[6]P.Samarati and L.Sweeney.Generalizing data to provide anonymity when disclosing information.PODS1998.

[7]M.Terrovitis，N.Mamoulis，P.Kalnis.Privacy preserving Anonymization of Set valued Data.In VLDB2008.

[8]Y.Xu，K.Wang，A.Fu，P.S.Yu.Anonymizing Transaction Databases for Publication.KDD 2008.

[9]Y.He，J.Naughton.Anonymization of set-valued data via top-down local generalization.VLDB2009.

[10]G.Ghinita，Y.Tao，P.Kalnis.On the Anonymization ofSparse High-Dimensional Data.ICDE 2008.

[11]V.Iyengar.Transforming data to satisfy privacy constraints.KDD，pages 279-288，2002.

[12]K.LeFevre，D.DeWitt，and R.Ramakrishnan.Mondrian multidimensional k-anonymity.ICDE 2006.

发明内容

本发明目的是设计一种能够以最佳的数据效用和较高的计算性能实现高维数据匿名处理的方法，为海量网络信息共享过程提供安全保护手段。

本发明“一种集成概化与消隐的高维数据匿名处理方法”包括三项核心技术：A自顶向下贪婪搜索法，B最小安全威胁识别方法，C多轮次求解策略。

本发明处理方法根据高维数据库D、项目分类树H_P、匿名阀值k、能力阀值m，求出匿名处理后的高维数据库D’。

本发明内容之一：

给定拟共享的高维数据集D＝{t₁，t₂，...，t_n}，其中t_l为一条含个人信息的记录，由若干出自域I＝{i₁，i₂，...i_q}的项目组成。安全攻击者有权获得共享数据并且知道特定个人的记录中包含某些项目，试图将特定个人与信息记录连接起来。任何项目的集合X简称为项目集。如果X是信息记录t的一个子集，则称t支持X。D中支持X的信息记录个数，记作sup(X，D)。一个包含不超过m个项目的集合X被称为安全威胁，如果其支持数少于k，即|X|≤m并且sup(X，D)＜k，其中m是攻击者获取知识的能力阀值、k是用户指定的匿名阀值。经过匿名处理的数据库D’符合k^m-anonymity[7]，如果D’不存在可能是安全威胁的项目集。匿名处理的概化方法根据项目分类树，用抽象项目替代具体项目。消隐方法则通过删除项目来实现匿名处理。在处理实际数据集时，单独采用其中的任一方法其信息损失都很高。

本发明集成概化方法与消隐方法来进行匿名处理，以保证匿名处理后能进行数据挖掘分析、降低信息损失、提高数据效用。概化的解可以定义为项目分类树H_P上的一个割集Cut，包含H_P上每条根到叶的路径上一个且仅一个项目，并可以用这些项目的集合来表达。消隐的解removal是割集的一个子集，是那些将被从所有记录中删去的项目集合。所以，一个完整的匿名处理的解可以表达为(Cut，removal)。然而，由于割集数量以及相应的消隐方案数量均与项目数量成指数关系，解的完全枚举在可计算性上是不可行的。

A自顶向下贪婪搜索法

本发明通过自顶向下贪婪搜索来集成概化与消隐方法。基本思路是以项目分类树H_P的根结点为初始割集，逐步向下推移割集。每一步将当前割集中的一个项目替换成其分类树H_P上的子女项目，并计算新的当前割集相对应的消隐方案。自顶向下搜索解的过程总是沿着降低信息损失最多的方向进行，也就是贪婪搜索。具体步骤如下：

A1令当前割集Cut初始化为空集，已访问的最佳割集Cut_best初始化为最顶层的割集，即由分类树H_P根结点项目组成的集合。

A2当Cut有(最佳)子女割集提高数据效用，即上轮搜索时更新了Cut_best使得Cut_best≠Cut，则继续搜索。Cut的子女割集是通过替换其组成项目y为y在分类树H_P上的子女项目获得的。

A2.1沿贪婪方向下降至Cut的最佳子女，即令当前割集Cut取Cut_best。

A2.2对于当前割集Cut的每个子女Cut_child进行评估如下。

A2.2.1通过将Cut的一个组成项目y替换成y在项目分类树H_P上的所有子女项目获得Cut_child。

A2.2.2先按公式(A1)计算Cut_child的概化信息损失cost_G(Cut_child)。

${\cos t}_G\left({\mathrm{Cut}}_{\mathrm{child}}\right)={\mathrm{\Σ}}_{x^{*}\∈{\mathrm{Cut}}_{\mathrm{child}}}O\left(x^{*}\right)\·{\mathrm{IL}}_G\left(x^{*}\right)$ 公式(A1)

其中，x^*是割集Cut_child的一个组成项目，O(x^*)是x^*的所有后代叶结点项目在D中出现的频数，IL_G(x^*)是概化单个后代到x^*的信息损失，并按公式(A2)计算[11]。

IL_G(x^*)＝(#leaves(x^*)-1)/(#leaves(H_P)-1)公式(A2)

其中#leaves(x^*)和#leaves(H_P)分别表示以x^*为根的子树的叶结点数和分类树H_P的叶结点数。

A2.2.3如果cost_G(Cut_child)大于当前最小信息损失cost(Cut_best)，则转A2.2(考虑Cut 下一个子女)。

A2.2.4找出概化后的数据库D′＝g(D，Cut_child)中的安全威胁集合STset。

A2.2.5为割集Cut_child寻找一个好的消隐方案。为排除STset中各个安全威胁，需要从Cut_child除去某些项目，这些除去项目的集合removal也称为消隐方案。思路是找到一个子集safe使得保留safe中的项目不会将安全威胁集合STset列出的项目集也保留下来，换之言确保STset中的任一项目集不是safe的子集，因而removal＝Cut_child\safe。这一步骤本身也是一个枚举的过程，亦采用贪婪搜索，以尽可能将消隐代价O(x^*)·ILS(x^*)高的项目保留safe中，具体操作如下。

A2.2.5.1令safe为空集，choice为Cut_child。

A2.2.5.2按O(x^*)·IL_S(x^*)降序，取每个x^*∈choice，其中IL_S(x^*)按公式(A3)计算。

IL_S(x^*)＝1-IL_G(x^*)公式(A3)

A2.2.5.3如果safe ∪{x^*}不包含STset中的任一项目集，则更新safe为safe ∪{x^*}。

A2.2.5.4更新choice为choice\{x^*}。

A2.2.5.5重复A2.2.5.2至A2.2.5.4直至choice为空。

A2.2.5.6令removal取Cut_child\safe。

A2.2.6按公式(A4)计算消隐方案removal信息损失。

${\cos t}_S\left({\mathrm{Cut}}_{\mathrm{child}}\right)={\mathrm{\Σ}}_{x^{*}\∈\mathrm{removal}}O\left(x^{*}\right)\·\mathrm{ILs}\left(x^{*}\right)$ 公式(A4)

其中x^*是Cut_child中需要被消隐的项目，IL_S(x^*)按公式(A3)计算。换言之，IL_G(x^*)是概化单个后代到x^*的信息损失，IL_S(x^*)则是进一步消隐x^*而造成的附加在IL_G(x^*)之上的信息损失。消隐x^*相当于x^*的所有后代被概化到H_P的顶层，单个x^*的总信息损失为1(100％)。Cut_clild及其消隐方案的总信息损失按公式(A5)计算。

cost(Cut_child)＝cos_S(Cut_child)+cost_G(Cut_child)公式(A5)

A2.2.7如果cost(Cut_child)小于当前最小信息损失cost(Cut_best)，则Cut_child成为当前最佳割集，即令Cut_best取Cut_child。

A3如果没有子女割集能够降低信息损失，则停止、并返回Cut_best及相应消隐方案removal。

本发明内容之一的关键点是通过贪婪下降法避免完全枚举，从而提高处理方法的时间效率。

本发明内容之二：

尽管集成概化与消隐的自顶向下贪婪搜索法是多项式复杂性，即其两重循环的控制结构中，外层循环次数正比与项目分类树的内部结点数目、内层循环次数正比与项目分类树的叶结点数目，但是循环体每次执行的计算代价都不低。具体涉及“发明内容A的步骤A2.2.4～A2.2.5”，即外层循环要计算D′＝g(D，Cut_child)并确定安全威胁集合STset，内层循环要检查消隐方案removal是否从D″＝s(D′，removal)中排除了所有隐私威胁。为此，提出最小安全威胁识别方法，以解决搜索和维护安全威胁的性能瓶颈。所谓，最小安全威胁是这样安全威胁，其作为项目集的任意子集都不是安全威胁。由于每个安全威胁必包含某些最小安全威胁，如果排除所有最小威胁也就自然排除了所有威胁。因此，只要找到所有最小威胁就足以确定消隐方案。然而，为每个割集临时搜索最小威胁的集合仍然是低效率的。

B最小安全威胁识别方法

本发明提出一次性挖掘出项目分类树H_P所有割集支持的所有最小威胁，记作allMST。这样，对于被外层循环枚举的每个割集，可以从allMST检索出与之相关的STset，而无需生成D′＝g(D，Cut)、再临时挖掘D′。挖掘所有割集支持的所有最小威胁实质上是挖掘非频繁项目集，基本思路是枚举无前辈后代分类关系的项目组成的各个集合，即H_P作为项目集合的各个子集，核心是构建最小安全威胁枚举树、并在构建过程中进行及时有效的裁剪，以避免穷举所有子集、特别是避免枚举成为最小安全威胁的项目集的超集。

最小安全威胁枚举树，简称allMST树，按给定的项目排列序β来构建，其中每个结点node均标注一个项目，记作node.item，allMST树根结点root.item特别标注为“空。对于每个按β序排在node.item前的项目i，均有node的一个子女结点child标注i，即child.item＝i。node到根的路径上所有标注项目的集合，称为该结点的项目集，记作node.IS。所以，root.IS是空集。该树的特点是任何子集都先于其超集枚举，当一个项目集为最小安全威胁时，其任何超集都可以剪裁掉而不会被枚举，从而大大保证时间效率。

B1生成最小安全威胁枚举树(allMST)。具体步骤如下。

B1.1扫描数据库D一遍，按公式(A1)和公式(A3)统计H_P各个项目x的消隐代价O(x)·IL_S(x)，令项目排列序β为消隐代价降序。

B1.2采用基于内存数据结构来表达按项目分类树H_P增广的数据库D^H，即为原始数据库D中各记录添加其组成项目的前辈项目。

B1.3创建allMST树的根结点root表示空集，令当前结点node取root。

B1.4如果当前结点node为空，则结束并返回allMST，否则继续。

B1.5如果node与其父亲结点parent项目集有相同支持数，即sup(node.IS，D^H)＝sup(parent.IS，D^H)，则剪除node并转B1.9。因为对于以node为根子树中任一结点node’，均有以parent为根子树中另一个结点parent’，满足sup(node’.IS，D^H)＝sup(parent’.IS，D^H)并且parent’.IS是node’.IS的子集。换言之，node为根子树中不可能有最小安全威胁。

B1.6如果node.IS是allMST树已有某个结点prev的项目集prev.IS的子集，则剪除node并转B1.9。因为node为根子树中任意项目集均是已有最小安全威胁的子集，从而不可能是最小安全威胁。

B1.7如果sup(node.IS，D^H)＜k，则node.IS是一个最小安全威胁，保留node但停止生长node以下子树，令node取按深度优先序的下一个结点，接着转至B1.4。因为node以下子树的项目集都是node.IS的子集，不可能是最小安全威胁。

B1.8如果|node.IS|≥m，则剪除node。因为node.IS不是安全威胁而node以下子树中任一项目集均超出安全攻击者的能力范围。

B1.9如果当前结点node被剪除掉了，则清除node的前辈结点到根结点路径上每个只有一个子女的结点，令node取按深度优先序的下一个结点，接着转至B1.4。

B1.10对于每个按β序排在node.item前的项目i，如果node.IS中没有项目与i有前辈后代分类关系，则创建node的一个子女结点child，令child.item取i。更新node为自己的第一个子女结点，转B1.4。

B2查找当前割集Cut_child相关的安全威胁。具体步骤如下。

B2.1索引最小安全威胁枚举树(allMST)上仅包含Cut_child组成项目的叶结点到根结点的路径。

B2.2将所索引的路径作为STset返回。

本发明内容之二的关键点是一次性发现所有最小安全威胁，避免重复挖掘为多个割集支持的安全威胁，并且对最小安全威胁枚举树进行有效剪裁掉来缩小搜索空间，从而提高核心步骤的时间效率。

本发明内容之三：

本发明提出多轮次求解策略，来控制最小安全威胁枚举树allMST的规模。因为当项目分类树HP规模较大并且阀值m也比较大时，allMST树也可能是巨大的。多轮次求解策略目的是要解决这一可能出现的可伸缩性问题。

C多轮次求解策略

通过多个轮次逐步进行匿名化处理，即先找出符合较弱的匿名要求的割集，然后在前一个割集之上找出符合较强的匿名要求的割集。每轮搜索在上一轮削减后的分类树上进行，因而使allMST规模得到控制。即为找到满足k^m-anonymity的解，运行基于“发明内容A和发明内容B”的“基本方法”共m轮。步骤如下：

C1令初始割集Sol₀取H_P所有叶子结点的项目集合。

C2对于round取1到m执行：

C2.1令第round轮的项目分类树H_round取Sol_round-1及原始项目分类树H_P在其以上的部分。

C2.2执行基于“发明内容A和发明内容B”的“基本方法”，在项目分类树H_round上求出满足k^round-anonymity解，包括割集Sol_round及相应消隐方案。

C3返回Sol_m及相应的消隐方案作为最终解。

本发明内容之三的关键点是多轮次求解策略能够在“发明内容B”的基础上，进一步提高核心步骤的空间可伸缩性，最终使得整个方法的空间可伸缩性和时间效率都得到保障。

附图说明

图1集成A自顶向下贪婪搜索法、B最小安全威胁识别方法的基本方法流程

图2高维数据库D

图3项目分类树H_P

图4最小安全威胁枚举树allMST

图5割集枚举树CUTtree

图6消隐方案枚举树(Removal针对图5的割集cut₃)

图7集成C多轮次求解策略与基本方法的流程

具体实施方式

本发明“一种集成概化与消隐的高维数据匿名处理方法”提出三项创新技术，即自顶向下贪婪搜索法、最小安全威胁识别方法、多轮次求解策略。图1概括前两项创新技术集成的路线，图7是进一步集成多轮次求解策略的路线。

下面结合附图和实例(给定图2所示高维数据库D、图3所示项目分类树H_P、能力阀值m＝5、匿名阀值k＝2)，将技术方案分为“基本方法”和“多轮求解”两个过程做进一步描述。

过程一(基本方法)：

本过程独立完整地执行基本的匿名处理方法。首先，一次性挖掘出高维数据库D所支持的项目分类树H_P所有割集上的最小安全威胁，然后采用自顶向下贪婪搜索找出由割集及相应消隐方案组成的匿名处理解。过程一的具体步骤如下：

1.1 FindMinimumSecurityThreats：执行“发明内容步骤B1”，具体操作如下。

1.1.1DeterminOderingofltems：执行“发明内容步骤B1.1”。扫描数据库D第一遍，按公式(A1)和公式(A3)统计H_P各个项目x的消隐代价O(x)·IL_S(x)，按消隐代价降序确定项目排列序β。

例如，对于图2所示高维数据库D、图3所示项目分类树H_P，按公式(A1)和公式(A3)计算得出O(P)·IL_S(P)＝O(P)·(1-IL_G(P))＝10·(1-0.3)＝7等等，从而确定β＝＜P，Q，K，J，f，H，c，d，M，e，i，a，b，g，x，y，z，T＞，其中各项目相应消隐代价分别为：7，5.4，5.4，5.4，4，3.6，3，3，2.4，2，2，2，2，2，1，1，1，0。

1.1.2BuildExpandedDB：执行“发明内容步骤B1.2”。扫描数据库D第二遍，对于其中每条记录添加其组成项目的前辈项目并存储在内存中，得到增广数据库D^H。

例如：图2所示数据库D的第一条记录t1＝{b，c，d}，增广为{T，P，H，b，K，c，d}。

1.1.3CreateallMSTtree：执行“发明内容步骤B1.3至B1.10”。按深度优先的方式构建allMST树，并适时进行剪裁。

例如：给定图2所示高维数据库D、图3所示项目分类树H_P，按2⁵-anonymity要求，即能力阀值m＝5、匿名阀值k＝2，构建得出最小安全威胁枚举树allMST如图4所示。

1.2GreedilySearchingAnonymizationSolution：执行“发明内容步骤A”，自顶向下贪婪搜索分类树H_P上的割集，这一过程可以用一棵割集枚举树CUTtree来描述。具体步骤如下。

1.2.1CreateCUTtreeNullRoot：执行“发明内容步骤A1”。令当前割集Cut为空，已访问最佳割集Cut_best初始化为最顶层的割集，即由分类树H_P的根结点项目。

接上例，图5所示割集枚举树CUTtree记载着求解的过程。在此，令Cut取{}，令Cut_best取{T}＝cut₁。

1.2.2当Cut≠Cut_best，执行“发明内容步骤A2至A3”如下：

1.2.2.1GreedilyDescendToBestChild：令Cut取Cut_best。

1.2.2.2对于Cut的每个组成项目y，如果y有分类子女，则执行

1.2.2.2.1令Cut_child＝Cut ∪children(y)\{y}，其中children{y}是y的所有分类子女的集合。

1.2.2.2.2按公式(A 1)计算Cut_child的概化信息损失cos_G(Cut_child)。

接上例，对于Cut＝cut₁＝{T}和y＝T，令Cut_child＝Cut ∪children(y)\{y}＝{T}∪children(T)\{T}＝{e，i，P，Q}＝cut₂。此时，cos_G(Cut_child)＝cos_G(cut₂)＝6.6，而cost(Cut_best)＝cost(cut₁)＝23。

1.2.2.2.3如果cost_G(Cut_child)大于当前最小信息损失cost(Cut_best)，则转1.2.2.2(取Cut的下一个组成项目)。

1.2.2.2.4执行“发明内容步骤B2”，从allMST树中检索出与当前割集Cut_child相关的安全威胁集合STset。

接上例，对于Cut_child＝cut₂＝{e，i，P，Q}，STset中存在一个安全威胁{e，i}。

1.2.2.2.5执行“发明内容步骤A2.2.5”，为割集Cut_child寻找一个好的消隐方案removal。

接上例，对于STset＝{{e，i}}，找到removal＝{i}。

1.2.2.2.6按公式(A4)计算消隐方案removal信息损失，并按公式(A5)计算Cut_child总信息损失。

接上例，cost_s(Cut_child)＝cos_s(cut₂)＝O(i)·IL_S(i)＝2。所以，cost(Cut_chid)＝cost(cut₂)＝cost_G(cut₂)+cost_s(cut₂)＝6.6+2＝8.6。

1.2.2.2.7如果cost(Cut_child)小于当前最小信息损失cost(Cut_best)，则Cut_child成为当前最佳割集，即令Cut_best取Cut_child。

接上例，由于cost(Cut_best)＝cost(cut₁)＝23＞cost(Cut_chid)＝cost(cut₂)＝8.6，Cut_child取Cut_child，即cut₂。

1.2.3如果没有子女割集能够降低信息损失，停止执行，并返回Cut_best及相应消隐方案removal。

接上例，继续自顶向下贪婪搜索图5所示割集枚举树的过程，评估cut₂的子女，得到最佳子女是cut₄，因为cut₄的消隐方案removal＝{i}，cost_G(cut₄)＝4.2和cost_s(cut₄)＝2得cost(cut₄)＝6.2，而cut₃的的消隐方案removal＝{H，i}，cost_G(cut₃)＝4.6和cost_s(cut₃)＝5.6得cost(cut₃)＝10.2。下面对本过程“1.2.2.2.4至1.2.2.2.5”步骤求出cut₃的消隐方案removal做详细叙述。

首先，检索allMST树，求得cut₃＝{e，i，H，K，Q}相关的安全威胁集合STset＝{{e，i}，{H，K，Q}}。然后，贪婪搜索如图6所示消隐方案枚举树，其中项目按β序排列，即按消隐代价降序排列。图中，每个结点标注safe集和choice集，实际搜索过程经历的路线是SS₁-SS₂-SS₃-SS₄-SS₅-SS₆，最终选择的SS₅，其safe集为{Q，K，e}，choice集为{i}，而相应的消隐方案removal＝cut₃-safe＝{H，i}。

接着，搜索继续评估cut₄的子女，得到最佳子女是cut₆，其中cut₆的消隐方案removal＝{i}，cost_G(cut₆)＝3.6和cos_S(cut₆)＝2得cost(cut₆)＝5.6。搜索在cut₆之后停止因为没有子女能降低信息损失。最终，返回的解是cut₆＝{e，i，P，f，g，M}以及消隐方案removal＝{i}。

过程二(多轮求解)：

采用多轮求解策略(“发明内容C”)，先找出符合较弱的匿名要求的割集，然后在前一个割集之上找出符合较强的匿名要求的割集，可以控制最小安全威胁树allMST的规模，从而提高空间可伸缩性，并最终提高时间效率。

过程二的具体步骤如图7所示。

2.1令初始轮次割集Sol₀取H_P所有叶子结点的项目集合。

例如，对于图3所示H_P，Sol₀取{e，i，a，b，c，d，f，g，x，y，z}。

2.2对于round取1到m执行：

2.2.1令第round轮的项目分类树H_round取Sol_round-1及原始项目分类树H_P，在其以上的部分。

接上例，对于round＝1，分类树H₁就是原始项目分类树H_P。

2.2.2第round轮执行“过程一(基本方法)”，在项目分类树H_round上求出满足k^round-anonymity的解，包括割集Sol_round及相应的消隐方案。

接上例，round＝1时，在H₁上求得2¹-anonymity的解为Sol₁＝{e，i，a，b，c，d，f，g，M}及消隐方案removal＝{}。同理，Sol₂＝{e，i，H，K，J，M}及消隐方案removal＝{i}。Sol₃＝{e，i，P，J，M}及消隐方案removal＝{i}。

2.3返回Sol_m及相应的消隐方案作为最终解。

接上例，采用“过程二(多轮求解)”，至第3轮即满足2⁵-anonymity，总共生成allMPT树19条路径、30个结点，其中单轮的allMPT树最大开销是13条路径、19个结点。然而，采用“过程一(基本方法)”直接求解2⁵-anonymity，生成allMPT树有25条路径、39个结点。可见，多轮求解策略能有效地保障空间可伸缩性，大量实际数据集中进行实验时，其所表现出的优越性更加显著。

性能测评：本发明“一种集成概化与消隐的高维数据匿名处理方法”的性能测评实验表明，本发明处理方法数据效用大大高于三个参照方法，性能也大大优于其中二个参照方法，仅次于另一个参照方法、但该参照方法的数据效用最低。

小结：本发明设计了“一种集成概化与消隐的高维数据匿名处理方法”，提出三项创新性技术，一是自顶向下贪婪搜索法，二是最小安全威胁识别方法，三是多轮次求解策略，从而设计出一种全新的高维数据匿名处理方法，有效地降低信息损失、保证数据效用，并解决时间效率与空间可伸缩性的问题。本发明处理方法处理后的数据能够应用标准数据挖掘工具进行分析，在网络海量信息共享中有着广泛应用前景。

Claims (4)

1.一种集成概化与消隐的高维数据匿名处理方法，根据高维数据库D、项目分类树H_P、匿名阀值k、能力阀值m，以最佳数据效用和较高计算性能求出匿名处理后的高维数据库D’，包括以下三项核心技术的具体方法流程：

A自顶向下贪婪搜索法。

B最小安全威胁识别方法。

C多轮次求解策略。

2.根据权利要求1所述的一种集成概化与消隐的高维数据匿名处理方法，核心技术A的具体方法流程如下：

A1令当前割集Cut初始化为空集，已访问的最佳割集Cut_best初始化为由H_P根结点项目组成的集合。

A2当Cut有子女割集提高数据效用，即Cut_best≠Cut时，继续搜索。

A2.1沿贪婪方向下降至Cut的最佳子女，即令当前割集Cut取Cut_best。

A2.2对于当前割集Cut的每个子女Cut_child进行评估如下。

A2.2.1通过将Cut的一个组成项目y替换成y在项日分类树H_P上的所有子女项目获得Cut_child。

A2.2.2先按公式(A1)计算Cut_child的概化信息损失costG(Cut_child)。

${\cos t}_G\left({\mathrm{Cut}}_{\mathrm{child}}\right)={\mathrm{\Σ}}_{x^{*}\∈{\mathrm{Cut}}_{\mathrm{child}}}O\left(x^{*}\right)\·{\mathrm{IL}}_G\left(x^{*}\right)$ 公式(A1)

其中，x^*是割集Cut_child的一个组成项目，O(x^*)是x^*的所有后代叶结点项目在D中出现的频数，IL_G(x^*)是概化单个后代到x^*的信息损失，并按公式(A2)计算错误！未找到引用源。。

IL_G(x^*)＝(#leaves(x^*)-1)/(#leaves(H_P)-1)公式(A2)

其中#leaves(x^*)和#leaves(H_P)分别表示以x^*为根的子树的叶结点数和分类树H_P的叶结点数。

A2.2.3如果cos_G(Cut_child)大于当前最小信息损失cost(Cut_best)，则转A2.2(考虑Cut下一个子女)。

A2.2.4找出概化后的数据库D′＝g(D，Cut_child)中的安全威胁集合STset。

A2.2.5为割集Cut_childd寻找一个好的消隐方案。为排除STset中各个安全威胁，需要从Cut_child除去某些项目，这些除去项目的集合removal也称为消隐方案。具体操作如下。

A2.2.5.1令safe为空集，choice为Cut_child。

A2.2.5.2按O(x^*)·IL_S(x^*)降序，取每个x^*∈choice，其中IL_S(x^*)按公式(A3)计算。

IL_S(x^*)＝1-IL_G(x^*)公式(A3)

A2.2.5.3如果safe ∪{x^*}不包含STset中的任一项目集，则更新safe为safe ∪{x^*}。

A2.2.5.4更新choice为choice\{x^*}。

A2.2.5.5重复A2.2.5.2至A2.2.5.4直至choice为空。

A2.2.5.6令removal取Cut_child\safe。

A2.2.6按公式(A4)计算消隐方案removal信息损失。

${\cos t}_S\left({\mathrm{Cut}}_{\mathrm{child}}\right)={\mathrm{\Σ}}_{x^{*}\∈\mathrm{removal}}O\left(x^{*}\right)\·\mathrm{ILs}\left(x^{*}\right)$ 公式(A4)

其中x^*是Cut_child中需要被消隐的项目，IL_S(x^*)按公式(A3)计算。Cut_child的总信息损失按公式(A5)计算。

cost(Cut_child)＝cost_S(Cut_child)+cost_G(Cut_child)公式(A5)

A2.2.7如果cost(Cut_child)小于当前最小信息损失cost(Cut_best)，则令Cut_best取Cut_child。

A3如果没有子女割集能够降低信息损失，则停止、并返回Cut_best及相应消隐方案removal。

3.根据权利要求1所述的一种集成概化与消隐的高维数据匿名处理方法，核心技术B的具体方法流程如下：

B1生成最小安全威胁枚举树，简称allMST树。按给定的项目排列序β来构建allMST树，其中每个结点node均标注一个项目，记作node.item，allMST树根结点root.item特别标注为“空。对于每个按β序排在node.item前的项目i，均有node的一个子女结点child标注i，即child.item＝i。node到根的路径上所有标注项目的集合，称为该结点的项目集，记作node.IS。具体步骤如下。

B1.1扫描数据库D一遍，按公式(A1)和公式(A3)统计H_P各个项目x的消隐代价O(x)·IL_S(x)，令项目排列序β为消隐代价降序。

B1.2采用基于内存数据结构来表达按项目分类树H_P增广的数据库D^H，即为原始数据库D中各记录添加其组成项目的前辈项目。

B1.3创建allMST树的根结点root表示空集，令当前结点node取root。

B1.4如果当前结点node为空，则结束并返回allMST，否则继续。

B1.5如果node与其父亲结点parent项目集有相同支持数，即sup(node.IS，D^H)＝sup(parent.IS，D^H)，则剪除node并转B1.9。

B1.6如果node.IS是allMST树已有某个结点prev的项目集prev.IS的子集，则剪除node并转B1.9。

B1.7如果sup(node.IS，D^H)＜k，则node.IS是一个最小安全威胁，保留node但停止生长node以下子树，令node取按深度优先序的下一个结点，接着转至B 1.4。

B1.8如果|node.IS|≥m，则剪除node。

B1.9如果当前结点node被剪除掉了，则清除node的前辈结点到根结点路径上每个只有一个子女的结点，令node取按深度优先序的下一个结点，接着转至B1.4。

B1.10对于每个按β序排在node.item前的项目i，如果node.IS中没有项目与i有前辈后代分类关系，则创建node的一个子女结点child，令child.item取i。更新node为自己的第一个子女结点，转B1.4。

B2查找当前割集Cut_child相关的安全威胁。具体步骤如下。

B2.1索引最小安全威胁枚举树(allMST)上仅包含Cut_child组成项目的叶结点到根结点的路径。

B2.2将所索引的路径作为STset返回。

4.根据权利要求1所述的一种集成概化与消隐的高维数据匿名处理方法，核心技术C的具体方法流程如下：

C1令初始割集Sol₀取H_P所有叶子结点的项目集合。

C2对于round取1到m执行：

C2.1令第round轮的项目分类树H_round取Sol_round-1及原始项目分类树H_P在其以上的部分。

C2.2运行基于“发明内容A和发明内容B”的“基本方法”，在项目分类树H_round上求出满足k^round-anonymity解，包括割集Sol_round及相应消隐方案。

C3返回Sol_m及相应的消隐方案作为最终解。

Images