CN103177007A - 去隐私化处理方法和装置 - Google Patents

Abstract

本发明公开了一种去隐私化处理方法及装置，其中，该方法包括：在由源数据获取的客户隐私数据之中提取索引字段，调用去隐私化映射关系表；根据去隐私化映射关系表中的映射规则，将索引字段映射为去隐私化映射关系表中的映射编码，完成对客户隐私数据的去隐私化处理。本发明的去隐私化处理方法和装置，去隐私化处理引擎设计在ETL模块中，一方面充分利用ETL模块现有的系统资源，避免占用数据仓库以及数据集市的系统资源；另一方面因为ETL模块是经营分析系统所有数据的统一入口，ETL模块对所有客户隐私数据执行去隐私化处理能够保证所有操作的统一性。

Description

去隐私化处理方法和装置

技术领域

本发明涉及通信领域中数据仓库隐私数据保护技术，具体地，涉及一种去隐私化处理的方法及装置。

背景技术

运营商经营分析系统数据仓库集中了运营商各个生产系统的数据，包含了大量的客户隐私数据。对于这些隐私数据的保护，可以借鉴其他行业应用系统的客户隐私数据保护所使用的以下几种技术来实现：

基于数据匿名化技术：根据具体情况对部分数据进行匿名化处理，再有条件的发布信息。如：不发布数据的某些域值，对这些数据进行泛化(Generalization)处理，是一种不可逆的处理技术。在隐私披露风险和数据精度间进行折中，有选择的发布敏感数据及可能披露敏感数据的信息，但保证对敏感数据及隐私的披露风险在可容忍范围内。

基于数据加密技术：通过数据库产品自带的加密功能或者第三方独立的加密系统，把涉及隐私的客户数据信息通过加密算法转换为不可识别的密文信息。如果需要获取信息的明文信息，可以将其转换为明文，即解密过程。常用的数据加密算法有：对称加密、非对称加密和HASH算法等几种。

基于数据失真技术：使敏感数据失真但同时保持某些数据或属性不变的处理方法，例如，采用添加噪声(Adding Noise)、交换(Swapping)等技术对原始数据进行干扰处理，但要求保证处理后的数据仍然可以保持某些统计方面的性质，以便进行数据挖掘等操作。该技术属于一种不可逆的处理，但可在所有添加、交换信息都是记录明确的情况进行有条件的还原。

隐私数据保护技术需要在实现保护隐私信息的同时，兼顾对应用程序的价值和系统开销。现有技术中，通常从以下三方面对隐私数据保护技术进行度量评估：1)隐私保护度：通常通过发布数据的披露风险来反映，披露风险越小，隐私保护度越高；2)数据缺损：是数据保护质量的度量，它反映通过隐私保护技术处理后数据的信息丢失程度，数据缺损越高，信息丢失越多，数据利用率越低，具体数据缺损的度量的指标包括：信息缺损(Information Loss)、重构数据与原始数据的相似度等；算法性能：一般利用时间复杂度对算法性能进行度量。

依据上述评估方法，主要从隐私保护度、数据缺损度、性能开销等几方面对现有的三类隐私数据保护技术进行对比，对比结果如下表：

总体来说，上述现有的数据仓库中的去隐私化处理技术，要么数据缺损太严重，要么计算开销太高，消耗计算资源太多，影响了对数据仓库中的所有涉及客户隐私数据进行全面、高效的隐匿保护。

发明内容

本发明的目的是针对现有技术中对隐私数据的去隐私化处理效果不佳的缺陷，提出一种去隐私化处理方法及装置。

为实现上述目的，根据本发明的一个方面，提供了一种去隐私化处理方法。

根据本发明实施例的去隐私化处理方法，包括：

在由源数据获取的客户隐私数据之中提取索引字段，调用去隐私化映射关系表；

根据去隐私化映射关系表中的映射规则，将索引字段映射为去隐私化映射关系表中的映射编码，完成对客户隐私数据的去隐私化处理。

在上述技术方案中，如果去隐私化映射关系表不存在索引字段的映射规则，则在去隐私化映射关系表中添加该索引字段的映射规则后，再进行映射处理。

在上述技术方案中，在去隐私化映射关系表泄密时，调用新的去隐私化映射关系表，根据该新的去隐私化映射关系表中的映射规则，将索引字段映射为新的映射编码。

在上述技术方案中，每经过一段时间调用新的去隐私化映射关系表，根据该新的去隐私化映射关系表中的映射规则，将原索引字段映射为新的映射编码。

在上述技术方案中，方法还包括：

提取经过去隐私化处理的源数据，根据去隐私化映射关系表中的映射规则，将经去隐私化处理的源数据中的映射编码还原成包含客户隐私数据的索引字段。

为实现上述目的，根据本发明的另一个方面，提供了一种去隐私化处理装置。

根据本发明实施例的去隐私化处理装置，包括：

提取调用模块，用于在由源数据获取的客户隐私数据之中提取索引字段，调用去隐私化映射关系表；

映射模块，用于根据去隐私化映射关系表中的映射规则，将索引字段映射为去隐私化映射关系表中的映射编码，完成对客户隐私数据的去隐私化处理；

关系表存储模块，用于存储去隐私化映射关系表。

在上述技术方案中，装置还包括：

判断添加模块，用于判断去隐私化映射关系表是否存在索引字段的映射规则，如果去隐私化映射关系表不存在索引字段的映射规则，则在去隐私化映射关系表中添加该索引字段的映射规则。

在上述技术方案中，提取调用模块，还用于在去隐私化映射关系表泄密时，调用新的去隐私化映射关系表；

映射模块，还用于根据该新的去隐私化映射关系表中的映射规则，将索引字段映射为新的映射编码。

在上述技术方案中，提取调用模块，还用于每经过一段时间调用新的去隐私化映射关系表；

映射模块，还用于根据该新的去隐私化映射关系表中的映射规则，将原索引字段映射为新的映射编码。

在上述技术方案中，装置还包括：

提取还原模块，用于提取经过去隐私化处理的源数据，根据去隐私化映射关系表中的映射规则，将经去隐私化处理的源数据中的映射编码还原成包含客户隐私数据的索引字段。

本实施例的去隐私化处理方法和装置，去隐私化处理引擎设计在ETL模块中，一方面充分利用ETL模块现有的系统资源，避免占用数据仓库以及数据集市的系统资源；另一方面因为ETL模块是经营分析系统所有数据的统一入口，ETL模块对所有客户隐私数据执行去隐私化处理能够保证所有操作的统一性；经营分析系统外部包含隐私数据的数据源，通过ETL处理后，保证装载到经营分析系统数据仓库中的数据不包含隐私数据，确保了隐私数据的安全性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为根据本发明实施例去隐私化处理方法实施例一的映射规则示意图；

图2为根据本发明实施例去隐私化处理方法实施例二的第一映射变换示意图；

图3为根据本发明实施例去隐私化处理方法实施例二的第二映射变换示意图；

图4为根据本发明实施例去隐私化处理方法实施例三的第一异常处理示意图；

图5为根据本发明实施例去隐私化处理方法实施例三的第二异常处理示意图；

图6为根据本发明实施例去隐私化处理方法实施例三的第三异常处理示意图；

图7为根据本发明实施例去隐私化处理方法实施例四的第一版本更新示意图；

图8为根据本发明实施例去隐私化处理方法实施例三的第二版本更新示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明的去隐私化处理方法和装置，结合了数据仓库现有的数据处理过程，对数据仓库中的数据进行去隐私化处理。其它系统的数据在进入数据仓库之前，需要经历：数据抽取(Extract)、数据转换(Translate)和数据装载(Load)三大步骤，也就是常说的ETL。

整体而言，去隐私化处理装置仅影响ETL的转换(T)阶段，在数据装载到数据仓库之前，先调用去隐私化处理引擎，将数据进行去隐私化转换后，再装载到数据仓库。去隐私化处理装置一般采用API(ApplicationProgramming Interface，应用程序编程接口)的方式供其它模块调用，以保证处理的高效性。

方法实施例

根据本发明实施例，提供了一种去隐私化处理方法。本方法实施例一包括：

步骤S102，数据获取：数据获取层从CRM(客户关系管理)、BOSS(业务运营支撑系统)、VGOP(增值业务综合运营平台)等系统抽取数据(Extract)后，这些源数据包含了大量客户隐私数据。源数据在进入数据仓库前，要判断即将导入的数据是否包含客户的隐私信息，如果包含，则需要对这些隐私信息进行去隐私化处理，否则，跳过去隐私化处理步骤，继续按照原先的流程处理；

步骤S104，去隐私化处理：在数据转换处理阶段(Translate)，继续对数据进行各种检查和归一化处理，对于包含隐私的客户数据，需要继续按照以下几个子步骤进行处理：

步骤S1042，规则获取：根据系统中已配置的隐私数据保护策略和规则，获取对应该种隐私数据所要采用的去隐私化处理算法，以及该算法所需的映射规则或密钥等信息；

步骤S1044，算法调度：在去隐私化方法库中，选择对应版本的去隐私化处理方法，例如针对涉及关联操作的索引字段(如手机号码、用户编码、成员编码等)，选择合适的去隐私化处理方法，如图2所示；

步骤S1046，去隐私化处理：通过隐私化处理引擎，调用相应的去隐私化处理方法，对涉及隐私的源数据进行批量转换处理；

步骤S106，数据装载：按照现有的流程，对转换后的数据进行装载处理，进入数据仓库的数据不再包含隐私信息。

本实施例的去隐私化处理方法，去隐私化处理引擎设计在ETL模块中，一方面充分利用ETL模块现有的系统资源，避免占用数据仓库以及数据集市的系统资源；另一方面因为ETL模块是经营分析系统所有数据的统一入口，ETL模块对所有客户隐私数据执行去隐私化处理能够保证所有操作的统一性；经营分析系统外部包含隐私数据的数据源，通过ETL处理后，保证装载到经营分析系统数据仓库中的数据不包含隐私数据，确保了隐私数据的安全性。本发明的去隐私化处理方法和装置与现有的隐私数据保护技术的对比如下表：

如图2-3所示，本发明公开了去隐私化处理方法实施例二。

对于索引字段，如果涉及客户隐私数据需要进行保护，在去隐私化方法库中，调用去隐私化映射关系表，采用映射变换方法；本实施例二以手机号码为例，具体说明将原始手机号码转换成去隐私化信息的映射变换过程。

本方法实施例二包括：

步骤S202：数据仓库获取新的数据文件(图2右侧表格)，发现该数据文件中的手机号码是客户隐私数据，需要采用已设置的映射关系表V1.0(图2左侧表格)进行映射变换处理；

步骤S204：根据从去隐私化方法库中调用的映射变换方法，根据映射规则V1.0将数据文件中的手机号码变换为映射关系表V1.0中的映射编码，完成了对数据文件中客户隐私数据的去隐私化处理，如图3所示。

本实施例的去隐私化处理方法，在ETL的转换阶段将源数据中的客户隐私数据进行去隐私化处理，使保存到数据仓库中的数据不再包含客户隐私数据，即使数据仓库发生数据泄露，外界也无法得知客户隐私数据的具体内容，保证了客户隐私数据的安全。

如图4-6所示，本发明公开了去隐私化处理方法实施例三。

本方法实施例三包括：

步骤S302：对于数据文件(图4右侧表格)中的手机号码，如果在映射关系表(图4左侧表格)中找不到对应的映射规则，需要启动异常处理流程，先在映射关系表V1.0中添加映射规则，再根据新的映射规则进行映射变换处理，如图4所示；

步骤S304：根据映射规则维护方案，为手机号码13500000005在映射关系表V1.0添加新的映射规则，如图5所示；

步骤S306：根据映射规则V1.0将数据文件中的手机号码变换为新的映射关系表V1.0中的映射编码，完成了对数据文件中客户隐私数据的去隐私化的异常处理，如图6所示。

本实施例的去隐私化处理方法，如果在映射关系表中找不到对应的映射规则，则需要启动异常处理流程，确保了去隐私化处理的顺利进行，保证了客户隐私数据的安全。

如图7-8所示，本发明公开了去隐私化处理方法实施例四。

本方法实施例四包括：

步骤S402：如果出现映射关系表泄密或每经过一段时间，为了保证隐私数据的安全性，需要尽快更新映射关系，进入数据仓库的数据(图7右侧表格)先采用新的映射关系表V1.1(图7左侧表格)对手机号码进行变换处理，如图7所示；

步骤S404：将采用映射关系表V1.0(映射规则V1.0)完成手机号码到映射编码变换的数据文件，根据版本更新后的映射规则V1.1将数据文件中的手机号码变换为映射关系表V1.1中的映射编码，完成了对数据文件中客户隐私数据的版本更新去隐私化处理，如图8所示。

本实施例的去隐私化处理方法，在出现映射关系表泄密或每经过一段时间时，及时对映射关系表进行版本更新的处理，保证了数据文件中客户隐私数据的安全。

需要说明的是，如果需要将数据仓库中已经过去隐私化处理的源数据还原为原始数据(即包含客户隐私数据的源数据)，可以根据上述映射规则(映射关系表)将去隐私化处理的源数据还原为包含客户隐私数据的数据信息，其具体变换步骤在上述方法实施例1-4的基础上对于本领域的技术人员来说是能够得到的，故在此不再赘述。

由于本发明的去隐私化处理方法和装置能够根据需要将已经过去隐私化处理的源数据还原为原始数据，操作容易，保证还原后的数据与原始数据保持一致，不会产生数据失真，保证了还原数据的准确性和可靠性。

装置实施例

根据本发明实施例，提供了一种去隐私化处理装置。本实施例包括：

提取调用模块，用于在由源数据获取的客户隐私数据之中提取索引字段，调用去隐私化映射关系表；

映射模块，用于根据去隐私化映射关系表中的映射规则，将索引字段映射为去隐私化映射关系表中的映射编码，完成对客户隐私数据的去隐私化处理；

关系表存储模块，用于存储去隐私化映射关系表。

本实施例还包括：

判断添加模块，用于判断去隐私化映射关系表是否存在索引字段的映射规则，如果去隐私化映射关系表不存在索引字段的映射规则，则在去隐私化映射关系表中添加该索引字段的映射规则。

其中：

提取调用模块，还用于在去隐私化映射关系表泄密时，调用新的去隐私化映射关系表；

所述映射模块，还用于根据该新的去隐私化映射关系表中的映射规则，将索引字段映射为新的映射编码。

其中：

提取调用模块，还用于每经过一段时间调用新的去隐私化映射关系表；

映射模块，还用于根据该新的去隐私化映射关系表中的映射规则，将原索引字段映射为新的映射编码。

本实施例还包括：

提取还原模块，用于提取经过去隐私化处理的源数据，根据去隐私化映射关系表中的映射规则，将经去隐私化处理的源数据中的映射编码还原成包含客户隐私数据的索引字段。

本实施例的去隐私化处理装置，在ETL的转换阶段将源数据中的客户隐私数据进行去隐私化处理，使保存到数据仓库中的数据不再包含客户隐私数据，即使数据仓库发生数据泄露，外界也无法得知客户隐私数据的具体内容，保证了客户隐私数据的安全。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种去隐私化处理方法，其特征在于，包括：

在由源数据获取的客户隐私数据之中提取索引字段，调用去隐私化映射关系表；

根据所述去隐私化映射关系表中的映射规则，将所述索引字段映射为去隐私化映射关系表中的映射编码，完成对所述客户隐私数据的去隐私化处理。

2.根据权利要求1所述的方法，其特征在于，如果所述去隐私化映射关系表不存在所述索引字段的映射规则，则在所述去隐私化映射关系表中添加该索引字段的映射规则后，再进行映射处理。

3.根据权利要求1或2所述的方法，其特征在于，在所述去隐私化映射关系表泄密时，调用新的去隐私化映射关系表，根据该新的去隐私化映射关系表中的映射规则，将所述索引字段映射为新的映射编码。

4.根据权利要求1或2所述的方法，其特征在于，每经过一段时间调用新的去隐私化映射关系表，根据该新的去隐私化映射关系表中的映射规则，将原索引字段映射为新的映射编码。

5.根据权利要求1或2所述的方法，其特征在于，还包括：

提取经过去隐私化处理的源数据，根据所述去隐私化映射关系表中的映射规则，将所述经去隐私化处理的源数据中的映射编码还原成包含所述客户隐私数据的索引字段。

6.一种去隐私化处理装置，其特征在于，包括：

提取调用模块，用于在由源数据获取的客户隐私数据之中提取索引字段，调用去隐私化映射关系表；

映射模块，用于根据所述去隐私化映射关系表中的映射规则，将所述索引字段映射为去隐私化映射关系表中的映射编码，完成对所述客户隐私数据的去隐私化处理；

关系表存储模块，用于存储去隐私化映射关系表。

7.根据权利要求6所述的装置，其特征在于，还包括：

判断添加模块，用于判断所述去隐私化映射关系表是否存在所述索引字段的映射规则，如果所述去隐私化映射关系表不存在所述索引字段的映射规则，则在所述去隐私化映射关系表中添加该索引字段的映射规则。

8.根据权利要求6或7所述的装置，其特征在于，

所述提取调用模块，还用于在所述去隐私化映射关系表泄密时，调用新的去隐私化映射关系表；

所述映射模块，还用于根据该新的去隐私化映射关系表中的映射规则，将所述索引字段映射为新的映射编码。

9.根据权利要求6或7所述的装置，其特征在于，

所述提取调用模块，还用于每经过一段时间调用新的去隐私化映射关系表；

所述映射模块，还用于根据该新的去隐私化映射关系表中的映射规则，将原索引字段映射为新的映射编码。

10.根据权利要求6或7所述的装置，其特征在于，还包括：

提取还原模块，用于提取经过去隐私化处理的源数据，根据所述去隐私化映射关系表中的映射规则，将所述经去隐私化处理的源数据中的映射编码还原成包含所述客户隐私数据的索引字段。

Images