CN108304726A

CN108304726A - 数据脱敏方法和装置

Info

Publication number: CN108304726A
Application number: CN201710028316.5A
Authority: CN
Inventors: 叶强; 杨东; 杨胜利
Original assignee: China Mobile Communications Group Co Ltd; China Mobile Group Guizhou Co Ltd
Current assignee: China Mobile Communications Group Co Ltd; China Mobile Group Guizhou Co Ltd
Priority date: 2017-01-13
Filing date: 2017-01-13
Publication date: 2018-07-20

Abstract

本公开提供了一种数据脱敏方法和装置。该数据脱敏方法包括：截获从应用程序发送到大数据平台的访问请求；识别访问请求中的敏感数据；根据敏感规则来对敏感数据进行脱敏；将经脱敏的访问请求发送到大数据平台。

Description

数据脱敏方法和装置

技术领域

本公开涉及信息安全领域，更具体地涉及一种数据脱敏方法和装置。

背景技术

大数据平台通过将所有数据整合起来，充分分析与挖掘数据的内在价值，为业务部门提供数据平台、数据产品与数据服务。大数据平台接入的数据中可能包括很多用户的隐私和敏感信息，如用户在酒店的入住纪录、用户支付信息等，这些数据存在可能泄漏的风险。数据脱敏通过对数据中某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。从而在保证数据可用性的同时，也在一定范围内保证恶意攻击者无法将数据与具体用户关联到一起，从而保证用户数据的隐私性。

发明内容

本公开提供了一种数据脱敏方法和装置，该数据脱敏方法和装置将Apriori关联规则挖掘和敏感数据相结合，从而可以智能地找出人工不能发现的敏感数据组合泄露的规则方法，此外添加配置界面使得管理员可以灵活地将已有的敏感数据、组合敏感数据与关联性敏感数据泄露有效的结合起来，使数据库内的脱敏范围更广，脱敏精度更加准确。。

一方面，根据本公开实施例的数据脱敏方法，包括：截获从应用程序发送到大数据平台的访问请求；识别访问请求中的敏感数据；根据敏感规则来对敏感数据进行脱敏；将经脱敏的访问请求发送到大数据平台。

另一方面，根据本公开实施例的数据脱敏装置，包括：动态数据截获模块，被配置为截获从应用程序发送到大数据平台的访问请求；敏感数据识别模块，被配置为识别访问请求中的敏感数据；脱敏处理模块，被配置为根据敏感规则来对敏感数据进行脱敏；脱敏数据发送模块，被配置为将经脱敏的访问请求发送到大数据平台。

附图说明

从下面结合附图对本公开的具体实施方式的描述中可以更好地理解本公开，其中，相似的标号指示相同或功能类似的元件。

图1是根据本公开的一个实施例的数据脱敏方法的流程图。

图2是根据本公开的一个实施例的敏感数据Apriori关联规则生成方法的流程图。

图3是根据本公开的另一实施例的数据脱敏方法的流程图。

图4是根据本公开的一个实施例的数据脱敏装置的示意性框图。

图5是能够实现根据本公开实施例的数据脱敏方法和装置的计算设备的示例性硬件架构的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面将详细描述本公开的各个方面的特征和示例性实施例。在下面的详细描述中，提出了许多具体细节，以便提供对本公开的全面理解。但是，对于本领域技术人员来说很明显的是，本公开可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本公开的示例来提供对本公开的更好的理解。本公开决不限于下面所提出的任何具体配置和算法，而是在不脱离本公开的精神的前提下覆盖了元素、部件和算法的任何修改、替换和改进。在附图和下面的描述中，没有示出公知的结构和技术，以便避免对本公开造成不必要的模糊。

一个好的数据脱敏过程必须具备以下特点：可用性、数据关联关系、业务规则关系、数据分布、易用性和可定制。从而在针对不同系统进行数据脱敏时，制定良好的脱敏方法。常用的实施脱敏的具体方法有如下方式：1)针对根据专家打分评估出的相关敏感关键字或已知的特定敏感字段进行替换、重排、加密、截断、掩码、日期偏移取整等，最终达到数据脱敏的效果；2)在保证了各个系统之间表与表的数据关系相关性的条件下，自定义制定合适的脱敏规则，以完成脱敏工作，这种方式利用诸如身份证号码、手机号、银行卡号、驾照号等之类的数据标识符都是敏感数据的重要特征，且这些数据标识符具有特定用处、特定格式、特定校验方式，通过支持多种类型的数据标识符模板(包括身份证号码、银行卡号、驾照、十进制IP地址、十六进制IP地址等)，同时提供了相应的接口，用户可以基于实际情况自行编辑自己需要的数据标识符校验器，如话单、详单等。

上述的方法已经得到了广泛的应用，而且也获得了较大的成功，但是目前的脱敏方法存在两个方面的问题：1)目前的脱敏技术中针对已知的特定字段进行脱敏过于单一，只能解决已知的敏感数据字段，针对例如移动日志这种复杂的数据很难做到全面的脱敏，比如单独一个IP地址并不能说明什么问题，但是如果和它同时出现对应的系统后台账户那么这就是很严重的信息泄密，而目前的脱敏技术不能将同时出现的对应的系统后台账户识别出来并进行脱敏；2)第二种方法，自定义制定规则在一定程度解决了上述关联泄密的问题，但是目前这种方法缺乏智能的、自学习的更新机制。

本公开提出了一种大数据平台下的数据脱敏方法和装置，该数据脱敏方法和装置将Apriori关联规则挖掘和敏感数据相结合，从而可以智能地找出人工不能发现的敏感数据组合泄露的规则方法，此外添加配置界面使得管理员可以灵活地将已有的敏感数据、组合敏感数据与关联性敏感数据泄露有效的结合起来，使数据库内的脱敏范围更广，脱敏精度更加准确。

图1是根据本公开的一个实施例的数据脱敏方法的流程图。如图1所示，用于大数据平台下的数据脱敏方法100在应用程序110和大数据平台120之间执行，以保护存储在大数据平台中的敏感数据。该数据脱敏方法可以开始于步骤S101，其中由应用程序发送到大数据平台的访问请求被截获。在步骤S102，识别所述访问请求中的敏感数据。在一个实施例中，敏感数据可以包括用户名，身份证号码，手机号码，生日，信用卡号码等。在一个实施例中，访问请求可以是HIVE查询、Hbase查询、HQL查询等。

在步骤S103，根据敏感规则来对敏感数据进行脱敏。在一个实施例中，敏感规则包括基于Apriori机器学习的关联规则，该Apriori关联规则例如通过下文中图2所示的Apriori关联规则生成方法来生成，并且被存储在敏感数据关联规则库中。在其他实施例中，敏感规则也可以包括其他关联规则。在一个实施例中，敏感规则还可以由管理员通过用户接口(UI)配置界面进行配置，此时敏感规则可以是任何敏感数据或敏感数据的组合。在一个实施例中，根据敏感规则来对敏感数据进行脱敏通过以下方式来实现：将敏感数据与敏感规则进行匹配，并且如果敏感数据与敏感规则相匹配，则对敏感数据进行脱敏处理；否则将不对敏感数据进行脱敏处理，直接发送至大数据平台。在一个实施例中，对敏感数据进行脱敏包括对敏感数据进行模糊化处理。在步骤S104，将经脱敏的访问请求发送到大数据平台120。

图2是根据本公开的一个实施例的敏感数据Apriori关联规则生成方法的流程图。下面将对Apriori关联规则生成方法的原理进行说明。

首先描述定义“事务数据集”，用于关联规则挖掘的事务数据集记为D(例如，系统日志事务数据库)，假设D＝{t₁，t₂，…，t_n}，t_k＝{i₁，i₂，…，i_m}，其中t_k(k＝1，2，…，n)被称为事务，i_p(p＝1，2，…，m)被称为项目(此处可以是敏感数据)。假设抽取事务数据集D中的一部分事务，如表1所示，例如，抽取6个事务D＝{t₁，t₂，…，t₆}，其中每个事务可以包括5个项目A、B、C、D、E(即i_p(p＝1，2，…，5))，并且项目A、B、C、D、E分别表示用户名，身份证号码，手机号码，生日和信用卡号码。通过计算获得每个事务Ti对应的敏感数据的组合，如表1所示，例如，事务T1对应的用户名(A)、手机号(C)和生日(D)这三个敏感数据的组合，由此A、C、D成为一组敏感数据。

表1 HQL提交事务数据库

事务标识号TID	项目列表
		T1	A、C、D
T2	B、C、E
		T3	A、C、E
T4	D、E
		T5	B、C
T6	A、B、C、D、E

然后描述定义“k-项集”，假设I＝{i₁，i₂，…，i₅}是D中所有项目的集合。每个事务t_i包含的项集都是I的子集。在关联分析中，如果一个项集包含k个项，则称它为k-项集，记作L_k。

接下来描述定义“项集的支持度”，对于项集X，如果为事务数据集D中包含X的事务的数量，则项集X的支持度为其中Support(X)表示项集X在D中出现的频率。

对事务数据集D进行初步扫描可以得到包含单个项目(即k＝1)的项集的支持度，如表2所示。

表2 初步计算候选项集L1支持度

候选项集L₁	支持度
		{A}	50％
{B}	50％
		{C}	83.3％
{D}	50％
		{E}	66.7％

如表2所示，例如，用户名(A)在事务数据集D里出现的频率为50％，该值将用于后续计算。

接下来描述定义“最小支持度(min_sup)”，产生关联规则时要求项集必须满足最小支持度的阈值，称为项集的min_sup。频繁项集是那些支持度大于或等于min_sup的项集。如果k-项集满足支持度大于等于min_sup，则称频繁k-项集。假设设置最小支持度为min_sup＝50％，则根据表2可以生成频繁1-项集，如表3所示。

表3 频繁1-项集

频繁1-项集	支持度
		{A}	50％
{B}	50％
		{C}	83.3％
{D}	50％
		{E}	66.7％

然后通过迭代扫描事务数据集D，进行两两字段组合，根据上文所述的方法计算支持度，从而产生L2候选项，如表4所示。

表4 计算候选项集L2支持度

候选项集L₂	支持度
		{A、B}	16.7％
{A、C}	50％
		{A、D}	33.3％
{A、E}	33.3％
		{B、C}	50％
{B、D}	16.7％
		{B、E}	33.3％
{C、D}	33.3％
		{C、E}	50％
{D、E}	33.3％

接下来描述定义“关联规则”，关联规则可以表示为一个蕴含式R：其中：并且X∩Y＝φ。它表示项集X出现时，项集Y也会按照某一概率在同一事务中出现。

接下来描述定义“规则支持度”，关联规则R：其中：并且X∩Y＝φ，规则R的支持度是X和Y同时出现的事务数与事务数据集D中所有事务数的比值，即由于频繁项集产生关联规则，所以规则的支持度与频繁项集的支持度相等，即得到候选项集L2之后，通过比较规则支持度和最小支持度生成频繁2-项集，如表5所示。

表5 频繁2-项集

频繁2-项集	支持度
		{A、C}	50％
{B、C}	50％
		{C、E}	50％

重复迭代扫描事务数据集D，进行连接剪枝以生成候选项集L3，如表6所示，由于所有候选项集L3的支持度均小于给定的最小支持度min_sup，所以迭代到此结束，下一步将计算关联规则的可信度，并将关联规则的可信度与设定的最小可信度min_conf进行比较，从而筛选出最终满足条件的强关联规则。

表6 候选项集L₃

候选项集L	支持度
		{A、B、C}	16.7％
{A、C、E}	33.3％
		{B、C、E}	33.3％

然后描述定义“可信度”，关联规则R：其中：并且X∩Y＝φ，规则R的可信度是指X和Y同时出现的事务数与只有X出现的事务数的比值。记为即可信度反映了如果事务中包含X，则事务中出现Y的概率。根据表3和表5可以计算出关联规则间的可信度，如表7所示。

表7 频繁2-项集的关联规则可信度

频繁2-项集关联规则	可信度
		{A→C}	100％
{B→C}	100％
		{C→E}	60％

最后描述定义“强关联规则”，事务数据集D在D中所有项目的集合I上满足min_sup和min_conf的关联规则称为强关联规则。假设设置最小支持度min_sup＝50％和最小可信度min_conf＝70％，则可以得到强关联规则有{{A→C}、{B→C}}，这意味着敏感数据A和C以及B和C符合强关联规则。如果A和C属于强关联敏感数据，当二者同时出现时对两个数据都需要进行脱敏处理，也就是模糊处理。

如图2所示，Apriori关联规则生成方法200可以开始于步骤S201并进行到步骤S202，在S202中可以定义最小支持度(min_sup)和最小置信度(min_conf)。然后流程进行到步骤S203，对大数据平台的数据库(D)进行扫描。在步骤S204，判断是否可以产生候选项集，如果产生候选项集C_k，其中k＝1，2，3，...，则流程进行到步骤S205，计算候选项集C_k的支持度。在步骤S206，判断候选项集C_k的支持度是否大于等于min_sup，如果是，则流程可以进行到步骤S207，产生频繁项集L_k。然后在步骤S208，计算关联规则的可信度。在步骤S209，判断关联规则的可信度是否大于等于min_conf，如果是，则在步骤S210产生强关联规则。如果在步骤S206中判断产生的候选项集C_k的支持度小于min_sup，则流程在步骤S211结束。

图3是根据本公开的另一实施例的数据脱敏方法的流程图。在该示例中，以用户发出的HQL(Hibernate Query Lanaguage)查询为例进行说明。在步骤S301，截获由应用程序310向大数据平台320发送的HQL查询315。在步骤S302，识别HQL查询中所包含的敏感数据。在步骤S303，将敏感数据与敏感数据规则库330中的敏感规则进行匹配。如果在步骤S303中敏感数据与敏感规则相匹配，则在步骤S304，通过脱敏算法对敏感数据进行模糊化处理；然后在步骤S305，将经脱敏的HQL查询请求提交大数据平台。如果在步骤S303中敏感数据与敏感规则不匹配，则在步骤S306，直接将HQL语句提交至大数据平台。在步骤S307，大数据平台处理该HQL查询请求，并将结果发送给应用程序。在一个实施例中，敏感数据规则库330包括基于Apriori机器学习的关联规则340。在另一实施例中，敏感数据规则库包括人工设置的敏感数据和敏感数据的组合。在一个实施例中，人工设置的敏感数据和敏感数据的组合可以通过配置管理工具360(例如，UI配置界面)由管理员350进行配置。

图4是根据本公开的一个实施例的数据脱敏装置的示意性框图。数据脱敏装置400包括动态数据截获模块401、敏感数据识别模块402、脱敏处理模块403和脱敏数据发送模块404。动态数据截获模块401被配置为截获从应用程序发送到大数据平台的访问请求。敏感数据识别模块402被配置为识别所述访问请求中的敏感数据。脱敏处理模块403被配置为根据敏感规则来对所述敏感数据进行脱敏。脱敏数据发送模块404被配置为将经脱敏的访问请求发送到所述大数据平台。数据脱敏装置400可以执行如图1和图3所示的数据脱敏方法的任何步骤，在此不再赘述。

结合图1至图4描述的数据脱敏方法和装置可以由计算设备实现。图5是示出能够实现根据本公开实施例的数据脱敏方法和装置的计算设备的示例性硬件架构的结构图。如图5所示，计算设备500包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505、以及输出设备506。其中，输入接口502、中央处理器503、存储器504、以及输出接口505通过总线510相互连接，输入设备501和输出设备506分别通过输入接口502和输出接口505与总线510连接，进而与计算设备500的其他组件连接。具体地，输入设备501接收输入信息，并通过输入接口502将输入信息传送到中央处理器503；中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出接口505将输出信息传送到输出设备506；输出设备506将输出信息输出到计算设备500的外部供用户使用。

也就是说，图4所示的数据脱敏装置400也可以被实现为包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现结合图1-图4描述的数据脱敏方法和装置。这里，处理器可以基于输入信息执行计算机可执行指令，从而实现结合图1-图4描述的数据脱敏方法和装置。

需要明确的是，本公开并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本公开的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本公开的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本公开的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本公开可以以其他的具体形式实现，而不脱离其精神和本质特征。例如，特定实施例中所描述的算法可以被修改，而系统体系结构并不脱离本公开的基本精神。因此，当前的实施例在所有方面都被看作是示例性的而非限定性的，本公开的范围由所附权利要求而非上述描述定义，并且，落入权利要求的含义和等同物的范围内的全部改变从而都被包括在本公开的范围之中。

Claims

1.一种数据脱敏方法，包括：

截获从应用程序发送到大数据平台的访问请求；

识别所述访问请求中的敏感数据；

根据敏感规则来对所述敏感数据进行脱敏；

将经脱敏的访问请求发送到所述大数据平台。

2.根据权利要求1所述的数据脱敏方法，其中所述敏感规则包括基于Apriori机器学习的关联规则。

3.根据权利要求1所述的数据脱敏方法，其中所述敏感规则包括人工设置的敏感数据和敏感数据的组合。

4.根据权利要求1所述的数据脱敏方法，其中根据敏感规则来对所述敏感数据进行脱敏包括：

将所述敏感数据与所述敏感规则进行匹配；以及

如果所述敏感数据与所述敏感规则相匹配，则对所述敏感数据进行脱敏。

5.根据权利要求1所述的数据脱敏方法，其中对所述敏感数据进行脱敏包括对所述敏感数据进行模糊化处理。

6.根据权利要求1所述的数据脱敏方法，其中所述访问请求包括HQL查询、HIVE查询和Hbase查询。

7.一种数据脱敏装置，包括：

动态数据截获模块，被配置为截获从应用程序发送到大数据平台的访问请求；

敏感数据识别模块，被配置为识别所述访问请求中的敏感数据；

脱敏处理模块，被配置为根据敏感规则来对所述敏感数据进行脱敏；

脱敏数据发送模块，被配置为将经脱敏的访问请求发送到所述大数据平台。

8.根据权利要求7所述的数据脱敏装置，其中所述敏感规则包括基于Apriori机器学习的关联规则。

9.根据权利要求7所述的数据脱敏装置，其中所述敏感规则包括人工设置的敏感数据和敏感数据的组合。

10.根据权利要求7所述的数据脱敏装置，其中根据敏感规则来对所述敏感数据进行脱敏包括：

将所述敏感数据与所述敏感规则进行匹配；以及

11.根据权利要求7所述的数据脱敏装置，其中对所述敏感数据进行脱敏包括对所述敏感数据进行模糊化处理。

12.根据权利要求7所述的数据脱敏装置，其中所述访问请求包括HQL查询、HIVE查询和Hbase查询。