CN109271808A - 一种基于数据库敏感发现的数据静态脱敏系统和方法 - Google Patents

Abstract

本发明公开了一种基于数据库敏感发现的数据静态脱敏系统和方法，系统包括敏感发现规则管理模块，用于增加、修改、删除和查找敏感发现规则；脱敏策略管理模块，用于增加、修改、删除和查找与敏感发现规则对应的脱敏策略；脱敏任务管理模块，用于管理数据库的脱敏任务以及获取待检测的数据表；脱敏任务执行模块，用于执行脱敏任务管理模块配置的脱敏任务，所述脱敏任务根据敏感发现规则和脱敏策略对数据进行脱敏和转存。本发明可以一次配置多次使用，无需人工对数据表进行逐个梳理，若数据表的字段发生变化，本发明依然可以通过敏感发现规则发现敏感数据，相对于现有技术本发明节省人力且安全性更高。本发明可以广泛应用于信息安全领域。

Description

一种基于数据库敏感发现的数据静态脱敏系统和方法

技术领域

本发明涉及信息安全领域，尤其是一种基于数据库敏感发现的数据静态脱敏系统和方法。

背景技术

在开发环境中，一般需要使用数据进行测试，由于保障数据安全，一般情况下生产环境的数据如果要应用在开发环境中作为测试数据，首先需要对其进行脱敏。

目前数据库数据脱敏主要采用的方式有两种：

第一种，预先定义模型表字段脱敏策略，脱敏时匹配预先配置的模型字段，获取对应字段的脱敏策略完成脱敏。该方式需要梳理所有表及字段，并分别为需要脱敏的敏感字段配置脱敏策略。

第二种，将已知的敏感字段定义为通用的业务数据域，再为每个业务数据域定义相应脱敏策略，脱敏时匹配上业务数据域的字段，按照设置的脱敏策略完成脱敏。该方式也需要梳理所有表及字段，并将敏感字段提取定义为公共的业务数据域。

不论是预先定义模型表字段脱敏策略还是定义通用的业务数据域脱敏策略为依据进行数据脱敏，都需要人工参与，梳理表和敏感字段以及为其配置脱敏策略需要花费大量的时间；实际生产中表较多，每个表字段也可能很多，很难确保梳理配置彻底；并且一旦已有表字段改动或新增表，需要人工对其重新梳理、配置，费时费力；并且很可能不能及时进行，为敏感数据的泄露留下了安全隐患。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种节省人力且安全性强的基于数据库敏感发现的数据静态脱敏系统和方法。

本发明所采取的第一种技术方案是：

一种基于数据库敏感发现的数据静态脱敏系统，包括：

敏感发现规则管理模块，用于增加、修改、删除和查找敏感发现规则；

脱敏策略管理模块，用于增加、修改、删除和查找与敏感发现规则对应的脱敏策略；

脱敏任务管理模块，用于管理数据库的脱敏任务以及获取待检测的数据表；

脱敏任务执行模块，用于执行脱敏任务管理模块配置的脱敏任务，所述脱敏任务具体包括：根据敏感发现规则发现数据表中的敏感字段，根据敏感发现规则所对应的脱敏策略对敏感字段的数据进行脱敏，将经过脱敏的敏感字段的数据和非敏感字段的数据进行转存。

进一步，所述敏感发现规则包括规则名称、规则类型、规则正文、优先级、敏感级别和脱敏策略编号。

进一步，所述规则类型包括正则表达式、自定义函数、类SQL定义和样本定义库。

进一步，所述脱敏任务执行模块包括：

抽样单元，用于对数据表中每个字段中的数据进行抽样，得到每个字段的抽样数据；

识别单元，用于根据敏感发现规则对每个字段的抽样数据进行识别，根据识别结果得到敏感字段；

脱敏单元，用于根据敏感发现规则所对应的脱敏策略对敏感字段中的数据进行脱敏；

转存单元，用于将经过脱敏的敏感字段的数据和非敏感字段的数据进行转存。

进一步，所述识别单元具体用于：

获取各敏感发现规则的优先级，按照优先级从高到低的顺序依次使用各敏感发现规则对每个字段的抽样数据进行识别，根据识别结果得到敏感字段。

进一步，所述脱敏策略管理模块包括脱敏算法管理单元，所述脱敏算法管理单元用于增加、修改、删除和查找实现脱敏策略的算法。

进一步，所述敏感发现规则管理模块包括自定义函数库和样本定义库；

所述自定义函数库用于增加、修改、删除和查找实现敏感发现规则的函数；

所述样本定义库用于增加、修改、删除和查找敏感字段的数据样本。

进一步，还包括脱敏任务监控模块，所述脱敏任务监控模块用于监控脱敏任务的执行进度。

进一步，还包括脱敏报告模块，所述脱敏报告模块用于统计脱敏任务的执行情况，以及用于生成脱敏任务的执行报告。

本发明所采取的第二种技术方案是：

一种基于数据库敏感发现的数据静态脱敏方法，包括以下步骤：

获取待脱敏的数据表；

获取敏感发现规则；

获取敏感发现规则所对应的脱敏策略；

加载并执行脱敏任务；

所述脱敏任务具体包括：

根据敏感发现规则发现数据表中的敏感字段；

根据敏感发现规则所对应的脱敏策略对敏感字段的数据进行脱敏；

将经过脱敏的敏感字段的数据和非敏感字段的数据进行转存。

进一步，所述根据敏感发现规则发现数据表中的敏感字段，这一步骤具体包括：

对数据表中每个字段中的数据进行抽样，得到每个字段的抽样数据；

根据敏感发现规则对每个字段的抽样数据进行识别，根据识别结果得到敏感字段。

进一步，所述根据敏感发现规则对每个字段的抽样数据进行识别，根据识别结果得到敏感字段，这一步骤具体为：

获取各敏感发现规则的优先级；

按照优先级从高到低的顺序依次使用各敏感发现规则对每个字段的抽样数据进行识别，根据识别结果得到敏感字段。

本发明的有益效果是：本发明通过获取预先配置的敏感发现规则以及敏感发现规则所对应的策略，能够实现自动地从数据表中发现敏感字段，并采取相应的脱敏策略对数据表中的敏感数据进行脱敏，本发明可以一次配置多次使用，无需人工对数据表进行逐个梳理，若数据表的字段发生变化，本发明依然可以通过敏感发现规则发现敏感数据，相对于现有技术本发明具节省人力且安全性更高。

附图说明

图1为本发明一种具体实施例的基于数据库敏感发现的数据静态脱敏系统的模块框图；

图2为本发明一种具体实施例的基于数据库敏感发现的数据静态脱敏方法的流程图。

具体实施方式

下面结合说明书附图和具体的实施例对本发明进行进一步的说明。

参照图1，一种基于数据库敏感发现的数据静态脱敏系统，包括：

敏感发现规则管理模块，用于增加、修改、删除和查找敏感发现规则；

脱敏策略管理模块，用于增加、修改、删除和查找与敏感发现规则对应的脱敏策略；

脱敏任务管理模块，用于管理数据库的脱敏任务以及获取待检测的数据表；

脱敏任务执行模块，用于执行脱敏任务管理模块配置的脱敏任务，所述脱敏任务具体包括：根据敏感发现规则发现数据表中的敏感字段，根据敏感发现规则所对应的脱敏策略对敏感字段的数据进行脱敏，将经过脱敏的敏感字段的数据和非敏感字段的数据进行转存。

本实施例的系统在工作时，首先，用户需要往敏感发现规则管理模块添加敏感发现规则，往脱敏策略管理模块添加与敏感发现规则对应的脱敏策略，并在脱敏任务管理模块中配置脱敏任务。然后脱敏任务执行模块加载脱敏任务管理模块配置的脱敏任务。脱敏任务执行模块依赖敏感发现规则识别数据表中的敏感字段，然后根据敏感发现规则所对应的脱敏策略，对数据表中敏感字段的数据进行脱敏。最后将经过脱敏的数据和不需要脱敏的数据进行转存。其中，转存的含义为将这些数据存储到特定的数据库或者存储设备上。

作为优选的实施例，所述敏感发现规则包括规则名称、规则类型、规则正文、优先级、敏感级别和脱敏策略编号。在本实施例中，可以通过给敏感发现规则设置优先级，在匹配时先匹配优先级最高的敏感发现规则，这样使得系统可以以更少的匹配次数，命中更多的敏感字段，从而减少系统的运算量，提升系统的效率。

所述规则类型包括正则表达式、自定义函数、类SQL定义和样本定义库。本实施例提供多种规则类型的选择，使得用户根据习惯去输入敏感发现规则的内容。例如，如果用户在配置敏感发现规则时，可以根据用户选择的规则类型，为用户提供下拉选择框和文本框，并配备相应的检查机制，使用户的敏感发现规则符合系统要求。

所述优先级包括极高、高、中和低。所述敏感级别可以分为一级敏感、二级敏感、三级敏感和四级敏感。

作为优选的实施例，所述脱敏任务执行模块包括：

抽样单元，用于对数据表中每个字段中的数据进行抽样，得到每个字段的抽样数据；

识别单元，用于根据敏感发现规则对每个字段的抽样数据进行识别，根据识别结果得到敏感字段；

脱敏单元，用于根据敏感发现规则所对应的脱敏策略对敏感字段中的数据进行脱敏；

转存单元，用于将经过脱敏的敏感字段的数据和非敏感字段的数据进行转存。

本实施例在执行脱敏任务时，通过抽样的方式来检查字段是否属于敏感字段。其中，抽样可以抽取每个字段中的一个或多个数据，抽样数据量越多，准确性越高。本领域技术人员可以根据准确性和性能上的需要灵活设置抽样的数量。通过抽样的方式验证数据表中的字段是否为敏感字段，能够减少本实施例的运算量。

作为优选的实施例，所述识别单元具体用于：

获取各敏感发现规则的优先级，按照优先级从高到低的顺序依次使用各敏感发现规则对每个字段的抽样数据进行识别，根据识别结果得到敏感字段。为了提升系统的效率，系统可以读取各个敏感发现规则的优先级，然后根据优先级的高低来决定使用各敏感发现规则的顺序。例如，存在优先级为高、中和低的三个敏感发现规则，本实施例会优先判断抽样数据是否符合优先级为高的敏感发现规则，如果是，则立即判定为敏感数据；如果不是，则判断抽样数据是否符合优先级为中的敏感发现规则，如果也不符合优先级为中的敏感发现规则；则使用优先级为低的敏感发现规则进行识别。本领域技术人员可以将出现频率高的敏感数据所对应的敏感发现规则设置为高优先级。这样能够尽早发现被识别的字段为敏感字段，以减少系统的运算量。

参照图1，作为优选的实施例，所述脱敏策略管理模块包括脱敏算法管理单元，所述脱敏算法管理单元用于增加、修改、删除和查找实现脱敏策略的算法。设置脱敏算法管理单元是为了便于用户升级脱敏算法。

参照图1，作为优选的实施例，所述敏感发现规则管理模块包括自定义函数库和样本定义库；

所述样本定义库用于增加、修改、删除和查找敏感字段的数据样本。所述样本定义库，可以自定义敏感发现时使用的敏感信息的样本；当敏感内容比较固定并且可以穷举时，可以使用该样本定义功能；一个样本可以定义一个或多个样本值；当敏感发现程序执行时，所检查内容和其中一个样本值一致时，则认为是敏感信息。例如，假定亲属关系是敏感数据，那么父子关系、母子关系、兄弟关系等亲属关系可以通过穷举的方式录入样本定义库。这样一旦识别到敏感数据为这些样本值中的一个，即可以将该字段判定为敏感字段。本实施例采用样本定义库的方式，易于实现，且执行速度快。

所述自定义函数库用于增加、修改、删除和查找实现敏感发现规则的函数；

下面列举两个敏感发现规则的实现方式：

手机号码的敏感发现规则：

长度为11位，文本全部是数字，开头数字必须为13、15、17、18、19或147等等。

身份证的敏感发现规则：

长度18位，前17位必须是数字，最后是数字或X；第7位到14位为年月日(格式YYYYMMDD)；另外还需要符合身份证的校验规则。

作为优选的实施例，为了便于用户监控脱敏任务的执行情况，本实施例还包括脱敏任务监控模块，所述脱敏任务监控模块用于监控脱敏任务的执行进度，其可以查看任务已经执行的次数，任务执行的进度比和历史记录等等。

作为优选的实施例，为了便于用户生成脱敏任务的报告以用于后续分析，本实施例还包括脱敏报告模块，所述脱敏报告模块用于统计脱敏任务的执行情况，以及用于生成脱敏任务的执行报告。一个执行报告包括当日脱敏任务的数量、完成情况、脱敏的字段统计、脱敏规则分析和脱敏敏感级别分析等等。

参照图2，一种基于数据库敏感发现的数据静态脱敏方法，包括以下步骤：

S1、获取待脱敏的数据表；

S2、获取敏感发现规则；

S3、获取敏感发现规则所对应的脱敏策略；

S4、加载并执行脱敏任务；

所述脱敏任务具体包括：

S41、根据敏感发现规则发现数据表中的敏感字段；

S42、根据敏感发现规则所对应的脱敏策略对敏感字段的数据进行脱敏；

S43、将经过脱敏的敏感字段的数据和非敏感字段的数据进行转存。

作为优选的实施例，所述敏感发现规则包括规则名称、规则类型、规则正文、优先级、敏感级别和脱敏策略编号。在本实施例中，可以通过给敏感发现规则设置优先级，在匹配时先匹配优先级最高的敏感发现规则，这样使得系统可以以更少的匹配次数，命中更多的敏感字段，从而减少系统的运算量，提升系统的效率。

所述规则类型包括正则表达式、自定义函数、类SQL定义和样本定义库。本实施例提供多种规则类型的选择，使得用户根据习惯去输入敏感发现规则的内容。例如，如果用户在配置敏感发现规则时，可以根据用户选择的规则类型，为用户提供下拉选择框和文本框，并配备相应的检查机制，使用户的敏感发现规则符合系统要求。

所述优先级包括极高、高、中和低。所述敏感级别可以分为一级敏感、二级敏感、三级敏感和四级敏感。

作为优选的实施例，所述步骤S41具体包括：

S411、对数据表中每个字段中的数据进行抽样，得到每个字段的抽样数据；

S412、根据敏感发现规则对每个字段的抽样数据进行识别，根据识别结果得到敏感字段。

本实施例在执行脱敏任务时，通过抽样的方式来检查字段是否属于敏感字段。其中，抽样可以抽取每个字段中的一个或多个数据，抽样数据量越多，准确性越高。本领域技术人员可以根据准确性和性能上的需要灵活设置抽样的数量。通过抽样的方式验证数据表中的字段是否为敏感字段，能够减少本实施例的运算量。

作为优选的实施例，所述步骤S412具体为：

S4121、获取各敏感发现规则的优先级；

S4122、按照优先级从高到低的顺序依次使用各敏感发现规则对每个字段的抽样数据进行识别，根据识别结果得到敏感字段。为了提升方法的效率，本实施例可以读取各个敏感发现规则的优先级，然后根据优先级的高低来决定使用各敏感发现规则的顺序。例如，存在优先级为高、中和低的三个敏感发现规则，本实施例会优先判断抽样数据是否符合优先级为高的敏感发现规则，如果是，则立即判定为敏感数据；如果不是，则判断抽样数据是否符合优先级为中的敏感发现规则，如果也不符合优先级为中的敏感发现规则；则使用优先级为低的敏感发现规则进行识别。那么本领域技术人员可以将出现频率高的敏感数据所对应的敏感发现规则设置为高优先级。这样能够尽早发现被识别的字段为敏感字段，以减少本方法的运算量。

作为优选的实施例，为了便于用户监控脱敏任务的执行情况，本实施例还包括以下步骤：

S5、实时监控脱敏任务的执行进度。本实施例向用户展示脱敏任务的执行次数、任务执行的进度比和历史记录等等。

作为优选的实施例，为了便于用户生成脱敏任务的报告以用于后续分析，本实施例还包括以下步骤：

S6、统计脱敏任务的执行情况，并生成脱敏任务的执行报告。一个执行报告包括当日脱敏任务的数量、完成情况、脱敏的字段统计、脱敏规则分析和脱敏敏感级别分析等等。

对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于数据库敏感发现的数据静态脱敏系统，其特征在于：包括：

敏感发现规则管理模块，用于增加、修改、删除和查找敏感发现规则；

脱敏策略管理模块，用于增加、修改、删除和查找与敏感发现规则对应的脱敏策略；

脱敏任务管理模块，用于管理数据库的脱敏任务以及获取待检测的数据表；

脱敏任务执行模块，用于执行脱敏任务管理模块配置的脱敏任务，所述脱敏任务具体包括：根据敏感发现规则发现数据表中的敏感字段，根据敏感发现规则所对应的脱敏策略对敏感字段的数据进行脱敏，将经过脱敏的敏感字段的数据和非敏感字段的数据进行转存。

2.根据权利要求1所述的一种基于数据库敏感发现的数据静态脱敏系统，其特征在于：所述脱敏任务执行模块包括：

抽样单元，用于对数据表中每个字段中的数据进行抽样，得到每个字段的抽样数据；

识别单元，用于根据敏感发现规则对每个字段的抽样数据进行识别，根据识别结果得到敏感字段；

脱敏单元，用于根据敏感发现规则所对应的脱敏策略对敏感字段中的数据进行脱敏；

转存单元，用于将经过脱敏的敏感字段的数据和非敏感字段的数据进行转存。

3.根据权利要求2所述的一种基于数据库敏感发现的数据静态脱敏系统，其特征在于：所述识别单元具体用于：

获取各敏感发现规则的优先级，按照优先级从高到低的顺序依次使用各敏感发现规则对每个字段的抽样数据进行识别，根据识别结果得到敏感字段。

4.根据权利要求1所述的一种基于数据库敏感发现的数据静态脱敏系统，其特征在于：所述脱敏策略管理模块包括脱敏算法管理单元，所述脱敏算法管理单元用于增加、修改、删除和查找实现脱敏策略的算法。

5.根据权利要求1所述的一种基于数据库敏感发现的数据静态脱敏系统，其特征在于：所述敏感发现规则管理模块包括自定义函数库和样本定义库；

所述自定义函数库用于增加、修改、删除和查找实现敏感发现规则的函数；

所述样本定义库用于增加、修改、删除和查找敏感字段的数据样本。

6.根据权利要求1所述的一种基于数据库敏感发现的数据静态脱敏系统，其特征在于：还包括脱敏任务监控模块，所述脱敏任务监控模块用于监控脱敏任务的执行进度。

7.根据权利要求1-6任一项所述的一种基于数据库敏感发现的数据静态脱敏系统，其特征在于：还包括脱敏报告模块，所述脱敏报告模块用于统计脱敏任务的执行情况，以及用于生成脱敏任务的执行报告。

8.一种基于数据库敏感发现的数据静态脱敏方法，其特征在于：包括以下步骤：

获取待脱敏的数据表；

获取敏感发现规则；

获取敏感发现规则所对应的脱敏策略；

加载并执行脱敏任务；

所述脱敏任务具体包括：

根据敏感发现规则发现数据表中的敏感字段；

根据敏感发现规则所对应的脱敏策略对敏感字段的数据进行脱敏；

将经过脱敏的敏感字段的数据和非敏感字段的数据进行转存。

9.根据权利要求8所述的一种基于数据库敏感发现的数据静态脱敏方法，其特征在于：所述根据敏感发现规则发现数据表中的敏感字段，这一步骤具体包括：

对数据表中每个字段中的数据进行抽样，得到每个字段的抽样数据；

根据敏感发现规则对每个字段的抽样数据进行识别，根据识别结果得到敏感字段。

10.根据权利要求9所述的一种基于数据库敏感发现的数据静态脱敏方法，其特征在于：所述根据敏感发现规则对每个字段的抽样数据进行识别，根据识别结果得到敏感字段，这一步骤具体为：

获取各敏感发现规则的优先级；

按照优先级从高到低的顺序依次使用各敏感发现规则对每个字段的抽样数据进行识别，根据识别结果得到敏感字段。