CN110019764A - 大数据平台敏感数据的发现方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及一种大数据平台敏感数据的发现方法、装置、设备及存储介质，该发现方法包括如下步骤：将大数据组件内需要保护的敏感数据进行分类，定义每类敏感数据的具体内容及属性，并根据数据重要性或敏感程度确认敏感数据的敏感级别；根据分类及敏感级别，配置敏感数据的发现规则及发现策略，形成发现策略库；通过脚本命令从大数据组件内采集用于敏感数据分析的有效数据；根据发现策略库对采集的有效数据进行模式匹配，析取敏感数据信息，对敏感数据信息进行属性补全并保存。本发明全面提升了敏感数据的发现能力及准确度。

Description

大数据平台敏感数据的发现方法、装置、设备及存储介质

技术领域

本发明涉及信息安全及大数据技术领域，特别是涉及一种大数据平台敏感数据的发现方法。

背景技术

随着互联网及大数据相关技术的快速发展，企业信息采集、存储、传播已达到了空前规模,全球数据量出现爆炸式增长。大数据时代的到来使得大数据平台应用更加广泛。一方面，大数据平台为这些海量、异构、多样化的数据提供存储和运算能力，另一方面通过大数据平台的数据挖掘和人工智能分析大数据中的特点、规律和趋势，为决策提供信息参考。但随着大数据平台应用推广及数据的开放、共享程度进一步扩大，伴随而来的敏感信息窃取、数据篡改、黑客攻击、病毒侵袭等诸多数据安全事件愈发频繁。如何快速、精准发现大数据组件内的敏感数据，对确保大数据组件内敏感数据安全，最小化数据安全风险起着至关重要的作用。

现有敏感数据发现技术主要通过接口连接大数据平台组件，采集组件内存储敏感数据的文件或表结构，提取疑似敏感数据的关键字(如字段名或表名中含有用户、账单等对应拼音或英文字样)，然后通过预先设置的敏感数据发现规则与关键字进行匹配比对，匹配成功，则认为该数据为敏感数据，否则，则认为该数据为非敏感数据。

上述技术方案存在以下缺陷：一是，数据采集扩展能力差，无法适应新平台或组件的数据采集。针对不同的大数据平台或组件，定制不同的数据采集方案，在面对新平台或组件时，必须根据其特性进行定制开发才能满足数据的采集，数据采集扩展能力差，采集性能低下。二是，识别精准度差，发现效率低下。通过单个判别规则和数据中的关键字进行匹配完成识别动作，敏感数据识别逻辑过于简单。对于由多个关键字共同出现才能视为敏感数据的识别场景，如同时出现姓名、住址、手机号信息才能视为敏感信息，现有技术无法识别。

发明内容

本发明的目的是提供一种大数据平台敏感数据的发现方法及装置，其能够精准发现复杂场景下的敏感数据。

一方面，本发明实施例提供了一种大数据平台敏感数据的发现方法，其包括如下步骤：将大数据组件内需要保护的敏感数据进行分类，定义每类敏感数据的具体内容及属性，并根据数据重要性或敏感程度确认敏感数据的敏感级别；根据分类及敏感级别，配置敏感数据的发现规则及发现策略，形成发现策略库；通过脚本命令从大数据组件内采集用于敏感数据分析的有效数据；根据发现策略库对采集的有效数据进行模式匹配，析取敏感数据信息，对敏感数据信息进行属性补全并保存。

根据本发明实施例的一方面，通过脚本命令从大数据组件内采集用于敏感数据分析的有效数据包括：根据大数据组件的类型从内置的脚本库中获取其对应的数据采集脚本；获取用于连接大数据组件的相关参数，执行数据采集脚本，以连接大数据组件；通过执行不同的数据采集脚本，采集对应的数据信息；过滤数据信息，筛选出新增或变更的数据信息，以此作为用于敏感数据分析的有效数据。

根据本发明实施例的一方面，如果内置的脚本库无法支持复杂场景下的敏感数据，则通过自定义的方式手动配置生成新的采集脚本，测试成功后将采集脚本作为内置脚本信息保存至内置的脚本库。

根据本发明实施例的一方面，根据发现策略库对采集的有效数据进行模式匹配、析取敏感数据信息包括：获取用于析取敏感数据的有效数据；从发现策略库中获取敏感数据的发现规则及发现策略；采用模式匹配的方法将有效数据与发现规则及发现策略进行逐条匹配；如果匹配成功，则标识其为敏感数据。

根据本发明实施例的一方面，如果有效数据与发现规则及发现策略逐条匹配后均不成功，则将有效数据标识为非敏感数据并保存。

根据本发明实施例的一方面，发现策略由单个或多个发现规则组合而成，发现规则包括由字符、数字、符号形成的规则表达式或结构表达式字符串。

另一方面，本发明实施例还提供了一种大数据平台敏感数据的发现装置，包括：分类分级单元，用于将大数据组件内需要保护的敏感数据进行分类，定义每类敏感数据的具体内容及属性，并根据数据重要性或敏感程度确认敏感数据的敏感级别；配置单元，用于根据敏感数据的分类及敏感级别，配置敏感数据的发现规则及发现策略，形成发现策略库；采集单元，用于通过脚本命令从大数据组件内采集用于敏感数据分析的有效数据；析取单元，用于根据敏感数据的发现规则及发现策略对采集的有效数据进行模式匹配，析取敏感数据信息，对敏感数据信息进行属性补全并保存。

根据本发明实施例的一方面，采集单元进一步用于，根据大数据组件的类型从内置的脚本库中获取其对应的数据采集脚本，获取用于连接大数据组件的相关参数，执行数据采集脚本，以连接大数据组件，通过执行不同的数据采集脚本，采集对应的数据信息，过滤数据信息，筛选出新增或变更的数据信息，以此作为用于敏感数据分析的有效数据。

根据本发明实施例的一方面，采集单元进一步用于，如果内置的脚本库无法支持复杂场景下的敏感数据，则通过自定义的方式手动配置生成新的采集脚本，测试成功后将采集脚本作为内置脚本信息保存至内置的脚本库。

根据本发明实施例的一方面，析取单元进一步用于，获取用于析取敏感数据的有效数据，从发现策略库中获取敏感数据的发现规则及发现策略，采用模式匹配的方法将有效数据与发现规则及发现策略进行逐条匹配，如果匹配成功，则标识其为敏感数据。

根据本发明实施例的一方面，析取单元进一步用于，如果有效数据与发现规则及发现策略逐条匹配后均不成功，则将有效数据标识为非敏感数据并保存。

另一方面，本发明实施例还提供了一种大数据平台敏感数据的发现设备，包括：存储器，存储有计算机程序指令；处理器，当计算机程序指令被处理器执行时实现如前所述的大数据平台敏感数据的发现方法。

另一方面，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质包括指令，当指令在计算机上运行时，使得计算机执行如前所述的大数据平台敏感数据的发现方法。

本发明实施例提供的大数据平台敏感数据的发现方法及装置，一方面通过配置脚本命令快速实现了对未支持大数据组件内的数据采集，全面提升了数据采集能力；另一方面，通过对采集的数据进行筛选过滤，只采集新增或变更的业务数据，全面提升了数据采集效率；另外，内置丰富的敏感数据发现策略库，并支持自定义各种复杂场景下的发现规则及发现策略，策略配置操作方便、快捷，可操作性强；最后，结合丰富的敏感数据发现策略库，采用模式匹配等方法自动发现敏感数据并进行信息补全，全面提升了敏感数据的发现能力及准确度。

附图说明

下面将参考附图来描述本发明示例性实施例的特征、优点和技术效果。

图1是本发明实施例提供的一种大数据平台敏感数据的发现方法的流程框图；

图2是图1所示的大数据平台敏感数据的发现方法中采集用于敏感数据分析的有效数据的流程框图；

图3是图1所示的大数据平台敏感数据的发现方法中析取敏感数据信息的流程框图；

图4是本发明实施例提供的一种大数据平台敏感数据的发现装置的示意性原理框图。

具体实施方式

下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例的详细描述和附图用于示例性地说明本发明的原理，但不能用来限制本发明的范围，即本发明不限于所描述的实施例。

为了更好地理解本发明，下面结合图1至图4对本发明实施例的大数据平台敏感数据的发现方法及装置进行详细描述。

参阅图1，本发明实施例提供了一种大数据平台敏感数据的发现方法，其包括如下步骤：

步骤S1，将大数据组件内需要保护的敏感数据进行分类，定义每类敏感数据的具体内容及属性，并根据数据重要性或敏感程度确认敏感数据的敏感级别。

具体来说，调研大数据组件内需要保护的敏感数据，根据国家或行业标准进行分类，定义每类数据的具体内容及属性，并根据数据重要或敏感程度确认敏感数据的敏感级别，从而形成科学、适用的敏感数据分类分级基础数据，为下一步定义敏感数据发现规则及发现策略提供理论支撑及依据。敏感数据的分类及敏感级别的定义例如可以为表1所示内容。

表1敏感数据的分类及敏感级别的定义

步骤S2，根据分类及敏感级别，配置敏感数据的发现规则及发现策略，形成发现策略库。

敏感数据的发现策略主要用于发现大数据组件内的敏感数据，其由单个或多个发现规则组合而成，发现规则包括字符、数字、符号等元素形成的规则表达式或结构表达式字符串。根据敏感数据的分类及敏感级别的定义内容，配置敏感数据发现规则及发现策略。比如，数据中分别出现“手机号码”、“姓名”、“住址”，可依此建立三个发现规则，然后基于这三个规则可以单个或多个组合生成不同的发现策略，从而形成敏感数据的发现策略库，为快速、精准发现包括复杂场景下大数据组件内的敏感数据提供数据支撑。

步骤S3，通过脚本命令从大数据组件内采集用于敏感数据分析的有效数据。

大数据组件内存储有海量的业务数据，包括要识别发现的敏感数据，如HBASE、HIVE等组件存储的信息，采集的范围包括大数据组件的结构数据及存储的数据，首次需要采集组件内所有数据，后续只采集组件内变更或新增的数据即可。

步骤S4，根据发现策略库对采集的有效数据进行模式匹配，析取敏感数据信息，对敏感数据信息进行属性补全并保存。

补全的信息包括敏感数据负责人、所属业务系统、所属组织机构等。

参阅图2，示出了前述大数据平台敏感数据的发现方法中采集用于敏感数据分析的有效数据的流程框图。根据该流程图，可以得知，步骤S3中，通过脚本命令从大数据组件内采集用于敏感数据分析的有效数据包括：

步骤102，根据大数据组件的类型从内置的脚本库中获取其对应的数据采集脚本。

根据大数据组件的类型从内置的脚本库中获取其对应的数据采集脚本，包括组件连接、组件数据采集等脚本。如果内置的脚本库无法支持复杂场景下的敏感数据，则通过自定义的方式手动配置生成新的采集脚本，测试成功后将采集脚本作为内置脚本信息保存至内置的脚本库。部分脚本或方言示例如下：

HIVE组件连接：

url＝"jdbc:hive2://192.168.186.150:10000/orglog"

HBASE组件连接：

Configuration configuration＝HBaseConfiguration.create()；

configuration.set("hbase.zookeeper.property.clientPort","2181")；

configuration.set("hbase.zookeeper.quorum","192.168.186.150")；

configuration con＝ConnectionFactory.createConnection(configuration)；

Admin admin＝con.getAdmin().

步骤103，获取用于连接大数据组件的相关参数，执行数据采集脚本，以连接大数据组件。相关参数包括但不限于例如用户名、密码、URL等。

步骤104，通过执行不同的数据采集脚本，采集对应的数据信息。

例如实现对HBASE组件数据的采集，先执行获取表的结构信息脚本，采集表、行、列数据，然后针对每张表执行获取表的记录信息脚本，获取该表的记录信息。

步骤105，过滤数据信息，筛选出新增或变更的数据信息，以此作为用于敏感数据分析的有效数据。

对步骤104采集的数据信息进行过滤处理，通过将当前采集数据和上次采集数据进行比对，筛选出新增或变更的数据信息。例如新增了几张表或某个表新增了几列等，以此作为用于敏感数据分析的有效数据。

参阅图3，示出了前述大数据平台敏感数据的发现方法中析取敏感数据信息的流程框图。析取敏感数据信息的具体过程如下：

步骤202，从数据采集过程中的有效数据里获取用于析取敏感数据的有效数据。

步骤203，从敏感数据发现策略库中获取敏感数据发现规则及发现策略。

步骤204，采用模式匹配方法对有效数据与敏感数据发现规则及发现策略进行精准匹配，匹配成功，跳转至步骤207，否则跳转至步骤205。

步骤205，判断当前进行匹配的发现规则/发现策略是否是最后一条，是，则跳转至步骤206，否，则跳转至步骤203。

步骤206，当有效数据和所有敏感数据发现规则及发现策略都匹配失败时，说明该有效数据为非敏感数据，标识该数据为非敏感数据并进行保存。

步骤207，当有效数据与敏感数据发现规则及发现策略匹配成功时，说明该数据符合敏感数据发现规则及发现策略，标识其为敏感数据。

步骤208，对发现成功的敏感数据进行属性补全，补全的信息包括敏感数据负责人、所属业务系统、所属组织机构等，并对敏感数据进行保存。

步骤209，判断当前匹配的有效数据是否为最后一条，否，则跳转至步骤202，是，则结束。

由此，步骤S4中，根据发现策略库对采集的有效数据进行模式匹配、析取敏感数据信息包括：获取用于析取敏感数据的有效数据；从发现策略库中获取敏感数据的发现规则及发现策略；采用模式匹配的方法将有效数据与发现规则及发现策略进行逐条匹配；如果有效数据与发现规则及发现策略逐条匹配后均不成功，则将有效数据标识为非敏感数据并保存；当有效数据与敏感数据的发现规则及发现策略匹配成功时，说明该有效数据符合敏感数据地发现规则或发现策略，标识其为敏感数据。

本发明实施例提供的大数据平台敏感数据的发现方法，一方面通过配置脚本命令快速实现了对未支持大数据组件内的数据采集，全面提升了数据采集能力；另一方面，通过对采集的数据进行筛选过滤，只采集新增或变更的业务数据，全面提升了数据采集效率；另外，内置丰富的敏感数据发现策略库，并支持自定义各种复杂场景下的发现规则及发现策略，策略配置操作方便、快捷，可操作性强；最后，结合丰富的敏感数据发现策略库，采用模式匹配等方法自动发现敏感数据并进行信息补全，全面提升了敏感数据的发现能力及准确度。

参阅图2，本发明实施例还提供了一种大数据平台敏感数据的发现装置，包括：分类分级单元110、配置单元120、采集单元130和析取单元140。

分类分级单元110用于将大数据组件内需要保护的敏感数据进行分类，定义每类敏感数据的具体内容及属性，并根据数据重要性或敏感程度确认敏感数据的敏感级别。

配置单元120用于根据敏感数据的分类及敏感级别，配置敏感数据的发现规则及发现策略，形成发现策略库；

采集单元130用于通过脚本命令从大数据组件内采集用于敏感数据分析的有效数据；

析取单元140用于根据敏感数据的发现规则及发现策略对采集的有效数据进行模式匹配，析取敏感数据信息，对敏感数据信息进行属性补全并保存。

进一步地，采集单元130还用于，根据大数据组件的类型从内置的脚本库中获取其对应的数据采集脚本，获取用于连接大数据组件的相关参数，执行数据采集脚本，以连接大数据组件，通过执行不同的数据采集脚本，采集对应的数据信息，过滤数据信息，筛选出新增或变更的数据信息，以此作为用于敏感数据分析的有效数据。

进一步地，采集单元130还用于，如果内置的脚本库无法支持复杂场景下的敏感数据，则通过自定义的方式手动配置生成新的采集脚本，测试成功后将采集脚本作为内置脚本信息保存至内置的脚本库。

进一步地，析取单元140还用于，获取用于析取敏感数据的有效数据，从发现策略库中获取敏感数据的发现规则及发现策略，采用模式匹配的方法将有效数据与发现规则及发现策略进行逐条匹配，如果匹配成功，则标识其为敏感数据。

进一步地，析取单元140还用于，如果有效数据与发现规则及发现策略逐条匹配后均不成功，则将有效数据标识为非敏感数据并保存。

另外，本发明实施例还提供了一种大数据平台敏感数据的发现设备，包括：存储器，存储有计算机程序指令；处理器，当计算机程序指令被处理器执行时实现如前所述的大数据平台敏感数据的发现方法。

另外，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质包括指令，当指令在计算机上运行时，使得计算机执行如前所述的大数据平台敏感数据的发现方法。

可以理解的是，本发明实施例提供的大数据平台敏感数据的发现装置、设备及计算机可读存储介质是前述大数据平台敏感数据的发现方法的执行主体，关于各模块具体的执行方式可以参见前述大数据平台敏感数据的发现方法的内容，在此不再赘述。

虽然已经参考优选实施例对本发明进行了描述，但在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，各个实施例中所提到的各项技术特征均可以任意方式组合起来。本发明并不局限于文中公开的预定实施例，而是包括落入权利要求的范围内的所有技术方案。

Claims (13)

1.一种大数据平台敏感数据的发现方法，其特征在于，包括如下步骤：

将大数据组件内需要保护的敏感数据进行分类，定义每类敏感数据的具体内容及属性，并根据数据重要性或敏感程度确认所述敏感数据的敏感级别；

根据所述分类及所述敏感级别，配置所述敏感数据的发现规则及发现策略，形成发现策略库；

通过脚本命令从所述大数据组件内采集用于敏感数据分析的有效数据；

根据所述发现策略库对采集的所述有效数据进行模式匹配，析取敏感数据信息，对所述敏感数据信息进行属性补全并保存。

2.根据权利要求1所述的大数据平台敏感数据的发现方法，其特征在于，所述通过脚本命令从所述大数据组件内采集用于敏感数据分析的有效数据包括：

根据所述大数据组件的类型从内置的脚本库中获取其对应的数据采集脚本；

获取用于连接所述大数据组件的相关参数，执行所述数据采集脚本，以连接所述大数据组件；

通过执行不同的所述数据采集脚本，采集对应的数据信息；

过滤所述数据信息，筛选出新增或变更的所述数据信息，以此作为用于敏感数据分析的所述有效数据。

3.根据权利要求2所述的大数据平台敏感数据的发现方法，其特征在于，如果所述内置的脚本库无法支持复杂场景下的敏感数据，则通过自定义的方式手动配置生成新的采集脚本，测试成功后将所述采集脚本作为内置脚本信息保存至所述内置的脚本库。

4.根据权利要求1所述的大数据平台敏感数据的发现方法，其特征在于，所述根据所述发现策略库对采集的所述有效数据进行模式匹配、析取敏感数据信息包括：

获取用于析取敏感数据的所述有效数据；

从所述发现策略库中获取所述敏感数据的所述发现规则及所述发现策略；

采用模式匹配的方法将所述有效数据与所述发现规则及所述发现策略进行逐条匹配；

如果匹配成功，则标识其为敏感数据。

5.根据权利要求4所述的大数据平台敏感数据的发现方法，其特征在于，如果所述有效数据与所述发现规则及所述发现策略逐条匹配后均不成功，则将所述有效数据标识为非敏感数据并保存。

6.根据权利要求1所述的大数据平台敏感数据的发现方法，其特征在于，所述发现策略由单个或多个所述发现规则组合而成，所述发现规则包括由字符、数字、符号形成的规则表达式或结构表达式字符串。

7.一种大数据平台敏感数据的发现装置，其特征在于，包括：

分类分级单元(110)，用于将大数据组件内需要保护的敏感数据进行分类，定义每类敏感数据的具体内容及属性，并根据数据重要性或敏感程度确认敏感数据的敏感级别；

配置单元(120)，用于根据敏感数据的所述分类及所述敏感级别，配置敏感数据的发现规则及发现策略，形成发现策略库；

采集单元(130)，用于通过脚本命令从所述大数据组件内采集用于敏感数据分析的有效数据；

析取单元(140)，用于根据敏感数据的所述发现规则及所述发现策略对采集的所述有效数据进行模式匹配，析取敏感数据信息，对所述敏感数据信息进行属性补全并保存。

8.根据权利要求7所述的大数据平台敏感数据的发现装置，其特征在于，所述采集单元(130)进一步用于，根据所述大数据组件的类型从内置的脚本库中获取其对应的数据采集脚本，获取用于连接所述大数据组件的相关参数，执行所述数据采集脚本，以连接所述大数据组件，通过执行不同的所述数据采集脚本，采集对应的数据信息，过滤所述数据信息，筛选出新增或变更的所述数据信息，以此作为用于敏感数据分析的所述有效数据。

9.根据权利要求7所述的大数据平台敏感数据的发现装置，其特征在于，所述采集单元(130)进一步用于，如果所述内置的脚本库无法支持复杂场景下的敏感数据，则通过自定义的方式手动配置生成新的采集脚本，测试成功后将所述采集脚本作为内置脚本信息保存至所述内置的脚本库。

10.根据权利要求7所述的大数据平台敏感数据的发现装置，其特征在于，所述析取单元(140)进一步用于，获取用于析取敏感数据的所述有效数据，从所述发现策略库中获取所述敏感数据的所述发现规则及所述发现策略，采用模式匹配的方法将所述有效数据与所述发现规则及所述发现策略进行逐条匹配，如果匹配成功，则标识其为敏感数据。

11.根据权利要求10所述的大数据平台敏感数据的发现装置，其特征在于，所述析取单元(140)进一步用于，如果所述有效数据与所述发现规则及所述发现策略逐条匹配后均不成功，则将所述有效数据标识为非敏感数据并保存。

12.一种大数据平台敏感数据的发现设备，其特征在于，包括：

存储器，存储有计算机程序指令；

处理器，当所述计算机程序指令被所述处理器执行时实现如权利要求1至6任一项所述的大数据平台敏感数据的发现方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1-6任意一项所述的大数据平台敏感数据的发现方法。