CN111191282A - 一种敏感数据的管理方法和系统 - Google Patents

Abstract

本发明公开了一种敏感数据的管理方法和系统，在所述管理方法中对敏感数据的管理方法包括以下步骤：根据自定义的字段敏感等级，在保存有存量表的数据资产管理系统中对所述字段进行批量检索，从所述存量表中检索出所述敏感等级对应的待标注字段；在所述存量表中标注所述待标注字段的敏感等级，并将所述存量表中字段的最高敏感等级标注为所述存量表的敏感等级。本发明实施例通过这些标注更好的管理包括字段和字段存量表的敏感数据，从而有效区分存量表及字段的敏感等级，在数据存储、传输、查询、导出等场景下实施不同的安全管控策略，确保数据安全及使用合规，可有效保障对存量表及字段敏感等级标注的准确性，且减少了人力投入。

Description

一种敏感数据的管理方法和系统

技术领域

本发明涉及数据安全领域，具体涉及一种敏感数据的管理方法和系统。

背景技术

数据安全目前已成为全社会广泛关注的话题，国内外政府机构对数据安全的监管也越来越严格，在这种背景下，企业数据安全管理，尤其是进行大数据关联、挖掘为主营业务的互联网企业而言，加强数据的安全保护及运营合规将成为企业数据治理的重中之重，互联网企业经过多年的发展，都积累了大量数据资源，但普遍缺乏有效的数据安全及敏感数据保护意识，没有合理区分数据的敏感性，在数据敏感等级确定，尤其是对大批量存量数据管理方面普遍缺乏切实可行的安全管理方法，从而企业在对这些敏感数据进行传输或者导出时很容易出现管理的不合规，导致很多敏感数据中出现信息的泄露和个人隐私的盗取；另一方面，虽然当前有部分企业在对敏感数据例如字段等进行了管理，但是这些都是人工进行的管理，管理效率低下且花费巨大的人力和物力，如何高效的对这些敏感数据的管理，需要进一步的技术创新。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种敏感数据的管理方法和系统，能够有效区分存量表及字段的敏感等级，保障对存量表及字段敏感等级标注的准确性，且减少了人力投入。

为解决上述技术问题，本发明采用的技术方案是：

第一方面，本发明实施例提供了一种敏感数据的管理方法，包括以下步骤：

根据自定义的字段敏感等级，在保存有存量表的数据资产管理系统中对所述字段进行批量检索，从所述存量表中检索出所述敏感等级对应的待标注字段；

在所述存量表中标注所述待标注字段的敏感等级，并将所述存量表中字段的最高敏感等级标注为所述存量表的敏感等级。

进一步地，对所述字段进行批量检索前包括对所述字段构建最简匹配词，所述最简匹配词为所述字段及关联的同义词形成的保持字段语义完整的搜索关键词。

进一步地，对所述待标注字段批量检索后包括对所述待标注字段进行筛选，所述筛选包括以下步骤：从所述存量表中输出所述待标注字段模糊匹配的检索结果，通过SQL语句对所述检索结果的干扰字段进行批量删除，得到精确匹配的待标注字段清单。

进一步地，对精确匹配的所述待标注字段通过Hive工具进行存储后再进行标注，通过Hive工具完成对所述待标注字段的数据提取、转化、加载。

进一步地，对所述字段的批量检索为分批次进行单一敏感等级的检索，每次输出的检索结果为单一敏感等级的所述待标注字段。

另一方面，本发明实施例还提供了一种敏感数据的管理系统，包括：

字段检索模块，用于根据自定义的字段敏感等级，在保存有存量表的数据资产管理系统中对所述字段进行批量检索，从所述存量表中检索出所述敏感等级对应的待标注字段；

等级标注模块，用于在所述存量表中标注所述待标注字段的敏感等级，并将所述存量表中字段的最高敏感等级标注为所述存量表的敏感等级。

进一步地，所述字段检索模块包括有字段规范单元，所述字段规范单元用于对所述字段进行批量检索前包括对所述字段构建最简匹配词，所述最简匹配词为所述字段及关联的同义词形成的保持字段语义完整的搜索关键词。

进一步地，对所述待标注字段批量检索后包括所述字段检索模块对所述待标注字段进行筛选，所述字段检索模块对所述待标注字段的筛选包括以下步骤：从所述存量表中输出所述待标注字段模糊匹配的检索结果，通过SQL语句对所述检索结果的干扰字段进行批量删除，得到精确匹配的待标注字段清单。

进一步地，对精确匹配的所述待标注字段通过Hive工具进行存储后再进行标注，通过Hive工具完成对所述待标注字段的数据提取、转化、加载。

进一步地，所述字段检索模块对所述字段的批量检索为分批次进行单一敏感等级的检索，每次输出的检索结果为单一敏感等级的所述待标注字段。

本发明实施例提供的技术方案带来的有益效果是：

本发明实施例提供的一种敏感数据的管理方法和系统，在所述管理方法中根据企业对于数据敏感程度的要求不同，首先自定义需要管理的字段的敏感等级，在企业内部的数据资产管理系统中对该自定义的字段进行检索和筛选，最后对企业内部的数据资产管理系统中进行字段和字段所在的存量表进行敏感等级的标注，通过这些标注更好的管理包括字段和字段存量表的敏感数据，从而有效区分存量表及字段的敏感等级，在数据存储、传输、查询、导出等场景下实施不同的安全管控策略，确保数据安全及使用合规，与当前普遍的由表负责人进行人工标注敏感等级的方式相比，可有效保障对存量表及字段敏感等级标注的准确性，且减少了人力投入。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的敏感数据的管理方法的流程示意图；

图2是本发明实施例公开的敏感数据的管理方法的逻辑示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

如图1和图2所示，本实施例提供了一种敏感数据的管理方法，包括以下步骤：

S1：根据自定义的字段敏感等级，在保存有存量表的数据资产管理系统中对所述字段进行批量检索，从所述存量表中检索出所述敏感等级对应的待标注字段；

S2：在所述存量表中标注所述待标注字段的敏感等级，并将所述存量表中字段的最高敏感等级标注为所述存量表的敏感等级。

具体地，在所述管理方法中根据企业对于数据敏感程度的不同，首先自定义需要管理的字段的敏感等级，在企业内部的数据资产管理系统中对该自定义的字段进行检索和筛选，最后对企业内部的数据资产管理系统中进行字段和字段所在的存量表进行敏感等级的标注，通过这些标注更好的管理包括字段和字段存量表的敏感数据，从而有效区分存量表及字段的敏感等级，在数据存储、传输、查询、导出等场景下实施不同的安全管控策略，确保数据安全及使用合规，与当前普遍的由表负责人进行人工标注敏感等级的方式相比，可有效保障对存量表及字段敏感等级标注的准确性，且减少了人力投入。

优选地，对所述字段自定义的敏感等级依次为：对外公开、内部公开、一般敏感、特别敏感、高度机密，并依次对应于1～5五个自然数字，可以参照行业标准，以及国家立法部门在数据安全方面的相关法规，定义企业自己的数据敏感等级标准。需要说明的是，敏感等级数目的确定，既要有利于数据敏感度的合理区分，也要考虑基于不同敏感等级实施安全管控措施的可行性，一般4-5级是比较合理的，本实施例中，选取的是5级，从高到低分别为：5(高度机密)、4(特别敏感)、3(一般敏感)、2(内部公开)、1(对外公开)。另外，这里敏感等级的定义，对于数据表而言，要精确到字段的敏感等级。比如，作为字段中的身份证号、手机号为5级，姓名、电子邮箱、收货地址等为4级。这里定义的字段敏感等级，是基于字段中文名规范化命名的字段，比如“手机号”为规范化的字段中文名，而“移动电话号”则属于非规范化的字段中文名。

优选地，对所述字段进行批量检索前包括对所述字段构建最简匹配词，所述最简匹配词为所述字段及关联的同义词形成的保持字段语义完整的搜索关键词。为了基于已明确定义敏感等级的字段，到存量表中去检索，提高其命中率，即提高字段匹配的查全率，为规范化命名的字段及其同义词，构建“最简匹配词”。构建最简匹配词的目的，是为了在保持字段中文名语义完整的前提下，最大程度提升检索的查全率。在检索时，采用“最长匹配法”进行匹配，即对于最简匹配词，在检索时不允许进行“分词”处理。仍以“电子邮箱”为例，其同义词有电子信箱、Email，E_mail，E-mail，MAIL等，根据这些词组成的同义词族，为其构建的最简匹配词为：邮箱，信箱，MAIL。

优选地，对所述待标注字段批量检索后包括对所述待标注字段进行筛选，所述筛选包括以下步骤：从所述存量表中输出所述待标注字段模糊匹配的检索结果，通过SQL语句对所述检索结果的干扰字段进行批量删除，得到精确匹配的待标注字段清单。基于最简匹配词的检索结果，进行基于人工识别的去干扰项处理，删除与该敏感等级字段含义不符的干扰字段，得到精确匹配的字段清单。值得一提的是，在去干扰项处理过程中，虽然采用人工识别的方法，但使用一些技巧，借助SQL语句处理，可大大降低干扰项的工作量。比如{批量删除字段中文名结尾为“时间”、“编码”、“代码”的记录}，{批量删除字段中文名开头为“是否”的记录}等等，在对这些确定为干扰项的数据记录进行批量删除后，再对剩下的数据记录进行人工去干扰处理。仍以“电子邮箱”为例，该字段敏感等级为4级，依据上述步骤，对该字段得到的检索结果有：{会员Email，收件人邮箱，是否邮箱验证用户，邮箱所在国家，……}等。根据字段含义，“会员Email”、“收件人邮箱”，表达的基本语义都是“电子邮箱”，其敏感等级也应为4级。而“是否邮箱验证用户”、“邮箱所在国家”所表达的语义与“电子邮箱”完全不同，属于干扰项，需要将其从输出的检索结果中剔除。由此，得到存量表中针对“电子邮箱”字段精确匹配的字段有：{会员Email，收件人邮箱，……}，可以知道该字段所在的系统、数据库、表等信息。

优选地，对精确匹配的所述待标注字段通过Hive工具进行存储后再进行标注，通过Hive工具完成对所述待标注字段的数据提取、转化、加载。本实施例中的数据管理系统为数据资产管理系统(DAM)。本实施例中的采用的技术工具为Hive，Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。采用的实现语言为HQL(Hibernate Query Language)，HQL是一种面向对象的查询语言，类似于SQL语句，但不是去对表和列进行操作，而是面向对象和它们的属性。本实施例中最终对字段和表敏感等级的标注，就是通过HQL语言实现的。

优选地，对所述字段的批量检索为分批次进行单一敏感等级的检索，每次输出的检索结果为单一敏感等级的所述待标注字段。例如，检索结果通常需要包括如下字段：研发中心名称、系统全称、系统负责人、数据库名、表名、表中文名、表负责人、字段名、字段中文名、字段类型。其中，对于字段名和字段类型，可以辅助明确中文名不规范的字段的含义。表负责人，便于对有疑义的字段，进一步找其明确含义。

具体地，对所述存量表的标注包括以下步骤：若所述存量表中存在最高敏感等级为5的字段时，将所述字段所在的存量表的敏感等级标注为高度机密的5级；若所述存量表中存在最高敏感等级为4的字段时，将所述字段所在的存量表的敏感等级标注为特别敏感的4级；若所述存量表中存在最高敏感等级为3的字段时，将所述字段所在的存量表的敏感等级标注为一般敏感的3级；若所述存量表中存在最高敏感等级为2的字段时，将所述字段所在的存量表的敏感等级标注为内部公开的2级；若所述存量表中存在最高敏感等级为1的字段时，将所述字段所在的存量表的敏感等级标注为对外公开的1级。此外，需要说明的是，在对存量表实施标注前，需对其进行敏感等级初始化处理，对于敏感等级为空的存量表，以及敏感等级的值不在{1,2,3,4,5}中的存量表，将其敏感等级初始化为0级，即设置其敏感等级为0级。

实施例二：

本实施例还提供了一种敏感数据的管理系统，包括：

字段检索模块，用于根据自定义的字段敏感等级，在保存有存量表的数据资产管理系统中对所述字段进行批量检索，从所述存量表中检索出所述敏感等级对应的待标注字段；

等级标注模块，用于在所述存量表中标注所述待标注字段的敏感等级，并将所述存量表中字段的最高敏感等级标注为所述存量表的敏感等级。

具体地，在通过字段检索模块和等级标注模块完成敏感数据中的字段和存量表的标注后，能够有效区分存量表及字段的敏感等级，在数据存储、传输、查询、导出等场景下实施不同的安全管控策略，确保数据安全及使用合规，与当前普遍的由表负责人进行人工标注敏感等级的方式相比，可有效保障对存量表及字段敏感等级标注的准确性，且减少了人力投入。

优选地，所述字段检索模块包括有字段规范单元，所述字段规范单元用于对所述字段进行批量检索前包括对所述字段构建最简匹配词，所述最简匹配词最简匹配词为所述字段及关联的同义词形成的保持字段语义完整的搜索关键词。为了基于已明确定义敏感等级的字段，到存量表中去检索，提高其命中率，即提高字段匹配的查全率，为规范化命名的字段及其同义词，构建“最简匹配词”。构建最简匹配词的目的，是为了在保持字段中文名语义完整的前提下，最大程度提升检索的查全率。在检索时，采用“最长匹配法”进行匹配，即对于最简匹配词，在检索时不允许进行“分词”处理。仍以“电子邮箱”为例，其同义词有电子信箱、Email，E_mail，E-mail，MAIL等，根据这些词组成的同义词族，为其构建的最简匹配词为：邮箱，信箱，MAIL。

优选地，对所述待标注字段批量检索后包括所述字段检索模块对所述待标注字段进行筛选，所述字段检索模块对所述待标注字段的筛选包括以下步骤：从所述存量表中输出所述待标注字段模糊匹配的检索结果，通过SQL语句对所述检索结果的干扰字段进行批量删除，得到精确匹配的待标注字段清单。基于最简匹配词的检索结果，进行基于人工识别的去干扰项处理，删除与该敏感等级字段含义不符的干扰字段，得到精确匹配的字段清单。值得一提的是，在去干扰项处理过程中，虽然采用人工识别的方法，但使用一些技巧，借助SQL语句处理，可大大降低干扰项的工作量。比如{批量删除字段中文名结尾为“时间”、“编码”、“代码”的记录}，{批量删除字段中文名开头为“是否”的记录}等等，在对这些确定为干扰项的数据记录进行批量删除后，再对剩下的数据记录进行人工去干扰处理。仍以“电子邮箱”为例，该字段敏感等级为4级，依据上述步骤，对该字段得到的检索结果有：{会员Email，收件人邮箱，是否邮箱验证用户，邮箱所在国家，……}等。根据字段含义，“会员Email”、“收件人邮箱”，表达的基本语义都是“电子邮箱”，其敏感等级也应为4级。而“是否邮箱验证用户”、“邮箱所在国家”所表达的语义与“电子邮箱”完全不同，属于干扰项，需要将其从输出的检索结果中剔除。由此，得到存量表中针对“电子邮箱”字段精确匹配的字段有：{会员Email，收件人邮箱，……}，可以知道该字段所在的系统、数据库、表等信息。

优选地，对精确匹配的所述待标注字段通过Hive工具进行存储后再进行标注，通过Hive工具完成对所述待标注字段的数据提取、转化、加载。本实施例中的数据管理系统为数据资产管理系统(DAM)。本实施例中的采用的技术工具为Hive，Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。采用的实现语言为HQL(Hibernate Query Language)，HQL是一种面向对象的查询语言，类似于SQL语句，但不是去对表和列进行操作，而是面向对象和它们的属性。本实施例中最终对字段和表敏感等级的标注，就是通过HQL语言实现的。

优选地，所述字段检索模块对所述字段的批量检索为分批次进行单一敏感等级的检索，每次输出的检索结果为单一敏感等级的所述待标注字段。例如，检索结果通常需要包括如下字段：研发中心名称、系统全称、系统负责人、数据库名、表名、表中文名、表负责人、字段名、字段中文名、字段类型。其中，对于字段名和字段类型，可以辅助明确中文名不规范的字段的含义。表负责人，便于对有疑义的字段，进一步找其明确含义。

具体地，通过等级标注模块对所述存量表的标注包括以下步骤：若所述存量表中存在最高敏感等级为5的字段时，将所述字段所在的存量表的敏感等级标注为高度机密的5级；若所述存量表中存在最高敏感等级为4的字段时，将所述字段所在的存量表的敏感等级标注为特别敏感的4级；若所述存量表中存在最高敏感等级为3的字段时，将所述字段所在的存量表的敏感等级标注为一般敏感的3级；若所述存量表中存在最高敏感等级为2的字段时，将所述字段所在的存量表的敏感等级标注为内部公开的2级；若所述存量表中存在最高敏感等级为1的字段时，将所述字段所在的存量表的敏感等级标注为对外公开的1级。此外，需要说明的是，在对存量表实施标注前，需对其进行敏感等级初始化处理，对于敏感等级为空的存量表，以及敏感等级的值不在{1,2,3,4,5}中的存量表，将其敏感等级初始化为0级，即设置其敏感等级为0级。

上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。

需要说明的是：上述实施例提供的敏感数据的管理系统在进行数据的敏感等级管理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将敏感数据的管理的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的敏感数据的管理系统与敏感数据的管理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种敏感数据的管理方法，其特征在于，包括以下步骤：

根据自定义的字段敏感等级，在保存有存量表的数据资产管理系统中对所述字段进行批量检索，从所述存量表中检索出所述敏感等级对应的待标注字段；

在所述存量表中标注所述待标注字段的敏感等级，并将所述存量表中字段的最高敏感等级标注为所述存量表的敏感等级。

2.根据权利要求1所述的敏感数据的管理方法，其特征在于，对所述字段进行批量检索前包括对所述字段构建最简匹配词，所述最简匹配词为所述字段及关联的同义词形成的保持字段语义完整的搜索关键词。

3.根据权利要求1所述的敏感数据的管理方法，其特征在于，对所述待标注字段批量检索后包括对所述待标注字段进行筛选，所述筛选包括以下步骤：从所述存量表中输出所述待标注字段模糊匹配的检索结果，通过SQL语句对所述检索结果的干扰字段进行批量删除，得到精确匹配的待标注字段清单。

4.根据权利要求3所述的敏感数据的管理方法，其特征在于，对精确匹配的所述待标注字段通过Hive工具进行存储后再进行标注，通过Hive工具完成对所述待标注字段的数据提取、转化、加载。

5.根据权利要求1所述的敏感数据的管理方法，其特征在于，对所述字段的批量检索为分批次进行单一敏感等级的检索，每次输出的检索结果为单一敏感等级的所述待标注字段。

6.一种敏感数据的管理系统，其特征在于，包括：

字段检索模块，用于根据自定义的字段敏感等级，在保存有存量表的数据资产管理系统中对所述字段进行批量检索，从所述存量表中检索出所述敏感等级对应的待标注字段；

等级标注模块，用于在所述存量表中标注所述待标注字段的敏感等级，并将所述存量表中字段的最高敏感等级标注为所述存量表的敏感等级。

7.根据权利要求6所述的敏感数据的管理系统，其特征在于，所述字段检索模块包括有字段规范单元，所述字段规范单元用于对所述字段进行批量检索前包括对所述字段构建最简匹配词，所述最简匹配词为所述字段及关联的同义词形成的保持字段语义完整的搜索关键词。

8.根据权利要求6所述的敏感数据的管理系统，其特征在于，对所述待标注字段批量检索后包括所述字段检索模块对所述待标注字段进行筛选，所述字段检索模块对所述待标注字段的筛选包括以下步骤：从所述存量表中输出所述待标注字段模糊匹配的检索结果，通过SQL语句对所述检索结果的干扰字段进行批量删除，得到精确匹配的待标注字段清单。

9.根据权利要求8所述的敏感数据的管理系统，其特征在于，对精确匹配的所述待标注字段通过Hive工具进行存储后再进行标注，通过Hive工具完成对所述待标注字段的数据提取、转化、加载。

10.根据权利要求6所述的敏感数据的管理系统，其特征在于，所述字段检索模块对所述字段的批量检索为分批次进行单一敏感等级的检索，每次输出的检索结果为单一敏感等级的所述待标注字段。

Images