CN114547314A - 一种基于主从表的数据分类分级方法和系统 - Google Patents

Abstract

本申请公开了一种基于主从表的数据分类分级方法和系统，该方法包括：获取对数据库中的预定表中的数据进行分类分级之后得到的分类分级结果；获取待进行数据分类分级的第一表；判断所述第一表与所述预定表是否为主从表的关系；在所述第一表和所述预定表为主从表的关系的情况下，将所述预定表的分类分级结果复用到所述第一表中，其中，复用到所述第一表包括：对于所述第一表与所述预定表中相同字段下的数据，按照所述预定表的分类分级结果对所述第一表中相同字段下的数据进行数据分类分级。通过本申请解决了现有技术中对于所有表均进行人工数据分类分级所导致的效率低的问题，从而能够复用具有主从关系的表的分类分级结果，提高了分类分级的效率。

Description

一种基于主从表的数据分类分级方法和系统

技术领域

本申请涉及到数据分类分级领域，具体而言，涉及一种基于主从表的数据分类分级方法和系统。

背景技术

作为数字经济和信息社会的核心资源，数据被认为是继土地、劳动力、资本、技术之后的又一个重要生产要素。与此同时，数据安全的重要性愈发凸显。

对数据而言，开放才有意义，但开放的前提则是安全。由于不同类型的数据，其级别和价值均不同，不能等同视之，应根据数据的重要性、价值指数，予以区别对待，因此数据安全法提出建立数据分类分级保护制度。

分类分级是数据全流程动态保护的基本前提，不仅是数据安全治理的第一步，也是当前数据安全治理的痛点和难点。数据安全建设需要针对数据的收集、存储、使用、加工、传输、公开等各个环节，进行数据安全风险的监测、评估和防护等，需要用到权限管控、数据脱敏、数据加密、审计溯源等多种技术手段。只有做好了数据分类分级工作，才能进行后续数据安全建设。

目前数据分类分级基本采用人工识别数据库某个字段的数据内容之后，对该字段的数据进行分类分级，由于数据库中的表数量众多，需要逐一对每张表均进行基于字段的分类分级，即使对于存在某些关联关系的表格也是进行人工分类分级，这导致了分类分级的效率比较低。

发明内容

本申请实施例提供了一种基于主从表的数据分类分级方法和系统，以至少解决现有技术中对于所有表均进行人工数据分类分级所导致的效率低的问题。

根据本申请的一个方面，提供了一种基于主从表的数据分类分级方法，包括：获取对数据库中的预定表中的数据进行分类分级之后得到的分类分级结果，其中，所述分类分级结果用于指示所述预定表中的每个字段下的数据所属的类别和等级；获取待进行数据分类分级的第一表；判断所述第一表与所述预定表是否为主从表的关系；在所述第一表和所述预定表为主从表的关系的情况下，将所述预定表的分类分级结果复用到所述第一表中，其中，复用到所述第一表包括：对于所述第一表与所述预定表中相同字段下的数据，按照所述预定表的分类分级结果对所述第一表中相同字段下的数据进行数据分类分级。

进一步地，判断所述第一表与所述预定表是否为主从表的关系包括：获取所述第一表和所述预定表的表信息，其中，所述表信息包括以下至少之一：表名称，表中包括的字段名称；根据所述第一表和所述预定表的表信息判断所述第一表与所述预定表是否为主从表。

进一步地，根据所述第一表和所述预定表的表信息判断所述第一表和所述预定表是否为主从表包括：判断所述第一表的表名称和所述预定表的表名称的相似度是否符合预定条件；如果符合预定条件，则判断所述第一表中的所有字段的名称与所述预定表中所有字段的名称相同的比例；如果所述第一表中与所述预定表中字段名称相同的比例超过阈值，则所述第一表和所述预定表为主从表。

进一步地，判断所述第一表的表名称和所述预定表的表名称的相似度是否符合预定条件包括：判断所述第一表的表名称是否为所述预定表的表名称的一部分，或者，所述预定表的表名称是所述第一表的表名称的一部分，如果判断结果为是，则所述第一表的表名称和所述预定表的表名称的相似度符合预定条件。

根据本申请的另一个方面，还提供了一种基于主从表的数据分类分级系统，包括：第一获取模块，用于获取对数据库中的预定表中的数据进行分类分级之后得到的分类分级结果，其中，所述分类分级结果用于指示所述预定表中的每个字段下的数据所属的类别和等级；第二获取模块，用于获取待进行数据分类分级的第一表；判断模块，用于判断所述第一表与所述预定表是否为主从表的关系；复用模块，用于在所述第一表和所述预定表为主从表的关系的情况下，将所述预定表的分类分级结果复用到所述第一表中，其中，复用到所述第一表包括：对于所述第一表与所述预定表中相同字段下的数据，按照所述预定表的分类分级结果对所述第一表中相同字段下的数据进行数据分类分级。

进一步地，所述判断模块用于：获取所述第一表和所述预定表的表信息，其中，所述表信息包括以下至少之一：表名称，表中包括的字段名称；根据所述第一表和所述预定表的表信息判断所述第一表与所述预定表是否为主从表。

进一步地，所述判断模块用于：判断所述第一表的表名称和所述预定表的表名称的相似度是否符合预定条件；如果符合预定条件，则判断所述第一表中的所有字段的名称与所述预定表中所有字段的名称相同的比例；如果所述第一表中与所述预定表中字段名称相同的比例超过阈值，则所述第一表和所述预定表为主从表。

进一步地，所述判断模块用于：判断所述第一表的表名称是否为所述预定表的表名称的一部分，或者，所述预定表的表名称是所述第一表的表名称的一部分，如果判断结果为是，则所述第一表的表名称和所述预定表的表名称的相似度符合预定条件。

根据本申请的另一个方面，还提供了一种存储器，用于存储软件，所述软件用于执行上述的方法。

根据本申请的另一个方面，还提供了一种处理器，用于运行软件，所述软件用于执行上述的方法。

在本申请实施例中，采用了获取对数据库中的预定表中的数据进行分类分级之后得到的分类分级结果，其中，所述分类分级结果用于指示所述预定表中的每个字段下的数据所属的类别和等级；获取待进行数据分类分级的第一表；判断所述第一表与所述预定表是否为主从表的关系；在所述第一表和所述预定表为主从表的关系的情况下，将所述预定表的分类分级结果复用到所述第一表中，其中，复用到所述第一表包括：对于所述第一表与所述预定表中相同字段下的数据，按照所述预定表的分类分级结果对所述第一表中相同字段下的数据进行数据分类分级。通过本申请解决了现有技术中对于所有表均进行人工数据分类分级所导致的效率低的问题，从而能够复用具有主从关系的表的分类分级结果，提高了分类分级的效率。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的基于主从表的数据分类分级方法的流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种基于主从表的数据分类分级方法，图1是根据本申请实施例的基于主从表的数据分类分级方法的流程图，如图1所示，该流程包括如下步骤：

步骤S102，获取对数据库中的预定表中的数据进行分类分级之后得到的分类分级结果，其中，所述分类分级结果用于指示所述预定表中的每个字段下的数据所属的类别和等级；

步骤S104，获取待进行数据分类分级的第一表；

步骤S106，判断所述第一表与所述预定表是否为主从表的关系；

步骤S108，在所述第一表和所述预定表为主从表的关系的情况下，将所述预定表的分类分级结果复用到所述第一表中，其中，复用到所述第一表包括：对于所述第一表与所述预定表中相同字段下的数据，按照所述预定表的分类分级结果对所述第一表中相同字段下的数据进行数据分类分级。

通过上述步骤解决了现有技术中对于所有表均进行人工数据分类分级所导致的效率低的问题，从而能够复用具有主从关系的表的分类分级结果，提高了分类分级的效率。

在上述步骤中，判断是否为主从表的方式有很多种，例如，判断所述第一表与所述预定表是否为主从表的关系包括：获取所述第一表和所述预定表的表信息，其中，所述表信息包括以下至少之一：表名称，表中包括的字段名称；根据所述第一表和所述预定表的表信息判断所述第一表与所述预定表是否为主从表。

主表和从表一般名称是比较接近的，主表和从表中的大部分字段也是相同的，因此，根据表名称和字段是否相同来进行主从表的判断是比较准确的。

在一个例子中，可以判断所述第一表的表名称和所述预定表的表名称的相似度是否符合预定条件；如果符合预定条件，则判断所述第一表中的所有字段的名称与所述预定表中所有字段的名称相同的比例；如果所述第一表中与所述预定表中字段名称相同的比例超过阈值，则所述第一表和所述预定表为主从表。

判断所述第一表的表名称和所述预定表的表名称的相似度是否符合预定条件包括：判断所述第一表的表名称是否为所述预定表的表名称的一部分，或者，所述预定表的表名称是所述第一表的表名称的一部分，如果判断结果为是，则所述第一表的表名称和所述预定表的表名称的相似度符合预定条件。

下面对几种不同的算法进行举例说明。

算法一

在算法一中，主表整个表名包含于从表中 例：主表名称为BANK，从表名称为BAK_BANK。

在算法一中，从表名开头以“bak_、tmp_、temp_、dat_、settbak_、ver_”等字段进行开头，在开头字段之后是主表的名称。或者，从表的名称以主表名称为开头，从表名结束以“_bak、_tmp、_temp、_dat、_settbak、_ver”（不区分大小写）等结束字段来结束从表的名称。例如，主表的名称为LOG，从表的名称为LOG_TMP或者从表的名称为LOG_SETTBAK。

以上条件满足前提后并且满足a,b其一则认为这两张表是主从表，"bak_、tmp_···"这些词是可以根据实际情况灵活的增加或者删除，例如，可以通过内置字典的方式来实现。

算法二

在算法二中还可以进行更加精确的判断，如果一个表的名字是另外一个表的名字的一部分，即满足了算法一的条件，在本实施方式中认为满足了基本的主从表判断条件，但是这样粗略的筛选准确度不是很高，所以增加了更为细致的判断方案，就是引入主从表中的字段比较逻辑，去对比主从表中的字段名称，字段备注，字段类型这三个维度，在比较的时候也可以配置根据哪几个维度去判断。例如，可以配置为只选择根据字段名称去判断，主表有ID，NAME，ID_CARD这三个字段，从表有ID，NAME，ID_CARD，CREATE_TIME字段，根据字段名称且两个表的字段名称相似程度超过阈值的情况下，则可以认定这两表具备主从表关系。

除了判断字段名称之后，还可以配置判断字段类型和/或字段备注，例如，可以预先配置判断条件，该判断条件为第一张表的名称是第二张表的名称的一部分，并且，第一张表和第二张表的字段名称相同的概率超过阈值（例如90%），并且，相同名称的字段对应的字段类型和/或字段备注也相同，在这种情况下，则认为第一张表和第二张表具备主从表关系。

算法三

在算法三中，可以由用户来自行配置两张表具备主从表关系的判断条件，在本实施方式中提供一套表和字段的特征元素和取值运算逻辑，例如，取值运算逻辑包括以下至少之一：等于、包含、不包含、正则、内置字典，表和字段的特征元素包括以下至少之一：表名称、表描述、字段名称、字段类型、字段描述。接收用户从特征元素和取值运算逻辑中进行的选择，根据用户进行的选择生成判断两张表是否具备主从表关系的判断条件。在该情况中，可以让用户自己选择元素条件与取值运算逻辑去拼接判定主从表逻辑。

例如，用户选择了如下元素：表名称：主表名称位于从表名称开头（或者中间，或者结尾）、表名称：结尾是以时间戳方式（正则）、表描述：主从表一致（选择）、字段名称：相同占比比例（75%）。在本实施方式中接收到用户选择的特征元素和取值运算逻辑之后，则会自动根据上述一套自定义逻辑去发现计算主从表。该情况实现起来比较灵活。

作为另一个可选实施方式，在调用主从表算法时，传入不同的参数来确定通过使用哪种或者哪几种组合算法去判定主从表。其中，单个算法即为上述的三种算法中的一种，选择后输入对应的算法参数，类型等即可；组合算法即位上述的算法的排列组合，比如算法1+算法2、算法1+算法2+算法3、算法2+算法3等，此时每一种算法会根据各自的基础分（默认100）与算法权重和置信度乘积并求和再除以组合的算法种类数计算出一个最终分数。

例如，在一个可选实施方式中选择了三种算法组合生效判断主从表，即：

算法得分 = 基础分 × 权重

最终分数 = [（算法1得分×算法1置信度）+ （算法2得分×算法2置信度）+（算法3得分×算法3置信度）] ÷ 3 （其中的3代表组合了几种算法），如果计算后的算法的值大于等于预先设置好的值，就认为比较的表具有主从关系；其中置信度支持人工设置。

即，在判断所述第一表与所述预定表是否为主从表的关系可以采用多种算法来进行判断，为每种算法预先配置置信度，其中，所述置信度用于指示该算法计算得到的表的主从关系的可信任程度；每种算法还配置该算法对应的权重；为每种算法配置基础分数，将每种算法基础分数与权重相乘之后再与该算法的置信度相乘得到每种算法对应的分数，将每种算法对应的分数取平均值，判断该平均值是否大于预先设置的值，如果大于则认为所述第一表和所述预定表为主从表的关系。

作为一个可选的实施方式，在需要对预定数据库进行分类分级的情况下，遍历该数据库中的所有的表，查找到所有具有主从关系的表，对于主表（即上述实施例中的预定表）采用预定方式（例如，人工方式或者程序自动进行数据分类分级）进行数据分类分级之后，将对主表所进行的分类分级复用到该主表对应的所有从表中。

在复用到从表中之后，还可以获取从表与主表中不同的字段，对该从表中的该字段采用预定方式进行分类分级，从而完成一张从表中的所有字段的数据分类分级。对于不同从表之间也可以进行字段的比较，一张从表中如果存在主表中没有的字段（该字段被称为预定字段），则遍历该主表对应的所有的从表是否也存在该预定字段，统计具有该预定字段的所有从表，在具有该预定字段的所有从表中任一张表的该预定字段已经进行数据分类分级之后，将该分类分级方法复用到其他从表的该预定字段中。

对于从表中存在的与主表不同的字段，可以根据该不同的字段的字段名称和字段描述在主表中查找与该字段名称和字段描述相似度超过阈值的主表字段，将该相似度超过阈值的主表字段的数据分类分级复用到所述从表中与主表不同的字段。

在本实施例中，提供一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行以上实施例中的方法。

上述程序可以运行在处理器中，或者也可以存储在存储器中（或称为计算机可读介质），计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

这些计算机程序也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤，对应与不同的步骤可以通过不同的模块来实现。

该本实施例中就提供了这样的一种装置或系统。该系统被称为基于主从表的数据分类分级系统，包括：第一获取模块，用于获取对数据库中的预定表中的数据进行分类分级之后得到的分类分级结果，其中，所述分类分级结果用于指示所述预定表中的每个字段下的数据所属的类别和等级；第二获取模块，用于获取待进行数据分类分级的第一表；判断模块，用于判断所述第一表与所述预定表是否为主从表的关系；复用模块，用于在所述第一表和所述预定表为主从表的关系的情况下，将所述预定表的分类分级结果复用到所述第一表中，其中，复用到所述第一表包括：对于所述第一表与所述预定表中相同字段下的数据，按照所述预定表的分类分级结果对所述第一表中相同字段下的数据进行数据分类分级。

该系统或者装置用于实现上述的实施例中的方法的功能，该系统或者装置中的每个模块与方法中的每个步骤相对应，已经在方法中进行过说明的，在此不再赘述。

例如，所述判断模块用于：获取所述第一表和所述预定表的表信息，其中，所述表信息包括以下至少之一：表名称，表中包括的字段名称；根据所述第一表和所述预定表的表信息判断所述第一表与所述预定表是否为主从表。

又例如，所述判断模块用于：判断所述第一表的表名称和所述预定表的表名称的相似度是否符合预定条件；如果符合预定条件，则判断所述第一表中的所有字段的名称与所述预定表中所有字段的名称相同的比例；如果所述第一表中与所述预定表中字段名称相同的比例超过阈值，则所述第一表和所述预定表为主从表。

又例如，所述判断模块用于：判断所述第一表的表名称是否为所述预定表的表名称的一部分，或者，所述预定表的表名称是所述第一表的表名称的一部分，如果判断结果为是，则所述第一表的表名称和所述预定表的表名称的相似度符合预定条件。

通过上述实施例解决了现有技术中对于所有表均进行人工数据分类分级所导致的效率低的问题，从而能够复用具有主从关系的表的分类分级结果，提高了分类分级的效率。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于主从表的数据分类分级方法，其特征在于，包括：

获取对数据库中的预定表中的数据进行分类分级之后得到的分类分级结果，其中，所述分类分级结果用于指示所述预定表中的每个字段下的数据所属的类别和等级；

获取待进行数据分类分级的第一表；

判断所述第一表与所述预定表是否为主从表的关系；

在所述第一表和所述预定表为主从表的关系的情况下，将所述预定表的分类分级结果复用到所述第一表中，其中，复用到所述第一表包括：对于所述第一表与所述预定表中相同字段下的数据，按照所述预定表的分类分级结果对所述第一表中相同字段下的数据进行数据分类分级。

2.根据权利要求1所述的方法，其特征在于，判断所述第一表与所述预定表是否为主从表的关系包括：

获取所述第一表和所述预定表的表信息，其中，所述表信息包括以下至少之一：表名称，表中包括的字段名称；

根据所述第一表和所述预定表的表信息判断所述第一表与所述预定表是否为主从表。

3.根据权利要求2所述的方法，其特征在于，根据所述第一表和所述预定表的表信息判断所述第一表和所述预定表是否为主从表包括：

判断所述第一表的表名称和所述预定表的表名称的相似度是否符合预定条件；

如果符合预定条件，则判断所述第一表中的所有字段的名称与所述预定表中所有字段的名称相同的比例；

如果所述第一表中与所述预定表中字段名称相同的比例超过阈值，则所述第一表和所述预定表为主从表。

4.根据权利要求3所述的方法，其特征在于，判断所述第一表的表名称和所述预定表的表名称的相似度是否符合预定条件包括：

判断所述第一表的表名称是否为所述预定表的表名称的一部分，或者，所述预定表的表名称是所述第一表的表名称的一部分，如果判断结果为是，则所述第一表的表名称和所述预定表的表名称的相似度符合预定条件。

5.一种基于主从表的数据分类分级系统，其特征在于，包括：

第一获取模块，用于获取对数据库中的预定表中的数据进行分类分级之后得到的分类分级结果，其中，所述分类分级结果用于指示所述预定表中的每个字段下的数据所属的类别和等级；

第二获取模块，用于获取待进行数据分类分级的第一表；

判断模块，用于判断所述第一表与所述预定表是否为主从表的关系；

复用模块，用于在所述第一表和所述预定表为主从表的关系的情况下，将所述预定表的分类分级结果复用到所述第一表中，其中，复用到所述第一表包括：对于所述第一表与所述预定表中相同字段下的数据，按照所述预定表的分类分级结果对所述第一表中相同字段下的数据进行数据分类分级。

6.根据权利要求5所述的系统，其特征在于，所述判断模块用于：

获取所述第一表和所述预定表的表信息，其中，所述表信息包括以下至少之一：表名称，表中包括的字段名称；

根据所述第一表和所述预定表的表信息判断所述第一表与所述预定表是否为主从表。

7.根据权利要求6所述的系统，其特征在于，所述判断模块用于：

判断所述第一表的表名称和所述预定表的表名称的相似度是否符合预定条件；

如果符合预定条件，则判断所述第一表中的所有字段的名称与所述预定表中所有字段的名称相同的比例；

如果所述第一表中与所述预定表中字段名称相同的比例超过阈值，则所述第一表和所述预定表为主从表。

8.根据权利要求7所述的系统，其特征在于，所述判断模块用于：

判断所述第一表的表名称是否为所述预定表的表名称的一部分，或者，所述预定表的表名称是所述第一表的表名称的一部分，如果判断结果为是，则所述第一表的表名称和所述预定表的表名称的相似度符合预定条件。

9.一种存储器，其特征在于，用于存储软件，所述软件用于执行权利要求1至4中任一项所述的方法。

10.一种处理器，其特征在于，用于运行软件，所述软件用于执行权利要求1至4中任一项所述的方法。

Images