CN113742758A - 基于中台的数据集权限管控方法、系统及存储介质 - Google Patents

Abstract

本发明提供一种基于中台的数据集权限管控方法、系统及存储介质，包括：中台对接收到的数据源进行镜像处理得到多个数据源，对多个数据源分别处理得到多个不同的数据集；根据每个数据集的特定维度确定每个数据集的数据范围；根据数据转换方向确定两个数据集分别为父类数据集和子一类数据集；生成与该数据集对应的异类数据集；将异类数据集归类为子二类数据集；生成数据转换策略和比对策略并存储，基于父类数据集、数据转换策略和比对策略分别生成子一类接口和子二类接口；将子一权限范围和子二权限范围分别与子一类接口和子二类接口对应设置，基于父类数据集生成父类接口，将父类权限范围分别与父类接口、子一类接口和子二类接口对应设置。

Description

基于中台的数据集权限管控方法、系统及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于中台的数据集权限管控方法、系统及存储介质。

背景技术

随着企业系统的不断完善和对信息化安全提出更高要求，以往接口级权限功能，不再满足业务发展的新形态。对权限安全提出了更细颗粒度需求，需要依据用户身份授予不同权限，以达到强管控的安全目标。

虽然数据级权限不是新的名词，大量的系统服务都有对其实现，但往往都是具有很强的业务性质，导致不能抽象作为一个基础服务或者技术中台能力被共享共用，同时，如果最初未对数据权限进行考虑的系统服务，若后期需修改且可能存在较高的修改成本。国家电网作为大型能源和国民支柱企业，企业安全尤其重要。

对于一些新的数据源，如何对该数据源的数据权限进行安全、快速的管理配置是一个亟需解决的问题。

发明内容

本发明实施例提供一种基于中台的数据集权限管控方法、系统及存储介质，在对源数据进行存储时，能够对源数据进行处理及分布存储，并且能够根据数据集内数据的不同快速为数据集配置相应的接口、权限，使得源数据能够安全存储并且能够快速配置及调取。

本发明实施例的第一方面，提供一种基于中台的数据集权限管控方法，包括：

中台对接收到的数据源进行镜像处理得到多个数据源，对多个数据源分别处理得到多个不同的数据集，其中每个数据集内具有相应的特定数据；

根据每个数据集的特定维度确定每个数据集的数据范围；

若任意两个数据集之间能够按照数据转换策略进行数据转换，则根据数据转换方向确定两个数据集分别为父类数据集和子一类数据集；

若任意两个数据集之间不能够按照数据转换策略进行数据转换，则生成与该数据集对应的异类数据集；

将所述异类数据集与所述父类数据集比对得到差异数据集，若差异数据集中未包括异类数据集中的数据则将所述异类数据集归类为子二类数据集；

生成与所述子一类数据集和子二类数据集对应的数据转换策略和比对策略并存储，基于所述父类数据集、数据转换策略和比对策略分别生成子一类接口和子二类接口，基于所述父类数据集生成父类接口，对所述子一类数据集和子二类数据集中的数据做删除处理；

获取所述子一类数据集、子二类数据集以及父类数据集的子一权限范围、子二权限范围以及父类权限范围，将所述子一权限范围和子二权限范围分别与所述子一类接口和子二类接口对应设置，将所述父类权限范围分别与父类接口、子一类接口和子二类接口对应设置。

可选地，在第一方面的一种可能实现方式中，基于所述父类数据集、数据转换策略和比对策略分别生成子一类接口和子二类接口包括：

分别提取所述父类数据集和数据转换策略的存储地址得到父地址和转换地址，根据所述父地址和转换地址生成所述子一类接口；

分别提取所述父类数据集和比对策略的存储地址得到父地址和比对地址，根据所述父地址和比对地址生成所述子二类接口。

可选地，在第一方面的一种可能实现方式中，中台对接收到的数据源进行镜像处理得到多个数据源，对多个数据源分别处理得到多个不同的数据集，其中每个数据集内具有相应的特定数据包括：

根据敏感预设条件提取所述数据源内的敏感数据，根据所述敏感数据的数据量值确定掩码数量和掩码位置；

基于所述掩码数量和掩码位置对数据源内的敏感数据掩码处理得到相应的第一掩码数据集，根据所述第一掩码数据集 生成子二类数据集；和\或

根据部分预设条件提取所述数据源内的部分数据，基于所述部分数据得到相应的一次部分数据集；

根据敏感预设条件提取所述一次部分数据集内的敏感数据，根据所述敏感数据的数据量值确定掩码数量和掩码位置；

基于所述掩码数量和掩码位置对一次部分数据集内的敏感数据掩码处理得到相应的第二掩码数据集；

基于所述第二掩码数据集生成子三类数据集。

可选地，在第一方面的一种可能实现方式中，根据所述子三类数据集的存储地址生成子三类接口。

可选地，在第一方面的一种可能实现方式中，根据敏感预设条件提取所述一次部分数据集内的敏感数据，根据所述敏感数据的数据量值确定掩码数量和掩码位置包括：

提取所述一次部分数据集内满足预设文本格式的文本信息，确定文本信息内的文本数量；

若所述预设文本格式为文字形式，则通过以下公式计算掩码数量，

其中，

为计算的掩码数量，

为掩码比对数量，

为一次部分数据集内的敏感 数据的文本数量，

为先前存储的一次部分数据集中第k个文本信息的掩码数量，

为先 前存储的一次部分数据集中第i个文本信息的文本数量，

为第h种文字形式的预设权重 值，

为第h种文字形式的预设比例值；

基于所述文字形式的种类确定所述掩码位置为前置位、中置位或后置位中的任意一种。

可选地，在第一方面的一种可能实现方式中，接收用户对h种文字形式的文本信息输入的掩码数量修正值，基于所述掩码数量修正值通过以下公式对第h种文字形式的预设权重值修正，

其中，

为掩码数量修正值，

为修正后的预设权重值，

为修正增加权重，

为修正减少权重。

可选地，在第一方面的一种可能实现方式中，若任意两个数据集之间能够按照数据转换策略进行数据转换，则根据数据转换方向确定两个数据集分别为父类数据集和子一类数据集包括：

遍历所有数据转换策略依次对每一个数据集进行数据转换得到转换后的数据集，将转换后的数据集与其他未转换的数据集比对；

若存在转换后的数据集与其他未转换的数据集相同，则将转换后的数据集作为父类数据集，转换前的数据集作为子一类数据集；

若任意两个数据集之间不能够按照数据转换策略进行数据转换，则生成与该数据集对应的异类数据集包括：

遍历所有数据转换策略依次对其中一个数据集进行数据转换得到转换后的数据集，将转换后的数据集与其他未转换的数据集比对；

若转换后的数据集不与其他数据集相同，则基于该数据集得到异类数据集。

可选地，在第一方面的一种可能实现方式中，还包括：

获取用户的历史操作数据，所述历史操作数据包括数据查询频率和数据查询的持续时间；

通过以下公式计算子一类数据集或子二类数据集的处理负荷，

其中，

为子一类数据集或子二类数据集的处理负荷，

为子一类数据集或子 二类数据集的数据量，

为处理装置的处理效率，

为处理装置的缓存空间，T为天数值，

为第x天的查询次数，Z为数据查询次数，

为第o次数据查询的持续时间；

若所述

大于预设值

，则不删除所述子一类数据集或子二类数据集并将所述 子一类数据集或子二类数据集归类为平类数据集进行存储。

本发明实施例的第二方面，提供一种基于中台的数据集权限管控装置，包括：

镜像模块，用于中台对接收到的数据源进行镜像处理得到多个数据源，对多个数据源分别处理得到多个不同的数据集，其中每个数据集内具有相应的特定数据；

维度确定模块，用于根据每个数据集的特定维度确定每个数据集的数据范围；

判断确定模块，用于当任意两个数据集之间能够按照数据转换策略进行数据转换时，根据数据转换方向确定两个数据集分别为父类数据集和子一类数据集；

判断生成模块，用于当任意两个数据集之间不能够按照数据转换策略进行数据转换时，生成与该数据集对应的异类数据集；

比对模块，用于将所述异类数据集与所述父类数据集比对得到差异数据集，若差异数据集中未包括异类数据集中的数据则将所述异类数据集归类为子二类数据集；

接口生成模块，用于生成与所述子一类数据集和子二类数据集对应的数据转换策略和比对策略并存储，基于所述父类数据集、数据转换策略和比对策略分别生成子一类接口和子二类接口，基于所述父类数据集生成父类接口，对所述子一类数据集和子二类数据集中的数据做删除处理；

对应模块，用于获取所述子一类数据集、子二类数据集以及父类数据集的子一权限范围、子二权限范围以及父类权限范围，将所述子一权限范围和子二权限范围分别与所述子一类接口和子二类接口对应设置，将所述父类权限范围分别与父类接口、子一类接口和子二类接口对应设置。

本发明实施例的第三方面，提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能设计的所述方法。

本发明提供的基于中台的数据集权限管控方法、系统及存储介质，首先对数据源按照不同的策略进行数据处理得到多个数据集，此时的所有数据集是可以满足不同权限的角色能够看到的数据，通过以上方式将数据源化整为零，使得每个权限的角色都能快速看到与其权限范围对应的数据，然后再按照数据转换策略和比对策略进行数据的归类，对部分数据集进行删除，使得本发明在对数据集进行存储时能够降低数据集的存储量，以对接口进行分配的方式辅助角色权限的管理。以上方式，既能够保障各个角色快速的得到其相应权限的数据，也能够降低数据存储量。

本发明在对敏感数据进行处理时，会根据历史行为对掩码数量进行计算，使得掩码既能够对敏感数据集中的敏感内容屏蔽，又能够对部分具有统计意义的内容进行暴露，并且会根据文字形式的种类确定所述掩码位置，对敏感数据集中的敏感内容有目的性、有策略性的屏蔽，方便具有相应角色的工作人员进行数据统计。

本发明会采取主动学习的方式对掩码数量进行确定，当用户认为输出的的掩码数量不符合当前的场景时，可能会输入更符合当前场景的掩码数量修正值，通过掩码数量修正值与所计算的掩码数量进行比对，确定预设权重值的变化趋势，使得修改正后的预设权重值更加的准确，并且在对预设权重值进行修正时，会根据掩码数量的增加或减少的不同采取不同的权重、变化幅度，使得修正后的预设权重值更加的准确，贴合使用场景。

本发明在对多个数据集进行归类时，会判断各个数据集的处理负荷，如果数据集的处理负荷过大则不再对该数据集进行归类，而是直接将该数据集确定为是平类数据集进行存储，进而保障该平类数据集在被调用时不会因为处理时间过长而使调用时间过长，保障具有相应角色的用户对其权限所能看到的数据进行快速、有效的调取。

附图说明

图1为基于中台的数据集权限管控方法的流程图；

图2为中台所包括的两大组件的结构图；

图3为权限配置流程图；

图4为权限接入流程图；

图5为权限拦截流程图；

图6为基于中台的数据集权限管控装置的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。

应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。

取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

本发明提供一种基于中台的数据集权限管控方法，如图1所示，数据集权限管控方法具体包括：

步骤S110、中台对接收到的数据源进行镜像处理得到多个数据源，对多个数据源分别处理得到多个不同的数据集，其中每个数据集内具有相应的特定数据。本发明中所提供的数据集权限管控方法可以是基于中台实现，该中台可以是某个企业的中台。

由于数据都是日新月异所更新的，中台在接收到数据源后首先会对多个数据源进行镜像、复制处理，数据源可以看做是没有经过任何处理的最基础的数据。本发明中的数据源可以看做是某地区的用电数据，例如说是北京市房山区的用电数据。数据源包括了房山区中每一户的用电情况，可以看做是电量值。

每个不同的数据集中会存在不同的数据，通过下面的步骤会对数据源分别处理得到多个不同的数据集进行详细阐述。

步骤S120、根据每个数据集的特定维度确定每个数据集的数据范围。每个数据集中的数据可能都会被进行加工处理，例如说删除部分数据、转换处理部分数据等等。此时例如说房山区包括一个区级统计部门、区级供电单位、多个镇级供电单位，区级供电单位、多个镇级供电单位可以看做是多个角色，区级供电单位对应的权限即为该区内所有户的用电数据，镇级供电单位的权限即能够看到其相应镇的用户的用电数据，该特定维度可以看做是每个数据集所对应的角色的维度，根据不同数据集的角色的维度确定该数据集的数据范围，数据范围可以是某个区的所有户的用电数据，每个镇的所有户的用电数据。镇的所有户的用电数据属于区的所有户的用电数据的子集。

本发明以存在4个数据集为例，数据集1为区级供电单位权限所能够调取、查看的数据，此时数据集1内的数据可以看做是源数据，数据集2为区级统计部门所能够调取、查看的数据，数据集3为第1个镇的镇级供电单位所能够调取、查看的数据，数据集4为第2个镇的镇级供电单位所能够调取、查看的数据。

在一种可能的实际情况中，区级统计部门为外部单位，其具有数据统计的权利和义务，但是敏感数据不能够外泄，区级统计部门的权限所能够看到的数据必须是脱敏后的数据，即数据集2为数据集1中脱敏后的数据。镇级供电单位按照正常的部门职责来说，其只能够查看其所在镇的用电数据，数据集3为数据集1中第1个镇的数据，数据集4为数据集1中第2个镇的数据。

步骤S130、若任意两个数据集之间能够按照数据转换策略进行数据转换，则根据数据转换方向确定两个数据集分别为父类数据集和子一类数据集。

步骤S130具体包括：

遍历所有数据转换策略依次对每一个数据集进行数据转换得到转换后的数据集，将转换后的数据集与其他未转换的数据集比对。数据转换策略可以是预设设置的，例如说数据集2和数据集1之间即存在数据脱敏数据转换策略，即每次得到新的数据源时，为相应数据集2确定相应权限的数据时都会按照数据脱敏数据转换策略进行数据脱敏处理。

若存在转换后的数据集与其他未转换的数据集相同，则将转换后的数据集作为父类数据集，转换前的数据集作为子一类数据集。本发明在得到多个数据集后，会对多个数据集采取反转换的方式，本发明中的反转换可以是一次反转换（即只进行一个步骤的反转换行为），例如说通过一个步骤将脱敏后的数据转换成为脱敏前的数据，本发明会预先设置反转换机制，该反转换机制可以是对被掩码的数据进行保存，在反转换时，将掩码的数据填回至原数据、原文本。当一个数据进行反转换后与其他数据集相同，则证明该数据可以是通过其他数据正转换而来，所以此时会将反转换后的数据集作为父类数据集，转换前的数据作为子类数据集。例如说数据集2可以通过反转换的方式得到数据集1，则数据集1为父类数据集，数据集2为子类数据集。通过以上方式，完成对数据集转换维度上的归类。

步骤S140、若任意两个数据集之间不能够按照数据转换策略进行数据转换，则生成与该数据集对应的异类数据集。例如说，数据集3并不能够通过反转换的形式得到数据集1或其他数据集，即数据集3为异类数据集。

步骤S140具体包括：

遍历所有数据转换策略依次对其中一个数据集进行数据转换得到转换后的数据集，将转换后的数据集与其他未转换的数据集比对。数据转换策略有很多种，例如说对数据进行脱敏、对数据进行翻译等等。数据转换策略是将数据换一种形式进行表达，但是并不会删除、添加数据。

本发明会将一个数据集分别按照多个数据转换策略进行反转换，然后再依次与其他数据集进行比对。使得多个数据集之间比对的更加彻底，不会出现遗漏处理的情况。

若转换后的数据集不与其他数据集相同，则基于该数据集得到异类数据集。在遍历过所有数据转换策、对数据进行反转后，转换后的数据集与其他数据集都不相同，则证明此时并不是直接能够根据其他数据集转换得到，所以此时将该数据集归类为异类数据集，如上例所说的数据集3和数据集4。

步骤S150、将所述异类数据集与所述父类数据集比对得到差异数据集，若差异数据集中未包括异类数据集中的数据则将所述异类数据集归类为子二类数据集。本发明在得到异类数据集后会进行比对的步骤，会将异类数据集与父类数据集比对得到差异数据集，通过比对的方式判断异类数据集中的数据是否被父类数据集全部包含，例如说父类数据集为数据集1，异类数据集为数据集3，数据集1会完全包含数据集3，此时认为数据集3经过数据集1进行一次删除操作即可得到，此时会将数据集3归类为子二类数据集。

步骤S160、生成与所述子一类数据集和子二类数据集对应的数据转换策略和比对策略并存储，基于所述父类数据集、数据转换策略和比对策略分别生成子一类接口和子二类接口，基于所述父类数据集生成父类接口，对所述子一类数据集和子二类数据集中的数据做删除处理。例如说子一类数据集为父类数据集脱敏后的数据，则此时与子一类数据集对应的数据转换策略为脱敏转换策略，该脱敏转换策略可以基于源代码形成，中台会对该源代码形成的脱敏转换策略进行存储。例如说子一类数据集为父类数据集中的部分数据，则此时与子二类数据集对应的数据转换策略为数据比对策略，该数据比对策略可以基于源代码形成，中台会对该源代码形成的数据比对策略进行存储。

其中，步骤S160包括：

分别提取所述父类数据集和数据转换策略的存储地址得到父地址和转换地址，根据所述父地址和转换地址生成所述子一类接口。由于父类数据集在转换为子一类数据集时只需要进行一个步骤的转换即可，父类数据集在转换为子一类数据集时的速度较快，所以本发明在对数据进行存储时，会按照数据的不同情况对数据进行存储， 调取子一类数据集的子一类接口即可以是对应父类数据集的地址和数据转换策略的地址，通过转换策略对父类数据集在线转换成为子一类数据集，避免再对子一类数据集进行存储，降低总数据的存储量。父类接口即可以是对应父类数据集的地址。

分别提取所述父类数据集和比对策略的存储地址得到父地址和比对地址，根据所述父地址和比对地址生成所述子二类接口。由于父类数据集在转换为子二类数据集时只需要进行一个删除步骤即可得到，父类数据集在转换为子二类数据集时的速度较快，所以本发明在对数据进行存储时，会按照数据的不同情况对数据进行存储， 调取子二类数据集的子二类接口即可以是对应父类数据集的地址和数据转换策略的地址，通过转换策略对父类数据集在线转换成为子二类数据集，避免再对子二类数据集进行存储，降低总数据的存储量。

步骤S170、获取所述子一类数据集、子二类数据集以及父类数据集的子一权限范围、子二权限范围以及父类权限范围，将所述子一权限范围和子二权限范围分别与所述子一类接口和子二类接口对应设置，将所述父类权限范围分别与父类接口、子一类接口和子二类接口对应设置。

子一类数据集可以看做是数据集2，子一权限范围可以看做是数据集2对应的角色，该角色例如说区级统计部门。中台在判断区级统计部门对应的角色进行数据访问请求时，会调取相对应的子一类接口。子二类数据集可以看做是数据集3，子二权限范围可以看做是数据集3对应的角色，该角色例如说镇级供电单位。中台在判断相应镇级供电单位对应的角色进行数据访问请求时，会调取相对应的子二类接口。

本发明提供的技术方案，优选的，步骤S110具体包括：

根据敏感预设条件提取所述数据源内的敏感数据，根据所述敏感数据的数据量值确定掩码数量和掩码位置。敏感预设条件包括多个预设文本格式，本发明以手机号和地址举例，例如说一个用电数据集中的用户是通过手机号注册的用电账号，通过该用电账号进行用电的记录，此时本发明会统计到该用户的手机号和该用户的用电地址，例如说用户的手机号为13577689980、地址为北京市房山区韩村河镇韩村河村1区88号。此时，手机号13577689980、地址北京市房山区韩村河镇韩村河村1区88号即为敏感数据，不能够随意外泄。手机号的预设文本格式即为1XXXXXXXXXX,即只要是有1开头的11个连续数字即触发了手机号的预设文本格式，地址的预设文本格式可以是XX市XX区XX镇XX街道/村，当出现市、区、镇、街道/村时，即认为是出发了地址的预设文本格式。

基于所述掩码数量和掩码位置对数据源内的敏感数据掩码处理得到相应的第一掩码数据集，根据所述第一掩码数据集 生成子二类数据集。本发明在得到掩码数量和掩码位置后，会按照掩码数量和掩码位置对敏感数据进行处理，例如说敏感数据手机号13577689980， 掩码数量为5，掩码位置为后置位，则对敏感数据手机号13577689980掩码后的数据即为135776XXXXX。在根据数据源生成数据集时，本发明会根据不同的数据集的数据情况进行不同的处理，例如说数据集2需要脱敏后的数据，则本发明会针对数据集2将数据源的数据进行脱敏处理得到数据集2内的数据。

根据部分预设条件提取所述数据源内的部分数据，基于所述部分数据得到相应的一次部分数据集。可以这样理解，一次部分数据集是中间数据。例如说，存在一个韩村河镇的镇统计所，镇统计所需要该镇的所有脱敏后的用电数据，此时数据源中包括了全区内的所有未脱敏数据，例如说镇统计所对应一个角色权限，该角色权限对应数据集5，数据集5内的数据即为相应镇的脱敏后的数据。部分预设条件即提取韩村河镇的所有户的用电数，提取方式在现有技术中有很多种，本发明不再阐述。此时一次部分数据集内即包括韩村河镇的所有户非脱敏的用电数据。

根据敏感预设条件提取所述一次部分数据集内的敏感数据，根据所述敏感数据的数据量值确定掩码数量和掩码位置。提取一次部分数据集内的敏感数据与上述提取数据源内的敏感数据的方式可以是相同的，本发明不再进行赘述。

基于所述掩码数量和掩码位置对一次部分数据集内的敏感数据掩码处理得到相应的第二掩码数据集。对敏感数据掩码处理得到第二掩码数据集的步骤可以是与得到第一掩码数据集的方式相同。

基于所述第二掩码数据集生成子三类数据集。子三类数据集即为对数据源经过两个或以上的处理步骤得到的数据，本发明在得到子三类数据集后会直接对子三类数据集进行存储。并且，根据所述子三类数据集的存储地址生成子三类接口。子三类接口对应的角色在访问数据集5时，会通过子三类接口直接调取子三类数据集。

本发明不会对子一类数据集和子二类数据集进行存储，但是会对子三类数据集进行存储，因为子三类数据集需要对父类数据经过两次处理才能够得到，两次处理分别包括比对和转换。本发明可以对父类数据进行固定，即将父类数据认为是数据源。所有生成的数据集都与数据源比对，判断其是子一类数据集、子二类数据集或者是子三类数据集。

其中，根据敏感预设条件提取所述一次部分数据集内的敏感数据，根据所述敏感数据的数据量值确定掩码数量和掩码位置具体包括：

提取所述一次部分数据集内满足预设文本格式的文本信息，确定文本信息内的文本数量。例如说预设文本格式为手机号，文本信息即为13577689980，文本数量即为11。

若所述预设文本格式为文字形式，则通过以下公式计算掩码数量，

其中，

为计算的掩码数量，

为掩码比对数量，

为一次部分数据集内的敏感 数据的文本数量，

为先前存储的一次部分数据集中第k个文本信息的掩码数量，

为先 前存储的一次部分数据集中第i个文本信息的文本数量，

为第h种文字形式的预设权重 值，

为第h种文字形式的预设比例值。

通过

得到先前行为中掩码的比率，在本发明在每次掩码处理时，会对不同 类型的文本信息的掩码数量进行统计。本发明在对敏感数据进行处理时，会根据历史行为 对掩码数量进行计算，使得掩码的方式既能够对敏感数据集中的敏感内容屏蔽，又能够对 部分具有统计意义的内容进行暴露，并且会根据文字形式的种类确定所述掩码位置，对敏 感数据集中的敏感内容有目的性、有策略性的屏蔽，方便具有相应角色的工作人员进行数 据统计。

例如说地址为北京市房山区韩村河镇韩村河村1区88号，此时为掩码5个，且是对后置位进行掩码，得到掩码后的文本为北京市房山区韩村河镇韩村河村XXXXX。该信息中虽然没有具体到哪一户，但是可以知道该户是属于哪个村儿，可以进行村用电数据的统计。达到既能够对敏感数据集中的敏感内容屏蔽，又能够对部分具有统计意义的内容进行暴露的目的。

基于所述文字形式的种类确定所述掩码位置为前置位、中置位或后置位中的任意一种。前置位、中置位或后置位可以是预先设置的，例如说手机号码设置为中置位，地址设置为后置位等等，可以根据不同的需要进行设定，本发明对于前置位、中置位或后置位的设定方式不做限定。

在一个可能的实施方式中，接收用户对h种文字形式的文本信息输入的掩码数量修正值，基于所述掩码数量修正值通过以下公式对第h种文字形式的预设权重值修正，

其中，

为掩码数量修正值，

为修正后的预设权重值，

修正增加权重，

修 正减少权重。

为限定条件，避免出现过拟合的情况。

本发明会采取主动学习的方式对掩码数量进行确定，当用户认为输出的的掩码数 量不符合当前的场景时，可能会输入更符合当前场景的掩码数量修正值，通过掩码数量修 正值与所计算的掩码数量进行比对，通过

确定预设权重值的变化趋势，使得修改正 后的预设权重值更加的准确，并且在对预设权重值进行修正时，会根据增加或减少的不同 采取不同的权重、变化幅度，使得修正后的预设权重值更加的准确，贴合使用场景。

在一个可能的实施方式中，本发明还包括：

获取用户的历史操作数据，所述历史操作数据包括数据查询频率和数据查询的持续时间；

通过以下公式计算子一类数据集或子二类数据集的处理负荷，

其中，

为子一类数据集或子二类数据集的处理负荷，

为子一类数据集或子 二类数据集的数据量，

为处理装置的处理效率，

为处理装置的缓存空间，T为天数值，

为第x天的查询次数，Z为数据查询次数，

为第o次数据查询的持续时间。

通过

可以得到本发明提供的中台在实际使用过程中每天的数据查询频 率，以及通过

可以得到本发明提供的中台在实际使用过程中每次查询时的占用时 间。由于不同的公司会使用不同配置的中台，所以本发明会获取中台的处理单元的处理效 率和缓存空间，处理效率可以是CPU的频率，缓存空间可以是CPU的缓存空间。本发明在计算 子一类数据集或子二类数据集时的处理负荷时，不仅会考虑子一类数据集或子二类数据集 的数据量，还会考虑中台的性能，避免在生成子一类数据集或子二类数据集时中台的负荷 过大而产生崩溃的情况，保障本发明提供的方法在一定并发之下是稳定的。

若所述

大于预设值

，则不删除所述子一类数据集或子二类数据集并将所述 子一类数据集或子二类数据集归类为平类数据集进行存储。当

大于预设值

则，则证 明该子一类数据集或子二类数据集的生成相对于中台的配置负荷较大，所以本发明需要将 该子一类数据集或子二类数据集归类为平类数据集进行存储，将该平类数据集的接口与相 应角色相对应，使得相应角色在访问时，直接通过平类数据集的接口对平类数据集访问。相 应角色可以是上述的区极统计部门、镇级供电单位。

本发明提供的技术方案，可以根据数据量、中台的配置对不同角色所能够访问的数据采取不同的方式进行存储。

本发明在对多个数据集进行归类时，会判断各个数据集的处理负荷，如果数据集的处理负荷过大则不再对该数据集进行归类，而是直接将该数据集确定为是平类数据集进行存储，进而保障该平类数据集在被调用时不会因为处理时间过长而使调用时间过长，保障具有相应角色的用户对其权限所能看到的数据进行快速、有效的调取。

本发明所说的中台，如图2所示，还可以包括以下两大组件：

权限配置中心组件，其是一个在线化的权限配置服务，基于该服务可完成所有权限相关的配置管理操作；

权限接入组件，其由多个处理单元组成，对应于不同的权限接入方法。

如图3所示权限配置流程图，包括以下步骤：

数据源配置，配置需要被权限管理的数据源。

权限配置，按业务需求对不同主体所拥有的数据权限进行配置。主体分为租户、应用、群组、角色、用户五种类型，优先级由低到高，相同类型权限发生冲突时，结合优先级配置选择其中一种权限配置。权限类型分为表级、行级、列级三种，表级属于最粗粒度级别，行级和列级的前提是具有表级权限。行级权限支持根据当前用户、当前群组、当前群组及父群组、当前群组及子群组作为条件控制返回符合的响应。列级权限支持多种脱敏规则，例如：“156****2345”、“葛11”、直接缺省等。配置方式上支持可视化模式及开发者模式，可视化模式可完成简单的配置，开发者模式支持多表关联等复杂的配置。

测试发布，配置完成后可在线测试，通过后可发布并生效配置的策略。

如图4所示权限接入流程图，包括以下步骤：

选择接入方式，各业务系统根据实际需求选择最合适的一种接入方式

SDK调用，该接入方式下业务系统可使用权限配置中心提供的auth-sdk自行实现需要的权限处理。

连接池替换，该接入方式下业务系统需要修改依赖，将数据库连接池替换成权限配置中心提供的auth-pool。

连接地址替换，该接入方式下业务系统需要修改配置，将数据库连接地址替换成权限配置中心提供的auth-proxy地址。

运行时注入，该接入方式下业务系统需求修改启动脚本，使用注入java agent的方式动态注入权限配置中心提供的auth-agent。

如图5所示权限拦截流程图，包括以下步骤：

启动服务，启动对应的服务。

从权限配置中心拉取权限配置信息，服务启动后会定时pull拉取（也可以使用push推送）权限配置中心配置的权限数据并缓存到本地。

数据处理请求，服务在收到数据处理请求后发起后续操作。

全局SQL拦截，通过权限接入组件实现全局的SQL拦截。

SQL AST解析，解析SQL形成抽象语法树。

是否命中拦截配置，通过比对步骤五生成的抽象语法树及步骤二获取到权限配置信息判断本次请求是否需要做权限处理。

修改SQL添加权限过滤SQL片段，如果需要处理权限则根据配置逻辑向请求的SQL中追加权限处理SQL片段。

执行SQL并返回结果，执行对应的SQL并返回结果。

本发明的实施例还提供一种基于中台的数据集权限管控装置，如图6所示，包括：

镜像模块，用于中台对接收到的数据源进行镜像处理得到多个数据源，对多个数据源分别处理得到多个不同的数据集，其中每个数据集内具有相应的特定数据；

维度确定模块，用于根据每个数据集的特定维度确定每个数据集的数据范围；

判断确定模块，用于若任意两个数据集之间能够按照数据转换策略进行数据转换时，根据数据转换方向确定两个数据集分别为父类数据集和子一类数据集；

判断生成模块，用于若任意两个数据集之间不能够按照数据转换策略进行数据转换时，生成与该数据集对应的异类数据集；

比对模块，用于将所述异类数据集与所述父类数据集比对得到差异数据集，若差异数据集中未包括异类数据集中的数据则将所述异类数据集归类为子二类数据集；

接口生成模块，用于生成与所述子一类数据集和子二类数据集对应的数据转换策略和比对策略并存储，基于所述父类数据集、数据转换策略和比对策略分别生成子一类接口和子二类接口，对所述子一类数据集和子二类数据集中的数据做删除处理；

对应模块，用于获取所述子一类数据集、子二类数据集以及父类数据集的子一权限范围、子二权限范围以及父类权限范围，将所述子一权限范围和子二权限范围分别与所述子一类接口和子二类接口对应设置，基于所述父类数据集生成父类接口，将所述父类权限范围分别与父类接口、子一类接口和子二类接口对应设置。

其中，可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(ApplicationSpecific Integrated Circuits，简称：ASIC)中。另外，该ASIC可以位于用户设备中。当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器（ROM）、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。

在上述终端或者服务器的实施例中，应理解，处理器可以是中央处理单元（英文：Central Processing Unit，简称：CPU），还可以是其他通用处理器、数字信号处理器（英文：Digital Signal Processor，简称：DSP）、专用集成电路（英文：Application SpecificIntegrated Circuit，简称：ASIC）等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.基于中台的数据集权限管控方法，其特征在于包括：

中台对接收到的数据源进行镜像处理得到多个数据源，对多个数据源分别处理得到多个不同的数据集，其中每个数据集内具有相应的特定数据；

根据每个数据集的特定维度确定每个数据集的数据范围；

若任意两个数据集之间能够按照数据转换策略进行数据转换，则根据数据转换方向确定两个数据集分别为父类数据集和子一类数据集；

若任意两个数据集之间不能够按照数据转换策略进行数据转换，则生成与该数据集对应的异类数据集；

将所述异类数据集与所述父类数据集比对得到差异数据集，若差异数据集中未包括异类数据集中的数据，则将所述异类数据集归类为子二类数据集；

生成与所述子一类数据集和子二类数据集对应的数据转换策略和比对策略并存储，基于所述父类数据集、数据转换策略和比对策略分别生成子一类接口和子二类接口，基于所述父类数据集生成父类接口，对所述子一类数据集和子二类数据集中的数据做删除处理；

获取所述子一类数据集、子二类数据集以及父类数据集的子一权限范围、子二权限范围以及父类权限范围，将所述子一权限范围和子二权限范围分别与所述子一类接口和子二类接口对应设置，将所述父类权限范围分别与父类接口、子一类接口和子二类接口对应设置。

2.根据权利要求1所述的基于中台的数据集权限管控方法，其特征在于，

基于所述父类数据集、数据转换策略和比对策略分别生成子一类接口和子二类接口包括：

分别提取所述父类数据集和数据转换策略的存储地址得到父地址和转换地址，根据所述父地址和转换地址生成所述子一类接口；

分别提取所述父类数据集和比对策略的存储地址得到父地址和比对地址，根据所述父地址和比对地址生成所述子二类接口。

3.根据权利要求1所述的基于中台的数据集权限管控方法，其特征在于，

中台对接收到的数据源进行镜像处理得到多个数据源，对多个数据源分别处理得到多个不同的数据集，其中每个数据集内具有相应的特定数据包括：

根据敏感预设条件提取所述数据源内的敏感数据，根据数据源内敏感数据的数据量值确定掩码数量和掩码位置；

基于所述掩码数量和掩码位置对数据源内的敏感数据掩码处理得到相应的第一掩码数据集，根据所述第一掩码数据集 生成子二类数据集；和\或

根据部分预设条件提取所述数据源内的部分数据，基于所述部分数据得到相应的一次部分数据集；

根据敏感预设条件提取所述一次部分数据集内的敏感数据，根据一次部分数据集内的敏感数据的数据量值确定掩码数量和掩码位置；

基于所述掩码数量和掩码位置对一次部分数据集内的敏感数据掩码处理得到相应的第二掩码数据集；

基于所述第二掩码数据集生成子三类数据集。

4.根据权利要求3所述的基于中台的数据集权限管控方法，其特征在于，

根据所述子三类数据集的存储地址生成子三类接口。

5.根据权利要求3所述的基于中台的数据集权限管控方法，其特征在于，

根据敏感预设条件提取所述一次部分数据集内的敏感数据，根据所述敏感数据的数据量值确定掩码数量和掩码位置包括：

提取所述一次部分数据集内满足预设文本格式的文本信息，确定文本信息内的文本数量；

若所述预设文本格式为文字形式，则通过以下公式计算掩码数量，

其中，

为计算的掩码数量，

为掩码比对数量，

为一次部分数据集内的敏感数据的文本数量，

为先前存储的一次部分数据集中第k个文本信息的掩码数量，

为先前存储的一次部分数据集中第i个文本信息的文本数量，

为第h种文字形式的预设权重值，

为第h种文字形式的预设比例值；

基于所述文字形式的种类确定所述掩码位置为前置位、中置位或后置位中的任意一种。

6.根据权利要求5所述的基于中台的数据集权限管控方法，其特征在于，

接收用户对h种文字形式的文本信息输入的掩码数量修正值，基于所述掩码数量修正值通过以下公式对第h种文字形式的预设权重值修正，

其中，

为掩码数量修正值，

为修正后的预设权重值，

为修正增加权重，

为修正减少权重。

7.根据权利要求1所述的基于中台的数据集权限管控方法，其特征在于，

若任意两个数据集之间能够按照数据转换策略进行数据转换，则根据数据转换方向确定两个数据集分别为父类数据集和子一类数据集包括：

遍历所有数据转换策略依次对每一个数据集进行数据转换得到转换后的数据集，将转换后的数据集与其他未转换的数据集比对；

若存在转换后的数据集与其他未转换的数据集相同，则将转换后的数据集作为父类数据集，转换前的数据集作为子一类数据集；

若任意两个数据集之间不能够按照数据转换策略进行数据转换，则生成与该数据集对应的异类数据集包括：

遍历所有数据转换策略依次对其中一个数据集进行数据转换得到转换后的数据集，将转换后的数据集与其他未转换的数据集比对；

若转换后的数据集不与其他数据集相同，则基于该数据集得到异类数据集。

8.根据权利要求7所述的基于中台的数据集权限管控方法，其特征在于，还包括：

获取用户的历史操作数据，所述历史操作数据包括数据查询频率和数据查询的持续时间；

通过以下公式计算子一类数据集或子二类数据集的处理负荷，

其中，

为子一类数据集或子二类数据集的处理负荷，

为子一类数据集或子二类数据集的数据量，

为处理装置的处理效率，

为处理装置的缓存空间，T为天数值，

为第x天的查询次数，Z为数据查询次数，

为第o次数据查询的持续时间；

若所述

大于预设值

，则不删除所述子一类数据集或子二类数据集并将所述子一类数据集或子二类数据集归类为平类数据集进行存储。

9.基于中台的数据集权限管控装置，其特征在于，包括：

镜像模块，用于中台对接收到的数据源进行镜像处理得到多个数据源，对多个数据源分别处理得到多个不同的数据集，其中每个数据集内具有相应的特定数据；

维度确定模块，用于根据每个数据集的特定维度确定每个数据集的数据范围；

判断确定模块，用于当任意两个数据集之间能够按照数据转换策略进行数据转换时，根据数据转换方向确定两个数据集分别为父类数据集和子一类数据集；

判断生成模块，用于当任意两个数据集之间不能够按照数据转换策略进行数据转换时，生成与该数据集对应的异类数据集；

比对模块，用于将所述异类数据集与所述父类数据集比对得到差异数据集，若差异数据集中未包括异类数据集中的数据则将所述异类数据集归类为子二类数据集；

接口生成模块，用于生成与所述子一类数据集和子二类数据集对应的数据转换策略和比对策略并存储，基于所述父类数据集、数据转换策略和比对策略分别生成子一类接口和子二类接口，基于所述父类数据集生成父类接口，对所述子一类数据集和子二类数据集中的数据做删除处理；

对应模块，用于获取所述子一类数据集、子二类数据集以及父类数据集的子一权限范围、子二权限范围以及父类权限范围，将所述子一权限范围和子二权限范围分别与所述子一类接口和子二类接口对应设置，将所述父类权限范围分别与父类接口、子一类接口和子二类接口对应设置。

10.存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现权利要求1至8任一所述的方法。

Images