CN118036070A - 一种数据脱敏方法、装置、设备和可读存储介质 - Google Patents

Abstract

本发明涉及一种数据脱敏方法、装置、设备和可读存储介质，可应用于网络安全领域或金融领域，可以根据用户设定的切分规则将待脱敏数据源切分为各个处理单元集合。然后基于用户设定的处理等级将各个处理单元集合存储至对应等级的等待处理队列中。当线程池中存在空闲线程时，只会从最高等级的等待队列中依次提取处理单元集合进行数据脱敏处理，其他等级的等待队列中的处理单元集合等待时间超过用户设定的阈值时，将自动提升优先级，即从低一级的队列中取出插入到高一级队列中。可根据用户的需求动态调整等待队列的优先级和动态处理单元的切分，能够在满足不同紧急程度的脱敏数据处理的同时，能够更加充分利用计算资源，减少资源的浪费。

Description

一种数据脱敏方法、装置、设备和可读存储介质

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据脱敏方法、装置、设备和可读存储介质。

背景技术

数据脱敏指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。这样就可以在开发、测试等生产环境以及外包环境中安全地使用脱敏后的真实数据集。现有的数据脱敏通常利用线程池对数据进行脱敏，在执行数据脱敏的操作时就已经规划好需要使用的资源如线程数、CPU、内存等资源，按照既定的规划执行脱敏。并不会考虑需脱敏的数据的大小、是否紧急等情况的影响，易造成资源利用率低、耽误紧急事务处理的情况发生，使得数据脱敏效率低。

发明内容

本发明提供了一种数据脱敏方法、装置、设备和可读存储介质，可以提高资源利用效率，满足用户处理需求。

为实现上述目的，本发明提供如下技术方案：

根据本发明具体实施方式提供的一种数据脱敏方法，包括：

按照预设切分规则对待脱敏数据源的每个组成部分进行切分，得到所述每个组成部分的处理单元集合；

基于预先设定的所述每个组成部分的处理等级，将每个处理单元集合存放至相应等级的等待队列中；

当线程池存在空闲线程时，从最高等级的等待队列中按照处理顺序提取相应的处理单元集合中的处理单元进行脱敏处理；

对第一目标等级的等待队列中的目标处理单元集合，当等待脱敏的时长不小于相应的预设时长时，将所述目标处理单元集合移动至第二目标等级的等待队列中，所述目标处理单元集合为所述第一目标等级的等待队列中的任一处理单元集合，所述第二目标等级的等待队列为和所述第一目标等级的等待队列相邻且等级高于所述第一目标等级的等待队列，所述第一目标等级的等待队列为除所述最高等级的等待队列外的其他任一等级的等待队列。

进一步地，所述数据脱敏方法还包括：

当所述最高等级的等待队列中所述相应的处理单元集合的所有处理单元脱敏处理完成后，将所述相应的处理单元集合写入对应的脱敏目的。

进一步地，所述当所述最高等级的等待队列中所述相应的处理单元集合的所有处理单元脱敏处理完成后，将所述相应的处理单元集合写入对应的脱敏目的，包括：

当所述相应的处理单元集合中仅包含一个处理单元时，则直接写入对应的脱敏目的；

当所述相应的处理单元集合中包含的处理单元不少于两个时，则将所有处理单元脱敏完成后按照脱敏顺序合并后，写入对应的脱敏目的。

进一步地，当所述待脱敏数据源中包括文件时，所述按照预设切分规则对待脱敏数据源的每个组成部分进行切分，得到所述每个组成部分的处理单元集合，包括：

基于预设切片阈值以及行记录的固定值对每个文件进行切分，得到所述每个文件的处理单元集合。

进一步地，当所述待脱敏数据源中包括数据库中的表格时，所述按照预设切分规则对待脱敏数据源的每个组成部分进行切分，得到所述每个组成部分的处理单元集合，包括：

基于表格地址、起始地址和行记录的固定值对数据库进行切分，得到所述数据库的处理单元集合。

进一步地，所述对第一目标等级的等待队列中的目标处理单元集合，当等待脱敏的时长不小于相应的预设时长时，将所述目标处理单元集合移动至第二目标等级的等待队列中，包括：

当等待脱敏的时长不小于相应的预设时长时，将所述目标处理单元集合移动至第二目标等级的等待队列的队尾。

进一步地，所述数据脱敏方法还包括：

对所述第一目标等级的等待队列中的目标处理单元集合，当等待脱敏的时长小于相应的预设时长时且队列头部的处理单元集合已经移动至第二目标等级的等待队列中，则将所述目标处理单元集合依次向头部移动。

根据本发明具体实施方式提供的一种数据脱敏装置，包括：

数据切分模块，用于按照预设切分规则对待脱敏数据源的每个组成部分进行切分，得到所述每个组成部分的处理单元集合；

队列生成模块，用于基于预先设定的所述每个组成部分的处理等级，将每个处理单元集合存放至相应等级的等待队列中；

脱敏处理模块，用于当线程池存在空闲线程时，从最高等级的等待队列中按照处理顺序提取相应的处理单元集合中的处理单元进行脱敏处理；以及

数据移动模块，用于对第一目标等级的等待队列中的目标处理单元集合，当等待脱敏的时长不小于相应的预设时长时，将所述目标处理单元集合移动至第二目标等级的等待队列中，所述目标处理单元集合为所述第一目标等级的等待队列中的任一处理单元集合，所述第二目标等级的等待队列为和所述第一目标等级的等待队列相邻且等级高于所述第一目标等级的等待队列，所述第一目标等级的等待队列为除所述最高等级的等待队列外的其他任一等级的等待队列。

根据本发明具体实施方式提供的一种设备，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现如上所述的数据脱敏方法的各个步骤。

根据本发明具体实施方式提供的一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的数据脱敏方法的各个步骤。

由以上技术方案可以看出，本发明中公开的数据脱敏方法，可以根据用户设定的切分规则将待脱敏数据源切分为各个处理单元集合。然后基于用户设定的处理等级将各个处理单元集合存储至对应等级的等待处理队列中。当线程池中存在空闲线程时，只会从最高等级的等待队列中依次提取处理单元集合进行数据脱敏处理，其他等级的等待队列中的处理单元集合等待时间超过用户设定的阈值时，将自动提升优先级，即从低一级的队列中取出插入到高一级队列中。可根据用户的需求动态调整等待队列的优先级和动态处理单元的切分，能够在满足不同紧急程度的脱敏数据处理的同时，能够更加充分利用计算资源，减少资源的浪费，并保证脱敏任务在规定的时间完成。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的数据脱敏方法的流程图；

图2为本发明实施例提供的数据脱敏装置的结构图；

图3为本发明实施例提供的设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1所述，本发明的实施例提供了一种数据脱敏方法，该方法可以包括以下步骤：

101、按照预设切分规则对待脱敏数据源的每个组成部分进行切分，得到每个组成部分的处理单元集合。

具体的，对于不同的待脱敏数据源可采用不同的切分方式进行切分，可根据待脱敏数据源中的最小处理单元和预设切分阈值进行切分。例如，对于文件类待脱敏数据源，可根据包含的文件个数，大小等，对超过用户设定的切片阈值的文件进行逻辑上的切片，而不是物理上的切分，而是在识别出最小处理单元后，根据切分阈值对文件进行逻辑上的切分，可根据文件地址、起始位置(单位可为字节)、大小(单位为字节)进行切分。例如用户设定切分阈值为128MB，每个文件处理单元包含完整的行记录，意味着会取128MB之前(含)的一条完整行记录，行记录假设是固定值10MB(非固定值按实际每条行记录的情况)即进行数据脱敏的最小处理单元为10MB。例如待脱敏数据源中有两个文件，分别是A文件100MB、B文件200MB，则会有3条文件处理单元信息，分别为【A文件地址,0,100MB】、【B文件地址,0,120MB】、【B文件地址,120MB,200MB】)。

而对于数据库类的带脱敏数据源，则可根据数据库中的处理单元所包含的库表地址、记录起始位置以及记录数进行切分。可采用和上述文件类脱敏数据源相类似的切分方式进行切分，在此不再赘述。

可以理解的是，本领域技术人员还可根据实际应用的需要进行其他形式的切分，在此不做限制。

102、基于预先设定的每个组成部分的处理等级，将每个处理单元集合存放至相应等级的等待队列中。

用户可根据实际数据脱敏的紧急程度，对切分完成的每个处理单元构成的集合，按照设定好的处理等级进行存储，形成按脱敏操作先后顺序不同优先级的等待队列。例如可按高、中、低三种优先级将各个处理单元集合进行划分。

可以理解的是，本领域技术人员可根据实际应用的需要对处理等级的划分进行修改，在此不做限制。

103、当线程池存在空闲线程时，从最高等级的等待队列中按照处理顺序提取相应的处理单元集合中的处理单元进行脱敏处理。

具体的，可根据用户提前设定好的进行数据脱敏的处理规则，如脱敏算法、算法参数、脱敏目的等对划分好的等待队列，依据等级顺序进行数据脱敏的处理。其中当线程池中存在空闲的线程时，优先对高等级的等待队列中的处理单元集合进行数据脱敏处理。

104、对第一目标等级的等待队列中的目标处理单元集合，当等待脱敏的时长不小于相应的预设时长时，将目标处理单元集合移动至第二目标等级的等待队列中，目标处理单元集合为第一目标等级的等待队列中的任一处理单元集合，第二目标等级的等待队列为和第一目标等级的等待队列相邻且等级高于第一目标等级的等待队列，第一目标等级的等待队列为除最高等级的等待队列外的其他任一等级的等待队列。

具体的，可对除最高等级外的其他等待队列进行等级的动态调整。当中、低等级的等待队列中的处理单元等待处理的时间达到用户数设定时间后，可自动提升至上一等级的等待队列中，即从低一等级的等待队列中取出插入到高一等级的等待队列的队尾中。

该数据脱敏方法可根据用户的设定对待脱敏数据的优先级、处理单元的切分进行动态的调整，实现根据用户的需要对数据进行动态脱敏，在满足用户脱敏需求的同时，减少资源的浪费，并且尽可能保证脱敏任务在规定的时间完成，提高了数据脱敏效率。

为进一步地优化该技术方案，方便用户对脱敏目的分类和查看，在本发明的一些具体实施例中，该数据脱敏方法还可包括以下步骤：

当最高等级的等待队列中相应的处理单元集合的所有处理单元脱敏处理完成后，将相应的处理单元集合写入对应的脱敏目的。

具体的，当相应的处理单元集合中仅包含一个处理单元时，则直接写入对应的脱敏目的。

当相应的处理单元集合中包含的处理单元不少于两个时，则将所有处理单元脱敏完成后按照脱敏顺序合并后，写入对应的脱敏目的。

在进行脱敏目的的划分时，可根据包含的处理单元的数量进行划分，即当未对文件进行切分处理单元集合中仅包含一个处理单元时，可直接写入到脱敏目的。当进行了切分，处理单元集合中包含多个处理单元时，则可先将脱敏处理后的处理单元放到临时位置，待最后一个切片执行完成后，将所有切片脱敏的数据按顺序合并到脱敏目的。

作为上述步骤104可行的实现方式，在本发明的另一些具体实施例中，对第一目标等级的等待队列中的目标处理单元集合，当等待脱敏的时长不小于相应的预设时长时，将目标处理单元集合移动至第二目标等级的等待队列中，可具体包括：

当等待脱敏的时长不小于相应的预设时长时，将目标处理单元集合移动至第二目标等级的等待队列的队尾。

对第一目标等级的等待队列中的目标处理单元集合，当等待脱敏的时长小于相应的预设时长时且队列头部的处理单元集合已经移动至第二目标等级的等待队列中，则将目标处理单元集合依次向头部移动。

具体的，最高等级的等待队列在进行数据脱敏时，每次从队列的队首取出一个处理单元集合，然后其余的处理单元集合依次向前移动一个位置。当低一等级的等待队列中的队首的处理单元集合需要调整时，可插入到最高等级的等待队列的队尾。同理对于除最高等级外的其他等级的等待队列，队列内的移动方式均相同。从而当中、低优先级等待队列中的处理单元的等待时间超过用户设定阈值时，将自动提升优先级，即从低一级的队列中取出插入到高一级队列的队尾。

基于同样的设计思路，参照图2所示，本发明的实施例还提供了一种数据脱敏装置，该装置在运行时可实现上述数据脱敏方法的各个步骤，该装置可以包括：

数据切分模块201，用于按照预设切分规则对待脱敏数据源的每个组成部分进行切分，得到每个组成部分的处理单元集合。

队列生成模块202，用于基于预先设定的每个组成部分的处理等级，将每个处理单元集合存放至相应等级的等待队列中。

脱敏处理模块203，用于当线程池存在空闲线程时，从最高等级的等待队列中按照处理顺序提取相应的处理单元集合中的处理单元进行脱敏处理。以及

数据移动模块204，用于对第一目标等级的等待队列中的目标处理单元集合，当等待脱敏的时长不小于相应的预设时长时，将目标处理单元集合移动至第二目标等级的等待队列中，目标处理单元集合为第一目标等级的等待队列中的任一处理单元集合，第二目标等级的等待队列为和第一目标等级的等待队列相邻且等级高于第一目标等级的等待队列，第一目标等级的等待队列为除最高等级的等待队列外的其他任一等级的等待队列。

进一步地，数据移动模块204还用于当最高等级的等待队列中相应的处理单元集合的所有处理单元脱敏处理完成后，将相应的处理单元集合写入对应的脱敏目的。

进一步地，数据移动模块204还具体用于当相应的处理单元集合中仅包含一个处理单元时，则直接写入对应的脱敏目的。

当相应的处理单元集合中包含的处理单元不少于两个时，则将所有处理单元脱敏完成后按照脱敏顺序合并后，写入对应的脱敏目的。

进一步地，数据切分模块201具体用于基于预设切片阈值以及行记录的固定值对每个文件进行切分，得到每个文件的处理单元集合。

进一步地，数据切分模块201具体用于基于表格地址、起始地址和行记录的固定值对数据库进行切分，得到数据库的处理单元集合。

进一步地，数据移动模块204还具体用于当等待脱敏的时长不小于相应的预设时长时，将目标处理单元集合移动至第二目标等级的等待队列的队尾。

进一步地，数据移动模块204还具体用于对第一目标等级的等待队列中的目标处理单元集合，当等待脱敏的时长小于相应的预设时长时且队列头部的处理单元集合已经移动至第二目标等级的等待队列中，则将目标处理单元集合依次向头部移动。

参照图3所示，本发明的实施例还提供了一种设备，该设备可以包括：存储器301和处理器302。

存储器301，用于存储程序。

处理器302，用于执行该程序，实现如上实施例所述的数据脱敏方法的各个步骤。

本发明的实施例还提供了一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如上所述的数据脱敏方法的各个步骤。

需要说明的是，本发明提供的数据脱敏方法、装置、设备和可读存储介质可用于网络安全领域或金融领域。上述仅为示例，并不对本发明提供的数据脱敏方法、装置、设备和可读存储介质的应用领域进行限定。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，各实施例中记载的技术特征可以进行替换或者组合。

本发明各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。

本发明所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种数据脱敏方法，其特征在于，包括：

按照预设切分规则对待脱敏数据源的每个组成部分进行切分，得到所述每个组成部分的处理单元集合；

基于预先设定的所述每个组成部分的处理等级，将每个处理单元集合存放至相应等级的等待队列中；

当线程池存在空闲线程时，从最高等级的等待队列中按照处理顺序提取相应的处理单元集合中的处理单元进行脱敏处理；

对第一目标等级的等待队列中的目标处理单元集合，当等待脱敏的时长不小于相应的预设时长时，将所述目标处理单元集合移动至第二目标等级的等待队列中，所述目标处理单元集合为所述第一目标等级的等待队列中的任一处理单元集合，所述第二目标等级的等待队列为和所述第一目标等级的等待队列相邻且等级高于所述第一目标等级的等待队列，所述第一目标等级的等待队列为除所述最高等级的等待队列外的其他任一等级的等待队列。

2.根据权利要求1所述的方法，其特征在于，还包括：

当所述最高等级的等待队列中所述相应的处理单元集合的所有处理单元脱敏处理完成后，将所述相应的处理单元集合写入对应的脱敏目的。

3.根据权利要求2所述的方法，其特征在于，所述当所述最高等级的等待队列中所述相应的处理单元集合的所有处理单元脱敏处理完成后，将所述相应的处理单元集合写入对应的脱敏目的，包括：

当所述相应的处理单元集合中仅包含一个处理单元时，则直接写入对应的脱敏目的；

当所述相应的处理单元集合中包含的处理单元不少于两个时，则将所有处理单元脱敏完成后按照脱敏顺序合并后，写入对应的脱敏目的。

4.根据权利要求1所述的方法，其特征在于，当所述待脱敏数据源中包括文件时，所述按照预设切分规则对待脱敏数据源的每个组成部分进行切分，得到所述每个组成部分的处理单元集合，包括：

基于预设切片阈值以及行记录的固定值对每个文件进行切分，得到所述每个文件的处理单元集合。

5.根据权利要求1所述的方法，其特征在于，当所述待脱敏数据源中包括数据库中的表格时，所述按照预设切分规则对待脱敏数据源的每个组成部分进行切分，得到所述每个组成部分的处理单元集合，包括：

基于表格地址、起始地址和行记录的固定值对数据库进行切分，得到所述数据库的处理单元集合。

6.根据权利要求1所述的方法，其特征在于，所述对第一目标等级的等待队列中的目标处理单元集合，当等待脱敏的时长不小于相应的预设时长时，将所述目标处理单元集合移动至第二目标等级的等待队列中，包括：

当等待脱敏的时长不小于相应的预设时长时，将所述目标处理单元集合移动至第二目标等级的等待队列的队尾。

7.根据权利要求6所述的方法，其特征在于，还包括：

对所述第一目标等级的等待队列中的目标处理单元集合，当等待脱敏的时长小于相应的预设时长时且队列头部的处理单元集合已经移动至第二目标等级的等待队列中，则将所述目标处理单元集合依次向头部移动。

8.一种数据脱敏装置，其特征在于，包括：

数据切分模块，用于按照预设切分规则对待脱敏数据源的每个组成部分进行切分，得到所述每个组成部分的处理单元集合；

队列生成模块，用于基于预先设定的所述每个组成部分的处理等级，将每个处理单元集合存放至相应等级的等待队列中；

脱敏处理模块，用于当线程池存在空闲线程时，从最高等级的等待队列中按照处理顺序提取相应的处理单元集合中的处理单元进行脱敏处理；以及

数据移动模块，用于对第一目标等级的等待队列中的目标处理单元集合，当等待脱敏的时长不小于相应的预设时长时，将所述目标处理单元集合移动至第二目标等级的等待队列中，所述目标处理单元集合为所述第一目标等级的等待队列中的任一处理单元集合，所述第二目标等级的等待队列为和所述第一目标等级的等待队列相邻且等级高于所述第一目标等级的等待队列，所述第一目标等级的等待队列为除所述最高等级的等待队列外的其他任一等级的等待队列。

9.一种设备，其特征在于，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现如权利要求1至7中任一项所述的数据脱敏方法的各个步骤。

10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的数据脱敏方法的各个步骤。