CN114896295A - 大数据场景下的数据脱敏方法、脱敏装置及脱敏系统 - Google Patents
大数据场景下的数据脱敏方法、脱敏装置及脱敏系统 Download PDFInfo
- Publication number
- CN114896295A CN114896295A CN202210814682.4A CN202210814682A CN114896295A CN 114896295 A CN114896295 A CN 114896295A CN 202210814682 A CN202210814682 A CN 202210814682A CN 114896295 A CN114896295 A CN 114896295A
- Authority
- CN
- China
- Prior art keywords
- desensitization
- data
- task
- unit
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000586 desensitisation Methods 0.000 title claims abstract description 320
- 238000000034 method Methods 0.000 title claims abstract description 30
- 229940090898 Desensitizer Drugs 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/24569—Query processing with adaptation to specific hardware, e.g. adapted for using GPUs or SSDs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种大数据场景下的数据脱敏方法、脱敏装置及脱敏系统,其包括:S1、将作业队列中的作业进行切分,以形成若干脱敏任务队列;S2、对所述脱敏任务队列进行调度,以将脱敏任务分配至对应的数据脱敏单元;S3、数据脱敏单元按照脱敏规则对分配的脱敏任务进行数据脱敏。本发明采用自适应脱敏任务队列调度、脱敏任务线程数调度方法进行任务分配以及脱敏线程数调整,以提高脱敏效率,以满足TB级大数据的脱敏需求。
Description
技术领域
本发明涉及数据脱敏技术领域,尤其涉及一种大数据场景下的数据脱敏方法及装置。
背景技术
数据脱敏是对敏感数据(例如:手机号码、姓名、身份证号码、通信地址)通过一定的脱敏规则进行数据转换,实现隐私数据的可靠保护。常规的数据脱敏主要包括如下步骤:(1)从明文来源数据源读取数据;(2)根据脱敏规则进行脱敏转换;(3)写入脱敏后目标数据源。
进一步的,目前在诸多领域已有TB级大数据的脱敏需求,但现有的数据脱敏方法脱敏效能低下,且执行脱敏算法需要消耗大量CPU资源,一旦服务器CPU受限,则无法满足TB级大数据的快速脱敏需求。
发明内容
本发明的目的在于提供一种大数据场景下的数据脱敏方法、脱敏装置及脱敏系统,其采用自适应脱敏任务队列调度、脱敏任务线程数调度方法进行任务分配以及脱敏线程数调整,以提高脱敏效率,以满足TB级大数据的脱敏需求。
为实现上述目的,本申请提供如下技术方案:
一方面,提供了一种大数据场景下的数据脱敏方法,其包括如下步骤:
S1、将作业队列中的作业进行切分,以形成若干脱敏任务队列;
S2、对所述脱敏任务队列进行调度,以将脱敏任务分配至对应的数据脱敏单元;
S3、数据脱敏单元按照脱敏规则对分配的脱敏任务进行数据脱敏。
优选的,所述步骤S2包括如下步骤:
则执行下一步骤S24,否则执行步骤S25;
其中,为当前数据脱敏单元服务器的最大CPU使用率;CoreNum为当前数据脱敏单元服务器的CPU核心数量;Avg(r)为N个数据脱敏单元在预定时间段内一共执行n个脱敏规则时,各数据脱敏单元服务器的CPU平均使用率;r为脱敏规则类型;
S24、将至少一个脱敏任务分配至当前数据脱敏单元;
S25、重复步骤S21-S24,直至将每一脱敏任务分配至对应的数据脱敏单元。
优选的,所述步骤S2中,在将脱敏任务分配至对应的数据脱敏单元后,还包括如下步骤:
则执行下一步骤S24’,否则执行步骤S25’;
S24’、增加当前数据脱敏单元执行当前脱敏任务时的线程数;
S25’、重复步骤S21’-S24’。
优选的,Avg(r)根据下述公式获取:
CPU使用率。
一方面,还提供一种用于实现上述数据脱敏方法的数据脱敏装置,其包括:
Master节点,其用于将作业队列中的作业进行切分,以形成若干脱敏任务队列,以及完
成脱敏任务队列调度和/或脱敏任务线程数调度;
以及若干Worker节点,其用于按照脱敏规则对分配的脱敏任务进行数据脱敏。
优选的,所述Master节点包括:
作业切分单元,其用于将作业队列中的作业进行切分,以形成若干脱敏任务队列;
脱敏任务调度单元,其用于对所述脱敏任务队列进行调度,以将脱敏任务分配至对应的数据脱敏单元;
脱敏任务线程数调度单元,其用于对数据脱敏单元执行脱敏任务时的线程数进行调度。
优选的,所述Master节点还包括:
监测分析器,其用于获取Worker节点的工作运行数据,以及获取N个数据脱敏单元在预
定时间段内一共执行n个脱敏规则时,各数据脱敏单元服务器的CPU平均使用率Avg(r)。
优选的,每一Worker节点包括:
数据抽取器,其用于按照抽取规则从明文数据源中抽取待脱敏数据;
数据脱敏器,其用于获取待脱敏数据,且按照脱敏规则对分配的脱敏任务进行数据脱敏;
以及数据装载器,其用于根据装载规则将脱敏后的数据装载存储至目标数据源。
优选的,所述Master节点与Worker节点为分布式集群架构。
另一方面,还提供一种数据脱敏系统,其包括:明文数据源、上述数据脱敏装置以及目标数据源。
综上所述,本发明与现有技术相比具有以下有益效果:
本发明针对TB级大数据场景下的数据特征和脱敏作业特点,对脱敏作业进行作业切分,进一步采用独特的自适应脱敏任务队列调度、脱敏任务线程数调度方法进行任务分配以及脱敏线程数调整,同时结合分布式集群架构设计以及多线程处理方式进行数据脱敏,其有助于提高单节点CPU使用率,提高脱敏效率,以满足TB级大数据的脱敏需求。
附图说明
图1为本发明中大数据场景下的数据脱敏方法的步骤流程图;
图2为本发明中将作业队列中的作业进行切分的示意图;
图3为本发明中对脱敏任务队列进行调度的步骤流程图;
图4为本发明中对脱敏线程数进行调度的步骤流程图;
图5为本发明中数据脱敏装置的结构示意图;
图6为本发明中Master节点、Worker节点的结构示意图;
图7为本发明中数据脱敏系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
如图1所示,本实施例提供了一种大数据场景下的数据脱敏方法,其包括如下步骤:
S1、将作业队列中的作业进行切分,以形成若干脱敏任务队列;
例如,如图2所示,作业队列中可包含若干个待处理的作业Job1、Job2...Job9,然后对其中某一个作业进行切分,以形成若干脱敏任务队列,如将作业Job1切分为6个脱敏任务队列Task1-Task6,将作业Job2切分为3个脱敏任务队列Task7-Task9等;
进行切分的规则可根据实际脱敏需求设置,如本实施例中,是按照数据键值[startRowkey,endRowkey]对作业进行切分;
S2、对所述脱敏任务队列进行调度,以将脱敏任务分配至对应的数据脱敏单元(即图2在的Worker节点);
S3、数据脱敏单元按照脱敏规则对分配的脱敏任务进行数据脱敏,并且脱敏后的数据装载存储至目标数据源,本实施例中,每一数据脱敏单元可同时执行多种脱敏规则、同时执行多个脱敏任务,且每一数据脱敏单元配备至少一台服务器,以支持该数据脱敏单元完成脱敏任务。
具体的,如图3所示,所述步骤S2包括如下步骤:
则执行下一步骤S24,否则执行步骤S25;
其中,为当前数据脱敏单元服务器的最大CPU使用率;CoreNum为当前数据脱敏单元服务器的CPU核心数量;Avg(r)为N个数据脱敏单元在预定时间段内(如1分钟内)一共执行n个脱敏规则时,各数据脱敏单元服务器的CPU平均使用率,其中3≤N≤10,且N为正整数;r为脱敏规则类型,例如电话号码脱敏、身份证号码脱敏等;
进一步的,Avg(r)根据下述公式获取:
S24、将至少一个脱敏任务分配至当前数据脱敏单元;
S25、重复步骤S21-S24,直至将每一脱敏任务分配至对应的数据脱敏单元。
对于数据脱敏单元而言,其对应的服务器最大CPU使用率、服务器CPU核心数越大,数据脱敏单元执行脱敏任务数、服务器负载和服务器CPU平均使用率越小,该数据脱敏单元更容易被分配脱敏任务。由此,上述步骤S2可通过对服务器负载、服务器CPU核心数、执行脱敏任务数、CPU平均使用率以及最大CPU使用率进行综合考虑,以制定合理的脱敏任务分配策略,如仅在服务器负载不高、执行脱敏任务数较少、CPU平均使用率较低、服务器CPU核心数较多的情形下,才对相应的数据脱敏单元分配脱敏任务,以实现脱敏任务的合理分配,使各数据脱敏单元可并行处理脱敏任务,以充分利用CPU资源,最大限度提高脱敏效率,以满足TB级大数据的脱敏需求。
实施例2:
本实施例与实施例1的不同之处仅在于,如图3所示,所述步骤S2中,在将脱敏任务分配至对应的数据脱敏单元后,还包括如下步骤:
S23’、获取当前数据脱敏单元服务器的CPU使用率C,且若该CPU使用率C满足
则执行下一步骤S24’,否则执行步骤S25’;
其中,各参数的含义与步骤S23相同,不再赘述;
S24’、增加当前数据脱敏单元执行当前脱敏任务时的线程数;
S25’、重复步骤S21’-S24’。
对于数据脱敏单元而言,其对应的服务器最大CPU使用率、服务器CPU核心数、最大线程数越大,数据脱敏单元当前脱敏任务线程数、服务器负载和服务器CPU平均使用率越小,该数据脱敏单元更容易增加脱敏线程数。由此,上述步骤可通过对服务器负载、服务器CPU核心数、数据脱敏单元当前脱敏任务线程数、CPU平均使用率以及最大CPU使用率进行综合考虑,以制定合理的脱敏线程增加策略,如仅在服务器负载不高、数据脱敏单元当前脱敏任务线程数较少、CPU平均使用率较低、服务器CPU核心数较多的情形下,才对相应的数据脱敏单元增加脱敏线程,以此提高该数据脱敏单元服务器CPU的使用率,缩短单个脱敏任务的处理时间,进一步提高脱敏效率。
实施例3:
本实施例提供了一种用于实现实施例1或2所述数据脱敏方法的数据脱敏装置,如图5所示,其包括:
Master节点,其用于将作业队列中的作业进行切分,以形成若干脱敏任务队列,以及完成脱敏任务队列调度和/或脱敏任务线程数调度;其中,作业切分方法与步骤S1相同,脱敏任务队列调度方法与实施例1中的步骤S2相同,脱敏任务线程数调度方法与实施例2中的步骤相同,不再赘述;
以及若干Worker节点(每一Worker节点即为一数据脱敏单元),其用于按照脱敏规则对分配的脱敏任务进行数据脱敏。
所述Master节点与Worker节点为分布式集群架构,由此,每个Worker节点之间通过广播通信同步信息,保证集群中各Worker节点节点的协同,且最先加入集群的节点作为Master节点,其它节点作为Worker节点,Master节点退出后,可根据加入时间重新选举Master节点。
具体的,如图6所示,所述Master节点包括:
作业切分单元,其用于将作业队列中的作业进行切分,以形成若干脱敏任务队列,具体方法与步骤S1相同,不再赘述;
脱敏任务调度单元,其用于对所述脱敏任务队列进行调度,以将脱敏任务分配至对应的数据脱敏单元;其中,脱敏任务队列调度方法与实施例1中的步骤S2相同,不再赘述;
脱敏任务线程数调度单元,其用于对数据脱敏单元执行脱敏任务时的线程数进行调度;其中,脱敏任务线程数调度方法与实施例2中的步骤相同,不再赘述;
监测分析器,其用于获取Worker节点的工作运行数据,以及获取N个数据脱敏单元在预定时间段内(如1分钟内)一共执行n个脱敏规则时,各数据脱敏单元服务器的CPU平均使用率Avg(r),且所述工作运行数据包括:当前数据脱敏单元服务器的负载L;当前数据脱敏单元服务器的CPU核心数量CoreNum;当前数据脱敏单元服务器的CPU使用率C。
每一Worker节点包括:
数据抽取器,其用于按照抽取规则从明文数据源中抽取待脱敏数据;具体的,所述明文数据源包括HBase数据库,所述抽取规则包括按照表Tabel、列族ColFamily、列Column、开始行键startRowkey、结束行键endRowkey和并发任务数CurNum中的一项或几项进行待脱敏数据抽取;
数据脱敏器,其用于获取待脱敏数据,且按照脱敏规则对分配的脱敏任务进行数据脱敏;优选的,所述数据脱敏器以多线程方式运行,且使用线程池管理多线程,由此可使得每一数据脱敏单元可同时执行多种脱敏规则、同时执行多个脱敏任务;
以及数据装载器,其用于根据装载规则将脱敏后的数据装载存储至目标数据源;具体的,所述装载规则包括按照表Tabel、分区Partition、列Column、一次性批量提交的记录数Batchcommitsize中的一项或几项进行装载,所述目标数据源包括MySQL数据库。
优选的,数据抽取器和/或数据装载器以单线程方式运行。
由此,每一Worker节点均由数据抽取器、数据脱敏器和数据装载器三个独立模块构成,其中,数据脱敏器作为数据抽取器、数据装载器的数据传输通道,根据脱敏规则在内存中即可完成脱敏转换,整个脱敏过程不再读写磁盘,以大幅提高脱敏效率。
实施例4:
本实施例提供了一种数据脱敏系统,如图7所示,其包括:明文数据源(如HBase数据库)、实施例3所述的数据脱敏装置以及目标数据源(如MySQL数据库)。
具体的,所述明文数据源中存储有待脱敏作业队列;所述数据脱敏装置中的Master节点将作业队列中的作业进行切分,以形成若干脱敏任务队列,并将其将脱敏任务分配至对应的Worker节点,Worker节点中的数据抽取器按照抽取规则从脱敏任务中抽取待脱敏数据,并将其写入第一数据队列(如DataQueueA),数据脱敏器以多线程方式、按照脱敏规则对第一数据队列中的待脱敏数据进行数据脱敏,并将脱敏结果写入第二数据队列(如DataQueueB)中,数据装载器根据装载规则从第二数据队列中读取脱敏后的数据,并装载写入到目标数据源中。
综上所述,本发明针对TB级大数据场景下的数据特征和脱敏作业特点,对脱敏作业进行作业切分,进一步采用独特的自适应脱敏任务队列调度、脱敏任务线程数调度方法进行任务分配以及脱敏线程数调整,同时结合分布式集群架构设计以及多线程处理方式进行数据脱敏,其可以满足适配异构数据源的需求,且达到满足集群整体任务分配均衡和充分利用CPU计算资源的目的,有助于提高单节点CPU使用率,充分利用CPU资源,提高脱敏效率,以满足TB级大数据的脱敏需求。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种大数据场景下的数据脱敏方法,其特征在于,包括如下步骤:
S1、将作业队列中的作业进行切分,以形成若干脱敏任务队列;
S2、对所述脱敏任务队列进行调度,以将脱敏任务分配至对应的数据脱敏单元;
S3、数据脱敏单元按照脱敏规则对分配的脱敏任务进行数据脱敏。
2.如权利要求1所述的数据脱敏方法,其特征在于,所述步骤S2包括如下步骤:
则执行下一步骤S24,否则执行步骤S25;
其中,为当前数据脱敏单元服务器的最大CPU使用率;CoreNum为当前数据脱敏单元服务器的CPU核心数量;Avg(r)为N个数据脱敏单元在预定时间段内一共执行n个脱敏规则时,各数据脱敏单元服务器的CPU平均使用率;r为脱敏规则类型;
S24、将至少一个脱敏任务分配至当前数据脱敏单元;
S25、重复步骤S21-S24,直至将每一脱敏任务分配至对应的数据脱敏单元。
3.如权利要求2所述的数据脱敏方法,其特征在于,所述步骤S2中,在将脱敏任务分配至对应的数据脱敏单元后,还包括如下步骤:
S23’、获取当前数据脱敏单元服务器的CPU使用率C,且若该CPU使用率C满足
则执行下一步骤S24’,否则执行步骤S25’;
S24’、增加当前数据脱敏单元执行当前脱敏任务时的线程数;
S25’、重复步骤S21’-S24’。
5.一种用于实现权利要求4所述数据脱敏方法的数据脱敏装置,其特征在于,包括:
Master节点,其用于将作业队列中的作业进行切分,以形成若干脱敏任务队列,以及完
成脱敏任务队列调度和/或脱敏任务线程数调度;
以及若干Worker节点,其用于按照脱敏规则对分配的脱敏任务进行数据脱敏。
6.如权利要求5所述的数据脱敏装置,其特征在于,所述Master节点包括:
作业切分单元,其用于将作业队列中的作业进行切分,以形成若干脱敏任务队列;
脱敏任务调度单元,其用于对所述脱敏任务队列进行调度,以将脱敏任务分配至对应的数据脱敏单元;
脱敏任务线程数调度单元,其用于对数据脱敏单元执行脱敏任务时的线程数进行调度。
7.如权利要求6所述的数据脱敏装置,其特征在于,所述Master节点还包括:
监测分析器,其用于获取Worker节点的工作运行数据,以及获取N个数据脱敏单元在预
定时间段内一共执行n个脱敏规则时,各数据脱敏单元服务器的CPU平均使用率Avg(r)。
8.如权利要求5所述的数据脱敏装置,其特征在于,每一Worker节点包括:
数据抽取器,其用于按照抽取规则从明文数据源中抽取待脱敏数据;
数据脱敏器,其用于获取待脱敏数据,且按照脱敏规则对分配的脱敏任务进行数据脱敏;
以及数据装载器,其用于根据装载规则将脱敏后的数据装载存储至目标数据源。
9.如权利要求5所述的数据脱敏装置,其特征在于,所述Master节点与Worker节点为分布式集群架构。
10.一种数据脱敏系统,其特征在于,包括:明文数据源、权利要求5-9任一项所述的数据脱敏装置以及目标数据源。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210814682.4A CN114896295B (zh) | 2022-07-12 | 2022-07-12 | 大数据场景下的数据脱敏方法、脱敏装置及脱敏系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210814682.4A CN114896295B (zh) | 2022-07-12 | 2022-07-12 | 大数据场景下的数据脱敏方法、脱敏装置及脱敏系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114896295A true CN114896295A (zh) | 2022-08-12 |
CN114896295B CN114896295B (zh) | 2022-10-04 |
Family
ID=82729779
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210814682.4A Active CN114896295B (zh) | 2022-07-12 | 2022-07-12 | 大数据场景下的数据脱敏方法、脱敏装置及脱敏系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114896295B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116541887B (zh) * | 2023-07-07 | 2023-09-15 | 云启智慧科技有限公司 | 一种大数据平台数据安全保护方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102360310A (zh) * | 2011-09-28 | 2012-02-22 | 中国电子科技集团公司第二十八研究所 | 一种分布式系统环境下的多任务进程监视方法和监视系统 |
US20180239652A1 (en) * | 2017-02-22 | 2018-08-23 | Red Hat Israel, Ltd. | Lightweight thread synchronization using shared memory state |
CN109460676A (zh) * | 2018-10-30 | 2019-03-12 | 全球能源互联网研究院有限公司 | 一种混合数据的脱敏方法、脱敏装置及脱敏设备 |
CN111291403A (zh) * | 2020-01-15 | 2020-06-16 | 上海新炬网络信息技术股份有限公司 | 基于分布式集群的数据脱敏装置 |
CN114546610A (zh) * | 2022-01-17 | 2022-05-27 | 山西省信息通信网络技术保障中心 | 一种海量数据分布式脱敏装置 |
-
2022
- 2022-07-12 CN CN202210814682.4A patent/CN114896295B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102360310A (zh) * | 2011-09-28 | 2012-02-22 | 中国电子科技集团公司第二十八研究所 | 一种分布式系统环境下的多任务进程监视方法和监视系统 |
US20180239652A1 (en) * | 2017-02-22 | 2018-08-23 | Red Hat Israel, Ltd. | Lightweight thread synchronization using shared memory state |
CN109460676A (zh) * | 2018-10-30 | 2019-03-12 | 全球能源互联网研究院有限公司 | 一种混合数据的脱敏方法、脱敏装置及脱敏设备 |
CN111291403A (zh) * | 2020-01-15 | 2020-06-16 | 上海新炬网络信息技术股份有限公司 | 基于分布式集群的数据脱敏装置 |
CN114546610A (zh) * | 2022-01-17 | 2022-05-27 | 山西省信息通信网络技术保障中心 | 一种海量数据分布式脱敏装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116541887B (zh) * | 2023-07-07 | 2023-09-15 | 云启智慧科技有限公司 | 一种大数据平台数据安全保护方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114896295B (zh) | 2022-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106802826B (zh) | 一种基于线程池的业务处理方法及装置 | |
CN108920261B (zh) | 一种适于大规模并行数据处理任务的两级自适应调度方法 | |
CN110287003B (zh) | 资源的管理方法和管理系统 | |
Goel et al. | A comparative study of cpu scheduling algorithms | |
CN102043675B (zh) | 一种基于任务处理请求任务量大小的线程池管理方法 | |
CN110489217A (zh) | 一种任务调度方法及系统 | |
CN102096599A (zh) | 一种多队列任务调度方法及相关系统和设备 | |
CN101923491A (zh) | 多核环境下线程组地址空间调度和切换线程的方法 | |
CN110795222B (zh) | 一种多线程任务调度方法、装置、设备及可读介质 | |
CN111367630A (zh) | 一种基于云计算的多用户多优先级的分布式协同处理方法 | |
CN101452399B (zh) | 任务二级调度模块及方法 | |
CN107515781B (zh) | 一种基于多处理器的确定性任务调度及负载均衡系统 | |
CN111708639A (zh) | 任务调度系统及方法、存储介质及电子设备 | |
CN102096603A (zh) | MapReduce系统中的作业分解控制方法及调度节点设备 | |
CN114896295B (zh) | 大数据场景下的数据脱敏方法、脱敏装置及脱敏系统 | |
CN106775975B (zh) | 进程调度方法及装置 | |
CN114461393A (zh) | 多任务调度方法、装置、电子设备、系统及自动驾驶车辆 | |
CN109189581B (zh) | 一种作业调度方法和装置 | |
CN116069480B (zh) | 一种处理器及计算设备 | |
CN112860401A (zh) | 任务调度方法、装置、电子设备和存储介质 | |
CN112395062A (zh) | 任务处理方法、装置、设备及计算机可读存储介质 | |
CN110502337B (zh) | 针对Hadoop MapReduce中混洗阶段的优化系统 | |
CN112650449A (zh) | 缓存空间的释放方法、释放系统、电子设备及存储介质 | |
CN112181689A (zh) | 一种在云端下进行gpu内核程序高效率调度的运行时系统 | |
CN116881003A (zh) | 资源分配方法、装置、服务设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Data Desensitization Methods, Desensitization Devices, and Desensitization Systems in Big Data Scenarios Effective date of registration: 20231226 Granted publication date: 20221004 Pledgee: Bank of Communications Ltd. Wuhan East Lake New Technology Development Zone sub branch Pledgor: Yunqi Intelligent Technology Co.,Ltd. Registration number: Y2023980074259 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right |