CN117725623B - 一种基于数据库底层文件的数据脱敏处理方法和系统 - Google Patents
一种基于数据库底层文件的数据脱敏处理方法和系统 Download PDFInfo
- Publication number
- CN117725623B CN117725623B CN202410179305.7A CN202410179305A CN117725623B CN 117725623 B CN117725623 B CN 117725623B CN 202410179305 A CN202410179305 A CN 202410179305A CN 117725623 B CN117725623 B CN 117725623B
- Authority
- CN
- China
- Prior art keywords
- data
- database
- desensitized
- storage information
- desensitization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000586 desensitisation Methods 0.000 title claims abstract description 112
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000004044 response Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 2
- 239000000758 substrate Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000000605 extraction Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种基于数据库底层文件的数据脱敏处理方法和系统,该方法包括:确定需要对数据库中存储的数据进行脱敏处理,其中,所述需要进行脱敏处理的数据为待脱敏数据;在所述数据库中查找所述待脱敏数据所在的数据库底层存储信息;从所述数据库底层存储信息抽取所述待脱敏数据,并对所述待脱敏数据进行脱敏处理,得到脱敏后的数据;将所述脱敏后的数据写入到数据库底层存储信息中。通过本申请解决了相关技术中对数据库中的数据进行脱敏时数据库数据的抽取和写入影响脱敏性能的问题,从而提高了数据库的脱敏效率。
Description
技术领域
本申请涉及到数据库领域,具体而言,涉及一种基于数据库底层文件的数据脱敏处理方法和系统。
背景技术
数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下,在不违反系统规则条件下,对真实数据进行改造并提供测试使用,如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。
目前数据基本都保存在数据库中,用户一般通过数据库客户端来访问数据库,数据库客户端发送数据获取请求之后,从数据库(即数据库服务端)保存的数据中获取数据,如果获取的数据为敏感数据,则进行数据脱敏,之后再将脱敏之后的数据发送给数据库客户端。
图1是根据相关技术中数据脱敏处理的系统示意图,如图1所示,数据库客户端向数据库发送数据访问请求,数据库判断所述数据访问请求所要求获取的数据,如果所述数据包括了敏感数据,则所述数据库将未脱敏的数据发送给脱敏设备进行脱敏,脱敏设备在进行脱敏之后,将脱敏后的数据返回给所述数据库,然后,所述数据库将所述脱敏后的数据发送给所述数据库客户端。
在图1中需要从数据库中抽取数据,然后将抽取到的数据发送给脱敏设备进行脱敏。在数据库进行数据抽取的过程是通过SQL语言进行的,数据库需要对SQL语言进行解析,然后查找到该SQL需要的数据,查找到数据之后发送给脱敏设备,脱敏设备根据脱敏算法进行脱敏之后返回给数据库,数据库还可以将返回的数据插入到数据库中。
通过上述图1的过程可以看出针对数据库的脱敏实现方式包括如下步骤:1、对数据库进行数据抽取到脱敏设备;2、在脱敏设备对抽取数据按照对应规则进行脱敏;3、将脱敏数据写入数据库。
上述流程存在如下问题,即使在脱敏设备性能非常优秀的情况下,数据脱敏的速度也会受到限制,这是因为数据库的抽取、写入性能决定了最终整体脱敏性能,无法提高数据脱敏的效率。
发明内容
本申请实施例提供了一种基于数据库底层文件的数据脱敏处理方法和系统,以至少解决相关技术中对数据库中的数据进行脱敏时数据库数据的抽取和写入影响脱敏性能的问题。
根据本申请的一个方面,提供了一种基于数据库底层文件的数据脱敏处理方法,包括:确定需要对数据库中存储的数据进行脱敏处理,其中,所述需要进行脱敏处理的数据为待脱敏数据;在所述数据库中查找所述待脱敏数据所在的数据库底层存储信息;从所述数据库底层存储信息抽取所述待脱敏数据,并对所述待脱敏数据进行脱敏处理,得到脱敏后的数据;将所述脱敏后的数据写入到数据库底层存储信息中。
进一步地,将所述脱敏后的数据写入到数据库底层存储信息中包括:将所述脱敏后的数据写入到数据底层存储信息中;将写入之后的数据库底层存储信息写入到另一数据库中,其中,所述另一数据库保存有脱敏之后的数据。
进一步地,将脱敏后的数据写入到数据库底层存储信息中包括:将所述脱敏后的数据写入到临时底层存储信息中,其中,所述临时底层存储信息保存在临时存储中;将所述临时底层存储信息上传到所述数据库中;所述临时底层存储信息用于替换所述数据库中的底层存储信息,或者,所述数据库中保存原来的底层存储信息并将所述临时存储信息作为新的底层存储信息保存。
进一步地,所述底层存储与信息包括数据库底层存储的数据文件。
进一步地,在所述数据库中查找所述待脱敏数据所在的数据库底层存储信息包括:查找所述待脱敏数据所在的表,根据所述表的信息查找所述表所在的数据文件,其中,所述数据文件为所述待脱敏数据所在的数据库底层存储信息;从所述数据库底层存储信息抽取所述待脱敏数据包括:根据所述数据文件的结构,从所述数据文件中抽取所述待脱敏数据。
根据本申请的另一个方面,还提供了一种基于数据库底层文件的数据脱敏处理系统,包括:确定模块,用于确定需要对数据库中存储的数据进行脱敏处理,其中,所述需要进行脱敏处理的数据为待脱敏数据;查找模块,用于在所述数据库中查找所述待脱敏数据所在的数据库底层存储信息;脱敏模块,用于从所述数据库底层存储信息抽取所述待脱敏数据,并对所述待脱敏数据进行脱敏处理,得到脱敏后的数据;写入模块,用于将所述脱敏后的数据写入到数据库底层存储信息中。
进一步地,所述写入模块用于:将所述脱敏后的数据写入到数据底层存储信息中;将写入之后的数据库底层存储信息写入到另一数据库中,其中,所述另一数据库保存有脱敏之后的数据。
进一步地,所述写入模块用于:将所述脱敏后的数据写入到临时底层存储信息中,其中,所述临时底层存储信息保存在临时存储中;将所述临时底层存储信息上传到所述数据库中;所述临时底层存储信息用于替换所述数据库中的底层存储信息,或者,所述数据库中保存原来的底层存储信息并将所述临时存储信息作为新的底层存储信息保存。
进一步地,所述底层存储与信息包括数据库底层存储的数据文件。
进一步地,所述查找模块用于:查找所述待脱敏数据所在的表,根据所述表的信息查找所述表所在的数据文件,其中,所述数据文件为所述待脱敏数据所在的数据库底层存储信息;所述脱敏模块用于:根据所述数据文件的结构,从所述数据文件中抽取所述待脱敏数据。
在本申请实施例中,采用了确定需要对数据库中存储的数据进行脱敏处理,其中,所述需要进行脱敏处理的数据为待脱敏数据;在所述数据库中查找所述待脱敏数据所在的数据库底层存储信息;从所述数据库底层存储信息抽取所述待脱敏数据,并对所述待脱敏数据进行脱敏处理,得到脱敏后的数据;将所述脱敏后的数据写入到数据库底层存储信息中。通过本申请解决了相关技术中对数据库中的数据进行脱敏时数据库数据的抽取和写入影响脱敏性能的问题,从而提高了数据库的脱敏效率。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据相关技术中数据脱敏处理的系统示意图;
图2是根据本申请实施例的基于数据库底层文件的数据脱敏处理方法的流程图;
图3是根据本申请实施例的源数据库和目的数据库数据脱敏和保存的示意图;以及,
图4是根据本申请实施例的通过临时存储进行脱敏的流程示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
为了解决相关技术中的问题,在以下实施方式中提供了一种基于数据库底层文件的数据脱敏处理方式,这其中并没有涉及到敏感数据识别的过程,以及具体脱敏算法,需要说明的,敏感数据识别的过程以及脱敏算法可以使用现有的任何过程和算法,以下实施方式任何敏感数据识别过程以及脱敏算法均适用。
在如下实施例中涉及到数据库底层存储信息(例如,底层存储文件等,该底层存储文件也可以称作是底层数据文件或者底层文件),下面首先对数据库底层存储信息进行说明。
数据库逻辑架构
数据在数据库中以表的形式存储,每个表包含多个列(字段),每个列都有一个数据类型和约束(例如,非空、唯一、默认值等)。这些表可以通过外键(ForeignKey)进行关联,形成一个逻辑结构。例如,在一个简单的数据库中,有一个用户表,它包含用户ID、用户名和电子邮件地址。可能还有一个订单表,它包含订单ID、用户ID、商品ID和订单数量等信息。为了关联这两个表,用户表的用户ID列可能需要成为订单表的外键。
在数据库中,逻辑结构的实现方式通常是通过SQL(Structured Query Language)语句的执行来进行的。例如,我们可以使用SELECT语句来查询用户表和订单表中的数据,使用JOIN语句关联这两个表。SQL是一种标准的关系型数据库系统的查询语言,常用于描述和操作关系型数据库(即基于表的数据存储方式)。
数据库物理架构(物理架构中涉及到底层存储信息)。
在计算机上,数据的物理结构通常是指数据在磁盘上的存储方式。数据库的物理结构通常是由管理系统自动处理的。数据库管理系统(DBMS)包括许多底层的组件,例如文件系统、缓存管理、事务管理和日志记录。由于数据库管理系统对物理数据的处理,使得应用程序无需了解数据库在磁盘上的存储方式,就可以根据逻辑数据结构进行操作。
数据库文件
数据库管理系统通常维护着许多数据库文件。数据库文件通常包含以下类型的数据:
1. 数据文件(Data files):存储实际的数据,包括表、记录和索引(即下文中底层存储文件)。
2. 日志文件(Log files):记录对数据库的所有修改,以便在系统出现故障时能够进行恢复。
3. 缓存文件(Cache files):存储系统执行期间使用的数据,以便可以快速访问。
数据库缓存
数据库缓存是数据系统的重要组成部分。数据库缓存是将热点数据存储在内存中,以便系统可以更快地访问它们。数据库缓存由数据库管理系统自动管理,用户无需干预。
数据库缓存通常使用LRU(Least Recently Used,最近最少使用)算法进行管理。该算法会将最近最少使用的数据从缓存中删除,以便为新的热点数据腾出空间。
在以下实施方式中,提供了一种基于数据库底层文件的数据脱敏处理方法,图2是根据本申请实施例的基于数据库底层文件的数据脱敏处理方法的流程图,如图2所示,下面对图2中的方法所涉及到的步骤进行说明。
步骤S202,确定需要对数据库中存储的数据进行脱敏处理,其中,所述需要进行脱敏处理的数据为待脱敏数据。
步骤S204,在所述数据库中查找所述待脱敏数据所在的数据库底层存储信息。
步骤S206,从所述数据库底层存储信息抽取所述待脱敏数据,并对所述待脱敏数据进行脱敏处理,得到脱敏后的数据。
步骤S208,将所述脱敏后的数据写入到数据库底层存储信息中。
作为一个可选的实施方式,确定需要对数据库中存储的数据进行脱敏处理可以包括如下情况的至少之一:情况一,接收到数据处理请求,其中,所述数据处理请求中所要求处理的数据为敏感数据;根据所述数据处理请求确定需要对所述数据库中存储的数据进行脱敏处理;情况二,所述数据库获取需要进行脱敏处理的表和/或字段;所述数据库在预定条件下,确定需要对所述表和/或字段进行脱敏处理;其中,所述预定条件包括以下至少之一:所述数据库中负荷小于阈值、所述脱敏设备的负荷小于阈值、当前时间在预定的时间段范围之内。
通过上述的情况二可以让数据库在空闲的时候将需要进行脱敏的数据提前进行脱敏处理,这样可以在需要脱敏数据的时候直接读取已经脱敏的数据。
通过上述步骤解决了相关技术中对数据库中的数据进行脱敏时数据库数据的抽取和写入影响脱敏性能的问题,从而提高了数据库的脱敏效率。
脱敏后的数据可以保存在源数据库中,在另一个实施方式中,脱敏之后的数据也可以写入到另一个数据库中,在下文中将未脱敏的数据所在的数据库称为源数据库(简称为源库),将脱敏之后的数据所保存的数据库称为目的数据库(也可以称为目标数据库,简称为目标库)。源数据库和目的数据库可以是同一个数据库,也可以是不同的数据库。下面以不同的数据库为例进行说明,在下面的例子的中所述数据库为源数据库,另一数据库是目的数据库。
将所述脱敏后的数据写入到数据库底层存储信息中包括:将所述脱敏后的数据写入到数据底层存储信息中,并将写入之后的数据库底层存储信息写入到另一数据库中,其中,所述另一数据库保存有脱敏之后的数据。
再接收到数据处理请求之后,在所述数据处理请求中涉及到敏感数据的情况下,在所述另一数据库中查询是否保存有所述敏感数据对应的脱敏数据,如果有则直接将所述脱敏数据作为所述数据处理请求的响应数据进行返回,如果没有所述敏感数据对应的脱敏数据,则从所述源数据库中获取所述敏感数据对应的底层存储信息,并从底层存储信息中获取所述敏感数据并进行脱敏。
作为另一种实施方式,将脱敏后的数据写入到数据库底层存储信息中包括:将所述脱敏后的数据写入到临时底层存储信息中,其中,所述临时底层存储信息保存在临时存储中;将所述临时底层存储信息上传到所述数据库中;所述临时底层存储信息用于替换所述数据库中的底层存储信息,或者,所述数据库中保存原来的底层存储信息并将所述临时存储信息作为新的底层存储信息保存。
所述底层存储与信息包括数据库底层存储的数据文件。
此时,在所述数据库中查找所述待脱敏数据所在的数据库底层存储信息包括:查找所述待脱敏数据所在的表,根据所述表的信息查找所述表所在的数据文件,其中,所述数据文件为所述待脱敏数据所在的数据库底层存储信息;
从所述数据库底层存储信息抽取所述待脱敏数据包括:根据所述数据文件的结构,从所述数据文件中抽取所述待脱敏数据。
下面通过一个可选的例子进行说明,在一个该可选的例子中中,在确定敏感数据的前提下,对脱敏流程可以做如下改动:
步骤A1,根据敏感数据信息找到对应的数据库底层存储信息,包括但不限于数据文件,以下描述以数据库底层存储为数据文件的情况进行描述。
在该步骤中如果涉及到典型的大数据应用,则数据库中存在的各种底层文件,通过表的信息来找到底层的数据库文件,然后将数据库文件放回去,这样就可以进行脱敏了。对数据库的性能消耗不大,主要是使用脱敏设备来进行。
作为一个可选的实施方式,还有另一种脱敏方案,该方案包括:数据库服务端接收到数据处理请求,其中,所述数据处理请求用于对所述数据库服务端中的数据进行处理,所述数据处理请求中携带有脱敏函数,所述脱敏函数替换了用于指示所需要处理的数据的第一参数,所述脱敏函数用于指示对所述第一参数指示的数据进行脱敏;所述数据库服务端获取所述数据处理请求中的脱敏函数,并查找所述第一参数对应的数据库底层存储信息,然后从所述数据库底层存储信息中抽取所述第一参数对应的数据,并使用所述脱敏函数对所述第一参数对应的数据进行脱敏得到脱敏后的数据;所述数据库服务端获取所述处理请求中未使用脱敏函数的用于指示所需要处理的数据的第二参数,并获取所述第二参数对应的数据,其中,所述脱敏后的数据和所述第二参数对应的数据为所述数据处理请求的响应数据。需要说明的是,该方案在脱敏设备负荷大于第一阈值以及所述数据库服务端符合小于第二阈值的情况下,使用数据库(或称为数据库服务端)来进行脱敏,从而降低了脱敏设备的压力。
需要说明的是,该第一参数和如下的第二参数可以是字段名称、表名称等。
获取所述第二参数对应的数据也可以查找所述第二参数对应的数据库底层存储信息,然后从查找到的数据库底层存储信息中抽取所述第二参数对应的数据,不同的是,所述第二参数对应的数据不需要进行脱敏处理。获取所述第二参数对应的数据也可以直接通过SQL命令来从数据库中进行读取。
步骤A2,对上述数据文件进行解析抽取。
步骤A3,对文件中的敏感数据按照对应规则进行脱敏。
步骤A4,将脱敏后数据按原数据文件格式写入目标数据文件。
经过上述改动后,减少数据库服务器运算压力,充分利用脱敏设备性能。
脱敏后的数据可以保存在源数据库中,在另一个实施方式中,脱敏之后的数据也可以写入到另一个数据库中,在下文中将未脱敏的数据所在的数据库称为源数据库(简称为源库),将脱敏之后的数据所保存的数据库称为目的数据库(也可以称为目标数据库,简称为目标库)。源数据库和目的数据库可以是同一个数据库,也可以是不同的数据库。
图3是根据本申请实施例的源数据库和目的数据库数据脱敏和保存的示意图,如图3所示,脱敏设备在源数据库中发现敏感数据,然后不再从数据库中通过Select等SQL命令进行数据抽取,而是直接查找所述敏感数据所在的数据库的底层文件,然后从底层文件中根据所述底层文件的结构对所述底层文件进行解析,并得到解析之后的数据,将解析之后的数据进行脱敏。如果脱敏之后需要将脱敏后的数据保存在目标数据库,则将脱敏后的数据写入到目标数据的底层文件中即可。
在另一个实施方式中,针对源库脱敏情况,对上述流程还可做如下改动:
步骤B1,根据敏感数据信息找到对应的数据库底层存储信息,包括但不限于数据文件,以下描述以数据库底层存储为数据文件的情况进行描述。
步骤B2,对上述数据文件进行解析抽取。
步骤B3,对文件中的敏感数据按照对应规则进行脱敏。
步骤B4,将脱敏后数据按原数据文件格式写入临时数据文件,其中,所述临时数据文件也是数据库底层文件,该临时数据文件存储在临时存储中。
步骤B5,将临时数据文件上传至源库替换原数据文件。
图4是根据本申请实施例的通过临时存储进行脱敏的流程示意图,如图4所示,在发现敏感数据之后,找到所述敏感数据在源数据库的底层存储信息,从所述底层存储信息中抽取所述敏感数据,将脱敏之后的数据写入到临时存储中,然后将临时存储中的底层存储信息上传到源数据库中替换掉所述源数据库中的底层存储信息。
通过上述实施例解决了相关技术中对数据库中的数据进行脱敏时数据库数据的抽取和写入影响脱敏性能的问题,从而提高了数据库的脱敏效率。
在本实施例中,提供一种电子装置,包括存储器和处理器,存储器中存储有计算机程序,处理器被设置为运行计算机程序以执行以上实施例中的方法。
上述程序可以运行在处理器中,或者也可以存储在存储器中(或称为计算机可读介质),计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
这些计算机程序也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤,对应与不同的步骤可以通过不同的模块来实现。
该本实施例中就提供了这样的一种装置或系统。该系统被称为基于数据库底层文件的数据脱敏处理系统,包括:确定模块,用于确定需要对数据库中存储的数据进行脱敏处理,其中,所述需要进行脱敏处理的数据为待脱敏数据;查找模块,用于在所述数据库中查找所述待脱敏数据所在的数据库底层存储信息;脱敏模块,用于从所述数据库底层存储信息抽取所述待脱敏数据,并对所述待脱敏数据进行脱敏处理,得到脱敏后的数据;写入模块,用于将所述脱敏后的数据写入到数据库底层存储信息中。
该系统或者装置用于实现上述的实施例中的方法的功能,该系统或者装置中的每个模块与方法中的每个步骤相对应,已经在方法中进行过说明的,在此不再赘述。
可选地,所述写入模块用于:将所述脱敏后的数据写入到数据底层存储信息中;将写入之后的数据库底层存储信息写入到另一数据库中,其中,所述另一数据库保存有脱敏之后的数据。
可选地,所述写入模块用于:将所述脱敏后的数据写入到临时底层存储信息中,其中,所述临时底层存储信息保存在临时存储中;将所述临时底层存储信息上传到所述数据库中;所述临时底层存储信息用于替换所述数据库中的底层存储信息,或者,所述数据库中保存原来的底层存储信息并将所述临时存储信息作为新的底层存储信息保存。
可选地,所述底层存储与信息包括数据库底层存储的数据文件。
可选地,所述查找模块用于:查找所述待脱敏数据所在的表,根据所述表的信息查找所述表所在的数据文件,其中,所述数据文件为所述待脱敏数据所在的数据库底层存储信息;所述脱敏模块用于:根据所述数据文件的结构,从所述数据文件中抽取所述待脱敏数据。
通过上述系统解决了相关技术中对数据库中的数据进行脱敏时数据库数据的抽取和写入影响脱敏性能的问题,从而提高了数据库的脱敏效率。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (3)
1.一种基于数据库底层文件的数据脱敏处理方法,其特征在于,包括:
确定需要对数据库中存储的数据进行脱敏处理,其中,所述需要进行脱敏处理的数据为待脱敏数据;
在所述数据库中查找所述待脱敏数据所在的数据库底层存储信息;
从所述数据库底层存储信息抽取所述待脱敏数据,并对所述待脱敏数据进行脱敏处理,得到脱敏后的数据;其中,数据库服务端接收到数据处理请求,所述数据处理请求用于对所述数据库服务端中的数据进行处理,所述数据处理请求中携带有脱敏函数,所述脱敏函数替换了用于指示所需要处理的数据的第一参数,所述脱敏函数用于指示对所述第一参数指示的数据进行脱敏;所述数据库服务端获取所述数据处理请求中的脱敏函数,并查找所述第一参数对应的数据库底层存储信息,然后从所述数据库底层存储信息中抽取所述第一参数对应的数据,并使用所述脱敏函数对所述第一参数对应的数据进行脱敏得到脱敏后的数据;所述数据库服务端获取所述处理请求中未使用脱敏函数的用于指示所需要处理的数据的第二参数,并获取所述第二参数对应的数据,其中,所述脱敏后的数据和所述第二参数对应的数据为所述数据处理请求的响应数据;
将所述脱敏后的数据写入到数据库底层存储信息中;其中,将所述脱敏后的数据写入到临时底层存储信息中,其中,所述临时底层存储信息保存在临时存储中;将所述临时底层存储信息上传到所述数据库中;所述临时底层存储信息用于替换所述数据库中的底层存储信息,或者,所述数据库中保存原来的底层存储信息并将所述临时存储信息作为新的底层存储信息保存;其中,将所述脱敏后的数据写入到数据库底层存储信息中包括:将所述脱敏后的数据写入到数据底层存储信息中;将写入之后的数据库底层存储信息写入到另一数据库中,其中,所述另一数据库保存有脱敏之后的数据;
在接收到数据处理请求之后,在所述数据处理请求中涉及到敏感数据的情况下,在所述另一数据库中查询是否保存有所述敏感数据对应的脱敏数据,如果有则直接将所述脱敏数据作为所述数据处理请求的响应数据进行返回,如果没有所述敏感数据对应的脱敏数据,则从源数据库中获取所述敏感数据对应的底层存储信息,并从底层存储信息中获取所述敏感数据并进行脱敏。
2.根据权利要求1所述的方法,其特征在于,所述数据库底层存储信息包括数据库底层存储的数据文件。
3.根据权利要求2所述的方法,其特征在于,
在所述数据库中查找所述待脱敏数据所在的数据库底层存储信息包括:查找所述待脱敏数据所在的表,根据所述表的信息查找所述表所在的数据文件,其中,所述数据文件为所述待脱敏数据所在的数据库底层存储信息;
从所述数据库底层存储信息抽取所述待脱敏数据包括:根据所述数据文件的结构,从所述数据文件中抽取所述待脱敏数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410179305.7A CN117725623B (zh) | 2024-02-18 | 2024-02-18 | 一种基于数据库底层文件的数据脱敏处理方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410179305.7A CN117725623B (zh) | 2024-02-18 | 2024-02-18 | 一种基于数据库底层文件的数据脱敏处理方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117725623A CN117725623A (zh) | 2024-03-19 |
CN117725623B true CN117725623B (zh) | 2024-05-17 |
Family
ID=90211089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410179305.7A Active CN117725623B (zh) | 2024-02-18 | 2024-02-18 | 一种基于数据库底层文件的数据脱敏处理方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117725623B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017088683A1 (zh) * | 2015-11-24 | 2017-06-01 | 阿里巴巴集团控股有限公司 | 一种数据脱敏的方法及系统 |
CN110197083A (zh) * | 2019-06-05 | 2019-09-03 | 深圳市优网科技有限公司 | 敏感数据脱敏系统及处理方法 |
CN113569289A (zh) * | 2021-07-29 | 2021-10-29 | 中国工商银行股份有限公司 | 数据脱敏方法及装置 |
CN115310127A (zh) * | 2022-08-05 | 2022-11-08 | 中国银行股份有限公司 | 一种数据脱敏方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7797341B2 (en) * | 2007-04-30 | 2010-09-14 | Hewlett-Packard Development Company, L.P. | Desensitizing database information |
-
2024
- 2024-02-18 CN CN202410179305.7A patent/CN117725623B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017088683A1 (zh) * | 2015-11-24 | 2017-06-01 | 阿里巴巴集团控股有限公司 | 一种数据脱敏的方法及系统 |
CN110197083A (zh) * | 2019-06-05 | 2019-09-03 | 深圳市优网科技有限公司 | 敏感数据脱敏系统及处理方法 |
CN113569289A (zh) * | 2021-07-29 | 2021-10-29 | 中国工商银行股份有限公司 | 数据脱敏方法及装置 |
CN115310127A (zh) * | 2022-08-05 | 2022-11-08 | 中国银行股份有限公司 | 一种数据脱敏方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN117725623A (zh) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9672235B2 (en) | Method and system for dynamically partitioning very large database indices on write-once tables | |
CN108319654B (zh) | 计算系统、冷热数据分离方法及装置、计算机可读存储介质 | |
CN107491487B (zh) | 一种全文数据库架构及位图索引创建、数据查询方法、服务器及介质 | |
CN107015985B (zh) | 一种数据存储与获取方法及装置 | |
US11176110B2 (en) | Data updating method and device for a distributed database system | |
CN111930848B (zh) | 数据分区存储方法、装置及系统 | |
CN111324665B (zh) | 一种日志回放方法及装置 | |
US10776345B2 (en) | Efficiently updating a secondary index associated with a log-structured merge-tree database | |
CN106407360B (zh) | 一种数据的处理方法及装置 | |
CN107193827B (zh) | 分库分表的幂等控制方法和装置 | |
US11288287B2 (en) | Methods and apparatus to partition a database | |
CN110888837B (zh) | 对象存储小文件归并方法及装置 | |
CN112181902B (zh) | 数据库的存储方法、装置及电子设备 | |
CN113901279B (zh) | 一种图数据库的检索方法和装置 | |
US8843499B2 (en) | Accelerating database queries comprising positional text conditions plus bitmap-based conditions | |
CN114647658A (zh) | 一种数据检索方法、装置、设备及机器可读存储介质 | |
CN114626092A (zh) | 具有关联关系的多字段数据的脱敏方法、系统、装置及计算机存储介质 | |
CN116303628B (zh) | 基于Elasticsearch的告警数据查询方法、系统及设备 | |
CN115543993A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN106776702B (zh) | 一种处理主从式数据库系统中的索引的方法和装置 | |
CN117725623B (zh) | 一种基于数据库底层文件的数据脱敏处理方法和系统 | |
CN113641702B (zh) | 一种语句审计后与数据库客户端交互处理方法和装置 | |
CN116610567A (zh) | 应用程序异常的预警方法、装置、处理器以及电子设备 | |
US12093234B2 (en) | Data processing method, apparatus, electronic device, and computer storage medium | |
US11748656B1 (en) | Decision tree learning with missing data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |