CN117235793A - 一种数据脱敏方法、装置、设备及存储介质 - Google Patents
一种数据脱敏方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117235793A CN117235793A CN202311240491.2A CN202311240491A CN117235793A CN 117235793 A CN117235793 A CN 117235793A CN 202311240491 A CN202311240491 A CN 202311240491A CN 117235793 A CN117235793 A CN 117235793A
- Authority
- CN
- China
- Prior art keywords
- database table
- sensitive
- desensitized
- desensitization
- sensitive field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000586 desensitisation Methods 0.000 title claims abstract description 110
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000003860 storage Methods 0.000 title claims abstract description 7
- 238000012795 verification Methods 0.000 claims abstract description 29
- 238000011084 recovery Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 description 16
- 238000004519 manufacturing process Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 238000011981 development test Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000002427 irreversible effect Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Abstract
本发明提供一种数据脱敏方法、装置、设备及存储介质,涉及隐私保护技术领域。其中该方法包括:获取待脱敏数据库表;根据待脱敏数据库表中的敏感字段确定敏感字段的信息;根据待脱敏数据库表中的目标字段确定校验参数;根据敏感字段的信息以及预设脱敏规则对敏感字段进行脱敏操作;根据校验参数对脱敏后的数据库表进行校验。采用上述方法可以实现数据脱敏并且脱敏操作完成后,会根据校验参数对脱敏后的数据库表进行校验,提高了脱敏操作的正确性。
Description
技术领域
本发明涉及隐私保护技术领域,尤其涉及一种数据脱敏方法、装置、设备及存储介质。
背景技术
为了给社会大众提供更优质的银行服务,大型银行核心业务通常会使用真实的生产数据进行开发测试,由于生产数据中往往会包含用户的姓名、身份证号、联系方式、家庭住址等敏感信息,这些敏感信息不能也不应该暴露给开发测试人员,因此,数据脱敏就成了开发测试过程中必需的环节,以确保用户隐私数据的安全。
如何脱敏以及保证脱敏后的文件的正确性,是亟需解决的一个问题。
发明内容
本发明提供一种数据脱敏方法、装置、设备及存储介质,用以实现数据脱敏并保证脱敏后的文件的正确性。
第一方面,本发明提供一种数据脱敏方法,该方法包括:
获取待脱敏数据库表;
根据所述待脱敏数据库表中的敏感字段确定所述敏感字段的信息;
根据所述待脱敏数据库表中的目标字段确定校验参数;
根据所述敏感字段的信息以及预设脱敏规则对所述敏感字段进行脱敏操作;
根据所述校验参数对脱敏后的数据库表进行校验。
本发明提供的数据脱敏方法,根据待脱敏数据库表中的敏感字段确定敏感字段的信息,根据待脱敏数据库表中的目标字段确定校验参数,根据敏感字段的信息以及预设脱敏规则对敏感字段进行脱敏操作,预设脱敏规则保证脱敏后的数据不可逆,提高了生产数据的安全性,脱敏操作完成后,根据校验参数对脱敏后的数据库表进行校验,如果校验出现错误,则需重新执行脱敏操作,保证了脱敏后的文件的正确性。
在一种可能的设计中,所述敏感字段的信息包括所述敏感字段的类型和位置信息;
根据所述敏感字段的信息以及预设脱敏规则对所述敏感字段进行脱敏操作,包括:
根据所述敏感字段的类型确定所述预设脱敏规则中与所述敏感字段的类型对应的脱敏规则;
根据与所述敏感字段的类型对应的脱敏规则和所述敏感字段的位置信息对所述敏感字段进行脱敏操作。
在一种可能的设计中,所述校验参数包括第一数值和第二数值,所述第一数值为所述待脱敏数据库表中目标字段的个数,所述第二数值为所述待脱敏数据库表中目标字段的长度总和;
根据所述校验参数对脱敏后的数据库表进行校验,包括:
确定所述脱敏后的数据库表中的目标字段的个数与第一数值是否相同;
确定所述脱敏后的数据库表中的目标字段的长度总和与第二数值是否相同。
在一种可能的设计中,根据所述敏感字段的信息以及预设脱敏规则对所述敏感字段进行脱敏操作,包括:
在灾备环境中根据所述敏感字段的信息以及预设脱敏规则对所述敏感字段进行脱敏操作。
在灾备环境执行脱敏操作可以将真实的生产数据与开发测试人员隔离,规避了开发测试过程中敏感数据被恶意使用的风险,能够很好地保护用户隐私,提高数据的安全性。
在一种可能的设计中,使用日志记录脱敏操作执行失败的原因,其中,所述原因包括所述灾备环境磁盘空间不足。
在一种可能的设计中,所述预设脱敏规则包括类型为手机号码或密码的敏感字段按位全部置0。
根据敏感数据的类型预设脱敏规则,预设脱敏规则具有不可逆性,即通过脱敏后的数据无法获取脱敏前的数据。
第二方面,本发明还提供一种数据脱敏装置,该装置包括:收发单元和处理单元:
所述收发单元,用于获取待脱敏数据库表;所述处理单元,用于根据所述待脱敏数据库表中的敏感字段确定所述敏感字段的信息;根据所述待脱敏数据库表中的目标字段确定校验参数;根据所述敏感字段的信息以及预设脱敏规则对所述敏感字段进行脱敏操作;根据所述校验参数对脱敏后的数据库表进行校验。
在一种可能的设计中,所述敏感字段的信息包括所述敏感字段的类型和位置信息;
所述处理单元,用于在根据所述敏感字段的信息以及预设脱敏规则对所述敏感字段进行脱敏操作时,根据所述敏感字段的类型确定所述预设脱敏规则中与所述敏感字段的类型对应的脱敏规则;根据与所述敏感字段的类型对应的脱敏规则和所述敏感字段的位置信息对所述敏感字段进行脱敏操作。
在一种可能的设计中,所述校验参数包括第一数值和第二数值,所述第一数值为所述待脱敏数据库表中目标字段的个数,所述第二数值为所述待脱敏数据库表中目标字段的长度总和;
所述处理单元,用于在根据所述校验参数对脱敏后的数据库表进行校验时,确定所述脱敏后的数据库表中的目标字段的个数与第一数值是否相同;确定所述脱敏后的数据库表中的目标字段的长度总和与第二数值是否相同。
在一种可能的设计中,所述处理单元,用于在根据所述敏感字段的信息以及预设脱敏规则对所述敏感字段进行脱敏操作时,在灾备环境中根据所述敏感字段的信息以及预设脱敏规则对所述敏感字段进行脱敏操作。
在一种可能的设计中,所述处理单元,还用于:
使用日志记录脱敏操作执行失败的原因,其中,所述原因包括所述灾备环境磁盘空间不足。
在一种可能的设计中,所述预设脱敏规则包括类型为手机号码或密码的敏感字段按位全部置0。
第三方面,本发明还提供一种数据脱敏设备,该设备包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现上述第一方面所述的方法。
第四方面,本发明还提供一种计算机可读存储介质,所述存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现上述第一方面所述的方法。
第五方面,本发明还提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码在计算机上运行时,使得计算机执行上述第一方面所述的方法。
另外,第三方面至第五方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果,此处不再赘述。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据脱敏方法的步骤示意图;
图2为本发明实施例提供的数据脱敏装置的结构示意图一;
图3为本发明实施例提供的数据脱敏装置的结构示意图二。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案,并不构成对于本发明实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。其中,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
国际商业机器公司(International Business Machines Corporation,IBM)大型机因其集成了上千核心和太字节(Terabyte,TB)级内存等硬件资源带来的极致性能而受到大型银行的青睐,但由于IBM大型机特有的Z/OS操作系统和面向商业的通用语言(CommonBusiness-Oriented Language,COBOL)开发环境,使用Java、Go等主流编程语言开发的脱敏工具无法适配IBM大型机,例如,存在脱敏软件无法在IBM大型机的操作系统上编译运行、脱敏规则无法灵活配置等问题。
基于上述问题,本申请提出了一种如图1所示的数据脱敏方法,该方法包括:
步骤100:获取待脱敏数据库表。
示例性地,从生产环境备份一份截面数据(image copy),其中,生产环境产生的数据为真实的生产数据,得到的截面数据包含待脱敏数据库表,待脱敏数据库表中包含了敏感字段和非敏感字段,敏感字段可以是姓名、手机号、身份证号、密码等字段,非敏感字段可以是性别、身高等字段。
例如,如表1所示的一份待脱敏数据库表:
姓名 | 性别 | 身份证号 | 手机号 | 住址 |
张一一 | 男 | 123456199703040990 | 13312341234 | 北京市朝阳区 |
王二 | 男 | 123456198011200212 | 15512341234 | 上海市普陀区 |
李三 | 女 | 123456199909075123 | 17712341234 | 天津市武清区 |
Steve | 男 | 323456200210010343 | 19912341234 | 南京市江宁区 |
表1
表1所示的待脱敏数据库表中的姓名、身份证号、手机号以及住址字段为敏感字段,性别字段为非敏感字段。假设姓名字段长度为10个字节,性别字段长度为2个字节,身份证号字段长度为18个字节,手机号字段长度为11个字节,住址字段长度为30个字节。
步骤110:根据待脱敏数据库表中的敏感字段确定敏感字段的信息。
示例性地,敏感字段的信息包括敏感字段的类型和位置信息,例如,敏感字段的信息可以用“码制,类型,起始位,长度”的格式来表示,其中,码制可以是字符编码(EBCDIC)或统一编码(UNICODE),字符编码用E表示,统一编码用U表示,敏感字段的类型和敏感字段的名称的对应关系如表2所示。起始位为敏感字段的起始位置,长度为敏感字段的长度,敏感字段的起始位置和敏感字段的长度可以用于指示敏感字段的位置,通过敏感字段的位置信息(即敏感字段的起始位置和敏感字段的长度)可以从待脱敏数据库表中截取敏感字段的内容。
表2
需要说明的是,敏感字段的类型和敏感字段的名称的对应关系可以根据实际业务需要自定义配置,本申请对此不做限定。
示例性地,待脱敏数据库表中的敏感字段和敏感字段的信息为一一对应关系,若待脱敏数据库表中的敏感字段有3个,则可确定3条敏感字段的信息;若待脱敏数据库表中的敏感字段有10个,则可确定10条敏感字段的信息。
例如,如表1所示的待脱敏数据表中有4个敏感字段,分别是姓名、身份证号、手机号以及住址,那么可确定4条敏感数据的信息,其中,姓名对应的敏感字段的信息为:E,N,0001,0010;身份证号对应的敏感字段的信息为:E,U,0013,0018;手机号对应的敏感字段的信息为:E,Z,0031,0011;住址对应的敏感字段的信息为:E,A,0042,0030。
步骤120:根据待脱敏数据库表中的目标字段确定校验参数。
示例性地,校验参数包括第一数值和第二数值,第一数值为待脱敏数据库表中目标字段的个数,第二数值为待脱敏数据库表中目标字段的长度总和。目标字段可以是待脱敏数据库表中的全部字段,也可以是根据实际业务场景确定的待脱敏数据库表中的部分重要字段,本申请对此不做限定。
例如,如表1所述的待脱敏数据库表,目标字段可以是待脱敏数据库表中的全部字段,即目标字段为姓名、性别、身份证号、手机号、住址。若在某银行统计分析公司客户在全国城市分布情况的业务场景中,姓名、身份证号和住址字段相对于性别、联系方式字段更为重要,所以在该业务场景下,目标字段也可以为姓名、身份证号和住址字段。
示例性地,可以采用穿孔(punch)文件来记录目标字段,punch文件是一种用来记录最重要的数据和结果的简易文件,本申请中可以用来记录目标字段的名称、起始位置和长度,进而根据punch文件确定校验参数。
例如,如表1所示的待脱敏数据库表,假设目标字段是待脱敏数据库表中的全部字段,那么punch文件记录的内容如下:目标字段1:姓名,0001,0010;目标字段2:性别,0011,0002;目标字段3:身份证号,0013,0018;目标字段4:手机号,0031,0011;目标字段5:住址,0042,0030;其中,对于目标字段1的内容而言,“姓名”为字段名称,“0001”为字段起始位置,“0010”为字段长度,其余目标字段内容所表示的含义与目标字段1相同,在此不做赘述。根据目标字段确定的校验参数包含第一数值和第二数值,其中,第一数值为目标字段的个数,第二数值为目标字段的长度总和,上述共有5个目标字段,即第一数值为5;又因为目标字段1的长度为10,目标字段2的长度为2......目标字段5的长度为30,所以各目标字段的长度总和为71,即第二数值为71。
步骤130:根据敏感字段的信息以及预设脱敏规则对敏感字段进行脱敏操作。
示例性地,根据敏感字段的类型确定预设脱敏规则中与敏感字段的类型对应的脱敏规则,为了保证脱敏后的数据不具备可逆性,提升数据的安全性,预设脱敏规则包括类型为手机号码或密码的敏感字段按位全部置0,详细完整的敏感类型对应的脱敏规则如下表3所示:
表3
上述脱敏规则可以根据实际业务需要或具体应用场景自定义设置,本申请对此不做限定。
示例性地,根据与敏感字段的类型对应的脱敏规则和敏感字段的位置信息对在灾备环境中进行脱敏操作,本申请的数据脱敏方法共涉及三个环境,分别是生产环境、灾备以及目标环境,生产环境如步骤100所述,是用户或客户实际使用的环境,产生真实的生产数据,目标环境用于开发测试人员利用脱敏后的数据执行相关开发任务,灾备环境主要目的是保护生产数据,一是在灾备环境进行脱敏操作,将敏感数据与开发测试人员进行隔离;二是对生产数据进行备份操作,若生产环境发生故障,可以使用灾备环境的备份数据进行恢复,保证业务的可靠性和连续性。
例如,如表1所示的待脱敏数据库表,根据表1中的姓名、身份证号、手机号、住址这4个敏感字段从表3中确定对应的脱敏规则,以及步骤110中敏感字段的位置信息在灾备环境中执行脱敏操作。
以第一行数据为例,根据步骤110可知,姓名对应的敏感字段的信息为:E,N,0001,0010,根据该敏感字段信息中的N确定的脱敏规则为:姓氏保持不变,其他汉字依次转换成EBCDIC字符集的16进制数,再转换为10进制数,取10进制数的第2位替换对应位置的汉字,根据该敏感字段信息中的“0001,0010”截取到的敏感数据为“张一一”。根据姓名字段对应的脱敏规则,姓氏“张”保持不变,“一”对应的EBCDIC字符集的16进制数为4E00,4E00转化为10进制数为19968,取10进制数的第2位替换对应位置的汉字,即用“9”替换“一”,所以“张一一”替换为“张99”。
身份证号对应的敏感字段的信息为:E,U,0013,0018,根据该敏感字段信息中的U确定的脱敏规则为:若识别信息号的长度大于18位,第1位替换为X,其余位按位均置为9;若识别信息号的长度小于或等于18位,第1位替换为A,其余位按位均置为#,根据该敏感字段信息中的“0013,0018”截取到的敏感数据为“123456199703040990”,由于“123456199703040990”长度等于18,所以第1位“1”替换为“A”,其余为全部替换为“#”,因此,“123456199703040990”替换为“A#################”。
手机号对应的敏感字段的信息为:E,Z,0031,0011,根据该敏感字段信息中的Z确定的脱敏规则为:按位全部置为0,根据该敏感字段信息中的“0031,0011”截取的敏感数据为“13312341234”,因此,“13312341234”替换为“00000000000”。
住址对应的敏感字段的信息为:E,A,0042,0030,根据该敏感字段信息中的A确定的脱敏规则为:替换为XX银行第999号,根据该敏感字段信息中的“0042,0030”截取的敏感数据为“北京市朝阳区”,因此,“北京市朝阳区”替换为“XX银行第999号”。
其余三行数据的脱敏操作和第一行的脱敏操作类似,表1所示的待脱敏数据库表逐行进行脱敏操作后,如表4所示:
表4
示例性地,在脱敏操作过程中可以使用日志记录脱敏操作执行失败的原因,可以采用作业控制语言(Job Control Language,JCL)的日志来记录脱敏操作执行失败的原因,JCL是各种控制命令或控制语句的集合,其中,记录的维度可以按照每一行的控制语句,也可以按照一个控制单元或者一个功能模块,假设按照每一行的控制语句来记录,那么日志记录的内容包括执行失败的控制语句的行号以及相应的失败原因,失败的原因主要分为以下三类:1、灾备环境磁盘空间不足;2、灾备环境的数据库底层文件因为没有满足大小的碎片空间,导致无法扩展;3、灾备环境的数据库底层文件扩展次数到达系统默认设置的上限,导致无法扩展。此外,日志还可以记录其他失败原因,本申请对此不作限定。
步骤140:根据校验参数对脱敏后的数据库表进行校验。
示例性地,确定脱敏后的数据库表中的目标字段的个数与第一数值是否相同,确定脱敏后的数据库表中的目标字段的长度总和与第二数值是否相同。上述JCL除了可以进行日志记录,还可以在脱敏完成得到的数据库表导入目标环境前进行错误校验,校验脱敏后的数据库表中的字段个数和长度是否正确,若校验不通过,需要重新执行脱敏操作。
示例一,如表4所示的脱敏后的数据库表,若目标字段为数据库表中的全部字段,则目标字段的个数为5,和步骤120中校验参数的第一数值5相同,因此,目标字段的个数校验通过;第一行数据包含5个目标字段,各目标字段长度总和为71,与步骤120中校验参数的第二数值71相同;第二行数据包含5个目标字段,各目标字段长度总和为71,与第二数值71相同......第四行数据包含5个目标字段,各目标字段长度总和为71,与第二数值71也相同;因此,目标字段的长度校验通过,即表4所示的脱敏后的数据库表校验通过,可以导入目标环境。
示例二,如表5所示的脱敏后的数据库表,若目标字段为数据库表中的全部字段,则目标字段的个数为5,和步骤120中校验参数的第一数值5相同,因此,目标字段的个数校验通过;第一行数据包含5个目标字段,各目标字段长度总和为72(姓名字段长度为10,性别字段长度为2,身份证号字段长度为18,手机号字段长度为12,住址字段长度为30),与步骤120中校验参数的第二数值71不相同,因此,目标字段的长度校验不通过,即表5所示的脱敏后的数据库表校验不通过,需要重新执行脱敏操作。
姓名 | 性别 | 身份证号 | 手机号 | 住址 |
张99 | 男 | A################# | 000000000000 | XX银行第999号 |
王0 | 男 | A################# | 00000000000 | XX银行第999号 |
李9 | 女 | A################# | 00000000000 | XX银行第999号 |
xxbtest | 男 | A################# | 00000000000 | XX银行第999号 |
表5
本申请的数据脱敏方法,从生产环境获取待脱敏的数据库表,在灾备环境根据预设脱敏规则进行脱敏操作,再将脱敏后的数据库表导入目标环境,在灾备环境进行脱敏操作,能够将用户的隐私数据与开发测试人员隔离,规避了开发测试过程中真实的生产数据可能被恶意使用的风险,提升了数据安全性,并且预设的脱敏规则是不可逆的,对不同类型的敏感数据类型以及相应的脱敏规则做了全面的总结,此外,在脱敏后的数据库表导入目标环境前,对脱敏后的数据库表进行目标字段的长度以及个数的校验,提高了数据脱敏的正确性。
可以理解的是,为了实现上述实施例中功能,主机包括了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本申请中所公开的实施例描述的各示例的单元及方法步骤,本申请能够以硬件或硬件和计算机软件相结合的形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用场景和设计约束条件。
图2和图3为本申请的实施例提供的可能的数据脱敏装置的结构示意图。这些数据脱敏装置可以用于实现上述方法实施例中执行脱敏操作的主机的功能,因此也能实现上述方法实施例所具备的有益效果。
如图2所示,数据脱敏装置200包括处理单元210和收发单元220。数据脱敏装置200用于实现上述图1所示的方法实施例中执行脱敏操作的主机的功能。
数据脱敏装置200用于实现上述图1所示的方法实施例中执行脱敏操作的主机的功能时:
所述收发单元220,用于获取待脱敏数据库表;所述处理单元210,用于根据所述待脱敏数据库表中的敏感字段确定所述敏感字段的信息;根据所述待脱敏数据库表中的目标字段确定校验参数;根据所述敏感字段的信息以及预设脱敏规则对所述敏感字段进行脱敏操作;根据所述校验参数对脱敏后的数据库表进行校验。
在一种可能的设计中,所述敏感字段的信息包括所述敏感字段的类型和位置信息;
所述处理单元210,用于在根据所述敏感字段的信息以及预设脱敏规则对所述敏感字段进行脱敏操作时,根据所述敏感字段的类型确定所述预设脱敏规则中与所述敏感字段的类型对应的脱敏规则;根据与所述敏感字段的类型对应的脱敏规则和所述敏感字段的位置信息对所述敏感字段进行脱敏操作。
在一种可能的设计中,所述校验参数包括第一数值和第二数值,所述第一数值为所述待脱敏数据库表中目标字段的个数,所述第二数值为所述待脱敏数据库表中目标字段的长度总和;
所述处理单元210,用于在根据所述校验参数对脱敏后的数据库表进行校验时,确定所述脱敏后的数据库表中的目标字段的个数与第一数值是否相同;确定所述脱敏后的数据库表中的目标字段的长度总和与第二数值是否相同。
在一种可能的设计中,所述处理单元210,用于在根据所述敏感字段的信息以及预设脱敏规则对所述敏感字段进行脱敏操作时,在灾备环境中根据所述敏感字段的信息以及预设脱敏规则对所述敏感字段进行脱敏操作。
在一种可能的设计中,所述处理单元210,还用于:
使用日志记录脱敏操作执行失败的原因,其中,所述原因包括所述灾备环境磁盘空间不足。
在一种可能的设计中,所述预设脱敏规则包括类型为手机号码或密码的敏感字段按位全部置0。
有关上述处理单元210和收发单元220更详细的描述可以直接参考图1所示的方法实施例中相关描述直接得到,这里不加赘述。
如图3所示,数据脱敏装置300包括处理器310和接口电路320。处理器310和接口电路320之间相互耦合。可以理解的是,接口电路320可以为收发器或输入输出接口。可选的,数据脱敏装置300还可以包括存储器330,用于存储处理器310执行的指令或存储处理器310运行指令所需要的输入数据或存储处理器310运行指令后产生的数据。
当数据脱敏装置300用于实现图1所示的方法时,处理器310用于实现上述处理单元210的功能,接口电路320用于实现上述收发单元220的功能。
本发明实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,另外,在本发明各个实施例中的各功能单元可以集成在一个处理器中,也可以是单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种数据脱敏方法,其特征在于,该方法包括:
获取待脱敏数据库表;
根据所述待脱敏数据库表中的敏感字段确定所述敏感字段的信息;
根据所述待脱敏数据库表中的目标字段确定校验参数;
根据所述敏感字段的信息以及预设脱敏规则对所述敏感字段进行脱敏操作;
根据所述校验参数对脱敏后的数据库表进行校验。
2.如权利要求1所述的方法,其特征在于,所述敏感字段的信息包括所述敏感字段的类型和位置信息;
根据所述敏感字段的信息以及预设脱敏规则对所述敏感字段进行脱敏操作,包括:
根据所述敏感字段的类型确定所述预设脱敏规则中与所述敏感字段的类型对应的脱敏规则;
根据与所述敏感字段的类型对应的脱敏规则和所述敏感字段的位置信息对所述敏感字段进行脱敏操作。
3.如权利要求1所述的方法,其特征在于,所述校验参数包括第一数值和第二数值,所述第一数值为所述待脱敏数据库表中目标字段的个数,所述第二数值为所述待脱敏数据库表中目标字段的长度总和;
根据所述校验参数对脱敏后的数据库表进行校验,包括:
确定所述脱敏后的数据库表中的目标字段的个数与第一数值是否相同;
确定所述脱敏后的数据库表中的目标字段的长度总和与第二数值是否相同。
4.如权利要求1所述的方法,其特征在于,根据所述敏感字段的信息以及预设脱敏规则对所述敏感字段进行脱敏操作,包括:
在灾备环境中根据所述敏感字段的信息以及预设脱敏规则对所述敏感字段进行脱敏操作。
5.如权利要求1所述的方法,其特征在于,还包括:
使用日志记录脱敏操作执行失败的原因,其中,所述原因包括所述灾备环境磁盘空间不足。
6.如权利要求1所述的方法,其特征在于,所述预设脱敏规则包括类型为手机号码或密码的敏感字段按位全部置0。
7.一种数据脱敏装置,其特征在于,该装置包括:收发单元和处理单元:
所述收发单元,用于获取待脱敏数据库表;
所述处理单元,用于根据所述待脱敏数据库表中的敏感字段确定所述敏感字段的信息;根据所述待脱敏数据库表中的目标字段确定校验参数;根据所述敏感字段的信息以及预设脱敏规则对所述敏感字段进行脱敏操作;根据所述校验参数对脱敏后的数据库表进行校验。
8.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-6中任一项所述的方法。
10.一种计算机程序产品,其特征在于,包括计算机程序,该计算机程序被处理器执行时实现权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311240491.2A CN117235793A (zh) | 2023-09-25 | 2023-09-25 | 一种数据脱敏方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311240491.2A CN117235793A (zh) | 2023-09-25 | 2023-09-25 | 一种数据脱敏方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117235793A true CN117235793A (zh) | 2023-12-15 |
Family
ID=89094508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311240491.2A Pending CN117235793A (zh) | 2023-09-25 | 2023-09-25 | 一种数据脱敏方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117235793A (zh) |
-
2023
- 2023-09-25 CN CN202311240491.2A patent/CN117235793A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112256558B (zh) | 一种测试用例的生成方法、装置、计算机设备及存储介质 | |
CN110764942A (zh) | 多种类数据校验方法、装置、计算机系统及可读存储介质 | |
CN110866258B (zh) | 快速定位漏洞方法、电子装置及存储介质 | |
CN109241014B (zh) | 数据处理方法、装置和服务器 | |
CN110221948B (zh) | 测试脚本生成方法、装置、计算机装置及存储介质 | |
CN112685771A (zh) | 日志脱敏方法、装置、设备及存储介质 | |
CN109815697B (zh) | 误报行为处理方法及装置 | |
CN109711189B (zh) | 数据脱敏方法及装置、存储介质、终端 | |
CN111835808B (zh) | 数据存储方法及装置、数据读取方法及装置、存储介质 | |
CN111475494A (zh) | 一种海量数据处理方法、系统、终端及存储介质 | |
CN110147354B (zh) | 批量数据编辑方法、装置、计算机设备及存储介质 | |
CN110046086B (zh) | 用于测试的期望数据生成方法及装置和电子设备 | |
CN101520880B (zh) | 电子签名工具上的信息显示方法和系统以及电子签名工具 | |
CN117235793A (zh) | 一种数据脱敏方法、装置、设备及存储介质 | |
CN117131545A (zh) | 数据处理方法及装置、存储介质、终端 | |
CN111176975B (zh) | 一种测试方法、装置、设备及计算机可读存储介质 | |
CN114003784A (zh) | 请求录制方法、装置、设备及存储介质 | |
CN113391972A (zh) | 一种接口测试方法及装置 | |
CN111949524A (zh) | 一种数据接口测试方法、装置、服务器和存储介质 | |
CN112085611A (zh) | 数据异步核验方法、装置、电子设备及存储介质 | |
CN111475400A (zh) | 一种业务平台的验证方法及相关设备 | |
CN111931161A (zh) | 基于risc-v处理器的芯片验证方法、设备及存储介质 | |
CN113434359B (zh) | 数据溯源系统构建方法、装置、电子设备及可读存储介质 | |
CN116383544B (zh) | 一种网页报表的生成方法、装置、设备和介质 | |
CN113407386B (zh) | 一种模拟测试居民证件的装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |