CN112685771A - 日志脱敏方法、装置、设备及存储介质 - Google Patents
日志脱敏方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112685771A CN112685771A CN202011578003.5A CN202011578003A CN112685771A CN 112685771 A CN112685771 A CN 112685771A CN 202011578003 A CN202011578003 A CN 202011578003A CN 112685771 A CN112685771 A CN 112685771A
- Authority
- CN
- China
- Prior art keywords
- log
- target
- information
- sensitive information
- desensitization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000586 desensitisation Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000014509 gene expression Effects 0.000 claims abstract description 89
- 238000012545 processing Methods 0.000 claims abstract description 52
- 238000009825 accumulation Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 2
- 239000000284 extract Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000011896 sensitive detection Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明涉及大数据技术领域,公开了日志脱敏方法、装置、设备及存储介质,用于解决业务程序运行时敏感信息堆积的问题,提高脱敏效率。日志脱敏方法包括:实时获取日志信息,所述日志信息为目标终端的日志信息;对所述日志信息进行处理,生成多个日志正则表达式;基于所述多个日志正则表达式分别在所述多个敏感信息规则中确定多个目标敏感信息规则;根据所述多个目标敏感信息规则对所述日志信息进行脱敏,生成多个待写入日志信息;将所述多个待写入日志信息写入预置的文件中,生成脱敏后的目标日志文件。此外,本发明还涉及区块链技术,日志信息可存储于区块链中。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种日志脱敏方法、装置、设备及存储介质。
背景技术
随着互联网的普及,信息安全被泄露事件时有发生,给公司和个人造成非常大的影响。很多公司在搭建业务系统时,遵循业务先行的原则,全力保证业务功能优先上线。业务功能上线后,在使用过程中发现业务账户权限管理功能设计存在不足,开发人员安全意识不强,直接将业务敏感信息打印到日志中,这也会给一些别有用心的人员可乘之机,从而造成大量业务敏感数据的外泄,给数据安全也带来了非常大的隐患。
在现有技术中,为了减少数据安全带来的隐患,通常是安全部门、运维部门等对日志进行检测、复盘,从而发现日志中的敏感信息,但发现时其实已经严重滞后,前期生成的日志文件中的敏感信息很可能已经外泄,已经造成数据安全事故。也有部分检测方法是服务器获取很多日志信息,针对日志信息逐一进行敏感数据的排查,然后再逐一对敏感数据进行数据脱敏,再生成日志文件,这种方式会造成敏感信息堆积,从而导致脱敏效率较低。
发明内容
本发明提供了一种日志脱敏方法、装置、设备及存储介质,用于解决业务程序运行时敏感信息堆积的问题,提高脱敏效率。
本发明第一方面提供了一种日志脱敏方法,包括:实时获取日志信息,所述日志信息为目标终端的日志信息;对所述日志信息进行处理,生成多个日志正则表达式;基于所述多个日志正则表达式分别在所述多个敏感信息规则中确定多个目标敏感信息规则;根据所述多个目标敏感信息规则对所述日志信息进行脱敏,生成多个待写入日志信息;将所述多个待写入日志信息写入预置的文件中,生成脱敏后的目标日志文件。
可选的,在本发明第一方面的第一种实现方式中,所述实时获取日志信息,所述日志信息为目标终端的日志信息包括:获取日志采集信息,并解析所述日志采集信息,生成采集标识;判断所述采集标识是否为目标终端标识;若所述采集标识为目标终端标识,则实时获取与所述目标终端对应的日志信息。
可选的,在本发明第一方面的第二种实现方式中,所述对所述日志信息进行处理,生成多个日志正则表达式包括:从所述日志信息中提取多个关键字段,并根据所述多个关键字段,在多个预置的正则逻辑中分别确定多个目标正则逻辑;基于每个所述关键字段确定对应的目标字符、对应的目标量词和/或对应的目标符号;按照每个目标正则逻辑整合与每个关键字段对应的目标字符、对应的目标量词和/或对应的目标符号,生成对应的日志正则表达式,得到多个日志正则表达式。
可选的,在本发明第一方面的第三种实现方式中,所述基于所述多个日志正则表达式分别在所述多个敏感信息规则中确定多个目标敏感信息规则包括:分别从所述多个预置的敏感信息规则中提取多个敏感信息正则表达式;将所述多个日志正则表达式与所述多个敏感信息正则表达式进行匹配,当目标日志正则表达式与目标敏感信息正则表达式相匹配时,将所述目标敏感信息正则表达式对应的敏感信息规则确定为目标敏感信息规则,得到多个目标敏感信息规则。
可选的,在本发明第一方面的第四种实现方式中,所述根据所述多个目标敏感信息规则对所述日志信息进行脱敏,生成多个待写入日志信息包括:基于所述多个目标敏感信息规则,在所述日志信息中分别确定多个待脱敏字段;基于所述多个目标敏感信息规则分别对所述多个待脱敏字段进行脱敏处理,生成多个待写入日志信息,所述脱敏处理为加密处理、模糊处理和/或置换处理。
可选的,在本发明第一方面的第五种实现方式中,在所述将所述多个待写入日志信息写入预置的文件中,生成脱敏后的目标日志文件之后,所述日志脱敏方法还包括:当接收到敏感信息调整指令时,调整对应的敏感信息规则或者增加新的敏感信息规则,所述敏感信息调整指令为目标下游系统发出的指令。
本发明第二方面提供了一种日志脱敏装置,包括:获取模块,用于实时获取日志信息,所述日志信息为目标终端的日志信息;表达式处理模块,用于对所述日志信息进行处理,生成多个日志正则表达式;敏感信息规则确定模块,用于基于所述多个日志正则表达式分别在所述多个敏感信息规则中确定多个目标敏感信息规则;脱敏模块,用于根据所述多个目标敏感信息规则对所述日志信息进行脱敏,生成多个待写入日志信息;写入模块,用于将所述多个待写入日志信息写入预置的文件中,生成脱敏后的目标日志文件。
可选的,在本发明第二方面的第一种实现方式中,所述获取模块还可以具体用于:获取日志采集信息,并解析所述日志采集信息,生成采集标识;判断所述采集标识是否为目标终端标识;若所述采集标识为目标终端标识,则实时获取与所述目标终端对应的日志信息。
可选的,在本发明第二方面的第二种实现方式中,所述表达式处理模块还可以具体用于:从所述日志信息中提取多个关键字段,并根据所述多个关键字段,在多个预置的正则逻辑中分别确定多个目标正则逻辑;基于每个所述关键字段确定对应的目标字符、对应的目标量词和/或对应的目标符号;按照每个目标正则逻辑整合与每个关键字段对应的目标字符、对应的目标量词和/或对应的目标符号,生成对应的日志正则表达式,得到多个日志正则表达式。
可选的,在本发明第二方面的第三种实现方式中,所述敏感信息规则确定模块还可以具体用于:分别从所述多个预置的敏感信息规则中提取多个敏感信息正则表达式;将所述多个日志正则表达式与所述多个敏感信息正则表达式进行匹配,当目标日志正则表达式与目标敏感信息正则表达式相匹配时,将所述目标敏感信息正则表达式对应的敏感信息规则确定为目标敏感信息规则,得到多个目标敏感信息规则。
可选的,在本发明第二方面的第四种实现方式中,所述脱敏模块还可以具体用于:基于所述多个目标敏感信息规则,在所述日志信息中分别确定多个待脱敏字段;基于所述多个目标敏感信息规则分别对所述多个待脱敏字段进行脱敏处理,生成多个待写入日志信息,所述脱敏处理为加密处理、模糊处理和/或置换处理。
可选的,在本发明第二方面的第五种实现方式中,所述日志脱敏装置还包括:调整模块,当接收到敏感信息调整指令时,用于调整对应的敏感信息规则或者增加新的敏感信息规则,所述敏感信息调整指令为目标下游系统发出的指令。
本发明第三方面提供了一种日志脱敏设备,包括:存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述日志脱敏设备执行上述的日志脱敏方法。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的日志脱敏方法。
本发明提供的技术方案中,实时获取日志信息,所述日志信息为目标终端的日志信息;对所述日志信息进行处理,生成多个日志正则表达式;基于所述多个日志正则表达式分别在所述多个敏感信息规则中确定多个目标敏感信息规则;根据所述多个目标敏感信息规则对所述日志信息进行脱敏,生成多个待写入日志信息;将所述多个待写入日志信息写入预置的文件中,生成脱敏后的目标日志文件。本发明实施例中,实时获取日志信息,并采用多个预置的敏感信息规则对日志信息进行敏感检测,从而确定多个目标敏感信息规则,根据多个目标敏感信息规则对日志信息进行脱敏,生成脱敏后的目标日志文件;通过使用多个敏感信息规则对日志信息进行敏感检测,并进行脱敏,解决了在业务程序运行时敏感信息堆积的问题,提高了数据脱敏的效率。
附图说明
图1为本发明实施例中日志脱敏方法的一个实施例示意图;
图2为本发明实施例中日志脱敏装置的一个实施例示意图;
图3为本发明实施例中日志脱敏设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种日志脱敏方法、装置、设备及存储介质,用于解决业务程序运行时敏感信息堆积的问题,提高脱敏效率。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
可以理解的是,本发明的执行主体可以为日志脱敏装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中日志脱敏方法的一个实施例包括:
101、实时获取日志信息,日志信息为目标终端的日志信息;
服务器实时获取来自目标终端发出的日志信息,需要强调的是,为进一步保证上述日志信息的私密和安全性,上述日志信息还可以存储于一区块链的节点中。
服务器实时获取来自目标终端的日志信息。日志信息可以是目标终端的日志文件地址、目标终端抓取的个人信息、目标终端的操作信息等,开发人员还可以通过该日志文件地址下载得到抓取的个人信息、操作信息等日志信息。
在业务系统的业务功能上之后,在使用的过程中,会将个人信息、操作信息等打印到日志中,由于个人信息或者操作信息等存在敏感信息,因此服务器需要实时获取日志信息,然后对日志信息进行脱敏,最后对脱敏后的日志信息进行写操作,生成日志文件,从而减少数据安全的隐患。
具体的,服务器获取日志采集信息,并对日志采集信息进行解析,生成采集标识;然后服务器判断采集标识与目标终端标识是否相匹配;如果服务器判定采集标识与目标终端标识相匹配,服务器则实时获取与目标终端对应的日志信息。
需要说明的是,采集标识可以是数字、数字和字母组合或者数字、字母和特殊符号(如下划线等)的组合,具体的,可以是终端编码、系统账户等,通过解析日志采集信息即可得到采集标识。目标终端标识与采集标识一致,可以是数字、数字和字母组合或者数字、字母和特殊符号(如下划线等)的组合,具体可以是终端编码、系统账户等。其中目标终端标识可以显示于目标终端的界面,服务器只提取该标识即可。
服务器判断采集标识与目标终端标识是否相匹配,若匹配,则说明目标终端为需要采集日志的终端,实时从目标终端获取日志信息。假设采集标识为PC_001,目标终端标识为PC_001,服务器则从该目标终端获取日志信息。在另一实施例中,假设采集标识为PC_001,目标终端标识为PC_002,则说明此时的目标终端不是需要采集日志信息的目标终端,则不进行日志信息的获取。
102、对日志信息进行处理,生成多个日志正则表达式;
服务器处理日志信息,生成多个日志正则表达式。
正则表达式,又称规则表达式,英语为RegularExpression,在计算机程序代码中常简写为regex、regexp或RE。正则表达式是对字符串操作的一种逻辑公式,是用事先定义好的字符及这些字符的组合,组成一个“规则字符串”,该“规则字符串”用来表达对字符串的一种过滤逻辑,其中,字符串包括普通字符和特殊字符。其中,普通字符,比如,a到z之间的字母,特殊字符,又称为“元字符”,是一些在正则表达式中有特殊用途、但不代表它本身字符意义的一组字符,比如:^、*、+、等字符。服务器对日志信息按照正则表达式的规则进行表达,生成日志正则表达式,然后服务器按照日志正则表达式在多个敏感信息规则中确定目标敏感信息规则。
具体的,服务器从日志信息中提取用于确定多个目标正规逻辑规则的多个关键字段;然后服务器基于每个关键字段确定对应的目标字符、对应的目标量词和/或对应的目标符号;最后服务器按照每个目标正则逻辑对与每个关键字段对应的目标字符、对应的目标量词和/或对应的目标符号进行整合,生成对应的日志正则表达式,从而得到多个日志正则表达式。
服务器从日志信息中提取为手机号码的关键字段,服务器基于手机号码的关键字段在多个正则逻辑中匹配手机号码的目标正则逻辑,然后服务器基于手机号码的关键字段确定目标字符\d、目标量词3、4,服务器按照手机号码的目标正则逻辑将目标字符、目标量词和/或目标符号进行整合,生成目标正则表达式:\d{3}(\d{4})\d{4};以及服务器从日志信息中提取为身份证号码的关键字段,服务器基于该字段在多个正则逻辑中匹配身份证号码的目标正则逻辑,然后服务器基于身份证号码的关键字段确定目标字符\d、\d+以及目标量词6,服务器按照身份证号码的目标正则逻辑将目标字符、目标量词进行整合,生成目标正则表达式:\d{6}(\d+)\,按照上述方式,基于日志信息生成多个日志正则表达式。
103、基于多个日志正则表达式分别在多个敏感信息规则中确定多个目标敏感信息规则;
服务器根据多个日志正则表达式确定多个目标敏感信息规则。
个人信息中例如身份证号码、手机号码、家庭住址等信息均属于具有安全隐患的隐私信息,因此服务器需要对日志信息中的隐私信息进行检测,主要是确定隐私信息和对应的敏感信息规则,例如在一个日志信息中,隐私信息为电话号码,对应的敏感信息规则为“保留前3位和后4位电话号码,加密其余电话号码”,以及隐私信息为身份证号码,对应的敏感信息规则为“保留前6位身份证号码,用随机字符置换其余身份证号码”。在确定隐私信息和敏感信息规则之后,服务器需要对敏感信息进行脱敏处理,保护隐私信息,从而防止具有安全隐患的隐私信息外泄。
具体的,服务器分别从多个预置的敏感信息规则中提取多个敏感信息正则表达式;然后服务器将多个日志正则表达式与多个敏感信息正则表达式进行匹配,当目标日志正则表达式与目标敏感信息正则表达式相匹配时,将目标敏感信息正则表达式对应的敏感信息规则确定为目标敏感信息规则,得到多个目标敏感信息规则。
服务器分别从多个预置的敏感信息规则中提取多个敏感信息正则表达式,假设有4个敏感信息正则表达式,分别为敏感信息正则表达式A:((d{3,4})|d{3,4}-|s)d{8}、敏感信息正则表达式B:\d{17}[[0-9],0-9xX]、敏感信息正则表达式C:[\d\s]{4}([\d\s]+)[\d\s]{4}以及敏感信息正则表达式D:\d{3}(\d{4})\d{4},然后将日志正则表达式\d{3}(\d{4})\d{4}依次与多个敏感信息正则表达式进行匹配,敏感信息正则表达式D与日志正则表达式\d{3}(\d{4})\d{4}相匹配,则确定敏感信息正则表达式D对应的敏感信息规则为目标敏感信息规则。
104、根据多个目标敏感信息规则对日志信息进行脱敏,生成多个待写入日志信息;
服务器在确定多个目标敏感信息规则之后,按照多个目标敏感信息规则进行日志信息的脱敏,从而生成多个待写入日志信息。
在本实施例中,假设目标敏感信息规则为“保留前3位和后4位电话号码,加密其余电话号码”和“保留前6位身份证号码,用随机字符置换其余身份证号码”,日志信息中包括电话号码13766666666和身份证号码110000202010101010,根据该电话号码的目标敏感信息规则对电话号码进行加密脱敏,生成待写入日志信息为177****6666,根据身份证号码的目标敏感信息规则对身份证号码进行置换脱敏,生成待写入日志信息110000************,在对身份证号码置换脱敏时,采用的随机置换字符为“*”,在其他实施例中,还可以采用其他随机置换字符进行置换脱敏,例如“#”,当使用随机置换字符“#”对身份证号码置换脱敏之后,生成待写入日志信息110000############。
具体的,首先服务器基于多个目标敏感信息规则,在日志信息中分别确定多个待脱敏字段;然后服务器基于多个目标敏感信息规则分别对多个待脱敏字段进行脱敏处理,生成多个待写入日志信息,脱敏处理为加密处理、模糊处理和/或置换处理。
需要说明的是,目标敏感信息规则的脱敏处理为以下任一种或多种的组合处理方式:对待脱敏字段进行替换处理、对待脱敏字段进行加密处理、对待脱敏字段进行模糊处理、采用随机字符置换待脱敏字段等。
当获取日志信息之后,识别获取到的日志信息中的待脱敏字段,并根据待脱敏字段所属的目标敏感信息规则对目标脱敏数据进行脱敏处理,例如目标敏感信息规则中的脱敏方式为加密处理,则对生成待脱敏字段进行加密脱敏处理,生成待写入日志信息,目标敏感信息规则中的脱敏方式为置换处理,则采用随机字符置换待脱敏字段,生成待写入日志信息。对于同一个目标终端的日志信息,可以通过终端识别来推荐脱敏处理方式,通过对应的脱敏方式对同一个目标终端的日志信息进行敏感数据的脱敏操作,有助于提高敏感数据的脱敏效率,提高处理时间的利用率。
105、将多个待写入日志信息写入预置的文件中,生成脱敏后的目标日志文件;
服务器在脱敏处理后,将待写入日志信息写入预置的文件中,从而将待写入日志信息存储至对应的待脱敏字段的位置,生成脱敏后的目标日志文件,最后将该脱敏后的目标日志文件传输至目标下游系统,其中目标下游系统为运行维护方对应的系统,目标下游系统可以对脱敏后的目标日志文件进行检测,当检测到脱敏处理出现遗漏或者脱敏错误的问题时,向服务器发送敏感信息规则调整指令,服务器接收该调整指令,并进行敏感信息规则的调整。
106、当接收到敏感信息调整指令时,调整对应的敏感信息规则或者增加新的敏感信息规则,敏感信息调整指令为目标下游系统发出的指令。
需要说明的是,步骤106为可选的实施方式,敏感信息调整指令包括敏感信息更新指令、敏感信息增加指令和敏感信息删减指令。
当将目标日志文件传输至目标下游系统之后,服务器可能接收到敏感信息调整指令,当服务器接收到的敏感信息调整指令为敏感信息更新指令时,服务器基于敏感信息更新指令在预置的敏感信息规则中找到对应的敏感信息规则进行调整,生成新的敏感信息规则;当服务器接收到的是敏感信息增加指令,则基于敏感信息增加指令增加新的敏感信息规则;当服务器接收到的是敏感信息删减指令,则在多个预置的敏感信息规则中找到对应的敏感信息规则进行删除。
本发明实施例中,实时获取日志信息,并采用多个预置的敏感信息规则对日志信息进行敏感检测,从而确定多个目标敏感信息规则,根据多个目标敏感信息规则对日志信息进行脱敏,生成脱敏后的目标日志文件;通过使用多个敏感信息规则对日志信息进行敏感检测,并进行脱敏,解决了在业务程序运行时敏感信息堆积的问题,提高了数据脱敏的效率。
上面对本发明实施例中日志脱敏方法进行了描述,下面对本发明实施例中日志脱敏装置进行描述,请参阅图2,本发明实施例中日志脱敏装置一个实施例包括:
获取模块201,用于实时获取日志信息,所述日志信息为目标终端的日志信息;
表达式处理模块202,用于对所述日志信息进行处理,生成多个日志正则表达式;
敏感信息规则确定模块203,用于基于所述多个日志正则表达式分别在所述多个敏感信息规则中确定多个目标敏感信息规则;
脱敏模块204,用于根据所述多个目标敏感信息规则对所述日志信息进行脱敏,生成多个待写入日志信息;
写入模块205,用于将所述多个待写入日志信息写入预置的文件中,生成脱敏后的目标日志文件。
可选的,获取模块201还可以具体用于:
获取日志采集信息,并解析所述日志采集信息,生成采集标识;
判断所述采集标识是否为目标终端标识;
若所述采集标识为目标终端标识,则实时获取与所述目标终端对应的日志信息。
可选的,表达式处理模块202还可以具体用于:
从所述日志信息中提取多个关键字段,并根据所述多个关键字段,在多个预置的正则逻辑中分别确定多个目标正则逻辑;
基于每个所述关键字段确定对应的目标字符、对应的目标量词和/或对应的目标符号;
按照每个目标正则逻辑整合与每个关键字段对应的目标字符、对应的目标量词和/或对应的目标符号,生成对应的日志正则表达式,得到多个日志正则表达式。
可选的,敏感信息规则确定模块203还可以具体用于:
分别从所述多个预置的敏感信息规则中提取多个敏感信息正则表达式;
将所述多个日志正则表达式与所述多个敏感信息正则表达式进行匹配,当目标日志正则表达式与目标敏感信息正则表达式相匹配时,将所述目标敏感信息正则表达式对应的敏感信息规则确定为目标敏感信息规则,得到多个目标敏感信息规则。
可选的,脱敏模块204还可以具体用于:
基于所述多个目标敏感信息规则,在所述日志信息中分别确定多个待脱敏字段;
基于所述多个目标敏感信息规则分别对所述多个待脱敏字段进行脱敏处理,生成多个待写入日志信息,所述脱敏处理为加密处理、模糊处理和/或置换处理。
可选的,日志脱敏装置还包括:
调整模块206,当接收到敏感信息调整指令时,用于调整对应的敏感信息规则或者增加新的敏感信息规则,所述敏感信息调整指令为目标下游系统发出的指令。
本发明实施例中,实时获取日志信息,并采用多个预置的敏感信息规则对日志信息进行敏感检测,从而确定多个目标敏感信息规则,根据多个目标敏感信息规则对日志信息进行脱敏,生成脱敏后的目标日志文件;通过使用多个敏感信息规则对日志信息进行敏感检测,并进行脱敏,解决了在业务程序运行时敏感信息堆积的问题,提高了数据脱敏的效率。
上面图1和图2从模块化功能实体的角度对本发明实施例中的日志脱敏装置进行详细描述,下面从硬件处理的角度对本发明实施例中日志脱敏设备进行详细描述。
图3是本发明实施例提供的一种日志脱敏设备的结构示意图,该日志脱敏设备300可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessing units,CPU)310(例如,一个或一个以上处理器)和存储器320,一个或一个以上存储应用程序333或数据332的存储介质330(例如一个或一个以上海量存储设备)。其中,存储器320和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对日志脱敏设备300中的一系列指令操作。更进一步地,处理器310可以设置为与存储介质330通信,在日志脱敏设备300上执行存储介质330中的一系列指令操作。
日志脱敏设备300还可以包括一个或一个以上电源340,一个或一个以上有线或无线网络接口350,一个或一个以上输入输出接口360,和/或,一个或一个以上操作系统331,例如Windows Serve,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图3示出的日志脱敏设备结构并不构成对日志脱敏设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种日志脱敏设备,所述计算机设备包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行上述各实施例中的所述日志脱敏方法的步骤。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述日志脱敏方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种日志脱敏方法,其特征在于,所述日志脱敏方法包括:
实时获取日志信息,所述日志信息为目标终端的日志信息;
对所述日志信息进行处理,生成多个日志正则表达式;
基于所述多个日志正则表达式分别在所述多个敏感信息规则中确定多个目标敏感信息规则;
根据所述多个目标敏感信息规则对所述日志信息进行脱敏,生成多个待写入日志信息;
将所述多个待写入日志信息写入预置的文件中,生成脱敏后的目标日志文件。
2.根据权利要求1所述的日志脱敏方法,其特征在于,所述实时获取日志信息,所述日志信息为目标终端的日志信息包括:
获取日志采集信息,并解析所述日志采集信息,生成采集标识;
判断所述采集标识是否为目标终端标识;
若所述采集标识为目标终端标识,则实时获取与所述目标终端对应的日志信息。
3.根据权利要求1所述的日志脱敏方法,其特征在于,所述对所述日志信息进行处理,生成多个日志正则表达式包括:
从所述日志信息中提取多个关键字段,并根据所述多个关键字段,在多个预置的正则逻辑中分别确定多个目标正则逻辑;
基于每个所述关键字段确定对应的目标字符、对应的目标量词和/或对应的目标符号;
按照每个目标正则逻辑整合与每个关键字段对应的目标字符、对应的目标量词和/或对应的目标符号,生成对应的日志正则表达式,得到多个日志正则表达式。
4.根据权利要求1所述的日志脱敏方法,其特征在于,所述基于所述多个日志正则表达式分别在所述多个敏感信息规则中确定多个目标敏感信息规则包括:
分别从所述多个预置的敏感信息规则中提取多个敏感信息正则表达式;
将所述多个日志正则表达式与所述多个敏感信息正则表达式进行匹配,当目标日志正则表达式与目标敏感信息正则表达式相匹配时,将所述目标敏感信息正则表达式对应的敏感信息规则确定为目标敏感信息规则,得到多个目标敏感信息规则。
5.根据权利要求1所述的日志脱敏方法,其特征在于,所述根据所述多个目标敏感信息规则对所述日志信息进行脱敏,生成多个待写入日志信息包括:
基于所述多个目标敏感信息规则,在所述日志信息中分别确定多个待脱敏字段;
基于所述多个目标敏感信息规则分别对所述多个待脱敏字段进行脱敏处理,生成多个待写入日志信息,所述脱敏处理为加密处理、模糊处理和/或置换处理。
6.根据权利要求1-5中任意一项所述的日志脱敏方法,其特征在于,在所述将所述多个待写入日志信息写入预置的文件中,生成脱敏后的目标日志文件之后,所述日志脱敏方法还包括:
当接收到敏感信息调整指令时,调整对应的敏感信息规则或者增加新的敏感信息规则,所述敏感信息调整指令为目标下游系统发出的指令。
7.一种日志脱敏装置,其特征在于,所述日志脱敏装置包括:
获取模块,用于实时获取日志信息,所述日志信息为目标终端的日志信息;
表达式处理模块,用于对所述日志信息进行处理,生成多个日志正则表达式;
敏感信息规则确定模块,用于基于所述多个日志正则表达式分别在所述多个敏感信息规则中确定多个目标敏感信息规则;
脱敏模块,用于根据所述多个目标敏感信息规则对所述日志信息进行脱敏,生成多个待写入日志信息;
写入模块,用于将所述多个待写入日志信息写入预置的文件中,生成脱敏后的目标日志文件。
8.一种日志脱敏设备,其特征在于,所述日志脱敏设备包括:存储器和至少一个处理器,所述存储器中存储有指令;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述日志脱敏设备执行如权利要求1-6中任意一项所述的日志脱敏方法。
9.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-6中任一项所述日志脱敏方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011578003.5A CN112685771A (zh) | 2020-12-28 | 2020-12-28 | 日志脱敏方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011578003.5A CN112685771A (zh) | 2020-12-28 | 2020-12-28 | 日志脱敏方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112685771A true CN112685771A (zh) | 2021-04-20 |
Family
ID=75452588
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011578003.5A Pending CN112685771A (zh) | 2020-12-28 | 2020-12-28 | 日志脱敏方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112685771A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113722758A (zh) * | 2021-08-31 | 2021-11-30 | 平安科技(深圳)有限公司 | 日志脱敏方法、装置、计算机设备及存储介质 |
CN114116644A (zh) * | 2021-11-26 | 2022-03-01 | 北京字节跳动网络技术有限公司 | 一种日志文件处理方法、装置、设备及存储介质 |
CN114357486A (zh) * | 2022-01-04 | 2022-04-15 | 北京理房通支付科技有限公司 | 日志数据的写入方法和可读存储介质、电子设备 |
CN114626074A (zh) * | 2022-02-16 | 2022-06-14 | 杭州薮猫科技有限公司 | 一种防护数据泄漏的方法、装置、存储介质及计算机设备 |
CN114707180A (zh) * | 2022-03-31 | 2022-07-05 | 马上消费金融股份有限公司 | 日志脱敏方法和装置 |
CN114925389A (zh) * | 2022-04-29 | 2022-08-19 | 中国科学院信息工程研究所 | 个人信息多环节操作的协同处理方法、装置和系统 |
US11620179B1 (en) | 2021-11-05 | 2023-04-04 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, device, storage medium and program product for log information processing |
CN117077207A (zh) * | 2023-09-01 | 2023-11-17 | 广州世安智慧科技有限公司 | 一种敏感信息检测方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110276541A1 (en) * | 2010-05-10 | 2011-11-10 | Ricoh Company, Ltd. | Information processing system |
CN106203145A (zh) * | 2016-08-04 | 2016-12-07 | 北京网智天元科技股份有限公司 | 数据脱敏方法及相关设备 |
CN108829789A (zh) * | 2018-06-01 | 2018-11-16 | 平安普惠企业管理有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
CN109726590A (zh) * | 2018-12-24 | 2019-05-07 | 平安普惠企业管理有限公司 | 系统日志脱敏方法、脱敏系统、计算机设备及存储介质 |
CN110084053A (zh) * | 2019-05-07 | 2019-08-02 | 江苏满运软件科技有限公司 | 数据脱敏方法、装置、电子设备及存储介质 |
-
2020
- 2020-12-28 CN CN202011578003.5A patent/CN112685771A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110276541A1 (en) * | 2010-05-10 | 2011-11-10 | Ricoh Company, Ltd. | Information processing system |
CN106203145A (zh) * | 2016-08-04 | 2016-12-07 | 北京网智天元科技股份有限公司 | 数据脱敏方法及相关设备 |
CN108829789A (zh) * | 2018-06-01 | 2018-11-16 | 平安普惠企业管理有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
CN109726590A (zh) * | 2018-12-24 | 2019-05-07 | 平安普惠企业管理有限公司 | 系统日志脱敏方法、脱敏系统、计算机设备及存储介质 |
CN110084053A (zh) * | 2019-05-07 | 2019-08-02 | 江苏满运软件科技有限公司 | 数据脱敏方法、装置、电子设备及存储介质 |
Non-Patent Citations (4)
Title |
---|
BK: "使用Logback脱敏-扩展篇", pages 1 - 6, Retrieved from the Internet <URL:https://albk.tech/使用Logback脱敏-扩展篇.html> * |
KINDS1123: "CreateRe", pages 1 - 3, Retrieved from the Internet <URL:https://github.com/tuian/CreateRe/blob/master/README.md> * |
PHEONIXHKBXOIC: "regex_generator", pages 1 - 3, Retrieved from the Internet <URL:https://github.com/PheonixHkbxoic/regex_generator/blob/master/js/util_pheker.js> * |
SHIONISMYNAME: "EasyRegex", pages 1 - 2, Retrieved from the Internet <URL:https://github.com/shionIsMyName/EasyRegex/blob/master/README.md> * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113722758A (zh) * | 2021-08-31 | 2021-11-30 | 平安科技(深圳)有限公司 | 日志脱敏方法、装置、计算机设备及存储介质 |
CN113722758B (zh) * | 2021-08-31 | 2024-05-31 | 平安科技(深圳)有限公司 | 日志脱敏方法、装置、计算机设备及存储介质 |
US11620179B1 (en) | 2021-11-05 | 2023-04-04 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, device, storage medium and program product for log information processing |
WO2023078076A1 (zh) * | 2021-11-05 | 2023-05-11 | 北京字节跳动网络技术有限公司 | 日志信息处理方法、装置、设备、存储介质和程序产品 |
CN114116644A (zh) * | 2021-11-26 | 2022-03-01 | 北京字节跳动网络技术有限公司 | 一种日志文件处理方法、装置、设备及存储介质 |
CN114116644B (zh) * | 2021-11-26 | 2024-01-30 | 抖音视界有限公司 | 一种日志文件处理方法、装置、设备及存储介质 |
CN114357486A (zh) * | 2022-01-04 | 2022-04-15 | 北京理房通支付科技有限公司 | 日志数据的写入方法和可读存储介质、电子设备 |
CN114626074A (zh) * | 2022-02-16 | 2022-06-14 | 杭州薮猫科技有限公司 | 一种防护数据泄漏的方法、装置、存储介质及计算机设备 |
CN114707180A (zh) * | 2022-03-31 | 2022-07-05 | 马上消费金融股份有限公司 | 日志脱敏方法和装置 |
CN114925389A (zh) * | 2022-04-29 | 2022-08-19 | 中国科学院信息工程研究所 | 个人信息多环节操作的协同处理方法、装置和系统 |
CN117077207A (zh) * | 2023-09-01 | 2023-11-17 | 广州世安智慧科技有限公司 | 一种敏感信息检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112685771A (zh) | 日志脱敏方法、装置、设备及存储介质 | |
CN109815742B (zh) | 数据脱敏方法及装置 | |
CN106572117B (zh) | 一种WebShell文件的检测方法和装置 | |
CN105956180B (zh) | 一种敏感词过滤方法 | |
CN115238286A (zh) | 一种数据防护方法、装置、计算机设备及存储介质 | |
CN113268768A (zh) | 一种敏感数据的脱敏方法、装置、设备及介质 | |
US20240054210A1 (en) | Cyber threat information processing apparatus, cyber threat information processing method, and storage medium storing cyber threat information processing program | |
CN112765673A (zh) | 一种敏感数据统计方法及相关装置 | |
CN113642025A (zh) | 接口数据处理方法、装置、设备及存储介质 | |
CN116340989A (zh) | 一种数据脱敏方法、装置、电子设备及存储介质 | |
CN111881480A (zh) | 隐私数据加密方法、装置、计算机设备及存储介质 | |
Holmes et al. | A framework for live host-based Bitcoin wallet forensics and triage | |
Layton et al. | Authorship analysis of the Zeus botnet source code | |
Park et al. | Forensic investigation framework for cryptocurrency wallet in the end device | |
CN114996708B (zh) | 涉诈手机应用研判方法、装置、电子设备及存储介质 | |
CN114372290A (zh) | 企业元数据处理方法、装置、设备及存储介质 | |
CN108052842A (zh) | 签名数据的存储、验证方法及装置 | |
CN114003737A (zh) | 基于人工智能的双录审查辅助方法、装置、设备及介质 | |
CN113297622A (zh) | 一种日志脱敏方法、系统、电子设备及存储介质 | |
CN114124586A (zh) | 一种网络威胁检测方法及装置 | |
CN110147671A (zh) | 一种程序内字符串提取方法及装置 | |
CN115688184B (zh) | 日志脱敏方法、装置、电子设备和存储介质 | |
CN114626074B (zh) | 一种防护数据泄漏的方法、装置、存储介质及计算机设备 | |
WO2023175954A1 (ja) | 情報処理装置、情報処理方法、及びコンピュータ読み取り可能な記録媒体 | |
WO2022201307A1 (ja) | 情報分析装置、情報分析方法、及びコンピュータ読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |