CN108009435B - 数据脱敏方法、装置及存储介质 - Google Patents

数据脱敏方法、装置及存储介质 Download PDF

Info

Publication number
CN108009435B
CN108009435B CN201711369898.XA CN201711369898A CN108009435B CN 108009435 B CN108009435 B CN 108009435B CN 201711369898 A CN201711369898 A CN 201711369898A CN 108009435 B CN108009435 B CN 108009435B
Authority
CN
China
Prior art keywords
data
sensitive data
desensitization
matching
special character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711369898.XA
Other languages
English (en)
Other versions
CN108009435A (zh
Inventor
莫倩
刘硕
郑兵
巴达日胡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wiseweb Technology Group Co ltd
Original Assignee
Wiseweb Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wiseweb Technology Group Co ltd filed Critical Wiseweb Technology Group Co ltd
Priority to CN201711369898.XA priority Critical patent/CN108009435B/zh
Publication of CN108009435A publication Critical patent/CN108009435A/zh
Application granted granted Critical
Publication of CN108009435B publication Critical patent/CN108009435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/90335Query processing
    • G06F16/90344Query processing by using string matching techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据脱敏方法、装置及存储介质,属于大数据技术领域。所述数据脱敏方法首先判断敏感数据是否具有有效性,在为是时,对所述敏感数据进行特殊字符移除,从而获得规范敏感数据,再对所述规范敏感数据进行脱敏。所述数据脱敏方法通过在进行数据脱敏前判断有效性、移除特殊字符,能对敏感数据进行杂质清理和格式化,进而降低了操作人员在进行敏感数据录入时的操作繁复程度,提高了数据脱敏的效率。

Description

数据脱敏方法、装置及存储介质
技术领域
本发明涉及大数据技术领域,具体而言,涉及一种数据脱敏方法、装置及存储介质。
背景技术
随着互联网的普及与大数据技术的快速发展,个人以及企业数据已经成为重要的数据资源,业内大数据企业通过对个人以及企业的数据进行分析,可进行精准服务,但针对个人以及企业数据资源中的安全问题也随着数据价值的凸显变得越来越重要。为了保护数据安全,我国出台了一系列的法律法规。如《信息系统安全等级保护》、《GBT 22240-2008信息安全技术信息系统安全等级保护定级指南》、《信息安全技术公共及商用服务信息系统个人信息保护指南》等规范来保护信息数据的安全。然而,仅仅从法律层面上进行数据保护规则的制定,并不能完全解决数据安全问题。
因此,很多拥有敏感数据的企业采用技术手段来对敏感数据进行数据脱敏。数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下,根据系统规则,对真实数据进行脱敏并提供敏感数据使用单位进行使用。但是现有的数据脱敏方法对敏感数据的脱敏有很高的局限性,会因录入时添加空格等个别特殊字符而无法进行正常脱敏,往往还需要进行人工修改,导致数据脱敏步骤繁复、脱敏效率低。
发明内容
有鉴于此,本发明实施例的目的在于提供一种数据脱敏方法、装置及存储介质,以解决现有的数据脱敏方法对敏感数据的脱敏有很高的局限性,会因录入时添加空格等个别特殊字符而无法进行正常脱敏,数据脱敏步骤繁复、脱敏效率低的问题。
第一方面,本发明实施例提供了一种数据脱敏方法,所述数据脱敏方法首先判断敏感数据是否具有有效性,在为是时,对所述敏感数据进行特殊字符移除,从而获得规范敏感数据,再对所述规范敏感数据进行脱敏。
综合第一方面,所述判断敏感数据是否具有有效性,包括:判断所述敏感数据是否只包含Null、空格和/或空字符串,在为否时,所述敏感数据具有有效性。
综合第一方面,在所述对所述敏感数据进行特殊字符移除之前,所述方法还包括:基于预设的特殊字符库判断所述敏感数据的每个字符是否为特殊字符,在为是时,移除所述特殊字符;将所述特殊字符保存至特殊字符临时库,并记录所述特殊字符在所述特殊字符临时库中的索引位置。其中,所述特殊字符包括不可见字符、不脱敏字符等字符。
综合第一方面,在所述对所述规范敏感数据进行脱敏之前,所述方法还包括:基于预设的判断规则判断所述规范敏感数据的数据类型是否为符合脱敏算法的数据类型,在为是时,执行步骤:对所述规范敏感数据进行脱敏。其中,所述判断规则包括与不同数据类型对应的不同子判断规则,每个子判断规则依次设置有有限个匹配条件。
综合第一方面,所述基于预设的判断规则判断所述规范敏感数据的数据类型是否为符合脱敏算法的数据类型,包括:判断所述规范敏感数据的数据类型是否依次符合某一子判断规则的所有匹配条件,在为是时,所述规范敏感数据为与所述某一子判断规则对应的符合脱敏算法的数据类型。
综合第一方面,所述判断所述规范敏感数据的数据类型是否依次符合某一子判断规则的所有匹配条件,包括:将所述规范敏感数据与每个子判断规则的第一匹配条件进行匹配;在匹配失败时终止所述规范敏感数据与第N匹配条件匹配失败的子判断规则的其他匹配条件进行匹配,在匹配成功时将所述规范敏感数据与第一匹配条件匹配成功的子判断规则的第N+1匹配条件进行匹配;判断所述规范敏感数据是否依次与某一子判断规则的所有匹配条件完成匹配,即是否依次符合某一子判断规则的所有匹配条件。其中,N为大于等于1的正整数。
第二方面,本发明实施例提供了一种数据脱敏装置,所述数据脱敏装置包括有效性判断模块、数据规范模块和脱敏模块。所述有效性判断模块用于判断敏感数据是否具有有效性。所述数据规范模块用于对所述敏感数据进行特殊字符移除,从而获得规范敏感数据。所述脱敏模块用于对所述规范敏感数据进行脱敏。
综合第二方面,所述数据规范模块包括特殊字符判断单元和特殊字符处理单元。所述特殊字符判断单元用于基于预设的特殊字符库判断所述敏感数据的每个字符是否为特殊字符。所述特殊字符处理单元用于将所述特殊字符保存至特殊字符临时库,还用于记录所述特殊字符在所述特殊字符临时库中的索引位置。
综合第二方面,所述脱敏模块包括脱敏判断单元和脱敏执行单元。所述脱敏判断单元用于基于预设的判断规则判断所述规范敏感数据的数据类型是否为符合脱敏算法的数据类型。所述脱敏执行单元用于对所述规范敏感数据进行脱敏。
第三方面,本发明实施例还提供了一种存储介质,所述存储介质存储于计算机内,所述存储介质包括多条指令,所述多条指令被设置成使得所述计算机执行上述方法。
本发明实施例的有益效果是:
本发明提供的一种数据脱敏方法、装置及存储介质,所述数据脱敏方法在对数据执行脱敏步骤前判断敏感数据是否具有有效性,并进一步移除所述敏感数据中的特殊字符获得规范敏感数据,再对所述规范敏感数据进行脱敏,使在执行脱敏步骤前敏感数据已被规范化,含有特殊字符的敏感数据也能进行脱敏,提升了脱敏效率。所述数据脱敏方法还将移除的特殊字符进行存储,在需要重新添加特殊字符进行使用时可直接调用所述特殊字符,不需要录入人员手动添加特殊字符,简化了操作步骤。同时通过预设多种数据类型的判断规则使所述方法能够对各种类型和格式的敏感数据进行迅速脱敏,具有更好的适应性。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明第一实施例提供的一种数据脱敏方法的流程图;
图2为本发明第一实施例提供的一种数据脱敏步骤的流程图;
图3为本发明第二实施例提供的一种数据脱敏装置的模块图;
图4为本发明第三实施例提供的一种可应用于本发明实施例中的电子设备的机构框图。
图标:100-数据脱敏装置;110-有效性判断模块;120-数据规范模块;130-脱敏模块;200-电子设备;201-存储器;202-存储控制器;203-处理器;204-外设接口;205-输入输出单元;206-音频单元;207-显示单元。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
第一实施例
经本申请人研究后发现,现有数据脱敏方法无法判断录入信息是否含有有效数据,可能会对无效信息进行录入和脱敏。同时目前的数据脱敏方法对敏感数据的脱敏有很高的局限性,对于敏感数据原始录入时因录入人员操作加入的“***”、空格等特殊字符,现有数据脱敏方法便不能对其进行脱敏,因该数据已不符合所设定的数据规则,如对敏感数据统一进行格式化,则准备性工作量大,需要定期更新数据,同时还需要对数据录入人员进行统一严格要求。进一步地,对于某些特殊情况使用者需要增加特殊字符以便适用已有系统或使用需求,现有技术则不能对含有特殊字符的敏感数据进行脱敏,因此这样的脱敏方式并不能满足灵活多变的需求。为了解决上述问题,请参考图1,图1示出了本实施例提供的一种数据脱敏方法,所述数据脱敏方法的具体步骤如下:
步骤S100:判断敏感数据是否具有有效性,在为是时,执行步骤S200。
步骤S200:对所述敏感数据进行特殊字符移除,从而获得规范敏感数据。
步骤S300:对所述规范敏感数据进行脱敏。
对于步骤S100:由于录入人员的失误、存储设备出错或其他原因导致录入的敏感数据中包括仅仅只包含Null、空格、特殊字符等字符的敏感数据,因此步骤S100中对录入敏感数据的有效性进行了检测,即判断所述敏感数据是否只包含Null、空格和/或空字符串,或只包含特殊字符,在为否时,则确定所述敏感数据具有有效性。检测敏感数据有效性的步骤使在后续脱敏时不会对无效数据进行脱敏操作,从而避免了运行空间、存储空间以及时间的浪费,大大提升了脱敏速度和效率。
进一步地,在判断所述敏感数据是否具有有效性之前,本实施例会随每条敏感数据的录入输入加密脱敏因子K和盐值因子S,K和S为任意自然数。加密脱敏因子K为系统或录入人员随机输入,其为脱敏公式中用于防止输出脱敏数据相同的一个参数。盐值因子S为脱敏公式中影响脱敏后输出的具体脱敏数据的参数。举例说明,以身份证号220323199203080817为例,首先传入敏感数据“220323199203080817***”,随机获取加密脱敏因子K=10,预设盐值因子S=10。随后对敏感数据“220323199203080817***”进行数据有效性的判断,在通过所述有效性判断后,继续执行步骤S200。
在本发明实施例中,执行步骤S100验证了敏感数据的有效性后,接下来执行步骤S200,即:对所述敏感数据进行特殊字符移除,从而获得规范敏感数据。应当理解的是,在对所述敏感数据进行特殊字符移除之前,所述方法还包括:基于预设的特殊字符库判断所述敏感数据的每个字符是否为特殊字符;在为是时,移除所述特殊字符;将所述特殊字符保存至特殊字符临时库,并记录所述特殊字符在所述特殊字符临时库中的索引位置。其中,特殊字符库可以是根据具体需求预设的,也可以是采用常用的现有特殊字符库。在本实施例中,所述特殊字符可以包括:不可见字符、不清洗字符、前32个ascii码、不为汉字/字母/数字的字符等。同时,由于以后可能会需要在数据中重新插入被移除的特殊字符进行某些特定操作,因此本实施例在移除所述特殊字符后会将所述特殊字符保存至特殊字符临时库,并记录所述特殊字符在所述特殊字符临时库中的索引位置,方便以后需要对所述特殊字符进行调用的时候找回,进而移除敏感数据中的特殊字符将其转变为易于脱敏的规范敏感数据,同时保留了原始敏感数据的完整性。
继续以步骤S100中的例子说明,首先基于预设的特殊字符字库判断通过有效性判断的敏感数据“220323199203080817***”中的每个字符是否为特殊字符,其判断出所述敏感数据的最后三个字符即“***”为特殊字符,将其移除后的规范敏感数据为“220323199203080817”,同时记录被保存语临时特殊字符库的特殊字符“***”的索引位置为第18、19、20位。
敏感数据的类型繁多,现有的敏感数据脱敏方法大多只能对与其类型对应的一种或两种敏感数据进行脱敏,在敏感数据为其他类型时无法对其进行灵活处理。为了解决上述问题,本实施例在执行步骤S200得到规范敏感数据后,在接下来执行步骤S300之前,还包括步骤:基于预设的判断规则判断所述规范敏感数据的数据类型是否为符合脱敏算法的数据类型,在为是时,执行步骤S300。其中,所述判断规则包括与不同数据类型对应的不同子判断规则,每个子判断规则依次设置有有限个匹配条件。可选地,所述不同数据类型可以包括身份证、组织机构代码、纳税人识别码、银行卡、电子邮箱、营业执照、移动电话、姓名、地址、公司名等。作为一种实施方式,本实施例中所述身份证的判断规则的第一匹配条件为前6位位行政区规划码,第二匹配条件为日期符合规则,第三匹配条件为校验码为正确校验码(仅18位验证,国家标准GB11643-1999);所述组织机构代码的判断规则的第一匹配条件为第九位为正确校验码(GB/T 31286-2014);所述纳税人识别码的判断规则的第一匹配条件为前6位位行政区规划码,第二匹配条件为后9位为组织机构代码;所述银行卡的判断规则的第一匹配条件为前6位为卡bin号,第二匹配条件为中间位为个人账号标识,第三匹配条件为最后一位为验证码。应当理解的是,上述不同数据类型的不同判断规则和相应的匹配条件仅仅是所有数据类型中的几种,同时已经举例列出的判断规则和匹配条件也可以进行改变,根据具体情况转变为更适合的判断规则以及匹配条件。继续以规范敏感数据“220323199203080817”为例,在判断规范敏感数据“220323199203080817”是否匹配各数据类型判断规则的第一匹配条件,其仅能与身份证和纳税人识别码的第一匹配条件完成匹配,即“220323”为行政规划码。进行第二匹配条件的匹配,对于身份证判断规则的第二匹配条件来说“19920308”为日期,继续验证;对于纳税人识别码判断规则的第二匹配条件来说后9位“199203080”不是组织机构代码,停止纳税人识别码判断规则的匹配。再进行身份证的判断规则的第三匹配条件的匹配,所述规范敏感数据“220323199203080817”的校验码为正确校验码,确定所述规范敏感数据“220323199203080817”符合身份证判断规则,符合本算法脱敏的数据类型。
在判断所述规范敏感数据为本算法脱敏的数据类型后,执行步骤S300:对所述规范敏感数据进行脱敏。请参考图2,图2为本实施例提供的一种数据脱敏步骤的流程图。继续以身份证为例说明,脱敏的具体步骤为:调用预设脱敏字库(常用行业字库),预设盐值因子S=10;根据身份证判断规则,将敏感数据拆分成“220323”(行政区规划码)、“19920308”(日期)、“081”(顺序码)形成敏感数据字段;将“220323”配置编号Ci为1,“19920308”配置编号Ci为2,“081”配置编号Ci为3;分别将敏感数据字段“220323”、“19920308”、“081”与脱敏字库对应位置建立映射,形成敏感数据字段字符索引Di,分别:10、15、18;调用加密脱敏因子K=10、预设的盐值因子S=10与编号1、2、3,生成各敏感数据字段的清洗盐值F2函数,即F2(10,10,1)、F2(10,10,2)F2(10,10,3);通过哈希code、Base64或Md5中任意一种加密算法,对清洗盐值F2(10,10,1)、F2(10,10,2)、F3(10,10,3)函数进行调用,生成清洗盐值F2值,本实施例以Base64算法为例,生成清洗盐值F2分别为12、15、19;以编号Ci最小数值为起始,调用算法Di+F2=Dm,将敏感数据字段字符索引Di与清洗盐值F2值相加,得到脱敏后敏感数据字段字符索引Dm,分别为10+12=22、15+15=30、18+19=37;将脱敏后敏感数据字段字符索引Dm与脱敏字库的对应位置建立映射,形成脱敏后数据字段,从而得到行政区规划码“370284”,日期为“19930412”,顺序码为“271”;经判断敏感数据“220323199203080817”拥有校验码,根据国家标准GB11643-1999,利用脱敏后数据生成校验码为3;将脱敏后数据字段组成脱敏后数据R,所述脱敏后数据R即脱敏数据为“370284199304122713”;将特殊字符“***”从临时库中取出,按照索引位置为第18、19、20位依次插入清洗后数据的索引位置“18:*,19:*,20:*”得到新的数据,并将脱敏得到的“370284199304122713***”返回。应当理解的是,是否放回特殊字符应根据具体情况进行判断,在特殊字符没有相应作用时可不放回特殊字符。
本实施例提供的数据脱敏方法在对敏感数据进行脱敏以前会进行有效性判断和特殊字符移除,保证了数据的规范化,提高了数据脱敏的效率,同时被移除的特殊字符在敏感数据脱敏完成后还能放回,确保了数据的完整性;在对规范敏感数据进行脱敏前基于预设的各类型敏感数据类型确定所述规范敏感数据的数据类型,再根据规范敏感数据的数据类型对其进行脱敏,使所述数据脱敏方法能灵活判断业内大多数敏感数据,并对大部分敏感数据进行脱敏,适用范围变广且不需要对某种类型的敏感数据进行特殊设计,从而提高了数据脱敏效率。
第二实施例
为了实现上述数据脱敏方法,本实施例提供了一种数据脱敏装置100。请参考图3,图3为本实施例提供的一种数据脱敏装置的模块图。
数据脱敏装置100包括有效性判断模块110、数据规范模块120和脱敏模块130。
有效性判断模块110,用于判断敏感数据是否具有有效性。
数据规范模块120,用于对所述敏感数据进行特殊字符移除,从而获得规范敏感数据。
脱敏模块130,用于对所述规范敏感数据进行脱敏。
其中,数据规范模块120包括特殊字符判断单元和特殊字符处理单元。所述特殊字符判断单元用于基于预设的特殊字符库判断所述敏感数据的每个字符是否为特殊字符。所述特殊字符处理单元用于将所述特殊字符保存至特殊字符临时库,还用于记录所述特殊字符在所述特殊字符临时库中的索引位置。应当注意的是,所述数据规范模块120还可以包括作为特殊字符判断依据的特殊字符库存储单元。
对于脱敏模块130:脱敏模块130包括脱敏判断单元和脱敏执行单元。所述脱敏判断单元用于基于预设的判断规则判断所述规范敏感数据的数据类型是否为符合脱敏算法的数据类型。所述脱敏执行单元用于对所述规范敏感数据进行脱敏。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法中的对应过程,在此不再过多赘述。
第三实施例
请参照图4,图4示出了一种可应用于本申请实施例中的电子设备200的结构框图。电子设备200可以包括数据脱敏装置100、存储器201、存储控制器202、处理器203、外设接口204、输入输出单元205、音频单元206、显示单元207。
所述存储器201、存储控制器202、处理器203、外设接口204、输入输出单元205、音频单元206、显示单元207各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述数据脱敏装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器201中或固化在数据脱敏装置100的操作系统(operating system,OS)中的软件功能模块。所述处理器203用于执行存储器201中存储的可执行模块,例如数据脱敏装置100包括的软件功能模块或计算机程序。
其中,存储器201可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器201用于存储程序,所述处理器203在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器203中,或者由处理器203实现。
处理器203可以是一种集成电路芯片,具有信号的处理能力。上述的处理器203可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器203也可以是任何常规的处理器等。
所述外设接口204将各种输入/输出装置耦合至处理器203以及存储器201。在一些实施例中,外设接口204,处理器203以及存储控制器202可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
输入输出单元205用于提供给用户输入数据实现用户与所述服务器(或本地终端)的交互。所述输入输出单元205可以是,但不限于,鼠标和键盘等。
音频单元206向用户提供音频接口,其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。
显示单元207在所述电子设备200与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中,所述显示单元207可以是液晶显示器或触控显示器。若为触控显示器,其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作,并将该感应到的触控操作交由处理器203进行计算和处理。
可以理解,图4所示的结构仅为示意,所述电子设备200还可包括比图4中所示更多或者更少的组件,或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法中的对应过程,在此不再过多赘述。
综上所述,本发明实施例提供了一种数据脱敏方法、装置及存储介质,所述数据脱敏方法在对数据执行脱敏步骤前判断敏感数据是否具有有效性,并进一步移除所述敏感数据中的特殊字符获得规范敏感数据,再对所述规范敏感数据进行脱敏,使在执行脱敏步骤前敏感数据已被规范化,含有特殊字符的敏感数据也能进行脱敏,提升了脱敏效率。所述数据脱敏方法还将移除的特殊字符进行存储,在需要重新添加特殊字符进行使用时可直接调用所述特殊字符,不需要录入人员手动添加特殊字符,简化了操作步骤。同时通过预设多种数据类型的判断规则使所述方法能够对各种类型和格式的敏感数据进行迅速脱敏,具有更好的适应性。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (8)

1.一种数据脱敏方法,其特征在于,包括:
判断敏感数据是否具有有效性;
在为是时,对所述敏感数据进行特殊字符移除,从而获得规范敏感数据;
对所述规范敏感数据进行脱敏;
其中,在所述对所述规范敏感数据进行脱敏之前,所述方法还包括:
基于预设的判断规则判断所述规范敏感数据的数据类型是否为符合脱敏算法的数据类型,其中,所述判断规则包括与不同数据类型对应的不同子判断规则,每个子判断规则依次设置有有限个匹配条件;
在为是时,执行步骤:对所述规范敏感数据进行脱敏。
2.根据权利要求1所述的数据脱敏方法,其特征在于,所述判断敏感数据是否具有有效性,包括:
判断所述敏感数据是否只包含Null、空格和/或空字符串;
在为否时,所述敏感数据具有有效性。
3.根据权利要求1所述的数据脱敏方法,其特征在于,在所述对所述敏感数据进行特殊字符移除之前,所述方法还包括:
基于预设的特殊字符库判断所述敏感数据的每个字符是否为特殊字符,其中,所述特殊字符包括不可见字符、不脱敏字符等字符;
在为是时,移除所述特殊字符;
将所述特殊字符保存至特殊字符临时库,并记录所述特殊字符在所述特殊字符临时库中的索引位置。
4.根据权利要求3所述的数据脱敏方法,其特征在于,所述基于预设的判断规则判断所述规范敏感数据的数据类型是否为符合脱敏算法的数据类型,包括:
判断所述规范敏感数据的数据类型是否依次符合某一子判断规则的所有匹配条件;
在为是时,所述规范敏感数据为与所述某一子判断规则对应的符合脱敏算法的数据类型。
5.根据权利要求4所述的数据脱敏方法,其特征在于,所述判断所述规范敏感数据的数据类型是否依次符合某一子判断规则的所有匹配条件,包括:
将所述规范敏感数据与每个子判断规则的第一匹配条件进行匹配;
在匹配失败时终止所述规范敏感数据与第N匹配条件匹配失败的子判断规则的其他匹配条件进行匹配,在匹配成功时将所述规范敏感数据与第一匹配条件匹配成功的子判断规则的第N+1匹配条件进行匹配,其中,N为大于等于1的正整数;
判断所述规范敏感数据是否依次与某一子判断规则的所有匹配条件完成匹配,即是否依次符合某一子判断规则的所有匹配条件。
6.一种数据脱敏装置,其特征在于,所述数据脱敏装置包括:
有效性判断模块,用于判断敏感数据是否具有有效性;
数据规范模块,用于对所述敏感数据进行特殊字符移除,从而获得规范敏感数据;
脱敏模块,用于对所述规范敏感数据进行脱敏;
并且,所述脱敏模块包括:
脱敏判断单元,用于基于预设的判断规则判断所述规范敏感数据的数据类型是否为符合脱敏算法的数据类型;其中,所述判断规则包括与不同数据类型对应的不同子判断规则,每个子判断规则依次设置有有限个匹配条件;
脱敏执行单元,用于对所述规范敏感数据进行脱敏。
7.根据权利要求6所述的数据脱敏装置,其特征在于,所述数据规范模块包括:
特殊字符判断单元,用于基于预设的特殊字符库判断所述敏感数据的每个字符是否为特殊字符;
特殊字符处理单元,用于将所述特殊字符保存至特殊字符临时库,还用于记录所述特殊字符在所述特殊字符临时库中的索引位置。
8.一种存储介质,其特征在于,所述存储介质存储于计算机内,所述存储介质包括多条指令,所述多条指令被设置成使得所述计算机执行权利要求1-5任一项所述方法。
CN201711369898.XA 2017-12-18 2017-12-18 数据脱敏方法、装置及存储介质 Active CN108009435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711369898.XA CN108009435B (zh) 2017-12-18 2017-12-18 数据脱敏方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711369898.XA CN108009435B (zh) 2017-12-18 2017-12-18 数据脱敏方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN108009435A CN108009435A (zh) 2018-05-08
CN108009435B true CN108009435B (zh) 2020-12-18

Family

ID=62059851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711369898.XA Active CN108009435B (zh) 2017-12-18 2017-12-18 数据脱敏方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN108009435B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308258A (zh) * 2018-08-21 2019-02-05 中国平安人寿保险股份有限公司 测试数据的构造方法、装置、计算机设备和存储介质
CN109522301A (zh) * 2018-11-07 2019-03-26 平安医疗健康管理股份有限公司 一种数据处理方法、电子设备及存储介质
CN109726585B (zh) * 2018-12-14 2020-08-04 银江股份有限公司 一种面向身份证号码的集成数据脱敏系统及方法
CN111382457B (zh) * 2018-12-28 2023-08-18 神州数码医疗科技股份有限公司 一种数据风险评估方法和装置
CN111818036B (zh) * 2020-06-30 2021-06-04 平安科技(深圳)有限公司 敏感信息保护方法、装置、计算设备及存储介质
CN113094742B (zh) * 2021-03-15 2024-05-03 国政通科技有限公司 数据脱敏方法、数据脱敏装置、电子设备及存储介质
CN113704573A (zh) * 2021-08-26 2021-11-26 北京中安星云软件技术有限公司 一种数据库敏感数据扫描方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778380A (zh) * 2013-12-31 2014-05-07 网秦(北京)科技有限公司 数据脱敏和反脱敏方法及相关设备
CN105515963A (zh) * 2015-12-03 2016-04-20 中国联合网络通信集团有限公司 数据网关装置和大数据系统
CN106203145A (zh) * 2016-08-04 2016-12-07 北京网智天元科技股份有限公司 数据脱敏方法及相关设备
CN106371975B (zh) * 2016-08-31 2019-03-01 国信优易数据有限公司 一种运维自动化预警方法和系统
CN106529329A (zh) * 2016-10-11 2017-03-22 中国电子科技网络信息安全有限公司 一种用于大数据的脱敏系统及脱敏方法
CN106599713B (zh) * 2016-11-11 2019-04-12 中国电子科技网络信息安全有限公司 一种基于大数据的数据库脱敏系统及方法
CN106649587B (zh) * 2016-11-17 2020-06-16 国家电网公司 一种基于大数据信息系统的高安全性脱敏方法
CN107480549B (zh) * 2017-06-28 2019-08-02 银江股份有限公司 一种面向数据共享的敏感信息脱敏方法及系统

Also Published As

Publication number Publication date
CN108009435A (zh) 2018-05-08

Similar Documents

Publication Publication Date Title
CN108009435B (zh) 数据脱敏方法、装置及存储介质
WO2020134657A1 (zh) 系统日志脱敏方法、脱敏系统、计算机设备及存储介质
US20180096360A1 (en) Method and apparatus to enforce smart contract execution hierarchy on blockchain
US7249261B2 (en) Method for securely supporting password change
US11665135B2 (en) Domain name processing systems and methods
CN110597511B (zh) 一种页面自动生成方法、系统、终端设备及存储介质
GB2513720A (en) Computer-implemented systems and methods for comparing and associating objects
CN113364753B (zh) 反爬虫方法、装置、电子设备及计算机可读存储介质
CN109040110B (zh) 一种外发行为检测方法及装置
US8484724B2 (en) User permissions in computing systems
CN115238286A (zh) 一种数据防护方法、装置、计算机设备及存储介质
CN110598996A (zh) 一种风险处理方法、装置、电子设备及存储介质
CN106161095B (zh) 数据泄露的预警方法及装置
CN112685771A (zh) 日志脱敏方法、装置、设备及存储介质
CN111861465A (zh) 基于智能合约的检测方法及装置、存储介质、电子装置
CN108446989B (zh) 手续费确定方法及终端设备
CN111177362B (zh) 一种信息处理方法、装置、服务器及介质
CN109409135B (zh) 一种数据的特征信息获得方法、装置、设备和存储介质
KR101742041B1 (ko) 개인정보를 보호하는 장치, 개인정보를 보호하는 방법 및 개인정보를 보호하는 프로그램을 저장하는 저장매체
CN113051257B (zh) 一种业务数据清洗方法及装置
CN112069540A (zh) 敏感信息处理方法、装置及介质
CN110943982A (zh) 单据数据加密的方法、装置、电子设备和存储介质
CN117610546A (zh) 元数据准确性检测方法、装置、设备、介质和程序产品
CN117011011A (zh) 审核数据的处理方法、装置、设备及存储介质
CN114970454A (zh) 一种编码处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant