CN110532805A - 数据脱敏方法及装置 - Google Patents
数据脱敏方法及装置 Download PDFInfo
- Publication number
- CN110532805A CN110532805A CN201910837553.5A CN201910837553A CN110532805A CN 110532805 A CN110532805 A CN 110532805A CN 201910837553 A CN201910837553 A CN 201910837553A CN 110532805 A CN110532805 A CN 110532805A
- Authority
- CN
- China
- Prior art keywords
- data
- participle
- data record
- record
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2107—File encryption
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种数据脱敏方法及装置。其中,该方法通过获取存储于数据库中的目标数据集合,该集合中包含多条数据记录;对数据记录进行分词处理,得到对应的若干个分词,计算每个分词所出现的频率,若某分词出现的频率大于预设频率阈值,则将该分词作为特征分词;针对某条数据记录,将该数据记录中除特征分词之外的其他分词进行加密处理,以得到脱敏后的数据记录。该方法从目标数据集合中提取出出现频率较多的分词作为特征分词,对特征分词之外的分词进行加密处理,以得到加密后的数据记录。若某条数据记录被恶意用于所窃取,该恶意用户也无法获取到该数据记录中除特征分词之外的其他数据信息,进而保障数据记录的安全。
Description
技术领域
本申请涉及数据安全技术领域,特别是涉及数据脱敏方法及装置。
背景技术
数据库是比较常见的存储介质,用于存储数据,如存储与用户相关的数据记录。
数据库中存在具有一定安全性的安全系统,用以防止恶意用户的对数据库的攻击。但该系统容易被恶意用户通过非法手段绕过,进而将数据库中的数据记录进行窃取,如窃取某用户的姓名、银行卡账号等。导致与用户相关的数据记录被曝光,用户相关信息泄露。
为此,需要一种数据脱敏方法,以保证与用户相关的数据记录的安全。
发明内容
有鉴于此,本申请提供了一种数据脱敏方法,以保证数据记录的安全。另外,本申请还提供了一种数据脱敏装置,用以保证所述方法在实际中的应用及实现。
为实现所述目的,本申请提供的技术方案如下:
第一方面,本申请提供了一种数据脱敏方法,包括:
获得目标数据集合,所述目标数据集合包含相同内容类型的若干条数据记录;
对所述数据记录进行分词处理,得到所述数据记录的若干个分词;
计算各个分词在所有数据记录的所有分词中的出现频率;
将出现频率达到预设频率阈值的分词确定为特征分词;
针对每条数据记录,将所述数据记录包含的特征分词之外的分词进行加密处理,以得到脱敏后的数据记录。
第二方面,本申请提供了一种数据脱敏装置,包括:
获取模块,用于获得目标数据集合,所述目标数据集合包含相同内容类型的若干条数据记录;
分词模块,用于对所述数据记录进行分词处理,得到所述数据记录的若干个分词;
计算模块,用于计算各个分词在所有数据记录的所有分词中的出现频率;
确定模块,用于将出现频率达到预设频率阈值的分词确定为特征分词;
加密模块,用于针对每条数据记录,将所述数据记录包含的特征分词之外的分词进行加密处理,以得到脱敏后的数据记录。
由上述技术方案可知,本申请提供了一种数据脱敏方法,该方法通过获取存储于数据库中的目标数据集合,该集合中包含多条数据记录;对数据记录进行分词处理,得到对应的若干个分词,计算每个分词所出现的频率,若某分词出现的频率大于预设频率阈值,则将该分词作为特征分词;针对某条数据记录,将该数据记录中除特征分词之外的其他分词进行加密处理,以得到脱敏后的数据记录。该方法从目标数据集合中提取出出现次数较多的分词作为特征分词,对特征分词之外的分词进行加密处理,以得到加密后的数据记录。若某条数据记录被恶意用于所窃取,该恶意用户也无法获取到该数据记录中除特征分词之外的其他数据信息,进而保障数据记录的安全。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种数据脱敏方法的流程图;
图2为本申请提供的另一种数据脱敏方法的流程图;
图3为本申请提供的一种数据脱敏装置的结构框图;
图4为本申请提供的另一种数据脱敏装置的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
数据库中存储有若干条数据记录,每条数据记录都包含若干个与用户信息相关的数据。
数据库中设置有安全系统,用以防止恶意用户对数据库的攻击。但是该安全系统可能会被恶意用户成功绕过,进而窃取存储在数据库中数据记录,导致用户的相关信息泄露。
为此,本申请提供了一种数据脱敏方法。参见图1,该方法包括步骤S101-S105。其中:
S101:获得目标数据集合,目标数据集合包含相同内容类型的若干条数据记录。
需要说明的是,数据记录是以数据表的形式存储于数据库中的,数据表中存在若干条数据记录,而相同内容类型的数据记录为数据表中的某一列,如地址类所对应的列。而相同内容类型的数据记录所对应的列,称之为目标数据集合。
具体地,获取目标数据集合,并提取目标数据集合中的数据记录。如:获取地址类的目标数据集合,提取出地址类目标数据集合中所有的数据记录,如提取山东省菏泽市、山东省金口镇等其他地址的数据记录。
为实现对数据记录的加密操作,需要将目标数据集合中的所有数据记录进行加密。
S102:对数据记录进行分词处理,得到数据记录的若干个分词。
具体地,将上述步骤提取得到的数据记录进行分词处理,若数据记录为文字类型字符串,则获取前缀词典,根据前缀词典进行分词;若数据记录为数字类型字符串,则使用该数字类型字符串预先设定数据切分方式进行切分;经分词处理后,得到若干个切分后的分词。
需要说明的是,对数据记录进行分词的方式可以是多种,例如:通过前缀词典进行分词、通过数据切分方式进行分词,其分词方式还可以是其他形式,此处不再具体说明。
S103:计算各个分词在所有数据记录的所有分词中的出现频率。
具体地,将目标数据集合中所有的数据记录进行分词,以得到所有数据记录的分词,统计所有分词出现的次数,将某分词出现的次数除以所有分词出现的总次数,即可得到该分词对应的出现频率。如地址类的某个目标数据为山东省金口镇,其中,“山东省”在所有数据记录的分词中出现了100次,“金口镇”出现了10次,以统计的方式来计算出若干条数据记录的所有分词出现的总次数,再除以所有分词出现的总次数,以得到该分词的出现频率。
S104:将出现频率达到预设频率阈值的分词确定为特征分词。
需要说明的是,预设频率阈值是预先设置的具体数值,如地址类的数据记录,预设频率阈值为0.8;姓名类的预设频率阈值为0.6,除此之外,还有其他类的预设频率阈值。该预设频率阈值是预设某分词出现的总次数除以所有分词出现的总次数得到的。
具体地,经分词统计,并计算出各个分词的出现概率之后,若某个分词出现的频率达到预设频率阈值,则将出现频率达到预设频率阈值的分词作为特征分词,如地址类的数据记录,“山东省”出现的频率为0.9,预设频率阈值为0.8,则将分词“山东省”作为特征分词。
可以理解的是,特征分词具体指的是在目标数据集合中的不同数据记录中出现次数较多的分词,特征分词可以反映目标数据集合中的数据记录有哪些分词是相同的,确定这种特征分词的目的是,在防止数据记录被窃取的场景中,实现数据记录的重定向,提高数据记录的安全性。至于具体原理请见下述说明。
S105:针对每条数据记录,将数据记录包含的特征分词之外的分词进行加密处理,以得到脱敏后的数据记录。
需要说明的是,加密之前的数据记录是明文显示,加密后的数据记录是密文显示。例如:某电话号码为12345678901,属于明文,经确定特征分词等操作之后,对特征分词之外的电话号码进行加密,经加密后的电话号码则称为密文,如上述电话号码的特征分词为12345,则加密后的电话号码为12345******。
具体地,经过分词处理之后,目标数据集合中所有的数据记录包含特征分词以及特征分词之外的分词。其中,特征分词是多条数据记录的共同特征,不需要对其进行加密。对于某条数据记录来说,敏感数据是该数据记录较为特殊的数据,即特征分词之外的分词,即具有区别性的,所以敏感数据所对应的分词出现的次数较少。为此,针对特征分词之外的分词进行加密处理,以得到脱敏后的数据记录。例如,“山东省”为特征分词,“金口镇”不是特征分词,则根据上述加密规则,对“金口镇”进行加密,以使得加密后是数据显示不完整,如山东省***。
由上述技术方案可知,本申请提供了一种数据脱敏方法,该方法通过获取存储于数据库中的目标数据集合,该集合中包含多条数据记录;对数据记录进行分词处理,得到对应的若干个分词,计算每个分词所出现的频率,若某分词出现的频率大于预设频率阈值,则将该分词作为特征分词;针对某条数据记录,将该数据记录中除特征分词之外的其他分词进行加密处理,以得到脱敏后的数据记录。该方法从目标数据集合中提取出出现频率较多的分词作为特征分词,对特征分词之外的分词进行加密处理,以得到加密后的数据记录。若某条数据记录被恶意用于所窃取,该恶意用户也无法获取到该数据记录中除特征分词之外的其他数据信息,进而保障数据记录的安全。
为方便理解上述技术方案,本申请提供上述方案的一种防止数据记录被窃取的应用场景:目标数据集合中的数据记录可以认为是数据表中的字段,这些数据记录和其他字段具有关联关系,即目标数据集合中的字段和其他字段合并作为同一条数据记录。本申请提供的技术方案可以防止恶意用户通过目标数据集合中的字段,窃取同一条数据记录中的其他字段信息。
具体地,对于数据表而言,每一列表示一类目标数据集合,如地址类、姓名类以及身份证类等等。该数据表是用于记录用户的相关信息的,如包括两个员工信息:张三,山西省太原市,身份证号码为12345611111111;李四,山西省太原市,身份证为12345622222222。
如果上述数据表中的某一类字段的字段值不进行加密,恶意用户可能通过非法手段获取该数据表,恶意用户还可能通过其他方式获取到该字段的某个具体字段值,则可以通过该具体字段值,在数据表中准确定位到一条数据记录,进而窃取该数据记录的其他字段的字段值。
例如,上述数据表中的身份证这个字段并未加密,恶意用户从其他数据中获取到一个身份证号码为12345611111111,则恶意用户可以根据该身份证号码从数据表中准确定位到一个身份证号码,进而根据该身份证号码从数据表中窃取该身份证号码对应的其他字段信息,如窃取到该身份证号码对应的姓名为“张三”,地址为“山西省太原市”。
但是,本申请提供的方法可以对数据记录中的身份证号码这个字段进行加密,假设上述两条数据记录加密后为:张三,山西省太原市,身份证号码为:123456********;李四,山西省太原市,身份证为123456********。这样,虽然恶意用户窃取到的身份证号码为12345611111111,但其并不能定位到某一条具体的数据记录上,增强了数据的安全性。当然,也可以使用本申请提供的方法对其他字段进行加密处理。
具体来说,本申请可以将恶意用户所要窃取数据记录的链接关联到多个与该数据记录具有相同特征分词的数据记录上,例如:某恶意用户通过该链接窃取数据记录为1234567890123456的银行卡号,经本申请所提供的数据脱敏方法对该数据记录为1234567890123456进行处理之后,将关联出与该数据记录具有相同特征分词的所有数据记录,具体为:将若干个数据记录进行分词,统计所有分词出现的频率,若频率大于预设频率阈值,则列为特征分词,对特征分词之外的其他分词进行加密,生成加密的数据记录。通过本申请加密后的数据记录中,具有相同特征分词的数据记录,所显示出来的数据记录是一致的,若上述恶意用户所要窃取的银行卡号与存储于数据库中的某个银行卡号:1234567890987654具有相同的特征分词,即1234567890,则将特征分词之外的数据加密,即经加密后的两个数据记录均为1234567890******,当恶意用户使用链接窃取时,会关联到两条数据记录,且数据记录是加密的无法区分,进而保证数据记录的安全。
需要说明的是,数据记录的数据类型可以包括两种,一是文字类型字符串,二是数字类型字符串。针对不同数据类型的数据记录,分词处理的方式也不一样。为此:
在一个示例中,当数据记录为文字类型字符串时,对数据记录进行分词处理,得到与该数据记录对应的若干个分词,包括:
获得与数据记录的内容类型对应的前缀词典,前缀词典包括该内容类型的多个数据语料,且每个数据语料对应有若干种分词子结果;在前缀词典包括的数据语料中,确定数据记录包含的目标数据语料;分别从不同目标数据语料的分词子结果中获取一种分词子结果并依次进行组合,得到数据记录的分词总结果;在数据记录的分词总结果中,确定目标分词总结果,其中目标分词总结果用于表示数据记录的若干个分词。
需要说明的是,前缀词典的生成方式:利用爬虫技术从网络新闻、报纸电子书籍等相关文本中获取数据语料,对获取到的数据语料进行去重、删除错误数据语料等操作后,建立数据语料库;根据预先设置的分类规则,将数据语料库进行分类,如地址类的数据语料,姓名类的数据语料;再对分类之后的数据语料进行分词,如地址类的数据语料中,“山西省”这一数据语料,经分词之后,得到若干个分词子结果,如“山西省”、“山西/省”以及“山/西/省”分词子结果,经分词操作之后的数据语料库,称为前缀词典。
具体地,前缀词典与数据记录的内容类型是对应的,根据数据记录的内容类型获取前缀词典。例如,数据记录的内容类型为地址,则获取地址类数据记录所对应的前缀词典;又如数据记录的内容类型为姓名,获取姓名对应的前缀词典。然后,根据前缀词典对数据记录进行分词,分词的具体过程如下。
首先,从前缀词典的多个内容类型的数据语料中,确定出与数据记录相关的数据语料,称为目标数据语料,如一条数据记录为“山西省太原市”,则从前缀词典中确定的目标数据语料为“山西省”以及“太原市”。
然后,从前缀词典中,确定目标数据语料所对应的所有分词子结果,如:“山西省”这一目标数据语料,对应的分词子结果包括:“山/西/省”、“山西/省”以及“山西省”;“太原市”这一目标数据语料,所对应的分词子结果为“太/原/市”、“太原/市”以及“太原市”。
接着,将每个目标数据语料的一种分词子结果与其他目标数据语料的一种分词子结果按照所对应的目标数据语料在数据记录中的排列顺序进行组合,生成分词总结果,如“山西省/太原市”、“山西省/太原/市”、“山西省/太/原/市”以及“山/西/省/太原市”等多个分词总结果。
最后,从多个分词总结果中,确定一种目标分词总结果。
在一个示例中,从多个分词总结果中,确定目标分词总结果的具体实施方式为:
前缀词典中的每种分词子结果具有对应的出现概率值,针对数据记录的每一种分词总结果,从前缀词典中获得用于组合得到分词总结果的分词子结果的出现概率值;将用于组合得到分词总结果的分词子结果的出现概率值进行相乘,得到分词总结果的出现概率总值;将出现概率总值最大的分词总结果确定为目标分词总结果。
具体地,经分词后的目标数据语料对应的每一种分词子结果,都对应着一个概率值,如“山西省”这一目标数据语料,分词子结果有“山/西/省”、“山西/省”以及“山西省”,其中“山/西/省”这一分词子结果所对应的概率为a;“山西/省”这一分词子结果所对应的概率为b;“山西省”这一分词子结果所对应的概率为c;需要说明的是,a、b以及c都是具体数值,每个分词子结果的概率值可以由其包括的分词的出现概率得到的,如将各个分词的出现概率值相乘后得到分词子结果的概率值。
分词总结果是从每个目标数据语料所对应的多个分词子结果中,分别提取出一种分词子结果进行组合得到的,所以分词总结果也会对应有一个概率值,该概率值是由组成该分词总结果的所有分词子结果的概率值的乘积。例如:“山西省”这一分词子结果对应的概率值为0.3,“太原市”这一分词子结果对应的概率值为0.4,则“山西省太原市”分词为:{“山西省”,“太原市”}这一分词总结果的概率值为0.12,即概率值0.3乘以概率值0.4得到的。计算所有分词总结果的概率值,选取概率值最大的分词总结果作为目标分词总结果。
在一个示例中,当数据记录为数字类型字符串时,对数据记录进行分词处理,得到数据记录的若干个分词,包括:
确定与数据记录的内容类型对应的数据切分方式;按照数据切分方式,对数据记录进行分词处理,得到数据记录的若干个分词。
具体地,将数据记录进行数据切分方式可以分为两种方式:
第一种:数据切分方式与数据记录的内容类型是相对应,针对不同内容类型的数据记录,所切分的方式有所不同,例如:身份证号码类的数据记录,该数据记录对应的数据切分方式是预先设计好的,如某个区域的身份证号码的前3位的字符串都是相同的,则针对此种情况,将该身份证号码的数据记录切分为两部分,一部分是前3位的字符串,另外一部分是剩余的字符串。
第二种,遍历相同内容类型的数据记录,如果若干个数据记录中存在相同预设长度的子字符串,则将相同的子字符串作为数据切分方式,即将该子字符串作为切分的一部分,剩余其他字符串作为另外一部分。例如:手机号码类的数据记录,例如:存在电话号码为12345678901、12312345678,根据上述方法,遍历两个电话号码后,根据相同子字符串进行切分,其切分结果为123/45678901,123/12345678。
需要说明的是,针对数字类型字符串、且不同的内容类型的数据记录,所使用的数据切分方式并不是固定的,不同内容类型的数据记录,所对应的数据切分方式可以是相同的,但也可以是不同的。如上述中身份证号码这一类数据记录,所使用的数据切分方式是根据身份证号码前6位数字所对应的区域来切分的。又如上述中的电话号码,是通过遍历多个号码,进而确定多个号码之间存在的相同子字符串来进行数据切分的。
为了保证脱敏后是数据记录不被恶意用户结合其他信息,将该数据记录推算出来,需要对该数据记录的特征分词进行编码处理。
在一个示例中,上述数据脱敏方法实施例除了包括步骤S101-S105之外,参见图2,该方法还包括S106。
S106:针对每个脱敏后的数据记录,将脱敏后的数据记录包括的特征分词进行编码处理,以得到的目标脱敏数据记录。
具体地,将每个脱敏后的数据记录进行编码处理,以得到目标脱敏数据记录。例如:经脱敏后的数据记录为123456************,该数据记录为身份证号码,根据身份证号码的特征分词,即身份证号码的前几位便可以推算出该身份证号码所对应的区域,进而得到该身份证号码的部分信息。为进步一提高数据记录的安全性,将特征分词进行编码,例如上述的身份证号码,经编码后为:456123************。该编码过程可以是任一一种编码方式,此处不再具体说明。
本申请提供了一种数据脱敏装置。参见图3,该装置包括:获取模块301、分词模块302、计算模块303、确定模块304以及加密模块305。其中:
获取模块301,用于获得目标数据集合,目标数据集合包含相同内容类型的若干条数据记录。
分词模块302,用于对数据记录进行分词处理,得到数据记录的若干个分词。
计算模块303,用于计算各个分词在所有数据记录的所有分词中的出现频率。
确定模块304,用于将出现频率达到预设频率阈值的分词确定为特征分词。
加密模块305,用于针对每条数据记录,将数据记录包含的特征分词之外的分词进行加密处理,以得到脱敏后的数据记录。
由上述技术方案可知,本申请提供了一种数据脱敏装置,该装置通过获取存储于数据库中的目标数据集合,该集合中包含多条数据记录;对数据记录进行分词处理,得到对应的若干个分词,计算每个分词所出现的频率,若某分词出现的频率大于预设频率阈值,则将该分词作为特征分词;针对某条数据记录,将该数据记录中除特征分词之外的其他分词进行加密处理,以得到脱敏后的数据记录。该装置从目标数据集合中提取出出现频率较多的分词作为特征分词,对特征分词之外的分词进行加密处理,以得到加密后的数据记录。若某条数据记录被恶意用于所窃取,该恶意用户也无法获取到该数据记录中除特征分词之外的其他数据信息,进而保障数据记录的安全。
在一个示例中,当数据记录的数据类型为文字类型字符串时,分词模块在对数据记录进行分词处理,得到数据记录的若干个分词时,具体用于:
获得与数据记录的内容类型对应的前缀词典,前缀词典包括内容类型的多个数据语料,且每个数据语料对应有若干种分词子结果;在前缀词典包括的数据语料中,确定数据记录包含的目标数据语料;分别从不同目标数据语料的分词子结果中获取一种分词子结果并依次进行组合,得到数据记录的分词总结果;在数据记录的分词总结果中,确定目标分词总结果,其中目标分词总结果用于表示数据记录的若干个分词。
在一个示例中,前缀词典中的每种分词子结果具有对应的出现概率值,则分词模块在数据记录的分词总结果中,确定目标分词总结果时,具体用于:
针对数据记录的每一种分词总结果,从前缀词典中获得用于组合得到分词总结果的分词子结果的出现概率值;将用于组合得到分词总结果的分词子结果的出现概率值进行相乘,得到分词总结果的出现概率总值;将出现概率总值最大的分词总结果确定为目标分词总结果。
在一个示例中,当数据记录的数据类型为数字类型字符串时,则分词模块在对数据记录进行分词处理,得到数据记录的若干个分词时,具体用于:
确定与数据记录的内容类型对应的数据切分方式;按照数据切分方式,对数据记录进行分词处理,得到数据记录的若干个分词。
在一个示例中,参见图4,数据脱敏装置在包括上述图3所述结构的基础上,还可以包括:
编码模块306,用于针对每个脱敏后的数据记录,将脱敏后的数据记录包括的特征分词进行编码处理,以得到的目标脱敏数据记录。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括上述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据脱敏方法,其特征在于,包括:
获得目标数据集合,所述目标数据集合包含相同内容类型的若干条数据记录;
对所述数据记录进行分词处理,得到所述数据记录的若干个分词;
计算各个分词在所有数据记录的所有分词中的出现频率;
将出现频率达到预设频率阈值的分词确定为特征分词;
针对每条数据记录,将所述数据记录包含的特征分词之外的分词进行加密处理,以得到脱敏后的数据记录。
2.根据权利要求1所述的数据脱敏方法,其特征在于,所述数据记录的数据类型为文字;则对所述数据记录进行分词处理,得到所述数据记录的若干个分词,包括:
获得与所述数据记录的内容类型对应的前缀词典,所述前缀词典包括所述内容类型的多个数据语料,且每个数据语料对应有若干种分词子结果;
在所述前缀词典包括的数据语料中,确定所述数据记录包含的目标数据语料;
分别从不同目标数据语料的分词子结果中获取一种分词子结果并依次进行组合,得到所述数据记录的分词总结果;
在数据记录的分词总结果中,确定目标分词总结果,其中所述目标分词总结果用于表示所述数据记录的若干个分词。
3.根据权利要求2所述的数据脱敏方法,其特征在于,所述前缀词典中的每种分词子结果具有对应的出现概率值;
则所述在数据记录的分词总结果中,确定目标分词总结果,包括:
针对数据记录的每一种分词总结果,从所述前缀词典中获得用于组合得到所述分词总结果的分词子结果的出现概率值;
将用于组合得到所述分词总结果的分词子结果的出现概率值进行相乘,得到所述分词总结果的出现概率总值;
将出现概率总值最大的分词总结果确定为目标分词总结果。
4.根据权利要求1所述的数据脱敏方法,其特征在于,所述数据记录的数据类型为字符串;则对所述数据记录进行分词处理,得到所述数据记录的若干个分词,包括:
确定与所述数据记录的内容类型对应的数据切分方式;
按照所述数据切分方式,对所述数据记录进行分词处理,得到所述数据记录的若干个分词。
5.根据权利要求1所述的数据脱敏方法,其特征在于,还包括:
针对每个所述脱敏后的数据记录,将所述脱敏后的数据记录包括的特征分词进行编码处理,以得到的目标脱敏数据记录。
6.一种数据脱敏装置,其特征在于,包括:
获取模块,用于获得目标数据集合,所述目标数据集合包含相同内容类型的若干条数据记录;
分词模块,用于对所述数据记录进行分词处理,得到所述数据记录的若干个分词;
计算模块,用于计算各个分词在所有数据记录的所有分词中的出现频率;
确定模块,用于将出现频率达到预设频率阈值的分词确定为特征分词;
加密模块,用于针对每条数据记录,将所述数据记录包含的特征分词之外的分词进行加密处理,以得到脱敏后的数据记录。
7.根据权利要求6所述的数据脱敏装置,其特征在于,所述数据记录的数据类型为文字;则所述分词模块在对所述数据记录进行分词处理,得到所述数据记录的若干个分词时,具体用于:
获得与所述数据记录的内容类型对应的前缀词典,所述前缀词典包括所述内容类型的多个数据语料,且每个数据语料对应有若干种分词子结果;在所述前缀词典包括的数据语料中,确定所述数据记录包含的目标数据语料;分别从不同目标数据语料的分词子结果中获取一种分词子结果并依次进行组合,得到所述数据记录的分词总结果;在数据记录的分词总结果中,确定目标分词总结果,其中所述目标分词总结果用于表示所述数据记录的若干个分词。
8.根据权利要求7所述的数据脱敏装置,其特征在于,所述前缀词典中的每种分词子结果具有对应的出现概率值;
则分词模块在数据记录的分词总结果中,确定目标分词总结果时,具体用于:
针对数据记录的每一种分词总结果,从所述前缀词典中获得用于组合得到所述分词总结果的分词子结果的出现概率值;将用于组合得到所述分词总结果的分词子结果的出现概率值进行相乘,得到所述分词总结果的出现概率总值;将出现概率总值最大的分词总结果确定为目标分词总结果。
9.根据权利要求6所述的数据脱敏装置,其特征在于,所述数据记录的数据类型为字符串;则所述分词模块在对所述数据记录进行分词处理,得到所述数据记录的若干个分词时,具体用于:
确定与所述数据记录的内容类型对应的数据切分方式;按照所述数据切分方式,对所述数据记录进行分词处理,得到所述数据记录的若干个分词。
10.根据权利要求6所述的数据脱敏装置,其特征在于,还包括:
编码模块,用于针对每个所述脱敏后的数据记录,将所述脱敏后的数据记录包括的特征分词进行编码处理,以得到的目标脱敏数据记录。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910837553.5A CN110532805B (zh) | 2019-09-05 | 2019-09-05 | 数据脱敏方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910837553.5A CN110532805B (zh) | 2019-09-05 | 2019-09-05 | 数据脱敏方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110532805A true CN110532805A (zh) | 2019-12-03 |
CN110532805B CN110532805B (zh) | 2023-01-24 |
Family
ID=68666984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910837553.5A Active CN110532805B (zh) | 2019-09-05 | 2019-09-05 | 数据脱敏方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110532805B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111143633A (zh) * | 2019-12-24 | 2020-05-12 | 北京明朝万达科技股份有限公司 | 一种数据解密方法、装置、电子设备及存储介质 |
CN117272996A (zh) * | 2023-11-23 | 2023-12-22 | 山东网安安全技术有限公司 | 一种数据脱敏系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105468990A (zh) * | 2014-09-04 | 2016-04-06 | 中国移动通信集团安徽有限公司 | 一种敏感信息的管理控制方法和装置 |
CN107480549A (zh) * | 2017-06-28 | 2017-12-15 | 银江股份有限公司 | 一种面向数据共享的敏感信息脱敏方法及系统 |
CN107515852A (zh) * | 2016-06-16 | 2017-12-26 | 阿里巴巴集团控股有限公司 | 特定类型信息识别方法及装置 |
CN107526813A (zh) * | 2017-08-23 | 2017-12-29 | 北京明朝万达科技股份有限公司 | 一种脱敏数据的处理方法和装置 |
CN107632975A (zh) * | 2017-08-09 | 2018-01-26 | 联动优势科技有限公司 | 一种词典建立方法及设备 |
CN108537056A (zh) * | 2018-03-07 | 2018-09-14 | 新博卓畅技术(北京)有限公司 | 一种双层过滤式的数据脱敏方法和系统 |
CN108776762A (zh) * | 2018-06-08 | 2018-11-09 | 北京中电普华信息技术有限公司 | 一种数据脱敏的处理方法及装置 |
-
2019
- 2019-09-05 CN CN201910837553.5A patent/CN110532805B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105468990A (zh) * | 2014-09-04 | 2016-04-06 | 中国移动通信集团安徽有限公司 | 一种敏感信息的管理控制方法和装置 |
CN107515852A (zh) * | 2016-06-16 | 2017-12-26 | 阿里巴巴集团控股有限公司 | 特定类型信息识别方法及装置 |
CN107480549A (zh) * | 2017-06-28 | 2017-12-15 | 银江股份有限公司 | 一种面向数据共享的敏感信息脱敏方法及系统 |
CN107632975A (zh) * | 2017-08-09 | 2018-01-26 | 联动优势科技有限公司 | 一种词典建立方法及设备 |
CN107526813A (zh) * | 2017-08-23 | 2017-12-29 | 北京明朝万达科技股份有限公司 | 一种脱敏数据的处理方法和装置 |
CN108537056A (zh) * | 2018-03-07 | 2018-09-14 | 新博卓畅技术(北京)有限公司 | 一种双层过滤式的数据脱敏方法和系统 |
CN108776762A (zh) * | 2018-06-08 | 2018-11-09 | 北京中电普华信息技术有限公司 | 一种数据脱敏的处理方法及装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111143633A (zh) * | 2019-12-24 | 2020-05-12 | 北京明朝万达科技股份有限公司 | 一种数据解密方法、装置、电子设备及存储介质 |
CN111143633B (zh) * | 2019-12-24 | 2023-09-01 | 北京明朝万达科技股份有限公司 | 一种数据解密方法、装置、电子设备及存储介质 |
CN117272996A (zh) * | 2023-11-23 | 2023-12-22 | 山东网安安全技术有限公司 | 一种数据脱敏系统 |
CN117272996B (zh) * | 2023-11-23 | 2024-02-27 | 山东网安安全技术有限公司 | 一种数据脱敏系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110532805B (zh) | 2023-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9519774B2 (en) | Systems and methods for SQL query constraint solving | |
CA2906475C (en) | Method and apparatus for substitution scheme for anonymizing personally identifiable information | |
KR101627592B1 (ko) | 비밀 정보의 검출 | |
AU2014240202B2 (en) | Dynamic tokenization with multiple token tables | |
JP2015053735A5 (zh) | ||
CN110532805A (zh) | 数据脱敏方法及装置 | |
CN107633078A (zh) | 音频指纹提取方法、音视频检测方法、装置及终端 | |
US10083194B2 (en) | Process for obtaining candidate data from a remote storage server for comparison to a data to be identified | |
Yoon et al. | A method and tool to recover data deleted from a MongoDB | |
CN109933644A (zh) | 一种字符串匹配方法及装置 | |
CN111767364A (zh) | 数据处理方法、装置和设备 | |
CN107871089A (zh) | 文件防护方法及装置 | |
CN107194677B (zh) | 一种比特币区域流向的统计方法 | |
CN115314236A (zh) | 在域名系统(dns)记录集中检测网络钓鱼域的系统和方法 | |
CN108090364B (zh) | 一种数据泄漏源的定位方法及系统 | |
CN106127066A (zh) | 一种基于云盘的历史数据文件安全保护方法及系统 | |
CN108171060A (zh) | 基于信息熵识别加密变形脚本的方法、系统及存储介质 | |
JP2007034423A (ja) | データ管理装置、データ管理方法、データ処理方法、データ保存方法及びプログラム | |
JP4787077B2 (ja) | 表計算ソフトの個人情報データ処理方法、プログラム及び記録媒体 | |
Prathap et al. | Detection of data breaching websites using machine learning | |
CN114710468A (zh) | 一种域名生成和识别方法、装置、设备及介质 | |
Schnell et al. | Protecting Record Linkage Identifiers Using a Language Model for Patient Names. | |
CN104243489B (zh) | 一种提示用户Cookies安全性的方法及装置 | |
CN106961423A (zh) | 一种信息发布方法 | |
CN105208036B (zh) | 一种在大数据背景下的个人信息保护方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |