CN109766479A - 数据处理方法、装置、电子设备及存储介质 - Google Patents

数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN109766479A
CN109766479A CN201910069326.2A CN201910069326A CN109766479A CN 109766479 A CN109766479 A CN 109766479A CN 201910069326 A CN201910069326 A CN 201910069326A CN 109766479 A CN109766479 A CN 109766479A
Authority
CN
China
Prior art keywords
data
sensitive data
cryptographic hash
capacity group
digit capacity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910069326.2A
Other languages
English (en)
Other versions
CN109766479B (zh
Inventor
李建熠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201910069326.2A priority Critical patent/CN109766479B/zh
Publication of CN109766479A publication Critical patent/CN109766479A/zh
Application granted granted Critical
Publication of CN109766479B publication Critical patent/CN109766479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Storage Device Security (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明的实施例提供了一种数据处理方法、装置、电子设备及存储介质,涉及计算机技术领域。该方法包括:提取目标数据中的敏感数据;对该敏感数据进行哈希化处理得到对应的哈希值;建立该哈希值与预设位数组中一个或多个位之间的映射关系;基于该映射关系确定一个或多个位的状态值,其中,所述一个或多个位的状态值表示该敏感数据是否存在于该预设位数组对应的数据集中。本发明实施例的技术方案能够隐藏敏感数据,使得难以通过哈希值还原出原始数据。

Description

数据处理方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种数据处理方法、数据处理装置、电子设备以及计算机可读存储介质。
背景技术
随着互联网技术的发展,各种业务平台上都存储了大量的业务数据,如何保护业务数据的安全性成为了关注的焦点。
在一种技术方案中,对业务数据中的敏感数据例如用户的身份证号进行哈希化处理,通过敏感数据的哈希值替换对应的敏感数据,使得其他人难以直接看到用户的隐私数据。然而,在这种技术方案中,仅对敏感数据进行哈希化处理,还存在通过哈希值还原原始敏感数据的可能性例如可以通过彩虹表破解哈希值得到敏感数据。
因此,如何能够有效增强目标业务数据的安全性成为亟待解决的技术问题。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本发明背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明实施例的目的在于提供一种数据处理方法、数据处理装置、电子设备以及计算机可读存储介质,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
根据本发明实施例的第一方面,提供了一种数据处理方法,包括:提取目标数据中的敏感数据;对所述敏感数据进行哈希化处理得到对应的哈希值;建立所述哈希值与预设位数组中一个或多个位之间的映射关系;基于所述映射关系确定所述一个或多个位的状态值,其中,所述一个或多个位的状态值表示所述敏感数据是否存在于所述预设位数组对应的数据集中。
在本发明的一些示例性实施例中,基于前述方案,所述数据处理方法还包括:基于所述映射关系获取所述预设位数组中的所述一个或多个位的数组序号;基于所述一个或多个位的所述数组序号建立所述敏感数据与经提取后的所述目标数据之间的关联关系。
在本发明的一些示例性实施例中,基于前述方案,基于所述一个或多个位的所述数组序号建立所述敏感数据与经提取后的所述目标数据之间的关联关系,包括:将所述一个或多个位的所述数组序号进行拼接;对拼接后的所述数组序号进行哈希化处理,得到对应的哈希值;基于所述哈希值建立所述敏感数据与经提取后的所述目标数据之间的关联关系。
在本发明的一些示例性实施例中,基于前述方案,所述数据处理方法还包括:将待查询敏感数据进行所述哈希化处理,得到与所述待查询敏感数据对应的哈希值;建立所述待查询敏感数据对应的哈希值与所述预设位数组的映射关系;基于所述映射关系判断所述待查询敏感数据是否存在于所述预设位数组对应的数据集中。
在本发明的一些示例性实施例中,基于前述方案,基于所述映射关系判断所述待查询的敏感数据是否存在于所述预设位数组对应的数据集中,包括:基于所述映射关系确定所述预设位数组中对应位的状态值是否均为1;若均为1,则判定所述待查询敏感数据存在于所述预设位数组对应的数据集中。
在本发明的一些示例性实施例中,基于前述方案,所述数据处理方法还包括:若判定所述待查询敏感数据存在于所述预设位数组对应的数据集中,基于所述关联关系获取与所述待查询敏感数据对应的目标数据。
在本发明的一些示例性实施例中,基于前述方案,所述哈希值包含一个或多个哈希值,建立所述哈希值与预设位数组的一个或多个位之间的映射关系,包括:将所述一个或多个哈希值除以所述预设位数组的长度,得到对应的一个或多个余数;将所述一个或多个哈希值映射到与所述一个或多个余数对应的所述预设位数组的一个或多个位上。
在本发明的一些示例性实施例中,基于前述方案,基于所述映射关系确定所述一个或多个位的状态值,包括:基于所述映射关系将所述预设位数组的所述一个或多个位的状态值设为1,其中,所述预设位数组的各个位的初始状态值为0。
根据本发明实施例的第二方面,提供一种数据处理装置,包括:数据提取单元,用于提取目标数据中的敏感数据;哈希化处理单元,用于对所述敏感数据进行哈希化处理得到对应的哈希值;映射关系建立单元,用于建立所述哈希值与预设位数组中一个或多个位之间的映射关系;状态值确定单元,用于基于所述映射关系确定所述一个或多个位的状态值,以通过所述一个或多个位的状态值表示所述敏感数据。
根据本发明实施例的第三方面,提供一种电子设备,包括:处理器;以及存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如上述第一方面中任意一项所述的数据处理方法。
根据本发明实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面中任意一项所述的数据处理方法。
在本发明的一些实施例所提供的技术方案中,一方面,对从目标数据中提取的敏感数据进行哈希化处理得到对应的哈希值,能够对敏感数据进行脱敏处理,从而能够隐藏敏感数据;另一方面,建立敏感数据的哈希值与预设位数组中一个或多个位之间的映射关系,基于该映射关系确定所述一个或多个位的状态值,能够进一步隐藏敏感数据,使得难以通过哈希值还原敏感数据,提高了数据的安全性;再一方面,通过预设位数组中的一个或多个为的状态值表示敏感数据是否存在于对应的数据集中,能够高效地查询敏感数据是否存在于该数据集。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了根据本发明的一些实施例的数据处理方法的流程示意图;
图2示出了根据本发明的一些实施例建立敏感数据与位数组之间的映射关系的流程示意图;
图3示出了根据本发明的一些实施例进行数据关联的流程示意图;
图4示出了根据本发明的一些实施例进行数据查询的流程示意图;
图5示出了根据本发明的一些实施例判断共有数据的流程示意图;
图6示出了根据本发明的一些示例性实施例的数据处理装置的示意框图;
图7示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本发明将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本发明的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
图1示出了根据本发明的一些实施例的数据处理方法的流程示意图。
参照图1所示,在步骤S110中,提取目标数据中的敏感数据。
在示例实施例中,目标数据为用户的个人信息,个人信息可以包括姓名、身份证号、手机号、邮箱以及家庭住址等信息。目标数据中的敏感数据为用户的隐私数据或者能够标识用户的数据,在示例实施例中,敏感数据可以为用户的身份证号或手机号,也可以为其他适当的数据例如用户的银行卡号、银行账号、密码等,这同样在本发明的保护范围内。进一步地,可以从目标数据库中提取用户的目标数据,从用户的目标数据中提取用户的敏感数据例如身份证号,例如,可以根据正则表达式从用户的目标数据中提取用户的敏感数据,正则表达式(regular expression)描述了一种字符串匹配的模式(pattern),可以用来检查一个字符串中是否含有某种子串或者从某个字符串中取出符合某个条件的子串等。
在步骤S120中,对所述敏感数据进行哈希化处理得到对应的哈希值。
在示例实施例中,采用MurmurHash运算对敏感数据进行哈希化处理得到对应的哈希值。MurmurHash是一种非加密型哈希函数,适用于一般的哈希检索操作,对于繁杂的数据具有较高的平衡性与低碰撞率,它是一种可以实现布隆过滤器BloomFilter的函数。进一步地,在示例实施例中,可以采用多个哈希函数对敏感数据进行哈希化处理得到对应的多个哈希值。
需要说明的是,本发明的示例实施例中的哈希运算也可以采用其他适当的哈希运算例如CityHash运算、SpookyHash运算或FNV Hash运算,本发明对此不进行特殊限定。
在步骤S130中,建立所述哈希值与预设位数组中一个或多个位之间的映射关系。
在示例实施例中,该预设位数组中的每个位可以表示一个整数。建立敏感数据的哈希值与预设位数组中一个或多个位之间的映射关系,也就是建立敏感数据的哈希值与预设位数组中整数值与该哈希值相同的数组位之间的映射关系,即将得到的敏感数据的哈希值映射到预设位数组中对应的数组位上。例如,可以将得到的敏感数据的一个哈希值映射到预设位数组中的一个位上,将得到的敏感数据的多个哈希值映射到预设位数组中的多个位上。例如,将一个或多个哈希值除以预设位数组的长度,得到对应的一个或多个余数,将一个或多个哈希值映射到与一个或多个余数对应的预设位数组的一个或多个位上。
在步骤S140中,基于所述映射关系确定所述一个或多个位的状态值,所述一个或多个位的状态值表示所述敏感数据是否存在于所述预设位数组对应的数据集中。
在示例实施例中,该预设位数组的每个位的初始状态值为0,建立了敏感数据的哈希值与预设位数组中一个或多个位之间的映射关系之后,将该预设位数组中的具有该映射关系的一个或多个位的状态值设为1,例如,设位数组为bitSet,位数组的长度为bitSetSize,一个或多个哈希值为hash,则可以通过下式(1)将与上述余数对应的一个或多个位设置位1:
bitSet[hash%bitSetSize]=1 (1)。
在示例实施例中,若与该敏感数据的哈希值具有映射关系的各个位的状态值均为1,则表示敏感数据存在于该预设位数组对应的数据集中。若与该敏感数据的哈希值具有映射关系的各个位的状态值其中有一个不为1,则表示敏感数据不存在于该预设位数组对应的数据集中。
根据图1的示例实施例中的数据处理方法,一方面,对从目标数据中提取的敏感数据进行哈希化处理得到对应的哈希值,能够对敏感数据进行脱敏处理,从而能够隐藏敏感数据;另一方面,建立敏感数据的哈希值与预设位数组中一个或多个位之间的映射关系,基于该映射关系确定所述一个或多个位的状态值,能够进一步隐藏敏感数据,使得难以通过哈希值还原敏感数据,提高了数据的安全性;再一方面,通过预设位数组中的一个或多个为的状态值表示敏感数据是否存在于对应的数据集中,能够高效地查询敏感数据是否存在于该数据集。
图2示出了根据本发明的一些实施例建立敏感数据与位数组之间的映射关系的流程示意图。
参照图2所示,在步骤S210中,对从目标数据中提取的敏感信息进行哈希化处理,得到与该敏感信息对应的哈希值。
在示例实施例中,采用一个或多个哈希函数对提取的敏感信息进行哈希化处理,得到与该敏感信息对应的一个或多个哈希值。例如,采用k个哈希函数对提取的敏感信息进行哈希化处理,得到与该敏感信息对应的k个哈希值,k大于等于1例如k等于3。
在步骤S220中,将与敏感信息对应的哈希值映射到预设位数组的一个或多个位上。
在示例实施例中,将得到的敏感数据的k哈希值映射到预设位数组中的k个数组位上,每个数组位表示的整数值域对应的哈希值相同。在建立了敏感信息的哈希值与预设位数组的k个位的映射关系之后,将该预设位数组上的该k个位的状态值设为1。
图3示出了根据本发明的一些实施例进行数据关联的流程示意图。
参照图3所示,在步骤S310中,对第一敏感数据进行数据抽象,建立第一敏感数据与预设位数组的一个或多个位的映射关系。
在示例实施例中,第一敏感数据为对原始敏感数据进行哈希处理后的原始敏感数据的哈希值。设采用k个哈希函数对原始敏感数据进行哈希处理,得到原始敏感数据的k个哈希值,将该k个哈希值映射到预设位数组的k个位上,k大于等于1。
在步骤S320中,基于第一敏感数据与预设位数组的一个或多个位的映射关系获取该预设位数组的所述一个或多个位的数组序号,将获取的一个或多个位的数组序号进行拼接。
在示例实施例中,基于第一敏感数据与预设位数组的k个位的映射关系获取该k个位的数组序号,将获取的k个位的数组序号进行拼接。例如,第一敏感数据与预设位数组的3个具有映射关系,获取该3个位的数组序号例如2、6、12。将获取的3个位的数组序号拼接为2612。
在步骤S330中,对拼接后的数组序号进行哈希化处理,得到对应的哈希值。
在示例实施例中,采用MurmurHash哈希运算对拼接后的数组序号进行哈希化处理,得到与拼接后的数组序号对应的哈希值即第二敏感数据。对拼接后的数组序号进行哈希化处理,能够进一步隐藏敏感数据,从而能够更好地保护敏感数据。
在步骤S340中,基于拼接后的数组序号的哈希值建立第一敏感数据与除敏感数据之外的目标数据之间的关联关系。
在示例实施例中,可以用拼接后的数组序号的哈希值替换目标数据中的敏感数据,也可以用拼接后的数组序号的哈希值对目标数据进行编号,以建立敏感数据与其他数据即除敏感数据之外的目标数据之间的关联关系。
进一步地,在示例实施例中,在存在多条敏感数据的情况下,重复上述步骤建立每条敏感数据与对应的目标数据中的除敏感数据之外的其他数据的关联关系。
图4示出了根据本发明的一些实施例进行数据查询的流程示意图。
参照图4所示,在步骤S410中,获取待查询敏感数据,例如待查询敏感数据可以为身份证号。
在步骤S420中,对待查询敏感数据进行哈希化处理,得到与待查询敏感数据对应的哈希值,建立对应的哈希值与预设位数组之间的映射关系。
在示例实施例中,采用k个哈希函数对待查询敏感数据进行哈希化处理,得到与待查询敏感数据对应的k个哈希值,建立k个哈希值与预设位数组中k个位之间的映射关系。
在步骤S430中,基于步骤S420中的映射关系获取预设位数组中对应的数组位的状态值,例如,待查询敏感数据的3个哈希值映射到预设位数组的第2位、第6位以及第12位,获取预设位数组的第2位、第6位以及第12位的状态值。
在步骤S440中,若获取的数组位的状态值均为1,则表示待查询敏感数据存在于该预设位数组对应的数据集中,进行至步骤S450;若获取的数组位的状态值存在不为1的情况,则返回空结果,表示待查询敏感数据不存在于该预设为数组表示的数据集中。
在步骤S450中,在待查询敏感数据存在于预设位数组对应的数据集的情况下,基于敏感数据与其他数据的关联关系获取与待查询敏感数据对应的其他数据。例如,可以预先设置敏感数据与除敏感数据之外的其他数据之间的关联关系,该关联关系可以敏感数据的哈希值与对应的其他数据组成的关联数组,基于敏感数据的哈希值以及该关联数组中获取与敏感数据对应的其他数据。
在步骤S460中,输出查询的结果,即输出查询到的敏感数据以及与敏感数据对应的其他数据。将查询到的敏感数据以及对应的其他数据组成一个完整的数据结果后输出。根据图4的示例实施例中的数据处理方法,能够高效地判断敏感数据是否存在于与预设位数组对应的数据集中。
图5示出了根据本发明的一些实施例判断共有数据的流程示意图。
参照图5所示,在步骤510中,对第二数据集即B数据集中的各项数据的唯一标识进行哈希化处理得到对应的哈希值,建立对应的哈希值与预设位数组中的一个或多个位的映射关系,并将对应的一个或多个为的状态值设为1。在第二数据集中的各项数据为个人信息时,各项数据的唯一标识为人的身份证号。
在步骤S520中,将步骤S510中的得到的预设位数组发送至第一数据方,该第一数据方具有第一数据集即A数据集,该第一数据集中的各项数据的唯一标识与上述第二数据集中的各项数据的唯一标识对应。
在步骤S530中,对第一数据集中的各项数据的唯一标识进行哈希化处理得当对应的哈希值,建立对应的哈希值与接收的预设位数组中的一个或多个位的映射关系,基于该映射关系获取接收的预设位数组中的一个或多个位的状态值,若对应的一个或多个位的状态值均为1,则表示该项数据在第一数据集和第二数据集中均存在。根据图5的示例实施例中的数据处理方法,能够在不泄露双方数据的情况下,确定双方的共有数据。
此外,在本发明的实施例中,还提供了一种数据处理装置。参照图6所示,该数据处理装置600可以包括:数据提取单元610、哈希化处理单元620、映射关系建立单元630以及状态值确定单元640。其中,数据提取单元610用于提取目标数据中的敏感数据;哈希化处理单元620用于对所述敏感数据进行哈希化处理得到对应的哈希值;映射关系建立单元630用于建立所述哈希值与预设位数组中一个或多个位之间的映射关系;状态值确定单元640用于基于所述映射关系确定所述一个或多个位的状态值,以通过所述一个或多个位的状态值表示所述敏感数据。
在本发明的一些示例性实施例中,基于前述方案,所述数据处理装置600还包括:序号获取单元,用于基于所述映射关系获取所述预设位数组中的所述一个或多个位的数组序号;关联关系建立单元,用于基于所述一个或多个位的所述数组序号建立所述敏感数据与经提取后的所述目标数据之间的关联关系。
在本发明的一些示例性实施例中,基于前述方案,关联关系建立单元包括:拼接单元,用于将所述一个或多个位的所述数组序号进行拼接;哈希处理单元,用于对拼接后的所述数组序号进行哈希化处理,得到对应的哈希值;关系建立单元,用于基于所述哈希值建立所述敏感数据与经提取后的所述目标数据之间的关联关系。
在本发明的一些示例性实施例中,基于前述方案,所述数据处理装置600还被配置为:将待查询敏感数据进行所述哈希化处理,得到与所述待查询敏感数据对应的哈希值;建立所述待查询敏感数据对应的哈希值与所述预设位数组的映射关系;基于所述映射关系判断所述待查询敏感数据是否存在于所述预设位数组对应的数据集中。
在本发明的一些示例性实施例中,基于前述方案,所述数据处理装置600还被配置为:基于所述映射关系确定所述预设位数组中对应位的状态值是否均为1;若均为1,则判定所述待查询敏感数据存在于所述预设位数组对应的数据集中。
在本发明的一些示例性实施例中,基于前述方案,所述数据处理装置600还被配置为:若判定所述待查询敏感数据存在于所述预设位数组对应的数据集中,基于所述关联关系获取与所述待查询敏感数据对应的目标数据。
在本发明的一些示例性实施例中,基于前述方案,所述哈希值包含一个或多个哈希值,映射关系建立单元630被配置为:将所述一个或多个哈希值除以所述预设位数组的长度,得到对应的一个或多个余数;将所述一个或多个哈希值映射到与所述一个或多个余数对应的所述预设位数组的一个或多个位上。
在本发明的一些示例性实施例中,基于前述方案,状态值确定单元640被配置为:基于所述映射关系将所述预设位数组的所述一个或多个位的状态值设为1,其中,所述预设位数组的各个位的初始状态值为0。
由于本发明的示例实施例的数据处理装置600的各个功能模块与上述数据处理方法的示例实施例的步骤对应,因此在此不再赘述。
在本发明的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
下面参考图7,其示出了适于用来实现本发明实施例的电子设备的计算机系统700的结构示意图。图7示出的电子设备的计算机系统700仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示,计算机系统700包括中央处理单元(CPU)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有系统操作所需的各种程序和数据。CPU701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地,根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如上述实施例中所述的数据处理方法。
例如,所述电子设备可以实现如图1中所示的:步骤S110,提取目标数据中的敏感数据;步骤S120,对所述敏感数据进行哈希化处理得到对应的哈希值;步骤S130,建立所述哈希值与预设位数组中一个或多个位之间的映射关系;步骤S140,基于所述映射关系确定所述一个或多个位的状态值,其中,所述一个或多个位的状态值表示所述敏感数据是否存在于所述预设位数组对应的数据集中。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备或装置的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (11)

1.一种数据处理方法,其特征在于,包括:
提取目标数据中的敏感数据;
对所述敏感数据进行哈希化处理得到对应的哈希值;
建立所述哈希值与预设位数组中一个或多个位之间的映射关系;
基于所述映射关系确定所述一个或多个位的状态值,其中,所述一个或多个位的状态值表示所述敏感数据是否存在于所述预设位数组对应的数据集中。
2.根据权利要求1所述的数据处理方法,其特征在于,所述数据处理方法还包括:
基于所述映射关系获取所述预设位数组中的所述一个或多个位的数组序号;
基于所述一个或多个位的所述数组序号建立所述敏感数据与经提取后的所述目标数据之间的关联关系。
3.根据权利要求2所述的数据处理方法,其特征在于,基于所述一个或多个位的所述数组序号建立所述敏感数据与经提取后的所述目标数据之间的关联关系,包括:
将所述一个或多个位的所述数组序号进行拼接;
对拼接后的所述数组序号进行哈希化处理,得到对应的哈希值;
基于所述哈希值建立所述敏感数据与经提取后的所述目标数据之间的关联关系。
4.根据权利要求2所述的数据处理方法,其特征在于,所述数据处理方法还包括:
将待查询敏感数据进行所述哈希化处理,得到与所述待查询敏感数据对应的哈希值;
建立所述待查询敏感数据对应的哈希值与所述预设位数组的映射关系;
基于所述映射关系判断所述待查询敏感数据是否存在于所述预设位数组对应的数据集中。
5.根据权利要求4所述的数据处理方法,其特征在于,基于所述映射关系判断所述待查询的敏感数据是否存在于所述预设位数组对应的数据集中,包括:
基于所述映射关系确定所述预设位数组中对应位的状态值是否均为1;
若均为1,则判定所述待查询敏感数据存在于所述预设位数组对应的数据集中。
6.根据权利要求4所述的数据处理方法,其特征在于,所述数据处理方法还包括:
若判定所述待查询敏感数据存在于所述预设位数组对应的数据集中,基于所述关联关系获取与所述待查询敏感数据对应的目标数据。
7.根据权利要求1所述的数据处理方法,其特征在于,所述哈希值包含一个或多个哈希值,建立所述哈希值与预设位数组的一个或多个位之间的映射关系,包括:
将所述一个或多个哈希值除以所述预设位数组的长度,得到对应的一个或多个余数;
将所述一个或多个哈希值映射到与所述一个或多个余数对应的所述预设位数组的一个或多个位上。
8.根据权利要求1至7中任一项所述的数据处理方法,其特征在于,基于所述映射关系确定所述一个或多个位的状态值,包括:
基于所述映射关系将所述预设位数组的所述一个或多个位的状态值设为1,其中,所述预设位数组的各个位的初始状态值为0。
9.一种数据处理装置,其特征在于,包括:
数据提取单元,用于提取目标数据中的敏感数据;
哈希化处理单元,用于对所述敏感数据进行哈希化处理得到对应的哈希值;
映射关系建立单元,用于建立所述哈希值与预设位数组中一个或多个位之间的映射关系;
状态值确定单元,用于基于所述映射关系确定所述一个或多个位的状态值,以通过所述一个或多个位的状态值表示所述敏感数据。
10.一种电子设备,其特征在于,包括:处理器;以及存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如权利要求1至8中任一项所述的数据处理方法。
11.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的数据处理方法。
CN201910069326.2A 2019-01-24 2019-01-24 数据处理方法、装置、电子设备及存储介质 Active CN109766479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910069326.2A CN109766479B (zh) 2019-01-24 2019-01-24 数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910069326.2A CN109766479B (zh) 2019-01-24 2019-01-24 数据处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN109766479A true CN109766479A (zh) 2019-05-17
CN109766479B CN109766479B (zh) 2020-06-09

Family

ID=66455344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910069326.2A Active CN109766479B (zh) 2019-01-24 2019-01-24 数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN109766479B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110324321A (zh) * 2019-06-18 2019-10-11 阿里巴巴集团控股有限公司 数据处理方法及装置
CN111371650A (zh) * 2020-03-06 2020-07-03 中国银行股份有限公司 一种基于流量转发的准生产设备测试方法及系统
CN111580965A (zh) * 2020-04-30 2020-08-25 深圳壹账通智能科技有限公司 数据请求的处理方法及系统
CN112422558A (zh) * 2020-11-17 2021-02-26 深圳壹账通智能科技有限公司 僵尸账号检测方法、装置、电子设备及存储介质
CN112445791A (zh) * 2019-08-30 2021-03-05 金色熊猫有限公司 数据管理方法与装置
CN113283903A (zh) * 2021-06-28 2021-08-20 中国银行股份有限公司 金融账户信息查询匹配方法及装置
CN113590890A (zh) * 2021-08-04 2021-11-02 拉卡拉支付股份有限公司 信息存储方法、装置、电子设备、存储介质及程序产品
CN114527929A (zh) * 2020-11-23 2022-05-24 洪文圳 基于双哈希模糊布隆滤波器云存储数据融合方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62154139A (ja) * 1985-12-27 1987-07-09 Nippon Telegr & Teleph Corp <Ntt> デ−タ選別装置
US20080229103A1 (en) * 2007-03-13 2008-09-18 Board Of Trustees Of Michigan State University Private entity authentication for pervasive computing environments
CN102243657A (zh) * 2011-07-06 2011-11-16 太原理工大学 一种可扩充型Bloom Filter方法
CN103116599A (zh) * 2012-11-30 2013-05-22 浙江工商大学 一种基于改进Bloom Filter结构的城市海量数据流快速冗余消除方法
CN103294831A (zh) * 2013-06-27 2013-09-11 中国人民大学 列存储数据库中基于多维数组的分组聚集计算方法
CN106101093A (zh) * 2016-06-08 2016-11-09 东南大学 基于Bloom Filter的智能电网属性访问控制方法
CN109104413A (zh) * 2018-07-17 2018-12-28 中国科学院计算技术研究所 用于安全多方计算的私有数据求交集的方法及验证方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62154139A (ja) * 1985-12-27 1987-07-09 Nippon Telegr & Teleph Corp <Ntt> デ−タ選別装置
US20080229103A1 (en) * 2007-03-13 2008-09-18 Board Of Trustees Of Michigan State University Private entity authentication for pervasive computing environments
CN102243657A (zh) * 2011-07-06 2011-11-16 太原理工大学 一种可扩充型Bloom Filter方法
CN103116599A (zh) * 2012-11-30 2013-05-22 浙江工商大学 一种基于改进Bloom Filter结构的城市海量数据流快速冗余消除方法
CN103294831A (zh) * 2013-06-27 2013-09-11 中国人民大学 列存储数据库中基于多维数组的分组聚集计算方法
CN106101093A (zh) * 2016-06-08 2016-11-09 东南大学 基于Bloom Filter的智能电网属性访问控制方法
CN109104413A (zh) * 2018-07-17 2018-12-28 中国科学院计算技术研究所 用于安全多方计算的私有数据求交集的方法及验证方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡逸平 等: "Hash算法在数据库安全中的应用", 《计算机时代》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110324321A (zh) * 2019-06-18 2019-10-11 阿里巴巴集团控股有限公司 数据处理方法及装置
CN110324321B (zh) * 2019-06-18 2021-07-13 创新先进技术有限公司 数据处理方法及装置
CN112445791A (zh) * 2019-08-30 2021-03-05 金色熊猫有限公司 数据管理方法与装置
CN112445791B (zh) * 2019-08-30 2023-06-27 金色熊猫有限公司 数据管理方法与装置
CN111371650A (zh) * 2020-03-06 2020-07-03 中国银行股份有限公司 一种基于流量转发的准生产设备测试方法及系统
CN111371650B (zh) * 2020-03-06 2022-03-25 中国银行股份有限公司 一种基于流量转发的准生产设备测试方法及系统
CN111580965A (zh) * 2020-04-30 2020-08-25 深圳壹账通智能科技有限公司 数据请求的处理方法及系统
CN112422558A (zh) * 2020-11-17 2021-02-26 深圳壹账通智能科技有限公司 僵尸账号检测方法、装置、电子设备及存储介质
CN114527929A (zh) * 2020-11-23 2022-05-24 洪文圳 基于双哈希模糊布隆滤波器云存储数据融合方法
CN113283903A (zh) * 2021-06-28 2021-08-20 中国银行股份有限公司 金融账户信息查询匹配方法及装置
CN113590890A (zh) * 2021-08-04 2021-11-02 拉卡拉支付股份有限公司 信息存储方法、装置、电子设备、存储介质及程序产品
CN113590890B (zh) * 2021-08-04 2024-03-26 拉卡拉支付股份有限公司 信息存储方法、装置、电子设备、存储介质及程序产品

Also Published As

Publication number Publication date
CN109766479B (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN109766479A (zh) 数据处理方法、装置、电子设备及存储介质
US20210279730A1 (en) Machine learning engine for fraud detection during cross-location online transaction processing
US11615362B2 (en) Universal model scoring engine
CN106357612B (zh) 基于公有区块链的认证记录审查方法及装置
CN109922032B (zh) 用于确定登录账户的风险的方法、装置、设备及存储介质
KR102151862B1 (ko) 서비스 처리 방법 및 장치
CN109981619A (zh) 数据获取方法、装置、介质及电子设备
CN108289095A (zh) 一种敏感数据存储方法、装置及系统
CN109558748A (zh) 数据处理方法、装置、电子设备及存储介质
CN108701309A (zh) 一种用于电子商务交易安全的分布式用户简档身份验证系统
CN109509048A (zh) 恶意订单识别方法、装置、电子设备及存储介质
CN110489990A (zh) 一种敏感数据处理方法、装置、电子设备及存储介质
TW201828212A (zh) 調整風險參數的方法、風險識別方法及裝置
CN110827033A (zh) 信息处理方法、装置及电子设备
CN107392801A (zh) 控制扰乱订单的方法及其装置、存储介质、电子设备
US11605088B2 (en) Systems and methods for providing concurrent data loading and rules execution in risk evaluations
CN102214334A (zh) 一种网上支付方法、装置及系统
CN109495513A (zh) 无监督的加密恶意流量检测方法、装置、设备及介质
CN108600250A (zh) 认证方法
US11227220B2 (en) Automatic discovery of data required by a rule engine
CN109905366A (zh) 终端设备安全验证方法、装置、可读存储介质及终端设备
CN111245815B (zh) 数据处理方法、装置、存储介质及电子设备
KR20190021406A (ko) 1차 지불 수단의 확대를 가능하게 하는 방법 및 디바이스
CN110111196A (zh) 信息验证方法及相关产品
CN114358311B (zh) 纵向联邦数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant