CN117195300B - 一种大数据安全防护方法、装置及系统 - Google Patents
一种大数据安全防护方法、装置及系统 Download PDFInfo
- Publication number
- CN117195300B CN117195300B CN202311214145.7A CN202311214145A CN117195300B CN 117195300 B CN117195300 B CN 117195300B CN 202311214145 A CN202311214145 A CN 202311214145A CN 117195300 B CN117195300 B CN 117195300B
- Authority
- CN
- China
- Prior art keywords
- data
- management center
- data blocks
- data block
- block group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012795 verification Methods 0.000 claims description 25
- 238000013507 mapping Methods 0.000 claims description 16
- 238000000586 desensitisation Methods 0.000 claims description 2
- 238000013500 data storage Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 11
- 238000007726 management method Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
Landscapes
- Storage Device Security (AREA)
Abstract
本发明适用于数据存储技术领域,提供了一种大数据安全防护方法、装置及系统,在本实施例中,管理中心将目标数据分成多个数据块,并基于所述预设条件将所述多个数据块分为若干个数据块组,并且将不同的数据块组存储到不同的子节点时,都是使用不同的秘钥对进行加密,使得目标数据在存储和传输过程中不易被窃取和篡改。并且即使某个子节点的秘钥信息被攻破,由于获取的数据不完整,也不会造成目标数据的泄露。
Description
技术领域
本发明属于数据存储技术领域,尤其涉及一种大数据安全防护方法、装置及系统。
背景技术
随着科技和互联网技术的飞速发展,以云计算、人工智能、5G网络为代表的新一代信息技术正驱动着数字经济的飞速发展,对数据存储的需求量巨大。这可能涉及到私人敏感数据、技术、财务、军工等机密数据。若这些机密数据在存储时发生泄露事件的话,将会为企业和个人造成不可估量的损失。各行业、部门也陆续提出了针对亿级数据安全存储的需求,目的是保证大数据信息不被非法窃取和篡改。
当前大数据信息存储主要采用以下几种方式处理:(1)要求用户将大数据信息集中存储在单个计算机中,实现大数据的集中式存储;(2)要求用户利用数据加解密算法对存储的数据进行加解密操作,并对加密时使用的密钥进行管理,完成海量数据信息的加密存储;等等。由此可见,当前大数据信息安全存储存在如下缺陷:(1)利用集中式存储方式对大数据信息进行存储,但是因大量数据都集中存储在大型主机上,一旦主机出现故障,那么整个系统中存储的数据将不再安全,数据信息将全部暴露;(2)在数据存储过程中使用加密算法对大量数据信息进行加密操作,并安全存储,但是一旦攻破持有的密钥信息,会导致存储数据信息都将不再安全。
发明内容
因此,本申请提供了一种大数据安全防护方法、装置及系统,用于解决大数据的集中式存储时,一旦存储的主机出现故障,那么整个系统中存储的数据将不再安全,以及攻破密钥信息,导致存储数据信息都将不再安全的问题。
本发明是这样实现的:
本发明提供了一种大数据安全防护方法,应用于分布式节点集群的管理中心,所述节点集群还包含多个子节点,所述管理中心预先与各个子节点建立不同的秘钥对,所述方法包括:
依据预设条件将目标数据分成多个数据块,并基于所述预设条件将所述多个数据块分为若干个数据块组,其中,所述预设条件至少包括所述目标数据的时间戳或所述目标数据中的关键词;
对于任一数据块组,确定存储所述数据块组的子节点,依据所述子节点对应的秘钥对对所述数据块组中的数据块进行加密,并将所述加密后的数据块发送给对应的子节点进行存储;
通过元数据记录所述数据块组中的数据块与所述子节点的映射关系,所述元数据包括所述数据块的标识符。
可选的,所述管理中心预先与各个子节点建立不同的秘钥对包括:
所述管理中心依据所述管理中心的MAC地址和任一子节点的MAC地址,以及预设的加密算法生成所述管理中心和子节点之间的秘钥对,并记录所述管理中心、子节点和秘钥对之间的对应关系。
可选的,所述方法还包括:
在接收到不携带访问令牌的访问请求时,通过所述访问请求中携带的用户信息对所述用户进行身份验证,当验证通过后,依据所述用户信息生成所述用户的访问令牌;
在接收到携带访问令牌的访问请求时,验证所述访问令牌是否有效,并在判断所述访问令牌有效时,根据所述访问令牌中包含的用户信息,判断所述访问请求是否有权访问请求的数据,当判断没有权限时,则禁止所述访问请求进行访问。
可选的,所述依据预设条件将目标数据分成多个数据块之前,所述方法还包括:
确定所述目标数据中用于进行验证的敏感数据,通过哈希函数将所述敏感数据转为第一哈希值,使得当接收到需要验证的数据时,通过所述哈希函数将所述需要验证的数据转为第二哈希值,将所述第一哈希值和所述第二哈希值进行对比,确定所述需要验证的数据是否通过验证。
本发明的另一目的在于提供一种大数据安全防护装置,应用于分布式节点集群的管理中心,所述节点集群还包含多个子节点,所述管理中心预先与各个子节点建立不同的秘钥对,所述装置包括:
分组单元,用于依据预设条件将目标数据分成多个数据块,并基于所述预设条件将所述多个数据块分为若干个数据块组,其中,所述预设条件至少包括所述目标数据的时间戳或所述目标数据中的关键词;
加密单元,用于对于任一数据块组,确定存储所述数据块组的子节点,依据所述子节点对应的秘钥对对所述数据块组中的数据块进行加密,并将所述加密后的数据块发送给对应的子节点进行存储;
记录单元,用于通过元数据记录所述数据块组中的数据块与所述子节点的映射关系,所述元数据包括所述数据块的标识符。
可选的,所述管理中心预先与各个子节点建立不同的秘钥对包括:
所述管理中心依据所述管理中心的MAC地址和任一子节点的MAC地址,以及预设的加密算法生成所述管理中心和子节点之间的秘钥对,并记录所述管理中心、子节点和秘钥对之间的对应关系。
可选的,所述装置还包括:
验证单元,用于在接收到不携带访问令牌的访问请求时,通过所述访问请求中携带的用户信息对所述用户进行身份验证,当验证通过后,依据所述用户信息生成所述用户的访问令牌;
将接收到携带访问令牌的访问请求时,验证所述访问令牌是否有效,并在判断所述访问令牌有效时,根据所述访问令牌中包含的用户信息,判断所述访问请求是否有权访问请求的数据,当判断没有权限时,则禁止所述访问请求进行访问。
可选的,所述分组单元依据预设条件将目标数据分成多个数据块之前,所述装置还包括:
脱敏单元,用于确定所述目标数据中用于进行验证的敏感数据,通过哈希函数将所述敏感数据转为第一哈希值,使得当接收到需要验证的数据时,通过所述哈希函数将所述需要验证的数据转为第二哈希值,将所述第一哈希值和所述第二哈希值进行对比,确定所述需要验证的数据是否通过验证。
本发明的另一目的在于提供一种大数据安全防护系统,包括管理模块和存储模块;
所述管理模块用于依据预设条件将目标数据分成多个数据块,并基于所述预设条件将所述多个数据块分为若干个数据块组,其中,所述预设条件至少包括所述目标数据的时间戳或所述目标数据中的关键词;
对于任一数据块组,确定存储所述数据块组的子节点,依据所述子节点对应的秘钥对对所述数据块组中的数据块进行加密,并将所述加密后的数据块发送给对应的子节点进行存储;
通过元数据记录所述数据块组中的数据块与所述子节点的映射关系,所述元数据包括所述数据块的标识符;
所述存储模块用于接收并存储管理模块发送的数据块组。
通过实施本公开的技术方案可以取得以下有益技术效果:
1、管理中心将目标数据分成多个数据块,并基于所述预设条件将所述多个数据块分为若干个数据块组,并且将不同的数据块组存储到不同的子节点时,都是使用不同的秘钥对,使得目标数据在存储和传输过程中不易被窃取和篡改。并且即使某个子节点的秘钥信息被攻破,由于获取的数据不完整,也不会造成目标数据的泄露。
2、接收到访问请求时,通过访问令牌中的用户信息判断该访问请求是否允许访问,不允许时,通过访问请求中的用户信息生成访问令牌,这进一步提高的数据的安全性。
附图说明
附图示出了本公开的示例性实施方式,并与其说明一起用于解释本公开的原理,其中包括了这些附图以提供对本公开的进一步理解,并且附图包括在本说明书中并构成本说明书的一部分。
图1为本申请实施例提供的方法流程图;
图2为本申请实施例提供的装置结构图;
图3为本申请实施例提供的系统模块结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明,
需要说明的是,在不冲突的情况下,本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开。
以下结合具体实施例对本发明的具体实现进行详细描述。
如图1所示,为本发明实施例提供的一种大数据安全防护方法的流程图,应用于分布式节点集群的管理中心,所述节点集群还包含多个子节点,所述管理中心预先与各个子节点建立不同的秘钥对,该流程可以包括以下步骤:
步骤S101,依据预设条件将目标数据分成多个数据块,并基于所述预设条件将所述多个数据块分为若干个数据块组。
在本实施例中,上述预设条件可以是目标数据的时间戳或目标数据中的关键字。以预设条件为目标数据的时间戳为例,在划分数据块时,则将某一时间或者某个时间段的数据划分为同一数据块。例如,目标数据为视频流数据时,则通过监控设备、视频设备或其他获取视频流的设备获取到视频流,在该视频流数据中记录获取到视频流的时间戳。划分数据块时,当预设条件将每一秒的视频流划分同一数据块时,则依据视频流数据中的时间戳将该视频流数据进行划分。当将数据块分成数据块组时,可以基于预设条件,即时间戳进行划分。例如,可以将每个小时的数据块划分为同一数据块组,即0:00-1:00之间的数据块分为同一数据块组,1:00-2:00之间的数据块分为同一数据块组……,当视频流数据中包含多天的视频流数据时,也可以将每天同一时间段内的数据块划分为同一数据块组,即1月1日0:00-1:00之间的数据块,和1月2日0:00-1:00之间的数据块,1月3日0:00-1:00之间的数据块……划分为同一数据块组。
以预设条件为目标数据的关键字为例,在划分数据块时,则该目标数据中包含某个关键字的数据划分为同一数据块。例如,目标数据为一些产品的数据、或者是企业、用户等数据时候。划分数据块时,可以以产品的关键字,例如“电视机”、“洗衣机”、“足球”、“篮球”等关键字进行划分,将同一关键字的目标数据划分为同一数据块。之后当将数据块分成数据块组时,也可以基于预设条件,即关键字进行划分,例如关键字为“电视机”、“洗衣机”的数据块,可以认为该关键字的种类为家电,将其划分为“家电”这一数据块组,而关键字为“足球”、“篮球”的数据块,则可以划分为“运动器械”这一数据块组。在本实施例中,将目标数据划分为数据块,再将数据块分为数据块组的目的是为了将数据块组发送到不同的子节点上后,可以便于查找区别,对于划分数据块、数据块组方法有很多,本申请对此不作限制。
在另一个实施例中,所述管理中心预先与各个子节点建立不同的秘钥对包括:
所述管理中心依据所述管理中心的MAC地址和任一子节点的MAC地址,以及预设的加密算法生成所述管理中心和子节点之间的秘钥对,并记录所述管理中心、子节点和秘钥对之间的对应关系。
在本实施例中,管理中心与子节点可以通过以下步骤建立秘钥对。
首先,管理中心和子节点之间需要共享一个安全密钥。这个密钥可以使用一种安全的密钥交换协议(例如Diffie-Hellman)在节点之间进行协商。在密钥协商之后,管理中心和子节点都会获得一个共享的对称密钥,用于加密和解密数据传输。具体方法如下,管理中心和子节点使用密钥交换协议来生成临时的公钥和私钥对,管理中心和子节点使用自己的私钥和对方的公钥以及两者的MAC地址来计算一个共享的秘密值,将该共享的秘密值作为对称密钥,管理中心和子节点可以使用该对称密钥来加密和解密。确定共享秘钥后,该管理中心将其存储在一个密钥管理数据库中。当管理中心向子节点发送数据块组时,通过数据库获取与子节点相关联的共享秘钥,并通过该公钥对数据块组中的数据块进行加密。
步骤S102,对于任一数据块组,确定存储所述数据块组的子节点,依据所述子节点对应的秘钥对对所述数据块组中的数据块进行加密,并将所述加密后的数据块发送给对应的子节点进行存储。
在本实施例中,可以预先在管理中心设置各个数据块组存储的子节点,也可以通过用户控制确定各个数据块组存储的节点。例如,在划分数据块时,预设条件为目标数据的时间戳为例,可以将预先在管理中心设置时间段为0:00-1:00的数据块组(记为组1)发送给子节点A进行存储。那么管理中心将目标数据划分为多个数据块组之后,通过上述密钥管理数据库中确定子节点A的共享秘钥,将组1中的数据块加密后发送给子节点A。
若是通过用户确定存储所述数据块组的子节点,那么在管理中心将目标数据划分为多个数据块组之后,用户在操作页面上选择各个数据块组存储到不同的对应的子节点,选择之后,管理中心依据用户的操作指令将数据块组发送到对应的子节点进行存储。
步骤S103,通过元数据记录所述数据块组中的数据块与所述子节点的映射关系,所述元数据包括所述数据块的标识符。
在本实施例中,可以为每个子节点创建一个空映射表,用于记录该子节点管理的数据块映射关系。当向该子节点发送数据块时,将数据块的标识符和对应的子节点存储在映射表中。当从该子节点获取数据块时,从映射表中查找该数据块的标识符对应的子节点。并且在需要时更新映射表以反映最新的映射关系。
通过记录数据块与子节点的映射关系,可以更好地监测数据块的访问和使用情况,及时发现异常操作或未经授权的访问,从而防止数据泄露或被篡改。另外,元数据本身也可以提供一些敏感信息的保护,例如通过加密或限制访问权限等方式来保护元数据的安全性。因此,通过合理的管理和使用元数据,可以进一步提高数据的安全性和可靠性。
作为本发明的一种优选实施例,所述方法还包括:
在接收到不携带访问令牌的访问请求时,通过所述访问请求中携带的用户信息对所述用户进行身份验证,当验证通过后,依据所述用户信息生成所述用户的访问令牌;
在接收到携带访问令牌的访问请求时,验证所述访问令牌是否有效,并在判断所述访问令牌有效时,根据所述访问令牌中包含的用户信息,判断所述访问请求是否有权访问请求的数据,当判断没有权限时,则禁止所述访问请求进行访问。
在本实施例中,还可以在管理中心对访问请求进行安全性校验,以提高数据的安全性。用户信息中可以包含用户的权限等级,管理中心根据权限等级判断该用户是否可以访问对应子节点的数据。相同的,用户信息中还可以包含可以访问的子节点,当该访问请求申请访问的子节点包含在该访问请求的访问令牌中时,则允许该访问请求进行访问。
作为本发明的一种优选实施例,所述依据预设条件将目标数据分成多个数据块之前,所述方法还包括:
确定所述目标数据中用于进行验证的敏感数据,通过哈希函数将所述敏感数据转为第一哈希值,使得当接收到需要验证的数据时,通过所述哈希函数将所述需要验证的数据转为第二哈希值,将所述第一哈希值和所述第二哈希值进行对比,确定所述需要验证的数据是否通过验证。
在本实施例中,若上述目标数据中包含用户名、密码等敏感数据时,为了进一步对该敏感数据进行保护,可以先将上述敏感数据通过哈希函数转换为不可逆的哈希值。后续需要通过该敏感数据进行验证时,将需要验证的数据通过相同的哈希函数转换为哈希值进行对比即可。
至此,完成图1所示的流程。
在本申请实施例中,管理中心将目标数据分成多个数据块,并基于所述预设条件将所述多个数据块分为若干个数据块组,并且将不同的数据块组存储到不同的子节点时,都是使用不同的秘钥对,使得目标数据在存储和传输过程中不易被窃取和篡改。并且即使某个子节点的秘钥信息被攻破,由于获取的数据不完整,也不会造成目标数据的泄露。
进一步的,管理中心接收到访问请求时,通过访问令牌中的用户信息判断该访问请求是否允许访问,不允许时,通过访问请求中的用户信息生成访问令牌,这进一步提高的数据的安全性。
如图2所示,本发明实施例还提供的一种大数据安全防护装置,应用于分布式节点集群的管理中心,所述节点集群还包含多个子节点,所述管理中心预先与各个子节点建立不同的秘钥对,所述装置包括:
分组单元201,用于依据预设条件将目标数据分成多个数据块,并基于所述预设条件将所述多个数据块分为若干个数据块组,其中,所述预设条件至少包括所述目标数据的时间戳或所述目标数据中的关键词;
加密单元202,用于对于任一数据块组,确定存储所述数据块组的子节点,依据所述子节点对应的秘钥对对所述数据块组中的数据块进行加密,并将所述加密后的数据块发送给对应的子节点进行存储;
记录单元203,用于通过元数据记录所述数据块组中的数据块与所述子节点的映射关系,所述元数据包括所述数据块的标识符。
可选的,所述管理中心预先与各个子节点建立不同的秘钥对包括:
所述管理中心依据所述管理中心的MAC地址和任一子节点的MAC地址,以及预设的加密算法生成所述管理中心和子节点之间的秘钥对,并记录所述管理中心、子节点和秘钥对之间的对应关系。
可选的,所述装置还包括:
验证单元204,用于在接收到不携带访问令牌的访问请求时,通过所述访问请求中携带的用户信息对所述用户进行身份验证,当验证通过后,依据所述用户信息生成所述用户的访问令牌;
将接收到携带访问令牌的访问请求时,验证所述访问令牌是否有效,并在判断所述访问令牌有效时,根据所述访问令牌中包含的用户信息,判断所述访问请求是否有权访问请求的数据,当判断没有权限时,则禁止所述访问请求进行访问。
可选的,所述分组单元依据预设条件将目标数据分成多个数据块之前,所述装置还包括:
脱敏单元205,用于确定所述目标数据中用于进行验证的敏感数据,通过哈希函数将所述敏感数据转为第一哈希值,使得当接收到需要验证的数据时,通过所述哈希函数将所述需要验证的数据转为第二哈希值,将所述第一哈希值和所述第二哈希值进行对比,确定所述需要验证的数据是否通过验证。
基于上述方法及装置,本申请还提供了一种大数据安全防护系统,如图3所示,该系统包括:管理模块和存储模块;
所述管理模块用于依据预设条件将目标数据分成多个数据块,并基于所述预设条件将所述多个数据块分为若干个数据块组,其中,所述预设条件至少包括所述目标数据的时间戳或所述目标数据中的关键词;
对于任一数据块组,确定存储所述数据块组的子节点,依据所述子节点对应的秘钥对对所述数据块组中的数据块进行加密,并将所述加密后的数据块发送给对应的子节点进行存储;
通过元数据记录所述数据块组中的数据块与所述子节点的映射关系,所述元数据包括所述数据块的标识符;
所述存储模块用于接收并存储管理模块发送的数据块组。
本发明上述实施例中提供了一种大数据安全防护方法,并基于该大数据安全防护方法提供了一种大数据安全防护装置和一种大数据安全防护系统,通过上述方法、装置及系统,使得可以有效防止大数据的泄露,从而提高大数据的安全性。
本实施例还公开了一种计算机设备,计算机设备包含处理器和存储器,所述存储器中存储由至少一条指令,所述至少一条指令由所述处理器加载并执行以实现上述任一所述的大数据安全防护方法。
此外,上述示例的大数据安全防护装置的实施方式中,各程序模块的逻辑划分仅是举例说明,实际应用中可以根据需要,例如出于相应硬件的配置要求或者软件的实现的便利考虑,将上述功能分配由不同的程序模块完成,即将所述优化人脸图片质量评价模型的装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分功能。
在本说明书的描述中,参考术语“一个实施例/方式”、“一些实施例/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例/方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例/方式或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例/方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例/方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例/方式或示例以及不同实施例/方式或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
本领域的技术人员应当理解,上述实施方式仅仅是为了清楚地说明本公开,而并非是对本公开的分析范围进行限定。对于所属领域的技术人员而言,在上述公开的基础上还可以做出其它变化或变型,并且这些变化或变型仍处于本公开的分析范围内。
Claims (7)
1.一种大数据安全防护方法,其特征在于,应用于分布式节点集群的管理中心,所述节点集群还包含多个子节点,其中,所述管理中心依据所述管理中心的MAC地址和任一子节点的MAC地址,以及预设的加密算法生成所述管理中心和子节点之间的秘钥对,并记录所述管理中心、子节点和秘钥对之间的对应关系,所述方法包括:
依据预设条件将目标数据分成多个数据块,并基于所述预设条件将所述多个数据块分为若干个数据块组,其中,所述预设条件至少包括所述目标数据的时间戳或所述目标数据中的关键词;
对于任一数据块组,确定存储所述数据块组的子节点,依据所述子节点对应的秘钥对对所述数据块组中的数据块进行加密,并将所述加密后的数据块发送给对应的子节点进行存储;
通过元数据记录所述数据块组中的数据块与所述子节点的映射关系,所述元数据包括所述数据块的标识符。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在接收到不携带访问令牌的访问请求时,通过所述访问请求中携带的用户信息对所述用户进行身份验证,当验证通过后,依据所述用户信息生成所述用户的访问令牌;
在接收到携带访问令牌的访问请求时,验证所述访问令牌是否有效,并在判断所述访问令牌有效时,根据所述访问令牌中包含的用户信息,判断所述访问请求是否有权访问请求的数据,当判断没有权限时,则禁止所述访问请求进行访问。
3.根据权利要求1所述的方法,其特征在于,所述依据预设条件将目标数据分成多个数据块之前,所述方法还包括:
确定所述目标数据中用于进行验证的敏感数据,通过哈希函数将所述敏感数据转为第一哈希值,使得当接收到需要验证的数据时,通过所述哈希函数将所述需要验证的数据转为第二哈希值,将所述第一哈希值和所述第二哈希值进行对比,确定所述需要验证的数据是否通过验证。
4.一种大数据安全防护装置,其特征在于,应用于分布式节点集群的管理中心,所述节点集群还包含多个子节点,其中,所述管理中心依据所述管理中心的MAC地址和任一子节点的MAC地址,以及预设的加密算法生成所述管理中心和子节点之间的秘钥对,并记录所述管理中心、子节点和秘钥对之间的对应关系,所述装置包括:
分组单元,用于依据预设条件将目标数据分成多个数据块,并基于所述预设条件将所述多个数据块分为若干个数据块组,其中,所述预设条件至少包括所述目标数据的时间戳或所述目标数据中的关键词;
加密单元,用于对于任一数据块组,确定存储所述数据块组的子节点,依据所述子节点对应的秘钥对对所述数据块组中的数据块进行加密,并将所述加密后的数据块发送给对应的子节点进行存储;
记录单元,用于通过元数据记录所述数据块组中的数据块与所述子节点的映射关系,所述元数据包括所述数据块的标识符。
5.根据权利要求4所述的装置,其特征在于,所述装置还包括:
验证单元,用于在接收到不携带访问令牌的访问请求时,通过所述访问请求中携带的用户信息对所述用户进行身份验证,当验证通过后,依据所述用户信息生成所述用户的访问令牌;
将接收到携带访问令牌的访问请求时,验证所述访问令牌是否有效,并在判断所述访问令牌有效时,根据所述访问令牌中包含的用户信息,判断所述访问请求是否有权访问请求的数据,当判断没有权限时,则禁止所述访问请求进行访问。
6.根据权利要求4所述的装置,其特征在于,所述分组单元依据预设条件将目标数据分成多个数据块之前,所述装置还包括:
脱敏单元,用于确定所述目标数据中用于进行验证的敏感数据,通过哈希函数将所述敏感数据转为第一哈希值,使得当接收到需要验证的数据时,通过所述哈希函数将所述需要验证的数据转为第二哈希值,将所述第一哈希值和所述第二哈希值进行对比,确定所述需要验证的数据是否通过验证。
7.一种大数据安全防护系统,应用于分布式节点集群的管理中心,所述节点集群还包含多个子节点,其中,所述管理中心依据所述管理中心的MAC地址和任一子节点的MAC地址,以及预设的加密算法生成所述管理中心和子节点之间的秘钥对,并记录所述管理中心、子节点和秘钥对之间的对应关系,其特征在于,所述系统包括管理模块和存储模块;
所述管理模块用于依据预设条件将目标数据分成多个数据块,并基于所述预设条件将所述多个数据块分为若干个数据块组,其中,所述预设条件至少包括所述目标数据的时间戳或所述目标数据中的关键词;
对于任一数据块组,确定存储所述数据块组的子节点,依据所述子节点对应的秘钥对对所述数据块组中的数据块进行加密,并将所述加密后的数据块发送给对应的子节点进行存储;
通过元数据记录所述数据块组中的数据块与所述子节点的映射关系,所述元数据包括所述数据块的标识符;
所述存储模块用于接收并存储管理模块发送的数据块组。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311214145.7A CN117195300B (zh) | 2023-09-20 | 2023-09-20 | 一种大数据安全防护方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311214145.7A CN117195300B (zh) | 2023-09-20 | 2023-09-20 | 一种大数据安全防护方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117195300A CN117195300A (zh) | 2023-12-08 |
CN117195300B true CN117195300B (zh) | 2024-03-29 |
Family
ID=89001447
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311214145.7A Active CN117195300B (zh) | 2023-09-20 | 2023-09-20 | 一种大数据安全防护方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117195300B (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1472963A (zh) * | 2002-07-30 | 2004-02-04 | 深圳市中兴通讯股份有限公司 | 分布式视频点播系统及其实现数据存储和访问的方法 |
WO2008026184A2 (en) * | 2006-08-31 | 2008-03-06 | Koninklijke Philips Electronics N.V. | Method of key management |
CN101976322A (zh) * | 2010-11-11 | 2011-02-16 | 清华大学 | 基于一种完整性校验的安全元数据管理方法 |
CN105516204A (zh) * | 2016-01-27 | 2016-04-20 | 北京理工大学 | 一种高安全性网络数据存储方法 |
KR20160116632A (ko) * | 2015-03-30 | 2016-10-10 | 광운대학교 산학협력단 | 에너지 관리 시스템을 위한 보안 서버 및 그 제어 방법 |
CN107025409A (zh) * | 2017-06-27 | 2017-08-08 | 中经汇通电子商务有限公司 | 一种数据安全存储平台 |
KR20180005095A (ko) * | 2016-07-05 | 2018-01-15 | 주식회사 케이티 | 정보 공유 방법 및 장치 |
CN107995299A (zh) * | 2017-12-08 | 2018-05-04 | 东北大学 | 一种云环境下抗访问模式泄露的盲存储方法 |
CN109858255A (zh) * | 2018-12-19 | 2019-06-07 | 杭州安恒信息技术股份有限公司 | 数据加密存储方法、装置及实现装置 |
CN110365771A (zh) * | 2019-07-16 | 2019-10-22 | 深圳市网心科技有限公司 | 一种数据获取方法、装置、系统和计算机可读存储介质 |
CN114124404A (zh) * | 2021-11-12 | 2022-03-01 | 中国联合网络通信集团有限公司 | 一种数据处理方法、装置、服务器及存储介质 |
CN114153382A (zh) * | 2021-11-04 | 2022-03-08 | 桂林电子科技大学 | 云存储中支持数据可验证删除的高效数据迁移方法、系统 |
CN114153374A (zh) * | 2021-08-04 | 2022-03-08 | 北京天德科技有限公司 | 一种元数据与数据共同存储的分布式存储系统 |
CN115577370A (zh) * | 2022-09-20 | 2023-01-06 | 西安电子科技大学 | 一种支持智能无人集群数据访问模式保护的安全存储方法 |
KR20230086094A (ko) * | 2021-12-08 | 2023-06-15 | 주식회사 에즈웰테크 | 빅데이터 저장 서버에 저장된 데이터에 대한 액세스를 관리하는 빅데이터 액세스 관리 시스템 서버 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2006350252B2 (en) * | 2005-11-18 | 2010-10-14 | Security First Corporation | Secure data parser method and system |
EP3816833A1 (de) * | 2019-10-28 | 2021-05-05 | Fresenius Medical Care Deutschland GmbH | Verfahren und datenverarbeitungssystem zum sichern von daten gegen unautorisierten zugriff |
CN114327239B (zh) * | 2020-09-27 | 2024-08-20 | 伊姆西Ip控股有限责任公司 | 存储和访问数据的方法、电子设备和计算机程序产品 |
-
2023
- 2023-09-20 CN CN202311214145.7A patent/CN117195300B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1472963A (zh) * | 2002-07-30 | 2004-02-04 | 深圳市中兴通讯股份有限公司 | 分布式视频点播系统及其实现数据存储和访问的方法 |
WO2008026184A2 (en) * | 2006-08-31 | 2008-03-06 | Koninklijke Philips Electronics N.V. | Method of key management |
CN101976322A (zh) * | 2010-11-11 | 2011-02-16 | 清华大学 | 基于一种完整性校验的安全元数据管理方法 |
KR20160116632A (ko) * | 2015-03-30 | 2016-10-10 | 광운대학교 산학협력단 | 에너지 관리 시스템을 위한 보안 서버 및 그 제어 방법 |
CN105516204A (zh) * | 2016-01-27 | 2016-04-20 | 北京理工大学 | 一种高安全性网络数据存储方法 |
KR20180005095A (ko) * | 2016-07-05 | 2018-01-15 | 주식회사 케이티 | 정보 공유 방법 및 장치 |
CN107025409A (zh) * | 2017-06-27 | 2017-08-08 | 中经汇通电子商务有限公司 | 一种数据安全存储平台 |
CN107995299A (zh) * | 2017-12-08 | 2018-05-04 | 东北大学 | 一种云环境下抗访问模式泄露的盲存储方法 |
CN109858255A (zh) * | 2018-12-19 | 2019-06-07 | 杭州安恒信息技术股份有限公司 | 数据加密存储方法、装置及实现装置 |
CN110365771A (zh) * | 2019-07-16 | 2019-10-22 | 深圳市网心科技有限公司 | 一种数据获取方法、装置、系统和计算机可读存储介质 |
CN114153374A (zh) * | 2021-08-04 | 2022-03-08 | 北京天德科技有限公司 | 一种元数据与数据共同存储的分布式存储系统 |
CN114153382A (zh) * | 2021-11-04 | 2022-03-08 | 桂林电子科技大学 | 云存储中支持数据可验证删除的高效数据迁移方法、系统 |
CN114124404A (zh) * | 2021-11-12 | 2022-03-01 | 中国联合网络通信集团有限公司 | 一种数据处理方法、装置、服务器及存储介质 |
KR20230086094A (ko) * | 2021-12-08 | 2023-06-15 | 주식회사 에즈웰테크 | 빅데이터 저장 서버에 저장된 데이터에 대한 액세스를 관리하는 빅데이터 액세스 관리 시스템 서버 |
CN115577370A (zh) * | 2022-09-20 | 2023-01-06 | 西安电子科技大学 | 一种支持智能无人集群数据访问模式保护的安全存储方法 |
Non-Patent Citations (7)
Title |
---|
Hadoop生态体系安全框架综述;陈玺;马修军;吕欣;;信息安全研究;20160805(第08期);第685-686页 * |
具有访问权限撤销的外包数据加密方案;李程文;王晓明;;计算机应用;20160110(第01期);全文 * |
基于网络的数据库敏感数据加密模型研究;李自清;;计算机测量与控制;20170525(第05期);全文 * |
基于递归秘密共享的可靠云存储方案;王家玲;;铜陵学院学报;20151215(第06期);全文 * |
大数据安全保护技术;陈兴蜀;杨露;罗永刚;;工程科学与技术;20171031(第05期);全文 * |
面向高分辨率影像分布式处理的HDFS存储研究;王敬平;沈晨;周洁;黄子君;;数字技术与应用;20180305(第03期);全文 * |
高效的数据访问模式隐私保护技术研究;陈治宏;《中国优秀博士学位论文全文数据库(电子期刊)》;20220615;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117195300A (zh) | 2023-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111708991B (zh) | 服务的授权方法、装置、计算机设备和存储介质 | |
Li et al. | A hybrid cloud approach for secure authorized deduplication | |
JP4398145B2 (ja) | 自動データベース暗号化の方法および装置 | |
US7827403B2 (en) | Method and apparatus for encrypting and decrypting data in a database table | |
CN109711184B (zh) | 一种基于属性加密的区块链数据访问控制方法及装置 | |
CN107517221B (zh) | 一种无中心的安全可信审计方法 | |
Muthurajkumar et al. | Secured temporal log management techniques for cloud | |
CN113645195B (zh) | 基于cp-abe和sm4的云病历密文访问控制系统及方法 | |
CN106790045B (zh) | 一种基于云环境分布式虚拟机代理装置及数据完整性保障方法 | |
CN111274599A (zh) | 一种基于区块链的数据共享方法及相关装置 | |
CN112511599B (zh) | 一种基于区块链的人防数据共享系统及方法 | |
CN113360925A (zh) | 电力信息物理系统中可信数据的存储和访问方法及系统 | |
De Capitani di Vimercati et al. | Preserving confidentiality of security policies in data outsourcing | |
Su et al. | Decentralized self-auditing scheme with errors localization for multi-cloud storage | |
CN114826652A (zh) | 一种基于双区块链的可溯源访问控制方法 | |
CN113347143B (zh) | 一种身份验证方法、装置、设备及存储介质 | |
CN108521424B (zh) | 面向异构终端设备的分布式数据处理方法 | |
KR20210058313A (ko) | 클라우드 환경에서 안전하고 효율적인 데이터 공유를 위한 속성기반 암호를 활용한 데이터 접근 제어 방법 및 시스템 | |
CN106992978A (zh) | 网络安全管理方法及服务器 | |
Rukavitsyn et al. | The method of ensuring confidentiality and integrity data in cloud computing | |
CN117195300B (zh) | 一种大数据安全防护方法、装置及系统 | |
CN115865461A (zh) | 一种高性能计算集群中分发数据的方法和系统 | |
CN115514578A (zh) | 基于区块链的数据授权方法和装置、电子设备和存储介质 | |
Chen et al. | Blockchain-based dynamic group management for multiple keywords searchable encryption technology | |
CN109063458B (zh) | 一种分层信息管理的终端安全方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |