CN115842833B - 一种超融合虚拟存储的处理方法、装置及系统 - Google Patents
一种超融合虚拟存储的处理方法、装置及系统 Download PDFInfo
- Publication number
- CN115842833B CN115842833B CN202211482468.XA CN202211482468A CN115842833B CN 115842833 B CN115842833 B CN 115842833B CN 202211482468 A CN202211482468 A CN 202211482468A CN 115842833 B CN115842833 B CN 115842833B
- Authority
- CN
- China
- Prior art keywords
- information
- slice
- file
- storage
- fingerprint information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000013500 data storage Methods 0.000 claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 abstract description 8
- 238000004891 communication Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 2
- OTZZZISTDGMMMX-UHFFFAOYSA-N 2-(3,5-dimethylpyrazol-1-yl)-n,n-bis[2-(3,5-dimethylpyrazol-1-yl)ethyl]ethanamine Chemical compound N1=C(C)C=C(C)N1CCN(CCN1C(=CC(C)=N1)C)CCN1C(C)=CC(C)=N1 OTZZZISTDGMMMX-UHFFFAOYSA-N 0.000 description 1
- 241000962514 Alosa chrysochloris Species 0.000 description 1
- 241001441724 Tetraodontidae Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Storage Device Security (AREA)
Abstract
本申请公开了一种基于超融合的虚拟存储处理方案。客户端对需上传存储的目标数据进行切片后,通过预设算法获取各切片文件指纹信息,并将各切片文件指纹信息发送给超融合虚拟存储的服务主节点,主节点根据各切片文件指纹信息,确定各对应切片文件是否需要在从节点上传存储及在各服务从节点的存储位置,客户端可自行加密切片文件上传到对应的从节点位置进行存储。各从节点存储的是各用户通过不同加密方式加密后的切片文件,本申请的方案在保证存储文件具有最大复用的同时,提高了超融合数据存储中数据存储的安全性、可靠性、高效性。
Description
技术领域
本申请涉及数据存储技术领域,具体而言,涉及一种超融合虚拟存储的处理方法、装置及系统。
背景技术
超融合平台架构是采用的主要技术为分布式集群部署,其将每个计算节点上的存储能力和计算能力进行融合,使超融合平台具有有高可用的计算能力及安全、高可用的存储能力。超融合的虚拟存储是超融合系统平台架构最为重要的构建组件之一,其将多个节点是通过网络聚合起来形成数据超融合存储,其对目标数据进行预设统一处理存储,然后再进行优化各个节点的数据。
在现有技术中,若用户使用自己的密钥加密使得数据加密随机化,则导致数据复用性不高,一定程度造成存储资源的浪费,而且随着数据的不断增加,也会带来节点的数据存储及处理压力。如果采用收敛方式对数据加密,则通过暴力破解,也能恢复明文,存储数据安全性也有待提高。因此,面对海量的存储数据,如何让海量数据最大化复用,及如何提供安全、可靠、高效的数据存储,是超融合虚拟存储所面临的及需要解决、优化的重要问题之一。
发明内容
基于此,针对现有存在的上述问题,本申请提出了基于超融合的虚拟存储处理方法、装置及系统,以提高超融合数据存储中数据复用、及提高数据存储中安全性、可靠性、高效性。
有鉴于此,本申请第一方面提供了一种超融合虚拟存储的处理方法,所述方法应用于存储服务端的主节点,所述存储服务端还包括多个从节点,其特征在于,所述方法包括:
所述主节点接收客户端发送的请求信息;
若所述请求信息为数据存储请求,则获取目标数据文件的第一目标信息,所述第一目标信息包括各切片的文件指纹信息及第一密钥信息,根据所述各切片的指纹信息及第一密钥信息建立所述目标数据文件的初始第一meta信息;
将所述各文件指纹信息分成第一指纹信息和第二指纹信息;
根据第二meta信息获取各第二指纹信息对应切片文件的从节点位置及第二密钥信息,并更新所述第一meta信息;
确定各第一指纹信息对应的切片应存储的目标从节点位置,根据各目标从节点位置更新所述第一meta信息,并将各第一指纹信息的文件指纹信息及其对应的目标从节点位置信息发送给所述客户端。
具体地,所述根据第二meta信息将所述各文件指纹信息分成第一指纹信息和第二指纹信息,包括:逐一将各切片的文件指纹信息与第二meta信息中各指纹信息进行匹配,若未匹配成功,则当前文件指纹信息属于第一指纹信息,否则,属于第二指纹信息。
进一步地,将各第一指纹信息的文件指纹信息及其对应的目标从节点位置信息发送给所述客户端之后,所述方法还包括:
接收各从节点发送的对应存储位置存储反馈信息,根据各反馈信息向所述客户端发送存储结果。
进一步地,所述根据第二meta信息获取各第二指纹信息对应切片文件的从节点位置及第二密钥信息,并更新所述第一meta信息,包括:
查询各第二指纹信息对应的第二密钥信息及对应的各切片文件副本所在从节点的存储位置,将各切片文件副本所在从节点的存储位置添加到所述第一meta中对应文件指纹信息,并根据各所述第二密钥信息更改对应文件指纹信息的第一密钥信息。
进一步地,所述方法还包括:若所述请求信息为数据读取请求,则根据需读取数据对应各切片副本的存储位置信息,计算各切片文件副本最优读取组合位置信息,并根据需读取数据的主密钥信息及各指纹信息对应的密钥信息,确定各指纹信息对应的目标密钥信息;将副本最优读取组合位置信息、各切片指纹信息、各指纹信息对应的目标密钥信息及主密钥信息。
本申请第二方面提供了一种应用于客户端的超融合虚拟存储的处理方法,其特征在于,所述方法包括:
对目标数据进行切片操作,将所述目标数据分成多个初始切片文件;
根据预设算法获取所述多个初始切片文件的多个文件指纹信息;
选择目标数据的加密方式,通过所述加密方式对所述多个初始切片文件进行加密,得到多个加密切片文件,并获取对应的第一密钥信息;
将所述多个文件指纹信息及所述第一密钥信息发送给目标主节点;
接收所述目标主节点发送的各切片文件对应的目标存储节点位置信息,并将所述多个切片文件分别上传到对应的目标存储节点位置进行存储。
进一步地,所述方法还包括:
向所述目标主节点发送目标数据读取请求;接收所述目标主节点发送的各切片对应的读取位置信息、各切片指纹信息及各指纹信息对应的目标密钥信息;根据各所述读取位置信息向对应的各存储节点发送读取请求,并接收所述各存储节点发送的各切片文件,解密并组合切片文件,得到所述目标读取数据。
本申请第三方面提供了一种超融合虚拟存储的处理装置,所述装置包括一个或多个处理单元,存储单元,所述存储单元存储有计算机程序,使得所述一个或多个处理单元执行上述任一项所述的方法。
本申请第四方面提供了一种基于超融合的虚拟存储处理系统,所述系统包括如上述超融合虚拟存储的处理装置,使得所述系统执行上述任一项所述超融合虚拟存储的处理方法的步骤。
本申请第五方面提供了一种计算机存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行上述任一项所述超融合虚拟存储的处理方法的步骤。
本申请方案中,客户端对需上传存储的目标数据进行切片后,通过预设算法获取各切片文件指纹信息,并将各切片文件指纹信息发送给超融合虚拟存储的服务主节点,主节点根据各切片文件指纹信息,确定各对应切片文件是否需要在从节点上传存储及在各服务从节点的存储位置,并将需要上传存储的切片文件信息反馈给客户端,客户端根据该信息将对应的加密切片文件上传到对应的从节点位置进行存储。本申请方案中通过对上传原始目标数据各切片文件指纹信息到主节点处理,提高了相同内容文件特别是部分内容相同文件各切片文件的复用性。同时,各用户可以自行选择加密方式对切片文件进行加密,各从节点存储的是各用户通过不同加密方式加密后的切片文件,确保了数据的安全可靠性,主节点根据各切片的存储信息,建立并更新各切片文件的存储位置及密钥信息,并且对密钥信息进行处理发送给客户端,使得在保证存储文件具有最大复用的情况下,提高了超融合数据存储中数据存储的安全性、可靠性、高效性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为一个实施例中的超融合虚拟存储的处理方法框图;
图2为一个实施例中的初始meta信息结构图;
图3为一个实施例中的更新后meta信息结构图
图4为一个实施例中的超融合虚拟存储的处理装置结构框图;
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“包括”、“包含”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。在本申请的权利要求书、说明书以及说明书附图中的术语,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来,而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其他实施例相结合。
在一个实施方式中,如图1所示,本申请提供一种超融合虚拟存储的处理方法,所述方法应用于存储服务端的主节点,所述存储服务端还包括多个从节点。
具体地,本申请的存储服务端包括一个或多个存储服务主节点及多个存储服务从节点,其中,主节点设置为直接与各客户端通信,其存储用户的具体数据信息,主节点通过预设文件存储了客户端数据各切片文件所存储从节点地址及具体的位置信息,也存储了客户端访问各切片数据所需要的鉴权和校验信息,如合法性认证信息、各文件的校验信息、密钥信息等,当对应的信息有更新时,主节点及时进行对应信息修改并更新。多个从节点用于数据存储,并与主节点通过有线或无线通信,主节点可获取或计算各从节点的实时负载情况,并指示各从节点进行相应数据搬移,以实现各从节点的数据负载均衡。一个或多个主节点及多个从节点通过网络聚合起来形成数据超融合计算及虚拟存储的超融合虚拟存储平台,不同节点或区域间通过超融合内置虚拟交换机配置不同网段地址进行独立访问,各节点或区域之间通过平台分布式防火墙实现基于虚拟机的逻辑安全隔离。同时,本申请方案采用采用VLAN的方式进行虚拟组网,并通过SDN的方式提供虚拟防火墙等功能,这样既能最大限度的兼容用户原有的网络架构,又能够使用到软件定义网络中的安全等功能。
所述方法包括:
S101、所述主节点接收客户端发送的请求信息。
具体地,客户端登录服务端与主节点建立连接,并向主节点发送服务请求信息,客户端的请求信息包括数据读取请求和数据上传存储请求,主节点接收客户端发送的请求信息,并解析该请求信息。
S102、若所述请求信息为数据存储请求,则获取目标数据文件的第一目标信息,所述第一目标信息包括各切片的文件指纹信息及第一密钥信息,根据所述各切片的指纹信息及第一密钥信息建立所述目标数据文件的初始第一meta信息。
具体地,若解析的请求信息数据存储请求,即用户需要将目标数据存储到超融合虚拟虚拟存储平台中,则主节点在收到存储请求后指示客户端发送包含预设信息的第一目标信息,第一目标信息至少包括:目标数据的各切片的文件指纹信息及第一密钥信息。各切片文件及各切片的文件指纹信息及第一密钥信息由客户端生成,客户端提供多种加密方式供用户自行选择对目标数据进行加密,并产生密钥信息,加密主要采用对称加密方式,一个目标数据文件可以采用统一的密钥,也可以采用不同加密方式加密各切片文件。客户端根据指示信息向主节点发送第一目标信息,而不发送目标文件数据信息,如此融合了客户端的计算资源,减轻了通信资源的消耗并且减小了服务端的负载压力,有助于提高通信及数据处理效率。
主节点接收到客户端发送的目标数据的第一目标信息后,根据该第一目标信息中的各切片的文件指纹信息及第一密钥信息建立当前目标数据文件的初始第一meta信息。
本申请一个实施例中,meta信息可以采用树形结构建立,如图2所示,所述meta信息包括三层映射对应关系,第一层包含目标数据标识,也可以设置该目标数据的验证信息或文件属性信息等,该目标数据标识与用户各目标数据的文件名关联,验证信息可以作为用户读取和写入数据的凭证,文件属性表面当前文件的类型,在后续查询匹配时,可以快速匹配查询。第二层包括目标数据各切片的文件指纹信息、密钥信息及各切片之间的关联顺序等信息,各切片的文件指纹信息为根据各切片文件的内容,经过预设的算法(如md5、sha256、sha512等),即各切片的文件指纹信息是由切片的具体内容计算出的能作为该切片文件的唯一标识,因此相同切片内容的指纹信息相同;密钥信息为各切片的解密密钥;关联顺序为各切片解密后的组合关联顺序。第三层为各切片文件对应副本的具体存储位置,一个切片对应多个副本,因此本申请方案的meta信息中,通过各切片文件的指纹信息与多个副本具体存储位置进行对应。在初始第一meta信息结构中,第三层暂时设置为空白,待后续写入更新。
S103、将所述各切片文件指纹信息分成第一指纹信息和第二指纹信息。
具体地,本申请方案通过逐一将各切片的文件指纹信息与第二meta信息中各指纹信息进行匹配,若未匹配成功,则当前文件指纹信息属于第一指纹信息,否则,属于第二指纹信息。所述第二meta信息为已成功在各从节点存储的其他文件的各meta信息,第二meta信息包含了指纹信息、第二密钥信息、各切片文件所在的位置信息等完整信息。本申请方案中主节点对用户发送的各切片文件指纹信息逐一跟第二meta信息中各指纹信息进行匹配,若对应的切片指纹信息在第二meta信息查找匹配成功,说明对应的切片文件已经在从节点存储了,则将该类切片指纹信息分为第指纹信息。若未匹配成功,说明各从节点之前存储的切片文件中,未包含有该切片文件,需要用户发送上传到对应的从节点中进行存储,将该类切片指纹信息分为第一指纹信息。
S104、根据第二meta信息获取各第二指纹信息对应切片文件的从节点位置及第二密钥信息,并更新所述第一meta信息。
具体地,查询各第二指纹信息对应的第二密钥信息及对应的各切片文件副本所在从节点的存储位置,将各切片文件副本所在从节点的存储位置添加到所述第一meta中对应文件指纹信息,并根据各所述第二密钥信息更改对应文件指纹信息的第一密钥信息。
对于各切片文件指纹信息中包含第二指纹信息,说明对应的切片文件已经在从节点存储了,可以不用再重复进一步上传该切片文件到从节点进行存储,可以跟对该已上传的切片文件复用。主节点则从第二meta信息中复制该指纹信息对应的第二密钥信息及第三层的存储位置信息,利用该对应第二密钥信息修改更新第一meta信息中对应的切片指纹的第一密钥信息,并该复制的第三层位置信息将添加到第一meta信息对应切片指纹信息下一层的存储位置中,从而对各属于第二指纹信息的指纹信息在所述第一meta信息结构中相应存储位置数据与密钥信息的添加与修改。如图3所示,由于切片n对应的指纹已属于第二指纹信息,则从对应的第二meta信息复制该对应第二指纹信息的副本存储位置信息添加到切片n指纹信息关联的第三层副本存储位置中,并且切片n对应的密钥信息修改为密钥2,如此即完成初始第一meta中各第二指纹信息对应结构数据的更新。
本申请方案中可以使用Hash或多重Hash来计算各切片文件指纹信息,作为唯一识别各切片文件数据块的内容,由于内容相同的切片数据块Hash值是相同的,因此,主节点根据用户发送的各切片的文件指纹信息与已存储的其他指纹信息,便可判断各指纹信息对应的切片文件是否需要进行存储,从而实现各切片文件的数据内容复用,进而节省存储空间。
S105、确定各第一指纹信息对应的切片应存储的目标从节点位置,根据各目标从节点位置更新所述第一meta信息,并将各第一指纹信息的文件指纹信息及其对应的目标从节点位置信息发送给所述客户端。
各第一指纹信息对应的切片文件未在服务端进行存储,主节点则根据各从节点的分布信息、数据存储及负载信息,计算并确定出各切片文件最优的存储从节点及存储位置信息。在一个实施方式中,主节点还可以结合用户的位置信息及第二指纹对应切片存储位置信息,确定各第一指纹信息对应切片的存储策略及目标从节点及存储位置信息,其中,用户的位置信息可以为登录服务端时最常用的多个位置。例如:当目标数据文件111,经切片处理后包含的各切片文件为A、B、C、D、……,各切片文件对应的指纹信息分别为:H(A)、H(B)、H(C)、H(D)、H(……),其中,H(A)、H(B)、H(C)为第一指纹信息,H(D)及H(……)为第二指纹信息,各第二指纹对应的切片在各从节点存储分布较为零散,则以将各第一指纹对应切片文件单一副本Ai、Bi、Ci的尽可能组合存储在相同的目标从节点中,即有n个组合副本,而且除个别组合副本以离用户位置最近作为组合切片的目标存储从节点。通过上述方法确定存储存储策略及存储位置,可以使得用户复用其他第二指纹对应切片文件通时,大大减少因第二指纹切片文件零散而带来的访问通信压力及通信延时,提高了用户的访问效率。
在一个实施例中,可以等从节点向主节点反馈第一指纹信息对应副本存储成功后,主节点根据反馈信息找到各文件对应的指纹信息,并将对应存储位置写入到对应切片文件指纹信息对应的第三层数据结构中,写入可以依此按先后按顺序写入到对应的k个副本存储位置中。也可以在确定各存储位置后,直接写入带标记的存储位置信息,待从节点反馈存储成功后,将将该带标记的位置信息转换为最终的存储位置信息。本申请方案最终形成的第一meta信息如图3所示。并且等所有的副本都写入成功后,向客户端发送数据存储成功信息。
此外,所述方法还包括:
S106、若所述请求信息为数据读取请求,则根据需读取数据对应各切片副本的存储位置信息,计算各切片文件副本最优读取组合位置信息,并根据需读取数据的主密钥信息及各指纹信息对应的密钥信息,确定各指纹信息对应的目标密钥信息;将副本最优组合位置信息、各切片指纹信息及各指纹信息对应的目标密钥信息发送给所述客户端。
若客户端发送了数据读取请求,则主节点查询对应数据的meta信息获取数据对应各切片的存储位置信息、对应的密钥信息及验证信息,并根据当前客户端位置信息及各从节点的负载信息,计算出各切片最优读取组合副本的位置信息。并且根据需读取数据的主密钥信息及各指纹信息对应的密钥信息,确定各指纹信息对应的目标密钥信息。
该各指纹信息对应的目标密钥信息为经主密钥信息及meta文件中各指纹信息对应的密钥信息通过预设算法计算后得到的,也可以采用主密钥信息作为密钥对各指纹信息对应的密钥信息进行加密得到目标密钥信息。同时,只有客户端设置有对应的专门解密算法,即该经过主节点经过预设算法处理得到目标密钥,只有客户端才能根据目标算法和主密钥信息解密出各副本对应的密钥信息。相较于传统的方式,本申请方案保证了各切片文件对应的密钥信息在传送过程中的安全性,特别是在切片复用情况下,防止了其他数据文件密钥信息的泄露。相较于传统的方式,本申请方案保证了各切片文件对应的密钥信息在传送过程中的安全性,特别是在切片复用情况下,防止了其他数据文件密钥信息的泄露。
此外,主节点还会发送到各从节点读取切片时所需要的相应认证或鉴权信息,并且为了方便客户端快速获取读取数据,本申请方案还可以各副本之间的关联顺序信息一并发送给客户端。客户端根据上述顺序到对应从节点获取对应的副本,并结合关联顺序信息组合所述数据。
本发明上述实施方案中,主节点根据接收到客户端发送的第一目标信息中的各切片文件指纹信息,确定各对应切片文件是否需要在从节点上传存储及在各服务从节点的存储位置,并将需要上传存储的切片文件信息反馈给客户端,客户端根据该信息将对应的加密切片文件上传到对应的从节点位置进行存储。本申请方案中通过对上传原始目标数据各切片文件指纹信息到主节点处理,提高了相同内容文件特别是部分内容相同文件各切片文件的复用性,同时,各用户可以自行选择加密方式对切片文件进行加密,各从节点存储的是各用户通过不同加密方式加密后的切片文件,从节点也未有各切片文件的密钥信息,确保了数据的安全可靠性。并且,主节点对发送经多个密钥信息运算后的目标密钥信息,设置客户端只有才能根据目标算法和主密钥信息解密出各副本对应的密钥信息,保证了各切片文件对应的密钥信息在传送过程中的安全性,特别是在切片复用情况下,防止了其他数据文件密钥信息的泄露。本申请方案主节点建立并更新各切片文件的存储位置及密钥信息,并通过上述处理方式,使得在保证存储文件具有最大复用的情况下,提高了超融合数据存储中数据存储的安全性、可靠性、高效性。
一个实施方式中,本申请还提供一种超融合虚拟存储的处理方法,应用于客户端,其特征在于,所述方法包括:
S201、对所述目标数据进行切片操作,将所述目标数据分成多个初始切片文件;根据预设算法获取所述多个初始切片文件的多个文件指纹信息。
S202、选择目标数据的加密方式,通过所述加密方式对所述多个初始切片文件进行加密,得到多个加密后的切片文件,并获取对应的第一密钥信息。
客户端提供多种加密方式供用户选择,以对应需要存储的数据文件进行加密,所述加密方式为对称加密,如:DES、3DES、TDEA、Blowfish、RC2、RC4、RC5、IDEA、SKIPJACK等。可以对同一份数据各切片文件采用一个加密方式,也可以对各切片文件采用不同的加密方式,加密后获取对应各切片文件的第一密钥信息。
S203、将所述多个文件指纹信息及所述第一密钥信息发送给目标主节点。
客户端向主节点发送第一目标信息,而不发送目标文件数据信息及加密后的各切片文件。
S204、接收所述目标主节点发送的各切片文件对应的目标存储节点位置信息,并将所述多个加密切片文件分别上传到对应的目标存储节点位置进行存储。
主节点发送的切片文件对应的目标存储节点位置信息中,一个切片文件对应了多个副本的目标存储节点位置信息,客户端边可根据各位置信息将对应的切片上传到对应从节点进行存储。
进一步地,该方法还包括:
S205、向所述目标主节点发送目标数据读取请求。
用户需要读取相应数据时,可以通过客户端向主节点发送数据读取请求,经过合法性认真后,主节点便开始传输该目标数据读取所需要的相关信息。
S206、接收所述目标主节点发送的各切片对应的读取位置信息、各切片指纹信息及各指纹信息对应的目标密钥信息。
此外,主节点还会发送到各从节点读取切片时所需要的相应认证或鉴权信息,并且为了方便客户端快速获取读取数据,本申请方案还可以各副本之间的关联顺序信息一并发送给客户端。
S207、根据各所述读取位置信息向对应的各存储节点发送读取请求,并接收所述各存储节点发送的各切片文件,解密并组合切片文件,得到所述目标读取数据。
由于各加密后的切片文件对应的密钥可能不一样,在获取到各加密后的切片文件后,客户端可以直接获取各切片的指纹信息对应的目标密钥信息及主密钥信息通过客户端内置的预设的解密算法或反运算算法,并将解密结果或反运算结果直接对切片文件解密,期间不生成和保存中间数据,保证了各原密钥的安全性,该预设的解密算法/反运算算法跟主节点的加密算法/运算算法匹配对应。
一个实施方式中,如图4所示,本申请还提供一种超融合虚拟存储的处理装置,所述装置包括一个或多个处理单元,存储单元,所述存储单元存储有计算机程序,使得所述一个或多个处理单元执行如上述超融合虚拟存储的处理方法。
在一个实施方式中,本申请方案提供一种计算机存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行上述超融合虚拟存储的处理方法的方法。
在一个实施方式中,本申请方案还提供一种系统,所述系统包括如上述的装置,使得所述系统执行上述超融合虚拟存储的处理方法功能。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储单元、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种超融合虚拟存储的处理方法,应用于存储服务端的主节点,所述存储服务端还包括多个从节点,其特征在于,所述方法包括:
所述主节点接收客户端发送的请求信息;
若所述请求信息为数据存储请求,则获取目标数据文件的第一目标信息,所述第一目标信息包括各切片的文件指纹信息及第一密钥信息,根据所述各切片的指纹信息及第一密钥信息建立所述目标数据文件的初始第一meta信息,将所述第一密钥信息作为目标数据的主密钥信息;
将所述各文件指纹信息分成第一指纹信息和第二指纹信息;
根据第二meta信息获取各第二指纹信息对应切片文件的从节点位置及第二密钥信息,并更新所述第一meta信息,所述第二meta信息为已成功在各从节点存储的其他文件的各meta信息,第二meta信息包含了指纹信息、第二密钥信息、各切片文件所在的位置信息;
确定各第一指纹信息对应的切片副本应存储的目标从节点位置,根据各目标从节点位置更新所述第一meta信息,并将各第一指纹信息的文件指纹信息及其对应的目标从节点位置信息发送给所述客户端;
其中,所述根据第二meta信息将所述各文件指纹信息分成第一指纹信息和第二指纹信息,包括:逐一将各切片的文件指纹信息与第二meta信息中各指纹信息进行匹配,若未匹配成功,则当前文件指纹信息为第一指纹信息,否则,为第二指纹信息;
所述更新所述第一meta信息包括:查询各第二指纹信息对应的第二密钥信息及对应的各切片文件副本所在从节点的存储位置,将各切片文件副本所在从节点的存储位置添加到所述第一meta中对应文件指纹信息,并根据各所述第二密钥信息更改对应文件指纹信息的第一密钥信息。
2.根据权利要求1所述的方法,其特征在于,将各第一指纹信息的文件指纹信息及其对应的目标从节点位置信息发送给所述客户端,之后,所述方法还包括:
接收各从节点发送的对应存储位置存储反馈信息,根据各反馈信息向所述客户端发送存储结果。
3.根据权利要求1所述的方法,其特征在于,所述根据第二meta信息获取各第二指纹信息对应切片文件的从节点位置及第二密钥信息,并更新所述第一meta信息,包括:
查询各第二指纹信息对应的第二密钥信息及对应的各切片文件副本所在从节点的存储位置,将各切片文件副本所在从节点的存储位置添加到所述第一meta中对应文件指纹信息,并根据各所述第二密钥信息更改对应文件指纹信息的第一密钥信息。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:若所述请求信息为数据读取请求,则根据需读取数据对应各切片副本的存储位置信息,计算各切片文件副本最优读取组合位置信息,并根据需读取数据的主密钥信息及各指纹信息对应的密钥信息,确定各指纹信息对应的目标密钥信息;
将副本最优读取组合位置信息、各切片指纹信息、各指纹信息对应的目标密钥信息及主密钥信息发送至客户端。
5.一种超融合虚拟存储的处理方法,应用于客户端,所述客户端用于与权利要求1所述的存储服务端的主节点进行通信以实现超融合虚拟存储,其特征在于,所述方法包括:
对目标数据进行切片操作,将所述目标数据分成多个初始切片文件;
根据预设算法获取所述多个初始切片文件的多个文件指纹信息;
选择目标数据的加密方式,通过所述加密方式对所述多个初始切片文件进行加密,得到多个加密切片文件,并获取对应的第一密钥信息;
将所述多个文件指纹信息及所述第一密钥信息发送给目标主节点;
接收所述目标主节点发送的各切片文件对应的目标存储节点位置信息,并将所述多个切片文件分别上传到对应的目标存储节点位置进行存储;
所述方法还包括:向所述目标主节点发送目标数据读取请求;
接收所述目标主节点发送的各切片对应的读取位置信息、各切片指纹信息及各指纹信息对应的目标密钥信息;
根据各所述读取位置信息向对应的各存储节点发送读取请求,并接收所述各存储节点发送的各切片文件,解密并组合切片文件,得到所述目标读取数据。
6.一种超融合虚拟存储的处理装置,其特征在于,所述装置包括一个或多个处理单元,存储单元,所述存储单元存储有计算机程序,使得所述一个或多个处理单元执行如权利要求中1-5任一项所述的方法。
7.一种基于超融合的虚拟存储处理系统,其特征在于,所述系统包括如权利要求6所述装置,使得所述系统执行如权利要求1-5任一项所述方法的步骤。
8.一种计算机存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求中1-5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211482468.XA CN115842833B (zh) | 2022-11-24 | 2022-11-24 | 一种超融合虚拟存储的处理方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211482468.XA CN115842833B (zh) | 2022-11-24 | 2022-11-24 | 一种超融合虚拟存储的处理方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115842833A CN115842833A (zh) | 2023-03-24 |
CN115842833B true CN115842833B (zh) | 2023-12-15 |
Family
ID=85576014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211482468.XA Active CN115842833B (zh) | 2022-11-24 | 2022-11-24 | 一种超融合虚拟存储的处理方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115842833B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116932555B (zh) * | 2023-08-14 | 2024-04-30 | 合芯科技有限公司 | 一种目标对象切片位置确定方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103685162A (zh) * | 2012-09-05 | 2014-03-26 | 中国移动通信集团公司 | 文件存储和共享方法 |
WO2018032374A1 (zh) * | 2016-08-13 | 2018-02-22 | 深圳市樊溪电子有限公司 | 一种用于区块链的加密存储系统及其使用方法 |
EP3447667A1 (de) * | 2017-08-23 | 2019-02-27 | Bundesdruckerei GmbH | Kryptographische sicherung für eine verteilte datenspeicherung |
WO2022088807A1 (zh) * | 2020-10-30 | 2022-05-05 | 深圳壹账通智能科技有限公司 | 基于区块链的分布式文件存储方法、系统、服务器及客户端 |
CN114726643A (zh) * | 2022-04-27 | 2022-07-08 | 中国银行股份有限公司 | 云平台上的数据存储、访问方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8285997B2 (en) * | 2009-03-20 | 2012-10-09 | Barracuda Networks, Inc. | Backup apparatus with higher security and lower network bandwidth consumption |
US8930686B2 (en) * | 2009-12-23 | 2015-01-06 | International Business Machines Corporation | Deduplication of encrypted data |
US9262643B2 (en) * | 2010-02-22 | 2016-02-16 | Sookasa Inc. | Encrypting files within a cloud computing environment |
US9547774B2 (en) * | 2012-07-18 | 2017-01-17 | Nexenta Systems, Inc. | System and method for distributed deduplication of encrypted chunks |
US10491378B2 (en) * | 2016-11-16 | 2019-11-26 | StreamSpace, LLC | Decentralized nodal network for providing security of files in distributed filesystems |
-
2022
- 2022-11-24 CN CN202211482468.XA patent/CN115842833B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103685162A (zh) * | 2012-09-05 | 2014-03-26 | 中国移动通信集团公司 | 文件存储和共享方法 |
WO2018032374A1 (zh) * | 2016-08-13 | 2018-02-22 | 深圳市樊溪电子有限公司 | 一种用于区块链的加密存储系统及其使用方法 |
EP3447667A1 (de) * | 2017-08-23 | 2019-02-27 | Bundesdruckerei GmbH | Kryptographische sicherung für eine verteilte datenspeicherung |
WO2022088807A1 (zh) * | 2020-10-30 | 2022-05-05 | 深圳壹账通智能科技有限公司 | 基于区块链的分布式文件存储方法、系统、服务器及客户端 |
CN114726643A (zh) * | 2022-04-27 | 2022-07-08 | 中国银行股份有限公司 | 云平台上的数据存储、访问方法及装置 |
Non-Patent Citations (1)
Title |
---|
一种基于代理重加密的安全重复数据删除机制的研究;王珂;《中国优秀硕士学位论文全文数据库 信息科技辑》;第五章 * |
Also Published As
Publication number | Publication date |
---|---|
CN115842833A (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10693652B2 (en) | Secret sharing via blockchain distribution | |
CN110046521B (zh) | 去中心化隐私保护方法 | |
EP3556045B1 (en) | P2p network data distribution and retrieval using blockchain log | |
US9332422B2 (en) | Method of file transmission based upon distributed storage in wireless communication system | |
CN109995505B (zh) | 一种雾计算环境下数据安全去重系统及方法、云存储平台 | |
US8015211B2 (en) | Secure peer-to-peer object storage system | |
CN111523133B (zh) | 一种区块链与云端数据协同共享方法 | |
CN113961535A (zh) | 一种基于区块链的数据可信存储共享系统与方法 | |
CN112204921A (zh) | 利用区块链和多方计算保护轻量级设备的数据隐私的系统和方法 | |
CN111526197B (zh) | 一种云端数据安全共享方法 | |
CN104836862B (zh) | 一种智能终端数据存储方法 | |
CN110837491B (zh) | 一种区块链金融大数据处理系统及方法 | |
CN104735164A (zh) | 一种保存文件信息的方法和装置 | |
CN103685162A (zh) | 文件存储和共享方法 | |
US11018859B2 (en) | Deduplication of client encrypted data | |
CN103731432A (zh) | 一种支持多用户的可搜索加密系统及方法 | |
US20180123800A1 (en) | Method and apparatus for de-duplicating encrypted file through verification of file possession, and method and apparatus for storing encrypted file | |
CN115842833B (zh) | 一种超融合虚拟存储的处理方法、装置及系统 | |
CN111277572A (zh) | 云存储安全去重方法、装置、计算机设备及存储介质 | |
CN110635906A (zh) | 一种分布式块存储系统的密钥管理方法及装置 | |
CN115499249B (zh) | 一种基于区块链分布式加密的文件存储方法及系统 | |
US20220209945A1 (en) | Method and device for storing encrypted data | |
Lin et al. | Secure deduplication schemes for content delivery in mobile edge computing | |
CN111010408B (zh) | 一种分布式加密和解密方法及系统 | |
Yan et al. | Secure and efficient big data deduplication in fog computing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 401220 No. 50, Taohua Avenue, Changshou District, Chongqing Applicant after: State Power Investment Group Chongqing Shizitan Power Generation Co.,Ltd. Address before: 518000 36 / F, Shenzhen Bay venture capital building, No. 25, Haitian Second Road, Binhai community, Yuehai street, Nanshan District, Shenzhen, Guangdong Applicant before: State Power Investment Group Chongqing Shizitan Power Generation Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |