CN112152798A - 基于加密数据去重的分布式密文共享密钥管理方法及系统 - Google Patents

基于加密数据去重的分布式密文共享密钥管理方法及系统 Download PDF

Info

Publication number
CN112152798A
CN112152798A CN202010896598.2A CN202010896598A CN112152798A CN 112152798 A CN112152798 A CN 112152798A CN 202010896598 A CN202010896598 A CN 202010896598A CN 112152798 A CN112152798 A CN 112152798A
Authority
CN
China
Prior art keywords
key
ciphertext
server
data
data block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010896598.2A
Other languages
English (en)
Other versions
CN112152798B (zh
Inventor
李经纬
黄苏豫
任彦璟
杨祚儒
李柏晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunlianwang Technology Guangdong Co ltd
Original Assignee
Zhongda Coding Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongda Coding Co ltd filed Critical Zhongda Coding Co ltd
Priority to CN202010896598.2A priority Critical patent/CN112152798B/zh
Publication of CN112152798A publication Critical patent/CN112152798A/zh
Application granted granted Critical
Publication of CN112152798B publication Critical patent/CN112152798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0819—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s)
    • H04L9/083—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s) involving central third party, e.g. key distribution center [KDC] or trusted third party [TTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0877—Generation of secret information including derivation or calculation of cryptographic keys or passwords using additional device, e.g. trusted platform module [TPM], smartcard, USB or hardware security module [HSM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明适用于数据密钥技术改进领域，为了节省存储数据的开销同时保证数据的安全性，基于加密数据的去重技术在现代云储存系统中被越来越广泛地部署。提出基于加密去重的分布式密文共享密钥管理机制，该机制不仅可以支持在加密数据去重中对元数据进行去重，保证安全性和可靠性。利用专门的服务器辅助产生密钥，将产生密钥的服务器与存储数据块编码后密文切片的服务器相互分离，进而保证了数据的安全性，这样的分布式密钥管理方式还实现了在多个服务器上的负载均衡，又解决了性能瓶颈的问题。

Description

基于加密数据去重的分布式密文共享密钥管理方法及系统
技术领域
本发明属于数据密钥技术改进领域，尤其涉及基于加密数据去重的分布式密文共享密钥管理方法及系统。
背景技术
基于数据块的去重技术被广泛应用于现代主存储系统和备份存储系统 [1]-[4]从而可以实现节省大量的存储开销的目的。在数据块去重技术中，对于多个重复的数据块，它只存储一个物理副本，其他相同的数据块通过一个占用空间很小的引用来表示，而这个引用记录了一些访问这个物理副本的必要信息。先前的很多研究工作已经证明数据去重可以在主存储系统中减少50％的存储开销[1]，而对于备份存储系统来说，其可以节约98％的存储开销[3]。数据去重优越的数据节省效果驱使大量的商业云存储服务商采用该技术(例如：Dropbox，Google Drive，Mozy等等)从而降低存储开销[5]。
为了保证数据的机密性，加密数据去重技术在原本的数据去重基础上增加了一层加密处理[6]、[7]。具体来说，每一个数据块在被进行数据去重之前先会被进行一次对称密钥加密(例如:AES-256)，而加密时所使用的密钥是基于该数据块的内容而产生的(例如：它的密钥是该数据块内容的加密哈希[8])。这样的加密保证相同的数据块在被加密之后仍然是相同的，进而可以对其进行数据去重实现存储空间开销的节省。许多研究工作设计了各种加密数据去重方法，从而在云存储系统中实现更高效的数据管理[9]-[11]。其中，为了进一步提升加密数据块的保密性，防止攻击者利用暴力破解的方法遍历破解密钥和密文，一些研究工作提出利用专门的服务器去负责密钥的产生[6]、[13]-[15]。
尽管现在已经有很多关于加密数据去重的研究，但是它们都只是考虑对数据块进行去重，没有考虑对元数据进行去重[12]。Metadedup提出了一种针对加密去重中元数据的去重方法[12]，它可以针对文件配表和密钥配表进行去重，从而进一步节省开销。它的主要思想是将相邻的数据块所对应的文件配表和密钥配表组织成一系列元数据块，然后对元数据块进行去重。
[1]D.T.Meyer and W.J.Bolosky.A study of practical deduplication.InProc.of USENIX FAST,2011.
[2]M.Lillibridge,K.Eshghi,D.Bhagwat,V.Deolalikar,G.Trezis,and P.Camble.Sparse indexing:Large scale,inline deduplication using sampling andlocality.In Proc.of USENIX FAST,2009.
[3]G.Wallace,F.Douglis,H.Qian,P.Shilane,S.Smaldone,M.Chamness, andW.Hsu.Characteristics of backup workloads in production systems.In Proc. ofUSENIX FAST,2012.
[4]B.Zhu,K.Li,and R.H.Patterson.Avoiding the disk bottleneck in thedata domain deduplication fle system.In Proc.of USENIX FAST,2008.
[5]D.Harnik,B.Pinkas,and A.Shulman-Peleg.Side channels in cloudservices:Deduplication in cloud storage.IEEE Security&Privacy,8(6):40–47,2010.
[6]M.Bellare,S.Keelveedhi,and T.Ristenpart.DupLESS:Server-aidedencryption for deduplicated storage.In Proc.of USENIX Security,2013.
[7]M.Bellare,S.Keelveedhi,and T.Ristenpart.Message-locked encryptionand secure deduplication.In Proc.of EUROCRYPT,2013.
[8]J.R.Douceur,A.Adya,W.J.Bolosky,P.Simon,and M.Theimer.Reclaimingspace from duplicate fles in a serverless distributed filesystem.In Proc. of IEEE ICDCS,2002.
[9]F.Armknecht,J.-M.Bohli,G.O.Karame,and F.Youssef.Transparent datadeduplication in the cloud.In Proc.of ACM CCS,2015.
[10]M.Li,C.Qin,and P.P.Lee.CDStore:Toward reliable,secure,and costefficient cloud storage via convergent dispersal.In Proc.of USENIX ATC,2015.
[11]C.Qin,J.Li,and P.P.Lee.The design and implementation of arekeying-aware encrypted deduplication storage system.ACM Trans.on Storage,13(1):9,2017.
[12]J.Li,P.P.C.Lee,Y.Ren,and X.Zhang.Metadedup:Deduplicating metadatain encrypted deduplication via indirection.In Proc.of IEEE MSST, 2019.
[13]Y.Duan.Distributed key generation for encrypted deduplication:Achievingthe strongest privacy.In Proc.of ACM CCSW,2014.
[14]Y.Zhou,D.Feng,W.Xia,M.Fu,F.Huang,Y.Zhang,and C.Li. Secdep:A user-aware efficient fine-grained secure deduplication scheme with multi-level keymanagement.In Proc.of IEEE MSST,2015.
[15]J.Liu,N.Asokan,and B.Pinkas.Secure deduplication of encrypteddata without additional independent servers.In Proc.of ACM CCS,2015.
[16]M.Abadi,D.Boneh,I.Mironov,A.Raghunathan,and G.Segev. Message-locked encryption for lock-dependent messages.In Proc.of CRYPTO, 2013.
[17]M.Bellare and S.Keelveedhi.Interactive message-locked encryptionand secure deduplication.In Proc.of PKC,2015..
[18]Liu,L.Duan,Y.Li,and N.Asokan.Secure deduplication of encrypteddata:Refined model and new constructions.In Proc.of CT-RSA,2018.
[19]A.Adya,W.J.Bolosky,M.Castro,G.Cermak,R.Chaiken,J.R. Douceur,J.Howell,J.R.Lorch,M.Theimer,and R.P.Wattenhofer.Farsite: Federated,available,and reliable storage for an incompletely trusted environment. InProc.of USENIX OSDI,2002.
[20]P.Anderson and L.Zhang.Fast and secure laptop backups withencrypted de-duplication.In Proc.of USENIX LISA,2010.
[21]L.P.Cox,C.D.Murray,and B.D.Noble.Pastiche:Making backup cheap andeasy.In Proc.of USENIX OSDI,2002.
[22]M.W.Storer,K.Greenan,D.D.Long,and E.L.Miller.Secure datadeduplication.In Proc.of ACM StorageSS,2008.
[23]P.Shah and W.So.Lamassu:Storage-efficient host-side encryption.InProc.of USENIX ATC,2015.
[24]H.Cui,C.Wang,Y.Hua,Y.Du,and X.Yuan.A bandwidth-efficientmiddleware for encrypted deduplication.In Proc.of IEEE DSC,2018.
[25]D.Bhagwat,K.Eshghi,D.D.E.Long,and M.Lillibridge,“Extreme binning:Scalable,parallel deduplication for chunk-based file backup,”in Proc.of IEEEMASCOTS,2009.
[26]A.Z.Broder,“On the resemblance and containment of documents,” inProc.of SEQUENCES,1997.
发明内容
本发明的目的在于提供一种基于加密数据去重的分布式密文共享密钥管理方法及系统，旨在解决在基于密文共享的加密数据去重场景下如何高效地管理密钥，从而同时保证数据的可靠性和保密性的技术问题。
本发明是这样实现的，一种基于加密数据去重的分布式密文共享密钥管理方法，所述分布式密文共享密钥管理方法包括以下步骤：
S1、对一个(s,t)密文共享机制部署服务器生成加密密钥和存储加密后的数据块；
S2、对数据块从服务器产生该数据块所需密钥，并对数据块按照(s,t)密文共享机制编码；
S3、将编码后的密文切片存储在服务器上。
本发明的进一步技术方案是：所述步骤S1中还包括以下步骤：
S11、对一个(s,t)密文共享机制部署s+1个服务器，并在每个服务器中设置有一个与其他服务器不同的机密。
本发明的进一步技术方案是：所述步骤S11中每个服务器负责生产每次的加密密钥并同时存储加密后的数据块。
本发明的进一步技术方案是：所述步骤S2中还包括以下步骤：
S21、对一个数据块从s+1个服务器中选择一个服务器产生该数据块所需密钥；
S22、对数据块按照(s,t)密文共享机制编码后所产生的s个密文切片分别存储在剩下的s个不同服务器上。
本发明的进一步技术方案是：每一个服务器保留一个不同的全局机密对每一个数据块选择其中一个服务器产生相对应的MLE密钥，用支持数据去重的(s,t)密文共享算法将其编码为s个密文切片，分别存储在剩下的s个不同的服务器上。
本发明的进一步技术方案是：所述MLE密钥生成包括以下步骤：
S211、对所有的数据块进行大小可变的分段并在每个分段中包含多个数据块；
S212、将每个分段所包含的数据块中哈希值最小的哈希作为该分段的哈希值；
S213、使用该分段的哈希值去产生相对应的分段MLE密钥。
本发明的进一步技术方案是：在选择产生分段MLE密钥的服务器时，用该分段哈希值与s+1的模作为产生分段MLE密钥服务器的依据从而保证具有相同哈希值的分段会被分配到相同的服务器产生分段MLE密钥。
本发明的进一步技术方案是：对s+1个密文切片中每个密文切片构造相对应的元数据块，所述元数据块包括密文切片所对应的哈希、所占空间的大小及其元数据信息。
本发明的进一步技术方案是：对s+1个元数据块构造相对应的文件配表，其记录了密文切片所对应的哈希、编号及其所对应的元数据块的索引。
本发明的另一目的在于提供基于加密数据去重的分布式密文共享密钥管理系统，所述分布式密文共享密钥管理系统包括：
密钥生成模块，用于对一个(s,t)密文共享机制部署服务器生成加密密钥和存储加密后的数据块；
密文编码模块，用于对数据块从服务器产生该数据块所需密钥，并对数据块按照(s,t)密文共享机制编码；
密钥存储模块，用于将编码后的密文切片存储在服务器上。
本发明的进一步技术方案是：所述密钥生成模块中还包括
部署单元，用于对一个(s,t)密文共享机制部署s+1个服务器，并在每个服务器中设置有一个与其他服务器不同的机密。
本发明的进一步技术方案是：所述部署单元中每个服务器负责生产每次的加密密钥并同时存储加密后的数据块。
本发明的进一步技术方案是：所述密钥编码模块中还包括以下步骤：
生成单元，用于对一个数据块从s+1个服务器中选择一个服务器产生该数据块所需密钥；
切片单元，用于对数据块按照(s,t)密文共享机制编码后所产生的s个密文切片分别存储在剩下的s个不同服务器上。
本发明的进一步技术方案是：每一个服务器保留一个不同的全局机密对每一个数据块选择其中一个服务器产生相对应的MLE密钥，用支持数据去重的(s,t)密文共享算法将其编码为s个密文切片，分别存储在剩下的s个不同的服务器上。
本发明的进一步技术方案是：所述MLE密钥生成包括：
分段单元，用于对所有的数据块进行大小可变的分段并在每个分段中包含多个数据块；
定值单元，用于将每个分段所包含的数据块中哈希值最小的哈希作为该分段的哈希值；
产生单元，用于使用该分段的哈希值去产生相对应的分段MLE密钥。
本发明的进一步技术方案是：在选择产生分段MLE密钥的服务器时，用该分段哈希值与s+1的模作为产生分段MLE密钥服务器的依据从而保证具有相同哈希值的分段会被分配到相同的服务器产生分段MLE密钥。
本发明的进一步技术方案是：对s+1个密文切片中每个密文切片构造相对应的元数据块，所述元数据块包括密文切片所对应的哈希、所占空间的大小及其元数据信息。
本发明的进一步技术方案是：对s+1个元数据块构造相对应的文件配表，其记录了密文切片所对应的哈希、编号及其所对应的元数据块的索引。
本发明的有益效果是：分布式密钥管理方式可以进一步提升密文的安全性，同时可以在产生密钥时实现负载均衡。
附图说明
图1是本发明实施例提供的基于加密数据去重的分布式密文共享密钥管理方法的流程图。
图2是本发明实施例提供的基于加密数据去重的分布式密文共享密钥管理系统的结构框图。
图3是本发明实施例提供的负载均衡实验结果示意图。
具体实施方式
为了节省存储数据的开销同时保证数据的安全性，基于加密数据的去重技术在现代云储存系统中被越来越广泛地部署。除了对传统加密数据块进行去重，我们还可以对元数据进行去重。同时，为了进一步实现对故障容错，一些方法将密文共享算法和加密数据去重相结合进而保证一定的容错率。但是，现有的基于加密数据去重的密文共享的安全性需要依赖于数据块内容是不可预测的假设，为了解决这个问题，我们在提出了一种新的基于加密去重的分布式密文共享密钥管理机制，该机制不仅可以支持在加密数据去重中对元数据进行去重，还可以保证安全性和可靠性。它的主要思想是利用专门的服务器辅助产生密钥，将产生密钥的服务器与存储数据块编码后密文切片的服务器相互分离，进而保证了数据的安全性，同时这样的分布式密钥管理方式还实现了在多个服务器上的负载均衡，又解决了性能瓶颈的问题。
我们在针对加密数据去重的场景下，提出了一种新的基于加密数据去重的分布式密文共享密钥管理机制。它不仅可以支持传统的加密数据去重以及对元数据进行去重，还提升了安全性。同时，它还可以提升数据存储的可靠性进而避免由于使用单一节点进行存储时而引发的单点失效问题。
我们的主要设计思想如下。对于一个(s,t)密文共享机制，我们部署 s+1个服务器，其中每一个服务器都有一个与其他服务器不同的机密。同时，每个服务器既负责生成每次的加密密钥，同时也存储加密后的数据块。对于一个数据块，我们首先从s+1个服务器中选择一个服务器产生该数据块所需要的密钥，通过对数据块按照(s,t)密文共享机制编码，将编码后所产生的s个密文切片分别存在剩下的s个服务器上。通过理论分析和实验验证，我们发现这种新的分布式密钥管理方式可以进一步提升密文的安全性，同时可以在产生密钥时实现负载均衡。
相关工作：
信息锁定加密(MLE)[7]提出一个完整的加密数据去重理论框架。随 后一系列研究工作进一步完善MLE并解决了其中一些未解决的问题，包 括参数依赖性[16]，数据的相关联性[17]，对MLE加密后的数据进行密钥更新 [11]，Liu等人[18]提出了一种更普适的加密数据去重安全模型。从应用的角度 来说，各种各样的加密去重系统(例如：[8]、[19]-[22])通过收敛加密(CE) 的方式实现MLE。为了进一步改进CE，CDStore[10]将密文共享机制与CE 相结合以提高数据的可靠性，而Lamassu[23]则在CE的基础上设计了一种透 明的元数据管理方案。尽管CE已经被广泛用于各种各样的系统之中，但 是在面的攻击者的离线暴力攻击时，它仍然是十分脆弱的，攻击者可以遍 历所有可能的明文，然后对其使用CE进行加密，将得到的密文与目标密 文进行对比，就可以知道目标密文与明文的对映关系。
DupLESS[6]提出了一种服务器辅助的加密数据去重设计，它部署了一 个专门用于产生密钥的服务器，从而可以防御攻击者的离线暴力攻击。许 多研究工作进一步在不同方面拓展了服务器辅助的加密数据去重设计，例 如实现基于法定人数的密钥管理机制[13]，通过进行跨用户文件层的数据去 重来提高密钥产生的效率[14]，利用用户实现去中心化的密钥管理机制[14]。 另外一些研究工作则继续在加密数据去重的基础上扩展一些新的功能，比 如周期性验证当前存储空间[9]，动态访问控制[11]，更高效率地利用带宽进 行上传操作[24]。
但是目前已有的相关工作没有考虑在基于密文共享的加密数据去重场景下如何高效地管理密钥，从而同时保证数据的可靠性和保密性。
分布密钥管理框架
在之前针对加密数据去重中的元数据去重的工作都是将数据存放在单 一服务器上，这导致它们存在单点失效的缺点，即如果该服务器发生故障 或者被攻击，那么所有的数据都会丢失，所以它不能保证数据的可靠性。 为了保证数据的可靠性，我们遵循密文共享的思想[10]，将针对加密数据去 重中的元数据去重从单一服务器存储数据的架构拓展为多个服务器存储数 据的架构。具体来说，我们将一个数据块视为一个密文，然后使用支持数 据去重的(s，t)密文共享算法(其中s≥t>0)将密文编码为s个密文切片。 与传统的密文共享算法相比，支持数据去重的密文共享算法将其中的随机 参数替换为该数据块的加密哈希值从而保证相同密文所产生密文切片也是 相同的，进而可以实现数据的去重。在这样的前提下，我们可以实现三个 属性：
1.可靠性：即只要在s个密文切片中有任意t个密文切片可以被访问，那么该数据块就可以被恢复。
2.保密性：即只要攻击者没有同时访问不多于t-1个密文切片，那么该数据块仍可以处于保密的状态。
3.支持数据去重性：即相同的数据块会被编码为相同密文切片，可以支持在编码后进行数据去重。
但是，支持数据去重的密文共享算法依赖于所有的密文的内容是不可预测的这个假设，否则，它会像传统的MLE一样容易受到来着攻击者的离线暴力攻击。换句话说，攻击者可以通过一个密文切片进而反向暴力推断出其编码前对应的密文。我们认为现有的密钥管理方法在解决密文内
当前方法存在的不足
为了解决密文内容是不可预测的假设，一种较为简单的解决方法就是 扩展服务器辅助的加密数据去重设计[6]。与服务器辅助的MLE[6]相似，这 种方法可以部署一个专门负责产生的密钥的服务器，并在其上引入一个全 局的机密。在产生MLE密钥时，其结果是基于输入数据块的哈希和全局 的机密。相比于用MLE密钥直接进行加密，支持数据去重的密文共享算 法将相应的MLE密钥和其所对应的数据块一起作为输入，这样其所编码 出的密文切片将被全局的机密保护。只要全局的机密是保密的，那么所有 的数据块就是安全的。
但是，这种方法存在两个局限性。第一，这个全局的机密存在单点失 效，如果全局的机密被破解了，那么全部数据的安全性都会降低。第二， 像DupLESS[6]这样将全局的机密存放在一个单一的密钥管理服务器上的设 计，当客户端的数量增多时，这个单一的密钥管理服务器会成为性能的瓶 颈。虽然为了实现负载均衡，我们可以部署多个一样的密钥管理服务器， 但是这样的方法又会给泄露全局机密增加额外的风险。
在上述方法的基础上，Duan等人[13]提出了将全局机密分散到多个密钥 管理服务器上。具体来说，每个密钥管理服务器只保留一个全局机密的切 片。在生成密钥时，也是只是根据它所保留的全局机密切片生成一个密钥 的切片。当客户端收集到的密钥切片数目达到一定的阈值之后，客户端可 以用这些密文切片重构出原本的MLE密钥。当一部分的密钥管理服务器 被攻击后，这种方法仍然可以保留一定的安全性。同时，这种方法也可以 实现一定的负载均衡因为客户端可以选择空闲的密钥管理服务器去产生相 应的密钥切片。但是，这样的分布式密钥管理方法[13]需要使用开销很大的 密码学原语(例如，门限签名)，同时很难在现实系统中应用。
密钥管理方法
我们提出了一种新的基于多服务器的分布式密钥管理方法。为了与支持数据去重的(s,t)密文共享算法相结合，我们部署s+1个服务器，每个服务器保留一个不同的全局机密用于对一组数据块生成相应的MLE密钥。对于每一个数据块来说，我们选择其中一个服务器去产生相应的MLE密钥，然后用支持数据去重的(s,t)密文共享算法将其编码为s个密文切片，分别存在剩下的s个不同的服务器上。因此，若攻击者仅破解了一个服务器上的全局机密，其并不会影响其他没有使用该服务器产生MLE密钥的数据块的安全。除此之外，对于相同的数据块，由于它所产生的密文切片和其所使用的全局机密是物理分离地存储在不同的服务器上，因此这样的设计可以更健壮地抵御攻击者攻击存储全局机密的服务器或者存储密文切片的服务器。接下来，我们进一步阐述更多的设计细节以及如何将我们提出的这种新的密钥管理方式与针对加密数据去重中的元数据去重相结合。
1.分布式密钥生成方法：对于生成MLE密钥，一种方法是对每一个 数据块执行OPRF协议[6]，这样可以保证每个MLE密钥可以被成功地生成 但是并不会泄露数据块的哈希或者所使用的全局密钥。但是，当数据块数 量特别多的时候，对每个数据块执行OPRF协议会产生很大的开销[11][14]。
为了减轻OPRF协议所产生的开销对密钥生成性能所带来的影响，我 们在使用了与之前工作相似的方法[11]，即使用基于内容相似性的方法去产 生粗粒度的MLE密钥。具体来说，我们对所有的数据块进行大小可变的 分段，每个分段包含多个数据块。对于每个分段，我们将它所包含的数据 块中哈希值最小的哈希作为该分段的哈希，然后使用该分段的哈希去产生 相应的分段MLE密钥。在选择产生分段MLE密钥的服务器时，我们用该 分段哈希值与s+1的模作为选择产生分段MLE密钥服务器的依据，这样 可以保证具有相同哈希值的分段会被分配到相同的服务器去产生分段的 MLE密钥。
相比于针对每个数据块去产生MLE密钥，对每个分段产生MLE密钥 只会轻微减弱最后的数据去重效果因为若两个分段具有相同哈希值，那么 其有很大可能包含大量相同的数据块[25]、[26]。更重要的是，它不会影响对元 数据进行去重的效果，原因是针对加密数据去重中对元数据去重的方法本 身就是基于分段来产生相应的元数据块，相同的分段就会产生相同的元数 据块。
2.元数据块管理：对于每个分段，我们对其所包含的每一个数据块用该分段所对应的MLE密钥与支持数据去重的(s,t)密文共享算法进行编码，产生s个密文切片流并写入到除了负责产生MLE密钥之外的s个服务器上。因此，对所有的分段来说，一共有s+1个密文切片流，但是它们所对应的 MLE密钥是由不同的服务器产生。
对于s+1个密文切片流中每一个密文切片流，我们为其构造相应的元数据块，其中包括密文切片所对应的哈希，其所占空间的大小以及其他必要的元数据信息。对于s+1个元数据块流，我们为其构造相应的文件配表，其中记录了密文切片所对应的哈希，编号以及其所对应的元数据块的索引。需要注意的是与针对加密数据去重中对元数据去重这样相结合的方式不会减弱支持数据去重的(s,t)密文共享算法本身的容错能力。具体来说，如果最多s-t个服务器失效，客户端仍然可以从剩下的t+1可用的服务器上访问所需的密文切片、元数据块以及文件配表。之后，它可以根据文件配表里面的信息重新恢复原本的文件。
健壮性分析
在这个小节，我们分析我们所设计的分布式密钥管理方法对攻击者防御的健壮性。我们的目的是阐述即使攻击者攻击了一定数量的服务器，我们所设计的分布式密钥管理方法仍然可以保证许多数据块的安全。为了不失一般性，我们主要考虑s＝4，t＝3的情况，在这样的前提下，我们部署 5个服务器从而可以允许最多1个服务器失效。我们假设每个服务器为20％的数据块产生相应的MLE密钥，同时存储剩余80％数据块的密文切片。
首先，最乐观的情况就是攻击者只成功攻击了一个服务器，它可以访问在该服务器上存储的密文切片，元数据块，文件配表以及它的全局机密。由于我们所设计的方案将密文切片与其所使用的全局机密进行了分离存储，存放在不同的服务器上，这样保证了攻击者不能用它所截获的信息破解原本的数据块。除此之外，我们的方法使用OPRF协议，这保证了攻击者不能在产生密钥的过程中破获数据块的哈希值。因此，在最乐观的情况下，我们所提出的密钥管理方案可以保证所有数据的安全。
对于半乐观的情况就是攻击者可以攻击5个服务器中的任意3个服务器以及可以访问它们所持有的全局机密。在这样的前提下，攻击者可以知道40％数据块的MLE密钥产生时所使用的全局机密以及每个数据块所对应的至少一个密文切片。对于这种情况，我们所设计的密钥管理方法可以保证60％数据块的安全，因为这60％数据块的MLE密钥所使用的全局机密对于攻击者仍然是保密的。如果剩下40％的数据块内容是不可预测的，那么它们的安全仍然可以得到保证。值得注意的是，尽管对于每一个数据块，攻击者最多可以截取其所对应的2个密文切片，但是根据密文算法的特性，它仍然不能恢复出原本的数据块。
对于最坏的情况即攻击者攻击了5个服务器中的任意3个服务器。对于这种情况，攻击者可以知道60％数据块所对应的MLE密钥的全局机密，若这60％数据块的内容是不可预测的，我们的方法仍然可以保证它们的安全。具体来说，尽管这60％数据块所对应的密文切片和其所使用的全局机密可以被攻击者获取，攻击者仍然没有足够多的信息恢复出原本的数据块。
实验结果
在本节中，我们主要验证当使用我们所提出的分布式密钥管理方法时能否实现对元数据块存储开销的存储以及是否可以在多个服务器上实现负载均衡。
1.对元数据块存储开销的节省
我们考虑支持数据去重的(s,t)密文共享算法，其中s＝4，t＝3，并将其部署在5个服务器上。我们在两种数据集对我们说提出方法进行验证，表一和表二分别展示了在FSL数据集和VM数据集上的结果。
Figure BDA0002658650430000181
表一：在FSL数据集上的结果
Figure BDA0002658650430000182
Figure BDA0002658650430000191
表二：在VM数据集上的结果
从表一和表二的数据中，我们可以发现由于使用了支持数据去重的密文共享算法，其本身不需要保存相应的密钥，因此我们所提出的方案不需要保存密钥配表。除此之外，虽然我们所设计的分布式密钥管理方法由于需要支持容错，会导致元数据存储开销的增大，但是，最后的结果显示，我们的方法仍然可以支持在加密数据去重中对元数据去重，可以在FSL数据集上节省90％左右的元数据存储开销，而在VM数据集上则可以节省 88％-93％左右的元数据存储开销。
2.负载均衡的情况
我们现在分析在不同服务器上的负载均衡情况。我们的目的是验证我 们所设计的分布式密钥管理方法一定程度上可以在多个服务器上实现负载 均衡。我们假设每个服务器将文件配表，元数据块和数据块存储在硬盘上， 而将用于数据去重的数据块哈希索引存放在内存里从而实现较高的去重性 能[4]。为了衡量负载均衡的程度，我们定义内存(硬盘)使用情况的倾斜 程度为所有服务器中使用程度最大值与最小值的差除以平均使用程度。显 然，当倾斜程度越小说明我们所提出的方案实现了更好地负载均衡。图1 展示了我们所提出方案在FSL和VM两个数据集上的负载均衡情况。
从图1中我们可以发现，当分段的大小越大，负载的倾斜程度往往就越大。这是因为我们选择最小的哈希值作为分段的哈希会造成在各个服务器上产生MLE密钥的不均匀。然而，我们所设计的方法仍然可以在所有的服务器之间实现一个良好的负载均衡。例如对FSL数据集来说，当存储完所有的备份数据，内存使用的倾斜程度小于0.91％，同时，硬盘使用的倾斜程度小于1.05％。
结论和今后的工作
在本文中，我们提出了一个新的基于新的基于加密去重的分布式密文共享密钥管理机制，该机制不仅支持在加密数据去重中对元数据去重，还可以支持数据故障容错，同时保证数据块的安全性，使其不依赖于数据块内容是不可预测的假设。在多个服务器的情况下，我们所设计的机制还可以实现负载均衡。我们将所设计的密钥管理机制进行了一些实验，进一步验证了我们提出方案的效果。今后的一项工作是如何进一步提升我们所提出方案的性能并进行更多的实验，在更多的数据集上进行验证。
本发明的另一目的在于提供基于加密数据去重的分布式密文共享密钥管理系统，所述分布式密文共享密钥管理系统包括：
密钥生成模块，用于对一个(s,t)密文共享机制部署服务器生成加密密钥和存储加密后的数据块；
密钥编码模块，用于对数据块从服务器产生该数据块所需密钥，并对数据块按照(s,t)密文共享机制编码；
密文存储模块，用于将编码后的密文切片存储在服务器上。
所述密钥生成模块中还包括
部署单元，用于对一个(s,t)密文共享机制部署s+1个服务器，并在每个服务器中设置有一个与其他服务器不同的机密。
所述部署单元中每个服务器负责生产每次的加密密钥并同时存储加密后的数据块。
所述密钥编码模块中还包括以下步骤：
生成单元，用于对一个数据块从s+1个服务器中选择一个服务器产生该数据块所需密钥；
切片单元，用于对数据块按照(s,t)密文共享机制编码后所产生的s个密文切片分别存储在剩下的s个不同服务器上。
每一个服务器保留一个不同的全局机密对每一个数据块选择其中一个服务器产生相对应的MLE密钥，用支持数据去重的(s,t)密文共享算法将其编码为s个密文切片，分别存储在剩下的s个不同的服务器上。
所述MLE密钥生成包括：
分段单元，用于对所有的数据块进行大小可变的分段并在每个分段中包含多个数据块；
定值单元，用于将每个分段所包含的数据块中哈希值最小的哈希作为该分段的哈希值；
产生单元，用于使用该分段的哈希值去产生相对应的分段MLE密钥。
在选择产生分段MLE密钥的服务器时，用该分段哈希值与s+1的模作用该分段哈希值与s+1的模作为产生分段MLE密钥服务器的依据从而保证具有相同哈希值的分段会被分配到相同的服务器产生分段MLE密钥。
对s+1个密文切片中每个密文切片构造相对应的元数据块，所述元数据块包括密文切片所对应的哈希、所占空间的大小及其元数据信息。
对s+1个元数据块构造相对应的文件配表，其记录了密文切片所对应的哈希、编号及其所对应的元数据块的索引。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于加密数据去重的分布式密文共享密钥管理方法，其特征在于，所述分布式密文共享密钥管理方法包括以下步骤：
S1、对一个(s,t)密文共享机制部署服务器生成加密密钥和存储加密后的数据块；
S2、对数据块从服务器产生该数据块所需密钥，并对数据块按照(s,t)密文共享机制编码；
S3、将编码后的密文切片存储在服务器上。
2.根据权利要求1所述的基于加密数据去重的分布式密文共享密钥管理方法，其特征在于，所述步骤S1中还包括以下步骤：
S11、对一个(s,t)密文共享机制部署s+1个服务器，并在每个服务器中设置有一个与其他服务器不同的机密。
3.根据权利要求1或2所述的基于加密数据去重的分布式密文共享密钥管理方法，其特征在于，所述步骤S2中还包括以下步骤：
S21、对一个数据块从s+1个服务器中选择一个服务器产生该数据块所需密钥；
S22、对数据块按照(s,t)密文共享机制编码后所产生的s个密文切片分别存储在剩下的s个不同服务器上。
4.根据权利要求3所述的基于加密数据去重的分布式密文共享密钥管理方法，其特征在于，所述密钥为MLE密钥，其生成包括以下步骤：
S211、对所有的数据块进行大小可变的分段并在每个分段中包含多个数据块；
S212、将每个分段所包含的数据块中哈希值最小的哈希作为该分段的哈希值；
S213、使用该分段的哈希值去产生相对应的分段MLE密钥。
5.根据权利要求4所述的基于加密数据去重的分布式密文共享密钥管理方法，其特征在于，
所述步骤S11中每个服务器负责生产每次的加密密钥并同时存储加密后的数据块；
每一个服务器保留一个不同的全局机密对每一个数据块选择其中一个服务器产生相对应的MLE密钥，用支持数据去重的(s,t)密文共享算法将其编码为s个密文切片，分别存储在剩下的s个不同的服务器上；
在选择产生分段MLE密钥的服务器时，用该分段哈希值与s+1的模作为产生分段MLE密钥服务器的依据从而保证具有相同哈希值的分段会被分配到相同的服务器产生分段MLE密钥；
对s+1个密文切片中每个密文切片构造相对应的元数据块，所述元数据块包括密文切片所对应的哈希、所占空间的大小及其元数据信息；
对s+1个元数据块构造相对应的文件配表，其记录了密文切片所对应的哈希、编号及其所对应的元数据块的索引。
6.基于加密数据去重的分布式密文共享密钥管理系统，其特征在于，所述分布式密文共享密钥管理系统包括：
密钥生成模块，用于对一个(s,t)密文共享机制部署服务器生成加密密钥和存储加密后的数据块；
密文编码模块，用于对数据块从服务器产生该数据块所需密钥，并对数据块按照(s,t)密文共享机制编码；
密钥存储模块，用于将编码后的密文切片存储在服务器上。
7.根据权利要求6所述的基于加密数据去重的分布式密文共享密钥管理系统，其特征在于，所述密钥生成模块中还包括
部署单元，用于对一个(s,t)密文共享机制部署s+1个服务器，并在每个服务器中设置有一个与其他服务器不同的机密。
8.根据权利要求6或7所述的基于加密数据去重的分布式密文共享密钥管理系统，其特征在于，所述密钥编码模块中还包括以下步骤：
生成单元，用于对一个数据块从s+1个服务器中选择一个服务器产生该数据块所需密钥；
切片单元，用于对数据块按照(s,t)密文共享机制编码后所产生的s个密文切片分别存储在剩下的s个不同服务器上。
9.根据权利要求8所述的基于加密数据去重的分布式密文共享密钥管理系统，其特征在于，所述密钥为MLE密钥，其生成包括：
分段单元，用于对所有的数据块进行大小可变的分段并在每个分段中包含多个数据块；
定值单元，用于将每个分段所包含的数据块中哈希值最小的哈希作为该分段的哈希值；
产生单元，用于使用该分段的哈希值去产生相对应的分段MLE密钥。
10.根据权利要求9所述的基于加密数据去重的分布式密文共享密钥管理系统，其特征在于，所述部署单元中每个服务器负责生产每次的加密密钥并同时存储加密后的数据块；
每一个服务器保留一个不同的全局机密对每一个数据块选择其中一个服务器产生相对应的MLE密钥，用支持数据去重的(s,t)密文共享算法将其编码为s个密文切片，分别存储在剩下的s个不同的服务器上；
在选择产生分段MLE密钥的服务器时，用该分段哈希值与s+1的模作为产生分段MLE密钥服务器的依据从而保证具有相同哈希值的分段会被分配到相同的服务器产生分段MLE密钥；
对s+1个密文切片中每个密文切片构造相对应的元数据块，所述元数据块包括密文切片所对应的哈希、所占空间的大小及其元数据信息；
对s+1个元数据块构造相对应的文件配表，其记录了密文切片所对应的哈希、编号及其所对应的元数据块的索引。
CN202010896598.2A 2020-08-31 2020-08-31 基于加密数据去重的分布式密文共享密钥管理方法及系统 Active CN112152798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010896598.2A CN112152798B (zh) 2020-08-31 2020-08-31 基于加密数据去重的分布式密文共享密钥管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010896598.2A CN112152798B (zh) 2020-08-31 2020-08-31 基于加密数据去重的分布式密文共享密钥管理方法及系统

Publications (2)

Publication Number Publication Date
CN112152798A true CN112152798A (zh) 2020-12-29
CN112152798B CN112152798B (zh) 2023-10-03

Family

ID=73890230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010896598.2A Active CN112152798B (zh) 2020-08-31 2020-08-31 基于加密数据去重的分布式密文共享密钥管理方法及系统

Country Status (1)

Country Link
CN (1) CN112152798B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764677A (zh) * 2021-01-14 2021-05-07 杭州电子科技大学 一种在云存储中增强数据迁移安全性的方法
CN113407966A (zh) * 2021-06-25 2021-09-17 南京师范大学 具有密钥更新与密文分享功能的可搜索公钥加密方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120166448A1 (en) * 2010-12-28 2012-06-28 Microsoft Corporation Adaptive Index for Data Deduplication
CN104917609A (zh) * 2015-05-19 2015-09-16 华中科技大学 一种基于用户感知的高效安全数据去重方法及系统
CN106100832A (zh) * 2016-06-12 2016-11-09 广东工业大学 一种云存储数据去重中基于收敛加密的密钥管理方法
CN107659401A (zh) * 2017-10-09 2018-02-02 华中科技大学 一种相似性感知的安全数据去重加密方法
WO2018119657A1 (zh) * 2016-12-27 2018-07-05 日彩电子科技(深圳)有限公司 应用于数据去重的数据路由方法
CN109379182A (zh) * 2018-09-04 2019-02-22 西安电子科技大学 支持数据去重的高效数据重加密方法及系统、云存储系统
CN110109617A (zh) * 2019-04-22 2019-08-09 电子科技大学 一种加密重复数据删除系统中的高效元数据管理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120166448A1 (en) * 2010-12-28 2012-06-28 Microsoft Corporation Adaptive Index for Data Deduplication
CN104917609A (zh) * 2015-05-19 2015-09-16 华中科技大学 一种基于用户感知的高效安全数据去重方法及系统
CN106100832A (zh) * 2016-06-12 2016-11-09 广东工业大学 一种云存储数据去重中基于收敛加密的密钥管理方法
WO2018119657A1 (zh) * 2016-12-27 2018-07-05 日彩电子科技(深圳)有限公司 应用于数据去重的数据路由方法
CN107659401A (zh) * 2017-10-09 2018-02-02 华中科技大学 一种相似性感知的安全数据去重加密方法
CN109379182A (zh) * 2018-09-04 2019-02-22 西安电子科技大学 支持数据去重的高效数据重加密方法及系统、云存储系统
CN110109617A (zh) * 2019-04-22 2019-08-09 电子科技大学 一种加密重复数据删除系统中的高效元数据管理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MINGQIANG LI 等: "CDStore: Toward Reliable, Secure, and Cost-Efficient Cloud Storage via Convergent Dispersal", 《IEEE INTERNET COMPUTING》 *
郎为民 等: "云环境中数据安全去重研究进展", 《通信学报》, vol. 37, no. 11 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764677A (zh) * 2021-01-14 2021-05-07 杭州电子科技大学 一种在云存储中增强数据迁移安全性的方法
CN113407966A (zh) * 2021-06-25 2021-09-17 南京师范大学 具有密钥更新与密文分享功能的可搜索公钥加密方法和系统

Also Published As

Publication number Publication date
CN112152798B (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
US20220368457A1 (en) Distributed Storage System Data Management And Security
CN111183450B (zh) 日志结构存储系统
CN111566611B (zh) 日志结构存储系统
CN111295649B (zh) 日志结构存储系统
CN116756110A (zh) 日志结构存储系统
US9419796B2 (en) Method for storing and recovering data, utilization of the method in a storage cloud, storage server and computer program product
US8656187B2 (en) Dispersed storage secure data decoding
US20130305046A1 (en) System and Method for Virtual Machine Data Protection in a Public Cloud
US20100268966A1 (en) Efficient and secure data storage utilizing a dispersed data storage system
US9372998B2 (en) Client-side encryption in a deduplication backup system
CN108810063B (zh) 一种多云存储环境下数据的安全分发和修复方法、系统及介质
CN112152798B (zh) 基于加密数据去重的分布式密文共享密钥管理方法及系统
CN103763362A (zh) 一种安全的分布式重复数据删除方法
US20160342532A1 (en) Management of encryption keys for multi-mode network storage device
Li et al. Metadedup: Deduplicating metadata in encrypted deduplication via indirection
Li et al. Enabling secure and space-efficient metadata management in encrypted deduplication
Kulkarni et al. Efficient storage utilization using erasure codes in openstack cloud
Aman et al. Towards Cloud security improvement with encryption intensity selection
Tian et al. Sed‐Dedup: An efficient secure deduplication system with data modifications
Tian et al. Pts-dep: A high-performance two-party secure deduplication for cloud storage
Patil et al. A survey on: secure data deduplication on hybrid cloud storage architecture
Sharma et al. Concepts, strategies, and challenges of data deduplication
Chen et al. A design for scalable and secure key-value stores
Kaurav An Investigation on Data De-duplication Methods And it’s Recent Advancements
Kumar et al. Survey on Deduplication in Cloud Environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220615

Address after: 518000 room 1, unit 202, floor 2, building 4, Tianfu science and technology center, No. 12, Xianan Road, Guicheng Street, Nanhai District, Foshan City, Guangdong Province (residence declaration)

Applicant after: Yunlianwang Technology (Guangdong) Co.,Ltd.

Address before: Room 958, 9 / F, No. 19, Keji Avenue West, Hong Kong Science Park, Hong Kong, China

Applicant before: Zhongda coding Co.,Ltd.

GR01 Patent grant
GR01 Patent grant