CN111338572B - 一种可调节加密重复数据删除方法 - Google Patents

Abstract

本发明公开了一种可调节加密重复数据删除方法，属于信息安全技术领域。本发明包括客户端、密钥服务器，密钥服务器先后配置平衡参数t、维护系统全局秘密s、估算明文块M的频率f，并计算中间参数x、计算和选择密钥种子k返回至客户端，客户端计算明文块M的密钥K。本发明采用基于CM‑Sketch频率统计技术、密钥概率生成技术以及平衡参数自动设定技术，解决现有加密重复数据删除系统中的存储效率与抗频率分析的量化及平衡问题。

Description

一种可调节加密重复数据删除方法

技术领域

本发明属于信息安全技术领域，涉及将原始逻辑(明文)块转换为密文块的方法，尤其涉及面向加密重复数据删除存储系统中抵御数据频率泄漏的技术和方法。

背景技术

重复数据删除(data dedupl ication)是一种通过消除重复副本来降低存储开销的数据压缩技术：系统将文件划分为若干个逻辑明文块，比较各逻辑块与已存储的物理明文块的内容；当发现重复内容时，将冗余的逻辑块替换为指向相应物理块的引用(reference)，以节省存储空间。

加密重复数据删除(encrypted dedupl ication)通过加密技术将原始逻辑(明文)块转换为密文块，针对密文块实施重复数据删除后存储只具有唯一内容的密文块，以保护数据隐私。传统对称加密技术(SKE，symmetric-key encryption)采用随机密钥加密/解密，导致重复的明文块被加密为不同的密文块，难以兼容重复数据删除。消息锁定加密技术(MLE，message-locked encryption，见文献M.Bellare,S.Keelveedhi,andT.Ristenpart.Message-Locked Encryption and Secure Deduplication.Advances inCryptology-EUROCRYPT,pp.296-312,2013)基于明文块的数据内容产生密钥，从而将相同明文块加密为相同密文块，兼容重复数据删除。

然而，MLE技术由于采用确定性加密(即相同明文块被加密为相同密文块)泄漏了明文块出现频率；例如，如果一个明文块出现了n次，则它对应的密文块也将出现n次。相关研究表明，可利用MLE的频率泄漏信息推断密文块的原始明文内容(见文献J.Li,C.Qin,P.P.C.Lee,et al.Information Leakage in Encrypted Deduplication via FrequencyAnalysis.Proceedings of the 47th IEEE/IFIP International Conference onDependable Systems and Networks,2017)。

因此，为加密重复数据删除选择合适的加密技术是一个难题：MLE技术兼容重复数据删除，能够实现存储空间节省，但由于其加密的确定性，导致频率信息泄漏；SKE技术能够达到传统语义安全目标，可防止频率泄漏，但难以兼容重复数据删除。为了解决上述难题，现有工作提出了如下方法：

随机MLE(见文献M.Abadi,D.Boneh,Ilya Mironov,et al.Message-LockedEncryption for Lock-Dependent Messages.Advances in Cryptology-CRYPTO,pp.374-391,2013)使用随机密钥加密；为了支持重复数据删除，为每个密文块附加随机载荷(payload)，用于检测相应明文块是否相同。

交互式MLE(见文献M.Bellare and S.Kee lveedhi.Interactive Message-Locked Encryption and Secure Deduplication.Public-Key Cryptography–PKC,pp.516-538,2015)也使用随机密钥加密明文块；为了支持重复数据删除，利用全同态加密技术检测产生的密文块是否源于相同明文而无需解密。

分层加密(见文献J.Stanek,A.Sorniotti,E.Androulaki,et al.A Secure DataDeduplication Scheme for Cloud Storage.International Conference on FinancialCryptography and Data Secur ity,pp.99-118,2013)分别使用MLE和门限密码(threshold cryptosystem)加密明文块，将其变换为多个随机的秘密共享发送至存储系统；当系统收到的共享个数超过阈值时，可恢复门限密码的密钥以及MLE密文块，并对MLE密文块执行重复数据删除操作。

最小哈希加密(见文献J.Li,C.Qin,P.P.C.Lee,et al.Information Leakage inEncrypted Deduplication via Frequency Analysis.Proceedings of the 47th IEEE/IFIPInternational Conference on Dependable Systems and Networks,2017)将若干相邻明文块聚集形成数据段，并基于其中具有最小哈希值的明文块生成密钥，应用于该数据段内所有明文块；由于Broder定理(见文献A.Z.Broder.On the resemblance andContainment of Documents.Compression and Complexity of SEQUENCES,pp.21-29,1997)，大多数相同的明文块都采用了相同密钥而被加密为相同密文块，从而支持重复数据删除。

随机MLE、交互式MLE、分层加密可提供语义安全保障(即将相同的明文块被加密为“随机的”密文块)；最小哈希加密，尽管为相似数据段仍然产生相同密钥，但存在于不同数据段的少量重复明文块会被不同密钥加密，这改变了密文块的频率分布，经验表明该方案可以缓解频率分析。

尽管如此，现有技术存在如下缺陷：

(1)基于低效率的底层密码方案

随机MLE和交互式MLE使用了复杂性较高的理论密码方案(例如非交互性零知识证明和全同态加密)，难以应用在真实系统中；分层加密所采用的门限密码须基于公钥密码系统构造，在加密海量明文块时，效率远远低于对称密码系统。

(2)仅提供有限的安全性保障

最小哈希加密的重复数据删除有效性建立在文件相似性假设之上，对于不具备相似性的文件，其重复数据删除效果较低。更重要的是，数据段中具有最小哈希值的明文块往往仅具有有限的随机性(否则，将无法执行重复数据删除)，因此，最小哈希加密难以针对频率分析提供足够的安全性保证。

(3)缺乏可配置性

现有方案均未提供可配置机制，难以量化地平衡数据存储效率和抗频率分析能力。例如，最小哈希加密基于文件特征(例如数据段中具有最小哈希值的明文块)产生密钥，加密过程的变量仍然依赖输入文件，无法自主控制产生的密文块在重复数据删除系统的存储效率。

发明内容

本发明的目的在于：提供了一种可调节加密重复数据删除方法，解决现有加密重复数据删除系统中的存储效率与抗频率分析的量化及平衡问题。

本发明采用的技术方案如下：

一种可调节加密重复数据删除方法，包括：客户端、密钥服务器，客户端可以是多个；

客户端，提供加密重复数据删除机制下的文件存储和访问接口，计算明文块M的密钥K；

密钥服务器，配置平衡参数t，维护系统全局秘密s，估算明文块M的频率f；

步骤如下：

步骤S1，密钥服务器配置平衡参数t，并维护系统全局秘密s；

步骤S2，密钥服务器估算明文块M的频率f；

步骤S3，密钥服务器计算中间参数x，中间参数x的计算公式为：

其中f为明文块M的频率，t为平衡参数，

返回不超过f/t的最大整数；

步骤S4，密钥服务器计算备选密钥种子k_x，生成备选密钥种子集合{k₀,k₁,k₂,...,k_x}，并从备选密钥种子集合中随机选择密钥种子k返回至客户端，

备选密钥种子k_x的计算公式为：k_x＝H(s||P||H₁(M)||H₂(M)||…||H_r(M)||x)，其中，s为系统全局秘密，P为明文块M的指纹，H()为哈希函数，x为中间参数，||连接前后相应对象；

步骤S5，客户端计算明文块M的密钥K，密钥K的计算公式为：K＝H(k||P)，其中，k为密钥种子，P为明文块M的指纹,||连接前后相应对象。

优选，步骤S2中，估算明文块M的频率f的具体步骤如下：

步骤S21，密钥服务器初始化CM-Sketch为r×w二维数组，二维数组的每个单元为一个计数器，初始值置0；配置r个独立的哈希函数{H_i( )}，H_i( )为将任意长度输入映射为二维数组第i行的某一个计数器，i＝{1,2,...,w}；

步骤S22，客户端计算各H_i(M)，并发送至密钥服务器，这里i＝{1,2,...,r}；

步骤S23，密钥服务器根据接收的r个{H_i(M)}，将对应的计数器数值加1，并估算明文块M的频率f为所有H_i(M)对应的计数器的最小数值。

平衡参数t可以为自行设置的一个固定值，也可以基于某个/些参数自动生成。

优选地，步骤S1中，平衡参数t为自行设定的一个固定值，且t∈[50,100]。

优选地，步骤S1中，平衡参数t自动设定，具体步骤为：

步骤S11，密钥服务器配置存储膨胀系数b；

步骤S12，密钥服务器建立优化问题，使用信息论方法KLD表征密文明文块的频率分布和均匀分布之间的差异，具体为：

设n为明文块个数，f_k为第k个明文块的频率，且f_n≥f_n-1≥…≥f₁；设

为对应的

的概率密度函数，其中

为对应的第k个密文块的频率，λ＝n×b，l为下标变量，

则：

在此基础上，优化问题将求解

并满足如下目标和约束，

目标：最小化KLD；

受限于：①

②任意1≤k≤n，

为第k个密文块的频率，f_k为第k个明文块的频率，且

和f_k均为整数，

步骤S13，密钥服务器求解优化问题，得出

以及平衡参数t，具体为：

根据单纯形算法获得求解公式

其中下标m是满足

的最大整数；由于f_n≥f_n-1≥…≥f₁，以上求解确保了

将t设置为

中的最大频率，即

为不小于

的最小整数。

本发明的主要具有如下好处：

本发明可以自主平衡存储效率与抗频率分析能力。随着检测到更多的明文块M的重复块，其频率f将逐渐积累，重复副本的密钥也将随着整数

的增大而更新。因此，可以通过调节t来为明文块M的副本产生不同的密钥。当t＝1时，将为明文块M的每个副本产生一个不同的K，本发明将简化为SKE，提供语义安全保障；如果t→∞，则明文块M的所有副本具有相同的K，此时，本发明方法简化为MLE，获得最大化重复数据删除存储效率。

本发明可以避免始终为相同文件(视为若干个明文块组成的序列)产生相同的若干密文块，为数据加密增加不确定性。当明文块M具有更多重复副本(即f增加)时，明文块M的最近副本将基于之前使用过的{k₀,k₁,...,k_x}中的某个旧密钥种子产生的密钥加密，因此，本发明允许某些副本被相同的密钥种子保护，以支持重复数据删除。同时，由于密钥种子的选择具有概率性，随着f增加，可以选择更多的备选密钥种子，从而将相同文件加密为可能不同的密文块序列。

本发明中，在估算明文块M的频率f时采用基于CM-Sketch统计技术，其降低了用于统计明文块频率的内存使用量，且频率估计误差已被证明是有限的；近似的频率估计有助于保护明文块信息，防止密钥服务器识别明文块M，这是因为每个H_i( )是短哈希函数(shorthash function)，仅返回1到w之间的计数器索引，由于w通常比指纹值范围(例如0～2³²)小，因此H_i( )会导致哈希冲突(即多个不同明文块被映射为相同的短哈希值)，密钥服务器无法基于短哈希推测原始明文块，从而解决明文块频率统计的安全性问题。

本发明中，在配置平衡参数t时采用的参数自动设定技术为t的配置提供友好接口，允许以存储膨胀系数(表征了本方法为了抵抗频率泄露导致的物理存储开销与最大化重复数据删除后的物理存储开销的比值)为输入，避免直接调控抽象的系统级参数。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是FSL数据集KLD的示意图；

图2是FSL数据集存储膨胀率的示意图；

图3是MS数据集KLD的示意图；

图4是MS数据集存储膨胀率的示意图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

一种可调节加密重复数据删除方法，致力于解决现有加密重复数据删除系统中明文块频率泄漏问题，通过自动化参数配置技术，配置能够负担的存储膨胀开销比率(以抵御频率泄漏)；通过基于CM-Sketch的明文块频率统计技术，对输入文件的明文块频率进行实时估计；通过密钥概率生成技术，安全地为明文块产生对应密钥，应用于数据加密。

该方法主要应用于云存储，在降低存储服务提供商维护成本的同时，提高存储数据安全性。具体地，在云存储的用户端部署客户端支持数据读写；在云端部署密钥服务器和存储服务器用于管理密钥和远端数据。

该方法基于服务器辅助MLE系统架构，其包括客户端、密钥服务器，还可以包括存储服务器；

客户端，可设置多个，提供加密重复数据删除机制下的文件存储和访问接口，计算明文块M的密钥K；

密钥服务器，配置存储膨胀系数b，配置平衡参数t，维护系统全局秘密s，估算明文块M的频率f；

存储服务器，为客户端提供外包的重复数据删除存储服务。

具体步骤如下：

该方法的具体步骤为：

步骤S1，密钥服务器配置平衡参数t，并维护系统全局秘密s，其中，平衡参数t可以是自行设定的固定值，也可以是根据某一/些参数进行自动设定。

若平衡参数t为固定值，则t∈[50,100]，平衡参数t为50至100中的任一值。

若平衡参数t采用自动设定，则设定的具体步骤为：

步骤S11，密钥服务器配置存储膨胀系数b；

步骤S12，密钥服务器建立优化问题，使用信息论方法KLD表征密文明文块的频率分布和均匀分布之间的差异，具体为：

设n为明文块个数，f_k为第k个明文块的频率，且f_n≥f_n-1≥…≥f₁；设

为对应的

的概率密度函数，其中

为对应的第k个密文块的频率，λ＝n×b，l为下标变量，

则：

在此基础上，优化问题将求解

并满足如下目标和约束，

目标：最小化KLD；

受限于：①

②任意1≤k≤n，

为第k个密文块的频率，f_k为第k个明文块的频率，且

和f_k均为整数，

步骤S13，密钥服务器求解优化问题，得出

以及平衡参数t，具体为：

根据单纯形算法获得求解公式

其中下标m是满足

的最大整数；由于f_n≥f_n-1≥…≥f₁，以上求解确保了

将t设置为

中的最大频率，即

为不小于

的最小整数。

步骤S2，密钥服务器估算明文块M的频率f；

其中，估算明文块M的频率f的具体步骤如下：

步骤S21，密钥服务器初始化CM-Sketch为r×w二维数组，二维数组的每个单元为一个计数器，初始值置0；配置r个独立的哈希函数{H_i( )}，H_i( )为将任意长度输入映射为二维数组第i行的某一个计数器，i＝{1,2,...,w}；

步骤S22，客户端计算各H_i(M)，并发送至密钥服务器，这里i＝{1,2,...,r}；

步骤S23，密钥服务器根据接收的r个{H_i(M)}，将对应的计数器数值加1，并估算明文块M的频率f为所有H_i(M)对应的计数器的最小数值。

步骤S3，密钥服务器计算中间参数x，中间参数的计算公式为：

其中f为明文块M的频率，t为平衡参数,

返回不超过f/t的最大整数；

步骤S4，密钥服务器计算备选密钥种子k_x，生成备选密钥种子集合{k₀,k₁,k₂,...,k_x}，并从备选密钥种子集合中随机选择密钥种子k返回至客户端，

备选密钥种子k_x的计算公式为：k_x＝H(s||P||h₁(M)||h₂(M)||…||h_r(M)||x)，其中，s为系统全局秘密，P为明文块M的指纹，H()为哈希函数，x为中间参数,||连接前后相应对象；

步骤S5，客户端计算明文块M的密钥K，密钥K的计算公式为：K＝H(k||P)，其中，k为密钥种子，P为明文块M的指纹，||连接前后相应对象。

实施例

本实施例将对比分析基于本发明方法实现的可调节重复数据删除(tunableencrypted deduplication，简称TED)与现有加密方法。具体地，在对比分析中考虑如下方案：①MLE，使用各个明文块的哈希值作为密钥；②SKE，为每个明文块选择随机密钥；③MinHash Encryption(最小哈希加密)，将数据段中所有明文块的最小哈希值作为本数据段中所有明文块的密钥；④BTED(basicTED)，不应用自动参数设定的可调节加密重复数据删除；⑤FTED(full TED)，完整应用三项关键技术的可调节加密重复数据删除。

本实施例将基于两种真实数据集FSL和MS验证本发明方法TED的有效性。

FSL数据集(http://tracer.filesystems.org/)是由石溪大学的文件系统和存储实验室(FSL)收集的2011年到2015年期间39个用户文件系统镜像的日常备份。本实施例采用了2013年1月22日至6月17日(即1月22日，2月22日，3月22日，4月22日，5月17日和6月17日)期间九个用户共计42个文件系统备份快照。数据集总共包含3.08TB逻辑数据。

MS数据集是由微软收集的Windows文件系统快照。本实施例采用了其中30个快照，每个快照的大小约为100GB，总共包含3.91TB逻辑数据。

本实施例的验证指标包括：①存储膨胀率，以精确重复数据删除对应的密文存储空间为基准，各个加密方法实施后密文块的实际存储空间开销与基准的比值，存储膨胀率越低则说明该加密方法的重复数据删除效率越高；②KLD，为不同加密方式下密文块的频率分布和均匀分布之间的差异度量，用于衡量数据频率的保护程度，KLD越低则数据频率保护程度越高。

附图1-4显示了实施例在95％置信区间情况下的分析结果。MLE实现了精确重复数据删除(即其存储膨胀率始终为1)，但由于确定性加密导致KLD最高。SKE的KLD接近于零，但由于随机加密不支持重复数据删除，导致存储膨胀率最大。最小哈希加密，BTED和FTED实现了KLD和存储开销的平衡。例如，在FSL和MS数据集中，当设定存储膨胀系数b＝1.2时，FTED分别将MLE的KLD降低了84.7％和76.8％，并将SKE的存储开销降低了37.0％和60.6％。

与最小哈希加密相比，BTED和FTED均可实现较低的KLD和存储开销。例如，在FSL和MS数据集中，最小哈希加密的KLD分别为1.35和1.15，实际存储膨胀率为1.24和1.61；而所有BTED和FTED方案的相应KLD均低于0.56和0.85，并且实际存储膨胀率最多仅为1.11和1.17。

进一步比较BTED和FTED。虽然随着t增大，BTED会具有较大KLD和较小存储膨胀率(反之亦然)，但其实际存储膨胀率难以通过t进行配置。相反，FTED提供了一种控制实际存储膨胀率的有效方法。当b从1.05增至1.2时，FTED在FSL数据集中的实际存储膨胀率从1.04增加到1.11，在MS数据集中从1.05增加到1.17。需要注意的是，当b较大时，FSL数据集中的实际存储膨胀率小于设定的b(例如，当b＝1.2时实际存储膨胀率仅为1.11)，这是因为某些FSL文件快照的重复块很少，能够达到的最大存储膨胀即小于b。

Claims (1)

1.一种可调节加密重复数据删除方法，其特征在于，包括：

客户端，提供加密重复数据删除机制下的文件存储和访问接口，计算明文块M的密钥K；

密钥服务器，配置平衡参数t，维护系统全局秘密s，估算明文块M的频率f；

步骤如下：

步骤S1，密钥服务器配置平衡参数t，并维护系统全局秘密s；

步骤S2，密钥服务器估算明文块M的频率f；

步骤S3，密钥服务器计算中间参数x，中间参数x的计算公式为：

其中f为明文块M的频率，t为平衡参数，

返回不超过f/t的最大整数；

步骤S4，密钥服务器计算备选密钥种子k_x，生成备选密钥种子集合{k₀,k₁,k₂,...,k_x}，并从备选密钥种子集合中随机选择密钥种子k返回至客户端，

备选密钥种子k_x的计算公式为：k_x＝H(s||P||H₁(M)||H₂(M)||…||H_r(M)||x)，其中，s为系统全局秘密，P为明文块M的指纹，H()为哈希函数，x为中间参数，||连接前后相应对象；

步骤S5，客户端计算明文块M的密钥K，密钥K的计算公式为：K＝H(k||P)，其中，k为密钥种子，P为明文块M的指纹，||连接前后相应对象；

步骤S1中，若平衡参数t为固定值，t∈[50,100]

步骤S1中，若平衡参数t自动设定，具体步骤为：

步骤S11，密钥服务器配置存储膨胀系数b；

步骤S12，密钥服务器建立优化问题，使用信息论方法KLD表征密文明文块的频率分布和均匀分布之间的差异，具体为：

设n为明文块个数，f_k为第k个明文块的频率，且f_n≥f_n-1≥…≥f₁；设

为对应的

的概率密度函数，其中

为对应的第k个密文块的频率，λ＝n×b，l为下标变量，

则：

在此基础上，优化问题将求解

并满足如下目标和约束，

目标：最小化KLD；

受限于：

②任意1≤k≤n，

为第k个密文块的频率，f_k为第k个明文块的频率，且

和f_k均为整数，

步骤S13，密钥服务器求解优化问题，得出

以及平衡参数t，具体为：

根据单纯形算法获得求解公式

其中下标m是满足

的最大整数；由于f_n≥f_n-1≥…≥f₁，以上求解确保了

将t设置为

中的最大频率，即

为不小于

的最小整数；

步骤S2中，估算明文块M的频率f的具体步骤如下：

步骤S21，密钥服务器初始化CM-Sketch为r×w二维数组，二维数组的每个单元为一个计数器，初始值置0；配置r个独立的哈希函数{H_i()}，H_i()为将任意长度输入映射为二维数组第i行的某一个计数器j，j＝{1,2,...,w}；

步骤S22，客户端计算各H_i(M)，并发送至密钥服务器，这里i＝{1,2,...,r}；

步骤S23，密钥服务器根据接收的r个{H_i(M)}，将对应的计数器数值加1，并估算明文块M的频率f为所有H_i(M)对应的计数器的最小数值。

Images