CN107659401A - 一种相似性感知的安全数据去重加密方法 - Google Patents

Abstract

本发明公开了一种相似性感知的安全数据去重加密方法，包括：利用文件相似性将数据块聚合成较大单元的数据段。每个数据段采用抽样算法和相似性检测提取一个代表哈希；采用不经意的伪随机协议，产生数据段的隐私信息。结合数据段隐私信息和数据块的哈希值快速产生数据块密钥，并加密数据块得到密文。对密文计算指纹和重复块检查。因此，本发明结合相似段检测和重复块检查，避免代表哈希的隐私泄露，保证数据安全性和数据去重的压缩率；同时在数据段级采用安全高开销的不经意伪随机协议保证密钥安全，在数据块级采用低开销方法快速地产生密钥，从而减少数据加密时间开销，并提高系统的数据上传性能。

Description

一种相似性感知的安全数据去重加密方法

技术领域

本发明属于计算机存储和安全领域，更具体地，涉及一种相似性感知的安全数据去重加密方法。

背景技术

数据量的不断增加对数据存储管理的可扩展性提出了严重的挑战。IDC机构预测到2020年，所有的电子数据量将会达到44ZB。而云计算的发展为数据的存储和计算提供按需资源配置和最优的服务分配，这解决了数据量增加的扩展性挑战。CISCO公司的数据表示全球86％的数据中心的工作量将在云中处理。据微软的研究结果证明在文件系统中存在超过50％，以及在备份应用程序中有最多90％-95％的冗余数据。而数据去重是一种系统级的压缩技术，通过对重复数据值保留一个物理副本的方式来节约存储空间和计算资源。数据去重可以实现在文件级和块级，因此许多云存储系统，例如Dropbox，Wuala和Bitcasa采用数据去重来节省存储成本。

尽管数据去重降低了系统维护成本，但是在云系统中也出现了很多的安全问题。例如，在特定云中的应用数据容易遭受到操作失误和软件程序的错误。云服务提供商是不能被完全信任的，内部的攻击者可能会窃取用户的敏感数据。源端数据去重还遭受到侧信道攻击(Side-channel attacks)，即敌手可以通过观察文件是否去重来猜测文件的内容。为了保护用户数据的机密性，用户会使用传统的对称加密算法(例如，高级加密标准AES(Advanced Encryption Standard))产生安全的随机密钥来加密自己的数据，将密文传输到云服务提供商。由于不同用户会产生不同的密钥，因此即使相同的数据也会生成不同的密文导致无法进行数据去重和压缩。此外，如果不同用户之间共享密钥，则会导致密钥管理开销增加。为了解决数据去重与加密之间的矛盾，消息锁加密(Message-lockedEncryption(MLE))。具体而言，消息锁加密MLE是一种确定性的对称加密算法，加密密钥来自于数据的哈希，加密函数采用AES算法，而数据的指纹来至于对密文的哈希值。因此相同的数据可以产生相同的指纹，在指纹索引查询中，重复数据可以被消除掉。

然而，MLE加密方法容易遭受到暴力破解攻击(Brute-force attacks)，敌手可以产生大量的文件，通过遍历的方式猜测低熵文件的内容，主要原因是密钥和加密函数的确定化。为抵抗暴力破解攻击，Bellare等人提出基于服务器协助的消息锁加密，以用户数据的哈希作为输入，采用基于RSA或者BLS盲签名的不经意伪随机协议(obliviouspseudorandom protocol(OPRF))，产生数据密钥。其加密和指纹生成过程是与消息锁加密机制是相同的。但是，基于RSA和BLS盲签名的OPRF协议计算开销大，因为该协议需要多次的模指数运算。特别是对于细粒度数据去重中的小文件和数据块，计算开销会随着文件数目和数据块数目线性增长。例如，假定平均块长为8KB，那么512TB的数据集将会产生2³⁶个数据块；因此，对于大量数据块的不经意伪随机协议计算，会产生大量的计算和密钥生成时间开销。

为了解决暴力破解攻击和减少计算开销：第一，SecDep结合了跨用户的文件级去重和用户内的块级去重，在文件级采用安全但开销较大的基于服务器协助的收敛加密，而在块级采用低开销的基于用户协助的收敛加密，因此SecDep能够减少密钥生成开销。。据统计，在真实系统，特别是文件系统和备份系统数据集中小文件数目占据了80％的文件数量。但是SecDep对于数量特别多的小文件计算时间开销较大。第二，将小文件和数据块聚合成一个较大单元的数据段(segment)，每个数据段提取最小哈希(e.g.，min-hash)。以最小哈希作为输入，生成随机信息和数据块的密钥来减少密钥的生成开销。然而，该方法容易遭受到新的安全攻击并增加存储开销。具体而言，敌手可以产生大量的相似文件，将相似文件聚合并分割成数据段，提取最小哈希产生每个数据块的密钥及指纹。利用侧信道攻击的方法，通过观察哪些数据块重复获取正确的明文。然后只需要对非重复的数据块进行暴力破解攻击，极大地减少了攻击的开销，使得用户数据隐私泄露。此外，如果最小哈希发生变化，则原本重复的数据块会产生不同密钥和密文，导致数据去重率下降，增加存储开销。因此当前的解决方案，在安全性，系统性能方面存在一些缺陷和不足。

由此可见，现有技术存在数据安全隐患，对于小文件和数据块密钥生成和加密速度较慢，同时数据去重压缩率下降，增加存储开销的技术问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种相似性感知的安全数据去重加密方法，由此解决现有技术存在数据安全隐患，对于小文件和数据块密钥生成和加密速度较慢，同时数据去重压缩率下降，增加存储开销的技术问题。

为实现上述目的，本发明提供了一种相似性感知的安全数据去重加密方法，包括：

(1)获取文件流，使用数据分块算法将文件流切分成数据块，将数据块聚合成数据段，每个数据段采用抽样算法提取多个特征值和利用相似性检测提取一个特征值作为代表哈希，使用代表哈希执行不经意伪随机协议，得到数据段的隐私信息，根据数据段的隐私信息和每个数据块的哈希值产生数据块密钥，并加密数据块得到数据块密文；

(2)根据数据块密文得到每个数据块的指纹，利用数据块的指纹创建数据块指纹索引表，利用数据块指纹索引表进行重复块检查，存储非重复的数据块。

进一步的，步骤(1)包括：

(1-1)获取文件流，使用数据分块算法将文件流切分成数据块，对于每一个数据块利用哈希函数计算哈希值；利用数据分段算法将数据块聚合成数据段，采用抽样方法从数据段中抽取M个哈希值作为数据段的特征值；

(1-2)获取本地密钥L_ID和相似段索引表，将数据段的特征值在相似段索引表进行相似性检测，得到代表哈希H_r；使用本地密钥L_ID加密所有数据段的特征值生成密文S_fm；

(1-3)使用代表哈希H_r在密钥服务器的协助下执行不经意伪随机协议，得到数据段的隐私信息；将数据段隐私信息插入到该数据段每个数据块的哈希值中，产生数据块对应的数据块密钥，对于每一个数据块，使用数据块密钥和对称加密函数加密获得数据块密文。

进一步的，步骤(2)包括：

(2-1)创建文件的文件谱，获取文件的所有数据块密文和文件谱，根据数据块密文得到每个数据块的指纹，将文件名、数据块数目、每个数据块的指纹和对应的地址信息写入文件谱，使用用户自己的密钥加密数据块密钥，得到数据块密钥的密文写入到文件谱；

(2-2)创建数据块指纹索引表，数据块指纹索引表是哈希表实现的键值存储结构，键是数据块指纹，值是数据块的地址，在数据块指纹索引表中查找数据块是否存在，如果数据块不存在，则将数据块的密文写入磁盘，并将数据块指纹和数据块地址插入到数据块指纹索引表中，然后更新文件谱；如果数据块存在，则数据块重复，只更新文件谱，最后存储文件谱。

进一步的，不经意伪随机协议为采用RSA盲签名的不经意伪随机协议或者采用BLS盲签名的不经意伪随机协议。

进一步的，安全数据去重加密方法还包括数据下载阶段，数据下载阶段的具体实现方式为：

下载文件时，先发送文件下载请求到云服务器端，发送文件下载请求包括文件名和用户身份信息，用户身份信息验证通过后，根据文件名查找文件的文件谱，根据文件谱读取数据块指纹，查找对应数据块密文，获得文件谱和数据块密文，从文件谱中依次读取数据块密钥的密文，使用用户自己的密钥解密数据块密钥的密文；从文件谱中读取文件名，利用文件名和路径创建新的文件；利用获得的数据块密钥解密对应的数据块，按照文件谱中的顺序将数据块密文依次写入新的文件中，最后获得完整的文件。

进一步的，数据分块算法为定长分块算法或者基于内容的分块算法，所述数据分段算法为定长分段算法或者基于内容的分段算法。

进一步的，抽样算法为最小抽样算法、均匀抽样算法或者随机抽样算法。

进一步的，哈希函数为MD5、SHA-1或者SHA-256，所述对称加密函数包括加密函数和解密函数，加密函数为AES或者Blowfish，解密函数为AES或者Blowfish。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明采用相似性感知的安全数据去重加密方法，本发明通过将数据集中大量的数据块聚合成较大单元的数据段，在数据段级别进行计算开销大的不经意伪随机协议，然后在数据块级采用开销很小的密钥生成方法，产生安全的随机密钥，保证系统的数据块加密后得到相同的密文。因此本发明能够在抵抗暴力破解攻击的前提下，减少密钥生成和加密计算开销。

(2)本发明采用的相似性感知的安全数据去重加密方法，结合相似段检测和重复块检查能够抵抗侧信道攻击和隐私泄露。具体而言，本发明采用随机抽样方法抽取多个特征值进行相似性检测，避免敌手获取真实的代表哈希导致的隐私泄露；其次，本发明利用数据块指纹进行重复数据块检测，能够抵抗敌手通过侧信道攻击获得哪些数据块是重复的，导致的隐私泄露问题。

(3)本发明采用相似性感知的快速安全数据去重加密方法，本发明将采用基于内容的分段算法和相似段检测，找到最相似的数据段和所使用的代表哈希，避免因为最小哈希变化导致数据去重压缩率下降和存储开销增加。

附图说明

图1是本发明实施例提供的一种相似性感知的安全数据去重加密方法的流程图；

图2是本发明实施例1提供的相似性感知的快速安全数据去重加密方法的数据上传流程图；

图3(a)是本发明实施例1提供的基于RSA盲签名的不经意伪随机协议原理图；

图3(b)是本发明实施例1提供的基于BLS盲签名的不经意伪随机协议原理图；

图4是本发明实施例1提供的相似性感知的快速安全数据去重加密方法的数据下载流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，一种相似性感知的安全数据去重加密方法，包括：

(1)获取文件流，使用数据分块算法将文件流切分成数据块，对于每一个数据块利用哈希函数计算哈希值；利用数据分段算法将数据块聚合成数据段，采用抽样方法从数据段中抽取M个哈希值作为数据段的特征值；获取本地密钥L_ID和相似段索引表，将数据段的特征值在相似段索引表进行相似性检测，得到代表哈希H_r；使用本地密钥L_ID加密所有数据段的特征值生成密文S_fm；使用代表哈希H_r执行不经意伪随机协议，得到数据段的隐私信息；将数据段隐私信息插入到该数据段每个数据块的哈希值中，产生数据块对应的数据块密钥，对于每一个数据块，使用数据块密钥和对称加密函数加密获得数据块密文；

(2)创建文件的文件谱，获取文件的所有数据块密文和文件谱，根据数据块密文得到每个数据块的指纹，将文件名、数据块数目、每个数据块的指纹和对应的地址信息写入文件谱，使用用户自己的密钥加密数据块密钥，得到数据块密钥的密文写入到文件谱；创建数据块指纹索引表，数据块指纹索引表是哈希表实现的键值存储结构，键是数据块指纹，值是数据块的地址，在数据块指纹索引表中查找数据块是否存在，如果数据块不存在，则将数据块的密文写入磁盘，并将数据块指纹和数据块地址插入到数据块指纹索引表中，然后更新文件谱；如果数据块存在，则数据块重复，只更新文件谱，最后存储文件谱。

本发明有多种应用场景，若在云服务环境下，则在客户端进行相似性检测，在云服务器端进行重复块检查；若在本地或单节点，则相似性检测和重复块检查都在客户端进行。

实施例1

一种相似性感知的安全数据去重加密方法，包括相似段检测部分和重复块检查部分，所述相似段检测部分包括：

(S1)在客户端获取文件流{F_i}{0≤i＜n}，n表示文件流中的文件总数，使用基于内容的分块算法将文件流切分成数据块{B_j}{0≤j＜t}，t表示数据块的总数，对于每一个数据块利用哈希函数(SHA-1或者SHA-256)计算哈希值利用基于内容的分段算法将数据块聚合成数据段{S_k}{0≤k＜w}，采用随机抽样方法从数据段中抽取M个哈希值作为数据段的特征值{f_m}{0≤m＜M}；具体判断条件为其中mask和r为固定值，如果没有抽取到特征值，则需要调整mask的值或默认选取第一个数据块哈希值作为特征值。

(S2)在客户端获取本地密钥L_ID和相似段索引表，将f_m在相似段索引表进行相似性检测，得到代表哈希H_r；如果没有查找到相似数据段，则随机选择一个特征值作为代表哈希。如果找到了相似数据段，则返回代表哈希H_r。本地维护了相似段索引表；相似段索引表是由键值存储的哈希表构成，键是数据段的特征值，值是链表，可以存储多个数据段的ID。每次输入对应的数据段特征值，读出相似段的ID进行统计和Top-k排序，找到特征值匹配数最多的段，并选择该相似段的代表哈希H_r作为本数据段的代表哈希。如果特征值在相似性哈希表中没有找到，则随机选取一个特征值f_m作为代表哈希，将特征值和段ID插入到相似段索引表中。使用本地密钥L_ID加密所有数据段的特征值生成密文 为了保证客户端相似段哈希表的安全，会将加密的相似段哈希表发送到密钥服务器端进行远端备份。

(S3)在客户端使用代表哈希H_r执行不经意伪随机协议，得到数据段的隐私信息ST，选择随机数r，计算代表哈希的盲化信息x←Blind(H_r，r，pk)，pk表示公钥，并将x发送到密钥服务器端。密钥服务器利用私钥添加随机信息，y←AddSecret(x，sk)，sk表示私钥，并将y返还给用户。用户利用公钥消除盲化信息得到数据段的隐私信息，z←Unblind(y，r^-1)ST←Hash(z)。其中ST就是数据段的隐私信息。用户将数据段隐私信息插入到该段每个数据块的哈希值中，产生数据块对应的数据块密钥其中“||”为字符串连接操作；对于每一个数据块{B_j}{0≤j＜t}，使用数据块密钥加密获得数据块密文

所述重复块检查部分包括：

(T1)在云服务器端创建文件的文件谱，获取文件的所有数据块密文和文件谱，根据数据块密文得到每个数据块的指纹，将文件名、数据块数目、每个数据块的指纹和对应的地址信息写入文件谱，使用用户自己的密钥加密数据块密钥，得到数据块密钥的密文写入到文件谱；

(T2)在云服务器端创建数据块指纹索引表数据块指纹索引表是哈希表实现的键值存储结构，键是数据块指纹，值是数据块的地址，在数据块指纹索引表中查找数据块是否存在，如果数据块不存在，则将数据块的密文写入磁盘，并将数据块指纹和数据块地址插入到数据块指纹索引表中，然后更新文件谱；如果数据块存在，则数据块重复，只更新文件谱。最后存储文件谱，完成了数据上传，如图2所示。

如图3(a)所示，由密钥管理方为客户端和密钥服务器分配对应的身份证书和不经意伪随机协议(OPRF)对应的公私钥，如果采用RSA盲签名的不经意伪随机协议，其中RSA签名的公私钥为(N，e)，(N，d).使用Hash()作为哈希函数，可以采用SHA256或者SHA1，其中默认采用SHA256，加密函数采用高级加密标准AES或Blowfish，其中默认使用高级加密标准AES作为对称加密和解密函数，分别为Encry_aes()，和Decry_aes()。

如图3(b)所示，由密钥管理方为用户和密钥服务器分配对应的身份证书和不经意伪随机协议(OPRF)对应的公私钥，如果采用BLS盲签名的不经意伪随机协议，其中G₁和G₂为素数p阶的乘法群，g₁和g₂分别为G₁和G₂的生成元，记e：G₁×G₂→G_T是不退化的双线性映射，Hash()：{0，1}^*→G₁为哈希函数，其中私钥对于的公钥为y₁＝g₁ ^s和y₂＝g₂ ^s。

如图4所示，安全数据去重加密方法还包括数据下载阶段，数据下载阶段的具体实现方式为：

客户端下载文件{Fi_}{0≤i＜n}时，先发送文件下载请求到云服务器端，发送文件下载请求包括文件名和用户身份信息，云服务器端接受客户端的文件下载请求，用户身份信息验证通过后，根据文件名查找文件的文件谱，将文件谱发送给用户；云服务器端根据文件谱读取数据块指纹，查找对应数据块密文，将密文发送给客户端；客户端从云服务器端获得文件谱和数据块密文，从文件谱中依次读取数据块密钥的密文，使用用户自己的密钥解密数据块密钥的密文；从文件谱中读取文件名，利用文件名和路径创建新的文件；客户端利用获得的数据块密钥解密对应的数据块按照文件谱中的顺序将数据块密文依次写入新的文件中，最后获得完整的文件。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种相似性感知的安全数据去重加密方法，其特征在于，包括：

(1)获取文件流，使用数据分块算法将文件流切分成数据块，将数据块聚合成数据段，每个数据段采用抽样算法提取多个特征值和利用相似性检测提取一个特征值作为代表哈希，使用代表哈希执行不经意伪随机协议，得到数据段的隐私信息，根据数据段的隐私信息和每个数据块的哈希值产生数据块密钥，并加密数据块得到数据块密文；

(2)根据数据块密文得到每个数据块的指纹，利用数据块的指纹创建数据块指纹索引表，利用数据块指纹索引表进行重复块检查，存储非重复的数据块。

2.如权利要求1所述的一种相似性感知的安全数据去重加密方法，其特征在于，所述步骤(1)包括：

(1-1)获取文件流，使用数据分块算法将文件流切分成数据块，对于每一个数据块利用哈希函数计算哈希值；利用数据分段算法将数据块聚合成数据段，采用抽样方法从数据段中抽取M个哈希值作为数据段的特征值；

(1-2)获取本地密钥L_ID和相似段索引表，将数据段的特征值在相似段索引表进行相似性检测，得到代表哈希H_r；使用本地密钥L_ID加密所有数据段的特征值生成密文

(1-3)使用代表哈希H_r在密钥服务器的协助下执行不经意伪随机协议，得到数据段的隐私信息；将数据段隐私信息插入到该数据段每个数据块的哈希值中，产生数据块对应的数据块密钥，对于每一个数据块，使用数据块密钥和对称加密函数加密获得数据块密文。

3.如权利要求1或2所述的一种相似性感知的安全数据去重加密方法，其特征在于，所述步骤(2)包括：

(2-1)创建文件的文件谱，获取文件的所有数据块密文和文件谱，根据数据块密文得到每个数据块的指纹，将文件名、数据块数目、每个数据块的指纹和对应的地址信息写入文件谱，使用用户自己的密钥加密数据块密钥，得到数据块密钥的密文写入到文件谱；

(2-2)创建数据块指纹索引表，数据块指纹索引表是哈希表实现的键值存储结构，键是数据块指纹，值是数据块的地址，在数据块指纹索引表中查找数据块是否存在，如果数据块不存在，则将数据块的密文写入磁盘，并将数据块指纹和数据块地址插入到数据块指纹索引表中，然后更新文件谱；如果数据块存在，则数据块重复，只更新文件谱，最后存储文件谱。

4.如权利要求1或2所述的一种相似性感知的安全数据去重加密方法，其特征在于，所述不经意伪随机协议为采用RSA盲签名的不经意伪随机协议或者采用BLS盲签名的不经意伪随机协议。

5.如权利要求3所述的一种相似性感知的安全数据去重加密方法，其特征在于，所述安全数据去重加密方法还包括数据下载阶段，数据下载阶段的具体实现方式为：

下载文件时，先发送文件下载请求到云服务器端，发送文件下载请求包括文件名和用户身份信息，用户身份信息验证通过后，根据文件名查找文件的文件谱，根据文件谱读取数据块指纹，查找对应数据块密文，获得文件谱和数据块密文，从文件谱中依次读取数据块密钥的密文，使用用户自己的密钥解密数据块密钥的密文；从文件谱中读取文件名，利用文件名和路径创建新的文件；利用获得的数据块密钥解密对应的数据块，按照文件谱中的顺序将数据块密文依次写入新的文件中，最后获得完整的文件。

6.如权利要求2所述的一种相似性感知的安全数据去重加密方法，其特征在于，所述数据分块算法为定长分块算法或者基于内容的分块算法，所述数据分段算法为定长分段算法或者基于内容的分段算法。

7.如权利要求1或2所述的一种相似性感知的安全数据去重加密方法，其特征在于，所述抽样算法为最小抽样算法、均匀抽样算法或者随机抽样算法。

8.如权利要求2所述的一种相似性感知的安全数据去重加密方法，其特征在于，所述哈希函数为MD5、SHA-1或者SHA-256，所述对称加密函数包括加密函数和解密函数，加密函数为AES或者Blowfish，解密函数为AES或者Blowfish。