CN107483585A - 云环境中支持安全去重的高效数据完整性审计系统及方法 - Google Patents

Abstract

本发明属于云数据技术领域，公开了一种云环境中支持安全去重的高效数据完整性审计系统及方法，数据拥有者模块，用于将本地数据经过安全去重后存储到云上，并将数据管理任务递交给云服务提供商模块，同时将数据审计任务递交给第三方审计者模块；云服务提供商模块，用于提供数据外包存储和完整性审计服务，代替用户存储和管理数据；第三方审计者模块，用于代替数据拥有者模块提供数据完整性审计服务，并返回审计结果；证书权威机构模块，用于生成数据拥有者模块匿名公钥证书，同时追踪恶意用户的真实身份，生成公开参数和标签聚合密钥。本发明同时实现安全的数据去重和高效的数据完整性审计；可以达到预期的安全性目标，提高完整性审计的效率。

Description

云环境中支持安全去重的高效数据完整性审计系统及方法

技术领域

本发明属于云数据技术领域，尤其涉及一种云环境中支持安全去重的高效数据完整性审计系统及方法。

背景技术

云计算是一种即付即用的服务模式，其优势主要包括共享的软/硬件资源，庞大的计算和存储资源，不受位置限制的资源池及点播服务，为云用户提供了许多方便灵活的服务。云存储服务是云用户使用最多的云服务之一。虽然现在云存储服务的使用日益广泛，但仍存在亟待解决的问题，尤其是存储数据的正确性和存储效率问题，又称为完整性审计和数据去重问题。一方面，云存储服务器帮助数据所有者减轻存储管理和数据维护的沉重负担，但是云存储不同于传统的存储模式，当数据被存储在遥远的云端时，数据拥有者模块将会失去对数据的物理控制权。然而，存储在云上的数据有可能由于内部或外部敌手的攻击、服务器软/硬件的损坏、管理员的管理失误或故意删除不经常访问的数据而使外包数据的完整性遭到破坏，云服务提供商模块为了维护自己的声誉而故意隐瞒数据丢失和被篡改的事实，因此，对外包的数据进行完整性审计是非常有必要的。另一方面，据EMC调查显示，云存储中的冗余在备份应用中已经达到80％以上，在文件系统中已经达到60％以上，因此数据去重技术应运而生。去重技术能够节省云服务提供商模块的存储资源，已经被广泛应用于Amazon S3，Dropbox，TeamDrive，SkyDrive等云服务平台中。使用去重技术，云服务提供商模块只需要存储一个文件或数据块的副本，创建指针将随后上传的相同数据链接到云中已经存在的数据。为了保护数据的机密性，云用户通常将数据以密文的形式外包给云服务器，由于传统的加密方式其密钥的选择是随机的，相同的数据会被加密成不同的密文，这大大阻碍了去重的实现。收敛加密是第一个可支持密文去重的安全去重方案，收敛加密的加密方式是确定性的，加密密钥是数据的哈希值。由于相同的数据总能获得相同的加密密钥，因此相同的数据能够加密成相同的密文，这能够实现云服务器对加密数据的安全去重。完整性审计和安全去重是云存储的两个主要的研究分支，对安全去重的数据进行完整性审计既能够保证存储数据的正确性又能减少网络带宽和存储资源的开销。目前，有一些已经实现支持去重的数据完整性审计方案，但是这些方案都不能实现高效的数据完整性审计。有的方案经过文件去重后，仍然需要将文件的认证标签上传到云上，假设共有m个用户拥有文件F，文件F被分成n个数据块，此时的网络带宽为(|F|+mn|σ|)，m个用户都需要计算和上传文件F的认证标签，用户端将会消耗大量的计算和通信资源，并且该方案不能支持高效批量审计，由于不同文件的认证标签不同，审计者的计算开销跟审计的任务量成正比。有的方案的设计场景是一个公司或者部门，公司中的用户将自己的数据上传到可信的中心进行块级去重，然后将数据块的认证标签进行合并，最后将去重后的数据和认证标签上传到云上存储。这种设计场景不能满足实时去重要求，并且对数据进行完整性审计时，由于一个文件中包含不同用户的签名，审计者的计算开销与所包含的用户数量有关。有的方案假设MapReduce云作为可信中心和审计者，用户将没有被去重的数据上传到可信的MapReduce云上处理，生成认证标签，再由MapReduce云上传到云上存储。由于数据的认证标签都是由可信的MapReduce云生成，不管是单个文件审计还是多个文件审计，该方案的审计效率都较高。但是，可信的MapReduce云生成对数据进行处理生成认证标签并执行完整性审计这种假设并不合理。后来，有方案提出新的支持数据去重的完整性审计方法，但是依然不能高效的支持块级去重的数据完整性审计和批量审计，由于经过块级去重后文件中包含多个用户生成的认证标签，审计者需要根据不同用户分别对挑战的数据块进行审计。

综上所述，目前的支持数据去重的完整性审计方案都不能支持高效的块级去重后的数据完整性审计和批量审计，因为一个文件进行块级去重后，文件的认证标签可能由多个不同的用户生成，完整性审计时如果不能聚合不同用户的认证标签，云服务提供商模块返回的完整性证据中将包含多个不同用户的认证标签，审计者需要根据不同用户分别验证证据的正确性，审计开销较大。同时，现有技术的批量审计都与审计任务量有关，批量审计的效率也较低。

发明内容

针对现有技术存在的问题，本发明提供了一种云环境中支持安全去重的高效数据完整性审计系统及方法。

本发明是这样实现的，一种云环境中支持安全去重的高效数据完整性审计系统及方法，所述云环境中支持安全去重的高效数据完整性审计系统包括：

数据拥有者模块，用于将本地数据经过安全去重后存储到云上，数据的管理任务递交给云服务提供商模块，同时将数据的审计任务递交给第三方审计者模块；

云服务提供商模块，与数据拥有者模块和第三方审计者模块连接，用于提供数据外包存储和完整性审计服务，并且代替用户存储和管理数据；

第三方审计者模块，与数据拥有者模块和云服务提供商模块连接，用于代替数据拥有者模块提供数据完整性审计服务，并为其返回审计结果；

证书权威机构模块，与数据拥有者模块连接，用于生成数据拥有者模块的匿名公钥证书，同时追踪恶意用户的真实身份，并且用于生成系统的公开参数和标签聚合密钥。

进一步，所述数据拥有者模块使用文件级和块级混合的安全去重方式将数据去重后再上传，上传到云上的数据和认证标签被所有不同的用户共同拥有。

进一步，所述云服务提供商模块存储未被去重的数据块及其认证标签，生成被去重的文件或数据块的去重信息，并提供外包数据的完整性审计服务。

进一步，所述第三方审计者模块存储云服务提供商模块生成的去重信息，代表数据拥有者模块定期地执行外包数据的完整性审计操作。

进一步，所述证书权威机构模块为数据拥有者模块颁发匿名公钥证书，当数据拥有者模块出现恶意行为时，证书权威机构模块根据匿名证书追踪其真实身份；同时证书权威机构模块为数据拥有者模块计算标签聚合密钥并为系统生成公开参数。

本发明的另一目的在于提供一种所述云环境中支持安全去重的高效完整性审计系统的云环境中支持安全去重的高效数据完整性审计方法，所述云环境中支持安全去重的高效数据完整性审计方法包括以下步骤：

步骤一，数据拥有者模块初始化公私钥对(pk_y,sk_y)，pk_y是证书权威机构模块通过匿名公钥证书协议发放，其中ε_y是数据拥有者模块的私钥；数据拥有者模块初始化一个收敛加密方案，被用于加密数据并生成文件级的去重标签；PoW算法被初始化用于证明用户确实拥有被去重的数据；证书权威机构模块计算标签聚合密钥ε₀是证书权威机构模块的私钥，同时初始化系统公开参数云存储服务提供商初始化它的公私钥对(pk_csp,sk_csp)用于对去重信息进行签名；

步骤二，数据拥有者模块与云服务提供商模块使用文件级和块级混合的去重方式对用户端数据安全去重，云服务提供商模块仅存储由第一个上传者上传的数据和认证标签，数据和认证标签被随后想要上传相同数据的数据拥有者模块共同拥有，云服务提供商模块为随后上传相同数据的数据拥有者模块返回一个链接和去重信息，进行数据完整性审计的用户将去重信息发送给第三方审计者模块存储；

步骤三，数据拥有者模块向第三方审计者模块发送审计请求，第三方审计者模块与云服务提供商模块之间运行挑战-响应协议，第三方审计者模块发送挑战信息CM给云服务提供商模块，云服务提供商模块根据挑战信息生成完整性证据proof，第三方审计者模块验证proof的正确性，如果正确，表示云上存储的数据是正确的，否则，表示用户的数据可能被篡改或者丢失；

步骤四，用户向云服务提供商模块发送下载请求，云服务提供商模块验证发送下载请求的用户是否合法，验证通过后，云服务提供商模块返回密文，用户使用解密算法Decrypt_CE得到原始数据。

进一步，所述云环境中支持安全去重的高效数据完整性审计方法的文件上传步骤为：

步骤一，数据拥有者模块对文件F进行预处理，发送文件级去重标签h_F＝H(C_F)给云服务提供商模块；

步骤二，云服务提供商模块检查是否已存在相同的文件/数据块去重标签，如果已存在，云服务提供商模块给数据拥有者模块返回“文件/数据块重复”，否则返回“文件/数据块没有重复”；

步骤三，如果数据拥有者模块收到的回复为“文件重复”，那么数据拥有者模块运行PoW算法，向云服务提供商模块证明自己确实拥有相同的文件，云服务提供商模块验证通过后返回一个链接和文件的去重信息；如果数据拥有者模块收到的回复为“文件没有重复”，那么数据拥有者模块对加密的文件进行分块C_F＝{m_ij},1≤i≤n,0≤j≤s-1，计算数据块的去重标签h_i＝H(m_i)，然后发送所有数据块的去重标签给云服务提供商模块，云服务提供商模块重复步骤二；

步骤四，对于重复的数据块，数据拥有者模块同样运行PoW算法，生成所有权证据，云服务提供商模块验证通过后返回被去重数据块的链接和去重信息；对于没有重复的数据块，数据拥有者模块计算数据块的认证标签，上传数据块及其认证标签，云服务提供商模块验证数据块和认证标签以及上传数据和去重标签的正确性和一致性，验证通过后存储信息；

步骤五，数据拥有者模块发送去重信息给第三方审计者模块，第三方审计者模块验证去重信息的正确性，验证通过后存储去重信息为数据完整性审计做准备。

进一步，文件上传过程中的文件去重信息和数据块去重信息分别为：

其中U为正在上传文件F的用户，U_F为第一个上传文件F的用户，为第一个上传数据块m_i的用户。

进一步，所述云环境中支持安全去重的高效数据完整性审计方法的完整性审计步骤为：

步骤一，第三方审计者模块随机挑选c个数据块作为挑战集合C，根据存储的去重信息，计算C中包含的不同用户的标签聚合信息r是随机数，Y是不同用户的集合，发送挑战信息CM＝{C,μ,Ω}，μ是随机数；

步骤二，云服务提供商模块接收到挑战信息后，将挑战的数据块信息合并为X，然后聚合被挑战的数据块标签，先将同一个用户生成的认证标签聚合为根据不同用户的标签聚合信息将不同用户认证标签聚合成统一的形式为其中云服务提供商模块返回完整性证据 是没有被去重的数据块的哈希值；

步骤三，第三方审计者模块验证证据proof的正确性：

当验证结果为true时，说明云中存储的数据是完整的，否则，说明用户外包的数据被篡改或者丢失。

本发明的优点及积极效果为：使用文件级和块级混合的去重方式最大程度地减少了数据的冗余度，为了减轻完整性审计时的计算复杂度，本发明结合聚合签名思想，使用可信的证书权威机构模块为用户计算标签聚合密钥。在完整性审计阶段，通过使用标签聚合信息，将不同用户的认证标签聚合成统一的形式，使得第三方审计者模块只需要常数量的计算开销验证云服务提供商模块返回完整性证据的正确性。同时，本发明能够被扩展支持批量审计，并且通过聚合不同用户的认证标签，使得批量审计中第三方审计者模块的计算复杂度与审计的任务量无关。

本发明还提供了安全性分析和性能分析，安全性分析表明，在文件上传阶段能够进行安全去重，并且能够保证上传内容的正确性和一致性；在完整性审计阶段能够保证云服务器提供商模块不能伪造完整性证据，能够保证系统的安全。性能分析表明，本发明能够较大的提高完整性审计效率。

附图说明

图1是本发明实施例提供的云环境中支持安全去重的高效数据完整性审计系统结构示意图；

图中：1、数据拥有者模块；2、云服务提供商模块；3、第三方审计者模块；4、证书权威机构模块。

图2是本发明实施例提供的数据完整性审计阶段的流程示意图。

图3是本发明实施例提供的认证标签生成的时间开销示意图。

图4是本发明实施例提供的单个文件审计的时间开销示意图。

图5是本发明实施例提供的批量审计的时间开销示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明还能够被扩展支持批量审计，即同时审计多个文件，并且批量审计的计算开销与审计的任务量无关；理论分析和实验结果表明，公开的云环境中支持安全去重的数据完整性审计系统能够达到预期的安全性和高效性。

下面结合附图1对本发明的应用原理作详细的描述。

如图1所示，本发明实施例的云环境中支持安全去重的高效数据完整性审计系统包括：数据拥有者模块1、云服务提供商模块2、第三方审计者模块3和证书权威机构模块4。

数据拥有者模块(U_y)1，用于将安全去重后的数据外包存储到云服务提供商模块2上同时此后能够访问该数据，这些数据被所有拥有相同数据的不同用户共同拥有。

云服务提供商模块(CSP)2，与数据拥有者模块1和第三方审计者模块3连接，拥有大量的计算资源和存储资源，代替数据拥有者模块1存储和管理数据，并且提供数据的完整性审计服务。

第三方审计者模块(TPA)3，与数据拥有者模块1和云服务提供商模块3连接，用于代替数据拥有者模块1定期地提供数据完整性审计服务，并为其返回审计结果。

证书权威机构模块(CA)4，与数据拥有者模块1连接，是一个可信的实体，用于生成数据拥有者模块1的匿名公钥证书，同时追踪恶意用户的真实身份，并且用于生成系统公开参数和标签聚合密钥。

云服务提供商模块2为了减轻存储负担将对数据进行去重存储，数据拥有者模块1在数据上传的过程中与云服务提供商模块之间进行安全去重。为了最大程度上减少数据冗余，采用文件级和块级混合的去重方式，即数据拥有者模块1先进行文件级别的去重检查，如果云中已经存有该文件的副本，那么数据拥有者模块1不需要再次上传该文件和该文件的认证标签；如果没有文件重复，数据拥有者模块1将文件分块并计算块级的去重标签检测云上是否有相同的数据块存储，然后上传没有被去重的数据块及其认证标签。经过去重，云中只存储由第一个上传者上传的数据及其认证标签，拥有相同数据的其他用户得到数据的链接和去重信息。在完整性审计时，所有拥有相同数据的用户需要使用第一个上传者生成的认证标签进行数据的完整性验证，由于在数据上传的过程中已经验证认证标签的正确性和一致性，并且使用匿名公钥证书协议保护用户的真实身份，因此第三方审计者模块3能够正确审计数据的完整性并且不知道任何关于用户的隐私信息；此外在完整性审计阶段，本发明能够将不同用户的认证标签聚合成统一的形式，大大提高了第三方审计者模块(TPA)的审计效率。

下面结合具体实施例对本发明的应用原理作进一步的描述。

本发明的具体实施例：

1在本发明实施例的系统中，其使用到的密码学原语包括双线性对、困难问题假设、收敛加密算法和匿名公钥证书协议，具体描述如下：

1.1双线性对

假设和是循环乘法群，阶为素数q，是生成元，双线性映射定义为e:有以下特性：

双线性：对于有

非退化性：e(g₁,g₂)≠1；

可计算性：e(g₁,g₂)能够被有效地计算。

如果则上面的描述为非对称的双线性对，具有更高的安全性；如果则上面的描述为对称的双线性对；对称和非对称的双线性对都适用于本发明，为了简单起见，本发明中使用对称的双线性对。

1.2困难问题假设

本发明的安全性依赖于一些困难问题的假设，主要包括计算Diffie-Hellman问题、双线性Diffie-Hellman问题和t强Diffie-Hellman问题。

定义1、计算Diffie-Hellman问题，假设G₁是乘法循环群，生成元为g，给定其中如果不知道x或者y的值，任何多项式时间算法都不能以不可忽略的概率计算出g^xy的值。

定义2、双线性Diffie-Hellman问题，假设是乘法循环群，生成元为g，是另一个循环乘法群，给定其中如果不知道a，b或者c的值，任何多项式时间算法都不能以不可忽略的概率计算出e(g,g)^abc的值。

定义3、t强Diffie-Hellman问题，假设是乘法循环群，生成元为g，给定一个(t+1)元组作为输入，其中如果不知道α的值，任何多项式敌手都不能输出的值，其中

1.3收敛加密

收敛加密(CE)是安全去重中常用的方案，主要是为了保护数据的机密性，数据拥有者模块首先运行密钥生成算法生成收敛密钥，收敛密钥是用户的数据的哈希值，然后使用收敛密钥加密文件得到文件的密文，收敛加密能够实现相同的明文被确定性的加密成相同的密文；此外，数据拥有者模块还生成文件的去重标签，用于检测云中是否存有相同的文件，这个去重标签是独立于收敛密钥的，也就是说从去重标签中无法得到任何关于收敛密钥的信息，因此去重标签对数据的机密性也没有任何危害，收敛加密的形式化定义为：

定义4、一个收敛加密方案包含以下算法：

KeyGen_CE(F)→K_CE是收敛密钥生成算法，输入文件的内容，输出收敛密钥K_CE；

Encrypt_CE(K_CE,F)→C_F是对称加密算法(比如AES)，输入文件F和收敛密钥K_CE，输出密文C_F；

Decrypt_CE(K_CE,C_F)→F是对称解密算法，输入密文C_F和解密密钥K_CE，输出文件的明文F；

TagGen_CE(F)→T(F)是标签生成算法，输入文件内容F(通常输入为F的密文C_F)，输出相应的标签。

1.4匿名公钥证书协议

匿名公钥证书协议是在证书权威机构模块和数据拥有者模块之间运行的，证书权威机构模块使用数据拥有者模块的真实公钥证书为其颁发匿名公钥证书，匿名公钥证书中包含数据拥有者模块的假名，不包含其真实身份信息；并且，当用户出现恶意行为时，证书权威机构模块能够根据用户的假名追踪其真实身份；Park等人提出一个实用的方案构造和协议用于保护用户的隐私，设计使用X.509证书格式包含假名，并且设计了身份追踪协议用于追踪恶意用户的真实身份。

本发明使用匿名公钥证书协议为用户的公钥颁发证书，保护用户的身份隐私在数据去重和完整性审计过程中不被泄露。

2安全模型和设计目标

在安全模型中考虑以下三种威胁：1.云服务提供商模块(CSP)是诚实且好奇的，云服务提供商模块将会诚实的执行指定的协议，但同时希望提取一些用户的敏感信息(比如密钥等)或者试图建立用户和数据之间的联系，并且当用户的数据丢失或者被篡改时，云服务提供商模块为了保护自己的名誉将会试图隐瞒数据不完整的事实；2.第三方审计者模块(TPA)是诚实且好奇的，第三方审计者模块将会诚实的代表数据拥有者模块定期的执行数据完整性审计，但是也试图获取更多用户数据的敏感信息；3.假设存在外部攻击者，拥有去重数据的一些信息(比如哈希值)，试图在没有拥有全部数据的情况下通过云服务提供商模块的PoW验证，获得访问数据的资格。

设计目标包括：

高效性：在完整性审计时，第三方审计者模块(TPA)只需要常数级的计算开销去验证由云服务提供商模块返回的完整性证据的正确性，与挑战的数据块的数量、挑战块中包含生成认证标签的用户数量和批量审计时的审计任务量等都无关；

功能性：本发明能够同时支持公开完整性审计和安全去重，并且，只有当云服务提供商模块确实正确存储数据时才能通过第三方审计者模块(TPA)的审计；任何拥有去重数据哈希值的多项式时间的敌手，在没有拥有全部数据时不能通过云服务提供商模块(CSP)的PoW验证；

批量审计：本发明能够扩展支持批量审计，第三方审计者模块(TPA)能够同时处理不同用户的数据审计请求，并且批量审计的计算复杂性与审计的任务量无关；

隐私保护：由于使用匿名公钥证书，数据拥有者模块的真实身份在去重和完整性审计过程中被保护，同时，当有用户出现恶意行为时，证书权威机构模块(CA)能够根据用户的假名追踪到用户的真实身份。

3结构

云环境中支持安全去重的高效数据完整性审计系统的详细结构；

3.1结构中包含四个阶段，分别为系统建立阶段、文件上传阶段、文件下载阶段和完整性审计阶段，下面对每个阶段做详细的介绍：

系统建立阶段：初始化系统建立所需的参数；

假设和是两个循环乘法群，素数阶为q，且g是的生成元，满足双线性对e:运算；H:{0,1}^*→{0,1}^l是一个强抗碰撞的哈希函数，本发明中使用SHA-256；

(1)数据拥有者模块U_y运行密钥生成算法生成签名密钥对{spk_y,ssk_y}用于安全签名算法Sign(·)，同时他选择随机数作为私钥，计算则用户U_y的公私钥对为：pk_y＝{κ_y,spk_y,h_y},sk_y＝{ε_y,ssk_y}，注意用户U_y的公钥是通过匿名公钥证书协议发放的，使用其公钥不会泄露用户U_y的真实身份；

(2)证书权威机构模块(CA)生成系统公开参数和标签聚合密钥，CA选择三个随机数和计算公开参数和用户U_y的标签聚合密钥同样地，CSP运行密钥生成算法生成签名密钥对{pk_csp,sk_csp}用于安全签名算法Sign(·)，最后生成系统公共参数(PP)、主密钥(MK)和私钥(SK)：

MK＝{α,ε₀},SK＝{sk_y}

(3)文件预处理：数据拥有者模块U_y使用收敛加密方案对文件F进行处理，生成收敛加密密钥K_CE←KeyGen_CE(F)，使用收敛加密密钥对文件F加密生成密文C_F←Encrypt_CE(K_CE,F)，最后生成文件级的去重标签h_F＝H(C_F)，用于检查文件F是否重复。

文件上传阶段：本发明使用文件级和块级混合的去重方式进行安全去重；

假设数据拥有者模块U_a是第一个上传文件F的用户，首先对文件F进行预处理，然后执行以下步骤：

S1：数据拥有者模块U_a发送文件级去重标签h_F给云服务提供商模块(CSP)；

S2：CSP检测是否有相同的标签存储，如果没有，返回“文件没有重复”给数据拥有者模块U_a；

S3：U_a将加密后的文件C_F进行分块，分成n个数据块，每个数据块包含s个部分，表示为C_F＝{m_ij},1≤i≤n,0≤j≤s-1，然后，U_a计算每个数据块的去重标签h_i＝H(m_i)，发送这些标签给CSP；

S4：CSP检测这些标签的存在性，建立一个n维行向量当h_i存在时，设置代表数据块m_i重复，否则，设置CSP为重复的数据块选择随机数r_i∈_R{0,1}^λ，返回给U_a；

S5：根据返回的向量U_a能够知道哪些数据块是重复的，对于重复的数据块，U_a运行PoW算法生成{H(m_i||r_i)}证明他确实拥有这些重复的数据块，对于没有重复的数据块，U_a计算认证标签其中并且，U_a还需要计算文件标签最后，U_a发送信息给CSP；

S6：CSP验证上传数据的正确性，他首先验证{H(m_i||r_i)}和的正确性，验证通过后对于没有被去重的数据块，他再次验证和的正确性和一致性，如果验证通过，CSP将存储信息然后，CSP为去重的数据块建立链接并生成数据块的去重信息其中 是第一个上传数据块m_i的用户，CSP的签名能够保证被去重的数据块m_i连接到用户的数据，同时防止CSP否认去重的存在性；

S7：U_a验证去重信息的正确性，验证通过后，将去重信息存储在本地并且发送它给第三方审计者模块(TPA)；

S8:TPA验证并存储去重信息，为完整性审计做准备。

假设数据拥有者模块U_b是随后上传文件F的用户，他首先对文件F进行预处理，然后执行以下步骤：

S1：数据拥有者模块U_b发送文件级去重标签h_F给云服务提供商模块(CSP)；

S2：CSP检测是否有相同的标签存储，如果存在，选择随机数r_F∈_R{0,1}^λ，返回{“文件重复”，r_F}给数据拥有者模块U_b；

S3：U_b运行PoW算法生成H(C_F||r_F)证明他确实拥有文件C_F，发送所有权证据H(C_F||r_F)给CSP；

S4：CSP验证H(C_F||r_F)的正确性，如果验证通过，CSP为该文件建立链接并生成文件的去重信息其中U_a是第一个上传文件C_F的用户，然后发送去重信息给U_b；

S5：U_a验证去重信息的正确性，验证通过后，将去重信息存储在本地并且发送它给第三方审计者模块(TPA)；

S6：TPA验证并存储去重信息，为完整性审计做准备。

文件下载阶段：

用户首先发送下载请求给CSP，包含去重信息，CSP验证该用户是否有资格下载文件C_F，如果验证通过，CSP返回文件C_F，用户使用本地存储的收敛密钥对密文文件进行解密得到明文F←Decrypt_CE(K_CE,C_F)；如果验证不通过，CSP中断下载请求返回下载失败。

完整性审计阶段：当TPA接收到来自用户U_a的数据完整性审计请求，TPA将会与CSP运行挑战-响应协议，图2是完整性审计的具体过程，结合图2具体描述完整性审计如下：

(1)TPA首先验证文件标签t_F的正确性，如果验证通过，他随机挑选c个数据块作为挑战集合C，然后选择两个随机数假设挑选的c个数据块中有d个数据块被去重并且有多个不同的用户生成的认证标签，这些用户使用集合Y表示；根据本地存储的去重信息，TPA计算不同用户的标签聚合信息用于聚合不同用户的认证标签，最后TPA发送挑战信息CM＝{C,μ,Ω}给CSP；

(2)CSP接收到挑战信息后，他将执行下面的计算生成完整性证据：

首先，生成系数集合{v_i＝μⁱmodq}_i∈C，并计算其中指出，多项式f(x)∈Z(x)满足f(x)-f(ξ)使用多项式长除法能够完全整除于(x-ξ)的特殊几何性质，其中

其次，使用多项式长除法除以多项式(x-μ)得到另一个多项式系数为CSP计算

进一步，CSP计算挑战块中由用户U_y生成的认证标签为了聚合不同用户的认证标签，CSP使用不同用户的聚合信息进一步计算其中系数

最后，CSP发送完整性证据给TPA，s_i表示挑战的数据块中没有被去重的数据块索引；

(3)TPA验证完整性证据的正确性，他生成{v_i＝μⁱmodq}_i∈C，计算η＝u^γ，其中γ＝∑_i∈Cv_iH(m_i)，然后TPA验证文件C_F的完整性：

正确性：验证本发明的完整性审计方法的正确性：

根据上面的等式推导验证可以得出，本发明的云环境中支持安全去重的高效公开数据完整性审计方法能够正确验证外包数据的完整性。

3.2支持高效的批量审计

在很多云服务系统中，第三方审计者模块TPA可能同时接收到来自不同用户的完整性审计请求，如果他一个用户接着一个用户的处理审计请求将会造成计算资源和通信资源的浪费。具体地，假设TPA同时接收到T个不同文件的完整性审计请求，这T个文件表示为C_Ft＝{m_ti,j}，1≤t≤T,1≤i≤n_t,0≤j≤s_t-1，如果TPA能够同时处理这T个审计请求将会节省大量的计算和通信资源。为了达到这个目标，本发明公开一种批量审计方法使得TPA能够同时审计T个文件，并且审计效率与审计任务量T无关，在本发明的批量审计方法中，系统设置阶段与单个文件审计方案相同，下面具体介绍批量-挑战、批量-响应和批量-验证算法。

批量-挑战：批量-挑战算法与单个文件审计时的挑战算法相似，TPA为每个文件随机选择c个数据块作为挑战集合C，其中每个文件挑战的数据块索引相同，假设在所有挑战的数据块中有d个数据块被去重并且有许多不同的用户生成的认证标签，这些用户用集合Y表示，TPA选择两个随机数根据本地存储的去重信息，计算不同用户的标签聚合信息然后，TPA发送挑战信息CM＝{C,μ,Ω}给云服务提供商模块。

批量-响应：CSP首先生成{v_i＝μⁱmodq}_i∈C，用于计算其中类似于单个文件审计使用多项式长除法计算根据标签聚合信息，CSP把所有文件中的认证标签聚合成统一的形式，首先聚合由用户U_y生成的认证标签进一步计算然后聚合所有的标签为最后，CSP发送完整性审计证据给TPA。

批量-验证：TPA收到proof后，生成{v_i＝μⁱmod q}_i∈C，计算η＝u^γ，其中γ＝∑_1≤t≤T∑_i∈Cv_iH(m_ti)，然后他验证T个文件的完整性：

批量-正确性：验证本发明的批量审计方法的正确性：

根据上面的等式推导验证可以得出，本发明的云环境中支持安全去重的高效公开数据完整性审计方法扩展的批量审计能够正确审计T个文件的完整性。

4安全性分析

定理1.在文件上传阶段，假设存在概率多项式时间敌手Adv在没有文件F的情况下能够通过CSP的所有权认证(PoW)，那么该敌手能够创建一个多项式时间算法A_p为强抗碰撞的哈希函数H(·)找到碰撞。

证明：文件上传阶段分为第一次上传文件F和随后再上传文件F两个阶段，这两个阶段敌手的攻击行为不同，本发明分别证明上述两个上传阶段的安全性：

在第一次上传文件F时，假设Adv想要上传文件F′≠F，但是使用文件F的去重标签进行文件重复检测，当CSP返回“文件没有重复”时，Adv上传文件F′的没有被去重的数据快和认证标签。然而，在本发明中，CSP需要验证上传数据内容的正确性和一致性，如果去重标签或者认证标签验证不通过，CSP将会终止文件上传；如果H(C_F)＝H(C_F′)，因为F′≠F，也就是说C_F′≠C_F，那么敌手Adv可以创建一个多项式时间算法A_p为哈希函数H(·)找到碰撞。显然，这是不可能的，因此在第一次上传文件F时，敌手不能上传一个伪造的(假的)文件。

在随后上传文件F，本发明假设Adv在没有文件F的情况下试图通过CSP的PoW认证。假设Adv拥有文件C_F的去重标签h_F＝H(C_F)并且发送给CSP，CSP返回“文件重复”和随机数r_F，如果Adv能够通过PoW认证，那么Adv就可以创建多项式时间算法A_p为哈希函数H(·)找到碰撞H(C_F′||r_F′)＝H(C_F||r_F)，显然，这是不可能的。

综上所述，本发明中的文件上传阶段是安全的。

定理2.假设存在概率多项式时间敌手Adv能够伪造那么Adv就能够发现多项式时间算法A_p有效地解决定义3中的t强Diffie-Hellman问题。

证明：假设存在概率多项式时间敌手Adv能够生成满足其中敌手Adv知道和因此，Adv能够使用创建另一个的多项式表达式为因为所以有也就是说α是多项式的根，敌手Adv通过分解因式得到根α，然后使用多项式算法A_p发现l满足因此敌手Adv实例化一个t强Diffie-Hellman问题，显然，这是不可能的，因此不能被伪造。

定理3.假设存在概率多项式时间敌手Adv能够伪造完整性证据并成功地通过TPA的验证，那么敌手Adv就能够发现多项式时间算法A_p有效地解决定义2中的双线性Diffie-Hellman问题和定义3中的t强Diffie-Hellman问题。

证明：假设概率多项式时间敌手Adv伪造一个完整性证据Proof′≠Proof能够通过TPA的完整性验证，是有效的完整性证据，满足等式

本发明创建一个多项式时间的模拟器，给定参数g^r,u^r,PP和Proof，假设模拟器选择随机数r′,μ，输入Proof′，模拟器能够得到等式

等式2除等式1得：

如果Proof′≠Proof，那么Proof′和Proof中至少有一个元素不相等，那么Φ≠Φ′或者或者X≠X′，本发明将分情况分析：

如果Φ≠Φ′，那么等式3又可以写出：

因为模拟器知道Φ,r′,μ和Proof′的值，同时模拟器知道u^r的值，所以的值能够被计算出来。在不知道ε₀,r和的情况下，模拟器能够输出的值，因此模拟器实例化了定义2中的双线性Diffie-Hellman问题，显然，这是不可能的。因此，可以得到Φ＝Φ′，又因为 是不可伪造的，所以有r＝r′。

如果X≠X′，由于Φ＝Φ′和r＝r′，使用r′代替r，等式3可以变形为：

因为是群中的元素，生成元为g，因此能够变形为g^ρ和g^ρ′，等式5可以重新写成：

ρ(α-μ)+X＝ρ′(α-μ)+X′

根据等式6，模拟器能够计算下面等式的值：

输出作为定义3中t强Diffie-Hellman问题的实例，显然，这是不可能的。因此，X′＝X，根据定理2，不能被伪造，所以模拟器拥有所有被挑战的数据块。

如果等式3可以写成：

由于根据等式8，模拟器可以得出α＝μ，然后输出做为定义3中t强Diffie-Hellman问题的实例，显然，这不可能，因此有

综上所述，本发明的完整性审计阶段是安全的，任何多项式时间的敌手都不能伪造完整性证据并通过TPA的验证。

下面结合性能分析和实验对本发明的应用效果作详细的描述。

1性能分析

1.1理论分析

对本发明的存储开销、通信开销和计算开销进行对比分析，表1中是性能分析中用到的符号及符号描述，对比方案为Kiraz M.S.Solving the Secure Storage Dilemma:AnEfficient Scheme for Secure Deduplication with Privacy-Preserving PublicAuditing.Cryptology ePrintArchive,2016。

表1：

Kiraz的方案支持文件级去重和块级去重，为了公平的比较，将Kiraz的方案扩展到块级去重。

存储开销：本发明假设文件C_F经过去重后一共有d′个数据块被去重，假设共有Y′个数据拥有者模块共同拥有文件C_F。本发明中的CSP需要存储文件C_F中未被去重的数据块和其认证标签以及去重标签，TPA需要存储去重信息，表2中是存储开销的对比结果，从表2中可以得出，本发明的存储开销要小于对比方案的存储开销。

表2：

存储花销对比

通信开销：本发明的通信开销主要包含文件上传阶段和完整性审计阶段，在文件上传阶段主要是上传一些哈希值(包括去重标签和PoW证明)和未被去重的数据块及其认证标签；在完整性审计阶段，主要包含挑战信息CM和完整性证据proof，表3中包含了在完整性审计阶段通信开销的对比，因为在文件上传阶段，本发明和对比方案的通信开销相差不大。在完整性审计阶段，分别列出了单个文件审计和批量审计的通信开销对比，从表中可以看出，由于本发明考虑将不同用户的认证标签聚合成统一的形式，所以本发明完整性审计阶段的通信开销小于对比方案。

计算开销：本发明的计算开销主要包含文件上传阶段和完整性审计阶段的计算复杂性，同样地，由于文件上传阶段本发明和对比方案都只需要计算哈希值和未被去重的数据块的认证标签，所以不具体比较他们的计算开销。在完整性审计阶段，分别列出了单个文件审计和批量审计的计算开销，从表3中可以看出，由于本发明将不同用户的认证标签聚合成统一的形式，所以本发明完整性审计阶段TPA的计算开销远小于对比方案。

表3：

计算和通信花销对比

1.2实验分析

对本发明的认证标签生成时间、单个文件的完整性审计时间和批量审计的时间进行实验仿真测试。本发明的模拟实验是在Intel Core i5-3470，3.20GHz的LINUX机器上运行的，该机器的运行内存为4G，基于密码学PBC库和C语言对TPA和CSP的计算复杂性进行测试。本发明假设数据块的大小为4KB，每个数据块包含s＝10部分，为了达到99％的文件错误发现概率，本发明假设挑战460个数据块。注意，要求的文件错误发现概率越高，也就是说s挑战的数据块越多，本发明的优势越明显。

在标签生成的模拟仿真中，假设数据块由100到1000的变化，为了和Kiraz的方案进行对比，本发明也测试了s＝1时的标签生成时间，实验结果如附图3所示，在相同情况下(s＝1)，本发明的标签生成时间更短。在单个文件完整性审计的模拟仿真中，本发明设置挑战块中用户的数量为变量，比较了TPA的审计效率和完整性审计方法的效率(TPA和CSP总的审计花销)，实验结果如附图4所示，由于本发明能够聚合不同用户的认证标签，所以本发明的完整性审计方法更高效。在批量审计的模拟仿真中，本发明设置审计任务量和挑战块中用户的数量为变量，分别比较了这两个变量对TPA审计复杂性的影响，实验结果如附图5所示，本发明中TPA的批量审计效率与审计任务量无关，并且批量审计效率更高。

以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所做的修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种云环境中支持安全去重的高效数据完整性审计系统，其特征在于，所述云环境中支持安全去重的高效数据完整性审计系统包括：

数据拥有者模块，用于将本地数据经过安全去重后存储到云上，数据的管理任务递交给云服务提供商模块，同时将数据的审计任务递交给第三方审计者模块；

云服务提供商模块，与数据拥有者模块和第三方审计者模块连接，用于提供数据外包存储和完整性审计服务，并且代替用户存储和管理数据；

第三方审计者模块，与数据拥有者模块和云服务提供商模块连接，用于代替数据拥有者模块提供数据完整性审计服务，并为其返回审计结果；

证书权威机构模块，与数据拥有者模块连接，用于生成数据拥有者模块的匿名公钥证书，同时追踪恶意用户的真实身份，并且用于生成系统的公开参数和标签聚合密钥。

2.如权利要求1所述的云环境中支持安全去重的高效数据完整性审计系统，其特征在于，所述数据拥有者模块使用文件级和块级混合的安全去重方式将数据去重后再上传，上传到云上的数据和认证标签被所有不同的用户共同拥有。

3.如权利要求1所述的云环境中支持安全去重的高效数据完整性审计系统，其特征在于，所述云服务提供商模块存储未被去重的数据块及其认证标签，生成被去重的文件或数据块的去重信息，并提供外包数据的完整性审计服务。

4.如权利要求1所述的云环境中支持安全去重的高效数据完整性审计系统，其特征在于，所述第三方审计者模块存储云服务提供商模块生成的去重信息，代表数据拥有者模块定期地执行外包数据的完整性审计操作。

5.如权利要求1所述的云环境中支持安全去重的高效数据完整性审计系统，其特征在于，所述证书权威机构模块为数据拥有者模块颁发匿名公钥证书，当数据拥有者模块出现恶意行为时，证书权威机构模块根据匿名证书追踪其真实身份；同时证书权威机构模块为数据拥有者模块计算标签聚合密钥并为系统生成公开参数。

6.一种如权利要求1所述云环境中支持安全去重的高效数据完整性审计系统的云环境中支持安全去重的高效数据完整性审计方法，其特征在于，所述云环境中支持安全去重的高效数据完整性审计方法包括以下步骤：

步骤一，数据拥有者模块初始化公私钥对(pk_y,sk_y)，pk_y是证书权威机构模块通过匿名公钥证书协议发放的，其中ε_y是数据拥有者模块的私钥；数据拥有者模块初始化一个收敛加密方案，被用于加密数据并生成文件级的去重标签；PoW算法被初始化用于证明用户确实拥有被去重的数据；证书权威机构模块计算标签聚合密钥ε₀是证书权威机构模块的私钥，同时初始化系统公开参数云存储服务提供商初始化它的公私钥对(pk_csp,sk_csp)用于对去重信息进行签名；

步骤二，数据拥有者模块与云服务提供商模块使用文件级和块级混合的去重方式进行用户端数据安全去重，云服务提供商模块仅存储由第一个上传者上传的数据和认证标签，数据和认证标签被随后想要上传相同数据的数据拥有者模块共同拥有，云服务提供商模块为随后上传相同数据的数据拥有者模块返回一个链接和去重信息，进行数据完整性审计的用户将去重信息发送给第三方审计者模块存储；

步骤三，数据拥有者模块向第三方审计者模块发送审计请求，第三方审计者模块与云服务提供商模块之间运行挑战-响应协议，第三方审计者模块发送挑战信息CM给云服务提供商模块，云服务提供商模块根据挑战信息生成完整性证据proof，第三方审计者模块验证proof的正确性，如果正确，表示云上存储的数据是正确的，否则，表示用户的数据可能被篡改或者丢失；

步骤四，用户向云服务提供商模块发送下载请求，云服务提供商模块验证发送下载请求的用户是否合法，验证通过后，云服务提供商模块返回密文，用户使用解密算法Decrypt_CE得到原始数据。

7.如权利要求6所述的云环境中支持安全去重的高效数据完整性审计方法，其特征在于，所述云环境中支持安全去重的高效数据完整性审计方法的文件上传步骤为：

步骤一，数据拥有者模块对文件F进行预处理，发送文件级去重标签h_F＝H(C_F)给云服务提供商模块；

步骤二，云服务提供商模块检查是否已存在相同的文件/数据块去重标签，如果已存在，云服务提供商模块给数据拥有者模块返回“文件/数据块重复”，否则返回“文件/数据块没有重复”；

步骤三，如果数据拥有者模块收到的回复为“文件重复”，那么数据拥有者模块运行PoW算法，向云服务提供商模块证明自己确实拥有相同的文件，云服务提供商模块验证通过后返回一个链接和文件的去重信息；如果数据拥有者模块收到的回复为“文件没有重复”，那么数据拥有者模块对加密的文件进行分块C_F＝{m_ij},1≤i≤n,0≤j≤s-1，计算数据块的去重标签h_i＝H(m_i)，然后发送所有数据块的去重标签给云服务提供商模块，云服务提供商模块重复步骤二；

步骤四，对于重复的数据块，数据拥有者模块同样运行PoW算法，生成所有权证据，云服务提供商模块验证通过后返回被去重数据块的链接和去重信息；对于没有重复的数据块，数据拥有者模块计算数据块的认证标签，上传数据块及其认证标签，云服务提供商模块验证数据块和认证标签以及上传数据和去重标签的正确性和一致性，验证通过后存储信息；

步骤五，数据拥有者模块发送去重信息给第三方审计者模块，第三方审计者模块验证去重信息的正确性，验证通过后存储去重信息为数据完整性审计做准备。

8.如权利要求7所述的云环境中支持安全去重的高效数据完整性审计方法，其特征在于，文件上传过程中的文件去重信息和数据块去重信息分别为：

<mrow> <msubsup> <mi>Duplicate</mi> <mi>U</mi> <msub> <mi>C</mi> <mi>F</mi> </msub> </msubsup> <mo>|</mo> <mo>|</mo> <msub> <mi>Sign</mi> <mrow> <msub> <mi>sk</mi> <mrow> <mi>c</mi> <mi>s</mi> <mi>p</mi> </mrow> </msub> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>Duplicate</mi> <mi>U</mi> <msub> <mi>C</mi> <mi>F</mi> </msub> </msubsup> <mo>)</mo> </mrow> <mo>,</mo> <msubsup> <mi>Duplicate</mi> <mi>U</mi> <msub> <mi>m</mi> <mi>i</mi> </msub> </msubsup> <mo>|</mo> <mo>|</mo> <msub> <mi>Sign</mi> <mrow> <msub> <mi>sk</mi> <mrow> <mi>c</mi> <mi>s</mi> <mi>p</mi> </mrow> </msub> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>Duplicate</mi> <mi>U</mi> <msub> <mi>m</mi> <mi>i</mi> </msub> </msubsup> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

其中U为正在上传文件F的用户，U_F为第一个上传文件F的用户，U_Bi为第一个上传数据块m_i的用户。

9.如权利要求6所述的云环境中支持安全去重的高效数据完整性审计方法，其特征在于，所述云环境中支持安全去重的高效数据完整性审计方法的完整性审计步骤为：

步骤一，第三方审计者模块随机挑选c个数据块作为挑战集合C，根据存储的去重信息，计算C中包含的不同用户的标签聚合信息r是随机数，Y是不同用户的集合，发送挑战信息CM＝{C,μ,Ω}，μ是随机数；

步骤二，云服务提供商模块接收到挑战的信息后，将挑战的数据块信息合并为X，然后聚合被挑战的数据块标签，先将同一个用户生成的认证标签聚合为根据不同用户的标签聚合信息将不同用户认证标签聚合成统一的形式为其中云服务提供商模块返回完整性证据 是没有被去重的数据块的哈希值；

步骤三，第三方审计者模块验证证据proof的正确性：

当验证结果为true时，说明云中存储的数据是完整的，否则，说明用户外包的数据被篡改或者丢失。

10.一种应用权利要求1～5任意一项所述云环境中支持安全去重的高效数据完整性审计系统的云存储服务系统。