CN105072086A - 一种基于MapReduce的云存储批量审计方法 - Google Patents

Abstract

本发明公开了一种基于MapReduce的云存储批量审计方法，用户将本地文件初始化处理；当用户需要验证自己外包数据的完整性时，向TPA发出请求；TPA每收到一个用户的请求就向云存储服务器进行挑战，云存储服务器返回对应文件验证所需的证据；TPA收到证据之后验证数据的完整性；？TPA每隔一段时间将这个时间段的收到的验证证据聚集起来对数据本身进行一次统一验证；本发明能在批量审计失败情况下，大大提高批量审计的效率，并且解决了集中式审计系统适应性差的问题，体现了分布式审计系统良好的可用性。

Description

一种基于MapReduce的云存储批量审计方法

技术领域

本发明属于云存储和数据完整性验证技术领域，涉及一种云存储批量审计方法，具体涉及一种基于MapReduce的云存储批量审计方法。

背景技术

云计算是下一代IT企业架构，但是云计算的安全问题阻碍了其大规模应用，其中一个主要的挑战是远程公开地对不可信的云存储服务器上的用户数据进行完整性检验。然而由于用户有限的资源、专业能力和计算能力，所以需要引入第三方审计，代替用户执行数据完整性检验。然而，如果第三方审计运行效率低下，用户所要求验证的数据完整性反馈速度较慢，这是云计算用户很难接受的；此外，如果第三方审计的可用性较差，出现崩溃，无法连接等问题，是云计算用户绝对不能接受的。因此第三方审计TPA(ThirdPartyAuditor)的运行效率和是否具有良好可用性，成为用户是否选择使用云计算的重要因素。

当前针对云环境下用户数据完整性的验证问题，不少学者已经有了一些研究。2007年，Ateniese等人在“Provabledatapossessionatuntrustedstores”文中第一次定义公开可验证的数据持有证明(PDP)模型来实现公开可验证数据完整性特性。这篇文章利用基于RSA的同态认证技术和随机取样方法，来解决用户需要下载大规模数据再验证其正确性所导致的巨大通信代价，然而他们没有考虑到云环境下数据的海量性，RSA签名对于大数据验证所产生的代价是非常大的；与此同时，Juels等人提出一种可选择性模型——数据可检索性证明(POR)，使用点抽查和纠错码的方式来保证服务器对数据的拥有性和用户对数据的可取回性。然而，由于秘钥个数的局限性导致挑战验证次数的有限性，用户经过一定次数的验证之后，需要下载数据重新标记签名。在这之后，Shacham等在“CompactProofsofRetrievability”中基于BLS同态认证技术实现了公开可验证性，使用了同态认证(homomorphicauthenticators)缩减了通信开销，并且挑战次数是无限的。2009年，Wang等人在“Enablingpublicverifiabilityanddatadynamicsforstoragesecurityincloudcomputing”中结合双线性聚合签名的特性将完整性验证扩展到多用户环境中，实现TPA批量审计；批量审计能将不同用户的不同数据的签名聚集到一个签名上，对整体一个签名的完整性验证如果通过，那么说明所有包含的数据完整性都得到保护，这样就大大提高了可信第三方审计TPA的审计效率。然而，如果聚集签名的验证失败，为了找出问题的数据，Wang在文章中所说的采用二分查找的方法可以提高查找效率，但是如果出问题的数据不止一个，还是不得不像以前一样，一个签名一个签名的验证，效率依然非常低；此外，TPA采用的是集中式系统验证，一旦出现崩溃现象，云用户的请求将会搁置，这是云用户所不能容忍的。

综上所述，当前关于云存储中数据完整性验证的研究，可信第三方TPA的验证效率不是那么令人满意，而且没有一种方法提出分布式的审计系统，来提高可信第三方审计TPA的可用性。

发明内容

针对现有技术的缺陷，本发明提供了一种基于MapReduce的云存储批量审计方法，其能在批量审计失败情况下，大大提高批量审计的效率，并且解决了集中式验证适应性差的问题，体现了TPA审计系统的良好可用性。

本发明解决其技术问题所采用的技术方案是，一种基于MapReduce的云存储批量审计方法，其特征在于，包括以下步骤：

步骤1、初始化：每个用户首先初始化自己的公私钥，将需要外包到云存储服务器的数据进行分块，利用私钥对每个分块进行BLS签名，用户将文件标签、文件的分块和分块的签名发送到云存储服务器存储；用户根据一个文件初始化一个MerkleHashTree，并用私钥加密该MerkleHashTree的根，用户将该MerkleHashTree和加密后的根发送至可信第三方审计TPA(ThirdPartyAuditor)端进行存储；

步骤2、请求验证完整性：不同用户能同时向第三方审计TPA请求验证外包数据的完整性，不同用户将待验证文件的文件标签发送至第三方审计TPA；

步骤3、挑战：第三方审计TPA端每接到一个用户的请求，就向云存储服务器发送一个挑战，要求返回验证所需的参数，挑战内容包括文件标签和第三方审计TPA为每个审计任务产生的随机值；第三方审计TPA将文件标签及审计任务所需随机值发送至云存储服务器进行挑战；

步骤4、提供证据：云服务器收到一个挑战，就对应产生一个证据，证据内容包括文件标签和审计任务所需的验证参数，其中验证参数包括数据块的线性组合σ、聚集签名μ和数据块的哈希值H(m_i)_s1≤i≤sc，其中i是文件块的序号，若文件被分为n块，则i∈[1,n]，而是第三方审计TPA的随机挑战序号，云存储服务器需要返回被挑战数据块的哈希值；

步骤5、数据完整性验证：第三方审计TPA收到证据之后，首先验证MerkleHashTree的完整性是否遭到破坏；然后验证数据本身的完整性是否遭到破坏；

步骤6、批量审计：第三方审计TPA每隔一段预设时间收集一次云存储服务器发送的证据，对数据进行一次统一验证。

作为优选，步骤2的具体实现包括以下子步骤：

步骤2.1：用户通过本地保留的文件标签，找到需要验证完整性的文件；

步骤2.2：用户将待验证数据的文件标签发送至第三方审计TPA。

作为优选，步骤4的具体实现包括以下子步骤：

步骤4.1：云存储服务器收到第三方审计TPA发送的挑战，根据文件标签找到待验证的文件；

步骤4.2：通过待验证的文件、文件的签名及审计任务随机数计算数据块的线性组合σ、聚集签名μ和数据块的哈希值H(m_i)_s1≤i≤sc，作为验证所需证据；

步骤4.3：云存储服务器将证据返还至第三方审计TPA。

作为优选，步骤5的具体实现包括以下子步骤：

步骤5.1：第三方审计TPA收到证据之后，首先利用本地MerkleHashTree提供的辅助验证信息AAI(包括MerklrHashTree中没有被挑战到的数据块的哈希值和中间节点的哈希值)、加密的根和数据块的哈希值H(m_i)_s1≤i≤sc计算出一个新MerkleHashTree的根；

步骤5.2：第三方审计TPA将新的MerkleHashTree的根与步骤1中加密的根进行比较，验证MerkleHashTree的完整性是否遭到破坏；

若验证失败，返还FASLE，本流程结束；

否则，执行下述步骤5.3；

步骤5.3：第三方审计TPA利用公钥以及数据块的线性组合σ和聚集签名μ验证数据的完整性是否遭到破坏；

如果验证通过，返还TRUE，本流程结束；

否则，返还FASLE，本流程结束。

作为优选，步骤6的具体实现包括以下子步骤：

步骤6.1：第三方审计TPA每隔一段预设时间收集一次云存储服务器发送的证据；

步骤6.2：利用BLS签名的同态认证特性，第三方审计TPA将这段时间内收集到的证据所对应的文件签名聚集成一个签名；

步骤6.3：第三方审计TPA利用公私钥及证据验证聚集签名；

如果聚集签名验证通过，说明这段时间内所有需验证的文件完整性都得到保护，返回给每一个用户TRUE，本流程结束；

如果聚集签名验证不通过，利用Hadoop分布式系统的MapReduce计算框架，并行地验证每一个文件的完整性，并将不同的结果返回给每一个用户。

本发明可以获得以下的有益效果：通过引入分布式系统Hadoop的MapReduce计算框架，能在批量审计失败情况下，大大提高批量审计的效率，并且解决了集中式审计系统适应性差的问题，体现了分布式审计系统良好的可用性。

附图说明

图1：为本发明实施例的流程图；

图2：为本发明实施例的初始化阶段的细化流程图；

图3：为本发明实施例的请求及挑战阶段的细化流程图；

图4：为本发明实施例的产生证据阶段的细化流程图；

图5：为本发明实施例的完整性验证阶段的细化流程图；

图6：为本发明实施例的批量审计阶段的细化流程图；

图7：为本发明实施例的批量审计Map阶段的细化流程图；

图8：为本发明实施例的批量审计Reduce阶段的细化流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

以下首先就本发明的技术术语进行解释和说明：

用户：指云服务的使用者，需要将本地文件存储在云中，并对外包文件享有验证完整性的权利；本系统涉及多用户同时验证数据完整性；

云存储服务器：主要负责存储用户的数据和签名，是半可信(honestbutcurious)的，此外必须针对数据完整性验证的挑战提供相对应的证据，以证明完好地保存用户的数据；

可信第三方审计：第三方审计TPA(Thirdpartyauditor)对于用户而言是可信的，主要负责根据用户提供的梅肯哈希树(MerkleHashTree)、加密后的根和云存储服务器发送过来的证据进行数据完整性的验证工作，但是规定TPA在审计过程中不能直接或间接获取用户的数据；

数据：用户需要上传至云服务器端存储的数据，需要在初始化阶段被分为n块，F＝(m₁,m₂,…,m_n)；

私钥：用户随机从p阶乘法循环群Z_p中选择一个数作为签名私钥；

公钥：可以由云存储服务器，第三方审计TPA和用户共同拥有并使用，主要用于签名，产生证据和数据完整性的验证；

BLS签名：作为数据的一个表示，但是比数据本身小的多，而且对签名的验证也相当于对数据本身的验证；并且由于其具有同态性，可以将多个BLS签名聚集起来进行统一验证，大大提高审计效率；

双线性映射e：G×G₂←G_t，G是一个GapDiffie-Hellman(GDH)集合，G_t是一个素数p阶的乘法循环群，性质：1.有一个很有效的算法来计算e。2.对于h₁，h₂∈G并且a，b∈Zp，e(h₁ ^a,h₂ ^b)＝e(h₁,h₂)^ab。3.e(g,g)≠1,g是G的生成元。

梅肯哈希树(MerkleHashTree)：目的是为了有效地和安全地证明一组元素没有破坏和修改，其中叶子结点是真实数据的哈希值。

请见图1，为本发明一个实施例的基于MapReduce的云存储批量审计方法的整体流程图。本发明基于MapReduce的云存储批量审计方法是应用在云存储环境中，包括数据多个用户、云存储服务器、可信第三方审计TPA。

在本实施例中，用户想要将本地大小为1G的文件进行初始化处理之后，上传到云端存储，而且在需要的时候请求TPA来对云存储服务器进行挑战，TPA通过对云存储服务器相应的证据进行完整性的验证，返回给用户一个结果。

本发明基于MapReduce的云存储批量审计方法包括以下步骤：

步骤1、步骤1、初始化：每个用户首先初始化自己的公私钥，将需要外包到云存储服务器的数据进行分块，利用私钥对每个分块进行BLS签名，用户将文件标签、文件的分块和分块的签名发送到云存储服务器存储；用户根据一个文件初始化一个MerkleHashTree，并用私钥加密该MerkleHashTree的根，用户将该MerkleHashTree和加密后的根发送至可信第三方审计TPA(ThirdPartyAuditor)端进行存储；其流程图可参见图2；

在本实例中，用户将1G的数据分为20块，并对这20个数据块进行签名，将20个数据和20个签名发到云存储服务器；对于1G的文件，用户初始化一个MerkleHashTree，树有20个叶子节点，每个节点按顺序对应20个数据块，利用私钥加密树的根节点，将MerkleHashTree和加密后的根发到可信第三方审计TPA端存储。

步骤2、请求验证完整性：不同用户能同时向第三方审计TPA请求验证外包数据的完整性，不同用户将待验证文件的文件标签发送至第三方审计TPA；其流程图可参见图3，具体实现包括以下子步骤：

步骤2.1：用户通过本地保留的文件标签，找到需要验证完整性的文件；

步骤2.2：用户将待验证数据的文件标签发送至第三方审计TPA。

步骤3、挑战：第三方审计TPA端每接到一个用户的请求，就向云存储服务器发送一个挑战，要求返回验证所需的参数，挑战内容包括文件标签和第三方审计TPA为每个审计任务产生的随机值；第三方审计TPA将文件标签及审计任务所需随机值发送至云存储服务器进行挑战；

在本实施例中，第三方审计TPA收到用户的请求，随机产生10个随机数，挑战云存储服务器所存的该文件的随机的10个数据块；

步骤4、提供证据：云服务器收到一个挑战，就对应产生一个证据，证据内容包括文件标签和审计任务所需的验证参数，其中验证参数包括数据块的线性组合σ、聚集签名μ和数据块的哈希值H(m_i)_s1≤i≤sc，其中i是文件块的序号，i∈[1,n](文件被分为n块)，而是TPA的随机挑战序号，云存储服务器需要返回被挑战数据块的哈希值；其流程图可参见图4，具体实现包括以下子步骤：

步骤4.1：云存储服务器收到第三方审计TPA发送的挑战，根据文件标签找到待验证的文件；

步骤4.2：通过待验证的文件、文件的签名及审计任务随机数计算数据块的线性组合σ、聚集签名μ和数据块的哈希值H(m_i)_s1≤i≤sc，作为验证所需证据；

步骤4.3：云存储服务器将证据返还至第三方审计TPA。

在本实例中，云存储服务器针对说TPA的挑战回应其所需证据。

步骤5、数据完整性验证：第三方审计TPA收到证据之后，首先验证MerkleHashTree的完整性是否遭到破坏；然后验证数据本身的完整性是否遭到破坏；其流程图可参见图5，具体实现包括以下子步骤：

步骤5.1：第三方审计TPA收到证据之后，首先利用本地MerkleHashTree提供的辅助验证信息AAI(包括MerklrHashTree中没有被挑战到的数据块的哈希值和中间节点的哈希值)、加密的根和数据块的哈希值H(m_i)_s1≤i≤sc计算出一个新MerkleHashTree的根；

步骤5.2：第三方审计TPA将新的MerkleHashTree的根与步骤1中加密的根进行比较，验证MerkleHashTree的完整性是否遭到破坏；

若验证失败，返还FASLE，本流程结束；

否则，执行下述步骤5.3；

步骤5.3：第三方审计TPA利用公钥以及数据块的线性组合σ和聚集签名μ验证数据的完整性是否遭到破坏；

如果验证通过，返还TRUE，本流程结束；

否则，返还FASLE，本流程结束。

在本实施例中，TPA收到云存储服务器所产生的随机10个数据块对应的证据，首先利用根据证据计算一个新根R₁，利用双线性对特性将其与本地存储的加密根进行验证，验证不通过就返回用户FALSE；否则，验证这10个随机数据块的完整性，如果验证通过，返回用户TRUE；否则，返回用户FASLE；

步骤6、批量审计：第三方审计TPA每隔一段预设时间收集一次云存储服务器发送的证据，对数据进行一次统一验证；其流程图可参见图6，具体实现包括以下子步骤：

步骤6.1：第三方审计TPA每隔一段预设时间收集一次云存储服务器发送的证据；

步骤6.2：利用BLS签名的同态认证特性，第三方审计TPA将这段时间内收集到的证据所对应的文件签名聚集成一个签名；

步骤6.3：第三方审计TPA利用公私钥及证据验证聚集签名；

如果聚集签名验证通过，说明这段时间内所有需验证的文件完整性都得到保护，返回给每一个用户TRUE，本流程结束；

如果聚集签名验证不通过，利用Hadoop分布式系统的MapReduce计算框架，并行地验证每一个文件的完整性，并将不同的结果返回给每一个用户。

在本实例中，利用MapReduce框架实验并行地数据完整性验证，查找出聚集签名中错误的文件；如图7所示，整个验证的输入是：每个用户的公钥信息PKFile，每个文件的验证参数信息paramFile，Map函数通过Hadoop分布式系统的文件管理系统HDFS里存储的文件作为输出，并将输入进行分割，输出一系列的键值对<key,value>；本实例中的Map函数输出为<文件标签，验证参数信息i>，其中参数信息有多个，来自不同的文件；这些键值对经过MapReduce框架的Combine方法，将相同key的键值对归并到一起，作Reduce函数的输入；如图8所示，Reduce函数的输入是：<key,values>，也就是对应Map函数中的<文件标签，验证参数1+验证参数2+…+验证参数n>，然后Reduce函数计算这些参数来完整数据完整性的验证，完整一次验证就输出一个文件的结果，输出键值对为<文件标签，TRUE/FALSE>，这样就实现了并行化处理审计任务，并将不同的结果返回给用户。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种基于MapReduce的云存储批量审计方法，其特征在于，包括以下步骤：

步骤1、初始化：每个用户首先初始化自己的公私钥，将需要外包到云存储服务器的数据进行分块，利用私钥对每个分块进行BLS签名，用户将文件标签、文件的分块和分块的签名发送到云存储服务器存储；用户根据一个文件初始化一个MerkleHashTree，并用私钥加密该MerkleHashTree的根，用户将该MerkleHashTree和加密后的根发送至可信第三方审计TPA(ThirdPartyAuditor)端进行存储；

步骤2、请求验证完整性：不同用户能同时向第三方审计TPA请求验证外包数据的完整性，不同用户将待验证文件的文件标签发送至第三方审计TPA；

步骤3、挑战：第三方审计TPA端每接到一个用户的请求，就向云存储服务器发送一个挑战，要求返回验证所需的参数，挑战内容包括文件标签和第三方审计TPA为每个审计任务产生的随机值；第三方审计TPA将文件标签及审计任务所需随机值发送至云存储服务器进行挑战；

步骤4、提供证据：云服务器收到一个挑战，就对应产生一个证据，证据内容包括文件标签和审计任务所需的验证参数，其中验证参数包括数据块的线性组合σ、聚集签名μ和数据块的哈希值H(m_i)_s1≤i≤sc，其中i是文件块的序号，若文件被分为n块，则i∈[1,n]，而是第三方审计TPA的随机挑战序号，云存储服务器需要返回被挑战数据块的哈希值；

步骤5、数据完整性验证：第三方审计TPA收到证据之后，首先验证MerkleHashTree的完整性是否遭到破坏；然后验证数据本身的完整性是否遭到破坏；

步骤6、批量审计：第三方审计TPA每隔一段预设时间收集一次云存储服务器发送的证据，对数据进行一次统一验证。

2.根据权利要求1所述的基于MapReduce的云存储批量审计方法，其特征在于，步骤2的具体实现包括以下子步骤：

步骤2.1：用户通过本地保留的文件标签，找到需要验证完整性的文件；

步骤2.2：用户将待验证数据的文件标签发送至第三方审计TPA。

3.根据权利要求1所述的基于MapReduce的云存储批量审计方法，其特征在于，步骤4的具体实现包括以下子步骤：

步骤4.1：云存储服务器收到第三方审计TPA发送的挑战，根据文件标签找到待验证的文件；

步骤4.2：通过待验证的文件、文件的签名及审计任务随机数计算数据块的线性组合σ、聚集签名μ和数据块的哈希值H(m_i)_s1≤i≤sc，作为验证所需证据；

步骤4.3：云存储服务器将证据返还至第三方审计TPA。

4.根据权利要求1所述的基于MapReduce的云存储批量审计方法，其特征在于，步骤5的具体实现包括以下子步骤：

步骤5.1：第三方审计TPA收到证据之后，首先利用本地MerkleHashTree提供的辅助验证信息AAI、加密的根和数据块的哈希值H(m_i)_s1≤i≤sc计算出一个新MerkleHashTree的根；所述的辅助验证信息AAI包括MerklrHashTree中没有被挑战到的数据块的哈希值和中间节点的哈希值；

步骤5.2：第三方审计TPA将新的MerkleHashTree的根与步骤1中加密的根进行比较，验证MerkleHashTree的完整性是否遭到破坏；

若验证失败，返还FASLE，本流程结束；

否则，执行下述步骤5.3；

步骤5.3：第三方审计TPA利用公钥以及数据块的线性组合σ和聚集签名μ验证数据的完整性是否遭到破坏；

如果验证通过，返还TRUE，本流程结束；

否则，返还FASLE，本流程结束。

5.根据权利要求1所述的基于MapReduce的云存储批量审计方法，其特征在于，步骤6的具体实现包括以下子步骤：

步骤6.1：第三方审计TPA每隔一段预设时间收集一次云存储服务器发送的证据；

步骤6.2：利用BLS签名的同态认证特性，第三方审计TPA将这段时间内收集到的证据所对应的文件签名聚集成一个签名；

步骤6.3：第三方审计TPA利用公私钥及证据验证聚集签名；

如果聚集签名验证通过，说明这段时间内所有需验证的文件完整性都得到保护，返回给每一个用户TRUE，本流程结束；

如果聚集签名验证不通过，利用Hadoop分布式系统的MapReduce计算框架，并行地验证每一个文件的完整性，并将不同的结果返回给每一个用户。