CN101976322B - 基于一种完整性校验的安全元数据管理方法 - Google Patents

Abstract

基于一种完整性校验的元数据元数据管理方法属于存储安全领域，其特征在于：在客户端，采用了文件数据的自加密技术，对文件数据进行加密，提高了存储的效率；在安全元数据管理服务器端，采用64叉堆哈希树来维护文件块的哈希值，提供了文件数据块哈希值的完整性保护，并实现了用户对文件的访问验证和数据更新的高效性，同时采用了根哈希虚拟链表技术，保证了同属于一个文件的多棵64叉堆哈希树的根哈希的完整性，在一定程度上支持用户对该文件的并发访问。

Description

基于一种完整性校验的安全元数据管理方法

技术领域

基于一种完整性校验的安全元数据管理方法属于存储安全领域，尤其涉及其中的完整性校验和安全元数据管理领域。 

背景技术

随着网络技术的发展，当今社会对数据存储和共享的需求在逐渐加大，分布式和网络化的技术也得到越来越广泛的应用。但是随着数据在物理级别上脱离了用户，导致了数据可能在网络存储中遭受泄露以及篡改的机会增加，因此如何让用户放心地将数据共享，同时也能保证数据的机密性和完整性显得愈加重要。 

数据的机密性值的是数据对于没有访问权限的用户(也可以称为非法用户)将是未知的，没有访问权限的用户无法从数据中获取关于其想得到的信息。一般保护数据的机密性的方法主要是利用广泛应用的加密算法对数据进行加密，具有访问权限的用户拥有密钥，并能对数据进行访问。 

数据的完整性校验指的是，数据在传输和存储过程中，确保信息不被非法篡改或者是数据的非法篡改能被合法用户迅速发现，为用户提供的一种完整性保护的方法。现今的数据完整性校验的方法是在存储或者是传输数据前，利用哈希算法对数据计算哈希值，并进行保存，当用户需要对数据进行访问，利用相同的哈希算法重新计算该数据的哈希值，并与之前保存的哈希值进行对比，若相等，则说明数据是完整的，若不相等，则说明数据被非法篡改或者在存储的过程中丢失了部分数据。但是由于数据的哈希值也有可能成为攻击的目标，因此本发明采取了更完善的完整性校验，不仅包括了数据的完整性校验，同时也包括了数据哈希值的完整性校验。 

基于一种完整性校验的安全元数据管理方法是指：在网络共享系统中，为保证安全元数据的机密性和完整性，以及用户能够对文件进行高效访问所提出的管理方法。传统的安全元数据管理方法主要有以下三种：第一种是管理文件 级的哈希值，即使用哈希算法对整个文件计算哈希值并进行保存，当用户访问该文件时，则对该文件重新计算哈希值，并与之前保存的哈希值进行对比，以此判断文件的完整性，这种方法的缺点是：由于哈希值是文件级的，当用户对该文件某个部分进行修改或者读取该文件的某个部分时，为了保证用户读取到的数据是完整的，因此需要进行完整性校验，用户则需要重新计算整个文件的哈希值，并与之前保存的哈希值进行比较，判断该文件是否完整，这样做计算开销太大；第二种是管理文件块级的哈希值，具体的操作过程为：将一个文件划分为许多大小固定的文件块，并使用哈希算法计算每个文件块的哈希值来保证文件块的完整性，同时为了保证每个文件块哈希值的完整性，需要将每个文件块的哈希值进行拼接合并，并对拼接合并后的结果再求哈希值进行保存，这种方法的缺点是：当用户需要对某个文件块进行改动或者读取某个文件块时，为了保证用户读取到的该文件块是完整的，用户需要重新计算所有文件块的哈希值，然后将计算而得的哈希值进行拼接合并后再计算哈希，判断求出的哈希值是否与之前保存的一致，这样做开销较大，并且哈希值没有得到有效管理；第三种做法是使用文件块级的哈希值和简单的Merkle哈希树，具体的做法是：首先计算每个文件块的哈希值，然后构建Merkle哈希树；具体的构建方法如下，首先保证Merkle哈希树的叶子节点同文件块数目相等，并形成叶子节点到文件块的一一映射，在每个叶子节点存放相应文件块的哈希值，然后根据该树的叉数，从叶子节点开始逐层向上分别计算内部节点(即：除根节点之外的非叶子节点)的所有儿子节点内容拼接后的哈希值，并存放在该节点中，最后直至根节点，对存放在根节点中的哈希值进行签名，这样最终保证了每个文件块哈希值的完整性，这种做法虽然可以有效管理文件块的哈希值，但是可能造成Merkle哈希树高度过大，使得每次完整性校验都需要对叶子节点进行访问，这样将不仅需要很多次的I/O，而且开销较大，除此之外，Merkle哈希树的完整性也没有得到很好的保护。 

本发明提出了基于一种完整性校验的安全元数据管理方法，该方法通过文件块自加密技术计算，通过哈希值生成密钥对文件块进行加密，从而提高了存储的效率；采用了4层的64叉堆哈希树结构，保证了哈希值的完整性，提高了文件块哈希值的更新和验证效率，并且降低了用户访问哈希树所需要的I/O 量；最后通过构建根哈希虚拟链表，保证了根哈希的完整性，同时在一定程度上支持了用户的并发访问。 

发明内容

本发明的目的在于提供一种对安全元数据进行有效便捷管理的方法，能够保证安全元数据的完整性，同时用户能够对安全元数据信息进行方便和高效的访问和更新，并且支持多用户对一个文件进行并发访问。本发明的重点是文件块级别的自加密技术，64叉堆哈希树的设计及根哈希虚拟链表的设计。 

本发明的特征在于：是在客户端和一个安全元数据管理服务器组成的系统中，依次按以下步骤实现的： 

步骤(1)：客户端用自加密方法生成文件块级的安全元数据信息，步骤为： 

步骤(1.1)：按需要地把文件F分为固定大小为S的文件块集合F＝(f₁，f₂，...，f_n，...，f_N)，N表示文件块数，当文件F不是固定大小S的整数倍，则将最后一个文件块填充到大小为S的值， 

步骤(1.2)：用安全散列算法SHA1对所述文件块f_i计算其哈希值hash_i，hash_i＝SHA1(f_i)，其中i＝1，2，...，n，...，N，得到文件块的哈希值集合(hash₁，hash₂，...，hash_N)， 

步骤(1.3)：利用步骤(1.2)得到的哈希值hash_i生成加密密钥，用key_i表示，key_i＝hash_i||offset_i，其中：offset_i表示文件块f_i在所述文件中的偏移量，占用12B的存储空间，文件块f_i的哈希值hash_i占用20B的存储空间，″||″为拼接合并符号，则加密密钥key_i占用的存储空间为32B， 

步骤(1.4)：对所述文件块f_i按下式加密：c_i＝E(f_i，key_i)，其中E表示AES加密算法，文件块f_i和密钥key_i是输入参数，c_i表示对文件块f_i进行加密所得到的密文； 

步骤(2)：在所述安全元数据管理服务器构造所述文件F内所有文件块哈希值集合(hash₁，hash₂，...，hash_N)的64叉堆哈希树，步骤如下： 

步骤(2.1)：定义64叉堆哈希树的数据结构：内部节点和根节点的儿子数目都是64，每个节点所存放的内容是：bHash||cHash，所述的每个节点是指根节点或者内部节点或者叶子节点，其中，bHash是该节点所对应文件块的哈希值，节点i的序号对应于文件块i的序号，以保证该节点i所对应文件块f_i的 数据完整性，其中i＝(1，2，...，n，...，N)，cHash是该节点i的所有儿子节点的内容，包括每个儿子节点中存储的bHash和cHash在拼接后计算得到的哈希值，以保证该节点i的所有儿子节点内容的完整性，即保证每个儿子节点中的bHash和cHash的完整性，″||″为拼接合并符号， 

步骤(2.2)：构造所述64叉堆哈希树，初始化各节点i的内容， 

步骤(2.2.1)：64叉堆哈希树节点集合如下： 

其中 

为根节点，表示根节点只有一个， 

是 

的第1个儿子， 

是 

的第64个儿子， 

表示为 

的第1个儿子，以此类推， 

表示所述64叉堆哈希树中第j层的第i个节点，则对于该64叉堆哈希树，第0层的节点为根节点，数目为1，第1层的节点为根节点的儿子，其数目为64，第2层节点为第1层相关节点的儿子，其数目为64²，第3层的节点为第2层相关节点的儿子，其数目为64³，以此类推，则对于所述非叶子节点 

其所有儿子节点集合为 

步骤(2.2.2)：初始化各节点的哈希值bHash：将步骤(1.2)得到的文件块哈希值集合(hash₁，hash₂，...，hash_N)和64叉堆哈希树的节点集合 

形成一一对应，具体方法如下：对于根节占 

所对应的文件块f₁的哈希值为hash₁，记为 

所对应的文件块f₂的哈希值为hash₂，记为 

对于第j层的第i个节点 

所对应文件块f_n的哈希值为hash_n，其中n需要满足的条件为 

记为 

步骤(2.2.3)：初始化各节点的哈希值cHash：从叶子节点开始逐层向上直至根节点，对于叶子节点而言，利用线性同余法生成随机数，将该随机数赋值于 

对于非叶子节点 

而言，对其所有的儿子节点内容的哈希值，包括bHash和cHash，进行拼接后计算哈希值，表示为 

并将结果赋值于cHash，用 

表示，， 

步骤(2.3)：按照以下步骤随机访问数据块， 

步骤(2.3.1)：判断所述随机访问是否越界， 

步骤(2.3.1.1)：文件F的大小为filesize，当用户访问偏移量为offset，大小为size的数据块，若offset+size＞filesize，则访问越界，用户只能访问偏移量为offset，大小为(filesize-offset)的数据块，如果offset+size≤filesize，则用户正常访问目标数据块， 

步骤(2.3.1.2)：找出包含步骤(2.3.1.1)中的目标数据块f在步骤(1.1)中生成的文件块集合中的文件块子集合：(f_start，f_start+1，...，f_emd)，其中，f_start为起始文件块，f_end为终止文件块，通过计算可以得到， 

步骤(2.3.2)：进行文件块子集合的哈希值的完整性校验，步骤如下： 

步骤(2.3.2.1)：找出步骤(2.3.1.2)中包含所述的目标数据块f的文件块子集合(f_start，f_start+1，...，f_emd)所对应的64叉堆哈希树的各节点， 

步骤(2.3.2.2)：找出步骤(2.3.2.1)中所述64叉堆哈希树各节点各自父亲节点直至根节点的路径，对该路径经过的每个节点，无论内部节点和根节点，用SHA1算法计算所述路径内的每个节点的所有儿子节点的内容拼接后而成的哈希值，看与该节点中保存的cHash是否相等，若相等，说明文件块子集合的哈希值是完整的，若不相等，则说明文件块子集合的哈希值被非法篡改， 

步骤(2.3.2.3)：对文件块进行完整性校验，步骤如下：用户重新计算文件块子集合的哈希值，用SHA1算法逐个计算该文件块子集合中的每个文件块的哈希值，再找出于该文件块子集合所对应的那些所述64叉堆哈希树的节点，判断重新计算得出的哈希值是否与这些节点中的bHash相等，如果相等，说明文件块子集合的内容是完整的，没有经过非法篡改，如果不相等，则说明文件块子集合的内容不完整； 

步骤(3)：按以下步骤更新文件数据块： 

步骤(3.1)：进行完整性校验，包括相关文件块的哈希值的完整性校验以及该文件块内容的完整性校验：判断(offset+size)和文件大小filesize的关系，如果offset+size＞filesize，则f_end不存在，因此只需要验证文件块f_start的完整性以及f_start的哈希值的完整性，后者的验证方法如步骤(2.3.2.2)所述，如果offset+size ≤filesize，则需要验证起始文件块f_start和终止文件块f_end的完整性，以及这两个文件块的哈希值的完整性，后者的验证方法如步骤(2.3.2.2)所述， 

步骤(3.2)：重新计算被更新数据块的哈希值：当数据块更新完毕，需要利用哈希算法SHA1算法对更新的部分进行重新计算哈希值，并使用重新计算得到的哈希值生成加密密钥，并使用所述AES加密算法对更新后的文件块进行加密处理， 

步骤(3.3)：把步骤(3.2)重新计算得到的哈希值赋值于bHash，并逐层向上找到它们的父亲节点直至根节点的路径，找到该路径上的相关节点，重新计算该节点的所有儿子节点的内容所拼接合并后的哈希值，赋值于该节点的cHash； 

步骤(4)：一个文件的所有文件块的哈希值由多棵64叉堆哈希树来维护的情况下，当发生并发访问时，要按照以下步骤构造一个根哈希虚拟链表，以此来支持并发访问，步骤如下： 

步骤(4.1)：构造根哈希虚拟链表： 

步骤(4.1.1)：将同属于一个文件的多棵64叉堆哈希树的根节点邻接，构成根节点之间的索引，每个根节点除包含了哈希树的根哈希值， 

步骤(4.1.2)：根哈希虚拟链表为(rh₁，rh₂，...，rh_n)，其中rh_i表示第i棵64叉堆哈希树的根节点所存储的根哈希值， 

步骤(4.1.3)：当存在对根哈希虚拟链表进行并发访问的时，首先检查rh_i值是否处于顺序邻接的位置，对于尾节点rh_n，查看其索引是否指向自己， 

步骤(4.1.4)：当多个进程不同时修改属于同一棵64叉堆哈希树的文件块，就允许这些操作并发执行。 

本发明的效果如下： 

i.采用了文件块自加密技术，避免了一般情况下需要存储加密密钥和哈希值的情况，通过使用文件块的哈希值生成密钥，实现了系统只需要存储文件块的哈希值就可以保证文件块的机密性和完整性的要求，提高了存储的效率； 

ii.使用了64叉堆数据结构管理文件块的哈希值，在每个节点中存储文件块哈希值以及该节点的所有儿子节点文件块哈希值拼接后所计算的哈希值，这样的设计缩短了文件块被修改时，64叉堆哈希树需要更新和验证的路径，同时由于文件块的加密密钥是由相应的文件块 的哈希值生成，因此这些密钥的完整性也在64叉堆哈希树中得到了保护； 

iii.实现了根哈希的虚拟链表技术。由于一个文件的完整性信息可能由多棵64叉堆进行维护，使用根哈希的虚拟链表技术保证了根哈希的完整性，同时在支持了用户并发访问的需求。 

附图说明

图1.文件分割成文件块示意图。 

图2.文件块自加密过程示意图。 

图3.64叉堆哈希树数据结构图：其中bHash为该节点所对应文件块的哈希值，cHash为该节点的所有儿子节点内容拼接合并后计算的哈希值。 

图4.当随机访问文件块时，64叉堆的完整性校验：其中bHash为该节点所对应文件块的哈希值，cHash为该节点的所有儿子节点内容拼接合并后计算的哈希值。 

图5.根哈希虚拟链表数据结构图。 

图6.并发访问的流程示意图。 

图7.具体方法流程图。 

具体实施方式

本发明的核心是在安全元数据管理服务器上实现了对文件安全元数据的管理，其实现主要是由以下几个部分，管理操作主要由每个部分的相应模块构成： 

●客户端：申请对文件的访问，并在文件加密的过程中主要负责计算文件块的哈希值，以及对文件块进行加密操作； 

A.文件分块模块：负责对文件进行分块操作，具体操作如图1所示。 

针对一个文件，将其划分为多个固定大小的文件块； 

B.自加密模块：负责对文件块进行自加密操作，具体操作如图2所示。 

在模块中所使用的加密算法为对称块加密算法AES，其中AES算法是美国国家技术标准委员会在2000年所确定的高级加密标准，由于AES算法是块加密算法，如果需要加密的块超过AES算法加密的基本单元，则需要使用分组加密模式。AES算法包含了多种不同的分 组加密模式，这些分组加密模式可以让使用者根据其对性能和安全性的综合考虑而选择使用。在模块中，首先采用SHA1算法对每个文件块计算哈希值，并将文件块的哈希值和其所在的偏移值进行拼接合并，构成密钥；然后利用该密钥，使用AES算法以及用户所选择的分组模式，对文件块进行加密，加密后，将每个文件块的哈希值发给安全元数据管理服务器； 

C.完整性校验模块：验证所请求访问的数据块的完整性；当客户端向安全元数据管理服务器申请访问某个文件中偏移为offset、大小为size的数据块，安全元数据管理服务器通过步骤2.3.2验证包含该数据块的最小文件块子集合的哈希值的完整后，将会返回给用户端包含该数据块的最小文件块子集合中的每个文件块的哈希值，客户端运行此模块重新计算这些文件块的哈希值，判断是否与得到的哈希值相同，若相同，则说明所请求访问的数据块是完整的，否则，则说明所请求访问的数据块的完整性受到破坏； 

●网络：以密文形式传输用户的请求和安全元数据信息； 

●安全元数据管理服务器：接受文件的安全元数据信息，构建并维护64叉堆哈希树；当用户申请对数据块进行访问，安全服务器确定了包含该数据块的最小文件块子集合，然后对该子集合中的文件块的哈希值进行完整性校验； 

A.元数据初始模块：从客户端接收文件块集合的哈希值，并初始化64叉堆哈希树结构，64叉堆哈希树的数据结构如图3所示； 

1.定义64叉堆哈希树节点的数据结构： 

64叉堆哈希树中，每个节点的内容包括：bHash和cHash；其中，bHash指的是该节点所对应的文件块的哈希值，该哈希值是使用SHA1算法对文件块进行计算而得，占用的存储空间为20B； 

cHash指的是该节点的所有儿子节点的内容拼接合并后所计算而得的哈希值，占用的存储空间为20B； 

2.从客户端接收文件块的哈希值，并根据步骤2.2，依据节点的 数据结构初始化64叉堆哈希树； 

B.哈希值完整性校验模块：针对用户申请访问的数据块，对它所相关的文件块的哈希值进行完整性校验，如图4所示，该模块的主要功能有以下两个： 

1.哈希值的完整性校验：得到用户的访问申请后，通过用户申请访问的数据块计算得出包含该数据块的最小文件块子集合，得出最小文件块子集合中每个文件块所对应的64叉堆节点，并求出从这些节点的父亲节点到根节点的路径，以及该路径经过的相关节点；对于这些相关节点，通过计算每个节点的所有儿子内容拼接而得的哈希值，判断是否与存储在该节点的cHash相同，若相同，则说明该文件块子集合的哈希值是完整的，否则向安全元数据管理服务器报错； 

C.安全元数据更新模块：对64叉堆哈希树进行更新；当用户对数据块进行更新后，对于包含该数据块的最小文件块子集合中的文件块，其哈希值由于数据块内容的更新而得到改变；该模块的具体做法是：对于被用户更新的数据块，得出包含该数据块的最小文件块子集合，得出最小文件块子集合中每个文件块所对应的64叉堆哈希树节点，并求出从这些节点的父亲节点到根节点的路径，以及该路径经过的相关节点；对于这些相关节点，将该节点所对应文件块的哈希值赋值于bHash，并逐一计算每个节点的所有儿子内容拼接合并后的哈希值，并赋值于该节点的cHash； 

D.根哈希完整性校验模块：验证根哈希值的完整性，其中根哈希虚拟链表的数据结构如图5所示。验证根哈希的完整性需要检查相应的根哈希的索引，具体步骤如下： 

1.该根节点是根哈希链表的最后一个节点时，检查该节点的索引是否指向自己； 

2.当该根节点是根哈希链表的中间节点rh_i时，检查该节点的前一个根节点rh_i-1的索引是否指向rh_i； 

E.并发访问模块：支持多用户对同属于一个文件的不同64叉堆哈希 树所维护的文件块进行访问，如图6所示。当用户user_i申请访问偏移量为offset，大小为size的数据块，该模块的处理过程主要如下： 

1.根据用户申请访问的数据块的偏移量和大小，计算得到维护该数据块的64叉堆哈希树的根节点； 

2.查看以这些根节点为根的64叉堆哈希树是否正在被其他用户使用，如果正在使用，则用户的访问请求进入等待队列；如果未在使用，则调用根哈希完整性校验模块对根节点的哈希值的进行完整性校验，然后再调用节点完整性校验模块； 

3.访问完毕，将这些64叉堆哈希树交由等待队列中的下一个用户，并处理其访问请求； 

F.错误处理模块：定义了一些错误的信息编号，表1列举了一些常见的错误： 

表1常见错误的错误代码以及解释 

错误代码              错误解释 

ERR_MALLOC            开辟空间错误 

ERR_HASH_NOT_MATCH    完整性校验错误 

错误处理模块收集上述模块所反馈的错误信息，并传达给客户端和服务器以作进一步的处理。 

其具体方法的流程图如图7所示，操作步骤如下： 

步骤1：自加密技术生成文件块级安全元数据信息，具体的步骤有： 

步骤1.1：根据需求将文件分为固定粒度的文件块。将文件F分为固定大小为S的文件块集合，倘若文件F不是S的整数倍，则将分割后剩下的最后一个文件块进行填充使其大小为S，最后可得到文件块集合(f₁，f₂，...f_n)； 

步骤1.2：使用SHA1算法对文件块集合中的每个文件块计算其哈希值，其中SHA1算法是由美国国家安全局设计，并由美国国家标准与技术研究院发布的一种安全散列算法，是一种被广泛应用的哈希算法，它的用处是将冗长的文件压缩成为一段独特的数字信息(一般称为哈希值)，保证原来文件的合法性和安全性。使用SHA1算法，对以上文件块集合 中每个固定大小为S的文件块计算哈希值。令hash_i表示文件块f_i经过SHA1算法计算而得的哈希值，则可以表示为hash_i＝SHA1(f_i)，最后可以得到哈希值集合(hash₁，hash₂，...，hash_n)，其中每个哈希值占用的存储空间为20B； 

步骤1.3：利用哈希值生成加密密钥；令offset_i表示文件块f_i在文件中的偏移量，其中offset_i占用的存储空间为12B，令key_i表示对文件块f_i进行加密的密钥；通过offset_i和hash_i生成key_i的方法如下：key_i＝hash_i||offset_i，其中″||″为拼接合并符号，表示key_i是由hash_i和offset_i的内容拼接合并而成，则key_i所占用的存储空间大小＝20B(hash_i所占用的存储空间)+12B(offset_i所占用的存储空间)＝32B； 

步骤1.4：利用生成的密钥，并使用AES加密算法对文件块加密，其中AES算法是美国国家技术标准委员会在2000年所确定的高级加密标准，是一种广泛应用的保护数据安全的加密算法。令c_i表示前面得到的key_i对文件块f_i进行加密所得到的密文，则有c_i＝E(f_i，key_i)，其中文件块f_i和密钥key_i为输入参数，c_i为输出结果，所使用的加密算法E为AES加密算法，； 

步骤2：对于给定的一个文件，维护该文件所有文件块哈希值的64叉堆哈希树的构建，以及当用户对该文件进行访问和更新的处理时，64叉堆哈希树的一些处理操作，具体的步骤如下： 

步骤2.1：定义64叉堆哈希树的主要数据结构。一棵64叉堆树的主要由叶子节点，内部节点和根节点构成，其中内部节点和根节点的儿子数目都是64。在步骤1.1中划分而成的文件块都和该文件的64叉堆哈希树的节点形成一一对应，在64叉堆哈希树中，每个节点存放两部分内容：第一部分是该节点所对应文件块的哈希值，记为bHash，bHash的作用是为了保证该节点所对应文件块的完整性；第二部分则存储了该节点的所有儿子节点存放内容拼接后所计算的哈希值，记为cHash，cHash的作用是为了保证该节点的所有儿子节点内容的完整性；可以得出，在64叉堆哈希树中，每个节点中存储的内容为bHash和cHash所拼接合并后的值，即bHash||cHash，构建64叉堆哈希树以及初始化其节点内容的步骤 如下； 

步骤2.2：64叉堆哈希树的构建和节点内容的初始化。 

√步骤2.2.1：节点的定义：定义 

为64叉堆哈希树的节点集合，其中 

表示的是哈希树中第j层的第i个节点，则可以得知 

是根节点， 

是 

的所有儿子节点，依次类推，则在64叉堆哈希树中，第0层的节点数为1，第1层的节点数为64，第2层的节点数为64×64＝4096，第3层的节点数为64×64×64＝262144。对于非叶子节点 

它的所有儿子节点集合为 

√步骤2.2.2：初始化节点的内容bHash；将步骤1.2得到的哈希值集合(hash₁，hash₂，...，hash_n)与上面步骤2.2.1中定义的64叉堆哈希树的节点集合 

中每个节点的bHash建立一一对应关系，例如将hash₁与根节点 

的bHash对应，记为 

然后将hash₂与节点 的bHash对应，记为 

通过这种方法类推，将hash_n和节点 的bHash对应，记为 

(当满足 

时)，通过这种方法初始化64叉堆哈希树中每个节点的bHash内容。对于 

称hash_n为节点 

所对应的文件块哈希值，由于hash_n是由文件块f_n经过哈希算法计算而得，称f_n为 

所对应的文件块，称 

为f_n所对应的64叉堆哈希树节点； 

√步骤2.2.3：初始化节点的内容cHash：对哈希树的节点 进行考虑，当其为叶子节点时，则使用随机数生成算法(例如线性同余法)生成随机数，并将生成的随机数赋值于 

当其为非叶子节点时，则可以计算得到它的儿子节点集合为 

将所有儿子节点内容进行拼接合并，再通过SHA1算法求其哈希值，然后将结果赋值于 

即 

${\mathrm{node}}_i^j\→\mathrm{cHash}=\mathrm{SHA}1\left(({\mathrm{node}}_{(i-1)\×64+1}^{j+1}\→\mathrm{bHash})\right||...|\left|({\mathrm{node}}_{i\×64}^{j+1}\→\mathrm{cHash})\right);$

步骤2.3：对文件数据块的随机访问。 

√步骤2.3.1：判断访问：在大小为filesize的文件F中，当用户访问偏移量为offset，大小为size的数据块f；如果offset+size＞filesize，则访问越界，用户只能访问偏移量为offset，大小为(filesize-offset)的数据块；如果offset+size≤filesize，则用户可以正常访问目标数据块。在步骤1.1中生成的文件块集合中，求出包含数据块f的最小的文件块子集合，即找出子集合(f_start，f_start+1，...，f_emd)，满足数据块f包含于(f_start，f_start+1，...，f_emd)，同时任何包含数据块f的文件块子集合都包含(f_start，f_start+1，…，f_emd)，通过计算可以得到， 

√步骤2.3.2：哈希值的完整性校验：找出包含数据块f的最小文件块子集合(f_start，f_start+1，...，f_emd)所对应的64叉堆哈希树节点，并找出它们所在父亲节点直至根节点的路径，对该路径经过的每个节点，包括内部节点和根节点，用哈希算法计算将它的儿子节点的内容所拼接合并而成后的哈希值，看与该节点中保存的cHash是否相等，如果相等，说明文件块子集合的哈希值是完整的，用户可以进行步骤2.3.3；如果不相等，则说明文件块子集合的哈希值被非法篡改； 

√步骤2.3.3：文件块的完整性校验：在验证了文件块子集合哈希值的完整性后，用户重新计算文件块子集合的哈希值，然后找出该文件块子集合所对应的64叉堆哈希树的节点，并与保存在该节点中的bHash进行对比，如果相等，说明文件块子集合的内容是完整的，没有经过非法篡改，如果不相等，则说明文件块子集合的内容不完整； 

步骤2.4：对文件数据块的更新；对数据块的更新主要包括：对数据块原来的内容进行修改，或者是在插入或者删除数据块的某段内容，具体的步骤如下： 

√步骤2.4.1：进行完整性校验：在大小为filesize的文件F中，当用户需要更新偏移量为offset，大小为size的数据块f。具体的操作过程如下：通过步骤2.3.1可得，包含数据块f的最小的文件块子集合 为(f_start，f_start+1，…，f_emd)，考虑到在更新的过程中，数据块中间部分的内容将会被更新，其完整性信息(即哈希值)也将被更新，因此只需要对包含数据块最小的文件块子集合的起始文件块和终止文件块进行完整性校验，即仅需要判断文件块f_start和f_end的完整性。判断(offset+size)和文件大小filesize的关系，如果offset+size＞filesize，则f_end不存在，因此只需要验证文件块f_start的完整性；如果offset+size≤filesize，则需要验证文件块f_start和文件块f_end的完整性以及其哈希值的完整性，具体的步骤同步骤2.3所述； 

√步骤2.4.2：重新计算数据块的哈希值：当数据块更新完毕，需要利用哈希算法对更新的部分进行重新计算哈希值，并使用重新计算得到的哈希值生成加密密钥，并使用AES加密算法对更新后的文件块进行加密处理； 

√步骤2.4.3：对64叉堆的相关节点进行更新：根据步骤2.2.2找到更新后的数据块所对应的64叉堆哈希树的相关节点，并对存放在这些节点中内容，即bHash和cHash进行更新，具体更新操作如下：将步骤2.4.2重新计算得到的哈希值赋值于bHash，并逐层向上找到它们的父亲节点直至根节点的路径，找到该路径上的相关节点，重新计算该节点的所有儿子节点的内容所拼接合并后的哈希值，赋值于该节点的cHash； 

步骤3：根哈希虚拟链表，以及对并发访问的支持。一个文件的所有文件块的哈希值可能由多棵64叉堆哈希树来维护，为了提供更高层次的完整性保护，因此需要保证每棵哈希树根节点的完整性，具体的步骤如下： 

步骤3.1：根哈希虚拟链表的构建。将同属于一个文件的多棵64叉堆哈希树的根节点邻接，每个根节点除包含所在哈希树的根哈希值之外，还包含一个索引。定义根哈希虚拟链表为(rh₁，rh₂，...，rh_n)，其中rh_i表示第i棵64叉堆哈希树的根节点所存储的根哈希值，链表中除最后一个节点外，每个根节点的索引都指向与其邻接的下一节点(也就是说rh_i指向rh_i+1)；而最后一个节点的索引则指向自己(也就是说rh_n仍旧指向rh_n)，由于这些哈希树的根哈希节点是顺序存储，没有任何指针，因此它并不是一个 真正的链表； 

步骤3.2：对根哈希虚拟链表的访问。当对根哈希虚拟链表进行访问的时候，首先检查该节点是否处于合法位置，对于尾节点，查看其索引是否指向自己，对于非尾节点，检查其索引是否指向下一个节点。 

步骤3.3：对并发访问的支持。由于一个文件可以划分为不同的部分，每一部分的数据完整性信息(即相关文件块的哈希值)都划归一棵单独的64叉堆哈希树进行维护。这样一来，只要多个进程不同时修改属于同一棵64叉堆哈希树的文件块，就可以允许这些操作并发执行。 

Claims (1)

1.基于一种完整性校验的安全元数据管理方法，其特征在于：是在客户端和一个安全元数据管理服务器组成的系统中，依次按以下步骤实现的：

步骤(1)：客户端用自加密方法生成文件块级的安全元数据信息，步骤为：

步骤(1.1)：按需要地把文件F分为固定大小为S的文件块集合F＝(f₁，f₂，...，f_n，...，f_N)，N表示文件块数，当文件F不是固定大小S的整数倍，则将最后一个文件块填充到大小为S的值，

步骤(1.2)：用安全散列算法SHA1对所述文件块f_i计算其哈希值hash_i，hash_i＝SHA1(f_i)，其中i＝1，2，...，n，...，N，得到文件块的哈希值集合(hash₁，hash₂，...，hash_N)，

步骤(1.3)：利用步骤(1.2)得到的哈希值hash_i生成加密密钥，用key_i表示，key_i＝hash_i||offset_i，其中：offset_i表示文件块f_i在所述文件中的偏移量，占用12B的存储空间，文件块f_i的哈希值hash_i占用20B的存储空间，″||″为拼接合并符号，则加密密钥key_i占用的存储空间为32B，

步骤(1.4)：对所述文件块f_i按下式加密：c_i＝E(f_i，key_i)，其中E表示AES加密算法，文件块f_i和密钥key_i是输入参数，c_i表示对文件块f_i进行加密所得到的密文；

步骤(2)：在所述安全元数据管理服务器构造所述文件F内所有文件块哈希值集合(hash₁，hash₂，...，hash_N)的64叉堆哈希树，步骤如下：

步骤(2.1)：定义64叉堆哈希树的数据结构：内部节点和根节点的儿子数目都是64，每个节点所存放的内容是：bHash||cHash，所述的每个节点是指根节点或者内部节点或者叶子节点，其中，bHash是该节点所对应文件块的哈希值，节点i的序号对应于文件块i的序号，以保证该节点i所对应文件块f_i的数据完整性，其中i＝(1，2，...，n，...，N)，cHash是该节点i的所有儿子节点的内容，包括每个儿子节点中存储的bHash和cHash在拼接后计算得到的哈希值，以保证该节点i的所有儿子节点内容的完整性，即保证每个儿子节点中的bHash和cHash的完整性，″||″为拼接合并符号，

步骤(2.2)：构造所述64叉堆哈希树，初始化各节点i的内容， 

步骤(2.2.1)：64叉堆哈希树的节点集合如下： 其中 

为根节点，表示根节点只有一个， 是 

的第1个儿子， 

是 的第64个儿子， 表示为 

的第1个儿子，以此类推， 

表示所述64叉堆哈希树中第j层的第i个节点，则对于该64叉堆哈希树，第0层的节点为根节点，数目为1，第1层的节点为根节点的儿子，其数目为64，第2层节点为第1层相关节点的儿子，其数目为64²，第3层的节点为第2层相关节点的儿子，其数目为64³，以此类推，则对于所述非叶子节点 

其所有儿子节点集合为 

步骤(2.2.2)：初始化各节点的哈希值bHash：将步骤(1.2)得到的文件块哈希值集合(hash₁，hash₂，...，hash_N)和64叉堆哈希树的节点集合 

形成一一对应，具体方法如下：对于根节点 所对应的文件块f₁的哈希值为hash₁，记为 所对应的文件块f₂的哈希值为hash₂，记为 

对于第j层的第i个节点 

所对应文件块f_n的哈希值为hash_n，其中n需要满足的条件为 

记为 

步骤(2.2.3)：初始化各节点的哈希值cHash：从叶子节点开始逐层向上直至根节点，对于叶子节点而言，利用线性同余法生成随机数，将该随机数赋值于 

对于非叶子节点 而言，对其所有的儿子节点内容的哈希值，包括bHash和cHash，进行拼接后计算哈希值，表示为 

并将结果赋值于cHash，用 

表示，

步骤(2.3)：按照以下步骤随机访问数据块，

步骤(2.3.1)：判断所述随机访问是否越界，

步骤(2.3.1.1)：文件F的大小为filesize，当用户访问偏移量为offset，大小为size的数据块，若offset+size＞filesize，则访问越界，用户只能访问偏移量为offset，大小为(filesize-offset)的数据块，如果offset+size≤filesize，则用户正常访问目标数据块，

步骤(2.3.1.2)：找出包含步骤(2.3.1.1)中的目标数据块f在步骤(1.1)中 生成的文件块集合中的文件块子集合：(f_start，f_start+1，...，f_emd)，其中，f_start为起始文件块，f_end为终止文件块，通过计算可以得到， 

步骤(2.3.2)：进行文件块子集合的哈希值的完整性校验，步骤如下：

步骤(2.3.2.1)：找出步骤(2.3.1.2)中包含所述的目标数据块f的文件块子集合(f_start，f_start+1，...，f_emd)所对应的64叉堆哈希树的各节点，

步骤(2.3.2.2)：找出步骤(2.3.2.1)中所述64叉堆哈希树各节点各自父亲直至根节点的路径，对该路径经过的每个节点，无论内部节点和根节点，用SHA1算法计算所述路径内的每个节点的所有儿子节点的内容拼接后而成的哈希值，看与该节点中保存的cHash是否相等，若相等，说明文件块子集合的哈希值是完整的，若不相等，则说明文件块子集合的哈希值被非法篡改，

步骤(2.3.2.3)：对文件块进行完整性校验，步骤如下：用户重新计算文件块子集合的哈希值，用SHA1算法逐个计算该文件块子集合中的每个文件块的哈希值，再找出与该文件块子集合所对应的那些所述64叉堆哈希树的节点，判断重新计算得出的哈希值是否与这些节点中的bHash相等，如果相等，说明文件块子集合的内容是完整的，没有经过非法篡改，如果不相等，则说明文件块子集合的内容不完整；

步骤(3)：按以下步骤更新文件数据块：

步骤(3.1)：进行完整性校验，包括相关文件块的哈希值的完整性校验以及该文件块内容的完整性校验：判断(offset+size)和文件大小filesize的关系，如果offset+size＞filesize，则f_end不存在，因此只需要验证文件块f_start的完整性以及f_start的哈希值的完整性，后者的验证方法如步骤(2.3.2.2)所述，如果offset+size≤filesize，则需要验证起始文件块f_start和终止文件块f_end的完整性，以及这两个文件块的哈希值的完整性，后者的验证方法如步骤(2.3.2.2)所述，

步骤(3.2)：重新计算被更新数据块的哈希值：当数据块更新完毕，需要利用哈希算法SHA1算法对更新的部分进行重新计算哈希值，并使用重新计算得到的哈希值生成加密密钥，并使用所述AES加密算法对更新后的文件块进行加密处理，

步骤(3.3)：把步骤(3.2)重新计算得到的哈希值赋值于bHash，并逐层向上 找到它们的父亲直至根的路径，找到该路径上的相关节点，重新计算该节点的所有儿子节点的内容所拼接合并后的哈希值，赋值于该节点的cHash；

步骤(4)：一个文件的所有文件块的哈希值由多棵64叉堆哈希树来维护的情况下，当发生并发访问时，要按照以下步骤构造一个根哈希虚拟链表，以此来支持并发访问，步骤如下：

步骤(4.1)：构造根哈希虚拟链表：

步骤(4.1.1)：将同属于一个文件的多棵64叉堆哈希树的根节点邻接，构成根节点之间的索引，每个根节点除包含了哈希树的根哈希值，

步骤(4.1.2)：根哈希虚拟链表为(rh₁，rh₂，...，rh_n)，其中rh_i表示第i棵64叉堆哈希树的根节点所存储的根哈希值，

步骤(4.1.3)：当存在对根哈希虚拟链表进行并发访问时，首先检查rh_i值是否处于顺序邻接的位置，对于尾节点rh_n，查看其索引是否指向自己，

步骤(4.1.4)：当多个进程不同时修改属于同一棵64叉堆哈希树的文件块，就允许这些操作并发执行。 

Images