CN102819599A - 在一致性哈希数据分布基础上构建层次目录的方法 - Google Patents

Abstract

本发明公开了在一致性哈希数据分布基础上构建层次目录的方法，包括如下步骤：物理存储服务器，连接存储硬件设备，通过本地文件系统形成/data1~/dataX物理存储目录，通过存储软件服务器端将不同的物理存储目录虚拟成不同逻辑存储节点；将逻辑存储节点与物理存储目录一对一的映射，并可以按需进行调整，以实现动态迁移；存储客户端以逻辑存储卷为单位挂载文件系统，逻辑存储卷由一个或多个逻辑存储节点组成；通过客户端数据分布与访问层，提供全局命名空间，使得构建的目录层次，在物理存储服务器上的物理存储目录与客户端全局命名空间完全一致，具有底层物理存储和上层逻辑结构一致，实现层次目录结构；目录层次完全分布，消除单点故障等优点。

Description

在一致性哈希数据分布基础上构建层次目录的方法

技术领域

本发明涉及在一致性哈希数据分布基础上构建层次目录的方法。

背景技术

随着信息化的深入和发展，数据的规模越来越大，对存储的规模和底层架构的要求也越来越高。面对如此海量的数据存储，传统的服务器从容量和可扩展性方面已经适应不了数据的存储要求，网络存储技术逐渐成为了存储市场上的主流技术。与传统的存储系统相比，网络存储系统在可用性、可用性和成本方面都有较大的优势。而基于一致性HASH的点对点存储系统（P2P）与其他存储技术相比，P2P存储系统在可用性、可扩展性和可靠性方面具有明显的优势，是当前存储技术研究的热点。比较有代表性的是应用于亚马逊Dyanamo系统、Apache Cassandra等。

一致性HASH算法是P2P存储系统的核心算法，在1997年由麻省理工学院提出的一种分布式哈希算法，设计目标是为了解决因特网中的热点问题。一致性哈希算法修正了简单哈希算法带来的问题，具有平衡性、单调性、分散性和负载均衡等特点。在P2P环境中得到真正的应用。一致性哈希算法具有多种具体的实现，包括Chord算法、KAD算法等。经过一致性哈希算法散列之后，当有新的节点加入时，将只影响一台节点的存储情况，例如新加入的节点H的散列在B与C之间，则原先由C处理的一些数据可能将移至H处理，而其他所有节点的处理情况都将保持不变，因此表现出很好的单调性。而如果删除一个节点，例如删除C节点，此时原来由C处理的数据将移至D节点，而其它节点的处理情况仍然不变。这一特点为基于一致性哈希的存储系统在扩展性方面提供了强有力的技术保障。

要解决的技术问题

基于一致性哈希的存储系统，在系统扩展性、负载均衡方面表现出了很大的优势，但由于此种存储系统没有目录层次，是一种扁平化结构，在数据访问方面，是通过键值对应关系，不适合于传统的文件系统应用。

发明内容

针对上述技术缺陷，本发明提出在一致性哈希数据分布基础上构建层次目录的方法。

为了解决上述技术问题，本发明的技术方案如下：

在一致性哈希数据分布基础上构建层次目录的方法，包括如下步骤：

11）物理存储服务器，连接存储硬件设备，通过本地文件系统形成/data1~/dataX物理存储目录，通过存储软件服务器端将不同的物理存储目录虚拟成不同逻辑存储节点；

12）将逻辑存储节点与物理存储目录一对一的映射，并可以按需进行调整，以实现动态迁移；存储客户端以逻辑存储卷为单位挂载文件系统，逻辑存储卷由一个或多个逻辑存储节点组成；

13）通过客户端数据分布与访问层，提供全局命名空间，使得构建的目录层次，在物理存储服务器上的物理存储目录与客户端全局命名空间完全一致。

2、根据权利要求1所述的在一致性哈希数据分布基础上构建层次目录的方法，其特征在于，所述客户端访问一个文件或目录包括如下步骤：

21）首先通过哈希算法，计算出一个哈希值，所述哈希值的计算过程包括如下步骤：首先采用字符串哈希算法，对文件或目录名进行计算，得到一个数字，然后该数字对2的32次方取模，得到最终的哈希值；

22）所述逻辑存储节点对应着相应的数值范围，根据哈希值所属的范围找到相应的逻辑存储节点；根据逻辑存储节点与物理存储服务器上的物理目录有一对一的映射关系，找到相应的物理存储空间。

进一步的，所述客户端创建目录包括如下步骤：

客户端创建目录操作时首先计算目录名的哈希值，然后找到其哈希值的物理存储服务器与物理硬件存储设备，保证在该物理硬件设备上创建成功，其它物理硬件设备上并不立即建立该目录，而是在后台进行补齐，补齐时首先从其哈希值对应的物理硬件存储设备上获取该目录的属性，该属性包括全局标识符GFID、创建时间、修改时间、访问权限。

进一步的，如果创建目录时其父目录还没有同步完成，此时需要立即对其父目录进行补齐；补齐父目录，要到其父目录哈希值值对应的物理硬件存储设备上获取父目录的属性，该属性包括全局标识符GFID、创建时间、修改时间。

进一步的，所述客户端读取目录包括如下步骤：采用如下计算方法将指针二维信息与逻辑目录的指针一维信息做一对一的映射；

二维到一维转换即从物理存储目录到统一命名空间的逻辑存储目录读取：

逻辑指针=物理指针×逻辑存储节点个数＋当前逻辑存储节点编号；

该转换用于从物理硬件存储设备读取目录向上层文件系统返回时，其中，逻辑存储节点个数在逻辑存储卷的配置文件中可以得到，当前逻辑存储节点编号是已知的；

一维到二维转换即从逻辑存储目录到物理存储目录读取：

逻辑存储节点编号=逻辑指针%逻辑存储节点个数(注：取模操作)

物理指针=逻辑指针/逻辑存储节点个数(注：取余操作)

该转换用于上层文件系统向物理硬件存储设备发出读取目录请求，其中逻辑指针是上层文件系统传入的，在向下层发送目录读取时通过取模和取余操作，得到逻辑存储节点的编号和物理指针，根据逻辑存储节点编号找到相应的物理存储服务器，向其发送读取目录操作，且从物理指针的地方开始。

本发明的有益效果在于：通过本发明解决了基于一致性哈希的键值存储系统的扁平化结构，没有目录层次的问题，具体而言，本技术具有下述技术优点和效果：

（1）底层物理存储和上层逻辑结构一致，实现层次目录结构

在本发明中，上层的逻辑目录结构与底层物理存储保持完全一致，通过特定的方法将上层目录映射到底层的存储设备。而底层物理存储结构则传统的文件系统，比如ext3或者xfs等，已经具有了层次目录结构，因此上层逻辑结构表现出了同样的结构。该方法弥补了键值对存储方法的不足。

（2）目录层次完全分布，消除单点故障

本发明中实现的目录完全分布，所有的存储设备上具有相同的目录结构，没有单独的元数据服务器或设备，在保证提供目录层次，适用于传统的文件系统，兼容文件系统语义的同时，消除了单点故障，不存在性能瓶颈。

（3）只在特定的存储设备上创建目录，操作快速

在海量存储系统中，存储设备的数量会随着存储规模的扩大而不断增加，根据目录结构完全分布的前提，在创建目录时则需要在所有存储设备上创建相同的目录，面对频繁创建目录的应用，所耗费的时间随着存储节点数的增加而线性增加，这也为存储系统的扩容带来限制。而本发明的创新点在于每次创建目录时，只特定的存储设备上创建，一个目录的完整路径由多个设备上的目录串起来。其它设备上的目录只是辅助，在访问时将缺少的层次补齐，最后保证所有存储节点上目录层次完全同步。

附图说明

图1为一致性哈希的键值文件系统结构图；

图2为客户端创建目录的流程示意图；

图3为客户端创建文件的流程示意图；

图4为读取目录时位置指针的转换过程。

具体实施方式

下面将结合附图和具体实施例对本发明做进一步的说明。

如图1所示利用本发明实现基于一致性哈希的键值文件系统的结构。最底层是物理存储服务器，连接物理存储硬件设备，通过本地文件系统XFS或者EXT4等形成/data1~/dataX等物理存储目录。在存储软件服务器端，编写配置文件，将物理存储目录，比如/data1，对应为一系列的逻辑节点。配置文件格式如下：

物理目录1:逻辑节点编号1逻辑节点编号2,…逻辑节点编号N

物理目录2:逻辑节点编号1逻辑节点编号2,…逻辑节点编号N

其中，N的值是可以配置的。通过该配置文件，将不同的物理存储目录虚拟成不同逻辑存储节点Node1,Node2等。逻辑存储节点(比如Node1)就绑定到一个具体的物理存储目录，比如Node1对应到/data1。但是，这种对应关系可以按需进行调整，以实现动态迁移的功能。调整的方式是将逻辑节点的编号对应到另外的存储目录。比如调整前，配置文件为

/data1:1,2,3,4

/data2:5,6,7,8

调整后，配置文件为：

/data1:2,3,4

/data2:1,5,6,7,8

根据配置文件的调整，逻辑节点的对应关系已经从/data1对应到/data2，实现了逻辑卷的动态迁移。存储客户端以逻辑存储卷为单位挂载文件系统，逻辑存储卷由一个或多个“逻辑存储节点”组成。通过客户端数据分布与访问层功能，最终对上提供一个统一命名空间（比如/cloudfs）。在使用本发明构建的目录层次，在物理存储服务器上的物理存储目录（比如/data1）与客户端最终的统一命名空间（/cloudfs）完全一致。

在客户端，当需要访问一个文件或目录时，首先通过哈希算法，计算出一个值。哈希值的计算过程分成2步，首先采用目前公开的字符串哈希算法-例如BKDRHash，对文件或目录名进行计算，得到一个数字，然后该数字对2的32次方取模，得到最终的哈希值。每个逻辑存储节点对应着相应的数值范围，根据哈希值的范围找到相应的逻辑存储节点。而逻辑存储节点与物理存储服务器上的物理存储目录有一对一的映射关系，就找到了相应的物理存储空间。在物理存储空间上，有着与逻辑空间一致的目录结构，于是就找到了相对应的物理文件。举例来说，用户访问/cloudfs/dd/ff这个文件，其过程分成四步。首先对ff计算哈希值，得到的数值是100。然后客户端查找逻辑存储卷对应哪些逻辑存储节点以及各个逻辑存储节点对应的管理范围，比如node1的管理范围是1-128，则客户端就查找到node1。第三步，客户端查找node1与物理存储目录的对应关系，比如对应到server1上的/data01。第四步，客户端将逻辑地址变成物理访问地址，按照前面的查找，应该是server1:/data01/dd/ff，直接与server1的存储服务器进行通信，进行数据的访问。

创建目录操作过程

如图2所示，客户端创建目录的流程。本发明中上层统一命名空间中的逻辑目录结构与底层物理存储设备上的目录结构保持一致有利于分散元数据服务的压力。但是，如果在创建目录时强行保证完全一致，会带来一些问题。其一，如果存储设备很多时，要求每个物理硬件存储设备都创建目录，消耗很大，上层应用需要等待较长时间才能等待物理存储服务器返回结果；其二，众多的设备很难保证同时都在线，一旦有物理硬件存储设备不在线或者响应慢就返回创建目录失败是不合逻辑的。因此，本发明在创建目录操作时首先计算目录名的哈希值，然后找到其哈希值的物理存储服务器与物理硬件存储设备，保证在该物理硬件存储设备上创建成功，其它物理硬件存储设备上并不立即建立该目录，而是在后台来进行补齐。补齐时首先从其HASH值对应的物理硬件存储设备上获取该目录的属性，包括全局标识符GFID、创建时间、修改时间、访问权限等属性。另外，创建目录时其父目录有可能还没有同步完成，此时需要立即对其父目录进行补齐。补齐父目录，要到其父目录HASH值对应的存储设备上获取父目录的全局标识符GFID、创建时间、修改时间等属性。

创建文件操作过程

图3客户端创建文件的流程，本发明在创建文件操作时首先计算文件名的哈希值，比如/cloudfs/dd/ff，按照ff计算哈希值，然后找到其哈希值的物理存储服务器与物理存储设备（比如server1:/data01），将逻辑文件名映射成物理路径，比如server1:/data01/dd/ff，然后与对应的存储服务器（比如server1）通信。如果其父目录存在，就直接创建该文件。如果不存在，就对其父目录（比如/data01/dd）做哈希值计算，首先找到对应的物理硬件存储设备，然后从对应的物理硬件存储设备上获取该目录的属性，包括全局标识符GFID、创建时间、修改时间、访问权限等属性，进行补齐操作。父目录补齐以后再进行文件的创建。读取目录的操作过程

如图4所示表示读取目录的位置指针转换过程。文件系统中读取目录（readdir）是一个流式操作，即只要文件列表中还有文件，读取目录就会记录一个指针，下次读取时从这个位置指针处开始，这个指针是一维的。在本发明所描述的文件系统中，虽然存储客户端上统一命名空间中的逻辑目录结构与物理存储服务器上的物理目录结构完全一致，但是物理目录却存在于多个物理硬件存储设备之上，读取目录是从多个物理存储服务器上的物理目录中得到信息，并向存储客户端上的文件系统返回，显然读取目录时必须记录二维信息才行，即逻辑存储节点编号＋物理位置指针。为了保证对于存储客户端上文件系统的透明性，必须要将底层的二维信息与上层逻辑目录的一维信息做一对一的映射。本发明中采用了一个计算方法进行转换，不需要记录额外的信息，转换速度快。计算方法描述如下：

I)从物理存储目录到逻辑存储目录读取（即二维到一维转换）

逻辑指针=物理指针×逻辑存储节点个数＋当前逻辑存储节点编号

该转换用于从底层物理硬件存储设备读取目录向存储客户端上的文件系统返回时，其中，逻辑存储节点个数在逻辑存储卷的配置文件中可以得到，当前逻辑存储节点编号是已知的。因此，向上层存储客户端文件系统返回只有一个逻辑指针。

Ⅱ)从逻辑存储目录到物理存储目录读取（即一维到二维转换）

逻辑存储节点编号=逻辑指针%逻辑存储节点个数（注：取模操作）

物理指针=逻辑指针/逻辑存储节点个数（注：取余操作）

该转换用于上层文件系统向底层物理硬件存储设备发出读取目录请求，其中逻辑指针是上层文件系统传入的，在向物理硬件存储设备发送目录读取时通过取模和取余操作，得到逻辑存储节点的编号和物理指针。然后，根据逻辑存储节点编号找到相应的物理存储服务器，向其发送读取目录操作，且从物理指针的地方开始。通过逻辑位置指针域物理位置指针的映射，实现了无需元数据信息即可读取目录的功能，计算速度快，且无单点故障。

应用效果

在华数云宽带业务，使用了本发明的键值文件系统，并获得实际效果。通过本发明实现键值文件系统的目录层次结构，在目录创建方面与每次在所有存储子卷上创建相比，时间减少为原来的1/N，其中N为逻辑存储节点的个数，这也解决了大规模存储中目录创建耗时随着存储节点的增加而增加的问题。同时，利用本发明后，提高了系统的稳定性，只要保证与目录名哈希值对应的物理存储设备状态正常即可。在未使用本发明时，系统中只要有一个物理存储设备出现故障，所有目录操作会被堵塞，甚至导致目录创建失败。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (5)

1.在一致性哈希数据分布基础上构建层次目录的方法，其特征在于，包括如下步骤：

11）物理存储服务器，挂有存储硬件设备，通过本地文件系统形成/data1~/dataX物理存储目录，通过存储软件服务器端将不同的物理存储目录虚拟成不同逻辑存储节点；

12）将逻辑存储节点与物理存储目录一对一的映射，并可以按需进行调整，以实现动态迁移；存储客户端以逻辑存储卷为单位挂载文件系统，逻辑存储卷由一个或多个逻辑存储节点组成；

13）通过客户端数据分布与访问层，提供全局命名空间，使得构建的目录层次，在物理存储服务器上的物理存储目录与客户端全局命名空间完全一致。

2.根据权利要求1所述的在一致性哈希数据分布基础上构建层次目录的方法，其特征在于，所述客户端访问一个文件或目录包括如下步骤：

21）首先通过哈希算法，计算出一个哈希值，所述哈希值的计算过程包括如下步骤：首先采用字符串哈希算法，对文件或目录名进行计算，得到一个数字，然后该数字对2的32次方取模，得到最终的哈希值；

22）所述逻辑存储节点对应着相应的数值范围，根据哈希值所属的范围找到相应的逻辑存储节点；根据逻辑存储节点与物理存储服务器上的物理目录有一对一的映射关系，找到相应的物理存储空间。

3.根据权利要求1所述的在一致性哈希数据分布基础上构建层次目录的方法，其特征在于，所述客户端创建目录包括如下步骤：

客户端创建目录操作时首先计算目录名的哈希值，然后找到其哈希值的物理存储服务器与物理硬件存储设备，保证在该物理硬件设备上创建成功，其它物理硬件设备上并不立即建立该目录，而是在后台进行补齐，补齐时首先从其哈希值对应的物理硬件存储设备上获取该目录的属性，该属性包括全局标识符GFID、创建时间、修改时间、访问权限。

4.根据权利要求3所述的在一致性哈希数据分布基础上构建层次目录的方法，其特征在于，如果创建目录时其父目录还没有同步完成，此时需要立即对其父目录进行补齐；补齐父目录，要到其父目录哈希值值对应的物理硬件存储设备上获取父目录的属性，该属性包括全局标识符GFID、创建时间、修改时间。

5.根据权利要求1所述的在一致性哈希数据分布基础上构建层次目录的方法，其特征在于，所述客户端读取目录包括如下步骤：采用如下计算方法将指针二维信息与逻辑目录的指针一维信息做一对一的映射；

二维到一维转换即从物理存储目录到统一命名空间的逻辑存储目录读取：

逻辑指针=物理指针×逻辑存储节点个数＋当前逻辑存储节点编号；

该转换用于从物理硬件存储设备读取目录向上层文件系统返回时，其中，逻辑存储节点个数在逻辑存储卷的配置文件中可以得到，当前逻辑存储节点编号是已知的；

一维到二维转换即从逻辑存储目录到物理存储目录读取：

逻辑存储节点编号=逻辑指针%逻辑存储节点个数

物理指针=逻辑指针/逻辑存储节点个数

该转换用于上层文件系统向物理硬件存储设备发出读取目录请求，其中逻辑指针是上层文件系统传入的，在向下层发送目录读取时通过取模和取余操作，得到逻辑存储节点的编号和物理指针，根据逻辑存储节点编号找到相应的物理存储服务器，向其发送读取目录操作，且从物理指针的地方开始。

Images