CN103544045A - 一种基于hdfs的虚拟机镜像存储系统及其构建方法 - Google Patents

Abstract

本发明公开了一种基于HDFS的虚拟机镜像存储系统及其构建方法，该系统包括虚拟服务器、管理服务器、HDFS存储节点，以及部署在存储管理服务器上的存储空间管理器、读写定位管理器和镜像数据管理器。构建方法是由存储空间管理器负责管理存储空间的磁盘组织形式，完成对大量虚拟机镜像的存储。读写定位管理器接收虚拟机镜像操作请求，根据元数据组织方式完成具体镜像的随机读写操作。镜像数据管理器负责虚拟机镜像元数据和文件内容的管理，通过特定的元数据结构组织镜像文件内容。本发明克服了HDFS不支持随机写文件的局限，实现了虚拟机镜像动态运行的分布容错云存储机制，提高了数据存储和访问的可靠性，同时降低了成本。

Description

一种基于HDFS的虚拟机镜像存储系统及其构建方法

 

技术领域

本发明涉及一种基于HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）的大规模虚拟机镜像存储系统，具体是将虚拟机镜像分成多个段文件存储在HDFS分布式文件系统中，并结合日志结构文件系统顺序写的特性实现对HDFS文件的随机写，为虚拟机镜像数据的动态访问提供支持。

背景技术

随着互联网应用的动态资源需求快速增长，基于虚拟化技术对服务器进行有效整合，能实现服务器的动态封装和运行时的负载均衡，有效降低成本。目前主流虚拟化技术的存储模式难以满足实际应用需要：一方面高速存储设备价格高昂、设备能耗较高且存储空间利用率较低；另一方面单一设备的低容错率易造成数据丢失或错误。

而基于HDFS能将众多异构、廉价的服务器协同工作，实现大规模虚拟机镜像的存储管理，并具有高可靠、高稳定和低成本等优势。但是现有的HDFS实现存在数据访问延迟较大、不支持随机写等问题，限制了对虚拟机存储支持的应用。

发明内容

本发明所要解决的技术问题是针对HDFS作为虚拟机镜像存储层时不支持随机写的局限性，提出了一种基于HDFS的虚拟机镜像存储系统及其构建方法，利用日志结构文件系统顺序写的特性实现对HDFS文件的随机写，为虚拟机镜像数据的动态访问提供支持。

本发明所述的一种基于HDFS的虚拟机镜像存储系统，包括虚拟机服务器、存储管理服务器和若干HDFS存储节点构成的HDFS存储节点集群，所述存储管理服务器包括：

1）存储空间管理器：管理HDFS存储节点集群的存储空间，创建虚拟机实例前，存储空间管理器先在HDFS存储节点上创建相应的虚拟机镜像；存储空间管理器将虚拟机镜像组织成段文件的形式，并基于段文件建立数据块机制，所有的段文件都分布存储在HDFS存储节点中，以及完成对历史数据所占存储空间的回收工作；

2）读写定位管理器：虚拟机镜像完成在HDFS存储节点的部署之后，虚拟机发起的读写请求由Xen虚拟机监控器截获，交由读写定位管理器处理，将接受的虚拟机请求转发到HDFS存储节点集群；其根据元数据的组织方式处理虚拟机读写请求，定位和查找特定段文件内的数据，并响应虚拟机的读写请求；

3）镜像数据管理器：管理虚拟机镜像的数据内容，通过定制的元数据格式组织段文件不同数据内容，并依据段文件和数据块的存储机制严格按照顺序写入，完成具体的虚拟机镜像读写操作。

此外，本发明还提供了一种基于HDFS的虚拟机镜像存储系统的构建方法，其包括以下步骤：

1）对HDFS存储节点集群的存储空间进行管理，将虚拟机镜像组织成段文件的形式，并基于段文件建立数据块机制，所有的段文件都分布存储在HDFS存储节点中，

2）虚拟机镜像实例完成在HDFS存储节点的部署之后，虚拟机发起读写请求，由Xen虚拟机监控器负责处理并交由读写定位管理器，虚拟机请求被转发到HDFS存储集群，由存储相应数据的DateNode存储节点相应读写请求；

3）对于虚拟机镜像的数据内容，通过定制的元数据格式组织段文件不同数据内容，并依据段文件和数据块的存储机制严格按照顺序写入，完成具体的虚拟机镜像读写操作。

上述步骤1）的具体步骤是：

11）配置HDFS的多副本参数，启动HDFS集群，在NameNode下运行start-all命令，多个DateNode存储节点负责数据的存储；

12）在HDFS存储空间创建虚拟机镜像实例，以linux格式化命令在指定目录生成镜像文件，同时以字节为单位设置段和数据块的大小；其中段文件按照数字1、2、3... 的顺序递增编号，段内数据块是数据操作的基本单位；

13）多个段文件根据HDFS的存储特性分布到多个DateNode存储节点；

14）创建虚拟机运行实例，虚拟机请求被定为到HDFS存储空间，并分散到大量存储节点在段文件中生成虚拟机磁盘数据；

15）虚拟机的运行过程实时反映到HDFS上的镜像实例上，虚拟机的数据读写同布更新镜像实例的数据段内容；存储空间模块记录被删除或修改后的无效数据段，通过设定阈值以删除或拷贝的方式产生新的空闲空间。

上述步骤15）流程是：

151）统计每个段文件的使用情况，即当前段中的活跃数据块个数，以遍历法检查当前索引节点的间接块中的地址指向；

152）从客户端所在节点读取段使用情况到本地执行统计任务；

153）根据统计任务执行段回收工作，即对活跃块小于某阈值的段执行删除或者拷贝操作来回收空间；

154）如果一个段中的所有数据块都是无效数据块，则这个段文件可被回收，即从HDFS中删除；

155）如果一个段中只有部分数据块是无效数据块，则记录所有数据块的有效性、段内位置和活跃状态；将有效数据块主动以日志形式拷贝写到新段中，从而使得原段中的所有数据块都成为旧数据块，以执行删除操作产生新的空闲空间。

上述步骤2）的具体步骤是：

21）虚拟机读写请求从Xen的blkfront到blkback，通过blktap2驱动交到用户空间的tapdisk2进程的地址空间；

22）扩展blktap2的后端驱动，将虚拟机读写请求的扇区信息转化为对镜像文件的偏移信息，根据元数据的组织方式，定位和查找特定段文件内的数据；

23）通过tapdisk2进程调用自定义的读写接口，设置的镜像名、文件大小、偏移量信息；

24）tapdisk2进程的读写接口完成镜像元数据和文件内容的操作，最终调用HDFS的API完成对镜像实例的更新。

上述步骤22）流程是： 

221）blktap2负责处理接收的虚拟机读写请求，将请求的扇区号和要读写的扇区数转化为要读取的文件偏移量和大小。因为所有数据是顺序写入，只需将扇区号和扇区数乘上创建镜像时设定的扇区大小即可。

222）根据段文件和数据块的组织关系，以64位表示数据块的存储地址，存储地址的位分布由两部分唯一定位：后半部分位数可以确定偏移量，前半部分位数可确定段文件号。

223）访问位于日志尾的索引映射节点，找到所需文件对应索引节点并读取其信息，之后根据文件逻辑地址对应的数据块物理地址，计算段号和段内偏移量访问请求的数据。

上述步骤3）具体步骤是：

31）定制元数据格式，主要创建如下节点：

超级块节点，描述创建的虚拟机镜像文件系统的属性信息，记录镜像实例、镜像大小、段大小和数据块大小等信息；

索引节点，记录文件的权限和属性等相关信息，一个文件对应一个索引节点；

索引映射节点，记录索引节点号和对应的索引节点位置，作为全局数据结构；

日志头节点，将每次顺序的磁盘写操作称为一次日志操作，记录当前日志版本、检验信息、日志大小、创建时间以及数据块、间接数据块个数等信息。

全局控制节点，记录当前镜像的所有元数据信息、读写标志、文件句柄和写异步队列等一些列相关信息；

32）建立完整信息索引的日志布局，数据写入顺序为：日志头节点、数据内容、间接数据块、索引节点和索引映射节点；

33）接收虚拟机读写数据，更新相应的元数据节点，同请求数据一起按照日志布局追加写入存储空间。

上述步骤33）流程是：

331）为每个虚拟机请求建立一个文件缓存；

332）在文件缓存中缓冲一系列的文件更改，包括文件数据、索引、目录以及其他用于文件系统管理的信息；

333）更新元数据，按照文件创建时间、大小和属性等相关信息建立元数据节点；

334）将元数据节点和文件内容以一次日志操作顺序写入磁盘。

本发明结合HDFS分布式存储的体系结构和日志结构文件系统顺序写数据的特性，将虚拟机镜像组织成多个段文件和数据块，基于定制的元数据策略用顺序写实现了对HDFS存储文件的随机写特性，为虚拟机镜像数据的动态访问提供了支持。

附图说明

图1 系统架构图；

图2 文件存储布局；

图3 节点内部结构图；

图4 读文件流程；

图5 写文件流程。

具体实施方式

本发明提供了一种基于HDFS的虚拟机镜像存储系统及其构建方法，为了更好的说明其设计和实现方法，下面结合附图进行详细说明。

如图1是基于HDFS的虚拟机镜像存储系统架构图，整个系统分为三个部分：

1）虚拟化服务器层。基于Xen构建的虚拟化集群，虚拟机在运行过程中由其所在物理服务器负责维护系统状态和内存环境等，而其由镜像实现的磁盘将存储在共享存储系统中，即本发明采用的HDFS分布式文件系统。虚拟机在以HDFS作为存储底层中实行动态迁移，可以极大的提高迁移时间，灵活的实现的资源的灵活分配和动态管理。

2）存储管理层。存储管理层是本发明实现的核心技术，具体方式是将虚拟机镜像分成多个段文件存储在HDFS分布式文件系统中，结合日志结构文件系统顺序写的特性实现对HDFS文件的随机写，为虚拟机镜像数据的动态访问提供支持。本发明将存储管理层分为存储空间管理、镜像数据管理和读写定位三个器，构建了虚拟机镜像动态运行的分布容错云存储机制。

3）HDFS存储层。HDFS集群由大量廉价、异构的机器组成，面向大文件存储，提供的多副本容错和实用性适合于拷贝操作，虚拟机端在请求数据时能就近访问数据节点，减少了数据传输时间。HDFS存储层主要为存储管理服务器的工作器提供文件读写接口，管理层通过调用这些接口实现虚拟机镜像的动态访问。

在系统初始化时，首先要根据实际需要创建大小适合的虚拟机镜像。接着由存储空间管理器对创建的镜像进行处理，一个镜像被划分成多个固定大小的段文件，每个段文件由多个数据块构成，其中数据块是文件操作的基本单位。典型的可以将段大小设置为一个HDFS数据块大小，根据HDFS的存储特性，每个段文件将多副本的存储在不同的数据节点上，如图2所示。

根据段文件和数据块的组织关系，可以很容易确定数据块存储地址的位分布：一个数据块的存储地址为64位，将这64位分为两个部分，第一部分表示段文件号，第二个部分表示段文件内的偏移量。如果一个段是64M的大小，那么存储地址的后26位可以确定偏移量，其余的前38位可以索引段文件号，这样，虚拟机镜像的读写操作可以被唯一定位。

为了完成对一个信息的完整索引，所有元数据和数据内容都以日志为单位顺序写入存储空间，其存储布局为：日志头节点、数据内容、间接数据块、索引节点和索引映射节点。镜像数据管理器将所有数据按照日志布局以段的形式存储。

因为数据是不断追加写入，而之前被删除和修改后的无效数据段需要及时回收，以制造新的空闲空间以满足新数据的写入需求。存储空间管理设计了段回收线程来实现这一机制，以保证系统持续可运行。其处理过程由两个步骤完成：

1）统计段的使用状况，即当前段的活跃数据块数。统计阶段需要先遍历段文件中的各数据块，检查当前索引节点的间接块中是否有地址指向它：如果没有则说明该数据块是旧数据可以放弃，如果一个段中的所有数据块都是旧数据块，则这个段文件可被回收，如果一个段中只有部分数据块是旧数据块，则记录所有数据块的有效性、段内位置和活跃状态。通过拉模式可以从客户端所在节点读取段使用情况到本地以执行统计任务，最终产生的结果存放到专门的段使用表文本中，系统通过读取该文本获得相关信息。

2）对活跃块小于某阈值的段执行删除或者拷贝操作，随后执行删除操作来回收空间。具体来说，当段中可用数据块很少时，便可执行拷贝后删除操作，将非旧数据的数据块主动以日志形式拷贝写到新段中，从而使得原段中的所有数据块都成为旧数据块。系统中没有空闲块列表或者位图之类的结构，节省了内存和磁盘空间。这部分工作由唯一的写入线程读取段统计表后执行，以避免并发修改索引节点等元数据带来的不一致问题。

由于HDFS作为虚拟机镜像存储层不支持随机写的局限性，本发明从虚拟机节点内部角度设计了系统实现的详细结构，如图3所示。当虚拟机发起I/O请求，会交由Xen的虚拟机管理器（VMM）处理，其处理过程由两个驱动完成：运行在Domain U内核态的前端驱动，负责创建虚拟设备，并转发I/O请求；运行在Domain 0内核态的后端驱动，负责接收I/O请求，并调用真实的设备驱动来完成I/O操作。

对虚拟机镜像以文件方式存储而言，Xen的blktap工具负责完成后端驱动的工作，但是它并不支持HDFS的存储形式。对此，系统通过读写定位器在blktap接受I/O请求之后，交给tapdisk进程处理，去掉数据和内核层的通信，直接从tapdisk用户态将I/O请求发送到HDFS存储系统，完成请求的读写数据过程。

虚拟机I/O请求的读过程如下：

当虚拟机发起读数据请求时，其处理流程如图4所示。设读请求的两个文件参数是read_len(表示要读取的长度)和pos（表示文件内偏移值），开始读的数据块号为start_db，最后要读的数据块号为end_db，一个数据块大小为block_size。读文件过程可以分为两个部分：

1）pos位置在start_db内部，即第一个数据块在pos处的后半部分才是需读取的数据起始位置；

2）pos+read_len位置在end_db内部，即待读文件数据最末端在最后一个数据块的中间某部分，最后一个数据块的前半部分才是最后需要读取的数据。

如果pos / block_size和(pos+read_len)/ block_size相等，虚拟机请求读取的文件大小在一个数据块内，根据db_no将指定部分的数据拷贝到缓冲区即可。

如果pos/block_size和(pos+read_len)/ block_size不相等，则是要读取多个数据块的内容，该过程如下：

    1）首先判断pos位置是否在start_db处（pos%block_size），如果不是，则需要单独读取第一个数据块内容。先读取第一个数据块内容，并将后半部分需要读取的内容单独拷贝到缓冲区，同时将start_db加1；如果pos位置正好在start_db处，那么start_db值不变。

    2）将end_db设置为(pos+read_len)/ block_size，这时end_db表示要读取的最后一个数据块号。

    3）[ start_d，bend_db )区间内的数据块是要完整读取的数据块，直接拷贝这些数据块内容到缓冲区。

    4）如果(pos+read_len)% block_size的值不为0，表示最后一个数据块还含有前半部分数据需要读取，先单独读取(pos+read_len)位置所在的数据块，然后将这些数据内容拷贝到缓冲区。

虚拟机I/O请求的写过程如下：

当虚拟机发起写数据请求时，其处理流程如图5所示。首先会根据其写入的文件偏移位置pos、要写入的大小write_len以及要写入的数据缓冲区write_buf，计算要追加写的日志长度，过程详述如下：

    1）计算要更新的第一个数据块号：start_db= pos/block_size，最后一个数据块号：end_db=(pos+write_len)/ block_size。如果start_db和end_db相等，则只需要更新第一个数据块的内容。接下来读取这个数据块的内容，同更新的数据区write_buf一起写入新的缓冲区。

2）如果start_db和end_db不相等，说明有多个数据块需要更新。判断pos%block_size是否为0，如果不是，单独处理第一个数据块：将start_db中不需要更新的前半部分拷贝到缓冲区，接着将整个写入请求write_buf拷贝到缓冲区。

    3）如果(pos +write_len)% block_size不为0，说明最后一个数据块end_db只需要更新前半部分数据。将end_db的后半部分数据也拷贝到缓冲区中，这样就形成了从start_db到end_db的完整数据块。

4）缓冲区的内容代表最终要追加写入的新数据，即对原[start_db,end_db]区间数据的更新。更新索引结点、索引映射结点等相关内容，并根据数据块号和间接块组织关系，确定追加写操作的日志大小。在缓存这一系列更改之后，将所有元数据和更改文件内容一次性的顺序写入镜像文件末端，以完成虚拟机的写数据请求。

Claims (8)

1.一种基于HDFS的虚拟机镜像存储系统，包括虚拟机服务器、存储管理服务器和若干HDFS存储节点构成的HDFS存储节点集群，其特征在于，所述存储管理服务器包括：

1）存储空间管理器：管理HDFS存储节点集群的存储空间，创建虚拟机实例前，存储空间管理器先在HDFS存储节点上创建相应的虚拟机镜像；存储空间管理器将虚拟机镜像组织成段文件的形式，并基于段文件建立数据块机制，所有的段文件都分布存储在HDFS存储节点中，以及完成对历史数据所占存储空间的回收工作；

2）读写定位管理器：虚拟机镜像完成在HDFS存储节点的部署之后，虚拟机发起的读写请求由Xen虚拟机监控器截获，交由读写定位管理器处理，将接受的虚拟机请求转发到HDFS存储节点集群；其根据元数据的组织方式处理虚拟机读写请求，定位和查找特定段文件内的数据，并响应虚拟机的读写请求；

3）镜像数据管理器：管理虚拟机镜像的数据内容，通过定制的元数据格式组织段文件不同数据内容，并依据段文件和数据块的存储机制严格按照顺序写入，完成具体的虚拟机镜像读写操作。

2.一种基于HDFS的虚拟机镜像存储系统的构建方法，其特征在于包括以下步骤：

1）对HDFS存储节点集群的存储空间进行管理，将虚拟机镜像组织成段文件的形式，并基于段文件建立数据块机制，所有的段文件都分布存储在HDFS存储节点中，

2）虚拟机镜像实例完成在HDFS存储节点的部署之后，虚拟机发起读写请求，由Xen虚拟机监控器负责处理并交由读写定位管理器，虚拟机请求被转发到HDFS存储集群，由存储相应数据的DateNode存储节点相应读写请求；

3）对于虚拟机镜像的数据内容，通过定制的元数据格式组织段文件不同数据内容，并依据段文件和数据块的存储机制严格按照顺序写入，完成具体的虚拟机镜像读写操作。

3.根据权利要求2所述的基于HDFS的虚拟机镜像存储系统的构建方法，其特征在于步骤1）的具体步骤是：

11）配置HDFS的多副本参数，启动HDFS集群，在NameNode下运行start-all命令，多个DateNode存储节点负责数据的存储；

12）在HDFS存储空间创建虚拟机镜像实例，以linux格式化命令在指定目录生成镜像文件，同时以字节为单位设置段和数据块的大小；其中段文件按照数字1、2、3... 的顺序递增编号，段内数据块是数据操作的基本单位；

13）多个段文件根据HDFS的存储特性分布到多个DateNode存储节点；

14）创建虚拟机运行实例，虚拟机请求被定为到HDFS存储空间，并分散到大量存储节点在段文件中生成虚拟机磁盘数据；

15）虚拟机的运行过程实时反映到HDFS上的镜像实例上，虚拟机的数据读写同布更新镜像实例的数据段内容；存储空间模块记录被删除或修改后的无效数据段，通过设定阈值以删除或拷贝的方式产生新的空闲空间。

4.根据权利要求3所述的基于HDFS的虚拟机镜像存储系统的构建方法，其特征在于步骤15）流程是：

151）统计每个段文件的使用情况，即当前段中的活跃数据块个数，以遍历法检查当前索引节点的间接块中的地址指向；

152）从客户端所在节点读取段使用情况到本地执行统计任务；

153）根据统计任务执行段回收工作，即对活跃块小于某阈值的段执行删除或者拷贝操作来回收空间；

154）如果一个段中的所有数据块都是无效数据块，则这个段文件可被回收，即从HDFS中删除；

155）如果一个段中只有部分数据块是无效数据块，则记录所有数据块的有效性、段内位置和活跃状态；将有效数据块主动以日志形式拷贝写到新段中，从而使得原段中的所有数据块都成为旧数据块，以执行删除操作产生新的空闲空间。

5.根据权利要求2所述的基于HDFS的虚拟机镜像存储系统的构建方法，其特征在于步骤2）的具体步骤是：

21）虚拟机读写请求从Xen的blkfront到blkback，通过blktap2驱动交到用户空间的tapdisk2进程的地址空间；

22）扩展blktap2的后端驱动，将虚拟机读写请求的扇区信息转化为对镜像文件的偏移信息，根据元数据的组织方式，定位和查找特定段文件内的数据；

23）通过tapdisk2进程调用自定义的读写接口，设置的镜像名、文件大小、偏移量信息；

24）tapdisk2进程的读写接口完成镜像元数据和文件内容的操作，最终调用HDFS的API完成对镜像实例的更新。

6.根据权利要求5所述的基于HDFS的虚拟机镜像存储系统的构建方法，其特征在于步骤22）流程是： 

221）blktap2负责处理接收的虚拟机读写请求，将请求的扇区号和要读写的扇区数转化为要读取的文件偏移量和大小；因为所有数据是顺序写入，只需将扇区号和扇区数乘上创建镜像时设定的扇区大小即可；

222）根据段文件和数据块的组织关系，以64位表示数据块的存储地址，存储地址的位分布由两部分唯一定位：后半部分位数可以确定偏移量，前半部分位数可确定段文件号；

223）访问位于日志尾的索引映射节点，找到所需文件对应索引节点并读取其信息，之后根据文件逻辑地址对应的数据块物理地址，计算段号和段内偏移量访问请求的数据。

7.根据权利要求2所述的基于HDFS的虚拟机镜像存储系统的构建方法，其特征在于步骤3）具体步骤是：

31）定制元数据格式，主要创建如下节点：

超级块节点，描述创建的虚拟机镜像文件系统的属性信息，记录镜像实例、镜像大小、段大小和数据块大小等信息；

索引节点，记录文件的权限和属性等相关信息，一个文件对应一个索引节点；

索引映射节点，记录索引节点号和对应的索引节点位置，作为全局数据结构；

日志头节点，将每次顺序的磁盘写操作称为一次日志操作，记录当前日志版本、检验信息、日志大小、创建时间以及数据块、间接数据块个数等信息；

全局控制节点，记录当前镜像的所有元数据信息、读写标志、文件句柄和写异步队列等一些列相关信息；

32）建立完整信息索引的日志布局，数据写入顺序为：日志头节点、数据内容、间接数据块、索引节点和索引映射节点；

33）接收虚拟机读写数据，更新相应的元数据节点，同请求数据一起按照日志布局追加写入存储空间。

8.根据权利要求7所述的基于HDFS的虚拟机镜像存储系统的构建方法，其特征在于步骤33）流程是：

331）为每个虚拟机请求建立一个文件缓存；

332）在文件缓存中缓冲一系列的文件更改，包括文件数据、索引、目录以及其他用于文件系统管理的信息；

333）更新元数据，按照文件创建时间、大小和属性等相关信息建立元数据节点；

334）将元数据节点和文件内容以一次日志操作顺序写入磁盘。

Images