CN101419535B - 虚拟机的分布式虚拟磁盘系统 - Google Patents

Abstract

一种通过为虚拟机构建存储的系统，将位于网络上服务器中的存储设备分配给多个运行在各自终端主机上的虚拟机，作为它们的虚拟磁盘。虚拟机运行的主机上提供一个虚拟磁盘驱动和数据转发守护进程，将来自虚拟机的I/O请求转发给提供实际数据的服务器。服务器上维护虚拟机的系统映像，并响应来自虚拟机的I/O请求。系统映像的维护采用一种映射机制，实现物理存储的数据到虚拟机所需系统映像之间的转化。为了提高性能，在终端提供了缓存和预取功能，减少网络上数据传输量。同时，利用同步机制保证缓存和服务器系统映像之间的一致性。

Description

虚拟机的分布式虚拟磁盘系统

技术领域

本发明涉及计算机科学中的虚拟机领域，特别是涉及虚拟机中利用网络来实现磁盘数据的分布式存储机制。

背景技术

虚拟机是一种物理机器的软件实现，能够使程序在虚拟机上像在实际主机上一样运行。位于主机硬件和操作系统之间的系统级虚拟机软件能够提供一个完全的虚拟硬件资源环境，在这个虚拟硬件环境上运行的客户操作系统所面对的不是实际的物理硬件设备。因此，实际物理设备的实现对操作系统来说是透明的，可以用不同的方法实现虚拟机的物理设备来给操作系统提供统一的虚拟硬件环境。

通过网络为虚拟机提供虚拟存储在实际应用中得到了广泛的应用，本发明把通过网络向虚拟机提供存储的方式称之为虚拟磁盘，因为在虚拟机上的客户操作系统看来，这种存储方式就像是连接在本机设备上的磁盘一样。当前，利用已有的网络存储协议，为虚拟机提供存储的具体实施方案主要有：

(1)利用NBD(Network Block Device)为虚拟机提供网络存储

在Linux系统中，NBD是一个设备节点，它的数据内容由位于网络上的服务器提供，所以NBD是用来访问位于远程主机上实际物理存储设备的本地设备节点。NBD由两部分构成，在NBD工作的客户主机上，NBD内核模块控制设备。客户主机上所有对NBD设备节点的访问请求被这个模块转发到实际存储数据的服务器主机。另一部分运行在提供物理存储的服务器上，与NBD交互提供对物理存储设备的访问。

(2)利用iSCSI(internet SCSI)为虚拟机提供网络存储

iSCSI协议中，客户端将SCSI命令发送给位于远程服务器上的存储设备，在IP网上通过两台主机协商交换SCSI命令来获取和同步数据。因此，iSCSI在广域网上模拟了一个高性能的本地存储总线。利用iSCSI协议，在虚拟机中使从网络上获取数据的过程对运行在虚拟机上面的操作系统透明，从而为其提供网络存储服务。

(3)利用网络文件系统为虚拟机提供网络存储

网络文件系统是一种在网络上支持文件共享的文件系统，如NFS(Network File System)，AFS(Andrew File System)等。对用户而言，在终端计算机上通过网络访问文件，这些网络存储设备就像是连接在本地的磁盘一样。因此，网络文件系统对应用程序来说是透明的，应用程序不知道操作的是本地文件还是远程的文件，由网络文件系统来负责定位文件并进行传输。

根据所面对的数据类型不同，(1)和(2)是基于块的网络存储方案。它们操作的数据是磁盘上的一个数据块序列，不关注这些数据块序列上的逻辑组织结构。因此实现方案跟上层的文件系统类型无关。(3)是基于文件系统的网络存储方案，它操作的数据对象是文件。

这些网络存储方式都提供了多用户并发情况下文件共享的通用功能，能够满足通过网络为虚拟机提供存储的一般性需求。但由于网络存储需求的多样性和通过网络为虚拟机提供虚拟磁盘的特殊需求，在实际应用中，往往需要将服务器上存储设备不同的部分提供给特定的虚拟机作为其实际的存储设备。此外，为了增加服务器端数据管理的灵活性，往往需要在将数据提供给虚拟机之前做一些处理，从而获得一些特殊的功能。因此，本申请针对这些特殊需求，发明了一种通过网络为虚拟机提供虚拟磁盘的方法。

发明内容

本发明以通过网络为虚拟机提供存储为目标，设计并实现了一种满足虚拟机存储特殊需求的虚拟磁盘。具体包括：

1.在虚拟机运行的终端上提供一个负责数据转发的虚拟磁盘驱动和守护进程。这个守护进程从虚拟机获得数据请求，并将这个请求转发给提供数据存储服务的服务器。从服务器获得请求的数据以后，转发给请求数据的虚拟机。为了提高性能，对从服务器获得的数据进行缓存。同时，为了减少数据请求时延，该进程具有“预取”功能。这样，即使虚拟机没有请求，守护进程也从服务器获取未被缓存的数据并进行缓存，以备将来虚拟机请求时直接从缓存中获取数据。

2.服务器端虚拟磁盘映像维护及表示。服务器端根据虚拟机的用户身份为每个虚拟机组织并管理它的实际物理存储。在服务器上，一个虚拟机的磁盘被分成若干部分，每个部分是一个磁盘映像文件。服务器端通过用户身份、请求数据的地址和磁盘类型进行寻址，定位是哪个文件中的哪个数据块，然后将物理存储的数据发送给请求方。因此，服务器提供给虚拟机存储设备的视图是一个统一的数据磁盘，但实际上物理存储的方式和这种视图截然不同。

3.磁盘映像的传输和同步。在虚拟机和服务器之间，数据以块为单位进行传输。这样，与实际磁盘的文件系统无关。本发明采用位图机制在虚拟机运行终端的缓存和服务器的物理存储设备之间进行数据同步，以保证经过修改的数据被写回到服务器上，从而保证每一次虚拟机获取数据的一致性。

与现有技术相比较，本发明的创新之处在于：根据虚拟机的特殊存储需求，设计针对性很强的网络存储方案，更好地满足通过网络为虚拟机提供存储的需求。另外，在服务器端增加了虚拟磁盘映射机制，来达到节省存储空间、方便系统维护的目的。具体体现在：

1.本发明中，为每个虚拟机分配一片独占的存储空间，对他们共享的存储空间只允许读。现有的网络存储技术目的是为了实现网络上存储的共享，因此，同一片存储区域允许多个实例并发访问。但对于虚拟机来讲，它的存储空间就是它的系统数据磁盘，读写只能由它上面的客户操作系统进行。如果被别的虚拟机修改后，那么会导致系统数据的不一致，严重的话会导致运行在虚拟机上的客户操作系统崩溃。

2.本发明中对每个虚拟机的存储空间进行分块，可以在不同的块上有不同的访问权限和操作方式。通过映射的机制，服务器将这些块整合成一个统一的虚拟磁盘，并提供给虚拟机作为它的虚拟磁盘。

附图说明

图1为虚拟磁盘的体系结构；图2为虚拟磁盘终端I/O驱动处理逻辑；图3为虚拟磁盘映像映射机制(在图3中，VSI表示“虚拟磁盘映像”；S表示“系统映像文件”；U_i表示“用户映像文件”；A_i表示“辅助映像文件”；S_i表示“虚拟系统映像”)；图4为位图-块状态记录方法；图5为数据传输交互命令格式。

具体实施方式

请参阅图1，本发明由两部分构成：(1)在终端，如图1(a)，以虚拟磁盘驱动为核心，为虚拟机提供虚拟磁盘I/O请求处理服务。(2)在服务器端，如图1(b)，是一个层次化结构的磁盘映像处理方法，为虚拟机在网络上提供实际的存储服务。图中的系统映像或磁盘映像，是一个系统中以文件形式存在的所有数据的集合，其中包括操作系统或应用程序的文件、用户个人文件等。在存储的形式上，磁盘映像是一个大的映像文件。映像文件中数据的逻辑组织格式与磁盘的文件系统(ext3、NTFS等)相同，因此，这个磁盘映像就是一个按照磁盘存储数据的格式存储数据的大文件，也是一个系统必不可少的数据存储映像。如图1所示，实际的数据内容存储在服务器上，(1)负责根据虚拟机的需求，从本地文件系统或(2)上获取数据并提供给虚拟机。如果数据来自服务器，为了增加访问的速度，(1)同时对这些数据进行缓存。虚拟机对磁盘的读写都发生在本地，当本地缓存数据被虚拟机修改后，会造成与存储在服务器上的数据不一致。因此，还需要增加同步功能进行存储数据的管理。下面，首先分别具体介绍(1)、(2)的具体工作机制，最后，介绍(1)和(2)之间的数据传输和同步机制。

在这里，虚拟磁盘主要针对Xen虚拟机设计。(1)中，Xen虚拟机上可以创建多个客户操作系统，其中有一个称为域0的特殊客户操作系统，其它称为域U的客户操作系统都是普通客户操作系统。利用Xen的block tap接口，设计了一个用户态的虚拟磁盘驱动程序模块。该模块用来在Xen中为一个域U创建一个作为其磁盘的虚拟块设备。block tap接口能够将来自虚拟机的块I/O请求发送到用户态的磁盘驱动程序。这样，利用block tap，驱动程序就可以处理来自域U的I/O请求。如发送一个数据块、更新一个数据块、创建一个数据块等。这里的块是一个数据处理的单位，一个块由若干字节构成，这里采用的块大小是512字节。所以，本发明的虚拟磁盘是数据块级的实现，而不是文件系统级的。数据块级的实现能够为存储提供一个更加底层的接口，从而屏蔽各个不同版本操作系统之间的差别。

请参考图1(a)，终端提供的虚拟磁盘包括两个部分，分别是临时存储区域和虚拟机的文件系统(系统映像缓存)。存储在缓存中的系统映像是域U操作系统的文件系统。在计算机系统运行过程中，有些保存在磁盘上的临时数据是不需要永久保存的，如Web缓存页。因此，在终端的存储设备上，开辟一定的临时存储区域用来存储这些数据，当机器关闭时，直接丢弃这些数据，从而减少数据维护量，增加处理性能。而对于系统映像，虚拟机对磁盘的操作都直接在系统映像缓存上进行。具体操作逻辑如下：

如图2所示，虚拟机的I/O请求到达磁盘驱动后，“I/O请求处理”逻辑根据请求类型(读或写)分别进行处理。本发明中采用位图记录缓存中的每个数据块的状态，根据其状态对每个数据块分别进行操作，位图的具体方法在稍后数据传输和同步过程介绍。(1)若是虚拟机的读请求，首先根据请求地址从位图中查询所请求数据块的当前状态。如果所请求的所有数据块已经在缓存中，则直接从缓存中读取请求数据，并将这些数据发送回给“I/O请求处理”，再由“I/O请求处理”发送给虚拟机。如果所请求数据块在相应位图中状态是未被缓存，这表明需要到服务器上去获取请求数据，这时，磁盘驱动将读请求发送给数据转发守护进程。数据转发守护进程收到读请求后，与服务器连接并转发读请求给服务器。从服务器获得数据后，再转发给磁盘驱动。磁盘驱动收到请求的数据后，立即发回给“I/O请求处理”，同时，将这些数据写入缓存中，并在位图中将相应的位置为“已缓存”。下一次虚拟机再读取这些数据的时候，就可以直接从缓存中读取数据。(2)若请求是写请求，磁盘驱动直接将数据写入到缓存中，并将位图中相应的位置为“已修改”，表明当前缓存中的数据是最新的。执行完写操作后，立即向“I/O请求处理”返回写响应。

在服务器端，如图1(b)所示，磁盘映像提供逻辑为多个用户维护并提供系统磁盘映像。每一个用户对应一个磁盘映像，但用户在终端从服务器上最终获取的系统磁盘映像并不是物理上实际存在的磁盘映像，而是虚拟磁盘映像(VSI)。磁盘映像提供逻辑通过一个对用户透明的映射过程为用户提供虚拟磁盘映像。磁盘映像提供逻辑由物理存储层(磁盘映像文件仓库)、磁盘映射层和磁盘映像表示层三层构成。物理存储层负责实际磁盘映像文件的存储，磁盘映像映射层完成从物理存储的磁盘映像文件到用户最终获得的虚拟磁盘映像的映射过程，而磁盘映像表示层则在网络上提供用户对其虚拟磁盘映像的访问，用户在网络上对虚拟磁盘映像的访问都是通过磁盘映像表示层完成的。在磁盘映像的管理中，本发明采用基于用户的管理方式。因为服务器要为多个用户在网络上提供存储服务，每个用户唯一标识一个虚拟磁盘映像。物理存在的映像文件包括三种：(1)系统映像文件，(2)辅助系统映像文件和(3)用户映像文件。一个用户的虚拟磁盘映像最终由这三种实际存在的磁盘映像文件构成，每种一个。系统文件映像对应于安装有某种版本操作系统的系统磁盘，因此，每个虚拟磁盘映像必须基于一个系统文件映像，作为终端虚拟机上运行的客户操作系统的系统磁盘。在本发明的系统中，每个具体的操作系统只有一个系统文件映像，因此一个系统文件映像可能被多个用户所共享。这种方法可以节省服务器上的存储空间，同时也有利于系统的更新。这样做的代价是需要将各个用户的虚拟磁盘映像与一个特定的系统文件映像进行映射。一个用户对共享的系统文件映像的修改可能会导致用户之间的冲突，为了避免这种冲突，本发明中为每个虚拟磁盘映像增加了一个辅助系统文件映像。每个用户对系统文件映像的所有修改都要写入用户的辅助系统文件映像中。用户文件映像用来存储每个用户自己的数据。

图3显示了如何将三种不同类型的文件映像通过映射为用户提供一个虚拟磁盘映像。一个虚拟磁盘映像表示的是一个虚拟磁盘，虚拟磁盘的块地址是从0开始到虚拟磁盘所有块数的连续地址，一个块地址对应虚拟磁盘中的一个数据块。系统映像文件和用户映像文件是虚拟磁盘映像中的两个分区，用户映像文件是每个用户自己的存储区，用户可以对其进行任意读写。系统映像文件是被多个用户共享的，因此，每个用户对系统映像文件只有读权限。当用户要对系统映像文件进行写操作的时候，需要在该系统映像文件对应的辅助系统映像文件中相同的地址上进行。每个用户都有一个和系统映像文件地址空间大小相同的辅助系统映像文件。为了记录系统映像文件和辅助系统映像文件之间的对应关系，为每个用户添加一个映射表(S·A表)用来记录其系统映像文件中每个数据块的状态，映射表中的每一位表示系统映像中每一个数据块的状态。在初始状态下，映射表所有位都为0，表示用户没有对系统映像进行过修改。当用户对系统映像文件中的某个块地址的数据进行写操作时，该操作被重定向到辅助系统映像文件上，数据将被写到辅助系统映像文件的相同地址上。同时，将映射表中该块对应的位被置为1，表示对用户而言，当前这个块的数据存在辅助系统映像文件中。

对虚拟磁盘映像的读写如图3所示，系统磁盘请求转发器负责根据请求者的用户身份将数据块请求分发到相应虚拟磁盘映像，并将获得的请求数据发回给请求者。图中S(系统映像文件)，U_i(用户映像文件)和A_i(辅助系统映像文件)是实际存在的映像文件，其中的数据是数据块序列。每个请求地址对应一个S，U_i或A_i中的数据块。当一个地址为t/addr.的请求到达以后，通过下列映射方式映射到实际的物理磁盘映像上：

a.系统磁盘请求转发器接受到地址为t/addr.的请求，根据当前用户和用户配置信息，将请求转发到一个VSI_i；

b.在VSI_i中，如果地址t/addr.中t的类型是系统映像文件请求，就将请求转发到S_i(虚拟系统映像)，否则就在U_i的块地址addr.上执行请求的操作；

c.在S_i中，检查S·A表是否有一项将块地址addr.从S映射到A_i。如果有这样的项，则在A_i中和S所对应的地址同为addr.的块上执行操作，否则在S中地址addr.所对应的块中执行请求的操作。如果请求是读请求，则读数据块，否则在A_i中创建一个数据块，在这个块上执行请求的操作，并在S·A表中增加一条记录将S中地址addr.上的操作映射到刚刚创建的Ai中的数据块上。

d.系统磁盘请求转发器将请求的数据发送给请求方。

上面介绍了终端与虚拟机I/O请求方法以及服务器端磁盘映像的维护方法，下面介绍两者之间数据的传输和同步。图1(a)中，域0中的数据转发守护进程与服务器中的磁盘映像表示层交互，从而获取用户磁盘映像的数据，并将用户的修改发送到服务器。传输磁盘映像是系统中最耗时间的操作。为了接近本地访问性能，守护进程获取磁盘映像数据的同时在本地存储设备中缓存这些数据。缓存也是一个映像文件，其中的每个数据块对应于VSI中的相应数据块。每个块或许被缓存了，或者被修改了，如前所述，为了表示缓存中每个数据块的当前状态，本发明中使用位图来记录当前每个数据块的状态。如图4所示，缓存映像文件中的每个数据块对应位图中的2位，因此每个数据块在位图中共有四种状态来表示：0，1，2，3。各自表示的意义是：

0：该数据块没有被缓存；

1：该数据块应经被缓存；

2：该数据块正在被获取；

3：该数据块的内容已经被更新。

在本发明的设计中，采用了一种称为“按需”的方法从服务器获取数据。域U中虚拟机的操作系统可以在所有的系统映像数据被缓存之前启动，因此，可能系统映像中的关键数据没有被缓存在本地缓存映像文件中。这种情况发生时(数据块在位图中对应状态为0)，如前所述，虚拟磁盘驱动将I/O请求转发到数据转发守护进程，并暂时将虚拟机阻塞。接着数据转发守护进程从服务器请求指定的数据，获得数据后保存在缓存映像文件中，并将位图中相应的位置为1(数据块已缓存)。如果请求的数据块当前位图中的状态是2(正在获取中)，则守护进程不再重复从服务器请求数据。I/O请求过程中，往往连续地址的数据块在同一时间被请求，因此，在一个请求操作过程中可以获取几个连续的数据块。当数据转发守护进程空闲时，从服务器中提前预取未被缓存的系统映像关键数据能很大程度上增加系统性能。

虚拟机对它的虚拟磁盘的操作，最终都会被解释为对缓存映像文件上相应数据块的操作。为了保持缓存映像文件和服务器VSI中相应数据块之间状态的一致性，虚拟磁盘驱动程序需要记录所有被虚拟机更新过的数据块(位图状态置为3)，并在虚拟机关闭之前，将更新过的数据写回到服务器上VSI中对应的位置上。写回以后，这些块在位图中的状态必须重新置为1，从而避免重复写回。数据转发守护进程对写回操作的优先级较低，但是，所有这些操作在虚拟机停止运行前必须被完成。

图5给出了数据转发守护进程和服务器磁盘映像表示层之间交互传输数据的命令格式。

(a)是一般格式，一个交互命令由操作命令、命令长度和可变长的数据部分构成。操作命令给出了一个交互命令的类型和操作方法，可变长的数据部分是一个命令的操作数，因此是可变长的，命令长度给出一个命令的实际长度。这些命令中，(b)-(f)是数据转发守护进程发送给服务器磁盘映像表示层的，(g)和(h)是服务器磁盘映像表示层发送给守护进程的响应，它们各自的实际意义如下：

(b)VND_NET_CREATE命令是请求在服务器上创建一个用户的VSI，该用户及VSI的信息在数据部分给出。用户名和密码是用户信息，操作系统类型对应一个指定的系统映像文件，用户磁盘大小用来创建用户映像文件。

(c)VND_NET_SETUP命令是守护进程向表示层请求建立一个连接。用户名和密码是用户信息，分区类型指定要连接VSI中的是系统映像分区(S)还是用户映像分区(Ui)。

(d)VND_NET_CLOSE，关闭建立起来的连接。

(e)VND_NET_READ，读取若干数据块的请求命令。第一个块地址是要读取的连续块中第一个块的地址，块数量表示连续读几个块的数量。

(f)VND_NET_WRITE，写若干个数据块到服务器。第一个块地址是要写的连续块中第一个块的地址，块数量表示连续写几个块的数量，数据部分是连续几个块的数据内容。

下面两条命令是服务器磁盘映像表示层发送给数据转发守护进程的响应命令。

(g)VND_NET_ACK，给守护进程发回的处理响应，处理结果表示操作是否成功。

(h)VND_NET_RES，给守护进程读请求发回的处理响应，其中的数据部分是守护进程读请求地址所指定的数据内容。

Claims (6)

1.一种为虚拟机提供分布式存储的系统，将位于网络上服务器中的存储设备分配给多个运行在各自终端主机上的虚拟机，从而为终端主机上运行的虚拟机提供数据存储服务，每个虚拟机作为一个用户，每个用户唯一标识一个虚拟磁盘映像，其特征在于，该系统包括虚拟磁盘驱动、数据转发守护进程、磁盘映像文件仓库、磁盘映像映射层和磁盘映像表示层，其中：

虚拟磁盘驱动设置在终端主机上，用于创建一个作为磁盘的虚拟块设备，该虚拟磁盘驱动处理虚拟机中的I/O请求，并将I/O请求进一步发送给数据转发守护进程；

数据转发守护进程设置在终端主机上，用于从虚拟磁盘驱动获得所述I/O请求，并将该I/O请求转发给提供数据存储服务的服务器，请求服务器上的系统映像数据，系统映像是终端主机所看到的服务器上磁盘映像表示层提供的虚拟磁盘映像，从服务器获得请求的数据以后，通过虚拟磁盘驱动转发给请求数据的虚拟机；

磁盘映像文件仓库设置在服务器上，负责物理映像文件的存储和维护，物理映像文件包括系统映像文件、辅助系统映像文件和用户映像文件，多个用户共享系统文件映像，每个用户具有一个辅助系统映像文件和一个用户映像文件，每个用户对系统文件映像的修改写入辅助系统文件映像中，用户映像文件用来存储每个用户的数据；

磁盘映像映射层设置在服务器上，完成从物理映像文件到用户最终获得的虚拟磁盘映像的映射过程，虚拟磁盘映像是提供给终端主机的逻辑视图，对一个虚拟磁盘映像，分为系统数据区和用户数据区，用户数据区对应于所述用户映像文件，而系统数据区对应于所述系统映像文件和所述辅助系统映像文件；

磁盘映像表示层设置在服务器上，其包括系统磁盘请求转发器，磁盘映像表示层从数据转发守护进程收到虚拟机的I/O请求后，交给系统磁盘请求转发器，系统磁盘请求转发器根据请求者的用户身份将数据块请求对应到相应虚拟磁盘映像文件，根据请求类型和请求数据的地址通过磁盘映像映射层的映射机制在相应的物理映像文件上执行请求的操作，并将获得的请求数据发回给请求者。

2.如权利要求1所述的系统，其特征在于：终端提供存储区，其包括两个部分，临时存储区域和系统映像缓存，临时存储区域用来存储临时数据，当机器关闭时，直接丢弃这些数据；存储在系统映像缓存中的系统映像缓存数据为客户操作系统的文件系统数据。

3.如权利要求2所述的系统，其特征在于：系统映像缓存文件与服务器之间通过增加一个位图表示系统映像缓存文件中每个数据块的状态来实现同步。

4.如权利要求2所述的系统，其特征在于：如果虚拟机所请求的数据在系统映像缓存中，则直接从系统映像缓存中读取请求数据；如果虚拟机所请求的数据不在系统映像缓存中，则要从服务器获取所请求的数据，虚拟磁盘驱动收到请求的数据后，将这些数据写入系统映像缓存中。

5.如权利要求1或2所述的系统，其特征在于所述虚拟机是Xen虚拟机。

6.如权利要求1所述的系统，其特征在于为了记录系统映像文件和辅助映像系统文件之间的对应关系，为每个用户添加一个映射表来记录其系统映像文件每个数据块的状态，映射表中的每一位表示系统映像文件中每一个数据块的状态，当有一个请求到达时，根据映射表中的状态决定该请求是在系统映像文件上执行，还是在辅助系统映像文件上执行。

Images