CN108139923A - 虚拟机器消息传送 - Google Patents

Abstract

公开了用于使得能够实现虚拟机器与虚拟机器的主机之间的通信的技术。示例计算设备包括主机操作系统和在主机操作系统上运行的虚拟机器。存储设备还包括分离驱动器。分离驱动器包括驻留在虚拟机器上的前端驱动器和驻留在主机上的后端驱动器。分离驱动器处理从虚拟机器接收的消息并且将消息从前端驱动器传递到后端驱动器。

Description

虚拟机器消息传送

背景技术

两种常见类型的存储是存储域网络（SAN）和网络附属存储（NAS）。SAN使得计算机能够访问块存储池，在块存储池中任何计算机可以潜在地访问具有块存储的任何存储单元。这样的存储设备可以被称为块级存储。NAS是通过网络操作服务器和共享文件的文件级类型的存储。NAS可以被称为文件级存储设备。

附图说明

在以下详细描述中并且参照附图来描述某些示例性示例，在附图中：

图1是依照本技术的包括统一存储设备的示例存储网络的框图；

图2是在统一存储设备的存储控制器上操作的驱动器堆栈的示例；

图3示出了在统一存储设备中处理存储指令的方法的过程流程图；

图4是概述了在虚拟机器与主机操作系统之间传递消息的方法的过程流程图；以及

图5是包括代码的有形、非暂时性、计算机可读介质的框图，所述代码引导处理器以允许虚拟机器与主机操作系统之间的消息传递。

具体实施方式

在一个示例中，本公开提供了用于帮助提高虚拟机器能够以其处理输入/输出（IO）事务的速度的技术。虚拟机器可以包括一个或多个接口，虚拟机器通过所述一个或多个接口与计算资源通信，所述计算资源诸如计算机存储器、数据存储、网络、用户输入设备和其它。通过虚拟机器与计算资源的通信常常依赖于若干个这样的接口的堆栈。本公开提供了用于使得虚拟机器能够与计算资源通信的通用、低开销的消息传送机制。本文描述的消息传送机制不取决于主机操作系统的标准块层和接口，并且因此能够绕过这些标准操作系统接口的开销和复杂性。

在一些示例中，本文描述的技术实现在存储设备中，所述存储设备使用虚拟机器来提供存储服务。当信息技术（IT）领域面临与数据增长相关联的挑战时，合并块级存储和文件级存储以提供流线型管理系统的能力可能变得越来越重要。统一存储器具是包括文件级存储和块级存储二者的存储设备。本文描述的统一存储设备使用虚拟机器来提供文件级存储服务。如本文中所使用，术语“主机”是指运行管理程序的计算设备，所述管理程序创建并运行虚拟机器。统一文件服务可以作为主控在存储器具的操作系统上的虚拟机器来运行。在块驱动器之下抽象的一个或多个虚拟卷可以暴露于在虚拟机器内部运行的虚拟文件管理器（filer）。然而，虚拟机器的虚拟化I/O路径的性能可能会大幅地低于块驱动器本身的本机性能。

在本文描述的技术的示例中，统一存储器具的性能被提高，使得它可以在包括块、文件和其它的存储的本机（即，裸金属）性能处或附近操作。这通过使用分离驱动器架构来达成，其中驱动器的前端驻留在虚拟机器中并且驱动器的后端驻留在主机中。以该方式，对于大多数存储操作而言，虚拟机器管理程序都可以被绕过。

图1是依照本技术的包括统一存储设备的示例存储网络的框图。计算机系统100可以用于为客户端提供存储服务。计算机系统100可以包括与统一存储设备106通信的一个或多个客户端计算机102。客户端计算机102可以是用户工作站、服务器和其它计算设备。客户端计算机102通过网络构造108耦合到统一存储设备106。网络构造可以使用任何适合的互连技术（诸如SCSI交换机）。在操作中，在客户端计算机102上运行的应用可以访问统一存储设备106以便存储和检索数据。统一存储设备106包括耦合到存储介质112的阵列的存储控制器110。存储介质112可以包括硬驱动、带库，以及更常见地，基于盘的设备（例如RAID硬件）。

存储控制器110可以是任何类型的处理器，并且运行提供用于计算机系统100的块级存储和文件级存储二者的软件，所述软件例如操作系统、管理程序和虚拟机器。在一些示例中，存储控制器使用基于Linux内核的虚拟机器（KVM），其中Linux操作系统作为管理程序进行操作。存储控制器110包括分离驱动器114，所述分离驱动器114允许虚拟机器与虚拟机器驻留于其中的主机操作系统之间的通信。分离驱动器114允许虚拟机器与主机操作系统之间的任何类型的通信。例如，为了提高作为文件级存储系统操作时统一存储设备106的性能，存储控制器110的分离驱动器114通过处置虚拟机器与主机操作系统之间的IO请求来控制对存储介质112的访问。分离驱动器的示例在下面关于图2和3进一步描述，图2和3描述了用于处置IO请求的技术。然而，将领会到，本文描述的技术可以处置虚拟机器与主机操作系统之间的其它类型的通信。

另外，要理解到，图1的图示不旨在表明计算机系统100在每个示例中都包括图中示出的所有组件。另外，取决于具体实现的细节，任何数目的附加组件可以包括在计算机系统100内。

图2是在统一存储设备的存储控制器上操作的驱动器堆栈的示例。驱动器堆栈200包括虚拟机器202、前端驱动器204、后端驱动器206、虚拟卷层208以及I/O堆栈210的其余部分。在图1中引用的分离驱动器114包括前端驱动器204和后端驱动器206。前端驱动器204驻留在虚拟机器中，而后端驱动器206驻留在主机操作系统上，所述主机操作系统在本文中被简单地称为主机。将来自虚拟机器的存储命令从前端驱动器204传达给后端驱动器206，而没有牵涉到管理程序（除了某些情况之外），这将在下文进一步解释。后端驱动器206向虚拟卷层208发出块级存储命令。虚拟卷层208与I/O堆栈210的其余部分通信以便检索数据或者向物理存储介质存储数据。

为了使得能够实现驻留在主机中的后端驱动器206与驻留在虚拟机器中的前端驱动器204之间的通信，建立虚拟机器上下文以便使得主机能够转译虚拟机器的地址。在示例中，虚拟机器上下文是任务结构和存储器管理结构的组合。任务结构提供存储器的抽象，其使得虚拟机器能够访问主机的资源。存储器管理结构使得能够实现由虚拟机器使用的存储器地址与主机操作系统使用的物理存储器地址之间的转译。一旦创建了虚拟机器上下文，主机就可以获取由从虚拟机器接收的特定存储操作定向为目标的虚拟卷的虚拟卷标识符（VVID）。可以将存储操作发送给所标识的虚拟卷以便将虚拟存储器地址转译到主机域。在一些示例中，将上下文传递到标准Linux内核零拷贝函数get_user_pages（取得_用户_页面）以便检索与虚拟机器中的地址对应的主机中的页面。

虚拟机器上下文可以存储为存储器中的伪代码块设备，在本文中被称为“发现卷”。发现卷可以通过虚拟化的IO驱动器（诸如例如KVM VIRTIO）而暴露给虚拟机器。在主机侧上，取决于多少个虚拟卷需要暴露给虚拟机器，将发现卷实现为具有两个或更多块的存储器中的块设备。发现卷的第一块是驱动器标头并且包含信息，所述信息诸如分离驱动器的版本号和虚拟卷的数目。用于每一个虚拟卷的信息存储到分开的附加块。用于每一个虚拟卷的信息可以包括虚拟卷的VVID和名称。管理程序可以打开发现卷，同时启动虚拟机器并且填入发现卷的细节。虚拟机器可以执行发现过程以便读取发现卷内容并且创建用于记录在发现卷中的每一个虚拟卷的设备名称。发现过程可以由虚拟机器在虚拟机器被启动时或者之后执行。

图3是示出了在统一存储设备中处理存储指令的方法的过程流程图。如图3中所示，所公开的架构包括虚拟机器202和前端驱动器204，它们二者驻留在虚拟机器域中。架构还包括后端驱动器206、块驱动器302和管理程序304，它们全部驻留在主机域中。架构还包括共享的IO环306和信令框架308，它们使得前端和后端驱动器能够在IO发起与完成路径中与彼此交互。在一些示例中，共享的IO环306使用零拷贝消息传送。信令框架308可以是低等待时间信令框架，并且使得前端和后端驱动器能够发信号通知彼此以用于发起和完成IO。

管理程序304在IO路径中起到非常有限的作用。管理程序304用于设立共享的IO环206并且用于将虚拟机器的地址和范围对映射到主机的内核虚拟地址空间中。还调用管理程序304来将虚拟机器的存储器片段转译到在主机中寻址的存储器以用于发布存储事务。

为了发起存储事务，虚拟机器在框310处向前端驱动器204发布IO请求。在使用Linux内核的示例中，IO发起在块存储中经由内核函数generic_make_request（通用_做出_请求）来完成，所述内核函数generic_make_request继而又调用下面的块驱动器上的make_request（做出_请求）接口312。块驱动器的make_request接口312接收包含任务信息的任务数据结构。任务信息可以包括标识操作的类型和数据的源或目的地的信息，所述操作的类型诸如任务是读取操作还是写入操作。对于读取操作，任务信息可以包括开始块编号和要读取的字节的数目。对于写入操作，任务信息可以包括有效载荷数据和目的地块编号。

前端驱动器204的make_request接口312向队列314发送请求以用于分类和聚集。分类器/聚集组件316创建管线级，并且在发信号通知后端驱动器206处理请求之前在共享的IO环306中收集尽可能多的请求。在一些示例中，分类器/聚集组件316使用Linux IO调度器来收集和分类请求。

在框318处，一旦完成分类/聚集管线，就分配共享的IO环306中的槽。如果所有槽被占据，那么IO请求将被置于等待直至存在空余槽。同样在框318处，在共享的IO环306中的槽的成功分配之后，前端驱动器204将槽中的IO请求的细节录入。IO请求的细节可以包括虚拟卷标识符（VVID）、IO是读取还是写入、扇区编号、要读取或写入的字节的数目、以及用于任务数据结构中的每一个页面/片段的物理地址。

在框320处，一旦在共享的IO环中做出条目，前端驱动器204就按压后端驱动器206的门铃，这导致主机侧上的回调以便继续IO处理。通过将若干个请求合并成较少的请求来减小前端驱动器204对主机门铃按压的次数，如上文所述。这节省了虚拟机器和主机二者上的CPU周期。

在框322处，主机中的后端驱动器206醒来了以用于在它接收到来自前端驱动器204的门铃时处理IO请求。在框324处，后端驱动器206拾取来自共享IO环306中的对应槽的下一IO请求，并且针对共享IO环的槽中前端驱动器204填充的每一个地址寻找一个或多个存储器页面。在一些示例中，主机使用被称为get_user_pages的Linux零拷贝函数以便生成对应于由前端驱动器204填充的地址的“结构页面（struct page）”。

在框326处，后端驱动器206获取与在IO请求中标识的VVID对应的虚拟机器上下文。以上描述的发现卷用来使得主机能够针对由前端驱动器204发布的每一个IO来检索任务结构和存储器管理结构。前端驱动器204针对共享IO环306中的每一个条目来填充VVID字段。前端驱动器204在向共享IO环306中做出条目时填充的VVID是由IO定向为目标的设备的VVID与虚拟机器上下文的组合。一旦主机接收到VVID，主机就提取任务ID，并且通过调用管理程序函数来检索任务结构和存储器管理结构，所述管理程序函数返回任务和存储器管理结构。

管理程序函数328返回用于所标识的VVID的预建立的管理程序上下文。在框330处，管理程序函数332返回用于对应管理程序上下文的虚拟机器物理地址。管理程序函数（诸如，转译虚拟机器地址以及创建和生成上下文）可以由完全抽象的应用编程接口（API）在没有任何分层冲突的情况下执行。

在框334处，一旦检索到存储器页面，后端驱动器206就利用扇区、字节来填充所分配的任务数据结构，并且添加用户缓冲器的页面。后端驱动器206然后利用自定义IO完成回调将IO请求提交至块驱动器302。

在框336处，将IO请求队列化在块驱动器302中。在一些示例中，IO请求采用包含块编号、从其读取数据或者向其写入数据以用于处理的一个或多个页面的BIO的形式。经队列化的IO请求还包含回调函数，所述回调函数标记IO请求的完成，不管IO请求是成功还是失败都这么做。当IO请求完成时，过程流前进到框338。

在框338处，块驱动器302调取关于框336所提及的回调函数以便更新共享IO环306的IO完成状态。

在框340处，在由块驱动器302 IO完成了IO请求后，自定义IO完成回调被利用IO请求的状态而调用，例如该状态指示IO请求成功或者指示错误的类型。完成回调将该状态插入到共享IO环306中的对应槽中的字段。后端驱动器然后在框342处按压虚拟机器的门铃以便触发IO请求在虚拟机器202中的最终完成。就像主机门铃中那样，对数个完成进行编组以便节省主机和虚拟机器侧上的CPU周期。

在框344处，通过后端驱动器206对虚拟机器门铃的按压调取虚拟机器前端驱动器204中的IO完成回调。前端驱动器204读取共享IO环条目的状态字段中的IO请求的状态。

在框346处，前端驱动器204将之前发起的IO标记为完成的，并且指示IO是成功完成还是失败。例如，在Linux中，前端驱动器204利用适当的错误值（用于成功的0和用于失败的其它值）来调用Linux内核函数bio_endio以便标记IO事务的结束。过程流然后前进到框348。

在框348处，将IO的结果返回给主机。在读取请求的情况下，将所请求的数据发送给主机。在写入请求的情况下，将向主机发送状态，所述指示数据是否成功存储了。

要理解到，图3的过程流程图不旨在表明方法在每一个情况下都包括在图3中示出的所有框。另外，取决于具体实现的细节，任何数目的附加框可以包括在所述方法内。另外，要理解到，图3的过程流程图不旨在表明所述方法在每一个情况下都仅以由图3中示出的框所指示的次序来进行。

图4是概述了在虚拟机器与主机操作系统之间传递消息的方法的过程流程图。在一些示例中，消息是存储IO指令，并且虚拟机器在存储器具中运行着，所述存储器具诸如以上描述的统一存储设备。然而，消息可以是其它类型的消息，所述其它类型的消息包括其它类型的IO，所述其它类型的IO诸如来自例如网络接口设备的IO。

在框402处，在驻留于虚拟机器中的前端驱动器处从虚拟机器接收消息。如上文所描述，前端驱动器是驻留在虚拟机器中的分离驱动器的部分。

在框404处，由前端驱动器在共享消息环中队列化所述消息。在一些示例中，可以在过程流前进到框406之前队列化若干消息。

在框406处，通过驻留在主机中的后端驱动器从共享消息环检索消息。如上文所述，后端驱动器是驻留在主机操作系统中的分离驱动器的部分。

在框408处，在主机中处理消息。在一些示例中，处理消息包括转译包含在IO请求中的存储地址、从由存储地址标识的对应存储位置检索数据、以及经由分离驱动器将数据返回到虚拟机器。处理消息还可以包括将虚拟机器的地址转译为主机操作系统的地址。转译可以通过上下文而启用，所述上下文由主机存储到虚拟卷并且由虚拟机器通过卷发现过程而获取。

要理解到，图4的过程流程图不旨在表明所述方法在每一个情况下都包括在图4中示出的所有框。另外，取决于具体实现的细节，任何数目的附加框可以包括在所述方法内。此外，要理解到，图4的过程流程图不旨在表明所述方法在每一个情况下都仅以由图4中示出的框所指示的次序来进行。

图5是包括代码的有形、非暂时性、计算机可读介质的框图，所述代码引导处理器以便使得能够实现虚拟机器与主机操作系统之间的消息传递。计算机可读介质500可以由处理器502通过系统总线504访问。在一些示例中，代码可以引导处理器502以便执行如关于图1到4所述的技术。在示例中，存储设备可以实现虚拟化的管理系统以便提供块级存储服务和文件级存储服务，其中文件级存储服务在与块级服务分离的隔离环境中操作。

计算机可读介质500可以包括主机操作系统506。主机操作系统506驻留在主机计算设备上并且运行管理程序，所述管理程序创建和运行一个或多个虚拟机器。计算机可读介质500还包括分离驱动器，所述分离驱动器用于虚拟机器域与主机域之间的消息传送。分离驱动器包括驻留在虚拟机器域中的前端驱动器508和驻留在主机域中的后端驱动器510。在一些示例中，消息是存储事务或者其它类型的IO。

图5的框图不旨在表明计算机可读介质500包括在图5中示出的所有组件或模块。另外，取决于具体实现的细节，任何数目的附加组件可以包括在计算机可读介质500内，如本文所述的。

尽管本技术可以准许各种修改和可替换形式，但是已经仅通过示例的方式来示出以上讨论的示例。然而，再次应当理解到，所述技术不旨在限于本文公开的特定示例。实际上，本技术包括落入随附权利要求的范围内的所有可替换形式、修改和等同形式。

Claims (15)

1.一种计算设备，包括：

主机操作系统；

在主机操作系统上运行的虚拟机器；以及

分离驱动器，所述分离驱动器包括驻留在所述虚拟机器上的前端驱动器和驻留在主机上的后端驱动器，所述分离驱动器处理从虚拟机器接收的消息，其中从所述前端驱动器向所述后端驱动器传递消息；

其中所述后端驱动器利用虚拟机器建立上下文以便将所述虚拟机器的地址转译为主机的地址以用于处理所述消息。

2.如权利要求1所述的计算设备，其中，为了创建不透明值，所述后端驱动器组合虚拟卷标识符与用于检索存储器上下文的唯一密钥，所述存储器上下文使得能够将虚拟机器地址转译为所述主机操作系统的地址。

3.如权利要求1所述的计算设备，包括共享消息环，所述共享消息环在所述前端驱动器与所述后端驱动器之间共享，并且用于提供所述前端驱动器与所述后端驱动器之间的零拷贝通信。

4.如权利要求1所述的计算设备，其中所述上下文包括由所述主机操作系统保存在虚拟卷中的不透明值。

5.如权利要求1所述的计算设备，其中所述虚拟机器运行卷发现过程来获取所述上下文。

6.如权利要求1所述的计算设备，其中所述主机操作系统针对要暴露给所述虚拟机器以供所述虚拟机器使用的每一个卷而将唯一不透明值保存到所述虚拟卷。

7.如权利要求1所述的计算设备，其中所述计算设备是存储器具，并且在所述主机操作系统上运行的所述虚拟机器将文件级存储和块级存储提供给网络。

8.如权利要求1所述的计算设备，其中所述消息是输入/输出（IO）请求。

9.一种方法，包括：

在驻留于虚拟机器中的前端驱动器处从所述虚拟机器接收消息，所述消息要被发送给所述虚拟机器的主机；

通过所述前端驱动器将所述消息队列化在共享消息环中；

通过驻留在主机中的后端驱动器从所述共享消息环检索所述消息；以及

在所述主机中处理所述消息。

10.如权利要求9所述的方法，包括通过所述主机操作系统在虚拟卷中存储上下文，所述上下文用于将所述虚拟机器的地址转译为所述主机的地址。

11.如权利要求9所述的方法，其中所述消息是输入/输出（IO）请求。

12.如权利要求9所述的方法，其中处理所述消息包括通过所述主机转译包含在所述IO请求中的存储地址以及从由所述存储地址标识的存储位置检索数据。

13.一种包括代码的有形、非暂时性、计算机可读介质，所述代码引导处理器以便：

在驻留于虚拟机器中的前端驱动器处从所述虚拟机器接收消息，所述消息要被发送给所述虚拟机器的主机；

通过所述前端驱动器将所述消息队列化在共享消息环中；

通过驻留在所述主机中的后端驱动器从所述共享消息环检索所述消息；以及

在所述主机中处理所述消息。

14.如权利要求13所述的计算机可读介质，包括代码，所述代码引导处理器以便：

通过所述主机操作系统在虚拟卷中存储上下文；以及

通过所述虚拟机器运行卷发现过程以便获取所述上下文；

其中所述上下文用于将所述虚拟机器的地址转译为所述主机的地址。

15.如权利要求13所述的计算机可读介质，其中引导所述处理器以便处理所述消息的所述代码对包含在IO请求中的存储地址进行转译，并且从由所述存储地址标识的存储位置检索数据。