CN106681793A - 一种基于kvm的加速器虚拟化数据处理系统及方法 - Google Patents

Abstract

本发明涉及一种基于KVM的加速器虚拟化数据处理系统，包括多个服务器，每个服务器主机含有至少一个FPGA硬件加速器，各个服务器主机使用KVM技术创建了多台虚拟机，各主机通过网络形成一个集群，并共同维系一张包含所有服务器负载情况的负载表，当主机接收到虚拟机发送的数据请求后，查询本机及远端主机的负载情况，选择相应地区的FPGA硬件加速器进行数据处理，使数据处理时间最小。与现有技术相比，本发明具有资源利用率高、成本低等优点。

Description

一种基于KVM的加速器虚拟化数据处理系统及方法

技术领域

本发明涉及一种基于KVM(Kernel-base Virtual Machine)的FPGA加速器虚拟化系统，尤其是涉及一种基于KVM的加速器虚拟化数据处理系统及方法。

背景技术

随着技术的不断发展，虽然软件运行速度不断提升，但是与用硬件直接实现其功能相比，在处理复杂度高、运算密集型算法时，软件远远比不上硬件的处理速度。

目前一些无线通信里的功能模块如Turbo译码、FFT等，算法时间复杂度很高，计算量大，导致响应时间较长，使用硬件加速器替代运算密集型的软件代码，直接在硬件设备上进行Turbo译码、FFT等处理，可以有效提高处理速度，缩短响应时间。

已有研究采用灵活的FPGA来实现复杂算法功能的加速，但是硬件设备一般比较昂贵，每台主机独占一块设备，不但成本高，而且导致设备利用率低，资源浪费严重。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种设备利用率高的基于KVM的加速器虚拟化数据处理系统及方法。

本发明的目的可以通过以下技术方案来实现：

一种基于KVM的加速器虚拟化数据处理系统，包括多个服务器，各服务器的主机中插有零到多个FPGA硬件加速器，各主机使用KVM技术创建多台虚拟机，所有的主机通过网络形成一个集群，并共同维系一张包含所有服务器(加速器)负载情况的负载表，当主机接收到虚拟机发送的数据请求后，查询本机及远端主机的负载情况，选择相应地区(本机或远端主机)的FPGA硬件加速器进行数据处理，使数据处理时间最小。

各主机通过网络连接到infiniband交换机，形成一个集群。

一种使用所述的调度系统进行数据处理的方法，包括以下步骤：

S1，虚拟机向主机发送数据请求；

S2，主机接收数据请求，将其加入本地队列，然后检查本地硬件加速器是否空闲，若是，则进入步骤S4，否则进入步骤S3；

S3，计算本地处理请求所需的时间以及通过远端主机处理请求所需的最小时间，若前者小于后者，则进入步骤S4，否则进入步骤S5；所述的通过远端主机处理请求所需的最小时间为比较各远端主机处理请求所需时间得到的结果；

S4，数据请求从本地队列转移至本地硬件加速器的队列进行处理，处理完毕后，本地硬件加速器响应虚拟机；

S5，数据请求从本地队列转移至位于本地的远端队列，等待对应远端主机的硬件加速器进行数据处理，处理完毕后，远端主机的硬件加速器响应虚拟机。

所述的步骤S3中，通过远端主机处理请求所需的时间根据负载表计算，所述的负载表由各主机定期通过广播更新。

所述的步骤S3中，通过远端主机处理请求所需的时间为：远端主机处理数据时间+数据来回传输时间。

当主机未连接FPGA硬件加速器时，该主机的负载为无穷大。

本发明实现FPGA加速器的虚拟化集群调度系统，主要将FPGA加速技术、I/O设备虚拟化技术和集群调度技术相结合，实现完备的调度算法，使集群中所有虚拟机可以共享FPGA加速器，且均衡服务器的负载，增大系统吞吐量。

实现了KVM的加速器虚拟化调度系统FPGA加速器的设计，总框架如图1所示，将运算复杂度高的软件代码用FPGA代替，在FPGA上实现加速功能；使用KVM技术将FPGA进行虚拟化；不同服务器通过网络通信，访问负载小的服务器上的FPGA。

采用KVM的virtio-serial技术，在虚拟机端(guest)中创建前端字符设备，在主机端(host)中创建后端驱动。总体流程如下，虚拟机端前端驱动向主机端后端设备发送设备访问请求；各个主机通过询问其他主机的负载情况，综合本地和远端主机的负载情况，选择相应地区的硬件加速器。如果是本地主机，则将请求放入native_queue任务队列，直接调用本地实际的FPGA设备驱动，完成请求；否则将请求添加到remote_queue任务队列，通过网络访问目标服务器的设备；最后将响应返回到相应的虚拟机中。

与现有技术相比，本发明具有以下优点：

(1)本发明实现了基于KVM的加速器虚拟化数据处理系统，采用虚拟化技术，对I/O设备进行虚拟化，使多台虚拟机共用一块FPGA，解决设备利用率低的问题；采用网络通信技术和负载均衡的调度实现不同主机的数据通信，使集群中所有的虚拟机共享同一块设备，降低设备成本，同时又保持着极高的运算效率。

(2)各主机通过网络连接到infiniband交换机，infiniband交换机延时短，有利于提高数据处理效率，达到加速的目的。

(3)主机利用集群网络定期更新负载表，使数据处理所需时间计算准确，避免资源分配不均衡。

(4)采用队列机制，有利于准确计算数据处理时间。

(5)考虑远端主机与本地主机之间数据传输的延时，提高时间计算真实度。

附图说明

图1为本实施例的系统整体结构示意图；

图2为虚拟机和主机建立连接，实现数据传输以及调度的过程图；

图3为本实施例数据处理过程的流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施例将基于FPGA的加速器、KVM的设备虚拟化和集群计算资源调度三部分结合起来，采用合适的调度算法，实现硬件加速器虚拟化，为虚拟机提供同实体机一般的加速器设备。主要包括：

(1)基于FPGA的加速器：目的是用硬件设备FPGA来实现运算量大、时间复杂度高的软件代码，提高运算速度，实现加速功能；

(2)KVM的设备虚拟化：使用KVM中virtio-serial技术，通过建立虚拟机和主机前后端的交流通道，在虚拟机中创建虚拟的加速器设备，该虚拟的加速设备连接实体的硬件加速器，虚拟机对它的使用操作相当于对映射实体硬件加速器的操作，从而使得一块加速器能被所有虚拟机共享。

(3)集群计算资源调度：为了共享多块加速器，使每个虚拟机都能使用到加速器的计算资源，在主机端需要对虚拟机发来的计算请求进行调度。采用双向队列和infiniband设备来完成加速器计算资源的分配。

(4)对访问设备操作的处理机制：在虚拟机中，虚拟的加速器是一个普通的I/O设备，应用程序使用它就像对普通文件操作一样，直接读写，写设备即送数据进行加速处理，读设备即取出处理好的数据。而在主机端是接受数据处理请求，通过调度算法后，将数据送入真实的加速器。

基于FPGA的加速器可以是Turbo译码、FFT、MIMO等时间复杂度高的算法，亦不限于以上功能的其他运算量大的算法。

KVM的virtio-serial设备虚拟化，主要特征在于：

(1)使用xml配置，在虚拟机和主机之间生成前后端设备，使用unix domainsocket进行通信。在虚拟机中，前端设备是一个普通的I/O设备。在主机中的，后端设备是一个socket文件，调度系统监控该文件，当前端设备传输数据过来时，调度系统将数据打包处理

(2)在主机端有全局的本地队列(local_queue)、每个加速器对应的接受队列(receive_queue)和准备队列(ready_queue)，以及远端队列。全局本地队列主要作用为将虚拟机的数据处理请求排队，并且打上对应的虚拟机的标签。加速器的两个队列中，接受队列作用是从本地队列取出数据包送入加速器，准备队列是将从加速器中取出数据送到对应的虚拟机中。远端队列主要为了将数据送到其他的含有空闲加速器的主机。

其中，对访问设备操作的请求处理，主要特征在于：

(1)对于虚拟机送来的请求，主机首先判断本地加速资源是否足够，如果资源紧张，则将请求添加到远端队列由网络发送到空闲服务器；否则将请求添加到本地队列，并调用实际驱动完成加速功能；以此达到计算资源负载均衡。

(2)设备处理完请求后，将判断该数据属于哪个虚拟机，若是本机的则直接加入ready_queue，否则送入远端队列，进行网络传输，送到相应的主机，最终送到相应的虚拟机。

技术方案如下：

1.用FPGA硬件实现运算密集型的软件代码，提高运算速度，实现加速功能，具体步骤如下：

(1)用Xilinux软件实现Turbo译码、FFT等复杂算法；

(2)仿真成功后，将程序下载到FPGA设备，实现加速功能。

2.通过KVM的virtio机制，建立主机和虚拟机的交流通道，实现I/O设备的虚拟化。通过lib-virt来配置虚拟机，通过添加virtio-serial通道，在主机端形成一个socketfile，我们通过对该文件的操作就是对虚拟机进行响应。在虚拟机端是它将会生成一个特殊的字符设备，它提供两个接口，读和写，用户程序只要简单的将数据送到这个设备就能完成相应的数据处理

3.对请求的管理和对FPGA设备的调度，结构如图2所示，具体步骤如下：

(1).在主机端设计有三个队列，native_queue，remote_queue，每个硬件加速器对应一对send_queue,ready_queue；

(2).当主机端接受了虚拟机端的数据处理请求，接着将它加入native_queue队列中，再接着我们衡量本地和远端主机的计算资源。首先通过检查硬件加速器的队列长度来判断它们是否空闲，如果本地的硬件加速器空闲，则将数据请求从native_queue中出队列并把它送入相应的硬件加速器队列，如果本地资源繁忙则通过判断原则之后送入远端队列。而对于远端队列，只有在远端主机本身资源空闲之后，才能将其送入加速器中处理。

而判断原则是就是估计送入远端队列之后获得结果的时延要小于本地等待处理的时延。送入远端主机处理时延计算T1如下：

T1＝T_{送到远端时间}*2+T_{远端主机处理时间}

其中送到远端的时间和远端主机处理时间都是由一个负载表进行记录的，由相应的远端主机更新。

而本地处理时延则是通过计算每个数据请求大小，求得硬件加速器的响应时间，接着全部加起来，便是本地处理时延。

下面详细说明本发明的实现过程：

一，设计基于FPGA的硬件加速器，用Xilinx完成Turbo译码模块、FFT模块或MIMO等模块的算法实现，然后下载到FPGA，让FPGA实现加速功能。将设备插入到主机，主机调用设备的驱动完成加速操作。

二，所有主机通过网络连接到交换机，形成集群系统。为了缩短时延，可以选择infiniband交换机。

三，下载支持KVM的linux内核，安装KVM，lib-virt，virt-manager，使用半虚拟化技术的分离设备驱动模型虚拟化FPGA，使本机的虚拟机共享设备；根据集群通信协议和网络，选择并访问其他服务器的设备，使集群中所有虚拟机可以共享设备。设备实际驱动以块为单位和设备之间传输数据,本例选用4k块大小。具体步骤如下：

1.使用lib-virt来定义和创建虚拟机，virtio-serial生成前后端设备。

11.主机端编写后端驱动，获得虚拟机的数据处理请求，以及生成线程池，建立起对每个硬件加速器的调度规则。

12.主机端在用户态与多个虚拟机相连，且通过网络与集群中其他主机相连，管理数据处理请求和真实设备的操作。

121.主机间通过集群通信协议，建立负载表，间隔固定时间更新集群系统内服务器的负载值。如果没有硬件加速设备则负载值为无穷大且不广播自己的负载值。

122.主机处理虚拟机发来的请求，查找负载表，将其放入相应的队列，本机负载过大，则发送给其他服务器处理；否则在本机处理。

123.主机处理来自其他主机的请求，视本地情况将其添加到native_queue。

124.主机调用真实驱动使用设备，对数据处理完成后，将响应返回给虚拟机或是通过网路发送到其所属的服务器。

2.虚拟机在用户程序对硬件加速设备进行操作。打开硬件加速设备，向硬件加速设备写入数据，硬件加速设备完成数据处理后，用户再读取数据，最后关闭硬件加速设备。FPGA硬件加速器的虚拟化对用户是透明的。

Claims (6)

1.一种基于KVM的加速器虚拟化数据处理系统，其特征在于，包括多个服务器，各服务器的主机中插有零到多个FPGA硬件加速器，各主机使用KVM技术创建多台虚拟机，所有的主机通过网络形成一个集群，并共同维系一张包含所有服务器负载情况的负载表，当主机接收到虚拟机发送的数据请求后，查询本机及远端主机的负载情况，选择相应地区的FPGA硬件加速器进行数据处理，使数据处理时间最小。

2.根据权利要求1所述的一种基于KVM的加速器虚拟化数据处理系统，其特征在于，各主机通过网络连接到infiniband交换机，形成一个集群。

3.一种使用如权利要求1或2所述的调度系统进行数据处理的方法，其特征在于，包括以下步骤：

S1，虚拟机向主机发送数据请求；

S2，主机接收数据请求，将其加入本地队列，然后检查本地硬件加速器是否空闲，若是，则进入步骤S4，否则进入步骤S3；

S3，计算本地处理请求所需的时间以及通过远端主机处理请求所需的最小时间，若前者小于后者，则进入步骤S4，否则进入步骤S5；

S4，数据请求从本地队列转移至本地硬件加速器的队列进行处理，处理完毕后，本地硬件加速器响应虚拟机；

S5，数据请求从本地队列转移至位于本地的远端队列，等待对应远端主机的硬件加速器进行数据处理，处理完毕后，远端主机的硬件加速器响应虚拟机。

4.根据权利要求3所述的方法，其特征在于，所述的步骤S3中，通过远端主机处理请求所需的时间根据负载表计算，所述的负载表由各主机定期通过广播更新。

5.根据权利要求3所述的方法，其特征在于，所述的步骤S3中，通过远端主机处理请求所需的时间为：远端主机处理数据时间+数据来回传输时间。

6.根据权利要求3所述的方法，其特征在于，当主机未连接FPGA硬件加速器时，该主机的负载为无穷大。