CN109343922A - 一种gpu虚拟化画面显示的方法及装置 - Google Patents

Abstract

本发明公开了一种GPU虚拟化画面显示的方法，主机先启动ivshmem‑server，之后启动虚拟机时指定ivshmem设备、QXL设备、物理GPU设备，ivshmem设备及QXL设备连接到ivshmem‑server上；虚拟机捕获物理GPU的桌面数据和鼠标数据并且写入ivshmem设备；主机确定ivshmem‑server中的数据是桌面数据或者鼠标数据，将所述桌面数据写入QXL设备的VGA显存，将所述鼠标数据写入QXL设备内嵌的spice显示对象中，输出显示；还公开了一种GPU虚拟化画面显示的装置，本发明在现有虚拟化协议的基础上集成了GPU的显示，以实现GPU的虚拟化画面显示。

Description

一种GPU虚拟化画面显示的方法及装置

技术领域

本发明涉及云桌面系统GPU虚拟化领域，画面显示的方法及系统。尤其是需要桌面云系统的3D软件设计行业，3D游戏行业。

背景技术

随着云计算技术的发展，GPU虚拟化需求越来越多，基于直通技术的GPU虚拟化越来越完善。在桌面云领域，直通GPU到虚拟机内后，需要配合显示技术，终端才能看到显卡的输出画面。

目前的远程显示技术，如：VNC，RDP，TeamViewer等都需要虚拟机连接网络后才能看到画面，其中基于SPICE的显示技术则只能利用QXL设备来显示，没办法显示GPU的输出。

因此需要在现有的SPICE显示技术的基础上，集成GPU的显示。如何把GPU的显示集成到SPICE协议上是本发明的重点。

发明内容

为解决上述的问题，本发明提供了一种在现有的SPICE协议显示技术的基础上，集成GPU虚拟化画面显示的方法及装置。

为达到上述目的，本发明的技术方案是这样实现的：

主机启动ivshmem-server；

主机启动虚拟机时，指定ivshmem设备、QXL设备、物理GPU设备，并且ivshmem设备和QXL设备连接到ivshmem-server；

虚拟机捕获物理GPU的桌面数据和鼠标数据写入ivshmem设备中；

主机确定ivshmem-server中的数据是桌面数据或者鼠标数据将所述桌面数据写入QXL设备的VGA显存，将所述鼠标数据写入QXL设备内嵌的spice显示对象中，输出显示。

在上述方案中，所述虚拟机确定写入ivshmem设备的数据是桌面数据或者鼠标数据，具体地，在ivshmem设备内设置桌面事件和 cursor数据事件；所述的桌面数据触发桌面事件；所述的鼠标数据触发cursor事件。

在上述方案中，所述主机确定ivshmem-server中的数据是桌面数据还是鼠标数据，并确定该次的桌面数据或鼠标数据处理完成中断，具体地，QXL设备中设置桌面数据处理完成和cursor数据处理完成的中断信号；桌面数据写入QXL设备后触发桌面数据处理完成中断；鼠标数据写入QXL设备后触发cursor数据处理完成中断。

在上述方案中，所述的虚拟机捕获物理GPU的桌面数据和鼠标数据并且写入ivshmem设备中，具体的物理GPU首先获取单次的桌面数据和鼠标数据并且写入ivshmem设备，确定该次的桌面数据和鼠标数据处理完成之后，物理GPU再次获取桌面数据和鼠标数据并且写入 ivshmem设备。

在上述方案中，主机确定该次的桌面数据和鼠标数据处理完成之后，主机通知虚拟机以继续获取桌面数据和鼠标数据。

在上述方案中，进一步，通过虚拟机捕获的桌面数据，具体可以是全局画面或者局部变化区域的画面。

本发明实施例还提供一种GPU虚拟化画面显示的装置，应用了上述的GPU虚拟化画面显示的方法，该装置包括物理GPU、ivshmem设备模块和QXL设备模块；所述的ivshmem设备模块用于写入虚拟机捕获的数据；所述的QXL设备模块用于存储ivshmem设备模块处理的数据。

在上述方案中，所述的ivshmem设备模块还用于设置不同的事件以区分数据。

在上述方案中，所述的QXL设备模块还用于发送中断信号给所述的ivshmem设备模块。

本发明具有如下有益效果：

1、本方案完全可以在主机实现，不需要修改终端的源码，普通的VDI终端(包括HTML5终端)即可被用于登录有GPU的虚拟机，看到GPU的输出桌面。其他的一些实现往往需要修改终端的源码。

2、由于本发明兼容虚拟化管理工具中的截屏功能，使得截屏可以截取到GPU的输出。

3、由于捕获的GPU画面都是无损的，数据量非常大，使用共享内存可以显著提升性能。无损数据也不会损失任何细节，保证3D软件画面质量。

4、由于可以只捕获画面的变化区域，可以减少数据量，节省网络带宽。

附图说明

图1是本发明的原理图；

图2是本发明的服务程序运行流程图；

图3是本发明的主机中QXL设备的运行流程图。

具体实施方式

下面结合附图对本发明作进一步详细的说明。

本发明实施例提供一种GPU虚拟化画面显示的方法：

如图1所示为本发明的原理图。

主机启动ivshmem-server；

主机启动虚拟机时，指定ivshmem设备、QXL设备、物理GPU设备，并且ivshmem设备和QXL设备连接到ivshmem-server；

虚拟机捕获物理GPU的桌面数据和鼠标数据写入ivshmem设备中；

主机确定ivshmem-server中的数据是桌面数据或者鼠标数据，将所述桌面数据写入QXL设备的VGA显存，将所述鼠标数据写入QXL 设备内嵌的spice显示对象中，输出显示。

spice协议即Simple Protocol for Independent Computing Environments，独立计算环境简单协议。spice协议架构包括客户端、 spice服务端和相应的QXL设备、QXL驱动、spice Agent。QEMU是可以图形化管理虚拟机的一个工具，常被应用于spice协议中。QXL设备为spice架构中负责控制图形输出的虚拟设备。

对于windows 7虚拟机来说，把QXL设备和物理GPU显卡同时给虚拟机后，win7虚拟机会选择物理GPU显卡来工作，加载GPU显卡驱动，而QXL设备未加载，依然留在了VGA模式，所以可以利用该 VGA模式的显示来驱动GPU的显示。

本发明使用ivshmem设备作为共享内存设备。ivshmem是虚拟机和主机共享内存的PCI设备。本发明虚拟机都需要启动一个 ivshmem-server管理共享内存。ivshmem-server为共享内存的管理程序。

主机启动虚拟机时把QXL设备，ivshmen设备，物理GPU显卡，作为参数启动，GPU显卡以pass-through方式传递给虚拟机。 pass-through是把某一个设备直接分配给一个虚拟机，让虚拟机可以直接访问该物理设备而不需要通过虚拟机监视器或被虚拟机监视器截获。其中启动添加QXL设备是为了利用QXL的VGA显示。

其中的QXL设备需要扩展，以实现ivshmem client的功能。这样QXL设备才能读共享内存的数据，才可以驱动其VGA显示。QXL设备还需要扩充一个chardev的参数。通过chardev来连接到 ivshmem-server。具体地，实现如下： #qemu-system_x86_64-vgaqxl-global qxl-vga.chardev＝qxlivsh -chardevsocket,id＝qxlivsh,nowait,path＝/tmp/vmid1_socket -device ivshmem-doorbell,chardev＝civsh,vectors＝2 –chardevsocket,id＝civsh,nowait,path＝/tmp/vmid1_socket –device vfio-pci,host＝01:00.0

其中：-vgaqxl：给虚拟机指定QXL设备，QXL设备需要指定连接到 ivshmem-server上，这里扩充QEMU功能使QXL具备了ivshmem client 的功能；-device ivshmem-doorbell：给虚拟机指定ivshmem设备，做为ivshmem client，并指定连接到ivshmem-server上；-device vfio-pci：pass-through物理GPU给虚拟机。

本发明虚拟机都需要启动一个ivshmem-server管理共享内存。虚拟机内需要安装ivshmem的驱动，可以使用Redhat开源的驱动。 ivshmem设备内包含有Doorbell寄存器，通过调用Doorbell寄存器可以向其它ivshmem client发送中断。

可选的，借助windows 7系统中的DFMirage等镜像驱动，可以捕获到桌面的画面变化区域，仅把变化区域的数据写入共享内存中，可以加快GPU画面的处理。DFMirage为一种用来抓屏的驱动,可以获取屏幕的变化区域。

虚拟机启动后，虚拟机内的服务程序会先打开ivshmem设备，并把ivshmem设备的共享内存映射到服务程序的地址空间，然后服务程序捕获物理GPU的输出画面和鼠标cursor，cursor即光标，之后写入映射的内存中，并触发doorbell通知QEMU共享内存中已经写入数据，并等待处理完成中断。QEMU收到doorbell信号后，就从共享内存中读取数据。如果数据是GPU画面数据，就写入VGA显存，并由 QEMU触发所有DisplayChangeListener对象，最终写入 SimpleSpiceDisplay对象中，即为spice显示对象，spice协议的输出显示对象，再由spice-server以轮询的方式取走桌面数据。如果数据是cursor数据，就写入QXL设备的SimpleSpiceDisplay对象中，最终由spice-server以轮询的方式取走cursor数据。QEMU处理完数据后，触发中断给虚拟机。如果数据是桌面数据，中断指示是桌面数据处理完成；如果数据是cursor数据，中断指示是cursor数据处理完成。虚拟机接收到中断就认为当前的数据处理完成，继续捕获物理GPU的输出画面和鼠标cursor，并开始下一次的处理。其中，cursor 数据即为鼠标数据。

如图2所示，为本发明的虚拟机内的服务程序流程图。服务程序通过windows API枚举到ivshmem设备，并打开ivshmem设备。通过 DeviceIoControl发出IOCTL_IVSHMEM_REQUEST_MMAP指令把ivshmem 的内存映射到本地。先从共享内存中读出主机的doorbellID并保存 (主机doorbell ID用于通知QEMU中QXL设备，共享内存中已写入数据)。其中，windows API为window系统内的一个系列接口函数，可以帮应用程式达到开启视窗、描绘图形、使用周边设备等目的。 DeviceIoControl是直接发送控制代码到指定的设备驱动程序，使相应的设备以执行相应的操作的函数。

通过DeviceIoControl发出IOCTL_IVSHMEM_REQUEST_PEERID指令读取虚拟机的doorbell ID，然后写入共享内存中，然后通过 DeviceIoControl发出IOCTL_IVSHMEM_RING_DOORBELL，peerID使用主机doorbell ID通知主机已经写入数据，虚拟机和主机都获得对方的doorbell ID，完成初始化交互。

通过DeviceIoControl发出IOCTL_IVSHMEM_REGISTER_EVENT， vector＝0，注册桌面事件，vector＝1，注册cursor事件。用于接收 HOST桌面和cursor处理完成事件。

通过Windows GDI截屏捕获物理GPU的输出桌面画面，可选的还可以通过D3D9截屏、Mirror Driver截屏等方法截取GPU输出桌面。其中，Windows GDI截屏、D3D9截屏、Mirror Driver截屏均为捕获屏幕画面的方法。

捕获物理GPU的输出桌面画面之后写入共享内存中，通过 DeviceIoControl发出IOCTL_IVSHMEM_RING_DOORBELL指令，peerID 使用主机doorbell ID，vector＝0，通知主机GPU画面已经写入共享内存中。等待主机的GPU画面处理完成，主机处理完成会触发GPU画面处理完成中断，虚拟机中ivshmem驱动检测到中断，就触发桌面事件。服务程序等到桌面事件之后，就继续捕获下一个物理GPU的输出桌面画面。

通过windows GetCursorInfo捕获到鼠标cursor，捕获到鼠标 cursor之后写入共享内存中，通过DeviceIoControl发出 IOCTL_IVSHMEM_RING_DOORBELL，peerID使用主机doorbell ID， vector＝1，通知主机cursor数据已经写入共享内存中。等待主机 cursor数据处理完成，主机处理完成会触发cursor处理完成中断，虚拟机中ivshmem驱动检测到中断信号，就触发cursor事件。服务程序等到cursor事件后，继续捕获下一个cursor。其中，windows GetCursorInfo函数用于取得整个桌面任意位置的鼠标形状。

如图3为本发明的主机QEMU中QXL设备的运行流程图。QXL设备指定连接到ivshmem-server，完成与ivshmem-server的交互后，得到自己的ID(该ID即为主机doorbellID)，把ID写入共享内存中。虚拟机服务程序启动后，从共享内存中读走该ID，并把虚拟机doorbell ID再写入共享内存中。主机收到doorbell事件后，QXL设备就从共享内存中读出虚拟机doorbell ID并保存，完成初始化交互。

虚拟机服务程序往共享内存中写入数据后，会触发主机的 doorbell。主机收到doorbell事件后，判断是GPU画面还是cursor 数据，进行不同处理。如果是GPU画面，就获得QXL设备的VGA显存，把数据写入VGA显存，然后调用dpy_gfx_update函数触发更新。如果GPU画面的分辨率和VGA显存的分辨率不一致，则需要先替换 surface，调用dpy_gfx_replace_surface，然后再把GPU画面写入 VGA显存，调用dpy_gfx_update函数触发更新。最后给虚拟机的 doorbell ID发送GPU画面处理完成事件，QEMU的ivshmem设备接收到事件后，会生成中断给虚拟机，指示GPU画面处理完成。

如果是cursor数据，构造QEMU Cursor对象，写入QXL设备内嵌的SimpleSpiceDisplay对象中，然后调度SimpleSpiceDisplay对象中的cursor_bh，最后给虚拟机的doorbell ID发送cursor处理完成事件，QEMU的ivshmem设备接收到事件后，会生成中断给虚拟机，指示出cursor处理完成。spice-server通过轮询的方式取走QXL 设备中的数据，最后发送到终端显示，以实现GPU的虚拟化显示。

本发明实施例提供例还提供一种GPU虚拟化画面显示的装置，该系统应用了上述的GPU虚拟化画面显示的方法，该装置包括物理GPU、 ivshmem设备模块和QXL设备模块；所述的ivshmem设备模块用于写入虚拟机捕获的数据；所述的QXL设备模块用于读取ivshmem设备模块写入的数据。所述的ivshmem设备模块还用于设置不同的事件以区分数据。所述的QXL设备模块还用于发送中断信号给所述的ivshmem 设备模块。

以上的实施例只是在于说明而不是限制本发明，故凡依本发明专利申请范围所述的方法所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (9)

1.一种GPU虚拟化画面显示的方法，其特征在于，该方法为：

主机启动ivshmem-server；

主机启动虚拟机时，指定ivshmem设备、QXL设备、物理GPU设备，并且ivshmem设备和QXL设备连接到ivshmem-server；

虚拟机捕获物理GPU的桌面数据和鼠标数据写入ivshmem设备中；

主机确定ivshmem-server中的数据是桌面数据或者鼠标数据，将所述桌面数据写入QXL设备的VGA显存，将所述鼠标数据写入QXL设备内嵌的spice显示对象中，输出显示。

2.根据权利要求1所述的一种GPU虚拟化画面显示的方法，其特征在于：所述虚拟机确定写入ivshmem设备的数据是桌面数据或者鼠标数据，具体地，在ivshmem设备内设置桌面事件和cursor数据事件；所述的桌面数据触发桌面事件；所述的鼠标数据触发cursor事件。

3.根据权利要求1所述的一种GPU虚拟化画面显示的方法，其特征在于：所述主机确定ivshmem-server中的数据是桌面数据还是鼠标数据，并确定该次的桌面数据或鼠标数据处理完成中断，具体地，QXL设备中设置桌面数据处理完成和cursor数据处理完成的中断信号；桌面数据写入QXL设备后触发桌面数据处理完成中断；鼠标数据写入QXL设备后触发cursor数据处理完成中断。

4.根据权利要求1所述的一种GPU虚拟化画面显示的方法，其特征在于：所述的虚拟机捕获物理GPU的桌面数据和鼠标数据并且写入ivshmem设备中，具体的物理GPU首先获取单次的桌面数据和鼠标数据并且写入ivshmem设备，确定该次的桌面数据和鼠标数据处理完成之后，物理GPU再次获取桌面数据和鼠标数据并且写入ivshmem设备。

5.根据权利要求1所述的一种GPU虚拟化画面显示的方法，其特征在于：主机确定该次的桌面数据和鼠标数据处理完成之后，主机通知虚拟机以继续获取桌面数据和鼠标数据。

6.根据权利要求1所述的一种GPU虚拟化画面显示的方法，其特征在于：进一步，通过虚拟机捕获的桌面数据，具体可以是全局画面或者局部变化区域的画面。

7.一种GPU虚拟化画面显示的装置，应用了权利要求1-6任一所述的GPU虚拟化画面显示的方法，其特征在于：该装置包括物理GPU、ivshmem设备模块和QXL设备模块；所述的ivshmem设备模块用于写入虚拟机捕获的数据；所述的QXL设备模块用于读取ivshmem设备模块写入的数据。

8.根据权利要求7所述的一种GPU虚拟化画面显示的装置，其特征在于：所述的ivshmem设备模块还用于设置不同的事件以区分数据。

9.根据权利要求7所述的一种GPU虚拟化画面显示的装置，其特征在于：所述的QXL设备模块还用于发送中断信号给所述的ivshmem设备模块。