CN114090168A - 一种qemu虚拟机图像输出窗口自适应调整方法 - Google Patents

Abstract

本发明涉及计算机科学技术领域，具体涉及一种QEMU虚拟机图像输出窗口自适应调整方法，包括如下步骤：将当前帧的整个帧画面分成若干大小相同的图像块，判断该图像块相对上一帧画面的对应位置的图像块是否发生了变化，若发生了变化，则将该图像块标记为差异图像块；标记每一帧画面的差异图像块，若图像输出窗口的某一位置在切换连续多帧画面时，差异图像块的覆盖率超过一预先设定值，则将该位置标记为所述视频播放区域；所述视频播放区域外的画面均存在差异图像块，则将所述图像输出窗口切换成全屏视频模式。该方法可以有效避免QEMU虚拟机图像输出窗口在进行图像输出时的出现撕裂现象以及视频播放时出现画面滞后、卡顿、帧率不高乃至跳帧严重等现象。

Description

一种QEMU虚拟机图像输出窗口自适应调整方法

技术领域

本发明涉及计算机科学技术领域，具体涉及一种QEMU虚拟机图像输出窗口自适应调整方法。

背景技术

云桌面是虚拟化和云计算时代的典型应用，其通过在云端数据中心搭建服务器集群、创建多个虚拟机，使得用户可以通过云终端设备远程连入虚拟机，进而使得云桌面可以提供给用户与本地PC一致的使用体验。这种技术使得管理人员只需云端数据中心进行集中的系统维护，大大降低了管理人员的工作量，也使得使用人员无需担心因本地PC故障导致的数据丢失问题，越来越受到企业和个人的青睐。

现有技术中，对于QEMU虚拟机图像输出窗口这一云桌面，基于SPICE协议的QEMU虚拟机，其图像输出窗口在进行图像输出时常常会出现画面块撕裂的现象，在播放视频时，更会出现画面滞后、卡顿、帧率不高乃至跳帧严重等问题。

因此，针对现有技术中存在的问题，有必要提供QEMU虚拟机图像输出窗口自我调整的方法，避免图像输出时的撕裂现象以及视频播放时画面滞后、卡顿、帧率不高乃至跳帧严重等问题。

发明内容

解决的技术问题

针对现有技术所存在的上述缺点，本发明提供了一种QEMU虚拟机图像输出窗口自适应调整方法，该方法可以有效避免QEMU虚拟机图像输出窗口在进行图像输出时的出现撕裂现象以及视频播放时出现画面滞后、卡顿、帧率不高乃至跳帧严重等现象。

技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

本发明提供一种QEMU虚拟机图像输出窗口自适应调整方法，包括如下步骤：

S1、确定差异图像块：将当前帧的整个帧画面分成若干大小相同的图像块，针对每一图像块，判断该图像块相对上一帧画面的对应位置的图像块是否发生了变化，若发生了变化，则将该图像块标记为差异图像块；

S2、识别视频播放区域：采取S1的方法标记每一帧画面的差异图像块，若图像输出窗口的某一位置在切换连续多帧画面时，该位置均包括差异图像块，且差异图像块的覆盖率超过一预先设定值，则将该位置标记为所述视频播放区域；

S3、对所述视频播放区域进行自适应调整：若所述图像输出窗口在切换后续多帧画面时，所述视频播放区域外的画面均存在差异图像块，则将所述图像输出窗口切换成全屏视频模式。

进一步地，步骤S1还包括对差异图像块进行合并，具体包括：对当前帧画面中相邻的差异图像块进行合并，直到所述中不再存在相邻的差异图像块。

进一步地，所述预先设定值为90％。

进一步地，针对每个图像块，若该图像块相对上一帧画面的对应位置的图像块的相似度低于90％，则认定该图像块相对于相对上一帧画面的对应位置的图像块发生了变化。

进一步地，所述QEMU虚拟机图像输出窗口使用virtio-gpu显卡。

基于同一发明构想，本发明还提供了一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现上述任一项所述的方法。

基于同一发明构想，本发明还提供了一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一项所述的方法。

有益效果

1）本发明提供的QEMU虚拟机图像输出窗口自适应调整方法取消了原来的逐行对比分析得到差异图像块的步骤，改为逐块比较获取差异图像块的方式，加快了每帧画面的差异部分的扫描过程；

2）本发明提供的QEMU虚拟机图像输出窗口自适应调整方法通过合并差异图像块减少了每帧画面需要SPICE处理的差异图像块数量，避免了因待处理帧画面差异图像块数量过多，处理不同步导致的客户端显示画面割裂问题；另一方面也能尽可能地减少待处理的图像的数据量，减少数据处理和数据传输开销；

3）本发明提供的QEMU虚拟机图像输出窗口自适应调整方法通过提前识别并标记视频播放的区域，标记视频区域后，后续图像处理时可以持续发送帧画面中与视频区域对应部分的图像，从而确保视频播放的流畅度；

4）本发明提供的方法可自适应启动全屏视频播放模式，将整个帧画面作为完整图像输出，确保SPICE中仅使用视频流处理机制处理图像，避免了因在播放视频时进行其他操作所导致的视频区域附近的画面抖动、割裂问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的QEMU虚拟机图像输出窗口自适应调整方法步骤示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

首先，对本发明提到的技术术语进行解释：

SPICE：SPICE(SimpleProtocol for Independent Computing Environment，简单协议独立计算环境)协议是最新的基于KVM虚拟机的开源云桌面传输协议，主要应用于RedHat桌面虚拟化，提供了和云桌面进行交互的解决方案，客户端可以通过该协议访问云桌面和使用本地设备(例如键盘、USB等)。

QEMU：在Linux平台上广泛使用的开源虚拟机监视器，可以以纯软件方式提供虚拟化服务，结合Linux内核中的KVM（Kernel Virtual Machine，内核虚拟机）模块，可实现对硬件虚拟化的支持。目前在Linux平台通常采用QEMU+KVM来提供虚拟化服务：KVM负责对CPU和内存的虚拟化，而QEMU负责设备模拟的功能，包括模拟BIOS、PCI/PCIE总线、磁盘、网卡、显卡、声卡、键盘、鼠标等。QEMU也负责与SPICE等云桌面的对接：接收SPICE等云桌面发过来的用户操作请求并传递给虚拟机，并将虚拟机中的图像、声音等数据发送给SPICE等云桌面。

参阅图1，本发明一实施例提供了S1、确定差异图像块：将当前帧的整个帧画面分成若干大小相同的图像块，针对每一图像块，判断该图像块相对上一帧画面的对应位置的图像块是否发生了变化，若发生了变化，则将该图像块标记为差异图像块；

S2、识别视频播放区域：采取S1的方法标记每一帧画面的差异图像块，若图像输出窗口的某一位置在切换连续多帧画面时，该位置均包括差异图像块，且差异图像块的覆盖率超过一预先设定值，则将该位置标记为所述视频播放区域；

S3、对所述视频播放区域进行自适应调整：若所述图像输出窗口在切换后续多帧画面时，所述视频播放区域外的画面均存在差异图像块，则将所述图像输出窗口切换成全屏视频模式。

在本实施例中，对于步骤S1，针对QEMU虚拟机处理其基于SPICE协议的图像输出窗口的画面输出的环节，取消了原来的逐行对比分析得到差异图像块的步骤，改为逐块比较获取差异图像块的方式，即将整个帧画面分成若干大小相同的、依次编号的图像块，针对每个图像块，判断该图像块相对上一帧画面的对应位置的图像块是否发生了变化，例如，若该图像块相对上一帧画面的对应位置的图像块的相似度低于90％，则认定该图像块相对于上一帧画面的对应位置的图像块发生了变化，将其标记为差异图像块。

采用这种方式有两个好处：一是开销更小，逐行方式需要逐行进行对比分析，所有像素均需遍历一遍，开销较大，逐块方式只需要在发现一个不同像素后，即可认为是差异图像块而跳过该块后续所有的像素，减少了开销；二是更有利于差异图像块进行合并，因为新的方式得到的差异图像块的大小均相同，此外，通过图像块编号便能快捷判断两个图像块是否相邻，从而更便于通过合并周边的差异图像块得到新的矩形图像块。

在本实施例中，对于步骤S1，在获取到帧画面中所有的差异图像块后，对差异图像块进行合并，合并的原则是：对相邻的差异图像块进行合并，直到画面中不再存在相邻的差异图像块。通过合并，可以确保最大程度整合帧画面中的差异图像块，将所有差异图像块整合为1个或几个（帧画面中存在互不相连的变化区域）整体图像，然后再发送给SPICE服务端进行处理。通过这种方式，可以确保基于SPICE协议的图像输出窗口中不再出现图像割裂问题；同时通过这种方式整合得到的差异图像块，既包含了帧画面中所有改变了的图像区域，又保证了包含的未改变图像区域最少，也能有效降低每帧画面中SPICE服务端需要处理的数据量。

在本实施例中，对于步骤S2，为确保在视频播放时能顺利启动和保持视频流运行的流畅，在QEMU虚拟机中还增加了视频播放区域分析和处理的步骤：QEMU虚拟机在基于SPICE协议发送图像到其图像输出窗口时，会统计发送图像的位置和大小，若图像输出窗口的某一位置在切换连续多帧画面时，该位置均包括差异图像块，且差异图像块的覆盖率超过一预先设定值，则将该位置标记为所述视频播放区域；也可以理解为，当连续发现多帧画面中存在位置和大小基本重合（重叠率90%以上）的差异图像块时，例如20帧，则判断该区域存在视频播放，标记为视频播放区域（这个区域要能覆盖之前20帧中基本重合的差异图像块）。

在获取到后续帧的差异图像块后，只要有差异图像块与标记的视频播放区域基本重合（重叠率90%以上），认为其位于视频播放区域中，如果重叠率90%以下，则将与视频播放区域重叠的差异图像块切割后，仅发送视频播放区域内的切割部分；当连续20帧画面中不存在与标记的视频播放区域基本重合的差异图像块，或连续20帧画面中没有差异图像块时，认为视频播放结束，取消视频播放区域标记。

之所以引入视频播放区域标记机制，是防止视频播放时，因视频连续若干帧画面基本相同导致的QEMU虚拟机无法识别出差异图像块或只能识别出相对视频播放区域小得到的差异图像块问题，一旦出现这个问题，SPICE会认为没有视频播放或视频播放结束，从而结束视频流处理机制，但因为视频播放还没结束，SPICE仍会用图像压缩来处理视频图像，并在满足条件后又切换回视频流处理。上述问题会导致SPICE对于视频播放区域的处理频繁在图像压缩和视频流处理之间切换，因为图像压缩和视频流处理的不同步，就会产生视频画面抖动（在正常播放中突然插入未来几秒的画面图像）现象。而采用了视频区域标记机制后，就可以最大限度确保QEMU虚拟机始终能将完整的视频画面发送给SPICE、SPICE在识别出视频画面后始终通过视频流处理画面在QEMU虚拟机图像输出窗口输出，避免了视频画面抖动。

在本实施例中，对于步骤S3，针对在播放视频时进行其他操作所导致的视频区域附近的画面抖动、割裂问题，采用的解决方案为：一旦QEMU虚拟机检测到在连续多帧画面中同时存在视频播放区域和其他的差异图像块，就会切换为全屏视频模式：即将整个帧画面作为一张图像发送，SPICE对整个QEMU虚拟机图像输出窗口启用视频流处理；如果连续多帧画面中只存在视频区域和/或没有差异图像块时，例如20帧，则关闭全屏视频模式。

通过这种方案，当用户在播放视频的同时进行其他操作时，QEMU虚拟机图像输出窗口会有轻微的延时（具体延时时间视服务器和客户端机器性能而定），但由于是将整个QEMU虚拟机图像输出窗口的图像统一处理，可以避免在播放视频时进行其他操作所导致的视频区域附近的画面抖动、割裂问题，且一旦用户停止操作或停止视频播放，全屏视频模式会立刻关闭，将对QEMU虚拟机图像输出窗口性能的影响降到最低。

在本实施例中，该方法一般用于解决基于virtio-gpu显卡的QEMU虚拟机图像输出窗口存在的画面割裂、无法启用SPICE视频流处理的问题，提升了基于virtio-gpu显卡的QEMU虚拟机图像输出窗口的使用体验感受，扩展了virtio-gpu显卡的应用范围。

具体实施的时候：

S201：改变QEMU虚拟机中处理其图像输出窗口输出的帧画面图像的方法，由逐行比对扫描改为逐块比对扫描，找到所有的差异图像块。

具体地：S201.1：将整个帧画面沿左上角划分为32像素 × 24像素大小的矩形图像块，划分后，可以得到X × Y的图像块矩阵，图像块按照从左到右、从上到下依次编号（1，2，3，4，...），每个图像块均由（编号xi,左上角位置lti,宽度wi,高度hi）的四元组表示；S201.2：按从左到右、从上到下的顺序，对每个图像块执行以下操作；S201.3：在图像块内进行逐行比对，即每次循环均比对该行像素在上一帧画面图像和当前帧图像对应内存地址中的数据是否相同。一旦发现重合率低于90％，则认定为不同，则表示找到一个差异图像块，此时将该图像块插入到差异图像块队列中，并跳过该图像块剩余部分的比对，直接进入下一个图像块进行比对；S201.4：当循环完所有图像块后，将能找到所有的差异图像块，所有差异图像块按编号顺序缓存到差异图像块队列中。S201.5：遍历差异图像块队列中的元素，建立图像块编号字典来记录初始差异图像块与合并后差异图像块的编号对应关系[xi->xi’]，初始字典中每个图像块均指向自身编号，位置对应关系为[xi->xi]。

S202：开始合并差异图像块，具体地，S202.1：遍历差异图像块队列中的差异图像块；S202.2：对于每个差异图像块Bj（xj,ltj,wj,hj），均查找在它左侧和上侧是否也是差异图像块，具体查找方式为：在图像块编号字典查找是否存在[xj-1,xw]项和[xj-X,xh]项，若存在[xj-1,xw]项，则xw对应的Bw图像块为Bj左侧的差异图像块；若存在[xj-X,xh]项，则xh对应的Bh图像块为Bj上侧的差异图像块。需要注意：图像块矩阵中第一行图像块无需查找上侧差异图像块，第一列图像块无需查找左侧图像块；S202.3：若存在左侧差异图像块Bw，将当前图像块跟左侧差异图像块合并，具体合并方法为：将差异块Bw修改为（xw,ltw,ww+wj,MAX(hW,hj)），从差异图像块队列中去除图像块Bj，并将图像块编号字典中的[xj->xj]更新为[xj->xw]，所有的[xi->xj]也更新为[xi->xw]；S202.4：若不存在左侧差异图像块，但存在上侧差异图像块Bh，将当前图像块跟上侧差异图像块合并，具体合并方法为：将差异块Bh修改为（xh,lth,MAX(ww,wj),hW+hj），从差异图像块队列中去除图像块Bj，并将图像块编号字典中的[xj->xj]更新为[xj->xh]，所有的[xi->xj]也更新为[xi->xh]；S202.5：循环S202.1到S202.5的操作，直到差异图像块队列中的所有差异图像块均不相邻。

S203：依次将当前帧画面中与差异图像块队列中的差异图像块对应区域的图像发送到指定地址（图像队列），并记录已发送的图像的大小、位置。

S204：当发现连续20帧画面均发送了大小、位置相同的差异图像时，将这些图像对应区域标记为视频播放区域。具体地，S204.1：发送帧画面的差异图像时，若发现当前标记了视频播放区域，且发送图像中存在与视频区域重叠度大于90%的图像，则直接将视频播放区域也作为差异图像块发送,如果重叠率90%以下，则先发送帧画面中视频区域对应区域的帧画面图像，然后将与视频播放区域重叠的差异图像块切割后，仅发送视频区域外的切割部分；S204.2：当连续20帧画面中不存在与标记的视频区域基本重合的差异图像块，或连续20帧画面中没有差异图像块时，认为视频播放结束，取消视频区域标记。S205：当连续10帧画面中既发送了视频区域图像，又发送了其他差异图像，则启动全屏视频播放模式。S205.1：在全屏视频播放模式下，直接发送整个帧画面图像到指定地址（图像队列）；S205.2：如果连续20帧画面中只发送了视频区域图像，或连续20帧画面没有发送任何图像，则关闭全屏视频模式。S206：当前帧画面的差异图像发送完毕，进入下一帧图像继续处理。

基于同一发明构想，本发明还提供了一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述QEMU虚拟机图像输出窗口自适应调整方法。

所述处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器（例如GPU（Graphics Processing Unit-图形处理器））、或其他数据处理芯片。该处理器通常用于控制所述电子设备的总体操作。本实施例中，所述处理器用于运行所述存储器中存储的程序代码或者处理数据，例如运行所述QEMU虚拟机图像输出窗口自适应调整方法的程序代码。

所述存储器至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器可以是所述电子设备的内部存储单元，例如该电子设备的硬盘或内存。在另一些实施例中，所述存储器也可以是所述电子设备的外部存储设备，例如该电子设备上配备的插接式硬盘，智能存储卡(SmartMedia Card, SMC)，安全数字(Secure Digital, SD)卡，闪存卡(Flash Card)等。当然，所述存储器还可以既包括所述电子设备的内部存储单元也包括其外部存储设备。本实施例中，所述存储器通常用于存储安装于所述电子设备的操作方法和各类应用软件，例如所述QEMU虚拟机图像输出窗口自适应调整方法的程序代码等。此外，所述存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。

基于同一发明构想，本发明还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现所述QEMU虚拟机图像输出窗口自适应调整方法。

综上所述，本发明提供的QEMU虚拟机图像输出窗口自适应调整方法取消了原来的逐行对比分析得到差异图像块的步骤，改为逐块比较获取差异图像块的方式，加快了每帧画面的差异部分的扫描过程；进一步地，本发明提供的QEMU虚拟机图像输出窗口自适应调整方法通过合并差异图像块减少了每帧画面需要SPICE处理的差异图像块数量，避免了因待处理帧画面差异图像块数量过多，处理不同步导致的客户端显示画面割裂问题；另一方面也能尽可能地减少待处理的图像的数据量，减少数据处理和数据传输开销；再进一步地，本发明提供的QEMU虚拟机图像输出窗口自适应调整方法通过提前识别并标记视频播放的区域，标记视频区域后，后续图像处理时可以持续发送帧画面中与视频区域对应部分的图像，从而确保视频播放的流畅度；最后，本发明提供的方法可自适应启动全屏视频播放模式，将整个帧画面作为完整图像输出，确保SPICE中仅使用视频流处理机制处理图像，避免了因在播放视频时进行其他操作所导致的视频区域附近的画面抖动、割裂问题。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的保护范围。

Claims (7)

1.一种QEMU虚拟机图像输出窗口自适应调整方法，其特征在于，包括如下步骤：

S1、确定差异图像块：将当前帧的整个帧画面分成若干大小相同的图像块，针对每一图像块，判断该图像块相对上一帧画面的对应位置的图像块是否发生了变化，若发生了变化，则将该图像块标记为差异图像块；

S2、识别视频播放区域：采取S1的方法标记每一帧画面的差异图像块，若图像输出窗口的某一位置在切换连续多帧画面时，该位置均包括差异图像块，且差异图像块的覆盖率超过一预先设定值，则将该位置标记为所述视频播放区域；

S3、对所述视频播放区域进行自适应调整：若所述图像输出窗口在切换后续多帧画面时，所述视频播放区域外的画面均存在差异图像块，则将所述图像输出窗口切换成全屏视频模式。

2.根据权利要求1所述的QEMU虚拟机图像输出窗口自适应调整方法，其特征在于，步骤S1还包括对差异图像块进行合并，具体包括：对当前帧画面中相邻的差异图像块进行合并，直到当前帧画面中不再存在相邻的差异图像块。

3.根据权利要求1所述的QEMU虚拟机图像输出窗口自适应调整方法，其特征在于，所述预先设定值为90％。

4.根据权利要求1所述的QEMU虚拟机图像输出窗口自适应调整方法，其特征在于，针对每个图像块，若该图像块相对上一帧画面的对应位置的图像块的相似度低于90％，则认定该图像块相对于相对上一帧画面的对应位置的图像块发生了变化。

5.根据权利要求1所述的QEMU虚拟机图像输出窗口自适应调整方法，其特征在于，所述QEMU虚拟机图像输出窗口使用virtio-gpu显卡。

6.一种电子设备，其特征在于，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1至5中任一项所述的方法。

7.一种可读存储介质，其特征在于，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至5中任一项所述的方法。

Images