CN114253649A - 图像渲染方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明提供一种图像渲染方法、装置、设备及可读存储介质，图像渲染方法包括：当检测到接收图像渲染指令的速率大于或等于预设阈值时，对接收到的图像渲染指令进行图像渲染处理；基于发送周期内进行图像渲染处理得到的图像数据构建传输消息；将传输消息发送给客户端。通过本发明当检测到服务端接收图像渲染指令的速率过高时，一方面是将接收到的图像渲染指令在服务端进行图像渲染处理，另一方面是以合适的发送周期将进行图像渲染处理得到的图像数据构建传输消息发送给客户端，从而能避免客户端CPU因图像渲染负载过高而导致出现画面卡顿的问题，提升了用户体验。

Description

图像渲染方法、装置、设备及可读存储介质

技术领域

本发明涉及虚拟化技术领域，尤其涉及一种图像渲染方法、装置、设备及可读存储介质。

背景技术

在桌面虚拟化领域，通常桌面虚拟化的架构如图1所示，在宿主机里通过使用虚拟模拟器QEMU来运行虚拟机(这里的虚拟机相对于宿主机，一般称之为客户机，其中运行的操作系统例如windows7称之为客户机操作系统)，QEMU启动客户机操作系统，客户机操作系统安装和加载QXL虚拟显卡驱动，QXL驱动获取客户机操作系统产生的图像指令然后通过QEMU和服务端转换为SPICE消息发送给客户端，客户端收到SPICE消息后进行相应的图像渲染，用户从而可以看到虚拟客户机操作系统里的桌面图像。

目前个人日常使用的电脑和操作系统，通常使用60FPS的显示器来显示图像，一般配有专门的物理显卡来渲染操作系统产生的图像指令，物理显卡的性能高，可以满足操作系统产生图像指令的速度。

当我们在使用云桌面的场景下，客户机操作系统是运行在虚拟机里，当用户访问云端桌面，客户机操作系统和没有使用云桌面场景的时候一样以同样的速度产生图像指令，最终客户端会以同样的速度收到SPICE消息，目前的物理显卡不支持SPICE消息的渲染，只能使用CPU来进行渲染，在某些视频播放、网络游戏、绘图软件等图像指令很多的情况下，CPU的渲染性能不够，就会导致画面的卡顿，影响用户体验。

发明内容

本发明的主要目的在于提供一种图像渲染方法、装置、设备及可读存储介质，旨在解决桌面虚拟化领域在某些视频播放、网络游戏、绘图软件等图像指令很多的情况下，客户端CPU渲染性能不足而导致画面卡顿的技术问题。

第一方面，本发明提供一种图像渲染方法，所述图像渲染方法包括：

当检测到接收图像渲染指令的速率大于或等于预设阈值时，对接收到的图像渲染指令进行图像渲染处理；

基于发送周期内进行图像渲染处理得到的图像数据构建传输消息；

将传输消息发送给客户端。

可选的，所述基于发送周期内进行图像渲染处理得到的图像数据构建传输消息的步骤包括：

通过构建程序构建发送周期内进行图像渲染处理得到的图像数据对应的传输消息。

可选的，所述通过构建程序构建发送周期内进行图像渲染处理得到的图像数据对应的传输消息的步骤包括：

将发送周期内进行图像渲染处理得到的图像数据进行合并，把合并后的数据构建成SPICE_MSG_DISPLAY_DRAW_COPY类型的传输消息。

可选的，在所述当检测到接收图像渲染指令的速率大于或等于预设阈值时，对接收到的图像渲染指令进行图像渲染处理的步骤之后，还包括：

将进行图像渲染处理得到的图像数据存储。

可选的，所述基于发送周期内进行图像渲染处理得到的图像数据构建传输消息的步骤包括：

读取发送周期内存储的图像数据，并基于读取的图像数据构建传输消息。

第二方面，本发明还提供一种图像渲染装置，所述图像渲染装置包括：

渲染模块，用于当检测到接收图像渲染指令的速率大于或等于预设阈值时，对接收到的图像渲染指令进行图像渲染处理；

构建模块，用于基于发送周期内进行图像渲染处理得到的图像数据构建传输消息；

发送模块，用于将传输消息发送给客户端。

可选的，所述构建模块，用于：

通过构建程序构建发送周期内进行图像渲染处理得到的图像数据对应的传输消息。

可选的，所述构建模块，用于：

将发送周期内进行图像渲染处理得到的图像数据进行合并，把合并后的数据构建成SPICE_MSG_DISPLAY_DRAW_COPY类型的传输消息。

第三方面，本发明还提供一种图像渲染设备，所述图像渲染设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的图像渲染程序，其中所述图像渲染程序被所述处理器执行时，实现如上述所述的图像渲染方法的步骤。

第四方面，本发明还提供一种可读存储介质，所述可读存储介质上存储有图像渲染程序，其中所述图像渲染程序被处理器执行时，实现如上述所述的图像渲染方法的步骤。

本发明中，当检测到接收图像渲染指令的速率大于或等于预设阈值时，对接收到的图像渲染指令进行图像渲染处理；基于发送周期内进行图像渲染处理得到的图像数据构建传输消息；将传输消息发送给客户端。通过本发明当检测到服务端接收到图像渲染指令的速率过高时，一方面是将接收到的图像渲染指令在服务端进行图像渲染处理，另一方面是以合适的发送周期将进行图像渲染处理得到的图像数据构建传输消息发送给客户端，从而能避免客户端CPU因图像渲染负载过高而导致出现画面卡顿的问题，提升了用户体验。

附图说明

图1为本发明涉及的应用领域桌面虚拟化的架构图；

图2为本发明图像渲染设备一实施例的硬件结构示意图；

图3为本发明图像渲染方法一实施例的流程示意图；

图4为本发明图像渲染装置一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

第一方面，本发明实施例提供一种图像渲染设备，该图像渲染设备可以是个人计算机(personal computer，PC)、笔记本电脑、服务器等具有数据处理功能的设备。

参照图2，图2为本发明图像渲染设备一实施例的硬件结构示意图。本发明实施例中，图像渲染设备可以包括处理器1001(例如中央处理器Central Processing Unit，CPU)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)；网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真WIreless-FIdelity，WI-FI接口)；存储器1005可以是高速随机存取存储器(random accessmemory，RAM)，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图2中示出的硬件结构并不构成对本发明的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

继续参照图2，图2中作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像渲染程序。其中，处理器1001可以调用存储器1005中存储的图像渲染程序，并执行本发明实施例提供的图像渲染方法。

第二方面，本发明实施例提供了一种图像渲染方法。

为了更清楚地展示本申请实施例提供的图像渲染方法，首先介绍一下本申请实施例提供的图像渲染方法的应用场景。

本申请实施例提供的图像渲染方法应用在云桌面场景下，当客户端访问虚拟客户机的云桌面进行视频播放、网络游戏、绘图软件操作等的情况下，通常会产生大量的图像渲染指令，此时使用本发明的图像渲染方法，将接收到的图像渲染指令在服务端进行图像渲染处理，然后以客户端能够承载的较低的速率发送给客户端，从而减轻客户端的图像渲染压力。

一实施例中，参照图3，图3为本发明图像渲染方法一实施例的流程示意图，如图3所示，图像渲染方法包括：

步骤S10，当检测到接收图像渲染指令的速率大于或等于预设阈值时，对接收到的图像渲染指令进行图像渲染处理。

本实施例中，图像渲染方法的执行主体为服务端。

可在服务端设置监测模块，用于监测服务端接收到图像指令的速率，根据速率大小来执行相应的策略，当大于或等于预设阈值时，在服务端进行图像渲染处理，再将渲染好的图像数据发送给客户端，从而达到减轻客户端图像渲染压力的目的，当小于预设阈值时，将服务端接收到图像渲染指令直接转发给客户端进行处理，不会造成客户端图像渲染负载过高。

预设阈值是根据客户端能够承载的图像渲染处理的能力来设置，当服务端接收图像渲染指令的速率大于或等于预设阈值时，若不在服务端进行图像渲染处理，而是把服务端接收到的图像渲染指令直接转发给客户端，就会造成客户端进行图像渲染处理的负载过高。

例如，某客户端能够承载的图像渲染处理的能力为60FPS，预设阈值可以设为小于或等于60FPS的某个值，例如预设阈值设为50FPS，假设某段时间周期里服务端接收图像渲染指令的速率为100FPS，此时若直接将服务端接收到的图像渲染指令按100FPS的速率直接转发给客户端进行处理，就会造成客户端图像渲染负载过高，形成画面卡顿的情况，从而影响用户体验。在使用本发明图像渲染方法的情况下，此时服务端检测到接收图像渲染指令的速率100FPS大于50FPS，那么我们就将对接收到的图像渲染指令在服务端进行图像渲染处理，从而避免客户端进行图像渲染处理的负载过高。

步骤S20，基于发送周期内进行图像渲染处理得到的图像数据构建传输消息。

本实施例中，发送周期是指服务端给客户端发送传输消息的周期频率，假设发送周期为0.5秒，则每0.5秒服务端将为此段时间内进行图像渲染处理得到的图像数据构建传输消息；

发送周期根据客户端能够承载的图像渲染处理的能力来设置，发送周期形成相应的传输消息的速率。

例如，某客户端能够承载的图像渲染处理的能力为60FPS，那么对应的接收每帧画面的时间周期即为1/60秒，我们以1/60秒为时间周期来对此期间进行图像渲染处理得到的图像数据构建传输消息。发送时间周期可以大于或等于1/60秒，当以大于或等于1/60秒的时间周期来对此期间的进行图像渲染处理得到的图像数据构建传输消息，并以此速率进行发送的情况下，不会造成客户端图像渲染负载过高。

步骤S30，将传输消息发送给客户端。

本实施例中，将服务端某个发送周期内进行图像渲染处理得到的图像数据构建的传输消息发送给客户端，客户端进行相应的图像渲染处理后，客户端得以显示该段时间周期里的客户机中的图像画面。

本实施例中，当检测到接收图像渲染指令的速率大于或等于预设阈值时，对接收到的图像渲染指令进行图像渲染处理；基于发送周期内进行图像渲染处理得到的图像数据构建传输消息；将传输消息发送给客户端。当检测到服务端接收图像指令的速率大于或等于预设阈值时，将接收到的图像渲染指令在服务端进行图像渲染处理，然后以客户端能够承载的发送周期来对此期间进行图像渲染处理得到的图像数据构建传输消息，按照相应的发送周期将传输消息发送给客户端，能避免客户端CPU因图像渲染负载过高而导致出现画面卡顿的问题，提升了用户体验。本实施例，仅需要对服务端进行修改，不涉及对QXL、QEMU和客户端等的修改，后续更新升级便利。

进一步地，一实施例中，步骤S20包括：

通过构建程序构建发送周期内进行图像渲染处理得到的图像数据对应的传输消息。

本实施例中，图像渲染指令分为三种：客户机操作系统产生的指令、QXL指令、SPICE消息。QXL驱动把客户机操作系统产生的指令转换成QXL指令发送给服务端，服务端(spice server)把QXL指令转换成SPICE消息发送给客户端(spice client)，每种QXL指令对应一种SPICE消息；

QXL是应用于虚拟机中的显卡驱动程序，为虚拟机中的操作系统提供图形界面传输接口；

SPICE是由Qumranet开发的开源网络传输协议，SPICE主要用于为QEMU虚拟机提供高质量的远程桌面访问，提供与虚拟桌面设备的远程交互实现，支持图像、2D传输、720P视频播放等；

本实施例中，服务端不再发送其他SPICE消息，将只发送我们通过构建程序构建的发送周期内进行图像渲染处理得到的图像数据对应的传输消息。

进一步地，一实施例中，步骤S20包括：

将发送周期内进行图像渲染处理得到的图像数据进行合并，把合并后的数据构建成SPICE_MSG_DISPLAY_DRAW_COPY类型的传输消息。

本实施例中，SPICE_MSG_DISPLAY_DRAW_COPY是一种可用于SPICE传输协议的消息类型，在发送周期内，服务端每接收到一条图像渲染指令即进行图像渲染，当到了发送时间，将发送周期内进行图像渲染得到的图像数据进行合并，构建成SPICE_MSG_DISPLAY_DRAW_COPY类型的传输消息，客户端在接收到此传输消息后进行相应的图像渲染从而显示图像。

本实施例，相比于服务端在接收图像渲染指令后等缓存满了进行渲染，同时服务端无固定周期的直接转发服务端图像渲染指令给客户端，以及服务端在每次接收到图像渲染指令后都进行渲染，同时以固定周期将进行图像渲染处理后得到的图像数据发送给客户端，本实施例可以平衡利用服务端和客户端的资源来更好的实现图像渲染处理，当客户端能够承载的时候就把图像渲染处理放在客户端，当客户端负载过高的时候就把图像渲染处理放在服务端。

进一步地，一实施例中，在步骤S10之后，还包括：

将进行图像渲染处理得到的图像数据存储。

本实施例中，进行图像渲染处理得到的图像数据可以但不限于存储在缓存、数据库、存储介质(如ROM/RAM、磁碟、光盘)中，但此处的图像数据存储并不是必须的，进行图像渲染处理得到的图像数据也可以不经存储直接用于构建传输消息。

进一步地，一实施例中，步骤S20包括：

读取发送周期内存储的图像数据，并基于读取的图像数据构建传输消息。

本实施例中，基于对图像数据进行了存储的情况，若对图像数据进行了存储，则读取发送周期内存储中的图像数据，并基于读取的图像数据构建传输消息。

基于读取的图像数据通过构建程序构建发送周期内进行图像渲染处理得到的图像数据对应的传输消息，客户端在接收到此传输消息后进行相应的图像渲染从而显示图像。

在发送周期内所读取的图像数据，将图像数据进行合并，构建成SPICE_MSG_DISPLAY_DRAW_COPY类型的传输消息。

第三方面，本发明实施例还提供一种图像渲染装置。

参照图4，图4为本发明图像渲染装置一实施例的功能模块示意图。

本实施例中，所述图像渲染装置包括：

渲染模块10，用于当检测到接收图像渲染指令的速率大于或等于预设阈值时，对接收到的图像渲染指令进行图像渲染处理；

构建模块20，用于基于发送周期内进行图像渲染处理得到的图像数据构建传输消息；

发送模块30，用于将传输消息发送给客户端。

进一步地，一实施例中，构建模块20，用于：

通过构建程序构建发送周期内进行图像渲染处理得到的图像数据对应的传输消息。

进一步地，一实施例中，构建模块20，用于：

将发送周期内进行图像渲染处理得到的图像数据进行合并，把合并后的数据构建成SPICE_MSG_DISPLAY_DRAW_COPY类型的传输消息。

进一步地，一实施例中，所述图像渲染装置还包括存储模块，用于：

将进行图像渲染处理得到的图像数据存储。

进一步地，一实施例中，所述图像渲染装置还包括读取模块，用于：

读取发送周期内存储的图像数据，并基于读取的图像数据构建传输消息。

其中，上述图像渲染装置中各个模块的功能实现与上述图像渲染方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。

第四方面，本发明实施例还提供一种可读存储介质。

本发明可读存储介质上存储有图像渲染程序，其中所述图像渲染程序被处理器执行时，实现如上述的图像渲染方法的步骤。

其中，图像渲染程序被执行时所实现的方法可参照本发明图像渲染方法的各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种图像渲染方法，其特征在于，所述图像渲染方法包括：

当检测到接收图像渲染指令的速率大于或等于预设阈值时，对接收到的图像渲染指令进行图像渲染处理；

基于发送周期内进行图像渲染处理得到的图像数据构建传输消息；

将传输消息发送给客户端。

2.如权利要求1所述的图像渲染方法，其特征在于，所述基于发送周期内进行图像渲染处理得到的图像数据构建传输消息的步骤包括：

通过构建程序构建发送周期内进行图像渲染处理得到的图像数据对应的传输消息。

3.如权利要求2所述的图像渲染方法，其特征在于，所述通过构建程序构建发送周期内进行图像渲染处理得到的图像数据对应的传输消息的步骤包括：

将发送周期内进行图像渲染处理得到的图像数据进行合并，把合并后的数据构建成SPICE_MSG_DISPLAY_DRAW_COPY类型的传输消息。

4.如权利要求1所述的图像渲染方法，其特征在于，在所述当检测到接收图像渲染指令的速率大于或等于预设阈值时，对接收到的图像渲染指令进行图像渲染处理的步骤之后，还包括：

将进行图像渲染处理得到的图像数据存储。

5.如权利要求4所述的图像渲染方法，其特征在于，所述基于发送周期内进行图像渲染处理得到的图像数据构建传输消息的步骤包括：

读取发送周期内存储的图像数据，并基于读取的图像数据构建传输消息。

6.一种图像渲染装置，其特征在于，所述图像渲染装置包括：

渲染模块，用于当检测到接收图像渲染指令的速率大于或等于预设阈值时，对接收到的图像渲染指令进行图像渲染处理；

构建模块，用于基于发送周期内进行图像渲染处理得到的图像数据构建传输消息；

发送模块，用于将传输消息发送给客户端。

7.如权利要求6所述的图像渲染装置，其特征在于，所述构建模块，用于：

通过构建程序构建发送周期内进行图像渲染处理得到的图像数据对应的传输消息。

8.如权利要求7所述的图像渲染装置，其特征在于，所述构建模块，用于：

将发送周期内进行图像渲染处理得到的图像数据进行合并，把合并后的数据构建成SPICE_MSG_DISPLAY_DRAW_COPY类型的传输消息。

9.一种图像渲染设备，其特征在于，所述图像渲染设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的图像渲染程序，其中所述图像渲染程序被所述处理器执行时，实现如权利要求1至5中任一项所述的图像渲染方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有图像渲染程序，其中所述图像渲染程序被处理器执行时，实现如权利要求1至5中任一项所述的图像渲染方法的步骤。

Images