CN116051369A - 虚拟桌面图像处理方法、装置及存储介质 - Google Patents

Abstract

本发明提供了一种虚拟桌面图像处理方法、装置及存储介质，方法包括：通过向服务器发送虚拟桌面请求；接收服务器反馈的虚拟桌面的第一图像数据，第一图像数据是服务器对虚拟桌面的原始图像数据通过第一插值超分方式降低分辨率后获得的；通过第二插值超分方式对第一图像数据进行分辨率增强，获得虚拟桌面的第二图像数据；通过展示窗口展示第二图像数据。由于本方案中的第一图像数据是服务器对原始图像数据进行分辨率降低之后得到的，该第一图像数据数据量减小，可以降低终端一侧对高带宽和高码流的需求，进而提高了虚拟桌面在弱网环境下的视频播放流畅性。

Description

虚拟桌面图像处理方法、装置及存储介质

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种虚拟桌面图像处理方法、装置及存储介质。

背景技术

随着虚拟桌面架构(Virtual Desktop Infrastructure，VDI)视频领域不断进步，对于高分辨率图像和视频的需求日益增长，然而受设备性能、成像环境限制以及其他方面因素的影响，在某些情况下虚拟桌面展示的仍然是低分辨率的图像。在业内的VDI编码模块下，原始的BGR图像直接转换为YUV码流，当虚拟桌面在弱网环境下，高分辨率的图像数据无法流畅传输，将会极大地降低虚拟桌面的使用体验，出现视频卡顿现象。

发明内容

本发明实施例提供的一种虚拟桌面图像处理方法、装置及存储介质，可以提高虚拟桌面在弱网环境下的视频播放流畅性。

本发明的技术方案是这样实现的：

本发明实施例提供了一种虚拟桌面图像处理方法，包括：

向服务器发送虚拟桌面请求；

接收所述服务器反馈的虚拟桌面的第一图像数据，所述第一图像数据是所述服务器对所述虚拟桌面的原始图像数据通过第一插值超分方式降低分辨率后获得的；

通过第二插值超分方式对所述第一图像数据进行分辨率增强，获得所述虚拟桌面的第二图像数据；

通过展示窗口展示所述第二图像数据。

上述方案中，所述第一图像数据为所述虚拟桌面中的视频区域图像数据。

上述方案中，所述第二图像数据中的图像帧与所述原始图像数据中对应的原始图像帧的分辨率一致。

上述方案中，所述第一插值超分方式用于根据所述原始图像数据中的各个原始图像帧的每N个像素点进行像素平均处理，获得所述第一图像数据；N为大于2的整数；

所述第二插值超分方式用于根据待编辑图像帧的像素点位置坐标比与预设比例，获得目标位置坐标，利用所述目标位置坐标在所述第一图像数据中的对应图像帧中获取目标像素点，以填充到所述待编辑图像帧的对应位置，获得所述第二图像数据。

上述方案中，所述第一图像数据是所述服务器根据预设算法程序以第一插值超分方式对所述虚拟桌面的原始图像数据的分辨率进行降低后获得的；

所述通过第二插值超分方式对所述第一图像数据进行分辨率增强，获得所述虚拟桌面的第二图像数据，包括：

通过芯片模块根据所述第二插值超分方式对所述第一图像数据进行分辨率增强，获得所述虚拟桌面的所述第二图像数据。

上述方案中，所述向服务器发送虚拟桌面请求之前，所述方法还包括：

将实时监测的网络延迟信息发送给所述服务器，供所述服务器根据所述网络延迟信息确定当前网络状态为弱网状态。

上述方案中，所述第二图像数据在所述弱网状态下的帧率与所述原始图像数据在正常网络状态下的帧率一致。

本发明实施例还提供了一种虚拟桌面图像处理方法，应用于服务器，包括：

接收终端发送的虚拟桌面请求，响应所述虚拟桌面请求获取所述虚拟桌面对应的原始图像数据；

通过第一插值超分方式对所述原始图像数据进行分辨率降低，获得第一图像数据；

将所述第一图像数据发送给所述终端。

上述方案中，接收终端发送的虚拟桌面请求，响应所述虚拟桌面请求获取所述虚拟桌面对应的原始图像数据之前，所述方法还包括：

接收所述终端发送的网络延迟信息，基于所述网络延迟信息确定所述终端处于弱网状态。

上述方案中，所述终端用于通过芯片模块根据第二插值超分方式对所述第一图像数据进行分辨率增强；

所述通过第一插值超分方式对所述原始图像数据进行分辨率降低，获得第一图像数据，包括：

根据预设算法程序以第一插值超分方式对所述虚拟桌面的所述原始图像数据的分辨率进行降低后，获得所述第一图像数据。

本发明实施例还提供了一种虚拟桌面图像处理装置，应用于终端，包括：

第一发送单元，用于向服务器发送虚拟桌面请求；

第一接收单元，用于接收所述服务器反馈的虚拟桌面的第一图像数据，所述第一图像数据是所述服务器对所述虚拟桌面的原始图像数据通过第一插值超分方式降低分辨率后获得的；

第一图像处理单元，用于通过第二插值超分方式对所述第一图像数据进行分辨率增强，获得所述虚拟桌面的第二图像数据；

展示单元，用于通过展示窗口展示所述第二图像数据。

本发明实施例还提供了一种虚拟桌面图像处理装置，应用于服务器，包括：

第二接收单元，用于接收终端发送的虚拟桌面请求，响应所述虚拟桌面请求获取所述虚拟桌面对应的原始图像数据；

第二图像处理单元，用于通过第一插值超分方式对所述原始图像数据进行分辨率降低，获得第一图像数据；

第二发送单元，用于将所述第一图像数据发送给所述终端。

本发明实施例还提供了一种终端，包括第一存储器和第一处理器，所述第一存储器存储有可在第一处理器上运行的计算机程序，所述第一处理器执行所述程序时实现终端方法中的步骤。

本发明实施例还提供了一种服务器，包括第二存储器和第二处理器，所述存储器存储有可在第二处理器上运行的计算机程序，所述第二处理器执行所述程序时实现服务器一侧方法中的步骤。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被第二处理器执行时实现终端一侧所述方法中的步骤。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被第二处理器执行时实现服务器一侧所述方法中的步骤。

本发明实施例中，通过向服务器发送虚拟桌面请求；接收服务器反馈的虚拟桌面的第一图像数据，第一图像数据是服务器对虚拟桌面的原始图像数据通过第一插值超分方式降低分辨率后获得的；通过第二插值超分方式对第一图像数据进行分辨率增强，获得虚拟桌面的第二图像数据；通过展示窗口展示第二图像数据。由于本方案中的第一图像数据是服务器对原始图像数据进行分辨率降低之后得到的，该第一图像数据数据量减小，可以降低终端一侧对高带宽和高码流的需求，进而提高了虚拟桌面在弱网环境下的视频播放流畅性。

附图说明

图1为本发明实施例提供的相关技术的一个可选的效果示意图；

图2为本发明实施例提供的虚拟桌面图像处理方法的交互示意图；

图3为本发明实施例提供的虚拟桌面图像处理方法的一个可选的效果示意图；

图4为本发明实施例提供的虚拟桌面图像处理方法的一个可选的效果示意图；

图5为本发明实施例提供的虚拟桌面图像处理方法的一个可选的效果示意图；

图6为本发明实施例提供的虚拟桌面图像处理方法的一个可选的效果示意图；

图7为本发明实施例提供的虚拟桌面图像处理装置的结构示意图一；

图8为本发明实施例提供的终端的一种硬件实体示意图；

图9为本发明实施例提供的虚拟桌面图像处理装置的结构示意图二；

图10为本发明实施例提供的服务器的一种硬件实体示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和实施例对本发明的技术方案进一步详细阐述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

如果发明文件中出现“第一/第二”的类似描述则增加以下的说明，在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。

示例性的，结合图1，相关技术中，VDI编码模块下，服务器将原始BGR图像直接转换为YUV码流通过高效率视频编码(High Efficiency Video Coding，hevc)压缩码流传输给终端。终端接收到hevc压缩码流之后，转化为YUV码流，再将YUV码流转化为BGR图像进行播放。当图像分辨率较大时(如1920×1080)，数据的流畅传输依赖较高的带宽与码流。当终端在弱网环境下，高分辨率的图像数据无法流畅传输，将会极大地降低虚拟桌面的使用体验，出现视频播放不流畅卡顿情况。

本发明实施例提供了一种虚拟桌面图像处理方法，请参阅图2，为本发明实施例提供的虚拟桌面图像处理方法的交互示意图，将结合图2示出的步骤进行说明。

S101、终端向服务器发送虚拟桌面请求。

本发明实施例中，终端向服务器发送虚拟桌面请求。其中，虚拟桌面请求用于请求当前需要播放的图像数据。

本发明实施例中，终端可以为承载了虚拟桌面的设备。用户通过终端的人机交互设备向服务器发送指令，终端响应该指令向服务器发送虚拟桌面请求。

S102、服务器接收终端发送的虚拟桌面请求，响应虚拟桌面请求获取虚拟桌面对应的原始图像数据。

本发明实施例中，服务器接收终端发送的虚拟桌面请求，响应虚拟桌面请求获取虚拟桌面对应的原始图像数据。

本发明实施例中，虚拟桌面请求中包括了原始图像数据的标识信息，利用该标识信息在图像数据库中获取对应的原始图像数据。

S103、服务器通过第一插值超分方式对原始图像数据进行分辨率降低，获得第一图像数据。

本发明实施例中，服务器通过第一插值超分方式对原始图像数据进行分辨率降低，获得第一图像数据。

其中，第一差值超分方式可以包括：INTER AREA算法。

本发明实施例中，由于服务器预先确定了终端的网络状态为弱网状态，则服务器可以通过第一插值超分方式对原始图像数据进行分辨率降低，得到第一图像数据。服务器将第一图像数据发送给终端。

本发明实施例中，服务器确定了终端的网络状态为弱网状态的过程可以包括：终端将实时监测的网络延迟信息发送给服务器，供服务器根据网络延迟信息确定当前网络状态为弱网状态。服务器接收终端发送的网络延迟信息，基于网络延迟信息确定终端处于弱网状态。其中，若该网络延期信息大于预设阈值，则服务器可以确定出终端处于弱网状态。

本发明实施例中，服务器基于虚拟桌面请求中包括的展示窗口信息，通过第一插值超分方式对原始图像数据中的预定图像帧进行分辨率降低得到第三图像数据。服务器对第三图像数据进行压缩得到第一图像数据。

本发明实施例中，若展示窗口信息表征展示窗口为全屏窗口，则服务器对原始视频数据中的多个预定图像帧通过第一插值超分方式进行分辨率降低处理，得到多个中间图像帧；将多个中间图像帧转化得到预定格式码流，对其进行编码压缩得到第一图像数据。

本发明实施例中，若展示窗口信息表征展示窗口为非全屏窗口，则服务器在原始视频数据中提取出包含预定信息的多个第一图像帧；将多个第一图像帧进行无损压缩得到第一压缩数据。将原始图像数据中的多个预定图像帧通过第一插值超分方式进行分辨率降低处理，得到多个第二图像帧；将多个第二图像帧转化为预定格式码流，将预定格式码流与第一压缩数据进行编码压缩，得到第一图像数据。其中，预定信息可以为文本信息。

本发明实施例中，终端用于通过芯片模块根据第二插值超分方式对第一图像数据进行分辨率增强。服务器根据预设算法程序以第一插值超分方式对虚拟桌面的原始图像数据的分辨率进行降低后，获得第一图像数据。

示例性的，结合图3。服务器接收到虚拟桌面请求之后。服务器在本地查找到对应的原始图像数据，服务器在原始图像数据中确定出一个图像帧。该图像帧可以为显示鸟类的图像帧。服务器将该视频帧分辨率降低后，再编码形成X264数据，发送给终端。

S104、终端接收服务器反馈的虚拟桌面的第一图像数据。

本发明实施例中，终端接收服务器反馈的虚拟桌面的第一图像数据，第一图像数据是服务器响应预设程序对虚拟桌面的原始图像数据，通过第一插值超分方式降低分辨率后获得的。

本发明实施例中，第一图像数据为虚拟桌面中的视频区域图像数据。该视频区域可以为全屏区域也可以为非全屏区域。

S105、终端通过第二插值超分方式对第一图像数据进行分辨率增强，获得虚拟桌面的第二图像数据。

本发明实施例中，终端通过第二插值超分方式对第一图像数据进行分辨率增强，获得虚拟桌面的第二图像数据。

本发明实施例中，终端可以利用双三次插值算法(Bicubic interpolation)对第一图像数据进行分辨率增强，得到其中的预定图像帧分辨率增强后的第二图像数据。

本发明实施例中，终端也可以利用其它的插值超分算法对第一图像数据进行分辨率增强，得到其中的预定图像帧分辨率重建之后的第二图像数据。

本发明实施例中，终端基于展示窗口对第一图像数据进行解压，得到第三图像数据。通过第二插值超分方式对第三图像数据中的预定图像帧进行分辨率增强，获得第二图像数据。

本发明实施例中，第二图像数据中的图像帧与原始图像数据中对应的原始图像帧的分辨率一致。

本发明实施例中，第一插值超分方式用于根据原始图像数据中的各个原始图像帧的每N个像素点进行像素平均处理，得到第一图像数据；N为大于2的整数。

第二插值超分方式用于根据待编辑图像帧的像素点位置坐标与预设比例，获得目标位置坐标，利用目标位置坐标在第一图像数据中的对应图像帧中获取目标像素点，以填充到待编辑图像帧的对应位置，得到第二图像数据。第一图像数据中的每个图像帧都对应一个待编辑图像帧。

示例性的，像素点位置坐标可以为(a，b)，预设比例可以为2。终端将像素点位置坐标比上2可以得到目标位置坐标(a/2，b/2)，终端利用目标位置坐标(a/2，b/2)在第一图像数据的对应图像帧中获取目标像素点。终端利用该目标像素点填充在待编辑图像帧的像素点位置坐标表征的位置，以得到第二图像数据。本发明实施例中，第一图像数据是服务器根据预设算法程序以第一插值超分方式对虚拟桌面的原始图像数据的分辨率进行降低后获得的。

终端通过芯片模块根据第二插值超分方式对第一图像数据进行分辨率增强，获得虚拟桌面的第二图像数据。

本发明实施例中，第二图像数据在弱网状态下的帧率与原始图像数据在正常网络状态下的帧率一致。在虚拟桌面使用过程中，基于同帧数的视频传输前提下，高分辨率的视频和图像传输耗费了大量的带宽和码流，在弱网状态下，高分辨率的视频和图像的数据量很大进而造成视频帧率下降，影响客户体验。本方案通过引入插值超分方式降低了视频和图像的分辨率，进而视频和图像的数据量减小，保障了视频的高帧率传输，提高了视频播放的流畅性。

本发明实施例中，还可以计算第二图像数据中的图像帧与原始图像数据中对应的原始图像帧的第一结构相似性；计算第二图像帧与原始图像帧的第二结构相似性；其中，第二图像帧是通过第二分辨率增强方式对原始视频帧进行处理得到的。基于第一结构相似性与第二结构相似性的差值，确定第二插值超分方式与第二分辨率增强方式的一致性。示例性的，若该差值小于0.1％，则确定第二插值超分方式与第二分辨率增强方式一致。其中，可以计算第二图像数据中的图像帧与原始图像数据中对应的原始图像帧的结构相似性(Structural Similarity，SSIM)，或者峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)。

示例性的，结合图4，终端接收到服务器发送的X264数据。终端对X264数据进行解压得到多个图像帧。终端在多个图像帧中确定出一个图像帧。该图像帧也可以为显示鸟类的图像帧。终端将该图像帧的分辨率增强，同样的可以得到了每个图像帧的分辨率重建后的第二图像数据。服务器利用该第二图像数据数据进行播放。

本发明实施例中，若终端的展示窗口为全屏窗口，则终端对第一图像数据进行解压，得到预定格式码流。终端通过预定格式码流转化得到多个中间图像帧。利用第二插值超分方式对多个中间图像帧进行分辨率增强，得到多个预定图像帧以组成第二图像数据。

其中，第一图像数据可以为hevc压缩数据。预定格式码流可以为YUV码流。

本发明实施例中，本发明实施例中，终端可以通过预定格式码流(YUV码流)转化得到BGR格式的多个中间图像帧。

其中，YUV和BGR都是一种颜色空间编码。BGR分别是Red，Green，Blue三基色，每个分量占用一个字节，取值为0-255，三个0为黑，三个255为白，每三个字节为一个像素。YUV中的Y为亮度分量，UV为色度分量。YUV有两大类，平面格式和打包格式，平面格式就是把YUV的三个分量Y，U，V分开存放，而打包格式是把YUV的三个分量都放在一起，如按照一定的编码顺序存放在一个数组中。一个图像帧具有长和高两个变量，同时它的长和高都是以像素点为基本单位，所以一个图像帧总的像素就是这张图的面积width*height，既然width和height都不变，所以一个图像帧的一行所占用的内存就为:width*(一个像素点占用的字节数)。终端可以对YUV码流进行提取单帧处理，YUV格式单帧图片所占用的内存应该就为width*height*2，YUV格式和BGR之间的转换可以采用相关技术中的方法，本发明实施例中不做具体介绍。

本发明实施例中，终端可以利用双三次插值算法对多个中间图像帧进行分辨率增强，得到多个预定图像帧。终端可以利用多个预定图像帧上具有的坐标编码对多个预定图像帧进行排序，进而得到第二图像数据。

示例性的，结合图5，服务器采用基于区域像素关系的一种重采样或者插值方式。该方法是图像缩小的首选方法，它可以产生更少的波纹。当图像缩小2倍时候，它的效果与INTER_LINEAR效果相似。在OPENCV库中对插值算法优化比较好，所以采用从OPENCV库分离插值超分代码的策略，具体做法是服务器获取到原始BGR图像数据时，而是利用INTER_AREA算法先对原始图像数据作分辨率降低处理，将图像分辨率降低后，再对处理后的图像生成YUV码流，服务器将该YUV码流压缩为hevc压缩码流传输给终端。

终端接收服务器端传来的第一图像数据(hevc压缩码流)解码后的到的图像是降低分辨率后的图像(也就是YUV码流)，服务器将YUV码流转化为BGR图像后，对BGR图像作插值放大处理得到分辨率增强后的第二图像数据。

本发明实施例中，若展示窗口为非全屏窗口，则终端对第一图像数据进行解压，得到预定格式码流及无损还原的多个第一图像帧。终端通过预定格式码流转化得到多个第二图像帧。利用第二插值超分方式对多个第二图像帧进行分辨率增强，得到多个预定图像帧。终端将多个第一图像帧与多个预定图像帧按照顺序组合，得到第二图像数据。

本发明实施例中，终端通过将YUV码流转化为BGR图像(也就是多个第二图像帧)。

其中，多个第一图像帧分别包含对应的第一坐标编码；多个第一图像帧分别包含对应的第二坐标编码；多个第一坐标编码与多个第二坐标编码具有一定的次序；终端确定出多个第一坐标编码在多个第二坐标编码中的次序信息；按照次序信息将多个第一图像帧插入多个预定图像帧，进而得到第二图像数据。

示例性的，结合图6，目前在VDI桌面系统中，视频播放分为两个主要场景：全屏视频播放和非全屏视频播放。其中，全屏视频播放走的是X264编码，也就是服务器获取BGR文件，将BGR文件area缩小进而得到YUV码流。服务器将YUV码流压缩后得到X264数据发送给终端，终端对X264数据解压得到BGR文件，对BGR文件通过bicubic放大分辨率得到视频数据，再通过显示器渲染显示该视频数据。

非全屏视频播放是通过缓存命中+无损编码(GLZ)+X264编码。服务器对获取的BGR文件通过对应的算法确定出其中的纯色小图像，文字图像。服务器对该纯色小图像，文字图像通过无损压缩得到一个数据。服务器对BGR文件中的预定图像帧通过area降低对应的分辨率，得到YUV码流。服务器将该YUV码流转化为X264数据并发送给终端。终端接收到X264数据通过分辨率增强，得到BGR文件，终端通过显示器上的非全屏窗口进行显示。

本发明实施例中，在终端的展示界面是非全屏窗口时，服务器发送的第一图像数据减小了图像码流的大小，从而减小了对高带宽的依赖，保障弱网条件下的数据的流畅传输。

S106、通过展示窗口展示第二图像数据。

本发明实施例中，终端通过展示窗口展示第二图像数据。

本发明实施例中，终端利用第二图像数据渲染在虚拟桌面的全屏窗口或者非全屏窗口进行展示。

本发明实施例中，若终端的展示窗口为全屏窗口则该第二图像数据只包括：多个预定图像帧。若终端的展示窗口为非全屏窗口则该第二图像数据包括：多个预定图像帧及无损压缩解码后的图像帧。

本发明实施例中，通过向服务器发送虚拟桌面请求；接收服务器反馈虚拟桌面的第一图像数据，第一图像数据是服务器对虚拟桌面的原始图像数据通过第一插值超分方式降低分辨率后获得的；通过第二插值超分方式对第一图像数据进行分辨率增强，获得虚拟桌面的第二图像数据；通过展示窗口展示第二图像数据。由于本方案中的第一图像数据是服务器对原始图像数据进行分辨率降低之后得到的，该第一图像数据数据量减小，可以降低终端一侧对高带宽和高码流的需求，进而提高了虚拟桌面在弱网环境下的视频播放流畅性。

请参阅图7，为本发明实施例提供的虚拟桌面图像处理装置的结构示意图一。

本发明实施例还提供了一种虚拟桌面图像处理装置800，包括：第一发送单元803、第一接收单元804、第一图像处理单元804和展示单元805。

第一发送单元803，用于向服务器发送虚拟桌面请求；

第一接收单元804，用于接收所述服务器反馈的虚拟桌面的第一图像数据，所述第一图像数据是所述服务器对所述虚拟桌面的原始图像数据通过第一插值超分方式降低分辨率后获得的；

第一图像处理单元805，用于通过第二插值超分方式对所述第一图像数据进行分辨率增强，获得所述虚拟桌面的第二图像数据；

展示单元806，用于通过展示窗口展示所述第二图像数据。

本发明实施例中，所述第一图像数据为所述虚拟桌面中的视频区域图像数据。

本发明实施例中，所述第二图像数据中的图像帧与所述原始图像数据中对应的原始图像帧的分辨率一致。

本发明实施例中，所述第一插值超分方式用于根据所述原始图像数据中的各个原始图像帧的每N个像素点进行像素平均处理，得到所述第一图像数据；N为大于2的整数；

所述第二插值超分方式用于根据待编辑图像帧的像素点位置坐标与预设比例，获得目标位置坐标，利用所述目标位置坐标在所述第一图像数据中的对应图像帧中获取目标像素点，以填充到所述待编辑图像帧的对应位置，得到所述第二图像数据。

本发明实施例中，所述第一图像数据是所述服务器根据预设算法程序以第一插值超分方式对所述虚拟桌面的原始图像数据的分辨率进行降低后获得的；第一图像处理单元803用于通过调用芯片模块根据所述第二插值超分方式对所述第一图像数据进行分辨率增强，获得所述虚拟桌面的第二图像数据。

本发明实施例中，虚拟桌面图像处理装置800中的第一发送单元803用于将实时监测的网络延迟信息发送给所述服务器，供所述服务器根据所述网络延迟信息确定当前网络状态为弱网状态。

本发明实施例中，所述第二图像数据在所述弱网状态下的帧率与所述原始图像数据在正常网络状态下的帧率一致。

本发明实施例中，通过第一发送单元803向服务器发送虚拟桌面请求；第一接收单元804接收服务器反馈的虚拟桌面的第一图像数据，第一图像数据是服务器对虚拟桌面的原始图像数据通过第一插值超分方式降低分辨率后获得的；通过第一图像处理单元805利用第二插值超分方式对第一图像数据进行分辨率增强，获得虚拟桌面的第二图像数据；通过展示单元806控制展示窗口展示第二图像数据。由于本方案中的第一图像数据是服务器对原始图像数据进行分辨率降低之后得到的，该第一图像数据数据量减小，可以降低终端一侧对高带宽和高码流的需求，进而提高了虚拟桌面在弱网环境下的视频播放流畅性。

需要说明的是，本发明实施例中，如果以软件功能模块的形式实现上述的虚拟桌面图像处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台虚拟桌面图像处理装置(可以是个人计算机等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实施例不限制于任何特定的硬件和软件结合。

对应地，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的步骤。

对应地，本发明实施例提供一种终端807，包括第一存储器802和第一处理器801，所述第一存储器802存储有可在第一处理器801上运行的计算机程序，所述第一处理器801执行所述程序时实现上述方法中的步骤。

这里需要指出的是：以上存储介质和装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本发明存储介质和装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。

需要说明的是，图8为本发明实施例提供的终端的一种硬件实体示意图，如图8所示，该终端807的硬件实体包括：第一处理器801和第一存储器802，其中；

第一处理器801通常控制终端807的总体操作。

第一存储器802配置为存储由第一处理器801可执行的指令和应用，还可以缓存待第一处理器801以及终端807中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(RandomAccess Memory，RAM)实现。

请参阅图9，为本发明实施例提供的虚拟桌面图像处理装置的结构示意图二。

本发明实施例还提供了一种虚拟桌面图像处理装置900，包括：第二接收单元903、第二图像单元904和第二发送单元905。

第二接收单元903，用于接收终端发送的虚拟桌面请求，响应所述虚拟桌面请求获取虚拟桌面对应的原始图像数据；

第二图像处理单元904，用于通过第一插值超分方式对所述原始图像数据进行分辨率降低，获得第一图像数据；

第二发送单元905，用于将所述第一图像数据发送给所述终端。

本发明实施例中，虚拟桌面图像处理装置900中的第二接收单元903用于接收所述终端发送的网络延迟信息，基于所述网络延迟信息确定所述终端处于弱网状态。

本发明实施例中，所述终端用于通过芯片模块根据第二插值超分方式对所述第一图像数据进行分辨率增强；第二图像处理单元904，用于根据预设算法程序以第一插值超分方式对所述虚拟桌面的所述原始图像数据的分辨率进行降低后，获得所述第一图像数据。

由于本方案中的第一图像数据是服务器对原始图像数据进行分辨率降低之后得到的，该第一图像数据数据量减小，可以降低终端一侧对高带宽和高码流的需求，进而提高了虚拟桌面在弱网环境下的视频播放流畅性。

对应地，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的步骤。

对应地，本发明实施例提供一种服务器906，包括第二存储器902和第二处理器901，所述第二存储器902存储有可在第二处理器901上运行的计算机程序，所述第二处理器901执行所述程序时实现上述方法中的步骤。

这里需要指出的是：以上存储介质和装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本发明存储介质和装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。

需要说明的是，图10为本发明实施例提供的服务器的一种硬件实体示意图，如图10所示，该服务器906的硬件实体包括：第二处理器901和第二存储器902，其中；

第二处理器901通常控制服务器906的总体操作。

第二存储器902配置为存储由第二处理器901可执行的指令和应用，还可以缓存待第二处理器901以及服务器906中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(RandomAccess Memory，RAM)实现。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储装置、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机、服务器、或者网络装置等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储装置、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种虚拟桌面图像处理方法，其特征在于，所述方法应用于终端，包括：

向服务器发送虚拟桌面请求；

接收所述服务器反馈的虚拟桌面的第一图像数据，所述第一图像数据是所述服务器对所述虚拟桌面的原始图像数据通过第一插值超分方式降低分辨率后获得的；

通过第二插值超分方式对所述第一图像数据进行分辨率增强，获得所述虚拟桌面的第二图像数据；

通过展示窗口展示所述第二图像数据。

2.根据权利要求1所述的虚拟桌面图像处理方法，其特征在于，所述第一图像数据为所述虚拟桌面中的视频区域图像数据。

3.根据权利要求1所述的虚拟桌面图像处理方法，其特征在于，所述第二图像数据中的图像帧与所述原始图像数据中对应的原始图像帧的分辨率一致。

4.根据权利要求1所述的虚拟桌面图像处理方法，其特征在于，所述第一插值超分方式用于根据所述原始图像数据中的各个原始图像帧的每N个像素点进行像素平均处理，获得所述第一图像数据；N为大于2的整数；

所述第二插值超分方式用于根据待编辑图像帧的像素点位置坐标与预设比例，获得目标位置坐标，利用所述目标位置坐标在所述第一图像数据中的对应图像帧中获取目标像素点，以填充到所述待编辑图像帧的对应位置，获得所述第二图像数据。

5.根据权利要求1所述的虚拟桌面图像处理方法，其特征在于，

所述第一图像数据是所述服务器根据预设算法程序以第一插值超分方式对所述虚拟桌面的原始图像数据的分辨率进行降低后获得的；

所述通过第二插值超分方式对所述第一图像数据进行分辨率增强，获得所述虚拟桌面的第二图像数据，包括：

通过芯片模块根据所述第二插值超分方式对所述第一图像数据进行分辨率增强，获得所述虚拟桌面的所述第二图像数据。

6.根据权利要求1所述的虚拟桌面处理方法，其特征在于，所述向服务器发送虚拟桌面请求之前，所述方法还包括：

将实时监测的网络延迟信息发送给所述服务器，供所述服务器根据所述网络延迟信息确定当前网络状态为弱网状态。

7.根据权利要求6所述的虚拟桌面图像处理方法，其特征在于，所述第二图像数据在所述弱网状态下的帧率与所述原始图像数据在正常网络状态下的帧率一致。

8.一种虚拟桌面图像处理方法，其特征在于，应用于服务器，包括：

接收终端发送的虚拟桌面请求，响应所述虚拟桌面请求获取所述虚拟桌面对应的原始图像数据；

通过第一插值超分方式对所述原始图像数据进行分辨率降低，获得第一图像数据；

将所述第一图像数据发送给所述终端。

9.根据权利要求8所述的虚拟桌面图像处理方法，其特征在于，接收终端发送的虚拟桌面请求，响应所述虚拟桌面请求获取所述虚拟桌面对应的原始图像数据之前，所述方法还包括：

接收所述终端发送的网络延迟信息，基于所述网络延迟信息确定所述终端处于弱网状态。

10.根据权利要求8所述的虚拟桌面图像处理方法，其特征在于，所述终端用于通过芯片模块根据第二插值超分方式对所述第一图像数据进行分辨率增强；

所述通过第一插值超分方式对所述原始图像数据进行分辨率降低，获得第一图像数据，包括：

根据预设算法程序以第一插值超分方式对所述虚拟桌面的所述原始图像数据的分辨率进行降低后，获得所述第一图像数据。

11.一种虚拟桌面图像处理装置，其特征在于，应用于终端，包括：

第一发送单元，用于向服务器发送虚拟桌面请求；

第一接收单元，用于接收所述服务器反馈的虚拟桌面的第一图像数据，所述第一图像数据是所述服务器对所述虚拟桌面的原始图像数据通过第一插值超分方式降低分辨率后获得的；

第一图像处理单元，用于通过第二插值超分方式对所述第一图像数据进行分辨率增强，获得所述虚拟桌面的第二图像数据；

展示单元，用于通过展示窗口展示所述第二图像数据。

12.一种虚拟桌面图像处理装置，其特征在于，应用于服务器，包括：

第二接收单元，用于接收终端发送的虚拟桌面请求，响应所述虚拟桌面请求获取所述虚拟桌面对应的原始图像数据；

第二图像处理单元，用于通过第一插值超分方式对所述原始图像数据进行分辨率降低，获得第一图像数据；

第二发送单元，用于将所述第一图像数据发送给所述终端。

13.一种终端，其特征在于，包括第一存储器和第一处理器，所述第一存储器存储有可在第一处理器上运行的计算机程序，所述第一处理器执行所述程序时实现权利要求1至7任一项所述方法中的步骤。

14.一种服务器，其特征在于，包括第二存储器和第二处理器，所述存储器存储有可在第二处理器上运行的计算机程序，所述第二处理器执行所述程序时实现权利要求8或9任一项所述方法中的步骤。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被第二处理器执行时实现权利要求1至7任一项、8或者9所述方法中的步骤。

Images