CN103294438B - 虚拟桌面图像的控制传输方法及系统 - Google Patents

Abstract

本发明公开了一种虚拟桌面图像的控制传输方法及系统，其中控制传输方法包括：桌面图像的更新消息通过客户端或服务器端控制器发送至服务器端的数据处理中心请求处理；桌面图像按照窗口进行图像块的划分并被划分为若干个窗口，建立窗口信息，窗口按照一定的划分规则进一步被划分为动态区和静态区；服务器端数据处理中心获取当前窗口的基本信息并与客户端窗口图像缓存的图像信息进行对比，确定所述当前窗口相比所述客户端窗口图像缓存的变化图像数据作为待发送的图像数据；待发送的图像数据自动选择相适应的压缩算法进行压缩后发送到客户端；客户端将接收的所述变化图像数据解压后再与客户端窗口图像缓存的图像信息进行结合生成并显示新的桌面图像。

Description

虚拟桌面图像的控制传输方法及系统

技术领域

本发明涉及虚拟桌面图像传输的技术领域，尤其涉及一种虚拟桌面图像的控制传输方法和系统。

背景技术

目前，计算机远程控制在网络管理，企业内部事务交流等领域使用普遍，它在控制端虚拟被控端屏幕，用户通过屏幕图像的接口对被控制端进行实时控制，好像用户坐在被控制端直接操作电脑一样。但是远程控制技术在采集屏幕图像、屏幕图像压缩和远程图像传输等方面存在大量缺陷，屏幕图像数据传输过程中占用大量带宽甚至堵塞网络，影响实时性和安全性。

随着Internet技术在现实生活的日益普及，任何时候、任何地点都能接入因特网并获取所需信息将成为今后社会的普遍需求。相应地，人们对联网的终端设备也提出了多样化的要求。在很多情况下，用户上网的主要目的是共享网络上的软、硬件资源，他们并不需要自身的信息终端具有强大的计算功能及高端配置，虚拟桌面正由此而生。然而，虚拟桌面在给用户带来一种如坐当前主机旁一样虚拟界面环境的同时，也带来了众多的问题：桌面图像的传输给网络带来了严重的拥塞问题。现以普遍使用的1024*768和24位真彩为例,一帧屏幕图像数量为1024*768*24=18874368比特,要人眼感觉不到停顿1s,还必须传送至少24帧以上这样的数据量。在当前10M/100M的Internet网上传输,这样的数据传输极易引起网络拥塞和传输延时。因此，高效实时的桌面图像序列编码方案和算法的研究成为目前业内研究的一个热点。虚拟桌面基础架构（VirtualDesktopInfrastructure，简称VDI）也是许多机构目前正在评估的全新模式，它是基于早期的RDP协议和客户机逐步演变而来的，也是目前国外VMware等国外虚拟化厂家长期鼓吹的模式。VDI旨在为智能分布式计算带来出色的响应能力和定制化的用户体验，并通过基于服务器的模式提供管理和安全优势。它能够为整个桌面映像提供集中化的管理,但这一模式目前也存在着其固有的问题。现在大约有几十种跟VDI相关的显示协议，它们中的大多数都属于市场上几家主要的虚拟化解决方案供应商。这些协议中的多数都已经非常稳定并被大家所熟知，但是也有一些新加入的产品和以及宣称可以实现性能优化的新技术。对于远程连接而言，性能优化的关键在于带宽资源的大小，但是带宽资源却受物理条件限制。带宽资源的有限性促使各家公司致力于开发新的远程连接显示协议，在有限带宽资源之上尽可能改善性能，使屏幕图像数据传输占用较少带宽，进一步实现实时性和安全性。

发明内容

本发明的主要目的在于提供一种虚拟桌面图像的控制传输方法和系统，旨在提高远程桌面图像的实时传输效率。

为了达到上述目的，本发明提供了一种虚拟桌面图像的控制传输方法、用于控制桌面图像的远程传输，其特征在于，包括如下步骤：

第一步，桌面图像的更新消息通过客户端或服务器端控制器发送至服务器端的数据处理中心请求处理；

第二步，桌面图像按照窗口进行图像块的划分并被划分为若干个窗口，建立所述窗口的基本信息；所述窗口按照一定的划分规则进一步被划分为动态区和静态区，建立所述动态区和静态区的基本信息；

第三步，所述服务器端的数据处理中心获取当前窗口的基本信息并与所述客户端的窗口图像缓存的图像信息进行对比，确定所述当前窗口相比所述客户端窗口图像缓存的变化图像数据作为待发送的图像数据；

第四步，所述待发送的图像数据依据图像类型的不同自动选择相适应的压缩算法进行压缩后发送到所述客户端；

第五步，所述客户端将接收的所述变化图像数据解压后再与所述客户端窗口图像缓存的图像信息进行结合生成并显示新的桌面图像。

优选的，所述第一步包含两种情况：

客户端截取屏幕动作信息经客户端控制器发送至服务器端数据处理中心和服务器端桌面图像自动更新消息经服务器端控制器发送至服务器端数据处理中心。

优选的，所述第二步具体包括以下步骤：

S21：桌面图像按照窗口进行宏块划分并被划分为若干个窗口，建立所述窗口的基本信息，包括窗口编码、窗口基本坐标；

S22：所述窗口按照一定的划分规则进一步被划分为动态区和静态区，建立所述动态区和静态区的基本信息，包括所述动态区和静态区所属的窗口编码，所述动态区和静态区的基本坐标。

优选的，所述第三步具体包括如下步骤：

S31：所述服务器端的数据处理中心获取当前窗口的基本信息并与所述客户端的窗口图像缓存的图像信息进行对比；

S32：若所述客户端的窗口图像缓存中不存在与所述当前窗口相同的窗口信息，则将所述当前窗口的图像作为变化图像数据；

S33：若所述客户端的窗口图像缓存中存在与所述当前窗口相同的窗口信息，则比较所述当前窗口的静态区和动态区相对所述客户端的窗口图像缓存的变化图像数据，将所述当前窗口的变化图像、变化图像的基本信息作为待发送数据。

优选的，所述第四步中所述待发送的图像数据包括窗口的基本信息和窗口的图像数据，所述窗口的基本信息采用无损压缩算法进行压缩，所述窗口的图像数据采用有损压缩算法进行压缩。

本发明还公开了一种虚拟桌面图像的控制传输系统，用于控制桌面图像的远程传输，包括：

控制发送模块：用于将桌面图像的更新消息通过客户端或服务器端控制器发送至服务器端的数据处理中心请求处理；

划分模块：用于将桌面图像按照窗口进行图像块的划分并被划分为若干个窗口，建立所述窗口的基本信息；所述窗口按照一定的划分规则进一步被划分为动态区和静态区，建立所述动态区和静态区的基本信息；

比对模块：用于所述服务器端的数据处理中心获取当前窗口的基本信息并与所述客户端的窗口图像缓存的图像信息进行对比，确定所述当前窗口相比所述客户端窗口图像缓存的变化图像数据作为待发送的图像数据；

压缩算法自适应选择模块：用于使所述待发送的图像数据依据图像类型的不同自动选择相适应的压缩算法进行压缩后发送到客户端；

合成显示模块：用于所述客户端将接收的所述变化图像数据解压后再与所述客户端窗口图像缓存的图像信息进行结合生成并显示新的桌面图像。

优选的，所述控制发送模块进一步包括：

客户端控制发送模块：用于将客户端截取屏幕动作信息经客户端控制器发送至服务器端数据处理中心；

服务器端控制发送模块：用于使服务器端桌面图像自动更新消息经服务器端控制器发送至服务器端数据处理中心。

优选的，所述划分模块进一步包括：

窗口划分模块：用于将桌面图像按照窗口进行宏块划分并被划分为若干个窗口，建立所述窗口的基本信息，包括窗口编码、窗口基本坐标；

动静态区划分模块：用于将所述窗口按照一定的划分规则进一步划分为动态区和静态区，建立所述动态区和静态区的基本信息，包括所述动态区和静态区所属的窗口编码，所述动态区和静态区的基本坐标。

优选的，所述比对模块进一步包括：

当前窗口基本信息获取模块：用于所述服务器端的数据处理中心获取当前窗口的基本信息并与所述客户端的窗口图像缓存的图像信息进行对比；

窗口数据比对模块：用于当所述客户端的窗口图像缓存中不存在与所述当前窗口相同的窗口信息时，将当前窗口的图像作为变化图像数据；

动静态区比对模块：用于当所述客户端的窗口图像缓存中存在与所述当前窗口相同的窗口信息时，进一步比较所述当前窗口的静态区和动态区相对所述客户端的窗口图像缓存的变化图像数据，将所述当前窗口的变化图像、变化图像的基本信息作为待发送数据。

优选的，所述压缩算法自适应选择模块进一步包括：

无损压缩算法模块：用于将窗口的基本信息采用无损压缩算法进行压缩；

有损压缩算法模块：用于将窗口的图像数据采用有损压缩算法进行压缩。

本发明通过在客户端增加控制发送模块，使客户端和服务器端分别检测桌面刷新消息进一步动态的控制桌面图像的传输，避免了由服务器单方控制桌面图像传输，减少了冗余数据传输。此外，将桌面图像划分成若干个窗口，并将窗口进一步划分为动态区和静态区，通过比对窗口或窗口动静态区相对窗口图像缓存的变化数据，仅传输变化数据有效的减少了传输的数据量，提高了传输的效率。

附图说明

图1是本发明的虚拟桌面图像的控制传输系统控制发送模块示意图；

图2是本发明的虚拟桌面图像的控制传输系统桌面图像数据传送示意图；

图3是本发明的虚拟桌面图像的控制传输系统工作流程示意图；

图4是本发明的虚拟桌面图像的控制传输方法流程示意图；

图5是本发明的虚拟桌面图像的控制传输系统结构示意图。

具体实施方式

为了使本发明的目的、技术方案、有益效果更加清楚明白，以下结合附图及实施例，对本发明做进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

以下结合附图和具体实施方式对本发明的实现进行详细描述：

如图4所示，本发明提供了一种虚拟桌面图像的控制传输方法、用于控制桌面图像的远程传输，具体包括如下步骤：

第一步，桌面图像的更新消息通过客户端或服务器端控制器发送至服务器端的数据处理中心请求处理。

如图1所示，第一步具体的包含两种情况：

客户端截取屏幕动作信息经客户端控制器发送至服务器端数据处理中心和服务器端桌面图像自动更新消息经服务器端控制器发送至服务器端数据处理中心。

由于桌面图像序列是一种半运动的图像序列，桌面图像画面的变化速度较慢，相同内容的图像经常长时间出现。客户端发生的鼠标移动、点击、键盘敲打、屏幕截取等动作信息能产生桌面图像的变化消息，通过在客户端增加控制器，客户端将上述桌面图像的变化消息转换为控制桌面图像更新消息并经由客户端控制器发送至服务器端数据处理中心请求处理。服务器端也存在控制器，当服务器端自动更新桌面消息时需要在客户端及时响应，服务器端控制器向服务器端数据处理中心发送桌面图像更新消息请求处理。服务器端更新桌面图像的动作能够根据应用类型的不同进而选择不同的控制器进行控制。客户端和服务器端通过控制器分别检测桌面刷新消息进一步动态的控制桌面图像的传输，避免了由服务器单方控制桌面图像传输，减少了冗余数据传输。

第二步，桌面图像按照窗口进行图像块的划分并被划分为若干个窗口，建立所述窗口的基本信息；所述窗口按照一定的划分规则进一步被划分为动态区和静态区，建立所述动态区和静态区的基本信息。

所述第二步具体包括以下步骤：

S21：桌面图像按照窗口进行宏块划分并被划分为若干个窗口，建立所述窗口的基本信息，包括窗口编码、窗口基本坐标；

S22：所述窗口按照一定的划分规则进一步被划分为动态区和静态区，建立所述动态区和静态区的基本信息，包括所述动态区和静态区所属的窗口编码，所述动态区和静态区的基本坐标。

鉴于桌面图像的特性，桌面图像是由窗口组成，将桌面图像按照窗口进行宏块划分，对各个窗口建立基本的窗口信息加以标注，基本的窗口信息包括：窗口ID，即窗口编码，窗口的基本坐标，分为窗口左上与右下方坐标。将窗口按照一定的划分规则，比如按照应用的不同进行划分，进一步划分为动态区和静态区，记录动态区和静态区所属窗口的ID和基本坐标。可以理解，窗口基本坐标不仅仅限于左上和右下方坐标，窗口基本坐标的所有的记录方式都属于本发明的保护范围。

第三步，所述服务器端的数据处理中心获取当前窗口的基本信息并与所述客户端的窗口图像缓存的图像信息进行对比，确定所述当前窗口相比所述客户端窗口图像缓存的变化图像数据作为待发送的图像数据。

所述第三步具体包括如下步骤：

S31：所述服务器端的数据处理中心获取当前窗口的基本信息并与所述客户端的窗口图像缓存的图像信息进行对比；

S32：若所述客户端的窗口图像缓存中不存在与所述当前窗口相同的窗口信息，则将所述当前窗口的图像作为变化图像数据；

S33：若所述客户端的窗口图像缓存中存在与所述当前窗口相同的窗口信息，则比较所述当前窗口的静态区和动态区相对所述客户端的窗口图像缓存的变化图像数据，将所述当前窗口的变化图像、变化图像的基本信息作为待发送数据。

如图2所示，服务器端也具有一窗口图像缓存，服务器端数据处理中心处理的数据与服务器端窗口图像缓存中的数据同步。若是新创建的窗口，在服务器端窗口图像缓存中也会新创建一桌面图像数据并生成ID号，每次发送图像数据时，会随之发送该图像数据的ID，客户端将对该新建图像数据及其ID在窗口图像缓存中进行存储。服务器端的数据处理中心会根据客户端的窗口图像缓存的图像信息控制具体的待发送数据。对于新创建的桌面图像，发送的数据量相对较多，若是客户端的窗口图像缓存中已有的桌面图像数据，则将桌面图像数据的动态区和静态区数据与客户端的窗口图像缓存数据进行比较，动态区数据变化频繁，静态区数据变化较少，确定变化的图像数据，将当前窗口的变化图像、变化图像的基本信息作为待发送数据，并对变化的图像数据在客户端的窗口图像缓存中进行存储。这样发送的数据量会大幅减少，提高了数据传输的效率。

第四步，所述待发送的图像数据依据图像类型的不同自动选择相适应的压缩算法进行压缩后发送到所述客户端。自适应的压缩方式可以依据所打开的应用类型的不同选择压缩率最高的图像压缩算法。

第四步中所述待发送的图像数据包括窗口的基本信息和窗口的图像数据，所述窗口的基本信息采用无损压缩算法进行压缩，所述窗口的图像数据采用有损压缩算法进行压缩。

第五步，所述客户端将接收的所述变化图像数据解压后再与所述客户端窗口图像缓存的图像信息进行结合生成并显示新的桌面图像。将变化图像数据的基本信息，即所述窗口编码，基本坐标，变化图像数据与所述客户端窗口图像缓存的图像信息进行合并，生成新的桌面图像。

如图5所示，本发明还公开了一种虚拟桌面图像的控制传输系统，用于控制桌面图像的远程传输，包括：

控制发送模块：用于将桌面图像的更新消息通过客户端或服务器端控制器发送至服务器端的数据处理中心请求处理；

所述控制发送模块进一步包括：

客户端控制发送模块：用于将客户端截取屏幕动作信息经客户端控制器发送至服务器端数据处理中心；

服务器端控制发送模块：用于使服务器端桌面图像自动更新消息经服务器端控制器发送至服务器端数据处理中心。

划分模块：用于将桌面图像按照窗口进行图像块的划分并被划分为若干个窗口，建立所述窗口的基本信息；所述窗口按照一定的划分规则进一步被划分为动态区和静态区，建立所述动态区和静态区的基本信息；

所述划分模块进一步包括：

窗口划分模块：用于将桌面图像按照窗口进行宏块划分并被划分为若干个窗口，建立所述窗口的基本信息，包括窗口编码、窗口基本坐标；

动静态区划分模块：用于将所述窗口按照一定的划分规则进一步划分为动态区和静态区，建立所述动态区和静态区的基本信息，包括所述动态区和静态区所属的窗口编码，所述动态区和静态区的基本坐标。

比对模块：用于所述服务器端的数据处理中心获取当前窗口的基本信息并与所述客户端的窗口图像缓存的图像信息进行对比，确定所述当前窗口相比所述客户端窗口图像缓存的变化图像数据作为待发送的图像数据；

所述比对模块进一步包括：

当前窗口基本信息获取模块：用于所述服务器端的数据处理中心获取当前窗口的基本信息并与所述客户端的窗口图像缓存的图像信息进行对比；

窗口数据比对模块：用于当所述客户端的窗口图像缓存中不存在与所述当前窗口相同的窗口信息时，将当前窗口的图像作为变化图像数据；

动静态区比对模块：用于当所述客户端的窗口图像缓存中存在与所述当前窗口相同的窗口信息时，进一步比较所述当前窗口的静态区和动态区相对所述客户端的窗口图像缓存的变化图像数据，将所述当前窗口的变化图像、变化图像的基本信息作为待发送数据。

压缩算法自适应选择模块：用于使所述待发送的图像数据依据图像类型的不同自动选择相适应的压缩算法进行压缩后发送到客户端；

所述压缩算法自适应选择模块进一步包括：

无损压缩算法模块：用于将窗口的基本信息采用无损压缩算法进行压缩；

有损压缩算法模块：用于将窗口的图像数据采用有损压缩算法进行压缩。

合成显示模块：用于所述客户端将接收的所述变化图像数据解压后再与所述客户端窗口图像缓存的图像信息进行结合生成并显示新的桌面图像。

以上所述仅为本发明的优选实施例，并非因此限制其专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接运用在其他相关的技术领域，均应包括在本发明的专利保护范围内。

Claims (8)

1.一种虚拟桌面图像的控制传输方法，用于控制桌面图像的远程传输，其特征在于，包括如下步骤：

第一步，桌面图像的更新消息通过客户端或服务器端控制器发送至服务器端的数据处理中心请求处理；

第二步，桌面图像按照窗口进行图像块的划分并被划分为若干个窗口，建立所述窗口的基本信息；所述窗口按照一定的划分规则进一步被划分为动态区和静态区，建立所述动态区和静态区的基本信息；

所述第二步具体包括以下步骤：

S21：桌面图像按照窗口进行宏块划分并被划分为若干个窗口，建立所述窗口的基本信息，包括窗口编码、窗口基本坐标；

S22：所述窗口按照一定的划分规则进一步被划分为动态区和静态区，建立所述动态区和静态区的基本信息，包括所述动态区和静态区所属的窗口编码，所述动态区和静态区的基本坐标；

第三步，所述服务器端的数据处理中心获取当前窗口的基本信息并与所述客户端的窗口图像缓存的图像信息进行对比，确定所述当前窗口相比所述客户端窗口图像缓存的变化图像数据作为待发送的图像数据；

第四步，所述待发送的图像数据依据图像类型的不同自动选择相适应的压缩算法进行压缩后发送到所述客户端；

第五步，所述客户端将接收的所述变化图像数据解压后再与所述客户端窗口图像缓存的图像信息进行结合生成并显示新的桌面图像。

2.如权利要求1所述的虚拟桌面图像的控制传输方法，其特征在于：所述第一步包含两种情况：

客户端截取屏幕动作信息经客户端控制器发送至服务器端数据处理中心和服务器端桌面图像自动更新消息经服务器端控制器发送至服务器端数据处理中心。

3.如权利要求1所述的虚拟桌面图像的控制传输方法，其特征在于：所述第三步具体包括如下步骤：

S31：所述服务器端的数据处理中心获取当前窗口的基本信息并与所述客户端的窗口图像缓存的图像信息进行对比；

S32：若所述客户端的窗口图像缓存中不存在与所述当前窗口相同的窗口信息，则将所述当前窗口的图像作为变化图像数据；

S33：若所述客户端的窗口图像缓存中存在与所述当前窗口相同的窗口信息，则比较所述当前窗口的静态区和动态区相对所述客户端的窗口图像缓存的变化图像数据，将所述当前窗口的变化图像、变化图像的基本信息作为待发送数据。

4.如权利要求1所述的虚拟桌面图像的控制传输方法，其特征在于：所述第四步中所述待发送的图像数据包括窗口的基本信息和窗口的图像数据，所述窗口的基本信息采用无损压缩算法进行压缩，所述窗口的图像数据采用有损压缩算法进行压缩。

5.一种虚拟桌面图像的控制传输系统，用于控制桌面图像的远程传输，其特征在于，包括：

控制发送模块：用于将桌面图像的更新消息通过客户端或服务器端控制器发送至服务器端的数据处理中心请求处理；

划分模块：用于将桌面图像按照窗口进行图像块的划分并被划分为若干个窗口，建立所述窗口的基本信息；所述窗口按照一定的划分规则进一步被划分为动态区和静态区，建立所述动态区和静态区的基本信息；

所述划分模块进一步包括：

窗口划分模块：用于将桌面图像按照窗口进行宏块划分并被划分为若干个窗口，建立所述窗口的基本信息，包括窗口编码、窗口基本坐标；

动静态区划分模块：用于将所述窗口按照一定的划分规则进一步划分为动态区和静态区，建立所述动态区和静态区的基本信息，包括所述动态区和静态区所属的窗口编码，所述动态区和静态区的基本坐标；

比对模块：用于所述服务器端的数据处理中心获取当前窗口的基本信息并与所述客户端的窗口图像缓存的图像信息进行对比，确定所述当前窗口相比所述客户端窗口图像缓存的变化图像数据作为待发送的图像数据；

压缩算法自适应选择模块：用于使所述待发送的图像数据依据图像类型的不同自动选择相适应的压缩算法进行压缩后发送到客户端；

合成显示模块：用于所述客户端将接收的所述变化图像数据解压后再与所述客户端窗口图像缓存的图像信息进行结合生成并显示新的桌面图像。

6.如权利要求5所述的虚拟桌面图像的控制传输系统，其特征在于：所述控制发送模块进一步包括：

客户端控制发送模块：用于将客户端截取屏幕动作信息经客户端控制器发送至服务器端数据处理中心；

服务器端控制发送模块：用于使服务器端桌面图像自动更新消息经服务器端控制器发送至服务器端数据处理中心。

7.如权利要求5所述的虚拟桌面图像的控制传输系统，其特征在于：所述比对模块进一步包括：

当前窗口基本信息获取模块：用于所述服务器端的数据处理中心获取当前窗口的基本信息并与所述客户端的窗口图像缓存的图像信息进行对比；

窗口数据比对模块：用于当所述客户端的窗口图像缓存中不存在与所述当前窗口相同的窗口信息时，将当前窗口的图像作为变化图像数据；

动静态区比对模块：用于当所述客户端的窗口图像缓存中存在与所述当前窗口相同的窗口信息时，进一步比较所述当前窗口的静态区和动态区相对所述客户端的窗口图像缓存的变化图像数据，将所述当前窗口的变化图像、变化图像的基本信息作为待发送数据。

8.如权利要求5所述的虚拟桌面图像的控制传输系统，其特征在于：所述压缩算法自适应选择模块进一步包括：

无损压缩算法模块：用于将窗口的基本信息采用无损压缩算法进行压缩；

有损压缩算法模块：用于将窗口的图像数据采用有损压缩算法进行压缩。