CN103927222A - 一种用于客户端与服务端的图形协同处理方法和系统 - Google Patents

Abstract

本发明涉及一种用于客户端与服务端的图形协同处理方法和系统，系统包括客户端和服务端，其中，客户端采用Linux操作系统，服务端采用Windows操作系统。所述客户端包括：视图显示控件和控制模块；所述服务端包括图形共享服务模块。方法包括：客户端和服务端之间建立协同通讯连接；客户端根据进程ID和窗口句柄获取服务端的软件视图区域，并通过视图显示控件显示；客户端对视图显示控件显示的图像进行操作，服务端根据客户端的操作进行响应，并由客户端将服务端上运行的程序界面通过视图显示控件显示。本发明实现了在Linux系统上使用Windows系统中的软件如同使用Linux系统自身的软件一样。

Description

一种用于客户端与服务端的图形协同处理方法和系统

技术领域

本发明涉及计算机信息交互技术领域，特别是涉及用于客户端与服务端的图形协同处理方法和系统。 

背景技术

对于目前中国用户来说，用的最多的操作系统是Windows系统，因此大多数人熟悉Windows系统下的操作和办公软件，但是基于Windows系统的封闭特性导致架构的不透明，和众多方面的局限性，致使Windows系统上的很多软件无法在其他平台和操作系统中使用。 

而目前在各个领域对操作系统的可定制性和对高性能、高效率的需求增加。Linux操作系统的优势逐渐被人们采用。也就出现了Windows系统和Linux系统共存且协同办公的场景。当两个平台协同办公时，由于各个平台的特性和使用方式的不同就导致出现一些如软件不兼容之类的用户体验很差的问题，甚至有些软件只能够运行在Windows系统下，而想同时转移到Linux系统平台下工作，几乎无法进行。 

基于这种情况，目前有两种解决方式： 

一是在1993年由Bob Amstadt及Eric Youngdale发起Wine计划，该计划的方案是在Linux系统上安装一个用来运行Windows系统程序的平台，运用API转换技术，做出Linux系统对应到Windows系统相对应的函数来调用DLL以运行Windows系统程序。但DLLs是封闭源代码的，所以程序员只能由最底层的设计开始，耗费大量的时间编写和测试，这个过程往往会有很多困难，而且亦可能会出现很多错误。

二是使用远程控制，在Linux系统上通过远程控制软件如SVN等，登陆到Windows系统中去操作，但是所操作的数据内容与数据格式始终依赖于远程主机，而非在本地电脑中，而且繁琐的操作方式开放的是整个服务器系统的控制权，而不是某个软件的使用权，对于权限要求较高的需求这种方式仍然有着很大的局限性。 

发明内容

本发明所要解决的技术问题是提供一种用于客户端与服务端的图形协同处理方法和系统，实现在Linux系统上使用Windows系统中的软件如同使用Linux系统自身的软件一样。 

本发明解决其技术问题所采用的技术方案是：提供一种用于客户端与服务端的图形协同处理方法，包括客户端和服务端，其中，客户端采用Linux操作系统，服务端采用Windows操作系统，包括以下步骤： 

（1）客户端和服务端之间建立协同通讯连接；

（2）客户端根据进程ID和窗口句柄获取服务端的软件视图区域，并通过视图显示控件显示；

（3）客户端对视图显示控件显示的图像进行操作，服务端根据客户端的操作进行响应，并由客户端将服务端上运行的程序界面通过视图显示控件显示。

所述步骤（1）包括以下子步骤： 

（11）客户端发出远程命令调用；

（12）服务端收到远程命令调用后，打开对应的进程，并将进程ID返回给客户端；

（13）客户端根据进程ID获得窗口句柄；

（14）客户端根据窗口句柄将服务端的进程窗口绑定到客户端的视图显示控件中。

所述步骤（11）前还包括服务端向客户端提供外部使用的软件列表的步骤。 

所述步骤（2）包括以下子步骤： 

（21）客户端捕获服务端上的进程显示区域的大小和内容；

（22）客户端根据捕获内容在视图显示控件中更新显示。

所述步骤（3）包括以下子步骤： 

（31）客户端根据用户在视图显示控件中的操作产生控制消息，并将控制消息发送给服务端；

（32）服务端根据控制消息的类型进行响应操作；

（33）客户端根据服务端的响应结果更新视图显示控件中的显示内容。

所述视图显示控件为使用QT封装基于RFB协议的视图显示控件。 

本发明解决其技术问题所采用的技术方案是：还提供一种用于客户端与服务端的图形协同处理系统，包括客户端和服务端，其中，客户端采用Linux操作系统，服务端采用Windows操作系统，所述客户端和服务端之间建立协同通讯连接；所述客户端包括：视图显示控件，用于根据进程ID和窗口句柄获取服务端的软件视图区域并显示；控制模块，用于对视图显示控件显示的图像进行操作；所述服务端包括：图形共享服务模块，用于根据客户端的操作进行响应，将服务端的软件视图区域共享给客户端。 

所述客户端还包括：远程命令调用模块，用于发出远程命令调用；窗口句柄获取模块，用于根据进程ID获得窗口句柄；绑定模块，用于窗口句柄将服务端的进程窗口绑定到客户端的视图显示控件中；所述服务端还包括：进程打开模块，用于根据远程命令调用打开对应的进程；进程ID发送模块，用于将进程ID发送给客户端。 

所述服务端还包括软件列表发送模块，用于向客户端提供外部使用的软件列表。 

所述视图显示控件包括：捕获子模块，用于服务端上的进程显示区域的大小和内容；显示子模块，用于根据捕获内容进行更新显示。 

所述控制模块包括：控制消息产生子模块，用于根据用户在视图显示控件中的操作产生控制消息；控制消息发送子模块，用于将控制消息发送给服务端；所述图形共享服务模块包括：响应子模块，用于根据控制消息的类型进行响应操作；结果返回子模块，将视图区域改变的内容返回给客户端；所述视图显示控件根据服务端返回的结果更新显示内容。 

所述视图显示控件为使用QT封装基于RFB协议的视图显示控件。 

本发明有益效果主要是： 

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明在Linux系统的客户端通过命令调用服务器传回来的进程ID和窗口句柄就可以显示和使用运行在Windows系统服务端上的软件，屏蔽了跨平台操作的细节处理，使得用户体验如同使用本地软件一样，从而更加方便的解决了Windows系统软件在Linux系统上不兼容的问题。本发明可以用在云计算领域作为客户端使用服务器端软件的方案，还可以在客户端给服务器端安装软件，适用于在客户端管理服务器端软件的需求，通过本发明可以自行设置服务器上的软件是否可以提供对外使用，在权限管理上比远程登陆更加细致。

附图说明

图1是图形协同处理的整体结构流程图； 

图2是图形协同处理的实施结构图；

图3是在客户端使用服务器上记事本软件的实际流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。 

本发明的第一实施方式涉及一种用于客户端与服务端的图形协同处理方法，包括客户端和服务端，其中，客户端采用Linux操作系统，服务端采用Windows操作系统，包括以下步骤： 

（1）客户端和服务端之间建立协同通讯连接；

（2）客户端根据进程ID和窗口句柄获取服务端的软件视图区域，并通过视图显示控件显示；

（3）客户端对视图显示控件显示的图像进行操作，服务端根据客户端的操作进行响应，并由客户端将服务端上运行的程序界面通过视图显示控件显示。

本发明是利用RFB协议根据服务端软件的进程ID和窗口句柄，将服务器端运行的软件的视图区域显示在客户端的视图显示控件中，同时配合图像与操作的协同方法，实现在Linux系统上使用Windows系统中的软件如同使用Linux系统自身的软件一样。 

其中，所述步骤（1）具体包括以下子步骤： 

（11）客户端发出远程命令调用；

（12）服务端收到远程命令调用后，打开对应的进程，并将进程ID返回给客户端；例如，客户端向服务端发出调用“画图板”软件的命令，服务端接收到该远程命令调用后，打开“画图板”的进程，并将该“画图板”的进程ID返回给客户端。

（13）客户端根据进程ID获得窗口句柄； 

（14）客户端根据窗口句柄将服务端的进程窗口绑定到客户端的视图显示控件中，也就是说，客户端根据“画图板”的进程ID得到一个窗口句柄，并根据该窗口句柄将服务端的进程窗口与客户端内部的视图显示控件进行绑定，从而建立了客户端和服务端之间的协同通讯连接。

需要说明的是，在客户端发出远程命令调用之前，服务端还可以向客户端提供外部使用的软件列表，如此客户端只能够在服务端提供的软件列表中选择相应的软件，通过自行设置服务端上的哪些软件可以提供对外使用，使得在权限管理上比远程登陆更加细致。 

所述步骤（2）具体包括以下子步骤： 

（21）客户端捕获服务端上的进程显示区域的大小和内容。具体地说，将服务端的进程窗口与客户端内部的视图显示控件进行绑定后，捕获服务端桌面上的“画图板”软件显示区域的大小和内容。

（22）客户端根据捕获内容在视图显示控件中更新显示，也就是说，客户端将捕获到的服务端桌面上的“画图板”窗口通过视图显示控件进行显示。本实施方式中，所述视图显示控件为使用QT封装基于RFB协议的视图显示控件。采用QT控件的形式能够向开发者最大限度的屏蔽服务端与客户端视图共享的细节，并提供必要、完备的接口，使开发者通过简单的调用即可满足需求。 

所述步骤（3）具体包括以下子步骤： 

（31）客户端根据用户在视图显示控件中的操作产生控制消息，并将控制消息发送给服务端。比如说，当用户需要调整“画图板”窗口的大小时，通过鼠标对视图显示控件显示的图像进行操作，此时客户端会根据用户的操作产生控制消息，并将该控制消息基于RFB协议发送至服务端。

（32）服务端根据控制消息的类型进行响应操作。具体地说，服务端收到控制消息后，先对控制消息进行基于RFB协议的解析，然后根据控制消息的类型分发给对应的操作处理方法进行处理，即根据窗口拉伸调用相应的响应方式，并对“画图板”的窗口大小进行调整。 

（33）客户端根据服务端的响应结果更新视图显示控件中的显示内容。由于服务端的进程窗口与客户端内部的视图显示控件进行绑定，在“画图板”的窗口大小进行了调整后，客户端会自动捕获服务端桌面上的“画图板”窗口情况，并根据捕获的内容实时更新视图显示控件中的显示内容。 

图1为图形协同处理的整体结构流程图，其中： 

步骤101，客户端根据用户操作基于RFB协议产生显示控制信息。

步骤102，客户端将显示控制消息发送到服务端。 

步骤103，服务端将接收到的显示控制消息基于RFB协议进行解析。 

步骤104，服务端根据请求的类型分发给对应的操作处理方法进行处理。 

步骤105，服务端将操作处理的结果通过RFB协议发送回客户端。 

步骤106，客户端将接收到的显示控制消息基于RFB协议进行解析。 

步骤107，客户端根据返回的消息类型分发给对应的操作处理方法进行处理。 

本发明的第二实施方式涉及一种用于客户端与服务端的图形协同处理系统，包括客户端和服务端，其中，客户端采用Linux操作系统，服务端采用Windows操作系统，所述客户端和服务端之间建立协同通讯连接；所述客户端包括：视图显示控件，用于根据进程ID和窗口句柄获取服务端的软件视图区域并显示；控制模块，用于对视图显示控件显示的图像进行操作；所述服务端包括：图形共享服务模块，用于根据客户端的操作进行响应，将服务端的软件视图区域共享给客户端。 

所述客户端还包括：远程命令调用模块，用于发出远程命令调用；窗口句柄获取模块，用于根据进程ID获得窗口句柄；绑定模块，用于窗口句柄将服务端的进程窗口绑定到客户端的视图显示控件中；所述服务端还包括：进程打开模块，用于根据远程命令调用打开对应的进程；进程ID发送模块，用于将进程ID发送给客户端。 

所述服务端还包括软件列表发送模块，用于向客户端提供外部使用的软件列表。 

所述视图显示控件包括：捕获子模块，用于服务端上的进程显示区域的大小和内容；显示子模块，用于根据捕获内容进行更新显示。 

所述控制模块包括：控制消息产生子模块，用于根据用户在视图显示控件中的操作产生控制消息；控制消息发送子模块，用于将控制消息发送给服务端；所述图形共享服务模块包括：响应子模块，用于根据控制消息的类型进行响应操作；结果返回子模块，将视图区域改变的内容返回给客户端；所述视图显示控件根据服务端返回的结果更新显示内容。 

如图2所示，图形共享服务工作在服务端，响应客户端请求，视图显示控件是与运行于服务端的图形共享服务协作，完成服务端上运行的程序界面在客户端上的显示，接收客户端上的键盘鼠标动作，使之作用于服务端上运行的程序。 

图形共享服务工作在服务端，以守护进程的形式存在，响应客户端的视图显示控制请求，将服务端指定进程相关的显示区域共享给客户端，同时将客户端键盘鼠标消息作用在指定进程相关的显示区域。图形共享服务内容包括：1-1消息分派，1-2远程控制响应，1-3模块和窗口切换控制。 

1-1消息分派的具体方式为把客户端发来的消息基于RFB协议进行解析，根据请求的类型分发给响应模块中对应的操作处理方法，同时将控制模块产生的消息通过RFB协议发送给客户端端。 

1-2远程控制响应的具体方式为通过客户端进程绑定、显示区域绑定以及显示区域状态控制等控制命令，响应客户端上的剪贴板消息，输入法消息，窗口拉升尺寸变化的消息，和窗口焦点切换消息。 

1-3模块和窗口切换控制的具体方式为将图形协同处理会话与相应进程绑定，将该进程的界面共享给客户端的显示控件。具体操作是，首先根据进程ID获得相应的窗口句柄，然后获得该窗口在服务器上的具体区域，将该区域的图形共享给客户端的显示控件。对服务器软件窗口的管理是以进程为对象的，具体切换控制是根据从客户端接收的控制消息类型，如窗口拉伸，窗口关闭，窗口转换，焦点切换，等去调用相应的响应方式。 

在Linux系统客户端上运行的视图显示控件。视图显示控件是提供给服务端业务软件开发者的QT控件。其功能是与运行于服务端的图形共享服务协作，完成服务端上运行的程序界面在客户端上的显示，接受客户端上的键盘鼠标动作，使之作用于服务端上运行的程序。它以QT控件的形式存在，好处是向开发者最大限度的屏蔽客户端与服务端视图共享的细节，通过向开发者提供必要、完备的接口，使开发者通过简单的调用即可满足需求。视图显示控件内容包括：2-1 消息分派，2-2 视图显示控制，2-3 消息响应。 

2-1 消息分派的具体方式为把图形共享服务发来的消息基于RFB协议进行解析，根据请求的类型分发给响应模块中对应的操作处理方法，同时将控制模块产生的消息通过RFB协议发图形共享服务。这里主要负责维护与图形共享服务的TCP连接，和消息的发送与接收。发送指的是由用户操作产生的对图形控制服务的控制消息，接收指的是服务器上的图形共享服务发送来的消息。 

2-2 视图显示控制的具体方式为将控制模块生成对应的控制消息，交于消息分派模块发送到位于服务器上的图形共享服务，以此来对显示什么内容以及如何显示进行控制。包含1）将服务器桌面的某个部分和客户端上的视图显示控件绑定到一起，使得客户端上的视图显示控件能够同步反映出服务器桌面的某个部分。2）通知服务器的图形共享服务，可以开始发送绑定的界面内容。3）处理当客户端的视图显示控件大小发生变化的情况, 设置关闭时的属性, 终止视图显示控件和桌面共享服务的连接和初始化像素格式。 

2-3 消息响应的具体方式为由响应模块根据消息分派模块接收到的来自于图形共享模块的消息，例如图形更新消息，窗口大小消息，剪切板消息进行相应的处理。 

值得一提的是，本发明可以用在云计算领域作为客户端使用服务器端软件的方案，还可以在客户端给服务器端安装软件，适用于在客户端管理服务器端软件的需求。 

本发明的第三实施方式涉及一种用于客户端与服务端的图形协同处理方法，主要是在客户端使用服务器上记事本软件的实际流程。如图3所示，当服务器端的图形共享服务启动以后，客户端通过基于命令调用解释器开发的应用程序管理工具可以看见服务器上提供外部使用的软件列表，在里表中点击“记事本”就会通过命令调用解释器发送调用命令，在服务端打开一个”记事本”程序的进程，并且传回“记事本”进程的ID，该过程对应步骤301-步骤302。在本发明中两端协同通讯的依据是通过进程ID获取到的窗口句柄建立起来的连接（步骤303），步骤304即是根据句柄用RFB协议初始化两端的连接。当两端建立好了连接以后，就可以实现图形化的协同操作了，要在客户端使用服务端的软件，首先需要能够看见软件的窗口。步骤305就是开始捕获服务器上“记事本”进程的图像，然后把捕获到的图像在视图控件中显示。当图像获取完成以后，步骤306中将获取的图像在客户端上更新显示，这时用户就可以像使用本地软件一样使用运行在服务端的记事本程序，用户在视图控件显示的记事本程序中的所有操作，视图显示控件都会根据RFB协议产生相应的控制消息，对应步骤307。步骤308通过之前建立的连接并把控制消息发送给图形共享服务。步骤309图形共享服务接收到控制消息后首先按照RFB协议对消息解析，再根据解析的消息类型由具体的响应函数去执行，并将执行完成后视图区域改变的内容发回给客户端。步骤310就是根据服务端返回的结果更新视图控件中的显示内容。 

由此可见，本发明在Linux系统的客户端通过命令调用服务器传回来的进程ID和窗口句柄就可以显示和使用运行在Windows系统服务端上的软件，屏蔽了跨平台操作的细节处理，使得用户体验如同使用本地软件一样，从而更加方便的解决了Windows系统软件在Linux系统上不兼容的问题。本发明可以用在云计算领域作为客户端使用服务器端软件的方案，还可以在客户端给服务器端安装软件，适用于在客户端管理服务器端软件的需求，通过本发明可以自行设置服务器上的软件是否可以提供对外使用，在权限管理上比远程登陆更加细致。 

Claims (12)

1.一种用于客户端与服务端的图形协同处理方法，包括客户端和服务端，其中，客户端采用Linux操作系统，服务端采用Windows操作系统，其特征在于，包括以下步骤：

（1）客户端和服务端之间建立协同通讯连接；

（2）客户端根据进程ID和窗口句柄获取服务端的软件视图区域，并通过视图显示控件显示；

（3）客户端对视图显示控件显示的图像进行操作，服务端根据客户端的操作进行响应，并由客户端将服务端上运行的程序界面通过视图显示控件显示。

2.根据权利要求1所述的用于客户端与服务端的图形协同处理方法，其特征在于，所述步骤（1）包括以下子步骤：

（11）客户端发出远程命令调用；

（12）服务端收到远程命令调用后，打开对应的进程，并将进程ID返回给客户端；

（13）客户端根据进程ID获得窗口句柄；

（14）客户端根据窗口句柄将服务端的进程窗口绑定到客户端的视图显示控件中。

3.根据权利要求2所述的用于客户端与服务端的图形协同处理方法，其特征在于，所述步骤（11）前还包括服务端向客户端提供外部使用的软件列表的步骤。

4.根据权利要求1所述的用于客户端与服务端的图形协同处理方法，其特征在于，所述步骤（2）包括以下子步骤：

（21）客户端捕获服务端上的进程显示区域的大小和内容；

（22）客户端根据捕获内容在视图显示控件中更新显示。

5.根据权利要求1所述的用于客户端与服务端的图形协同处理方法，其特征在于，所述步骤（3）包括以下子步骤：

（31）客户端根据用户在视图显示控件中的操作产生控制消息，并将控制消息发送给服务端；

（32）服务端根据控制消息的类型进行响应操作；

（33）客户端根据服务端的响应结果更新视图显示控件中的显示内容。

6.根据权利要求1所述的用于客户端与服务端的图形协同处理方法，其特征在于，所述视图显示控件为使用QT封装基于RFB协议的视图显示控件。

7.一种用于客户端与服务端的图形协同处理系统，包括客户端和服务端，其中，客户端采用Linux操作系统，服务端采用Windows操作系统，其特征在于，所述客户端和服务端之间建立协同通讯连接；所述客户端包括：视图显示控件，用于根据进程ID和窗口句柄获取服务端的软件视图区域并显示；控制模块，用于对视图显示控件显示的图像进行操作；所述服务端包括：图形共享服务模块，用于根据客户端的操作进行响应，将服务端的软件视图区域共享给客户端。

8.根据权利要求7所述的用于客户端与服务端的图形协同处理系统，其特征在于，所述客户端还包括：远程命令调用模块，用于发出远程命令调用；窗口句柄获取模块，用于根据进程ID获得窗口句柄；绑定模块，用于窗口句柄将服务端的进程窗口绑定到客户端的视图显示控件中；所述服务端还包括：进程打开模块，用于根据远程命令调用打开对应的进程；进程ID发送模块，用于将进程ID发送给客户端。

9.根据权利要求8所述的用于客户端与服务端的图形协同处理系统，其特征在于，所述服务端还包括软件列表发送模块，用于向客户端提供外部使用的软件列表。

10.根据权利要求7所述的用于客户端与服务端的图形协同处理系统，其特征在于，所述视图显示控件包括：捕获子模块，用于服务端上的进程显示区域的大小和内容；显示子模块，用于根据捕获内容进行更新显示。

11.根据权利要求7所述的用于客户端与服务端的图形协同处理系统，其特征在于，所述控制模块包括：控制消息产生子模块，用于根据用户在视图显示控件中的操作产生控制消息；控制消息发送子模块，用于将控制消息发送给服务端；所述图形共享服务模块包括：响应子模块，用于根据控制消息的类型进行响应操作；所述视图显示控件根据服务端的响应结果更新显示内容。

12.根据权利要求7所述的用于客户端与服务端的图形协同处理系统，其特征在于，所述视图显示控件为使用QT封装基于RFB协议的视图显示控件。