CN101673185B - 一种图像显示触摸控制方法及其系统 - Google Patents

Abstract

本发明提供一种图像显示触摸控制方法及其系统，该方法包括：在内存中生成虚拟的计算机桌面图像；将所述虚拟的计算机桌面图像输出至外部显示装置中显示；生成所述虚拟的计算机桌面图像的缩影图像，将所述缩影图像输出至一个带有触摸感测功能的显示模块中显示，并记录对所述缩影图像的触摸操作信息；按照所述虚拟的计算机桌面图像与所述缩影图像的分辨率比例，将对所述缩影图像的触摸操作信息，转换为对所述虚拟的计算机桌面图像的触摸操作信息；结合所述对所述虚拟的计算机桌面图像的触摸操作信息，生成新的虚拟的计算机桌面图像。本发明的图像显示触摸控制方法及其系统能够实现具有较高分辨率的图像显示的触摸控制，且实现简单，成本较低。

Description

一种图像显示触摸控制方法及其系统

技术领域

本发明涉及一种图像显示触摸控制方法，本发明还涉及一种图像显示触摸控制系统。

背景技术

随着计算机技术的发展，对显示屏进行触摸控制的技术的应用已经越来越广泛。通常的触摸控制技术的原理为：直接在显示屏幕前面安装触摸检测部件，检测触摸操作的信息(包括触摸点坐标、触摸动作的时间间隔等)，然后根据所述触摸操作的信息在计算机上执行相应的处理，再在显示屏上显示执行结果。

但是，当需要显示的图像的分辨率较大时，为了显示一幅完整的图像，显示屏幕的分辨率也会相应的设置得较大。例如在多屏显示技术中，由多个分屏组合成一个较高分辨率的完整屏幕，通过多个分屏分别显示一幅图像的一部分，各个所述分屏组合显示一幅完整的高分辨率的图像。要求显示的分辨率越大，分屏的数目就越多，屏幕的面积也就相应增大，甚至有可能达到上百平方米，在如此大的屏幕上安装触摸检测部件(例如一般的电容/电阻式触摸屏)，不仅技术难度大，制造和维护成本较高，而且操作人员也无法再如此大的屏幕上进行触摸操作。

发明内容

为解决现有技术的触摸控制方法无法应用于较高分辨率的图像显示领域的技术问题，本发明提供一种能够对较高分辨率的图像显示实现触摸控制的图像显示触摸控制方法。

一种图像显示触摸控制方法，包括以下步骤：在内存中生成虚拟的计算机桌面图像；将所述虚拟的计算机桌面图像输出至外部显示装置中显示；将所述虚拟的计算机桌面图像按照一定的分辨率比例缩小，生成所述虚拟的计算机桌面图像的缩影图像，将所述缩影图像输出至带有触摸感测功能的显示模块中显示，并通过所述带有触摸感测功能的显示模块记录对所述缩影图像的触摸操作信息；按照所述虚拟的计算机桌面图像与所述缩影图像的分辨率比例，将对所述缩影图像的触摸操作信息，转换为对所述虚拟的计算机桌面图像的触摸操作信息；结合对所述虚拟的计算机桌面图像的触摸操作信息，生成新的虚拟的计算机桌面图像。

与现有技术相比较，本发明的图像显示触摸控制方法中，由于所述虚拟的计算机桌面图像储存在内存中，因此所述虚拟的计算机桌面图像可以设置较大的分辨率，甚至超高分辨率。在所述带有触摸屏的显示模块中进行触摸控制，通过所述带有触摸屏的显示模块将对所述缩影图像的触摸信息转换为对所述虚拟的计算机桌面图像的触摸操作信息，生成新的虚拟的计算机桌面图像。从而可以通过一块分辨率较低的触摸屏幕，实现对另一幅超高分辨率的屏幕的触摸控制。

为解决现有技术的触摸控制装置无法应用于较高分辨率的图像显示领域的技术问题，本发明提供一种能够对较高分辨率的图像显示实现触摸控制的图像显示触摸控制系统。

一种图像显示触摸控制系统，包括客户端和服务器；所述客户端用于接收一个储存在内存中的虚拟的计算机桌面图像的缩影图像，并将所述缩影图像输出至一个带有触摸感测功能的显示模块中显示，通过所述带有触摸感测功能的显示模块记录对所述缩影图像的触摸操作信息并发送至所述服务器；所述服务器用于将所述虚拟的计算机桌面图像按照一定的分辨率比例缩小，生成所述缩影图像，并将所述缩影图像发送至所述客户端，从所述客户端接收对所述缩影图像的触摸操作信息，并按照所述虚拟的计算机桌面图像与所述缩影图像的分辨率比例，将对所述缩影图像的触摸操作信息，转换为对所述虚拟的计算机桌面图像的触摸操作信息，并结合所述对所述虚拟的计算机桌面图像的触摸操作信息，生成新的虚拟的计算机桌面图像。

与现有技术相比较，本发明提供的图像显示触摸控制系统中，由于所述虚拟桌面图像生成模块将所述虚拟的计算机桌面图像储存在内存中，因此所述虚拟的计算机桌面图像可以设置较大的分辨率，甚至超高分辨率。通过所述触摸操作信息记录模块在所述带有触摸屏的显示模块中进行触摸控制，所述触摸操作信息转换模块将所述缩影图像将触摸信息转换为对所述虚拟的计算机桌面图像的触摸操作信息，再由所述虚拟桌面图像生成模块根据对所述虚拟的计算机桌面图像的触摸操作信息生成新的虚拟的计算机桌面图像。从而可以通过一块分辨率较低的触摸屏幕，实现对另一幅超高分辨率的屏幕的触摸控制。

附图说明

图1是本发明图像显示触摸控制方法的流程图；

图2是利用本发明图像显示触摸控制方法进行画面标注的一种优选实施方式的步骤的流程图；

图3是本发明图像显示触摸控制系统的结构示意图；

图4是本发明图像显示触摸控制系统的虚拟桌面图像生成模块一种优选实施方式的结构示意图；

图5是本发明图像显示触摸控制系统第二实施方式的结构示意图。

其中，10、20图像显示触摸控制系统；

11、21服务器；

13、23虚拟桌面显示处理模块；

14、24外部显示装置；

15、25客户端；

16、26带有触摸感测功能的显示模块；

101第一透明窗口生成模块；

103画面标注执行模块；

105第二透明窗口生成模块；

107画面标注复制模块；

111、211虚拟桌面图像生成模块；

113、213虚拟桌面图像发送模块；

115、215缩影图像生成模块；

117、217操作处理模块后端；

119、219触摸操作信息转换模块；

131、231虚拟桌面图像接收模块；

155操作处理模块前端。

具体实施方式

请参阅图1，图1是本发明图像显示触摸控制方法的流程图。

在步骤S102中，在内存中生成虚拟的计算机桌面图像。

根据实际需要显示的内容生成所述虚拟的计算机桌面图像，将内存作为虚拟显示设备，将所述虚拟的计算机桌面图像先暂时保存在内存中。所述虚拟的计算机桌面图像可包括各种数据内容，例如图像、窗口、文字等。所述虚拟的计算机桌面图像用于从所述内存中输出至实际的显示屏幕中显示。由于将所述虚拟的计算机桌面图像保存在内存中，而内存一般具有较高的储存容量，因此所述虚拟的计算机桌面图像可以具有较高的分辨率，比如超过100M像素，所述虚拟的计算机桌面图像一般应用于具有较高分辨率要求的显示领域。

在步骤S104中，将所述虚拟的计算机桌面图像输出至外部显示装置中显示。

因为所述虚拟的桌面的超高分辨率，所以所述外部显示装置为超高分辨率的显示屏幕，可以是由多个分显示屏拼接而成完整屏幕。多个将所述虚拟的计算机桌面图像传输至外部显示装置时，可以先对模拟所述触摸操作后的所述虚拟的计算机桌面图像进行分块、压缩和编码的处理。由于所述虚拟的计算机桌面图像的分辨率较大，在传输时会有较大难度，所以可通过将所述虚拟的计算机桌面图像进行分块，将所述虚拟的计算机桌面图像分成多个数据块，然后分别对每一所述数据块进行压缩，减少其数据体积，再对压缩后的多个数据块分别进行编码，并将每一所述数据块分别通过一独立的数据通道传输到相应的显示装置终端进行显示。发送时可以通过数据总线发送，也可以利用网络协议，例如UDP协议(User Datagram Protocol，用户数据包协议)或TCP协议(Transfer Control Protocol，传输控制协议)通过有线或无线介质传输。在所述显示装置终端再对每一所述数据块进行解码、解压缩，然后分别将每一所述数据块发送至一个分屏中，显示所述虚拟的计算机桌面图像的对应部分。

由于所述虚拟的计算机桌面图像一般具有较高的分辨率，所述外部显示装置的面积一般都较大，难以在其上直接安装一般的触摸屏进行触摸控制。

在步骤S106中，将所述虚拟的计算机桌面图像按照一定的分辨率比例缩小，生成所述虚拟的计算机桌面图像的缩影图像，将所述缩影图像输出至一个带有触摸感测功能的显示模块中显示，并通过所述带有触摸感测功能的显示模块记录对所述缩影图像的触摸操作信息。

由于所述虚拟的计算机桌面图像一般具有较高的分辨率，其占用的内存较大，显示和传输时需要利用特别的方法(例如上述分块压缩的传输方法)，较不方便，要直接对高分辨率的图像进行触摸操作尤为困难。因此为了方便对所述虚拟的计算机桌面图像进行触摸操作，根据所述虚拟的计算机桌面图像，以一定的分辨率比例缩小，生成一幅具有较低分辨率的缩影图像，并将所述缩影图像传输至一个带有触摸感测功能的显示模块中显示，所述缩影图像的分辨率设置以清晰显示所述虚拟的计算机桌面图像的细节为准，也可以根据实际需要自定义设置，不超出一般的显示设备或显示卡的负荷能力。由于所述缩影图像具有较低的分辨率，因此其可以使用一般的传输设备和显示设备进行传输和显示。将所述缩影图像传输至所述带有触摸感测功能的显示模块时，既可以直接使用数据总线传输，也可以先对所述虚拟的计算机桌面图像的缩影图像进行压缩、编码的处理，然后通过网络协议，例如UDP协议(UserDatagram Protocol，用户数据包协议)或TCP协议(Transfer Control Protocol，传输控制协议)通过有线或无线介质传输。在接收端，接收压缩、编码处理后的所述缩影图像的数据，并对所述缩影图像的数据进行解码、解压缩处理，获得所述虚拟的计算机桌面图像的缩影图像后进行显示。

所述带有触摸感测功能的显示模块的尺寸大小和分辨率取决于触摸操作要求的精确度以及对显示能力的要求高低。所述带有触摸感测功能的显示模块既可以为一般的触摸显示屏，也可以是各种带有触摸感测功能的手提显示设备。

所述缩影图像在所述带有触摸感测功能的显示模块中显示时，可以根据需要放大或缩小显示。将所述缩影图像放大时可以显示其细节部分，对所述细节部分进行触摸操作，同时可以通过设置滚动条滚动到使用者需要显示的部分，或者通过鼠标动作控制切换到所述缩影图像的其他部分显示；将所述缩影图像缩小时可以显示较大的范围，甚至整个所述缩影图像，对所述缩影图像中的较大范围进行触摸操作。

通过所述带有触摸感测功能的显示模块的触摸感测功能，感测对其中显示的所述缩影图像进行的触摸操作，例如点击、拖动、手写输入、绘图等。

当所述带有触摸感测功能的显示模块上有触摸操作时，首先将所述触摸操作转化为电信号，上述动作可通过一般的触摸屏完成，不再详细说明。然后根据所述电信号判断所述触摸操作对应的类型，例如鼠标动作、手写输入、画面标注、图像截取等。再将分类好的触摸操作的类型，以及具体内容以数据的形式记录下来，获得对所述缩影图像的触摸操作信息。

记录对所述缩影图像的触摸操作信息后，同样可以通过数据总线或者网络协议传输，并且传输时可以执行压缩、编码和解压缩、解码等处理。

在步骤S108中，按照所述虚拟的计算机桌面图像与所述缩影图像的分辨率比例，将对所述缩影图像的触摸操作信息，转换为对所述虚拟的计算机桌面图像的触摸操作信息。

根据所述缩影图像与所述虚拟的计算机桌面图像的分辨率比例关系，将所述缩影图像的坐标转换到所述虚拟的计算机桌面图像的对应坐标。例如在所述缩影图像的分辨率为1024×768，其对所述虚拟的计算机桌面图像的长和宽缩小倍数分别为m和n，即所述虚拟的计算机桌面图像的分辨率为(1024×m)×(768×n)。则在所述缩影图像上的一点，例如点(1000，200)，将转换到所述虚拟的计算机桌面图像上的点(1000×m，200×n)；因为所述虚拟的计算机桌面图像的分辨率较大，所以可将所述缩影图像上的一个点按所述比例关系转换到所述虚拟的计算机桌面图像上的几个点。

通过所述坐标的转换，将对所述缩影图像的触摸操作信息转化为对所述虚拟的计算机桌面图像的触摸操作信息。

在步骤S110中，结合所述对所述虚拟的计算机桌面图像的触摸操作信息，生成新的虚拟的计算机桌面图像。

模拟所述对所述虚拟的计算机桌面图像的触摸操作，生成新的虚拟的计算机桌面图像。其技术原理与一般触摸屏的工作原理相同：将触摸操作信息转换为计算机指令，根据执行所述计算机指令的结果生成所述新的虚拟的计算机桌面图像。所述对所述虚拟的计算机桌面图像的触摸操作信息包括鼠标动作、手写输入、画面标注、图像截取等。

不断重复步骤S104至S110，在所述带有触摸屏的显示模块中进行触摸控制，通过所述缩影图像将触摸信息转换为对所述虚拟的计算机桌面图像的触摸操作信息，生成新的虚拟的计算机桌面图像，从而实现在一块分辨率较低的触摸屏幕上对另一幅超高分辨率的屏幕的进行控制。

作为一种优选实施方式，为使所述图像显示触摸控制方法现实多人同时对一个超高分辨率的大型屏幕进行触摸控制。在步骤S106中，将所述虚拟的计算机桌面图像按照一定的分辨率比例缩小，生成所述虚拟的计算机桌面图像的缩影图像，并将所述缩影图像分别输出至多个带有触摸感测功能的显示模块中显示，分别通过多个所述带有触摸感测功能的显示模块分别记录的对所述缩影图像的触摸操作信息；

在步骤S108中，按照所述虚拟的计算机桌面图像与所述缩影图像的分辨率比例，将多个所述带有触摸感测功能的显示模块分别记录的对所述缩影图像的触摸操作信息，转换为对所述虚拟的计算机桌面图像的触摸操作信息。

在步骤S110中，结合对所述虚拟的计算机桌面图像的触摸操作信息，生成新的虚拟的计算机桌面图像。此处的对所述虚拟的计算机桌面图像的触摸操作信息为由多个带有触摸感测功能的显示模块分别记录的触摸操作信息转换而成。

在生成所述缩影图像之后，将其分别发送至多个所述带有触摸感测功能的显示模块中显示，并记录触摸操作信息，多个用户可以同时通过不同的所述带有触摸感测功能的显示模块记录对对应的缩影图像的触摸操作信息，然后，所述不同用户分别对各个对所述缩影图像的触摸操作信息都被转换为对所述虚拟的计算机桌面图像的触摸操作信息。最后再结合对所述虚拟的计算机桌面图像的触摸控制信息生成新的虚拟的计算机桌面图像。因此能够实现多个不同的用户同时对一个超高分辨率的大型屏幕进行触摸控制。

作为在所述虚拟的计算机桌面图像上模拟所述触摸操作的一种特殊情况，特别对模拟动态背景下的画面标注作一种优选的实施方式的举例。

动态背景下的画面标注具有较高的技术难度，因为标注的背景是活动的，不断刷新的，所以标注信息会受到动态背景的影响，例如对播放视频的显示画面进行画面标注时，所述画面标注会随着视频影像对应的部分显示画面的刷新而消失。因此，不应直接在所述动态背景上进行所述画面标注，例如对播放视频的显示画面进行标注时，所述画面标注不能直接添加至视频影像中，应该标注在显示画面上。

请参阅图2，图2是利用本发明图像显示触摸控制方法进行画面标注的一种优选实施方式的步骤的流程图。

作为一种优选实施方式，当提示接收到的触摸操作为画面标注时，首先在步骤S1102，以所述画面标注的起点对应的坐标为中心，在所述新的虚拟的计算机桌面图像的上层创建若干个无边框、无标题栏、无背景色的第一虚拟透明窗口。

在所述虚拟的计算机桌面图像中，以所述画面标注在所述虚拟的计算机桌面图像上对应的起点坐标为中心，在所述动态背景的上层创建一个无边框、无标题栏、无背景色的透明窗口，称为第一虚拟透明窗口。所述第一虚拟透明窗口的分辨率大小可根据实际情况而定，一般远小于所述虚拟的计算机桌面图像的分辨率大小，并且大于所述带有触摸感测功能的显示模块的分辨率。本实施方式中，所述第一虚拟透明窗口的分辨率大小等于所述带有触摸感测功能的显示模块的分辨率的4倍。即如果所述带有触摸感测功能的显示模块的分辨率为320×240，则所述第一虚拟透明窗口的大小为640×480(320×2×240×2)。所述透明窗口优选采用WS_EX_LAYERED风格窗口，并将其背景色消除。

在步骤S1104中，在所述第一虚拟透明窗口中执行所述画面标注。

所述标注信息并不是直接标注到所述虚拟的计算机桌面图像中(此时所述虚拟的计算机桌面图像显示动态背景)，而是在所述第一虚拟透明窗口上模拟显示，然后通过所述第一虚拟透明窗口叠加在所述动态背景上层。由于所述第一虚拟透明窗口本身的背景为透明背景，所以实际上，在所述虚拟的计算机桌面图像中只显示所述画面标注与所述动态背景。即使所述动态背景不断刷新，设置在上层的第一虚拟透明窗口记载的画面标注也不会受到影响，即所述画面标注与所述动态背景分开在两个层次中显示，不会互相影响，因此能很好地实现动态背景下的画面标注。

如果使用WS_EX_LAYERED风格窗口作为所述第一虚拟透明窗口，则在画面标注的命令激活时，拦截对所述第一虚拟透明窗口的鼠标点击动作，同时根据鼠标按下时的移动轨迹在所述第一虚拟透明窗口模拟显示画面标注。

同时，当一个所述画面标注超过所述第一虚拟透明窗口范围时，并且避免所述画面标注因为超出所述第一虚拟透明窗口的范围之外而丢失。在所述带有触摸感测功能的显示模块显示所述缩影图像时，限制所述缩影图像缩小的比率，使对所述缩影图像进行画面标注时，标注的范围不会过大；或者根据所述缩小比率增大所述第一虚拟透明窗口的分辨率；又或者将所述超过所述第一虚拟透明窗口范围的画面标注分成若干个不超过所述第一虚拟透明窗口范围的子画面标注，并且对每一个所述子画面标注都单独创建一个所述第一虚拟透明窗口，并在每个所述第一虚拟透明窗口中执行对应的所述子画面标注。

进一步地，因为创建所述第一虚拟透明窗口时，所述画面标注的大小未知，所以所述第一虚拟透明窗口的分辨率一般先设置得比较大(例如本实施方式中所述第一虚拟透明窗口的分辨率为所述带有触摸感测功能的显示模块的分辨率的4倍)。当所述画面标注的大小远小于所述第一虚拟透明窗口时，所述第一虚拟透明窗口将有较多的剩余空间，所述剩余空间将会占用储存空间，造成资源浪费。

因此，在步骤S1106中，根据在每个所述第一虚拟透明窗口中执行的所述画面标注的大小、位置，在所述新的虚拟的计算机桌面图像的上层创建若干个大小、位置与所述画面标注相适应的第二虚拟透明窗口。

所述第二虚拟透明窗口同样设置在所述动态背景的上层，可以位于所述第一虚拟透明窗口之上或之下。所述第二虚拟透明窗口的大小、位置根据所述第一虚拟透明窗口上的画面标注的实际大小、位置而设定，因此所述第二虚拟透明窗口占用较小的储存空间。

在步骤S1108中，将所述画面标注从所述第一虚拟透明窗口复制到所述第二虚拟透明窗口，并删除所述第一虚拟透明窗口。

在所述第二虚拟透明窗口上复制所述画面标注后，所述第二虚拟透明窗口上的画面标注与所述第一虚拟透明窗口上的画面标注完全重叠。将所述第一虚拟透明窗口从所述虚拟的计算机桌面图像中删除，所述画面标注通过所述第二虚拟透明窗口模拟显示在所述动态背景上层。以占用较小资源的所述第二虚拟透明窗口代替所述第一虚拟透明窗口作为所述画面标注的载体，从而节约了储存空间的资源。

与现有技术相比较，本发明的图像显示触摸控制方法中，由于所述虚拟的计算机桌面图像储存在内存中，因此所述虚拟的计算机桌面图像可以设置较大的分辨率，甚至超高分辨率。在所述带有触摸屏的显示模块中进行触摸控制，通过所述缩影图像将触摸信息转换为对所述虚拟的计算机桌面图像的触摸操作信息，生成新的虚拟的计算机桌面图像。从而可以通过一块分辨率较低的触摸屏幕，实现对另一幅超高分辨率的屏幕的触摸控制。

请参阅图3，图3是本发明图像显示触摸控制系统的结构示意图。

所述图像显示触摸控制系统10包括客户端15、服务器11和一个虚拟桌面显示处理模块13。

所述客户端15用于接收一个储存在内存中的虚拟的计算机桌面图像的缩影图像，并将所述缩影图像输出至一个带有触摸感测功能的显示模块16中显示，通过所述带有触摸感测功能的显示模块16记录对所述缩影图像的触摸操作信息并发送至所述服务器11；

所述服务器11用于将所述虚拟的计算机桌面图像按照一定的分辨率比例缩小，生成所述缩影图像，并将所述缩影图像发送至所述客户端15，从所述客户端15接收对所述缩影图像的触摸操作信息，并按照所述虚拟的计算机桌面图像与所述缩影图像的分辨率比例，将对所述缩影图像的触摸操作信息，转换为对所述虚拟的计算机桌面图像的触摸操作信息，并结合所述对所述虚拟的计算机桌面图像的触摸操作信息，生成新的虚拟的计算机桌面图像。并将每一个所述虚拟的计算机桌面图像发送到所述虚拟桌面显示处理模块13。

所述虚拟桌面显示处理模块13用于将所述虚拟的计算机桌面图像输出至外部显示装置14中显示。

所述服务器11包括一个虚拟桌面图像生成模块1111、一个虚拟桌面图像发送模块113、一个缩影图像生成模块115、一个操作处理模块后端117和一个触摸操作信息转换模块119。

所述虚拟桌面图像生成模块111用于在内存中生成虚拟的计算机桌面图像。

所述虚拟桌面图像生成模块111在内存中创建一个虚拟的计算机桌面图像。所述虚拟桌面图像生成模块111根据实际需要显示的内容生成所述虚拟的计算机桌面图像，将内存作为虚拟显示设备，将所述虚拟的计算机桌面图像先暂时保存在内存中。所述虚拟的计算机桌面图像可包括各种数据内容，例如图像、窗口、文字等。所述虚拟的计算机桌面图像用于从所述内存中输出至实际的显示屏幕中显示。由于所述虚拟桌面图像生成模块111将所述虚拟的计算机桌面图像保存在内存中，而内存一般具有较高的储存容量，因此所述虚拟的计算机桌面图像可以具有较高的分辨率，比如超过100M像素，所述虚拟的计算机桌面图像一般应用于具有较高分辨率要求的显示领域。

所述虚拟桌面图像发送模块113用于将所述虚拟的计算机桌面图像输出至所述虚拟桌面显示处理模块13。

所述虚拟桌面图像发送模块113用于对模拟所述触摸操作后的所述虚拟的计算机桌面图像进行分块、压缩和编码的处理，再将所述虚拟的计算机桌面图像传输至传输介质中。由于所述虚拟的计算机桌面图像的分辨率较大，在传输时会有较大难度，所以所述虚拟桌面图像发送模块113通过将所述虚拟的计算机桌面图像分成多个数据块，然后分别对每一所述数据块进行压缩，减少其数据体积，再对压缩后的多个数据块分别进行编码，并将每一所述数据块分别通过一独立的数据通道传输到相应的显示装置终端进行显示。发送时可以通过数据总线发送，也可以利用网络协议，例如UDP协议(UserDatagram Protocol，用户数据包协议)或TCP协议(Transfer Control Protocol，传输控制协议)通过有线或无线介质传输。

所述虚拟桌面显示处理模块13包括一个虚拟桌面图像接收模块131，所述虚拟桌面图像接收模块131从传输介质中分别接收所述分块、压缩和编码处理后的所述虚拟的计算机桌面图像的数据块，并对每一所述数据块进行解码、解压缩。然后所述虚拟桌面显示处理模块13分别将每一所述解码、解压缩后的数据块发送至所述外部显示装置14中显示。由于所述虚拟的计算机桌面图像的分辨率较大，所以所述外部显示装置14为超高分辨率的显示屏幕，可以是由多个分显示屏拼接而成完整屏幕。其中，所述每个分屏中对应显示所述虚拟的计算机桌面图像的一个部分。

由于所述虚拟的计算机桌面图像一般具有较高的分辨率，所述外部显示装置14的面积一般都较大，难以在其上直接安装一般的触摸屏进行触摸控制。因此为了方便对所述虚拟的计算机桌面图像进行触摸操作，所述缩影图像生成模块115根据所述虚拟的计算机桌面图像，以一定的分辨率比例缩小，生成一幅具有较低分辨率的缩影图像，并将所述缩影图像传送至所述操作处理模块后端117。

所述用户端15包括一个操作处理模块前端155。所述操作处理模块后端117通过传输介质将所述缩影图像传输至所述操作处理模块前端155。所述操作处理模块前端155将所述缩影图像传输至一个带有触摸感测功能的显示模块16中显示，所述缩影图像的分辨率设置以清晰显示所述虚拟的计算机桌面图像的细节为准，也可以根据实际需要自定义设置，不超出一般的显示设备或显示卡的负荷能力。由于所述缩影图像具有较低的分辨率，因此所述操作处理模块后端117和所述操作处理模块前端155可以使用一般的影像传输设备。传输时，既可以直接使用数据总线传输，也可以使用网络协议传输。所述操作处理模块后端117先对所述虚拟的计算机桌面图像的缩影图像进行压缩、编码的处理，然后通过网络协议，例如UDP协议(User Datagram Protocol，用户数据包协议)或TCP协议(Transfer Control Protocol，传输控制协议)通过有线或无线介质传输。

所述操作处理模块前端155接收压缩、编码处理后的所述缩影图像的数据，并对所述缩影图像的数据进行解码、解压缩处理，获得所述虚拟的计算机桌面图像的缩影图像后，将其输出至所述带有触摸感测功能的显示模块16中进行进行显示。

所述带有触摸感测功能的显示模块16的尺寸大小和分辨率取决于触摸操作要求的精确度以及对显示能力的要求高低。所述带有触摸感测功能的显示模块16既可以为一般的触摸显示屏，也可以是各种带有触摸感测功能的手提显示设备。

所述用户端15可进一步包括一个缩影图像浏览模块(图未示)，所述缩影图像浏览模块根据需要将所述缩影图像在所述带有触摸感测功能的显示模块16中放大或缩小显示。所述缩影图像浏览模块将所述缩影图像放大时可以显示其细节部分，对所述细节部分进行触摸操作，同时可以通过设置滚动条滚动到使用者需要显示的部分，或者通过鼠标动作控制切换到所述缩影图像的其他部分显示；将所述缩影图像缩小时可以显示较大的范围，甚至整个所述缩影图像，对所述缩影图像中的较大范围进行触摸操作。

通过所述带有触摸感测功能的显示模块16的触摸感测功能，感测对其中显示的所述缩影图像进行的触摸操作，例如点击、拖动、手写输入、绘图等。所述用户端15记录对所述缩影图像的触摸操作。

当所述带有触摸感测功能的显示模块16上有触摸操作时，首先将所述触摸操作转化为电信号，上述动作可通过一般的触摸屏完成，不再详细说明。然后所述用户端15根据所述电信号判断所述触摸操作对应的类型，例如鼠标动作、手写输入、画面标注、图像截取等。再将分类好的触摸操作的类型，以及具体内容以数据的形式记录下来，记录对所述缩影图像的触摸操作信息。

完成记录对所述缩影图像的触摸操作信息后，由所述操作处理模块前端155对所述触摸操作信息进行行压缩、编码处理，然后通过传输介质传输至所述操作处理模块后端117，在所述操作处理模块后端117中进行解压缩、解码等处理，还原所述触摸操作信息，并将所述触摸操作信息传输至所述触摸操作信息转换模块119。

所述触摸操作信息转换模块119用于按照所述虚拟的计算机桌面图像与所述缩影图像的分辨率比例，将对所述缩影图像的触摸操作信息，转换为对所述虚拟的计算机桌面图像的触摸操作信息。

所述触摸操作信息转换模块119根据所述缩影图像与所述虚拟的计算机桌面图像的分辨率比例关系，将所述缩影图像的坐标转换到所述虚拟的计算机桌面图像的对应坐标。例如在所述缩影图像的分辨率为1024×768，其对所述虚拟的计算机桌面图像的长和宽缩小倍数分别为m和n，即所述虚拟的计算机桌面图像的分辨率为(1024×m)×(768×n)。则在所述缩影图像上的一点，例如点(1000，200)，将转换到所述虚拟的计算机桌面图像上的点(1000×m，200×n)；因为所述虚拟的计算机桌面图像的分辨率较大，所以可将所述缩影图像上的一个点按所述比例关系转换到所述虚拟的计算机桌面图像上的几个点。

所述触摸操作信息转换模块119通过所述坐标的转换，将对所述缩影图像的触摸操作信息转化为对所述虚拟的计算机桌面图像的触摸操作信息。

所述虚拟桌面图像生成模块111结合所述对所述虚拟的计算机桌面图像的触摸操作信息，生成新的虚拟的计算机桌面图像。

所述虚拟桌面图像生成模块111模拟所述对所述虚拟的计算机桌面图像的触摸操作，生成新的虚拟的计算机桌面图像。其技术原理与一般触摸屏的工作原理相同：将触摸操作信息转换为计算机指令，根据执行所述计算机指令的结果生成所述新的虚拟的计算机桌面图像。所述对所述虚拟的计算机桌面图像的触摸操作信息包括鼠标动作、手写输入、画面标注、图像截取等。

通过各个模块的互相配合，所述图像显示触摸控制系统10在所述带有触摸屏的显示模块中进行触摸控制，通过所述缩影图像将触摸信息转换为对所述虚拟的计算机桌面图像的触摸操作信息，生成新的虚拟的计算机桌面图像，从而实现在一块分辨率较低的触摸屏幕上对另一幅超高分辨率的屏幕的进行控制。

请参阅图4，图4是本发明图像显示触摸控制系统的虚拟桌面图像生成模块一种优选实施方式的结构示意图。

动态背景下的画面标注具有较高的技术难度，因为标注的背景是活动的，不断刷新的，所以标注信息会受到动态背景的影响，例如对播放视频的显示画面进行画面标注时，所述画面标注会随着视频影像对应的部分显示画面的刷新而消失。因此，不应直接在所述动态背景上进行所述画面标注，例如对播放视频的显示画面进行标注时，所述画面标注不能直接添加至视频影像中，应该标注在显示画面上。

作为一种优选实施方式，所述虚拟桌面图像生成模块111包括一个第一透明窗口生成模块111、一个画面标注执行模块113、一个第二透明窗口生成模块115和一个画面标注复制模块117。

所述第一透明窗口生成模块111用于以所述画面标注的起点对应的坐标为中心，在所述新的虚拟的计算机桌面图像的上层创建若干个无边框、无标题栏、无背景色的第一虚拟透明窗口。

所述第一透明窗口生成模块111在所述虚拟的计算机桌面图像中，以所述画面标注在所述虚拟的计算机桌面图像上对应的起点坐标为中心，在所述动态背景的上层创建一个无边框、无标题栏、无背景色的透明窗口，称为第一虚拟透明窗口。所述第一虚拟透明窗口的分辨率大小可根据实际情况而定，一般远小于所述虚拟的计算机桌面图像的分辨率大小，并且大于所述带有触摸感测功能的显示模块的分辨率。本实施方式中，所述第一虚拟透明窗口的分辨率大小等于所述带有触摸感测功能的显示模块的分辨率的4倍。即如果所述带有触摸感测功能的显示模块的分辨率为320×240，则所述第一虚拟透明窗口的大小为640×480(320×2×240×2)。所述透明窗口优选采用WS_EX_LAYERED风格窗口，并将其背景色消除。

所述画面标注执行模块113用于在所述第一虚拟透明窗口中执行所述画面标注。

所述画面标注执行模块113并不是直接将所述标注信息标注到所述虚拟的计算机桌面图像中(此时所述虚拟的计算机桌面图像显示动态背景)，而是在所述第一虚拟透明窗口上模拟显示，然后通过所述第一虚拟透明窗口叠加在所述动态背景上层。由于所述第一虚拟透明窗口本身的背景为透明背景，所以实际上，在所述虚拟的计算机桌面图像中只显示所述画面标注与所述动态背景。即使所述动态背景不断刷新，设置在上层的第一虚拟透明窗口记载的画面标注也不会受到影响，即所述画面标注与所述动态背景分开在两个层次中显示，不会互相影响，因此能很好地实现动态背景下的画面标注。

如果使用WS_EX_LAYERED风格窗口作为所述第一虚拟透明窗口，则所述画面标注执行模块113在画面标注的命令激活时，拦截对所述第一虚拟透明窗口的鼠标点击动作，同时根据鼠标按下时的移动轨迹在所述第一虚拟透明窗口模拟显示画面标注。

同时，并且为了保证每一个所述画面标注不超出所述第一虚拟透明窗口的范围之外。可以在所述带有触摸感测功能的显示模块显示所述缩影图像时，通过所述缩影图像浏览模块限制所述缩影图像缩小的比率，使对所述缩影图像进行画面标注时，标注的范围不会过大；或者使所述第一透明窗口生成模块111根据所述缩小比率增大所述第一虚拟透明窗口的分辨率。

作为一种优选实施方式，所述虚拟桌面图像生成模块111可进一步包括一个画面标注划分模块(图未示)，所述画面标注划分模块用于将一个超过所述第一虚拟透明窗口范围的连续画面标注分成若干个不超过所述第一虚拟透明窗口范围的子画面标注。所述第一透明窗口生成模块111对每一个所述子画面标注都单独创建一个所述第一虚拟透明窗口，并且，所述画面标注执行模块113在每个所述第一虚拟透明窗口中执行对应的所述子画面标注。

进一步地，因为所述第一透明窗口生成模块111创建所述第一虚拟透明窗口时，所述画面标注的大小未知，所以所述第一虚拟透明窗口的分辨率一般先设置得比较大(例如本实施方式中所述第一虚拟透明窗口的分辨率为所述带有触摸感测功能的显示模块的分辨率的4倍)。当所述画面标注的大小远小于所述第一虚拟透明窗口时，所述第一虚拟透明窗口将有较多的剩余空间，所述剩余空间将会占用储存空间，造成资源浪费。

因此，所述第二透明窗口生成模块115用于根据在每个所述第一虚拟透明窗口中执行的所述画面标注的大小、位置，在所述新的虚拟的计算机桌面图像的上层创建若干个大小、位置与所述画面标注相适应的第二虚拟透明窗口。

所述第二透明窗口生成模块115同样将所述第二虚拟透明窗口设置在所述动态背景的上层，可以位于所述第一虚拟透明窗口之上或之下。所述第二虚拟透明窗口的大小、位置根据所述第一虚拟透明窗口上的画面标注的实际大小、位置而设定，因此所述第二虚拟透明窗口占用较小的储存空间。

所述画面标注复制模块117用于将所述画面标注从所述第一虚拟透明窗口复制到所述第二虚拟透明窗口，并删除所述第一虚拟透明窗口。

所述画面标注复制模块117在所述第二虚拟透明窗口上复制所述画面标注后，所述第二虚拟透明窗口上的画面标注与所述第一虚拟透明窗口上的画面标注完全重叠。将所述第一虚拟透明窗口从所述虚拟的计算机桌面图像中删除，所述画面标注通过所述第二虚拟透明窗口模拟显示在所述动态背景上层。以占用较小资源的所述第二虚拟透明窗口代替所述第一虚拟透明窗口作为所述画面标注的载体，从而节约了储存空间的资源。

与现有技术相比较，本发明的图像显示触摸控制系统10中，由于所述虚拟桌面图像生成模块111将所述虚拟的计算机桌面图像储存在内存中，因此所述虚拟的计算机桌面图像可以设置较大的分辨率，甚至超高分辨率。通过所述触摸操作信息记录模块15在所述带有触摸屏的显示模块中进行触摸控制，所述触摸操作信息转换模块119将所述缩影图像将触摸信息转换为对所述虚拟的计算机桌面图像的触摸操作信息，再由所述虚拟桌面图像生成模块111根据对所述虚拟的计算机桌面图像的触摸操作信息生成新的虚拟的计算机桌面图像。从而可以通过一块分辨率较低的触摸屏幕，实现对另一幅超高分辨率的屏幕的触摸控制。

请参阅图5，图5是本发明图像显示触摸控制系统第二实施方式的结构示意图。

作为一种优选实施方式，为使所述图像显示触摸控制系统20现实多人同时对一个超高分辨率的大型屏幕进行触摸控制。所述图像显示触摸控制系统20包括多个客户端25，每一个所述客户端25都包括一个操作处理模块前端255，每一个所述操作处理模块前端255都各自连接一个带有触摸感测功能的显示模块26，并且每一个所述操作处理模块前端255都连接至所述操作处理模块后端217。

所述缩影图像生成模块215将所述虚拟的计算机桌面图像按照一定的分辨率比例缩小，生成所述虚拟的计算机桌面图像的缩影图像，并传输至所述操作处理模块后端217。

所述操作处理模块后端217将所述缩影图像压缩、编码，并通过传输介质分别发送至每一个所述客户端25。

每一个所述客户端25通过各自的所述操作处理模块前端255接收压缩、编码后的所述缩影图像，并对其进行解码、解压缩的处理后，发送对应的带有触摸感测功能的显示模块26中。

每一个使用者都可以通过各自对应的带有触摸感测功能的显示模块26对所述缩影图像进行触摸操作，每个所述客户端25记录各自的对应的用户对所述缩影图像的触摸操作信息后，将其通过所述操作处理模块前端255发送。

所述操作处理模块后端217从传输介质中接受各个用户对所述缩影图像的触摸操作信息，然后将其传输至所述触摸操作信息转换模块219。

所述触摸操作信息转换模块219按照所述虚拟的计算机桌面图像与所述缩影图像的分辨率比例，将各个用户对所述缩影图像的触摸操作信息，都转换为对所述虚拟的计算机桌面图像的触摸操作信息。然后将对所述虚拟的计算机桌面图像的触摸操作信息传输至所述虚拟桌面图像生成模块211。

所述虚拟桌面图像生成模块211结合对所述虚拟的计算机桌面图像的触摸操作信息，生成新的虚拟的计算机桌面图像。此处的对所述虚拟的计算机桌面图像的触摸操作信息为由多个对所述缩影图像的触摸操作信息转换而成。各个操作信息之间可以互相叠加，也可以互相编辑，例如一个用户端25中记录的触摸操作信息是画面标注，如果从另一个用户端25中接收标注操作信息，则可以在所述画面标注上进行再增加标注；如果从另一个用户端25中接收擦除的触摸操作信息，则可以讲所述标注擦除。

所述图像显示触摸控制系统20中，所述操作处理模块后端217将其分别发送至多个用户端25，每个所述用户端25分别通过一个带有触摸感测功能的显示模块26显示，并记录触摸操作信息。所以多个用户可以同时通过不同的所述用户端25记录对对应的缩影图像的触摸操作信息，然后，所述触摸操作信息转换模块219将不同用户分别对各个对所述缩影图像的触摸操作信息都转换为对所述虚拟的计算机桌面图像的触摸操作信息。最后再利用虚拟桌面图像生成模块211结合对所述虚拟的计算机桌面图像的触摸控制信息生成新的虚拟的计算机桌面图像。因此能够实现多个不同的用户同时对一个超高分辨率的大型屏幕进行触摸控制。

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (10)

1.一种图像显示触摸控制方法，其特征在于包括以下步骤：

在内存中生成虚拟的计算机桌面图像；

将所述虚拟的计算机桌面图像输出至外部显示装置中显示；

将所述虚拟的计算机桌面图像按照一定的分辨率比例缩小，生成所述虚拟的计算机桌面图像的缩影图像，将所述缩影图像输出至带有触摸感测功能的显示模块中显示，并通过所述带有触摸感测功能的显示模块记录对所述缩影图像的触摸操作信息；

按照所述虚拟的计算机桌面图像与所述缩影图像的分辨率比例，将对所述缩影图像的触摸操作信息，转换为对所述虚拟的计算机桌面图像的触摸操作信息；

结合对所述虚拟的计算机桌面图像的触摸操作信息，生成新的虚拟的计算机桌面图像。

2.如权利要求1所述的图像显示触摸控制方法，其特征在于，所述结合所述对所述虚拟的计算机桌面图像的触摸操作信息，生成新的虚拟的计算机桌面图像的步骤包括：

当对所述虚拟的计算机桌面图像的触摸操作信息为画面标注时，以所述画面标注的起点对应的坐标为中心，在所述新的虚拟的计算机桌面图像的上层创建若干个无边框、无标题栏、无背景色的第一虚拟透明窗口；

在所述第一虚拟透明窗口中执行所述画面标注。

3.如权利要求2所述的图像显示触摸控制方法，其特征在于，以所述画面标注的起点对应的坐标为中心，在所述新的虚拟的计算机桌面图像的上层创建若干个无边框、无标题栏、无背景色的第一虚拟透明窗口的步骤包括：

当一个所述画面标注超过所述第一虚拟透明窗口范围时，将所述超过所述第一虚拟透明窗口范围的画面标注分成若干个不超过所述第一虚拟透明窗口范围的子画面标注，并且对每一个所述子画面标注都单独创建一个所述第一虚拟透明窗口；

在所述第一虚拟透明窗口中执行所述画面标注的步骤包括：

在每个所述第一虚拟透明窗口中执行对应的所述子画面标注。

4.如权利要求2或者3所述的图像显示触摸控制方法，其特征在于，在所述第一虚拟透明窗口中执行所述画面标注后，进一步执行以下步骤：

根据在每个所述第一虚拟透明窗口中执行的所述画面标注的大小、位置，在所述新的虚拟的计算机桌面图像的上层创建若干个大小、位置与所述画面标注相适应的第二虚拟透明窗口；

将所述画面标注从所述第一虚拟透明窗口复制到所述第二虚拟透明窗口，并删除所述第一虚拟透明窗口。

5.如权利要求1、2或者3所述的图像显示触摸控制方法，其特征在于，所述将所述缩影图像输出至带有触摸感测功能的显示模块中显示，并通过所述带有触摸感测功能的显示模块记录对所述缩影图像的触摸操作信息的步骤包括：

将所述缩影图像分别输出至多个带有触摸感测功能的显示模块中显示，分别通过多个所述带有触摸感测功能的显示模块分别记录的对所述缩影图像的触摸操作信息；

所述将对所述缩影图像的触摸操作信息，转换为对所述虚拟的计算机桌面图像的触摸操作信息的步骤包括：

将多个所述带有触摸感测功能的显示模块分别记录的对所述缩影图像的触摸操作信息，转换为对所述虚拟的计算机桌面图像的触摸操作信息。

6.一种图像显示触摸控制系统，其特征在于包括客户端和服务器；

所述客户端用于接收一个储存在内存中的虚拟的计算机桌面图像的缩影图像，并将所述缩影图像输出至一个带有触摸感测功能的显示模块中显示，通过所述带有触摸感测功能的显示模块记录对所述缩影图像的触摸操作信息并发送至所述服务器；

所述服务器用于将所述虚拟的计算机桌面图像按照一定的分辨率比例缩小，生成所述缩影图像，并将所述缩影图像发送至所述客户端，从所述客户端接收对所述缩影图像的触摸操作信息，并按照所述虚拟的计算机桌面图像与所述缩影图像的分辨率比例，将对所述缩影图像的触摸操作信息，转换为对所述虚拟的计算机桌面图像的触摸操作信息，并结合所述对所述虚拟的计算机桌面图像的触摸操作信息，生成新的虚拟的计算机桌面图像。

7.如权利要求6所述的图像显示触摸控制系统，其特征在于：所述服务器包括：

第一透明窗口生成模块，用于当对所述虚拟的计算机桌面图像的触摸操作信息为画面标注时，以所述画面标注的起点对应的坐标为中心，在所述新的虚拟的计算机桌面图像的上层创建若干个无边框、无标题栏、无背景色的第一虚拟透明窗口；

画面标注执行模块，用于在所述第一虚拟透明窗口中执行所述画面标注。

8.如权利要求7所述的图像显示触摸控制系统，其特征在于所述服务器包括进一步包括：

画面标注划分模块，用于将一个超过所述第一虚拟透明窗口范围的连续画面标注划分成若干个不超过所述第一虚拟透明窗口范围的子画面标注；

所述第一透明窗口生成模块对每一个所述子画面标注都单独创建一个所述第一虚拟透明窗口；

所述画面标注执行模块在每个所述第一虚拟透明窗口中执行对应的所述子画面标注。

9.如权利要求7或者8所述的图像显示触摸控制系统，其特征在于服务器包括进一步包括：

第二透明窗口生成模块，用于根据在每个所述第一虚拟透明窗口中执行的所述画面标注的大小、位置，在所述新的虚拟的计算机桌面图像的上层创建若干个大小、位置与所述画面标注相适应的第二虚拟透明窗口；

画面标注复制模块，用于将所述画面标注从所述第一虚拟透明窗口复制到所述第二虚拟透明窗口，并删除所述第一虚拟透明窗口。

10.如权利要求6、7或者8所述的图像显示触摸控制系统，其特征在于包括多个所述客户端，每一个所述客户端分别接收所述缩影图像，并将所述缩影图像输出至所述带有触摸感测功能的显示模块中显示，将所述带有触摸感测功能的显示模块记录的对所述缩影图像的触摸操作信息发送至所述服务器；

所述服务器将所述缩影图像分别发送至多个所述客户端，分别接收从多个所述客户端发送的对所述缩影图像的触摸操作信息，并将各个对所述缩影图像的触摸操作信息，转换为对所述虚拟的计算机桌面图像的触摸操作信息，结合所述对所述虚拟的计算机桌面图像的触摸操作信息，生成新的虚拟的计算机桌面图像。

Images