CN110174946A - 鼠标操作模拟方法、模拟系统、存储介质、及电子设备 - Google Patents

Abstract

本发明提供鼠标操作模拟方法、模拟系统、存储介质、及电子设备。所述方法包括：捕捉发生在虚拟云桌面的显示区域内的手势操作；基于条件判断识别所述手势操作；基于条件判断将识别出的手势操作转换为鼠标操作发送至所述虚拟云桌面服务器，以供所述虚拟云桌面服务器根据接收的鼠标操作进行相应地运行，并将运行过程和运行结果呈现于所述虚拟云桌面中。本发明能通过移动终端的用户手势操作来模拟实际的鼠标操作，并将实际的鼠标操作所执行的过程和结果呈现在虚拟云桌面中。

Description

鼠标操作模拟方法、模拟系统、存储介质、及电子设备

技术领域

本发明涉及虚拟云桌面技术领域，特别是涉及鼠标操作模拟方法、模拟系统、存储介质、及电子设备。

背景技术

当前，智能移动设备的储存空间与运算芯片的工作速度较为有限，用户很难在智能移动设备上得到与使用PC机一样的操作体验。由此，云电脑横空出世。智能移动设备可以通过远程访问虚拟云桌面服务器提供的虚拟云桌面来获得虚拟云桌面服务器提供的服务功能，如办公软件、游戏软件等。

对于智能移动设备上的系统，如Android、iOS不需要外接的鼠标，以触屏方式即可实现鼠标操作，但是，鼠标的所有操作需要使用多手势或者其他方式进行替代。

然而，目前的虚拟云桌面不支持手势模拟鼠标操作的功能，使得用户与虚拟云桌面间的交互非常不便，难以为用户提供较佳的操作体验。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供鼠标操作模拟方法、模拟系统、存储介质、及电子设备，用于解决现有技术中的以上问题。

为实现上述目的及其他相关目的，本发明提供一种鼠标操作模拟方法，应用于与虚拟云桌面服务器通信连接的移动终端，所述移动终端显示由所述虚拟云桌面服务器提供的虚拟云桌面；所述方法包括：捕捉发生在所述虚拟云桌面的显示区域内的手势操作；基于条件判断识别所述手势操作；基于条件判断将识别出的手势操作转换为鼠标操作发送至所述虚拟云桌面服务器，以供所述虚拟云桌面服务器根据接收的鼠标操作进行相应地运行，并将运行过程和运行结果呈现于所述虚拟云桌面中。

于本发明一实施例中，所述方法还包括：当捕捉到单指点击的手势操作时，将鼠标左键操作发送至所述虚拟云桌面服务器，以供所述虚拟云桌面服务器在所述虚拟云桌面上呈现出鼠标左键的运行过程和运行结果。

于本发明一实施例中，所述方法还包括：当捕捉到双指点击的手势操作时，将鼠标右键操作发送至所述虚拟云桌面服务器，以供所述虚拟云桌面服务器在所述虚拟云桌面上呈现出鼠标右键的运行过程和运行结果；其中，所述双指点击中两指点击发生的时间间隔不大于预设值。

于本发明一实施例中，所述方法还包括：当捕捉到三指点击的手势操作时，在所述移动终端的界面上呈现出打开虚拟键盘的运行过程和运行结果。

于本发明一实施例中，所述方法还包括：当捕捉到滑动屏幕的手势操作时，将移动鼠标操作发送至所述虚拟云桌面服务器，以供所述虚拟云桌面服务器在所述虚拟云桌面上呈现出移动鼠标的运行过程和运行结果。

于本发明一实施例中，所述方法还包括：当捕捉到先长按屏幕再移动的手势操作时，将鼠标左键拖拽操作发送至所述虚拟云桌面服务器，以供所述虚拟云桌面服务器在所述虚拟云桌面上呈现出鼠标左键拖拽的运行过程和运行结果。

于本发明一实施例中，所述鼠标操作以数据的形式被发送至所述虚拟云桌面服务器。

为实现上述目的及其他相关目的，本发明提供一种鼠标操作模拟系统，应用于与虚拟云桌面服务器通信连接的移动终端，所述移动终端显示由所述虚拟云桌面服务器提供的虚拟云桌面；所述系统包括：手势捕捉模块，用于捕捉发生在所述虚拟云桌面的显示区域内的手势操作；手势匹配模块，用于基于条件判断识别所述手势操作；用于基于条件判断将识别出的手势操作转换为鼠标操作；手势发送模块，用于将所述手势匹配模块输出的鼠标操作发送至所述虚拟云桌面服务器，以供所述虚拟云桌面服务器根据接收的鼠标操作进行相应地运行，并将运行过程和运行结果呈现于所述虚拟云桌面中。

为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其中存储有计算机程序，所述计算机程序被处理器加载执行时，实现所述的鼠标操作模拟方法。

为实现上述目的及其他相关目的，本发明提供一种电子设备，包括：处理器、存储器、及显示屏；其中，所述显示屏用于显示由虚拟云桌面服务器提供的虚拟云桌面；所述存储器用于存储计算机程序；所述处理器用于加载执行所述计算机程序，以使所述电子设备执行所述的鼠标操作模拟方法。

如上所述，本发明的鼠标操作模拟方法、模拟系统、存储介质、及电子设备，捕捉发生在虚拟云桌面的显示区域内的手势操作；基于条件判断识别所述手势操作；基于条件判断将识别出的手势操作转换为鼠标操作发送至所述虚拟云桌面服务器，以供所述虚拟云桌面服务器根据接收的鼠标操作进行相应地运行，并将运行过程和运行结果呈现于所述虚拟云桌面中。本发明能通过移动终端的用户手势操作来模拟实际的鼠标操作，并将实际的鼠标操作所执行的过程和结果呈现在虚拟云桌面中。

附图说明

图1显示为现有技术中移动终端与虚拟云桌面服务器的架构示意图。

图2显示为本发明一实施例中的鼠标操作模拟方法的流程示意图。

图3显示为本发明一实施例中的鼠标操作模拟系统的模块示意图。

图4显示为本发明一实施例中的电子设备的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

为了解决现有技术中虚拟云桌面不支持手势模拟鼠标操作的技术问题，让用户与虚拟云桌面间的交互更加方便，为用户提供更好的操作体验，本发明提供鼠标操作模拟方法、模拟系统、存储介质、及电子设备。

图1显示为现有技术中移动终端与虚拟云桌面服务器之间通信连接的架构图，其中，移动终端可以是用户侧的便携式电脑、平板电脑、智能手机、智能可穿戴设备等，虚拟云桌面服务器向用户侧设备提供虚拟云桌面。在图1所示的应用场景中，用户侧设备显示虚拟云桌面服务器提供的虚拟云桌面。另外，移动终端与虚拟云桌面服务器之间的通信协议可以是UDP协议、TCP协议等。

请参阅图2，本实施例提供一种鼠标操作模拟方法，该方法由图1所示的移动终端负责执行，该方法包括如下步骤：

S21：捕捉发生在所述虚拟云桌面的显示区域内的手势操作；

具体的，用户对移动终端的触摸屏进行操作，移动终端捕捉用户对触摸屏进行的操作。手势操作包括但不限于：单指点击、双指点击、三指点击、滑动屏幕、长按屏幕再移动等操作。

S22：基于条件判断识别所述手势操作；

具体的，所谓的条件判断即预先设定判断条件及其判断结果，当捕捉的手势操作满足某一判断条件时，与该判断条件对应的判断结果即被视为识别结果。需要说明的是，本实施例所谓的手势操作、鼠标操作皆是以数据的形式存储。

S23：基于条件判断将识别出的手势操作转换为鼠标操作发送至所述虚拟云桌面服务器，以供所述虚拟云桌面服务器根据接收的鼠标操作进行相应地运行，并将运行过程和运行结果呈现于所述虚拟云桌面中。

举例而言，若移动终端当前捕捉的手势操作为单指点击手势操作，则将鼠标左键操作的相关数据发送至所述虚拟云桌面服务器。

所述虚拟云桌面服务器在收到鼠标左键操作的相关数据时，根据接收数据进行相应地运行，并将运行过程和运行结果呈现于所述虚拟云桌面中，也即，此时的虚拟云桌面中会呈现与点击鼠标左键一样的效果。

类似地，若移动终端当前捕捉到双指点击的手势操作，则将鼠标右键操作的相关数据发送至所述虚拟云桌面服务器。所述虚拟云桌面服务器根据接收数据进行相应地运行，并在所述虚拟云桌面上呈现出与点击鼠标右键一样的效果。其中，所述双指点击包含三种方式：

方式一、两指之间按下和抬起的时间间隔不大于预设值，例如：食指和中指之间按下的时间间隔不大于预设值，食指和中指之间抬起的时间间隔不大于预设值；

方式二、两个手指分别点击一次，两指点击发生的时间间隔不大于预设值，例如：食指与中指分别点击且之间相隔时间不大于1秒；

方式三、两个手指同时点击，两次点击发生的时间间隔不大于预设值，例如：食指与中指同时点击两次且之间相隔时间不大于1秒。

类似地，若移动终端当前捕捉到三指点击的手势操作，则在其界面上呈现出打开虚拟键盘的运行过程和运行结果，具体的，将虚拟键盘的画面叠加在虚拟云桌面中进行显示。其中，所述三指点击包含三种方式：

方式一、三指之间按下和抬起的时间间隔不大于预设值，例如：食指按下与中指按下之间相隔不大于预设值且无名指按下与中指按下相隔不大于预设值，食指抬起与中指抬起相隔不大于预设值且无名指抬起与中指抬起间隔不大于预设值等；

方式二、三个手指分别点击一次，三指点击发生的时间间隔不大于预设值，例如：食指、中指与无名指分别点击，食指点击与中指点击之间相隔不大于1秒且无名指点击与中指点击之间相隔不大于1秒；

方式三、三个手指同时点击，三次点击发生的时间间隔不大于预设值，例如：食指、中指与无名指同时点击三次，第一次与第二次之间相隔时间不大于1秒且第二次与第三次之间相隔时间不大于1秒。

类似地，若移动终端当前捕捉到滑动屏幕的手势操作，则将移动鼠标操作的相关数据发送至所述虚拟云桌面服务器。所述虚拟云桌面服务器根据接收数据进行相应地运行，并在所述虚拟云桌面上呈现出移动鼠标的运行过程和运行结果。

类似地，若移动终端当前捕捉到先长按屏幕再移动的手势操作时，则将鼠标左键拖拽操作的相关数据发送至所述虚拟云桌面服务器。所述虚拟云桌面服务器根据接收数据进行相应地运行，并在所述虚拟云桌面上呈现出鼠标左键拖拽的运行过程和运行结果。其中，长按屏幕的时间可以被定义为1秒等。

需要说明的是，本领域技术人员应当知晓，在根据捕捉的手势判断对应的鼠标操作时，需根据手势操作发生坐标确定出鼠标操作的发生坐标，具体实现方式例如：

1)获取手势操作在移动终端屏幕上的坐标；

2)根据移动终端屏幕的分辨率、虚拟云桌面的分辨率等参数之间的映射关系，计算出获取的坐标在虚拟云桌面中对应的坐标位置；

3)令虚拟云桌面在换算得到的坐标位置处模拟出相应的鼠标操作效果。

实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。基于这样的理解，本发明还提供一种计算机程序产品，包括一个或多个计算机指令。所述计算机指令可以存储在计算机可读存储介质中。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(如：软盘、硬盘、磁带)、光介质(如：DVD)、或者半导体介质(如：固态硬盘Solid State Disk(SSD))等。

参阅图3，本实施例提供一种鼠标操作模拟系统30，作为一款软件搭载于电子设备中，以在运行时执行前述方法实施例所述的鼠标操作模拟方法。由于本系统实施例的技术原理与前述方法实施例的技术原理相似，因而不再对同样的技术细节做重复性赘述。

本实施例的鼠标操作模拟系统30具体包括：手势捕捉模块31、手势匹配模块32、手势发送模块33。手势捕捉模块31用于捕捉发生在所述虚拟云桌面的显示区域内的手势操作；手势匹配模块32用于用于基于条件判断识别所述手势操作；用于基于条件判断将识别出的手势操作转换为鼠标操作；手势发送模块33用于将手势匹配模块32输出的鼠标操作发送至所述虚拟云桌面服务器，以供所述虚拟云桌面服务器根据接收的鼠标操作进行相应地运行，并将运行过程和运行结果呈现于所述虚拟云桌面中。

本领域技术人员应当理解，图3实施例中的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个或多个物理实体上。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，手势匹配模块32可以为单独设立的处理元件，也可以集成在某一个芯片中实现，此外，也可以以程序代码的形式存储于存储器中，由某一个处理元件调用并执行手势匹配模块32的功能。其它模块的实现与之类似。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

参阅图4，本实施例提供一种电子设备，电子设备可以是便携式电脑、智能手机、平板电脑等设备。详细的，电子设备至少包括通过总线41连接的：存储器42、处理器43、显示屏44，其中，显示屏44用于显示由虚拟云桌面服务器提供的虚拟云桌面，存储器42用于存储计算机程序，处理器43用于执行存储器42存储的计算机程序，以执行前述方法实施例中的全部或部分步骤。

上述提到的系统总线可以是外设部件互连标准(Peripheral PomponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

综上所述，本发明的鼠标操作模拟方法、模拟系统、存储介质、及电子设备，能通过移动终端的用户手势操作来模拟实际的鼠标操作，并将实际的鼠标操作所执行的过程和结果呈现在虚拟云桌面中。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种鼠标操作模拟方法，其特征在于，应用于与虚拟云桌面服务器通信连接的移动终端，所述移动终端显示由所述虚拟云桌面服务器提供的虚拟云桌面；所述方法包括：

捕捉发生在所述虚拟云桌面的显示区域内的手势操作；

基于条件判断识别所述手势操作；

基于条件判断将识别出的手势操作转换为鼠标操作发送至所述虚拟云桌面服务器，以供所述虚拟云桌面服务器根据接收的鼠标操作进行相应地运行，并将运行过程和运行结果呈现于所述虚拟云桌面中。

2.根据权利要求1所述的方法，其特征在于，还包括：

当捕捉到单指点击的手势操作时，将鼠标左键操作发送至所述虚拟云桌面服务器，以供所述虚拟云桌面服务器在所述虚拟云桌面上呈现出鼠标左键的运行过程和运行结果。

3.根据权利要求1所述的方法，其特征在于，还包括：

当捕捉到双指点击的手势操作时，将鼠标右键操作发送至所述虚拟云桌面服务器，以供所述虚拟云桌面服务器在所述虚拟云桌面上呈现出鼠标右键的运行过程和运行结果；其中，所述双指点击中两指点击发生的时间间隔不大于预设值。

4.根据权利要求1所述的方法，其特征在于，还包括：

当捕捉到三指点击的手势操作时，在所述移动终端的界面上呈现出打开虚拟键盘的运行过程和运行结果。

5.根据权利要求1所述的方法，其特征在于，还包括：

当捕捉到滑动屏幕的手势操作时，将移动鼠标操作发送至所述虚拟云桌面服务器，以供所述虚拟云桌面服务器在所述虚拟云桌面上呈现出移动鼠标的运行过程和运行结果。

6.根据权利要求1所述的方法，其特征在于，还包括：

当捕捉到先长按屏幕再移动的手势操作时，将鼠标左键拖拽操作发送至所述虚拟云桌面服务器，以供所述虚拟云桌面服务器在所述虚拟云桌面上呈现出鼠标左键拖拽的运行过程和运行结果。

7.根据权利要求1～6中任一项所述的方法，其特征在于，所述鼠标操作以数据的形式被发送至所述虚拟云桌面服务器。

8.一种鼠标操作模拟系统，其特征在于，应用于与虚拟云桌面服务器通信连接的移动终端，所述移动终端显示由所述虚拟云桌面服务器提供的虚拟云桌面；所述系统包括：

手势捕捉模块，用于捕捉发生在所述虚拟云桌面的显示区域内的手势操作；

手势匹配模块，用于基于条件判断识别所述手势操作；用于基于条件判断将识别出的手势操作转换为鼠标操作；

手势发送模块，用于将所述手势匹配模块输出的鼠标操作发送至所述虚拟云桌面服务器，以供所述虚拟云桌面服务器根据接收的鼠标操作进行相应地运行，并将运行过程和运行结果呈现于所述虚拟云桌面中。

9.一种计算机可读存储介质，其中存储有计算机程序，其特征在于，所述计算机程序被处理器加载执行时，实现如权利要求1至7中任一所述的鼠标操作模拟方法。

10.一种电子设备，其特征在于，包括：处理器、存储器、及显示屏；其中，

所述显示屏用于显示由虚拟云桌面服务器提供的虚拟云桌面；

所述存储器用于存储计算机程序；

所述处理器用于加载执行所述计算机程序，以使所述电子设备执行如权利要求1至7中任一所述的鼠标操作模拟方法。