CN102981755A - 基于远程应用的手势控制方法及系统 - Google Patents

Abstract

本发明公开一种基于远程应用的手势控制方法，包括：客户端识别当前操作手势为有效操作手势后，获取有效操作手势的滑动方向和滑动距离，并将包括滑动方向和滑动距离的窗口消息发送至服务端；服务端根据窗口消息，控制远程应用窗口进行滚动，并将滚动的远程应用窗口实时更新至客户端。本发明还公开一种基于远程应用的手势控制系统。本发明通过客户端识别当前操作手势为有效操作手势后，获取操作手势的滑动方向和滑动距离并发送窗口消息至服务端，服务端控制远程应用窗口进行滚动并将滚动的远程应用窗口实时更新至客户端的方法，具有控制远程应用窗口的显示内容滚动显示且不影响整个窗口的移动操作的有益效果，提高了系统性能，提升了用户体验。

Description

基于远程应用的手势控制方法及系统

技术领域

本发明涉及互联网技术领域，尤其涉及一种基于远程应用的手势控制方法及系统。

背景技术

目前通过手机、平板电脑等手持设备使用远程应用已经非常普遍，远程应用一般为PC（Personal Computer，个人计算机）应用，其显示区域大小、显示分辨率、操作方式等与手持设备有很大不同；远程应用操作方式的不同给手持设备用户的操作带来了不便。

在一具体的应用场景中，比如用户通过触屏平板电脑访问远程应用，由于受限于屏幕大小和分辨率，用户访问的远程应用的内容在分辨率为100%的情况下是不能在平板电脑上完全显示的。以用户查看Word文档为例，参照图1，图1是现有技术中基于远程应用的用户操作界面示意图；图1a所示的是用户单手滑动前的界面，图1b所示为用户单手滑动后的界面。如图1所示，用户在平板电脑界面上以手指滑动的方式来滚动Word远程应用的文档内容时，整个Word远程应用窗口被一起拖动而Word中的文档内容却没有随手指的滑动而滚动，说明现有技术的基于远程应用的手势控制不能根据用户的操作习惯来实现相应的操作，这给用户带来很大不便，用户对上述体验效果满意度不高。

针对上述情况，现有技术的其中一个作法是在有限触屏设备软件上增加一个UI（User Interface，用户界面）滚动控件；这种方法占用了显示屏幕较大的位置，在一定程度上影响了远程应用程序的易用性，同时也增加操作复杂度；若再增加一个新的手势，比如通过双手指滑动的手势进行Word文档内容滚动；通过实际操作发现，两个动态手势控制文档很难操作；而让用户同时使用两种手势也不符合用户的行为习惯。

发明内容

本发明的主要目的是提供一种基于远程应用的手势控制方法及系统，旨在根据手势操作控制远程应用窗口内容的滚动。

本发明公开了一种基于远程应用的手势控制方法，包括以下步骤：

客户端识别当前操作手势为有效操作手势后，获取所述有效操作手势的滑动方向和滑动距离，并将包括所述滑动方向和滑动距离的窗口消息发送至服务端；

服务端根据所述窗口消息，控制所述远程应用窗口进行滚动，并将滚动的所述远程应用窗口实时更新至客户端。

优选地，所述客户端获取所述有效操作手势的滑动方向和滑动距离具体包括：

识别所述有效手势的起点坐标和终点坐标；

若所述起点坐标和终点坐标在x轴方向的距离不小于y轴方向的距离，则识别所述滑动方向为水平方向，且所述终点坐标与起点坐标在x轴方向差值的绝对值为所述滑动距离；

若所述起点坐标和终点坐标在x轴方向的距离小于y轴方向的距离，则识别所述滑动方向为竖直方向，且所述终点坐标与起点坐标在y轴方向差值的绝对值为所述滑动距离。

优选地，所述滑动方向为水平方向时，若所述x轴方向差值为正值，则识别所述滑动方向水平向右；若所述x轴方向差值为负值，则识别所述滑动方向水平向左；

所述滑动方向为竖直方向时，若所述y轴方向差值为正值，则识别所述滑动方向竖直向下；若所述y轴方向差值为负值，则识别所述滑动方向竖直向上。

优选地，所述客户端识别当前操作手势为有效操作手势的步骤具体包括：

当检测到有手指按下时，判断所述触摸屏上是否仅存在两个触点；

若是，则监控手指整个移动过程是否仅存在两个触点；

若是，则记录各手指的移动距离，在仅有一个手指移动时，识别当前操作手势为所述有效操作手势。

优选地，所述服务端控制远程应用窗口进行滚动的滚动方向和滚动距离分别与所述滑动方向和滑动距离一致。

本发明还公开了一种基于远程应用的手势控制系统，包括：

客户端，用于识别当前操作手势为有效操作手势后，获取所述有效操作手势的滑动方向和滑动距离，并将包括所述滑动方向和滑动距离的窗口消息发送至服务端；

服务端，用于根据所述窗口消息，控制所述远程应用窗口进行滚动，并将滚动的所述远程应用窗口实时更新至客户端。

优选地，所述客户端包括：

手势识别模块，用于识别当前操作手势是否为有效操作手势；

参数获取模块，用于获取所述有效操作手势的滑动方向和滑动距离；

信息发送模块，用于将包括所述滑动方向和滑动距离的窗口消息发送至服务端；

所述参数获取模块具体用于：

识别所述有效手势的起点坐标和终点坐标；

若所述起点坐标和终点坐标在x轴方向的距离不小于y轴方向的距离，则识别所述滑动方向为水平方向，且所述终点坐标与起点坐标在x轴方向差值的绝对值为所述滑动距离；

若所述起点坐标和终点坐标在x轴方向的距离小于y轴方向的距离，则识别所述滑动方向为竖直方向，且所述终点坐标与起点坐标在y轴方向差值的绝对值为所述滑动距离。

优选地，所述参数获取模块还用于：

所述滑动方向为水平方向时，若所述x轴方向差值为正值，则识别所述滑动方向水平向右；若所述x轴方向差值为负值，则识别所述滑动方向水平向左；

所述滑动方向为竖直方向时，若所述y轴方向差值为正值，则识别所述滑动方向竖直向下；若所述y轴方向差值为负值，则识别所述滑动方向竖直向上。

优选地，所述手势识别模块具体用于：

当检测到有手指按下时，判断所述触摸屏上是否仅存在两个触点；

若是，则监控手指整个移动过程是否仅存在两个触点；

若是，则记录各手指的移动距离，在仅有一个手指移动时，识别当前操作手势为所述有效操作手势。

优选地，所述服务端还用于：

控制远程应用窗口进行滚动的滚动方向和滚动距离分别与所述滑动方向和滑动距离一致。

本发明通过客户端识别当前操作手势为有效操作手势后，获取操作手势的滑动方向和滑动距离并发送窗口消息至服务端，服务端根据窗口消息，控制远程应用窗口进行滚动并将滚动的远程应用窗口实时更新至客户端的方法，具有控制远程应用窗口的显示内容滚动显示且不影响整个窗口的移动操作的有益效果，提高了系统性能，提升了用户体验。

附图说明

图1是现有技术中基于远程应用的用户操作界面示意图；

图2是本发明基于远程应用的手势控制方法一实施例流程示意图；

图3是利用本发明基于远程应用的手势控制方法后的用户操作界面示意图；

图4是本发明基于远程应用的手势控制方法中客户端识别当前操作手势为有效操作手势一实施例流程示意图；

图5是本发明基于远程应用的手势控制系统一实施例结构示意图；

图6是本发明基于远程应用的手势控制系统中客户端一实施例结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

以下结合说明书附图及具体实施例进一步说明本发明的技术方案。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明基于远程应用的手势控制方法及系统是基于点拨式手势在远程应用窗口滚动操作中的一种具体实现方式而提出的；本发明实施例中所述的有效操作手势指的是点拨式手势；点拨式手势指将一个手指按住触摸屏不放且不发生任何移动，另一手指在触摸屏上滑动这一操作手势。本发明实施例所述的触摸屏支持多点触摸。

参照图2，图2是本发明基于远程应用的手势控制方法一实施例流程示意图；如图2所示，本发明基于远程应用的手势控制方法包括以下步骤：

步骤S01、客户端识别当前操作手势为有效操作手势后，获取所述有效操作手势的滑动方向和滑动距离，并将包括所述滑动方向和滑动距离的窗口消息发送至服务端；

客户端首先识别触摸屏上当前的用户操作是否为点拨式手势操作，即当前的手势操作是否为一个手指按住触摸屏不放且不发生任何移动，另一手指在触摸屏上滑动这一操作手势；若当前操作手势为有效操作手势，则客户端识别该手势的滑动方向并确定对应的滑动距离。

在一优选的实施例中，客户端可以通过获取滑动手势操作的起点坐标和终点坐标来确定滑动手势操作的滑动方向和滑动距离。具体地，首先判断该起点坐标和终点坐标在x轴方向的移动距离与在y轴方向的移动距离的大小；若起点坐标和终点坐标在x轴方向的距离不小于y轴方向的距离，则识别所述滑动方向为水平方向，且所述终点坐标与起点坐标在x轴方向差值的绝对值为所述滑动距离。若起点坐标和终点坐标在x轴方向的距离小于y轴方向的距离，则识别所述滑动方向为竖直方向，且所述终点坐标与起点坐标在y轴方向差值的绝对值为所述滑动距离。

进一步地，所述滑动方向为水平方向时，若所述x轴方向差值为正值，则识别所述滑动方向水平向右；若所述x轴方向差值为负值，则识别所述滑动方向水平向左；所述滑动方向为竖直方向时，若所述y轴方向差值为正值，则识别所述滑动方向竖直向下；若所述y轴方向差值为负值，则识别所述滑动方向竖直向上。

客户端将上述获取的有效操作手势的滑动方向和滑动距离与远程应用窗口内容滚动时所需要的其他关键信息作为窗口消息一起发送给远程应用服务端，供服务端根据上述窗口消息进行相应的控制操作。

步骤S02、服务端根据所述窗口消息，控制所述远程应用窗口进行滚动，并将滚动的所述远程应用窗口实时更新至客户端。

服务端根据客户端发送的窗口消息，尤其地，根据客户端确定的有效操作手势的滑动方向和滑动距离控制远程应用窗口进行滚动；在一优选的实施例中，服务端控制远程应用窗口的滚动方向与有效操作手势的滑动方向一致、滚动距离与有效操作手势的滑动距离相等。

服务端控制远程应用窗口进行滚动的同时，将滚动的所述远程应用窗口的视图同时更新至客户端，供用户观看、查阅。

以用户观看平板电脑中的word文档为例，更为具体地描述本发明基于远程应用的手势控制方法的实现过程。

参照图3，图3是利用本发明基于远程应用的手势控制方法后的用户操作界面示意图；如图3a所示，滑动操作前，用户一手指按住屏幕且不进行任何移动；另一手指也按住屏幕，准备进行滑动；图3a所示的操作界面上，用户右边手指进行向上滑动的手势；此时，客户端根据上述步骤S01识别出该手势操作为有效手势操作，同时，获取到该手势操作的滑动距离和滑动方向后，将包括上述滑动距离和滑动方向的窗口消息发送至服务端；服务端接收到客户端发送的上述窗口信息后，控制当前窗口内容进行滚动，并将滚动的窗口实时更新至客户端；如图3b所示，当用户进行右边手指向上滑动操作后，经过上述处理，当前窗口中整个word软件界面没有发生移动，仅仅是该word文档的窗口向上滚动，这个用户的观看带来了极大的便利，不仅符合用户的操作习惯、便于操作，且窗口内容的滚动显示效果也让用户非常满意，极大地提高了用户体验。

本实施例通过客户端识别当前操作手势为有效操作手势后，获取操作手势的滑动方向和滑动距离并发送窗口消息至服务端，服务端根据窗口消息，控制远程应用窗口进行滚动并将滚动的远程应用窗口实时更新至客户端的方法，具有控制远程应用窗口的显示内容滚动显示且不影响整个窗口的移动操作的有益效果，提高了系统性能，提升了用户体验。

参照图4，图4是本发明基于远程应用的手势控制方法中客户端识别当前操作手势为有效操作手势一实施例流程示意图；本实施例仅对客户端识别当前操作手势为有效操作手势进行具体描述，有关本发明基于远程应用的手势控制方法所涉及的其他步骤请参照相关实施例的具体描述，在此不再赘述。

如图4所示，本发明基于远程应用的手势控制方法中，客户端识别当前操作手势为有效操作手势的步骤具体包括：

步骤S11、当检测到有手势按下时，判断所述触摸屏上是否仅存在两个触点；若是，则执行步骤S12；若否，则结束识别过程；

步骤S12、监控手指的整个移动过程是否仅存在两个触点；若是，则执行步骤S13；若否，则结束识别过程；

步骤S13、记录各手指的移动距离，在仅有一个手指移动时，识别当前操作手势为有效操作手势。

由于本发明基于远程应用的手势控制方法是基于点拨式手势在远程应用中的一种实现方式的思想提出的，因此，只有在用户当前的手势操作为点拨式操作的情况下，后续的操作才有意义。而根据点拨式手势的特点，一个手指按住触摸屏且不进行任意移动，另一手指进行滑动操作，因此，当客户端检测到有手指按下时，触摸屏上的触点只能是两个是点拨式操作的前提，该手势操作才有可能为有效手势操作；同样地，在手指的整个移动过程中，也只能存在两个触点。若上述条件均能满足，则记录各个手指的移动距离，在仅有一个手指有移动时，则识别出当前的手势操作为有效手势操作。

本领域的技术人员可以理解，上述实施方式仅是众多识别算法中的一种，也可以通过其他方式识别出用户的手势操作为有效手势操作，本实施例不进行一一穷举。本发明实施例对识别当前手势操作是否为有效手势操作的具体识别算法不作限定。

本实施例通过识别当前操作手势是否为有效操作手势的方法，是进行后续相应操作的重要前提，为后续客户端与服务端进行交互提供重要保障。

参照图5，图5是本发明基于远程应用的手势控制系统一实施例结构示意图；如图5所示，本发明基于远程应用的手势控制系统包括：客户端01和服务端02。

客户端01，用于识别当前操作手势为有效操作手势后，获取所述有效操作手势的滑动方向和滑动距离，并将包括所述滑动方向和滑动距离的窗口消息发送至服务端；

参照图6，图6是本发明基于远程应用的手势控制系统中客户端一实施例结构示意图；如图6所示，本发明基于远程应用的手势控制系统中，客户端01具体包括：手势识别模块011、参数获取模块012和信息发送模块013。

手势识别模块011，用于识别当前操作手势是否为有效操作手势；

参数获取模块012，用于获取所述有效操作手势的滑动方向和滑动距离；

信息发送模块013，用于将包括所述滑动方向和滑动距离的窗口消息发送至服务端；

手势识别模块011首先识别触摸屏上当前的用户操作是否为点拨式手势操作，即当前的手势操作是否为一个手指按住触摸屏不放且不发生任何移动，另一手指在触摸屏上滑动这一操作手势；在一优选的实施例中，手势识别模块011识别当前手势操作为有效手势操作的具体方式为：当检测到有手指按下时，判断所述触摸屏上是否仅存在两个触点；若是，则监控手指整个移动过程是否仅存在两个触点；若是，则记录各手指的移动距离，在仅有一个手指移动时，识别当前操作手势为所述有效操作手势。

由于本发明基于远程应用的手势控制系统所采用的方法是基于点拨式手势在远程应用中的一种实现方式的思想提出的，因此，只有在用户当前的手势操作为点拨式操作的情况下，后续的操作才有意义。而根据点拨式手势的特点，一个手指按住触摸屏且不进行任意移动，另一手指进行滑动操作，因此，当手势识别模块011检测到有手指按下时，触摸屏上的触点只能为两个是点拨式操作的前提，该手势操作才有可能为有效手势操作；同样地，在手指的整个移动过程中，也只能存在两个触点。若上述条件均能满足，则手势识别模块011记录各个手指的移动距离，在仅有一个手指有移动时，手势识别模块011识别出当前的手势操作为有效手势操作。

本领域的技术人员可以理解，上述实施方式仅是众多识别算法中的一种，也可以通过其他方式识别出用户的手势操作为有效手势操作，本实施例不进行一一穷举。本发明实施例对手势识别模块011识别当前手势操作是否为有效手势操作的具体识别算法不作限定。

若手势识别模块011当前操作手势为有效操作手势，则参数获取模块012获取该手势的滑动方向并确定对应的滑动距离。

在一优选的实施例中，参数获取模块012可以通过获取滑动手势操作的起点坐标和终点坐标来确定滑动手势操作的滑动方向和滑动距离。具体地，参数获取模块012首先判断该起点坐标和终点坐标在x轴方向的移动距离与在y轴方向的移动距离的大小；若起点坐标和终点坐标在x轴方向的距离不小于y轴方向的距离，则识别所述滑动方向为水平方向，且所述终点坐标与起点坐标在x轴方向差值的绝对值为所述滑动距离。若起点坐标和终点坐标在x轴方向的距离小于y轴方向的距离，参数获取模块012则识别所述滑动方向为竖直方向，且所述终点坐标与起点坐标在y轴方向差值的绝对值为所述滑动距离。

进一步地，所述滑动方向为水平方向时，若所述x轴方向差值为正值，则参数获取模块012识别所述滑动方向水平向右；若所述x轴方向差值为负值，则参数获取模块012识别所述滑动方向水平向左；所述滑动方向为竖直方向时，若所述y轴方向差值为正值，则参数获取模块012识别所述滑动方向竖直向下；若所述y轴方向差值为负值，则参数获取模块012识别所述滑动方向竖直向上。

信息发送模块013将上述获取的有效操作手势的滑动方向和滑动距离与远程应用窗口内容滚动时所需要的其他关键信息作为窗口消息一起发送给远程应用服务端02，供服务端02根据上述窗口消息进行相应的控制操作。

服务端02，用于根据所述窗口消息，控制所述远程应用窗口进行滚动，并将滚动的所述远程应用窗口实时更新至客户端。

服务端02根据客户端01发送的窗口消息，尤其地，根据客户端01确定的有效操作手势的滑动方向和滑动距离控制远程应用窗口进行滚动；在一优选的实施例中，服务端02控制远程应用窗口的滚动方向与有效操作手势的滑动方向一致、滚动距离与有效操作手势的滑动距离相等。

服务端02控制远程应用窗口进行滚动的同时，将滚动的所述远程应用窗口的视图同时更新至客户端01，供用户观看、查阅。

本发明基于远程应用的手势控制系统进行上述控制过程，在实际应用场景中的实现过程请参照图3所示实施例的具体描述，在此不再赘述。

本实施例通过客户端识别当前操作手势为有效操作手势后，获取操作手势的滑动方向和滑动距离并发送窗口消息至服务端，服务端根据窗口消息，控制远程应用窗口进行滚动并将滚动的远程应用窗口实时更新至客户端，具有控制远程应用窗口的显示内容滚动显示且不影响整个窗口的移动操作的有益效果，提高了系统性能，提升了用户体验。

以上所述仅为本发明的优选实施例，并非因此限制其专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于远程应用的手势控制方法，其特征在于，包括以下步骤：

客户端识别当前操作手势为有效操作手势后，获取所述有效操作手势的滑动方向和滑动距离，并将包括所述滑动方向和滑动距离的窗口消息发送至服务端；

服务端根据所述窗口消息，控制所述远程应用窗口进行滚动，并将滚动的所述远程应用窗口实时更新至客户端。

2.如权利要求1所述的方法，其特征在于，所述客户端获取所述有效操作手势的滑动方向和滑动距离具体包括：

识别所述有效手势的起点坐标和终点坐标；

若所述起点坐标和终点坐标在x轴方向的距离不小于y轴方向的距离，则识别所述滑动方向为水平方向，且所述终点坐标与起点坐标在x轴方向差值的绝对值为所述滑动距离；

若所述起点坐标和终点坐标在x轴方向的距离小于y轴方向的距离，则识别所述滑动方向为竖直方向，且所述终点坐标与起点坐标在y轴方向差值的绝对值为所述滑动距离。

3.如权利要求2所述的方法，其特征在于，所述滑动方向为水平方向时，若所述x轴方向差值为正值，则识别所述滑动方向水平向右；若所述x轴方向差值为负值，则识别所述滑动方向水平向左；

所述滑动方向为竖直方向时，若所述y轴方向差值为正值，则识别所述滑动方向竖直向下；若所述y轴方向差值为负值，则识别所述滑动方向竖直向上。

4.如权利要求1所述的方法，其特征在于，所述客户端识别当前操作手势为有效操作手势的步骤具体包括：

当检测到有手指按下时，判断所述触摸屏上是否仅存在两个触点；

若是，则监控手指整个移动过程是否仅存在两个触点；

若是，则记录各手指的移动距离，在仅有一个手指移动时，识别当前操作手势为所述有效操作手势。

5.如权利要求1所述的方法，其特征在于，所述服务端控制远程应用窗口进行滚动的滚动方向和滚动距离分别与所述滑动方向和滑动距离一致。

6.一种基于远程应用的手势控制系统，其特征在于，包括：

客户端，用于识别当前操作手势为有效操作手势后，获取所述有效操作手势的滑动方向和滑动距离，并将包括所述滑动方向和滑动距离的窗口消息发送至服务端；

服务端，用于根据所述窗口消息，控制所述远程应用窗口进行滚动，并将滚动的所述远程应用窗口实时更新至客户端。

7.如权利要求6所述的系统，其特征在于，所述客户端包括：

手势识别模块，用于识别当前操作手势是否为有效操作手势；

参数获取模块，用于获取所述有效操作手势的滑动方向和滑动距离；

信息发送模块，用于将包括所述滑动方向和滑动距离的窗口消息发送至服务端；

所述参数获取模块具体用于：

识别所述有效手势的起点坐标和终点坐标；

若所述起点坐标和终点坐标在x轴方向的距离不小于y轴方向的距离，则识别所述滑动方向为水平方向，且所述终点坐标与起点坐标在x轴方向差值的绝对值为所述滑动距离；

若所述起点坐标和终点坐标在x轴方向的距离小于y轴方向的距离，则识别所述滑动方向为竖直方向，且所述终点坐标与起点坐标在y轴方向差值的绝对值为所述滑动距离。

8.如权利要求7所述的系统，其特征在于，所述参数获取模块还用于：

所述滑动方向为水平方向时，若所述x轴方向差值为正值，则识别所述滑动方向水平向右；若所述x轴方向差值为负值，则识别所述滑动方向水平向左；

所述滑动方向为竖直方向时，若所述y轴方向差值为正值，则识别所述滑动方向竖直向下；若所述y轴方向差值为负值，则识别所述滑动方向竖直向上。

9.如权利要求7所述的系统，其特征在于，所述手势识别模块具体用于：

当检测到有手指按下时，判断所述触摸屏上是否仅存在两个触点；

若是，则监控手指整个移动过程是否仅存在两个触点；

若是，则记录各手指的移动距离，在仅有一个手指移动时，识别当前操作手势为所述有效操作手势。

10.如权利要求6所述的方法，其特征在于，所述服务端还用于：

控制远程应用窗口进行滚动的滚动方向和滚动距离分别与所述滑动方向和滑动距离一致。

Images