CN102323875A

CN102323875A - 基于鼠标事件的多点触摸手势交互方法及中间件

Info

Publication number: CN102323875A
Application number: CN201110329438A
Authority: CN
Inventors: 张国华; 老松杨; 燕厚仪; 凌云翔; 邓志宏; 王涛
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2011-10-26
Filing date: 2011-10-26
Publication date: 2012-01-18

Abstract

本发明公开了一种基于鼠标事件的多点触摸手势交互方法及中间件，方法步骤如下：1）定义包含触摸手势信息的触摸手势模型；2）将所述触摸手势模型和操作系统的鼠标事件建立映射模型；3）获取当前用户的触摸手势，根据所述触摸手势查找所述映射模型得到对应的鼠标事件，并根据查找得到的鼠标事件与操作系统进行交互；中间件包括映射存储单元、手势输入单元、控制单元和鼠标事件发送单元，控制单元分别与映射存储单元、手势输入单元、鼠标事件发送单元相连。本发明能够实现与传统基于键盘鼠标交互式应用程序进行多点触摸手势交互，具有兼容性好、使用简单、成本低的优点。

Description

基于鼠标事件的多点触摸手势交互方法及中间件

技术领域

本发明涉及人机交互领域，具体涉及一种能够实现与传统基于键盘鼠标交互式应用程序进行多点触摸手势交互的多点触摸手势交互方法及中间件。

背景技术

多点触摸技术利用人的双手作为交互手段来实现人机交互，是一种自然和谐的交互技术，符合现代人机交互提出的“以人为中心”的理念，是目前发展最快的新型交互技术手段之一。多点触摸的实现流程为：硬件检测用户的触摸参数，系统识别对应的用户手势，应用程序实现相应的操作功能。可见，多点触摸交互的实现需要硬件、系统和应用软件三方面的支持。其中，硬件的支持已经比较成熟，国内外较先进的设备有iPhone、SmartSkin、Microsoft Surface和DiamondTouch等；在系统支持上，微软公司2009年推出了支持多点触摸的新一代操作系统——Windows7；在软件支持方面，腾讯等软件公司推出了支持多点触摸的应用软件，如触控版QQ等。

但是多点触摸的普及仍有很大阻力，Next Window的CEO AI Monro指出，多点触摸普及的一大挑战是“背后缺乏软件制造商的支持”。不管支持多点触摸的硬件和系统发展的多么成熟，没有大量的应用软件支持，多点触摸都是空谈。针对这一问题，除了推出更多的支持多点触摸的应用软件之外，对大量现存的传统应用程序进行改造也是一种选择。但是对传统应用程序的改造，需要在源代码层面将基于多点触摸的手势操作转化为应用程序的响应，工作量大，而且对很多源代码不开放的软件无法进行多点触摸功能的移植，因此对传统应用程序的改造来实现多点触摸的难度高、可行性不高，传统基于键盘鼠标交互式应用程序与多点触摸交互手段之间兼容性较差。

发明内容

本发明要解决的技术问题是：针对上述现有技术的缺点，提供一种能够实现与传统基于键盘鼠标交互式应用程序进行多点触摸手势交互，兼容性好、使用简单、成本低的基于鼠标事件的多点触摸手势交互方法及中间件。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于鼠标事件的多点触摸手势交互方法，其实施步骤如下：

1）定义包含触摸手势信息的触摸手势模型；

2）将所述触摸手势模型和操作系统的鼠标事件建立映射模型；

3）获取当前用户的触摸手势，根据所述触摸手势查找所述映射模型得到对应的鼠标事件，并根据查找得到的鼠标事件与操作系统进行交互。

作为本发明基于鼠标事件的多点触摸手势交互方法的进一步改进：

所述步骤3）中根据触摸手势查找映射模型得到对应的鼠标事件具体是指：首先获取触摸手势中的触摸点数信息，根据触摸点数信息查找所述映射模型得到鼠标事件中的按键事件，然后在获得按键事件的基础上获取触摸手势中的移动轨迹，根据移动轨迹查找所述映射模型得到鼠标事件中对应的按键事件。

所述根据触摸点数信息查找所述映射模型得到鼠标事件中的按键事件具体是指：设置阈值时间，实时判断触摸手势中的触摸点数信息，当触摸点数信息包含一个触摸点时，如果所述阈值时间内所述触摸点未发生移动则查找所述映射模型得到鼠标事件中的左键按键事件，如果所述阈值时间内该触摸点发生移动则查找所述映射模型得到鼠标事件中的中键按键事件；当触摸点数信息包含两个触摸点时，如果所述阈值时间内两个触摸点均未发生移动则查找所述映射模型得到鼠标事件中的右键按键事件。

本发明还提供一种基于鼠标事件的多点触摸手势交互中间件，它包括用于存储触摸手势模型和鼠标事件之间映射模型的映射存储单元、用于获取触摸手势的手势输入单元、用于根据触摸手势从映射模型获取对应鼠标事件的控制单元和用于发送鼠标事件的鼠标事件发送单元，所述控制单元分别与映射存储单元、手势输入单元、鼠标事件发送单元相连。

作为本发明基于鼠标事件的多点触摸手势交互中间件的进一步改进：

它包括用于用户自定义触摸手势模型和鼠标事件之间映射模型的映射接口单元，所述映射接口单元与所述控制单元相连。

本发明基于鼠标事件的多点触摸手势交互方法具有下述优点：

1、本发明通过定义包含触摸手势信息的触摸手势模型，将触摸手势模型和操作系统的鼠标事件建立映射模型，获取当前用户的触摸手势并根据触摸手势查找映射模型得到对应的鼠标事件，并根据查找得到的鼠标事件与操作系统进行交互，能够实现与传统基于键盘鼠标交互式应用程序进行多点触摸手势交互，具有兼容性好、使用简单、成本低的优点。

2、本发明进一步根据触摸点数信息查找映射模型得到鼠标事件中的按键事件，在获得按键事件的基础上获取触摸手势中的触摸移动信息，根据触摸移动信息查找映射模型得到鼠标事件中的按键移动事件，从而将多点触摸和鼠标事件进行有机结合，操作简单，使用方便。

本发明基于鼠标事件的多点触摸手势交互中间件具有下述优点：

本发明基于鼠标事件的多点触摸手势交互中间件独立于应用程序之外，采用鼠标事件映射方法，在操作系统和应用程序之间加入一层映射，将基于多点触摸的交互手势与系统鼠标事件进行对应，以鼠标事件作为中转，间接实现手势操作与应用程序响应的映射，能够在不对应用程序进行任何修改的前提下，使其支持基于多点触摸的手势操作。

附图说明

图1为本发明实施例的流程示意图。

图2为本发明实施例的原理结构示意图。

图3为本发明实施例的映射法原理示意图。

图4为本发明实施例的声明法原理示意图。

图5为本发明实施例根据触摸点数信息获取按键事件的流程示意图。

图6为本发明实施例的框架结构示意图。

图例说明：1、映射存储单元；2、手势输入单元；3、控制单元；4、鼠标事件发送单元；5、映射接口单元。

具体实施方式

如图1所示，本发明实施例基于鼠标事件的多点触摸手势交互方法的实施步骤如下：

1）定义包含触摸手势信息的触摸手势模型；

2）将触摸手势模型和操作系统的鼠标事件建立映射模型；

3）获取当前用户的触摸手势，根据触摸手势查找映射模型得到对应的鼠标事件，并根据查找得到的鼠标事件与操作系统进行交互。

本实施例中，步骤3）中根据触摸手势查找映射模型得到对应的鼠标事件具体是指：首先获取触摸手势中的触摸点数信息，根据触摸点数信息查找映射模型得到鼠标事件中的按键事件，然后在获得按键事件的基础上获取触摸手势中的移动轨迹，根据移动轨迹查找映射模型得到鼠标事件中对应的按键事件。本实施例中根据触摸点数信息查找映射模型得到鼠标事件中的按键事件具体是指：设置阈值时间，实时判断触摸手势中的触摸点数信息，当触摸点数信息包含一个触摸点时，如果阈值时间内触摸点未发生移动则查找映射模型得到鼠标事件中的左键按键事件，如果阈值时间内该触摸点发生移动则查找映射模型得到鼠标事件中的中键按键事件；当触摸点数信息包含两个触摸点时，如果阈值时间内两个触摸点均未发生移动则查找映射模型得到鼠标事件中的右键按键事件。

如图2所示，本实施例通过在操作系统和应用程序之间的一个多点触摸中间件来实现，操作系统通过硬件驱动程序获取用户输入的触摸手势信号，并将触摸手势信号发送给多点触摸中间件，然后通过中间件将触摸手势信号转换为鼠标事件信号并发送给操作系统中的应用程序。其本质上是在两者之间加入一层映射——鼠标事件映射，将触摸手势与鼠标动作做对应，从而间接地实现了触摸手势与应用程序功能的对应，对用户层而言此映射过程是不可见的，感觉上是应用程序直接响应多点触摸操作手势，从而实现与传统基于键盘鼠标交互式应用程序进行多点触摸手势交互。

本实施例多点触摸中间件的实现核心是鼠标事件映射，鼠标事件映射的实现方法包括映射法和声明法映射法是指将多点触摸映射直接为具体的鼠标事件，如右击、双击、滚轮前滚等，应用程序通过响应鼠标事件来响应操作手势；声明法是指将手势或手指类型等映射为鼠标按键类型，如左键、中键等，然后在本次触摸结束之前的触摸操作，应用程序响应操作系统定义的相应鼠标按键的相关API函数。例如，如果某个手势定义为中键，那么该手势的出现即映射为中键的按下，随后在本次触摸结束前，手势的右移映射为中键的右移。本实施例中首先采用声明法，为鼠标左键、中键和右键分别定义声明手势，本次触摸结束之前触摸点的移动映射为相应鼠标按键的移动；然后采用映射法将声明手势之外的手势直接映射到具体的鼠标动作。

如图3所示，映射法包括三个集合：手势集（Gesture）、鼠标动作集（Mouse_Event）和应用程序功能集（Function）。手势集和鼠标动作集是由操作系统提供的，应用程序功能集即基于键盘鼠标交互式应用程序中包含了用于通过键盘鼠标交互的程序功能集合，它是应用程序本身固有的功能，鼠标动作集和应用程序功能集的映射模型在应用程序中设计并实现。映射法的核心就是在手势集与鼠标动作集之间建立映射模型，从而进一步在手势集与应用程序功能集之间建立映射模型。将不同的手势映射为相应的鼠标动作以便激活应用程序功能的相应，从而能够无需改动应用程序本身即可实现与传统基于键盘鼠标交互式应用程序进行多点触摸交互。例如某看图程序的应用程序功能集中包含图片放大的功能，该功能原本是通过鼠标滚轮向前滚动动作实现的，当我们对一个图片进行操作，双指触摸后远离，根据人们的一般意识感觉，可以设计该手势的功能为图片放大，因此将双指触摸后远离的手势与鼠标滚轮向前滚动动作建立映射模型，当用户双指触摸后远离时，触摸中间件则根据映射模型发送鼠标滚轮向前滚动命令，从而看图程序接收到该命令并执行图像的放大。

如图4所示，声明法指手指触摸操作前首先向计算机声明触摸手势代表的是鼠标左、中、右三键中的哪一个键，分别以三种特殊的手势分别对应鼠标三个按键，定义的手势出现时，响应为相应按键单击动作；在本次触摸结束前，也就是手指离开屏幕前，手指向某一方向的移动映射为相应按键向该方向移动。

如图5所示，本实施例中预先设定阈值时间T₀，初始化计时器t，然后开始检测触摸点。

1、当触摸点数信息包含一个触摸点时：如果阈值时间T₀内触摸点未发生移动则声明为左键按键事件，然后响应相应的左键按键事件，如果触摸点向任一方向的移动，映射为鼠标左键向该方向的移动，调用相应的操作系统函数向应用程序发送左键移动命令；如果阈值时间T₀内触摸点发生移动则声明为中键按键事件（也就是单指按住不动时间超过T₀时，声明为中键按下），如果触摸点向任一方向的移动，则映射对应的中键移动轨迹，将触摸点上下左右移动分别映射为中键的上下左右移动，进一步映射为相应的应用程序功能。

2、当触摸点数信息包含两个触摸点时：如果阈值时间内两个触摸点均未发生移动则查找映射模型得到鼠标事件中的右键按键事件，此时若触摸点移动时，执行右键处理程序，响应相应的右键移动处理函数。如果应用程序没有定义右键移动的响应功能，那么此时的移动为无效操作。

通过上述对鼠标左键、中键和右键的声明手势定义，几个简单的手势便实现了与常见鼠标动作的映射。如果有必要，也可以为鼠标滚轮设计相应的声明手势。对于其他的定义的手势，只能采用映射法来映射为相应的鼠标动作。当检测到两点触摸，并且手指在阈值时间T₀内发生位移时，执行双指手势映射处理，根据设定好的映射模型，也就是手势集和鼠标动作集的映射模型，将双指操作手势映射为相应的鼠标动作。当检测到三指或更复杂的手势时，均采用映射法，将手势映射为相应的鼠标动作。

如图6所示，本发明实施例基于鼠标事件的多点触摸手势交互中间件包括用于存储触摸手势模型和鼠标事件之间映射模型的映射存储单元1、用于获取触摸手势的手势输入单元2、用于根据触摸手势从映射模型获取对应鼠标事件的控制单元3和用于发送鼠标事件的鼠标事件发送单元4，控制单元3分别与映射存储单元1、手势输入单元2、鼠标事件发送单元4相连。

本实施例中，映射存储单元1存储有多点触摸手势与鼠标事件建立映射模型，手势输入单元2接收操作系统定义的多点触摸手势并输出给控制单元3，控制单元3根据多点触摸手势根据映射存储单元1中的多点触摸手势与鼠标事件映射模型将识别出的手势动作映射为响应的鼠标事件，并通过鼠标事件发送单元4发送给应用程序进一步映射为应用程序的相应功能实现，或者映射为相应的鼠标按键，随着触摸点移动响应相应鼠标按键的移动。

映射模型是手势集与鼠标动作集的对应关系，本发明提供了常见的多点触摸手势与鼠标事件映射模型，比如针对地理信息系统的映射模型中，双指按下分开映射为地图放大，双指按下靠近映射为地图缩小，一指不动另一指围绕顺时针旋转映射为地图顺时针旋转。此外，本实施例还包括用于用户自定义触摸手势模型和鼠标事件之间映射模型的映射接口单元5，映射接口单元5与控制单元3相连，通过映射接口单元5提供开放的映射模型接口，用于用户进行自定义开发设定多点触摸手势与鼠标事件映射模型，设计出适用于某一特定应用程序的映射模型，实现针对该应用程序的多点触摸交互映射方法。本实施例中，声明法中对三个鼠标按键的声明手势，作为一种特殊的映射模型，也可以由用户自定义。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种基于鼠标事件的多点触摸手势交互方法，其特征在于其实施步骤如下：

1）定义包含触摸手势信息的触摸手势模型；

2.根据权利要求1所述的基于鼠标事件的多点触摸手势交互方法，其特征在于所述步骤3）中根据触摸手势查找映射模型得到对应的鼠标事件具体是指：首先获取触摸手势中的触摸点数信息，根据触摸点数信息查找所述映射模型得到鼠标事件中的按键事件，然后在获得按键事件的基础上获取触摸手势中的移动轨迹，根据移动轨迹查找所述映射模型得到鼠标事件中对应的按键事件。

3.根据权利要求2所述的基于鼠标事件的多点触摸手势交互方法，其特征在于所述根据触摸点数信息查找所述映射模型得到鼠标事件中的按键事件具体是指：设置阈值时间，实时判断触摸手势中的触摸点数信息，当触摸点数信息包含一个触摸点时，如果所述阈值时间内所述触摸点未发生移动则查找所述映射模型得到鼠标事件中的左键按键事件，如果所述阈值时间内该触摸点发生移动则查找所述映射模型得到鼠标事件中的中键按键事件；当触摸点数信息包含两个触摸点时，如果所述阈值时间内两个触摸点均未发生移动则查找所述映射模型得到鼠标事件中的右键按键事件。

4.一种基于鼠标事件的多点触摸手势交互中间件，其特征在于：它包括用于存储触摸手势模型和鼠标事件之间映射模型的映射存储单元（1）、用于获取触摸手势的手势输入单元（2）、用于根据触摸手势从映射模型获取对应鼠标事件的控制单元（3）和用于发送鼠标事件的鼠标事件发送单元（4），所述控制单元（3）分别与映射存储单元（1）、手势输入单元（2）、鼠标事件发送单元（4）相连。

5.根据权利要求4所述的基于鼠标事件的多点触摸手势交互中间件，其特征在于：它包括用于用户自定义触摸手势模型和鼠标事件之间映射模型的映射接口单元（5），所述映射接口单元（5）与所述控制单元（3）相连。