CN103365595A - 用于触敏输入设备的手势 - Google Patents

Abstract

本公开涉及用于触敏输入设备的手势，并且尤其是公开了一种处理触击输入的方法和系统。本发明的一个方面包括从多点感应设备读取数据，所述数据涉及对于所述多点感应设备的触击输入，并且基于来自所述多点感应设备的数据，识别至少一个多点手势。

Description

用于触敏输入设备的手势

本申请是申请日为2005年7月19日、申请号为200580029133.0、发明名称为“用于触敏输入设备的手势”的发明专利申请的分案申请。

技术领域

本发明通常涉及与触敏设备相关的手势表示。

背景技术

现今存在许多种类型的输入设备用于执行计算机系统中的操作。操作通常对应于在显示屏幕上移动光标并作出选择。操作也可能包括翻页、滚动、扫视、缩放等等。举例来说，输入设备可包括按钮、开关、键盘、鼠标、跟踪球、触摸板、控制杆、触摸屏等等。在设计计算机系统时都考虑了每一种这些设备的优点和缺点。

按钮和开关通常在本质上是机械的并提供有关光标移动和作选择的有限的控制。例如，它们通常专用于在特定方向上（例如，箭头键）移动光标或用于做特定的选择（例如，输入、删除、数量等）。

在鼠标方面，输入指示器的移动对应于当用户沿着一个表面移动鼠标时鼠标的相对移动。在跟踪球方面，输入指示器的移动对应于当用户在外壳内移动球时球的相对移动。鼠标和跟踪球还包括一个或多个按钮用于作出选择。鼠标还可以包括滚动轮，其允许用户通过简单地向前或向后滚动该轮移动穿过GUI。

利用触摸板，输入指示器的移动对应于当用户的手指沿触摸板的表面移动时用户的手指（或指示笔）的相对移动。另一方面，触摸屏是一种具有覆盖有屏幕的触敏透明面板的显示屏幕类型。当使用触摸屏时，用户通过直接指向屏幕上的GUI对象（通常使用指示笔或手指）在显示屏幕上作选择。

为了提供附加的功能，已经使用这些输入设备的某些实现了手势。举例来说，在触摸板中，当在触摸板的表面上检测到一次或多次轻敲时可作出选择。在某些情况下，可以轻敲触摸板的任何部分，而在另一种情况下可以轻敲触摸板的指定部分。除了用于选择，可通过利用触摸板的边界处的手指运动启动滚动。

转让给苹果计算机公司的U.S专利5，612，719和5，590，219描述了手势表示的一些其它用法。U.S专利5，612，719公开了一种对在屏幕上或在按钮附近作出的至少两种不同的按钮手势敏感的屏幕上的按钮。U.S专利5，590，219公开了一种用于识别计算机系统的显示屏幕上的椭圆型手势输入的方法。

近期，已经实现了更加高级的手势。例如，通过将四个手指放在触摸板以便识别滚动手势可以启动滚动并据此在触摸板上移动这些手指以执行滚动事件。然而，用于实现这些高级的手势的方法有几个缺点。举例来说，一旦设置了手势，则直到用户重置该手势状态其不能被改变。例如，以触摸板为例，如果四个手持等于滚动，并且用户在4个手指被识别之后放下拇指，则直到从触摸板抬起整只手并再次放下（例如，重置），将不会执行任何与包括四个手指和拇指的新的手势有关的动作。简单地说，用户不能在中途改变手势状态。同理，在任何给定的时刻仅可能执行一个手势。也就是说，不能够同时执行多个手势。

基于上述内容，存在改进在触敏设备上执行手势的方式的需求。

发明内容

在一个实施例中，本发明涉及一种用于处理触击输入的计算机实现的方法。所述方法包括从多点触摸屏读取数据。所述数据涉及对于所述触摸屏的触击输入。所述方法还包括基于来自所述多点触摸屏的数据，识别至少一个多点手势。

在另一个实施例中，本发明涉及一种手势方法。所述方法包括同时检测触敏表面的不同点上的多个触击。所述方法还包括将所述多个触击分离为至少两个同时发生的独立的手势输入。每个手势输入具有不同的功能，诸如缩放、扫视、旋转等。

在另一个实施例中，本发明涉及一种手势方法。所述方法包括同时检测对于触摸感应设备同时执行的多个手势。所述方法还包括对于每个已经被检测到的手势产生不同的命令。

在另一个实施例中，本发明涉及一种手势方法。所述方法包括在显示屏上显示图形图像。所述方法还包括在触敏设备上同时检测多个触击。所述方法还包括将所述检测到的多个触击与出现在所述显示屏上的图形图像相关联。

在另一个实施例中，本发明涉及一种经过计算系统的多点触摸屏的显示屏调用用户接口元素的方法。所述方法包括检测并分析与所述多点触摸屏相接触的、同时出现的两个或多个对象。所述方法还包括至少部分地基于所述分析，从多个可利用的工具中选择用户接口工具以显示在显示屏上，以便与所述计算系统的用户相互交互。所述方法还包括至少部分地基于所述对象相对于所述多点触摸屏的进一步移动，控制所述接口工具。

在另一个实施例中，本发明涉及一种基于触击的方法。所述方法包括检测在多点感应设备上发生的用户输入。所述用户输入包括一个或多个输入。每个输入具有唯一的识别符。所述方法还包括，在所述用户输入期间，在所述用户输入包含一个唯一识别符时，将所述用户输入分类为跟踪或选择输入，或者在所述用户输入包含至少两个唯一识别符时，将所述用户输入分类为手势输入。所述方法还包括在所述用户输入被分类为跟踪或选择输入时，在所述用户输入期间执行跟踪或选择。所述方法还包括在所述用户输入被分类为手势输入时，在所述用户输入期间执行一个或多个控制动作，所述控制动作至少部分地基于发生在所述至少两个唯一识别符之间的改变。

在另一个实施例中，本发明涉及一种基于触击的方法。所述方法包括在显示屏上输出GUI。所述方法包括在触敏设备上检测用户输入。所述方法还包括分析所述用户输入的特性，这些特性指示跟踪、选择或者手势。所述方法还包括将所述用户输入分类为跟踪、选择或者手势输入。所述方法还包括在所述用户输入被分类为跟踪或选择输入时，在所述GUI中执行跟踪或者选择。而且，所述方法还包括在所述用户输入被分类为手势输入时，在所述GUI中执行控制动作，这些动作基于特定的手势输入。

在另一个实施例中，本发明涉及一种基于触击的方法。所述方法包括捕获初始触击图像。所述方法还包括基于所述触击图像确定触击模型。所述方法还包括捕获下一个触击图像。所述方法还包括确定触击模式是否在所述初始和下一个触击图像之间改变。所述方法还包括如果触击模型改变，将所述下一个触击图像设定为初始触击图像，并且基于所述新的初始触击图像确定触击模式。而且，本发明还包括如果触击模式保持相同，比较这些触击图像，并且基于所述比较执行控制功能。

在另一个实施例中，本发明涉及一种用于处理触击输入的计算机实现的方法。所述方法包括从触摸屏读取数据。所述数据涉及对于所述触摸屏的触击输入，并且所述触摸屏具有多点能力。所述方法还包括将所述数据转换为特征的集合。所述方法还包括对这些特征进行分类，并且将这些特征分为两个或者多个特征组。所述方法还包括计算所述特征组的关键参数，以及将所述特征组与显示屏上的用户接口元素相关。

在另一个实施例中，本发明涉及一种计算机实现的方法。所述方法包括输出图形图像。所述方法还包括接收所述图形图像上的多触击手势输入。所述方法还包括基于所述多触击手势输入，并且与所述多触击手势输入相一致，改变所述图形图像。

在另一个实施例中，本发明涉及一种基于触击的方法。所述方法包括接收第一区域上的手势输入。所述方法包括当在所述第一区域上接收到所述手势输入时，生成第一命令。所述方法还包括接收第二区域上的相同手势输入。所述方法还包括当在所述第二区域上接收到所述相同手势输入时，生成第二命令。所述第二命令不同于所述第一命令。

在另一个实施例中，本发明涉及一种用于识别多手势输入的方法。所述方法包括接收触敏表面上的多触击手势敲击。所述多触击手势敲击保持在触敏表面的连续接触。所述方法还包括在所述多触击手势敲击期间，识别第一手势输入。所述方法还包括在所述多触击手势敲击期间，识别第二手势输入。

在另一个实施例中，本发明涉及一种计算机实现的方法。所述方法包括检测在触摸感应设备上的多个触击。所述方法还包括利用所述多个触击，形成一个或多个触击组。所述方法还包括监视每个所述触击组的移动以及每个所述触击组内的移动。所述方法还包括在所述触击组中的触击移动或者在这些触击组整体移动时，生成控制信号。

需要注意的是，在上述的每个实施例中，这些方法可以利用基于触击的输入设备来实现，这些基于触击的输入设备诸如是触摸屏或者触摸板，尤其是基于多点触击的输入设备，甚至尤其是多点触摸屏。还需要注意的是，手势、手势模式、手势输入等可以对应于下文中详细描述的一种。例如，手势可以与缩放、扫视、滚动、旋转、放大、浮动控制、缩放目标、翻页、惯性、键盘、转动等相关。

附图说明

根据以下连同附图的详细描述将易于理解本发明，其中同样的参考数字指示同样的结构元素，并且其中：

图1是根据本发明的一个实施例的计算机系统的框图；

图2是根据本发明的一个实施例的多点处理方法；

图3A和B举例说明了根据本发明的一个实施例的图像；

图4举例说明了根据本发明的一个实施例的特征组；

图5是根据本发明的一个实施例的参数计算方法；

图6A-6G举例说明了根据本发明的一个实施例的旋转手势；

图7是根据本发明的一个实施例的基于触击的方法的框图；

图8是根据本发明的一个实施例的基于触击的方法的框图；

图9是根据本发明的一个实施例的基于触击的方法的框图；

图10是根据本发明的一个实施例的缩放手势方法的框图；

图11A-11H举例说明了根据本发明的一个实施例的缩放时序；

图12是根据本发明的一个实施例的扫视方法的框图；

图13A-13D举例说明了根据本发明的一个实施例的扫视时序；

图14是根据本发明的一个实施例的旋转方法的框图；

图15A-15C举例说明了根据本发明的一个实施例的旋转时序；

图16是根据本发明的一个实施例的GUI操作方法的框图；

图17A-17E举例说明了根据本发明的一个实施例的浮动控制时序；

图18是根据本发明的一个实施例的GUI操作方法的框图；

图19A-19D举例说明了根据本发明的一个实施例的缩放目标时序；

图20是根据本发明的一个实施例的GUI操作方法的框图；

图21A-21D举例说明了根据本发明的一个实施例的页面翻转时序；

图22是根据本发明的一个实施例的GUI操作方法的框图；

图23A-23D举例说明了根据本发明的一个实施例的惯性时序；

图24是根据本发明的一个实施例的GUI操作方法的框图；

图25A-25D举例说明了根据本发明的一个实施例的键盘时序；

图26是根据本发明的一个实施例的GUI操作方法的框图；

图27A-27D举例说明了根据本发明的一个实施例的滚动轮时序。

具体实施方式

本发明一般涉及手势以及使用触敏设备实现手势的方法。触敏设备的例子包括触摸屏和触摸板。本发明的一个方面涉及识别至少两个同时发生的手势。本发明的另一个方面涉及显示图形图像，以及将发生的不同触击与该图形图像相关联。本发明的另一个方面涉及立即识别手势，以便与手势相关的动作可以被同时实现。本发明的另一个方面涉及基于手势输入，并且与手势输入相一致改变显示的图像，即随着手势输入中的改变而连续改变所显示的图像，以便所显示的图像连续地紧随手势输入。本发明的另一个方面涉及基于与输入设备相接触的手指（或者其他对象）的数量，实现输入模式。本发明的另一个方面涉及提供这样的区域敏感性，即在输入设备的不同区域上实现时，手势表示不同的事情。本发明的另一个方面涉及改变输入，同时与触敏设备的触敏表面保持连续的接触。

下面参考图1-27讨论本发明的这些和其它方面。然而，本领域的技术人员将很容易理解，在此给出的有关这些手势的详细描述是用于解释性目的，因为本发明延伸到这些有限的实施例之外。

图1是根据本发明的一个实施例的示例性计算机系统50的框图。计算机系统50可对应于个人计算机系统，诸如桌面型、膝上型、平板或手持计算机。计算机系统还可对应于诸如蜂窝电话、PDA、专用媒体播放器、消费类电子设备等等的计算设备。

图1所示的示例性计算机系统50包括配置用于执行指令并完成与计算机系统50相关的操作的处理器56。例如，利用例如从存储器获取的指令，处理器56可以控制计算机系统50的各组件之间输入和输出数据的接收和操纵。处理器56可以在单芯片、多芯片或多个电子元件上实现。例如，多种体系结构可被用于处理器56，包括专用或嵌入式处理器、专用处理器、控制器、ASIC等等。

在多数情况下，处理器56与操作系统一起操作以执行计算机代码并产生和使用数据。操作系统是众所周知的并将不再更加详细地描述。举例来说，操作系统可对应于OS/2、DOS、Unix、Linux、PalmOS等等。操作系统也可以是专用操作系统，如可能会用于有限用途的应用型计算设备。操作系统、其它计算机代码和数据可驻留在存储块58中，存储块58可操作地连接到处理器56。存储块58通常提供存储由计算机系统50使用的计算机代码和数据的地方。举例来说，存储块58可包括只读存储器（ROM）、随机存取存储器（RAM）、硬盘驱动器等等。信息也可以驻留在可移动存储介质上并在需要时加载或安装到计算机系统50之上。可移动存储介质包括例如CD-ROM、PC-CARD、存储卡、软盘、磁带、以及网络组件。

计算机系统50还包括可操作地连接到处理器56的显示设备68。显示设备68可以是液晶显示器（LCD）（例如，有源矩阵，无源矩阵等）。或者，显示设备68可以是诸如单色显示器、彩色图形适配器（CGA）显示器、增强型图形适配器（EGA）显示器、可变图形阵列（VGA）显示器、超级VGA显示器、阴极射线管（CRT）等等。显示设备也可对应于等离子体显示器或以电子墨水实现的显示器。

显示设备68通常配置用于图形用户接口（GUI）69，GUI 69在计算机系统的用户和在其上运行的操作系统或应用之间提供一个易于使用的用户接口。一般来说，GUI 69以图形图像表示程序、文件和操作选项。图形图像可包括窗口、信息栏、对话框、菜单、图标、按钮、光标、滚动条等等。这种图像可以以预定布局排列，或可以适应用户所作出的特定动作动态被创建。在操作期间，用户可以选择并激活各种图形图像以便启动与之相关的功能和任务。举例来说，用户可以一个按钮以打开、关闭、最小化、或最大化一个窗口，或者选择一个图标以启动特定的程序。GUI 69另外或可选地可以为用户在显示设备68上显示诸如非交互式文本和图形的信息。

计算机系统50还包括可操作地连接到处理器56的输入设备70。输入设备70配置用于将数据从外部世界传送到计算机系统50中。输入设备70可以例如用于执行跟踪以相对于显示屏68上的GUI 69作出选择。输入设备70还可用于发出计算机系统50内的命令。输入设备70可包括配置用于接收来自用户的触击的输入的触摸感应设备并将这个信息发送给处理器56。举例来说，触摸感应设备可对应于触摸板或触摸屏。在多数情况下，触摸感应设备识别触敏表面上的触击以及触击的位置和大小。触摸感应设备将触击报告给处理器56，处理器56根据其的程序设计解释该触击。例如，处理器56可根据一个特定的触击启动一个任务。可使用专用处理器用于本地处理触击并减少对计算机系统的主处理器的需求。触摸感应设备可以基于各种感应技术，包括但不限于电容感应、电阻感应、表面声波感应、压力感应、光感应等等。此外，触摸感应设备可以基于单点感应或多点感应。单点感应能够仅辨别单个触击，而多点感应能够辨别同时发生的多个触击。

输入设备70可以是放置在显示屏68之上或之前的触摸屏。触摸屏70可以与显示设备68集成在一起或者可以是单独的部件。触摸屏70相比诸如触摸板、鼠标等的输入技术有几个优点。其一，触摸屏70位于显示屏68的前面并由此用户能够直接操纵GUI 69。例如，用户可以简单地将手指放到想要控制的对象的上面。在触摸板内，没有诸如此类的一对一关系。就触摸板来说，触摸板典型地放置在远离显示屏的不同的平面。例如，显示屏典型地位于垂直屏幕而触摸板典型地位于水平平面。这使得其的使用不是很直观，并由此当与触摸屏相比时更加难于使用。除了触摸屏之外，输入设备70可以是多点输入设备。由于它们能够识别一个以上的对象（手持）多点输入设备比传统的单点设备更具优势。单点设备不能识别多个对象。举例来说，在在此结合作为参考的待审并共同转让的美国专利申请No.:10/840，862中更加详细地示意和描述了在此可使用的多点触摸屏。

计算机系统50还包括连接到一个或多个I/O设备80的能力。举例来说，I/O设备80可对应于键盘、打印机、扫描仪、照像机、扬声器等等。I/O设备80可以与计算机系统50集成在一起或者它们可以是单独的部件（例如，外围设备）。在某些情况下，I/O设备80可以通过有线连接（例如电缆/端口）连接到计算机系统50。在其它情况下，I/O设备80可以通过无线连接连接到计算机系统50。举例来说，数据链路可对应于PS/2、USB、IR、RF、蓝牙等等。

根据本发明的一个实施例，计算机系统50被设计用于识别应用到输入设备70的手势85并基于手势85控制计算机系统50的各方面。在某些情况下，手势被定义为映射到一个或多个特定计算操作的仿效的与输入设备的交互。可以通过不同的手并且尤其是手持运动更加做出手势85。可选或另外地，可以使用指示笔作出手势。在所有的这些情形中，输入设备70接收手势85而处理器56执行指令以完成与手势85相关的操作。此外，存储块58可包含手势运算程序88，其可以是操作系统的一部分或者是单独的应用程序。手势运算程序88通常包含一组指令，其识别手势85的发生并通知手势85的软件代理和/或响应于手势85采取什么行动。

当用户执行了一个或多个手势，输入设备70将手势信息中继到处理器56。利用来自存储器58，或者更特别地手势运算程序88的指令，处理器56解释手势85并基于手势85控制计算机系统50的不同组件，如存储器58、显示屏68以及I/O设备80。手势85可以被识别为用于执行存储在存储器58中的应用中的动作的命令，修改在显示屏68上显示的GUI对象，修改存储在存储器58中的数据，和/或用于执行I/O设备80中的动作。举例来说，命令可以是与缩放、扫视、滚动、翻页、旋转、大小调整等有关。作为更进一步的例子，该命令还可以与启动特定程序、打开文件或文档、查看菜单、作出选择、执行指令、登录到计算机系统、允许授权个人对计算机系统的限制区域的访问、加载与用户的计算机桌面的排列喜好有关的用户简表文件等等有关。

可以利用范围广泛的不同手势。举例来说，手势可以是单点或多点手势；静态的或动态的手势；连续或分段的手势；等等。单点手势是那些利用单个接触点执行的手势，例如，使用例如来自单个手指、手掌或指示笔的单个触击执行的手势。多点手势是能够使用多点执行的那些手势，例如，利用多个触击执行的手势，例如来自多个手指、手指和手掌、手指和指示笔、多触指和/或它们的任何组合的多个触击。静态手势是不包含运动的那些手势，而动态手势是包含有运动的那些手势。连续的手势是在单次敲击内执行的那些手势，而分段手势是在各别步骤或敲击顺序内执行的那些手势。

在一个实施例中，计算机系统50配置用于同时注册多个手势，即可同时执行多个手势。举例来说，在旋转手势的同时可以执行缩放手势，或在扫视手势的同时可以执行旋转手势。在一个具体实现中，缩放、旋转和扫视手势可全部同时发生以便同时执行缩放、旋转和扫视。

在另一个实施例中，系统被配置用于立即识别手势因此可以在该手势，即同时并列发生的手势和动作的同时实现与该手势相关联的动作，而不会是一个两步骤的过程。举例来说，在滚动手势期间，屏幕随手指的运动而移动。

在另一个实施例中，在显示屏68上呈现的对象连续跟随在触摸屏上发生的手势。在该被执行的手势和在显示屏68上显示的对象之间存在一对一的关系。例如，当手势被执行时，位于该手势下面的对象同时发生改变。例如，在缩放手势期间，手指可舒展开或靠近以便使显示屏68上显示的对象在舒展开的期间放大而在靠近的期间缩小。在这个操作期间，计算机系统50识别用户输入为缩放手势，确定该采取什么行动，并输出控制数据到适当的设备，在本实例中为显示屏68。

在另一个实施例中，计算机系统50提供区域敏感性，其中当在输入设备68的不同区域之上实现时手势意味着不同的事情。例如，音量旋纽之上的旋转手势引起音量增大/降低，而照片上的旋转手势促使照片旋转。

在另一个实施例中，与触摸屏接触的手指的数量可指示一个输入模式。例如，单个手指的单次触击可指示想要执行跟踪，即指针或光标移动，或选择，而一组手指的多个触击可指示想要执行手势表示。用于实现手势表示的手指的数据可以是多种多样的。举例来说，两个手指可指示第一手势模式，三个手指可以指示第三手势模式等等。或者，任何数量的手指，即多于一个的手指，都可以用于可包括一个或多个手势控制的同一个手势模式。手指的方向同样可用于表示所想要的模式。可以检测手指轮廓以基于例如用户是否已经使用了他的拇指或食指来允许不同的模态操作。

在另一个实施例中，当连续在输入设备上敲击而不停止该敲击（例如，抬离触敏表面）的时候可以改变输入。在一个实施例中，用户可以在进行敲击的时候从跟踪（或选择）模式切换到手势表示表示。例如，跟踪或选择可与单个手指相关联而手势表示可以与多个手指相关联；因此，通过抬起并将第二个手指放到触摸屏上面用户可以在跟踪/选择和手势表示之间来回切换。在另一个实施例中，用户可以在进行敲击时从一种手势模式切换到另一种手势模式。例如，缩放可与展开一对手指相关联而旋转可与旋转该对手指相关联；因此，通过改变他们的手指在展开和旋转之间移动用户可以在缩放和旋转之间来回切换。在还一个实施例中，在进行敲击的时候可以改变手势输入的数量（例如，增加或减少）。例如，在手指分散开的缩放期间，用户可进一步旋转他们的手指以启动缩放和旋转二者。此外，在缩放和旋转期间，用户可停止展开他们的手指以便仅发生旋转。换句话说，手势输入可以是连续的输入，或同时或连续地。

在一个特定的实施例中，单个手指启动跟踪（或选择）而两个或更多个手指以相互靠近激活滚动或扫视。通常优选两个手指以便提供一个或两个手指之间容易的来回切换，即，用户可通过简单地抬起或放下另外的手指非常容易地在模式之间切换。这具有比其它形式的切换模式更为直观的优点。在跟踪期间，光标的移动是由用户在触摸感应设备的触敏表面上移动单个手指控制的。触摸感应设备的传感器设备解释该手指运动并生成用于产生光标在显示屏上相应的移动的信号。在滚动期间，屏幕移动是由用户在触摸感应设备的触敏表面上移动两个手指控制的。当组合的手指在垂直方向上移动，该运动被解释为垂直滚动事件，而当该组合的手指在水平方向上移动，则该运动被解释为水平滚动事件。也可为扫视陈述同样的内容，尽管扫视可发生在除了仅仅是水平和垂直方向之外的所有方向上。

在此使用的术语“滚动”通常适合穿过显示屏上的显示区移动所显示的数据或图像（例如，文本或图片）以便在该显示区内看见新的数据集（例如，文本行或图像）。在多数情况下，一旦显示区被填满，则每个新的数据集出现在该显示区的边缘并且所有其它的数据集腾出一个空位。也就是说，由于每个移出显示区的数据集显示该新的数据集。本质上，滚动功能允许用户查看当前位于显示区之外的连续的数据集。显示区可以是显示屏的整个显示区域或其仅仅是显示屏的一部分（例如，窗体）。

如上所提及，可以实现垂直（上或下）或水平（左或右）滚动。在垂直滚动的情况下，当用户向下滚动时，每个新的数据集出现在显示区的底部而所有其它的数据集向上移动一个位置。如果显示区被填满，则顶部的数据集移出显示区。同样地，当用户向上滚动时，每个新的数据集出现在显示区的顶部而所有其它的数据集向下移动一个位置。如果显示区被填满，则底部的数据集移出显示区。

举例来说，在操作期间，显示屏可以显示媒体项（例如，歌曲）列表。通过移动她或他的手指越过触摸屏用户能够线性地滚动穿过该媒体项列表。当手指移动越过触摸屏时，自媒体项列表所显示的项目被改变以便用户能够有效滚动穿过该媒体项列表。在多数情况下，用户通过以更快的速度移动他或她的手指能够加速他们的媒体项列表的遍历。下面更加详细地描述可能与上述例子有关的一些实施例。参见例如图6、23、27。

图2是根据本发明的一个实施例的多点处理方法100。多点处理方法100可例如在图1所示的系统中执行。多点处理方法100通常开始于块102，在此从多点输入设备（并且更特别地是从多点触摸屏）读入图像。举例来说，多点触摸屏通常可对应在此结合作为参考的共同未决的美国专利申请No.:10/840，862中公开的多点触摸屏。尽管使用了术语“图像”应当注意数据可来自其它形式。在多数情况下，读自触摸屏的图像提供幅度（Z）作为触摸屏的每个感应点或像素的位置（x和y）的函数。该幅度可以例如反映在每个点测量的电容。

在块102之后，多点处理方法100继续进行到块104，在此图像被转换为集合或特征列表。每个特征代表清晰的输入，如触击。在多数情况下，每个特征包含其自身的唯一标识符（ID）、x坐标、y坐标、Z幅度、角度θ、面积A等等。举例来说，图3A和3B及时示意了特定的图像120。在图像120中，基于两个清晰的触击有两个特征122。该触击可以例如由一对手指触击显示屏形成。如图所示，每个特征122都包括唯一标识符（ID）、x坐标、y坐标、Z幅度、角度θ和面积A。更特别地，第一特征122A由ID₁，x₁，y₁，θ₁，A₁表示，而第二特征122B由ID₂，x₂，y₂，θ₂，A₂表示。这个数据可例如利用多触击协议输出。

从数据或图像到特征的转换可以利用在此结合作为参考的共同待审的美国专利申请No.:10/840，862中描述的方法完成。如在该专利申请中所公开的，原始数据被接收。该原始数据典型地是数字化了的形式，并且包含触摸屏每个节点的值。该值可以在0和256之间其中0相当于没有触压而256相当于完全触压。其后，过滤原始数据以降低噪声。一旦过滤了噪声，生成指示所连接的点的每个组的拓扑结构的斜率数据。其后，基于该斜率数据计算每个接触区域的边界，即，确定哪些点被组合在一起以形成每个接触区域。举例来说，可能使用一个流域算法。一旦确定了边界，就可以计算每个接触区域的数据（例如，x，y，Z，θ，A）。

在块104之后，多点处理方法100继续进行到块106，在此执行特征分类和分组。在分类期间确定每个特征的同一性。例如，特征可被分类为特定的手指，拇指、食指或其它对象。一旦分类后就可以分组特征。在其中形成分组的方式可广泛变化。在多数情况下，特征是基于某些标准（例如，它们带有类似的属性）分组的。例如，可以将图3A和3B所示的两个特征分组到一起，因为这些特征的每一个相互位置接近或者因为它们来自同一只手。分组可以包括某种级别的过滤以便滤除不是触击事件的一部分的特征。在过滤中，因为它们或者符合某些预定的标准或者因为它们不符合某些标准可以拒绝一个或多个特征。举例来说，该特征的其中之一可以被分类为位于图形输入板PC边缘的拇指。因为拇指被用于拿着设备而不是用于执行任务，从其中生成的特征被拒绝，即，不认为是被处理的触击事件的一部分。

在块106之后，该多点处理方法100继续进行到块108，在此为该特征组计算关键参数。关键参数可包括特征之间的距离、所有特征的x/y矩心、特征旋转、分组的总压力（例如，矩心处的压力）等等。如图4所示，该计算可包括查找矩心C、从矩心C画虚线130到每个特征、定义每条虚线的距离D（D₁和D₂），并接着平均距离D₁和D₂。一旦计算了参数就报告参数值。该参数值典型地与组标识符（GID）和每个组内的特征数量（在这个情形中为3）一同报告。在多数情况下，既报告初始的也报告当前的参数值。初始参数值可以基于放下，即当用户将他们的手指放到触摸屏上时，而当前值可以基于在放下之后发身的敲击内的任何点。如应当是适当的那样，块102-108在用户敲击期间被重复执行由此生成许多顺序地配置的信号。该初始和当前参数可在随后的步骤中比较以执行系统中的动作。

在块108之后，该处理流程继续进行到块110，在此分组是或者与用户接口（UI）元素有关。UI元素是按钮框、列表、滑动块、轮子、旋纽等。每个UI元素代表用户接口的一个组件或控制。UI元素之后的应用具有到在块108中计算的参数数据的入口。在一个实现中，应用归类对应到其处的UI元素的触击数据的关联性。归类可以基于某些预定的标准。该归类可包括产生质量因数，并且无论哪一个UI元素具有最高的质量因数，给予其唯一对该分组的访问。甚至还可能有某种程度的磁滞现象（一旦其中一个UI元素要求了该组的控制，则该组不离开该UI元素直到另一个UI元素具有更加高的等级）。举例来说，归类可包括确定矩心（或特征）对与该UI元素相关的GUI对象的接近性。

在块110之后，该多点处理方法100继续进行到块112和114。块112和114可大约在同时被执行。从用户的观点看，在一个实施例中，块112和114看起来是同时执行的。在块112，基于初始和当前参数值以及它们与之关联的UI元素之间的差异执行一个或多个动作。在块114，提供与被执行的一个或多个动作有关的用户反馈。举例来说，用户反馈可以包括显示、音频、触觉反馈等等。

图5是根据本发明的一个实施例的参数计算方法150。参数计算方法150可以例如对应于图2所示的块108。参数计算方法150通常开始于块152，在此接收到一组特征。在块152之后，参数计算方法150继续进行到块154，在此作出特征组内的特征数量是否改变的判断。例如，由于用户抬起或放下另一个手指特征的数量可能已经被改变。可能需要不同的手指以执行不同的控制（例如，跟踪，手势表示）。如果特征数量改变，则参数计算方法150继续进行到块156，在此计算初始参数值。如果特征数保持不变，参数计算方法150继续进行到块158，在此计算当前参数值。其后，参数计算方法150继续进行到块160，在此报告初始和当前参数值。举例来说，初始参数可包含各点之间的平均初始距离（或初始距离（AVG）），而当前参数值可包含各点之间的平均当前距离（或当前距离（AVG））。可在后续的步骤内比较这些值以便控制计算机系统的各方面。

上述的方法和技术可被用于实现任何数量的GUI接口对象和动作。例如，可以创建手势以检测和影响一个用户命令以调整窗口大小、滚动显示屏、旋转对象、放大或缩小所显示的区域、删除或插入文本或其它对象等等。手势还可用于调用和操作虚拟控制接口，诸如音量旋纽、开关、滑动块、手柄、旋纽、门、以及其它可以被创建用于使人与计算系统的交互便利的小部件。

为了引用利用上述方法学的例子并且参考图6A～6G，将描述用于控制图形输入板PC 175的显示屏174的GUI接口172上的虚拟音量旋纽。为了启动旋纽170，用户将他们的手指176放到多点触摸屏178上。该虚拟控制旋纽可以是已经被显示了的，或者该特定的手指数量、方向或轮廓放下，或者其后立即的手指的运动，或者用户的交互的这些和其它特性的某些组合可调用该虚拟控制旋纽被显示。不论发生哪一种情况，计算系统都使手指组与该虚拟控制旋纽相关联并作出用户意欲使用该虚拟音量旋纽的判断。这种相关也可部分基于计算设备在输入时刻的模式或当前状态。例如，如果歌曲当前正在计算设备之上播放则同样的手势可或者被解释为音量了解手势，或者如果当前正在执行对象编辑应用则解释为旋转命令。也可提供其它的用户反馈，包括例如听觉或触觉反馈。

一旦如图6A所示显示了旋纽170，用户的手指176就可围绕旋纽170放置，就象有一个真实的旋纽或刻度盘，并且其后能够围绕旋纽170旋转以便模拟旋转旋纽170。此外，当旋纽170被“旋转”时可以提供例如单击声音形式的听觉反馈或者振动形式的触觉反馈。用户还可使用他们的另外一只手以握住图形输入板PC 175。

如图6B所示，多点触摸屏178检测至少一对图像。特别地，手指放下时创建第一图像180，而当手指176旋转时创建至少一个其它的图像182。尽管仅示出了两个图像，在多数情况下在这两个图像之间可能有增量出现的更多的图像。每个图像表示手指在特定的瞬时时刻与触摸屏接触的轮廓。这些图像也可被称为触击图像。应理解，术语“图像”并不意味着在屏幕178之上显示该轮廓（而是由触摸感应设备成像）。应注意的是，尽管使用了术语“图像”，数据可以是不同时刻代表触摸平面的其它形式。

如图6C所示，每个图像180和182被转换为特征184的集合。每个特征184与例如来自围绕旋纽170的每个手指176的指尖以及用于握住图形输入板PC 175的另一只手177的拇指的特定的触击有关。

如图6D所示，特征184被分类，即，每个手指/拇指被识别并针对每个图像180和182分组。在这个特定情况下，与旋纽170相关的特征184A被分组到一起以形成组188，而与拇指相关的特征184B被滤除。在可选方案中，拇指特征184B可单独地作为各别的特征（或在其它的组中），例如，为了修改该系统的输入或运行模式或者为了实现其它的手势，例如在拇指（或者其它的手指）的区域内的屏幕上显示的与均衡器滑动块相关的滑动块手势。

如图6E所示，为每个图像180和182计算特征组188的关键参数。与第一图像180有关的关键参数代表初始状态而第二图像182的关键参数代表当前状态。

同样如图6E所示，由于其接近于旋纽170，旋纽170是与手势组188有关的UI元素。其后，如图6F所示，比较来自每个图像180和182的特征组188的关键参数值以确定旋转向量，即，该特征组从初始到当前状态顺时针旋转5度。在图6F中，初始特征组（图像180）以虚线示意而当前特征组（图像182）以实线示意。

如图6G所示，基于旋转向量，图形输入板PC 175的扬声器192根据手指176的旋转量增大（或降低）其的输出，即基于旋转5度增大音量5％。图形输入板PC的显示屏174还可以根据手指176的旋转量调节旋纽170的旋转，即，旋纽170的位置旋转5度。在多数情况下，旋纽的旋转与手指的旋转是同时发生的，即，手指每旋转1度则旋纽旋转1度。大体上，虚拟控制旋纽跟随发生在屏幕上的手势。更进一步，图形输入板PC的音频单元194可为每个旋转单元提供单击声，例如，根据5度的旋转提供5次单击。再进一步地，图形输入板PC 175的触觉单元196可以为每次单击提供一定数量的振动或者其它的触觉反馈由此模拟真实的旋纽。

应注意，可以与虚拟控制旋纽手势一同同时执行附加的手势。例如，利用两只手可同时控制一个以上的虚拟控制旋纽，即，每个虚拟控制旋纽使用一只手。可选和附加地，可以同时控制一个或多个滑动条作为虚拟控制按钮，即，一只手操作该虚拟控制旋纽，而相反的那只手的至少一个手指以及可能一个以上的手指操作至少一个滑动块以及可能一个以上的滑动条，例如，每个手指一个滑动条。

还应注意，尽管本实施例是利用虚拟控制旋纽描述的，在另一个实施例中，UI元素可以是虚拟滚动轮。作为一个例子，虚拟滚动轮可以模仿在此结合作为参考的美国专利申请Nos.:2003/0076303A1、2003/0076301A1、2003/0095096A1中描述的那些真实的滚动轮。例如，当用户将他们的手指放到虚拟滚动轮的表面上并作出旋转、转动或切线手势运动，可相对窗口中显示的项目列表执行滚动动作。

图7是根据本发明的一个实施例的基于触击的方法200的框图。该方法通常开始于块202，在此检测到发生在多点感应设备之上的用户输入。用户输入包括一个或多个触击输入，每个触击输入具有一个唯一的标识符。在块202之后，基于触击的方法200继续进行到块204，在此当用户输入包括单个唯一标识符（一次触击输入）时用户输入被分类为跟踪或选择输入，或者当用户输入包括至少两个唯一标识符（一个以上的触击输入）时分类为手势输入。如果用户输入被分类为跟踪输入，则基于触击的方法200继续进行到块206，在此执行对应于用户输入的跟踪。如果用户输入被分类为手势输入，则基于触击的方法200继续进行到块208，在此执行对应于该用户输入的一个或多个手势控制动作。该手势控制动作至少部分基于与该至少两个唯一标识符一同或之间发生的改变。

图8是根据本发明的一个实施例的基于触击的方法250的框图。基于触击的方法250通常开始于块252，在此当输入在触敏表面上敲击期间捕获一个初始图像。在块252之后，基于触击的方法250继续进行到块254，在此基于该初始图像确定触击模式。例如，如果该初始图像包括单个唯一标识符则触击模式可对应于跟踪或选择模式。另一方面，如果该图像包括一个以上的唯一标识符，则触击模式可对应于手势模式。在块254之后，基于触击的方法250继续进行到块256，在此当输入在触敏表面上敲击期间捕获下一个图像。在敲击期间图像典型地是顺序捕获的并由此可能有多个图像与该敲击有关。在块256之后，基于触击的方法250继续进行到块258，在此作出在捕获初始图像和捕获下一个图像之间该触击模式是否改变的判断。如果触击模式改变了，则基于触击的方法250继续进行到块260，在此该下一个图像被设置为初始图像并且其后在块254基于该新的初始图像再次确定该触击模式。如果该触击模式保持不变，则基于触击的方法250继续进行到块262，在此比较该初始图像和下一个图像并且基于该比较生成一个或多个控制信号。

图9是根据本发明一个实施例的基于触击的方法300的框图。基于触击的方法300开始于块302，在此输出一个GUI对象。例如，处理器可以指示显示屏显示一个特定的GUI对象。在块302之后，基于触击的方法300继续进行到块304，在此在该GUI对象之上接收到手势输入。例如，用户在触摸屏的表面并且当越过所显示的GUI对象的时候以一种手势的方式放置或移动他们的手指。该手势的输入方式可包括连续发生的一个或多个单个手势或者同时发生的多个手势。每个手势通常有与之相关的特定顺序、运动或方向。例如，一个手势可包括展开手指或合闭手指、旋转手指、平移手指等等。

在块304之后，基于触击的方法300继续进行到块306，在此基于手势输入修改该GUI对象并与手势输入一致。通过修改，意味着根据正被执行的特定的一个手势或多个手势改变GUI对象。与其一致，意思是当该手势或多个手势正被执行的时候近似发生改变。在多数情况下，在手势和GUI对象处发生的改变之间存在一对一的关系并且它们基本上是同时发生的。大体上，GUI对象紧随在手指的运动之后。例如，展开手指可同时放大该对象、合闭手指可同时缩小GUI该对象、旋转手指可同时旋转该对象、平移手指可以允许同时扫视或滚动该GUI对象。

在一个实施例中，块306可包括确定哪一个GUI对象与被执行的手势有关，并在其后锁定该显示的对象到放置到其上的手指使得GUI对象根据该手势输入改变。通过锁定或使手指与GUI对象相关，GUI对象可同时根据手指正在触摸屏上所做的动作调整自己。通常该确定和锁定发生在手指放下时，即，当手指被放到触摸屏上面时。

图10是根据本发明的一个实施例的缩放手势方法350的框图。缩放手势方法350可以在多点触摸屏上执行。缩放手势方法350通常开始于块352，在此在触敏表面同时检测到至少一个第一手指和第二手指的出现。该至少两个手指的出现被配置用于指示该触击是一个手势的触击而不是基于一个手指的跟踪触击。在某些情况下，仅出现两个手指指示该触击是一个手势触击。在其它情况下，任何多于两个的手指数量均指示该触击是一个手势触击。事实上，手势触击可被配置用于操作无论是两个、三个、四个或更多个的手指正在触摸，并且甚至在该手势期间数量改变了，即，在手势期间的任何时刻仅需要最少两个手指。

在块352之后，缩放手势方法350继续进行到块354，在此比较至少该两个手指之间的距离。距离可以是手指到手指或每个手指到某些其它的例如矩心的参考点的距离。如果该两个手指之间的距离增大（展开），则如在块356中所示生成放大信号。如果该两个手指之间的距离减小（合闭），则如在块358中所示生成缩小信号。在多数情况下，放下手指将锁定该手指到被显示的特定GUI对象或使其与之相关联。例如，触敏表面可以是一个触摸屏，并且GUI对象可被显示在该触摸屏之上。这典型地发生在当至少其中一个手指被放置到GUI对象之上。结果，当手指散开移动时，该放大信号可被用于增大GUI对象中嵌入特征的大小，而当手指收缩到一起时，该缩小信号可被用于减小该对象中嵌入特征的大小。缩放典型地发生在如显示屏的周边、窗口的周边、GUI对象的边缘等的预定边界之内。该嵌入式特征可以在多个层上形成，每个层表示不同级别的缩放。在多数情况下，缩放量根据该两个对象之间的距离变化。此外，缩放典型地可与对象的运动基本上同时发生。例如，当手指展开或合闭时，对象同时放大或缩小。虽然本方法是针对缩放的，应注意的是其也可以用于增大或降低。缩放手势方法350在诸如出版、图片、和绘图程序的图形程序中特别有用。此外，缩放可用于控制诸如照像机的外围设备，即，当手指展开时，照像机拉远，而当手指靠拢时照像机拉近。

图11A～11H举例说明了使用上述方法的缩放时序。图11A举例说明了一个显示屏，其展示了具有嵌入级别的北美洲地图形式的可被缩放的GUI对象364。在某些情况下，如图所示，GUI对象位于形成GUI对象364的边界的一个窗口之内。图11B举例说明了用户将他们的手指366放置到北美洲368的一个区域，特别地是美国370以及更特别地加利福尼亚洲372之上。为了在加利福尼亚洲372上放大，用户如图11C所示开始展开他们的手指366。随着手指366进一步展开时（距离增大），该地图在北加利福尼亚洲374上进一步放大，然后到北加利福尼亚洲374的特定区域，然后到海湾区域376，然后到半岛378（例如，旧金山和圣何塞地区之间的区域），然后如图11D～11H所示接着到位于旧金山和圣何塞之间的San Carlos市380。为了缩小San Carlos 380并回到北美洲368，手指沿与上述的顺序相反的顺序合闭回到一起。

图12是根据本发明的一个实施例的扫视方法400的框图。扫视手势可在多点触摸屏之上执行。扫视方法400通常开始于块402，在此在触敏表面上在同一时刻检测到至少一个第一对象和第二对象的出现。该至少两个手指的出现被配置用于指示该触击是手势触击而不是基于一个手指的跟踪触击。在某些情况下，仅出现两个手指指示该触击是一个手势触击。在其它情况下，任何多于两个的手指数量均指示该触击是一个手势触击。事实上，手势触击可被配置用于操作无论是两个、三个、四个或更多个的手指正在触摸，并且甚至在该手势期间数量改变了，即，仅需要最少两个手指。在块402之后，扫视方法400继续进行到块404，在此监视当目标穿越触摸屏移动到一起时该两个对象的位置。在块404之后，扫视方法400继续进行到块406，在此当两个对象的位置相对于初始位置改变时生成一个扫视信号。在多数情况下，放下手指将锁定该手指到显示在触摸屏上的特定GUI对象或使其与之相关联。典型地，当至少其中一个手指被放到GUI对象上的图像之上时。结果，当各手指越过触摸屏移动到一起时，该扫视信号可被用于在该手指的方向上平移图像。在多数情况下，平移量根据两个对象移动的距离而变化。此外，扫视典型地可与对象的运动基本上同时发生。例如，当手指移动的时候，对象随手指同时移动。

图13A～13D举例说明了基于上述的扫视方法400的扫视时序。利用图11的地图，图13A举例说明了用户将他们的手指366放到地图上。当放下时，手指300被锁定到该地图。如图13B所示，当手指366垂直向上移动时，整个地图364被向上移动由此致使先前看到的地图364的一部分将被放置到显示区以外而部分看不见的地图364被放置到显示区内。如图13C所示，当手指366水平向一旁移动时，整个地图364被向一旁移动由此致使先前看到的地图364的一部分将被放置到显示区以外而部分看不见的地图被放置到显示区内。如图13D所示，当手指366斜对角移动时，整个地图364被斜对角移动由此致使先前看到的地图364的一部分将被放置到显示区以外而部分看不见的地图被放置到显示区内。如应当理解的那样，地图364的运动遵循手指366的运动。整个过程类似于沿一张桌面滑动一页纸。手指施加到纸上的压力锁定纸张到手指并在当手指横越桌面滑动时，纸张随着它们移动。

图14是根据本发明的一个实施例的旋转方法450的框图。旋转手势可在多点触摸屏上执行。旋转方法450通常开始于块452，在此同时检测到一个第一对象和第二对象的出现。该至少两个手指的出现被配置用于指示该触击是手势触击而不是基于一个手指的跟踪触击。在某些情况下，仅出现两个手指指示该触击是一个手势触击。在其它情况下，任何多于两个的手指数量均指示该触击是一个手势触击。事实上，手势触击可被配置用于操作无论是两个、三个、四个或更多个的手指正在触摸，并且甚至在该手势期间数量改变了，即，仅需要最少两个手指。

在块452之后，旋转方法450继续进行到块454，在此设置每个手指的角度。角度典型地是相对于参考点确定的。在块454之后，旋转方法450继续进行到块456，在此当至少其中一个对象的角度相对于参考点改变时生成旋转信号。在多数情况下，放下手指将锁定该手指到显示在触摸屏上的特定GUI对象或使其与之相关联。典型地，当至少其中一个手指被放到GUI对象上的图像之上时，该GUI对象将与该手指相关联或被锁定到该手指。结果，当手指旋转时，该旋转信号可被用于以手指旋转的方向旋转该对象（例如，顺时针、逆时针）。在多数情况下，对象旋转的量根据手指旋转的量变化，即，如果手指移动5度则对象也移动5度。此外，旋转典型地可以与手指的运动基本上同时发生。例如，随着手指旋转，对象随手指同时旋转。

图15A～15C举例说明了基于上述的方法的旋转时序。利用图11的地图，图15A举例说明了用户将他们的手指366放到地图364之上。当放下时，手指366被锁定到地图364。如图15B所示，当手指366以顺时针方向旋转时，整个地图364根据该旋转的手指366在顺时针方向上旋转。如图15C所示，当手指366以逆时针方向旋转时，整个地图364根据该旋转的手指366在顺时针方向上旋转。

应注意的是，图10～15描述的方法可以在同一手势敲击期间实现。也就是说，在手势敲击期间可以执行所有的缩放、旋转和扫视，其可包括展开、旋转和滑动手指。例如，一旦放下至少两个手指，显示的对象（地图）就与该两个手指相关联或锁定。为了缩放，用户可展开或合上他们的手指。为了旋转，用户可旋转他们的手指。为了扫视，用户可滑动他们的手指。这些动作的每一个都可以以连续的动作同时发生。例如，用户可以展开和合闭他们的手指的同时横越触摸屏旋转和滑动手指。作为选择，用户可将这些动作分段而不必重置手势敲击。例如，用户可以首先展开他们的手指，然后旋转他们的手指，然后合闭他们的手指，然后滑动他们的手指等等。

图16是根据本发明的一个实施例的GUI操作方法500的框图。GUI操作方法500是为初始化GUI内的浮动控制配置的。GUI操作方法500通常开始于块502，在此检测诸如手指或拇指的对象的出现。这可例如利用触摸屏完成。在块502之后，GUI操作方法500继续进行到块504，在此对象被识别（找到了对象的标识符）。该对象可在多个对象之中被识别。例如，参见上面的图2的块104。

在块504之后，GUI操作方法500继续进行到块506，在此在对象的附近生成一个图像。该图像典型地是基于所识别的对象的。该图像可包括窗口、信息栏、对话框、菜单、图标、按钮、光标、滚动条等等。在某些情况下，用户可以选择并激活该图像（或其内嵌入的特征）以便启动功能和任务。举例来说，图像可以是用户接口元素或一组用户接口元素（例如，一个和多个打开、关闭、最小化、或最大化窗口的按钮）。该图像还可以是一个或多个图标，在当该图标被选择打开时运行特定的程序或文件。该图像另外可对应于非交互式文本和图形。在多数情况下，只要检测到对象就显示该图像或其可被显示一段预定数量的时间，即，在一段时间超时之后被移除。

在一个特定实施例中，图像包括一个或多个可由用户选择的控制选项。控制选项可包括一个或多个用于实现各种任务的控制按钮。例如，控制选项框可包括音乐收听控制按钮，例如播放、暂停、查找以及菜单。

图17A～17E举例说明了利用上述的方法的浮动控制时序。如图17A所示，用户510使用图形输入板PC 512并为此利用一只手514握住图形输入板PC 512同时利用另一只手516导航（例如，跟踪、手势表示）。如图17B所示，其接近于用户拿着图形输入板PC 512，拿着的那只手514的部分拇指放在触摸屏520之上。如图17C所示，图形输入板PC 512识别该拇指并在邻近该拇指显示一个控制框522。控制框522包括各种按钮524，其可以被用户的拇指选择以启动图形输入板PC 512内的任务。如图17D所示，当拿着图形输入板PC 512时，拇指延伸到其中一个按钮524之上并在随后轻敲由此选择与按钮524相关的任务。举例来说，该任务可能与启动一个程序或获得对网络的访问或改变设备的工作模式有关。控制框522合按钮524可被用于改变触摸屏520的输入模式使得例如与用户的另一只手的手指做出的完全相同的手势根据哪一个按钮524被选择了具有多种意义。如图17E所示，当拇指移动离开触摸屏520时，控制框522可能超时并消失。作为选择，可以使用常规的关闭图标或按钮关闭控制框。

图18是根据本发明的一个实施例的GUI操作方法550的框图。GUI操作方法550是为了启动缩放目标而配置的。GUI操作方法550通常开始于块552，在此显示一个控制框GUI元素。控制框包含一个或多个控制按钮，其稍微靠近，并且其可被用于执行动作。控制框可以例如包括诸如最大化、最小化、关闭等等的控制按钮。在块552之后，GUI操作方法550继续进行到块554，在此当检测到在控制框或者其中一个控制按钮之上出现一个对象时，控制框被扩大，或至少其中一个控制按钮被扩大一段时间。在控制框被扩大的情况下，每个控制按钮均被扩大由此更易于对它们作出选择。在仅仅控制按钮被扩大的情况下，用户将确定这是否是正确的按钮并且如果是的话则选择该扩大了的按钮，或者重新启动该过程使得适当的控制按钮被呈现。在多数情况下，控制按钮的大小与手指的大小一致使得它们可易于被该对象选择。在块554之后，GUI操作方法550继续进行到块556，在此当检测到在其中一个扩大了的控制按钮之上出现了对象时生成一个与所选择的控制按钮有关的控制信号。

图19A～19D举例说明了利用上述的GUI操作方法550的缩放目标时序。如图19A所示，用户510将他们的手指576放到控制框578之上。由于控制框578在其中包含的按钮580要比手指576要小并且位置靠近，对于用户510来说难于在可能不会压到一个不期望的按钮580，例如与所期望的按钮邻近的按钮，而直接作出选择。举例来说，手指576可能覆盖两个或多个按钮580。如图19B所示，当用户将他们的手指放到控制框之上时，至少部分控制框578被扩大，包括在其中包含的按钮580。如图19C所示，一旦控制框达到其扩大状态，用户就可以选择其中一个扩大了的按钮，其现在接近拇指的大小。举例来说，用户可以在所期望的控制按钮上敲击。如图19D所示，在按钮被选择或者在预定一段时间其中没有作出任何选择（例如，超时）之后或者当用户将他们的手指移动离开控制框时控制框还原到其初始大小。

图20是根据本发明的一个实施例的GUI操作方法600的框图。GUI操作方法600是为了启动页面转换而配置的。GUI操作方法600通常开始于块602，在此在GUI中显示来自许多页面的一个页面。举例来说，页面可以与电子图书有关。在块602之后，GUI操作方法600继续进行到块604，在此检测到在预定区域中出现一个目标（或多个目标）。该预定区域可以例如对应于在其处显示页码的区域。在块604之后，GUI操作方法600继续进行到块606，在此当对象（或多个对象）在该预定区域内平移时生成一个页面转换信号。该平移被配置用于模拟手指翻真实纸质精装书内的页面。平移的方向指示是翻到页面列表的下一页还是翻到上一页。例如，如果手指从右至左扫过，则生成一个后翻页信号，而如果手指是从左至右扫过，则生成一个前翻页信号。这个GUI操作方法600可以以几种方式增强。例如，如果多个手指扫过，则这将创建大于一页的翻页信号。例如，两个手指扫过相当于翻两页，三个手指扫过相当于翻三页等等。或者两个手指扫过相当于翻10页，三个手指扫过相对于翻50页等等。

图21A～21D举例说明了利用上述的GUI操作方法600的页面翻转时序。如图21A所示，其接近于用户510拿着图形输入板PC 512，用户在页码上面以到页面630左侧的方向扫过他们的手指。如图21B所示，图形输入板PC 512识别页码区内的该扫动以及扫动的方向并因此图形输入板PC 512显示页面组内的下一页。这个操作可被重复执行以便快速移动穿过页面组。如图21C所示，用户在页码上面以到页面630右侧的方向扫过他们的手指576。如图21D所示，图形输入板PC 512识别页码区内的该扫动以及扫动的方向并因此图形输入板PC 512显示页面组内的上一页。这个操作可被重复执行以便快速移动穿过页面组。

图22是根据本发明的一个实施例的GUI操作方法650的框图。GUI操作方法650是为典型地在滚动或扫视操作期间启动惯性而配置的。惯性通常定义为静止的物体保持静止或者运动的物体继续以直线运动直到受到外力的干扰的趋势。在本特定的实施例中，GUI或其的某些部分与惯性特性有关，这就是其对运动中的变化速率的阻力。对于具有较高惯性特性的GUI，对于给定输入，GUI的加速将更慢。另一方面，如果GUI具有较低的惯性特性，则对于给定输入的加速将较快。

GUI操作方法650通常开始于块652，在此一个图形图像被显示在GUI上。在块652之后，GUI操作方法650继续进行到块654，在此检测到触敏表面上的滚动或扫视敲击。举例来说，敲击可以是线性的或旋转的敲击。在线性敲击期间，滚动或扫视的方向典型地跟随敲击的方向。在旋转敲击期间（参见图6），该旋转敲击典型地被转换为线性输入，其中顺时针运动可对应于垂直向上而逆时针运动可对应于垂直向下。在块654之后，该处理流程继续进行到块656，在此确定滚动或扫视敲击的速度和方向。在块656之后，GUI操作方法650继续进行到块658，在此根据滚动或扫视敲击的速度和方向以及相关的惯性特性移动图像。在块658之后，GUI操作方法650继续进行到块660，在此甚至在当没有再检测到扫视或滚动敲击时继续图像的运动。例如，当用户从触敏表面抬起他们的手指时，滚动或扫视功能继续如同仍然作出了滚动或扫视敲击一样。在某些情况下，无限地持续图像的运动直到执行了某一制动（停止或减速）控制。这个特定的方法模拟了失重。在其它的情况下，图像的运动根据有关的惯性GUI操作方法650减速。比喻来说，图像可相当于一张纸在桌面上移动。为了移动该页纸，用户在所期望的方向上在纸上施加一个力。当用户将他们的手指拿离纸张时，纸张将继续以期望的方向沿桌面滑动一段时间。在手指拿离之后其滑动的量通常依赖于其的质量、手指施加的力、纸和桌面之间发现的摩擦力等。如应当理解的那样，传统上当滚动和扫视被实现时，当手指抬起时则滚动和或扫视停止。相反，利用上述提及的方法，当手指抬起时滚动或扫视继续移动。

GUI操作方法650可另外包括模块A和B。在模块A，在触敏表面检测到一个诸如手指的对象，当图像移动时不需要该对象的协助（块660）。在模块B，当检测到该对象时该图像的运动停止，即，新的触击用作制动手段。使用上述的比喻，当纸张穿越桌面滑动时，用户将他们的手指按在纸张上面从而停止其的运动。

图23A～23D举例说明了利用上述的方法的惯性时序。图23A举例说明了呈现GUI 678的显示屏，该显示屏包括窗口679，窗口679具有一个媒体项681列表680。窗口679和列表680可对应于例如在由Cupertino，CA的公司苹果计算机公司制造的

中发现的控制窗口和音乐列表。如图23B所示，当用户将他们的一个手指或多个手指576在触摸屏520之上滑动时，实现了将媒体项上移或下移穿过窗口的垂直滚动。滚动的方向可跟随手指移动的同一个方向（如图所示），或者以相反的方向移动。在一个特定的实施例中，单个手指用于从列表选择媒体项，而两个手指被用于滚动穿过列表。

滚动通常适合用于穿越显示屏上的显示区移动被显示的数据或图像（例如，媒体项681）使得新的数据集（例如，媒体项681）被带入显示区内的视图。在多数情况下，一旦显示区满了，则出现在显示区边缘处的每个新的数据集和所有的其它数据集挪动一个位置。也就是说，新的数据集替代移出显示区的每个数据集。大体上，这些功能允许用户查看当前在显示区之外的连续的数据集。在多数情况下，用户能够通过以更快速度移动他或她的手指加速他们对数据集的遍历。在在此结合作为参考的美国专利申请Nos.:2003/0076303A1，2003/0076301A1，2003/0095096A1中能够找到滚动穿过列表的例子。

如图23C所示，甚至于当手指移离触摸屏时所显示的数据还继续移动。该持续移动至少部分基于之前的运动。例如，滚动可能以相同的方向和速度继续。在某些情况下，滚动随时间的过去慢下来，即，穿过媒体项的速度越来越慢直到滚动最终停下来从而留下静止的列表。举例来说，每个新带入显示区的媒体项都将逐渐降低速度。可选或附加地，如图23D所示，当手指576返回到触摸屏520上时，所显示的数据停止移动。也就是说，放回手指到触摸屏上可实现制动，其停止或减慢连续的动作运动。尽管这个时序是针对垂直滚动的，应注意的是这并不是一个限制而是可以使用上述的方法执行水平滚动以及扫视。

图24是根据本发明的一个实施例的GUI操作方法700的框图。方法700配置用于模拟一个键盘。该方法通常开始于块702，在此在屏幕上呈现一个键盘。在块702之后，处理流程继续进行到块704，在此在触摸屏上同时检测到第一键之上的第一对象和第二键之上的第二对象的出现。该触摸屏可位于显示屏之上或之前。举例来说，显示屏可以是LCD而触摸屏可以是多点触摸屏。在块704之后，该处理流程继续进行到块706，在此当在第一键之上检测到第一对象以及当同时在第二键之上检测到第二对象时生成一个或多个同时发生的控制信号。

在一个实施例中，当在第一键之上检测到第一对象以及当同时在第二键之上检测到第二对象时仅生成一个控制信号。举例来说，第一键可能是shift键而第二键可能是符号键（例如，字母、数字）。通过这种方式，该键盘充当一个常规的键盘，即，允许用户同时选择多个键以便改变符号，即大/小写。该键也可对应于control键，alt键，escape键，功能键等等。

在另一个实施例中，为每个同时发生的被激励的键（键触击）生成一个控制信号。例如，可同时键入字符组。在一些情况下，运行在键盘后面的应用程序可被配置用于基于某种预定的标准确定字符时序。例如，尽管字母可能是混乱的，应用程序能够基于拼写、用法、上下文等等确定正确的字符时序。

尽管仅描述了两个键的，应注意的是两个键并不是一个限制，而是可同时激励两个以上的键以产生一个或多个控制信号。例如，可以实现control-alt-delete功能或者可同时键入或更大的字符组。

图25A～25D举例说明了利用上述的方法的键盘时序。图25A举例说明了以键盘形式展示一个GUI对象730的显示屏。如图25B所示，用户将他们的手指576放到多点触摸屏520之上，放到键盘730之上以录入数据到字处理程序。举例来说，用户可放一个手指576A到Q键上以便在字处理程序中产生小写的“q”。如图25C所示，当用户决定一个字母应该大写时，用户将一个手指576B放在shift键上而另一只手指576A放到所想要的字母（如由箭头指示的）上。如图25D所示，为了继续以小写键入，用户简单地将他们的手指576B从shift键移开并将他们的手指576A放到所想要的字母上（如由箭头所指示的）。

图26是根据本发明的一个实施例的GUI操作方法750的框图。方法750被配置用于模拟诸如在其所有内容在此结合作为参考的美国专利公开Nos.:2003/0076303A1，2003/0076301A1，2003/0095096A1中描述的那些滚动轮。该方法通常开始于块752，在此在显示屏上呈现一个虚拟滚动轮。在一些情况下，该虚拟滚动轮可在其中心包括一个虚拟按钮。该虚拟滚动轮被配置用于实现例如滚动穿过一个列表而该按钮被配置用于实现选择例如存储在列表中的项目。在块752之后，该方法继续进行到块754，在此在触摸屏上检测到在虚拟滚动轮之上出现至少一个手指以及在某些情况下一个以上的手指，如第一和第二手指。该触摸屏可位于显示屏之上或之前。举例来说，显示屏可以是LCD而触摸屏可以是多点触摸屏。在块754之后，该方法继续进行到块756，在此设置手指在虚拟滚动轮上的初始位置。举例来说，可确定手指相对于参考点的角度（例如，12点钟、6点钟等）。

在块756之后，方法750继续进行到块758，在此当手指的角度相对于参考点改变时生成旋转信号。在多数情况下，当手指位于虚拟滚动轮之上时，手指的放下与虚拟滚动轮相关、相关联或者将手指锁定到虚拟滚动轮。因此，当手指旋转时，旋转信号可以被用于在手指旋转的方向上（例如，顺时针、逆时针等）旋转虚拟滚动轮。在多数情况下，轮子旋转的量根据手指旋转的量变化，也就是说，如果手指移动5度则轮子也移动5度。此外，旋转典型地基本上与手指的运动同时发生。例如，当手指旋转时，同时利用手指执行轮子的旋转。

在某些情况下，上述的惯性原理可被应用到该虚拟滚动轮。在诸如这样的情况下，当各手指（或其中一个手指）抬离虚拟滚动轮时该虚拟滚动轮继续滚动并且借助于虚拟摩擦力慢慢地停下来。可选或附加地，可通过将手指（或被移离的手指）放回到虚拟滚动轮上可以停止该持续的旋转从而制动该虚拟滚动轮的旋转。

图27A～27D举例说明了利用上述方法的滚动轮时序。图27A举例说明了呈现了一个滚动轮的显示屏。该滚动轮可以作为程序的一部分自动显示或者可以在当执行了一个特定的手势时被显示。举例来说，在音乐程序（如由Cupertino，CA，的苹果计算机公司制造的

）的操作期间，当两个手指而不是典型地用于音乐程序中的跟踪的一个手指被放置到触摸屏上时该虚拟滚动轮将出现在该触摸屏上。在某些情况下，仅当两个手指被放置在GUI的预定区域上时才会出现虚拟滚动轮。如图27B所示，用户将他们的手指放到多点触摸屏520之上，放到滚动轮之上。在某些点上，手指被锁定到该滚动轮。这可发生例如在手指放下时。如图27C所示，当手指以顺时针方向旋转时，滚动轮根据旋转的手指以顺时针方向旋转。如图27D所示，当手指以逆时针方向旋转时，滚动轮根据旋转的手指以逆时针方向旋转。可选地，虚拟滚动轮的旋转也可以随手指的线性运动以切线方式旋转。

需要注意的是，尽管示出了表面滚动轮，其原理也可以施加到被虚拟基于的、更加传统的滚动轮。例如这样的滚动轮，即其轴平行于显示屏，并且看起来穿过如图28所示的显示屏。但是，在该特定实施例中，手指的线性运动被用于旋转虚拟滚动轮。

本发明的各个方面、实施例、实现或特征可单独或以任何结合形式使用。

本发明优选通过硬件、软件或者硬件和软件的结合实现。软件也可以具体化为计算机可读介质上的计算机可读代码。计算机可读介质是任何能够存储数据并在其后被计算机系统读取的数据存储器。计算机可读介质的实例包括只读存储器、随机存取存储器、CD-ROM、DVD、磁带、光数据存储设备、以及载波。计算机可读介质也可在网络联结的计算机系统之上分布使得计算机可读代码以分布式方式被存储和执行。

虽然已经就几个优选实施例描述了本发明，存在改变、变更以及等同物，它们都落入本发明的范围内。例如，尽管本发明主要是针对触摸屏的，应当注意的是，在某些情况下触摸板也可用于替代触摸屏。也可使用其它类型的触摸感应设备。应当注意的是，存在许多实现本发明的方法和设备的可选方式。因此有意使下面的所附权利要求书被解释为包含所有的这种改变、变更以及等同物，被看作落入本发明的真正的精神和范围之内。

Claims (30)

1.一种用于处理触击输入的方法，所述方法包括：

从触摸屏读取数据，所述数据涉及在显示在所述触摸屏上的一个或多个图形用户界面GUI元素上的触击输入，所述触摸屏具有多点能力；

确定导致所述触击输入的一个或多个对象的方向，所述方向表示在检测到所述一个或多个对象的任何移动之前所述一个或多个对象在放下时指向的方向；以及

根据所确定的所述一个或多个对象在放下时的方向，将所述数据分类为表示多个手势模式之一。

2.根据权利要求1所述的方法，还包括：

当确定所述一个或多个对象的特定方向时，将所述数据分类为表示跟踪手势模式。

3.根据权利要求2所述的方法，其中跟踪包括：

直接操纵出现在所述触摸屏上的指针或光标。

4.根据权利要求1所述的方法，其中所述多个手势模式之一执行出现在所述触摸屏上的GUI元素中的至少一个的直接操纵。

5.根据权利要求1所述的方法，还包括：

当至少两个对象的特定方向被确定时，将所述数据分类为表示滚动或平移手势模式，并且在所述至少两个对象沿基本上相同的方向一起移动时，执行滚动或扫视。

6.根据权利要求1所述的方法，还包括：

当至少两个对象的特定方向被确定时，将所述数据分类为表示缩放手势模式，并且在所述至少两个对象线性地彼此靠近或者远离时，执行缩放。

7.根据权利要求1所述的方法，还包括：

当至少两个对象的特定方向被确定时，将所述数据分类为表示旋转手势模式，并且在所述至少两个对象彼此相对地旋转或者相对于已知点旋转时，执行旋转。

8.根据权利要求1所述的方法，还包括：

在相同触击输入期间，同时执行多个控制动作。

9.根据权利要求1所述的方法，其中所述触击输入是连续敲击，所述敲击保持在所述触敏设备上的连续接触。

10.根据权利要求1所述的方法，还包括：

至少部分地基于至少两个对象发生的改变或在所述至少两个对象之间发生的改变，执行一个或多个手势模式操作。

11.一种用于提供输入给包括触摸屏的计算系统的方法，所述方法包括：

从所述触摸屏读取数据，其中所述数据对应于多个触击；

将所述数据分类为一个或多个特征，其中所述特征中的每一个对应于所述多个触击中的唯一触击；

将所述特征之一分类为拇指触击；以及

从所述多个触击中滤除所识别的拇指触击以获得经过滤的触击事件。

12.根据权利要求11所述的方法，还包括：

处理所述经过滤的触击事件。

13.根据权利要求11所述的方法，其中滤除所识别的拇指触击包括：

基于预定义的标准进行过滤。

14.根据权利要求11所述的方法，其中滤除所识别的拇指触击包括：

基于所述拇指触击在所述触摸屏上的位置进行过滤。

15.根据权利要求13所述的方法，其中所识别的拇指的位置是个人计算机的边缘。

16.根据权利要求15所述的方法，其中所述个人计算机是输入板PC。

17.一种用于提供输入给包括触摸屏的计算系统的设备，所述设备包括：

触敏感测装置，用于从所述触摸屏读取数据，其中所述数据对应于多个触击；和

输入装置，用于将所述数据分类为一个或多个特征，其中所述特征中的每一个对应于所述多个触击中的唯一触击，所述输入装置还用于将所述特征之一分类为拇指触击，以及从所述多个触击中滤除所述拇指触击以获得经过滤的触击事件。

18.根据权利要求17所述的设备，还包括：

处理器，用于处理所述经过滤的触击事件。

19.根据权利要求17所述的设备，其中所述输入装置基于预定义的标准，过滤所述拇指触击。

20.根据权利要求17所述的设备，其中所述输入装置基于所述拇指触击在所述触摸屏上的位置，过滤所述拇指触击。

21.根据权利要求20所述的设备，其中所述位置是在个人计算机的边缘上。

22.根据权利要求21所述的设备，其中所述个人计算机是输入板PC。

23.一种用于提供触击输入给包括触摸屏的计算系统的方法，所述方法包括：

从所述触摸屏读取数据，其中所述数据对应于多个触击；

将所述数据分类为一个或多个特征，其中所述特征中的每一个对应于所述多个触击中的唯一触击；

将所述特征之一分类为拇指触击；

将所述拇指触击与所述多个触击分开以获得所述多个触击的剩余子集；以及

基于所述拇指触击，修改与所述触击的剩余子集对应的触击事件。

24.根据权利要求23所述的方法，还包括：

将所述拇指触击与在所述触摸屏上显示的控制框关联，其中修改所述触击事件还包括：

响应于所述控制框的操作，改变所述触摸屏的输入模式。

25.根据权利要求24所述的方法，还包括：

基于所述控制框的操作，确定通过所述触击的剩余子集执行的手势。

26.根据权利要求24所述的方法，其中所述控制框包括多个按钮，每个按钮对应于所述触摸屏的不同输入模式。

27.根据权利要求24所述的方法，其中所述输入模式是跟踪模式或选择模式。

28.根据权利要求23所述的方法，其中所述拇指触击和所述触击的剩余子集来自两只不同的手。

29.根据权利要求24所述的方法，还包括：

响应于所述拇指触击，激活所述控制框。

30.根据权利要求23所述的方法，其中改变所述触击事件包括：

通过利用所述触击的剩余子集做出的相同手势，执行不同的操作。

Images