CN201266371Y - 手持移动通信装置 - Google Patents

Abstract

一种手持移动通信装置，包括：触敏显示屏；用于引起所述显示屏显示媒体文件的一段的装置；用于检测在所述显示屏的表面上的触摸卷动输入的装置，所述触摸卷动输入包括在所述显示屏的表面上的人的手指的落地点，所述落地点对应于显示所述媒体文件的所述一段的所述显示屏上的位置；用于检测在所述显示屏上所述人的手指落地点的拖拉运动的装置；用于确定所述手指落地点的所述拖拉运动以指示卷动操作的装置；用于使所述媒体文件在所述显示屏上卷动的装置。本实用新型解决了在触摸/接近敏感装置上人手的手势输入可以用来控制、编辑和处理文件的技术问题。本实用新型用于在计算装置或系统上管理和编辑媒体文件。

Description

手持移动通信装置

技术领域

本实用新型涉及通过在触摸敏感装置上使用手势来管理、操纵和编辑媒体对象(例如在显示器上的图形对象)的系统。

背景技术

现今具有许多类型的输入装置用于在计算机系统中进行操作。这些操作一般是在显示屏上移动光标并进行选择。这些操作也可以包括分页、卷动、扫视、缩放等等。例如，输入装置可以包括按钮、开关、键盘、鼠标、轨迹球、触摸垫、游戏杆、触摸屏等。这些装置的每一个都具有优点和缺点，这是当设计计算机系统时必须考虑的。

按钮和开关一般是机械性质的，并对于光标的移动和进行选择提供有限的控制。例如，它们一般专用于沿特定方向移动光标(例如箭头键)，或者进行特定的选择(例如输入、删除、编号等等)。

在使用鼠标装置时，在显示器上输入指针的运动一般对应于当用户沿着一个表面移动鼠标时鼠标的相对运动。在使用轨迹球装置时，输入指针在显示器上的运动一般对应于当用户在一个壳体内移动轨迹球时轨迹球的相对运动。鼠标和轨迹球装置一般还包括一个或多个用于进行选择的按钮。鼠标装置还可以包括卷动轮，其允许用户借助于向前或向后滚动卷动轮来卷动被显示的内容。

利用触摸垫装置，例如在个人便携式计算机上的触摸垫，在显示器上输入指针的运动一般对应于当用户的手指在触摸垫的表面上运动时用户手指(或铁笔)的相对运动。在另一方面，触摸屏可以是一种类型的显示屏，其一般包括覆盖着显示屏的触摸敏感的透明板(或“皮肤”)。当使用触摸屏时，用户一般通过直接点击(通常用手指或铁笔)在屏幕上显示的对象(例如GUI对象)在显示屏上进行选择。

为了提供附加的功能，一些输入装置实现了手势。例如，在触摸垫中，当在触摸垫的表面上可以检测到一个或多个轻击时可以进行选择。在一些情况下，可以轻击触摸垫的任何部分。除去选择之外，借助于使用手指在触摸垫边沿的运动可以启动卷动。

授予苹果计算机公司的美国专利5612719和5590219描述了手势的一些其它的使用，美国专利5612719披露了一种屏上按钮，其响应在屏幕上在按钮上或按钮附近的至少两个不同的按钮手势。美国专利5590219披露了一种用于辨认在计算机系统的显示屏上输入的椭圆形手势的方法。

近来，实现了一些更先进的手势。例如，通过把4个手指放在触摸垫上，从而认出卷动手势，此后在触摸垫上移动这些手指，可以启动卷动，以便执行卷动事件。不过，用于实现这些先进的手势的方法可能受到限制，并且在许多情况下可能是违反直觉的。在某些应用中，特别是涉及使用计算机系统管理或编辑媒体文件的应用中，使用触摸屏的手势可以使用户能够更有效地和精确地实现所需的操作。

基于上述，需要进行改进，使得手势可以在触摸敏感装置上被执行，特别是关于管理和编辑媒体文件。

实用新型内容

本实用新型解决了在触摸/接近敏感装置上人手的手势输入可以用来控制、编辑和处理文件的技术问题。

本实用新型提供了一种手持移动通信装置，包括：触敏显示屏；用于引起所述显示屏显示媒体文件的一段的装置，所述媒体文件包括文本项和图形项中的至少一个；用于检测在所述显示屏的表面上的触摸卷动输入的装置，所述触摸卷动输入包括在所述显示屏的表面上的人的手指的落地点，所述落地点对应于显示所述媒体文件的所述一段的所述显示屏上的位置；用于检测在所述显示屏上所述人的手指落地点的拖拉运动的装置，所述拖拉运动跨越正被显示的所述媒体文件的所述一段的一部分，并包括垂直的和水平的矢量分量；用于确定所述手指落地点的所述拖拉运动以指示卷动操作的装置；用于使所述媒体文件在所述显示屏上卷动的装置，其中所述卷动被限制于垂直和水平方向之一。

本实用新型提供了一种手持移动通信装置，包括：触敏显示屏；用于使所述显示屏显示媒体文件的一段的装置，所述媒体文件包括文本项和图形项中的至少一个；用于检测在所述显示屏的表面上的触摸卷动输入的装置，所述触摸卷动输入包括在所述显示屏的表面上的人的手指落地点，所述落地点对应于显示所述媒体文件的所述一段的显示屏上的位置；用于检测在所述显示屏上人的手指落地点的拖拉运动的装置，所述拖拉运动跨越正被显示的媒体文件的所述一段的一部分；用于检测所述人的手指落地点的拖拉运动的方向的装置，其中所述拖拉运动的方向包括垂直分量矢量和水平分量矢量；以及用于使所述媒体文件在所述显示屏上按照检测的拖拉运动的方向卷动的装置。

本申请涉及用于通过触摸敏感装置(例如触摸敏感显示器)实现手势的系统和软件，用于在计算机系统上管理和编辑媒体文件。具体地说，在触摸/接近敏感装置上人手的手势输入可以用来控制、编辑和处理文件(例如媒体文件，包括但不限于照片文件和视频文件)。

按照一个实施例，在触摸敏感的计算机桌面应用显示器上的手势输入用于实现常规的鼠标/轨迹球操作，例如目标、选择、右点击操作、卷动等等。

按照另一个实施例，在触摸敏感显示器上的手势输入用于实现用于编辑图像文件例如照片文件的编辑指令。手势输入可以通过用户界面(UI)元件例如滑动条被辨别。手势输入可以借助于UI元件通过改变在UI元件上触摸点的数量被改变。

按照另一个实施例，手势输入包括UI元件的激活，在此之后和相关的UI元件的手势的相互作用可以实现其它的功能。

本实用新型实现了在触摸/接近敏感装置上人手的手势输入可以用来控制、编辑和处理文件的有益效果。

附图说明

图1是按照本发明的示例的实施例的计算机系统的方块图；

图2表示按照本发明的另一个示例的实施例的计算机系统；

图3表示按照本发明的一个示例的实施例的多点处理方法；

图4A，4B表示按照本发明的一个实施例的检测的触摸图像；

图5表示按照本发明的一个实施例的一组特征；

图6表示按照本发明一个实施例的参数计算方法；

图7A-7E和7I-7K表示按照本发明的一个实施例用于指定目标和/或选择任务的多种手势；

图7F-7H表示用于辨别和实现图7A-E的手势输入的方法；

图8A-8G表示按照本发明的一个实施例的转动姿式；

图9表示按照本发明一个实施例的基于触摸的方法；

图10表示按照本发明一个实施例的基于触摸的方法；

图11是按照本发明一个实施例的基于触摸的方法；

图12表示按照本发明一个实施例的缩放手势方法；

图13A-13H表示按照本发明一个实施例的缩放顺序；

图14表示按照本发明一个实施例的扫视方法；

图15A-15D表示按照本发明一个实施例的扫视顺序；

图16表示按照本发明一个实施例的转动方法；

图17A-17C表示按照本发明一个实施例的转动顺序；

图17D-17E表示按照本发明一个实施例的用于转动可选目标的方法；

图18A和18B表示按照本发明一个实施例的用于编辑照片文件的手势输入；

图18C表示用于辨别和实现图18A，18B的手势输入的方法；

图18D和18E表示按照本发明一个实施例在照片应用内用于近摄和远摄照片文件的手势输入；

图19A-19D表示按照本发明一个实施例用于通过再现顺序文件卷动的手势输入；

图19E和19F表示按照本发明一个实施例用于在数字照相机显示器上通过再现照片文件卷动的手势输入；

图19G表示按照本发明一个实施例用于在再现期间标记或删除照片文件的手势输入；

图19H表示按照本发明另一个实施例用于在再现期间标记或删除照片文件的另一个手势输入；

图20是表示按照本发明一个实施例用于实现图18A-19F的方法的总图；

图21A-21D表示按照本发明一个实施例使用视频应用用于控制/编辑视频的手势输入；

图22A和22B表示用于实现图21A-21D的手势输入的方法；以及

图23表示按照本发明一个实施例用于使用音频应用控制/编辑音频的手势输入。

具体实施方式

在下面的优选实施例的说明中，参考构成本说明的一部分的附图，其中通过说明示出了可以实现本发明的特定实施例。应当理解，不脱离本发明的优选实施例的范围，可以利用其它的实施例，可以进行结构的改变。

图1是按照本发明一个实施例的计算机系统50的方块图。计算机系统50可以是个人计算机系统，例如台式机、便携计算机、图形输入板或手持计算机。计算机系统也可以是计算装置例如蜂窝电话、PDA、专用媒体播放器、用户电子装置等等。

图1所示的示例的计算机系统50可以包括处理器56，其被配置用于执行指令，并用于执行和计算机系统50有关的操作。例如使用例如从存储器检索的指令，处理器56可以控制在计算机系统50的元件之间的输入和输出数据的接收和处理。处理器56可以在单个芯片、多个芯片上实现或者由多个电气元件来实现。例如，处理器56可以使用多种体系结构，包括专用的或嵌入式处理器、单用途处理器、控制器、ASIC等等。

在大多数情况下，处理器56和操作系统一起工作，以执行计算机代码并产生和使用数据。操作系统一般是熟知的，因而不再详细说明。例如，操作系统可以是OS/2、DOS、Unix、Palm OS等等。操作系统还可以是特殊用途的操作系统，例如可用于受限用途的设备型计算装置的操作系统。操作系统、其它计算机代码和数据可以驻留在在操作上和处理器56相连的存储器块58内。存储器块58一般提供用于存储计算机代码和可以由计算机系统50使用的数据的位置。例如，存储器块58可以包括只读存储器(ROM)、随机存取存储器(RAM)、硬盘装置等等。信息也可以驻留在可除去的存储介质上，当需要时被下载或安装到计算机系统50上。可除去的存储介质例如包括CD-ROM、PC-CARD、存储卡、软盘、磁带和网络元件。

计算机系统50还可以包括可以在操作上和处理器56相连的显示装置68。显示装置68可以是液晶显示器(LCD)(例如有源矩阵、无源矩阵等)。或者，显示装置68可以是监视器，例如单色显示器、彩色图形适配器(CGA)显示器、增强的图形适配器(EGA)显示器、可变图形阵列(VGA)显示器、超级VGA显示器、阴极射线管(CRT)等。显示装置还可以是等离子显示器或利用电子链接实现的显示器。

显示装置68一般可被配置用于显示图形用户界面69，其使得容易使用在计算机系统的用户和操作系统或在操作系统上运行的应用程序之间的用户界面。一般地说，GUI 69代表程序、文件、以及具有图形图像、对象或矢量表示的可操作的选择。图形图像可以包括窗口、字段、会话框、菜单、图标、按钮、卷动条等。这种图像可以以预定的布局被管理，或者可以被动态地产生，以用于用户进行的特定操作。在操作期间，用户可以选择和/或激活多种图形图像，以便启动功能以及和功能相关联的任务。例如，用户可以选择打开、关闭、最小化或最大化窗口的按钮，或者选择启动特定程序的图标。GUI 69可以在显示装置18上对用户附带地或者另外地显示信息，例如非交互式的文本和图形。

计算机系统50还可以包括在操作上可以和处理器56相连的输入装置70。输入装置70可被配置用于从外部世界向计算机系统50传递数据。输入装置70例如可用于进行跟踪以及在显示器68上对GUI 69进行选择。输入装置70还可用于在计算机系统50中发送指令。输入装置70可以包括触摸感知装置，其被配置用于接收来自用户的触摸的输入，并把这个信息发送到处理器56。例如，触摸感知装置可以是触摸垫或触摸屏。在许多情况下，触摸感知装置辨别触摸以及在触摸感知表面上触摸的位置和大小。触摸感知装置检测并向处理器56报告触摸，处理器56则按照其程序解释触摸。例如，处理器56可以按照特定的触摸启动任务。可以使用专用处理器局部地处理触摸，并降低对计算机系统的主处理器的要求。

触摸感知装置可以基于感知技术，包括但不限于电容感测、电阻感测、表面声波感测、压力感测、光感测等等。此外，触摸感知装置可用于单点感测或多点感测。单点感测只能辨别一个触摸，而多点感测能够辨别同时发生的多个触摸。

如上所述，输入装置70可以是触摸屏，其位置显示器68的上方或前方，和显示装置68集成在一起，或者是一个单独的元件，例如触摸垫。

计算机系统50优选地还包括用于和一个或多个I/O装置80耦合的电容。例如，I/O装置80可以是键盘、打印机、扫描仪、照相机、麦克风、扬声器等等。I/O装置80可以和计算机系统50集成在一起，或者是单独的元件(例如外围装置)。在一些情况下，I/O装置80可以通过有线连接(例如电缆/端口)和计算机系统50相连。在其它情况下，I/O装置80可以通过无线链接和计算机系统80相连。例如，数据链接可以是PS/2、USB、IR、火线、RF、蓝牙等。

按照本发明的一个实施例，计算机系统50被设计用于辨别提供给输入装置70的手势85，并根据手势85控制计算机系统50的各个方面。在一些情况下，手势可被定义为可被映射成一个或多个特定的计算操作的和输入装置的被风格化的相互作用。手势85可以通过各种手(更具体地说手指)的运动被构成。额外地或者替换地，手势可以借助于铁笔而被构成。在所有这些情况下，输入装置70接收手势85，处理器56执行和手势85相关的操作的指令。此外，存储器块58可以包括手势操作的程序88，其可以是操作系统的一部分，或者是一个单独的应用程序。手势操作程序88一般可以包括一组指令，该指令辨别手势85的发生并把手势85和/或响应手势85而进行的操作通知一个或多个软件代理。有关可以作为输入指令使用的各种手势的其它细节将在下面被进一步讨论。

按照优选实施例，当用户进行一个或多个手势时，输入装置70把手势信息传递到处理器56。处理器56使用来自存储器58的指令，更具体地说，使用手势操作的程序88，解释手势85，并根据手势85控制计算机系统50的不同的元件，例如存储器58、显示器68和I/O装置80。手势85可被识别为指令，用于执行在存储器58中存储的应用程序中的操作、修改在显示器68上显示的图像对象，修改在存储器58中存储的数据，和/或在I/O装置80中进行操作。

此外，虽然为了说明的目的图1作为两个单独的方块示出了输入装置70和显示器69，但这两个方块可以在一个装置上被实现。

图2表示使用多触摸板作为手势输入装置的示例的计算系统10，多触摸板24可以同时是一个显示板。计算系统10可以包括专用于多触摸子系统27的一个或多个多触摸板处理器12。或者，多触摸板处理器的功能可以由专用逻辑例如状态机来实现。外围设备11可以包括但不限于随机存取存储器(RAM)或其它类型的存储器、监视定时器等。多触摸子系统27可以包括但不限于一个或多个模拟通道17、通道扫描逻辑18和驱动器逻辑19。通道扫描逻辑18可以访问RAM16，从模拟通道自动地读数据并对模拟通道提供控制。该控制可以包括把多触摸板24的列多路传输到模拟通道17。此外，通道扫描逻辑18可以控制驱动器逻辑以及被选择地提供给多触摸板24的行的模拟信号。在一些实施例中，多触摸子系统27、多触摸板处理器12和外围设备11可以被集成在一个应用特定的集成电路(ASIC)中。

驱动器逻辑19可以提供多个多触摸子系统输出20，可以提供驱动高压驱动器的专有界面，高压驱动器优选地包括译码器21和后续的电平移动器和驱动器级22，虽然电平移动功能可以在译码器功能之前被执行。电平移动器和驱动器22可以提供从低电压电平(例如CMOS电平)到较高电压电平的电平移动，提供较好的信噪比以便减少噪声。译码器21可以把驱动界面信号译码成N个输出之一，其中N可以是板中的最大的行数。译码器21可用于减少在高压驱动器和多触摸板24之间所需的驱动线的数量。每个多触摸板行输入23可以驱动多触摸板24中的一个或多个行。应当注意，驱动器22和译码器21可被集成为一个ASIC，被集成在驱动器逻辑19中，或者在一些实例中可能是不需要的。

多触摸板24可以包括电容感测介质，具有多个行轨迹或行驱动线，以及多个列轨迹或感测线，虽然也可以使用其它的感测介质。行轨迹和列轨迹可以由透明的导电介质构成，例如铟锡氧化物(ITO)或锑锡氧化物(ATO)，虽然也可以使用其它透明的和非透明的材料例如铜。在一些实施例中，行轨迹和列轨迹可以在介电材料的相对侧上被形成，并且可以相互垂直，虽然在其它实施例中，其它的非笛卡儿方位也是可能的。例如，在极座标系统中，感测线可以是同心圆，驱动线可以是沿径向延伸的线(或反之亦然)。因此，应当理解，这里使用的术语“行”和“列”、“第一维”和“第二维”、“第一轴线”和“第二轴线”旨在不仅包括正交的栅格，而且包括具有第一维和第二维其它几何结构的相交的轨迹(例如极座标排列的同心线和径线)。行和列可以在衬底的一侧上被形成，或者可以在由介电材料隔开的两个单独的衬底上被形成。在一些例子中，一个附加的介电覆盖层可被置于行轨迹或列轨迹上，以增强该结构并保护整个组件不被破坏。

在多触摸板24的“交点”，即上下轨迹互相通过(跨过)(但不进行相互直接电接触)的位置，轨迹基本上形成两个电极(虽然两个以上的轨迹也可以交叉)。行轨迹或列轨迹的每个交点可以提供电容感测节点，并且可被视为一个图像元素(像素)26，当多触摸板24被看作捕获触摸的“图像”时这尤其是有用的。换句话说，在多触摸子系统27确定在多触摸板内的每个触摸传感器是否检测到触摸事件之后，在发生了触摸事件的多触摸板中的触摸传感器的图案可被视为触摸的“图像”(例如触摸多触摸板的手指的图案)。当给定的行被保持在DC下时，在行电极和列电极之间的电容似乎是在所有列上的杂散电容，当给定的行利用AC信号激励时，则似乎是共有电容Csig。在多触摸板上或附近手指或其它物体的存在可以通过测量改变为Csig而被检测。多触摸子系统27中的多触摸板124的列可以驱动一个或多个模拟通道17(这里也叫做事件检测和解调电路)。在一些实现中，每个列可被耦联到一个专用的模拟通道17。不过，在其它实现中，这些列可以通过模拟开关耦联到较少的模拟通道17。

计算系统10还可以包括主处理器14，用于接收来自多触摸板处理器12的输出并根据该输出进行操作，包括但不限于移动对象例如光标或指针、卷动或扫视、调节控制设置、打开文件或文档、浏览菜单、进行选择、执行指令、操作和主设备相连的外围设备等。主处理器14，其可以是个人计算机的CPU，也可以执行和多触摸板处理无关的附加功能，并且可以和程序存储器15以及显示装置13例如LCD显示器相连，以便向设备的用户提供用户界面(UI)。

应当注意，虽然图2示出了专用的MT板处理器12，多触摸子系统可被主处理器14直接控制。此外，应当注意，多触摸板24和显示装置13可被集成在一个触摸屏显示装置中。多触摸传感器检测的其它细节，包括由触摸板进行的接近检测，在共同转让的未决申请中被描述了，包括申请号10/840862，其美国专利公开号为US2006/0097991，申请号为11/428522，美国专利公开号US2006/0238522，以及在2007年1月3日提交的名称为“Proximity andMulti-Touch Sensor Detection and Demodulation(接近与多触摸传感器检测和解调)”的专利申请，所有这些专利申请的全部内容通过引用被包括在此。

图3表示按照本发明的一个实施例的多点处理方法100。多点处理方法100例如可以在图1或图2所示的系统中被执行。多点处理方法100一般在块102开始，此时可以从多点输入装置即多点触摸屏读出图像。虽然使用了“图像”这个术语，应当注意数据可以呈其它的形式。在大多数情况下，从触摸屏读出的图像对于触摸屏的每个检测点或像素提供作为位置(x，y)的函数的幅值(Z)，该幅值例如可以反映在每个点测量的电容。

在块102之后，多点处理方法100前进到块104，此时可以把图像转换成特征集合或特征列表。每个特征代表不同的输入例如触摸。在大多数情况下，每个特征可以包括其自身的唯一标识符(ID)、y座标、x座标、Z幅值、角度θ、面积A等。例如，图4A，4B实时地表示一个具体图像120。在图像120中，可以具有两个基于两个不同触摸的特征122。这些触摸例如可以由触摸所述触摸屏的一对手指形成。如图所示，每个特征122可以包括唯一的标识符(ID)、x座标、y座标、Z幅值、角度θ、以及面积A。更具体地说，第一特征122A可以由ID₁，X₁，Y₁，Z₁，θ₁，A₁表示，第二特征12B可以由ID₂，X₂，Y₂，Z₂，θ₂，A₂表示。这些数据例如可以使用多触摸协议被输出。

从数据或图像到特征的转换可以使用在申请号为10/840862、公开号为US2006/007991的未决的美国专利申请中所述的方法来实现，该专利申请也通过引用被包括在此。如该专利申请中所述，原始数据一般以数字化的形式被接收，并且可以包括关于触摸屏的每个节点的值。这些值可以在0和256之间，其中0等于没有触摸压力，256等于全部的触摸压力。此后，原始数据可被滤波以便减少噪声。一旦经过滤波，便可以产生指示每组连接点的拓扑的梯度数据。此后，可以根据梯度数据计算触摸区域的边界(即进行这样的确定，确定哪些点可被分成一组，以形成每个触摸区域)例如，可以使用分水岭算法。一旦边界被确定，便可以计算关于每个触摸区域的数据(例如X，Y，Z，θ，A)。

在块104之后，多点处理方法100前进到块106，在此可以执行特征分类和分组处理。在分类期间，可以确定每个特征的特性。例如，特征可被分类为具体的手指、拇指、手掌或其它物体。一旦被分类，便可以对特征分组。构成组的方式可以是多种多样的。在大多数情况下，可以根据一些标准(例如它们具有类似的属性)对特征分组。例如，图4A，4B所示的两个特征可被分为一组，这是因为这些特征的每一个可被置于另一个附近，或者因为它们来自同一只手。分组可以包括某种程度的滤波，以滤除不是触摸事件的一部分的特征。在滤波时，可以拒绝一个或多个特征，因为它们满足一些预定的准则，或者因为它们不满足一些准则。例如，其中的一个特征可被分类为位于输入板PC边沿的拇指。因为拇指用于保持着设备，而不用于执行任务，由其产生的特征被拒绝，即不被认为是被处理的触摸事件的一部分。

在块106之后，多点处理方法100前进到块108，此时可以计算特征组的关键参数。关键参数可以包括特征之间的距离、所有特征的x/y质心、特征转动、所述组的总压力(例如在质心的压力)等。如图5所示，该计算可以包括求出质心C，确定每个虚线(D1，D2)的距离D，然后求出距离D1，D2的平均值。一旦参数被算出，便可以报告参数值。参数值一般和组标识(GID)以及在每组内的特征数目(本例中为3个)一起被报告。在大多数情况下，报告初始的和当前的参数值。初始参数值可以基于落地(set down)，即当用户把其手指置于触摸屏上时，当前值可以基于在落地之后发生的动作内的任一点。

如应当理解的那样，块102-108在用户的动作期间可被重复地执行，借以产生多个按顺序配置的信号。在后面的步骤中，可以使初始的和当前的参数进行比较，以便在系统中进行操作。

在块108之后，处理流程前进到块110，在此可以使所述组和用户界面(UI)元件相关联。UI元件可以是按钮块、表、滑动块、滚轮、扳钮等。每个UI元件代表用户界面的元件或控制。在UI元件后面的应用程序可以访问在块108计算的参数数据。在一个实现中，应用程序对触摸数据对和与其相应的UI元件的关联排序。该排序可以基于一些预定的准则。排序可以包括产生优值，并且不管哪个UI元件具有最高的优值，只允许其访问所述组。甚至还具有某种程度的滞后(一旦所述UI元件之一要求控制那个组，该组便粘住该UI元件，直到另一个UI元件具有更高的排序)。例如，排序可以包括确定质心(或特征)到与UI元件关联的图像对象的接近度。

在块110之后，多点处理方法前进到块112和114。块112和114可以被大致地同时执行。在一个实施例中，从用户看来，块112和114似乎被同时执行。在块112中，可以根据在初始的和当前的参数值之间的差值执行一个或多个操作，也可以根据和其关联的UI元件被执行(如果有的话)。在块114中可以提供关于正被执行的一个或多个操作用户的反馈。例如，用户反馈可以包括显示、音频、触觉反馈等。

附图6表示按照本发明的一个实施例的参数计算方法150。参数计算方法150例如可以对应于图3所示的块108。参数计算方法150一般在块152开始，在此可以接收特征组。在块152之后，参数计算方法150前进到块154，确定在特征组内的特征数目是否发生了改变。例如，由于用户抬起或放置一个附加的手指而使特征数目发生改变。可能需要不同的手指进行不同的控制(例如跟踪、作手势)。如果特征数目改变，则参数计算方法前进到块156，在此可以计算初始参数值。如果数目保持相同，则参数计算方法150前进到块158，可以计算当前参数值。此后，参数计算方法150前进到块160，可以报告初始和当前参数值。例如，初始参数值可以包含点之间的平均初始距离(或初始距离(AVG))，当前参数值可以包含点之间的平均当前距离(或当前距离(AVG))。这些可以在以后的步骤中被比较，以便控制一个计算机系统的各个方面。

上述方法和技术可用于实现任何数量的GUI界面对象和操作。例如，可以产生手势，以便检测和实现用户指令，以改变窗口的尺寸、卷动一个显示、转动一个对象、拉近和推远一个显示的视图、删除或插入文本或其它对象等。

手势的基本种类应当使用户能够输入可以通过使用常规的鼠标或轨迹球装置输入的常用的指令。图7表示用于处理鼠标点击操作的流程图表。图7F表示用于处理鼠标点击操作的检测的流程图。由块710开始，可以进行手指的一个或两个触摸的检测，如果在711确定检测的触摸是一个手指，则712确定该触摸是否在与可选的文件对象关联的被显示图形对象的预定接近度之内，如果是，则在714进行选择操作。如果在716检测到和可选对象关联的双击操作，则718可以调用双击操作。双击操作可以通过检测手指离开触摸屏并立即再次触摸屏幕来检测。按照另一个实施例，如果检测到触摸选择的对象的手指停留的时间大于一个预定的时间间隔，则可以调用双击操作。

如图7G所示，如果检测到手指触摸不和一个可选文件对象相关，而是在720确定和一个网络地址超级链接相关，则调用单点击操作，借以启动超级链接。如果在非浏览器环境内超级链接被触摸，则应当运行浏览器应用程序。

如果在711检测到两个手指触摸，则在713如果至少一个落地点和可选文件对象相关，则在715选择该对象。如果在717检测到在触敏显示器上手指之一的一个或多个点击，同时落地点被保持，则可以调用右点击鼠标操作。

按照优选实施例，如果检测到的一个或多个触摸不与任何可选文件对象或超级链接相关，则如图7H所示，在722确定落地点是否和可卷动的区域(例如文本编辑应用窗口、文件列表窗口或者互联网网页)相关。

卷动一般涉及在显示屏上的观察区域上移动显示的数据或图像，使得可以在观察区域看到一组新的数据。在大多数情况下，一旦观看区域成为满的，则每个新的数据组便出现在观看区域的边沿，并且所有的其它数据组向上移动一个位置。即，出现新的数据组来代替移出观看区域的每个数据组。实质上，这些功能使得用户能够看到当前在观看区域之外的相继的数据组。在大多数情况下，用户借助于快速移动其手指能够加速其对这些数据组的遍历。通过列表进行卷动的例子可以在申请号为2003/0076303A1，2003/0076301A1，2003/0095096A1的美国专利申请中找到，这些专利申请通过引用被包括在此。

如果落地点能够/可以在可卷动的区域内，则可以和下压常规鼠标装置上的卷动轮类似地在723调用卷动操作。如果可卷动的区域只能沿一个方向卷动(例如上下)，则被调用的卷动操作是单向卷动。如果可卷动区域可以沿两个方向卷动，则调用的卷动操作是全方向的。

在把卷动约束为垂直方向(即Y轴)的单向卷动操作中，只有被跟踪的触摸运动的垂直矢量分量被用作实现垂直卷动的输入。类似地，在被约束为水平方向的卷动的单向卷动操作中，只有被跟踪的触摸运动的水平矢量分量被用作实现水平卷动的输入。如果卷动操作是全向的，则实现的卷动操作将跟踪被跟踪的触摸的运动。

按照优选实施例，如果检测到的触摸是一个手指触摸，则在724卷动操作可以准备以正常的或者1X速度进行。如果并且一旦落地的手指开始的触摸屏上运动，则可以通过跟踪在触摸屏上落地点的运动进行卷动操作。如果检测到的触摸是两个手指的触摸，则在725可以以两倍或2X速度进行卷动操作。还可以增加附加的手指，以便进行更快的卷动操作，其中检测到四手指触摸可被解释成在多页文件窗口内的“上翻页”或“下翻页”指令。

按照另一个实施例，即使当从触摸屏上除去手指时，显示的数据也继续运动。该继续运动可以至少部分地基于以前的运动。例如，可以以相同的方向和速度继续卷动。在一些情况下，卷动随时间变慢，即通过媒体项目的遍历越来越慢，直到最终停止卷动而留下一个静止的表。例如，进入视区的每个新的媒体项可以逐渐增加地减少速度。额外地或者替换地，当手指放回触摸屏上时，显示数据停止运动。即，在触摸屏上把手指放回可以实现制动，其停止或者减慢继续操作的运动。

下面通过例子说明上述的手势操作，如图7A所示，使用触摸屏(例如图2所示的多触摸屏24)，由手指501在图像对象(例如文件表500)上进行的一个手指的点按可被解释为等同于鼠标的一个点击，在本例中其可以表示一个选择，其一般通过加亮选择的文件或图像对象来表示。检测到的图像对象上的两次点按可被解释为等同于鼠标的两次点击，其可以引起和点按的图像对象相关的应用程序的运行。例如，对屏幕上列出的一个文件(例如照片文件)的两次点按可以引起运行照片浏览应用程序和打开照片文件。

在至少一个手指内，借助于保持触摸，如图7B所示，通过触摸与要被落地的对象相关的图像可以调用拖放功能以及图形地把对象拖到所需的落地位置，显示了文件表501从文件夹窗口502被拖放到文件夹窗口503。

某些鼠标功能可能需要两次触摸才能完成。例如图7C所示，利用两个手指可以作出“右点击”手势，其中一个手指作为落地手指506，第二手指507轻击屏幕至少一次，以表示右点击操作。图7D表示在可以进行右点击操作之后，可以调用操作窗口504，此后第一手指可以移动到调用的窗口504，以便利用一个手指506选择和轻击操作项505。按照本发明的一个实施例，只有当检测到的轻击位于检测到的落地点附近，并且只有当检测到的轻击位于落地手指的左方(从用户的观察点看落地手指的右方)时，才能实现右点击操作。

通常要求鼠标和键盘操作组合的其它选择功能可以只使用触摸操作来实现。例如，在微软视窗环境下，为了选择文件窗口502内的多个文件，用户一般需要按住移动(shift)按钮的同时在要被选择的序列文件上拖动鼠标图标。不按住移动(shift)按钮，鼠标图标的拖动可被解释为拖放操作。如图7E所示，按照本发明的实施例，检测到文件表的两个接近的相关触摸拖动可被解释为用于选择一组文件508的多选择操作。为了避免把所述二触摸操作错误地解释为其它的指令，例如转动操作，优选地，只有当检测到的两个触摸彼此相当接近时才调用二触摸多选择功能。

参见图7H、7I和7J表示的卷动操作，在可卷动的窗口内一个或两个手指着地可以引起窗口的显示内容以不同的速度卷动。具体地说，一旦在723调用卷动操作，如果确定在触敏显示器上只检测到一个手指(或一个落地点)，则在724以1X的速度卷动，如果检测到两个手指(或两个落地点)，则以2X的速度卷动。按照优选实施例，在卷动操作期间，卷动条727和728沿与卷动方向一致的方向运动。

最后，使用能够进行接近度检测的多触摸显示器，例如在前述的并通过引用被包括在本说明中的共同转让的申请号为10/840862(美国专利公开号US2006/0097991)专利申请以及在2007年1月3日提交的名称为“接近和多触摸传感器检测和解调”的专利申请中描述的板，手指的姿式也可用于引起等效于使鼠标图标悬停在图像对象上的悬停操作。

例如，参见图7K，桌面729内应用图标731上方用户手指501的接近度检测可被解释为悬停操作，其引起悬停的应用图标730的滚动弹出。如果用户触摸弹出的图标，则可以调用双击操作，借以运行该应用程序。对于应用特定的情况，可以应用类似的构思，例如当在照片管理软件内以缩略图格式显示照片文件时，检测到在缩略图上方手指接近则调用悬停操作，借以可以放大悬停的照片缩略图的尺寸(但是不选择)。

手势还可以用于调用和操纵虚拟控制界面例如音量按钮、开关、滑块、键盘以及其它可被产生用于帮助人和计算机系统或用户电子选项进行相互作用的虚拟界面。例如，使用手势调用虚拟控制界面，参见图8A-8H，说明了在输入板PC175的显示器174的GUI界面上用于控制虚拟音量按钮170的转动手势。为了启动按钮170，用户把手指176放到多点触摸屏178上。虚拟控制按钮可能已被显示，或者特定的数字、落地的手指的方位或轮廓、或者落地之后瞬间手指的运动、或者这些与用户的相互作用的其它特征的一些组合可调用要被显示的虚拟控制按钮。在每种情况下，计算系统把手指组和虚拟控制按钮相关联，并确定用户要使用虚拟音量按钮。

所述关联也可以部分地基于计算装置在输入时刻的模式或当前状态。例如，相同的手势当在计算装置上正在播放歌曲时可被解释为音量按钮，或者如果正在执行对象编辑应用程序则被解释为转动指令。可以提供其它的用户反馈，例如包括听觉或触觉反馈。

一旦显示按钮170，如图8A所示，用户的手指176便可以位于按钮170的周围，好象它是一个实际的按钮或转盘一样，然后可以在按钮170周围转动，以模拟转动按钮170。此外，当按钮170被“转动”时，可以提供例如点击声音形式的听觉反馈、或振动形式的触觉反馈。用户还可以使用另一只手保持输入板PC 175。

如图8B所示，多触摸屏178检测到至少一对图像。具体地说，第一图像180在落地时被产生，当使手指176转动时，可以产生至少一个另外的图像182。虽然只示出了两个图像，在大多数情况下，具有在这两个图像之间渐增地出现的许多更多的图像。每个图像表示在一个特定时刻和触摸屏接触的手指的轮廓。这些图像还可被称为触摸图像。应当理解，术语“图像”不是指在屏幕178上被显示的轮廓(而是由触敏装置形成的图像)。还应当注意，虽然使用了“图像”这个术语，但是数据可以呈代表不同时刻的触摸平面的其它形式。

如图8C所示，每个图像180和182可被转换成特征184的集合。每个特征184可以和特定触摸相关联，例如在按钮170的周围每个手指176的指尖和用于保持输入板PC175的另一只手177的拇指。

如图8D所示，特征184被分类，即每个手指/拇指被识别，并对图像180和182的每一个分组。在这种特定情况下，和按钮170关联的特征184A可被分成一组，以形成组188，和拇指关联的特征184B可被滤除。在替换结构中，拇指特征184B可以借助于其自身(或在另一组中)被作为单独的特征来对待，例如，为了改变系统的输入模式或操作模式，或者为了实现另一个手势，例如和在拇指(或其它手指)区域内在屏幕上显示的均衡滑块关联的滑块手势。

如图8E所示，可以对于每个图像180、182计算特征组188的关键参数。和第一图像关联的关键参数表示初始状态，和第二图像182关联的关键参数表示当前状态。

也如图8E所示，按钮170是和特征组188关联的UI元件，这是因为其和按钮170接近。此后，如图8F所示，来自每个图像180、182的特征组188的关键参数值可以被比较，以确定转动矢量，即从初始状态到当前状态顺时针转动5度的特征组。在图8F中，用虚线示出了初始特征组(图像180)，而用实线示出了当前特征组(图像182)。

如图8G所示，根据转动矢量，输入板PC175的扬声器192按照手指176的转动量增加(或减小)其输出，即，根据5度的转动，使音量增加5％。输入板PC175的显示器174也可以按照手指176的转动量调节按钮170的转动，即，使按钮170的位置转动5度。在大多数情况下，按钮的转动和手指的转动同时发生，即，手指转动1度，按钮也转动1度。实质上，虚拟控制按钮跟随着在屏幕上发生的手势。此外，输入板PC的音频单元194可以对每个转动单位提供点击声，例如根据5度的转动，提供5个点击。此外，输入板PC175的触觉单元196可以对于每个点击提供一定量的振动或其它触觉反馈，借以模拟实际按钮。

应当注意，在进行虚拟控制按钮手势的同时可以进行附加的手势。例如，可以使用两只手同时控制一个以上的虚拟控制按钮，即，一只手用于一个虚拟控制按钮。额外地或者替换地，一个或多个滑动条可以作为虚拟控制按钮被同时控制，即，一只手操作虚拟控制按钮，而另一只手的至少一个手指或者一个以上的手指操作至少一个滑动块或一个以上的滑动条，例如每个手指一个滑动条。

还应当注意，虽然使用虚拟控制按钮说明了本实施例，在另一个实施例中，UI元件可以是虚拟卷动轮。作为例子，虚拟卷动轮可以模拟实际的卷动轮，例如专利公开号US2003/0076303A1，US2003/0076301A1，以及US2003/0095096A1的专利申请所述，这些专利申请通过引用被包括在此。

图9表示按照本发明的一个实施例的基于触摸的方法200。该方法在块202开始，在此可以检测在多点触敏装置上发生的用户输入。用户输入可以包括一个或多个触摸输入，每个触摸输入具有唯一的标识。在块202之后，基于触摸的方法200前进到块204，在此对用户输入进行分类，当用户输入包括一个唯一标识时被分类为跟踪或选择输入，当用户输入包括至少两个唯一标识时(一个以上的触摸输入)被分类为手势输入。如果用户输入可被分类为跟踪输入，则基于触摸的方法200前进到块206，在此进行对应于用户输入的跟踪。

如果用户输入被分类为手势输入，则基于触摸的方法200前进到块208，在此进行对应于用户输入的一个或多个手势控制操作。手势控制操作至少部分地基于由所述至少两个唯一标识或者在所述至少两个唯一标识之间发生的改变。

图10标识按照本发明一个实施例的基于触摸的方法250。基于触摸的方法250在块252开始，在此在触敏表面上进行的输入敲击期间可以捕获初始图像。在块252之后，基于触摸的方法250前进到块254，在此基于初始图像确定触摸模式。例如，如果初始图像包括一个唯一标识，则触摸模式对应于跟踪或选择模式。在另一方面，如果图像包括一个以上的唯一标识，则触摸模式对应于手势模式。

在块254之后，基于触摸的方法250前进到块256，在此在触敏表面上进行输入敲击期间可以捕获下一个图像。在敲击期间一般可以按照顺序捕获图像，因而可以具有和敲击相关的多个图像。

在块256之后，基于触摸的方法250前进到块258，在此确定触摸模式是否在初始图像和下一个图像捕获期间发生了改变。如果触摸模式发生了改变，则基于触摸的方法250前进到块260，在此可以把下一个图像设置为初始图像，此后在块254基于新的初始图像再次被确定。如果触摸模式保持相同，该方法则前进到块262，在此初始图像和下一个图像进行比较，并根据比较结果产生一个或多个控制信号。

图11表示按照本发明的一个实施例的基于触摸的方法300。该方法在块302开始，在此输入可以是GUI对象的图像对象。例如，处理器可以命令显示器显示特定的图像对象。在块302之后，方法300前进到块304，在此通过图像对象接收手势输入。例如，用户可以在触摸屏的表面上同时在显示图像对象上方以手势方式着地或移动其手指。手势输入可以包括连续发生的一个或多个单个手势，或者同时发生的多个手势。一般每个手势具有特定的顺序、运动或与其相关的方位。例如，手势可以包括分开手指或者手指闭合在一起的手势，转动手指、平移手指的手势等。

在块304之后，方法300前进到块306，在此根据手势输入并和手势输入一致地修改图像对象。这里的修改意味着图像对象按照正在进行的特定手势而改变。这里的“一致地”意味着所述的改变几乎在进行所述手势的同时发生。在大多数情况下，在手势和图像对象发生的改变之间具有一对一的关系，并且它们基本上同时发生。实质上，图像对象跟随着手势的运动。例如，散开的手指可以同时放大对象、闭合的手指可以同时缩小图像对象、转动手指可以同时转动对象、平移手指可以允许同时扫视或卷动图像对象。

在一个实施例中，块306包括确定哪个图像对象与正在进行的手势相关，此后把显示对象锁定在位于其上方的手指上，从而该图像对象按照手势输入而改变。借助于锁定手指或使手指和图像对象相关联，图像对象可以按照在触摸屏上手指的动作继续调节其自身。通常所述确定和锁定在手指落下时发生，即当手指位于触摸屏上时发生。

图12表示按照本发明的一个实施例的缩放(zoom)手势方法350。缩放手势可以在多点触摸屏例如图2所示的多触摸板24上被执行。该方法在块352开始，在此检测至少第一手指和第二手指在触敏表面上同时存在。至少两个手指的存在可被配置用于表示该触摸是手势触摸而不是基于一个手指的跟踪触摸。在一些情况下，只有两个手指存在表示触摸是手势触摸。在另一些情况下，两个以上的任何数量的手指表示触摸是手势触摸。事实上，手势触摸可被配置使得在2个、3个、4个或更多个手指触摸时都能操作，即使在手势期间数量发生改变，即，在手势期间在任何时刻最少只需要两个手指。

在块352之后，该方法350前进到块354，在此比较在至少两个手指之间的距离。该距离可以是从手指到手指的距离，或者是从每个手指到另一个参考点例如质心的距离。如果在两个手指之间的距离增加(散开手指)，则产生拉近信号，如块356所示。如果两个手指之间的距离减少(闭合手指)，则产生推远信号，如块358所示。在大多数情况下，手指的落下将把手指关联或锁定到正被显示的一个特定图像对象。例如，触敏表面可以是触摸屏，图像对象可以在触摸屏上显示。这一般在至少一个手指位于图像对象的上方时发生。结果，当手指移动而分开时，拉近信号可被用于增加图像对象中的嵌入特征的尺寸，当手指捏在一起时，推远信号可被用于减小在对象中嵌入特征的尺寸。缩放一般在预定的边界内进行，例如显示器的周边、窗口的周边、图像对象的边沿等。嵌入特征可被形成在多层上，其中的每一个代表不同的缩放等级。

在大多数情况下，缩放量按照两个对象之间的距离而改变。此外，缩放一般基本上和对象的运动同时地进行。例如，当手指分开或闭合在一起时，对象在同时被拉近或推远。虽然这种方法针对缩放，应当注意，其也可以用于放大或缩小。缩放手势方法300在图形程序例如出版、照片和制图程序中是尤其有用的。此外，缩放可用于控制外围设备例如照相机，即，当手指分开时，照相机推远，当手指闭合时，照相机拉近。

图13A-13H表示使用上述方法的缩放顺序。图13A表示具有呈北美地图形式的图像对象364的显示，其中具有嵌入的可被缩放的层次。在一些例子中，如图所示，图像对象可位于构成图像对象364的边界的窗口内。图13B表示用户把手指置于北美368的上方，具体地说在美国370(更具体地说加利福尼亚372)的上方。为了在加利福尼亚372上拉近，用户开始分开其手指366，如图13C所示。随着手指366的分开(检测到距离增加)，地图在北加利福尼亚上被放大，然后到北加利福尼亚374的一个特定区域，再到海弯区域376，再到半岛378(例如在旧金山和San Jose Area之间的区域)，再到位于旧金山和San Jose之间的San Carlos市区380，如图13D-13H所示。为了缩小San Carlos380并回到北美368，在上述的顺序之后，手指366闭合在一起，不过沿相反的方向。

图14表示按照本发明的一个实施例的扫视(pan)方法400。扫视手势可以在多点触摸屏上进行。扫视方法400在块402开始，在此检测在触敏表面上同时存在至少第一对象和第二对象。至少两个对象的存在可被配置用于表示触摸是手势触摸而不是基于一个手指的跟踪触摸。在一些情况下，只存在两个手指表示触摸是手势触摸。在另外一些情况下，两个以上的任何数量的手指表示触摸是手势触摸。实际上，手势触摸可被配置使得在2个、3个、4个或更多个手指触摸时都能操作，即使在手势期间数量改变，即，最少只需要两个手指。

在块402之后，该方法前进到块404，在此当对象一起在触摸屏上移动时监视两个对象的位置。在块404之后，方法400前进到块406，在此当两个对象的位置相对于初始位置改变时产生扫视信号。在大多数情况下，手指的落下将把手指关联或锁定到在触摸屏上显示的特定图像对象。典型地，当至少一个手指位于所述图像对象的位置上方时。结果，当手指在触摸屏上移动时，扫视信号被用于沿手指的方向移动图像。在大多数情况下，扫视量按照两个对象移动的距离而改变。此外，扫视基本上和对象的运动同时发生。例如，当手指运动时，对象同时随着手指运动。

图15A-15D表示基于上述的扫视方法400的扫视顺序。使用图13A的地图，图15A表示用户把手指置于地图上方。在手指被定位之后，手指366被锁定到地图。如图15B所示，当手指366垂直向上移动时，整个地图364向上移动，借以使地图364的以前看得见的部分被置于观看区域的外部，而以前看不见的部分被置于观看区域内。如图15C所示，当手指366沿侧向水平移动时，整个地图364可以沿侧向移动，借以使地图364的以前看得见的部分被置于观看区域的外部，而以前看不见的部分被置于观看区域内。如图15D所示，当手指366沿对角线方向移动时，整个地图364沿对角线方向移动，借以使地图364的以前看得见的部分被置于观看区域的外部，而以前看不见的部分被置于观看区域内。应当理解，地图364的运动跟随着手指366的运动。这种处理和使一张纸沿着桌面滑动类似。手指施加在纸上的压力把纸锁定到手指上，当手指在桌面上滑动时，这张纸随手指而运动。

图16表示按照本发明一个实施例的转动方法450。转动手势可以在多点触摸屏上进行。转动方法450在块452开始，在此检测同时存在第一对象和第二对象。至少两个手指的存在可被配置用于表示触摸是手势触摸而不是基于一个手指的跟踪触摸。在一些情况下，只存在两个手指便表示触摸是手势触摸。在另一些情况下，两个以上的任何数量的手指的存在表示触摸是手势触摸。还在另一些情况下，手势触摸可被配置使得在2个、3个、4个或更多个手指触摸时都能操作，即使在手势期间数量发生改变，即，在手势期间在任何时刻最少只需要两个手指。

在块452之后，转动方法450前进到块454，在此设置每个手指的角度。该角度一般相对于一个参考点被确定。在块454之后，该方法前进到块456，在此当至少一个对象的角度相对于参考点改变时便产生转动信号。在大多数情况下，手指的安放将使得把手指锁定或关联到在触摸屏上显示的一个特定的图像对象。一般地说，当至少一个手指位于图像对象上的图像上方时，该图像对象便被锁定或关联到该手指。结果，当手指转动时，便使用转动信号沿手指转动的方向(例如顺时针、反时针)转动所述对象。在大多数情况下，对象的转动量随手指的转动量而改变，即，如果手指转动5度，则对象也转动5度。此外，转动一般基本上和手指的运动同时进行。例如，当手指转动时，对象同时随手指转动。

图17A-17C表示基于上述的方法的转动顺序。使用图13的地图，图17A表示用户把其手指366置于地图364的上方。在安放之后，手指366便被锁定到地图364。如图17B所示，当手指366沿顺时针方向转动时，整个地图364按照转动的手指沿顺时针方向转动。如图17C所示，当手指366沿反时针方向转动时，整个地图364按照转动的手指沿反时针方向转动。

应当注意，虽然图17A-17C所示使用拇指和食指作出转动手势，也可以使用两个手指例如食指和中指作出转动手势。

此外，在某种特定应用中，不需要使用两个手指产生转动手势。例如，按照优选实施例并如图17D和17E所示，利用一个手指手势可以使照片缩略图转动到所需的方位(例如从风景画方位转动到肖像方位)。具体地说，在检测到与可选的照片缩略图图标741有关的触摸，并且其中触摸输入是手势，使得检测的触摸围绕缩略图的中心部分形成转动的弧或放射状的弧时，则该输入被解释为用于使缩略图按照转动的弧或放射状的弧的方向转动的指令。按照优选实施例，缩略图图标的转动还可以使对应的文件对象改变方位配置。按照另一个实施例，在照片管理的应用程序内，检测到转动手势将产生快移(snap)指令，其使得照片缩略图朝向转动方向自动转动90度。

图18A和18B表示按照如图10所示的本发明的示例的实施例通过UI元件使用手势输入编辑媒体文件例如照片的另一个例子。具体地说，如图18A所示，在可以打开以便编辑照片图像文件(例如JPEG文件)752的照片编辑器环境750内，可以提供UI元件751，用于编辑照片的各方面。UI元件751可以是一个水平滑动条，用于调节照片的某个方面的水平。在图18A所示的例子中，UI元件751可以是用于接收触摸手势的界面，用于调节照片的亮度。具体地说，当被跟踪的手指触摸在条上向左移动时，亮度减小，而当跟踪的触摸在UI元件上向右移动时，亮度增加。按照一个实施例，UI元件最好是半透明的，以便用户可以看到在UI元件后面的照片的图像。在另一个实施例中，在屏幕上被显示照片的尺寸可被减小，以为单独显示的UI元件留出位置，其可以紧挨着位于被显示照片的下方。

图18B表示通过选择地使用一个或多个落地点通过UI元件751转换手势输入模式的能力。具体地说，如图18B所示，检测到在UI元件751上的第二落地点将使操作模式从亮度调节转换到对比度调节。在这个例子中，两个落地点向左或向右的运动将分别使得照片的对比度减少或增加。检测到附加的落地点(例如3个或4个手指)也可以被解释为用于转换其它操作模式的指令(例如缩放、色调调节、伽马值调节等)。应当注意，虽然图18A，18B表示通过UI元件751调节亮度和对比度，用户可对UI元件编程或者定制UI元件751，使得把落地点的数量解释为其它形式的操作模式。还应当注意，滑动条UI元件751可以呈其它形式，例如虚的卷动轮。

图18C表示和上述的图18A，18B的特定例子相关的算法流程图。具体地说，如图18C所示，在760在屏幕上输出UI元件751。如果在761检测到手势输入触摸，则在762-765确定和该触摸相关的落地点数量。在767-769根据检测到的落地点的数量，启动对应的操作模式。一旦合适的操作模式被启动，在770便检测落地点的跟踪，以按照操作模式在771实现对应的调节。应当注意，在编辑处理期间，在任何时刻都能转换操作模式，因而如果在772检测到改变的落地点的数量，则在762-764处理向回循环，以便启动新的操作模式。

图18D和18E表示使用上面说明的同一个UI元件751通过输入其它手势指令引起附加操作。具体地说，在调节显示照片的亮度的同时，可以使用第二手指实现拉近或推远操作。可以通过检测第二落地点和在两个落地点之间的接近距离的改变来引起拉近和推远。按照上面说明的以及图12所示的方法，两个落地点之间的距离改变可被解释为拉近或推远操作。应当注意，按照一个实施例，如果检测到的第二落地点和第一落地点之间的距离保持不变，则不引起缩放操作，在这种情况下，手势将被解释为用于启动第二操作方式的输入(例如从亮度调节改变为对比度调节，如图18A，18B所示)。

图19A，19B表示使用手势输入通过媒体文件(例如在照片编辑器内显示照片文件)卷动的例子。具体地说，如图19A，19B所示，触摸检测区域754可专用于卷动操作，借以使得在触摸屏750的显示的照片752上手指的上下运动的手势可被解释为用于卷动到下一个照片753的手势输入。按照优选实施例，不需要显示引起卷动操作方式的UI元件，而是，检测到手指在触摸检测区域754内的向下滑动操作便足以自动地引起卷动操作。按照另一个实施例，UI元件在屏幕上可以虚的垂直滑动条被显示，以向用户指示已经启动了卷动操作，以及用于继续卷动操作的触摸检测区域754的面积。

按照优选实施例，如果检测到的向下跟踪运动具有一个以上的落地点(例如两个手指滑动手势)，则滑动以2X速度进行，与上述的关于在可卷动区域内引起卷动操作的方式类似。

图19C和19D表示另一种形式的UI元件，即虚拟卷动轮755，用于接收手势输入以卷动照片显示。在本实施例中，可以通过利用一个手指在照片上执行圆形触摸或者用3个手指向下触摸的简单的手势来产生虚拟卷动轮。一旦出现虚拟卷动轮UI元件755，用户便可以“转动”虚拟卷动轮以通过所述照片卷动。在这个特定的实施例中，卷动的速度不由检测到的卷动轮755上的落地点的数量控制，而是由落地点围绕虚拟卷动轮755的中心转动的速度控制。

图19E和19F表示在数字照相机780的显示屏781上图19A和19B的构思。按照优选实施例，数字照相机780的显示屏781可以由多触敏板构成，例如上面图2所示的多触摸板2。

图19E表示一个实施例，其中在数字照相机780的播放方式下，检测到在触摸检测区域782内至少一个手指的垂直向下重击的手势输入引起播放卷动操作，借以可显示下一张照片。按照另一个实施例，在显示器781的任何部分上的向下手势输入将自动地引起卷动操作。

图19F表示图19E的一个可替代的实施例，其中需要检测两个触摸以便产生播放卷动。具体地说，在向下触摸区域783的下触摸点和沿着下触摸区域782上或附近的向下滑动输入的组合可以引起卷动操作，以便显示下一个照片。应当注意，图19A到19E所述的方法不形成特定因素，因为该方法可以在PC监视器、便携式监视器、数字照相机或具有触摸屏的任何类型的装置上被实现。

图19G表示按照另一个实施例可以在媒体文件(例如照片文件)的播放期间输入的附加手势。具体地说，和图18A，18B所示的实施例类似，借助于辨别在触摸敏感显示器上的落地点的数量(即手指的数量)，可以不同地解释相同的运动。在本例中，用两个手指进行的垂直落地点重击手势可被解释为用于删除照片文件、标记照片文件(例如编辑相册)的手势，或任何其它有用指令。

图19H表示使用触敏显示器的其它指定UI区来检测其它附加的手势。在本例中，检测到在另一个指定区756的落地点可把解释为删除、标记或其它有用的指令。按照一个实施例，多个落地点区可被显示为所述照片文件的半透明的覆盖图。

应当注意，虽然图19表示沿垂直向下方向的重击手势，也可以设想，沿垂直向上方向或沿水平方向的重击可被指定为相同指令的手势输入。

图20表示用于实现图19A-19F的一种可能的算法。具体地说，在第一步790，在触敏显示器上显示多张照片中的一张照片。如果在791检测到在显示屏上的触摸，则在792确定该触摸是否是手势输入，并在793接收手势输入的类型(例如向下跟踪的滑动操作、圆形跟踪的转动操作等)。按照检测的手势输入，在794根据需要输出UI元件(例如滑动条或垂直卷动轮)，此后在795产生对应于UI元件使用或手势输入的操作。

应当注意，图18-20所述的方法也可以在视频环境内实现。具体地说，在视频文件播放期间，可以产生并显示UI元件例如图18A所示的水平滑动条，借以根据检测到的落地点的数量，启动用于改变视频的某些可调节方面的操作方式，例如亮度、对比度等。与此同时，也可以用类似方式实现图19A-19F所示的卷动和缩放方法，虽然代替卷动，也可以进行重绕和快进操作。

使用在某些预先存在的控制元件上的手势输入可以实现视频文件的附加的编辑/播放功能。按照优选实施例，借助于选择地缩小或扩大播放时间线指示条，可以实现视频文件的非线性时间播放。具体地说，图21A表示视频应用790(例如视频播放应用程序)和进展条792一起显示视频播放791，其上播放队列793指示视频播放的时间进展。

按照优选实施例，播放队列793可以在进展条792上前后移动，以反映视频的快进和重绕。播放队列可被保持在相同的位置，或者以非线性速度被调整，以实现视频的可变速播放或暂停。按照优选实施例，视频应用790可在触敏显示器上显示，播放队列793的位置可以通过手501的手指在屏幕上显示的队列的位置对队列进行触摸而被操纵。即，播放队列793可作为进展指示器和用于控制视频播放的速度和临时位置的UI元件。

按照优选实施例，整个进展条792可以作为UI元件，借以用户可以借助于扩大或缩小进展条的一个或多个部分来实现视频的非线性播放。具体地说，如图21B所示，UI元件进展条792可以通过两个手指的拉近或推远手势(如上面参照图12所述)来操作。在图21B所示的例子中，拉近手势引起在60分钟标记和80分钟标记之间播放时间延长。在图21B所示的例子中，视频的播放速度成为非线性的，这是因为在60和80分钟标记之间的时间间隔期间视频的播放速度可以变慢。或者，在0和60分钟标记之间以及在80分钟标记之后的视频的播放速度可被加速，而在60和80分钟标记之间的播放速度是标准的。

图21C表示在视频应用790内显示的附加UI元件794。在本例中，UI元件794可以是虚拟的卷动轮，借以用户能够进一步控制视频的播放速度。和进展条792的操纵相结合，用户可以首先指定播放速度被变慢的视频部分，因而用户可以使用卷动轮794进一步调整播放队列793以控制视频的播放方向和/或速度。

图21D表示可以为编辑目的添加于视频应用790上的其它附加触敏UI元件。例如，如图21D所示，滑动条UI元件796可被添加用于检测用于引起水平调整的手势输入，例如扫视(pan)调整或亮度、色度、对比度、伽马等类型的调整。和参照图18A-18E讨论的UI元件751类似，滑动条UI元件796可用于通过改变在其上的落地点数量引起不同的操作方式。

UI元件795也可以在视频应用790内便被显示，以实现视频的声音编辑。具体地说，UI元件795可以包括多个音平调整，用于播放不同的通道或与视频混和的声音或音乐。

按照优选实施例，视频应用790的用户可以定制被显示的UI元件，并还可以额外地对UI元件编程以实现所需的功能。

图22A和22B表示用于实现参照图21A-21D所述的方法的示例算法800。具体地说，如图22A所示，在802，视频应用790可被启动以提供视频播放和/或编辑。在803，进展条792被显示。在804如果检测到进展条792上的触摸，则在805确定该触摸是拉近还是推远指令。如果未检测到是拉近或推远的指令的触摸，则可以按照跟踪触摸输入操纵播放队列。如果检测到的触摸是缩放手势，则被检测到该触摸的所述进展条的部分可被操纵以按照所述手势输入进行扩大或缩小。

如图22B所示，可以进行步骤808-810，以选择地分别显示附加的UI元件，例如卷动轮、混声器、以及滑动条水平调整。在步骤811-813可以检测触摸，此后可以调用合适的功能814-818。

图23表示用于操纵显示器和音频或音乐文件的记录的本发明的另一个实施例。如图23所示，音乐应用830可以显示一对虚拟转盘842和843，其上正在播放两个音乐记录834和835，这些记录是单个记录或LP记录之一。记录834和835可以是数字音乐文件的图形表示(例如歌曲A和歌曲B)，其通过音乐应用830正被播放。换句话说，该记录可以是音乐文件的图形印刻，好象音乐文件被印刻在物理记录上。

如同一对物理转盘，唱针844和855可以是播放队列的图形图标表示，其位置可以通过在触敏显示屏上触摸播放队列并把图标拖放到图形记录上的所需位置来改变。唱针的移动将引起对应的歌曲的播放点的跳跃，如同在物理的转盘上那样。

也如同一对物理转盘，可以由一个或多个手指触摸开始/停止按钮838和839，从而引起歌曲再现的停止/暂停。速度改变条840和841可被线性地调整，以控制歌曲的播放速度。窗口831和833可以图形地再现被再现歌曲的频率表示，同时窗口832可以显示音乐应用832的实际输出的频率表示，其可以简单地是一个正被再现的歌曲，或者是歌曲的混和/组合。混和/摇摄(pan)条850可被操纵，以便调制或解调正被再现的两个歌曲。

在歌曲再现期间，记录834和835可以类似于物理记录被操纵。例如，记录的快回和快进可以引起记录“损伤”的声音效果，如同盘操作员经常在物理转盘上进行的那样。

应当注意，上述的方法可以在相同的手势触击期间同时被实现。即，在手势触击期间，可以进行选择、跟踪、缩放、转动和扫视，其可以包括散开、转动和滑动手指。例如，在至少两个手指安放之后，被显示的对象(地图)可以和该两个手指相关联或者被锁定于该两个手指。为了缩放，用户可以散开或闭合其手指。这些操作的每一个可以在连续运动中同时发生。例如，用户可以散开和闭合其手指，同时在触摸屏上转动和滑动手指。或者，用户可以对这些运动中的每一个进行分段，而不必使手势触击复位。例如，用户可以首先散开其手指，然后转动该手指，然后闭合该手指，然后滑动该手指等等。

还应当注意，不必总是使用人的手指实现手势输入。在可能的情况下，使用点击装置例如铁笔实现手势输入也就足够了。

包括和UI元件(例如虚拟的卷动轮)进行交互作用的可被用作用于实现界面指令的手势触击的附加例子在共同在审的申请号为10/903964、美国专利公开号为US2006/0026521以及申请号为11/038590、美国专利公开号为US2006/0026535的未决专利申请中描述了，这些专利申请的全部内容通过引用被包括在此。

不脱离本发明的范围和构思，本领域技术人员可以作出许多改变和改型。因此，必须理解，所提出的实施例仅仅是一些例子，而不应当用于限制如权利要求限定的本发明。例如，虽然其中针对个人计算装置说明了本发明的实施例，应当理解，本发明不限于台式计算机或便携式计算机，而是可以应用于其它的计算应用例如移动通信设备、独立的多媒体再现装置等。

本说明使用的用于描述本发明及其各个实施例的词语应当理解为不仅包括其通常定义的意义，而且还包括在通常定义的意义之外的由在本说明的结构、材料或操作中的特殊的定义。因而，如果一个元件在本说明的上下文中可被理解为包括一个以上的意义，那么在权利要求中其使用必须理解为由说明书和该词语本身支持的所有可能的意义。

因此，下面权利要求的词语或元件的定义被在本说明中定义了，其不仅包括字面上提出的元件的组合，而且包括用于以基本相同的方式实现基本相同的功能从而获得基本相同的结果的所有的等效结构、材料或操作。在这个意义上，对于在下面权利要求中的任何一个元件，可以设想，可以作出两个或多个元件的等效替代物，或者可以用一个元件替代权利要求中的两个或两个以上的元件。

在本领域普通技术人员看来，对于权利要求的主题的非实质的改变，现在已知的或者以后想出的，都应当认为被包括在权利要求的范围内。因此，对于本领域普通技术人员，现在已知的或者以后已知的各种替代方案，都应当被限定在被定义的权利要求的元件的范围内。

因而，权利要求应当被理解为包括上面具体说明和描述的、在构思上等效的、以及显然可被替代的技术方案。例如，权利要求中提及的术语“计算机”或“计算机系统”应当至少包括台式计算机、便携式计算机、或任何移动计算装置例如移动通信装置(例如蜂窝电话或Fi/Skype电话、电子邮件通信装置、个人数字助理装置)，以及多媒体再现装置(例如iPod，MP3播放器，或任何数字图形/光学再现装置)。

Claims (6)

1.一种手持移动通信装置，其特征在于包括：

触敏显示屏；

用于引起所述显示屏显示媒体文件的一段的装置，所述媒体文件包括文本项和图形项中的至少一个；

用于检测在所述显示屏的表面上的触摸卷动输入的装置，所述触摸卷动输入包括在所述显示屏的表面上的人的手指的落地点，所述落地点对应于显示所述媒体文件的所述一段的所述显示屏上的位置；

用于检测在所述显示屏上所述人的手指落地点的拖拉运动的装置，所述拖拉运动跨越正被显示的所述媒体文件的所述一段的一部分，并包括垂直的和水平的矢量分量；

用于确定所述手指落地点的所述拖拉运动以指示卷动操作的装置；

用于使所述媒体文件在所述显示屏上卷动的装置，其中所述卷动被限制于垂直和水平方向之一。

2.如权利要求1所述的手持移动通信装置，还包括用于从初始卷动速度逐渐减少所述卷动的速度直到停止所述卷动的装置。

3.如权利要求1所述的手持移动通信装置，还包括：

用于检测在所述显示屏上第二人手指落地点的装置，所述第二人手指落地点在媒体文件在所述显示屏上卷动期间被检测；以及

用于响应所述第二人手指落地点的检测使所述媒体文件的卷动立即停止的装置。

4.一种手持移动通信装置，其特征在于包括：

触敏显示屏；

用于使所述显示屏显示媒体文件的一段的装置，所述媒体文件包括文本项和图形项中的至少一个；

用于检测在所述显示屏的表面上的触摸卷动输入的装置，所述触摸卷动输入包括在所述显示屏的表面上的人的手指落地点，所述落地点对应于显示所述媒体文件的所述一段的显示屏上的位置；

用于检测在所述显示屏上人的手指落地点的拖拉运动的装置，所述拖拉运动跨越正被显示的媒体文件的所述一段的一部分；

用于检测所述人的手指落地点的拖拉运动的方向的装置，其中所述拖拉运动的方向包括垂直分量矢量和水平分量矢量；以及

用于使所述媒体文件在所述显示屏上按照检测的拖拉运动的方向卷动的装置。

5.如权利要求4所述的手持移动通信装置，还包括用于从初始卷动速度逐渐减少所述卷动的速度直到停止所述卷动的装置。

6.如权利要求4所述的手持移动通信装置，还包括：

用于检测在所述显示屏上第二人手指落地点的装置，所述第二人手指落地点在所述媒体文件在所述显示屏上卷动期间被检测；以及

用于响应所述第二人手指落地点的检测使所述媒体文件的卷动立即停止的装置。

Images