CN102272699B - 手势检测分区 - Google Patents

Abstract

一种用于利用基于手势的用户接口的系统和方法。一种系统包括操作者输入设备和处理器。所述操作者输入设备检测手势和多个同时的触摸点。所述操作者输入设备的输入区域包括多个手势检测分区。所述处理器耦合到所述操作者输入设备。所述处理器执行对来自该输入设备的输入进行处理的手势识别软件程序。所述手势识别程序促使所述处理器识别主要手势和同时的次要手势，并且至少部分地基于所述主要手势和在其中检测到所述次要手势的手势检测分区来施行处理功能。

Description

手势检测分区

背景技术

这些年来，已经开发出各种类型的用户接口系统来便利对计算机和其它电子设备的控制。简单的开关和旋钮足以向一些电子设备提供操作者输入信息。另一方面，计算机系统通常采用更灵活的数据和控制输入手段。键盘录入在命令行环境中盛行，并且键盘录入的灵活性指示了某形式的键盘录入（例如硬或软键盘录入）很可能在可预见的未来得以继续。

随着图形用户接口的兴起对指向设备的使用得以增加。鼠标、轨迹球、触垫、操纵杆等一般被用来引导光标在图形用户接口的显示屏上的移动。

触摸屏技术允许显示器的表面或近表面（near surface）用作用户接口设备。当使用一些触摸屏技术时，触摸屏检测以屏幕触摸或近屏幕触摸形式的用户输入。触摸屏的优势在于除了耦合到显示器的触摸检测装置之外不需要专门的输入设备。可获得多种触摸屏技术，包括均具有其优势和缺陷的电阻式、电容式、红外式、表面声波式和视频式。

使能对多个触摸点的识别的触摸屏系统已经变得日益普遍。这些系统允许使用手势（例如，手或手指运动）和/或和弦（chording）（例如，同时使用多个手指或手触摸点）来扩展和简化触摸屏操作。然而，像命令行系统中大词汇量的命令，用户可能难以记住广泛的手势集。此外，许多可想到的手势可能会需要不自然的移动。

附图说明

为了对本发明的示例性实施例进行详细描述，现在将参考附图，其中：

图1示出了依据各种实施例的包括手势检测分区的系统；

图2示出了依据各种实施例的包括手势检测分区的系统的框图；

图3示出了依据各种实施例的用于实现手势检测分区的方法的流程图。

符号和命名法

贯穿下列描述和权利要求一定术语被用来指代特定的系统组件。如本领域技术人员将会意识到的，计算机公司可能用不同的名称来指代一组件。此文档并非意图在名称方面而非功能方面不同的组件之间进行区分。在下列论述中以及在权利要求中，术语“包括”和“包含”是以开放式的方式来使用的，且因此应当被解释为意味着“包括，但不局限于……”。而且，术语“耦合”或“耦联”意图意味着间接的、直接的、光学的或无线的电连接。因此，如果第一设备耦合到第二设备，则该连接可以通过直接电连接，通过经由其它设备和连接的间接电连接，通过光学电连接，或者通过无线电连接。此外，术语“软件”包括能够在处理器上运行的任何可执行代码，而与用来存储该软件的媒体无关。因此，存储器（例如，非易失性存储器）中所存储的代码，且有时被称为“嵌入式固件 ”，包括在该软件定义之内。

具体实施方式

下列论述针对本发明的各种实施例。虽然这些实施例中的一个或多个可能是优选的，但是所公开的实施例不应当被解释或以其它方式被使用为对包括权利要求在内的本公开内容的范围进行限制。另外，本领域技术人员将理解，下列描述具有宽泛的应用，并且对任何实施例的论述仅意味着是该实施例的例示，而并非意图暗示把包括权利要求在内的本公开内容的范围局限于该实施例。

在利用例如能够检测手势和/或多个触摸点的触摸屏之类的基于手势的输入设备的系统中，已经开发出日益增大的手势集以使得能够实现对系统操作的选择。不幸的是，大的手势集至少会导致至少一些需要不自然移动的手势或者由多个连续手势所组成的手势。本公开内容的实施例包括一种新颖的基于手势的输入模式，其能够采用单个主要手势来选择多个处理功能中的一个。因此，实施例有利地避免了对不自然或连续组成的手势的需求。

图1示出了依据各种实施例的系统100，其包括以供同时的主要和次要手势使用的手势检测分区。该系统100包括视觉显示器110、触摸和/或手势输入设备104、处理器106以及数据/程序储存器112。系统100的一些实施例可以包括其它输入设备，诸如键盘108、鼠标等。实施例还可以包括各种输入/输出子系统以例如实现有线和/或无线联网。在图1中，系统100被描绘为笔记本计算机，然而在实践中，系统100可以为多种电子设备中的任何电子设备。例如，系统100可以为触摸屏或基于手势的电话、个人数字助理、音乐播放器、台式计算机、卫星导航系统、游戏系统或其它使能手势输入的设备。

视觉显示器110向系统100的用户提供信息，并且例如其可以是液晶显示器（“liquid crystal display, LCD”）、有机发光二极管（“organic light emitting diode,OLED”）显示器或者触摸和/或基于手势的输入技术可使用的任何其它显示技术。

触摸和/或基于手势的输入设备104通过检测操作者与设备104的接触或者在设备104附近的手势，并生成代表所检测的接触和/或手势的电信号，来把操作者输入提供给系统100。输入设备104可以以多种技术中的任何技术来实现，例如电阻式、电容式、表面声波式、红外式或光学的系统可以用来覆盖视觉显示器110。在一些实施例中，可以使用视频系统来检测用户手势。系统100的实施例包括检测用户接触和/或手势并且将检测的接触和/或手势转换为电信号的所有输入设备。

本公开内容的实施例提供了向手势分配多种功能的能力。出于描述的目的，本文使用了术语“主要手势”和“次要手势”。主要手势和次要手势可以组合使用以选择处理操作。在一些实施例中，次要手势与主要手势结合并且并发地施行以选择要施行的操作。主要和次要手势对于用户可以是自然且易于执行的。主要手势可以是被执行以选择操作集的第一手势。与主要手势合作地施行的次要手势可以选择该操作集中要施行的元素。在至少一些实施例中，只有当次要手势在输入设备104的预定区域中施行时，才可以对其进行识别。例如，一实施例可以识别在输入设备104左手侧上的次要手势。

在图1中，输入设备104的手势/触摸检测区域被划分成多个手势检测分区116、118、120。手势检测分区116-120可以是输入设备104的离散的区域。在一些实施例中，响应于主要和次要手势而施行的处理操作至少部分地通过在其中施行了次要手势的检测分区116-120来确定。在至少一些实施例中，次要手势在主要手势之前或者伴随主要手势一起发起，并且持续整个主要手势的施行期间。例如，如果主要手势是用用户手指114对输入设备104的向下刷（swipe）122（注意，可以使用任何手势实现形式），则次要手势可以是在所选择的检测分区116-120中用第二手指102对输入设备104的触摸。在这里被图示为手指102和输入设备104的分区1 116之间的接触的次要手势可以在主要手势的发起之前或者至少与主要手势的发起同时地发起。此外，在一些实施例中，次要手势可以持续主要手势的持续期间。例如，如果用户在同时期地执行向下刷122时触摸了分区1 116，则所选择的操作例如可以是选择刷122所经过的文本行。

另一方面，如果用户在同时期地执行向下刷122时触摸了分区2 118，则可以施行不同的操作。例如，可以从所显示的文档中删除刷122所经过的文本行。作为另外示例，如果用户在同时期地执行向下刷122时触摸了分区3 120，则可以施行第三操作。例如，可以将刷122所经过的文本行拷贝到储存缓冲器。因此，通过将主要手势与次要手势和手势检测分区相组合，本公开内容的实施例允许使用单个主要手势来施行多种操作。在一些实施例中，对应于一主要手势的不同的处理功能的数目至少与手势检测分区的数目一样多。

一些实施例允许在多个手势检测分区中同时的次要手势。例如，如图1所示，手指102可以在拇指124触摸分区2 118时触摸分区1 116。在不同的手势检测分区116、118中与主要手势122同时期地施行的该两个同时的次要手势，与在分区1 116或分区2 118中主要手势122与单个次要手势合作地促使要施行的操作相比，可以促使要施行不同的操作。

通过基于所施行的次要手势选择操作，实施例进一步增加了使用主要手势可施行的操作的数目。例如，如果如上面所描述的，结合主要手势122，次要手势是检测分区1 116中的单个触摸点，则施行第一操作。然而，如果与主要手势122相结合的次要手势是检测分区1 116中与彼此接近的预定范围内的多个触摸点，则可以施行不同的操作。

虽然已经依照特定的主要手势、特定的次要手势以及特定数目的手势检测分区对实施例进行了描述，但是实施例并不局限于任何特定数目的手势检测分区或者手势类型。此外，虽然特定手势检测分区116-120中次要手势的检测可以是确定选择哪种处理操作时的因素，但是至少一些实施例允许在任何手势检测分区116-120中施行主要手势。

系统100的处理器106可以是被配置为执行软件程序的通用微处理器、微控制器、数字信号处理器等。处理器的组件在本领域是公知的并且通常包括通过总线互连的执行单元（例如，整数、定点、浮点等）、指令解码、寄存器、存储器、输入/输出端口等。

数据/程序储存器112是计算机可读介质并且耦合到处理器106。数据/程序储存器112可以包括各种储存媒体，例如磁储存器（例如，硬盘、软盘、磁带等）、光学储存器（例如，光盘、数字视频盘等），或者半导体存储器（例如，静态或动态随机访问存储器（SRAM或DRAM）、只读存储器（ROM）、闪速存储器、磁随机存取存储器（MRAM）等）。

系统100包括存储在储存器112中的软件编程，当被处理器106执行时，其提供主要和次要手势的识别，在输入设备104上手势检测分区的创建，并且对在其中施行手势的手势检测分区的确定。实施例提供了可应用于单个或多个应用的手势检测分区和/或主要手势识别和/或次要手势识别。因此，实施例有利地提供了使用自然手势施行多种功能的手段。

图2示出了依据各种实施例的系统100的框图，该系统100包括以供主要和次要手势使用的手势检测分区。如上面所解释的，显示器110向系统用户提供视觉输出。显示器110耦合到处理器106。处理器106提供在显示器110上向用户以视觉形式呈现的视频数据206。视频数据206可以包括文本数据、图形数据等。

触摸/手势输入设备104检测用户接触和/或手势，并且向处理器106提供代表所述接触和/或手势的电信号208。信号208表示标识用户希望施行的操作的接触/手势。在本公开内容的实施例中，信号208代表指示用户希望发起处理操作的主要和/或次要手势。信号208还指示位置，在该位置处施行手势以便利对在其中施行次要手势的手势检测分区116-120的标识。例如，信号208可以包括输入设备104坐标，在该坐标处检测到了次要手势接触。处理器106和相关联的软件编程可以将该坐标与手势检测分区116-120相互关联。

处理器106执行存储在程序/数据储存器112中的软件编程。在储存器112中所存储的编程包括手势识别程序202和操作选择程序204。手势识别程序202处理信号208以确定所表示的主要和/或次要手势以及在输入设备104上施行所述手势的位置。当已经标识出特定的主要和/或次要手势，并且已经辨决了在其中施行次要手势的（一个或多个）手势检测分区时，操作选择软件204促使处理器106基于所检测的主要和/或次要手势和/或（一个或多个）手势检测分区施行处理操作。

系统100的一些实施例包括施行下面关于图3的流程图所描述的操作的手势识别程序202和操作选择程序204。

图3示出了依据各种实施例的基于主要手势、次要手势和手势检测分区施行处理操作的方法的流程图。虽然为了方便起见进行了顺序描述，但是所示出的动作中的至少一些动作可以以不同的次序来施行和/或并行地施行。另外，一些实施例可以仅施行所示出的动作中的一些动作。

在框302，触摸/手势输入设备104检测主要的用户接触或手势。所述接触或手势被转换为电信号208，并且把该电信号提供给处理器106。处理器106执行手势识别程序202的指令以基于信号208确定用户所施行的主要手势。实施例并不局限于被识别为主要手势的任何特定的和弦或手势集。此外，实施例并不把对主要手势的识别局限于输入设备104的任何特定区域。

在框304，触摸/手势输入设备104检测次要的用户接触或手势。该接触或手势被转换为电信号208，并且把该电信号提供给处理器106。处理器106执行手势识别程序202的指令以基于信号208确定用户所施行的次要手势。实施例并不局限于被识别为次要手势的任何特定的和弦或手势集。在一些实施例中，代表次要手势的信号208与代表主要手势的信号并发地存在。

在框306，执行手势识别程序202的处理器106已经将输入设备104的至少一部分手势检测区域划分为多个手势检测分区116-120。使用电信号208中所包括的信息（例如，接触坐标），处理器106确定在其中施行次要手势的（一个或多个）手势检测分区116-120。

在框308，执行操作选择程序204的处理器106基于所识别的主要手势以及所识别的次要手势和在其中施行该次要手势的（一个或多个）手势检测分区中的至少一个选择要施行的处理操作。在框310中处理器106施行所选择的处理操作。

上面论述意在说明本发明的各种实施例和原理。一旦完全理解上面的公开内容，众多变化和修改对于本领域技术人员而言将变得显而易见。目的是下列权利要求被解释为包含所有这样的变化和修改。

Claims (13)

1.一种用于实现手势检测分区的系统，其包括：

操作者输入设备，其检测手势和多个同时的触摸点，所述操作者输入设备的输入区域包括多个手势检测分区；和

耦合到所述操作者输入设备的处理器，所述处理器执行：

手势识别软件程序，其使得所述处理器：

对来自所述输入设备的输入进行处理；

识别在手势检测分区中检测到的主要手势和同时的次要手势，并且至少部分地基于所述主要手势和在其中检测到所述次要手势的手势检测分区来施行处理功能；以及

识别在不同的手势检测分区中与主要手势同时期地施行的多个次要手势，并且至少部分地基于所述主要手势和在其中检测到每个所述次要手势的手势检测分区来施行处理功能；

其中与所述主要手势和所述次要手势二者无关地，确定所述操作者输入设备的多个手势检测分区。

2.如权利要求1所述的系统，其中对所述处理功能的选择至少部分地基于所述次要手势。

3.如权利要求1所述的系统，其中每个手势检测分区定义了用于对次要手势的检测的离散的区域。

4.如权利要求1所述的系统，其中所述次要手势包括与所述输入设备的接触点，所述接触点在所述主要手势之前建立并且在整个所述主要手势期间得以保持。

5.如权利要求1所述的系统，其中检测分区包括输入检测区域的横向条带。

6.如权利要求1所述的系统，其中所述主要手势在任何检测分区中施行。

7.如权利要求1所述的系统，其中对应于主要手势的功能的数目至少等于手势检测分区的总数。

8.如权利要求1所述的系统，其中检测分区包括在其中同时施行次要手势的多个检测分区。

9.一种用于实现手势检测分区的方法，其包括：

用耦合到处理器的操作者输入设备检测主要手势，所述主要手势包括触摸点在所述操作者输入设备上的移动；

用所述操作者输入设备检测次要手势，所述次要手势是与所述主要手势同时期地检测的；

与所述主要手势和所述次要手势二者无关地，确定所述操作者输入设备的多个手势检测分区；

用所述处理器识别所述主要手势和所述次要手势，

如果所述主要手势和所述次要手势在所述手势检测分区中被检测到; 用所述处理器至少部分地基于检测到的主要手势、检测到的次要手势和在其中检测到所述次要手势的手势检测分区来施行处理功能; 如果在不同的手势检测分区中所述主要手势被检测到和多个次要手势被检测到; 用所述处理器至少部分地基于检测到的主要手势、检测到的次要手势和在其中检测到所述多个次要手势的手势检测分区来施行处理功能。

10.如权利要求9所述的方法，还包括把所述操作者输入设备的手势检测区域划分为多个手势检测分区。

11.如权利要求10所述的方法，还包括确定在所述多个手势检测分区中的哪个手势检测分区中施行了所述次要手势。

12.如权利要求10所述的方法，还包括至少部分地基于在其中施行了所述次要手势的手势检测分区施行所述处理功能。

13.如权利要求10所述的方法，还包括从对应于所述主要手势的多个处理功能中选择要施行的处理功能，其中对应于所述主要手势的处理功能的数目至少与手势检测分区的数目一样多。