CN104238741A - 包括径向布局软键区的用户接口 - Google Patents

Abstract

本发明涉及包括径向布局软键区的用户接口。处理设备被配置成提供包括径向布局软键区的用户接口。该径向布局软键区包括中心区域和布置在中心区域周围的一个或多个同心键组。例如，可将该一个或多个同心键组布置为基本上围绕中心区域的多个同心圆形成行键，同心圆形行的所有键都在径向布局软键区中同时地可见。说明性地在与处理设备相关联的显示器上呈现径向布局软键区，并且用户通过在图像传感器的视场中的自由空间中做出手势而与该径向布局软键区相交互。第一类型的手势控制对键的选择，并且第二和第三类型的手势控制对所选键的接受和拒绝。

Description

包括径向布局软键区的用户接口

优先权声明

本申请要求2013年6月20日提交的美国临时专利申请序号61/837,604的优先权，其公开被整体地通过引用结合到本文中。

技术领域

本领域一般地涉及用户接口，并且更具体地涉及用于向用户接口中输入信息或与用户接口相交互的技术。

背景技术

存在用于向诸如计算机、电视、移动电话或游戏系统之类的处理设备或系统中输入文本或其他信息的多种不同用户接口。例如，某些处理设备或系统结合了手势识别(GR)功能以便允许用户使用特定手势来输入信息。遗憾的是，常规基于GR用户接口并不特别适合于某些类型的信息输入，诸如输入文本字符序列。用于基于GR系统中的文本输入的可能替换包括但不限于传统键区、流键区或语音至文本转换。尽管如此，需要非常适合于在基于GR系统中以及在其他类型的设备或系统中输入文本及其他信息时使用的更高效的用户接口。

发明内容

在一个实施例中，包括被耦合到存储器的处理器的处理设备被配置成提供包括径向布局软键区的用户接口。该径向布局软键区包括中心区域和布置在中心区域周围的一个或多个同心键组。

仅以示例的方式，可将所述一个或多个同心键组布置为基本上围绕中心区域的多个同心圆形成行键。在此类布置中，同心圆形行的所有键可同时地在径向布局软键区中可见。

在某些实施例中，在与处理设备相关联的显示器上呈现径向布局软键区，并且用户通过在没有在物理上接触显示器的情况下在图像传感器的视场中的自由空间中做出手势而与该径向布局软键区相交互。

可使用多种不同类型的手势来与径向布局软键区相交互。例如，可以将处理设备配置成使得第一类型的手势控制键的选择且第二和第三类型的手势控制所选键的接受和拒绝。这些手势的至少一个子集可包括使用指示手指完成的各轻弹手势。

附图说明

图1是说明性实施例中的具有包括径向布局软键区的图形用户接口的信息处理系统的框图。

图2图示出在图1的系统中实现的径向布局软键区的一个可能配置。

图3图示出预测字词从图2的径向布局软键区的外围区域至中心区域的移动。

图4示出了可结合经由图2的径向布局软键区的文本输入而使用的示例性用户手势。

图5图示出用来执行与图2的径向布局软键区相关联的处理操作的至少一个处理设备的各部分。

图6是图示出图5的一个或多个处理设备内的控制器的操作的状态图。

图7是另一说明性实施例的具有包括径向布局软键区的图形用户接口的信息处理系统的框图。

具体实施方式

在本文中将结合示例性信息处理系统来举例说明本发明的实施例，该信息处理系统包括用于使用用户手势或其他选择机制来输入文本或其他信息的用户接口。然而，应理解的是本发明的实施例更一般地可应用于其中期望提供用于高效地输入文本或其他信息的改进用户接口的任何处理系统或设备。

相应地，如本文所使用的术语“软键区”意图被广泛地理解，从而涵盖可经由用户接口的至少一部分来呈现的多个可致动键的多种不同布置中的任何一个。键不限于文本字符的输入，而是更一般地可应用于输入可经由用户接口提供给设备或系统的任何类型的输入信息，包括输入命令及其他控制信息。

并且，如本文所使用的术语“键”因此意图被广泛地理解，从而涵盖字符、命令和控制的多种不同布置。键可以是不包括软键区的用户接口的一部分，但是替代地使用一个或多个键的另一布置类型来实现。

图1示出了具有包括径向布局软键区的图形用户接口的信息处理系统100的一个实施例。该系统在本实施例中采取基于GR系统的形式，包括膝上型计算机或平板个人计算机(PC)102、飞行时间(TOF)图像传感器或红-绿-蓝(RGB)彩色图像传感器105以及壁装式监视器106。基于GR系统被配置成识别由用户手110完成的多个手势。TOF或RGB传感器105具有其中用户手势被检测的手势检测视场(FOV)111和与壁装式监视器相关联的投影FOV112。

投影FOV112在本实施例中是通过其将径向布局软键区投射到壁装式监视器106上(说明性地通过与传感器105相关联的投影设备)从而使得其对用户可见的FOV。替换地，可以将此类投影设备结合到膝上型计算机或平板PC102中，或者可以直接在膝上型计算机或平板PC102的显示器上显示径向布局软键区，在这种情况下可以消除壁装式监视器106。

相应地，PC102、传感器105和壁装式监视器106的特定布置仅仅是示例性的，并且在其他实施例中可使用这些或替换部件的其他布置。并且，诸如传感器或FOV的配置之类的本实施例的特性仅以说明性示例的方式来呈现，但不应将其理解为被限制为任何方式。替换实施例可以利用其他类型的传感器，可能在深度成像器、照相机或其他类似设备中实现，并且可以修改特定FOV以满足给定应用的特定需要。作为一个示例，可修改图1中所示的垂直传感器取向，使得该传感器相对于垂直传感器取向旋转约45至90度。可以有传感器和关联FOV的许多替换取向。

图1的系统100在某些实施方式中包括生成图像以便识别用户手势的视频游戏系统或其他类型的基于GR系统。然而，本文公开的用户接口技术可以适合于在要求基于手势人机接口的多种其他系统中使用，包括消费者信息亭以及其他非触摸式用户接口计算环境。另外，这些技术可以适合于在除手势识别之外的许多应用中使用。因此，用户在其他实施例中可使用棍棒(wand)、眼睛凝视方向或传达键选择、接受和拒绝的任何其他手段来与键区相交互。本领域的技术人员将认识到系统的检测功能将被相应地修改以适应此类非基于GR布置。

图1的系统中的膝上型计算机或平板PC102是在本文中更一般地称为“处理设备”的一个示例。可使用多种其他类型的处理设备，包括移动电话、游戏系统控制台、信息亭和与其他基于GR或非基于GR系统相关联的设备。系统可包括一个或多个处理设备以及其他元件。

虽然在图1中被示为单独元件，但传感器105在其他实施例中可至少部分地被结合到关联处理设备中。举例来说，可将诸如PC102之类的计算机配置成结合传感器105。并且，可将传感器本身视为处理设备，因为该术语在本文中被广泛地定义。壁装式传感器106被视为相应处理设备的监视器的一个示例。此类监视器在本文中更一般地被称为“显示器”。可使用其他类型的监视器或显示器来呈现如本文所述的径向布局软键区，举例来说包括图1实施例中的膝上型计算机或平板PC102的显示器、或移动电话或其他类型的处理设备的显示器。

给定处理设备一般地包括被耦合到存储器的处理器。处理器执行存储在存储器中的软件代码，以便指挥相应系统的操作的至少一部分。

处理设备可以但不需要包括支持通过网络与其他系统元件的通信的网络接口。此类网络在某些实施例中可包括诸如因特网之类的广域网(WAN)、局域网(LAN)、蜂窝式网络或任何其他类型的网络以及多个网络的组合。可使用一个或多个常规收发机来实现网络接口。

处理器可以任何组合方式包括例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器(DSP)或其他类似处理设备部件以及其他类型和布置的图像处理电路。

存储器存储用于由处理器在实现系统功能的各部分时执行的代码，诸如图5和6中所示的系统的各部分。用于存储软件代码以供相应的处理器执行的给定此类存储器是在本文中更一般地称为具有包含在其中的计算机程序代码的计算机可存储读介质的一个例子，并且可以任何组合方式包括例如电子存储器，诸如随机存取存储器(RAM)或只读存储器(ROM)、磁存储器、光学存储器或其他类型的存储设备。包括此类计算机可读存储介质的制品被视为本发明的实施例。

如上文所指示的，给定处理设备的处理器可包括微处理器、ASIC、FPGA、CPU、ALU、DSP或其他类型的处理电路的各部分或组合。

因此应认识到的是可以集成电路的形式来实现本发明的实施例。在给定此类集成电路实施方式中，通常在半导体晶片的表面上以重复图案来形成相同的管芯。每个管芯包括例如本文所述的处理设备的至少一部分，并且还可包括其他结构或电路。单独管芯被从晶片切割或分割，然后封装为集成电路。本领域的技术人员将知道如何分割晶片并封装管芯以产生集成电路。这样制造的集成电路被视为本发明的实施例。

再次地，图1的信息处理系统的特定配置仅仅是示例性的，该系统在其他实施例中可包括除具体地示出的那些之外或作为其替代的其他元件，包括常常在此类系统的常规实施方式中使用的类型的一个或多个元件。例如，可在实现传感器、计算机和监视器中使用处理模块及其他部件的其他布置。相应地，可将与图1实施例中的多个元件相关联的功能组合成其他实施例中的较少数目的元件。并且，如上所述，可以将诸如传感器、计算机和传感器之类的部件至少部分地组合在给定处理设备中。

如先前所述，图1的系统100实现包括径向布局软键区和用于文本输入到系统内的关联的基于GR控制机制的用户接口。在如图1中所示的实施例中，径向布局软键区经由投影FOV112在壁装式监视器106上呈现，并且用户通过在手势检测FOV111中做手势以便由传感器105检测而与径向布局软键区相交互。然而，如上所述，可以以简单的方式修改用户接口以便输入其他类型的信息，并且相应地不限于在某些说明性实施例中所示的文本输入布置。并且，虽然使用用户手势经由图1系统中的径向布局软键区来输入信息，但可以使用其他类型的选择机制结合径向布局软键区，包括例如基于棍棒或基于目光的选择机制。此外，可以在不使用径向布局软键区的情况下实现本发明的实施例。因此本文所述的各种控制机制可以更一般地应用于不一定包括径向布局软键区的用户接口。

在图1系统中，经由包括径向布局软键区和关联选择机制的用户接口来实现文本输入。在某些实施例中用字符预测和字词预测功能来补充文本输入。

如将变得显而易见的，说明性实施例中的径向布局软键区和关联字符选择机制的使用提供基于GR系统以及多种其他类型的系统和设备中的改善的文本输入。例如，可以将径向布局软键区配置成在诸如字符布局、每个字符移动选择、每分钟字符、每分钟字词以及错误率之类的因素方面提供增强的面向字符的文本输入。

图2示出了一个实施例中的在图1系统的用户接口中实现的径向布局软键区200的示例。在本实施例中，在中心区域202周围以径向方式展示各键。与软键区的用户交互包括使用具有有角度或平移运动的指点样式手势将光标定位在给定的一个键上。中心区域202在本文中的某些实施例的背景下也称为“中心区”。

本实施例中的键选择使用相对于键位置的基于光标运动的收敛准则自动地发生，消除了对诸如刺戳之类的附加手势运动以便来选择键的需要。

本发明的实施例可以结合逻辑来消除关于多个键中的哪一个键最有可能已是预定选择的歧义，这可能基于关于先前用户输入的历史数据。此类逻辑可以是用以帮助使用自由空间中的手运动来进行字符选择的有益补充。

对所选键的接受涉及到拖曳阴影键朝向中心区域和在其上面的有角度或平移运动。

对所选键的拒绝涉及到远离中心区域并在键区的外圆形边界外面的进一步的有角度或平移运动。

对于熟练的用户而言，使用径向布局软键区200的键入过程接近仅使用具有有角度运动的指点手势的流体运动。涉及到有角度或平移指点运动的类似键选择机制被用于对布置在键区的外边界外面的预测字词的选择、接受和拒绝。

如图2中所示的径向布局软键区200在图1系统内的图形用户接口上呈现。例如，其可采取图形用户接口上的桌面或应用程序覆盖图的形式。如上所述，图1系统中的用户接口在壁装式监视器106上呈现，但是在其他实施例中，可以在其他显示器上呈现，诸如PC102的显示器或移动电话、电视机或其他处理设备或系统的显示器。

如图2中所示，示例性键区200包括内行键和外行键。内行和外行键是在本文中更一般地称为布置在中心区域202周围的键的“同心组”的示例。并且，在本实施例中，同心键组的所有键同时地在径向布局软键区200中可见。更特别地，如果将同心圆形行视为被分离成四个象限，则整体地同时显示全部的四个象限。在其他实施例中可以使用其他类型的同心组。超过外行键的那部分键区200包括外围区域204以及其他外围区域。

在图2的示例性径向布局软键区中，同心键组被更特别地布置在基本上围绕中心区域202的各同心圆形成行键。本文所使用的术语“基本上围绕”意图涵盖涉及到超过一半的中心区域202的围绕的布置。因此，在图2实施例中，内行键基本上围绕中心区域202，即使该行的键并未完全围绕中心区域202。外行的键也基本上围绕中心区域202，并且更特别地完全围绕中心区域202，虽然应注意的是右下侧处的较暗阴影键在尺寸方面大于外行的其他键。在本实施例中将较暗阴影键说明性地视为外行键的一部分。

在其他实施例中，可使用替换的同心组，诸如正方形、卵形或其他形状的同心布置。应将在本文中所使用的术语“同心”理解成涵盖图2中所示和上文所述类型的部分围绕布置。

图2实施例中的同心圆形的两行键提供足以容纳表示全部英文字母加上多个附加符号或功能的键的键空间。此键布置对应于一个可能模式，并且其他模式可包括替换的键组，诸如大写字母、数字等。

键的子集被用跨所有操作模式的固定分配来说明性呈现地。在键区200中，键的此子集包括在右下侧示出的较暗阴影键，并包括公共非字母数字符号和功能，包括但不限于空格和退格(BK)。这些键的尺寸相对于其他键的尺寸被增加，并且使用不同的阴影，反映出预期较高的选择频率。增加的键尺寸和独有阴影的使用促进在自由空间中使用手运动来选择那些键。

说明性地用每个模式固定分配所配置的键区200的一个或多个键还可以基于过去用户交互、外部背景或其他因素或其组合而支持临时动态重新分配。在一个实施例中，这些键位于特定象限中并利用独有阴影、尺寸确定或其他特性，来表示动态分配的符号或其他字符，从而向用户传达这些键相对于其他键具有特殊值。

如上文所指示的，径向布局软键区200在诸如壁装式监视器106之类的显示器上呈现，并且用户通过在没有物理地接触显示器的情况下在图像传感器105的视场111的自由空间中做手势而与径向布局软键区相交互。

在某些实施例中，第一类型的手势控制对键中的给定一个键的选择，并且各第二和第三类型的手势控制对所选键的相应接受和拒绝。

因此，例如，参考图2，用户通过使用第一类型的手势来选择特定键，诸如对应于如图中所示的字母“r”的键。在检测到第一类型的手势时，对应于所选键的那部分键区以突出显示形式被呈现。

随着用户尝试键入字词“gesture”，对应于小写字母“r”的特定键被选择。通过先前键选择和接受而已键入的字词的那部分在中心区域202中被示为“gestu”。

如在图2中针对所选键“r”所示，在本实施例中的突出显示形式包括以偏移方式部分地覆盖在所选键的初始实例上的所选键的附加实例。这是在本文中也称为所选键的“阴影键”表示的示例。

在某些实施例中，用于控制对所选键的接受的手势和用于控制对所选键的拒绝的手势基于基本上平行于显示器平面的平面中的移动特征被检测，而不需沿着与显示器平面正交的轴的附加移动。

例如，在图2实施例中指引所选键朝向中心区域202的向内移动的手势的检测指示对所选键的接受，并且指引所选键远离中心区域202的向外移动的手势的选择指示对所选键的拒绝。这些接受和拒绝手势可包括例如使用指示手指完成的各轻弹手势，诸如向上轻弹、向下轻弹、向左轻弹、向右轻弹等。此类轻弹手势是在本文中更一般地称为“指点”手势的示例。另外或替换地，可使用采取任何组合的其他类型的轻弹手势。

相应地，图2实施例中的对所选键的接受或拒绝不要求沿着垂直于显示器平面的轴线的附加按压或刺戳运动，从而降低了对特定键进行致动所需的正交运动。

径向布局软键区200因此支持朝向中心区域202或远离中心区域202的自由空间中的高速度手中心有角度手势运动的使用，以便分别地接受键选择或拒绝键选择。例如，可以使用自由空间中的有角度或绝对运动来“拖曳”所选键或将其定位于中心区域202内或诸如外围区域204之类的外围区域内以分别地用于对键选择的接受或对键选择的拒绝。区别上述轻弹手势的运动特征包括例如运动速度和加速度。

如图2中所示的径向布局软键区200包括将中心区域202与同心圆形成行键分开的内边界210和将同心圆形成行键与径向布局软键区的外围区域分开的外边界212。当观看在显示器上呈现的径向布局软键区时，使得内边界和外边界210和212中的至少一个对于用户而言直观地可感知。在本实施例中，假设边界210和212两者对于用户而言都是可见的，并且以各短划线圆圈的形式在显示器上呈现。在其他实施例中可使用内边界和外边界的其他类型的注释以便强调用于对所选键的接受或拒绝的相应区域的功用。

在某些实施例中，将系统配置成使得指引所选键向内移动越过内边界210并到中心区域202中的的手势的检测指示对所选键的接受，并且指引所选键向外移动越过外边界212并到诸如外围区域204之类的外围区域中的手势的检测指示对所选键的拒绝。

键区200中的外围区域204基于用户的对先前所选键的接受而呈现预测字词，使得用户能够选择预测字词中的一个而不是键入给定字词的其余部分。因此，例如，假设图2的示例中的用户已按相应字母的单独选择和接受而键入部分字词“gestu”。用户还已选择对应于如所指示的字母“r”的键。然而，并非接受所选字母“r”以继续当前字词的键入，用户能够替代地选择在外围区域204中呈现的预测字词中的相应的一个。可使用多种不同字词预测算法来生成预测字词。

在如图2中所示的键区200，在选择了对应于小写字母“r”的键时，如所指示的，在外区中出现包括“手势(gesture)”、“已做手势(gestured)”、“多个手势(gestures)”和“正在做手势(gesturing)”的多个预测字词。可由用来选择和接受特定键的类似手势来控制对预测字词中的一个的选择和接受。更特别地，在使用选择手势选择预测字词中的特定的一个之后，基于指引所选字词朝向中心区域202的移动的手势的检测来控制所选预测字词的接受。用户因此使用基于运动选择来选择预测字词中的一个，后面是基于运动的接受或拒绝，如上文所指示的。例如，如图3中所示，用户使所选字词“手势”过渡至中心区域以便接受。

如先前所述，在本实施例中，可将键区200视为包括四个象限，内行和外行的键基本上跨越第一、第二和第三象限。第四象限包括两个键行中的仅一个的一部分。如上所述，第四个象限键被加阴影以便在图中强调，并呈现常见文本字符，包括空格、BK、以及各种标点符号，在本文中也称为“符号字符”或“非字母数字字符”或者简单地“符号”。在第一和第二象限的至少一部分中，内行的键如所示地呈现附加文本字符。可将这些及任何其他字符与使用字符预测算法建立的预测字符组合。

假设如图2中所示的键区200是在提供主要小写字母字符的第一模式下配置的，但是可选择性地将其置于多个附加模式，诸如大写字母字符模式、符号模式以及数字模式。可使用许多其他类型和多个模式的组合。用户使用例如包括向上扫运动或向下扫运动的手势使键区在这些和可能附加或替换模式之间过渡，虽然可以使用图像传感器105的FOV111内的自由空间中的其他手中心手势运动。基于过去的输入来更新字符预测，并且当呈现预测字符时使相应的键加阴影以用于强调。

可将键区200任意地定位于系统100的图形用户接口中且其包括用于对在用户接口内的任意缩放的支持。具有有角度或平移手腕运动的指点手势是与键区的用户交换的主要机制。键选择是基于光标运动，具体地由键区上的多个加权移动平均的监视得到。在选择时，在光标下面呈现所选键的阴影键表示，如针对图2中的字母“r”所示。用户通过朝着键区的中心区域和在其上面拖曳光标和阴影键来接受该选择。用户通过在键区的外边界外面拖曳光标和阴影键来拒绝该选择。

如上文所指示的，字词的选择类似于字符的选择且包括基于运动的选择，后面是基于运动的接受或拒绝。

如图2中所示的字母和符号字符的特定布局仅仅是以示例的方式呈现的。可将许多其他类型的径向布局用于如本文所公开的软键区。术语“径向布局”因此意图被广泛地理解成从而包括例如其中围绕着中心区域以一个或多个行来布置多个可选择键的键区布局。

可以使用多种其他软键区布局或更一般地其他用户接口来实现其他实施例。相应地，本发明的实施例不限于与上述类型的径向布局或软键区一起使用。

如先前所述，键不需要对应于文本字符，而是可替代地表示给定系统内的其他类型的可选择命令或控制机构。例如，可在给定系统中选择键以直接地调用动作，调用对径向布局的中心区域之下的用户接口元素的动作或者选择操作模式。后一模式选择的更特定示例可涉及到从应用程序特定工具箱中选择特定工具。

并且，可使用在键选择之后的接受和拒绝的其他定义。例如，可以在任意布局中布置被用于接受或拒绝所选键的特定区域，或者可以为键选择的接受或拒绝分配某些手势。作为后一种类型的布置的更特定示例，可使用可分类为基于指点挥扫的快速有角度指点运动来接受或拒绝，取决于有角度运动的速度。可将此类手势视为一种轻弹手势，因为该术语在本文中被宽泛地使用。

上文已提到，具有有角度或平移手腕运动的指点手势是与图2的说明性实施例中的键区的用户交互的一个可能机制。在图4中示出了适合于与图2键区一起使用的指点手势的静态姿势的示例。然而，应认识到的是在如本文公开的包括一个或多个键的径向布局软键区或其他用户接口的基于GR实施例中可使用许多其他用户手势以及其他类型的运动。再次地，不需要手势识别，并且其他系统可以是基于棍棒的、基于目光的或者基于其他选择机制。

图5示出了用来执行与图2的径向布局软键区相关联的处理操作的至少一个处理设备的各部分。假设本实施例中所示的各种处理块是在包括被耦合到存储器的处理器的至少一个处理设备中实现的。例如，如在本文中宽泛地使用的给定处理设备在给定实施例中可包括传感器和关联计算机两者，诸如传感器105和PC102。替换地，可将传感器和计算机实现为可能通过也被耦合到附加处理设备的网络相互通信的单独处理设备。

在图5实施例中，基于GR系统500包括向手势预处理模块510提供原始图像的TOF或RGB传感器502。预处理模块510生成被输入到手势分类模块512、也称为分类器的细化图像。手势分类模块512根据该细化图像来生成手势描述符，并将结果得到的手势描述符和关联细化图像提供给手势后处理模块514。手势分类模块512输出端处的细化图像相对于其输入端处的细化图像被其进一步细化。

后处理模块514在其输出端处提供分类器输出的子集，其说明性地包括具有与位置元数据关联的指点数据或其他类似数据。分类器输出的此子集在指点运动滤波器516中被进一步处理，其在其输出端处生成被提供给具有关联OS/SDK520的操作系统(OS)特定光标控制器518的一个或多个已滤波运动导出信号，其中，SDK表示软件开发工具包，并且可包括一个或多个应用处理接口(API)。

OS/SDK520提供用于派发光标位置信息以及关联的元数据的OS特定API，所述关联元数据包括关于径向布局软键区200的用户接口事件消息。该事件消息包括例如光标输入键事件、光标结束键事件、光标离开键事件等。

在本实施例中，将图5的软键区控制器522假设为根据图6中所示的状态图600进行操作。在本实施例中，相应状态机包括以下状态：

DISABLED

ENABLED

ENABLEDW_KEY_SEL

ENABLEDW_KEY_SEL_OUTER

ENABLEDW_KEY_SEL_OK

ENABLEDW_KEY_SEL_CANCEL

在上面给出的状态名中，“W”表示“具有”且“SEL”表示“选择”。DISABLED状态在状态图600中未明确地示出，但是一般地表示其中径向布局软键区200不活动且因此不可用于在处理手势输入时使用的状态。在状态图600中示出了上列的五个不同ENABLED状态，并且分别地用附图标记602、604、606、608和610来表示。

如在状态图600中所指示的，从其中径向布局软键区200活动且可用于在处理来自用户的手势输入时使用的ENABLED状态602，特定键的选择促使状态机过渡至ENABLEDW_KEY_SEL状态604，并且对在外边界212外面的外围区域204中显示的特定字词的选择促使状态机过渡至ENABLED W_KEY_SEL_OUTER状态606。

从ENABLED W_KEY_SEL状态604，对指示中心区域202内的选择键的拖曳和收敛的基于手势输入的检测促使状态机过渡至ENABLED W_KEY_SEL_OK状态608，使得该所选键被接受。

并且，从ENABLED W_KEY_SEL状态604，对指示超过外边界212的所选键的拖曳和收敛的基于手势输入的检测促使状态机过渡至ENABLED W_KEY_SEL_CANCEL状态610，使得所选键被拒绝。

从ENABLED W_KEY_SEL_OUTER状态606，对指示超过外围区域204的足够远的“边界外”的所选字词的拖曳的基于手势输入的检测促使状态机过渡至ENABLED W_KEY_SEL_CANCEL状态610，使得所选字词被拒绝。

并且，从ENABLED W_KEY_SEL_OUTER状态606，对指示在外边界212内的所选字词的拖曳的基于手势输入的检测促使状态机过渡至ENABLED W_KEY_SEL状态604，从该ENABLED W_KEY_SEL状态604，中心区域202内的进一步拖曳和收敛引起到ENABLEDW_KEY_SEL_OK状态608的过渡，使得所选字词被接受。还可以通过超过外边界212的进一步拖曳和收敛、引起到ENABLEDW_KEY_SEL_CANCEL状态610的过渡而从ENABLEDW_KEY_SEL状态604拒绝所选字词。

在状态608中的对所选键或字词的接受或步骤610中的对所选键或字词的拒绝之后，开始定时器，其提供选择接受或选择拒绝的连续实例之间的指定“停滞时间”。在状态608或状态610下的停滞时间到期之后，状态机如所指示地返回至状态602。

将认识到的是图6中所示和上文所述的特定状态仅仅是示例性的，并且在其他实施例中可使用许多其他类型的基于状态的控制。

并且，上文结合图5和6所述的特定部件、操作及其他功能仅仅是以示例的方式提出的，并且本发明的其他实施例可利用其他类型和布置的处理设备部件、操作及其他功能以便提供本文公开类型的用户接口。

在某些实施例中，可提供用于光学字符识别(OCR)功能的支持。例如，可将径向布局软键区的中心区域配置成支持OCR。在此类的一个可能布置中，可使用基于用户指点的光标来在中心区域上“写入”字符，导致对到OCR算法中的输入有用的历史位置数据的矢量。可将此过程扩展至支持在中心区域上写入的字符序列。径向布局软键区和关联选择机制通过提供用于经由OCR算法不可分类的文本字符的纠错和选择的机制来增强OCR功能。

本发明的给定实施例可以使用一个或多个附加处理操作来实现上述类型的OCR功能以将单独字符分段。例如，可以将OCR分类器配置成使用白空间或其他特征将单独字符分段，将这样的可能性考虑在内，即历史位置数据的矢量可能未示出字母之间的“钢笔抬起”，并且可包含在时间方面分离的重叠字母。

现在参考图7，示出了具有包括径向布局软键区的图形用户接口的信息处理系统700的另一说明性实施例。类似于图1的实施例，本实施例利用手势识别来支持包括图2的径向布局软键区200的图形用户接口。

信息处理系统700包括被配置成用于与网络704和图像传感器705通信的图像处理器702。图像处理器702经由网络704被耦合到多个处理设备706-1、706-2...706M。图像处理器702实现基于GR系统710内的识别子系统708。在本实施例中，基于GR系统710处理来自图像处理器705的输入图像并生成相应的基于GR输出。可在基于GR系统710内利用基于GR输出或供应给一个或多个处理设备706、或在此图中未具体地图示出的其他系统部件。径向布局软键区200说明性地在与处理设备706中的一个相关联的显示器上呈现，虽然其可以替换地在与实现图像处理器702的处理设备相关联的显示器上显示。

基于GR系统710的识别子系统708更特别地包括静态手势识别模块714和动态手势识别模块715。可包括附加识别模块，诸如被配置成识别光标手势的识别模块。

识别子系统708从附加子系统716接收输入，其说明性地包括被配置成实现与基于GR系统710中的手势识别相关联的功能模块的一个或多个图像处理子系统，诸如，例如用于输入帧获取、降噪、背景估计和去除或其他类型的预处理的功能模块。在某些实施例中，将背景估计和去除块实现为在对图像应用预处理模块之后被应用于输入图像的单独子系统。

然而，应理解的是这些特定功能模块仅仅实施例性的，并且可以使用附加或替换功能模块的其他布置来配置本发明的其他实施例。

在图7实施例中，识别子系统708生成GR事件以便由一组GR应用程序718中的一个或多个消耗。假设应用程序718中的给定的一个是支持图2的径向布局软键区200的应用程序，可能与处理设备706中的一个相结合。例如，GR事件可包括指示一个或多个输入图帧内的一个或多个特定手势的识别的信息，使得该组GR应用程序718中的给定GR应用程序能够将该信息转换成将由该应用程序执行的特定命令或命令集。相应地，识别子系统708在图像内识别来自指定手势词汇表的手势并生成相应的手势模式标识符(ID)和可能附加相关的参数以便传送至应用程序718中的一个或多个。根据应用程序的特定需要来修改此类信息的配置。

另外或替换地，基于GR的系统710可提供GR事件或其他信息，可能由GR应用程序718中的一个或多个生成，作为到处理设备706中的一个或多个的基于GR输出。在其他实施例中，至少部分地在处理设备706中的一个或多个上实现该组GR应用程序718的至少一部分。

可使用图像处理器702的单独处理层来实现基于GR系统710的各部分。这些处理层包括在本文中更一般地称为图像处理器702的“图像处理电路”的至少一部分。例如，图像处理器702可包括实现预处理模块的预处理层和用于执行与来自图像传感器705的输入图像流的帧内的手势的识别相关联的其他功能。此类处理还可以基于GR系统710的各子系统的形式实现。

然而，应注意的是本发明的基于GR实施例不限于静态或动态手势的识别，而是可以替代地适合于在涉及到手势识别的多种其他机器视觉应用中使用，并且可包括不同数目、类型和布置的模块、子系统、处理层和关联功能块。

例如如先前所述，可以在没有径向布局软键区的情况下实现本发明的实施例，可能使用轻弹手势或上述类型的其他手势，结合其他类型的用户接口。在没有径向布局软键区的某些布置中，可以通过使手势控制光标接近于控制机构、从而促使控制机构“点击”到光标且然后利用向上弹或向下弹手势来接受或拒绝该控制机构，来对与给定用户接口相关联的单个控制机构或一组控制机构进行致动。

并且，本实施例中的与图像处理器702相关联的某些处理操作可替代地在其他实施例中至少部分地在其他设备上实现。例如，可至少部分地在图像传感器705中实现预处理操作。还可能的是可在与子系统708和716不同的处理设备上实现应用程序718中的一个或多个，诸如处理设备706中的一个。

此外，将认识到的是图像处理器702本身可包括多个不同的处理设备，使得使用两个或更多处理设备来实现基于GR系统710的不同部分。本文所使用的术语“图像处理器”意图被宽泛地理解成从而涵盖这些及其他布置。

还应理解的是可在公共处理设备上将图像处理器702至少部分地与图像传感器705组合。

在本实施例中，图像处理器702的基于GR系统710被配置成识别手势，虽然可以以简单的方式修改本实施例以便与其他类型的手势识别过程一起使用。

在其他实施例中，可以修改图7实施例中的图像处理器702中所示的子系统、应用程序及其他部件的特定布置。例如，可使用另外常规图像处理集成电路或被适当地修改成执行如在本文中公开的处理操作的其他类型的图像处理电路来实现图像处理器702的部件714、715、716和178中的一个或多个的至少一部分。可在本发明的一个或多个实施例中使用的图像处理电路的一个可能示例是被适当地重配置成执行与部件714、715、716和718中的一个或多个相关联的功能的另外常规图像处理器。

处理设备706可以任何组合包括例如计算机、移动电话、服务器或存储设备。一个或多个此类设备还可包括例如被用来呈现由图像处理器702生成的图像的显示屏或其他用户接口。处理设备706因此可包括多种不同的目的地设备，其通过网络704从图像处理器702接收基于GR输出，举例来说，包括从图像处理器702接收一个或多个已处理图像流的至少一个服务器或存储设备。

虽然在本实施例中被示为与处理设备706分离，但可将图像处理器702至少部分地与处理设备706中的一个或多个组合。因此，例如，可至少部分地使用处理设备706中的给定的一个来实现图像处理器702。作为更特定示例，可将计算机或移动电话配置成结合图像处理器702和可能的诸如图像传感器705之类的给定图像源。用来在信息处理系统700中提供输入图像的图像源因此可包括与计算机、移动电话或其他处理设备相关联的照相机或其他成像器。如先前所指示的，可至少部分地将图像处理器702与公共处理设备上的一个或多个图像源或图像目的地组合。

本实施例中的图像处理器702假设是使用至少一个处理设备实现的，并包括被耦合到存储器722的处理器720。处理器720执行存储在存储器722中的软件代码以便控制图像处理操作的执行。图像处理器702还包括支持通过网络704的通信的网络接口724。网络接口724包括一个或多个常规收发机。在其他实施例中，不需要配置图像处理器702来通过网络与其他设备的通信，并且在此类实施例中可消除网络接口724。

处理器720可以任何组合包括例如微处理器、ASIC、FPGA、CPU、ALU、,DSP或其他类似处理设备部件以及其他类型和布置的图像处理电路。

存储器722存储软件代码以便由处理器720在实现图像处理器702的功能的各部分，诸如子系统708和716及GR应用程序718时执行。如先前所述，存储软件代码以便由相应处理器执行的给定此类存储器是在本文中更一般地称为具有包含在其中的计算机程序代码的计算机可读存储介质的示例，并且可以任何组合包括例如诸如RAM或ROM之类的电子存储器、磁存储器、光存储器或其他类型的存储设备。包括此类计算机可读存储介质的制品被视为本发明的实施例。应将本文所使用的术语“制品”理解成不包括临时传播信号。

如图7中所示的信息处理系统700的特定配置仅仅是示例性的，该系统700在其他实施例中可包括除具体地示出的那些之外或作为其替代的其他元件，包括常常在此类系统的常规实施方式中使用的类型的一个或多个元件。

例如，在某些实施例中，信息处理系统700被实现为视频游戏系统或其他类型的基于GR系统，其处理图像流以便识别用户手势。公开的技术能够同样地适合于在要求基于手势的人机接口的多种其他系统中使用，并且还能够应用于其它应用，诸如机器人中的机器视觉系统和利用手势识别的其他工业应用。

并且，如上文所指示的，本发明的基于GR实施例不限于在手势识别中使用，而是也可以应用于其他类型的手势。本文所使用的术语“手势”因此意图被宽泛地理解。

应注意的是在其他实施例中可将上述实施例的各种方面与其他的分开使用。例如，可将被用于如本文公开的键选择、接受和拒绝的特定手势与可致动键的许多不同布置一起使用。同样地，图2中所示类型的径向布局软键区不要求使用任何特定类型的手势，并且如在本文中的别处所指示的，可与各种类型的非手势输入一起使用。

再次地应强调的是如本文所述的本发明的实施例意图仅仅是说明性的。例如，能够利用多种与在本文所述的特定实施例中利用的那些不同类型和布置的信息处理系统、处理设备和处理操作来实现本发明的其他实施例。另外，在其他实施例中不需要应用在本文中在描述某些实施例的背景下进行的特定假设。在以下权利要求范围内的这些和许多其他替换实施例对于本领域的技术人员而言将是显而易见的。

Claims (10)

1.一种设备，包括：

至少一个处理设备，包括被耦合到存储器的处理器；

所述至少一个处理设备被配置成提供包括径向布局软键区的用户接口；

其中，所述径向布局软键区包括中心区域和布置在中心区域周围的一个或多个同心键组。

2.如权利要求1的设备，其中，所述一个或多个同心键组被布置为基本上围绕中心区域的各同心圆形成行键。

3.如权利要求1的设备，其中，所述径向布局软键区在与处理设备相关联的显示器上呈现，并且用户通过在没有物理地接触显示器的情况下在图像传感器的视场的自由空间中做手势来与径向布局软键区相交互，并且其中，第一类型的手势控制对所述键中的给定一个的选择，并且各第二和第三类型的手势控制对所选键的相应接受和拒绝。

4.如权利要求3的设备，其中，当检测到第一类型的手势时，相应的所选键以突出显示形式被呈现，其中所选键的附加实例被生成并以偏移方式部分地覆盖在所选键的初始实例上。

5.如权利要求3的设备，其中，用于控制对所选键的接受的手势和用于控制对所选键的拒绝的手势基于基本上平行于显示器平面的平面中的移动特征被检测，而不需沿着与显示器平面正交的轴的附加移动。

6.如权利要求1的设备，其中，对指引所选键朝向中心区域的向内移动的手势的检测指示对所选键的接受，以及对指引所选键远离中心区域的向外移动的手势的检测指示对所选键的拒绝，并且其中，分别指引所选键朝向和远离中心区域的相应向内和向外移动的手势包括相应的轻弹手势。

7.如权利要求1的设备，其中，所述径向布局软键区包括将中心区域与所述一个或多个同心键组分开的内边界和将所述一个或多个同心键组与径向布局软键区的外围区域分开的外边界，其中，当用户观看呈现在显示器上的径向布局软键区时，所述内边界和外边界中的至少一个对用户而言是可直观感知的，其中，对指引所选键向内移动越过内边界并进入中心区域的手势的检测指示对所选键的接受，以及对指引所选键向外移动越过外边界并进入外围区域中的手势的检测指示对所选键的拒绝。

8.如权利要求1的设备，其中，所述径向布局软键区还包括外围区域，基于用户对先前所选键的接受的一个或多个预测字词在所述外围区域中呈现以用于可能的用户选择，并且其中对所述一个或多个预测字词中的所选一个的接受基于对指引所选字词朝向中心区域的向内移动的手势的检测来控制。

9.一种方法，包括：

生成包括径向布局软键区的用户接口；以及

处理用户输入以控制对径向布局软键区的特定键的致动；

其中，所述径向布局软键区包括中心区域和布置在中心区域周围的一个或多个同心键组；以及

其中，在包括被耦合到存储器的处理器的至少一个处理设备中实施所述方法。

10.一种方法，包括：

提供包括多个键的用户接口；以及

处理包括一个或多个手势的用户输入以控制对所述键中的所选一个的致动；

其中，对指引所选键在第一方向上的移动的第一手势的检测指示对所选键的接受，

其中，对指引所选键在不同于第一方向的第二方向上的移动的第二手势的检测指示对所选键的拒绝；以及

其中，在包括被耦合到存储器的处理器的至少一个处理设备中实施所述方法。