CN102150123B

CN102150123B - 具有相对姿势识别模式的便携式电子设备

Info

Publication number: CN102150123B
Application number: CN200980135963.XA
Authority: CN
Inventors: A·安德鲁斯; T·阿巴那米; J·冯
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2008-09-09
Filing date: 2009-09-09
Publication date: 2013-08-14
Anticipated expiration: 2029-09-09
Also published as: WO2010030662A2; KR20110056286A; CN102150123A; EP2327011A4; RU2011108470A; US20100064261A1; EP2327011A2; JP2012502393A; WO2010030662A3

Abstract

提供了一种可在具有触摸屏传感器的便携式电子设备上执行的计算机程序。该计算机程序可以包括一输入模式切换模块，所述输入模式切换模块被配置成接收模式切换用户输入以便在直接输入模式和相对姿势识别模式之间进行切换。该计算机程序还可以包括基于姿势的控制模块，配置用于在相对姿势识别模式中在图形用户界面元素不可选的所定义的区域中识别触摸屏传感器上在用户手指和触摸屏传感器表面之间的接触点，用于基于始发自接触点的用户触摸输入来标识所检测的姿势，并且用于向应用程序发送一消息以便基于所检测的姿势来调节便携式电子设备的操作。

Description

具有相对姿势识别模式的便携式电子设备

背景

装备有触摸屏的便携式电子设备使用户能经由触摸屏传感器所传感到的触摸输入直接与屏幕上显示的图形用户界面元素进行交互。用户在视觉上检验屏幕，在显示图形用户界面元素的位置处触摸屏幕。触摸输入被设备传感为出现在图形用户界面元素的位置处，触发便携式电子设备上的适当功能。

这种设备的一个缺陷在于，当用户不能或者不愿意在视觉上检验屏幕时，这种设备是难以交互的。例如，当用户正在锻炼、乘坐地铁等时，用户可能觉得不方便或不期望延长观看屏幕的时间。这会导致用户的输入差错，或使用户在不期望的时间观看屏幕，一般会降低用户体验。

发明内容

提供了一种可在具有触摸屏传感器的便携式电子设备上执行的计算机程序。计算机程序可以包括一输入模式切换模块，所述输入模式切换模块被配置成接收模式切换用户输入，以便响应于用户输入而在直接输入模式和相对姿势识别模式之间进行切换。在直接输入模式中，可经由用户的触摸输入来选择便携式电子设备的图形用户界面的一个或多个图形用户界面元素。在相对姿势识别模式中，使至少在图形用户界面的所定义区域中的图形用户界面元素不可选。计算机程序还可以包括基于姿势的控制模块，所述基于姿势的控制模块在相对姿势识别模式中被配置成：在其中图形用户界面元素不可选的所定义区域中识别用户手指和触摸屏传感器的表面之间的触摸屏传感器上的接触点；并且在所定义的区域中呈现邻近于接触点的姿势控制。基于姿势的控制模块还可以被配置成基于始发自接触点的用户触摸输入来标识所检测姿势，并且基于所检测的姿势向应用程序发送消息以调节便携式电子设备的操作。

提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。

附图简述

图1是计算设备的一个实施例的示意图，该计算设备具有带有触摸屏传感器的显示器，并且被配置成执行计算机程序以便在直接输入模式和相对姿势识别模式之间切换。

图2示出相对姿势识别模式中的传送控制，用于图1的便携式电子设备上的媒体回放应用程序。

图3示出相对姿势识别模式中的虚拟游戏控制，用于图1的便携式电子设备上的计算机游戏应用程序。

图4示出一种用于控制具有触摸屏传感器的便携式电子设备的方法。

详细描述

图1示出一计算设备，例如，所述计算设备可以是诸如便携式媒体播放器或web启用的移动电话这样的便携式电子设备100。便携式电子设备100包括处理器104，处理器104经由通信总线102与存储器108和大容量存储106进行电通信、并且被配置成使用存储器108的部分来执行一个或多个应用程序110。便携式电子设备100还包括具有触摸屏传感器162的显示器160。显示器160可以表示具有一个或多个图形用户界面元素165的图形用户界面164。

图形用户界面164可以配置有直接输入模式，其中图形用户界面的一个或多个图形用户界面元素165是可选图形用户界面元素166，所述可选图形用户界面元素166可以在其在显示器160上的位置处经由触摸屏传感器162所传感的用户触摸输入来选择。可选图形用户界面元素166的例子包括按钮、滑块、滚动条、超链接、下拉菜单、图标等。这些各种可选图形用户界面元素166的行为可以例如经由计算机程序130来编程，计算机程序130可以是应用程序编程接口。由此，响应于选择了可选图形用户界面元素166的用户触摸输入，便携式电子设备可以展示出与可选图形用户界面元素166相关联的已编程行为，例如选择下拉菜单选项、滚动窗口等。

为了使用户能切换输入模式，便携式电子设备100可以包括诸如应用程序编程接口这样的计算机程序130，它包括输入模式切换模块135，所述输入模式切换模块135被配置成接收模式切换用户输入152以便响应于模式切换用户输入152而在直接输入模式和相对姿势识别模式之间切换。在相对姿势识别模式中，使至少在图形用户界面164的所定义区域170中的一个或多个图形用户界面元素165成为不可选图形用户界面元素168。换言之，相对姿势输入模式中在特定不可选图形用户界面元素168附近的位置处接收到的输入不会使便携式电子设备100执行在直接输入模式中和该用户界面元素相关联的已编程功能。相反，如下所述，相对姿势识别模式中的触摸输入156会作为相对姿势输入被处理，不管底层的图形用户界面元素165。

在相对姿势识别模式中，计算机程序130内的基于姿势的控制模块140被配置成：在其中图形用户界面元素168不可选的所定义区域170中识别用户手指和触摸屏传感器162的表面之间的触摸屏传感器162上的接触点174；并且在所定义区域170中呈现邻近于接触点174的姿势控制172。基于姿势的控制模块140还被配置成基于始发自接触点174的用户触摸输入156来标识所检测的姿势158，并且基于所检测的姿势158向应用程序110发送消息以调节便携式电子设备100的操作。

计算机程序130还可以被配置成使基于姿势的控制模块140能访问开发者指定的控制参数149，姿势控制172被配置成按照所述指定的控制参数进行操作。开发者指定的控制参数149可由基于姿势的控制模块140从开发者指定的控制参数界面180接收。开发者指定的控制参数149可由例如应用程序开发者经由软件开发包(SDK)指定，并且可以包括定制姿势控制172的特征和功能的参数。例如，开发者指定的控制参数149可以包括音量参数、回放速度参数、回放方向参数、控制周界定义参数以及所定义的区域定义参数。这样，开发者可以将姿势控制172定义为音量控制或回放控制，并且可以指定控制的控制周界或其他地理属性，以及显示器中将被配置成接收姿势输入的所定义的区域。

根据这些开发者指定的控制参数，或者根据计算机程序130指定的其他预定义的参数，在相对姿势识别模式中，基于姿势的控制模块140被配置成在所定义的区域170内呈现姿势控制172，所定义的区域170被配置成接收触摸输入156。通过标识所定义的区域170内的所检测的姿势158，在相对姿势识别模式中，基于姿势的控制模块140用作前端处理器以接收在直接输入模式中会被定向到图形用户界面164的输入。可以理解，由于基于姿势的控制模块140担当前端处理器，因此它可以被配置成与在便携式电子设备100的图形用户界面164上显示的各个元素相独立地定位所定义的区域170，使得所定义的区域170浮于图形用户界面164的一部分或全部之上。

通过计算机程序130的输入模式切换模块135接收模式切换用户输入152，可以开始相对姿势识别模式。模式切换用户输入152在图1中示出为触摸输入，它可以通过和便携式电子设备100相关联的离合键154来接收。离合键154可以是诸如开关或按钮这样的键，在物理上位于便携式电子设备100的外壳上或者可以位于附件上，所述附件诸如与便携式电子设备100通信的一对耳机。离合键154可以是例如按钮或电容性开关。或者，模式切换用户输入152可以通过用户的手指和触摸屏传感器162的表面之间的接触来接收，所述接触可以是例如屏幕上按钮、轻击或姿势的选择。

在接收到模式切换用户输入152后，输入模式切换模块135可以开始相对姿势识别模式，并且向基于姿势的控制模块140输出消息。特别是，输入模式切换模块135向基于姿势的控制模块140内的接触点识别器142发送一请求消息，指示已经开始相对姿势识别模式并且请求接触点识别器142在所定义的区域170内返回接触点174，其中图形用户界面元素168在该所定义的区域170内是不可选的。

在接收到请求消息后，接触点识别器142在触摸屏传感器162的表面上识别所定义的区域170内的接触点。接触点174通过(图1中表示为触摸输入156的)用户的手指以及触摸屏传感器162的表面之间的在所定义的区域170内的接触而形成。

在识别接触点174后，接触点识别器142可以被配置成呈现一姿势控制172，该姿势控制172具有在所定义的区域170内在所识别的接触点174附近的所定义的周界176。接触点识别器142可以从控制周界定义器144接收指定控制周界176的参数的输入。接触点识别器142可以从控制周界定义器144接收控制周界定义参数。控制周界定义参数可以指定例如用于计算控制周界的公式，它可以基于距接触点174的距离D。在一个例子中，控制周界可以是来自可经由计算机程序130可访问的一组标准控制定义的预设控制周界。在另一个例子中，控制周界定义器144可以接收包括控制周界定义参数的输入，所述控制周界定义参数被包括在来自开发者指定的参数模块148的一组开发者指定的控制参数149中，从而使开发者能指定控制周界的大小和形状。

可以理解，姿势控制172可以包括相关联的图标，它可以是部分半透明的，然而在其他实施例中，姿势控制172可以是在视觉上不可辨的。图标如果存在则在视觉上表示控制周界和/或接触点，或者可以向用户提供其他图标图形信息。该其他图标图形信息可以包括例如：在虚拟控制棒的控制下的偏转角度和程度，或者在线性滑块控制下的偏转程度。在一些实施例中，除了这里所述的接受姿势之外，图标可以对应于轻击输入。

在呈现了姿势控制172后，接触点识别器142被配置成向标识器146发送消息，请求标识所检测的姿势158，这在图1中示出为始发自接触点174。标识器146驻留在基于姿势的控制模块140中，并且接收来自接触点识别器142的消息以及来自库190和开发者指定的参数模块148的输入。

基于这些输入，标识器146被配置成把经由触摸传感器接收到的触摸输入标识为始发自接触点174的所检测的姿势158。例如，在图1中，标识器146被示出为接收来自库190的输入，库190被描述为包括预定义的姿势192的定义。由此，标识器146可以至少部分基于对所检测的姿势158的解释来标识所检测的姿势158，所述解释包括所检测的姿势158和定义之间的比较，所述所检测的姿势158在图形用户界面元素168经由触摸屏传感器162不可选的所定义的区域170中由姿势控制172所接收，而所述定义和库190内的一组一个或多个预定义的姿势192中的一个相对应。

可以理解，所检测的姿势158的解释可以基于一个或多个开发者指定的控制参数149，例如包括在开发者指定的参数模块148中以及从开发者指定的控制参数界面180接收到的参数。这样，应用程序110的开发者可以指定所检测的姿势158的解释。例如，开发者可以表示所定义的区域170中可以忽略所检测的姿势158的域(例如“死区”)、根据开发者指定的规则来解释所检测的姿势158的区别参数、被配置成区别实际检测的姿势和假检测姿势的逻辑、等等。这样，开发者可以根据特定的应用程序110定制标识器146的操作。

在解释了所检测的姿势158之后，标识器146经由基于姿势的控制模块的通信模块150向应用程序110发送消息。消息向应用程序110通知所检测的姿势158，并且可用于使应用程序基于所检测的姿势158调节便携式电子设备100的操作。

例如，标识器146可以被配置成指示应用程序110基于从接触点174到已被标识的所检测的姿势158的相对距离来调节便携式电子设备100的操作。图2中示出一个例子，其中计算机程序130的基于姿势的控制模块140被配置成向媒体回放应用程序发送消息，以便根据由基于姿势的控制模块140所标识的所检测的姿势158来调节便携式电子设备100的操作。轴H表示水平方向，轴V表示和轴H正交的垂直方向。

继续图2，姿势控制172(图1)在便携式电子设备100的触摸屏传感器162中被表示为所定义的区域170中的传输控制200。在便携式电子设备100的边缘上示出的离合键154可用于开始相对姿势识别模式。在所定义的区域170内接收到手指触摸后，接触点识别器142呈现传输控制200。传输控制200被配置成把传输控制200的参考210的一帧拟合到所定义的区域170中的接触点174。在表示传输控制200的回放控制模式的该例中，所检测的姿势158由标识器146基于检测到用户手指方向与参考210的帧基本垂直来标识，响应于此，通信模块150把消息从标识器146发送到应用程序110以调节媒体回放的音量。

所检测的姿势158的基本正垂直的方向可以被解释为和库190内用于提高媒体回放音量的预定义的姿势192相对应。而且，媒体回放的音量强度可以根据所示的距离B来确定，距离B示出接触点174和所检测的姿势158的端点之间的距离。例如，音量强度可以通过距离B的绝对测量来确定。由此，如果B被确定为是五个测量的距离单位，则音量强度可以改变例如五个音量单位。在另一例中，音量强度可以通过相对于特定音量级的距离B来确定，所示特定音量级可以在应用程序110的开发者所指定的一组开发者指定的控制参数149(图1)中指定。由此，如果B被确定为是五个测量的距离单位，则音量强度可以改变例如预定义的音量级的百分之五。在可替代的例子中，如果距离B被确定为是和控制周界定义参数(未示出)相对应的距离的百分之五，则音量强度可以改变相应的百分之五。

为了实现暂停控制，例如，所检测的姿势158可以基于检测到用户手指相对于参考210的帧的轻击移动来标识。响应于此，基于姿势的控制模块可以把轻击输入发送至应用程序，应用程序可以把轻击输入解释为改变媒体回放的暂停状态。为了实现快进和/或倒带控制，所检测的姿势158可以基于检测到用户手指相对于参考210的帧的基本水平方向的移动来标识，响应于此，基于姿势的控制模块可以把所检测的姿势158发送至应用程序，应用程序又调节媒体回放的时间位置。可以理解，媒体回放可以是存储在便携式电子设备100上的音频或可视媒体，或者可以是由便携式电子设备100从网络接收到的媒体。而且，传输控制200可以根据媒体回放的类型来配置。例如，如果媒体回放是来自广播站的广播流，则上述快进和/或倒带控制可以改为控制前向扫描或后向扫描无线电频率，上述轻击输入可以激活预设站，等等。

还可以理解，除了基于姿势的传输控制以外，传输控制200还可以根据应用程序的上下文来呈现控制选项，所述上下文可以是基于姿势的或不基于姿势的。例如，如果在web浏览器应用程序的上下文中呈现传输控制200，则除了用于控制媒体回放的传输控制以外，可以呈现关于web浏览器的控制。在另一例中，如果在计算机游戏应用程序的上下文中呈现传输控制200，则可以呈现关于计算机游戏的控制，例如控制游戏音乐的传输控制以及用于暂停游戏和选择游戏选项的基于姿势的菜单。这样，开发者能够使传输控制200与应用程序协调。

此外，基于姿势的控制模块可以被配置成指示应用程序基于从所定义的控制周界176上的预定位置178到所检测的姿势158的相对距离来调节便携式电子设备100的操作。例如，如图3所示，计算机程序可以是计算机游戏应用程序，计算机程序130的基于姿势的控制模块140可以被配置成向计算机游戏应用程序发送消息，以便基于虚拟控制棒控制302到控制周界176或接触点174的相对距离来调节便携式电子设备100的操作。可以理解，在图3中，轴X表示水平方向，轴Y表示和轴X正交的垂直方向。另一参考R表示绕垂直于平面XY的旋转轴的旋转方向，平面XY与触摸屏传感器162的表面平行。在该例中，旋转轴与平面XY在接触点174相交。可以理解

继续图3，姿势控制172(图1)被表示为虚拟游戏控制300。虚拟游戏控制300被配置成在相对姿势识别模式中在所定义的区域内接收到触摸输入后，在接触点174产生虚拟控制棒控制302。产生虚拟控制棒控制302的过程可以被理解成在接触点174创建虚拟控制棒控制302的实例。基于姿势的控制模块140还被配置成在便携式电子设备100的触摸屏传感器162中，定义在所定义的区域170中围绕虚拟游戏控制棒控制302的控制周界176。基于姿势的控制模块140还被配置成定义虚拟控制棒控制302在控制周界176处的全尺寸偏转F。而且，当基于虚拟游戏控制300经由虚拟控制棒控制302接收到的用户触摸输入156(图1)的所检测的姿势158处在控制周界176内时，向计算机游戏应用程序发送消息，该消息与虚拟控制棒控制302相对于虚拟控制棒控制302的全尺寸偏转F的测得的偏转P成比例。而且，当基于虚拟游戏控制300经由虚拟控制棒控制302接收到的用户触摸输入156的所检测的姿势158在控制周界176外被接收时，向计算机游戏应用程序发送消息，该消息与虚拟控制棒控制302的全尺寸偏转F基本相同。

图3所示的例子表示虚拟游戏控制300的计算机游戏控制模式，描述了在距控制周界176中的接触点174的距离P处的虚拟控制棒控制302。在这一例子中，由标识器146(图1)基于接触点174处用户手指和触摸屏传感器162之间的所检测的接触来标识所检测的姿势158。响应于此，通信模块150向应用程序110发送消息以便基于虚拟控制棒控制302的距离P和全尺寸偏转F的比例来调节便携式电子设备100的操作。例如，如果成比例响应是线性比例，并且测得的距离P表示了全尺寸偏转F的80％，则通信模块150会向应用程序110发送消息以便将便携式电子设备100的输出调节操作参数的80％。在计算机游戏应用程序的上下文中，操作参数可能是行进速度，然而可以理解，也可以类似地调节其他操作参数。例如，所定义的区域170内虚拟控制棒控制302相对于接触点174的相对位置可以提供方向操作参数。特别是，虚拟控制棒控制302沿着所检测的姿势158所述的路径的移动可以被解释和输出为游戏人物的行进路径、旋转移动的方向(例如人物或观察点旋转)等。还可以理解，这些操作参数的例子以及对与其相关联的输出定比例的方法可以在由应用程序110的开发者所指定的一组开发者指定的控制参数149(图1)中指定。这样，基于姿势的控制模块140可以向应用程序110发送消息以调节便携式电子设备100的操作。

在上述各个实施例中，可以理解，例如，当接触点识别器检测到用户手指和触摸屏传感器之间的接触已经终止了预定的时间段时，基于姿势的控制模式模块140停止经由标识器146标识姿势，并且开始尝试检测触摸。当检测到新的接触点174时，可以理解，可以例示新的姿势控制172，结果，参考210的帧会有效地拟合到新接触点174的位置。这样，无论用户在哪里选择与所定义的区域170内的触摸屏传感器162接触，都会在该位置产生姿势控制，因此使用户能在显示器160上的各个位置进行用户输入。有了这样灵活的输入，用户能容易地控制便携式电子设备100，而无须视觉上检查显示器160并且无须无心地激活不可选的图形用户界面元素。

图4示出一流程图，描述了用于控制具有触摸板传感器的便携式电子设备的方法400的实施例。方法400可由具有触摸屏传感器的任何合适的便携式电子设备来实现，包括图1-3的便携式电子设备100。

方法400包括，在402，响应于模式切换用户输入开始相对姿势识别模式，其中在相对姿势识别模式中，使图形用户界面的所定义区域中的一个或多个图形用户界面元素成为不可选的。模式切换用户输入可以从由经与便携式电子设备相关联的离合键的用户输入以及经用户手指和触摸屏传感器的表面间的接触的用户输入组成的组中选择。在一些例子中，在402开始相对姿势还可以包括定位图形用户界面的所定义的区域，在所定义的区域中，图形用户界面元素独立于图形用户界面而不可选择。换言之，一旦激活了相对姿势识别模式，所定义的区域就可以被定位在触摸屏传感器上的任何位置，并且可以包括触摸屏传感器的子区域或整个触摸屏传感器。

方法400还包括，在404，在图形用户界面元素在相对姿势识别模式中不可选的所定义的区域中，识别触摸屏传感器上在用户手指和触摸屏传感器表面之间的接触点。接着，方法400包括，在406，在图形用户界面元素在相对姿势识别模式中是不可选的所定义的区域中，呈现具有位于所述接触点附近的控制周界的姿势控制。

可以理解，在406呈现姿势控制可以包括如上所述地呈现传输控制。此外，呈现姿势控制还可以包括将传输控制的参考的帧拟合到所定义区域内的接触点。而且，呈现具有在接触点附近的所定义控制周界的姿势控制可以包括：在接触点处产生虚拟游戏控制的虚拟控制棒控制，其中所定义的控制周界具有虚拟控制棒控制在所定义的控制周界处的全尺寸偏转。由于设备处在相对姿势识别模式且以此方式呈现姿势控制，因此所检测的姿势可以在触摸屏传感器的所定义的区域中被接收，并且被标识。

方法400还包括，在408，在图形用户界面元素在触摸屏传感器内不可经由触摸屏传感器选择的所定义的区域中，基于从姿势控制所接收到的接触点始发的用户触摸输入来标识所检测的姿势。在一例中，标识所检测的姿势还包括：至少部分基于对所检测的姿势和定义之间的比较来解释所检测的姿势，所述所检测的姿势在图形用户界面元素经由触摸屏传感器不可选的所定义的区域中由姿势控制所接收，所述定义和预定义姿势的库中的一组一个或多个预定义姿势中的一个相对应。

方法400还可以包括，在408，使基于姿势的控制模块能访问开发者指定的控制参数，姿势控制被配置成根据控制参数来进行操作。在一例中，开发者指定的控制参数可以从由音量参数、回放速度参数、回放方向参数、控制周界定义参数以及所定义的区域定义参数组成的组中进行选择。这样，开发者可以经由软件开发包来指定例如对于特定应用程序特有的便携式电子设备的控制参数。

最后，方法400还包括，在410，基于从所定义的控制周界上的预定位置到如此标识的所检测的姿势的相对距离，或者基于从接触点到如此标识的所检测的姿势的相对距离，来调节便携式电子设备的操作。在一例中，调节便携式电子设备的操作包括：响应于由用户手指相对于参考的帧的基本水平方向所标识的所检测的姿势来调节媒体回放的时间位置。在另一例中，调节设备的操作包括：响应于由用户手指相对于参考的帧的基本垂直方向所标识的所检测的姿势来调节媒体回放的音量。在还有一例中，调节设备的操作包括：响应于由用户手指相对于参考的帧的轻击移动所标识的所检测的姿势来调节媒体回放的暂停状态。

此外，调节便携式电子设备的操作可以包括：当触摸屏传感器所接收的姿势在所定义的控制周界内被接收时，从虚拟游戏控制输出一响应，该响应与虚拟控制棒控制相对于虚拟控制棒控制的全尺寸偏转的测得的偏转成比例。而且，调节便携式电子设备的操作还可以包括：当相对姿势在所定义的控制周界外被接收到时，从虚拟游戏控制输出一响应，该响应与虚拟控制棒的全尺寸偏转基本相同。

和这里所述的系统相似，上述方法可用于在用户并未视觉地检查设备的情况下便于用户控制便携式电子设备，而且不会无心地选择已经不可选的图形用户界面元素。

可以理解，图4所示的方法可以驻留在计算机可读存储介质上，所述计算机可读存储介质包括可由计算设备执行以执行所述方法的指令。还可以理解，此处所描述的计算设备可以是被配置成执行此处所描述的程序的任何合适的计算设备。例如，计算设备可以是大型计算机、个人计算机、膝上型计算机、便携式数据助理(PDA)、启用计算机的无线电话、联网计算设备，或其他合适的计算设备，并可以经由诸如因特网等计算机网络彼此连接。这些计算设备通常包括处理器以及相关联的易失性和非易失性存储器，并被配置成使用易失性存储器的各部分和处理器来执行存储在非易失性存储器中的程序。如此处所使用的，术语“程序”指的是可由此处所描述的一个或多个计算设备执行或利用的软件或固件组件，并且意味着包含单独的或各组可执行文件、数据文件、库、驱动程序、脚本、数据库记录等等。可以理解，可以提供其上存储有程序指令的计算机可读介质，该程序指令在由计算设备执行时使该计算设备执行上文所描述的方法并使得系统如上操作。

应当理解，此处的各实施例是说明性而非限制性的，因为本发明的范围由所附权利要求书而非之前的说明书来限定，并且落入权利要求的边界和范围内的所有改变或这些边界和范围的等效技术方案因此都旨在被权利要求所涵盖。

Claims

1.一种可在具有触摸屏传感器（162）的便携式电子设备（100）上执行的方法，所述方法包括：

由输入模式切换模块（135）接收模式切换用户输入（152）以便响应于用户输入（152）在直接输入模式和相对姿势识别模式之间切换，其中在所述直接输入模式中，所述便携式电子设备（100）的图形用户界面（164）的一个或多个图形用户界面元素可经由用户的触摸输入来选择，而在所述相对姿势识别模式中，至少在所述图形用户界面（164）的所定义的区域（170）中的图形用户界面元素（165）成为不可选择；以及

在相对姿势识别模式中，由基于姿势的控制模块（140）在图形用户界面元素（168）不可选的所定义的区域（170）中识别触摸屏传感器（162）上在用户手指和触摸屏传感器（162）的表面之间的接触点（174），在所定义的区域（170）中呈现位于接触点（174）附近的姿势控制（172），基于始发自所述接触点（174）的用户触摸输入（156）来标识所检测的姿势（158），以及向应用程序（110）发送一消息以便基于所检测的姿势（158）来调节所述便携式电子设备（100）的操作；

所述方法还包括由所述基于姿势的控制模块访问开发者指定的控制参数，所述姿势控制被配置成根据所述控制参数来进行操作。

2.如权利要求1所述的方法，其特征在于，所述模式切换用户输入从经由与便携式电子设备相关联的离合键的用户输入以及经用户手指和触摸屏传感器的表面间的接触的用户输入组成的组中选择。

3.如权利要求1所述的方法，其特征在于，所述姿势控制包括传输控制，所述传输控制被配置成将传输控制的参考的帧拟合到所定义的区域内的接触点。

4.如权利要求3所述的方法，

其中所述基于姿势的控制模块向媒体回放应用程序发送一消息以便根据所述基于姿势的控制模块所标识的所检测的姿势来调节所述便携式电子设备的操作；

其中在所述传输控制的回放控制模式中，所检测的姿势基于检测到用户手指相对于参考的帧的水平方向的移动来标识，并且响应于此而调节媒体回放的时间位置；

其中在所述传输控制的音量控制模式中，所检测的姿势基于检测到用户手指相对于参考的帧的垂直方向的移动来标识，并且响应于此而调节所述媒体回放的音量；以及

其中在所述传输控制的暂停控制模式中，所检测的姿势基于检测到用户手指相对于参考的帧的轻击移动来标识，并且响应于此而调节所述媒体回放的暂停状态。

5.如权利要求1所述的方法，

其中所述姿势控制包括虚拟游戏控制，所述虚拟游戏控制被配置成在所述接触点处产生用于虚拟游戏控制的虚拟控制棒控制；

其中所述基于姿势的控制模块定义围绕所述虚拟控制棒的控制周界；

其中所述基于姿势的控制模块还向计算机游戏应用程序发送一消息，以便基于所述虚拟控制棒控制距所述控制周界或所述接触点的相对距离来调节所述便携式电子设备的操作。

6.如权利要求5所述的方法，

其中所述基于姿势的控制模块还在所述控制周界处定义所述虚拟控制棒的全尺寸偏转；

当基于虚拟游戏控制经由虚拟控制棒控制接收到的用户触摸输入的所检测的姿势处在控制周界内时，向计算机游戏应用程序发送消息，该消息与虚拟控制棒控制相对于虚拟控制棒控制的全尺寸偏转的测得的偏转成比例；

其中，当基于虚拟游戏控制经由虚拟控制棒控制接收到的用户触摸输入的所检测的姿势在控制周界外被接收时，向计算机游戏应用程序发送消息，该消息与虚拟控制棒控制的全尺寸偏转相同。

7.如权利要求1所述的方法，其中所述基于姿势的控制模块还独立于所述便携式电子设备的图形用户界面而定位所述所定义的区域。

8.如权利要求1所述的方法，其特征在于，所述开发者指定的控制参数从由音量参数、回放速度参数、回放方向参数、控制周界定义参数以及所定义的区域定义参数组成的组中进行选择。

9.一种控制具有触摸屏传感器（162）的便携式电子设备（100）的方法，包括：

响应于模式切换用户输入（152）开始相对姿势识别模式，其中在所述相对姿势识别模式中，使图形用户界面（164）的所定义区域（170）中的一个或多个图形用户界面元素（165）成为不可选；

在图形用户界面元素（168）在相对姿势识别模式中不可选的所定义的区域（170）中，识别触摸屏传感器（162）上在用户手指和触摸屏传感器（162）的表面之间的接触点（174）；

在图形用户界面元素（168）在相对姿势识别模式中是不可选的所定义的区域（170）中，呈现具有位于所述接触点（174）附近的所定义的控制周界（176）的姿势控制（172）；

在图形用户界面元素（168）在触摸屏传感器（162）内不可经由触摸屏传感器（162）选择的所定义的区域（170）中，基于从姿势控制（172）所接收到的接触点（174）始发的用户触摸输入（156）来标识所检测的姿势（158）；

基于从所定义的控制周界（176）上的预定位置（178）到所检测的姿势（158）的相对距离，或者基于从接触点（174）到所检测的姿势（158）的相对距离，来调节所述便携式电子设备（100）的操作。

10.如权利要求9所述的方法，其特征在于，所述模式切换用户输入从由经与便携式电子设备相关联的离合键的用户输入以及经用户手指和触摸屏传感器的表面间的接触的用户输入组成的组中选择。

11.如权利要求9所述的方法，

其中呈现姿势控制包括呈现传输控制；

其中，呈现姿势控制还包括将传输控制的参考的帧拟合到所定义区域内的接触点。

12.如权利要求11所述的方法，其中调节所述便携式电子设备的操作包括：

响应于由用户手指相对于参考的帧的水平方向所标识的所检测的姿势，来调节媒体回放的时间位置；

响应于由用户手指相对于参考的帧的垂直方向所标识的所检测的姿势，来调节媒体回放的音量；以及

响应于由用户手指相对于参考的帧的轻击移动所标识的所检测的姿势，来调节媒体回放的暂停状态。

13.如权利要求9所述的方法，其特征在于，呈现具有在接触点附近的所定义控制周界的姿势控制包括：在接触点处产生虚拟游戏控制的虚拟控制棒控制，其中所定义的控制周界具有虚拟控制棒控制在所定义的控制周界处的全尺寸偏转。

14.如权利要求13所述的方法，其中调节所述便携式电子设备的操作包括：

当触摸屏传感器所接收的姿势在所定义的控制周界内被接收时，从虚拟游戏控制输出一响应，该响应与虚拟控制棒控制相对于虚拟控制棒控制的全尺寸偏转的测得的偏转成比例；

当所述相对姿势在所定义的控制周界外被接收时，从虚拟游戏控制输出一响应，该响应与所述虚拟控制棒控制的全尺寸偏转相同。