CN106104424A - 可训练的基于传感器的姿势识别 - Google Patents

Abstract

在许多计算方案中，设备包括至少一个传感器，并且被配置为根据传感器的传感器输出来识别用户执行的姿势，以及在识别出姿势时执行特定的动作。然而，许多设备被预配置有这些姿势，并且识别特定于设备的传感器，并且不特定于特定用户执行姿势的方式。本文提供了用于使设备能够通过在用户执行姿势的同时监视设备提供的任何传感器的传感器输出来识别新姿势，任选地请求重复姿势执行，直至达到识别置信度。一旦训练到根据设备的特定传感器的传感器输出识别出姿势，设备可以随后识别用户执行的姿势且执行关联的动作。

Description

可训练的基于传感器的姿势识别

背景技术

在计算领域内，许多方案涉及到由用户执行并通过设备的传感器识别的姿势。在许多这样的方案中，设备以一个或多个传感器为特征，诸如加速度计、麦克风和/或触摸敏感显示器。该设备可由制造商预编程以识别由用户执行的多个姿势，诸如将手机放到耳旁、在触摸敏感显示器上执行“夹捏”姿势；以及将手机面朝下放到水平表面上。设备可被编程，例如通过在典型用户执行姿势时标识传感器的模型传感器输出，使得当特定的用户以类似于典型用户的方式执行姿势时，设备能够通过将传感器输出与代表姿势的模型传感器输出进行比较来识别姿势。

发明内容

提供该概述以便以下文在详述部分中进一步描述的简化形式来引入构思的选择。该概述不意在排他地标识出权利要求主题的关键特征或主要特征，也不意在该概述用来限定权利要求主题的范围。

虽然具有一组预编程姿势的设备的配置可以实现方便的用户输入模式，但是设备的此类识别特征经常不是显著可配置的，尤其不适应用户。例如，许多这样的识别器进行静态训练以检测近似姿势的典型示例的传感器输出，得到了在错误否定(例如，未能识别出所执行的姿势，因为用户不同于典型用户执行了该姿势)以及错误肯定(例如，使得与姿势相关联的传感器输出的范围如此之广以至于非姿势变化被不正确地解释为姿势)均不精确的识别过程。而且，用户的姿势偏好经常在用户的设备之间不是便携的，或者不能适应设备可用的一组传感器的变化。

本文提供了使得用户能够配置设备以识别新姿势以及在识别模式期间检测到姿势时将新姿势分配给待执行的动作的技术。根据这些技术，在处于识别模式时，设备在用户执行姿势的同时监视设备的一个或多个传感器的传感器输出，并且标识出对应于该姿势的一组标识传感器输出。然后，当设备检测到传感器的标识传感器输出时，设备可以接受动作与待执行的姿势的关联。通过这种方式，依照本文提供的技术，设备可以使得用户能够规定新的姿势，根据用户所执行的特定方式来校准姿势，和/或配置姿势和设备所能执行的动作的关联。

为了实现上述目的以及相关的目的，下面的说明书和附图阐述了一些示例性的方面和实现方式。这些指示了可以采用一个或多个方面的各种方式中的仅仅几个。公开的其它方面、优点和新颖特征将根据以下结合附图考虑的详细说明中变得显而易见。

附图说明

图1是将设备特征化的示范性的方案的图示，该设备被配置为标识一组姿势，以及在检测到用户执行该姿势时执行此类姿势。

图2是根据本文提供的技术的将设备特征化的示范性的方案的图示，该设备被配置为标识与用户执行的姿势相关联且将要与动作相关联的传感器的标识传感器输出，以及在检测到用户执行所述姿势时标识所述动作的执行。

图3是根据本文提供的技术配置设备识别姿势且执行关联的动作的第一示范性的方法的图示。

图4是根据本文提供的技术示出了包括用于识别姿势和执行关联动作的系统的示范性的设备的组件框图。

图5是包括被配置为具体实施本文阐述的一个或多个舌状的处理器可执行指令的示范性的计算机可读介质的图示。

图6是可以使用本文提供的技术的示范性的移动设备的图示。

图7是根据本文提供的技术将姿势简档服务特征化的示范性的方案的图示，使得能够在用户使用的多个设备之间共享姿势信息。

图8是根据本文提供的技术将在检测到设备执行的新姿势时调用训练模式的技术特征化的示范性的方案的图示。

图9是根据本文提供的技术将来自标识用户执行的姿势的传感器集合的标识传感器输出的标识特征化的示范性的方案的图示。

图10是根据本文提供的技术将响应于姿势而执行动作特征化的示范性的方案的图示，其中动作在上下文上与检测到姿势的传感器有关。

图11是示范性的计算环境的图示，其中可以实现和/或使用本技术的一部分。

具体实施方式

现在将参考附图来描述权利要求的主题，其中相似的附图标记在全文用来指代相似的元素。在下面的说明中，为了说明的目的，阐述了若干具体的细节以便提供对权利要求主题的全面理解。然而，显然，权利要求主题可以在没有这些具体细节的情况下实施。在其它实例中，为了促进权利要求主题的描述，以框图形式示出了结构和设备。

A.介绍

图1是将设备104的用户102特征化的示范性的方案100的图示，该设备被配置为检测用户102执行的姿势110，以及响应于该姿势而执行动作114。在该示范性的方案100中，设备104的特征在于：第一传感器106，其包括能够检测设备的方位和/或运动的加速度计，以及第二传感器106，其包括能够检测环境声音的麦克风。设备104被预配置为通过将传感器输出108与关联每个姿势110的模型传感器输出112进行比较来检测用户执行的姿势110。模型传感器输出112可以包括例如，当典型用户执行姿势110时相应的传感器106的传感器输出108的模型，或者在姿势110执行期间合成以近似传感器输出108的抽象或模板。设备104还预配置有由设备104的开发者或制造商选定的在检测到每个姿势110时要执行的一组动作114。例如，在检测到用户102将设备104抬起放到他或她的耳旁的第一姿势110且开始对麦克风讲话时，设备104可执行接收来自用户102的询问的动作114。在检测到用户102摇动设备的第二姿势110时，设备102可以执行将设备104的音量在可听设置与静音设置之间切换的动作114。在检测到用户102将设备102面朝下放到水平表面上的第三姿势110时，设备104可以执行激活设备104的锁定功能的动作114。另外，设备104可被预配置为针对每个姿势110仅使用特定的传感器106；例如，可以通过将两个传感器106的传感器输出108与模型传感器输出112进行比较来检测第一姿势110，但是可仅使用第一传感器106的传感器输出108来检测第二姿势110。

因此，在使用116期间，用户102可以执行姿势110，诸如摇动设备104。设备104可以监视相应的传感器106的传感器输出108，并且可以将模型传感器输出112与相应的传感器106的传感器输出108进行比较以检测姿势110。在进行这样的检测时，设备104可以执行与所执行的姿势108相关联的动作114。通过这种方式，设备104可以使用户102能够执行姿势110来控制设备104的操作。

然而，可以意识到，当设备102由制造商或开发者预配置而根据图1的示范性的方案100来识别用户102执行的姿势时，会出现各种缺点。

作为第一个例子，典型用户执行姿势110的方式可能与特定用户102的姿势不对应。例如，对于诸如摇动设备104的姿势110，不同的用户102可以不同的持续期间、频率、强度和方向执行摇动。在不增加识别过程中的错误肯定率的情况下配置设备104识别任何用户102所执行的“摇动”姿势110是困难的(例如，简单地将任何摇动设备104的方式解释为姿势110会导致设备104在其它事件期间执行动作114，其它事件诸如携带在口袋中时设备的振动)。

作为第二个例子，用户102可能希望创建设备104的传感器106能够识别的新姿势110。然而，如图1的示范性的方案100所示配置的设备104可能仅能够识别具体的一组预定义姿势110，而不能为用户104提供定义并描述新姿势110的能力。另外，用户102可能希望将新的或先前识别的姿势110与特定的动作114相关联，但是设备104可能不能健壮地允许用户102规定姿势110与动作114之间的关联；例如，设备104可被预编程以将“夹捏”触摸姿势110仅与“放大”动作114相关联，并且可能不准许用户102将该姿势110重新分配给另一动作114。

作为第三个例子，用户102可以使用一组设备104，或者可以从第一设备104切换到第二设备104。用户102可以在使用第二设备104的同时仍想要使用在第一设备102上定义的姿势110，但是第二设备104上的预编程的一组识别的姿势110和关联的动作114可能不同于第一设备104所提供的。也即，设备104不会典型地交换关于用户102使用的姿势110以及响应于这种姿势110的动作114的信息。

作为第四个例子，在特定的设备104上的一组传感器106可以变化，或者可以在用户102的第一设备104与第二设备104之间不同。因此，设备104可能难以将使用第一传感器106或传感器组对姿势110的识别转换成使用第二传感器106或传感器组对姿势110的识别，即使第二传感器106恰好如第一传感器106那样能够识别姿势110。由于这些以及其它原因，如设备的制造商或开发者所提供的对设备104预配置以识别姿势，而用户102不具备调节所识别的姿势108和所执行的动作114的显著能力，会导致用户102使用设备104的局限性。

B.提供的技术

图2呈现了以能够针对用户102的偏好而调节姿势110的识别以及动作114的执行的设备104为特征的示范性的方案200的图示。在该示范性的方案200中，设备104可以提供训练模式202，其中用户102可以训练设备104以识别新姿势110或者用户102执行已知姿势110的特定方式。例如，设备104可以包括：第一传感器106，其包括加速度计；以及第二传感器106，其包括麦克风。设备104可以请求用户102执行姿势110的一个或多个姿势执行204，并且可以在每个姿势执行204期间监视每个传感器106的传感器输出108。在姿势110的姿势执行204期间检测到一个或多个传感器106的传感器输出108中的对应时，设备104可以识别与姿势110相关联的一个或多个传感器108的标识传感器输出208。例如，在用户102执行诸如摇动设备的姿势110时，设备104可以判定加速度计在每个此类姿势执行204期间提供了一致的一组传感器输出108，但是可能不能检测到来自麦克风的这种一致的传感器输出108。因此，设备104可以将来自第一传感器106的标识传感器输出208识别为识别姿势110。在检测到用户102执行姿势110时，设备104还可以允许用户102选择待由设备104执行的动作114，并且可以存储姿势110、标识传感器输出208和动作114的关联。

如图2的示范性的方案200中进一步图示的，在识别模式210期间，用户102可以执行姿势110。设备104可以将传感器108的传感器输出108与在训练模式202期间所确定的关联每个姿势110的标识传感器输出208进行比较。在检测到匹配时，设备104可以确定姿势110已被执行，并且可以执行与姿势110关联的动作114。通过该方式，根据本文提供的技术，设备104使用户102能够将新的姿势110教给设备104，并且训练设备104识别用户102执行已知姿势的特定方式。

C.示范性的实施例

图3呈现了本文提供的技术的示范性的第一实施例的图示，图示为示范性的方法300，其使包括一个或多个传感器的设备104能够在检测到用户102执行的姿势110时执行动作114。示范性的第一方法300可以实现为例如存储在具有处理器的设备的存储器部件(例如，存储器电路、硬盘驱动器的盘、固态存储设备或磁盘或光盘)中的指令集，其中当在处理器上执行时，所述指令使得所述设备根据本文提供的技术来操作。示范性的第一方法300开始于302，并且涉及到在设备的处理器上执行304指令。特别地，在处理器上执行指令使得设备104在用户102执行姿势110的同时，在训练模式202的期间306，监视308传感器106以检测识别姿势110的标识传感器输出208。在处理器104上执行指令还使得设备，在训练模式202的期间306内，将传感器106的标识传感器输出208与姿势110关联310，将动作与姿势110关联312。在处理器上执行指令还使得设备104，在识别模式210的期间314内，监视316传感器106的传感器输出108；以及在检测到传感器输出106匹配与姿势110关联的标识传感器输出208时，执行318与姿势110相关联的动作114。通过这种方式，示范性的第一方法300使得设备识别姿势110并根据本文提供的技术执行与其相关联的动作114，并且因此在320处结束。

图4呈现以本文提供的技术的第二实施例为特征的示范性的方案440的图示，图示为包括示范性的系统408的示范性的设备402，该示范性的系统408使得示范性的设备402能够执行与用户102所执行的姿势110相关联的动作114。示范性的设备402还包括处理器404、存储器406以及提供传感器输出108的至少一个传感器106。示范性的系统406的一个或多个组件可实现为，例如存储在示范性的设备402的存储器部件中的指令，当在处理器404上执行时，所述指令使得示范性的设备402执行本文提供的技术的至少一部分。替选地(虽未示出)，示范性的系统406的一个或多个部件可实现为例如易失性的或非易失性的逻辑电路，诸如特别设计的芯片上半导体(SoC)或者现场可编程门阵列(FPGA)的配置，该易失性的或非易失性的逻辑电路执行本文提供的技术的至少一部分，使得组件的互操作完成本文提供的技术的变型例的执行。示范性的系统406包括姿势训练器410，在用户102执行姿势110的同时，该姿势训练器监视传感器106的传感器输出108以检测识别姿势110的标识传感器输出208，并且将用于姿势110的标识传感器输出208存储在示范性的设备402的存储器406中。示范性的系统408还包括动作关联器412，在从用户102接收到与姿势110相关联的动作114时，所述动作关联器将动作114与姿势110的关联存储在示范性的设备402的存储器406中。示范性的系统408还包括姿势识别器114，其监视传感器106的传感器输出108以检测识别姿势110的标识传感器输出208，使得示范性的设备402执行在存储器406中与关联标识传感器输出208的姿势110相关联的动作114。通过这种方式，示范性的系统408使得示范性的设备402根据本文提供的技术而响应于用户102执行姿势110来执行动作114。

又一实施例涉及到包括处理器可执行指令的计算机可读介质，所述处理器可执行指令被配置为应用本文提供的技术。这些计算机可读介质可以包括例如，计算机可读存储设备，包括有形设备，诸如存储器半导体(例如，使用静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)和/或同步动态随机存取存储器(SDRAM)技术的半导体)、硬盘驱动器的底板、闪存设备、或者磁盘或光盘(诸如CD-R、DVD-R、或软盘)，其中编码有一组计算机可读指令，当通过设备的处理器执行时，所述计算机可读指令使得所述设备实现本文提供的技术。这些计算机可读介质还可以包括(作为排除计算机可读存储设备的一类技术)各种类型的通信介质，诸如可通过各种物理现象传播的信号(例如，电磁信号、声波信号或光信号)，以及在各种有线方案中传播的信号(例如，经由以太网或光纤电缆)和/或无线方案(例如，无线局域网(WLAN)，如WiFi、个域网(PAN)，如蓝牙，或者蜂窝或无线电网络)，并且其中编码有一组计算机可读指令，当通过设备的处理器执行时，所述计算机可读指令使得设备实现本文提供的技术。

可通过这些方式设计的示范性的计算机可读介质图示在图5中，其中实现方式500包括计算机可读存储设备502(例如，CD-R、DVD-R，或者硬盘驱动器的底板)，其中编码有计算机可读数据504。该计算机可读数据504进而包括一组计算机指令506，一组计算机指令506能够在设备104的处理器404上执行，所述计算机指令使得设备104根据本文阐述的原理来操作。在第一个这样的实施例中，在设备104的处理器404上执行指令506可使得设备执行方法508，该方法508配置设备响应于检测到用户102执行的姿势110而执行动作114，诸如图3的示范性的方法300。在第二个此类实施例中，在处理器404上执行指令506可以实现响应于用户102执行的姿势110而执行动作114的系统的一个或多个组件，诸如图4的示范性的设备402的示范性的系统408。本领域普通技术人员可以构想出被配置为根据本文提供的技术操作的许多这样的计算机可读介质。

D.变型例

本文所论述的技术可以在很多方面被设计出变型例，并且一些变型例可以相对于这些以及其他技术的其他变型例提供额外的优点和/或减少缺点。而且，一些变型例可以组合地实现，并且一些组合可以通过协同配合来突显额外的优点和/或减少的缺点。变型例可以并入各个实施例中(例如，图3的示范性的第一方法300；图4的示范性的设备402和/或示范性的系统408；以及图5的示范性的计算机可读存储器设备502)，以为这些实施例带来单个的和/或协同的优点。

D1.方案

在这些技术的实施例中可以变化的第一方面涉及到其中可以利用这些技术的方案。

作为该第一方面的第一变型例，本文呈现的技术可以在各种设备104上实现，诸如工作站、服务器、膝上型计算机、平板式和掌上因数移动设备、移动电话、便携式游戏设备、便携式媒体播放器、诸如电视机的媒体显示设备、家用电器、家庭自动化设备、医疗设备、以及可佩戴计算设备，诸如眼镜、头戴送受话器、耳机和腕式手表。

作为该第一方面的第二变型例，本文提供的技术可以与提供多种类型的传感器输出108的许多类型的传感器106一起使用，诸如提供静像或动像的照相机，提供环境声音的采样的麦克风，提供来自用户102的经由指头或指示笔的触摸输入的触摸敏感显示器，提供运动检测的运动检测器，提供温度读数的温度传感器，提供激光雷达数据的激光雷达检测器，提供用户102的生物计量标识符的生物计量传感器，提供设备104的方位和/或运动的读数的加速度计或陀螺仪，以及提供设备104的方向方位的罗盘。

作为该第一方面的第三变型例，本文提供的技术使得设备104能够检测许多类型的姿势110，包括设备104的方位和/或运动的操纵，用户与设备104的物理交互，诸如在设备104的触摸敏感显示器上绘制姿势，或者挤压设备104的压敏元件，通过用户102的手或臂执行的手动姿势(诸如手势)，通过用户102执行的声音(诸如向设备104的麦克风吹气)，以及用户102的面部表情、姿态或步态。

作为该第一方面的第四变型例，本文提供的技术使得设备104能够响应于此类姿势110而执行多种动作114，诸如调用应用，发送消息，在设备402的显示器上显示图像或文本，或者激活外围设备(诸如附接到设备402的发光二极管(LED))。

图6是将一个这样的设备特征化的示范性的方案600的图示，该设备包括耳机设备602，耳机设备602包括能佩戴在用户102的头部612的耳部614上的外壳604，并且包括能放置为靠近用户102的耳部614的扬声器606、麦克风608以及惯性传感器610(例如，加速度计)。在用户102佩戴期间，设备104可检测通过用户102的头部612执行的一个或多个姿势110，诸如左右摇头，或者上下点头。此类姿势110可通过监视每个传感器106的传感器输出108来检测到，例如，根据惯性传感器610的传感器输出108的变化来检测耳机设备604的方位的变化。根据本文提供的技术，耳机设备640可以使用户102能够规定能通过用户102的头部612执行的新姿势110，诸如向一侧倾斜头部612，或者在讲话的同时向下看，以及可允许用户102规定在检测到用户102的此类姿势110时由耳机设备604执行的动作114。许多这样的变型可包含在本文提供的技术的实施例中。

D2.姿势简档

图8呈现了将第二方面特征化的示范性的方案的图示，该第二方面可在本文提供的技术的实施例之间变化，涉及到姿势简档702的生成，该姿势简档存储有由用户102规定且由设备104应用来执行动作114的一组姿势110。在该示范性的方案700中，用户102拥有三个设备104，每个设备均具有提供各种形式的传感器输出108的一组传感器106，诸如均使用加速度计106来检测设备104的方位和/或运动的变化的电话设备和平板设备，以及包括能够检测设备104的方向角的罗盘106的地理定位设备。使用本文提供的技术，用户102配置第一设备104以根据加速度计传感器106的标识传感器输出208来识别一组姿势110，诸如摇动第一设备104以及将第一设备104面朝下放置到水平表面上，并且还规定当用户102通过第一设备104执行每个姿势110时要执行的动作114。然而，用户102还可能希望在第二设备104和第三设备104上使用该姿势110，而不必重新训练每个设备104识别姿势110以及将动作114与姿势110相关联；即，用户102可能仅希望在设备104上同步姿势信息以便提供一致的姿势接口。

如图7的示范性的方案2700中进一步图示的，可提供姿势简档服务704来存储第一设备104的姿势简档704，以及将姿势简档704递送给其它设备104，每个设备可利用每个设备104的传感器106来应用姿势简档702。第二设备104还可以具有加速度传感器106，并且能够使用由第一设备104的加速度传感器106识别的标识传感器输出208。然而，第三设备104可以仅具有罗盘传感器106，其不能使用加速度传感器106的标识传感器输出208来检测姿势110。因此，第三设备706可以询问用户102来重新训练设备104，从而识别姿势110，并且在接收到来自用户102的接受时，可以进入训练模式202以识别罗盘传感器106的标识传感器输出208以检测姿势110。替代地，第三设备104和/或姿势简档服务704可以检测第三设备104的罗盘传感器106与第一设备104的加速度传感器106之间的不匹配，并且可试图将用于加速度传感器106的每个姿势110的标识传感器输出208变换成罗盘传感器106的标识传感器输出208以便由第三设备104使用。通过这种方式，姿势简档服务704可使得用户102的一组设备104能够根据本文提供的技术来识别且响应用户102所执行的姿势110。

D3.初始化训练模式

可在本文提供的技术的实施例之间变化的第三方面涉及到对设备104的训练模式202的初始化，以便针对用户102所要执行的相应的姿势110识别设备104的相应的传感器106的标识传感器输出208。

作为该第三方面的第一变型例，设备104可应用户102的请求，或者在设备104初始激活时(诸如对于新获取的设备104的设立过程)，而转换到训练模式202。

作为该第三方面的第二变型例，设备104可在检测到能访问设备104的一组传感器106的变化时，例如向设备104添加了附加的传感器，转换到训练模式202。传感器106的添加、变化和/或去除可以改变设备104检测用户102执行的姿势110的方式，例如，设备104可以通过第一传感器106的标识姿势输出208来充分地检测姿势110，但是还可以使用用于附加的第二传感器106的标识姿势输出208来更精确地检测姿势110。因此，在这样检测时，设备104可以转换到训练模式202以在用户102执行姿势110的同时检测附加传感器的标识传感器输出208。

图8呈现了将该第三方面的第三变型例特征化的示范性的方案800的图示，其中设备104检测表明用户102执行不与标识传感器输出208相关联的姿势110的传感器输入108。作为第一示例，用户102可以执行尚未由设备104识别的新姿势110。作为第二示例，用户102可以执行已由设备104识别但是由用户102按照不同于设备104当前在识别置信度阈值内识别的方式执行的姿势110，使得设备104经常不能识别出姿势110。在检测到表明用户102正在执行或者已经执行了未被识别的姿势110的传感器输出108时，设备104可以选择用于姿势110的标识传感器输出208，并且可以转换到训练模式202以允许用户102将姿势110分配给动作114。

作为该第三方面的第四变型例，设备104可以检测到设备104的一个或多个传感器106是误校准的(例如，照相机可能略微从先前方位旋转)。例如，传感器106可以提供与其它传感器106的传感器数据108不一致、与来自同一传感器106的过去的传感器数据108不一致或者在特定上下文下得到预期结果的传感器数据108。虽然这样的误校准会改变传感器数据108且会损害对与标识传感器输出208的匹配的检测，但是如果重新训练则设备102可以仍能够使用传感器106来检测姿势110。因此，在检测到传感器106的此类误校准时，设备104可以转换到训练模式202以重新训练设备104来识别姿势110。

作为该第三方面的第五变型例，设备104可以接收姿势简档702(例如，来自第二设备104或者姿势简档服务704)，其规定根据不与第一设备104的传感器106兼容的标识传感器输出208来识别的姿势110，例如图7的示范性的方案700中的第三设备104。因此，设备104可以转换到训练模式202以训练传感器106识别姿势110。根据本文提供的技术，这些以及其它变型例可用来提示设备104转换到训练模式202从而检测新姿势110，或调节已知姿势110的检测或回应。

D4.训练模式

可以在本文提供的技术的实施例之间变化的第四方面涉及到，配置设备104的训练模式202以识别针对相应的姿势110的标识传感器输出208，以及响应于此而执行的动作114。

作为该第四方面的第一变型例，许多类型的学习技术可包含在训练模式202中，从而在用户102执行姿势110的同时从一个或多个传感器106的一个或多个传感器输出108中来识别实现对姿势110的标识的标识传感器输出208。上述学习技术可以包括例如，通过诸如算术平均、中值、模式(mode)和标准偏差的统计技术，贝叶斯算法，模糊逻辑，人工神经网络和遗传算法进行评估。

作为该第四方面的第二变型例，训练模式202可以涉及到通过用户102进行姿势110的两个或两个以上的姿势执行702，例如，用户102可以重复地执行姿势110，从而实现具有更高的识别精度。在用户102进行姿势110的分别的至少两个姿势执行702的过程中，设备104可以监视传感器106以在姿势执行702期间检测识别姿势110的标识传感器输出208，以及根据相应的姿势执行702的标识传感器输出208来确定标识传感器输出208(例如，作为标识传感器输出208的统计均值，具有识别标识传感器输出208的偏差范围的精度识别阈值)。在一个这样的变型例中，设备104可以将相应的姿势执行902期间的标识传感器输出208进行比较以确定识别置信度，并且可以指示用户102在识别置信度位于识别置信度阈值以上时重复姿势执行902；以及在确定识别置信度在识别置信度阈值之内时，设备104可以将标识传感器输出208与姿势110相关联。

作为该第四方面的第三变型例，训练模式202可由用户102调用，并且在训练开始请求与训练完成请求之间设备104可以假设姿势110正由用户102执行。设备104可以因此分析相应的传感器106的传感器输出108以对于该训练期间的姿势110确定传感器106的标识传感器输出208，并且可以在完成了该标识时转换回到识别模式210。作为另一变型例，当姿势110正在由用户102执行时，设备104可以标识训练周期内的至少一个受限周期(即，短于整个训练周期)。例如，设备104可以在训练周期202内检测到在用户102执行姿势110之前的训练周期开始时的暂停；姿势110的相应的姿势执行702之间的暂停；和/或在用户102已经完成执行姿势110之后训练周期结束时的暂停)。设备104可因此仅选择受限周期内的标识传感器输出208。

作为该第四方面的第四变型例，在设备104包括至少两个传感器106的情况下，训练模式202可涉及到使用相应的传感器106的传感器输出108来确定标识传感器输出208。作为一个这样的变型，设备104可以使用两个传感器106一起来检测姿势110；例如，在用户102摇动设备104的同时，加速度计可以检测到设备104的运动的变化，同时扬声器检测到与加速度计检测到的运动变化同时发生的移过扬声器的空气的声音的波动。根据该变型例，在用户102执行姿势的同时，设备104可以监视相应的传感器106来检测共同标识姿势110的传感器108的标识传感器输出208，并且可以将每个传感器106的标识传感器输出208存储在设备104的存储器中。在识别模式210内，设备104可以监视分别的至少两个传感器108的传感器输出108，以用于与对应的标识传感器输出208进行比较从而检测姿势110。

图9呈现了将该第四方面的第五变型例特征化的示范性的方案900的图示，其中，在训练模式202期间，设备104在至少两个传感器106之间区分成能够确定特定姿势110的识别传感器，以及不能确定特定姿势110的非识别传感器。在该示范性的方案900中，设备104包括加速度传感器106、麦克风传感器106和光传感器106，每个均提供在不同物理域上(例如，运动、声音和光)的传感器输出108。在用户102完成了诸如摇动设备104的姿势110的一组姿势执行902时，分别的传感器106可以不同地回应；例如，加速度传感器106可以展现出一致地指示摇动运动的变化的传感器输出108，麦克风传感器106可以展现出一致地指示移动经过麦克风的空气的声音的变化的传感器输出108。然而，光传感器106可能不反映每个姿势执行902期间传感器输出108的一致的模式。因此，设备104可以标识出提供标识姿势110的标识传感器输出208的至少一个识别传感器(例如，加速度传感器106和麦克风传感器106)，以及不提供标识姿势110的标识传感器输出108的至少一个非识别传感器(例如，光传感器106)。该设备可以存储识别传感器的标识传感器输出208，并且可以可选地将这些传感器106在姿势执行902上的传感器输出108标准化以提供应用于全部这样的姿势执行902的标识传感器输出208，同时排除904非识别传感器的标识传感器输出28。

作为该第四方面的第六变型例，在训练模式202期间，设备104可请求用户102标识能够检测特定姿势110的传感器106。例如，用户102可以理解的是，与光传感器106相比，诸如摇动设备104的特定姿势110更易于由加速度传感器106检测到，并且可以规定该区别以辅助设备104的训练模式。在接收到来自用户102的至少一个选定传感器106时，在用户102执行姿势110的同时设备104可以仅监视选定的传感器以检测标识姿势110的标识传感器输出208，并且可以仅存储选定的传感器106的标识传感器输出208。

作为该第四方面的该第六变型例的另一示例，设备104的相应的传感器106与一个或多个传感器模态相关联(例如，光传感器106可以检测到光水平的变化；运动传感器106可以检测到设备附近的运动；生物计量传感器可以检测到用户102的生物计量特征，诸如面部表情；静像照相机可以检测到光水平的变化，附近的运动，以及用户102的生物计量特征)。设备104可因此标识出相应的传感器106的传感器模态，并且可以向用户102呈现出哪些类型的传感器模态对应于用户希望识别出的姿势110的选项(例如，识别出基于运动的姿势，基于光的姿势，或者生物计量姿势)。在用户102执行姿势110的同时，设备104可以仅监视与选定的传感器模态关联的传感器104，并且可在存储器中仅存储该传感器106的标识传感器输出208。许多这样的变型例可包含在设备104的训练模式202中，从而根据本文提供的技术来确定使得能够识别姿势110的标识传感器输出208。

D5.执行动作

可在本文提供的技术的实施例之间变化的第五方面涉及到响应于姿势110的识别而执行动作114的方式。

作为该第六方面的第一变型例，动作102可与设备104的上下文相关联，诸如执行模式、应用或设备104的应用状态。例如，识别的姿势110可以使得在设备104正执行第一应用的情况下执行第一动作114，以及在设备104正执行第二应用的情况下执行第二动作114(例如，在使用电子邮件应用的同时摇动设备104，使得电子邮件应用取回新邮件，在使用媒体播放应用的同时摇动设备104，使得媒体播放应用跳到播放列表中的下一媒体项目)。因此，响应于检测到姿势110，设备104可以检测当前设备上下文，并且可以执行与姿势110和设备103的当前设备上下文均关联的动作114。

图10呈现了将该第五方面的第二变型例特征化的示范性的方案1000的图示，其中响应于姿势110执行的动作114与检测到姿势110的传感器106有关。在该示范性的方案1000中，设备104能够识别涉及到摇动设备104的第一姿势110，其可根据加速度计传感器104的传感器输入108来检测，以及涉及到用户102用指头1002敲击设备104的麦克风传感器106的第二姿势110。两个姿势1000可以导致利用设备104的邮件客户端发起动作114，诸如选择电子邮件客户端向用户102通知新消息的方式。然而，执行动作114的特定的方式(例如，通知的类型)可以与检测动作110的特定传感器106有关。例如，摇动设备104的动作114可被解释为触觉输入，并且可使得设备104以触觉的方式提供这种通知，诸如经由振动模块；并且敲击麦克风传感器106的动作114可解释为声音输入，并且可使得设备104以可听的方式提供此类通知，诸如经由音频线索。响应于姿势110而执行动作114的这些以及其它的变型例可以包含在本文提供的技术的变型例中。

E.计算环境

本文所论述的技术可以在很多方面被设计出变型例，并且一些变型例可以相对于这些以及其他技术的其他变型例提供额外的优点和/或减少缺点。而且，一些变型例可以组合地实现，并且一些组合可以通过协同配合来突显额外的优点和/或减少的缺点。变型例可以并入各个实施例中以为这些实施例带来单个的和/或协同的优点。

图11以及后面的论述提供了实现本文阐述的一个或多个规定的实施例的适合的计算环境的简要的大体的描述。图11的操作环境仅是适合的操作环境的一个示例，而不意在暗示对操作环境的使用或功能的范围的任何限定。示例的计算设备包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、移动设备(诸如移动电话、个人数字助理(PDA)、媒体播放器等)、多处理器系统、消费电子设备、微型计算机、主机型计算机、包括任意上述系统或设备的分布式计算环境，等等。

虽然不做要求，在一个或多个计算设备执行“计算机可读指令”的总的背景下描述了实施例。计算机可读指令可以经由计算机可读介质(下文论述)来分配。计算机可读指令可以实现为执行特定的任务或者实现特定的抽象数据类型的程序模块，诸如函数、对象、应用编程接口(API)、数据结构等。典型地，计算机可读指令的功能可以根据需要在各环境中进行组合或分布。

图11示出了系统1100的示例，该系统包括被配置为实现本文提供的一个或多个实施例的计算设备1102。在一个配置中，计算设备1102包括至少一个处理单元1106以及存储器1108。根据计算设备的确切的配置和类型，存储器1108可以是易失性的(诸如例如RAM)、非易失性的(诸如例如ROM、闪速存储器等)或者两者的某组合。该配置通过虚线1104图示在图11中。

在其它实施例中，设备1102可以包括额外的特征和/或功能。例如，设备1102还可以包括额外的存储设备(例如，可移除的和/或非可移除的)，包括但不限于磁存储设备、光存储设备和类似物。该额外的存储设备在图11中由存储设备1110示出。在一个实施例中，实现本文提供的一个或多个实施例的计算机可读指令可以在存储设备1110中。存储设备1110还可以存储实现操作系统、应用程序和类似物的其它计算机可读指令。计算机可读指令可以装载到存储器1108中，以便由例如处理单元1106来执行。

本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其它数据的信息的任何方法或技术实现的易失性的和非易失性的、可移除的和非可移除的介质。存储器1108和存储设备1110是计算机存储介质的示例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪速存储器或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储设备、磁盒、磁带、磁盘存储或其它磁存储设备、或者任何其它能够用于存储期望的信息且能够由设备1102访问的介质。任何这样的计算机存储介质可以是设备1102的部分。

设备1102还可以包括允许设备1102与其它设备通信的通信连接1116。通信连接1116可以包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射器/接收器、红外端口、USB连接或将计算设备1102与其它计算设备连接的其它接口。通信连接1116可包括有线连接或无线连接。通信连接1116可以发送和/或接收通信介质。

术语“计算机可读介质”可包括通信介质。通信介质典型地具体实施诸如载波或其它传输机制的“调制数据信号”中的计算机可读指令或其它数据并且包括任何信息输送介质。术语“调制数据信号”可以包括使其一个或多个特性以将信息编码在信号中的方式来设定或改变的信号。

设备1102可以包括输入设备1114，诸如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外照相机、视频输入设备和/或任何其它输入设备。在设备1102中还可以包括输出设备1112，诸如一个或多个显示器、扬声器、打印机和/或任何其它输出设备。输入设备1114和输出设备1112可以经由有线连接、无线连接或其任意组合而连接到设备1102。在一个实施例中，来自另一计算设备的输入设备或输出设备可以用作计算设备1112的输入设备1114或输出设备1112。

计算设备1102的组件可以通过诸如总线的各种互连来连接。这些互连可以包括外围组件互连(PCI)、诸如PCI Express、通用串行总线(USB)、火线(IEEE 1394)、光总线结构等。在另一实施例中，计算设备1102的组件可通过网络来互连。例如，存储器1108可由位于网络互连的不同的物理位置中的多个物理存储器单元构成。

本领域技术人员将认识到，用于存储计算机可读指令的存储设备可分布在网络中。例如，能够经由网络1118访问计算设备1120可以存储实现本文提供的一个或多个实施例的计算机可读指令。计算设备1102可以访问计算设备1120且下载计算机可读指令的部分或全部用于执行。可选地，计算设备1102可以根据需要来下载多条计算机可读指令，或者一些指令可以在计算设备1102处执行，一些在计算设备1120处执行。

F.术语的使用

虽然用特定于结构特征和/或方法行为的语言描述了主题，应当理解的是在随附的权利要求中限定的主题不一定限于上述的特定特征或行为。相反，上述的特定的特征和行为被公开作为实现至少一些权利要求的示例的形式。

如该申请中使用的，术语“组件”、“模块”、“系统”、“接口”和/或类似术语通常旨在指代计算机相关实体，或者是硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以为但不限于在处理器上运行的进程、处理器、对象、可执行程序、执行线程、程序和/或计算机。通过示例的方式，运行于控制器上的应用和控制器都可以是组件。一个或多个组件可以驻存在进程和/或执行线程内，并且组件可以位于一台计算机上和/或分布于两台以上的计算机之间。

此外，权利要求主题可以实现为利用标准编程和/或工程技术来产生软件、固件、硬件或其任意组合从而控制计算机实现公开的主题的方法、装置或制品。本文所使用的术语“制品”旨在涵盖能够从任意计算机可读设备、载波或介质访问的计算机程序。当然，可以对该配置做出许多修改，而不偏离权利要求主题的范围或精神。

本文提供了实施例的各种操作。在一个实施例中，所描述的一个或多个操作可以构成存储在一个或多个计算机可读介质上的计算机可读指令，如果由计算设备执行，则计算机可读指令将使得计算设备执行所描述的操作。描述一些或全部操作的顺序不应解释为暗指这些操作必然是顺序相关的。本领域技术人员在获益于本说明书后将理解到可选的排序。此外，将理解的是，不是全部操作都必然存在于本文提供的每个实施例中。

而且，措辞“示范性的”在本文用来意指充当示例、实例、图示。本文中描述为“示范性的”的任何方面或设计不一定解释为相对于其它方面或设计是有益的。相反，术语示范性的使用不意在以具体的方式呈现概念。如本文所使用，术语“或者”意在表示包含性的“或者”，而不是排他性的“或者”。也即，除非另作规定或者从上下文清晰可见，“X采用A或B”意在表示自然包含的置换项中的任一个。也即，如果X采用A；X采用B；或者X采用A和B，则“X采用A或B”在上述任一实例下满足。另外，在本申请以及随附权利要求书中使用的冠词“一(a)”和“一个(an)”通常解释为意指“一个或多个”，除非规定或者从上下文明显是指单数形式。

而且，虽然已经结合一个或多个实现方式显示和描述了本公开，基于该说明书以及附图的阅读和理解，等同的改动和修改对于本领域其它技术人员而言将是显而易见的。本公开包括全部这样的修改和改动，并且仅受随附权利要求的范围限制。特别地关于上述组件(例如，元件、资源等)所执行的各功能，除非特别指出，否则用于描述这些组件的术语意在对应于执行所描述的组件的规定功能(例如，功能上等同的)的任何组件，即使结构上不等同于公开的结构。另外，虽然公开的特定特征已经参考多个实现方式中的仅一个进行了公开，该特征可以与对于任何给定的或特定的应用而言所期望或有益的其它实现方式的一个或多个其它特征相组合。此外，在“包含”、“具有”、“设有”、“带有”和/或其变体在详细说明或权利要求中使用的范围内，这些术语意在包含性的，方式类似于术语“包括”。

Claims (10)

1.一种执行与由设备的用户执行的姿势相关联的动作的方法，所述设备具有处理器和提供传感器输出的传感器，所述方法包括：

在所述处理器上执行指令，所述指令使得所述设备进行以下操作：

在训练模式期间：

在所述用户执行所述姿势时，监视所述传感器以检测标识所述姿势的标识传感器输出；

将所述传感器的所述标识传感器输出与所述姿势相关联；以及

将动作与所述姿势相关联；以及

在识别模式期间：

监视所述传感器的所述传感器输出；以及

在检测到所述传感器输出与同所述姿势相关联的所述标识传感器输出相匹配时，执行与所述姿势相关联的所述动作。

2.如权利要求1所述的方法，其中，在所述处理器上执行所述指令还使得所述设备进行以下操作：在检测到向所述设备添加附加传感器时，将所述设备转换为所述训练模式以在所述用户执行所述姿势时检测所述附加传感器的标识传感器输出。

3.如权利要求1所述的方法，其中，在所述处理器上执行所述指令还使得所述设备进行以下操作：在检测到在识别置信度阈值内不与传感器的标识传感器输出相关联的姿势时，将所述设备转换为所述训练模式以重新训练所述传感器识别所述姿势。

4.如权利要求1所述的方法，其中，监视所述传感器以检测所述标识传感器输出还包括：

在所述用户对所述姿势的分别的至少两次姿势执行期间，监视所述传感器以在所述姿势执行期间检测标识所述姿势的所述标识传感器输出；以及

根据所述分别的至少两次姿势执行的标识传感器输出来确定所述标识传感器输出。

5.如权利要求4所述的方法，其中，确定所述标识传感器输出还包括：

将所述分别的至少两次姿势执行期间的所述标识传感器输出进行比较以确定识别置信度；

在所述识别置信度在识别置信度阈值以上时，指示所述用户重复所述姿势执行；以及

在确定所述识别置信度在所述识别置信度阈值内时，将所述标识传感器输出与所述姿势相关联。

6.如权利要求1所述的方法，其中：

所述设备包括分别包括传感器输出的至少两个传感器；

检测标识所述姿势的所述标识传感器输出还包括：在所述用户执行所述姿势时，监视所述分别的至少两个传感器以检测标识所述姿势的传感器的标识传感器输出；

将所述标识传感器输出存储在存储器中还包括：在所述存储器中存储共同标识所述姿势的所述分别的至少两个传感器的标识传感器输出；以及

在所述识别模式期间监视所述传感器输出还包括：监视所述分别的至少两个传感器的所述传感器输出。

7.如权利要求6所述的方法，其中，检测标识所述姿势的所述标识传感器输出还包括：

在所述至少两个传感器中以及在所述用户执行所述姿势时：

标识提供标识所述姿势的标识传感器输出的至少一个识别传感器，以及

标识不提供标识所述姿势的标识传感器输出的至少一个非识别传感器；以及

将所述标识传感器输出存储在所述存储器中还包括：在所述存储器中存储与所述姿势相关联的、所述至少一个识别传感器的标识传感器输出，以及排除所述至少一个非识别传感器的标识传感器输出。

8.如权利要求1所述的方法，其中，在所述处理器上执行所述指令还使得所述设备进行以下操作：

将所述姿势与所述动作以及所述传感器的所述标识传感器输出的关联存储在姿势简档中；以及

将所述姿势简档发送到姿势简档服务。

9.如权利要求1所述的方法，其中，在所述处理器上执行所述指令还使得所述设备从姿势简档服务取回姿势简档，所述姿势简档包括姿势与传感器的标识传感器输出和动作的至少一个关联。

10.如权利要求1所述的方法，其中：

所述动作还与计算设备的设备上下文相关联；以及

执行所述动作还包括：在所述计算设备的当前设备上下文匹配与所述动作相关联的设备上下文的同时检测到传感器输出与同所述姿势相关联的所述标识传感器输出相匹配时，执行与所述姿势相关联的所述动作。