CN105980961B - 确定由用户执行的手势的方法和手势检测装置 - Google Patents

Abstract

确定由用户执行的手势的方法和手势检测装置。根据本公开的装置和方法经由由用户执行的手势向电子装置提供输入。检测由于在用户的皮肤表面上执行的手势而导致的用户的皮肤表面的变形，并且确定所检测到的变形的特征。基于所确定的特征，确定在用户的皮肤表面上执行的手势。

Description

确定由用户执行的手势的方法和手势检测装置

技术领域

本公开的技术大体涉及电子装置，并且更具体地涉及一种用于检测皮肤上的手势的设备、系统和方法。

背景技术

随着计算机处理器在尺寸和费用方面降低，诸如移动电话、平板电脑等的移动电子装置已变得越来越广泛。设计成便携式，许多移动电子装置重量很轻并且小到足以被佩戴或在口袋或手提包中携带。然而，现代移动电子装置的便携性是有代价的：现今的移动电子装置经常结合小的输入装置以减小装置的尺寸和重量。例如，目前许多移动电子装置包括显示在触摸屏上的软QWERTY键盘，许多人(尤其是那些具有较差敏捷度的)发现这难以使用。

基于手势的输入装置提供了对设置在移动电子装置上的传统输入装置(例如，键盘、触摸屏等)的替代品。此外，基于手势的输入装置不受移动电子装置的尺寸的限制，因此，可以提供更大的区域，用于将数据输入到移动电子装置。

最近已经提出的一种基于手势的输入装置是“Skinput”概念，其中用户界面被投射在用户的手臂的表面上，并且用户以“敲击”的形式在手臂的表面上执行手势。基于从声传感器获得的声学数据来确定“敲击”的位置。然后基于所确定的位置发出输入命令。

发明内容

“Skinput”装置的缺点是其需要用户在上臂上佩戴紧贴的手环(bracelet)。相比于腕戴装置，上臂安装的装置很难获得用户的认可。

根据本公开，提供了用于基于皮肤变形检测手势的设备、系统和方法。更具体地，当在皮肤的表面执行手势时，例如经由诸如光学传感器的传感器检测由于所述手势而导致的皮肤变形。然后基于所检测到的皮肤变形识别所述手势。然后可以发出与所识别出的手势相对应的输入命令以用于被电子装置使用。

根据本公开的设备、系统和方法出于许多原因是有利的。例如，用于检测皮肤变形的传感器价格便宜，并且还可以兼作脉搏监测器。此外，使用简单地在手臂上执行手势显著地扩大了可穿戴装置的交互的可能性。

根据本发明的一方面，一种确定由用户执行的手势的方法，该方法包括：检测由于在用户的皮肤表面上执行的手势而导致的用户的皮肤表面的变形；确定所检测到的变形的特征；以及基于所确定的特征，确定在用户的皮肤表面上执行的手势。

根据本发明的一方面，确定手势的步骤包括：将所检测到的皮肤变形的特征与存储在数据库中的多个条目进行比较，每个条目包括与由于预定的手势而导致的皮肤变形相对应的皮肤变形数据。

根据本发明的一方面，所述方法包括：检索指定给所检测到的手势的输入命令。

根据本发明的一方面，所述方法包括：确定用户的手臂的方位，其中，检索指定给所确定的手势的输入命令的步骤还基于所确定的用户的手臂的方位。

根据本发明的一方面，所述方法包括：确定用户的手臂的方位，并且基于所确定的用户的手臂的方位将所检索到的输入命令指定给多个电子装置中的一个电子装置。

根据本发明的一方面，确定用户的手臂的方位的步骤包括：使用陀螺仪或加速计中的至少一个以确定所述方位。

根据本发明的一方面，在用户的前臂上执行所述手势，并且在用户的手腕处执行检测所述皮肤的变形。

根据本发明的一方面，所述方法包括：确定用户的手臂的方位；以及仅当所确定的方位对应于预定方位时才执行所述检测的步骤。

根据本发明的一个方面，检测用户的皮肤表面的变形的步骤包括使用光学装置以检测所述变形。

根据本发明的一方面，所述光学装置包括相机。

根据本发明的一方面，所述光学装置面向手腕被布置在用户的所述手腕上。

根据本发明的一方面，所述光学装置面向所述用户的前臂被布置在用户的手腕上。

根据本发明的一个方面，所述光学装置经由腕带被附着到用户的手腕上。

根据本发明的一方面，所述手势包括皮肤的单拂动、沿相同方向的皮肤的双拂动、沿相反方向的皮肤的双拂动或拖拽皮肤中的至少一个。

根据本发明的一方面，所述方法包括：将所确定的手势无线地传送至至少一个电子装置。

根据本发明的一方面，检测用户的皮肤表面的变形的步骤包括：检测用户的皮肤表面相对于参考点的移动。

根据本发明的一方面，检测用户的皮肤表面的移动的步骤包括：获得与所述用户的皮肤表面相对应的序列图像；将所述序列图像彼此进行比较以确定所述序列图像中的一个或更多个图像是否不同于其它图像；以及当在一个或更多个序列图像之间存在差异时，确定存在皮肤移动。

根据本发明的一方面，手势检测装置包括：处理器和存储器；传感器(18)，所述传感器在操作上联接至所述处理器，所述传感器被配置成向所述处理器提供与皮肤变形相对应的数据；以及逻辑，所述逻辑存储在所述存储器中并能被所述处理器执行，所述逻辑包括：被配置成基于由所述传感器提供的数据检测由于在所述用户的皮肤表面上执行的手势而导致的所述用户的皮肤表面的变形的逻辑；被配置成确定所检测到的变形的特征的逻辑；以及被配置成基于所确定的特征确定在所述用户的皮肤表面上执行的手势的逻辑。

根据本发明的一方面，被配置成检测所述手势的逻辑包括被配置成将所检测到的皮肤变形的所述特征与存储在数据库中的多个条目进行比较的逻辑，每个条目包括与由于预定的手势而导致的皮肤变形相对应的皮肤变形数据。

根据本发明的一方面，所述装置包括检索指定给所检测到的手势的输入命令的逻辑。

根据本发明的一方面，所述装置包括确定用户的手臂的方位的逻辑，其中，检索指定给所确定的手势的输入命令的所述逻辑包括基于所确定的用户的手臂的方位检索所述输入命令的逻辑。

根据本发明的一方面，被配置成确定所述用户的手臂的方位的所述逻辑包括使用从方位传感器获得的数据中的至少一个来确定所述方位的逻辑。

根据本发明的一方面，所述装置包括：被配置成确定所述用户的手臂的方位的逻辑；以及被配置成仅当所确定的方位对应于预定方位时才执行检测步骤的逻辑。

根据本发明的一方面，所述装置包括通信地联接至所述处理器的方位传感器。

根据本发明的一方面，感测装置包括光学装置。

根据本发明的一方面，所述光学装置包括相机。

根据本发明的一方面，所述装置包括配置用于附着到手腕的附着装置，其中，所述传感器被附着到所述附着装置。

根据本发明的一方面，所述装置包括适用于将所确定的手势传送至另一电子装置的无线收发器。

根据本发明的一方面，被配置成基于由所述传感器提供的数据确定皮肤变形的特征的所述逻辑包括被配置成确定与皮肤的单拂动、沿相同方向的皮肤的双拂动、沿相反方向的皮肤的双拂动或拖拽皮肤中的至少一个相对应的皮肤变形的逻辑。

根据本发明的一方面，被配置成检测用户的皮肤表面的变形的逻辑包括被配置成检测用户的皮肤表面相对于传感器的移动的逻辑。

根据本发明的一方面，被配置成检测用户的皮肤表面的移动的逻辑包括：被配置成使得获得与所述用户的皮肤表面相对应的序列图像的逻辑；被配置成将所述序列图像彼此进行比较以确定所述序列图像中的一个或更多个图像是否不同于其它图像的逻辑；以及被配置成当在一个或更多个序列图像之间存在差异时确定存在皮肤移动的逻辑。

为了实现前述及相关目的，所述装置和方法包括在说明书下文中充分描述并在权利要求中具体指出的特征，下面的描述和附图详细地阐述了特定说明性的实施方式，然而，这些只是表示了其中可以适当采用本发明原理的各种方式中的一些方式。

尽管在各附图/实施方式中描述并示出了各种特征，但应当理解，所给出的附图或实施方式的特征可以在本发明的一个或更多个其它附图或实施方式中使用。

附图说明

图1A示出包括根据本公开的手势检测装置的系统，其中第一手势被用作输入。

图1B示出图1A的系统，其中第二手势被用作输入。

图2A是根据本公开的手势检测装置的底视图。

图2B是图2A的手势检测装置的顶视图。

图2C是图2A的手势检测装置的透视图，其中手势检测装置被形成为带(band)。

图3是根据本公开的手势检测装置的模块的示意性框图。

图4是可与图3的手势检测装置一起使用的电子装置的模块的示意性框图。

图5是示出根据本公开的经由皮肤变形检测手势并向所检测到的手势指定命令的示例性方法的流程图。

具体实施方式

现在将参照附图来描述实施方式，其中相同的参考标号始终被用于指代相同的元件。应当理解，附图不一定按比例绘制。此外，相对于一个实施方式描述和/或示出的特征可以以相同的方式或相似的方式用于一个或更多个其它实施方式，和/或与其它实施方式的特征相结合使用或者代替其它实施方式的特征。

下面连同附图一起描述的是用于检测手势并使用所检测到的手势作为至电子装置的输入的设备、系统和方法的不同实施方式。虽然根据本公开的实施方式大体涉及电子装置的领域，但为了清晰和简单起见，本说明书中所概述的大多数实施方式是在移动电话的背景下进行描述的。然而，应当理解，在移动电话的背景下描述的特征也同样适用于其它电子装置，其包括(但不限于)笔记本电脑、平板电脑、可穿戴装置、智能家电等。

参照图1A至图1B，示出了根据本公开的用于检测用户皮肤的表面上(例如，前臂上)的手势并且将所检测到的手势解释为特定的命令的示例性系统。更具体地，手势检测装置12被附着到用户，例如，在用户的手腕处。如下面将更加详细描述的，手势检测装置12包括用于检测由于在用户的皮肤13上执行的手势而导致的用户的皮肤13的变形的传感器。如本文所使用的，皮肤的变形被定义为皮肤表面相对于皮肤表面的未受干扰的状态的改变。这种变形可以包括皮肤的拉伸(例如，压扁皮肤、去除或减少皮肤中的褶皱等)、皮肤的压缩(例如，使皮肤出现褶皱或“聚在一起”)、和/或皮肤沿特定方向的移动(例如，皮肤朝向或远离传感器的移动、或者相对于传感器向上和/或向下的移动)。

例如，用户可以通过将手指放在前臂上并且然后向左(图1A)或向右(图1B)“拂动”来执行“拂动”手势14。在前臂上拂动动作不仅使皮肤13在执行手势14(例如，相对于传感器向左或向右移动)的位置处变形，而且也使皮肤13在距执行手势14的位置一定距离处变形。作为结果，邻近传感器的皮肤13被从传感器拉扯或推向传感器。手势检测装置12的传感器可以检测到由于手势而导致的用户的皮肤表面的变形并将数据提供至处理装置用于分析。

例如，传感器可以将原始皮肤变形数据提供至处理装置以便确定所检测到的皮肤变形的特征。这种特征例如可以包括与皮肤的表面上的一个或更多个点相对于传感器的移动相对应的数据、与皮肤的表面上的一个或更多个点相对于传感器的压缩相对应的数据、和/或皮肤的表面上的一个或更多个点相对于传感器的压扁和/或拉伸的数据。所述数据可以是在一定时间内捕捉到的皮肤表面的图像数据(例如，数字图像数据)的形式。另选地，所述数据可以包括关于皮肤表面的变化的信息。例如，可以将在一时段内捕捉到的图像帧彼此进行比较和/或与参考数据进行比较来确定与皮肤表面的变化相对应的数据，并且然后可以将与所述变化相对应的数据提供至图像处理装置。该处理装置可以在数据库中搜索对应于传感器数据的数据。例如，处理装置可以将所检测到的皮肤变形的特征与存储在数据库中的多个条目进行比较，每个条目包括与由于预定的手势而导致的皮肤变形相对应的皮肤变形数据。当找到数据匹配时，手势14可以被识别并传递至诸如移动电话的电子装置15。如下面更详细地讨论的，手势检测装置12或电子装置15可以向所检测到的手势分配预定的输入命令，该输入命令被所述电子装置15使用。

可以由手势检测装置12检测的示例性手势14包括向左或向右拖拽/拂动、向左或向右的缓慢连续拖拽手势、向左或向右的双拂动手势、反向拂动手势(其中用户向左然后向右拂动，或反之亦然)。如将要理解的，可以按顺序执行任何数量的上述组合来定义手势的类型。

一旦检测到手势14，就可以检索出与该手势14相关联的命令以便被电子装置15使用。如将要理解的，命令的数量可以是无穷的。示例性的命令包括拒绝或接受来电，静音电话/可穿戴、在生活日志应用中创建书签、触发相机拍摄(视频或静止图像)、音量控制、遥控诸如电视(频道、音量等)的其它装置、滚动列表或文本(在可穿戴或远程装置上)、去到下一个或上一个项(图像浏览器、或在基于卡的应用中)等。

为了提升手势检测装置12的准确度，该装置可以包括校准模式。在校准模式期间，例如，用户可以佩戴手势检测装置12并执行一系列预定的手势。用户可能被请求执行向左拂动手势、向左双拂动手势、向右拂动手势、向右双拂动手势、向左拖拽手势、向右拖拽手势等中的一个或更多个手势。

除了检测手势14之外，手势检测装置12还可以确定当执行手势14时用户的手臂的方位。以这种方式，可以通过在执行手势14时操纵用户的手臂的位置来简单地控制不同的电子装置。

例如，当手臂为水平使得手臂的内侧面向用户时，在手臂上执行的任何手势都可以指向移动装置(例如，移动电话或诸如智能手表、头戴式耳机等的可穿戴移动装置)。当手臂为水平使得手臂的内侧向上转至面向天花板时，在手臂上执行的任何手势都可以指向桌面用户界面(例如，计算机等)。当手臂保持垂直时，在手臂上执行的任何手势都可以指向墙壁上的用户界面。

另选地，手臂方位可以被用于改变手势14的含义。例如，在手臂的内侧面向用户时执行的向左拂动手势可以被解释为针对特定的电子装置的通电命令，而在手臂的内侧朝向上方时执行的相同的向左拂动手势可以被解释为针对特定电子装置的断电命令。

除了使用手臂方位来控制不同的用户界面之外，手臂方位还可以被用于减少误报。更具体地，仅当手臂处于某些预定位置时手势才被识别。换言之，除非手臂处于可识别的方位否则手势的检测可能被禁用。因此，例如，如果手臂不在完全水平或完全垂直的预定阀值内，则任何检测到的皮肤变形都可能被忽略。

为了确定手臂的方位，手势检测装置12中可以包括加速计、陀螺仪等装置。随着用户的手臂移至不同的方位，手势检测装置12被相应地移动并且这种相应的移动可被方位传感器检测到并用来确定用户的手臂的方位。

另外参照图2A至图2C，进一步详细地示出了手势检测装置12。更具体地，手势检测装置12包括附着装置16，其可形成为被配置用于附着到用户的手腕的带部分。该带部分可至少包括具有弹性的部分。在一个实施方式中，手势检测装置12被结合到智能手表中。

图2A示出了手势检测装置12的反面(bottom side)12a(即，当佩戴在手腕上时面向用户的手腕的一侧)，该反面12a包括用于感测皮肤的变形的感测装置18。在一个实施方式中，感测装置18是光学装置，并且优选地是相机，例如，用于监测脉搏的类型的相机。在另一实施方式中，感测装置18是检测红外光的相机。在又一实施方式中，感测装置18可以是接近传感器。感测装置18可以被布置在带16的中心，或者可以到带16的纵向中心线的左边或右边有偏移，可以被布置在带的边缘上(例如，以便当带佩戴在用户的手腕上时沿用户的前臂的表面具有视野)。在一个实施方式中，感测装置18被布置成面向用户的前臂，由此使得能够检测在执行手势14的位置处的皮肤变形。在另一实施方式中，感测装置18被布置成面向用户的手腕，由此使得能够检测带16下方的皮肤变形或者紧邻带16的皮肤变形(即，所感测到的皮肤与其上执行手势14的皮肤上的位置分隔开)。在另一实施方式中，多个感测装置18被布置在带16上以监测手臂的上部、下部以及侧面。这种多传感器实施方式的优点在于其使得能够检测到更大数量的一组手势。

带16的一端包括第一紧固装置20a，诸如挂钩或环扣紧固装置中的一个。虽然描述了挂钩或环扣紧固装置，但应当理解的是，在不脱离本发明的范围的情况下也可以采用其它类型的紧固装置。例如，该紧固装置可以是粘合、带扣、钩扣的形式或用于将物体附着到身上的任何其它已知紧固装置。另选地，带16可以是具有弹性的“闭合”带。

移至图2B，示出了手势检测装置12的正面(top side)12b，并且其可包括与反面12a的紧固装置互补的紧固装置20b。例如，如果反面12a的紧固装置20a是环型紧固装置，则正面12b的紧固装置20b可以是钩型紧固装置。此外在正面上还布置有控制器22，其负责指示感测装置18获取数据、分析数据和/或发送数据至另一电子装置。虽然感测装置18和控制器22被示出为单独的装置，但它们可以被集成到共同的结构中。

图2C示出了带16的各个端彼此联接到一起以形成环带。

参照图3，示意性地示出了用于根据本公开的手势检测装置12的示例性控制器22。该控制器22包括负责手势检测装置12的整体操作的控制电路24。为了该目的，控制电路24包括执行不同应用(诸如，基于如本文所描述的皮肤变形检测在皮肤上执行的手势的手势检测功能28)的处理器26。如所指示的，手势检测功能28可以以由处理器26执行的逻辑指令的形式实现。

控制电路24的处理器26可以是中央处理单元(CPU)、微控制器或微处理器。处理器26执行存储在控制电路24内的存储器(未示出)中和/或存储在单独的存储器(诸如，存储器30)中的代码，以便执行手势检测装置12的操作。存储器30例如可以是缓冲器、闪存、硬盘驱动器、可拆卸媒介、易失性存储器、非易失性存储器、随机存取存储器(RAM)、或其它适合的装置。在典型的布置中，存储器30包括用于长期数据存储的非易失性存储器和用作控制电路24的系统存储器的易失性存储器。存储器30可以通过数据总线与控制电路24交换数据。在存储器30与控制电路24之间还可能存在随附的控制线和地址总线。存储器30被认为是非瞬态计算机可读介质。

可选地，存储器30可包括用于存储手势检测功能28所使用的数据的数据库31。如数据可以是由于在用户的皮肤上执行的不同手势而导致的皮肤变形的特征数据、与各种类型的皮肤变形相关联的手势数据等。

如上面所讨论的，手势检测装置12包括用于获得对应于皮肤变形的数据的前述感测装置18。该感测装置18(其可以是诸如相机等的光学装置)可以是控制器22的一部分。在一个实施方式中，传感器是用于测量脉搏的相机。另选地，感测装置18可以独立于控制器22并且通信地联接到该控制器22以便从该控制器22接收指令以及发送数据至该控制器22。

控制器22可以包括使得该控制器22能够建立各种不同的无线通信连接的通信电路。在示例性实施方式中，通信电路包括无线电电路32。该无线电电路32包括一个或更多个射频收发器和天线组合件。控制器22能够使用一种以上的标准进行通信。因此，无线电电路32提供针对各种所支持的连接类型所需的各无线电收发器和天线。无线电电路32还提供用于与电子装置直接本地无线通信(诸如通过蓝牙接口)的任何无线电收发器和天线。

控制器22被配置成使用无线电电路32参与无线通信，诸如数据传送等。数据传送可包括(但不限于)发送检测到的手势、与检测到的手势相关联的命令、和/或与由于手势而导致的皮肤变形相对应的原始传感器数据、接收来自另一电子装置的数据等。

控制器22可以包括用于确定装置12的方位(并由此确定附着有该装置12的用户的手臂的方位)的方位传感器33。该方位传感器33可以是陀螺仪或加速计的形式，并且如传统的可以包括用于基于来自陀螺仪和/或加速计的数据来确定方位的适当的电路。

可选地，控制器22可以包括用于向用户显示信息的显示器34。该显示器34可以通过将视频数据转换成用于驱动该显示器34的视频信号的视频电路(未示出)被联接到控制电路24。该视频电路可以包括任何适当的缓冲器、解码器、视频数据处理器等。

可选地，控制器22可以包括用于处理音频信号的声音电路36。联接至该声音电路36的是扬声器38和麦克风40，它们使得用户能够经由手势检测装置12来听和说，并且能够听到与所述装置12的其它功能一起产生的声音。该声音电路36可以包括任何适当的缓冲器、编码器、解码器、放大器等。

可选地，控制器22可以包括用于接收用于控制手势检测装置12的操作的用户输入的一个或更多个用户输入端42。示例性的用户输入端包括(但不限于)覆盖在显示器34之上用于触屏功能的触摸输入端、可被用于配置手势检测装置12的一个或更多个按钮等。

控制器22还包括用于向其供电的电源。该电源可以是电池的形式，诸如锂离子电池或其它适合的电池。

参照图4，示意性地示出了可以与手势检测装置12一起使用以形成一个系统的移动电话形式的示例性电子装置15。该电子装置15包括负责该电子装置15的整体操作的控制电路50，该控制电路具有执行诸如本文所描述的手势检测功能28的部分的各种应用的处理器52。手势检测功能28的部分可以以由处理器52执行的逻辑指令的形式实现。

控制电路50的处理器52可以是中央处理单元(CPU)、微控制器或微处理器。处理器52执行存储在控制电路50内的存储器(未示出)中和/或存储在单独的存储器(诸如，存储器54)中的代码，以便执行电子装置15的操作。存储器54例如可以是缓冲器、闪存、硬盘驱动器、可拆卸媒介、易失性存储器、非易失性存储器、随机存取存储器(RAM)、或其它适合的装置。在典型的布置中，存储器54包括用于长期数据存储的非易失性存储器和用作控制电路50的系统存储器的易失性存储器。存储器54可以通过数据总线与控制电路50交换数据。在存储器54与控制电路50之间还可能存在随附的控制线和地址总线。存储器54被认为是非瞬态计算机可读介质。

可选地，存储器54可包括用于存储手势检测功能22所使用的数据的数据库31。如数据可以是由于在用户的皮肤上执行的不同手势而导致的皮肤变形的特征数据、与各种类型的皮肤变形相关联的手势数据等。数据库31可以存储与数据库31所存储的数据相同、相似或相关的数据。

电子装置15可以包括使得该电子装置15能够建立各种无线通信连接的通信电路。在示例性实施方式中，通信电路包括无线电电路56。该无线电电路56包括一个或更多个射频收发器和天线组合件。电子装置15能够使用一种以上的标准进行通信。因此，无线电电路56提供各种所支持的连接类型所需的各无线电收发器和天线。无线电电路56还提供用于与电子装置的直接本地无线通信(诸如通过蓝牙接口)的任何无线电收发器和天线。

电子装置15被配置成使用无线电电路56参与无线通信，诸如语音呼叫、数据传送等。数据传送可包括(但不限于)接收来自手势检测装置12的手势数据、接收或发送消息(例如，聊天形式的消息、电子邮件消息、多媒体消息)等等。

无线通信可以通过订户网络进行处理，该订户网络通常是由服务提供商部署的网络，电子装置15的用户利用该网络订阅电话和/或数据服务。电子装置15和订户网络之间的通信可以通过蜂窝电路交换网络连接进行。用于蜂窝电路交换网络连接的示例性接口包括(但不限于)全球移动通信系统(GSM)、码分多址(CDMA)、宽带CDMA(WCDMA)、以及这些标准的高级版本。电子装置15和订户网络之间的通信还可以通过支持IP数据通信的蜂窝分组交换网络连接进行。用于蜂窝分组交换网络连接的示例性接口包括(但不限于)通用分组无线服务(GPRS)和4G长期演进(LTE)。

电子装置15和订户网络之间的蜂窝电路交换网络连接和蜂窝分组交换网络连接可以通过订户网络的传输介质(未具体示出)来建立。该传输介质可以是任何适当的装置或组合件，但通常是通信基站的布置(例如，蜂窝服务塔，也称为“小区”塔)。订户网络包括一个或更多个服务器，这些服务器用于管理由电子装置15设置并指定给该电子装置15的小区、将数据发送至该电子装置15和从该电子装置15接收数据、以及执行任何其它支持的功能。如将要理解的，服务器可以被配置为用于执行服务器功能的典型计算机系统，并且可以包括被配置成执行包含实现服务器的功能的逻辑指令的软件的处理器以及用于存储这样的软件和相关数据的存储器。

用于电子装置15访问互联网以及进行其它无线通信的另一种方法除了订户网络之外则是通过使用分组交换数据连接。例如，电子装置15可以通过具有至互联网的连通性的IEEE 802.11(通常被称为WiFi)接入点(AP)参与IP通信。

电子装置15还可以包括用于向用户显示信息的显示器58。所显示的信息可以包括第二画面内容。该显示器58可以通过将视频数据转换成用于驱动该显示器58的视频信号的视频电路60被联接到控制电路50。该视频电路60可以包括任何适当的缓冲器、解码器、视频数据处理器等。

电子装置15还可以包括用于处理音频信号的声音电路62。联接至该声音电路62的是扬声器64和麦克风66，它们使得用户能够经由电子装置15来听和说，并且能够听到与所述装置15的其它功能一起产生的声音。该声音电路62可以包括任何适当的缓冲器、编码器、解码器、放大器等等。

电子装置15还包括用于接收用于控制该电子装置15的操作的用户输入的一个或更多个用户输入端68。示例性的用户输入端包括(但不限于)覆盖在显示器58之上用于触屏功能的触摸输入端、一个或更多个按钮、移动传感器(例如，陀螺仪传感器、加速计)等。

电子装置15还可以包括一个或更多个输入/输出(I/O)接口70。该I/O接口70可以是典型电子装置I/O接口的形式，并且可以包括用于经由线缆将该电子装置15在操作上连接至另一装置(例如，计算机)或配件(例如，个人免提(PHF)装置)的一个或更多个电子连接器。此外，可以通过I/O接口70来接收工作电力，并且可以通过I/O接口70来接收用于对电子装置15内的电源单元(PSU)72的电池充电的电力。在没有外部电源时，PSU 72可以提供用于操作电子装置15的电力。

电子装置15还可以包括各种其它组件。例如，可以提供相机用于拍摄数字图片和/或影片。对应于图片和/或影片的图像和/或视频文件可以被存储在存储器54中。作为另一示例，可以提供诸如全球定位系统(GPS)接收器的位置数据接收器76来协助确定电子装置15的位置。

另外参照图5，示出了实现用于检测在用户的皮肤上执行的手势的示例性方法的逻辑操作。所述示例性方法例如可以通过执行手势检测功能28的实施方式来执行。因此，图5的流程图可以被看作描述由手势检测装置12的控制器22执行的方法的步骤。应注意的是，虽然该流程图的特定步骤被描述为通过手势检测装置12的控制器22来实现，但图5中所示出的部分步骤也可以在别处(例如，在诸如移动电话等的另一电子装置15中)实现。

尽管图5示出了执行功能逻辑块的特定顺序，但是执行这些块的顺序可以相对于所示出的顺序进行改变。此外，连续示出的两个或更多个块可以同时地或部分同时地来执行。某些块还可以被省去。另外，为了提升实用性、计费、性能、测量、故障诊断等的目的，可以向该逻辑流程添加任何数量的功能、逻辑操作、命令、状态变量、信号或消息。应当明白，所有这样的变型都在本发明的范围内。

用于手势检测功能28的逻辑流程可以从在用户的皮肤上执行手势的块100开始。例如，以及如本文所述，用户可以在皮肤的表面上执行多种不同手势中的任何一种。这样的手势可以包括在皮肤上沿相对于感测装置18的特定方向拂动手指、在皮肤上沿相对于感测装置18的特定方向拖拽手指等中的一个或更多个。在块102，可以经由感测装置18检测由于手势14而导致的皮肤变形，该感测装置18可以是诸如佩戴在手腕上的相机的光学装置。例如，如果执行拂动手势使得用户的手指被置于皮肤上并然后朝手势检测装置12拂动，则被感测装置18监测的皮肤表面的一部分可能朝该感测装置18移动、聚成一团或出现褶皱，并且该感测装置18可以收集对应于皮肤变形的数据。同样，如果用户的手指被置于手臂上并且远离手势检测装置12拂动，则被感测装置18监测的皮肤表面的一部分将远离该传感器移动、拉伸或以其它方式变得减少褶皱。然后将所捕获的对应于皮肤变形的数据与例如存储在数据库中的皮肤变形数据进行比较，如在块104所指示的。在一个实施方式中，数据库是查询表的形式。另选地，以及如在块104a和106a所示出的，对所捕获的数据进行分析(不使用数据库)来确定在皮肤的表面上是否存在一个或更多个点相对于感测装置18移动。例如可以通过捕获皮肤表面的一系列图像并执行这些图像的比较来执行这样的分析。如果皮肤表面上的特定点在图像帧之间移动，则这样的信息将根据所述比较得以证明并且可以确定移动的方向。

在块106，确定在由感测装置18捕获的数据与存储在数据库中的数据之间是否存在匹配。如果未发现匹配，则在块108，用户可被通知该手势未被理解并前进至结束。然后用户可以在块100重新尝试手势14并且可以重复该方法。

如果发现由感测装置18捕获的数据与存储在数据库中的数据之间的匹配，则可选地，在块110可以确定在执行该手势14时的用户的手臂的方位。如本文所提到的，可以使用手势检测装置12的方位传感器33确定这样的方位。

另选地，在块112，如果手臂的方位未处于可接受的方位中(例如，手臂未处于数个预定可接受的方位中的一个，诸如水平或垂直等)，则可以确定所检测到的手势是误报并且该方法可以结束。如果确定手臂的方位对应于可接受的方位，则在块114还可以从数据库检索出对应于所确定的手势14的命令。

例如，如果向左拂动手势与通电功能相关联并且向右拂动手势与断电功能相关联，则这样的各功能可以与各手势数据一起存储在数据库内。当发现所捕获的数据与存储在数据库中的数据之间的匹配时，可以从数据库中检索出所关联的功能。

命令的检索除了基于所检测到的手势之外还可以基于执行手势14时的手臂方位。例如，当内侧手臂处于水平位置并且面向用户时的向左拂动手势可以与第一装置(例如，装置“A”)的通电(POWER ON)功能相关联，而当内侧手臂向上面朝天花板时执行的相同的手势可以与第二装置(例如，装置“B”)的通电(POWER ON)功能相关联。因此，数据库除了具有基于所检测到的手势而指定的命令外还可以具有基于手臂的方位而指定的命令。

在块116，所检测到的手势和/或所关联的命令可以例如经由无线电电路32被传递至电子装置15。

在另选实施方式中，手势检测装置12将所检测到的手势和/或手臂方位传递至电子装置15。随后该电子装置15可以独立于手势检测装置来确定与所检测到的手势和/或手臂方位相关联的命令。例如，可以由电子装置执行块112和114，而其余块可以由手势检测装置12来执行。在另一实施方式中，手势检测装置12收集对应于皮肤变形的数据(块100和102)，并将所收集到的数据转发至电子装置15(块116)。然后该电子装置15可以执行在块104-114中标识的步骤。

因此，已经描述了使得能够检测在皮肤上执行的手势并将其传递至电子装置的手势检测设备、系统和方法。手势可以与可被用于操作电子装置15的特定的命令相关联。

本文已经公开了本发明的具体实施方式。本领域的普通技术人员应很容易认识到，本发明可以在其它环境下具有其它应用。事实上，许多实施方式和实现方案都是可能的。以下的权利要求决不旨在将本发明的范围限制于上述的具体实施方式。另外，任何“用于...的装置”的表述旨在博得元件和权利要求的装置加功能的解读，然而，未特别使用“用于...的装置”表述的任何元件都不旨在被解读为装置加功能元件，即使该权利要求另外包括了词“装置”。

本发明的计算机程序元件可以以硬件和/或软件(包括固件、驻留软件、微代码等)的形式来实现。本发明可以采取计算机程序产品的形式，其可以通过具有计算机可用或计算机可读程序指令的计算机可用或计算机可读存储介质、实现在该介质中用于被或结合指令执行系统使用的“代码”或“计算机程序”来实现。在本文档的上下文中，计算机可用或计算机可读介质可以是能够包含、存储、传递用于被或结合指令执行系统、设备或装置使用的程序的任何介质。计算机可用或计算机可读介质可以是(例如但不限于)电子、磁、光、电磁、红外或半导体系统、设备或装置。计算机程序产品和本文所描述的任何软件和硬件形成用于在示例实施方式中执行本发明的功能的各种装置。

Claims (23)

1.一种确定由用户执行的手势的方法，所述方法包括以下步骤：

使用相机检测由于在所述用户的皮肤表面上执行的手势而导致的所述用户的皮肤表面的变形，其中，所述变形包括皮肤的拉伸和皮肤的压缩中的一者，所述皮肤的拉伸包括压扁皮肤、去除或减少皮肤中的褶皱，所述皮肤的压缩包括使皮肤出现褶皱或聚在一起，其中，检测所述用户的皮肤表面的变形的步骤包括：检测所述用户的皮肤表面相对于参考点的移动，

检测所述用户的皮肤表面的移动的步骤包括：

获得与所述用户的皮肤表面相对应的序列图像；

将所述序列图像彼此进行比较以确定所述序列图像中的一个或更多个图像是否不同于其它序列图像；以及

当在一个或更多个序列图像之间存在差异时，确定存在皮肤移动；确定所检测到的变形的特征；以及

基于所确定的特征，确定在所述用户的皮肤表面上执行的所述手势。

2.根据权利要求1所述的方法，其中，确定所述手势的步骤包括：将所检测到的皮肤变形的所述特征与存储在数据库中的多个条目进行比较，每个条目包括与由于预定的手势而导致的皮肤变形相对应的皮肤变形数据。

3.根据权利要求1所述的方法，所述方法还包括以下步骤：检索指定给所检测到的手势的输入命令。

4.根据权利要求3所述的方法，所述方法还包括以下步骤：确定用户的手臂的方位，

其中，检索指定给所确定的手势的输入命令的步骤还基于所确定的用户的手臂的方位。

5.根据权利要求3所述的方法，所述方法还包括以下步骤：确定用户的手臂的方位，并且基于所确定的用户的手臂的方位将所检索到的输入命令指定给多个电子装置中的一个电子装置。

6.根据权利要求4-5中的任一项所述的方法，其中，确定用户的手臂的方位的步骤包括使用陀螺仪或加速计中的至少一个以确定所述方位。

7.根据权利要求1-5中的任一项所述的方法，其中，在用户的前臂上执行手势，并且在用户的手腕处执行检测皮肤的变形。

8.根据权利要求1-5中的任一项所述的方法，所述方法还包括以下步骤：

确定用户的手臂的方位；以及

仅当所确定的方位对应于预定方位时才执行所述检测的步骤。

9.根据权利要求1所述的方法，其中，所述相机面向用户的手腕布置在所述手腕上。

10.根据权利要求1所述的方法，其中，所述相机面向用户的前臂布置在用户的手腕上。

11.根据权利要求1所述的方法，其中，所述相机经由腕带附着到用户的手腕上。

12.根据权利要求1-5中的任一项所述的方法，其中，所述手势包括皮肤的单拂动、沿相同方向的皮肤的双拂动、沿相反方向的皮肤的双拂动或拖拽皮肤中的至少一种。

13.根据权利要求1-5中的任一项所述的方法，所述方法还包括以下步骤：将所确定的手势无线地传送到至少一个电子装置。

14.一种手势检测装置，所述手势检测装置包括：

处理器和存储器；

相机，所述相机在操作上联接至所述处理器，所述相机被配置成向所述处理器提供与皮肤变形相对应的数据；以及

程序，所述程序存储在所述存储器中并能被所述处理器执行，所述程序包括：

被配置成基于由所述相机提供的数据检测由于在用户的皮肤表面上执行的手势而导致的所述用户的皮肤表面的变形的程序，其中，所述变形包括皮肤的拉伸和皮肤的压缩中的一者，所述皮肤的拉伸包括压扁皮肤、去除或减少皮肤中的褶皱，所述皮肤的压缩包括使皮肤出现褶皱或聚在一起，其中，被配置成检测所述用户的皮肤表面的变形的程序包括被配置成检测所述用户的皮肤表面相对于所述相机的移动的程序，

被配置成检测所述用户的皮肤表面的移动的程序包括：

被配置成使得获得与所述用户的皮肤表面相对应的序列图像的程序；

被配置成将所述序列图像彼此进行比较以确定所述序列图像中的一个或更多个图像是否不同于其它序列图像的程序；以及

被配置成当在一个或更多个序列图像之间存在差异时确定存在皮肤移动的程序；

被配置成确定所检测到的变形的特征的程序；以及

被配置成基于所确定的特征确定在所述用户的皮肤表面上执行的手势的程序。

15.根据权利要求14所述的手势检测装置，其中，被配置成确定手势的所述程序包括被配置成将所检测到的皮肤变形的所述特征与存储在数据库中的多个条目进行比较的程序，每个条目包括与由于预定的手势而导致的皮肤变形相对应的皮肤变形数据。

16.根据权利要求14所述的手势检测装置，所述装置还包括检索指定给所检测到的手势的输入命令的程序。

17.根据权利要求16所述的手势检测装置，所述装置还包括确定用户的手臂的方位的程序，

其中，检索指定给所确定的手势的输入命令的所述程序包括基于所确定的用户的手臂的方位检索所述输入命令的程序。

18.根据权利要求16-17中的任一项所述的手势检测装置，其中，被配置成确定所述用户的手臂的方位的所述程序包括使用从方位传感器获得的数据中的至少一个以确定所述方位的程序。

19.根据权利要求15-17中的任一项所述的手势检测装置，所述装置还包括：

被配置成确定所述用户的手臂的方位的程序；以及

被配置成仅当所确定的方位对应于预定方位时才执行检测步骤的程序。

20.根据权利要求15-17中的任一项所述的手势检测装置，所述装置还包括通信地联接至所述处理器的方位传感器。

21.根据权利要求15-17中的任一项所述的手势检测装置，所述装置还包括被配置成用于附着到手腕的附着装置，其中，所述相机被附着到所述附着装置。

22.根据权利要求15-17中的任一项所述的手势检测装置，所述装置还包括适用于将所确定的手势传送至另一电子装置的无线收发器。

23.根据权利要求15-17中的任一项所述的手势检测装置，其中，被配置成基于由所述相机提供的数据确定皮肤变形的所述特征的所述程序包括被配置成确定与皮肤的单拂动、沿相同方向的皮肤的双拂动、沿相反方向的皮肤的双拂动或拖拽皮肤中的至少一个相对应的皮肤变形的程序。