CN103329066B - 用于多模式手势控制的方法和系统 - Google Patents

Abstract

本发明的实施例公开了一种多模式手势控制系统。根据一个实施例，多模式手势控制系统被配置为通过多个装置中的至少一个装置检测来自用户的手势命令。基于该手势命令确定控制操作和目标装置，从而使所确定的控制操作在所确定的目标装置上执行。

Description

用于多模式手势控制的方法和系统

背景技术

由于技术的不断改变，家庭娱乐（特别是家庭娱乐系统）在过去的十年间发生了巨大的变化。例如，现在的娱乐系统可包括支持三维（3D）的电视机、数字视频记录仪、蓝光媒体播放器和视频游戏系统等等。尽管有了许多技术进步，但娱乐系统的每个装置仍需要来自用户的某些种类的身体操作。目前，基于红外的控制器是远程地控制装置的最流行方法之一。然而，随着需要同步操作的装置的数量在增加，用户必须学会并操作的控制器的数量也增加。

附图说明

结合以下附图，将更容易理解根据本发明特定实施例的具体描述所得出的本发明的特征和优点及其其他特征和优点。

图1是根据本发明示例的多模式手势控制系统的三维透视图。

图2是根据本发明示例的多模式手势控制系统的简化框图。

图3A-图3I示出了根据本发明示例的多种手势命令。

图4A-图4E示出了根据本发明示例允许用户指定意欲对其进行交互的特定装置的多种自交互（meta-interaction）方法。

图5是根据本发明示例进行多模式手势控制的处理步骤的简化流程图。

具体实施例

以下讨论涉及多个实施例。尽管可具体讨论这些实施例中的一个或多个，但所公开的实施例不应被解释为或用于限定所公开内容（包括权利要求）的范围。此外，本领域技术人员将理解，以下描述具有广泛的应用，对任何实施例的讨论仅仅意味着该实施例的一个示例，而并不旨在意味着公开内容（包括权利要求）的范围限定于该实施例。此外，如本文所使用的，标识符“A”、“B”和“N”（特别是关于附图中的参考标号）表示所指示的多个特定特征可包含有本公开的示例。标识符可表示相同或不同数量的特定特征。

本文的附图遵从了这样一种编号规则，其中单个或多个第一数字对应于附图编号，其他数字区别附图中的元件或部件。用户可以类似的数字识别不同附图之间的类似元件或部件。例如，在图1中，143可表示的元件“43”，在图2中，类似的元件可表示为243。在本文不同附图中示出的元件可被添加、交换和/或除去，从而提供本文公开内容的多个额外示例。此外，附图中所提供的元件的比例和相对尺度旨在示出本文公开内容的示例，而不应作为限制。

解决上述问题的通常方案是使用通用远程控制器，以控制多娱乐装置。本文，将单个控制器配置为控制多个装置。该组装置以及控制器可在通信信道（如，红外）上发出的相应命令可以预先配置或由用户定制。典型地，物理控制器置于特定模式，从而使所有后续命令用于特定装置，除非模式发生改变。然而，物理控制器需要频繁更换电池、经常不知放于何处，并且在长时间后最终损坏。

解决上述问题的另一种方案是，通过使用手势控制，能够在不需要物理控制器的情况下控制多个装置。然而，在现有的方案中，每个装置必须包含用于检测来自用户的手势的控制器，还具有其自身的独特交互词汇库（如，手势命令数据库）。此外，当遗失了物理控制器，指定手势所指向的目标装置通常变成一种挑战。

在没有物理控制器的情况下，另一种方法是，通过观测用户指向哪里，能够确定他/她的手势的意图方向。这可通过处理用户手势的RGB或红外摄像机图像或通过凝视检测来完成。当装置在空间上物理分离时，这种方法偶尔工作。也就是说，多个装置配置为利用独立摄像机识别视觉手势，每个装置在空间上物理分离，从而使一次只有一个摄像机（如，前置摄像机）可精确捕获用户交互并确定手势的目标装置。然而，如果多个装置彼此靠近，则该方法无法以所需的精度工作。

本发明的示例使用户在用户动作（即，手势命令）可在共存的多个装置上实施时能够指定特定装置。也就是说，本发明的示例提供了可用于控制多个娱乐装置的单独手势和多模式控制器。特别地，本发明的示例利用了自交互或不产生任何动作但对其自身（即，交互的目标装置）解释交互有用的交互。换句话说，当用户与多个装置（在多个装置中的两个或更多可通过相同的交互机制控制）交互时，多模式手势控制系统帮助区分哪个装置是特定交互所意图涉及的。如此，自交互和与其相关的手势控制系统能够跨越多个交互形式（多模式），并能够与多个附近的装置流畅交互。

现在更详细地参照附图，其中相同的标号在所有附图中表示相应的部件，图1是根据本发明示例的多模式手势控制系统的三维透视图。如图所示，系统100包括显示单元124，显示单元124连接至多个娱乐装置105、110、115。根据一个实施例，显示单元124是数字电视，其配置为便于音频和视频信号传送至操作用户。娱乐装置105、110、115表示用于与显示单元124配对的多媒体消费电子装置，例如，卫星接收器、数字视频记录仪（DVR）、数字视频光盘播放器（DVD/蓝光）、视频游戏机、音频视频（AV）接收器等等。此外，手势检测控制器可与向控制器提供反馈的必备传感器（如，摄像机、麦克风、红外摄像机等）一同嵌入在娱乐装置105、110、115的至少一个中。其他娱乐装置可包括标准无线通信装置，例如基于红外的协议或射频（RF）协议。本发明的示例利用多个娱乐装置105、110、115的空间接近性和无线协议的广播性质。例如，当主装置的手势检测控制器识别来自用户的并非指定主装置的手势命令时，主装置配置为将命令转换为可被其他装置理解的替换命令代码（如，红外的）。然后，替换命令被主装置利用适当的代码或媒介（如，红外的）广播至目标装置。再参照图1所示的示例，如果娱乐装置110包含手势控制器，并识别指向娱乐装置105的、来自用户的手势命令，则娱乐装置110可创建与所接收的手势命令相关联的红外代码（即，替换命令），并将该替换命令广播至装置105。由于装置110和105很近，所以装置105的红外接收器接收该替换红外命令，并相应地执行该命令。此外，娱乐装置115不受该命令的影响，这是因为该替换命令或红外代码是唯一针对娱乐装置105的。此外，显示单元124可以是通过主装置控制的娱乐装置之一。

图2是根据本发明示例的多模式手势控制系统的简化框图。如该示例所示，系统200包括多个娱乐装置205、210、215（A,B,…N）、显示单元224、手势数据库223和计算机可读存储介质211。主装置或娱乐装置210包括手势检测模块211和信号处理器209，用于帮助根据本发明的示例的手势多模式控制。更具体地，手势检测模块211连接至手势数据库223，手势数据库223存储手势列表和相关的操作命令和目标装置。根据一个示例，信号处理器209配置为将手势命令转换为替换代码或命令（如，射频），并发射转换的命令，以由适当的目标装置检测。装置205和215包括信号接收器207和217，分别用于检测从主娱乐装置210发射的替换信号。显示单元224表示配置为向用户呈现视频和图像的电子视觉显示器，例如液晶显示器（LCD）、电视、等离子显示板、阴极射线管（CRT）显示器、视频投影仪等。此外，显示单元224还可包括信号接收器，用于检测从主装置广播的替换命令信号。存储介质219表示易失性存储器，如，随机存取存储器，非易失性存储器，如，硬盘驱动器、只读存储器、光盘只读存储器、闪存等，或其组合。此外，存储介质219可包括可由主装置执行的软件213，以实现本文描述的一些或所有功能。

图3A至图3I示出了根据本发明示例的各种手势命令。如该示例性实施例所示，图3A描绘了这样一种手势命令，其中用户的手形成握住的拳头且拇指指向朝西的方向。该手势命令可映射至“后退”操作，例如，在DVD播放器装置上跳至前一章节或者在DVR装置上倒回三十秒。类似地，图3B描述了这样一种手势命令，其中用户的手形成握住的拳头且拇指指向朝东的方向。该手势命令可映射至“前进”操作，例如，在DVD播放器上跳至下一章节或者在DVR装置上向前跳三十秒。图3C示出了另一种手势命令，其中用户的手是打开的，四指并拢在一起，且拇指垂直于食指。该手势命令可映射至“停止”操作，例如，在诸如蓝光娱乐装置上停止蓝光电影的回放。

此外，图3D描绘了这样一种手势命令，其中用户手的特征包括：打开，四指基本等距间隔，且手掌面向用户。相应地，该手势可映射至“打开”操作，例如，在诸如已连接的视频游戏机上打开所存储的文件。类似地，图3E描绘了这样一种手势命令，其中用户手的特征模仿图3D的特征，除了手掌背向用户。根据一个示例，该手势可映射至“最大化”操作，用于增大在显示单元上示出的图像或视频的视觉显示区域。此外，图3F描绘了这样一种手势命令，其中用户的手形成握住的拳头。这里，该手势命令可映射至“最小化”操作，用于减小在已连接的显示单元上示出的图像或视频的视觉显示区域。

图3G描绘了另一种手势命令，其中用户的手除了中指和食指外是握住的，食指指向朝东的方向，中指指向北向。根据一个示例，该手势可映射至“撤销”操作，在该操作中，取消或去除最后一个收到的命令。图3H描绘了与图3G类似的手势命令，除了食指指向朝西的方向。与图3G相反，图3H的这种手势可映射至“重复”操作，从而应用前一个命令。此外，图3I描绘了这样一种手势命令，其中用户的手的每根手指均向内弯曲，从而形成爪型手势。该手势命令可通过主装置的手势控制器映射至“保存”操作，用于在特定的目标装置上保存数据文件（如，在视频游戏机的硬盘驱动器上保存照片）。上述手势命令仅仅是可被本发明的系统所利用的手势类型的一个很小子集的一个示例。此外，这些手势命令简单地用于诸如在每个手势可映射至任意类型的操作命令的目的。

通过在用于控制如上所述的多个装置的主娱乐装置中使用单个手势方向控制器，需要为特定手势指出目标装置。然而，提供一大组手势命令，会增加用户必须学习并领会的命令的数量。这种方法还会增加对用于在一大组命令中进行识别的传感器和控制器的能力需求。因此，本发明的示例提供了这样一种方法，其允许用户过载特定的手势命令，然后指出该命令意味着或指向哪个装置。特别地，自交互或不产生任何动作但对其自身解释交互有用的交互可用于识别特定用户交互或手势的目标装置。

图4A至图4E示出了根据本发明的示例用于允许用户指定交互所指向的特定装置的各种自交互方法。图4A描绘了“非惯用手”自交互方法。根据该方法，用户426的非惯用手424可用于指定目标装置，而惯用手432用于手势交互。也就是说，利用非惯用手434所做出的特定姿势或手势可用于为利用惯用手432所做出的手势命令限定出目标装置。如本示例所示，用户426正在用惯用手424形成“后退”手势命令，而同时用非惯用手竖起一根手指，从而指示目标娱乐装置（即，装置1）执行“后退”操作。

图4B描绘了“交叉模式”自交互方法。这里，自交互可包括视觉手势，并伴随着指定目标装置的另一种形态（例如，语音）。如在本示例中所示，用于“后退”命令的视觉手势可伴随着语音标识，诸如“DVD”或“DVR”，从而指定“后退”命令是指操作或控制哪个装置。图4C描绘了所谓“瞬时”方法的另一种自交互。在该示例中，相同的交互范围内的一些手势可作为设定目标装置的自交互，除非在给定的时间内接收到后来的自交互。例如，用户426可选择“装置2”作为目标装置，然后，在预定的时间阈值（如，5秒）内且在相同的交互范围内，形成手势命令（如，“后退”、“音量增大”等），以用于操作所选择的目标装置。可替换地，特定手势可作为“转换自交互”，以在不同装置间切换。

现在参照图4D，描绘了“空间”自交互方法。根据该示例性实施例，交互的手势识别空间可细分为不同的空间区域，这些不同的空间区域映射至不同的装置，从而使在特定空间区域触发的交互指向特定的装置。例如，如果两个娱乐装置一个堆叠在另一个顶部上时，在预定阈值（如，用户的面部或肩膀）之上的视觉手势可分配给顶端装置，而在该阈值之下的手势命令可分配给顶端装置之下的装置。在图4D的示例中，空间区域436a（即，用户424的眼睛之上）内的手势命令436a可分配给娱乐装置405，空间区域436b（即，用户424的眼睛水平面和肩膀水平面之间）内的手势命令432b可分配给娱乐装置410，而空间区域436c（即，用户424的肩膀水平面和腰部水平面之间）内的手势命令432c可分配给娱乐装置415。

图4E描绘了用于控制多个装置的另一种自交互方法（“手势特征”）。这里，分析手势的特定特征，以确定适当的目标装置。更具体地，自交互可嵌入其自身的手势命令中。在图4E所示的示例中，从左至右的挥手手势可意味着特定装置“增大音量”，而伸出的、且进行该手势的手指的数量可表示该手势命令是指向第一装置405、第二装置410、还是第三装置415。这里，挥手手势432包括两根手指，从而指示主装置在第二装置410上执行音量增大操作（主装置甚至也可以是第二装置）。在可替换的示例性实施例中，如果手势命令的目标是不清晰的，且可通过利用显示器或图形用户界面让用户在多个娱乐装置中选择而确定，则自交互可以是交互式的。

图5是根据本发明示例用于能够进行多模式手势控制的处理步骤的简化流程图。在步骤502中，由主娱乐装置的手势检测模块检测来自用户的手势命令。接下来，在步骤504中，主装置分析手势命令（如，自交互）并确定目标装置是否是主装置自身。如果是，则查询手势数据库，以确定与步骤512中接收到的手势命令相关联的操作命令，并且在步骤514中，在主装置上执行该操作命令。然而，如果主装置未被确定为所期望的目标装置，随后在步骤506中，主装置基于例如上述自交互而确定适当的目标装置。然后，在步骤508中，通过主装置的信号处理器，将手势命令转换为替换命令信号（如，红外的）。此后，在步骤510中，由主装置向目标装置广播或传送替换命令信号。基于在目标装置处收到的命令信号，在步骤514中，在其上执行相关的操作命令。

根据本发明示例的多模式手势控制系统具有许多优点。例如，该手势控制系统为用户提供了用单个嵌入的手势控制器控制多个装置的能力。结果是，可消除在每个娱乐装置上制造并配置多个传感器和手势控制器的花销。此外，跨越多个装置使用共享的交互语言/词汇库，允许用户学会一小组手势，从而增加对这些手势命令的再调用和使用。此外，较小的交互词汇库通过主装置的嵌入手势控制器帮助改善了对手势命令的识别。

此外，在已相对于示例性实施例描述本发明时，本领域技术人员将认识到，许多修改是可能的。例如，本发明的示例可扩展至多于两个或三个的娱乐装置，并扩展至不同于视觉手势的交互形态。此外，当每个装置具有其自身的手势控制器，但装置过于靠近而使得现有的凝视和指定方案不可靠时，手势控制系统可具有等同效果。而且，类似于由用户配置为控制多个装置的单个通用远程控制，本发明的示例允许手动配置或者对特定操作命令手动分配手势和自交互。

此外，用户还可添加新的手势，其只映射至特定的装置，或者在更多装置添加至该设置中时，用户可添加新的自交互。自交互还可指定特定的命令指向多于一个装置，从而利用单个手势命令在多个装置内触发动作。因此，尽管已相对于示例性实施例描述了本发明，但可以理解，本发明旨在覆盖权利要求范围内的所有修改和等同。

Claims (11)

1.一种为联接至显示装置的多个装置提供多模式手势控制的方法，该方法包括：

通过所述多个装置中的至少一个装置检测来自用户的手势命令；

基于所述手势命令确定控制操作并从所述多个装置中确定目标装置；以及

在所确定的目标装置上执行所确定的控制操作；

进一步包括：

将所述手势命令转换为替换命令信号，其中所述替换命令信号能够被所确定的目标装置检测；以及

从所述至少一个装置传送所述替换命令信号，以由所述目标装置检测。

2.如权利要求1所述的方法，其中检测手势命令和确定目标装置的步骤包括：

检测与所述用户相关联的惯用手的手势，以确定所述控制操作；以及

检测非惯用手的手势，以确定所述控制操作的目标装置。

3.如权利要求1所述的方法，其中检测手势命令和确定目标装置的步骤包括：

检测与所述用户相关联的惯用手的手势，以确定所述控制操作；以及

分析所述用户的声音输入，以确定所述控制操作的目标装置。

4.如权利要求1所述的方法，其中检测手势命令和确定目标装置的步骤包括：

检测与所述用户相关联的惯用手的第一手势，以确定目标装置；以及

在预定时间后，检测所述惯用手的第二手势，以确定所确定的目标装置的控制操作。

5.如权利要求1所述的方法，其中确定目标装置的步骤包括：

分析与所述用户相关联的惯用手的空间位置，其中多个空间区域中的每个空间区域均映射至所述多个装置中的一个装置；以及

基于所述手势命令的空间位置确定目标装置。

6.如权利要求1所述的方法，其中检测手势命令和确定目标装置的步骤包括：

基于所述手势命令确定控制操作；以及

分析所述用户的惯用手的物理特征，以确定执行所述控制操作的目标装置。

7.一种多模式手势控制系统，包括：

显示单元；

联接至所述显示单元的多个装置，其中至少一个装置包括手势检测模块，以检测从用户输入的手势，并确定所述多个装置中的目标装置，

其中基于从所述用户输入的手势确定控制操作和所述目标装置；

其中所述至少一个装置被配置为将手势输入转换为替换信号，并将所述替换信号广播至所述多个装置。

8.如权利要求7所述的系统，其中所述多个装置包括数字视频记录仪、卫星接收器、数字电视机顶单元或多媒体播放器。

9.如权利要求7所述的系统，其中所述多个装置彼此邻近。

10.如权利要求7所述的系统，其中具有所述手势检测模块的所述至少一个装置为主装置。

11.一种多模式手势控制系统，包括：

多个装置；以及

主装置，具有手势检测元件，以检测来自用户的手势命令，并确定所述多个装置中的目标装置，

其中基于由所述主装置检测的手势命令，确定所述目标装置和与所述目标装置相关联的控制操作；

其中所述主装置还被配置为将所接收到的手势命令转换为替换命令信号，并且

其中所述主装置还被配置为将所述替换命令信号广播至所述多个装置，以由所确定的目标装置检测。