CN104137031A - 屏上对象的手动操纵 - Google Patents

Abstract

根据一些实施例，手势可完全用于控制在显示屏幕上对象的表观动作。在本文中使用时，“只”使用手势表示用户的手无需抓握物理对象以便提供手势命令。在本文中使用时，术语“手形光标”指能够变成显现接合或抓握显示屏幕上示出对象的可移式手类图像。相反，普通箭头光标不能接合显示屏幕上的对象。

Description

屏上对象的手动操纵

相关申请交叉引用

本申请是非临时申请，要求2012年3月1日提出的临时申请61/605414的优先权，由此该临时申请明确通过引用结合于本文中。

背景技术

这一般涉及在计算机显示器上图像的控制。

 一般情况下，计算机显示器上图像的操纵通过使用鼠标以移动光标图像或者通过使用鼠标光标选择并移动各种对象来完成。此方案的一个缺陷是用户必须具有鼠标。另一缺陷是用户必须使用鼠标操纵对象。更多功能性操纵杆也可以类似方式使用，但所有这些技术具有共同的特性，那就是用户必须操纵物理对象以便操纵在显示屏幕上发生的情况。

附图说明

一些实施例相对于以下图进行描述：

图1是根据一个实施例，开始抓握对象的用户手势的图示；

图2是根据本发明的一个实施例，完成对象的抓握的用户手势的图示；

图3是根据一个实施例，开始移动对象的用户手势的图示；

图4是根据一个实施例，完成对象的移动的用户手势的图示；

图5是根据一个实施例，开始对象的旋转的用户手势的图示；

图6是根据一个实施例，在完成手势后完成对象的移动的用户手势的图示；

图7是根据一个实施例，在手势开始时开始调整对象大小的用户手势的图示；

图8是根据一个实施例，在手势结束时完成对象的大小调整的用户手势的图示；

图9是根据一个实施例，指示屏幕位置的用户手势的图示；

图10是根据本发明的一个实施例，开始改变显见相机方位的用户手势的图示；

图11是根据一个实施例，执行虚拟相机的摇动的用户手势的图示；

图12是根据一个实施例，根据摇动命令的用户手势的图示；

图13是根据本发明的一个实施例的显示屏幕的图示，其中，根据一个实施例，移动手形光标以抓握对象；

图14是根据一个实施例，在手形光标已移到与对象连接的某个方位后对应于图13的图示；

图15是根据一个实施例，在手形光标实际上已移动和旋转对象后的屏幕显示；

图16是根据本发明的一个实施例，用于局部手势控制的流程图；

图17是根据一个实施例，用于允许改变虚拟相机取向的系统的流程图；以及

图18是本发明一个实施例的示意图。

具体实施方式

根据一些实施例，手势可完全用于控制在显示屏幕上对象的表观动作。在本文中使用时，“只”使用手势表示用户的手无需抓握物理对象以便提供手势命令。在本文中使用时，术语“手形光标”指能够变成显现接合或抓握显示屏幕上示出对象的可移式手类图像。相反，普通箭头光标不能接合显示屏幕上的对象。

在一些实施例中，三维空中手势可用于操纵三维的示出对象。

在一些实施例中，手形光标可只使用手势移动以便与显示屏幕示出对象交互。随后，可只使用手势以多种方式移动那些示出对象。

参照图1，用户显示在要抓握对象的方位。在此方位中，手形光标可已经移动以便在视觉上与对象交互。随后，在用户如图2所示合上用户的手时，手形光标如同抓握一样物理上接合屏幕上的示出对象。

在一些实施例中，光标也可采用其它形状。例如，举几个示例而言，它可以是手的受操纵几何模型、传统光标或发光球。

显示屏幕与基于处理器的装置相关联。该装置耦合到诸如摄像机等记录用户的运动的图像捕捉装置。随后，在该装置上执行的视频分析应用可分析视频。该分析可包括手姿、运动或方位的识别。姿势指由在联结处的角度定义的手配置。运动指通过空间的平移。方位指空间中的位置。随后，可匹配识别的手方位和与特定命令联系而存储的手方位。一个或更多个相机对用户的动作进行成像，并且将该用户动作协调到适当方位手形光标的图示。在一些实施例中，手形光标具有显现以对应于手抓握对象的方式移动的手指。

具体而言，如图13所示，可促使手形光标H在箭头A1所示方向上移动以接合条形对象O。这可通过只使用手势来完成。如图14所示，一旦手形光标与对象O相关联，则手形光标以逆时针方向旋转的移动产生了如图15所示对象O的旋转。手形对象的旋转可以是用户借助于由适当相机捕捉的手势，提供旋转命令的结果。

在一个实施例中，手形光标对象可改变形状。例如，“手指”可张开以接合对象并且随后闭合以抓握对象。

虽然示出了简单的旋转运动，但实际上能够只使用手势以相同方式命令在二维或三维空间中任何类型的运动。

使用手形光标的一个益处是用户能够使用手势以便指示用户要使用手势操纵多个对象中的哪个对象。在一些实施例中，手指指点运动能够用于将手形光标重定位在示出屏幕显示的对象上的适当位置。手指指点运动的使用例如在图9中显示。响应此类指点动作，系统解析用户的手指的取向，并且从用户的手指创建向量或射线以确定向量或射线在显示屏幕上命中的点及什么对象位于手指指点所示的显示屏幕上的点。

指点手势可用于指示屏上按钮，以及用于指出屏幕上定位新创建对象的空点。通常，指点动作指定显示屏幕上的二维点。

除对象抓握手势命令外，图3和4中显示了对象移动手势命令。在图3中，显示了在初始抓握姿势的用户的手，并且随后通过简单地将用户的手从右侧移到左侧，在此情况下，在一些实施例中在显示屏幕上发生被抓握对象在相同方向、距离并且以相同速度的移动。当然，在其它实施例中，设置可用于使手运动的速度、方向和程度与在显示屏幕上的其所需效果相关。

控制显示(CD)增益是系数，将指点装置运动（在此情况下的手运动）映射到显示器上指示器（在此情况下通常为虚拟手形）的移动。CD增益确定在移动现实装置时光标移动的速度有多快。CDgain=velocity_pointer/velocity_device。例如，如果CDgain为5，则移动手1厘米将移动光标5厘米。在一些实施例中，可使用包括不变增益级别和可变调整增益值的任何CDgain值。

类似地，通过如图5和6所示简单地在所需图像旋转的方向旋转用户的手，能够命令旋转图像对象运动。

同样地，通过如图7和8所示移动用户的手以放大示出对象或者将手移到一起以缩小对象，能够命令对象的大小调整。随后，用户通过以“张开”或“松开”动作将其手指移离拇指，能够简单地松开对象。

其它手势可用于调整极大平坦表面的取向。用户可将手指弯曲，伸出一个或两个手，直至虚拟位置对应于表面位置。随后，用户伸直手指，以便手是张开的。随后，用户能够在任何俯仰/偏角/滚转方向旋转手，直至实现所需取向。一旦实现所需取向，用户便弯曲其手指，结束操作。

如在显示屏幕上所示，全局手势在显示屏幕示出场景整体上操作，通常改变该场景的用户视野。从另一角度而言，这些手势改变实际上捕捉场景的虚拟相机的屏上内容的用户视野。在3D场景中，能够平移虚拟相机，或者虚拟相机能够缩放用户的视野。在2D场景中，能够摇动或缩放视野。

为模拟似乎是将示出场景成像的成像装置的精确摇动，在一个实施例中，用户手指弯曲伸出手。手指伸直，以便手平直。如图10和11所示，这启动摇动动作。用户随后平移手，并且系统通过将视野平移对应量来做出反应。在二维场景中，此平移只在二维中。在三维场景中，此平移能够在三维中发生。在一些实施例中，该操作对于手取向是不可知（agnostic）的。手能够是平直的，并且面向物理相机，手指能够指向屏幕，向上指天花板或者指向任何其它取向。在一个实施例中，物理相机能够安装在显示屏幕上以对在屏幕前面的用户成像。

转到图16，序列10可用于实现基于局部对象的手势，如涉及抓握，操纵，平移或旋转示出对象的那些手势。在一些实施例中，该序列可在软件、固件和/或硬件中实现。在软件和固件实施例中，它可由在诸如光学、磁性或半导体存储装置等一个或更多个非短暂性计算机可读介质中存储的计算机执行指令实现。

因此，如图16所示，菱形12的检查确定是否已识别手势命令。手势命令可在训练阶段训练或者可预编程。因此，系统将只识别某些手势命令，并且系统最初从视频馈入确定手势命令是否已实现。如果是，则进行在菱形14的手光标命令检查。换而言之，在菱形14的检查确定是否有由于视频分析（例如，计算机视觉）而识别的局部对象操纵类型的手势命令。如果有，则如在16所示适当地移动光标以及否则在菱形18的检查确定是否在提示对象命令。如果是，则如在框20中所示移动对象和光标，否则，流程结束。

有时将出现手不在相机的视场中，或者计算机视觉算法可在不同情况下不能看到手等情况。在这些情况下，通常在屏幕上可能不产生手形光标。

转到图17，相机命令序列22可用于改变示出场景的方式，好像已重置，移动或以其它方式改变相机一样。序列22可在软件、固件和/或硬件中实现。在软件和固件实施例中，它可由在诸如磁性、光学或半导体存储装置等一个或更多个非短暂性计算机可读介质中存储的计算机执行指令实现。

如图17所示，在菱形24的检查最初确定是否识别相机类型命令。如果是，则在框26，识别特定命令。随后，在框28，基于识别的命令的类型，相应改变视野的图示。

最后，参照图18，示出了系统30。举几个示例而言，它可以是任何计算机控制的装置，包括台式计算机、膝上型计算机、平板、蜂窝电话或移动因特网装置。

系统30可包括耦合到存储器38的处理器32。在软件或固件实施例中，存储器可存储负责图16和17中所示序列的代码。可为系统提供手势数据库32，或者可通过训练系统而学习手势数据库32。通过向系统显示手势（记录在与计算机相关联的一个或更多个摄像机中）并且随后通过输入手势预期实现何种命令，可进行训练。这可通过使用引导用户通过训练序列的图形用户界面和软件来实现。

相机34可以是在示出手势中有用的任何成像装置，包括深度相机。通常可使用多个相机。显示器40用于显示用户手势操纵的图像。

在一些实施例中，可做出手势而无需任何初始手取向。抓握，摇动和缩放能够从任何起始手取向启动。手的取向能够在操作期间动态改变，包括移动对象、旋转对象、调整对象大小、摇动和缩放调整。在一些实施例中，操作终止时，通过取消抓握对象或者通过对于全局操作弯曲手指，手可处于任何取向。

在一些实施例中，可通过左手或右手执行单手手势。能够使用两手并行执行单手操作。例如，用户可通过单手平移一个对象，并且通过其另一只手旋转另一对象。这可通过在两个不同对象上进行两个不同抓握操作进行。当然，如果用户通过两手抓握相同对象，则用户在执行大小调整。注意，为执行大小调整，先使用一只手执行正常抓握，此时用户在进行平移/旋转，但一旦另一手抓握相同对象，用户便在进行大小调整。

对于两手手势，或诸如用户使用两手抓取对象以便手势进行大小调整时操作事项的序列，用于起始操作的手选择无关紧要。

对于许多手势，在一些实施例中，伸出手指的数量无关紧要。例如，能够伸出所有手指或仅几个手指执行摇动操作。有关手指计数的限制可根据需要存在以使其权重超出在手势之间的冲突。例如，由于伸出的食指用于指向二维位置，因此，它不可也用于摇动。

可使用类似但与本文中示出的姿势不同的手姿。例如，手指可处在展开的手位置，以便进行准确摇动，或者能够按在一起或抻开。

能够以绝对控制模型或速率控制模型用手势控制通过诸如对象或视野的旋转、平移等手势和缩放级别调整的参数。在绝对模型中，旋转或平移手的幅度和手势直接转换成在调整的参数，即旋转或平移。例如，通过输入手的90°旋转可产生虚拟对象的90°旋转。在速率控制模型中，旋转或平移的幅度被转换成诸如旋转速度或线速度等参数的改变速率。因此，90°旋转可转换成每秒10°的改变速率或另一恒定速率。借助于速率控制模型，如果用户将其手返回起始状态，则由于速率降低到0，因此，在进行的改变暂停。在一个实施例中，如果用户在任何点松开对象，则整个操作终止。

用户无需将手返回起始状态以停止在进行的改变。“起始状态”可暗示手的原位置、取向或姿势。用户只需将其抓握的手张开成张开的手，便可停止速率控制模型调整。用户在本质上是“放开”对象。

其它抓握姿势也可用于对象级选择。这些姿势包括但不限于在拇指与其它手指之间的抓握、在拇指与食指之间的抓握及拳头内的抓握。

所有手势可在一些实施例中受最小阈值影响以避免意外的动作。例如，在虚拟对象的平移进行前，用户可不得不将其手移动超过给定量。阈值能够根据需要调整，并且通过适当的用户输入变得适当。对象和查看参数的调整能够受给定抓取（snap）值约束。例如，可约束虚拟对象以抓取到五厘米网格，虚拟对象以五厘米增量步进。也能够强制实行不同对象之间的抓取。

用户可能想沿某些自由度限制操纵。例如，用户可能想只沿x轴平移对象，只绕z轴旋转对象，或者只沿y轴摇动。然而，空中手势经常缺乏使这些命令易于识别的精确度。上述所有手势能够受规则限制，规则基于如编程规则确定的用户喜好或意图，限制操作的自由度。例如，如果用户拖动对象，并且平移的初始幅度几乎是完全沿x轴，则系统可确定用户想只沿x轴进行平移，并且在此平移的持续时间内，强制实行该约束。在一个实施例中，系统可基于在手势序列中早期用户给予对象的最大幅度改变，断定用户预期指示何种内容。

当然，其它手势能够用于向系统提供更多输入。例如，在快速摇动手势中，用户能够简单地在一定量的手指伸出的情况下在一个方向快速滑动（例如，一边到另一边，或上下）。在双手缩放手势中，用户能够开始时是握拳或手指弯曲的手间隔分开，以及随后将手张开到平直手方位，并且随后将张开的手舒展开。伸直或张开手启动缩放，并且将手相互分开可用于拉近，以及将手移得更靠近在一起命令进行拉远。用户将手指弯曲成拳时，可终止操作。

通过用户抬起手并且来回挥动，可完成重置。这促使系统在命令层次结构中上移一级。它能够取消操作，退出应用，在导航层次结构中上移一级，或者执行某一其它类似的动作。

以下条款和/或示例涉及其它实施例：

一个示例实施例可以是一种方法，方法允许只使用手势移动光标图像；允许只使用手势使光标图像与显示屏幕上示出的对象相关联；以及允许只使用手势使所述对象显现移动。方法也可包括响应用户的手抓握运动，促使成手形的光标图像显现抓握显示屏幕上的对象。方法也可包括响应平移手运动，平移对象。方法也可包括响应旋转手运动，旋转对象。方法也可包括响应用户将其手分开或移到一起，调整对象的大小。方法也可包括使用用户手抓握运动来选择对象。方法也可包括通过使用用户手取消抓握运动来取消选择对象。方法也可包括通过将手指指向对象来选择它。方法也可包括使用手势创建摇动或缩放效果之一。

另一示例实施例可以是存储指令的至少一个或更多个计算机可读介质，指令由计算机执行以执行以下序列，包括：只使用手势移动手形光标图像；只使用手势移动要与显示屏幕上示出的对象相关联的所述图像；以及只使用手势移动所述对象的所述图示。介质可还存储指令以执行序列，序列还包括响应用户的手抓握运动，促使成手形的光标图像显现抓握显示屏幕上的对象。介质可还存储指令以执行序列，序列还包括响应平移手运动，平移对象。介质可还存储指令以执行序列，序列还包括响应旋转手运动，旋转对象。介质可还包括指令以执行序列，序列还包括响应用户将其手分开或移到一起，调整对象的大小。介质可还存储指令以执行序列，序列还包括使用用户手抓握运动来选择对象。介质可还存储指令以执行序列，序列还包括通过使用用户手取消抓握运动来取消选择对象。介质可还存储指令以执行序列，序列还包括通过将手指指向对象来选择它。介质可还存储指令以执行序列，序列还包括使用手势创建摇动或缩放效果之一。

另一示例实施例可以是设备，设备包括图像捕捉装置和处理器；处理器分析来自所述装置的视频以检测用户手势，并且只使用所述手势移动所述光标图像以接合在显示屏幕上的示出对象以及移动所述示出对象。设备可包括处理器以响应用户的手抓握运动，促使成手形的光标图像显现抓握显示屏幕上的对象。设备可包括处理器以响应平移手运动，平移对象。设备可包括处理器以响应旋转手运动，旋转对象。设备可包括处理器以响应用户将其手分开或移到一起，调整对象的大小。设备可包括处理器以通过使用用户手抓握运动来选择对象。设备可包括处理器以通过使用用户手取消抓握运动来取消对象的选择。

此说明书通篇对“一个实施例”或“一实施例”的引用指结合该实施例描述的特定特征、结构或特性包括在本发明内包含的至少一个实现中。因此，出现的词语“在一个实施例中”或“在一实施例中”不一定全部指同一实施例。此外，特定的特征、结构或特性可以不同于所述特定实施例的其它适合的方式设立，并且所有此类形式可包含在本申请的权利要求书内。

虽然本发明已相对有限数量的实施例进行了描述，但本领域的技术人员将理解由此产生的多种修改和变化。随附权利要求书旨在涵盖本发明真正精神和范围内的所有此类修改和变化。

Claims (17)

1. 一种方法，包括：

    允许只使用手势移动光标图像；

    允许只使用手势将所述光标图像与在显示屏幕上示出的对象相关联；以及

    允许只使用手势使所述对象显现移动。

2. 如权利要求1所述的方法，包括响应用户的手抓握运动，促使成手形的光标图像显现抓握所述显示屏幕上的对象。

3. 如权利要求2所述的方法，包括响应平移手运动，平移所述对象。

4. 如权利要求2所述的方法，包括响应旋转手运动，旋转所述对象。

5. 如权利要求1所述的方法，包括响应所述用户将其手分开或移到一起，调整对象的大小。

6. 如权利要求1所述的方法，包括使用用户手抓握运动来选择所述对象。

7. 如权利要求6所述的方法，包括通过使用用户手取消抓握运动来取消选择对象。

8. 如权利要求1所述的方法，包括通过将手指指向所述对象来选择它。

9. 如权利要求1所述的方法，包括使用手势形成摇动或缩放效果之一。

10. 一个或更多个计算机可读介质，存储由计算机执行以便执行如权利要求1到9的一项或更多项所述的序列的指令。

11. 一种设备，包括：

    图像捕捉装置；以及

    处理器，分析来自所述装置的视频以检测用户手势，并且只使用所述手势移动所述光标图像以接合在显示屏幕上示出的对象以及移动所述示出对象。

12. 如权利要求11所述的设备，所述处理器响应用户的手抓握运动，促使成手形的光标图像显现抓握所述显示屏幕上的对象。

13. 如权利要求12所述的设备，所述处理器响应平移手运动，平移所述对象。

14. 如权利要求12所述的设备，所述处理器响应旋转手运动，旋转所述对象。

15. 如权利要求11所述的设备，所述处理器响应所述用户将其手分开或移到一起，调整对象的大小。

16. 如权利要求11所述的设备，所述处理器通过使用用户手抓握运动来选择所述对象。

17. 如权利要求16所述的设备，所述处理器通过使用用户手取消抓握运动来取消选择对象。