CN105653031B - 带有多个视图、显示器以及物理学的姿势输入 - Google Patents

Abstract

描述了带有多个显示器、视图，以及物理学的姿势输入。在一个示例中，方法包括生成在相对于用户和要由用户操纵的虚拟对象的不同的位置具有多个对象的三维空间，在显示器上呈现具有多个不同的对象的至少一部分的显示区，检测用户针对虚拟对象的悬浮姿势，虚拟对象位于显示区之外，基于悬浮姿势，生成虚拟对象在三维空间的轨迹，轨迹包括与三维空间中的多个对象的对象的交互，以及，在显示区，呈现生成的轨迹的一部分。

Description

带有多个视图、显示器以及物理学的姿势输入

本申请是PCT国际申请号为PCT/US2011/062140、国际申请日为2011年11月23日、中国国家申请号为201180076283.2、题为“带有多个视图、显示器以及物理学的姿势输入”的申请的分案申请。

领域

本描述涉及计算机系统中的用户输入方法和显示，尤其涉及在多个显示器或三维显示系统中表示用户姿势。

背景

开发了计算机系统输入以包括悬浮姿势(air gesture)和触摸屏姿势作为输入。悬浮姿势会涉及用户移动他们的身体并让对应的动作在显示器上发生或使对应的命令由计算系统执行。当前悬浮姿势技术的一种形式使用可移动传感器作为控制器或作为游戏控制台。传感器被持握在手中，附接到身体，或由手、脚或身体的其他部位操纵(诸如在任天堂公司的Wii遥控器中，Sony公司的PlayStation Move(移动游戏站)中，以及各种智能电话，以及手持式游戏设备中)。悬浮姿势技术的另一形式使用3D相机和麦克风技术(诸如在微软公司的Microsoft Kinect中以及Sony公司的PlayStation Eye(游戏站之眼)中)，以将人体运动近似为模态输入源。

电视机，计算机，以及便携式设备显示器是用于查看悬浮姿势模态输入对图形环境的影响的典型反馈机制。相机收集用于姿势检测的视频输入，并且利用在游戏控制台或个人计算机上运行的软件来解释视频输入。相机阵列可允许相机感应深度。这提供了识别人的身体相对于相机的位置或距离的能力。相机阵列允许朝向相机移动以及远离相机移动的附加悬浮姿势。

作为另一形式的姿势，游戏控制台和诸如台式机、笔记本、平板和智能电话之类的计算机的屏幕结合了对触摸输入作出响应的触摸屏技术。显示屏幕上的触摸和扫掠姿势被用作用于执行将对象从一个屏幕(例如，手持式控制台屏 幕)移动到另一屏幕(例如，电视屏幕)的命令的用户输入。例如，当与PlayStation 3(游戏站3)控制台一起使用PlayStation Portable(便携式游戏站)游戏控制台时，实现了这样的特征，两者都是由Sony公司销售的。在笔记本电脑的跟踪板上，以及在外设鼠标或外部跟踪板上的表面上也提供了触摸和扫掠姿势。

附图简述

本发明的各实施例是作为示例说明的，而不仅限于各个附图的图形，在附图中，类似的参考编号引用类似的元件。

图1A是示出了根据本发明的一个实施例的应用程序的第一视图和应用于该视图的用户姿势的显示器的图示。

图1B是示出了根据本发明的一个实施例的应用程序的第二视图和应用于该视图的用户姿势的显示器的图示。

图1C是同时示出了根据本发明的一个实施例的应用程序的第一和第二视图和应用于视图中的一个的用户姿势的两个显示器的图示。

图2A是示出了根据本发明的一个实施例的应用程序的第三视图和应用于该视图的用户姿势的显示器的图示。

图2B是同时示出了根据本发明的一个实施例的应用程序的第三视图的不同的部分和应用于该视图的用户姿势的两个显示器的图示。

图3是根据本发明的一个实施例的基于应用程序的选择的视图来解释姿势的流程图。

图4是根据本发明的一个实施例的基于应用程序的选择的视图和选择的显示来解释姿势的流程图。

图5是根据本发明的另一个实施例的基于应用程序的选择的视图和选择的显示来解释姿势的流程图。

图6是根据本发明的一个实施例的使用应用程序的交互物理学来解释多个显示器上的姿势的流程图。

图7是根据本发明的另一个实施例的使用应用程序的交互物理学来解释多个显示器上的姿势的流程图。

图8是根据本发明的一个实施例的适用于实现本发明的过程的计算机系统的框图。

图9是根据本发明的一个实施例的适用于实现本发明的过程的图8的计算机系统的替换的视图的框图。

详细描述

尽管姿势，无论是悬浮姿势还是触摸姿势，在计算环境中都得到越来越多的应用，但是，它们仍缺乏指示设备的共同特征。它们不一定指出姿势指向哪里。对于多个窗口，屏幕，或显示器，并不总是清楚，姿势指向哪里。在下面所描述的示例中，取决于由应用程序或计算系统呈现的当前视图，计算系统以不同的方式解释用户姿势。计算系统确定用户正在面向或查看的设备、窗口，或屏幕来确定姿势指向的对象。可以使用多个显示器来同时示出同一应用程序或游戏的不同的视图，从而允许用户从不同的角度协调姿势输入。类似方法可以应用于语音命令。

尽管可以使用眼睛跟踪来配对语音命令与计算机显示器上的对象，但是，多个设备可以具有同时呈现不同的对象的显示器。显示器也可以以不同的方式呈现相同对象。取决于正在显示在屏幕上的应用程序的当前视图并取决于用户正在看着哪一个屏幕，系统可以不同地对用户悬浮、触摸，或语音姿势作出反应。然后，可以将悬浮和语音姿势指向合适的视图。

另外，还可以使用悬浮、触摸，以及语音姿势来在未被显示的虚拟对象和屏幕上导致虚拟对象上的物理效应的元素之间创建交互。在这样的情况下，虚拟对象可以在三维空间中在所显示的屏幕平面的前面和后面交互。显示的对象可以显示在多个不同的屏幕中的任何一个上。

三维空间可被表征为例如计算机游戏环境中的目标、障碍物，以及场地，其中，由于那些对象的物理学特征，它们与应用于虚拟对象的用户姿势进行交互。三维物理效应可以在此三维空间中被表示。在此三维空间中，游戏及其他应用程序可以将来自目标、障碍物，以及场地的力与来自悬浮姿势的力相组合，以提供与用户的更复杂的交互性或逼真的交互。

图1A是具有耦合到相机103的阵列和麦克风105的阵列的显示器101的 悬浮姿势系统的图示。在所示示例中，有两个相机和两个麦克风，然而，也可以使用更大或更小数量的相机或麦克风，以便更精确地或较不精确地感应位置和方向。显示器可以是基于任何类型的显示技术的直接视图或投影显示器。如图所示，相机麦克风阵列被定位在显示器上并附接到显示器。然而，可以使用任何其他位置。相机和麦克风可以彼此分开，并与显示器分开。可在具有显示器的位置的知识下校准或配置阵列，以便补偿偏置位置。显示器可以是便携式计算机、游戏控制台、手持式智能电话、个人数字助理，或媒体播放器的一部分。可另选地，显示器可以是大平板电视显示器或计算机监视器。

在所示出的示例中，显示器示出了侧视图中的海面下的环境的三艘潜水艇109。被示为手107的用户执行悬浮姿势以指示所显示的潜水艇处的鱼雷111。由相机检测用户悬浮姿势，以执行发射鱼雷的命令。系统使用包含可能的姿势的海面下的环境的姿势库。当手执行姿势时，系统将观察到的姿势与姿势库进行比较，查找最近的姿势，然后，查询相关联的命令，诸如发射鱼雷。

图1B示出了带有相同相机和麦克风阵列和相同潜水艇109的相同显示器101。然而，在图1B中，潜水艇是从顶部查看的，例如，从水面或从浅的深度向下朝着潜水艇查看。用户107正在执行相同悬浮姿势，该悬浮姿势相反导致向下朝潜水艇释放深水炸弹(depthcharge)113。可以看出，取决于潜水艇的视图是从侧面观看的，如在图1A中，或从顶部观看的，如在图1B中，如图所示的，相同手指夹紧-释放姿势可以导致不同的动作。在图1A的示例中，从侧面观看的用户姿势可以作出带有夹紧和释放的投掷姿势，以导致鱼雷朝着目标进攻。在图1B中，相同夹紧释放会导致深水炸弹朝向屏幕上的目标丢放。尽管姿势相同，但是，系统可以确定当前视图是从侧面观看的还是从顶部观看的，以判断姿势是否被解释为鱼雷的释放或解释为深水炸弹的释放。结果，用户可以使用执行起来简单的直观的姿势，以导致不同的命令由系统执行。

图1C并排示出了相同的两个显示器。在所示示例中，两个显示器都具有相机和麦克风阵列，然而，也可以使用单个相机和麦克风阵列。这些阵列可以连接到显示器或位于不同的位置。在此示例中，每一个显示器101a和101b都示出了相同的三艘潜水艇，一个示出了从侧面观看的潜水艇109a，而另一个示出了从顶部观看的潜水艇109b。用户可以对相同潜水艇投掷鱼雷或投放深水炸 弹113，这取决于正在使用哪一个屏幕，或当时哪一个屏幕是活跃的。如图所示，环境呈现两个显示器，两个显示器同时呈现相同的三艘潜水艇。诸如夹紧-释放姿势之类的姿势不会指出用户针对哪一个显示器，以致于系统不知道是产生鱼雷命令还是深水炸弹命令。在此示例中，一个或两个屏幕上的相机阵列可以确定用户针对哪一个屏幕。例如，通过跟踪用户脸部、眼睛聚焦，或语音方向，系统可以确定用户正在将注意力集中在哪一个屏幕，然后，对于该屏幕，激活对应的命令。

相同方法也可以和触摸屏和触摸表面姿势一起使用，以及与语音命令一起使用，而并非徒手悬浮姿势。用户可以具有触摸屏或触摸表面并对这些表面执行姿势。再次，为了确定姿势将应用于哪一个视图，系统可以确定用户向哪里聚焦。如果用户正在聚焦于侧视图，那么，对触摸表面上的姿势会导致鱼雷被启动。而如果用户正在聚焦于顶视图，那么，姿势会导致深水炸弹被启动。图1A和图1B的两个视图可以表示单个应用程序的两个不同的视图。在图1C中，应用程序同时生成两个视图，而在图1A和1B中，一次只能看到一个视图。在任一示例中，系统可以确定当前视图正被用户和当前显示器使用。

如果只有一个显示器，那么，使用单个视图，然而，单个显示器可以在一个显示器上呈现不同的窗口。例如，图1A的显示器可以呈现于显示器的一个窗口中，而图1B的显示器可以呈现于显示器的另一窗口中。在这样的示例中，103的相机阵列可以确定用户聚焦于两个窗口中的哪一个，然后，执行用户的姿势的合适的命令。

图2A示出了不同的屏幕显示。在图2A中，带有相同相机103和麦克风105阵列的相同显示器101呈现不同的视图。在此示例中，用户107正在使用悬浮姿势来在屏幕上投掷虚拟宇宙飞船。宇宙飞船在它从用户的悬浮姿势行驶某个距离之后出现在屏幕上，并且其行为由诸如投掷之类的用户的姿势以及由屏幕上的对象来管制。在所示示例中，有被若干个月球123围绕的大行星121。已经向用户呈现了行星上的目标125，正在飞行的宇宙飞船127正在逼近该目标125。

在图2A的示例中，行星和月球中的每一个都具有相对于彼此的大小，当宇宙飞船被朝向目标125投掷时，大小决定其重力。月球和行星由于它们的重 力场而改变宇宙飞船的行驶的速度和方向。结果，用户可以打算直接向目标投掷这些宇宙飞船，但是，它们可能会因附近的月球而偏离航向，或者它们可能会进入围绕行星或月球的轨道，而不实际直接到达目标。

在图2A的示例中，屏幕显示可以呈现由系统所生成的三维空间的一部分。在此三维空间中，对象出现在屏幕上的前景和背景中。这些可以使用导致针对对象的感知更接近于和远离用户的快门式眼镜或透镜状像素呈现在三维显示器上。对象也可以使用透视呈现在二维显示器上。在两个示例中，屏幕表面表示z轴上朝向或远离用户的特定平面。屏幕位于此z轴上的一个点，并且由用户投射的对象在距屏幕的平面的某个距离处开始。

当用户朝着屏幕投掷对象时，它首先是用户看不见的虚拟对象。随着它到达三维空间中的屏幕的平面，它在屏幕上表现为显示的对象。在它到达屏幕的平面之后，它持续到可以被表示为屏幕上的遥远的点的背景。

与屏幕上的对象的交互可以通过在三维空间中包括在屏幕上未示出的附加的对象来进一步增强。结果，用户可以朝向目标125投掷宇宙飞船127，并发现其航向和速度在它到达屏幕的平面之前已经改变。这些对象以及航向的改变将不会在屏幕上示出。然而，当宇宙飞船到达屏幕的平面时，将示出效果。

图2B是图2A的相同的显示器和屏幕的图示。然而，添加了附加的屏幕131。此屏幕被示为诸如智能电话或便携式游戏系统之类的便携式设备，然而，它可以是任何其他类型的显示器，包括与主显示器101相同类型的显示器。在此示例中，小显示器131被置于主大显示器101的前面。系统可以确定小屏幕131的位置，并呈现位于小屏幕的平面中的三维空间的一部分。如此，例如，在图2B中，用户107朝向行星121发射宇宙飞船127，并特别是向该行星上的目标125处。在宇宙飞船被投掷之后，它首先出现在小屏幕131上。

如图所示，在主屏幕101上不可见的对象129在小屏幕上可见。此对象129是可以向宇宙飞船127施加重力或其他力的另一月球的形式。随着宇宙飞船在三维空间中持续，它将离开小显示器131，且不久之后，在大显示器101上显示出来。小屏幕的添加给此特定类型的游戏添加了新维度。相机阵列103或某种其他接近度感应系统可实时地确定小屏幕的位置。然后，用户可以四处移动小屏幕以看到未显示在主屏幕101上的对象。结果，在图2A的示例中， 在投掷宇宙飞船127时，如果宇宙飞船的航向和速度显著改变，则用户可以使用小屏幕131来查找哪些对象影响了其路径并相应地补偿。可以在z轴上的不同的平面中移动小屏幕，以看到什么位于大屏幕101的前面。可以使用类似方法来看到什么在大屏幕的旁边或后面。

在图2B的示例中也可以使用上文参考图1C所讨论的方法。在例如智能电话的情况下，小屏幕131也将配备有面向用户的一个或多个相机和麦克风。尽管这些通常用于视频会议和电话语音呼叫中，但是，相机和麦克风可以用于确定用户的位置、其他显示器的位置，看见和解释姿势。类似地，可以使用小屏幕131和大屏幕101上的相机来确定用户的注意力被聚焦哪里，并根据所使用的特定显示器，解释悬浮姿势或其他姿势。如此，例如，代替示出三维空间的不同的部分，小屏幕131可以用于示出不同的视图，如在图1C的示例中那样。

图3是用于使用如图1和2所示的显示器和用户配置的示例处理流程。在图3中，过程开始，且用户启动应用程序，该应用程序可以是游戏或可以对其使用姿势和多个显示器的任何其他应用程序。在303，系统呈现应用程序的默认视图。此默认可以以各种不同的方式来确定。在305，系统激活默认视图的姿势库。在此情况下，当前视图是默认视图，如此，此姿势库可以默认地加载。可以以各种不同的方式形成姿势库。在一个示例中，姿势库是查询表形式的，其中，特定相机传感器点连接到程序可以执行的不同的命令。在上文所讨论的示例中，类似的姿势可以作为投掷鱼雷、启动深水炸弹，或投掷宇宙飞船的命令来执行，这取决于向用户呈现的特定视图。可以使用库中的范围广泛的不同的姿势来执行不同的命令。

在307，系统等待以判断是否已经接收到姿势。此姿势可以通过相机、通过触摸表面、通过触摸屏接收，或者可以在麦克风中接收语音姿势。如果接收到姿势，那么，过程行进至框311，在那里，将姿势与加载的当前库匹配。系统将姿势与库中的一个姿势匹配，然后，查找对应的命令。

在313，执行此命令，而在315，修改显示，以在执行的命令的屏幕上显示动作。在执行姿势的命令之后，在317，系统检测视图中是否有变化。视图的变化对应于显示器上的不同的窗口或不同的显示器。如果检测到视图的变 化，那么，过程着手呈现视图中的变化，然后，返回到框305，以改变姿势库以对应于视图中的变化。如果没有检测到视图中的变化，那么，在307，系统继续等待新用户姿势。如果接收到用户姿势，那么，如前所述，在311，将姿势与当前加载的库匹配。如果没有接收到姿势，那么，系统转到317以判断是否检测到视图中的变化。此周期可以重复以接收附加的用户姿势，并查看变化，以在系统的使用过程提供用户交互。

图4示出了用于在应用程序中使用多个视图和多个显示器的替换的流程图。在401，启动系统，并启动应用程序。在403，呈现应用程序的默认视图。在405，确定活动显示器。这可以通过确定用户的焦点或注意力来确定。在一个示例中，相机阵列确定用户正看着哪个方向。例如，相机可以检测脸并确定脸的角度以判断用户是否正在直接看一个显示器或另一个显示器。如在图1C的示例中，这可以使用每一个显示器的单独的相机阵列进行。可另选地，单个相机阵列可以判断用户是否正在看一个显示器或另一个显示器。在一个示例中，相机阵列确定用户的瞳孔的位置以确定用户正在向哪个方向看。在另一个示例中，相机阵列确定脸正在指向哪一方向。可以使用其他用户动作来确定哪一个显示器是活动显示器。例如，用户可以指向不同的显示器，在空中作出刷的运动或各种其他姿势来指出哪一个显示器应该是活跃显示器。

在407，激活当前视图的姿势库和当前显示器。系统加载适用于该显示器和该视图的输入识别库。在409，系统判断是否已经接收到用户姿势，如果已经接收到用户姿势，那么，在411，将此姿势与当前库匹配。在413执行对应的命令，而在415生成修改的显示。如果没有接收到用户姿势，那么，过程快进以在417判断是否检测到视图的变化。如果没有检测到视图的变化，那么，系统返回以在405确定活动显示器。如果检测到视图的变化，那么，在419呈现改变的视图，且过程返回以确定显示器的动作。

图4的处理流程可使系统将姿势库与特定视图以及特定显示器匹配。结果，应用程序可以呈现多个视图和多个显示器，并改变用户姿势的效果，这取决于当前视图和当前显示器。在替换实施例中，可以只向用户呈现不同的视图或不同的显示，但不是两者，这取决于实现。

图5示出了用于与不同的显示器一起使用悬浮姿势的简化处理流程。在 501，过程启动，接收显示器选择。显示器选择可以通过利用脸部检测或眼睛跟踪来确定用户正在看着哪里，或确定用户正在通过麦克风阵列向哪一个方向说话来进行，或者用户可以通过语音或悬浮命令来指出特定显示器。在503，接收悬浮姿势。在505，确定选择的显示器的当前视图。在507，基于所选显示器的当前视图，选择命令，且在509，执行所选命令。重复此过程，以提供用户与显示器以及与所提供的视图中的应用程序的重复的交互。

参考图6，应用程序可以包括与姿势库的各种交互物理学以呈现用户与不同的视图的交互。在601，启动应用程序。在603，呈现默认视图。在605，激活当前视图的姿势库。在检测到姿势时，与要执行的对应的命令一起，将相关姿势模板加载到存储器中。

在607，系统判断是否可以检测到任何附加的显示器。如果是，那么，在621确定此附加的显示器的位置。使用相机RF(射频)或IR(红外线)传感器来计算它。在623，基于其位置，在此附加的显示器上呈现视图。过程返回，以在609判断是否接收到用户姿势。如果没有接收到用户姿势，那么，当过程继续在后台等待时，另外的过程可以继续检测附加的显示器和检测当前视图。其他过程也可以同时运行以检测哪一个显示器是活跃的，如在上面的示例中所描述的。

当在609接收到姿势时，随后，在611，将姿势与当前库匹配。用户可以使用姿势来选择抛射体、启动抛射体，改变配置设置等等。当姿势已经匹配当前加载的姿势库时，那么，选择命令，且在613，根据姿势的参数，修改命令。如此，例如，系统可以使用其他类型的悬浮姿势或触摸表面姿势，来测量手的速度、手的移动的角度，以及手的释放点，或类似的参数。然后，将这些参数与来自姿势库的命令相加，并且在615，使用交互物理学，确定结果产生的动作。

通过用户的姿势给予由悬浮姿势启动的虚拟对象以速度和方向。它也可以拥有虚拟质量、空气阻力、加速度及其他可能的物理学参数。然后，系统计算由姿势参数所生成的虚拟对象和三维空间中所显示的对象之间的交互物理学(physics)。可以为未显示的对象但是仍存在于三维空间中的对象计算附加的交互。作为示例，图2B的月球129是未显示在主屏幕101上的三维空间中的 对象。用户在没有附加的屏幕131的情况下将不会将该对象视为显示的对象。然而，该对象会对由悬浮姿势所生成的虚拟对象施加交互。在617，这些命令被执行，在619，修改显示以当虚拟对象到达显示器时示出该虚拟对象。也修改显示，以示出其与三维空间中的其他对象的交互的结果，包括显示的对象以及或许还有三维空间中的未显示的附加的对象。执行了命令之后，在609，系统返回以接收附加的用户姿势。

图7示出了用于与用户姿势一起使用对象和力的三维空间的简化处理流程。在701，过程开始，且应用程序被启动。在703，生成包括一个或多个对象和一个或多个力的三维空间。在图2B的示例中，这些对象是带有重力的行星和月球。然而，可以生成范围广泛的不同种类的对象，并可以使用不同种类的力。在705，系统确定可供系统使用的显示器。在707，确定这些可用的显示器的相对位置和朝向，并且在709，在可用的显示器上呈现三维空间的一部分。可以基于显示器的大小和位置以及显示器是否允许呈现三维视图或二维视图，来确定在显示器上呈现的三维空间的量。在711，系统判断是否已经接收到用户姿势。如果没有，则它等待用户姿势。如果接收到用户姿势，那么，在713，在三维空间中生成所产生的虚拟对象的轨迹。在715，在可用的显示器上示出了所生成的轨迹的一部分。如上文所提及的，作为姿势的结果而启动的虚拟对象可以遍历三维空间的一部分，而不会在任何显示器上可见，并且可以遍历在显示器上可见的三维空间的另一部分。系统可以在它遍历三维空间时确定虚拟对象的位置，并将该位置与三维空间的在可用的显示器上呈现的部分进行比较。如此，对象可以进入并离开显示器，而仍遍历三维空间中的一致的轨迹。在呈现所生成的轨迹之后，在711，过程返回以接收附加的用户姿势。

取决于特定实现，有可以提供的各种不同的效果和交互。表示出了这些中的某些，然而，本发明的各实施例不仅限于此。

表

图8是能够支持上文所讨论的操作的计算环境的框图。模块和系统可以在包括图9中所示出的那些的各种不同的硬件体系结构和形状因子中实现。

命令执行模块801包括中央处理单元，用以缓存和执行命令并在所示出的其他模块和系统之间分配任务。它可以包括指令堆栈、存储中间和最终结果的缓存存储器，以及存储应用程序和操作系统的大容量存储器。命令执行模块还可以充当系统的中央协调和任务分配单元。

屏幕呈现模块821在一个或多个屏幕上绘制对象，供用户看见。它可以适用于从下面所描述的虚拟对象行为模块804接收数据，并在合适的一个或多个屏幕上呈现虚拟对象和任何其他对象和力。如此，来自虚拟对象行为模块的数据将确定，例如，虚拟对象以及相关联的姿势、力和对象的位置和动力学(dynamics)，并且相应地，屏幕呈现模块将在屏幕上描绘虚拟对象以及相关联的对象和环境。屏幕呈现模块还可以适用于从下面所描述的相邻屏幕透视模块807接收数据，以或者描绘虚拟对象的目标着陆区域——如果虚拟对象可以移到相邻屏幕透视模块与其相关联的设备的显示器的话。如此，例如，如果虚拟对象正在从主屏幕移动到辅助屏幕，则相邻屏幕透视模块2可以将数据发送到屏幕呈现模块以例如以阴影形式暗示虚拟对象在用户的手移动或眼睛移动的轨迹上的一个或多个目标着陆区域。

对象和姿势识别系统822可以适用于识别和跟踪用户的手和臂姿势。这样的模块可以被用来识别手、手指、手指姿势、手移动和手相对于显示器的位置。例如，对象和姿势识别模块可以例如判断用户作出了身体部位姿势，以将虚拟对象发射到多个屏幕中的一个或另一个屏幕上，或用户作出了身体部位姿势以将虚拟对象移动到多个屏幕中的一个或另一个屏幕的监视窗(bezel)。对象和姿势识别系统可以耦合到相机或相机阵列，麦克风或麦克风阵列、触摸屏或触摸表面，或指示设备，或这些项目中的某些组合，以检测来自用户的姿势和命令。

对象和姿势识别系统的触摸屏或触摸表面可以包括触摸屏传感器。来自传 感器的数据可以被馈送到硬件、软件、固件或它们的组合，以将用户的手在屏幕或表面上的触摸姿势映射到虚拟对象的对应的动态行为。可将传感器数据用于动量和惯性因数，以基于来自用户的手的输入，诸如用户的手指相对于屏幕的刷的速率，来确定虚拟对象的各种动量行为。夹紧姿势可以被解释为从显示屏幕中提升虚拟对象的命令，或开始生成与虚拟对象相关联的虚拟绑定或在显示器上放大或缩小。可以由对象和姿势识别系统使用没有触摸表面的优点的一个或多个相机生成类似的命令。

注意力方向模块823可以配备有相机或其他传感器以跟踪用户的脸部或手的位置或朝向。当发出姿势或语音命令时，系统可以确定姿势的合适的屏幕。在一个示例中，相机被安装在每一个显示器附近，以检测用户是否正在面向该显示器。如果是，那么，注意力方向模块信息被提供到对象和姿势识别模块822，以确保姿势或命令与活跃显示器的合适的库相关联。类似地，如果用户从全部屏幕转移目光，那么，可以忽略命令。

设备接近度检测模块825可以使用接近度传感器、罗盘、GPS(全球定位系统)接收器、个域网无线电，及其他类型的传感器，以及三角测量及其他技术来确定其他设备的接近度。一旦检测到附近的设备，就可以将它注册到系统，其类型可以被确定为输入设备或显示设备或两者。对于输入设备，然后，可以将接收到的数据应用于对象姿势和识别系统822。对于显示设备，它可以被相邻屏幕透视模块807考虑。

虚拟对象行为模块804适用于接收来自对象速度和方向模块的输入，并将这样的输入应用于显示器中示出的虚拟对象。如此，例如，对象和姿势识别系统将解释用户姿势，并通过将用户的手的捕捉到的移动映射到识别的移动，虚拟对象跟踪器模块可把虚拟对象的位置和移动与对象和姿势识别系统识别的移动相关联，对象和速度和方向模块(Obiectand Velocity and Direction Module)将捕捉虚拟对象的移动的动态学，并且虚拟对象行为模块将接收来自对象和速度和方向模块的输入，以生成将引导虚拟对象的移动的数据以对应于来自对象和速度和方向模块的输入的数据。

另一方面，虚拟对象跟踪器模块806可以基于来自对象和姿势识别模块的输入，适用于跟踪虚拟对象应该位于显示器的附近的三维空间中的哪里，以及 用户的哪一个身体部位正持握虚拟对象。虚拟对象跟踪器模块806可以例如在虚拟对象跨屏幕移动以及在屏幕之间移动时跟踪虚拟对象，并跟踪用户的哪一个身体部位正持握该虚拟对象。跟踪正持握虚拟对象的身体部位允许连续地意识到身体部位的悬浮移动，并由此最终意识到虚拟对象是否已经被释放到一个或多个屏幕中。

姿势与视图和屏幕同步模块808从注意力方向模块823接收对视图和屏幕或两者的选择，并且在某些情况下，接收语音命令，以确定哪一个视图是活跃视图，以及哪一个屏幕是活跃屏幕。然后，对于对象和姿势识别系统822，它导致相关姿势库被加载。对于给定视图，一个或多个屏幕上的应用程序的各种视图可以与替换的姿势库或一组姿势模板相关联。作为示例，在图lA中，夹紧-释放姿势启动鱼雷，而在图1B中，相同姿势启动深水炸弹。

可以包括或可被耦合到设备接近度检测模块825的相邻屏幕透视模块807可以适用于确定一个显示器相对于另一显示器的角度和位置。投影显示器包括，例如，投影到墙上或屏幕上的图像。检测附近的屏幕的接近度和从其中投影的显示器的对应的角度或朝向的能力可以例如利用红外辐射源和接收器，或电磁或光检测感应能力来完成。对于允许带有触摸输入的投影显示器的技术，可以分析传入视频以确定投影显示器的位置并校正由以某一角度显示所引起的失真。可以使用加速度计、磁强计、罗盘，或相机来确定设备正在被持握成的角度，而红外辐射源和相机可以允许屏幕设备相对于相邻的设备上传感器的朝向被确定。如此，相邻屏幕透视模块807可以确定相邻屏幕相对于其自己的屏幕坐标的坐标。如此，相邻屏幕透视模块可以确定哪些设备彼此接近，以及用于跨屏幕移动一个或多个虚拟对象的进一步潜在的目标。相邻屏幕透视模块还可以进一步允许屏幕的位置与表示全部现有的对象和虚拟对象的三维空间的模型相关联。

对象和速度和方向模块803可以适用于通过接收来自虚拟对象跟踪器模块的输入，估计正被移动的虚拟对象的动态学，诸如其轨迹、速度(是线性的还是有角的)，动量(是线性的还是有角的)，等等。对象和速度和方向模块还可以进一步适用于通过例如估计加速度、偏转、虚拟绑定的拉伸度等等以及一旦被用户的身体部位释放虚拟对象的动态学，来估计任何物理学力的动态 学。对象和速度和方向模块还可以使用图像运动、大小和角度变化来估计对象的速度，诸如手和手指的速度。

动量和惯性模块802可以使用图像运动、图像大小、以及对象在图像平面或三维空间中的角度变化，来估计对象在空间中或在显示器上的速度和方向。动量和惯性模块耦合到对象和姿势识别系统822，来估计由手、手指，及其他身体部位执行的姿势的速度，然后，应用这些估计，以确定受姿势的影响的虚拟对象的动量和速度。

3-D图像交互和效果模块805跟踪用户与看起来伸出一个或多个屏幕的3-D图像的交互。可以计算z轴(朝着屏幕的平面和远离该平面)中的对象的影响以及这些对象对彼此的相对影响。例如，由用户姿势投掷的对象在虚拟对象到达屏幕的平面之前会受前景中的3-D对象的影响。这些对象可能会改变抛射体的方向或速度或将它完全损坏。对象可以由显示器中的一个或多个上的前景中的3-D图像交互和效果模块来呈现。

图9是诸如个人计算机、游戏控制台、智能电话或便携式游戏设备之类的计算系统的框图。计算机系统900包括用于传递信息的总线或其他通信装置901，以及用于处理信息的与总线901耦合的诸如微处理器902之类的处理装置。计算机系统可以利用如上文所描述的专门用于通过并行流水线来呈现图形的图形处理器903以及用于计算物理学交互的物理学处理器905来增强。这些处理器可以包括到中央处理器902中，或作为一个或多个单独的处理器来提供。

计算机系统900还包括耦合到总线901的主存储器904，如随机存取存储器(RAM)或其他动态数据存储设备，用于存储信息和待由处理器902执行的指令。主存储器406还可以用于在待由处理器执行的指令的执行过程中存储临时变量或其他中间信息。计算机系统还可以包括耦合到总线的诸如只读存储器(ROM)之类的非易失性存储器906或其他静态数据存储设备，用于为处理器存储静态信息和指令。

诸如磁盘、光盘，或固态阵列之类的大容量存储器907以及其对应的驱动器也可以耦合到计算机系统的总线，用于存储信息以及指令。计算机系统也可以通过总线耦合到显示设备或监视器921，诸如液晶显示器(LCD)或有机发光二极管(OLED)阵列，用于向用户显示信息。例如，除上文所讨论的各种 视图和用户交互之外，还可以在显示设备上向用户呈现安装状态、操作状态的图形和文本指示及其他信息。

通常，诸如带有字母数字键、功能键及其他键的键盘之类的用户输入设备，可以耦合到总线，用于将信息和命令选择传递到处理器。附加的用户输入设备可以包括耦合到总线的光标控制输入设备，如鼠标、轨迹球、跟踪板、或光标方向键，用于向处理器传递方向信息和命令选择，并用于控制显示器921上的光标移动。

相机和麦克风阵列923耦合到总线以观察姿势，记录音频和视频，接收可视以及音频命令，如上文所提及的。

通信接口925还耦合到总线901。通信接口可以包括调制解调器、网络接口卡，或其他已知的接口设备，诸如那些用于耦合以太网、令牌环网，的，或其他类型的物理有线或无线附接，用于，例如，提供支持本地或广域网(LAN或WAN)的通信链路。如此，计算机系统也可以通过常规网络基础结构，包括，例如，内联网或因特网，耦合到许多外围设备，其他客户端，或控制面或控制台，或服务器。

应该理解，对于某些实现，可以首选比上文所描述的示例配备更少或更多的系统。因此，取决于很多因素，诸如价格约束、性能要求、技术改善，或其他情况，示例性系统800和900的配置在各实现之间不同。

各实施例可以被实现为下列各项中的任何一项或组合：使用母板、硬连线逻辑互连的一个或多个微芯片或集成电路，由存储器设备存储并由微处理器执行的软件、固件、专用集成电路(ASIC)，和/或场可编程门阵列(FPGA)。术语“逻辑”可以包括，例如，软件、硬件和/或软件和硬件的组合。

各实施例，例如，可以作为计算机程序产品提供，该计算机程序产品可以包括在其上存储了机器可执行指令的一个或多个机器可读取的介质，当由诸如计算机、计算机网络，或其他电子设备之类的一个或多个机器执行时，指令可以导致一个或多个机器实现根据本发明的各实施例的操作。机器可读取的介质可包括，但不限于，软盘、光盘、CD-ROM(压缩光盘-只读存储器)，以及磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦可编程只读存储器)、磁卡或光卡， 闪存，或适于存储机器可执行指令的任何类型的介质/机器可读取的介质。

此外，各实施例还可以被作为计算机程序产品下载，其中，程序可以被通过由载波实现和/或调制的一个或多个数据信号或通过通信链路(例如，调制解调器和/或网络连接)其他传播介质从远程计算机(例如，服务器)传输到请求方计算机(例如，客户端)。相应地，如此处所使用的，机器可读取的介质可以，但是不要求包括这样的载波。

对“一个实施例”、“实施例”、“示例实施例”、“各实施例”等等的引用表示所描述的本发明的各实施例可包括特定特征、结构或特性，但是，每一个实施例都可以不一定包括该特定特征、结构或特征。进一步地，一些实施例可以具有为其他实施例描述的某个，全部特征或没有一个特征。

在下面的描述以及权利要求书中，可以使用术语“耦合”以及其派生词。“耦合”被用来表示两个或更多元件彼此合作或进行交互，但是，它们之间可以或可以不具有中间物理或电的组件。

如在权利要求书中所使用的，除非另作说明，使用序数词“第一”、“第二”、“第三”等等来描述共同的元件，只表示相同元件的不同的实例正在被引用，而不打算暗示如此所描述的元件必须按给定顺序，无论是在时间上、在空间上，在排序方面或以任何其他方式。

附图以及前述的描述给出了各实施例的示例。所属领域的技术人员将理解，所描述的元件中的一个或多个可以合并成单个功能元件。可另选地，某些元件可以被拆分成多个功能元件。可以将一个实施例的元件添加到另一实施例中。例如，此处所描述的过程的顺序可以改变，不仅限于此处所描述的方式。此外，任何一个流程图的动作不必按照所示出的顺序实现；也不一定全部动作也需要执行。此外，不依赖于其他动作的那些动作也可以与其他动作并行地执行。各实施例的范围绝非被这些具体示例限制。很多变化，无论是否在说明书中显式地给出，诸如结构、尺寸，以及材料的使用之类的差异，也是可能的。各实施例的范围至少由下列权利要求书所给的那样广泛。

Claims (15)

1.一种能用于处理姿势相关数据的计算设备，所述计算设备包括：

用户界面；

一个或多个传感器；

处理器；以及

能存储将被处理器执行的指令的存储，所述指令在由所述处理器执行时能导致执行包括以下各项的操作：

经由所述一个或多个传感器中的至少一个检测由用户作出的悬浮姿势；

经由所述用户界面确定由软件应用呈现的对象的当前视图；

基于所述当前视图或与所述悬浮姿势相关联的一个或多个移动模式访问姿势库，其中所述姿势库包括具有多个描述的列表，所述多个描述与标识多个命令的多个姿势相关联；

基于所述当前视图或与所述悬浮姿势相关联的所述一个或多个移动模式从所述姿势库中选择与对应于所述悬浮姿势的姿势相关联的描述，其中所述姿势用于标识针对由所述软件应用呈现的所述对象的不同视图的不同命令；以及

执行命令。

2.如权利要求1所述的计算设备，其特征在于，所述操作包括基于所述姿势标识所述命令，其中所述一个或多个移动模式反映通过执行所述命令要达成的用户意图。

3.如权利要求1所述的计算设备，其特征在于，所述悬浮姿势包括手指移动、手移动、臂部移动、或身体移动中的至少一个。

4.如权利要求3所述的计算设备，其特征在于，所述身体移动指示所述用户相对于所述一个或多个传感器的位置的改变。

5.如权利要求4所述的计算设备，其特征在于，所述一个或多个传感器包括一个或多个相机，所述一个或多个相机包括三维(3D)深度感测相机。

6.一种用于处理姿势相关数据的方法，包括：

经由一个或多个传感器中的至少一个检测由用户作出的悬浮姿势；

经由用户界面确定由软件应用呈现的对象的当前视图；

基于所述当前视图或与所述悬浮姿势相关联的一个或多个移动模式访问姿势库，其中所述姿势库包括具有多个描述的列表，所述多个描述与标识多个命令的多个姿势相关联；

基于所述当前视图或与所述悬浮姿势相关联的所述一个或多个移动模式从所述姿势库中选择与对应于所述悬浮姿势的姿势相关联的描述，其中所述姿势用于标识针对由所述软件应用呈现的所述对象的不同视图的不同命令；以及

执行命令。

7.如权利要求6所述的方法，其特征在于，还包括基于所述姿势标识所述命令，其中所述一个或多个移动模式反映通过执行所述命令要达成的用户意图。

8.如权利要求6所述的方法，其特征在于，所述悬浮姿势包括手指移动、手移动、臂部移动、或身体移动中的至少一个。

9.如权利要求8所述的方法，其特征在于，所述身体移动指示所述用户相对于所述一个或多个传感器的位置的改变。

10.如权利要求9所述的方法，其特征在于，所述一个或多个传感器包括一个或多个相机，所述一个或多个相机包括三维(3D)深度感测相机。

11.能存储指令的至少一个机器可读介质，当所述指令由计算设备执行时，实现或执行如权利要求6-10中任一项所述的方法。

12.一种用于处理姿势相关数据的系统，其包括用于实现或执行如权利要求6-10中任一项所述的方法的机构。

13.一种用于处理姿势相关数据的设备，其包括用于实现或执行如权利要求6-10中任一项所述的方法的装置。

14.一种计算设备，其被布置成实现或执行如权利要求6-10中任一项所述的方法。

15.一种通信设备，其被布置成实现或执行如权利要求6-10中任一项所述的方法。