CN107548470A - 头戴式显示器上的夹捏和保持手势导航 - Google Patents

Abstract

描述一种用于执行夹捏和保持手势的系统。所述系统包括头戴式显示器(HMD)和手套，所述手套由用户的手佩戴。所述手套的每个手指节段包括传感器，所述传感器用于在所述手移动手指节段时检测所述手指节段的位置。所述系统包括与所述HMD和所述手套介接的计算设备。所述计算设备分析来自所述手指节段的所述传感器的数据以便确定夹捏和保持手势由所述手指节段中的至少两个来执行。此外，所述计算设备产生传达到所述HMD的图像数据，以使得在所述HMD上渲染的场景得以修改以便渲染视觉提示，所述视觉提示指示所述夹捏和保持手势所关联的所述场景中的位置。

Description

头戴式显示器上的夹捏和保持手势导航

技术领域

本发明涉及通过采用夹捏和保持手势来导航在头戴式显示器上显示的场景的方法和系统。

背景技术

目前的游戏系统为游戏玩家提供了各种刺激和交互。游戏系统包括控制台设备、手持式控制器和显示屏幕。游戏玩家将手持式控制器连接到控制台设备并且将控制台设备连接到显示屏幕。然后，游戏玩家从计算机网络将游戏下载到控制台设备，或者将光盘呈送到控制台设备的光盘插槽中，以进行游戏。

在玩游戏期间，游戏玩家操作手持式控制器来玩游戏。举例来说，游戏玩家选择按钮或按钮的组合以便控制游戏内的化身或选择玩游戏的环境。然而，为了能够玩游戏，游戏玩家学习每个按钮如何控制化身的移动。此外，游戏玩家在玩游戏时使用手持控制器是不方便的。

本发明的实施方案正是在这种情况下出现的。

发明内容

在本公开中描述的实施方案提供通过应用夹捏和保持手势来导航在头戴式显示器上显示的场景的方法和系统。

在一个实施方案中，描述用于执行夹捏和保持手势的系统。系统包括由用户佩戴的头戴式显示器(HMD)。系统进一步包括佩戴在用户的手上的手套。手套具有用于手的每个手指的手指节段。每个手指节段包括传感器，所述传感器用于在手移动手指节段时检测手指节段的位置。系统包括用于捕获HMD的图像和手套的图像的一个或多个相机和连接到一个或多个相机并且与HMD和手套介接的计算设备。计算设备分析来自手指节段的传感器的数据以便确定夹捏和保持手势由手指节段中的至少两个来执行。此外，计算设备产生传达到HMD的图像数据，以使得在HMD上渲染的场景得以修改以便渲染视觉提示，所述视觉提示指示夹捏和保持手势所关联的场景中的位置。当夹捏和保持手势起作用时，计算设备将手套的移动与场景的移动相关联，以使得场景随着手套的所检测到的移动而移动。

在实施方案中，描述将经由HMD来观看的场景的可观看部分加以平移的方法。方法包括捕获在真实空间中由用户佩戴的HMD的图像以便确定观看方向和观看方向的变化。方法进一步包括捕获用户的手的图像，从手的所捕获图像来跟踪用户的手，并且激活如经由HMD来观看的场景的锁定以使得所述锁定将场景相对于所跟踪手的位置来加以固定。在检测到由手来执行的夹捏和保持手势后，激活锁定。方法包括在锁定起作用时，响应于手的移动来启用场景的平移。平移启用超过场景的当前视图以外的视图。方法包括在检测到锁定不起作用时，停用平移。当不再检测到夹捏和保持手势时，锁定不起作用。

在一个实施方案中，描述改变经由HMD来观看的场景的大小的方法。方法包括捕获在真实空间中由用户佩戴的HMD的图像以便确定观看方向和观看方向的变化。方法进一步包括捕获用户的手的图像，从所捕获图像来确定每只手执行夹捏和保持手势，并且将场景相对于所捕获图像指示正在执行夹捏和保持手势的场景中的位置固定。方法包括在场景固定时，响应于手之间的间距的相对变化来启用场景的大小的变化，并且当从所捕获图像中检测到手中的一个的夹捏和保持手势中的一个已经释放时，停用场景的大小的变化。

本文所描述实施方案的一些优势包括使用夹捏和保持手势和/或额外手势来促进场景的控制。夹捏和保持手势和/或额外手势使用手或手套来执行。因此，不需要使用手持式控制器来执行夹捏和保持手势和/或额外手势。此外，使用手或手套来执行夹捏和保持手势和/或额外手势使得用户感觉好像他/她在执行与场景交互的自然手移动。自然手移动为用户提供沉浸感觉，例如好像他/她处在场景中并且在场景中执行动作。

根据以下结合附图进行的举例说明本公开中所描述原理的详述，本公开中所描述的其他方面将变得明显。

附图说明

本公开的各种实施方案通过参考以下结合附图进行的描述来最好地理解，附图中：

图1是示出根据本公开的一个实施方案的使用夹捏和保持手势的系统的图。

图2A是示出根据本公开的一个实施方案的由用户执行的各种手势和手势对于在由用户佩戴的头戴式显示器(HMD)上显示的场景的效果的列表。

图2B示出根据本公开的一个实施方案的使场景平移的滑动手势。

图2C示出根据本公开的一个实施方案的使用一只手来执行以便使场景旋转的旋转手势。

图2D示出根据本公开的一个实施方案的使用两只手来执行以便使场景旋转的旋转手势。

图2E示出根据本公开的一个实施方案的使用两只手来执行以便使场景变焦拉近和变焦拉远的各种手势。

图2F示出根据本公开的一个实施方案的使用两只手来执行以便使场景倾斜的各种手势。

图3A是根据本公开的一个实施方案的示出夹捏和保持手势的方法的流程图。

图3B是根据本公开的一个实施方案的根据由用户执行的手势来修改场景的方法的流程图。

图4A是示出根据本公开的一个实施方案的使用相机来捕获用户的手的位置和取向以及使用相机来捕获HMD的位置和取向的系统的图。

图4B是示出根据本公开的一个实施方案的使用无源手套以及图4A的相机来确定无源手套的手指节段的位置和取向的系统的图。

图4C是根据本公开的一个实施方案的使用有源手套来确定有源手套的手指节段的位置的系统的图。

图5是示出根据本公开的一个实施方案的使用HMD上的相机来确定用户的手相对于HMD的相对位置和相对取向的系统的图。

图6是用于示出根据本公开的一个实施方案的由用户执行的各种手势的图。

图7A是根据本公开的一个实施方案的由用户佩戴在他的/她的左手上的有源手套的实施方案的背面视图。

图7B是示出根据本公开的一个实施方案的当手套的传导衬垫与手套的另一个传导衬垫接触时产生信号的图7A的手套的侧视图。

图8是示出根据本公开的一个实施方案的在系统的各种设备之间传达数据以便在HMD上显示场景的系统的实施方案的图。

图9是根据本公开的一个实施方案的HMD的等距视图。

图10示出根据本公开的一个实施方案的用于视频游戏的交互性游戏玩法的系统。

图11是根据在本公开中描述的实施方案的HMD的等距视图。

图12示出根据本公开的一个实施方案的使用能够向由用户佩戴的HMD渲染视频游戏内容的客户端系统来玩游戏的一个实例。

图13示出根据在本公开中描述的一个实施方案的在使用期间佩戴HMD的用户。

图14是示出根据本公开中描述的一个实施方案的HMD的示例性部件的图。

图15示出根据在本公开中描述的一个实施方案的信息服务提供商架构。

具体实施方式

描述通过应用夹捏和保持手势来导航在头戴式显示器(HMD)上显示的场景的系统和方法。应注意，本公开中描述的各种实施方案可以在没有这些具体细节中的一些或全部的情况下实践。在其他情况下，没有详细描述众所周知的处理操作，以避免不必要地混淆本公开中描述的各种实施方案。

图1是示出使用夹捏和保持手势的系统100的实施方案的图。用户106将HMD 102佩戴在他的/她的头上。举例来说，用户106佩戴HMD 102来覆盖他的/她的两个眼睛。用户106执行夹捏手势，例如，使用他的/她的手130A来使他的/她的拇指与他的/她的其他手指中的一个或多个接触等，并且使用他的/她的另一只手130B来执行夹捏手势。手的一个或多个其他手指的实例包括食指、中指、无名指和小指。

相机系统，例如，一个或多个数字相机、一个或多个红外相机、一个或多个深度相机等，捕获HMD 102和用户106的手130A和130B的图像数据。举例来说，定位在用户106和HMD102所处的真实空间例如房间、真实世界环境、位置、仓库等中的相机捕获HMD 102的观看方向和观看方向的任何变化。作为另一个实例，定位在真实空间中或HMD 102上的相机捕获用户106的手130A和130B的手指的图像数据。图像数据经由有线或无线协议来从相机系统发送至计算设备例如游戏控制台、台式计算机、膝上型计算机、平板计算机、智能手机等的处理器。如本文使用的处理器的实例包括微处理器、专用集成电路(ASIC)、可编程逻辑设备(PLD)、微控制器、中央处理单元(CPU)等。

计算设备的处理器分析图像数据以便跟踪手130A和130B，例如，确定用户106的手130A和130B的手指的位置和取向等，并且确定HMD 102的位置和取向。举例来说，计算设备的处理器从图像数据来确定手130A的食指的尖端与手130A的拇指的尖端接触并且手130A在HMD 102的视场内。举例说明，当HMD 102的前部外侧面103指向手的方向时，手在HMD 102的视场内。作为另一个实例，计算设备的处理器从图像数据来确定手130B的一个或多个手指的尖端与手130B的拇指接触并且手130B在HMD 102的视场内。

在分析手130A和130B和HMD 102的位置和取向后，计算设备的处理器产生将要在HMD 102上渲染的图像数据。举例来说，在确定手130A和130B在HMD 102的视场内，手130A的食指与手130A的拇指接触，并且手130B的食指与手130B的拇指接触后，计算设备的处理器产生将要渲染的图像数据以便在场景202A内显示图像108A和图像108B。图像108A的大小与手130A的大小成比例并且图像108B的大小与手130B的大小成比例。此外，图像108A和108B之间的距离与手130A和130B之间的距离成比例。另外，图像108A内的手指之间的相对位置与手130A的手指之间的相对位置相同，并且图像108B内的手指之间的相对位置与手130B的手指之间的相对位置相同。举例说明，当手130A的手指用于执行夹捏和保持手势时，图像108A也指示夹捏和保持手势。作为另一个例示，当手130B的手指用于执行夹捏和保持手势时，图像108B也指示夹捏和保持手势。

作为在分析手130A和130B和HMD 102的位置和取向后产生图像数据的另一个实例，计算设备的处理器从使用相机系统的一个或多个相机来捕获的图像数据中确定当与以前位置相比，手移动到更接近于相机系统的相机的位置时，与手的以前图像相比，手的图像在场景202A内成比例地变得更大。作为另一个实例，计算设备的处理器从使用相机系统的一个或多个相机来捕获的图像数据中确定当与以前位置相比，手移动远离相机系统的相机时，手的图像在场景202A内成比例地变得更小。作为另一个实例，计算设备的处理器从使用相机系统的一个或多个相机来捕获的图像数据中确定当手相对于具有定位在相机系统的相机处的参考点例如原点(0，0，0)等的轴例如x轴、y轴、z轴等以一定角度旋转时，手的图像相对于具有场景内的参考点例如原点(0，0，0)等的对应轴例如X轴、Y轴、Z轴等以所述角度旋转。应注意场景内的X轴对应于真实世界空间中的x轴，场景内的Y轴对应于真实世界空间中的y轴，并且场景内的Z轴对应于真实世界空间中的z轴。

计算设备的处理器经由计算设备的通信设备和HMD 102的计算设备将用于产生图像108A和108B的图像数据发送至HMD 102的处理器。HMD 102的处理器应用渲染程序以便在HMD 102的一个或多个显示屏幕例如液晶显示(LCD)屏幕、发光二极管(LED)显示屏幕、等离子体显示屏幕等上显示图像108A和108B。在一个实施方案中，将图像108A和108B投射到用户106的眼睛上，而不是在HMD 102的一个或多个显示屏幕上显示。

应注意HMD 102的通信设备和计算设备的通信设备应用有线或无线协议以便在彼此之间传达数据。无线协议的实例包括蓝牙协议、Wi-Fi协议等。有线协议的实例包括并行传输协议、串行传输协议、通用串行总线(USB)协议等。

场景202A在HMD 102上例如在HMD 102的一个或多个显示屏幕等上显示。在场景202A中，显示左手130A的图像108A和右手130B的图像108B。举例来说，计算设备的处理器允许图像108A和108B与场景202A的其他对象例如山、树等交互。其他对象的实例包括虚拟动物、动物的实时视频、虚拟用户、用户的实时视频、虚拟无生命对象、无生命对象的实时视图、虚拟背景、背景的实时视频等。作为另一个实例，计算设备的处理器允许将图像108A和108B叠加在场景202A内的其余对象上。作为另一个实例，在用户106使用HMD 102和计算设备来玩游戏时，显示场景202A。在玩游戏期间，其他对象在场景202A内显示。此外，在玩游戏期间，用户106使用他的/她的手130A和130B来作出夹捏和保持手势，并且夹捏和保持手势被相机系统捕获为图像数据以便在场景202A内显示图像108A和108B。

计算设备的处理器从使用相机系统来捕获的图像数据中确定是否用户106的每只手130A和130B执行夹捏和保持手势。举例来说，当计算设备的处理器从使用相机系统来捕获的图像数据中确定用户106的手的一个或多个手指与手的拇指接触时，处理器确定夹捏手势使用手来执行。作为另一个实例，当从使用相机系统来捕获的图像数据中确定用户106夹捏手大于预定时间量时，计算设备的处理器确定夹捏和保持手势使用手来执行。

此外，当处理器确定夹捏和保持手势使用手来执行时，计算设备的处理器产生数据，所述数据用于在场景202A内、在用户106的手的图像的一个或多个手指与图像的拇指之间的接触点的位置处渲染提示。举例来说，提示110A在场景202A内、在图像108A的手指与图像108A的拇指之间的接触点的位置L1处显示。进一步举例说明，提示110A围绕图像108A的手指与图像108A的拇指之间的接触点。作为另一个例示，在图像108A的手指与图像108A的拇指之间的接触点处示出涟波效应。涟波显示为起源于位置L1并且从位置L1流动开来。作为另一个例示，在场景202A中作为提示110A来显示的纹理或色荫或颜色存在变化。作为另一个实例，提示110B在场景202A内、在图像108B的手指与图像108B的拇指之间的接触点的位置L2处显示。进一步举例说明，提示110B围绕图像108B的手指与图像108B的拇指之间的接触点。作为另一个例示，在图像108B的手指与图像108B的拇指之间的接触点处示出涟波效应。涟波显示为起源于位置L2并且从位置L2流动开来。作为另一个例示，在场景202A中作为提示110B来显示的纹理或色荫或颜色存在变化。

在手130A和130B执行夹捏和保持手势时，除了产生用于渲染提示110A和110B的数据以外，计算设备的处理器激活场景202A的锁定并且激活锁定以便将场景202A相对于位置L1和L2来固定。举例来说，计算设备的处理器产生位置L1与场景202A之间的连结和位置L2与场景202A之间的另一个连结以使得场景202A根据图像108A和108B的移动来移动。图像108A和108B根据手130A和130B的移动来移动。

在一个实施方案中，计算设备的处理器激活场景202A的锁定而不产生用于渲染提示110A和110B的数据。举例来说，在夹捏和保持手势使用手130A和130B来执行时，不产生提示110A和110B并且场景202A相对于位置L1和L2来固定。作为另一个实例，在夹捏和保持手势通过手130A和130B来执行时，不显示提示110A和110B并且不产生关于提示110A和110B的数据。

在一个实施方案中，手的图像的一个或多个手指与手的图像的拇指之间的接触点在场景上的任何点的位置处。

在实施方案中，当提示在场景内得以显示或确定夹捏和保持手势得以执行时，输出声音的音频数据由计算设备的处理器来产生并且提供到HMD 102以便与提示的显示一起例如同步等来进行音频输出。

在一个实施方案中，当提示在场景内得以显示或确定夹捏和保持手势得以执行时，代替或除了音频数据以外，将其他类型的输出例如官能输出、触觉输出、感觉输出等提供给用户106。举例来说，HMD 102包括各种隔间并且每个隔间存储具有香味的液体或气体。举例来说，当提示在HMD 102上得以渲染或确定夹捏和保持手势得以执行时，HMD 102的处理器接收来自计算设备的处理器的信号以便向用户106提供官能输出和/或味觉输出。在接收信号后，HMD 102的处理器控制HMD 102的驱动器，例如，晶体管、晶体管组等。驱动器控制HMD 102的电机来打开隔间一段时间以便向用户106提供香味和/或味道，且然后在一段时间之后，关闭隔间。作为另一个实例，当提示在HMD 102上得以渲染或确定夹捏和保持手势得以执行时，HMD 102的处理器接收来自计算设备的处理器的信号以便向用户106提供触觉输出。在接收到信号后，HMD 102的处理器向耦接至触觉反馈设备例如振动电机、触觉致动器等的驱动器发送信号。驱动器驱动触觉反馈设备来使HMD 102移动，例如，振动、收缩、膨胀等，从而向用户106提供触觉反馈。触觉反馈是提供给用户106的触感的实例。

在一个实施方案中，用户106登录他的/她的用户帐户以便接收对于场景的访问。举例来说，用户106提供用户信息，例如，用户名、密码等，并且用户信息由验证服务器来验证。当验证服务器验证用户信息时，验证服务器将验证指示经由计算机网络例如互联网、内联网、互联网和内联网的组合等来发送到计算设备的处理器。在接收验证指示后，计算设备的处理器将渲染场景202A的数据发送到HMD 102。HMD 102的处理器向数据来应用渲染计算机软件程序以便渲染场景202A。

在实施方案中，用户帐户是存储在连接到计算机网络的社交网络服务器上的社交网络帐户或存储在连接到计算机网络的游戏服务器上的游戏网络帐户。在社交网络中，用户登录到他们的相应用户帐户中并且通过在社交网络服务器内发消息或对贴子发表评论来彼此通信。在游戏网络中，用户登录到他们的相应用户帐户中以便彼此或与处理器来玩游戏。

本文描述的场景的实例包括增强现实(AR)场景、虚拟现实(VR)场景、来自视频游戏的场景、来自真实世界位置的场景、游览的地方的实时视频、旅馆的实时视频、非游戏内容等。举例说明，在场景例如交互式环境等中，代表用户106的化身与代表共享网络环境中的一个或多个其他用户的一个或多个其他化身交互。作为另一个例示，在例如交互式环境等的场景中，示出用户106的身体部分例如面部、手、腿等的图像并且示出另一个用户的身体部分的图像。两个用户经由交互式环境来实时彼此交互，例如，谈话、聊天等。作为另一个例示，计算设备的处理器经由网络、从服务器来访问用于渲染真实世界位置的实时视频的数据。计算设备的处理器向HMD 102提供用于渲染实时视频的数据以便在HMD 102上显示实时视频。作为另一个例示，代表用户106的身体部分的图像数据由相机捕获并且图像数据从相机提供至计算设备的处理器。计算设备的处理器向HMD 102提供图像数据以便在HMD 102上的场景中显示。

在一个实施方案中，场景包括场景内的音频输出与交互式对象的显示。举例来说，场景包括由游戏场景中的化身讲出的话语。作为另一个实例，场景包括由车辆产生的声音。

在实施方案中，场景的显示与音频输出、味觉输出、感觉输出和嗅觉输出中的一个或多个组合以便使用户106沉浸在场景中。

在实施方案中，场景是计算机模拟环境，所述环境使用户106沉浸在环境中好像用户106处在场景内。举例来说，场景向用户106提供感觉体验，例如，视觉、触觉、声音、嗅觉等，以使得用户106感觉好象他/她是场景的一部分一样。

场景内的本文所述对象的实例包括可与场景的其他部分区分的场景的部分。对象具有外观和感觉，例如，皮肤、纹理、色荫、形状、颜色、嗅觉、味觉、触觉反馈输出和/或音频输出。音频输出的实例包括声音、音调、歌词、词语等。举例来说，对象是化身，或化身的部分(例如，手、臂等)，或球，或球拍，或车辆，或动物，或枪，或墙壁，或墙壁上的文字，或交互式环境中的表面或事物上的图像，或在场景中示出的任何其他项目。

在实施方案中，如本文使用的成比例是指分率。举例来说，当第一量是第二量的分率时，第一量与第二量成比例。举例说明，当第二量是6厘米时，第一量是2厘米。作为另一个例示，当第二量是60度时，第一量是20度。

应注意xyz坐标系是真实空间中的坐标系并且XYZ坐标系是场景中的坐标系。此外，x方向是平行于x轴的方向，y方向是平行于y轴的方向，并且z方向是平行于z轴的方向。类似地，X方向是平行于X轴的方向，Y方向是平行于Y轴的方向，并且Z方向是平行于Z轴的方向。

图2A是示出由用户106(图1)执行的各种手势和手势对于在由用户106佩戴的HMD102上显示的场景例如场景202A(图1)等的效果的列表的实施方案。举例来说，如相对于图2E来示出，计算设备的处理器从用户106(图1)的左手130A的图像数据和用户106的右手130B的图像数据来确定夹捏和保持手势由用户106的两只手130A和130B来执行。在确定夹捏和保持手势由用户106使用手130A和130B来执行后，计算设备的处理器从手130A和130B的图像数据来确定是否图2A中的行式项目a中示出的拉入手势或图2A中的行式项目b中示出的推出手势由用户106执行。举例说明，计算设备的处理器确定是否手130A和130B在远离并且与平行于用户106的躯干105的宽度的轴256大致上垂直例如垂直等的方向258上或在朝向并且大致上垂直于轴256的方向260上移动。应进一步注意在一个实施方案中，当方向在从轴256的预定角度例如60度、90度、45度与90度之间的角度等内时，方向大致上垂直于轴256。在确定手130A和130B在方向258上移动后，计算设备的处理器确定推出手势得以执行并且产生将场景202A变焦拉远的数据。当场景202A变焦拉远时，与场景202A中的对象的大小相比，计算设备的处理器使场景202A内的对象例如山、树等的大小增加以便产生用于渲染场景252B的数据。另一方面，在确定手130A和130B在方向260上移动后，计算设备的处理器确定拉入手势得以执行并且产生将场景202A变焦拉近的数据。当场景202A变焦拉近时，与场景202A中的对象的大小相比，计算设备的处理器使场景202A内的对象例如山、树等的大小增加以便产生用于渲染场景252A的数据。

作为另一个实例，在确定夹捏和保持手势由用户106使用手130A和130B来执行后，计算设备的处理器从手130A和130B的图像数据来确定是否图2A中的行式项目c中示出的拉开手势或图2A中的行式项目d中示出的推挤手势由用户106执行。举例说明，当计算设备的处理器从使用相机系统来捕获的图像数据中确定手130A和130B在远离HMD 102并且与轴256大致上平行例如平行等的方向262上移动时，计算设备的处理器确定拉开手势由用户106执行。应进一步注意在一个实施方案中，当方向在从轴256的预定角度例如45度、30度、0度与45度之间的角度等内时，方向大致上平行于轴256。在确定拉开手势得以执行后，计算设备的处理器确定将场景202A变焦拉近并且产生用于渲染场景252A的数据。作为另一个例示，当计算设备的处理器从使用相机系统来捕获的图像数据中确定手130A和130B在朝向HMD 102并且与轴256大致上平行例如平行等的方向264上移动时，计算设备的处理器确定推挤手势由用户106执行。在确定推挤手势得以执行后，计算设备的处理器确定将场景202A变焦拉远并且产生用于渲染场景252B的数据。

在实施方案中，由计算设备的处理器应用到场景的变焦拉近或变焦拉远的量与用户106的手130A和130B的移动量成比例。举例来说，在从关于用户106的手130A和130B并且由相机系统捕获的图像数据中确定手130A和130B行进第一距离后，与先前场景例如场景202A等相比，计算设备的处理器按照第一比例来变焦拉近或变焦拉远。在从关于用户106的手130A和130B并且由相机系统捕获的图像数据中确定手130A和130B行进第二距离后，与先前场景相比，计算设备的处理器按照第二比例来变焦拉近或变焦拉远。当第一距离大于第二距离时，第一比例大于第二比例并且当第二距离大于第一距离时，第二比例大于第一比例。

作为另一个实例，参考图2D，在确定夹捏和保持手势由用户106使用手130A和130B来执行后，计算设备的处理器从手130A和130B的图像数据中确定是否与围绕大致上垂直于轴256的轴、由右手130B来执行的旋转手势253B同步例如同时、大致上同时等，围绕大致上垂直于轴256的轴、由左手130A执行旋转手势253A。两只手的旋转手势在图2A中的行式项目e中示出。举例说明，再次参看图2D，计算设备的处理器确定是否旋转手势由用户106的手在另一只手执行旋转手势之后的预定时间量内执行以便确定两只手大致上同时执行旋转手势。作为另一个例示，计算设备的处理器从使用相机系统来捕获的图像数据中确定旋转手势253A由用户106的左手130A执行以使得场景202A从位置L1锁定在位置L5处并且旋转手势253B由用户106的右手130B执行以使得场景202A从位置L2锁定在位置L3处。作为另一个例示，计算设备的处理器从使用相机系统来捕获的图像数据中确定是否围绕大致上垂直于轴256的轴、在大致上顺时针或大致上逆时针方向上，用户106的手的取向变化大于预定量。应注意在一个实施方案中，当轴相对于轴256形成预定角度，例如，90度、60度、45度与90度之间的角度等时，所述轴大致上垂直于轴256。此外，应注意在实施方案中，围绕轴的大致上顺时针方向是围绕轴的顺时针方向的方差或标准偏差内的方向。另外，应注意在实施方案中，围绕轴的大致上逆时针方向是围绕轴的逆时针方向的方差或标准偏差内的方向。在确定围绕大致上垂直于轴256的轴在大致上顺时针或大致上逆时针方向上，用户106的手的取向的量变化大于预定量时，计算设备的处理器确定旋转手势由手来执行。

在确定旋转手势253A和253B由手130A和130B执行后，计算设备的处理器识别是否手在顺时针或逆时针方向上旋转。在识别手130A和130B在顺时针方向上旋转后，计算设备的处理器产生用于渲染场景202D的数据，其中与场景202A中的对象的取向相比，场景202A的对象在顺时针方向上旋转。另一方面，在识别手130A和130B在逆时针方向上旋转后，计算设备的处理器产生用于渲染另一个场景的数据，其中与场景202A中的对象的取向相比，场景202A的对象在逆时针方向上旋转。

在一个实施方案中，场景202A内的对象的旋转的量例如度等与用户106的手130A的移动例如顺时针移动、逆时针移动等的量例如度等和用户106的手130B的移动例如顺时针移动、逆时针移动等的量例如度等成比例。举例来说，当手130A在顺时针方向上移动第一量并且手130B在顺时针方向上移动第二量时，计算设备的处理器确定场景202A的对象旋转第一度。第二量由计算设备的处理器确定为在第一量的预定范围内。当手130A在顺时针方向上移动第三量并且手130B在顺时针方向上移动第四量时，计算设备的处理器进一步确定场景202A的对象旋转第二度。第四量由计算设备的处理器确定为在第三量的预定范围内。当第三量大于第一量并且第四量大于第二量时，第二度大于第一度。此外，当第一量大于第三量并且第二量大于第四量时，第一度大于第二度。

作为另一个实例，参考图2C，在确定夹捏和保持手势使用用户106的两只手来执行后，计算设备的处理器从手130A和130B的图像数据中确定是否在顺时针方向上的旋转手势212由一只手例如右手130B等相对于大致上垂直于轴256的轴来执行，同时左手130A大致上在位置L1处。在由一只手执行夹捏和保持手势时，由另一只手执行的夹捏和保持和旋转手势在图2A的行式项目f中示出。在一个实施方案中，再次参看图2C，在确定左手130A在从位置L1的预定距离例如(X，Y，Z)距离内后，计算设备的处理器确定左手130A大致上在位置L1处。在确定在大致上顺时针方向上的旋转手势212由右手130B来执行并且左手130A大致上在位置L1处后，计算设备的处理器产生在顺时针方向上、相对于位置L1来旋转场景202A的数据以便产生用于场景202B的数据。举例说明，场景202A在相对于位置L1来铰接例如固定等时进行旋转。

应注意虽然先前实例相对于顺时针旋转来描述，但是当代替在顺时针方向上、在逆时针方向上移动右手130B来执行旋转手势时，本领域普通技术人员能够应用所述实例。举例来说，在确定旋转手势由右手130B在逆时针方向上执行后，计算设备的处理器产生在逆时针方向上旋转场景202A的数据以便产生用于场景的数据。

应注意在一个实施方案中，场景202A的旋转量与旋转手势212的旋转量成比例。举例来说，计算设备的处理器从使用相机系统来捕获的图像数据中计算右手130B相对于大致上垂直于轴256的轴的第一旋转量。此外，在确定第一旋转量得以执行后，计算设备的处理器将场景202A围绕X轴、以第一度来旋转。在此实例中，计算设备的处理器进一步从使用相机系统来捕获的图像数据中计算右手130B相对于大致上垂直于轴256的轴的第二旋转量。在确定第二旋转量得以执行后，计算设备的处理器将场景202A围绕X轴、以第二度来旋转。当第一量大于第二量时，第一度大于第二度并且当第二量大于第一量时，第二度大于第一度。

应注意虽然参考图2C来描述的实施方案使用右手130B的旋转来描述，但是本领域普通技术人员将认识到实施方案适用于以下情况，其中执行夹捏和保持手势的左手130A代替右手130B来旋转，同时右手130B用于执行夹捏和保持手势。举例来说，在确定夹捏和保持手势和旋转手势由左手130A执行并且右手130B大致上在位置L2处后，计算设备的处理器产生将场景202A在逆时针方向上、相对于位置L2来旋转的数据以便产生用于场景的数据。

在一个实施方案中，手130A和130B在方向262上的移动增加手之间的间距例如距离等，并且手130A和130B在方向264上的移动减少手之间的间距。

作为另一个实例，参考图2A中的行式项目g和h并且参考图2F，在确定夹捏和保持手势由用户106使用手130A和130B来执行后，计算设备的处理器从手130A和130B的图像数据中确定是否旋转手势278A由左手130A在围绕大致上平行于轴256的轴276的顺时针方向上来执行并且旋转手势278B由右手130B在围绕轴276的顺时针方向上来执行。举例来说，大致上平行于轴256的轴276是在用户106的手130A和130B之间延伸并且穿过的虚轴。在实施方案中，当轴276相对于轴256形成预定范围内的角度例如小于90度、小于45度、小于60度等时，轴276大致上平行于轴256。在确定旋转手势278A和278B得以执行后，计算设备的处理器确定将场景202A内的对象280A、280B和280C在围绕Z轴的顺时针方向上倾斜例如旋转等以便产生用于显示对象280A和280B的底部部分282A和282B，和对象280C的底部部分的数据。底部部分282A和282B，和对象282C的底部部分未在场景202A中显示。用于显示底部部分282A和282B和对象280C的底部部分的数据从计算设备的处理器发送到HMD 102的处理器并且由HMD 102的处理器渲染以便在HMD 102的一个或多个显示屏幕上产生场景272。

作为另一个实例，在确定夹捏和保持手势由用户106使用手130A和130B来执行后，计算设备的处理器从手130A和130B的图像数据中确定是否旋转手势284A由左手130A在围绕轴276的逆时针方向上来执行并且旋转手势284B由右手130B在围绕轴276的逆时针方向上来执行。在确定旋转手势284A和284B得以执行后，计算设备的处理器确定将场景202A内的对象280A、280B和280C在围绕Z轴的逆时针方向上倾斜例如旋转等以便产生用于显示对象280A、280B和280C的顶部部分286A、286B和286C的数据。顶部部分286A、286B和286C未在场景202A中显示。用于显示顶部部分286A、286B和286C的数据从计算设备的处理器发送到HMD 102的处理器并且由HMD 102的处理器渲染以便在HMD 102的一个或多个显示屏幕上产生场景274。

应注意参考图2F来描述的顺时针和逆时针方向在z轴方向上。

在实施方案中，对象280A、280B和280C的旋转的量例如度等与旋转手势例如旋转手势278A和278B、旋转手势284A和284B等的旋转的量例如度等成比例。举例来说，计算设备的处理器确定旋转手势284A具有第一旋转度并且旋转手势284B具有第二旋转度。第二度由计算设备的处理器确定为在从第一度的预定量内。当发生第一和第二旋转度时，计算设备的处理器进一步确定对象280A、280B和280C的旋转量是第一量。此外，计算设备的处理器确定旋转手势284A具有第三旋转度并且旋转手势284B具有第四旋转度。第四度由计算设备的处理器确定为在从第三度的预定量内。当发生第三和第四旋转度时，计算设备的处理器进一步确定对象280A、280B和280C的旋转量是第二量。当第一度大于第三度并且第二度大于第四度时，第一量大于第二量。当第三度大于第一度并且第四度大于第二度时，第二量大于第一量。

在实施方案中，场景202A内的对象例如对象280A、对象280B、对象280C等显示为二维对象。当旋转手势由手130A和130B来执行以便将二维对象相对于Z轴来进行旋转时，计算设备的处理器产生将二维(2D)对象转换成三维(3D)对象的数据以便在场景272中显示。

在一个实施方案中，在旋转三维对象之前和之后，对象例如对象280A、对象280B、对象280C等在场景202A和272中显示为三维对象。

在实施方案中，在旋转二维对象之前和之后，对象例如对象280A、对象280B、对象280C等在场景202A和272中显示为二维对象。举例来说，对象280A的底部边缘代替底部三维部分282A在场景272中显示。底部边缘未在场景202A中显示。作为另一个实例，对象280A的顶部边缘代替三维顶部部分286A在场景274中显示。顶部边缘未在场景202A中显示。

作为另一个实例，参考图2A中的行式项目I并且再次参看图2C，在确定夹捏和保持手势由用户106使用第一只手例如右手130B等来执行，并且夹捏和保持手势未使用用户106的第二只手例如左手130A等来执行后，计算设备的处理器从手130A和130B的图像数据中确定是否旋转手势212由第一只手相对于大致上垂直于轴256的轴、在顺时针方向上来执行。在确定旋转手势212由第一只手在顺时针方向上执行后，计算设备的处理器产生在顺时针方向上旋转场景202A的数据以便产生用于场景202B的数据。

应注意虽然先前实例相对于顺时针旋转来描述，但是当代替在顺时针方向上、在逆时针方向上移动第一只手来执行旋转手势时，本领域普通技术人员能够应用所述实例。举例来说，在确定旋转手势由第一只手在逆时针方向上执行后，计算设备的处理器产生在逆时针方向上旋转场景202A的数据以便产生用于场景的数据。

作为另一个实例，参考图2A中的行式项目j并且参考图2B，在确定夹捏和保持手势由用户106使用第一只手例如右手130B等来执行，并且夹捏和保持手势未使用用户106的第二只手例如左手130A等来执行后，计算设备的处理器从手130A和130B的图像数据中确定是否在相对于xyz坐标系等的参考坐标例如原点(0，0，0)等的方向上例如在x方向上、在y方向上、在z方向上、x和y方向之间的方向、x和z方向之间的方向、y和z方向之间的方向、大致上平行于轴256的方向262等，滑动手势216由第一只手来执行。在确定滑动手势216在所述方向上得以执行后，计算设备的处理器确定产生在相对于XYZ坐标系的参考坐标例如原点(0，0，0)等的方向上滑动场景202A的数据。举例来说，当用户106在大致上平行于轴256的方向262上滑动右手130B时，计算设备的处理器在Z方向上滑动场景202A。举例说明，场景202A中的每个对象在Z方向上滑动以便产生用于场景202C的数据。用于场景202C的数据由计算设备的处理器提供至HMD 102的处理器以便在HMD102上显示为场景202C。

在实施方案中，场景202A平移例如滑动等的量与执行滑动手势的用户106B的手滑动的量成比例。举例来说，当手130B滑动第一量时，计算设备的处理器产生将图像108B以第二量来滑动的数据。第二量与第一量成比例，例如是所述第一量的分率等。

在一个实施方案中，计算设备的处理器产生用于显示图像108B的数据以使得夹捏和保持手势通过图像108B在位置L4处执行。

在实施方案中，在场景202A平移以便显示场景202C时，未在场景202A内显示的对象在场景202C中显示。举例来说，计算设备的处理器确定场景202A的平移量与对象279的显示相关联。计算设备的处理器将用于渲染对象279的数据例如形状、颜色、纹理、位置、取向、外观和感觉等提供给HMD102的处理器以便在场景202C中显示对象279。

在一个实施方案中，对象的外观和感觉包括在HMD 102上显示时的对象的颜色，或在HMD 102上显示时的对象的形状，或在HMD 102上显示时的对象的字体，或在HMD 102上显示时的对象的纹理，或在HMD 102上显示时的对象的色荫，或在HMD 102上显示时由对象提供给用户106的感觉，或对象在HMD 102上显示时由对象提供给用户106的味觉，或对象在HMD102上显示时由对象提供给用户106的嗅觉，或对象在HMD 102上显示时来自对象的声音输出，或其两个或多个的组合等。

在实施方案中，两个场景是场景的可观看部分。举例来说，场景202A和202C是场景的可观看部分。

作为另一个实例，参考图2A中的行式项目k，在确定夹捏和保持手势由用户106使用第一只手例如右手130B等来执行，并且夹捏和保持手势未使用用户106的第二只手例如左手130A等来执行后，计算设备的处理器从手130A和130B的图像数据中确定是否在第一只手执行释放手势之后，执行双击手势。在第一只手执行夹捏和保持手势之后，第一只手执行释放手势。举例来说，夹捏和保持手势先于释放手势。释放手势的实例是当第一只手的手指中没有一个与第一只手的拇指接触时。双击手势的实例是当用户106在第一方向上伸出他的/她的手指例如食指等，在与第一方向相反的第二方向上缩回手指，再次在所述方向上伸出手指，并且在第二方向上缩回手指时。释放手势先于双击手势。在确定在第一只手的夹捏和保持手势之后，执行释放手势，随后进一步执行双击手势后，计算设备的处理器产生用于将场景202A的所提示部分变焦拉近，而不将场景202A的其余部分变焦拉近的数据。提示110B显示为所提示部分。举例来说，计算设备的处理器增加在所提示部分中显示的对象的大小，而不增加场景202A的其余部分中的对象的大小。

在一个实施方案中，在确定在第一只手的夹捏和保持手势之后，执行释放手势，随后进一步执行双击手势后，计算设备的处理器产生将场景202A内的所有对象变焦拉近的数据。

作为另一个实例，参考图2A中的行式项目l，在确定夹捏和保持手势由用户106使用第一只手例如右手130B等来执行，并且夹捏和保持手势未使用用户106的第二只手例如左手130A等来执行后，计算设备的处理器从手130A和130B的图像数据中确定是否在由第一只手执行滑动手势之后，由第一只手执行释放手势，随后进一步由第一只手执行双击手势。在此实例中，夹捏和保持手势先于滑动手势，滑动手势先于释放手势，并且释放手势先于双击手势。在确定滑动手势得以执行后，计算设备的处理器确定将提示110B在执行滑动手势的方向上滑动。举例来说，当滑动手势在方向262(图2B)上执行时，计算设备的处理器确定将提示110B在X方向上滑动。此外，在确定在执行滑动手势之后，执行释放和双击手势后，计算设备的处理器确定将提示110B内的场景的一部分变焦拉近。

在一个实施方案中，提示滑动的量与导致提示滑动的滑动手势所横移的距离成比例。举例来说，在计算设备的处理器确定用户106的手130B滑动第一距离时，计算设备的处理器确定将提示110B滑动第二距离，所述第二距离是第一距离的分率。

在一个实施方案中，计算设备的处理器从由相机系统捕获的手130A和130B的图像中确定是否手130A和130B在大致上平行于轴256的方向上移动，同时在大致上垂直于轴256的方向上大致移动。举例来说，用户106在方向258上移动他的/她的手130A和130B并且同时在方向264上移动手。作为另一个实例，用户106在方向262上移动手130A和130B并且同时在方向260上移动手。

在所述实施方案中，计算设备的处理器从由相机系统捕获的手130A和130B的图像中识别大致上平行于轴256的方向上的移动与大致上垂直于轴256的方向上的移动之间的主要运动。举例来说，计算设备的处理器确定是否方向258上的移动以预定量大于方向264上的移动量。在确定方向258上的移动以预定量大于方向264上的移动量后，处理器将方向258上的移动识别为主要运动。另一方面，在确定方向264上的移动以预定量大于方向258上的移动量后，处理器将方向264上的移动识别为主要运动。

作为另一个实例，计算设备的处理器确定是否方向262上的移动以预定量大于方向258上的移动。在确定方向262上的移动以预定量大于方向258上的移动量后，处理器将方向262上的移动识别为主要运动。另一方面，在确定方向258上的移动以预定量大于方向262上的移动量后，处理器将方向258上的移动识别为主要运动。

作为另一个实例，计算设备的处理器确定是否方向262上的移动的加速度以预定水平大于方向258上的移动的加速度。在确定方向262上的移动的加速度以预定水平大于方向258上的移动量的加速度后，处理器将方向262上的移动识别为主要运动。另一方面，在确定方向258上的移动的加速度以预定水平大于方向262上的移动的加速度后，处理器将方向258上的移动识别为主要运动。

此外，在所述实施方案中，计算设备的处理器从主要运动来确定顺从运动。举例来说，当用户106同时在方向258和264上执行手130A和130B的移动时，处理器将方向264上的手的移动识别为主要运动。将作为方向258上的移动的另一个运动确定为顺从运动。作为另一个实例，当用户106同时在方向258和262上执行手130A和130B的移动时，处理器将方向262上的手的移动识别为主要运动。将作为方向258上的移动的另一个运动确定为顺从运动。

此外，在所述实施方案中，计算设备的处理器在忽略顺从运动的同时，根据主要运动来启用场景202A的大小的变化。举例来说，在识别方向258上的移动是主要运动并且方向264上的移动是顺从运动后，处理器确定根据方向258上的移动来在场景202A中作出变化并且不根据方向264上的移动来对场景202A作出任何变化。举例说明，计算设备的处理器确定与方向258上的移动量成比例地来将场景202A变焦拉远并且确定不根据方向264上的移动来将场景202A变焦拉远。另一方面，在识别方向264上的移动是主要运动并且方向258上的移动是顺从运动后，处理器确定根据方向264上的移动来在场景202A中作出变化并且不根据方向258上的移动来对场景202A作出任何变化。举例说明，计算设备的处理器确定与方向264上的移动量成比例地来将场景202A变焦拉远并且确定不根据方向258上的移动来将场景202A变焦拉远。

作为另一个实例，在识别方向262上的移动是主要运动并且方向258上的移动是顺从运动后，处理器确定根据方向262上的移动来在场景202A中作出变化并且不根据方向258上的移动来实现对场景202A的修改。举例说明，计算设备的处理器确定与方向262上的移动量成比例地来将场景202A变焦拉近并且确定不根据方向258上的移动来将场景202A变焦拉远。另一方面，在确定方向258上的移动是主要运动并且方向262上的移动是顺从运动后，处理器确定根据方向258上的移动来在场景202A中作出变化并且不根据方向262上的移动来实现对场景202A的修改。举例说明，计算设备的处理器确定与方向258上的移动量成比例地来将场景202A变焦拉远并且确定不根据方向262上的移动来将场景202A变焦拉近。

在实施方案中，计算设备的处理器从由相机系统捕获的手130A和130B的图像中确定是否手130A和130B在大致上平行于和/或大致上垂直于轴256的方向上移动，同时围绕大致上平行于轴256的轴来旋转。举例来说，用户106在方向258上移动他的/她的手130A和130B并且同时执行旋转手势278A和278B。作为另一个实例，用户106在方向262上移动手130A和130B并且同时执行旋转手势284A和284B。

在所述实施方案中，计算设备的处理器从由相机系统捕获的手130A和130B的图像中识别大致上平行于轴256的方向上的移动和/或大致上垂直于轴256的方向上的移动和手130A和130B的旋转手势之间的主要运动。举例来说，在确定用户106执行旋转手势278A和278B并且还在方向262和/或方向258上移动手130A和130B后，处理器将旋转手势278A和278B识别为手的主要运动。另一方面，在确定用户106不执行旋转手势278A和278B，同时在方向262和/或方向258上移动手130A和130B后，处理器将手130A和130B在方向262和/或方向258上的移动识别为主要运动。

此外，在所述实施方案中，计算设备的处理器从主要运动来确定顺从运动。举例来说，当用户106在方向258和264上移动手130A和130B，并且同时执行旋转手势278A和278B时，处理器将旋转手势278A和278B识别为主要运动。作为方向258和264上的移动的另一个运动被确定为顺从运动。作为另一个实例，当用户106在方向258上移动手130A和130B，并且还执行旋转手势278A和278B时，处理器将旋转手势278A和278B识别为主要运动。作为方向258上的移动的另一个运动被确定为顺从运动。

此外，在所述实施方案中，计算设备的处理器在忽略顺从运动的同时，根据主要运动来启用场景202A的变化。举例来说，在识别旋转手势278A和278B是主要运动并且方向258上的移动是顺从运动后，处理器确定根据旋转手势278A和278B来使场景202A中的对象倾斜并且不根据方向258上的移动来对场景202A作出任何变化。举例说明，计算设备的处理器确定与旋转手势278A和278B成比例地来使场景202A中的对象倾斜并且确定不根据方向258上的移动来将场景202A变焦拉远。作为另一实例，在识别旋转手势284A和284B方向上的移动是主要运动并且方向262上的移动是顺从运动后，处理器确定根据旋转手势284A和284B来在场景202A中作出变化并且不根据方向262上的移动来对场景202A作出任何变化。举例说明，计算设备的处理器确定与旋转手势284A和284B成比例地来使场景202A中的对象倾斜并且确定不根据方向262上的移动来将场景202A变焦拉近。

图3A是示出夹捏和保持手势的方法300的实施方案的流程图。方法300由计算设备的处理器来执行。在方法300的操作302中，确定是否在用户106(图1)的手的拇指与用户106的手的其余手指中的一个或多个之间建立接触以便确定是否夹捏手势由手来执行。举例来说，关于手130A(图1)的图像数据由相机系统的相机来捕获并且图像数据经由有线或无线协议从相机传达到计算设备的通信设备。计算设备的处理器接收图像数据并且分析图像数据以便确定是否手130A的拇指与手130A的其余手指中的一个或多个接触。举例说明，计算设备的处理器通过将图像数据内的拇指数据与预存储拇指数据进行比较来从图像数据中检测拇指。预存储拇指数据包括拇指的大小、拇指的颜色、拇指的形状、拇指的纹理、拇指相对于其余手指的位置、拇指相对于用户106的手的位置或其组合等。此外，计算设备的处理器通过将图像数据内的手指数据与预存储食指数据进行比较来从图像数据中检测食指。预存储食指数据包括食指的大小、食指的颜色、食指的形状、食指的纹理、用户106的手的食指相对于手的其余手指的位置、食指相对于用户106的手的位置或其组合等。在确定拇指数据与食指数据之间没有剩余距离后，计算设备的处理器确定用户106的手的拇指与手的其余手指中的一个或多个接触并且夹捏手势由手来执行。

作为另一个实例，用户106佩戴手套，所述手套具有针对用户106的手的每个手指的手指节段。每个手指节段包括一个或多个电极。手套的拇指节段的电极与手套的手指节段的电极接触以便产生信号。信号经由有线或无线通信协议来发送到计算设备的通信设备。在接收信号后，计算设备的处理器确定夹捏手势由用户106的手执行。

在确定夹捏手势得以执行后，确定是否手的拇指与手的一个或多个其余手指之间的接触建立超过预定时间量并且是否在相对于xyz坐标系大致上固定的位置处建立接触。举例来说，计算设备的处理器分析从相机系统的相机接收的图像数据以便确定是否图像数据指示手130A的拇指与手的食指之间的接触大于预定时间量。在一个实施方案中，与预定时间量进行比较的时间量从耦接至计算设备的处理器的时钟来接收。在实施方案中，与预定时间量进行比较的时间量由计算设备的处理器从计算机网络接收。在一个实施方案中，计算设备的处理器计算时间量。在确定图像数据指示接触大于预定时间量后，计算设备的处理器确定是否接触的多个位置在接触的位置例如首次确定建立接触的位置、位置L1、位置L2等的预定范围内。在确定图像数据指示接触大于预定时间量并且接触的多个位置在预定范围内后，计算设备的处理器确定夹捏和保持手势由手130A来执行。另一方面，在确定图像数据指示接触小于预定时间量或接触的多个位置不在预定范围内后，计算设备的处理器确定夹捏和保持手势未由手130A来执行。

在先前实例的一个实施方案中，在确定接触的多个位置在接触位置的预定范围内之后，计算设备的处理器确定是否图像数据指示接触大于预定时间量。

在先前实例的实施方案中，在确定接触的多个位置在接触位置的预定范围内时，例如与其同时等，计算设备的处理器确定是否图像数据指示接触大于预定时间量。

在先前实例的一个实施方案中，代替使用图像数据来确定是否建立接触大于预定时间量，计算设备的处理器确定是否从手套的电极接收指示用户106的手的拇指与用户106的其余手指中的一个或多个之间的接触的信号大于预定时间量。此外，关于手套的手指节段的图像数据由处理器来分析以便确定是否接触的多个位置在接触位置的预定范围内。举例说明，计算设备的处理器通过将图像数据内的拇指节段数据与预存储拇指节段数据进行比较来从图像数据中检测拇指节段。预存储拇指节段数据包括拇指节段的大小、拇指节段的颜色、拇指节段的形状、拇指节段的纹理、拇指节段相对于其余手指节段的位置、拇指节段相对于用户106的手的位置或其组合等。此外，在所述例示中，计算设备的处理器通过将图像数据内的食指节段数据与预存储食指节段数据进行比较来从图像数据中检测食指节段。预存储食指节段数据包括食指节段的大小、食指节段的颜色、食指节段的形状、食指节段的纹理、食指节段相对于其余手指节段的位置、食指节段相对于用户106的手的位置或其组合等。在确定从手套的电极接收指示手套的拇指节段与由用户106佩戴的手套的其余手指节段中的一个或多个之间的接触的信号大于预定时间量后并且在确定接触的多个位置在接触位置的预定范围内后，计算设备的处理器确定夹捏和保持手势由佩戴手套的用户106的手来执行。另一方面，在确定未从手套的电极接收指示手套的拇指节段与由用户106佩戴的手套的其余手指节段中的一个或多个之间的接触的信号大于预定时间量后或在确定接触的多个位置不在接触位置的预定范围内后，计算设备的处理器确定夹捏和保持手势未由佩戴手套的用户106的手来执行。

在确定夹捏和保持手势由用户106的手来执行后，在方法300的操作306中，计算设备的处理器产生提示数据以便指示手的图像与在HMD 102(图1)上显示的场景中的位置例如位置L1、位置L2等之间的锁定。

在一个实施方案中，在确定夹捏和保持手势由用户106的手来执行大于预定时间量后，在方法300的操作306中，计算设备的处理器产生提示数据以便指示手的图像与在HMD102上显示的场景中的位置例如位置L1、位置L2等之间的锁定。举例来说，在确定夹捏和保持手势得以执行大于预定时间量后，用于激活提示的视觉表示的数据由计算设备的处理器来产生或识别。

在实施方案中，场景中的将要显示提示数据的位置是手的图像所定位的位置。举例说明，场景中的将要显示提示数据的位置是用户106的手的图像的拇指与手的图像的一个或多个手指接触的位置。提示数据的实例包括渲染涟波效应的数据、渲染皱纹效应的数据、渲染颜色变化的数据、渲染色荫变化的数据、渲染纹理变化的数据、产生声音的音频数据或其两个或多个的组合等。声音的实例包括打击声音、喀哒声音、轻敲声音等。

计算设备的处理器将提示数据发送到HMD 102的处理器以便在HMD102的一个或多个显示屏幕上显示。

图3B是根据由用户106(图1)执行的手势来修改场景例如场景202A(图2A)的方法350的实施方案的流程图。方法350由计算设备的处理器来执行。在方法300的操作352中，夹捏和保持手势由处理器来检测。检测夹捏和保持手势的方法如上参考图3A所述。在方法300的操作354中，产生指示夹捏和保持手势的视觉提示。视觉提示和产生视觉提示的场景中的位置的实例在上文提供。

在方法300的操作356中，在夹捏和保持手势起作用时处理由用户106执行的手势。举例来说，计算设备的处理器分析使用相机系统的相机来捕获的图像数据是否在执行夹捏和保持手势的预定时段内，存在由用户106执行的额外手势。举例说明，计算设备的处理器确定是否在夹捏和保持手势由用户106执行的同时，滑动手势或旋转手势由用户106执行。进一步举例说明，当手130A(图1)相对于xyz坐标系、在大致上线性方向上从一个位置滑动到另一个位置时，计算设备的处理器确定滑动手势得以执行。大致上线性方向的实例是如下方向，其中手130A的每个位置在从一个或多个初始位置例如手130A开始滑动时的位置等的预定方差或预定标准偏差内。大致上线性方向的另一个实例是如下方向，所述方向大致上平行于x轴，或y轴，或z轴，或x轴与y轴之间的轴，或y轴与z轴之间的轴，或x轴与z轴之间的轴，例如在从所述轴的预定角度内等。计算设备的处理器通过确定是否手130A的特性匹配左手的预存储特性例如左手的颜色、左手的形状、左手的纹理、左手的拇指相对于左手的其余手指的位置等来从图像数据中识别手130A。

作为旋转手势的例示，计算设备的处理器确定是否手130A大致上相对于xyz坐标系的轴来旋转。举例来说，从手130A的图像数据来确定是否手130A的位置在从位置L1开始的圆周运动的预定方差或预定标准偏差内。在确定手130A的位置在从位置L1开始的圆周运动的预定方差或预定标准偏差内后，计算设备的处理器确定手130A大致上旋转来执行旋转手势。

在一个实施方案中，旋转手势相对于x轴，或y轴，或z轴，或x轴与y轴之间的轴，或y轴与z轴之间的轴，或x轴与z轴之间的轴来执行。

在方法350的操作358中，确定根据额外手势来修改在操作352中涉及的场景。举例来说，在确定滑动手势由用户106执行后，计算设备的处理器确定使场景滑动。举例说明，在确定滑动手势在z方向上执行后，计算设备的处理器确定使场景在Z方向上滑动。作为另一个例示，在确定滑动手势在y轴与z轴之间的方向上执行后，计算设备的处理器确定使场景在Y轴与Z轴之间的方向上滑动。作为另一个例示，场景相对于XYZ坐标系来滑动的距离与手130A相对于xyz坐标系来滑动的距离成比例。

图4A是示出使用相机C1来捕获用户106的手130A和130B的位置和取向和使用相机C1来捕获HMD 402的位置和取向的系统400的实施方案的图。HMD 402是HMD 102(图1)的实例。相机C1的实例包括数字相机、红外相机、深度相机等。数字相机的实例包括PlaystationEyeTM相机。

HMD 402佩戴在用户106的眼睛前面以使得HMD 402的一个或多个显示屏幕定位在眼睛前面并且覆盖眼睛。HMD 402包括定位在HMD 402的外表面的拐角处的标记物M1、M2、M3和M4，例如，光发射体、发光二极管、逆反射带、红外光发射体、有色材料等。将标记物M1至M4取向以便面向相机C1。

用户106访问HMD 402上的交互式环境，例如，场景等。在与环境交互的同时，用户106使用他的/她的手130A和130B来作出手势。举例来说，用户106作出夹捏和保持手势，或滑动手势，或旋转手势，或释放手势，或双击手势等。

相机C1捕获每只手130A和130B在x、y和z方向中的每一个上的位置。举例来说，相机C1捕获定位在相机C1处的参考点例如原点(0，0，0)等与手130A的手指之间的在x、y和z方向上的距离。此外，相机C1捕获每只手130A和130B相对于x轴、y轴和z轴中的每一个的取向。举例来说，相机C1捕获示出在手130A的夹捏和保持手势的位置与x轴或y轴或z轴之间形成的角度的图像数据。在此实例中，x轴、y轴和z轴穿过相机C1的参考点。

此外，相机C1捕获HMD 402在x、y和z方向上的位置。举例来说，相机C1捕获示出HMD402在x方向上或在y方向上或在z方向上从定位在相机C1处的参考点例如原点(0，0，0)等移动一定距离的图像数据。作为另一个实例，相机C1捕获示出HMD 402在z方向上或在y方向上或在x方向上从定位在相机C1处的参考点移动一定距离的图像数据。此外，相机C1捕获HMD102相对于x轴、y轴和z轴中的每一个的取向。举例来说，相机C1捕获示出在HMD 102的长度与x轴或y轴或z轴之间形成的角度的图像数据。HMD 102的长度的实例在下文参考图11来提供。HMD 102的长度大于宽度并且大于HMD 102的深度。在此实例中，x轴、y轴和z轴穿过相机C1的参考点。

在一个实施方案中，相机C1使用标记物M1至M4中的任何两个之间的距离来捕获深度。举例来说，当用户106移动更接近于相机C1时，如从相机C1观察到的标记物M1至M4中的任何两个之间的距离减少，并且当用户移动远离相机C1时，如从相机C1观察到的标记物M1至M4中的任何两个之间的距离增加。

在实施方案中，HMD 402包括任何其他数目的标记物，例如，两个、三个、五个、六个等。

由相机C1捕获的图像数据使用有线或无线协议来发送到游戏控制台408，所述游戏控制台是计算设备的实例。游戏控制台的处理器分析图像数据以便确定是否手势例如夹捏和保持手势、滑动手势、旋转手势、双击手势、释放手势等由用户106执行。举例来说，游戏控制台408的处理器分析由相机C1捕获的图像数据以便确定是否在手130B的手指与手130B的拇指之间存在接触。游戏控制台408的处理器通过使用关于手指的预存储参数例如手指的长度、手指的形状、手指的颜色、手指的纹理、手指的手指节段的数目、手指距手130B的拇指的位置等来从图像数据中识别手指。另外，处理器通过使用关于拇指的预存储参数例如拇指的长度、拇指的形状、拇指的颜色、拇指的纹理、拇指的手指节段的数目、拇指距手130B的手指的位置等来从图像数据中识别拇指。在识别手指和拇指后，处理器确定是否在手指与拇指之间存在接触，例如，是否代表手指的图像数据在代表拇指的图像数据的预定距离内等。在确定代表手指的图像数据在代表拇指的图像数据的预定距离内后，处理器确定在手指与拇指之间存在接触并且夹捏手势由手130B来执行。

游戏控制台408的处理器根据手势来产生用于渲染场景的数据并且经由有线或无线协议将数据提供至HMD 402。HMD 402的处理器向从游戏控制台408接收的数据应用渲染程序以便在HMD 402的一个或多个显示屏幕上显示场景。

在一个实施方案中，游戏控制台408的处理器确定HMD 402与用户106的一只或两只手之间的相对位置。举例来说，游戏控制台408的处理器从使用相机C1来捕获的图像数据中确定在HMD 402与每只手130A和130B之间的在x、y和z方向中的每一个上的距离。此外，游戏控制台408的处理器确定HMD 402与用户106的一只或两只手之间的相对取向。举例来说，游戏控制台408的处理器从使用相机C1来捕获的图像数据中确定在HMD 402的长度与平行于手130A的长度的轴之间形成的角度和在HMD 402的长度与平行于手130B的长度的轴之间形成的角度。在确定手130A和130B相对于HMD402的相对位置和手130A和130B相对于HMD402的相对取向指示手130A和130B在HMD 402的视场内后，游戏控制台408的处理器确定产生在将要在HMD 402上显示的场景内展示手130A和130B的数据。另一方面，在确定手130A和130B相对于HMD 402的相对位置或手130A和130B相对于HMD 402的相对取向不指示手130A和130B在HMD 402的视场内后，游戏控制台408的处理器确定产生将要在HMD 402上显示的场景的数据而不在场景中展示手的图像108A和108B。

在实施方案中，HMD 402的视场是安置在HMD 402的外表面上时的相机的视场。安置在外表面上的相机是面向外部的相机，其被安置来捕获在用户106前面的真实空间的图像。

在一个实施方案中，HMD 402的视场在形成预定角度的顶部与底部平面之间和形成预定角度的左侧与右侧平面之间延伸。顶部平面以预定角度从HMD 402的顶部边缘延伸，底部平面以预定角度从HMD 402的底部边缘延伸，左侧平面以预定角度从HMD 402的第一侧面边缘延伸，并且右侧平面以预定角度从HMD 402的第二侧面边缘延伸。举例来说，HMD 402的视场是具有定位在HMD 402的前端面上的透镜的相机的视场。

在一个实施方案中，相机C1嵌入游戏控制台408内或电视机内或独立地定位，例如，定位在电视机或游戏控制台上方或定位在桌子或支架上等。

在实施方案中，本文描述的HMD的位置和取向通过HMD内的一个或多个惯性传感器例如陀螺仪、磁力计、加速度计等来测量。所测量的位置和取向通过HMD的通信设备来传达到游戏控制台408的通信设备以便通过游戏控制台408的处理器来处理。

图4B是示出使用手套G1和G2与相机C1来确定手套的手指节段的位置和取向的系统420的实施方案的图。通过用户106手套G1佩戴在手130A上并且手套G2佩戴在手130B上。用户106还佩戴HMD 102。每只手套G1和G2包括五个手指节段，每一个手指节段用于佩戴手套的手的每个手指。

相机C1捕获关于HMD 402的图像数据，如参考图4A的方式所描述。此外，相机C1捕获手套G1和G2的图像数据。以如上相对于图4A关于捕获每只手的每个手指的图像数据所描述的相同方式，相机C1捕获每只手套G1和G2的每个节段的图像数据。举例来说，游戏控制台408的处理器从使用相机C1来捕获的图像数据中确定手套G1和G2中的每一个的每个手指节段的位置和取向以便确定是否手势例如夹捏和保持手势、滑动手势、旋转手势、双击手势、释放手势等得以执行。举例说明，处理器通过将关于手指节段的图像数据与关于手指节段的预存储参数例如形状、大小、相对于另一个手指节段的位置、佩戴手套G1的手的识别等进行比较来识别手套G1的手指节段，例如，食指节段、拇指节段等。根据使用手套G1和G2中的一个或两个的手指节段来执行的一个或多个手势，处理器如本文描述来修改用于渲染场景的数据，并且将修改数据提供至HMD 402。HMD 402在HMD 402的一个或多个显示屏幕上显示场景。

在一个实施方案中，在夹捏和保持手势起作用时，例如，通过游戏控制台408的处理器确定为正在由用户106执行等，游戏控制台408的处理器将场景的移动与手套的移动相关联。举例来说，在手套用于执行滑动手势时，场景大致上在手套的移动方向上平移。作为另一个实例，在确定手套执行旋转手势时，场景旋转。

在一个实施方案中，手套G1和G2是无源的。举例来说，每只手套G1和G2包括标记物但是不包括以下描述的传感器。作为另一个实例，每只手套G1和G2不包括任何标记物和传感器。手指节段上的标记物有助于识别手指节段的位置和手指节段的取向。举例来说，游戏控制台408的处理器从接收自相机的图像数据中识别关于多个手指节段上的标记物的图像数据并且确定是否手套的食指节段的远端指骨部分上的标记物与手套的拇指节段的远端指骨部分上的标记物接触。在确定食指节段的远端指骨部分上的标记物与拇指节段的远端指骨部分上的标记物接触后，游戏控制台408的处理器确定夹捏手势由手套执行。另一方面，在确定食指节段的远端指骨部分上的标记物不与拇指节段的远端指骨部分上的标记物接触后，游戏控制台408的处理器确定夹捏手势未由手套执行。作为另一个实例，标记物相对于穿过用户106的手臂的长度的轴的取向提供标记物所定位的手指节段的取向。

应注意相机系统的相机的通信设备和计算设备的通信设备应用有线或无线协议以便在彼此之间传达数据。

应进一步注意手套的通信设备和计算设备的通信设备应用有线或无线协议以便在彼此之间传达数据。

在实施方案中，标记物定位在手套的背侧或腹侧上。

图4C是有源手套406A和406B用于确定手套的手指节段的位置的系统440的实施方案的图。每只手套406A和406B包括多个手指节段，每一个手指节段用于用户106的手的每个手指。举例来说，手套406A包括五个手指节段并且手套406B包括五个手指节段。每只手套406A和406B的每个手指节段包括电极，例如，传导衬垫、电阻器、电容器极板等。

当在有源手套的手指节段的电极与有源手套的另一个手指节段的电极之间存在接触时，信号例如短路信号、具有预定义电压的信号等得以产生并且从有源手套发送到游戏控制台408。在接收信号后，游戏控制台408的模拟-数字转换器将信号从模拟形式转换成数字形式并且在接收数字形式的信号后，游戏控制台408的处理器确定夹捏手势得以执行。此外，在接收数字形式的信号大于预定时间量后，游戏控制台408的处理器确定夹捏和保持手势得以执行。

此外，相机C1捕获手套406A和406B的图像数据，并且将图像数据提供至游戏控制台408的处理器。游戏控制台408的处理器从图像数据中确定手套406A和406B的手指节段的位置和取向以便识别所执行的手势。所识别的手势由游戏控制台408的处理器用于修改将要在HMD 402上显示的场景。

在一个实施方案中，使用相机C1来捕获的图像数据用于确认或否定使用从有源手套获得的信号来确定的夹捏和保持手势的发生。举例来说，在确定使用手套406A来获得的数字形式的信号指示发生夹捏和保持手势后，游戏控制台408的处理器确定是否使用相机C1来捕获的手套406A的手指节段的图像数据也指示夹捏和保持手势的发生。在确定使用相机C1来捕获的手套406A的手指节段的图像数据不指示发生夹捏和保持手势后，游戏控制台408的处理器确定夹捏和保持手势未使用手套406A来执行并且确定不根据夹捏和保持手势和/或根据夹捏和保持手势之后的手势来修改场景。另一方面，在确定使用相机C1来捕获的手套406A的手指节段的图像数据指示发生夹捏和保持手势后，游戏控制台408的处理器确定夹捏和保持手势得以执行并且确定根据夹捏和保持手势和/或根据夹捏和保持手势之后的手势来修改场景。

在实施方案中，从有源手套获得的数字形式的信号用于确认或否定使用相机C1来确定的夹捏和保持手势的发生。举例来说，在确定使用相机C1来捕获的手套406A的手指节段的图像数据指示发生夹捏和保持手势后，游戏控制台408的处理器确定是否使用手套406A来获得的数字形式的信号指示发生夹捏和保持手势。在确定使用手套406A来获得的数字形式的信号不指示发生夹捏和保持手势后，游戏控制台408的处理器确定夹捏和保持手势未使用手套406A来执行并且确定不根据夹捏和保持手势和/或根据夹捏和保持手势之后的手势来修改场景。另一方面，在确定使用手套406A来获得的数字形式的信号指示发生夹捏和保持手势后，游戏控制台408的处理器确定夹捏和保持手势得以执行并且确定根据夹捏和保持手势和/或根据夹捏和保持手势之后的手势来修改场景。

在一个实施方案中，除了相机C1以外，任何数目的相机用于使用图4A至4C来描述的系统中来捕获HMD 402和用户106的手130A和130B的位置和取向。

在实施方案中，用户106的手的图像数据由相机C1捕获并且HMD 402的图像数据由相机C1捕获。手和HMD 402的图像数据通过相机C1经由有线或无线协议来提供至计算设备。计算设备的处理器确定手相对于xyz坐标系的位置和HMD 402相对于xyz坐标系的位置以便进一步确定手与HMD402之间的相对位置使得手在HMD 402的视场内。在确定手在HMD 402的视场内后，计算设备的处理器产生在场景内显示手的图像数据并且将图像数据提供至HMD402以便显示。

在一个实施方案中，由计算设备的处理器提供的关于用户106的手的图像数据是手的虚拟现实图像或卡通图像或化身的手的图像。将手的图像数据渲染以便在HMD 402的一个或多个显示屏幕上显示虚拟手。

图5是示出使用HMD 502上的相机C2来确定用户106的手130A和130B相对于HMD502的相对位置和相对取向的系统500的实施方案的图。相机C2的实例包括数字相机、深度相机、红外相机等。HMD 502是HMD 102(图1)的实例。HMD 502包括支撑结构，其由用户106的头部来支撑以便促进将HMD 502的一个或多个显示屏幕安置在用户106的眼睛前面。

相机C2是面向外部的相机。举例来说，相机C2的透镜具有在用户106前面的房间的一部分的视场503。作为另一个实例，相机C2嵌入HMD 502的壳体内并且相机C2的透镜面向用户106前面的真实空间的一部分。

当HMD 502和/或手130A和130B定位和取向以使得手在相机C2的视场内时，相机C2捕获关于手130A和130B的图像数据。图像数据从HMD 502发送到游戏控制台408的处理器。游戏控制台408的处理器分析从HMD 502接收的图像数据以便识别关于手130A和130B的图像数据包括在所接收的图像数据内。举例来说，游戏控制台408分析所接收的图像数据以便识别手130A的一个或多个手指和手130B的一个或多个手指。手的手指的识别通过将关于手指的图像数据与预存储图像数据例如关于手指的形状的图像数据、关于手指的大小的图像数据、关于手指的纹理的图像数据、关于手指的颜色的图像数据、关于手指相对于手的一个或多个其他手指的位置的图像数据等比较来进行。在识别手的手指后，游戏控制台408的处理器产生用于显示手指的图像数据并且将图像数据发送到HMD 502以便在场景中显示手指的图像。另一方面，在确定关于用户106的手的图像数据不包括在所接收的图像数据中后，游戏控制台408的处理器确定不产生在HMD 502上显示的手的图像数据。

此外，游戏控制台408的处理器分析所接收的图像数据以便识别由用户106的手执行的手势。举例来说，在确定用户106的手的拇指的尖端与手的另一个手指的尖端接触后，游戏控制台408的处理器确定夹捏手势得以执行。作为另一个实例，在确定夹捏和保持手势的位置在所接收的图像数据内、在大致上线性方向上变化后，游戏控制台408的处理器确定滑动手势得以执行。游戏控制台408的处理器根据所识别的手势来修改将要在HMD 502上显示的场景并且将关于场景的数据提供至HMD 502以便显示。

应注意由相机C2捕获的关于用户106的手的图像数据通过游戏控制台408的处理器来分析以便确定手相对于HMD 502的位置和取向。相机C2相对于HMD 502固定并且具有与HMD 502相同的位置和取向。

在实施方案中，相机C2定位在HMD 502的边缘，例如，附接至HMD 502的拐角等。

在一个实施方案中，用户106佩戴手套，例如，有源手套、无源手套等，并且相机C2捕获手套的手指节段的图像数据并且将所捕获图像数据提供至游戏控制台408的处理器。游戏控制台408的处理器从图像数据中确定是否手势使用手指节段来执行和是否用户106的手或由用户106佩戴的手套的图像将要在场景中显示。举例来说，当图像数据包括关于佩戴在用户106的手上的手套的图像数据时，游戏控制台408的处理器确定手或手套的图像将要在场景中显示。作为另一个实例，当图像数据不包括关于佩戴在用户106的手上的手套的图像数据时，游戏控制台408的处理器确定手或手套的图像不在场景中显示。

在实施方案中，代替HMD 402，HMD 102用于图4A-4C的系统中并且代替HMD 502，HMD 102用于图5的系统中。

图6是用于示出由用户106执行的各种手势的图。用户106观看HMD 102上的场景602A。用户106执行夹捏和保持手势以便将场景602A锁定在相对于场景602A内的参考点例如原点(0，0，0)等的位置(X1，Y1，Z1)处，例如固定、建立夹捏和保持手势与执行夹捏和保持手势的场景602A上的点之间的关系等。场景602A包括向用户106显示的对象604B、604C和604D。对象604A和604E不在场景602A中向用户106显示，例如，渲染等。

当夹捏和保持手势起作用时，例如，被确定为正在由用户106执行等，HMD 102的移动不导致场景602A的移动。举例来说，当确定用户106执行夹捏和手势时，相机系统的相机捕获关于HMD 102的移动的图像数据。图像数据由游戏控制台408(图4A)的处理器从相机系统的相机来接收。在接收指示HMD 102的移动的图像数据后，处理器从关于用户106的手130A的手指的图像数据中确定是否夹捏和保持手势起作用。在从关于用户106的手130A的手指的图像数据中确定夹捏和保持手势起作用后，游戏控制台408的处理器忽略关于HMD102的移动的图像数据并且处理器确定不根据HMD 102的移动来修改场景602A。

在夹捏和保持手势起作用时，游戏控制台408的处理器确定用户106的手130A在大致上线性方向上从一个位置(x1，y1，z1)移动至另一个位置(x2，y2，z2)。在确定手130A在所述方向上从位置(x1，y1，z1)移动到位置(x2，y2，z2)后，游戏控制台408的处理器确定将关于场景602A的数据从位置(X1，Y1，Z1)移动到位置(X2，Y2，Z2)。应注意X2与X1之间的距离与x2与x1之间的距离成比例，Y2与Y1之间的距离与y2与y1之间的距离成比例，并且Z2与Z1之间的距离与z2与z1之间的距离成比例。当关于场景的数据移动时，游戏控制台408的处理器确定对象604E的至少一部分将要在场景602B中显示并且确定对象604B不在场景602B中显示。将关于场景602B的数据提供至HMD 102以便显示场景602B。

当场景602B在HMD 102上显示时，用户106释放夹捏和保持手势，例如，使用左手130A来执行的夹捏和保持手势等。游戏控制台408的处理器从使用相机系统的相机来捕获的图像数据中确定用户106未执行夹捏和保持手势。举例来说，处理器分析图像数据以便确定左手130A的拇指不与左手130A的另一个手指接触。举例说明，处理器确定具有左手130A的拇指的颜色和形状的图像像素数据不与具有左手130A的另一个手指的颜色和形状的另一个图像像素数据接触，处理器确定拇指不与另一个手指接触。

在确定夹捏和保持手势未由用户106执行后，游戏控制台408的处理器将夹捏和保持手势与场景602B之间的关联加以解除锁定，例如，分离、解除关联、停用等。举例来说，游戏控制台408的处理器确定不通过夹捏和保持手势得以执行的用户106的手的移动来对场景602B进行移动，例如，平移、旋转、滑动等。作为另一个实例，在执行释放手势之后，在用户106移动他的/她的手时，场景602B不变化直到用户106作出另一个夹捏和保持手势为止。

此外，在确定夹捏和保持手势未由用户106执行后，游戏控制台408的处理器确定是否存在HMD 102相对于xyz坐标系的移动。举例来说，游戏控制台408的处理器分析使用相机系统的相机来捕获的图像数据，当用户106在至他的/她的左侧或至他的/她的右侧的方向上旋转他的/她的头部时，HMD102移动。在确定HMD 102移动后，游戏控制台408的处理器产生在场景602C中显示的包括对象604A和604B的图像数据，并且改变对象604C和604D在场景602B中的位置，并且进一步移除对象604E以免在场景602C中显示。

在一个实施方案中，代替或除了使用利用相机系统的相机来捕获的图像数据以外，游戏控制台408的处理器使用从佩戴在用户106的手上的手套接收的数字形式的信号来确定是否释放手势由用户106执行。举例来说，在确定未从手套接收数字形式的信号后，游戏控制台408的处理器确定手套的传感器不彼此接触并且夹捏和保持手势未由佩戴手套的手执行。

应注意虽然上述实施方案参考轴256来描述，但是在一个实施方案中，代替轴256，使用平行于HMD 102的长度的轴。

图7A是由用户106(图1)佩戴在他的/她的左手130A上的有源手套702的实施方案的背面视图。有源手套702是手套406A(图4C)的实例。有源手套702包括手指节段S1、S2、S3、S4和S5。手指节段S1覆盖左手130A的拇指，手指节段S2覆盖左手130A的食指，手指节段S3覆盖左手130A的中指，手指节段S4覆盖左手130A的无名指，并且手指节段S5覆盖左手130A的小指。每个手指节段延伸直到图7A示出的虚线为止。

此外，每个手指节段配备有传导衬垫。举例来说，手指节段S1配备有传导衬垫704A，手指节段S2配备有传导衬垫704B，手指节段S3配备有传导衬垫704C，手指节段S4配备有传导衬垫704D，并且手指节段S5配备有传导衬垫704E。举例说明，传导衬垫嵌入手指节段内以使得传导衬垫的传导表面定位在手套702的背侧上。应注意每个传导衬垫定位在手指节段的尖端处或附近。举例来说，传导衬垫704A定位在手指节段S1的远端指骨部分上，传导衬垫704B定位在手指节段S2的远端指骨部分上，传导衬垫704C定位在手指节段S3的远端指骨部分上，传导衬垫704D定位在手指节段S4的远端指骨部分上，并且传导衬垫704E定位在手指节段S5的远端指骨部分上。

手套702由布材料，或皮革材料，或塑性材料，或其两个或多个的组合制成。每个传导衬垫由传导材料例如金属等，或半导体材料例如半导体等制成。

应注意虽然示出左手130A的有源手套702，但是本领域普通技术人员了解制造右手130B(图1)的类似有源手套。

图7B是示出在手套702的传导衬垫与手套702的另一个传导衬垫接触时产生信号的手套702的实施方案的侧视图。当夹捏和保持手势由用户106(图1)使用手套702执行时，传导衬垫704A与传导衬垫704A接触。当传导衬垫704A与传导衬垫704B接触时，产生短路信号并且经由导体发送至手套702的通信设备并且手套701的通信设备使用有线或无线协议将短路信号传达至计算设备。举例来说，传导衬垫704A连接到手套702内的电压源并且传导衬垫704B接地。当传导衬垫704A接触传导衬垫704B时，来自电压源的信号经由路径横穿至接地，从而产生短路信号。所述路径经由传导衬垫704A和704B和导体例如导线等将电压源连接到接地。以下进一步描述的传感器例如晶体管、晶体管组、导线等连接到传导衬垫704B与接地之间的路径的一部分以便感测短路信号。传感器将短路信号或从短路信号产生的另一个信号提供至手套702的通信设备以便发送至计算设备。计算设备的处理器接收数字形式的短路信号以便确定夹捏和保持手势得以执行。

应注意用于在手套的手指节段与手套的另一个手指节段接触时产生信号的不同类型的有源手套在2014年10月17日提交并且标题为“Thumb Controller”的申请号14/517,733和在2014年10月17日提交并且标题为“Glove Interface Object”的申请号14/517,741中示出，这两个申请全部通过引用并入本文。

此外，虽然图7B描述食指节段的传导衬垫与手套的拇指节段的传导衬垫之间的接触是夹捏手势的实例，但是在一个实施方案中，发生传导衬垫704A与传导衬垫704B、704C、704D和704E中的一个或多个之间的接触以便建立夹捏和保持手势。

图8是示出在系统900的各种设备之间传达数据以便在HMD 102上显示场景的系统900的实施方案的图。包括一个或多个相机的相机系统901捕获图像数据，例如，用户106的手的手指的图像数据、HMD 102的图像数据等，并且向图像数据应用有线或无线协议以便产生通信信号。相机系统901将通信信号发送至游戏控制台408的通信设备904。相机系统901的一个或多个相机的实例包括相机C1(图4A)、相机C2(图5)等。

在传导衬垫与另一个传导衬垫接触时，传感器905感测信号，例如，短路信号等。上文提供传感器905的实例。传感器905将短路信号或在传感器905接收短路信号时所产生的另一个信号提供至耦接到传感器905的通信设备903。通信设备903向短路信号或由传感器905产生的另一个信号应用无线或有线协议以便产生通信信号并且将通信信号发送至通信设备904。

游戏控制台408的通信设备904接收来自相机系统901的通信信号和来自通信设备903的通信信号。通信设备904向从相机系统901接收的通信信号应用有线或无线协议以便从通信信号中检索图像数据。此外，通信设备904向从通信设备903接收的通信信号应用有线或无线协议以便检索短路信号或由传感器905产生的另一个信号。定位在通信设备904与游戏处理器902之间的模拟-数字转换器(未展示)将短路信号或由传感器905产生的另一个信号从模拟形式转换成数字形式以便产生数字信号，例如，数字形式的短路信号等。

游戏处理器902接收数字信号和图像数据，并且分析数字信号和图像数据以便确定由用户106执行的手势，例如，夹捏和保持手势、滑动手势、旋转手势等。游戏处理器902从存储在游戏存储器设备906内的交互程序代码例如用于玩游戏的游戏计算机程序代码、用于产生关于增强现实环境的数据的计算机程序代码、用于产生关于虚拟现实环境的数据的计算机程序代码、用于产生关于实时视频的数据的计算机程序代码等来识别与所述手势对应的将要在HMD 102上显示的场景的状态。所述状态由各种参数来定义，例如，场景中的对象的位置、对象的功能、对象的颜色、对象的纹理、对象的形状、对象的音频输出、由对象提供的嗅觉、由对象提供的味觉、由对象提供的感觉等。关于状态的数据由游戏处理器902提供至通信设备904。通信设备904应用有线或无线协议以便产生通信信号并且将通信信号发送至HMD 102的通信设备910。

通信设备910应用无线或有线协议以便从通信信号中检索关于状态的数据并且将关于状态的数据提供至音频/视频(A/V)分离器912。A/V分离器912将从通信设备910接收的关于状态的数据中的音频数据与关于状态的数据中的图像数据分离。图像数据由A/V分离器912发送至处理器914用于渲染图像数据以便在显示设备916上显示场景，例如，对象的图像、背景的图像等。显示设备的实例包括LCD显示设备、LED显示设备、等离子体显示设备等。

将音频数据发送到同步器以便将图像数据的显示与经由HMD 102的一个或多个扬声器的音频数据的输出进行同步化。同步器进行排程以便在显示对象的同时，播放与显示场景中的对象相关联的声音。同步器将音频数据发送至数字-模拟转换器(DAC)，其将音频数据从数字格式转换至模拟格式。模拟音频数据通过HMD 102的放大器(A)来放大。放大模拟音频数据通过HMD102的一个或多个扬声器来转换成声音。

在一个实施方案中，如本文描述的对象包括场景的背景。

存储器设备的实例包括随机存取存储器(RAM)、只读存储器(ROM)、易失性存储器、非易失性存储器、磁盘冗余阵列、闪速存储器等。

在一个实施方案中，相机系统901或通信设备903连接到游戏控制台408。

在实施方案中，通信设备903程序化以便识别是否由传感器905产生的信号与佩戴在右手130B或左手130A上的手套相关联。举例来说，通信设备903在将要发送到通信设备904的通信信号内嵌入以下信息：传感器905定位在佩戴在右手130B上的手套内。游戏处理器902接收所述识别以便识别由传感器905产生的信号或由传感器905传送的短路信号通过佩戴在用户106的左手或右手上的手套的传感器905来产生。

在一个实施方案中，通信设备903连接到游戏控制台408的端口并且所述端口与佩戴在用户106的右手上的手套相关联。此外，佩戴在用户106的左手上的手套的另一个通信设备连接到游戏控制台408的另一个端口。独立端口促进游戏处理器408对于以下情况进行识别：由传感器905产生的信号或由传感器905传送的短路信号从佩戴在右手上的手套来接收并且由佩戴在左手上的手套的传感器产生的信号或由佩戴在左手上的手套的传感器传送的短路信号从佩戴在用户106的左手上的手套来接收。

应注意虽然上述实施方案描述用户106的手的拇指与手的一个或多个手指的接触，但是在一个实施方案中，当在手的两个或更多个手指之间建立接触时，由计算设备的处理器来确定夹捏手势得以执行。

图9是作为HMD 102的实例的HMD 1000的等距视图。HMD 1000包括带子1002和1004，当用户106(图1)戴上HMD 1000时，所述带子在用户106的头后面。此外，HMD 1000包括耳机1006A和1006B，例如，扬声器等，其发出与通过执行交互程序代码例如游戏程序、交互式环境产生程序等来呈现的交互式环境例如游戏环境、场景、场景中的对象、交互式游览环境等相关联的声音。HMD 1000包括透镜1008A和1008B，其允许用户106观看在HMD 1000的显示屏幕上显示的交互式环境。凹槽1080搁在用户106的鼻子上，以便将HMD 1000支撑在鼻子上。

在一些实施方案中，用户106戴上HMD 1000的方式与用户106戴上太阳镜、眼镜或阅读用眼镜的方式类似。

图10示出根据在本公开中描述的实施方案的视频游戏的交互式玩游戏的系统。用户106展示为佩戴HMD 102。以类似于眼镜、护目镜或头盔的方式佩戴HMD 102，并且所述HMD102被配置来向用户106显示视频游戏或其他内容。借助于提供紧密接近用户眼睛的显示机构(例如光学器件和显示屏幕)和被输送到HMD 102的内容的格式，HMD 102向用户106提供沉浸式体验。在一个实例中，HMD 102向用户眼睛中的每一只提供显示区，所述显示区占据用户106视场的大部分或甚至全部。作为另一个实例，用户106感觉好象他/她处在HMD 102上显示的交互式环境中，例如，成为所述交互式环境的一部分等。

在一个实施方案中，HMD 102连接到计算机1102，所述计算机是计算设备的实例。到计算机1102的连接是有线或无线的。在一个实施方案中，计算机1102是任何通用或专用计算机，包括但不限于游戏控制台、个人计算机、膝上型计算机、平板计算机、移动设备、智能手机、平板计算机、瘦客户端、机顶盒、媒体流传输设备、智能电视机等。在一些实施方案中，HMD 102直接连接至互联网，从而可允许在不需要单独本地计算机的情况下进行云游戏。在一个实施方案中，计算机1102执行视频游戏(和其他数字内容)，并且输出来自所述视频游戏的视频和音频，以供HMD 102渲染。

在一个实施方案中，计算机1102是本地或远程计算机，并且计算机运行仿真软件。在云游戏实施方案中，计算机1102是远程的，并且由多种计算服务表示，所述计算服务在数据中心中实行，其中游戏系统/逻辑加以利用并且通过计算机网络来分配给用户106。

用户106操作手持式控制器1106来为交互式环境提供输入。在一个实例中，相机C1捕获用户106定位的真实世界环境的图像。分析这些所捕获的图像来确定用户106、HMD 102和控制器1106的位置和移动。在一个实施方案中，控制器1106包括一个灯(或多个灯)，所述灯被跟踪来确定它的位置和取向。另外，如在下文进一步详细描述，在一个实施方案中，HMD102包括一个或多个灯，所述灯作为标记物来予以跟踪以便在显示交互式环境期间大致上实时确定HMD 102的位置和取向。

在一个实施方案中，相机C1包括一个或多个麦克风以便捕获来自真实世界空间的声音。处理麦克风阵列所捕获的声音来识别声源的位置。选择性地利用或处理来自所识别位置的声音，以便排除不是来自所识别位置的其他声音。此外，在一个实施方案中，相机C1包括多个图像捕获设备，例如，一对立体相机、红外(IR)相机、深度相机及其组合。

在一些实施方案中，计算机1102在计算机1102的处理硬件上以本地方式执行游戏。以任何形式获得游戏或内容，如物理介质形式(例如，数字光盘、磁带、卡、拇指驱动器、固态芯片或卡等)，或借助于从计算机网络1103下载。在实施方案中，计算机1102充当通过计算机网络1103与云游戏提供商1112通信的客户端。云游戏提供商1112维护并且执行用户106正在玩的视频游戏。计算机1102将来自HMD 102、控制器1106和/或相机C1的输入传输给云游戏提供商1112，云游戏提供商处理所述输入以影响正执行的视频游戏的游戏状态。来自正执行的视频游戏的输出(如视频数据、音频数据和触觉反馈数据)被传输到计算机1102。计算机1102在传输之前进一步处理所述数据，或将数据直接传输到相关设备。例如，将视频流和音频流提供到HMD 102，而将振动反馈命令提供到控制器1106。

在一个实施方案中，HMD 102、控制器1106和相机C1是连接到计算机网络1103以便与云游戏提供商1112通信的联网设备。例如，计算机1102可以是不另外执行视频游戏处理但促进网络流量传送的本地网络设备(如路由器)。HMD 102、控制器1106和相机C1到网络1103的连接是有线或无线的。在一些实施方案中，在HMD 102上执行或可在显示设备1114例如电视机、LCD显示设备、LED显示设备、等离子体显示设备、计算机监视器等上显示的内容从内容源1116中的任何一个获得。示例性内容源包括例如，提供可下载内容和/或流式内容的互联网站点。在一些实例中，内容包括任何类型的多媒体内容，如电影、游戏、静态/动态内容、图片、社交媒体内容、社交媒体网站、交互游览内容、卡通内容等。

在一个实施方案中，用户106在HMD 102上玩游戏，其中这种内容是沉浸式三维交互内容。在用户106玩游戏的同时，HMD 102上的内容共享至显示设备1114。在一个实施方案中，被共享到显示器1114的内容允许接近用户106或远程的其他用户在用户106玩游戏时观看。在其他实施方案中，观看用户106在显示器1114上玩游戏的另一个玩家与用户106交互地参与。举例来说，在显示设备1114上观看玩游戏的用户控制游戏场景中的角色、提供反馈、提供社交交互和/或提供评论(经由文字、经由语音、经由动作、经由手势等)，使得未佩戴HMD 102的用户能够与用户106进行社交交互。

图11示出根据本公开中描述的实施方案的头戴式显示器(HMD)1200。HMD 1200是HMD 102(图1)的实例并且具有长度1204，所述长度从HMD 102的前端面1206的一端延伸到HMD 102的前端面1206的相对端。如图所示，HMD 1200包括多个灯1202A-1202H、1202J和1202K(例如，其中1202K和1202J朝向HMD头带的后部或后侧定位)。这些灯中的每一个具有特定形状和/或位置，并且具有相同或不同颜色。灯1202A、1202B、1202C和1202D被布置在HMD 1200的前表面上。灯1202E和1202F被布置在HMD 1200的侧表面上。而且，灯1202G和1202H被布置在HMD 1200的拐角处，从而跨越HMD 1200的前表面和侧表面。将了解，在用户使用HMD 1200的交互式环境的所捕获图像中识别所述灯。

基于对灯的识别和跟踪，确定HMD 1200在交互式环境中的位置和取向。进一步了解取决于HMD 1200相对于图像捕获设备例如相机、数字相机、深度相机、红外相机等的特定取向，一些灯可见或不可见。另外，取决于HMD1200相对于图像捕获设备的取向，灯的不同部分(例如，灯1202G和1202H)暴露用于图像捕获。在一些实施方案中，惯性传感器安置在HMD1200中，所述惯性传感器提供关于定位的反馈，从而无需灯。在一些实施方案中，灯和惯性传感器一起工作，以便实现位置/运动数据的混合和选择。

在一个实施方案中，灯被配置来向真实空间中的其他用户指示HMD1200的当前状态。举例来说，一些或所有灯具有颜色布置、强度布置、闪烁、具有开/关配置或指示HMD1200的当前状态的其他布置。作为实例，所述灯在视频游戏的活跃游戏玩法期间(通常是发生在活跃时间线期间或游戏场景内的游戏玩法)对于视频游戏的其他不活跃游戏玩法方面显示不同配置，如导航菜单界面或配置游戏设置(在所述设置期间，游戏时间线或场景不活跃或暂停)。

在实施方案中，灯指示玩游戏的相对强度水平。例如，灯的强度或闪烁速率在游戏玩法的强度增加时增加。

在一个实施方案中，HMD 1200另外包括一个或多个麦克风。在所示出的实施方案中，HMD 1200包括定位在HMD 1200的前表面上的麦克风1204A和1204B，以及定位在HMD1200的侧表面上的麦克风。通过利用麦克风阵列，处理来自麦克风中的每一个的声音以确定声源的位置。以各种方式利用此信息，所述方式包括排除不想要的声源、使声源与视觉识别相关联等。

HMD 1200包括一个或多个图像捕获设备。在所示出的实施方案中，HMD1200被示出为包括图像捕获设备1206A和1206B。在实施方案中，通过使用一对立体图像捕获设备，从HMD 1200的视角来捕获在HMD 1200前面的真实世界环境的3D图像和视频。将此类视频呈现给用户106，以在佩戴HMD1200时向用户提供“视频透视”能力。就是说，虽然严格意义上来说，用户106不能透视HMD 1200，但是图像捕获设备1206A和1206B所捕获的视频提供功能等效物，其能够如同看穿HMD 1200一样看见HMD 1200外部的真实世界环境。

在一个实施方案中，这类视频用交互元素来增强以便提供增强现实体验，或以其他方式来与交互元素组合或掺合。虽然在所示出的实施方案中，在HMD 1200的前表面上示出两个相机，但是将了解，可存在任何数目的面向外部的相机，或单个相机安装在HMD 1200上，并且取向在任何方向上。例如，在另一个实施方案中，HMD 1200的侧面上可安装有相机，以便提供对环境的额外全景图像捕获。

图12示出使用计算机1102(图10)来玩游戏的一个实例，所述计算机能够产生视频游戏内容并且将所述视频游戏内容提供至用户106的HMD 102(图1)以便在HMD 102上渲染。在此例示中，提供至HMD 102的对象例如游戏内容等的状态是处在丰富的交互式3-D空间中。如以上论述，交互式对象的状态下载至计算机1102或在一个实施方案中由云处理系统来执行。云游戏服务1112包括用户1304的数据库，用户被允许访问特定游戏1330、与其他朋友分享经验、发评论以及管理他们的账户信息。

云游戏服务1112存储特定用户的游戏数据1306，并且所述游戏数据可在玩游戏期间使用，用于将来玩游戏，用于共享至社交媒体网络，或用于存储奖品、奖励、状态、排名等。社交数据1308由云游戏服务1112来管理。在一个实施方案中，社交数据1308由单独社交媒体网络来管理，所述社交媒体网络在计算机网络1103上与云游戏服务1112介接。通过计算机网络1103，连接任何数目的计算机1310，包括计算机1102，以便访问内容并且与其他用户交互。

继续参考图12的实例，在HMD 102中所观看的三维交互式场景包括游戏玩法，如以3-D视图中所示出的角色或另一个交互式环境。一个角色(例如P1)由佩戴HMD 102的用户106控制。这个实例展示两个玩家之间的篮球运动场景，其中HMD用户106在3-D视图中在另一个角色上方把球扣入球篮。另一角色是游戏的AI(人工智能)角色，或由另一个玩家或多个玩家(Pn)控制。佩戴HMD 102的用户106被展示为在使用空间中四处走动，其中HMD 102基于用户的头部移动和身体位置来四处移动。相机1312被展示成定位在房间中的显示屏幕上方，然而，对于HMD的使用来说，在一个实施方案中，相机1312被放置在捕获HMD 102的图像的任何位置中。相机1312是相机C1(图4A)的实例。如此，从相机1312的视角看，因为HMD 102中所渲染的内容取决于HMD 102被定位的方向，所以用户106被展示为从相机1312和显示设备1313转向约90度。当然，在HMD的使用期间，用户106将四处移动、转动他的头部、在各个方向上看，因为利用由HMD 102渲染的动态交互式场景需要。

图13示出根据一个实施方案的在使用期间佩戴HMD 1403的用户。HMD1403是HMD102(图1)的实例。在这个实例中，展示使用由相机1312从所捕获的视频帧获得的图像数据来跟踪1402HMD 1403。另外，展示还使用由相机1312从所捕获的视频帧获得的图像数据来跟踪1404手持式控制器1106。还展示HMD 1403经由电缆1410连接到游戏控制台1405的配置。游戏控制台1405是游戏控制台408(图4A)的实例。在一个实施方案中，HMD 102从相同电缆获得电力或连接到另一条电缆。在又一个实施方案中，HMD 102具有可再充电的电池，以便避免额外的电源线。

参考图14，示出例示根据在本公开中描述的实施方案的HMD 1500的示例性部件的图。HMD 1500是HMD 102(图1)的实例。应理解，在一个实施方案中，HMD 1500包括或不包括或多或少的部件，取决于启用的配置和功能。HMD 1500包括用于执行程序指令的处理器1502。存储器1504被提供用于存储目的，并且在一个实施方案中，包括易失性存储器和非易失性存储器。包括显示器1506，所述显示器1506提供用户106观察的视觉界面。

显示器1506由单个显示器或以每只眼睛单独显示屏幕的形式界定。当提供两个显示屏幕时，有可能分别提供左眼和右眼视频内容。将视频内容单独呈现给每只眼睛例如提供对三维(3D)内容更好的沉浸式控制。如本文所述，在一个实施方案中，通过使用针对一只眼睛的输出，并且随后格式化所述内容以供以2D格式显示，第二屏幕具备HMD 1500的第二屏幕内容。一只眼睛在一个实施方案中是左眼视频馈送，而在其他实施方案中它是右眼视频馈送。

电池1508作为HMD 1500的电源来提供。在其他实施方案中，电源包括插座连接电源。在其他实施方案中，提供插座连接电源和电池1508。运动检测模块1510包括各种运动敏感硬件中的任一种，如磁力计1512、加速度计1514和陀螺仪1516。

加速度计是用于测量加速度和重力所引起的反作用力的设备。单轴和多轴(例如，六轴)模型能够检测不同方向上的加速度的量值和方向。加速度计用于感测倾斜度、振动和冲击。在一个实施方案中，使用三个加速度计来提供重力方向，所述重力方向为两个角度(世界空间俯仰和世界空间横滚)给出绝对参考。

磁力计测量HMD附近的磁场的强度和方向。在一个实施方案中，在HMD内使用三个磁力计，从而确保世界空间偏航角的绝对参考。在一个实施方案中，磁力计被设计来跨越地球磁场，地球磁场为±80微特斯拉。磁力计受金属影响，并且提供与实际偏航无变化的偏航测量。磁场由于环境中的金属而扭曲，从而导致偏航测量的扭曲。如果必要的话，那么使用来自其他传感器(如陀螺仪或相机)的信息来校准此扭曲。在一个实施方案中，加速度计1514与磁力计1512一起使用，以便获得HMD 1500的倾斜度和方位角。

陀螺仪是用于基于角动量的原理来测量或维持取向的设备。在一个实施方案中，三个陀螺仪基于惯性感测提供关于越过相应轴线(x、y和z)的移动的信息。陀螺仪帮助检测快速旋转。然而，陀螺仪在不存在绝对参考的情况下随时间而漂移。为了减少漂移，定期重新设置陀螺仪，所述重新设置使用其他可利用的信息来完成，所述信息如基于对对象、加速度计、磁力计等的视觉跟踪的位置/取向确定。

提供相机1518来用于捕获真实世界环境的图像和图像流。在一个实施方案中，一个以上相机(任选地)包括在HMD 1500中，包括面向后面例如面向外部等的相机(当用户106观看HMD 1500的显示时，远离用户106定向)，和面向前面的相机(当用户观看HMD 1500的显示时，朝向用户106定向)。另外，在实施方案中，深度相机1520包括在HMD 1500中用于感测真实世界环境中的对象的深度信息。深度相机1520是面向外部的相机。

HMD 1500包括用于提供音频输出的扬声器1522。另外，在一个实施方案中，包括麦克风1524用于捕获来自真实世界空间的音频，包括来自周围环境的声音、由用户106产生的语音等。在实施方案中，HMD 1500包括触觉反馈模块1526，例如，触觉反馈设备等，其用于向用户106提供触觉反馈。在一个实施方案中，触觉反馈模块1526能够引起HMD 1500的移动和/或振动，以便向用户106提供触觉反馈。

LED 1530作为HMD 1500的状态的视觉指示器来提供。举例来说，LED指示电池水平、通电等。提供读卡器1532以使得HMD 1500能够读取来自存储器卡的信息和向存储器卡写入信息。包括USB接口1534作为实现外围设备的连接，或与其他设备诸如其他便携式设备、计算机等的连接的接口的一个实例。在HMD 1500的各种实施方案中，可包括各种接口中的任何一个以便实现HMD 1500的更大连接性。

在实施方案中，包括Wi-Fi模块1536以便经由无线连网技术来实现与计算机网络1103或游戏控制台的连接。另外，在一个实施方案中，HMD 1500包括蓝牙模块1538以便实现与其他设备例如游戏控制台、计算设备等的无线连接。包括通信链路1540用于与其他设备连接。在一个实施方案中，通信链路1540利用红外线传输来进行无线通信。在其他实施方案中，通信链路1540利用用于与其他设备通信的各种无线或有线传输协议中的任一种。

包括输入按钮/传感器1542来为用户106提供输入接口。可包括各种输入接口中的任何一个，诸如按钮、手势、触摸板、操纵杆、轨迹球等。在一个实施方案中，超声波通信模块1544包括在HMD 1500中以便经由超声波技术来促进与其他设备的通信。

在实施方案中，包括生物传感器1546以便实现来自用户106的生理数据例如生物识别信息等的检测。在一个实施方案中，生物传感器1546包括一个或多个干电极，其用于通过用户皮肤检测用户106的生物电信号、语音检测、眼睛视网膜检测来以识别用户/简档等。

HMD 1500的前述部件仅仅作为可包括在HMD 1500中的示例性部件来描述。在本公开中描述的各种实施方案中，HMD 1500可包括或可不包括各种前述部件中的一些。HMD1500的实施方案可另外包括目前未描述、但在本领域已知的其他部件，以用于促进如本文所述的本发明的方面的目的。

本领域技术人员将了解，在本公开中描述的各个实施方案中，结合显示器上所显示的交互式应用来利用前面提及的手持式设备，以提供各种交互式功能。仅作为实例且不作为限制来提供本文所述的示范性实施方案。

在一个实施方案中，如本文提及的计算机1102包括个人计算机，或游戏控制台，或平板计算机，或智能手机，或机顶盒，或自助服务终端，或无线设备，或数字板，或独立设备，或手持玩游戏设备等。在实施方案中，计算机1102接收编码视频流、将视频流解码并且将所得视频提供至用户106，例如，游戏玩家。接收编码的视频流和/或对视频流进行解码的过程通常包括将个别视频帧存储在计算机1102的接收缓冲器中。在与计算机1102成一体的显示器上或在如监视器或电视或HMD的单独设备上将视频串流呈现给用户106。

在一个实施方案中，计算机1102支持一个以上游戏玩家。举例来说，游戏控制台支持两个、三个、四个或更多个同时玩家(例如，P1、P2……Pn)。这些玩家中的每一个接收或共享视频流，或单个视频流包括特别针对每个玩家而产生(例如，基于每个玩家的视角而产生)的帧的区。任何数目的计算机是本地的(例如，位于同一地点)或地理上分散的。游戏系统中所包括的计算机的数目从一个或两个广泛变化到几千个、几万个或更多个。如本文所使用，术语“游戏玩家”用来指玩游戏的人，并且术语“玩游戏设备”用于指用来玩游戏的设备。

在一些实施方案中，玩游戏设备指多个计算设备，这些计算设备合作来向用户传达游戏体验。举例来说，游戏控制台和HMD与视频服务器系统合作来传达通过HMD观看的游戏。作为另一个实例，游戏控制台从视频服务器系统接收视频流，并且游戏控制台将所述视频流或对所述视频流的更新转发给HMD和/或电视机以便进行渲染。

更进一步来说，HMD用于观看所产生或所使用的任何类型的内容和/或与之交互，如视频游戏内容、电影内容、视频剪辑内容、网络内容、广告内容、比赛内容、博弈游戏内容、电话会议/会谈内容、社交媒体内容(例如，发帖、消息、媒体流、朋友的活动和/或玩游戏)、视频部分和/或音频内容、以及经由浏览器和应用通过互联网从来源消耗的内容，以及任何类型的流式内容。当然，前述列举的内容不具有限制性，因为任何类型的内容均被渲染，只要其在HMD中观看或被渲染到屏幕或HMD的屏幕即可。

在实施方案中，计算机进一步包括修改所接收视频的系统。例如，计算机执行进一步渲染，将一个视频图像叠加在另一个视频图像上，修剪视频图像，和/或类似者。作为另一个实例，计算机接收各种类型的视频帧，如I帧、P帧和B帧，并且将这些帧处理成图像以向用户显示。在一些实施方案中，计算机的一部分对视频流执行进一步渲染、阴影处理、转换成3-D、转换成二维(2D)图像、失真消除、设定尺寸或类似操作。在实施方案中，计算机的一部分接收一个以上音频或视频流。

计算机的输入设备包括例如单手游戏控制器，或双手游戏控制器，或手势识别系统，或注视识别系统，或语音识别系统，或键盘，或操纵杆，或指示设备，或力反馈设备，或运动和/或位置感测设备，或鼠标，或触摸屏，或神经接口，或相机，或其两个或多个的组合等。

视频源包括渲染逻辑，例如被存储在计算机可读介质如存储设备上的硬件、固件和/或软件。这个渲染逻辑基于游戏状态创建视频串流的视频帧。所述渲染逻辑的全部或部分任选地安置在一个或多个图形处理单元(GPU)内。渲染逻辑包括用于确定对象之间的三维空间关系和/或用于基于游戏状态和视角来应用适当的纹理等的处理阶段。渲染逻辑产生已编码的原始视频。举例来说，根据Adobe标准、HTML-5、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x、Xvid、FFmpeg、x264、VP6-8、realvideo、mp3等对原始视频进行编码。编码过程产生视频流，任选地将所述视频流打包以便传达到设备上的解码器。视频流由帧大小和帧速率来表征。典型的帧大小包括800x 600像素、1280x 720像素、1024x 768像素、1080像素，但是可使用任何其他帧大小。帧速率是每秒的视频帧数。在一个实施方案中，视频流包括不同类型的视频帧。例如，H.264标准包括“P”帧和“I”帧。I帧包括用来刷新显示设备上的全部宏块/像素的信息，而P帧包括用来刷新所述宏块/像素的子集的信息。P帧的数据大小通常比I帧小。如本文中所使用，术语“帧大小”意图指帧内的像素数。术语“帧数据大小”用来指存储所述帧所需的字节数。

在一些实施方案中，计算机是通用计算机、专用计算机、游戏控制台、个人计算机、膝上型计算机、平板计算机、移动计算设备、便携式游戏设备、蜂窝式电话、机顶盒、流媒体接口/设备、智能电视机或联网显示器或能够被配置来履行如本文所定义的计算机功能性的任何其它计算设备。在一个实施方案中，云游戏服务器被配置来检测用户106正利用的计算机的类型，并且提供适合用户的计算机的云游戏体验。举例来说，使图像设置、音频设置和其他类型的设置针对用户的计算机最佳化。

图15示出信息服务提供商架构的实施方案。信息服务提供商(ISP)1602将许多信息服务输送至地理上分散并且经由网络1610来连接的用户1600-1、1600-2、1600-3、1600-4等，所述网络1610是网络1103(图10)的实例。在一个实施方案中，ISP输送一种类型的服务，诸如股票价格更新，或多种服务诸如广播媒体、新闻、体育、游戏等。另外，由每个ISP提供的服务是动态的，也就是说，服务在任何时间点添加或去除。因此，向特定个人提供特定类型服务的ISP随时间而改变。举例来说，当用户在她的家乡时，所述用户由接近用户的ISP服务，并且当用户到不同城市旅游时，所述用户由不同ISP服务。家乡ISP将信息和数据传递到新的ISP，使得关于用户106的信息“跟随”用户106到新的城市，从而使数据更靠近用户106并且更容易访问。在另一个实施方案中，在主ISP与服务器ISP之间建立主-服务器关系，所述主ISP管理用户106的信息，并且服务器ISP在主ISP的控制下与用户106直接介接。在另一个实施方案中，当计算机在世界范围内移动时，数据从一个ISP传递到另一个ISP，以便使处于较好位置来服务用户106的ISP成为传达这些服务的ISP。

ISP 1602包括应用服务提供商(ASP)1606，所述应用服务提供商(ASP)1606通过网络1610向客户提供基于计算机的服务。使用ASP模型提供的软件有时也称为按需软件或软件即服务(SaaS)。提供到特定应用程序(如客户关系管理)的访问权的简单形式是通过使用标准协议，如超文本传输协议(HTTP)。应用软件驻留在供应商的系统上，并且由用户通过使用超文本标记语言(HTML)的web浏览器、通过供应商提供的专用客户端软件或其它远程接口如瘦客户端来访问。

在广泛的地理区域范围内传达的服务常常使用云计算。云计算是一种计算方式，其中通过网络1610提供可动态扩展的资源作为服务。用户无需是支持它们的“云”中的技术基础设施方面的专家。在一个实施方案中，云计算被分为不同服务，如基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。云计算服务常常提供从web浏览器访问的在线共用商业应用，而软件和数据被存储在服务器上。基于在计算机网络图中如何描绘互联网以及其隐藏的复杂基础设施的抽象概念，将术语云用作互联网(例如，使用服务器、存储和逻辑)的隐喻。

此外，ISP 1602包括游戏处理服务器(GPS)1608，所述游戏处理服务器(GPS)1608由游戏计算机使用来玩单个玩家和多玩家视频游戏。通过互联网玩的大多数视频游戏均经由连到游戏服务器的连接来操作。通常，游戏使用专用的服务器应用，所述服务器应用收集来自玩家的数据，并且将其分发给其他玩家。这比对等布置更高效率且更有效，但是其需要单独的服务器来托管服务器应用。在另一个实施方案中，GPS 1608建立玩家与他们的相应玩游戏设备之间的通信来交换信息而无需依赖集中化GPS 1608。

专用GPS是独立于计算机运行的服务器。此类服务器通常在位于数据中心的专用硬件上运行，从而提供更大的带宽和专用的处理能力。专用服务器是托管大多数基于PC的多玩家游戏的游戏服务器的优选方法。大型多玩家在线游戏在通常由软件公司(所述软件公司拥有游戏名称)托管的专用服务器上运行，从而允许所述专用服务器控制并更新内容。

广播处理服务器(BPS)1610向观众分配音频或视频信号。对非常小范围的观众广播有时称为窄播。广播分配的最后一站是信号如何到达听众或观看者，并且如同无线电台或电视台，所述信号可从空中到达天线和接收方，或可通过有线电视或有线广播(或“无线电缆”)经由电台或直接从网络到达。互联网还可给接受者带来无线电或电视(特别是利用多播)，从而允许共享信号和带宽。历史上，广播已受地理区域限定，如国家广播或区域广播。然而，在快速互联网扩散的情况下，广播不再受地理位置限定，因为内容到达几乎全世界的任何国家。

存储服务提供商(SSP)1612提供计算机存储空间和相关管理服务。SSP还提供定期备份和归档。通过提供存储作为服务，用户根据需要订购更多的存储空间。另一个主要优点在于，SSP包括备份服务，并且用户在其计算机的硬盘驱动器发生故障时，将不会丢失他们的全部数据。此外，在实施方案中，多个SSP具有用户数据的全部或部分拷贝，从而允许用户独立于用户所处的位置或正用于访问数据的设备以高效方式访问数据。举例来说，，用户106可访问家用计算机中以及当用户106在移动中时访问移动电话中的个人文件。

通信提供商1614提供与用户的连接性。一种通信提供商是提供对互联网的访问的互联网服务提供商(ISP)。ISP使用适于传达互联网协议数据报的数据传输技术连接其客户，所述数据传输技术如拨号上网、数字用户线路(DSL)、电缆调制解调器、光纤、无线或专用高速互连件。通信提供商还提供消息接发服务，如电子邮件、即时消息接发和短消息服务(SMS)文本传送。另一种类型的通信提供商是网络服务提供商(NSP)，所述网络服务提供商(NSP)通过提供到互联网的直接主干访问来销售带宽或网络接入。在一个实施方案中，网络服务提供商包括电信公司、数据运营商、无线通信提供商、互联网服务提供商、提供高速互联网接入的有线电视经营商等。

数据交换1604使ISP 1602内部的若干模块互连，并且经由网络1610将这些模块连接到用户1600。数据交换1604覆盖ISP 1602的全部模块均在附近的小型区域，或当不同模块在地理上分散时，覆盖较大的地理区域。举例来说，数据交换1688包括数据中心的机柜内的快速千兆位以太网(或更快)，或洲际交互局域网(VLAN)。

每个用户1600-1、1600-2、1600-3和1600-4使用客户端设备1620来访问远程服务，所述客户端设备包括至少CPU、显示器和输入/输出接口(I/O)。在一个实施方案中，客户端设备是个人计算机(PC)、移动电话、上网本、平板计算机、游戏系统、个人数字助理(PDA)等。在一个实施方案中，ISP 1602识别客户端设备的类型并且调整所使用的通信方法。在其他状况下，客户端设备使用标准通信方法如HTML来访问ISP 1602。

在一个实施方案中，代替游戏控制台，将计算设备例如平板计算机、计算机、智能电视机等用于执行在本文中描述为通过游戏控制台来执行的操作。

本公开中描述的实施方案可以通过各种计算机系统配置来实践，所述计算机系统配置包括手持式设备、微处理器系统、基于微处理器的或可编程的消费电子产品、小型计算机、大型计算机和类似物。在一个实行方案中，本公开中描述的实施方案在分布式计算环境中实践，其中由通过有线或无线网络加以链接的远程处理设备执行任务。

考虑到以上实施方案，应理解的是，在一个实行方案中，本公开中描述的实施方案采用各种计算机实行的操作，这些操作涉及存储在计算机系统中的数据。这些操作是需要对物理量进行物理操纵的操作。本公开中描述的任何操作都是有用的机器操作，所述操作形成本公开中描述的实施方案的部分。本公开描述的一些实施方案还涉及执行这些操作的设备或装置。所述装置出于所需目的而专门构造而成，或所述装置是由存储在计算机中的计算机程序来选择性地激活或配置的通用计算机。具体来说，在一个实施方案中，各种通用机器与根据本文中的教示所编写的计算机程序一起使用，或者可以更方便地构造更专门的装置来执行所需的操作。

在实行方案中，在本公开中描述的一些实施方案实施为计算机可读介质上的计算机可读代码。所述计算机可读介质是存储数据的任何数据存储设备，所述数据随后由计算机系统读取。计算机可读介质的实例包括硬盘驱动器、NAS、ROM、RAM、光盘ROM(CD-ROM)、可记录CD(CD-R)、可重写CD(CD-RW)、磁带、光学数据存储设备、非光学数据存储设备等。举例来说，计算机可读介质包括分布在网络耦合计算机系统上的计算机可读有形介质，以使得计算机可读代码以分布方式被存储和执行。

应当指出的是在一些实施方案中，本文描述的实施方案中的任何一个与本文描述的其余实施方案中的任何一个组合。

此外，虽然一些上述实施方案相对于游戏环境来描述，但是在一些实施方案中，代替游戏，使用其他环境，例如，视频会议环境等。

在一个实施方案中，夹捏和保持手势广泛地理解为用信号向处理器指示用户106希望抓取图像例如场景202A、本文描述的任何其他场景等并且将图像与用户106的头部的移动加以解除关联的手势。举例来说，在夹捏和保持手势由手来执行之后，一旦场景与用户106的手相关联，用户106的头部移动不会对场景发生影响，例如，移动、旋转、扭转、转动、倾斜、改变、变焦拉近、变焦拉远、扩大、收缩、添加更多对象、移除对象等。夹捏的实例包括抓取，或保持，或夹持，或触摸，或扣紧，或操纵，或获得，或引导，或接触，或移动，或持有，或获取，或其两个或多个的组合。因此，一般地，夹捏和保持手势是使用用户106的一只或两只手来控制场景的任何数目的手势。

在实施方案中，保持手势与夹捏手势相关联。举例来说，保持手势使夹捏手势保持大于预定时间量。

尽管以特定顺序描述了方法操作，但应理解，可以在操作之间执行其他内务处理操作，或者可以调整操作以使得它们在略微不同的时间发生，或者可以分布在系统中，所述系统允许处理操作以与所述处理相关联的各种时间间隔发生，只要重叠操作的处理以所需方式执行即可。

尽管为了理解的清晰性而略微详细地描述了在本公开中描述的前述实施方案，但很显然，可以在所附权利要求书的范围内实践某些变化和修改。因此，本发明的实施方案被认为是说明性的而非限制性的，并且实施方案不限于本文给出的细节，而可以在所附权利要求的范围和等效范围内进行修改。

Claims (23)

1.一种系统，其包括：

头戴式显示器(HMD)，所述头戴式显示器被配置来由用户佩戴；

手套，所述手套被配置来由所述用户的手佩戴，所述手套具有用于所述手的每个手指的手指节段，每个手指节段包括传感器，所述传感器用于在所述手移动所述手指节段时检测所述手指节段的位置；

一个或多个相机，所述相机用于捕获所述HMD的图像和所述手套的图像；

计算设备，所述计算设备连接到所述一个或多个相机并且与所述HMD和所述手套介接，

其中所述计算设备被配置来分析来自所述手指节段的所述传感器的数据以便确定夹捏和保持手势由所述手指节段中的至少两个来执行，

其中所述计算设备被配置来产生传达到所述HMD的图像数据，以使得在所述HMD上渲染的场景得以修改以便渲染视觉提示，所述视觉提示指示所述夹捏和保持手势所关联的所述场景中的位置，

其中当所述夹捏和保持手势起作用时，所述计算设备被配置来将所述手套的移动与所述场景的移动相关联，以使得所述场景随着所述手套的所检测到的移动而移动。

2.如权利要求1所述的系统，其中所述计算设备被配置来在确定所述夹捏和保持手势得以停用时将所述手套的所述移动与所述场景的所述移动之间的所述关联予以释放。

3.如权利要求1所述的系统，其中所述计算设备被配置来在所述夹捏和保持手势起作用的时间段期间忽略所述HMD的移动对于所述场景的所述移动的效应。

4.如权利要求1所述的系统，其中所述计算设备被配置来在所述夹捏和保持手势起作用时确定是否所述手套执行旋转手势，其中所述计算设备被配置来响应于确定所述旋转手势得以执行，发送用于旋转所述场景的数据。

5.如权利要求1所述的系统，其中所述计算设备被配置来在所述夹捏和保持手势起作用时确定是否所述手套执行滑动手势，其中所述计算设备被配置来响应于确定所述滑动手势得以执行，发送用于平移所述场景的数据，所述场景的所述平移渲染所述场景的未显示部分，所述部分在所述平移运动发生之前未在所述HMD上渲染。

6.如权利要求1所述的系统，其中在所述夹捏和保持手势起作用时，所述计算设备被配置来忽略所述用户的头部的移动，从而避免根据所述头部的所述移动来改变所述场景。

7.如权利要求1所述的系统，其中所述计算设备被配置来从所述手套的所述图像来确定所述手指节段中的每一个的位置，其中所述计算设备被配置来从所述手指节段的所述位置来确定所述至少两个手指节段中的一个的一部分与所述至少两个手指节段中的另一个的一部分接触，从而确定所述夹捏和保持手势由所述至少两个手指节段执行。

8.如权利要求1所述的系统，其中所述计算设备被配置来发送用于在所述场景中显示所述用户的所述手的图像的数据，其中在所述手的所述图像执行所述夹捏和保持手势的所述场景中的所述位置处产生所述视觉提示。

9.一种使经由头戴式显示器(HMD)来观看的场景的可观看部分得以平移的方法，所述方法包括：

捕获被配置来在真实空间中由用户佩戴的所述HMD的图像以便确定观看方向和所述观看方向的变化；

捕获所述用户的手的图像；

从所述手的所述捕获图像来跟踪所述用户的所述手；

激活经由所述HMD来观看的所述场景的锁定，以使得所述锁定将所述场景相对于所跟踪所述手的位置来加以固定，所述锁定在检测到由所述手执行的夹捏和保持手势后得以激活；

在所述锁定起作用时，响应于所述手的移动来启用所述场景的平移，所述平移启用超过所述场景的当前视图以外的视图；

在检测到所述锁定不起作用时，停用所述平移，当不再检测到所述夹捏和保持手势时，所述锁定不起作用。

10.如权利要求9所述的方法，其进一步包括：

从所述HMD的所述捕获图像来跟踪所述HMD；和

在检测到所述锁定不起作用时并且在跟踪所述HMD的移动时，启用所述场景的所述可观看部分的变化。

11.如权利要求9所述的方法，其进一步包括在所述场景的所述可观看部分内产生提示以便指示所述锁定得以激活。

12.如权利要求9所述的方法，其中在确定所述夹捏和保持得以执行大于预定时间量时，执行激活所述场景的所述锁定。

13.如权利要求9所述的方法，其进一步包括：

在执行所述夹捏和保持手势时，接收关于由所述用户执行的额外手势的手势数据；和

根据所述手势数据来修改所述场景的所述可观看部分。

14.如权利要求9所述的方法，其进一步包括：

捕获所述用户的另一只手的图像；

从所述另一只手的所述捕获图像来跟踪所述用户的所述另一只手；

在根据对所述另一只手的跟踪，确定所述用户的所述另一只手执行旋转手势时，促进所述场景的旋转，其中在将所述场景相对于所跟踪所述手的所述位置来加以固定时，促进所述场景的所述旋转。

15.如权利要求9所述的方法，其中在所述手的拇指不与所述手的手指接触时，不再检测到所述夹捏和保持手势。

16.一种用于改变经由头戴式显示器(HMD)来观看的场景的大小的方法，所述方法包括：

捕获被配置来在真实空间中由用户佩戴的所述HMD的图像以便确定观看方向和所述观看方向的变化；

捕获所述用户的手的图像；

从所述捕获图像来确定每只手执行夹捏和保持手势；

将所述场景相对于所述捕获图像指示正在执行所述夹捏和保持手势的所述场景中的位置加以固定；

在所述场景得以固定时，响应于所述手之间的间距的相对变化，启用所述场景的大小的变化；和

在从所述捕获图像中检测到来自所述手中的一个的所述夹捏和保持手势中的一个得以释放时，停用所述场景的大小的变化。

17.如权利要求16所述的方法，其进一步包括：

响应于确定所述间距正在增加，产生用于将所述场景变焦拉近的数据；和

响应于确定所述间距正在减少，产生用于将所述场景变焦拉远的数据。

18.如权利要求16所述的方法，其进一步包括：

确定是否所述手远离或朝向所述HMD移动；

在确定所述手朝向所述HMD移动后，促进所述场景的变焦拉近；和

在确定所述手远离所述HMD移动后，促进所述场景的变焦拉远。

19.如权利要求16所述的方法，其进一步包括：

确定是否所述手在大致上平行于所述用户的躯干的宽度的方向上远离或朝向所述HMD移动；

在确定所述手在所述方向上朝向所述HMD移动后，促进所述场景的变焦拉远；

在确定所述手在所述方向上远离所述HMD移动后，促进所述场景的变焦拉近。

20.如权利要求16所述的方法，其中跟踪所述手包括跟踪所述手以确定所述手的位置和取向，所述方法进一步包括：

分析所述位置和取向以便确定是否所述手执行旋转手势；

响应于确定所述手执行所述旋转手势，提供用于启用所述场景中的对象的倾斜的数据。

21.如权利要求16所述的方法，其进一步包括：

从所述捕获图像中确定是否当所述手在大致上垂直于所述用户的躯干的宽度的方向上移动的同时所述手之间的所述间距正在变化；

从所述捕获图像中识别所述间距变化的运动与大致上垂直于所述用户的所述躯干的所述宽度的所述方向上的所述移动之间的主要运动；

从所述主要运动来确定顺从运动；和

在忽略所述顺从运动的同时，根据所述主要运动来启用所述场景的所述大小的变化。

22.如权利要求16所述的方法，其进一步包括：

从所述捕获图像中确定是否在所述手围绕大致上平行于所述用户的躯干的宽度的轴旋转的同时所述手之间的所述间距正在变化；

从所述捕获图像中识别所述间距变化的运动与所述手旋转的运动之间的主要运动；

从所述主要运动来确定顺从运动；和

在忽略所述顺从运动的同时，根据所述主要运动来启用所述场景的变化。

23.如权利要求16所述的方法，其进一步包括：

确定所述HMD与所述手中的一个之间的第一相对位置；

确定所述HMD与所述手中的另一个之间的第二相对位置；和

在确定所述手在所述HMD的视场内后，将所述手的图像数据发送到所述HMD供显示，所述手在所述视场内的所述确定是根据所述第一和第二相对位置来作出的。