CN106233227B - 具有体积感测的游戏装置 - Google Patents

Abstract

描述了一种用于增强相对于头戴式显示器(HMD)对用户的手的检测的方法。所述方法包括通过整合在平板装置内的传感器感测能量的中断部分。当所述用户的所述手干扰所述能量时，生成所述能量的所述中断部分。感测所述能量的所述中断部分的所述多个传感器生成能量图像，其反映所述手的当前位置。所述方法包括连续重复所述感测来生成能量图像流。所述方法包括将所述能量图像流传达到游戏控制台用于处理所述能量图像中的每一个来生成所述手的模型和所述手的所述模型的移动。所述手的所述模型至少部分地呈现为显示在所述HMD中的虚拟环境中的虚拟手。

Description

具有体积感测的游戏装置

技术领域

本发明涉及用于利用游戏装置进行体积感测的方法和系统。

背景技术

利用用户的手来玩游戏的游戏系统通常追踪用户的手和手指。用户穿戴手套或其他装置来玩游戏。然而，一些用户不想每次他们想玩游戏时都穿戴手套或将装置附接到他们的手。此外，这些附接到手的装置在长时间重复使用时或在不同用户之间共享时有卫生问题。

本公开中描述的实施方案正是在这个背景下出现的。

发明内容

本公开中描述的实施方案提供用于利用游戏装置进行体积感测的系统和方法。

对于虚拟现实(VR)或增强现实(AR)，如果追踪用户的身体部分(例如，手、脚、拇指、手和手指的组合、手和拇指的组合等)，特定数目的应用可增加沉浸感或紧密地复制现实。

身体部分与在平板装置(例如，平板电脑；垫子；具有传感器的平板装置；具有能量传感器和能量发射器的平板装置；具有传感器、发射器和标记的平板装置等)的表面的顶部上的体积交互。基于被身体部分中断(例如，从身体部分反射、被身体部分干扰等)的能量确定身体部分的位置和定向。使用身体部分的位置和定向来确定显示于头戴式显示器上的图像中的虚拟对象的位置和定向。使用平板装置来代替手套或其他附接到手的装置来确定身体部分的位置和定向提供了更方便且更卫生的体验。

在各种实施方案中，使用具有例如绿色、蓝色等颜色的无源平板装置。无源平板装置不包括任何电子元件并且可以是木头块、一块布或书桌表面，或垫子等。用户将手放在无源平板上方，并且通过头戴式显示器(HMD)的摄像头观察手来确定手相对于无源平板的位置和/或定向。

在若干实施方案中，平板装置包括多个摄像头，所述摄像头观察手来生成深度信息，所述深度信息包括手离平板装置的顶部表面上的参照点的距离。在各种实施方案中，将HMD的摄像头和平板装置的摄像头相互结合使用来生成深度信息，所述深度信息包括手离平板装置的顶部表面上的参照点的距离和手离HMD的外侧表面上的参照点的距离。HMD的外侧表面面向在HMD前方的真实世界环境并且不邻近穿戴HMD的用户的脸部。

在一些实施方案中，用户将手放在平板装置顶部上，来操纵(例如，抓取、移动、推、拉等)显示于HMD上或显示装置(例如，电视机、计算机等)上的虚拟现实或增强现实场景中的虚拟对象。例如，当用户在平板装置上方移动他/她的手时，游戏中的虚拟手移动。此外，作为另一实例，当用户移动他/她的手指时，游戏中的虚拟手的手指移动。

一般来说，本公开中描述的一些实施方案涉及具有传感器阵列的平板装置，所述传感器阵列用来监测所述装置上方的空间体积。平板装置具有传感器阵列。使用深度信息，例如用户的身体部分离传感器阵列上的参照点的深度，来计算位置和/或定向以确定身体部分的示意动作(gesture)。平板装置布置于支撑件(例如，桌子等)上或握在用户的手中，或放在用户的脚下。平板装置连接到HMD和/或游戏控制台。当用户将他/她的身体部分放在平板装置上方时，平板装置的传感器感测被身体部分中断(例如，从身体部分反射、被身体部分干扰等)的能量信号。

在一些实施方案中，中断的能量和改变的能量在本文中互换地使用。例如，当能量因来自用户的身体部分的干扰被改变时，能量被中断。

在各种实施方案中，除了能量传感器，平板装置还包括在平板装置上方的体积中发射信号的能量发射器的阵列。能量发射器和能量传感器的阵列的实例包括：容量传感器的阵列，或超声发射器和麦克风的阵列，或红外(IR)发射器和IR光感测二极管的阵列，或其中两个或更多个的组合等。所发射的信号被身体部分中断。例如，当发射电磁能量时，电磁能量被身体部分干扰，并且电磁能量的被中断的那一部分被平板装置的传感器感测。作为另一实例，当使用光或声音时，朝向平板装置的传感器反射光或声音的一部分以便感测。基于被身体部分中断并且被传感器感测的信号，通过处理器(例如，游戏控制台的处理器、HMD的处理器等)确定体积内的身体部分的位置和/或体积内的身体部分离参照点的定向。例如，体积传感器允许精密追踪体积中的手和精密追踪手的每一个手指在平板装置上方时的移动。在一些实施方案中，基于位置和/或定向，通过处理器确定用户进行的示意动作。

在一些实施方案中，示意动作由处理器用来生成VR图像或AR图像。例如，识别示意动作来生成在HMD上或在连接到游戏控制台的显示装置(例如，电视机等)上玩的游戏的下一个游戏状态。VR图像或AR图像描绘游戏的游戏状态。

在各种实施方案中，HMD包括用于获得平板装置的图像的摄像头。摄像头在HMD内部或在HMD外部。例如，摄像头整合在HMD内或放在HMD外侧且在HMD顶部上或在HMD外侧且在HMD下方，例如，在HMD的透镜下方。摄像头采撷身体部分的图像，并且通过游戏控制台的处理器或HMD的处理器分析所述图像来识别身体部分相对于用户头部的位置和/或定向。HMD戴在用户头部上。身体部分相对于头部的这个位置和/或定向提供了在HMD中观察的VR图像或AR图像中所呈现的手的缩放，例如，距离变化、定向变化等。

在一些实施方案中，与HMD或与游戏控制台相关联的摄像头获得身体部分的阴影的图像。当身体部分定位于平板装置上方的体积中时，在平板装置上形成阴影。通过处理器分析图像来确定身体部分的位置和/或定向。

在各种实施方案中，将利用HMD的摄像头或游戏控制台的摄像头获得的身体部分的图像或身体部分的阴影的图像与体积中的身体部分的位置和/或定向结合使用，以确定或确认示意动作并且生成VR图像或AR图像。VR图像或AR图像显示于HMD的屏幕上或连接到游戏控制台的显示装置(例如，电视机、计算机监视器等)的屏幕上。

在一些实施方案中，平板装置包括标记的阵列，例如，图案代码，或反射器，或发光二极管，或快速响应(QR)代码，或其中两个或更多个的组合等，以便平板装置的表面上被用户身体部分挡住的标记可以限定身体部分的轮廓。HMD的摄像头生成图像数据，所述图像数据指示平板装置的表面上被挡住的区域与未被挡住的区域之间的差异。处理器(例如游戏控制台的游戏处理器等)接收被挡住的区域和未被挡住的区域的信号来确定身体部分的轮廓。例如，身体部分的轮廓是被挡住的区域与未被挡住的区域之间的边界。

应注意的是，在一些实施方案中，代替或除了与HMD相关联的摄像头，使用位于游戏控制台内部或外部(例如，在游戏控制台的顶部上或侧面上等)的摄像头或在游戏控制台所在的真实世界环境中的摄像头来获得身体部分的图像。

在各种实施方案中，HMD或游戏控制台包括发射器，例如红外光发射器、可见光发射器等。发射器朝向身体部分发射光。使用与HMD或与游戏控制器相关联的摄像头(例如，红外摄像头等)来根据从身体部分发射的光生成图像，以使处理器能够确定用户的身体部分的位置和/或定向。

在若干实施方案中，平板装置包括诸如绿屏颜色的颜色，以便HMD的摄像头或游戏控制台的摄像头容易识别用户的身体部分，并且将身体部分的图像掺混到VR或AR空间中。经由HMD或经由显示装置(上文提供其实例)观察VR或AR空间。

在一些实施方案中，平板装置是计算装置，例如平板计算机、手机或触控桌面监视器和中央处理单元(CPU)等。计算装置诸如像通过使用户在计算装置的屏幕上移动他/她的手来获取身体部分的位置和/或定向，并且计算装置显示诸如绿色、蓝色、红色等不同颜色，以允许追踪身体部分和将身体部分的图像并入VR或AR空间中。

平板装置与HMD和/或游戏控制台通信。例如，平板装置经由介质(例如，有线介质或无线介质)与游戏控制台通信。介质的实例包括蓝牙、Wi-Fi、通用串行总线(USB)、串行传送、并行传送和以太网。由传感器感测的信号经由介质被发送到游戏控制台以使游戏处理器能够确定身体部分的位置和/或定向和/或身体部分所完成的示意动作。游戏控制台与HMD或与显示装置通信以提供用来在HMD上或在显示装置上玩游戏的游戏信号。

通过利用例如体积感测触控板等平板装置，追踪用户的身体部分以促进使用身体部分作为可视VR控制方法。

在一些实施方案中，平板装置不包括显示装置并且被放在穿戴HMD的用户的前方的支撑件(例如，书桌、咖啡桌等)上。

在实施方案中，平板装置包括传感器的阵列，所述传感器感测悬停在平板装置的顶部表面上方的身体部分的深度和/或颜色。身体部分的深度和/或颜色由游戏处理器用来确定身体部分的总体位置和/或定向和/或示意动作。

在各种实施方案中，平板装置由例如绿色、蓝色等已知颜色所覆盖，并且附接到HMD的摄像头使用已知颜色来辅助将身体部分从摄像头的视频馈送中分割出来，例如，绿屏效应等。这允许身体部分的视频馈送增强在HMD中呈现给用户的图像。

在一些实施方案中，平板装置包括图案，例如，简单的印刷标记、发光二极管(LED)图案等，通过HMD的摄像头追踪所述图案以确定平板装置与HMD相关的三维(3D)位置，例如x位置、y位置和z位置等。此外，在一些实施方案中，除了体积传感器，通过摄像头(例如，与HMD相关联的摄像头或与游戏控制台相关联的摄像头等)追踪障碍物和/或由身体部分投射在平板装置上的阴影，以得到平板上的身体部分的更准确3D表示。

平板装置的应用的实例包括全息显示(例如，棋盘全息显示等)的虚拟表示，以及在VR中的各种桌面或棋盘型游戏或应用。

在一个实施方案中，描述一种用于增强相对于HMD对用户的手的检测的方法。所述方法包括通过整合在平板装置内并且布置成阵列的传感器感测能量(例如，可见光、红外光、电磁场等)的中断部分。当手被放置成接近平板装置时，能量的中断部分被用户的手中断。感测所述能量的所述中断部分的所述多个传感器生成能量图像，其反映所述手的当前位置。所述方法包括连续重复感测来生成能量图像流，例如，指示用户的身体部分对电磁能量场的中断的电信号、指示身体部分对可见光或红外光能量的干扰的电信号、能量图像帧等。能量图像流示出在重复感测时手的位置的变化。例如，由手的运动造成的电磁能量场或光能量的中断用来确定手的位置的变化。所述方法包括将所述能量图像流传达到游戏控制台用于处理所述能量图像中的每一个来生成所述手的模型和所述手的所述模型的移动。所述手的所述模型至少部分地呈现为显示在所述HMD中的虚拟环境中的虚拟手。

在实施方案中，描述一种用于增强相对于HMD对用户的手的检测的平板装置。所述平板装置包括用于感测能量的中断部分的多个传感器。所述传感器在平板装置的表面上布置成阵列。当手被放置成接近平板装置时，能量的中断部分被用户的手中断。传感器被配置来感测能量的中断部分以便生成能量图像，所述能量图像反映手的当前位置。传感器还被配置来连续重复感测以生成能量图像流。能量图像流示出在重复感测时手的位置的变化。平板装置包括耦接到传感器的通信装置。通信装置将能量图像流传达到游戏控制台以便处理能量图像中的每一个来生成手的模型和手的模型的移动。所述手的所述模型至少部分地呈现为显示在所述HMD中的虚拟环境中的虚拟手。

在实施方案中，描述一种包括平板装置的系统。平板装置包括位于平板装置的表面上的多个传感器，所述传感器用于在身体部分与所发射能量交互时接收由传感器感测的能量部分。传感器被配置来通过当身体部分处于当前位置时感测被中断能量部分从被中断能量部分生成能量图像。传感器还被配置来连续重复感测以生成能量图像流。能量图像流示出在重复感测时手的位置的变化。系统还包括耦接到传感器的平板通信装置，所述平板通信装置用于传达能量图像流。系统还包括耦接到平板装置的游戏控制台。游戏控制器包括耦接到平板通信装置的游戏通信装置，所述游戏通信装置用于从平板通信装置接收能量图像流。游戏控制台还包括耦接到游戏通信装置的游戏处理器，所述游戏处理器用于基于能量图像流确定身体部分的移动。游戏处理器被配置来基于身体部分的移动确定虚拟环境中的虚拟对象的状态。游戏通信装置被配置来发送关于虚拟对象的状态的数据。所述系统还包括耦接到游戏控制台的HMD。HMD包括耦接到游戏通信装置的HMD通信装置，所述HMD通信装置用于从游戏通信装置接收关于虚拟图像的状态的数据。HMD包括耦接到HMD通信装置的处理器，所述处理器用于在图像中显示具有所述状态的虚拟对象。

上述实施方案的一些优点包括使用平板装置来确定用户的身体部分的位置和/或定向。平板装置比在玩游戏期间使用的手套用起来更卫生。例如，平板装置不是被穿戴而是被拿着来形成围绕平板装置的开放空间。与围绕平板装置的开放空间相比，在手套内形成的闭合空间使细菌更容易培养和繁殖。此外，清洗平板装置来移除细菌比清洗手套更容易。此外，使用平板装置与虚拟环境交互比使用手套与虚拟环境交互更容易。例如，用户穿戴手套比抓取平板装置所用的时间更多，并且移除手套比放回平板装置所用的时间更多。此外，在实施方案中，平板装置包括摄像头来确定用户的身体部分的位置和定向。这种摄像头难以整合在手套中。

根据以下结合举例说明本公开中所描述原理的附图进行的详述，本公开中所描述的其它方面将变得显而易见。

附图说明

本公开的各种实施方案通过参照以下结合附图进行的描述得到最好地理解，附图中：

图1是根据本公开的一个实施方案的平板装置的图，所述平板装置被放在用户的手下方来感测在体积内的手的位置。

图2是根据本公开的一个实施方案的另一平板装置的图。

图3是根据本公开的一个实施方案的系统的图，在所述系统中将头戴式显示器(HMD)与平板装置结合使用。

图4是根据本公开的一个实施方案的系统的图，在所述系统中将游戏控制台与HMD和平板装置结合使用。

图5是根据本公开的一个实施方案的包括发射器和传感器的平板装置的图。

图6A是根据本公开的一个实施方案的被用户拿在他/她的手中的平板装置的图。

图6B是用来示出根据本公开的一个实施方案生成能量图像和手的移动以及生成能量图像流的图。

图6C是用来示出根据本公开的一个实施方案的包括能量传感器的HMD的图。

图7A是根据本公开的一个实施方案的与HMD的摄像头结合使用的平板装置的实施方案的图。

图7B是根据本公开的一个实施方案的包括摄像头的平板装置的图。

图8是根据本公开的一个实施方案的系统的图，在所述系统中使用电视机来确定用户的手的位置和定向。

图9是根据本公开的一个实施方案的系统的侧视图，在所述系统中将平板装置放置成相对于支撑件(例如，桌子、椅子、底座、书桌等)成角度以观察手和/或HMD。

图10是根据本公开的一个实施方案的虚拟对象的图，所述虚拟对象基于用户的身体部分相对于平板装置的位置和定向被显示于HMD的显示屏上的图像中。

图11是根据本公开的一个实施方案的平板装置的图，标记位于所述平板装置上。

图12是根据本公开的一个实施方案的系统的图，在所述系统中使用两个平板装置。

图13是根据本公开的一个实施方案的方法的实施方案的图，在所述方法中用户将他的脚放在平板装置顶部上。

图14是根据本公开的一个实施方案的方法的实施方案的图，在所述方法中用户将他/她的右脚放在一个平板装置上并且将他/她的左脚放在一个平板装置上。

图15是根据本公开的一个实施方案的包括标记阵列、传感器阵列和发射器阵列的平板装置的图。

图16是根据本公开的一个实施方案的细长平板装置的等角视图，所述细长平板装置发射覆盖用户的两只手的光或声音或电磁信号的体积。

图17是根据本公开的一个实施方案的包括能量发射器和能量传感器的HMD的图。

图18是用来示出根据本公开的一个实施方案存在体积的边界的图，在所述体积中检测用户的手的移动。

图19是用来示出根据本公开的一个实施方案基于用户所完成的示意动作生成虚拟对象的图。

图20A是根据本公开的一个实施方案的平板装置的框图。

图20B是根据本公开的一个实施方案的系统的框图，其用来示出显示于HMD的显示屏上的图像中的虚拟对象的位置和/或定向的变化，这种变化与用户的身体部分的位置和/或定向的变化相协调。

图21是根据本公开的一个实施方案的HMD的等角视图。

图22是根据本公开的一个实施方案的系统的图，其用来示出用户通过使用HMD和手持式控制器与虚拟环境的交互。

图23是根据本公开的一个实施方案的另一HMD的等角视图。

图24是用来示出根据本公开的一个实施方案经由计算机网络访问虚拟环境的图。

图25根据本公开的一个实施方案示出用户穿戴HMD来访问虚拟环境。

图26是用来示出根据本公开的一个实施方案的HMD的示例性部件的图。

图27示出根据本公开的一个实施方案的信息服务提供商体系结构。

具体实施方式

描述了用于利用游戏装置进行体积感测的系统和方法。应注意的是，本公开中所描述的各种实施方案可在没有这些具体细节中的一些或全部的情况下实践。在其他情况下，没有详细描述众所周知的处理操作，以便不会不必要地混淆本公开中描述的各种实施方案。

在实施方案中，使用平板装置来确定用户的身体部分的位置和定向。用户将平板装置拿在他/她的手中并且在平板装置的顶部上完成手示意动作。使用一个或多个机构(例如，摄像头、发射器和传感器等)追踪手示意动作。用于识别手示意动作的数据从所述机构被传达到游戏控制台的游戏处理器。游戏处理器根据所述数据识别手的位置和定向以识别示意动作。示意动作由游戏处理器用来识别显示于头戴式显示器(HMD)的显示装置内的虚拟对象的位置和定向。

图1是平板装置102的实施方案的图，所述平板装置被放在用户的手下方。平板装置102位于真实世界环境(例如，房间、开放空间等)中。平板装置包括传感器，例如传感器S1、传感器S2、传感器S3等，所述传感器从手所在的体积(所述体积是由云来指示)中感测能量，例如，从手反射的光能量、从手反射的超声能量、被手中断的电磁场能量、从手反射的环境光等。传感器的实例包括超声传感器、红外光传感器、电荷耦合装置(CCD)阵列传感器、预触控传感器、电磁能量传感器等。在一个实施方案中，环境光是由位于围绕用户的真实世界环境中的光发射器生成的。平板装置有能力感测预触控信号来确定平板装置与手之间的距离和平板与手的每一个手指之间的距离。平板装置与手之间的距离提供手相对于平板装置的位置。此外，平板与每一个手指(例如，拇指RHF1、食指RHF2、中指RHF3、无名指RHF4、小指RHF5等)之间的距离用来确定每一个手指相对于平板装置的位置。

由游戏控制台的游戏处理器相对于真实世界环境的参照坐标系统(例如，图1中所示的xyz坐标系统等)限定手的位置。例如，相对于真实世界环境的参照坐标系统的参照坐标(0,0,0)限定手的位置。在实施方案中，真实世界环境的参照坐标系统的参照坐标(0,0,0)是由游戏控制台的游戏处理器在平板装置102的顶点处限定的。在一个实施方案中，真实世界环境的参照坐标系统的参照坐标(0,0,0)是由游戏控制台的游戏处理器在平板装置102的顶部表面上的任何点处限定的。

在一个实施方案中，平板装置由塑料或橡胶或金属或织物或其中两个或更多个的组合构成。

在实施方案中，平板装置102是扁平的，例如，具有一定厚度来容纳下文所描述的能量传感器和能量发射器。例如，平板装置102的厚度与整合在平板装置102内的能量传感器和/或能量发射器的厚度相同或大致相同。作为另一实例，平板装置102的厚度不大于整合在平板装置102内的能量传感器和/或能量发射器的厚度的两倍。

在实施方案中，平板装置102包括任何数目的传感器。

在一个实施方案中，传感器在平板装置102的表面上定位成一个图案，例如，水平图案、垂直图案、对角图案、之字形图案、弯曲图案等。

在实施方案中，平板装置102的尺寸(例如长度乘宽度等)为5英寸×5英寸、3英寸×5英寸、5英寸×7英寸、10英寸×10英寸、12英寸×12英寸、12英寸×10英寸、14英寸×14英寸、3英寸×5英寸等。在一个实施方案中，平板装置102的尺寸(例如长度乘宽度等)大于用户312的手的尺寸。在实施方案中，用户312是儿童而不是成人。

在一个实施方案中，平板装置102的传感器间隔开以促进从用户312的手指的指关节采撷能量信号。例如，平板装置102的两个连续传感器在沿着x轴的x方向上间隔开0.5英寸。作为另一实例，平板装置102的两个连续传感器在x方向上间隔开1英寸。作为又一实例，平板装置102的两个连续传感器在x方向上间隔开1.5英寸。作为又一实例，平板装置102的两个连续传感器在沿着z轴的z方向上间隔开0.5英寸。作为另一实例，平板装置102的两个连续传感器在z方向上间隔开1英寸。作为又一实例，平板装置102的两个连续传感器在z方向上间隔开1.5英寸。

图2是平板装置104的实施方案的图，平板装置104是平板装置102(图1)的实例。平板装置104包括传感器阵列，所述传感器阵列用来检测被用户的身体部分(例如，手、指关节、手指、脚、手指的一部分、手的一部分、脚的一部分等)中断的光或声音信号或电磁信号。

图3是系统的实施方案的图，在所述系统中将HMD 105与平板装置102结合使用。HMD 105戴在用户312的头上。当穿戴HMD 105时，用户312的眼睛被覆盖。用户312使HMD 105在他的头上滑动，直到HMD 105支撑在用户312的头上。例如，绑到HMD 105的显示装置上的带子被收紧以与用户312的头后面接合以促进将HMD 105支撑在用户312的头上。

HMD 105具有采撷图像数据的摄像头310，所述图像数据用来生成用户312的手和/或手的阴影的图像以及平板装置102的至少一部分的图像。图像数据包括用户312的手和/或手的阴影的一部分相对于平板装置102的位置以及手和/或手的阴影的一部分相对于平板装置102的定向。将图像数据从HMD 105的通信装置传达到游戏控制台的通信装置。使用有线或无线传送协议(均在下文描述)来传达图像数据。游戏控制台的通信装置将图像数据提供到游戏控制台的游戏处理器。

游戏处理器根据图像数据确定用户312的手在真实世界环境中的位置和定向。例如，处理器在图像数据中识别用户312的手离xyz坐标系统的参照点(例如原点(0,0,0)等)的位置(例如(x,y,z)坐标)。

作为另一实例，游戏处理器使用图像数据中的用户312的手的定向，例如，由用户312的手的轴相对于x轴形成的角度、由所述轴相对于y轴形成的角度、由所述轴相对于z轴形成的角度、其中两个或更多个的组合等，来识别用户312的手在真实世界环境中的定向。下文进一步描述xyz坐标系统。

应注意的是，用户312的身体部分相对于xyz坐标系统的参照点的位置包括在沿着xyz坐标系统的x轴的x方向上的距离、在沿着xyz坐标系统的y轴的y方向上的距离，以及在沿着xyz坐标系统的z轴的z方向上的距离。此外，用户312的身体部分相对于xyz坐标系统的定向包括由用户312的身体部分相对于x轴形成的角度、由身体部分相对于y轴形成的角度，以及由身体部分相对于z轴形成的角度。例如，当用户312的身体部分相对于xyz坐标系统的轴旋转时，相对于所述轴的角度改变。

应注意的是，在一个实施方案中，用户的手的阴影的x位置与用户的手的x位置相同，并且阴影的z位置与手的z位置相同。

还应注意的是，尽管本文中描述的实施方案中的一些是用来确定用户312的手的位置和定向，但实施方案类似地适用于确定用户312的另一身体部分或所述身体部分的阴影的位置和定向。

在实施方案中，当使用摄像头310来采撷手的图像和平板装置102的图像时，xyz坐标系统的参照点位于摄像头310所固定到的HMD 105上的一个点处，例如摄像头310的透镜的位置处。

在一个实施方案中，使用摄像头(例如，游戏控制台的摄像头、HMD的摄像头、独立定位的摄像头、电视机的摄像头、位于电视机的顶部上的摄像头等)获得的身体部分的位置和定向被用来确认或否认使用平板装置的传感器获得的身体部分的位置和定向。例如，游戏控制台108的游戏处理器确定根据使用摄像头所采撷的图像数据确定的位置是否在根据由平板装置的传感器生成的电信号确定的位置的预定范围内。为了说明，当传感器感测到能量(例如，可见光、红外光、电磁场等)的中断时，由平板装置的传感器生成电信号。由用户的身体部分的运动创建所述中断。在确定根据图像数据确定的位置在根据由传感器生成的电信号确定的位置的预定范围内时，游戏处理器确认身体部分的位置是准确的。另一方面，在确定根据图像数据确定的位置不在根据由传感器生成的电信号确定的位置的预定范围内时，游戏处理器确定身体部分的位置是不准确的。类似地，根据对以下两个定向的比较来确认或否认用户312的身体部分的定向是准确的：由游戏处理器根据使用摄像头所采撷的图像数据确定的身体部分的定向，与由游戏处理器根据由平板装置的传感器生成的电信号确定的身体部分的定向。

在实施方案中，平板装置102是在其表面上具有图案或颜色或表面纹理或绘制颜色图案或颜色明暗度或其中两个或更多个的组合等的无源平板装置，当HMD 105的摄像头310采撷平板装置102的表面的图像时，所述表面面向用户312的手。例如，平板装置102是不具有任何电气电路(例如，传感器、摄像头、发射器、处理器、存储器装置等)的无源装置。作为另一实例，平板装置102是具有能量传感器和/或能量发射器并且不具有摄像头或处理器的无源装置，所述处理器用于确定用户312的身体部分的位置和定向。

图4是系统的实施方案的图，在所述系统中将游戏控制台108的摄像头410与HMD106和平板装置102一起使用。HMD 105(图3)是HMD 106的实例。游戏控制台108的摄像头410基于手和/或手的阴影相对于真实世界环境中的xyz坐标系统的相对位置和/或相对定向生成图像数据。图像数据包括用户312的手和/或手的阴影相对于xyz坐标系统的位置和定向。图像数据中的用户312的手和/或手的阴影相对于xyz坐标系统的位置和定向由游戏控制台108的游戏处理器用来确定手的示意动作，并且示意动作由游戏控制台的游戏处理器用来确定下一个状态，例如，虚拟环境的状态、游戏状态等。例如，用户312的手的多个位置和定向对应于示意动作。示意动作数据与身体部分的一个或多个位置和/或身体部分的一个或多个定向之间的对应关系，例如映射、连结、关联等，被存储在游戏控制台108的游戏存储器装置中。

身体部分的示意动作由身体部分的数个位置和/或数个定向来限定。例如，当用户312的手的食指和拇指是直的并且手的其余手指弯曲且手具有水平定向时，形成指示用户312握着虚拟枪的示意动作。作为另一实例，当用户312的手的食指和拇指是直的并且手的其余手指弯曲且手具有垂直定向时，形成指示用户312握着虚拟剑的示意动作。

由游戏处理器基于下一个状态生成虚拟环境图像数据，并且经由介质(例如，有线介质、无线介质等)将虚拟环境图像数据发送到HMD106。由HMD 106的处理器呈现虚拟环境图像数据以在HMD 106的显示屏上显示虚拟环境。下文进一步描述虚拟环境。

在一些实施方案中，经由介质(例如，有线介质、无线介质等)将虚拟环境图像数据发送到电视机的显示装置。由电视机的处理器呈现虚拟环境图像数据以在电视机的显示屏上显示虚拟环境。

在实施方案中，当使用摄像头410来采撷手的图像和/或手在平板装置102上的阴影的图像时，xyz坐标系统的参照点位于摄像头410所固定到的游戏控制台108上的一个点处，例如摄像头410的位置处、摄像头410的透镜的位置处等。

图5是包括布置成阵列的发射器和传感器的平板装置110的实施方案的图。例如，平板装置110包括沿着x轴的x方向水平地对准的发射器EE1、EE2、EE3和EE4。作为另一实例，平板装置110包括沿着x轴的x方向水平地对准的传感器S1、S2和S3。平板装置110是平板装置102(图1)的实例。

传感器穿插有平板装置110的发射器。例如，发射器EE1、EE2、EE3和EE4与传感器S1、S2和S3对准。此外，在这个实例中，发射器EE1后面是传感器S1，传感器S1后面是发射器EE2，发射器EE2后面是传感器S2，传感器S2后面是发射器EE3，发射器EE3后面是传感器S3，并且传感器S3后面是发射器EE4。

发射器和/或传感器被整合(例如，联合、组合、融合、嵌入、使其均匀)等在平板装置110内并且在平板装置110的表面503上可见。

发射器的实例包括发光二极管(LED)、电磁能量传输器、超声收发器等。传感器的实例包括光电二极管、光敏电阻器、光敏晶体三极管、光敏探测器、电磁能量接收器、超声传感器、麦克风等。

平板装置110的发射器朝向平板装置110的顶部上的体积发射能量，例如，所述能量呈光的形式、呈声音的形式、呈电磁信号的形式、其中两个或更多个的组合等。所述体积在图5中由虚线和平板装置110所围绕。作为实例，体积的边界位于由能量发射器发射的能量逐渐消失处的那些点。当用户312的身体部分与在表面503的顶部上的体积交互时，由平板装置110的发射器发射的能量入射于身体部分上，并且身体部分反射所述能量中的一些。作为实例，用户312通过完成手示意动作，或通过在体积中移动他/她的手，或通过在体积中移动他/她的手指等，来与体积交互。平板装置的传感器感测(例如，检测等)被身体部分中断的能量以确定在体积内的身体部分相对于平板装置110的位置，例如，所述能量呈光的形式、呈声音的形式、呈电磁信号的形式等。

应注意的是，在一个实施方案中，当身体部分与在表面503的顶部上的体积交互时，在表面503上创建身体部分的阴影。阴影覆盖平板装置110的传感器中的一些，并且不覆盖平板装置110的传感器的其余部分。阴影降低由平板装置110的传感器测量到的光强度，阴影是在所述平板装置上形成的。

还应注意的是，当身体部分与体积交互时，身体部分不触碰表面503。

还应注意的是，体积的形状不限于图5所示的形状。例如，使用其他形状，例如正方形形状、云形状、圆形状、椭圆形状等，来示出所述体积。

在实施方案中，体积是无形的。

在实施方案中，平板装置110包括任何数目的发射器，例如，一个能量发射器、多个能量发射器等。

在一个实施方案中，平板装置110的能量发射器(例如，红外光发射器、可见光发射器、电磁场生成器等)布置成覆盖平板装置110的表面区域的图案，并且被布置来在平板装置110的表面上创建密度。电磁场生成器的实例包括导体，通过所述导体传送电流。发射器的图案的实例包括矩阵图案、对角图案、之字形图案、随机图案、星星图案、垂直对准的图案、水平对准的图案等。作为另一实例，平板装置110的能量发射器(例如，红外光发射器、可见光发射器、电磁场生成器等)是沿着平板装置110的边缘来布置的。

在实施方案中，平板装置110包括任何数目的传感器。

在一个实施方案中，平板装置110的传感器布置成覆盖平板装置110的表面区域的图案，并且被布置来在平板装置110的表面上创建密度。传感器的图案的实例包括矩阵图案、对角图案、之字形图案、随机图案、星星图案、垂直对准的图案、水平对准的图案等。

在一个实施方案中，平板装置110的传感器布置成阵列，这个阵列形成与平板装置110的发射器不同的图案。例如，平板装置110的传感器在平板装置110的表面上布置成对角图案，并且平板装置110的发射器在所述表面上布置成水平或垂直图案。

在一个实施方案中，不是将发射器整合到平板装置110中，而是将发射器附接到(例如，胶粘到、粘合到等)表面503。

在实施方案中，每一个发射器的电极或每一个传感器的电极被嵌入平板装置110内并且连接到电源供应器，例如电池等。在一个实施方案中，用于向平板装置110的发射器和/或传感器提供电力的电源供应器被整合在平板装置110内。

在一个实施方案中，平板装置110的每一个发射器和/或每一个传感器例如经由平板装置110的电源端口从交流电(AC)电源供应器接收电力，所述电源端口经由电线(例如导体等)连接到电插座。

在一个实施方案中，将开关(例如，翻转开关、手动控制开关等)放在电源供应器与平板装置110的一组传感器和发射器之间。接通所述开关来允许将电力从电源提供到平板装置110的发射器和传感器。

在实施方案中，平板装置110的发射器和传感器是以任何其他方式穿插的。例如，一个发射器后面是两个传感器，或两个发射器后面是一个传感器。在这个实例中，任何或全部发射器与任何或全部传感器对准。

在一个实施方案中，发射器不与平板装置110的传感器对准。例如，平板装置110的发射器和传感器在平板装置110的表面503上布置成随机或伪随机图案。

应注意的是，在其中使用传感器和发射器来确定用户312的身体部分的位置和定向的实施方案中，xyz坐标系统的参照点位于平板装置110上的一个点处，例如，传感器位置处、发射器位置处等。

图6A是被用户312拿在他/她的手中的平板装置110的实施方案图。平板装置110包括发射器和传感器。传感器生成电信号，所述电信号被传达到HMD 106的处理器或传达到游戏控制台108的游戏处理器以便确定用户312的手的位置和定向。

当用户312的手进入在平板装置110的顶部表面上方的体积时，表示用户312的手的虚拟手602进入显示于HMD 106的显示屏上的虚拟环境606。用户312使他的手进入所述体积中，以通过使用虚拟手602来触摸虚拟环境606中的虚拟宠物狗604。用户312使他的手在平板装置110上方滑动，以通过使用虚拟手602来轻拍虚拟环境606中的虚拟宠物狗604。虚拟宠物狗604对用户312的触摸做出反应。例如，当虚拟手602触摸或轻拍虚拟宠物狗604时，虚拟宠物狗604摇尾巴或站起来或翻过身来。

图6B是用来示出生成能量图像610和在用户312的手移动的情况下生成多个能量图像的图。平板装置110的传感器感测被用户312的左手臂的一部分中断的能量信号来生成能量图像610。能量图像610包括左手臂的所述部分的轮廓。所述轮廓围绕平板装置110的传感器所占据的区域，所述传感器感测被用户312的左手臂的所述部分中断的能量。

当用户312在时间段t内移动他/她的左手臂时，由平板装置110的传感器生成多个能量图像以追踪左手臂的一部分的移动。经由有线介质或无线介质将能量图像610从平板装置110的通信装置提供到游戏控制台108的通信装置。能量图像610包括由平板装置110的传感器生成的电信号的强度。在能量图像610中提供的强度由游戏控制台108的游戏处理器用来确定用户312的左手臂的所述部分的位置和定向。

类似地，由游戏控制台108的游戏处理器分析多个能量图像来确定用户312的左手臂的所述部分的位置和定向。所述位置和定向用来确定由用户312完成的示意动作，并且示意动作由游戏处理器用来识别关于在虚拟环境606中的一个或多个虚拟对象的一个或多个状态的数据，所述状态例如虚拟手602的状态、虚拟宠物狗604的状态、其组合等。

将关于一个或多个状态的数据从游戏控制台108的通信装置提供到HMD 106的通信装置。HMD 106的处理器呈现关于一个或多个状态的数据以在HMD 106的显示屏上显示具有对应的一个或多个状态的一个或多个虚拟对象。

图6C是包括能量传感器SS1至SS3的HMD 670。HMD 670是HMD 106(图6A)的实例。由能量传感器SS1至SS3感测平板装置110的能量传感器所发射的能量(例如，光能量等)以生成电信号。将信号从HMD 670的通信装置传达到游戏控制台108的通信装置以便由游戏控制台108的游戏处理器接收。由游戏处理器确定用户的手相对于位于HMD 670处的参照坐标系统的位置和/或定向，确定方式与由平板装置110的传感器确定手的位置和/或定向的方式类似。

在实施方案中，平板装置110的发射器被预编程来在第一时间段内以第一频率发射光并且在第一时间段之后的第二时间段内以第二频率发射光。HMD 670的传感器被预编程来感测以第一频率发射的光并且平板装置110的传感器感测以第二频率发射的光。例如，使HMD 670的传感器与平板装置110的发射定时同步(例如，启用、开启、激活)以感测在第一时间段发射的光。

在一个实施方案中，平板装置110的发射器被预编程来在第一时间段内以第一图案(例如，之字形图案、行图案、列图案等)发射光并且在第一时间段之后的第二时间段内以第二图案发射光。第二图案不同于第一图案。HMD 670的传感器被预编程来感测使用第一图案发射的光并且平板装置110的传感器被预编程来感测使用第二图案发射的光。例如，使HMD 670的传感器与平板装置110的发射定时同步以感测使用第一图案发射的光。

在实施方案中，平板装置110的发射器被预编程来在第一时间段内发射光，并且所述发射器中的一些(例如，一个或多个等)在第一时间段之后的第二时间段内发射光。HMD670的传感器被预编程来感测由发射器中的一些发射的光并且平板装置110的传感器被预编程来感测由平板装置110的全部发射器发射的光。例如，使HMD 670的传感器与平板装置110的发射定时同步以感测在第二时间段内由发射器中的一些发射的光。

在一个实施方案中，平板装置110的发射器被预编程来在第一时间段内发射光并且发射器中的一些在第一时间段之后的第二时间段内发射光。HMD 670的传感器感测在第一时间段内由全部发射器发射的光并且平板装置110的传感器感测在第二时间段内由平板装置110的一些发射器发射的光。例如，使HMD 670的传感器与平板装置110的发射定时同步以感测在第一时间段内发射的光。

在实施方案中，HMD 670包括任何数目的传感器。

图7A是与HMD 105的摄像头结合使用的平板装置110的实施方案的图。平板装置110被握在用户312的手中并且用户312的另一只手在平板装置110上方的体积内。

图7B是包括摄像头的平板装置112的实施方案的图。在一个实施方案中，平板装置112是有源平板装置的实例，并且平板装置102是无源平板装置的实例。使用平板装置112来代替平板装置102(图1)。平板装置112的实例包括平板电脑、智能电话、平板手机以及屏幕显示器。平板装置112具有生成彩色背景(例如，绿色背景、蓝色背景灯)的显示屏。用户312将他/她的另一只手放在位于平板装置112上方的体积中，以允许感测被手中断的信号。平板装置112的摄像头710生成用户312的手的图像数据，并且由HMD 106的处理器或由游戏控制台108(图4)的处理器分析所述图像数据来确定手相对于平板装置112的相对位置和/或手相对于平板装置112的相对定向，分析方式与本文中描述的方式类似。

在一个实施方案中，用户312触摸平板装置112的显示屏来形成示意动作，并且示意动作数据被提供到平板装置112。在这个实施方案中，平板装置112包括电容传感器，所述电容传感器感测用户312对平板装置112的显示屏的触摸量。

在实施方案中，显示屏的实例包括液晶显示(LCD)屏、LED显示屏、等离子显示屏等。

应注意的是，在其中使用摄像头710来确定用户312的身体部分的位置和定向的实施方案中，xyz坐标系统的参照点位于平板装置112上的一个点处，例如，摄像头710的位置处、摄像头710的透镜的位置处等。

在实施方案中，由平板装置112的摄像头710生成的图像数据是与由HMD 105的摄像头310生成的图像数据结合使用，以确认或否认身体部分的位置和/或定向的准确性。例如，使用摄像头710所采撷的图像数据由游戏控制台108的游戏处理器用来确定用户312的身体部分的第一位置和/或第一定向。此外，在这个实例中，摄像头310所采撷的图像数据由游戏控制台108的游戏处理器用来确定用户312的身体部分的第二位置和/或第二定向。游戏处理器确定第一位置是否在第二位置的预定范围内以及第一定向是否在第二定向的预定范围内。在确定第一位置在第二位置的预定范围内并且第一定向在第二定向的预定范围内时，游戏处理器确认第一位置和第一定向的准确性并且识别对应于第一位置和第一定向的虚拟对象的状态。另一方面，在确定第一位置不在第二位置的预定范围内时，游戏处理器确定第一位置不准确，并且在确定第一定向不在第二定向的预定范围内时，游戏处理器确定第一定向不准确。游戏处理器不识别对应于第一不准确位置和第一不准确定向的虚拟对象的状态，并且等待直到身体部分的位置和定向被确认为准确的。下文进一步描述虚拟对象的状态。

应注意的是，在一个实施方案中，平板装置发射彩色光以促进由HMD 105的摄像头310采撷身体部分的图像数据。

在一个实施方案中，平板装置112包括嵌入平板装置112的显示屏内的触控传感器，例如，电容器、电阻器等。当用户触摸显示屏时，由电容器存储的电荷量或通过电阻器的电流量会改变以生成电信号。经由平板装置112的通信装置和游戏控制台的通信装置将电信号传达到游戏控制台的处理器。游戏控制台的处理器根据显示屏上的触控传感器的位置识别用户的手指的位置，电信号是从所述触控传感器生成并且接收到的。例如，手指的位置与触控传感器的位置相同。

图8是系统的实施方案的图，在所述系统中使用电视机114来确定用户312的手的位置和定向。电视机114的摄像头采撷用户312的手的图像来生成图像数据。经由本文中描述的介质将图像数据发送到HMD 106和/或游戏控制台108。以与本文中描述的方式类似的方式，HMD 106的处理器或游戏控制台108的游戏处理器基于图像数据确定用户312的手在真实世界环境中的位置和定向。

在一个实施方案中，不是将摄像头整合在电视机114中，而是将摄像头独立地放在真实世界(例如，房间、开放空间等)内，在所述真实世界中用户312与显示于HMD的显示屏上的虚拟环境交互。

在一个实施方案中，摄像头(例如，HMD的摄像头、游戏控制台的摄像头、电视机的摄像头、独立定位的摄像头等)采撷用户的手的图像数据。将图像数据从连接到摄像头的通信装置提供到游戏控制台的通信装置。游戏控制台的处理器确定用户是否与平板装置交互，例如，在平板装置的表面上方完成示意动作、触摸所述表面、点击所述表面、多次点击所述表面等。在确定用户与平板装置交互时，处理器经由游戏控制台的通信装置将控制信号发送到平板装置的通信装置。平板装置的处理器经由平板装置的通信装置接收控制信号并且向开关发送接通(on)信号，所述开关被接通来将平板装置的传感器和/或反射器连接到平板装置的电源供应器，例如电池等。在接收到接通信号时，开关将传感器和/或反射器连接到电源供应器以允许由传感器感测能量和/或由能量发射器发射能量。开关的实例包括晶体管或一组晶体管。

图9是系统的实施方案的侧视图，在所述系统中将平板装置112放置成相对于支撑件(例如，桌子、椅子、底座、书桌等)成角度s以观察手和/或HMD 106。经由介质将由平板装置112的摄像头710生成的图像数据和被感测的信号发送到游戏控制台的游戏处理器。

在一个实施方案中，平板装置112的后置摄像头902采撷真实世界环境(例如，平板装置112后面的墙壁、平板装置112后面的背景、平板装置112后面的绘画、平板装置112后面的书写板等)的图像数据。后置摄像头902位于平板装置112的表面902上，这个表面与平板装置112的上面定位有摄像头710的表面相反。由平板装置112的处理器分析由后置摄像头采撷的图像数据来确定将要在平板装置112上显示的颜色。显示所述颜色以便使所述颜色与平板装置112后面的真实世界环境的颜色形成对照。当手放在平板装置112的显示屏前方或上方或下方时，对照促进用户312穿戴的HMD的摄像头将用户312的手的位置和定向与真实世界环境区分开。当手放在平板装置112的显示屏前方或上方或下方时，手面向显示屏。

在实施方案中，代替或除了显示与平板装置112后面的真实世界环境的颜色形成对照的颜色，平板装置112显示与在平板装置112下方的真实世界环境(例如，房间的地板等)的颜色或在平板装置112上方的真实世界环境(例如，房间的天花板等)的颜色或在平板装置112前方的真实世界环境的颜色或其中两个或更多个的组合形成对照的颜色。

在一个实施方案中，代替或除了显示与真实世界环境的颜色形成对照的颜色，平板装置112显示明暗度来与真实世界环境的明暗度形成对照，或显示纹理来与真实世界环境的纹理形成对照，或显示图案来与真实世界环境的图案形成对照，或显示其中两个或更多个的组合。

图10是虚拟对象1010的实施方案的图，所述虚拟对象是基于以下各项被显示于HMD 106的显示屏上的图像1012中：用户312的手相对于平板装置102的位置，和/或手的一个或多个手指相对于平板装置102的位置，和/或用户312的手相对于平板装置102的定向，和/或手的一个或多个手指相对于平板装置102的定向。应注意的是，虚拟对象是橄榄球并且是由HMD 106的处理器生成的。虚拟对象的其他实例包括虚拟枪、虚拟车辆、用户312的虚拟手、虚拟用户、用户312的化身、虚拟树、虚拟静止物品、虚拟士兵、虚拟爬行动物、虚拟恐龙等。

由游戏处理器确定虚拟对象1010相对于在虚拟世界中的XYZ坐标系统的位置和定向。例如，虚拟对象1010的位置包括沿着XYZ坐标系统的X轴离XYZ坐标系统的参照点(0,0,0)的距离、沿着XYZ坐标系统的Y轴离XYZ坐标系统的参照点(0,0,0)的距离，以及沿着XYZ坐标系统的Z轴离XYZ坐标系统的参照点(0,0,0)的距离。作为另一实例，虚拟对象1010的定向包括由虚拟对象1010的轴相对于X轴形成的角度、由虚拟对象1010的轴相对于Y轴形成的角度，以及由虚拟对象1010的轴相对于Z轴形成的角度。

在若干实施方案中，基于从游戏控制台接收到的图像数据在电视机的显示屏上呈现虚拟对象。

还应注意的是，xyz坐标系统用来测量用户312的身体部分在真实世界环境中的位置和定向，并且XYZ坐标系统用来测量虚拟对象在虚拟环境中的位置和定向。例如，当用户312在y方向上将他/她的手移动得更靠近平板装置102时，虚拟对象1010在Y方向上向下移动。作为另一实例，当用户312在y方向上将他/她的手从平板装置102移开时，虚拟对象1010在Y方向上向上移动。作为又一实例，当用户312改变他/她的手的定向来相对于y轴形成角度时，虚拟对象1010改变其定向以便虚拟对象的轴相对于Y轴形成相同的角度或另一成比例的角度。

图11是平板装置116的实施方案的图，标记M1、M2和M3位于所述平板装置上。标记的实例包括反光带、发光二极管、光发射器、红外光发射器、回归反光带、代码、符号等。将所述标记附接到(例如，胶粘到、嵌入等)平板装置116的顶部表面。

标记被用户312的手从摄像头310挡住。HMD 105的摄像头310生成用户312的手的图像数据和未被用户312的手挡住的标记的图像数据，并且图像数据由游戏控制台108的游戏处理器用来确定手相对于平板装置116的相对位置和/或手相对于平板装置116的相对定向。作为实例，由摄像头310采撷的图像数据包括平板装置116上的标记与用户312的手的手指之间的距离。作为另一实例，由摄像头310采撷的图像数据包括用户312的手的手指相对于穿过平板装置116的顶部表面上的标记的轴的定向。

在一个实施方案中，平板装置116包括任何数目的标记。

在实施方案中，标记按一个图案(例如，标记的水平行和垂直列、标记的对角行和对角列、随机图案、弯曲图案、椭圆形图案、圆形图案、正方形图案、多边形图案、之字形图案等)附接到平板装置116。

在一个实施方案中，标记具有任何颜色，例如，绿色、蓝色、红色等，以促进将被用户的手挡住的标记与未被手挡住的标记区分开。

图12是系统的实施方案的图，在所述系统中使用两个平板装置118A和118B。每一个平板装置118A和118B是平板装置102(图1)的实例。用户312将他/她的左手放在平板装置118A上并且将他/她的右手放在平板装置118B上。每一个平板装置118A和118B将关于被用户312的对应手中断的信号的数据传达到游戏控制台108的游戏处理器。游戏控制台108的游戏处理器生成每只手相对于对应平板装置的位置和/或定向，生成方式与本文中关于平板装置102所描述的方式类似。

在各种实施方案中，HMD 105具有宽视场摄像头，所述宽视场摄像头生成用户312的两只手相对于对应平板装置118A和118B的图像数据。

在一些实施方案中，游戏控制台108的摄像头具有宽视场，以生成用户312的两只手相对于对应平板装置118A和118B的图像数据。

图13是方法的实施方案的图，在所述方法中用户312将他的脚放在平板装置120顶部上，平板装置120是本文中描述的不同类型平板装置102中的任一个的实例。平板装置120经由介质与HMD 104和/或与游戏控制台通信。平板装置120的实例包括放在真实世界环境中的地板上的垫子，例如，瑜伽垫、防滑垫、防滑脱垫、粘垫等。为了说明，用户312使用平板装置120来根据HMD 106中显示的瑜伽姿势做瑜伽。

图14是将他/她的右脚放在平板装置122A上并且将他/她的左脚放在平板装置122B上的用户312的实施方案的图。每一个平板装置122A和122B是本文中描述的不同类型平板装置102中的任一个的实例。每一个平板装置122A和122B经由对应的介质与HMD 104和/或与游戏控制台108通信，通信方式与本文中描述的方式类似。游戏控制台108的游戏处理器确定用户312的左脚相对于平板装置122A的xyz坐标系统的位置和/或定向，确定方式与本文中描述的确定平板装置110相对于用户312的身体部分的位置和/或定向的方式类似。类似地，游戏控制台108的游戏处理器确定用户312的右脚相对于平板装置122B的xyz坐标系统的位置和/或定向，确定方式与本文中描述的确定平板装置110相对于用户312的身体部分的位置和/或定向的方式类似。

图15是平板装置124的实施方案的图，所述平板装置包括标记(例如，M1、M2等)的阵列、能量传感器(例如，S1、S2等)的阵列，以及能量发射器(例如，EE1、EE2等)的阵列。平板装置124是平板装置102(图1)的实例。

标记、能量传感器和/或能量发射器在平板装置124上布置成一个图案或随机布置。例如，标记、能量传感器和能量发射器垂直地对准，例如，在垂直列中对准。作为另一实例，标记、能量传感器和能量发射器在平板装置124上对角地对准。作为又一实例，标记、能量传感器和能量发射器在平板装置124上布置成弯曲图案。作为另一实例，标记、能量传感器和能量发射器在平板装置124上布置成之字形图案。

在一个实施方案中，任何数目的标记在平板装置124上位于传感器前面。例如，两个或更多个标记位于传感器S1前面。

在一个实施方案中，任何数目的传感器在平板装置124上位于传能量发射器前面。例如，两个或更多个传感器位于能量发射器EE1前面。

在一个实施方案中，任何数目的能量发射器在平板装置124上位于标记前面。例如，两个或更多个能量发射器位于标记M1前面。

在一个实施方案中，标记、传感器和发射器的顺序与图15中所示的顺序相比有所改变。例如，传感器后面是能量发射器，能量发射器后面又是标记。作为另一实例，能量发射器后面是标记，标记后面是传感器。

在一些实施方案中，平板装置124包括标记阵列和传感器阵列而不包括发射器阵列。

图16是细长平板装置126的实施方案的等角视图，所述细长平板装置发射覆盖用户312的两只手的光或声音或电磁信号的体积。平板装置126的实例包括能够被用户312折叠和拉直的垫子。平板装置126是平板装置102(图1)的实例并且连接到游戏控制台108和/或连接到HMD 106。

图17是HMD 128的实施方案的图，HMD 128是HMD 104的实例。HMD 128包括数个能量发射器，例如EE1、EE2等，以及数个能量传感器，例如S1、S2等。例如，能量发射器和能量传感器附接(例如，胶粘、嵌入、焊接等)到HMD 128的底部表面。HMD 128的能量发射器朝向用户312的手发射能量，例如电磁能量、可见光、红外光等。由HMD 128的能量传感器感测被用户312的手中断的能量来生成电信号，例如，指示电磁能量场的中断的电信号、指示对光的干扰的电信号等。类似地，HMD 128的其他能量传感器生成其他电信号。将电信号转换成数字格式，并且经由HMD 128的通信装置和游戏控制台108的通信装置从HMD 128的传感器传达到游戏控制台108的游戏处理器。根据数字信号，游戏控制台108的游戏处理器确定手相对于HMD 128的xyz坐标系统的相对位置和/或相对定向。

在各种实施方案中，由平板装置102的传感器感测由HMD 128发射的能量以确定用户312的手相对于平板装置102的xyz坐标系统的位置和定向。

应注意的是，在使用HMD 128的能量发射器和能量传感器来确定用户312的身体部分的位置和定向的实施方案中，xyz坐标系统的参照点位于HMD 128上的一个点处，例如，能量发射器的位置处、能量传感器的位置处等。

图18是用来示出存在体积的边界1802的图，超出所述边界，检测到用户312的手的移动。例如，当手在边界1802内(例如，在边界1802下方等)时，平板装置102的传感器感测从手反射的光或声音。另一方面，当手在边界1802外(例如，在边界1802上方等)时，平板装置102的传感器难以感测从手反射的光或声音。

在一个实施方案中，基于平板装置102的定向来限定边界1802。例如，当平板装置102直立放置时，边界1802是垂直的或大致垂直的，或者平行于或大致平行于平板装置102的顶部表面，所述顶部表面沿着平板装置102的长度和宽度延伸。例如，表面503(图5)是平板装置110(图5)的顶部表面。当手在平板装置102的顶部表面与边界1802之间时，用户312的手在边界1802内。当手不在平板装置102的顶部表面与边界1802之间时，手在边界1802外。

在一个实施方案中，当手离平板装置102位于边界1802内时，手被放置成接近平板装置102。例如，当手放在离平板装置102的0.5至12英寸内时，手被放置成接近平板装置102。作为另一实例，当手放在离平板装置102的0.25至18英寸内时，手被放置成接近平板装置102。作为又一实例，当手放在从平板装置102的能量发射器发射的能量的体积V内时，手被放置成接近平板装置102。

图19是用来示出基于用户312所完成的示意动作生成虚拟对象1910(例如，虚拟键盘等)的图。用户312用他/她的手指点击平板装置126。平板装置126以本文中关于平板装置102所描述的方式将所述点击传达到游戏控制台108的游戏处理器。游戏控制台108的游戏处理器生成虚拟对象数据并且将虚拟对象数据提供到HMD 104，HMD104在HMD 104的显示屏上显示虚拟对象1910。应注意的是，虚拟键盘表示平板装置126。例如，虚拟键盘具有与平板装置126的形状类似的形状。游戏控制台108的游戏处理器被编程来显示虚拟对象1910，所述虚拟对象具有与平板装置126的形状类似的形状。

在各种实施方案中，代替点击，使用其他示意动作(例如，双击、轻拂、挥动、滑动等)来生成虚拟对象。

在一些实施方案中，使用多个示意动作来生成虚拟对象。

由示意动作生成的虚拟对象的其他实例包括虚拟鼠标、虚拟电话、虚拟笔等。

图20A是平板装置130的实施方案的框图，平板装置130是平板装置102(图1)的实例。平板装置130包括一个或多个能量发射器、一个或多个能量传感器、摄像头和通信装置。通信装置的实例包括使用Wi-Fi通信协议的通信装置，或使用以太网通信协议的通信装置，或使用通用串行总线(USB)通信协议的通信装置，或使用串行或并行通信协议的通信装置，或使用蓝牙通信协议来与另一通信装置通信的通信装置。摄像头的实例包括光学仪器，所述光学仪器采撷图像以用于存储在存储器装置中或用于传送到另一位置以便稍后回放或处理所述图像。为了说明，摄像头是数字摄像头、深度摄像头、电荷耦合装置(CCD)摄像头、互补金属氧化物半导体(CMOS)摄像头等。

平板装置130的传感器在接收到被用户312的身体部分中断的能量时生成电信号。所述电信号共同形成平板装置130的表面上的能量图像。能量图像包括被用户312的身体部分的位置和/或定向中断以便由平板装置130的传感器感测的能量的强度。能量图像反映用户312的手的当前位置和定向。例如，当手放在平板装置310的顶部表面上时，能量图像是用户312的手的位置和定向的镜像反映。

将电信号从传感器发送到平板装置130的通信装置。平板装置130的通信装置将通信协议(例如，无线通信协议、有线通信协议等)应用于电信号并且讲电信号发送到游戏控制台108的通信装置。

在一个实施方案中，在由模数转换器(ADC)将电信号从模拟格式转换成数字格式来进一步生成数字信号之后，平板装置130的通信装置从平板装置130的传感器接收电信号。ADC连接在平板装置130的传感器与平板装置130的通信装置之间。平板装置130的通信装置将无线通信协议应用于从ADC接收到的数字信号以生成无线信号并且讲无线信号发送到游戏控制台108的通信装置。例如，平板装置130的通信装置生成数据包，其中每一个包括标头和有效负载，并且将数据包发送到游戏控制台108的通信装置。

在一些实施方案中，平板装置130不包括摄像头和/或反射器。

在一个实施方案中，当由平板装置130的能量发射器持续(例如，不断等)发射能量时，由平板装置130的传感器不断(例如，以感测频率等)感测被中断的能量来以帧速率生成能量图像流，例如，指示手对电磁能量的中断的电信号、指示手对红外光的干扰或手对红外光的反射的电信号、指示手对可见光的干扰或手对可见光的反射的电信号、能量图像帧等。例如，当由平板装置130的传感器以感测频率感测被处于一个位置和定向的手中断的能量时，传感器以帧速率生成能量图像帧，所述帧速率与感测频率相同。每一个能量图像帧包括被手中断的能量的强度。在感测能量的那段时间内生成的能量图像帧提供能量图像流，所述能量图像流进一步提供用户312的手的位置和定向的变化。例如，第一能量图像帧包括用户312的手的第一位置和定向，并且第二能量图像帧包括用户312的手的第二位置和定向。第二位置和定向在第一位置和定向之后。

在实施方案中，以某种频率开启和关闭传感器来允许传感器以感测频率感测。例如，处理器控制将电源供应器连接到传感器的开关。处理器控制所述开关以某种频率接通和切断。当接通开关来闭合开关时，经由开关连接到电源供应器的传感器感测能量。当切断开关来断开开关时，传感器与电源供应器断开连接以禁用能量感测。

图20B是系统2010的实施方案的框图，其用来示出显示于HMD106的显示屏2012上的图像的虚拟对象的位置和/或定向的变化，这种变化与用户312的身体部分的位置和/或定向的变化相协调。上文提供了显示屏2012的实例。由平板装置130的通信装置接收数字信号来生成有线或无线信号。从平板装置130的通信装置发送体现数字信号的有线或无线信号，并且由游戏控制台108的通信装置2022接收所述有线或无线信号。通信装置2022将有线通信协议应用于有线信号来剖析有线信号，或将无线通信协议应用于从平板装置130的通信装置接收的无线信号来剖析无线信号，以进一步提取由平板装置130的ADC生成的数字信号。

游戏控制台108的游戏处理器2020从通信装置2022接收数字信号，并且确定用户312的身体部分在真实世界环境中的位置和定向。例如，游戏处理器2020接收数字信号，并且确定用户312的手的手指、或用户312的手、或用户312的脚、或用户312的脚的脚趾相对于在围绕用户312的真实世界环境中的xyz参照坐标系统的参照点(例如，坐标(0,0,0)等)的位置和定向。作为另一实例，游戏处理器2020接收从传感器所生成的电信号生成的数字信号的强度，并且识别用户312的身体部分沿着y轴的位置。游戏处理器2020根据强度与位置之间的对应关系(例如，映射、连结等)识别沿着y轴的位置。对应关系被存储在游戏控制台108的游戏存储器装置2024中。强度是由平板装置的传感器量测的并且在电信号内接收到。作为又一实例，平板装置的每一个传感器的xy位置与传感器的标识之间的对应关系(例如，映射、连结等)存储在游戏存储器装置2024中。游戏处理器2020接收从传感器所生成的电信号生成的数字信号。数字信号包括传感器的标识。由平板装置130的通信装置的处理器附接所述标识。通信装置的每一个pin码耦接到不同传感器，例如，具有唯一标识的传感器等。在接收到从传感器所生成的电信号生成的数字信号时，游戏处理器2020剖析数字信号来确定传感器的标识并且从游戏存储器装置2024中识别传感器的xy位置。所述xy位置与用户312的身体部分的xy位置相同。作为另一实例，身体部分的两个或更多个手指的多个位置与身体部分的定向之间的对应关系被存储在游戏存储器装置2024中。在确定身体部分的两个或更多个手指的位置后，游戏处理器2020使用两个或更多个手指的多个位置与身体部分的定向之间的对应关系来识别用户312的身体部分的定向。作为另一实例，游戏处理器2020确定用户312的手指的第一指关节离xyz坐标系统的参照点的位置和手指的第二指关节离参照点的位置。由游戏处理器2020根据被指关节中断的能量信号的强度确定第一和第二指关节的位置。游戏处理器2020将手指离xyz坐标系统的参照点的位置确定为连接第一指关节的位置与第二指关节的位置的一条线的位置。

游戏处理器2020使用用户312的身体部分的位置和定向来识别虚拟环境中的虚拟对象的位置和定向。根据身体部分的位置与虚拟对象的位置之间的对应关系(例如，关联、连结等)和身体部分的定向与虚拟对象的定向之间的对应关系来识别虚拟对象的位置和定向。身体部分的位置与虚拟对象的位置之间的对应关系和身体部分的定向与虚拟对象的定向之间的对应关系被存储在游戏控制台108的游戏存储器装置2024中。

用户312的身体部分的位置与虚拟环境中的虚拟对象的位置之间的对应关系包括：身体部分沿着真实世界环境中的x轴的距离与虚拟对象沿着虚拟环境中的X轴的距离之间的比例、身体部分沿着真实世界环境中的y轴的距离与虚拟对象沿着虚拟环境中的Y轴的距离之间的比例，以及身体部分沿着真实世界环境中的z轴的距离与虚拟对象沿着虚拟环境中的Z轴的距离之间的比例。

此外，用户312的身体部分的定向与虚拟环境中的虚拟对象的定向之间的对应关系的实例包括：身体部分的轴相对于真实世界环境中的x轴的角度与虚拟对象的轴相对于虚拟环境中的X轴的角度之间的比例、身体部分的轴相对于真实世界环境中的y轴的角度与虚拟对象的轴相对于虚拟环境中的Y轴的角度之间的比例，以及身体部分的轴相对于真实世界环境中的z轴的角度与虚拟对象的轴相对于虚拟环境中的Z轴的角度之间的比例。

由游戏处理器2020将虚拟对象的位置和定向提供到通信装置2022。通信装置2022应用有线协议或无线协议来将图像(例如，虚拟世界环境等)中的虚拟对象的位置和定向传达到HMD 106的通信装置2026。通信装置2026应用有线协议或无线协议来从通信装置2022所传达的信号获得虚拟对象的位置和定向，并且将位置和定向提供到HMD 106的处理器2028。处理器2028在HMD 106的显示屏2012上呈现具有从通信装置2026接收到的位置和定向的虚拟对象。

在一个实施方案中，虚拟对象是在虚拟环境中具有极限的对象，并且所述极限是由线条或曲线或其组合来识别的。

在实施方案中，虚拟对象是由对象模型限定的。例如，虚拟对象具有颜色，或纹理，或明暗度，或边界，或图案，或其中两个或更多个的组合。作为另一实例，虚拟对象具有虚拟重力，例如，虚拟对象在虚拟环境中不会漂浮，虚拟对象搁在桌子上，等等。作为又一实例，虚拟对象具有预先限定的移动且/或在虚拟环境中完成预先限定的动作。为了说明，虚拟人不能穿过虚拟房间的虚拟墙壁。作为另一说明，虚拟对象不能漂浮在空气中并且能够漂浮在虚拟水上。作为又一说明，虚拟游泳者能够漂浮在虚拟水中或能够潜入虚拟水中。作为另一实例，虚拟环境中的虚拟对象的运动是由虚拟环境中的另一虚拟对象的边界限定的。为了说明，用户的化身不能穿过虚拟房间的墙壁。作为另一说明，用户的化身不能走过另一用户的另一化身。

在一个实施方案中，虚拟对象是卡通人物角色，所述卡通人物角色是虚拟环境(例如，包括围绕虚拟对象的虚拟背景的图像等)的一部分。围绕虚拟对象的虚拟背景在一个实施方案中包括其他虚拟对象、虚拟场景等。

虚拟环境的实例包括游戏场景、虚拟现实场景、增强现实场景、从经由计算机网络所访问的数据生成的环境、其中用户312的表示(例如化身等)正在与另一用户的表示通信的虚拟场景、虚拟旅行环境等。

在实施方案中，虚拟现实场景是使用处理器生成的模拟环境。虚拟现实场景模拟用户312在真实世界环境中或在虚构地方的存在。在一个实施方案中，生成虚拟现实场景，使得用户312感觉他/她好像真的在所述场景中一样。

在一个实施方案中，增强现实场景包括利用计算机生成的感觉输入(例如，声音、视频、图形等)来增强的真实世界环境的表示。例如，为了生成增强现实场景，摄像头采撷用户312的手的图像并且处理器显示所述手上的虚拟对象。在真实世界环境中，这种虚拟对象并不位于用户312的手上。

存储器装置的实例包括硬盘驱动器、网络附接存储体(NAS)、只读存储器(ROM)、随机存取存储器(RAM)、光盘ROM(CD-ROM)、可刻录CD(CD-R)、可重写CD(CD-RW)、磁带，以及其他光学或非光学数据存储装置。

应注意的是，如本文中所使用，处理器是专用集成电路(ASIC)，或可编程逻辑装置(PLD)，或中央处理单元(CPU)，或控制器，或微处理器等。

在实施方案中，平板装置130包括任何数目的传感器，和/或任何数目的摄像头，和/或任何数目的能量发射器。

在一个实施方案中，不是将信号从平板装置130的通信装置传达到游戏控制台108的通信装置2022，而是将信号从平板装置130的通信装置传达到通信装置2026。通信装置2026执行操作，这些操作与游戏控制台108上的通信装置2022所执行以便获得数字信号的操作类似。将数字信号提供到处理器2028来生成虚拟环境数据。由处理器2028呈现虚拟环境数据以在显示屏2012上显示虚拟环境。

在实施方案中，HMD 106包括任何数目的显示屏。

在一个实施方案中，虚拟对象的位置和定向会改变游戏状态。例如，游戏处理器2020确定，虚拟对象的位置和定向使虚拟环境的背景从绿色变成蓝色，或改变另一虚拟对象的位置和定向，或导致增加在玩游戏期间被分配来提供到用户312的虚拟奖励，等等。关于已改变的游戏状态(例如，已改变的虚拟环境、已改变的虚拟对象、已改变数目的虚拟奖励等)的数据由游戏处理器2020经由通信装置2022和2026提供到HMD 106的处理器2028。由处理器2028呈现关于已改变的游戏状态的数据，例如，颜色、纹理、定向、位置、明暗度等，以在显示屏2012上生成已改变的虚拟环境的显示。

在实施方案中，游戏处理器2020生成关于图像中的一个或多个虚拟对象和一个或多个虚拟背景的状态的数据，例如，颜色、纹理、位置、定向、边界、形状、其中两个或更多个的组合等。在一个实施方案中，虚拟对象的边界是形成所述虚拟对象的形状的图像数据的像素轮廓。基于用户312的身体部分的位置和定向生成关于状态的数据。经由通信装置2022和2026将关于状态的数据从游戏处理器2020传达到HMD 106的处理器2028。应注意的是，使用有线或无线通信协议在通信装置2022和2026之间传达关于状态的数据。处理器2028呈现关于状态的数据以在HMD 106的显示屏2012上显示虚拟环境。

在实施方案中，基于朝向平板装置130的传感器的被身体部分中断的能量信号确定身体部分的位置。例如，游戏处理器2020接收从传感器所生成的电信号生成的数字信号。数字信号由游戏处理器2020用来从游戏存储器装置2024中识别，电信号的强度(例如，振幅等)与离xyz坐标系统的参照点的距离d1(例如，坐标(x,y,z)等)相关联。例如，随着指关节离xyz坐标系统的参照点的距离增大，电信号的强度减小。电信号是在指关节与体积交互时由传感器生成的。电信号的强度与指关节的距离之间的关联被存储在游戏存储器装置2024中。

应注意的是，在实施方案中，身体部分的预定形状(例如，预定长度、预定宽度、预定厚度等)被存储在游戏存储器装置2024中以促进识别与体积交互的身体部分。例如，当具有预定长度的列中的传感器和具有预定宽度的行中的传感器生成电信号时，游戏处理器2020确定电信号是从被手指中断的能量生成的。应注意的是，在一个实施方案中，行是垂直行、水平行或对角行，并且列垂直于行。作为另一实例，当平板装置130的顶部表面(例如，表面503(图5)等)的大致正方形区段中的传感器生成电信号时，游戏处理器2020确定电信号是从被手掌中断的能量生成的。作为又一实例，当平板装置130的顶部表面(例如，表面503(图5)等)的大致矩形或椭圆形区段中的传感器生成电信号时，游戏处理器2020确定电信号是从被用户312的脚中断的能量生成的。

此外，在实施方案中，身体部分相对于其他身体部分的位置以及身体部分相对于其他身体部分的预定长度的预定长度被存储在游戏存储器装置2024中以促进识别与体积交互的身体部分。例如，从观看平板装置130的顶部表面的视角来看，在确定生成电信号的一个传感器行的预定长度小于生成电信号的所有其他传感器行的预定长度并且这一行位于其他行左边时，游戏处理器2020确定用户312正在使用他/她的右手。作为另一实例，从观看平板装置130的顶部表面的视角来看，在确定生成电信号的一个传感器行的预定长度小于生成电信号的所有其他传感器行的预定长度并且这一行位于其他行右边时，游戏处理器2020确定用户312正在使用他/她的左手。

在实施方案中，一旦游戏处理器2020确定用户312是否正在使用他/她的左侧身体部分(例如，左手、左脚等)或右侧身体部分(例如，右手、右脚等)，游戏处理器2020根据身体部分的其他手指的预定位置并且根据身体部分的预定长度识别身体部分的手指。例如，在确定用户312正在使用左手时，游戏处理器2020基于生成电信号的两个传感器行的预定长度确定电信号是从被左手的无名指或食指中断的能量生成的。食指和无名指具有相同或大致相同的预定长度。此外，在这个实例中，从观看平板装置130的顶部表面的视角来看，在确定电信号是从在具有最高预定长度的传感器行左边的一个传感器行生成时，游戏处理器2020确定电信号是从被用户312的左手的无名指中断的能量生成的。

在一个实施方案中，由游戏处理器2020根据用户312的另一身体部分的位置确定用户312的身体部分的定向。例如，从观看平板装置130的顶部表面的视角来看，在确定生成电信号的平板装置的传感器形成大致正方形形状并且食指位于左手的拇指左边时，游戏处理器2020确定用户312的左手的拇指的腹侧面面向平板装置130的顶部表面。作为另一实例，从观看平板装置130的顶部表面的视角来看，在确定生成电信号的平板装置的传感器形成大致正方形形状并且食指位于左手的拇指右边时，游戏处理器2020确定用户312的左手的拇指的背侧面面向平板装置130的顶部表面。

在一个实施方案中，用户312的身体部分的位置和定向由游戏控制台108的游戏处理器2020用来识别关于虚拟对象的状态(例如，颜色、纹理、形状、明暗度、位置、定向、视觉效果、音频效果、其中两个或更多个的组合等)的数据。例如，在确定身体部分处于真实世界环境中的位置时，游戏处理器2020从游戏存储器装置2024中识别，对应于身体部分的虚拟对象具有蓝色而不是绿色并且具有相对于图像中的XYZ坐标系统的位置。作为另一实例，在确定身体部分处于真实世界环境中的定向时，游戏处理器2020从游戏存储器装置2024中识别，对应于身体部分的虚拟对象带有火焰动画效果并且具有在图像中的定向。作为又一实例，在确定身体部分处于真实世界环境中的位置和定向时，游戏处理器2020从游戏存储器装置2024中识别，对应于身体部分的虚拟对象被显示为具有波纹状纹理和浅的明暗度，并且与虚拟对象的显示一起生成声音。关于虚拟对象的状态的数据是以有线或无线信号的形式从通信装置2022发送到HMD 106的通信装置2026。

在这个实施方案中，通信装置2026以本文中描述的方式从有线或无线信号提取关于状态的数据并且将数据提供到音频/视频(A/V)分离器，例如，音频提取器等。A/V分离器将音频数据与图像数据(这两种数据都包括在关于状态的数据内)分离，将图像数据发送到处理器2028并且将音频数据发送到在图20B中示出为“SYNC”的同步器。同步器使声音的回放与虚拟对象的显示同步。例如，同步器在虚拟对象被显示于位置和/或定向处且/或被显示为具有颜色且/或被显示为具有形状且/或被显示为具有纹理的同时播放声音。同步器将同步的音频数据发送到数模转换器(DAC)，所述DAC将音频数据从数字格式转换成模拟格式。模拟音频数据由放大器(A)放大。放大的模拟音频数据由一个或多个扬声器(S)转换成声音。

在一个实施方案中，用于在虚拟环境中显示的身体部分的位置、用于在虚拟环境中显示的身体部分的定向、用于在虚拟环境中显示的身体部分的颜色、用于在虚拟环境中显示的身体部分的形状、用于在虚拟环境中显示的身体部分的纹理以及用于在虚拟环境中显示的身体部分的明暗度是身体部分的模型数据的实例。随着身体部分相对于xyz坐标系统移动，模型数据改变。例如，当手处于离xyz坐标系统的原点的位置(x1,y1,z1)时，手的位置处于离XZY坐标系统的原点的位置(X1,Y1,Z1)，并且当手处于离xyz坐标系统的原点的位置(x2,y2,z2)时，手的位置处于离XZY坐标系统的原点的位置(X2,Y2,Z2)。作为另一实例，当手处于相对于x轴成第一角度、相对于y轴成第二角度并且相对于z轴成第三角度的定向时，手在虚拟环境中的图像相对于X轴成第一角度、相对于Y轴成第二角度并且相对于Z轴成第三角度。

在一个实施方案中，身体部分的多个位置提供身体部分的移动，并且身体部分在虚拟环境中的对应多个位置提供身体部分在虚拟环境中的移动。例如，当身体部分在真实世界环境中从位置(x1,y1,z1)移动到位置(x2,y2,z2)时，身体部分的图像(例如，模型等)在虚拟环境中从对应位置(X1,Y1,Z1)移动到对应位置(X2,Y2,Z2)。

在实施方案中，身体部分的多个定向提供身体部分的移动，并且身体部分在虚拟环境中的对应多个定向提供身体部分在虚拟环境中的移动。例如，当身体部分在真实世界环境中从定向(A1,A2,A3)移动到定向(A4,A5,A6)时，身体部分的图像在虚拟环境中从对应位置(A7,A8,A9)移动到对应位置(A10,A11,A12)。A1和A4中的每一个是相对于x轴形成的角度，A2和A5中的每一个是相对于y轴形成的角度，A3和A6中的每一个是相对于z轴形成的角度。此外，A7和A10中的每一个是相对于X轴形成的角度，A8和A11中的每一个是相对于Y轴形成的角度，A9和A12中的每一个是相对于Z轴形成的角度。

在一个实施方案中，由HMD的处理器在显示于HMD的的显示屏上的虚拟环境中部分地呈现身体部分的图像。例如，当用户移动他/她的手来进入在平板装置上方的体积时，在体积内的手的一部分的图像显示于HMD的显示屏上。当手在体积外时，所述部分的图像也移出虚拟环境。

图21是HMD 2100的等角视图，HMD 2100是HMD 106的实例。HMD 2100包括带子2102和2104，当用户312穿戴HMD 2100时，所述带子在用户312的头后面。此外，HMD 2100包括耳机2106A和2106B，例如扬声器等，所述耳机发出与虚拟环境(例如，游戏环境、虚拟旅行环境等)相关联的声音，所述声音是通过执行计算机程序(例如，游戏程序、虚拟环境生成程序等)来播放的。HMD 2100包括透镜2108A和2108B，所述透镜允许用户312观看显示于HMD2100的显示屏上的虚拟环境。凹槽2180搁在用户312的鼻子上以将HMD 2100支撑在鼻子上。

在一些实施方案中，用户312穿戴HMD 2100的方式与用户312穿戴太阳镜、眼镜或阅读眼镜的方式类似。

图22示出根据本公开中描述的实施方案的用于交互式玩视频游戏的系统。用户312被示出为穿戴HMD 106。HMD 106是以与眼镜、护目镜或头盔类似的方式被穿戴，并且被配置来向用户312显示视频游戏或其他内容。借助于提供紧密接近用户眼睛的显示机构(例如，光学元件和显示屏)和被输送到HMD 106的内容的格式，HMD 106向用户提供沉浸式体验。在一个实例中，HMD 106可向用户眼睛中的每一只提供显示区，所述显示区占据用户312的视场的大部分或甚至全部。作为另一实例，用户感觉他/她好像在显示于HMD 106上的虚拟环境中(例如，是虚拟环境的一部分等)一样。

在一个实施方案中，HMD 106可连接到计算机2202。到计算机2202的连接可以是有线或无线的。在一个实施方案中，计算机2202是任何通用或专用计算机，包括但不限于游戏控制台、个人计算机、膝上型计算机、平板电脑、移动装置、智能电话、平板电脑、精简客户端、机顶盒、媒体流式传输装置、智能电视机等。在一些实施方案中，HMD 106可以直接连接到互联网，其可允许云游戏而不需要单独的本地计算机。在一个实施方案中，计算机2202可被配置来执行视频游戏(和其它数字内容)，并且输出来自所述视频游戏的视频和音频以供HMD 106呈现。计算机2202在本文中有时也可被称为客户端系统，所述客户端系统在一个实例中是视频游戏控制台。

在一些实施方案中，计算机2202可以是本地或远程计算机，并且计算机可运行仿真软件。在云游戏实施方案中，计算机2202是远程的，并且可由多个计算服务表示，所述计算服务可在数据中心中虚拟化，其中游戏系统/逻辑可被虚拟化并且通过网络分配给用户312。

用户312操作手持式控制器2206来为虚拟环境提供输入。在一个实例中，摄像头2204被配置来采撷用户312所在的真实世界环境的图像。可分析这些所采撷图像来确定用户312、HMD 106和控制器2206的位置和移动。在一个实施方案中，控制器2206包括一个灯(或多个灯)，所述灯被追踪来确定控制器2206的位置和定向。另外，如下文更详细地描述，在一个实施方案中，HMD 106包括一个或多个灯，所述灯作为标记被追踪来在虚拟环境的显示期间大致实时地确定HMD 106的位置和定向。

在一个实施方案中，摄像头2204包括一个或多个麦克风以采撷来自真实世界环境的声音。可处理麦克风阵列所采撷的声音来识别声源的位置。可选择性地利用或处理来自所识别位置的声音，以便排除不是来自所识别位置的其他声音。此外，在一个实施方案中，摄像机2204可被配置成包括多个图像采撷装置(例如，立体摄像机对)、IR摄像机、深度摄像机和其组合。

在一些实施方案中，计算机2202在计算机2202的处理硬件上以本地方式执行游戏。游戏或内容是以任何形式获得的，所述形式诸如物理介质形式(例如，数字磁盘、磁带、卡、拇指驱动器、固态芯片或卡等)，或通过从计算机网络2210(例如，互联网、内联网、局域网、广域网等)下载来获得的。在实施方案中，计算机2202用作通过计算机网络2210与云游戏提供商2212通信的客户端。云游戏提供商2212维护并且执行用户312正在玩的视频游戏。计算机2202将来自HMD 106、控制器2206和摄像机2204的输入传输给云游戏提供商2212，所述云游戏提供商处理所述输入以影响正执行的视频游戏的游戏状态。来自正执行的视频游戏的输出(诸如视频数据、音频数据和触觉反馈数据)被传输到计算机2202。计算机2202在传输之前可进一步处理所述数据，或可将数据直接传输到相关装置。例如，将视频流和音频流提供到HMD 106，而将振动反馈命令提供到控制器2206。

在一个实施方案中，HMD 106、控制器2206和摄像机2204是连接到网络2210来与云游戏提供商2212通信的联网装置。例如，计算机2202可以是不另外执行视频游戏处理但促进网络流量传递的本地网络装置(诸如路由器)。HMD 106、控制器2206和摄像机2204到网络2210的连接是有线或无线的。在一些实施方案中，从内容源2216中的任一个获得在HMD 106上执行的内容或显示装置2214上可显示的内容。示例性内容源可以包括例如提供可下载内容和/或流式内容的互联网网站。在一些实例中，内容可以包括任何类型的多媒体内容，诸如电影、游戏、静态/动态内容、图片、社交媒体内容、社交媒体网站、虚拟旅行内容、卡通内容等。

在一个实施方案中，用户312正在HMD 106上玩游戏，其中这种内容是沉浸式3D交互内容。当玩家正在玩游戏时，将HMD 106上的内容共享到显示装置2214。在一个实施方案中，被共享到显示装置2214的内容允许接近用户312的或远程的其他用户在用户312玩游戏时观看。在其它实施方案中，观看用户312在显示装置2214上玩游戏的另一个玩家与用户312交互地参与。例如，观看在显示装置2214上玩游戏的用户控制游戏场景中的人物角色，提供反馈，提供社交互动，且/或提供评论(经由文字，经由语音，经由动作，经由示意动作等)，这允许未穿戴HMD 106的用户与用户312社交互动。

图23示出根据本公开中描述的实施方案的头戴式显示器(HMD)2300。HMD 2300是HMD 105的实例。如图所示，HMD 2300包括多个灯2302A至2302H、2302J和2302K(例如，其中2302K和2302J朝向HMD头带的后部或后侧定位)。这些灯中的每一个可被配置成具有特定形状和/或位置，并且可被配置成具有相同或不同颜色。灯2302A、2302B、2302C和2302D被布置在HMD 2300的前表面上。灯2302E和2302F被布置在HMD 2300的侧表面上。而且，灯2302G和2302H被布置在HMD 2300的隅角处，从而跨越HMD 2300的前表面和侧表面。将了解的是，在用户使用HMD 2300的交互式环境的所采撷图像中识别所述灯。

基于对灯的识别和追踪，确定HMD 2300在交互式环境中的位置和定向。还将了解的是，取决于HMD 2300相对于图像采撷装置(例如，摄像头等)的特定定向，所述灯中的一些可见或不可见。此外，取决于HMD 2300相对于图像采撷装置的定向，灯(例如，灯2302G和2302H)的不同部分暴露于图像采撷。在一些实施方案中，惯性传感器安置在HMD 2300中，所述惯性传感器提供关于定位的反馈，而无需灯。在一些实施方案中，灯和惯性传感器一起工作，以便实现位置/运动数据的混合和选择。

在一个实施方案中，灯被配置来向真实世界环境中的其他用户指示HMD 2300当前状态。例如，灯中的一些或全部被配置成具有颜色布置、强度布置，被配置成闪烁、具有某一开/关配置、或指示HMD2300的当前状态的其他布置。作为实例，灯被配置来在视频游戏的活跃游戏玩法(通常是发生在活跃时间轴期间或游戏场景内的游戏玩法)对于视频游戏的其他不活跃游戏玩法方面期间显示不同配置，诸如导航菜单界面或配置游戏设置(在所述设置期间，游戏时间轴或场景是不活跃的或暂停的)。

在实施方案中，灯还被配置来指示游戏玩法的相对强度。例如，灯的强度或闪烁速率在游戏玩法的强度增加时可增加。

在一个实施方案中，HMD 2300另外包括一个或多个麦克风。在所示出的实施方案中，HMD 2300包括位于HMD 2300的前表面上的麦克风2304A和2304B，以及位于HMD 2300的侧表面上的麦克风。通过利用麦克风阵列，处理来自麦克风中的每一个的声音以确定声源的位置。可以各种方式利用此信息，所述方式包括排除不想要的声源、使声源与视觉识别相关联等。

HMD 2300包括一个或多个图像采撷装置。在所示出的实施方案中，HMD 2300被示出为包括图像采撷装置2306A和2306B。在实施方案中，通过利用立体图像采撷装置对，从HMD 2300的视角采撷真实世界环境的三维(3D)图像和视频。可将这种视频呈现给用户312，以在穿戴HMD 2300时向用户提供“视频透视”能力。就是说，虽然严格意义上来说，用户不能透视HMD 2300，但是图像采撷装置2306A和2306B所采撷的视频提供功能等效物，其能够如同看穿HMD 2300一样看见HMD 2300外部的真实世界环境。

在一个实施方案中，利用虚拟元素来增强这种视频以提供增强现实体验，或将这种视频与虚拟元素以其他方式组合或掺混。虽然在所示出的实施方案中，在HMD 2300的前表面上示出两个摄像头，但是将了解的是，可存在任何数目的面向外部的摄像头，或单个摄像头可以安装在HMD 2300上并且定向在任何方向上。例如，在另一个实施方案中，HMD 2300的侧面上可安装有摄像机，以提供对环境的额外全景图像采撷。

图24示出使用客户端系统2402玩游戏的一个实例，所述客户端系统2402能够将视频游戏内容呈现到用户312的HMD 2300。在此说明中，提供到HMD 2300的虚拟对象(例如，游戏内容等)的状态处于丰富交互式3-D空间中。如上所述，虚拟对象的状态被下载到客户端系统2402或在一个实施方案中由云处理系统执行。云游戏服务2212包括用户2404的数据库，用户2404被允许接入特定游戏2430，与其他朋友分享经验，发评论以及管理他们的账户信息。

云游戏服务2212存储用于特定用户的游戏数据2406，所述游戏数据在玩游戏期间、未来玩游戏期间可使用，可被共享到社交媒体网络，或可用于存储战利品、奖品、状态、等级等。由云游戏服务2212管理社交数据2408。在一个实施方案中，由单独的社交媒体网络管理社交数据2408，所述社交媒体网络通过计算机网络2210与云游戏服务2212介接。通过计算机网络2210，连接任何数目的客户端系统2410，以便访问内容并且与其他用户交互。

继续参照图24的实例，在HMD 2300中观看的三维交互式场景包括游戏玩法，诸如在3-D视图或另一个虚拟环境中所示出的人物角色。一个人物角色(例如P1等)可由穿戴HMD2300的用户312控制。这个实例示出两个玩家之间的篮球运动场景，其中HMD用户312在3-D视图中在另一个人物角色上方把球扣入球篮。其他人物角色可以是游戏的AI(人工智能)人物角色，或可由另一个玩家或多个玩家(Pn)控制。穿戴HMD 2300的用户312被示出为在使用空间中四处移动，其中HMD 2300基于用户的头部移动和身体位置来四处移动。摄像头2412被示出成定位在房间中的显示屏上方，然而，对于HMD的使用来说，摄像头2412可以放置在可以采撷HMD 2300的图像的任何位置。如此，从摄像头2412的视角看，因为HMD 2300中所呈现的内容可以取决于HMD 2300被定位的方向，所以用户312被示出为从摄像头2412和显示装置2212转动了约90度。当然，在HMD的使用期间，用户312将四处移动、转动他的头部、在各个方向上看，这是利用由HMD 2300呈现的动态虚拟场景所需要的。

图25示出根据一个实施方案的在使用期间穿戴HMD 2300的用户。在这个实例中，示出使用由摄像头2412从所采撷视频帧获得的图像数据来追踪2502HMD 2300。另外，示出还可使用由摄像头2412从所采撷视频帧获得的图像数据来追踪2504控制器2206。还示出其中HMD 2300经由电缆2510连接到计算系统2202的配置。在一个实施方案中，HMD 2300从相同电缆获得电力或可以连接到另一条电缆。在又一实施方案中，HMD 2300可具有可再充电的电池，以便避免额外的电源线。

参照图26，示出了示出根据本公开中描述的实施方案的HMD2600的示例性部件的图。HMD 2600是HMD 105的实例。当HMD2600不包括任何摄像头时，HMD 2600是HMD 106的实例。应理解，取决于启用的配置和功能，从HMD 2600可以包括或不包括更多或更少的部件。HMD 2600包括处理器2602以便执行程序指令。存储器2604被提供用于存储目的，并且在一个实施方案中包括易失性存储器和非易失性存储器。包括显示器2606，所述显示器2606提供用户312观看的视觉界面。

显示器2606是由单个显示器限定，或呈每只眼睛单独显示屏的形式。当提供两个显示屏时，有可能分别提供左眼和右眼视频内容。将视频内容单独呈现给每只眼睛例如可以提供对三维(3D)内容的更好的沉浸式控制。如本文中所述，在一个实施方案中，通过使用针对一只眼睛的输出，第二屏幕具备HMD 2600的第二屏幕内容，并且随后格式化所述内容以供以2D格式显示。在一个实施方案中，一只眼睛可以是左眼视频馈送，而在其它实施方案中，它可以是右眼视频馈送。

电池2608被提供为HMD 2600的电源。在其它实施方案中，电源包括到电源的插座连接。在其它实施方案中，可提供到电源的插座连接和电池2608。运动检测模块2610包括各种运动敏感硬件中的任一种，诸如磁力计2612、加速计2614和陀螺仪2616。

加速计是用于测量加速度和重力所引起的反作用力的装置。单轴和多轴(例如，六轴)模型能够检测不同方向上的加速度的量级和方向。加速计用于感测倾斜度、振动和冲击。在一个实施方案中，使用三个加速计来提供重力方向，所述重力方向为两个角度(世界空间纵摇和世界空间横摇)给出绝对参照。

磁力计测量HMD附近的磁场的强度和方向。在一个实施方案中，在HMD内使用三个磁力计，从而确保世界空间偏航角的绝对参照。在一个实施方案中，磁力计被设计来跨越地球磁场，地球磁场为±80微特斯拉。磁力计受金属影响，并且提供与实际偏航无变化的偏航测量。磁场由于环境中的金属而扭曲，从而导致偏航测量的扭曲。如果必要的话，那么可使用来自其他传感器(诸如陀螺仪或摄像头)的信息来校准此扭曲。在一个实施方案中，加速计2614与磁力计2612一起用来获得HMD 2600的倾斜度和方位角。

陀螺仪是用于基于角动量的原理来测量或维持定向的装置。在一个实施方案中，三个陀螺仪基于惯性感测提供关于越过相应轴(x、y和z)的移动的信息。陀螺仪帮助检测快速旋转。然而，陀螺仪在不存在绝对参照的情况下可随时间而漂移。为了减少漂移，定期重新设置陀螺仪，其可以使用其他可用信息来完成，所述信息诸如基于对对象、加速计、磁力计等的视觉追踪的位置/定向确定。

提供摄像头2618来用于采撷真实世界环境的图像和图像流。在一个实施方案中，HMD 2600中包括一个以上的摄像头(任选地)，所述摄像头包括面向后(当用户312观看HMD2600的显示时，背对用户312)的摄像头，以及面向前(当用户312观看HMD 2600的显示时，朝向用户312)的摄像头。另外，在实施方案中，HMD 2600中包括深度摄像头2620来用于感测真实世界环境中的对象的深度信息。

HMD 2600包括扬声器2622来用于提供音频输出。此外，在一个实施方案中，包括麦克风2624来用于从真实世界环境采撷音频，包括来自周围环境的声音、用户312所说的话语等。在实施方案中，HMD 2600包括触觉反馈模块2626来用于向用户312提供触觉反馈。在一个实施方案中，触觉反馈模块2626能够引起HMD 2600的移动和/或振动，以便向用户312提供触觉反馈。

LED 2630被提供为HMD 2600的状态的视觉指示器。例如，LED指示电池电量、通电等。提供读卡器2632来允许HMD 2600从存储卡读取信息并且向存储卡写入信息。包括USB接口2634来作为接口的一个实例，以便允许连接装置、或到其他装置(诸如其他便携式装置、计算机等)的连接。在HMD 2600的各种实施方案中，可包括各种接口中的任一种来启用HMD2600的更大连接性。

在实施方案中，包括Wi-Fi模块2636来用于允许经由无线联网技术连接到计算机网络。此外，在一个实施方案中，HMD 2600包括蓝牙模块2638来用于允许无线连接到其他装置。包括通信链路2640以便连接到其他装置。在一个实施方案中，通信链路2640利用红外线传输来进行无线通信。在其他实施方案中，通信链路2640可利用各种无线或有线传输协议中的任一种来与其他装置通信。

包括输入按钮/传感器2642来为用户312提供输入接口。可包括各种输入接口中的任一种，诸如按钮、示意动作、触控板、操纵杆、轨迹球等。在一个实施方案中，HMD 2600中包括超声通信模块2644来用于促进经由超声技术与其他装置的通信。

在实施方案中，包括生物传感器2646来允许检测来自用户312的生理数据。在一个实施方案中，生物传感器2646包括一个或多个干电极，其用于通过用户皮肤、语音检测、眼睛视网膜检测来检测用户312的生物电信号以识别用户/个人资料(profile)等。

HMD 2600的前述部件已仅作为可包括在HMD 2600中的示例性部件进行描述。在本公开中描述的各种实施方案中，HMD 2600可包括或可不包括各种前述部件中的一些。HMD2600的实施方案可另外包括目前未描述、但在本领域已知的其他部件，以用于促进如本文所述的本发明的方面的目的。

本领域技术人员将了解，在本公开的各种实施方案中，可结合显示器上所显示的交互式应用来利用前述手持式装置，以提供各种交互式功能。仅作为实例且不作为限制来提供本文所述的示范性实施方案。

在一个实施方案中，如本文所提及的客户端和/或客户端装置可包括头戴式显示器(HMD)、终端、个人计算机、游戏控制台、平板计算机、电话、机顶盒、电话亭、无线装置、数字垫、独立装置、手持式玩游戏装置和/或类似装置。通常，客户端被配置来接收经编码的视频流，对视频流进行解码，并且将所得的视频呈现给用户(例如游戏玩家)。接收经编码的视频流和/或对视频流进行解码的过程通常包括将个别视频帧存储在客户端的接收缓冲器中。可在与客户端成一体的显示器上或在诸如监视器或电视机的单独装置上将视频流呈现给用户。

客户端任选地被配置来支持一个以上的游戏玩家。举例来说，游戏控制台可被配置来支持两个、三个、四个或更多个同时玩家(例如，P1、P2……Pn)。这些玩家中的每一个可接收或共享视频流，或单个视频流可包括特别针对每一个玩家而生成(例如，基于每一个玩家的视角而生成)的帧的区。任何数目的客户端可以是本地的(例如，位于同一地点)或地理上分散的。游戏系统中所包括的客户端的数目可从一个或两个广泛变化到几千个、几万个或更多个。如本文所使用，术语“游戏玩家”用于指玩游戏的人，并且术语“玩游戏装置”用于指用于玩游戏的装置。在一些实施方案中，玩游戏装置可指合作来向用户传达游戏体验的多个计算装置。

举例来说，游戏控制台和HMD可与视频服务器系统合作来传达通过HMD观看的游戏。在一个实施方案中，游戏控制台从视频服务器系统接收视频流，并且游戏控制台将视频流或对视频流的更新转发给HMD和/或电视机以便进行呈现。

更进一步来说，HMD可用于观看所生成或所使用的任何类型的内容和/或与所述内容交互，诸如视频游戏内容、电影内容、视频剪辑文件内容、网络内容、广告内容、比赛内容、博弈游戏内容、电话会议/会谈内容、社交媒体内容(例如，发帖、消息、媒体流、朋友的活动和/或玩游戏)、视频部分和/或音频内容，以及经由浏览器和应用程序通过互联网从来源消耗的内容，以及任何类型的流式内容。当然，前述列举的内容不具有限制性，因为可以呈现任何类型的内容，只要其可以在HMD中观看或被呈现到屏幕或HMD的屏幕即可。

客户端可(但不要求)还包括被配置用于修改接收到的视频的系统。例如，客户端可被配置来：执行进一步呈现，将一个视频图像叠加在另一个视频图像上，修剪视频图像，和/或类似操作。作为另一实例，客户端可被配置来接收各种类型的视频帧，如I帧、P帧和B帧，并且被配置来将这些帧处理成图像以向用户显示。在一些实施方案中，客户端的构件被配置来对视频流执行进一步呈现、明暗处理、转换成3-D、转换成2D、失真消除、设定尺寸或类似操作。客户端的构件任选地被配置来接收一个以上的音频或视频流。

客户端的输入装置可包括例如单手游戏控制器、双手游戏控制器、示意动作辨别系统、注视辨别系统、语音辨别系统、键盘、操纵杆、指点装置、力反馈装置、运动和/或位置感测装置、鼠标、触摸屏、神经接口、摄像头、还未开发出的输入装置，和/或类似装置。

视频源可包括呈现逻辑，例如存储在计算机可读介质(诸如存储体)上的硬件、固件和/或软件。这个呈现逻辑被配置来基于游戏状态创建视频流的视频帧。呈现逻辑的全部或部分任选地安置在一个或多个图形处理单元(GPU)内。呈现逻辑通常包括被配置来用于确定对象之间的三维空间关系且/或用于基于游戏状态和视角来应用适当的纹理等的处理级。呈现逻辑生成已编码的原始视频。举例来说，可根据Adobe

标准、HTML-5、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.Xvid.FFmpeg、x264、VP6-8、realvideo、mp3或类似标准对原始视频进行编码。编码过程生成视频流，任选地将所述视频流打包以便传达到装置上的解码器。视频流是由帧大小和帧速率来表征。典型的帧大小包括800x 600、1280x 720(例如720p)、1024x 768、1080p，但是可使用任何其它帧大小。帧速率是每秒的视频帧数。在一个实施方案中，视频流包括不同类型的视频帧。例如，H.264标准包括“P”帧和“I”帧。I帧包括用来刷新显示装置上的全部宏块/像素的信息，而P帧包括用来刷新所述宏块/像素的子集的信息。P帧的数据大小通常小于I帧。如本文中所使用，术语“帧大小”意在指帧内的像素数。术语“帧数据大小”用来指存储所述帧所需的字节数。

在一些实施方案中，客户端可以是通用计算机、专用计算机、游戏控制台、个人计算机、膝上型计算机、平板计算机、移动计算装置、便携式游戏装置、蜂窝式电话、机顶盒、流式媒体接口/装置、智能电视机或联网显示器，或能够被配置来满足如本文所定义的客户端功能性的任何其它计算装置。在一个实施方案中，云游戏服务器被配置来检测用户所利用的客户端装置的类型，并且提供适合于用户的客户端装置的云游戏体验。举例来说，可使图像设置、音频设置和其它类型的设置针对用户的客户端装置最佳化。

图27示出信息服务提供商体系结构的实施方案。信息服务提供商(ISP)2702将大量信息服务传达到地理上分散的并且经由计算机网络2210连接起来的用户2700-1、2700-2、2700-3、2700-4等。在一个实施方案中，ISP传达一种类型的服务，诸如股票价格更新，或多种服务，诸如广播媒体、新闻、体育赛事、玩游戏等。另外，每一个ISP所提供的服务是动态的，也就是说，可以在任何时间点添加或去除服务。因此，向特定个人提供特定类型服务的ISP可以随时间改变。举例来说，当用户在她的家乡时，所述用户可由紧密接近用户的ISP服务，并且当用户到不同城市旅游时，所述用户可由不同ISP服务。家乡的ISP将所需的信息和数据传送到新的ISP，使得用户信息“跟随”用户到新的城市，从而使数据更靠近用户并且更容易访问。在另一个实施方案中，可在主ISP与服务器ISP之间建立主-服务器关系，所述主ISP管理用户的信息，并且所述服务器ISP在主ISP的控制下与用户直接介接。在另一个实施方案中，当客户端在世界范围内四处移动时，数据从一个ISP传送到另一个ISP，以便使处于较好位置来服务用户的ISP成为传达这些服务的ISP。

ISP 2702包括应用服务提供商(ASP)2706，所述ASP 2706通过计算机网络2210向客户提供基于计算机的服务。使用ASP模型提供的软件有时也称为按需软件或软件即服务(SaaS)。提供对特定应用程序(诸如客户关系管理)的访问权的简单形式是通过使用标准协议，诸如HTTP。应用软件驻留在供应商的系统上，并且由用户通过使用HTML的网页浏览器、通过供应商所提供的专用客户端软件或其它远程接口(诸如精简客户端)来访问。

在广泛的地理区域范围内传达的服务常常使用云计算。云计算是一种计算方式，其中通过计算机网络2210提供可动态扩展的并且常常虚拟化的资源作为服务。用户无需是支持用户的“云”中的技术基础结构方面的专家。在一个实施方案中，云计算可被分为不同服务，诸如基础结构即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。云计算服务常常提供从网络浏览器接入的在线共用商业应用程序，而软件和数据被存储在服务器上。基于在计算机网络图中如何描绘互联网以及其隐藏的复杂基础结构的抽象概念，将术语云用作互联网(例如，使用服务器、存储体和逻辑)的隐喻。

此外，ISP 2702包括游戏处理服务器(GPS)2708，所述GPS 2708由游戏客户端用来玩单玩家或多玩家视频游戏。通过互联网玩的大多数视频游戏均经由连到游戏服务器的连接来操作。通常，游戏使用专用的服务器应用程序，所述服务器应用程序收集来自玩家的数据并且将其分发给其它玩家。这比对等布置更高效率且更有效，但是其需要单独的服务器来托管服务器应用程序。在另一个实施方案中，GPS建立玩家与他们的相应玩游戏装置之间的通信来交换信息而无需依赖集中化GPS。

专用GPS是独立于客户端来运行的服务器。此类服务器通常在位于数据中心的专用硬件上运行，从而提供更大的带宽和专用的处理能力。专用服务器是托管大多数基于PC的多玩家游戏的游戏服务器的优选方法。大型多玩家在线游戏在通常由软件公司(所述软件公司拥有游戏版权)托管的专用服务器上运行，从而允许所述专用服务器控制并且更新内容。

广播处理服务器(BPS)2710向观众分配音频或视频信号。对非常小范围的观众的广播有时称为窄播。广播分配的最后一站是信号如何到达听众或观看者，并且如同无线电台或电视台，所述信号可从空中到达天线和接收器，或可通过有线电视或有线广播(或“无线电缆”)经由电台或直接从网络到达。互联网还可给接受者带来无线电或电视(特别是利用多播)，从而允许共享信号和带宽。历史上，广播已受地理区限定，诸如国家广播或区域广播。然而，在快速互联网扩散的情况下，广播不再受地理位置限定，因为内容可以到达几乎全世界的任何国家。

存储服务提供商(SSP)2712提供计算机存储空间和相关管理服务。SSP还提供定期备份和归档。通过提供存储作为服务，用户可以根据需要订购更多的存储。另一个主要优点在于，SSP包括备份服务，并且用户在其计算机的硬盘驱动器发生故障时，将不会丢失他们的全部数据。此外，在实施方案中，多个SSP具有用户数据的全部或部分拷贝，从而允许用户独立于用户所在的位置或正用于访问数据的装置以高效方式访问数据。举例来说，当用户在移动中时，用户可以访问家用计算机中以及移动电话中的个人文件。

通信提供商2714提供到达用户的连接性。一种通信提供商是提供对互联网的访问的互联网服务提供商(ISP)。ISP使用适于传达互联网协议数据报的数据传输技术来连接其客户，所述数据传输技术诸如拨号上网、DSL、电缆调制解调器、光纤、无线或专用高速互连件。通信提供商还可以提供消息接发服务，诸如电子邮件、即时消息接发和SMS发短信。另一种类型的通信提供商是网络服务提供商(NSP)，所述NSP通过提供到互联网的直接主干接入来销售带宽或网络接入。网络服务提供商在一个实施方案中包括电信公司、数据运营商、无线通信提供商、互联网服务提供商、提供高速互联网接入的有线电视经营商等。

数据交换2704使ISP 2702内部的若干模块互连，并且经由计算机网络2210将这些模块连接到用户2700。数据交换2704覆盖其中ISP 2702的全部模块均紧密接近的小型区域，或当不同模块在地理上分散时，覆盖较大的地理区域。举例来说，数据交换2788包括数据中心的机柜内的快速千兆位以太网(或更快)，或洲际虚拟局域网(VLAN)。

用户2700利用客户端装置2720来访问远程服务，所述客户端装置2720包括至少一个CPU、一个显示器和I/O。客户端装置可以是PC、移动电话、上网本、平板电脑、玩游戏系统、PDA等。在一个实施方案中，ISP 2702辨别客户端所使用的装置的类型并且调整所采用的通信方法。在其它状况下，客户端装置使用标准通信方法(诸如html)来访问ISP 2702。

应注意的是，虽然实施方案中的一些在本文中是关于用户312的手来描述的，但是所述实施方案类似地适用于用户312的另一身体部分。

在一个实施方案中，代替游戏控制台，使用计算装置(例如，平板电脑、计算机、智能电视机等)来执行本文中描述为由游戏控制台执行的操作。

应注意的是，虽然上述实施方案中的一些涉及将信号从平板装置发送到HMD，但是在各种实施方案中，将信号从平板装置发送到游戏控制台。游戏控制台的处理器分析所述信号来确定用户的身体部分相对于平板装置的位置和/或定向并且识别示意动作。处理器确定示意动作如何影响游戏的游戏数据或另一环境(例如，视频会议环境)的环境数据。将示意动作与游戏数据或其他环境数据一起提供到HMD或提供到电视机或提供到计算装置，并且HMD或电视机或计算装置显示并入所述示意动作的游戏或另一环境(例如，视频会议环境等)。

本公开中描述的实施方案可利用各种计算机系统配置来实践，所述计算机系统配置包括手持式装置、微处理器系统、基于微处理器的或可编程的消费电子产品、小型计算机、大型计算机和类似配置。本公开中描述的实施方案还可以在分布式计算环境中实践，其中由通过有线或无线网络链接起来的远程处理装置执行任务。

考虑到以上实施方案，应理解的是，本公开中描述的实施方案可以采用各种计算机实施的操作，这些操作涉及存储在计算机系统中的数据。这些操作是需要对物理量进行物理操纵的操作。本公开中描述的任何操作都是有用的机器操作，所述操作形成本公开中描述的各种实施方案的部分。本公开中描述的一些实施方案还涉及用于执行这些操作的装置或设备。所述设备可以专门构造用于所要求的目的，或所述设备可以是由存储在计算机中的计算机程序选择性地激活或配置的通用计算机。具体来说，各种通用机器可以与根据本文的教示所编写的计算机程序一起使用，或者可更方便地构造更专门的设备来执行所要求的操作。

本公开中描述的一些实施方案也可以体现为计算机可读介质上的计算机可读代码。计算机可读介质是可以存储数据的任何数据存储装置，所述数据随后可以由计算机系统读取。计算机可读介质的实例包括硬盘驱动器、NAS、ROM、RAM、CD-ROM、CD-R、CD-RW、磁带、光学数据存储装置、非光学数据存储装置等。计算机可读介质可以包括分布在网络耦接的计算机系统上的计算机可读有形介质，使得计算机可读代码是以分布方式被存储和执行的。

应注意的是，在一些实施方案中，本文中描述的实施方案中的任一个可以与其余实施方案中的任一个组合。

此外，虽然上述实施方案是关于玩游戏环境来描述的，但是在一些实施方案中，代替游戏，使用其他环境，例如，视频会议环境等。

尽管以特定顺序描述了所述方法操作，但应理解，可在操作之间执行其他内务处理操作，或者可调整操作以使得它们在略微不同的时间发生，或者可分布在系统中，所述系统允许处理操作以与所述处理相关联的各种时间间隔发生，只要重叠操作的处理是以所需方式执行即可。

尽管为了理解的清楚性目的而略微详细地描述了本公开中描述的前述实施方案，但很显然，可以在所附权利要求书的范围内做出某些变化和修改。因此，本实施方案被认为是说明性的而非限制性的，并且实施方案不限于本文中给出的细节，但可在所附权利要求书的范围和等效范围内进行修改。

Claims (18)

1.一种用于相对于平板装置对用户的手的检测的方法，其包括：

使用多个超声发射器发射超声能量，所述超声发射器整合在所述平板装置内；

感测所述超声能量的中断部分，其中通过整合在所述平板装置内并且布置在阵列中的多个超声传感器执行所述中断部分的感测，其中当所述用户的所述手放置在接近所述平板装置时，感测所述超声能量的所述中断部分，其中感测超声能量的所述中断部分的所述多个超声传感器根据所述手的当前位置和当前定向生成能量图像；

连续重复所述感测来生成能量图像流，根据所述感测正在重复的同时所述手的所述当前位置和所述当前定向的变化，生成所述能量图像流；以及

将所述能量图像流传达到用于处理所述能量图像中的每一个的处理器，用于确定所述手的所述当前位置和所述当前定向的变化，其中所述变化的确定至少部分地基于所述能量图像内的强度，其中所述强度与超声能量的所述中断部分相关联，其中确定所述位置和所述定向的变化来生成所述手的模型和所述手的所述模型的移动，其中所述手的所述模型至少部分地呈现为显示在头戴式显示器中的虚拟环境中的虚拟手。

2.如权利要求1所述的方法，其中所述超声发射器布置在阵列中。

3.如权利要求1所述的方法，其中使用连接到所述处理器的摄像头或使用所述头戴式显示器中的摄像头或使用所述平板装置中的摄像头或使用所述平板装置位于其中的环境中的摄像头来确定所述手的另一位置和另一定向。

4.如权利要求1所述的方法，其中将所述能量图像流传达到所述处理器以生成所述手的所述模型包括：将电信号传达到所述处理器用于确定所述手的位置和定向的变化，其中所述手的所述位置和定向的变化将相对于xyz坐标系统来确定，其中所述平板装置的表面限定用于所述xyz坐标系统的参照。

5.如权利要求1所述的方法，其中所述平板装置包括标记，其位于所述平板装置的表面上，其中所述虚拟手显示在所述头戴式显示器的显示装置上，其中所述头戴式显示器将穿戴在所述用户的头上并且具有摄像头，其中所述摄像头是用于采撷对所述标记中的一个或多个的遮挡以促进确定所述用户的所述手的位置和定向。

6.如权利要求1所述的方法，其中在所述用户正在经由所述头戴式显示器与所述虚拟环境交互时，执行感测所述超声能量的所述中断部分。

7.如权利要求1所述的方法，其中所述平板装置具有所述多个超声传感器位于其上的表面，其中所述表面用于当所述手与所述平板装置上方的能量体积交互时接收所述手的阴影，其中所述阴影限定在被所述用户的手中断时所述中断部分的强度。

8.如权利要求1所述的方法，其中所述多个超声发射器布置在阵列中，其中所述平板装置被配置用于接收来自所述手的无触摸交互，其中所述发射的超声能量延伸到所述平板装置上方的能量边界，其中当所述手位于所述能量边界内时，生成超声能量的所述中断部分。

9.如权利要求1所述的方法，其中所述手的所述模型由所述虚拟手的位置、或所述虚拟手的定向、或所述虚拟手的形状、或所述虚拟手的颜色、或所述虚拟手的边界、或所述虚拟手的纹理、或其中的两个或更多个的组合限定，其中所述虚拟手的所述边界由形成所述虚拟手的轮廓的图像的像素限定。

10.如权利要求1所述的方法，其中感测所述中断部分包括感测由所述手的手指的第一指关节中断的超声能量以及感测由所述手指的第二指关节中断的超声能量，用于促进确定所述用户的所述手指的位置，使用将所述第一指关节的位置耦接到所述第二指关节的位置的一条线来执行所述手指的位置的所述确定。

11.如权利要求1所述的方法，其中所述虚拟手是用于在穿戴在所述用户的头上时显示在所述头戴式显示器中，或是用于显示在电视机上，其位于所述用户位于其中的真实世界环境中。

12.如权利要求1所述的方法，其中以所述多个超声传感器的帧速率生成所述能量图像流，所述帧速率是所述能量图像的帧的生成速率，其中所述帧速率是由所述多个超声传感器感测或采撷所述能量的所述中断部分的频率。

13.如权利要求1所述的方法，其中所述多个超声发射器布置在阵列中，其中所述发射的超声能量是用于在所述平板装置上方创建能量体积，其中所述手放置在接近所述平板装置来与所述能量体积交互并且中断所述能量体积。

14.如权利要求1所述的方法，其中所述手的所述模型的所述移动限定所述手的手指的一个或多个图像的移动，其中使所述虚拟手能够与所述虚拟环境中的虚拟对象交互，其中所述交互由用于所述虚拟对象的对象模型限定，限定所述对象模型用于所述虚拟环境内的预先限定的移动或动作。

15.一种用于增强相对于平板装置对用户的手的检测的平板装置，其包括：

多个超声发射器，其被配置为发射超声能量，所述超声发射器整合在所述平板装置内；

用于感测所述超声能量的中断部分的多个超声传感器，所述超声传感器在所述平板装置的表面上布置在阵列中，其中当所述用户的所述手放置在接近所述平板装置时，感测所述超声能量的所述中断部分，其中所述超声传感器被配置来感测所述超声能量的所述中断部分用于根据所述手的当前位置和当前定向生成能量图像，

其中所述超声传感器还被配置来连续重复所述感测以生成能量图像流，根据所述感测正在重复的同时所述手的所述当前位置和所述当前定向的变化，生成所述能量图像流；以及

耦接到所述超声传感器的通信装置，所述通信装置用于将所述能量图像流传达到处理器，用于确定所述手的所述当前位置和所述当前定向的变化，其中所述手的位置和定向的变化至少部分地基于所述能量图像内的强度确定，其中所述强度与超声能量的所述中断部分相关联，其中确定所述位置和所述定向的变化用于生成所述手的模型和所述手的所述模型的移动，其中所述手的所述模型至少部分地呈现为显示在头戴式显示器中的虚拟环境中的虚拟手。

16.如权利要求15所述的平板装置，其中所述多个超声发射器布置在阵列中。

17.一种用于相对于平板装置对用户的身体部分检测的系统，其包括：

所述平板装置，其包括：

多个超声发射器，其整合在所述平板装置内，被配置为发射超声能量；

位于所述平板装置的表面上的多个超声传感器，其用于在身体部分与所发射的所述超声能量交互时接收能量部分,

其中所述超声传感器被配置来通过当所述身体部分处于当前位置和当前定向时感测所述能量部分来从所述能量部分生成能量图像，其中所述传感器还被配置来连续重复所述感测以生成能量图像流，根据所述感测正在重复的同时所述身体部分的所述当前位置和当前定向的变化，生成所述能量图像流；

耦接到所述超声传感器的平板通信装置，其用于传达所述能量图像流；

耦接到所述平板装置的游戏控制台，所述游戏控制器包括：

耦接到所述平板通信装置的游戏通信装置，其用于从所述平板通信装置接收所述能量图像流；

耦接到所述游戏通信装置的游戏处理器，其用于基于所述能量图像流来确定所述身体部分的移动，其中为了确定所述身体部分的移动，所述游戏处理器配置为基于所述能量图像内的强度确定确定所述身体部分的位置和定向的变化，其中所述强度与超声能量的能量部分相关联，

其中所述游戏处理器是用于基于所述身体部分的所述移动来确定虚拟环境中的虚拟对象的状态，

其中所述游戏通信装置是用于发送关于所述虚拟对象的所述状态的数据；以及

耦接到所述游戏控制台的头戴式显示器，所述头戴式显示器包括：

耦接到所述游戏通信装置的头戴式显示器通信装置，其用于从所述游戏通信装置接收关于所述虚拟对象的所述状态的所述数据；

耦接到所述头戴式显示器通信装置的处理器，其用于在图像中显示具有所述状态的所述虚拟对象。

18.如权利要求17所述的系统，

其中所述游戏处理器是用于将所述虚拟对象参照在所述图像中限定的参照点的位置确定为与所述身体部分相对于由所述平板装置的所述表面限定的参照的位置成比例，

其中所述游戏处理器是用于将所述虚拟对象参照在所述图像中限定的所述参照点的定向确定为与所述身体部分相对于由所述平板装置的所述表面限定的所述参照的定向成比例。

Images