CN103249461A - 用于使得手持设备能够捕获交互应用的视频的系统 - Google Patents

Abstract

提供了用于使得手持设备能够捕获在主显示器上呈现的交互应用的交互会话的视频的方法和系统。交互应用的交互会话限定用户和交互应用之间的交互。确定由观众操作的手持设备的初始位置和取向。基于用户和交互应用之间的交互，确定交互应用的当前状态。在交互会话期间追踪手持设备的位置和取向。基于交互应用的当前状态和追踪的手持设备的位置和取向，生成交互会话的观众视频流。在手持设备的手持显示器上渲染观众视频流。

Description

用于使得手持设备能够捕获交互应用的视频的系统

技术领域

本发明涉及用于利用交互应用实现交互性的方法和系统。

背景技术

视频游戏产业的成长中的部分涉及便携式手持设备的使用。这种便携式设备的示例包括诸如由索尼计算机娱乐股份有限公司和其他公司制造的专用游戏设备、以及诸如智能电话、PDA、数字多媒体播放器等的其他类型的便携式设备。随着这种便携式设备的计算能力增加，从而使便携式设备的具有处理越来越复杂的程序和任务的能力。

例如，现今的便携式设备可以包括集成到单个设备中的若干不同类型的硬件。许多这种硬件可以包括彩色显示器、相机、扬声器和诸如按钮、触摸屏或触笔的输入机制。

本发明的实施例在这样的背景中出现。

发明内容

本发明的实施例提供了用于使得手持设备能够捕获在主显示器上呈现的交互应用的交互会话的视频的方法和系统。应该理解，本发明可以以多种方式实施，诸如处理、装置、系统、设备或计算机可读介质上的方法。下面描述本发明的若干发明性实施例。

在一个实施例中，提供一种用于使得手持设备能够捕获在主显示器上呈现的交互应用的交互会话的视频的方法。根据该方法，开始交互应用的交互会话，交互会话限定用户和交互应用之间的交互。然后，确定由观众操作的手持设备的初始位置和取向。基于用户和交互应用之间的交互，确定交互应用的当前状态。在交互会话期间追踪手持设备的位置和取向。基于交互应用的当前状态和追踪的手持设备的位置和取向，生成交互会话的观众视频流。在手持设备的手持显示器上渲染观众视频流。

在一个实施例中，交互会话包括从由用户操作的控制器设备接收交互输入，交互输入用于确定交互应用的当前状态。

在一个实施例中，基于交互应用的当前状态，生成应用视频流，并且在主显示器上渲染应用视频流。交互会话限定用户和渲染的应用视频流之间的交互。

在一个实施例中，手持设备的位置和取向限定由交互应用限定的虚拟空间中虚拟视点的位置和取向。并且观众视频流包括从虚拟视点的透视捕获的虚拟空间的图像。

在一个实施例中，从交互应用发送观众视频流到手持设备，以便使得能够在手持设备的手持显示器上渲染观众视频流。

在一个实施例中，基于交互应用的当前状态确定应用状态数据，并且发送应用状态数据到手持设备。基于应用状态数据和追踪的手持设备的位置和取向，在手持设备生成观众视频流。

在一个实施例中，捕获其中出现用户和交互应用之间交互的交互环境的环境视频流。基于环境视频流生成观众视频流。

在一个实施例中，通过用虚拟元素增强环境视频流，生成观众视频流。

在一个实施例中，生成观众视频流包括检测环境视频流中的用户并且用虚拟元素代替环境视频流中检测到的用户的至少一部分的方法操作。在一个实施例中，代替包括用由用户控制的交互应用的角色代替环境视频流中检测到的用户。

在一个实施例中，确定用户的初始位置，并且追踪交互会话期间用户的位置。基于相对于用户的位置的手持设备的位置和取向，生成观众视频流。

在一个实施例中，将交互应用的虚拟环境中的对象映射到用户的位置，并且相对于用户的位置的手持设备的位置和取向限定由交互应用限定的虚拟空间中的虚拟视点的位置和取向。并且观众视频流包括从虚拟视点的透视捕获的虚拟空间的图像，当手持设备朝向用户的位置取向时对象包括在观众视频流的图像中。在一个实施例中，由用户控制对象。在一个实施例中，对象是交互应用的角色。在另一个实施例中，基于由用户操作的控制器设备的位置，确定用户的位置。

在一个实施例中，捕获其中出现用户和交互应用之间交互的交互环境的环境视频流。其中至少部分地基于环境视频流，确定用户的位置和相对于用户的位置的手持设备的位置和取向。

在一个实施例中，将观众视频流存储在存储器中。

在另一个实施例中，提供一种用于捕获在主显示器上呈现的交互应用的交互会话的视频的系统。所述系统包括用于呈现交互应用的控制台设备。控制台设备包括（i）会话模块，用于开始交互应用的交互会话，交互会话限定用户和交互应用之间的交互，（ii）手持设备模块，用于确定和追踪交互会话期间由观众操作的手持设备的位置和取向，以及（iii）观众视频流模块，用于基于交互应用的当前状态和追踪的手持设备的位置和取向，生成交互会话的观众视频流。所述系统还包括手持设备，手持设备包括用于渲染观众视频流的手持显示器。

在一个实施例中，所述系统包括由用户操作的控制器设备，控制器设备提供交互应用，交互输入用于确定交互应用的当前状态。

在一个实施例中，控制台设备还包括应用视频流模块，用于基于交互应用的当前状态，生成应用视频流，并且在主显示器上渲染应用视频流。并且交互会话限定用户和渲染的应用视频流之间的交互。

在一个实施例中，手持设备的位置和取向限定由交互应用限定的虚拟空间中虚拟视点的位置和取向。并且观众视频流包括从虚拟视点的透视捕获的虚拟空间的图像。

在一个实施例中，观众视频流模块从交互应用发送观众视频流到手持设备，以便使得能够在手持设备的手持显示器上渲染观众视频流。

在一个实施例中，手持设备还包括图像捕获设备，用于捕获其中出现用户和交互应用之间交互的交互环境的环境视频流。并且观众视频流模块基于环境视频流生成观众视频流。

在一个实施例中，观众视频流模块通过用虚拟元素增强环境视频流，生成观众视频流。

在一个实施例中，观众视频流模块通过检测环境视频流中的用户，并且用虚拟元素代替环境视频流中检测到的用户的至少一部分，生成观众视频流。在一个实施例中，代替包括用由用户控制的交互应用的角色代替环境视频流中检测到的用户。

在一个实施例中，还包括用户追踪模块，用户追踪模块确定用户的初始位置并且追踪交互会话期间用户的位置。并且基于相对于用户的位置的手持设备的位置和取向，观众视频流模块生成观众视频流。

结合附图，从作为示例说明本发明的原理的以下详细描述，本发明的其他方面将变得明显。

附图说明

通过参照结合附图进行的以下描述，可以最好地理解本发明，附图中：

图1图示根据本发明的实施例，用于使得手持设备能够捕获交互应用的交互部分的视频的系统。

图2图示根据本发明的实施例，包括与交互应用交互的用户和观众的交互环境。

图3图示根据本发明的实施例，包括与交互应用交互的用户和观众的交互环境。

图4A图示根据本发明的实施例，包括与交互应用交互的用户和观众的交互环境的顶视图。

图4B图示根据本发明的实施例，来自观众的视点的图4A的交互环境。

图5图示根据本发明的实施例，从操作手持设备的观众的视点示出的包括与交互应用交互的用户的交互环境。

图6图示根据本发明的实施例，从观众的视点示出的交互环境。

图7图示根据本发明的实施例，包括执行在主显示器上渲染的交互应用的控制台设备的交互环境。

图8A图示根据本发明的实施例，真实世界交互环境的坐标空间。

图8B图示对应于图8A的真实交互环境的坐标空间的虚拟空间的坐标空间。

图9A图示根据本发明的实施例，其在交互环境中的定位限定球面或圆柱坐标系统的原点的用户。

图9B图示向其映射图9的交互环境的虚拟空间。

图10A图示根据本发明的实施例，交互环境的顶视图。

图10B描绘当观众位于如图10A所示的位置时，图示在手持设备上显示的视频的场景。

图11图示根据本发明的实施例，用于使得由观众操作的便携式设备能够显示交互游戏的视频的方法。

图12图示根据本发明的实施例，用于使得观众能够利用手持设备影响交互应用的状态的系统。

图13图示根据本发明的实施例，用于使得观众能够影响利用便携式设备的游戏的方法。

图14图示根据本发明的实施例，示出便携式设备的组件的图。

图15示意性图示根据本发明的实施例，

娱乐设备、可以兼容用于连接控制设备和具有在基础计算设备运行的计算机程序的手持设备的控制台的总体系统架构。

具体实施方式

以下实施例描述用于使得交互应用能够利用手持设备的资源的系统的方法和装置。在本发明的一个实施例中，提供主处理接口，用于将交互应用的主视频流渲染到显示器。第一用户观看在显示器上渲染的主视频流，并且通过操作与主处理接口通信的控制器设备交互。同时，第二用户操作同一交互环境中的手持设备。手持设备将交互应用的从视频流渲染在与示出主视频流的显示器分离的手持设备的显示器上。因此，现在将描述根据本发明实施例的方法和装置。

然而，对于本领域的技术人员显而易见的是可以实践本发明而没有一些或所有这些具体细节。在其他情况下，不详细描述公知的处理操作，以便不会不必要地模糊本发明。

参照图1，示出了根据本发明的实施例，用于使得手持设备能够捕获交互应用的交互部分的视频的系统。该系统存在于其中用户与交互应用交互的交互环境中。该系统包括执行交互应用12的控制台设备10。控制台设备10可以是计算机、控制台游戏系统、机顶盒、媒体播放器、或者能够执行交互应用的任何其他类型的计算设备。控制台游戏系统的示例包括Sony

等。交互应用12可以是任何各种类型的应用，其便于多个用户之一与应用本身之间的交互。交互应用的示例包括视频游戏、模拟器、虚拟现实程序、实用工具、或者便利用户和应用之间交互的任何其他类型的程序或应用。

交互应用12产生基于其当前状态的视频数据。由音频/视频处理器26处理该视频数据，以生成应用视频流28。应用视频流28通信到主显示器30，并且在主显示器30上渲染。如在此使用的术语“视频”一般指同步的图像数据和音频数据的组合，尽管在本发明的各种实施例中，术语“视频”可以仅指图像数据。因此，通过示例的方式，应用视频流28可以包括图像数据和音频数据两者，或者仅仅单独图像数据。主显示器可以是电视、监视器、LCD显示器、投影仪或能够视觉渲染视频数据流的任何其他种类的显示设备。

交互应用12还包括用于与控制器设备32通信的控制器输入模块24。控制器设备32可以是可以由用户操作来提供交互输入到交互应用的各种控制器的任一。控制器设备的示例包括Sony 

无线控制器。控制器设备32可以经由无线或有线连接与控制台设备10通信。控制器设备32包括用于接收来自用户36的交互输入的至少一个输入机制34。输入机制的示例可以包括按钮、控制杆、触摸板、触摸屏、方向板、触笔输入或可以包括在控制器设备中用于接收来自用户的交互输入的任何其他类型的输入机制。当用户36操作输入机制34时，控制器设备32生成通信到交互应用12的控制输入模块24的交互输入数据38。

交互应用12包括会话模块14，其发起交互应用的会话，该会话限定用户36和交互应用12之间的交互。例如，发起的交互应用的会话可以是新会话或之前保存的交互应用12的会话的继续。当执行交互应用12并且经由应用视频流28在主显示器30上渲染时，用户36观看主显示器30上渲染的应用视频流，并且通过操作控制器设备32提供交互输入数据38到交互应用。由交互应用12处理交互输入数据38，以影响交互应用12的状态。更新交互应用12的状态，并且在渲染到主显示器30的应用视频流28中反映该更新的状态。因此，基于交互环境中用户36和交互应用12之间的交互，确定交互应用12的当前状态。

交互应用12还包括用于与手持设备40通信的手持设备模块16。手持设备40可以是各种手持设备的任一，诸如蜂窝电话、个人数字助理（PDA）、平板电脑、电子阅读器、便携式计算机、便携式游戏设备或能够显示视频的任何其他类型的手持设备。手持设备的一个示例是Sony Playstation 

手持设备40由观众48操作，并且包括用于渲染观众视频流52的显示器42。提供输入机制44，用于使得用户48能够提供交互输入到交互应用12。此外，手持设备40包括位置和取向传感器46。传感器46检测可以用于确定交互环境内手持设备40的位置和取向的数据。位置和取向传感器的示例包括加速度计、磁力计、陀螺仪、相机、光学传感器或可以包括在手持设备中以便生成数据的任何其他类型的传感器或设备，该数据可以用于确定手持设备的位置或取向。当观众48操作手持设备40时，位置和取向传感器46生成要传输到手持设备模块16的传感器数据50。手持设备模块16包括用于确定交互环境中手持设备40的位置的位置模块18，以及用于确定交互环境中手持设备40的取向的取向模块20。在交互应用12的交互会话期间，追踪手持设备40的位置和取向。

本领域的技术人员将理解，可以应用用于确定手持设备40的位置和取向的各种技术的任何，而不背离本发明的范围。例如，在一个实施例中，手持设备包括用于捕获交互环境的图像流的图像捕获设备。基于分析捕获的图像流，追踪手持设备40的位置和取向。例如，一个或多个标签可以放置在交互环境中，并且用作受托标记，用于当通过手持设备40的图像捕获设备捕获时，基于它们的透视失真确定手持设备的位置和取向。标签可以是对象或人物，或者在主显示器上显示的图像的部分，当存在于交互环境的捕获图像流中时识别标签。标签用作受托标记，其实现交换环境中定位的确定。此外，捕获图像流中标签的透视失真指示手持设备的位置和取向。

在其他实施例中，为了追踪手持设备40的位置和取向，可以应用各种方法的任何。例如，自然特征追踪方法或同时定位和映射（SLAM）方法可以应用于确定手持设备40的位置和取向。自然特征追踪方法通常需要真实环境（与人工引入的基准点相反）内“自然”特征（诸如纹理、边缘、角落等）的检测和追踪。在本发明的其他实施例中，任何一个或多个图像分析方法可以应用，以便追踪手持设备40。例如，可以采用标签和自然特征追踪或SLAM方法的组合，以便追踪手持设备40的位置和取向。

此外，可以基于来自手持设备40内的移动敏感硬件（诸如加速度计、磁力计或陀螺仪）的信息，追踪手持设备40的移动。在一个实施例中，确定手持设备40的初始位置，并且基于来自加速度计、磁力计或陀螺仪的信息确定手持设备40相对于初始位置的移动。在其他实施例中，可以结合上述技术（诸如标签或自然特征追踪技术），使用来自手持设备40的移动敏感硬件（诸如加速度计、磁力计或陀螺仪）的信息，以便确定手持设备40的位置、取向和移动。

交互应用包括观众视频模块22，其基于互动环境中交互应用12的当前状态和手持设备40的追踪位置和取向，生成观众视频流52。将观众视频流52发送到手持设备40，并且在手持设备40的显示器42上渲染。

在本发明的各种实施例中，可以应用前述系统，以使得观众48能够捕获交互应用12的交互会话的视频。例如，在一个实施例中，交互应用12可以限定其中发生交互会话的活动的虚拟空间。因此，可以利用手持设备40的追踪位置和取向，以限定由交互应用限定的虚拟空间内的虚拟视点的位置和取向。观众视频流52因此将包括从虚拟视点的透视捕获的虚拟空间的图像。由于观众48操纵手持设备40到交互环境中的不同位置和取向，所以虚拟视点的位置和取向将改变，从而改变从其捕获观众视频流52的图像的虚拟空间中的透视，并且最终显示在手持设备的显示器42上。以此方式，观众48可以以直观方式（操纵手持设备40）作为虚拟空间中虚拟相机的操作者，以便以类似方式操纵虚拟空间中的虚拟相机。

在交互环境中，在手持设备40而不是在控制台设备10生成观众视频流。在这样的环境中，首先基于交互应用12的当前状态确定应用状态数据。该应用状态数据发送到手持设备40。手持设备40处理应用状态数据，并且基于应用状态数据和手持设备的追踪位置和取向生成观众视频流。

在另一实施例中，捕获交互环境的环境视频流，并且基于环境视频流生成观众视频流52。可以在手持设备40中包括的相机捕获环境视频流。在一个实施例中，通过用虚拟元素增强环境视频流，生成观众视频流52。在这样的环境中，其中在手持设备40捕获环境视频流，然后观众48能够在手持设备40的显示器42上观看基于交互应用12的当前状态的增强现实场景，好像其由用户36和交互应用12之间的交互影响。例如，在一个实施例中，可以检测环境视频流中用户36的图像。并且环境视频流中用户图像的一部分或整体然后可以用虚拟元素代替。在一个实施例中，检测到的环境视频流中的用户的图像可以用由用户36控制的交互应用12的角色代替。以此方式，当观众48将手持设备40的相机瞄准用户36时，观众48在显示器42上看到用户36正在控制的交互应用12的角色而不是用户36。

在另一实施例中，还可以确定和追踪如由用户36操作时控制器32的位置和取向。控制器32的位置和取向以及手持设备40相对于控制器32的定位的位置和取向可以用于确定观众视频流。因此，控制器的定位可以用作参考点，根据该参考点基于手持设备40对于控制器32的定位的相对位置和取向确定观众视频流。例如，控制器32的定位可以对应于交互应用12的虚拟空间中的任意定位，诸如虚拟空间中由用户36控制的角色的当前定位。因此，随着观众操纵交互环境中的手持设备40，其相对于控制器32的定位的位置和取向确定相对于角色的定位的虚拟空间中的虚拟视点的位置和取向。来自虚拟视点的透视的虚拟空间的图像可以用于形成观众视频流。在一个实施例中，手持设备40对于控制器32的相对定位和虚拟视点对于角色的相对定位之间的对应如此，使得手持设备40相对于控制器32的定位的位置或取向的改变导致虚拟视点相对于角色的定位的位置或取向的类似改变。如此，观众48能够直观地关于控制器36操纵手持设备，以便从链接到由用户36控制的角色的定位的各种透视观看和捕获虚拟空间的视频流。

已经参照交互应用12的虚拟空间中由用户36控制的角色描述了前述实施例。然而，在其他实施例中，控制器32的定位可以对应于交互应用的虚拟空间中的任何定位（静止的或移动的）。例如，在一些实施例中，控制器的定位可以对应于由用户36控制的角色、车辆、武器、对象或一些其他东西。或者在一些实施例中，控制器的定位可以对应于不由用户32控制的角色或对象，诸如人工智能角色或在交互会话期间由交互应用的远程用户控制的角色。或者在其他实施例中，控制器32的定位可以对应于交互应用12的虚拟空间中的特定地理定位、对象的定位或一些其他静止物品。

在另一实施例中，确定用户36的初始位置，并且在交互会话期间追踪用户36的位置。然后基于手持设备40相对于用户36的位置的位置和取向，生成观众视频流。在各种实施例中，可以基于各种技术确定用户36的位置。例如，图像捕获设备可以包括在用于捕获包括用户36的交互环境的图像的交互系统。在一个实施例中，能够检测交互环境的深度数据的深度相机包括在交互系统中。可以分析深度数据以便检测交互环境中用户36的定位和姿态。通过确定交互环境中用户的位置和/或姿态，实现根据本发明实施例的各种特征。

例如，在一个实施例中，交互应用12的虚拟环境中的对象映射到用户36的位置。相对于用户36的位置的手持设备40的位置和取向用于限定由交互应用12限定的虚拟空间中虚拟视点的位置和取向。观众视频流52因此包括从虚拟视点的透视捕获的虚拟空间的图像，当手持设备40朝向用户36的位置时，对象包括在观众视频流的图像中。在一个实施例中，由用户控制对象。这种对象的示例包括用户36可以控制的交互应用12的角色、车辆、武器或其他类型的物品。在一个实施例中，基于由用户操作的控制器设备32的位置确定用户36的位置。

在一个实施例中，观众视频流52存储在存储器中。存储器可以包括在手持设备40、控制台设备10中，或者远程定位。在存储观众视频流52之后，观众48将能够执行诸如编辑存储的观众视频或上传存储的观众视频到因特网网站用于分享视频的操作。

参照图2，根据本发明的实施例，示出了包括与交互应用交互的用户和观众的交互环境。交互环境包括运行交互应用的控制台设备10。随着交互应用运行，其生成在主显示器30上渲染的应用视频流。如仅作为示例所示，渲染的应用视频流描绘了包括角色62和停止符号64的场景60。用户36观看场景40，并且通过操作控制器32与交互应用交互。同时，观众48观看手持设备40的显示器42。在主显示器30上渲染的应用视频流描绘来自参照用户36的定位限定的主虚拟视点的透视的交互应用的虚拟空间的视图。主虚拟视点可以是静止的（假定用户36处于主显示器30前面的接近定位）或者动态的（基于用户36的位置的改变而改变）。同时，确定并且追踪手持设备40的位置和取向，并且用于限定交互应用的虚拟空间内的次虚拟视点。当由观众48操作手持设备40时，该次虚拟视点基于手持设备40的位置和取向的改变动态更新。在手持设备40上渲染观众视频流，描绘来自次虚拟视点的透视的虚拟空间。

在所示的实施例中，虚拟空间包括角色62和停止符号64。观众48和手持设备40位于用户36的左侧，观众48将手持设备40朝向场景60的视位。基于手持设备40的位置和取向的次虚拟视点的位置和取向因此类似地位于相对于虚拟空间中的主虚拟视点。如此，观众40从基于手持设备40的位置和取向的不同透视观看场景60。如所示的，从主虚拟视点的场景60的描绘示出具有距停止符号水平间隔x的角色62。而在手持设备40的放大视图66中，示出从次虚拟视点的透视描绘的场景60，使得角色62和停止符号64之间的水平间隔是x+△x。如可见的，在手持设备40上渲染的观众视频流中，角色62和停止符号64的水平间隔增加，因为次虚拟视点相对于主虚拟视点的不同定位和取向。以此方式，观众48观看与用户36相同的场景，但是以直观方式从不同虚拟透视示出，如基于观众48和用户36的相对位置将预期的。

参照图3，根据本发明的实施例，示出了与交互应用交互的包括用户36和观众48的交互环境。用户36操作控制器32以提供输入到交互应用。如所示的，交互应用基于交互应用的当前状态生成在显示器30上渲染的应用视频流。如所示的，渲染的应用视频流描绘了场景70。场景70可以是交互应用的虚拟空间的视图。在一个实施例中，观众48能够通过利用手持设备40观看场景70的扩展区72。例如，在一个实施例中，观众可以操纵手持设备，以便指向扩展区72中的区域74。追踪手持设备的位置和取向，以便使得能够确定手持设备40朝向的方向。在手持设备40上示出区域74，用于观众观看。以此方式，观众74能够观看用户36不能观看的场景70的其他部分，因为在显示器30上示出的受限视图。

在另一实施例中，手持设备40最初渲染与显示器30上显示的图像相同的图像。然后，观众48可以通过提供输入到手持设备40，诸如通过移动控制杆或触摸和拖拽手指穿过手持设备40的触摸屏以便将在手持设备40上示出的视图移动到不同区域，观看扩展区72的其他区域，诸如区域74。在协作方式游戏中，这样的特征可以用于使得观众48能够观看用户36目前没有观看的虚拟空间的区域。观众48可以将基于观看什么的信息通信到用户36，以便在玩游戏时帮助用户36。

参照图4A，根据本发明的实施例，示出了包括与交互应用交互的用户36和观众48的交互环境的顶视图。用户36操作控制器32提供输入到交互应用。如所示的，观众48操作手持设备40，并且将其朝向用户36。追踪手持设备40的位置和取向，以便使得能够确定手持设备40指向的方向。此外，可以通过追踪控制器32的位置，识别用户36的位置。图4B图示从观众48的透视的图4A的交互环境。如所示的，当观众48将手持设备40朝向用户36（典型地，指引手持设备40的背部使得其面对用户36），观众观看代替用户36的交互应用的角色80。角色可以设置在交互应用的虚拟空间。

在一个实施例中，通过从手持设备40的面向后相机捕获图像流，确定相对于手持设备40的用户36的定位。分析捕获的图像流，以便确定用户36的存在，并且用交互应用的角色代替用户36。在一个实施例中，可以用虚拟特征增强用户36的选择部分，以便形成在手持设备上显示的增强现实图像流。例如，可以示出用户36手持武器、穿戴不同服装或者配备各种其他物品。在一个实施例中，可以示出用户36设置在交互应用的虚拟空间中。以此方式，观众48能够观看用户36，好像他或她直接在交互应用的虚拟空间中。

参照图5，根据本发明的实施例，从操作手持设备40的观众的透视示出包括与交互应用交互的用户36的交互环境。用户36操作控制器32以提供输入到交互应用。如所示的，用户36玩象棋游戏，用户36在显示器30上观看该象棋游戏。同时，观众能够观看其中发生象棋游戏的虚拟空间90。当观众在交互环境中操纵手持设备60时，基于手持设备40的定位和取向，在手持设备40上从不同透视示出虚拟空间90。以此方式，观众能够从不同有利位置观看虚拟空间90，好像其存在于交互环境中。手持设备40因此用作观察器或虚拟窗口，使得观众能够观看交互应用的虚拟空间。

参照图6，根据本发明的实施例，从观众的透视示出交互环境。如所示的，用户36操作移动控制器100a和100b，同时观看在显示器30上渲染的交互应用。在本实施例中，交互应用是拳击游戏，其中随着由用户36操纵，检测并且处理移动控制器100a和100b的移动，以便使得交互应用能够在显示器30上渲染拳头的类似移动。以此方式，用户36提供有拳击比赛中格斗的经历，其中当用户36出拳时，在显示器上示出的拳头以类似方式移动。因此，用户36通过移动移动控制器100a和100b控制拳头和它们的移动。在一个实施例中，交互应用包括图像捕获设备106，其捕获运动控制器100a和100b的图像。分析这些图像，以便确定控制器100a和100b的移动。此外，可以分析捕获的图像以便确定手持设备40的位置和取向。在一个实施例中，图像捕获设备106包括深度相机，用于捕获交互环境的深度信息。可以处理捕获的深度信息，以便辅助确定用户36以及观众和手持设备40的定位和移动。移动控制器的示例包括由索尼计算机娱乐股份有限公司制造的Playstation控制器。

在一个实施例中，用户36与虚拟对手12格斗。操作手持设备40的观众将手持设备40指向用户36（典型地，使得手持设备40的背面面对用户36）。手持设备40实时显示与用户36与虚拟对手102格斗的视频。在一个实施例中，当观众将手持设备40指向用户36时，包括在手持设备40中的相机捕获包括用户36和移动控制器100a和100b的视频。可以分析捕获的视频，以便确定用户的定位以及移动控制器100a和100b的移动。手持设备40还可以从交互应用接收关于用户的定位以及移动控制器100a和100b的移动的信息。在一个实施例中，在手持设备40上显示的视频中示出用户36，但是用用户36手上的拳击手套代替移动控制器100a和100b。在另一实施例中，替代显示用户36，在手持设备40上显示由用户36控制的拳击游戏的角色。

此外，当观众操纵手持设备40到相对于用户36的不同位置和取向，在手持设备40上示出的视频将反映这些变化。因此，如果观众移动到大致用户36后面的定位，并且将手持设备40指向用户36，那么观众将能够在手持设备40上观看用户36的后侧或者由用户36控制的角色，并且如果没有被用户36或一些其他对象挡住，则可以看到虚拟对手102的前侧。类似地，如果观众移动到大致用户36前面的定位，并且将手持设备40指向用户36，如果没有被例如虚拟对手102挡住（其后侧可以在视图中可见），那么观众将能够观看用户36的前侧。观众可以操纵手持设备40更接近用户36，并且所以放大用户36，或者操纵手持设备40更远离，并且所以能够欣赏用户36和虚拟对手102之间拳击比赛的更扩大的视图。当观众将手持设备40移动到不同位置和取向时，手持设备40显示来自交互应用的虚拟空间中的虚拟视点的视频，虚拟视点的位置和取向基于手持设备40的位置和取向确定。因此，当用户36与拳击游戏交互时，观众能够作为虚拟摄影师交互，通过操纵手持设备40控制从其在手持设备40上显示交互游戏的视频的视点。

在另一实施例中，相机106可以是深度相机，其能够捕获交互环境中对象的深度信息。在一个实施例中，用户36不需要移动控制器，而是能够通过由相机106检测到的移动提供交互输入到交互应用。相机106可以配置为捕获交互环境的图像以及深度信息，其处理来确定用户36的位置、取向和移动。这些然后由交互应用用作输入。

参照图7，示出了交互环境，包括运行在主显示器30上渲染的交互应用的控制台设备10。用户36操作控制器32以便提供交互输入到交互应用。图像捕获设备106捕获交互环境的图像。同时，观众48操作并且观看手持设备40，手持设备40渲染与在主显示器30上渲染的视频流相关的辅助视频流。如所示的，可以在三维（x,y,z）坐标空间中追踪控制器32和手持设备40的移动。在图示的实施例中，控制器32具有坐标（4,2,3），而手持设备具有坐标（8,3,2）。通过追踪控制器32和手持设备40的位置和移动，可能确定控制器32和手持设备40的相对定位。该信息可以用于影响在手持设备40上渲染的辅助视频流，例如，基于真实交互环境中控制器32和手持设备40的相对位置，确定交互应用的虚拟空间中虚拟视点的定位。

在一个实施例中，交互应用可以限定真实世界交互环境中虚拟空间和前述三维坐标空间之间的相互关系，使得真实世界交互环境的坐标系统映射到虚拟空间的坐标系统。在各种实施例中，该映射的特性可以变化。例如，在一个实施例中，映射可以是一比一比例，使得真实世界中的距离对应于虚拟实际中的相等距离。在其他实施例中，可以通过特定系数缩放映射，使得虚拟世界大于或小于真实世界中的相应距离。

此外，虚拟和真实世界坐标系统的每个相应轴的映射比例可以变化。例如，在一个实施例中，可以映射真实世界中的y轴，以便在虚拟世界中具有增大的比例（例如，乘以大于1的系数）。然而，真实世界中的x轴和z轴可以以严格对应映射到虚拟空间中的相应轴。参照图8A和8B图示了这样的配置的一个示例。图8A图示真实世界交互环境的坐标空间。从坐标（1,1,0）到（3,3,0）示出矢量移动110。图8B图示虚拟空间的相应坐标空间。从坐标（1,2,0）到（3,6,0）的矢量112对应于矢量移动110。如可见的，仅在垂直y轴放大矢量移动110，而在x和z轴不放大。因此，通过选择放大y轴移动，当观众48垂直地移动手持设备40时，放大虚拟空间中虚拟视点的移动，这可以使得观众48能够更容易地从高和低位置观看和捕获视频，而沿着水平方向（x轴和z轴）的手持设备的移动不放大。本领域的技术人员将理解的是，在本发明的其他实施例中，对于任何给定方向或轴的映射的比例可以变化。

此外，映射的比例可以沿着任何给定轴或方向或者参照特定定位（诸如用户的定位）变化。例如，在一个实施例中，以更严格的对应缩放用户附近的映射，而缩放更远离用户的映射，使得在虚拟空间中放大远离用户的手持设备的移动。因此，当观众操作用户附近的手持设备时，交互环境中的移动对应于虚拟空间中的类似移动。然而，当观众移动手持设备远离用户时，虚拟空间中的相应移动（例如，由用户控制远离角色的移动）可以变得逐步放大。这使得观众当接近用户时以自然方式控制虚拟视点的定位，并且还具有比如果映射自始至终保持相同比例更可能在虚拟空间中移动虚拟视点远离的能力。

参照图9A和9B图示了这样的实施例的一个示例。图9A图示用户36，其在交互环境中的定位限定球面或圆柱坐标系统的原点。示出矢量120，其指示远离用户36的从1到2的距离的移动。类似地，矢量122指示从2到3的距离的移动；并且矢量124指示从3到4的移动。图9B图示交互环境已经映射到的虚拟空间。虚拟空间中的定位125对应于交互环境中用户36的定位。例如，在一些实施例中，定位125可以角色、车辆或由用户36控制的一些其他对象的定位。矢量126对应于真实世界矢量120。如所示的，矢量126具有与矢量122的精确对应，指示从1到2的距离改变。矢量128对应于矢量122。然而，如所示的，交互环境的坐标空间到虚拟空间的坐标空间的映射使得矢量122以系数2的比例放大。因此指示真实世界交互环境中从2到3的距离的改变的矢量122映射为矢量128，其指示虚拟空间中从2到4的距离的改变。矢量130对应于矢量124。如所示的，在矢量124指示交互环境中从3到4的距离的改变的同时，对应矢量130指示从4到7的距离的改变，从而是虚拟空间中距离改变的三倍。

前面图示的示例仅表现这样的一个实施例，其中配置从交互环境到虚拟空间的映射，以便具有随着距交互环境中的参考定位增加的距离而增加的放大率。在其他实施例中，可以根据人和方案（诸如线性地、对数地）或根据可以在每个区域内恒定或同样变化的预设区域，随着增加的距离的放大率的改变可以变化。

在一些实施例中，映射的特性可以根据交互应用的状态的改变而改变。通过变化真实世界到虚拟世界的映射和对应，可能调整关于手持设备40和控制器32的真实世界移动的信息的使用，以便实现相对于交互应用的改进的交互功能。

参照图10A，根据本发明的实施例，示出了交互环境的顶视图。用户36操作控制器32，以便与在显示器30上渲染的交互应用交互。同时，观众48操作交互环境中的手持设备40，手持设备40从虚拟空间中的虚拟视点显示交互应用的虚拟空间的视频，该虚拟视点基于相对于用户36的定位的手持设备40的定位。在交互序列中，观众48从接近用户36的位置140移动到远离用户36一侧的位置142，到用户36前面的位置144.参照图10B，场景146、148和150图示当观众分别位于位置140、142和144时在手持设备40上显示的视频。

在图示的实施例中，用户36正在玩其中用户36在虚拟世界中驾驶车辆的交互游戏。用户36的位置映射到虚拟空间中车辆的虚拟驾驶员（由用户36控制）的位置。因此，当观众位于临近用户36的位置140时，虚拟空间中的虚拟视点位于临近车辆的驾驶员。如由场景146所示，在手持设备40上示出的视频图示从临近车辆的虚拟驾驶员的视点的透视的车辆内部。当观众48移动到远离用户36一侧的位置142时，虚拟视点在虚拟空间中以相应方式移动。如由相应场景148所示，虚拟视点已经移动到车辆外部的定位，如场景148图示车辆的一侧。类似地，当观众48移动到用户36前面的位置144时，虚拟视点在虚拟空间中以相应方式移动到车辆前面的位置。如由场景150所示，当定位于位置144，用户48在手持设备40上观看车辆的前面。

为了容易描述，已经参照操作控制器（或者通过移动检测系统提供输入）的一个游戏者和/或操作手持设备的一个用户一般地描述了本发明的一些前述实施例。本领域的技术人员将理解，在本发明的其他实施例中，可能存在操作控制器（或者通过移动检测提供输入）的多个用户和/或操作手持设备的多个用户。

参照图11，根据本发明的实施例，示出了用于使得由观众操作的便携式设备能够显示交互游戏的视频的方法。在方法操作160，游戏者开始控制台设备上的游戏设置。在方法操作162，观众激活便携式设备。在方法操作164，建立便携式设备和控制台之间的网络连接。在方法操作166，关于游戏的信息从控制台通信到便携式设备。在方法操作168，建立便携式设备的初始姿态。在各种实施例中，可以通过各种机制（诸如定义内部位置追踪传感器的当前状态作为初始姿态，或者通过搜索TV屏幕上的标记并且定义与TV的关系为初始姿态）确定初始姿态。在方法操作170，随着游戏者通过游戏，更新的游戏状态发送到便携式设备。在方法操作172，便携式设备显示观众的游戏私人视图。在方法操作174，随着观众移动便携式设备，设备感测相对于初始姿态的位置改变。在各种实施例中，这例如可以通过使用内部移动传感器、方向板或通过追踪TV屏幕上的标记并且基于它的新取向确定位置来实现。在方法操作176，便携式设备使用该新信息以更新观众的显示器的私人视图。

在本发明的各种实施例中，各种其他方法操作可以包括在方法中。例如，在一个实施例中，观众可以按压便携式设备上的记录按钮，以便开始记录便携式设备上游戏的观众私人视图。在另一实施例中，便携式设备配置为允许观众摇动、缩放或剪辑现场视频或预先记录视频。在另一实施例中，便携式设备为观众提供用于操纵现场或预先记录视频的其他视频编辑工具，诸如色度控键、颜色改变工具、剪切和粘贴等。在另一实施例中，观众可以上传记录的视频或图像到因特网站点以便与其他人分享。

在本发明的各种实施例中，不同的配置可以用于使得便携式设备能够显示游戏的视频。例如，在一个实施例中，控制台渲染来自便携式设备的透视的所有图像，并且将这些渲染的图像成流传送到便携式设备。在此情况下，便携式设备将它的姿态通信到控制台，但是不需要便携式设备运行或保持具体与游戏本身的实际运行相关的任何软件或信息，除了需要来渲染从它从控制台接收的图像那些。然而，在另一实施例中，便携式设备包含正在玩的游戏的一些或所有级别和模型。在该实施例中，控制台仅需要发送动态对象的坐标到便携式设备，使得便携式设备可以更新它的屏幕图形，并且在它的显示器上渲染适当的图像。在另一实施例中，便携式设备可以运行缩小版的交互应用，其中存储的级别和模型具有降低的复杂度。

此外，在本发明的各种实施例中，如此描述的便携式设备的交互功能可以设计为允许或不允许观众影响游戏的结果。例如，在一个实施例中，观众的个人视图将被限制为与游戏者的游戏视图合理的小偏差。这允许观众一定级别的控制，而不泄露太多观众可以与游戏者共享的额外信息。相反地，在另一实施例中，观众可能被允许利用便携式设备的完全动作。在此情况下，观众可以实际影响游戏的结果，因为观众可以观看正在游戏者的视图的外部出现的行动，并且将其通信给游戏者（例如，如果地方从游戏者未知的后方接近，则发出警告）。

参照图12，根据本发明的实施例，示出了使得用户能够利用手持设备影响交互应用的状态的系统。控制台设备10执行交互应用180。基于交互应用180的状态，生成应用视频流188，并且发送到主显示器30用于渲染。用户36操作控制器设备32，以便经由处理来自控制器设备32的原始输入的控制器模块182提供输入到交互应用180。应用数据生成器182生成应用数据190，该应用数据190发送到在手持设备40上运行的辅助应用194。手持设备40包括用于从观众48和显示器198接收输入的输入机制200。辅助应用194包括在显示器198上显示的图形用户界面（GUI）196。GUI可以提供一系列菜单，并且提示允许观众影响交互应用的状态，诸如交互应用的听觉或视觉方面。观众48利用输入机制200提供输入。基于观众的输入，辅助应用生成修改数据192，该修改数据192发送到控制台设备10上交互应用180的修改数据处理器184。基于修改数据192，更改交互应用180的状态，这影响生成的应用视频流188。

参照图13，根据本发明的实施例，示出了用于使得观众能够利用便携式设备影响游戏的方法。在方法操作210，游戏者开始控制台设备上的游戏设置。在方法操作212，观众激活便携式设备。在方法操作214，便携式建立和控制台的网络连接。在方法操作216，关于游戏的信息从控制台设备通信到便携式设备。在各种实施例中，仅作为示例的方式，该信息可以包括游玩的角色、角色的可用服装、可作为音轨播放的歌曲列表、或者观众可能能够调整的游戏的其他参数。在方法操作218，便携式设备将由游戏提供的选择呈现给观众。在方法操作220，观众选择选择之一。例如，观众可以挑选要播放的歌曲或者选择要由角色穿着的服装。在方法操作222，便携式设备将选择经由网络连接通信到控制台。在方法操作224，控制台调用选择。例如，控制台可以播放选择的歌曲或者将角色的服装改为选择的服装。

在各种实施例中，允许观众调整的参数可能或可能不影响游戏的结果到变化的程度。例如，在一个实施例中，观众能够修改游戏的服装或声音效果，使得游戏的结果不太可能受影响。在另一实施例中，观众可能控制更侵入性的游戏元素，诸如时间流（例如，加速或放慢）或者改变世界的重力以匹配更大或更小行星的重力、或者可能完全不设置重力。这样的改变将很可能对于游戏的结果具有显著影响。

参照图14，根据本发明的实施例，示出图示便携式设备40的组件的图。便携式设备40包括用于运行程序指令的处理器300。为存储的目的提供存储器302，并且可以包括易失性和非易失性存储器。包括显示器304，其提供用户可以观看的可视界面。提供电池306作为便携式设备40的电源。移动检测模块308可以包括任何种类的移动敏感硬件，诸如磁力计310、加速度计312和陀螺仪314。

加速度计是用于测量加速度和重力感应反作用力。单个和多个轴模型可用于检测不同方向的加速度的大小和方向。加速度计用于感测倾斜、振动和震动。在一个实施例中，三个加速度计312用于提供重力的方向，其给出两个角度的绝对基准（世界空间斜度和世界空间滚动）。

磁力计测量控制器附近的磁场的强度和方向。在一个实施例中，在控制器中使用三个磁力计310，确保世界空间偏航角度的绝对基准。在一个实施例中，磁力计设计为跨越地球磁场，地球磁场是±80微特斯拉。磁力计受金属影响，并且提供与实际偏航单调的偏航测量。由于环境中的金属，磁场可能弯曲，这导致偏航测量中的弯曲。如果必要，可以使用来自诸如陀螺仪或相机的其他传感器的信息校准该弯曲。在一个实施例中，与磁力计310一起使用加速度计312，以便获得便携式设备40的倾斜和方位角。

陀螺仪是用于基于角动量的原理测量或保持取向的设备。在一个实施例中，三个陀螺仪314基于惯性感测提供关于跨越各个轴（x、y和z）的移动的信息。陀螺仪帮助检测快速旋转。然而，在没有绝对基准存在的情况下，陀螺仪可能随着时间偏移。这要求周期性地重置陀螺仪，这可以使用其他可用信息（诸如基于物体的可视追踪、加速度计、磁力计等的位置/取向确定）来进行。

提供相机316用于捕获图像和真实世界的图像流。便携式设备40中可以包括多于一个相机，包括向后相机（当用户观看便携式设备的显示器时指向远离用户）和向前相机（当用户观看便携式设备的显示器时指向用户）。此外，深度相机318可以包括在便携式设备中，用于感测真实环境中对象的深度信息。

便携式设备40包括用于提供音频输出的扬声器。此外，可以包括用于从真实环境捕获音频（包括来自周围环境的声音、由用户发出的语音等）的麦克风322。便携式设备40包括用于提供触觉反馈给用户的触觉反馈模块324。在一个实施例中，触觉反馈模块324能够导致便携式设备40的移动和/或振动，以便提供触觉反馈给用户。

提供LED326作为便携式设备40的状态的可视指示器。例如，LED可以指示电池水平、通电等。提供读卡器328以使得便携式设备40能够从存储卡读取信息和写入信息到存储卡。包括USB接口330作为用于实现外围设备的连接或到其他设备（诸如其他便携式设备、计算机等）的连接的接口的一个示例。在便携式设备40的各种实施例中，可以包括任何各种接口以实现便携式设备40的更强连接性。

包括WiFi模块332用于实现经由无线网络技术的到因特网的连接。此外，便携式设备40包括蓝牙模块334，用于实现到其他设备的无线连接。还可以包括通信链路336，用于到其他设备的连接。在一个实施例中，通信链路336利用用于无线通信的红外传输。在其他实施例中，通信链路336可以利用用于与其他设备通信的任何各种无线或有线传输协议。

包括输入按钮/传感器338以提供用于用户的输入接口。可以包括任何各种类型的输入接口，诸如按钮、触摸板、控制杆、轨迹球等。此外，可以包括生物传感器以便实现来自用户的生理数据的检测。在一个实施例中，生物传感器包括一个或多个干燥电极，用于通过用户的皮肤检测用户的生物电信号。

超声通信模块340可以包括在便携式设备40中，用于便于经由超声技术与其他设备通信。

已经描述前述便携式设备40的组件仅作为可以包括在便携式设备40中的示例性组件。在本发明的各种实施例中，便携式设备40可能或可能不包括一些各种前述组件。为了便于如在此描述的本发明的各方面的目的，便携式设备40的实施例可以额外包括目前没有描述但是现有技术中已知的其他组件。

图15图示根据本发明的一个实施例，可以用于运行和渲染交互应用的硬件和用户接口。根据本发明的实施例，图15示意性图示

娱乐设备的总体系统架构，娱乐设备是可兼容用于用在基础计算设备处运行的计算机程序连接控制设备和手持设备的控制台。提供系统单元700，其中各种外围设备可连接到系统单元700。系统单元700包括：单元处理器728；

动态随机存取存储器（XDRAM）单元726；具有专用视频随机存取存储器（VRAM）单元723的真实合成器图形单元730；以及I/O桥734。系统单元700还包括可通过I/O桥734存取的、用于从盘740a读取的

盘

光盘读取器740和可移除插入硬盘驱动器（HDD）736。可选地，系统单元700还包括用于读取致密闪速存储卡、存储棒

存储卡等的存储卡读取器738，其类似地可通过I/O桥734存取。

I/O桥734还连接到六个通用串行总线（USB）2.0端口724；千兆比特以太网端口722；IEEE802.11b/g无线网络（Wi-Fi）端口720；以及能够支持直到七个蓝牙连接的蓝牙

无线链路端口718。

在操作中，I/O桥734处理所有无线、USB和以太网数据，包括来自一个或多个游戏控制器702-703的数据。例如，当用户正在玩游戏时，I/O桥734经由蓝牙链路从游戏控制器702-703接收数据，并且将其指向单元处理器728，其相应地更新游戏的当前状态。

除了I/O桥734外，无线、USB和以太网端口还提供用于其他外围设备的连接，诸如：遥控器704；键盘706；鼠标708；诸如Sony Playstation 

娱乐设备的便携式娱乐设备710；诸如

视频相机712的视频相机；麦克风耳机714；以及麦克风715。这样的外围设备因此原理上可以无线地连接到系统单元700；例如，便携式娱乐设备710可以经由Wi-Fi点对点连接通信，而麦克风耳机714可以经由蓝牙链路通信。

这些接口的提供意味着Playstation3设备也潜在地与其他外围设备兼容，诸如数字视频记录器（DVR）、机顶盒、数字相机、便携式媒体播放器、网络电话、移动电话、打印机和扫描仪。

此外，传统存储卡读取器716可经由USB端口724连接到系统单元，使得由

或

设备使用的类型的存储卡748的读取。

游戏控制器702-703可操作来经由蓝牙链路与系统单元700无线地通信，或者可连接到USB端口，从而还提供通过其充电游戏控制器702-703的电池的电力。游戏控制器702-703可以还包括存储器、处理器、存储卡读取器、诸如闪速存储器的永久存储器、诸如照明的球形部分、LED或红外光的发光器、用于超声通信的麦克风和扬声器、隔音箱、数字相机、内部时钟、诸如面对游戏控制器的球形部分的可识别形状、以及使用诸如蓝牙WiFi^TM等的协议的无线通信。

游戏控制器702是设计来用双手使用的控制器，并且游戏控制器703是具有附件的单手控制器。除了一个或多个模拟控制杆和传统控制按钮外，游戏控制器受三维定位确定影响。结果，除了或替代传统按钮或控制杆命令，通过游戏控制器的用户的姿势和移动可以转换为对于游戏的输入。可选地，诸如Playstation^TM便携式设备的其他无线可行的外围设备可以用作控制器。在Playstation^TM便携式设备的情况下，可以在设备的屏幕上提供额外的游戏或控制信息（例如，控制指令或生命的数目）。还可以使用其他可替换的或补充控制设备，诸如跳舞毯（未示出）、光枪（未示出）、方向盘和踏板（未示出）或定制控制器，诸如用于快速反应猜谜游戏的单个或若干大按钮（也未示出）。

遥控器704还可操作来经由蓝牙链路与系统单元700无线地通信。遥控器704包括适于蓝光^TM盘BD-ROM读取器740和用于盘内容的导航的操作的控制。

除了传统的预先记录和可记录CD以及所谓超级音频CD外，蓝光^TM盘BD-ROM读取器740可操作来读取与Playstation和Playstation2设备兼容的CD-ROM。除了传统的预先记录和可记录DVD外，读取器740还可操作来读取与Playstation2和Playstation3设备兼容的DVD-ROM。读取器740进一步可操作来读取与Playstation3设备兼容的BD-ROM以及传统的预先记录和可记录蓝光盘。

系统单元700可操作来通过到显示和声音输出设备742（诸如具有显示器744和一个或多个扬声器746的监视器或电视机）的音频和视频连接器，经由真实合成器图形单元730提供由Playstation3生成或解码的音频和视频。音频连接器750可以包括传统的模拟和数字输出，而视频连接器752可以多种地包括组成音频、S视频、合成视频和一个或多个高分辨率多媒体接口（HDMI）输出。结果，视频输出可以以PAL或NTSC或720p、1080i或1080p高分辨率的格式。

音频处理（生成、解码等）由单元处理器728执行。Playstation3设备的操作系统支持5.1环绕声、

剧院环绕和来自蓝光

盘的7.1环绕声的解码。

在本实施例中，视频相机712包括单个电荷耦合器件（CCD）、LED指示器和基于硬件的实时数据压缩和解码装置，使得压缩的视频数据可以以适当的格式（诸如基于MPEG（运动图像专家组）标准的内部图像）传输用于由系统单元700解码。安排相机LED指示器，以便响应于来自系统单元700的适当控制数据照明，例如表示不利的光照条件。视频相机712的实施例可以经由USB、蓝牙或WiFi通信端口多种地连接到系统单元700。视频相机的实施例可以包括一个或多个相关联的麦克风，并且还能够发送音频数据。在视频相机的实施例中，CCD可以具有适于高清晰度视频捕获的分辨率。在使用中，由视频相机捕获的图像例如可以并入游戏或解释为游戏控制输入。在另一实施例中，相机是适于检测红外光的红外相机。

通常，为了经由系统单元700的通信端口之一与外围设备（诸如视频相机或遥控器）的成功数据通信出现，应该提供适当的软件（诸如设备驱动器）。设备驱动器技术是公知的，并且将不在此详细描述，除了说本领域的技术人员将知晓在描述的本实施例中可能需要设备驱动器或类似的软件接口。

包括控制台设备和便携式手持设备的前述系统设备构成用于使得手持设备能够显示和捕获在主显示器上呈现的交互应用的交互会话的视频的装置。控制台设备构成用于开始交互应用的交互会话的装置，交互会话限定用户和交互应用之间的交互。系统设备构成用于确定由观众操作的手持设备的初始位置和取向的装置。控制台设备构成用于基于用户和交互应用之间的交互，确定交互应用的当前状态的装置。系统设备构成用于在交互会话期间追踪手持设备的位置和取向的装置。系统设备构成用于基于交互应用的当前装置以及手持的追踪位置和取向，生成交互会话的观众视频流的装置。手持设备构成用于在手持设备的手持显示器上渲染观众视频流的装置。

可以用各种计算机系统配置实践本发明的实施例，包括手持设备、微处理器设备、基于微处理器或可编程消费电子设备、微计算机、大型计算机等。还可以在分布式计算环境中实践本发明，其中由通过网络链接的远程处理设备执行各任务。

在考虑上面实施例的情况下，应该理解本发明可以采用涉及在计算机系统中存储的数据的各种计算机实施的操作。这些操作是要求物理量的物理操纵的那些。形成本发明的一部分的在此描述的任何操作是有用的机器操作。本发明还涉及用于执行这些操作的设备或装置。可以为了要求的目的专门构造装置，诸如专用计算机。当限定为专用计算机时，计算机还可以执行不是专门目的的一部分的其他处理、程序运行或例程，同时仍能够操作用于专门目的。可替代地，可以由可选地激活或由计算机存储器、高速缓冲存储器中存储或通过网络获得的一个或多个计算机程序配置的专用计算机处理操作。当通过网络获得数据时，数据可以通过网络上的其他计算机（例如，计算资源的云）处理。

本发明的实施例还可以限定为将数据从一个状态转换为另一状态的机器。转换的数据可以保存到存储，然后由处理器造作。处理器因此将数据从一个事情为另一个。此外，方法可以由通过网络连接的一个或多个机器或处理器处理。每个机器可以将数据从一个状态或事情转换为另一个，并且还可以处理数据、保存数据到存储、通过网络发送数据、显示结果或者将结果通信到另一机器。

本发明的一个或多个实施例还可以构思为计算机可读介质上的计算机可读代码。计算机可读介质是可以存储数据的任何数据存储设备，其此后可以由计算机系统读取。计算机可读介质的示例包括硬驱动器、附接网络的存储（NAS）、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带和其他光学和非光学数据存储设备。计算机可读介质可以包括在网络连接的计算机系统上分布的计算机可读有形介质，使得计算机可读代码以分布方式存储和运行。

尽管以特定顺序描述了方法操作，但是应该理解在各操作之间可以执行其他常规事务操作，或者可以调整操作，使得它们在稍稍不同的时间出现，或者可以在允许处理操作在与处理相关联的各种间隔出现的系统中分布，只要以希望的方式执行总体操作的处理。

尽管为了理解清楚的目的详细描述了本发明，但是明显的是可以在所附权利要求的范围内实践特定改变和修改。相应地，本实施例视为说明性和非限制性的，并且本发明不限于在此给出的细节，而是可以在权利要求的范围及其等价物内修改。

Claims (33)

1.一种用于使得手持设备能够捕获在主显示器上呈现的交互应用的交互会话的视频的方法，所述方法包括：

开始交互应用的交互会话，交互会话限定用户和交互应用之间的交互；

确定由观众操作的手持设备的初始位置和取向；

基于用户和交互应用之间的交互，确定交互应用的当前状态；

在交互会话期间追踪手持设备的位置和取向；

基于交互应用的当前状态和追踪的手持设备的位置和取向，生成交互会话的观众视频流；

在手持设备的手持显示器上渲染观众视频流。

2.如权利要求1所述的方法，其中交互会话包括从由用户操作的控制器设备接收交互输入，交互输入用于确定交互应用的当前状态。

3.如权利要求1所述的方法，还包括：

基于交互应用的当前状态，生成应用视频流；

在主显示器上渲染应用视频流；

其中交互会话限定用户和渲染的应用视频流之间的交互。

4.如权利要求1所述的方法，其中手持设备的位置和取向限定由交互应用限定的虚拟空间中虚拟视点的位置和取向；并且

其中观众视频流包括从虚拟视点的透视捕获的虚拟空间的图像。

5.如权利要求1所述的方法，还包括：

从交互应用发送观众视频流到手持设备，以便使得能够在手持设备的手持显示器上渲染观众视频流。

6.如权利要求1所述的方法，还包括：

基于交互应用的当前状态确定应用状态数据；

发送应用状态数据到手持设备；

其中基于应用状态数据和追踪的手持设备的位置和取向，在手持设备生成观众视频流。

7.如权利要求1所述的方法，还包括：

捕获其中出现用户和交互应用之间交互的交互环境的环境视频流；

其中基于环境视频流生成观众视频流。

8.如权利要求7所述的方法，其中通过用虚拟元素增强环境视频流，生成观众视频流。

9.如权利要求8所述的方法，其中生成观众视频流包括，

检测环境视频流中的用户，并且

用虚拟元素代替环境视频流中检测到的用户的至少一部分。

10.如权利要求9所述的方法，其中代替包括用由用户控制的交互应用的角色代替环境视频流中检测到的用户。

11.如权利要求1所述的方法，还包括：

确定用户的初始位置；

追踪交互会话期间用户的位置；

其中基于相对于用户的位置的手持设备的位置和取向，生成观众视频流。

12.如权利要求11所述的方法，还包括：

将交互应用的虚拟环境中的对象映射到用户的位置；

其中相对于用户的位置的手持设备的位置和取向限定由交互应用限定的虚拟空间中的虚拟视点的位置和取向；以及

其中观众视频流包括从虚拟视点的透视捕获的虚拟空间的图像，当手持设备朝向用户的位置取向时对象包括在观众视频流的图像中。

13.如权利要求12所述的方法，其中由用户控制对象。

14.如权利要求13所述的方法，其中对象是交互应用的角色。

15.如权利要求11所述的方法，其中基于由用户操作的控制器设备的位置，确定用户的位置。

16.如权利要求12所述的方法，还包括：

捕获其中出现用户和交互应用之间交互的交互环境的环境视频流；

其中至少部分地基于环境视频流，确定用户的位置和相对于用户的位置的手持设备的位置和取向。

17.如权利要求1所述的方法，还包括：

将观众视频流存储在存储器中。

18.一种用于捕获在主显示器上呈现的交互应用的交互会话的视频的系统，所述系统包括：

（a）用于呈现交互应用的控制台设备，控制台设备包括，

（i）会话模块，用于开始交互应用的交互会话，交互会话限定用户和交互应用之间的交互，

（ii）手持设备模块，用于确定和追踪交互会话期间由观众操作的手持设备的位置和取向，

（iii）观众视频流模块，用于基于交互应用的当前状态和追踪的手持设备的位置和取向，生成交互会话的观众视频流；以及

（b）手持设备，手持设备包括用于渲染观众视频流的手持显示器。

19.如权利要求18所述的系统，还包括：

（c）由用户操作的控制器设备，控制器设备提供交互应用，交互输入用于确定交互应用的当前状态。

20.如权利要求18所述的系统，其中控制台设备还包括应用视频流模块，用于基于交互应用的当前状态，生成应用视频流，并且在主显示器上渲染应用视频流；

其中交互会话限定用户和渲染的应用视频流之间的交互。

21.如权利要求18所述的系统，其中手持设备的位置和取向限定由交互应用限定的虚拟空间中虚拟视点的位置和取向；并且

其中观众视频流包括从虚拟视点的透视捕获的虚拟空间的图像。

22.如权利要求18所述的系统，其中观众视频流模块从交互应用发送观众视频流到手持设备，以便使得能够在手持设备的手持显示器上渲染观众视频流。

23.如权利要求18所述的系统，其中手持设备还包括图像捕获设备，用于捕获其中出现用户和交互应用之间交互的交互环境的环境视频流；并且

其中观众视频流模块基于环境视频流生成观众视频流。

24.如权利要求23所述的系统，其中观众视频流模块通过用虚拟元素增强环境视频流，生成观众视频流。

25.如权利要求24所述的系统，其中观众视频流模块通过检测环境视频流中的用户，并且用虚拟元素代替环境视频流中检测到的用户的至少一部分，生成观众视频流。

26.如权利要求25所述的系统，其中代替包括用由用户控制的交互应用的角色代替环境视频流中检测到的用户。

27.如权利要求18所述的系统，还包括用户追踪模块，用户追踪模块确定用户的初始位置并且追踪交互会话期间用户的位置；并且

其中基于相对于用户的位置的手持设备的位置和取向，观众视频流模块生成观众视频流。

28.如权利要求27所述的系统，其中交互应用将交互应用的虚拟环境中的对象映射到用户的位置；

其中相对于用户的位置的手持设备的位置和取向限定由交互应用限定的虚拟空间中的虚拟视点的位置和取向；以及

其中观众视频流包括从虚拟视点的透视捕获的虚拟空间的图像，当手持设备朝向用户的位置取向时对象包括在观众视频流的图像中。

29.如权利要求28所述的系统，其中由用户控制对象。

30.如权利要求29所述的系统，其中对象是交互应用的角色。

31.如权利要求27所述的系统，其中基于由用户操作的控制器设备的位置，确定用户的位置。

32.如权利要求28所述的系统，

其中手持设备包括图像捕获设备，用于捕获其中出现用户和交互应用之间交互的交互环境的环境视频流；

其中至少部分地基于环境视频流，确定用户的位置和相对于用户的位置的手持设备的位置和取向。

33.如权利要求18所述的系统，其中手持设备包括存储器，用于存储观众视频流。

Images