CN111278519A - 来自配套机器人或装置的空间和用户感知的第二屏幕投影 - Google Patents

Abstract

提供一种系统，所述系统包括以下各项：计算装置，其执行视频游戏并且将所述视频游戏的主视频馈送呈现给显示装置，所述主视频馈送提供对虚拟空间的第一视图；机器人，其包括捕获用户图像的相机、投影仪和控制器，所述控制器处理所述用户的所述图像以识别所述用户的凝视方向；其中当所述用户的所述凝视方向从指向所述显示装置的第一凝视方向改变为指向远离所述显示装置的第二凝视方向时，所述计算装置生成提供对所述虚拟空间的第二视图的辅助视频馈送；其中所述机器人的所述控制器激活所述投影仪以将所述辅助视频馈送投影到所述本地环境中的所述投影表面上。

Description

来自配套机器人或装置的空间和用户感知的第二屏幕投影

1.技术领域

本公开涉及来自配套机器人或装置的空间和用户感知的第二屏幕投影，以及相关的方法、设备和系统。

背景技术

2.相关技术说明

视频游戏产业多年来已发生了许多变化。随着计算能力的扩展，视频游戏的开发者同样已经创建了利用这些提高的计算能力的游戏软件。为此，视频游戏开发者一直都在编码结合了复杂的操作和数学运算的游戏，以产生非常详细且吸引人的游戏体验。

示例游戏平台包括Sony

Sony

(PS2)、Sony

(PS3)和Sony

(PS4)，其中的每一个都以游戏控制台的形式出售。众所周知，游戏控制台被设计成连接到显示器(通常是电视机)，并且通过手持控制器实现用户交互。游戏控制台设计有专用处理硬件，所述专用处理硬件包括CPU、用于处理密集图形操作的图形合成器、用于执行几何变换的矢量单元以及其他胶合硬件、固件和软件。游戏控制台还可以设计有用于通过游戏控制台接收用于本地玩的游戏盘的光盘读取器。在线游戏也是可能的，在所述在线游戏中用户可以通过因特网与其他用户交互地对战或一起玩。随着游戏复杂性不断吸引玩家，游戏和硬件制造商不断创新，以实现另外的交互性和计算机程序。

计算机游戏产业中的增长趋势是开发增加用户与游戏系统之间的交互的游戏。实现更丰富的交互式体验的一种方式是使用无线游戏控制器，所述无线游戏控制器的移动由游戏系统跟踪，以便跟踪玩家的移动，并且将这些移动用作游戏的输入。一般来说，手势输入是指使诸如计算系统、视频游戏控制台、智能装置等电子装置对由玩家做出并且由电子装置捕获的一些手势做出反应。

然而，用户通常通过诸如电视或监测器的显示装置来观看虚拟空间，这限制了用户能够通过其体验虚拟空间的视觉区域。

正是在这种背景下，出现了本公开的实现方式。

发明内容

本公开的实现方式包括与来自配套机器人或装置的空间和用户感知的第二屏幕投影相关的装置、方法和系统。

在一些实现方式中，提供一种系统，所述系统包括以下各项：计算装置，其执行视频游戏并且将所述视频游戏的主视频馈送呈现给显示装置，所述主视频馈送提供对由所述正在执行的视频游戏限定的虚拟空间的第一视图；机器人，其包括：相机，所述相机捕获其中设置所述机器人的本地环境中的用户的图像；投影仪；以及控制器，其处理所述用户的图像以识别所述用户的凝视方向，并且将所述用户的凝视方向传达给所述计算装置；其中当所述用户的凝视方向从指向所述显示装置的第一凝视方向改变为指向远离所述显示装置并且指向所述本地环境中的投影表面的第二凝视方向时，所述计算装置生成所述视频游戏的辅助视频馈送，并且将所述视频游戏的所述辅助视频馈送传输到所述机器人，所述辅助视频馈送提供对所述虚拟空间的第二视图，所述第二视图是从由所述用户的凝视方向的改变所确定的第一视图而改变的；其中所述机器人的所述控制器激活所述投影仪以将所述辅助视频馈送投影到所述本地环境中的所述投影表面上。

在一些实现方式中，对所述虚拟空间的所述第一视图是从由用户控制的所述视频游戏的虚拟对象的视角限定的前向视图；其中对所述虚拟空间的所述第二视图是从所述虚拟对象的所述视角限定的侧视图。

在一些实现方式中，从对所述虚拟空间的所述第一视图到所述第二视图的所述改变包括从所述第一视图到所述第二视图的角度旋转；其中从所述第一凝视方向到所述第二凝视方向的所述改变包括从所述第一凝视方向到所述第二凝视方向的角度旋转；其中从所述第一视图到所述第二视图的角度旋转的量由从所述第一凝视方向到所述第二凝视方向的角度旋转的量来确定。

在一些实现方式中，所述显示装置的显示表面沿着第一平面取向；其中所述投影表面沿着与所述第一平面基本上不平行的第二平面取向。

在一些实现方式中，机器人还包括至少一个致动器，所述至少一个致动器控制所述相机的方向，以使得相机能够捕获所述用户的图像。

在一些实现方式中，所述机器人还包括至少一个致动器，所述至少一个致动器控制所述投影仪的方向，以使得所述投影仪能够将所述辅助视频馈送投影到所述投影表面上。

在一些实现方式中，机器人还包括至少一个致动器，所述至少一个致动器控制机器人向所述本地环境内的不同位置的移动，以使得所述相机能够捕获所述用户的图像和/或使得所述投影仪能够将所述辅助视频馈送投影到所述投影表面上。

在一些实现方式中，提供一种方法，所述方法包括以下操作：使用机器人扫描本地环境以识别用于在其上投影视频的表面；确定所述本地环境中的显示装置与所述识别的表面之间的空间关系；使用所述机器人跟踪在所述本地环境中的所述用户的凝视方向；当所述用户的凝视方向指向所述显示装置时，则在所述显示装置上呈现虚拟空间的主视图；当所述用户的凝视方向指向所述识别的表面时，则使用所述机器人将虚拟空间的辅助视图投影到所述识别的表面上，其中所述虚拟空间中的所述主视图与所述辅助视图之间的空间关系由所述显示装置与所述识别的表面之间的空间关系来确定。

在一些实现方式中，扫描所述本地环境以识别用于投影的所述表面包括由所述机器人捕获所述本地环境的图像，并且分析所述本地环境的所述捕获的图像以识别具有预限定最小大小的基本上平坦的表面。

在一些实现方式中，确定所述显示装置与所述识别的表面之间的空间关系包括：确定所述显示装置与所述识别的表面在所述本地环境中的位置和/或取向。

在一些实现方式中，确定所述显示装置与所述识别的表面之间的空间关系包括：确定由所述显示装置沿着其取向的第一平面与所述识别的表面沿着其取向的第二平面之间相交而形成的角度。

在一些实现方式中，使用所述机器人扫描所述本地环境包括将所述机器人移动到所述本地环境内的不同位置。

在一些实现方式中，虚拟空间的主视图由从所述虚拟视点限定并且在所述虚拟空间中具有第一方向的第一视锥体(view frustum)限定；其中所述虚拟空间的所述辅助视图由从所述虚拟视点限定并且在所述虚拟空间中具有第二方向的第二视锥体限定。

在一些实现方式中，提供一种非暂时性计算机可读介质，其上体现有程序指令，所述程序指令在由处理器执行时致使所述处理器执行包括以下操作的方法：使用机器人扫描本地环境以识别用于在其上投影视频的表面；确定所述本地环境中的显示装置与所述识别的表面之间的空间关系；使用所述机器人跟踪在所述本地环境中的所述用户的凝视方向；当所述用户的凝视方向指向所述显示装置时，则在所述显示装置上呈现虚拟空间的主视图；当所述用户的凝视方向指向所述识别的表面时，则使用所述机器人将虚拟空间的辅助视图投影到所述识别的表面上，其中所述虚拟空间中的所述主视图与所述辅助视图之间的空间关系由所述显示装置与所述识别的表面之间的空间关系来确定。

从以下结合附图的详细描述中，本公开的其他方面和优点将变得显而易见，附图通过示例的方式示出了本公开的原理。

附图说明

通过结合附图参考以下描述，可以更好地理解本公开，在附图中：

图1示出了根据本公开的实现方式的虚拟空间的辅助视图的机器人投影。

图2概念性地示出了根据本公开的实现方式的通过显示器和经由机器人呈现的虚拟空间的视图的生成。

图3概念性地示出了根据本公开的实现方式的通过显示器和经由来自机器人的投影呈现的虚拟空间的视图的生成。

图4概念性地示出了根据本公开的实现方式的通过显示器和经由来自机器人的投影呈现的虚拟空间的视图的生成。

图5示出了根据本公开的实现方式的机器人移动以实现跟踪与虚拟空间交互的用户的凝视方向。

图6示出了根据本公开的实现方式的交互式环境中的虚拟空间的视图的投影。

图7示出了根据本公开的实现方式的位于本地交互环境中的桌子的顶部上的机器人。

图8示出了根据本公开的实现方式的投影虚拟空间的视图的机器人，所述虚拟空间也通过头戴式显示器(HMD)被观看。

图9示出了根据本公开的实现方式的位于具有各种特征的本地环境中的机器人。

图10示出了根据本公开的实现方式的用于从机器人投影虚拟空间的辅助视图的系统。

图11是概念性地示出根据本公开的实现方式的机器人的部件的示意图。

图12A至图12G示出了根据本公开的实现方式的各种类型的机器人。

图13示出了根据一个实施方案的用户与客户端系统介接的一个示例，并且所述客户端系统向被称为第二屏幕的第二屏幕显示器提供内容。

图14是根据本公开的各种实施方案的游戏系统1400的框图。

具体实施方式

本公开的以下实现方式提供与来自配套机器人或装置的空间和用户感知的第二屏幕投影相关的装置、方法和系统。然而，对于本领域的技术人员来说，显而易见的是，本公开可在没有当前描述的一些或全部具体细节的情况下实践。在其他实例中，没有详细描述众所周知的处理操作，以免不必要地模糊本公开。

图1示出了根据本公开的实现方式的虚拟空间的辅助视图的机器人投影。在所示实现方式中，用户100被示为与在显示器104上呈现的虚拟空间/环境的主视图116交互。在一些实现方式中，所述虚拟空间是视频游戏的虚拟空间。在其他实现方式中，虚拟空间是提供用户可以与其交互的虚拟空间或虚拟环境的任何类型的应用或平台的虚拟空间，所述虚拟空间非限制性地包括本地执行的交互应用、云执行的应用、云平台、社交网络、网站、电信平台、视频会议、在线聊天室等。应理解，支持虚拟空间的此类应用或平台可以被配置为容纳同时地在同一虚拟空间中交互的多个用户。

在一些实现方式中，生成虚拟空间的交互式应用(例如，视频游戏)由本地计算装置106执行。计算装置可以是可以被配置为执行交互式应用以生成虚拟空间的任何种类的装置，所述装置非限制性地包括游戏控制台、个人计算机、膝上型计算机、机顶盒、平板电脑、蜂窝电话、便携式游戏装置等。在一些实现方式中，计算装置106连接到网络，诸如局域网、广域网、WiFi网络、蜂窝网络、因特网等。

在一些实现方式中，计算装置106是瘦客户端，所述瘦客户端通过网络(例如，因特网)与云服务提供商通信以获得虚拟空间的主视图116。也就是说，交互式应用由云服务提供商执行以生成虚拟空间，并且描绘虚拟空间的主视图的视频数据通过网络(例如，因特网)流式传输到计算装置106，所述计算装置106然后处理视频数据以将主视图116呈现给显示器104。

在一些实现方式中，计算装置106的功能被结合到显示器104中。

为了与通过显示器104观看的虚拟空间交互，用户100可以操作输入装置102。输入装置102可以是用于提供与虚拟空间交互的输入的任何类型的装置，非限制性地包括控制器、运动控制器、键盘、鼠标、触控板、指针、操纵杆、游戏外围装置等。在其中所述虚拟空间是视频游戏的一些实现方式中，输入装置102使得用户100能够向视频游戏提供输入，以实现视频游戏的游戏状态的改变，诸如通过控制视频游戏的游戏过程的背景中的动作(例如，角色或其他虚拟对象)。通过示例而非限制性的方式，输入装置的示例可以包括视频游戏控制器装置，诸如Dual

4无线控制器、

Move Motion Controller和

VR Aim Controller。

在一些实现方式中，图像捕获装置107被配置为捕获交互式本地环境101的图像。图像捕获装置的一个示例是

Camera。计算装置106可以被配置为处理和分析所述捕获的图像，以通过示例而非限制性的方式，确定本地环境101(诸如输入装置102)中的对象的位置/取向。在一些实现方式中，输入装置102可以包括可跟踪特征(诸如在捕获的图像中被辨识并且被跟踪的光或其他可辨识特征)，从而提供对输入装置102在本地环境101中的位置/取向的跟踪。此外，由图像捕获装置107捕获的图像可以被分析以识别并且跟踪用户100。

还示出了机器人108，所述机器人包括图像捕获装置110和投影仪112。图像捕获装置110捕获用户100的图像，对所述图像进行分析以确定用户100的凝视方向，所述凝视方向是用户正在看的方向。这可以通过跟踪和分析用户的位置和移动的各方面(诸如用户的身体位置和姿势、用户的头部的位置、用户的眼睛的位置等)来确定。在不脱离本公开的范围的情况下，可以应用用于基于图像分析来确定所述用户的凝视方向的任何技术。在一些实现方式中，可以对用户100或用户的任何部分(例如，腿部、躯干、颈部、眼睛等)进行建模以便于凝视跟踪。在一些实现方式中，跟踪用户的身体的一些部分以实现跟踪用户100的凝视方向。在一些实现方式中，用户的身体的被跟踪的部分可以被应用于所述模型以确定所述凝视方向。应理解，机器人108可以被配置为移动到不同的位置和取向，以便能够跟踪所述用户的凝视方向。例如，机器人108可以重新定位其自身，使得其图像捕获装置110能够捕获(或继续捕获)用户的眼睛的图像。

应理解，在各种实现方式中，可以通过经由机器人108和/或经由系统中的其他装置获得的各种信息来实现凝视跟踪。在一些实现方式中，用户100的凝视方向基于由机器人108的图像捕获装置110捕获的前述图像，结合机器人108在本地环境101中的确定的位置/取向来确定。在一些实现方式中，机器人108的位置/取向至少部分地基于由机器人其自身感测或处理的信息来确定，通过示例而非限制性的方式，所述信息包括来自运动传感器(例如，加速度计、陀螺仪、磁力计、惯性运动单元(IMU))、由图像捕获装置110捕获的图像、网络定位(例如，GPS、WiFi定位)、同时定位和映射(SLAM)等的数据。在一些实现方式中，机器人108的位置/取向至少部分地基于对图像捕获装置107捕获的图像的分析来确定。在一些实现方式中，机器人108包括一个或多个磁传感器，所述一个或多个磁传感器被配置为感测由定位在本地环境101中的一个或多个磁发射器发射的一个或多个磁场，并且机器人108的位置/取向可以至少部分地基于此类数据来确定。

在一些实现方式中，控制器102的位置/取向被确定并且跟踪，并且这被用于至少部分地实现对所述用户的凝视方向的跟踪。在各种实现方式中，可以基于各种信息来跟踪控制器102的位置/取向，通过示例而非限制性的方式，包括对图像捕获装置107捕获的图像的分析、由控制器102中的运动传感器(例如，加速度计、陀螺仪、磁力计、IMU)检测的传感器数据、感测由一个或多个磁发射器发射的磁场的一个或多个磁传感器、由控制器102中包括的图像捕获装置捕获的图像、网络定位等。用户100的凝视方向可以相对于控制器102的位置/取向或者作为控制器102的位置/取向的偏移来确定。例如，在一些实现方式中，控制器102的位置/取向可以如上所描述来确定并且跟踪，并且机器人108的图像捕获装置110可以捕获包括控制器102以及用户100的图像。用户100相对于控制器102的凝视方向可以使用控制器102在本地环境101中的已知位置/取向并且通过机器人108的图像捕获装置110分析所述捕获的图像来确定并且跟踪。

在一些实现方式中，机器人108和控制器102的位置/取向被单独确定，并且使用该信息连同对由机器人108的图像捕获装置110捕获的用户图像的分析，可以确定用户100相对于控制器102和/或机器人108的凝视方向。

在一些实现方式中，控制器102包括图像捕获装置(未示出)，所述图像捕获装置被配置为在由用户100操作期间捕获用户100的图像(例如，被配置为当控制器102被用户握持时瞄准用户100)。此类图像可以连同由控制器102检测到的传感器数据一起被传输到机器人108，并且此类图像可由机器人108用来确定用户100的凝视方向。

机器人108包括投影仪112，所述投影仪112被配置为将虚拟空间的辅助视图118投影到本地环境101中的表面上。所述表面可以是本地环境101中的任何合适的表面，由用户100可在所述表面上投影和观看图像或视频。在一些实现方式中，合适的表面可以是具有基本上或大部分均匀着色的任何基本上平坦的表面。应理解，合适的表面也可以具有预限定的最小尺寸或大小。机器人108可以被配置为扫描所述本地环境(诸如房间)，以识别适合于在其上投影的一个或多个表面。通过示例而非限制性的方式，用于在其上投影的表面可以包括墙壁(例如，所示实现方式中的墙壁120、122或124)、天花板、投影仪屏幕、屏幕/遮光帘、窗帘/帷幔等。

机器人108可以移动到本地环境中的位置，以便能够将虚拟空间的辅助视图投影到合适的表面上。例如，机器人108可以重新定位其自身，以便避开可能干扰投影的障碍物或其他对象。

在所示实现方式中，投影仪112将虚拟空间的辅助视图118投影到墙壁120上，所述墙壁120是相对于显示装置104的显示表面105的侧墙壁。也就是说，在其上呈现主视图116的显示装置104的显示表面105限定当由所述用户的凝视方向指向前向前方时由用户100观看的前表面。而侧墙壁120限定当由所述用户的凝视方向指向侧向方向(相对于前向方向)时由用户100可以观看到的侧表面。在所示实现方式中，墙壁120大致垂直于显示装置104的显示表面105，并且垂直于前墙壁122。然而，应理解，在其他实现方式中，所示墙壁的相对于彼此以及相对于显示装置104的显示表面105的取向可以变化。

投影到墙壁120上的辅助视图118被配置为相对于主视图116在空间上是正确的。也就是说，辅助视图118提供虚拟空间的视图，所述虚拟空间的视图与所述虚拟空间的主视图116在空间上相关(在虚拟空间的背景下)，其方式由所述主视图与所述辅助视图在其上呈现的表面(例如，显示器104和投影视图118的墙壁120的区域119)的空间关系来确定，或类似于或基于所述空间关系。例如，呈现给用户100前方的显示器104的主视图116从所述虚拟空间中的虚拟视点的视角可以是前向视图；而投影到侧墙壁120上的辅助视图116从虚拟视点的视角来看可以是侧向视图。这可以至少部分地基于显示器104和墙壁120相对于彼此的定位和取向。

在一些实现方式中，所述虚拟视点由用户100控制的虚拟对象(诸如虚拟角色/人、虚拟车辆、虚拟武器等)的位置来限定。所述虚拟视点是所述虚拟环境中可从其生成所述虚拟环境的视图的位置。

在一些实现方式中，辅助视图118由机器人108结合主视图116在显示器104上的呈现来投影。

在一些实现方式中，当用户100的凝视方向指向墙壁120或投影视图118的墙壁120的投影区域119时，辅助视图118由机器人108投影。此外，在一些实现方式中，当所述用户的凝视方向没有指向墙壁120或墙壁120的投影视图118的区域119时，可以停用辅助视图118的投影。因此，可以根据用户100的凝视方向是否指向辅助视图将被投影的墙壁或区域以按需方式提供辅助视图118。

在一些实现方式中，当确定所述用户的凝视方向正朝向墙壁120或要投影辅助视图118的区域119改变或移动超过阈值量时，激活辅助视图118的投影。

在一些实现方式中，当辅助视图118没有投影到墙壁120上时，可以通过投影指示符或标记向用户100指示将被投影的区域。例如，可以投影示出将显示辅助视图118的区域的轮廓或轮廓一部分(例如，角指示符)。在一些实现方式中，可以投影所述区域的中心指示符。应理解，实际上可以投影任何类型的标记或指示符，以指示将投影辅助视图的投影区域，非限制性地包括十字准线、任何类型的形状、标志、游戏标题、单词、字母、图标、游戏相关图形/图标(例如，角色或其他项)、图案、动画等。通过示出辅助视图118将被投影到的地方，用户100可在期望时更容易地确定在哪里查看辅助视图118。

在一些实现方式中，辅助视图118也由计算装置106生成，或者更具体地说，由在计算装置106上执行的交互式应用生成。描绘辅助视图118的视频流可从计算装置106传输/流式传输到机器人108，并且机器人108的投影仪112可以被激活以呈现视频流，从而限定辅助视图118的投影。

在一些实现方式中，在由机器人发起的辅助视图的投影之前，执行一些验证或资格检查。例如，在一些实现方式中，系统首先验证用户参与与显示器上示出的媒体(诸如虚拟空间)进行交互。在一些实现方式中，这可能需要识别并且跟踪用户，其包括跟踪所述用户的凝视方向以确定用户是否正在与媒体或虚拟空间交互。在一些实现方式中，识别所述控制器装置以及用户，并且用户是否正在进行交互通过使用控制器装置来确定。当存在多个人时，系统可以诸如通过识别所述控制器装置的位置并且确定哪个用户正在操作控制器装置、跟踪人的凝视方向等来识别哪些人实际上正在与虚拟空间进行交互。

图2概念性地示出了根据本公开的实现方式的通过显示器和经由机器人呈现的虚拟空间的视图的生成。在左侧，示出了其中用户100连同显示器104和机器人108一起所在的本地环境101的俯视图。在右侧，概念性地示出了虚拟空间200的俯视图，所述虚拟空间200在一些实现方式中是视频游戏或其他交互式应用的虚拟空间。在一些实现方式中，虚拟空间200是其中发生视频游戏的游戏过程的活动的三维空间。

为了提供用于呈现的虚拟空间200的视图，限定虚拟视点202，所述虚拟视点202是虚拟空间200中从其生成所述虚拟环境的视图的位置。也就是说，可从虚拟视点202的视角生成所述虚拟环境的视图。在所示实现方式中，从虚拟视点202的视角来看，主视图116由视锥体206限定。如图所示，视锥体206在虚拟空间200中具有方向204(例如，以方向204为中心)。视锥体206限定在主视图116中捕获用于呈现的视野或虚拟空间200的区域。

如所指出的，示出的视图是虚拟空间200的概念性俯视图，并且因此，仅示出了视锥体的水平方面。然而，应理解，视锥体的竖直方向的大小是根据所期望的视图的纵横比来确定的。通过示例而非限制性的方式，根据本公开的各种实现方式，纵横比(宽度与高度的比率)可以是16:9、4:3、3:2等。为了便于参考所示实现方式进行解释，通常参考视锥体的水平方面。但是本领域的技术人员应理解，视锥体的竖直方面也存在，并且关于视锥体的水平方面的陈述通常也适用于竖直方面。

通过示例而非限制性的方式，在典型的控制台视频游戏中，用于将视图呈现给典型的显示装置(诸如电视或其他显示器)的视锥体206被配置为具有大致在约50到70度的范围内的水平视野(参考208)。在一些实现方式中，视锥体206限定约60度的水平视野。在其他实现方式中，视锥体206限定小于50度或大于70度的水平视野。在一些实现方式中，视锥体206限定约90度的水平视野。

在一些实现方式中，辅助视图118由源自视点202但具有相对于方向204旋转的方向210的视锥体212来限定。在一些实现方式中，方向204与方向210之间的角度(参考216)由显示表面105和投影表面/区域119之间的空间关系来确定，以用于辅助视图(例如墙壁120的区域)的显示。例如，在一些实现方式中，角度216由显示表面105和投影表面119之间的角度关系(诸如相应地正交于显示器104的显示表面105和墙壁120的投影表面119的相交矢量(例如，矢量220和222)之间的角度差)来确定。也就是说，考虑正交于显示表面105并且与正交于投影表面119的第二矢量222相交的第一矢量220，则矢量之间的角度确定视锥体的方向204和210之间的角度216，所述角度216相应地确定显示器104上示出的视图116和118以及墙壁120的区域119。

在一些实现方式中，角度216与前述矢量之间的角度基本上相同。因此，如果前述矢量彼此大致垂直，则视锥体方向204和210彼此大致垂直，并且角度216大致为90度。也就是说，当显示器104和投影表面是正交于显示器104的显示表面105的横向表面时，则虚拟空间200中的主视图和辅助视图的(中心)方向将彼此垂直。在另一个示例中，当投影表面是以约120度的角度与显示器104的平面相交的横向表面时，则法线矢量的相交处将形成约60度的角度，并且虚拟空间中视图的方向204和210之间的角度216将约为60度。

应理解，当显示器104和墙壁120的投影区域119大致水平地对准，或者更确切地，具有类似的竖直位置时，相交矢量的上述描述适用，使得法线矢量可以相交。然而，在情况并非如此的场景下，根据本公开的实现方式，可以替换相应地正交于显示器104和墙壁120的投影区域119的相交竖直平面，并且它们的相交角度可以确定角度216。

描述类似关系的另一种方式是主视图和辅助视图之间的角度216由显示表面105的平面与投影表面119的平面之间的外部角度226来确定，和/或正相关。显示表面105的平面与投影表面119的平面之间的内部角度228面向本地环境，而外部角度226的值等于180度减去内部角度228的值。在一些实现方式中，角度216与外部角度226相同或基本上类似。

在一些实现方式中，视锥体212的水平视野(参考214)与视锥体206的水平视野(参考208)相同或基本上类似(并且相应的竖直视野也可以相同或基本上类似)。然而，在其他实现方式中，水平视野214可以具有的角度值大于或小于水平视野208(以及同样地相应的对应竖直视野)的角度值。例如，在一些实现方式中，辅助视图118的投影的大小可以大于显示器104上的主视图116的显示，并且因此辅助视图118的视野(包括水平和竖直)可以大于主视图116的视野。相反，在一些实现方式中，辅助视图118的投影的大小可以小于主视图116在显示器104上的显示的大小，并且因此辅助视图118的视野可以小于主视图116的视野。也就是说，在一些实现方式中，投影的辅助视图118的视野的大小与投影其自身的大小正相关。而且，在一些实现方式中，辅助视图118的视野的大小取决于辅助视图118相对于显示器104上呈现的主视图116的大小的投影的大小，使得当辅助视图的投影的大小大于呈现的主视图的大小时，则辅助视图的视野的大小大于主视图的视野的大小；并且当辅助视图的投影大小小于呈现的主视图的大小时，则辅助视图的视野的大小小于主视图的视野的大小。

在一些实现方式中，辅助视图118的视野的大小由投影表面119相对于显示器104的显示表面105的定位来确定。如所指出的，在一些实现方式中，矢量220正交于显示表面105，并且与正交于投影表面119的矢量222相交。矢量220和222相应地相对于显示表面105和投影表面119水平地居中。矢量220具有从相交点到显示表面105限定的距离；并且矢量222具有从相交点到投影表面105限定的距离。在一些实现方式中，辅助视图118的视野的大小通过由矢量220和222限定的距离的相对量来确定。例如，在一些实现方式中，随着矢量222的距离相对于矢量220的距离增加，则辅助视图118的视野相对于主视图116的视野减小(例如，视锥体212的角度214相对于视锥体206的角度208减小)。相反，随着矢量222的距离相对于矢量220的距离减小，则辅助视图118的视野相对于主视图116的视野增加(例如，视锥体212的角度214相对于视锥体206的角度208增加)。直观地，当辅助视图118被投影得更靠近用户100时，这提供辅助视图118的视野的增加，而当辅助视图118被投影得更远离用户100时，提供辅助视图118的视野的减少。

继续参考图2，在一些实现方式中，主视图和辅助视图彼此之间的关系由用户100相对于显示器104和投影表面119的空间关系来确定。例如，在一些实现方式中，限定从用户100到显示器104的矢量230(例如，显示表面105的中心)；并且还限定从用户100到投影表面119(例如，投影表面119的中心)的矢量232。在一些实现方式中，矢量230和232之间的角度234相应地确定虚拟空间200的主视图和辅助视图的方向204和210之间的角度216。在一些实现方式中，所述虚拟空间中的观看方向204和210之间的角度216与本地环境101中的矢量230和232之间的角度234相同或基本上相同。在其他实现方式中，角度216被缩放(例如通过缩放因子)到角度234，所述缩放因子在各种实现方式中可以是恒定的或可变的。

在一些实现方式中，辅助视图118的视野的大小可由用户100到显示器104的显示表面105和投影表面119的相对距离来确定。例如，在一些实现方式中，随着从用户100到投影表面119的距离相对于从用户100到显示器的距离增加，则辅助视图118的视野相对于主视图116的视野减小。换句话说，随着矢量232的距离相对于矢量230的距离增加，则视锥体212的视野的大小减小；然而，随着矢量232的距离相对于矢量230的距离减小，则视锥体212的视野的大小增加。直观地，当辅助视图118被投影得更靠近用户100时，这为辅助视图118提供较大的视野，而当辅助视图118被投影得更远离用户100时，这为辅助视图118提供较小的视野。

在一些实现方式中，辅助视图118被配置为与主视图116相邻和/或重叠。例如，辅助视图118的视野可以被配置为与主视图116的视野横向地相邻和/或重叠。参考图2，例如，视锥体206和212可以共享横向侧，或者它们的横向侧可以彼此重叠。观看方向204和210之间的角度216可以被配置为提供此类邻接和/或重叠配置。在此类实现方式中，当从主视图转换到辅助视图时，或者反之亦然，用户100将能够看到虚拟空间200的邻近部分，而在视图覆盖范围中没有任何间隙。

在一些实现方式中，辅助视图118的视野的大小被调整为与主视图116的视野相邻和/或重叠。在一些实现方式中，这与如先前所描述的辅助视图118的投影的大小的调整相结合地发生。

在一些实现方式中，主视图116和辅助视图118之间的关系固定在虚拟空间200中的预限定空间关系处。例如，辅助视图118相对于虚拟空间200中的主视图旋转预限定的量。在一些实现方式中，机器人108被配置为确定对于此类辅助视图在本地环境101中是否存在合适的投影表面，并且如果存在，则可以投影辅助视图118。确定是否存在合适的投影表面可以包括确定所述本地环境中的表面相对于在其上呈现主视图的显示器104是否具有合适的取向，诸如垂直于显示器104的显示表面105的平面，或者在垂直于显示器104的显示表面105的平面的预限定范围内。在一些实现方式中，确定是否存在合适的投影表面还可以包括：确定潜在投影表面是否在显示器104的预限定距离内或者在预限定距离范围内(其确立最小距离和最大距离)。

图3概念性地示出了根据本公开的实现方式的通过显示器和经由来自机器人的投影呈现的虚拟空间的视图的生成。在左侧，示出了其中用户100连同显示器104和机器人108一起所在的本地环境300的俯视图。如图所示，本地环境300可由房间来限定，并且可由房间的墙壁302和304来界定。在右侧，概念性地示出了虚拟空间200的俯视图，所述虚拟空间200在一些实现方式中是视频游戏或其他交互式应用的虚拟空间。如所指出的，在一些实现方式中，虚拟空间200是其中发生视频游戏的游戏过程的活动的三维空间。

在所示实现方式中，显示装置104被放置在墙壁302和304邻接的拐角区域中，相对于墙壁中的每个以一定角度从拐角向外面向。在这种配置中，墙壁302和304限定既不垂直于也不平行于显示装置104的显示表面105的平面的平面(和可能的投影表面)。更确切地说，墙壁以使得它们对于向用户提供虚拟空间的另外的视图有用的方式朝向用户100成角度。

如图所示，虚拟空间200的主视图116通过显示器104的显示表面105呈现。机器人108将虚拟空间200的辅助视图118投影到投影表面306上，所述投影表面306是墙壁302的适合于投影视频的子区域。如已经描述的，虚拟空间200的给定视图由所述虚拟空间中的视锥体限定，所描述的视锥体是从虚拟视点的视角限定的，并且在所述虚拟空间中具有给定的观看方向。在所示实现方式中，虚拟空间200的主视图116由在所述虚拟空间中具有观看方向204(通过视锥体206的中心)的视锥体206来限定，并且所述视锥体206源自虚拟视点202(从虚拟视点202的视角来限定)。

在一些实现方式中，由机器人108投影的辅助视图118是虚拟空间200的邻近所述虚拟空间中的主视图116的视图。也就是说，限定辅助视图118的视锥体邻近限定主视图的视锥体。这在所示实现方式中示出，其中辅助视图118由视锥体322限定，所述视锥体322邻近限定主视图116的视锥体206。辅助视图118因此与主视图116相邻，当在观看显示器104(主视图)和观看投影表面306(辅助视图)之间转换时，向用户100提供虚拟空间的连续视图。视锥体206具有观看方向204和视野208；视锥体322具有观看方向320和视野324，其被配置为提供视锥体322邻近视锥体206的定位。

应理解，所述视锥体的所述横向关系与本地环境300中的所述呈现表面的横向关系一致。也就是说，由于投影表面306横向于显示装置104的显示表面105的左侧，因此限定辅助视图的视锥体322横向于限定所述虚拟空间中的主视图的视锥体206的左侧。

尽管在一些实现方式中虚拟空间的主视图和辅助视图可以是邻近视图，但是在其他实现方式中，根据本文描述的技术，主视图116和辅助视图118可从系统的其他方面来确定。例如，主视图116的观看方向204和辅助视图118的观看方向320之间的角度326可由所述显示装置104的显示表面105的平面与投影表面306(或墙壁302)的平面之间的外部角度312来确定。外部角度312与角度310相同，角度310在相交矢量220和308之间，相交矢量220和308相应地正交于显示表面105和投影表面306。角度326限定辅助视图118相对于主视图116转动的量。

在一些实现方式中，角度326由角度316来确定，所述角度316是矢量230和314之间的角度，所述矢量230和314相应地从用户100指向显示表面105的中心和投影表面306的中心。矢量230和314相应地指示当观看显示器104和来自机器人的投影时用户100的凝视方向。

此外，如本文所描述的，主视图116的视野208和辅助视图118的视野324可以基于各种因素(非限制性地包括用户100到显示器104和投影表面306中的每一个的相对距离、显示表面105和投影表面306的相对大小等)来配置。

图4概念性地示出了根据本公开的实现方式的通过显示器和经由来自机器人的投影呈现的虚拟空间的视图的生成。在左侧，示出了其中用户100连同显示器104和机器人108一起所在的本地环境101的俯视图。如图所示，本地环境101可由房间来限定，并且可由房间的墙壁120、122、124和400来界定。在右侧，概念性地示出了虚拟空间200的俯视图，所述虚拟空间200在一些实现方式中是视频游戏或其他交互式应用的虚拟空间。如所指出的，在一些实现方式中，虚拟空间200是其中发生视频游戏的游戏过程的活动的三维空间。

在所示实现方式中，后墙壁400与前墙壁122相对定位，并且机器人108被配置为将辅助视图118投影到后墙壁400上，并且更具体地说，投影到作为后墙壁400的区域的投影表面402上。投影表面402被配置为与显示装置104的显示表面105基本上相对。换句话说，为了观看投影表面402，用户100转身或旋转他们的凝视方向约180度，从指向显示器104，到指向后墙壁400，并且更具体地说，指向在其上投影辅助视图118的投影表面402。

如图所示，主视图116由视锥体206限定，所述视锥体206在虚拟空间200中具有观看方向204和视野208。辅助视图118由视锥体410限定，所述视锥体410在虚拟空间200中具有观看方向412和视野414。在一些实现方式中，视锥体410的观看方向412大致与视锥体206的观看方向204相反，或者在虚拟空间200中旋转约180度。因此，虚拟空间200在与主视图116相反的方向上的视图可以被示为辅助视图118。以这种方式，用户100能够通过简单地转身朝与显示器104相反/远离的方向看，直观地看到虚拟空间200中他们“后面”的是什么。

图5示出了根据本公开的实现方式的机器人的移动，以实现跟踪与虚拟空间交互的所述用户的凝视方向。如图所示，用户100处于本地环境101中的位置500，观看显示器104上的虚拟空间的主视图116。在一些实现方式中，显示器104如图所示的与前墙壁122大致对准。当用户100位于位置500并且具有朝向显示器104的凝视方向时，机器人108可以被配置为定位在位置506处，所述位置506由机器人的相机110提供用户的眼睛的视图，以实现对用户100的凝视方向进行检测。也就是说，机器人108能够移动或重新定位其自身，以便将其相机110定位为能够捕获用户的眼睛的图像。

例如，当用户100转动或移动到位置502，并且所述用户的凝视方向指向一侧(相对于朝向显示器104的方向)，例如朝向侧墙壁120时，则机器人108可以移动到位置508，使得机器人108的相机110能够捕获用户的眼睛的图像。通过移动到位置502，机器人108被重新定位，以便大致保持定位在用户100的前面。另外，如上所描述的，还可以选择位置502以使得机器人108的投影仪112能够将辅助视图118投影到侧墙壁120上。

此外并且以类似的方式，当用户100转动或移动到位置504，并且所述用户的凝视方向指向房间的后面，或者更具体地说指向后墙壁400和投影表面402时，则机器人108移动到位置510，使得机器人108的相机110能够捕获用户的眼睛的图像。通过移动到位置510，机器人108被重新定位，以便大致保持定位在用户100的前面。另外，还可以选择位置502以使得机器人108的投影仪112能够将辅助视图118投影到后墙壁400上，如上所描述的。

为了能够确定并且跟踪用户100的凝视方向，机器人108可以采用图像识别技术来分析从相机110捕获的图像，并且识别用户的身体、头部和/或眼睛的位置和取向。在一些实现方式中，机器人108被配置为对用户的身体、头部和/或眼睛建模，并且基于对所述捕获的图像的分析来更新所述模型，并且进一步使用所述模型来确定用户100的凝视方向。使用图像分析，机器人108确定用户何时移动或转动，并且机器人108相应地调整其在本地环境101中的位置，以实现跟踪所述用户的凝视方向，这可以包括确保相机110能够捕获包括用户的眼睛的图像(即，用户的眼睛在相机110的视野中)。

在一些实现方式中，机器人108被配置为将其自身定位在相对于用户100的预限定区域内，以便实现跟踪所述用户的凝视方向。用于凝视跟踪的预限定区域可以是相对于用户100的区域，机器人108的相机110能够从所述区域捕获用户的眼睛的图像，或者大体上充分捕获用户100的图像，以实现准确跟踪所述用户的凝视方向。

在一些实现方式中，机器人108被配置为在可能的情况下与用户100维持预限定距离。这对于实现捕获用户的眼睛的图像以用于凝视跟踪可能是有用的，并且还可以防止用户意外地接触或绊倒机器人108，从而确保用户的安全。

此外，在一些实现方式中，机器人108被配置为将其自身定位在相对于投影表面的预限定区域内，机器人108将在所述投影表面上投影虚拟空间的辅助视图。为了将辅助视图适当地投影到投影表面上(例如，以便在投影时具有适当的尺寸，诸如在其整个宽度/高度上具有期望的大小和一致的宽度/高度)，机器人108的投影仪112可以相对于投影表面定位在预限定区域内。

应理解，可以设想上述参数的组合，并且机器人108因此可以被配置为将其自身定位在相对于用户和/或投影表面的上述预限定区域的相交处的区域内。也就是说，机器人108可以被配置为将其自身移动到某一位置，以便满足各种要求，诸如实现凝视跟踪、实现适当的投影、以及确保用户100和机器人108的安全。

在一些实现方式中，机器人108被配置为独立于投影仪112的方向来提供相机110的方向的调整。例如，相机110和/或投影仪112可在一个或多个方向上、沿着或围绕一个或多个轴线等铰接。以这种方式，相机110和投影仪112可以被独立地定向地调整。

此外，在一些实现方式中，机器人采用凝视预测，使得它可在用户朝一个方向看之前移动到最佳位置。例如，在一些实现方式中，从视频游戏向机器人馈送指示未来游戏内容的方向的元数据。所述机器人然后可以根据需要预测性地移动到各种位置，以便被最佳地定位以投影辅助视图。在一些实现方式中，机器人采用预测用户的未来凝视方向的神经网络或其他机器学习构建，并且机器人可以基于预测的未来凝视方向相应地移动。

图6示出了根据本公开的实现方式的交互式环境中的虚拟空间的视图的投影。如图所示，用户100位于本地交互环境600中，所述本地交互环境600可以是房间或其他交互环境。机器人108被配置为使用其相机110来确定并且跟踪用户100的凝视方向。机器人108还被配置为使用其投影仪112来投射投影604，所述投影604示出了在墙壁602上的虚拟空间的视图606，所述虚拟空间限定用于由投影仪112投影图像/视频的投影表面。

在所示实现方式中，投影604可由机器人108基于用户100的凝视方向而移动。投影604可以沿着墙壁602移位，以便跟踪所述用户的凝视方向。在一些实现方式中，投影604的位置被调整为大致以用户100的凝视方向为中心(例如，以所述用户的凝视方向与墙壁602的相交处为中心)。以这种方式，投影604跟随用户100的凝视。

此外，限定虚拟空间的视图606的所述虚拟空间中的视锥体的方向也可由用户100的凝视方向来确定。在一些实现方式中，视锥体的方向在虚拟空间中以与用户100在本地环境600中的凝视方向的改变基本上类似的方式被调整。因此，如果由用户100向左转动他们的头部，从而在本地环境中向左旋转他们的凝视方向，则所述虚拟空间中的视锥体的方向也向左旋转相等或以其他方式相关的量，并且通过投影604呈现的视图606被相应地更新，由此随着由所述用户的凝视方向的改变以及随着投影604其自身被移动以在用户100的凝视方向的路径上对准，改变由用户100可观察的虚拟空间的区域。

应理解，当用户100的凝视方向改变，并且投影604移动时，机器人108其自身可以移动到不同的位置，以实现如上所述持续的凝视跟踪和适当的投影。此外，相机110和投影仪112相对于彼此的方向可以根据由机器人108限定的它们的配置来调整。在一些实现方式中，机器人108可以被配置为当所述用户的凝视方向移动到诸如投影到邻近墙壁608上的位置时，将投影604移动到本地环境600中的其他投影表面。

图7示出了根据本公开的实现方式的位于本地交互环境中的桌子的顶部上的机器人。如图所示，机器人108位于桌子700的顶部上，所述桌子700可以是咖啡桌、书桌、餐桌或本地环境101中的任何其他类型的桌子或升高平台。通过被升高到桌子700上，机器人108可以具有更好的有利位置，从所述有利位置捕获用户100的图像，例如，用于凝视跟踪的目的。机器人108可以例如在桌子700的顶部表面移动，将其自身定位为更好地跟踪所述用户的凝视方向和/或将图像/视频投影到诸如本地环境101中的墙壁或其他表面的投影表面上。

在一些实现方式中，机器人108被配置为映射桌子700(包括桌子的边缘)，以确定机器人108应被维持在其内以便不会从桌子700上掉落的边界。在所示实现方式中，可以基于桌子700的此类映射来确立边界702。此外，在一些实现方式中，机器人108可以包括接近度传感器或其他传感器，所述接近度传感器或其他传感器被配置和/或定位为检测机器人108何时接近掉落，诸如可能出现在桌子的边缘处。机器人108因此可在位于桌子表面上时是可移动的，同时被配置为避免从桌子700上掉落。

在所示实现方式中，机器人108被示出将辅助视图118投影到邻近显示器104的投影表面(例如，墙壁区域)上，在所述投影表面上呈现/显示主视图116。在一些实现方式中，如图所示的辅助视图118可以是主视图116的扩展，使得用户100能够查看所述虚拟空间中的邻近主视图116中示出的区域的区域。应理解，机器人108可以被配置为将其他视图投影到其他投影表面上，如本公开的其他地方所描述的。

图8示出了根据本公开的实现方式的机器人投影虚拟空间的视图，所述虚拟空间也通过头戴式显示器(HMD)被观看。在所示实现方式中，用户800通过头戴式显示器(HMD)802(也称为虚拟现实(VR)头戴耳机)观看虚拟空间。通过示例而非限制性的方式，HMD的一个示例是

VR头戴耳机。在一些实现方式中，为了允许观众通过HMD 802看到用户800正在看什么，在HMD 802上呈现的视图(或其一部分)也可在显示装置104上呈现。因此，用户100能够通过观看显示装置104来观察用户800’的视图。在一些实现方式中，机器人108可以将虚拟空间的辅助视图806投影到可用的投影表面(例如，在所示实现方式中的墙壁124的区域)上。

辅助视图806与主视图804的空间关系可以根据先前描述的方法来确定，通过示例而非限制性的方式，所述方法包括：基于所述虚拟空间中的预限定空间关系；基于通过HMD802提供的视图的所述虚拟空间中的视点/观看方向/视锥体(其可由所述虚拟空间中的角色、车辆或其他对象来限定)；基于投影视图806的投影表面和显示装置104的显示表面105之间的物理空间关系；基于用户100在所述本地环境中并且相对于显示器104和投影表面的位置和凝视方向。

在一些实现方式中，在显示器104上示出的视图804被配置为当HMD用户800基本上面向显示器104时(例如，当用户800的凝视方向基本上指向显示器104时)，示出虚拟空间的视图，所述虚拟空间的视图与通过HMD 802呈现给HMD用户800的视图(或其一部分)相关，或者在虚拟空间中基本上或方向上类似。也就是说，当用户800面向显示器104时，视图804的所述虚拟空间中的观看方向与在HMD上呈现的视图的观看方向类似或相同。以此方式，在显示器104上呈现的视图以直观的方式锚定到HMD 802的现实世界取向，使得当用户800面向显示器104时，则用户100能够在显示器上看到与用户800经由HMD 802看到的视图类似的视图。

在一些实现方式中，然后当用户800在不同方向上查看时，改变HMD 802的取向/位置，机器人108可以被配置为基于用户800面向的改变的方向和/或HMD 802的改变的取向/位置，以空间相关的方式投影到HMD 802上呈现的视图(或其部分)。例如，在一些实现方式中，机器人108被配置为将在HMD 802上呈现的视图(或其部分)投影到基本上位于指向用户800面向的方向(或用户800的凝视方向)的地方，或基本上位于HMD 802指向的地方的表面上。因此，当HMD用户800向各个方向看时，HMD用户800经由HMD 802看到的虚拟空间的视图被示出或投影给用户100，以在与HMD用户800面向的方向上对准的位置中看到。

应理解，在一些实现方式中，提供给HMD 802的虚拟空间的视图可由计算装置106生成，并且被传输到HMD 802。而且，计算装置106可以生成主视图804和辅助视图806。

尽管已经参考虚拟空间的辅助视图的投影描述了实现方式，但是在一些实现方式中，投影可以是其他种类的内容。在一些实现方式中，机器人可以被配置为投影与所述视频游戏相关的静态内容。例如，如果用户正在玩在特定类型的环境(例如，丛林、海洋、沙漠、城市、山脉、森林、空间、运动等)中进行的游戏，则机器人可以投影与特定类型的环境相关的图像/视频(例如，当游戏过程发生在丛林中时投影丛林场景，当游戏过程出现在竞技场中时投影观众或人群等)。此外，在一些实现方式中，机器人可以投影其他游戏相关内容，通过示例而非限制性的方式，包括例如玩家目录、游戏菜单、地图、消息、状态信息、游戏广告等。

图9示出了根据本公开的实现方式的位于具有各种特征的本地环境中的机器人。在所示实现方式中，本地环境900由具有墙壁902、904和906以及天花板908的房间来限定。显示装置104沿着墙壁902安装，窗口910限定在墙壁904中，并且门912限定在墙壁906中。沙发914和灯916位于房间中。灯918沿着天花板908定位。

机器人108被配置为扫描所述本地环境900以识别适合于投影图像/视频(包括如上所描述的虚拟空间的视图的投影)的表面。机器人108可以使用本领域已知的各种类型的传感器和技术中的任一种来映射所述本地环境，包括映射对象的位置和形状以及它们的纹理和颜色，以便确定它们作为投影表面的适用性。通过示例而非限制性的方式，机器人108可以使用传感器，诸如相机/图像捕获装置、接近度传感器(例如，红外线、超声波、光敏电阻等)、深度相机、距离传感器(例如，立体相机、红外线、超声波、激光等)、惯性传感器(例如，加速度计、陀螺仪、磁力计)、全球定位系统(GPS)等。此外，通过示例而非限制性的方式，机器人108可以使用诸如同时定位和映射(SLAM)技术的技术来映射所述本地环境。机器人108可以应用对象识别技术来识别所述本地环境中的对象，包括分析所述本地环境的所述捕获的图像。

继续参考图9，机器人108可以识别并且辨识房间中的对象，诸如各种墙壁和天花板、显示装置104、窗户910、门912、沙发914和灯916。机器人108可以映射此类对象的位置和取向，并且识别能够用于在其上投影的表面。例如，机器人可以确定：墙壁902的不包括显示器104的区域可以用于投影；墙壁904的除了窗口910和未被灯916遮挡的区域可以用于投影；墙壁906的不包括门912和未被灯916遮挡的区域可以用于投影；天花板908的不包括灯918的区域可以用于投影。

机器人108可以利用对象的映射以及通过其各种传感器硬件对本地环境的实时感测，以便于机器人的移动，例如，以实现凝视跟踪和/或视频投影，同时避免与所述本地环境中的其他对象碰撞。

在一些实现方式中，机器人108被配置为确定显示装置104的大小，并且基于显示装置104的大小调整用于投影的参数。例如，来自由机器人108的投影图像/视频的大小可以被配置为与显示装置104大致相同，诸如通过调整投影仪112的缩放设置或机器人108在表面上投影时的位置。在一些实现方式中，当观看显示装置104上的虚拟空间与观看来自由机器人108的投影视图相比时，由机器人108的投影仪112投影的视图(或对应的视锥体)的大小被调整以提供一致的尺寸大小。换句话说，无论是通过显示器104还是通过由机器人108的投影来显示，所述虚拟空间的视图的大小都将是一致的。

图10示出了根据本公开的实现方式的用于从机器人投影虚拟空间的辅助视图的系统。在一些实现方式中，机器人108使用其相机110来捕获本地环境的图像，所述本地环境的图像被处理成图像捕获数据1000，并且被传输到计算装置106。在一些实现方式中，图像捕获数据1000可由图像帧的流来限定。计算装置106执行限定虚拟空间的交互式应用(例如，在一些实现方式中的视频游戏)。计算装置106生成主视频馈送1010，所述主视频馈送1010被传输到显示器104并且在显示器104上呈现，从而通过显示器104显示虚拟空间的主视图。

计算装置106还可以分析接收到的图像捕获数据1000以确定所述用户的凝视方向。如上所描述的，这可能需要分析接收到的图像捕获数据1000，以识别、建模和跟踪用户的各个部分，诸如用户的头部、眼睛、身体、腿部等。基于跟踪所述用户的凝视方向，计算装置106可以确定用户何时转动以观看投影表面。并且当这发生时，计算装置106生成描绘虚拟空间的辅助视图的辅助视频馈送1012，并且将辅助视频馈送1012传输到机器人108。机器人108将辅助视频馈送1012投影到投影表面上，从而显示虚拟空间的辅助视图。

在一些实现方式中，在替代方案中生成主视频馈送和辅助视频馈送，使得当一个被流式传输时，另一个不被流式传输。然而，在其他实现方式中，所述主视频馈送和辅助视频馈送两者可以同时地生成，并且两者可以相应地由显示器104和机器人108同时地流式传输和呈现。

在一些实现方式中，图像捕获数据1000还可由计算装置分析，以确定由用户或本地环境的可由交互式应用使用的其他方面，通过示例而非限制性的方式，包括用户的手势或移动、面部表情、所述本地环境中对象的识别等。

另外，机器人108可以具有麦克风以捕获来自所述本地环境的音频，诸如由用户说出的单词/声音。捕获的音频被处理成音频捕获数据1002，所述音频捕获数据1002被传输到计算装置106。音频捕获数据1002可由计算装置106处理，以通过示例而非限制性的方式，识别可能影响交互式应用的语音命令或其他口头交互式内容。

尽管已经描述了其中计算装置处理/分析图像捕获数据1000和/或音频捕获数据1002的实现方式，但是在其他实现方式中，此类分析可以部分地或全部地由机器人108执行。例如，在一些实现方式中，机器人108可以被配置为分析所述捕获的图像数据以确定所述用户的凝视方向，所述用户的凝视方向可以被编码为传输到计算装置108的凝视跟踪数据1004。在一些实现方式中，机器人108可以被配置为分析捕获的音频数据以确定用户的语音命令或其他口头内容，其可以被编码为传输到计算装置108的命令数据1006。

在另一个实现方式中，机器人108充当交互式应用的远程客户端，并且被配置为生成辅助视频馈送(例如，执行虚拟空间的辅助视图的图形呈现)。这减少了计算装置106上的处理负载，并且可以实现比其他方式可能实现的更高保真度的辅助视图视频呈现。

图11是概念性地示出根据本公开的实现方式的机器人的部件的示意图。如图所示，机器人1100包括控制器1102，控制器1102被配置为控制机器人的各种装置和由机器人1100执行的操作，所述操作包括处理数据和指令，以及向机器人1100的各种装置发出命令，以致使机器人移动、捕获图像/音频/视频、呈现图像/音频/视频，或者执行机器人能够执行的任何其他功能，如本公开中所描述的。控制器1102包括一个或多个处理器1104(例如，微处理器、通用处理器(GPP)、专用处理器(ASP)、中央处理单元(CPU)、图形处理单元(GPU)、复杂指令集计算机(CISC)、精简指令集计算机(RISC)、专用集成电路(ASIC)、数字信号处理器(DSP)等)和被配置为存储和检索数据的一个或多个存储装置1106(例如，易失性存储器、非易失性存储器、随机存取存储器(RAM)、只读存储器(ROM)、SRAM、DRAM、快闪存储器、磁存储器、硬盘、光盘等)。

收发器1108被配置为经由无线或有线连接来传输和/或接收数据。收发器1108可以通过一个或多个网络进行通信，并且使用本领域中已知的各种数据通信协议中的任一种，通过示例而非限制性的方式，包括基于IP的协议、Wi-Fi、蓝牙、NFC、Zigbee、Z-Wave、ANT、UWB、无线USB、Sigfox、蜂窝网络(2G/3G/4G/5G网络、LTE网络等)、红外协议(例如，IRDA协议)等。

机器人1100包括一个或多个扬声器1110，所述一个或多个扬声器1110能够发射任何种类的音频，通过示例而非限制性的方式，包括来自由机器人1100呈现的虚拟环境的声音、音乐、语音、来自媒体演示(例如电视节目、电影、表演等)的音频等。

机器人1100包括一个或多个麦克风1112，所述一个或多个麦克风1112被配置为捕获来自设置所述机器人的本地环境的声音。多个麦克风可以准许同时地在更多方向上具有更高的灵敏度。在一些实现方式中，麦克风1112被配置为阵列或其他预限定的定位布置，使得来自麦克风阵列的信号可以被分析以确定音频源相对于麦克风阵列的方向性。

机器人1100包括一个或多个图像捕获装置/相机1114，所述一个或多个图像捕获装置/相机1114被配置为从本地环境捕获图像/视频。通过示例而非限制性的方式，可以采用多个图像捕获装置以实现对本地环境的较大区域或多个区域的同时覆盖和/或改善的环境映射、深度分析。

一个或多个相机1114可由一个或多个致动器1116引导，以使得给定相机的方向能够被调整。致动器1116可以被配置为旋转、平移、升高、降低、倾斜、摇动或以其他方式移动或改变相机1114的取向。

机器人1100包括一个或多个深度相机1118。深度相机能够捕获关于所述本地环境中的对象的深度/范围信息。在一些实现方式中，深度相机1118是飞行时间相机，其基于受控光信号到所述本地环境中的各个点的飞行时间来确定距离。

类似于相机1114，深度相机1118可由一个或多个致动器1116引导，所述一个或多个致动器1116可以是与引导一个或多个相机1114的致动器相同或不同的致动器。

机器人1100包括一个或多个接近度传感器1120，所述一个或多个接近度传感器1120能够检测机器人对附近对象的接近度。接近度传感器1120可以安装在机器人1100上的各种位置处，以实现对机器人1100的对应部分的接近度检测。例如，在一些实现方式中，至少一个接近度传感器安装在机器人1100的下部部分，以实现在此附近进行接近度检测，诸如以提供对所述机器人的所述下部部分附近的对象(例如，机器人1100所处的地板/表面上的对象)进行检测。在一些实现方式中，一个或多个接近度传感器沿着机器人1100的其他部分(包括机器人的中部和上部部分)安装。接近度传感器1120可用于避免机器人1100与所述本地环境中的对象的碰撞、检测附近对象的存在、检测机器人附近的用户的手势等。

机器人1100包括全球定位系统(GPS)装置/接收器1122，所述全球定位系统(GPS)装置/接收器1122被配置为从GPS卫星接收信息以确定机器人1100的地理位置。

机器人1124包括一个或多个惯性/运动传感器1124，其能够检测机器人1124的移动和/或取向。惯性/运动传感器的示例包括加速度计、磁力计、陀螺仪等。

机器人1124包括至少一个投影仪1126，所述至少一个投影仪1126能够将图像/视频投影到所述本地环境中的表面上。通过示例而非限制性的方式，投影仪可以是LCD投影仪、LED投影仪、DLP投影仪、LCoS投影仪、微微投影仪等。

机器人1100包括多个轮子/滚轮(例如如图所示的轮子/滚轮1130a和1130b)，所述多个轮子/滚轮被配置为使得机器人1100能够在本地环境中移动。轮子/滚轮中的一个或多个可由致动器(例如，致动器1132a和1132b)控制，以致使轮子/滚轮旋转，并且由此实现机器人1100的移动。在一些实现方式中，轮子/滚轮可以是多方向的或全方向的，也就是说，能够产生或便于在一个以上方向或全部方向上的移动。

机器人1100的各种部件可以容纳在壳体内。在所示实现方式中，包括上部壳体1134a和下部壳体1134b。上部壳体1134a被配置为在多个轴承1136的帮助下可相对于下部壳体1134b旋转。在一些实现方式中，致动器1138被配置为旋转上部壳体1134a。在各种实现方式中，机器人1100的各种部件中的任一个都可以安装到上部壳体1134a或上部壳体1134a内，并且被配置为在上部壳体1134a旋转时旋转/移动，而各种部件中的其他部件安装到下部壳体1134b或下部壳体1134b内并且不同时地旋转。

通过示例的方式，在一些实现方式中，相机1114、深度相机1118、扬声器1110和/或麦克风1112安装到上部壳体1134a，而投影仪1126安装到下部壳体1134b。可以独立于投影仪1126而使安装到上部壳体1134a的部件与上部壳体1134a一起旋转。这可以使机器人1100能够独立于相机1114、深度相机1118、扬声器1110和/或麦克风1112来引导投影仪1126。例如，这对于允许相机1114、深度相机1118、扬声器1110和/或麦克风1112指向用户，而投影仪1126指向墙壁或其他投影表面可能是有用的。

图12A至图12G示出了根据本公开的实现方式的各种类型的机器人。

图12A示出了根据本公开的实现方式的具有圆柱形主体1200的机器人。根据本公开的实现方式，投影仪1202和相机1204安装到可延伸和/或可旋转的相应杆。机器人可以包括多个扬声器1206，所述多个扬声器1206使得机器人能够在多个方向上发射音频。尽管没有具体地示出，但是机器人也可以包括下发扬声器。机器人还包括用于机器人在本地环境中的推进/移动的轮子1208。

图12B示出了根据本公开的实现方式的具有上部可旋转部分1210的机器人，诸如投影仪1202和相机1204的部件可以安装到所述上部可旋转部分1210。机器人还包括显示器1212，所述显示器1212可以被配置为呈现任何种类的数据。在一些实现方式中，机器人的显示器1212可以用作辅助显示器，以在视频游戏期间示出对玩家有用的信息。显示器1212可以是触摸屏显示器，并且能够经由触摸屏显示器上的触摸和手势从用户接收输入。机器人还采用连续轨道系统1214(也称为坦克胎面或履带胎面)用于机器人的推进。

图12C示出了根据本公开的实现方式的机器人，所述机器人被配置为还用作控制器和/或其他接口装置的存储位置。在所示实现方式中，机器人被配置为保持/存储控制器1220a和1220b以及运动控制器1222a和1222b。机器人可以包括用于保持控制器或其他接口装置的各种装置中的任一种，诸如扣紧器、夹具、带、夹紧器、口袋、孔、凹部等。

图12D示出了根据本公开的实现方式的具有主体1230和可启动无人机1232的机器人。当不在飞行中时，无人机1232可以搁置在主体1230上的支撑结构1234上和/或固定到主体1230上的支撑结构1234上。支撑结构1234可以包括被配置为与无人机1232上的对应触点配合的触点，以实现无人机1232与机器人的主体1230之间的数据通信，以及无人机的电池的充电。应理解，无人机1232可以包括对其操作有用的和/或可在无人机飞行时使用的各种部件，诸如相机、深度相机、麦克风、投影仪、惯性/运动传感器、无线收发器等。无人机1232可以与主体1230无线地通信并且经由从主体1230发送的无线信号来控制。无人机1232可以被激活并且飞行，以便为图像捕获、音频捕获、投影、音频呈现等提供升高的有利位置。

图12E示出了根据本公开的实现方式的具有人形装置的形状因子的机器人。机器人包括可以铰接的头部1240，并且可以包括诸如相机、投影仪等的装置。机器人还包括臂1242，所述臂1242可以被铰接，并且被配置为扣紧物品、执行手势等。机器人还包括腿部1244，所述腿部1244可以被铰接，并且被配置为使得机器人能够在本地环境中行走/奔跑或以其他方式移动。

图12F示出了根据本公开的实现方式的具有可旋转球形部分1250的机器人。在一些实现方式中，球形部分1250可以全方向地旋转，以便重定向安装在其上的任何装置，诸如相机、投影仪、麦克风等。球形部分1250由中间部分1252支撑，所述中间部分1252可围绕基部1254旋转，从而为机器人的装置的移动提供更大的灵活性。

图12G示出了根据本公开的实现方式的机器人，所述机器人具有限定在轮子1262之间的主体1260。在一些实现方式中，轮子1262a和1626b大小被加大，以便显著大于主体1260，以使得机器人能够横穿障碍物或其他不连续点。在一些实现方式中，主体1260的重心被配置为低于轮子子1262a和1262b的轴线的水平，使得主体1260的取向容易被维持，同时仅具有用于支撑的两个轮子。

图13示出了HMD102的用户1300与客户端系统1306介接的一个示例，并且所述客户端系统1306向被称为第二屏幕1307的所述第二屏幕显示器提供内容。客户端系统1306可以包括用于处理从HMD1302到第二屏幕1307的内容共享的集成电子器件。其他实施方案可以包括将在客户端系统与HMD 1302和第二屏幕1307中的每一者之间进行介接的单独的装置、模块、连接器。在所述通常示例中，用户1300正佩戴着HMD 1302，并且正在使用控制器玩视频游戏，所述控制器也可以是方向接口对象1304。由用户1300进行的交互式游戏将产生视频游戏内容(VGC)，所述视频游戏内容(VGC)被交互式地显示给HMD 1302。

在一个实施方案中，在HMD 1302中显示的内容被共享到第二屏幕1307。在一个示例中，观看第二屏幕1307的人可以观看由用户1300在HMD 1302中交互式地玩的内容。在另一个实施方案中，另一个用户(例如，玩家2)可以与客户端系统1306交互以产生第二屏幕内容(SSC)。由玩家产生的也与控制器1304交互的第二屏幕内容(或任何类型的用户接口、手势、语音或输入)，可以作为客户端系统1306的SSC产生，所述SSC可以连同从HMD 1302接收的VGC一起显示在第二屏幕1307上。

因此，对于HMD用户和可能正在第二屏幕1307上观看由HMD用户玩的内容的用户两者来说，与HMD用户共处一地或远离的其他用户的交互性可以是社交的、交互式的和更沉浸式的。如图所示，客户端系统1306可以连接到因特网1310。因特网还可以向客户端系统1306提供对来自各种内容源1320的内容的访问。内容源1320可以包括可以通过因特网访问的任何类型的内容。

此类内容可以包括但不限于视频内容、电影内容、流媒体内容、社交媒体内容、新闻内容、朋友内容、广告内容等。在一个实施方案中，客户端系统1306可以用于同时地处理HMD用户的内容，使得在游戏期间向HMD提供与交互性相关联的多媒体内容。客户端系统106然后还可以向所述第二屏幕提供可能与所述视频游戏内容无关的其他内容。在一个实施方案中，客户端系统1306可从内容源1320中的一个或者从本地用户或者远程用户接收所述第二屏幕内容。

图14是根据本公开的各种实施方案的游戏系统1400的框图。游戏系统1400被配置为经由网络1415向一个或多个客户端1410提供视频流。游戏系统1400通常包括视频服务器系统1420和可选的游戏服务器1425。视频服务器系统1420被配置为以最低服务质量向一个或多个客户端1410提供视频流。例如，视频服务器系统1420可以接收改变视频游戏内的状态或视角的游戏命令，并且以最小的滞后时间向客户端1410提供反映状态改变的更新的视频流。视频服务器系统1420可以被配置为以各种各样的替代视频格式(包括尚未限定的格式)提供视频流。此外，视频流可以包括被配置为以各种各样的帧速率呈现给用户的视频帧。典型的帧速率是每秒30帧、每秒60帧和每秒120帧。但在本公开的替代实施方案中包括更高或更低的帧速率。

客户端1410(本文中单独称为1410A、1410B等)可以包括头戴式显示器、终端、个人计算机、游戏控制台、平板计算机、电话、机顶盒、信息亭、无线装置、数字键盘、独立装置、手持式玩游戏的装置和/或类似物。通常，客户端1410被配置为接收编码的视频流、解码所述视频流，并且将所得的视频呈现给用户，例如游戏的玩家。接收编码的视频流和/或解码所述视频流的过程通常包括将各个视频帧存储在所述客户端的接收缓冲器中。视频流可在集成到客户端1410的显示器上或者在诸如监测器或电视的单独装置上呈现给用户。客户端1410可选地被配置为支持一个以上的游戏玩家。例如，游戏控制台可以被配置为支持两个、三个、四个或更多个同时的玩家。这些玩家中的每一个可以接收单独的视频流，或者单个视频流可以包括专门针对玩家中的每个(例如，基于玩家中的每个的视角)而生成的帧的区域。客户端1410可选地在地理上分散。游戏系统1400中包括的客户端的数量可从一个或两个广泛变化到几千个、几万个或更多个。如本文所使用的，术语“游戏玩家”用于指玩游戏的人，并且术语“玩游戏的装置”用于指用于玩游戏的装置。在一些实施方案中，玩游戏的装置可以指多个计算装置，所述多个计算装置协作以向用户递送游戏体验。例如，游戏控制台和HMD可以与视频服务器系统1420协作以递送通过HMD观看的游戏。在一个实施方案中，游戏控制台从视频服务器系统1420接收视频流，并且游戏控制台将视频流或对视频流的更新转发到HMD用于呈现。

客户端1410被配置为经由网络1415接收视频流。网络1415可以是任何类型的通信网络，其包括电话网络、因特网、无线网络、电力线网络、局域网、广域网、专用网络和/或类似物。在典型的实施方案中，所述视频流经由标准协议(诸如TCP/IP或UDP/IP)来传达。替代地，所述视频流经由专有标准来传达。

客户端1410的典型示例是个人计算机，所述个人计算机包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力和输入装置。解码逻辑可以包括存储在计算机可读介质上的硬件、固件和/或软件。用于解码(和编码)视频流的系统在本领域中是众所周知的，并且根据所使用的特定编码方案而变化。

客户端1410还可以(但不要求)包括被配置为修改接收到的视频的系统。例如，客户端可以被配置为执行其他呈现、将一个视频图像覆盖在另一个视频图像上、裁剪视频图像和/或类似物。例如，客户端1410可以被配置为接收各种类型的视频帧，诸如I帧、P帧和B帧，并且将这些帧处理成图像以显示给用户。在一些实施方案中，客户端1410的成员被配置为对视频流执行其他呈现、着色、到3-D的转换或类似的操作。客户端1410的成员可选地被配置为接收一个以上的音频或视频流。客户端1410的输入装置可以包括，例如，单手游戏控制器、双手游戏控制器、手势识别系统、凝视识别系统、语音识别系统、键盘、操纵杆、定点装置、力反馈装置、运动和/或位置感测装置、鼠标、触摸屏、神经接口、相机、有待开发的输入装置和/或类似物。

由客户端1410接收的视频流(以及可选地音频流)由视频服务器系统1420生成并且提供。如本文其他地方进一步描述的，所述视频流包括视频帧(并且所述音频流包括音频帧)。视频帧被配置(例如，它们在适当的数据结构中包括像素信息)为向用户显示的图像做出有意义的贡献。如本文所使用的，术语“视频帧”用于指主要包括被配置为贡献于例如实现向用户中示出的图像的信息的帧。本文关于“视频帧”的大多数教导也可以应用于“音频帧”

客户端1410通常被配置为从用户接收输入。这些输入可以包括被配置为改变视频游戏状态或以其他方式影响玩游戏的游戏命令。游戏命令可以使用输入装置来接收和/或可以通过在客户端1410上执行的计算指令来自动地生成。所述接收到的游戏命令经由网络1415从客户端1410传达给视频服务器系统1420和/或游戏服务器1425。例如，在一些实施方案中，游戏命令经由视频服务器系统1420被传达给游戏服务器1425。在一些实施方案中，游戏命令的单独副本从客户端1410传达给游戏服务器1425和视频服务器系统1420。游戏命令的通信可选地取决于命令的身份。游戏命令可选地通过用于向客户端1410A提供音频或视频流的不同路线或通信信道而从客户端1410A传达。

游戏服务器1425可选地由不同于视频服务器系统1420的实体操作。例如，游戏服务器1425可由多玩家游戏的发行者操作。在所述示例中，视频服务器系统1420可选地被游戏服务器1425视为客户端，并且可选地被配置为从游戏服务器1425的视角看起来是执行现有技术游戏引擎的现有技术客户端。视频服务器系统1420和游戏服务器1425之间的通信可选地经由网络1415发生。因此，游戏服务器1425可以是向多个客户端发送游戏状态信息的现有技术的多玩家游戏服务器，其中一个客户端是游戏服务器系统1420。视频服务器系统1420可以被配置为同时与游戏服务器1425的多个实例通信。例如，视频服务器系统1420可以被配置为向不同的用户提供多个不同的视频游戏。这些不同的视频游戏中的每一个都可由不同的游戏服务器1425支持和/或由不同的实体发布。在一些实施方案中，视频服务器系统1420的若干在地理上分布的实例被配置为向多个不同的用户提供游戏视频。视频服务器系统1420的这些实例中的每一个都可以与游戏服务器1425的相同实例通信。视频服务器系统1420与一个或多个游戏服务器1425之间的通信可选地经由专用通信信道发生。例如，视频服务器系统1420可以经由专用于这两个系统之间的通信的高带宽信道连接到游戏服务器1425。

视频服务器系统1420至少包括视频源1430、I/O装置1445、处理器1450和非暂时性存储装置1455。视频服务器系统1420可以包括一个计算装置或者分布在多个计算装置中。这些计算装置可选地经由诸如局域网的通信系统连接。

视频源1430被配置为提供视频流，例如，流视频或形成移动图像的一系列视频帧。在一些实施方案中，视频源1430包括视频游戏引擎和呈现逻辑。视频游戏引擎被配置为从玩家接收游戏命令，并且基于接收到的命令来维持视频游戏状态的副本。所述游戏状态包括游戏环境中的对象的位置，以及通常包括视角。游戏状态还可以包括对象的特性、图像、颜色和/或纹理。游戏状态通常基于游戏规则以及诸如移动、转动、攻击、设置焦点、交互、使用等的游戏命令来维持。游戏引擎的部分可选地设置在游戏服务器1425内。游戏服务器1425可以基于使用在地理上分散的客户端从多个玩家接收的游戏命令来维持游戏的状态的副本。在这些情况下，游戏状态由游戏服务器1425提供给视频源1430，其中存储游戏状态的副本并且执行呈现。游戏服务器1425可以经由网络1415直接从客户端1410接收游戏命令，和/或可以经由视频服务器系统1420接收游戏命令。

视频源1430通常包括呈现逻辑，例如存储在诸如存储装置1455的计算机可读介质上的硬件、固件和/或软件。所述呈现逻辑被配置为基于游戏状态来创建所述视频流的视频帧。所述呈现逻辑的全部或部分可选地设置在图形处理单元(GPU)内。呈现逻辑通常包括被配置为基于游戏状态和视点来确定对象之间的三维空间关系和/或用于应用适当的纹理等的处理阶段。所述呈现逻辑产生原始视频，所述原始视频然后通常在与客户端1410通信之前被编码。例如，可以根据Adobe

标准、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.Xvid.FFmpeg、x264、VP6-8、realvideo、mp3等来编码原始视频。所述编码过程产生视频流，所述视频流可选地被打包以递送到远程装置上的解码器。视频流的特征在于帧大小和帧速率。典型的帧大小包括800x600、1280x720(例如，720p)、1024x768，但是也可以使用任何其他的帧大小。帧速率是每秒的视频帧的数量。视频流可以包括不同类型的视频帧。例如，H.264标准包括“P”帧和“I”帧。I帧包括刷新显示装置上的全部宏块/像素的信息，而P帧包括刷新其子集的信息。P帧的数据大小通常小于I帧。如本文所使用的，术语“帧大小”意在指帧内的像素的数量。术语“帧数据大小”用于指存储帧所需的字节数。

在替代实施方案中，视频源1430包括视频记录装置，诸如相机。所述相机可用于生成可以包括在计算机游戏的视频流中的滞后或实况视频。所得到的视频流可选地包括呈现的图像和使用静态相机或视频相机记录的图像两者。视频源1430还可以包括存储装置，所述存储装置被配置为存储要包括在视频流中的先前记录的视频。视频源1430还可以包括被配置为检测对象(例如，人)的运动或位置的运动或定位感测装置，以及被配置为基于所述检测到的运动和/或位置来确定游戏状态或产生视频的逻辑。

视频源1430可选地被配置为提供被配置为放置在其他视频上的覆盖。例如，这些覆盖可以包括命令接口、登录指令、给游戏玩家的消息、其他游戏玩家的图像、其他游戏玩家的视频馈送(例如，网络摄像机视频)。在包括触摸屏接口或凝视检测接口的客户端1410A的实施方案中，覆盖可以包括虚拟键盘、操纵杆、触摸板和/或类似物。在覆盖的一个示例中，玩家的声音被覆盖在音频流上。视频源1430可选地还包括一个或多个音频源。

在其中视频服务器系统1420被配置为基于来自一个以上玩家的输入来维持游戏状态的实施方案中，每个玩家都可以具有包括观看的位置和方向的不同视角。视频源1430可选地被配置为基于每个玩家的视角为每个玩家提供单独的视频流。此外，视频源1430可以被配置为向客户端1410中的每个提供不同的帧大小、帧数据大小和/或编码。视频源1430可选地被配置为提供3-D视频。

I/O装置1445被配置为视频服务器系统1420发送和/或接收信息，诸如视频、命令、信息请求、游戏状态、凝视信息、装置运动、装置位置、用户运动、客户端身份、玩家身份、游戏命令、安全信息、音频和/或类似物。I/O装置1445通常包括通信硬件，诸如网卡或调制解调器。I/O装置1445被配置为与游戏服务器1425、网络1415和/或客户端1410通信。

处理器1450被配置为执行包括在本文讨论的视频服务器系统1420的各种部件内的逻辑，例如软件。例如，处理器1450可以用软件指令编程，以便执行视频源1430、游戏服务器1425和/或客户端限定器1460的功能。视频服务器系统1420可选地包括一个以上处理器1450的实例。处理器1450也可以用软件指令编程，以便执行由视频服务器系统1420接收的命令，或者协调本文讨论的游戏系统1400的各种元件的操作。处理器1450可以包括一个或多个硬件装置。处理器1450是电子处理器。

存储装置1455包括非暂时性模拟和/或数字存储装置。例如，存储装置1455可以包括被配置为存储视频帧的模拟存储装置。存储装置1455可以包括计算机可读数字存储装置，例如，硬盘驱动器、光驱动器或固态存储装置。存储器1415被配置为(例如，通过适当的数据结构或文件系统)存储视频帧、人工帧、包括视频帧和人工帧两者的视频流、音频帧、音频流和/或类似物。存储装置1455可选地分布在多个装置中。在一些实施方案中，存储装置1455被配置为存储本文其他地方讨论的视频源1430的软件部件。这些部件可以以准备在需要时提供的格式来存储。

视频服务器系统1420可选地还包括客户端限定器1460。客户端限定器1460被配置为远程地确定客户端(诸如客户端1410A或1410B)的能力。这些能力可以包括客户端1410A其自身的能力以及客户端1410A和视频服务器系统1420之间的一个或多个通信信道的能力。例如，客户端限定器1460可以被配置为测试通过网络1415的通信信道。

客户端限定器1460可以手动地或自动地确定(例如，发现)客户端1410A的能力。手动确定包括与客户端1410A的用户通信并且要求用户提供能力。例如，在一些实施方案中，客户端限定器1460被配置为在客户端1410A的浏览器内显示图像、文本和/或类似物。在一个实施方案中，客户端1410A是包括浏览器的HMD。在另一个实施方案中，客户端1410A是具有浏览器的游戏控制台，其可以显示在所述HMD上。显示的对象要求用户输入信息，诸如客户端1410A的操作系统、处理器、视频解码器类型、网络连接类型、显示分辨率等。由用户输入的信息被传达回客户端限定器1460。

自动确定可以例如通过在客户端1410A上执行代理和/或通过向客户端1410A发送测试视频而发生。所述代理可以包括嵌入在网页中或作为加载项安装的计算指令，诸如java脚本。所述代理可选地由客户端限定器1460提供。在各种实施方案中，所述代理可以找出客户端1410A的处理能力、客户端1410A的解码和显示能力、客户端1410A和视频服务器系统1420之间的通信信道的滞后时间可靠性和带宽、客户端1410A的显示类型、客户端1410A上存在的防火墙、客户端1410A的硬件、在客户端1410A上执行的软件、客户端1410A内的注册表条目和/或类似物。

客户端限定器1460包括存储在计算机可读介质上的硬件、固件和/或软件。客户端限定器1460可选地设置在与视频服务器系统1420的一个或多个其他元件分开的计算装置上。例如，在一些实施方案中，客户端限定器1460被配置为确定客户端1410和视频服务器系统1420的一个以上实例之间的通信信道的特性。在这些实施方案中，由客户端限定器发现的信息可以用于确定视频服务器系统1420的哪个实例最适合向客户端1410中的一个递送流视频。

本公开的实施方案可以用包括手持装置、微处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等的各种计算机系统配置来实践。本公开中描述的实施方案还可以在分布式计算环境中实践，在所述分布式计算环境中由通过有线或无线网络链接起来的远程处理装置执行任务。

考虑到上述实施方案，应理解，本公开可以采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作是需要对物理量进行物理操纵的那些操作。本文描述的形成本公开的一部分的任何操作都是有用的机器操作。本公开还涉及用于执行这些操作的装置或设备。所述装置可以是为了所需目的而专门地构建的，或者所述装置可以是由存储在计算机中的计算机程序选择性地激活或构建的通用计算机。特别地，各种通用机器可以与根据本文的教导编写的计算机程序一起使用，或者构建更专用的设备来执行所需的操作可能更方便。

本公开还可以实施为计算机可读介质上的计算机可读代码。所述计算机可读介质是能够存储数据的任何数据存储装置，所述数据此后能够被计算机系统读取。计算机可读介质的示例包括硬盘驱动器、网络附接存储(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带和其他光学和非光学数据存储装置。所述计算机可读介质可以包括分布在网络耦合的计算机系统上的计算机可读有形介质，使得以分布式方式存储和执行计算机可读代码。

尽管以具体的顺序描述了方法操作，但应理解，可在操作之间执行其他内务操作，或者可以调整操作，使得它们在略微不同的时间出现，或者可以分布在允许在与处理相关联的各种间隔出现处理操作的系统中，只要覆盖操作的处理以期望的方式执行即可。

尽管为了清楚理解的目的，已经对前述公开进行了一些详细的描述，但是将显而易见的是，可在所附权利要求的范围内实践一些改变和修改。因此，本实施方案被认为是说明性的而非限制性的，并且本公开不限于本文给出的细节，而是可在本公开的范围和等效物内进行修改。

Claims (19)

1.一种系统，其包括：

计算装置，其执行视频游戏并且将所述视频游戏的主视频馈送呈现给显示装置，所述主视频馈送提供对由所述正在执行的视频游戏限定的虚拟空间的第一视图；

机器人，其包括：

相机，其捕获其中设置所述机器人的本地环境中的用户的图像，

投影仪，以及，

控制器，其处理所述用户的所述图像以识别所述用户的凝视方向，并且将所述用户的所述凝视方向传达给所述计算装置；

其中当所述用户的所述凝视方向从指向所述显示装置的第一凝视方向改变为指向远离所述显示装置并且指向所述本地环境中的投影表面的第二凝视方向时，所述计算装置生成所述视频游戏的辅助视频馈送，并且将所述视频游戏的所述辅助视频馈送传输到所述机器人，所述辅助视频馈送提供对所述虚拟空间的第二视图，所述第二视图是从由所述用户的所述凝视方向的所述改变所确定的所述第一视图而改变的；

其中所述机器人的所述控制器激活所述投影仪以将所述辅助视频馈送投影到所述本地环境中的所述投影表面上。

2.如权利要求1所述的系统，

其中对所述虚拟空间的所述第一视图是从由所述用户控制的所述视频游戏的虚拟对象的视角限定的前向视图；

其中对所述虚拟空间的所述第二视图是从所述虚拟对象的所述视角限定的侧视图。

3.如权利要求1所述的系统，

其中从对所述虚拟空间的所述第一视图到所述第二视图的所述改变包括从所述第一视图到所述第二视图的角度旋转；

其中从所述第一凝视方向到所述第二凝视方向的所述改变包括从所述第一凝视方向到所述第二凝视方向的角度旋转；

其中从所述第一视图到所述第二视图的所述角度旋转的量由从所述第一凝视方向到所述第二凝视方向的所述角度旋转的量来确定。

4.如权利要求1所述的系统，

其中所述显示装置的显示表面沿着第一平面取向；

其中所述投影表面沿着与所述第一平面基本上不平行的第二平面取向。

5.如权利要求1所述的系统，其中所述机器人还包括至少一个致动器，所述至少一个致动器控制所述相机的方向，以使得所述相机能够捕获所述用户的所述图像。

6.如权利要求1所述的系统，其中所述机器人还包括至少一个致动器，所述至少一个致动器控制所述投影仪的方向，以使得所述投影仪能够将所述辅助视频馈送投影到所述投影表面上。

7.如权利要求1所述的系统，其中所述机器人还包括至少一个致动器，所述至少一个致动器控制所述机器人向所述本地环境内的不同位置的移动，以使得所述相机能够捕获所述用户的所述图像和/或使得所述投影仪能够将所述辅助视频馈送投影到所述投影表面上。

8.一种方法，其包括：

使用机器人扫描本地环境以识别用于在其上投影视频的表面；

确定所述本地环境中的显示装置与所述识别的表面之间的空间关系；

使用所述机器人跟踪在所述本地环境中的用户的凝视方向；

当所述用户的所述凝视方向指向所述显示装置时，则在所述显示装置上呈现虚拟空间的主视图；

当所述用户的所述凝视方向指向所述识别的表面时，则使用所述机器人将所述虚拟空间的辅助视图投影到所述识别的表面上，其中所述虚拟空间中的所述主视图与所述辅助视图之间的空间关系由所述显示装置与所述识别的表面之间的所述空间关系来确定。

9.如权利要求8所述的方法，其中扫描所述本地环境以识别用于投影的所述表面包括：由所述机器人捕获所述本地环境的图像；以及分析所述本地环境的所述捕获的图像以识别具有预限定最小大小的基本上平坦的表面。

10.如权利要求8所述的方法，其中确定所述显示装置与所述识别的表面之间的所述空间关系包括：确定所述显示装置与所述识别的表面在所述本地环境中的位置和/或取向。

11.如权利要求10所述的方法，其中确定所述显示装置与所述识别的表面之间的所述空间关系包括：确定由所述显示装置沿着其取向的第一平面与所述识别的表面沿着其取向的第二平面之间相交而形成的角度。

12.如权利要求8所述的方法，其中使用所述机器人扫描所述本地环境包括将所述机器人移动到所述本地环境内的不同位置。

13.如权利要求8所述的方法，

其中所述虚拟空间的所述主视图由从虚拟视点限定并且在所述虚拟空间中具有第一方向的第一视锥体限定；

其中所述虚拟空间的所述辅助视图由从所述虚拟视点限定并且在所述虚拟空间中具有第二方向的第二视锥体限定。

14.一种非暂时性计算机可读介质，其上体现有程序指令，所述程序指令在由处理器执行时致使所述处理器执行包括以下操作的方法：

使用机器人扫描本地环境以识别用于在其上投影视频的表面；

确定所述本地环境中的显示装置与所述识别的表面之间的空间关系；

使用所述机器人跟踪在所述本地环境中的用户的凝视方向；

当所述用户的所述凝视方向指向所述显示装置时，则在所述显示装置上呈现虚拟空间的主视图；

当所述用户的所述凝视方向指向所述识别的表面时，则使用所述机器人将所述虚拟空间的辅助视图投影到所述识别的表面上，其中所述虚拟空间中的所述主视图与所述辅助视图之间的空间关系由所述显示装置与所述识别的表面之间的所述空间关系来确定。

15.如权利要求14所述的非暂时性计算机可读介质，其中扫描所述本地环境以识别用于投影的所述表面包括由所述机器人捕获所述本地环境的图像，并且分析所述本地环境的所述捕获的图像以识别具有预限定最小大小的基本上平坦的表面。

16.如权利要求14所述的非暂时性计算机可读介质，其中确定所述显示装置与所述识别的表面之间的所述空间关系包括：确定所述显示装置与所述识别的表面在所述本地环境中的位置和/或取向。

17.如权利要求16所述的非暂时性计算机可读介质，其中确定所述显示装置与所述识别的表面之间的所述空间关系包括：确定由所述显示装置沿着其取向的第一平面与所述识别的表面沿着其取向的第二平面之间相交而形成的角度。

18.如权利要求14所述的非暂时性计算机可读介质，其中使用所述机器人扫描所述本地环境包括将所述机器人移动到所述本地环境内的不同位置。

19.如权利要求14所述的非暂时性计算机可读介质，

其中所述虚拟空间的所述主视图由从虚拟视点限定并且在所述虚拟空间中具有第一方向的第一视锥体限定；

其中所述虚拟空间的所述辅助视图由从所述虚拟视点限定并且在所述虚拟空间中具有第二方向的第二视锥体限定。

Images