CN108701369A - 针对虚拟现实的娱乐数据的制作与封装 - Google Patents

Abstract

增强现实(AR)输出设备或虚拟现实(VR)输出设备被用户穿戴，并且包括被定位以检测由沉浸式输出设备的用户执行的动作的一个或多个传感器。处理器提供被配置用于AR或VR输出设备的数据信号，使得沉浸式输出设备经由立体显示设备提供AR输出或VR输出。数据信号对音频‑视频数据进行编码。基于指示由AR或VR输出设备的用户执行的动作的来自一个或多个传感器的输出，处理器控制由AR输出或VR输出中的一个中的叙事限定的脚本事件的步调。音频‑视频数据可以与附加内容一起封装在非瞬态计算机可读介质中，该附加内容与定义的叙事协调并且被配置用于提供诸如2D视频输出或立体3D输出的替代输出。

Description

针对虚拟现实的娱乐数据的制作与封装

技术领域

本申请根据35U.S.C.§119(e)要求2015年10月9日提交的美国临时申请第62/239,763号的优先权，该临时申请通过引用整体合并于此。

本公开涉及由计算机制作和配置用于虚拟现实或增强现实输出的数字数据。

背景技术

“虚拟现实”是已被用于模拟沉浸在三维(3D)世界的各种类型的内容的术语，包括例如各种视频游戏内容和动画电影内容。在一些类型的虚拟现实中，用户可以借助控制虚拟相机的位置和取向而通过基于计算机模型生成的3D环境的模拟进行导航，该虚拟相机限定在二维显示屏上显示的2D场景的视角。这些技术的变型有时被称为“增强现实”。在增强现实设施中，显示技术示出了通过一个或多个数字对象或叠加层“增强的”用户的周围环境的结合。增强现实内容可以和关于用户周围可见的对象或人物的文本“抬头(heads up)”信息一样简单，或者像将用户的周围环境的整个外观变换成对应于用户的真实周围环境的幻想环境一样复杂。

虚拟现实(VR)和增强现实(AR)已经被应用于各种类型的沉浸式视频立体呈现技术，包括例如立体虚拟现实头盔(headset)。头盔和其他呈现方法使用户沉浸在3D场景中。头盔中的透镜使用户能够专注于安装在头盔上的仅距用户的眼睛几英寸的轻量级分屏显示屏上。分屏显示屏的不同侧面显示视频内容的右立体视图和左立体视图，同时用户的外围视域被阻止。在另一种类型的头盔中，两个单独的显示器被用于分别向用户的左眼和右眼显示不同的图像。在另一种类型的头盔中，显示器的视野涵盖包含外围视域的眼睛的全部视野。在另一种类型的头盔中，使用可控的小型激光器、反射镜或透镜将图像投射到用户的视网膜上。无论哪种方式，头盔都使用户能够更多地体验显示的虚拟现实内容，就像观众沉浸在现实场景中一样。在增强现实(AR)内容的情况下，观众可以体验增强的内容，就好像该内容是增强场景的一部分或被放置在增强场景中一样。

这些沉浸效果可以由头盔中的运动传感器提供或增强，这些运动传感器检测用户头部的运动并且相应地调节视频显示器。通过将头转向一侧，用户可以从侧面看到虚拟现实场景；通过向上或向下转动头部，用户可以在虚拟现实场景中向上或向下观看。头盔还可以包括跟踪传感器，这些跟踪传感器检测用户的头部和/或身体的位置并且相应地调节视频显示器。通过倾斜，用户可以从不同的视角看到虚拟现实场景。通过倾斜到一侧，用户可以从不同的视角看到虚拟现实场景。这种对头部运动、头部位置和身体位置的响应性极大地增强了头盔可实现的沉浸效果。可以向用户提供被置于或“沉浸”在虚拟现实场景中的感觉。

这些沉浸式的虚拟现实(VR)头盔和其他沉浸式的技术对于各种类型的游戏特别有用，其涉及在用户利用头部运动、用户身体的位置或方向、头部、眼睛、手、手指、脚或其他身体部分和/或其他输入来控制一个或多个虚拟相机时，用户探索由渲染引擎生成的建模环境。为了提供沉浸式体验，用户需要感知运动自由度，其在一定程度上类似于当与现实交互时的人类视觉感知。为VR制作的内容可以使用针对各种类型的视频游戏已开发的实时渲染技术来提供这种体验。这种内容可以被设计为三维计算机模型，该模型具有限定渲染边界和规则作为视频输出。这种内容可以通过立体技术来增强以提供立体输出(有时被称为“3D”)，并且与VR应用程序相关联，该VR应用程序响应于VR头盔的运动来管理渲染过程，以产生最终的VR体验。用户体验非常像被置于渲染的视频游戏中。

在其他类型的VR和AR中，模拟的3D环境可能主要用于讲故事，这更像传统的剧院或电影院。在这种类型的VR或AR中，增加的视觉效果可以增强故事的叙事元素或特殊效果的深度和丰富性，而不会给予用户对叙事本身的完全控制(或任何控制)。然而，体验任何类似于使用VR或AR设备或方法传递的电影内容的技术处于非常早期的开发阶段。实际的技术实现方式是非常有限的，并且迄今为止，用户在叙事内容的体验中大部分或完全没有被VR或AR所触及。

因此，期望开发新方法和其他新技术来产生或封装叙事内容，其克服现有技术的这些和其他限制，并且增强针对诸如VR和AR的新型沉浸式技术的叙事内容的吸引力和乐趣。

发明内容

该概述和下面详细的描述应该被理解为完整公开的补充部分，这些部分可以包括冗余主题和/或补充主题。任何一部分的省略都不表示在完整申请中所描述的任何元素的优先级或相对重要性。各部分之间的差异可以包括替代实施例的补充公开、附加细节或者使用不同术语的相同实施例的替代描述，这应该从相应的公开中显而易见。

在本公开的一方面，一种计算机实现的方法包括通过处理器提供为输出设备配置的数据信号，其中当由沉浸式输出设备处理时，该数据信号提供增强现实(AR)输出或虚拟现实(VR)输出中的一个。该方法可以进一步包括基于指示由沉浸式输出设备的用户执行的动作的传感器输出，通过计算机控制由AR输出或VR输出中的一个中的叙事限定的脚本事件的步调。

如本文所用，“步调(pace)”意味着基于时间的速率，因此，“脚本事件的步调”意味着每单位时间发生多少脚本事件的度量。在本公开的上下文中的“脚本事件”意味着启动独立连续的叙事序列，该叙事序列被编码在用于生成AR或VR输出的记录数据中。例如，用于VR记录的脚本可能会要求乔治华盛顿砍掉一棵樱桃树，然后承认这样做。该记录可以包括编码在VR数据中的两个独立的叙事序列：一个砍断序列和一个认错序列。由于这些序列是VR数据的独立部分，因此可能在它们之间有可变延迟量的情况下执行这些序列。事件之间的较短延迟与脚本事件的较快步调相关，并且较大的延迟对应较慢的步调。非叙事的“填充”内容可以用来填充脚本事件之间的延迟时段。VR或AR引擎可以基于相邻独立的叙事序列的识别来选择不同的填充内容。

在某些实施例或方面，该方法包括根据叙事保持脚本事件的预定顺序。该保持还可以包括基于传感器数据并服从叙事层次来改变脚本事件的顺序。在一方面，该叙事层次限定事件组之间的叙事关系，并且允许每个组内的事件基于传感器输出以任何时间先后顺序发生。

在其他实施例或方面，该方法可以包括检测出所述步调小于为脚本事件的序列限定的最小步调。例如，该方法可以包括基于该检测，经由沉浸式输出设备提供传感线索，用于提示增加步调的至少一个用户动作。在一个方面，处理器可以从以下各项中的至少一个接收传感器输出：耦合到沉浸式输出设备的运动传感器、全球定位系统(GPS)接收器或者配置为检测眼睛运动或方向中的至少一个的光学传感器。

在其他实施例或方面，该方法包括检测出所述步调大于为脚本事件的序列限定的最大步调。在这种情况下，该方法可以包括基于该检测，忽略指示步调应该被增加的传感器输出，并且减少或者不增加步调。在一个方面，脚本事件包括出现在AR输出或VR输出中的一个中的角色的活动。

在本公开的另一个方面，一种方法可以包括由至少一个计算机配置音频-视频数据用于当由输出设备处理时提供VR输出，其中根据预定义的叙事来组织VR输出。该方法还可以包括将音频-视频数据与附加内容封装在计算机可读介质中，其中该附加内容与预定义的叙事协调并且被配置为用于提供替代输出。

在替代的方面，该替代输出包括非VR输出的音频-视频输出、立体三维(3D)输出或增强现实(AR)输出中的任何一个或多个。在一个方面，AR输出可以被配置为当与二维(2D)视频输出或立体三维(3D)输出结合使用时模拟VR输出。音频-视频数据和附加内容可以被配置为在不同的非重叠时间按顺序播放，或者同时并行播放。在一个方面，替代输出可以是或者可以包括实时渲染视频，并且附加内容可以是或者可以包括三维(3D)模型和游戏引擎。在一些实施例中，附加内容可以包括预定义叙事的副本；替代地或附加地，附加内容可以补充预定义叙事而不重复。在其他相关方面，封装操作还可以包括将位置音频数据记录在计算机可读介质中，其中位置音频数据被配置为当被提供给沉浸式输出设备时导致单声道音频输出、立体声音频输出、多声道音频输出或者面向对象的音频输出中的至少一个。

任何前述方法可以在任何合适的可编程计算装置中通过在非瞬态计算机可读介质中提供的程序指令来实现，程序指令当被计算机处理器执行时促使该装置执行所描述的操作。该装置的其他元件可以包括例如参与执行该方法的显示屏、音频输出设备和用户输入设备。除了个人计算机和控制台以外，该装置还可以包括虚拟现实设备，诸如头盔或其他显示器，其对用户的头部或身体的运动做出反应，以提供被置于所玩游戏的渲染场景中的感觉。

为了实现前述和相关目的，一个或多个示例包括在下文中充分描述并且在权利要求中特别指出的特征。以下描述和附图详细阐述了某些示例性方面，并且只是表示可以采用这些示例的原理中的各种方式中的一些。当结合附图和所公开的示例(其包括所有这些方面及其等同物)进行考虑时，其他优点和新颖性特征将通过以下详细描述变得显而易见。

附图说明

通过下面结合附图给出的详细描述，本公开的特征、本质和优点将变得更加明显，其中相同的附图标记在整个说明书和附图中相应地标识相同的元件。

图1是示意框图，其示出用于耦合到分配系统的虚拟现实或增强现实输出的数字数据的制作和配置的系统和装置的各个方面。

图2是示意框图，其示出用于输出虚拟现实或增强现实内容的装置的更详细的方面。

图3是示出用于控制沉浸式内容的步调的方法的事件层次方面的框图。

图4是示出用于沉浸式内容的步调控制的系统的元件的概念图。

图5是示出用于沉浸式内容的步调控制的方法方面的流程图。

图6是示出用于提供沉浸式VR体验的立体显示设备的组件的示意图。

图7是示出媒体包的各个方面的框图，该媒体包保持具有预定叙事的音频-视频数据以及与预定义叙事协调并且被配置用于提供替代输出的附加内容。

图8是示出包括沉浸式和非沉浸式内容的协调输出的内容显示系统的各个方面的框图。

图9是示出从不同观众的角度观看协调的沉浸式和非沉浸式内容的各个方面的示意图。

图10是示出用于控制VR输出中的脚本事件的步调的方法的流程图。

图11至图12是示出图10所示的方法的进一步可选方面或操作的流程图。

图13是示出用于控制VR输出中的脚本事件的步调的装置或系统的组件的概念框图。

图14是示出用于封装沉浸式VR内容和相关替代内容的方法的流程图。

图15至图16是示出图14所示的方法的进一步可选方面或操作的流程图。

图17是示出封装沉浸式VR内容和相关替代内容的装置或系统的组件的概念框图。

具体实施方式

现在参考附图描述各个方面。在下面的描述中，为了解释的目的，阐述了多个具体细节以便提供一个或多个方面的透彻理解。然而，可能很明显的是，可以在没有这些具体细节的情况下实践各个方面。在其他示例中，为了便于描述这些方面，以框图形式示出了公知的结构和设备。

图1中示出用于制作和分配与非沉浸式内容(例如，具有音频的2D视频、具有音频的立体3D视频、非沉浸式视频游戏)协调的沉浸式内容(例如，AR和VR)的说明性系统100。系统100可以包括制作活动的集合102，这些制作活动制作在基础创意内容的相关不同版本(沉浸式和非沉浸式)中以不同方式共享和使用的资产(assets)。创意内容包括例如由各种相机系统112、114收集的视频数据、由音频子系统(未示出)收集和/或生成的音频数据以及从各种建模/动画子系统108、110创建和布置的计算机建模/动画数据。创意内容可以被存储在数据存储装置106中。应该理解的是，该系统可以包括若干不同的数据存储装置(未示出)。制作服务器组件可以包括在计算机网络上操作的一系列制作应用程序，并且可以在经由多个访问终端118、116控制制作过程的各种制作人员的控制下访问数据存储装置106中的数据。系统100中所示的组件的数量仅仅是说明性的。应该理解的是，典型的特色电影或其他演播室制作系统通常将包括比图示更多数量的组件。创意和技术总监监督来自各种数据源的创意内容的组装，这些数据源被配置用于沉浸式输出设备和更传统的非沉浸式设备。

由系统制作的数字内容可以包括同一故事的各种版本，例如：2D剧场版本；2D家庭影院版本；移动设备版本；用于剧院、家庭或移动设备中的一个或多个的立体3D版本，用于剧院内体验的、可选地与支持2D或立体3D内容结合的VR版本，用于家庭使用的、同样可选地与非沉浸式内容一起使用的VR版本；用于补充剧院中的非沉浸式内容的AR版本，用于补充家庭剧院环境或移动设备格式中的非沉浸式内容的AR版本，以及一种或多种前述输出格式中的视频游戏内容。可以将各种版本中的每一个版本中的完成作品提供给分配服务器120，该分配服务器120可以将不同的版本存储在与用于管理使用和分配的元数据相关联的内容数据存储装置(未示出)中。应该理解的是，尽管图1示出了向消费设备122、124提供内容的单个分配服务器120，但是在一般情况下，可以使用每个被分配了其自己的服务器资源的不同分配信道来向不同终端用户组提供内容。尽管如此，将存在至少一组消费者，其在接收单个数字内容(媒体)包内的沉浸式和非沉浸式内容的多个版本，无论是在所服务的网络120的控制下被存储还是被本地储存在诸如光盘或存储设备的计算机可读介质上均可。

在一些实施例中，媒体包可以是或者可以包括单个计算机可读介质(例如，光盘介质或FLASH存储设备)，在其中封装的数字内容被存储在一起。非瞬态有形的便携式存储介质的分配可以减少网络带宽需求，并且确保消费设备可靠且无缝地访问密集数字内容。在一些实施例中，向有形介质的快速分配可以通过从所选信息亭(kiosks)分配来完成，所述信息亭容纳用于写入数字副本的数字内容的电子副本。在可替代方案中，这种信息亭可以利用高带宽连接来获得用于分配的电子内容。在其他实施例中，电子内容可以通过通信网络和/或计算机网络进行传输，并且直接存储在与参与接收内容的回放的客户端设备连接或集成的存储设备或介质上。

参考图2，其示出用于消费VR或AR内容的内容消费设备200的各个方面。装置200可以包括例如处理器202，例如基于由Intel^TM或者AMD^TM设计的80x86架构的中央处理单元，或者由ARM^TM设计的片上系统。处理器202可以使用总线或其他耦合件通信地耦合到3D环境装置200的辅助设备或模块。可选地，处理器200及其耦合的辅助设备或模块(其示例在204-206处示出)中的一些或全部可以被容纳在外壳218内或者耦合到外壳218(例如具有个人计算机、游戏控制台、智能手机、平板计算机、膝上型计算机、机顶盒、可穿戴谷歌眼镜或护目镜或者其他形式因素的外壳)。

用户接口设备204可以耦合到处理器202以便向由在处理器202上执行的VR游戏引擎操作的游戏过程提供用户控制输入。用户控制输入可以包括例如来自图形用户界面或其他输入(例如，文本或定向命令)的选择，其他输入经由触摸屏、键盘、指点设备(例如，游戏控制器)、麦克风、运动传感器、相机或者这些或其他输入设备的一些组合来生成。控制输入也可以经由耦合到处理器202的传感器206提供。传感器可以包括例如运动传感器(例如，加速度计)、位置传感器、温度传感器、方位传感器(例如，全球定位系统(GPS)接收器和控制器)、眼睛跟踪传感器或麦克风。传感器206可以检测用户接口显示器的运动或其他状态，例如虚拟现实头盔的运动或者用户的身体状态(例如，皮肤温度或脉搏)。

设备200可选地可以包括耦合到处理器202的输入/输出端口208，以实现VR/AR引擎与计算机网络之间的通信。这种通信可以被用于例如实现多人VR或AR体验，包括但不限于玩游戏。该系统还可以用于非游戏多用户应用，例如社交网络、团体娱乐体验、教学环境等。

显示器210可以例如经由集成在处理器202内或单独芯片中的图形处理单元(未示出)耦合到处理器202。显示器210可以包括例如由发光二极管(LED)或其他灯照亮的平面屏彩色液晶(LCD)显示器、由LCD显示器或数字光处理(DLP)单元驱动的投影仪、激光投影仪或其他数字显示设备。显示设备210可以被结合到虚拟现实头盔或其他沉浸式显示系统中。由在处理器202上操作的游戏引擎驱动的视频输出或者用于协调用户输入和在3D环境中模拟的事件的其他应用可以被提供给显示设备210，并且作为视频显示输出给用户(本文中也被称为“玩家”)。类似地，放大器/扬声器或其他音频输出换能器222可以经由音频处理系统耦合至处理器202。与视频输出相关并且由游戏引擎或其他应用生成的音频输出可以被提供给音频换能器222，并且作为可听见的声音输出给用户。

3D环境装置200还可以包括随机存取存储器(RAM)214，该随机存取存储器214保存用于在控制3D环境期间由处理器快速执行或处理的程序指令和数据。当设备200断电或处于非活动状态时，程序指令和数据可以被存储在长期存储器(例如，非易失性磁性、光学或电子存储器存储设备)216中。RAM 214或存储设备216中的任一个或两者可以包括保存程序指令的非瞬态计算机可读介质，这些程序指令在由处理器202执行时促使设备200执行本文所描述的方法或操作。程序指令可以以任何合适的高级语言(例如，C，C++，C#或者Java^TM)编写，并且被编译以产生由处理器执行的机器语言代码。程序指令可以被分组成功能模块以提高编码效率和可理解性。应该理解的是，即使可以在源代码中识别为分区或分组，这些模块也不必区分为机器级编码中的单独代码块。针对特定类型的功能的代码捆绑包(bundle)可以被认为包括模块，而不论捆绑包中的机器代码是否可以独立于其他机器代码被执行。换句话说，模块可以仅仅是高级模块。

叙事讲述(narrative storytelling)传统上基于固定事件链。在电影制作中，电影卷轴或其电子等同物自然地强化观众体验的叙事事件的固定年代，同时电影帧确保观众关注相关动作。尽管VR内容可以像电影卷轴一样播放，但是观众的感知取决于用户关注虚拟现实空间的哪一部分。如果事件可以发生在穿戴VR设备的人的整个视角，这将有很大的风险使观众在观看VR环境的不同部分时可能错过相关的动作，并且无法跟随故事情节。另一方面，如果所有的动作都发生在特定的地点，则丧失了由VR内容提供的沉浸式体验。与AR内容类似，关键叙事事件可能导致观众分心。音频线索可以用于将观众的注意力引导至特定地点，但是如果过度依赖，则可能会减损观看体验。需要用于组织VR和AR内容以提供叙事体验而不消除沉浸在环境中并能够在其周围观看和移动的感觉的新方法。

图3示出为VR或AR环境组织叙事故事情节的各个方面。代替由传统脚本概述的固定事件链，叙事(narrative)限定了事件组302、303(示出许多事件组中的两个)的链300。每个事件组302、303可以包括多个事件。在每个组中的一个或多个事件可以被归类为“关键”事件，这意味着认为有必要遵循叙事故事情节。例如，事件组302包括两个关键事件：事件304和事件306。组内的关键事件可以被指定为以特定的顺序发生。例如，从事件304到事件306的箭头表示事件304应该在事件306之前发生。在其他组中，多个关键事件可以以任何顺序发生，只要该组中的所有关键事件都在来自后续组的任何事件之前发生即可。每个组302、303可以包括任何非零数量的关键事件以及任何数量(零个或多个)的可选事件308、309、310、311。

步调控制器将叙事流程保持在事件组链300的约束范围内，其受制于组内事件的任何更精细的规则。下面从图4开始进一步讨论步调控制。

可选事件308、310不被设置为以任何顺序发生，但只能在事件组302是当前活动组时发生。例如，事件组302可以属于叙事中的特定场景，并且组内的所有事件都被设置为在该场景过去之前发生。在基于场景的事件中，用户的运动或与特定场景的其他交互可用于触发可选事件或关键事件。例如，VR或AR头盔可以包括位置和方向传感器，来自位置和方向传感器的数据可以被用于触发相关的沉浸式格式的音频/视频剪辑的回放。用户可以体验组302中的所有事件作为探索场景的自然结果，并且通常不会接收到关于哪些事件是关键的以及哪些事件是可选的任何明确指示。游戏在事件组中保持的时间长度可以取决于由创意内容制作者确定的因素，例如，直到所有关键事件已经发生，直到所有事件已经发生，或者在任何情况下直到特定时间段已经过去。

一旦事件组的时间过去，播放就进行到下一个事件组303，该事件组303例如包括单个关键事件305和两个可选事件309、311。在一个方面，可选事件可以出现在不止一个事件组中。例如，可选事件可以出现在发生在相同物理场景中的不同事件组中，可以是可在不止一个场景中发生的事件，或者被播放作为对先前场景的闪回。通常，可选事件可以被设计为增强和丰富用户对故事情节的理解，同时传达对理解主要叙事流程不必要的信息。可选事件可以被提供作为额外的隐藏故事元素，以奖励那些有兴趣更详细地探索特定叙事的人。一个更被动的观众可能与环境交互更少，并且可能主要观看关键事件，而不会被剥夺由内容提供的叙事核心。

参考图4，以框图的形式示出了用于步调控制的系统400。系统400的元件包括数据源408，该数据源耦合到与沉浸式输出设备404和用户输入设备410通信的步调控制器模块406。数据源408可以是或者可以包括计算机存储器或计算机可读介质。步调控制器406可以包括被编程以执行如本文所描述的步调控制操作的可编程计算机处理器。沉浸式输出设备404可以包括配备有传感器以检测用户输入的头盔或模拟器设备。用户输入设备410可以包括耦合到用户身体的一个或多个位置、方向或运动传感器，和/或可通过用户操纵或其他身体输入操作的控制面板。

步调控制器可以基于存储在数据源408中的不同数据进行操作。不同数据可以包括例如叙事规则集412，该叙事规则集412基于一个或多个控制标准限定不同叙事事件的步调。结合图3讨论的事件组链300是叙事规则集412的示例。叙事规则集的其他排列也可能是合适的。不同数据还可以包括内容映射414，该内容映射414将规则集412的叙事控制元素映射到构成将被提供用于沉浸式输出设备404输出的VR或AR内容的一组内容片段416中的特定内容片段。内容片段416可以包括用于渲染场景和/或叙事事件的3D模型数据、描绘场景或叙事事件的多个视图的预先记录的渲染的沉浸式内容数据或者用于实时渲染的数据和渲染数据的某种结合。在任一情况下，呈现内容片段的顺序和步调由步调控制器406基于规则集412和内容映射414并且响应于经由耦合至沉浸式输出设备的用户输入设备410的用户输入来确定。

图5示出了过程500的操作，该过程500可以由步调控制器执行以响应于用户输入为沉浸式显示设备确定沉浸式内容的步调。该过程可以包括未示出的其他合适的操作，例如本领域已知的内容安全或渲染操作。过程500最初可以包括从数据源检索叙事规则集502，例如从待播放内容的本地或远程数据库中检索。基于规则集，步调控制器可以在504处确定待播放的下一个内容，并且可以生成用于下一个内容的沉浸式输出的数据流。当沉浸式输出被提供给沉浸式输出设备时，步调控制器可以在506处接收传感器输入，该传感器输入指示用户导航、视角旋转、其他用户与沉浸式环境的交互，或者此类用户动作的某种组合。

在507处，步调控制器可以分析传感器输入，并且至少部分基于叙事规则集来确定由规则集限定的脚本事件是否被触发。该脚本事件可以是或者可以包括独立连续的叙事序列的启动，该叙事序列被编码在用于生成AR或VR输出的记录数据中。如果步调控制器确定脚本事件已经被触发，则在504处确定下一个独立连续的叙事序列并且处理流程继续。如果步调控制器确定没有脚本事件被触发，则可以在508处确定是否向用户提供线索或“提示”以鼓励用户选择事件。提示的决定可以至少部分基于由叙事规则集为叙事中的特定位置限定的步调目标。如果控制器确定要求提示，则可以生成提示510。例如，可以由处理器用信号发送音频线索、视觉线索或触觉线索来鼓励用户执行将触发下一个脚本事件的动作(例如，选择一个对象或朝某个方向看)。如果不要求提示，则处理流程可以在506处恢复到输出先前内容或填充内容，同时接收进一步的用户输入。

尽管为了简化说明在图5中未示出，但应该理解的是在510处提供提示之后，处理流程可以恢复到506/507以确定是否已经生成触发。提示的过程可以被重复任何期望的次数。在提示510的每次重复之间，处理器在512处可以确定是否强制叙事步调。在514处进行强制等效于对触发下一个脚本事件进行“人为”确定，正如结合流程恢复到504的框507所描述的。在任一情况下，如果如在516处所确定的没有选择下一个脚本事件(例如，游戏结束)，则处理器可以启动终止序列，包括例如最终场景和结尾。尽管过程500的细节可以被添加或改变，但是该过程示出了响应于叙事规则集和用户输入的步调控制的某些必要的方面。

场景转换通常可能给沉浸式内容带来挑战。由于沉浸式的品质，突然的场景转换或者视角的变化会使沉浸的观众过度迷失方向。因此，可能需要对叙事内容进行不同编辑，以便适当地管理用于沉浸式输出的场景和相机角度转换。编辑技术可以包括降低场景或视角改变的数量和频率，逐渐地而非突然地移动视角(除非为了特定戏剧效果)，使用淡出或其他渐变线索来改变场景，这提供了视觉调整的一段时间，并且避免使沉浸式的观众迷失方向或感到恶心。在步调控制过程500中，应该类似地管理这些转换。一般地，场景变化或强制视角变化应该与事件组边界相关联。组内的事件可以被选择以在同一场景内或场景的相同部分内发生。每个事件的触发可能与用户的观看方向有关，使观众自动无缝地进行转换，因为预先录制的事件将出现在观众已经看向的区域中，无论是否响应于某些可听见或可看见的线索。当步调要求强制一个事件时，用户对视角的控制可能会暂时被超控(override)，并且用户的焦点被引导到场景中将要发生事件的部分。

本文所描述的任何特征可以由响应于为沉浸式VR头盔等生成VR输出的用户输入而提供3D环境的应用来执行。图6是示出可以以各种形式因素提供的一种类型的沉浸式VR立体显示设备600的示意图，其中设备600仅提供作为一个示例。创新的方法、装置和系统不一定限于沉浸式VR显示的特定形式因素，但是可以用于使用户能够控制在设备上播放的视频内容的位置和视点的视频输出设备。同样地，VR或AR输出设备可以管理在设备上播放的音频内容的音频位置或视点。沉浸式VR立体显示设备600代表为消费者使用而设计的相对低成本设备的示例。

沉浸式VR立体显示设备600可以包括由不透明轻量结构材料(例如，刚性聚合物、铝或纸板)制成的平板支撑结构，该平板支撑结构被配置为用于支撑和允许包括高分辨率显示屏(例如，LCD显示器)的便携式平板计算设备或智能手机设备的可移除布置。这种模块化设计可以避免需要用于视频输出的专用电子组件，从而大大降低成本。设备600被设计为靠近用户的脸部佩戴，使用诸如目前手持式平板计算设备或智能手机设备中通常可见的小尺寸屏幕实现宽视野。支撑结构626可以为与显示屏612相关的一对透镜622提供固定安装。透镜可以被配置为使用户能够舒适地聚焦在显示屏612上，该显示屏可以保持距离用户的眼睛大约一至三英寸。

设备600还可以包括观察罩(未示出)，该观察罩耦合到支撑结构626并且由柔软、灵活或其他合适的不透明材料配置成，以形成适合使用者的脸部并且阻挡外部光线。护罩可以被配置为确保显示屏612是到用户的唯一可见光源，从而增强使用设备600的沉浸式效果。屏幕划分器可以被用于将屏幕612分成独立驱动的立体区域，每个区域只能通过相应的一个透镜622可见。因此，沉浸式VR立体显示设备600可用于提供立体显示输出，为用户提供更逼真的3D空间感知。两个分离的显示器也可以被用于分别向用户的左眼和右眼提供独立的图像。应该理解的是，本技术可以被用于但不限于立体视频输出。

沉浸式VR立体显示设备600还可以包括鼻梁架(bridge)(未示出)，该鼻梁架用于定位于用户的鼻子上方，以便于透镜622相对于用户眼睛的精确定位。设备600还可以包括弹性带或条带624，或者用于围绕使用者的头部并且将设备600保持在使用者的头部的其他头饰。

沉浸式VR立体显示设备600可以包括与用户的头部630相关的显示和通信单元602(例如，平板计算机或智能手机)的附加电子组件。支撑结构604(图1中的108)使用限位设备624来保持显示和通信单元602，该限位设备624是弹性的和/或可调整的，以提供舒适安全的滑动配合(snug fit)，例如可调节的头饰。当佩戴支撑件602时，用户通过一对透镜622观看显示器612。显示器612可以由中央处理单元(CPU)602和/或图形处理单元(GPU)610经由内部总线616来驱动。显示和通信单元602的组件还可以包括例如一个或多个发射/接收组件618，其使得能够经由无线耦合件实现CPU和外部服务器之间的无线通信。发射/接收组件618可以使用任何合适的高带宽无线技术或协议来操作，包括例如蜂窝电话技术(诸如第三代合作伙伴计划(3GPP)长期演进(LTE))、全球移动通信系统(GSM)或通用移动电信系统(UMTS)和/或无线局域网(WLAN)技术，例如使用诸如电气与电子工程师协会(IEEE)802.11的协议。一个或多个发射/接收组件618可以使视频数据能够从本地或远程视频服务器流到显示和通信单元602，并且将传感器和其他数据上行传输到本地或远程视频服务器，以用于如本文所描述的控制或观众响应技术。

显示和通信单元602的组件还可以包括例如经由通信总线616耦合到CPU606的一个或多个传感器614。这些传感器可以包括例如提供用于指示显示和通信单元602的方向的方向数据的加速度计/测斜仪阵列。由于显示和通信单元602被固定在用户的头部630，该数据也可以被校准以指示头部630的方向。一个或多个传感器614还可以包括例如指示用户的地理位置的全球定位系统(GPS)传感器。一个或多个传感器614还可以包括例如定位为检测一只或多只用户眼睛的方向的相机或图像传感器。在一些实施例中，配置为检测用户的眼睛或眼睛运动的相机、图像传感器或其他传感器可以被安装在支撑结构626中，并且经由总线616和串行总线端口(未示出)(例如，通用串行总线(USB)或其他合适的通信端口)耦合到CPU 606。一个或多个传感器614还可以包括例如位于支撑结构604中并被配置为向用户的眼睛指示表面轮廓的干涉仪。一个或多个传感器614还可以包括例如麦克风、麦克风阵列或者用于检测用户口头命令或对显示输出的语言和非语言的可听反应的其他音频输入换能器。一个或多个传感器可以包括例如感测心率的电极、配置为感测用户的皮肤或身体温度的温度传感器或者用于收集生物反馈数据的其他医用传感器。

虽然图6图示了VR设备的示例，但应该理解的是，除了显示输出组件外，沉浸式AR设备可以包括类似的电子组件。AR设备的处理器和存储器在运行的软件方面也将有所不同；VR软件被配置为驱动VR输出设备，而AR软件被配置为驱动AR输出设备。VR输出设备可以包括显示屏，诸如常规的LCD或OLED屏幕，这些屏幕位于VR头盔中以便遮挡除了在显示屏上显示的内容之外的用户的任何视图。相反，AR输出设备不会遮挡用户周围环境的视图。

几种类型的AR输出设备是市售的或正在开发中的。在一类设备中，显示屏包括像素的二维阵列，这些像素被设置为第一状态(其中像素是透明的)或者第二状态(其中像素是不透明的)。显示屏由用户佩戴并且被定位成使得设置为不透明状态的像素组显示虚拟图像，而相邻像素传送外部场景。从用户的视角来看，这导致虚拟图像在场景中被覆盖。在另一类设备中，将计算机生成的图像投射到以与上述VR头盔类似的方式佩戴的半透明屏幕或透镜上。该屏幕或透镜由单向透射材料制成，该单向透射材料在一个或多个层中使来自一侧的光线透过并且反射来自另一方向的光线。从靠近用户放置在头盔内部中的一个或多个发射器从DLP等投射出用于形成增强现实图像的光。在第三类AR设备中，安装在头盔上的一个或多个视频相机几乎就像用户在视线未被头盔中完全不透明的屏幕阻挡时看到的一样捕获外部场景，并且将来自相机的视频与计算机生成的内容实时地结合以创建增强显示。在第四种类型的设备中，安装到用户的头部并指向用户眼睛的激光投影仪或投影仪直接在用户的眼睛上投射图像，使得视网膜成为显示增强内容的唯一屏幕。用于沉浸式和非沉浸式AR输出的设备的示例包括由Microsoft^TM公司开发的Hololens^TM设备、由Google公司开发的Google Glass^TM、由弗罗里达州的Magic Leap公司开发的Digital Lightfield^TM、由加利福尼亚州波托拉瓦利(Portola Valley)市的Meta公司开发的Space Glasses^TM以及由加利福尼亚州帕洛阿尔托市(Palo Alto)的castAR公司开发的castAR^TM眼镜。

对于沉浸式VR、AR或类似的输出形态，电影等的故事内容可以被增强，而不会消除(视觉上、听觉上和认知上沉浸于其中的)参与者或用户可以或多或少被动享受的脚本娱乐的本质。例如，允许用户移动视角以随着场景展开看到在主视图中被遮挡的项目，使得这些用户能够专注于戏剧性的细节，这些细节能够增强对情节的理解、增加情绪影响、预示即将发生的事件或者以其他方式增强对脚本故事情节的享受。前述示例通过用户选择的关于交互式VR叙事(或叙事所采取的任何形式)之间的反馈回路的关注深度，以及至少两种感觉形态加上一个认知项目来增强故事讲述。

如本文所用，“聚焦距离”是指相机与场景中具有最清晰聚焦的位置之间的距离。随着最清晰聚焦的位置远离相机，聚焦距离增大。在传统电影制作中，相机前面的场景中最清晰聚焦的位置通常可以由相机操作员或导演调节，以将观众的注意力孤立到场景中的特定元素或主体。在2D单视场成像和3D立体成像中，用户眼睛中的透镜被聚焦在观众正在观看的显示器或屏幕上。在2D单视场成像中，观众的眼睛也汇聚在屏幕上或显示器本身，而在3D立体成像中，根据观众正在看的对象的图像所在的位置，观众的眼睛将汇聚在屏幕的前方、屏幕上或屏幕的后方。立体内容通常是通过相机设定值创建的，这些相机设定值使整个场景处于可接受的焦点，该焦点允许用户环视任何对象处的场景，并且同时有时可以提供可接受的观看体验并且允许用户快速观看场景中的不同对象，它不会产生模仿观看实际物理对象的结果。当人类在现实世界中观看物理对象时，人眼会关注并汇聚在存在物理对象的空间的相同位置处，这使得场景中远离该焦点和汇聚位置点的对象变得模糊(缺乏清晰的焦点)。如果穿戴VR头盔的观众的眼睛的汇聚位置可以通过正在对观众的眼睛成像的VR头盔内的相机或传感器来检测，那么如果虚拟场景中的景深被限制并居中于该聚焦距离，则通过将虚拟相机的焦点距离设置为该检测到的汇聚距离来创建更真实的虚拟体验。另外，为了将观众的注意力孤立到场景的特定区域以用于叙事目的，可以将虚拟相机中的焦点距离设置为对应于场景中的特定区域。通过在相机上使用较大的透镜光圈(较小的透镜f值)可以缩小景深，以进一步孤立场景中的特定对象或区域。

这两种感觉形态可以包括视觉和声音。考虑到头戴式显示器+音频示例，用户看到一些视场并听到一些听觉呈现的声场。认知项目是理解语言，也许是对话或旁白或其他叙事元素。在每种情况下，叙事都可能影响感觉形态和/或认知或者受到感觉形态和/或认知的影响。例如，视觉事件(例如，在原本均匀昏暗的背景中出现亮光)可能发生在所呈现视野的左侧最远距离处的某处。这可以吸引用户的注意力和实际的视觉焦点。再例如，听觉事件(例如，在原本均匀低音量背景中的响亮声音)可能发生在所呈现的声场的右侧最远距离处的某处。这也可以吸引用户的注意力和焦点。再举个例子，播音员(例如，涉及对用户在其中的城堡的攻击的游戏中的旁白)可能会评论：“现在，在中央城墙上开始有威胁力的攻击。”无论是对袭击事件的预测，还是当掠夺者出现在中央护栏上时，这都可能会吸引用户的注意力和视觉焦点。

另外或可替代地，参与者的视觉、听觉或认知的焦点可能影响叙事。例如，出于好的原因或者没有原因，用户关注所呈现的视野的左侧最远距离处，并且由于头戴式显示器中的生物特征反馈机制可以检测到该焦点，可能导致在那里或附近发生事件，或者在以某种方式推进叙事的情况下发生在视野完全不同的部分。进一步举例来说，用户将他或她的听觉注意力集中在声场中的某个位置，可能会伸长他或她的脖子或以其他方式指示该听觉焦点，并且可能导致在那里或附近发生听觉事件，或者在以某种方式推进叙事的情况下发生在声场的完全不同的部分。对于又一个示例，用户可以通过以下方式对一些事件作出反应：或者通过发出一些反应性声音(例如，“哦！”或“啊！”或类似声音)，或者通过实际陈述或以其他方式说出某些事物(例如，“我可以看到它们从山上过来”，不论是否真的看见有什么东西从山上过来)，结果可能是实际上事情发生在山顶或附近或者在以某种方式推进叙事的情况下发生在完全不同的地方。

在许多情况下，感兴趣的事件或视觉/听觉/认知对象可能是一致的。或者它们可能不是一致的，因为视觉、听觉和认知领域所存在的差异可能是所谓的建立紧张或对于叙事的一些其他有价值的进步的一部分。有时，对话或旁白可能会横跨认知刺激至听觉刺激，即低声对话可能来自某个引起注意的地方，不仅因为这些词的意思，而且仅仅是因为有声音来自该起源点。不过，最重要的考虑是至少有三种类型的事件：视觉、听觉和认知(以及它们的混合)，这种事件既可以促使参与者做出反应，或者是作为参与者的视觉、听觉和/或认知焦点的结果而发生。本申请公开了用于实现与VR内容交互的这些和其他形式的技术手段。

来自一个或多个传感器的传感器输出可由CPU本地处理以控制显示输出，和/或被传送到服务器以便由服务器实时处理或非实时处理。如本文所用，“实时”是指响应于控制显示输出的用户输入进行处理而没有任何任意延迟；也就是说，只要技术上对使用中的AR或VR系统可行就会尽快作出反应。“非实时”是指传感器输出的批量处理或其他用途，该传感器输出不被用于提供用于控制显示器的即时控制输入，而是可以在某一任意延迟量之后控制显示器。

显示和通信单元602的组件还可以包括例如音频输出换能器620，例如显示和通信单元602中的扬声器或压电换能器，或头盔的音频输出端口，或安装在头盔624中的其他音频输出换能器等。音频输出设备可以提供伴随立体沉浸式VR视频显示内容的环绕声、多声道音频、所谓的面向对象音频或其他音轨输出。显示和通信单元602的组件还可以包括例如经由存储器总线耦合到CPU 606的存储器设备608。存储器608可以存储例如当由处理器执行时使得装置600执行如本文所述的操作的程序指令。存储器608还可以存储数据，例如库中的音频-视频数据或在流操作期间缓冲的音频-视频数据。关于VR环境的生成和使用的进一步细节可以如2014年12月5日提交的美国临时专利申请序列号62/088,496中所述，其通过引用整体并入本文。

可以为沉浸式和非沉浸式输出设备制作例如由运动图片脚本表示的叙事内容。参考图7，其示出将沉浸式和非沉浸式内容封装在媒体包702中的一般方面700。如本文所用，将数据“封装”在介质中意味着通过对用于写入介质的数据进行编码来准备编码数据，并且将编码数据写入介质，从而提供媒体包702。媒体包702可以是或可以包括特定的物件，例如计算机可读光盘或存储设备。可替代地，包702可以是或可以包括保持在服务器上的一组数据，对其的访问权被授予特定用户账户。在任一情况下，媒体包702被设计为吸引希望获得对不同设备上的沉浸式内容708和非沉浸式内容710的访问的消费者。例如，消费者可能希望在移动设备或更大设备的视频显示屏上观看非沉浸式内容710，并且使用提供对VR或AR内容的访问的头戴式设备或其他设备来观看沉浸式内容708。

可以根据非沉浸式叙事706(例如，传统的线性脚本)来记录非沉浸式内容710。可以根据沉浸式叙事规则集704(诸如，上文所描述的规则集)来记录沉浸式内容708。沉浸式叙事规则集704和非沉浸式叙事706都可以是叙事骨干的表达。例如，叙事骨干可以包括整个叙事规则集704，而非沉浸式叙事706可以是骨干712的子集，仅包含以特定叙事顺序排列的所选的关键叙事事件。

在一个方面，沉浸式内容708和非沉浸式内容710可以被协调以便通过并行回放来消费。图8示出使用协调的输出设备的并行消费800的各个方面。不同的输出设备可以例如经由局域网或无线局域网从内容服务器获得来自媒体包702的内容。用于非沉浸式内容的第一输出设备可以包括2D显示屏816。第二输出设备818可以被配置为提供AR或VR。不同的输出设备816、818可以由同一用户820使用，或者由占用共享空间的不同用户(未示出)使用。

数据源可以提供来自媒体包的至少三种类型的数据：2D或立体3D帧数据806、VR或AR数据810以及将帧数据806和VR/AR数据810相关联的映射808。映射808的使用可以根据来自屏幕输出控制器812的屏幕几何数据803以及限定观看空间804的几何数据(例如，观众820相对于显示屏816的位置和方向(其来自VR/AR输出设备818中的传感器))而改变。屏幕输出控制器812可以以常规方式播放帧数据，以便在显示屏816上输出。在观看显示屏816上的输出时，用户还可以观看在VR/AR设备818上的输出。在VR模式中，沉浸式输出设备818可以复制屏幕816上的视图并添加额外的周围图像和交互式内容。在AR模式中，沉浸式输出设备818可以利用周围图像或交互式内容来增强显示器816。通过将VR或AR内容键入媒体包中的非沉浸式内容，适当配备的用户因此可以相对于在显示屏816上显示的内容大大扩展结合叙事内容体验的交互式对象的观看区域和数量。VR/AR输出控制器814可以经由映射808和几何数据802、804保持VR或AR输出与帧数据806的播放同步。

图9示出在由多个用户914、916和918共享的观看空间900中使用AR或VR的增强内容的各个方面。收听AR头盔的第一用户914观看部分在屏幕902上以及部分在屏幕902周围的增强空间904中的内容对象910(“树”)。第二用户916正在用“裸眼”观看屏幕902，并且仅看到如屏幕902上所示的对象910的局部视图，并且只能看到在屏幕902周围的区域中的实际物理环境(例如，电影院)。使用VR头盔的第三用户918完全看不到屏幕902。相反，第三用户看到屏幕902中显示的对象910的等同内容对象912。对象912可以位于用户的VR空间906中相对于用户918的位置，该位置与对象910相对于用户914，916的位置密切相当。因此，所有用户914、916和918可以共享至少在屏幕902上播放的内容的体验，而配备有AR或VR输出设备的用户914和918可以享受增强内容，同时未配备的用户916仅匹配屏幕902上的内容。

鉴于前述内容并且作为另外的示例，图10-图12示出了步调控制的一个方法或多个方法的各个方面，如可由VR或AR输出设备的步调控制器或本文描述的其他计算装置执行。参考图10，计算机实现的方法1000可以包括在1010处由处理器提供配置用于输出设备的数据信号，其中当由沉浸式输出设备处理时，该数据信号提供增强现实(AR)输出或虚拟现实(VR)输出中的一个。AR输出设备或VR输出设备可以是或者可以包括如本文描述的任何设备，或能够提供沉浸式视频输出的其他设备。方法1000可以进一步包括在1020处基于指示由沉浸式输出设备的用户执行的动作的传感器输出来控制由AR输出或VR输出之一中的叙事限定的脚本事件的步调。步调控制可以包括如上文结合图3-5描述的或者下文结合图11和图12描述的进一步更详细的操作。脚本事件可以包括出现在AR输出或VR输出之一中的角色的活动，或者场景中的其他对象(包括有生命或无生命的对象)的活动。

方法1000可以包括以任何可操作的顺序执行的图11和图12中所示的附加操作1100或1200中的任何一个或多个。这些附加操作中的每个操作不一定在该方法的每个实施例中执行，并且操作1100或1200中的任何一个操作的存在不一定要求这些附加操作中的任何其他操作也被执行。

参考图11，方法1000可以进一步包括在1110处根据叙事保持脚本事件的预定顺序。替代地或另外，方法1000可以进一步包括在1120处基于传感器输出并服从叙事层次来改变脚本事件的顺序。在一个方面，叙事层次限定事件组之间的叙事关系，并且允许每个组内的事件基于传感器输出以任何时间顺序发生。上文结合图3描述了叙事层次的更多方面。

在另一方面，方法1000可以进一步包括在1130处检测步调小于为脚本事件的序列限定的最小步调。方法1000可以进一步包括在1140处基于该检测经由沉浸式输出设备提供传感线索，用于提示增加步调的至少一个用户动作。例如，传感线索可以包括可听见的线索或可看见的线索。线索可以用来代替或者附加于强制事件的步调在最短时间帧内发生。上面结合图5描述了混合线索和步调强制的一个示例。

参考图12，方法1000可以进一步包括在1210处从耦合到AR或VR输出设备的运动传感器、全球定位系统(GPS)接收器或者被配置用于检测眼睛运动或方向中的至少一个的光学传感器中的至少一个接收传感器输出。该传感器输出可以基于视线直接深度和/或焦点深度来指示用户的焦点区域。如果焦点区域在预定义的区域内持续了限定的时间段，则可以使用基于传感器输出的持久性检测来触发预先记录的事件序列的回放。

在另一方面，方法1000可以进一步包括在1220处检测叙事元件的步调大于为脚本事件的序列限定的最大步调。换句话说，步调控制处理器可以检测到用户正在太快地移动通过叙事链，或者比脚本事件的相应部分所期望的更快。响应于该检测，方法1000可以进一步包括在1230处包括基于该检测而忽略指示应该增加步调的传感器输出并且减少步调。

图13是示出如本文所述的用于步调控制的装置或系统1300的组件的概念框图。装置或系统1300可以包括如本文所述的附加或更多详细的组件。例如，处理器1310和存储器1316可以包含如上所述的3D环境应用的实例。如所描绘的，装置或系统1300可以包括可以代表由处理器、软件或其组合(例如，固件)实现的功能的功能块。

如图13所示，装置或系统1300可以包括用于提供配置用于输出设备的数据信号的电气组件1302，其中当被沉浸式输出设备处理时，该数据信号提供AR输出或VR输出中的一个。组件1302可以是或者可以包括用于提供数据信号的工具/手段(means)。所述工具可以包括耦合到存储器1316和输入设备1314的处理器1310，该处理器基于存储在存储器中的程序指令来执行算法。这种算法可以包括一系列更详细的操作，例如，基于来自浸入式输出设备的传感器输出来确定观察方向，基于观察方向来选择场景的可见区域，对代表用于显示沉浸式输出设备的可见区域的数据进行编码，以及将编码数据传输到沉浸式输出设备。

装置1300可以进一步包括电气组件1304，该电气组件1304用于基于指示由沉浸式输出设备的用户执行的动作的传感器输出来控制由AR输出或VR输出中的一个中的叙事限定的脚本事件的步调。组件1304可以是或可以包括用于基于传感器输出来控制步调的工具/手段(means)。所述工具可以包括耦合到存储器1316和输入设备1314的处理器1310，该处理器基于存储在存储器中的程序指令执行算法。这种算法可以包括一系列更详细的操作，例如结合图5所描述的或者上述以其他方式描述的一个或多个更详细的操作。

在装置1300被配置为数据处理器的情况下，装置1300可以可选地包括具有至少一个处理器的处理器模块1310。在这种情况下，处理器1310可以经由总线1312或类似的通信耦合件与模块1302-1304进行可操作的通信。处理器1310可以实现由电气组件1302-1304执行的过程或功能的启动和调度。

在相关方面，装置1300可以包括可操作以经由计算机网络与内容服务器进行通信的网络接口模块(未示出)。在进一步的相关方面，装置1300可以可选地包括用于存储信息的模块，例如存储器设备/模块1316。计算机可读介质或存储器模块1316可以经由总线1312等可操作地耦合到装置1300的其他组件。存储器模块1316可以适于存储计算机可读指令和数据，该计算机可读指令和数据用于产生模块1302-1304及其子组件、或处理器1310、或方法1000以及本文公开的附加操作1100或1200中的一个或多个操作的过程和动作。存储器模块1316可以保留用于执行与模块1302-1304相关联的功能的指令。虽然被示出为在存储器1316的外部，但是应该理解的是模块1302-1304可以存在于存储器1316的内部。

装置1300可以包括用于VR或AR输出设备1312的输出端口。该输出端口可以包括无线发射器或有线发射器。另外，装置1300可以包括用于从VR输出设备或AR输出设备的一个或多个传感器接收信号的输入端口1314。该输入端口可以包括无线接收器或有线接收器。

鉴于前述内容以及通过关于共同提供沉浸式和非沉浸式内容的附加示例的方式，图14-16示出封装VR数据的一个方法或多个方法的各个方面，其可以由VR或AR内容的制作设备或本文所述的其他计算装置来执行。参考图14，方法1400可以包括在1410处由至少一个计算机配置音频-视频数据，以便在音频-视频数据被输出设备处理时提供虚拟现实(VR)输出，其中根据预定义的叙事来组织该VR输出。

方法1400可以进一步包括在1420处将音频-视频数据与附加内容一起封装在计算机可读介质中，该附加内容与预定义的叙事协调并且被配置用于提供替代输出。方法1400的进一步细节可以如上面结合图1和图7-图9所描述。

方法1400可以包括以任何可操作顺序执行的图15和图16中所示的附加操作1500或1600中的任何一个或多个。这些附加操作中的每个操作不一定在该方法的每个实施例中执行，并且操作1500或1600中的任一操作的存在不一定要求这些附加操作中的任何其他操作也被执行。

参考图15，方法1400可以进一步包括在1510处配置附加内容以便提供替代输出。在一个方面，替代输出包括非VR输出的音频-视频输出。例如，如在框1520处所示，附加内容可以被配置用于立体3D输出、2D输出或AR输出中的一个或多个。对于另一个示例，方法1400可以进一步包括在1530处配置附加内容以在结合二维(2D)视频输出或立体3D输出中的至少一个使用时模拟VR输出。在图9中904处示出了这种类型的补充AR内容的示例。

参考图16，方法1400可以进一步包括在1610处配置音频-视频数据和附加内容，以在不同的非重叠时间按顺序播放。在替代输出包括实时渲染视频的实施例中，方法1400可以进一步包括在1620处将替代输出配置为3D游戏引擎的实时渲染视频。

在其它方面，方法1400可以进一步包括在1630处将附加内容配置为预定义叙事的副本。例如，附加内容可以以另一种格式(诸如，AR输出、立体3D或2D)复制VR内容的叙事。替代地或附加地，方法1400可以进一步包括在1640处将附加内容配置为预定义叙事的补充而非副本。在另一方面，封装还包括将位置音频数据记录在计算机可读介质中，其中位置音频数据被配置为当被提供给沉浸式输出设备时引起单声道、立体声、多声道或面向对象的音频输出中的至少一个。

图17是示出如本文所述的用于封装VR内容的装置或系统1700的组件的概念框图。装置或系统1700可以包括如本文所述的附加的或更详细的组件。如所描绘的，装置或系统1700可以包括功能块，这些功能块可以代表由处理器、软件或其组合(例如，固件)实现的功能。

如图17所示，装置或系统1700可以包括用于通过至少一个计算机配置音频-视频数据以便在音频-视频数据被输出设备处理时提供VR输出的电气组件1702，其中该VR输出根据预定义的叙事进行组织。组件1702可以是或可以包括用于配置VR输出数据的工具/手段(means)。所述工具可以包括耦合到存储器1716的处理器1710，该处理器基于存储在存储器中的程序指令执行算法。这种算法可以包括一系列更详细的操作，例如，确定用于音频-视频内容的VR输出格式，针对该VR输出格式对音频-视频内容数据进行编码，以及将编码的音频-视频内容数据与限定VR控制参数的元数据记录在一起。

装置1700可以进一步包括用于将音频-视频数据与附加内容一起封装在计算机可读介质中的电气组件1704，其中附加内容与预定义的叙事协调并被配置用于提供替代输出。组件1704可以是或可以包括用于将音频-视频数据与附加内容封装在一起的工具/手段(means)。所述工具可以包括耦合到存储器1716的处理器1710，该处理器基于存储在存储器中的程序指令执行算法。这种算法可以包括一系列更详细的操作，例如结合图14-15所描述的或者上述以其他方式描述的一个或多个更详细的操作。

在装置1700被配置为数据处理器的情况下，装置1700可以可选地包括具有至少一个处理器的处理器模块1710。在这种情况下，处理器1710可以经由总线1712或类似的通信耦合件与模块1702-1704进行可操作的通信。处理器1710可以实现由电气组件1702-1704执行的过程或功能的启动和调度。

在相关方面中，装置1700可以包括可操作用于通过计算机网络与内容服务器进行通信的网络接口模块(未示出)。在进一步的相关方面中，装置1700可以可选地包括用于存储信息的模块，例如存储器设备/模块1716。计算机可读介质或存储器模块1716可以经由总线1712等可操作地耦合到装置1700的其他组件。存储器模块1716可适于存储计算机可读指令和数据，以便实现模块1702-1704及其子组件或处理器1710或方法1400以及本文公开的附加操作1500或1600中的一个或多个操作的过程和行为。存储器模块1716可以保留用于执行与模块1702-1704相关联的功能的指令。虽然被示出为在存储器1716的外部，但是应该理解的是模块1702-1704可以存在于存储器1716的内部。

装置1700可以包括用于将封装内容分配给其他通信设备和/或计算机网络的网络接口组件1714。在可替代实施例中，该装置可以包括到用于将该内容和替代内容记录在非瞬态计算机可读介质中的设备的端口。

本领域技术人员将进一步认识到，结合本文公开的一些方面描述的各种说明性逻辑块、模块、电路和算法步骤可以实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，上面已经根据其功能总体地描述了各种说明性的组件、块、模块、电路和步骤。这样的功能是以硬件还是软件来实现取决于对整个系统施加的特定应用和设计约束。本领域技术人员可以针对每个特定应用以各种方式实现所描述的功能，但是这样的实施方式决策不应该被解释为导致偏离本公开的范围。

如本申请中所用，术语“组件”、“模块”、“系统”等旨在指代与计算机相关的实体，或者硬件、硬件和软件的组合、软件或者执行中的软件。例如，组件可以是但不限于是在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。举例来说，在服务器上运行的应用程序和服务器都可以是组件。一个或多个组件可以驻留在进程和/或执行线程内，并且组件可以位于一台计算机上和/或分布在两台或多台计算机之间。

将借助于可包括多个组件、模块等的系统来呈现各个方面。应该理解和明白的是，各种系统可以包括附加组件、模块等，并且/或者可以不包括结合附图所讨论的所有组件、模块等。也可以使用这些方案的组合。本文公开的各个方面可以在包括利用触摸屏显示技术和/或鼠标-键盘类型接口的设备的电子设备上执行。这种设备的示例包括计算机(台式计算机和可移动计算机)、智能电话、个人数字助理(PDA)以及其他有线和无线的电子设备。

另外，结合本文公开的各个方面描述的各种说明性逻辑块、模块和电路可以由以下设备实现或实施：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立门或晶体管逻辑、分立硬件组件或者设计为执行本文描述的功能的其任何组合。通用处理器可以是微处理器，但是可替代地，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP内核结合的一个或多个微处理器，或者任何其它此类配置。

本文公开的一些操作方面可以直接体现为硬件、由处理器执行的软件模块或两者的组合。软件模块可以驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、DVD或蓝光(Blu-ray^TM)盘或其他光学介质、固态存储设备(SSD)或本领域已知的任何其他形式的存储介质。示例性存储介质耦合到处理器，使得处理器可从存储介质读取信息以及将信息写入到存储介质。在可替代方案中，存储介质可以集成到处理器中。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在用户终端中。可替代地，处理器和存储介质可以作为分立组件驻留在用户终端中。

此外，可以使用标准编程和/或工程技术来产生软件、固件、硬件或其任何组合以控制计算机实现所公开的各个方面，从而将一个或多个版本实现为方法、装置或制品(article of manufacture)。非瞬态计算机可读介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁条......)、光盘(例如，高密度磁盘(CD)、数字通用磁盘(DVD)......)、蓝光盘、智能卡、闪存设备(例如，闪存卡、闪存棒)以及固态存储设备。当然，本领域技术人员将认识到可以对这种配置进行许多修改而不偏离所公开的方面的范围。

提供对所公开的一些方面的先前描述以使得本领域的任何技术人员都能够制造或使用本公开。对于本领域技术人员而言，在不偏离本公开的精神或范围的情况下，对这些方面的各种修改将是显而易见的，并且可以将本文限定的一般原理应用于其他实施例。因此，本公开并非旨在限于本文所示的实施例，而是应被赋予与本文中所公开的原理和新颖特征一致的最广泛范围。

鉴于上文描述的示例性系统，已经参考几个流程图描述了可以根据所公开的主题实现的方法。尽管为了简化解释的目的，方法被示出并描述为一系列块，但是应该理解和认识到，所要求保护的主题不受这些块的顺序的限制，因为一些块可以以不同顺序发生，和/或与来自本文所描绘和描述的其他块同时发生。而且，并非需要所有示出的块来实施本文所述的方法。此外，应该进一步认识到，本文公开的方法能够被存储在制品上以便将这些方法传输并转移到计算机上。

Claims (20)

1.一种由沉浸式输出设备实现的方法，所述方法包括：

由处理器提供被配置用于所述沉浸式输出设备的数据信号，其中当由所述沉浸式输出设备处理时，所述数据信号提供增强现实输出即AR输出或虚拟现实输出即VR输出中的一个；

基于指示由所述沉浸式输出设备的用户执行的动作的传感器反馈，控制由所述AR输出或所述VR输出中的一个中的叙事限定的脚本事件的步调。

2.根据权利要求1所述的方法，其进一步包括根据所述叙事保持所述脚本事件的预定顺序。

3.根据权利要求2所述的方法，其中所述保持包括基于所述传感器输出并服从叙事层次来改变所述脚本事件的顺序，其中所述叙事层次限定事件组之间的叙事关系，并且允许每个组内的事件基于所述传感器输出以任何时间顺序发生。

4.根据权利要求1所述的方法，进一步包括检测所述步调小于为所述脚本事件的序列限定的最小步调，并且基于所述检测，经由所述沉浸式输出设备提供传感线索，用于提示增大所述步调的至少一个用户动作。

5.根据权利要求1所述的方法，进一步包括从以下至少一个接收所述传感器输出：耦合到所述沉浸式输出设备的运动传感器、全球定位系统接收器即GPS接收器或者被配置用于检测眼睛移动或取向中的至少一个的光学传感器。

6.根据权利要求1所述的方法，进一步包括检测所述步调大于为所述脚本事件的序列限定的最大步调，并且基于所述检测忽略指示应该增大步调的传感器输出并减小所述步调。

7.一种用于输出增强现实输出即AR输出或虚拟现实输出即VR输出中的至少一个的装置，其包括：

处理器、耦合到所述处理器的存储器以及耦合到所述处理器的立体显示设备，其中所述存储器保存指令，所述指令在被所述处理器执行时促使所述装置执行：

提供数据信号，所述数据信号被配置为当由所述处理器处理所述数据信号时用于促使所述装置输出增强现实输出即AR输出或虚拟现实输出即VR输出中的一个；以及

基于指示由所述沉浸式输出设备的用户执行的动作的传感器反馈，控制由所述AR输出或所述VR输出中的所述一个中的叙事限定的脚本事件的步调。

8.根据权利要求7所述的装置，其中所述存储器保存进一步指令以便根据所述叙事保持所述脚本事件的预定顺序。

9.根据权利要求8所述的装置，其中所述存储器保存进一步指令以便至少部分地通过基于所述传感器输出并服从叙事层次来改变所述脚本事件的顺序而执行所述保持，其中所述叙事层次限定事件组之间的叙事关系并且允许每个组内的事件基于所述传感器输出以任何时间顺序发生。

10.根据权利要求7所述的装置，其中所述存储器保存进一步指令以便检测所述步调小于为所述脚本事件的序列限定的最小步调，并且基于所述检测经由所述沉浸式输出设备提供传感线索以提示用于增加所述步调的至少一个用户动作。

11.根据权利要求7所述的装置，其中所述存储器保存进一步指令以便从以下至少一个接收所述传感器输出：耦合到所述沉浸式输出设备的运动传感器、全球定位系统接收器即GPS接收器或者被配置用于检测眼睛移动或取向中的至少一个的光学传感器。

12.根据权利要求7所述的装置，其中所述存储器保存进一步指令以便检测所述步调大于为所述脚本事件的序列限定的最大步调，并且基于所述检测，忽略指示应该增大步调的传感器输出并减小所述步调。

13.一种方法，其包括：

通过至少一个计算机配置音频-视频数据，以便在由输出设备处理时提供虚拟现实输出即VR输出，其中所述VR输出根据预定义的叙事进行组织；以及

将所述音频-视频数据与附加内容一起封装在计算机可读介质中，其中所述附加内容与所述预定义的叙事协调并且被配置用于提供替代输出。

14.根据权利要求13所述的方法，其中所述替代输出包括立体三维音频-视频输出或者二维音频-视频输出中的至少一个。

15.根据权利要求14所述的方法，其中所述替代输出包括增强现实输出即AR输出。

16.根据权利要求15所述的方法，其中所述AR输出被配置为在所述AR输出结合二维音频-视频输出或立体三维音频-视频输出中的至少一个使用时模拟VR输出。

17.根据权利要求13所述的方法，进一步包括配置所述音频-视频数据和所述附加内容以便在不同的、非重叠时间按顺序进行播放。

18.根据权利要求13所述的方法，其中所述替代输出包括实时渲染视频，并且所述附加内容包括三维模型和游戏引擎。

19.根据权利要求13所述的方法，进一步包括以下至少一种：提供包括所述预定义叙事的副本的附加内容或者提供补充但不包括所述预定义叙事的副本的附加内容。

20.根据权利要求13所述的方法，其中所述封装进一步包括在所述计算机可读介质中记录位置音频数据，其中所述位置音频数据被配置为当被提供给所述沉浸式输出设备时引起单声道、立体声、多声道或面向对象的音频输出中的至少一个。