CN116235499A - 使用具有位置数据的清单来有效递送多相机交互式内容 - Google Patents

Abstract

公开了涉及对记录的内容进行编码以便分配到其他计算设备的技术。在各种实施方案中，第一计算设备记录该第一计算设备所在的物理环境的内容，该内容能够递送给第二计算设备，该第二计算设备被配置为基于所记录的内容和由一个或多个附加计算设备记录的内容来呈现对应环境。该第一计算设备确定该第一计算设备在该物理环境内的位置并且将该位置编码在能够用于将由该第一计算设备记录的该内容流式传输到该第二计算设备的清单中。所编码的位置能够由该第二计算设备用于确定是否流式传输由该第一计算设备记录的该内容。

Description

使用具有位置数据的清单来有效递送多相机交互式内容

背景技术

技术领域

本公开整体涉及计算系统，并且更具体地涉及对记录的内容进行编码以便分配到其他计算设备。

相关技术描述

各种流式传输服务已经变得流行，因为它们向用户提供了在各种条件下将内容流式传输到各种设备的机会。为了支持这种能力，已经开发出诸如MPEG-DASH和HLS的各种流式传输协议来考虑这些不同的情况。这些协议通过将内容分解成多个片段并且以质量水平不同的不同格式对这些片段进行编码来工作。当用户想要将内容流式传输到具有小屏幕和不可靠网络连接的移动设备时，该设备可初始下载以具有较低分辨率的格式来编码的视频片段。如果网络连接改善，则移动设备然后可切换到下载以具有较高分辨率和/或较高比特率的另一种格式来编码的视频片段。

附图说明

图1是例示用于有效地递送多相机交互式内容的系统的一个实施方案的框图。

图2是例示使用该系统来选择多相机内容以用于递送的呈现设备的一个实施方案的框图。

图3是例示由系统的相机使用的部件的一个实施方案的框图。

图4是例示由系统的呈现设备使用的部件的一个实施方案的框图。

图5A至图5C是例示用于有效地递送多相机交互式内容的方法的实施方案的流程图。

图6是例示包括在系统的呈现设备、记录设备和/或存储装置中的附加示例性部件的一个实施方案的框图。

本公开包括对“一个实施方案”或“实施方案”的标引。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。

在本公开内，不同实体(其可被不同地称为“单元”、“电路”、其他部件等)可被描述或声称成“被配置为”执行一个或多个任务或操作。此表达方式—被配置为[执行一个或多个任务]的[实体]—在本文中用于指代结构(即，物理的事物，诸如电子电路)。更具体地，此表达方式用于指示此结构被布置成在操作期间执行一个或多个任务。结构可被说成“被配置为”执行某个任务，即使该结构当前并非正被操作。“被配置为向用户显示三维内容的显示系统”旨在涵盖例如在操作期间执行该功能的液晶显示器(LCD)，即使所考虑的LCD当前未在使用(例如，未连接电源)。因此，被描述或表述成“被配置为”执行某个任务的实体是指用于实施该任务的物理的事物，诸如设备、电路、存储有可执行程序指令的存储器等等。该短语在本文中不被用于指代无形的事物。因此，“被配置为”结构在本文中不被用于指代软件实体，诸如应用编程接口(API)。

术语“被配置为”并不旨在意指“可配置为”。例如，未经编程的FPGA不会被认为是“被配置为”执行某个特定功能，虽然其可能“能被配置为”执行该功能并且在编程之后可以“被配置为”执行该功能。

所附权利要求书中的表述结构“被配置为”执行一个或多个任务明确地旨在对该权利要求要素不援引35U.S.C.§112(f)。于是，所提交的本申请中没有任何权利要求旨在要被解释为具有装置-加-功能要素。如果申请人在申请过程中想要援引112(f)部分，则其将使用“用于[执行功能]的装置”结构来表述权利要求的要素。

如本文所用，术语“第一”、“第二”等充当其之后的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)，除非有明确指出。例如，在具有八个处理核心的处理器中，术语“第一”处理核心和“第二”处理核心可用于指该八个处理核心中的任意两个处理核心。换句话讲，“第一”处理核心和“第二”处理核心不限于例如处理核心0和处理核心1。

如本文所用，术语“基于”用于描述影响确定的一个或多个因素。该术语不排除可能有附加因素可影响确定。也就是说，确定可仅基于指定的因素或基于所指定的因素及其他未指定的因素。考虑短语“基于B确定A”。此短语指定B是用于确定A的因素或者B影响A的确定。此短语并不排除A的确定也可基于某个其他因素诸如C。该短语还旨在涵盖A仅基于B来确定的实施方案。如本文所用，短语“基于”因此与短语“至少部分地基于”是同义的。

物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境可包括物理特征，诸如物理表面或物理对象。例如，物理环境可对应于包括物理树木、物理建筑物和物理人的物理公园。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。

相反，扩展现实(XR)环境(或者计算机生成现实(CGR)环境)是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。例如，XR环境可包括增强现实(AR)内容、混合现实(MR)内容、虚拟现实(VR)内容等。在XR系统的情况下，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在XR系统中模拟的一个或多个虚拟对象的一个或多个特征。例如，XR系统可检测人的头部移动，并且作为响应，以类似于此类视图和声音在物理环境中将如何改变的方式调节呈现给人的图形内容和声场。又如，XR系统可以检测呈现XR环境的电子设备(例如，移动电话、平板电脑、膝上型电脑等)的移动，并且作为响应，以类似于此类视图和声音在物理环境中将如何改变的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，XR系统可响应于物理运动的表示(例如，声音命令)来调节XR环境中图形内容的特征。

人可使用姿态或包括视觉、听觉和触觉的其感觉中的任一者来感测XR对象和/或与XR对象交互。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些XR环境中，人可以感测和/或只与音频对象交互。

XR的示例包括虚拟现实和混合现实。

虚拟现实(VR)环境是指被设计成对于一个或多个感觉完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还结合来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。

在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致移动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。

增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。或者，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。

增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。

增强虚拟(AV)环境是指虚拟或计算机生成环境结合了来自实体环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。

有许多不同类型的电子系统使人能够感测和/或与各种XR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为设计用于放置在人的眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持式控制器)、智能电话、平板电脑、以及台式/膝上型计算机。头戴式系统可具有集成不透明显示器和一个或多个扬声器。另选地，头戴式系统可被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一些具体实施中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

具体实施方式

在一些情况下，可使用由存在于物理环境中的多个相机记录的内容基于物理环境来生成扩展现实(XR)环境(或其他形式的计算机生成环境)。例如，在下文讨论的一些实施方案中，可使用由在音乐会场地记录音乐会的多个设备创建的内容来生成XR环境。可能没有亲自参加音乐会的用户仍然可能够具有音乐会的沉浸式XR体验，他们通过能够在XR环境内观看和四处移动来从XR环境内的不同位置观看音乐会。然而，由于网络和处理限制，随着记录设备的数量增加和/或内容质量提高，下载物理环境的每个记录可能很快变得不切实际。

本公开描述了用于更有效地递送多相机交互式内容的系统的实施方案。如下文将更详细地描述，在各种实施方案中，在物理环境内捕获内容的记录设备可确定其在物理环境内的位置并且将其位置编码在可用于流式传输所记录的内容的清单中。基于所记录的内容和由一个或多个附加设备记录的内容来呈现XR环境的设备然后可使用所编码的位置来基于呈现设备的用户正在尝试在XR环境内观看内容的位置来确定是否流式传输所记录的内容。继续音乐会场地示例，如果用户正在尝试在XR环境中的音乐会舞台附近的位置处观看内容，则呈现设备可尝试下载在音乐会舞台附近记录的内容，因为此类内容可能与用户的当前视场相关。相反，在音乐会场地后面记录的内容可能与用户的当前视场不相关，因此呈现设备可基于该内容的所编码的位置来确定不下载该内容。在一些实施方案中，记录设备还可在记录内容时确定其位姿并且将该位姿编码在清单中，使得呈现设备可确定记录设备在物理环境内的取向，以便确定其是否与用户的视场相关。例如，即使在XR环境内观看内容的用户可选择对应于内容被记录的位置附近的位置的视口位置，但是如果观看用户具有与记录设备的位姿相反方向的位姿，诸如当记录设备具有朝向舞台的位姿时，用户在音乐会中看向观众，则记录内容也可能与用户的视场不太相关。

能够基于物理环境内的记录设备的所编码的位置和位姿来智能地确定什么记录内容是相关的可允许呈现对应的XR环境的设备极大地减少被流式传输的内容的量，因为不相关的内容可被忽略，从而节省宝贵的网络带宽。更进一步，在清单中对位置和位姿信息进行编码为呈现设备提供了快速辨别什么内容是相关的有效方式，从而节省宝贵的处理和功率资源。

现在转向图1，描绘了内容递送系统10的框图。在例示的实施方案中，系统10包括多个相机110A-110C、存储装置120和呈现设备130。如图所示，相机110可包括编码器112。存储装置120可包括清单122A-122C和片段124A-124C。呈现设备130可包括流式传输应用132。在一些实施方案中，系统10可与所示出的系统不同地被实现。例如，可使用更多(或更少)的记录设备110和呈现设备130，编码器112可位于存储装置120处，可使用单个(或较少)清单122，可使用片段124的不同分组等。

相机110可对应于被配置为记录物理环境的内容的任何合适的设备(或被包括在其内)。在一些实施方案中，相机110可对应于对准即拍相机、单镜头反光相机(SLR)、摄像机等。在一些实施方案中，相机110可对应于(或者被包括在)其他形式的记录设备，诸如，电话、平板电脑、膝上型电脑、台式计算机等。在一些实施方案中，相机110可对应于头戴式显示器(或者包括在其内)，诸如头戴式耳机、头盔、护目镜、眼镜、插入到外壳中的电话等并且可包括一个或多个前向相机110以捕获用户面部前方的内容。作为又另一示例，相机110可被包括在车辆仪表盘记录系统中。尽管本文将描述其中记录的内容包括视频或音频内容的各种示例，但由相机110记录的内容还可包括从相机110中的一个或多个传感器(诸如下文关于图6讨论的环境传感器(world sensor)604和/或用户传感器606)收集的传感器数据。

还如图1所示以及下文更详细讨论的，相机110可记录来自空间100内的不同位置的物理环境的内容。例如，在一些实施方案中，物理环境可以是运动场地(例如，体育场)，其中相机110被放置在不同位置处以从不同角度捕获体育赛事并且实时流式传输内容。作为另一示例，在一些实施方案中，物理环境可以是其中多个相机110被附接到移动装备以从不同视角捕获场景的电影布景。虽然在一些情况下，相机110的位置可以是静态的，但是在其他情况下，相机110的位置可以是动态的，并且相机110可在相对于彼此的不同时间开始记录内容。继续上文讨论的音乐会示例，相机110可由在记录内容的同时在场地内四处移动的音乐会的各个参加者持有。当参加者进入或离开场地时，参加者可在不同的时间开始记录内容并且在音乐会的过程中持续不同的时间长度。作为又另一示例，两个人可邀请朋友与他们共享共同在场体验，并且可佩戴包括(或对应于)相机110的头戴式显示器。潜在物理环境的其他示例可包括公园、博物馆、购物场所等。为了便于将在物理环境中记录的内容分配到呈现对应XR环境的设备，相机110可各自使用相应的编码器112。

在各种实施方案中，编码器112可操作来以便于将内容流式传输到另一设备(例如下文论述的呈现设备130)的方式对所记录的内容进行编码。如下文将结合图3更详细地讨论的，编码器112可包括可用于产生各种格式和质量水平的编码的内容118的一个或多个视频和/或音频编解码器。为了便于生成对应XR环境，编码器112(或更一般地，相机110)还可确定相机110的一个或多个位置114和位姿116，并且将该信息编码在内容118中以便便于流式传输设备对该内容的选择。在各种实施方案中，位置114是在相机110记录内容时相机110在物理环境内的位置。例如，在例示的实施方案中，位置114可使用如在空间100内限定的笛卡尔坐标X、Y和Z来指定；然而，位置114可使用任何合适的坐标系在编码的内容118中指定。为了确定一个相机110的相对于另一相机110的位置114的位置114，可相对于由相机110以及如下文将讨论的呈现设备130使用的公共参考空间100(或相对于公共参考点)来表达位置114。继续音乐会示例，在一些实施方案中，空间100可根据音乐会场地的物理墙壁来限定，并且位置114可根据相对于那些墙壁的距离来表达。在各种实施方案中，位姿116是在相机110记录内容时相机110在物理环境内的位姿/取向。例如，在一些实施方案中，可使用极角、方位角

以及旋转角r来指定位姿116；然而，在其他实施方案中，位姿116可不同地被表达。由于给定相机110可随时间改变其位置114或位姿116，因此相机110可对多个位置114和/或位姿116以及多个参考时间进行编码以指示相机110在给定时间点位于何处以及其当前位姿。这些参考时间还可基于在相机110之间共享的公共时间参考，以便使得能够确定一个编码的内容118的记录时间相对于另一个编码的内容的记录时间，因为相机110可能不同时开始记录内容。如图1所示，这些位置114和位姿116可在清单122内指定，这些清单可由相机110连同片段124一起提供给存储装置120。

在各种实施方案中，存储装置120被配置为存储从相机110A-110C接收的编码的内容118A-118C，并且便于流式传输编码的内容118。在一些实施方案中，存储装置120可以是单个计算设备、网络附接存储装置等，在其他实施方案中，存储装置120可由实现基于云的存储装置的计算机集群提供。如上所述，存储装置120可以清单122和对应片段124的形式存储编码的内容118。在各种实施方案中，清单122包括关于每个片段124的元数据，使得接收者可选择适当的片段124。例如，清单122可包括统一资源标识符(URI)，该URI指示可针对特定编码的内容118在何处下载720p片段124。在各种实施方案中，存储装置120可支持编码的内容118经由超文本传输协议(HTTP)并且使用诸如HTTP实况流式传输(HLS)、基于HTTP的运动图片专家组动态自适应流式传输(MPEG-DASH)等流式传输协议的流式传输。在使用HLS的实施方案中，清单122可使用一个或多个.m3u8文件来实现。在使用MPEG-DASH的实施方案中，清单122可实现为媒体呈现描述(MPD)。在其他实施方案中，可使用可(或可不)利用HTTP的其他传输协议，并且在一些实施方案中，XR环境的生成可在内容132已经从存储装置120下载之后很久发生。编码的片段124是以多种格式编码的所记录的内容118的小部分。例如，所记录的内容118可被分解成十秒的部分。每个部分然后以多种格式编码，诸如以480p编码的第一组片段124、以720p编码的第二组片段124等等。尽管在例示的实施方案中，每个相机110A-110C被示出为创建相应的清单122A-122C，但在其他实施方案中，相机110可将包括位置114和位姿116的元数据记录到共享清单122。

在各种实施方案中，呈现设备130被配置为向用户呈现对应于由相机110创建的基于物理环境的编码的内容118的环境。在一些实施方案中，呈现设备130是头戴式显示器，诸如头戴式耳机、头盔、护目镜、眼镜、插入到外壳中的电话等；然而，在其他实施方案中，呈现设备130可对应于其他合适的设备，诸如电话、相机、平板电脑、膝上型电脑或台式计算机。在一些具体实施中，该对应环境环境是XR环境。在其他实施方案中，可呈现其他形式的环境。为了便于该对应环境的呈现，在例示的实施方案中，呈现设备130执行流式传输应用132，该流式传输应用可接收来自用户的请求以流式传输特定类型的内容118(例如，足球比赛)并且选择性地从存储装置120下载编码的内容134。如接下来结合图2所描述的，流式传输应用132可下载清单122A-122C以便在记录物理环境的片段124时标识相机110的位置114和/或位姿116。流式传输应用132然后可基于用户在XR环境内观看内容的位置以及基于在呈现XR环境时呈现设备130(或用户)的位姿来确定要从存储装置120下载哪些片段124。在各种实施方案中，所选择的片段124包括被确定为包括用户视场内的内容118的片段124以及被确定为包括可能部分地在用户视场内以便被修补到用户视场内的连续场景中的内容118的片段124。由于用户可在与XR环境交互时更改他或她的位置或位姿，因此流式传输应用132可基于用户的变化的视场来更改下载了哪些片段124。在一些实施方案中，如果片段124被标识为具有位于用户的视场附近的内容118，则也可下载这些片段，预期如果用户的位置或位姿改变则它们可变得相关。流式传输应用132还可在请求不同的编码的内容134时考虑其他因素，诸如可随时间改变的呈现设备130的联网和计算资源。

现在转向图2，描绘了编码的内容134的选择200的框图。在例示的示例中，流式传输应用132正在从相机110创建的三组编码的内容118中执行选择200。具体地，由相机110A产生的片段124A可描绘第一帧212A中的内容，由相机110B产生的片段124B可描绘第二帧212B中的内容，并且由相机110C产生的片段124C可描绘第三帧212C中的内容。如图所示，该选择200可开始于流式传输应用132下载清单122并且确定位置202和位姿204。

在各种实施方案中，位置202是呈现设备的用户在XR环境内观看内容的位置。如下文将关于图4所描述的，位置202初始可对应于XR环境内的某个默认位置。用户然后可使用一个或多个用户输入设备(例如，操纵杆)来更改该位置202以在XR环境内四处移动。例如，用户可从运动场地中的初始位置处开始，但是然后决定移动到正在发生有趣动作的场地部分。在例示的实施方案中，位置202可使用如在空间100内限定的笛卡尔坐标X、Y和Z来指定；然而，在其他实施方案中，位置202可使用其他合适的坐标系来指定。

在各种实施方案中，位姿204是用户(并且在一些实施方案中的呈现设备130)在用户在XR环境内观看内容时的位姿。在呈现设备130为HMD的例示的实施方案中，位姿204可对应于用户的头部的取向。用户然后可通过例如向左或向右看来更改他或她的位姿204。如将结合图4所描述的，用户还可使用呈现设备130的一个或多个输入设备来更改位姿204。在一些实施方案中，可使用极角、方位角

以及旋转角r来指定位姿204；然而，在其他实施方案中，位姿204可不同地被表达。

基于位置202和位姿204，流式传输应用132可读取清单122以标识片段124的位置114和位姿116，以便确定哪些片段124与用户的当前视场相关。在所描绘的示例中，流式传输应用132可确定帧212A-212C全部都与用户的当前视场相关。然而，基于所描绘的位置202和位姿204，流式传输应用132可确定帧212C位于帧212A或帧212B之后并且因此确定下载片段124A和124B但不下载片段124C。继续上文讨论的音乐会示例，帧212A-212C可由朝向舞台看的三个不同的参加音乐会者所持有的相机110捕获，其中产生帧212A的相机由离舞台最远的参加音乐会者所持有，并且产生帧212C的相机由离舞台最近的参加音乐会者所持有。由于图2中所描绘的示例中的位置202最靠近帧212A并且(甚至离舞台更远)，流式传输应用132初始可下载包括帧212A的片段124A并且放弃下载包括帧212C的片段124C。当用户的当前位置202和/或位姿204改变时，流式传输应用132可确定中止流式传输由一个相机110记录的内容并且确定流式传输由另一相机110记录的内容。例如，如果用户沿着位姿204的路径朝向音乐会舞台向前移动，那么在某一点处，帧212A和212B将位于用户的当前视场后方，但帧212C可能仍直接位于视角前方。因此，流式传输应用132可开始下载对应于帧212C的片段124C，但中止下载分别对应于帧212A和212B的片段124A和124B。类似地，如果用户保持在相同位置202处但更改了位姿204使得帧212A-212C不再在用户的当前视场中，则流式传输应用132可中止下载片段124A-124C。

在一些实施方案中，流式传输应用132还可将多个帧212的内容修补在一起，以便向用户呈现连续视图。如图所示，流式传输应用132可根据清单122确定基于用户的当前视场帧212B可与帧212A部分地重叠。在帧212A未完全占据用户的当前视场的情况下，流式传输应用132可决定仍使用帧212A作为主帧并且然后使用帧212B(假设其能够供应遗漏内容中的一些遗漏内容)作为修补帧，使得修补部分214A与主帧212A组合以产生连续视图。然而，可移除帧212B的重叠部分214B。在帧212A和212B未被实时流式传输的情况下，流式传输132可读取清单122中所包括的参考时间，以便帧212A和212B是在重叠时间帧期间被创建的并且因此可修补在一起。如果修补帧212B是在主帧212A之后的某个时间创建的，则不可能将帧212修补在一起以便创建连续视图。

现在将讨论在相机110内使用以便于对内容118进行编码的记录设备部件中的一些记录设备部件。

现在转向图3，描绘了相机110中的部件的框图。在例示的实施方案中，相机110包括一个或多个位置传感器310、一个或多个位姿传感器320、时钟330、一个或多个图像传感器340、一个或多个麦克风350以及编码器112。在其他实施方案中，相机110可与所示出的相机不同地实现。例如，相机110可包括产生用于对内容118进行编码的信息的其他传感器。

在各种实施方案中，位置传感器310是被配置为在其记录内容118时确定相机110的位置114的传感器。在一些实施方案中，传感器310包括基于光的位置传感器，该基于光的位置传感器通过发射光并且检测其在物理环境中的各种对象和表面上的反射来捕获深度(或范围)信息。这种传感器可例如采用具有IR照明源的红外(IR)传感器、光检测和测距(LIDAR)发射器和接收器等。该范围信息可例如与由相机捕获的帧结合使用以检测和识别物理环境中的对象和表面，以便确定相机110相对于物理环境中的对象和表面的位置和距离的位置114。在一些实施方案中，位置传感器310包括无线传感器，该无线传感器基于由充当物理环境内的已知参考点的位置信标(诸如使用

低功耗(LE)的位置信标)发射的信号的信号强度来确定位置114。在一些实施方案中，位置传感器310包括地理位置传感器，诸如支持全球定位系统(GPS)、全球导航卫星系统(GNSS)等的地理位置传感器。在其他实施方案中，可采用其他形式的位置传感器。

在各种实施方案中，位姿传感器320是被配置为在其记录内容118时确定相机110的位姿116的传感器。因此，位姿传感器320包括被配置为在记录内容118时确定相机110的位姿的一个或多个惯性测量单元(IMU)传感器、加速器传感器、陀螺仪传感器、磁力计传感器等。在一些实施方案中，位姿传感器320可采用使用相机和IMU传感器输入的一个或多个视觉惯性测程算法。在相机110也是HMD的一些实施方案中，位姿传感器320可包括可在记录内容118时捕获关于用户和/或用户头部的位置和/或运动的信息。在一些实施方案中，位姿传感器320包括无线传感器，该无线传感器使用用于评估由位置信标发射的信号的信号强度的定向天线来确定位姿116。

在各种实施方案中，时钟330被配置为维持当前时间，该当前时间可用作参考时间以确定内容118何时由相机110记录。如上所述，该参考时间可被编码在清单122中，并且可能够被流式传输应用132用于确定特定片段124是否与用户正在观看内容134的时间相关。流式传输应用132还可使用该参考时间以及与由一个或多个其他相机110记录的内容118相关联的参考时间来将由相机110记录的内容修补在一起以呈现XR环境。为了维持时钟330的准确性，相机110可例如使用网络时间协议周期性地使时钟330与信任机构同步。

在各种实施方案中，图像传感器340被配置为记录图像342以包括于片段124中。因此，图像传感器340可包括一个或多个金属氧化物半导体(CMOS)传感器、N型金属氧化物半导体(N-MOS)传感器或其他合适的传感器。在相机110为HMD的一些实施方案中，图像传感器340可包括位于HMD的前表面上的基本上在用户眼睛中的每只眼睛的前面的位置处的左传感器340和右传感器340。

在各种实施方案中，麦克风350被配置为记录音频352以包括于片段124中。在一些实施方案中，麦克风350包括左侧麦克风350和右侧麦克风350，以便产生立体声音频352。在一些实施方案中，麦克风350可包括若干麦克风不同位置的麦克风阵列以便生成空间音频。麦克风350可对应于任何合适的类型并且可以是全向的、单向的等。

在例示的实施方案中，编码器112接收位置114、位姿116、参考时间332、图像342以及音频352以便为相机110执行所记录的内容118的编码。因此编码器112可包括可操作以产生清单122和片段124的各种视频编解码器360A和音频编解码器360B。例如，如图所示，编码器112可包括支持1080p(1920x1080分辨率)和30fps的H.264/AVC编码的视频编解码器360A。编码器112还可包括支持160kb/s的AAC-HE v2编码的音频编解码器360B。然而，视频和音频编解码器360可支持任何合适的格式。在一些实施方案中，编解码器360可对除视频和音频内容之外的内容，诸如上文所述和下文所讨论的传感器数据进行编码。在一些实施方案中，编解码器360可在由相机110执行以生成清单122和片段124的软件中实现。在一些实施方案中，编解码器360可在被配置为生成片段清单122和片段124的专用硬件中实现。例如，相机110可包括图像信号处理器、具有图像传感器流水线的片上系统(SoC)等，它们具有专用编解码器360电路。

现在转向图4，描绘了呈现设备130中的部件的框图。在例示的实施方案中，呈现设备130包括一个或多个用户输入设备410、位姿传感器420、包括内容预测器430的流式传输应用132、显示器440、扬声器450。在一些实施方案中，呈现设备130可与所示出的诸如包括下文关于图6所讨论的一个或多个部件不同地实现。

在各种实施方案中，用户输入设备410被配置为从用户收集信息以便确定用户在XR环境内的位置202。例如，当流式传输开始时，用户的观看位置202初始可被设定为某个默认位置202。然后，用户可能想要更改该位置202，并且向用户输入设备410提供对应的输入以使得位置202被更改。例如，在用户输入设备410包括操纵杆的实施方案中，用户可向前推动操纵杆以在用户位姿的方向上向前移动观看位置202。然而，用户输入设备410可包括各种设备中的任何设备。在一些实施方案中，用户输入设备410可包括键盘、鼠标、触摸屏显示器、运动传感器、方向盘、相机等。在一些实施方案中，用户输入设备410包括一个或多个用户传感器，这些一个或多个用户传感器可包括跟踪用户的手部、手指、臂部、腿部和/或头部的位置、移动和姿态的一个或多个手部传感器(例如，具有IR照明的IR相机)。例如，在一些实施方案中，检测到的用户的手部、手指和/或臂部的位置、移动和姿态可用于更改用户的位置202。作为另一示例，在一些实施方案中，由一个或多个传感器确定的用户头部位置的改变(诸如由用户向前(或向后)倾斜和/或在房间内四处走动引起的)可用于更改用户在XR环境内的位置202。

在各种实施方案中，位姿传感器420被配置为从用户收集信息以便确定用户在XR环境内的位姿204。在一些实施方案中，位姿传感器420可与上文所讨论的位姿传感器320类似的方式实现。因此，位姿传感器420可包括基于当前头部位置和眼睛位置确定用户位姿204的头部位姿传感器和眼睛跟踪传感器。在一些实施方案中，位姿传感器420可对应于上文所讨论的用户输入设备410。例如，用户可通过向前或向后推动操纵杆以向上或向下移动位姿204来调整他或她的位姿204。

如上文所讨论，流式传输应用132可考虑用户位置202和位姿204来选择编码的内容134以用于在呈现设备130上呈现。在例示的实施方案中，流式传输应用132可通过向存储装置120发送流式传输由物理环境的相机110记录的内容的请求432来发起其与存储装置120的交换以获得所选择的内容134。响应于请求432，流式传输应用132可接收可用于流式传输由相机110记录的内容134的一个或多个清单122。基于在清单中标识的相机110的位置114和位姿116，流式传输应用132可向存储装置120发送请求434以提供基于由用户输入设备410所标识的用户在XR环境内观看内容的位置202和由位姿传感器420所标识的位姿204而选择的所记录的内容118的片段124。在下文讨论的一些实施方案中，流式传输应用132可进一步基于预测器430基于未来位置202和位姿204可能需要片段124的预测来发送对片段124的请求434。流式传输应用132然后可从存储装置120接收所请求的片段124并且处理这些片段124以产生经由显示器440呈现的对应XR视图436和经由扬声器450呈现的对应XR音频438。

在各种实施方案中，可执行预测器430以预测将来可消费什么内容118，使得流式传输应用132可在消费该内容之前开始下载该内容。因此，预测器430可预测用户可能在XR环境内观看内容的未来位置202和/或位姿204，并且基于所预测的位置202和/或204，确定什么内容118应该可能由流式传输应用132流式传输。在各种实施方案中，预测器430跟踪位置202和位姿204信息的先前历史，并且尝试使用诸如线性回归的机器学习算法来推断未来的位置和位姿204。在一些实施方案中，预测器430的推断可基于被流式传输的基础内容的属性。例如，如果用户正在观看内容并且已知项目将要出现在可能引起用户注意的内容中(例如，在用户的外围设备上描绘的爆炸)，则预测器430可假定用户可能更改他或她的位置202和/或位姿204来观看该项目。在其他实施方案中，可采用其他技术来预测未来内容118以从存储装置120中进行选择。

现在转向图5A，描绘了方法500的流程图。方法500是可由记录内容的第一计算设备(诸如使用编码器112的相机110)执行的方法的一个实施方案。在许多情况下，方法500的执行可允许更有效地递送所记录的内容。

在步骤505中，第一计算设备记录第一计算设备所在的物理环境的内容。在各种实施方案中，内容可递送给第二计算设备(例如，呈现设备130)，该第二计算设备被配置为基于所记录的内容和由一个或多个附加计算设备(例如，其他相机110)记录的内容来呈现对应环境。在一些实施方案中，第一计算设备是头戴式显示器(HMD)，该HMD被配置为使用包括于HMD中的一个或多个前向相机来记录内容。在一些实施方案中，对应环境是扩展现实(XR)环境。

在步骤510中，第一计算设备确定第一计算设备在物理环境内的位置(例如，位置114)。在一些实施方案中，第一计算设备还确定第一计算设备在记录内容时的位姿(例如，位姿116)和/或确定第一计算设备何时记录内容的参考时间(例如，参考时间332)。

在步骤515中，第一计算设备将位置编码在可用于将由第一计算设备记录的内容流式传输到第二计算设备的清单(例如，清单122)中。在各种实施方案中，所编码的位置可由第二计算设备用于确定是否流式传输由第一计算设备记录的内容。在一些实施方案中，该位置以允许第二计算设备确定第一计算设备记录内容的位置相对于第二计算设备的用户在对应环境内观看内容的位置(例如，位置202)的方式进行编码。在一些实施方案中，第一计算设备还将位姿编码在清单中，所编码的位姿可由第二计算设备用于基于第二计算设备在呈现对应环境时的位姿(例如，位姿204)来确定是否流式传输由第一计算设备记录的内容。在一些实施方案中，第一计算设备还将参考时间编码在清单中，该参考时间可由第二计算设备连同与由一个或多个附加计算设备记录的内容相关联的参考时间一起用于将由第一计算设备记录的内容和由一个或多个附加计算设备记录的内容修补在一起以呈现对应环境。

在一些实施方案中，方法500还包括：向第二计算设备可访问的用于流式传输所记录的内容的存储装置(例如，存储装置120)提供所记录的内容的片段(例如，片段124)和清单。在一些实施方案中，清单是可用于经由基于HTTP的活动图像专家组动态自适应流式传输(MPEG-DASH)将所记录的内容流式传输到第二计算设备的媒体呈现描述(MPD)。在一些实施方案中，清单是可用于经由HTTP实况流式传输(HLS)将所记录的内容流式传输到第二计算设备的一个或多个.m3u8文件。

现在转向图5B，描绘了方法530的流程图。方法530是可由呈现编码的内容的计算设备(诸如使用流式传输应用132的呈现设备130)执行的方法的一个实施方案。在许多情况下，方法530的执行可允许用户访问所呈现内容以具有更好的用户体验。

在步骤535中，计算设备基于由物理环境内的多个记录设备记录的物理环境的内容(例如，内容118)来呈现对应环境。在一些实施方案中，对应环境是扩展现实(XR)环境。

在步骤540中，作为呈现对应环境的一部分，计算设备下载清单(例如，清单122)，该清单标识多个记录设备中的第一记录设备在记录物理环境的内容时的位置(例如，位置114)。在各种实施方案中，计算设备还读取所下载的清单中所包括的位姿信息，该位姿信息标识第一记录设备在记录物理环境的内容时的位姿(例如，位姿116)。在各种实施方案中，计算设备还读取在所下载的清单中所包括的参考时间(例如，参考时间332)，该参考时间标识内容何时被第一记录设备记录。

在步骤545中，计算设备基于所标识的位置和用户在对应环境内观看内容的位置(例如，位置202)来确定流式传输由第一记录设备记录的内容。在各种实施方案中，计算设备还基于所标识的位姿和在用户在对应环境内观看内容时的计算设备的位姿(例如，位姿204)来确定流式传输由第一记录设备记录的内容。在一个实施方案中，计算设备是头戴式显示器(HMD)，并且计算设备的位姿对应于用户头部的取向。在一些实施方案中，计算设备通过基于参考时间和与由一个或多个其他记录设备记录的内容相关联的参考时间将由第一记录设备记录的内容和由多个记录设备中的一个或多个其他记录设备记录的内容修补在一起来创建对应环境的视图(例如，XR视图436)。

在一些实施方案中，方法530还包括：从用户接收更改用户在XR环境内观看内容的位置的输入(例如，经由用户输入设备410)。在这种实施方案中，响应于所更改的位置，计算设备确定中止流式传输由第一记录设备记录的内容，并且基于所标识的多个记录设备中的第二记录设备的位置，确定流式传输由第二记录设备记录的内容。在一些实施方案中，计算设备预测(例如，使用内容预测器430)用户可能在对应环境内观看内容的未来位置，并且基于所预测的位置，确定流式传输由多个记录设备中的一个或多个记录设备记录的内容。在各种实施方案中，计算设备从多个记录设备可访问以用于存储所记录的物理环境的内容的清单和对应片段(例如，片段124)的存储装置(例如，存储装置120)流式传输所记录的内容。在一些实施方案中，清单是媒体呈现描述(MPD)或.m3u8文件。

现在转向图5C，描绘了方法560的流程图。方法560是可由便于编码的内容的流式传输的计算系统(诸如存储装置120)执行的方法的一个实施方案。在许多情况下，方法560的执行可允许用户访问所呈现内容以具有更好的用户体验。

在步骤565中，计算系统从第一计算设备(例如，呈现设备130)接收对由物理环境的多个计算设备(例如，相机110)记录的内容(例如，编码的内容118)进行流式传输的请求(例如，流式传输请求432)。在各种实施方案中，第一计算设备被配置为基于所流式传输的内容来呈现对应环境。在一些实施方案中，第一计算设备和第二计算设备是头戴式显示器。在一些实施方案中，对应环境是扩展现实(XR)环境。

在步骤570中，计算系统响应于请求提供可用于流式传输由多个计算设备中的第二计算设备记录的内容的清单(例如，清单122)，该清单包括标识第二计算设备在物理环境(例如，对应于空间100)内的位置(例如，位置114)的位置信息。

在步骤575中，计算系统接收请求(例如，片段请求434)以提供基于所标识的位置和第一计算设备的用户在对应环境内查看内容的位置(例如，位置202)而选择的所记录的内容的片段(例如，片段124)。在一些实施方案中，清单包括由第二计算设备使用视觉惯性测程(例如，由位姿传感器320所采用)确定并且标识第二计算设备在记录内容时的位姿(例如，位姿116)的位姿信息，并且位姿信息可由第一计算设备用于基于第二计算设备的位姿和第一计算设备在呈现对应环境时的位姿(例如，位姿204)来选择片段。在一些实施方案中，清单包括内容何时由第二计算设备记录的参考时间(例如，参考时间332)，并且参考时间可由第一计算设备连同与由多个计算设备中的一个或多个其他计算设备记录的内容相关联的参考时间一起用于将来自由第二计算设备记录的内容和由一个或多个其他计算设备记录的内容的对应环境的视图(例如，XR视图435)修补在一起。

在步骤580中，计算系统将所选择的片段提供给第一计算设备。

现在转向图6，描绘了呈现设备130和相机110内的部件的框图。在一些实施方案中，呈现设备130是头戴式显示器(HMD)，该HMD被配置为佩戴在头部并且向用户显示内容，诸如XR视图436。例如，设备130可以是由用户佩戴的头戴式耳机、头盔、护目镜、眼镜、插入到外壳中的电话等。然而，如上所述，呈现设备130可对应于其他实施方案中的可包括部件604-650中的一个或多个部件的其他设备。在例示的实施方案中，设备130包括环境传感器604、用户传感器606、显示系统610、控制器620、存储器630、安全元件640和网络接口650。如图所示，相机110(或者在一些实施方案中的存储装置120)包括控制器660、存储器670和网络接口680。在一些实施方案中，设备130和相机110可与所示出的设备和相机不同地实现。例如，设备130和/或相机110可包括多个网络接口650，设备130可不包括安全元件640，相机110可包括安全元件640等。

在各种实施方案中，环境传感器604是被配置为收集关于用户佩戴设备130的环境的各种信息并且可用于创建所记录的内容118的传感器。在一些实施方案中，环境传感器604可包括捕获用户环境的视频信息的一个或多个可见光相机。该信息还可例如用于提供真实环境的XR视图436，检测环境中的对象和表面，提供真实环境中的对象和表面的深度信息，提供真实环境中的用户的位置(例如，位置和取向)和运动(例如，方向和速度)信息等。在一些实施方案中，设备130可包括位于设备130的前表面上的基本上在用户眼睛的每只眼睛的前面的位置处的左相机和右相机。在其他实施方案中，更多或更少的相机可用于设备130中并且可定位在其他位置处。在一些实施方案中，环境传感器604可包括例如捕获用户环境中的对象和表面的深度信息或范围信息的一个或多个世界标测传感器(例如，具有IR照明源的红外(IR)传感器或光检测和测距(LIDAR)发射器和接收器/检测器)。该范围信息可例如与由相机捕获的帧结合使用，以检测和识别真实世界环境中的对象和表面，并且确定对象和表面相对于用户的当前位置和运动的位置、距离和速度。该范围信息还可用于将待合成为XR环境的真实世界对象的虚拟表示定位在正确的深度处。在一些实施方案中，该范围信息可用于检测与真实世界对象和表面碰撞以重定向用户步行的可能性。在一些实施方案中，环境传感器604可包括捕获用户的物理环境中的照明信息(例如，方向、颜色和强度)的一个或多个光传感器(例如，在设备130的前部和顶部上)。例如，该信息可用于更改设备130中的显示系统的亮度和/或颜色。

在各种实施方案中，用户传感器606是被配置为收集关于佩戴设备130的用户的各种信息的传感器，并且可用于产生编码的内容118。在一些实施方案中，用户传感器606可包括一个或多个头部位姿传感器(例如，IR或RGB相机)，该传感器可捕获关于用户和/或用户的头部的位置和/或运动的信息。由头部姿势传感器收集的信息可例如用于确定如何渲染和显示XR环境的视图436和视图内的内容。例如，环境的不同视图436可至少部分地基于用户头部的位置、用户当前是否正穿行于环境中等等来渲染。又如，增强的位置和/或运动信息可用于相对于环境的背景视图将虚拟内容合成到固定位置中的场景中。在一些实施方案中，可存在位于设备130的前表面或顶表面上的两个头部位姿传感器；然而，在其他实施方案中，可更多(或更少)头部位姿传感器被使用并且可被定位在其他位置处。在一些实施方案中，用户传感器606可包括可用于跟踪用户的眼睛的位置和移动的一个或多个眼睛跟踪传感器(例如，具有IR照明源的IR相机)。在一些实施方案中，由眼睛跟踪传感器收集的信息可用于调整要显示的图像的渲染，并且/或者可用于基于用户眼睛注视的方向和角度来调整通过设备130的显示系统进行的图像的显示。在一些实施方案中，由眼睛跟踪传感器收集的信息可用于将用户的化身的眼睛的方向与用户的眼睛的方向匹配。在一些实施方案中，可基于由眼睛跟踪传感器确定的用户瞳孔扩张来调节所显示的图像的亮度。在一些实施方案中，用户传感器606可包括跟踪用户的眉毛/前额的表情的一个或多个眉毛传感器(例如，具有IR照明的IR相机)。在一些实施方案中，用户传感器606可包括跟踪用户的口部/颌部的表情的一个或多个下颌跟踪传感器(例如，具有IR照明的IR相机)。例如，在一些实施方案中，由传感器606捕获的额头、口部、颌部和眼睛的表情可用于模拟共同在场体验中用户的化身上的表情，并且/或者可用于至少部分地基于用户对设备130显示的内容的反应来选择性地渲染和合成用于查看的虚拟内容。在一些实施方案中，用户传感器606可包括跟踪用户的手部、手指和/或臂部的位置、移动和姿态的一个或多个手部传感器(例如，具有IR照明的IR相机)。例如，在一些实施方案中，用户的手部、手指和/或臂部的检测到的位置、移动和姿态可用于模拟用户的化身的手部、手指和/或臂部在共同在场体验中的移动。作为另一示例，用户的检测到的手部和手指姿态可用于确定用户与虚拟空间中的虚拟内容的交互，包括但不限于操纵虚拟对象的姿态，与虚拟空间中显示的虚拟用户界面元素交互的姿态等。

在一些实施方案中，环境传感器404和/或用户传感器606可用于实现元件310-350和/或410-420中的一个或多个元件。

在各种实施方案中，显示系统610被配置为向用户显示所渲染的帧。显示器610可实现各种类型的显示技术中的任一者。例如，如上文所讨论，显示系统610可包括近眼显示器，该近眼显示器呈现左图像和右图像以创建三维视图602的效果。在一些实施方案中，近眼显示器可使用数字光处理(DLP)、液晶显示器(LCD)、硅基液晶(LCoS)或发光二极管(LED)。作为另一示例，显示系统610可包括直接视网膜投影仪，该直接视网膜投影仪经由反射表面(例如，反射眼镜镜片)将包括左图像和右图像的帧逐像素地直接扫描到用户的眼睛。为了在视图602中创建三维效果，在两个图像中的不同深度或距离处的对象作为距离的三角测量的函数向左或向右移位，其中较近的对象比较远的对象移位得多。显示系统610可支持任何介质，诸如光学波导、全息图媒介、光学组合器、光学反射器，或它们的任意组合。在一些实施方案中，显示系统610可以是透明或半透明的，并且被配置为选择性地变得不透明。在一些实施方案中，显示系统610可实现上文所讨论的显示器440。

在各种实施方案中，控制器620包括被配置为促进设备130的操作的电路。因此，控制器620可包括被配置为执行程序指令(诸如流式传输应用132)的一个或多个处理器，以使设备130执行本文所述的各种操作。这些处理器可以是被配置为实现任何合适的指令集架构的CPU，并且可被配置为执行在该指令集架构中定义的指令。例如，在各种实施方案中，控制器620可包括实现多种指令集架构(ISA)(诸如ARM、x86、PowerPC、SPARC、RISC或MIPS ISA或任何其他合适的ISA)中的任何指令集架构的通用处理器或嵌入式处理器。在多处理器系统中，每个处理器可共同实现相同的ISA，但不是必需的。控制器620可采用任何微架构，包括标量、超标量、流水线、超流水线、乱序、有序、推测性、非推测性等，或它们的组合。控制器620可包括实现微码技术的电路。控制器620可包括一个或多个级别的高速缓存，该高速缓存可采用任何大小和任何配置(集合关联、直接映射等)。在一些实施方案中，控制器620可至少包括GPU，该GPU可包括任何合适的图形处理电路。通常，GPU可被配置为将待显示对象渲染到帧缓冲区中(例如，包括整个帧的像素数据的帧缓冲区)。GPU可包括一个或多个图形处理器，该图形处理器可执行图形软件以进行部分或全部的图形操作或某些图形操作的硬件加速。在一些实施方案中，控制器620可包括用于处理和渲染视频和/或图像的一个或多个其他部件，例如图像信号处理器(ISP)、编码器/解码器(编解码器)等。在一些实施方案中，控制器620可实现为片上系统(SOC)。

在各种实施方案中，存储器630是非暂态计算机可读介质，该非暂态计算机可读介质被配置为存储由控制器620中的处理器执行的数据和程序指令(诸如流式传输应用132)。存储器630可包括任何类型的易失性存储器，诸如动态随机存取存储器(DRAM)、同步DRAM(SDRAM)、双数据速率(DDR、DDR2、DDR3等)SDRAM(包括SDRAM的移动版本，诸如mDDR3等，或SDRAM的低功率版本，诸如LPDDR2等)、RAMBUS DRAM(RDRAM)、静态RAM(SRAM)等。存储器630还可以是任何类型的非易失性存储器，诸如NAND闪存存储器、NOR闪存存储器、纳米RAM(NRAM)、磁阻RAM(MRAM)、相变RAM(PRAM)、赛道存储器、忆阻器存储器。在一些实施方案中，一个或多个存储器设备可耦接到电路板上以形成存储器模块，诸如单列直插存储器模块(SIMM)、双列直插存储器模块(DIMM)等。另选地，这些设备可与实现系统的集成电路在芯片堆叠构造、封装堆叠构造或多芯片模块构造中安装。

在各种实施方案中，安全元件(SE)640是被配置为对设备130执行各种安全操作的安全电路。如本文所用，术语“安全电路”是指保护经隔离的内部资源使其不被外部电路诸如控制器620直接访问的电路。该内部资源可以是存储敏感数据诸如个人信息(例如，生物识别信息、信用卡信息等)、加密密钥、随机数生成器种子等的存储器。该内部资源还可以是执行与敏感数据相关联的服务/操作(诸如加密、解密、数字签名的生成等)的电路。例如，SE640可维护用于加密存储在存储器630中的数据的一个或多个密码密钥，以便提高设备130的安全性。作为另一示例，安全元件640还可维护一个或多个密码密钥以建立相机110、存储装置120等之间的安全连接、认证设备130或设备130的用户等。作为又另一示例，SE 640可维护用户的生物识别数据，并且被配置为通过将所维护的生物识别数据与由用户传感器606中的一个或多个用户传感器收集的生物识别数据进行比较来执行生物识别认证。如本文所用，“生物识别数据”是指基于用户的物理或行为特性在其他人中间唯一地标识用户(至少达到高精确度)的数据，诸如指纹数据、语音识别数据、面部数据、虹膜扫描数据等。

在各种实施方案中，网络接口650包括被配置为与外部实体诸如存储装置120和/或相机110通信的一个或多个接口。网络接口650可支持任何合适的无线技术，诸如

长期演进^TM等，或任何合适的有线技术，诸如以太网、光纤信道、通用串行总线^TM(USB)等。在一些实施方案中，接口650可实现提供高度定向无线连接的专有无线通信技术(例如，60千兆赫(GHz)无线技术)。在一些实施方案中，设备130可基于接口的连接性以及由设备130递送的特定用户体验来在不同的可用网络接口之间进行选择。例如，如果特定用户体验需要大量带宽，则设备130可在进行无线通信以流式传输更高质量的内容时选择支持专有无线技术的无线电部件。然而，如果用户仅仅是较低质量电影，则/>

可能是足够的并且由设备130来选择。在一些实施方案中，在例如带宽有限的情况下，设备130可使用压缩来进行通信。

在各种实施方案中，控制器660包括被配置为促进设备130的操作的电路。控制器660可实现上文相对于控制器620所述的功能中的任一者。例如，控制器660可包括一个或多个处理器，这些处理器被配置为执行程序指令以使相机110执行本文所述的各种操作，诸如执行编码器112以编码记录的内容118。

在各种实施方案中，存储器670被配置为存储由控制器660中的处理器执行的数据和程序指令。存储器670可包括任何合适的易失性存储器和/或非易失性存储器，诸如上文关于存储器630所述的那些。存储器670可以任何合适的配置来实现，诸如上文关于存储器630所述的那些配置。

在各种实施方案中，网络接口680包括被配置为与外部实体诸如设备130以及存储装置120通信的一个或多个接口。网络接口680还可实现任何合适的技术，诸如上文相对于网络接口650所述的那些技术。

***

尽管上文已经描述了具体实施方案，但这些实施方案并非要限制本公开的范围，即使仅相对于特定特征描述单个实施方案的情况下也是如此。本公开中提供的特征示例意在进行例示，而非限制，除非做出不同表述。上述说明书意在涵盖此类替代形式、修改形式和等价形式，这对知晓本公开有效效果的本领域技术人员将是显而易见的。

本公开的范围包括本文(明确或暗示)公开的任意特征或特征的组合或其任意概括，而无论其是否减轻本文解决的任何或所有问题。因此，在本专利申请(或要求享有其优先权的专利申请)进行期间可针对特征的任何此类组合作出新的权利要求。具体地，参考所附权利要求书，可将从属权利要求的特征与独立权利要求的特征进行组合，并可通过任何适当的方式而不是仅通过所附权利要求书中所列举的特定组合来组合来自相应独立权利要求的特征。

Claims (20)

1.一种具有存储于其中的程序指令的非暂态计算机可读介质，所述程序指令能够由第一计算设备执行以使得所述第一计算设备执行包括以下项的操作：

记录所述第一计算设备所在的物理环境的内容，其中所述内容能够递送给第二计算设备，所述第二计算设备被配置为基于所记录的内容和由一个或多个附加计算设备记录的内容来呈现对应环境；

确定所述第一计算设备在所述物理环境内的位置；以及

将所述位置编码在能够用于将由所述第一计算设备记录的所述内容流式传输到所述第二计算设备的清单中，其中所编码的位置能够由所述第二计算设备用于确定是否流式传输由所述第一计算设备记录的所述内容。

2.根据权利要求1所述的计算机可读介质，其中以允许所述第二计算设备相对于所述第二计算设备的用户在所述对应环境内观看内容的位置来确定所述第一计算设备记录所述内容的位置的方式来编码所述位置。

3.根据权利要求1所述的计算机可读介质，其中所述操作还包括：

确定所述第一计算设备在记录所述内容时的位姿；以及

将所述位姿编码在所述清单中，其中所编码的位姿能够由所述第二计算设备用于基于所述第二计算设备在呈现所述对应环境时的位姿来确定是否流式传输由所述第一计算设备记录的所述内容。

4.根据权利要求1所述的计算机可读介质，其中所述操作还包括：

确定所述内容何时被所述第一计算设备记录的参考时间；以及

将所述参考时间编码在所述清单中，其中所述参考时间能够由所述第二计算设备连同与由所述一个或多个附加计算设备记录的所述内容相关联的参考时间一起用于将由所述第一计算设备记录的所述内容和由所述一个或多个附加计算设备记录的内容修补在一起以呈现所述对应环境。

5.根据权利要求1所述的计算机可读介质，其中所述操作还包括：

向所述第二计算设备能够访问以用于流式传输所记录的内容的存储装置提供所记录的内容的片段和所述清单。

6.根据权利要求1所述的计算机可读介质，其中所述清单是能够用于经由基于HTTP的活动图像专家组动态自适应流式传输(MPEG-DASH)将所记录的内容流式传输到所述第二计算设备的媒体呈现描述(MPD)。

7.根据权利要求1所述的计算机可读介质，其中所述清单是能够用于经由HTTP实况流式传输(HLS)将所记录的内容流式传输到所述第二计算设备的一个或多个.m3u8文件。

8.根据权利要求1所述的计算机可读介质，其中所述第一计算设备是头戴式显示器(HMD)，所述HMD被配置为使用所述HMD中所包括的一个或多个前向相机来记录所述内容，并且其中所述对应环境是扩展现实(XR)环境。

9.一种具有存储在其中的程序指令的非暂态计算机可读介质，所述程序指令能够由计算设备执行以使所述计算设备执行包括以下项的操作：

基于由物理环境内的多个记录设备记录的所述物理环境的内容来呈现对应环境，其中呈现所述对应环境包括：

下载标识所述多个记录设备中的第一记录设备在记录所述物理环境的内容时的位置的清单；以及

基于所标识的位置和用户在所述对应环境内观看内容的位置来确定流式传输由所述第一记录设备记录的所述内容。

10.根据权利要求9所述的计算机可读介质，其中呈现所述对应环境包括：

从所述用户接收更改所述用户在所述对应环境内观看内容的所述位置的输入；

响应于所更改的位置：

确定中止流式传输由所述第一记录设备记录的所述内容；以及

基于所述多个记录设备中的第二记录设备的所标识的位置来确定流式传输由所述第二记录设备记录的内容。

11.根据权利要求10所述的计算机可读介质，其中呈现所述对应环境包括：

预测所述用户可能在所述对应环境内观看内容的未来位置；以及

基于所预测的位置来确定流式传输由所述多个记录设备中的一个或多个记录设备记录的内容。

12.根据权利要求9所述的计算机可读介质，其中呈现所述对应环境包括：

读取所下载的清单中所包括的位姿信息，其中所述位姿信息标识所述第一记录设备在记录所述物理环境的内容时的位姿；以及

基于所标识的位姿和所述计算设备在用户在所述对应环境内观看内容时的位姿来确定流式传输由所述第一记录设备记录的所述内容。

13.根据权利要求9所述的计算机可读介质，其中所述计算设备是头戴式显示器(HMD)，其中所述计算设备的所述位姿对应于所述用户的头部的取向，并且其中所述对应环境是扩展现实(XR)环境。

14.根据权利要求9所述的计算机可读介质，其中呈现所述对应环境包括：

读取所下载的清单中所包括的参考时间，其中所述参考时间标识所述内容何时被所述第一记录设备记录；以及

通过基于所述参考时间和与由所述一个或多个其他记录设备记录的所述内容相关联的参考时间将由所述第一记录设备记录的所述内容和由所述多个记录设备中的所述一个或多个其他记录设备记录的所述内容修补在一起来创建所述对应环境的视图。

15.根据权利要求9所述的计算机可读介质，其中呈现所述对应环境包括：

从所述多个记录设备能够访问以用于存储清单和所述物理环境的所记录的内容的对应片段的存储装置流式传输所记录的内容。

16.根据权利要求15所述的计算机可读介质，其中所述清单是媒体呈现描述(MPD)或.m3u8文件。

17.一种方法，包括：

由计算系统从第一计算设备接收流式传输由物理环境的多个计算设备记录的内容的请求，其中所述第一计算设备被配置为基于所流式传输的内容来呈现对应环境；

响应于所述请求，由所述计算系统提供能够用于流式传输由所述多个计算设备中的第二计算设备记录的内容的清单，其中所述清单包括标识所述第二计算设备在所述物理环境内的位置的位置信息；

由所述计算系统接收提供基于所标识的位置和所述第一计算设备的用户在所述对应环境内观看内容的位置而选择的所记录的内容的片段的请求；以及

由所述计算系统将所选择的片段提供给所述第一计算设备。

18.根据权利要求17所述的方法，其中所述清单包括位姿信息，所述位姿信息是由所述第二计算设备使用视觉惯性测程确定的并且标识所述第二计算设备在记录所述内容时的位姿；并且

其中所述位姿信息能够由所述第一计算设备用于基于所述第二计算设备的所述位姿和所述第一计算设备在呈现所述对应环境时的位姿来选择所述片段。

19.根据权利要求17所述的方法，其中所述清单包括所述内容何时被所述第二计算设备记录的参考时间；并且

其中所述参考时间能够由所述第一计算设备连同与由所述多个计算设备中的一个或多个其他计算设备记录的所述内容相关联的参考时间用于将来自由所述第二计算设备记录的所述内容和由所述一个或多个其他计算设备记录的所述内容的所述对应环境的视图修补在一起。

20.根据权利要求17所述的方法，其中所述第一计算设备和所述第二计算设备是头戴式显示器，并且其中所述对应环境是扩展现实(XR)环境。

Images