CN113424549A - 用于利用多个细节级别和自由度的自适应空间内容流传输的系统和方法 - Google Patents

Abstract

本发明公开的示例性方法的一些实施方案可包括：接收用于流传输内容的清单文件，该清单文件识别内容的一个或多个自由度表示；跟踪可用带宽；基于该可用带宽，从该一个或多个自由度表示中选择选定的表示；检索该选定的表示；以及渲染该选定的表示。该示例性方法的一些实施方案可包括确定该一个或多个自由度表示的估计的下载延迟。该示例性方法的一些实施方案可包括跟踪客户端能力。对于该示例性方法的一些实施方案，选择该选定的表示可基于估计的下载延迟和/或该客户端能力。

Description

用于利用多个细节级别和自由度的自适应空间内容流传输的 系统和方法

相关申请的交叉引用

本申请是2019年1月24日提交的名称为“SYSTEM AND METHOD FOR ADAPTIVESPATIAL CONTENT STREAMING WITH MULTIPLE LEVELS OF DETAIL AND DEGREES OFFREEDOM”的美国临时专利申请序列号62/796,406的非临时申请，并且根据35 U.S.C.§119(e)要求该美国临时专利申请和2019年7月9日提交的名称为“SYSTEM AND METHOD FORBALANCING DOWNLOADS IN SPATIAL DATA STREAMING”的美国临时专利申请序列号62/871,942的权益，这些临时专利申请中的每个临时专利申请据此全文以引用方式并入本文。

背景技术

MPEG-DASH协议通过关注视频内容来解决流媒体分发带宽的动态变化。一些先前的自适应空间内容流传输系统关注单个空间内容类型，诸如多边形网格格式的3D数据。一些系统调整以适应客户端处的带宽限制和计算性能。

与流传输数据实质上总是图像帧序列的视频内容相反，在内容如何组织和旨在用于最终在客户端侧处产生发送到显示器的图像方面，空间数据可具有大得多的可变性。不同的内容格式在内容质量、存储器消耗和允许的导航自由度方面具有不同的特征和变化。此外，在一些情况下，一些空间内容格式可能需要在内容渲染开始之前下载大量内容资产。

发明内容

根据一些实施方案的示例性方法可包括：接收用于流传输内容的清单文件，该清单文件识别内容的一个或多个自由度表示；跟踪可用带宽；基于该可用带宽，从该一个或多个自由度表示中选择选定的表示；检索该选定的表示；以及渲染该选定的表示。

对于一些实施方案，该示例性方法还可包括：确定该一个或多个自由度表示的估计的下载延迟；响应于估计的下载延迟，从该一个或多个自由度表示中选择第二表示；检索第二表示；以及渲染第二表示。

对于一些实施方案，该示例性方法还可包括：确定该一个或多个自由度表示的估计的下载延迟；响应于估计的下载延迟，从该一个或多个自由度表示中选择第二表示；检索第二表示的初始下载数据；请求第二表示的流片段；以及显示构成完整的空间数据场景视图的所检索的初始下载数据和流片段。

对于该示例性方法的一些实施方案，该一个或多个自由度表示可包括内容的0DoF表示、3DoF表示、3DoF+表示和6DoF表示。

对于该示例性方法的一些实施方案，可进一步基于客户端能力和客户端运动范围中的至少一者来选择选定的表示。

对于一些实施方案，根据一些实施方案的示例性方法还可包括：跟踪客户端的运动范围；检测客户端的运动范围的变化；以及响应于检测到客户端的运动范围的变化，从该一个或多个自由度表示中选择另一个表示。

对于一些实施方案，根据一些实施方案的示例性方法还可包括：跟踪客户端能力；检测客户端能力的变化；以及响应于检测到客户端能力的变化，从该一个或多个自由度表示中选择另一个表示。

对于一些实施方案，根据一些实施方案的示例性方法还可包括：检测可用带宽的变化；响应于检测到可用带宽的变化，从该一个或多个自由度表示中选择附加的表示；检索该附加的表示；以及渲染该附加的表示。

对于该示例性方法的一些实施方案，选择选定的表示可包括：为该一个或多个自由度表示中的每个自由度表示确定相应的最小带宽；以及从该一个或多个自由度表示中选择与可用的最高细节级别相关联的选定的表示，使得相应的最小带宽小于所跟踪的可用带宽。

对于该示例性方法的一些实施方案，选择选定的表示可包括：为多个内容元素中的一个或多个内容元素确定相应的启动延时；确定所确定的相应启动延时中的最小启动延时；以及选择对应于该最小启动延时的自由度表示。

对于一些实施方案，根据一些实施方案的示例性方法还可包括：确定选定的表示的体验质量(QoE)度量小于阈值；以及响应于确定选定的表示的QoE度量小于阈值，从该一个或多个自由度表示中选择又一个表示。

对于该示例性方法的一些实施方案，QoE度量可以是选自由网络性能、处理性能、客户端计算性能和会话条件组成的组的度量。

对于一些实施方案，根据一些实施方案的示例性方法还可包括：基于用户的视点，从用于选定的自由度表示的一个或多个细节级别表示中选择细节级别表示，其中选定的自由度表示包括该一个或多个细节级别表示。

对于一些实施方案，根据一些实施方案的示例性方法还可包括：将用户的视点限制为用户的观看区域，其中清单文件包括用户的观看区域。

对于一些实施方案，根据一些实施方案的示例性方法还可包括：确定用于处理选定的自由度表示的可用处理能力；以及基于可用处理能力，从用于选定的自由度表示的一个或多个细节级别表示中选择细节级别表示，其中选定的自由度表示包括选定的细节级别表示。

对于一些实施方案，客户端的能力可包括以下中的一者或多者：分辨率、显示大小、像素大小、支持的维度数量、支持的自由度、支持的细节级别、支持的带宽、处理能力、处理性能、启动延时、延迟延时、图像质量和支持的空间内容类型。

对于一些实施方案，清单文件可包括媒体呈现描述(MPD)文件。

根据一些实施方案的示例性装置可包括：处理器；和存储指令的非暂态计算机可读介质，这些指令在由该处理器执行时可操作以使得该装置执行示例性方法的任何实施方案。

根据一些实施方案的示例性方法可包括：在客户端设备处，接收描述内容的多个有序自由度表示的清单文件；在该客户端设备处，估计可用于将该内容流传输到该客户端设备的带宽；在该客户端设备处，从该多个有序自由度表示中选择第一自由度表示；在该客户端设备处，检测可用于流传输该内容的带宽的变化；响应于检测到可用带宽的变化，在该客户端设备处，从该多个有序自由度表示中选择第二自由度表示；以及请求该第二自由度表示。

根据一些实施方案的示例性装置可包括：处理器；和存储指令的非暂态计算机可读介质，这些指令在由该处理器执行时可操作以执行上文列出的示例性方法。

在示例性方法的一些实施方案中，估计可用于将内容流传输到客户端设备的带宽可包括检测可用于流传输内容的带宽的变化，并且响应于估计可用带宽的变化来选择第二自由度表示可包括响应于检测到可用于流传输内容的带宽的变化来选择第二自由度表示。

在示例性方法的一些实施方案中，清单文件包括媒体呈现描述(MPD)文件。

在示例性方法的一些实施方案中，该多个自由度表示可包括内容的0DoF表示、3DoF表示、3DoF+表示和6DoF表示。

在示例性方法的一些实施方案中，可用带宽的变化可被估计为减小，并且第二自由度表示可包括较低自由度。

在示例性方法的一些实施方案中，可用带宽的变化可被估计为增大，并且第二自由度表示包括较高自由度。

示例性方法的一些实施方案还可包括：确定用于处理第二自由度表示的可用处理能力；以及基于可用处理能力，从用于第二自由度表示的多个细节级别表示中选择细节级别表示，其中第二自由度表示可包括该多个细节级别表示。

在示例性方法的一些实施方案中，可用处理能力可包括选自由局部渲染能力和视图内插能力组成的组的至少一个参数。

示例性方法的一些实施方案还可包括：跟踪客户端的运动范围；以及响应于检测到客户端的运动范围减小，从该多个有序自由度表示中选择第三自由度表示，其中该第三自由度表示的自由度可小于第二自由度表示的自由度。

示例性方法的一些实施方案还可包括为第二自由度表示渲染内容。

示例性方法的一些实施方案还可包括：确定内容的体验质量(QoE)度量；基于该QoE度量，从该多个有序自由度表示中选择第三自由度表示；以及从流传输服务器请求该第三自由度表示。

在示例性方法的一些实施方案中，QoE度量可选自由以下各项组成的组：网络性能、处理性能和会话条件。

示例性方法的一些实施方案还可包括基于QoE度量从用于第三自由度表示的多个细节级别表示中选择细节级别表示，其中第三自由度表示可包括该多个细节级别表示。

示例性方法的一些实施方案还可包括确定用户的视点，其中渲染内容根据用户的视点来渲染内容。

示例性方法的一些实施方案还可包括：基于用户的视点，从多个有序自由度表示中选择第三自由度表示；以及从流传输服务器请求该第三自由度表示。

示例性方法的一些实施方案还可包括基于用户的视点从用于第三自由度表示的多个细节级别表示中选择细节级别表示，其中第三自由度表示可包括该多个细节级别表示。

示例性方法的一些实施方案还可包括将用户的视点限制为用户的观看区域，其中清单文件可包括用户的观看区域。

示例性方法的一些实施方案还可包括将用户的视点限制为用户的观看区域和用户的导航区域的组合，其中清单文件可包括用户的导航区域。

根据一些实施方案的示例性装置可包括：处理器；和存储指令的非暂态计算机可读介质，这些指令在由该处理器执行时可操作以执行包括例如上述观看客户端的客户端设备的任何方法。

根据一些实施方案的另一个示例性方法可包括：在内容服务器例如流传输内容服务器处，接收对描述内容的多个有序自由度表示的清单文件的请求；生成该内容的清单文件；向客户端设备发送该清单文件；从该客户端设备接收对该内容的数据片段的请求；以及向该客户端设备发送该内容的数据片段，其中该多个有序自由度表示中的至少一个自由度表示可包括该内容的至少两个细节级别表示。

在示例性方法的一些实施方案中，对数据片段的请求指示从该多个有序自由度表示中选择的选定的自由度表示，清单文件内的选定的自由度表示包括多个细节级别表示，并且对数据片段的请求指示从该多个细节级别表示中选择的选定的细节级别。

在示例性方法的一些实施方案中，发送到客户端设备的数据片段匹配选定的自由度表示和选定的细节级别表示。

根据一些实施方案的示例性装置可包括：处理器；存储指令的非暂态计算机可读介质，这些指令在由处理器执行时可操作以执行上述的内容服务器的任何方法。

根据一些实施方案的示例性方法可包括：接收场景的空间数据；生成该空间数据的有序细节级别(LoD)版本；生成该空间数据的有序自由度(DoF)版本；生成该场景的媒体呈现描述(MPD)；响应于从观看客户端接收到内容请求，向该观看客户端发送该MPD；以及向该观看客户端传输用于内容请求的数据元素。

根据一些实施方案的示例性装置可包括：处理器；存储指令的非暂态计算机可读介质，这些指令在由处理器执行时可操作以执行包括以下操作的方法：接收场景的空间数据；生成该空间数据的有序细节级别(LoD)版本；生成该空间数据的有序自由度(DoF)版本；生成该场景的媒体呈现描述(MPD)；响应于从观看客户端接收到内容请求，向该观看客户端发送该MPD；以及向该观看客户端传输用于内容请求的数据元素。

根据一些实施方案的示例性方法可包括：从内容服务器请求场景的内容；收集关于特定于会话的观看条件的信息；从该内容服务器接收用于该场景的媒体呈现描述(MPD)；选择视点作为该场景的初始视点；使用特定于应用的初始要求来请求该场景的一组初始内容片段；将一组当前内容片段设置为该组初始内容片段；以及连续重复内容请求和显示过程，直到接收到会话终止，该内容请求和显示过程包括：显示该组当前内容片段；响应于处理场景逻辑和用户反馈输入，更新该场景的视点；确定体验质量(QoE)度量；更新适应于该QoE度量的LoD级别和DoF级别；更新适应于该QoE度量的LoD级别和DoF级别；请求该场景的与所更新的LoD级别和DoF级别匹配的一组更新的内容片段；以及将该组当前内容片段设置为该组更新的内容片段。

在示例性方法的一些实施方案中，特定于应用的初始要求包括LoD和DoF的初始级别。

根据一些实施方案的示例性装置可包括：处理器；存储指令的非暂态计算机可读介质，这些指令在由该处理器执行时可操作以执行包括以下操作的方法：从内容服务器请求场景的内容；收集关于特定于会话的观看条件的信息；从该内容服务器接收用于该场景的媒体呈现描述(MPD)；选择视点作为该场景的初始视点；使用特定于应用的初始要求来请求该场景的一组初始内容片段；将一组当前内容片段设置为该组初始内容片段；以及连续重复内容请求和显示过程，直到接收到会话终止，该内容请求和显示过程包括：显示该组当前内容片段；响应于处理场景逻辑和用户反馈输入，更新该场景的视点；确定体验质量(QoE)度量；更新适应于该QoE度量的LoD级别和DoF级别；更新适应于该QoE度量的LoD级别和DoF级别；请求该场景的与所更新的LoD级别和DoF级别匹配的一组更新的内容片段；以及将该组当前内容片段设置为该组更新的内容片段。

根据一些实施方案的另一个示例性方法可包括：接收描述用于内容的有序适应集的清单文件；估计可用于将内容流传输到观看客户端的带宽；基于所估计的可用带宽来选择初始适应集；响应于估计可用带宽的变化，从清单文件中描述的有序适应集中选择更新的适应集；请求用于更新的适应集的内容流；接收用于更新的适应集的内容流；以及显示用于更新的适应集的内容流。

另一种示例性方法的一些实施方案还可包括：测量体验质量(QoE)度量；基于该QoE度量来更新适应集；以及基于估计的带宽和QoE度量来选择对应于更新的适应集的表示内容类型。

根据一些实施方案的另一种示例性装置可包括：处理器，和存储指令的非暂态计算机可读介质，这些指令在由处理器执行时可操作以执行包括以下操作的方法：从服务器请求空间内容；接收清单文件，该清单文件描述空间内容的部分的多个内容元素表示，该多个内容元素表示具有用于对应的多个内容元素的关联初始下载和流传输规范；确定可用于流传输的估计的带宽和估计的下载延迟；响应于估计的下载延迟，从该多个内容元素表示中选择内容元素表示；请求选定的内容元素表示的初始下载数据；接收初始下载数据；请求选定的内容元素表示的流片段；以及显示构成完整的空间数据场景视图的所接收的初始下载数据和流片段。

根据一些实施方案的另一个示例性方法可包括：从服务器请求空间内容；接收清单文件，该清单文件描述空间内容的部分的多个内容元素表示，该多个内容元素表示具有用于对应的多个内容元素的关联初始下载和流传输规范；确定可用于流传输的估计的带宽和下载延迟；响应于估计的下载延迟，从该多个内容元素表示中选择选定的内容元素表示；请求选定的内容元素表示的初始下载数据；接收初始下载数据；请求选定的内容元素表示的流片段；以及显示构成完整的空间数据场景视图的所接收的初始下载数据和流片段。

根据一些实施方案的另一个示例性装置可包括：处理器；和存储指令的非暂态计算机可读介质，这些指令在由处理器执行时可操作以执行包括以下操作的方法：从服务器请求空间内容；接收清单文件，该清单文件描述空间内容的部分的多个内容元素表示，该多个内容元素表示具有用于对应的多个内容元素的关联初始下载和流传输规范；确定可用于流传输的估计的带宽和估计的下载延迟；响应于估计的下载延迟，从该多个内容元素表示中选择内容元素表示；请求选定的内容元素表示的初始下载数据；接收初始下载数据；请求选定的内容元素表示的流片段；以及显示构成完整的空间数据场景视图的所接收的初始下载数据和流片段。

根据一些实施方案的示例性方法可包括：接收清单文件，该清单文件描述空间场景的部分的多个内容元素表示，该多个内容元素表示具有用于对应的多个内容元素的关联初始下载和流传输规范；确定可用于流传输的估计的带宽和下载延迟；响应于估计的下载延迟，从该多个内容元素表示中选择选定的内容元素表示；检索选定的内容元素表示的初始下载数据；检索选定的内容元素表示的流片段；以及显示所接收的初始下载数据和流片段。

示例性方法的一些实施方案还可包括从服务器请求空间内容。

对于示例性方法的一些实施方案，所接收的初始下载数据和流片段可构成完整的空间数据场景视图。

示例性方法的一些实施方案还可包括：接收关于该多个内容元素中的一个或多个内容元素的时间线信息，其中可基于表示大小、估计的带宽和直到显示内容元素为止的回放持续时间来选择内容元素表示。

对于示例性方法的一些实施方案，可基于表示大小、估计的带宽和直到显示内容元素为止的回放持续时间来选择内容元素表示。

对于示例性方法的一些实施方案，选择内容元素表示可包括：为该多个内容元素表示中的每个内容元素表示确定相应的最小带宽；以及从该多个内容元素表示中选择与可用的最高细节级别相关联的内容元素表示，使得估计的带宽超过相应的最小带宽。

对于示例性方法的一些实施方案，清单文件可包括关于该多个内容元素中的一个或多个内容元素的时间线信息，并且可基于时间线信息选择内容元素表示。

对于示例性方法的一些实施方案，选择内容元素表示可包括：为该多个内容元素中的一个或多个内容元素确定相应的启动延时；确定所确定的相应启动延时中的最小启动延时；以及选择对应于最小启动延时的内容元素表示，其中时间线信息可包括关于该多个内容元素中的一个或多个内容元素的相应启动延时的信息。

示例性方法的一些实施方案还可包括：确定选定的内容元素表示的体验质量(QoE)度量小于阈值；以及从该多个内容元素表示中选择第二内容元素表示。

对于示例性方法的一些实施方案，选择第二内容元素表示可包括确定对应于第二内容元素表示的QoE度量超过最小阈值。

对于示例性方法的一些实施方案，QoE度量可以是选自由网络性能、处理性能、客户端计算性能和会话条件组成的组的度量。

示例性方法的一些实施方案还可包括：检索第二内容元素表示的流片段；以及显示第二内容元素表示的流片段。

根据一些实施方案的示例性装置可包括：处理器；和存储指令的非暂态计算机可读介质，这些指令在由处理器执行时可操作以执行任何示例性方法。

根据一些实施方案的另外的示例性方法可包括：接收清单文件，该清单文件描述：(1)空间场景的部分的多个内容元素表示，其具有用于对应的多个内容元素的关联初始下载和流传输规范，以及(2)关于该多个内容元素中的一个或多个内容元素的时间线信息；确定可用于流传输内容的估计的带宽；基于估计的带宽、初始下载和流传输规范和时间线信息中的至少一者，从该多个内容元素表示中选择内容元素表示；检索选定的内容元素表示的初始下载数据；以及检索选定的内容元素表示的流片段。

另外的示例性方法的一些实施方案还可包括显示所接收的初始下载数据和流片段。

对于另外的示例性方法的一些实施方案，选择内容元素表示可包括：确定与该多个内容元素表示中的一个或多个内容元素表示的初始下载规范相关联的相应延迟时间；以及选择该多个内容元素表示中的一个内容元素表示，其中选定的内容元素表示的延迟时间可小于阈值。

另外的示例性方法的一些实施方案还可包括确定该多个内容元素表示中的每个内容元素表示的相应延迟时间，其中选择内容元素表示使用所确定的相应延迟时间。

另外的示例性方法的一些实施方案还可包括确定选定的内容元素表示的体验质量(QoE)度量；以及基于所确定的QoE度量从该多个内容元素表示中选择第二内容元素表示。

对于另外的示例性方法的一些实施方案，选择第二内容元素表示可包括确定对应于第二内容元素表示的QoE度量超过最小阈值。

对于另外的示例性方法的一些实施方案，QoE度量可以是选自由网络性能、处理性能、客户端计算性能和会话条件组成的组的度量。

根据一些实施方案的另外的示例性装置可包括：处理器；和存储指令的非暂态计算机可读介质，这些指令在由处理器执行时可操作以执行任何另外的示例性方法。

根据一些实施方案的另一个示例性装置可包括：确定多个内容元素表示的相应估计的下载延迟；基于相应估计的下载延迟，从该多个内容元素表示中选择内容元素表示；以及检索选定的内容元素表示的流片段。

根据一些实施方案，由观看客户端执行的将内容流传输动态地适应于具有客户端限制和可用连接能力的观看条件的另一个示例性方法可包括：至少部分地基于关于由内容服务器提供的内容的流清单元数据信息，从由该内容服务器提供的一组可用流中选择内容流，其中该清单文件元数据信息形成媒体呈现描述(MPD)文件的一部分，并且考虑该内容服务器、可用连接和观看客户端的特定能力；以及至少利用清单元数据信息来根据下载、流传输和QoE度量约束将内容流动态地提供到显示器，其中选择内容流还至少部分地基于以下中的至少一者：与观看客户端相关的关于与该内容相关的观看条件的情境信息；相对于观看客户端的可用连接能力的可用带宽；或观看客户端的可用处理资源。

附图说明

图1A是示出根据一些实施方案的示例性通信系统的系统图。

图1B是示出根据一些实施方案的可在图1A所示的通信系统内使用的示例性无线发射/接收单元(WTRU)的系统图。

图2是示出根据一些实施方案的用于观看客户端的一组示例性接口的系统图。

图3是示出根据一些实施方案的用于预处理内容和用于将内容流传输到观看客户端的示例性过程的消息时序图。

图4是示出根据一些实施方案的用于观看客户端基于QoE度量来请求内容的示例性过程的消息时序图。

图5是示出根据一些实施方案的示例性MPEG-DASH媒体呈现描述(MPD)的数据结构图。

图6是示出根据一些实施方案的具有示例性自由度(DoF)和细节级别(LoD)方案的示例性媒体呈现描述(MPD)的数据结构图。

图7是示出根据一些实施方案的示例性虚拟场景环境的示意性透视图。

图8A和图8B是示出根据一些实施方案的用于虚拟场景环境的示例性数据结构的场景图。

图9是示出根据一些实施方案的用于处理观看客户端请求的示例性过程的流程图。

图10是示出根据一些实施方案的用于基于QoE度量来调整内容请求的示例性过程的流程图。

图11是示出根据一些实施方案的多个自适应参数的自由度(DoF)和细节级别(LoD)的示例性关系的曲线图。

图12是示出根据一些实施方案的用于观看客户端流传输来自内容服务器的内容的示例性过程的流程图。

图13是示出根据一些实施方案的用于内容服务器将内容流传输到观看客户端的示例性过程的流程图。

图14是示出根据一些实施方案的示例性视频内容通信的过程图。

图15是示出根据一些实施方案的用于内容服务器-观看客户端网络的一组示例性接口的系统图。

图16是示出根据一些实施方案的用于典型使用会话的通信和处理的示例性过程的消息时序图。

图17是示出根据一些实施方案的用于流传输和显示内容数据的示例性过程的消息时序图。

图18是示出根据一些实施方案的用于产生示例性媒体呈现描述(MPD)的示例性过程的流程图。

图19是示出根据一些实施方案的示例性MPEG-DASH媒体呈现描述(MPD)的数据结构图。

图20是示出根据一些实施方案的视频和对象的示例性时间线的时序图。

图21是示出根据一些实施方案的具有示例性自由度(DoF)和细节级别(LoD)方案的示例性媒体呈现描述(MPD)的数据结构图。

图22是示出根据一些实施方案的示例性内容服务器运行时过程的流程图。

图23A至图23B是示出根据一些实施方案的示例性观看客户端过程的流程图。

图24是示出根据一些实施方案的示例性过程的流程图。

图25是示出根据一些实施方案的另一个示例性过程的流程图。

以举例的方式而非限制的方式呈现了在各个附图中示出并结合各个附图描述的实体、连接、布置等。因此，关于特定附图“描绘”什么、特定附图中的特定元件或实体“是”或者“具有”什么的任何和所有陈述或其他指示，以及可孤立地且在上下文之外被解读为绝对的并且因此是限制性的任何和所有类似状态，可以仅被适当地解读为以建设性的方式加上从句诸如“在至少一个实施方案中，...”。为了简洁和清楚地展示，在详细描述中，这一隐含的前导从句不再重复。

用于实现实施方案的示例性网络

在本文所述的一些实施方案中，无线发射/接收单元(WTRU)可用作例如内容服务器、观看客户端、头戴式显示器(HMD)、虚拟现实(VR)显示设备、混合现实(MR)显示设备和/或增强现实(AR)显示设备。

图1A是示出在其中一个或多个所公开的实施方案可得以实现的示例性通信系统100的示意图。通信系统100可为向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址接入系统。通信系统100可使多个无线用户能够通过系统资源(包括无线带宽)的共享来访问此类内容。例如，通信系统100可采用一个或多个信道接入方法，诸如码分多址接入(CDMA)、时分多址接入(TDMA)、频分多址接入(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZTUW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM、滤波器组多载波(FBMC)等。

如图1A所示，通信系统100可包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/、公共交换电话网(PSTN)108、互联网110和其他网络112，但应当理解，所公开的实施方案设想了任何数量的WTRU、基站、网络和/或网络元件。WTRU 102a、102b、102c、102d中的每一者可以是被配置为在无线环境中操作和/或通信的任何类型的设备。作为示例，WTRU 102a、102b、102c、102d(其中任何一个均可被称为“站”和/或“STA”)可被配置为传输和/或接收无线信号，并且可包括用户装备(UE)、移动站、固定或移动用户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型电脑、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，在工业和/或自动处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等。WTRU 102a、102b、102c和102d中的任一者可互换地称为UE。

通信系统100还可包括基站114a和/或基站114b。基站114a、114b中的每一者可为任何类型的设备，其被配置为与WTRU 102a、102b、102c、102d中的至少一者无线对接以促进对一个或多个通信网络(诸如CN 106、互联网110和/或其他网络112)的访问。作为示例，基站114a、114b可为基站收发台(BTS)、节点B、演进节点B、家庭节点B、家庭演进节点B、gNB、NR节点B、站点控制器、接入点(AP)、无线路由器等。虽然基站114a、114b各自被描绘为单个元件，但应当理解，基站114a、114b可包括任何数量的互连基站和/或网络元件。

基站114a可以是RAN 104/113的一部分，该RAN还可包括其他基站和/或网络元件(未示出)，诸如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。基站114a和/或基站114b可被配置为在一个或多个载波频率(其可被称为小区(未示出))上传输和/或接收无线信号。这些频率可在许可频谱、未许可频谱或许可和未许可频谱的组合中。小区可向特定地理区域提供无线服务的覆盖，该特定地理区域可为相对固定的或可随时间改变。小区可进一步被划分为小区扇区。例如，与基站114a相关联的小区可被划分为三个扇区。因此，在一个实施方案中，基站114a可包括三个收发器，即，小区的每个扇区一个收发器。在一个实施方案中，基站114a可采用多输入多输出(MIMO)技术并且可针对小区的每个扇区利用多个收发器。例如，可使用波束成形在所需的空间方向上传输和/或接收信号。

基站114a、114b可通过空中接口116与WTRU 102a、102b、102c、102d中的一者或多者通信，该空中接口可为任何合适的无线通信链路(例如，射频(RF)、微波、厘米波、微米波、红外(IR)、紫外(UV)、可见光等)。可使用任何合适的无线电接入技术(RAT)来建立空中接口116。

更具体地讲，如上所指出，通信系统100可为多址接入系统，并且可采用一个或多个信道接入方案，诸如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如，RAN 104/113中的基站114a和WTRU 102a、102b、102c可实现无线电技术诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其可使用宽带CDMA(WCDMA)来建立空中接口116。WCDMA可包括诸如高速分组接入(HSPA)和/或演进的HSPA(HSPA+)之类的通信协议。HSPA可包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。

在一个实施方案中，基站114a和WTRU 102a、102b、102c可实现诸如演进的UMTS陆地无线电接入(E-UTRA)之类的无线电技术，其可使用长期演进(LTE)和/高级LTE(LTE-A)和/或高级LTE Pro(LTE-A Pro)来建立空中接口116。

在一个实施方案中，基站114a和WTRU 102a、102b、102c可实现无线电技术诸如NR无线电接入，其可使用新无线电(NR)来建立空中接口116。

在一个实施方案中，基站114a和WTRU 102a、102b、102c可实现多种无线电接入技术。例如，基站114a和WTRU 102a、102b、102c可例如使用双连接(DC)原理一起实现LTE无线电接入和NR无线电接入。因此，WTRU 102a、102b、102c所使用的空中接口可由多种类型的无线电接入技术和/或向/从多种类型的基站(例如，eNB和gNB)发送的传输来表征。

在其他实施方案中，基站114a和WTRU 102a、102b、102c可实现诸如IEEE 802.11(即，无线保真(WiFi))、IEEE 802.16(即，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暂行标准2000(IS-2000)、暂行标准95(IS-95)、暂行标准856(IS-856)、全球移动通信系统(GSM)、GSM增强数据率演进(EDGE)、GSM EDGE (GERAN)等无线电技术。

图1A中的基站114b可为例如无线路由器、家庭节点B、家庭演进节点B或接入点，并且可利用任何合适的RAT来促进诸如商业场所、家庭、车辆、校园、工业设施、空中走廊(例如，供无人机使用)、道路等局部区域中的无线连接。在一个实施方案中，基站114b和WTRU102c、102d可实现诸如IEEE 802.11之类的无线电技术以建立无线局域网(WLAN)。在一个实施方案中，基站114b和WTRU 102c、102d可实现诸如IEEE 802.15之类的无线电技术以建立无线个域网(WPAN)。在又一个实施方案中，基站114b和WTRU 102c、102d可利用基于蜂窝的RAT(例如，WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等)来建立微微小区或毫微微小区。如图1A所示，基站114b可具有与互联网110的直接连接。因此，基站114b可不需要经由CN106访问互联网110。

RAN 104/113可与CN 106通信，该CN可以是被配置为向WTRU 102a、102b、102c、102d中的一者或多者提供语音、数据、应用和/或互联网协议语音技术(VoIP)服务的任何类型的网络。数据可具有不同的服务质量(QoS)要求，诸如不同的吞吐量要求、延迟要求、误差容限要求、可靠性要求、数据吞吐量要求、移动性要求等。CN 106可提供呼叫控制、账单服务、基于移动位置的服务、预付费呼叫、互联网连接、视频分发等，和/或执行高级安全功能，诸如用户认证。尽管未在图1A中示出，但是应当理解，RAN 104/113和/或CN 106可与采用与RAN 104/113相同的RAT或不同RAT的其他RAN进行直接或间接通信。例如，除了连接到可利用NR无线电技术的RAN 104/113之外，CN 106还可与采用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的另一RAN(未示出)通信。

CN 106也可充当WTRU 102a、102b、102c、102d的网关，以访问PSTN 108、互联网110和/或其他网络112。PSTN 108可包括提供普通老式电话服务(POTS)的电路交换电话网络。互联网110可包括使用常见通信协议(诸如传输控制协议(TCP)、用户数据报协议(UDP)和/或TCP/IP互联网协议组中的互联网协议(IP))的互连计算机网络和设备的全球系统。网络112可包括由其他服务提供商拥有和/或操作的有线和/或无线通信网络。例如，网络112可包括连接到一个或多个RAN的另一个CN，其可采用与RAN 104/113相同的RAT或不同的RAT。

通信系统100中的一些或所有WTRU 102a、102b、102c、102d可包括多模式能力(例如，WTRU 102a、102b、102c、102d可包括用于通过不同无线链路与不同无线网络通信的多个收发器)。例如，图1A所示的WTRU 102c可被配置为与可采用基于蜂窝的无线电技术的基站114a通信，并且与可采用IEEE 802无线电技术的基站114b通信。

图1B是示出示例性WTRU 102的系统图。如图1B所示，WTRU 102可包括处理器118、收发器120、发射/接收元件122、扬声器/麦克风124、小键盘126、显示器/触摸板128、不可移动存储器130、可移动存储器132、电源134、全球定位系统(GPS)芯片组136和/或其他外围设备138等。应当理解，WTRU 102可包括前述元件的任何子组合，同时保持与实施方案一致。

处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等。处理器118可执行信号编码、数据处理、功率控制、输入/输出处理和/或任何其他功能，这些其他功能使WTRU 102能够在无线环境中工作。处理器118可耦合到收发器120，该收发器可耦合到发射/接收元件122。虽然图1B将处理器118和收发器120描绘为单独的部件，但是应当理解，处理器118和收发器120可在电子封装或芯片中集成在一起。

发射/接收元件122可被配置为通过空中接口116向基站(例如，基站114a)传输信号或从基站接收信号。例如，在一个实施方案中，发射/接收元件122可以是被配置为传输和/或接收RF信号的天线。在一个实施方案中，发射/接收元件122可以是被配置为传输和/或接收例如IR、UV或可见光信号的发射器/检测器。在又一个实施方案中，发射/接收元件122可被配置为传输和/或接收RF和光信号。应当理解，发射/接收元件122可被配置为传输和/或接收无线信号的任何组合。

尽管发射/接收元件122在图1B中被描绘为单个元件，但是WTRU 102可包括任何数量的发射/接收元件122。更具体地讲，WTRU 102可采用MIMO技术。因此，在一个实施方案中，WTRU 102可包括用于通过空中接口116传输和接收无线信号的两个或更多个发射/接收元件122(例如，多个天线)。

收发器120可被配置为调制将由发射/接收元件122传输的信号并且解调由发射/接收元件122接收的信号。如上所指出，WTRU 102可具有多模式能力。因此，收发器120可包括多个收发器，以便使WTRU 102能够经由多种RAT(诸如NR和IEEE 802.11)进行通信。

WTRU 102的处理器118可耦合到扬声器/麦克风124、小键盘126和/或显示器/触摸板128(例如，液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)并且可从其接收用户输入数据。处理器118还可将用户数据输出到扬声器/麦克风124、小键盘126和/或显示器/触摸板128。此外，处理器118可从任何类型的合适存储器(诸如不可移动存储器130和/或可移动存储器132)访问信息，并且将数据存储在任何类型的合适存储器中。不可移动存储器130可包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器存储设备。可移动存储器132可包括用户身份模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其他实施方案中，处理器118可从未物理上定位在WTRU 102上(诸如，服务器或家用计算机(未示出)上)的存储器访问信息，并且将数据存储在该存储器中。

处理器118可从电源134接收电力，并且可被配置为向WTRU 102中的其他部件分配和/或控制电力。电源134可以是用于为WTRU 102供电的任何合适的设备。例如，电源134可包括一个或多个干电池组(例如，镍镉(NiCd)、镍锌(NiZn)、镍金属氢化物(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。

处理器118还可耦合到GPS芯片组136，该GPS芯片组可被配置为提供关于WTRU 102的当前位置的位置信息(例如，经度和纬度)。除了来自GPS芯片组136的信息之外或代替该信息，WTRU 102可通过空中接口116从基站(例如，基站114a、114b)接收位置信息和/或基于从两个或更多个附近基站接收到信号的定时来确定其位置。应当理解，在与实施方案保持一致的同时，该WTRU 102可通过任何合适的位置确定方法来获取位置信息。

处理器118还可耦合到其他外围设备138，该其他外围设备可包括提供附加特征、功能和/或有线或无线连接的一个或多个软件模块和/或硬件模块。例如，外围设备138可包括加速度计、电子指南针、卫星收发器、数字相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发器、免提耳麦、

模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器、虚拟现实和/或增强现实(VR/AR)设备、活动跟踪器等。外围设备138可包括一个或多个传感器，该传感器可为以下一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、接近传感器、温度传感器、时间传感器；地理位置传感器；测高计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物识别传感器和/或湿度传感器。

WTRU 102可包括全双工无线电台，对于该全双工无线电台，一些或所有信号的传输和接收(例如，与用于UL(例如，用于传输)和下行链路(例如，用于接收)的特定子帧相关联)可为并发的和/或同时的。全双工无线电台可包括干扰管理单元，该干扰管理单元用于经由硬件(例如，扼流圈)或经由处理器(例如，单独的处理器(未示出)或经由处理器118)进行的信号处理来减少和/或基本上消除自干扰。在一个实施方案中，WTRU 102可包括全双工无线电台，对于该全双工无线电台，一些或所有信号的发射和接收(例如，与用于UL(例如，用于发射)和下行链路(例如，用于接收)的特定子帧相关联)可为并发的和/或同时的。

鉴于图1A至图1B以及图1A至图1B的对应描述，本文参照以下中的一者或多者描述的功能中的一个或多个功能或全部功能可由一个或多个仿真设备(未示出)执行：WTRU102a-d、基站114a-b和/或本文所述的任何其他设备。仿真设备可以是被配置为模仿本文所述的一个或多个或所有功能的一个或多个设备。例如，仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。

仿真设备可被设计为在实验室环境和/或运营商网络环境中实现其他设备的一个或多个测试。例如，该一个或多个仿真设备可执行一个或多个或所有功能，同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分，以便测试通信网络内的其他设备。该一个或多个仿真设备可执行一个或多个功能或所有功能，同时临时被实现/部署为有线和/或无线通信网络的一部分。仿真设备可直接耦合到另一个设备以用于测试目的和/或可使用空中无线通信来执行测试。

该一个或多个仿真设备可执行一个或多个(包括所有)功能，同时不被实现/部署为有线和/或无线通信网络的一部分。例如，仿真设备可在测试实验室和/或非部署(例如，测试)有线和/或无线通信网络中的测试场景中使用，以便实现一个或多个部件的测试。该一个或多个仿真设备可为测试设备。经由RF电路(例如，其可包括一个或多个天线)进行的直接RF耦合和/或无线通信可由仿真设备用于传输和/或接收数据。

具体实施方式

空间数据的传送可增加对内容流传输带宽和动态适应于可用资源的变化的能力的需求。对于2D视频内容，一些系统仅根据可用带宽来在整个图像区域上调整分辨率和压缩率。本文所公开的一些实施方案可在带宽消耗和体验质量(QoE)度量之间进行平衡。例如，如果使用空间数据，则减小内容导航区域而不是减小分辨率可导致更好的QoE，具体取决于观看条件。

要求的复杂性不断增加。MPEG-DASH通过关注视频内容来解决流媒体分发带宽的动态变化。对于空间媒体，动态自适应流传输过程可使用多种空间内容格式和附加的情境条件。这些条件可包括会话之间的变化以及会话内的变化，诸如显示设备的类型和数量、用户的数量和环境布局。根据一些实施方案，本文所公开的系统和方法可通过平衡带宽和体验质量(QoE)参数来考虑这些条件。

利用空间数据，可使用更多的内容格式选择来发布内容。不同的内容格式可在内容质量、存储器消耗和允许的导航自由度方面具有不同的特征和变化。

一些自适应空间内容流设备关注单个空间内容类型，即多边形网格格式的3D数据。参见以下三篇文章：Lavoué，Guillaume等人，Streaming Compressed 3D Data on theWeb Using JavaScript and WebGL，3D Web技术第18次国际会议会报，19-27页，ACM(2013)，Evans，Alun等人，A Pipeline for the Creation of Progressively RenderedWeb 3D Scenes，Multimedia Tools and Applications 1-29页(2017)，以及Zampoglou，Markos等人，Adaptive Streaming of Complex Web 3D Scenes Based the MPEG-DASHStandard，77.1 Multimedia Tools and Applications 125-148页(2018)。这些文章将客户端侧的内容调整方案从仅根据带宽限制进行调整扩展到还根据客户端侧的计算性能来进行调整。Zampoglou研究了MPEG-DASH标准将具有多个细节级别(LoD)的3D数据与相关联的元数据一起传输的适用性。Lavou é和Evans两者提出了适用于自适应LoD流传输的3D图形数据的渐进算法。

通过考虑多种空间数据格式来扩展自适应空间数据流被认为尚未进行太多探索。空间数据诸如光场可实现自由内容导航，同时提供比3D多边形网格数据更高的视觉质量。光场可被格式化为图像阵列，这些图像可一起使用以使得能够在有限的视见体内调整视点。对于自适应流传输，如果只有有限的内容分发带宽可用，则可通过限制分辨率和运动视差(不同视图的数量)两者来为最终用户实现更好的QoE。

对于一些实施方案，空间数据的动态自适应流传输可平衡体验质量(QoE)和可用资源。随着可用数据格式的数量增加，可使用更多的参数选择，诸如例如光场分辨率、支持运动视差的区域以及空间数据格式。关于可用空间数据格式和建议的使用的信息可从内容服务器传送到观看客户端。观看客户端可调整该空间内容以满足会话条件。对于一些实施方案，空间数据的动态流传输可使用内容服务器以各种格式和质量设置来流传输空间内容，从而允许观看客户端将内容流传输动态地适应于在可用带宽、客户端性能和每个会话条件的限制内的观看条件。除了若干质量和格式的流之外，服务器还向观看客户端提供关于可用流的元数据。对于一些实施方案，观看客户端可基于关于例如作为元数据从服务器接收的内容的信息、观看客户端具有的关于观看条件、可用带宽和对于一些实施方案的处理资源的情境信息来选择要使用的流。

根据一些实施方案，本文所公开的系统和方法可使用向观看客户端传送可用内容流以用于内容导航的自由度的内容服务器。除了细节级别(LoD)之外，观看客户端还可使用此类导航自由度级别作为调整参数。基于内容导航方案的自由度，客户端可调整内容复杂性和所传送的数据量。对于一些实施方案，内容导航的自由度使用自由度(DoF)级别来对内容流和资产进行分类。在一些实施方案中，在DoF方案中使用的指示内容导航的各种自由度的级别是例如0DoF、3DoF、3D、oF+和6DoF。例如，自由度表示可包括内容的0DoF表示、3DoF表示、3DoF+表示和6DoF表示。

基于该内容，内容服务器根据清单文件中的不同空间内容格式和质量版本编译来DoF方案和LoD版本，该清单文件诸如例如媒体呈现描述(MPD)文件或包括可用于配置设备的元数据的一组一个或多个文件(诸如XML文档)。在一些实施方案中，在流传输会话开始时，观看客户端加载MPD。基于MPD、当前条件和当前能力，观看客户端可选择要下载的数据的版本。内容片段格式和分辨率可适应于满足用于可用资源的数据传输参数和质量度量阈值。对于一些实施方案，可部分地基于客户端能力和/或客户端的运动范围来选择内容的表示。在一些实施方案中，客户端设备的能力可包括例如一个或多个能力，诸如显示特征，诸如分辨率、显示大小、像素大小、支持的维度数量、支持的自由度(例如，0DoF、3DoF、3DoF+和6DoF)、支持的细节级别、支持的带宽、处理能力、处理性能、启动延时、延迟延时、图像质量和支持的空间内容类型。启动延时可包括在开始3D渲染对象(诸如3D多边形网格)之前等待完整几何形状在客户端设备处可用的延迟延时。应当理解，“客户端设备的能力”通常将是指例如客户端设备相对于例如上下文的一个或多个(例如，相关的)能力，诸如内容表示，通常不是指客户端设备的每个字面“能力”，无论上下文或相关性如何或与上下文或相关性脱离。

对于一些实施方案，内容服务器可执行包括以下操作的过程：接收空间数据；生成(可包括产生和组织)空间数据的LoD版本；生成(可包括产生和组织)空间数据的DoF版本；生成(可包括产生)场景的MPD；等待来自观看客户端的内容请求；将MPD发送到客户端；以及基于客户端内容请求(对于一些实施方案可以是HTTP请求)将数据元素传输到客户端。

对于一些实施方案，观看客户端可执行包括以下操作的过程：从内容服务器请求场景的特定内容；收集关于特定于会话的观看条件的信息；从内容服务器接收场景的MPD；选择场景的初始视点；使用特定于应用的初始要求(其可包括LoD和DoF的初始级别)请求场景数据的一组初始片段；显示该组当前内容片段；处理场景逻辑和用户反馈输入，相应地更新场景的视点；确定(其可包括观察和/或测量)QoE度量(网络和处理性能以及会话条件)；请求与适应于QoE度量的LoD级别和DoF级别匹配的一组更新的内容片段；以及通过返回以显示所更新的内容来重复该过程，直到指示或发信号通知会话终止。初始分段请求可使用最低要求(例如，最低带宽要求最接近选定的视点的0DoF)，或者如果观看客户端确定较高容量可用，则初始分段请求可使用较高要求。

根据一些实施方案，本文所公开的系统和方法可实现空间数据到客户端设备的渐进和自适应分发，其中这些客户端设备的能力和显示特征存在较大变化。根据一些实施方案的此类系统和方法还可考虑例如传输带宽和客户端设备处理性能。根据一些实施方案，可为本文所公开的系统和方法启用具有多种空间内容类型以及最小延迟和启动延时的空间场景的基于web的分发。

图2是示出根据一些实施方案的用于观看客户端的一组示例性接口的系统图。对于一些实施方案，观看客户端204可与显示器206以及一个或多个传感器208对接。观看客户端204可包括本地高速缓存存储器214。对于一些实施方案，一个或多个显示器206以及一个或多个传感器208可位于本地。对于其他实施方案，一个或多个显示器206以及一个或多个传感器208可位于外部。观看客户端204可经由网络(例如，云网络)对接到内容服务器202。媒体呈现描述(MPD)文件212和空间数据210的细节级别(LoD)版本可存储在内容服务器202上。对于一些实施方案，空间数据的一个或多个自由度(DoF)表示可存储在内容服务器202上。对于一些实施方案，系统200可包括与显示器206、传感器208和内容服务器202对接的观看客户端204。

在一些实施方案中，内容服务器利用多种格式和质量设置来流传输空间内容，并且使得观看客户端能够动态地适应于可用带宽、客户端性能和每个会话条件。除了若干质量和格式的流之外，内容服务器还向观看客户端提供关于可用流的元数据作为清单文件，诸如对于一些实施方案的媒体呈现描述(MPD)文件。为了实现动态调整，内容服务器为使用内容导航自由度来进一步根据可用带宽、客户端性能和在一些实施方案中的每个会话条件进行调整的内容元素创建方案。基于内容导航方案的自由度，客户端可调整内容复杂性和所传输的数据量。

图3是示出根据一些实施方案的用于预处理内容和用于将内容流传输到观看客户端的示例性过程的消息时序图。对于一些实施方案，过程300可包括内容预处理过程342和内容流传输过程344。对于一些实施方案，内容预处理过程342可包括内容提供商308向内容服务器306发送310空间数据。内容服务器306可编译(或生成)312内容的多个细节级别(LoD)和自由度(DoF)版本作为内容片段。在一些实施方案中，内容服务器306可产生包括内容的LoD和DoF版本中的一者或多者的MPD。

对于一些实施方案，内容流传输过程344可包括观看(或观看者)客户端304从客户端或用户302接收314内容请求。观看客户端304可向内容服务器306发送316内容请求。对于一些实施方案，观看客户端304可收集318传感器和配置数据。内容服务器306可向观看客户端304发送320媒体呈现描述(MPD)文件。参考图5和图6更详细地描述了根据一些实施方案的示例性MPD的示例性内容。在一些实施方案中，由观看客户端304选择322初始视点。对于一些实施方案，观看客户端304可向内容服务器306发送324对选定的视点的最低LoD和DoF片段的请求。对于一些实施方案，细节级别(LoD)可在分辨率大小上排序，使得最低LoD是具有最小数量的总像素的LoD。对于一些实施方案，自由度(DoF)可按自由度的数量排序，使得最低DoF是可用的最低DoF(例如，按0DoF、3DoF、3DoF+和6DoF次序)。内容服务器306可将所请求的片段发送326到观看客户端304。内容可由观看客户端304显示328并由用户302观看。用户302可利用用户输入来作出响应330。观看客户端304可处理332该用户输入和场景逻辑并更新视点。对于一些实施方案，用户输入可以是所显示的内容上的运动或反馈。观看客户端304可观察334 QoE度量，并且可以根据QoE度量请求336 LoD和DoF片段。例如，QoE度量可指示用户体验低于阈值，并且观看客户端304可请求具有更高LoD的片段。内容服务器306利用所请求的片段进行响应338，并且观看客户端304为用户302渲染并显示340内容的LoD和DoF表示。

对于一些实施方案，观看客户端可确定QoE度量，诸如例如网络性能、处理性能、客户端计算性能和会话条件。对于一些实施方案，确定QoE度量、基于QoE度量选择LoD和DoF表示以及请求LoD和DoF内容片段的过程可以是可连续重复的迭代过程。LoD和DoF表示可选自MPD文件中描述的一组一个或多个LoD和DoF表示。对于一些实施方案，确定用户的视点，并且根据所确定的视点来渲染内容。根据一些实施方案，基于用户的视点来选择DoF和LoD表示。视点可与特定DoF和LoD方案相关联。例如，视点可与3DoF和0DoF DoF方案相关联。可更新DoF方案以选择与视点相关联的可用DoF方案中的一个。可更新LoD方案以选择用于选定的DoF的可用LoD中的一个。例如，可选择3DoF作为DoF方案的更新，并且可选择分辨率为1920x1080的中等级别LoD。一些实施方案可将用户的视点限制为可在MPD文件中指示的观看区域。在一些实施方案中，可将用户的视点限制为可在MPD文件中指示的观看区域和导航区域的组合。对于一些实施方案，基于用户的视点从用于选定的自由度表示的一个或多个细节级别表示中选择细节级别表示，使得选定的自由度表示可包括该一个或多个细节级别表示。对于一些实施方案，过程可包括将用户的视点限制为用户的观看区域，其中清单文件可包括用户的观看区域。

图4是示出根据一些实施方案的用于观看客户端基于QoE度量来请求内容的示例性过程的消息时序图。服务器402(其可以是内容服务器)可确定(例如，编译或生成)内容的LoD和DoF版本。服务器402可生成406MPD文件，该MPD文件可指示所编译的LoD和DoF版本。在客户端拉取模型中，观看客户端404从服务器请求408内容。观看客户端404可收集410关于观看条件的传感器和配置数据。观看客户端404可通过使用可用传感器和通过监测网络通信和处理性能参数来收集系统信息。服务器402将MPD文件发送412到观看客户端404。观看客户端404选择414初始视点和表示(例如，DoF和LoD)。观看客户端404请求416初始LoD和DoF片段，并且内容服务器402利用所请求的片段的空间数据进行响应418。观看客户端404渲染420并显示所请求的片段。观看客户端404可观察422 QoE度量，并且可基于由内容服务器提供的MPD文件为附加片段选择LoD和DoF级别。可基于动态变化的观看条件来确定QoE度量。对于一些实施方案，可选择附加片段的LoD和DoF级别以自适应地平衡QoE度量和可用资源。观看客户端404可请求424选定的LoD和DoF片段，并且内容服务器402可利用所请求的片段进行响应426。对于一些实施方案，观看客户端404可基于用户运动和带宽约束在DoF和LoD选项中进行选择。

图5是示出根据一些实施方案的示例性MPEG-DASH媒体呈现描述(MPD)的数据结构图。图5示出了MPEG-DASH媒体呈现描述(MPD)文件502的结构500。该文件格式可用于由内容服务器传输到观看客户端的MPD。对于一些实施方案，可发送MPD文件502以开始流传输会话的初始化。MPD文件502可包括一个或多个周期504、526。周期504、526可包括内容的开始时间和持续时间。周期504、526可包括一个或多个适应集506、524。适应集506、524包含媒体流。适应集506、524可包括一个或多个表示508、522。表示508、522可包括内容的一个或多个编码，诸如720p和1080p编码。表示508、522可包括一个或多个片段514、520。片段514、520是媒体播放器(或观看客户端)可用于显示内容的媒体内容数据。片段514、520可包括表示具有表示区域508、522的子表示510、512的一个或多个子片段516、518。子表示510、512包含应用于特定媒体流的信息。

图6是示出根据一些实施方案的具有示例性自由度(DoF)和细节级别(LoD)方案的示例性媒体呈现描述(MPD)的数据结构图。图6所示的MPD文件602的格式600可用于MPD文件602的MPEG-DASH协议结构内的自适应空间数据流传输。对于一些实施方案，顶层实体是周期604、642，其中每个周期包括由空间数据构成的单个一致虚拟场景的信息。例如，单个场景可以是发生交互和/或预定义虚拟体验的单个虚拟环境。虚拟体验可包括若干场景，并且每个场景可包括一个或多个周期块，类似于具有若干场景的电影。每个周期604、642可包括场景图606和一个或多个DoF块608、638、640，每个DoF块包含可用于场景的可用视口相关联的DoF方案的描述。结合图7和图8分别更详细地描述了DoF方案元素608、638、640(以及DoF方案的LoD数据结构618、626、634)和场景图606。

参考图5和图6两者，DoF分区608、638、640可对应于MPEG-DASH适应集，并且给定DoF下的LoD分区618、626、634可对应于MPEG-DASH表示和片段。对于一些实施方案，媒体块610、636可对应于MPEG-DASH表示，并且时间步612、614、616可对应于子表示。对于一些实施方案，每个LoD块618、626、634可包括对应时间步612、614、616的URL 620、622、624、628、630、632。对于一些实施方案，周期604、642可包括用于3DoF表示、3DoF+表示和6DoF表示的DoF块(或DoF表示)608、638、640。

在一些实施方案中，观看客户端基于设备能力和可用带宽自适应地管理自由度(DoF)和细节级别(LoD)之间的折衷。除了空间分辨率和时间分辨率之外，可管理的其他折衷还包括角密度和角范围。在一些实施方案中，空间数据可被格式化为例如光场、点云或网格。光场可以是将光线映射到空间中的点的函数。点云可以是指示3D对象的表面的一组点。网格可以是描述3D对象的一组表面、多边形、面、边缘和顶点。例如，在给定带宽下，具有运动跟踪能力的观看客户端可选择具有粗角密度的6DoF表示，并且具有光场显示能力的观看客户端可选择3DoF+表示来显示精细运动视差。

表1示出了例示三种DoF方案(6DoF、3DoF+和360)和三种内容类型(光场、点云和视频)的示例。对于表1所示的示例，AdaptationSetid字段指示DoF方案，并且contentType字段指示内容类型。在适应集内，内容类型是固定的。例如，内容类型对于适应集内的每个表示可以是“light field”(光场)，但是对于每个表示，空间分辨率和角分辨率可能不同。

表1未示出MPD语法的细节。

表1.DASH MPD示例

对于一些实施方案，DoF方案指示对于给定视点支持的导航自由度。此外，在一些实施方案中，方案可指示支持特定DoF模式的要求。对于给定的视点，可指示多个方案，并且观看客户端可使用方案来使观看会话期间的导航自由度适应于可用资源。对于一些实施方案，观看客户端执行使用质量度量和用于DoF自适应的规则集的过程。对于一些实施方案，DoF方案不描述观看客户端可在DoF方案之间切换所依据的规则。观看客户端可实现DoF自适应的逻辑，具体取决于观看客户端的使用。图10描述了由观看客户端执行的示例性处理。

对给定DoF方案的要求可包括用于流传输内容(诸如满足QoE阈值)的网络带宽阈值，以及由初始内容下载使用的数据传输量。对于一些格式的空间数据，例如3D多边形网格，在开始3D渲染时，完整的几何形状可能需要在客户端侧可用。当在客户端处接收到完整网格时，网格可被重复用于不同的时间步。完整网格(其可能先前已被接收)的外观可在具有另一种格式的附加控制数据(诸如例如可用于嵌入有原始完整网格的骨架动画绑定的骨架姿势数据)的时间步之间进行修改。一些实施方案在初始下载和流传输带宽之间划分传输带宽要求。

图7是示出根据一些实施方案的示例性虚拟场景环境的示意性透视图。图7示出了示例性场景700。所示的示例指示五个视点702、704、708、712、716以及相关联的可用DoF方案、DoF观看区域和DoF导航区域。对于0DoF，视点被示出为点。视点3和4(708，712)与可用的0DoF方案相关联。0DoF的相关联的观看区域710、714是二维形状，诸如矩形。针对视点3和4(708，712)示出了0DoF观看区域710、714的示例。对于视点5(716)所示的3DoF，存在三个自由度：偏航、侧倾和俯仰。这三个自由度指示用户的取向(或视点)。对于3DoF，用户视点716的位置是固定的，并且观看区域718是三维形状，诸如截头体。对于3DoF+，用户视点的位置可改变。对于3DoF+，导航区域是三维形状，诸如立方体。视点2(704)与可用的3DoF+方案相关联。用于3DoF+的观看区域706被示出为三维形状，诸如截头体。用户可在导航区域内移动以调节视点。观看区域指示空间数据可用于在导航区域内移动的用户的区域。对于6DoF，存在六个自由度：偏航、侧倾、俯仰、向上/向下、向左/向右和向前/向后。偏航、侧倾和俯仰指示用户的取向(或视点)。向上/向下、向左/向右和向前/向后指示用户在场景内的位置。视点1(702)与可用的6DoF方案相关联。对于一些实施方案，可相对于场景根节点720指示空间信息和交互行为规则，诸如图7中所示的场景根节点。对于图7所示的示例，一些对象信息可相对于一个或多个对象。例如，对象5(730)的空间信息可相对于对象4(728)的空间信息。同样，对象6(732)的空间信息可相对于对象5(730)的空间信息，从而相对于对象4(728)的空间信息。对象3(726)可具有相对于对象2(724)的空间信息的空间信息。一些对象(诸如对象1(722))的空间信息可独立于其他对象。下面描述的图8的场景图还具有相对于其他对象描述的对象的示例。

下面更详细地描述图7所示的五个视点702、704、708、712、716和相关联的DoF方案。在图6所示的示例性MPD结构中，周期可包括一个或多个DoF方案并且包括下文所示的细节中的一些。例如，下载大小、所需网络容量和分辨率的值是出于示例性视点和相关联方案的目的的示例值。

6DoF用于视点1

-导航区域：场景的包围盒

-观看区域：场景的包围盒

-数据类型：实时渲染3D

-要求：

○ LoD 1

■渐进数据：否

■初始内容下载大小：218MB(渲染所需的3D资产的总和)

■所需网络容量：0.4Mbps(可流传输的所需数据的总和，即可在该周期流传输的动画控制数据和其他3D数据)

○ LoD 2

■渐进数据：否

■初始内容下载大小：530MB

■所需网络容量：0.4Mbps

○ LoD 3

■渐进数据：是(该较高LoD的数据细化来自先前LoD级别的数据，即使用该LoD需要两个LoD级别数据)

■初始内容下载大小：450MB

■所需网络容量：0.4Mbps

3DoF+用于视点2

-导航区域：相对于场景定义导航区域的3D顶点

-观看区域：相对于场景定义观看区域的3D顶点

-数据类型：光场图像阵列

-要求：

○ LoD 1

■渐进数据：否

■光场图像阵列的空间几何形状：虚拟相机的数量、位置、相机校准数据

■图像分辨率：768x576px

■初始内容下载大小：0MB

■所需网络容量：14.0Mbps

○ LoD 2

■渐进数据：否

■光场图像阵列的空间几何形状：虚拟相机的数量、位置、相机校准数据

■图像分辨率：1024x768px

■初始内容下载大小：0MB

■所需网络容量：22.0Mbps

○ LoD 3

■渐进数据：否

■光场图像阵列的空间几何形状：虚拟相机的数量、位置、相机校准数据

■图像分辨率：1920x1080px

■初始内容下载大小：0MB

■所需网络容量：43.0Mbps

3DoF用于视点5

-导航区域：相对于场景定义固定视点的3D点

-观看区域：从固定视点观察360视图

-数据类型：单摄像头360视场视频

-要求：

○ LoD 1

■渐进数据：否

■360视频的分辨率：1920x1080px

■初始内容下载大小：0MB

■所需网络容量：4.0Mbps

○ LoD 2

■渐进数据：否

■360视频的分辨率：4096x2160px

■初始内容下载大小：0MB

■所需网络容量：13.0Mbps

0DoF用于视点3

-导航区域：相对于场景定义固定视点的3D点

-观看区域：相对于场景定义2D视图的2D视口的3D顶点

-数据类型：单摄像头2D视频

-要求：

○ LoD 1

■渐进数据：否

■视频分辨率：768x576px

■初始内容下载大小：0MB

■所需网络容量：2.0Mbps

○ LoD 2

■渐进数据：否

■视频分辨率：1920x1080px

■初始内容下载大小：0MB

■所需网络容量：4.0Mbps

○ LoD 3

■渐进数据：否

■视频分辨率：4096x2160px

■初始内容下载大小：0MB

■所需网络容量：13.0Mbps

0DoF用于视点4

-导航区域：相对于场景定义固定视点的3D点

-观看区域：相对于场景定义2D视图的2D视口的3D顶点

-数据类型：单摄像头2D视频

-要求：

○ LoD 1

■渐进数据：否

■视频分辨率：768x576px

■初始内容下载大小：0MB

■所需网络容量：2.0Mbps

○ LoD 2

■渐进数据：否

■视频分辨率：1920x1080px

■初始内容下载大小：0MB

■所需网络容量：4.0Mbps

○ LoD 3

■渐进数据：否

■视频分辨率：4096x2160px

■初始内容下载大小：0MB

■所需网络容量：13.0Mbps

对于一些实施方案，在每个DoF方案内，场景内容的流被描述为多个媒体元素。每个媒体元素可包含具有某种空间数据格式的空间数据。包含在媒体中的空间数据可被描述为时间片段，或者在静态内容的情况下，被描述为单个时间步。另外，可使用静态内容和时间片段的组合，例如通过骨架动画绑定动画化的多边形网格。在每个时间步的每个媒体元素内，可在媒体块下列出媒体的一个或多个LoD版本。对于数据的每个LoD版本，可指示流传输带宽要求以及数据是否是渐进的(使得较高的LoD级别建立在较低的LoD级别之上)。在一些实施方案中，对于与渐进数据一起使用的较高LoD，除了需要较高LoD数据之外，还需要接收较低LoD数据。

图8A和图8B是示出根据一些实施方案的用于虚拟场景环境的示例性数据结构的场景图。场景图800是场景的结构和行为的描述。对于一些实施方案，该描述可包括场景元素之间的空间关系的分层结构和指示场景元素的交互行为的逻辑规则。场景图800可包含与例如场景音频和对象的物理关系相关的信息。对于自适应流传输，场景图800可包含关于可用视点和相关联的DoF方案的信息。对于一些实施方案，场景图中描述的每个视点是场景内的可使用视点(其可以是从0DoF到6DoF的一个或多个视点)的点或区域。视点可被描述为可用DoF、点或区域和支持的观看方向的组合。视点信息可以是一段时间内的各个元素，并且与MPD中包括的相关联的DoF方案相关联。

图8A和图8B示出了分层结构场景图。视点1(802)与6DoF方案相关联，具有到资产(诸如对象空间关系、对象行为规则和其他视点)的链接。图8A和图8B示出了从场景的根节点801到场景内的对象807、808、809、810、811、812和视点803、804、805、806的转换813、814、815、816、817、818、819、820、821、822。视点2(803)与3D0F+方案相关联并且具有到示例性光场数据源的链接。视点3(804)与0DoF方案相关联并且具有到示例性2D视频数据源的链接。视点4(805)与0DoF方案相关联并且具有到示例性2D视频数据源的链接。视点5(806)与3DoF方案相关联并且具有到示例性360度视频数据源的链接。类似于图7，图8A和图8B的场景图指示3D导航区域823和观看区域824用于3DoF+方案，2D观看区域825、826、827用于0DoF。图8A和图8B还示出了6个示例性对象807、808、809、810、811、812。为每个对象807、808、809、810、811、812指示了空间数据，诸如几何形状828、829、830、831、832、833、834、835、836、837、838、839、840、841、842，纹理843、844、845、846、847、848、849、850、851、852、853、854、855、856、857，着色858、860、861、862、863、864和动画数据859。一些对象数据(例如，809)利用相对于另一个对象(例如，810)的变换(例如，820)来指示，诸如彼此堆叠的三个对象。图8A和图8B的场景图800指示到每个视点和DoF方案的相关联数据源的链接。

DoF可用作可用于控制带宽、复杂性和QoE之间的折衷的变量。场景图结构(其示例在图8A和图8B中示出)可扩展有指示视点和相关联的DoF方案(或级别)的信息。合成3D场景的一些场景图包括用于图像产生渲染的实时3D图形数据，和关于用于以较低DoF方案可视化的另选视觉信息源的信息，诸如用于预渲染视图的视频源。

图9是示出根据一些实施方案的用于处理观看客户端请求的示例性过程的流程图。对于过程900的一些实施方案，内容服务器存储要与数据的MPD 906一起分发的空间数据912。在运行时，内容服务器可基于客户端拉取模型中的客户端请求类型904来分发数据，如图9所示。对于新的数据流会话，观看客户端可请求MPD，并且内容服务器可发送908 MPD。基于MPD，观看客户端根据MPD和观看客户端测量的QoE度量(诸如可用资源和会话条件)来请求空间数据片段，并且内容服务器可发送910数据片段。示例性过程900可确定914是否请求结束处理，并且通过等待902来自观看客户端的请求而继续，例如，直到请求结束处理916。

在一些实施方案中，服务器可自动产生DoF和LoD版本中的一些。例如，给定0DoF数据，内容服务器可从实现0DoF观看的视频文件产生各种LoD版本。另外，对于一些实施方案，利用较高DoF版本，内容服务器可自动产生较低DoF版本。例如，如果空间内容是完全合成的6DoF内容，则服务器可基于用户指示的视点自动产生较低DoF版本。

对于服务器过程的实施方案，数据片段请求可指示选定的自由度表示(或方案)。选定的自由度可选自有序的一组可用自由度，其可在清单文件(诸如MPD)中指示。数据片段请求还可指示从清单文件(例如，MPD)中指示的一组可用LoD中选择的LoD。发送到观看客户端的数据片段的DoF方案可匹配数据片段请求中指示的DoF方案。

图10是示出根据一些实施方案的用于基于QoE度量来调整内容请求的示例性过程的流程图。图10示出了由观看客户端执行的示例性过程1000。对于一些实施方案，过程1000一开始由用户例如启动观看客户端上的应用程序并且发起1002对来自内容服务器的内容的请求。内容可被指示为到驻留在内容服务器上的MPD的链接。到MPD的链接可以是识别内容服务器和特定内容的统一资源位置(URL)。对于一些实施方案，根据来自用户的明确命令而启动或者由操作系统基于识别内容类型请求和与特定内容类型相关联的应用程序而自动地启动观看客户端应用程序。对于一些实施方案，观看客户端可以是独立的应用程序、与web浏览器集成的应用程序、社交媒体客户端，或是操作系统的一部分。如果启动了观看客户端应用程序，则可在处初始化1004传感器数据收集，并且可收集配置数据。对于一些实施方案，传感器数据收集可包括收集关于观看客户端可用于调整内容流传输的观看条件的信息。例如，在一些实施方案中，传感器可收集数据以便例如识别用户和显示设备的数量和位置，其中这些位置可相对于观看客户端或对于一些实施方案相对于场景根节点位置。

如果观看客户端已经初始化了传感器和配置数据收集，则可在整个内容流传输会话中连续地执行过程，例如运行时过程。在运行时过程中，观看客户端从内容服务器接收1006 MPD。对于一些实施方案，基于MPD、收集的观看条件信息、应用程序默认设置和用户偏好，应用程序从MPD选择1008空间数据的初始视点，并使用对DoF方案和LoD级别的初始要求从内容服务器请求1010数据片段。对于一些实施方案，初始请求可使用最低要求，例如，最低带宽要求最接近选定的视点的0DoF。如果观看客户端应用程序确定更高容量可用，则可使用具有更高要求的DoF方案和LoD级别。

观看客户端接收并显示1012所请求的内容。可收集1014用户输入，并且可处理1016场景逻辑。可更新1018用户的视点，并且可收集1020 QoE度量。对于一些实施方案，DoF和LoD可基于QoE度量和适应规则来适应用户的当前视点。在一些实施方案中，MPEG-DASH适应集(DoF是其示例)和MPEG-DASH表示(LoD是其示例)可基于QoE度量和自适应规则针对用户的当前视点进行适应1022。QoE度量的示例包括编码参数、分辨率、采样率、内容更新率、延时和抖动。对于一些实施方案，可基于这些QoE度量示例中的一者或多者来更新DoF和LoD。例如，如果所显示的内容中的抖动量超过阈值，则可调整DoF和LoD。可针对所调整的DoF和LoD请求1024下一组片段。该过程可确定1026是否请求结束处理。如果请求结束处理，则该过程结束1028。否则，该过程随着内容的接收和显示而重复。

对于一些实施方案，观看客户端的过程可包括确定用于处理选定的自由度方案(或表示)的可用处理能力以及基于可用处理能力来选择细节级别表示。对于一些实施方案，选定的自由度表示包括选定的细节级别表示。选定的LoD可用于选定的DoF。对于一些实施方案，可用的处理能力可包括局部渲染能力和视图内插能力。对于一些实施方案，可选择DoF和LoD，使得局部渲染能力能够渲染用于选定的DoF和LoD的内容片段。例如，如果局部渲染能力能够在支持观看者取向的三个自由度的情况下显示1920x1080，则可选择3DoF DoF方案和支持1920x1080分辨率的LoD方案。对于一些实施方案，观看客户端的过程可包括跟踪客户端的运动范围，并且响应于检测到客户端的运动范围的减小，选择更新的DoF方案(或表示)。可从一组有序的可用DoF方案中选择更新的DoF方案。对于一些实施方案，更新的DoF方案可具有比先前选择的DoF方案更小的自由度。对于一些实施方案，观看客户端的过程可包括检测客户端的运动范围的变化，并且响应于检测到客户端的运动范围的变化，从一个或多个自由度表示中选择表示。

图11是示出根据一些实施方案的多个自适应参数的自由度(DoF)和细节级别(LoD)的示例性关系的曲线图。图11的示例性曲线图1100示出了细节级别(LoD)分辨率/顶点1102与自由度(DoF)1104的关系。对于一些实施方案，QoE度量包括观看客户端为了使内容流传输适应于处理和计算性能限制而收集的数据。例如，可通过测量分段请求和显示器之间的延迟来测量网络性能。例如，延迟要求可被设置为低于渲染的目标帧速率，以便不会导致内容由于网络带宽而滞后。例如，可使用渲染帧速率作为QoE度量来测量客户端计算性能。低于给定阈值的渲染可指示内容超过客户端设备能够处理的复杂性。可通过减小内容的LoD来校正这种情况，从而降低渲染复杂性。对于一些实施方案，2D(“0DoF”)空间中的客户端可基于带宽、客户端运动自由度和处理能力(渲染视图内插)因素来使用DoF/LoD的适应。DASH通常可响应于带宽约束而仅改变LoD(分辨率)。一些实施方案可为高DoF或LoD选择施加客户端设备能力限制。

图11示出了基于强调不同参数的适应过程的DoF/LoD适应的三条迹线1106、1108、1110。例如，带宽适应迹线1106指示强调LoD方案作为用于调整比特率的主要参数的过程的DoF和LoD方案的匹配。当LoD调整带宽时，DoF可保持高(3DoF+)，直到带宽不足以支持最低LoD处的3DoF+。处理约束迹线1110指示强调DoF方案作为主要参数的过程的DoF和LoD方案的匹配。对于处理约束迹线1110，LoD可在DoF从3DoF变化到6DoF时保持在高级别。对于一些实施方案，LoD仅当DoF处于最小值(3DoF)时才减小。运动适应迹线1108指示强调用户运动的过程的DoF和LoD方案的匹配。DoF和LoD两者随着DoF/LoD的取决于用户运动的相对值而变化(例如，对于很少的运动，可使用低DoF但高LoD，并且对于高运动，可使用高DoF但低LoD)。对于6DoF方案，用户能够移动到场景内的具有偏航-侧倾-俯仰观看取向的3D位置。根据用户可在其中移动的如此大的区域，可将LoD方案设置为低以保持带宽限制。当用户改变为较低DoF方案(其可对应于对用户运动的限制)时，可连续增加LoD方案(例如，对应于3DoF+的“中”LoD和对应于3DoF的“高”LoD)，并且内容数据的量仍然可保持在带宽限制以下。

对于一些实施方案，观看客户端可实施适用于特定环境和应用程序的适应控制逻辑过程。对于一些实施方案，控制逻辑可使LoD适应于与观看客户端的显示能力匹配的DoF的可用带宽和处理性能。对于一些实施方案，可利用同时混合LoD和DoF表示级别的适应逻辑过程来实现最佳QoE。可使用混合适应，因为最高DoF表示可能不提供最佳视觉质量，并且具有较高图像质量的较低DoF可能足以支持特定会话的视点运动。对于一些实施方案，根据视点运动，用户在会话期间可能相比视觉质量更偏爱较高DoF，以支持用户(观看者)期望的内容导航级别。如果DoF在会话期间由于可用资源的变化或视点运动而动态地变化，则可针对DoF的每次变化重新调整LoD。用于实现混合适应的适应逻辑过程的示例性伪代码在表2中示出。对于一些实施方案，最低可用DoF和LoD的设置可基于带宽和/或处理能力要求。例如，最低DoF可以是可用的自由度的最低数量，并且最低LoD可以是用于选定的DoF的分辨率的像素的最低总数。

表2.适应逻辑伪代码

除了表2中的伪代码示例中描述的控制参数之外，控制逻辑可使用某种加权在DoF和LoD之间平衡，以便在例如DoF和可感知分辨率之间更精细地平衡，使得在一些情况下，可减小导航自由度以便实现更高的可感知分辨率。例如，如果最终的3DoF渲染导致可感知分辨率显著低于0DoF能够提供的分辨率，则该过程可用于从3DoF下降到0DoF。表2的伪代码示例中未描述的另一种控制元素是用户偏好。在一些实施方案中，用户偏好可影响适应过程，其中该过程例如被配置为结合例如特定用户偏好。例如，用户可相比3DoF内容更偏爱0DoF内容，并且可将该偏好结合到例如适应过程逻辑中。用户偏好可直接从用户确定，或者基于例如先前的用户流传输活动或观看行为来推断或假设。

利用2D显示器，用于观看客户端的默认过程可基于用户偏好和场景图中针对可用的0DoF视点描述的场景逻辑来选择视点。该过程可在会话期间使0DoF LoD适应于可用网络带宽。如果观看客户端使用使用户能够交互地导航内容的过程，则观看客户端可通过切换到较高DoF方案来启用导航。

对于具有多个观看者的空间显示器，诸如多视图桌面显示器，可根据多个用户的数量和位置来调整空间内容，以便为所有观看者实现最佳QoE。在这种情况下，观看客户端可监测用户的位置，并且基于用户的位置来为内容的场景图选择多个视点。根据用户偏好和用户的位置，视点可使用以不同DoF方案流传输的数据。

根据用户偏好和特定用例，观看客户端(例如，其可以是头戴式显示器(HMD))可使用3DoF+内容而不是完整的6DoF内容，因为即使完整的6DoF方案可用，3DoF+数据也能够实现更好的图像质量。对于一些实施方案，如果观看客户端启用自由内容导航，则当用户基于针对特定视点的3DoF+数据的可用性来导航内容时，观看客户端可在6DoF和3DoF+方案之间切换。对于一些实施方案，合成3D场景的6DoF版本可以是用户能够导航的3D多边形网格表示，并且对于选定的视点，预渲染的光场可用于实现具有有限导航区域的更高图像质量。

图12是示出根据一些实施方案的用于观看客户端流传输来自内容服务器的内容的示例性过程的流程图。内容流传输过程1200的一些实施方案可包括在客户端设备处接收1202描述内容的多个有序自由度表示的清单文件。对于一些实施方案，清单文件可能不是有序的。在一些实施方案中，内容流传输过程1200还可包括在客户端设备处估计1204可用于将内容流传输到客户端设备的带宽。对于一些实施方案，内容流传输过程1200还可包括在客户端设备处从该多个有序自由度表示中选择1206第一自由度表示。内容流传输过程1200的一些实施方案还可包括在客户端设备处检测1208可用于流传输内容的带宽的变化。在一些实施方案中，内容流传输过程1200还可包括响应于检测到可用带宽的变化，在客户端设备处从该有序多个自由度表示中选择1210第二自由度表示。内容流传输过程1200的一些实施方案还可包括从流传输服务器请求1212第二自由度表示。装置的一些实施方案可包括处理器，和存储指令的非暂态计算机可读介质，这些指令在由处理器执行时可操作以执行上述内容流传输过程。

对于一些实施方案，如果内容流传输过程估计可用带宽的减小，则可选择减小自由度的更新的DoF方案(诸如从6DoF方案切换到3DoF+方案)。对于一些实施方案，如果内容流传输过程估计可用带宽的增大，则可选择增大自由度的更新的DoF方案(诸如从3DoF+方案切换到6DoF方案)。对于一些实施方案，内容流传输过程可包括检索内容表示并且渲染该表示。

图13是示出根据一些实施方案的用于内容服务器将内容流传输到观看客户端的示例性过程的流程图。内容服务器过程1300的一些实施方案可包括在内容服务器处接收1302对描述内容的多个有序自由度表示的清单文件的请求。在一些实施方案中，内容服务器过程1300可包括生成1304内容的清单文件。根据一些实施方案，内容服务器过程1300可包括向客户端设备发送1306清单文件。对于一些实施方案，内容服务器过程1300可包括从客户端设备接收1308对内容的数据片段的请求。在一些实施方案中，内容服务器过程1300可包括向客户端设备发送1310内容的数据片段，其中该多个有序自由度表示中的至少一个自由度表示包括内容的至少两个细节级别表示。装置的一些实施方案可包括处理器，和存储指令的非暂态计算机可读介质，这些指令在由处理器执行时可操作以执行上述流传输服务器过程。

流媒体可能需要根据通常变得更复杂的要求进行调整。MPEG-Dash解决了集中在视频内容上的流媒体分发带宽的动态变化。对于空间媒体，可使用类似的动态自适应流传输，但是使用考虑了多种空间内容格式以及甚至更宽范围的情境条件的模型。一些内容格式可能需要例如仅最小量的初始下载，但在整个流传输会话期间消耗更多带宽。一些设备在体验的一些部分使用较大的数据块，并且用户可能期望在初始等待时间、流传输带宽和图像质量之间实现平衡。

许多当前的自适应空间内容流传输设备关注于单个空间内容类型，即多边形网格格式的3D数据，如根据以下文章所理解的：Lavoué，Guillaume等人，Streaming Compressed3D Data on the Web Using JavaScript and WebGL，3D WEB技术第18次国际会议会报，19-27页，ACM(2013)(“Lavoué”)；Evans，Alun等人A Pipeline for the Creation ofProgressively Rendered Web 3D Scenes，MULTIMEDIA TOOLS AND APPLICATIONS 1-29页(2017)(“Evans”)；以及Zampoglou，Markos等人，Adaptive Streaming of Complex Web 3DScenes Based on the MPEG-DASH Standard，77.1MULTIMEDIA TOOLS AND APPLICATIONS125-148页(2018)(“Zampoglou”)。这些学术努力被理解为通过根据带宽限制进行调整和根据计算性能进行调整来扩展客户端侧的内容调整方案。在Zampoglou中，了解并研究了MPEG-Dash标准用于传输具有多个细节级别(LoD)的3D数据以及相关联的元数据的适用性。Lavoué和Evans二者均被理解为提出适用于自适应LoD流传输的3D图形数据的渐进压缩算法。

图14是示出根据一些实施方案的示例性视频内容通信的过程图。如图14的过程1400所示，具有视频内容的HTTP服务器1402可具有随时间推移而变化的质量级别。具有可变带宽可用性的网络(互联网)1404也随时间推移而变化。具有平板电脑(或其他无线设备)的用户1406将内容下载到该设备上。用户对内容的需求也随时间推移而变化。

空间数据可增加对内容流传输带宽以及能够动态地适应于变化的可用资源的能力的需求。对于空间数据，与2D视频内容不同，带宽消耗和QoE之间的平衡可能不仅仅是根据可用带宽来调整整个图像区域上的分辨率/压缩率。例如，对于空间数据，在流传输期间在不同内容格式之间切换而不是仅仅改变单个格式内的细节级别可产生更好的QoE，但这取决于观看条件。一些格式例如需要在启用渲染和显示之前预先下载不同量的数据。一个示例是通过流传输命令以动画方式显示的模型。在一些实施方案中，必须在可使用小动画命令流之前下载该模型。

对于一些实施方案，可通知观看客户端可用的空间数据格式和相关联的数据下载规范。对于一些实施方案，除了流传输清单通信之外，客户端可处理适应以便实现最佳QoE。一些实施方案可考虑到例如需要的初始下载和预期的流传输规范来平衡QoE以确保平滑回放。一些实施方案可包括扩展自适应空间数据流传输以通过在不同空间数据格式之间动态调整来平衡初始下载、流传输带宽和图像质量。自适应流传输以不同比特率准备内容，从而允许客户端适应于不同带宽。对于一些实施方案，在MPD中传送流的流率。在一些示例性实施方案中，解决了关于如何处理固定大小数据需求和突发数据需求的潜在挑战。

图15是示出根据一些实施方案的用于内容服务器-观看客户端网络的一组示例性接口的系统图。对于系统1500的一些实施方案，利用各种格式和质量设置流传输空间内容数据1510的内容服务器1502可允许观看客户端1504将内容流传输动态地适应于在可用带宽、客户端性能和每个会话条件的限制内的观看条件。对于一些实施方案，内容服务器1502可存储可与一组或多组空间数据相关的媒体呈现描述1512。除了若干质量和格式的流之外，内容服务器1502还可向观看客户端1504提供关于可用流的元数据。观看客户端1504可基于关于作为流传输清单元数据从服务器1502接收的内容的信息、观看客户端具有的关于观看条件、可用带宽和可用处理资源的情境信息来选择要使用的流。对于一些实施方案，观看客户端1504可包括本地高速缓存，其可用于存储媒体呈现描述1514的内容流。观看客户端1504可将内容流发送到显示器1506。观看客户端1504可从传感器1508接收传感器数据。

对于一些实施方案，利用内容流的初始下载规范的规范来扩展自适应媒体清单。类似于MPEG-Dash媒体呈现描述(MPD)，关于内容流的元数据可构成利用针对每个内容流版本定义的初始下载规范扩展的结构化文档。对于一些实施方案，在流传输会话开始时，观看客户端可从内容服务器下载MPD。基于例如MPD、当前条件和本地客户端/显示能力，观看客户端可选择要下载的内容数据的版本，并通过选择最合适且符合可用资源的格式和分辨率的内容片段来调整数据传输和质量。该功能可使得观看客户端能够控制用户在可启动体验的执行之前等待的等待时间。此外，在会话期间，客户端可检查可用带宽，并且可与实时流传输同时下载作为由另一种类型的空间数据使用的初始下载的一部分的内容元素。

对于一些实施方案，空间数据到客户端设备的渐进和自适应分发可在客户端设备的能力和显示特征方面具有较大变化，同时还适应于传输带宽和客户端设备处理性能。对于一些实施方案，可启用具有可控延迟和启动延时的多个空间内容类型的空间场景的基于web的分发。

图16是示出根据一些实施方案的用于典型使用会话的通信和处理的示例性过程的消息时序图。图16示出了根据一些实施方案的具有内容预处理1644、内容分发1646和运行时循环1648的示例性使用会话中的示例性通信序列1600。对于一些实施方案，空间数据可由内容提供商1608提供1610给内容服务器1606，观看者客户端(或例如，“观看客户端”)1604可从该内容服务器选择要下载的内容的版本。内容服务器1606可将流数据的各种版本编译1612为片段，并且识别用于MPD的一个或多个(或在一些示例性情况下，全部)数据元素的下载规范。

用户1602可向观看者客户端1604发送1614内容请求，并且观看者客户端1604可向内容服务器发送1616内容请求。观看客户端1604可通过收集系统配置信息，通过收集可用传感器数据以及通过观察网络通信和处理性能来收集1618关于观看条件的传感器信息。观看者客户端1604可收集1618传感器和配置数据。内容服务器1606可向观看者客户端1604发送1620MPD，并且观看者客户端1604可选择1622初始视点。观看者客户端1604可选择1624要请求的空间数据元素。观看者客户端1604可向内容服务器发送1626对初始内容数据的请求，并且内容服务器1606可向观看者客户端1604发送1628所请求的内容元素。观看者服务器1604可等待1630初始下载完成。观看者客户端1604可向内容服务器1606发送1632对流传输内容数据的请求，并且内容服务器1606可向观看者客户端1604发送1634所请求的内容元素。内容可被显示1636给用户1602，并且用户1602可向观看者客户端1604发送1638用户输入。观看者客户端1604可处理1640用户输入和场景信息并且更新视点。观看者客户端1604还可观察1642 QoE度量。基于从所收集的动态变化的观看条件观察和/或推断的QoE度量，观看客户端可基于由内容服务器提供的媒体呈现描述(MPD)来请求空间数据媒体片段的特定版本，从而自适应地平衡启动延时、QoE和可用资源。

对于一些实施方案，可确定选定的内容表示(诸如选定的空间数据元素)的QoE度量小于阈值，并且可从一个或多个内容表示中选择第二内容表示。对于一些实施方案，选择第二内容元素表示可包括确定对应于第二内容元素表示的QoE度量超过最小阈值。对于一些实施方案，可确定选定的内容元素表示的QoE度量，并且可基于所确定的QoE度量从该多个内容元素表示中选择第二内容元素表示。对于一些实施方案，选择第二内容元素表示包括确定对应于第二内容元素表示的QoE度量超过最小阈值。对于一些实施方案，过程可包括确定选定的表示的体验质量(QoE)度量小于阈值；以及响应于确定选定的表示的QoE度量小于阈值，从该一个或多个自由度表示中选择又一个表示。

图17是示出根据一些实施方案的用于流传输和显示内容数据的示例性过程的消息时序图。对于一些实施方案，示例性过程1700可包括服务器1702生成1706具有初始下载规范(例如，要求)的MPD。对于一些实施方案，示例性过程1700还可包括客户端1704向服务器1702发送1708内容请求。对于一些实施方案，示例性过程1700还可包括服务器1702向客户端1704发送1710媒体呈现描述(MPD)。对于一些实施方案，示例性过程1700还可包括客户端1704估计1712可用带宽和启动延迟。对于一些实施方案，示例性过程1700还可包括客户端1704选择1714适当的媒体表示。可基于估计的可用带宽来选择适当的媒体表示以减少启动延迟，这将在下文更详细地讨论。对于一些实施方案，示例性过程1700还可包括客户端1704请求1716初始下载数据。对于一些实施方案，示例性过程1700还可包括服务器1702传输1718所请求的数据，并且客户端1704接收1720初始下载数据。对于一些实施方案，示例性过程1700还可包括客户端1704请求1722流传输空间数据。对于一些实施方案，示例性过程1700还可包括服务器1702传输1724所请求的流传输片段，并且客户端1704接收1726流传输空间数据。对于一些实施方案，示例性过程1700还可包括客户端1704观察1728体验质量(QoE)度量。对于一些实施方案，示例性过程1700还可包括客户端1704显示1730内容。

对于一些实施方案，完整的空间数据场景视图可包括初始下载数据和流片段。对于一些实施方案，选择内容元素表示可包括：为该多个内容元素中的一个或多个内容元素确定相应的启动延时；确定所确定的相应启动延时中的最小启动延时；以及选择对应于最小启动延时的内容元素表示，其中时间线信息包括关于该多个内容元素中的一个或多个内容元素中的相应启动延时的信息。

对于一些实施方案，观看客户端过程可包括检索内容元素表示的流片段；以及显示内容元素表示的该流片段。对于一些实施方案，观看客户端可显示所接收的初始下载数据和所接收的流片段。对于一些实施方案，选择内容元素表示可包括：确定与该多个内容元素表示中的一个或多个内容元素表示的初始下载规范相关联的相应延迟时间；以及选择该多个内容元素表示中的一个内容元素表示，其中选定的内容元素表示的延迟时间小于阈值。对于一些实施方案，观看客户端可为多个内容元素表示中的每个内容元素表示确定相应的延迟时间，使得选择内容元素表示使用所确定的相应延迟时间。

图18是示出根据一些实施方案的用于产生示例性媒体呈现描述(MPD)的示例性过程的流程图。图18还示出了由内容服务器执行的示例性内容预处理过程1800。对于一些实施方案，在预处理阶段中，内容服务器可产生可用内容的元数据描述，例如以媒体呈现描述文件(MPD)的形式。根据该示例的MPD可提供场景的概述、场景图形式的场景元素关系、与场景元素相关联的时间线、可用的媒体资产的一个或多个不同版本，以及相关联的规范。内容服务器可将空间数据1804(诸如场景图、时间线和媒体资产)存储在存储器中，该存储器可以是例如服务器的本地存储器位置。内容服务器可产生1802媒体资产的一个或多个版本。例如，各版本可在编码比特率、显示分辨率和总媒体资产大小方面不同。作为预处理的一部分，内容服务器可产生现有场景元素的各种版本，使得客户端能够进行流传输适应。内容服务器可产生1806例如资产版本的规范，诸如用于支持的最小网络带宽、用于支持的最小网络延迟、用于支持的最小显示分辨率大小和用于支持的最小显示刷新率。内容服务器可生成1808 MPD并将MPD存储在存储器中。对于一些实施方案，一旦内容服务器已产生具有不同资产版本和描述可用流的元数据的MPD文件1810，内容服务器就开始运行时处理，使得内容服务器将内容分发给观看客户端。

对于一些实施方案，可基于例如表示大小、估计的带宽和直到显示内容元素为止的回放持续时间来选择内容元素表示。对于一些实施方案，清单文件可包括关于该多个内容元素中的一个或多个内容元素的时间线信息，并且可基于时间线信息选择内容元素表示。

图19是示出根据一些实施方案的示例性MPEG-DASH媒体呈现描述(MPD)的数据结构图。对于一些实施方案，图19所示的MPEG-Dash MPD的通用结构1900可用作用于传输总体媒体描述的文件格式。观看客户端可下载MPD作为流传输会话初始化的一部分。MPD文件1902可包括一个或多个周期1904、1926。周期1904、1926可包括内容的开始时间和持续时间。周期1904、1926可包括一个或多个适应集1906、1924。适应集1904、1926包含媒体流。适应集1904、1926可包括一个或多个表示1908、1922。表示1908、1922可包括内容的一个或多个编码，诸如720p和1080p编码。表示1908、1922可包括一个或多个片段1914、1920。片段1914、1920是媒体播放器(或观看客户端)可用于显示内容的媒体内容数据。片段1914、1920可包括表示具有表示区域1908、1922的子表示1910、1912的一个或多个子片段1916、1918。子表示1910、1912包含应用于特定媒体流的信息。

表3示出了对应于图19所示的字段的示例性MPD。对于表3所示的示例，AdaptationSetid字段指示内容方案，并且Representationid字段指示标识符，该标识符指示显示大小分辨率或细节级别(LOD)。bandwidth字段可指示网络的已经可用于流传输内容的特定版本的最小带宽。width字段和height字段指示内容的相应宽度显示大小和高度显示大小。filesize字段指示内容的存储器大小。

表3.MPEG-DASH MPD示例

图20是示出根据一些实施方案的视频和对象的示例性时间线的时序图。对于一些实施方案，时间线信息2000是资产的列表，例如，在用户体验期间这些资产在场景中的相应暂时存在。根据一些实施方案，该时间线信息2000允许观看客户端跟踪在用户体验的哪个时间使用哪些资产，并且确定何时开始新资产的下载和流传输。时间线信息可作为场景图的一部分存储，并且可例如作为每个场景图节点信息的一部分而附上。对于一些实施方案，可跟踪客户端能力。可检测客户端能力的变化，并且响应于检测到客户端能力的变化，可从一个或多个自由度表示中选择表示。

MPD可包括例如不同格式的不同内容元素所要求的初始下载的细节。不同的细节级别(LoD)表示对应于不同的文件大小。另外，时间线信息可包括在MPD中，使得客户端能够及时发起内容下载。基于QoE偏好，客户端可在内容表示之间切换，以在初始下载和例如所需的流传输带宽之间平衡。对于一些实施方案，客户端可在初始启动延时(例如延迟)和图像质量(例如分辨率)之间平衡。这样的过程可实现具有多种空间内容类型的空间场景的基于web的分发，该分发与可控延迟和启动延时平衡。

图20所示的示例性时间线示出了场景的总体视频的时间线2008。示出了与场景相关的两个示例性对象2004、2006(标记为对象1(2004)和对象2(2006))，以及这些示例性对象相对于彼此和相对于总体视频内容2002的相对时序。

图21是示出根据一些实施方案的具有示例性自由度(DoF)和细节级别(LoD)方案的示例性媒体呈现描述(MPD)的数据结构图。图21示出了如何利用一般MPEG-DASH MPD结构2100来组织实现流传输和初始下载平衡的MPD数据。对于一些实施方案，MPD文件2102中的顶层实体是周期2104、2142。每个周期2104、2142提供由空间数据组成的单个一致虚拟场景的信息。例如，单个场景可以是发生交互和/或预定义虚拟体验的单个虚拟环境。虚拟体验可包括若干场景，并且每个场景可包括一个或多个周期块，类似于具有若干场景的电影。根据该示例，每个周期2104、2142可包括场景图2106和一个或多个DoF块2108、2138、2140，每个DoF块包含可用资产和相关联的数据格式、版本和规范的描述。

参考图19和图21两者，DoF分区2108、2138、2140可对应于MPEG-DASH适应集，并且给定DoF 2108、2138、2140下的LoD分区2118、2126、2134可对应于MPEG-DASH表示和片段。对于一些实施方案，媒体块2110、2136可对应于MPEG-DASH表示，并且时间步2112、2114、2116可对应于子表示。对于一些实施方案，时间步2112、2114、2116可包含用于对应的LoD块2118、2126、2134的URL 2120、2122、2124、2128、2130、2132。对于一些实施方案，周期2104、2142可包括用于3DoF表示、3DoF+表示和6DoF表示的DoF块(或DoF表示)2108、2138、2140。

场景图是对场景的结构和行为的描述。该描述可形成为场景元素之间的空间关系的分层描述，以及指示场景元素的交互行为的逻辑。此外，场景图可包含例如与场景音频和物理学相关的信息。对于自适应流传输，场景图可包含关于资产的存在、可用视点和相关联的资产版本的时间线的信息。客户端可使用时间线信息来估计何时开始资产的初始下载(如果适用的话)，以便使资产可用而无需等到使用资产的时候。视点信息可指示可从其观看或检查场景的导航区域的位置和类型。如果资产可以不同格式使用，则视点信息可与资产版本链接。这样的结构可允许存储不同的初始下载、导航自由度或视点。

对于一些实施方案，该MPD结构向客户端提供例如时间线信息和每个资产初始下载规范两者。客户端可使用本地标准来选择资产的提供高(或在一些实施方案中最佳)QoE并且能够以多种格式更准确地对空间内容进行预缓冲的版本，这可避免用户体验期间发生中断。

图22是示出根据一些实施方案的示例性内容服务器运行时过程的流程图。内容服务器可存储要与数据的MPD 2206一起分发的空间数据2212。在示例性运行时过程2200中，内容服务器可在严格的客户端拉取模型中基于客户端请求类型2204来分发数据，如图22所示。如果从观看客户端接收了内容请求，则内容服务器可确定请求类型2204。如果请求类型2204用于新会话，则内容服务器可从存储器检索MPD并将MPD发送2208到观看客户端。如果请求类型2204用于数据片段或初始下载，则内容服务器可从存储器检索空间数据并分别发送2210数据片段或初始下载资产。观看客户端可根据MPD和观看客户端测量的QoE度量来请求空间数据片段，QoE度量可包括可用资源和会话条件。该过程可确定是否请求2214结束处理。如果未接收到结束处理请求，则过程2200可等待2202来自观看客户端的内容请求。过程2200可继续，直到接收到结束处理请求2216。

对于一些实施方案，由内容服务器执行的示例性过程可包括：接收空间数据。空间数据可被预处理并组织成不同版本。内容服务器可分析例如每个内容版本可能需要的初始下载时间。可产生场景的MPD。内容服务器可等待来自观看客户端的内容请求。在接收到内容请求时，内容服务器可将MPD发送到客户端。内容服务器可基于客户端HTTP请求将数据元素传输到客户端，诸如上文参考图22所述的内容传输过程。

图23A至图23B是示出根据一些实施方案的示例性观看客户端过程的流程图。对于一些实施方案，用户启动实现观看客户端的应用程序。用户启动该应用程序并且可指示要观看的内容。对于一些实施方案，该内容是到驻留在内容服务器上的MPD的链接。到MPD的链接可以是识别内容服务器和特定内容的URL。观看客户端应用程序可例如由用户通过明确命令来启动或者由操作系统基于识别内容类型请求和与特定内容类型相关联的应用程序而自动启动。对于一些实施方案，观看客户端是独立应用程序。对于一些实施方案，观看客户端可与web浏览器或社交媒体客户端集成，或者观看客户端可以是操作系统的一部分。对于客户端过程2300的一些实施方案，可从内容服务器请求2302内容。如果启动了观看客户端应用程序，则传感器数据可被初始化，并且传感器可被配置用于数据收集。对于一些实施方案，传感器数据集合收集关于观看客户端可用于调整内容流传输的观看条件的信息。对于一些实施方案，传感器数据可从传感器收集并由观看客户端分析。对于一些实施方案，传感器数据可以是例如来自相机的RGB视频数据或来自深度相机的RGBD数据。对于一些实施方案，可识别用户和显示设备的数量和位置。

如果观看客户端已经初始化2304传感器和配置数据收集，则观看客户端可开始运行时操作，这可在整个内容流传输会话中连续执行。在运行时过程中，观看客户端从内容服务器接收2306 MPD。对于一些实施方案，基于MPD、收集的观看条件信息、应用程序默认设置和用户偏好，应用程序从MPD选择2308空间数据的初始视点，并且根据时间线信息请求数据片段，加载首先使用的资产。根据示例性示例，客户端可例如在由于使用具有初始下载的资产格式引起的等待时间与使用资产格式(诸如可流传输的光场视频)连续消耗的带宽之间进行平衡。对于一些实施方案，平衡基于每个客户端本地标准。

在运行时期间，观看客户端可连续地观察QoE度量和时间线信息，以便能够在资产格式之间交换以实现更好的QoE，并且估计何时开始下载资产。对于一些实施方案，关于何时开始下载资产的估计可基于资产何时可由用户体验使用。对于一些实施方案，关于何时开始下载的估计可确定对资产在当前网络状态下何时可被完全下载的估计。对于一些实施方案，客户端进行的这种预缓冲2316可估计当前有多少多余下载带宽，并且考虑到该多余带宽，每个资产的初始下载可能花费多长时间。对于一些实施方案，可基于时间线来选择2310要请求的内容元素，并且可请求2312初始内容数据。

对于一些实施方案，由观看客户端执行的过程可包括从内容服务器请求特定内容。观看客户端可收集会话特定的观看条件信息。观看客户端可从内容服务器接收MPD。观看客户端可基于例如特定于应用的初始规范来选择2310要使用的内容流。观看客户端可为选定的场景数据流请求2312初始下载，并且可请求实时流传输场景数据的第一片段。观看客户端可显示2320内容。观看客户端可观察2324 QoE度量(诸如网络性能(其可包括可用带宽的消耗)、处理性能(其可包括由操作系统报告的计算负载)、客户端计算性能和会话条件)，并且可基于QoE度量来选择2326要请求的内容流。观看客户端可请求下一个空间数据片段，并且例如，如果需要，开始下载2328初始数据连同实时流传输。观看客户端可暂停流传输以等待2314初始下载完成。观看客户端可重复流的请求2318和处理2322，直到接收到会话终止2332。

对于一些实施方案，QoE度量是观看客户端收集以便使内容流适应于带宽和计算性能限制的数据。应当理解，关于如何实现内容流的适应的细节可能因客户端而异，并且本文和下文所述的情景是示例。例如，可通过测量请求片段和显示片段之间的延迟来测量网络性能。对于一些实施方案，观看客户端可进行调整，使得延迟低于渲染的目标帧速率，以便不会导致内容由于网络带宽而滞后。客户端计算性能可以是使用渲染帧速率的QoE度量。低于给定阈值的渲染可指示内容超过客户端设备可处理的复杂性。这种情况可例如通过减少内容的LoD或通过切换到使用较少渲染计算的内容格式来校正，从而降低渲染复杂性。

对于一些实施方案，可从服务器请求空间内容。对于一些实施方案，可接收关于多个内容元素中的一个或多个内容元素的时间线信息，其中可基于表示大小、估计的带宽和直到显示内容元素为止的回放持续时间来选择内容元素表示。对于一些实施方案，选择内容元素表示可包括：为该多个内容元素表示中的每个内容元素表示确定相应的最小带宽；以及从该多个内容元素表示中选择与可用的最高细节级别相关联的内容元素表示，使得预期带宽超过相应的最小带宽。对于一些实施方案，选择选定的表示可包括为该一个或多个自由度表示中的每个自由度表示确定相应的最小带宽，并且从该一个或多个自由度表示中选择与可用的最高细节级别相关联的选定的表示，使得相应的最小带宽小于可用的跟踪带宽。对于一些实施方案，选择所选表示可包括：为多个内容元素中的一个或多个内容元素确定相应的启动延时；确定所确定的相应启动延时中的最小启动延时；以及选择对应于该最小启动延时的自由度表示。

用于示例性适应控制逻辑的一些实施方案的示例性伪代码在表4中示出。在一些实施方案中，观看客户端可使用适应于特定应用和用例的其他逻辑和伪代码(例如，除了如下所提供的非限制性例示性示例之外)来实现适应控制逻辑。

开始会话

接收MPD

选择初始视点

基于具有最小初始下载大小的格式的时间线来选择所需的资产

观察会话能力

如果启用跟踪

开始收集运动特征

在内容可用时

请求选定的资产

接收选定的资产数据并预缓冲

如果需要初始下载的资产没有完整的初始数据可用并且当前未流

传输替代资产版本

等待初始下载完成

显示内容

观察QoE度量

如果带宽消耗超过阈值

对于所有资产

具有下降的LoD的节省带宽之和为零

如果较低LoD版本可用于当前流传输资产格式

将较低LoD设置为当前选择的流传输资产版本，并且将节省的带宽添加到节省的带宽总和

如果需要可用初始下载具有较小流传输带宽的资产版本

如果初始下载大小可在阈值时间限制内执行，并且一旦初始下载已执行就切换到的资产的列表具有空间并且节省的带宽总和大于零

将要执行的初始下载和列表资产设置为一旦已经执行初始下载就要切换到的资产

如果节省的带宽总和为零

通过在所需的流传输带宽、根据时间线和估计的视觉值(当前视点中的元素的大小、距视点的距离)的资产所需剩余持续时间之间使用加权来选择要从当前选择的资产的列表中移除的流传输资产

否则，如果带宽消耗可增加

如果根据时间线当前可见的资产缺失(由于临时缺乏带宽而被移除)

设置要请求的缺失资产的流传输版本

检查时间线并识别将要变得可见的下一个资产

如果新资产变得可见需要初始下载

如果在资产变得可见之前可利用当前可用的多余带宽执行下载

开始资产下载

如果处理努力超过阈值

如果当前流传输资产的需要较少的处理的版本可用

将需要较少处理的版本设置为当前选择的版本

否则，如果需要初始下载但需要较少处理的版本可用

将要执行的初始下载和列表资产设置为一旦已经执行初始下载就要切换到的资产

如果不能通过切换资产版本来减少所需的处理

选择要从处理中移除的资产，即，通过在所需的处理、根据时间线和估计的视觉值(当前视点中的元素的大小、距视点的距离)的资产所需剩余持续时间之间使用加权来从场景中移除

否则，如果处理努力可增加

如果当前流传输资产的需要较多的处理的版本可用

将需要较多处理的版本设置为当前选择的版本

如果需要初始下载的资产的需要更多处理的版本可用

将要执行的初始下载和列表资产设置为一旦已经执行初始下载就要切换到的资产

表4.适应逻辑伪代码

表4的伪代码说明性非限制性示例中未描述的另一个附加控制元素的一个示例是用户偏好。在一些实施方案中，用户偏好可影响适应。例如，用户偏好可指示对完整3D内容的偏好，但始终允许自由6DoF导航。该偏好可在适应控制逻辑中实现。对于一些实施方案，适应逻辑可指示例如需要使用初始下载而不是流传输版本的资产。

图24是示出根据一些实施方案的示例性过程的流程图。对于一些实施方案，示例性过程2400可包括接收2402清单文件，该清单文件描述空间场景的部分的多个内容元素表示，该个内容元素表示具有用于对应的多个内容元素的关联初始下载和流传输规范。对于一些实施方案，示例性过程2400还可包括确定2404可用于流传输的估计的带宽和下载延迟。对于一些实施方案，示例性过程2400还可包括响应于估计的下载延迟，从该多个内容元素表示中选择2406选定的内容元素表示。对于一些实施方案，示例性过程2400还可包括检索2408选定的内容元素表示的初始下载数据。对于一些实施方案，示例性过程2400还可包括检索2410选定的内容元素表示的流片段。对于一些实施方案，示例性过程2400还可包括显示2412所接收的初始下载数据和流片段。

示例性过程的一些实施方案还可包括从服务器请求空间内容。示例性过程的一些实施方案还可包括显示构成完整的空间数据场景视图的所接收的初始下载数据和流片段。对于示例性过程的一些实施方案，检索选定的内容元素表示的初始下载数据可包括：请求选定的内容元素表示的初始下载数据；以及接收初始下载数据。对于示例性过程的一些实施方案，检索选定的内容元素表示的流片段可包括：请求选定的内容元素表示的流片段；以及接收选定的内容元素表示的流片段。对于一些实施方案，一种装置可包括处理器，和存储指令的非暂态计算机可读介质，这些指令在由处理器执行时可操作以执行任何示例性过程。

对于一些实施方案，示例性过程可包括从服务器请求空间内容。对于一些实施方案，检索选定的内容元素表示的初始下载数据可包括：请求选定的内容元素表示的初始下载数据；以及接收初始下载数据。对于一些实施方案，检索选定的内容元素表示的流片段可包括请求选定的内容元素表示的流片段。

对于一些实施方案，观看客户端可接收清单文件，该清单文件包括：(1)空间场景的部分的多个内容元素表示，其具有用于对应的多个内容元素的关联初始下载和流传输规范，以及(2)关于该多个内容元素中的一个或多个内容元素的时间线信息。对于一些实施方案，观看客户端可执行还包括以下操作的过程：确定可用于流传输内容的估计的带宽；基于估计的带宽、初始下载和流传输规范和时间线信息中的至少一者，从该多个内容元素表示中选择内容元素表示；检索选定的内容元素表示的初始下载数据；以及检索选定的内容元素表示的流片段。

对于一些实施方案，观看客户端可执行包括以下操作的过程：确定多个内容元素表示的相应估计的下载延迟；基于相应估计的下载延迟，从该多个内容元素表示中选择内容元素表示；以及检索选定的内容元素表示的流片段。对于一些实施方案，该过程可包括渲染表示。对于一些实施方案，从一个或多个自由度表示中选择自由度表示可响应于估计的下载延迟。

对于一些实施方案，一种装置可包括：处理器；和存储指令的非暂态计算机可读介质，这些指令在由该处理器执行时可操作以执行上述的示例性过程。

图25是示出根据一些实施方案的另一个示例性过程的流程图。对于一些实施方案，示例性过程2500可包括接收2502用于流传输内容的清单文件，该清单文件识别内容的一个或多个自由度表示。对于一些实施方案，示例性过程2500还可包括跟踪2504可用带宽。对于一些实施方案，示例性过程2500还可包括基于可用带宽来从该一个或多个自由度表示中选择2506选定的表示。对于一些实施方案，示例性过程2500还可包括检索2508选定的表示。对于一些实施方案，示例性过程2500还可包括渲染2510选定的表示。对于一些实施方案，一种装置可包括处理器，和存储指令的非暂态计算机可读介质，这些指令在由该处理器执行时可操作以使该装置执行示例性过程2500或上述方法中的任一种。

虽然在观看客户端的上下文中讨论了根据一些实施方案的方法和系统，但是一些实施方案也可应用于虚拟现实(VR)、混合现实(MR)和增强现实(AR)上下文。一些实施方案可应用于能够例如对于一些实施方案的VR、AR和/或MR的可穿戴设备，诸如头戴式显示器(HMD)(其可以或可以不附接到头部)。

根据一些实施方案的示例性方法可包括：接收用于流传输内容的清单文件，该清单文件识别内容的一个或多个自由度表示；跟踪可用带宽；基于该可用带宽，从该一个或多个自由度表示中选择选定的表示；检索该选定的表示；以及渲染该选定的表示。

对于一些实施方案，该示例性方法还可包括：确定该一个或多个自由度表示的估计的下载延迟；响应于估计的下载延迟，从该一个或多个自由度表示中选择第二表示；检索第二表示；以及渲染第二表示。

对于一些实施方案，该示例性方法还可包括：确定该一个或多个自由度表示的估计的下载延迟；响应于估计的下载延迟，从该一个或多个自由度表示中选择第二表示；检索第二表示的初始下载数据；请求第二表示的流片段；以及显示构成完整的空间数据场景视图的所检索的初始下载数据和流片段。

对于该示例性方法的一些实施方案，该一个或多个自由度表示可包括内容的0DoF表示、3DoF表示、3DoF+表示和6DoF表示。

对于示例性方法的一些实施方案，可进一步基于客户端设备能力和客户端设备运动范围中的至少一者来选择选定的表示。

对于一些实施方案，根据一些实施方案的示例性方法还可包括：跟踪客户端设备的运动范围；检测客户端设备的运动范围的变化；以及响应于检测到客户端设备的运动范围的变化，从该一个或多个自由度表示中选择另一个表示。

对于一些实施方案，根据一些实施方案的示例性方法还可包括：跟踪客户端设备的能力；检测客户端设备的能力的变化；以及响应于检测到客户端设备的能力的变化，从该一个或多个自由度表示中选择另一个表示。

对于一些实施方案，根据一些实施方案的示例性方法还可包括：检测可用带宽的变化；响应于检测到可用带宽的变化，从该一个或多个自由度表示中选择附加的表示；检索该附加的表示；以及渲染该附加的表示。

对于该示例性方法的一些实施方案，选择选定的表示可包括：为该一个或多个自由度表示中的每个自由度表示确定相应的最小带宽；以及从该一个或多个自由度表示中选择与可用的最高细节级别相关联的选定的表示，使得相应的最小带宽小于所跟踪的可用带宽。

对于该示例性方法的一些实施方案，选择选定的表示可包括：为多个内容元素中的一个或多个内容元素确定相应的启动延时；确定所确定的相应启动延时中的最小启动延时；以及选择对应于该最小启动延时的自由度表示。

对于一些实施方案，根据一些实施方案的示例性方法还可包括：确定选定的表示的体验质量(QoE)度量小于阈值；以及响应于确定选定的表示的QoE度量小于阈值，从该一个或多个自由度表示中选择又一个表示。

对于该示例性方法的一些实施方案，QoE度量可以是选自由网络性能、处理性能、客户端计算性能和会话条件组成的组的度量。

对于一些实施方案，根据一些实施方案的示例性方法还可包括：基于用户的视点，从用于选定的自由度表示的一个或多个细节级别表示中选择细节级别表示，其中选定的自由度表示包括该一个或多个细节级别表示。

对于一些实施方案，根据一些实施方案的示例性方法还可包括：将用户的视点限制为用户的观看区域，其中清单文件包括用户的观看区域。

对于一些实施方案，根据一些实施方案的示例性方法还可包括：确定用于处理选定的自由度表示的可用处理能力；以及基于可用处理能力，从用于选定的自由度表示的一个或多个细节级别表示中选择细节级别表示，其中选定的自由度表示包括选定的细节级别表示。

对于一些实施方案，客户端的能力可包括以下中的一者或多者：分辨率、显示大小、像素大小、支持的维度数量、支持的自由度、支持的细节级别、支持的带宽、处理能力、处理性能、启动延时、延迟延时、图像质量和支持的空间内容类型。

对于一些实施方案，清单文件可包括媒体呈现描述(MPD)文件。

根据一些实施方案的示例性装置可包括：处理器；和存储指令的非暂态计算机可读介质，这些指令在由该处理器执行时可操作以使得该装置执行示例性方法的任何实施方案。

根据一些实施方案的示例性方法可包括：在客户端设备处，接收描述内容的多个有序自由度表示的清单文件；在该客户端设备处，估计可用于将该内容流传输到该客户端设备的带宽；在该客户端设备处，从该多个有序自由度表示中选择第一自由度表示；在该客户端设备处，检测可用于流传输该内容的带宽的变化；响应于检测到可用带宽的变化，在该客户端设备处，从该多个有序自由度表示中选择第二自由度表示；以及请求该第二自由度表示。

根据一些实施方案的示例性装置可包括：处理器；和存储指令的非暂态计算机可读介质，这些指令在由该处理器执行时可操作以执行上文列出的示例性方法。

在示例性方法的一些实施方案中，估计可用于将内容流传输到客户端设备的带宽可包括检测可用于流传输内容的带宽的变化，并且响应于估计可用带宽的变化来选择第二自由度表示可包括响应于检测到可用于流传输内容的带宽的变化来选择第二自由度表示。

在示例性方法的一些实施方案中，清单文件包括媒体呈现描述(MPD)文件。

在示例性方法的一些实施方案中，该多个自由度表示可包括内容的0DoF表示、3DoF表示、3DoF+表示和6DoF表示。

在示例性方法的一些实施方案中，可用带宽的变化可被估计为减小，并且第二自由度表示可包括较低自由度。

在示例性方法的一些实施方案中，可用带宽的变化可被估计为增大，并且第二自由度表示包括较高自由度。

示例性方法的一些实施方案还可包括：确定用于处理第二自由度表示的可用处理能力；以及基于可用处理能力，从用于第二自由度表示的多个细节级别表示中选择细节级别表示，其中第二自由度表示可包括该多个细节级别表示。

在示例性方法的一些实施方案中，可用处理能力可包括选自由局部渲染能力和视图内插能力组成的组的至少一个参数。

示例性方法的一些实施方案还可包括：跟踪客户端的运动范围；以及响应于检测到客户端的运动范围减小，从该多个有序自由度表示中选择第三自由度表示，其中该第三自由度表示的自由度可小于第二自由度表示的自由度。

示例性方法的一些实施方案还可包括为第二自由度表示渲染内容。

示例性方法的一些实施方案还可包括：确定内容的体验质量(QoE)度量；基于该QoE度量，从该多个有序自由度表示中选择第三自由度表示；以及从流传输服务器请求该第三自由度表示。

在示例性方法的一些实施方案中，QoE度量可选自由以下各项组成的组：网络性能、处理性能和会话条件。

示例性方法的一些实施方案还可包括基于QoE度量从用于第三自由度表示的多个细节级别表示中选择细节级别表示，其中第三自由度表示可包括该多个细节级别表示。

示例性方法的一些实施方案还可包括确定用户的视点，其中渲染内容根据用户的视点来渲染内容。

示例性方法的一些实施方案还可包括：基于用户的视点，从多个有序自由度表示中选择第三自由度表示；以及从流传输服务器请求该第三自由度表示。

示例性方法的一些实施方案还可包括基于用户的视点从用于第三自由度表示的多个细节级别表示中选择细节级别表示，其中第三自由度表示可包括该多个细节级别表示。

示例性方法的一些实施方案还可包括将用户的视点限制为用户的观看区域，其中清单文件可包括用户的观看区域。

示例性方法的一些实施方案还可包括将用户的视点限制为用户的观看区域和用户的导航区域的组合，其中清单文件可包括用户的导航区域。

根据一些实施方案的示例性装置可包括：处理器；和存储指令的非暂态计算机可读介质，这些指令在由该处理器执行时可操作以执行包括例如上述观看客户端的客户端设备的任何方法。

根据一些实施方案的另一个示例性方法可包括：在内容服务器例如流传输内容服务器处，接收对描述内容的多个有序自由度表示的清单文件的请求；生成该内容的清单文件；向客户端设备发送该清单文件；从该客户端设备接收对该内容的数据片段的请求；以及向该客户端设备发送该内容的数据片段，其中该多个有序自由度表示中的至少一个自由度表示可包括该内容的至少两个细节级别表示。

在示例性方法的一些实施方案中，对数据片段的请求指示从该多个有序自由度表示中选择的选定的自由度表示，清单文件内的选定的自由度表示包括多个细节级别表示，并且对数据片段的请求指示从该多个细节级别表示中选择的选定的细节级别。

在示例性方法的一些实施方案中，发送到客户端设备的数据片段匹配选定的自由度表示和选定的细节级别表示。

根据一些实施方案的示例性装置可包括：处理器；存储指令的非暂态计算机可读介质，这些指令在由处理器执行时可操作以执行上述的内容服务器的任何方法。

根据一些实施方案的示例性方法可包括：接收场景的空间数据；生成该空间数据的有序细节级别(LoD)版本；生成该空间数据的有序自由度(DoF)版本；生成该场景的媒体呈现描述(MPD)；响应于从观看客户端接收到内容请求，向该观看客户端发送该MPD；以及向该观看客户端传输用于内容请求的数据元素。

根据一些实施方案的示例性装置可包括：处理器；存储指令的非暂态计算机可读介质，这些指令在由处理器执行时可操作以执行包括以下操作的方法：接收场景的空间数据；生成该空间数据的有序细节级别(LoD)版本；生成该空间数据的有序自由度(DoF)版本；生成该场景的媒体呈现描述(MPD)；响应于从观看客户端接收到内容请求，向该观看客户端发送该MPD；以及向该观看客户端传输用于内容请求的数据元素。

根据一些实施方案的示例性方法可包括：从内容服务器请求场景的内容；收集关于特定于会话的观看条件的信息；从该内容服务器接收用于该场景的媒体呈现描述(MPD)；选择视点作为该场景的初始视点；使用特定于应用的初始要求来请求该场景的一组初始内容片段；将一组当前内容片段设置为该组初始内容片段；以及连续重复内容请求和显示过程，直到接收到会话终止，该内容请求和显示过程包括：显示该组当前内容片段；响应于处理场景逻辑和用户反馈输入，更新该场景的视点；确定体验质量(QoE)度量；更新适应于该QoE度量的LoD级别和DoF级别；更新适应于该QoE度量的LoD级别和DoF级别；请求该场景的与所更新的LoD级别和DoF级别匹配的一组更新的内容片段；以及将该组当前内容片段设置为该组更新的内容片段。

在示例性方法的一些实施方案中，特定于应用的初始要求包括LoD和DoF的初始级别。

根据一些实施方案的示例性装置可包括：处理器；存储指令的非暂态计算机可读介质，这些指令在由该处理器执行时可操作以执行包括以下操作的方法：从内容服务器请求场景的内容；收集关于特定于会话的观看条件的信息；从该内容服务器接收用于该场景的媒体呈现描述(MPD)；选择视点作为该场景的初始视点；使用特定于应用的初始要求来请求该场景的一组初始内容片段；将一组当前内容片段设置为该组初始内容片段；以及连续重复内容请求和显示过程，直到接收到会话终止，该内容请求和显示过程包括：显示该组当前内容片段；响应于处理场景逻辑和用户反馈输入，更新该场景的视点；确定体验质量(QoE)度量；更新适应于该QoE度量的LoD级别和DoF级别；更新适应于该QoE度量的LoD级别和DoF级别；请求该场景的与所更新的LoD级别和DoF级别匹配的一组更新的内容片段；以及将该组当前内容片段设置为该组更新的内容片段。

根据一些实施方案的另一个示例性方法可包括：接收描述用于内容的有序适应集的清单文件；估计可用于将内容流传输到观看客户端的带宽；基于所估计的可用带宽来选择初始适应集；响应于估计可用带宽的变化，从清单文件中描述的有序适应集中选择更新的适应集；请求用于更新的适应集的内容流；接收用于更新的适应集的内容流；以及显示用于更新的适应集的内容流。

另一种示例性方法的一些实施方案还可包括：测量体验质量(QoE)度量；基于该QoE度量来更新适应集；以及基于估计的带宽和QoE度量来选择对应于更新的适应集的表示内容类型。

根据一些实施方案的另一种示例性装置可包括：处理器，和存储指令的非暂态计算机可读介质，这些指令在由处理器执行时可操作以执行包括以下操作的方法：从服务器请求空间内容；接收清单文件，该清单文件描述空间内容的部分的多个内容元素表示，该多个内容元素表示具有用于对应的多个内容元素的关联初始下载和流传输规范；确定可用于流传输的估计的带宽和估计的下载延迟；响应于估计的下载延迟，从该多个内容元素表示中选择内容元素表示；请求选定的内容元素表示的初始下载数据；接收初始下载数据；请求选定的内容元素表示的流片段；以及显示构成完整的空间数据场景视图的所接收的初始下载数据和所述流片段。

根据一些实施方案的另一个示例性方法可包括：从服务器请求空间内容；接收清单文件，该清单文件描述空间内容的部分的多个内容元素表示，该多个内容元素表示具有用于对应的多个内容元素的关联初始下载和流传输规范；确定可用于流传输的估计的带宽和下载延迟；响应于估计的下载延迟，从该多个内容元素表示中选择选定的内容元素表示；请求选定的内容元素表示的初始下载数据；接收初始下载数据；请求选定的内容元素表示的流片段；以及显示构成完整的空间数据场景视图的所接收的初始下载数据和流片段。

根据一些实施方案的另一个示例性装置可包括：处理器；和存储指令的非暂态计算机可读介质，这些指令在由处理器执行时可操作以执行包括以下操作的方法：从服务器请求空间内容；接收清单文件，该清单文件描述空间内容的部分的多个内容元素表示，该多个内容元素表示具有用于对应的多个内容元素的关联初始下载和流传输规范；确定可用于流传输的估计的带宽和估计的下载延迟；响应于估计的下载延迟，从该多个内容元素表示中选择内容元素表示；请求选定的内容元素表示的初始下载数据；接收初始下载数据；请求选定的内容元素表示的流片段；以及显示构成完整的空间数据场景视图的所接收的初始下载数据和流片段。

根据一些实施方案的示例性方法可包括：接收清单文件，该清单文件描述空间场景的部分的多个内容元素表示，该多个内容元素表示具有用于对应的多个内容元素的关联初始下载和流传输规范；确定可用于流传输的估计的带宽和下载延迟；响应于估计的下载延迟，从该多个内容元素表示中选择选定的内容元素表示；检索选定的内容元素表示的初始下载数据；检索选定的内容元素表示的流片段；以及显示所接收的初始下载数据和流片段。

示例性方法的一些实施方案还可包括从服务器请求空间内容。

对于示例性方法的一些实施方案，所接收的初始下载数据和流片段可构成完整的空间数据场景视图。

示例性方法的一些实施方案还可包括：接收关于该多个内容元素中的一个或多个内容元素的时间线信息，其中可基于表示大小、估计的带宽和直到显示内容元素为止的回放持续时间来选择内容元素表示。

对于示例性方法的一些实施方案，可基于表示大小、估计的带宽和直到显示内容元素为止的回放持续时间来选择内容元素表示。

对于示例性方法的一些实施方案，选择内容元素表示可包括：为该多个内容元素表示中的每个内容元素表示确定相应的最小带宽；以及从该多个内容元素表示中选择与可用的最高细节级别相关联的内容元素表示，使得估计的带宽超过相应的最小带宽。

对于示例性方法的一些实施方案，清单文件可包括关于该多个内容元素中的一个或多个内容元素的时间线信息，并且可基于时间线信息选择内容元素表示。

对于示例性方法的一些实施方案，选择内容元素表示可包括：为该多个内容元素中的一个或多个内容元素确定相应的启动延时；确定所确定的相应启动延时中的最小启动延时；以及选择对应于最小启动延时的内容元素表示，其中时间线信息可包括关于该多个内容元素中的一个或多个内容元素的相应启动延时的信息。

示例性方法的一些实施方案还可包括：确定选定的内容元素表示的体验质量(QoE)度量小于阈值；以及从该多个内容元素表示中选择第二内容元素表示。

对于示例性方法的一些实施方案，选择第二内容元素表示可包括确定对应于第二内容元素表示的QoE度量超过最小阈值。

对于示例性方法的一些实施方案，QoE度量可以是选自由网络性能、处理性能、客户端计算性能和会话条件组成的组的度量。

示例性方法的一些实施方案还可包括：检索第二内容元素表示的流片段；以及显示第二内容元素表示的流片段。

根据一些实施方案的示例性装置可包括：处理器；和存储指令的非暂态计算机可读介质，这些指令在由处理器执行时可操作以执行任何示例性方法。

根据一些实施方案的另外的示例性方法可包括：接收清单文件，该清单文件描述：(1)空间场景的部分的多个内容元素表示，其具有用于对应的多个内容元素的关联初始下载和流传输规范，以及(2)关于该多个内容元素中的一个或多个内容元素的时间线信息；确定可用于流传输内容的估计的带宽；基于估计的带宽、初始下载和流传输规范和时间线信息中的至少一者，从该多个内容元素表示中选择内容元素表示；检索选定的内容元素表示的初始下载数据；以及检索选定的内容元素表示的流片段。

另外的示例性方法的一些实施方案还可包括显示所接收的初始下载数据和流片段。

对于另外的示例性方法的一些实施方案，选择内容元素表示可包括：确定与该多个内容元素表示中的一个或多个内容元素表示的初始下载规范相关联的相应延迟时间；以及选择该多个内容元素表示中的一个内容元素表示，其中选定的内容元素表示的延迟时间可小于阈值。

另外的示例性方法的一些实施方案还可包括确定该多个内容元素表示中的每个内容元素表示的相应延迟时间，其中选择内容元素表示使用所确定的相应延迟时间。

另外的示例性方法的一些实施方案还可包括确定选定的内容元素表示的体验质量(QoE)度量；以及基于所确定的QoE度量从该多个内容元素表示中选择第二内容元素表示。

对于另外的示例性方法的一些实施方案，选择第二内容元素表示可包括确定对应于第二内容元素表示的QoE度量超过最小阈值。

对于另外的示例性方法的一些实施方案，QoE度量可以是选自由网络性能、处理性能、客户端计算性能和会话条件组成的组的度量。

根据一些实施方案的另外的示例性装置可包括：处理器；和存储指令的非暂态计算机可读介质，这些指令在由处理器执行时可操作以执行任何另外的示例性方法。

根据一些实施方案的另一个示例性装置可包括：确定多个内容元素表示的相应估计的下载延迟；基于相应估计的下载延迟，从该多个内容元素表示中选择内容元素表示；以及检索选定的内容元素表示的流片段。

根据一些实施方案，由观看客户端执行的将内容流传输动态地适应于具有客户端限制和可用连接能力的观看条件的另一个示例性方法可包括：至少部分地基于关于由内容服务器提供的内容的流清单元数据信息，从由该内容服务器提供的一组可用流中选择内容流，其中该清单文件元数据信息形成媒体呈现描述(MPD)文件的一部分，并且考虑该内容服务器、可用连接和观看客户端的特定能力；以及至少利用清单元数据信息来根据下载、流传输和QoE度量约束将内容流动态地提供到显示器，其中选择内容流还至少部分地基于以下中的至少一者：与观看客户端相关的关于与该内容相关的观看条件的情境信息；相对于观看客户端的可用连接能力的可用带宽；或观看客户端的可用处理资源。

根据一些实施方案的示例性方法可包括空间内容的自适应流传输在初始下载和运行时流传输之间平衡。

根据一些实施方案的示例性方法可包括：接收包括时间线信息的媒体清单文件；以及选择对应于时间线信息的内容下载。

根据一些实施方案的示例性方法可包括估计可用于流传输的带宽和下载延迟。

根据一些实施方案的示例性方法可包括响应于估计的下载延迟，从所述多个表示中选择表示。

根据一些实施方案的示例性方法可包括选择和发起初始下载以最小化启动延时。

根据一些实施方案的示例性方法可包括：观察体验质量度量；以及调整选定的内容表示。

需注意，所描述的实施方案中的一个或多个实施方案的各种硬件元件被称为进行(即，执行、实行等)本文结合相应模块所描述的各种功能的“模块”。如本文所用，模块包括相关领域的技术人员认为适合于给定具体实施的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。每个所述的模块还可包括用于执行被描述为由相应模块执行的一个或多个功能的可执行指令，并且需注意，这些指令可采取以下指令的形式或包括以下指令：硬件(即，硬连线)指令、固件指令、软件指令等，并且可被存储在任何合适的一个或多个非暂态计算机可读介质(诸如通常称为RAM、ROM等)中。

尽管上文以特定组合描述了特征和元件，但是本领域的普通技术人员将理解，每个特征或元件可单独使用或以与其他特征和元件的任何组合来使用。另外，本文所述的方法可在结合于计算机可读介质中以供计算机或处理器执行的计算机程序、软件或固件中实现。计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓存存储器、半导体存储器设备、磁介质(诸如内置硬盘和可移动磁盘)、磁光介质和光介质(诸如CD-ROM磁盘和数字通用光盘(DVD))。与软件相关联的处理器可用于实现用于WTRU、UE、终端、基站、RNC或任何主计算机的射频收发器。

Claims (77)

1.一种方法，所述方法包括：

接收用于流传输内容的清单文件，所述清单文件识别内容的一个或多个自由度表示；

跟踪可用带宽；

基于所述可用带宽，从所述一个或多个自由度表示中选择选定的表示；

检索所述选定的表示；以及

渲染所述选定的表示。

2.根据权利要求1所述的方法，还包括：

确定所述一个或多个自由度表示的估计的下载延迟；

响应于所述估计的下载延迟，从所述一个或多个自由度表示中选择第二表示；

检索所述第二表示；以及

渲染所述第二表示。

3.根据权利要求1所述的方法，还包括：

确定所述一个或多个自由度表示的估计的下载延迟；

响应于所述估计的下载延迟，从所述一个或多个自由度表示中选择第二表示；

检索所述第二表示的初始下载数据；

请求所述第二表示的流片段；以及

显示构成完整的空间数据场景视图的所检索的初始下载数据和所述流片段。

4.根据权利要求1至3中任一项所述的方法，其中所述一个或多个自由度表示包括内容的0DoF表示、3DoF表示、3DoF+表示和6DoF表示。

5.根据权利要求1至4中任一项所述的方法，其中进一步基于客户端设备的能力和所述客户端设备的运动范围中的至少一者来选择所述选定的表示。

6.根据权利要求5所述的方法，还包括：

跟踪所述客户端设备的所述运动范围；

检测所述客户端设备的所述运动范围的变化；以及

响应于检测到所述客户端设备的所述运动范围的所述变化，从所述一个或多个自由度表示中选择另一个表示。

7.根据权利要求5所述的方法，还包括：

跟踪所述客户端设备的所述能力；

检测所述客户端设备的所述能力的变化；以及

响应于检测到所述客户端设备的所述能力的所述变化，从所述一个或多个自由度表示中选择另一个表示。

8.根据权利要求1至7中任一项所述的方法，还包括：

检测所述可用带宽的变化；

响应于检测到所述可用带宽的所述变化，从所述一个或多个自由度表示中选择附加的表示；

检索所述附加的表示；以及

渲染所述附加的表示。

9.根据权利要求1至8中任一项所述的方法，其中选择所述选定的表示包括：

为所述一个或多个自由度表示中的每个自由度表示确定相应的最小带宽；以及

从所述一个或多个自由度表示中选择与可用的最高细节级别相关联的所述选定的表示，使得所述相应的最小带宽小于所跟踪的可用带宽。

10.根据权利要求1至8中任一项所述的方法，其中选择所述选定的表示包括：

为多个内容元素中的一个或多个内容元素确定相应的启动延时；

确定所确定的相应启动延时中的最小启动延时；以及

选择对应于所述最小启动延时的所述自由度表示。

11.根据权利要求1至10中任一项所述的方法，还包括：

确定所述选定的表示的体验质量(QoE)度量小于阈值；以及

响应于确定所述选定的表示的所述QoE度量小于所述阈值，从所述一个或多个自由度表示中选择又一个表示。

12.根据权利要求11所述的方法，其中所述QoE度量是选自由网络性能、处理性能、客户端计算性能和会话条件组成的组的度量。

13.根据权利要求1至12中任一项所述的方法，还包括：

基于用户的视点，从用于所述选定的自由度表示的一个或多个细节级别表示中选择细节级别表示，

其中所述选定的自由度表示包括所述一个或多个细节级别表示。

14.根据权利要求13所述的方法，还包括：

将所述用户的所述视点限制为所述用户的观看区域，

其中所述清单文件包括所述用户的所述观看区域。

15.根据权利要求1至14中任一项所述的方法，还包括：

确定用于处理所述选定的自由度表示的可用处理能力；以及

基于所述可用处理能力，从用于所述选定的自由度表示的一个或多个细节级别表示中选择细节级别表示，

其中所述选定的自由度表示包括所述选定的细节级别表示。

16.根据权利要求1至15中任一项所述的方法，其中所述客户端设备的所述能力包括以下中的一者或多者：分辨率、显示大小、像素大小、支持的维度数量、支持的自由度、支持的细节级别、支持的带宽、处理能力、处理性能、启动延时、延迟延时、图像质量和支持的空间内容类型。

17.根据权利要求1至16中任一项所述的方法，其中所述清单文件包括媒体呈现描述(MPD)文件。

18.一种装置，所述装置包括：

处理器；和

存储指令的非暂态计算机可读介质，所述指令在由所述处理器执行时可操作以使所述装置执行根据权利要求1至17中任一项所述的方法。

19.一种方法，所述方法包括：

在客户端设备处，接收描述内容的多个有序自由度表示的清单文件；

在所述客户端设备处，估计可用于将所述内容流传输到所述客户端设备的带宽；

在所述客户端设备处，从所述多个有序自由度表示中选择第一自由度表示；

在所述客户端设备处，检测可用于流传输所述内容的所述带宽的变化；

响应于检测到所述可用带宽的所述变化，在所述客户端设备处，从所述多个有序自由度表示中选择第二自由度表示；以及

请求所述第二自由度表示。

20.一种装置，所述装置包括：

处理器；和

存储指令的非暂态计算机可读介质，所述指令在由所述处理器执行时可操作以执行根据权利要求19所述的方法。

21.一种方法，所述方法包括：

在客户端设备处，接收描述内容的多个有序自由度表示的清单文件；

估计可用于将内容流传输到所述客户端设备的带宽；

从所述多个有序自由度表示中选择第一自由度表示；

检测可用于流传输所述内容的所述带宽的变化；

响应于估计所述可用带宽的变化，在所述客户端设备处，从所述多个有序自由度表示中选择第二自由度表示；以及

从服务器请求所述第二自由度表示。

22.根据权利要求21所述的方法，其中所述清单文件包括媒体呈现描述(MPD)文件。

23.根据权利要求21至22中任一项所述的方法，其中所述多个自由度表示包括所述内容的0DoF表示、3DoF表示、3DoF+表示和6DoF表示。

24.根据权利要求21至23中任一项所述的方法，

其中所述可用带宽的所述变化被估计为减小，并且

其中所述第二自由度表示包括较低自由度。

25.根据权利要求21至24中任一项所述的方法，

其中所述可用带宽的所述变化被估计为增大，并且

其中所述第二自由度表示包括较高自由度。

26.根据权利要求21至25中任一项所述的方法，还包括：

确定用于处理所述第二自由度表示的可用处理能力；以及

基于所述可用处理能力，从用于所述第二自由度表示的多个细节级别表示中选择细节级别表示，

其中所述第二自由度表示包括所述多个细节级别表示。

27.根据权利要求21至26中任一项所述的方法，其中所述可用处理能力包括选自由局部渲染能力和视图内插能力组成的组的至少一个参数。

28.根据权利要求21至27中任一项所述的方法，还包括：

跟踪所述客户端的运动范围；以及

响应于检测到所述客户端的所述运动范围的减小，从所述多个有序自由度表示中选择第三自由度表示，

其中所述第三自由度表示的自由度小于所述第二自由度表示的自由度。

29.根据权利要求21至28中任一项所述的方法，还包括为所述第二自由度表示渲染所述内容。

30.根据权利要求21至29中任一项所述的方法，还包括：

确定所述内容的体验质量(QoE)度量；

基于所述QoE度量，从所述多个有序自由度表示中选择第三自由度表示；以及

从流传输服务器请求所述第三自由度表示。

31.根据权利要求21至30中任一项所述的方法，其中所述QoE度量选自由网络性能、处理性能和会话条件组成的组。

32.根据权利要求21至31中任一项所述的方法，还包括：

基于所述QoE度量，从用于所述第三自由度表示的多个细节级别表示中选择细节级别表示，

其中所述第三自由度表示包括所述多个细节级别表示。

33.根据权利要求21至32中任一项所述的方法，还包括：

确定用户的视点，

其中渲染所述内容根据所述用户的所述视点来渲染所述内容。

34.根据权利要求21至33中任一项所述的方法，还包括：

基于所述用户的所述视点，从所述多个有序自由度表示中选择第三自由度表示；以及

从流传输服务器请求所述第三自由度表示。

35.根据权利要求21至34中任一项所述的方法，还包括：

基于所述用户的所述视点，从用于所述第三自由度表示的多个细节级别表示中选择细节级别表示，

其中所述第三自由度表示包括所述多个细节级别表示。

36.根据权利要求21至35中任一项所述的方法，还包括：

将用户的视点限制为所述用户的观看区域，

其中所述清单文件包括所述用户的所述观看区域。

37.根据权利要求21至36中任一项所述的方法，还包括：

将用户的视点限制为所述用户的所述观看区域和所述用户的导航区域的组合，

其中所述清单文件包括所述用户的所述导航区域。

38.一种装置，所述装置包括：

处理器；

存储指令的非暂态计算机可读介质，所述指令在由所述处理器执行时可操作以执行根据权利要求21至37中任一项所述的方法。

39.一种方法，所述方法包括：

在内容服务器处，接收对描述内容的多个有序自由度表示的清单文件的请求；

生成所述内容的所述清单文件；

向客户端设备发送所述清单文件；

从所述客户端设备接收对所述内容的数据片段的请求；以及

向所述客户端设备发送所述内容的所述数据片段，

其中所述多个有序自由度表示中的至少一个自由度表示包括所述内容的至少两个细节级别表示。

40.根据权利要求39所述的方法，

其中对所述数据片段的所述请求指示从所述多个有序自由度表示中选择的选定的自由度表示，

其中所述清单文件内的所述选定的自由度表示包括多个细节级别表示，并且

其中对所述数据片段的所述请求指示从所述多个细节级别表示中选择的选定的细节级别表示。

41.根据权利要求39至40中任一项所述的方法，其中发送到所述客户端设备的所述数据片段匹配所述选定的自由度表示和所述选定的细节级别表示。

42.一种装置，所述装置包括：

处理器；

存储指令的非暂态计算机可读介质，所述指令在由所述处理器执行时可操作以执行根据权利要求39至41中任一项所述的方法。

43.一种方法，所述方法包括：

接收场景的空间数据；

生成所述空间数据的有序细节级别(LoD)版本；

生成所述空间数据的有序自由度(DoF)版本；

生成所述场景的媒体呈现描述(MPD)；

响应于从观看客户端接收到内容请求，向所述观看客户端发送所述MPD；以及

向所述观看客户端传输用于所述内容请求的数据元素。

44.一种装置，所述装置包括：

处理器：

存储指令的非暂态计算机可读介质，所述指令在由所述处理器执行时可操作以执行根据权利要求43所述的方法。

45.一种方法，所述方法包括：

从内容服务器请求场景的内容；

收集关于特定于会话的观看条件的信息；

从所述内容服务器接收用于所述场景的媒体呈现描述(MPD)；

选择视点作为所述场景的初始视点；

使用特定于应用的初始要求来请求所述场景的一组初始内容片段；

将一组当前内容片段设置为所述一组初始内容片段；以及

连续重复内容请求和显示过程，直到接收到会话终止，所述内容请求和显示过程包括：

显示所述一组当前内容片段；

响应于处理场景逻辑和用户反馈输入，更新所述场景的所述视点；

确定体验质量(QoE)度量；

更新适应于所述QoE度量的LoD级别和DoF级别；

请求所述场景的与所更新的LoD级别和DoF级别匹配的一组更新的内容片段；以及

将所述一组当前内容片段设置为所述一组更新的内容片段。

46.根据权利要求45所述的方法，其中所述特定于应用的初始要求包括所述LoD和DoF的初始级别。

47.一种装置，所述装置包括：

处理器；

存储指令的非暂态计算机可读介质，所述指令在由所述处理器执行时可操作以执行根据权利要求45至46中任一项所述的方法。

48.一种方法，所述方法包括：

接收描述用于内容的有序适应集的清单文件；

估计可用于将内容流传输到观看客户端的带宽；

基于所估计的可用带宽来选择初始适应集；

响应于估计所述可用带宽的变化，从所述清单文件中描述的所述有序适应集中选择更新的适应集；

请求用于所述更新的适应集的内容流；

接收用于所述更新的适应集的所述内容流；以及

显示用于所述更新的适应集的所述内容流。

49.根据权利要求48所述的方法，还包括：

测量体验质量(QoE)度量；

基于所述QoE度量来更新所述适应集；以及

基于所述估计的带宽和QoE度量来选择对应于所述更新的适应集的表示内容类型。

50.一种装置，所述装置包括：

处理器；

存储指令的非暂态计算机可读介质，所述指令在由所述处理器执行时可操作以执行根据权利要求48至49中任一项所述的方法。

51.一种方法，所述方法包括：

从服务器请求空间内容；

接收清单文件，所述清单文件描述所述空间内容的部分的多个内容元素表示，所述多个内容元素表示具有用于对应的多个内容元素的关联初始下载和流传输规范；

确定可用于流传输的估计的带宽和估计的下载延迟；

响应于所述估计的下载延迟，从所述多个内容元素表示中选择内容元素表示；

请求所述选定的内容元素表示的初始下载数据；

接收所述初始下载数据；

请求所述选定的内容元素表示的流片段；以及

显示构成完整的空间数据场景视图的所接收的初始下载数据和所述流片段。

52.一种装置，所述装置包括：

处理器；和

存储指令的非暂态计算机可读介质，所述指令在由所述处理器执行时可操作以执行根据权利要求51所述的方法。

53.一种方法，所述方法包括：

接收清单文件，所述清单文件描述空间场景的部分的多个内容元素表示，所述多个内容元素表示具有用于对应的多个内容元素的关联初始下载和流传输规范；

确定可用于流传输的估计的带宽和估计的下载延迟；

响应于所述估计的下载延迟，从所述多个内容元素表示中选择选定的内容元素表示；

检索所述选定的内容元素表示的初始下载数据；

检索所述选定的内容元素表示的流片段；以及

显示所接收的初始下载数据和所述流片段。

54.根据权利要求53所述的方法，还包括从服务器请求空间内容。

55.根据权利要求53至54中任一项所述的方法，其中所接收的初始下载数据和所述流片段构成完整的空间数据场景视图。

56.根据权利要求53至55中任一项所述的方法，还包括：

接收关于所述多个内容元素中的一个或多个内容元素的时间线信息，

其中基于表示大小、所述估计的带宽和直到显示所述内容元素为止的回放持续时间来选择所述内容元素表示。

57.根据权利要求53至56中任一项所述的方法，其中选择所述内容元素表示基于表示大小、所述估计的带宽或直到显示所述内容元素为止的回放持续时间中的至少一者。

58.根据权利要求53至57中任一项所述的方法，其中选择所述内容元素表示包括：

为所述多个内容元素表示中的每个内容元素表示确定相应的最小带宽；以及

从所述多个内容元素表示中选择与可用的最高细节级别相关联的所述内容元素表示，使得所述估计的带宽超过所述相应的最小带宽。

59.根据权利要求53至58中任一项所述的方法，

其中所述清单文件包括关于所述多个内容元素中的一个或多个内容元素的时间线信息，并且

其中选择所述内容元素表示是基于所述时间线信息。

60.根据权利要求59所述的方法，其中选择所述内容元素表示包括：

为所述多个内容元素中的一个或多个内容元素确定相应的启动延时；

确定所确定的相应启动延时中的最小启动延时；以及

选择对应于所述最小启动延时的所述内容元素表示，

其中所述时间线信息包括关于所述多个内容元素中的一个或多个内容元素的所述相应启动延时的信息。

61.根据权利要求53至60中任一项所述的方法，还包括：

确定所述选定的内容元素表示的体验质量(QoE)度量小于阈值；以及

从所述多个内容元素表示中选择第二内容元素表示。

62.根据权利要求61所述的方法，其中选择所述第二内容元素表示包括确定对应于所述第二内容元素表示的所述QoE度量超过最小阈值。

63.根据权利要求61所述的方法，其中所述QoE度量是选自由网络性能、处理性能、客户端计算性能和会话条件组成的组的度量。

64.根据权利要求53至63中任一项所述的方法，还包括：

检索所述第二内容元素表示的流片段；以及

显示所述第二内容元素表示的所述流片段。

65.一种装置，所述装置包括：

处理器；和

存储指令的非暂态计算机可读介质，所述指令在由所述处理器执行时可操作以执行根据权利要求53至64中任一项所述的方法。

66.一种方法，所述方法包括：

接收清单文件，所述清单文件描述：(1)空间场景的部分的多个内容元素表示，所述多个内容元素表示具有用于对应的多个内容元素的关联初始下载和流传输规范，以及(2)关于所述多个内容元素中的一个或多个内容元素的时间线信息；

确定可用于流传输内容的估计的带宽；

基于所述估计的带宽、所述初始下载和流传输规范和所述时间线信息中的至少一者，从所述多个内容元素表示中选择内容元素表示；

检索所述选定的内容元素表示的初始下载数据；以及

检索所述选定的内容元素表示的流片段。

67.根据权利要求66所述的方法，还包括显示所接收的初始下载数据和所述流片段。

68.根据权利要求66至67中任一项所述的方法，其中选择所述内容元素表示包括：

确定与用于所述多个内容元素表示中的一个或多个内容元素表示的所述初始下载规范相关联的相应延迟时间；以及

选择所述多个内容元素表示中的一个内容元素表示，

其中所述选定的内容元素表示的所述延迟时间小于阈值。

69.根据权利要求66至68中任一项所述的方法，还包括：

为所述多个内容元素表示中的每个内容元素表示确定相应的延迟时间，

其中选择所述内容元素表示使用所确定的相应延迟时间。

70.根据权利要求66至69中任一项所述的方法，还包括：

确定所述选定的内容元素表示的体验质量(QoE)度量；以及

基于所确定的QoE度量，从所述多个内容元素表示中选择第二内容元素表示。

71.根据权利要求70所述的方法，其中选择所述第二内容元素表示包括确定对应于所述第二内容元素表示的所述QoE度量超过最小阈值。

72.根据权利要求70所述的方法，其中所述QoE度量是选自由网络性能、处理性能、客户端计算性能和会话条件组成的组的度量。

73.一种装置，所述装置包括：

处理器；和

存储指令的非暂态计算机可读介质，所述指令在由所述处理器执行时可操作以执行根据权利要求66至72中任一项所述的方法。

74.一种方法，所述方法包括：

确定多个内容元素表示的相应估计的下载延迟；

基于所述相应估计的下载延迟，从所述多个内容元素表示中选择内容元素表示；以及

检索所述选定的内容元素表示的流片段。

75.一种装置，所述装置包括：

处理器；和

存储指令的非暂态计算机可读介质，所述指令在由所述处理器执行时可操作以执行根据权利要求74所述的方法。

76.一种由观看客户端执行的将内容流传输动态地适应于具有客户端限制和可用连接能力的观看条件的方法，所述方法包括：

至少部分地基于关于由内容服务器提供的内容的流传输清单元数据信息，从由所述内容服务器提供的一组可用流中选择所述内容的流，其中所述清单元数据信息形成媒体呈现描述(MPD)文件的一部分，并且考虑所述内容服务器、所述可用连接和所述观看客户端的特定能力；以及

至少利用所述清单元数据信息来根据下载、流传输和QoE度量约束将所述内容流动态地提供到显示器，

其中选择所述内容流还至少部分地基于以下中的至少一者：与所述观看客户端相关的关于与所述内容相关的观看条件的情境信息；相对于所述观看客户端的可用连接能力的可用带宽；或所述观看客户端的可用处理资源。

77.一种装置，所述装置包括：

处理器；和

存储指令的非暂态计算机可读介质，所述指令在由所述处理器执行时可操作以执行根据权利要求76所述的方法。

Images