CN116962659A - 图像捕获和内容流送以及提供图像内容、编码视频的方法 - Google Patents

Abstract

本发明公开了图像捕获和内容流送以及提供图像内容、编码视频的方法。该图像捕获和内容流送方法包括：捕获环境的第一部分的第一图像和环境的第二部分的第二图像；确定所述环境中的具有重要性的区段；确定所述第一图像是否包括所述具有重要性的区段；根据第一图像包括具有重要性的区段的确定，以第一分辨率对第一图像进行编码；确定所述第二图像是否排除所述具有重要性的区段；根据所述第二图像排除所述具有重要性的区段的确定，执行分辨率降低操作以以第二分辨率对所述第二图像进行编码以形成降低分辨率的第二图像；以及输出已编码的第一图像和已编码的降低分辨率的第二图像以供传送到重放设备。

Description

图像捕获和内容流送以及提供图像内容、编码视频的方法

本申请是申请日为2016年2月17日、申请号为201680021644.6、发明名称为“用于生成和使用降低分辨率图像并且/或者将这样的图像传送到重放或内容分发设备的方法和装置”的发明专利申请的分案申请。

技术领域

本发明涉及用于捕获、流送和/或重放内容，例如可以被用来模拟环境的内容的方法和装置。

背景技术

意图提供沉浸式体验的显示设备通常允许用户转动其头部并且体验到所显示的场景中的相应改变。头部安装显示器有时支持360度观看，其中用户可以在佩戴头部安装显示器的同时转身，所显示的场景随着用户的头部位置改变而改变。

对于这样的设备，应当在用户看向前方时为用户呈现在摄影机位置前方捕获的场景，并且当用户完全转身时呈现在摄影机位置后方捕获的场景。由于人类在任何给定时间感知有限视场的能力的性质，虽然用户可以向后转头，但是在任何给定时间用户的视场通常被限制到120度或更小。

为了支持360度视图，可以使用多部摄影机捕获360度场景，其中组合各幅图像以生成可用于观看的360度场景。

应当认识到，360度视图所包括的图像数据远多于通常对于普通电视和许多其他视频应用所捕获、编码的简单前向视图，在简单前向视图中，用户无法改变被用来确定将在特定时间点显示的图像的视角。

在给定与正被流送的内容相关联的传输约束(例如网络数据约束)的情况下，可能无法在全高清视频中向寻求接收内容并且与内容进行交互的所有顾客流送完全360度视图。特别当所述内容是立体内容时就会遇到这种情况，其中立体内容包括意图对应于左眼视图和右眼视图全部二者的图像内容以便允许3D观看效果。

鉴于前面的讨论应当认识到，需要支持按照允许为个别用户提供宽广观看区域的方式对内容进行编码和/或流送的方法和装置，从而使得重放设备在用户转动他/她的头部以观看环境的不同部分时有图像数据可用，并且同时满足数据传输约束。

发明内容

本发明描述了用于支持对应于环境的视频或其他内容的递送(例如流送)的方法和装置。在一些实施例中，被传送到重放设备的对应于环境的图像超出用户在给定时间可以观看的区域，从而使得当用户例如通过移动他/她的头部而改变他/她的视角时有内容可用。通过提供对应于比用户在给定时间所能观看的更大的环境区域的图像，如果用户的视角改变，重放设备有足够的信息来提供图像，而无需重放设备等待对应于用户先前未在观看的环境部分的新的图像或其他内容。

在至少一些实施例中，使用网格模型来表示环境。图像被捕获并且编码成帧。在重放设备处，已编码图像被解码并且例如作为纹理(texture)被应用到环境模型的表面。图像到环境模型的表面的映射是根据纹理映射图(有时也被称作UV映射图)进行的。通常来说，但是不一定在所有实施例中，UV映射图的一个片段对应于3D网格模型的一个片段。在重放设备中，UV映射图被应用到图像，并且图像的各个片段随后作为纹理被应用到3D模型的相应片段。通过这种方式，UV映射图可以被用来把所接收到的图像的一部分映射到环境模型的相应部分上。为了实现3D效果，这一处理在一些实施例中被用来把对应于左眼视图的图像映射到3D模型上，并且把结果显示给用户的左眼。对应于右眼视图的图像被映射到3D模型上，从而生成显示给用户的右眼的图像。在3D实施例中，左眼与右眼视图之间的差异导致用户感知到3D图像。

在3D图像的情况中，如果对应于左眼和右眼图像的数据被正常传送，则支持3D观看的数据的数量可能相当大，这是因为需要传送对应于两幅而不是一幅图像的数据以允许3D观看。不幸的是，带宽约束在许多情况下可能使得难以传送两幅完全分辨率图像，特别在观看者开始预期的更高分辨率下尤其是如此。

用户检测图像质量的能力对于该用户没有在直视的图像部分有所下降。在环境场景的情况中，用户可能专注于观看环境中的动作区域，例如在体育比赛期间是球所处的环境部分，或者是演员在舞台上或环境内所处的环境部分。本发明的方法和装置利用这一事实为正被传送的图像选择性地分配分辨率。通过降低不太可能被观看的图像的分辨率并且同时保持可能被观看的对应于环境的图像部分的分辨率，有可能高效地利用可用于向重放设备流送图像数据的有限带宽。

在各个实施例中，捕获环境的图像，并且应用选择性分辨率降低。分辨率降低可以(并且有时)被应用到被感知成对应于较不重要的环境部分的图像部分。虽然环境模型可以保持固定，但是在各个实施例中，被应用到所捕获的图像的分辨率降低可以随着高重要性环境部分的改变而改变。举例来说，在足球比赛开始时，由于开球发生在中场，因此中场可以被认为是重要环境区域，随着球移动到球场的左端，从观看者的角度看来，左端可能变得比球场的其他部分更加重要。随着球移动到球场的右端，从观看者的角度看来，球场的右端可能比并非球所处位置的左侧和中心部分更加重要。

根据一个实施例，在给定时间基于环境的不同部分的相对重要性进行分辨率分配，其中与低重要性区域相比，为对应于被感知成具有高重要性的环境区域的图像部分分配更高分辨率。所述相对重要性可以是基于在提供正被传送的图像的所捕获视频中从用户输入检测到的运动，比如通过跟踪用户在图像捕获期间看向何处以及/或者通过编码和/或流送系统的操作员的控制。

在一些实施例中，支持一个不同分辨率分配的集合。对所选择的分辨率分配表明将受到分辨率降低的图像部分应用下采样或其他分辨率降低技术，其他图像部分则可以处于完全分辨率或者受到更少数量的分辨率降低。对于不同的分辨率分配使用不同的纹理映射图。因此，虽然被传送到重放设备的图像的总体尺寸和/或比特数对于不同的分辨率分配可以(并且有时)是相同的，但是纹理映射图(UV映射图)对于不同的分辨率分配则可以并且常常将是不同的。通过这种方式，与选择性分辨率降低相组合的不同UV映射图可以被用来为环境图像的不同部分分配不同数量的分辨率，这取决于环境的哪一个部分在给定时间点被认为是重要的，同时尽管分辨率分配是不同的，所使用的环境模型则是相同的。

取决于实施例，可以把对应于模拟环境的一部分的UV映射图的集合传送到重放设备，随后由流送设备表明哪一个UV映射图将被用于所传送的图像或图像对。在一些实施例中，在单一帧中向重放设备传送包括天空和地面图像的整个360度世界视图的图像。在其他实施例中，作为单独的帧传送将被用作对应于环境的不同部分的纹理的图像。举例来说，地面的图像可以被单独发送(但是更新得没有那么频繁)以作为将被用于环境的360度水平部分的图像，对于天空视图则可以发送另一幅图像。可以(并且有时)对于作为单独图像被包括在流中的环境的每一个部分实施相应的UV映射图的分辨率分配选择和表明。

UV映射图在本文中也被称作纹理映射图并且有时被称作图像映射图，其通常在被需要以供渲染之前被传送到重放设备。UV映射图可以在将与其一起使用的内容流中被传送，或者可以被单独发送。一旦被传送到重放设备，UV映射图可以(并且有时)被存储。在UV映射图被存储之后，流送设备可以通过连同将为之应用UV映射图的一幅或多幅图像一起在内容流中传送映射图标识符来标识映射图。

由于分辨率分配是在编码之前进行的，因此编码设备和/或流送设备通常在图像流中把UV映射图和/或映射图标识符与所传送的一幅或多幅图像相关联。通过这种方式，重放设备知道在作为渲染操作的一部分对所接收到的图像进行映射时将使用哪一个UV映射图。

所渲染的图像被显示给用户，其中图像对的左眼图像被显示给用户的左眼，并且右眼图像被显示给用户的右眼。

通过与选择性分辨率降低相组合地使用UV映射图，可以通过相对易于实施的方式为环境的各个部分分配不同的分辨率，而不需要改变被用来对已受到不同分辨率分配的图像进行编码的编码器，并且不需要对于图像的特殊解码。

虽然所述方法非常适合于其中传送左眼和右眼图像以提供立体图像对的3D应用，但是所述方法也可以(并且有时)被用于非立体实施例，其中在向重放设备传送单一图像流的情况下使用选择性分辨率分配和相应的UV映射图，例如各幅单独的图像被解码并且渲染到环境映射图上，但是对于用户的全部两只眼睛都显示相同的图像。或者，所述方法可以被用于这样的实施例，其中向重放设备传送单一图像流，并且重放设备使用计算处理从所接收到的单一图像流生成一对眼睛视图，这例如是通过接收图像并且从所接收到的单一图像生成左眼图像和不同的右眼图像。

在后面的详细描述中将描述许多附加的方法和实施例。

附图说明

图1示出了根据本发明的一些实施例而实施的示例性系统，根据本文中所描述的任何实施例，所述系统可以被用来捕获内容、流送内容并且向一个或多个用户重放设备输出内容。

图2A示出了示例性立体场景，例如尚未被划分的完全360度立体场景。

图2B示出了根据一个示例性实施例的已被划分成3个示例性场景的示例性立体场景。

图2C示出了根据一个示例性实施例的已被划分成4个场景的示例性立体场景。

图3示出了根据一个示例性实施例的对示例性360度立体场景进行编码的示例性处理。

图4示出了一个实例，该例表明如何使用多种编码器对一个输入图像部分进行编码以便生成相同的输入图像部分的不同已编码版本。

图5示出了已被划分成3个部分的输入立体场景的各个所存储的已编码部分。

图6示出了图6A与6B的组合。

图6A示出了流程图的第一部分，所述流程图示出了使用图1的系统实施的根据一个示例性实施例的示例性流送内容方法的各个步骤，其中在不同的时间使用选择性分辨率分配和不同的UV映射图。

图6B示出了流程图的第二部分，所述流程图示出了使用图1的系统实施的根据一个示例性实施例的示例性流送内容方法的各个步骤，其中在不同的时间使用选择性分辨率分配和不同的UV映射图。

图7示出了根据本发明的特征的具有分辨率分配选择、分辨率降低和编码能力的示例性内容递送系统，所述系统可以被用来连同相应的UV映射图一起编码和流送内容。

图8示出了示例性内容重放设备，其可以被用来接收、解码和显示由图7的系统流送的内容，并且可以使用参照图24和/或其他各幅图示出并描述的UV映射图以允许对于具有不同分辨率分配的图像使用不同的UV映射图。

图9示出了图9A与9B的组合。

图9A示出了根据本发明的操作内容重放设备的示例性方法的第一部分。

图9B示出了根据本发明的操作内容重放设备的示例性方法的第二部分。

图10示出了根据本发明的传送将被用来表示环境的信息的示例性方法。

图11示出了根据一个示例性实施例的示例性图像捕获和内容流送方法，其中在不同时间可以对于与相同环境部分相对应的图像使用不同的分辨率分配。

图12示出了根据一个示例性实施例的可以在图1的系统中使用的重放设备或系统(例如渲染设备)的操作方法，以便使用UV映射图和环境模型来接收和渲染图像。

图13示出了摄影机支架(camera rig)，其中包括用于捕获对应于360度视场的不同扇区的左眼和右眼图像的多个摄影机对连同指向天空以捕获天空视图的一部或多部摄影机。

图14示出了作为重放操作的一部分如何可以组合对应于不同摄影机视图的不同环境网格映射图，从而产生可以把所捕获的图像投影到其上(例如投影到内表面上)的完整球形视图/环境。

图15示出了图14中示出的5个网格的完全组装，从而产生可以由用户观看的球形模拟环境，就如同他/她处于环境(例如球体)的中心一样。

图16示出了对应于图13中示出了摄影机支架的一个扇区的通过具有鱼眼镜头的左眼和右眼摄影机捕获的左眼视图图像和右眼视图图像。

图17A示出了根据本发明的环境的示例性网格模型。

图17B示出了可以被用来把2D图像的各个部分映射到图17A中示出的网格模型的表面上的UV映射图。

图18示出了在编码并且传送到一个或多个重放设备之前，图16的所捕获的左眼和右眼视图图像在剪裁之后看起来可能是什么样子。

图19示出了对应于摄影机支架的一个扇区的环境网格模型，图18中示出的其中一幅图像被应用(例如投影)到环境网格上。

图20示出了通过对应于摄影机支架的每一个扇区的摄影机以及天空和地面摄影机所捕获的图像应用可以被组合并且投影到所建模的环境上，从而模拟具有球体形式的完整360环境。

图21示出了如何可以关于映射到环境栅格的框架使用选择性分辨率，其中对于将被映射到环境模型的不同图像部分使用不同的分辨率，例如与环境的中间部分的片段相比，所传送的图像的更小部分被映射到天空和地面网格片段的相应部分，从而导致与环境的中间部分相比，更低的分辨率被分配给环境的顶部和底部部分。

图22示出了环境的第一部分的第一捕获图像，使用第一分辨率分配从第一捕获图像生成的第一分辨率调节图像，以及对应于第一分辨率分配的第一UV映射图。

图23示出了环境的第一部分的第二捕获图像，使用第二分辨率分配从第二捕获图像生成的第二分辨率调节图像，以及对应于第二分辨率分配的第二UV映射图。

图24示出了环境的第一部分的第三捕获图像，使用第三分辨率分配从第三捕获图像生成的第三分辨率调节图像，以及对应于第二分辨率分配的第三UV映射图。

图25示出了图25A与25B的组合。

图25A示出了根据一个示例性实施例的操作内容处理和递送系统的方法的第一部分。

图25B示出了根据一个示例性实施例的操作内容处理和递送系统的方法的第二部分。

图26示出了根据本发明的重放内容的方法的一个示例性实施例。

图27示出了关于重放设备(比如在任何其他附图中示出的一个或多个重放设备)如何可以使用对应于被用来生成将要渲染的图像的分辨率分配的UV映射图来实施图像渲染的一个实例。

图28示出了关于重放设备(比如在任何其他附图中示出的一个或多个重放设备)如何可以使用对应于被用来生成将要渲染的图像的分辨率分配的UV映射图来实施图像渲染的一个实例。

图29示出了关于重放设备(比如在任何其他附图中示出的一个或多个重放设备)如何可以使用对应于被用来生成将要渲染的图像的分辨率分配的UV映射图来实施图像渲染的一个实例。

具体实施方式

图1示出了根据本发明的一些实施例所实施的示例性系统100。系统100支持针对位于顾客处所的一个或多个顾客设备(例如重放设备/内容播放器)的内容递送(例如成像内容递送)。系统100包括示例性图像捕获设备102，内容递送系统104，通信网络105，以及多个顾客处所106…110。图像捕获设备102支持捕获立体图像。图像捕获设备102根据本发明的特征捕获并处理成像内容。通信网络105例如可以是混合光纤同轴电缆(HFC)网络、卫星网络和/或因特网。

内容递送系统104包括图像处理、校准和编码装置112，以及内容递送设备(例如流送服务器114)。图像处理、校准和编码装置112负责实施多种功能，包括基于一幅或多幅目标图像以及/或者在摄影机校准处理期间捕获的栅格图案进行摄影机校准。内容递送设备114可以被实施成服务器，其中正如后面将讨论的那样，递送设备利用图像校准信息、可选的环境信息以及由摄影机支架102捕获的一幅或多幅图像(其可以被用于模拟3D环境)对内容请求作出响应。图像和/或内容的流送可以(并且有时)与反馈信息有关，比如观看者头部位置以及/或者关于与将作为图像来源的摄影机102相对应的事件处的位置的用户选择。举例来说，用户可以在来自位于中线处的摄影机支架和位于球门处的摄影机支架的图像之间进行选择或切换，其中模拟3D环境和流送图像被改变到对应于用户选择的摄影机支架的模拟3D环境和流送图像。因此应当认识到，虽然在图1中示出了单一摄影机支架102，但是在系统中可以存在多个摄影机支架并且位于体育比赛或其他事件处的不同物理位置处，其中用户能够在不同位置之间进行切换，并且用户选择被从重放设备122传送到内容服务器114。虽然在图像处理和内容递送系统104中示出了分开的设备112、114，但是应当认识到，所述系统可以被实施成包括用于实施各种功能的单独硬件的单一设备，或者不同的功能由不同的软件或硬件模块控制但是被实施在单一处理器中或者被实施在单一处理器上。

编码装置112可以(并且在一些实施例中确实)包括一个或多个编码器，以用于根据本发明对图像数据进行编码。所述编码器可以被并行使用来对一个场景的不同部分进行编码，并且/或者对一个场景的给定部分进行编码，从而生成具有不同数据速率的已编码版本。当要支持实时或接近实时的流送时，并行地使用多个编码器可能是特别有用的。

内容流送设备114被配置成例如通过通信网络105流送(例如传送)已编码内容，以便把已编码图像内容递送到一个或多个顾客设备。经由网络105，内容递送系统104可以发送并且/或者与位于顾客处所106、110处的设备交换信息，正如在图中通过穿越通信网络105的链接20所表示的那样。

虽然编码装置112和内容递送服务器在图1的实例中被示出为分开的物理设备，但是在一些实施例中，其可以被实施为编码并且流送内容的单一设备。所述编码处理可以是3D(例如立体)图像编码处理，其中对应于一个场景部分的左眼和右眼视图的信息被编码并且包括在已编码图像数据中，从而使得可以支持3D图像观看。所使用的具体编码方法对于本申请而言并非关键，并且多种编码器可以被用作编码装置112或者被用来实施编码装置112。

每一处顾客处所106、110可以包括多个设备/播放器，例如用以解码并且重放/显示由内容流送设备114流送的图像内容的解码装置。顾客处所1 106包括耦合到显示设备124的解码装置/重放设备122，顾客处所N 110则包括耦合到显示设备128的解码装置/重放设备126。在一些实施例中，显示设备124、128是头部安装立体显示设备。

在各个实施例中，解码装置122、126在相应的显示设备124、128上呈现成像内容。解码装置/播放器122、126可以是这样的设备，其能够对接收自内容递送系统104的成像内容进行解码，使用已解码内容生成成像内容，并且在显示设备124、128上渲染成像内容(例如3D图像内容)。任何解码装置/重放设备122、126都可以被用作图8中示出的解码装置/重放设备800。比如图8中示出的系统/重放设备可以被用作任何解码装置/重放设备122、126。

图2A示出了尚未被划分的示例性立体场景200，例如完全360度立体场景。所述立体场景可以并且通常是组合来自多部摄影机(例如视频摄影机)的图像数据的结果，所述多部摄影机常常被安装在单一视频捕获平台或摄影机座架上。

图2B示出了根据一个示例性实施例的示例性立体场景200的已划分版本250，其中所述场景已被划分成3个(N＝3)示例性部分，例如前方180度部分、左后方90度部分和右后方90度部分。

图2C示出了根据一个示例性实施例的示例性立体场景200的另一个已划分版本280，其中所述场景已被划分成4个(N＝4)部分。

虽然图2B和2C示出了两种示例性划分，但是应当认识到，其他划分也是可能的。例如场景200可以被划分成十二个(n＝12)30度部分。在一个这样的实施例中，取代单独地编码每一个分区，多个分区可以被分组在一起并且作为一组被编码。不同的分区组可以被编码并且流送给用户，其中每一组的尺寸在场景的总度数方面是相同的，但是对应于可以根据用户的头部位置(例如在0到360度的尺度上测量的视角)被流送的图像的不同部分。

图3示出了根据一个示例性实施例的对示例性360度立体场景进行编码的示例性处理。针对图3中示出的方法300的输入包括例如由被安排成捕获360度场景视图的多部摄影机所捕获的360度立体图像数据302。立体图像数据302(例如立体视频)可以具有多种已知格式当中的任一种，并且在大多数实施例中包括被用来允许3D体验的左眼和右眼图像数据。虽然所述方法特别适合于立体视频，但是本文中所描述的技术和方法也可以被应用到例如360度或较小场景区域的2D图像。

在步骤304中，场景数据302被划分成对应于不同场景区域的数据，例如对应于不同观看方向的N个场景区域。例如在图2B中示出的一个实施例中，360度场景区域被划分成三个分区，即对应于一个90度部分的左后方部分、前方180度部分以及右后方90度部分。各个不同部分可能是由不同的摄影机所捕获的，但是并不必须如此，实际上在划分成如图2B和2C中所示的N个场景区域之前可以从捕获自多部摄影机的数据构造360度场景。

在步骤306中，根据本发明对与不同场景部分相对应的数据进行编码。在一些实施例中，每一个场景部分由多个编码器独立编码，以便对于每一个部分支持多个可能的比特率流。在步骤308中，已编码场景部分例如被存储在内容递送系统104中，以供流送到顾客重放设备。

图4是示出一个实例的图示400，该例表明如何使用多种编码器对一个输入图像部分(例如180度前方场景部分)进行编码，从而生成相同的输入图像部分的不同已编码版本。

如图示400中所示，输入场景部分402(例如180度前方场景部分)被提供到多个编码器以进行编码。在该例中存在K个不同的编码器，所述编码器以不同的分辨率并且使用不同的编码技术对输入数据进行编码以生成已编码数据，从而支持图像内容的不同数据速率流。所述多个(K个)编码器包括高清晰度(HD)编码器1 404、标准清晰度(SD)编码器2 406、降低帧率SD编码器3 408…以及高压缩降低帧率SD编码器K 410。

HD编码器1 404被配置成实施全高清(HD)编码，从而产生高比特率HD已编码图像412。SD编码器2 406被配置成实施低分辨率标准清晰度编码，从而产生输入图像的SD已编码版本2 424。降低帧率SD编码器3 408被配置成实施降低帧率低分辨率SD编码，从而产生输入图像的降低速率SD已编码版本3 416。所述降低帧率例如可以是由SD编码器2 406使用来进行编码的帧率的一半。高压缩降低帧率SD编码器K 410被配置成以高压缩实施降低帧率低分辨率SD编码，从而产生输入图像的高度压缩的降低速率SD已编码版本K 420。

因此应当认识到，对于空间和/或时间分辨率的控制可以被用来产生具有不同数据速率的数据流，并且对于例如数据压缩水平之类的其他编码器设定的控制还可以被单独使用或者作为针对控制空间和/或时间分辨率的补充来使用，从而产生具有一个或多个所期望的数据速率的对应于某一场景部分的数据流。

图5示出了已被划分成3个示例性部分的输入立体场景的所存储的已编码部分500。所存储的已编码部分可以例如作为存储器中的数据/信息被存储在内容递送系统104中。立体场景的所存储的已编码部分500包括3个不同的已编码部分集合，其中每一个部分对应于一个不同的场景区域，并且每一个集合包括相应的场景部分的多个不同的已编码版本。每一个已编码版本是已编码视频数据的一个版本，因此表示已被编码的多个帧。应当认识到，每一个已编码版本510、512、516是对应于多个时间周期的视频，并且在进行流送时，对应于正被重放的时间周期的部分(例如帧)将被用于传输目的。

正如前面关于图4所示出并讨论的那样，每一个场景部分(例如前方、后方场景部分)可以使用多个不同的编码器来编码，从而产生相同的场景部分的K个不同版本。对应于给定输入场景的每一个编码器的输出被分组在一起作为一个集合并且被存储。第一已编码场景部分集合502对应于前方180度场景部分，并且包括前方180度场景的已编码版本1510、已编码版本2 512…以及已编码版本K 516。第二已编码场景部分集合504对应于场景部分2(例如90度左后方场景部分)，并且包括90度左后方场景部分的已编码版本1 520、已编码版本2 522…以及90度左后方场景部分的已编码版本K 526。类似地，第三已编码场景部分集合506对应于场景部分3(例如90度右后方场景部分)，并且包括90度右后方场景部分的已编码版本1 530、已编码版本2 532…以及90度右后方场景部分的已编码版本K 536。

360度场景的各个不同的所存储的已编码部分可以被用来生成用于发送到顾客重放设备的各个不同的比特率流。

内容递送系统104可以支持大量并发用户，这是因为所述编码处理允许通过不同方式向不同用户传送和处理一个场景的N个部分，而不需要对于每一个单独的用户单独编码内容。因此，虽然可以使用一定数目的并行编码器来支持实时编码从而允许体育比赛或其他事件的实时或接近实时的流送，但是所使用的编码器的数目往往远小于为之流送内容的重放设备的数目。

虽然各个内容部分被描述成对应于360度视图的部分，但是应当认识到，所述场景可以(并且在一些实施例中确实)表示同样具有垂直维度的空间的平坦化版本。重放设备能够使用3D环境(例如空间)的模型对各个场景部分进行映射并且针对垂直观看位置进行调节。因此，在本申请中所讨论的360度指的是相对于水平的头部位置，就如同用户在保持其视线水平(gaze level)的同时向左或向右改变其视角一样。

包括图6A和6B的图6是示出根据一个示例性实施例的提供图像内容的示例性方法的各个步骤的流程图600。图6A示出了流程图600的第一部分。图6B示出了流程图600的第二部分。流程图600的方法在一些实施例中是使用图1中示出的捕获系统来实施的。

方法600开始于图6A中示出的起始步骤602。操作从步骤602继续到步骤604。在步骤604中，接收所捕获的图像。操作从步骤604继续到步骤606。

在步骤606中，选择将要使用的分辨率分配。所述选择例如可以基于运动作出。操作从步骤606继续到判定步骤608。在判定步骤608中，如果确定所选择的分辨率不同于先前的分辨率分配，则操作继续到步骤610。否则操作继续到步骤612。

在步骤610中，加载被用来控制分辨率降低的对应于所选择的分辨率分配的新的下采样和/或滤波信息。操作从步骤610继续到步骤612。

在步骤612中，基于所确定的将要使用的分辨率分配在所接收到的捕获图像上实施分辨率降低操作。分辨率降低操作输出具有至少一些不同的图像部分的降低分辨率图像614，其中所述至少一些不同图像部分具有不同的分辨率。操作继续到步骤616。

在步骤616中，使用支持压缩(例如熵编码)、游程长度编码、运动矢量和/或其他编码技术的编码器对降低分辨率图像进行编码。操作从步骤616继续到步骤618。

在步骤618中，表明对应于将被用于渲染图像的分辨率分配的UV映射图，其中所述图像受到所确定的分辨率分配(例如下采样)。通过规定对应于所应用的分辨率分配的UV映射图以及/或者通过提供对应于所应用的分辨率分配的UV映射图，为重放设备提供允许把所传送的图像应用到环境的3D模型的信息，其中考虑到所传送的图像的哪些部分在传送到重放设备之前被下采样。操作经由连接节点A 620从步骤618继续到图6B中示出的判定步骤622。

在判定步骤622中，确定对应于所应用的分辨率分配的UV映射图是否已被传送到重放设备。如果确定对应于所应用的分辨率分配的UV映射图尚未被传送到重放设备，则操作继续到步骤624。如果确定对应于所应用的分辨率分配的UV映射图已被传送到重放设备，则操作继续到步骤626。

在步骤624中，将对应于所应用的分辨率分配的UV映射图传送到重放设备。操作从步骤624继续到步骤626。

在步骤626中，将表明将要使用的UV映射图的信息传送到重放设备。操作从步骤626继续到步骤628。在步骤628中，将已编码图像传送到重放设备。可以关于每一幅所接收到的捕获图像执行这种方法。

图7示出了根据本发明的特征的可以被用来编码和流送内容的具有编码能力的示例性内容递送系统700。

所述系统可以被用来实施根据本发明的特征的编码、存储以及传输和/或内容输出。在一些实施例中，系统700或其中的单元实施对应于图6中示出的处理的操作。内容递送系统700可以被用作图1的系统104。虽然图7中示出的系统被用于内容的编码、处理和流送，但是应当认识到，系统700还可以包括对已处理和/或已编码图像数据进行解码并且例如显示给操作员的能力。

系统700包括显示器702、输入设备704、输入/输出(I/O)接口706、处理器708、网络接口710以及存储器712。系统700的各种组件经由总线709耦合在一起，所述总线允许在系统700的各个组件之间传送数据。

存储器712包括各种模块(例如例程)，其在由处理器708执行时控制系统700实施根据本发明的划分、编码、存储和流送/传输以及/或者输出操作。

存储器712包括各种模块(例如例程)，其在由处理器707执行时控制计算机系统700实施根据本发明的沉浸式立体视频采集、编码、存储和传输以及/或者输出方法。存储器712包括控制例程714、划分模块716、(多个)编码器718、流送控制器720、所接收到的输入图像732(例如360度立体场景视频)、已编码场景部分734以及定时信息736。在一些实施例中，所述模块被实施成软件模块。在其他实施例中，所述模块用硬件实施，例如被实施成单独的电路，其中每一个模块被实施成用于实施该模块所对应的功能的电路。在其他实施例中，使用软件与硬件的组合来实施所述模块。

控制例程714包括用以控制系统700的操作的设备控制例程和通信例程。划分模块716被配置成根据本发明的特征把所接收到的立体360度场景版本划分成N个场景部分。

(多个)编码器718可以(并且在一些实施例中确实)包括被配置成根据本发明的特征对所接收到的图像内容(例如360度场景版本)以及/或者一个或多个场景部分进行编码的多个编码器。在一些实施例中，所述(多个)编码器包括多个编码器，其中每一个编码器被配置成对立体场景和/或已划分场景部分进行编码以支持给定的比特率流。因此，在一些实施例中，可以使用多个编码器对每一个场景部分进行编码，以便对于每一个场景支持多个不同的比特率流。(多个)编码器718的输出是已编码场景部分734，其被存储在存储器中以供流送到顾客设备(例如重放设备)。已编码内容可以经由网络接口710被流送到一个或多个不同的设备。

UV映射图740被存储在内容递送系统700的存储器712中。UV映射图740对应于环境的不同分辨率分配和/或区域。举例来说，第一UV映射图1 742对应于第一分辨率分配，第二UV映射图2 744对应于第二分辨率分配，并且第三UV映射图746对应于第三分辨率分配。具有不同分辨率分配的UV映射图可以对应于环境的相同区域。对应于环境的其他区域的不同UV映射图可以被存储在存储器712中。多个UV映射图可以对应于环境模型。在其中捕获所接收到的图像的环境的网格模型被存储在内容递送系统700的存储器712中，例如3D环境网格模型738。多个网格模型可以被存储在存储器712中。

流送控制器720被配置成控制已编码内容的流送，以便例如通过通信网络105把已编码图像内容递送到一个或多个顾客设备。在各个实施例中，流程图600的各个步骤由流送控制器720的各个单元实施。流送控制器720包括请求处理模块722、数据速率确定模块724、当前头部位置确定模块726、选择模块728以及流送控制模块730。请求处理模块722被配置成处理从顾客重放设备接收到的针对成像内容的请求。在各个实施例中，经由网络接口710中的接收器713接收针对内容的请求。在一些实施例中，针对内容的请求包括表明发出请求的重放设备的身份的信息。在一些实施例中，针对内容的请求可以包括由顾客重放设备支持的数据速率、用户的当前头部位置(例如头部安装显示器的位置)。请求处理模块722对所接收到的请求进行处理，并且把所取回的信息提供到流送控制器720的其他单元以采取进一步的动作。虽然针对内容的请求可以包括数据速率信息和当前头部位置信息，但是在各个实施例中，可以从网络测试以及在系统700与重放设备之间的其他网络信息交换确定由重放设备支持的数据速率。

数据速率确定模块724被配置成确定可以被用来向顾客设备流送成像内容的可用数据速率，例如由于支持多个已编码场景部分，因此内容递送系统700可以支持在多个数据速率下向顾客设备流送内容。数据速率确定模块724还被配置成确定从系统700请求内容的重放设备所支持的数据速率。在一些实施例中，数据速率确定模块724被配置成基于网络测量确定用于递送图像内容的数据速率。

当前头部位置确定模块726被配置成从接收自重放设备的信息确定用户的当前视角和/或当前头部位置，例如头部安装显示器的位置。在一些实施例中，重放设备周期性地向系统700发送当前头部位置信息，其中当前头部位置确定模块726接收并处理所述信息以便确定当前视角和/或当前头部位置。

选择模块728被配置成基于用户的当前视角和/或头部位置信息确定将把360度场景的哪些部分流送到重放设备。选择模块728还被配置成基于支持内容流送的可用数据速率选择所确定的场景部分的已编码版本。

流送控制模块730被配置成根据本发明的特征在所支持的各种数据速率下控制图像内容(例如360度立体场景的多个部分)的流送。在一些实施例中，流送控制模块730被配置成控制向请求内容的重放设备流送360度立体场景的N个部分，以便初始化重放设备中的场景存储器。在各个实施例中，流送控制模块730被配置成例如在所确定的速率下周期性地发送所确定的场景部分的所选择的已编码版本。在一些实施例中，流送控制模块730还被配置成根据一定时间间隔(例如每分钟一次)向重放设备发送360度场景更新。在一些实施例中，发送360度场景更新包括发送完全360度立体场景的N个场景部分或N-X个场景部分，其中N是完全360度立体场景已被划分成的部分的总数，并且X表示最近被发送到重放设备的所选择的场景部分。在一些实施例中，在发送360度场景更新之前，流送控制模块730在初始地发送N个场景部分以用于初始化之后等待预定的时间。在一些实施例中，用以控制360度场景更新的发送的定时信息被包括在定时信息736中。在一些实施例中，流送控制模块730还被配置成识别在一个刷新间隔期间尚未被传送到重放设备的场景部分；并且传送在所述刷新间隔期间未被传送到重放设备的所识别出的场景部分的更新后的版本。

在各个实施例中，流送控制模块730被配置成在周期性的基础上至少把所述N个部分当中的足够数目传送到重放设备，以便允许重放设备在每一个刷新周期期间把所述场景的360度版本完全刷新至少一次。

图8示出了根据本发明实施的计算机系统/重放设备800，其可以被用来接收、解码、存储和显示从例如图1和7中示出的内容递送系统接收到的成像内容。所述重放设备可以与3D头部安装显示器一起使用，比如可以是头部安装显示器805的OCULUS RIFT^TM VR(虚拟现实)。设备800包括对所接收到的已编码图像数据进行解码并且生成用于显示给顾客的3D图像内容的能力。在一些实施例中，所述重放设备位于顾客处所位置处，比如家中或办公室，但是也可以位于图像捕获地点处。设备800可以实施根据本发明的信号接收、解码、显示和/或其他操作。

设备800包括显示器802、显示设备接口803、输入设备804、解码器864、输入/输出(I/O)接口806、处理器808、网络接口810以及存储器812。重放设备800的各种组件经由总线809耦合在一起，所述总线允许在系统800的各个组件之间传送数据。虽然在一些实施例中显示器802被包括为可选的单元，正如使用虚线框所示出的那样，但是在一些实施例中，外部显示设备805(例如头部安装立体显示设备)可以经由显示设备接口803耦合到重放设备。在一些实施例中，网络接口810包括接收器860和传送器862。

存储器812包括各种模块(例如例程)，其在由处理器808执行时控制重放设备800实施根据本发明的解码和输出操作。存储器812包括控制例程814、内容请求生成模块816、头部位置和/或视角确定模块818、解码器模块820、立体图像渲染模块822(也被称作3D图像生成模块)以及数据/信息，所述数据/信息包括所接收到的已编码图像内容824、已解码图像内容826、360度已解码场景缓冲器828以及所生成的立体内容830。

控制例程814包括用以控制设备800的操作的设备控制例程和通信例程。内容请求生成模块816被配置成生成针对内容的请求，以供发送到用于提供内容的内容递送系统。在各个实施例中，针对内容的请求是经由网络接口810发送的。头部位置和/或视角确定模块818被配置成确定用户的当前视角和/或当前头部位置(例如头部安装显示器的位置)，并且把所确定的位置和/或视角信息报告给内容递送系统700。在一些实施例中，重放设备800周期性地向系统700发送当前头部位置信息。

解码器模块820被配置成对接收自内容递送系统700的已编码图像内容824进行解码，从而产生已解码图像数据826。已解码图像数据826可以包括已解码立体场景和/或已解码场景部分。

3D图像渲染模块822根据本发明的特征例如使用已解码图像内容826生成3D图像，以供在显示器802和/或显示设备805上显示给用户。所生成的立体图像内容830是3D图像生成模块的输出。因此，渲染模块822把3D图像内容830渲染到显示器。在一些实施例中，显示设备805可以是例如oculus rift之类的3D显示器。重放设备800的操作员可以经由输入设备804控制一项或多项参数，并且/或者选择将要实施的操作(例如选择显示3D场景)。

图8示出了可以被用来接收、解码和显示由图7的系统流送的内容的示例性内容重放设备。系统800包括耦合到头部安装立体显示器805的显示接口803、输入设备804、可选的显示器802以及I/O接口。接口802把各种输入/输出单元803、802、804耦合到总线809，所述总线809又耦合到处理器808、网络接口810和存储器812。网络接口810允许重放设备从流送设备114接收内容并且/或者传送信息，比如视图头部位置和/或表明关于事件处的特定观看位置的选择的位置(摄影机支架)选择。存储器812包括如图8中所示的各种数据和模块。当被执行时，解码器模块820使得所接收到的图像被解码，3D图像渲染模块822则使得根据本发明对图像进行进一步处理，并且可选地作为呈现处理的一部分把各幅图像缝合在一起。

包括图9A的第一部分和图9B的第二部分的图9示出了操作内容重放设备的方法的各个步骤900。根据方法900，在不同时间可以使用不同的UV映射图把所接收到的一幅或多幅图像映射到环境的环境模型(例如网格模型)。作为使用不同UV映射图的结果，虽然所接收到的图像(例如已编码帧)中的像素数目可以保持相同，但是所接收到的图像的像素到环境模型的片段的映射可以发生改变。举例来说，使用第一UV映射图可以导致所接收到的图像中的第一数目的像素映射到环境模型的第一部分，使用第二UV映射图则可以导致所接收到的图像中的不同数目的像素映射到环境模型的相同部分。在一些实施例中，生成并传送图像的系统还传送UV映射图，并且/或者向重放设备表明在把图像或图像集合映射到环境模型时将使用哪一个UV映射图。因此，通过改变将被使用的UV映射图，编码和传输设备可以改变与环境模型的特定部分相关联的数据数量和/或分辨率。由于渲染涉及拉伸或者通过其他方式使得所表明的图像部分顺应3D环境模型的相应片段，因此作为渲染处理的一部分将对图像内容进行缩放和/或通过其他方式对其进行修改，以便覆盖其所应用到的3D模型的片段。例如考虑第一UV映射图把一个像素映射到环境模型的第一片段并且第二UV映射图把两个像素映射到环境模型的第一片段的情况，与对于图像渲染使用第一UV映射图时相比，当使用第二UV映射图时所显示的第一片段的分辨率将会更高。虽然UV映射图对于不同图像或者对于不同图像组可以发生改变，从而允许生成并且向重放设备发送图像和UV映射图信息的服务器基于被视为特别感兴趣的场景区域(例如其中演员、运动员、表演者处于环境中或者其中移动处于环境中的场景区域)动态地改动环境的一部分(例如前方部分)内的数据分配和/或分辨率，但是被用于传送图像的数据速率则可以被保持相对恒定，这是因为图像中的像素数目可以保持相同，其中通过UV映射图来控制针对环境的各个部分的像素分配。因此，至少在一些实施例中所述方法允许图像编码技术保持相同，其中根据捕获图像内的被视为特别感兴趣的场景部分的位置，并且基于有关哪一个UV映射图将被用来把图像(例如作为纹理)应用到环境模型的一个或多个片段的知识，在进行编码之前通过不同方式对所捕获的一幅或多幅图像进行下采样。虽然UV映射图可以在每帧或每图像的基础上从一幅图像或一帧到下一幅图像或下一帧发生改变，但是在一些实施例中，UV映射图中的改变被约束到在I帧或画面组边界上发生，其中一个UV映射图被用于一个画面组内或者I帧之间的多个帧。虽然这样的UV映射图过渡约束被使用在一些实施例中，但是所述约束对于本发明并非必要或关键，并且一些实施例允许UV映射图在每帧的基础上改变。

现在将详细讨论示例性方法900的各个步骤。方法900开始于步骤902，例如开始于内容重放设备通电。所述重放设备例如可以是连接到头部安装显示器或电视的游戏系统，或者如在各个实施例中的情况那样是安装在头部座架中的蜂窝电话，所述头部座架具有触摸板或其他控制以及一个或多个镜头，以便允许用户在被用作显示设备的蜂窝电话屏幕的不同部分上观看左眼和右眼图像。方法900可以由本申请中描述的任何内容重放设备实施。

在步骤903中，例如响应于表明关于将为用户播放的内容的用户选择的用户输入，内容重放设备在步骤903中传送针对内容的请求。在一些实施例中，该请求被传送到内容服务器或内容提供者系统，例如接收、处理和编码环境的图像并且将其连同UV映射图和/或关于在给定时间将使用哪一个UV映射图的信息一起提供给重放设备的设备。服务器还可以提供环境模型，或者可以使用默认模型。

在步骤904中，例如从内容服务器接收环境的模型，例如3D网格模型。所述模型可以(并且有时)是其中正在进行例如戏剧之类的事件或者体育事件的环境的模型。所述模型可以是环境的完整360度模型，或者是图像内容将被映射到的环境部分(例如环境的前方部分)的模型。应当认识到，与使用不同的UV映射图把图像映射到环境的一部分有关的特征可以被用于完全360度环境、环境的一部分，并且可以与立体图像和/或非立体图像(例如其中相同的图像被同时显示给观看者的左眼和右眼的全景图像)一起使用。

操作从步骤904继续到步骤906，其中在步骤903中接收到的环境的模型被存储，以供将来例如用于渲染并显示根据在步骤908中接收到的其中一个UV映射图(例如纹理UV映射图)被映射到所述模型上的图像。纹理映射图可以(并且有时)是接收自提供环境模型的相同服务器。UV映射图表明应当如何对2d图像进行分段，其中各个片段随后例如作为一个或多个纹理被应用到环境模型的相应片段。

0119虽然在一些实施例中可以在步骤908中接收初始纹理(例如初始UV映射图)，但是一个映射图集合被接收并存储，其中不同的UV映射图表明图像与环境模型的一部分之间的不同映射。每一个映射图可以通过纹理映射图标识符来标识。在内容的流送期间，提供图像的内容服务器可以表明哪一个纹理映射图将与哪一个图像集合一起使用。在其他实施例中，新的纹理映射图可以与该新的纹理映射图将被应用到的图像一起流送或者在所述图像之前被流送。通过把一个纹理映射图集合存储在重放设备中可以提供高效的传输，这是因为映射图可以被重复使用而无需多次向重放设备传送UV/纹理映射图。

在步骤910中，所接收到的纹理映射图集合被存储以供将来使用。随着纹理映射图已被存储，操作继续到步骤914，在该步骤中接收图像内容。在步骤904，除了图像内容之外，还接收标识将被用来把所接收到的图像映射到环境模型上的纹理映射图的指示，或者接收将被使用的纹理映射图。当接收到指示符时，其标识所存储的纹理映射图集合当中的将被使用的纹理映射图。所表明的纹理映射图可以保持生效，直到规定和/或提供新的纹理映射图为止。因此，单一纹理映射图可以被用于一个图像序列，例如一个画面组。例如当检测到表明环境的不同区域是比先前为之分配了高分辨率的区域具有更高优先级的区域的运动时，可以由服务器改变纹理映射图。因此，随着演员移动或者赛场上的运动员移动，可以改变分辨率分配，并且可以使用对应于当前分辨率分配的UV映射图以替代对应于不同的分辨率分配的先前的UV映射图。

在一些实施例中，步骤914包括步骤916、918、920、926和928。

在步骤916中，接收第一已编码图像。在可选的步骤918中，接收第二已编码图像。

在作为针对步骤916、918的替换步骤920中，接收包括一幅或全部两幅图像的已编码帧。第二已编码图像可以是一个立体图像对的第二图像，其中第一和第二图像是将被显示给重放设备的用户的左眼和右眼图像。例如一帧的奇数行可以提供第一图像，已编码帧的偶数行可以提供第二已编码图像。或者，已编码帧的上半部分可以提供第一图像，并且下半部分提供第二图像。把第一和第二图像包括在单一帧中的其他方式也是可能的。

在步骤914中，除了接收可以被映射到环境模型的图像内容之外，在步骤926中还接收第一指示符，其表明对应于不同分辨率分配的多个纹理映射图当中的哪一个纹理映射图将与所接收到的第一和/或第二已编码图像一起使用。如果在步骤914中没有接收到新的纹理映射图指示符，并且没有接收到新的纹理映射图，则重放设备将继续使用之前正在使用的最近的UV映射图。取代接收纹理映射图指示符，在步骤928中可以接收将被用于渲染所接收到的图像的新的纹理映射图。

0125随着接收到例如具有已编码形式的图像，操作从步骤914继续到步骤930。在步骤930中，对所接收到的一幅或多幅图像进行解码。例如在步骤932中，对第一已编码图像进行解码以恢复第一图像。在步骤934中，对第二已编码图像进行解码以恢复第二图像。正如前面所讨论的那样，第一和第二图像可以是左眼和右眼视图。在其中第一和第二图像被包括在单一已编码帧中的实施例中，在步骤930中可以使用对于所接收到的帧的解码以及左侧和第二图像的分离从而产生左眼和右眼图像，所述左眼和右眼图像可以(并且有时)被分开应用到环境映射图从而生成分开的、潜在地不同的左眼和右眼视图。

在一些实施例中，所述图像传送完整360度环境或全景视图。在其他实施例中，第一和第二图像可以对应于环境的一部分，例如前方部分或者360度中间全景部分但是没有天空和地面。在步骤936中，与已编码的第一和第二图像一起发送或者在单独的流中发送的其他图像可以被解码，以便获得对应于未由第一和/或第二图像提供的环境部分的纹理。在一些实施例中，在步骤936中，通过对所接收到的已编码图像或帧进行解码而获得天空或地面图像。

随着在步骤930中完成对于被传送到重放设备的图像的解码，操作继续到步骤938，其中使用所接收到的例如一幅或多幅已解码图像、将被使用来渲染所接收到的图像的UV映射图以及环境模型对图像内容进行渲染。步骤938涉及根据将要使用的UV映射图把第一图像应用到环境模型。因此，第一图像被用作纹理，其根据适用的UV映射图(例如第一UV映射图)被应用到环境模型的片段。可以对于左眼和右眼视图分开实施渲染。

在一些实施例中，步骤938包括步骤940。在步骤940中，通过使用对应于第一分辨率分配的第一纹理映射图(UV映射图)而渲染第一图像，从而把第一图像的至少一部分应用到环境模型的第一部分(例如第一片段)的表面。举例来说，可以基于第一纹理映射图把第一图像的第一像素集合映射到环境的网格模型的第一片段。在立体图像重放的情况中可以实施步骤942，其中通过使用对应于第一分辨率分配的第一纹理映射图(UV映射图)而渲染第二图像，从而把第二图像的至少一部分应用到环境模型的第一部分(例如第一片段)的表面。举例来说，可以基于第一纹理映射图把第二图像的第一像素集合映射到环境的网格模型的第一片段。在可选的步骤944中，对未被包括在第一图像中的环境部分(例如天空或地面部分)的图像进行渲染，例如根据对于这些部分相关的UV映射图将其应用到环境模型。应当认识到，在一些实施例中，单独的天空和地面部分不被传送，其中这样的部分在一些实施例中是第一和第二图像的一部分。

在对于每一个眼睛视图实施的操作步骤946中，对应于360度模拟环境的不同部分的渲染图像被组合到为用户提供连续观看区域所需要的程度。对于左眼和右眼图像分开实施步骤946，这是因为虽然当在非立体格式中呈现这些图像时地面和天空部分对于这些图像可以是相同的，但是左眼和右眼图像的其他部分可以包括差异，从而在由重放设备的用户的不同眼睛观看左眼和右眼图像时可以导致感知到深度。

随着在步骤938中把第一图像或图像对应用到环境的模型，操作经由连接节点948继续到显示步骤950。在步骤950中，例如在显示屏幕上向重放设备的用户显示所渲染的图像内容。在步骤952中，从所恢复的第一图像内容生成的第一渲染图像或组合图像被显示以供用户的左眼和右眼的其中之一观看，或者在不支持立体显示的情况下由全部两只眼睛观看。在立体显示的情况中实施步骤954，其中向用户的左眼和右眼当中的另一只眼睛显示第二渲染图像。所显示的第二渲染图像是从所恢复的第二图像数据生成的图像，或者是从所恢复的例如已解码第二图像数据与来自另一图像(例如天空或地面图像部分)的数据的组合生成的图像。

随着渲染并显示了一幅图像或一个图像对，操作继续到步骤956，其中接收并处理对应于另一幅图像或另一个图像对的内容。在步骤956中接收到的一幅或多幅图像可以(并且有时确实)对应于第二画面组，并且对应于不同于第一图像的时间点。因此，在第一图像被捕获的时间与在步骤956中接收到的第三图像被捕获的时间之间，演员或运动区域可能从第一图像被捕获时活动所处的位置发生了位置转移。举例来说，虽然保持在前向视场中，但是赛场上的运动员已经向左移动，从而触发提供第三图像的服务器使用分辨率分配，从而与第一图像被捕获时动作所处的中心或右侧部分相比，为前方视场的左侧部分给出更高分辨率。所述不同的分辨率分配(例如由服务器或编码设备作出的第二分辨率分配)将对应于以下规定：重放设备应当使用不同于第一图像的UV映射图(例如第二纹理映射图)来渲染第三图像。举例来说，第二UV映射图可以规定与被用来从第一图像映射到环境映射图的第一片段的情况相比，使用更少的像素从第三图像映射到第一片段，并且与被用来从第一帧映射到环境映射图的第二片段的情况相比，使用更多的像素从第二图像映射到位于环境模型中的前向视场的左侧的第二片段，其中动作在捕获第三图像时现在位于该处。

现在将详细讨论步骤956。在一些实施例中，步骤956包括步骤958、960、962、926和/或968。

在步骤958中，接收第三已编码图像。在可选的步骤960中，接收第四已编码图像。

在作为针对步骤958、960的替换步骤962中，接收包括第三和第四已编码图像的其中之一或全部二者的已编码帧。

第三已编码图像可以是第二立体图像对的第一图像，其中第三和第四图像是将被显示给重放设备的用户的左眼和右眼图像。

在步骤956中，除了接收可以被映射到环境模型的图像内容之外，在步骤968中还接收第二指示符，其表明对应于不同分辨率分配的多个纹理映射图当中的哪一个纹理映射图将与所接收到的第三和/或第四已编码图像一起使用。如果在步骤968中没有接收到新的纹理映射图指示符，并且没有接收到新的纹理映射图，则重放设备将继续使用之前正在使用的最近的UV映射图。取代接收纹理映射图指示符，在步骤970中可以接收将被用于渲染所接收到的第三和/或第四图像的新的纹理映射图。

随着接收到例如具有已编码形式的图像，操作从步骤956继续到步骤970。在步骤970中，对所接收到的第三和/或第四图像进行解码。例如在步骤974中，对第三已编码图像进行解码以恢复第三图像。在步骤976中，对第四已编码图像进行解码以恢复第四图像。正如前面所讨论的那样，第三和第四图像可以是左眼和右眼视图。在其中第三和第四图像被包括在单一已编码帧中的实施例中，在步骤972中可以实施对于所接收到的帧的解码以及第三和第四图像的分离从而产生左眼和右眼图像，所述左眼和右眼图像可以(并且有时)被分开应用到环境映射图从而生成分开的、潜在地不同的左眼和右眼视图。

在一些实施例中，第三和/或第四图像传送完整360度环境或全景视图。在其他实施例中，第三和第四图像可以对应于环境的一部分，例如前方部分或者360度中间全景部分但是没有天空和地面。在步骤978中，与已编码的第三和第四图像一起发送或者在单独的流中发送的其他图像可以被解码，以便获得对应于未由第三和/或第四图像提供的环境部分的纹理。在一些实施例中，在步骤986中，通过对所接收到的已编码图像或帧进行解码而获得天空或地面图像。

随着在步骤972中完成对于被传送到重放设备的图像的解码，操作继续到步骤980，其中使用所接收到的例如一幅或多幅已解码图像、将被使用来渲染所接收到的图像的UV映射图(例如第二UV映射图)以及环境模型对图像内容进行渲染。步骤980涉及根据将要使用的第二UV映射图把第三图像应用到环境模型，从而与使用第一UV映射图时所发生的情况相比导致从所接收到的图像到环境的模型的不同像素分配。因此，作为渲染的一部分，第三图像被用作纹理，其根据适用的UV映射图(例如第二UV映射图)被应用到环境模型的片段。可以对于左眼和右眼视图分开实施渲染。

在一些实施例中，步骤980包括步骤982。在步骤982中，通过使用对应于第二分辨率分配的第二纹理映射图(UV映射图)而渲染第三图像，从而把第三图像的至少一部分应用到环境模型的第一部分(例如第一片段)的表面。举例来说，可以基于第二纹理映射图把第三图像的第一像素集合映射到环境的网格模型的第一片段，其中所述第一像素集合与在使用第一UV映射图时所映射的第一集合相比包括更少的像素。可以把第二像素集合映射到模型的第二片段，其中所述第二像素集合与在使用第一UV映射图时被映射的第二片段的情况相比包括更多的像素。因此，通过使用不同的UV映射图把图像映射到模型，可以很容易地实现有限数目的像素到环境模型的各个部分的不同分配，而不需要改动在提供到重放设备的已编码图像中所传送的像素数目。

在立体图像重放的情况中可以实施步骤978，其中通过使用对应于第二分辨率分配的第二纹理映射图(UV映射图)而渲染第四图像，从而把第四图像的至少一部分应用到环境模型的第一部分(例如第一片段)的表面。类似地，第二UV映射图被用来控制把来自第四图像的像素映射到环境模型的第二片段。

在可选的步骤986中，对未被包括在第一图像中的环境部分(例如天空或地面部分)的图像进行渲染，例如根据对于这些部分相关的UV映射图将其应用到环境模型。应当认识到，在一些实施例中，单独的天空和地面部分不被传送，其中这样的部分在一些实施例中是第一和第二图像的一部分。

在对于每一个眼睛视图实施的操作步骤988中，对应于360度模拟环境的不同部分的渲染图像被组合到为用户提供连续观看区域所需要的程度。对于左眼和右眼图像分开实施步骤988，这是因为虽然当在非立体格式中呈现这些图像时地面和天空部分对于这些图像可以是相同的，但是左眼和右眼图像的其他部分可以包括差异，从而在由重放设备的用户的不同眼睛观看左眼和右眼图像时可以导致感知到深度。

随着在步骤980中把第三图像(其可以是第二图像对的一部分)应用到环境的模型，操作继续到显示步骤990。在步骤990中，例如在显示屏幕上向重放设备的用户显示所渲染的图像内容。在步骤992中，从所恢复的第三图像内容生成的第三渲染图像或组合图像被显示以供用户的左眼和右眼的其中之一观看，或者在不支持立体显示的情况下由全部两只眼睛观看。在立体显示的情况中实施步骤994，其中向用户的左眼和右眼当中的另一只眼睛显示第四渲染图像。所显示的第四渲染图像是从所恢复的第四图像数据生成的图像，或者是从所恢复的例如已解码第四图像数据与来自另一图像(例如天空或地面图像部分)的数据的组合生成的图像。

接收和解码图像以及使用由提供图像的服务器所提供或规定的UV映射图对图像进行渲染的处理在连续的基础上发生，正如通过操作从步骤990经由连接节点B 996回到步骤914所表示的那样，从而允许接收和处理附加的图像，例如新的第一和第二图像。

在一些实施例中，所述图像对应于实况体育事件，其中提供图像的服务器基于动作发生在体育赛场上的何处而规定将在体育事件的不同部分期间使用的不同UV映射图，并且在生成将以已编码形式传送的图像时考虑到将被用来渲染图像的UV映射图。因此，通过规定在不同的时间使用不同的UV映射图，可以动态地分配分辨率以便匹配正在体育赛场上或环境中的何处发生动作。

图11示出了根据一个示例性实施例的图像捕获和内容流送方法。图11中示出的方法1100开始于步骤1102，此时将捕获图像，例如对应于体育事件或音乐表演之类的事件的图像。

操作从起始步骤1102沿着多条路径继续，各条路径带来步骤1114、1104、1106、1108、1110、1112，其可以被并行地以及可选地异步执行。

为了促进理解图像捕获处理，现在将参照图13中示出的示例性摄影机支架。摄影机支架1300可以被用作图1系统的支架102，并且包括分别对应于三个扇区当中的一个不同扇区的多个立体对。第一摄影机对1301包括左眼摄影机1302和右侧摄影机1304，其意图捕获对应于将由人的左眼和右眼看到的图像。第二扇区摄影机对1305包括左侧和右侧摄影机1306、1306，第三扇区摄影机对1309则包括左侧和右侧摄影机1310、1312。每一部摄影机被安装在支撑结构1318中的固定位置处。此外还包括朝上摄影机1314。在摄影机1314下方可以包括在图13中不可见的朝下摄影机。在一些实施例中，各个立体摄影机对被用来捕获各对朝上和朝下图像，但是在其他实施例中可以使用单一朝上摄影机和单一朝下摄影机。在其他实施例中，在支架放置之前捕获朝下图像，并且在事件期间将其用作静止地面图像。鉴于地面视图在事件期间往往不会显著改变，因此这样的方法对于许多应用往往是令人满意的。

通过图11的方法捕获并处理支架1300的各部摄影机的输出，现在将对此进行进一步讨论。图11中示出的图像捕获步骤通常是通过操作摄影机支架102的摄影机捕获图像而实施的，图像的编码由编码器112响应于流送请求而实施，并且内容的流送由流送服务器114实施。

在涉及朝下图像捕获和处理的图11的第一路径中，在步骤1114中捕获例如处于支架102下方的地面的图像。这可以在支架放置之前发生，或者如果支架包括朝下摄影机的话可以在事件期间发生。操作从步骤1114继续到步骤1144，其中在步骤1145中的编码之前对所捕获的图像进行。随后存储已编码地面图像以待针对内容的请求，可以通过在步骤1146中向发出请求的设备提供一幅或多幅已编码图像而对所述请求作出响应。

开始于步骤1104的图11中示出的第二处理路径涉及处理并且对内容请求作出响应。在步骤1104中，例如由内容服务器114监测内容请求的发生。在步骤1128中，从重放设备接收针对内容的请求，例如位于顾客处所106处的设备122。

响应于内容请求，为重放设备提供包括对应于可以被使用的不同分辨率分配的一个或多个UV映射图。

操作从步骤1104继续到步骤1128，在生成了环境映射图的情况下可以实施该步骤，并且/或者可以不同于预定的默认设定或环境的其他环境信息被提供到重放设备，以便用于作为环境模拟的一部分对图像进行渲染。

因此，经由步骤1132为请求内容的重放设备提供对环境进行建模所需要的信息，以及/或者对于将图像渲染到模型上可能需要的其他信息。除了模型信息之外，步骤1132可以可选地包括把一个UV映射图集合传送到请求内容的重放设备以供将来使用，例如在一些实施例中，其中一些不同的UV映射图对应于不同的分辨率分配但是对应于模型的相同区域。

在一些实施例中，当使用图13的摄影机支架时，每一个扇区与关于摄影机支架位置的一个已知的120度观看区域相对应，其中基于图像到模拟3D环境的已知映射把来自不同扇区对的捕获图像缝接在一起。虽然通常使用由一部扇区摄影机捕获的每一幅图像的120度部分，但是摄影机也可以捕获对应于近似180度观看区域的更宽图像。相应地，在编码之前可以在重放设备中对所捕获的图像进行掩蔽以作为3D环境模拟或剪裁的一部分。图14是示出如何可以使用对应于支架102的不同摄影机对的各个环境网格部分来模拟3D球形环境的合成图1400。应当提到的是，对于支架102的每一个扇区示出一个网格部分，其中关于顶部摄影机视图使用天空网格，并且对于由朝下摄影机捕获的地面图像使用地面网格。

当组合对应于不同摄影机的总体网格时得到如图15中所示的球形网格1500。应当提到的是，网格1500是对于单眼图像示出的，但是其在捕获立体图像对的情况下被用于左眼和右眼图像全部二者。

图14中示出的类型的网格信息可以(并且有时)在步骤1132中被传送到重放设备。所传送的信息将根据支架配置而有所不同。举例来说，如果使用了更多数目的扇区，则对应于每一个扇区的掩模将对应于小于120度的观看区域，从而需要多于3个环境栅格来覆盖球体的直径。

在步骤1132中示出环境映射图信息被可选地传送到重放设备。应当认识到，环境映射图信息是可选的在于，如果不传送这样的信息则假设环境是默认尺寸球体并且具有安排在已知网格中的预定数目的片段。如果支持多个不同的默认尺寸球体，则在步骤1132中可以(并且有时)把关于将使用何种尺寸球体的指示传送到重放设备。

操作从步骤1132继续到流送步骤1146。特别关于可以通过摄影机支架102捕获的3个扇区当中的每一个，可以在事件期间在连续的基础上实施图像捕获操作。相应地，对应于摄影机支架的第一、第二和第三扇区的开始于步骤1106、1108和1110的处理路径在其内容方面是类似的。

在步骤1106中，第一扇区摄影机对被操作来捕获图像，例如步骤1116中的左眼图像和步骤1118中的右眼图像。图16示出了可以在步骤1106中捕获的示例性图像对1600。所捕获的图像随后在步骤1134中被剪裁以便例如去除所不期望的图像部分，比如由另一个摄影机对捕获的图像部分。在步骤1144中，确定(例如选择)将被用于所捕获的左眼和右眼图像的分辨率分配。所述选择可以是基于有关环境(并且从而是捕获图像)的哪一部分在图像捕获时是重要的信息。所述重要性信息可以是基于检测被拍摄视频的事件处的个人在图像捕获时正看向何处、系统控制器输入以及/或者图像捕获时的环境中的运动的位置。在步骤1146中基于所确定(例如选择)的分辨率分配在捕获图像上实施分辨率降低操作。所选择的分辨率分配可以是对应于所支持的不同UV映射图的多种支持的分辨率分配的其中之一，所述不同的UV映射图对应于由第一扇区摄影机对捕获的环境部分。在步骤1148中，对于在步骤1146中生成的降低分辨率图像进行编码。在步骤1149中生成表明将被用于渲染在步骤1146中生成的降低分辨率图像的UV映射图的信息，在一些实施例中将把所述信息与在步骤1146中生成的已编码图像相关联并且与其一起传送，从而使得重放设备可以确定在渲染通过对于在步骤1146中生成的已编码图像进行解码而恢复的图像时将使用哪一个UV映射图。

图17A示出了根据本发明的环境的示例性网格模型1700。

图17B示出了可以被用来把2D图像的各个部分映射到图17A中所示的网格模型的表面上的UV映射图1702。

图18示出了可以在步骤1134中发生的对于图16的左眼和右眼视图图像的剪裁的示例性结果2000。图18中示出的图像对的剪裁可以在编码以及传输到一个或多个重放设备之前实施。

以所期望的帧率在连续的基础上重复图像捕获、剪裁和编码，正如通过从步骤1149回到步骤1106的箭头所表明的那样。

对于由第二和第三扇区摄影机对捕获的图像实施关于由第一摄影机对捕获的图像所描述的类似操作。

在步骤1172中，从捕获图像生成的已编码图像连同表明将被用于渲染正被流送的已编码图像的UV映射图的信息一起被流送到重放设备。在一些实施例中，在使用UV映射图之前，在为之提供所述UV映射图的已编码图像之前的内容流中传送所述UV映射图。因此，在一些实施例中，取代经由单独的信道或信息集合提供UV映射图，在一些实施例中UV映射图被嵌入在用来向一个或多个发出请求的重放设备递送已编码图像的内容流中。

图12示出了根据一个示例性实施例的操作可以被使用在图1的系统中的重放设备或系统的方法1200。方法1200开始起始步骤1202。在步骤1204中，重放设备例如向图1的流送服务器传送针对内容的请求。重放设备随后在步骤1206中接收可以被用于渲染图像的各种信息。举例来说，在步骤1206中可以接收环境模型信息，以及对应于环境的一个或多个区段的不同分辨率分配的一个或多个UV映射图。因此，在步骤1206中，重放设备可以接收环境模型以及/或者对应于不同分辨率分配的UV映射图信息。在步骤1206中接收到的信息被存储在存储器中以供在按需的基础上使用。

操作从步骤1206继续到步骤1208，其中接收一幅或多幅图像，例如当环境中的事件正在进行的同时所捕获的将要模拟的环境的图像。在步骤1210中，表明哪些UV映射图将被用于渲染所接收到的一幅或多幅图像的信息被表明。在一些实施例中，所述信息表明与可能已被用于环境的一部分的不同分辨率分配相对应的一个UV映射图集合中的哪一个UV映射图将被用于渲染例如对应于前方环境部分的一个帧对的左眼和右眼图像。在步骤1212中，对所接收到的一幅或多幅图像进行解码。

操作从步骤1212继续到步骤1214，其中使用对应于被用来生成一幅或多幅已解码图像的所表明的分辨率分配的一个或多个UV映射图来应用对应于环境模型的表面的已解码图像。操作从步骤1214继续到步骤1218，其中对应于360度模拟环境的不同部分的各个图像区域被组合到生成将被显示的观看区域的连续图像所需要的程度。随后在步骤1220中，所述图像被输出到显示设备，其中在立体图像内容的情况中，不同的图像被显示给用户的左眼和右眼。操作处理从步骤1220回到步骤1204，从而在连续的基础上请求、接收和处理内容。

图19是示出对应于第一扇区的图像部分映射到表示3D观看环境的球体的相应120度部分的图示2100。

在步骤1216中，对应于360度环境的不同部分的图像被组合到例如根据头部位置为观看者提供连续观看区域所需要的程度。例如在步骤1218中，如果观看者正看向两个120度扇区的相交处，则将基于每一幅图像在正被模拟的总体3D环境中的已知角度和位置把对应于每一个扇区的图像部分缝接并且一起呈现给观看者。

图20是示出对网格模型应用纹理从而形成环境的完整360度视图的结果的图示2200，其可以从位于所示出的环境的中心处的角度被呈现给正在观看环境的用户，其中各幅图像被应用到球形环境的内部。所述模拟和显示的结果是用户可以在其中转身并且看向任何方向的完整世界效果。

所映射的图像在步骤1220中被输出到显示设备以供用户观看。应当认识到，基于所接收到的图像以及/或者由于头部位置或用户选择的观看者位置的改变，所显示的图像将随着时间发生改变。

本发明描述了用于支持递送(例如流送)对应于环境的视频或其他内容的方法和装置。在一些实施例中，被传送到重放设备的对应于环境的图像超出用户在给定时间可以观看的区域，从而使得当用户例如通过移动他/她的头部而改变他/她的视角时有内容可用。通过提供对应于比用户在给定时间所能观看的更大的环境区域的图像，如果用户的视角改变，重放设备有足够的信息来提供图像，而无需重放设备等待对应于用户先前未在观看的环境部分的新的图像或其他内容。

在至少一些实施例中，使用网格来表示环境。图像被捕获并且编码成帧，例如意图由左眼观看的帧以及意图由右眼观看的帧。虽然所述技术是在3D立体应用的情境中描述的，但是所述方法也可以被用于立体观看，其中传送单一帧流而不是帧对流。

在一些实施例中，所述技术被用来传送对应于360度观看区域的图像。但是所述技术也可以被用于传送对应于小于360度观看区域的图像，例如通过单一帧传送对应于360度观看区域的图像内容。本发明的方法和装置特别适合于立体和/或其他图像内容的流送，其中数据传输约束可能使得难以在所支持的最高质量水平下(例如使用最佳质量编码和最高支持帧率)进行360度内容的递送。但是所述方法不限于立体内容。

在各个实施例中，对应于一个360度或其他区域的各幅图像被捕获并且被组合形成所述区域的图像。所述区域(例如360度环境)的图像内容的不同部分被映射到一帧，所述帧将被编码和传送。可以对于左眼和右眼视图当中的每一个生成和传送单独的帧。虽然对应于区域的不同部分的图像内容可能是在相同的分辨率下被捕获的，但是捕获图像到帧的映射对于环境的不同区域可以(并且有时)是不同的。举例来说，环境的前方视图部分可以被保留在完全或接近完全分辨率下，侧面和后方则在较低分辨率下被合并到帧中。对应于360度环境的顶部和底部的图像可以在不同于(例如低于)前方和/或侧面视图的分辨率下被合并到帧中。在一些实施例中，对应于环境的顶部和底部的图像被分开发送，并且在许多情况下是作为静态图像或者与对应于环境的其他部分的图像处于不同的速率。

作为映射处理的结果，传送环境的帧可以使用不同数目的像素来表示物理环境的相同尺寸区域。举例来说，可以使用更多数目的像素来表示前向观看区域，并且可以使用更少数目的像素来表示后方观看区域。这代表在生成表示多个图像区域的帧时的选择性下采样。

在解码器中，在一些实施例中作为显示处理的一部分将图像映射或包裹到环境的3D模型上。所述映射图有时被称作UV映射图，这是因为在把所传送的二维帧映射到3D环境模型的XYZ空间时使用UV坐标。被用来把所传送的帧映射到3D模型的网格(UV映射图)考虑到在一些实施例中对于环境的后方和侧面部分所使用的降低的分辨率。

在各个实施例中，被用来把所传送的帧包裹到环境模型上的映射图可以发生改变，从而反映出针对不同环境部分的不同分辨率分配。举例来说，具有高运动的环境部分可以在存在高运动的时间点被分配更高分辨率，并且在其他时间被分配较低分辨率。

关于应当如何由解码器处理所传送的帧以便考虑到在不同时间点为不同图像区域分配不同数量的资源(例如像素)的信息被传送到重放设备，并且被用来解释所传送的帧以及应当如何将其应用到3D环境。

在各个实施例中使用的方法可以被称为在全景图像映射图中使用选择性分辨率分配。这种方法允许编码器和重放设备使用UV映射图在等矩形(equi rectangular)投影中优化分辨率，从而使得在所传送的帧中可用的有限数目的像素当中的更多像素被用于更重要的(多个)图像单元，并且不会在低重要性的图像区域上浪费像素。所述方法和装置特别适合于具有有限的像素缓冲器的设备，比如其中每一个像素都是宝贵的电话，这是因为电话的可用于解码图像的像素缓冲器相当有限。

在考虑图21时可以理解全景图像映射图中的选择性分辨率分配的处理。图21示出了作为在显示设备上渲染图像的处理的一部分将把捕获图像包裹到其上的3D环境网格模型2300。3D模型2300包括天空网格2300、360度全景网格2308以及地面网格2310。作为传送对应于由3D模型表示的3D环境的图像的处理的一部分，传送表示天空的图像的帧。使用映射图来确定所传送的帧的哪些部分被应用到天空网格的哪些片段。在至少一个实施例中，天空映射图对于天空网格的每一个片段包括一个片段，并且提供一种确定表示有时被称作UV空间中的图像的帧的哪一个部分将映射到天空网格2306的片段的方法。在一些实施例中，表示天空的图像的帧被发送一次并且因此是静态的，或者以比将被映射到模型2300的360度全景网格部分的图像低得多的频率在低速率下被发送。

作为传送对应于由3D模型表示的3D环境的图像的处理的一部分，传送表示地面图像的帧。使用映射图来确定所传送的帧的哪些部分被应用到地面网格的哪些片段。在一个实施例中，地面映射图对于地面网格2310的每一个片段包括一个片段，并且提供一种确定表示有时被称作UV空间中的图像的帧的哪一个部分将映射到地面网格2310的片段的方法。在一些实施例中，表示地面的图像的帧被发送一次并且因此是静态的，或者以比将被映射到模型2300的360度全景网格部分的图像低得多的频率在低速率下被发送。

特别重要的是对应于360度网格部分的帧，因为这包括往往被最频繁地观看的环境区域。虽然该环境区域的图像可以在一致的分辨率下被捕获，正如通过未压缩全景图像映射图2302的均匀片段所表示的那样，但是全景图像和全景网格所对应的不同区域在不同时间可能具有不同数量的重要性。举例来说，其中正在发生主要动作的前方区域和/或具有高运动的区域可能较为重要因此需要详细表示，其他环境区域则可能较不重要。考虑到不同图像区域的重要性以及帧的像素是有限资源这一事实，把帧的有限资源(在像素方面)均匀分配到环境的不同区域的做法是浪费的。为了高效地使用帧的可用像素来传送对应于360度环境的图像，可以使用映射图把不同数目的像素分配到360度网格的不同部分。因此，可以使用比其他部分更多的像素对网格2308的某些部分进行编码。根据一个这样的实施例，可以使用具有非均匀片段尺寸的全景图像映射图2304。虽然在图21的情况中所述映射图的每一个片段将被用来把所接收到的帧的像素映射到全景网格2308的相应片段，但是某些片段将使用比其他片段更多的来自所传送的图像的像素。举例来说，与趋向映射图2400的顶部和底部相比，更多像素将被分配到图21的实例中的全景网格的中间部分，正如通过趋向映射图2400中部的更大片段尺寸所表示的那样。虽然映射图2304被用来把所接收到的帧的各个部分映射到网格2308，但是在对所传送的帧进行编码之前，将在考虑到全景图像映射图的情况下对表示全景环境的未压缩图像的一个或多个片段进行下采样。举例来说，表示环境的顶部和底部部分的未压缩图像的各个部分将被下采样以反映出在全景图像映射图中被分配来表示这样的图像部分的较少数目的像素，而其他部分则可以受到较少的或者不受到下采样。

在一些实施例中，基于场景分析并且/或者在考虑到用户观看位置的情况下生成全景图像映射图。全景图像映射图可以(并且在一些实施例中)随着主要动作的位置改变(例如体育场环境中的体育比赛事件期间的球位置发生改变)而随着时间改变。所述改变通常被限制到发生在视频流内的画面组边界上以及/或者发生在场景改变边界上，比如与视频序列中的广告暂停的起始或结束相关联的边界。可以与考虑到新映射图而构造的帧一起或者在其之前在重放设备处传送将被用于对帧进行解释的新映射图。或者重放设备可以存储可以被用于把所接收到的帧映射到环境的网格模型的多种预定映射图，并且视频流可以包括表明所述多个映射图当中的哪一个将被用于所传送的帧的特定集合的信息。

可以对于环境的完全360度区域或者某一较小部分应用所述选择性分配以及改变图像映射图以考虑到内容和/或用户观看位置。相应地，虽然示出了把一帧映射到360度环境区域的一个实例，但是对于被用来把一帧映射到360度环境的180度图像区域或某一其他部分的映射图也可以应用相同的方法。虽然被用来把图像映射到3D模型的相应片段的映射图可以改变，但是模型不需要改变。但是例如当舞台被移动以及/或者检测到环境中的其他改变时，可以在模型中作出改变以反映出环境中的改变。因此，映射图和模型改变都是可能的。

虽然可以针对一个区域(例如全景360度中间区域)的顶部和底部部分作出不同的分辨率分配，但是在环境的水平区域内可以做出不同的分辨率分配。

举例来说，在不同时间可能希望根据球或动作区域所处的位置为体育赛场的不同部分分配不同数量的分辨率。

图21示出了如何可以关于映射到例如对应于360度球形全景网格的环境栅格的图像(例如帧)使用选择性分辨率。可以传送单独的图像以供作为纹理应用到图21中示出的世界模型的天空和地面网格部分。

在压缩之前，对应于360度全景网格2308的全景图像2302在该例中包括总体均匀的分辨率下的图像内容。在一个实际的实施例中应当认识到，使用鱼眼镜头可能会引入一些失真，因此由于镜头问题会引入分辨率的差异。但是出于解释本发明的目的将假设图像捕获得到具有均匀分辨率的图像。被应用到全景图像2302的栅格是均匀的，并且如果被用作UV映射图则将得到针对网格模型2308的360度全景部分的各个片段的均匀分辨率分配。但是由于用户不太可能看向对应于360度全景网格区域的环境的顶部或底部部分，因此在进行编码并传输到重放设备之前，对上方和下方部分进行分辨率降低操作，并且相应地调节将在重放期间使用的UV映射图。因此，在表示将被用来渲染对应于网格模型的360全景区域的分辨率调节图像的UV映射图的网格2304中，栅格尺寸更小。因此，在被应用时，与对应于360度全景网格模型的中间水平部分的片段相比，对于顶部片段将从来源图像中提取出更少的像素并且应用到环境的相应片段。因此，UV模型考虑了被应用到表示360全景区域的捕获图像的选择性分辨率分配。

在渲染所接收到的图像时，重放设备将使用反映出在传输到重放设备之前被应用到图像的分辨率降低的UV网格，例如把所接收到的图像作为纹理应用到环境模型(例如环境的网格模型)的表面上。

虽然反映出分辨率降低操作的静态UV映射图可以(并且在一些实施例中)被使用，但是在其中具有最高优先级的环境部分可能会改变的至少一些实施例中，可能希望支持对于分辨率分配方法的动态选择，并且使用对应于所选择的分辨率分配的UV映射图。通过这种方式，可以改变分辨率分配从而反映出在给定时间(在分辨率方面)为环境的哪一个部分给出优先级。

由附图标记2400表示的图22示出了环境的第一部分的第一捕获图像2402。每一个大点表示一个像素。图像2402具有均匀的分辨率，正如每一个正方形栅格区域中的4个像素所表示的那样。小点被用来表明图像朝向图像2402的其他所示出的部分继续延伸。当选择第一分辨率分配时，例如为图像2402的中间部分给出优先级的分辨率，则将在图像2402的中间部分期间保留分辨率，但是对于左侧和右侧部分降低分辨率。这样的分辨率分配例如在以下情况下可能是合乎期望的，其中图像2402是体育赛场的图像，并且在图像2402被捕获时动作处于体育赛场的中心部分。从图像2402朝向降低分辨率图像2404延伸的箭头表示对图像2402应用第一选择性分辨率降低操作从而生成图像2404。第一分辨率降低操作可以涉及对图像2402的左侧和右侧部分但是不对中间部分应用的下采样。被示出为应用到图像2404的栅格表示被用来从图像2402生成图像2404的分辨率分配。可以看到，第一分辨率调节图像2404在图像的最左侧和最右侧两行所包括的像素数目是图像2402的一半，但是对于趋向图像2404的中间部分的片段则包括相同数目的像素。栅格2406表示对应于第一分辨率分配的第一UV映射图，其适于把图像2404的片段映射到环境模型的片段。

由附图标记2500表示的图23示出了环境的第一部分的第一捕获图像2502。与图22的情况一样，每一个大点表示一个像素。图像2502具有均匀的分辨率，正如每一个正方形栅格区域中的4个像素所表示的那样。小点被用来表明图像朝向图像2502的其他所示出的部分继续延伸。当选择第二分辨率分配时，例如为图像2502的左侧和中间部分给出优先级的分辨率，则将在图像2502的左侧和中间部分中保留分辨率，但是对于右侧部分降低分辨率。这样的分辨率分配例如在以下情况下可能是合乎期望的，其中图像2502是体育赛场的图像，并且在图像2502被捕获时动作处于体育赛场的左侧部分。从图像2502朝向降低分辨率图像2504延伸的箭头表示对图像应用第二选择性分辨率降低操作从而生成图像2504。第二分辨率降低操作可以涉及对图像2502的右侧部分但是不对左侧或中间部分应用的下采样。应当提到的是，为之应用下采样的区域的尺寸与在图22中为之应用了下采样的区域相等。其结果是，图像2404和2504将具有相同的像素总数，但是分辨率在图像2404、2504的不同区域中是不同的。

虽然通过对图像的不同区域应用分辨率分配，总像素计数对于不同的降低分辨率图像被保持恒定，但是这一点并非关键，并且不同的图像在分辨率降低操作之后可以包括不同数目的像素。但是通过保持像素计数恒定会促进编码，这是因为编码器可以把将被编码的图像作为具有相同尺寸来对待，尽管当被使用在重放设备中时，由于对于不同的分辨率分配使用不同的UV映射图，因此将在不同的分辨率下渲染模型的不同部分。

被示出为应用到图像2504的网格表示被用来从图像2502生成图像2504的分辨率分配。可以看到，第二分辨率调节图像2504在图像的最右侧四行所包括的像素数目是图像2502的一半，但是对于趋向左侧和中间部分的片段则包括相同数目的像素。

栅格2506表示对应于第一分辨率分配的第一UV映射图，其适于把图像2504的片段映射到环境模型的片段。

由附图标记2600表示的图24示出了环境的第一部分的第一捕获图像2602。与图22和23的情况一样，每一个大点表示一个像素。图像2602具有均匀的分辨率，正如每一个正方形栅格区域中的4个像素所表示的那样。小点被用来表明图像朝向图像2602的其他所示出的部分继续延伸。当选择第三分辨率分配时，例如为图像2602的中间和右侧部分给出优先级的分辨率，则将在图像2602的中间和右侧部分中保留分辨率，但是对于左侧部分降低分辨率。这样的分辨率分配例如在以下情况下可能是合乎期望的，其中图像2602是体育赛场的图像，并且在图像2602被捕获时动作处于体育赛场的右侧部分。从图像2602朝向降低分辨率图像2604延伸的箭头表示对图像应用第三选择性分辨率降低操作从而生成图像2604。第三分辨率降低操作可以涉及对图像2602的左侧部分但是不对右侧或中间部分应用的下采样。应当提到的是，为之应用下采样的区域的尺寸与在图22和24中为之应用了下采样的区域相等。其结果是，图像2604将具有与图像2404和2504相同的像素总数，但是在为之分配更高分辨率的环境部分方面以不同方式分配分辨率。

被示出为应用到图像2604的栅格表示被用来从图像2602生成图像2604的分辨率分配。可以看到，第三分辨率调节图像2604在图像的最左侧四行所包括的像素数目是图像2602的一半，但是对于趋向右侧和中间部分的片段则包括相同数目的像素。

栅格2606表示对应于第一分辨率分配的第一UV映射图，其适于把图像2504的片段映射到环境模型的片段。

UV映射图2406被传送到重放设备，以供与使用第一分辨率分配生成的图像一起使用。UV映射图2406被传送到重放设备以用于渲染使用第二分辨率分配生成的图像，并且UV映射图2606被传送到重放设备以用于渲染使用第三分辨率分配生成的图像。流送系统和重放系统都存储UV映射图2406、2506、2606的集合，其中流送系统表明哪一个UV映射图应当被映射到哪一幅图像，并且渲染设备(例如重放设备)使用与所接收到的图像相关联的所表明的UV映射图。

虽然通过使用不同的UV映射图支持不同的分辨率分配，但是这对于解码所接收到的图像的重放设备中的解码器可以是透明的，这是因为解码器不需要知道多种可能的分辨率分配当中的哪一种被用来生成将由重放设备中的解码器进行解码的所接收到的已编码图像。

包括图25A和25B的图25示出了根据一个示例性实施例的操作内容处理和递送系统的示例性方法2900。图25A示出了方法2900的第一部分。图25B示出了方法2900的第二部分。图25中示出的方法2900开始于步骤2902，其中内容处理和递送系统被初始化以便处理和递送内容，例如图像内容和/或被用来渲染图像的信息。在一些实施例中，使用图7的内容递送和处理系统700来实施流程图2900的方法。

操作从起始步骤2902继续到步骤2904和2906，所述步骤可以被并行地实施，并且可选地可以被异步实施。在各个实施例中，为顾客渲染和重放设备提供可以被用于渲染图像内容并且/或者为观看者提供3D重放体验的信息。在一些实施例中，这包括向顾客设备提供环境模型和/或其他环境信息，以便用于作为环境模拟的一部分来渲染图像。在步骤2904中，把3D环境模型和/或可以被用来进行建模的信息传送到一个或多个顾客设备。在一些实施例中，所述模型可以从中捕获一幅或多幅图像的环境的网格模型。在一些实施例中，在步骤2905中还向顾客设备(例如顾客重放设备)传送可被用于渲染图像的附加信息，例如一个或多个UV映射图。所述UV映射图对应于不同的分辨率分配，其中不同的UV映射图(也被称作纹理映射图)提供所传送的图像的像素到环境模型的片段的不同映射。如果在步骤2905中传送UV映射图，则UV映射图可以在后来将被用于对所传送的图像进行映射时被识别，并且不需要向重放设备重传多次。但是在一些实施例中，在步骤2905中不传送UV映射图的集合，并且与将为之应用和使用UV映射图的图像的传送一起或者在此之前传送适用的UV映射图。

在一些实施例中，例如在向顾客设备传送实际图像内容之前把步骤2904和2905中的信息传送一次。虽然在其中环境映射图信息和/或环境模型是在服务器侧生成和/或可用的一些实施例中可以将这样的信息传送到重放设备，但是在一些其他实施例中可以假设环境具有默认尺寸和形状(例如球体或半球体)，在这样的情况下，可以在重放设备中预先加载默认环境模块和/或UV映射图并且不需要由服务器传送。

图像内容的处理开始于步骤2906，该步骤可以与步骤2904、2905并行地实施。在步骤2906中，由处理系统(例如图7中示出的内容递送系统700)接收图像内容。在步骤2906中接收到的图像内容可以是来自图像捕获设备，比如在本申请中所讨论并且如图13中所示的图像捕获设备。在一些实施例中，接收图像内容的步骤2906包括步骤2908，其中接收对应于环境的第一部分(例如在其中捕获图像的感兴趣的环境)的第一图像。在一些实施例中，第一图像是一个图像对当中的一幅图像，该图像对还包括第二图像，其中第一图像是左眼和右眼图像对当中的一幅，第二图像是左眼和右眼图像对当中的另一幅。在一些这样的实施例中，在步骤2906中作为图像对的一部分接收第一和第二图像。因此，在一些这样的实施例中，步骤2906还包括接收第二图像的步骤2910。

操作从步骤2906继续到步骤2912，其中系统选择将被用于与环境的第一部分相对应的至少一幅图像的第一分辨率分配。这一选择可以(并且有时)是基于在所接收到的图像内容中检测到运动、例如运动服之类的特定对象的位置以及/或者人类输入，所述人类输入表明将为所捕获的图像的哪一个部分给出优先级并且在编码期间保留在更高分辨率下。举例来说，通过检测到运动员的运动服或制服可以表明将被保留在高分辨率下的区域，在这种情况下，可以(并且在一些实施例中将)选择保留在其中检测到制服的区域的分辨率分配。图像的其他部分可以(并且有时)受到下采样。每一种分辨率可以对应于特定的UV映射图，其意图被用于对通过使用相应的特定分辨率分配所产生的图像进行映射。

操作从步骤2912继续到步骤2914。在步骤2914中确定所选择的第一分辨率分配是否不同于先前选择的分辨率分配，这例如表明下采样和UV映射图中的改变。所选择的第一分辨率分配可以是对应于所支持的不同UV映射图的多种所支持的分辨率分配当中的一种，其中所述UV映射图对应于在第一图像中捕获的环境的第一部分。根据一个方面，在给定时间可以从多种所支持的分辨率分配当中选择一种分辨率分配，以便处理当前图像和/或图像组。如果确定所选择的第一分辨率分配不同于先前选择的分辨率分配，则操作从步骤2914继续到步骤2916，其中加载对应于被用来控制分辨率降低的新选择的分辨率分配的新的下采样和/或过滤信息，并且随后操作继续到步骤2918。如果在步骤2914中确定所选择的第一分辨率分配与先前选择的分辨率分配相同(或者如果没有作出先前选择的话与模拟分配相同)，则不需要加载新的下采样和/或过滤信息，因此操作直接继续到步骤2918。对于图像所选择的分辨率分配表明将如何对将被编码并且传送到重放设备的图像应用下采样。

在步骤2918中，根据所选择的第一分辨率分配在环境的第一部分的第一图像上实施分辨率降低操作(例如下采样)，从而生成第一降低分辨率图像2919。作为步骤2918的输出的第一降低分辨率图像2919包括至少一些具有不同分辨率的图像部分。

在其中处理图像对(例如包括左眼和右眼视图的立体图像对)的实施例中，操作从步骤2916继续到步骤2920。在步骤2920中，根据所选择的第一分辨率分配在环境的第一部分的第二图像(例如立体图像对中的第二图像)上实施分辨率降低操作，从而生成第二降低分辨率图像2921。作为步骤2920的输出的第二降低分辨率图像2921包括至少一些具有不同分辨率的图像部分。因此，在处理立体图像对的情况下，一对当中的左眼和右眼图像都将受到相同的分辨率降低操作。

虽然步骤2920被示出为在步骤2918之后实施，但是也可以与步骤2918同时并行实施。步骤2918和2920的数据输出(例如所生成的第一和第二降低分辨率图像2919)充当针对下一步骤2922的输入。在非立体图像内容的情况下将处理单一图像，并且第二图像将不存在。

在步骤2922中，对降低分辨率图像2919和/或降低分辨率图像2921进行编码。在步骤2924中，对第一降低分辨率图像进行编码。在步骤2926中，对第二降低分辨率图像(当存在时)进行编码。

操作从步骤2922继续到步骤2928。在步骤2928中，已编码降低分辨率图像被存储在存储器中，以供后来传送(例如流送)到例如位于房屋或住所之类的顾客处所处的内容重放设备。操作从步骤2928经由连接节点B 2929继续到步骤2930。在步骤2930中，(多幅)已编码降低分辨率图像被传送到重放设备。这可以涉及把图像通过有线网络、有线电视网络或无线网络或者某种其他类型的网络传送(例如流送)到重放设备。步骤2930包括步骤2932和步骤2934。在步骤2932中，第一降低分辨率图像例如以已编码形式被传送到顾客重放设备，并且在步骤2934中，第二降低分辨率图像例如以已编码形式被传送到重放设备。当例如在单一帧或帧对中传送立体图像对时实施步骤2934。

操作被示出为从步骤2930继续到步骤2936。但是取决于实施例，步骤2936可以处于步骤2930之前。在步骤2936中，向重放设备表明或提供将被用来把已编码图像映射到环境的模型的纹理映射图(例如第一纹理映射图)。在第一纹理映射图(例如UV映射图)已经作为步骤2905的一部分被加载到重放设备中的情况下，对第一纹理映射图进行识别可能就足够了。基于所传送的信息和/或映射图，重放设备知道其将把第一UV映射图与使用所述第一UV映射图所对应的第一分辨率分配产生的第一和第二图像一起使用。第一UV映射图可以由重放设备使用来渲染同样是根据第一分辨率分配所产生的其他图像。在一些实施例中，对于一个画面组保持分辨率分配，因此在这样的实施例中，相同的UV映射图可以被用于多幅接连的图像。

操作从步骤2936继续到步骤2938，在步骤2936中为重放设备提供关于在渲染第一和第二图像的同时将使用什么纹理映射图的信息，步骤2938涉及对附加的一幅或多幅图像(例如第三图像和/或第四图像)进行处理。第三和/或第四图像可以(并且在一些实施例中)是第二立体图像对的左侧和右侧图像，或者是在第一图像之后捕获的环境的某一幅或多幅其他图像。

在步骤2940中，选择第二分辨率分配以用于所接收到的图像，例如第三和/或第四图像。可以使用被用来确定第一分辨率分配的相同技术来确定该分辨率分配，例如基于运动、例如运动服、球等物体的存在来识别一个或多个重要区域。一旦从例如分别对应于不同UV映射图的分辨率分配的集合当中选择出第二分辨率分配，操作继续到步骤2942。在步骤2942中，进行检查以确定第二分辨率分配是否不同于第一分辨率分配。第二分辨率分配可以是不同的，这例如是因为自从捕获第一图像以来，球或运动员可能已经移动到赛场的不同部分。如果第二所选分辨率分配不同于第一所选分辨率分配，则需要加载并使用新的下采样信息，并且操作继续到步骤2944。在步骤2944中，加载新的下采样和/或其他分辨率分配信息，从而可以在分辨率降低步骤2946中使用。如果在步骤2942中确定第二分辨率分配与第一分辨率分配相同，则实施方法2900的系统的处理器由于在处理第一图像时已经使用过因此已经知道将要实施的下采样，并且不需要加载新的下采样信息，并且操作继续到步骤2946。

在步骤2946中，在所接收到的第三和/或第四图像上实施分辨率降低操作(例如下采样)，从而产生第三和/或第四图像的降低分辨率版本2947。操作从步骤2946继续到步骤2948，其中降低分辨率第三和/或第四图像例如在步骤2950中被传送到重放设备之前被编码。

在被示出为在步骤2950之后实时但是可以(并且有时)处于步骤2950之前或者与步骤2950并行发生的步骤2952中，表明将被用于渲染第三和第四图像的UV映射图的信息被传送到重放设备。这可以涉及把将要使用的UV映射图发送到重放设备，或者简单地识别先前存储的UV映射图。由于第三和第四图像是使用第二分辨率分配生成的，因此所述信息将标识对应于第二UV分配的UV映射图。操作从步骤2952经由连接节点2954继续到步骤2906，其中例如从摄影机设备接收附加的图像内容并且将其作为新的第一和第二图像来对待。

随着时间可以接收并处理表示视图的图像序列，并且在给定的时间根据所接收到的图像内容和/或用户输入使用分辨率分配。随着时间在使用不同的分辨率分配时，将用信号通知内容重放设备使用不同的相应UV映射图。因此当第二分辨率分配不同于第一分辨率分配时，将指示重放设备使用不同的第二UV映射图来渲染根据第二分辨率分配生成的图像，所述第二UV映射图不同于被用来渲染根据第一分辨率分配生成的图像的第一UV映射图。可以与相应的UV映射图组合使用大量不同的分辨率分配，从而允许支持多种不同的分辨率分配。

图26示出了可以(并且在一些实施例中)被实施在示例性计算机系统/内容重放设备800上的内容重放方法2700的一个示例性实施例。方法2700可以由接收根据图25的方法编码并传送的内容的设备来使用。

出于解释性目的，将结合在图8中示出的重放设备800来解释示例性内容重放方法2700。应当认识到，方法2700可以被实施在其他装置上。示例性重放方法2700开始于起始步骤2702，操作从该步骤继续到步骤2704。

在步骤2704中，内容重放设备800的网络接口810的接收器860接收环境的网格模型。操作从步骤2704继续到步骤2706。在步骤2706中，内容重放设备800的网络接口810的接收器860接收表明图像与环境的网格模型之间的映射的一个或多个图像映射图，例如一个或多个图像UV映射图。在一些实施例中，步骤2706包括子步骤2708和/或子步骤2710。在子步骤2708中，内容重放设备800的网络接口810的接收器860接收第一图像映射图。在子步骤2710中，内容重放设备800的网络接口810的接收器860接收第二图像映射图。操作从步骤2706继续到步骤2712。

在步骤2712中，内容重放设备800把所接收到的一个或多个图像映射图存储在存储设备(例如存储器812)中。举例来说，UV应摄取1 836和UV映射图2 836被存储在存储器812中。在一些实施例中，所接收到的图像映射图被存储在耦合到内容重放设备800的存储设备中。操作从步骤2712继续到步骤2714。

在步骤2714中，网络接口810的接收器860接收已编码图像。操作从步骤2714继续到步骤2716。在步骤2716中，重放设备800的解码器864对所接收到的已编码图像进行解码。在一些实施例中，硬件解码器模块对所接收到的已编码图像进行解码。在一些实施例中，执行来自解码器模块820的指令的处理器808对所接收到的已编码图像进行解码。操作从步骤2716继续到步骤2718。

在步骤2718中，根据第一图像映射图把已解码图像映射到环境的网格模型，从而产生第一渲染图像。第一图像映射图把已解码图像的不同数目的像素映射到环境的网格模型的不同片段。虽然已解码图像的不同数目的像素到环境的网格模型的不同片段的映射可以通过多种不同方式发生，但是在一些实施例中，不同数目的像素被映射到具有相同尺寸但是位于环境中的不同位置处的环境区段。在一些这样的实施例中，与其中检测到较少动作或者没有检测到动作的片段相比，对应于动作的环境中的片段被分配更多像素。在一些实施例中，与对应于后方观看区域的片段相比，对应于前方观看区域的至少一些片段被分配每个片段更多像素。这一映射可以(并且在一些实施例中)由重放设备800的处理器808实施。操作从步骤2718继续到步骤2719。

在步骤2719中，例如在内容重放设备800的显示器802上显示第一渲染图像。

在一些实施例中，操作从步骤2719继续到步骤2720。在步骤2720中，重放设备800的网络接口810的接收器860接收表明应当使用第二图像映射图把所接收到的帧的各个部分映射到环境网格模型的信号。在一些实施例中，已解码图像是帧。操作从步骤2720继续到步骤2722。在步骤2722中，响应于接收到表明应当使用第二图像映射图把所接收到的帧的各个部分映射到环境网格模型的信号，使用第二图像映射图把所接收到的帧的各个部分映射到环境网格模型，从而产生一幅或多幅附加渲染图像，例如第二渲染图像。在一些实施例中，第二图像映射图是在步骤2710中接收到的第二图像映射图。

在一些实施例中，第一图像映射图把帧的第一数目的像素分配到所述环境网格模型的第一片段，其中已解码图像是帧，并且所述第二图像映射图把帧的第二数目的像素分配到所述环境网格模型的第一片段，所述第一和第二像素数目是不同的。步骤2722的映射可以(并且在一些实施例中)由重放设备800的处理器808实施。操作从可选步骤2722继续到可选步骤2724。

在步骤2724中，例如在内容重放设备800的显示器802上显示(多幅)附加渲染图像，例如第二渲染图像。操作从步骤2724继续到步骤2704，其中所述方法如先前所描述的那样继续。

在示例性方法2700的一些实施例中，所接收到的环境的网格模型被存储在存储设备中，例如存储在重放设备800的存储器812中的3D环境网格模型832。在一些实施例中，所接收到的已编码图像数据可以(并且在一些实施例中)是已编码场景部分，并且被存储在存储设备中，例如存储在重放设备800的存储器812中的所接收到的已编码数据824。在一些实施例中，已解码图像数据被存储在存储设备中，例如被存储在重放设备800的存储器812中的已解码数据826。在一些实施例中，其中一幅或多幅渲染图像被存储在存储设备中，例如重放设备800的存储器812。在一些实施例中，第一和第二图像由执行包含在图像生成模块822中的指令的处理器808渲染。在一些实施例中，硬件(例如电路)图像生成模块实施渲染所述一幅或多幅图像(例如第一和/或第二渲染图像)的操作。

现在将结合图10来描述传送将被用来表示环境的信息的方法2800的示例性实施例。示例性方法2800可以(并且在一些实施例中)由内容递送系统实施，比如图7中示出的内容递送系统700。

方法2800的操作开始于起始步骤2802。操作从步骤2802继续到步骤2804。

在步骤2804中，将被用来把帧的各个部分映射到环境模型的各个片段的第一图像映射图例如被传送到内容重放设备，比如图8中示出的内容重放设备800。第一图像映射图把帧的不同尺寸部分映射到环境模型的不同片段，从而把不同数目的像素分配到环境模型的不同片段。在一些实施例中，内容递送系统700的网络接口710实施这一操作。在这样的实施例中，网络接口710包括实施这一功能的传送器711。操作从步骤2804继续到步骤2806。

在步骤2806中，包括将使用第一图像映射图被映射到环境模型的第一图像的至少一部分的第一帧例如被传送到内容重放设备800。在一些实施例中，内容递送系统700的网络接口710实施这一操作。在一些实施例中，网络接口710包括实施这一操作的传送器711。操作从步骤2806继续到步骤2808。

在步骤2808中，将被用来把帧的各个部分映射到环境模型的各个片段的第二图像映射图例如被传送到内容重放设备，比如内容重放设备800。第二图像映射图把帧的不同尺寸部分映射到环境模型的不同片段，从而把不同数目的像素分配到所述模型的不同片段。第二图像映射图分配到环境模型的第一片段的像素数目不同于由第一图像映射图所分配的像素数目。在一些实施例中，内容递送系统700的网络接口710实施这一操作。在一些实施例中，网络接口710包括实施这一操作的传送器711。操作从步骤2808继续到步骤2810。

在步骤2810中，包括将使用第二图像映射图被映射到环境模型的第二图像的至少一部分的第二帧例如被传送到内容重放设备，比如内容重放设备800。第一和第二图像映射图把不同数目的像素映射到对应于环境的相同部分的区域，从而基于使用第一和第二图像映射图当中的哪一个为环境的相同部分提供不同的分辨率分配。在一些实施例中，内容递送系统的网络接口710实施这一操作。在一些实施例中，网络接口710包括实施这一操作的传送器711。操作从步骤2810继续到步骤2804，其中操作按照先前所描述的那样继续。

图27、28和29示出了重放设备(比如在任一其他附图中所示出的一个或多个重放设备)如何使用UV映射图来实施图像渲染，其中所述UV映射图对应于被用来生成将被渲染的图像的分辨率分配。

图27示出了如何可以使用UV映射图2406和环境模型3002来渲染降低分辨率图像2404，其中所述模型中的各个环境片段对应于UV映射图的各个片段。图27的顶部部分示出了UV映射图2406的各个片段与环境模型3002的各个片段之间的关系。UV映射图2406的第一片段对应于环境模型3002的第一环境模块片段(EMS1)，正如通过从UV映射图2406的第一片段和EMS1延伸的实线箭头所表示的那样。环境模型3002的第二环境模块片段(EMS2)对应于UV映射图2406的第二片段，正如通过从UV映射图2406的第二片段和EMS2延伸的虚线箭头所表明的那样。环境模型3002的第三环境模块片段(EMS 3)对应于UV映射图2406的第三片段，正如通过从UV映射图2406的第三片段和EMS 3延伸的虚线箭头所表示的那样。在UV映射图2406的其他片段与环境模型3002之间存在已知的例如一对一关系。

在渲染期间，UV映射图2406被用来确定如何把根据第一分辨率分配生成的图像的各个部分作为纹理应用到环境模型3002的各个部分。在图27中，UV映射图2406被应用到所传送的图像2404，以便确定如何把图像2404分段成将被应用到环境模型3002的相应片段的各个像素集合。对应于UV映射图2406的一个片段的图像2404的片段中的像素随后例如作为纹理被应用到环境模型3002的相应片段，其中使用必要的缩放和整形以覆盖环境模型3002的所述片段的表面。在一些实施例中，对被应用到环境模型3002的相应片段的图像部分进行必要的缩放和/或形状调节，以便完全占据环境模型3002的相应片段。因此举例来说，对应于UV映射图2406的第一片段的所传送图像的两个像素被缩放，以便完全占据其被应用到的环境模型3002的第一片段EMS1。类似地在图27的实例中，对应于UV映射图2406的第二片段的正被渲染的图像2404的两个像素被缩放，以便完全占据其作为纹理被应用到的环境模型3002的第二片段EMS2。在图27的实例中，UV映射图的第三片段对应于将被渲染的图像2404中的四个像素。所述四个像素作为纹理被应用到环境模型3002的第三片段EMS3，以便在渲染处理期间作为纹理。因此，假设环境模型3002的第三片段与环境模型的第一和第二片段具有相同的尺寸，第三片段将具有比第一和第二片段更高的分辨率，并且与第一和第二片段当中的任一个片段相比对应于所接收到的图像2404中的更多像素。因此，对应于在编码之前受到分辨率降低的图像部分的UV映射图2406的片段可以对应于另一个片段的环境模型3002的相同尺寸区域，其中所述另一个片段并不对应于分辨率降低操作。应当认识到，与在编码之前为之实施分辨率降低的部分相比，对应于未在其中实施分辨率降低的区域的片段将以更高分辨率被显示在模拟环境的所生成的图像中。

正如前面所讨论的那样，可以实施不同的分辨率降低操作以产生所传送的图像。重放设备在渲染所接收到的图像时将使用对应于所实施的分辨率降低操作的UV映射图。因此，虽然环境模型3002对于多幅图像可以保持相同，但是对于相同的环境模型3002可以使用不同的UV映射图2406、2506、2606。

图28示出了将UV映射图2506应用到使用第二选择性分辨率降低操作生成的图像2504，从而与左侧和中间部分相比为对应于环境的一部分的图像的右侧部分分配较低分辨率。因此，图28示出了如何可以使用UV映射图2506以及具有对应于UV映射图的片段的环境片段的环境模型3002来渲染降低分辨率图像2504。图28的顶部部分示出了UV映射图2506的片段与环境模型3002的片段之间的关系。UV映射图2506的第一片段对应于环境模型3002的第一环境模块片段(EMS1)，正如通过从UV映射图2506的第一片段和EMS1延伸的实线箭头所表示的那样。环境模型3002的第二环境模块片段(EMS2)对应于UV映射图2506的第二片段，正如通过从UV映射图2506的第二片段和EMS2延伸的虚线箭头所表明的那样。环境模型3002的第三环境模块片段(EMS 3)对应于UV映射图2506的第三片段，正如通过从UV映射图2506的第三片段和EMS 3延伸的虚线箭头所表示的那样。

在渲染期间，UV映射图2506被用来确定如何把将要渲染的图像应用到环境模型3002。图28示出了如何把所传送的图像2504以及对应于UV映射图的一个片段的图像片段中的像素应用到环境模型3002的相应片段。对被应用到UV映射图的相应片段的图像2504的部分进行必要的缩放和/或形状调节，以便完全占据UV映射图的相应片段。因此举例来说，对应于UV映射图2506的第一片段的所传送图像的四个像素被缩放，以便完全占据其被应用到的环境模型的第一片段EMS1。类似地在图28的实例中，对应于UV映射图的第二片段的正被渲染的图像的四个像素被缩放，以便完全占据其作为纹理被应用到的环境模型3002的第二片段EMS2。在图28的实例中，UV映射图的第三片段也对应于将被渲染的图像的四个像素。所述四个像素作为纹理被应用到环境模型的第三片段，以便在渲染处理期间作为纹理。因此，假设环境模型的第三片段与环境模型的第一和第二片段具有相同的尺寸，第三片段将具有与第一和第二片段相同的分辨率。根据第二分辨率分配方案，对图像的左侧和中间部分不应用分辨率降低，但是关于图像的右侧实施分辨率降低。因此虽然所渲染的图像的第一、第二和第三片段在图28的实例中将具有相同的分辨率，但是对应于图像的右侧并且从而对应于环境模型3002的右侧的片段将具有较低分辨率。

图29示出了将UV映射图2606应用到使用第三选择性分辨率降低操作生成的图像2604，从而与中间和右侧部分相比为对应于环境的一部分的图像的左侧部分分配较低分辨率。因此，图29示出了如何可以使用UV映射图2606以及具有对应于UV映射图2606的片段的环境片段的环境模型3002来渲染降低分辨率图像2604。图29的顶部部分示出了UV映射图2606的片段与环境模型3002的片段之间的关系。UV映射图2606的第一片段对应于环境模型3002的第一环境模块片段(EMS1)，正如通过从UV映射图2606的第一片段和EMS1延伸的实线箭头所表示的那样。环境模型3002的第二环境模型片段(EMS2)对应于UV映射图2606的第二片段，正如通过从UV映射图2606的第二片段和EMS2延伸的虚线箭头所表明的那样。环境模型3002的第三环境模块片段(EMS 3)对应于UV映射图2606的第三片段，正如通过从UV映射图2606的第三片段和EMS 3延伸的虚线箭头所表示的那样。

在渲染期间，UV映射图2606被用来确定如何把将要渲染的图像应用到环境模型3002。图29示出了如何把所传送的图像2604以及对应于UV映射图的片段的图像片段中的像素应用到环境模型3002的相应片段。对通过UV映射图2606所表明的对应于环境模型3002的一个片段的2604的部分进行必要的缩放和/或形状调节，以便完全占据环境模型3002的相应片段。因此举例来说，对应于UV映射图2606的第一片段的所传送图像的两个像素被缩放，以便完全占据其被应用到的环境模型的第一片段EMS1。类似地在图29的实例中，对应于UV映射图2606的第二片段的正被渲染的图像的两个像素被缩放，以便完全占据其作为纹理被应用到的环境模型3002的第二片段EMS2。在图29的实例中，UV映射图的第三片段也对应于将被渲染的图像的两个像素。所述两个像素作为纹理被应用到环境模型的第三片段，以便在渲染处理期间作为纹理。因此，假设环境模型的第三片段与环境模型3002的第一和第二片段具有相同的尺寸，第三片段将具有与第一和第二片段相同的分辨率。根据第三分辨率分配方案，对所传送的图像的中间和右侧部分不应用分辨率降低，但是关于图像的左侧实施分辨率降低。因此虽然所渲染的图像的第一、第二和第三片段在图29的实例中将具有相同的分辨率，但是对应于图像的中间和右侧以及环境模型3002的右侧的片段将具有更高分辨率。

因此，在重放期间通过使用不同的UV映射图可以实现不同的分辨率分配，同时输入图像中的像素尺寸和/或数目则保持相同。这样就提供一种容易并且高效的改变分辨率分配的方式，而无需改动正在传送的图像中的像素尺寸或数目。

现在将描述用于重放内容的另一种示例性装置。所述装置包括接收器，所述接收器用于接收信号、环境的网格模型、表明图像与环境的网格模型之间的映射的一个或多个图像映射图(例如(多个)UV映射图)以及一幅或多幅已编码图像。在一些实施例中，所述装置的接收器被配置成接收环境的网格模型、第一图像映射图、第二图像映射图以及已编码图像。所述装置还包括或者耦合到存储设备，比如用于存储所接收到的信号、网格模型、图像映射图以及图像(比如已编码、已解码和所产生的图像)的存储器。所述装置还包括用于对所接收到的已编码信号进行解码的解码器，以及被配置成根据第一图像映射图把已解码图像映射到环境的网格模型从而产生第一渲染图像的处理器。第一图像映射图把已解码图像的不同数目的像素映射到环境的所述网格模型的不同片段。在一些实施例中，所述装置被配置成使得不同数目的像素被映射到具有相同尺寸但是处于环境中的不同位置处的环境区段。在一些实施例中，与其中检测到较少动作或者没有检测到动作的片段相比，对应于动作的环境中的片段被分配更多像素。在一些实施例中，所述装置被配置成使得与对应于后方观看区域的片段相比，对应于前方观看区域的至少一些片段被分配每个片段更多像素。在一些实施例中，所述装置包括或者耦合到在其上显示由所述装置产生的图像的显示设备。所述装置的处理器可以(并且通常)被配置成操作该装置把所接收到的信号、网格模型、图像映射图以及图像(比如已编码、已解码和所产生的图像)存储在存储设备中，所述存储设备被包括在所述装置中或者耦合到所述装置。

在一些实施例中，所述装置的接收器被配置成接收表明应当使用第二图像映射图把所接收到的帧的各个部分映射到所述环境网格模型的信号。所述装置的处理器还被配置成响应于所接收到的表明应当使用第二图像映射图把所接收到的帧的各个部分映射到环境网格模型的信号，使用第二图像映射图(通常是所接收到的第二图像映射图)把所接收到的帧的各个部分映射到环境网格模型，从而产生第二渲染图像。在一些这样的装置中，已解码图像是帧，第一图像映射图把帧的第一数目的像素分配到环境的网格模型的第一片段，并且第二图像映射图把帧的第二数目的像素分配到环境网格模型的第一片段，所述第一和第二像素数目是不同的。所述装置的处理器通常被配置成把第二渲染图像显示到显示器，所述显示器可以被包括为所述装置的一部分或者耦合到所述装置。

现在将讨论一种用于传送将被用来表示环境的信息的示例性装置。所述示例性装置包括被配置成操作所述装置实施以下步骤的处理器：(i)传送将被用来把帧的各个部分映射到环境模型的各个片段的第一图像映射图，所述第一图像映射图把帧的不同尺寸部分分配到环境模型的不同片段，从而把不同数目的像素分配到模型的不同片段；以及(ii)传送包括将使用所述第一图像映射图被映射到所述环境模型的第一图像的至少一部分的第一帧。

在一些实施例中，所述装置的处理器还被配置成操作所述装置实施以下步骤：(i)传送将被用来把帧的各个部分映射到环境模型的各个片段的第二图像映射图，所述第二图像映射图把帧的不同尺寸部分分配到环境模型的不同片段，从而把不同数目的像素分配到所述模型的不同片段，所述第二图像映射图分配到所述模型的第一片段的像素数目不同于由所述第一图像映射图(例如UV映射图)分配的像素数目；以及(ii)传送包括将使用第二图像映射图被映射到所述环境模型的第二图像的至少一部分的第二帧。在所述装置的一些实施例中，第一和第二图像映射图把不同数目的像素映射到对应于环境的相同部分的区域，从而基于使用第一和第二图像映射图当中的哪一个而为环境的所述相同部分提供不同的分辨率分配。

在一些实施例中，所述装置是提供实时内容流的服务器。在一些实施例中，所述装置是实时内容递送系统，其包括环境网格生成模块、映射图生成模块(例如UV映射图生成模块)以及用于传送包括信号、模型、映射图和图像的信息的I/O接口和/或网络接口。在一些实施例中，所述模块包括在被执行时使得处理器实施各种例程的软件指令。在一些实施例中，所述模块是硬件模块(例如电路)。在一些实施例中，所述模块是硬件和软件模块的组合。

根据一个示例性实施例而实施的一种示例性内容处理和递送系统(例如系统700)包括：被配置成实施以下步骤的处理器(例如处理器708)：i)选择将被用于与环境的第一部分相对应的至少一幅图像的第一分辨率分配；以及ii)根据所选择的第一分辨率分配在环境的第一部分的第一图像上实施分辨率降低操作，从而生成第一降低分辨率图像；以及被配置成把第一降低分辨率图像传送到重放设备的传送器(例如接口710的传送器713)。

在一些实施例中，基于环境的第一部分中的具有重要性的区段实施分辨率的选择。在一些实施例中，所述具有重要性的区段对应于环境的第一部分中的运动区域。在一些实施例中，所述具有重要性的区段是由系统操作员表明的区段。在一些实施例中，所述具有重要性的区段是通过检测一位或多位个人在捕获第一图像之前或者在捕获第一图像时正在看向包括在第一图像中的环境的哪一个部分而确定的区段。

在一些实施例中，所述传送器被配置成：向重放设备传送将被用来把根据第一分辨率分配生成的图像的各个部分映射到环境模型的表面的第一纹理映射图(UV映射图)。在一些实施例中，第一纹理映射图中的第一片段的尺寸是被应用到第一图像的相应第一区域以便生成第一降低分辨率图像的第一片段的分辨率降低的数量的函数。在一些实施例中，第一纹理映射图可以包括对应于未受到分辨率降低操作的第一图像的一部分的第二片段，第二纹理映射图中的第二片段的尺寸可以与第一图像中的该片段的尺寸相同。

在一些实施例中，纹理映射图中的第一片段的尺寸被从第一图像中的相应区域的来源的尺寸减小一数量，该数量是基于被应用到第一图像的相应第一区域的分辨率降低的数量。在一些实施例中，所述传送器还被配置成向重放设备传送环境模型。在一些实施例中，第一纹理映射图对应于环境模型的一部分，第一纹理映射图提供表明如何把受到第一分辨率分配的图像的各个部分映射到环境模型的一部分的信息。在一些实施例中，第一图像是包括第一图像和第二图像的图像对当中的一幅图像，第一图像是左眼和右眼图像对当中的一幅图像，第二图像是左眼和右眼图像对当中的另一幅图像。在一些实施例中，所述处理器还被配置成根据所选择的第一分辨率分配在第二图像上实施分辨率降低操作从而生成第二降低分辨率图像，并且所述传送器还被配置成把第二降低分辨率图像作为第一立体图像对的一部分传送到重放设备。

在一些实施例中，所述处理器还被配置成：选择将被用于与环境的第一部分相对应的另一幅图像的第二分辨率分配，所述另一幅图像是第三图像；以及根据所选择的第二分辨率分配在第三图像上实施分辨率降低操作，从而生成第三降低分辨率图像。在一些实施例中，所述传送器还被配置成把第三降低分辨率图像传送到重放设备。

在一些实施例中，所述传送器还被配置成向重放设备传送将被用来把根据第二分辨率分配生成的图像的各个部分映射到环境模型的表面的第二纹理映射图(UV映射图)。在一些实施例中，第二纹理映射图中的第一片段的尺寸是被应用到第三图像的相应第一区域以便生成第三降低分辨率图像的第一片段的分辨率降低的数量的函数。在一些实施例中，第二纹理映射图包括对应于未受到分辨率降低操作的第三图像的一部分的第三片段，第二纹理映射图中的第三片段的尺寸与第三图像中的该片段的尺寸相同。

在一些实施例中，第二纹理映射图中的第一片段的尺寸被从第三图像中的相应区域的来源的尺寸减小一数量，该数量是基于被应用到第三图像的相应第一区域的分辨率降低的数量。在一些实施例中，第二纹理映射图与第一纹理映射图对应于环境模型的相同部分，第二纹理映射图提供表明如何把受到第二分辨率分配的图像的各个部分映射到环境模型的相应部分的信息。

所述方法和装置可以被用于渲染立体图像(例如将被显示给用户的左眼和右眼的图像对)或单视场图像。因此虽然所述方法非常适合于用来模拟3D环境，但是也非常适合于用来传送可以对应于比完全360度环境更小的区域并且可以不是立体性质的全景图像。

在后面的详细描述中将描述许多附加的方法和实施例。

虽然按照示例性顺序示出了各个步骤，但是应当认识到，在许多情况下可以改动步骤的顺序而不会对操作造成负面影响。因此，除非对于适当的操作要求所述示例性步骤顺序，否则所述步骤顺序应被认为是示例性而非限制性的。

一些实施例是针对一种具体实现软件指令(例如计算机可执行指令)的集合的非瞬时性计算机可读介质，所述指令用于控制计算机或其他设备对立体视频进行编码和压缩。其他实施例是针对一种具体实现软件指令(例如计算机可执行指令)的集合的计算机可读介质，所述指令用于控制计算机或其他设备在播放器端对视频进行解码和解压缩。虽然编码和压缩作为可能的单独操作被提到，但是应当认识到，编码可以被用来实施压缩，因此编码在一些实施例中可以包括压缩。类似地，解码可以涉及解压缩。

各个实施例的技术可以使用软件、硬件以及/或者软件与硬件的组合来实施。各个实施例是针对一种装置，例如图像数据处理系统。各个实施例还针对方法，例如处理图像数据的方法。在一些实施例中，其中一个或多个方法步骤是使用处理器来实施的。各个实施例还针对一种非瞬时性机器，例如ROM、RAM、CD、硬盘等计算机可读介质，其包括用于控制机器实施一种方法的一个或多个步骤的机器可读指令。

本发明的各种特征是使用模块来实施的。这样的模块可以(并且在一些实施例中)被实施成软件模块。在其他实施例中，所述模块由硬件实施。在其他实施例中，所述模块是使用软件与硬件的组合来实施。在一些实施例中，所述模块被实施成单独的电路，其中每一个模块被实施成用于实施该模块所对应的功能的电路。已设想到多种实施例，包括其中不同模块以不同方式被实施的一些实施例，例如一些模块用硬件实施，一些模块用软件实施，并且一些模块使用硬件与软件的组合来实施。还应当提到的是，例程和/或子例程或者由这样的例程实施的其中一些步骤可以由专用硬件实施而不是执行在通用处理器上的软件。这样的实施例仍然处于本发明的范围内。许多前面描述的方法或方法步骤可以使用包括在机器可读介质(比如RAM、软盘等存储器设备)中的机器可执行指令(比如软件)来实施，以便控制机器(例如具有或不具有附加硬件的通用计算机)实施前面描述的方法的全部或某些部分。相应地，本发明特别涉及一种包括机器可执行指令的机器可读介质，所述机器可执行指令用于使得机器(例如处理器和相关联的硬件)实施前面描述的(多种)方法的其中一个或多个步骤。

本领域技术人员根据前面的描述将认识到关于前面所描述的各个实施例的方法和装置的许多附加的变型。这样的变型应被视为处于本发明的范围之内。

Claims (25)

1.一种图像捕获和内容流送方法，包括：

捕获环境的第一部分的第一图像和环境的第二部分的第二图像；

确定所述环境中的具有重要性的区段；

确定所述第一图像是否包括所述具有重要性的区段；

根据第一图像包括具有重要性的区段的确定，以第一分辨率对第一图像进行编码；

确定所述第二图像是否排除所述具有重要性的区段；

根据所述第二图像排除所述具有重要性的区段的确定，执行分辨率降低操作以以第二分辨率对所述第二图像进行编码以形成降低分辨率的第二图像；以及

输出已编码的第一图像和已编码的降低分辨率的第二图像以供传送到重放设备。

2.根据权利要求1所述的方法，其中，基于所述环境中的运动来识别所述环境中的具有重要性的区段。

3.根据权利要求1所述的方法，其中，基于对象在所述环境中的位置来识别所述环境中的具有重要性的区段。

4.根据权利要求1所述的方法，其中，所述环境包括观众，并且基于所述观众观看的方向来识别所述环境中的具有重要性的区段。

5.根据权利要求1所述的方法，其中，基于用户输入来识别所述环境中的具有重要性的区段。

6.根据权利要求1所述的方法，其中所述第一图像由第一摄影机捕获，并且所述第二图像由第二摄影机捕获。

7.根据权利要求6所述的方法，其中，所述第一摄影机是第一立体摄影机对的一部分，并且所述第二摄影机是第二立体摄影机对的一部分。

8.一种用于向内容重放设备提供图像内容的方法，包括：

获得在环境中捕获的图像；

为所捕获的图像选择分辨率分配；

基于所述分辨率分配对所述图像执行分辨率降低操作以获得降低分辨率图像；

对所述降低分辨率图像进行编码；

确定与所述分辨率分配对应的所述环境的UV映射；以及

向所述内容重放设备提供已编码的降低分辨率图像和所述UV映射的标识。

9.根据权利要求8所述的方法，进一步包括：

识别所述环境的网格模型，用于渲染与所述分辨率分配对应的所述已编码的降低分辨率图像。

10.根据权利要求9所述的方法，进一步包括：

将所述环境的网格模型提供给所述内容重放设备，

其中所述内容重放设备能够根据所述UV映射将所述已编码的降低分辨率图像应用于所述网格模型。

11.根据权利要求8所述的方法，其中在所述环境中捕获的所述图像包括感兴趣区域。

12.根据权利要求11所述的方法，其中所述环境中的所述感兴趣区域对应于所述环境中的运动。

13.根据权利要求11所述的方法，其中，所述环境中的所述感兴趣区域对应于在所述环境的一个或多个视频流中检测到的运动，所述一个或多个视频流包括在所述环境中捕获的图像。

14.根据权利要求11所述的方法，其中所述环境中的所述感兴趣区域对应于对象在所述环境中的位置。

15.根据权利要求11所述的方法，其中所述环境包括观众，并且所述环境中的所述感兴趣区域对应于所述观众正在观看的方向。

16.根据权利要求11所述的方法，其中所述环境中的所述感兴趣区域对应于用户输入。

17.一种提供在环境中捕获的编码视频的方法，所述方法包括：

获得指示与多个观看者的多个头部位置对应的环境的多个部分的信息；

确定所述多个观看者中的每个观看者在所述环境中的观看方向；

以基于所述多个观看者中相关联的观看方向对应于所述环境的所述多个部分中的至少一部分的观看者的数量而选择的分辨率分配，对包括所述至少一部分的至少一个视频帧进行编码；以及

将所述至少一个编码的视频帧提供给至少一个重放设备。

18.根据权利要求17所述的方法，其中，相关联的观看方向对应于所述环境的每个部分的观看者的数量是在每帧的基础上确定的。

19.根据权利要求18所述的方法，其中，所述分辨率分配是通过基于相关联的观看方向对应于所述环境的每个部分的观看者的数量来对所述环境的多个部分中的每个部分进行排名来进一步选择的。

20.根据权利要求18所述的方法，其中，确定所述环境的每个部分的相对重要性包括基于相关联的观看方向对应于所述环境的每个部分的观看者的数量，为所述环境的多个部分中的每个部分生成加权优先级排序值。

21.根据权利要求10所述的方法，进一步包括：

基于多个头部安装显示器中的一个或多个头部安装显示器所支持的数据速率和所述环境的多个部分中的一个或多个部分的加权优先级排序值，选择要在所述至少一个编码的视频帧上使用的第一分辨率分配图案。

22.根据权利要求21所述的方法，其中，基于所获得的与所述多个观看者中的多个预定观看者对应的观看信息来生成每个加权优先级排序值。

23.根据权利要求22所述的方法，进一步包括：

基于所获得的观看信息，确定从所述第一分辨率分配图案切换到第二分辨率分配图案的时间帧。

24.根据权利要求23所述的方法，进一步包括：

根据纹理映射选择所述第二分辨率分配图案，所述纹理映射对应于所述环境的模型的片段。

25.根据权利要求24所述的方法，进一步包括：

将所述纹理映射和所述环境的模型提供给所述多个头部安装显示器中的每一个。