CN114009012A - 用于编码、传递和/或使用图像的方法和装置 - Google Patents

Abstract

本发明描述了用于捕获、传递和使用图像数据以支持虚拟现实体验的方法和装置。以高分辨率但比用于回放的帧速率低的帧速率捕获图像，例如帧。将内插应用于捕获帧以生成内插帧。捕获帧连同内插帧信息被传递到回放设备。捕获帧和内插帧的组合对应于高于图像捕获速率的第二帧回放速率。相机以高图像分辨率操作，但帧速率慢于可用相同相机以较低分辨率捕获的图像。在递送到用户设备之前执行内插，其中基于运动和/或透镜FOV信息选择要内插的片段。与捕获帧数据相比，传递相对少量的内插帧数据以用于有效带宽使用。

Description

用于编码、传递和/或使用图像的方法和装置

相关专利申请

本申请要求2019年4月24日提交的美国临时专利申请序列号62/838,300的申请日的权益，该美国临时专利申请据此全文以引用方式明确并入。

技术领域

本发明涉及用于为虚拟现实系统(例如，支持在虚拟现实设备上回放的系统，例如，其可渲染2D或3D图像内容)编码并传递带有运动的图像的方法和装置。

背景技术

高质量图像捕获对于实际虚拟现实应用可能是重要的。遗憾的是，以高帧速率捕获高分辨率图像可能涉及使用极其昂贵的高速高分辨率相机，由于许多应用的成本原因，这可能是不实际的。

虽然捕获高分辨率图像以支持虚拟现实是期望的，但是考虑到可用于将图像传输到回放设备的通信网络的带宽约束，整体传递大量高分辨率图像可能存在通信问题。

图像捕获和数据传输约束的问题是非立体系统在3D视频和3D虚拟现实系统的上下文中变得特别严重的问题，其中通常需要传递单独的左眼和右眼图像数据。

在3D虚拟现实系统的情况下，左眼图像内容和右眼图像内容之间的差异是通常向人类观察者传达被观看对象的深度感和3D性质的内容。因此，对于实际深度体验，通常重要的是捕获和保留图像细节。

鉴于上述情况，应当理解，需要用于支持将高分辨率图像用于虚拟现实应用的方法和装置。如果图像捕获速率不需要匹配图像回放速率以允许在以高细节级别捕获图像时使用可能不支持所需图像回放速率的相机，则将是期望的。此外，需要可支持回放和允许回放系统的用户享受体验的足够细节信息的方法和装置。希望方法和/或装置中的至少一些解决将图像内容传递到具有有限带宽的回放设备以用于递送此类内容的问题，并且希望方法中的至少一些在内容可包括运动中的对象(诸如在球或其他对象可能正在移动的体育事件中可能预期的)的情况下是可用的。所有实施方案不需要解决所有上述问题，其中解决一个或多个所讨论的问题的实施方案和特征是有用且期望的。

发明内容

本发明描述了用于捕获、传递和使用图像数据以支持虚拟现实体验的方法和装置。以高分辨率但比要支持回放的帧速率更低的帧速率捕获图像，例如帧。将内插应用于捕获帧。捕获帧连同内插帧信息被传递到回放设备。捕获帧和内插帧的组合对应于高于图像捕获速率的第二帧回放速率。通过以高图像分辨率但比可用相同相机以较低分辨率捕获图像更慢的帧速率操作相机，保留了细节。在递送到用户设备之前执行内插，其中基于运动和/或透镜视场(FOV)信息选择要内插的片段。与捕获帧数据相比，传递相对少量的内插帧数据以有效地使用带宽。

虽然在本发明内容中讨论了各种特征，但所有实施方案不需要包括发明内容中讨论的所有特征。因此，本发明内容中对一个或多个特征的讨论或提及并非旨在暗示所讨论的一个或多个特征在所有实施方案中是必需的或必要的。

所描述方法和装置具有优于其他方法的若干优点。该方法在某些HMD(头戴式显示器)上播放沉浸式内容时解决并避免了一些更严重的运动伪影，这些伪影可能在内容限于以捕获帧速率更新时发生。通过理解伪影的性质，例如，它们是由于用于捕获图像部分的透镜部分的运动和/或形状而创建的，该方法通过选择性地更新高运动片段和/或对应于经受高失真的相机透镜的部分的片段来解决降低此类伪影的风险，而无需配置多个VR(虚拟现实)系统。

与其他系统相比，该方法还降低了递送内容所需的处理和带宽的复杂性，其中伪影问题比一些已知系统更少，因为该方法有效地利用了可用于将图像数据传递到回放设备的有限带宽。该方法的一个或多个方面可在内容递送流水线的最后一个点处的嵌入式设备上实现。

示例性内容分发方法涉及一种内容分发方法，该方法包括：存储以第一帧速率捕获的图像；执行内插以生成内插帧数据，从而支持高于所述第一帧速率的第二帧速率；以及将捕获帧数据和内插帧数据传递到至少一个回放设备。

本发明还涉及各种回放系统特征、方法和实施方案。

一个示例性方法实施方案涉及一种操作回放系统的方法，该方法包括：接收捕获帧数据和内插帧数据；从所接收的捕获帧数据恢复捕获帧；从所接收的内插帧数据生成一个或多个内插帧；渲染包括一个或多个捕获帧和至少一个内插帧的视频序列；以及将一个或多个渲染图像输出到显示设备。

上述方法和装置的许多变型是可能的。

附图说明

图1示出了根据本发明的一些实施方案实现的可用于捕获内容、流式传输内容并将内容输出到一个或多个用户的示例性系统。

图2示出了根据本发明的特征的具有可用于对内容进行编码和流式传输的编码能力的示例性内容递送系统。

图3示出了可用于接收、解码和显示由图2的系统流式传输的内容的示例性内容回放系统。

图4示出了相机装备，该相机装备包括用于捕获左眼图像和右眼图像的多个相机对，该左眼图像和右眼图像对应于360度视场的不同120度扇区，以及指向天空以捕获天空视图的一个或多个相机。

图5示出了可如何组合对应于不同相机视图的5个不同的环境网格图以创建完整的球形视图/环境，背景图像可被施加到该球形视图/环境上作为回放操作的一部分。

图6示出了完全组装5个网格以创建球形模拟环境。

图7示出了对应于相机装备的一个扇区的环境网格模型，其中图像中的一个图像被施加(例如，投影)到环境网格上以生成背景图像。

图8示出了由对应于每个扇区的相机以及相机装备的天空和地面相机捕获的图像的应用，以模拟球体形式的完整3D环境，该环境可用作可应用前景对象的背景。

图9示出了根据本发明的处理、捕获的图像内容的方法，该方法可以并且有时由图1所示的内容递送系统和/或图1所示的内容递送系统的图像处理、校准和编码设备来实现。

图10是示出在本发明的各种实施方案中由内容递送系统生成的传输帧速率如何超过捕获帧速率的图示。

图11示出了示例性总体传输帧序列，其中CF开始用于指示例如作为基础视频层的一部分传递的捕获帧，以及IF用于指示在一些实施方案中作为增强层传递的内插帧信息，其中每组内插帧信息包括例如通过使用运动内插生成的一个或多个片段。

图12示出了用作基层帧的捕获帧，其中圆对应于帧的包括对应于鱼眼透镜的图像内容的部分，该鱼眼透镜用于在一些实施方案中捕获圆外部的边缘部分不是感兴趣的图像，因为它们将不用作纹理并且对应于所捕获的感兴趣场景区域外部的区域。

图13示出了如何将用于重建特定片段的信息作为内插帧数据发送。

图14示出了可如何考虑速度矢量和各种速率以及相对于鱼眼透镜捕获区域的位置，以确定应当通过内插支持的帧速率。

图15是示出各种内插帧时间以及哪些片段将基于特定片段要支持的所选择的帧速率进行内插和传递的图表。

图16是根据示例性实施方案的示例性回放方法的流程图。

具体实施方式

图1示出了根据本发明的一些实施方案实现的示例性系统100。系统100支持将内容递送(例如，成像内容递送)到位于客户场所的一个或多个客户设备(例如，回放设备/内容播放器)。系统100包括示例性图像捕获设备102、内容递送系统104、通信网络105和多个客户场所106、...、110。图像捕获设备102支持立体图像的捕获。图像捕获设备102根据本发明的特征捕获并处理成像内容。通信网络105可以是例如混合光纤同轴(HFC)网络、卫星网络和/或互联网。

内容递送系统104包括图像处理、校准和编码装置112和内容递送设备114，例如流式服务器114。图像处理、校准和编码装置112负责执行多种功能，包括基于在相机校准过程期间捕获的一个或多个目标图像和/或网格图案来执行相机校准，生成失真校正或补偿网格，回放设备可使用该失真校正或补偿网格来补偿由校准相机引入的失真，处理例如裁剪和编码所捕获的图像，以及向内容递送设备114提供校准和/或环境信息，该信息可被提供给回放设备并用于渲染/图像回放过程。内容递送设备114可被实现为服务器，如下文将讨论的，递送设备利用图像校准信息、任选的环境信息以及由相机装备102捕获的可用于模拟3D环境的一个或多个图像来响应对内容的请求。图像和/或内容的流可以是并且有时是反馈信息的函数，诸如观看者头部位置和/或对应于相机装备102的事件处的位置的用户选择，该相机装备将是图像的来源。例如，用户可在从定位在中心线处的相机装备到定位在现场目标处的相机装备的图像之间选择或切换，模拟3D环境和流式传输图像被改变为对应于用户选择的相机装备那些图像。因此，应当理解，图1中示出了单个相机装备102，多个相机装备可存在于系统中并且位于体育或其他事件中的不同物理位置处，其中用户能够在不同位置之间切换并且用户选择从回放设备122传递到内容服务器114。虽然在图像处理和内容递送系统104中示出了单独的设备112、114，但是应当理解，该系统可以被实现为包括用于执行各种功能的单独硬件的单个设备，或者具有由不同的软件或硬件模块控制但在单个处理器中或上实现的不同功能。

编码装置112可以并且在一些实施方案中确实包括用于根据本发明对图像数据进行编码的一个或多个编码器。编码器可并行用于对场景的不同部分进行编码和/或对场景的给定部分进行编码以生成具有不同数据速率的编码版本。当要支持实时或接近实时的流式传输时，并行使用多个编码器可能特别有用。

内容流式传输设备114被配置为例如通过通信网络105流式传输，例如传输编码内容以将编码图像内容递送到一个或多个客户设备。经由网络105，内容递送系统104可以发送信息和/或与位于客户场所106、110处的设备交换信息，如图所示，由穿过通信网络105的链路120表示。

虽然编码装置112和内容递送服务器114在图1示例中被示出为单独的物理设备，但是在一些实施方案中，它们被实现为编码内容并流式传输内容的单个设备。编码过程可以是3d(例如立体)图像编码过程，其中对对应于场景部分的左眼视图和右眼视图的信息进行编码并将其包括在编码的图像数据中，使得可以支持3D图像查看。所使用的特定编码方法对于本申请不是至关重要的，并且可使用宽范围的编码器作为或实现编码装置112。

每个客户场所106、110可包括多个回放系统，例如设备/播放器，例如可解码和回放/显示由内容流式设备114流式传输的成像内容的装置。客户场所1 106包括回放系统101，该回放系统包括耦接到显示设备124的解码装置/回放设备122。客户场所N 110包括回放系统111，该回放系统包括耦接到显示设备128的解码装置/回放设备126。在一些实施方案中，显示设备124、128是头戴式立体显示设备。在各种实施方案中，回放系统101是由佩戴在用户头部周围的条带支撑的头戴式系统。因此，在一些实施方案中，客户场所1 106包括回放系统1 101，该回放系统包括耦接到显示器124(例如，头戴式立体显示器)的解码装置/回放设备122，并且客户场所N 110包括回放系统N 111，该回放系统包括耦接到显示器128(例如，头戴式立体显示器)的解码装置/回放设备126，

在各种实施方案中，解码装置122、126在对应的显示设备124、128上呈现成像内容。解码装置/播放器122、126可以是能够对从内容递送系统104接收的成像内容进行解码、使用解码的内容生成成像内容并在显示设备124、128上渲染成像内容(例如，3D图像内容)的设备。解码装置/回放设备122、126中的任一个可用作图3所示的解码装置/回放设备800。系统/回放设备(诸如图3所示的系统/回放设备)可用作解码装置/回放设备122、126中的任一个。

图3示出了根据本发明的特征的具有可用于对内容进行编码和流式传输的编码能力的示例性内容递送系统700。

该系统可用于根据本发明的特征执行对象检测、编码、存储和传输和/或内容输出。内容递送系统700可用作图1的系统104。虽然图3所示的系统用于内容的编码、处理和流式传输，但是应当理解，系统700还可以包括例如向操作者解码和显示经处理和/或编码的图像数据的能力。

系统700包括显示器702、输入设备704、输入/输出(I/O)接口706、处理器708、网络接口710和存储器712。系统700的各种部件经由总线709耦接在一起，该总线允许在系统700的部件之间传递数据。

存储器712包括各种模块，例如例程，其在由处理器708执行时控制系统700以实现根据本发明的划分、编码、存储和流式传输/传输和/或输出操作。

存储器712包括各种模块，例如例程，其在由处理器707执行时控制计算机系统700以实现根据本发明的沉浸式立体视频采集、编码、存储和传输和/或输出方法。存储器712包括控制例程714、划分模块706、编码器718、检测模块719、流式传输控制器720、所接收的输入图像732(例如，场景的360度立体视频)、编码场景部分734、定时信息736、环境网格模型738、UV图740和多个校正网格信息集，包括第一校正网格信息742、第二校正网格信息744、第三校正网格信息746、第四校正网格信息748、第五校正网格信息750和第六校正网格信息752。在一些实施方案中，模块被实现为软件模块。在其他实施方案中，模块在硬件中实现，例如，实现为单个电路，其中每个模块被实现为用于执行模块所对应的功能的电路。在其他实施方案中，模块使用软件和硬件的组合来实现。存储器712还包括用于存储捕获的图像(例如，由相机对的左相机和右相机捕获的左眼图像和右眼图像)和/或表示通过在捕获帧之间内插s缓冲帧序列而生成的内插帧的内插帧数据的帧缓冲器715。在一些实施方案中，片段定义和位置改变信息存储在存储器712的部分717中。定义信息可以并且有时确实定义对应于被解释为图像片段的对象的一组块。

如下文将讨论的，内插帧可以并且有时确实包括一个或多个内插片段，这些内插片段与来自前一帧或后一帧的数据组合以形成完整的内插帧。在各种实施方案中，使用用于表示捕获帧的数据的一部分来表示内插帧，例如，1/20或更少，在一些情况下为1/100，即用于表示内编码的捕获帧的数据的量。因此，当传输编码帧和内插帧时，可使用相对较少的数据来传递内插帧。在一些情况下，回放设备122的解码器使用来自先前帧的图像内容来执行默认填充操作，以填充内插帧的未传递到回放设备的部分。由内插产生的内插帧的片段可根据实施方案使用运动矢量作为间编码数据或作为内编码数据传递到回放设备122。

控制例程714包括设备控制例程和通信例程以控制系统700的操作。划分模块716被配置为根据本发明的特征将所接收的立体360度版本的场景划分成N个场景部分。

编码器718可包括并且在一些实施方案中确实包括被配置为根据本发明的特征对所接收的图像内容(例如，360度版本的场景和/或一个或多个场景部分)进行编码的多个编码器。在一些实施方案中，编码器包括多个编码器，其中每个编码器被配置为对立体场景和/或分区场景部分进行编码以支持给定的比特率流。因此，在一些实施方案中，可使用多个编码器对每个场景部分进行编码，以支持每个场景的多个不同比特率流。编码器718的输出是存储在存储器中用于流式传输到客户设备(例如，回放设备)的编码场景部分734。编码内容可经由网络接口710流式传输至一个或多个不同设备。

检测模块719被配置为检测从当前相机对(例如，第一立体相机对)到另一个相机对(例如，第二立体相机对或第三立体相机对)的流式传输内容的网络控制切换。即，检测模块719检测系统700是否已从使用由给定立体相机对(例如，第一立体相机对)捕获的图像生成的流式传输内容流切换到使用由另一个相机对捕获的图像生成的流式传输内容流。在一些实施方案中，检测模块还被配置为检测用户控制的从接收包括来自第一立体相机对的内容的第一内容流到接收包括来自第二立体相机对的内容的第二内容流的变化，例如，检测来自用户回放设备的指示回放设备附接到与其先前所附接的内容不同的内容流的信号。流式传输控制器720被配置为控制编码内容的流式传输，以例如通过通信网络105将编码图像内容递送到一个或多个客户设备。

流式传输控制器720包括请求处理模块722、数据速率确定模块724、当前头部位置确定模块726、选择模块728和流式传输控制模块730。请求处理模块722被配置为处理所接收的对来自客户回放设备的内容进行成像的请求。在各种实施方案中，经由网络接口710中的接收器接收对内容的请求。在一些实施方案中，对内容的请求包括指示请求回放设备的身份的信息。在一些实施方案中，对内容的请求可包括由客户回放设备支持的数据速率、用户的当前头部位置，例如头戴式显示器的位置。请求处理模块722处理所接收的请求并将所检索的信息提供给流式传输控制器720的其他元件以采取进一步的动作。虽然对内容的请求可包括数据速率信息和当前头部位置信息，但在各种实施方案中，可根据网络测试和系统700与回放设备之间的其他网络信息交换来确定回放设备所支持的数据速率。

数据速率确定模块724被配置为确定可用于将成像内容流式传输到客户设备的可用数据速率，例如，由于支持多个编码场景部分，因此内容递送系统700可支持将内容以多个数据速率流式传输到客户设备。数据速率确定模块724被进一步配置为确定由从系统700请求内容的回放设备支持的数据速率。在一些实施方案中，数据速率确定模块724被配置为基于网络测量来确定用于图像内容的递送的可用数据速率。

当前头部位置确定模块726被配置为根据从回放设备接收的信息确定用户的当前视角和/或当前头部位置，例如头戴式显示器的位置。在一些实施方案中，回放设备周期性地向系统700发送当前头部位置信息，其中当前头部位置确定模块726接收并处理该信息以确定当前视角和/或当前头部位置。

选择模块728被配置为基于用户的当前视角/头部位置信息来确定要将360度场景的哪些部分流式传输到回放设备。选择模块728还被配置为基于可用数据速率来选择所确定场景部分的编码版本以支持内容的流式传输。

流式传输控制模块730被配置为根据本发明的特征以各种支持的数据速率控制图像内容(例如360度立体场景的多个部分)的流式传输。在一些实施方案中，流式传输控制模块730被配置为控制到请求内容的回放设备的360度立体场景的流N部分，以初始化回放设备中的场景存储器。在各种实施方案中，流式传输控制模块730被配置为例如以确定的速率周期性地发送所确定的场景部分的所选择的编码版本。在一些实施方案中，流式传输控制模块730被进一步配置为根据时间间隔(例如，每分钟一次)向回放设备发送360度场景更新。在一些实施方案中，发送360度场景更新包括发送完整360度立体场景的N个场景部分或N-X个场景部分，其中N是完整360度立体场景已被划分成的部分的总数，并且X表示最近发送到回放设备的所选择的场景部分。在一些实施方案中，流式传输控制模块730在发送360度场景更新之前在初始发送N个场景部分以进行初始化之后等待预先确定的时间。在一些实施方案中，用于控制360度场景更新的发送的定时信息包括在定时信息736中。在一些实施方案中，流式传输控制模块730被进一步配置为识别在刷新间隔期间尚未传输到回放设备的场景部分；以及传输在刷新间隔期间未传输到回放设备的所识别场景部分的更新版本。

在各种实施方案中，流式传输控制模块730被配置为周期性地将至少足够数量的N个部分传递到回放设备，以允许回放设备在每个刷新周期期间完全刷新所述场景的360度版本至少一次。

在一些实施方案中，流式传输控制器720被配置为控制系统700例如经由网络接口710中的发射器传输立体内容流(例如，编码内容流734)，该立体内容流包括从由一个或多个相机(例如，立体相机对的相机，诸如图4所示)捕获的图像内容生成的编码图像。在一些实施方案中，流式传输控制器720被配置为控制系统700以向一个或多个回放设备传输要用于渲染图像内容的环境网格模型738。在一些实施方案中，流式传输控制器720被进一步配置为向回放设备传输将用于将由第一立体相机对捕获的图像的部分标测到环境网格模型的一部分的第一UV图，作为图像渲染操作的一部分。

在各种实施方案中，流式传输控制器720被进一步配置为向回放设备提供(例如，经由网络接口710中的发射器传输)一组或多组校正网格信息，例如，第一校正网格信息、第二校正网格信息、第三校正网格信息、第四校正网格信息、第五校正网格信息、第六校正网格信息。在一些实施方案中，第一校正网格信息用于渲染由第一立体相机对的第一相机捕获的图像内容，第二校正网格信息用于渲染由第一立体相机对的第二相机捕获的图像内容，第三校正网格信息用于渲染由第二立体相机对的第一相机捕获的图像内容，第四校正网格信息用于渲染由第二立体相机对的第二相机捕获的图像内容，第五校正网格信息用于渲染由第三立体相机对的第一相机捕获的图像内容，第六校正网格信息用于渲染由第三立体相机对的第二相机捕获的图像内容。在一些实施方案中，流式传输控制器720被进一步配置为例如通过发送控制信号来向回放设备指示当由第二立体相机对捕获的内容而不是来自第一立体相机对的内容流式传输到回放设备时应当使用第三校正网格信息和第四校正网格信息。在一些实施方案中，流式传输控制器720被进一步配置为响应于检测模块719检测到i)从所述第一立体相机对到所述第二立体相机对的流式传输内容的网络控制切换，或ii)用户控制的从接收包括来自所述第一立体相机对的内容的第一内容流到接收包括来自第二立体相机对的编码内容的第二内容流的变化，向回放设备指示应使用第三校正网格信息和第四校正网格信息。

存储器712还包括环境网格模型738、UV图740以及校正网格信息集，该校正网格信息集包括第一校正网格信息742、第二校正网格信息744、第三校正网格信息746、第四校正网格信息748、第五校正网格信息750和第六校正网格信息752。该系统将环境网格模型738提供给一个或多个回放设备以用于渲染图像内容。UV图740包括至少第一UV图，该第一UV图用于将由第一立体相机对捕获的图像的部分标测至环境网格模型738的一部分，作为图像渲染操作的一部分。第一校正网格信息742包括基于第一立体相机对的所述第一相机的第一透镜的一个或多个光学特性的测量而生成的信息，并且第二校正网格包括基于第一立体相机对的所述第二相机的第二透镜的一个或多个光学特性的测量而生成的信息。在一些实施方案中，第一立体相机对和第二立体相机对对应于向前观看方向，但对应于正在捕获内容以进行流式传输的区域或事件位置处的不同位置。

在一些实施方案中，处理器708被配置为执行对应于流程图600和/或2300中讨论的步骤的各种功能。在一些实施方案中，处理器使用存储在存储器中的例程和信息来执行各种功能并控制系统700以根据本发明的方法进行操作。在一个实施方案中，处理器708被配置为控制系统以向回放设备提供第一校正网格信息和第二校正网格信息，该第一校正网格信息用于渲染由第一相机捕获的图像内容，该第二校正网格信息用于渲染由第二相机捕获的图像内容。在一些实施方案中，第一立体相机对对应于第一方向，并且处理器被进一步配置为控制系统700以传输立体内容流，该立体内容流包括由第一相机和第二相机所捕获的图像内容生成的编码图像。在一些实施方案中，处理器708被进一步配置为向回放设备传输要用于渲染图像内容的环境网格模型。在一些实施方案中，处理器708被进一步配置为向回放设备传输将用于将由第一立体相机对捕获的图像的部分标测到环境网格模型的一部分的第一UV图，作为图像渲染操作的一部分。在一些实施方案中，处理器708被进一步配置为控制系统700以向回放设备提供第三校正网格信息和第四校正网格信息，该第三校正网格信息用于渲染由第二立体相机对的第一相机捕获的图像内容，该第四校正网格信息用于渲染由第二立体相机对的第二相机捕获的图像内容。在一些实施方案中，处理器708被进一步配置为控制系统700以在由第二相机对捕获的内容而不是来自第一相机对的内容流式传输到回放设备时向回放设备指示(例如，经由网络接口710传输)应使用第三校正网格信息和第四校正网格信息。在一些实施方案中，处理器708被进一步配置为响应于系统检测到：i)从第一立体相机对到第二立体相机对的流式传输内容的网络控制切换，或ii)用户控制的从接收包括来自第一立体相机对的内容的第一内容流到接收包括来自第二立体相机对的编码内容的第二内容流的改变，控制系统700以向回放设备指示应使用第三校正网格信息和第四校正网格信息。在一些实施方案中，处理器708被进一步配置为控制系统700以系统向回放设备提供第五校正网格信息和第六校正网格信息，该第五校正网格信息用于渲染由第三立体相机对的第一相机捕获的图像内容，该第六校正网格信息用于渲染由第三立体相机对的第二相机捕获的图像内容。

图3示出了根据本发明的示例性实施方案实现的回放系统300。回放系统300是例如图1的回放系统101或回放系统111。示例性回放系统300包括耦接到显示器805(例如，头戴式立体显示器)的计算机系统/回放设备800。根据本发明实现的计算机系统/回放设备800可用于接收、解码、存储和显示从内容递送系统(诸如图1和图2所示的内容递送系统)接收的成像内容。回放设备可与3D头戴式显示器诸如OCULUS RIFTTM VR(虚拟现实)头戴式耳机一起使用，该头戴式显示器可以是头戴式显示器805。设备800包括解码所接收的编码图像数据并生成3D图像内容以显示给客户的能力。在一些实施方案中，回放设备位于客户场所位置诸如住宅或办公室，但也可位于图像捕获站点处。设备800可执行根据本发明的信号接收、解码、显示和/或其他操作。

设备800包括显示器802、显示设备接口803、输入设备804、麦克风(mic)807、输入/输出(I/O)接口806、处理器808、网络接口810和存储器812。回放设备800的各种部件经由总线809耦接在一起，该总线允许在系统800的部件之间传递数据。虽然在一些实施方案中，显示器802被包括作为如使用虚线框所示的可选元件，但在一些实施方案中，外部显示设备805(例如，头戴式立体显示设备)可经由显示设备接口803耦接到回放设备。

经由I/O接口806，系统800可耦接至外部设备以与其他设备交换信号和/或信息。在一些实施方案中，经由I/O接口806，系统800可以从外部设备接收信息和/或图像并将信息和/或图像输出到外部设备。在一些实施方案中，经由接口806，系统800可耦接到外部控制器，例如手持控制器。

处理器808(例如CPU)执行存储器812中的例程814和模块，并且使用所存储的信息来控制系统800以根据本发明进行操作。处理器808负责控制系统800的总体一般操作。在各种实施方案中，处理器808被配置为执行已被讨论为由回放系统800执行的功能。

经由网络接口810，系统800通过通信网络(例如，诸如通信网络105)将信号和/或信息(例如，包括对应于场景的编码图像和/或视频内容)传递到各种外部设备和/或从各种外部设备接收信号和/或信息。在一些实施方案中，系统经由网络接口810从内容递送系统700接收包括由一个或多个不同相机捕获的编码图像的一个或多个内容流。所接收的内容流可被存储为所接收的编码数据，例如编码图像824。在一些实施方案中，接口810被配置为接收包括由第一相机捕获的图像内容的第一编码图像和对应于第二相机的第二编码图像。网络接口810包括接收器和发射器，经由该接收器和发射器执行接收和发射操作。在一些实施方案中，接口810被配置为接收对应于多个不同相机的校正网格信息，该校正网格信息包括第一校正网格信息842、第二校正网格信息844、第三校正网格信息846、第四校正网格信息848、第五校正网格信息850和第六校正网格信息852，它们然后存储在存储器812中。此外，在一些实施方案中，经由接口810，系统接收一个或多个掩模832、环境网格模型838、UV图840，然后它们被存储在存储器812中。

存储器812包括各种模块，例如例程，其在由处理器808执行时控制回放设备800解码和输出根据本发明的操作。存储器812包括控制例程814、对内容生成模块816的请求、头部位置和/或视角确定模块818、解码器模块820，立体图像渲染引擎822也称为3D图像生成模块、确定模块，以及数据/信息，该数据/信息包括所接收的编码图像内容824、解码图像内容826、360度解码场景缓冲器828、所生成的立体内容830、掩模832、环境网格模型838、UV图840，以及多个所接收的校正网格信息集，该多个所接收的校正网格信息集包括第一校正网格信息842，第二校正网格信息844、第三校正网格信息846、第四校正网格信息848、第五校正网格信息850和第六校正网格信息852。

控制例程814包括设备控制例程和通信例程，以控制设备800的操作。请求生成模块816被配置为生成要发送到内容递送系统的对内容的请求以提供内容。在各种实施方案中，对内容的请求经由网络接口810发送。头部位置和/或视角确定模块818被配置为确定用户的当前视角和/或当前头部位置，例如头戴式显示器的位置，并且将所确定的位置和/或视角信息报告给内容递送系统700。在一些实施方案中，回放设备800周期性地将当前头部位置信息发送到系统700。

解码器模块820被配置为对从内容递送系统700接收的编码图像内容824进行解码以产生经解码的图像数据，例如经解码的图像826。经解码的图像数据826可包括经解码的立体场景和/或经解码的场景部分。在一些实施方案中，解码器820被配置为对第一编码图像进行解码以生成第一解码图像，并且对所接收的第二编码图像进行解码以生成第二解码图像。经解码的第一图像和第二图像包括在所存储的经解码的图像826中。

3D图像渲染引擎822执行渲染操作(例如，使用接收和/或存储在存储器812中的内容和信息，诸如经解码的图像826、环境网格模型838、UV图840、掩模832和网格校正信息)并根据本发明的特征生成3D图像以在显示器802和/或显示设备805上显示给用户。所生成的立体图像内容830是3D图像生成引擎822的输出。在各种实施方案中，渲染引擎822被配置为使用第一校正信息842、第一解码图像和环境网格模型838来执行第一渲染操作，以生成用于显示的第一图像。在各种实施方案中，渲染引擎822被进一步配置为使用第二校正信息844、第二解码图像和环境网格模型838来执行第二渲染操作，以生成用于显示的第二图像。在一些此类实施方案中，渲染引擎822被进一步配置为使用第一UV图(包括在所接收的UV图840中)来执行第一渲染操作和第二渲染操作。当执行第一渲染操作以补偿由第一相机的透镜引入到第一图像中的失真时，第一校正信息提供关于要对第一UV图中的节点位置进行的校正的信息，并且当执行第二渲染操作以补偿由第二相机的透镜引入到第二图像中的失真时，第二校正信息提供关于要对第一UV图中的节点位置进行的校正的信息。在一些实施方案中，渲染引擎822被进一步配置为当将第一图像的部分应用于环境网格模型的表面作为第一渲染操作的一部分时，使用第一掩模(包括在掩模832中)来确定第一图像的部分如何与对应于不同视场的第一图像的部分组合，作为第一渲染操作的一部分。在一些实施方案中，渲染引擎822被进一步配置为当将第二图像的部分应用于环境网格模型的表面作为第二渲染操作的一部分时，使用第一掩模来确定第二图像的部分如何与对应于不同视场的第二图像的部分组合，作为第二渲染操作的一部分。所生成的立体图像内容830包括作为第一渲染操作和第二渲染操作的结果而生成的第一图像和第二图像(例如，对应于左眼视图和右眼视图)。在一些实施方案中，对应于不同视场的第一图像的部分对应于天空或地面视场。在一些实施方案中，第一图像是对应于前向视场的左眼图像，并且对应于不同视场的第一图像是由对应于与前向视场相邻的侧视场的第三相机捕获的左眼图像。在一些实施方案中，第二图像是对应于前向视场的右眼图像，并且其中对应于不同视场的第二图像是由对应于与前向视场相邻的侧视场的第四相机捕获的右眼图像。因此，渲染引擎822将3D图像内容830渲染到显示器。在一些实施方案中，回放设备800的操作者可经由输入设备804和/或要执行的选择操作(例如，选择以显示3D场景)来控制一个或多个参数。

网络接口810允许回放设备从流式传输设备114接收内容和/或传递信息，诸如指示对事件处的特定观看位置的选择的观看头部位置和/或位置(相机装备)选择。在一些实施方案中，解码器820被实现为模块。在此类实施方案中，当被执行时，解码器模块820使得所接收的图像被解码，而3D图像渲染引擎822使得根据本发明进一步处理图像并且任选地将图像拼接在一起作为呈现过程的一部分。

在一些实施方案中，接口810被进一步配置为接收对应于多个不同相机的附加网格校正信息，例如，第三网格校正信息、第四网格校正信息、第五网格校正信息和第六网格校正信息。在一些实施方案中，渲染引擎822还被配置为在渲染对应于第四相机的图像时使用对应于第四相机的网格校正信息(例如，第四网格校正信息848)，该第四相机是多个不同相机中的一个。确定模块823被配置为在基于哪个相机捕获的图像内容用于渲染操作或者基于来自服务器的指示执行渲染操作时，确定渲染引擎822要使用哪个网格校正信息，该指示指示在渲染与所接收的内容流对应的图像时应当使用哪个网格校正信息。在一些实施方案中，确定模块823可被实现为渲染引擎822的一部分。

在一些实施方案中，图2的存储器712和图3的存储器812中所示的模块和/或元件被实现为软件模块。在其他实施方案中，模块和/或元件虽然被示出为包括在存储器中，但在硬件中实现为例如单独的电路，其中每个元件被实现为用于执行对应于该元件的功能的电路。在其他实施方案中，模块和/或元件使用软件和硬件的组合来实现。

虽然在图2和图3中被示出为包括在存储器中，但被示出为包括在系统700和800中的元件可以并且在一些实施方案中完全在处理器内的硬件中实现，例如作为对应设备的单独电路，例如在内容递送系统的情况下在处理器708内实现，并且在回放系统800的情况下在处理器808内实现。在其他实施方案中，一些元件例如作为电路在对应的处理器708和808内实现，而其他元件例如作为电路在处理器外部实现并耦接到处理器。应当理解，模块在处理器上的集成水平和/或一些模块在处理器外部的集成水平可以是设计选择之一。另选地，并非实现为电路，而是所有或一些元件可在软件中实现并存储在存储器中，其中软件模块控制相应系统700和800的操作以在模块由其相应处理器(例如，处理器708和808)执行时实现与模块对应的功能。在其他实施方案中，各种元件被实现为硬件和软件的组合，例如，其中处理器外部的电路向处理器提供输入，然后该输入在软件控制下操作以执行模块的功能的一部分。

虽然在图2和图3的实施方案中的每一个中被示出为单个处理器，例如计算机，但应当理解，处理器708和808中的每一个可被实现为一个或多个处理器，例如计算机。当存储器712和812中的一个或多个元件被实现为软件模块时，模块包括代码，该代码在由对应系统的处理器(例如，处理器708和808)执行时将处理器配置为实现与模块对应的功能。在图7和图8所示的各种模块存储在存储器中的实施方案中，该存储器是包括计算机可读介质的计算机程序产品，该计算机可读介质包括用于使至少一个计算机(例如，处理器)实现模块所对应的功能的代码，例如，每个模块的单独代码。

可使用完全基于硬件或完全基于软件的模块。然而，应当理解，软件和硬件的任何组合(例如，电路实现的模块)可用于实现这些功能。应当理解，图2所示的模块控制和/或配置系统700或其中的元件，诸如处理器708，以执行本发明的方法的对应步骤的功能，例如流程图中所示和/或所述的那些。类似地，图3所示的模块控制和/或配置系统800或其中的元件，诸如处理器808，以执行本发明的方法的对应步骤的功能，例如流程图中所示和/或所述的那些。

为了便于理解图像捕获过程，现在将参考图4所示的示例性相机装备。相机装备1300可用作图1系统的装备102，并且包括多个立体相机对，每个立体相机对对应于三个扇区中的不同一者。第一立体相机对1301包括左眼相机1302(例如，第一相机)和右相机1304(例如，第二相机)，左眼相机和右相机旨在捕获对应于将由定位在第一相机对的位置处的人的左眼和右眼看到的那些图像的图像。第二立体相机对1305对应于第二扇区并且包括左相机1306和右相机1308，而第三立体相机对1309对应于第三扇区包括左相机1310和右相机1312。每个相机安装在支撑结构1318中的固定位置中。还包括面朝上的相机1314。在图4中不可见的面朝下的相机可被包括在相机1314下方。立体相机对在一些实施方案中用于捕获成对的向上和向下图像，然而在其他实施方案中，使用单个向上相机和单个向下相机。在其他实施方案中，在装备放置之前捕获向下图像，并在事件的持续时间内将该向下图像用作静止地面图像。鉴于地面视图在事件期间往往不会显著改变，这种方法往往对于许多应用是令人满意的。捕获并处理装备1300的相机的输出。

当使用图4的相机装备时，每个扇区对应于相对于相机装备位置的已知120度观察区域，其中来自不同扇区对的所捕获图像基于已知的标测到所模拟的3D环境的图像而拼接在一起。虽然通常使用由扇区相机捕获的每个图像的120度部分，但是相机捕获对应于大约180度观察区域的更宽图像。因此，所捕获的图像可在回放设备中经受掩模，作为3D环境模拟的一部分。图5是示出如何可使用环境网格部分来模拟3D球形环境的复合图1400，该环境网格部分对应于装备102的不同相机对。需注意，示出了装备102的扇区中的每个扇区的一个网格部分，其中天空网格相对于顶部相机视图使用，并且地面网格用于由面向下的相机捕获的地面图像。虽然用于顶部图像和底部图像的掩模本质上是圆形的，但是应用于扇区图像的掩模被截短以反映场景区域的顶部部分和底部部分将分别由顶部相机和底部相机提供。

当组合时，对应于不同相机的总体网格产生球形网格，如图6所示。需注意，网格针对单眼图像示出，但在捕获立体图像对的情况下，其用于左眼图像和右眼图像两者。

图5所示类型的网格和掩模信息可以并且有时被传递到回放设备。所传递的信息将根据装备构造而变化。例如，如果使用更大数量的扇区，则对应于扇区中的每个扇区的掩模将对应于小于120度的观察区域，其中需要多于3个环境网格来覆盖球体的直径。

环境标测信息被示出为任选地在步骤1132中被传输到回放设备。应当理解，环境标测信息是可选的，因为在不传递此类信息的情况下，环境可被假定为默认尺寸范围。在支持多个不同默认尺寸球体的情况下，关于要使用什么尺寸球体的指示可以并且有时被传递到回放设备。

图像捕获操作可在事件期间持续执行，特别是关于可由相机装备102捕获的3个扇区中的每一个扇区。

需注意，虽然捕获了对应于不同扇区的多个相机视图，但是对于所有扇区，图像捕获速率不需要是相同的。例如，对应于例如主播放场的面向前面的扇区可以以对应于其他扇区和/或顶部(天空)视图和底部(地面)视图的相机的快速帧速率捕获图像。

图7示出了对应于第一扇区的图像部分到表示3D查看环境的球体的对应120度部分的标测。

将对应于360度环境的不同部分的图像组合到向观察者提供连续观察区域所需的程度，例如，取决于头部位置。例如，如果观看者正在观看两个120度扇区的交叉，则对应于每个扇区的图像的部分将基于每个图像在正在模拟的整个3D环境中的已知角度和位置而被缝合在一起并呈现给观看者。将对左眼视图和右眼视图中的每一者执行图像的缝合和生成，使得在立体具体实施的情况下，生成两个单独的图像，每只眼睛一个。

图8示出了多个经解码、校正和裁剪的图像可如何并且有时被标测并且缝合在一起以创建360度查看环境，该360度查看环境可用作可应用由点云数据表示的对象的前景图像的背景。

图9示出了捕获、处理和递送捕获的图像内容以及内插内容的方法。图9所示的方法可通过立体图像捕获系统102与内容递送系统104结合工作来实现。内容递送系统在图1中被示出为单独的图像处理设备112和内容递送设备114的组合，但是在一些实施方案中，这些部件被实现为单个设备，诸如图2所示的内容递送系统700，其可以并且有时用作图1的内容递送系统104。在一些实施方案中，内容递送系统中的处理器708与相机对的相机(例如，左眼相机1302和右眼相机1304)通信，并且控制一个或多个相机对的相机以第一帧速率捕获环境的图像并将所捕获的图像提供给内容递送系统104以进行处理。在一些实施方案中，以第一帧速率捕获高分辨率图像，但是将图像内容提供给回放设备122、126以支持第二、更高的帧速率，其中由内容递送系统执行内插以生成用于支持较高帧速率的图像数据。这允许相机以高分辨率操作模式操作，其中捕获了高细节水平，但是如果相反相机捕获了较低分辨率图像，则可能以较慢的帧速率。高分辨率内容的捕获提供了允许高质量虚拟现实体验的细节，而内插促进了帧速率，该帧速率允许在支持3D时的实际运动体验。

在一些实施方案中，使用图1所示的系统来实现图9所示的方法900，其中图2的内容递送系统700在图1的系统中用作内容递送系统104，并且其中图像由相机装备102的相机捕获，该相机装备有时使用图4的装备1300来实现，例如，在内容递送系统和/或系统操作者的控制下。

在开始步骤902中，方法900开始于系统100的部件通电，例如，内容递送系统104和相机装备102通电并开始操作。操作从开始步骤902前进到图像捕获步骤904，其中相机装备102的相机对的左相机1302和右相机1304用于分别以第一图像捕获速率和第一分辨率捕获图像，例如左眼图像和右眼图像。在一些实施方案中，第一图像分辨率是由相机1302、1304支持的第一最大分辨率，并且第一图像(例如，帧)捕获速率低于第一相机和第二相机以较低分辨率操作时支持的第二图像(例如，帧)捕获。这样，在至少一些实施方案中操作相机以使所捕获的细节水平最大化，尽管权衡图像捕获速率低于可使用较低图像分辨率获得的图像捕获速率。

在步骤908中，由相机在步骤902中捕获的图像908存储在帧缓冲器715中，该帧缓冲器可包括并且有时包括在内容递送系统的存储器712中。捕获和存储可以并且有时在捕获和处理正在进行的事件、体育赛事的图像时在持续的基础上执行。

以第一帧速率捕获并可用于处理操作的高分辨率图像前进至步骤910，在该步骤中对帧(例如，视频序列(例如，左眼帧和/或右眼帧序列)中的捕获帧)执行运动分析，以检测运动并识别移动片段。在至少一个此类实施方案中，块是帧的矩形部分，并且片段是一组一个或多个移动块。片段可对应于并且有时确实对应于对象，诸如球，该球在捕获环境的图像的环境诸如体育场或运动场的环境中随时间改变位置。

在步骤910中执行的运动分析允许识别图像(例如，帧)片段，如果它们在回放期间不以高于第一帧速率的速率更新，则这可能并且在一些情况下将不利地影响3D回放体验。步骤910中的处理和流程图900的其他步骤可以并且在一些实施方案中由内容递送系统的处理器708和/或在处理器708的控制下实现，该处理器控制系统100的部件以实现图9所示的方法900的步骤。

在一些实施方案中，步骤910包括步骤912、914、916中的一个、多个或全部。在步骤912中，分析所捕获的视频序列的图像以识别匹配的块组，例如对应于出现在图像序列的连续帧(例如左眼和/或右眼图像帧序列)中的对象的像素块。然后在步骤914中，将所识别的匹配的块组定义为片段。在一些此类实施方案中，每个片段是一组物理相邻的块，例如对应于在捕获图像的环境中移动的物理对象的一组块。在至少一些实施方案中，关于限定片段(例如，对象图像)的位置和尺寸的信息在步骤914中存储，其中位置信息以每帧为基础存储。在步骤916中，确定从一个帧时间到下一个帧时间的捕获帧的片段的位置变化，并且在每个片段(例如，对象)基础上存储位置变化信息。在一些实施方案中，改变信息被存储为运动矢量，该运动矢量指示片段如何从前一帧(例如帧序列中紧接的前一帧)移动位置。通过分析对应于帧中的对象诸如球的片段随时间推移的位置变化，可确定片段从一个帧时间到下一个帧时间的移动，以及球在环境中的位置以及相对于用于捕获环境的图像的相机透镜的位置。在步骤916中，片段定义和位置改变信息在一些实施方案中存储在存储器712的部分717中。在步骤916中为一个或多个片段确定的运动矢量可用于并且有时用于生成内插帧。

在已定义图像片段并且已生成指示捕获帧之间的片段运动的片段的运动矢量的情况下，操作从步骤910前进到步骤918。

在步骤918中，考虑对应于片段的运动矢量，并且确定片段的片段速度。还确定该片段对应于相机的鱼眼透镜的用于捕获该片段的哪个部分。确定用于捕获图像片段的鱼眼透镜的部分以及该片段将移动多少可能是重要的，因为鱼眼透镜的一些部分比其他部分弯曲更多。在延长的时间段内可能由透镜的相同部分捕获的图像片段可能比将在用于捕获片段的图像的透镜区域的曲率方面移动更多的片段遭受更少的透镜引入的在帧时间之间的失真。因此，步骤918允许在确定应以什么速率向用户呈现片段并因此针对特定片段应支持什么内插率(如果有的话)时结合透镜曲率效果考虑运动的效果。

随着已经以相对于透镜FOV的片段运动来考虑和量化鱼眼透镜FOV的效果，操作从步骤918前进到步骤920。在步骤920中，存储定义每个捕获帧的信息，其中该信息包括片段信息以及图像像素值。还作为帧信息的一部分存储的是表示所捕获的图像的像素值。帧信息和数据可存储在帧缓冲器715和/或存储器717的片段部分中。

操作从步骤920前进到步骤922。在步骤922中，基于一个或多个片段的运动量来确定至少一些图像片段的帧速率。在一些实施方案中，帧速率确定基于每个片段进行。在一些情况下，步骤922包括步骤923，该步骤涉及不仅基于片段的运动的量或速率而且还基于片段在帧速率确定所对应的时间段内的视场中的位置来进行片段帧速率确定。在一些情况下，针对对应于视场的不同部分的相同尺寸的片段确定不同的帧速率。在一些实施方案中，相对于对应于更弯曲的透镜部分的相机视场改变位置的片段被赋予比改变对应于不太弯曲的透镜部分的FOV部分中的位置的片段更高的帧速率。以这种方式，在至少一些实施方案中，通过为受运动和透镜形状的组合影响更大的片段比受运动和透镜形状的组合影响更小的片段支持更高的帧速率，可降低透镜外观影响失真的效果。在至少一些情况下，经受高运动的片段的帧速率被选择为大于实际捕获图像帧速率。不经受运动或经受低于阈值的运动速率(例如，用于控制是否针对片段执行内插的预先确定或可变片段速率运动阈值)的片段被确定为具有等于图像捕获速率(例如，第一帧速率)的所选择的帧速率，并且因此将不被内插。内插片段运动阈值可以并且有时根据可用于将数据传递到回放设备的数据量(例如，数据速率)而变化。因此，对于用于将数据传递到回放设备的第一低水平数据速率，在一些实施方案中，对于要实现的片段内插，需要第一较高阈值，并且因此需要较高的运动速率，而对于用于将数据传递到回放设备的第二较高水平的数据速率，在一些实施方案中，对于要实现的片段内插，需要第二较低阈值，并且因此需要较低的运动速率。

在已在步骤922和/或923中为所识别的图像片段确定了帧速率的情况下，操作前进至步骤924。在步骤924中，在捕获帧之间内插片段，以生成针对每个非捕获帧的一组内插片段，针对非捕获帧，帧信息将在传输流中传递，其中针对至少一些不同的内插的(例如，非所捕获的)帧生成和传递不同数量的内插片段。

通过做出关于在传输到回放设备之前要内插哪些片段的决定，可以使用回放设备通常不可用的信息，诸如关于用于捕获图像的相机透镜的形状以及片段相对于相机透镜视场(FOV)落入的位置的信息，来做出要支持的帧速率以及针对特定帧时间要内插哪些片段。此外，与在回放设备处相比，相对强大的处理资源在分发系统中通常是可用的。这是因为分发系统可以为多个设备执行内容的内插和编码，从而允许使用相对强大和昂贵的处理器或处理器组来支持分发。鉴于回放设备通常由各个客户拥有，因此其成本和对应的处理能力通常远小于分发系统。事实上，在许多情况下，回放设备可发现左眼图像内容和右眼图像内容的正常解码和显示，以支持3D虚拟现实体验计算分类，即使不支持捕获帧之间的内插。因此，出于各种原因，将内插相关的决策和处理移位到分布侧而不是回放侧是有益的。此外，通过使用根据本发明的内插，分发系统可以比图像捕获速率更高的帧速率递送帧，从而允许比减少所得的图像捕获和丢失实际3D体验所需的细节或使由于运动引起的帧之间的变化过大的情况更令人愉悦且更逼真的观看体验。

在步骤924中，对片段进行内插以支持在步骤922中为片段选择的帧速率。因此，为其在步骤922中选择(即，确定)不同帧速率、在步骤920中确定(即，选择)不同帧速率的片段将以其不同的对应帧速率内插。为其选择图像捕获速率的片段将不经受内插。内插图像数据用作内插帧信息。内插帧信息通常小得多，例如，小于用于表示所捕获的图像帧的数据量的1/20，或在一些情况下小于1/200。因此，在至少一些情况下，内插帧信息可被传递到回放设备，而不会对所传输的数据的总量产生重大影响。内插帧信息可包括作为帧内编码图像数据和/或帧间编码图像数据传递的内插片段。在步骤924中生成的内插帧信息可并且有时还包括向回放设备提供指令的填充信息，其中获得缺失的帧信息和/或如何填充内插帧的一部分，在没有填充操作的情况下，该内插帧可由于片段相对于前一帧的运动而具有间隙。在各种实施方案中，填充图像数据在一些实施方案中从前一帧或后一帧获得。填充部分可以是不移动但被移动的对象遮挡的环境的一部分。此类填充数据可从与内插帧时间相距一个或多个捕获帧时间的帧获得。

在已在步骤924中生成内插片段和/或其他内插帧数据的情况下，操作前进至编码步骤925，在执行帧的编码的实施方案中，或者直接前进至传递步骤926。在步骤926中，捕获帧数据和内插帧数据例如在存储在内容递送系统的存储器700中之后被传递到至少一个回放设备。

在步骤925中，当使用时，对捕获帧和/或内插帧进行编码。MPEG或其他图像编码内容可用于对所捕获的图像帧进行编码。在一些实施方案中，将对应于帧时间的左眼图像数据和右眼图像数据并入单个帧中以用于编码目的，而在其他实施方案中，将左眼图像数据和右眼图像数据编码为单独的图像流和/或交错的图像流。

帧内和/或帧内编码技术可用于并且有时用于对捕获帧和内插帧进行编码。

应当理解，捕获帧和内插帧可以编码或未编码的形式递送到回放设备。在大多数实施方案中，形成可被认为是基础视图层的所捕获的图像帧的编码与内插帧的编码一起实现。在步骤925中，实现要存储并传输到回放设备的帧信息的编码。然后在步骤926中，将帧数据传递至回放设备。在一些实施方案中，步骤926包括步骤927和928。捕获帧数据(例如，捕获帧)在使用编码的情况下以例如编码形式传递到回放设备，并且在不使用编码步骤925时以未编码形式传递到回放设备。在一些实施方案中，捕获帧形成在步骤927中传递的基础视频层。在步骤928中，将内插帧信息传递到回放设备。内插帧信息可包括编码的内插帧，该编码的内插帧传达内插片段和/或可用于构建完整内插帧的填充信息。在一些情况下，包括在内插帧信息中的运动矢量指示捕获帧并且在一些情况下另一个内插帧中的何处，可发现要包括在内插帧中的片段内容，以及内容将从其在源帧中的原始位置移动以形成内插帧的一部分的距离。因此，对应于内插帧的片段的运动矢量可以并且有时确实指示要包括在使用片段运动矢量生成的内插帧中的片段图像内容的源以及片段将被定位的帧中的位置。

在其他实施方案中，内插帧信息作为片段运动矢量和/或关于如何从一个或多个其他帧构建内插帧的剩余部分的其他信息来传递，例如，从其获得填充内容并放置在生成的内插帧中的位置处的先前帧或后续帧，其中放置的位置由内插帧信息中的信息指定。

虽然各种附图示出了与预期帧显示顺序匹配的传输顺序，但应当理解，实际传输顺序可随着由内容递送系统和回放系统两者实现的传输帧的缓冲和重新排序而变化。在此类情况下，如果内容递送系统重新排序捕获帧和内插帧以用于传输，则回放设备将在显示之前过度并将帧恢复到适当的显示顺序。

虽然流程图900以步骤928结束，但应当理解，内容的捕获、处理和传输可在持续的基础上或在例如对应于事件的一段时间内执行。因此，在捕获、处理和存储新内容(例如，环境的图像)以供将来传输或传递到一个或多个回放系统时，反复执行方法900的步骤。

应当理解，根据图9的方法，包括捕获图像(例如帧)和内插帧数据(例如内插帧)的内容在一些实施方案中被传递到用于解码和显示的一个或多个回放系统101、111，例如作为虚拟现实体验的一部分，其中单独的左眼图像和右眼图像被呈现给用户以提供3D体验。图10是示出在本发明的各种实施方案中由内容递送系统104生成的传输帧速率(TFR)1002如何超过捕获帧速率(CFR)的图示1000。

图11示出了示例性总体传输帧序列1100，其中CF用于指示例如作为基础视频层的一部分传递的捕获帧，以及IF用于指示在一些实施方案中作为增强层传递的内插帧信息，其中每组内插帧信息包括例如通过使用运动内插生成的一个或多个片段。线1106用于指示传输帧序号。示例性帧组1102包括第一捕获帧，该第一捕获帧是捕获帧1(CF1 1108)，之后是多个内插帧1104(内插帧1(IF1)1110、内插帧2(IF2)1112、内插帧2(IF3)1114...)，之后是第二捕获帧(CF2)1116。CF1 1008对应于传输帧序号1；IF1 1110对应于传输帧序号2；IF21112对应于传输帧序号2；IF3 1114对应于传输帧序号4，CF2 1116对应于传输帧序号Y，例如，其中Y＝帧1104+2组中的内插帧的数量。

图12是附图1200，示出具有圆(1203,1205,1207,…,1209)的用作基层帧的捕获帧(捕获帧1(CF1)1202、捕获帧2(CF2)1204、捕获帧3(CF3)1206、...、捕获帧N(CFN)1208)，分别对应于帧(CF1 1202,CF2 1204,CF3,1206,…,CFN 1208)的部分，其包括对应于用于捕获图像的鱼眼透镜的图像内容，边缘部分((1210,1212,1214,1215),(1218,1220,1222,1224),(1226,1228,1230,1232),…,(1234,1236,1238,1240))分别在圆(1203,1205,1207,…,1209)之外，在一些实施方案中不是感兴趣的，因为它们将不被用作纹理并且对应于所捕获的场景感兴趣区域之外的区域。

图13包括附图13000，其示出了如何可将用于重建特定片段的信息作为内插帧数据发送。需注意，不同片段的信息可以不同的帧速率传递，其中一些内插帧时间和帧集的一些片段的更新的片段信息被省略。当确定单个片段的帧速率时，可以并且有时考虑片段相对于捕获图像的鱼眼透镜和片段中对象的运动方向(如方向箭头所示)对应的位置。片段信息作为补充信息被发送，并且有时被称为边信息，因为片段信息是除了基础视频帧层信息之外被发送的信息。在一些实施方案中，通过在编码和传输到回放设备之前使用运动内插来生成内插帧的片段信息。

图13000包括一组帧，包括捕获帧1(CF1)13002、六个内插帧(IF1 13004,IF213006,IF3 13008,IF4 13010,IF5 13012,IF6 13014)和捕获帧2(CF1)13016。在捕获帧1(CF1)13002的图像捕获区域13003内识别五个示例性感兴趣片段(片段1(S1)13050、片段1(S2)13052、片段3(S3)13054、片段4(S4)13056、片段5(S5)13058)。每个片段中的对象的运动方向(S1 13050、S2 13052、S3 13054、S4 13056、S5 13058)分别由方向箭头(13051、13053、13055、13057、13059)表示。

在捕获帧2(CF2)13016的图像捕获区域13017内识别五个示例性片段(片段1(S1)13050’、片段1(S2)13052’、片段3(S3)13054’、片段4(S4)13056’、片段5(S5)13058’)。CF213016的示例性片段1(S1)13050’包括与CF1 13002的片段1(S1)13050相同的对象。CF213016的示例性片段2(S2)13052’包括与CF1 13002的片段2(S2)13052相同的对象。CF213016的示例性片段3(S3)13054’包括与CF1 13002的片段3(S3)13054相同的对象。CF213016的示例性片段4(S4)13056’包括与CF1 13002的片段4(S4)13056相同的对象。CF213016的示例性片段5(S5)13058’包括与CF1 13002的片段5(S5)13058相同的对象。

每个片段中的对象的运动方向(S1 13050’、S2 13052’、S3 13054’、S4 13056’、S513058’)分别由方向箭头(13051’、13053’、13055’、13057’、13059’)表示。

图14是示出可如何考虑速度矢量和各种速率以及相对于鱼眼透镜捕获区域(13003)的位置来确定应当通过内插支持的帧速率的附图14000。图14示出了分别具有确定的对应速度矢量(13051、13053、13055、13057、13059)的识别的运动片段(S1 13050、S213052、S3 13054、S4 13056、S5 13058)。用于内插的所选择的速率(R1 14002、R2 14004、R314006、R4 14008、R5 14010)分别基于所确定的速度矢量(13051、13053、13055、13057、13059)，并且分别基于捕获帧13002的视场13003中的片段(S1 13050、S2 13052、S3 13054、S4 13056、S5 13058)的位置。

图15是图表1500，示出了各种内插帧时间以及哪些片段将基于特定片段要支持的所选择的帧速率进行内插和传递。需注意，对于不同的片段，将支持不同的帧速率，其中Y指示将包括该片段的信息，并且N指示对于顶行中列出的给定帧时间，将不会生成内插信息并将其作为边信息传递。需注意，在IF之后使用数量下标来指示与帧信息相关的内插帧。例如，IF1对应于内插帧1，IF2对应于内插帧2。

第一列1502包括识别表的每行的运动片段的信息。第二列1504包括识别用于每个运动片段的内插的所选择速率的信息。第三列1508包括指示是否要为内插帧IF1生成、包括和传输运动片段的内插信息的信息。第四列1510包括指示是否要为内插帧IF2生成、包括和传输运动片段的内插信息的信息。第五列1512包括指示是否要为内插帧IF3生成、包括和传输运动片段的内插信息的信息。第五列1514包括指示是否要为内插帧IF5生成、包括和传输运动片段的内插信息的信息。第六列1516包括指示是否要为内插帧IF6生成、包括和传输运动片段的内插信息的信息。

行1518包括识别出对于运动片段S1、所选择的速率是R1的信息，以及要为内插帧IF1、IF2、IF3、IF4、IF5和IF6中的每一者生成、包括和传输运动片段S1的内插信息。

行1520包括识别出对于运动片段S2、所选择的速率是R2的信息，以及要为内插帧IF2、IF3、IF4和IF5中的每一个但不为内插帧IF1和IF6生成、包括和传输运动片段S2的内插信息。

行1522包括识别出对于运动片段S3、所选择的速率是R3的信息，以及要为内插帧IF3、IF4和IF5中的每一个但不为内插帧IF1、IF2和IF6生成、包括和传输运动片段S3的内插信息。

行1524包括识别出对于运动片段S4、所选择的速率是R4的信息，以及要为内插帧IF3、IF4中的每一个但不为内插帧IF1、IF2、IF5和IF6生成、包括和传输运动片段S4的内插信息。

行1526包括识别出对于运动片段S5、所选择的速率是R5的信息，以及要为内插帧IF3但不为内插帧IF1、IF2、IF4、IF5和IF6生成、包括和传输运动片段S4的内插信息。

下面示出编号的示例性实施方案的列表。每个列表中的编号用于指包括在使用编号的列表中的实施方案。

编号方法实施方案的第一列表

方法实施方案1一种内容分发方法，该方法包括：存储(908)以第一帧速率捕获的图像(751)，执行内插(924)以生成内插帧数据以支持高于所述第一帧速率的第二帧速率；以及将捕获帧数据和内插帧数据传递(926)到至少一个回放设备。

方法实施方案2根据方法实施方案1所述的方法，其中所述第一帧速率是在所述相机以最大图像捕获分辨率操作时由用于捕获图像的相机支持的最高帧速率。

方法实施方案3根据方法实施方案1所述的方法，还包括：操作相机对中的第一相机的相机以第一速率捕获所述图像。

方法实施方案4根据方法实施方案3所述的方法，其中当以较低分辨率捕获图像时，第一相机支持高于所述第一帧速率的较高帧速率。

方法实施方案5根据方法实施方案1所述的方法，其中传递捕获帧数据包括以对应于图像捕获速率的第一数据速率传递捕获帧。

方法实施方案6根据方法实施方案5所述的方法，其中捕获帧数据和内插帧数据的组合对应于回放设备将用于显示图像的第二帧速率。

方法实施方案7根据方法实施方案6所述的方法，其中所述第二帧速率是向回放设备的用户显示左眼图像和右眼图像以支持3D查看体验的立体帧速率。

方法实施方案7A根据方法实施方案7所述的方法，其中内插帧数据传递内插帧，该内插帧增加对捕获帧的补充，从而将帧速率从捕获帧速率增加到第二帧速率。

方法实施方案8根据方法实施方案1所述的方法，还包括：对捕获帧的块执行(910)运动分析以检测运动并识别移动片段；针对至少第一片段，基于来自当前的捕获帧和一个或多个其他捕获帧(例如，至少下一个捕获帧)的第一片段的运动量来选择(922)帧速率；并且其中执行内插(924)以生成内插帧数据包括在捕获帧之间内插片段以生成内插帧信息。

方法实施方案9根据方法实施方案8所述的方法，其中所述至少一个片段是移动对象的图像片段。

方法实施方案9A根据方法实施方案8所述的方法，其中所述移动对象为球。

方法实施方案10根据方法实施方案8所述的方法，其中内插片段包括内插所述第一片段的版本以支持所述所选择的帧速率。

方法实施方案11根据方法实施方案8所述的方法，还包括：将捕获帧作为基础视频层的一部分传递(926)到回放设备；以及传递(928)对应于与内插帧时间对应的一个或多个内插片段的信息作为附加视频信息的一部分。

方法实施方案11A根据方法实施方案8所述的方法，其中所述基础视频层包括多个左眼捕获帧和右眼捕获帧形式的3D视频信息。

方法实施方案11B根据方法实施方案11A所述的方法，其中传递(926)捕获帧数据包括在所述基础视频层中传递编码形式的多个捕获帧，所述视频基础层具有第一帧速率。

方法实施方案11C根据方法实施方案11B所述的方法，其中所述3D视频信息包括对应于基础视频层的每个帧时间的左眼和右眼信息。

系统实施方案的第一编号列表

系统实施方案1一种图像捕获和处理系统，包括：至少第一相机(1302)，用于以第一帧速率捕获(904)图像；以及内容递送系统(700)，包括：存储器(712)；以及耦接到所述存储器的处理器(708)，处理器被配置为控制内容递送系统以：对捕获帧执行内插(924)以生成内插帧数据，从而支持高于所述第一帧速率的第二帧速率；并且将捕获帧数据和内插帧数据传递(926)到至少一个回放设备。

系统实施方案2根据系统实施方案1所述的图像捕获和处理系统，其中所述第一帧速率是在所述相机以最大图像捕获分辨率操作时由用于捕获图像的相机支持的最高帧速率。

系统实施方案3根据系统实施方案1所述的图像捕获和处理系统，其中第一相机以第一帧速率捕获图像由相机对的第一相机执行。

系统实施方案4根据系统实施方案3所述的图像捕获和处理系统，其中当以较低分辨率捕获图像时，第一相机支持高于所述第一帧速率的较高帧速率。

系统实施方案5根据系统实施方案1所述的图像捕获和处理系统，其中作为传递捕获帧数据的一部分，处理器控制内容递送系统以：以对应于图像捕获速率的第一数据速率传递捕获帧。

系统实施方案6根据系统实施方案5所述的图像捕获和处理系统，其中捕获帧数据和内插帧数据的组合对应于回放设备用于显示图像的第二帧速率。

系统实施方案7根据系统实施方案6所述的图像捕获和处理系统，其中所述第二帧速率是向回放设备的用户显示左眼图像和右眼图像以支持3D查看体验的立体帧速率。

系统实施方案7A根据系统实施方案7所述的图像捕获和处理系统，其中内插帧数据传递内插帧，该内插帧增加对捕获帧的补充，从而将帧速率从捕获帧速率增加到第二帧速率。

系统实施方案8根据系统实施方案1所述的图像捕获和处理系统，其中处理器(708)被进一步配置为控制内容递送系统：对捕获帧的块执行(910)运动分析以检测运动并识别移动片段；针对至少第一片段，基于来自当前的捕获帧和一个或多个其他捕获帧(例如，至少下一个捕获帧)的第一片段的运动量来选择(922)帧速率；并且其中执行内插(924)以生成内插帧数据包括在捕获帧之间内插片段以生成内插帧信息。

系统实施方案9根据系统实施方案8所述的图像捕获和处理系统，其中所述至少一个片段是移动对象的图像片段。

系统实施方案9A根据系统实施方案8所述的图像捕获和处理系统，其中所述移动对象为球。

系统实施方案10根据系统实施方案8所述的图像捕获和处理系统，其中内插片段包括内插所述第一片段的版本以支持所述所选择的帧速率。

系统实施方案11根据系统实施方案8所述的图像捕获和处理系统，其中处理器(708)被进一步配置为控制内容递送系统以作为将捕获帧数据和内插帧数据传递(926)到至少一个回放设备的一部分：将捕获帧传递(926)到回放设备作为基础视频层的一部分；以及传递(928)对应于与内插帧时间对应的一个或多个内插片段的信息作为附加视频信息的一部分。

系统实施方案11A根据系统实施方案8所述的图像捕获和处理系统，其中所述基础视频层包括多个左眼捕获帧和右眼捕获帧形式的3D视频信息。

系统实施方案11B根据系统实施方案11A所述的图像捕获和处理系统，其中传递(926)捕获帧数据包括在所述基础视频层中传递编码形式的多个捕获帧，所述视频基础层具有第一帧速率。

系统实施方案11C根据系统实施方案11B所述的图像捕获和处理系统，其中所述3D视频信息包括对应于基础视频层的每个帧时间的左眼信息和右眼信息。

计算机可读的第一编号列表

介质实施方案

计算机可读介质实施方案1一种包括计算机可执行指令的非暂态计算机可读介质，计算机可执行指令当由内容递送系统(700)的处理器(706)执行时使得处理器控制内容递送系统(700)以：访问存储在内容递送系统(700)的存储器(712)中的图像(751)，所述图像已由相机(1302)以第一帧速率捕获；执行内插(924)以生成内插帧数据，从而支持高于所述第一帧速率的第二帧速率；并且将捕获帧数据和内插帧数据传递(926)到至少一个回放设备。

编号方法实施方案的第二列表

方法实施方案1.一种操作回放系统(300)的方法，该方法包括：接收(1603)捕获帧数据和内插帧数据；从所接收的捕获帧数据恢复(1607)捕获帧；从所接收的内插帧数据生成(1610)一个或多个内插帧；渲染(1618)包括一个或多个捕获帧和至少一个内插帧的视频序列；以及

将一个或多个渲染图像输出(1620)到显示设备(702)。

方法实施方案2.根据方法实施方案1所述的方法，其中所述捕获帧对应于第一帧速率；并且其中包括捕获帧和一个或多个内插帧的所述生成的视频序列具有高于所述第一帧速率的第二帧速率。

方法实施方案3.根据方法实施方案2所述的方法，其中将一个或多个渲染图像输出(1620)到显示设备(702)包括以第二帧速率输出渲染图像部分。

方法实施方案4.根据实施方案3所述的方法，其中所述第二帧速率与由所述显示设备(702)支持的显示刷新速率匹配；并且其中所述显示设备为头戴式显示设备。

方法实施方案5.根据方法实施方案1所述的方法，其中所述第二帧速率是高于用于捕获由回放系统接收的图像的图像捕获速率的帧速率。

方法实施方案6.根据实施方案5所述的方法，其中所述回放系统不在接收帧之间进行内插以将帧输出速率增加超过接收帧速率。

方法实施方案7.根据方法实施方案2所述的方法，其中从所接收的内插帧数据生成(1610)一个或多个内插帧包括：使用(1612)运动矢量从第一捕获帧生成第一内插帧的一部分；以及使用(1614)来自一个或多个先前帧的内容来填充未针对其提供内插片段数据的第一内插帧的区域。

系统实施方案的第二编号列表

系统实施方案1.一种回放系统(300)，所述方法包括：显示设备(805)；网络接口(810)，其接收(1603)捕获帧数据和内插帧数据；以及处理器(808)，其被配置为控制回放系统以：从所接收的捕获帧数据恢复(1607)捕获帧；从所接收的内插帧数据生成(1610)一个或多个内插帧；渲染(1618)包括一个或多个捕获帧和至少一个内插帧的视频序列；以及将一个或多个渲染图像输出(1620)到显示设备(702)。

系统实施方案2.根据系统实施方案1所述的回放系统(300)，其中所述捕获帧对应于第一帧速率；并且其中所述生成的视频序列包括捕获帧和一个或多个内插帧并且具有高于所述第一帧速率的第二帧速率。

系统实施方案3.根据系统实施方案2所述的回放系统(300)，其中将一个或多个渲染图像输出(1620)到显示设备(702)包括以第二帧速率输出渲染图像部分。

系统实施方案4.根据系统实施方案3所述的回放系统(300)，其中所述第二帧速率与所述显示设备(702)支持的显示刷新速率匹配；并且其中所述显示设备为头戴式显示设备。

系统实施方案5.根据系统实施方案1所述的回放系统(300)，其中所述第二帧速率是高于用于捕获由回放系统接收的图像的图像捕获速率的帧速率。

系统实施方案6。根据系统实施方案5所述的回放系统(300)，其中所述回放系统不在接收帧之间进行内插以将帧输出速率增加超过接收帧速率。

系统实施方案7。根据系统实施方案2所述的回放系统(300)，其中作为从所接收的内插帧数据生成(1610)一个或多个内插帧的一部分，所述过程被配置为：使用(1612)运动矢量从第一捕获帧生成第一内插帧的一部分；以及使用(1614)来自一个或多个先前帧的内容来填充未针对其提供内插片段数据的第一内插帧的区域。

计算机的第二编号列表

可读介质实施方案

计算机可读介质实施方案1.一种非暂态计算机可读介质，包括计算机可执行指令(814)，计算机可执行指令在由内容回放系统(300)的处理器(808)执行时使得处理器控制内容递送系统(700)以：接收(1603)捕获帧数据和内插帧数据；从所接收的捕获帧数据恢复(1607)捕获帧；从所接收的内插帧数据生成(1610)一个或多个内插帧；渲染(1618)包括一个或多个捕获帧和至少一个内插帧的视频序列；以及将一个或多个渲染图像输出(1620)到显示设备(702)。

沉浸式VR体验的一个目标是递送现实体验。为了实现这一目标，用户消耗的内容应遵守非常高质量的规范。具体地讲，高动作内容诸如体育对运动保真度极其敏感。关于运动捕获、处理、传输、回放和渲染的任何问题必须以适当的方式来解决。各种因素诸如内容捕获系统、编码和回放以及显示刷新帧速率影响运动保真性。具体地讲，在某些条件下，当捕获帧速率和渲染帧速率低于设备/HMD显示刷新速率时，高分辨率快速运动沉浸式内容导致运动模糊、频闪和短截伪影。

各种实施方案涉及考虑到上述因素中的一个、多个或全部并且支持内容的动态处理以便实现向虚拟现实设备的用户传递和回放的内容的良好保真度的方法和/或装置。各种特征涉及对捕获图像执行的运动分割、深度分析和估计，并且考虑每个时间段中的运动量，例如，对应于时间段的一组3D图像内容，并且在给定在捕获帧中检测到的对象的运动量的情况下，分配帧速率以提供平滑运动的感测，该运动的量对应于包括多个帧(例如，2、15、30个或更多个顺序捕获的帧)的时间段。

在各种实施方案中，考虑了基于鱼眼透镜的图像捕获的使用。对象或部分内容的运动轨迹是相对于鱼眼透镜的曲率考虑的。标测功能考虑了真实世界显示尺寸的变化率和3D球面域中用于捕获例如现场的图像(诸如体育事件正在进行的现场)的鱼眼透镜所感知的移动。

在3D具体实施中，该方法对立体图像(例如，成对的左眼图像和右眼图像)进行处理和操作。考虑到立体声性质和左眼和右眼两者的图像捕获，与无论运动或3D问题如何，以固定速率捕获、编码和传输图像的系统相比，基于运动和立体声相关问题选择不同于捕获速率的期望帧速率可导致计算、带宽和处理减少。在各种实施方案中，图像捕获、处理、编码和通信实时地执行，例如，当正在捕获图像的运动或其他事件仍然在进行时。

在各种实施方案中，以比回放设备生成并向回放设备的用户显示图像的速率更低的速率捕获图像。回放设备可以是并且有时是包括处理器和头戴式显示器的虚拟现实系统，在一些实施方案中，该头戴式显示器可向用户的左眼和右眼显示不同的图像内容。在至少一些实施方案中，分析所捕获的图像内容，并且关于用于将帧传递到回放设备的帧速率进行确定。在许多情况下，旨在赋予用户平滑运动的感觉的所确定的帧速率通常高于图像捕获速率。所捕获的图像的内插用于生成对应于所确定的帧速率的完整的一组帧。基于片段/对象表现出的运动量和/或相机设备的鱼眼透镜的用于捕获片段的部分来选择特定片段(有时对应于移动对象)被传递到回放设备的速率。在各种实施方案中，以与相对静态的片段不同的速率对经受高运动/变化速率的片段进行编码和传递。

在各种实施方案中，例如以高分辨率但以比由虚拟现实回放设备实现的帧回放速率更低的图像捕获速率来捕获图像。将帧内插到捕获帧之间以考虑对象的运动。内插过程能够使用整组捕获的图像内容，因为内插过程在有损编码和传输到回放设备之前执行。因此，处理所捕获的图像的系统具有比通常接收压缩图像数据和已通过压缩降解的图像的回放设备更多的信息可供其使用。应当理解，生成要传递到回放设备的内容的系统还可具有可在编码之前执行内插操作的一个或多个处理器。编码可考虑要传递到回放设备的编码组帧与从一个帧到下一个帧的移动或变化之间的差异。

在使用本发明的一些系统中，使用鱼眼透镜来捕获要传递到回放设备的图像内容。鱼眼透镜往往会使正在捕获的图像失真。在一些但不一定所有的实施方案中，出于编码目的，例如，当决定捕获帧或由内插生成的帧的哪些部分应被传递到回放设备时，考虑相对于鱼眼透镜的哪个部分用于捕获对应于运动的图像内容的运动位置。

图16示出了回放方法1600，其可以并且在一些实施方案中由图1的回放系统中的一个实现。在一些实施方案中，当系统300用于图1的系统中时，该方法由图3所示的回放系统300实现。

方法1600在开始步骤1602开始，其中回放系统300通电，并且处理器808在存储在存储器800中的例程814的控制下开始控制回放系统300，该例程控制回放系统以实现图16的方法。

操作从开始步骤1602进行到接收帧信息步骤1603，其中接收捕获帧和内插帧数据，例如内插帧。在一些实施方案中，步骤1603包括接收基层帧(例如，对应于第一帧速率的编码捕获帧)的步骤1604，以及接收内插帧数据(例如，表示内插帧的数据)的步骤1606。捕获帧和内插帧数据先前已经关于内容递送系统104进行了讨论，该内容递送系统将此类数据提供给回放系统，因此将不再详细描述。

在已接收到捕获帧数据和内插帧数据的情况下，在所接收的捕获帧被编码的情况下，操作从步骤1603进行到步骤1608。在步骤1608中，在操作前进至步骤1610之前，对所接收的捕获帧(例如，基层帧)进行解码以产生未编码的捕获帧。如果在步骤1603中以未编码形式接收到捕获帧，则跳过解码步骤1608，并且操作直接从步骤1603进行到步骤1610。

在步骤1610中，从所接收的内插帧数据生成一个或多个内插帧。在一些实施方案中，步骤1610包括步骤1612和步骤1614。在步骤1612中，运动矢量和/或帧内编码片段用于生成例如在位置或内容上与一个或多个先前帧或后续帧不同的内插帧的部分。在步骤1614中，使用来自一个或多个先前帧或后续帧的内容来填充未针对其提供内插片段数据的内插帧的一个或多个区域。在步骤1610结束时，回放设备具有捕获帧和内插帧两者，其可用于生成具有高于图像捕获速率的第二帧速率的视频帧序列。第二帧速率可以并且有时等于由回放设备实现的显示速率和/或参考速率。因此，通过使用内插帧，可在回放设备中支持的刷新速率可高于图像捕获速率，同时避免回放设备内插帧以支持更高回放速率的需要。因此，在一些实施方案中，回放设备支持高于图像捕获速率的回放或帧刷新速率，而不执行帧之间的内插以支持回放速率。这是因为内容递送系统执行任何所需的帧内插以在帧被提供给回放设备之前生成内插帧。

操作从步骤1610进行到步骤1610，其中通过例如在预期显示序列中将内插帧与捕获帧相互间隔来生成帧序列。在支持立体图像的一些实施方案中，在步骤1616中生成单独的左眼图像序列和右眼图像序列，每个图像序列具有对应于第二帧速率(即，支持的帧速率)的帧速率。

操作从步骤1616前进到步骤1618，其中例如通过将图像作为纹理应用于网格模型来渲染左眼图像和右眼图像，从而渲染在步骤1616中生成的一个或多个视频序列的图像。

操作从步骤1618前进到步骤1620，其中渲染帧的至少部分被输出到显示器。输出的渲染帧(例如，图像)的部分的尺寸取决于所使用的显示设备的尺寸和/或用户的视场。作为步骤1620的一部分，就立体具体实施而言，例如使用头戴式显示器的不同部分向用户的左眼和右眼显示不同的图像。

示出了从步骤1620前进回到步骤1603的操作，以指示该过程可随时间推移重复，其中回放设备在不同时间点接收、处理和显示对应于视频序列的不同部分的图像集。

虽然在一些实施方案中，显示器以第二帧速率输出图像，但是该方法不排除回放设备执行进一步的内插以进一步增加由回放设备支持的刷新速率。然而，显著地，在回放设备之外执行至少一些帧内插以支持比捕获帧速率更高的帧速率，从而消除了回放设备执行内插以实现高于帧捕获速率的第二帧速率的需要。因为帧以高细节级别被捕获和传递，所以可使用比在可支持第二帧速率的相机的情况下可能需要的成本更低的相机来实现实际3D体验，其中使用相同的细节级别来捕获图像。

在一些实施方案中，使用运动分割来分割所捕获的图像，例如帧，以用于通过在一些实施方案中包括编码用于传递目的的处理来处理。在一些实施方案中，在编码过程期间或作为单独的预编码过程，在块的基础上分割或处理图像，其中分析包括一组块(例如，帧的矩形部分)的图像以检测从一个帧移动(即，在运动中)到下一个帧的对象。在一些实施方案中，系统例如在包括捕获图像内容(例如先前捕获的帧的块)的可变大小的向前看缓冲器中分析多个块的时间运动。将数据整理以形成，即，识别场景中的有意义的运动片段，例如，作为单元从一个帧移动到另一个帧的一组块，如从观察多个帧所感知的。该组块可对应于并且有时将对应于可移动的移动对象诸如球或其他对象，而场景区域中的其他对象诸如体育比赛的运动场保持固定。在一些实施方案中，考虑到在捕获到基于鱼眼透镜的视频中时对象的角速度，基于空间纹理信息，修剪经受运动的所识别的图像片段，即，将经受运动的一些图像片段从进一步的考虑中排除，以得到将被考虑用于附加处理的最终运动片段，然后将被考虑用于进一步处理的片段组在一些但不是所有实施方案中按照相对复杂性的顺序排序，其中复杂性可以并且有时确实取决于每个片段中的细节水平和/或不同颜色的数量，其中具有更高细节水平和更多颜色或亮度水平的片段被认为比具有较少细节、较少颜色和/或较低数量亮度水平的片段更复杂。

在一些实施方案中，深度分析用于确定深度，例如，所识别的经受运动的片段中的对象的距离。因此，在支持3D内容的至少一些实施方案中，例如，在回放期间向用户呈现不同的左眼图像和右眼图像的情况下，考虑对象的深度以及因此与表示此类对象的图像片段相关联的深度。考虑2D左眼和右眼视频片段(例如，图像)中的运动，并且在决定应编码和传递帧以支持3D对象的平滑运动的频率时，考虑其对3D(例如，立体域)中的对象的感知的影响。考虑到依据与相机(例如，左眼相机和右眼相机)的距离的3D效果和深度，分别捕获左眼图像和右眼图像，在一些实施方案中，促进并用于基于片段距相机原点的距离来确定合适的运动内插速率。因此，在许多情况下，对象距离可能并且有时确实影响对象将以更高的相互关系速率内插的速率，从而提供更好的3D效果。可以并且有时基于所支持或使用的一个或多个回放设备的显示刷新速率来调节与对应于单个对象的片段相关联的内插速率。应当理解，由于不同对象是在不同距离处，因此由于深度的差异，可以并且有时针对不同对象选择不同的内插速率。在一些实施方案中，更靠近相机并且因此在回放期间将被感知为更靠近用户的对象被给予比更远的对象(例如，更大深度的对象)更高的用于内插的优先级。这部分地是因为近处的对象趋于更明显，并且用户期望此类对象比更远处的对象具有更高的细节水平。

在一些实施方案中，基于每个片段执行运动估计和表示，其中片段可对应于图像的对象或对象集，该对象或对象集可随时间推移并且有时确实随时间推移在位置方面移动，例如，其中片段从帧到帧改变位置。位置的变化可能是并且有时是由于对应于片段移动的对象诸如球的运动，而相机和其他对象保持固定。在一些实施方案中，基于与片段相关的时空数据和深度数据，基于单个片段计算每个片段的帧速率。在一些实施方案中，对每个片段单独执行运动内插，并计算各个片段的运动矢量和最佳块信息。运动矢量和其他信息(例如，不能由运动矢量准确表示的图像部分的填充信息)作为边信息和/或元数据来传递，并且可与表示捕获帧的信息一起嵌入流中。因此，被确定为对应于一些片段的帧的部分可由所传递的数据比捕获帧的其他部分更频繁地刷新。如果内容被递送到多组/版本的显示设备诸如头戴式显示器(HMD)，则可存在基于设备规范的运动片段边信息的多个版本。

应当理解，各种特征涉及图像捕获、处理和以允许向用户回放设备有效使用通信信道的有限数据传输容量的方式传输内容。通过在至少一些帧时间内传输对应于一些片段而不是整个帧的信息，并且其中基于运动和/或鱼眼透镜的哪个部分被用于捕获对应于片段的图像的部分来选择片段，片段的更新可以比整个帧的内容更新的速率高的速率发生，其中片段的更新促进令人满意的3D回放体验。在回放期间，对应于运动的所接收片段可被解码和显示，从而允许场景区域的已检测到运动的部分在回放设备处比场景区域的对应于捕获图像的环境的其他部分更频繁地更新。处于比期望的回放帧速率低的帧速率的整个帧可以并且有时作为视频基流的一部分被传输。在至少一些此类实施方案中，对应于一个或多个片段的信息作为增强信息被传输，该增强信息提供对应于在基础视频流的帧之间发生的时间段(例如，帧时间)的一个或多个片段的信息。增强信息可以是并且有时与回放设备处的基础流信息结合，以生成具有左眼图像和右眼图像的视频输出流，该视频输出流具有比基础视频流更高的帧速率。

客户端设备回放由各种方法和装置支持。客户端设备上的回放过程包括初始步骤，其中基础视频流(例如，所捕获的一个或多个帧)被解码，之后进行利用基础流传递的边信息提取。边信息允许以比所显示图像的其他片段更快的速率更新所显示图像的一些片段。使用运动补偿从一个或多个参考图片(例如，捕获的图像)重建具有边信息的帧中的内插块，使得回放帧速率与回放设备的支持的显示刷新速率匹配，该支持的显示刷新速率在一些但不一定所有实施方案中超过捕获图像的帧速率。

在一些实施方案中，当生成内插帧时，为了填充已经由于运动而创建间隙并且没有提供运动信息来填充来自图像的另一部分的间隙的像素的间隙，回放设备使用来自并置的块的内容来填充间隙，该并置的块在位置上附属于间隙发生的位置。在没有指示运动的情况下，通过获取来自前一帧或后一帧的内容来生成内插帧的无运动部分，其中内容取自对应于一个或多个无运动块发生的位置的前一帧或后一帧中的位置。例如，来自不指定运动估计内容的块的具有相同x、y坐标的另一帧的块的内容在一些情况下从时间上最近的参考帧获取到所生成的内插帧。在无运动块具有剧烈亮度和/或颜色变化的情况下，更优化的双向预测/平均可以是并且有时在传递到回放设备的信息中被明确地发信号通知，在这种情况下，亮度和/或色度可取决于多个帧的内容。

运动表示：

在一些实施方案中，运动补偿内插涉及运动估计，以针对对象或片段的每个可变尺寸块形状产生令人满意的或最佳的运动矢量。对于位于帧中所选择的运动片段之外的像素，由回放设备在内插帧时间处使用来自参考图片的协同定位的块。在一些实施方案中，基于最近的时间邻域隐式地计算用于指定“无运动”像素/片段的参考的该规则。在双向预测/平均对于“无运动”像素是优选或最佳的情况下，其作为内插帧数据的一部分被发送，所述内插帧数据以除了通常包括捕获帧的基础视频层的编码帧之外的边信息的形式传递。在一些实施方案中，除了基本层视频数据以及源块坐标之外，在所传递的边信息中明确指定所选择的运动片段的运动矢量，以形成完整的运动片段。

可使用各种特征结构来提供运动保真性的一般解决方案，该运动保真性的一般解决方案可根据任何数量的独特HMD及其变型进行缩放和定制。它还可以扩展到AR/MR/XR应用。

该方法的特征自然地与任何基于视场的流式传输和显示方法配合，其中仅涉及的运动片段和相关的边信息可与FoV一起流式传输

虽然步骤以示例性顺序示出，但应当理解，在许多情况下，可改变步骤的顺序而不会不利地影响操作。因此，除非正确操作需要示例性的步骤顺序，否则认为步骤顺序是示例性的而非限制性的。

一些实施方案涉及一种非暂态计算机可读介质，该非暂态计算机可读介质体现用于控制计算机或其他设备对立体视频进行编码和压缩的一组软件指令，例如计算机可执行指令。其他实施方案涉及一种计算机可读介质，该计算机可读介质体现用于控制计算机或其他设备对播放器端部上的视频进行解码和解压缩的一组软件指令，例如，计算机可执行指令。虽然编码和压缩是作为可能的单独操作而提及的，但应当理解，编码可用于执行压缩，因此编码可在一些情况下包括压缩。类似地，解码可涉及解压缩。

各种实施方案的技术可使用软件、硬件和/或软件和硬件的组合来实现。各种实施方案涉及装置，例如，图像数据处理系统。各种实施方案还涉及方法，例如，处理图像数据的方法。各种实施方案还涉及非暂态机器例如计算机可读介质，例如ROM、RAM、CD、硬盘等，其包括用于控制机器以实现方法的一个或多个步骤的机器可读指令。

本发明的各种特征使用模块来实现。此类模块可被实现为软件模块，并且在一些实施方案中被实现为软件模块。在其他实施方案中，模块以硬件来实现。在其他实施方案中，模块使用软件和硬件的组合来实现。在一些实施方案中，模块被实现为单独的电路，其中每个模块被实现为用于执行模块所对应的功能的电路。设想了各种各样的实施方案，包括其中不同模块以不同方式实现的一些实施方案，例如一些在硬件中，一些在软件中，并且一些使用硬件和软件的组合。还应当指出的是，例程和/或子例程、或由此类例程执行的步骤中的一些可在专用硬件中实现，这与在通用处理器上执行的软件形成对照。此类实施方案仍在本发明的范围内。上述方法或方法步骤中的许多可使用机器可执行指令(诸如软件)来实现，该机器可执行指令包括在机器可读介质(诸如存储设备，例如RAM、软盘等)中以控制机器(例如，具有或不具有附加硬件的通用计算机)来实现上述方法的全部或部分。因此，除了别的以外，本发明涉及一种机器可读介质，该机器可读介质包括用于使机器(例如，处理器和相关联的硬件)执行上述一种或多种方法的一个或多个步骤的机器可执行指令。

根据以上描述，上述各种实施方案的方法和装置的许多另外的变型对于本领域的技术人员将是显而易见的。此类变型应被视为在范围内。

Claims (35)

1.一种内容分发方法，所述方法包括：

存储(908)以第一帧速率捕获的图像(751)；

执行内插(924)以生成内插帧数据，从而支持高于所述第一帧速率的第二帧速率；以及

将捕获帧数据和内插帧数据传递(926)到至少一个回放设备。

2.根据权利要求1所述的方法，其中所述第一帧速率是在相机以最大图像捕获分辨率操作时由用于捕获图像的所述相机支持的最高帧速率。

3.根据权利要求1所述的方法，还包括：

操作相机对中的第一相机的相机，以所述第一速率捕获所述图像。

4.根据权利要求3所述的方法，其中当以较低分辨率捕获图像时，所述第一相机支持高于所述第一帧速率的较高帧速率。

5.根据权利要求1所述的方法，其中传递捕获帧数据包括以对应于图像捕获速率的第一数据速率传递捕获帧。

6.根据权利要求5所述的方法，其中捕获帧数据和内插帧数据的组合对应于所述回放设备将用于显示图像的第二帧速率。

7.根据权利要求6所述的方法，其中所述第二帧速率是向所述回放设备的用户显示左眼图像和右眼图像以支持3D查看体验的立体帧速率。

8.根据权利要求1所述的方法，还包括：

对捕获帧的块执行(910)运动分析以检测运动并识别移动片段；

针对至少第一片段，基于来自当前的捕获帧和一个或多个其他捕获帧(例如，至少下一个捕获帧)的所述第一片段的运动量来选择(922)帧速率；并且

其中执行内插(924)以生成内插帧数据包括在捕获帧之间内插片段以生成内插帧信息。

9.根据权利要求8所述的方法，其中所述至少一个片段是移动对象的图像片段。

10.根据权利要求8所述的方法，其中内插片段包括内插所述第一片段的版本以支持所述选择的帧速率。

11.根据权利要求8所述的方法，还包括：

将捕获帧作为基础视频层的一部分传递(926)到回放设备；以及

传递(928)对应于与内插帧时间对应的一个或多个内插片段的信息作为附加视频信息的一部分。

12.一种图像捕获和处理系统，包括：

至少第一相机(1302)，所述至少第一相机用于以第一帧速率捕获(904)图像；以及

内容递送系统(700)，所述内容递送系统包括：

存储器(712)；和

处理器(708)，所述处理器耦接到所述存储器，所述处理器被配置为控制所述内容递送系统以：

对捕获帧执行内插(924)以生成内插帧数据，从而支持高于所述第一帧速率的第二帧速率；以及

将捕获帧数据和内插帧数据传递(926)到至少一个回放设备。

13.根据权利要求12所述的图像捕获和处理系统，其中所述第一帧速率是在相机以最大图像捕获分辨率操作时由用于捕获图像的所述相机支持的最高帧速率。

14.根据权利要求12所述的图像捕获和处理系统，其中第一相机以所述第一帧速率捕获图像是由相机对的所述第一相机执行。

15.根据权利要求14所述的图像捕获和处理系统，其中当以较低分辨率捕获图像时，所述第一相机支持高于所述第一帧速率的较高帧速率。

16.根据权利要求12所述的图像捕获和处理系统，其中作为传递捕获帧数据的一部分，所述处理器控制所述内容递送系统：以对应于图像捕获速率的第一数据速率传递捕获帧。

17.根据权利要求16所述的图像捕获和处理系统，其中捕获帧数据和内插帧数据的组合对应于所述回放设备将用于显示图像的第二帧速率。

18.根据权利要求17所述的图像捕获和处理系统，其中所述第二帧速率是向所述回放设备的用户显示左眼图像和右眼图像以支持3D查看体验的立体帧速率。

19.根据权利要求12所述的图像捕获和处理系统，其中所述处理器(708)被进一步配置为控制所述内容递送系统以：

对捕获帧的块执行(910)运动分析以检测运动并识别移动片段；

针对至少第一片段，基于来自当前的捕获帧和一个或多个其他捕获帧(例如，至少下一个捕获帧)的所述第一片段的运动量来选择(922)帧速率；并且

其中执行内插(924)以生成内插帧数据包括在捕获帧之间内插片段以生成内插帧信息。

20.一种包括计算机可执行指令的非暂态计算机可读介质，所述计算机可执行指令当由内容递送系统(700)的处理器(706)执行时使得所述处理器控制所述内容递送系统(700)以：

访问存储在所述内容递送系统(700)的存储器(712)中的图像(751)，所述图像已由相机(1302)以第一帧速率捕获；

执行内插(924)以生成内插帧数据，从而支持高于所述第一帧速率的第二帧速率；以及

将捕获帧数据和内插帧数据传递(926)到至少一个回放设备。

21.一种操作回放系统(300)的方法，所述方法包括：

接收(1603)捕获帧数据和内插帧数据；

从所接收的捕获帧数据恢复(1607)捕获帧；

从所接收的内插帧数据生成(1610)一个或多个内插帧；

渲染(1618)包括一个或多个捕获帧和至少一个内插帧的视频序列；以及

将一个或多个渲染图像输出(1620)到显示设备(702)。

22.根据权利要求21所述的方法，其中所述捕获帧对应于第一帧速率；并且

其中包括所述捕获帧和所述一个或多个内插帧的所述生成的视频序列具有高于所述第一帧速率的第二帧速率。

23.根据权利要求22所述的方法，其中将一个或多个渲染图像输出(1620)到显示设备(702)包括以所述第二帧速率输出渲染图像部分。

24.根据权利要求23所述的方法，其中所述第二帧速率与由所述显示设备(702)支持的显示刷新速率匹配；并且

其中所述显示设备为头戴式显示设备。

25.根据权利要求21所述的方法，其中所述第二帧速率是高于用于捕获由所述回放系统接收的图像的图像捕获速率的帧速率。

26.根据权利要求25所述的方法，其中所述回放系统不在接收帧之间进行内插以将帧输出速率增加超过接收帧速率。

27.根据权利要求22所述的方法，其中从所接收的内插帧数据生成(1610)一个或多个内插帧包括：

使用(1612)运动矢量从第一捕获帧生成第一内插帧的一部分；以及

使用(1614)来自一个或多个先前帧的内容来填充未针对其提供内插片段数据的所述第一内插帧的区域。

28.一种回放系统(300)，所述方法包括：

显示设备(805)；

网络接口(810)，所述网络接口接收(1603)捕获帧数据和内插帧数据；以及

处理器(808)，所述处理器被配置为控制所述回放系统以：

从所接收的捕获帧数据恢复(1607)捕获帧；

从所接收的内插帧数据生成(1610)一个或多个内插帧；

渲染(1618)包括一个或多个捕获帧和至少一个内插帧的视频序列；以及

将一个或多个渲染图像输出(1620)到显示设备(702)。

29.根据权利要求28所述的回放系统(300)，其中所述捕获帧对应于第一帧速率；并且

其中所述生成的视频序列包括所述捕获帧和所述一个或多个内插帧并且具有高于所述第一帧速率的第二帧速率。

30.根据权利要求29所述的回放系统(300)，其中将一个或多个渲染图像输出(1620)到显示设备(702)包括以所述第二帧速率输出渲染图像部分。

31.根据权利要求30所述的回放系统(300)，其中所述第二帧速率与由所述显示设备(702)支持的显示刷新速率匹配；并且

其中所述显示设备为头戴式显示设备。

32.根据权利要求28所述的回放系统(300)，其中所述第二帧速率是高于用于捕获由所述回放系统接收的图像的图像捕获速率的帧速率。

33.根据权利要求32所述的回放系统(300)，其中所述回放系统不在接收帧之间进行内插以将帧输出速率增加超过接收帧速率。

34.根据权利要求29所述的回放系统(300)，其中作为从所接收的内插帧数据生成(1610)一个或多个内插帧的一部分，过程被配置为：

使用(1612)运动矢量从第一捕获帧生成第一内插帧的一部分；以及

使用(1614)来自一个或多个先前帧的内容来填充未针对其提供内插片段数据的所述第一内插帧的区域。

35.一种包括计算机可执行指令(814)的非暂态计算机可读介质，所述计算机可执行指令在由内容回放系统(300)的处理器(808)执行时使得所述处理器控制所述内容递送系统(700)以：

接收(1603)捕获帧数据和内插帧数据；

从所接收的捕获帧数据恢复(1607)捕获帧；

从所接收的内插帧数据生成(1610)一个或多个内插帧；

渲染(1618)包括一个或多个捕获帧和至少一个内插帧的视频序列；以及

将一个或多个渲染图像输出(1620)到显示设备(702)。

Images