CN106471808A - 高帧速率平铺压缩技术 - Google Patents

Abstract

一种用于处理高帧速率源内容的方法包括将源内容的图像平铺到具有低于源内容的高帧速率的第二帧速率的至少一个图像块中。在平铺之后，进行对至少一个图像块的至少一个操作。然后选择在至少一个图像块中平铺的连续的图像以用于以高帧速率顺序显示。

Description

高帧速率平铺压缩技术

相关申请的交叉引用

本申请根据35 U.S.C.119(e)要求于2014年5月30日提交的美国临时专利申请序列号第62/005,397号和于2014年8月7日提交的美国临时专利申请序列号第62/034,248号的优先权，其教导在此并入本文。

技术领域

本发明涉及视频压缩，并且更具体地涉及高帧速率视频的压缩。

背景技术

在美国，电视广播公司历史上使用标准清晰度格式(大约480行图片)以每秒30帧(具有每秒60场的隔行场)在广播信道上传输电视节目。以标准清晰度格式传输电视内容提供良好的运动感觉(例如，对于体育广播)，并且对于与具有阴极射线管的电视机相关联的磷光体衰减时间进行良好补偿。电视广播公司现在已经从标准清晰度转换为高清晰度(HD)。现在存在两种主要HD格式：隔行的1080i，以及逐行的720p。慢速移动的内容受益于1080i(每秒60场)的较高的空间分辨率，而比如体育的快速动作受益于720p(每秒60帧)的较高的时间分辨率。最近，电视广播公司已经开始转移具有高达2160p行图片(3840×2160像素)的分辨率的超高分辨率格式。因此，隔行格式现在得到广播公司较少的青睐。

许多最近引入的高清晰度消费者显示系统包括立体3D作为使用逐行扫描的支持格式。这样的3D显示系统通常在兼容眼镜的辅助下将立体图像对的分离的左眼图像和右眼图像递送到每只眼睛。一些视频分配方案将3D编码为单个图像，并利用视差图来创建左眼图像和右眼图像。然而，大多数3D视频分配机制(例如，北美的Blu-Ray^TM盘和3D广播)依赖于将左眼图像和右眼图像对打包成单个复合帧，通常为3840×1080像素。对于3D蓝光盘，全尺寸的左眼图像和右眼图像对被上/下平铺到单个超大帧中。

复合图像当单纯地在接收端被观看时将包括每个立体对的两个图像，该两个图像以多个替选方式之一组合在一起，每个具有不同的可懂度(intelligibility)。然而，每个图像当被正确解码时将看起来填满屏幕，并且每个图像适当地仅出现在左眼或右眼。由纽约的怀特普莱恩斯的电影和电视工程师协会于2013年7月29日公布的SMPTE标准ST 2068:2013-Stereoscopic 3D Frame Compatible Packing and Signaling for HDTV描述了一种用于以信号发送提供立体图像对的布置的众所周知的机制。

今天，一些电视广播公司已经开始以相对低的帧速率来广播超高清晰度(UHD)内容。对于某些电视内容，特别是体育，使高帧速率产生较好的观看体验。遗憾的是，高帧速率性能系统并不广泛存在，而且并不遍及分配信道。此外，将较小的定时单元(例如，1/120秒)引入到广播链中可能对于例如需要在不同帧速率内容中切换的时间码敏感设备(诸如切换器和编辑器)提出困难。例如，时间码敏感设备可能需要(例如，在整点)进行到不同的程序的切换，仅发现当应该发生切换时奇数个120fps帧已离开流水线中间帧(以较低帧速率)，这是不可接受的情况。结果，目前不存在通过常规广播信道递送高帧速率内容的实际方式。

因此，存在处理高帧速率内容以克服上述缺点的需要。

发明内容

简而言之，一种用于处理高帧速率源内容的方法通过将源内容的图像平铺到具有低于源内容的高帧速率的第二帧速率的至少一个图像块中而开始。在平铺之后，进行对至少一个图像块的至少一个操作。

根据本原理的另一方面，一种用于对在具有第一帧速率的至少一个图像块中平铺的图像进行显示的方法包括以下步骤：选择在至少一个图像块中平铺的连续的帧，以及顺序地提供所选择的帧以用于以高于第一帧速率的第二帧速率显示。

附图说明

图1图示了根据本原理的第一方面的用于捕获高帧速率图像序列并将它们打包成适合于使用I帧和P帧进行压缩的较低帧速率图像块的处理；

图2图示了从图1的低帧速率图像块中解包高帧速率图像以用于显示的处理；

图3以流程图形式图示了用于如图1中描绘的将高帧速率图像打包成较低帧速率图像块以及用于如图2中描绘的随后将这样的图像较低帧速率块解包的方法的步骤；

图4图示了用于图3的打包和解包方法的示出接近最小定时要求的描述性时序图；

图5图示了根据本原理的第二方面的用于捕获高帧速率图像序列并将它们打包成适合于使用I帧、P帧和B帧进行压缩的较低帧速率图像块的处理；

图6图示了用于从图5的较低帧速率图像块中解包高帧速率图像以用于显示的处理；

图7以流程图形式图示了用于如图5中描绘的将高帧速率图像打包成较低帧速率图像块以及如图6中描绘的随后将它们解包的方法的步骤；

图8图示了用于图7的打包和解包方法的示出接近最小定时要求的描述性时序图；

图9以流程图形式图示了用于本原理的打包和解包处理中的每一个的方法；

图10图示了用高帧速率2D图像和立体3D图像打包的多个示范性低帧速率图像块；

图11图示了用于图1中描绘的打包处理的各种示范性编码序列；

图12图示了用于图2中描绘的解包处理的各种示范性编码序列；以及

图13图示了根据本原理的示范性高帧速率处理系统的框图。

具体实施方式

图1图示了帧速率压缩技术100，其包括捕获(或者在其他实施例中创建)高帧速率(HFR)图像流的步骤101。在图1的所示实施例中，具有对着对象107的视场106的HFR摄像机105生成高帧速率图像流，高帧速率图像流的一部分110包括单独的顺序图像111-126。在图1的说明性实施例中，并且如其他附图中描绘的，由摄像机107捕获的对象107包括骑马的人。对象107的图像111-126出现在图1中以及其他附图中，具有夸张的时间尺度，使得单独的图像展示出清晰可辨的差异。图像111-126对应于Eadweard Muybridge，1887的作品“Jumping a hurdle，black horse”中的图像。选择这些图像是因为它们对许多人的熟悉度，并且因此它们呈现有助于理解本发明的可辨识的顺序。

在图1的步骤101期间捕获的流部分110中的图像111-126在步骤102期间在捕获缓冲器130中经历累积，从而产生子序列131-134的集合。在步骤103期间，子序列131-134经历编码以将子序列(其包括HFR图像)打包成较低帧速率(LFR)图像块141-144的集合140。例如，每个子序列131-134的第一图像经历合并成单个LFR图像块141。同样，来自每个子序列的第二图像经历合并成较低帧速率图像块142，并且来自每个子序列的第三图像和第四图像分别被打包成图像块143和144。

遍及本文档，术语“图像块”用于识别通过平铺来自较高帧速率源内容的一组图像而获得的较低帧速率图像，而“图像”独自用于指代源内容的单独的帧或其重建。在不同的实施例中，图像块可以比单独的图像更大、与单独的图像尺寸相同、或者比单独的图像更小，如下面将详细讨论的。

在可以证明图像压缩是期望的情况下，LFR图像块141-144可以分别地经历压缩(也称为“编码”)，例如使用众所周知的JPEG或JPEG-2000压缩方案。替选地，当使用诸如MPEG-2或H.264/MPEG-4之类的基于运动的压缩方案编码时，LFR图像块141-144形成编码的“图片组”(GOP)140。这样的基于运动的压缩方案通常利用三种帧编码，I帧、P帧和B帧。I帧包括“帧内编码”帧，即，I帧经历编码而没有对其他帧的任何参考，因此可以独立。P帧或“预测帧”构成相对于先前的参考帧或多个参考帧而编码的帧，并利用帧之间的冗余以用于有效表示(通常为小于对于I帧的表示)。B帧或“双向预测”帧通过利用在前的与在后的参考帧之间的相似性而经历编码。

P帧和B帧的编码处理的重要部分识别也存在于经历压缩(编码)的帧中的(多个)参考帧中的区域。对于这样的帧的编码处理还估计这样的公共区域的运动，以使得能够将它们编码为运动矢量。在一些实施例中，编码器不仅可以使用I帧作为参考，而且也可以使用其他P帧或B帧。当前帧的区域的运动矢量表示通常比区域的像素的更明确的表示更紧凑。

要注意，图1所示的将HFR图像111-126平铺到LFR图像块141-144中保留子序列131-134的时间排序和顺序性质，这提供在组合(平铺)到LFR图像块141-144中之后维持(例如子序列131中的)连贯的HFR图像之间的差异的优点。因此，由于HFR时间分辨率超过LFR的时间分辨率，因此连贯FR图像之间的预期运动矢量通常将具有比以较低帧速率的捕获序列(未示出)的运动矢量更小的大小。同样，连贯捕获的图像之间的对应区域通常将比捕获帧速率较慢的情况具有更多的相似性，因为在以HFR的对象的连贯图像之间经过较少的时间。

根据本原理的将高帧速率图像平铺到较低帧速率图像块中将增加利用编码的GOP140中的复合图像中的运动的压缩方案的有效性。在那些复合图像块的每个象限内，即使以LFR发生GOP 140的图像块141-144的递送，但是连贯的LFR图像块141-144之间的显现时间增量对应于HFR。然而，时间不连续性将发生在当前的编码的GOP 140的最后LFR图像块144与下个GOP(未示出)的第一LFR图像块(未示出)之间的每个象限中。图1的示例中的该时间不连续性的大小是LFR间隔的3倍或者是HFR间隔的12倍。由于该时间不连续性，试图利用一个GOP的结束与下个GOP的开始之间的相似性(即，使用B帧)的压缩方案将不会进展的特别好。因此，适用于本原理的传统运动编码技术将优选地限于I帧和P帧。

图2图示了对应的帧速率解压缩处理200。在处理200期间，对应于图1的编码的GOP140并且表示复合LFR图像块211-214的编码的GOP 210在步骤201期间经历解码，以解压缩LFR图像块211-214，用于存储在解码图像缓冲器220中。图像缓冲器220的每个象限将因此接收连贯的HFR图像子序列221-224。在步骤202期间执行的输出处理将子序列221-224布置成重建的高帧速率图像序列230，其由适于在步骤203期间显示的HFR图像231-246组成，例如在显示设备250上，通常作为HFR呈现251。

本领域技术人员将认识到，诸如130和220的图像缓冲器不需要离散的、分离的象限(例如，包含子序列131-134和221-224的象限)或者分离的LFR图像块平面。这些分离可以作为另外的同构存储器阵列内的逻辑区别而存在，但是在其他实施例中，在每个LFR图像块平面和/或象限之间可以存在非常明确的物理区别，例如在FPGA或ASIC内，以支持特定编码或解码图像处理流水线。

根据本原理的将高帧速率(HFR)图像平铺到低帧速率(LFR)图像块中使得能够通过过渡地用于低帧速率的常规装置来处理LFR图像块，诸如编辑或其他操作。一旦LFR图像块已经经历一个或多个处理操作(诸如编辑等)，单独的HFR子序列就可以被布置成重建的图像序列230，其包括适于在步骤203期间显示的HFR图像231-246。

图3根据本原理的一方面以流程图形式示出了HFR编码/解码处理300。如图3中描绘的，编码阶段310产生适于由解码阶段320进行解码的编码的GOP 140，例如作为位流。由编码阶段310进行的编码在步骤301开始，其中接收HFR图像序列110，使得在捕获步骤102期间，第一图像缓冲器130缓冲所接收的图像。在该示例中，HFR通常包括“4S”，即，是被指定为‘S’的LFR的四倍。在本实施例的实际实现方式中，‘S’(LFR)可以包括每秒30帧(fps)，在该情况下，HFR(为4S)将为120fps。在图3的步骤103期间发生的编码与图1中描绘的编码一致，其中GOP中的LFR图像块的数量‘N’为四。这些‘N’个LFR图像块全体对应于4N个HFR图像，即十六个。因此，捕获缓冲器130中所考虑的图像具有连贯编号0...4N-1(即，0..15)，并且根据索引值‘i’发生选择。根据索引值‘j’发生‘N’个LFR图像块的索引，索引值‘j’取从0到N-1(即，0...3)的值。这里，取值为0...3的‘q’识别四个象限中的对应的一个。在该示范性实施例中，以下等式指明捕获缓冲器130中的HFR图像与平铺到LFR图像块中用于编码的GOP 140之间的关系：

等式1：

LFR_图像[j].象限[q]＝HFR_图像[i],其中j＝0...3，q＝0..3，其中i＝j+qN编码的GOP 140可以在步骤304期间经历流式传输到用于解码的另一设备，或者可以被存储为用于随后解码的非临时文件。

在解码阶段320的一个实施例中，如所示，所接收的流可以在步骤305期间作为编码的GOP 210经历存储。替选地，编码的GOP 210可以作为文件经历接收。对于用于解码的每个LFR图像块，发生一次在以步骤306开始的循环的执行期间进行的解压缩(解码)，在此索引为‘k’，其中k从0...N-1(即，0..3)连贯地运行。该解码对于仅包括I帧或者包括I帧和P帧二者的实施例工作良好，因为P帧只能参考在它之前的帧或多个帧。当每个LFR图像块(例如，211-214)经历解码并存储在解码LFR图像块缓冲器220中时，单独的象限q(0..3)将对应于解压缩的HFR图像‘m’，其中m从0..4N-1(即，0..15)运行且m＝4q+k。当解压缩循环在步骤307完成时，或者在紧密流水线架构中，HFR帧间隔的一小部分较早时，输出处理202提供由m索引的重建图像序列230中的恢复的HFR图像(例如，231-246)，并且准备在步骤203期间进行呈现，例如到HFR显示设备250。

图4示出了图示HFR编码/解码处理300的示范性执行的时序图400。通常，时间在图4中从左到右前进，但不在单个图像内。例如，子序列131包括四个单独的HFR图像，所以这些图像可以顺序呈现。然而，除了当图像捕获开始和结束时，在这些单独的HFR图像内不存在时间背景的指示(例如，没有暗示的像素、行或列的排序或定时)。同样，创建编码的GOP 140的编码处理发生在出现编码的GOP 140的时间(必要时加上附加计算时间)，但是单独的LFR图像块(例如，图像块141)不是在时间上表示的。

HFR帧时间401等于HFR的倒数。包括如图4中描绘的四个图像111-114的第一子序列131跨越包括HFR帧时间401的四倍的时段的间隔402。间隔403表示用于呈现流部分110的十六个图像111-126(来自图1)的时间。由LFR帧时间404表示的持续时间是LFR的倒数，但不对应于在所示时间可用的LFR图像。作为示例，LFR图像块141包括四个象限，从四个子序列131-134中的每一个中的第一HFR图像填充每个象限。因此，LFR图像块141的总图像内容保持不确定，直到不早于完成子序列134的第一图像的接收为止。

同样，LFR图像块144的总图像内容保持不确定，直到不早于完全接收子序列134的最后的图像为止。因此，在捕获子序列131的第一HFR图像开始之后的一些等候时间间隔以后开始编码处理103。这里，以示例的方式，等候时间大致对应于一个HFR帧时间。间隔405从编码处理103的开始运行到序列110的捕获完成的时间。间隔406(不按比例)表示编码处理103的剩余部分。一旦编码，GOP 140就变得完整，但发生任意的等候时间，以示例的方式，在实时流应用中，该等候时间将包括(a)包含准备编码的GOP 140以用于传输的建立时间的传输等候时间407、传输缓冲器等待时间和实际网络传送等候时间，(b)实际网络传送持续时间，这里表示为位流段450的宽度，以及(c)接收缓冲器等待时间408。接收和缓冲的位流段450对应于编码的GOP 210。要注意，在该示例中，接收缓冲器等待时间408具有负值，使得解码处理201甚至在完全接收位流段之前开始从位流段450(例如，编码的GOP 210，在此被象征性地示为几个无意义的位)填充经解码的图像缓冲器220。(在替选实施例中，该接收缓冲器等待时间408可以具有正值，并且可以是几秒长，提供深接收缓冲器，其可以允许丢失分组替换或者前向纠错技术)。

解码处理201通过间隔409发生，在间隔409期间，解码LFR图像块缓冲器220填充有LFR图像块。在缓冲器220内，四个LFR图像块211-214中的每一个经历解码，其相应象限对应于子序列221-224(如图2中的缓冲器22中的子序列组所示)。输出处理202从重建图像序列230中的子序列221-224按顺序以每HFR帧间隔一个的速率提供恢复的HFR图像231-246(来自图2)。在该示例中，输出缓冲器等待时间410也具有负值，指示可以在解码处理201已经完成填满解码LFR图像块缓冲器220之前开始输出图像序列230。在该示例中，等待时间410具有负值，大约为HFR帧时间的负三倍，表明可以进行子序列221的前三个HFR图像的输出，但是子序列221的第四(最后的)图像的输出需要解码处理201来完成用LFR图像块214填充缓冲器220。最终，总流水线等候时间411与从子序列134完成捕获的时间到对应于子序列224完成其输出的时间所测量的间隔相对应。要注意，对于文件用于存储时间压缩的图像序列以用于稍后重放的实施例，编码处理310与解码处理320之间的间隔可以具有任意长的值。

图5-8图示了本发明的稍微不同的实施例，其中每个连贯HFR图像被放置到同一LFR图像块的不同象限中，直到填满LFR图像块，之后类似地构造随后的LFR图像块。图5示出了使用类似的创建(或捕获)处理101以用于生成HFR图像流的第二帧速率压缩处理500，该HFR图像流的部分110如前出现。在捕获步骤502期间，流部分110的图像111-126累积在捕获缓冲器530中，但包括HFR图像111-114的子序列(诸如图1中的子序列131)经历分配到四个象限531-534(或者其他正规划分)，使得在编码处理503期间，当打包成LFR图像块541-544时，HFR图像的子序列(例如，图像111-114)被打包并编码成单个LFR图像块(例如，图像541)。同样，来自第二子序列(图1中的132)的HFR图像经历编码成HFR图像542，依此类推，产生编码的GOP 540。

重要的是要注意，图5的复合LFR图像块541-544具有不同于图1的LFR图像块141-144的一个特定属性：在连贯的LFR图像块541-544的任何特定象限中，对应HFR图像之间(例如，对于左上象限，HFR图像111和115、115和119、119和123中的每一个之间)的定时差保持为对应于LFR图像块的帧速率的常数。这不仅在编码的GOP 540内保持真实，而且也在连贯的GOP之间保持真实；而对于连贯的LFR图像块141-144的任何特定象限，来自对应的连贯HFR图像(例如，对于左上象限，HFR图像111和112、112和113、113和114)的定时差也保持恒定，虽然对应于HFR图像的帧速率，但是该情况仅存在于编码的GOP 140内部，并且在连贯的GOP之间完全不同，其定时差跳到十二个HFR帧间隔(或者三个LFR图像块间隔)。

在一个GOP的结束(例如，编码的GOP 140中的LFR图像块144)与下个GOP的开始(未示出，但类似于GOP中的第一LFR图像块141)的连贯的LFR图像块之间在给定象限中表示的HFR图像之间存在不相称的大的时间间隙(十二个HFR间隔)。为此，使用双向帧编码(B帧)对GOP进行编码仍然不适合，因为下个GOP的第一LFR图像块将太不相似以致于不能在预测GOP140内的图像时可靠地有价值。图5中所示的布置纠正该问题，因为GOP(例如，540)内的或者GOP之间(下个GOP未示出)的每个连贯的LFR图像块具有其前身的同样部分之间的恒定的时间偏移。因此，GOP 540与下个GOP(未示出)的帧之间的双向编码保持与GOP 540中的帧之中的双向编码一样可行。

图6示出了与图5的帧速率压缩处理500相对应的帧速率解压缩处理600。这里，编码的GOP 610对应于编码的GOP 540，并且表示复合LFR图像块611-614。解码处理601接收编码的GOP 610。解码处理601然后将LFR图像块611-614解压缩到解码图像缓冲器620中。图像缓冲器620中的每个平面将因此接收连贯HFR图像的子序列，例如HFR图像631-634。输出处理602在进行到下个平面之前，连贯地从每个象限621-624中选择第一平面中的子序列的HFR图像(例如，631-634)。最终，输出处理602将选择HFR图像646，从而重建图像序列630，其包括适于在步骤603期间呈现的HFR图像631-646，例如用于在显示设备650上显示为HFR呈现651。要注意，当正在使用GOP间双向编码时，一些LFR图像块(例如，612-614)的解码可能需要从下个GOP(未示出)接收和访问第一I编码的LFR图像块以用在解码中。如上所讨论，在一些实施例中，图像缓冲器530和620可以包括存储器阵列的逻辑分区，而在其他示范性实施例中，这样的缓冲器可以作为连接到图像处理流水线的适当元件的离散的物理图像缓冲器而存在。

图7示出了以流程图形式描绘的另一HFR编码/解码处理700，其中编码阶段710产生适于由解码阶段720解码的编码的GOP 540，GOP例如作为位流或作为文件被传递。由编码阶段710进行的编码在步骤701期间开始，使得在接收到HFR图像序列110时，在捕获步骤502期间将发生对所提供的图像的缓冲。再次，对于该示例，HFR包括4S，即，是被认为是S’的LFR的四倍。再次，对于该示例，‘S’(LFR)可以具有每秒30帧(fps)的值，在该情况下，HFR(为4S)将为120fps。图7中描绘的编码处理503与图5中所示的编码处理保持一致，其中GOP中的LFR图像块的数量‘N’为四。这些‘N’个LFR图像块全体对应于4N个HFR图像，即十六个。如之前，捕获缓冲器530中所考虑的图像具有连贯编号0...4N-1(即，0..15)，并且由索引值‘i’索引。‘N’个LFR图像块由‘j’索引，其取从0到N-1(即，0..3)的值。这里，取值为0...3的索引‘q’识别四个象限。在该示范性实施例中，以下等式指明捕获缓冲器530中的HFR图像与平铺到LFR图像块中用于编码的GOP 540之间的关系：

等式2：

LFR_图像[j].象限[q]＝HFR_图像[i],其中j＝0..3，q＝0..3，其中i＝jN+q要注意，关于索引值‘i’的计算，等式(2)不同于等式(1)。编码的GOP 540可以在步骤704期间经历流式传输到用于解码的另一设备，或者用于存储为用于随后解码的非临时文件。

在GOP的编码包括连贯的GOP之间的双向编码的实施例中，一个GOP的编码可能需要准备下个GOP(未示出)的至少一部分。

在图7的解码阶段720的示范性实施例中，流可以作为编码的GOP 610经历接收和存储，如在步骤705期间所示。替选地，编码的GOP 610可以作为文件被接收。与编码/解码处理300不同，解码阶段720的一些实施例可能不仅需要编码的GOP 610，而且还需要来自编码阶段710的下个连贯的编码的GOP(未示出)，如当使用需要来自该下个GOP的信息的双向编码方案将发生的那样。对于用于解码的每个LFR图像块，发生一次在步骤706开始的循环期间进行的解压缩(解码)，再次索引为‘k’。然而，在图3的解码处理320期间，当仅使用I帧或P帧用于编码时，索引值k可以从0...N-1(即，0..3)连贯地运行，但是当前的解码处理720利用B帧，在该情况下，k的适当值的序列将不是连贯的。相反，在B帧之前，特定B帧的解码所需的I帧和/或P帧将被解码，即使这些所需帧中的至少一个将以时间顺序在B帧之后到来。当第k个HFR图像经历解码并存储在解码LFR图像块缓冲器620中时，单独的象限q(0..3)将对应于解压缩的HFR图像‘m’，其中m从0…4N-1(即，0..15)运行且m＝4k+q。当解压缩循环707完成时(其在两个连贯的GOP之间采用B帧编码的实施例中可以发生在下个GOP(未示出)的至少部分解码之后)，输出处理602提供由m索引的重建图像序列630中的恢复的HFR图像块(例如，块631-646)，并且准备在步骤603期间进行呈现，例如到HFR显示设备650。

图8示出了图示HFR编码/解码处理700的一个示范性执行的时序图800。在图8中，时间在该图中从左到右前进，但不在单个图像内，例如，子序列531包括四个单独的HFR图像。这些图像顺序呈现。然而，除了当图像捕获开始和结束时，在这些单独的HFR图像内存在时间背景的指示(例如，没有暗示的像素、行、列的排序或定时)。同样，创建编码的GOP 540的编码处理发生在出现编码的GOP 540的地方(必要时加上附加计算时间)，但是单独的LFR图像(例如，541)不是在时间上表示的。

HFR帧时间801构成HFR的倒数。包括四个图像111-114(来自图5)的第一子序列531出现在包括HFR帧时间801的四倍的时段的间隔802上。间隔803表示用于呈现流部分110的十六个图像111-126(来自图5)的时段。由LFR帧时间804表示的持续时间构成LFR的倒数，但不一定对应于在所示时间可用的LFR图像块。作为示例，LFR图像块541包括四个象限，从第一HFR子序列(即，HFR图像111-114)填充每个象限。然而，LFR图像块的编码可能需要关于随后的LFR图像块(例如，LFR图像块542-544中的一个或多个)的内容的信息。在一些实施例中，直到来自随后的GOP(未示出)的第一LFR图像块的接收完成之后，才可以发生在后的LFR图像块(例如，LFR图像块544)的编码。在捕获子序列531的第一HFR图像开始之后的一些等候时间间隔以后开始编码处理503。间隔805从编码处理503的开始运行到序列510的捕获完成的时间。对于依赖于来自下个GOP的信息的那些实施例，间隔802表示捕获下个子序列535的HFR图像(未示出)的时间。间隔806表示编码处理503的剩余持续时间。一旦完成编码的GOP 540，就发生任意的等候时间，以示例的方式，在实时流应用中，该等候时间将包括(a)包含准备编码的GOP 540用于传输的建立时间的传输等候时间807、传输缓冲器等待时间、实际网络传送等候时间，(b)实际网络传送持续时间，这里表示为位流段850的宽度(如上面的位流450，在此被象征性地示为几个无意义的位)，以及(c)缓冲器等待时间808。接收和缓冲的位流段850对应于编码的GOP 610。

要注意，在该示例中，接收缓冲器等待时间808具有负值，使得解码处理601甚至在完全接收位流段之前开始从位流段850(编码的GOP 610)填充解码图像缓冲器620。(在替选实施例中，接收缓冲器等待时间808可以具有几秒长的正值，提供可以允许丢失分组替换或者前向纠错技术的深接收缓冲器时段)。解码处理601进行，并且通过完成间隔809，已经填充缓冲器620内的经解码的LFR图像块611。在缓冲器620内，四个LFR图像块611-614中的每一个将经历解码，但不一定以与其中包括的HFR图像的时间捕获相对应的顺序。必须注意定时，以便不会太早开始输出处理602，以免在HFR图像已被解码之前需要HFR图像用于显示。虽然第一复合LFR图像块611的图像可以是准备好的，但是在使用B帧编码的实施例中，不能以每个连续HFR帧时间准备连贯LFR图像块(例如，块612-614)，因为可能需要在后的帧在较早的一个之前可以被解码。输出处理602在重建帧序列630中按顺序以每HFR帧间隔一个来提供恢复的HFR帧631-646(来自图6)。在该示例中，输出缓冲器等待时间810也具有负值，指示对于一些实施例，可以在解码处理601已经完成填满解码的LFR图像块缓冲器620之前开始输出图像序列630。在该示例中，等待时间810显现为大约为HFR帧时间的负一倍，但是在B帧编码的情况下首要确定等待时间810，因为第四子序列624的解码和输出需要访问下个GOP 860的至少一部分以经历缓冲和解码(未示出)，其缓冲器等待时间808’类似于缓冲器等待时间808。最终，总流水线等候时间811将测量从子序列534完成捕获的时间运行到对应的子序列624完成输出的时间的时间段。这里，同样，对于文件用于存储时间压缩的图像序列以用于稍后重放的那些实施例，编码处理710与解码处理720之间的间隔可以具有任意长的值。

图9示出了HFR编码/解码技术900的简化框图，示出了分离的HFR编码处理910和HFR解码处理920。编码处理910在步骤911开始，其中缓冲器准备接收HFR图像。在步骤912期间，缓冲器获得HFR图像，无论是作为文件还是作为表示图像的位流。在步骤913期间，发生将多个HFR图像打包成每个LFR图像块。在一些实施例中，当多于一个打包样式可用时，元数据可以以信号发送所使用的特定打包样式。该元数据可以伴随每个LFR图像块，或者可以伴随多个LFR图像块(例如，根据实施例，在每个编码的GOP内，周期性地在LFR图像块流内，无论是否编码，或者对于特定的一段内容仅仅一次)。可选地，在步骤914期间，LFR图像块可以经历压缩，以提供更紧凑的表示。表示LFR图像块的数据(无论是否被压缩)在步骤915被分配为非临时文件(例如在计算机存储器或可移动介质(例如，比如DVD)中)，或者分配为位流。编码处理910在步骤916结束。

解码处理920在步骤921期间开始，其中缓冲器准备接收帧速率压缩的HFR图像作为LFR图像块。在步骤922期间发生LFR图像块的接受。可选地，在步骤923期间，LFR图像块经历解压缩(即，对于如在步骤914中压缩的图像块)。在步骤924期间，通过从LFR图像块中选择每个HFR图像并提供该HFR图像以用于显示或传输来发生LFR图像块的解包。在替选实施例中，代替提供HFR图像以用于显示，解包步骤924可以以非临时形式存储解包的HFR图像以供在后来的时间使用。解码处理920在步骤925结束。

到目前为止所讨论的示例涉及以4：1的比率被帧速率压缩的HFR图像，即，四个HFR图像被打包到每个LFR图像块中，其中LFR图像块的帧速率是HFR图像的帧速率的1/4。图10通过示例而非限制的方式图示了多个替选示例HFR打包样式。图10中，打包样式1010重复从以上图5熟悉的打包样式，其中将四个HFR图像0..3组装成单个LFR图像块，使得HFR为LFR的四倍。在图10的样式1010的一个配置中，每个轴的LFR分辨率是HFR图像的分辨率的两倍，这就是说，LFR图像块具有多达单个HFR图像的四倍的像素，并且由LFR图像块中的全像素表示HFR图像的每个像素。单独的HFR图像内的圆圈示出在打包成LFR图像块(也具有16：9的长宽比)的同时维持HFR图像的原始长宽比(遍及这些示例为16：9)。

在使用打包样式1010的另一实施例中，HFR图像和LFR图像块可以具有相同的大小，即，二者可以具有相同的分辨率，在该情况下，当打包到LFR图像块中时，每个HFR图像的分辨率变为降低(缩放或抽取到较低分辨率)，以当解压缩并恢复(重新缩放)回原始分辨率时少许模糊(即，丢失一些细节)为代价。类似地，在HFR图像小于(每个轴的)LFR图像块的分辨率的一半但具有基本相同的长宽比的其他实施例中，HFR图像被相应地缩放以实现打包样式1010，并且基于解包可以被恢复到它们的原始分辨率(尽管仍然丢失一些细节)，或者恢复到不同的分辨率用于显示。如果存在缩小源图像并稍后重新内插缺失信息的需要，则可以使用其他抽取样式，比如梅花形，而不是简单缩放。

打包样式1030示出了不同的打包配置，并且图示了“变形打包”，即，当打包到LFR图像块中时，HFR图像的水平轴和垂直轴具有不同的缩放值。当原始HFR图像和LFR图像块具有不同的长宽比时，或者因为水平和垂直平铺不相等时，如这里所示，可能需要水平轴和垂直轴的该不对称缩放。如打包样式1030中可见，六个HFR图像0..5以3乘2阵列(三个的水平平铺不等于2的垂直平铺)被打包成单个LFR图像块。因此，对于该示例，HFR是LFR的六倍。在该打包样式的一个示例中，LFR图像块在每个轴上具有原始HFR图像的两倍的分辨率。再次，原始HFR图像和LFR图像块具有相同的长宽比。然而，这只留下余地给四个HFR图像在没有一些分辨率的丢失的情况下被打包。替代均匀地缩放整个图像，应用变形压缩，将圆形转换为椭圆。三个HFR图像被压缩成先前由两个HFR图像占据的水平分辨率，或3：2的水平压缩。在垂直轴上，这些HFR图像不被压缩，但是在解包时，水平轴将经历2：3扩展，恢复原始HFR图像分辨率，尽管具有一些水平细节的丢失。

所讨论的帧速率压缩也可以应用于立体图像。打包样式1020示出两个立体对：左眼和右眼对‘0’(‘0L’是对0的左图像，‘0R’是右图像)，以及左眼和右眼对‘1’(类似地指定)。打包类似于样式1010的打包，其中四个图像被打包成单个LFR图像块，但是在这里HFR仅达到LFR的两倍，因为对于每个帧间隔需要两个图像，立体对的左图像和右图像。在该打包样式中，左图像出现在左侧，而右图像出现在右侧。

打包样式1040还应用于立体图像对，但是这里左眼图像出现在顶部，0L、1L、2L，而右眼图像出现在底部，0R、1R、2R。HFR是LFR的三倍。图像经历具有变形压缩的打包，如具有样式1030，其中图像的水平轴被3：2压缩。可以使用棋盘抽取代替基本缩放以提高重建图像的质量。

此外，当打包到LFR图像块中时，HFR图像可以被旋转。其示例出现在打包样式1050中。类似于打包成样式1040的那些立体图像对的三个立体图像对已经被旋转90°，并且打包为单个LFR图像块中的单行。在一个实施例中，这些HFR图像的原始水平分辨率小于LFR图像块的垂直分辨率，所以原始HFR图像的水平轴是未缩放的，并且保持未使用的LFR图像块空间1051的区域。然而，HFR图像的原始垂直分辨率超过LFR图像块的水平分辨率的1/6，要求HFR图像被27：16压缩以便打包六个。虽然打包样式1050中的总压缩以及因此丢失的细节大于样式1040中的，但是它使原始HFR图像的水平轴保持不变。这对于立体图像而言可能是特别有利的，其中立体3D效果的感知受到水平方向上微妙的左眼图像和右眼图像差的强烈影响。在该示例中，90°旋转保持原始HFR图像水平轴，并且因此更好地保留与3D效果的感知相关的水平细节。另一优点是被动立体显示器隔行扫描左图像和右图像，所以它们已经仅使用一半的垂直分辨率但100％的水平分辨率，因此保持水平细节将在这些显示器上提供较好的图像。

可以使用这些原理开发许多不同的打包样式。如果系统只永远应用或接收一个打包样式，则编码是不变的。然而，对于使用多个打包样式的系统，应当提供元数据以指示何时应用哪个打包样式。这样的元数据可以提供每个打包参数的单独设置，例如，LFR图像块内的HFR图像的序列、垂直和水平压缩比率、旋转、HFR图像是否为3D、左眼图像和右眼图像位于哪里、HFR和LFR帧速率的比率、或者HFR帧速率的规定。如果在系统中使用所有可能的参数组合中的几个特定组合，则这些组合中的每一个可以用于定义对应的“模式”，使得元数据仅需要识别正在使用的“模式”，而不是独立地识别每个单独的参数。

图11和图12每个示出了用于打包成LFR图像块的HFR图像的多个示例编码方案。这些示例基于打包方案1030，其中六个HFR图像被打包到每个LFR图像块中。图11示出了打包的LFR图像块1101-1104，其中连贯的HFR图像被插入到连贯的LFR图像块的组中。椭圆内的数字指示捕获流部分内的原始时间序列。表格1105识别描述列1110中列出的特定HFR图像的编码的四个不同的示范性编码方案1120、1130、1140和1150。括号1106识别当前GOP的界限。针对HFR图像24的底行开始下个GOP。

用于编码1120的列表示LFR流的传统的I帧编码和P帧编码。第一LFR图像块1101经历作为I帧的编码，即，仅使用帧内编码，并且可以在不参考任何其他帧的情况下被解码。这在列1120的前六行中的每一行中由“I”示出，每个对应于第一LFR图像块1101中的六个HFR图像。下个LFR图像块1102-1104被作为P帧编码，需要访问解码的I帧1101以用于它们自己的解码。不需要参考下个GOP来解码GOP 1106，这是遍及图11一致的事实。

编码1130使用一些B帧编码，但严格地在GOP 1106内。第二和第三LFR图像块1102和1103使用I帧编码的第一LFR图像块1101和P帧编码的第四LFR图像块1104而被B帧编码。

编码1140引入用于在单个帧内进行片编码的新概念，其中片用于表示在LFR图像块内打包的单独的HFR图像。这里，LFR图像块1101的编码使用与HFR图像0、8和16相对应的I片以及对应地基于那些I片的用于HFR图像4、12和20的P片。第三LFR图像块1103中的每个HFR图像2、6、10、14、18、22被表示为从第一LFR图像块1101中的对应较早的I帧取得的P片(或者根据实现方式，如果合适，可以从较早的P片导出)。第二LFR图像块1102在这里被编码为B片的集合，每个B片参考对应的在前的和随后的(多个)I片和/或P片。例如，HFR图像1将基于与HFR图像0相对应的I片和与HFR图像2相对应的P片被编码为B片。HFR图像5可以基于与HFR图像0相对应的I片(或者HFR图像4的P片)和与HFR图像6相对应的P片被编码为B片。第四LFR图像块1104基于第三LFR图像块1103的在前的P片和来自第一LFR图像块1101的(时间上)在后的I片或P片被编码为大多数B片。

要注意，对于第四LFR图像块1104的B片，每个B片保持与第三LFR图像块1103的对应的较早P片的位置匹配的图像块1104内的位置，但是关于第一LFR图像块1101中的对应的在后的I片或P片就不是这样了，对其而言在后的片保持与图像块1101不同的位置，在此称为“片偏移”的属性。对应的在后的片占据与帧内打包序列内的下个位置相对应的位置(例如，对表示LFR图像块1104中的HFR图像7的片解码所需的在后的I片是表示HFR图像8的片，其在LFR图像块1101中的位置对应于HFR图像11的位置，HFR图像11是在HFR图像7之后在LFR图像块1104中打包的下个HFR图像)。例外是针对HFR图像23的编码，其被示为P片，而不参考GOP 1106外的HFR图像数据，从而允许GOP 1106在不参考另一GOP的情况下被完全解码。

图1中的表格1160描绘了表示效率的粗略估计，其中I帧(或I片)的编码被归一化为1.0，使得P帧(或P片)消耗大约1/2的空间(0.5)而B帧(B片)消耗大约1/4的空间(0.25)。行1170示出了每列的这些表示效率的和，其中24.0将是全I帧(I片)编码的GOP的大小。行1180示出了与全I帧编码相比的每个编码方案的百分比效率。

图12示出了打包的LFR图像块1201-1204，其中连贯的HFR图像被插入到同一LFR图像块中，直到该LFR图像块被完全打包。随后的HFR图像被打包到下个LFR图像块中，直到它填满，依此类推。再次，椭圆内的数字指示捕获流部分内的原始时间序列。表格1205识别描述列1210中列出的特定HFR图像如何被编码的四个不同的示例编码方案1220、1230、1240和1250。括号1206识别当前GOP的界限，但是仅应用于编码方案1240和1250，如下面将讨论的。针对HFR图像24的底行开始新的GOP。

用于编码1220的列示出了具有每个LFR图像块被严格地帧内编码(即，在不参考任何其他图像块的情况下实现LFR图像块的编码)的配置。然而，在每个帧内，仅一个片(对应于HFR图像0、6、12和18)被片内编码，并且每个其他片(对应于LFR图像块1201中的HFR图像1...5)被片间编码为相对于I片的P片。要注意，在任何P片在单个LFR图像块内被解码之前，I片必须被解码：这可以背离一些现有技术的解码技术，现有技术的解码技术期望图像内的片可由并行处理器分离地和独立地解码，其中P片参考针对先前的图像(这里，先前的LFR图像块)解码的I片。还要注意，仍然可以支持并行处理，例如在I片由多个分片(tile)组成的情况下，可以分离地和独立地处理每个分片，之后可以参考同一LFR图像块中的解码的I片来分离地和独立地处理(平铺的或以其他方式的)P片。还要注意，关于片和分片的并行处理的当前评论可以在这些示例编码中的其他编码中应用，然而为了简洁起见，不每次重访对象。因为编码1220中的每个LFR图像块都被帧内编码，所以GOP长度实际上是一(因此，括号1206不适用)。每个LFR图像块可以独立解码。

要注意，列1220的编码方案与1120的不同之处在于，由于打包成LFR图像块1201的HFR图像连贯的事实，因此更可能受益于片间编码，而在LFR图像块1101中，HFR图像在时间上更分开，在这种情况下，我们期望减小(尽管不是完全消除)片间编码的值。

编码1230也始终保持帧内。因此，用于编码1230的有效GOP长度也是一。然而，编码1230使用B片编码。在每个LFR图像块中，第一(例如，HFR图像0)被I片编码，而最后(例如，HFR图像5)被P片编码。剩余的LFR图像块1..4为B片，并且在它们可以被处理之前需要LFR图像块0和5的解码，因为B片相对于围绕它们的在时间上最近的I片和/或P片被编码。

编码1240对所有帧使用帧间编码(这不是典型的实践)。必须首先解码LFR图像块1201中的HFR图像0的I片，然后是下个LFR图像块1202中的P片。只有那时才可以解码LFR图像块1201(表示HFR图像1-5)中的B片，这使得GOP 1206中的第一LFR图像块1201依赖于另一图像。同样，连贯的LFR图像块1203和1204中的P片必须在LFR图像块1202和1203中的B片之前被分别解码。在LFR图像块1204中的B片可以被解码之前(对应于HFR图像19-23)，必须接收和解码在下个GOP的开始处并且与HFR图像24相对应的I片。

编码1250将这个进行到极端，其中在没有首先接收下个GOP的至少第一部分以获得I片编码的HFR图像24的情况下，不可以解码GOP 1206中的LFR图像块，因为所有HFR图像1...23是取决于HFR图像0和24的B片。

编码1240和1250可以通过将GOP 1206中的最后的HFR图像23编码为独立的I片或者取决于表示LFR图像块1201中的HFR图像0的I片的P片，来打破GOP之间的依赖性。

表格1260示出了表示效率的粗略估计，其中I帧(或I片)的编码再次被归一化为1.0，使得P帧(或P片)消耗大约1/2的空间(0.5)而B帧(B片)消耗大约1/4的空间(0.25)。行1270指示每列的这些表示效率的和，其中24.0将是全I帧(I片)编码的GOP的大小。行1280示出了与全I帧编码相比的每个编码方案的百分比效率。与编码1130(来自行1180)中的I帧、P帧、B帧提供的50％效率相比，帧内编码1230(使用帧内但是在帧内的I片、P片和B片)几乎为10％更有效率(根据行1280为42％)，而帧间/片间编码1240为大约20％更有效率(根据行1280为31％)。

可以提供附加的元数据以描述(例如，示例编码1120、1130中的)I帧、P帧和B帧和/或(例如，示例编码1140、1150、1220、1230、1240和1250中的)I片、P片和B片的编码样式，对于这些实施例允许多于一个编码样式。

图13示出了高帧速率处理系统1300的一个示例的框图，包括HFR到LFR编码器1320和LFR到HFR解码器1340。作为示例，HFR摄像机1311提供一系列HFR图像至HFR到LFR编码器1320的HFR图像接收器模块1321。HFR图像接收器模块1321将接收的HFR图像写入至缓冲器1322。当在缓冲器1322中已经累积足够的HFR图像时，LFR图像块输出模块1323将输出LFR图像块(如前所述具有在其中平铺的高帧速率图像)。在实践中，LFR图像块模块1323将输出LFR图像块作为用于立即传输或稍后使用的LFR图像流或文件1330。在替选实施例中，LFR图像块压缩器模块1324可以访问缓冲器1322以将所得到的压缩的LFR图像块作为压缩的LFR图像流或文件1331输出。在这点上，LFR图像块压缩器模块1324还将把HFR图像平铺到至少一个LFR图像块中。LFR图像块输出模块1323或压缩LFR图像块输出模块1324可以提供元数据以指示图像块平铺或压缩的性质。替代包括HFR图像接收器模块1321、缓冲器1322和LFR图像块输出模块1323(或LFR图像块压缩器1324)，HFR到LFR编码器可以包括进行这些元件的集体功能的单个处理器或类似设备(未示出)。

要注意，LFR流或文件1330和/或压缩的LFR流或文件1331可以采用诸如由运动图像专家组(MPEG)描述的那些的现有运动图像流或文件格式的形式：在一些实施例中，HFR到LFR编码器1320(例如，从摄像机1311)获取HFR图像并将它们封包成众所周知的运动图像格式，其与HFR相比包括LFR格式。这样的编码的示例出现在图11的表格1105的列1120和1130中。作为示例，图12中的表格1105和表格1203的其余部分表示其他实施例，其中压缩的LFR流或文件1331的格式背离现有技术的格式并利用可能由于LFR图像块1330的平铺性质而存在的冗余。

LFR流或文件1330可以可选地经历其他操作1332，例如传输、切换、编辑或压缩。类似地，压缩的LFR流或文件1331当被提供时也可以经历其他操作1332，例如传输、切换、编辑或进一步压缩。

在这样的其他操作1332之后，LFR流或文件1330通过LFR到HFR解码器1340的LFR图像块接收器模块1342经历接收，以用于存储在缓冲器1343中。在一些实施例中，接收器模块1342可以重新请求LFR流或文件1330的缺失部分，或者进行前向纠错或其他机制以检测通信和/或处理错误，和/或从通信和/或处理错误中恢复。在压缩的LFR流或文件1331通过解码器1340经历接收的情况下，压缩的LFR图像块接收器模块1345提供LFR图像至LFR图像块解压缩器模块1346，LFR图像块解压缩器模块1346又将解压缩的LFR图像块存储到缓冲器1343中。HFR图像块输出模块1344从缓冲器1343解包单独的HFR图像，并将它们作为解码器1340的输出提供，例如提供到HFR显示器1350。

如果元数据伴随接收器模块1342中的接收到的LFR图像块或者伴随接收器模块1345中的压缩的LFR图像块，则元数据可以用于确定平铺和/或压缩的模式，或者关于LFR图像块的其他信息。

由LFR图像块压缩器1324进行的压缩可以包括所讨论的基于运动的压缩，基于运动的压缩使用I帧、I帧和B帧，或者I帧编码、B帧编码和P帧编码。同样，由HFR图像块解压缩器1324进行的解压缩可以包括所讨论的基于运动的解压缩，基于运动的解压缩使用I帧、I帧和B帧，或者I帧解码、B帧解码和P帧解码。

前面描述了用于对高帧速率视频进行压缩(编码)的技术。

Claims (61)

1.一种用于处理高帧速率源内容的方法，包括：

将源内容的图像平铺到具有低于该源内容的高帧速率的第二帧速率的至少一个图像块中，以及；

对该至少一个图像块进行至少一个操作；

2.根据权利要求1所述的方法，其中，该至少一个操作包括编辑操作。

3.根据权利要求1所述的方法，其中，该至少一个操作包括压缩操作。

4.根据权利要求3所述的方法，其中，压缩操作包括基于运动的压缩。

5.根据权利要求4所述的方法，还包括提供指示基于运动的压缩操作的元数据的步骤。

6.根据权利要求4所述的方法，其中，基于运动的压缩使用帧内编码。

7.根据权利要求6所述的方法，其中，基于运动的压缩还使用逐帧编码和双向帧编码中的至少一个。

8.根据权利要求6所述的方法，其中，基于运动的压缩还使用片编码。

9.根据权利要求1所述的方法，其中，第二帧速率是该高帧速率的四倍，并且其中将源内容的四个图像平铺到该至少一个图像块中的每一个中。

10.根据权利要求1所述的方法，其中，源内容的图像具有比该至少一个图像块更低的分辨率。

11.根据权利要求1所述的方法，其中，源内容具有等于该至少一个图像块的分辨率。

12.根据权利要求1所述的方法，包括在平铺到该至少一个图像块中之前对源内容的图像进行缩放。

13.根据权利要求12所述的方法，其中，源内容的图像在平铺到该至少一个图像块中之前经历变形地缩放。

14.根据权利要求1所述的方法，其中，源内容包括3D立体图像对，每个图像对具有右眼图像和左眼图像。

15.一种用于处理速率3D源内容的方法，该速率3D源内容具有第一帧速率的右眼图像和左眼图像的立体图像对，包括：

将源内容的连续的立体图像对平铺到具有低于该源内容的第一帧速率的第二帧速率的至少一个图像块中，以及；

对该至少一个图像块进行至少一个操作；

16.根据权利要求15所述的方法，其中，该至少一个操作包括编辑操作。

17.根据权利要求15所述的方法，其中，该至少一个操作包括压缩操作。

18.根据权利要求17所述的方法，其中，压缩操作包括基于运动的压缩。

19.根据权利要求18所述的方法，还包括提供指示基于运动的压缩操作的元数据的步骤。

20.根据权利要求18所述的方法，其中，基于运动的压缩使用帧内编码。

21.根据权利要求20所述的方法，其中，基于运动的压缩还使用逐帧编码和双向帧编码中的至少一个。

22.根据权利要求20所述的方法，其中，基于运动的压缩还使用片编码。

23.根据权利要求15所述的方法，其中，第一帧速率是第二帧速率的两倍，并且其中将源内容的两个立体图像对平铺到该至少一个图像块中的每一个中。

24.根据权利要求15所述的方法，其中，源内容的立体图像对中的每个图像具有比该至少一个图像块更低的分辨率。

25.根据权利要求15所述的方法，其中，源内容的立体图像对中的每个图像具有等于该至少一个图像块的分辨率。

26.根据权利要求15所述的方法，其中，源内容的立体图像对中的每个图像在平铺到该至少一个图像块中之前经历缩放。

27.根据权利要求26所述的方法，其中，源内容的立体图像对中的每个图像在平铺到该至少一个图像块中之前经历变形地缩放。

28.一种用于对在至少一个图像块中平铺的图像进行解码的方法，该至少一个图像块具有第一帧速率，该方法包括以下步骤：

选择在该至少一个图像块中平铺的连续的图像：以及

顺序地提供所选择的图像以用于以高于第一帧速率的第二帧速率显示。

29.根据权利要求28所述的方法，还包括以下步骤：

在选择性地选择连续的图像之前对该至少一个图像块进行至少一个操作。

30.根据权利要求28所述的方法，其中，该至少一个操作包括编辑操作。

31.根据权利要求28所述的方法，其中，该至少一个操作包括解压缩操作。

32.根据权利要求31所述的方法，其中，解压缩操作针对基于运动的压缩。

33.根据权利要求32所述的方法，还包括确定指示基于运动的压缩的元数据的步骤。

34.根据权利要求32所述的方法，其中，基于运动的压缩使用帧内编码。

35.根据权利要求34所述的方法，其中，基于运动的压缩还使用逐帧编码和双向帧编码中的至少一个。

36.根据权利要求32所述的方法，其中，基于运动的压缩使用片编码。

37.根据权利要求1所述的方法，其中，第二帧速率是第一帧速率的四倍，并且其中将源内容的四个图像平铺到该至少一个图像块中的每一个中。

38.一种用于对在至少一个图像块中平铺的立体图像对进行显示的方法，该至少一个图像块具有第一帧速率，该方法包括以下步骤：

选择在该至少一个图像块中平铺的连续的立体图像对：

顺序地提供所选择的立体图像以用于以高于第一帧速率的第二帧速率显示。

39.根据权利要求28所述的方法，还包括以下步骤：

在选择性地选择连续的立体图像之前对该至少一个图像块进行至少一个操作。

40.根据权利要求38所述的方法，其中，该至少一个操作包括编辑操作。

41.根据权利要求38所述的方法，其中，该至少一个操作包括解压缩操作。

42.根据权利要求41所述的方法，其中，解压缩操作针对基于运动的压缩。

43.根据权利要求42所述的方法，还包括确定指示基于运动的压缩的元数据的步骤。

44.根据权利要求42所述的方法，其中，基于运动的压缩使用帧内编码。

45.根据权利要求44所述的方法，其中，基于运动的压缩还使用逐帧编码和双向帧编码中的至少一个。

46.根据权利要求42所述的方法，其中，基于运动的压缩使用片编码。

47.根据权利要求38所述的方法，其中，该第二帧速率是该第一帧速率的两倍，并且其中将两个立体图像对平铺到该至少一个图像块中的每一个中。

48.用于对第一帧速率的图像进行编码的装置：

接收器，用于接收图像；

缓冲器，用于存储由接收器接收的图像；以及

图像块输出模块，用于以慢于第一帧速率的第二帧速率输出至少一个图像块，该至少一个图像块具有在其中平铺的图像。

49.根据权利要求48所述的装置，其中，该图像块输出模块压缩该至少一个图像块。

50.根据权利要求49所述的装置，其中，该图像块输出模块使用基于运动的压缩来压缩该至少一个图像块。

51.根据权利要求49所述的装置，其中，该图像块输出模块提供指示压缩操作的元数据。

52.根据权利要求50所述的装置，其中，基于运动的压缩使用帧内编码。

53.根据权利要求52所述的装置，其中，基于运动的压缩还使用逐帧编码和双向帧编码中的至少一个。

54.根据权利要求50所述的装置，其中，基于运动的压缩使用片编码。

55.用于对在至少一个图像块中的每一个中平铺的图像进行解码的装置，该至少一个图像块具有第一帧速率，包括以下步骤：

接收器，用于接收至少一个低帧速率图像块；

缓冲器，用于存储由接收器接收的该至少一个图像块；以及

图像块输出模块，被配置为选择在该至少一个图像块中平铺的连续的图像，并且顺序地提供所选择的图像以用于以高于第一帧速率的第二帧速率显示。

56.根据权利要求55所述的装置，其中，接收器解压缩该至少一个图像块。

57.根据权利要求56所述的装置，其中，该接收器使用基于运动的压缩来解压缩该至少一个图像块。

58.根据权利要求56所述的装置，其中，接收器确定指示解压缩操作的元数据。

59.根据权利要求57所述的装置，其中，基于运动的解压缩使用帧内解码。

60.根据权利要求59所述的装置，其中，基于运动的解压缩还使用逐帧解码和双向帧解码中的至少一个。

61.根据权利要求57所述的装置，其中，基于运动的解压缩使用片解码。