CN105025302A - 用于立体复合的胶片和视频应用的解复用 - Google Patents

Abstract

提供一种用于对复用的图像帧进行解复用的方法。所述复用的图像帧被配置为具有前体格式，其中所述复用的图像帧的所述前体格式包括在所述复用的图像帧的第一部分中的右图像和在所述复用的图像帧的第二部分中的左图像，其中所述第一和第二部分中的至少一个包括连续的二维像素块，并且其中所述右图像或所述左图像中的至少一个被划分为多个块，所述多个块被重排以容纳在所述复用的图像帧的各自的部分内。所述方法包括：接收所述复用的图像帧；从所述右图像或所述左图像中的至少一个产生解复用的右图像或解复用的左图像中的至少一个；以及产生所述解复用的右图像或解复用的左图像中的另外至少一个。

Description

用于立体复合的胶片和视频应用的解复用

本申请是2009年9月29日递交的申请号为200980147936.4、发明名称为“用于立体复合的胶片和视频应用的解复用”的发明专利申请的分案申请。

前述“用于立体复合的胶片和视频应用的解复用”的发明专利申请是发明人LennyLipton等人于2007年6月7日递交的、题目为“Stereoplexing for Film and Video Applications(用于胶片和视频应用的立体复合)”的共同待决的美国专利申请序号No.11/811,234的部分继续申请，而且也是发明人Robert Akka等人同样于2007年6月7日递交的、题目为“Stereoplexing for Video and Film Applications(用于视频和胶片应用的立体复合)”的共同待决的美国专利申请序号No.11/811,047的部分继续申请，这两篇美国专利申请通过引用被并入本文。

背景技术

技术领域

本发明总地涉及将立体数据放置在单个图像信道内并且从单个图像获取立体数据，其中，最初被设计为运载(carry)平面电影信号的图像信道运载平面立体或二视图立体图像。

相关技术描述

立体成像越来越受到欢迎，尤其是使用两个平面图像来产生立体效果的平面立体成像技术。然而，为电子存储和发布而建立的基础架构已经是用于具有必要质量的单个平面图像的。为了存储和传输具有商业利益的立体电影或图像系列，这样的数据必须在现有的基础架构要求内操作，而且还必须满足针对图像质量的规范。预期平面图像具有某图像质量级别，并且相对于该标准，立体图像应该几乎不被缩小。

平面图像的质量——简言之，其锐度(sharpness)、其色彩深度、图像分级(换句话讲，其保真度)——取决于分配给图像的带宽。然后，为试图在现有带宽管道内放置两个图像(左图像和右图像)，将引起图像损害。手边的问题可被表述为这样：即使当运动图像立体对被插入到现有的存储和发布管道中时，立体设计者如何能够保持平面图像质量。

对于组合立体电视(视频)图像和运动画面图像以容纳在所分配的用于单个平面图像的传输管道内已经进行了许多尝试。在一些情况下，尤其是对于电视图像，设计者已经关心向后或向下兼容的问题。向后或向下兼容将确保立体信号可被约束为对于现有的电视接收机是不可见的。

本设计力求解决通过已经被设计为传输单个平面图像的现有的基础架构传输立体图像和电影的问题。将会是有利的是，提出一种可在无需替换现有部件的情况下提供被复用和解复用的立体图像的设计，并且尤其是一种提供优于以前可获得的设计的益处的设计。

发明内容

根据本设计的一个方面，提供一种用于对被划分为部分的单帧的流进行解复用的方法，每个单帧表征一个立体图像的帧，并且包含第一部分中的一个右图像和第二部分中的一个左图像，每个部分已经使用压缩功能被压缩。所述方法包括：接收被划分为部分的单帧的流，每个单帧表征一个立体图像的帧；以及对所述部分中的至少一个执行逆压缩功能，所述逆压缩功能基本上以基本上为被用于压缩每个部分的压缩功能的逆的方式对所述至少一个部分中的像素进行处理。执行所述逆压缩功能基本上将所述部分恢复为与该部分使用所述压缩功能被压缩之前的状态类似的状态，从而形成被配置用于投影的立体对的一部分。

根据本设计的第二方面，提供一种用于对包括左压缩图像系列和右压缩图像系列的压缩图像数据的帧进行解复用的方法，所述右压缩图像和所述左压缩图像使用压缩功能压缩。所述方法包括：通过被配置为以单帧格式传输图像的介质接收压缩图像数据的帧，以及对压缩图像数据的帧执行扩展功能，所述扩展功能被配置为从左压缩图像系列和右压缩图像系列选择像素，以产生形成基本上解压缩的立体图像对集合的替换像素。

根据本设计的第三方面，提供一种被配置为提供立体图像的系统。所述系统包括：复用器，其被配置为接收多个立体对，将所述立体对压缩为压缩部分，并且将压缩部分组合为表征所述多个立体对的单帧系列；传输介质，其被配置为传输图像数据的单帧，并且被配置为接收所述单帧系列；以及解复用器，其被配置为从所述传输介质接收帧系列，并且将所述单帧系列解压缩为重构的多个立体对。

诸如从原始的未压缩的右图像和左图像的交错(staggering)、交替(alternating)、滤波、可变缩放和锐化的复用处理可以被单独使用或组合使用，并且来自未压缩的图像的所选择的或预定的区域或区段(segment)可以具有比其他区域更多的移除的或组合的像素，或者以其他方式被压缩为与其他区域不同的质量级别。

本发明还公开了一种用于对被划分为部分的单帧的流进行解复用的方法，每个单帧表征一个立体图像的帧并且包含第一部分中的一个右图像和第二部分中的一个左图像，每个部分已经使用压缩功能被压缩，所述方法包括：接收所述被划分为部分的单帧的流，每个单帧表征一个立体图像的帧；以及对所述部分中的至少一个执行逆压缩功能，所述逆压缩功能基本上以基本上为被用于压缩每个部分的所述压缩功能的逆的方式对所述至少一个部分中的像素进行处理；其中，执行所述逆压缩功能基本上将所述部分恢复为与该部分在使用所述压缩功能被压缩之前的状态类似的状态，从而形成被配置用于投影的立体对的一部分。

其中，所述接收步骤包括通过被格式化为传输图像数据的单帧的介质接收所述被划分为部分的单帧的流。

其中，所述压缩功能包括从每个部分移除所选择的像素，并且所述逆压缩功能包括基于与移除的像素基本上相邻的像素来计算所述移除的像素。

其中，所述计算步骤包括利用基于相对于移除的像素基本上相邻的像素的位置的一系列加权因子。

其中，所述压缩功能包括组合相邻像素的像位以形成至少一个组合像素，并且在所述组合之后移除至少一个组合像素，并且所述逆压缩功能包括利用组合像素来建立移除的像素。

其中，所述组合步骤包括选择沿着一个轴对齐的多个像素，并且组合所选择的像素，以形成与所述一个轴正交对齐的组合像素。

其中，所述执行逆压缩功能的步骤包括将来自一部分的多个输入像素用于与所述部分相关联的每个输出像素。

其中，所述部分被包括在每个单帧内，并且其中左图像基本上被包括在每个单帧的一半中，并且右图像基本上被包括在每个单帧的另一半中。

本发明还公开了一种用于对包括左压缩图像系列和右压缩图像系列的压缩图像数据的帧进行解复用的方法，所述右压缩图像和所述左压缩图像使用压缩功能压缩，所述方法包括：通过被配置为以单帧格式传输图像的介质接收所述压缩图像数据的帧；以及对压缩图像数据的帧执行扩展功能，所述扩展功能被配置为从所述左压缩图像系列和所述右压缩图像系列选择像素，以产生形成基本上解压缩的立体图像对集合的替换像素。

其中，所述执行扩展功能的步骤基本上将所述左压缩图像系列和所述右压缩图像系列恢复为与被压缩之前的状态类似的状态。

其中，所述压缩功能包括从左图像系列和右图像系列移除所选择的像素，并且所述扩展功能包括基于与移除的像素基本上相邻的像素来计算所述移除的像素。

其中，所述计算步骤包括利用基于相对于所述移除的像素基本上相邻的像素的位置的一系列加权因子。

其中，所述压缩功能包括组合相邻像素的像位，以形成至少一个组合像素，并且在所述组合之后移除至少一个组合像素，并且所述逆压缩功能包括利用组合像素来建立移除的像素。

其中，所述组合步骤包括选择沿着一个轴对齐的多个像素，并且组合所选择的像素，以形成与所述一个轴正交对齐的组合像素。

其中，所述执行扩展功能的步骤包括将来自一个压缩图像的多个输入像素用于与所述压缩图像相关联的每个输出像素。

其中，一个右压缩图像和一个左压缩图像被包括在每个单帧内，并且其中一个左压缩图像基本上被包括在每个单帧的一半中，并且一个右压缩图像基本上被包括在每个单帧的另一半中。

本发明还公开了一种被配置为提供立体图像的系统，所述系统包括：复用器，所述复用器被配置为接收多个立体对，将所述立体对压缩为压缩部分，并且将所述压缩部分组合为表征所述多个立体对的单帧系列；传输介质，所述传输介质被配置为传输图像数据的单帧，并且被配置为接收所述单帧系列；以及解复用器，所述解复用器被配置为从所述传输介质接收所述帧系列，并且将所述单帧系列解压缩为重构的多个立体对。

其中，所述解复用器对所述单帧系列进行解压缩的步骤基本上将所述单帧系列恢复为与被所述复用器接收之前的状态类似的状态。

其中，所述复用器被配置为从左图像系列和右图像系列移除所选择的像素，并且所述解复用器基于与移除的像素基本上相邻的接收像素来计算所述移除的像素。

其中，所述解复用器利用基于相对于所述移除的像素基本上相邻的像素的位置的一系列加权因子。

其中，所述复用器被配置为通过下述方式将所述立体对压缩成压缩部分，即，组合相邻像素的像位，以形成至少一个组合像素，并且在所述组合之后移除至少一个组合像素，并且所述解复用器被配置为利用组合像素来建立移除的像素。

其中，所述组合步骤包括选择沿着一个轴对齐的多个像素，并且组合所选择的像素，以形成与所述一个轴正交对齐的组合像素。

其中，所述解复用器被配置为将来自一个部分的多个输入像素用于与所述部分相关联的每个输出像素。

其中，左图像基本上被包括在每个单帧的一半中，并且右图像基本上被包括在每个单帧的另一半中。

其中，所述复用器执行以下操作中的至少一个以形成分组，所述操作包括压缩部分的锐化功能和可变缩放。

本发明还公开了一种用于提供图像的方法，所述方法包括：识别所述图像中像素的两个块乘两个块的排列，所述像素的两个块乘两个块的排列包括：顶行，所述顶行包括至少一个像素的左上块和至少一个像素的右上块；以及下行，所述下行包括至少一个像素的左下块和至少一个像素的右下块；重排所述像素的两个块乘两个块的排列，以致像素的所述左上块和像素的所述右上块中的至少一个被重定位到所述下行，其中所述重排步骤导致修改的像素的两个块乘两个块的排列，所述修改的像素的两个块乘两个块的排列包括两个列；以及执行分量采样，其中所述分量采样从来自所述修改的像素的两个块乘两个块的排列的所述两个列中的至少一个移除像素；其中所述识别、重排和执行的步骤操作来将水平分辨率损失转移到所述图像内的垂直维度中。

本发明还公开了一种接收和处理图像的方法，所述方法包括：识别所述图像中像素的两个块乘两个块的排列，所述像素的两个块乘两个块的排列包括：左列，所述左列包括至少一个像素的左上块和至少一个像素的左下块；以及右列，所述右列包括至少一个像素的右上块和至少一个像素的右下块；从一个列移除至少一个块，所述移除的一个块包括移除的块；以及复制至少一个像素的至少一个块，从而形成至少一个像素的复制块，并且放置至少一个像素的所述复制块来替代所述移除的块，从而形成修改的像素的两个块乘两个块。

从本发明的以下详细描述和附图，本发明的这些和其他优点对于本领域技术人员将变得清楚。

附图说明

在附图的图中以实施例的方式，而不是限制的方式对本发明进行图示说明，在附图中：

图1示出采用两个立体源图像分量并对它们进行复用以容纳在通常具有与该两个图像分量中的任何一个相同的尺寸的帧中；

图2示出如前体格式(precursor format)所规定的容纳在目的地帧的子区域中的每个立体源图像分量；

图3展示简单的像素选择，其中交替像素被接受或丢弃；

图4图示说明滤波缩放(filtered scaling)；

图5示出被应用于交替像素行上的交替技术，其中在顶行(top row)和顶行下方每隔一行呈现滤波缩放，在其他行上使用简单的像素选择；

图6展示应用交错技术的像素选择；

图7示出应用于滤波缩放技术的交错；

图8示出以水平的方式应用的可变缩放的简单实施例；

图9图示说明四并列式窗口(four-tile)前体格式的实施例；

图10是四并列式窗口前体格式的另一变体；

图11示出立体图像分量如何可以沿着两个维度被均匀地缩放并被分割为块；

图12使用被划分为子区域的平行四边形图示说明一种可能的非矩形前体格式和分割排列；

图13a和图13b根据本设计的一个方面示出四像素排列和像素重排的两个变体；

图14a和图14b示出四像素排列和作为图13中所示的操作的逆技术的像素重排的两个变体；

图15图示说明本设计的整体操作；以及

图16是总体系统设计的概括表征。

具体实施方式

本设计提供一种用于通过最初被设计为传输平面图像的现有的基础架构传输立体图像的方式。在一系列相关技术中描述本设计。焦点在于立体图像的复用和解复用，其中，复用被称为图像的“立体复合(stereoplexing)”。对于立体成像，存在两个主要需求，一个是关于对剧院(胶片)的发布，而另一个是关于家庭娱乐(视频)。

通常，视频应用涉及从源图像数据移除像素和视频系统的优化，所述视频系统允许使用各种显示监控器和选择技术进行播放。胶片应用被用于场顺序或时间复用，在胶片应用中，作为结果得到的(resultant)立体图像被显示在大型剧院屏幕上。一般地，胶片应用比视频应用压缩得少，重点在于跨帧宽度的可变压缩，其中具有非常清晰的中心区域和锐化的边缘，以最有效地使用传输的数据。

此时的数字电影院取得了显著的进展，并且现今世界上可观比例的数字电影院具有立体能力。在关于从服务器到投影仪的信号或数据传输的现有的专业运动画面标准内已经解决了处理左信道和右信道的能力。

在许多情况下，要求传输实况的而非预录制的事件。在这种情况下，由于路上线路和卫星传输被设计为仅包含一个平面信号，所以由直接接通到投影仪的闭路服务器所提供的带宽优势将不再是可获得的。本设计力求对左信号和右信号进行立体复合，以容纳在常被用于路上线路和卫星传输二者的现有的平面带宽内。

由于剧场电影院成像标准极其高，所以该问题成为难以解决的一个问题。不足以在现有的带宽内强行置入两个图像并使所述图像以降低的质量标准保存下来。图像必须保持与剧场电影院相关联的高性能标准。幸运的是，剧场电影院图像虽然被压缩，但是比电视图像压缩得远少得多。对于剧场电影院图像的典型压缩是15:1，因此稍微减小了立体复合技术的负担。

立体复合/复用

对于用于电影院以及家庭的立体复合，不管运动图像的立体对被如何打包(package)，立体对都必须经过作为运动画面基础架构的一部分的附加压缩技术之后而保存下来。在运动画面基础架构的情况下，最广泛采用的压缩标准是JPEG(联合图像专家组)2000。该协议允许高质量图像传输，而压缩相对适中。在用于盘(例如Blu-Ray或HD-DVD)上内容的数字发布的电视领域中，多在50:1或70:1范围内的压缩比率是普遍的，并且这些压缩比率使用例如MPEG(运动图像专家组)协议的协议。

因此，将左立体图像和右立体图像组合成单个平面帧的复用技术必须另外能使图像经受得住例如JPEG或MPEG的基础架构压缩协议。必须做这一切，并产生质量上与用于运动画面或电视机的平面图像相当的图像。

这样的任务类似于在50年代早期引入NTSC(国家电视标准委员会)彩色电视。颜色复合的(colorplexed)信号已经以不降低现有单色接收效果的方式被添加。因此，黑白电视能够拾取颜色传播，而没有任何显著的图像损伤；而新的彩色电视机可以播放单色画面，而且还可以使用用于将颜色信息添加到画面的颜色信号。

向下兼容被高度重视，但是给立体复合问题增加了一定级别的复杂性。在现今的环境下，可能不再需要向下兼容。当引入NTSC颜色时，存在有限数量的信道，并且没有用于供使用者播放录制内容的装置，例如，VHS带或者DVD盘。现今，情形不同。有线电视上可获得数百个频道，停播(off-the-air)的电视是可获得的，并且具有播放预录制盘的能力。在这样各种选项是可获得的情况下，人们有必要质疑用于立体电视的向下兼容要求——使用者通常可以找到一些内容观看，而无需具有完全向下兼容版本的最高质量技术。对于运动画面，由于闭路性质以及电影剧院内容不对外界发布，所以简直不需要向下兼容。

尽管目前不是可广泛适用的，但是电视可以支持专用于立体节目(programming)的一些频道，并且例如在盘的情况下，已经建立了这样的先例，其中，在盘的一侧已经设置信箱格式，而在盘的另一侧已经设置Edison高宽比(1.3:1)，或者有时作为分离的数据被包括于盘的同一侧。因此，看来合适的是，在现今环境下，盘可以在一侧具有电影的平面版本，而在另一侧具有立体版本，或者被存储在盘的同一侧的分离区域中，或者可以被包括在同一个零售包装中的不同盘上。

由于存在在单象管显示器(monoscopic display)上仅显示两个立体视图之一(即，仅左眼视图)的选项，所以任何立体存储方案还可能与单象管显示器向后或向下兼容。

对可以单独使用或者组合使用的几种不同、但是相关的立体复合技术进行描述，并且在以下对这些技术进行更详细的描述。

可以利用几种普通的容器方法来产生前体格式。前体格式是这样一种格式，即，在对立体信息进行编码的同时，可以适应于该信息的使用，从而可以利用不同的显示器和选择装置，并且另外，可以适应于存储或传输介质。因此，可以认为前体格式是一种“宏-格式(macro-format)”，其可以在更大布局方案内提供不同格式的像素存储方案。这种前体格式的使用可以被用于优化存储或传输介质和/或预期类型的显示器，或者优化显示格式多功能性。例如，立体图像选择可以通过立体彩相(anaglyph)(红色和绿色镜片)、时序方法、偏振方法或者过去已经发表的涉及交织的方法、或者微偏振器技术、或者通过作为某些DLP投影仪的特征的对角交织而发生。

因此，在下述意义上，前体格式必须具有揉合的(eclectic)可能性，即，在包含左和右透视信息的同时，这样的信息必须被包含在格式中，以致无论是遮挡眼镜还是被动式眼镜，或者无论可以期望什么，所述信息然后都可以以最大的优势被用于根据投影或显示格式或者监视器格式以及与该格式相关联的立体图像选择技术。为了得到具有商业利益的方案，最佳方法是使用本文所述的前体协议，并且如所提及的，本论述中的焦点在于立体复合技术，而不是解复用技术。立体复合技术是软件相关的，并且计算机可以被配置有例如实现立体复合的后期制作套装软件(suite)中的软件程序。

另一方面，运动画面投影或电视机要求商品简单并且成本低。此处的方案是相对简单且便宜的硬件或固件方案，而不是可以为极其复杂的软件方案。

本文所述的普通方法中的一种方法是并排式(side-by-side)复用方法，在该方法中格式被垂直线划分，并且左图像和右图像被分别放置到容器的左半或右半中。显而易见的是，不管是出于什么原因，左图像信息可以在帧的右手，并且反之亦然；信息的其他设置(例如上和下)是这些教导的明显的扩展或可替换形式。

另一种方法使用被称为“四并列式窗口”方法的方法，在该方法中，排列了具有左和右信息的四个并列式窗口，所述左和右信息每个分布在两个并列式窗口中。换句话讲，左信息占据两个并列式窗口，并且右信息占据两个并列式窗口。以下将说明为什么这种方法具有一些优势。

通过采用这些和其他前体格式方法并处理某些其他适当的相关问题，图像可以经过根据例如JPEG或MPEG的压缩方案被压缩之后保存下来。另外，使用测试结果，比较未压缩数据和压缩数据的心理物理测试(psychophysical test)已经被执行。根据这些教导被压缩的图像经过压缩和解压缩之后保存下来，并且呈现出具有与原始未被压缩的图像几乎相同的质量。“几乎”意味着对观察者而言，检测图像已经被压缩和解压缩的唯一方式是位于离屏幕非常近的位置——比在典型的剧院座位配置中的任何平常的剧院顾客的位置近得多，并且附加地，特别关注于具体细节并且寻找微小差异。

除了这些前体格式容器之外，还将给出描述以用于选择像素——换句话讲，然后可以将像素排列到所描述的前体容器格式内的像素采摘(pixel-plucking)或采样技术。对于高质量立体体验，大量关注应该被给予所述过程的该部分，从而作为结果得到的图像将具有最小损失。

利用的另一种技术是立体或立体复合压缩跨帧的宽度改变的技术。在最简单的情况下，由于帧的中间通常是在实际操作中将吸引眼睛的注意的地方，所以在帧的中间发生最少的压缩。

从图1可见，示出两个立体对元素，即，需要被存储在帧103中的左眼视图图像101和右眼视图图像102，帧103通常具有与这两个立体对元素图像中的任何一个相同的尺寸。通常，两个立体对元素中的每个具有适合于使用相同的普通类型的视频存储、图像处理和显示系统进行非立体观看的质量。例如，对于通常以特定质量标准处理1920×1080像素图像的存储和显示系统，人们将会预期由相同类型的系统处理的立体对元素每个具有类似的质量，并且因此，通常应该具有相同的像素分辨率。换句话讲，利用通常处理1920×1080内容的系统，对左眼元素和右眼元素而言常见的是其中每个也是1920×1080。

可以以不同的组合使用几种技术，以用于将立体信息复用到单帧中，或者更具体地，图解式地(graphically)压缩两个立体对元素中的任何一个以与通过前体格式分配给它的半帧场一致。

图2图示说明“前体格式”的概念，即，在总的可获得的图像帧内的左眼图像数据场和右眼图像数据场的整体布局。最简单的前体格式将图像帧分为左半和右半，保留这两半中的每个以用于存储来自双眼各自视图中的任何一个的图像信息。从图2可见，如果图像帧尺寸为水平1920个像素且垂直1080个像素，则可以将帧的左半202(960×1080个像素)分配给左眼视图201，并将右半分配给右眼视图。

因此，将两个全尺寸的立体对元素复用到该特定的前体格式变为下述问题，即，将一个全尺寸的图像映射到半尺寸的图像场，并且对每个立体对进行两次这样的映射。

或许，将全尺寸的图像映射到半尺寸的场的最简单的方式是从每行每隔一个像素进行移除。例如，如图3所示，下述方式将是执行该步骤的一种方式，即，仅将具有偶数编号的列的像素(例如，第一行中的第五像素302，其中第一列的编号是0，其为偶数编号的列)从原始的左眼视图301传送到所述半尺寸的帧，同时丢弃其他像素(例如，像素303)。这种普通的拾取一些像素并丢弃其他像素的技术被称为“像素选择”，当对于德克萨斯仪器公司(Texas Instruments)的所谓的“棋盘式(checkerboard)”视频显示器进行复用时，可以成功地利用这种技术。这种类型的复用使用具有像素选择的并排式前体格式与交替行交错。

像素选择的可替换方案包括通常被称为“滤波缩放”的各种技术。当使用滤波缩放时，被映射到前体场的像素信息包含来自多于一个源像素的信息。滤波缩放算法的一个实施例是对两个相邻源像素进行平均以计算将被存储的任何给定像素的值。另一种算法可以进行加权平均，其中存储的像素值主要表征单个源像素，其值在算术上也与(沿着水平和/或垂直维度的)相邻像素的值混合。图4所表征的特定的滤波缩放算法示出源场401，其中作为结果得到的像素(由椭圆表征的，例如作为结果得到的像素402和403)主要从源图像中的奇数编号的列抽取，同时还从相邻的偶数编号的列得到一些像素信息。注意的是，具有偶数编号的列的像素(例如源像素#2，顶行的第三个像素)对两个不同的作为结果得到的像素402和403贡献信息。存在许多公知的滤波缩放算法，例如线性滤波、双三次滤波以及其他算法，可以应用这些算法或者其变体中的任何一种，包括但不限于，以可变的方式所应用的双三次缩放、可变锐化、以非可变的方式所应用的双三次缩放以及非可变锐化。

滤波缩放是一种可以最有利地被用于剧院显示的复用技术。一种有用的滤波缩放复用技术使用并排式前体格式，并在解复用之后应用以可变的方式所应用的双三次缩放和可变锐化。与此类似的方法还可以被应用于除了TI的“棋盘式”类型的显示器之外的平板显示器。

一般来讲，像素选择技术可以被用于保持锐度和使处理开销最少，而滤波缩放趋向于产生伪影(artifact)更少的更平滑的影像。

又另一种选项被称为“交替技术”，这种技术是指对交替像素行交替使用选择/缩放技术。图5中示出了交替技术的一个实施例，在该实施例中，对奇数编号的像素行(在左眼场501中，例如像素504被丢弃，同时像素505被传送的像素行)利用简单的像素选择，而对偶数编号的像素行(例如作为结果得到的像素502和503从几个源像素得到其信息的像素行)使用特定的操作或者滤波缩放方法。这种交替技术具有传递选择和缩放这二者中的最佳者的可能性；总体锐度可以比在使用100％滤波缩放时更好，同时对交替行的滤波缩放有效地减少了选择伪影。交替技术还可以包括对交替像素行使用两种不同类型的滤波缩放。

被称为“交错”的另一种技术可以与像素选择或各种滤波缩放方法(包括交替技术方法)组合使用，并且可以有利地与由德克萨斯仪器公司制造并销售的所谓的“棋盘式”显示器一起使用。通过这种技术，交替行基于源场中的交错基底(staggered base)获得源数据。图6中示出交错的一个实施例。交错像素选择技术可以从特定的源图像601中从偶数编号的行选择偶数列像素(丢弃奇数编号的像素，例如像素603)，例如602，并且从奇数编号的行选择奇数列像素(丢弃偶数编号的像素，例如像素604)。组合像素选择与交错的该实施例实际上导致与从棋盘仅拾取黑色方格类似的对角选择模式。由于当棋盘被旋转90度时，棋盘纹理通常没有改变，所以与非交错列选择方法相比，通过以这种方式交错选择，选择更有效地变为无维度倾向性(dimension-neutral)。

交错也可以被应用于各种滤波缩放选项中的任何一个，并且与非交错滤波缩放相比具有类似的优势。在图7的实施例中，使用滤波缩放算法对左眼视图701进行处理，以致作为结果得到的像素702和703中的每个从多于一个源像素得到其信息。然而，顶行中作为结果得到的像素中的每个主要从偶数编号的像素列抽取(例如，作为结果得到的像素702如何在源像素#4上居中并且具有其区域的大部分，以及作为结果得到的像素703如何在源像素#6上居中)，在下一行704中，作为结果得到的像素主要从奇数编号的像素列抽取。注意的是，该第二行中第一个完整的作为结果得到的像素主要从所述行中的第二个源像素(像素#1)抽取，所述第二个源像素为奇数编号的像素。

除了使选择或缩放无维度倾向性的优点之外，交错技术具有一些附加的优点。与垂直和接近垂直的特征相关联的视觉伪影被更有效地减少。此外，一些立体显示系统(例如前面提及的TI显示系统)处于立体显示模式下时使用“棋盘式”或者“菱形交织”像素布局；交错选择(或者交错滤波缩放)通常更适合于将图像数据映射到这样的显示器。

交错可以，并且通常应该在解复用期间被复原，从而可以观看到交错行之间没有交错效应的最终图像。

在某些情况下，交错像素行中的交错偏移(offset)可以干涉清洁图像压缩(或者相反，图像压缩算法可以破坏交错)。这可能不是重要的问题。如果交错被损坏，则可以以下论述的方式解决这样的效应。

下一种技术“可变缩放”可应用于滤波缩放变体，而不可应用于像素选择技术(可选地，可以使用交错和/或交替技术)，并且可以有利地被用于剧院环境。可变缩放涉及通过改变量来执行滤波缩放。例如，通常情况是，帧的中间区域具有比沿着帧的边缘的那些场景元素更关键性地引起兴趣的场景元素。因此，可以有利的是，对中间帧场景元素缩减的少，而对边缘附近场景元素缩减的多。

在图8所示的实施例中，不是总体上执行50％的水平维度缩放，而是可以将帧的中间一半(区域802和803)水平缩放到65％(作为结果得到的区域806和807)，同时帧左侧的四分之一帧(801)和右侧的四分之一帧(804)被缩放的更剧烈到35％(805和808)。可以执行可变缩放的更复杂的变体，例如通过使用将被缩放不同量的更多数量的区域，或者使用可连续变化的缩放方法。此外，以上论述的技术(例如交替技术和/或交错)可以与可变缩放组合。

可变缩放的最终结果是，经过不是那么剧烈缩放的更重要的场景元素(例如中间场景元素)保留具有更好的锐度和更少的视觉伪影的更高质量。同时，不是那么重要的场景元素(例如边缘附近的元素)的质量降低，但是质量降低得不是那么剧烈，以致于在假定一般的使用者可能更关注于中间场景区域的情况下，这样的使用者将不会注意到。同样，对于在剧院设置中的立体观看，该方法可以是特别有用和有利的。

还可以以场景相关方式应用可变缩放技术，在场景相关方式下，根据场景的性质，最高质量缩放的区域可以改变。例如，在最重要动作朝向帧的左侧的场景中，可以临时利用可变缩放来有利于左侧。技术人员可以在视频编辑期间确定特定场景的可变缩放“处方(recipe)”，或者可以使用自动处理来获得场景和合适的缩放。例如，可变缩放可能需要对场景的具有最大量的清晰细节和/或运动的部分预订最高质量缩放。在任一种情况下，能以某种方式对缩放诀窍进行编码，从而可适当地对帧进行解复用。

可以与到目前为止提及的技术中的任何一种组合的另一种技术是锐化。在复用或解复用阶段(或者可能这二者)期间可以应用许多锐化算法中的任何一种(作为实施例的“非锐化掩模(unsharp mask)”)。锐化可以例如对由于滤波缩放而导致损失一些锐度的场景恢复边缘锐化，这样做不会引入使用例如像素选择的固有锐化(inherently sharper)技术而可能以其他方式发生的视觉伪影。

当与可变缩放组合时，锐化到可变程度可以造成更好的总体画面。为了保持最终结果中的更均匀的场景纹理，场景在复用期间被更剧烈地缩放的部分通常也将需要更大的锐化。

已经关于并排式前体格式排列对到目前为止提及的所有技术进行了论述，在这些技术中，全帧左眼和右眼信息被水平减少，以容纳在左半子帧区域或右半子帧区域中。对于不同的前体格式，例如“上-下”(其中，左眼和右眼信息需要被垂直地挤压以容纳在顶半子帧区域或底半子帧区域中)，也可以同样应用(各种组合的)这些技术中的全部技术。

存在可能的其他更复杂的前体格式变体，并且以上技术中的所有或者大多数也可以应用在这样的变体中。

一个可能的前体格式是例如图9中所示的“四并列式窗口”，其中，图像帧901被划分为四个大小相等的矩形区域(例如，1920×1080帧将被划分为四个960×540区域)。这些区域中的两个将被分配给每个眼视图(用于左眼视图的区域902和903，用于右眼视图的区域904和905)，从而允许分开使用和存储两种不同的复用技术。解复用阶段可以随后组合每个眼视图的两个源区域，使用它们来创建比独自使用任一种技术更好的恢复图像。

四并列式窗口前体格式的实施例获取交错选择的结果，将从偶数编号的行选择的像素存储在一个左眼视图并列式窗口中，并且将从奇数编号的行选择的(交错的)像素存储在另一个左眼视图并列式窗口中。通过分开存储交错的行，任何给定的并列式窗口上不存在交错效应，这可以允许进行更清洁的图像压缩。

对于任何类型的交错和/或交替技术方法(例如以上论述的那些方法)，四并列式窗口前体格式可以是有用的。处理器简单地将来自一种技术的结果存储在一个并列式窗口中，并且将来自其他技术(和/或利用交错)的结果存储在其他并列式窗口中。此外，由于每个并列式窗口具有与全帧相同的高宽比的维度，所以无维度倾向性的缩放技术变得实用。

另一种方法组合可变缩放与四并列式窗口。可变缩放可以被应用于获取每个并列式窗口包含的内容，或者(在不同的四并列式窗口拓扑变体中)并列式窗口自身的尺寸可以是不相等的，从而允许一个并列式窗口的技术组合可以被增强。图10中示出了这种组合技术的实施例，在该实施例中，与图10中具有被分配较少空间的帧(帧1002和1004所示)的其他并列式窗口的技术组合相比，如用于每个各自的眼视图的帧1001和1003所示，在一个区域中以更高质量执行组合技术。

将图像数据完全重排在连续并列式窗口中的主要原因之一是由于通常在图像帧数据被复用之后应用数据压缩。图像和视频压缩算法严重依赖于特定区域中的像素趋向于彼此类似的事实。因此，前体图像场与实际图像数据越相似，它们很可能越好地被压缩算法处理。对图像数据进行过多加扰(scrambling)使典型的图像压缩算法的任何益处落空。

然而，如果可以依赖于特定压缩算法来慎重对待某些边界，则前体格式和复用技术可以利用该特定压缩算法，获得额外的灵活性。例如，大多数JPEG压缩算法利用8×8至16×16像素块来作业(work)。因此，特定行中的第九个像素应该对该行中的第一个八个像素中的任何一个如何被压缩没有影响。由于16×16像素块与总的视频帧相比相对小，所以使用“堆叠”16×16块的算法允许两维选择和/或缩放技术，所述两维选择和/或缩放技术将在其他方面不适合于简单的两并列式窗口前体格式，例如并排式。这种意义上的堆叠意味着对块进行重排，以容纳在预定帧(例如原始未压缩图像帧的一半)内。通常，执行通过移除像素或者组合像素来减少像素数量的处理，例如非可变缩放，其后，重排作为结果得到的块，以容纳在期望的空间(例如原始帧的一半)中。

图11中示出这种处理的一个实施例。获取1920×1080的左眼视图1101并且应用两维双三次缩放至70％沿着每个维度产生1344×756的结果1102。该结果可以被分成16×16块1103，这些块1103可以被堆叠到包括总的1920×1080帧的一半的区域1104中，释放(free)用于存储缩放和堆叠的右眼视图的帧的另一半。可替换地，可以使用复杂的两维可变缩放方案。在可变缩放之后，缩放的结果可以被堆叠，然后被压缩。当播放图像时，对图像进行解压缩，并且然后解复用拆解堆叠(un-stack)，以及复原可变缩放(可选地，应用其他技术，例如锐化)。注意的是，锐化是一种单向技术——锐化在解复用之后发生，以对一个或更多个作为结果得到的图像进行锐化，并且通常在复用期间不执行，并且在解复用期间被复原。其他块排列是可能的，包括以随后在解复用期间可复原的方式使单个块旋转或者以其他方式操纵单个块的一些块排列。

可以利用定制的压缩方案，这些压缩方案被具体地设计为与特定的前体格式、堆叠排列、图像并列式窗口拓扑以及缩放算法一起作业。

前体格式和并列式窗口拓扑不必是矩形的。例如，如图12所示，可以是有利的是，获取每个眼视图帧1201，并且应用整体对角缩放(最可能使用滤波像素映射的一些变体来进行)，以致原始矩形区域被以对角的方式压缩为平行四边形1202。然后可以重排该平行四边形的三角形子区域1203，以适应前体格式1204，从而左眼和右眼数据在被全帧的对角线分离的三角形区域中。结果，区域1205变为可以适用于其他眼视图。这样的基于三角形的、包括更小的三角形并列式窗口(tiling)的前体格式需要定制的、慎重对待不常见的并列式窗口边界的压缩方案。另一种方法将是使用对角变形来缩放源图像，以适应这样的基于三角形的前体格式的三角形区域，从而允许它利用标准的压缩算法有效地作业。

这样的新颖的前体格式仍然允许早先论述的相同技术组合的大多数的各种组合，所述相同技术与更简单的矩形双场并排式前体格式一起作业。

对复用数据进行解复用

为了清晰度一致性的目的，本文所谈及的并且从以上论述的立体复合接收的复用源数据的任何给定的帧表示被编码以容纳在单帧中的左眼和右眼立体对元素这二者。典型地，复用数据的单帧具有与每个左眼或右眼立体对元素相同(或类似)的尺寸的像素大小。每个立体对元素通常被编码在复用帧的一部分中，所述部分精确地或者近似地为每个立体对元素被解复用之后的尺寸的一半。例如，如果存储和显示可以寻址具有1920×1080个像素的图像，则当以每个左眼和右眼立体对元素的全尺寸对其进行解复用和投影时，将预计每个左眼和右眼立体对元素是1920×1080个像素。包含立体对元素二者的压缩版本的复用帧将被预计为是1920×1080个像素。

如上所述，分割复用帧以包含两个立体对元素可以以不同方式发生，其中，不同的分割排列被称为不同的“前体格式”。用于将两个立体对元素容纳到单个图像的帧中的最简单的前体格式是以并排式的方式排列左眼元素和右眼元素，每个元素被水平地挤压以适应其在前体格式内的各自的空间。例如，与左眼视图对应的立体对元素可以占据总帧的左半，为了适应该半帧区域，其全尺寸水平维度被缩小到1/2。也被水平压缩的右眼元素将占据帧的另一半。

其他前体格式是可能的。与并排式类似的变体是上-下式，其中，立体对元素被垂直挤压，而不是被水平挤压，并且以一个在另一个的顶部的方式被放置到各自的区域中。还存在四并列式窗口前体格式，如存在非矩形前体格式和无限的其他变体那样。尽管本论述的大部分关注于并排式前体格式和用于对来自复用区域的图像数据进行解复用的技术，所述复用区域在水平方向上是其全尺寸的一半尺寸，但是所论述的技术中的许多技术(或者这些技术的变体)也可以被应用于除了并排式之外的前体格式。

在将半宽度复用区域扩展到全尺寸时，最简单的方式是使用每个复用像素值两次的复制。例如，如果特定行在其复用形式下具有960个像素并且需要被扩展到1920个像素，则所述系统将每个像素变为两个相同的像素；黄色像素后面的红色像素将解复用为两个黄色像素后面的两个红色像素。

对于许多应用，复制是不会提供良好的视觉质量图像的过度粗略的方法。在一些情况下，例如，当使用仅显示解复用图像的任何给定的行或列上每隔一个像素的显示器时，可以应用复制。

在以全分辨率显示解复用图像的更普通的情况下，“滤波缩放”通常产生比简单的复制更好的结果。当使用滤波缩放时，解复用图像中的像素从复用源的多于一个像素获得其信息。典型地，当解复用输出中的交替像素从复用源获得像素数据时，这些像素使用交替公式。

简单的滤波缩放的实施例如下。在该实施例中，对于解复用输出中的任何给定的相邻像素对，两个输出像素从源复用中的特定相邻像素对抽取。然而，两个作为结果得到的输出像素使用那些相同源像素的不同权重。那些输出像素中的第一个以3:1权重从源像素抽取(大部分从第一源像素抽取)，而第二个输出像素以1:3权重从相同源像素抽取(大部分从第二源像素抽取)。下一个相邻解复用输出像素对使用不同加权平均值的相同方法，但是从来自以上的第二源像素和该第二源像素后面的像素抽取。换句话讲，第一个两个输出像素从源像素A和B抽取(使用不同权重)，下一个两个输出像素从源像素B和C抽取，在此之后的两个输出像素从像素C和D抽取，以此类推(其中源像素被标示为A、B、C、D等)。同样，对于这些相邻对中的每个，从第一像素抽取三个部分而从第二像素抽取一个部分。

存在至少一种滤波缩放解复用方法，在该方法中，交替输出像素使用滤波缩放，而其他交替像素使用简单的复制。例如，偶数编号的输出像素复制原始的复用像素，同时奇数编号的输出像素被计算为两个接收像素的平均混合，每个(空白的)奇数编号的像素跨越(straddle)所述两个接收像素。

更复杂的滤波缩放算法可以给予最佳的视觉结果。在许多情况下，从同一行中的四个至八个源像素抽取的每个输出像素通常给予改进的结果。从同一行和一个或更多个附近行中的复用源像素进行抽取的滤波缩放也很有效。

一些滤波缩放方法的一个共同的缺点是会降低锐化和/或边缘质量。不过，其他滤波缩放方法可以给予更佳锐化，但是将引入不期望的伪影。可以潜在地提供两种不同方法的较佳方面中的一些的解复用技术对交替行使用不同的滤波缩放方法。这种方法的变体对交替行使用一种滤波缩放方法，并且另一种方法使用复制(或者，以与滤波缩放组合的方式使用复制)。

某些复用/解复用方法利用被称为“交错”的技术，在该技术中，存在交替行上引入的、原始源像素数据的微小的水平偏移。利用这种技术，例如，偶数编号的行可以从偶数编号的列抽取(或者使用在原始偶数编号的列上居中的滤波缩放方法)，而奇数编号的行可以从奇数编号的列抽取(或者使用奇数列居中的缩放)。换句话讲，在行2中，利用列0、2、4等，而在行3中，利用列1、3、5等。在解复用阶段中，解复用方法应用相等和相对的“交错”，以致最终输出图像中的所有行将相对于彼此适当地对齐。从前面的实施例，行2包括列0、2、4等数据，并且可以通过滤波缩放或复制从这些偶数列像素被解复用，而行3包括来自列1、3、5等数据的像素，并可通过滤波缩放或复制从这些奇数列像素被解复用。可以与以上论述的其他解复用技术组合使用交错。

在复用阶段中，可以应用在解复用阶段中复原的其他像素技术。例如，复用/立体复合阶段可以使用像素重排方案，所述像素重排方案有效地转移(shift)并排式前体格式通常施加于水平维度上的有效分辨率降低中的一些，以致分辨率降低中的一些来自垂直维度。在复用/立体复合期间使用这样的方案时，在解复用阶段期间执行该方案的逆方案。

可以用于改进复用图像的有效质量的一种技术是可变缩放，在可变缩放中，图像的更重要的识别区域(例如图像的中间部分或者基于其他因素所选择的特定部分)比图像的其他区域缩减得少。在解复用期间，还以可变的方式应用逆缩放，以致最终输出图像具有合适比例的吞吐量(throughout)。

锐化是用于在解复用阶段期间改进图像质量的有用技术。大多数滤波缩放操作降低图像及其特征的感知锐度。通过将锐化滤波器添加到解复用操作，或者通过将有效锐化集成到滤波缩放功能自身，锐度的降低可以被有效抵消，从而产生具有与原始图像类似的感知纹理质量的输出图像。当与并排式前体格式和水平轴缩放一起使用时，可以利用仅水平作业的锐化滤波器。可替换地，可以利用两维锐化滤波器的一些变体，所述变体对一个维度(水平地)进行锐化，并且分开地或者联合地对第二个维度(垂直地)进行锐化。锐化通常可以与本文提及的解复用技术中的任何一种组合使用。

如果在解复用阶段中使用可变缩放技术，则也可以成功地利用可变锐化。更大量的缩放通常将需要更大量的锐化。在图像的不同区域中使用选择量的锐化可以帮助产生具有均匀锐度的总体图像，从而改进总体图像质量。

如所指出的，除了并排式之外的前体格式是可能的，例如上-下式、四并列式窗口和各种其他排列。关于结合并排式前体格式所描述的技术中的许多技术还可以以一些变体应用于其他前体格式。

在四并列式窗口前体格式的情况下，可以以各种方式使用四并列式窗口。四并列式窗口的一种可能的使用是分离出从包括交替行之间的水平偏移的复用方案获得的交替行，从而提供没有交替行偏移的分离的并列式窗口，如果没有分离出交替行，则将会存在所述交替行偏移。当对这种类型的四并列式窗口排列或者任何其他类型的四并列式窗口排列进行解复用时，所述系统对在复用操作期间所执行的不管怎样的重排基本上都进行复原。

无论在对像素颜色信息进行编码时使用的什么特定格式，到目前为止所描述的复用和解复用方法中的大多数一般都是可应用的。例如，以上技术中的几乎所有技术都可应用于RGB颜色数据，而且还可应用于以YUV格式编码的影像。一些格式变体具有当优化复用和解复用功能时可以被考虑的特定属性(attribute)。例如，一些类型的YUV传输(例如本领域技术人员已知的YUV 4:2:2格式)对U(也称为Cb)分量和V(Cr)分量比对Y分量提供更低的存储或传输带宽，并且因此，在复用和解复用中可能需要利用不同像素存储格式将不需要的技术。在例如YUV 4:2:2的情况下，所述系统可以有利地组合并排式前体格式与像素分量重排方案，以致缩放维度(水平)垂直于由于4:2:2采样而导致的色度分量Cb和Cr的有效分辨率降低的维度。在这样的设计中，重排像素分量，以致通过Cb和Cr采样仅牺牲垂直分辨率。

这种方式的复用和解复用特别适合于下述应用：中间图像存储或传输格式使用YUV图像编码的应用；以及U(有时也称为Cr或pR)分量和V(Cb或pB)分量在水平方向上分辨率为一半的应用。

稍稍更进一步地说明，在YUV 4:2:2的情况下，以每行1600个Y数据点、但是每行仅800个U数据点和800个V数据点来存储1600×1200图像。执行立体复用与并排式前体格式导致每个立体对元素的水平尺度的1:2缩小(或者如果使用可变缩放，则为平均1:2的尺度的缩小)。使用以一半水平分辨率存储一些分量数据(在该实例中为U和V)的中间阶段图像格式，结果是对于那些像素分量，水平分辨率降至原始分辨率的1/4，原始分辨率的1/4通常在视觉上是不可接受的。

围绕这种视觉表现问题的一种方式是使用上-下式前体格式，而不是并排式。在上-下式前体格式中，沿着垂直轴缩放，同时沿着水平轴进行YUV像素分量采样。这趋向于更好地分散，而不是加重像素分量分辨率问题，并且图像质量通常改进。然而，在上-下式前体格式的情况下，硬件实现通常需要比中间图像的一半尺寸大的图像存储缓冲器，这给系统增加了花费和复杂性。

如图13a和图13b的实施例中所示，本设计在复用/立体复合期间重排像素分量数据(仅中间格式将降低其水平分辨率的分量)，并且可选地对其进行平均。由于在垂直相邻的像素中利用已经水平对齐的像素分量(图13a和图13b中的A和B)，所以这些排列和处理具有将分辨率降低从水平切换到垂直的效果。

(在复用期间的某个时刻，理想情况是通过采用水平压缩以适应并排式前体格式(虽然利用重排方案的一些修改可以切换该排序)，重排像素，以致原始水平相邻的像素分量变为垂直相邻。图13a中示出这样的像素重排的实施例。在该实施例中，简单地对像素分量进行重新映射。对于任何给定的2×2像素块，按照所示的方案，重排色度分量中的每个。移动最初在分量A右边的像素分量B，以使得其在分量A的正下方，而移动最初在分量D左边的分量C，以使得其在分量D的正上方。随后的分量采样将从这些列之一(假设第二列)移除分量，仅保留分量A和最近重定位的分量B。以这样的方式，最初水平相邻的两个像素分量经过分量采样阶段之后保存下来；分量C和D被丢失，并且因此，采样阶段牺牲了垂直色度分量分辨率，而不是水平色度分量分辨率。

图13b示出这种复用技术的稍微好一些的变体。在图13b中，在任何给定的2×2块内，仍移动最初垂直相邻的像素分量，以变为水平相邻，但是还使用图13b中所示的方案使它们相互平均。这种平均有效地混合最初垂直相邻的像素分量，以使得在分量采样阶段之后，它们二者仍将被表征。注意，水平相邻像素对在重排之后具有相同的值，所以通过分量采样选择或舍弃它们中的哪个没有关系。最终结果是，在连续行中，第一列的原始像素分量数据(垂直方向上被一起平均的A和C)与第二列的原始像素分量数据(垂直方向上被一起平均的B和D)分开存储；因此，通过将它转移到垂直维度中来维持水平分量分辨率。

在解复用开始、将水平分辨率恢复到原始重排之前的水平分辨率、随后转换为水平分辨率降低的中间格式时，复原这种重排。中间格式没有降低分辨率的像素分量(即，YUV的Y分量)保持在适当的位置，不被平均，也不被重排。

图14a和图14b示出解复用技术的两种变体，所述解复用技术复原诸如图13a和图13b所示的那些像素重排技术。对于刚从其存储或传输编码被解码的任何给定的2×2像素块，需要对特定的像素分量再次进行重排，以近似地恢复原始像素排列，所述特定的像素分量在复用期间按照图13a和图13b所图示说明的技术类型已经被重排。将会是理想的是，这种重排在解复用开始时、在将每个半宽度立体对元素解压缩到其全尺寸之前进行，但是类似的像素重排技术可以在水平解压缩之后被应用，并且可以实现类似的结果。

图14a示出执行在解复用期间发生的这种重排的简单实施例。这里，丢弃像素分量X和Z，将分量Y从与分量W垂直相邻移动为与分量W水平相邻，并且然后在后一行上复制分量W和Y这二者。在解复用开始时，已经从YUV 4:2:2重构像素映射，这意味着任何给定的2×2块中的、由于水平采样而用单个数字表征的水平相邻像素分量应该近似相同，并且因此，通过丢弃分量X和Z而损失非常少的有用信息。事实上，由于在对像素映射进行解码中所使用的技术，而导致这些水平相邻的像素分量通常不完全相同，并且因此，可以如图14b中所示的那样与像素重排组合利用平均方案。在图14b中，非常类似、但是不完全相同的水平相邻像素分量对W和X，并且还有Y和Z被相互平均，并且将这些平均值变换位置(transpose)，以致在复用期间执行的水平-垂直像素分量重排技术被有效地复原。

图13a和图13b的组合技术和从水平相邻像素中的(A+C)/2到垂直逼近的作为结果得到的解压缩通常允许对符合并排式前体格式的立体对元素进行水平缩放，同时有效地将由于中间图像格式的约束而导致的某些像素分量的进一步分辨率降低转移到垂直轴中。与使两个分辨率降低均被水平地进行相比，结果是改进的图像质量。增加的益处是对于处理存储器的需求被限于适当量，典型地，一次两个像素行。

示例性复用和解复用算法

根据本设计的解复用算法可以如下地操作，其中，可以提供仍在本设计的过程和范围内的所述算法的变体。在所述算法中，存在图像的立体对，其每个图像具有像素分辨率(w,h)。立体对被复用到相同尺寸(w,h)的单帧中。随后对立体对进行解复用，从而每个元素具有其原始像素分辨率，并且以该分辨率被显示。复用和解复用作用于以任何格式被编码的图像，但是为了本论述的目的，利用YUV格式。在复用操作和解复用操作之间，进行采样，以致(复用帧的)奇数编号的像素列中的Cb和Cr分量值被忽略。利用并排式“前体格式”。

对复用/立体复合和解复用这二者执行仅水平滤波缩放操作。对于任何给定的输出像素，所述算法处理或者“查看(look at)”来自属于两个输入行的不同列的六个像素(复用的)或者四个像素(解复用的)。所有计算是两项乘法运算的总和。在解复用上，所述系统使用两个不同的公式，一个用于偶数输出行，而另一个用于奇数输出行。

在为YUV采样准备时，复用算法具有另外的步骤，其中属于相邻像素对的Cb和Cr像素分量被相互平均，并且被局部重排。这样的处理可以被实现为分离的步骤，或者可以与滤波缩放计算整合。一些局部重排可以在解复用操作之前发生，并且解复用算法可以合并锐化滤波器。

复用的“前体格式”是以上论述的并排式，在这种前体格式下，左眼立体对元素通常被水平压缩并存储在复用帧的左半中，而右眼元素被水平压缩并存储在复用帧的右半中。

对于两个立体对元素中的任何一个，水平压缩意味着输入列的数据的两倍那么多的数据将作为输出列存在。如果原始像素宽度为w，则对于每个立体对元素，复用的像素宽度为w/2。

更具体地，每个输出(复用的)像素列从六个输入(原始的)像素列抽取。对于任何给定的输出像素(x,y)，所述系统使用输入像素(2x-2,y)至(2x+3,y)。公式如下：

mux(x,y)＝-0.05*in(2x-2,y)+0.10*in(2x-1,y)+0.45*in(2x,y)+0.45*in(2x+1,y)+0.01*in(2x+2,y)-0.05*in(2x+3,y)

(1)

其中，in(A,B)表示列A和行B中的输入像素。等式(1)的第一项和最后一项的大小小。为了更佳的效率，可以对等式(1)进行稍微修改，以消除这些项，使用四个输入列代替六个输入列。事实上，以下的非常简单的两列公式可以提供满意的(但是稍微差的)结果：

mux(x,y)＝0.5*in(2x,y)+0.5*in(2x+1,y)

(2)

此外，等式(1)的六个输入公式需要考虑到输出像素分量的计算值将在其可接受的范围之外的可能性。如果计算值太低，则所述系统可能需要分配最小值，并且如果计算值太高，则所述系统可能需要分配最大值。由于左边缘和右边缘附近的一些列可能不具有获得将在输入位图的界限外部的一些列信息的能力，所以所述算法可以考虑边界问题。

通常，可以利用等式(1)和(2)以及后面的等式中所使用的常数，但是可以根据情况改变这些常数，包括但不限于，利用的图像或立体对、处理能力、运动图像的外观或者设计者或观看者的期望。可以利用更大、更小或者整个不同的系数。

通常对每个像素的所有三个分量执行复用计算。如果输入为4:2:2格式(Cb和Cr分量仅针对每隔一个像素列是可获得的)，则输入像素的每个邻近对具有相同的Cb和Cr值，或者如果在现有的4:2:2被编码的信息中已经存在一些解压缩处理，则输入像素的每个邻近对具有近似相同的Cb和Cr值。然而，对于每个像素的所有三个分量，复用的结果具有截然不同的值，并且在下一阶段计算中，需要这些截然不同的值。其后进行Cb和Cr采样，并且所述系统然后将数据恢复为4:2:2流。

由于在复用之后发生Cb和Cr采样，所以在复用期间所述系统可以将重排方案应用于Cb和Cr分量，可选地，同时对重排之后水平相邻的像素分量进行平均。在解复用期间，在像素映射解压缩之后、但是在将左眼和右眼立体对元素从前体格式恢复成全尺寸之前，需要使用如图14b所示的逆像素分量重排方案复原在复用期间所使用的像素重排方案。等式(3)至(8)展示实现这种技术的一种方式。在这些等式中，第一列被编号为0，并且因此是偶数的：

muxCb(even x,even y)＝average(muxCb(even x,even y),muxCb(even x+1,even y))      (3)

其中，muxCb表示具有偶数行编号和偶数列编号的任何给定的Cb分量的复用值，even x是偶数的第一(行)值，even y是偶数的第二(列)值，并且average表示平均函数。在等式(3)中，计算muxCb(0,0)、muxCb(0,2)、muxCb(0,4)、……、muxCb(2,0)、muxCb(2,2)、muxCb(2,4)等等。

muxCb(even x+1,even y)＝muxCb(even x+1,even y+1)＝average(muxCb(even x,even y+1),muxCb(even x+1,even y+1))                          (4)

muxCb(even x,even y+1)＝muxCb(even x,even y)               (5)

muxCr(even x,even y)＝average(muxCr(even x,even y),muxCr(even x+1,even y))       (6)

muxCr(even x+1,even y)＝muxCr(even x+1,even y+1)＝average(muxCr(even x,even y+1),muxCr(even x+1,even y+1))                      (7)

muxCr(even x,even y+1)＝muxCr(even x,even y)                           (8)

当一些等式结果替换在相同等式中的一些等式中所使用的值时，按指定顺序执行等式(3)至(5)以及等式(6)至(8)。

如图14b中所示那样图解式地示出等式(3)至(8)。在图14b中，使用自顶向下的行编号协定。图14b示出对于任何给定的2×2像素分组(总共四个像素，其中，分组中的第一个像素既为偶数行又为偶数列)，所述系统水平地对解压缩的(但是解复用前的)像素分量进行平均，并且将一个平均值放置在第一列上，而将另一个平均值放置在第二列上。等式(3)至(8)的操作可以与mux(x,y)复用计算整合，而不是执行作为第二步骤的以上的Cb和Cr分量平均和重排。

解复用阶段执行水平轴扩展缩放；其中，解复用前像素宽度为w/2，解复用后像素宽度为w。就在执行解复用之前，所述系统执行如上所述的像素的Cb和Cr分量的平均和重排。该平均和重排是在复用结束时执行的平均和重排的逆，并且产生不完美的平均值，但是比在解复用期间简单地复制一行并移除该行更好。再者，在图13b中图解式地示出用于从水平到垂直的复用阶段重排的处理，并且在图14b中图解式地显示解复用阶段重排。对于任何给定的2×2像素分组(总共四个像素，其中，分组中的第一像素既为偶数行又为偶数列)，图13b和图14b利用自顶向下的行编号协定。在图14b中，如果在复用和解复用之间没有发生压缩，和/或如果Cb和Cr数据仅达到半分辨率，则如像素分量Y和Z将会的那样，像素分量W和X可以彼此相同。在这种情况下，平均不是必需的。在一些实现方式中，W可以不同于X，并且Y可以不同于Z。如果这样的差异存在，则对数据进行平均。

等式(3)至(8)中的公式从4:2:2格式移除数据。对于每个像素的三个分量中的每个，作为结果得到的像素分量是截然不同的值，并且在解复用的下一个阶段中利用这些截然不同的值。

主解复用功能是与以上平均和重排分离的操作，不过这两个处理可以被整合。

每个输出(解复用后的)列从四个输入(解复用前的)列抽取。对于任何给定的偶数列(第一列被编号为0)输出像素(x,y)，所述算法使用输入像素(x/2-2,y)至(x/2+1,y)。对于任何给定的奇数列输出像素(x,y)，所述算法使用输入像素((x-1)/2-1,y)至((x-1)/2+2,y)。利用的公式如下。

对于偶数编号的列(包括编号为0的第一列)：

demux(x,y)＝-0.0432*in(x/2-2,y)+0.2311*in(x/2-1,y)+0.9951*in(x/2,y)-0.1830*in(x/2+1,y)

                              (9)

对于奇数编号的列：

demux(x,y)＝-0.1830*in((x-1)/2-1,y)+0.9951*in((x-1)/2,y)+0.2311*in((x-1)/2+1,y)-0.0432*in((x-1)/2+2,y)

(10)

与复用/立体复合一样，计算的输出像素分量值可以在可接受范围之外。太低的值被分配最小值，并且太高的值被分配最大值。此外，可能存在边界位图问题。最左和最右两个输出列通常将丢失一些输入列，并且对于这些列，可能需要调整计算。

总体质量趋向于受解复用计算的微小改变的影响大于受微小复用/立体复合改变的影响。因此，尽管更简单的复用计算(使用更少的输入列)可以如更复杂的计算那样大致地作业，但是对于解复用计算，这样的主张不是那么真实。

以上的解复用公式包括可以改进图像外观的适当锐化滤波器。复用/解复用处理趋向于使图像柔化，而锐化滤波器帮助抵消该效应。对于非锐化版本的等式(9)和(10)，所利用的值可以是——0.0357代替-0.0432，0.2625代替0.2311，0.8795代替0.9951，以及-0.1063代替-0.1830。

可替换地，可以利用可变缩放算法，在该算法中，垂直压缩在边缘附近更极端，并且在中间场景附近质量更高。这在许多情况下可以改进图像的总体感知的质量。可以利用类似的计算：

result＝n1*in(xIn-3,y)+n2*in(xIn2-y)+n3*in(xIn-1,y)+n4*in(xIn,y)+n5*in(xIn+1,y)+n6*in(xIn+2,y)+n7*in(xIn+3,y)+n8*in(xIn+4,y)

(11)

其中，result表示给予像素x,y的值，n[x]表示系数，并且In表示所接收的一个或更多个输入像素。

计算，或者更具体地，等式(11)中所使用的乘法因子n1至n8可以基于每行改变。这样的实现通常利用用于原始帧范围的不同部分的缩放值。可以对缩放因子或乘法因子进行优化，并且可以执行缩放，而没有作为结果得到的分数像素(fractional pixel)偏移效应。根据情况可以将不同量的可变锐化包括在解复用中。

图15中呈现了本设计的整体概述。从图15可见，在步骤1501，对立体对1500进行解复用，并且按照期望以可变的方式对立体对1500进行缩放，例如以并排式或者上-下式格式。这样的复用可以使用数据操作来发生，例如如图13a、13b、14a和14b中的水平至垂直操作。在步骤1502，可以重排像素色度分量，其中，色度重排指的是以上论述的YUV4:2:2技术。用于图15中的元素的虚线表征可选的分量和/或功能。在步骤1503，可以将数据组合为前体格式，并且可以使用压缩块1504对数据进行压缩。结果是通过常见的传输信道可传输的单帧1550，单帧1550事实上被传输到另一个位置或功能实体。在步骤1505，可以对数据进行解压缩，步骤1505处通常是在远处的位置或功能实体。

步骤1506表示可以从前体格式提取数据，并且可以在步骤1507处在解复用器端重排像素色度分量。解复用器1508通常通过下述方式将接收的帧1550解复用为立体对1500'，即，利用来自接收的帧1550的多个像素来确定解复用的立体对中的每个像素的值和外观。锐化可以在步骤1509进行。当解复用时，可以如本文所述那样执行计算，包括使用可以由环境和/或锐化或者其他期望的性能度量决定的某些因素。

在图16中示出根据本复用/解复用功能执行的高度简化版本的设计。从图16可见，复用器/立体复合器1601接收立体对，并且通过本文所述的功能将该立体对转换为单帧。将单帧从复用器/立体复合器1601传输到解复用器1602，解复用器1602可以在与复用器/解复用器1601不同的位置或相同的位置。可以通过任何常见手段传输单帧，包括但不限于，无线传输、有线传输、将单帧放置在物理盘上并将所述盘传输给解复用器1602等等。

尽管在图15和图16中利用术语“立体对”和“单帧”，但是应该理解，在包括多个立体对的运动图像的情况下，这可以表征几个立体对和几个帧。如所论述的，对多帧立体运动图像中的每个立体对进行所描述的复用/立体复合处理，导致多个“单帧”，这些单帧然后可以在解复用器处被组合成可以被播放或组合以形成运动图像的多个立体帧。

因此，本设计包括用于对被划分为部分的单帧的流进行解复用的方法，每个单帧表征一个立体图像的帧，并且包含第一部分中的一个右图像和第二部分中的一个左图像，每个部分已经使用压缩功能被压缩。所述方法包括：接收被划分为部分的单帧的流，每个单帧表征一个立体图像的帧；以及对所述部分中的至少一个执行逆压缩功能，所述逆压缩功能基本上以基本上为被用于压缩每个部分的压缩功能的逆的方式处理所述至少一个部分中的像素。执行逆压缩功能基本上将所述部分恢复成与该部分使用压缩功能被压缩之前的状态类似的状态，从而形成被配置用于投影的立体对的一部分。

可替换地，可以认为本设计包括用于对包括左压缩图像系列和右压缩图像系列的压缩图像数据的帧进行解复用的方法，所述右压缩图像和左压缩图像使用压缩功能压缩。所述方法包括：通过被配置为以单帧格式传输图像的介质接收压缩图像数据的帧；以及对压缩图像数据的帧执行扩展功能，所述扩展功能被配置为从左压缩图像系列化和右压缩图像系列选择像素，以产生形成基本上解压缩的立体图像对集合的替换像素。

根据本设计的总体全面概括，本设计包括一种被配置为提供立体图像的系统。所述系统包括：复用器，其被配置为接收多个立体对，将所述立体对压缩成压缩部分，并且将压缩部分组合成表征所述多个立体对的单帧系列；传输介质，其被配置为传输图像数据的单帧，并且被配置为接收单帧系列；以及解复用器，其被配置为从传输介质接收帧系列，并且将单帧系列解压缩成重构的多个立体对。

可以单独使用或者组合使用诸如从原始的未压缩的右图像和左图像的交错、交替、滤波、可变缩放和锐化的复用处理，并且来自未压缩图像的所选择的或预定的区域或区段可以具有多于其他区域的移除的或组合的像素，或者以其他方式被压缩成与其他部分不同的质量级别。

本文提供的复用和解复用设计和所图示说明的特定方面的本意不是限制性的，而是在仍包括本发明的教导和益处的同时，可以包括可替换的部件。尽管已经结合本发明的特定实施方案对本发明进行了描述，但是将理解，本发明能够进行进一步修改。本申请的意图是覆盖本发明的任何变体、用途或改动，这些变体、用途或改动整体上遵循本发明的原理，并且包括与本公开内容的这样的偏差，这些偏差在本发明所属领域内已知的、惯常的实践范围内。

前面特定实施方案的描述充分揭示了本公开内容的整体性质，其他人可在不偏离整体概念的情况下，通过应用当前的知识容易地修改和/或改动所述系统和方法以用于各种应用。因此，这样的改动和修改在所公开的实施方案的等同形式的意义和范围内。本文所用的用语和术语是为了描述的目的，而不是为了限制的目的。

Claims (18)

1.一种用于对复用的图像帧进行解复用的方法，所述复用的图像帧被配置为具有前体格式，其中所述复用的图像帧的所述前体格式包括在所述复用的图像帧的第一部分中的右图像和在所述复用的图像帧的第二部分中的左图像，其中所述第一和第二部分中的至少一个包括连续的二维像素块，并且其中所述右图像或所述左图像中的至少一个被划分为多个块，所述多个块被重排以容纳在所述复用的图像帧的各自的部分内，所述方法包括：

接收所述复用的图像帧，所述复用的图像帧包括被划分为多个块并且被重排以容纳在所述复用的图像帧的其各自的部分内的所述右图像或所述左图像中的至少一个；

从被划分为多个块并且被重排以容纳在所述复用的图像帧的其各自的部分内的所述右图像或所述左图像中的所述至少一个产生解复用的右图像或解复用的左图像中的至少一个，所述产生步骤包括逆重排所述多个块以及组合逆重排的所述多个块以形成所述解复用的右图像或解复用的左图像中的所述至少一个；以及

产生所述解复用的右图像或解复用的左图像中的另外至少一个。

2.如权利要求1所述的方法，其中所述左图像和所述右图像包括被重排以容纳在所述复用的图像帧的各自的部分内的多个块，并且其中所述方法包括：

逆重排所述多个块；

组合所述多个块以形成所述左图像和所述右图像中的一个或更多个；以及

逆缩放所述左图像或所述右图像中的所述一个或更多个，以分别形成所述解复用的左图像或右图像。

3.如权利要求1或2所述的方法，其中所述左图像与所述右图像相关联。

4.如权利要求1、2或3所述的方法，其中所述左图像被包括在基本上一半的所述复用的图像帧中并且所述右图像被包括在基本上另一半的所述复用的图像帧中。

5.如权利要求4所述的方法，其中所述复用的图像帧由垂直取向的边界划分，其中所述右图像在所述复用的图像帧的第一侧上并且所述左图像在所述复用的图像帧的第二侧上。

6.如权利要求1至5所述的方法，其中所述复用的图像帧的所述前体格式包括在所述复用的图像帧的第三部分中的第二右图像和在所述复用的图像帧的第四部分中的第二左图像，在所述复用的图像帧中的每个左图像与在所述复用的图像帧中的各自的右图像相关联。

7.如权利要求1至5所述的方法，其中所述复用的图像帧的所述前体格式包括在所述复用的图像帧的第三部分中的第二右图像和在所述复用的图像帧的第四部分中的第二左图像，每个左图像被包括在基本上四分之一的所述复用的图像帧中并且每个右图像被包括在基本上四分之一的所述复用的图像帧中。

8.如权利要求7所述的方法，其中所述复用的图像帧由垂直取向的边界和水平取向的边界划分，其中两个右图像在所述复用的图像帧的第一区段上并且两个左图像在所述复用的图像帧的第二区段上。

9.如权利要求1至5所述的方法，其中所述左图像是基于未处理的左图像的并且所述右图像是基于未处理的右图像的，并且所述方法包括：

添加交替像素到所述右图像中的每行以形成所述解复用的右图像并且添加来自所述左图像中的每行的交替像素以形成所述解复用的左图像。

10.如权利要求1至5所述的方法，其中所述左图像是基于未处理的左图像的并且所述右图像是基于未处理的右图像的，并且所述方法包括：

将像素信息从所述左图像逆映射到所述解复用的左图像并且将像素信息从所述右图像逆映射到所述解复用的右图像。

11.如权利要求1至5所述的方法，其中所述图像帧的所述前体格式包括在所述复用的图像帧的第三部分中的第二右图像和在所述复用的图像帧的第四部分中的第二左图像，并且每个左图像是基于未处理的左图像的并且每个右图像是基于未处理的右图像的，并且所述方法包括：

将像素信息从一个左图像逆映射到所述解复用的左图像并且将像素信息从一个右图像逆映射到所述解复用的右图像。

12.如权利要求1至11中的任一项所述的方法，其中所述方法还包括将逆处理应用于所述左图像和所述右图像，所述逆处理选自来自包括以下内容的组的至少一个：

逆可变地应用的双三次缩放；

逆可变锐化；

逆非可变地应用的双三次缩放；以及

逆非可变锐化。

13.如权利要求9所述的方法，其中每行中交替像素的添加包括将第一像素集合添加到第一行并且将不同的像素集合添加到每个邻近所述第一行的行。

14.如权利要求13所述的方法，其中在所述添加的步骤之前，所述左图像和所述右图像包括“棋盘”式像素图案。

15.如权利要求1至5所述的方法，其中所述左图像是基于未处理的左图像的并且所述右图像是基于未处理的右图像的，并且所述方法包括：

通过逆组合相比于所述左图像的其他区域、来自所述左图像的预定区域的更多像素来将像素信息从所述左图像逆映射到所述解复用的左图像，并且通过逆组合相比于所述右图像的其他区域、来自所述右图像的预定区域的更多像素来将像素信息从所述右图像逆映射到所述解复用的右图像。

16.如权利要求1至5所述的方法，其中所述左图像是基于未处理的左图像的，所述未处理的左图像包括交替行的像素和剩余行的像素，并且所述右图像是基于未处理的右图像的，所述未处理的右图像包括交替行的像素和剩余行的像素，并且所述方法包括：

通过逆组合来自所述左图像的交替行的像素并且逆选择来自所述左图像的剩余行的像素来将像素信息从所述左图像逆映射到所述解复用的左图像，并且通过逆组合来自所述右图像的交替行的像素并且逆选择来自所述右图像的剩余行的像素来将像素信息从所述右图像逆映射到所述解复用的右图像。

17.如权利要求1至5所述的方法，其中所述左图像是基于未处理的左图像的，所述未处理的左图像包括交替行的像素和剩余行的像素，并且所述右图像是基于未处理的右图像的，所述未处理的右图像包括交替行的像素和剩余行的像素，并且所述方法包括：

通过将至少两个像素逆组合到所述解复用的左图像的交替行中的第一位置并且将至少两个像素逆组合到所述解复用的左图像的剩余行中的第二位置来将像素信息从所述左图像逆映射到所述解复用的左图像，并且通过将至少两个像素逆组合到所述解复用的右图像的交替行中的第一位置并且将至少两个像素逆组合到所述解复用的右图像的剩余行中的第二位置来将像素信息从所述右图像逆映射到所述解复用的右图像。

18.如权利要求1至5所述的方法，其中所述复用的图像帧的所述前体格式包括在所述复用的图像帧的第三部分中的第二右图像和在所述复用的图像帧的第四部分中的第二左图像，并且其中每个左图像是基于未处理的左图像的并且每个右图像是基于未处理的右图像的，并且所述右图像使用不同于被用来创建所述第二右图像的处理操作的处理来从相关联的未处理的右图像被创建，并且所述左图像使用不同于被用来创建所述第二左图像的处理操作的处理来从相关联的未处理的左图像被创建。