CN102714742B - 用于生成、传输以及接收立体图像的方法和相关设备 - Google Patents

Abstract

本发明涉及一种用于生成立体视频流（101）的方法，该立体视频流（101）包括复合图像（C），该复合图像（C）包括关于右图像（R）和左图像（L）的信息。根据该方法，从右图像（R）并从左图像（L）选择像素，并且然后使所选像素进入到立体视频流的复合图像（C）中。该方法还通过使所述两个图像之一不改变并且将另一个分解为包括多个像素的分区（R1,R2,R3）来提供使右图像（R）的所有像素和左图像（L）的所有像素进入到复合图像（C）中。随后使所述分区进入到复合图像（C）中。本发明还涉及一种用于从复合图像开始重建右图像和左图像的方法，以及允许所述方法实现的设备。

Description

用于生成、传输以及接收立体图像的方法和相关设备

技术领域

本发明涉及立体视频流（即，当在可视化设备中适当处理时，产生被观看者感知为三维的图像序列的视频流）的生成、存储、传输、接收和再现。

如所知的那样，可以通过再现两个图像，一个针对观看者的右眼并且另一个针对观看者的左眼来获得三维感知。

因此，立体视频流传送关于两个图像序列的信息，其对应于对象或场景的右和左视角。

本发明特别地涉及用于复用复合图像内右和左视角的两个图像（此后称为右图像和左图像）的方法和设备，复合图像表示立体视频流（此后称为容器帧）的帧。

此外，本发明还涉及用于解复用所述复合图像、即用于从其提取复用设备输入的右和左图像的方法和设备。

背景技术

为了防止电视信号传送和广播网络（不论陆地还是卫星网络）受到过载，本领域中已知将右和左图像复用为立体视频流的单个复合图像。

第一示例是所谓的并排（side-by-side）复用，其中右图像和左图像被水平欠采样（undersample）并且被并排布置在立体视频流的相同帧中。

该类型的复用具有如下缺点：水平分辨率减半，而竖直分辨率保持不变。

另一示例是所谓的顶底（top-bottom）复用，其中右图像和左图像被竖直欠采样并且以一个在另一的顶部上来布置在立体视频流的相同帧中。

此类复用具有如下缺点，竖直分辨率减半而水平分辨率保持不变。

也存在其他更复杂的方法，诸如例如专利申请WO03/088682中公开的一种方法。该申请描述了使用棋盘采样以便确定组成右和左图像的像素数量。将针对右和左图像的帧选择的像素“在几何上”压缩为并排格式（通过移除相应像素在列1中产生的空白由列2的像素填充，以此类推）。在用于在屏幕上呈现图像的解码步骤期间，将右和左图像的帧带回到它们的原始格式，并且通过应用合适的插值技术来重建丢失的像素。该方法允许水平和竖直分辨率之间的比保持恒定，但是其减少了对角线分辨率并且也通过引入否则将缺少的高频空间谱分量而改变了图像像素中的相关性。这可以减少随后压缩步骤（例如，MPEG2或MPEG4或H.264压缩）的效率，而也增加压缩视频流的比特率。

根据专利申请 W02008/153863已知用于复用右和左图像的其他方法。

这些方法之一提供执行右和左图像的70%缩放；然后将缩放的图像分解为8×8像素的块。

每个缩放图像的块可以压缩为等于约一半复合图像的区域。

该方法具有如下缺点：块的重新分布通过引入高频空间谱分量而修改了组成图像的块中的空间相关性，从而减少了压缩效率。

而且，每个图像的缩放操作和每个图像分段为大量的块涉及高计算成本并且因此增加了复用和解复用设备的复杂性。

这些方法中的另一个将对角线缩放应用于每个右和左图像，使得将原始图像变形为平行四边形。两个平行四边形然后被分解为三角形分区（region），并且组成矩形复合图像，其中识别并且重新布置通过分解两个平行四边形获得的三角形分区。以如下方式组织右和左图像的三角形分区，该方式使得通过复合图像的对角线来分离它们。

像顶底和并排方案一样，该方案也受到了如下缺点：改变水平与竖直分辨率之间的比（平衡）。此外，细分为重新布置在立体帧内的大量三角形分区使得随后的压缩步骤（例如，MPEG2、MPEG4或H.264）在通信信道上传输之前在三角形分区之间的边界区域中生成赝像（artifact）。所述赝像例如可以由根据H.264标准的压缩过程执行的运动估计过程产生。

该方案的其他缺点涉及用于缩放右和左图像的操作以及用于对三角形分区分段和旋转平移（rototranslate）的之后操作所需的计算复杂性。

本发明的目的是提供允许克服现有技术缺点的、用于复用和解复用右和左图像的复用方法和解复用方法（以及相关设备）。

特别地，本发明的目的之一是提供允许保留水平与竖直分辨率之间的平衡的、用于复用和解复用右和左图像的复用方法和解复用方法（以及相关设备）。

本发明的另一目的是提供允许随后应用高压缩率而最小化失真或赝像的产生的、用于复用右和左图像的复用方法（以及相关设备）。

本发明的其他目的是提供特征在于减少的计算成本的复用方法和解复用方法（以及相关设备）。

通过合并所附权利要求书（旨在作为本说明书的完整部分）中记载的特征、用于复用和解复用右和左图像的复用方法和解复用方法（以及相关设备）来实现本发明的这些和其他目的。

发明内容

本发明基础的一般思想是使两个图像进入其像素数量大于或等于待复用的两个图像（例如，右图像和左图像）的像素之和的复合图像中。

使第一图像（例如，左图像）的像素进入复合图像而不经历任何改变，而将第二图像细分为其像素布置在复合图像的自由区域中的分区。

该方案提供了两个图像之一保持不改变的优势，这导致了重建图形的更好质量。

有利地，然后将第二图像分解为最小可能数量的分区，从而最大化像素中的空间相关性并且减少压缩阶段期间的赝像的产生。

在有利的实施例中，仅借助于平移或旋转平移操作使第二图像的分区进入复合图像，因此保持水平与竖直分辨率之间的比不改变。

在其他实施例中，第二图像已经被分解为的分区的至少一个经历镜面反转（specular inversion）操作（即，相对于一个轴（特别是一边）颠倒它）并且以如下方式布置在复合图像中，该方式使得由于存在于两个右和左图像的相应（homologous）像素（即，定位在相同行和列中的两个图像的像素）之间的强相关性，其边之一与在接壤边上具有相同或类似像素的另一图像的一边接壤（border on）。

该解决方案提供了在边界区域中减少赝像产生的优势。更有优势地，第二图像被细分为的分区具有矩形形状；与使用布置有在对角线方向上穿过复合图像的边界区域的三角形分区的解决方案相比，该选择提供了减少后续压缩产生的赝像，尤其是如果后者作用于像素的方块（例如，针对H.264标准的16×16）。

根据特别有利的实施例，通过在复合图像中引入冗余，即通过复制某些像素组若干次来进一步减少或甚至完全消除赝像的形成。特别地，通过将待进入复合图像中的基本图像分解为具有如下这样的尺寸的分区来达到这一点，该尺寸使得这些分区的像素总数超过待分解的图像的像素数量。换言之，图像被分解为其中至少两个包括图像共同部分的分区。共同图像部分是拆解图像中彼此相邻的分区之间的边界区域。该共同部分的大小优选地取决于后续将应用于复合图像的压缩类型，并且可以充当在重建拆解图像时将部分地或完全地移除的缓冲区域。由于压缩可能通过消除缓冲区域或至少其最外部分在所述分区的边界区域中引入赝像，所以消除任何赝像并且重建忠实于原始图像的图像是可能的。

根据通过非限制性示例提供的本发明的某些实施例的以下描述，本发明的其他目的和优势将变得更清楚。

附图说明

将参考附图来描述所述实施例，其中：

图1示出了将右图像和左图像复用为复合图像的设备的框图；

图2是图1的设备执行的方法的流程图；

图3示出了将进入复合图像中的图像的拆解的第一形式。

图4示出了根据本发明的一个实施例构造复合图像的第一阶段。

图5示出了图4的完整复合图像。

图6示出了将进入复合图像的图像的拆解的第二形式。

图7示出了包括图6的图像的复合图像。

图8示出了将进入复合图像的图像的拆解的第三形式。

图9示出了包括图8的图像的复合图像。

图10示出了用于接收根据本发明的方法生成的复合图像的接收器的框图。

图11示出了重建根据图8的方法拆解的并且进入由图10的接收器接收的复合图像的图像的某些阶段。

图12是用于重建复用到图9中所示类型的复合图像中的右和左图像的方法的流程图。

图13示出了根据本发明第四实施例的复合图像。

图14a到14f示出了在针对使右图像和左图像进入图13的复合图像中而执行的不同处理阶段中的右图像和左图像。

其中借助于类似的参考来指示合适的、类似的结构、部件、材料和/或元素。

具体实施方式

图1示出了用于生成立体视频流101的设备100的框图。

在图1中，设备100分别接收预期用于左眼（L）和用于右眼（R）的两个图像序列102和103，例如两个视频流。

设备100允许实现用于复用两个序列102和103的两个图像的方法。

为了实现用于复用右和左图像的方法，设备100包括用于将输入图像（图1的示例中的右图像）分解为多个子图像的拆解器模块104，每个子图像对应于接收图像的一个分区，以及能够使接收图像的像素进入将在其输出处提供的单个复合图像的组装器（assembler）模块105。

现在将参考图2描述设备100实现的复用方法的一个示例。

方法在步骤200中开始。随后（步骤201），将两个输入图像之一（右或左）分解为多个分区，如图3中所示。在图3的示例中，拆解图像是视频流720p的帧R，即具有1280×720像素分辨率、25/30fps(帧每秒)的逐行格式(progressive format)。

图3的帧R来自携带预期用于右眼的图像的视频流103，并且被拆解为三个分区R1、R2和R3。

通过将图像R划分为相同大小的两个部分并且随后将这些部分之一细分为相同大小的两个部分来获得对图像R的拆解。分区R1具有640×720像素的大小并且通过取得每行的所有前640个像素来获得分区R1。分区R2具有640×360像素的大小并且通过取得前360行的从641到1280的像素来获得分区R2。分区R3具有640×360像素的大小并且通过取得图像R的其余像素(即，最后360行的从641到1280的像素)来获得分区R3。

在图1的示例中，模块104执行拆解图像R的操作，模块104接收输入图像R(在该情况中为帧R)并且输出对应于三个分区R1、R2和R3的三个子图像(即，三个像素组)。随后(步骤202和203)，构造复合图像C，其包括涉及右和左输入图像两者的信息；在此描述的示例中，所述复合图像C是输出立体视频流的帧，并且因此其被称为容器帧。

首先(步骤202)，设备100接收的并且不由设备105拆解的输入图像(图1的示例中的左图像L)未改变地进入到容器帧中，以诸如包括两个输入图像的所有像素的方式来对容器帧定大小(size)。例如，如果输入图像具有1280×720像素的大小，那么适合包含两个图像的容器帧将是1920×1080像素的帧，例如，1080p类型的视频流的帧(具有1920×1080像素、25/30帧每秒的逐行格式)。

在图4的示例中，左图像L进入到容器帧C中并且定位在左上角。这通过将图像L的1280×720像素复制到区域C1中来获得，区域C1由容器帧C的前720行的前1280个像素组成。

当在以下描述中对使图像进入帧中或从一个帧向另一帧传送或复制像素进行参考时，应该理解这意味着执行生成(通过使用硬件和/或软件装置)包括与源图像相同像素的新帧的过程。

用于将源图像(或源图像的像素组)再现为目标图像的(软件和/或硬件)技术被视为对于本发明的目的不重要并且在此将不再进行进一步讨论，因为它们本身为本领域技术人员所知。

在下一步骤203中，模块104在步骤201中拆解的图像进入容器帧中。这是通过将拆解的图像的像素复制到容器帧C中的其区域中由模块105实现的，该区域没有被图像L占用，即，区域C1外部的区域。

为了实现最佳可能压缩并且在解压缩视频流时减少赝像的生成，通过保留相应的空间关系来复制模块104输出的子图像的像素。换言之，借助于平移和/或旋转操作排他地将分区R1、R2和R3复制到帧C的相应区域中而不经历任何变形。

模块105输出的容器帧C的示例在图5中示出。

将分区R1复制到前720行的最后640个像素（区域C2）中，即之前复制的图像L旁边。

在区域C1下，即分别在区域C3和C4中复制分区R2和R3，区域C3和C4分别包括最后360行的前640个像素和之后的640个像素。

作为对图5所示解决方案的优选替代，可以将分区R2和R3复制到容器帧C的由像素组分离的分开区域中（即，既不重叠也不相邻），从而减少边界分区。

用于使图像L和R进入容器帧的操作不意味着对水平与竖直分辨率之间平衡的任何变更。

在一个实施例中，向帧C的其余像素分配相同的RGB值；例如，所述其余像素可以都是黑色。

在其他实施例中，在复合图像中剩下可用的空间可以用于进入用于在解复用器级重建右和左图像所需的任何类型的信号，例如指示如何形成复合图像。

在该实施例中，没有被右或左图像或其部分占用的容器帧的分区用于接收信号。该信号分区的像素例如以两种颜色（例如，黑色和白色）染色，从而产生携带信号信息的任何种类的条形码，即线性的或二维的。

一旦将两个输入图像（和也可能是信号）传送到容器帧中已经完成，设备100实现的方法就结束并且可以压缩并且在通信信道上传输容器帧并将其记录在合适介质（例如，CD、DVD、蓝光、大容量存储器等）上。

由于上面解释的复用操作不改变一个分区或图像的像素之中的空间关系，所以设备100输出的视频流可以被压缩到相当的程度而保留非常忠实于传输的图像而不产生显著赝像地重建图像的良好概率。在描述其他实施例之前，必须指出帧R划分为三个分区R1、R2和R3对应于帧划分为最小可能数量的分区，这考虑了复合图像中可用的空间和未改变进入容器帧的左图像占用的空间。

换言之，所述最小数量是占用左图像留在容器帧C中可用的空间所需的分区的最小数量。

一般而言，因此，图像必须被拆解为的分区的最小数量被定义为源图像（右和左图像）以及目标复合图像（容器帧C）的格式的函数。

优选地，通过考虑将图像（例如，上例中的R）分解为最小数量的矩形区域的需要来拆解将进入帧的图像。

在其他实施例中，如图6所示那样拆解右图像R。

分区R1’对应于图3的分区R1，并且因此包括图像的所有720行的前640个像素。

分区R2’包括与分区R1’相邻的320列像素，而分区R3’包括最后320列像素。

因此如图7所示的那样构造容器帧C，转动90°的分区R2’和R3’将布置在图像L和分区R1’ 之下的区域C3’和C4’中。

因此旋转的分区R2’和R3’占用320行的720个像素；因此，区域C3’和C4’与区域C1和C2分离，区域C1和C2包含从图像L和从分区R1’复制的像素。

优选地，区域C3’和C4’与其他区域C1和C2分离至少一个保护线。特别地，将分区R2’和R3’的像素复制到容器帧C的最后多行（last rows）是有利和优选的。

由于在该情况中，容器帧由1080行组成，所以在图7的实施例中，旋转的分区R2’和R3’与上面的图像L和分区R1’分离了保护条40个像素高。

在图7的示例中，分区R2’和R3’彼此分离，使得它们由不是来自右和左图像的预定义颜色（例如，白色或黑色）的像素环绕。以此方式，减少了包含来自于右和左图像的像素的分区之间的边界区域，而还减少了由图像压缩引起的任何赝像并且最大化了压缩率。

作为将R2’和R3’定位到容器帧C的最后多行（如参考图7描述的）的替代，在优选实施例中，以使得保护条32个像素行高留在L的下边缘与R2’和R3’的上边缘之间的方式来定位R2’和R3’。这提供了R2’和R3’的下边缘与C的下边缘之间的第二保护条8个像素行高。通过进一步利用容器帧的宽度，以如下方式定位R2’和R3’是可能的，该方式使得它们完全由既不来自右图像也不来自左图像的像素环绕。

在参考图8和图9在此描述的其他实施例中，模块104提取它们的像素总和超过拆解图像的像素总和的三个子图像R1’’、R2’’和R3’’。

分区R1’’对应于图6的分区R1’，而R2’’和R3’’包括分区R2’和R3’的面积加上附加面积（Ra2和Ra3），这允许最小化在图像压缩阶段期间赝像的产生。

因此，段R1’’是具有640×720像素大小并且占用待拆解的帧R的第一列的分区。

段R3’’占用待拆解的帧R的最后多列（last columns），以及与中央分区R2’’接壤。R3’’在左侧（与R2’’接壤的一侧）包括包含与分区R2’’共同的像素的缓冲条Ra3。换言之，R2’’的最后多列和R3’’的前多列（组成缓冲条Ra3）重叠。

优选地，根据随后应用于容器帧C并且一般应用于包含它的视频流的压缩类型来选择缓冲条Ra3的大小。特别地，所述条具有如下大小，该大小是在压缩过程中使用的基本处理单元的大小的两倍。例如，H.264标准提供将图像拆解为16×16像素的宏块，每个宏块表示该标准的基本处理单元。基于该假设，条Ra3具有32像素的宽度。段R3’’因此具有352（320+32）×720像素的大小，并且包括图像R的最后352列的像素。

段R2’’占用待拆解的图像R的中央部分并且在其左侧包括具有与条Ra3相同大小的缓冲条Ra2。在考虑H.264压缩标准的示例中，条Ra2因此是32像素宽并且包括与分区R1’’共同的像素。段R2’’因此具有352×720像素大小并且包括从帧R的从608（R1’’的640-32）到978的列的像素。

三个涉及模块104输出的分区R1’’、R2’’和R3’’的子图像（图8中可见）然后进入如图9所示的容器帧C。分区R2’’和R3’’转动90°并且通过提供将区域C3’’和C4’’与区域C1和C2分离的某个数量的保护像素将像素复制到帧C的最后多行（指明为C3’’和C4’’的区域），区域C1和C2包括图像L和R1’’的像素。在图9所示的情况中，该保护条是8像素宽。

因此，随后压缩帧C并且将其传输或保存到存储介质（例如，DVD）。出于该目的，提供适于压缩图像或视频信号的压缩装置连同用于记录和/或传输压缩图像或视频信号的装置。

图10示出了接收器1100的框图，该接收器1100对接收的容器帧解压缩（如果压缩的话），重建两个右和左图像并且使它们对于可视设备（例如，电视机）可用，这允许3D内容的实现。接收器1100可以是机顶盒或内置于电视机的接收器。

针对接收器1100进行的相同评论也适用于读取器（例如，DVD读取器），其读取容器帧（可能被压缩）并且处理它，以便获得对应于进入读取器读取的容器帧（可能被压缩）中的右和左图像的一对帧。

参考回图10，接收器接收（经由线缆或天线）压缩立体视频流1101并且借助于解压缩模块1102对其进行解压缩，从而获得包括对应于帧C的帧C’序列的视频流。如果存在理想信道或如果从大容量存储器或数据介质（蓝光、CD、DVD）读取了容器帧，则帧C’对应于携带关于右和左图像的信息的容器帧C，除了由压缩过程引入的任何赝像。

然后向重建模块1103供应这些帧C’，重建模块1103执行如参考图11和12在下面描述的图像重建方法。

清楚的是，如果视频流没有被压缩，则可以省略解压缩模块1102并且可以直接向重建模块1103供应视频流。

当接收到解压缩的容器帧C’时，重建过程在步骤1300中开始。重建模块1103通过将解压缩帧的前720×1280像素复制到小于容器帧的新帧中(例如，720p流的帧)来提取(步骤1301)左图像L。因此，重建的图像L输出到接收器1100(步骤1302)。

随后，方法提供从容器帧C’提取右图像R。

提取右图像的阶段通过复制(步骤1303)包括在帧C’中的区域R1”的一部分开始。更详细地，将R1”的前624(640-16)列的像素复制到表示重建图像Rout的新帧的对应的前624列中，如图11所示。事实上，这例如通过由H.264压缩标准执行的运动估计过程的效果从重建阶段移除了R1”的16列，它们大部分受到了赝像的产生。

然后，提取R2”的中央部分(步骤1304)。根据解压缩的帧C’(如上所述，其对应于图9的帧C)，选择区域C3”的像素(对应于源分区R2”)并且进行与复用器100中执行的旋转相反的90°旋转，这将它们带回原始行/列条件，即图8中所示的一个。在这点，消除了R2”的前和后十六(16)列并且将其余352-32＝320像素列复制到与仅从R1”复制的那些像素相邻的自由列中。

通过切割分区R2”的16个最外列，消除那些列，在那些列中赝像的形成很可能发生。切割区域的宽度(在该情况中是16列)取决于使用的压缩类型。所述区域优选地等于压缩过程使用的基本处理单元；在此描述的情况中，H.264标准对16×16像素的块操作，并且因此将切割16列。

关于R3”(步骤1305)，从帧C’提取分区C4”的像素并且将子图像R3”带回到原始行/列格式(参见图8)。随后，消除前16个像素列(对应于区域Ra3的一半)并且将其余352-16＝336个像素列复制到重建帧左面的最后多个自由列。比如R2”，也在R3”中，切割区域等于压缩过程使用的基本处理单元。

当然，对于分区R2”和R3”两者，可以以虚拟方式执行旋转操作，即，在感兴趣像素的提取方面的相同结果可以通过向重建帧中复制新帧Rout的列中的(如果是R2”，则是)区域C3”(如果是R3”，则是C4”)的行的像素来获得，除了对应于待切割的十六列的(如果是R2”，则是)区域C3”(如果是R3”，则是C4”)的最后16行，图8中所示。

在这点上，右图像Rout已经完全被重建并且可以被输出(步骤1306)。

用于重建包含在容器帧C’中的右和左图像的过程因此完成(步骤1307)。针对接收器1100接收的视频流的每个帧重复所述过程，使得输出将由分别用于右图像和用于左图像的两个视频流1104和1105组成。

参考图10、11和12在上面描述的用于重建右和左图像的过程基于以下假设：解复用器1100知道容器帧C是如何构建的并且因此可以提取右和左图像。

当然，如何标准化复用方法，则这是可能的。

为了考虑可以以上述方法中的任一个或总之根据利用作为所附权利要求书主题的解决方案的任一个方法生成容器帧的事实，解复用器使用包含在复合图像的预定义区域中的信令信息（例如，如上所述的条形码），以便知道必须如何对复合图像的内容解包以及如何重建右和左图像。

在解码所述信号之后，解复用器将知道未改变图像（例如，上述示例中的左图像）的位置，以及其他图像（例如，上述示例中的右图像）被拆解为的分区的位置和任何变换（旋转、平移等）。

利用该信息，解复用器因此可以提取未改变的图像（例如左图像）并且重建拆解的图像（例如，右图像）。

尽管到处为止已经参考某些优选和有利实施例示出了本发明，但是应该清楚，本发明不限于所述实施例并且希望将涉及对象或场景的两个不同视角（右和左）的两个图像合并为复合图像的领域中的技术人员可以对其做出很多改变。

例如，提供上述设备、特别是设备100和接收器1100的电子模块可以被各种细分和分布；此外，可以以硬件模块的形式或作为由处理器（特别是配备有用于临时存储接收的输入帧的合适存储器区域的视频处理器）实现的软件算法来提供它们。这些模块因此可以并行或串行执行根据本发明的图像复用和解复用的一个或多个视频处理步骤。还要清楚，尽管优选实施例表示将两个720p视频流复用为一个1080p视频流，但是也可以使用其他格式。

本发明也不限于复合图像的特定布置类型，因为用于生成复合图像的不同解决方案可以具有具体优势。

例如，参考图1到12在上面描述的实施例提供如下优势：它们仅执行平移或旋转平移操作，因此仅需要小的计算功率。

替代地，可想到除了所述旋转和/或平移操作之外，图像也受到镜面反转操作，以便获得图13中示出的复合图像类型。

出于最大化包含相应像素的分区之间的边界周长，从而采用存在于它们之中的强相关性并且最小化后续压缩引入的赝像的目的，执行这些附加操作。在图13和14的示例中，为了清楚已经假设两个右和左图像是相同的，即使它们一般略微不同。

在该图中，左图像L（在图14a中示出）定位在容器帧C的右上角，从而占用前720行的最后1280个像素。如在前面描述的示例中那样，图像L因此未改变地被复制到容器帧C中。

代替地，根据图3的示例拆解右图像R；图14b示出了被分解为三个分区R1、R2和R3的图像R。

随后，某些分区（图14的示例中的分区R1和R3）经历了镜面反正操作；反转可以相对于竖直轴（即平行于图像的列）或相对于水平轴（即平行于图像的行）发生。

在相对于竖直轴的反转的情况中，列N的像素（其中N是1与1080之间的整数，1080是图像的列数）被复制到列1080+1-N中。

在相对于水平轴的反转的情况中，行M的像素（其中M是1与720之间的整数，720是图像的行数）被复制到行720+1-N中。

图14c和14d示出了从图像R提取的并且相对于竖直轴反转、特别是相对于竖直边反转（R1rot）的分区R1。

使反转的分区R1inv进入前640个像素行的前640个像素。

如可以在图13的示例中看到的那样，当R1inv旋转进入容器帧C中时，与L接壤的R1inv的像素非常类似于与R1inv接壤的L的像素。这些像素之中的空间相关性具有减少赝像形成的优势。

图14和14f示出了从图14b的图像R提取的并且然后相对于水平轴、特别是相对于水平边反转（R3inv）的分区R3。

分区R3inv进入最后360行的最后640个像素。这减少了赝像的生成，因为R3inv与L之间的边界分区的像素是具有高空间相关性的像素。事实上，该边界分区中的像素再现了图像的类似或相同部分。

然后通过使分区R2进入来完成容器帧C。

在该示例中，没有反转和/或旋转 R2，因为在任何情况中将不可能使R2的边界分区与由R或L的另一分区的相应像素组成的边界分区相匹配。

最后，还要清楚，本发明涉及任何解复用方法，该任何解复用方法允许通过颠倒落在本发明保护范围内的上述复用过程之一来从复合图像提取右图像和左图像。

本发明因此也涉及用于从复合图像开始生成一对图像的方法，其包括以下步骤：

- 通过从所述复合图像的分区复制邻接（contiguous）像素的单一组来生成所述右和左图像的第一图像（例如，左图像），

- 通过从复合图像的不同分区复制邻接像素的其他组来生成第二图像（例如，右图像）。

根据一个实施例，用于生成所述第二图像的信息从所述复合图像的区域提取。优选地根据条形码对所述信息编码。

在用于生成右和左图像的方法的一个实施例中，在复合图像中拆解的图像的生成包括所述不同分区之一的像素组的镜面反转的至少一个阶段。

在用于生成右和左图像的方法的一个实施例中，在复合图像中拆解的图像的生成包括从包括待重建该图像的像素的复合图像的分区之一移除像素的至少一个阶段。特别地，从该分区的边界区域移除像素。

在一个实施例中，通过使包括待重建图像的像素的像素分区仅受到平移和/或选择操作来重建被拆解为复合图像的不同分区的图像。

Claims (22)

1.一种用于生成立体视频流(101)的方法，所述立体视频流(101)包括复合图像(C)，所述复合图像(C)包括关于右图像(R)和左图像(L)的信息，其中

选择所述右图像(R)的像素和所述左图像(L)的像素，并且

使所选择的像素进入到所述立体视频流的复合图像(C)中，

所述方法其特征在于，通过使所述两个图像中的一个图像不改变并且将另一个图像分解为包括多个像素的具有矩形形状的三个分区(R1,R2,R3)以及使所述三个分区进入所述复合图像(C)中来使所述右图像(R)的所有像素和所述左图像(L)的所有像素进入到所述复合图像(C)中，在所述复合图像(C)的不被未改变图像占用的不同区域中，所述左图像和所述右图像的水平分辨率和竖直分辨率之间的比保持不改变，所述复合图像(C)是所述立体视频流的帧，所述帧具有等于或大于所述左图像和所述右图像的像素之和的多个像素，

所述方法其特征在于，为了在所述三个分区的边界区域中减小由于图像压缩引起的赝像产生，通过以下步骤获得所述三个分区：

-将所述另一个图像(R)竖直划分为两个相等大小的部分，

-将所述两个相等大小的部分中的一个水平划分为两个另外的相等大小的部分(R2，R3)，所述两个相等大小的部分中的另一个(R1)不被进一步划分。

2.根据权利要求1所述的方法，其中，所述另一个图像(R)的所述两个相等大小的部分中未被进一步划分的另一个(R1)与未改变图像(L)并排布置在所述复合图像(C)中，并且其中，所述另一个图像(R)的两个另外的相等大小的部分(R2，R3)并排地布置在未改变图像(L)之下。

3.根据权利要求1所述的方法，其中仅借助于平移操作使所述三个分区(R1,R2,R3)进入所述复合图像中。

4.根据权利要求1所述的方法，其中借助于平移和/或旋转操作使所述三个分区(R1,R2,R3)进入所述复合图像(C)中。

5.根据权利要求1所述的方法，其中在所述复合图像中保持自由的空间的至少一部分用于使用于在解复用器级重建所述右和左图像所需的信号进入。

6.根据权利要求1所述的方法，其中在使所述分区中的一个进入所述复合图像中之前，沿所述一个分区的一边执行镜面反转操作。

7.根据权利要求6所述的方法，其中所述一个分区进入所述复合图像中并且一边与另一个图像或分区的一边接壤，使得并排布置涉及相同空间区域的像素。

8.根据权利要求1所述的方法，其中所述三个分区包括所述图像的像素的列的邻接组。

9.根据权利要求1所述的方法，其中所述三个分区的至少两个具有至少一个共同的像素组，所述像素组布置在所述至少两个所述分区之间的边界区域中。

10.根据权利要求1所述的方法，其中进入所述复合图像中的所述三个分区中的至少一个与包括从所述右图像或所述左图像复制的像素的所述复合图像其他分区分离。

11.根据权利要求1所述的方法，其中

接收右图像的序列和左图像的序列，

通过从所述右图像的序列和左图像的序列开始生成复合图像的序列，

压缩复合图像的所述序列。

12.一种用于生成复合图像(C)的设备(100)，包括用于接收右图像和左图像的装置(104)以及用于生成包括关于所述右图像和所述左图像的信息的复合图像(C)的装置(105)，其特征在于包括适于实现根据权利要求1至11中任一项所述的方法的装置。

13.一种通过从复合图像开始来重建一对图像的方法，所述复合图像(C)包括关于右图像(R)和左图像(L)的信息，

其中，通过使所述两个图像中的一个图像不改变并且将另一个图像分解为包括多个像素并且具有矩形形状的三个分区(R1,R2,R3)来将所述右图像(R)的所有像素和所述左图像(L)的所有像素定位在所述复合图像(C)中，所述三个分区在所述复合图像(C)的未被未改变图像占据的不同区域中进入所述复合图像(C)，所述左图像和所述右图像的水平分辨率和竖直分辨率之间的比保持不改变，所述复合图像(C)具有等于或大于所述左图像和所述右图像的像素之和的多个像素，

其中，所述分区被组织在所述复合图像(C)中使得：

-将另一个图像(R)竖直划分为两个相等大小的部分；

-将所述两个相等大小的部分中的一个水平划分为两个另外的相等大小的部分(R2，R3)，所述两个相等大小的部分中的另一个(R1)不被进一步划分，

所述方法包括以下步骤：

-通过从所述复合图像的所述未改变图像定位的分区中复制邻接像素的单一组来生成所述右图像(R)和左(L)图像中的第一图像，

-通过从所述复合图像的所述三个分区(R1,R2,R3)中复制邻接像素的其他组来生成所述右图像(R)和左图像(L)中的第二图像。

14.根据权利要求13所述的方法，其中，所述另一个图像(R)的所述两个相等大小的部分中未被进一步划分的另一个(R1)通过复制与所述未改变图像(L)并排布置在所述复合图像(C)中的邻接像素的组来生成，并且其中，所述另一个图像(R)的两个另外的相等大小的部分(R2，R3)通过复制并排地布置在所述未改变图像(L)之下的邻接像素的组来生成。

15.根据权利要求13所述的方法，其中从所述复合图像的区域提取用于生成所述一对图像的信息。

16.根据权利要求15所述的方法，其中根据条形码对所述信息编码。

17.根据权利要求13所述的方法，其中所述第二图像的生成包括所述不同分区中的至少一个的像素组的镜面反转的至少一个阶段。

18.根据权利要求13所述的方法，其中所述第二图像的生成包括从所述分区中的至少一个移除像素的至少一个阶段。

19.根据权利要求18所述的方法，其中从所述至少一个分区的边界区域移除像素。

20.根据权利要求13所述的方法，其中通过使所述像素分区仅受到平移操作来生成所述第二图像。

21.根据权利要求13所述的方法，其中通过使所述像素分区受到旋转和/或平移操作来生成所述第二图像。

22.一种用于通过从复合图像开始重建一对图像的设备(1100)，其特征在于包括用于实现根据权利要求13至21中任一项所述的方法的装置。