CN103703761A - 用于产生、传输和接收立体图像的方法以及相关设备 - Google Patents

Abstract

本发明涉及用于产生、传输和接收立体图像的方法以及相关设备。公开了一种用于产生包括复合图像(C)的立体视频流(101)的方法，所述复合图像(C)包括关于右图像(R)的像素和左图像(L)的信息，其中所述右图像(R)的像素和所述左图像(L)的像素被选择，并且所选择的像素被添加到所述立体视频流的复合图像(C)中。通过保持所述两个图像中的一个未改变，将另一个分割为包括多个像素的两个区域(R1，R2)并且将所述区域添加到所述复合图像(C)中，所述右图像(R)的所有像素和所述左图像(L)的所有像素被添加到所述复合图像(C)中的不同位置。

Description

用于产生、传输和接收立体图像的方法以及相关设备

技术领域

本发明涉及立体视频流的产生、存储、传输、接收和再现，即当在可视化设备中被合适地处理时，产生图像序列的视频流，该图像序列可以被观众以三维方式感知。

背景技术

如已知的，通过再现两幅图像能够获得三维的感知，其中一幅用于观众右眼而另一幅用于观众左眼。

因此，立体视频流传输关于图像的两个序列的信息，对应于目标或者场景的右眼或者左眼视角。

本发明尤其涉及一种用于在复合图像中复用右视角和左视角的两幅图像(下文中称为右图像和左图像)的方法和设备，该复合图像表示立体视频流的一帧，此后被称为容器帧。

此外，本发明还涉及一种用于去复用所述复合图像，即，用于从中提取复用设备添加的右图像和左图像。

现有技述

为了降低传输立体视频流所需的带宽，本领域已知的是将右图像和左图像复用为一个立体视频流的单个复合图像。

第一个例子被称为并排复用，其中右图像和左图像被水平子抽样并且被并排排列到立体视频流的同一个帧内。

这种类型的复用的缺点是，水平分辨率减半而垂直分辨率仍然不变。

另一个例子被称为从上到下(top-bottom)复用，其中右图像和左图像被垂直子抽样并且在立体视频流的同一帧内按照一个在另一个上部的方式排列。

这种类型复用的缺点是，垂直分辨率减半而水平分辨率仍然不变。

还有其他更复杂的方法，例如，在专利中请WO03/088682中公开的方法。该申请描述了使用棋盘抽样来降低抽取组成右图像和左图像的像素数量。这些被选择用于右图像和左图像的帧的像素被“几何地”压缩为并排模式(通过移动相应的像素在列1中建立的空格被列2中的像素所填充，等等)。在用于屏幕上呈现图像的解码步骤期间，右图像和左图像的帧被再次变回其原始形式，并且通过使用合适的内插技术来重建丢失的像素。该方法允许在水平和垂直分辨率之间的比率保持恒定，但是其降低了对角线分辨率，而且由于引入了本来不该出现的高频空间谱分量而改变了图像像素间的相关性。这会降低随后的压缩步骤(例如MPEG2、MPEG4或H.264压缩)的效率，而且还增加了压缩视频流的比特率。

从专利申请WO2008/153863中还已知另一种用于复用右图像和左图像的方法。

这些方法中的一个提供了对右图像和左图像执行70％的缩放；缩放的图像随后被分割为8×8像素的块。

每一个缩放图像的块能够被压缩到一个等于复合图像大约一半的区域中。

这个方法的缺点是，由于引入了高频空间谱分量，块的再分配修改了组成图像的块之间的空间相关性，因此降低了压缩效率。

此外，缩放操作和将每一个图像分割为大量块包括高的计算成本并且因此增加复用和去复用设备的复杂度。

这些方法中的另一个对每一个右图像和左图像应用对角线缩放，使得原始图像变形为平行四边形。这两个平行四边形随后被分割为三角形区域，并且组成矩形复合图像，其中通过分割两个平行四边形而获得的三角形区域被重组和重排。右图像和左图像的三角形区域被以一种方式组织，使得他们通过复合图像的对角线而分开。

类似于从上到下和并非方案，这个方案也同样具有改变水平和垂直分辨率的比率(平衡)的缺点。此外，细分为大量在立体帧中重排的三角形区域使得后续的压缩步骤(例如MPEG2、MPEG4或H.264)，在在通信信道上传输之前，在三角形区域的边界区域中产生伪像。例如，由于按照H.264标准的压缩处理执行的运动估计过程而产生所述伪像。

这个方案的另一个缺点涉及缩放右图像和左图像的操作以及分割和转筒转换三角形区域的后续操作所需的计算复杂度。

在提交的申请国际专利申请PCT/IB2010/055918中公开了一种如该申请中权利要求1定义的用于产生包括复合图像的立体视频流的方法，所述复合图像包括关于右图像和左图像的信息，其中所述右图像的像素和所述左图像的像素被选择，并且所选择的像素被添加到所述立体视频流的复合图像中，该方法的特征在于，通过保持所述两幅图像中的一个未改变而将另一个分割为包括多个像素的三个区域并且降所述区域添加到所述复合图像中，而将所述右图像的所有像素和所述左图像的所有像素都添加到所述复合图像中。

所述方法涉及将另一图像细分为三个矩形区域，以及关于在复合图像中如何排列所述三个区域。

但是上述方法还留有很大的改进空间，主要由于以下问题。

如果区域的数量能够降低，这将允许同时降低在编码端和解码端所需的计算资源。此外，由于压缩技术引入的伪像完全集中沿着内部边界，如果这种内部边界的长度能够降低，则重建的图像的质量退化也会被降低，尤其在高压缩率的情况下。

发明内容

本发明的一个目的是提供一种用于复用和去复用右图像和左图像的复用方法和去复用方法(以及相关设备)，其允许克服现有技术的缺点。

尤其，本发明的一个目的是提供一种用于复月和去复用右图像和左图像的复用方法和去复用方法(以及相关设备)，其允许保持水平分辨率和垂直分辨率之间的平衡。

本发明的另一个目的是提供一种用于复用右图像和左图像的复用方法(以及相关设备)，其在使失真和伪像的产生最小化的同时，允许随后应用高压缩率。

本发明的再一个目的是提供复用方法和去复用方法(以及相关设备)，其特征在于，降低的计算成本。

本发明的另一个目的是提供一种复用方法和去复用方法(以及相关设备)，其特征在于，在重组的图像中存在很少的伪像和图像质量的退化。

本发明的这些以及其他目的通过一种用于复用和去复月右图像和左图像的合并了在权利要求中给出的特征的复用和去复用方法(以及相关设备)来实现，其作为本说朋书的一个完整部分。

基于本发明的总体的思想是将两个图像添加到一个复合图像中，其像素大与或者等于要被复用的两个图像的像素总和，例如右图像和左图像。

第一图像(例如左图像)的像素被添加到复合图像而不经历任何改变，而第二图像被细分为两个区域，其像素都被排列在复合图像的自由区域中。

这个方案提供的一个优点在于，两个图像中的一个保留不变，这使得重建图像的质量更高。

第二图像被分割为两个区域，从而最大化像素间的空间相关性并且降低了在压缩阶段中伪像的产生。

由于适当资源的短缺，细分两个立体图像中的一个为3个区域防止多数现有解码器重建没有附加专用功能的图像；降低细分为两个区域可允许现有的具有画中画(PIP)功能的解码器使用其来重组图像，从而降低为在当前解码器中实现本发明而需要改变的软件的数量。

本发明的一个更具体的目的是，提供一种用于产生包括复合图像的立体视频流的方法，所述复合图像包括关于右图像和左图像的信息，其中

所述右图像(R)的像素和所述左图像的像素被选择，并且所选择的像素被添加到所述立体视频流的复合图像中，该方法的特征在于，通过保留两个图像中的一个未改变而将另一个分割为包括多个像素的两个区域(R1，R2)并且将所述区域添加到所述复合图像中，而将所述右图像的所有像素和所述左图像的所有像素添加到所述复合图像中的不同位置。

本发明的其他目的是提供一种用于通过从复合图像开始重建一对图像的方法、用于产生复合图像的设备、用于从复合图像开始重建一对图像的设备以及立体视频流。

通过下面对以非限制性例子的方式提供的一些实施例的描述，本发明的其他目的和优点将会更为显著。

附图说明

所述实施例将参照附图标记给予说明，其中：

图1示出了用于将右图像和左图像复用为复合图像的设备的框图；

图2是图1的设备执行的方法的流程图；

图3示出了根据本发明的一个实施例的构建复合图像的第一阶段；

图4示出了要被添加到复合图像中的图像分解的第一模式(form)；

图5a和5b示出了包括图4的图像的复合图像的第一和第二模式。

图6示出了要被添加到复合图像中的图像分解的第二模式。

图7a和7b示出了包括图6的图像的复合图像的第一和第二模式。

图8示出了要被添加到复合图像中的图像分解的第三模式。

图9a和9b示出了包括图8的图像的复合图像的第一和第二模式。

图10示出了要被添加到复合图像中的图像分解的第四模式。

图11a和11b示出了包括图10的图像的复合图像的第一和第二模式。

图12示出了将会反映在复合图像中的分解的图像的边界区域。

图13示出了在复合图像中放置图12的边界区域的可能方式。

图14示出了从复合图像中能够提取的图12和13边界区域的什么子区域。

图15示出了如何在重组的图像中覆盖图14的子区域以便消除在分解后的重组图像中的伪像。

图16示出了用于接收根据本发明的方法产生的复合图像的接收器的框图。

图17示出了重建包括在根据先前附图中示出的任意模式的复合图像中的左图像和右图像的一些阶段。

通过相同附图标记来指定其中的合适的、类似结构、部件、材料和/或元件。

具体实施方式

图1示出了用于产生立体视频流101的设备100的框图。

在图1中，设备100接收图像102和103的两个序列，例如两个视频流，分别意用于左眼(L)和右眼(R)。

设备100允许实现用于复用两个序列102和103的两个图像的方法。

为了实现用于复用右图像和左图像的方法，设备100包括分解模块104，用于将输入图像(在图1的例子中的右图像)分解为两个子图像，其每一个目应于所接收图像的一个区域，以及组合(assembler)模块105，能够将接收的图像的像素添加到要在其输出端提供的单一复合图像。

下面将参考图2描述由设备100实现的复用方法的例子。

该方法始于步骤200。随后(步骤201)，两个输入图像(右或者左)中的一个分割为两个区域，如图3所示。在图3所示的例子中，分解的图像是视频流720p的帧R，即，具有1280×720像素分辨率的逐行格式。

图3的帧R来自于携带意用于右眼图像的视频流103，并且被分解为两个区域R1和R2。

通过将图像R分割为两个部分来获得对其的分解。

矩形区域R1具有640×360像素的大小并且通过取第一个360行的第一个640像素来获得。区域R2是L形，并且通过取从第一个360行从641到1280的像素和最后360行的所有像素来获得。

在图1的例子中，由模块104来实现图像R的分解操作，其接收输入图像R(在这种情况下是帧R)并且输出对应于两个区域R1和R2的两个子图像(即两个像素组)。随后(步骤202和203)构建复合图像C，其包括关于右图像和左图像的信息；在此描述的例子中，所述复合图像C是输出立体视频流的帧，并且因此其还被认为是容器帧。

首先(步骤202)，设备100接收的并且没有被设备104分解的输入图像(图1的例子中的左图像L)被未改变地添加到容器帧，该帧被以一种方式调整大小以包括两个输入图像的所有像素。例如，如果输入图像具有1280×720像素的大小，则适合于包括两者的容器帧将是1920×1080像素的帧，例如1080p类型的视频流的帧(具有1920×1080像素的逐行格式)。在图4的例子中，左图像L被添加到容器帧C中并且位于左上角的位置。这通过将图像L的1280×720像素复制到由容器帧C的第一个720行的第一个1280个像素组成的区域C1中来获得。

当在下面的描述中，参考将图像添加到帧，或者从一个帧向另一个帧传输或者复制像素时，应当理解这意味着执行一个过程，其产生新的包含与源图像相同像素的帧(通过使用硬件和/或软件装置)。

用于将源图像(或者源图像的一组像素)再现为目标图像的技术(软件和/或硬件)被认为对于本发明的目的是不重要的，并且在此将不做进一步的讨论，因为它们本身对于本领域技术人员是已知的。

在下一个步骤203中，由模块104在步骤201中分解的图像被添加到容器帧中。这可以由模块105通过将分解的图像像素复制到未被图像L占据的区域中的容器帧C来实现，即，该区域在C1区域之外。

为了在解压缩视频流时达到最佳可能的压缩和降低伪像的产生，通过保持相应空间关联性来复制模块104输出的子图像的像素。换句话说，将区域R1和R2复制到帧C的相应区域中而不经历任何变形。

图5a示出了模块105输出的容器帧C的例子。该矩形区域R1被复制到复合帧C的第一个360行的最后640个像素(区域C2)，即，与先前复制的图像L相邻。

该L形区域R2被复制在区域C2下面，即，在区域C3中，其中包括从361到720行的最后640个像素加上最后360行的最后1280个像素。

用于将图像L和R添加到容器帧中的操作并不意味着对水平分辨率和垂直分辨率之间平衡的任何改变。

在帧C中剩余一个由最后360行的第一个640个像素组成的矩形区域(区域C2，)，其可用于其他的目的，例如用于任何辅助数据或者信令：其在图5a中被稍微加黑表示并且在其他附图中也一样。

如果这个空闲(spare)的区域根本没用，相同的RGB值被指定给帧C的剩余像素；例如，所述剩余像素可以是全黑。

一旦完成了将两个输入图像(以及可能是信号)传输到容器帧中，由设备100实现的这个方法结束，并且容器帧可以被压缩并且在通信信道上传输和/或记录到合适的媒体上(例如CD、DVD、蓝光、海量存储器等等)。

由于上述复用操作没有改变一个区域或者图像的像素之间的空间相关性，设备100输出的视频流可以被压缩到一个相当大的程度，同时保持图像将如实重建传输而不产生明显的伪像的很高可能性。

在描述另一个实施例之前，应当指出将帧R分割为两个区域R1和R2对应于将该帧分给为最小可能数量的区域，考虑到在复合图像中可利用的空间以及未改变地添加到容器帧的左图像占据的空间。

换句话说，所述最小数量是由左图像占据在容器帧C中留下可利用空间所需的区域的最小数量。

因此，通常图像必须被分解的区域的最小数量被定义为源图像(右图像和左图像)格式和目标复合图像(容器帧C)的函数。

换句话说，根据本发明，图像R仅能够被以图4所示的方式分割为两个区域R1和R2。实际中，两个图像L和R都位于复合图像C的两个相对的拐角，具体地分别在左上角和右下角。被叠加到图像L的图像R的一部分R1可以被移动到右上角，如在附图中所示，或者到左下角。没有叠加到图像L的图像R一部分R2置于右下角，是具有六条边的不规则多边形的形式。以这种方式将第二图像分割为最小数量的区域(两个)。

这个方案的优点在于内部边界的总长度最小，其有助于降低压缩阶段伪像的产生，以及最大化像素之间的空间相关性。

此外，将R图像细分并且将两个子图像复制到复合帧C所需的计算成本最小，因此，简化了复用和去复用装置的结构以及组合和分解过程的复杂度。

图5a中示出的设置仅仅表示根据本发明处置在复合帧C中的两个图像的第一种方式：图5b示出了图5a的布局的替代，其中区域R1已位于C的最后360行的第一个640像素(区域C2’)，而区域C2保持没有视频信息。

图5a和5b的设置可以被认为是相互的替代(“双重设置”)，由于它们的区别仅在于R1的分配，其在先前的情况下位于C的右上角而在后面的情况下位于C的左下角。

图6示出了分割图像R以便使其位于复合帧C中的第二种方式；通过提取R的最后360行的最后640个像素来获得R1。L形子图像R2由R的剩余像素组成，也就是第一个360行加上最后360行的第一个640个像素。

图7a和7b示出了双重设置，其中在图像L已位于其右下角后(区域C1”)，如图6中获得的区域R1和R2可以位于复合帧C中，由C的最后720行的最后1280个像素组成。该L形R2区域位于C的左上角。两幅图之间的唯一区别在于被R1子图像占据的C的区域，其分别位于左下(区域C2’)角和右上(区域C2)角。相反地，矩形空闲区域分别占据右上角(区域C2)和左下角(区域C2’)。

图8中示出了用于分解图像R以便使其位于复合帧C中的第三种方式；通过提取R的最后360行的第一个640个像素来获得R1。该L形子图像R2由R的剩余的像素组成，也就是第一个360行加上最后360行的最后640个像素。

图9a和9b示出了双重设置，其中在将图像L置于其左下角(区域C1”)之后，如图6中所示获得的区域R1和R2可以被置于复合帧C中，由C的最后720行的第一个1280像素组成。L形R2区域位于C的右上角。两幅图的区别在于矩形区域R1的位置，其分别位于右下(区域C6)角和左上(区域C4)角。反之，矩形空闲区域分别占据左上角(区域C2)和右下角(区域C2’)。

最后，图10中描述了分解图像R的第四种方式。第一个360行的最后640个像素被提取以形成子图像R1。该L形区域R2由R的剩余像素组成，也就是第一个360行的第一个640个像素加上最后360行。

图11a和11b示出了双重设置，其中如图6中获得的区域R1和R2可以在将图像L置于其右上角后(区域C’’’)被置于复合帧C中，由C的第一个720行的最后1280个像素组成。L形区域R2位于C的左下角。两幅图的区别在于矩形区域R1的位置，其分别位于左上(区域C6)角和右下(区域C4)角。反之，该矩形空闲区域分别占据左上角(区域C2)和右下角(区域C2’)。

通过最后这对附图，可能添加到复合帧C的R的两个区域以及L图像L的所有设置已都被示出。因此总共具有八种可能的设置。其他的八种可能的设置是将图像L分割为两个子图像L1和L2并且将保持另一图像R未分割。可以从附图中示出的那些以及目前简单描述的，分别通过交换图像R和L以及区域R1和R2与L1和L2来容易地获取这八种设置。由于这些获取的设置都非常琐碎并且直接，因此，在本发明中不再做进一步的解释。

虽然示出的这些设置能够将分割R阶段引入的边界造成的伪像最小化，通过本申请执行的一些测试显示出，在高压缩率的情况下，可视伪像在解码后会出现在重建图像中。

有利地，为了进一步减少在边界区域上出现伪像，可以采取图12和13示出的技术，作为一个例子，可适用在图5a的分解方案上。

作为第一个实施例，如图12所示，包括R1和R2之间边界区域的附加L形区域R3，可以如图13所示被复制并且插入空闲区域C2’中。该R3区域能够具有恒定的宽度或者两个不同的宽度h和k，分别用于水平和垂直的臂(arm)。参数h和k是大于零的整数。R3区域最终相对于R的内部边界对称地设置。

根据本中请执行的测试，伪像一般是在重建图像Rout中接近于内部边界出现。因此，(对应于压缩和解压缩后的R1)R1’和(对应于压缩和解压缩后的R2)R2’的位于Rout的内部边界附近的像素在复制中被丢弃并且被在R3的压缩和解压缩操作之后获得的区域R3’的内部像素替代。R3'边界的像素应当被丢弃，由于他们接近另一内部边界并且会因此受到伪像影响。考虑到R、L和C或C’各自的大小，边界像素的某些组的带可以位于空闲区域C2'，但是这个L型带不能包括在R1和R2之间接近于R的外部边界的边界区域的像素，如从图12和13清楚地示出。

这并不是很大的麻烦，由于位于接近图像的外部边缘的伪像几乎不可视。但是，如果期望，这两个不能被通过所述方式校正的小区域可以被复制并且放置到复合帧的空白空间中。而这增加了组建和分解过程中的复杂度，并因此不是优选的方案。

有利地，L形区域R3被放置到与其右下角相邻的空闲区域C2’，从而最大化位于可用区域的R3臂的长度。作为一个例子，R3的水平臂的宽度可以是h=48个像素，并且仅仅内部的n=16个像素被用于重建R图像，而相邻的32个像素被丢弃，由于他们受到伪像的影响，在复合帧C内接近于不连续的。类似地，R的垂直臂可以是大的，k=32个像素，其中只有它们中的m=16被用于重建R。

明显地，图12和13中示出的特定技术，加上必要的修改，也可用于图5b中示出的双重设置。区别仅在于L形区域R3位于空闲区域C2取代了C2'。类似的，图12和13中示出的特定技术，加上必要的修改，可用作图6-11中示出的图像R和复合帧C的所有其他的设置。区别仅在于由R3包围的内部边界区域被不同地配置并且该区域R3位于C的不同的空闲区域。相同的对其他设置的应用在附图中没有示出，可以通过将R替代为L和R1以及将R2替代为L1和L2来获得。

同样，由于一些测试显示伪像在R1和R2之间的水平内部边界更为显著的事实，取代使用L形内部区域，使用仅包括围绕着水平内部边界的像素的R3区域。当然，如果期望消除仅在垂直内部边界上的伪像，R3形状的区域可以是垂直的。这些实施例都没有在附图中示出，由于这都是明显的，以上都给出了解释。

因此，以目前为止描述的任何方式获得的帧C随后被压缩并且被传输或者保存到存储媒体中(例如DVD)。为此目的，提供适用于压缩图像或者视频信号的压缩装置，以及用于记录和/或传输压缩的图像或者视频信号的装置。

图16示出了接收器1100的框图，其解压缩所接收的容器帧(如果被压缩)，重建两个右图像和左图像，并且使他们能够用于允许3D内容实现的可视化设备(例如电视机)。接收器1100是一个机顶盒或者内置在电视机中的接收器。相同的用于接收器1100的说明也可以用于读取器(例如DVD读取器)，其读取容器帧(可能被压缩的)并且处理它，以便获取对应于添加到由读取器读出的容器帧(可能被压缩的)中的右图像和左图像的一对帧。

返回去参考图17，接收器(通过电缆或者天线)接收压缩的立体视频流1101并且通过解压缩模块1102将其解压缩，从而获得包括对应于帧C的帧C’的序列的视频流。如果存在理想信道或者如果容器帧被从海量存储器或者数据媒体(蓝光、CD、DVD)中读取，帧C’对应于携带关于右图像和左图像的信息的容器帧C，除了由压缩处理引入的任何伪像。

这些帧C’随后被提供给重建模块1103，其执行上述图像重建方法。

其表明，如果视频流没有被压缩，解压缩模块1102可以省略并且视频信号被直接提供给重建模块1103。

当接收到解压缩的容器帧C’时，重建处理在步骤1300开始。该重建处理依赖于在重组处理期间决定的特定设置。让我们考虑例如图5a中示出的复合帧。在这种情况下，重建模块1103通过将解压缩帧的第一个720×1280像素复制到小于容器帧的新的帧Lout中来提取(步骤1301)左图像L’(对应于源图像L)，例如720p流的帧。因此，该重建的图像Lout被输出到接收器1100(步骤1302)。

随后，该方法提供用于从容器帧C’中提取右源图像R。

通过复制包括在帧C’中的区域C2来开始提取右图像的阶段(步骤1303)。更具体地，C’的第一个360行的最后640个像素被复制到对应的表示重建图像Rout的新的720×1280帧的第一个360行的第一个640列。

随后包括解压缩区域R2’(在压缩和解压缩操作之前是R2)的区域C3被提取(步骤1305)。从解压缩帧C’(如前所述，其对应于图5a的帧C)，区域C3(对应于源区域R2)的像素被复制到Rout的L形剩余部分，也就是在Rout的第一个360行的最后360列中加上在最后360行中，因此获得对应于如在图3中组合的图像R的重建图像。

到此，右图像Rout已被完全重建并且被输出(步骤1306)。

通过接收器1100执行类似的操作，加上必要的改变，用于所有其他在图5b、7a和7b、9a和9b、11a和11b中示出的设置。包括在C’的大小为720×1280的相关矩形区域中的压缩的L图像被作为一个整体提取并且被输入给重建的Lout图像。包括解压缩子图像R1和R2的复合帧C’的区域再次被置于它们在源图像R中具有的对应设置中的Rout的相应位置，如在图4、6、8和10中所示，作为可能的情况。

在图12和13的特定技术被使用的情况下，接收器1100首先执行已经描述的同样的操作，以用于重建Lout和Rout并且随后，如一个附加步骤(图17中的1305)提取R3’的内部区域(称为Ri3)并且使用R3’的至少一些像素来覆盖围绕在Rout内部边界周围的对应像素。

在图14和15示出的例子中，形成所称Ri3的区域的m个垂直和n个水平像素的、位于R3内部的带被复制到对应的Rout的内部边界区域。典型地，m和n是大于零的整数，其可假设为较低的值，典型地在3到16的范围内；它们还可以彼此相等或者不等，给Ri3赋予恒定或者非恒定宽度。相同的技术可以使用，加上必要的改变，在R3的矩形形状被用于仅覆盖它的一个臂的情况下，或者水平或者垂直。

应当强调，这必须仅在高压缩率情况下，通常不被强制高图像质量的电视广播所使用，但是其被用于通过互联网进行视频流传输的情况，或者通常用于通过互联网或具有限制带宽的信道分配的情况。

因此，在编码器和解码器端两者，使用区域R3’和Ri3是可选择的。一种可能性是传输区域R3而留下自由，在解码端，以便于使用或者不使用它：这将导致两种类型的解码器，一个简化的，以及另一个具有更好性能、更复杂的。

在一个更复杂的实施例中，可以采用称为“软边界”的技术将R3’区域混合到重建图像Rout的顶部，其存在于使用对应的R3’的像素值交叉减弱(cross-fading)Rout的内部边界区域的像素值，使得R3’的作用在R1’和R2’之间的边界最大化并且在R3’边界最小化。

这样完成了重建包括在容器帧C’中的右图像和左图像的处理(步骤1307)。所述处理对于由接收器1100接收的每个视频流的帧进行重复，使得输出由分别用于右图像和用于左图像的视频流1104和1105组成。

尽管至今已经参考一些优选的和最佳的实施例示出了本发明，但是应当清楚其没有限制于所述实施例，并且本领域技术人员可以做出很多改变从而期望将两个涉及一个目标或者场景的不同视角(右和左)的两个图像合并为一个复合图像。

例如，提供上述设备的电子模块，尤其设备100和接收器1100，可以多种细分和分配；此外，它们被以硬件模块或者由处理器执行的软件算法的形式提供，尤其配备了用于临时存储所接收输入帧的合适存储区域的视频处理器。因此，这些模块并行地或者连续地执行根据本发明的复用或者去复用方法的一个或者多个视频处理步骤。

同样要说明，尽管优选的实施例涉及复月两个720p视频流成为一个1080p视频流，但是也可以使用其他格式。本发明并不限制于复合图像的特定类型，由于用于产生复合图像的不同方案具有特定的优点。

最后，还表明本发明涉及任何允许通过颠倒上述复用处理从复合图像中提取右图像和左图像的落入到本发明的范围内的去复用方法。

本发明因此还涉及一种用于产生一对从复合图像开始的图像，其包括以下步骤：

-通过复制来自所述复合图像区域的连续像素的一个单一组来产生所述右图像和左图像的第一个图像(例如左图像)，

-通过复制来自所述复合图像的两个不同区域的连续像素的其他组来产生第二图像(例如右图像)。

Claims (12)

1.一种用于产生包括复合图像(C)的立体视频流(101)的方法，所述复合图像(C)包括关于右图像(R)和左图像(L)的信息，其中

选择所述右图像(R)的像素和所述左图像(L)的像素，并且

所选择的像素被添加到所述立体视频流的复合图像(C)中，

该方法的特征在于，通过保持所述两个图像中的一个未改变，将另一个分割为包括多个像素的两个区域(R1，R2)，并且将所述区域添加到所述复合图像(C)，所述右图像(R)的所有像素和所述左图像(L)的所有像素被添加到所述复合图像(C)中的不同位置。

2.根据先前任何一个权利要求所述的方法，其中所述两个区域中的第一个(R2)具有L形状，所述两个区域中的第二个(R1)具有矩形形状。

3.根据权利要求2所述的方法，其中所述两个图像中未改变的一个(L)位于所述复合图像(C)的一个拐角，所述两个区域中的所述第一个(R2)位于所述复合图像(C)的与所述一个拐角相对的拐角，所述两个区域中的所述第二个(R1)位于复合图像(C)中的剩余自由空间中的一部分。

4.根据先前任何一个权利要求所述的方法，其中包括在所述第一个和第二个(R1，R2)区域之间的边界区域的至少一部分的附加区域(R3)被插入到所述在复合图像(C)中的剩余自由空间。

5.根据先前任何一个权利要求所述的方法，其中所述区域包括所述图像的像素的连续列组。

6.根据先前任何一个权利要求所述的方法，其中接收右图像(R)的序列和左图像(L)的序列，

通过从所述右图像和左图像的序列开始产生复合图像的序列，

所述复合图像(C)的序列被压缩。

7.一种用于如先前权利要求中的任何一个的通过从复合图像(C’)开始重建一对图像的方法，包括以下步骤：

通过从所述复合图像的区域中复制连续像素的一个单一组而产生所述右(Rout)图像和左(Lout)图像中的第一个，

通过从所述复合图像(C’)的两个不同区域(R1’，R2’)复制连续像素的其他组来产生所述右(Rout)图像和左(Lout)图像中的第二图像。

8.根据权利要求7所述的方法，其中包括在所述第一区域和第二区域(R1’，R2’)之间的边界区域的至少一部分的附加区域的至少一部分(Ri3)在所述第二图像(Rout)的对应边界区域被修改。

9.根据权利要求7所述的方法，其中通过使用所述附加区域(R3’)的对应像素值交叉减弱所述第二图像(Rout)的内部边界区域的像素值，将包括在所述第一区域和第二区域(R1’，R2’)之间的至少一部分边界区域的附加区域(R3’)混合到所述第二图像(Rout)的顶部。

10.一种用于产生复合图像(C)的设备(100)，包括用于接收右图像和左图像的装置(104)，和用于产生包括关于所述右图像和所述左图像的信息的复合图像(C)的装置(105)，其特征在于，包括适用于实现根据权利要求1-6中的任意一个的方法的装置。

11.一种用于通过从复合图像开始重建一对图像的设备(1100)，其特征在于，包括适用于实现根据权利要求7-9中的任意一个的方法的装置。

12.一种立体视频流(1101)，其特征在于，包括通过根据权利要求1-6的任意一个的方法产生的至少一个复合图像(C)。

Images