CN104243966A - 用于生成、存储、传送、接收和再现深度图的方法和设备 - Google Patents

Abstract

本公开内容涉及用于生成、存储、传送、接收和再现深度图的方法和设备。描述了一种用于通过从至少一个深度或差异图(DM1、DM2)开始而生成由多个分量(Y、U、V)构成的颜色图像的方法，其中，所述至少一个深度或差异图(DM1、DM2)的第一组像素输入到所述颜色图像的亮度分量(Y)中，并且其中，所述至少一个深度或差异图(DM1、DM2)的第二组和第三组像素输入到所述颜色图像的两个色度分量(U、V)中。

Description

用于生成、存储、传送、接收和再现深度图的方法和设备

技术领域

本发明涉及用于通过使用属于三维视频流的图像的颜色分量生成、存储、传送、接收和再现深度图(depth map)的方法和设备。

背景技术

立体视频应用的发展在很大程度上依赖于用于表示和压缩三维视频信号的高效格式的可用性。而且，在电视广播应用(3D-TV)中，有必要保持与现有2D系统的最大可能程度的向后兼容性。

对于分布(或传送)来说，当前最广泛的技术方案基于所谓的“帧兼容步置”，其中，与同一时间点有关的两个立体视图被重新扩缩并构造以形成与现有格式兼容的单个图像。在这些方案中，顶底(top-and-bottom)格式、并排(side-by-side)格式和平铺(tile)格式是已知的。这些方案允许使用整个现有视频信号分布构架(陆地、卫星或电缆广播、或者IP网络上的流处理)，并且不需要用于压缩视频流的新标准。另外，当前的AVC/H.264编码标准(先进视频编码)和将来的HEVC标准(高效率视频编码)已包括用信号通知这种类型的组织以允许通过接收器的适当的重构和可视化的可能性。

对于显示来说，两个当前最广泛的技术方案基于“帧交替”原理(即在屏幕上在时间上接连呈现两个视图)或“线交替”原理，即两个视图以交替的行(即它们是“交错”的)布置在屏幕上。在两种情况下，对于接收对应视图的每只眼睛，观众需要使用一副眼镜，眼镜可以是帧交替情况下的“主动式”眼镜(即快门式眼镜)，或者可以是线交替情况下的“被动式”眼镜(即具有以不同方式偏光的透镜)。

三维可视化的未来将由不需要用户配戴任何眼镜(不管是主动式还是被动式眼镜)的新的自立体屏幕的扩散而确定。这些当前仍处于原型阶段的3D显示设备基于视差透镜或屏障的使用，视差透镜或屏障可导致对于用户在围绕屏幕有角度地移动时可处于的各视点，观察者察觉到两个不同的立体视图。因此，这些设备可改善3D视觉体验，但它们需要生成大量的视图(几十倍)。

关于3D视频表示，管理大量视图的产生和分布是非常费力的任务。近年来，科学团体已经评估通过使用利用所谓的场景深度图的已知的基于深度图像的绘制(DIBR)技术创建任意大量的中间视图的可能性。这些格式也称为“视频+深度”(V+D)，其中，各视图由稠密深度图伴随。稠密深度图是其中平面坐标(x,y)(即列行)中的各像素表示深度值(z)的图像，深度值(z)与相应视图的具有相同坐标的像素相对应。通过从由立体视频摄像机获得的两个视图开始可计算深度图的值，或者由适当的传感器可对它们进行测量。一般通过使用具有通过使用标准技术压缩的256个灰度级的图像表示这样的值。基于深度图像的绘制技术利用这样的事实，即，给定坐标(x,y,z)——即深度平面中的位置加上与各像素相关联的深度，可以将像素重新投影到与新的视点有关的另一图像平面(image plane)上。最广泛的应用上下文是立体视频摄像机的系统，其中，两个视频摄像机以它们两个光学中心之间的距离b而水平放置，具有平行的光轴和共平面的图像平面。在这样的配置中，在与一个像素相关联的深度z与所谓的差异(disparity)d——即为了获得在左(或右)视频摄像机的图像平面中的对应位置必须施加于右(或左)视频摄像机的图像的像素的水平平移——之间存在简单的关系。根据所考虑的视频摄像机，差异可以为正或负(向左或右的平移)。用f指示两个视频摄像机的焦距，在深度z与差异d之间存在以下的关系：

d＝f b/z。

要得到更多的细节，参见文章：Paradiso,V.；Lucenteforte,M.；Grangetto,M.,“A novel interpolation method for3D view synthesis”,3DTV-Conference:The True Vision-Capture,Transmission andDisplay of3D Video(3DTV-CON),2012,vol.no.pp.1,4,15-17,2012年10月。

由于根据上述的假设，差异是深度的简单函数，因此，深度图和差异图携带相同的信息并因此可互换。另外，必须指出，MPEG上下文中的称为深度图的图像表示1/z的值，与映射在0-255间隔中的z相反。以下，术语“深度图”将只用于指示深度或差异的任何表示。

应当注意，MPEG标准委员会也已选择由一对(左和右)图像和相应的深度图组成的视频信号作为使用情况，用于评估将在未来的3D编码标准中引入的技术。

这导致对高效地管理包括深度图的电视信号的存储、传送、接收和再现的需求。

发明内容

因此，本发明的目的是提供用于通过使用图像的颜色分量生成、存储、传送、接收和再现深度图的方法和设备，其可克服本领域中已知的方案中的固有限制。

如上面所提及的，深度图适于表示为灰度图像，即由每位置(x,y)的单个值构成。以下将使用术语“像素”以指示图像的单个要素(或点)；各像素由其位置(x,y)以及由诸如颜色或强度的值表征，这些值随使用的表示系统而变。在电视领域中，一般采用称为亮度(Y)和色度(U，V)的像素表示系统。一般地，深度图通过只使用Y分量被表示为数字视频。

本发明的基本思想是还利用U和V色度分量以表示深度图的值，因此创建所谓的“伪颜色”图像，这允许更好的图像精简。在本上下文中，伪颜色图像(为了简洁，以下称为“颜色图像”)是其中色度分量也携带有用信息的图像，但该信息不是颜色信息，在该情况下，而是与已从Y分量去除的像素有关的亮度信息。

对深度矩阵的要输入到W×H尺寸的颜色图像的U和V分量中的像素的选择以这样的方式做出，使得获得Y、U、V分量之间(即在真实的亮度与这些附加的假想分量之间)的空间相关性，空间相关性用于确保与假定在各种像素的Y、U、V三个分量之间存在相关的标准编码算法(例如MPEG)的运算兼容。这也允许使用针对真实的颜色图像所采用的压缩技术的标准编码器和解码器。

空间相关性意味着布置在Y、U、V分量上的值属于深度图中的在空间上接近的像素。

优选的方案使用用于输入两个深度图的W×H矩形，每个深度图涉及立体对的相应视频图像，因此获得单个颜色图像。

其它的优选方案针对深度图采用用于电视图像的格式，这些格式称为4:2:0或4:2:2YUV。在通常用于分布的前一种格式中，在偶数行(0、2、4等)中，只有偶数列(0、2、4等)中的像素包含色度信息，而奇数行中的所有像素包含仅亮度信息：由此得出结论，总体上，在四个像素中只有一个像素包含色度信息。在通常用于制作链中的后一种格式中，在所有行中，只有偶数列中的像素包含色度信息：由此得出结论，总体上，在两个像素中由一个像素包含这样的信息。

通常，参照具有在256个级(即每像素8比特)上表示的值的深度图。在将在下面描述的优选方案的第一系列的例子中，将参照4:2:0YUV格式，而第二系列的例子将参照4:2:2YUV格式。

在各种帧填装系统之中，平铺格式(在WO 2011/077343-A1中描述)允许在不从与两个视图有关的图像扣减空间的情况下输入深度图。

参照图1，在平铺格式中，一对立体图像L和R输入到较大的视频帧(C)中，两个图像中的一个(例如L)在保持不变的状态下被重新复制，并且另一图像(例如R)分成三个区域(R1、R2和R3)。在复合帧C中，这些区域布置在由第一图像留下的可用区域中；未使用的区域仍将保留，具有减半的水平和垂直分辨率的深度图可输入到未使用的区域中。通过使用由本发明提出的方法，两个而不是一个深度图可输入到同一区域中。

但是，本创造性想法不限于特定的帧填装布置，而且其允许将一对深度图输入到具有W列和H行的一般矩形图像中。当然，W×H区域可表示用于经由帧填装机制传输3D视频的较大的图像的一部分。

作为替换方案，立体视频流可由若干数据流(例如插入到分组类型多路复用中的)构成，每个数据流携带一个或多个图像或者它们的深度图的信息。

在使用本发明的各种方面的电视制作、分布和实现系统中，出于重构深度图的目的，在接收时实施的步骤将与在传送时实施的步骤相逆转。在接收器处，分配给输入颜色图像的Y、U和V分量的深度图的值以形成初始深度图的方式被重新定位。为了估计由于在形成颜色图像时缺少可用的空间而可能已被舍弃的任何原始深度值，重构程序可能利用已知的滤波和/或内插操作。

本发明的一个目的是提供用于通过从至少一个深度图开始而生成由多个分量构成的颜色图像的方法及其装置，其中，所述至少一个深度图的第一组像素输入到所述颜色图像的亮度分量中，并且其中，所述至少一个深度图的第二组和第三组像素输入到所述颜色图像的两个色度分量中。

本发明的另一目的是提供用于生成包括一系列的颜色图像的视频流的方法及其装置，其中，帧的至少一部分包括通过使用上述的用于生成颜色图像的方法而获得的颜色图像。

本发明的另一目的是提供用于通过从由多个分量构成的颜色图像开始而重构至少一个深度图的方法及其装置，其中，取自亮度分量的第一组像素、取自色度分量中的一个的第二组像素和取自所述颜色图像的另一色度分量的第三组像素输入到所述至少一个深度图中。

本发明的另一目的是提供用于通过从立体视频流开始而重构两个序列的深度图的方法及其装置，其中，在两个序列的各图的重构期间，上述的用于重构至少一个深度图的方法被应用于流的各帧。

本发明的特别的目的是提供在作为本说明的整体部分的权利要求中阐述的用于通过利用颜色图像的颜色分量生成、存储、传送、接收和再现深度图的方法和设备。

附图说明

根据本发明的实施例的一些例子的以下的详细的描述以及从仅作为非限制性例子给出的附图，本发明的其它目的和优点将变得明晰，其中，

图1示出了称为“平铺格式”的立体视频图像格式；

图2a和2b示出了本发明的关于获取包含根据4:2:0并排方案的两个深度图的颜色图像的方式的第一变型的两个图形表示；

图3示出了应用在接收侧的用于覆盖在重构的深度图中缺失的某些值的内插技术的实现的一个例子；

图4示出了本发明的关于获取包含根据4:2:0并排方案的两个深度图的颜色图像的方式的第二变型；

图5示出了与通过在4:2:0并排模式中相互紧挨着布置两个深度图而获得的颜色图像的Y、U、V分量对应的图像；

图6示出了本发明的关于获取包含根据4:2:0顶底方案的两个深度图的颜色图像的方式的变型；

图7示出了与通过在4:2:0顶底模式中相互紧挨着布置两个深度图而获得的颜色图像的Y、U、V分量对应的图像；

图8示出了本发明的关于获取包含根据减小色度分量的4:2:0顶底方案的两个深度图的颜色图像的方式的变型；

图9示出了与通过在减小色度分量的4:2:0顶底模式中相互紧挨着布置两个深度图而获得的颜色图像的Y、U、V分量对应的图像；

图10示出了本发明的关于变换深度图的采样以获得包含根据具有平均和与差的4:2:0顶底方案的两个深度图的颜色图像的方式的变型；

图11示出了与通过相互紧挨着布置在具有平均和与差的4:2:0顶底模式中的两个深度图而获得的颜色图像的Y、U、V分量对应的图像；

图12示出了与通过相互紧挨着布置通过子带变换操作预处理的两个深度图而获得的颜色图像的第一例子的Y、U、V分量对应的图像；

图13示出了本发明的关于变换深度图的采样以获得包含通过子带变换操作预处理的两个深度图的颜色图像的方式的变型；

图14示出与通过相互紧挨着配置通过子带变换操作预处理的两个深度图而获得的颜色图像的第二例子的Y、U、V分量对应的图像；

图15示出了本发明的关于变换深度图的采样以获得包含根据4:2:2并排方案的两个深度图的颜色图像的方式的变型；

图16示出了本发明的关于变换深度图的采样以获得包含根据4:2:2顶底方案的两个深度图的颜色图像的方式的变型；

图17示出了关于根据减小色度分量的4:2:2顶底方案变换深度图的采样以获得包含两个深度图的颜色图像的方式的本发明的变型；

图18示出了本发明的关于变换深度图的采样以获得包含通过针对4:2:2格式的子带变换操作而预处理的两个深度图的颜色图像的方式的变型；

图19a和19b示出了根据的本发明的分别用于重新生成以及重构和显示三维图像的完整系统的实施例的例子的框图，该系统使用称为平铺格式的帧填装格式以组织一对立体视频序列与它们各自的深度图。

在附图中，相同的附图标记和字母表示相同的要素或分量。

具体实施方式

以下将描述本发明基本思想的实现的几个特定变型，所述实现考虑了两个深度图在具有W×H像素的尺寸的单个颜色图像中的各种可能的布置(如已解释的那样，该单个颜色图像又可输入到还包含与同一立体视频流有关的其它图像的更大的复合帧中)。

让我们考虑两个具有W×H分辨率的深度图，其对应于2×W×H个对8比特的采样，即2×W×H个字节。所述一对图要输入到具有W×H分辨率的单个4:2:0或4:2:2YUV“复合”颜色图像中。

以下描述的本发明的各种实施例基于用于使两个深度图输入到W×H尺寸的矩形中的帧填装格式的使用。两个深度图例如可通过将它们的分辨率减小到W×(H/2)并将它们分别放置在仅Y分量的上部和下部中而布置在顶底模式中，或者，通过将它们的分辨率减小到(W/2)×H并将它们分别放置在仅Y分量的左部和右部中而布置在并排模式中。然后，根据本发明，被舍弃的像素被恢复并输入到U和V信号中。

并排4:2:0方案

以下描述采样在色度分量上的定位方面相互不同的两种技术。

在图2a中示出了用于通过从至少一个深度图开始来获取颜色图像的第一技术(以下称为A模式)。该图参照深度图(例如，与立体视频的左视图有关的深度图DM1)的一对行，并且示出了如何使深度值与具有减半的列数的复合颜色图像的Y、U、V分量关联。

使用表示法D(j,i)以表示深度图DM1和DM2的j行和i列的像素，其中j＝0,1,…,H-1，并且i＝0,1,…,W-1。通过使用在图2a中描述的技术，深度图必须被重新组织到由3个分量构成的颜色图像中：

-Y(j,i)，其中j＝0,…,H-1，并且i＝0,…,W/2-1

-U(j,i)和V(j,i)，其中j＝0,…,H-1，并且i＝0,…,(W/2)-1，其中，由于4:2:0YUV欠采样，因此标记j和i仅取得偶数值。

通过这些表示法，通过应用以下规则获得图2a所示的像素重新组织：

-对于各像素D(j,i)，

1.如果i为偶数，那么Y(j,i/2)＝D(j,i)。

2.如果j为偶数且i相对于4的模数等于1，那么

3.如果j为偶数且i相对于4的模数等于3，那么

4.否则，D(j,i)被舍弃。

通过应用这些规则，获得了仅包含深度图的偶数列的H×W/2分辨率的Y分量。V分量收集具有偶数行标记的、与列4k+1对应的深度值，k为大于零的正整数或等于零，即，深度图的列1、5、9、……在颜色图(color map)的列0、2、4……处定位在V分量上。最终，U分量收集具有偶数行标记的、与列4k+3对应的深度值，k为大于零的整数或等于零，即，深度图的列3、7、11、……在颜色图的列0、2、4…处定位在U分量上。

奇数行和奇数列的深度值(即在图中由叉形记号或字母“X”指示的那些)因此丢失。所以，对于各深度图，采样在空间上组织到具有W/2×H分辨率的新的4:2:0YUV颜色图像中，同时在Y、U、V分量之间保持很高的空间相关性，即，由Y、U和V分量表示的图像表示同一图像的具有交替的欠采样的版本。由于MPEG压缩算法假定U和V分量之间的空间相关性，因此这是非常重要的；因此，如果这种相关性不存在，那么它们将不会很好地工作。

通过相互紧挨着(水平)布置通过从一对深度图开始而因此获得的两个图像，最终生成具有W×H分辨率的图像，如图5所示。在所述图中，由于不能使用颜色，因此，Y、U和V三个分量被单独地表示。

为了更清楚起见，图2b示出了在4:2:0颜色图像(Y、U、V)中仍以A模式来分布被指定为DM1和DM2的W×H尺寸的两个深度图的方式的示意性表示。像素由具有内接的几何图形的小正方形表示；深度图DM1和DM2的通过使用图2a所示的技术和以上公式隐含地确定的2×2像素块按行扫描次序被顺序编号，根据像素块是属于DM1还是DM2，编号不具有撇号(1、2、…、N×M，其中N＝W/2且M＝H/2)或者具有撇号(1’、2’、…、N×M’，其中N＝W/2且M’＝H/2)，并且，相等的小正方形与初始块的同一像素对应。舍弃的像素用叉形记号标记。

当重新组织深度图DM1和DM2的像素时，它们分成2×2尺寸的4像素的块。跟随深度图的行扫描，DM1的各2×2块的左列的两个像素(1×2尺寸的具有圆形的正方形的2像素的块)在伪颜色图像的亮度分量Y中被相互紧挨着布置。以这种方式，Y的左半部分被占据；对于DM2完成同样的过程以占据右半部分。

仍然使用行扫描，DM1的所述2×2块的右上像素(具有内接正方形的1正方形的块)被交替放在色度分量V(实心正方形)和U(空心正方形)的左上角中的第一可用位置中。以这种方式，U和V的左半部分被占据。对于DM2的2×2块完成同样的过程以占据右半部分。DM1和DM2的2×2块的位于右下角的像素(在图2b中标有叉形记号)被舍弃。

注意由Y、U和V采取的并排配置以及这些分量与通过使用本发明的本实施例而实验地获得的那些之间的对应关系(图5)。

一旦颜色图像已经被接收——这可能在编码、传送、接收和解码之后，就可通过逆转图2所示的步骤重新定位深度值。

特别地，参照图2b，DM1和DM2分成W/2×H/2个2×2像素的块。仍然跟随行扫描，伪颜色图像的第一W/2列的Y分量的各2像素的1×2块被重新复制到DM1的同源的(homologous)2×2块的左列中，而Y的其余W/2列的1×2块被重新复制到DM2的同源的2×2块的左列(图2中的具有圆形的正方形)中。

当使色度分量和图经受行扫描时，V(实心正方形)和U(空心正方形)的第一W/4列的像素通过从U和V的同一行和列位置取出而被交替地重新复制在DM1的同源块的右上位置中。对于具有DM2的2×2块的V和U的其余W/4的右列的像素完成相同的过程以也重构第二深度图。在本实施例中，两者将示出包括具有缺失的像素值的W×H/4位置的网格，即，深度图的偶数行中的两个值中的一个将缺失。通过利用表征深度图的高空间相关性，可容易地通过本身已知的技术内插这样的值。

图3示出使用具有3×3掩模(mask)的简单空间滤波器(例如平均滤波器或中值滤波器)的内插技术的一个例子。通过使用以缺失的值为中心的3×3掩模，可利用在缺失的深度值周围接收到的8个深度值以估计中心位置中的深度值。以中值滤波器实施的实验表明，当使用由MPEG委员会提供的深度图时，具有W×H分辨率的深度图可以以比50dB的峰值信号噪声比(PSNR)高的保真度重构。

当然，可在这里描述的所有变型中使用通过内插的该重构技术。

以下将介绍称为B模式的之前的并排方案的变型。如图4所示，以前的方案的U、V分量的配置可考虑分量之间的空间相关性得到改善。通过采用以下的放置规则获得该结果：

-对于各像素D(j,i)

1.如果i为偶数，那么Y(j,i/2)＝D(j,i)。

2.如果j为偶数且i相对于4的模数等于1，那么

3.如果j为偶数且i相对于4的模数等于3，那么

4.否则，D(j,i)被舍弃。

与之前的方案相比，该方面确保U、V和Y分量的被分配像素之间的较短的空间距离。具体地，在算法的步骤2和3处做出的指定确保分量之间更好的对准。

通过应用这些规则，获得仅包含深度图的偶数列的H×W/2分辨率的Y分量。V分量收集具有偶数行标记的与列4k+1对应的深度值，k为大于零的正整数或等于零，即，原始深度图的列1、5、9、……在颜色图像的列0、2、4……处被定位在V分量上。最终，U分量收集具有偶数行标记的与列4k+3对应的深度值，k为大于零的整数或等于零，即，原始深度图的列3、7、11、……在颜色图的列0、2、……处被定位在U分量上。

应当注意，在算法的步骤3处，可在深度图的右边缘处得到列标记值(例如，图中i＝11的深度值不能表示在颜色图像上)。在重构阶段，可通过使用本领域中已知的技术内插这些值。

类似地，颜色图像的第一列中的像素不具有指定给U分量的值(可自由指定缺省值，一般为128)。

最后，由于不能提供颜色图像，因此图5示出了与通过在并排模式中相互紧挨着配置两个深度图而获得的颜色图像的单个Y、U、V分量对应的图像，两个深度图根据上述程序获得并与一对立体图像对应。

顶底4:2:0方案

为了获得顶底配置，有必要将具有W×H分辨率的深度图变换成具有W×H/2分辨率的颜色图像。通过交换行和列的角色而应用上述的相同的方法获得这样的结果。

作为例子，图6示出了如何通过用并排方案中称为B模式的方法将行数减半而在YUV分量上表示深度图的一对列。通过交换行和列的角色，针对4:2:0并排方法所描述的A模式可按完全类似的方式被使用，因此，出于简洁的目的而不再进一步描述。

通过(垂直)重叠因此获得的具有W×H/2分辨率的两个图像，最终生成具有W×H分辨率的图像，其表示顶底模式中的一对深度图，如图7所示。由于不能使用颜色，因此，所述图单独地示出Y、U和V三个分量。

减少色度分量的顶底4:2:0方案

之前的方案允许将深度图的一些值表示为颜色图像的色度分量，同时确保Y、U和V分量之间的良好的空间相干性。在普通图像(具有真实的颜色)的情况下，色度分量由低的高能(energetic)内容并因此由低的熵表征，并可容易地通过使用已知的技术被压缩。相反，之前方案的U、V分量由和亮度具有相同的高能内容的像素构成。

为了解决该问题，可以用相对于通过使用在Y分量上表示的深度值的预测(或内插)值的差值替换要输入到色度分量中的深度值；换句话说，预测误差可输入到色度分量中。由于深度图不包含许多的细节，因此预测是有效的，并且预测误差具有非常低的高能内容，因此适于被表示为色度。

作为例子，在示出B模式的顶底配置的图8中，双箭头标识通过它们可以内插要被放置在U和V分量上的深度值的深度值对。

在图8中，Y分量的深度采样被标识，这些深度采样可用作用于旨在根据之前的重新定位算法的步骤2和3而用于U和V分量的深度值的预测。通过使用之前的算法的表示法，实际上可计算以下的预测误差：

$D_{\mathrm{\ϵ}}=(4h+\mathrm{1,2}k)=D(4h+\mathrm{1,2}k)-\mathrm{round}\left(\frac{1}{2}\right[D(4h,2k)+D(4h+2,2k)\left]\right)$

$D_{\mathrm{\ϵ}}=(4h+3,2k)=D(4h+3,2k)-\mathrm{round}\left(\frac{1}{2}\right[D(4h+2,2k)+D(4h+4,2k)\left]\right)$

这里，h、k是大于或等于零的整数，它们要在放置在V和U分量之前分别被替换以用于偶数列中对应的深度值。为了避免存储预测误差的分数值，在上式中，预测值被舍入(舍入算子标识整数舍入运算)。必须指出，在本例子中，使用简单的预测子(predictor)，它由在考虑中的像素的上方和下方的行中的两个深度采样之间的平均构成。

预测误差De是具有符号的值。在实际实现中，优选向这样的值添加128的偏移，使得当在范围[0,255]内获得的值饱和(saturation)时，可在无符号的8比特值上表示它们。

因此，在V和U分量上表示无符号的预测误差：

${\tilde{D}}_{\mathrm{\ϵ}}=(4h+\mathrm{1,2}k)=D_{\mathrm{\ϵ}}(4h+\mathrm{1,2}k)+128$

${\tilde{D}}_{\mathrm{\ϵ}}=(4h+3,2k)=D_{\mathrm{\ϵ}}(4h+3,2k)+128$

为了简化，在上式中，从0-255范围中修剪(clip)或饱和值的步骤被省略。

在接收时，在内插(例如根据上述的技术)缺失采样(在图中由字母“X”标识)之前，将通过逆转上式重构预测的深度值：

$D(4h+\mathrm{1,2}k)=\mathrm{round}\left(\frac{1}{2}\right[D(4h,2k)+D(4h+2,2k)\left]\right)+{\tilde{D}}_{\mathrm{\ϵ}}(4h+\mathrm{1,2}k)-128$

$D(4h+\mathrm{3,2}k)=\mathrm{round}\left(\frac{1}{2}\right[D(4h+2,2k)+D(4h+4,2k)\left]\right)+{\tilde{D}}_{\mathrm{\ϵ}}(4h+3,2k)-128$

预测误差舍入误差导致重构误差，与通过使用标准编码器获得的量化误差相比，重构误差具有可忽略的影响。

图9示出通过使用上述系统获得的复合图像的一个例子。可以看到通过图像表示的U和V分量的低高能内容，由于打印近似，U和V分量看起来是均匀的。检查中的方案的优点实际上在于，它产生色度分量的平均幅度的减小，由此更多地反映常规YUV信号的高能分布，其中，与U和V分量相比，高能内容主要集中于Y分量上。还应注意，U和V分量是“差”信号(准确地说，它们被称为色差信号)，因此它们具有零平均值，使得在8比特表示中，值128与零对应，而小于128的值被视为负、且大于128的值被视为正。MPEG压缩算法基于U和V信号的这种性能；因此，如果所述信号不表示任何差(如在之前的实施例中)，那么MPEG压缩算法可能证明是不太有效的。

尽管已在顶底格式的情况下通过使用仅具有两个采样的内插程序例示了上述的方法，但是显然地，它可扩展到到目前为止所描述的所有方案以及其它的内插方法。

具有平均和与差的顶底4:2:0方案

根据允许减小U和V分量的高能分布的另一变型，深度图的值被分别用通过使用亮度和色度分量表示的平均和与差替换。本变型的优点与之前方案的相同，原因是在该情况下也是表示差的信号输入到U和V中。

如图10和以下所示，深度图的各2×2块的采样变换为平均和与差，这里，a、b、c和d表示深度图的2×2块中的深度值。系数w0、w1是平均值并且必须被舍入到最近的整数(或者截断到较低的整数)，使得它们可接着在无符号的8比特采样上被表示。

对于差系数w2、w3发生相同的处理；而且，由于后者具有符号，因此，它们的绝对值饱和到128，使得通过添加128的偏移可在8比特采样上表示它们的值。

图10还示出了如何从平均和与差重构深度采样，如以下所引用的那样。

由于所采用的舍入，深度值a、b、c、d的重构精确为小于+/-1的误差。

为了获得减小尺寸的颜色图像(例如顶底情况下的W×H/2)，有必要舍弃4个系数中的1个。所选择的3个系数可接着根据上述技术中的一个布置在Y、U、V分量上。

通过以下实现这一点：保持将输入到Y分量中的两个平均和w0和w1，以及根据两个值w2或w3中的哪一个确保根据下式的重构误差最小而将差wd＝w2或差wd＝w3移动到U、V。

通过选择w2或w3而引入的重构误差可按如下被评估。计算在wd＝w2的情况下获得的平均误差e(wd＝w2)和在wd＝w3的情况下获得的平均误差e(wd＝w3)；然后将被选择用于传送的系数wd是如下使误差最小化的一个：

e(wd＝w2)＝|w1+w2-b|+|w1-w2-d|

e(wd＝w3)＝|w0+w3-a|+|w0-w3-c|

为了获得具有W×H/2分辨率的颜色图像，可遵从已描述的相同的算法。

对于各行标记j＝0、2、4……且各列标记i＝0、2、4……

-计算2×2块的深度图位置j,i中的系数w0、w1、w2、w3

-确定最佳平均差wd

-根据式Y(j/2,i)＝w0和Y(j/2,i+1)＝w1向Y分量指定平均和

-如果标记j除以4的余数等于0，那么根据式U(j/2,i)＝wd指定平均差

-否则(如果标记j不是4的倍数)，V(j/2,i)＝wd

图11示出了通过使用顶底配置中的上述系统而获得的颜色图像的一个例子，顶底配置通过用平均和与差输入两个深度图而获得。可以看出，由于与值wd相关联的非常低的动态，因此在该情况下，色度分量也收集低的高能内容。

在重构时，使用平均和与差的技术将不需要3×3内插器滤波器，原因是应用允许从系数w0、w1和wd重构初始值a、b、c和d的逆转式将是足够的：

a≈w0+wd

b≈w1+wd

c≈w0-wd

d≈w1-wd

得到的重构误差依赖于平均差wd的选择以及所有系数的整数表示误差。试验已经表明，在具有超过50dB的峰值信号噪声比的基准深度图上，这样的误差是可忽略的。

具有子带变换的方案

可通过采用子带方法来一般化之前的基于深度值的平均值和差的技术。通过使用域变换(例如2×2DCT类型的)，即Walsh-Hadamard变换，或者使用在文献中已知的任何小波变换的仅一个层(level)，由深度图DM1(和DM2)构成的图像分成在行和列两者上都具有减半的分辨率、并且因此具有W/2×H/2分辨率的四个子带。这样的子带一般地从左到右以及从顶到底被指示为LL、LH、HL和HH子带。图12示出了通过单独地向深度图的行和列应用Walsh-Hadamard变换而获得的子带变换的一个例子。可以看出，变换在LL子带(在左上部分中)中集中视频信号的大部分的能量。对于包含很少细节的图像，如在深度图的情况中，HH子带收集非常小的能量。还应注意到，HL、LH和HH子带的系数具有符号，并且，如在针对之前的方案所描述的平均差的情况，必须使用128的偏移以表示值0。想要在无符号的8比特采样上表示变换系数，还将有必要进行近似舍入，近似舍入根据所使用变换的类型可改变。

由于深度图的分辨率必须在存在变换域的情况下被减小，因此一些系数可被消除：最佳的选择是去除两个深度图的整个HH带，由此引入在重构时的质量损失。重构当然是通过应用逆变换实现，其中，去除的系数被假定为零。

为了通过从左深度图的LL’、LH’和HL’子带以及从右深度图的LL”、LH”和HL”子带开始来构建具有W×H分辨率的单个YUV图像，遵从图13所示的示意图，其中，DM1’和DM2’指示两个深度图DM1和DM2的Hadamard变换。该图示出了如何在亮度分量Y的四个象限上布置LL’、LH’和LL”、LH”子带的系数。具体地，已选择将Y分量的上半部分与左深度图的LL’和LH’子带相关联，以及将Y分量的下半部分与右深度图的LL”和LH”子带相关联。为了完成YUV图像的重构，将有必要在U和V分量上重新布置HL’和HL”子带的其余的W/2×H/2系数，而不会由于三个分量的不对准而创建错误(false)边缘。图13示出了如何获得期望的结果。如图13所示，左深度图的HL’子带被再分为沿两个方向通过因子2而欠采样的4个版本；实际上，各2×2块的系数被放置在4个欠采样的图像上。因此，获得HL’子带的具有W/4×H/4分辨率的、被指定为HLa’、HLb’、HLc’和HLd’的4个图像。获得的前两个图像在U分量的上部中被相互紧挨着布置，占据了等于H/4×W/2采样的区域。HL’子带的两个其余的图像被复制(相互紧挨着)到V分量的上部中。最终对右深度图的HL”子带采用相同的程序，但W/4×H/4图像被复制到U和V分量的下半部分中。该方法允许在具有减半的分辨率的U、V分量和Y分量之间保持空间相干性。

在图14中示出通过使用Walsh-Hadamard变换获得的颜色图像的一个例子。同样，在该情况下，与U和V分量相关联的高能分布非常低，这在视频信号的压缩性上是有益的。

电视制作链(YUV4:2:2格式)中的两个深度图的合成

在电视制作链中，通常使用4:2:2YUV格式。与4:2:0格式的情况相比，用于将两个图填装到单个颜色图像中的方案更简单，原因是色度信息(U、V)存在于50％的像素中。因此，作为整体，每像素16比特是可用的(8个用于Y，8个用于U、V)，因此可以在没有任何信息损失的情况下使两个图输入到颜色图像中，并因此不需要在接收时内插缺失的像素。

第一方案可由在Y上传送一个图并在U和V上传送另一图构成。然而，该方案不是最佳的，原因在于视频压缩算法通常基于亮度与色度相关的假定，在真实的颜色图像中就是这种情况，而在检查的方案中，Y属于一个图像且U、V属于不同的图像。因此，同样在4:2:2情况下，通过使用与针对4:2:0YUV情况所采用的机制类似的机制，按照为了确保构造具有相关的Y、U、V分量的图像的方式重新布置采样将是更好的。

并排4:2:2方案

参照图15，可容易地理解颜色图像的创建。在第一像素行中，以与图2a总体类似的方式，原始深度图的奇数列(1、3、5……)中的像素被转移到颜色图像的偶数列中的像素的U和V。由于与4:2:0的情况不同，颜色图像的偶数列(0、2、4……)的像素具有色度，因此，在第二像素行中出现与第一行相同的情况，即，原始深度图的奇数列中的像素被转移到颜色图像的偶数列中的像素的U和V。因此，将不再有要在接收时通过内插被重构的任何缺失的像素(在图2a上标有叉形记号)。

同样的也适用于B模式。在这种情况下，在所有的行(偶数和奇数)中，出现图4中针对像素行0所示的操作，因此不再有要在接收时通过内插重构的任何缺失的像素。

顶底4:2:2方案

作为例子，在图16中示出了一种创建颜色图像的可能的方式。奇数行中舍弃的像素被重新分配在偶数行中的像素的U和V上，例如由箭头所指示的。也可通过其它基本上等同的方式实现重新分配，这里出于简洁的目的不再描述。

减小色度分量的并排和顶底方案，4:2:2格式

之前的方案允许将深度图的一些值表示为颜色图像的色度分量，同时确保Y、U和V分量之间的良好的空间相干性。在普通图像(具有真实的颜色)的情况下，色度分量由低的高能内容、并因此由低的熵表征，并可容易地通过使用已知的技术被压缩。相反，之前方案的U、V分量由具有与亮度相同的高能内容的像素构成。为了解决该问题，可以用相对于通过使用在Y分量上表示的深度值而预测(或内插)的值的差值替换要输入到色度分量中的深度值；换句话说，预测误差可输入到色度分量中。由于深度图不是非常详细的，因此，预测是有效的，并且预测误差具有非常低的高能内容，并因此适于表示为色度。

作为例子，在图17中，双箭头标识两个深度值，通过这两个深度值，可以内插要放置在图16的顶底配置中的U和V分量上的深度值。在图16的表示中，奇数行中的采样通过从其上方和下方的行中的采样开始被内插。这样的值在接收颜色图像时也是可用的，原因是它们位于Y分量上。此时，可以计算并输入由内插器做出的预测误差作为U、V分量的值(根据图16中的细箭头所示出的布置)。这样的值通过使用已描述的相同的技术表示为无符号的整数。通过U、V分量传输的预测误差最终将允许在接收时通过向从Y分量内插的值施加对应的校正而重构奇数行中的深度值。

具有平均和与差的顶底4:2:2方案

同样，在4:2:2情况下，允许减少U和V分量的高能分布的另一变型使得用分别通过使用亮度和色度分量表示的平均和与差替换深度图的值。该变型的优点与前面的方案相同，原因在于在该情况下，也是表示差的信号输入到U和V中。如图10所示，深度图的各2×2块的采样被变换成平均和与差，这里，a、b、c、d表示深度图的2×2块中的深度值。

相对于4:2:0情况的仅有的不同在于，使用4:2:2方案，舍弃4个系数中的1个不再是必要的，原因是两个差系数均可输入到U和V中。因此，在接收时，除了通过平均和与差的无符号整数表示所引入的+/-1的精度损失之外，图将被重构得没有误差。

具有子带变换的方案，4:2:2格式

通过向任何子带变换应用仅一个层，由深度图形成的图像被分成在行和列两者中均具有减半的分辨率的四个子带，即其具有W/2×H/2分辨率。这样的子带一般地从左到右以及从顶到底表示为LL、LH、HL和HH子带。当使用4:2:2YUV格式时，可通过使用图18所示的程序在单个颜色图像中表示两个深度图的变换，这里，DM1’和DM2’表示两个深度图DM1和DM2的子带变换。与对4:2:0YUV格式提出的类似技术(参见图13)不同，在该情况下，可以设定DM1’和DM2’的所有四个子带。在这里作为例子所提出的方案中，形成顶底颜色图像。U、V分量以这样的方式被构造，使得通过输入通过列欠采样的HL和HH子带而保持与Y的对应图像的空间相关性；具体地，偶数列输入到U分量中，而奇数列输入到V分量中。

输入仅一个图

应当注意，本发明也适用于仅存在一个深度图的情况。在这种情况下，这里提出的技术允许构造与原始深度图相比具有减半的分辨率(通过行或列)的颜色图像。

完整的生成和重构系统

这里提出的方案可用于向可视化系统发送一对立体视频序列连同相应的深度图，因此允许合成任何中间视点。

图19a和19b示出了使用称为平铺格式的帧填装格式的完整生成、重构和可视化系统的例子，生成侧与重构和可视化侧分开。

具体地，在提出的系统中，通过采用这里提出的技术中的一种，在图中指定为左深度图DL(Depth Left)和右深度图DR(Depth Right)(可能通过将具有2W×2H尺寸的两个视图的两个深度图欠采样到4:1而获得)的具有W×H分辨率的两个深度图由称为“深度合并器”的设备合并成具有W×H分辨率的单个4:2:0YUV颜色图像。然后，平铺格式多路复用器设备通过从具有2W×2H分辨率的两个立体图像和具有W×H分辨率的相应一对深度图开始构建平铺格式复合帧。该对深度图准确地占据由帧填装格式留下的在右下角中的可用空间(参见图1)。因此获得具有3W×3H分辨率的单个图像，该图像可传输立体信号的所有分量。假定W＝640且H＝360，将产生具有1920×1080分辨率的平铺格式图像，该图像与称为1080p的高清视频格式相兼容。由平铺格式图像构成的视频信号因此变得与用于编码、传送或传输1920×1080视频信号的任何构架兼容。

可能在其它处理(例如与其它内容的多路复用、调制等)之后，已知的编码器(例如MPEG4或HEVC)可有效地压缩由平铺格式多路复用器产生的立体视频流，用于在通信信道上传送。作为替换方案，编码流可由写单元存储到任何存储部件(易失性或非易失性半导体存储器、光电子介质等)中，用于将来的实现。

在接收器侧(参见图19b)，从通信信道接收或者从存储介质读取的立体视频流被解码并发送到平铺格式解多路复用器，该解多路复用器提取具有2W×2H分辨率的该对立体图像L和R和在生成时由深度合并器产生的颜色图像。称为深度分离器的分离单元从所述图像提取具有W×H分辨率的一对颜色深度图DL和DR，所述颜色深度图可由称为深度上采样器(up-sampler)的简单的已知内插设备而扩展到它们原始的2W×2H尺寸。视图合成器设备计算R与L之间的中间视图，用于通过自立体设备的可视化。

应当注意，用于生成(1500)和重构(1550)通过向深度图应用本发明而获得的立体视频流的装置的描述可受到许多变型。例如，可实际上由同一物理设备实施深度合并器和平铺格式多路复用器的功能；在重构侧，可由同一装置或者由两个不同的装置实施立体图像的合成和可视化。

重构操作

为了根据本发明重构深度图，实施和根据上述变型的用于生成颜色图像的操作相逆转的操作。

具体地，用于通过从由多个分量(Y、U、V)构成的颜色图像开始重构至少一个深度图(DM1、DM2)的方法使得取自亮度分量(Y)的第一组像素、取自色度分量中的一个(U)的第二组像素和取自所述颜色图像(Y、U、V)的另一色度分量(V)的第三组像素输入到深度图中。

优选地，通过重新复制第一、第二和第三组的像素，所述至少一个深度图的所有像素被获得；或者，通过重新复制第一、第二和第三组的像素，深度图的一些像素被获得，并且，通过使重新复制的像素经受内插操作，缺失的像素被获得。

在一些可能的变型中，第二和第三组(U和V)包含关于内插值的差，使得在重构时将有必要首先计算内插值并然后施加从U和V获得的校正。

在一些可能的变型中，该方法包括用取自颜色图像的第一、第二和第三组的像素的值(w0、w1、wd)的和或差替换取自颜色图像的第一、第二和第三组的像素的所述值的步骤，这允许重构要被复制到深度图(DM1、DM2)的像素块中的值(a、b、c、d)。

在进一步可能的变型中，在重新复制颜色图像的分量(Y、U、V)的各组像素之后，该方法进行和在生成阶段所实施的域变换相逆转的域变换以获得所述深度图(DM1、DM2)。

根据本发明的用于通过从由Y、U、V分量构成的颜色图像开始而重构至少一个深度图(DM1、DM2)的装置包括用于将取自亮度分量(Y)的第一组像素、取自色度分量中的一个(U)的第二组像素和取自所述颜色图像(Y、U、V)的另一色度分量(V)的第三组像素输入到所述至少一个深度或差异图中的部件。

在所述装置中，优选地，第一、第二和第三组的像素覆盖所述至少一个深度或差异图的所有像素。

作为替换方案，第一、第二和第三组的像素覆盖所述至少一个深度或差异图的一些像素，并且，通过使重新复制的像素经受内插运算而获得的像素被输入到其余的像素中。

该装置可重构具有相同的W×H尺寸的两个深度图DM1、DM2，并且，在颜色图像Y、U、V中，亮度分量Y具有与两个深度或差异图DM1、DM2相同的W×H尺寸。

优选地，该装置包括用于将选自像素分组的像素的值相对于预测的或内插的基准值进行求和或求差、以获得第二和第三组的像素的部件，所述基准值是从属于第一组的像素的值而获得的。

优选地，该装置包括用于用取自颜色图像的第一、第二和第三组的像素的值w0、w1、wd的和与差替换该取自颜色图像的第一、第二和第三组的像素的值，以重构要被复制到所述至少一个深度图DM1、DM2的像素块中的值a、b、c、d的部件。

优选地，该装置包括用于在重新复制颜色图像的所述分量Y、U、V的各组像素之后进行和在生成阶段所实施的域变换相逆转的域变换以获得所述至少一个深度图DM1、DM2的部件。

在深度图被输入到平铺格式复合帧中的情况下，在所有的上述变型中，获得用于生成、传输和在所有当前和将来的类型的显示器上再现3D内容的通用格式。

在2D再现设备的情况下，设备的视频处理器将简单地舍弃可在经解码的视频帧中存在的深度图DM1和DM2及图像R，并且将在相关联的可视化设备上显示经受扩缩的、仅图像L的序列。

这同样适用于其中用户已激活2D显示模式的3D再现设备的情况。

根据播放器是否向用户提供调整(减小)场景深度的可能性，已被激活3D显示模式的3D再现设备可表现两种不同的行为。在后一种情况下，视频处理器将使用图像L(左)和R(右)的两个序列以生成三维效果。在前一种情况下，视频处理器将使用包括在与各对立体图像R和L相关联的复合帧中的深度图(一个或两个)以生成L与R之间的中间视图，由此获得具有低于可从L和R得到的可变深度的三维图像。

最后的应用情况由自立体播放器表示，该自立体播放器需要非常大量的视图(几十倍)以为位于显示器前方的空间中的不同点处的观察者生成三维效果。在该情况下，视频处理器将使用包括在复合帧中的深度图(一个或两个)连同图像L和R自身，以合成一系列的其它图像。

总之，再现设备的视频处理器可包括适于向显示器发送两个序列的图像的部件，两个序列中的至少一个由通过从所传送的视图中的至少一个以及从至少一个深度图开始而合成的图像构成。在该情况下，优选地还包括适于给予观察者选择与更加接近或较不接近的视点有关的图像序列的可能性的部件，以能够改变深度感觉。

再现设备的视频处理器还可包括适于生成与进一步的视图对应的进一步图像的部件，使得位于空间中的不同点处的观察者可通过相关联的自立体显示器而看到不同序列的图像。

目前提出的格式均不提供这样的使用灵活性和广度，并同时仍在水平和垂直分辨率的平衡以及向立体图像以及向相关联的深度图指定适当的分辨率方面确保非常良好的再现质量。

可部分地在接收器设备上并部分地在可视化设备(播放器)上实施上述重构操作。可有利地通过包括用于执行方法的一个或多个步骤的编码部件的计算机程序实现本发明。因此，可以理解，保护范围扩展到所述计算机程序以及包括所记录的消息的计算机可读部件，所述计算机可读部件包括用于在由计算机执行所述程序时实现该方法的一个或多个步骤的程序编码部件。

在不偏离本发明的保护范围的情况下，上述实施例的例子可经受变型，包括本领域技术人员已知的所有等同设计。

本说明书涉及本发明的实施例，其中，对颜色图像使用的采样系统为最广泛的4:2:0或4:2:2。然而，其类似地适用于任何其它的采样系统，诸如4:4:4、4:1:1、4:1:0，例如通过在必要的情况下执行用于将图像欠采样到初始灰度级的操作。

但是，在不偏离本发明的保护范围的情况下，各种优选实施例中所示出的要素和特征可被组合在一起。

根据以上的描述，本领域技术人员将能够在不引入任何其它的构造细节的情况下实现本发明的目标。

Claims (22)

1.一种用于从至少一个深度或差异图(DM1、DM2)开始、生成由多个分量(Y、U、V)构成的颜色图像的方法，其中，所述至少一个深度或差异图(DM1、DM2)的第一组像素输入到所述颜色图像的亮度分量(Y)中，并且其中，所述至少一个深度或差异图(DM1、DM2)的第二组和第三组像素输入到所述颜色图像的两个色度分量(U、V)中。

2.根据权利要求1的方法，其中，以为了确保所述颜色图像的亮度分量(Y)和色度分量(U、V)之间的空间相关性的方式，做出对所述各组的像素将被输入到所述亮度分量(Y)和色度分量(U、V)中的位置的选择。

3.根据权利要求1或2的方法，其中，所述第一组、第二组和第三组的联合包括所述至少一个深度或差异图(DM1、DM2)的所有像素。

4.根据权利要求1或2的方法，其中，所述第一组、第二组和第三组仅包括所述至少一个深度或差异图(DM1、DM2)的所有像素的一部分。

5.根据前面的权利要求中的任一项的方法，其中，通过使用并排技术或顶底技术，W×H尺寸的两个深度或差异图(DM1、DM2)输入到相同尺寸的颜色图像中。

6.根据前面的权利要求中的任一项的方法，其中，所述第二组和第三组的属于一个像素分组的像素用相对于预测值或内插值的差值被替换，所述预测值或内插值从属于所述第一组的像素的值获得。

7.根据权利要求1～4中的任一项的方法，包括以下的步骤：用所述至少一个深度或差异图(DM1、DM2)的属于相连像素(a、b、c、d)分组的像素的和或差(w0、w1、w2、w3)替换所述至少一个深度或差异图(DM1、DM2)的属于相连像素(a、b、c、d)分组的像素，这通过将所述和放置到亮度分量(Y)中并仅选择所述差之一(wd)以交替放置到色度分量(U、V)中来完成。

8.根据权利要求1～4中的任一项的方法，包括以下的步骤：用所述至少一个深度或差异图(DM1、DM2)的属于相连像素(a、b、c、d)分组的像素的和或差(w0、w1、w2、w3)替换所述至少一个深度或差异图(DM1、DM2)的属于相连像素(a、b、c、d)分组的像素，这通过将所述和放置到亮度分量(Y)中、将两个差中的第一个差放置到色度分量(U)中并将两个差中的第二个差放置到另一色度分量(V)中来完成。

9.根据前面的权利要求中的任一项的方法，包括以下的步骤：在将所述各组的像素输入到颜色图像的所述分量(Y、U、V)中之前使所述至少一个深度或差异图(DM1、DM2)经受域变换。

10.一种用于生成视频流的方法，所述视频流包括通过使用根据前面的权利要求中的一项的方法获得的颜色图像的序列。

11.一种用于根据权利要求1～9中的任一项的使用平铺格式帧填装格式生成视频流的方法，其中，颜色图像输入到没有与两个立体视图有关的图像的像素的帧部分中。

12.一种包括图像处理部件的装置，所述图像处理部件适于生成包括通过使用根据前面的权利要求中的一项的方法获得的颜色图像的序列的视频流。

13.一种用于通过从由多个分量(Y、U、V)构成的颜色图像开始来重构至少一个深度或差异图(DM1、DM2)的方法，其中，通过从亮度分量(Y)开始而获得的第一组像素、通过从色度分量中的一个(U)开始而获得的第二组像素和通过从所述颜色图像(Y、U、V)的另一色度分量(V)开始而获得的第三组像素输入到所述至少一个深度或差异图中。

14.根据权利要求13的方法，其中，所述第一组像素取自亮度分量，所述第二组像素取自色度分量中的一个(U)，并且所述第三组像素取自所述颜色图像(Y、U、V)的另一色度分量(V)。

15.根据权利要求13的方法，其中，所述第一组像素取自亮度分量，而所述第二组或第三组通过对分别取自色度分量中的一个或者另一个的像素的值和基准值进行求和而获得，其中，分别取自色度分量中的一个或者另一个的像素的值表示相对于通过从属于所述第一组的像素的值的内插而获得的所述基准值的差。

16.根据权利要求13、14或15的方法，其中，通过获取所述第一组、第二组和第三组像素来获取所述至少一个深度或差异图(DM1、DM2)的所有像素。

17.根据权利要求13、14或15的方法，其中，通过获取所述第一组、第二组和第三组像素来获取所述至少一个深度或差异图(DM1、DM2)的一些像素，并且，借助于内插操作从重新复制的像素获取缺失的像素。

18.根据权利要求14～17中的任一项的方法，其中，通过获取所述第一组、第二组和第三组像素来获取具有与所述颜色图像(Y、U、V)相同的尺寸(W×H)的两个深度或差异图(DM1、DM2)。

19.一种用于通过从由多个分量(Y、U、V)构成的颜色图像开始来重构至少一个深度或差异图(DM1、DM2)的方法，包括以下的步骤：出于重构要被复制到所述至少一个深度或差异图(DM1、DM2)中的值(a、b、c、d)的目的，在接连的位置中线性组合取自所述多个分量(Y、U、V)的值(w0、w1、wd；w0、w1、w2、w3)。

20.根据权利要求13～19中的任一项的方法，其中，在已经从颜色图像的所述分量(Y、U、V)获得所述各组的像素之后，为了获得所述至少一个深度图(DM1、DM2)，进行和在生成阶段所实施的域变换相逆转的域变换。

21.一种用于根据权利要求13～20中的任一项的使用称为平铺格式的帧填装格式重构视频流的方法，包括以下的步骤：通过从存在于没有与两个立体视图有关的图像的像素的帧部分中的颜色图像开始来重构至少一个深度或差异图(DM1、DM2)。

22.一种用于通过从由Y、U、V分量构成的颜色图像开始来重构至少一个深度或差异图(DM1、DM2)的装置，包括用于实现根据权利要求13～21中的任一项的方法的部件。