CN102047669B

CN102047669B - 具有深度信息的视频信号

Info

Publication number: CN102047669B
Application number: CN2009801206329A
Authority: CN
Inventors: B·G·B·巴伦布鲁格; W·A·H·罗伦
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2008-06-02
Filing date: 2009-05-27
Publication date: 2013-12-18
Anticipated expiration: 2029-05-27
Also published as: JP2011523743A; TW201004313A; US20110074924A1; CN102047669A; EP2297971A1; KR20110025796A; WO2009147581A1

Abstract

一种用于产生代表初级视图的三维场景的信号(1300)的系统(100)，包括：序列生成器(104)，其用于生成限定初级视图的三维场景的表示的至少一部分的条纹序列；以及信号生成器(106)，其用于生成包含所述条纹序列的视频信号。每个条纹依次代表图像信息的矩形区域，该图像信息包含限定图像信息的矩形区域的颜色、深度和位置的数据元素，其中每个条纹的颜色和深度数据元素从场景中至少一个对象的表面轮廓信息导出，并且位置数据元素从初级视图内所述至少一个对象的表面轮廓信息的位置导出。在该信号中，所述条纹序列的至少一个条纹代表选自场景中所述至少一个对象的被遮挡区域或侧面区域的所述至少一个对象的表面轮廓信息。

Description

具有深度信息的视频信号

技术领域

本发明涉及具有深度信息的视频信号。本发明还涉及用于产生具有深度信息的视频信号以及再现具有深度信息的视频信号的方法和系统。

背景技术

自从出现显示设备以来，真实感3-D显示设备成为许多人的梦想。已经研究了应当导致这种显示设备的许多原理。一种这样的原理是仅基于双眼视差的3-D显示设备。在这些系统中，观察者的左右眼感知到不同视角，并且因而观察者感知到3-D图像。这些概念的综述可以见诸D.F.McAllister(编者)的著作“Stereo Computer Graphics and Other True 3-DTechnologies”Princeton University Press，1993。例如，快门式眼镜可以与例如CRT结合使用。如果奇数帧被显示，那么遮挡左眼的光，并且如果偶数帧被显示，那么遮挡右眼的光。

无需诸如眼镜之类的附加器具而显示3-D的显示设备称为自动立体显示设备。例如，提出了多视图自动立体显示设备。在US6064424公开的显示设备中，使用了倾斜的双凸透镜，其中双凸透镜的宽度大于两个子像素。通过这种方式，存在彼此紧邻的若干图像并且观察者可以有些自由地移向左右。其他类型的自动立体显示设备在本领域中是已知的。

为了在多视图显示设备上产生3-D印象，必须再现来自不同虚拟视点的图像。这要求存在多幅输入视图或者一些3D或深度信息。该深度信息可以被记录、从多视图相机系统产生或者从常规2D视频材料产生。为了从2D视频产生深度信息，可以应用若干类型的深度线索：例如从运动获得的结构、聚焦信息、几何形状以及动态遮挡。优选地，产生稠密深度图，即每像素一个深度值。该深度图随后用于再现多视图图像以便给予观察者深度印象。

现有的视频连接被设计成交换图像序列。典型地，图像由所述连接两侧(即发送器和接收器)的二维像素值矩阵表示。这些像素值与亮度和/或颜色值相应。发送器和接收器都知道数据的语义，即它们共享相同的信息模型。典型地，发送器与接收器之间的连接适应该信息模型。这种数据交换的一个实例是RGB链接。发送器和接收器中的图像数据以包括三元组的值(R(红色)，G(绿色)和B(蓝色))的数据格式存储和处理，这些值一起形成不同的像素值。图像数据的交换借助于三个相关但分离的数据流执行。这些数据流借助于三个通道传输。第一通道交换红色值，即代表红色值的比特序列，第二通道交换蓝色值并且第三通道交换绿色值。尽管三元组的值典型地串行交换，但是信息模型使得预定数量的三元组一起形成图像，这意味着这些三元组具有各自的空间坐标。这些空间坐标与三元组在代表图像的二维矩阵中的位置相应。基于这种RGB链接的标准的实例是DVI(数字视频接口)、HDMI(高清晰度多媒体接口)以及LVDS(低压差分信令)。然而，在3-D的情况下，深度相关数据也必须与视频数据一起交换。

WO2006/137000A1公开了一种图像数据以及与图像数据有关的另外的数据(例如深度数据)的组合交换的方法，图像数据由图像数据元素的第一二维矩阵表示，并且所述另外的数据由另外的数据元素的第二二维矩阵表示。该方法包括将第一二维矩阵和第二二维矩阵组合成数据元素的组合二维矩阵。然而，上面的方法在提供的信息方面在一定程度上是受限的，并且不能提供用于精确再现的足够信息。

发明内容

有利的是具有改进的交换图像数据的方式。为了更好地解决该关注的问题，在本发明的第一方面中，给出了一种用于产生代表初级视图的三维场景的信号的系统，该系统包括：

序列生成器，其用于生成限定初级视图的三维场景的表示的至少一部分的条纹序列，每个条纹代表图像信息矩形，该图像信息包含限定矩形区域的颜色、深度和位置的数据元素，其中每个条纹的颜色和深度数据元素从场景中至少一个对象的表面轮廓信息导出；位置数据元素从初级视图内所述至少一个对象的表面轮廓信息的位置导出，并且条纹序列的至少一个条纹代表选自场景中所述至少一个对象的被遮挡区域或侧面区域的所述至少一个对象的表面轮廓信息；以及

信号生成器，其用于生成包含所述条纹序列的视频信号。

每个条纹与初级视图内的图像信息的矩形区域相应，从而一个条纹可以与单个像素、线形式的一维像素阵列或者二维像素阵列相应。因此，尽管条纹与图像信息的矩形区域相应，但是由于包含深度元素，条纹代表的实际数据可以描述三维结构。

由于条纹包含指示初级视图内图像信息的矩形区域的位置的数据元素，因而更灵活地将遮挡或侧面区域信息容纳到视频信号中变得可能。任何有关可能对于系统可用的场景部分的信息可以插入到一个或多个这样的条纹中。信号的类似视频的特性可以在大的程度上得到保存，因为条纹包含指示颜色和深度的熟悉的数据元素。因此，这些数据元素可以以视频编码领域中已知的方式编码。这允许解决向后兼容性问题。它也允许对于包含在条纹内的信息应用标准视频压缩方法。

由于条纹包含指示条纹位置的、可以为包含在颜色、深度和位置的多元组中的数据元素形式的数据元素，因而改变条纹之间或者条纹内的采样密度变得容易。这允许包含用于视频信号中被遮挡和/或侧面区域的图像信息。此外，可以以提高的分辨率存储接近平行于初级视图的观察方向的对象部分。在针对初级视图编码的常规图像中，这些侧面区域可能被遮挡或者是定义不清的。因此，其中这些部分被存储的提高的分辨率可以用来产生这种侧面对象部分的复原被改进的立体视图。

也可以包含后面区域的信息以便进一步增强立体视图。后面区域的信息也提高了环顾对象的可能性：场景可以从非常不同的视角观察，例如以便允许观察者虚拟地移动通过场景。

如上所述，条纹限定了初级视图内的图像信息的矩形区域，在这里，矩形区域被理解为包括包含二维区域、一维区域和/或点的矩形区域。二维区域的实例是等距样本的矩形阵列，一维区域的实例是等距样本的一维阵列。

应当指出的是，尽管条纹是初级视图内的图像信息的矩形区域，但是条纹实际上可以包括超出初级视图内可见的来自潜在三维场景的更多信息。这事实上是条纹表示的强度，因为该附加的信息在再现不同视图时可能变得可见。

基于线的一维表示具有以下优点：它允许表示更奇怪形状的对象而没有不必要的存储损失。然而，二维(即基于多线的)表示具有以下优点：它允许改进对于条纹数据的压缩，因为可以使用例如基于块的压缩方案利用条纹内的空间冗余性。

可以将数据元素分组为包含颜色、深度和位置数据元素的多元组。在以同一分辨率表示颜色和深度的情况下，可以使用利用多元组(rgb，z，p)的表示，其包括代表像素颜色数据元素的红色、绿色和蓝色值、代表像素深度数据元素的z值以及代表像素位置数据元素的p值。

在深度信息被子采样并且以颜色分辨率的四分之一表示的情况下，可以使用利用多元组(rgb₁，rgb₂，rgb₃，rgb₄，z，p)的表示。技术人员应当清楚的是，RGB数据元素的使用仅仅是示例性的，并且可以改而使用诸如YUV或者子采样的YUV(4:2:0)之类的其他颜色数据元素。在前面的多元组中，单个p值和z值用来指示颜色和深度信息的位置，其中颜色和深度数据元素的实际位置可以从p值导出。当使用基于线的条纹时，p值可以代表沿着线相对于线的起始的偏移量。然而，在多线条纹的情况下，p值本身可以代表x和y坐标，或者可替换地线号以及相对于线的起始的偏移量。

上面的实例对于所有坐标仅仅包括单个p值。可替换地，当带宽/存储量不那么关键时，可以使用更精心设计的多元组，例如：

(rgb₁，rgb₂，rgg₃，rgg₄，z，p_rgb1234，p_z)， (1)

(rgb₁，rgb₂，rgb₃，rgb₄，z，p_rgb13，p_rgb24，p_z)， (2)

(rgb₁，rgb₂，rgb₃，rgb₄，z，p_rgb1，p_rgb2，p_rgb3，p_rgb4) (3)

(rgb₁，rgb₂，rgb₃，rgb₄，z，p_rgb13，p_rgb24)， (4)

(rgb₁，rgb₂，rgb₃，rgb₄，z，p_rgb1，p_rgb2，p_rgb3，p_rgb4，p_z) (5)其中为更多和/或为所有各颜色和深度数据元素提供位置信息。

例如，上面的多元组(1)包括两个p值，一个用于颜色数据元素，一个用于深度数据元素。多元组(2)依次代表颜色数据元素在两条线上散布，并且其中颜色样本点1和2在顶部线上且样本点3和4在底部线上位于正下方的情形。由于点1和3在其各自的线内具有相同的偏移量，因而在这里单个p值就足够了。多元组(3)和(4)依次不包含用于深度数据元素的单独的p值。在多元组(3)和(4)中，用于深度数据元素的p值可从颜色数据元素的p值导出。最后，多元组(5)允许完全控制采样点在初级视图内的图像信息的矩形区域中的位置。

可以将所述信号分裂成第一多元组子集和第二子集，第一多元组子集代表与表示来自初级视图的三维场景的图像的条纹相应的样本，第二子集包含代表遮挡和侧面区域信息的条纹。结果，第一子集的颜色数据元素可以编码成第一数据流，并且第一子集的深度数据元素可以编码成第二数据流。通过这种方式，可以实现与诸如图像和深度之类的常规三维场景表示的兼容性。遮挡或侧面区域信息的颜色、深度和位置数据元素转而可以以单个流或者以多个流编码。

独立权利要求限定了本发明的另外的方面。从属权利要求限定了有利的实施例。

附图说明

本发明的这些和其他方面将进一步参照附图进行阐述和描述，在附图中：

图1为示出用于产生视频信号的系统和显示系统的方面的框图；

图2A示出了产生视频信号的方法的流程图；

图2B示出了再现视频信号的方法的流程图；

图3示出了场景中的对象；

图4示出了从初级视角可见的场景的部分；

图5示出了在初级视图中被遮挡的场景部分的第二层；

图6示出了可以使用条纹序列捕获的场景部分；

图7示出了可以使用条纹序列捕获的场景部分的另一实例；

图8示出了场景的若干视图；

图9示出了硬件架构；

图10A示出了三维场景和相机视点；

图10B示出了依照本发明的条纹序列，其中来自侧面区域的图像信息与代表前视图图像的条纹交织；

图10C示出了依照本发明的条纹序列，其中来自侧面区域的图像信息与前视图图像分开编码；

图11示出了基于线的视频图像

图12A示出了三维场景沿着视频线的横断面；

图12B示出了沿着视频线的轮廓线；

图13示出了沿着轮廓线的点序列；

图14示出了视频流；以及

图15示出了另一视频流。

具体实施方式

近年来，在开发3D显示器以及适合驱动这样的显示器的数据表示方面付出了大量努力。自动立体3D显示器不需要观察者配戴特殊的眼镜(例如红色/绿色眼镜)，而是通常依赖于显示超过两幅视图，这允许用户自由地环顾显示的场景并且感知到深度，因为他们的左右眼“看见”这些不同视图中的两幅视图。由于显示器可以改变显示的视图数量以及还改变其他属性，例如它们可以描绘的深度范围，因而需要与这样的差异无关的数据格式。在MPEG-C部分3中采用了图像和深度格式。

尽管图像和深度格式适合具有适度深度范围能力的第一代3D显示器，但是需要对其扩展以便允许更大的环顾以及更少的所谓遮挡伪像。然而，遮挡伪像也可能出现在其他代的3D显示器中，其可以通过使用改进的图像和深度格式有利地移除。

图1示出了用于产生代表初级视图的三维场景的信号1300的系统100以及用于接收该信号并且从相同或另一视点显示场景的显示系统150。该信号的若干方面在图10-15中示出，在描述系统100和150时将参照图10-15。系统100可以例如在DVD母盘系统、视频广播系统或者视频编缉系统中实现。显示系统150可以例如是电视机，例如LCD显示器或等离子体显示器。该显示系统例如与快门眼镜相结合可以具有立体能力。该显示系统也可以是本领域中已知的例如包括倾斜双凸透镜的自动立体显示器。该显示系统也可以是2D显示器。这种2D显示系统可以通过旋转显示的对象提供3D印象。此外，该2D或3D显示系统150可以提供适应性调节视点的更精心设计的自由度，允许用户移动通过场景。

图10A示意性地示出了包含位于背景平面943之前的立方体944的三维场景，其从沿着如箭头941所示的观察方向的视点成像，此后称为初级视图。由于箭头941垂直于背景平面和立方体前面，因而对于该初级视图感知的二维图像中的像素将由与背景平面部分相应的图像信息的矩形区域S921、S922、S926和S927以及与遮挡背景平面943的一部分的立方体944的前面相应的矩形区域S924组成。应当指出的是，与立方体944侧面相应的图像信息的矩形区域将不包含在这样的二维图像中。图10B示出了代表图10A中所绘的初级视图的三维场景的条纹序列。所绘的序列添加了立方体944的侧面区域的图像信息，它没有添加遮挡数据，即被立方体944遮挡的背景平面943的数据元素。图10B中的条纹序列由7个条纹S921、S922、S923、S924、S925、S926和S927组成。该条纹序列基于从图10A中的箭头941所示的视图观察的三维场景。该条纹序列与沿着图10A中所示的水平扫描方向的左到右、顶至底的扫描路径942相应。

条纹S921和S927代表包含数据元素的图像信息的矩形区域，所述数据元素限定在所述二维图像中分别在立方体944之上和之下的背景平面943部分的颜色和深度。类似地，条纹S922和S925代表分别在立方体944左边和右边的背景平面943部分的图像信息的矩形区域。条纹S923和S925代表包含如下数据元素的图像信息的矩形区域，所述数据元素限定沿着扫描路径942的立方体两侧的颜色和深度。

序列生成器(104)建立的条纹序列可以用来直接(即以扫描路径确定的顺序)产生所述信号。这样做的优点在于，再现线所需的图像信息相对紧密地位于条纹中。

而且，在扫描方向上位置邻近的条纹可以通过将条纹序列分裂，得到三个条纹序列来聚类，所述三个条纹序列为：与S921相应的第一序列，与条纹S922、S923、S924、S925和S926相应的第二序列以及与条纹S927相应的第三序列。这些条纹序列中的每一个可以相对于彼此编码，使得仅需要水平偏移量以指示其各自位置。然而，由图10B中可见，这确实意味着来自背景平面943和立方体944的图像信息将是交织的。

在同一个条纹中，颜色、深度和位置数据元素可以以三值或更多值的多元组的形式一起编码。可替换地，这些不同类型的数据元素中的每一个可以在单独的流中编码，从而对这些不同类型的数据元素进行解复用。通过这种方式，可以获得更像常规图像和深度表示的信号。

图10C示出了允许以更密切地匹配图像和深度格式的方式编码信息的另一表示。通过重新组织来自图10B的条纹序列，有可能产生如下信号：该信号中条纹被排序、使得它们一起形成从初级视图感知的二维图像。事实上，来自这些条纹的信息可以组合成与从图10A中所示的视点和观察方向观察的二维图像相应的新条纹931。然后，将包含来自侧面区域的图像信息的剩余条纹作为附加到条纹931的条纹序列S923和S925编码到信号中。

尽管为了清楚起见在上面的实例中没有编码遮挡信息，但是优选的实施例包含来自侧面区域和遮挡区域的图像信息。通过这种方式，不仅可以对于不同的视图更精确地再现对象的侧面，而且可以利用适当的图像信息填充去遮挡区域。

上面的实例包括在背景平面之前的立方体，然而，本发明也可以应用到更复杂的三维场景。在这种情况下，可能出现这样的情形：对于矩形区域的特定区，不存在可用的图像信息。这可以以各种不同的方式来解决，例如通过对于这些数据元素添加掩模或者透明比特来解决。

使用与覆盖多视频线的数据元素的图像信息的矩形区域相应的条纹(此后称为多线条纹)的优点在于，通过这种方式编码的图像信息可以以考虑像素之间的空间冗余性的方式压缩。后者在使用一定压缩方案时是特别有用的，该压缩方案使用了处理多个数据元素的频域变换，例如8x8DCT。

使用多线条纹的另一优点在于，它允许将不同的采样频率用于颜色信息和深度信息。有可能例如以第一分辨率表示颜色信息RGB并且以第二分辨率(例如以第一分辨率的四分之一)使用深度。

尽管使用多线条纹具有某些优点，但是也可能使用包含单视频线的数据元素的条纹。此后，仅仅为了清楚起见，将主要使用包含单视频线的数据元素的条纹实例进一步阐述本发明。

图11利用视频线1002示意性地示出了视频图像1000。用于图像1000的每条视频线1002的数据1350可以如图14中所示包含在视频流1300中。传统上，每条线1002是直接与显示器像素相应的直线。在下面描述的实施例中，这些线以高度灵活的方式被扩展以包括三维信息。图12A示出了包括对象1102和背景1104的三维场景的截面1100的顶视图。要生成的信号优选地包含从靠近箭头1106的方向的观察方向再现场景图像的信息。视点可以远离场景一定距离，并且未在图中示出。截面1100与可以在再现过程期间在水平视频线1102处变得可见的内容相应。

系统100包括轮廓生成器102，其用于产生在截面1100中可见的至少一部分对象轮廓。这样的轮廓生成器可以以本领域中已知的方式实现，例如使用从运动获得深度的算法或者通过使用超过一个相机记录场景并且应用深度计算技术来实现。这样的算法可能不能够重构完整的轮廓，尤其是对象1102的后侧1108可能在任何图像中都不可见，并且在这种情况下，该部分轮廓信息可能不可用。此外，场景的其他部分可能由于其前面的其他对象而被遮挡。当更多相机位置用来记录场景时，更多轮廓信息可以变得可用。图12B中的轮廓1154指示可能对系统可用的轮廓1150的实例。例如，只有对象1102的轮廓的部分1154可用于包含在信号中。代替轮廓生成器102的是，可以提供输入端以便从别处接收轮廓生成器102生成的信息。

系统100还包括序列生成器104，其用于生成限定视图的三维场景表示的至少一部分的条纹序列。在这里，每个条纹代表图像信息的矩形区域，其包含限定该矩形区域的颜色、深度和位置的数据元素。在该基于线的实施例中，认为矩形区域具有一个数据元素的高度。轮廓上的样本点具有与其关联的各种不同的数据元素，例如可以组织为多元组的颜色、深度和位置。图13中示出的所有样本点都可以对针对特定视图再现的视频线1002产生贡献。

大多数当前的多视图显示器再现多幅视图，其中每幅视图的观察方向仅在各自水平方向上不同。结果，图像的再现通常可以以基于线的方式完成。结果，视频线1002优选地为水平视频线。然而，本发明也可以应用于在竖直方向取向的视频线。

这些样本点1202可以选自场景中的对象的多个轮廓1102段。与样本点关联的数据元素可以指示例如以红色、绿色和蓝色(RGB)分量表示的颜色，或者以本领域技术人员已知的与相应轮廓点处的对象轮廓颜色相应的其他格式表示的颜色。在希望更灵活的解决方案的情况下，有可能允许添加诸如可以是二进制或者多值数据元素的透明度数据元素之类的另外的信息，从而允许编码透明或半透明对象。

数据元素也可以指示深度1208。这种深度可以表示为箭头1208表示的方向上的坐标，即提供有关到视点的距离的信息。如本领域中已知的，深度也可以表示为视差值。所表示的深度与特定初级视图相应，该初级视图与前面提到的观察方向1106相应。观察方向1106在这里涉及例如与穿过视点和背景1104中心的线平行的线的方向。如果相机位置在场景附近，那么依照场景到背景上的投影，深度坐标可以与发散方向相应。数据元素也可以指示由箭头1210表示的方向上的视频线位置1210。该视频线位置1210依照初级视图指示视频图像1000的视频线1002内的显示位置。

特别地，当处理不规则地形成的形状时，可能有关的是显式编码与所有样本点关联的位置和深度数据元素。通过这种方式，有可能编码样本点相对于轮廓的任何分布。例如，数据元素可能涉及轮廓表面上等距地选择的样本点，或者可替换地可以被选择成相对于特定对象轮廓法线等距。可替换地，当编码更规则的多边形结构时，例如当使用折线上的等距样本网格时，可以采用更高效的位置编码。

序列生成器104选择沿着轮廓线1150的连续点。例如，如果视频线是水平线，那么选择器104可以从左到右选择连续点。可替换地，这些点可以从右到左地选择。选择器104可以从背景的最左边部分1152开始，并且运行到右边，直到由于背景前面的对象的原因而不存在信息。然后，选择器104可以继续利用对象1154的轮廓运行。选择器可以在轮廓1154的最左端点开始，一直沿着轮廓1154运行，直到到达最右端点，并且从那里继续利用下一个对象运行，该下一个对象在这种情况下是背景的剩余部分1156。

序列生成器104可以能够在条纹序列中包括第一子序列，该第一子序列包含1204附近样本点的数据元素，或者选自一定段的样本点的连续数据元素，该段是初级视图中所述至少一个对象1102的侧面区域的部分。序列生成器104也可以包括第二子序列，该第二子序列包含1206附近的样本点的数据元素，或者选自一定段的样本点的连续数据元素，该段是初级视图中所述至少一个对象的前面区域的部分。第一子序列1204的两个连续样本点的视频线位置之间的差值小于第二子序列1206的两个连续样本点的视频线位置之间的差值。通过这种方式，使用更高采样频率下采样的数据元素表示特定序列部分以便提高再现的输出的图像质量，或者可替换地出于表示大小的原因，使用更低采样频率下采样的数据元素表示。

序列生成器104可以被设置用于包括指示条纹内的一个或多个透明数据元素以便表示不同条纹之间的连接的多元组。这些透明样本1212帮助在显示系统150中有效地再现条纹序列。例如，特殊数据元素可以包含在条纹中或者包含在数据元素多元组中，指示一段轮廓是否透明，可替换地，可以保留特定颜色值或者颜色范围以指示“透明”。当信号随后经受有损压缩时，范围的使用可能例如是特别有益的。系统100还包括信号生成器106，其用于产生包括包含在条纹序列1350中的数据元素的视频信号。该信号生成器可以以任何方式实现，只要条纹序列被适当编码。可以利用数字信号编码方法，例如MPEG标准。可以产生其他的模拟和数字信号，包括存储信号和传输信号，并且其能为阅读本说明书的技术人员所理解。例如，数字条纹序列可以简单地存储到磁盘或者DVD上的文件中。信号例如也可以通过卫星或者有线电视广播，或者通过因特网传输，或者在像DVI或HDMI那样的接口上传输，以便由显示系统150接收。

可以准备多个对应条纹序列并且将其结合到用于多条对应视频线1002的信号中。这允许编码完整的3D视频图像1000。

若干装置102、104和106可以经由例如随机存取存储器110传送其中间结果。其他架构设计也是可能的。

系统100也允许包括来自在初级视图中被遮挡和/或对象的后面区域的段的样本。

图14示意性地示出了包括若干数据流的传输流。每个水平行代表传输流内的数据流。这种传输流可以由信号生成器106产生。可替换地，信号生成器106仅提供用于通过复用器(未示出)包含在传输流中的数据流。块1350代表与视频线相应的条纹序列。线上的若干块与用于图像的不同视频线的条纹序列相应。在实践中，这些数据块可以经受压缩方法，所述压缩方法可以将这些块中的多个块组合成更大的数据块(图中未示出)。信号生成器106产生的传输流可以包括第一数据流1302，该第一数据流包含指示条纹的至少第一子集的颜色的数据元素。而且，第二数据流1304可以包含指示条纹的至少第一子集的深度的数据元素。因此，可以在信号中分开地传输这些条纹的不同数据元素。这可以改进压缩结果并且有助于提供后向兼容性，因为如果像深度和/或水平位置那样的附加信息包含在与颜色信息分开的辅助数据流中，那么所述附加信息可能被传统显示设备忽略。此外，可以使用本领域中已知的方法来编码颜色和/或深度，从而利用二维视频编码的发展并且允许重新使用现有的视频编码器和解码器。

为了进一步提高压缩比，信号生成器106可以被设置用于通过插入填充数据元素将第一条纹序列中的数据元素与第二条纹序列中的数据元素对准，这两个序列都与所述至少一个对象的部分有关。例如，考虑其中第一条纹序列与第一视频线有关并且第二条纹序列与邻近视频线有关的情形。在这种情况下，这些序列可以水平对准，使得第一条纹序列中的数据元素号N与第二条纹序列中的数据元素号N具有相同的水平位置。

当沿着扫描方向编码条纹序列时，序列生成器可以在数据流中编码条纹序列，使得数据流中空间邻近的数据元素在垂直于扫描方向的方向上与空间紧邻数据元素对准。

信号生成器106还可以产生第三数据流1306，该第三数据流包括条纹的至少第一子集的位置。这些位置值可以编码为相对于固定参考点(例如与视频图像的左侧相应)的位置值。优选地，连续样本位置表示为连续样本的视频线位置之间的德耳塔(差值)。在后一种情况下，这些值可以使用公知的无损压缩技术行程编码来高效地压缩。然而，压缩是可选的，并且在处理要求比带宽更严格的情形中，压缩可能不是必需的。例如，当使用诸如DVI或HDMI之类的显示接口时，压缩可能不是必需的。在这种情况下，德耳塔值或者相对于固定参考点的值可以以非压缩形式编码，例如以两个颜色通道(例如绿色和蓝色通道)编码，而深度可以以第三颜色通道(例如红色通道)编码。

图15示出了其中提供后向兼容性的另一实施例。为此目的，类似于参照图10C描述的情形在第一流1402中编码标准2D视频帧。该第一流1402可以与传统2D显示器兼容。相应深度值存储在第二流1404中。第一流1402和第二流1404的组合可以与可以再现图像和深度视频数据的传统3D显示器兼容。传统2D图像的水平位置(像在图14的第三流1306中一样)可以省略，因为它们对于标准视频帧而言是事先已知的。然而，除了流1402和1404之外，将图像和深度流1402和1404中不存在的条纹序列部分包含在一个或多个附加流中。换言之，条纹序列的至少第二子集代表的信息在不同的流集合中编码，其中第一子集和第二子集是分离的。这些流可能与部分重叠的点有关，例如如果在流1402和1404中以不足的分辨率表示特定轮廓段(例如与观察方向角度接近的角度的平面有关的图像信息)，那么附加的流可以提供该特定轮廓段的较高分辨率版本。例如，另外的流1408包含条纹序列的至少第二子集的颜色，另外的流1410包含条纹序列的至少第二子集的深度，并且另外的流1412包含条纹序列的至少第二子集的水平位置。

也有可能提取信息的其他部分以包含在一个或多个后向兼容的流中。例如，多个图像和深度层或者另一分层深度图像(LDI)表示可以包含在后向兼容的流中；未包含在后向兼容的流中的剩余信息和/或以令人不满意的分辨率包含在后向兼容的流中的剩余信息可以分开地被包含。

一个实施例包括代表来自初级视图的三维场景的信号1300，该信号包含限定该视图的三维场景的表示的至少一部分的条纹序列1350。每个条纹依次代表包含限定颜色、深度1208和位置1210的数据元素的图像信息的矩形区域，其中用于每个条纹的颜色和深度数据元素从场景中至少一个对象的表面轮廓信息1102导出。位置数据元素从视图1202内所述至少一个对象的表面轮廓信息的位置导出，并且条纹序列的至少一个条纹1204代表选自场景中所述至少一个对象的被遮挡区域或侧面区域的所述至少一个对象的表面轮廓信息。

所述条纹序列包括：与选自一定段的连续点关联的数据元素的第一条纹1204，该段是初级视图中所述至少一个对象的被遮挡区域或侧面区域的一部分；以及选自一定段的连续数据元素的第二条纹1206，该段是初级视图中所述至少一个对象的前面区域的一部分。此外，第一序列的两个连续位置数据元素的水平位置之间的第一差值可以小于第二序列的两个连续位置元素的水平位置之间的第二差值。

参照图1，显示系统150包括用于接收代表所阐述的条纹序列的信号的输入端152。显示系统150可以通过从存储介质或者例如经由网络连接读取该信号来接收该信号。

显示系统150还包括图像生成器154，其用于使用条纹序列产生与立体视图相应的多幅图像。这些立体视图具有不同的观察方向；即它们与相同三维场景的不同视图相应。这些视图优选地水平分布，或者至少沿着水平方向分布。所述多幅图像的图像可以如下生成。首先，将位置和深度数据元素变换成与要生成的图像的观察方向和视点相应的视频线位置和深度。第二，使用这些变换的值再现图像，其中对于任何水平位置而言，只需考虑指示最靠近视点的位置的深度值。事实上，多元组序列在基于线的条纹的情况下代表一个或多个3D折线或在基于多线的条纹的情况下的多边形。这些折线可以使用本领域中已知的z缓冲来再现。例如，可以使用z缓冲逐个再现与条纹序列关联的数据元素。再现数据元素的确切方式没有限制本发明。

所述显示系统可以包括用于显示所述多幅图像的显示器156。显示器156可以是例如自动立体倾斜双凸透镜显示器。所述若干图像可以在这种显示器上以交织的方式再现。可替换地，可以以时间顺序显示两幅图像，并且快门式眼镜可以用于人的适当3D图像感知。其他种类的显示模式，包括立体显示模式，对于本领域技术人员是已知的。也可以在3D显示器或者可以产生旋转效果的2D显示器上顺序地显示多幅图像。显示图像的其他方式(例如交互式虚拟场景导航)也是可能的。

图2A示出了产生视频信号的方法中的处理步骤。在步骤200中，例如在要处理新视频帧时启动该过程。在步骤202中，如所阐述的准备场景中对象(包括背景)的轮廓线。代替该过程中显式执行该步骤的是，步骤202的结果可以作为该过程的输入而提供。

在步骤204中，产生条纹序列1350，其限定来自初级视图的三维场景的表示的至少一部分，其中每个条纹代表包含限定颜色、深度1208和位置1210的数据元素的图像信息的矩形区域。用于每个条纹的颜色和深度数据元素从场景中所述至少一个对象的表面轮廓信息1102导出。位置数据元素从初级视图1202内所述至少一个对象的表面轮廓信息的位置导出。而且，步骤204可以涉及在条纹序列中包括包含选自一定段的连续点的数据元素的第一条纹1204，所述段是初级视图中所述至少一个对象的侧面区域的一部分。可以从一定段选择包含连续点的数据元素的第二条纹1206，该段是初级视图中所述至少一个对象的前面区域的一部分。第一子序列的两个连续点数据元素的水平位置之间的第一差值可以小于第二子序列的两个连续点数据元素的水平位置之间的第二差值。

可以对于图像中的多条视频线重复步骤202和204。在步骤206中，产生包括得到的一个或多个样本序列的视频信号。在步骤210中，过程终止。如前所述，所述方法可以类似地应用于基于线的条纹序列以及基于多线的条纹序列。步骤202可以如下执行。接收从多个不同视图看见的所述至少一个对象的多幅图像。为所述多幅图像的像素建立深度信息，或者可以将深度信息作为附加输入提供，例如使用测距仪确定的深度值。次级视图的像素扭曲到初级视图，从而针对这些像素获得了指示依照所述至少一个对象的初级视图的深度和水平位置的信息。这样，获得轮廓信息。

图2B示出了在显示器上再现图像的方法。在步骤250中，过程被启动，例如因为需要准备新的视频帧以供显示。在步骤252中，如所阐述的接收包含条纹序列(1350)的信号。在步骤254中，使用条纹序列产生与立体视图相应的多幅图像。在步骤256中，如所阐述的显示所述多幅图像。

本文描述的过程和系统可以部分地或者全部以软件实现。

图3示出了在背景平面5前面具有三个对象1、2和3的场景的截面顶视图。当在箭头310的方向上观看对象1、2、3和背景平面5时，图像和深度格式将图4中401-405处所示的信息作为每像素的颜色和深度存储。从该表示可以产生可替换的视图，但是当以不同的观看角度(例如在箭头320所示方向上)观察场景时，该图像和深度表示不包含真实地“环顾”对象并且看见变得可见的内容所需的信息；所述变得可见的内容即去遮挡的内容，例如当从比原始位置更靠近左边的位置观看时变得可见的对象1前面的右边部分，或者当在对象2和3之间从右边观看时可能可见的背景部分。

图5示出了通过使用多层图像和深度对该问题的解决方案。例如，可以使用两层图像和深度。图5在501-505处示出对于当前实例可以存储在第二层中的额外信息。现在，可以存储对象1和3的整个面向前面的侧面，但是需要三层以便还存储整个背景。此外，难于使用利用相对于中心视图的固定水平间距的表示限定对象(例如对象1和3)的侧面。再者，对象的面向后面的侧面没有利用该表示来存储。存储来自多个视图的图像和深度可能是一种解决方案，但是之后在压缩深度信号下保持它们的关系完好无损是困难的并且需要复杂的计算，此外，利用这种表示难以支持透明度，除非使用许多视图或者为多个视图提供多个层，这可能需要许多层以及因而大量存储空间。

图6示出了将图像数据组织为一种帘状物600的方式。利用这种帘状物600，可以以高效且可缩放的方式提供场景的轮廓描述。这种帘状物600行为表现就像围绕场景的对象1-3和背景5披盖的薄片。图6示出了当帘状物600松弛地披盖在场景上时的配置。

帘状物600描述了沿着场景中对象的表面的轮廓线。优选地，这种轮廓线完全处于场景的截面内。帘状物600不仅包括作为对象前侧602的轮廓线部分，而且包括对象1的左侧601和对象2的左侧以及对象3的右侧603和对象2的右侧。因此，与图像和深度格式相比，捕获了更多的遮挡数据。帘状物600的一些部分包含图像数据。其实例是部分601、602和603。帘状物600的其他部分是透明的。透明部分的实例是部分610、611、612和613。这种透明部分不需要大量的存储空间。例如，这种部分可以被完全忽略。优选地，在信号中插入指示以便指示帘状物的一部分是透明的。可替换地，当帘状物的连续块之间的距离高于预定阈值，那么帘状物的连续块之间的部分设置为透明。

图7示出了在帘状物表示中可以捕获更多的遮挡数据。用比喻来说，该帘状物可以围绕场景的对象更紧密地安装。在图7中，帘状物700拉紧得如此远，以致对象的全部轮廓被横贯，这在产生立体视图中提供了最大的灵活性。介于图6和图7的情形之间的中间的拉紧量也是可能的。

紧接于拉紧量之后，也可以改变存储信息的分辨率以便平衡信息量和存储/传输容量。前面提到的“透明”部分是其极端实例，但是也可以选择例如以较低的分辨率编码对象的侧面(以及尤其是对象的后面)。于是，帘状物可以由与等距或不等距点关联的一系列数据元素组成。这些数据元素可以包括有关颜色以及可能地还有透明度的信息。可选地，可以包含附加的信息以便捕获与观看方向有关的效应，例如也可以包含双向反射率分布数据以及任何其他相关信息。样本可以具有关联的坐标(用于图中所示帘状物的x和z，以及当表示完整3D图像时用于每条线的系列)。可以使用不同的方法来存储这些系列。特别是在使用无损压缩的情况下，可以使用链码。

有可能为随后的水平帘状物线保留竖直内聚力。这允许实现良好的压缩性能。例如，可以分开地提取或存储规则的图像和深度表示，并且帘状物的附加块(其可以插回到图像和深度样本中)可以存储为附加的数据。这确保了与当前图像和深度格式的后向兼容性，并且添加整个帘状物数据作为可选的附加物。而且，规则的图像和深度表示可以使用高性能压缩技术来压缩。然后，附加数据中剩余的块可以被设置成使得竖直内聚力对于最优压缩而言是最大化的。如果帘状物线与竖直视频线相应，那么可以以类似的方式保留水平内聚力。

帘状物表示可以由从不同的位置摄取场景的若干相机的图像(以及可能地深度)构造，或者可以例如从通过切分(虚拟)场景获得的体元(voxel)表示导出。从帘状物再现视图可以借助于具有适当遮挡和去遮挡处理的与深度有关的移转的过程来实现。

在计算机图形学领域，边界表示是已知的，例如“Relief texturemapping”by M.M.Oliveira et al.，in Proceedings of the 27th annualconference on Computer graphics and interactive techniques，pages 359-368，2000，ISBN 1-58113-208-5中所描述的。这些计算机图形学表示通常本质是非常几何的(例如基于网格的)，而帘状物可以用在视频类表示中，其中不仅颜色而且深度可以表示为可以非常良好地压缩的视频信号。

也有可能使用本文描述的技术编码竖直去遮挡信息。例如，一个或多个样本序列可以具有与其关联的竖直位置而不是水平位置。这些“竖直帘状物线”可以代替“水平帘状物线”使用或者除了“水平帘状物线”之外还使用这些“竖直帘状物线”。可替换地，可以使连续样本序列之间的竖直间距可变以便适应显现对象的上和/或下边缘。

“帘状物”可以描述为条纹序列。这些条纹可以包含颜色值、水平位置值(例如初级视图的线上的像素数)、深度值或者视差值，和/或透明度指示符或值。应当清楚的是，对于完全透明的部分不需要颜色，或者可以保留特定颜色值以用于指示“透明”。前侧法线靠近观看方向的立方体的侧面将使用具有(几乎或者完全)相同的位置p但是不同的d以及适当的颜色值的连续多元组来描述。位于彼此前面的对象可以借助于帘状物的透明部分来连接。使用“松帘状物”，在帘状物中只描述对象的前表面和侧表面。使用“紧帘状物”，在帘状物中也描述对象的后表面。在许多情况下，一些侧表面和后表面信息存在，但不是所有的信息都存在。帘状物可以用来容纳任何可用的信息。没有必要为不可用或者在接收端不需要的信息浪费存储空间。此外，没有必要存储冗余数据。在使用多个层的视频编码中，如果不存在填充所有层的足够可用信息，那么即使在压缩之后，一些存储空间也可能被浪费。

使用例如由三个邻近的相机(左边、中间和右边的相机)拍摄的相同场景的三幅图像(左边、中间和右边的图像)，有可能将这三幅图像的信息合并成单个帘状物。首先，为所有三幅图像重构深度图。可以采用涉及例如相机校准的立体计算。这样的计算在本领域中是已知的。接着，将右边和左边的图像扭曲到中间图像的几何结构。可以通过检测重叠或邻近的表面区域来将出现在扭曲的左边图像、扭曲的右边图像和中间图像中的表面缝合在一起。接下来，可以通过采样或者从这些(扭曲的)图像点选择来构造帘状物线。

为了维持竖直一致性，有可能插入透明样本。这提高了使用已知视频压缩技术时获得的压缩比。

帘状物线的再现可以以与使用z缓冲再现3D折线类似的方式执行。

可以将代表帘状物线的样本序列存储在一定数量的图像中。第一图像可以包含颜色信息。也可能将诸如R、G和B或者Y、U和V之类的每个分量编码成三幅单独的图像。也可能将这些颜色转换成例如YUV颜色空间，其如本领域中已知的可以通过子采样U和V更好地压缩。第二图像可包括深度信息。该深度信息可以借助于坐标或者借助于例如视差信息来编码。第三图像可以包含水平坐标：视频线位置，其例如以全部像素表示，或者可替换地使用允许子像素精度(例如浮点值)的指示。这些图像还可以使用标准的视频压缩来压缩。优选地，包含x坐标的图像可以以德耳塔表示：可以存储连续样本的x坐标之间的差值，而不是存储这些x坐标的绝对值。这允许执行高效的行程编码压缩。这些图像可以存储在分开的数据流中。

优选地，通过提取具有可选的深度信息的规则2D图像以便作为常规视频流单独地存储或传输而提供后向兼容性。深度图像可以作为辅助流添加。样本序列的剩余部分可以存储在一个或多个单独的流中。

图8示出了包括立方体801和背景802的场景。该场景通过使用三个相机位置810、811和812来捕获。图8特别地示出了使用左边的相机810捕获的内容。例如，左边的相机捕获轮廓段A、B、C、D、E和I，但是不捕获轮廓段F、G和H。

这些相机中的两个相机的图像数据可以扭曲到第三相机位置，例如最左边和最右边的图像可以扭曲到中间相机，其改变扭曲图像的像素的x值。像图8中立方体对象的侧表面的情况一样，可能发生若干像素具有相同的x值(但是具有不同的深度值)。甚至可能的是，这种扭曲图像的x值是非单调的，特别是在左边相机看见作为中间相机视图中的对象的后表面的对象部分的情况下。如本说明中所描述的，这些侧面和后面部分可以有效地以多元组序列(“帘状物”)存储。存储这样的侧面或后面部分的分辨率可能取决于分配给可用视图中的侧面或后面部分的像素数。

图9示出了用于以软件实现本文描述的方法和系统的部分的实例硬件架构。也可以使用其他架构。存储器906用来存储包含指令的计算机程序产品。这些指令由处理器902读取和执行。输入端904被提供用于例如通过遥控器或者计算机键盘的用户交互可能性。这可以例如用来启动图像序列的处理。输入端也可以用来设置可配置的参数，例如深度感知量、生成的立体图像的数量或者要包含在视频信号中的遮挡数据的数量和分辨率。显示器912可以通过提供例如图形用户接口而有助于以用户友好的方式实现交互可能性。显示器912也可以用来显示本文描述的处理的输入图像、输出图像和中间结果。图像数据的交换由通信端口908促成，该通信端口可以连接到视频网络(数字的或模拟的，例如陆地、卫星或者有线广播系统)或因特网。数据交换也可以由可拆除介质910(例如DVD驱动器或闪速驱动器)来促成。这样的图像数据也可以存储在本地存储器906中。

应当理解的是，本发明也可以扩展到计算机程序，尤其是载体上或载体内的适于将本发明付诸实施的计算机程序。该程序可以是源代码、目标代码、介于源代码与目标代码之间(例如部分编译的形式)的代码的形式，或者是适用于实施依照本发明的方法的任何其他形式。载体可以是能够承载程序的任何实体或设备。例如，载体可以包含存储介质，例如ROM(如CD ROM或半导体ROM)，或者磁性记录介质(例如软盘或硬盘)。此外，载体可以是可传输的载体，例如电信号或光信号，其可以经由电缆或光缆或者通过无线电或其他装置运送。当程序包含在这种信号中时，载体可以由这种缆线或其他设备或装置构成。可替换地，载体可以是其中嵌入了程序的集成电路，该集成电路适于执行有关方法或者用于执行有关方法。

应当指出的是，上述实施例说明了而不是限制了本发明，并且本领域技术人员在不脱离所附权利要求书的范围的情况下将能够设计出许多可替换的实施例。在权利要求书中，置于括号之间的任何附图标记都不应当被视为限制了权利要求。动词“包括”及其变体的使用并没有排除存在权利要求中未陈述的元件或步骤。元件之前的冠词“一”并没有排除存在多个这样的元件。本发明可以借助于包括若干不同元件的硬件以及借助于经过适当编程的计算机来实现。在列举了若干装置的设备权利要求中，这些装置中的一些可以由同一硬件项体现。在相互不同的从属权利要求中记载了特定的措施这一事实并不意味着这些措施的组合不可以有利地加以利用。

Claims

1.一种用于产生代表初级视图的三维场景的信号(1300)的系统(100)，包括：

序列生成器(104)，其用于生成限定初级视图的三维场景的表示的至少一部分的条纹序列(1350)，每个条纹代表图像信息的矩形区域，该图像信息包含限定矩形区域的颜色、深度(1208)和位置(1210)的数据元素，其中

每个条纹的颜色和深度数据元素从场景中至少一个对象的表面轮廓信息(1102)导出；

位置数据元素从初级视图内所述至少一个对象的表面轮廓信息的位置导出，并且

条纹序列的至少一个条纹(1204)代表选自场景中所述至少一个对象的被遮挡区域或侧面区域的所述至少一个对象的表面轮廓信息；以及

信号生成器(106)，其用于生成包含所述条纹序列的视频信号。

2.依照权利要求1的系统，其中将每个条纹中包含的颜色、深度和位置数据元素分组为颜色、深度和位置数据元素的多元组。

3.依照权利要求1的系统，其中序列生成器被设置用于在条纹序列中包含代表来自初级视图中所述至少一个对象的后侧区域的表面轮廓信息的条纹。

4.依照权利要求1的系统，其中信号生成器被设置用于产生传输流，该传输流包括：

第一数据流(1302)，其包含条纹序列的至少第一子集的颜色数据元素；以及

第二数据流(1304)，其包含条纹序列的至少第一子集的深度数据元素。

5.依照权利要求4的系统，其中传输流还包括：

第三数据流(1306)，其包括条纹序列的至少第一子集的位置数据元素。

6.依照权利要求4的系统，其中在扫描方向上对在数据流(1302，1304)中编码的条纹序列编码，并且序列生成器被设置成在数据流(1302，1304)中添加填充数据元素以使第一数据流和第二数据流的至少一个中的空间邻近的数据元素在垂直于扫描方向的方向上对准。

7.依照权利要求1或4的系统，其中颜色数据元素以第一分辨率表示并且深度数据元素以第二分辨率表示，并且其中第一分辨率的x分量或y分量中的至少一个比第二分辨率高。

8.依照权利要求1或4的系统，其中：

将包含在每个条纹中的颜色和深度数据元素分组为颜色和深度数据元素的多元组；

将包含在每个条纹中的颜色和深度数据元素置于等距网格上；并且

位置数据元素指示初级视图内沿着扫描方向的条纹的表面轮廓信息的位置。

9.依照权利要求4的系统，其中传输流还包括以下至少一个：

包含条纹序列的至少第二子集的颜色数据元素的数据流；

包含条纹序列的至少第二子集的深度数据元素的数据流；以及

包含条纹序列的至少第二子集的位置数据元素的数据流；

其中第一子集和第二子集是分离的。

10.一种用于使用代表初级视图的三维场景的信号再现图像的再现系统(150)，包括：

输入端(152)，其用于接收信号，该信号包含限定初级视图的三维场景的表示的至少一部分的条纹序列(1350)，每个条纹代表图像信息的矩形区域，该图像信息包含限定矩形区域的颜色、深度(1208)和位置(1210)的数据元素，其中

图像生成器(154)，其用于使用所述条纹序列再现与另一视图相应的图像。

11.依照权利要求10的再现系统，其中图像生成器被设置用于使用所述条纹序列生成与多个立体视图相应的多幅立体图像。

12.一种用于使用代表初级视图的三维场景的信号来显示图像的显示系统，包括：

依照权利要求10或11的再现系统，以及

用于显示再现的图像的显示器(156)。

13.一种产生代表初级视图的三维场景的信号(1300)的方法(100)，包括：

生成限定初级视图的三维场景的表示的至少一部分的条纹序列(1350)，每个条纹代表图像信息的矩形区域，该图像信息包含限定矩形区域的颜色、深度(1208)和位置(1210)的数据元素，其中

生成包含所述条纹序列的视频信号。

14.依照权利要求13的方法，还包括：

接收从多个视图看见的所述至少一个对象的多幅图像；

为所述多幅图像的像素建立深度信息；

将包含颜色、深度和位置数据元素的所述多个视点的图像信息扭曲到初级视图，从而获得指示依照初级视图的颜色、深度和位置的信息以用于生成条纹序列。

15.一种使用代表初级视图的三维场景的信号来再现图像的方法，包括：

接收信号，该信号包含限定初级视图的三维场景的表示的至少一部分的条纹序列(1350)，每个条纹代表图像信息的矩形区域，该图像信息包含限定矩形区域的颜色、深度(1208)和位置(1210)的数据元素，其中

每个条纹的颜色和深度数据元素从场景中对象的表面轮廓信息(1102)导出；

位置数据元素从初级视图内所述对象的表面轮廓信息的位置导出，并且

条纹序列的至少一个条纹(1204)代表选自场景中所述至少一个对象的被遮挡区域或侧面区域的对象的表面轮廓信息；以及

使用所述条纹序列再现与初级视图相应的图像。