CN102106151A - 3d视频信号的编码设备 - Google Patents

Abstract

一种设备，其特征在于，该设备包括用于产生在多个级别上构造流的装置，所述多个级别包括：级别0，包括两个独立层，即，包含右图像的视频数据的基本层以及包含左图像的视频数据的级别0增强层，或者相反；级别1，包括两个独立增强层，即，包含包含与基本层的图像有关的深度图的第一级别1增强层，包含与级别0增强层图像有关的深度图的第二级别1增强层；级别2，包括级别2增强层，该级别2增强层包含与基本层图像有关的遮挡数据。用于对与3D数字电影、3DDVD、3DTV等有关的3D数据的应用。

Description

3D视频信号的编码设备

技术领域

本发明涉及3D视频信号的编码，具体涉及用于广播3D内容的传输格式。

本领域是3D视频领域，包括用于电影投影、DVD媒体的传播或者电视频道广播的电影内容。因此该领域尤其涉及3D数字电影、3D DVD和3D电视。

背景技术

现今存在许多用于立体(in relief)图像显示的系统。

被称作立体系统的3D数字电影基于佩戴例如具有Polaroid滤光镜的眼镜，并且使用立体视图对(左/右)，或者用于影片的两个‘胶片盘(reel)’的等同物。

用于立体数字电视(被称作自动立体系统)的3D屏幕由于其不需要佩戴眼镜，因此基于Polaroid透镜或Polaroid带(band)的使用。这些系统被设计为使得观看者能够在一个角锥体中具有到达右眼或左眼上的不同图像：

-Newsight公司制造的3DTV屏幕包括视差栅栏、与垂直缝隙相对应的透明和不透明薄膜，该垂直缝隙起到类似于透镜的光学中心的作用，不偏离的光线是穿过这些缝隙的光线。该系统实际使用8个视图，4个右视图，4个左视图，这些视图使得能够在视点改变或观看者移动期间产生运动视差效应。该运动视差效应与单一自动立体视图所产生的场景相比可以提供使观众沉浸场景中的更好印象，即，单个右视图和单个左视图产生立体视差。Newsight的3DTV屏幕必须在输入处由仍经过标准化的8视图多视图流格式馈送。JVT MPEG/ITU-T MPEG4 AVC/H264标准的扩展MVC(多视图编码)与多视图视频编码有关，因此提出了一种每个视图的编码方法，以在流中对每个视图进行传输，因此到达时不存在图像合成。

-Philips公司制造的3DTV屏幕包括在电视板前方的透镜。系统采用9个视图，4个右视图、4个左视图，一个中心2D视图。该系统使用‘2D+z’格式，即，由标准MPEG-C第三部分标准化的传送传统2D视频的标准2D视频流加上与深度图z相对应的辅助数据。因此使用深度图来合成2D图像，以提供要在屏幕上显示的右和左图像。该格式与和2D图像有关的当前标准兼容，但是不足以提供高质量3D图像，尤其是在所采用的视图数目较多的情况下。例如，可用的数据仍不能使得正确处理遮挡(occlusion)，从而产生伪像。一种被称作LDV(分层深度视频)的解决方案在于，由连续的镜头表示场景。然后除了‘2D+z’以外，还传输与这些遮挡有关的内容数据，这些遮挡是由定义了遮挡像素的值的颜色图和针对这些遮挡像素的深度图组成的遮挡层。为了传输该数据，Philips使用以下格式：将例如HD(高清)图像划分成4个子图像，第一子图像是中心2D图像，第二子图像是深度图，第三子图像是与像素值图有关的遮挡，最后一个子图像是与遮挡图有关的深度。

应当注意，当前的解决方案导致空间分辨率损耗，由于要传输用于3D显示器的问候(complimentary)信息。例如，对于高清面板，1080个行，每行1920个像素，8或9个视图之中的每个视图具有8或9分之一的空间分辨率损耗，所使用的传输比特率以及电视的像素数目保持恒定。

现今，对于屏幕上立体图像显示领域的研究针对：

-自动立体多视图系统，即使用两个以上视图，而无需佩戴特殊眼镜。例如涉及前述LDV格式，或者涉及使用深度图的MVD(多视图视频+深度)格式，

-立体系统，即，使用两个视图，并且要佩戴特殊眼镜。内容(即，所采用的数据)可以是与左右两幅图像有关的立体数据，或者与LDV格式相对应的数据，或者与MVD格式有关的数据。可以列举Samsung 3D DLP(数字光处理)后投影HDTV系统、Samsung的3D等离子HDTV系统、Sharp 3D LCD系统等。

此外，应当注意，与3D数字电影有关的内容可以通过DVD介质为媒介来分发，当前所研究的系统被称作例如Sensio或DDD。

用于交换3D内容的视频基本流的格式是不协调的。专有解决方案共存。仅对单一格式进行标准化，即传送封装格式(MPEG-C第三部分)，但是该单一格式仅与MPEG-2TS传输流中的封装系统有关，因此并不限定基本流的新格式。

在这种缺乏汇聚的情况下，针对3D视频内容的视频基本流格式这种多样性不便于从一个系统到另一个系统的转换，例如，从数字电影到DVD分发和TV广播的转换。

本发明的一个目的是克服上述缺点。

发明内容

本发明的目的是一种用于采用来自不同3D制作装置的数据、与右图像和左图像有关的数据、与和右图像和/或左图像相关联的深度图有关的数据、和/或与遮挡层有关的数据的编码设备，其特征在于，所述设备包括用于产生在多于一个级别上构造流的装置，所述级别包括：

-级别0，包括两个独立层，即，包含右图像的视频数据的基本层以及在零级别处包含左图像的视频数据的增强层，或者相反，即包含左图像的视频数据的基本层以及包含右图像的视频数据的增强层，

-级别1，包括两个独立增强层，即，包含与基本层的图像有关的深度图的第一增强层1，包含与级别0增强层图像有关的深度图的第二级别1增强层，

-级别2，包括级别2增强层，该级别2增强层包含与基本层图像有关的遮挡数据。

根据具体实施例，与级别0、级别1或级别2有关的数据来自3D合成图像产生装置和/或根据以下数据的3D数据制作装置：

-来自2D摄像机和/或2D视频内容的2D数据，和/或

-来自立体摄像机和/或多视图摄像机的数据。

根据具体实施例，为了计算与级别1有关的数据，3D数据制作装置使用用于深度信息获取的特定装置和/或用于根据来自立体摄像机和/或多视图摄像机的数据的深度图计算的装置。

根据特定实施例，为了计算与级别2有关的信息，3D数据制作装置使用根据来自深度信息获取装置、立体摄像机和/或多视图摄像机的数据的遮挡图计算装置。

本发明的目的还是一种来自流的3D数据的解码设备，以在屏幕上显示3D数据，所述流按照以下多个级别构造：

-级别0，包括两个独立层，即，包含右图像的视频数据的基本层以及在零级别处包含左图像的视频数据的增强层，或者相反，即包含左图像的视频数据的基本层以及包含右图像的视频数据的增强层，

-级别1，包括两个独立增强层，即，包含与基本层的图像有关的深度图的第一级别增强层1，包含与级别0增强层图像有关的深度图的第二级别1增强层，

-级别2，包括级别2增强层，该级别2增强层包含与基本层图像有关的遮挡数据。

为了在显示设备上显示，其特征在于，所述解码设备包括使用一个或多个数据流层的数据的3D显示适配电路，接收所述数据以与显示设备兼容地呈现。

根据特定实施例，3D显示适配电路：

-当在3D电影屏幕上、在需要使用眼镜的2视图立体屏幕上、或在2视图自动立体屏幕上显示时，使用级别0层，

-当在Philips“2D+z”类型屏幕上显示时，使用基本层和第一级别1增强层，

-当在MVD类型的自动立体3DTV上显示时，使用所有级别0和级别1层，

-当在LDV类型屏幕上显示时，使用基本层、级别1的第一增强层和级别2的第一增强层。

本发明的目的还是一种视频数据传送流，其特征在于，流语法根据以下结构区分数据层：

-级别0层，由两个独立层组成，即，包含右图像的视频数据的基本层以及在包含左图像的视频数据的增强层，或者相反，即包含左图像的视频数据的基本层以及包含右图像的视频数据的增强层，

-级别1增强层，本身由两个独立增强层组成，即包含与基本层的图像有关的深度图的第一级别1增强层，包含与级别0增强层图像有关的深度图的第二级别1增强层，

-级别2增强层，包含与基本层图像有关的遮挡数据。

单个“堆叠”格式用来在不同介质上传播不同3D内容，并且用于不同显示系统，例如，用于3D数字电影、3D DVD、3D TV的内容。

因此，可以根据不同现有制作模式来恢复3D内容，并且可以根据单一传输格式来解决自动立体显示设备的范围。

由于针对视频本身的格式定义，以及由于流中数据的结构化，使得能够提取和选择适当的数据，确保3D系统与其他系统的兼容。

附图说明

根据以下描述和附图其他特定特征和优点将变得显而易见，提供描述作为非限制示例，在附图中：

图1示出了3D内容的制作和传播系统，

图2示出了根据本发明的编码层的组织。

具体实施方式

可以看出，多视图自动立体屏幕，例如Newsight屏幕当以N个视图(其中极端图像与立体视图对相对应，对中间图像进行插值)供给时，仅当以多摄像机获取的结果供给时，在质量返回方面提供最佳结果。这是由于必须在摄像机的焦点、摄像机的孔径、摄像机的定位(摄像机间距离，相对于光轴的方向等等)、拍成影片的对象的大小和距离之间考虑的约束。对于真实场景，内部或外部以及“现实”摄像机，即，合理焦距和孔径的摄像机不会在显示器处给出场景失真的印象。使用光轴必须以1cm量级距离间隔的典型摄像机系统。平均人类两眼(inter-ocular)距离是6.25cm。

因此，有利地，将与多摄像机有关的数据变换成与对应于两眼距离的右和左立体视图有关的数据。对这种数据进行处理，以提供具有深度图以及可能的遮挡掩蔽的立体视图。因此传输多视图变得没有价值，即，与2D图像的数目有关的数据对应于所使用的摄像机的数目。

对于与立体摄像机有关的数据，可以对左和右图像进行处理，以除了图像以外，还提供在处理之后由自动立体显示设备采用的深度图和可能的遮挡掩蔽。

对于深度信息，深度信息可以根据适配装置(例如，激光器或红外)来估计，或者通过一个更手动方式测量右图像和左图像之间的运动差异、估计区域的深度来计算。

可以对来自单个2D摄像机的视频数据进行处理，以提供两幅图像，允许立体显示的两个视图。可以根据该单个2D视频利用人为干预来创建3D模型，这在于例如，通过采用连续视图重构场景，来提供立体图像。

看起来，用于多视图显示系统且来自N个摄像机的N个视图事实上可以根据立体内容通过执行插值来计算。因此，立体内容可以用作传输电视信号的基础，与立体对有关的数据使得能够通过插值以及最后通过插值来获得3D显示设备的N个视图。

通过考虑这些观察，可以推断出，根据显示设备类型，3D视频内容的显示所需的不同数据类型如下：

-针对Philips 9视图类型自动立体显示设备的单一视图和具有可能的遮挡掩蔽的深度图，

-针对以下各项的立体对：

○连续或位变异构偏振的3D数字电影投影，

○仅具有两个视图的立体显示设备，并且使用快门或偏振眼镜，

○仅具有两个视图的自动立体显示设备，在头部的位置处具有伺服设备，或者被称作头部跟踪和眼睛跟踪的视觉定向技术，

-具有可能的两个深度图的立体对，以便于在针对Newsight 8视图类型自动立体显示设备压缩劣化传输的两个视图的情况下，中间视图的插值，

-针对符合下一代FTV(自由视点TV)标准(即，符合MVD和LDV)的显示设备的具有深度图和不同遮挡层的立体对。

图1示意性示出了3D内容制作和传播系统。

将例如来自传输或存储装置的标记为1的当前2D传统内容、来自标准2D摄像机的标记为2视频数据传输至标记为3的制作装置，以实现到3D视频的变换。

来自立体摄像机4、来自多视图摄像机5的视频数据、来自距离测量装置6的数据传输至3D制作电路7。该电路包括深度图计算电路8和遮挡掩蔽计算电路9。

将来自合成图像产生电路10的视频数据传输至压缩和传送电路11。同样将来自3D制作电路3和7的信息传输至该电路11。

压缩和传送电路11例如使用MPEG 4压缩方法来实现数据压缩。信号适于将传送流语法传送至压缩电路并在后续进行描述，传送流语法对在输入处潜在可用的视频数据的结构化的目标层进行区分。可以以如下不同方式将该来自电路11的信号传输至接收电路：

-以在3D DVD或其他数字载体中布置的物理介质为媒介，

-以存储在用于电影(开机)的胶片盘中的物理介质为媒介，

-通过无线电传输，通过有线，通过卫星等等。

因此，根据后续描述的传送流的结构，通过压缩和传送电路来传输信号，根据该传送流结构，将信号布置在DVD或胶片盘中。通过标记为12的至3D显示设备的适配电路来接收信号。该模块根据传送流或程序流中的不同层执行与其连接的显示设备所需的数据计算。显示设备是具有用于立体投影13、立体显示设备14、自动立体显示设备或多视图自动立体显示设备15、具有伺服的自动立体显示设备16或其他的屏幕。

图2示意性示出了用于数据传送的不同层的堆叠。

沿着垂直方向，定义了级别零、级别1和级别2的层。沿着水平方向，针对级别定义了第一层和可能的第二层。

根据上述命名，为级别零的基本层、第一层分配立体对的第一图像(例如，立体图像的左视图)的视频数据。该基本层是标准电视所使用的基本层，同样将传统类型视频数据(例如，与标准电视所显示的图像有关的2D数据)分配给该基本层。因此保持与现有产品的兼容性，在多视图视频编码(MVC)的标准化中不存在的兼容性。

将立体对的第二层的视频数据(例如，右视图)分配给级别零的第二层(被称作立体层)。这包括级别零的第一层的增强层。

将与深度图有关的视频数据分配给级别1的增强层，级别1的第一层被称作左视图的左深度层，级别1的第二层被称作右视图的右深度层。

将与遮挡掩蔽有关的视频数据分配给级别2的增强层，级别2的第一层被称作遮挡层。

因此针对视频基本流的堆叠格式在于：

-包括标准视频的基本层，立体对的左视图，

-包括立体对的右视图的立体增强层，

-两个深度增强层，深度图与立体对的左和右视图相对应，

-遮挡增强层，N个遮挡掩蔽。

由于这种在不同层中的数据组织，可以将与针对3D数字摄像机的立体设备有关的内容汇聚到多视图类型自动立体设备，或者使用深度图和遮挡图来汇聚该内容。堆叠的格式使得能够解决至少5种不同类型的显示设备。在图2中示出了用于这些类型的显示设备中的每种类型的配置，将用于每种配置的层组合在一起。

单独标记为17的基本层解决传统显示设备。

与立体层邻近的基本层(基本层与立体层组合在一起被标记为18)实现了3D电影类型投影以及利用眼镜在立体屏幕上显示DVD，或者配有头部跟踪仅具有两个视图的自动立体显示设备。

与“左”深度层相关联的基本层(基本层与“左”深度层组合在一起被标记为19)使得能够解决Philips 2D+z类型显示设备。

与“左”深度层和遮挡层相关联的基本层(基本层与“左深度层”和遮挡层组合在一起被称作20)，即，级别零处的第一层和第一级别1和两个增强层，使得能够解决LDV(分层深度视频)类型显示设备。

与立体层和左和右深度层相关联的基本层(基本层与立体层和左和右深度层组合在一起被称作21)，即，级别零和级别1层可以解决MVD(多视图视频+深度图)类型自动立体3DTV类型显示设备。

这种传送流结构化实现了例如Philips 2D+z、2D+z+遮挡类型的格式、LDV类型的电影的立体显示设备的格式以及LDV或MVD类型的格式的汇聚。

再次参照图1，3D显示的适配电路12执行层的选择：如果显示器是立体投影13或者采用3D伺服显示设备16，选择基本层和立体增强层，即级别零层；对于LDV类型的显示设备14，选择基本层、左深度增强层和遮挡层，即第一级别零、1和2层；对于MDV多视图类型的显示设备15，选择级别零和1层。例如，在后一种情况下，适配电路执行来自2个立体视图的8个视图的计算，以供给MDV多视图类型显示设备15。

因此，传统2D或3D视频信号(无论它们来自记录介质、无线电传输还是通过有线)可以在任何2D或3D系统上显示。例如包含适配电路的解码器根据与其连接的3D显示系统，选择和采用层。

由于这种结构化，同样能够例如通过有线仅将所使用的3D显示系统所需的层传输该给接收机。

在上述文本中作为示例描述了本发明。应当理解，本领域技术人员在不背离本发明范围的前提下能够做出本发明的变型。

Claims (7)

1.一种用于采用来自不同3D制作装置的数据、与右图像和左图像有关的数据、与和右图像和/或左图像相关联的深度图有关的数据、和/或与遮挡层有关的数据的编码设备，其特征在于，所述编码设备包括用于产生在多个级别上构造的流的装置，所述多个级别包括：

-级别0，包括两个独立层，即，包含右图像的视频数据的基本层以及包含左图像的视频数据的增强层，或者相反，即包含左图像的视频数据的基本层以及包含右图像的视频数据的增强层，

-级别1，包括两个独立增强层，即，包含与基本层的图像有关的深度图的第一级别1增强层，包含与级别0增强层图像有关的深度图的第二级别1增强层，

-级别2，包括级别2增强层，该级别2增强层包含与基本层图像有关的遮挡数据。

2.根据权利要求1所述的设备，其特征在于，与级别0、级别1或级别2有关的数据来自3D合成图像产生装置(10)和/或根据以下数据的3D数据制作装置(3、7)：

-来自2D摄像机和/或2D视频内容(1)的2D数据，和/或

-来自立体摄像机和/或多视图摄像机(4、5)的数据。

3.根据权利要求1所述的设备，其特征在于，为了计算与级别1有关的数据，3D数据制作装置使用用于深度信息获取的特定装置(6)和/或用于根据来自立体摄像机和/或多视图摄像机(4、5)的数据进行深度图计算的装置(8)。

4.根据权利要求1所述的设备，其特征在于，为了计算与级别2有关的信息，3D数据制作装置使用根据来自深度信息获取装置、立体摄像机和/或多视图摄像机的数据的遮挡图计算装置。

5.一种来自流的3D数据的解码设备，以在屏幕上显示3D数据，所述流按照以下多个级别构造：

-级别0，包括两个独立层，即，包含右图像的视频数据的基本层以及包含左图像的视频数据的增强层，或者相反，即包含左图像的视频数据的基本层以及包含右图像的视频数据的增强层，

-级别1，包括两个独立增强层，即，包含与基本层的图像有关的深度图的第一级别1增强层，包含与级别0增强层图像有关的深度图的第二级别1增强层，

-级别2，包括级别2增强层，该级别2增强层包含与基本层图像有关的遮挡数据，

为了在显示设备上显示3D数据，其特征在于，所述解码设备包括使用一个或多个数据流层的数据的3D显示适配电路，接收所述数据以与显示设备兼容地呈现。

6.根据权利要求5所述的设备，其特征在于，3D显示适配电路：

-当在3D电影屏幕上、在需要使用眼镜的2视图立体屏幕上、或在2视图自动立体屏幕上显示时，使用级别0层(18)，

-当在Philips“2D+z”类型屏幕上显示时，使用基本层和第一级别1增强层(19)，

-当在MVD类型的自动立体3DTV上显示时，使用所有级别0和级别1层(21)，

-当在LDV类型屏幕上显示时，使用基本层、级别1的第一增强层和级别2的第一增强层(20)。

7.一种视频数据传送流，其特征在于，流语法根据以下结构区分数据层：

-级别0层，由两个独立层组成，即，包含右图像的视频数据的基本层以及在包含左图像的视频数据的增强层，或者相反，即包含左图像的视频数据的基本层以及包含右图像的视频数据的增强层，

-级别1增强层，本身由两个独立增强层组成，即，包含与基本层的图像有关的深度图的第一级别1增强层，包含与级别0增强层图像有关的深度图的第二级别1增强层，

-级别2增强层，包含与基本层图像有关的遮挡数据。

Images