CN101904176A

CN101904176A - 用于立体再现的图像编码方法

Info

Publication number: CN101904176A
Application number: CN2008801216453A
Authority: CN
Inventors: P·S·牛顿; W·布鲁尔斯
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2007-12-20
Filing date: 2008-12-17
Publication date: 2010-12-01
Anticipated expiration: 2028-12-17
Also published as: CN101904176B; JP2011508498A; US20100310155A1; BRPI0822032A2; KR20100102161A; JP5553310B2; KR101545009B1; WO2009081335A1; US8422801B2; EP3007440A1; EP2235957A1

Abstract

允许立体再现的图像编码方法基本上包括以下步骤。在主编码步骤(VDE1)中，依照一定标准对视觉图像编码。在辅助编码步骤(GRE)中，将与视觉图像关联的立体使能数据编码成仿佛该立体使能数据是可以与依照有关标准的视觉图像结合的辅助图像。该立体使能数据包括指示视觉图像中的相应区域与虚拟观察者之间的相应距离的相应值。在组成定义步骤(CTR1)中，提供了组成定义，其使得依照所述标准操作的解码设备将立体使能数据作为图形图像包含在可以传输到显示设备的输出图像的至少一个特定区域内。

Description

用于立体再现的图像编码方法

技术领域

本发明主要涉及允许实现立体再现的图像编码方法。该图像编码方法可以例如用来制造包含电影或另一类型视频的立体版本的光盘或其他类型的数据载体。本发明的其他方面涉及数据载体、信号、图像编码器、图像解码器以及用于可编程处理器的计算机程序产品。

背景技术

又可以称为三维(3-D)观看体验的立体观看体验可以通过将场景的不同视图呈现给观察者的左眼和右眼来实现。这些不同的视图代表从稍微不同的角度观看的有关场景，其提供深度的印象。立体再现系统需要接收数据，系统根据这些数据可以导出需要呈现给观看者的不同视图。该立体数据可以包括例如视觉图像对，它们中的一个代表左眼视图，另一个代表右眼视图。这是经典的方法。

可替换地，立体数据可以包括与视觉图像关联的所谓的深度图。深度图可以看作一组值，其可以为矩阵的形式。每个值与视觉图像中的特定区域有关并且指示虚拟观察者与该区域中的对象之间的距离。有关的区域可以包括单个像素或者像素簇，像素簇可以具有矩形形状或者就这点而论可以具有任何其他形状。处理器能够根据视觉图像和与其关联的深度图产生立体再现所需的不同视图。深度图可以利用提供有关背景对象的附加信息的遮挡信息来补充完整，所述背景对象在视觉图像中至少部分地被前景对象遮挡。

2006年6月7日授权的文献EP0888018B1涉及其中记录立体视频的光盘。立体图像的用于右眼的信号和用于左眼的信号通过MPEG编码器压缩成MPEG信号(MPEG是运动图片专家组的首字母缩略词)。这些信号以特定的方式交织以便获得所谓的交织块，其与帧组对应。交织块针对光盘的超过一次旋转到超过十次旋转来记录。据称，光盘利用现有的复现设备提供单眼视觉(mono-vision)(2-D)，并且可以利用新的复现设备提供立体视觉(3-D)。

发明内容

本发明的目的是提供允许成本有效地运用立体图像再现的解决方案。独立权利要求限定了本发明的各个方面。从属权利要求限定了用于有利地实现本发明的附加特征。

本发明考虑了以下几点。有可能详述用于立体再现的一种或多种新的图像编码标准。事实上，关于这类标准的工作已经开始。然而，可能会花费相对较长的时间来完成这种新标准以及此外成功地引入该新标准。同时，关于立体显示设备的工作正在进行，使得可能在不久的将来引入新的且改进的立体显示设备。这些立体显示设备需要内容。

而且，新标准将需要新的复现设备，所述新的复现设备可以处理所述新标准并且尤其是处理依照该新标准记录的数据载体。这些新的复现设备可能相对昂贵，这可能会阻止消费者从单眼视觉升级到立体视觉。他或她需要购买允许立体再现的新的显示设备以及新的复现设备。而且，在立体版本中可能存在相对较少的各种内容。如果只有少数顾客具有再现立体版本的必要装备，那么编辑将不愿意投资用于产生立体版本的新标准。

考虑的另一点涉及可用的带宽和可用的数据容量。例如，依照之前提及的现有技术，两个视频流记录在光盘上：一个视频流用于左眼并且另一个视频流用于右眼。这意味着可以包含两个小时的单眼视频的光盘可能仅包含一个小时的立体视频。记录和回放时间减半。

可用的带宽是超越光盘或者就该点而论另一数据载体的一点。存在用于将显示设备与复现设备接口连接的现有普遍标准，诸如例如DVI和HDMI(DVI是数字视觉接口的首字母缩略词；HDMI是高清晰度多媒体接口的首字母缩略词)。这些标准提供了与给定图像分辨率和给定图像速率关联的给定带宽。原则上，有可能提供用于立体再现目的的具有例如DVI或HDMI类型的两个接口的显示设备和复现设备。然而，这是相对昂贵的解决方案。而且，现有的设备典型地只包括单个接口。

依照本发明，允许立体再现的图像编码方法基本上包括下列步骤。在主编码步骤中，依照一标准对视觉图像编码。在辅助编码步骤中，将与视觉图像关联的立体使能数据编码成仿佛该立体使能数据是可以与依照有关标准的视觉图像结合的辅助图像，该立体使能数据包括指示视觉图像中的相应区域与虚拟观察者之间的相应距离的相应值。在组成定义步骤中，提供了组成定义，其使得依照所述标准操作的解码设备将立体使能数据包含在可以传输到显示设备的输出图像的至少一个特定区域内。

有关的标准可以是现有标准，诸如例如DVD标准或蓝光光盘标准。立体显示设备可以容易地以许多不同的方式提取包含在输出图像中的立体使能数据。因此，为了制作立体显示设备可用的立体版本的内容不需要新的标准。也不存在对于全新复现设备的任何需要。如果需要的话，那么用于现有设备的升级的固件版本将足以允许进行立体再现。而且，依照本发明的图像编码方法对于可用记录和回放时间具有相对适度的影响，或者甚至根本没有影响。再者，例如DVI类型或HDMI类型的单个显示接口将足够用于立体再现。总而言之，由标准化模块组成的现有的普遍基础设施可以用作引入立体图像再现的平台。出于这些原因，本发明允许节省成本地部署立体图像再现。

本发明的实施方式有利地包括以下附加特征中的一个或多个，其在与各个从属权利要求对应的单独的段落中进行描述。这些附加特征中的每一个有助于实现立体图像再现的成本有效运用。

优选地，压缩原始的立体使能数据以便获得编码的立体使能数据。因此，输出图像的相对较小的部分足以输送立体使能数据，从而相对较大的部分可用于输送视觉图像。这有助于高分辨率立体再现。

优选地，子采样原始的立体使能数据，使得编码的立体使能数据具有比原始立体使能数据的分辨率更低的分辨率。这进一步有助于高分辨率立体再现。在这个方面，应当指出的是，立体使能数据中分辨率的损失可以恢复，从而子采样不必与高分辨率立体再现冲突。

提供的组成定义可以使得解码设备将立体使能数据的一部分插入到输出图像的下列行集合中的至少一个内：上面行的集合以及下面行的集合。这特别是在其中场景相对较宽阔的情况下进一步有助于高分辨率立体再现，所述情况典型地是针对电影的情况。

立体使能数据可以依照下列两个标准中的至少一个编码成图形图像：DVD标准或蓝光光盘标准。

所述组成定义可以包含在与图形图像关联的组成段中。

可以产生绘制图片，其通过近似的方式表示立体使能数据，该绘制图片包含可以借助于图元表示的基本图形对象。

可以根据绘制图片产生至少一个图元集合。

依照蓝光光盘标准，可以以Java程序的形式表示图元，所述Java程序可以包含在交互图形数据流中。

立体使能数据可以编码成要以画中画的方式显示的辅助视觉图像。

提供的组成定义可以使得有关解码处理器以画中画的方式将视觉图像的缩放版本插入到辅助视觉图像中，仿佛辅助视觉图像是主要视觉图像并且视觉图像是子图像。

立体使能数据可以由深度图和至少一幅遮挡图像的镶嵌图案(mosaic)形成，所述深度图包括指示视觉图像中的相应区域与虚拟观察者之间的相应距离的相应值，所述遮挡图像代表视觉图像中至少部分地由一个或多个前景对象遮挡的一个或多个背景对象。该遮挡图像有助于高清晰度立体再现。

可以定义包含用于立体再现的项目的菜单，该项目与所述组成定义关联，使得当选择用于立体再现的项目时，解码设备将立体使能数据包含在要传输到显示设备的输出图像的所述至少一个特定区域内。

参照附图的详细描述说明了之前概括的本发明以及附加的特征。

附图说明

图1为示出立体视频记录系统的框图。

图2和图3为分别示出出现在立体视频记录系统中的视觉图像和与其关联的深度图的实物图。

图4为示出通过子采样图3中所示深度图而获得的压缩深度图的实物图。

图5为示出可以提供立体再现的视频系统的框图。

图6为示出形成视频系统的一部分的回放处理器的基本实施方式的框图。

图7为示出视频系统中回放设备传输到显示设备的输出图像的实物图。

图8为示出形成视频系统的一部分的显示处理器的框图。

图9为示出在显示处理器中检索的视觉图像和与其关联的近似深度图的实物图。

图10为示出在显示处理器内产生的九幅不同视图的实物图。

图11为示出可替换立体视频记录系统的框图。

图12和图13为分别示出出现在可替换立体视频记录系统中的深度图和绘制图片的实物图。

图14为示出可以产生图13中所示绘制图片的Java图形程序的实物图。

图15为示出另一可替换立体视频记录系统的框图。

图16和图17为分别示出出现在所述另一可替换立体视频记录系统中的视觉图像和与其关联的镶嵌图像的实物图。

图18为示出形成图5中所示视频系统的一部分的回放处理器的高级实施方式的框图。

图19-22为示出出现在回放处理器的高级实施方式中的各个图像的实物图。

具体实施方式

图1示出了立体视频记录系统RSY1，其包括立体图像捕获设备SIC1和光学记录器REC1。立体图像捕获设备SIC1可以包括例如在稍微不同的角度下捕获场景的照相机对。这允许确定场景中的对象与可以看作虚拟观察者的立体图像捕获设备SIC1之间的距离。存在确定这种距离的其他技术。例如，红外照相机可以用在雷达式方法中。

光学记录器REC1包括各种功能实体：视频编码器VDE1、深度图压缩器CMP、图形编码器GRE、复用器MUX1以及控制器CTR1。这些功能实体中的任何一个可以借助于装载到可编程处理器中的软件程序来实现。在这样的基于软件的实施方式中，软件程序使得可编程处理器执行属于有关功能实体的特定操作。例如，经过适当编程的单个可编程处理器可以实现前述功能实体。应当指出的是，任何功能实体可以同样地看作处理步骤或者一系列处理步骤。例如，视频编码器VDE1可以代表视频编码步骤。出于容易描述的原因，所述功能实体仅仅被描述成仿佛这些实体是物理实体而不是步骤。

光学记录器REC1还包括光盘写入器ODW1，该光盘写入器可以是DVD类型或者蓝光光盘类型(DVD是数字多功能盘的首字母缩略词)。光盘写入器ODW1可以将数据直接写到可写入光盘上。可替换地，光盘写入器ODW1可以产生可以用作光盘批量制作的基础的所谓的母盘。

立体视频记录系统RSY1基本上操作如下。立体图像捕获设备SIC1提供组成有关场景的视频的视觉图像序列VIS1。这些视觉图像是二维的。立体图像捕获设备SIC1还提供伴随视觉图像序列VIS1的所谓的深度图序列DMS1。深度图与特定的视觉图像关联并且提供有关视觉图像中的相应对象相对于虚拟观察者的相应距离的信息。也就是说，深度图提供视觉图像中的相应区域的深度信息。深度图序列允许有关场景的立体再现，其也可以称为三维再现。

图2和图3分别示出了视觉图像VI1和与其关联的深度图DM1。深度图DM1可以是值矩阵的形式，其中每个值与视觉图像VI1中的特定像素关联。由于像素代表特定对象的特定部分，因而与有关像素关联的值代表该特定对象的该特定部分相对于虚拟观察者的距离。存在其中所述值可以表示该距离的各种不同的方式。例如，所述值可以直接指示有关距离。作为另一个示例，所述值可以指示左眼视图和右眼视图中有关像素的角偏移的量。这样的值通常称为视差值或双眼差异值。

图3将深度图DM1表示为提供黑白图像的灰度值矩阵。灰度值可以例如借助于8比特来表示。在普通的符号表示中，这意味着灰度值包含在0与255之间的范围内。0灰度值指示相对于虚拟观察者的最大可能距离。这与图3中的最暗的可能像素对应。相反地，255灰度值指示相对于虚拟观察者的最小可能距离。这与图3中的最亮的可能像素对应。深度图具有与视觉图像的空间分辨率对应的空间分辨率。例如，视觉图像和深度图可以具有1920x1080像素的空间分辨率。

图1中所示的视频编码器VDE1对立体图像捕获设备SIC1提供的视觉图像序列VIS 1编码。相应地，视频编码器VDE1产生视频数据流VDS1，其可以符合MPEG标准，诸如例如MPEG-2和MPEG-4(MPEG为运动图片专家组的首字母缩略词)。视频数据流VDS1因此以压缩的形式表示视觉图像序列VIS1。

深度图压缩器CMP降低立体图像捕获设备SIC1提供的深度图的空间分辨率。相应地，深度图压缩器CMP提供压缩深度图序列CDMS。例如，深度图压缩器CMP可以按照因子8在水平和竖直方向上子采样深度图。假设如之前所述，视觉图像具有1920x1080像素的空间分辨率并且深度图具有相同的分辨率。在这种情况下，获得具有240x135像素的空间分辨率的压缩图像。不同于子采样的技术可以用于压缩深度图，使得更少的数据需要用来表示这些深度图。例如，可以使用有利于补偿压缩深度图中出现的分辨率损失的技术。

图4示出了通过按照倍数8子采样图3中所示深度图DM1而获得的压缩深度图CDM。为了清楚起见，已经按照相同的倍数放大了压缩深度图，使得前述图像具有相似的尺寸。图4清楚地示出出现了空间分辨率的损失。压缩深度图CDM中的值适用于与其关联的视觉图像VI1中的8像素簇。

压缩深度图CDM中的值输送不一定对于像素所适用的簇中的每个像素正确的深度信息。像素簇可以包含属于特定对象的像素组以及属于另一对象的另一像素组。所述一个特定对象可能相对靠近虚拟观察者，而所述另一特定对象可能相对远离虚拟观察者。适用于像素簇的值将对于这些像素组中的至少一个是不正确的。深度图中的这种不精确可能潜在地在有关场景的立体再现中造成不自然的效果。

然而，存在允许基于具有相对较低空间分辨率的深度图进行场景的自然立体再现的技术。这些技术中的一些使用与深度图关联的视觉图像构造更精确的增强深度图。存在于视觉图像中的高分辨率信息有效地用于提高深度图中的空间分辨率。例如，在公开号WO2005/034035下公开的国际申请描述了一种用于改进深度图的技术。具有申请号*(代理人案卷号PH006957)的欧洲申请描述了可以有利地使用的另一种技术。

例如，视觉图像允许确定深度图为其提供特定值的像素簇如之前所述覆盖两个不同的对象。这种确定可以做出，因为例如所述两个不同的对象具有亮度和色度方面的不同特性。相应地，视觉图像允许标识深度图中的不精确性。而且，视觉图像允许进行适当的校正。对于所述两个不同的对象中的每一个，可能存在专属于有关对象并且深度图为其提供一个或多个值的一个或多个相邻像素簇。提供相对精确的深度信息的这些值可以用来确立可以代替深度图中被发现不精确的值的适当值集合。

图1中所示图形编码器GRE将压缩深度图序列CDMS编码成仿佛深度图是要记录在例如DVD盘或蓝光光盘上的图形图像。相应地，图形编码器GRE提供代表伴随视觉图像序列VIS1的深度图序列DMS1的图形数据流GDS。在DVD盘或蓝光光盘记录的情况下，深度图将经受游程编码，这种编码是用于图形图像的有效数据压缩技术。然而，游程编码通常将为具有不同性质的深度图提供相对适度程度的数据压缩。然而，图形数据流GDS应当服从感兴趣的DVD盘或蓝光光盘标准中规定的带宽要求。该服从的实现归因于之前描述的提供足够程度的数据压缩的深度图压缩器CMP。而且，可能由该数据压缩造成的空间分辨率的损失可以如之前所述进行补偿。

图形数据流GDS可以出于不同的目的而包括不同类型的段。例如，假设图1中所示的光学记录器REC1用于蓝光光盘记录。在这种情况下，图形数据流GDS包含所谓的图形对象段和所谓的组成段。图形对象段以游程编码的形式携带压缩的深度图，仿佛这些图像是图形对象。组成段包含有关图形对象应当如何在回放设备中格式化的信息。该格式化可以包括像例如裁切和对象放置那样的操作。回放设备内的图形处理器依照组成段中包含的信息将图形对象组成为所谓的图形平面。

光学记录器REC1的控制器CTR1确保图形数据流GDS或者与其关联的数据流包含关于压缩深度图的适当格式化信息。该格式化信息指示深度图应当如何包含在用于显示设备的输出图像中，仿佛深度图是图形图像。例如，格式化信息可以指示回放设备应当有效地将深度图分解成上部和下部。格式化信息还可以指示回放设备应当将来自上部的值包含在输出图像的开始几行中，并且应当将来自下部的值包含在输出图像的最后几行中。输出图像的其他行可以输送与深度图关联的视觉图像。这将在下面更详细地加以描述。

控制器CTR1还确保其上记录视频数据流VDS1和图形数据流GDS的光盘包含适当的应用数据。应用数据可以包括例如允许用户以二维模式或三维模式观看已经记录在光盘上的场景的菜单。应用数据还可以包括可能与一个或多个菜单项目关联的各种回放定义。回放定义可以提供已经记录在光盘上的多媒体内容的特定再现。为此目的，回放定义使得回放设备选择一个或多个特定数据流以及如果必要的话，选择其一个或多个特定部分。回放定义还使得回放设备对这些选择的数据流及其选择的部分(如果可应用的话)中包含的内容进行特定的组成。

复用器MUX1有效地将要记录在光盘上的所有数据组合成盘数据流DDS1。复用器MUX1依照可应用到有关光盘的标准来这样做。例如，复用器MUX1可以插入允许不同类型的数据彼此区分的适当头部。复用器MUX1还可以执行独立于内容的各种操作，因为例如这些操作涉及可应用标准的物理方面。例如，复用器MUX1可以执行纠错编码。

光盘写入器ODW1可以以常规的方式将盘数据流DDS1写到可写入光盘上。可替换地，光盘写入器ODW1可以将盘数据流DDS1写到作为一种模具的母盘上。母盘随后可以用于批量制作包含盘数据流DDS1的光盘。这些光盘可以是只读类型，诸如例如其上记录了电影的DVD。

已经如前所述进行记录的光盘允许有关场景的立体再现。为此目的，可以在依照现有标准操作的回放设备上播放该光盘，所述标准诸如例如DVD或蓝光光盘标准。不需要新的标准或者现有标准的扩展。

图5示出了包括回放设备PLY和显示设备DPL的视频系统VSY。回放设备PLY可以是例如DVD播放器或蓝光光盘播放器。回放设备PLY通过标准化的连接CX与显示设备DPL通信，所述连接诸如例如数字视觉接口(DVI)或者高清晰度多媒体接口(HDMI)。显示设备DPL可以是具有双凸透镜状屏幕的自动立体类型。这种显示设备DPL允许用户观看提供三维观看体验的立体视频，而无需戴上特定的眼镜。视频系统VSY还可以包括允许用户控制回放设备PLY和显示设备DPL的遥控设备RCD。例如，用户可以使得视频系统VSY显示菜单，他或她借助于遥控设备RCD从该菜单选择项目。

回放设备PLY包括光盘读取器ODR、回放处理器PRP、显示接口DIP和主控制器CTM。回放设备PLY还可以包括用于通过网络NW与远程服务器SRV通信的网络接口NIF。回放处理器PRP可以是已经装载了适当软件程序的可编程处理器的形式。这同样适用于主控制器CTM以及显示接口DIP和网络接口NIF的至少一部分。各种功能实体(诸如例如回放处理器PRP和主控制器CTM)可以借助于单个可编程处理器来实现。

显示设备DPL包括显示接口DID、显示处理器PRD、显示控制器CTD和允许立体视频再现的屏幕。例如，屏幕SCR可以包括液晶(LCD)显示器和双凸透镜片。双凸透镜衍射从显示器发出的光，使得观看者的左眼和右眼接收来自不同像素的光。相应地，借助于一定像素集合显示的视图可以朝左眼引导。借助于不同像素集合同时显示的另一视图可以朝右眼引导。这种自动立体屏幕因而牺牲分辨率以便再现多个视图。立体图像因此可以具有相对适度的分辨率，诸如例如960x540像素。显示处理器PRD可以是已经装载了适当软件程序的可编程处理器的形式。这同样适用于显示控制器CTD和显示接口DID的至少一部分。

视频系统VSY基本上操作如下。假设用户刚把如之前参照图1-4所述制作的光盘插入到回放设备PLY中。在初始阶段，主控制器CTM使得光盘读取器ODR读取存储在光盘上的应用数据。主控制器CTM使用该应用数据借助于显示设备DPL向用户呈现菜单。菜单可以例如建议以二维模式或三维模式回放给定标题。假设用户选择三维模式，其为光盘上存在的多媒体内容的特定再现。作为响应，主控制器CTM根据包含在应用数据中并且与三维模式关联的一个或多个回放定义适当地配置回放处理器PRP。主控制器CTM可以执行另外的操作以便确保用户选择的特定再现。

一旦初始阶段已经完成，光盘读取器ODR提供包含感兴趣多媒体内容的盘数据流DDS1。在初始阶段经过适当配置的回放处理器PRP处理该盘数据流DDS1以便获得与用户选择的特定再现对应的视听数据流AVD。该视听数据流AVD包含输出图像，其可以是各种不同类型的内容(诸如例如视频和图形)的组成。此外，回放处理器PRP可以将附加的信息包含在视听数据流AVD中以便帮助显示设备DPL正确地解释该数据流。这将在下面更详细地加以描述。视听数据流AVD经由前述显示接口DIP、DID以及回放设备PLY与显示设备DPL之间的连接CX到达显示设备DPL的显示处理器PRD。显示处理器PRD处理该视听数据流AVD以便产生用于屏幕SCR的驱动信号DRS。

图6示出了可以依照DVD标准或蓝光光盘标准操作的回放处理器PRP的基本实施方式。该实施方式此后被称为基本回放处理器PBB。基本回放处理器PBB包括各种功能实体：前端模块FEM1、视频解码器VDD、图形解码器GRD、组成模块COM以及内部控制器CTP。前端模块FEM1可以是已经装载了适当软件程序的可编程处理器的形式。这同样适用于其他功能实体。可以在已经经过适当编程的单个处理器上结合所有的功能实体。

回放处理器PRP基本上操作如下。前端模块FEM1处理来自光盘读取器ODR的盘数据流DDS1以便检索以复用形式存在于盘数据流DDS1中的各种不同的数据流。为此目的，前端模块FEM1执行可以包括误差解码和解复用的各种操作。相应地，前端模块FEM1检索施加到图1中所示的复用器MUX1的视频数据流VDS1和图形数据流GDS。

视频解码器VDD解码视频数据流VDS1以便获得施加到图1中所示的视频编码器VDE1的视觉图像序列VIS1或者更确切地说，其近似。图形解码器GRD解码图形数据流GDS以便获得施加到图1中所示的图形编码器GRE的压缩深度图序列CDMS。图形解码器GRD还检索如之前所述包含在图形数据流GDS中的格式化信息。回忆格式化信息指示深度图应当如何包含在用于显示设备DPL的输出图像中。

组成模块COM根据视觉图像序列VIS1、压缩深度图序列CDMS和格式化信息提供视听数据流AVD。视听数据流AVD包含经由图5中所示的连接CX传输到显示设备DPL的输出图像序列。输出图像是视觉图像和与其关联的压缩深度图的组成。组成模块COM根据格式化信息进行这样的组成，仿佛压缩深度图是图形图像。组成模块COM可以直接从图形解码器GRD或者经由内部控制器CTP获得格式化信息。在后一种情况下，内部控制器CTP可以有效地将格式化信息转化成一个或多个组成指令，内部控制器CTP将所述组成指令施加到组成模块COM。在任何情况下，组成模块COM执行标准的操作，仿佛它必须产生其中利用图形信息覆盖视频信息的标准图像。

图7示出了视听数据流AVD内的输出图像OI。输出图像OI可以是例如1920x1080像素矩阵的形式。也就是说，输出图像OI可以包含1080行，每行具有1920个像素。输出图像OI包含输送视觉图像的主要部分。上面行UL的集合和下面行LL的集合输送与视觉图像关联的压缩深度图。为此目的，将压缩深度图有效地分解成上半部分和下半部分。上面行UL的集合输送压缩深度图的上半部分，而下面行LL的集合输送压缩深度图的下半部分。相反的情况也可以适用，这取决于格式化信息。上面行UL的集合和下面行LL的集合因此共同地携带来自压缩深度图的值。回忆这样的值构成适用于视觉图像中的像素簇的深度指示。例如，在如之前所述通过按照倍数8子采样而获得压缩深度图的情况下，值适用于视觉图像中的8像素簇。

存在许多其中组成模块COM可以有效地使用输出图像中的像素以便输送深度信息的不同方式。例如，具有输出图像中的给定位置的像素可以被赋予与压缩深度图中的给定位置的值对应的灰度值。假设压缩深度图构成240x135值矩阵。也就是说，深度图包含135行，每行具有240个值。在这种情况下，输出图像第一行的前135个像素可以被赋予与深度图第一行的相应值对应的相应灰度值。可以称为像素136-270的输出图像第一行的接下来的135个像素可以被赋予与深度图第二行的相应值对应的相应灰度值，以此类推。应当指出的是，可以将来自深度图的值映射到表征输出图像像素的任何给定类型的值或值集合。灰度值仅仅是一个示例。

使用输出图像中的像素以便输送深度信息的更加高效的方式如下。输出图像中的像素典型地包含确定像素外观的三个分量。例如，在输出图像处于所谓的RGB格式的情况下，像素具有红色分量、绿色分量和蓝色分量。在输出图像处于所谓的YCC格式的情况下，像素具有亮度分量、第一色度分量和第二色度分量。在任何情况下，像素的每个分量可以携带构成深度指示的特定值。相应地，像素可以输送来自深度图的三个不同值。在深度图的行如之前所述包含135个像素的情况下，该行可以容纳在输出图像的45个像素中。在这个方面，应当指出的是，8比特值典型地提供足够精确的深度指示。像素分量典型地借助于8比特表示。在某种意义上，像素分量分辨率与深度信息分辨率匹配。

图6中所示的组成模块COM可以将头部嵌入到输出图像中。可以是比特序列或字节序列形式的头部提供了深度信息在输出图像中存在于何处的指示。例如，头部可以指示输出图像的开始五行和最后五行包含来源于深度图的值。头部还可以指示依照其将值从深度图映射到输出图像的方案。头部可以提供可能对于适当地再现输出图像，或者更确切地说，其中包含的视觉图像有用的另外的指示。

可以以下面的方式将头部嵌入到输出图像中。将一定像素集合指定为来自头部的比特载体。该像素集合优选地被指定为使得在属于该集合的任何给定像素对之间，存在不属于该集合的输出图像中的至少一个像素。换言之，阻止了输出图像中的两个相邻像素用作头部比特载体。对于形成该集合一部分的每个像素，向给定像素分量分配与来自头部的一个或多个比特对应的值。优选地，向给定像素分量的每个比特分配相同的值，其代表来自头部的特定比特。这种冗余性使得头部对于明亮度变化、对比度设置和噪声更鲁棒。在任何情况下，组成模块COM应用定义携带头部信息的像素分量和像素的特定头部嵌入方案。

图8示出了显示处理器PRD，或者更确切地说，其实施方式以及显示接口DID和显示控制器CTD。显示处理器PRD包括各种功能实体：头部分析器HDA、分解模块DCO、多视图生成模块MVG以及交织模块IWV。头部分析器HDA可以是已经装载了适当软件程序的可编程处理器的形式。这同样适用于其他功能实体。所有功能实体或者至少其部分可以联合地在经过适当编程的单个处理器上实现。

显示处理器PRD基本上操作如下。头部分析器HDA提取如之前所述嵌入到输出图像中的头部。为此目的，头部嵌入方案可以预编程到头部分析器HDA中。可替换地，回放设备PLY可以例如在当显示设备DPL连接到回放设备PLY时发生的初始化阶段期间将头部嵌入方案传送到显示设备DPL。头部分析器HDA可以直接将头部信息传送到分解模块DCO。可替换地，显示控制器CTD可以解释头部以便适当地配置分解模块DCO。

在任何情况下，分解模块DCO似乎知道深度信息在输出图像中存在于何处。分解模块DCO因而可以检索联合构成视听数据流AVD中的输出图像的视觉图像和压缩深度图。参照图7，分解模块DCO有效地移除了包含深度信息的上面行UL的集合和下面行LL的集合，从而不显示这些行。

分解模块DCO还将压缩深度图转换成近似深度图。近似深度图比压缩深度图更精确。精度方面的这种增益可以由于包含与深度信息相关的相对较高分辨率视觉信息的视觉图像而实现。相应地，分解模块DCO可以标识一定区域，压缩深度图中关于该区域的深度信息不精确。而且，分解模块DCO可以根据视觉图像和压缩深度图中包含的信息进行适当的校正，并且从而增强精度。这点已经参照图1中所示的深度图压缩器CMP更详细地加以解释了。

图9示出了分解模块DCO可以提供的视觉图像VI和与其关联的近似深度图DM。视觉图像VI表示其前存在树的房屋。房屋和树也可以在深度图中被标识。更精确地，树具有包围白色表面的轮廓，白色表面指示该树相对靠近虚拟观察者。房屋具有包围浅灰色表面的轮廓，浅灰色表面指示房屋位于比树更远离虚拟观察者的位置。深度图DM中的暗区域与视觉图像VI中的背景对应。任何背景对象位于离虚拟观察者相对较远的位置。

图10示出了多视图生成模块MVG根据视觉图像和近似深度图产生的九个不同视图。这样的视图集合此后将称为多视图图像MVI。每个视图表示从特定观看位置看见的房屋和其前面的树。也就是说，存在九个稍微不同的观看位置。观看位置的轻微变化造成树的相对较大的移位。这是由于树与虚拟观察者之间的相对较小的距离。形成对照的是，房屋在全部视图中移动相对较小的程度，因为房屋位于更远离虚拟观察者的位置。

多视图生成模块MVG根据近似深度图确定两个不同视图之间的适当的对象移位。对象越靠近虚拟观察者，该移位越大。视觉图像中看起来位置深的对象将经历相对较小的移位或者可能甚至保持在相同的位置。相应地，可以根据近似深度图创建三维体验。

多视图生成根据分解模块DCO提供的视觉图像序列VIS和伴随的近似深度图序列ADMS提供多视图图像序列MVIS。交织模块IWV借助于驱动信号DRS将这些多视图图像输送给屏幕SCR。屏幕SCR可以是如之前所述的自动立体类型并且包括双凸透镜片。在这种情况下，交织模块IWV确保特定视图应用到屏幕SCR上具有相对于双凸透镜片的特定位置的特定像素集合。相应地，中间模块确保每个视图看起来在适当的方向上射出。这允许实现立体观看体验，其不需要观看者本应戴上的任何特定眼镜。

图11示出了此后将称为面向程序的立体视频记录系统RSY2的可替换立体视频记录系统RSY2。面向程序的立体视频记录系统RSY2可以用来例如产生服从蓝光光盘标准的光盘。面向程序的立体视频记录系统RSY2包括立体图像捕获设备SIC2和面向程序的光学记录器REC2。立体图像捕获设备SIC2可以类似于之前所描述的图5中所示的立体图像捕获设备SIC1。

面向程序的光学记录器REC2包括两个特定功能实体：绘制图片发生器DPG和Java程序发生器JSG(Java是太阳微系统公司的注册商标)。面向程序的光学记录器REC2还包括下列功能实体：视频编码器VDE2、复用器MUX2、控制器CTR2和光盘写入器ODW2。这些功能实体可以类似于之前所描述的图5中所示的对应功能实体。应当指出的是，任何功能实体可以同样地看作处理步骤或者一系列处理步骤。例如，视频编码器VDE2可以代表视频编码步骤。出于容易描述的原因，这些功能实体仅仅被描述成仿佛这些功能实体是物理实体，而不是步骤。

面向程序的立体视频记录系统RSY2基本上操作如下。绘制图片发生器DPG接收来自立体图像捕获设备SIC2的深度图序列DMS2。作为响应，绘制图片发生器DPG提供绘制图片序列DPS。绘制图片构成来自立体图像捕获设备SIC2的深度图的近似。该近似借助于基本图形对象来进行，所述基本图形对象可以借助于图元来表示。例如，直线可以借助于绘图矢量来表示。

图12和图13分别示出了深度图DM2以及绘制图片发生器DPG产生的绘制图片DP。深度图DM2与包含具有前景位置的人和具有背景位置的飞机的视觉图像关联。相应地，深度图DM2包含具有与人的轮廓对应的轮廓的白色对象以及具有与飞机的轮廓对应的轮廓的灰色对象。绘制图片DP包含近似人的轮廓的白色多边形以及近似飞机的轮廓的灰色多边形。白色多边形可以表示为绘图矢量集合以及指示白色的颜色填充参数，并且灰色多边形可以表示为另一绘图矢量集合以及指示灰色的另一颜色填充参数。

图14示出了Java程序发生器JSG为绘制图片中的对象产生的Java图形程序JX。Java图形程序JX包含代表有关对象的轮廓的图元集合。Java图形程序JX还可以包含颜色定义。颜色定义表示来自深度图的值，其适当地代表有关对象相对于虚拟观察者的距离。深度图中可能出现的一系列不同的值因而可以映射到用于Java图形程序的一系列不同的颜色。该系列不同的颜色可以包括例如灰度值。图11中所示的Java程序发生器JSG因而可以产生用于图13中所示的绘制图片的两个Java图形程序集合：一个集合针对人并且另一集合针对飞机。

复用器MUX2从Java图形程序发生器JSG接收Java图形程序流JXS。复用器MUX2还接收视频编码器VDE2通过对立体图像捕获设备SIC2提供的视觉图像序列VIS2编码而产生的视频数据流VDS2。复用器MUX2以与之前描述的图1中所示复用器MUX1的方式类似的方式操作。也就是说，复用器MUX2有效地将要记录在光盘上的所有数据组合成盘数据流DDS1，所述数据包括Java图形程序流JXS和视频数据流VDS2。光盘写入器ODW2以与之前描述的图1中所示光盘写入器ODW2的方式类似的方式操作。相应地，已经借助于图11中所示面向程序的立体视频记录系统RSY2记录的光盘允许有关场景在蓝光光盘回放设备上的立体再现。不存在对于新的标准或者蓝光光盘标准的扩展的需要。

假设蓝光光盘回放设备读取已经如之前参照图11-14所述记录的光盘。蓝光光盘回放设备可以类似于图5中所示的回放设备PLY。蓝光光盘回放处理器可以类似于图6中所示的基本回放处理器PBB。也就是说，蓝光光盘回放处理器中的前端模块将从盘数据流DDS2中检索获取Java图形程序流JXS和视频数据流VDS2。蓝光光盘回放处理器中的Java图形程序解码器将根据Java图形程序流JXS重构绘制图片流。视频解码器将解码视频数据流VDS2以便获得视觉图像流。组成模块将提供包含输出图像序列的视听数据流。这些输出图像是基于视觉图像和代表深度信息的绘制图片的组成物。输出图像可以类似于图7中所示的输出图像OI。绘制图片可以包含在输出图像的开始行的集合和最后行的集合中，使得这些行输送深度信息。

图15示出了另一可替换的立体视频记录系统RSY3，其此后将称为面向PIP的立体视频记录系统RSY3。面向PIP的立体视频记录系统RSY3可以用来例如产生服从蓝光光盘标准的光盘。面向PIP的立体视频记录系统RSY3包括立体图像捕获设备SIC3和面向PIP的光学记录器REC3。

立体图像捕获设备SIC3可以类似于之前所描述的图5中所示的立体图像捕获设备SIC1。也就是说，立体图像捕获设备SIC3提供视觉图像序列VIS3和深度图序列DMS3。此外，立体图像捕获设备SIC3提供遮挡图像序列OCIS和遮挡深度图序列ODMS。遮挡图像和遮挡深度图与特定视觉图像关联。遮挡图像提供有关至少部分地被一个或多个前景对象遮挡的一个或多个背景对象的信息。也就是说，遮挡图像包含视觉图像中由于遮挡的原因而不能看见的对象或者对象的部分。遮挡深度图提供与在遮挡图像中表示的这样的对象或者这样的对象的部分有关的深度信息。

遮挡图像序列OCIS和遮挡深度图序列ODMS可以帮助立体视频再现系统提供没有伪像的立体观看体验。这可以参照图9和图10加以解释。在图9表示的视觉图像中，树遮挡了房屋的一部分。在图10表示的九个视图中，除了与图9中表示的视觉图像对应的中间视图之外，房屋被遮挡的部分变得部分可见。也就是说，为立体再现而产生的视图可以包含不存在于立体再现所根据的视觉图像中的部分。有可能借助于所谓的孔填充技术根据视觉图像中存在的信息近似地重构这些丢失的部分。然而，孔填充技术在部分被遮挡的对象相对远离虚拟观察者的情况下可能失效。

遮挡图像包括这样的部分，其在视觉图像中丢失，但是可能是产生用于立体再现的不同视图的适当集合所需的。遮挡图像优选地仅包括视觉图像中被遮挡区域的相关边界部分。遮挡深度图提供关于丢失部分的深度信息，所述丢失部分在与其关联的遮挡图像中表示。

面向PIP的光学记录器REC3包括两个特定功能实体：镶嵌图像组成器MIC和次级视频编码器SVDE。面向PIP的光学记录器REC3还包括可与图1中所示视频编码器VDE2相比的主视频编码器PVDE以及复用器MUX3、控制器CTR3和光盘写入器ODW3。这些最后提到的功能实体可以类似于之前描述的图1中所示的对应功能实体。应当指出的是，任何功能实体都可以同样地看作是处理步骤或者一系列处理步骤。例如，主视频编码器PVDE可以代表主视频编码步骤。出于容易描述的原因，这些功能实体仅仅被描述成仿佛这些功能实体是物理实体而不是步骤。

面向PIP的立体视频记录系统RSY3基本上操作如下。主视频编码器PVDE通过对视觉图像序列VIS3编码提供主视频数据流PVDS。主视频数据流PVDS可与图1中所示视频编码器VDE1产生的视频数据流VDS1相比。镶嵌图像组成器MIC根据来自立体图像捕获设备SIC3的深度图序列DMS3、遮挡图像序列OCIS以及遮挡深度图序列ODMS提供镶嵌图像流MIS。镶嵌图像是其全部与相同视觉图像有关的深度图、遮挡图像和遮挡深度图的镶嵌图案。

图16和图17示出了视觉图像VI3和与其关联的镶嵌图像MI。镶嵌图像MI具有四个象限：左上象限、右上象限、左下象限和右下象限。左上象限是空的。右上象限包含深度图的缩放版本，其在此后将称为缩放深度图。缩放深度图具有在水平和竖直方向上为视觉图像分辨率的一半的分辨率。左下象限包含遮挡图像的缩放版本，其在此后将称为缩放遮挡图像。右下象限包含遮挡深度图的缩放版本，其在此后将称为缩放遮挡深度图。

次级视频编码器SVDE将镶嵌图像流MIS编码成仿佛这些图像是预期用于所谓的画中画(PIP)显示的普通视觉图像。次级视频编码器SVDE可以应用与主视频编码器PVDE的编码方案类似的编码方案，诸如例如MPEG-2或MPEG-4编码方案。相应地，次级视频编码器SVDE提供代表包含深度信息和遮挡信息的镶嵌图像的次级视频数据流SVDS。

控制器CTR3确保其上记录主视频数据流PVDS和次级视频数据流SVDS的光盘包含适当的应用数据。该应用数据包括用于以三维模式再现已经记录在光盘上的内容的菜单项目。应用数据还包括与该菜单项目关联的特定回放定义。用于立体再现的该回放定义限定回放设备应当将主视频数据流PVDS处理成次级视频流，以及相反的情况。也就是说，该回放定义使得回放设备将视觉图像处理成仿佛这些图像是画中画图像。

复用器MUX3接收主视频数据流PVDS和次级视频数据流SVDS。复用器MUX3可以接收其他数据流。复用器MUX3基本上以与之前描述的图1中所示复用器MUX3的方式类似的方式操作。也就是说，复用器MUX3有效地将要记录在光盘上的所有数据组合成盘数据流DDS3。该数据包括之前提到的应用数据，其限定对于立体再现而言，回放设备应当将主视频数据流PVDS处理成次级视频流，以及相反的情况。光盘写入器ODW3以与之前描述的图1中所示光盘写入器ODW1的方式类似的方式操作。相应地，已经借助于图15中所示面向PIP的立体视频记录系统RSY3记录的光盘允许有关场景在蓝光光盘回放设备上的立体再现。不存在对于新的标准或蓝光光盘标准的扩展的需要。

如之前所提到的，图5中所示的回放设备PLY可以代表蓝光光盘播放器。假设用户刚好将已经如之前参照图15-17所述制作的光盘插入到该播放器中。在初始阶段，主控制器CTM使得光盘读取器ODR读取存储在光盘上的应用数据。主控制器CTM使用该应用数据借助于显示设备DPL向用户呈现菜单。菜单可以例如建议以二维模式或三维模式回放给定标题。假设用户选择三维模式，其为光盘上存在的多媒体内容的特定再现。作为响应，主控制器CTM根据包含在应用数据中的一个或多个回放定义适当地配置回放处理器PRP。主控制器CTM可以执行另外的操作以便确保用户选择的特定再现。

图18示出了回放处理器PRP的高级实施方式，该回放处理器可以依照蓝光光盘标准以及特别是依照高清晰度电影(HDMV)模式处理盘数据流DDS3。该实施方式此后将称为高级回放处理器PBA。高级回放处理器PBA包括各种功能实体：前端模块FEMX、主视频解码器PVD、次级视频解码器SVD、呈现图形解码器PGD、交互图形解码器IGD。前端模块FEMX可以在功能上与图6中所示基本回放处理器PBB中的前端模块FEM相比。主视频解码器PVD和次级视频解码器SVD在功能上等效。

高级回放处理器PBA还包括缩放和定位处理器SCP、各种透明度控制模块T1-T6以及各种总和模块S1-S3。最后提到的功能实体的结合与图6中所示组成模块COM对应。符号α1-α3代表透明度控制系数。前述模块中的任何一个都可以是已经装载了适当软件程序的可编程处理器的形式。可以在经过适当编程的单个处理器上结合所有功能实体。

高级回放处理器PBA基本上操作如下。在之前所述的初始阶段，前端模块FEMX被配置成将代表视觉图像的主视频数据流PVDS应用到次级视频解码器SVD。前端模块FEMX还被配置成将代表镶嵌图像的次级视频数据流SVDS应用到主视频解码器PVD。也就是说，前端模块FEMX看起来被指示应用角色变化。主视频解码器PVD检索镶嵌图像流MIS，或者更确切地说，其近似。次级视频解码器SVD检索视觉图像流VI3，或者更确切地说，其近似。

缩放和定位模块SCP缩放视觉图像。更精确地说，视觉图像在水平和竖直方向按照倍数2缩减。例如，假设视觉图像包含1080行，每行具有1920个像素。在这种情况下，缩放模块提供缩放的视觉图像，该缩放的视觉图像包含540行，每行具有960个像素。缩放和定位模块将缩放的视觉图像放置在输出图像的左上象限内，该输出图像包含1080行，每行具有1920个像素。透明度控制模块T1和T2使得输出图像的左上象限与缩放的视觉图像对应，并且输出图像的其他象限与和有关视觉图像关联的镶嵌图像对应。透明度控制系数α3在左上象限内等于1，而该透明度控制系数在其他象限内等于0。相应地，缩放和定位模块SCP提供借助于透明度控制模块T1和T2以及总和模块S1有效地与镶嵌图像流MIS结合的缩放和定位的视觉图像流VIXS。

图19-22示出了出现在之前描述的高级回放处理器PBA中的各种图像。图19示出了次级视频解码器SVD通过解码有关光盘上存在的主视频数据流PVDS而提供的视觉图像VI3。图20示出了缩放和定位模块SCP通过缩放图19中所示视觉图像VI3而建立的缩放的视觉图像VIX。图21示出了主视频解码器PVD通过解码次级视频数据流SVDS而提供的镶嵌图像MI。镶嵌图像MI与图19中所示的视觉图像VI3关联并且在右上象限内包含深度图，在左下象限内包含遮挡图像，在右下象限内包含遮挡深度图。图22示出了通过将缩放的视觉图像VIX覆盖在镶嵌图像MI上，使得缩放的视觉图像仿佛画中画图像而获得的输出图像OIX。

相应地，高级回放处理器PBA可以提供在特定区域内包含视觉信息、深度信息、遮挡信息和遮挡深度信息的输出图像流OIS。如之前参照图6中所示基本回放处理器PBB所解释的，输出图像可以包含指示输出图像所划分的不同区域以及每个不同区域中可以找到的信息类型的头部。相应地，显示设备可以区分不同的输出图像格式，例如图7和图22中所示的输出图像格式。显示设备于是可以以适当的方式处理输出图像。可替换地，可以对显示设备预编程以便处理特定输出图像格式或者可以将其配置成在再现阶段之前的初始化阶段中这样做。

应当指出的是，图18中所示的高级回放处理器PBA也可以以常规方式操作，其中前端模块FEMX从盘数据流DDS3检索呈现图形数据流PGDS和交互图形数据流IGDS。呈现图形解码器PGD和交互图形解码器IGD通过对前述数据流进行解码分别提供呈现图形图像流PGIS和交互图形图像流IGIS。呈现图形图像或交互图形图像可以借助于透明度控制模块T3-T6和总和模块S2、S3与视觉图像结合。

结束语

之前参照附图的详细描述仅仅是权利要求书中限定的本发明和附加特征的说明。本发明可以以许多不同的方式实现。为了说明这点，简要地指出一些可替换方案。

本发明可以有利地应用于涉及立体图像再现的任何类型的产品或方法中。包括图5中所示的光盘播放器的立体再现系统仅仅是示例。本发明同样可以有利地应用于例如被设置成接收和处理符合例如蓝光光盘标准的数据流的接收器中。这样的数据流可以经由诸如因特网之类的网络到达接收器。数据载体不一定是光盘的形式。例如，可以是集成电路形式的可写入存储器可以包含通过依照本发明编码一幅或多幅图像而获得的数据集(assembly)。本发明不需要任何特定类型的立体显示设备。详细描述中提到的自动立体显示器仅仅是示例。该立体显示设备也可以是需要观看者戴上一副眼镜的类型：镜片之一将左眼视图或者其序列传送到左眼，另一镜片将右眼视图或者其序列传送到右眼。这种立体显示设备交替地显示左眼视图和右眼视图。

存在依照本发明编码图像的许多方式。图1和图11分别示出了其中深度图编码成图形图像和基于Java的图形图像的示例。在其他实施方式中，深度图可以像在图15中那样与遮挡数据和遮挡深度数据结合。也就是说，立体使能数据可以排他性地包含深度信息或者深度信息和遮挡信息的组合，以及甚至另外的有助于令人满意的立体再现的信息。

存在使得立体使能数据对于复现设备可用的许多不同方式。在参照图5描述的示例中，立体使能数据与视觉数据一起记录在光盘上。然而，回放设备PLY可以经由网络NW和网络接口NIF从服务器SRV检索立体使能数据。回放处理器PRP因而可以从网络接口NIF接收网络数据流NDS形式的立体使能数据。为光盘上存在的内容选择立体再现模式的用户可以触发与有关内容关联的立体使能数据的这种检索。同样存在于光盘上的应用数据可以指示其中可以检索立体使能数据的特定因特网地址或者这类地址的集合。该检索可能需要付费。

存在其中立体使能信息可以包含在可以传输到显示设备DPL的输出图像中的许多不同方式。图7示出了其中立体使能信息像那样包含在上面行UL的集合和下面行LL的集合中的实施方式。在另一个实施方式中，立体使能信息可以与随机信号相乘以便获得包含在上面行UL的集合和下面行LL的集合中的随机化立体使能信息。显示设备可以将该随机化立体使能信息与对应的随机信号相乘以便检索所述立体使能信息。这种方法可能在以下情况下是有利的：用户错误地选择了用于立体再现的菜单项目，而他或她并没有允许立体再现的显示设备。在这种情况下，将显示包含立体使能信息的输出图像，诸如例如图7中所示的输出图像。用户可能认为上面行UL的集合和下面行LL的集合是奇怪的且令人厌烦的，而没有意识到他或她已经犯了错误。在立体使能信息以随机化形式出现在输出图像中的情况下，上面行UL的集合和下面行LL的集合可能看起来不那么奇怪和令人厌烦。

存在其中可以利用已经依照本发明编码的图像实现立体观看体验的许多不同方式。图8示出了其中显示处理器PRD被设置成检测特定格式的输出图像的实施方式。在另一个实施方式中，显示处理器可以被预编程为解释并且处理依照特定格式的输出图像。在又一个实施方式中，显示处理器可以分析输出图像或一系列输出图像，以便标识其中可能存在立体使能数据的一个或多个特定区域。这样的自动检测可以基于统计分析：在包含视觉数据的区域与包含立体使能数据的区域之间将存在中断。而且，该中断将出现在每幅图像中。

图1、图5、图6、图8、图11、图15和图18所示示例中的任何一个都可以以方法的形式实现。也就是说，这些图中出现的任何框都可以代表方法的一个或多个特定步骤。例如，图1中标示VDE1的框代表视频编码步骤和视频编码器。图1中标示GRE的框代表图形编码步骤和图形编码器。图1中标示MUX1的框代表复用步骤和复用器，对于可以解释为流程图的前述每一个附图中的每个框而言，以此类推。

存在借助于硬件或软件项或者二者实现功能的许多方式。在这个方面，附图是非常示意性的，每个附图仅代表本发明的一个可能的实施例。因此，尽管附图将不同的功能示为不同的框，但是这绝没有排除单个硬件或软件项执行若干功能。也没有排除硬件或软件项或者二者的组件执行一定的功能。应当指出的是，图2中所示的任何功能实体可以借助于软件或硬件或者软件和硬件的组合实现。例如，任何功能实体都可以通过适当地对可编程处理器进行编程(这是基于软件的实现方式)或者以专用电路的形式(这是基于硬件的实现方式)实现。混合实现方式可能涉及一个或多个经过适当编程的处理器以及一个或多个专用电路。

前面做出的评论表明，所述详细描述及其参照的附图说明了而不是限制了本发明。存在落入所附权利要求书的范围内的许多可替换方案。权利要求中的任何附图标记都不应当被视为对权利要求的限制。措词“包括/包含”并没有排除存在权利要求中未列出的其他元件或步骤。元件或步骤之前的措词“一”或“该”并没有排除存在多个这样的元件或步骤。

Claims

1.一种允许立体再现的图像编码方法，该图像编码方法包括：

-主编码步骤(VDE1；VDE2；PVDE)，其中依照一标准对视觉图像进行编码；

-辅助编码步骤(GRE；JSG；SVDE)，其中将与视觉图像关联的立体使能数据编码成仿佛该立体使能数据是能够与依照有关标准的视觉图像结合的辅助图像，该立体使能数据包括指示视觉图像中的相应区域与虚拟观察者之间的相应距离的相应值；

-组成定义步骤(CTR1；CTR2；CTR3)，其中提供了组成定义，其使得依照所述标准操作的解码设备将立体使能数据包含在能传输到显示设备(DPL)的输出图像的至少一个特定区域内。

2.如权利要求1所述的图像编码方法，还包括：

-压缩步骤(CMP；DPG)，其中压缩原始的立体使能数据以便获得在辅助编码步骤(GRE；JSG；SVDE)中编码的立体使能数据，所述压缩步骤包括子采样步骤，其中子采样原始的立体使能数据，使得编码的立体使能数据具有比原始立体使能数据的分辨率更低的分辨率。

3.如权利要求1所述的图像编码方法，由此在组成定义步骤(CTR1)中，提供的组成定义使得解码设备将立体使能数据的一部分插入到输出图像的下列行集合中的至少一个内：上面行(UL)的集合以及下面行(LL)的集合。

4.如权利要求2所述的图像编码方法，由此在辅助编码步骤(GRE)中，立体使能数据依照下列两个标准中的至少一个编码成图形图像：DVD标准或蓝光光盘标准。

5.如权利要求4所述的图像编码方法，组成定义步骤(CTR1)包括：

-格式化步骤，其中所述组成定义包含在与所述图形图像关联的组成段中。

6.如权利要求2所述的图像编码方法，所述压缩步骤包括：

-绘制图片生成步骤(DPG)，其中产生绘制图片，其通过近似的方式表示立体使能数据，该绘制图片包含能借助于图元表示的基本图形对象，根据所述绘制图片产生至少一个图元集合。

7.如权利要求6所述的图像编码方法，由此在辅助编码步骤(JSG)中，依照蓝光光盘标准，以能包含在交互图形数据流GDS中的Java程序的形式表示图元。

8.如权利要求1所述的图像编码方法，由此在辅助编码步骤(SVDE)中，立体使能数据编码成要以画中画的方式显示的辅助视觉图像，并且在组成定义步骤(CTR3)中，提供的组成定义使得有关解码处理器以画中画的方式将视觉图像的缩放版本插入到辅助视觉图像中，仿佛辅助视觉图像是主要视觉图像并且视觉图像是子图像。

9.如权利要求8所述的图像编码方法，包括：

-镶嵌图像形成步骤(MIC)，其中立体使能数据由深度图和至少一幅遮挡图像的镶嵌图案形成，所述深度图包括指示视觉图像中的相应区域与虚拟观察者之间的相应距离的相应值，所述遮挡图像代表视觉图像中至少部分地由一个或多个前景对象遮挡的一个或多个背景对象。

10.如权利要求1所述的图像编码方法，包括：

-菜单定义步骤，其中定义包含用于立体再现的项目的菜单，用于立体再现的项目与所述组成定义关联，使得当选择用于立体再现的项目时，解码设备将立体使能数据包含在要传输到显示设备(DPL)的输出图像的所述至少一个特定区域内。

11.一种服从一标准的数据载体，该数据载体包含：

-主编码数据(VDS1，VDS2，PVDS)，其代表依照所述标准的视觉图像；

-辅助编码数据(GDS，JXS，SVDS)，其代表与视觉图像关联的立体使能数据，仿佛该立体使能数据是能够与依照有关标准的视觉图像结合的辅助图像，该立体使能数据包括指示视觉图像中的相应区域与虚拟观察者之间的相应距离的相应值；以及

-组成定义数据，其使得解码设备将立体使能数据包含在能传输到显示设备(DPL)的输出图像的至少一个特定区域内。

12.一种图像编码器(RSY1，RSY2，RSY3)，包括：

-主编码模块(VDE1；VDE2；PVDE)，其用于依照一标准对视觉图像进行编码；

-辅助编码模块(GRE；JSG；SVDE)，其用于将与视觉图像关联的立体使能数据编码成仿佛该立体使能数据是能够与依照有关标准的视觉图像结合的辅助图像，该立体使能数据包括指示视觉图像中的相应区域与虚拟观察者之间的相应距离的相应值；以及

-组成定义模块(CTR1；CTR2；CTR3)，其用于提供组成定义，该组成定义使得依照所述标准操作的解码设备将立体使能数据包含在要传输到显示设备(DPL)的输出图像的至少一个特定区域内。

13.一种图像解码器(PLY)，包括被设置成处理一信号的处理器(PRP)，该信号包含代表依照标准的视觉图像的主编码数据(VDS1，VDS2，PVDS)，并且还包含：

-辅助编码数据(GDS，JXS，SVDS)，其代表与视觉图像关联的立体使能数据，仿佛该立体使能数据是能与依照有关标准的视觉图像结合的辅助图像，该立体使能数据包括指示视觉图像中的相应区域与虚拟观察者之间的相应距离的相应值；以及

-组成定义数据，其使得解码设备将立体使能数据包含在能传输到显示设备(DPL)的输出图像的至少一个特定区域内；

所述处理器(PRP)还被设置成向显示设备(DPL)提供输出图像中包含立体使能数据的所述至少一个特定区域的指示，所述处理器以嵌入到输出图像中的头部的形式提供该指示。

14.一种包括指令集合的计算机程序产品，所述指令当装载到可编程处理器中时，使得该可编程处理器执行如权利要求1所述的图像编码方法。