CN101911124B - 用于覆盖图形对象的图像处理器 - Google Patents

Abstract

一种图像处理器，其处理定义基本图像和图形对象的数据的组件(DDS)。该数据的组件(DDS)包括构成数据(CS)，其定义图形对象在输出图像中的给定的外观，其中图形对象覆盖基本图像的一部分。所述图像处理器包括遮蔽分析器(OCA)，用于根据构成数据(CS)建立遮蔽指示(OCS)。遮蔽指示(OCS)规定在基本图像上的一个区域，该区域在输出图像上将被图形对象遮蔽，但它在输出图像的立体呈现时可以被去除遮蔽。遮蔽数据生成器(ODG)根据遮蔽指示(OCS)和基本图像来构成遮蔽图像。遮蔽图像代表对应于由遮蔽指示(OCS)规定的区域的、该基本图像的一部分。

Description

用于覆盖图形对象的图像处理器

发明领域

本发明主要涉及一种可以把图形对象覆盖(overlay)在基本图像上的图像处理器。该图像处理器可以具有例如能够提供立体视频输出数据的蓝光光盘回放设备的形式。本发明的其它方面涉及到立体视频呈现系统、处理定义基本图像和图形对象的数据的组件(assembly)的方法、以及用于可编程处理器的计算机程序产品。

背景技术

通过把图形对象覆盖在基本图像上、或覆盖在构成视频的基本图像序列上，可以得到增强的视频体验。添加字幕是一个基本的例子，其中图形对象具有文本的形式。在更高级的应用中，一个或多个图形对象可以代表也许与基本图像有概念上的关系的图画。也有可能基于一个或多个图形对象给视频加上动画。

对于能够提供增强的视频体验的所谓的蓝光光盘应用已经逐步形成一种标准。该标准规定了所谓的图形对象分段，图形对象分段提供了采用编码形式的、图形对象的基本表示。该标准还规定了所谓的构成分段(composition segment)。构成分段描述了该构成分段所涉及的图形对象的给定的外观。为了达到这个给定的外观，需要处理图形对象的基本表示。这个处理可包括比如像裁剪、定位、颜色映射那样的操作。图形控制器典型地根据所关心的构成分段来定义这些操作。由处理其基本表示而产生的图形对象典型地被放置在所谓的图形面上。这个图形面然后被覆盖在与视频的图像相对应的视频面上。视频面因此可被看作为在其上覆盖图形对象的基本图像。

以编号US 2006/0294543公布的美国专利申请描述了背景技术，按照该背景技术，再现设备分开地译码视频流和图形流，并且叠加最终得到的视频和图形，以产生再现图像。图形流是所谓的PES分组的排列，这些分组可被分类为两种类型：承载控制信息的PES分组和承载代表图形的图形数据的PES分组。一对控制信息与图形数据产生一个图形显示。再现设备顺序地读取控制信息和图形数据，译码控制信息，并且还译码图形数据，以生成未压缩的图形。再现设备按照控制信息的译码结果，以想要的呈现定时显示未压缩的图形。

发明概要

因而本发明的目的是提供一种这样的解决方案，其允许以相对较低的成本来实现在其中有图形对象覆盖于基本图像的图像的令人满意的立体图像呈现。独立权利要求定义了本发明的各种方面。从属权利要求定义了用于实施本发明以便获益的附加特征。

本发明考虑了以下几点。当通过把图形对象覆盖在基本图像上而得到的图像被以立体的方式呈现时，可能出现遮蔽(occlusion)问题。为了以立体的方式呈现图像，需要深度信息。这个深度信息指示各个对象相对于虚拟观察者所具有的各自的距离，深度信息可被处理器使用来生成多个视图。每个视图对应于特定的观看位置，这个特定的观看位置与其它观看位置稍有不同。图形对象将遮蔽一部分基本图像。在被生成用于立体呈现的一个或多个视图中，被遮蔽的那部分的至少一部分可被去除遮蔽(de-occlude)。倘若处理器需要根据上述的图像生成多个视图，这造成一个问题。信息将缺失。

遮蔽问题的基本解决方案如下。生成用于立体呈现的多个视图的处理器被提供以完整的基本图像，而不是其中有图形对象覆盖于基本图像的图像。也就是，处理器接收基本图像和图形对象，以及相关的深度信息。因此，处理器具有用于正确地生成多个视图的所有的必需的信息。

然而，上述的基本解决方案实施起来可能相对昂贵。所关心的处理器优选地形成立体显示设备的一部分，其可以被耦合到众多不同类型的视频设备。这意味着，在立体显示设备与它耦合到的视频设备之间的连接需要输送基本图像以及图形对象和需要被呈现的其它可视信息(如果有的话)。为了输送所有的这样的信息，所述连接需要具有相对较大的带宽。所关心的类型的连接已被标准化。标准化的连接具有给定的最大带宽。万一需要超过给定的最大带宽的带宽，则需要多个连接。这是相对昂贵的，并且也可能是麻烦的。

遮蔽问题也可以通过所谓的空洞填充技术被解决。空洞填充技术可以是基于外推法：图像上可得到的可视信息被使用来重建该图像中缺失的可视信息。作为另一个例子，基本图像的被图形对象遮蔽的那个部分可以根据同一个视频的先前的图像或随后的图像或这二者而被重建。视频通常包括正在移动的对象。因此，给定图像中被遮蔽的基本图像的那个部分在先于该给定图像的图像中、或在跟随于该给定图像之后的图像中、或在这二者中可以是至少部分地可看见的。然而，这样的空洞填充技术典型地需要复杂的处理，所以实施起来是昂贵的。

按照本发明，图像处理器处理定义基本图像和图形对象的数据的组件。该数据的组件包括构成数据，其定义图形对象在输出图像上的给定的外观，其中图形对象覆盖基本图像的一部分。图像处理器包括遮蔽分析器，用于根据构成数据建立遮蔽指示。遮蔽指示规定在基本图像中的区域，所述区域在输出图像上将被图形对象遮蔽，但在输出图像的立体呈现中可以被去除遮蔽。遮蔽数据生成器根据遮蔽指示和基本图像来构成遮蔽图像。遮蔽图像代表对应于由遮蔽指示规定的区域的、基本图像的一部分。

例如，在蓝光光盘应用中，构成数据是以此前提到的构成分段的形式可提供的。构成分段允许确定在哪里将出现遮蔽。不需要分析所关心的图形对象，而且该图形对象首先需要为此目的而被生成。相对较少的操作(其可能是相对较简单的)就足以提供在哪里将出现遮蔽的指示。这个指示可被使用来标识基本图像中的互补(complementary)可视信息，它将允许处理器生成多个视图，而无须使用任何空洞填充技术。这个互补可视信息可以随所关心的图像一起被发送到显示设备，在其中图形对象覆盖基本图像。互补可视信息典型地只代表基本图像的相对较小的部分。这放宽了对于在其中基本图像被图形对象覆盖的显示设备和视频设备之间的连接的带宽的要求。由于那些原因，本发明允许以相对较低的成本实现其中图形对象覆盖基本图像的图像的令人满意的立体呈现。

本发明的实现有利地包括一个或多个以下的附加特征，这些特征在对应于一个个从属权利要求的单独的段落中被描述。这些附加特征的每个特征有助于以相对较低的成本实现令人满意的立体图像呈现。

遮蔽分析器优选地提供遮蔽指示以作为构成数据的适配(adaptation)。图像处理器于是包括图形控制器，它以相似的方式处理构成数据和遮蔽指示。遮蔽指示的处理提供了用于遮蔽数据生成器的遮蔽数据生成控制参数。因此，图形控制器被使用于两个用途：图形构成和遮蔽数据生成。这允许非常高效的、并从而是成本经济的实现，它在例如蓝光光盘应用中可以是基于现有的图形控制器的。

遮蔽分析器优选地把基本图像中将被图形对象遮蔽的区域定义为图形对象的固定尺寸的边界部分。

遮蔽分析器也可以把基本图像中将被图形对象遮蔽的区域规定为图形对象的可变尺寸的边界部分。该边界部分具有依赖于深度指示的尺寸，深度指示指明了在图形对象与将被图形对象遮蔽的区域之间在深度上的差值。

遮蔽数据生成器优选地包括遮蔽深度图构成器(composer)，其根据遮蔽指示和与基本图像相关联的深度图来构成遮蔽深度图。遮蔽深度图代表对应于由遮蔽指示定义的区域的、深度图的一部分。

图像处理器可包括后端模块，用于把遮蔽图像包括到输出图像中。

后端模块可以把头标嵌入在输出图像中。头标可以指示在输出图像中的、其中包括有遮蔽图像的区域。

参照附图的详细说明举例说明了在此前概述的本发明以及附加特征。

附图简述

图1是图示立体视频系统的框图。

图2是直观图，其图示了在立体视频系统中出现的可视图像和与其相关联的深度图。

图3是直观图，其图示了在立体视频系统内生成的九个不同的视图。

图4是图示形成立体视频系统的一部分的回放处理器的框图。

图5是直观图，其图示了回放处理器可以生成的、用于传输到显示设备的输出图像。

详细说明

图1图示立体视频系统VSY，它包括回放设备PLY和显示设备DPL。回放设备PLY例如可以是蓝光光盘播放器。回放设备PLY经由被标准化的连接而与显示设备DPL通信，标准化的连接比如像数字可视接口(DVI)或高清晰度多媒体接口(HDMI)，二者均未示出。显示设备DPL可以是自动立体类型。立体视频系统VSY还可包括遥控设备RCD，它允许用户控制回放设备PLY以及显示设备DPL。例如，用户可以使得立体视频系统VSY显示菜单，他或她可以借助于遥控设备RCD从该菜单选择项目。

回放设备PLY包括光盘读取器ODR、回放处理器PRP、显示接口DIP、和主控制器CTM。回放设备PLY还可包括网络接口NIF，用于经由网络NW与远端服务器SRV通信。回放处理器PRP可以具有被装载有适当的软件程序的可编程处理器的形式。这同样适用于主控制器CTM以及显示接口DIP与网络接口NIF的至少一部分。各种功能实体，比如像回放处理器PRP和主控制器CTM，可以借助于单个可编程处理器来实现。

显示设备DPL包括显示接口DID、显示处理器PRD、显示控制器CTD、和允许立体视频呈现的屏幕SCR。显示处理器PRD可以具有被装载有适当的软件程序的可编程处理器的形式。这同样适用于显示控制器CTD以及显示接口DID的至少一部分。

屏幕SCR可包括液晶(LCD)显示器和一片双凸透镜。双凸透镜衍射从显示器发出的光，以使得观看者的左眼和右眼接收来自不同像素的光。因此，借助于一组像素而被显示的视图可以被导向左眼。借助于不同组的像素而被同时显示的另一个视图可以被导向右眼。这样的自动立体屏幕允许用户看到立体视频，这提供了三维观看体验，而不用佩戴特定的眼镜。然而，为了呈现多个视图，牺牲了分辨率。立体图像因此可以具有相对适度的分辨率，比如像960x540像素。

立体视频系统VSY基本上如下地运行。假设用户刚把包括立体视频数据的蓝光光盘插入回放设备PLY。在初始阶段，主控制器CTM使得光盘读取器ODR读出被存储在光盘上的应用数据。主控制器CTM使用应用数据，借助于显示设备DPL把菜单呈现给用户。菜单可以建议例如在基本立体模式下给定字幕的回放，不带任何图形动画，或者在增强的立体模式下给定字幕的回放，带有图形动画。

假设用户选择了增强的立体模式，该模式是在光盘上存在的多媒体内容的特定的呈现。作为响应，主控制器CTM根据被包括在应用数据中且与增强的立体模式相关联的一个或多个回放定义，适当地配置回放处理器PRP。主控制器CTM可以实行另外的操作，以便保证用户所选择的特定的呈现。

一旦完成初始阶段，光盘读取器ODR就提供包括感兴趣的多媒体内容在内的盘数据流DDS。在初始阶段被适当地配置的回放处理器PRP处理盘数据流DDS，以便得到与用户选择的特定呈现相对应的视听数据流AVD。视听数据流AVD包括输出图像，这些输出图像可以由各种不同类型的内容(比如像视频和图形)构成。另外，回放处理器PRP可把附加信息包括到视听数据流AVD中，以便帮助显示设备DPL正确地解译这个数据流。视听数据流AVD分别经由上述的显示接口DIP、DID、以及在回放设备PLY与显示设备DPL的所述接口DIP、DID之间的连接CX，到达显示设备DPL的显示处理器PRD。

显示处理器PRD处理视听数据流AVD，以便产生用于屏幕SCR的驱动器信号DRS。更具体地，显示处理器PRD从视听数据流AVD中检索可视图像(visual image)序列和深度图序列。可视图像是二维的。深度图与特定的可视图像相关联，且提供关于该可视图像中的各个对象相对于虚拟观察者所具有的各自距离的信息。也就是，深度图提供对于在可视图像中的各个区域的深度信息。深度图序列允许所关心的场景的立体呈现，其也可以被称为三维呈现。

深度图可以具有数值矩阵的形式，由此每个数值与可视图像中的特定的像素、或特定的像素集群相关联。像素或像素集群典型地代表特定对象的特定部分。因此，来自深度图的、与所关心的像素或所关心的像素集群相关联的数值代表所关心对象的所关心部分相对于虚拟观察者所具有的距离。存在着数值可以表达那个距离的各种不同的方式。例如，数值可以直接表示所关心的距离。作为另一个例子，数值可以指示在左眼视图和右眼视图中对于所关心的像素的角度移位的量。这样的数值通常被称为视差值或差异值。

深度图可被表示为黑白图像，该黑白图像是灰度值的矩阵。灰度值例如可以用8比特来表达。以常规的表示法，这意味着，灰度值被归入0到255之间的范围。灰度值0指示离虚拟观察者最大的可能距离。这对应于在表示深度图的黑白图像中的最暗的可能像素。相反，灰度值255指示离虚拟观察者最小的可能距离。这对应于在表示深度图的黑白图像中的最亮的可能像素。

图2图示显示处理器PRD可以从视听数据流AVD中检索到的可视图像V I和与其相关联的深度图DM。可视图像VI表示一个房屋，在其前面有一棵树。该房屋和树也可以在深度图DM中被识别。更精确地，树具有围绕白色表面的轮廓，这表明树相对地更接近于虚拟观察者。房屋具有围绕浅灰色表面的轮廓，这表明房屋比起树来说位于离虚拟观察者更远处。深度图DM中的暗的区域对应于可视图像上的背景。任何背景对象都位于离虚拟观察者相对更远处。

图3图示可以由显示处理器PRD根据图2所示的可视图像VI和深度图DM产生的一组九个不同的视图MVS。每个视图代表从特定的观看位置看见的房屋和在房屋前面的树。也就是，有九个稍微不同的观看位置。由于在树与虚拟观察者之间的距离相对较小，观看位置的少许改变造成树的相当大的位移。相反，在全部视图中房屋只移动相对较小的程度，因为房屋位于离虚拟观察者更远处。通常，显示处理器PRD根据深度图来确定对象在两个不同的视图之间的适当的位移。对象离虚拟观察者越近，位移越大。在可视图像中，可以说位于深处的对象将经历相对较小的位移，或甚至可能保持在相同位置。因此，根据深度图可以产生三维体验。

正如前面提到的，屏幕SCR可以是自动立体类型的，且包括一片双凸透镜。在那种情形下，显示处理器PRD保证特定的视图被施加到屏幕SCR上相对于该片双凸透镜具有特定位置的特定一组像素。因此，可以说，显示处理器PRD保证每个视图在适当的方向上播送。这允许立体的观看体验，它不需要观看者本来必须佩戴的任何特别的眼镜。

在图2所描绘的可视图像VI上，树遮蔽房屋的一部分。在图3所描绘的那组九个视图MVS上，除了对应于图2所描绘的可视图像的中间视图以外，被遮蔽的房屋部分变为部分地可看见。也就是，被生成用于立体呈现的视图可包括：在立体呈现所基于的可视图像中不存在的部分。有可能借助于所谓的空洞填充技术，根据在可视图像中存在的信息，来近似地重建这些缺失的部分。然而，在部分地被遮蔽的对象与虚拟观察者离得相对较远的情形下，空洞填充技术可能达不到目标。

图4图示可以按照蓝光光盘标准运行的回放处理器PRP。回放处理器PRP包括各种主要功能实体：前端模块FEM、图形处理器GPR、立体视频解码器SVD、遮蔽数据生成器ODG、平面组合器PLC和后端模块BEM。回放处理器PRP还可包括与图1所示的主控制器CTM合作的内部控制器。图形处理器GPR可以具有被装载有适当的软件程序的可编程处理器的形式。这同样适用于其它功能实体。所有的功能实体可被组合在被适当编程的单个处理器上。

图形处理器GPR包括各种功能实体：图形流处理器GSP、图形对象构成器GOC、构成缓冲器CB1和图形控制器GCT。这些功能实体，或更确切地是它们的等同物，可以在常规的蓝光光盘图形处理器中找到。图4所示的图形处理器GPR还包括以下功能实体：遮蔽分析器OCA和补充构成缓冲器CB2。这些功能实体可被看作为是被添加到常规蓝光光盘回放设备中已存在的那些实体中。遮蔽数据生成器ODG包括两个功能实体：遮蔽图像构成器OIC和遮蔽深度图构成器ODC。

任一上述的功能实体可以借助于被装载到可编程处理器中的软件程序而被实现。在这样的基于软件的实现中，软件程序使得可编程处理器进行属于所关心的功能实体的特定操作。例如，被适当地编程的单个可编程处理器可以实现图形处理器GPR以及遮蔽数据生成器ODG。应当指出，任一功能实体可以同样地被看作为一个处理步骤或一系列处理步骤。例如，遮蔽分析器OCA可以代表遮蔽分析步骤。为了容易说明起见，这些功能实体仅仅被描述成仿佛这些是物理实体，而不是步骤。

回放处理器PRP基本上如下地运行。前端模块FEM处理来自光盘读取器ODR的盘数据流DDS，以便检索在盘数据流DDS中以复用形式存在的各种不同的数据流。为此，前端模块FEM实行各种操作，可包括错误译码(error decoding)和解复用。因此，前端模块FEM检索遵守蓝光光盘标准的图形数据流GDS，以及立体视频数据流SVDS。立体视频数据流SVDS可以是包括例如输送可视信息的数据流和输送深度信息的另一个数据流的数据流的复用。

图形数据流GDS包括所谓的图形对象分段和所谓的构成分段。图形对象分段承载采用编码形式的图形对象。在蓝光光盘标准中，对于图形对象典型地使用游程长度编码。构成分段包括关于图形对象在回放设备PLY中为了呈现而应当如何被处理的信息。也就是，构成分段定义了图形对象应当如何出现在所谓的图形面上。为了呈现，这个图形处理可包括例如像裁剪、对象放置和颜色映射那样的操作。因此，构成分段构成用于图形对象分段的元数据。元数据是这样一种数据，即它提供关于数据的信息，它可被使用来解译或操控或解译及操控最后提到的数据。关于在蓝光光盘中的图形的进一步信息可以在以编号WO 2005/006747和WO2005/004478公布的国际申请中找到。

图形流处理器GSP从图形数据流GDS中检索图形对象分段，并译码这些图形对象分段。因此，图形流处理器GSP产生译码的图形对象，它们典型地被暂时存储在缓冲器中。图形对象构成器GOS在适当的时刻从这个缓冲器接收译码的图形对象，该适当的时刻典型地由所谓的时间戳定义。图形流处理器GSP因此把图形对象序列GOS施加到图形对象构成器GOC，如图4所示。

图形流处理器GSP还检索在图形数据流GDS中存在的构成分段CS。这些构成分段CS被暂时存储在图4所示的构成缓冲器CB1中。构成分段CS还被发送到遮蔽分析器OCA。

图形控制器GCT按照由时间戳定义的定时方案从构成缓冲器CB1中取装(fetch)构成分段CS。假设图形对象构成器GOC打算接收特定的译码的图形对象。特定的构成分段与这个译码的图形对象相关联。在图形对象构成器GOC开始处理所关心的译码的图形对象之前，图形控制器GCT从构成缓冲器CB1中取装这个构成分段。图形控制器GCT解译所关心的构成分段，以便建立用于图形对象构成器GOC的一组图形-构成控制参数PG。

图形对象构成器GOC按照该组图形-构成控制参数PG来处理译码的图形对象。图形对象构成器GOC可以根据颜色查找表实行各种不同的操作，比如像裁剪或缩放、对象放置和颜色映射。这些操作使得译码的图形对象在图形面上具有给定的外观。已由图形控制器GCT转换成一组图形-构成控制参数PG的构成分段定义这个外观。图形面可被看作为基本图像，它可以与其它基本图像组合，以便得到输出图像以供显示。这将在下文中更详细地描述。

立体视频译码器SVD译码立体视频数据流SVDS，以便得到视频面序列VPS和深度图序列DMS。视频面可被看作为属于被记录在光盘上的视频的基本图像。视频面序列VPS因此代表所关心的视频。深度图与特定的视频面相关联，并提供关于在该视频面上存在的对象的深度信息，正如此前所描述的。也就是，深度图中的数值涉及到所关心的视频面中的特定区域，并且它指示这个特定区域相对于虚拟观察者所具有的距离。所关心的区域可包括例如单个像素或像素集群。

平面组合器PLC接收来自立体视频译码器SVD的视频面序列VPS和来自图形处理器GPR的图形面序列GPS。图形面与特定的视频面相关联。平面组合器PLC组合图形面和与其相关联的视频面。图形面典型地被覆盖在视频面上，以使得图形对象具有前景位置。前景位置可以借助于与该图形对象相关联的深度指示来规定，该深度指示指明相对于虚拟观察者的距离。替换地，图形对象可以具有预定义的、固定的深度。在图形面中的、不包括任何对象的区域可被看作为透明的。因此，得到可视图像，该可视图像相应于所关心的视频的图像，带有被覆盖在这个图像上的一个或多个图形对象。平面组合器PLC因此响应于视频面序列VPS和图形面序列GPS而提供可视图像序列VIS。

在可视图像中具有前景位置的图形对象典型地将遮蔽在可视图像所基于的视频面上存在的一个或多个对象。例如，图2所示的房屋可以是在视频面上所包括的一个对象。在同一个图上所示的树可以是在图形面上所包括的图形对象，该图形面被覆盖在视频面上。树遮蔽房屋的一部分，这在立体呈现中可能引起此前参照图2和图3所解释的伪像。

当图形对象遮蔽视频面的一部分时，立体呈现的伪像潜在地具有相当高的可见度，因此它也具有相当高的令人讨厌的程度。这是因为图形对象典型地将是相对较接近虚拟观察者的，而视频面上的一个或多个被遮蔽的对象典型地将是离虚拟观察者相对较远的。也就是，在深度上将有相对较大的差别。在这样的情形下，通常很难借助于此前提到的空洞填充技术来减轻上述的伪像。下文中给出防止伪像的精巧的技术，它牵涉到遮蔽分析器OCA、补充构成缓冲器CB2和遮蔽数据生成器ODG。

遮蔽分析器OCA根据在图形数据流GDS中存在的构成分段CS来生成遮蔽构成分段OCS。正如此前解释的，构成分段应用到特定的图形对象。构成分段指示在可视图像中将由图形对象占用的区域。假设图形对象具有前景位置，通常是这样的情形。由图形对象占用的区域于是构成遮蔽的区域。构成分段指示这个遮蔽区域。遮蔽分析器OCA使用这个信息来生成遮蔽构成分段，它涉及到在其中将出现所关心的图形对象的可视图像。可选地，遮蔽分析器OCA也可以使用深度信息(如果其可提供的话)用于生成遮蔽构成分段。遮蔽构成分段OCS被暂时存储在补充构成缓冲器CB2中。

遮蔽构成分段可被看作为构成分段的适配的版本。遮蔽构成分段指示在可视图像上的遮蔽区域。遮蔽区域可以对应于所关心的图形对象占用的区域。遮蔽区域也可以对应于所关心的图形对象占用的区域的边界部分。在概念上，该边界部分可以如下地建立。把剪切器(cutter)放置在，可以说，离图形对象轮廓的给定距离处的所关心的区域内。剪切器沿该轮廓而行，同时保持该给定的距离。边界部分被包括在图形对象的轮廓与剪切器所沿路径之间。不过，可以使用不同的技术来建立边界部分。例如，边界部分可以按照固定尺寸的块被定义，这对应于为补偿遮蔽所需要的实际边界部分的圆滑(round off)。

边界部分可以具有固定的尺寸。也就是，用以放置上述剪切器的给定的距离可以是固定的，或定义边界部分的块的数目可以是固定的。边界部分也可以具有依赖于深度信息的尺寸，该深度信息指示在所关心的图形对象与一个或多个被遮蔽的对象之间的深度上的差值。这个深度上的差值越大，边界部分的尺寸应当越大。这最后的方法与其中边界部分具有固定尺寸的方法相比，需要更多的计算工作量。

实际上，固定尺寸的边界部分通常将提供令人满意的结果。这是因为立体显示器通常可以仅仅再现相对适度的量的深度。而且，观看者典型地可以以舒服的方式仅仅体验相对适度的量的深度。具有相对较大的深度变化的立体呈现可使观看者头痛。因此，边界部分可被给予固定的尺寸，这个固定的尺对应于由显示器技术或人体生理学或二者所定义的最大深度变化。

图形控制器GCT按照可应用的定时方案取装遮蔽构成分段OCS，它们被暂时存储在补充构成缓冲器CB2中。例如，图形控制器GCT对于每个图形对象可以应用以下的方案。图形控制器GCT首先取装和处理属于所关心的图形对象的构成分段，以便于把一组图形-构成控制参数PG施加到图形对象构成器GOC。图形控制器GCT随后取装由遮蔽分析器OCA根据所关心的构成分段生成的遮蔽构成分段。图形控制器GCT以类似于用以处理构成分段的方式的方式处理遮蔽构成分段。因此，图形控制器GCT建立一组遮蔽数据生成控制参数PO。这组遮蔽数据生成控制参数PO涉及到特定的可视图像，即，其中将出现所关心的图形对象的可视图像。

遮蔽数据生成器ODG接收该组遮蔽数据生成控制参数P0。该组遮蔽数据生成控制参数PO涉及到在视频面序列VPS中的特定的视频面，即，将被使用来形成在其中将出现所关心的图形对象的可视图像的那个视频面。该组遮蔽数据生成控制参数PO还涉及到特定的深度图，即，与所关心的视频面相关联的深度图。遮蔽图像构成器OIC可以从立体视频译码器SVD得到所关心的视频面。缓冲器可被使用来暂时存储所关心的视频面。以类似的方式，遮蔽深度图构成器ODC可以从立体视频译码器SVD得到所关心的深度图。

遮蔽图像构成器OIC根据感兴趣的视频面和由图形控制器GCT提供的那组遮蔽数据生成控制参数PO来形成遮蔽图像。遮蔽图像包括感兴趣的视频面的选择的部分。所选择的部分对应于由感兴趣的遮蔽构成分段指示的遮蔽区域。正如前面提到的，遮蔽区域可以对应于在所关心的可视图像上由所关心的图形对象占用的区域的边界部分。也就是，这个边界部分可以构成感兴趣的视频面的所选择的部分。遮蔽图像构成器OIC可以从感兴趣的视频面剪切，可以说，该选择的部分，并把该选择的部分粘贴在空的图像上，以便得到遮蔽图像。

以类似的方式，遮蔽深度图构成器ODC根据感兴趣的深度图和该组遮蔽数据生成控制参数PO来形成遮蔽深度图。遮蔽深度图像包括对应于视频面的所选部分的、深度图的选择的部分。遮蔽深度图构成器ODC可以从感兴趣的深度图剪切，可以说，所选择的部分，并把该选择的部分粘贴在空的深度图上，以便得到遮蔽深度图。遮蔽构成分段和从其得出的那组遮蔽数据生成控制参数PO，在概念上，可被看作为定义所关心的视频面和所关心的深度图的特定部分的模板，该特定的部分分别构成遮蔽图像和遮蔽深度图。

遮蔽数据生成器ODG提供遮蔽图像序列OIS和遮蔽深度图序列ODS。这些序列可以帮助显示设备DPL提供无伪像的立体观看体验，这可以例如根据图2和图3而被理解。遮蔽图像包括在可视图像中缺失的部分，但这些部分对于生成用于立体呈现的适当的一组不同视图可能是需要的。遮蔽图像优选地只包括在可视图像上被遮蔽的区域的相关边界部分，正如此前解释的。遮蔽深度图提供关于缺失部分的深度信息，这些缺失部分在与其相关联的遮蔽图像中被表示。

后端模块BEM根据可视图像序列VIS、深度图序列DMS、遮蔽图像序列OIS和遮蔽深度图序列ODS，提供视听数据流AVD。视听数据流AVD包括经由图1所示的连接CX被传送到显示设备DPL的输出图像序列。输出图像包括可视图像、深度图、遮蔽图像和深度遮蔽图像。输出图像可以用许多不同的方式来输送可视信息、在某处信息(at information)和遮蔽信息。

图5图示在视听数据流AVD内的输出图像OI。输出图像OI是具有四个象限的镶嵌式图像，这四个象限是：左上象限、右上象限、左下象限、和右下象限。左上象限包括可视图像，它是视频面与图形面的组合。视频面表示城堡。图形面表示正在向玻璃杯注入的瓶子。瓶子和玻璃杯可以是单独的图形对象，或者可以由单个图形对象来代表。总之，图形面被覆盖在视频面上，使得正在向玻璃杯注入的瓶子遮蔽城堡的一部分。

右上象限包括深度图。该深度图包括对应于正在向玻璃杯注入的瓶子的白色区域。这个白色区域指示上述的对象是相对较接近虚拟观察者的。深度图的其余部分具有浅灰色的、暗的外观，其指示在视频面中的对象，诸如城堡，离虚拟观察者相对较远。

左下象限包括遮蔽图像。为了简化和清晰起见，该遮蔽图像基本上对应于在可视图像上由正在向玻璃杯注入的瓶子遮蔽的视频面的一部分。重要的是，该遮蔽图像只包括视频面的特定的部分，而不是包括视频面整体。这节省了带宽。类似的评论适用于包括遮蔽深度图的右下象限。遮蔽深度图只包括深度图的特定部分，该特定部分提供关于在可视图像上被遮蔽的对象的深度信息。

应当指出，可视图像在水平和垂直方向上具有的分辨率是输出图像的分辨率的一半。例如，输出图像OI可以具有例如1920x1080像素的矩阵的形式。也就是，输出图像OI可包括1080行，每行1920像素。在那种情形下，可视图像包括540行，每行960像素。可视图像因此具有相对较低的分辨率。然而，这不一定是个问题，因为立体显示设备可以具有相对等的低分辨率。正如此前解释的，自动立体显示设备实际上牺牲了分辨率，以便呈现多个视图尺寸来达到深度的印象。对于可视图像来说，不需要具有超过立体显示设备DPL的分辨率。

如图4所示的后端模块BEM可以把头标嵌入到输出图像中。头标可以具有比特序列的形式或字节序列的形式，它提供关于特定类型的信息存在于输出图像中何处的指示。例如，头标可以指示：左上象限包括深度图，左象限包括遮蔽图像，以及右下象限包括遮蔽深度图。头标可以提供另外的指示，这些指示对于适当地呈现输出图像可能是有用的，可更确切地说，可视图像包括在其中。

头标可以以如下方式被嵌入在输出图像中。指定一组像素作为来自头标的比特的载体。该组像素优选地被指定成使得在属于该组的、任何给定的像素对之间，在输出图像中有至少一个像素不属于该组。换句话说，防止在输出图像中的两个相邻像素用作为头标比特载体。对于形成该组的一部分的每个像素，给定的像素分量被指派以对应于来自头标的一个或多个比特的数值。优选地，给定的像素分量的每个比特被指派以相同的数值，它代表来自头标的特定的比特。这样的冗余性使得头标更鲁棒地对抗亮度、对比度设置值和噪声中的改变。

结论性评论

上文中参照附图的详细说明仅仅是对于在权利要求中定义的本发明和附加特征的举例说明。本发明可以以许多不同的方式被实施。为了举例说明这一点，简要地指出某些替换例。

本发明可以在牵涉到立体图像呈现的任何类型的产品或方法中被应用来获益。包括如图5所示的光盘播放器的立体呈现系统仅仅是一个例子。本发明同样可以在例如符合比如蓝光光盘标准的、被安排来接收和处理数据流的接收机中被应用来获益。这样的数据流可以经由网络(比如像互联网)到达接收机。数据载体不一定是光盘的形式。例如，可写存储器——其可以是集成电路的形式——可包括已按照本发明通过编码一个或多个图像而得到的数据的组件。本发明不需要任何特定类型的立体显示设备。在本详细说明中提到的自动立体显示器仅仅是例子。立体显示设备也可以是需要观看者佩戴一副眼镜的那种类型：其中的一个眼镜片把左眼视图或其序列传递到左眼，而另一个眼镜片把右眼视图或其序列传递到右眼。这样的立体显示设备交替地显示左眼视图和右眼视图。

本发明可以在许多不同类型的应用中被应用来获益。上文中的详细说明提及蓝光光盘应用。然而，本发明也可以被应用于DVD应用(DVD是数字通用盘的缩写)。DVD应用支持用于动画、菜单和字幕的图形的覆盖的子画面。这些子画面是游程长度编码的位图。DVD播放器可以译码这些游程长度编码的位图，并且把这样得到的子画面覆盖在视频背景上。这种覆盖是按照在描述子画面应当如何被覆盖的所谓子画面控制命令中定义的信息来完成的。一个子画面控制命令描述一个矩形，其规定子画面应当被覆盖在其上的、视频背景上的区域。这个信息类似于在蓝光光盘应用内被包括在构成分段中的信息。

有许多使得图形数据可提供给再现设备的不同的方式。在参照图5描述的例子中，图形数据连同可视数据一起被记录在光盘上。然而，回放设备PLY可以经由网络NW和网络接口NIF从远端服务器SRV检索图形数据。回放处理器PRP因此可以从网络接口NIF接收网络数据流NDS形式的图形数据。对于在光盘上存在的内容，选择立体呈现模式的用户可以触发对于与所关心的内容相关联的图形数据的这样的检索。在光盘上也存在的应用数据可以指示从其可以检索到赋予立体感觉(stereo-enabling)的数据的特定的互联网地址或一组这样的地址。所述检索常可能要付费。

有许多可以把遮蔽有关的信息传送到显示设备的不同的方式。图5图示了其中把与遮蔽有关的信息包括到输出图像中的实现。也就是，使用连接CX形式的单个信道，用于传送所有的相关信息到显示设备DPL。在另一个实现中，与遮蔽有关的信息可以经由单独的信道被发送到显示设备。这样的单独的信道可以具有相对适度的带宽，因为与遮蔽有关的信息典型地需要适度的数据量。这是因为由于本发明，与遮蔽有关的信息被限于对于免除伪像的立体呈现的用途所实际需要的东西。可以避免任何额外开销。而且，可以使用压缩技术，以使得与遮蔽有关的信息，可以说，装入(fit in)甚至更小量的数据。由于本发明，经由单独的信道发送与遮蔽有关的信息是有利的，该单独的信道可能具有相对较低的带宽，且因而可以是相对较便宜的。优点在于，在带宽方面，视频传输信道可以被充分使用，这允许视频的高分辨率立体呈现。在这方面，应当指出，预期立体显示设备在不久的将来提供更高的分辨率。

在与遮蔽有关的信息被包括在输出图像中的情形下，有许多方式来这样做。图5图示了在其中输出图像实际上被划分成四个象限的例子，每个象限承载不同类型的信息。在另一个实现中，与遮蔽有关的信息可被包括在一组上面的行和一组下面的行中。压缩技术可被用于使与遮蔽有关的信息适应于输出图像上的相对较小数目的行或相对较小的区域。这同样适用于与深度有关的信息。而且，在输出图像中的除了可视信息以外的其他信息，可以说，可被随机化。随机化使得这个其他信息在输出图像由于错误的使用而被“照原样”显示的情形下不太引人注目。

显示处理器可以以许多不同的方式检测输出图像的特定的格式。不需要在输出图像中的头标。例如，显示处理器可以被预先编程来按照特定的格式解译和处理输出图像。在又一个实现中，显示处理器可以分析输出图像、或一系列输出图像，以便识别在其中可能存在赋予立体感觉的数据的一个或多个特定区域。这样的自动检测可以是基于统计分析：在包括可视数据的区域与包括赋予立体显示的数据的区域之间将有不连续性。而且，这种不连续性将出现在每个图像上。

图1和图4所示的任一例子可以以方法的形式被实施。也就是，在这些图上出现的任何方框可以代表方法的一个或多个特定的步骤。例如，在图4上被指定为GSP的方框代表图形流处理步骤以及图形流处理器。在图1上被指定为GCT的方框代表用于图形构成的控制步骤以及图形控制器。在图1上被指定为OIC的方框代表遮蔽图像构成步骤以及遮蔽图像构成器，以及对于上述的可被解译为流程图的每个图上的每个方框均是如此。

有许多的借助于硬件或软件的项目或二者来实施功能的方式。在这方面，附图完全是图解性的，每个附图只代表本发明的一个可能的实施例。因此，虽然附图把不同的功能显示为不同的方框，但这决不排除硬件或软件的单个项目实行几个功能。也不排除硬件或软件或二者的项目的集合实行一个功能。应当指出，如图2所示的任何功能实体可以借助于软件或硬件、或软件和硬件的组合而被实施。例如，任何功能实体可以通过适当地编程可编程处理器而被实施——这是基于软件的实现，或者任何功能实体可以具有专用电路的形式——这是基于硬件的实现。混合的实现可能牵涉到一个或多个适当地编程的处理器以及一个或多个专用电路。

上文做出的评论表明：参照附图的详细说明是举例说明本发明而不是限制本发明。有许多的属于所附权利要求的范围内的替换例。在权利要求中的任何参考标号不应当被解释为限制权利要求。单词“包括”不排除除了在权利要求中列出的那些单元或步骤以外的其它单元或步骤的存在。在单元或步骤前面的单词“一”或“一个”(“a”或“an”)不排除多个这样的单元或步骤的存在。

Claims (10)

1.一种图像处理器(PLY)，用于处理以复用形式包括多个数据流的复用数据流(DDS)，其中该复用数据流定义基本图像和图形对象，该复用数据流包括构成数据(CS)，所述构成数据定义图形对象在输出图像(OI)中的给定的外观，其中图形对象覆盖基本图像的一部分，所述图像处理器包括：

-遮蔽分析器(OCA)，用于根据构成数据(CS)建立遮蔽指示(OCS)，该遮蔽指示规定在基本图像上的一个区域，该区域在输出图像(OI)上将被图形对象遮蔽，以及其中由遮蔽指示所规定的区域是图形对象占用的区域，但它在基于输出图像的多视图的立体呈现中可以被去除遮蔽；并且该图像处理器包括：

-遮蔽数据生成器(ODG)，用于根据遮蔽指示(OCS)和基本图像来构成遮蔽图像，该遮蔽图像代表对应于由遮蔽指示规定的区域的、该基本图像的一部分；

-后端模块(BEM)，用于提供要被传送给显示设备的视听数据流以用于所述立体呈现，该视听数据流包括该输出图像和该遮蔽图像。

2.如权利要求1中要求的图像处理器，该后端模块被安排成通过至少以下之一来提供视听数据流：

-在单独的信道中提供该遮蔽图像；

-对该遮蔽图像应用压缩技术；

-将该输出图像划分成四个象限，每个象限承载不同类型的信息；

-在该输出图像的一组上面的行或者一组下面的行中包括该遮蔽图像。

3.如权利要求1中要求的图像处理器，该遮蔽分析器(OCA)被安排成把基本图像中将被图形对象遮蔽的区域定义为该图形对象的固定尺寸的边界部分。

4.如权利要求1中要求的图像处理器，该遮蔽分析器(OCA)被安排成把基本图像中将被图形对象遮蔽的区域定义为该图形对象的可变尺寸的边界部分，该边界部分具有依赖于深度指示的尺寸，该深度指示指明在图形对象与该图形对象将遮蔽的区域之间的深度上的差值。

5.如权利要求1中要求的图像处理器，该遮蔽数据生成器(ODG)包括遮蔽深度图构成器(ODC)，用于根据遮蔽指示(OCS)和与基本图像相关联的深度图来构成遮蔽深度图，该遮蔽深度图代表对应于由遮蔽指示定义的区域的、该深度图的一部分。

6.如权利要求1中要求的图像处理器，该遮蔽分析器(OCA)被安排成提供遮蔽指示(OCS)以作为构成数据(CS)的适配，该图像处理器包括：

-图形控制器(GCT)，用于以类似的方式处理构成数据(CS)和遮蔽指示(OCS)，由此遮蔽指示的处理提供用于遮蔽数据生成器(ODG)的遮蔽数据生成控制参数。

7.如权利要求1中要求的图像处理器，该后端模块(BEM)被安排成把头标嵌入在输出图像(OI)中，该头标指示在输出图像中包括有遮蔽图像的区域。

8.如权利要求1中要求的图像处理器，被安排成按照蓝光光盘标准运行，其中所述复用数据流(DDS)包括至少一个代表图形对象的图形对象分段和至少一个包括构成数据(CS)的构成分段。

9.一种立体视频呈现系统(VSY)，其包括如权利要求1中要求的图像处理器(PLY)，和用于显示由该图像处理器提供的输出图像(OI)的立体显示设备(DPL)。

10.一种处理以复用形式包括多个数据流的复用数据流(DDS)的方法，其中该复用数据流定义基本图像和图形对象，该复用数据流包括构成数据(CS)，其定义图形对象在输出图像(OI)中的给定的外观，其中图形对象覆盖基本图像的一部分，所述方法包括：

-遮蔽分析步骤，其中根据构成数据(CS)建立遮蔽指示(OCS)，该遮蔽指示定义在基本图像上的一个区域，该区域在输出图像(OI)上将被图形对象遮蔽，以及其中由遮蔽指示所规定的区域是图形对象占用的区域，但它在基于输出图像的多视图的立体呈现中可以被去除遮蔽；并且该方法包括：

-遮蔽数据生成步骤，其中根据遮蔽指示(OCS)和基本图像来构成遮蔽图像，该遮蔽图像代表对应于由遮蔽指示定义的区域的、该基本图像的一部分；

-提供要被传送给显示设备的视听数据流以用于所述立体呈现，该视听数据流包括该输出图像和该遮蔽图像。

Images