CN100576251C - 呈现单元、呈现方法以及图像处理设备 - Google Patents

Abstract

公开了一种呈现单元(300)，该呈现单元(300)用于根据包括输入像素的输入图像(100)并且基于与各个输入像素相应的深度相关数据元素呈现包括输出像素的输出图像(102)。该呈现单元(300)包括：移位计算单元(302)，用于根据对应的深度相关数据元素计算要应用于输入像素的移位值；和内插单元(304)，用于基于按照对应的移位值对输入像素进行移位来计算输出像素。移位计算单元(302)构成为用来提供输出值作为移位值中的第一个移位值，如果输入像素中的相应的第一个输入像素与叠加图形相对应，则所述第一个移位值基本上等于零，而与相应的深度相关数据元素无关。

Description

呈现单元、呈现方法以及图像处理设备

技术领域

本发明涉及一种根据包括输入像素的输入图像并且根据与各个输入像素对应的深度相关数据元素呈现输出图像的呈现单元，该呈现单元包括：

-移位计算单元，用于根据对应的深度相关数据元素计算要应用于输入像素的移位值；和

-内插单元，用于基于按照对应的移位值对输入像素进行移位来计算输出像素。

本发明此外还涉及一种图象处理设备，包括：

-用于接收与输入图像相应的信号的接收装置；

-这样的用于呈现输出图像的呈现单元；和

-用于显示输出图像的显示设备。

本发明此外还涉及要由计算机器材装载的计算机程序产品，包括用于根据包括输入像素的输入图像并且根据与各个输入像素相应的深度相关数据元素呈现输出像素的指令，该计算机器材包括处理装置和存储器，该计算机程序产品在得到装载后，为所述处理装置提供执行下列操作的能力：

-根据对应的深度相关数据元素计算要应用于输入像素的移位值；和

-基于按照对应的移位值对输入像素进行移位来计算输出像素。

本发明此外还涉及一种根据包括输入像素的输入图像并且根据与各个输入像素对应的深度相关数据元素呈现输出图像的方法，该方法包括：

-根据对应的深度相关数据元素计算要应用于输入像素的移位值；和

-基于按照对应的移位值对输入像素进行移位来计算输出像素。

背景技术

自从推出显示设备以来，逼真的3-D显示器就是人们一直梦寐以求的。已经探讨了很多应该会得出这种显示设备的原理。某些原理试图在一定的体积空间中创造逼真的3-D对象。例如，在由A.Sullivan在SID′03论文汇编中发表的文章《Solid-state Multi-planarVolumetric Display》(1531-1533，2003)中公开的显示设备中，借助快速投影仪使视觉数据在一连串平面上发生位移。各个平面是可开关的散射体。如果平面的数量足够多，则人脑会将画面综合起来并且观察到逼真的3-D对象。这种原理使得观看者能够在一定程度内环顾该对象。在这种显示设备中，所有对象都是(半)透明的。

很多其他人试图创造仅仅基于双目视差的3-D显示设备。在这些系统中，观看者的左右眼会感知到不同的图像，结果，观看者会感知到3-D图像。在由D.F.McAllister(ED.)所著的书《Stereo ComputerGraphics and Other True 3-D Technologies》(Princeton UniversityPress，1993)中可以找到这些概念的综述。第一种原理与例如CRT相结合地使用遮光眼镜。如果显示奇数帧，则为左眼阻挡光线，如果显示偶数帧，则为右眼阻挡光线。

无需额外器具就能够显示3-D的显示设备称为自动立体视觉显示设备。

第一种无眼镜的显示设备包括用来创建瞄准观看者的左眼和右眼的光锥的挡光板。该光锥对应于例如奇和偶子像素列。通过按照适当的信息对这些列进行寻址，如果观看者位于正确的点上，他会在他的左眼和右眼中获得不同的图像，并且能够感知到3-D画面。

第二种无眼镜的显示设备包括用来将奇和偶子像素列的光成像到观看者的左眼和右眼中的一连串透镜。

上面提到的无眼镜显示设备的缺点在于，观看者必须在固定位置上保持不动。为了引导观看者，曾经提议使用指示器来向观看者展示他处于正确位置上。见例如美国专利US5986804，在该美国专利中，将挡光板与红色和绿色发光二极管结合在一起使用。一旦观看者处于正确位置上，他就会看到绿光，否则会看到红光。

为了使观看者免于就座于固定位置上，提出了多视角自动立体显示设备。见例如美国专利US60064424和US20000912。在US60064424和US20000912中公开的显示设备中，使用了倾斜双凸透镜，从而双凸透镜的宽度大于两个子像素。这样，会有彼此紧接的数个图像并且观看者具有一定的向左和向右移动的自由度。

为了在多视角显示设备上产生3-D感受，必须要从不同的假想视点呈现(render)图像。这需要存在多个输入视图或者某种3-D或深度信息。这一深度信息可以由多视角相机系统记录、生成，或者由常规的2-D视频素材生成。为了从2-D视频图像生成深度信息，可以应用几种类型的深度暗示：比如运动达成结构、聚焦信息、几何形状和动态遮挡。目的是生成密集的深度映射图，即，每像素一个深度值。随后将这个深度映射图用在呈现多视角图像的过程中，以给予观看者深度感觉。在由P.A.Redert、E.A.Hendriks和J.Biemond在《Proceedings of International Conference on Acoustics，Speech，and Signal Processing》中(Vol.IV，ISBN 0-8186-7919-0，第2749-2752页，IEEE Computer Society，Los Alamitos，加利福尼亚，1997)发表的文章《Synthesis of multi viewpoint images atnon-intermediate positions》中，公开了提取深度信息和基于输入图像和深度映射图呈现多视角图像的方法。多视角图像是要由多视角显示设备显示、以创造3-D感受的一组图像。典型地，该组图像是根据输入图像创建的。创建这些图像之一是通过按照相应的移位量对输入图像的像素进行移位来完成的。这些移位量称为视差。所以，典型地，对于各个像素，都有相应的视差值，这些视差值合在一起形成视差图。视差值和深度值是典型的倒数关系，即：

$S=\frac{C}{D}---\left(1\right)$

其中S是视差，C是常数值，D是深度。创造深度映射图被认为等价与创造视差图。在本说明书中，视差值和深度值二者由术语″深度相关数据元素″涵盖。

在电视和其它应用中，都有用文字形成与场景相应的图像的叠加图形的情况。字幕和频道徽标是这种叠加图形的最基本的实例。另一种例子是游戏分数的图形表达。这些覆盖层有时可以作为单独的视频流使用。在这种情况下，最好将这些视频流单独地呈现到用于多视角显示的多个视图中，并且在后期组合(即混合)这些所呈现的流。不过，在很多情况下，叠加图形并不能作为单独的视频流使用，而是合并到视频图像中的，即，是″烙上的″。

直接呈现包括这种″烙上的″叠加图形的视频序列会导致输出图像具有质量相对较低的叠加图形。

发明内容

本发明的目的是提供一种开篇段落中介绍的那种类型的呈现单元，这种呈现单元安排成用于呈现具有相对较高质量的叠加图形。

本发明的这个目的是这样实现的：移位计算单元构成为用来提供输出值作为移位值中的第一个移位值，如果输入像素中的相应的第一个输入像素与叠加图形相对应，则所述第一个移位值基本上等于零，而与相应的深度相关数据元素无关。这样做的结果是，将叠加图形放在与显示设备屏幕的平面相应的深度上，这是因为基本上等于零的移位值相当于没有或没有明显的移位。对于可见性，并且尤其是易读性，应当尽可能清晰地呈现叠加图形，避免在除了与屏幕的平面相应的深度之外的深度上呈现叠加图形而加入的模糊不清。由于多个视图之间的相互干扰，在屏幕平面后方相对较远位置上或者在屏幕平面前方相对较远位置上的对象会显得模糊不清，因为由输入图像表达的对象的数个经过平移的形式(即，经过移位的形式)混杂在了一起。在深度方向上与屏幕处于同一平面上的对象的表达不会在不同输出图像之间发生平移，所以相互干扰不会造成模糊不清。

按照本发明的呈现单元的实施方式包括输入接口，该输入接口用于指出与叠加图形相对应的输入像素的第一组像素和与非叠加图形相对应的输入像素的第二组像素，第一组像素和第二组像素形成输入图像。这意味着，在按照本发明的呈现单元之外，检测或确定与叠加图形相对应的输入图像的像素和不与叠加图形相对应的输入图像的像素。将与叠加图形/非叠加图形相关的信息提供给呈现单元。最好，这一信息是借助叠加指示符映射图来提供的，叠加指示符映射图包括对应于输入图像的各个输入像素的叠加指示符。

按照本发明的呈现单元的另一种实施方式包括确定单元，该确定单元用于确定与叠加图形相对应的输入像素的第一组像素和与非叠加图形相对应的输入像素的第二组像素，第一组像素和第二组像素形成输入图像。这意味着，与叠加图形/非叠加图形相关的信息不是在外部确定的，而是由呈现单元自己确定的。叠加指示符映射图可以基于输入像素(例如亮度和/或颜色值)计算出来。此外或者另外，应用深度相关数据元素来为各个输入像素计算叠加指示符。

将叠加图形呈现为使得它们出现在屏幕平面上这一事实并不意味着将非叠加图形像素全部呈现为使得它们出现在屏幕平面之后。事实上，按照本发明的呈现单元安排成用于根据相应的深度相关数据元素呈现输出像素。对于已经确定为属于叠加图形的输入像素，为这一规则制定了例外情况，即，与相应的深度相关数据元素无关地计算相应的输出像素。没有额外的措施的话，这将会造成叠加图形由非叠加图形像素遮挡。为了防止此事发生，按照本发明的呈现单元的实施方式，此外还包括：

-重叠证实单元，用于基于深度相关数据元素的一部分证实在输出图像中是否存在第一组像素的第一个像素要映射到并且第二组像素的第一个像素要移位到的重叠区域；和

-选择单元，用于选择第一组像素的第一个像素来计算处于重叠区域中的输出像素中的第二个像素。

在按照本发明的这一实施方式中，呈现单元安排成用于证实是否有重叠区域，即，遮挡。这意味着，呈现单元安排成用于证实是否要将相互不同类型的多个像素(即叠加图形和非叠加图形)映射到输出图像的同一个坐标上。按照本发明的呈现单元的这种实施方式此外还构成为用来在有重叠的情况下令叠加图形类型的像素优先。

除了遮挡(最好由按照本发明的呈现单元的实施方式对此执行额外的措施)之外，最好还要适当地处置去遮挡。为了防止在空白区域(在去遮挡区域)出现伪像，按照本发明的呈现单元的实施方式此外还包括：

-空白区域证实单元，用于基于深度相关数据元素的另一部分证实在输出图像中是否存在没有第一组像素的像素要映射到并且没有第二组像素的像素要移位到的空白区域；和

-选择单元，用于选择第二组像素中的特定像素来计算处于空白区域中的输出像素中的第三个像素。

最好将选择单元构成为用来在有空白区域的情形下选择第二组像素中的特定像素。这意味着，在有空白区域的情况下，叠加图形的像素并不优先，而是取而代之，非叠加图形的像素优先。典型地，象徽标和字幕文字这样的叠加图形具有非常明确的形状。基于来自叠加图形的像素值来为空白区域中的像素计算像素值将叠加图形扩展到了空白区域中。由于叠加图形典型地具有明确的形状，因此这会造成伪像。使像素值基于非叠加图形像素(即，第二组像素)将非叠加图形扩展到了空白区域中，这样做在典型情况下不会造成这些严重的伪像。

本发明的另一个目的是提供一种开篇段落中介绍的那种类型的图象处理设备，这种图象处理设备安排成用于呈现具有相对较高质量的叠加图形。

本发明的这个目的是这样实现的：图象处理设备的呈现单元的移位计算单元构成为用来提供输出值作为移位值中的第一个移位值，如果输入像素中的相应的第一个输入像素与叠加图形相对应，则所述第一个移位值基本上等于零，而与相应的深度相关数据元素无关。

本发明的另一个目的是提供一种开篇段落中介绍的那种类型的计算机程序产品，这种计算机程序产品安排成用于呈现具有相对较高质量的叠加图形。

本发明的这个目的是这样实现的：计算移位值的步骤的结果得到输出值作为移位值中的第一个移位值，如果输入像素中的相应的第一个输入像素与叠加图形相对应，则所述第一个移位值基本上等于零，而与相应的深度相关数据元素无关。

本发明的另一个目的是提供一种开篇段落中介绍的那种类型的方法，这种方法安排成用于呈现具有相对较高质量的叠加图形。

本发明的这个目的是这样实现的：计算移位值的步骤的结果得到输出值作为移位值中的第一个移位值，如果输入像素中的相应的第一个输入像素与叠加图形相对应，则所述第一个移位值基本上等于零，而与相应的深度相关数据元素无关。

呈现单元的改造方案及其变化可以与所介绍的图象处理设备、方法和计算机程序产品的改造方案及其变化相对应。

附图说明

从下文中参照附图介绍的实现方式和实施方式中，按照本发明的呈现单元、图象处理设备、方法和计算机程序产品的这些和其它方面将会变得显而易见，并且将会针对下文中介绍的实现方式和实施方式并且参照附图阐述按照本发明的呈现单元、图象处理设备、方法和计算机程序产品的这些和其它方面，其中：

附图1示意性地表示输入图像、相应的深度映射图和输出图像；

附图2示意性地示出了输入像素到输出像素的映射；

附图3A示意性地表示按照本发明的呈现单元的实施方式，包括输入接口，该输入接口用于指示哪些输入像素对应于叠加图形和哪些像素对应于非叠加图形；

附图3B示意性地表示按照本发明的呈现单元的实施方式，包括确定单元，该确定单元用于确定哪些输入像素对应于叠加图形和哪些像素对应于非叠加图形；

附图3C示意性地表示按照本发明的呈现单元的实施方式，包括重叠证实单元；

附图3D示意性地表示按照本发明的呈现单元的实施方式，包括空白区域证实单元；

附图4示意性地表示多视角图像生成单元的实施方式；和

附图5示意性地表示按照本发明的图象处理设备的实施方式。

在所有附图中，相同的附图标记用来指代类似的部分。

具体实施方式

附图1示意性地表示输入图像100、相应的深度映射图104和输出图像102。输入图像100包括多个输入像素。可以将这些输入像素归类为两组像素。第一组像素包括与叠加图形对应的像素。第二组像素包括与非叠加图形对应的像素。其中叠加图形(overlay)的意思是指象文字或图标这样的图形表示。叠加图形可以对应于字幕、广播频道的徽标，不过备选地叠加图形也可以对应于由记录器或播放器创建的屏上显示(OSD：on-screen display)信息。叠加图形还可能涉及与游戏分数相应的图形信息。非叠加图形对应于不是叠加图形的视觉信息。典型地，非叠加图形对应于由相机获得的图像数据。按照另外一种可供选用的方案，非叠加图形图像数据是借助图形计算机创作的，象由″Dreamworks″用计算机产生的电影。

虽然叠加图形和非叠加图形数据是组合在单独一个输入图像中的，但是典型地，它们之间是没有视觉关系的。换句话说，第一组像素的像素值，即，颜色和/或亮度值，典型地不与第二组像素的像素值相关。典型地，叠加图形遮挡了由输入图像中的非叠加图形所表达的信息的一部分。

输入图像100的第一组像素中的第一个像素105属于字幕的字符″t″。输入图像100包括背景101前面的第一对象106和第二对象108的表达。第一对象106的表达具有椭圆形状并且包括第二组像素中的第一个像素107。第二对象108的表达具有矩形形状并且包括第二组像素中的第二个像素109。

附图1此外还示意性地表示深度映射图104。深度映射图104是深度相关数据元素(即深度值)的二维矩阵。深度映射图104的深度相关数据元素的数量等于输入图像100的像素的的数量。附图1中所示出的深度值对应于输入图像100的各个像素值。深度映射图104包括与输入图像100的第一对象106的表达相应的第一组深度值126和与输入图像100的第二对象108的表达相应的第二组深度值128。第一组深度值126的深度值中的第一个深度值127与第一对象106的表达的像素中的第一个像素107相对应，并且第二组深度值128的深度值中的第二个深度值129与第二对象108的表达的像素中的第一个像素109相对应。

附图1此外还示意性地示出了输出图像102，该输出图像102包括第一对象的另一种表达116和第二对象的另一种表达118。第一对象的另一种表达116基于输入图像100的第一对象106的表达，并且第二对象的另一种表达118基于输入图像100的第二对象108的表达。第一对象的另一种表达116是通过将第一对象106的各个输入像素向左移位而计算出来的。移位量与第一组深度值126的各个深度值有关。输入图像100和输出图像102在附图1中画成是对齐的。借助第一条虚线137可以看出，第一对象106的表达的像素中的第一个像素107与第一对象的另一种表达116的像素中的相应的第一个像素117并不具有相互相等的坐标。换句话说，第一对象的另一种表达116的像素中的相应的第一个像素117是通过将第一对象的表达的像素中的第一个像素107移位基于第一组深度值126的深度值中的第一个深度值127的移位量而计算出来的。

类似地，借助第二条虚线139可以看出，第二对象108的表达的像素中的第一个像素109与第二对象的另一种表达118的像素中的相应的第一个像素119并不具有相互相等的坐标。换句话说，第二对象的另一种表达118的像素中的相应的第一个像素119是通过将第二对象的表达的像素中的第一个像素109移位基于第二组深度值128的深度值中的第一个深度值129的移位量而计算出来的。

看一看与代表词″text″的叠加图形相对应的像素，表明没有对代表这个叠加图形的输入像素施加移位。例如，属于字符″t″的输入图像100的第一组像素的第一个像素105和相应的输出像素115具有相互相等的坐标。第三条虚线135清楚地表明没有施加移位。换句话说，词″text″在输入图像100和输出图像102中都位于相同的坐标上。注意，在深度映射图104中可以得到的与第一组像素相应的深度值(即，属于代表词″text″的各个输入像素的深度值)不是相互相等的。实际上，它们并非全部等于零，造成不施加移位量。为了创建输出图像102而实际上没有对第一组像素的像素进行移位的原因是，为了按照本发明保持清晰的叠加图形。

附图2示意性地示出了输入像素200到输出像素204的映射。附图2示意性地示出了多个输入像素200。第一组输入像素用圆圈示出并且用大写字母J-M表示。第一组输入像素对应于叠加图形。第二组输入像素用方框画出并且用大写字母A-I、N-Q表示。第二组输入像素对应于非叠加图形。

要施加于各个输入像素200的移位量202用方框和圆圈上方的数字值(4和0)表示。附图2中的不同箭头代表移位量和从输入像素到输出像素的映射。

附图2示意性地示出了多个输出像素204。第一组输出像素用圆圈画出并且用小写字母j-m表示。第二组输出像素用方框画出并且用小写字母a-e、n1-n4表示。

在输出图像204中，有重叠区域206。可以看出，要将第一组输入像素的第一个像素J映射到和将第二组输入像素的第一个像素F移位到输出图像中的同一个位置上。对于下列几对输入像素来讲也存在同样的情况：K和G；L和H；M和I。用j、k、l和m分别标注最终选定的输出像素。这意味着，不同输出像素的值基于第一组输入像素(即，与叠加图形相应的输入像素)的相应值。结合附图3C公开的按照本发明的呈现单元303的实施方式安排成用于证实有重叠区域并且用于进行适当输入像素的选择，以便计算相应的输出像素。

在输出图像204中，有空白区域208。这意味着，在考虑了输入像素的坐标和相应的移位量的时候，没有第一组像素的像素要映射到该空白区域208并且没有第二组像素的像素要移位到空白区域208。显然，在没有为特定输出像素分配值的情况下，存在空穴或空隙。因为这是不可接受的，所以需要额外的措施来防止此事发生。从附图2中可以得出，应用第二组像素的特定输入像素N的像素值来计算位于空白区域中的输出像素n1-n4的像素值。输出像素n1-n4的像素值全部基于位于相对靠近边界像素M的位置上的特定输入像素N，边界像素M位于叠加图形的边界上。在所给出的例子中，特定输入像素N对应于到边界像素M的距离最小的输入像素。显然，距离较远的其它输入像素(例如，用O表示的输入像素)(或者多个像素，例如从P-O-N推演到空白区域中)是为了介绍的目的而选择的。结合附图3D公开的按照本发明的呈现单元305的实施方式安排成用于证实有空白区域208并且用于进行适当输入像素的选择，以便计算相应的输出像素。

附图3A示意性地表示按照本发明的呈现单元300的实施方式。呈现单元300安排成用于根据包括输入像素105、107、109的输入图像100并且基于与各个输入像素105、107、109相应的深度相关数据元素127、125、129呈现包括输出像素115、117、119的输出图像102。该呈现单元300包括：

-移位计算单元302，用于根据对应的深度相关数据元素127、125、129计算要应用于输入像素105、107、109的移位值；和

-内插单元304，用于基于按照相应的移位值对输入像素105、107、109进行移位来计算输出像素115、117、119。

该呈现单元300此外还包括：

-第一输入接头308，用于向移位计算单元302提供深度相关数据元素；

-第二输入接头306，用于提供叠加图形/非叠加图形相关的信息，最好是以叠加指示符映射图的形式提供的。该叠加指示符映射图包括对应于各个输入像素105、107、109的相应指示符，所述指示符用于表明输入像素对应于叠加图形还是非叠加图形；和

-第三输入接头310，用于将输入像素105、107、109的像素值提供给内插单元304。

呈现单元300如下所述地工作。对于各个所提供的输入像素105、107、109，由移位计算单元302根据对应的深度相关数据元素127、125、129计算相应的移位。将所计算出来的移位提供给内插单元304，该内插单元304安排成用于通过将所计算出来的移位量实际施加到相应的输入像素上来计算输出像素的值。在输出接头312处给出所计算出来的输出像素的值。

呈现单元300安排成用于区分与叠加图形相应的输入像素和与非叠加图形相应的输入像素。这意味着，对于与非叠加图形相应的输入像素，各个移位基于相应的深度相关数据元素。不过，对于与叠加图形相应的输入像素，各个移位等于零。这意味着，移位计算单元302构成为用来在相应的输入像素对应于叠加图形的情况下提供零作为输出，而与输入像素的相应深度相关数据元素无关。可选地，各个移位近似为零，如果例如出于对精度的考虑使移位恰好为零，则有可能造成伪像。

移位计算单元302和内插单元304可以使用一个处理器来实现。在正常情况下，这些功能是在软件程序产品的控制下执行的。在执行期间，正常情况下是将软件程序产品装载到象RAM这样的存储器中，并且从该存储器中执行。该程序可以从象ROM、硬盘或磁和/或光存储设备之类的后台存储器中载入，或者可以经由象因特网这样的网络载入。根据情况，可以用专用集成电路来提供所公开的功能。

应当注意，通过按照具有与输入图像的采样网格相关的整数长度的矢量对单独一个输入像素进行移位，特定输出像素可以基于所述单独一个输入像素。不过，典型地，移位量并不具有整数长度。在这种情况下，特定输出像素基于多个输入像素的加权平均值，从而该加权例如基于移位量的小数部分或另一种滤波函数。

附图3B示意性地表示按照本发明的呈现单元301的实施方式，包括确定单元309，该确定单元309用于确定哪些输入像素对应于叠加图形和哪些像素对应于非叠加图形。呈现单元301的这种实施方式基本上与结合附图3A介绍的呈现单元300相同。差别在于，与哪些输入像素对应于叠加图形和哪些输入像素对应于非叠加图形相关的信息不是从外部确定和提供的，而是在呈现单元301内部确定的。对于本领域技术人员来说，这一确定单元可以例如从D.Zhang，R，K.Rajendran和S-F.Chang在IEEE ICIP(International Conference on ImageProcessing)(美国纽约州罗彻斯特市，2002年9月)的会议论文集中发表的文章《General and domain-specific techniques fordetecting and recognized superimposed text in video》或者从Alberto Albiol、Maria Jose Ch.Fulla、Antonio Albiol&Luis Torres发表的文章《detection of TV commercials》(见第2-3页，第二章《logo mask extraction》)中了解到。

移位计算单元302、内插单元304和确定单元309可以使用一个处理器来实现。

附图3C示意性地表示按照本发明的呈现单元303的实施方式，该呈现单元303包括重叠证实单元314和第一选择单元316。呈现单元303的这种实施方式基本上与结合附图3A介绍的呈现单元300相同。差别在于，按照这种实施方式的呈现单元303安排成用于在有重叠区域的情况下令与叠加图形相应的输入像素优先于与非叠加图形相应的输入像素。呈现单元303的这种实施方式包括：

-重叠证实单元314，用于基于深度相关数据元素的一部分证实在输出图像中是否存在第一组像素的第一个像素J要映射到并且第二组像素的第一个像素的F要移位到的重叠区域；和

-第一选择单元316，用于选择第一组像素的第一个像素J来计算处于重叠区域206中的输出像素中的第二个像素j。

将结合附图2解释说明这种证实和选择的工作过程和优点。

按照另外一种可供选择的方案，呈现单元303还包括结合附图3B解释的确定单元309。

移位计算单元302、内插单元304、确定单元309、重叠证实单元314和第一选择单元316可以使用一个处理器来实现。

附图3D示意性地表示按照本发明的呈现单元305的实施方式，该呈现单元305包括空白区域证实单元318和相应的选择单元320。呈现单元305的这种实施方式基本上与结合附图3A介绍的呈现单元300相同。差别在于，按照这种实施方式的呈现单元305安排成用于在有空白区域208的情况下令与非叠加图形相应的输入像素优先于与叠加图形相应的输入像素。呈现单元305的这种实施方式包括：

-空白区域证实单元318，用于基于深度相关数据元素的另一部分证实在输出图像中是否存在没有第一组像素的像素要映射到并且没有第二组像素的像素要移位到的空白区域208；和

-第二选择单元320，用于选择第二组像素中的特定像素来计算处于空白区域中的输出像素中的第三个像素。

将结合附图2解释说明这种证实和选择的工作过程和优点。

按照另外一种可供选择的方案，呈现单元305还包括结合附图3B解释的确定单元309。

按照另外一种可供选择的方案，呈现单元305还包括结合附图3C解释的重叠证实单元314和第一选择单元316。

移位计算单元302、内插单元304、确定单元309、重叠证实单元314，第一选择单元316、空白区域证实单元318和第二选择单元320可以使用一个处理器来实现。

附图4示意性地表示包括结合附图3A-3D中的任何一个介绍的按照本发明的呈现单元402的实施方式的多视角图像生成单元400的实施方式。多视角图像生成单元400安排成用于基于一系列视频图像生成一系列多视角图像。在输入接头406处为多视角图像生成单元400提供视频图像流，并且多视角图像生成单元400在输出接头412和414处分别给出两个相关的视频图像流。要将这两个相关的视频图像流提供给多视角显示设备，该多视角显示设备安排成用于基于相关的视频图像流中的第一个流显现第一系列的视图并且基于相关的视频图像流中的第二个流显现第二系列的视图。如果用户(即观看者)用他的左眼观察第一系列的视图并且用他的右眼观察第二系列的视图，则他会发觉有3-D效果。有可能是这样的：相关的视频图像流中的第一个流对应于所接收的视频图像序列，并且相关的视频图像流中的第二个流是基于所接收的视频图像序列按照本发明的方法呈现的。最好，两个视频图像流都是基于所接收的视频图像序列按照本发明的方法呈现的。

多视角图像生成单元400此外还包括第一输入接头408和第二输入接头410，第一输入接头408用于提供深度相关数据元素，第二输入接头410用于提供与叠加图形/非叠加图形相关的信息，最好是以叠加指示符映射图的形式提供的。

应当注意，虽然将多视角图像生成单元400设计成用来处理视频图像，但是多视角图像生成单元400的其它可供选用的实施方式可以安排成用于基于单个图像(即，静止图像)生成多视角图像。

应当注意，虽然所画出的多视角图像生成单元400具有两个输出接头412和414，但是其它可供选用的输出方式也是可以的，例如，交织输出，交织输出为在多视角显示设备上显示而做好了准备。除此之外，形成不同多视角图像的输出图像的数量决不局限于两个。

附图5示意性地表示按照本发明的图象处理设备500的实施方式，包括：

-接收单元502，用于接收代表输入图像的视频信号和深度相关数据；

-结合附图4介绍的多视角图像生成单元400，用于基于所接收的输入图像和相应的深度相关数据元素生成多视角图像；和

-多视角显示设备506，用于显示由多视角图像生成单元400提供的多视角图像。

视频信号可以是经由天线或者有线电缆接收的广播信号，但是也可以是来自象VCR(录像机)或数字通用盘(DVD)这样的存储设备的信号。该信号是在输入接头510处提供的。图象处理设备500可以例如是电视机。按照另外一种可供选择的方案，图象处理设备500并不包括根据需要选用的显示设备，而是将输出图像提供给一个包括显示设备506的设备。于是该图象处理设备500可以是例如机顶盒、卫星调谐器、VCR播放器、DVD播放器或记录器。根据情况，图象处理设备500包括存储装置，比如硬盘或者用于在可移动介质(例如光盘)上存储的装置。图象处理设备500还可以是由电影工作室或广播电台运用的系统。

应当注意，前面提到的实施方式是图解说明而不是对本发明加以限制，并且本领域技术人员应该是能够设计出很多可供选用的实施方式，而不会超出由所附权利要求定义的本发明的范围。在权利要求里，置于括号中的任何附图标记都不应看作是对权利要求的限定。词′包括′并不排除还存在权利要求中未列出的要素和步骤的可能。置于要素之前的词″一″或″一个″并不排除存在多个这种要素的可能。本发明可以是借助包括数个截然不同的要素的硬件来实现，并且可以是借助适当程控的计算机来实现。在列举出数个装置的设备权利要求中，这些装置中的若干个可以是由一个且同一个硬件制品来具体实现的。第一、第二和第三等等诸如此类的词的使用并不代表任何顺序。应当将这些词理解为名称。

Claims (9)

1.一种呈现单元(300)，该呈现单元(300)用于根据包括输入像素的输入图像(100)并且基于与各个输入像素相应的深度相关数据元素呈现包括输出像素的输出图像(102)，该呈现单元(300)包括：

-移位计算单元(302)，用于根据对应的深度相关数据元素计算要应用于输入像素的移位值；和

-内插单元(304)，用于基于按照对应的移位值对输入像素进行移位来计算输出像素，

其特征在于，移位计算单元(302)构成为用来提供输出值作为移位值中的第一个移位值，如果输入像素中的相应的第一个输入像素与叠加图形相对应，则所述第一个移位值基本上等于零，而与相应的深度相关数据元素无关。

2.按照权利要求1所述的呈现单元(300)，此外还包括输入接口(308)，该输入接口(308)用于指出与叠加图形相对应的输入像素的第一组像素和与非叠加图形相对应的输入像素的第二组像素，第一组像素和第二组像素形成所述输入图像。

3.按照权利要求1所述的呈现单元(301)，此外还包括确定单元(309)，该确定单元(309)用于确定与叠加图形相对应的输入像素的第一组像素和与非叠加图形相对应的输入像素的第二组像素，第一组像素和第二组像素形成所述输入图像。

4.按照权利要求2或3所述的呈现单元(303)，此外还包括：

-重叠证实单元(314)，用于基于深度相关数据元素的一部分证实在输出图像中是否存在第一组像素的第一个像素要映射到并且第二组像素的第一个像素要移位到的重叠区域；和

-选择单元(316)，用于选择第一组像素的第一个像素来计算处于重叠区域中的输出像素中的第二个像素。

5.按照权利要求2或3所述的呈现单元(305)，此外还包括：

-空白区域证实单元(318)，用于基于深度相关数据元素的另一部分证实在输出图像中是否存在一个没有第一组像素的像素要映射到并且没有第二组像素的像素要移位到的空白区域；和

-选择单元(320)，用于选择第二组像素中的特定像素来计算处于空白区域中的输出像素中的第三个像素。

6.按照权利要求5所述的呈现单元(305)，其中选择单元(320)构成为用来在有空白区域的情形下选择第二组像素中的特定像素。

7.一种图象处理设备(500)，包括：

-接收装置(502)，用于接与输入图像(100)相应的信号；和

-权利要求1中所述的呈现单元(300)，用于呈现输出图像(102)。

8.如权利要求7中所述的图象处理设备(500)，此外还包括用于显示输出图像的显示设备(506)。

9.一种根据包括输入像素的输入图像并且基于与各个输入像素对应的深度相关数据元素呈现输出图像的方法，该方法包括：

-根据对应的深度相关数据元素计算要应用于输入像素的移位值；和

-基于按照对应的移位值对输入像素进行移位来计算输出像素，

其特征在于，计算移位值的步骤结果会得到输出值作为移位值中的第一个移位值，如果输入像素中的相应的第一个输入像素与叠加图形相对应，则所述第一个移位值基本上等于零，而与相应的深度相关数据元素无关。

Images