CN101390131A - 呈现输出图像 - Google Patents

Abstract

公开了一种根据输入图像(200)和对应的深度相关数据矩阵(204)呈现输出图像(202)的方法，输入图像(200)与第一视点对应，输出图像(202)与不同于第一视点的第二视点对应。该方法包括：通过计算所述深度相关数据在预定方向(X)上的导数来计算深度相关数据矩阵(204)中的边缘(212，312)；计算与边缘(212，312)的邻域相对应的输入图像(200)区域中的像素值的变化度量，所述邻域位于边缘(212，312)的背景侧；以及通过根据经缩放的深度相关数据在所述预定方向(X)上移位输入图像(200)的各个像素值来计算输出图像(202)，其中缩放使得相对较大的变化度量导致相对较大的深度缩减。

Description

呈现输出图像

本发明涉及根据输入图像和对应的深度相关数据矩阵呈现输出图像的方法，该输入图像与第一视点(viewpoint)相对应，而输出图像与不同于第一视点的第二视点相对应。

本发明还涉及用于根据输入图像和对应的深度相关数据矩阵呈现输出图像的图像呈现单元，该输入图像与第一视点相对应，而输出图像与不同于第一视点的第二视点相对应。

本发明还涉及图像处理设备，其包括：

-接收装置，用于接收输入图像和对应的深度相关数据矩阵；以及图像呈现单元，用于根据该输入图像和对应的深度相关数据矩阵呈现输出图像。

本发明还涉及由计算机装置加载的计算机程序产品，其包括根据输入图像和对应的深度相关数据矩阵计算输出图像的指令，该输入图像与第一视点相对应，而输出图像与不同于第一视点的第二视点相对应，所述计算机装置包括处理装置和存储器。

自从引入显示设备以来，多年来，真实感的三维(3-D)显示设备一直是个梦想。已经研究了应当会导致这种显示设备的许多原理。一些原理试图在一定容积中创建真实的3-D对象。例如，在proceedings of SID’03，1531-1533，2003中由A.Sullivan的文章“Solid-state Multi-planar Display”所公开的显示设备中，借助于快速投影仪在平面阵列上移动信息。每个平面都是可切换漫射器。如果平面数足够高，那么人脑就集成这些画面并且观察到真实的3-D对象。这个原理允许观察者在一定范围内环顾对象。在这种显示设备中，所有对象都是(半)透明的。

其他许多人试图仅仅根据双眼视差来创建3-D显示设备。在这些系统中，观察者的左右眼感知到另一幅图像并且因而该观察者感知到3-D图像。有关这些构思的综述可以从D.F.McAllister(编著)的图书“Stereo Computer Graphics and Other True 3D Technologies”，Princeton University Press，1993中获悉。第一种原理使用了结合例如CRT的快门眼镜。如果显示奇数帧，则遮挡用于左眼的光，如果显示偶数帧，则遮挡用于右眼的光。

无需诸如眼镜之类的附加器具而显示3-D的显示设备称为自动立体显示设备。

第一种无眼镜显示设备包括创建朝向观察者左右眼的光锥的遮挡物。所述锥例如与奇偶子像素列相对应。通过利用适当的信息来寻址这些列，如果观察者在处于正确的光点处，则在其左右眼中获得不同的视图并且能够感知到3-D印象。

第二种无眼镜显示设备包括将奇偶子像素列的光成像到观察者的左右眼的透镜阵列。

上述无眼镜显示设备的缺点在于，观察者必须停留在固定的位置。为了引导观察者，已经提出了向观察者表示其处于正确位置的指示器。参见例如美国专利US5986804，其中遮挡板与红色和绿色LED相结合。在观察者良好定位的情况下，他就看见绿光，否则看见红光。

为了让观察者免于坐在固定的位置，已经提出了一种多视图自动立体显示器件。参见例如美国专利US6064424和US20000912。在US6064424和US20000912公开的显示设备中，使用了倾斜的双凸透镜，由此双凸透镜的宽度大于两个子像素。通过这种方式，存在彼此相邻的若干视图，并且观察者具有一定的自由度来左和右移动。

自动立体显示设备的缺点是结合3-D图像生成的分辨率损失。有利地是，这些显示设备可在(二维)2-D和3-D模式之间进行切换，即可在单视图模式和多视图模式之间进行切换。如果要求相对较高的分辨率，那么就可以切换到单视图模式，因为该模式具有更高的分辨率。

在proceedings of SPIE 3295，1998的J.Eichenlaub的文章“Alightweight compact 2-D/3-D auto stereoscopic LCD backlightfor games，monitor and notebook applications”中描述了这种可切换显示设备的一个实例。其中公开了使用可切换的漫射器来在2-D和3-D模式之间进行切换。W02003015424中描述了可切换自动立体显示器件的另一个实例，其中使用基于LC的透镜来创建可切换双凸透镜。此外，还可以参见US6069650。

为了可视化3-D图像，必须向显示设备提供适当的图像数据。优选地，多相机装置用于采集3-D图像。然而，在许多情况下，通常的2-D相机用于采集图像数据。存在一些用于将2-D图像数据转换成3-D图像数据的技术。这些技术一般基于对图像内容的分析。其目的因而是估计深度图。深度图为场景中的每个点包含到相机(即视点)的距离。这意味着为2-D图像中的像素估计深度值。对于这种估计而言，已知有若干个线索，例如对象的锐度、颜色、亮度、尺寸以及对象轮廓的结点等等。

一般而言，大的深度值对应相对于视点的大距离。这意味着背景对象比前景对象具有更大的深度值。

一旦计算了属于2-D输入图像的深度图，那么就可以呈现若干个图像，这些图像一起形成3-D图像或者多视图图像。这种呈现一般基于对所述2-D输入图像施加变换以计算用于驱动显示设备的各个驱动图像以便创建所述视图，由此这些变换基于所估计的深度图。换言之，这种呈现意味着基于输入图像和对应的深度图计算一幅或多幅输出图像。

一般而言，驱动图像，即输出图像是通过用相应的移位量对输入图像的像素进行空间移位来创建的。参见例如L.McMillan和S.Gortler的文章“Image-Based Rendering：A New InterfaceBetween Computer Vision and Computer Graphics”，ComputerGraphics，Vol.33，No.4，Nov.1999，pp.61-64。移位量称为视差。因此，一般对于每个像素而言，存在对应的视差值，它们共同形成视差图。

通过移位来创建驱动图像的方法的不足之处在于，驱动图像中一些区域(region)内的图像信息由于未被覆盖而保持未知。深度台阶处出现空洞(hole)并且空洞的尺寸与深度台阶的尺寸成比例。由于空洞中的信息不可用，因而填充空洞变成一种猜谜游戏。

本发明的目的是提供一种如开篇段落中所描述类型的、呈现输出图像的方法，其具有相对较低量的、由去遮蔽引起的可见伪影。

本发明的这个目的由下述方法实现，该方法包括：

-通过计算深度相关数据在预定方向上的导数来计算深度相关数据矩阵中的边缘；

-计算与这些边缘的邻域相对应的输入图像区域中的像素值的变化度量，所述邻域位于这些边缘的背景侧；

-通过根据经缩放的深度相关数据在所述预定方向上移位输入图像的各个像素值来计算输出图像，其中缩放使得相对大的变化度量导致相对大的深度缩减。

本发明的发明人注意到，通过填充空洞而可能出现的伪影的可见性与背景的像素值的变化有关。一般情况下，通过移位像素值而创建的空洞用背景的像素值来填充。换言之，背景的像素值用来计算对于空洞的未知/未指定像素值的估计。如果边缘(即深度台阶)附近的背景的像素值基本上相等，那么将背景像素值外推到空洞不会造成显著令人厌烦的图像伪影。然而，在有纹理背景的情况下，当将背景像素用来填充空洞时，可能出现可见失真/伪影。

在依照本发明的方法中，如果背景纹理变化相对较高，即变化度量相对较高，那么深度效应被减弱。通常，将深度相关数据矩阵(例如深度图)缩放成经缩放的深度图，所述经缩放的深度图其后用于计算输出图像。可替换地，在移位像素值的同时隐含地考虑深度缩减量，而不显式地将深度相关数据缩放成经缩放的深度相关数据。

为了计算变化度量，优选地只使用属于背景的像素值。为了确定输入图像中与背景相对应的区域并且从而确定输入图像中哪些区域与前景相对应，检测深度相关数据矩阵中的边缘。这些边缘形成背景和前景之间的边界。

如上所述，邻域位于边缘的背景侧。这意味着邻域处于边缘的相应第一侧，其中第一侧与处于边缘相对侧的区块(area)相比，具有相对于第一视点的更大深度。而所述区块属于前景。

根据输出图像的视点，即第二视点，确定用于计算所述变化度量的像素值集合。应当注意，第二视点相对于第一视点的位置决定了由于去遮蔽的原因必须填充的空洞可能出现在前景对象的哪一侧上。这意味着所述变化度量的计算(即对潜在可见伪影的估计，其中所述可见伪影在不存在缩放量缩减的情况下可能出现)优选基于去遮蔽区块中的区域的像素。这意味着优选地考虑了与去遮蔽区块相对应的背景的像素值。

因此，在依照本发明的呈现输出图像的方法的实施例中：

-如果第二视点在所述预定方向上处于第一视点的正侧，那么深度相关数据中，比其负导数充分多的正导数用于计算深度相关数据矩阵中的边缘；以及

-如果第二视点在所述预定方向上处于第一视点的负侧，那么深度相关数据中，比其正导数充分多的负导数用于计算深度相关数据矩阵中的边缘。

在第一种情况下，输出图像对应于在输入图像的视点右侧的视点，在第二种情况下，输出图像对应于在输入图像的视点左侧的视点。这意味着将从左到右考虑为正向。

通过有选择的边缘检测，选择出输入图像中的适当区域以用于计算所述变化度量。

在呈现输出图像的方法的实施例中，为了计算深度相关数据矩阵中的边缘，各个导数的幅值大于预定阈值。优选的是，只考虑深度图中的明显台阶以用于计算所述变化度量。

在呈现输出图像的方法的实施例中，根据相应的边缘来确定输入图像中的一个特定区域的第一边界，并且其中相对边界处于在所述预定方向上与第一边界相距预定像素数的位置处。优选地，从中选择像素以用于计算所述变化度量的输入图像中的区域基于所选择的边缘。优选地，这些区域的形状与对应边缘的形状相对应。

本发明的另一个目的是提供一种开篇段落中所描述类型的、用于呈现输出图像的图像呈现单元，其导致由去遮蔽引起的可见伪影的量相对较低。

本发明的这个目的由下述图像呈现单元所实现，该图像呈现单元包括：

-第一计算装置，用于通过计算深度相关数据在预定方向上的导数来计算深度相关数据矩阵中的边缘；

-第二计算装置，用于计算在与这些边缘的邻域相对应的输入图像区域中的像素值的变化度量，所述邻域位于这些边缘的背景侧；

-第三计算装置，用于通过根据经缩放的深度相关数据在所述预定方向上移位输入图像的各个像素值来计算输出图像，其中缩放使得相对较大的变化度量导致相对较大的深度缩减。

有利地是，将这种图像呈现单元应用于图像处理设备中。一般情况下，这种图像处理设备包括多视图显示设备，所述多视图显示设备用于显示基于输入图像的若干个输出图像并且可选地也显示输入图像。

对图像呈现单元的修改及其变型可以对应于正描述的图像处理设备、呈现输出图像的方法和计算机程序产品的修改及其变型。

依照本发明的图像呈现单元、呈现输出图像的方法、图像处理设备以及计算机程序产品的这些和其他方面根据下面参照附图描述的实现方式和实施例将变得清楚明白，并且将参照这些实现方式和实施例来进行阐述，在附图中：

图1示意性地示出了连接到显示设备的依照本发明的图像呈现单元的实施例；

图2示意性地示出了输入图像、对应的深度图以及基于该输入图像和深度图的输出图像，其中该输出图像与处于输入图像右侧的视点相对应；

图3示意性地示出了输入图像、对应的深度图以及基于该输入图像和深度图的输出图像，其中该输出图像与处于输入图像左侧的视点相对应；

图4示意性地示出了依照本发明的图像处理设备；

图5示出了若干个输入图像以及对应的深度图；以及

图6示出了基于图5的输入图像的若干个输出图像。

相同的附图标记在全部附图中用来表示相似的部分。

图1示意性地示出了连接到显示设备120的依照本发明的图像呈现单元100的实施例。图像呈现单元100被设置成根据输入图像和对应的深度图计算输出图像集合。将该输出图像集合以及通常还有输入图像提供给显示设备120。这些图像一起都是驱动显示设备120的驱动图像。显示设备120是上面描述和提及的3-D显示器。优选地，显示设备120是所谓的多视图显示设备，其被设置成沿相对于该显示设备的屏幕互不相同的方向上投影若干个视图。这些不同的方向对应于不同的视点，即从其观看由这些驱动图像所代表的场景的不同点。

图像呈现单元100包括用于向图像呈现单元100提供输入图像的第一输入连接器114。通常，提供输入图像序列。图像呈现单元100包括用于向图像呈现单元100提供对应的深度图的第二输入连接器110。通常，提供深度图序列。该图像呈现单元还包括用于指示要呈现的输出图像的所需视点的控制接口112。

图像呈现单元100包括：

-边缘检测单元104，用于通过计算深度值在预定方向上的导数来检测深度图中的边缘；

-纹理分析单元102，用于计算与边缘的邻域对应的输入图像区域中像素值的变化度量116，所述邻域位于边缘的背景侧；

-缩放单元106，用于根据计算的变化度量将深度图缩放成经缩放的深度图，其中所述缩放使得相对较大的变化度量导致相对较大的深度缩减；

-呈现单元108，用于通过根据经缩放的深度图在所述预定方向上移位输入图像的各个像素值来计算输出图像。

边缘检测单元104、纹理分析单元102、缩放单元106以及呈现单元108可以使用一个处理器实现。通常，在软件程序产品的控制下执行这些功能。在执行期间，通常将该软件程序产品加载到像RAM那样的存储器中并且从该处执行。程序可以从像ROM、硬盘或磁和/或光学存储器那样的后台存储器中加载，或者可以通过像国际互联网那样的网络来加载。可选地，专用集成电路提供所公开的功能。

边缘检测单元104被设置成检测深度图中的边缘。通常，边缘检测是通过计算深度图的相邻数据元素(即相邻深度值)之差来执行的。优选地，只考虑大于预定阈值Δ的相邻深度值之间的绝对差值。通常，只计算深度值在预定方向上的导数，所述预定方向与输入图像的第一视点和要呈现的输出图像的第二视点之间的相互关系相对应。根据检测的边缘并且优选地还根据输出图像的视点，确定输入图像中的区域用于计算变化度量。这些区域中的像素形成像素子集S_vp。下标vp用来表示该像素子集取决于视点。下面将结合图2和图3来解释视点和区域之间的关系如何。

纹理分析单元102被设置成计算子集S_vp的像素中的变化度量T_vp。等式1具体说明了用于计算变化度量T_vp的实施例：

$T_{\mathrm{vp}}=\frac{\underset{k\∈S_{\mathrm{vp}}}{\mathrm{\Σ}}|r(x_k+1,y_k)-r(x_k,y_k)|+|g(x_k+1,y_k)-g(x_k,y_k)|+|b(x_k+1,y_k)-b(x_k,y_k)|}{N_{S_{\mathrm{vp}}}}---\left(1\right)$

式中，

为子集S_vp中的像素，r(x_k，y_k)为坐标为(x_k，y_k)的像素值的红色分量，g(x_k，y_k)为坐标为(x_k，y_k)的像素值的绿色分量，b(x_k，y_k)为坐标为(x_k，y_k)的像素值的蓝色分量，k为索引。纹理度量T_vp是输入图像中在x方向上从一个像素到下一个像素的平均水平颜色变化，其在所述区域上平均。使用了红、绿、蓝色空间，但是输入图像的其它颜色表示也是适用的。可替换地，考虑所述区域中像素的亮度分量以用于计算所述变化度量。

应当展开的是，所述区域不必是连通区域。这意味着在输入图像中存在多个这样的区块，可以从这些区块中选择用于计算所述变化度量T_vp的像素。

缩放单元106被设置成将深度图缩放成经缩放的深度图。所述缩放使得相对较大的变化度量T_vp导致相对较大的深度缩减。通常，所述缩放是具有缩放因子的乘法，该伸缩因子是变化度量T_vp的函数f(T_vp)：

$z_{\mathrm{vp}}^{\mathrm{scaled}}(x,y)=f\left(T_{\mathrm{vp}}\right)\·z(x,y)---\left(2\right)$

下标vp用来表示该缩放的深度图取决于视点。通常，所述缩放借助于查找表(LUT)来实现。可替换地，所述缩放不是深度图的全局缩放，而是深度图的局部缩放。

呈现单元108被设置成通过根据经缩放的深度图在所述预定方向上移位输入图像的各个像素值来计算输出图像。欲知这种类型的呈现的描述，请参见例如L.McMillan和S.Gortler的文章“Image-BasedRendering：A New Interface Between Computer Vision and ComputerGraphics”，Computer Graphics，Vol.33，No.4，Nov.1999，pp.61-64。

接下来，将结合图2和图3解释子集S_vp取决于各输出图像202、302相对于输入图像200的视点的视点。假设输入图像200对应于中心视图并且必须计算两幅不同的输出图像202、302。第一幅输出图像202处于输入图像200的右边，第二幅输出图像302处于输入图像200的左边。这意味着第一幅输出图像202的视点在x方向上处于输入图像的视点的正侧，以及第二幅输出图像302的视点在x方向上处于输入图像200的视点的负侧。

图2示意性地示出了输入图像200、对应的原始未缩放深度图204以及基于输入图像200的第一幅输出图像202。图2示出了处于前景中的对象的表示206并且示出了背景208。在图2中，还绘出了与子集S_vp的像素相对应的区域210。深度图204具有与对象206相对应的深度值第一集合222以及与背景对应的深度值第二集合224。深度图204中的边缘212处于其中相邻值之间的台阶相对较高并且具有正号的位置。边缘212与输入图像200中的区域210的边界之一对应。区域210的相对边界处于在所述预定方向x上与所述第一边界相距预定像素数B的位置。

第一幅输出图像202示出了输入图像200中表示的相同对象的另一表示216，该对象向左移位，其中移位量与经缩放的深度图有关。图2中没有绘出经缩放的深度图。该经缩放的深度图从深度图204导出。

对于第一幅输出图像202而言，如果z(x_i，y_i)-z(x_i-1，y_i)>0，i为索引，那么就引入空洞。在输入图像200中创建像素子集S_vp，以便计算对用于呈现第一幅输出图像202的深度图进行缩放所需的变化度量T_vp基于对满足0<x_j-x_i<B的像素j的选择，其中B是到具有幅值为z(x_i，y_i)-z(x_i-1，y_i)>Δ的深度变化的距离。

深度变化、深度台阶以及深度值的导数是相同概念的不同表述。

图3示意性地示出了输入图像200、对应的原始(即未缩放)深度图204以及基于该输入图像200的第二幅输出图像302。图3示出了处于前景中的对象的表示206并且示出了背景208。在图2中，还绘出了与子集S_vp中的像素相对应的区域310。深度图204具有与对象206相对应的深度值第一集合222以及与背景相对应的深度值第二集合224。深度图204中的边缘212处于其中相邻值之间的台阶相对较高并且具有负号的位置。边缘312与输入图像200中的区域310的边界之一对应。区域210的相对边界处于在与所述预定方向x相反的方向上与所述第一边界相距预定像素数B的位置处。

第二幅输出图像302示出了输入图像200中表示的相同对象的另一表示316，但是其向右移位，其中移位量与经缩放的深度图有关。图3中没有绘出经缩放的深度图。该经缩放的深度图从深度图204导出。

对于第二幅输出图像302而言，如果z(x_i-1，y_i)-z(x_i，y_i)>0，i为索引，那么就引入空洞。在输入图像200中创建像素子集S_vp，以便计算对用于呈现第二幅输出图像302的深度图进行缩放所需的变化度量T_vp基于对满足0<x_j-x_i<B的像素j的选择，其中B是到具有幅值为z(x_i-1，y_i)-z(x_i，y_i)>Δ的深度变化的距离。

应当清楚的是，通常用于第一幅输出图像202的经缩放的深度值与用于第二幅输出图像302的对应经缩放的深度值是相互不同的。

$z_{\mathrm{vp}=\mathrm{Left}}^{\mathrm{scaled}}(x,y)\&NotEqual;z_{\mathrm{vp}=\mathrm{Right}}^{\mathrm{scaled}}(x,y)---\left(3\right)$

假设根据单幅输入图像，创建了用于9视图显示设备的驱动图像集合，其中该输入图像与该驱动图像集合中的中心图像相对应。存在具有相应视点的包含四幅驱动图像的第一子集，这些驱动图像处于中心视图的右边，并且存在具有相应视点的包含四幅驱动图像的第二子集，这些驱动图像处于中心视图的左边。在这种情况下，优选的是对于第一子集使用

并且对于第二子集使用

图4示意性地示出了依照本发明的图像处理设备400，该设备包括：

-接收装置402，用于接收代表输入图像的信号以及可选地用于接收对应的深度图。可替换地，该图像处理设备被设置成根据所接收的输入图像计算深度图本身；

-如结合图1所描述的图像呈现单元100；以及

-显示设备120，用于显示图像呈现单元100的输出图像以及优选地也用于与所呈现的输出图像一起显示输入图像。

所述信号可以是经由天线或电缆接收的广播信号，但是也可以是来自如VCR(录像机)或数字通用盘(DVD)那样的存储设备的信号。该信号在输入连接器410处提供。图像处理设备400可以例如是电视(TV)。可替换地，图像处理设备400不包括可选的显示设备，但是向包括显示设备120的设备提供输出图像。于是，图像处理设备400可以是例如机顶盒、卫星调谐器、VCR播放器、DVD播放器或记录器。可选地，图像处理设备400包括存储装置，如硬盘或者用于在像光盘那样的可移除介质上进行存储的装置。图像处理设备400还可以是由摄影棚或广播台应用的系统。

图5分别示出了若干个输入图像502-508以及对应的深度图512-518。输入图像502-508全部表示背景前的苹果。输入图像502-508之间的主要差异在于所述背景。苹果的位置是另一个差异，但它在本说明书上下文中是不重要的。可借助于所述变化度量量化的背景中的纹理量是不同的。

深度图512-518的灰度值表示深度值。

图6示出了基于图5的输入图像502-508的若干个输出图像602-608、622-628。左列示出了各个输入图像502-508的输出图像602-608，这些输出图像通过如图5所绘的原始未缩放的深度图来计算得到。特别地，由附图标记604和606表示的输出图像在苹果的右侧示出了清晰的伪影。由于相对较大的纹理量，这些伪影格外明显可见。

中间列示出了经缩放的深度图612-618。灰度值代表深度值。通过比较图6中绘出的、由附图标记612引用的经缩放深度图的灰度值以及图5中绘出的、由附图标记512引用的原始深度图的灰度值，可以看出所述深度图基本相同。这并不奇怪，因为对应输入图像502的背景基本均匀。然而，通过比较图6中绘出的、由附图标记616引用的经缩放深度图的灰度值以及图5中绘出的、由附图标记516引用的原始深度图的灰度值，可以看出所述后者的深度图截然相互不同。这意味着这些深度值的动态范围大大地减小了。其原因在于相对较大的纹理量。

右列示出了分别根据经缩放的深度图612-618呈现的输出图像622-628。由图6可知，特别是在第二和第三行中，伪影量大大减少。这种伪影量减少的代价是深度感知的减弱。

在结合图1-图6所描述的依照本发明的实施例中，已经将深度规定为视点和场景中的点之间的物理距离的度量。权利要求必须根据说明书来进行解释。应当明白，可以使用替换的量来表示深度。例如，可以将深度表示为与离相机最远的场景中的特定点的距离。这将意味着背景将具有相对较低的深度，前景具有相对较高的深度。也可以使用用于深度的可替换的量，比如距离的倒数。在这些情况下，像“大”和“减小”那样的措词应当分别用“小”和“增大”来替换。

应当指出的是，上述实施例说明了而不是限制了本发明，本领域技术人员在不脱离随附权利要求的范围的情况下将能够设计出可替换的实施例。在权利要求中，置于括号中的任何附图标记都不应当被视为限制了该权利要求。措词“包括”并没有排除存在权利要求中未列出的元件或步骤。元件之前的措词“一”或“一个”并没有排除存在多个这样的元件。本发明可以借助于包括若干不同元件的硬件以及借助于经过适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的一些可以由同一硬件或软件项实现。措词“第一”、“第二”和“第三”等等的使用并不表示任何排序。这些措词应当解释为命名。除非特别说明，并不要求特定顺序的动作。

Claims (9)

1.一种根据输入图像(200)和对应的深度相关数据矩阵(204)来呈现输出图像(202)的方法，所述输入图像(200)与第一视点相对应，而所述输出图像(202)与不同于第一视点的第二视点相对应，该方法包括：

-通过计算所述深度相关数据在预定方向(X)上的导数来计算深度相关数据矩阵(204)中的边缘(212，312)；

-计算与所述边缘(212，312)的邻域相对应的输入图像(200)区域中的像素值的变化度量，所述邻域位于所述边缘(212，312)的背景侧；以及

-通过根据经缩放的深度相关数据在所述预定方向(X)上移位输入图像(200)中的各个像素值来计算输出图像(202)，其中缩放使得相对较大的变化度量导致相对较大的深度缩减。

2.如权利要求1所述的呈现输出图像(202)的方法，其中为了计算所述深度相关数据矩阵(204)中的边缘(212，312)：

-如果第二视点在所述预定方向(X)上处于第一视点的正侧，则使用所述深度相关数据中比其负导数充分多的正导数；以及

-如果第二视点在所述预定方向(X)上处于第一视点的负侧，则使用所述深度相关数据中比其正导数充分多的负导数。

3.如权利要求1或2所述的呈现输出图像(202)的方法，其中为了计算所述深度相关数据矩阵(204)中的边缘(212，312)，所述各个导数的幅值大于预定阈值。

4.如权利要求1-3中任何一项所述的呈现输出图像(202)的方法，其中根据对应边缘来确定输入图像(200)的区域(210，310)中的一个特定区域的第一边界，并且其中相对边界处于在所述预定方向(X)上与第一边界相距预定像素数的位置处。

5.如权利要求1-4中任何一项所述的呈现输出图像(202)的方法，其中在所述输入图像中全局地执行缩放。

6.如权利要求1-4中任何一项所述的呈现输出图像(202)的方法，其中在所述输入图像中根据局部计算的变化度量局部地执行缩放。

7.一种用于根据输入图像(200)和对应的深度相关数据矩阵(204)来呈现输出图像(202)的图像呈现单元，其中所述输入图像(200)与第一视点相对应，而所述输出图像(202)与不同于第一视点的第二视点相对应，该图像呈现单元包括：

-第一计算装置(104)，用于通过计算所述深度相关数据在预定方向(X)上的导数来计算所述深度相关数据矩阵(204)中的边缘

(212，312)；

-第二计算装置(102)，用于计算与所述边缘(212，312)的邻域相对应的输入图像(200)区域(210，310)中的像素值的变化度量，所述邻域位于所述边缘(212，312)的背景侧；以及

-第三计算装置(108)，用于通过根据经缩放的深度相关数据在所述预定方向(X)上移位输入图像(200)的各个像素值来计算输出图像(202)，其中缩放使得相对较大的变化度量导致相对较大的深度缩减。

8.一种图像处理设备，包括：

-接收装置，用于接收输入图像(200)和对应的深度相关数据矩阵(204)；以及

-图像呈现单元，用于如权利要求5所述，根据所述输入图像(200)和所述对应的深度相关数据矩阵(204)来呈现输出图像(202)。

9.一种由计算机装置加载的计算机程序产品，包括根据输入图像(200)和对应的深度相关数据矩阵(204)来计算输出图像(202)的指令，所述输入图像(200)与第一视点相对应，所述输出图像(202)与不同于第一视点的第二视点相对应，所述计算机装置包括处理装置和存储器，所述计算机程序产品在被加载之后向所述处理装置提供以下执行能力：。

-通过计算所述深度相关数据在预定方向(X)上的导数来计算深度相关数据矩阵(204)中的边缘(212，312)；

-计算与所述边缘(212，312)的邻域相对应的输入图像(200)区域(210，310)中的像素值的变化度量，所述邻域位于所述边缘(212，312)的背景侧；以及

-通过根据经缩放的深度相关数据在所述预定方向(X)上移位输入图像(200)中的各个像素值来计算输出图像(202)，其中缩放使得相对较大的变化度量导致相对较大的深度缩减。

Images