CN102790899A - 3d显示中的串扰消除 - Google Patents

Abstract

提供了用于准备3D图像的方法和设备。进行图像处理，以便于在3D图像中进行减法串扰消除。在全局实施例中，对像素值进行压缩，以提供足够的底空间用于减法串扰消除。对于视频图像，压缩的程度可以在帧与帧之间改变。可以应用时间滤波以降低闪烁。在局部实施例中，对局部区域添加亮度和/或在局部区域中进行压缩，以便于进行更完全的减法串扰消除。添加的亮度或者压缩的量可以与局部区域的需要匹配。可以使添加的亮度和/或压缩在时间上平滑地或者在空间上平滑地改变。显示器和其它设备可以被构造为执行进行部分或完全串扰消除的方法。

Description

3D显示中的串扰消除

技术领域

本发明涉及3D显示。本发明尤其涉及用于消除3D显示中的串扰的机制。

背景技术

存在多种可用来向观看者显示3D图像的技术。这些技术向观看者的左眼和右眼呈现单独的图像。这些图像可以呈现相同场景或对象的不同视角。观看者的脑合成并解释左眼图像和右眼图像，以感知具有深度感的单个3D图像。

在3D显示中使用的一些非限制性的示例技术包括：

-对左眼图像和右眼图像进行不同的偏振。观看者可以佩戴偏振眼镜，以阻挡右眼观看左眼图像，并阻挡左眼观看右眼图像；

-以交替的序列显示左眼图像和右眼图像。观看者可以通过包含受控光闸的眼镜观看图像，该受控光闸随着图像的显示及时地打开和关闭；

-提供具有不同光谱特性的左眼图像和右眼图像的技术。观看者可以通过包含光谱过滤器的眼镜观看图像，该光谱过滤器使一个图像通过，但是阻挡另一个图像；

-将不同的图像导向空间中的不同位置(使得观看者的眼镜看到不同的图像)的多视点（multiview）技术。

3D成像显示的一个问题是在观看者的左眼和右眼观看的图像之间可能存在串扰（crosstalk）。可以将这些图像称为“视图”。“串扰”是希望仅由观看者的一只眼睛观看的光在某种程度上对观看者的另一只眼睛也可见的情况。串扰可能由于很多种原因中的任意一种而发生。例如，佩戴在观看者的眼睛中的每个眼睛上的光闸、偏振器或滤光器不能完全阻止来自希望仅由一只眼睛观看的图像的光到达另一只眼睛，反之亦然。

串扰可能使观看者在3D图像中感知到“重影（ghosting）”、看到双重图像的效果，尤其是在图像中的高对比度边缘处。串扰可能大大降低感知到的3D图像质量，并且可能妨碍观看者融合图像和感知深度。

串扰可能在左眼图像中的像素非常亮而相应的右眼图像中的相应像素非常暗的情况、或在右眼图像中的像素非常亮而相应的左眼图像中的相应像素非常暗的情况下尤其明显。

存在对于用来消除3D显示中的串扰的有效并且实用的方式的需要。

发明内容

提供本概要以介绍下面在说明书中进一步描述的简要形式的本发明的代表性概念和各方面的选择。本概要不旨在标识要求保护的主题的关键特征或者必要特征，也不旨在以任何可能限制要求保护的主题的范围的方式使用。

本发明提供与对3D图像进行处理和显示相关的方法和设备。一个方面涉及3D图像中的串扰的消除。可以以方法和设备实施本发明。该设备可以包括独立设备，或者可以与显示器或用于向显示器传送3D图像数据的通道中的其它设备集成。

本发明的一个示例方面提供一种用于准备3D图像的方法，该3D图像包括用于显示的左眼视图和右眼视图。该示例方法包括：基于图像数据确定为允许完全减法串扰消除而增大像素值的量；确定该量的最大值；以及通过以基于最大值而在量上进行的加法或按比例确定（scaling）中的一个或两个，全局地增大像素值。3D图像可以包括视频序列中的视频帧。在一些实施例中，该方法包括：对该最大值或者根据该最大值得出或与该最大值相关的量应用时间低通滤波器。

另一示例方面提供一种用于准备3D视频图像的方法，该3D视频图像包括用于显示的一系列帧中的每个帧的左眼视图和右眼视图。该方法包括：识别视图中的像素值过小而不允许完全减法串扰消除的局部区域；确定加到局部区域的亮度补丁的强度；对强度进行时间低通滤波；以及根据经时间滤波的强度生成亮度补丁。

在一些实施例中，该方法包括：对于亮度补丁中的每个，生成用于另一视图的相应亮度补丁。生成相应亮度补丁可以包括：定位亮度补丁的中心；进行块匹配以估计视图之间与局部区域的中心相对应的位置处的不一致；以及将在x方向上偏移了所估计的不一致的亮度补丁的副本加到另一视图上。

另一方面提供一种用于准备3D视频图像的示例方法，该3D视频图像包括用于显示的一系列帧中的每个帧的左眼视图和右眼视图。该方法包括：识别视图中的像素值过小而不允许完全减法串扰消除的局部区域；确定加到局部区域的亮度补丁的强度；链接跨视频图像的帧的相应局部区域以提供一个或更多个系列的链接局部区域；识别这些系列的相应链接局部区域中的一个系列的第一链接局部区域；以及将与第一链接局部区域相对应的淡入亮度补丁加到与第一链接局部区域相对应的帧之前的一系列帧。

本发明的其它方面提供如这里所描述的设备。该设备可以被配置为和/或能够进行操作以执行根据本发明的方法。

本发明的其它方面提供计算机程序产品，该计算机程序产品包括承载计算机可读指令的非易失性介质，当由一个或更多个数据处理器执行该计算机可读指令时，使数据处理器执行根据本发明的方法。

除了上面描述的示例性方面和实施例之外，通过参考附图并且通过研究下面的详细描述，其它方面和实施例将变得明显。

附图说明

附图示出了非限制性示例实施例。

图1是根据本发明的一个示例实施例的方法的流程图。

图2是示出根据本发明的示例实施例的设备的框图。

图3是根据本发明的另一示例实施例的方法的流程图。

图4是示出亮度补丁（luminance patch）的平滑空间变化的曲线图。

图5A、5B和5C示出与被添加以增加一个视图中的底空间（footroom）的亮度补丁相对应的另一视图中的亮度补丁的添加。

图6是示出用于对图像数据进行处理以添加淡入（fade in）和淡出（fade out）的亮度补丁以用于减小闪烁的示例方法的流程图。

图7A和7B对比单独针对视频的每一帧进行串扰消除以及使用于辅助串扰消除而被添加的亮度随着时间淡入和淡出的处理。

在全部附图和说明书中，使用相似的附图标记来指示相似的元素。

具体实施方式

在下面的描述中，叙述具体细节以向本领域技术人员提供更透彻的理解。然而，不示出或详细描述公知的元素，以避免不必要地使本公开不明确。相应地，说明书和附图应当被视为说明性的，而不是限制性的。

例如，假设左眼图像对于某颜色通道具有由V_L(x,y)给出的像素值，而相应的右眼图像对于该颜色通道的具有由V_R(x,y)给出像素值。在不对串扰进行补偿的情况下，观看者将在观看者的左眼中看到在该颜色通道中具有如下像素值的图像：V_L(x,y)+A_RL×V_R(x,y)，而观看者将在观看者的右眼中看到在该颜色通道中具有如下像素值的图像：V_R(x,y)+A_LR×V_L(x,y)。这里，A_RL是来自右眼图像的光的到达观看者左眼的部分，A_LR是来自左眼图像的光的到达观看者右眼的部分。在许多情况下，A_LR=A_RL。

可以通过对图像数据进行处理以减去估计的串扰，来消除串扰。例如，可以基于来自另一视图中的相应像素的预期串扰的量，来减小每个像素的强度。因此，在显示图像时，串扰应当被消除掉，观看者应当像没有串扰一样地感知左图像和右图像。然而，由于负光强度是不可能的，因此完全减法串扰消除需要每个图像中的像素的值大于预期串扰。尤其在一个视图中的像素暗而另一个视图中的相应像素非常亮的情况下，不会如此。

考虑下面的示例，其中，图像数据针对每个像素包括8位伽马编码的红、绿和蓝值。可以如下地将这些值转换为线性值：

$I_{\mathrm{lin}}={\left(\frac{I_8}{255}\right)}^{\mathrm{\γ}}---\left(1\right)$

其中，I₈是针对一个颜色通道（红、绿或蓝）的8位伽马编码输入，γ是显示器伽马值（通常为2.2），而I_lin是按比例确定到0到1的范围的该颜色通道的线性值。可以将各自包括来自另一个视图的串扰的到达观看者的眼睛的视图建模为：

I_L，eye＝I_L，lin+cI_R，lin    (2)

以及

I_R，eye＝I_R，lin+cI_L，lin    (3)

其中，I_L，lin和I_R，lin分别是输入的左视图和右视图的线性值。I_L，eye和I_R，eye分别是曝露给观看者的左眼和右眼的线性值，而c是串扰的量。

减法串扰消除通过以下方式起作用：修正所显示的左视图和右视图的图像数据，使得在加入了串扰之后，到达观看者的信号将是希望的图像（没有串扰）。这例如可以通过这样的方式进行——对图像数据进行处理，使得对显示器的输入的值由下式给出：

$I_{L,\mathrm{proc}}=\frac{I_{L,\mathrm{lin}}-c{I}_{R,\mathrm{lin}}}{1-c^2}---\left(4\right)$

以及

$I_{R,\mathrm{proc}}=\frac{I_{R,\mathrm{lin}}-c{I}_{L,\mathrm{lin}}}{1-c^2}---\left(5\right)$

其中，下标proc指示经处理的输入值。通过将式(4)和(5)的经处理的值代替式(2)和(3)中的I_L,lin和I_R,lin，可以验证输出I_L,eye和I_R,eye将是没有串扰的原始图像。注意，应用式(4)和(5)主要涉及在对所有项应用小增益因子1/(1-c²)的情况下，从左图像中减去右图像，以及从右图像中减去左图像。除非满足下面两个条件，否则式(4)或(5)将产生负结果：

I_L,lin≥cI_R,lin    (6)

以及

I_R,lin≥cI_L,lin    (7)

在一些实施例中，以足以允许串扰的减法消除的量对每个视图添加光强度。消除可能是完全的或部分的。添加的光强度的量可以基于图像数据，使得不添加比允许希望程度的串扰消除所需的光强度更大的光强度。

在一些实施例中，对图像数据进行处理包括对图像数据进行压缩和/或向更高的强度偏移图像数据，使得黑水平（black level）升高。可以基于图像数据来计算黑水平升高的量。

在示例实施例中，处理包括应用对颜色通道（例如红、绿和蓝通道）进行线性按比例确定的函数将其范围压缩到[b,255]。该函数例如可以由下式给出：

I′＝b+(1-b/255)I    (8)

其中，I表示来自颜色通道I∈(R,G，B)中的任意一个的值。可以对每个颜色通道应用相同的按比例确定，以避免色调偏移（hue shift）。较大的b值将更大地压缩图像的动态范围，这降低图像的对比度。因此，可能希望保持b的值较小而同时仍允许希望的程度的串扰消除。

可以示出在b满足下式的情况下可以进行完全串扰消除：

$b\≥\frac{c^{1/\mathrm{\γ}}{I}_C-I_S}{1+c^{1/\mathrm{\γ}}+(c^{1/\mathrm{\γ}}{I}_C-I_S)/255}---\left(9\right)$

对于8位值的情况，其中下标S指示信号图像（即，当前所考虑的视图），而下标C指示串扰图像（即，作为当前所考虑的视图中的串扰的源的视图）。可以应用式(9)以对每个视图中的每个像素的每个颜色通道（例如R、G和B）的b的值提供约束。

在示例实施例中，对每个视图中的每个像素的每个颜色通道应用式(9)。确定b的最大值，并且在式(8)中使用该值以对两个视图中的所有像素对所有颜色通道应用相同的图像数据压缩。这确保对于经处理的图像数据，式(6)和(7)的条件对所有像素适用。

在一些实施例中，b的值被选择为稍小于由式(9)确定的值。虽然这意味着不能进行完全减法串扰消除，但是小量的未消除的串扰不会明显地影像图像质量，而b的减小有利地减小了压缩量。

可以对处理进行调整，以避免针对每个像素的每个颜色通道进行b的详细计算。例如，不需要针对满足下式的像素值计算b：

I_S≥c^1/γI_C    (10)

这是因为对于这些像素值，总是可以进行对任何串扰的完全补偿。在许多典型图像中，90%或更多的像素值满足式(10)。

在图像包括视频帧的情况下，可能希望提供时间滤波以避免由于压缩的突变而分散观看者的注意力。这在如上所述的由诸如b的单个参数定义压缩的情况下可以较直接。在这种情况下，可以对b进行低通滤波，使得b不在帧与帧之间发生突变。

在一些实施例中，该滤波在时间上是双向的，使得在b在否则将发生突然跳变的帧的之前几个帧开始增大。

在一些可选实施例中，可以针对不同的颜色通道单独进行使用相应b值的压缩。然而，这可能使颜色失真，因此通常在关注颜色逼真度的情况下是不希望的。

如上所述的处理不限于将像素值表示为8位数值的情况。可以以任意合适的方式表示像素值，例如，表示为10位、11位或12位数值，任意合适的范围内，例如0到1等的数值。此外，可以以除RGB之外的颜色模型或其它相加颜色模型（additive color model）进行处理。

在一些实施例中，使用提供与表示色调（或色度）的像素值分开的表示光强度的像素值的颜色模型进行处理。这种颜色模型的一个示例是YCbCr颜色模型。存在许多其它颜色模型，诸如YUV、xvYCC、YPbPr、YIQ等。

可以在不改变定义色调（色度）的像素值的情况下，对YCbCr颜色模型的亮度（luma）分量（或者其它类似的颜色模型上的相应分量）应用按比例确定。因此，对由YCbCr颜色模型（或类似的颜色模型）表示像素值的图像数据进行处理，可以提供更好地保持颜色的优点。

在HDTV普遍使用的ITU-R BT.709标准中，亮度（Y）具有16到235的范围。可以通过提高最小水平而将最大值保持在235来压缩亮度范围。这例如可以通过如下按比例确定亮度来实现：

Y′＝b+(1-b/235)Y    (11)

其中，Y’是压缩后的亮度，b是压缩参数。如上，在仍然允许消除串扰的同时，选择尽可能小的b值是有利的。保证可以完全补偿串扰的一组条件是：

R′_S≥c^1/γR′_C

G′_S≥c^1/γG′_C

B′_S≥c^1/γB′_C    (12)

在由下式给出RGB颜色空间和YCbCr颜色空间之间的转换的情况下：

R＝1.164(Y-16)+1.793(Cr-128)

G＝1.164(Y-16)-0.213(Cb-128)-0.534(Cr-128)

B＝1.164(Y-16)+2.112(Cb-128)    (13)

通过根据式(11)如下按比例确定亮度，并且应用条件(12)，可以针对将导致在所有颜色通道中满足条件(12)的b的最小值进行求解。在用(13)表示变换的情况下，可以示出其针对红色通道产生下式：

$b\≥\frac{1.164(c^{1/\mathrm{\γ}}{Y}_C-Y_S+16(1-c^{1/\mathrm{\γ}}))+2.115(c^{1/\mathrm{\γ}}({\mathrm{Cb}}_C-128)-({\mathrm{Cb}}_S-128))}{1.164(1+c^{1/\mathrm{\γ}}\frac{Y_C}{235}-\frac{Y_S}{235}-c^{1/\mathrm{\γ}})}---\left(14\right)$

类似地，由下式给出针对绿色通道的条件：

$b\≥\frac{\begin{array}{c}1.164(c^{1/\mathrm{\γ}}{Y}_C-Y_S+16(1-c^{1/\mathrm{\γ}}))\\ -0.213(c^{1/\mathrm{\γ}}({\mathrm{Cb}}_C-128)-({\mathrm{Cb}}_S-128))\\ -0.533(c^{1/\mathrm{\γ}}({\mathrm{Cr}}_C-128)-({\mathrm{Cr}}_S-128))\end{array}}{1.164(1+c^{1/\mathrm{\γ}}\frac{Y_C}{235}-\frac{Y_S}{235}-c^{1/\mathrm{\γ}})}---\left(15\right)$

由下式给出针对蓝色通道的条件：

$b\≥\frac{1.164(c^{1/\mathrm{\γ}}{Y}_C-Y_S+16(1-c^{1/\mathrm{\γ}}))+1.793c^{1/\mathrm{\γ}}({\mathrm{Cr}}_C-128)-({\mathrm{Cr}}_S-128)}{1.164(1+c^{1/\mathrm{\γ}}\frac{Y_C}{235}-\frac{Y_S}{235}-c^{1/\mathrm{\γ}})}---\left(16\right)$

可以针对两个视图的所有像素进行如式(14)至(16)所示的计算，以确定对于进行希望程度的串扰减小足够大的b值。一旦确定了b值，则例如可以根据式(11)对两个视图的亮度通道进行按比例确定，根据式(13)转换到RGB空间，然后根据式(4)和(5)对串扰进行补偿。

在一些实施例中，可以在源处或者在显示器上游的分配路径中的另一点处对视频进行分析。分析可以包括将均与同一帧相对应的两个视图中的像素值进行比较，以识别对于该帧最具限制性的像素对（例如在视图之间展现最大对比度的像素对）。该分析不需要知道通常取决于显示图像的显示器的串扰c。与可以图像一起分配分析的结果（例如作为与图像相关联的元数据）。可以在使用减法串扰消除确定用于显示的适当按比例确定值（scaling value）时提取和使用该元数据。这种方法降低了显示器处的计算复杂度，并且可以允许在显示器处使用比其它方式所需要的硬件更简单的硬件进行图像处理和串扰消除。

在显示器在如这里所述地显示图像之前进行图像处理（例如应用锐化滤波器）的情况下，希望在进行准备用于如这里所描述的减法串扰消除的图像的图像处理之前进行该图像处理。

图1示出根据本发明的示例实施例的方法100。在块102，方法100确定左眼视图和右眼视图中的每个中的每个像素的减法串扰消除所需的附加底空间的量。如图1A所示，可以针对多个颜色通道中的每个颜色通道单独确定所需的附加底空间（如块101R、101G和101B（其对左眼视图进行处理）和块102R、102G和102B（其对右眼视图进行处理）所示）。

在图1B所示的可选实施例中，以具有单独亮度值的颜色模型表示像素值，或者将像素值变换为具有单独亮度值的颜色模型，并且在分别对左眼视图和右眼视图进行处理的块103L和103R中，根据亮度值确定所需的附加底空间。

在块104中，确定添加到每个颜色通道或亮度通道的压缩量（例如b）或亮度量的值。块104例如可以基于两个视图的颜色通道上的所需的附加底空间的最大或几乎最大的值、两个视图的亮度通道上的所需的附加底空间的最大或几乎最大的值。几乎最大的值例如是第90个百分位值或者第95个百分位值或者第99个百分位值等。

在块106中，在图像是视频帧的情况下，对来自块104的压缩或亮度的量应用低通时间滤波。

在块108中，基于来自块106的经时间滤波的量，对图像进行压缩（或者添加亮度）。

在块110中，进行减法串扰消除。

在块112中，显示图像。

图2示出根据示例实施例的设备200。设备200包括计算块202，计算块202确定减法串扰消除所需的附加底空间的量。计算块202可以具有对图像的左视图和右视图的不同颜色通道或亮度通道并行操作的多个部分。计算块202可以包括编程数据处理器，例如一个或更多个微处理器或图形处理器或数字信号处理器，诸如FPGA的可编程逻辑电路，硬连线逻辑电路，其组合等。

压缩确定块204根据块202的输出确定希望的压缩。时间滤波器206对块204的输出进行滤波。压缩器208根据时间滤波器206的输出对两个视图的图像数据进行压缩。块210进行减法串扰消除。块212是显示图像的显示器。

示例

对三个3D立体图像应用如上所述的方法。假设显示器伽马为2.2并且串扰为7%（c=0.07）。为了进行比较，通过最坏情况RGB域线性按比例确定（将黑水平提高到255c^1/r=76）对相同的图像进行处理。

在表1中给出了结果的客观比较，表1示出了每个图像的压缩范围以及使用CIEDE2000色差公式测量的原始图像和压缩图像之间的色度差。CIEDE2000色差是基于CIELAB颜色空间比较两个颜色的感知度量（perceptual metric）。为了防止该比较受到由于应用这些方法而导致的亮度添加的影响，在保留与色度和色调相关的项的同时，将CIEDE2000公式中的亮度项（L）设置为零。这产生仅测量颜色改变的度量。

对图像进行比较示出最坏情况RGB按比例确定使图像看起来褪色。如上所述的最佳RGB按比例确定产生具有较好对比度的图像，但是与原始图像相比仍然稍微褪色。在YCbCr空间中进行按比例确定产生具有更饱和的颜色的图像，这更准确地反映输入图像的颜色（如由明显较低的CIEDE2000色度差值所指示的）。

由于串扰不在图像的所有部分中产生问题，因此不强制全局地进行允许进行减法串扰消除的处理。一些实施例识别需要或者希望进行串扰消除的区域，并且对这些局部区域进行处理以确保在这些局部区域内可以进行希望的程度的减法串扰消除。该处理可以通过亮度的相加和/或按比例确定来提高局部区域内的亮度水平。如上所述，可以对亮度通道或者对各个颜色通道进行按比例确定。

图3中示出根据示例局部实施例的方法300。在方法300中，在块302中，对3D图像的一对视图进行处理，以检测减法串扰消除将失败的区域（局部区域）。可选地，在块304中，根据一些标准对这些区域进行分析，以确定是否需要或希望在该区域中进行串扰消除。例如，在未消除的串扰局限于非常小的区域或者仅在非常短的时间内（例如在视频的情况下，在视频中仅针对一帧或者仅针对几个连续帧）发生的情况下，未消除的串扰不产生明显的图像假象。对于由块304选择的区域，处理在块305、块306和块307处继续，块305确定要添加到每个区域的底空间的量，块306通过亮度的相加和/或通过按比例确定增加用于减法串扰消除的底空间，块307向另一视图中的相应区域添加底空间。在一些实施例中，针对每个区域单独确定加上的亮度或按比例确定的量。可以忽略在块304处未选择的区域。在块308处进行减法串扰消除，并且在块310处显示图像。

有利的是使增加的亮度平滑地变化。例如，在局部区域周围的边界区域中，添加的亮度可以从零缓慢递增到添加到局部区域的量。在图像具有多个要进行处理以改善减法串扰消除的局部区域的情况下，可以对局部区域中的不同的区域应用不同的加上的亮度和/或按比例确定的量。

这里，i(x,y)表示图像的红、绿和蓝色通道中的任意一个。可以向所有通道添加相同的信号α(x,y)以避免像素颜色改变太多。可以分别针对左眼视图和右眼视图生成单独版本的α(x,y)。为了针对局部区域构造这些信号，可以确定该局部区域中的完全减法串扰消除需要多少底空间，然后生成将充分提高亮度以用于有效的串扰消除的平滑信号。

可以基于计算出的视图中每个像素需要提高的量R_K来识别可能希望进行改善串扰消除的处理的局部区域，以提供用于串扰消除的足够的底空间。R_K可以由下式给出：

R_K(x,y)＝max(0,c×I_C,K(x,y)-I_S,K(x,y))    (18)

其中，下标S指示被考虑的“信号”视图，下标C指示作为在显示图像时对该信号视图添加的串扰的源的“串扰”视图，下标K指示颜色通道（其例如可以是红、绿和蓝之一）。因为任何负值指示信号视图已经具有用于减法串扰消除的足够的亮度，因此式(18)中结果被“max”函数箝位（clip）为零。

识别局部区域可以基于经修正的版本的R_K，其中，将小于阈值的值设置为零。阈值例如可以基于最大显示亮度。在范例实施例中，将小于最大显示亮度的1%的值设置为零。

例如可以通过用小掩模腐蚀（eroding）和膨胀（dilating）R_K来去除在视觉上较不明显的小区域。例如，可以使用8像素的圆形掩模来去除小区域。

例如可以通过将R_K(x,y)（如通过任何预处理修正后的）划分为多个连接的区域来识别要进行处理以改善串扰消除的局部区域。这例如可以用二值标记算法（binary labeling algorithm）来进行。在R.M.Haralick和L.G. Shapiro.Computer and Robot Vision,Volume I.Addison-Wesley，1992,pp.40-48中描述了合适的示例二值标记算法，通过引用将其合并于此。

对于这些局部区域中的每个，可以添加使亮度平滑改变的补丁，该补丁具有局部区域中的像素的最大值，并且在周围像素的区域内基于其与该局部区域的距离而逐渐减小。作为一个示例，可以如下计算要对一个局部区域添加的亮度补丁：

${\mathrm{\α}}_j(x,y)=M_j\×\max (0,\frac{w-d(x,y)}{w})---\left(19\right)$

其中，下标j是所考虑的局部区域的标签，M_j是局部区域j中的R_K的最大值，w是局部区域j外部的过渡区域的宽度，而d是x,y处的像素与局部区域j的距离（对于局部区域j内的像素d=0）。图4是通过一个局部区域402的中心的通过示例平滑改变的α(x,y)的截面的曲线400。在区域402内，α(x,y)具有恒定值403。在边界或者“过渡”区域404（在图4中示出了过渡区域404的部分404A和404B），α(x,y)从值403开始平滑地（并且在该示例中为线性地）递减。

对于HD分辨率视频，合适的过渡宽度（w）是200个像素。更大的宽度将导致过渡较不明显，并且还使图像的较大部分具有较低的对比度。

还可以使用其它形式的α(x,y)。例如，不强制α(x,y)随着与局部区域j的距离线性地减小。代替地，α(x,y)可以根据诸如高斯或者S形（sigmoid）函数、多项式函数、样条曲线等的可选函数平滑地减小。也不强制α(x,y)在整个局部区域j具有相同的值403。代替地，α(x,y)可以在局部区域j内部和缓地达到峰值或者以其它某种平滑的方式改变。

可以基于局部区域内的每个像素需要提高以提供用于串扰消除的足够的底空间的量R_K来确定α(x,y)。可以针对每个颜色通道执行式(18)。α(x,y)可以基于R_K在所有颜色通道上在局部区域上的最大值。可以对局部区域中的所有颜色通道添加相同的信号α(x,y)。可以对不同的局部区域添加不同量的亮度。

在对一个视图的局部区域添加亮度的情况下，应当对另一视图的相应局部区域添加相同的亮度，以防止网膜竞争（retinal rivalry）。识别另一视图中的相应局部区域可以考虑估计视图之间的不一致。例如，在一个实施例中，识别另一视图中的相应局部区域包括：计算针对一个视图确定的局部区域的质心，然后进行块匹配以估计视图之间在局部区域的质心处的不一致。可以使用相对大的块大小（例如16个像素）来进行块匹配。

可以通过对另一视图添加在x方向上偏移了所估计的不一致的α(x,y)的副本，来生成对另一视图中的相应局部区域添加的亮度。图5A和5B示出了这一点。在图5A中，示出了针对左图像和右图像中的各个局部区域的补丁α_j(x,y)。在图5B中，对每个视图添加与来自另一视图的补丁相对应并且偏移了所估计的不一致的附加补丁。

进行两次这里描述的整个过程，一次将左视图视为信号（S）而将右视图视为串扰（C）的源，一次将右视图视为信号而将左视图视为串扰（C）的源。为了生成将对每个图像添加的最终亮度，可以取覆盖任意像素(x,y)的所有各个补丁α(x,y)的最大值。图5C中示出了这样的示例。

对输入图像添加平滑的最终亮度信号，然后可以应用减法串扰消除（例如关于式(4)和(5)所描述的）。如果需要或者希望，则可以将最终图像从线性空间转换到伽马编码空间，或者变换为希望的图像格式和/或颜色模型表示。

在图像是视频序列中的帧的情况下，则可以进行时间滤波以减少由于亮度补丁的出现和消失而导致的闪烁。此外，可以可选地去除短持续时间的补丁。在一些实施例中，使亮度补丁逐渐淡入和淡出。例如，在亮度补丁α(x,y)在特定视频帧中第一次出现的情况下，则可以对紧接在特定视频帧之前的一系列视频帧添加α(x,y)的一系列衰减副本。在亮度补丁α(x,y)在特定视频帧中最后一次出现的情况下，则可以对紧接在特定视频帧之后的一系列视频帧添加α(x,y)的一系列衰减副本。衰减副本可以使补丁α(x,y)线性地向上或者根据某种其它函数递增。

图6中示出用于对视频数据进行处理以使亮度补丁淡入或淡出的方法600。在块602中，对在时间上相邻的帧中的区域进行匹配。这例如可以通过以下方式进行：在第一帧处开始前进通过视频中的每个帧，每次将提供亮度补丁的局部区域与下一帧中的相应局部区域进行匹配。匹配可以包括：对于帧N中的每个局部区域，将质心与帧N+1中的局部区域的质心进行比较。如果帧N中的局部区域的中心与帧N+1中的局部区域的中心之间的距离小于阈值量（例如小于某数量的像素），则将局部区域视为匹配并且“链接”在一起。如果多于一个局部区域满足匹配标准，则可以链接最佳匹配局部区域。最佳匹配可以基于中心距离和/或局部区域的大小和形状。例如，可以链接中心到中心距离最近的匹配局部区域。

链接可以通过提供数据结构来实现，该数据结构标识每一帧中的局部区域并且针对每个帧包括指向下一帧和前一帧中的任意匹配局部区域的指针。

在可选块603中，丢弃具有非常短的持续时间的局部区域。观看者不太可能注意到在短时间内出现的串扰。为了实现这一点，块603可以是由一组链接的局部区域覆盖的帧的数量（不计任何复制的区域）。如果一组在时间上链接的区域的计数小于阈值（例如对应于1/2秒或一秒的帧数量，诸如30 fps视频的30个帧），则可以删除该组中的所有局部区域。

如果在帧N+1中没有找到针对帧N中的局部区域的匹配，则一些实施例对帧N+1中的局部区域进行复制。在方法600中，块604执行该功能。该复制可以用于如下目的中的一个或两个：允许局部区域的亮度补丁淡出，由此防止亮度的在视觉上明显的突然跌落；以及填充在一个或更多个帧中未检测到、但是在稍后的帧中检测到的局部区域中的时间间隙。块605在最后链接的区域之后应用淡出。当将亮度补丁从帧N复制到帧N+1中时，Mj的值可以小量地减小，使得亮度补丁随着时间淡出。例如，范例实施例将亮度补丁的副本中的Mj减小每一帧中的显示亮度的0.1%。这使得典型的亮度补丁在2-3秒中淡出。

块608识别在不位于视频的开头的帧中第一次出现的局部区域。为了防止亮度在局部区域首次出现时突然跳变，块609对应用于这些局部区域的亮度补丁应用淡入。实现这一点的一种方式是进行通过帧的经过，检查帧N中没有到帧N-1中的相应局部区域的后向链接的局部区域。如果找到了任何这种局部区域，则可以将亮度补丁的副本添加到之前的帧中，首先添加到帧N-1中，然后到N-2中等等。每次复制亮度补丁时，可以小量减小Mj的值，使得在播放视频时亮度补丁将淡入。

与在上面讨论的淡出的情况下相同。可以将亮度补丁的每个副本相对于下一帧中的副本降低或衰减诸如显示亮度的0.1%的小的量，以实现例如几秒（例如在一些实施例中为2-3秒）的渐变过渡时间。

为了防止闪烁，应用时间滤波以确保量Mj在帧之间是一致的，并且随着时间缓慢地改变。例如，可以对添加的亮度补丁应用具有0.5Hz的截止频率的低通滤波器以消除视频中的闪烁（基于人的视觉系统的瞬时频率响应）。在示例实施例中，随着时间对每个区域的Mj的值应用具有0.5Hz的截止频率的80抽头低通滤波器。在滤波之后，针对每个局部区域使用式(19)中的经时间滤波的Mj的值创建亮度补丁。在图6中，在块610中进行时间滤波。

如上所述，相应地一旦针对一个视图建立了一个或更多个亮度补丁，则可以创建相应的亮度补丁以用于添加到另一视图。这可以通过针对每个局部区域使用块匹配进行不一致搜索，并且对另一视图应用相应亮度补丁的偏移版本来进行。为了节省计算量，可以使用先前帧中的区域的不一致作为初始估计值，对于大多数帧使用较小不一致搜索（并且例如搜索+/-2个像素）。可以通过取覆盖像素的所有补丁的最大值来获得对每个视图添加的最终亮度。然后对每个视图添加适当的最终图像。然后可以进行减法串扰消除。在图6中，在块611中进行串扰消除。在块612中显示获得的3D图像。

图7A示出了在使用如这里所描述的方法时在10秒的视频过程中添加的补丁的强度。为了进行比较，图7B示出了单独针对每个帧计算的补丁的强度。如图7B所示，单独针对每个帧确定的补丁可能帧与帧之间完全不一致。有时未在每一帧中检测到应当应用处理以便于进行串扰消除的局部区域。在一个或两个帧中仅检测到几个局部区域。这在输出视频中产生烦人的非常明显的闪烁。

通过对比，如图7A所示，如这里所描述的方法给出了平滑得多的时间过渡，并且降低或避免了闪烁。

可以实时地或者在非实时的预处理步骤中进行如这里所描述的方法。例如可以在3D计算机显示器、3D电视和3D影院显示中应用这些方法。

在接收到信号时实时对信号应用处理的一些实施例中，当检测到不在先前帧中的新的局部区域时，在该帧的起始处开始针对新区域的淡入。由于在淡入时间期间串扰可能产生可见的效果，因此可以使用相对快速的淡入。

如这里所描述的方法可以被适配为适合于式(2)和(3)所例示的线性模型之外的串扰模型。为了使用不同的串扰模型，可以根据串扰模型使用给出补偿来自另一视图的串扰所需的光的最小量的函数来计算R_K。串扰模型例如可以提供非线性串扰、在不同的颜色通道中不同量的串扰和/或在空间上改变的串扰。

例如可以在显示器或者显示器的驱动器中、在附着的用于驱动3D显示器的计算机中、在视频播放器或者媒体播放器中、在3D数字影院投影仪等中，设置被配置为执行如这里所描述的方法的设备。该设备可以是独立的或者与显示器集成。在一些实施例中，该设备被配置为获得显示器中的表征串扰的信息，并且基于表征显示串扰的信息对图像数据进行处理以用于在显示器上显示。该设备可以被配置为例如从显示器本身或者例如从在线数据库获得表征串扰的信息。

这里描述的系统和模块可以包括适合于这里描述的目的的软件、固件、硬件或者其任意组合。系统或者模块可以执行一个或更多个功能，一个软件、固件或者硬件可以执行一个或更多个系统或模块的功能。系统和模块可以驻留在诸如服务器、工作站、个人计算机、计算机化的平板电脑、个人数字助理（PDA）的通用计算机以及适合这里描述的目的的其它设备。相关领域技术人员将理解，可以通过其它通信、数据处理或者计算机系统配置来实现系统的各方面，这些通信、数据处理或者计算机系统配置包括：因特网设备、手持设备（包括PDA）、可佩戴计算机、所有方式的蜂窝电话或移动电话、多处理器系统、基于微处理器的或者可编程消费电子设备、机顶盒、网络PC、迷你计算机、大型计算机等。实际上，通常这里可互换地使用术语“计算机”、“服务器”、“主机”、“主机系统”等，这些术语是指上述设备和系统中的任意一个以及任意数据处理器。此外，可以在被特定地编程、配置或构造为执行这里详细说明的计算机可执行指令中的一个或更多个的特殊用途计算机或数据处理器中实施系统的各方面。

本发明的特定实施方式包括执行软件指令的计算机处理器，软件指令使处理器执行本发明的方法。例如，驱动3D显示器的计算机、3D投影仪、3D显示器、图形卡、连接以用于驱动3D投影仪或显示器的源单元、有线电视系统的机顶盒或者其它数据分配系统等中的一个或更多个处理器，可以通过执行处理器可访问的程序存储器中的软件指令来实施这里所描述的方法。还可以以程序产品的形式提供本发明。程序产品可以包括任意非易失性介质，其承载一组计算机可读信号，该计算机可读信号包括指令，当由数据处理器执行该指令时，使数据处理器执行本发明的方法。根据本发明的程序产品可以是很多种不同的形式中的任意种。程序产品例如可以包括诸如包括软盘、硬盘驱动器的磁数据存储介质、包括CD ROM、DVD的光学数据存储介质、包括ROM、闪速RAM等的电子数据存储介质等的物理介质。可以可选地对程序产品上的计算机可读信号进行压缩或者加密。

可以将本技术的示例存储或者分布在计算机可读介质上，计算机可读介质包括磁或光学可读计算机盘、硬配线或预编程芯片（例如EEPROM半导体芯片）、纳米技术存储器、生物存储器或者其它数据存储介质。实际上，可以在一段时间内在因特网上或者在其它网络（包括无线网络）上、在传播介质（例如电磁波、声波等）上的传播信号上分发用计算机实施的指令、数据结构、屏幕显示和系统的方面的其它数据，或者可以在任意模拟或数字网络（包切换、电路切换或者其它方案）上提供它们。

在将部件（例如组件、设备等）称为上述内容的情况下，除非另外指出，否则对该部件的引用（包括对设备的引用）应当被解释为作为该部件的等同物，包括执行与所描述的部件相同的功能的任意部件、包括结构上不等同于所公开的执行所示出的本发明的示例性实施例的功能的结构的部件。

按照给定顺序呈现了处理、方法、列表等。可以按照不同的顺序执行可选示例，可以删除、移动、添加、细分、组合和/或修改一些元素，以提供替选或者子组合。可以以各种不同的方式实现这些元素中的每个。此外，虽然有时示出串行执行元素，但是可以代而并行执行它们，或者可以在不同的时间执行它们。一些元素可能具有条件性，为了简要而没有示出这一点。

除非上下文清楚地需要其它情况，否则在全部说明书和权利要求中，应当以涵盖性的意义，也就是说，以“包括、但不限于”的意义，解释词语“包括”、“包含”等。如这里所使用的，术语“连接”、“耦合”或者任意其变化意为两个或更多个元素之间的直接或非直接的任意连接或耦合；元素之间的耦合或连接可以是物理的、逻辑的或者其组合。另外，词语“这里”、“上面”、“下面”和类似含义的词语应当是指本文的整体，而不是指任何特定部分。在上下文允许的情况下，使用单数或复数的词语也可能分别包括复数或者单数。关于两个或更多个项目的列举的词语“或者”覆盖以下所有对该词语的解释：列表中的项目中的任意一个；列表中的所有项目；以及列表中的项目的任意组合。

虽然上面讨论了多个示例性方面和实施例，但是本领域技术人员将意识到特定变形、排列、附加及其子组合。因此，旨在将下面所附的权利要求以及之后引入的权利要求解释为包括所有这些变形、排列、附加和子组合，如在其真实精神和范围内。

Claims (31)

1.一种用于准备3D图像的方法，所述3D图像包括用于显示的左眼视图和右眼视图，所述方法包括：

基于图像数据确定为允许完全减法串扰消除而增大像素值的量；

确定所述量的最大值；

通过以基于所述最大值而在量上进行的加法或按比例确定中的一个或两个，全局地增大所述像素值。

2.根据权利要求1所述的方法，其中，所述3D图像包括视频序列中的视频帧，并且所述方法包括：对所述最大值或根据所述最大值得出的量应用时间低通滤波器。

3.根据权利要求2所述的方法，其中，所述时间滤波器包括双向滤波器。

4.根据权利要求1至3中任一项所述的方法，其中，确定增大像素值的量包括计算：

R_K(x,y)＝max(0,F(I_C,K(x,y))-I_S,K(x,y))

其中，R_k是增大位于位置(x,y)的像素的量，F()是串扰函数，I_S,K是所述图像的一个视图中的像素的颜色通道K的值，I_C,K是所述图像的另一视图中的像素的颜色通道K的值。

5.根据权利要求4所述的方法，其中，F()包括与串扰因子c相乘。

6.根据权利要求1至5中任一项所述的方法，其中，全局地增大所述像素值包括：对具有单独的亮度通道和色度通道的颜色模型中的亮度通道中的值全局地进行按比例确定和/或相加。

7.根据权利要求6所述的方法，其中，所述颜色模型包括YCbCr颜色模型。

8.一种用于准备3D视频图像的方法，所述3D视频图像包括用于显示的一系列帧中的每个帧的左眼视图和右眼视图，所述方法包括：

识别视图中的像素值过小而不允许完全减法串扰消除的局部区域；

确定加到所述局部区域的亮度补丁的强度；

对所述强度进行时间低通滤波；以及

根据经时间滤波的强度生成所述亮度补丁。

9.根据权利要求8所述的方法，包括：对于所述亮度补丁中的每个，生成用于另一视图的相应亮度补丁。

10.根据权利要求9所述的方法，其中，生成相应亮度补丁包括：定位所述亮度补丁的中心；进行块匹配以估计所述视图之间在与所述局部区域的中心相对应的位置处的不一致；以及把在x方向上偏移了所估计的不一致的所述亮度补丁的副本加到所述另一视图上。

11.根据权利要求8所述的方法，包括：对与所述亮度补丁相关联的最后一帧之后的帧中的每个亮度补丁加上淡出。

12.根据权利要求8所述的方法，包括：对与所述亮度补丁相关联的第一帧之前的帧中的每个亮度补丁加上淡入。

13.根据权利要求10所述的方法，其中，使用16个像素或更大的块大小进行所述块匹配。

14.一种用于准备3D视频图像的方法，所述3D视频图像包括用于显示的一系列帧中的每个帧的左眼视图和右眼视图，所述方法包括：

识别视图中的像素值过小而不允许完全减法串扰消除的局部区域；

确定加到所述局部区域的亮度补丁的强度；

链接跨所述视频图像的帧的相应局部区域，以提供一个或更多个系列的链接局部区域；

识别所述系列的相应链接局部区域中的一个系列的第一链接局部区域；以及

把与所述第一链接局部区域相对应的淡入亮度补丁加到与所述第一链接局部区域相对应的帧之前的一系列帧上。

15.根据权利要求14所述的方法，包括：识别所述系列的相应链接局部区域中的所述一个系列的最后的链接局部区域；以及把与所述最后的链接局部区域相对应的淡出亮度补丁加到接在与所述最后的链接局部区域相对应的帧之后的一系列帧上。

16.一种非易失性介质，其承载一组计算机可读信号，所述计算机可读信号包括指令，当被数据处理器执行时，所述指令使所述数据处理器执行根据权利要求1至15中任一项所述的用于准备3D图像的方法。

17.一种用于准备3D图像的设备，所述3D图像包括用于显示的左眼视图和右眼视图，所述设备包括：

用于对图像数据进行处理以确定为允许完全减法串扰消除而增大像素值的量的装置；

用于确定所述量的最大值的装置；

用于通过以基于所述最大值而在量上进行的加法或按比例确定中的一个或两个来全局地增大所述像素值的装置。

18.根据权利要求17所述的设备，其中，所述3D图像包括视频序列中的视频帧，并且所述设备包括：用于对所述最大值或根据所述最大值得出的量应用时间低通滤波器的装置。

19.根据权利要求18所述的设备，其中，所述时间滤波器包括双向滤波器。

20.根据权利要求17至19中任一项所述的设备，其中，用于对图像数据进行处理以确定增大像素值的量的装置被配置为计算：

R_K(x,y)＝max(0,F(I_C,K(x,y))-I_S,K(x,y))

其中，R_k是增大位于位置(x,y)的像素的量，F()是串扰函数，I_S,K是所述图像的一个视图中的像素的颜色通道K的值，I_C,K是所述图像的另一视图中的像素的颜色通道K的值。

21.根据权利要求20所述的设备，其中，F()包括与串扰因子c相乘。

22.根据权利要求17至21中任一项所述的设备，其中，用于全局地增大所述像素值的装置包括：用于对具有单独的亮度通道和色度通道的颜色模型中的亮度通道中的值全局地进行按比例确定和/或相加的装置。

23.根据权利要求22所述的设备，其中，所述颜色模型包括YCbCr颜色模型。

24.一种用于准备3D视频图像的设备，所述3D视频图像包括用于显示的一系列帧中的每个帧的左眼视图和右眼视图，所述设备包括：

用于识别视图中的像素值过小而不允许完全减法串扰消除的局部区域的装置；

用于确定加到所述局部区域的亮度补丁的强度的装置；

用于对所述强度进行时间低通滤波的装置；以及

用于根据经时间滤波的强度生成所述亮度补丁的装置。

25.根据权利要求23所述的设备，其中，用于生成所述亮度补丁的装置被配置为对于所述亮度补丁中的每个生成用于另一视图的相应亮度补丁。

26.根据权利要求24所述的设备，包括：用于定位所述亮度补丁的中心的装置；用于进行块匹配以估计所述视图之间与所述亮度补丁的中心相对应的位置处的不一致的装置；以及用于把在x方向上偏移了所估计的不一致的所述亮度补丁的副本加到对所述另一视图上的装置。

27.根据权利要求24所述的设备，包括：用于对与所述亮度补丁相关联的最后一帧之后的帧中的每个亮度补丁加上淡出的装置。

28.根据权利要求24所述的设备，包括：用于对与所述亮度补丁相关联的第一帧之前的帧中的每个亮度补丁加上淡入的装置。

29.一种用于准备3D视频图像的设备，所述3D视频图像包括用于显示的一系列帧中的每个帧的左眼视图和右眼视图，所述设备包括：

用于识别视图中的像素值过小而不能进行完全减法串扰消除的局部区域的装置；

用于确定加到所述局部区域的亮度补丁的强度的装置；

用于链接跨所述视频图像的帧的相应局部区域以提供一个或更多个系列的链接局部区域的装置；

用于识别所述系列的相应链接局部区域中的一个系列的第一链接局部区域的装置；以及

用于把与所述第一链接局部区域相对应的淡入亮度补丁加到与所述第一链接局部区域相对应的帧之前的一系列帧上的装置。

30.根据权利要求29所述的设备，包括：用于识别所述系列的相应链接局部区域中的所述一个系列中的最后的链接局部区域并且把与所述最后的链接局部区域相对应的淡出亮度补丁加到接在与所述最后的链接局部区域相对应的帧之后的一系列帧上的装置。

31.设置有根据权利要求17至30中任一项所述的设备的显示器、图形卡、3D投影仪、视频播放器、媒体播放器或3D数字影院投影仪。

Images