CN102082954B

CN102082954B - 图像处理装置、图像处理方法和程序

Info

Publication number: CN102082954B
Application number: CN201010557724.8A
Authority: CN
Inventors: 高桥修一; 石川贵规; 大桥功; 盐入谕
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-11-27
Filing date: 2010-11-22
Publication date: 2014-05-07
Anticipated expiration: 2030-11-22
Also published as: TW201142748A; US8660337B2; US20110129144A1; US20150294475A1; US9934575B2; US9098907B2; TWI476731B; US20140126807A1; EP2345993A3; KR20110059531A; KR101656887B1; JP2011113363A; CN102082954A; JP5397190B2; EP2345993A2

Abstract

本发明公开了图像处理装置、图像处理方法和程序。图像处理装置包括：深度信息提取装置，用于从输入的3D图像中提取深度信息；亮度提取装置，用于提取3D图像的亮度分量；对比度提取装置，用于基于亮度分量来提取3D图像的对比度分量；存储装置，用于存储指示基于人类的视觉特性确定的对比度分量与主观感知到的深度量之间的关系的性能函数；以及对比度调节装置，用于针对根据深度信息确定的所输入的3D图像的前侧区域和里侧区域中的至少一者，基于所述性能函数来从对比度分量计算所输入的3D图像的当前深度量，并且基于计算出的当前深度量和所设置的深度调节量来调节所输入的3D图像的对比度分量。

Description

图像处理装置、图像处理方法和程序

技术领域

本发明涉及图像处理装置、图像处理方法和程序，并且具体地涉及能够通过基于人类的视觉特性调节单眼3D信息的参数来提供对于人类来说具有较少的不适感和不舒服的感觉的3D图像的图像处理装置、图像处理方法和程序。

背景技术

作为在2D显示装置上显示2D图像并且使得观看者能够将该2D图像感知为3D图像的方法，已存在分别向观看者的左眼和右眼呈现其中设置了两眼视差(左眼和右眼之间的视差)的用于左眼的2D图像和用于右眼的2D图像的方法。

作为用于使人能够感知到物体的立体感效果和深度的信息，存在关于两只眼睛的两眼3D信息和关于单只眼睛的单眼3D信息。人通过组合单眼3D信息和两眼3D信息来感知物体或空间的立体感效果和深度。作为两眼3D信息，例如，可以举出两眼视差、水平会聚等例子。作为单眼3D信息，例如，可以举出阴影、对比度、色彩、空间频率、遮蔽关系等例子。

当希望在2D显示装置上显示2D图像并且使得观看者能够将2D图像感知为3D图像的情况中增强立体感效果和深度时，例如，可以考虑增加作为两眼3D信息之一的两眼视差的方法。

然而，鉴于人类的眼睛结构和视觉特性，增加两眼视差具有下面的问题。即，人的眼球通常处于平行或稍微向内会聚的状态，因此，当两眼视差被增加为大于瞳孔之间的距离时，眼球处于发散(divergence)状态，在该状态中，两只眼睛被引导向外侧。瞳孔之间的距离取决于年龄或性别而不同，因此，瞳孔之间的距离小于正常距离的人易于处于发散状态。

在现实世界中，两只眼睛的视线被引导至注视点并且眼睛的焦点在该点处被获得，因此，眼球的会聚距离对应于其调节距离。然而，当允许观看者通过用于左眼的2D图像和用于右眼的2D图像来感知3D图像时，会聚可被调节到被感知为3D图像的位置上，而调节被集中在图像显示表面上，因此，眼球的会聚距离不与其调节距离相对应。因此，通过增加两眼视差来强调立体感效果和深度会将眼球的会聚距离和调节距离改变到彼此不对应的方向上，这可能使观看者感觉不自然或者感觉到不舒适和视觉疲劳。

为了减少不舒服的感觉和视觉疲劳，提出了调节两眼视差的方法。例如，在日本专利No.3749227(专利文献1)所提出的方法中，两眼视差被设为不同值的多个样本图像被呈现，并且允许对所呈现图像是否被准许做出应答，以调节两眼视差。

然而，当希望减少观看者的不舒服的感觉和视觉疲劳时，两眼视差基本上被调节到减小立体感效果和深度的方向上，因此，临场感和真实性减小。另外，当通过两眼3D信息感知到的立体感效果和深度与根据单眼3D信息感知到的立体感效果和深度不同时，观看者可能感觉到不自然。

因此，通过增加两眼视差来增强3D图像的立体感效果深度感是不太可取的。

另一方面，还提出了利用单眼3D信息增强立体感效果和深度感的方法。例如，在JP-A-2001-238231(专利文献2)中，提出了根据图像中的物体的深度位置来改变阴影、遮蔽关系和模糊状态的特性从而增强深度感的方法。

发明内容

然而，在专利文献2中，并未具体公开应当基于何种计算公式将何种参数设置为何值。即使通过试错设置了值，也无法确认所获得的用于左眼的2D图像和用于右眼的2D图像是自然的且对于人类来说是舒服的，相反，它们可能使观看者感觉到不自然或不舒服或者它们可能引起视觉疲劳。

鉴于上面的状况，希望通过基于人类的视觉特性调节单眼3D信息的参数来提供对于人类来说具有较少不适感和不舒服的感觉的3D图像。

根据本发明的一个实施例，提供了一种图像处理装置，该装置包括：深度信息提取装置，用于从输入的3D图像中提取深度信息；亮度提取装置，用于提取3D图像的亮度分量；对比度提取装置，用于基于由亮度提取装置提取出的3D图像的亮度分量来提取3D图像的对比度分量；存储装置，用于存储性能函数，所述性能函数指示基于人类的视觉特性确定的、3D图像的对比度分量与主观感知到的深度量之间的关系；以及对比度调节装置，针对根据深度信息提取装置提取出的深度信息确定的所输入的3D图像的前侧区域和里侧区域中的至少一者，基于性能函数来根据对比度提取装置提取出的3D图像的对比度分量计算所输入的3D图像的当前深度量，并且用于基于计算出的当前深度量和所设置的深度调节量来调节所输入的3D图像的对比度分量，其中所述前侧区域和里侧区域指观察者所感觉到的所述3D图像相对于显示装置的位置。

根据本发明一个实施例，提供了一种图像处理装置的图像处理方法，该图像处理装置存储指示基于人类的视觉特性确定的、3D图像的对比度分量与主观感知到的深度量之间的关系的性能函数，并且执行对所输入的3D图像的深度感的调节，该方法包括如下步骤：从3D图像提取深度信息；提取3D图像的亮度分量；基于由所提取出的3D图像的亮度分量来提取3D图像的对比度分量；针对从所提取出的深度信息确定的所输入的3D图像的前侧区域和里侧区域中的至少一者，基于性能函数来根据所提取出的3D图像的对比度分量计算所输入的3D图像的当前深度量；并且基于计算出的当前深度量和所设置的深度调节量来调节所输入的3D图像的对比度分量，其中所述前侧区域和里侧区域指观察者所感觉到的所述3D图像相对于显示装置的位置。

根据本发明一个实施例，提供了一种允许计算机执行如下处理的程序：从所输入的3D图像提取深度信息，提取3D图像的亮度分量，基于由所提取出的3D图像的亮度分量来提取3D图像的对比度分量，针对从所提取出的深度信息确定的所输入的3D图像的前侧区域和里侧区域中的至少一者，基于指示基于人类的视觉特性确定的、3D图像的对比度分量与主观感知到的深度量之间的关系的性能函数，从所提取出的3D图像的对比度分量计算主观感知到的所输入的3D图像的当前深度量，并且基于计算出的当前深度量和所设置的深度调节量来调节所输入的3D图像的对比度分量。

根据本发明的实施例，深度信息从所输入的3D图像被提取，3D图像的亮度分量被提取，3D图像的对比度分量基于所提取出的3D图像的亮度分量而被提取，主观感知到的所输入的3D图像的当前深度量是针对从所提取出的深度信息确定的所输入的3D图像的前侧区域和里侧区域中的至少一者，基于指示基于人类的视觉特性确定的、3D图像的对比度分量与主观感知到的深度量之间的关系的性能函数，而从所提取出的3D图像的对比度分量计算出的，并且所输入的3D图像的对比度分量是基于计算出的当前深度量和所设置的深度调节量来调节的。

图像处理装置可以是独立的装置以及形成一个装置的内部块。

根据本发明的实施例，3D图像的深度感可以被增强。

同样，根据本发明的实施例，单眼3D信息的参数基于人类的视觉特性而被调节，从而提供对于人类来说具有较少不适感或不舒服的感觉的3D图像。

附图说明

图1是示出根据本发明第一实施例的图像处理装置的配置示例的框图；

图2示出了量化通过视觉试验获得的Michelson对比度C与通过对比度主观感知到的深度量D之间的关系而获得的性能函数；

图3是用于说明由图1的图像处理装置执行的对比度调节处理的流程图；

图4示出了当以第一数据格式提供时的3D图像的示例；

图5示出了通过可视化从3D图像提取出的深度信息而获得的深度图像的示例；

图6示出了通过提取亮度分量生成的亮度图像的示例；

图7示出了通过可视化通过提取各个空间频率分量获得的提取结果而获得的空间频率分量图像的示例；

图8是示出根据本发明第二实施例的图像处理装置的配置示例的框图；

图9是用于说明由图8的图像处理装置执行的对比度调节处理的流程图；以及

图10是示出根据本发明实施例的计算机的配置示例的框图。

具体实施方式

下面，将描述用于实现本发明的方式(在下面的描述中称为实施例)。将按下面的顺序进行说明。

1.第一实施例(通过调节对比度来改变深度感的实施例)

2.第二实施例(能够在反映用户的偏好的同时调节对比度的实施例)

<1.第一实施例>

[图像处理装置的配置框图]

图1示出了根据本发明第一实施例的图像处理装置的配置示例。

图像处理装置1包括图像输入单元11、深度信息提取单元12、亮度提取单元13、空间频率提取单元14、对比度提取单元15、存储器单元16、对比度调节单元17、图像处理单元18和图像输出单元19。

图像处理装置1执行相对于所输入的3D图像改变(调节)一3D图像的对比度以增强该3D图像的深度感的处理。这里，3D图像指示用于允许观看者感知到3D图像的2D图像。

图像输入单元11接收来自外面的3D图像并且将所输入的3D图像提供给深度信息提取单元12和亮度提取单元13。从外面输入的3D图像存在各种类型的数据格式，然而，数据格式是无关紧要的。作为3D图像的数据格式，例如，存在第一数据格式、第二数据格式和第三数据格式等，在第一数据格式中，图像被提供为包括用于左眼的图像和用于右眼的图像的立体图像，在第二数据格式中，图像被提供为包括三个或更多个视点(viewpoint)图像的多视点图像格式，在第三数据格式中，图像被提供为2D图像及其深度信息的格式。在下面的描述中，当词语“图像”或“亮度图像”被用作处理对象时，该词语表示第一数据格式的分别用于左眼和右眼的图像、第二数据格式的相应的多个视点图像，以及第三数据格式的被提供有深度信息的2D图像。

深度信息提取单元12从自图像输入单元11提供来的3D图像中提取深度信息。具体地，当3D图像以第一数据格式被输入时，深度信息提取单元12计算立体图像中的相应点的像素偏差(misalignment)，即，两眼视差，并且基于计算出的两眼信息来近似计算深度信息。可以利用诸如块匹配方法和DP匹配方法之类的方法来计算两眼视差。

当3D图像以第二数据格式输入时，深度信息提取单元12相对于三个或更多个视点图像中的相应两个视点图像来计算两眼视差，并且根据计算出的两眼视差来近似计算深度信息。

此外，当3D图像以第三数据格式输入时，由于直接提供了深度信息，因此深度信息提取单元12提取被提供来的深度信息。

深度信息提取单元12将从3D图像提取出的深度信息提供给对比度调节单元17。深度信息被用作用于指定对对比度进行调节的处理区域的信息。

在本实施例中，如上所述，作为从中提取深度信息的处理对象的3D图像被从图像输入单元11提供给深度信息提取单元12，然而，作为亮度提取单元13的处理结果的3D图像被提供给深度信息提取单元12也是可取的。

亮度提取单元13提取从图像输入单元11提供来的3D图像的亮度分量。例如，当提供来的图像是由RGB色彩系统中的线性RGB值表示的时，亮度提取单元13通过由ITU-R BT709规定的下式(1)来将这些值转换为亮度Y，从而提取出3D图像的亮度分量。

Y＝0.2126R+0.7152G+0.0722B...(1)

由各个像素的亮度值Y形成的图像被称为亮度图像。不总是需要用包括RGB值(RGB信号)的格式来表示图像，并且当图像由CIE XYZ色彩系统中的XYZ值表示时，由亮度值Y形成的图像被称为亮度图像。可以通过利用式(1)的方法以外的方法来计算(提取)亮度值。

空间频率提取单元14提取3D图像的给定空间频率分量。为了提取空间频率分量，例如，可以应用使用Gabor滤波器的方法。Gabor滤波器在视觉系统中来近似信号响应特性，并且该滤波器的函数g(x，y，λ，θ，ψ，σ和γ)由式(2)表示。

g (x, y, λ, θ, ψ, σ, γ) = \exp (- \frac{{(x \cos θ + y \sin θ)}^{2} + γ^{2} {(- x \sin θ + y \cos θ)}^{2}}{{2 σ}^{2}}) \cos (2 π \frac{x \cos θ + y \sin θ}{λ} + ψ) \cdot \cdot \cdot (2)

在式(2)中，(x，y)表示亮度图像的坐标值，λ表示与空间频率相对应的波长，θ表示朝向(方向)，ψ表示相位，σ表示高斯分布的离差(dispersion)，并且γ表示高宽比。在此情况中，空间频率由进入人眼的1度视角内的白色和黑色的色调(tint)变化(对比度)来定义，并且其单位为“cpd(cycles per degree，每度的周期数)”。

例如，空间频率提取单元14通过将λ为1cpd的波长的式(2)的Gabor滤波器函数g(x，y，λ，θ，ψ，σ和γ)与亮度提取单元13所提取的亮度图像的亮度值Y相卷积，来提取亮度图像中具有1cpd的空间频率分量的区域。当亮度图像中的2cpd和4cpd的空间频率分量被提取时，可以通过将λ为2cpd或4cpd波长的Gabor滤波器函数g(x，y，λ，θ，ψ，σ和γ)与亮度图像的亮度值Y相卷积来计算这些区域。

即，通过将λ为给定空间频率的波长的式(2)的Gabor滤波器函数g(x，y，λ，θ，ψ，σ和γ)与亮度提取单元13所提取的亮度图像的亮度值Y相卷积，发现了哪个空间频率分量被包括在亮度图像的哪个区域中。

作为提取亮度图像中具有给定空间频率分量的区域的方法，可以应用上述方法以外的其它方法，只要通过该方法可以发现哪个空间频率分量被包括在亮度图像的哪个区域中即可。例如，可以利用傅里叶变换等来提取空间频率分量。然而，在傅里叶变换中可以获得要被变换的整个亮度图像(区域)的空间频率分量，因此，难以提取各个区域中的空间频率分量，除非通过将亮度图像划分为给定区域来执行傅里叶变换。另一方面，当使用Gabor滤波器时，对于要被处理的整个亮度图像，一次性地发现了哪个空间频率分量被包括在哪个区域中。

当将要在对比度调节单元17中应用的性能函数(performancefunction)根据给定的空间频率被改变时，空间频率提取单元14提取空间频率的处理是必要的。因此，当在对比度调节单元17中同一性能函数被应用于整个亮度图像时，空间频率提取单元14可以省略。

对比度提取单元15通过利用在亮度提取单元13中提取的3D图像的亮度分量来提取3D图像的对比度分量。

具体地，对比度提取单元15确定水平和垂直方向上的n×m(n，m≥2)个像素的区域作为用于提取对比度分量的单位。然后，对比度提取单元15将处理单位区域在光栅扫描方向上从亮度图像的左上端移动给定数目的像素，从而计算多个处理单位区域的Michelson对比度C。

Michelson对比度C由式(3)定义。

C = \frac{L_{\max} - L_{\min}}{L_{\max} + L_{\min}} \cdot \cdot \cdot (3)

在式(3)中，L_max表示处理单位区域中的亮度值Y的最大值，并且L_min表示处理单位区域中的亮度值Y的最小值。

处理单位区域的大小不被具体限制，然而，最优大小可从视角与像素数目之间的关系来确定。

移动处理单位区域时的移动量(像素数目)也不被具体限制，而是可以随意确定。各个处理单位区域可以被设置为使得其部分相重叠，或者可以以平铺图案来设置以便不重叠。在注重精度的情况中，即，在调节对比度以获得更平滑图像的情况中，处理单位区域可以逐个像素地移动。

对比度提取单元15将计算出的各个处理单位区域的Michelson对比度C作为3D图像的对比度分量与亮度图像一起提供给对比度调节单元17。

存储器单元16存储通过对深度量D(也称为主观深度量D)与Michelson对比度C之间的关系进行量化而获得的性能函数，所述深度量D是通过由视觉试验获得的对比度主观感知到的。

[Michelson对比度C与主观深度量D之间的关系]

图2示出了通过量化由视觉试验获得的Michelson对比度C与在此时获得的主观深度量D之间的关系而获得的性能函数，这些性能函数是以Michelson对比度的对数轴作为水平轴并且以主观深度量D作为垂直轴来绘制的。Michelson对比度C的单位为[％]，并且主观深度量D的单位为(arcmin：弧分)。

在图2中，方块(□)表示空间频率为0.5cpd、1cpd和2cpd的亮度图像中的Michelson对比度C与主观深度量D之间的关系。菱形表示空间频率为4cpd和8cpd的亮度图像中的Michelson对比度C与主观深度量D之间的关系。

在主观深度量D中，当观看者感觉到显示在显示装置上的物体存在于显示装置上时，值为0[arcmin]。如图所示，当主观深度量D为正值时，观看者感觉到物体存在于离显示装置该值远的前方位置处，并且当主观深度量D为负值时，观看者感觉到物体存在于显示装置的里侧位置处。

例如，方块(□)的绘图存在于Michelson对比度C为5[％]并且主观深度量D大约为0[arcmin]的位置处。方块(□)的绘图还存在于Michelson对比度C大约为25[％]并且主观深度量D大约为30[arcmin]的位置处。这些值的示例表明，当Michelson对比度C为5[％]的物体改变为Michelson对比度C大约为25[％]的物体时，观看者的主观深度量D从大约0[arcmin]改变为大约30[arcmin]。即，示出了当物体的Michelson对比度C从5[％]改变为25[％]时，观看者感知到图像中的物体存在于比改变之前的位置近大约30[arcmin]的位置处。

在Michelson对比度C与主观深度量D之间存在单调增加关系，其中，主观深度量D随着Michelson对比度C的增加而增加，如图2所示。换言之，存在这样的关系，其中，主观深度量D几乎与Michelson对比度C的对数成比例。

因此，可以通过用如下性能函数执行近似，来表示出Michelson对比度C与主观深度量D之间的关系，所述性能函数使用对数D＝A×log(C)+B(A、B是常数)。具体地，当针对0.5cpd、1cpd、2cpd、4cpd和8cpd的所有空间频率分量的数据来计算残差(residual)最小时的D＝A×log(C)+B的参数A、B时，它们可以由式(4)来表示。

D＝18.04×log(C)-29.07 …(4)

即，在式(4)中，A＝18.04并且B＝-29.07。在图2中，式(4)由标着“对数函数”的虚线表示。

Michelson对比度C与主观深度量D之间的关系可以通过被应用于Naka-Rushton等式(性能函数)来表达，Naka-Rushton等式针对视觉系统的响应而使用的。Naka-Rushton等式可由下式(5)表示。

D = D_{amp} \times \frac{C^{n}}{C^{n} + {C_{50}}^{n}} + D_{\min} \cdot \cdot \cdot (5)

在式(5)中，D_amp、D_min、C₅₀和“n”是给定的常数，并且D_amp表示深度量的最大的最小宽度，D_min表示深度量的最小值，并且C₅₀表示当深度量为最大值与最小值之间的中间值时所获得的对比度值。

当针对由视觉试验获得的0.5cpd、1cpd、2cpd、4cpd和8cpd的所有空间频率的数据来计算Naka-Rushton等式的参数D_amp、D_min、C₅₀和“n”以使得残差最小时，则获得了式(6)。

D = 77.9 \times \frac{C^{1.09}}{C^{1.09} + {7.74}^{1.09}} - 30.5 \cdot \cdot \cdot (6)

即，在式(6)中，D_amp＝77.9m，D_min＝-30.5，C₅₀＝7.74并且“n”＝1.09。在图2中，式(6)用点划线表示。

例如，在某个亮度图像的Michelson对比度C为10[％]的情况中，当C＝10被代入式(6)时，主观深度量D为13.9[arcmin]。然后，为了使主观深度量D加倍，即，为了使该值为27.8[arcmin]，对式(6)的逆操作(reverse operation)被执行以使得该亮度图像的Michelson对比度C为20.9[％]。

可以根据给定的空间频率来区分将要应用的性能函数。例如，Naka-Rushton等式被应用为图2中的性能函数，并且当针对具有2cpd或更小的空间频率的亮度图像和具有高于2cpd的空间频率的亮度图像区分性能函数时，对于2cpd或更小的空间频率分量的数据，可以得到D_amp＝78.5，D_min＝-30.5，C₅₀＝9.93以及n＝1.23。另外，对于高于2cpd的空间频率分量的数据，可以得到D_amp＝58.5，D_min＝-30.5，C₅₀＝3.45以及n＝2.05。

即，式(7)的性能函数可被应用于具有2cpd或更小的空间频率的亮度图像，并且式(8)的性能函数可被应用于具有高于2cpd的空间频率的亮度图像。

D = 78.5 \times \frac{C^{1.23}}{C^{1.23} + {9.33}^{1.23}} - 30.5 \cdot \cdot \cdot (7)

D = 58.5 \times \frac{C^{2.05}}{C^{2.05} + {3.45}^{2.05}} - 30.5 \cdot \cdot \cdot (8)

返回图1，存储器单元16存储部分或所有的通过视觉试验获得的式(7)和式(8)对、式(6)以及式(4)。即，所有式(4)、式(6)以及式(7)和式(8)对被存储在存储器16中，并且可以根据需要被使用，或者可以仅预先被确定为将要应用的性能函数被存储。当由计算机执行计算时，在使用作为对数函数的式(4)时容易执行计算。另外，存储器单元16可以直接存储性能函数的等式，并且可以以LUT(查找表)的形式来存储性能函数。

3D图像的深度信息从深度信息提取单元12、3D图像的对比度分量从对比度提取单元15并且3D图像的空间频率分量从空间频率提取单元14分别被提供给对比度调节单元17。

对比度调节单元17改变(调节)亮度图像的Michelson对比度C以改变(调节)3D图像的深度感。如参考图2所说明的，在Michelson对比度C与主观深度量D之间存在单调增加关系，因此，当增强3D图像的深度感时，亮度图像的对比度分量可被调节为使得Michelson对比度C增加。

将说明这样的情况，其中，对比度调节单元17通过利用一个性能函数，例如式(6)的性能函数来对整个亮度图像改变(调节)亮度图像的Michelson对比度C，而不管空间频率如何。

例如，在亮度图像的某个处理单位区域的Michelson对比度C为10[％]的情况中，当C＝10被代入式(6)时，主观深度量D为13.9[arcmin]。然后，为了使主观深度量D加倍，即，为了使该值为27.8[arcmin]，对比度调节单元17可以将该处理单位区域中的Michelson对比度C改变(调节)为20.9[％]，其是10[％]的2.09倍。

用于确定主观深度量D与何值相乘的深度调节量被预先设置在对比度调节单元17中。为了使主观深度量D加倍，需要如下处理中的至少一者：将存在于亮度图像中前侧处的区域改变为更近的处理，以及将存在于亮度图像中里侧处的区域改变为更深的处理。即，改变对比度的方向在前侧区域与里侧区域中不同。从深度信息提取单元12提供来的深度信息用于将亮度图像分离为里侧区域和前侧区域。

对比度调节单元17基于从深度信息提取单元12提供来的深度信息确定3D亮度图像的里侧区域和前侧区域。这里，通过将图像划分为里侧区域和前侧区域而获得的区域的最小单位将与计算Michelson对比度C的对比度提取单元15所获得的处理单位区域基本上相等。

接下来，对比度调节单元17读取存储在存储器单元16中的式(6)的性能函数。然后，对比度调节单元17根据Michelson对比度C计算与包括在里侧区域和前侧区域中的所有处理单位区域有关的当前主观深度量D。有关调节对比度之后的处理区域的主观深度量D是根据计算出的主观深度量D和先前设置的深度调节量来确定的，因此，可以基于式(6)的性能函数来计算要设置的Michelson对比度C。即，对比度调节单元17基于图像的当前主观深度量D和深度信息来对所有处理单位区域计算当前的Michelson对比度C乘以何值。这里，假设计算出的Michelson对比度C的调节量为M倍(M＞0)，则当希望从调节后的图像主观感知到的深度量比当前图像大时，里侧区域中调节值M＜1并且前侧区域中M＞1。当希望从调节后的图像主观感知到的深度量比当前图像小时，里侧区域中调节值M＞1并且前侧区域中M＜1。

在上面的示例中，在前侧区域处图像中的给定处理单位区域中的当前主观深度量D被计算为13.9[arcmin]，并且发现，为使主观深度量D被改变为双倍，即改变为27.8[arcmin]，Michelson对比度C最好被近似加倍(M＝2.09)。

接下来，对比度调节单元17调节3D图像的对比度分量以使得Michelson对比度C被改变为针对里侧区域和前侧区域中包括的所有处理单位区域所计算出的M倍的值。

具体地，对比度调节单元17在亮度图像的每个处理单位区域中执行傅里叶变换，并且计算每个处理单位区域中所包括的频率分量的频谱强度。然后，对比度调节单元17调节每个处理单位区域中的各个频率分量的频谱强度以使得调节之后的每个处理单位区域的Michelson对比度C被改变为M倍的值。调节之后的每个处理单位区域中的各个频率分量的频谱强度被提供给图像处理单元18。

图像处理单元18基于对比度调节单元17的调节结果来生成调节对比度之后获得的亮度图像。具体地，图像处理单元18对调节之后的每个处理单位区域中的各个频率分量的频谱强度执行逆傅里叶变换，从而计算在调节每个处理单位区域之后获得的亮度图像。此外，图像处理单元18根据调节之后的各个处理单位区域中的亮度图像来生成调节对比度之后的亮度图像。即，当各个处理单位区域被设置为使得其部分相重叠时，可以对亮度图像的每个像素计算出调节之后的多个亮度值。因此，图像处理单元18通过将调节之后的多个亮度值的平均值用作调节之后的像素的亮度值来生成调节对比度之后的亮度图像。

图像输出单元19将图像处理单元18所生成的亮度图像转换为与输入到图像输入单元11中的图像相同的3D图像，并且将图像输出给后续级的设备(显示设备等)。在将由CIE XYZ色彩系统中的XYZ值表示的亮度图像改变为由RGB色彩系统中的RGB值表示的3D图像的情况中，可以通过下面的式子(9)至(11)来进行转换。

R＝3.2410X-1.5374Y-0.4986Z...(9)

G＝-0.9692X+1.8760Y+0.0416Z...(10)

B＝0.0556X-0.2040Y+1.0570Z...(11)

当输出3D图像时的数据格式被指定时，图像输出单元19可以在将3D图像的数据格式转换为指定格式之后输出该图像。

图1的图像处理装置1被如上所述那样配置。

在上面的示例中，3D亮度图像中的前侧区域的Michelson对比度C被增加并且里侧区域的Michelson对比度C被减小，从而增强深度感。然而，也可以通过仅增加前侧区域的Michelson对比度C而不改变里侧区域的Michelson对比度C来增强深度感。反之，可以通过仅减小里侧区域的Michelson对比度C而不改变前侧区域的Michelson对比度C来增强深度感。

在上面的示例中，已说明了对比度调节单元17通过利用式(6)一个性能函数来对整个亮度图像调节亮度图像的Michelson对比度C的情况，然而，利用式(4)的性能函数进行调节的情况与上面的相同。

[根据给定的空间频率分量应用多个性能函数的情况的说明]

接下来，将仅就与应用一个性能函数的上述情况不同的方面来说明对比度调节单元17通过利用式(7)和公式(8)的两个性能函数来调节亮度图像的Michelson对比度C的情况。

对比度调节单元17基于由空间频率提取单元14提取出的3D图像的空间频率分量来判定哪个空间频率分量高频率地(high rate)被包括在每个处理单位区域中。

当2cpd或更小的空间频率分量高频率地被包括在处理单位区域中时，对比度调节单元17从存储器单元16读取式(7)的性能函数，并且按照与对处理单位区域应用式(6)的性能函数的情况相同的方式来对Michelson对比度C进行调节。

另一方面，当大于2cpd的空间频率分量高频率地被包括在处理单位区域中时，对比度调节单元17从存储器单元16读取式(8)的性能函数，并且按照与对处理单位区域应用式(6)的性能函数的情况相同的方式来对Michelson对比度C进行调节。

如上所述，当通过应用多个性能函数来对Michelson对比度C进行调节时，根据包括在亮度图像的各个处理单位区域中的空间频率分量来选择要应用的性能函数。

在上面的示例中，图像被转换为具有更深的深度的图像以增强深度感，然而，自然地也可以转换3D亮度图像以减小深度感。

[对比度调节处理的流程图]

接下来，将参考图3的流程图说明由图像处理装置1执行的对比度调节处理。在对图3的各个步骤进行说明时，将按照需要参考图4至图8进行说明。

首先，在步骤S11，图像输入单元11从外面接收3D图像输入，并且将图像提供给深度信息提取单元12和亮度提取单元13。例如，3D图像以上面的第一至第三数据格式从外面被输入给图像输入单元11。

图4示出了当以第一数据格式提供时的3D图像的示例。即，在第一数据格式中，包括用于左眼的图像31L和用于右眼的图像31R的3D图像31被输入图像输入单元11。在用于左眼的图像31L和用于右眼的图像31R之间设置两眼视差。3D图像31是通过记录如下情形获得的3D图像，在该情形中，一个妇女以人工瀑布为背景独自坐在大石头上。

在步骤S12，深度信息提取单元12从自图像输入单元11提供来的3D图像中提取深度信息。如上所述，可以从由亮度提取单元13提取亮度分量而获得的3D亮度图像中提取深度信息。

当3D图像的数据以第一或第二数据格式被提供时，深度信息提取单元12通过利用诸如块匹配方法和DP匹配方法之类的方法来计算立体图像或视点图像中的相应点的像素偏差，即，两眼视差，并且基于计算出的两眼视差来近似计算深度信息。

另一方面，当3D图像以第三数据格式被提供时，由于直接提供了深度信息，因此深度信息提取单元12提取所提供来的深度信息。深度信息提取单元12将所提取的深度信息提供给对比度调节单元17。

图5示出了通过可视化针对图4所示的3D图像31(包括用于左眼的图像31L和用于右眼的图像31R)提取出的深度信息而获得的深度图像32。

在图5的深度图像32中，深度信息由8比特值来表示，并且位于3D图像31的凹深侧处的物体用小像素值表示，位于近前侧处的物体用大像素值表示。图5所示的深度图像32用于说明步骤S12中的深度信息的提取处理，并且深度图像32在图3的对比度调节处理中不直接被使用。

当参考图5的深度图像32时，妇女和该妇女所坐的石头的像素比背景的人工瀑布的像素更明亮(像素值更大)。因此，深度信息精确地表达了人工瀑布是背景并且妇女和大石头是前景。

在步骤S13中，亮度提取单元13提取从图像输入单元11提供来的3D图像的亮度分量。例如，当提供来的3D图像由RGB色彩系统中的线性RGB值表达时，亮度提取单元13通过利用上面的式(1)将该3D图像的RGB值转换为亮度值Y来提取3D图像的亮度分量。

图6示出了亮度图像33，其包括通过分别从图4所示的用于左眼的图像31L和用于右眼的图像31R中提取亮度分量而生成的用于左眼的亮度图像33L和用于右眼的亮度图像33R。在附图中，3D图像31与亮度图像33之间由于其约束而未出现差别，然而，3D图像31是彩色图像而亮度图像33是灰度图像。

在步骤S14，空间频率提取单元14提取3D图像的给定空间频率分量。换言之，空间频率提取单元14检测哪个空间频率分量被包括在3D图像的哪个区域中。

图7示出了在从图6所示的用于左眼的亮度图像33L中提取1cpd、2cpd、4cpd和8cpd的各个空间频率分量时通过可视化提取结果而获得的空间频率分量图像。

如上所述，空间频率是用进入人眼1度视角内的白色和黑色的色调变化(对比度)来定义的，因此，空间频率取决于观看3D图像的用户与显示装置之间的距离以及(显示该3D图像的)显示装置的大小。在本示例中，是在如下条件下来计算空间频率的：用户在3H(H是显示装置高度)的距离处观看大小为40英寸并且分辨率为1920×1080的显示装置。

图7的空间频率分量图像41是通过可视化针对用于左眼的亮度图像33L提取1cpd的空间频率分量时的提取结果而获得的空间频率分量图像。

图7的空间频率分量图像42是通过可视化针对用于左眼的亮度图像33L提取2cpd的空间频率分量时的提取结果而获得的空间频率分量图像。

图7的空间频率分量图像43是通过可视化针对用于左眼的亮度图像33L提取4cpd的空间频率分量时的提取结果而获得的空间频率分量图像。

图7的空间频率分量图像44是通过可视化针对用于左眼的亮度图像33L提取8cpd的空间频率分量时的提取结果而获得的空间频率分量图像。

在空间频率分量图像41至44中，每个空间频率分量的强度越高，像素就越明亮(像素值越高)。

当针对整个亮度图像利用一个性能函数来调节亮度图像的Michelson对比度C时，步骤S14的处理可以省略。

在步骤S15，对比度提取单元15通过利用由亮度提取单元13提取出的3D图像的亮度分量来提取3D图像的对比度分量。具体地，对比度提取单元15在将处理单位区域相对于亮度图像移动给定量的同时计算各个处理单位区域的Michelson对比度C，从而计算整个亮度图像上的Michelson对比度C。

在步骤S16，对比度调节单元17基于从深度信息提取单元12提供来的深度信息来确定里侧区域和前侧区域。

在步骤S17，对比度调节单元17从存储器单元16读取性能函数。当通过针对整个亮度图像应用一个性能函数来调节对比度分量时，式(4)或式(6)的性能函数被读出。当通过针对整个亮度图像应用两个性能函数来调节对比度分量时，式(7)和(8)的性能函数被读出。

在步骤S18，对比度调节单元17针对所有处理单位区域根据Michelson对比度C来计算当前的主观深度量D。调节了对比度之后的处理区域的主观深度量D通过计算出的当前主观深度量D来确定，应当设置的Michelson对比度C可以基于从存储器单元16读出的性能函数来计算。即，对比度调节单元17针对所有处理单位区域基于图像的当前主观深度量D和深度信息来计算当前Michelson对比度C与何值相乘。假设计算出的Michelson对比度C的调节值为M倍。

这里，多个性能函数根据给定的空间频率分量而被应用，对比度调节单元17基于在步骤S14中提取出的3D图像的空间频率分量来确定哪个空间频率分量被高频率地包括在亮度图像的处理单位区域中。然后，对比度调节单元17通过利用在步骤S17从存储器单元16读取的性能函数中与被高频率地确定的空间频率分量相对应的性能函数来计算在每个处理单位区域中将被设置的Michelson对比度C。

另一方面，当针对整个亮度图像应用诸如式(4)或式(6)的一个性能函数时，对比度调节单元17利用在步骤S17从存储器单元16读取的一个性能函数来计算在每个处理单位区域中将被设置的Michelson对比度C。

在步骤S19，对比度调节单元17调节对比度分量C，以使得Michelson对比度C被改变为针对里侧区域和前侧区域中所包括的所有处理单位区域计算出的M倍的值。具体地，对比度调节单元17在亮度图像的每个处理单位区域中执行傅里叶变换，并且计算每个处理单位区域中所包括的频率分量和频谱强度。然后，对比度调节单元17调节每个处理单位区域中的各个频率分量的频谱强度以使得调节之后的每个处理单位区域的Michelson对比度C被改变为M倍的值。调节之后的每个处理单位区域的各个频率分量的频谱强度被提供给图像处理单元18。

在步骤S20，图像处理单元18基于对比度调节单元17的调节结果来生成调节对比度之后的亮度图像。具体地，图像处理单元18对调节之后的每个处理单位区域中的各个频率分量的频谱强度执行逆傅里叶变换，从而计算在调节每个处理单位区域之后获得的亮度图像。然后，图像处理单元18根据调节每个处理单位区域之后获得的亮度图像来生成调节对比度之后的亮度图像。

在步骤S21，图像输出单元19将调节对比度之后获得的3D图像输出给诸如显示设备之类的后续级的设备。即，图像输出单元19将图像处理单元18所生成的亮度图像转换为与输入到图像输入单元11中的图像相同的3D图像，并且将图像输出给后续级设备。图像输出单元19可以按照需要将图像处理单元18所生成的3D图像的数据格式转换为另一格式并且输出该图像。

每当3D图像被输入到图像输入单元11时就重复执行步骤S11至步骤S21的处理。

执行步骤S11至S21的各个处理的顺序不限于上面的示例，并且如果需要可被改变。例如，在步骤S11至S21的处理中步骤S12和步骤S13可以并行地执行。步骤S14和步骤S15也可以并行地执行。

<2.第二实施例>

[图像处理装置的配置框图]

图8示出了根据本发明第二实施例的图像处理装置的配置示例。

在图8中，相同的标号被给予与第一实施例相对应的部分，并且将省略其说明。

除了新提供了用户输入单元20以外，图像处理装置1是以与图1相同的方式配置的。

在第二实施例中，首先输出通过以与第一实施例相同的方式自动调节(没有用户的输入)的Michelson对比度C而得到的图像处理结果。然后，在确认了通过自动调节得到的图像处理结果之后，用户他自己/她自己可以根据需要改变Michelson对比度C。

用户输入单元20接收Michelson对比度C的输入来作为由用户设置的深度调节量，并且将值提供给对比度调节单元17。

当已基于预定深度调节量被执行了对比度调节处理的3D图像从图像输出单元19被输出之后，对比度调节单元17允许图像输出单元19输出图像以确认是否改变Michelson对比度C。根据该处理，用于允许用户确认是否改变Michelson对比度C的确认画面被显示在后续的显示设备等上。可以通过已基于自动调节被执行了对比度调节处理的3D图像上的OSD来显示确认画面。

用户确认在基于自动调节的对比度调节处理之后获得的3D图像，并且当确定要改变Michelson对比度C时通过用户输入单元20来输入Michelson对比度C的改变后的值。用户输入单元20将用户输入的Michelson对比度C的改变后的值提供给对比度调节单元17。

当从用户输入单元20提供了Michelson对比度C的改变后的值时，对比度调节单元17优先于已被自动调节的Michelson对比度C而应用Michelson对比度C的改变后的值。即，对比度调节单元17基于提供来的Michelson对比度C的改变后的值，而不是根据基于预定深度调节量的Michelson对比度C的调节量来调节3D亮度图像的对比度分量。

[对比度调节处理的流程图]

将参考图9的流程来说明根据第二实施例的图像处理装置1的对比度调节处理。

步骤S41至步骤S51的处理与上面图3中步骤S11至S21的处理相同，因此将省略对其的说明。即，首先，已通过由对比度调节单元17所确定的Michelson对比度C被改变了亮度值的3D图像显示在后续显示设备等上。

然后，在步骤S52，对比度调节单元17允许图像输出单元19输出图像以确认是否改变Michelson对比度C，并且将用于确认是否改变Michelson对比度C的确认画面显示在后续的显示设备等上。

在步骤S53，对比度调节单元17判断用户输入单元20是否选择了改变Michelson对比度C。与Michelson对比度C的改变与否有关的用户的选择信息从用户输入单元20被提供给对比度调节单元17。

当选择了改变Michelson对比度C时，Michelson对比度C的改变后的值也从用户输入单元20被提供给对比度调节单元17。

当在步骤S53中未选择改变Michelson对比度C时，处理结束。

另一方面，当在步骤S53中选择了改变Michelson对比度C时，处理进行到步骤S54。在步骤S54，用户输入单元20将由用户输入的Michelson对比度C的改变后的值提供给对比度调节单元17。

在步骤S54之后，处理返回步骤S49。在步骤S49，对比度调节单元17调节对比度分量，以使得对于包括在里侧区域和前侧区域中的所有处理单位区域，Michelson对比度C被改变为从用户输入单元20提供来的改变后的值。步骤S50以后的处理相同。

根据如上所述的对比度调节处理，在确认了通过已被自动调节过的Michelson对比度C得到的图像处理结果之后，用户他自己/她自己可以根据需要进一步改变Michelson对比度C。

因此，可以调节对比度分量以增强反映了用户的喜好的3D图像的深度感。

优选地，还允许用户选择诸如“增加深度感”和“减小深度感”之类的项目，并且将先前设置的与项目相对应的量(例如，通过自动调节所确定的值的1.5倍)用作Michelson对比度C的改变后的值。

根据应用了本发明的图像处理装置1，可以利用通过量化由视觉试验得到的人类的视觉特性而获得的性能函数来增强3D图像的深度感。具体地，可以利用通过量化通过对比度而主观感知到的深度量D与Michelson对比度C之间的关系而获得的性能函数来增强3D图像的深度感。在用于允许人类感知物体的立体感和深度的两眼3D信息和单眼3D信息中，对比度属于单眼3D信息。因此，根据图像处理装置1，可以通过基于人类的视觉特性调节作为单眼3D信息之一的对比度的参数来增强3D图像的深度感。

同样，根据图像处理装置1，3D图像的深度感可以通过改变对比度来增强，因此，可以减小因改变而引起的两眼视差(其是两眼3D信息之一)。在此情况中，与仅通过两眼视差而不改变对比度来使用户感知到相同深度感的3D图像相比，两眼视差较小，因此，在“背景技术”部分说明的“眼球的会聚位置和调节位置”彼此变得接近。因此，可以减少观看者的不自然、不适感感或视觉疲劳。即，可以通过调节对比度的参数并增强3D图像的深度感来提供对于人类来说具有较少不适感或不舒服的感觉的3D图像。换言之，可以通过将单眼3D信息与两眼3D信息相组合来提供对于人类来说具有较少不适感或不舒服的感觉的3D图像。

上面的处理序列可以通过硬件以及软件来执行。当通过软件执行处理序列时，包括在软件中的程序被安装到计算机中。这里，计算机包括结合在专用硬件中的计算机、可以通过安装各种类型的程序来执行各种功能的通用个人计算机等。

图10是示出通过程序来执行上面的处理序列的计算机的硬件配置示例的框图。

在该计算机中，CPU(中央处理单元)101、ROM(只读存储器)102和RAM(随机存取存储器)103通过总线104相互连接。

输入/输出接口105也连接到总线104。输入单元106、输出单元107、存储单元108、通信单元109和驱动器110被连接到输入/输出接口105。

输入单元106包括键盘、鼠标、麦克风等。输出单元107包括显示器、扬声器等。存储单元108包括硬盘、非易失性存储器等。通信单元109包括网络接口等。驱动器110驱动可移除记录介质111，例如磁盘、光盘、磁光盘或半导体存储器。

在如上所述那样配置的计算机中，CPU101通过输入/输出接口105和总线104将存储在例如存储单元108中的程序载入RAM103并执行程序，从而执行上面的处理序列。

由计算机(CPU101)执行的程序可以通过被记录在诸如封装介质之类的可移除记录介质111中来提供。程序也可以通过有线或无线传输介质(例如，局域网、因特网、数字卫星广播等)来提供。

在该计算机中，可以通过将可移除记录介质111装载到驱动器110上来经由输入/输出接口105将程序安装在存储单元108中。程序可以经由有线或无线传输介质由通信单元109接收并安装到存储单元108中。另外，可以预先将程序安装在RAM102或存储单元108中。

由该计算机执行的程序可以是沿着本说明书描述的顺序按时间顺序处理的程序，或者可以是按照所需时序(例如当调用时被执行)被处理或者并行地处理的程序。

本发明的实施例不限于上面的实施例，并且可以在不脱离本发明的宗旨的范围之内进行各种改变。

本申请包含与2009年11月27日向日本专利局提交的日本优先专利申请JP2009-270077中公开的主题有关的主题，该申请的全部内容通过引用结合于此。

Claims

1.一种图像处理装置，包括：

深度信息提取装置，用于从输入的3D图像中提取深度信息；

亮度提取装置，用于提取所述3D图像的亮度分量；

对比度提取装置，用于基于由所述亮度提取装置提取出的3D图像的亮度分量来提取所述3D图像的对比度分量；

存储装置，用于存储性能函数，所述性能函数指示基于人类的视觉特性确定的、3D图像的对比度分量与主观感知到的深度量之间的关系；以及

对比度调节装置，用于针对根据由所述深度信息提取装置提取出的深度信息而确定的所输入的3D图像的前侧区域和里侧区域中的至少一者，基于所述性能函数来根据所述对比度提取装置提取出的3D图像的对比度分量计算所输入的3D图像的当前深度量，并且用于基于计算出的当前深度量和所设置的深度调节量来调节所输入的3D图像的对比度分量，其中所述前侧区域和里侧区域指观察者所感觉到的所述3D图像相对于显示装置的位置。

2.根据权利要求1所述的图像处理装置，

其中，所述对比度调节装置计算用于允许计算出的当前深度量成为所设置的深度调节量的对比度分量，并且将所输入的3D图像的对比度分量调节为计算出的对比度分量。

3.根据权利要求1所述的图像处理装置，还包括：

空间频率提取装置，用于提取所输入的3D图像的空间频率分量，

其中，所述存储装置根据给定的频率分量来存储所述性能函数，并且

所述对比度调节装置应用与提取出的3D图像的频率分量相对应的性能函数。

4.根据权利要求3所述的图像处理装置，还包括：

深度调节量输入装置，用于接收深度调节量的输入。

5.根据权利要求4所述的图像处理装置，

其中，所述对比度提取装置计算所述3D图像的Michelson对比度来作为所述3D图像的对比度分量。

6.根据权利要求5所述的图像处理装置，

其中，当Michelson对比度为C并且深度量为D时，所述性能函数用D=A×log(C)+B表示，其中，A、B是常数。

7.根据权利要求5所述的图像处理装置，

其中，当Michelson对比度为C并且深度量为D时，所述性能函数用下式表示：

D = D_{amp} \times \frac{C^{n}}{C^{n} + {C_{50}}^{n}} + D_{\min}

其中，D_amp、D_min、C₅₀和“n”是给定的常数。

8.一种图像处理装置的图像处理方法，所述图像处理装置存储指示基于人类的视觉特性确定的、3D图像的对比度分量与主观感知到的深度量之间的关系的性能函数，并且执行对所输入的3D图像的深度感的调节，该方法包括如下步骤：

从3D图像提取深度信息；

提取所述3D图像的亮度分量；

基于由所提取出的3D图像的亮度分量来提取所述3D图像的对比度分量；

针对从所提取出的深度信息确定的所输入的3D图像的前侧区域和里侧区域中的至少一者，基于所述性能函数来根据所提取出的3D图像的对比度分量计算所输入的3D图像的当前深度量，其中所述前侧区域和里侧区域指观察者所感觉到的所述3D图像相对于显示装置的位置；并且

基于计算出的当前深度量和所设置的深度调节量来调节所输入的3D图像的对比度分量。