CN104780354A - 图像处理装置、图像处理方法及程序 - Google Patents

Abstract

本发明公开了图像处理装置、图像处理方法及程序。该图像处理装置包括：深度调整量确定部，被配置为确定输入图像的深度调整量；评估函数存储部，被配置为存储评估函数，该评估函数表示图像的主观深度量与该图像的颜色饱和度分量的关系，主观深度量是用户主观感觉的深度量；输入值调整量确定部，被配置为基于评估函数确定输入值的调整量，输入值的调整量表示视网膜对与确定的深度调整量对应的颜色饱和度分量的响应；调整增益计算部，被配置为基于确定的输入值的调整量计算各个空间频率分量的调整增益；以及增益重叠部，被配置为将计算的各个空间频率分量的调整增益重叠在输入图像的颜色饱和度分量上。

Description

图像处理装置、图像处理方法及程序

相关申请的交叉引用

本申请要求于2014年1月14提交的日本在先专利申请JP2014-004260的权益，通过引用将其全部内容结合于本文中。

技术领域

本发明涉及图像处理装置、图像处理方法及程序，且更具体地，涉及在不降低图像质量的情况下产生深度控制的效果的图像处理装置、图像处理方法及程序。

背景技术

对于人们感知物体的三维(3D)形式和深度，使用的信息包括使用两只眼睛的双眼立体信息和使用一只眼睛的单眼立体信息。人们使用双眼立体信息和单眼立体信息两者感知物体的3D形式和深度以及空间的3D形式和深度。双眼立体信息包括双眼视差、水平会聚等，单眼立体信息包括阴影、对比度、颜色、空间频率、遮蔽状态及其他。

为了增强二维(2D)显示器上显示的图像中的物体的3D形式和深度以使观看者感知到图像是3D的，例如，图像可以使用作为双眼立体信息的更大的双眼视差来显示。

然而，考虑到人类眼球结构和视觉特性，使用更大的双眼视差显示物体图像会造成如下问题。就是说，人类眼球通常是向内会聚而不是平行的。因此，当双眼视差变得大于瞳孔间距离时，会造成眼球向外发散。瞳孔间距离根据观看者的年龄和性别改变，并且对于瞳孔间距离比其他人窄的观看者来所，他们的眼球容易发散(diverged，开散)。

因此，显示具有更大的双眼视差的图像来提高该图像中的物体的3D形式和深度容易引起眼睛疲劳。

考虑到此，提出的方案是使用单眼立体信息提高物体的3D形式和深度。作为一个例子，日本专利申请公开No.2001-238231提出通过根据图像中的物体的深度位置改变物体看起来如何来提高物体的深度，例如，改变阴影、遮蔽状态、和模糊程度。

然而，在日本专利申请公开No.2001-238231中，没有关于如何设定计算式基于的参数值的具体说明。使用尝试错误设定的参数值不能保证得到的右眼图像和左眼图像在观看者看来是自然的且不会造成他们的眼睛疲劳，还是图像在观看者看来可能是不自然的且造成他们不舒适或者眼睛疲劳。

为了解决这种问题，本申请的申请人提出一种量化单眼立体信息和深度知觉之间的关系，并且使用定量关系控制物体的3D形式和深度的技术(日本专利申请公开第2011-113363号和第2012-247891号)。日本专利申请公开No.2011-113363具体描述了一种量化对比度与深度知觉之间的关系，并且使用定量关系通过对比度调整控制物体的3D形式和深度的技术。日本专利申请公开No.2012-247891具体描述了一种量化对比度/空间频率与深度知觉之间的关系，并且通过使用定量关系在空间频率基础上通过对比度调整来控制物体的深度的技术。

发明内容

然而，使用日本专利申请公开No.2011-113363和No.2012-247891的技术，处理中使用的对比度仅是关于图像的亮度信息，而没有考虑给出颜色信息。因此，这导致对产生不降低图像质量的深度控制的效果的限制。

因此期望产生不降低图像质量的深度控制的效果。

根据本公开的实施方式，提供一种图像处理装置，该装置包括深度调整量确定部、评估函数存储部、输入值调整量确定部、调整增益计算部、以及增益重叠部。深度调整量确定部被配置为确定输入图像的深度调整量。评估函数存储部被配置为存储评估函数，评估函数表示图像的主观深度量与其颜色饱和度分量的关系，主观深度量是用户主观感觉的深度量。输入值调整量确定部被配置为基于评估函数确定输入值的调整量，输入值 的调整量表示视网膜对与确定的深度调整量对应的颜色饱和度分量的响应。调整增益计算部被配置为基于确定的输入值的调整量计算各个空间频率分量的调整增益。增益重叠部被配置为将各个空间频率分量的调整增益重叠在输入图像的颜色饱和度分量上，调整增益由调整增益计算部计算出。

根据本公开的实施方式，提供一种图像处理方法，包括，通过被配置为对输入图像进行处理的图像处理装置，确定输入图像的深度调整量，基于评估函数确定输入值的调整量，评估函数表示图像的主观深度量与颜色饱和度分量的关系，主观深度量是用户主观感觉的深度量，输入值的调整量表示视网膜对与确定的深度调整量对应的颜色饱和度分量的响应，基于确定的输入值的调整量计算各个空间频率分量的调整增益，并且将计算的各个空间频率分量的调整增益重叠在输入图像的颜色饱和度分量上。

根据本公开的实施方式，提供一种程序，使得计算机作用成深度调整量确定部、评估函数存储部、输入值调整量确定部、调整增益计算部、以及增益重叠部。深度调整量确定部被配置为确定输入图像的深度调整量。输入值调整量确定部被配置为基于评估函数确定输入值的调整量，评估函数表示图像的主观深度量与颜色饱和度分量的关系，主观深度量是用户主观感觉的深度量，输入值的调整量表示视网膜对与确定的深度调整量对应的颜色饱和度分量的响应。调整增益计算部被配置为基于确定的输入值的调整量计算各个空间频率分量的调整增益。增益重叠部被配置为将计算的各个空间频率分量的调整增益重叠在输入图像的颜色饱和度分量上。

根据本公开的实施方式，确定输入图像的深度调整量。输入值的调整量是基于评估函数来确定的，输入值的调整量表示视网膜对与确定的深度调整量对应的颜色饱和度分量的响应。各个空间频率分量的调整增益是基于确定的输入值的调整量计算出的。调整增益被重叠在输入图像的颜色饱和度分量上，调整增益是在由调整增益计算部计算的各个空间频率分量下计算的。

程序可以通过传输介质的传输来提供，或者通过记录在记录介质上来提供。

图像处理装置可以是独立的装置，或者可以是构成装置的内部模块。

根据本公开内容的实施方式，产生不降低图像质量的深度控制的效果

本文中描述的效果不必是限制性的，并且可以是本说明书中描述的任何效果。

根据如在附图中示出的本发明的最佳模式的实施方式的详细描述，本公开内容的这些和其他目标、特征以及优点将变得更加明显。

附图说明

图1是示出了图像中的亮度对比度/颜色饱和度与深度知觉之间的定量关系的示图；

图2是示出了具有亮度对比度的深度效率E_lum(ω)的示图；

图3是示出了具有颜色饱和度的深度效率E_col(ω)的示图；

图4是示出了本发明适用的第一实施方式中的图像处理装置的示例性配置的框图；

图5是示出了定义深度调整量的示例性函数的示图；

图6是示出了评估函数上的点的查找的示图；

图7是示出了加权函数f(ω)的设定实例的示图；

图8是示出了加权函数f(ω)的其他设定实例的示图；

图9是示出了加权函数f(ω)的其他设定实例的示图；

图10是深度控制处理的流程图；

图11中的A至C各自是示出了图像处理的示例性结果的示图；

图12是示出了图像处理的示例性结果的示图；

图13是示出了傅立叶变换以外的示例性处理的示图；

图14是示出了傅立叶变换以外的另一示例性处理的示图；

图15是示出了另一示例性评估函数的示图；

图16是示出了本发明适用的第二实施方式中的图像处理装置的示例性配置的框图；

图17是示出了第二实施方式中的示例性评估函数的示图；

图18是示出了由I值调整量确定部进行的处理的示图；

图19是示出了颜色饱和度增益重叠部的详细的示例性配置的框图；

图20是示出了块匹配的示图；

图21是示出了块匹配的另一示图；以及

图22是示出了根据本发明的实施方式的计算机的示例配置的框图。

具体实施方式

在下文中，将参考附图描述本发明的实施方式(在下文中，简称为实施方式)。按照下列顺序进行描述。

1.第一实施方式(通过调整图像的亮度对比度和颜色饱和度进行深度控制的示例性配置)

2.第二实施方式(通过仅调整图像的颜色饱和度进行的示例性配置)

3.第三实施方式(对2D图像深度控制的实施例)

[1.第一实施方式]

[图像的亮度对比度/颜色饱和度与深度知觉之间的定量关系]

使用以下将描述的图像处理装置，调整图像的亮度对比度和颜色饱和度，以可调节地改变他/她观看图像时的用户的深度知觉。

首先，描述图像中的亮度对比度/颜色饱和度与深度知觉之间的定量关系。

图1是示出了通过视觉实验所获得的图像中的亮度对比度/颜色饱和度与深度知觉之间的定量关系的示图。

在图1中，X轴表示视网膜对亮度对比度的响应I_lum，并且Y轴表示视网膜对颜色饱和度的响应I_col。图1的XY平面以灰度绘制成地图，该灰度在(I_lum，I_col)的坐标处具有主观深度量D(I_lum，I_col)。主观深度量D(I_lum，I_col)表示更淡的灰度使用户感觉到物体的定位更靠前。

图1示出更高的亮度对比度或者更高的颜色饱和度获得更浅的灰度阴影。就是说，当亮度对比度或颜色饱和度高时物体被感知为更靠前。图像中的亮度对比度/颜色饱和度与深度知觉之间的这种关系由视觉实验确认。

下面详细描述视网膜对亮度对比度的响应I_lum，以及视网膜对颜色饱和度的响应I_col。

在X轴上的视网膜对亮度对比度的响应I_lum由以下等式1定义。

[数学式1]

I_lum＝∫_ω∈ΩE_lum(ω)S_lum(ω)dω…(1)

在等式1中，ω表示空间频率(cpd(周期/度)，Ω表示局部区域(例如，M×N像素的矩形区域)中的空间频率的集合(不包括直流(DC)分量)，E_lum(ω)表示空间频率ω的具有亮度对比度的深度效率，并且S_lum(ω)表示空间频率ω的亮度对比度，即，亮度分量中的每个空间频谱。通过局部区域上的傅立叶变换获得空间频率ω的亮度对比度S_lum(ω)。

深度效率E_lum(ω)对应于预定的空间频率ω(cpd)的加权，并且等式1表示视网膜对亮度对比度的响应I_lum能够通过组合多个加权的空间频率的对比度来表示。

具有亮度对比度的深度效率E_lum(ω)由以下等式2表示。

[数学式2]

E_lum(ω)＝exp(-ω²/51.84)…(2)

图2是在等式2中的具有亮度对比度的深度效率E_lum(ω)的曲线图。

如图2所示，空间频率ω越低，具有亮度对比度的深度效率E_lum(ω)变得越高，并且空间频率ω越高，具有亮度对比度的深度效率E_lum(ω)变得越低，即，类似具有低通特性的视觉滤波器。

视网膜对颜色饱和度的响应I_col由以下等式3表示。

[数学式3]

$I_{\mathrm{col}}={\∫}_{\mathrm{\ω}\∈{\mathrm{\Ω}}^{,}}{E}_{\mathrm{col}}\left(\mathrm{\ω}\right)S_{\mathrm{col}}\left(\mathrm{\ω}\right)\mathrm{d\ω}\left(3\right)$

在等式3中，ω表示空间频率(cpd)，Ω’表示局部区域中的空间频率的集合(包括DC分量)，E_col(ω)表示空间频率ω的具有颜色饱和度的深度效率，并且S_lum(ω)表示空间频率ω的颜色饱和度，即，颜色饱和度分量中的每个空间频谱。空间频率ω的颜色饱和度S_col(ω)是通过在局部区域上的傅立叶变换获得的。

与亮度对比度相似，深度效率E_col(ω)对应于预定的空间频率的加权，并且等式3表示视网膜对颜色饱和度的响应I_col能够通过多个加权的空间频率的颜色饱和度的组合表示。

具有颜色饱和度的深度效率E_col(ω)是由以下等式4表示的。

[数学式4]

E_col(ω)＝exp(-ω²/56.85)…(4)

图3是等式4中的具有颜色饱和度的深度效率E_col(ω)的曲线图。

如图3所示，空间频率ω越低，具有颜色饱和度的深度效率E_col(ω)变得越高，并且空间频率越高，具有颜色饱和度的深度效率E_col(ω)变得越低，即，类似具有低通特性的视觉滤波器。然而，等式4不同于具有亮度对比度的深度效率E_lum(ω)的等式3。

在这个实施方式中，具有亮度对比度的深度效率E_lum(ω)和具有颜色饱和度的深度效率E_col(ω)是通过如上的指数函数表示的，但是可以使用任何其他函数来表示。

例如，如以下等式5，可以通过将定义域分割成三部分，使用多项式近似来表示。可替换地，也可能使用分段线性近似。

[数学式5]

$E=\left\{\begin{array}{cc}1& (x<a)\\ {\mathrm{\&Sigma;}}_{k=0}^{k=n}{a}_n{x}^n& (a\&le;x\&le;b)\\ 0& b<x\end{array}\right.---\left(5\right)$

使用如上定义的视网膜对亮度对比度的响应I_lum，仅使用亮度对比度感知的主观深度量D_lum由以下等式6表示。

[数学式6]

D_lum＝A_lumlog₁₀I_lum…(6)

此外，使用视网膜对颜色饱和度的响应I_col，仅使用颜色饱和度感知的主观深度量D_col由以下等式7表示。

[数学式7]

D_col＝A_collog₁₀I_col…(7)

通过具有亮度对比度的主观深度量D_lum和具有颜色饱和度的主观深度量D_col的组合感知的主观深度量D(I_lum，I_col)由以下等式8表示。

[数学式8]

$D(I_{\mathrm{lum}},I_{\mathrm{col}})=\left\{\begin{array}{cc}{D}_{\mathrm{lum}}+B,& D_{\mathrm{col}}<D_{\mathrm{lum}}\\ D_{\mathrm{col}}+B,& D_{\mathrm{col}}\&GreaterEqual;D_{\mathrm{lum}}\end{array}\right.\&CenterDot;\&CenterDot;\&CenterDot;\left(8\right)$

在等式6、7和8中，A_lum、A_col、和B各自是给定的常量。等式8示出当具有亮度对比度的主观深度量D_lum大于具有颜色饱和度的主观深度量D_col时，主观深度量D(I_lum，I_col)更多地由具有亮度对比度的主观深度量D_lum感知。另一方面，当具有颜色饱和度主观深度量D_col大于具有亮度对比度的主观深度量D_lum时，等式8示出主观深度量D(I_lum，I_col)更多地由具有颜色饱和度的主观深度量D_col来感知。

在等式6和7中，通过与对数函数拟合的数据，即通过视觉测试获得的数据来高精度地实现函数近似。可替换地，主观深度量D_lum和D_col也可各自通过用作视觉反应的Naka-Rushton等式来表示。

以上举例说明的是通过傅立叶变换在空间频域中的分析描述怎样计算视网膜对亮度对比度的响应I_lum和视网膜对颜色饱和度的响应I_col。可替换地，为了近似计算视网膜对亮度对比度的响应I_lum和视网膜对于颜色饱和度的响应I_col，可以对亮度分量图像和颜色饱和度分量图像进行小波变换，或者可以对其使用如伽柏(Gabor)滤波器的带通滤波器。

以下将描述的图像处理装置使用图1的定量关系，即通过视觉测试获得的图像的亮度对比度/颜色饱和度与深度知觉之间的定量关系作为评估函数调整图像中的感知的深度量。

[图像处理装置的框图]

图4是示出了本发明适用的第一实施方式中的图像处理装置的示例性配置的框图。

图像处理装置1控制输入3D图像的亮度对比度和颜色饱和度以利用其来调整深度知觉。本文中的3D图像意指让观看者感觉图像是3D的图像。

输入到图像处理装置1的3D图像(在下文中，也称作原始图像)被提供给颜色转换部11。来自外部的3D图像是各种数据格式的，并且数据格式不是限制性的，例如，包括右眼图像(R图像)和左眼图像(L图像)的立体图像的第一数据格式，包括从三个以上位置观察的三个以上图像的多视点图像的第二数据格式，以及2D图像与关于其的深度信息的组合的第三数据格式。假定在这个实施方式中，输入的3D图像的数据是第一数据格式，并且图像处理装置1处理右眼图像和左眼图像两者。

颜色转换部11将提供的原始图像，即右眼图像和左眼图像，分解成亮度和颜色饱和度分量，例如，原始图像的表色系被转换成CIE L^*a^*b^*以获得亮度分量L^*(∝亮度分量Y)以及颜色饱和度分量a^*和b^*。具体地说， 当原始图像是RGB彩色图像时，对其的颜色转换是通过由CIE定义的以下等式9至14计算的。

[数学式9]

X＝0.4125R+0.3576G+0.1804B…(9)

Y＝0.2126R+0.7152G+0.0722B…(10)

Z＝0.0193R+0.1192G+0.9502B…(11)

L^*＝116(Y/Y_n)^1/3-16…(12)

a^*＝500((X/X_n)^1/3-(Y/Y_n)^1/3)…(13)

b^*＝200((Y/Y_n)^1/3-(Z/Z_n)^1/3)…(14)

颜色转换部11将通过等式10获得的原始图像的亮度分量Y(原始图像Y)提供到深度评估部12和亮度I值评估部15。颜色转换部11还将分别通过等式13和等式14获得的原始图像的颜色饱和度分量a*和b*(原始图像a*和b*)提供到颜色饱和度I值评估部16。本文中，替代亮度分量Y，使用的亮度分量可以是通过等式12获得的L*。

深度评估部12评估关于由颜色转换部11提供的原始图像中的每个像素的深度信息(disparity，视差)。具体地说，深度评估部12计算在一对立体图像中水平方向上彼此对应的点的像素的位移，即，计算所谓的双眼视差。使用得到的双眼视差作为基础，深度评估部12近似计算出深度信息。可以通过块匹配计算出或者通过利用相关性，即在平面中亮度梯度方面的空间相关性，以及R和L图像之间的相关性评估彼此对应的点之间的位移量的梯度法计算出双眼视差。

当3D图像以第二数据格式输入时，深度评估部12使用多视点图像中的三个以上其他图像之中的任意两个对应图像计算它们之间的双眼视差，并且使用得到的双眼视差，近似计算深度信息。当3D图像以第三数据格式输入时，深度评估部12使用包含在图像中的深度信息。

由深度评估部12评估的深度信息被提供给深度调整量确定部14。

深度调整量定义函数存储部13存储向深度调整量确定部14提供的深度调整量定义函数。深度调整量定义函数定义关于深度信息(的值)的深度调整量。

[示例性深度调整量定义函数]

图5示出了存储在深度调整量定义函数存储部13中的示例性深度调整量定义函数。

图5的横轴表示输入的3D图像中检测的深度信息(单位：像素)并且纵轴表示深度调整量(单位：弧分)。深度信息是用户感知物体图像使用的视差，当视差是正值时用户感知物体图像向里，并且当视差是负值时用户感知物体靠前。深度调整量是以下值，利用该值，当该值是正值时物体图像被调整为靠前，并且当值是负值时物体图像被调整为向里。

使用图5的深度调整量定义函数，图像的动态范围在3D形式和深度方面增加，即，在输入的3D图像中，在在里面处的任何物体被移动为更加向里，而在前面中的任何物体被移动为更加向前。

基于这种存储在深度调整量定义函数存储部13的深度调整量定义函数，图4的深度调整量确定部14确定原始图像中的每个像素的深度调整量。举例来说，使用图5的深度调整量定义函数，深度调整量确定部14确定原始图像中每个像素的深度调整量ΔD，即，深度信息d，例如。所得到的深度调整量ΔD被提供到I值调整量确定部18。

亮度I值评估部15分析目标像素周围的局部区域(M×N像素)以使用如上所述的等式1和2计算目标像素的亮度对比度模型输入值I_lum。本文中的目标像素是原始图像中的各个像素。亮度I值评估部15将所得的亮度对比度模型输入值I_lum连同原始图像中的各个像素的亮度分量Y一起提供到I值调整量确定部18。

颜色饱和度I值评估部16分析目标像素周围的局部区域(M×N像素)以使用如上所述的等式3和4计算目标像素的颜色饱和度模型输入值I_col。本文中的目标像素是原始图像中的各个像素。颜色饱和度I值评估部16 将所得的颜色饱和度模型输入值I_col连同原始图像中的各个像素的颜色饱和度分量a^*和b^*一起提供到I值调整量确定部18。

评估函数存储部17存储图1的评估函数。就是说，评估函数部17存储量化通过视觉测试获得的图像的亮度对比度/颜色饱和度与深度知觉之间的关系的评估函数。

基于评估函数存储部17中存储的评估函数，I值调整量确定部18确定对应于由深度调整量确定部14确定的深度调整量ΔD的模型输入值I的调整量ΔI。就是说，I值调整量确定部18确定亮度对比度模型输入值I_lum的调整量ΔI_lum和颜色饱和度模型输入值I_col的调整量ΔI_col。

具体地说，使用评估函数上的亮度对比度模型输入值I_lum和颜色饱和度模型输入值I_col，即，在评估函数上的2D模型输入矢量I＝(I_lum，I_col)处，首先已知主观深度量D₀。该主观深度量D₀是使用原始图像中的亮度对比度和颜色饱和度感知的。I值调整量确定部18搜索评估函数空间以找到深度调整量采用与由深度调整量确定部14提供的深度调整量ΔD一样的值的点。

换言之，如图6所示，在评估函数空间中，I值调整量确定部18从原始图像的模型输入矢量I开始查找评估函数，以找到主观深度量是D₀+ΔD的点。这时，从I值调整量确定部18的出发点起的查找方向是由调整矢量n定义的。

调整矢量n是基于查找方向设定的亮度对比度与颜色饱和度之间的调整平衡的用户设定参数，并且由以下等式15定义。

[数学式10]

n＝(a×I_lum，b×I_col)….(15)

在等式15中，a和b分别是调整亮度对比度调整增益和颜色饱和度调整增益之间的平衡的参数。这些参数a和b之间的数值关系(比例)用作调整亮度对比度调整增益和颜色饱和度调整增益之间的增益平衡的基础。举例来说，当参数a和b设定为满足a＞b时，亮度对比度调整增益 被调整为大于颜色饱和度调整增益。另一方面，当参数a和b设定为满足a＜b时，亮度对比度调整增益被调整为小于颜色饱和度调整增益。当参数a和b设定为满足a＝b时，亮度对比度调整增益被调整为等于颜色饱和度调整增益。

当调整矢量n被定义为如等式15中一样时，模型输入值I’＝(I’_lum,I’_col)表示如下。模型输入值是通过深度控制处理后的原始图像(在下文中，称作“已处理图像”)中的亮度对比度和颜色饱和度获得的值。

[数学式11]

$\begin{array}{c}{I}^{,}=I+\mathrm{\&epsiv;}\&times;n\\ \&DoubleLeftRightArrow;({I^{,}}_{\mathrm{lum}},{I^{,}}_{\mathrm{col}})=(I_{\mathrm{lum}},I_{\mathrm{col}})+\mathrm{\&epsiv;}\&times;(a\&times;I_{\mathrm{lum}},b\&times;I_{\mathrm{col}})\\ \&DoubleLeftRightArrow;({I^{,}}_{\mathrm{lum}},{I^{,}}_{\mathrm{col}})=((1+\mathrm{\&epsiv;}\&times;a)\&times;I_{\mathrm{lum}},(1+\mathrm{\&epsiv;}\&times;b)\&times;I_{\mathrm{col}})\\ \stackrel{\&CenterDot;}{\&CenterDot;\&CenterDot;}{I^{,}}_{\mathrm{lum}}=(1+\mathrm{\&epsiv;}\&times;a)\&times;I_{\mathrm{lum}},\\ {I^{,}}_{\mathrm{col}}=(1+\mathrm{\&epsiv;}\&times;b)\&times;I_{\mathrm{col}}\end{array}\&CenterDot;\&CenterDot;\&CenterDot;\left(16\right)$

等式16示出通过等式15定义的调整矢量n获得亮度对比度调整增益与颜色饱和度调整增益之间的比例为(1+ε×a)∶(1+ε×b)。这表明参数a和b能够调整亮度对比度调整增益与颜色饱和度调整增益之间的平衡。在等式16中，ε表示获得深度调整量ΔD的正规化系数。

在评估函数空间中，I值调整量确定部18沿着从原始图像的模型输入矢量I出发的调整矢量n方向查找评估函数。这就获得了I’＝(I’_lum，I’_col)的模型输入矢量，其主观深度量是D₀+ΔD。

获得其主观深度量是D0+ΔD的I’＝(I’_lum,I’_col)的模型输入矢量之后，等式17和18分别获得亮度对比度模型输入值I_lum的调整量ΔI_lum和颜色饱和度模型输入值I_col的调整量ΔI_col。

[数学式12]

ΔI_lum＝I’_lum-I_lum…(17)

ΔI_col＝I'_col-I_col…(18)

计算结果，即，亮度对比度模型输入值I_lum的调整量ΔI_lum和颜色饱和度模型输入值I_col的调整量ΔI_col连同原始图像的亮度分量Y和颜色饱和度分量a*和b*一起，被提供给调整增益计算部19。

使用以下等式19和20，调整增益计算部19计算亮度对比度调整增益g_lum(ω)和颜色饱和度调整增益g_col(ω)两者。

[数学式13](ω)flum(ω)dω

g_lum(ω)

＝1+f_lum(ω)·|ΔI_lum|/|∫_ω∈ΩE_lum(ω)S_lum(ω)f_lum(ω)dω|

                           …(19)

g_col(ω)

＝1+fcol(ω)·|ΔIcol|/|∫_ω∈Ω，E_col(ω)S_col(ω)f_col(ω)dω|

                          …(20)

在等式19和20中，f_lum(ω)表示空间频率ω下亮度对比度调整增益的加权函数(在下文中，称作亮度对比度加权函数)，并且f_col(ω)表示空间频率ω下颜色饱和度调整增益的加权函数(在下文中，称作颜色饱和度加权函数)。当值是正的时，意味着执行增强处理，当值是负的时，意味着执行降低处理，并且当值是0时，意味着没有执行处理。

在等式19和20中，亮度对比度加权函数f_lum(ω)和颜色饱和度加权函数f_col(ω)均是用户设定参数，并且由空间频率加权设定部20提供。用户可以仅考虑各个空间频率的调整增益的加权来设定参数，即，亮度对比度加权函数f_lum(ω)和颜色饱和度加权函数f_col(ω)。使用这种参数设定，亮度对比度的调整量以及颜色饱和度的调整量分别由等式19和20正规化为ΔI_lum和ΔI_col。

空间频率加权设定部20存储亮度对比度加权函数f_lum(ω)和颜色饱和度加权函数f_col(ω)两者，其均是由用户的操作设定的。空间频率加权设定部20将亮度对比度加权函数f_lum(ω)和颜色饱和度加权函数f_col(ω)提供到调整增益计算部19。存储在空间频率加权设定部20中的亮度对比度加权函 数f_lum(ω)和颜色饱和度加权函数f_col(ω)在特性方面有变化，例如，增强(enhance，强调)低频侧、增强高频侧、或增强整个频率范围。当预期亮度对比度加权函数f_lum(ω)和颜色饱和度加权函数f_col(ω)之间没有具体差别时，这些加权函数简称为“加权函数f(ω)”。另外对于调整量ΔI_lum和ΔI_col，当预期它们之间没有具体差别时，这些调整量简称为“调整量ΔI”。

[加权函数f(ω)的设定实施例]

图7至图9各自示出了存储在空间频率加权设定部20中的加权函数f(ω)的设定实例。

图7示出了当物体图像被调整为更向前时，即，当深度调整量ΔD和模型输入值I的调整量ΔI均是正的时的加权函数f(ω)的设定实例。

图7示出了加权函数f(ω)的三个设定实例，即，(A)示出了将整个空间频率范围统一增强n倍的设定实例，(B)示出了增强低空间频率范围的设定实例，并且(C)示出了增强高空间频率范围的设定实例。

对于将整个空间频率范围统一增强n倍，如图7中的(A)，迈克逊对比度(Michelson contrast)同样被增强n倍。迈克逊对比度由以下等式21定义。

[数学式14]

在等式21中，L_max表示原始图像的处理单位区域中的最大的亮度值，并且L_min表示原始图像的处理单位区域中的最小的亮度值。考虑视角和像素数目之间的关系根据情况来按大小最佳定义处理单位区域。

对于增强低空间频率范围，如图7中的(B)，原始图像经过阴影增强以保持边缘，并且因此得到的图像看起到不太清晰。

对于增强高空间频率范围，如图7中的(C)，原始图像经过边缘增强以保持阴影，并且因此在像素亮度是相同的水平的单调的图像区域中噪声会被增强。

图8示出了当物体图像被调整为更向里时，即，当深度调整量ΔD和模型输入值I的调整量ΔI均是负的时的加权函数f(ω)的设定实例。

图8示出了加权函数f(ω)的三个设定实例，即，(A)示出了降低整个空间频率范围n倍的设定实例，(B)示出了降低低空间频率范围的设定实例，并且(C)示出了降低高空间频率范围的设定实例。

对于降低整个空间频率范围n倍，如图8中的(A)，迈克逊对比度同样降低n倍。

对于降低低空间频率范围，如图8中的(B)，原始图像经过边缘保存以减少阴影。当得到的图像具有太多高频分量时，会产生纹理看起来不同的印象。

对于降低高空间频率范围，如图8中的(C)，原始图像经过阴影保存以减少边缘，并且因此得到的图像与如图8中的(A)的降低整个空间频率范围之后的图像相比会留下模糊的印象。

对于图7和图8的加权函数f(ω)，函数的定义域始终是正的或负的。可替换地，只要加权函数f(ω)满足任何预定的约束条件，那么加权函数f(ω)的定义域可被预期为并非始终为正或负。

图9示出了当物体图像被调整为更向前时加权函数f(ω)的其他设定实例。

为了将物体图像调整为更向前，加权函数f(ω)也可以如图9所示设定，只要加权函数f(ω)满足以下等式22的约束条件。

[数学式15]

∫(E(ω) S(ω) f(ω))dω＞0…(22)

图9示出了加权函数f(ω)的设定实例，即，(A)示出了增强低空间频率带但降低高空间频率带的设定实例，并且(B)示出了主要增强任何特定空间频率范围的设定实例。

对于增强低空间频率带但减少高空间频率带，如图9中的(A)，原始图像经过边缘增强以减少阴影。

当为了根据其特征量调整图像物体来选择空间频率带时，执行图9中的(B)的处理，即，主要增强任何特定空间频率带。

为了将物体图像调整为更向里，加权函数f(ω)同样可以如图9所示设定，只要加权函数f(ω)满足以下等式23的约束条件。就是说，尽管未示出，但加权函数f(ω)可以设定为降低低空间频率带但增强高空间频率带，或者主要降低任何特定空间频率带。

[数学式16]

∫(E(ω) S(ω) f(ω))dω＜0…(23)

如上所述，使用参数，调整增益计算部19能够确定随着空间频率ω变化的增益以调整亮度对比度和颜色饱和度。根据等式19计算的亮度对比度调整增益g_lum(ω)连同原始图像Y一起提供给亮度增益重叠部21，并且根据等式20计算的颜色饱和度调整增益g_col(ω)连同颜色饱和度分量a^*和b^*一起提供给颜色饱和度增益重叠部22。

亮度增益重叠部21通过将由调整增益计算部19提供的亮度对比度调整增益g_lum(ω)重叠在原始图像Y上计算处理后图像Y’。所得到的处理后图像Y’被提供给颜色转换部23。

具体地说，首先，亮度增益重叠部21通过傅立叶变换将原始图像Y转换到空间频域。原始图像Y的傅立叶变换由以下等式24表示。

[数学式17]

$f(u,v)=\frac{1}{2\mathrm{\&pi;}}{\&Integral;}_{-\&infin;}^{\&infin;}{\&Integral;}_{-\&infin;}^{\&infin;}f(x,y)\exp (-j2\mathrm{\&pi;}(\mathrm{ux}+\mathrm{vy}))\mathrm{dxdy}\&CenterDot;\&CenterDot;\&CenterDot;\left(24\right)$

下面，通过等式25，亮度增益重叠部21将由调整增益计算部19计算的亮度对比度调整增益g_lum(ω)重叠在傅立叶系数f(u，v)上。等式25通过u和v的值唯一地定义ω使得满足g(u,v)＝g(ω)。

[数学式18]

f'(u，v)＝f(u，v)·g(u，v)…(25)

换言之，亮度增益重叠部21在亮度对比度调整增益g_lum(ω)和亮度对比度S_lum(ω)之间进行卷积积分，获得卷积积分作为经傅立叶变换转换之后各空间频域的频谱。

最后，亮度增益重叠部21进行等式26的傅立叶逆变换以将通过重叠亮度对比度调整增益g_lum(ω)获得的频谱转换回图像域。获得处理后图像Y’。

[数学式19]

$f^{,}(u,v)=\frac{1}{2\mathrm{\&pi;}}{\&Integral;}_{-\&infin;}^{\&infin;}{\&Integral;}_{-\&infin;}^{\&infin;}{f}^{,}(u,v)\exp (-j2\mathrm{\&pi;}(\mathrm{ux}+\mathrm{vy}))\mathrm{dudv}\&CenterDot;\&CenterDot;\&CenterDot;\left(26\right)$

亮度增益重叠部21将通过如上处理获得的处理后图像的亮度分量Y’，即处理后图像Y’提供到颜色转换部23。

使用由调整增益计算部19计算的颜色饱和度调整增益g_col(ω)，颜色饱和度增益重叠部22以与亮度增益重叠部21相似的方式计算处理后图像的颜色饱和度分量a^*’和b^*’(处理后图像a^*’和b^*’)。计算结果提供给颜色转换部23。

颜色转换部23进行与由颜色转换部11进行的转换相逆的转换。就是说，颜色转换部23将由CIE L^*a^*b^*表示的处理后图像转换成由RGB表色系表示的的图像。因此处理后图像被转换回与原始图像相同的表色系中，并且然后被输出。

[深度控制处理的流程图]

通过参照图10的流程图，下面描述的是由通过控制原始图像的亮度对比度和颜色饱和度进行深度调整的图像处理装置1执行的深度控制处理。当图像处理装置1得到外部的原始图像时，例如，开始该处理。

首先，在步骤S1中，颜色转换部11进行将原始图像的表色系从RGB转换到CIE L^*a^*b^*的颜色转换。例如，这将右眼图像(R图像)和左眼图像(L图像)的每一个分解成亮度和颜色饱和度分量。

在步骤S2中，深度评估部12评估由颜色转换部11提供的原始图像中的各个像素的深度信息(视差)。

在步骤S3中，使用存储在深度调整量定义函数存储部13中的深度调整量定义函数，深度调整量确定部14基于评估的深度信息确定深度调整量ΔD。

在步骤S4中，使用如上所述的等式1和2，亮度I值评估部15计算原始图像的亮度对比度模型输入值I_lum。

在步骤S5中，使用如上所述的等式3和4，颜色饱和度I值评估部16计算原始图像的颜色饱和度模型输入值I_col。

在步骤S4和S5中的处理可以颠倒的顺序或同时进行。

在步骤S6中，基于存储在评估函数存储部17中的评估函数，I值调整量确定部18确定对应于由步骤S3中的处理确定的深度调整量ΔD的模型输入值I的调整量ΔI。就是说，I值调整量确定部18确定亮度对比度模型输入值I_lum的调整量ΔI_lum和颜色饱和度调整量I_col的调整量ΔI_col。

在步骤S7中，根据等式19和20，调整增益计算部19计算亮度对比度调整增益g_lum(ω)和颜色饱和度调整增益g_col(ω)两者。

在步骤S8中，亮度增益重叠部21将由步骤S7中的处理获得的亮度对比度调整增益g_lum(ω)重叠在原始图像Y上，由此计算出处理后图像的亮度分量Y'。

就是说，在步骤S8中，原始图像的亮度分量Y通过傅立叶变换被转换到空间频域。此后，获得亮度对比度调整增益g_lum(ω)和亮度对比度S_lum(ω)之间进行的卷积积分作为频谱，并且卷积积分的结果被转换回图像域，由此计算出处理后图像的亮度分量Y’。

在步骤S9中，颜色饱和度增益重叠部22重叠由步骤S7中的处理获得的颜色饱和度调整增益g_col(ω)，由此计算出处理后图像的颜色饱和度分量a^*’和b^*’。

就是说，原始图像的颜色饱和度分量a^*和b^*通过傅立叶变换被转换成空间频域。此后，获得颜色饱和度调整增益g_col(ω)和颜色饱和度S_col(ω)之间进行的卷积积分作为频谱，并且卷积积分的结果被转换回图像域，由此计算出处理后图像的颜色饱和度分量a^*’和b^*’。

在步骤S8和S9中的处理可以颠倒的顺序或同时进行。

在步骤S10中，颜色转换部23进行将由CIE L^*a^*b^*表色系表示的处理后图像再次转换成由RGB表色系表示的图像的颜色转换。然后经颜色转换的处理后图像从图像处理装置1输出，并且处理结束。

[图像处理实施例]

通过参照图11的A至图12，描述的是图像处理实施例的结果。

图11的A至图11的C均示出了用于获得图12的图像处理结果的参数。

图11的A示出了使用的参数是深度调整量定义函数。

在图12的图像处理实例中，利用所使用的深度调整量函数，深度调整量ΔD根据深度信息被设置为从0.0到7.5(弧分)范围。使用中的深度信息是水平视差，该水平视差是通过计算右眼图像(R图像)和左眼图(L图像)像中的对应点之间的位移量获得的。

更具体地，对于图11的A的深度调整量定义函数，最前部的区域由+7.5(弧分)的量调整，里面区域不被调整，并且剩余区域在深度上进行线性调整，由此在主观深度量D方面增加图像的动态范围。

在这个实例中，尽管区域是通过深度调整量线性地调整的，但深度调整量定义函数可以是分段线性或非线性的。

图11的B示出了使用的参数是亮度对比度加权函数f_lum(ω)。

在图12的图像处理实例中，利用所使用的亮度对比度加权函数f_lum(ω)，如图11的B所示，主要增强高频范围。这改善了图像的亮度分量的锐度(sharpness)使得在深度控制的同时相应地改善清晰度。

图11的C示出了使用的参数是颜色饱和度加权函数f_col(ω。

在图12的图像处理实例中，如图11C所示，利用所使用的颜色饱和度加权函数f_col(ω)，使用统一加权来增强整个空间频率范围(包括DC分量)。这增强了图像中的颜色饱和度分量使得在深度控制的同时相应地改善了锐度。

图12示出了当使用三个类型的参数a和b，即，(a，b)＝(1.0，0.0)、(0.0，1.0)、和(1.0，1.0)，在图11的A至图11的C的各个条件下，进行深度控制处理时的图像处理结果。这些参数用于确定亮度对比度与颜色饱和度之间的调整平衡。

定性地，(a，b)＝(1.0，0.0)意味着仅调整亮度对比度，(a，b)＝(0.0，1.0)意味着仅调整颜色饱和度，并且(a，b)＝(1.0，1.0)意味着非常平衡地调整亮度对比度和颜色饱和度两者。

在图12中，增益值，即亮度对比度调整增益g_lum(ω)和颜色饱和度调整增益g_col(ω)，是通过图像表示可视化的，其灰度值随着增益值变大而增加。

图12示出了使用参数a和b处理原始图像以改变亮度对比度和颜色饱和度之间的调整平衡。尤其当(a，b)＝(1.0，1.0)时，除图像中的亮度分量之外，图像中的颜色饱和度分量也被调整，使得在调整对比度、边缘、阴影等的同时调整图像锐度。

如上所述，图像处理装置1的深度控制处理确定亮度对比度模型输入值I_lum的调整量Δ_lum和颜色饱和度模型输入值I_col的调整量Δ_col，这些是对应于基于输入图像中的各个像素的深度调整量定义函数确定的深度调整量ΔD的调整量。然后将亮度对比度调整增益g_lum(ω)和颜色饱和度调整增益g_col(ω)确定为分别满足调整量ΔI_lum和ΔI_col。对应于深度调整量ΔD的模 型输入值I的调整量ΔI是基于评估函数确定的，该评估函数表示通过视觉测试获得的图像的亮度对比度和颜色饱和度与深度知觉之间的定量关系。

因此，通过基于人类视觉特性调整作为单眼立体信息的参数的亮度对比度和颜色饱和度两者，在其中被感知的深度和3D形式方面对图像进行控制，由此能够在不降低图像质量的情况下产生深度控制的效果。这消除了必须控制视差以控制3D形式和深度，使得用户对于得到的3D图像不会感觉某物是错误的或者不会感觉不适。本公开内容提供给用户高清晰度和宽颜色范围显示的非常逼真的视觉体验。

同样使用深度控制处理，调整矢量n确定在评估函数空间上的查找方向，使得亮度对比度调整增益和颜色饱和度调整增益按照期望的平衡进行调整。

此外，通过用户选择存储在空间频率加权设定部20中的任何期望的函数，即，亮度对比度加权函数f_lum(ω)或颜色饱和度加权函数f_col(ω)，图像可被表征为用户优选(例如)增强低频侧、增强高频侧、增强整个空间频率范围。

[空间频率转换的其他实施例]

在以上实施方式中，描述的是通过使用傅立叶变换计算亮度对比度调整增益g_lum(ω)和颜色饱和度调整增益g_col(ω)来调整亮度对比度和颜色饱和度的实例。可替换地，也可以通过对亮度分量图像和饱和度分量图像进行小波变换，或者通过在其上使用如伽柏滤波器的带通滤波器来近似调整亮度对比度和颜色饱和度。

现在描述的是通过除傅立叶变换以外的方法调整原始图像的亮度对比度的实施例。

作为第一实施例，对于统一增强整个空间频率范围g倍，使用以下方法。

首先，在(x，y)＝(s，t)周围的矩形区域中，计算亮度的平均值Y_ave(s，t)，其中作为原始图像的位置的(x，y)表示如下。

s-dx＜x＜s+dx,t-dy＜y＜t+dy

亮度的平均值Y_ave(s，t)可以通过简单的加法求平均值或高斯平均值计算。

下面，通过使用以下等式的映射函数计算对比度调整的亮度值Y’(s，t)，获得g倍的对比度调整的亮度值Y’(s，t)。

Y’(s,t)＝G(s,t)(Y(s,t)-Y_ave(s,t))+Y_ave(s,t) 

使用这个映射函数，从原始图像中减去所有DC分量，仅AC分量乘以g，并且再次添加DC分量。

图13是以上提及的图像处理实施例的示意图。

作为第二实施例，下面描述的是增强高空间频率范围的实例。

首先，在(x，y)＝(s，t)周围的矩形区域中，使用如LOG滤波器或伽柏滤波器的多个带通线性滤波器，迅速的且容易的分析空间频率分布，其中作为原始图像的位置的(x，y)表示如下。

s-dx＜x＜s+dx,t-dy＜y＜t+dy

此后，使用图像锐化滤波器K(x，y)，通过等式27计算对比度调整的亮度值Y’(s，t)，使得得到增强的高空间频率范围的亮度值Y’(s，t)。

[数学式20]

$Y^{,}(s,t)=\underset{s-\mathrm{dx}<x<s+\mathrm{dx}}{\mathrm{\&Sigma;}}\underset{t-\mathrm{dy}<y<t+\mathrm{dy}}{\mathrm{\&Sigma;}}K(x-s,y-t)Y(x,y)\&CenterDot;\&CenterDot;\&CenterDot;\left(27\right)$

图14示出了图像锐化滤波器K(x，y)的空间频率特性。

高空间频率范围可以不通过傅立叶变换而是通过使用图像锐化滤波器增强，即，空间频域中的期望的增益倍数α作为表被存储，并且图像锐化滤波器基于矩形区域中的空间频率分布的分析结果用于自适应滤波。图像锐化滤波器K(x，y)的形状不局限于这个实施例。

[评估函数的其他实施例]

在以上实施方式中，描述的是等式8表示主观深度量D(I_lum，I_col)的评估函数的实例，该主观深度量是以亮度对比度主观深度量D_lum和颜色饱和度主观深度量D_col的组合来感知的。评估函数不限于此。

以下等式28示出了主观深度量D(I_lum，I_col)的评估函数的另一实施例。

[数学式21]

D(I_lum，I_col)＝((A_lumlog₁₀I_lum)ⁿ+(A_collog₁₀I_col)ⁿ)^1/n+B 

                         …(28)

在等式28中，A_lum、A_col、和B均是给出的恒定值。等式28的评估函数是通过亮度对比度主观深度量D_lum的第n次幂与颜色饱和度主观深度量D_col的第n次幂的和表示的模型。

图15是等式28的模型，即，量的n次幂的和表示的评估函数的映射图。与图1相似，图15示出了当亮度对比度或颜色饱和度高时物体被感知为更靠前，但是等高线形成比等式8的等高线更圆的形状。

[2.第二实施方式]

[图像处理装置的框图]

图16是示出了本发明适用的第二实施方式的图像处理装置的示例性配置的框图。

在如上所述的第一实施方式中，描述的是通过控制图像的亮度对比度和颜色饱和度调整深度的实例。在第二实施方式中，描述的是通过在不改变图像的亮度对比度的情况下仅控制图像的颜色饱和度来调整深度的实例。

在图16中，对应于图4的第一实施方式的所有组件使用相同的参考标号提供，并且不再进行描述。

在第二实施方式中，不提供的组件是亮度I值评估部15和亮度增益重叠部21。作为这些组件，即评估函数存储部17、I值调整量确定部18、调整增益计算部19、空间频率加权设定部20、和颜色饱和度增益重叠部 22的替换组件，提供其他的组件，即评估函数存储部41、I值调整量确定部42、调整增益计算部43、空间频率加权设定部44、和颜色饱和度增益重叠部45。

评估函数存储部41存储量化通过视觉测试得到的图像的颜色饱和度和深度知觉之间的关系的评估函数。

图17示出了存储在评估函数存储部41中的示例性评估函数。

图17的评估函数由以下等式29表示。

[数学式22]

D_col＝A_collog₁₀I_col+B_col…(29)

在等式29中，A_col和B_col均是给定的恒定值，并且在图17中，A_col是10.3，并且B_col是-11.5。

如图18所示，从原始图像的颜色饱和度模型输入值I_col出发，I值调整量确定部42查找评估函数以找到主观深度量是D₀+ΔD的模型输入值I’_col。

获得主观深度量是的D₀+ΔD的模型输入矢量I’_col之后，颜色饱和度模型输入值I_col的调整量ΔI_col通过等式18获得。

调整增益计算部43通过如上所述的等式20计算颜色饱和度调整增益g_col(ω)。

空间频率加权设定部44存储由用户的操作设定的各种颜色饱和度加权函数f_col(ω)。就是说，与第一实施方式中的空间频率加权设定部20不同，空间频率加权设定部44不存储亮度对比度加权函数f_lum(ω)。

使用由调整增益计算部43计算的颜色饱和度调整增益gcol(ω)，颜色饱和度增益重叠部45计算处理后图像的颜色饱和度分量a^*，和b^*，(处理图像a^*，和b^*，)。计算结果提供给颜色转换部23。

图19是示出颜色饱和度增益重叠部45的示例性详细配置的框图。

颜色饱和度增益重叠部45包括傅立叶变换部61A和61B、增益卷积部62A和62B、以及傅立叶逆变换部63A和63B。

组件，即傅立叶变换部61A、增益卷积部62A、和傅立叶逆变换部63A在原始图像的颜色饱和度分量a^*上执行重叠颜色饱和度调整增益g_col(ω)的处理。另一方面，组件，即，傅立叶变换部61B、增益卷积部62B、和傅立叶逆变换部63B在原始图像的颜色饱和度分量b^*上执行重叠颜色饱和度调整增益g_col(ω)的处理。

傅立叶变换部61A通过如上所述的等式24的傅立叶变换将原始图像的颜色饱和度分量a^*转换到空间频域。

通过等式25，增益卷积部62A将由调整增益计算部43计算的颜色饱和度调整增益g_col(ω)重叠在傅立叶系数f(u，v)上。这就获得了空间频域中增益调整的处理后图像的颜色饱和度分量a^*，。

傅立叶逆变换部63A进行如上所述的等式26的傅立叶逆变换以将通过重叠颜色饱和度调整增益g_col(ω)得到的频谱转换回图像域。这就获得了图像域上的处理后图像的颜色饱和度分量a^*，。

除操作对象不是原始图像的颜色饱和度分量a^*而是其颜色饱和度分量b^*以外，由以下组件，即傅立叶变换部61B、增益卷积部62B、傅立叶逆变换部63B进行的处理与由以下组件，即傅立叶变换部61A、增益卷积部62A、和傅立叶逆变换部63A进行的处理相似。因此不再描述这些处理。

除不处理亮度分量Y’以外，在第二实施方式中图像处理装置1的深度控制处理与参照图10描述的第一实施方式中的图像处理装置进行的处理相似。

如上所述，使用第二实施方式中的图像处理装置1，深度控制通过仅调整原始图像的颜色饱和度来进行。这允许调整图像锐度，并且在不降低图像质量的情况下实现深度控制。

应注意，图像处理装置1可以配置为如上所述的第一实施方式和第二实施方式，并且可以有选择地仅基于原始图像的颜色饱和度或者基于原始图像颜色饱和度和亮度对比度两者来调整深度量。

在上文中，描述的是进行连续傅立叶变换来转换成空间频域或逆转换成图像域的实例。使用离散傅立叶变换，以上等式24至26分别由以下等式30至32表示。

[数学式23]

$f(u,v)=\frac{1}{\mathrm{MN}}\underset{k=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{l=0}{\overset{N-1}{\mathrm{\&Sigma;}}}f(k,l)W_M^{\mathrm{kx}}{W}_N^{\mathrm{ly}}\&CenterDot;\&CenterDot;\&CenterDot;\left(30\right)$

其中，

k＝0，1，2，…，M-1 u＝0，1，2，…，M-1

l＝0，1，2，…，N-1 v＝0，1，2，…，N-1

W_M＝e^-2jπ/M W_N＝e^-2jπ/N

f'(u，v)＝f(u，v)·g(x，y)…(31)

$f(k,l)=\underset{k=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{l=0}{\overset{N-1}{\mathrm{\&Sigma;}}}f(u,v)W_M^{-\mathrm{kx}}{W}_N^{-\mathrm{ly}}\&CenterDot;\&CenterDot;\&CenterDot;\left(32\right)$

[3.第三实施方式]

[关于2D图像的示例性深度控制]

在如上所述的实施方式中，描述的是输入图像是让观看者感觉图像是3D的3D图像的实例。

然而，本公开内容不仅可适用于这种3D图像而且还可适用于普通的2D图像。因此，以下描述的是通过在亮度和颜色饱和度分量(或者仅颜色饱和度分量)方面控制2D图像来调整深度量的实例。

为了调整2D图像的深度量，如果深度量对于2D图像中的各个像素是可分析的，那么其数据格式变得相当于3D图像的第三数据格式，即，2D图像与关于2D图像的深度信息的组合。2D图像的深度量因此变得可用于调整。

因此，以下描述的是由深度评估部12进行的关于2D图像的深度量的计算。

首先，深度评估部12使用诸如块匹配的运动检测的预定技术检测2D物体图像的帧到帧运动。

图20和图21均是示出块匹配(blocking matching)的示图。

使用块匹配，如图20所示，目标像素周围的预定的块，例如，具有3×3像素的块，被定义为参考块。本文中，目标像素是第N帧中的各个像素。

下面，搜索对应于目标像素的第N+1帧中的像素周围的预定搜索区域以找到与参考块大部分相似的对应块。

对于对应块的搜索，使用的是以下成本函数，例如。

[数学式24]

${\mathrm{Cost}}_{\mathrm{SAD}}=\underset{j=0}{\overset{N-1}{\mathrm{\&Sigma;}}}\underset{i=0}{\overset{M-1}{\mathrm{\&Sigma;}}}|M(i,j)-T(i,j)|\&CenterDot;\&CenterDot;\&CenterDot;\left(33\right)$

成本函数Cost_SAD由第N帧中的参考块与与第N+1帧的搜索区域中的比较块中的任意两个对应像素的绝对差值的和表示。如图21所示，成本函数的Cost_SAD随着块之间的相似度变高而减小。因此，在搜索区域中的多个比较块之中，可以检测到成本函数Cost_SAD取最小值的比较块，以找到对应于参考块的块，由此能够检测物体的运动。

为了检测物体的运动，块匹配不是唯一的选择，并且同样可以用任何其他的技术，例如，梯度法或运动中恢复结构(Structure From Motion)。

在2D图像中被检测出物体的运动之后，深度评估部12可以基于检测的物体的运动来检测2D图像中各个像素的深度量。检测是在以下规则下进行的，即“靠前定位的物体看起来像以更快的速度移动”和“移动更长距离的物体更靠近前面”。

应注意，这种运动检测不是用作计算2D图像中的深度量的基础的唯一选择。可替换地，可以通过分割图像进行结构分析以确定其3D形状，并且基于该结果，可以计算深度量。

[计算机的应用例]

如上所述的一系列处理可通过硬件或者软件执行。为了软件执行一系列处理，软件中的程序被安装在计算机中。本文中，例如，计算机包括为此专门设计的硬件中的计算机，或者可通过安装各种程序执行各种功能的通用的个人计算机。

图22是示出通过运行程序进行一系列如上所述的处理的计算机的示例性硬件配置的框图。

在计算机中，总线104将CPU(中央处理器)101、ROM(只读存储器)102、和RAM(随机存取存储器)103连接在一起。

总线104还与输入/输出接口105相连接。输入/输出接口105与输入部106、输出部107、存储部108、通信单元109、和驱动器110相连接。

输入部106包括键盘、鼠标、麦克风、或其他，并且输出部107包括显示器、扬声器、或其他。存储部108例如是硬盘、或非易失存储器。通信单元109例如是网络接口。驱动器110驱动可移动介质111，例如磁盘、光盘、磁光盘、半导体存储器、或其他。

使用上述配置的计算机，例如，通过输入/输出接口105和总线104将存储部108中的程序加载到RAM 103来运行，由CPU 101执行如上所述的一系列处理。

通过将可移动的记录介质111安装到驱动器110，由计算机运行的程序可以经由输入/输出接口105安装在存储部108中。程序可以通过通信单元109经由包括局域网、因特网、数字卫星广播等的有线或无线传输介质接收后安装在存储部108中。程序还可以预先安装在ROM 102或存储部108中。

本公开内容的实施方式的以上说明在各方面都是说明性的而不是限制性的。应理解的是，可以在不背离本公开内容的范围的情况下设计许多其他变形和修改。

举例来说，如上所述的实施方式可以与用途完全地或局部地结合在一起。

本公开内容可适用于云计算，借助云计算，通过网络连接的多个装置通过共享和功能的协作来进行处理。

可以通过一个装置或通过进行共享的多个装置来执行如上所述的流程图中的步骤。

当一个步骤包括多种类型的处理时，该步骤中的多种类型的处理可以通过一个装置或通过进行共享的多个装置来执行。

此外，此说明书中描述的效果是示例性的而不是限制性的，并且还可以产生任何其他的效果。

本公开内容还可以是以下结构。

(1)一种图像处理装置，包括：

深度调整量确定部，被配置为确定输入图像的深度调整量；

评估函数存储部，被配置为存储评估函数，所述评估函数表示图像的主观深度量与所述图像的颜色饱和度分量的关系，所述主观深度量是用户主观感觉的深度量；

输入值调整量确定部，被配置为基于所述评估函数确定输入值的调整量，所述输入值的调整量表示视网膜对与确定的所述深度调整量对应的所述颜色饱和度分量的响应；

调整增益计算部，被配置为基于确定的所述输入值的调整量计算各空间频率分量的调整增益；以及

增益重叠部，被配置为将各个所述空间频率分量的调整增益重叠在所述输入图像的所述颜色饱和度分量上，由所述调整增益计算部计算所述空间频率分量的调整增益。

(2)根据(1)所述的图像处理装置，其中

所述评估函数存储部存储所述评估函数，所述评估函数不仅表示所述主观深度量与所述颜色饱和度分量的关系，而且表示所述主观深度量与图像的亮度对比度分量的关系，

除表示所述视网膜对所述颜色饱和度分量的响应的所述输入值的调整量之外，所述输入值调整量确定部基于所述评估函数还确定另一输入值的调整量，所述另一输入值的调整量表示视网膜对与确定的所述深度调整量对应的亮度对比度分量的响应，

对于所述亮度对比度分量和所述颜色饱和度分量中的每一个，所述调整增益计算部基于所述输入值的调整量计算各个所述空间频率分量的调整增益，并且

对于所述亮度对比度分量和所述颜色饱和度分量中的每一个，所述增益重叠部将各个所述空间频率分量的调整增益重叠在所述输入图像上，由所述调整增益计算部计算所述空间频率分量的调整增益。

(3)根据(2)所述的图像处理装置，其中

所述输入值调整量确定部包括用于设定所述亮度对比度分量与所述颜色饱和度分量之间的调整平衡的参数，并且利用由所述参数设定的所述调整平衡，确定表示所述视网膜对所述亮度对比度分量和所述颜色饱和度分量的响应的输入值的调整量。

(4)根据(2)或(3)所述的图像处理装置，其中

表示所述主观深度量与所述颜色饱和度分量以及与所述亮度对比度分量的关系的所述评估函数满足

[数学式25]

$D(I_{\mathrm{lum}},I_{\mathrm{col}})=\left\{\begin{array}{cc}{D}_{\mathrm{lum}}+B,& D_{\mathrm{col}}<D_{\mathrm{lum}}\\ D_{\mathrm{col}}+B,& D_{\mathrm{col}}\&GreaterEqual;D_{\mathrm{lum}}\end{array}\right.$

D_lum＝A_lumlog₁₀I_lum，D_col＝A_collog₁₀I_col

其中，I_col表示所述颜色饱和度分量、I_lum表示所述亮度对比度分量、D_col表示所述颜色饱和度分量的所述主观深度量、D_lum表示所述亮度对比度分量的所述主观深度量、并且D(I_lum，I_col)表示所述颜色饱和度分量和所述亮度对比度分量的组合的所述主观深度量，A_lum、A_col和B各自是给定的常数。

(5)根据(2)或(3)所述的图像处理装置，其中

表示所述主观深度量与所述颜色饱和度分量以及与所述亮度对比度分量的关系的所述评估函数满足

[数学式26]

D(I_lum，I_col)＝((A_lumlog₁₀I_lum)ⁿ+(A_collog₁₀I_col)ⁿ)^1/n+B 

其中，I_col表示所述颜色饱和度分量、I_lum表示所述亮度对比度分量、并且D(I_lum，I_col)表示所述颜色饱和度分量与所述亮度对比度分量的组合的所述主观深度量，A_lum、A_col、和B各自是给定的常数。

(6)根据(1)所述的图像处理装置，其中

表示所述主观深度量与所述颜色饱和度分量的关系的所述评估函数满足

D_col＝A_col log₁₀I_col+B_col

其中，I_col表示所述颜色饱和度分量，并且D_col表示所述主观深度量，A_col和B_col各自是给定的常数。

(7)根据(1)至(6)中的任一项所述的图像处理装置，其中

所述输入图像是三维(3D)图像。

(8)根据(7)所述的图像处理装置，其中，

所述3D图像作为包括右眼图像和左眼图像的立体图像输入。

(9)根据(7)所述的图像处理装置，其中

所述3D图像作为包括从三个或更多位置观看的三个或更多图像的多视点图像输入。

(10)根据(7)所述的图像处理装置，其中

所述3D图像以二维(2D)图像和关于所述2D图像的深度信息的组合的数据格式输入。

(11)根据(1)至(6)中的任一项所述的图像处理装置，其中

所述输入图像是2D图像。

(12)根据(1)至(11)中的任一项所述的图像处理装置，还包括

颜色转换部，所述颜色转换部被配置为将所述输入图像的表色系从RGB转换成CIE L^*a^*b^*。

(13)根据(1)至(12)中的任一项所述的图像处理装置，还包括：

深度信息评估部，被配置为根据所述输入图像评估深度信息；以及

深度调整量定义函数存储部，被配置为存储定义关于所述深度信息的深度调整量的深度调整量定义函数，所述深度调整量确定部基于所述深度调整量定义函数使用评估的所述深度信息确定所述深度调整量。

(14)根据(13)所述的图像处理装置，其中

当所述输入图像是2D图像时，所述深度信息评估部基于所述2D图像的分析结果评估所述深度信息。

(15)根据(1)至(14)中的任一项所述的图像处理装置，还包括

空间频率加权设定部，所述空间频率加权设定部被配置为设定各个所述空间频率分量的调整增益的加权的函数，所述调整增益计算部通过将所述输入值的调整量乘以所述函数计算所述调整增益。

(16)根据(1)至(15)中的任一项所述的图像处理装置，其中

所述增益重叠部将所述输入图像转换到频域，并且将卷积积分的结果转换回图像域，所述卷积积分的结果是通过在所述频域的图像与各个所述空间频率分量的调整增益之间进行卷积积分得到的。

(17)根据(16)所述的图像处理装置，其中

所述增益重叠部通过傅立叶变换将所述输入图像转换到所述频域，并且通过傅立叶逆变换将所述频域的图像转换回所述图像域。

(18)根据(1)至(17)中的任一项所述的图像处理装置，其中

当所述深度调整量为正时，由所述输入值调整量确定部确定的所述输入值的调整量也是正的，并且当所述深度调整量为负时，由所述输入值调整量确定部确定的所述输入值的调整量也是负的。

(19)一种图像处理方法，包括：

通过被配置为对输入图像进行处理的图像处理装置

确定输入图像的深度调整量；

基于评估函数确定输入值的调整量，所述评估函数表示图像的颜色饱和度分量与主观深度量的关系，所述主观深度量是用户主观感觉的深度量，所述输入值的调整量表示视网膜对与确定的所述深度调整量对应的所述颜色饱和度分量的响应；

基于确定的所述输入值的调整量计算各个空间频率分量的调整增益；并且

将计算的各个所述空间频率分量的调整增益重叠在所述输入图像的所述颜色饱和度分量上。

(20)一种使计算机作用如下的程序：

深度调整量确定部，被配置为确定输入图像的深度调整量；

输入值调整量确定部，被配置为基于评估函数确定输入值的调整量，所述评估函数表示图像的主观深度量与颜色饱和度分量的关系，所述主观深度量是用户主观感觉的深度量，所述输入值的调整量表示视网膜对与确定的所述深度调整量对应的所述颜色饱和度分量的响应；

调整增益计算部，被配置为基于确定的所述输入值的调整量计算各个空间频率分量的调整增益；以及

增益重叠部，被配置为将计算的各个所述各空间频率分量的调整增益重叠在所述输入图像的所述颜色饱和度分量上。

本领域的技术人员应当理解，根据设计要求和其他因素，只要这些变形和修改在本发明所附权利要求书及其等同范围内，就存在各种修改、组合、子组合和变形。

Claims (20)

1.一种图像处理装置，包括：

深度调整量确定部，被配置为确定输入图像的深度调整量；

评估函数存储部，被配置为存储评估函数，所述评估函数表示图像的主观深度量与所述图像的颜色饱和度分量的关系，所述主观深度量是用户主观感觉的深度量；

输入值调整量确定部，被配置为基于所述评估函数确定输入值的调整量，所述输入值的调整量表示视网膜对与确定的所述深度调整量对应的所述颜色饱和度分量的响应；

调整增益计算部，被配置为基于确定的所述输入值的调整量计算各个空间频率分量的调整增益；以及

增益重叠部，被配置为将各个所述空间频率分量的调整增益重叠在所述输入图像的所述颜色饱和度分量上，由所述调整增益计算部计算所述空间频率分量的调整增益。

2.根据权利要求1所述的图像处理装置，其中

所述评估函数存储部存储所述评估函数，所述评估函数不仅表示所述主观深度量与所述颜色饱和度分量的关系，而且表示所述主观深度量与图像的亮度对比度分量的关系，

除表示所述视网膜对所述颜色饱和度分量的响应的所述输入值的调整量之外，所述输入值调整量确定部基于所述评估函数还确定另一输入值的调整量，所述另一输入值的调整量表示视网膜对与确定的所述深度调整量对应的亮度对比度分量的响应，

对于所述亮度对比度分量和所述颜色饱和度分量中的每一个，所述调整增益计算部基于所述输入值的调整量计算各个所述空间频率分量的调整增益，并且

对于所述亮度对比度分量和所述颜色饱和度分量中的每一个，所述增益重叠部将各个所述空间频率分量的调整增益重叠在所述输入图像上，由所述调整增益计算部计算所述空间频率分量的调整增益。

3.根据权利要求2所述的图像处理装置，其中

所述输入值调整量确定部包括用于设定所述亮度对比度分量与所述颜色饱和度分量之间的调整平衡的参数，并且利用由所述参数设定的所述调整平衡，确定表示所述视网膜对所述亮度对比度分量和所述颜色饱和度分量的响应的输入值的调整量。

4.根据权利要求2所述的图像处理装置，其中

表示所述主观深度量与所述颜色饱和度分量以及与所述亮度对比度分量的关系的所述评估函数满足

[数学式25]

$D(I_{\mathrm{lum}},I_{\mathrm{col}})=\left\{\begin{array}{c}{D}_{\mathrm{lum}}+B,D_{\mathrm{col}}<D_{\mathrm{lum}}\\ D_{\mathrm{col}}+B,D_{\mathrm{col}}\&GreaterEqual;D_{\mathrm{lum}}\end{array}\right.$

D_lum＝A_lumlog₁₀I_lum，D_col＝A_collog₁₀I_col

其中，I_col表示所述颜色饱和度分量，I_lum表示所述亮度对比度分量，D_col表示所述颜色饱和度分量的所述主观深度量，D_lum表示所述亮度对比度分量的所述主观深度量，并且D(I_lum，I_col)表示所述颜色饱和度分量和所述亮度对比度分量的组合的所述主观深度量，A_lum、A_col和B各自是给定的常数。

5.根据权利要求2所述的图像处理装置，其中

表示所述主观深度量与所述颜色饱和度分量以及与所述亮度对比度分量的关系的所述评估函数满足

[数学式26]

D(O_lum，I_col)＝((A_lumlog₁₀I_lum)ⁿ+(A_collog₁₀I_col)ⁿ)^1/n+B

其中，I_col表示所述颜色饱和度分量，I_lum表示所述亮度对比度分量，并且D(I_lum，I_col)表示所述颜色饱和度分量与所述亮度对比度分量的组合的所述主观深度量，A_lum、A_col、和B各自是给定的常数。

6.根据权利要求1所述的图像处理装置，其中

表示所述主观深度量与所述颜色饱和度分量的关系的所述评估函数满足

D_col＝A_collog₁₀I_col+B_col

其中，I_col表示所述颜色饱和度分量，并且D_col表示所述主观深度量，A_col和B_col各自是给定的常数。

7.根据权利要求1所述的图像处理装置，其中

所述输入图像是三维图像。

8.根据权利要求7所述的图像处理装置，其中

所述三维图像作为包括右眼图像和左眼图像的立体图像输入。

9.根据权利要求7所述的图像处理装置，其中

所述三维图像作为包括从三个或更多位置观看的三个或更多图像的多视点图像输入。

10.根据权利要求7所述的图像处理装置，其中

所述三维图像以二维图像和关于所述二维图像的深度信息的组合的数据格式输入。

11.根据权利要求1所述的图像处理装置，其中

所述输入图像是二维图像。

12.根据权利要求1所述的图像处理装置，还包括

颜色转换部，所述颜色转换部被配置为将所述输入图像的表色系从RGB转换成CIE L^*a^*b^*。

13.根据权利要求1所述的图像处理装置，还包括：

深度信息评估部，被配置为根据所述输入图像评估深度信息；以及

深度调整量定义函数存储部，被配置为存储对关于所述深度信息的深度调整量定义的深度调整量定义函数，所述深度调整量确定部基于所述深度调整量定义函数使用评估的所述深度信息确定所述深度调整量。

14.根据权利要求13所述的图像处理装置，其中

当所述输入图像是二维图像时，所述深度信息评估部基于所述二维图像的分析结果评估所述深度信息。

15.根据权利要求1所述的图像处理装置，还包括

空间频率加权设定部，所述空间频率加权设定部被配置为设定各个所述空间频率分量的调整增益的加权的函数，所述调整增益计算部通过将所述输入值的调整量乘以所述函数来计算所述调整增益。

16.根据权利要求1所述的图像处理装置，其中

所述增益重叠部将所述输入图像转换到频域，并且将卷积积分的结果转换回图像域，所述卷积积分的结果是通过在所述频域的图像与各个所述空间频率分量的调整增益之间进行卷积积分得到的。

17.根据权利要求16所述的图像处理装置，其中

所述增益重叠部通过傅立叶变换将所述输入图像转换到所述频域，并且通过傅立叶逆变换将所述频域的图像转换回所述图像域。

18.根据权利要求1所述的图像处理装置，其中

当所述深度调整量为正时，由所述输入值调整量确定部确定的所述输入值的调整量也是正的，并且当所述深度调整量为负时，由所述输入值调整量确定部确定的所述输入值的调整量也是负的。

19.一种图像处理方法，包括：

通过被配置为对输入图像进行处理的图像处理装置

确定输入图像的深度调整量；

基于评估函数确定输入值的调整量，所述评估函数表示图像的颜色饱和度分量与主观深度量的关系，所述主观深度量是用户主观感觉的深度量，所述输入值的调整量表示视网膜对与确定的所述深度调整量对应的所述颜色饱和度分量的响应；

基于确定的所述输入值的调整量计算各个空间频率分量的调整增益；并且

将计算出的各个所述空间频率分量的调整增益重叠在所述输入图像的所述颜色饱和度分量上。

20.一种程序，其使计算机用作：

深度调整量确定部，被配置为确定输入图像的深度调整量；

输入值调整量确定部，被配置为基于评估函数确定输入值的调整量，所述评估函数表示图像的主观深度量与颜色饱和度分量的关系，所述主观深度量是用户主观感觉的深度量，所述输入值的调整量表示视网膜对与确定的所述深度调整量对应的所述颜色饱和度分量的响应；

调整增益计算部，被配置为基于确定的所述输入值的调整量计算各个空间频率分量的调整增益；以及

增益重叠部，被配置为将计算出的各个所述各空间频率分量的调整增益重叠在所述输入图像的所述颜色饱和度分量上。