CN102802008B - 图像处理装置、图像处理方法以及图像处理程序 - Google Patents

Abstract

本发明提供了图像处理装置、图像处理方法以及图像处理程序。通过基于人类的视觉特性调整单眼3D信息的参数，可呈现几乎不引起人类不舒服和不愉快的感觉的3D图像。输入值调整量确定部基于评估函数确定与确定的深度调整量对应的输入值的调整量。调整增益计算部基于输入值的调整量计算每个输入3D图像的空间频率分量的增益值。图像调整部根据为空间频率分量分别计算的增益值调整空间频率分量。本发明通常可以应用于用于调整输入3D图像的深度的图像处理装置。

Description

图像处理装置、图像处理方法以及图像处理程序

技术领域

总地来说，本发明涉及图像处理装置、图像处理方法以及图像处理程序。更详细地，本发明涉及通过基于人视觉特性调整单眼3D信息的参数而能够呈现几乎不引起人不舒服或不愉快的感觉的3D（三维）图像的图像处理装置，并且涉及该装置所采用的图像处理方法和执行该方法的图像处理程序。

背景技术

作为在2D显示屏幕上呈现2D（二维）图像并使图像观看者视觉上将该2D图像感知为3D图像的方法，提供了用于分别向图像观看者的左右眼提供具有双眼视差（即，左右眼之间的视差）的左眼2D图像和右眼2D图像的方法。

人类用于视觉感知被观看物体的空间和深度效果的信息包括通过左右眼提供的双眼3D信息和通过单眼提供的单眼3D信息。人通过结合双目3D信息和单眼3D信息而在视觉上感知被观看物体和/或空间的空间和深度效果。双眼3D信息通常包括双眼视差和水平汇聚，而单眼3D信息通常包括阴影、对比度、颜色、空间频率和遮蔽关系。

当期望在用于在2D显示屏幕上呈现2D图像并使图像观看者视觉上将该2D图像感知为3D图像的方法中强调被观看物体的空间和深度效果时，可提供用于增加包括在双眼3D信息中的双眼视差的典型技术。

然而，从人类眼球结构的观点和从人类视觉特性的观点看，用于增加双眼视差的技术存在如下所述的问题。通常，与平行线相比较，人类眼球处于微向内汇聚的状态中，当双眼视差大于瞳孔之间的距离时，眼睛处于向外发散的状态中。由于人类瞳孔之间的距离根据人的年龄和性别而变化，所以更具体地，具有小于标准值的瞳孔距离的人可以容易处于向外发散的状态中。

此外，在现实世界中，眼睛的视线定向于观看点方向，并且调节眼睛的焦点至观看点。因此，眼球的汇聚与调整的距离相匹配。然而，当视觉感知的左眼2D图像和右眼2D图像作为3D图像时，调整汇聚至视觉感知3D图像的位置上，但是该调整被实施为对图像显示屏幕的调整。因此，从眼球汇聚获得的距离与作为调整结果而获得的距离不匹配。因此，如果通过增加双眼视差来强调被观看物体的空间和深度效果，那么从眼球汇聚获得的距离与作为调整结果而获得的距离之间不匹配的状态在距离彼此不匹配的方向上改变。结果，图像观看者容易视觉感知不自然且容易感觉不舒服和视觉疲劳。

为了解决上述问题，为了减少图像观看者所感觉的不舒服和视觉疲劳，同样已经提出了用于调整双眼视差的方法。根据在日本专利第3749227号（下文称为专利文献1）中公开的方法，呈现具有以彼此不同的值设定的双眼视差的多个样本图像，并且通过获得关于对于每个呈现的样本图像该双眼视差是否可接受的响应来调整双眼视差。

然而，如果为了减少图像观看者所感觉的不舒服和视觉疲劳而通过采用在专利文献1中公开的方法进行努力，那么在减小被观看物体的空间和深度效果的方向中主要调整双眼视差，使得不失去现实感和/或真实感。此外，如果从双眼3D信息视觉感知的空间和深度效果不同于从单眼3D信息视觉感知的空间和深度效果，那么图像观看者同样感觉不自然。

因此，通过增加双眼视差来强调空间和深度效果的方法不是适当的方法。

另一方面，也已经提出了通过使用单眼3D信息来强调空间和深度效果的方法。根据在日本专利公开第2001-238231号（下文称为专利文献2）中公开的已提出的方法，例如，为了强调深度效果，根据图像中物体的位置改变物体的单眼3D信息。在这种情况下，变化的单眼3D信息是阴影、遮蔽关系以及表示模糊状态的特性。

发明内容

然而，专利文献2没有具体公开将设定哪些参数，将基于什么公式设定参数，以及什么值将用作设定参数的值。尽管基于试错的值设定参数，但是不保证因而产生的用于左眼的2D图像和用于右眼的2D图像对于人类来说是自然和舒服的。更确切地，同样存在图像观看者感觉不自然和不舒服（这导致视觉疲劳）的可能性。

因此本发明提出上述问题，期望通过基于人的视觉特性来调整单眼3D信息的参数而提供能够呈现几乎不引起人不舒服或不愉快的感觉的3D图像。

根据本发明实施方式的一种图像处理装置，包括：

深度调整量确定部，被配置为确定输入三维图像的深度调整量；

评估函数存储部，被配置为存储表示输入值与被定义为使用者主观感觉的深度量的主观深度量之间的关系的评估函数，其中，对于包括在整个该输入三维图像中的空间频率分量被分为N个空间频率分量的情况，该输入值是N个乘积的总和，其中，每个该乘积作为将包括在该输入三维图像中的每一个该空间频率分量的对比度与分配给各个该空间频率分量的权重相乘的结果而获得；

输入值调整量确定部，被配置为基于该评估函数确定与该深度调整量对应的所述输入值的调整量；

调整增益计算部，被配置为基于通过该输入值调整量确定部确定的该输入值的调整量计算每个空间频率分量的增益值；以及

图像调整部，被配置为根据通过该调整增益计算部为该空间频率分量分别计算的该增益值调整该输入三维图像的该空间频率分量。

根据本技术实施例的一种图像处理方法包括：

确定输入三维图像的深度调整量；

基于表示输入值与被定义为使用者主观感觉的深度量的主观深度量之间的关系的评估函数确定与确定的所述深度调整量对应的输入值的调整量，其中，对于包括在整个该输入三维图像中的空间频率分量被分为N个空间频率分量的情况，该输入值是N个乘积的总和，其中，每个该乘积作为将包括在该输入三维图像中的每一个该空间频率分量的对比度与分配给各个该空间频率分量的权重相乘的结果而获得；

基于确定的该输入值的该调整量计算每个该空间频率分量的增益值；以及

根据为该空间频率分量分别计算的该增益值调整该输入三维图像的该空间频率分量调整。

根据本发明实施方式提供的图像处理程序用作通过计算机执行的程序，执行的处理包括：

确定输入三维图像的深度调整量；

基于表示输入值与被定义为使用者主观感觉的深度量的主观深度量之间的关系的评估函数确定与确定的所述深度调整量对应的输入值的调整量，其中，对于包括在整个该输入三维图像中的空间频率分量被分为N个空间频率分量的情况，该输入值是N个乘积的总和，其中，每个该乘积作为将包括在该输入三维图像中的每一个该空间频率分量的对比度与分配给各个该空间频率分量的权重相乘的结果而获得；

基于确定的该输入值的该调整量计算每个该空间频率分量的增益值；以及

根据为该空间频率分量分别计算的该增益值调整该输入三维图像的该空间频率分量。

根据本发明实施方式，确定输入3D图像的深度调整量。此外，基于表示输入值与被定义为使用者主观感觉的深度量的主观深度量之间的关系的评估函数确定与确定的该深度调整量对应的输入值的调整量，其中，对于包括在整个该输入三维图像中的空间频率分量被分为N个空间频率分量的情况，该输入值是N个乘积的总和，其中，每个该乘积作为将包括在该输入三维图像中的每一个该空间频率分量的对比度与分配给各个该空间频率分量的权重相乘的结果而获得。另外，基于确定的该输入值的该调整量计算每个该空间频率分量的增益值，根据为该空间频率分量分别计算的该增益值调整该输入三维图像的该空间频率分量调整。

注意，可以通过经由传输介质传输程序或通过向记录装置中的记录介质记录程序而向使用者提供图像处理程序。

记录装置可以是独立的单元或包括在装置中的内部块。

根据本发明的实施方式，可以控制3D图像的深度效果。

根据本发明的实施方式，通过基于人视觉特性调整单眼3D信息的参数，可以向人提供几乎不引起人不舒服或不愉快感觉的3D图像。

附图说明

图1是示出根据本发明第一实施方式的图像处理装置的典型构造的框图；

图2是示出典型的深度调整量定义函数的图示；

图3是示出典型的评估函数的图示；

图4是示出空间频率和深度效率之间的关系的图示；

图5是通过输入值调整量确定部执行处理的描述所参照的说明性图示；

图6至图8B是由深度控制部执行处理的详细描述所参照的说明性图示；

图9示出深度控制处理的描述所参照的流程图；

图10是示出典型的加权函数的多个图示；

图11是示出另一典型的加权函数的多个图示；

图12是示出又一典型的加权函数的多个示图；

图13是示出时间频率与深度效率之间的关系的图示；

图14是示出根据本发明第二实施方式的图像处理装置的典型构造的框图；以及

图15是示出根据本发明实施方式的计算机的典型构造的框图。

具体实施方式

1.第一实施方式

[图像处理装置的典型构造]

图1是示出根据本发明第一实施方式的图像处理装置1的典型构造的框图。

为了强调3D图像的深度效果，图像处理装置1执行处理以调整输入3D图像的空间频率。这种情况下，该3D图像是使图像观看者视觉上将2D图像感知为3D图像的2D图像。

通过图像处理装置1输入的3D图像被提供给亮度分量计算部11。注意，通过图像处理装置1从外部源接收的3D图像可以具有各种数据格式。然而，数据格式没有特别规定。输入3D图像的典型数据格式包括第一、第二、以及第三数据格式。第一数据格式是由用于左眼的图像的L图像和用于右眼的图像的R图像构成的立体图像的格式。第二数据格式是由多个视点图像构成的多视点图像的格式。通常，多视点图像由3个以上的视点图像构成。第三数据格式是为2D图像和2D图像的深度信息提供的格式。在该实施方式中，假设3D图像的图像数据以第一数据格式被提供给图像处理装置1，图像处理装置1因此对3D图像的左眼和右眼图像执行处理。

亮度分量计算部11计算由左眼图像和右眼图像构成的输入3D图像的亮度分量。如果通过基于RGB颜色坐标系统中RGB（红、绿、蓝）值的线性表达式表示3D图像，那么亮度分量计算部11通过根据如下在ITU-RBT709规范中规定的等式（1）将RGB值变换为亮度值Y来计算输入3D图像的亮度分量。

Y＝0.2126R+0.7152G+0.0722B·····(1)

通过使用等式（1），可以获得左眼图像或右眼图像的亮度图像。在下面的描述中，如果左眼图像和右眼图像没有彼此区分，那么左眼图像的亮度图像和右眼图像的亮度图像被简单称作亮度图像。此外，即使在3D图像的情况下，对左眼图像的亮度图像和右眼图像的亮度图像执行处理。注意，不是总需要通过基于RGB值（或RGB信号）的表达式表示3D图像。即，如果通过CIEXYZ坐标系统中的XYZ值表示3D图像，那么由亮度值Y构成的图像用作亮度图像。此外，可以通过采用除了基于等式（1）的方法以外的方法计算亮度值。亮度分量计算部11向深度推断部12提供作为执行的计算的结果而获得的亮度图像。

深度推断部12相对于从亮度分量计算部11接收的亮度图像的每个像素推断深度信息（或视差）。具体而言，深度推断部12计算所谓的双眼视差，即立体图像中的对应点之间水平方向偏移，并且基于计算的双眼视差，近似计算深度信息。深度推断部12能够通过采用诸如块匹配技术或DP（动态规划）匹配技术的技术计算双眼视差。

此外，如果通过图像处理装置1接收的3D图像具有第二数据格式，那么深度推断部12相对于3个以上视点图像的两个相对应的视点图像计算双眼视差，并且基于计算的双眼视差，近似计算深度信息。如果通过图像处理装置1接收的3D图像具有第三数据格式，那么另一方面，它自身的深度信息被提供给深度推断部12，使得深度推断部12使用向其提供的深度信息。

深度推断部12向深度调整量确定部14提供深度信息。

深度调整量定义函数存储部13用于存储针对每个深度信息（或每个深度值）定义深度调整量的深度调整量定义函数。深度调整量确定部14从深度调整量定义函数存储部13读取深度调整量定义函数。

[典型的深度调整量定义函数]

图2是示出存储在深度调整量定义函数存储部13中的典型的深度调整量定义函数的示图。

图2的水平轴代表在输入3D图像中检测到的深度信息（像素），而图2的垂直轴表示深度调整量（弧分）。图像上的物体的深度信息的正值表示使用者视觉感知内侧上的物体的视差，而图像上的物体的深度信息的负值表示使用者视觉感知外侧上的物体的视差。另一方面，深度调整量的正值表示向外侧的变化，而深度调整量的负值表示向内侧的变化。

根据图2所示的深度调整量定义函数，通过作为向更内侧位置上的变化的经由深度调整量表示的变化移动通过深度信息表示的输入3D图像中相对内侧上存在的物体，但是通过作为向更外侧位置上的变化的经由深度调整量表示的变化移动通过深度信息表示的输入3D图像中相对外侧上存在的物体。

基于存储在深度调整量定义函数存储部13中的这种深度调整量定义函数，图1中示出的深度调整量确定部14为确定亮度图像中每个像素的深度调整量。例如，对于亮度图像中具有d深度信息的像素，深度调整量确定部14根据深度调整量定义函数确定深度调整量ΔD。

回到提及的图1。评估函数存储部15用于存储对输入值I与主观深度量z之间的关系进行量化的评估函数。输入值I是通过执行视觉感知实验从3D图像获得的值，而主观深度量z是以主观方式视觉感知的。

[评估函数的说明]

图3是示出通过执行视觉感知实验的典型的评估函数的示图。

图3的对数水平轴表示通过下面给出的等式(2)表达的输入值I，而该图的垂直轴表示主观深度量z。

$I=\underset{f_s}{\mathrm{\Σ}}\{C\left(f_s\right)\·E\left(f_s\right)\}...\left(2\right)$

在等式（2）中使用的符号C(f_s)表示对于包括在整个亮度图像中的空间频率分量被分类为N个空间频率分量f_s的情况的空间频率分量f_s的对比度。在等式（2）中使用的符号E(f_s)表示空间频率f_s的深度效率。空间频率f_s的深度效率E(f_s)是分配给空间频率f_s的深度视觉感知的权重。空间频率f_s的深度效率E(f_s)是通过执行视觉感知实验而获得的值。

因此，输入值I可据说为获得的整个亮度图像的N个空间频率分量的乘积的总和。每个乘积作为将空间频率f_s的对比度与分配给空间频率f_s的权重相乘的结果而获得。

图4是示出通过执行视觉感知实验而获得的空间频率f_s与深度效率E(f_s)之间的关系的图示。

由图的水平轴表示的空间频率f_s定义为对比度，即，进入人眼睛的1°视角的白/黑色对比密度变化。空间频率f_s以cpd（每度周数）为单位表示。

在视觉感知实验中，向经受视觉感知实验的人呈现具有各种空间频率f_s图像（或图案），并且执行该实验以获知接受视觉感知实验的人从图像中感觉到的深度量（或深度位置）的程度。

根据图4所示的数据，空间频率f_s与深度效率E(f_s)之间的关系表明空间频率f_s越高，权重越小，即，深度视觉感知的效果越小。

等式（2）右手侧上的表达式中示出的深度效率E(f_s)可以由图4中示出的表示关系的公式表示为空间频率f_s与深度效率E(f_s)之间的关系。作为该公式典型实例，可以使用等式（3），其为如下给出的高斯近似公式。

$E\left(f_s\right)=A\·\exp (-\frac{{({\log }_{10}\left(f_s\right)+f_{s0})}^2}{2{{\mathrm{\σ}}_s}^2})...\left(3\right)$

其中A=1、f_s0=0.4987以及σ_s=0.8406

在上面的等式中，符号A表示系数，符号f_s0表示空间频率f_s的偏移，以及符号σ_s表示空间频率f_s的标准偏差。

另一方面，根据下面给出的等式（4），通过图3的垂直轴表示的主观深度量z是对实际数据x（接受视觉感知实验的人视觉感知的实际深度量）执行变换的结果。即，主观深度量z是实际数据x的规范值或标准值。通过使用这种主观深度量z，可使各种数据的数据单位一致，使得数据可以容易地彼此比较。因此可以执行去除实际数据的绝对变化的分析。

$z=\frac{x-\stackrel{\‾}{x}}{\mathrm{\σ}}...\left(4\right)$

在上面的等式中，符号x表示实际数据（弧分），符号表示实际数据的平均值，以及符号σ表示实际数据的标准偏差。

大的主观深度量z的值表示图像观看者视觉感知外侧上物体，值越大，观看者越靠近外侧。通过使用下面给出的等式（5），主观深度量z可以变换为以弧分作为单位的深度调整量。

PES＝z×σ+ave…(5)

在上面的等式中，符号PES表示深度信息（弧分），符号z表示主观深度量，符号σ表示标准偏差20.71，以及符号ave表示平均值13.69。

可以通过两种公式表示表达从3D图像获得的输入值I与主观深度量z之间的关系的评估函数。公式中的一种通常是用于视觉感知系统所给出的用于应答的Naka-Rushton等式，而另一种等式通常是下列对数等式：

z=A×log₁₀(I)+B

其中符号A和B均表示常数。

对于输入值I与主观深度量z之间的关系定义为对数函数的情况，提供通过图3中示出的实线表示的评估函数。通过下面给出的等式（6）表示评估函数。另一方面，对于通过Naka-Rushton等式定义输入值I与主观深度量z之间的关系的情况，提供通过图3中示出的虚线表示的评估函数。该评估函数通过如下等式（7）表示。

z＝1.94×log₁₀(I)-2.32…(6)

$z=6.432\×\frac{{|}^{0.5872}}{{|}^{0.5872}+{5.821}^{0.5872}}-4.073...\left(7\right)$

显然，根据评估函数，通过执行调整以增加3D图像的输入值I，可以使图像观看者视觉感知外侧的物体。另一方面，如果期望使图像观看者视觉感知到内侧的物体，需要执行与增加3D图像的输入值I的调整相反的调整。

为了基于上述评估函数执行调整，提供输入值调整量确定部16，输入值调整量确定部16被配置为根据图5示出的特性确定针对通过深度调整量确定部14确定的深度调整量ΔD的输入值I的调整量ΔI。

具体而言，首先，根据前面给出的等式（4），输入值调整量确定部16将通过深度调整量确定部14确定的深度调整量ΔD变换为主观深度量z的调整量Δz。于是，输入值调整量确定部16确定针对由变换而产生的深度调整量Δz的输入值I的调整量ΔI(=I₁-I₂)作为主观深度量z的调整量Δz。

注意，图5的垂直轴上示出的符号z₁表示在先于主观深度量调整的输入时间3D图像的主观深度量z，而垂直轴上示出的符号z₂表示作为主观深度量的调整结果而获得的3D图像的主观深度量z。另一方面，图5的水平轴上示出的符号I₁表示在先于主观深度量调整的输入时间3D图像的输入值I，而水平轴上示出的符号I₂表示作为主观深度量的调整结果而获得的3D图像的输入值I。然而，为了执行主观深度量的调整，没有必要知道输入值I₁和I₂它们本身，而是仅知道它们的差值（输入值I的调整量ΔI）就足够了。通过使用表示几乎具有常数斜度的线所表示的对数评估函数的等式（7），可以容易地获得输入值I的调整量ΔI。

返回参照图1。如上所述，输入值调整量确定部16确定针对从深度调整量确定部14接收的深度调整量ΔD的输入值I的调整量ΔI。

深度控制部17调整3D图像的空间频率分量以满足通过输入值调整量确定部16所确定的作为输入值I的调整量ΔI的调整量ΔI。这样，调整（或控制）3D图像的深度，并且输出作为调整结果而获得的3D图像。

如图1所示，深度控制部17具有频率空间变换部31、增益计算部32、增益叠加部33、以及逆变换部34。

频率空间变换部31将3D图像变换到频率空间。换而言之，频率空间变换部31对输入3D图像（的数据）执行DFT（DiscreteFourierTransformation，离散傅立叶变换）处理以执行从图像空间向频率空间的变换。在下面的描述中，完成从图像空间向频率空间变换的3D图像被称作频率空间图像。频率空间变换部31向增益叠加部33提供频率空间图像。

增益计算部32计算每个空间频率f_s的增益作为满足从输入值调整量确定部16接收的作为输入值I的调整量ΔI的调整量ΔI的增益，并且向增益叠加部33提供计算的增益。

为了调整（或改变）3D图像的空间频率，增益叠加部33在从频率空间变换部31接收的频率空间图像上叠加从增益计算部32接收的增益。

为了执行从频率空间返回图像空间的变换，逆变换部34对从增益叠加部33接收的频率空间图像执行IDET（逆DET）处理。然后，逆变换部34输出经IDET处理产生的3D图像作为经空间频率调整产生的3D图像。

空间频率权重设定部18基于使用者执行的操作设定权重函数F(f_s)。权重函数F(f_s)表示各分配给空间频率f_s的增益权重。在增益计算部32中计算每个空间频率f_s的增益需要增益权重。空间频率权重设定部18向增益计算部32提供由权重函数F(f_s)所表示的增益权重。空间频率权重设定部18用于存储稍后将详细描述的其中具有强调低频侧、高频侧、以及两侧的特性的各种权重函数F(f_s)。

图像处理装置1具有上述构造。

[深度控制部17的详细处理]

接下来，如下通过参考图6至图8B说明通过深度控制部17执行的处理的细节。

图6是在下面由深度控制部17执行的处理的详细描述中参考的说明性图示。

下面的描述说明如下情形：将位于用作输入图像的3D图像（或亮度图像）中预先确定的位置上的m×n像素用作引起关注的空间频率调整处理对象，其中符号m和n均表示大于0的整数（即，m，n>0）。换而言之，执行空间频率调整处理以调整m×n像素的亮度值（或像素值）。这种情况下，在处理对象区域中设定围绕m×n像素的M×N像素，其中符号M和N表示分别大于整数m和n的整数（即，M>m,N>n）。如下给出整数m、n、M和N的典型值：m，n=2以及M，N=114。

频率空间变换部31对输入3D图像的数据执行DFT处理以便将图像从图像空间变换到频率空间。令符号f(k,l)表示图像空间中的亮度图像，而符号F(x,y)表示作为3D图像从图像空间到频率空间的变换结果而获得的傅立叶系数。在这种情况下，由频率空间变换部31执行的处理可以由如下给出的等式（8）表示。

$F(x,y)=\frac{1}{\mathrm{MN}}\underset{k=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{l=0}{\overset{N-1}{\mathrm{\Σ}}}f(k,l)W_M^{\mathrm{kx}}{W}_N^{\mathrm{ly}}...\left(8\right)$

在上面的等式中，符号k、l、x、y、W_M以及W_N表示具有如下值的量。

k=0,1,2，...,M-1

l=0,1,2，...,N-1

x=0,1,2，...,M-1

y=0,1,2，...,N-1

W_M＝e^-2jπ/M，W_N＝e^-2jπ/N

然后，空间频率权重设定部18基于使用者执行的操作设定权重函数F(f_s)。权重函数F(f_s)表示各被分配给空间频率f_s的增益权重。空间频率权重设定部18向增益计算部32提供增益权重作为权重函数F(f_s)。

图7A和图7B是均示出表示均分配给空间频率f_s的增益权重的典型权重函数F(f_s)的多个示图。

在正深度调整量ΔD的情况下，还需要输入值I的正调整量ΔI（即，因此，空间频率权重设定部18向增益计算部32提供满足需要输入值I的调整量ΔI应该也为正的约束条件的权重函数F(f_s)。

图7A是示出由空间频率权重设定部18向增益计算部32提供的用作满足需要输入值I的调整量ΔI应该为正（即，ΔI>0）的约束条件的权重函数F(f_s)的权重函数F(f_s)的图示。换句话说，图7A示出用于调整亮度图像上的物体至更外侧位置的典型权重函数F(f_s)。

由于图7A示出的权重函数F(f_s)被设定针对所有的空间频率f_s总是表示正增益权重，所以满足ΔI>0的约束条件。此外，图7A示出的权重函数F(f_s)被设定为特别强调高频侧的空间频率分量。

另一方面，在负深度调整量ΔD的情况下，也需要输入值I的负调整量ΔI（即，因此，空间频率权重设定部18向增益计算部32提供满足需要输入值I的调整量ΔI应该也为负的约束条件的权重函数F(f_s)。

图7B是示出由空间频率权重设定部18提供的用作满足需要输入值I的调整量ΔI应该为负（即，ΔI<0）的约束条件的权重函数F(f_s)的权重函数F(f_s)的图示。换句话说，图7B示出用于调整亮度图像上的物体至更内侧位置的典型权重函数F(f_s)。

由于图7B示出的权重函数F(f_s)被设定针对所有的空间频率f_s总是表示负增益权重，所以满足ΔI<0的约束条件。此外，图7B示出的权重函数F(f_s)被设定为抑制高频侧的空间频率分量减弱。

增益计算部32从空间频率权重设定部18接收权重函数F(f_s)，并且基于权重函数F(f_s)通过使用如下的等式（9）计算满足输入值I的调整量ΔI的空间频率对比度C’(f_s)：

$\mathrm{\&Delta;I}=\underset{f_s}{\mathrm{\&Sigma;}}\{F\left(f_s\right)\&times;C^{,}\left(f_s\right)\&times;E\left(f_s\right)\}...\left(9\right)$

在上面的等式中，符号C’(f_s)表示作为空间频率调整的结果而获得的对比度用作空间频率f_s的对比度。

如下说明在空间频率调整之后计算空间频率f_s的对比度C’(f_s)的方法。

首先，为了先于空间频率调整获得空间频率f_s的对比度C(x,y)，增益计算部32将作为基于等式（8）执行DFT处理的结果而获得的傅立叶系数F(x,y)规范化成为0至100范围内的值。

图8A和图8B是示出在由深度控制部17执行处理以计算频率空间的过程中使用的空间频率对应表的示图。注意，图8A和图8B示出对于M，N=114的典型表。

空间频率对应表包括与图像空间的114×114像素分别对应的114行×114列。空间频率对应表的要素对应于空间频率f_s。如图8A所示，空间频率对应表通过置于左上角的DC分量和不同于DC分量的AC分量表示。空间频率对应表的AC分量是近似0.5cpd至40cpd范围内的空间频率。在包括114行×114列的空间频率对应表的中心放置高频分量，而在高频分量的边界（或周围位置）放置低频分量。

图8B是示出图8A中由虚线围绕的部分的放大图。虚线围绕的部分包括DC分量的周围。虚线围绕的部分的每个方格（要素）中的值是与该单元对应的空间频率f_s。

由于可以通过使用这种空间频率对应表获得基于如上所述的等式（8）的DFT处理的执行结果而获得的傅立叶系数F(x,y)，所以同样可以相同的方式获得通过规范化傅立叶系数F(x,y)成为0至100范围内的值而获得的C(x,y)。于是，如果已知C(x,y)，那么在空间频率调整之前也可以获得空间频率f_s的对比度C(f_s)。例如，邻近图8B中示出的DC分量的虚线单元是部分空间频率对应表中的第一行和第二列上的单元C(1,2)。这种情况下，存储在单元C(1,2)中的值对应于C(f_s=0.5)。

为了根据下面给出的等式（10）获得规范化后权重函数F’(f_s)，增益计算部32规范化从空间频率权重设定部18接收的权重函数F(f_s)，使得规范化后权重函数对应于调整量ΔI。

$F^{,}\left(f_s\right)=\frac{b}{a}\&times;F\left(f_s\right)...\left(10\right)$

在上面的等式中，符号a和b表示通过下列等式右侧的表达式表示的量。

$a=\left|\underset{f_s}{\mathrm{\&Sigma;}}\right\{F\left(f_s\right)\&times;C\left(f_s\right)\&times;E\left(f_s\right)\left\}\right|$

b＝|ΔI|

通过采用等式（10），可以调整权重函数F(f_s)，使得权重函数F(f_s)变为所谓的后续处理中的调整量ΔI。因此，当在空间频率权重设定部18中设定权重函数F(f_s)时，使用者需要小心仅将增益权重分配给每个空间频率f_s。因此，可以容易地设计权重函数F(f_s)。

于是，增益计算部32根据如下给出的等式（11）将直接附着于频率空间图像的增益设定为每个空间频率f_s的增益G(f_s)。

如果根据等式（10）规范化权重函数F(f_s)使得输入值I的调整量变为等于ΔI，那么权重函数F(f_s)在某些情况下可以具有0至1范围内的值。因此，根据等式（11），空间频率fs的最终增益G(f_s)被设定为通过向规范化权重函数F’(f_s)加1而获得值上。因此，对于正权重函数F(f_s)，即，对于F(f_s)>0，增益G(f_s)至少等于1，使得深度控制部17执行处理以增大每个空间频率f_s的对比度。另一方面，对于负权重函数F(f_s)，即，对于F(f_s)<0，增益G(f_s)小于1，使得深度控制部17执行处理以减小每个空间频率f_s的对比度。

增益计算部32将计算作为每个空间频率f_s的增益G(f_s)的增益G(f_s)变换为具有傅立叶变换的DFT形式的增益g(x,y)。换而言之，增益计算部32将计算作为每个空间频率f_s的增益G(f_s)的增益G(f_s)变换为具有图8A和图8B中示出的空间频率对应表的形式的增益g(x,y)。

增益计算部32获得作为满足输入值I的调整量ΔI的增益G(f_s)的每个空间频率f_s(f_s)的增益G(=g(x,y))的事实意味着增益计算部32根据等式（9）获得满足输入值I的调整量ΔI的空间频率对比度C’(f_s)。

于是，如图6所示，为了调整3D图像的空间频率，增益叠加部33将从增益计算部32接收的增益g(x,y)叠加到完成DFT处理的傅立叶系数F(x,y)的AC分量上。换而言之，为了获得作为增益叠加处理的结果而获得的傅立叶系数F’(x,y)，增益叠加部33根据下面给出的等式（12）执行增益叠加处理：

F′(x，y)＝F(x，y)·g(x，y)............(12)

最后，为了执行从频率空间返回图像空间的逆变换，逆变换部34对作为增益叠加处理的结果而获得的傅立叶系数F’(x,y)执行IDFT（逆DFT）处理。换而言之，逆变换部34根据如下给出的等式（13）获得作为空间频率调整处理的结果而获得的亮度图像f’(k，l)：

$f(k,l)=\underset{k=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{l=0}{\overset{N-1}{\mathrm{\&Sigma;}}}F(x,y)W_M^{-\mathrm{kx}}{W}_N^{-\mathrm{ly}}...\left(13\right)$

于是，逆变换部34输出作为逆变换的结果而获得的亮度图像f’(k，l)用作作为空间频率调整处理而获得的3D图像。

如上所述，在该实施方式中，深度控制部17执行作为将3D图像从图像空间向频率空间变换的处理的傅立叶变换处理。然而，注意，可以采用用于执行诸如微波变换和余弦变换的空间频率变换处理的其它空间频率变换手段。

[深度调整处理的流程图]

接下来，通过参考图9示出的流程图，下列描述说明图像处理装置1通过调整空间频率执行深度控制处理以控制深度。在3D图像提供给图像处理装置1时，通常由图像处理装置1开始深度控制处理。

图中示出的流程图开始于步骤S1，在步骤S1，亮度分量计算部11计算从外部源接收的3D图像的亮度分量。因此，通常地，将称作L图像的左眼图像和称作R图像的右眼图像的亮度图像提供给深度推断部12。

于是，在下一步骤S2中，深度推断部12推断从亮度分量计算部11接收的3D图像（即，亮度图像）的每个像素的深度信息（或视差）。

随后，在下一步骤S3中，深度调整量确定部14基于深度调整量定义函数存储部13中存储的深度调整量定义函数确定3D图像上每一个像素的深度调整量ΔD。

然后，在下一步骤S4中，输入值调整量确定部16基于评估函数存储部15中存储的评估函数确定输入值I的调整量ΔI为与已经在步骤S3中确定的深度调整量ΔD对应的调整量ΔI。

随后，在下一步骤S5中，为了对用作输入图像的3D图像执行从图像空间到频率空间的变换，频率空间变换部31执行DFT处理。

于是，在下一步骤S6中，空间频率权重设定部18基于使用者所执行的操作确定表示每个分配给空间频率f_s中的一个的增益权重的权重函数F(f_s)，并且向增益计算部32提供权重函数F(f_s)。

随后，在下一步骤S7中，为了获得规范化后权重函数F’(f_s)，增益计算部32根据前面给出的等式（10）规范化权重函数F(f_s)，使得规范化后权重函数F’(f_s)对应于调整量ΔI。

如下说明M×N像素的输入值I的计算方法。为了计算M×N像素的输入值I，例如，可以采用下面两种类型的计算方法。

第一计算方法是基于下面给出的等式（14）计算输入值I的方法。根据该计算方法，基于图8A和图8B中示出的空间频率对应表将通过等式（3）表示的深度效率E(f_s)变换为E(x,y)（在等式（14）中使用）。

$I=\underset{y=0}{\overset{113}{\mathrm{\&Sigma;}}}\underset{x=0}{\overset{113}{\mathrm{\&Sigma;}}}C(x,y)\&CenterDot;E(x,y)...\left(14\right)$

第二计算方法是利用均被确定为基准的空间频率f_s累积相加。具体地，0.5cpd、1.0cpd、2.0cpd、4.0cpd、以及8.0cpd的5个空间频率f_s均被确定为用做基准的空间频率f_s。

首先，根据下面给出的等式（15）或等式（16），获得使它的中心与基准空间频率f_s一致的预定范围中的空间频率对比度C(f_s)以用作基准空间频率f_s的空间频率对比度C(f_s)。

$C\left(f_s\right)=\underset{f_s-\mathrm{\&Delta;}{f}_s\&le;{f_s}^{,}\&le;f_s+\mathrm{\&Delta;}{f}_s}{\mathrm{\&Sigma;}}C\left({f_s}^{,}\right)...\left(15\right)$

$C\left(f_s\right)=\underset{f_s/\sqrt{2}\&le;{f_s}^{,}\&le;\sqrt{2}\&CenterDot;f_s}{\mathrm{\&Sigma;}}C\left({f_s}^{,}\right)...\left(16\right)$

其中f_s∈{0.5，1.0，2.0，4.0，8.0}

然后，根据下面给出的等式（17），确定输入值I。即，该等式用于获得均通过将基准空间频率f_s的空间频率对比度C(f_s)与基准空间频率f_s的深度效率E(f_s)相乘而获得的乘积的总和。

$I=\underset{f_s\&Element;\{\mathrm{0.5,1.0,2.0,4}.\mathrm{0,8.0}\}}{\mathrm{\&Sigma;}}C\left(f_s\right)\&CenterDot;E\left(f_s\right)...\left(17\right)$

注意，这两种计算方法不是一定实施为对值的简单相加。可代替地，这两种计算方法均可实施为对作为多个相邻的空间频率的平均而获得的各值进行相加。

如前所述，在步骤S7中，为了获得规范化后权重函数F’(f_s)，增益计算部32规范化权重函数F(f_s)。于是，在下一步骤S8中，增益计算部32根据先前给出的等式（11）获得每个空间频率f_s的增益G(f_s)。

随后，在下一步骤S9中，增益计算部32将为每个空间频率f_s计算的增益G(f_s)变换为具有DFT形式的增益g(x,y)。

于是，在下一步骤S10中，增益叠加部33根据上面给出的等式（12）获得作为增益叠加的结果而获得的傅立叶系数F’(x,y)。

随后，在下一步骤S11中，为了将作为增益叠加的结果而获得的傅立叶系数F’(x,y)从频率空间变换回图像空间，逆变换部34执行IDFT处理。然后，逆变换部34输出由IDFT处理产生的亮度图像作为由空间频率调整产生的3D图像。最后，深度控制处理结束。

这样，在图像处理装置1中，将输入值I的调整量ΔI确定为与深度调整量对应的调整量ΔI，并且控制输入图像的空间频率f_s以满足输入值I的调整量，其中，该深度调整量基于深度调整量定义函数被确定为输入图像的每个像素的深度调整量ΔD。基于评估人类的视觉特性的评估函数针对图像图案的每个空间频率f_s确定作为与深度调整量ΔD对应的调整量ΔI的为输入值I设定的调整量ΔI。此外，可以为每个空间频率f_s设定预先确定的权重。因此，通过基于人类的视觉特性来调整用作单眼3D信息的参数的空间频率f_s，可以呈现近乎不会引起人不舒服或不愉快的感觉的3D图像。

[权重函数F(f_s)的典型设置]

在上述实施例中，为每个空间频率设定的权重，即，表示分配给空间频率f_s的增益权重的权重函数F(f_s)，是类似通过参照图7A和图7B说明的一个的强调低频侧或高频侧的函数的典型实例。

如下通过参照图10至图12说明用于设定权重函数F(fs)的其它典型技术。

图10是在下面对于即，对于深度调整量ΔD和输入值I的调整量ΔI都为正的情况下用于设定权重函数F(f_s)的另一典型技术的描述中参照的多个图示。

即，图10是用于设定3个权重函数F(f_s)的其它典型技术的以下描述中参照的多个图示。更具体地，图10中的（A）是在用于设定通过乘以倍数n而强调空间频率带的全域一致的权重函数F(f_s)的典型技术的描述中涉及的示图。图10中的（B）是用于设定强调低空间频率带的权重函数F(f_s)的典型技术的以下描述中参照的图示。图10中的（C）是用于设定强调高空间频率带的权重函数F(f_s)的典型技术的以下描述中参照的示图。

在作为设定通过乘以倍数n而强调空间频率带的全频一致的权重函数F(f_s)的典型技术的图10（A）中示出的典型技术的情况下，通过乘以倍数n而强调通过下面给出的等式（18）定义的迈克逊对比度。

$\mathrm{MichelsonContrast}=\frac{L_{\max }-L_{\min }}{L_{\max }+L_{\min }}...\left(18\right)$

在上面给出的等式（18）中，符号Lmax表示3D图像的单位处理区域中的亮度值的最大值，而符号Lmin表示3D图像的处理单位区域中的亮度值的最小值。处理单位区域的尺寸根据视角函数和像素计数函数被适当地设定为最优值。

在作为设定强调低空间频率带的权重函数F(f_s)的典型技术的图10（B）中示出的典型技术的情况下，执行处理以强调3D图像的阴影且保持3D图像的边缘，使得某些情况下坚硬的感觉可以相对减轻。

在作为设定强调高空间频率带的权重函数F(f_s)的典型技术的图10（C）中示出的典型技术的情况下，执行处理以强调3D图像的边缘且保持3D图像的阴影，使得在大约相同顺序线的亮度值向上的无特色的平面区域中，在某些情况下强调噪声。

图11是对于即，对于深度调整量ΔD和输入值I的调整量ΔI都为负的情况下设定权重函数F(f_s)的另一典型技术的以下描述中参照的多个图示。

换而言之，图11是在设定三个权重函数F(f_s)的其它典型技术的以下描述中参照的多个图示。更具体地，图11中（A）是设定通过乘以倍数n而削弱空间频率带的全域的一致性的权重函数F(f_s)的典型技术的以下描述中参照的图示。图11中（B）是设定削弱低空间频率带的权重函数F(f_s)的典型技术的以下描述中参照的图示。图11中（C）是在设定削弱高空间频率带的权重函数F(f_s)的典型技术的以下描述中参照的图示。

在作为设定通过乘以倍数n而削弱空间频率带的全域一致性的权重函数F(f_s)的典型技术的图11（A）中示出的典型技术的情况下，通过乘以倍数n而减小迈克尔逊对比度。

在作为设定削弱低空间频率带的权重函数F(f_s)的典型技术的图11（B）中示出的典型技术的情况下，执行处理以保持3D图像的边缘且减少3D图像的阴影，使得如果太多的高频分量被丢弃，那么在某些情况下纹理印象可能会改变。

在作为设定削弱低空间频率带的权重函数F(f_s)的典型技术的图11（C）中示出的典型技术的情况下，执行处理以保持3D图像的阴影且减少3D图像的边缘，使得可以给出比图11（A）中示出的空间频率带的全域多的类似模糊的印象。

在正侧或负侧的区域中完全设定在图7A、图7B、图10、以及图11中示出的典型权重函数F(f_s)。然而，权重函数F(f_s)不必是在正或负侧的区域中完全设定的函数。换而言之，权重函数F(f_s)可以是任何函数，只要满足输入值I的调整量△I的约束条件。

图12是对于调整图像上的物体至更外侧的位置的情况的权重函数F(f_s)的又一典型设定的以下描述中参照的多个图示。

为了将图像上的物体调整至更外侧的位置，如果需要（ΔI>0）的约束条件，即，如果满足需要输入值I的调整量△I为正的约束条件，那么可以设定诸如图12中示出的权重函数F(f_s)。

更具体地，图12中的（A）是对于强调低空间频率带而削弱高空间频率带的情况的权重函数F(f_s)的典型设定的以下描述中参照的示图。另一方面，图12中的（B）是在下面对于通过重点强调特定频带来强调空间频率的特定频带的情况的权重函数F(f_s)的典型设定的以下描述中参照的示图。

在作为设定强调低空间频率带而削弱高空间频率带的权重函数F(f_s)的典型技术的图12（A）中示出的典型技术的情况下，执行处理以强调3D图像的边缘且削弱3D图像的阴影。

另一方面，在通过采用作为设定通过重点强调特定频带来强调空间频率的特定频带的权重函数F(f_s)的典型技术的图12（B）中示出的典型技术执行的处理中，根据图像特征量选择被调整的空间频率的特定频带。

同样，为了将图像上的物体调整至更内侧的位置，如果需要（ΔI<0）的约束条件，即，如果满足需要输入值I的调整量△I为负的约束条件，那么可以设定诸如图12中示出的权重函数F(f_s)。换而言之，图中未示出，可以设定诸如削弱低空间频率带的权重函数F(f_s)、强调高空间频率带的权重函数F(f_s)、以及通过不强调特定频带来削弱空间频率的特定频带的权重函数F(f_s)的权重函数F(f_s)。

[其它典型的深度效率]

在上述实施方式中，如等式（2）所表示的，评估函数的输入值I是作为将空间频率f_s的对比度C(f_s)与空间频率f_s的深度效率E(f_s)相乘的结果而获得的各乘积的总和。

然而，作为获得评估函数的输入值I的另一典型操作，代替仅使用等式（2）所表示的空间频率f_s的深度效率E(f_s)，还可以考虑还通过采用时间频率f_t的深度效率E(f_t)来计算输入值I。

下面给出的等式（19）是用于计算输入值I的等式，不仅考虑空间频率f_s的深度效率E(f_s)，并且还考虑时间频率f_t的深度效率E(f_t)。另一方面，下面给出的等式（20）是表示空间频率f_s与时间频率f_t深度效率E(f_s,f_t)表示的等式。

$I=\underset{f_s,f_t}{\mathrm{\&Sigma;}}\{C\left(f_s\right)\&CenterDot;E(f_s,f_t)\}...\left(19\right)$

$E(f_s,f_t)=\exp (-\frac{{({\log }_{10}\left(f_s\right)+f_{s0})}^2}{2{{\mathrm{\&sigma;}}_s}^2})\&CenterDot;\exp (-\frac{{({\log }_{10}\left(f_t\right)+f_{t0})}^2}{2{{\mathrm{\&sigma;}}_t}^2})...\left(20\right)$

上面给出的等式（20），f_s0、σ_s、f_t0、以及σ_t表示如下设定的量。

f_s0=0.4987

σ_s=0.8406

f_t0=-0.7492

σ_t=0.5532

由等式（20）显而易见，深度效率E(f_s,f_t)由空间频率f_s的深度效率E(f_s)与时间频率f_t的深度效率E(f_t)的乘积表示。

图13是示出作为与高斯近似表示空间频率f_s与空间频率f_s的深度效率E(f_s)之间关系对应的关系的时间频率f_t与时间频率f_t的深度效率E(f_t)之间的关系的图示。

2.第二实施方式

[图像处理装置的典型构造]

图14是示出根据本发明第二实施方式的图像处理装置的典型构造的框图。

图14中示出的第二实施方式不同于上面说明的第一实施方式，即，第二实施方式新设置有频率分析部51和对比度分析部52。

频率分析部51分析3D图像的空间频率分量。可以通过采用使用典型的Gabor滤波器的技术分析3D图像的空间频率分量。Gabor滤波器据说是在视觉感知系统中接近信号应答特性的滤波器。Gabor滤波器的函数g(x,y,λ,θ,ψ,σ,γ)可以通过如下的等式（21）表示。

$g(x,y,\mathrm{\&lambda;},\mathrm{\&theta;},\mathrm{\&psi;},\mathrm{\&sigma;},\mathrm{\&gamma;})=\exp (-\frac{{(x\cos \mathrm{\&theta;}+y\sin \mathrm{\&theta;})}^2+{\mathrm{\&gamma;}}^2{(-x\sin \mathrm{\&theta;}+y\cos \mathrm{\&theta;})}^2}{2{\mathrm{\&sigma;}}^2})\cos (2\mathrm{\&pi;}\frac{x\cos \mathrm{\&theta;}+y\sin \mathrm{\&theta;}}{\mathrm{\&lambda;}}+\mathrm{\&psi;})...\left(21\right)$

上面给出的等式（21），符号x和y表示亮度图像的坐标值，符号λ表示用于空间频率f_s的波长，符号θ表示方位方向，符号ψ表示相位，符号σ表示高斯分布的分布，以及符号γ表示纵横比。

例如，频率分析部51能够通过对等式（21）表示的Gabor滤波器函数g(x,y，λ,θ,ψ,σ,γ)进行卷积从亮度图像中提取具有1cpd空间频率分量的区域和通过亮度分量计算部11计算的亮度值作为亮度图像的亮度值。在等式（21）中，波长λ是与1cpd空间频率对应的波长。同样为了从亮度图像中提取具有另一空间频率分量的区域，以相同的方式，适当地设定波长λ，然后，频率分析部51能够通过对Gabor滤波器函数g(x,y,λ,θ,ψ,σ,γ)进行卷积从亮度图像提取区域和亮度图像的亮度值。例如，为了分析空间频率分量，波长λ被设定为5个不同的值，诸如分别与空间频率0.5cpd、1cpd、2cpd、4cpd以及8cpd对应的值。当然，可以通过将波长λ设定为与空间频率分量对应的值来分析任何另外的空间频率分量。

通过对等式（21）表示的Gabor滤波器函数g(x,y,λ,θ,ψ,σ,γ)和如上所述通过亮度分量计算部11计算的作为亮度图像的亮度值的亮度值进行卷积，可以知道在亮度图像中包括什么区域，以及在每个区域中包括什么空间频率分量，其中，波长λ是与预先确定的空间频率对应的波长。

对比度分析部52通过使用亮度分量计算部11计算的作为3D图像的亮度分量的亮度分量来提取3D图像的对比度分量。具体而言，对比度分析部52通常确定之前引用的M×N像素区域作为单元处理区域，处理单位区域为执行处理以提取对比度分量的单位。然后，对比度分析部52计算所确定的处理单位区域的由计算等式（18）所表示的迈克逊对比度。一些确定的处理单位区域可以彼此交叠。作为选择，可以确定处理单位区域形成瓦片形状，使得所确定的处理单位区域不彼此交叠。此外，为了是精度附有高值，处理单位区域可以通过一个像素单位彼此移动。

向深度控制部17提供通过频率分析部51分析的空间频率分量的特性（或分布）和通过对比度分析部52分析的对比度分量的特征（或分布）。通过使用这些特征，深度控制部17能够为确定每个空间频率f_s的增益权重。换而言之，深度控制部17能够基于从频率分析部51和对比度分析部52接收的特征确定表示分别分配给空间频率f_s之一的增益权重的权重函数F(f_s)。

能够通过硬件和/或软件的执行来执行先前描述的该系列处理。如果通过软件的执行来执行上述的该系列处理，那么包含软件的程序可以安装至计算机，该计算机可以是嵌入专用硬件的专用计算机、通用个人计算机等。通用个人计算机是个人计算机，通过向个人计算机安装各种程序能够执行各种功能。

图15是示出为了执行先前描述的该系列处理的构成用于执行程序的计算机的硬件的典型构造的框图。

如图所示，计算机使用CPU（中央处理单元）101、ROM（只读存储器）102、以及RAM（随机访问存储器）。CPU101、ROM102和RAM103通过总线104彼此连接。

总线104还连接输入/输出接口105。输入/输出接口105连接输入部106、输出部107、存储部108、通信部109以及驱动器110。

输入部106包括键盘、鼠标和麦克风，而输出部107包括显示单元和扬声器。存储部108包括硬盘和/或非易失性存储器。通信部109具有网络接口。驱动器110驱动上面引用的可移动记录介质111。可移动记录介质111可以是磁盘、光盘、磁光盘、或半导体存储器。

在具有上述构造的计算机中，CPU101通过输入/输出接口105和总线104将通常在存储单元108中存储的程序加载到RAM103中，为了执行上述该系列处理而执行该程序。

当可移动记录介质111安置在驱动器110上时，计算机能够通过输入/输出接口105将记录在可移动记录介质111上的程序安装到存储单元108中。作为选择，还可以通过有线或无线传输介质从程序提供商向存储部108下载程序，并且通过通信部109安装至存储部108中。传输介质的典型实例是局域网、因特网和数字卫星广播。作为另一选择，还可以将程序预先存储在ROM102或存储部108中。

还值得注意的是，在该说明书中，上述流程图中的步骤不仅可以沿着时间轴以预先指定顺序执行，并且可以并发地或分别执行。换而言之，代替沿着时间轴以预先指定的顺序执行流程图的步骤，还可以并行或以诸如调用这些步骤的时间所需的不同的定时来执行这些步骤。

此外，本发明的构造决不限于上述实施例。换而言之，只要在本发明的范围内，可以对实施方式进行各种变化。

注意，本发明还可以在如下描述的构造中实施：

1.一种图像处理装置包括：

深度调整量确定部，被配置为确定输入三维图像的深度调整量；

评估函数存储部，被配置为存储表示输入值与被定义为使用者主观感觉的深度量的主观深度量之间的关系的评估函数，其中，对于包括在整个该输入三维图像中的空间频率分量被分为N个空间频率分量的情况，该输入值是N个乘积的总和，其中，每个该乘积作为将包括在该输入三维图像中的每一个该空间频率分量的对比度与分配给各个该空间频率分量的权重相乘的结果而获得；

输入值调整量确定部，被配置为基于评估函数确定与通过深度调整量确定部确定的深度调整量对应的所述输入值的调整量；

调整增益计算部，被配置为基于通过输入值调整量确定部确定的所述输入值的调整量计算每个所述空间频率分量的增益值；以及

图像调整部，配置为根据通过该调整增益计算部为该空间频率分量分别计算的该增益值调整该输入三维图像的该空间频率分量。

2.根据实施方式1的图像处理装置，图像处理装置还具有：

频率空间变换部，被配置为将该输入三维图像变换到频率空间；以及

图像空间逆变换部，被配置为将已经变换到该频率空间的该三维图像逆变换回图像空间，其中

所述调整增益计算部计算满足通过所述输入值调整量确定部确定的所述输入值的调整量的每个所述空间频率分量的增益值，

该图像调整部通过将该调整增益计算部所计算的作为该空间频率分量的增益值的该增益值叠加到通过由将该输入三维图像变换到频率空间的该频率空间变换部执行的变换获得的系数上，来调整该输入三维图像的该空间频率分量，以及

图像空间逆变换部将与通过该调整增益计算部计算的该空间频率分量的增益值叠加的系数逆变换到图像空间。

3.根据实施方式2的图像处理装置，其中，该频率空间变换部通过执行傅立叶变换将该输入三维图像变换到该频率空间。

4.根据实施方式1至3中的任何一个的图像处理装置，图像处理装置还具有

空间频率权重设定部，被配置为设定表示分配给该空间频率分量的增益权重的函数，

其中，该调整增益计算部基于该函数计算每个该空间频率分量的增益值。

5.根据实施方式1至4中的任何一个的图像处理装置，其中：

如果该深度调整量为正，那么通过该输入值调整量确定部确定的该输入值的调整量也为正；以及

如果该深度调整量为负，那么通过该输入值调整量确定部确定的该输入值的调整量也为负。

6.，根据实施方式1至5中的任何一个的图像处理装置，图像处理装置还具有：

深度信息推断部，被配置为由该输入三维图像推断深度信息；以及

深度调整量定义函数存储部，被配置为存储定义对应于该深度信息的该深度调整量的深度调整量定义函数，

其中，该深度调整量确定部基于该深度调整量限定函数由通过该深度确定推断部推断的该深度信息确定该深度调整量。

7.一种图像处理方法，包括：

确定输入三维图像的深度调整量；

基于表示输入值与被定义为使用者主观感觉的深度量的主观深度量之间的关系的评估函数确定与确定的所述深度调整量对应的所述输入值的调整量，其中，对于包括在整个该输入三维图像中的空间频率分量被分为N个空间频率分量的情况，该输入值是N个乘积的总和，其中，每个该乘积作为将包括在该输入三维图像中的每一个该空间频率分量的对比度与分配给各个该空间频率分量的权重相乘的结果而获得；

基于确定的该输入值的该调整量计算每个该空间频率分量的增益值；以及

根据为该空间频率分量分别计算的该增益值调整该输入三维图像的该空间频率分量调整。

8.一种通过计算机执行的图像处理程序，执行以下处理，包括：

确定输入三维图像的深度调整量；

基于表示输入值与被定义为使用者主观感觉的深度量的主观深度量之间的关系的评估函数确定与确定的所述深度调整量对应的所述输入值的调整量，其中，对于包括在整个该输入三维图像中的空间频率分量被分为N个空间频率分量的情况，该输入值是N个乘积的总和，其中，每个该乘积作为将包括在该输入三维图像中的每一个该空间频率分量的对比度与分配给各个该空间频率分量的权重相乘的结果而获得；

基于确定的该输入值的该调整量计算每个该空间频率分量的增益值；以及

根据为该空间频率分量分别计算的该增益值调整该输入三维图像的该空间频率分量。

本发明包含于2011年5月26日向日本专利局提交的日本专利申请JP2011-117649中公开的主题，其全部内容结合于此作为参考。

Claims (7)

1.一种图像处理装置，包括：

深度调整量确定部，被配置为确定输入三维图像的深度调整量；

评估函数存储部，被配置为存储表示输入值与被定义为使用者主观感觉的深度量的主观深度量之间的关系的评估函数，其中，对于包括在整个所述输入三维图像中的空间频率分量被分为N个空间频率分量的情况，所述输入值是N个乘积的总和，其中，每个所述乘积作为将包括在所述输入三维图像中的每一个所述空间频率分量的对比度与分配给各个所述空间频率分量的权重相乘的结果而获得；

输入值调整量确定部，被配置为基于所述评估函数确定与通过所述深度调整量确定部确定的所述深度调整量对应的所述输入值的调整量；

调整增益计算部，被配置为基于通过所述输入值调整量确定部确定的所述输入值的所述调整量计算每个所述空间频率分量的增益值；以及

图像调整部，被配置为根据通过所述调整增益计算部为所述空间频率分量分别计算的所述增益值调整所述输入三维图像的所述空间频率分量。

2.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

频率空间变换部，被配置为将所述输入三维图像变换到频率空间；以及

图像空间逆变换部，被配置为将已经变换到所述频率空间的所述三维图像逆变换回图像空间，其中

所述调整增益计算部计算满足由所述输入值调整量确定部确定的所述输入值的调整量的每个所述空间频率分量的增益值，

所述图像调整部通过将所述调整增益计算部所计算的作为所述空间频率分量的增益值的所述增益值叠加到通过由将所述输入三维图像变换到频率空间的所述频率空间变换部执行的变换获得的系数上，来调整所述输入三维图像的所述空间频率分量，以及

所述图像空间逆变换部将与所述空间频率分量的所述增益值叠加的所述系数逆变换到所述图像空间。

3.根据权利要求2所述的图像处理装置，其中，所述频率空间变换部通过执行傅立叶变换将所述输入三维图像变换到所述频率空间。

4.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

空间频率权重设定部，被配置为设定表示分配给所述空间频率分量的增益权重的函数，

其中，所述调整增益计算部基于所述函数计算每个所述空间频率分量的增益值。

5.根据权利要求1所述的图像处理装置，其中，

如果所述深度调整量为正，那么通过所述输入值调整量确定部确定的所述输入值的所述调整量也为正；以及

如果所述深度调整量为负，那么通过所述输入值调整量确定部确定的所述输入值的调整量也为负。

6.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

深度信息推断部，被配置为由所述输入三维图像推断深度信息；以及

深度调整量定义函数存储部，被配置为存储定义对应于所述深度信息的所述深度调整量的深度调整量定义函数，

其中，所述深度调整量确定部基于所述深度调整量定义函数由通过所述深度确定推断部推断的所述深度信息确定所述深度调整量。

7.一种图像处理方法包括：

确定输入三维图像的深度调整量；

基于表示输入值与被定义为使用者主观感觉的深度量的主观深度量之间的关系的评估函数确定与确定的所述深度调整量对应的所述输入值的调整量，其中，对于包括在整个所述输入三维图像中的空间频率分量被分为N个空间频率分量的情况，所述输入值是N个乘积的总和，其中，每个所述乘积作为将包括在所述输入三维图像中的每一个所述空间频率分量的对比度与分配给各个所述空间频率分量的权重相乘的结果而获得；

基于确定的所述输入值的所述调整量计算每个所述空间频率分量的增益值；以及

根据为所述空间频率分量分别计算的所述增益值调整所述输入三维图像的所述空间频率分量调整。