CN102742285B - 图像处理设备和图像处理方法 - Google Patents

Abstract

公开了对应用于三维图像显示的左图像和右图像进行视差控制的方法和设备。该设备具有：左图像变换单元，通过沿着左方向或右方向改变用于呈现给左眼的左图像的图像信号的相位来生成左图像变换图像；和右图像变换单元，通过沿着左方向或右方向改变用于呈现给右眼的右图像的图像信号的相位来生成右图像变换图像。每个图像变换单元生成应用了与例如相对输入图像相反的系数序列的微分滤波器系数的微分信号，并且借助于将所述微分信号或该微分信号的非线性信号加到原始图像信号的合成处理来生成控制视差的变换信号。通过该处理，实现了对视差范围的缩小、放大等处理。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及一种图像处理设备和图像处理方法，更具体地，涉及一种用于进行对支持立体视觉(三维视觉)的视差图像的视差控制的图像处理设备和图像处理方法。

背景技术

为了生成支持立体视觉(三维视觉)的所谓的视差图像(也称为三维图像或3D图像)，需要准备来自不同视点的图像，即，左眼图像和右眼图像。更具体地，生成具有视差的图像，作为左眼图像和右眼图像，并且进行控制，使得仅由观察者(用户)的左眼来观察左眼图像并且仅由观察者(用户)的右眼来观察右眼图像，使得观察者可以感觉到立体感。

用于使得用户能够仅使用一只眼睛来观察每个图像的配置包括各种方法。示例包括被动式眼镜方法和主动式眼镜方法，被动式眼镜方法用于使用极化滤波器和滤色器来将由右眼观察的图像与由左眼观察的图像彼此分离，主动式眼镜方法用于使用液晶快门来将图像以时分方式分离成右图像和左图像。一般地，可以通过使用这种特殊的三维视觉眼镜观察图像来观察立体图像。

如上所述，在过去，作为用于通过呈现具有视差的图像来实现三维视觉的方法，已经提出了各种方法。

然而，当视差范围太窄时，即，当在附近看到的被摄主体与在远处看到的被摄主体之间的宽度太窄时，存在用户不能充分地感觉到立体感的问题。另一方面，据报告，有一些观察者，当他们长时间持续观察具有较大的视差范围的三维图像时，会感觉到疲倦或恶心。作为解决该问题的方法，提出了一种用于控制视差量的方法，以给出适当的立体感。

例如，专利文献1(日本专利申请公开07-167633号)公开了一种方法，该方法用于检测与组成三维图像的右图像和左图像(左眼图像和右眼图像)的视差相对应的视网膜图像差(差异)，并且通过基于所检测的视网膜图像差(差异)信息水平地移位右图像和左图像来调节视差。换言之，专利文献1中公开的该方法是用于通过使用差异的平均值水平地移位整个图像来设置可以由观察者舒服地看到的视差范围的图像转换方法。

应当注意：该差异是视网膜图像差或与显示单元上左眼图像中的被摄主体与右眼图像中的同一被摄主体之间的距离相对应的值，并且该差异越大，视差就越大。

专利文献1中公开的该方法是用于通过使用差异的平均值水平地移位整个图像来设置可以由观察者舒服地看到的视差范围的图像转换方法。

在专利文献1中公开的该配置中，使用差异的平均值来确定水平位移量，并且存在可以使用较少量的处理来进行转换的优点。但是，在专利文献1中公开的该配置中，整个右图像和左图像被水平地移位，并且存在视差的运动范围(最近被摄主体与最远被摄主体之间的深度差)不可控的问题。

另一方面，非专利文献1(“Stereoscopic image generation based ondepth image for 3D TV”,L.Zhang and W.J.Tam,IEEE Trans.OnBroadcasting,Vol.51,No.2,June 2005)公开了一种用于生成差异图并且使用该差异图和原始图像来恢复不同视点的图像的方法，差异图描述与来自右图像和左图像的图像的每个像素相对应的差异(左图像与右图像之间的位移)。

根据非专利文献1中公开的该方法，可以生成来自新视点的图像，并且可以生成其中也可以对立体图像的视差的运动范围进行控制的图像。但是，在非专利文件1中描述的该方法中，必须生成描述图像的每个像素的差异(图像差)的差异图，而这增加了处理的成本，并且存在难以减小电路尺寸的问题。此外，由于所生成的图像的质量取决于差异图的准确度，所以需要生成具有高分辨率和高准确度的差异图。难以生成这种具有高准确度的差异图，这成为增加电路尺寸的因素。

引用列表

专利文献

专利文献1：日本专利申请公开07-167633号

非专利文献

非专利文献1：“Stereoscopic image generation based on depth imagefor 3D TV”,L.Zhang and W.J.Tam,IEEE Trans.On Broadcasting,Vol.51,No.2,June 2005

发明内容

发明要解决的问题

本发明是鉴于如上述问题来做出的，本发明的目的是：提供一种能够在不生成描述图像的每个像素的差异的任何差异图的情况下，或通过仅生成包括有可以使用较少处理来生成的较少量数据的粗略的差异图，来控制立体图像的视差的图像处理设备、图像处理方法以及程序。

解决问题的方案

本发明的第一方面在于：

一种图像处理设备，包括：

左图像变换单元，用于输入要呈现给左眼并应用于立体图像的显示的左图像，沿着右方向或左方向改变左图像的图像信号的相位，以及生成左图像变换图像；以及

右图像变换单元，用于输入要呈现给右眼并应用于立体图像的显示的右图像，沿着左方向或右方向改变右图像的图像信号的相位，以及生成右图像变换图像，

其中，左图像变换单元和右图像变换单元提取输入图像的图像信号的特征量，并且使用应用所提取的特征量的图像变换处理来生成左图像变换图像和右图像变换图像。

此外，在根据本发明的图像处理设备的实施例中，左图像变换单元包括：左图像微分装置，用于生成左图像的图像信号的微分信号作为特征量；以及左图像组合单元，用于通过执行将左图像的微分信号或微分信号的变换信号加到左图像信号的组合处理来生成左图像变换图像，其中右图像变换单元包括：右图像微分装置，用于生成右图像的图像信号的微分信号作为特征量；以及右图像组合单元，用于通过执行将右图像的微分信号或微分信号的变换信号加到右图像信号的组合处理来生成右图像变换图像。

此外，在根据本发明的图像处理设备的实施例中，左图像变换单元包括用于执行左图像的微分信号的非线性变换处理的左图像非线性变换单元，并且左图像组合单元通过执行将由左图像非线性变换单元生成的变换信号加到左图像信号的组合处理来生成左图像变换图像，以及右图像变换单元包括用于执行右图像的微分信号的非线性变换处理的右图像非线性变换单元，并且右图像组合单元通过执行将由右图像非线性变换单元生成的变换信号加到右图像信号的组合处理来生成右图像变换图像。

此外，在根据本发明的图像处理设备的实施例中，左图像微分装置和右图像微分装置执行应用具有相反模式的微分滤波器系数序列的一阶微分滤波器的微分处理。

此外，在根据本发明的图像处理设备的实施例中，左图像微分装置和右图像微分装置根据相同微分方式来执行微分处理，以及左图像组合单元和右图像组合单元中的一个将每个图像的微分信号或微分信号的变换信号加到输入的图像信号，并且左图像组合单元和右图像组合单元中的另一个进行从输入的图像信号中减去每个图像的微分信号或微分信号的变换信号的处理。

此外，在根据本发明的图像处理设备的实施例中，左图像微分装置和右图像微分装置执行对输入的图像信号的亮度信号的微分处理。

此外，在根据本发明的图像处理设备的实施例中，图像处理设备还包括视差检测单元，视差检测单元通过分析与输入到图像处理设备中的左图像和右图像中的相同被摄主体部分相对应的相应点的布置来生成视差信息，以及左图像微分装置和右图像微分装置通过根据由视差检测单元生成的视差信息改变微分处理方式来执行微分处理。

此外，在根据本发明的图像处理设备的实施例中，视差检测单元生成差异极性信息，差异极性信息指示与输入到图像处理设备中的左图像和右图像中的相同被摄主体部分相对应的相应点的布置是以下设置(a)和设置(b)中的任何之一：(a)左图像的相应点位于右图像的相应点的左边；以及(b)左图像的相应点位于右图像的相应点的右边，以及左图像微分装置和右图像微分装置根据由视差检测单元生成的差异极性信息来执行应用具有相反模式的微分滤波器系数序列的各一阶微分滤波器的微分处理。

此外，在根据本发明的图像处理设备的实施例中，视差检测单元通过应用被输入到图像处理设备的左图像和右图像的缩小图像或疏化图像来生成视差信息。

此外，在根据本发明的图像处理设备的实施例中，图像处理设备还包括用于输入控制信号的控制信号输入单元，控制信号用于控制到用于左图像微分装置和右图像微分装置的微分处理方式和用于左图像非线性变换单元和右图像非线性变换单元的变换处理方式中的至少之一的改变。

此外，本发明的第二方面在于：

一种由图像处理设备执行的图像处理方法，包括：

左图像变换步骤，用于使左图像变换单元：输入要呈现给左眼并应用于立体图像的显示的左图像，沿着右方向或左方向来改变左图像的图像信号的相位，以及生成左图像变换图像；以及

右图像变换步骤，用于使右图像变换单元：输入要呈现给右眼并应用于立体图像的显示的右图像，沿着左方向或右方向来改变右图像的图像信号的相位，以及生成右图像变换图像，

其中，左图像变换步骤和右图像变换步骤是用于执行以下处理的步骤：提取输入图像的图像信号的特征量，以及使用应用所提取的特征量的图像变换处理来生成左图像变换图像和右图像变换图像。

此外，本发明的第三方面在于：

一种用于使图像处理设备执行图像处理的程序，程序使图像处理设备执行：

左图像变换步骤，用于使左图像变换单元：输入要呈现给左眼并应用于立体图像的显示的左图像，沿着右方向或左方向来改变左图像的图像信号的相位，以及生成左图像变换图像；以及

右图像变换步骤，用于使右图像变换单元：输入要呈现给右眼并应用于立体图像的显示的右图像，沿着左方向或右方向来改变右图像的图像信号的相位，以及生成右图像变换图像，

其中，在左图像变换步骤和右图像变换步骤中，提取输入图像的图像信号的特征量，以及使用应用所提取的特征量的图像变换处理来生成左图像变换图像和右图像变换图像。

应当注意：本发明的程序例如是作为以计算机可读格式提供的存储介质或通信介质来被提供给能够执行各种程序代码的通用系统的程序。通过以计算机可读格式来提供这种程序，在计算机系统上实现了根据该程序的处理。

根据基于下面说明的本发明的附图和实施例给出的更加详细的描述，本发明的其它目的、特征和优点会变得很明显。在本说明书中，系统是一组多个设备的逻辑配置，并且每个配置的设备不必限于被设置在同一外壳内。

发明的效果

根据本发明的实施例的配置，提供了用于进行对应用于立体图像的显示的左图像和右图像的视差控制的设备及方法。根据本发明的图像处理设备包括左图像变换单元和右图像变换单元，左图像变换单元用于通过沿着右方向或左方向改变要呈现给左眼的左图像的图像信号的相位来生成左图像变换图像，右图像变换单元用于通过沿着左方向或右方向改变要呈现给右眼的右图像的图像信号的相位来生成右图像变换图像。例如，每个图像变换单元通过给输入图像应用具有相反特性的系数序列的微分滤波器系数来生成微分信号，并且使用将该微分信号或该微分信号的非线性信号加到原始图像信号的组合处理来生成视差控制的变换信号。该处理实现了例如视差范围的缩小或放大的处理。

附图说明

图1是说明根据本发明实施例的图像处理设备的配置的示例的图。

图2(a)和图2(b)是说明由根据本发明实施例的图像处理设备的微分装置进行的微分处理的图。

图3是说明由根据本发明实施例的图像处理设备的非线性变换单元进行的非线性变换处理的图。

图4(a)至图4(c)是说明由根据本发明实施例的图像处理设备的左图像变换单元进行的处理的示例的图。

图5(a)至图5(c)是说明由根据本发明实施例的图像处理设备的右图像变换单元进行的处理的示例的图。

图6是说明由根据本发明实施例的图像处理设备执行的图像变换处理的示例的图。

图7(a)和图7(b)是说明由根据本发明实施例1的图像处理设备执行的图像变换处理中的控制处理的具体示例的图。

图8是说明由根据本发明实施例的图像处理设备执行的图像变换处理中的信号模式的对应的示例的图。

图9是说明由根据本发明实施例的图像处理设备执行的图像变换处理中的信号模式的对应的示例的图。

图10(a)和图10(b)是说明由根据本发明实施例的图像处理设备执行的图像变换处理中的信号模式的对应的示例的图。

图11(a)和图11(b)是说明由根据本发明实施例的图像处理设备执行的图像变换处理中的信号模式的对应的示例的图。

图12是说明由根据本发明实施例的图像处理设备执行的图像变换处理的示例的图。

图13(a)和图13(b)是说明使用由根据本发明实施例2的图像处理设备执行的图像变换处理来实现的控制处理的具体示例的图。

图14(a)和图14(b)是说明使用由根据本发明实施例3(a)的图像处理设备执行的图像变换处理来实现的控制处理的具体示例的图。

图15(a)和图15(b)是说明使用由根据本发明实施例3(b)的图像处理设备执行的图像变换处理来实现的控制处理的具体示例的图。

图16(a)和图16(b)是说明使用由根据本发明实施例4(a)的图像处理设备执行的图像变换处理来实现的控制处理的具体示例的图。

图17(a)和图17(b)是说明使用由根据本发明实施例4(b)的图像处理设备执行的图像变换处理来实现的控制处理的具体示例的图。

图18是说明根据本发明实施例的图像处理设备的配置的示例的图。

图19(a)和图19(b)是说明使用由根据本发明实施例5(a)的图像处理设备执行的图像变换处理来实现的控制处理的具体示例的图。

图20(a)和图20(b)是说明使用由根据本发明实施例5(b)的图像处理设备执行的图像变换处理来实现的控制处理的具体示例的图。

图21是说明根据本发明实施例的图像处理设备的配置的示例的图。

图22是说明根据本发明实施例的图像处理设备的微分装置的配置的示例的图。

图23是说明根据本发明实施例的图像处理设备的配置的示例的图。

具体实施方式

下文中，将参考附图来对根据本发明的图像处理设备、图像处理方法及程序进行详细描述。将根据下面列出的相应条目来按顺序作出以下说明。

A.实施例1：设置在关于显示单元的显示表面较深的一侧的视差范围的缩小处理的示例

B.实施例2：设置在关于显示单元的显示表面较深的一侧的视差范围的放大处理的示例

C.实施例3：设置在关于显示单元的显示表面较近的一侧的视差范围的控制(缩小/放大)处理的示例

D.实施例4：设置在显示单元的显示表面的任一侧的视差范围的控制处理的示例

E.实施例5：用于使用简化的差异图来进行视差控制的实施例

F.实施例6：具有使得能够输入用于移位方式的控制的信号的配置的实施例

在一个实施例中，提供一种图像处理设备，包括：左图像变换单元，用于输入要呈现给左眼并应用于立体图像的显示的左图像，沿着右方向或左方向改变左图像的图像信号的相位，以及生成左图像变换图像；以及右图像变换单元，用于输入要呈现给右眼并应用于立体图像的显示的右图像，沿着左方向或右方向改变右图像的图像信号的相位，以及生成右图像变换图像，其中，左图像变换单元和右图像变换单元提取输入图像的图像信号的特征量，并且使用应用所提取的特征量的图像变换处理来生成左图像变换图像和右图像变换图像。

在另一个实施例中，提供一种由图像处理设备执行的图像处理方法，包括：左图像变换步骤，用于使左图像变换单元：输入要呈现给左眼并应用于立体图像的显示的左图像，沿着右方向或左方向来改变左图像的图像信号的相位，以及生成左图像变换图像；以及右图像变换步骤，用于使右图像变换单元：输入要呈现给右眼并应用于立体图像的显示的右图像，沿着左方向或右方向来改变右图像的图像信号的相位，以及生成右图像变换图像，其中，左图像变换步骤和右图像变换步骤是用于执行以下处理的步骤：提取输入图像的图像信号的特征量，以及使用应用所提取的特征量的图像变换处理来生成左图像变换图像和右图像变换图像。

在另一个实施例中，提供一种用于使图像处理设备执行图像处理的程序，程序使图像处理设备执行：左图像变换步骤，用于使左图像变换单元：输入要呈现给左眼并应用于立体图像的显示的左图像，沿着右方向或左方向来改变左图像的图像信号的相位，以及生成左图像变换图像；以及右图像变换步骤，用于使右图像变换单元：输入要呈现给右眼并应用于立体图像的显示的右图像，沿着左方向或右方向来改变右图像的图像信号的相位，以及生成右图像变换图像，其中，在左图像变换步骤和右图像变换步骤中，提取输入图像的图像信号的特征量，以及使用应用所提取的特征量的图像变换处理来生成左图像变换图像和右图像变换图像。

[A.实施例1：设置在关于显示单元的显示表面较深的一侧的视差范围的缩小处理的示例]

将参考图1与随后的附图来说明本发明的实施例1。

实施例1是这样的实施例：在不使用任何差异图的情况下进行视差控制，在该差异图中，与构成立体图像(三维图像)的右图像和左图像(左眼图像和右眼图像)的图像位移(视网膜图像差等，以及显示单元上的左图像与右图像之间的显示位置距离)相对应的差异的值与每个像素相关联。

在本实施例中，实现了一种图像处理设备，其在不生成任何差异图的情况下执行视差控制，诸如对构成三维图像的右图像和左图像(左眼图像和右眼图像)的视差范围所进行的缩小处理和放大处理。

将参考图1来说明根据本实施例的图像处理设备的配置的示例。如图1中示出的，图像处理设备100包括左图像变换单元110和右图像变换单元120，左图像变换单元110用于接收左图像(L1图像)10，进行图像变换，以及生成视差被调节的视差调节左图像(L2图像)50；右图像变换单元120用于接收右图像(R1图像)20，进行图像变换，以及生成视差被调节的视差调节右图像(R2图像)60。

用作输入图像的左图像(L1图像)10和右图像(R1图像)20分别是左眼图像和右眼图像，其可以应用于立体图像(三维图像)的显示。换言之，左图像(L1图像)10和右图像(R1图像)20是根据被摄主体距离来设置视差的图像，诸如取自不同视点的图像。应当注意：左图像(L1图像)10和右图像(R1图像)20可以是静止图片或诸如视频数据的运动图片。在运动图片或静止图片两者中的任何一种情况下，分别应用于显示三维图像的一对左图像(L1图像)10和右图像(R1图像)20被连续地输入到左图像变换单元110和右图像变换单元120，并且这些单元生成通过应用图像的变换处理对视差进行了调节的视差调节左图像(L2图像)50与视差调节右图像(R2图像)60。

左图像变换单元110包括用于接收左图像(L1)10的左图像输入单元111、用于进行对左图像10的微分处理的左图像微分处理单元112、用于对左图像10的微分信号进行非线性变换的左非线性变换单元113、用于组合左图像10与经非线性变换的微分信号的左图像组合单元114以及用于输出已转换的视差调节左图像(L2)50的左图像输出单元115。

右图像变换单元120包括用于接收右图像(R1)20的右图像输入单元121、用于进行对右图像20的微分处理的右图像微分处理单元122、用于对右图像20的微分信号进行非线性变换的右非线性变换单元123、用于组合右图像20与经非线性变换的微分信号的右图像组合单元124以及用于输出已转换的视差调节右图像(R2)60的右图像输出单元125。

左图像变换单元110和右图像变换单元120进行处理，以通过提取输入图像信号的空间特征量并且对所提取的特征量应用不同的强调处理来生成视差受到控制的视差调节左图像50和视差调节右图像60；并且经由左图像输出单元115和右图像输出单元125来输出视差调节左图像50和视差调节右图像60。

例如，左图像输出单元115和右图像输出单元125连接至用于进行对三维图像的显示处理的显示单元，并且进行对应用视差被调节的视差调节左图像(L2)50和视差调节右图像(R2)60的三维图像的显示处理。

可替代地，左图像输出单元115和右图像输出单元125连接至用于执行到记录介质的记录处理的记录单元，使得进行记录处理以将视差调节左图像(L1)50和视差调节右图像(R1)60记录到记录介质。可替代地，左图像输出单元115和右图像输出单元125可以被配置为经由通信单元将视差调节左图像(L1)50和视差调节右图像(R1)60传输给外部设备。

将说明由左图像变换单元110来执行的处理的细节。

左图像输入单元111接收预先生成的应用于三维图像的显示的左图像(L1)10。

左图像微分装置112从被输入给左图像变换单元110的左图像10中提取图像特征量。更具体地，左图像微分装置112从左图像10中取得亮度信号并且生成该亮度信号的微分信号(HL)。例如，左图像微分装置112接收图像的沿着水平方向的亮度信号并且生成通过对输入的亮度信号进行一阶微分而获得的信号。例如，在一阶微分处理中，使用了沿着水平方向具有三个抽头的线性一阶微分滤波器等。

图2例示左图像微分装置112的微分信号的生成处理的示例。

图2示出下面列出的信号的示例。

(a)输入信号

(b)微分信号

图2(a)是输入图像信号的示例。

图2(b)是通过对图2(a)的输入图像信号进行微分处理而获得的图像。例如，图2(b)示出由左图像微分装置112生成的亮度微分信号(HL)。

在本实施例中，将说明采用亮度信号作为处理数据的情况。然而，不仅可以采用亮度信号作为处理目标数据，而且还可以将颜色信号(诸如RGB)采用为处理目标数据。

左图像非线性变换单元113对从左图像微分装置112输出的微分信号(HL)进行非线性变换，并且将作为非线性变换信号(EL)的信号输出给图像组合单元114。

图3例示由左图像非线性变换单元113执行的非线性变换处理的示例。水平轴表示从左图像微分装置112输出的微分信号(亮度微分信号)的亮度值，而竖直轴表示被提供作为由左图像非线性变换单元113进行的非线性变换处理的结果的输出亮度值。

左图像非线性变换单元113使用预先定义的函数f(x)来对输入的微分信号(In(＝HL))进行变换，并且输出视差强调信号(Out(＝EL))。更具体地，Out＝f(In)成立。在该情况下，可以在函数f(x)中使用各种类型的设置。函数f(x)的示例包括以下函数。

F(x)＝x^γ

使用在上面表达式中描述的指数函数。γ是预先设置的系数，并且其可以被设置成各种值。

左图像非线性变换单元113中使用的变换函数不限于指数函数。可替代地，可以进行线性变换。

如图1中使用虚线表示的，可以省略左图像非线性变换单元113的处理。在该情况下，从左图像微分装置112输出的微分信号(HL)被直接输入给左图像组合单元114。

左图像组合单元114进行处理：通过应用左图像(L1)10和根据该左图像(L1)10生成的空间特征量来生成视差调节左眼图像50，上述空间特征量即亮度信号的微分信号(HL)或通过对该微分信号进行非线性转换而生成的非线性变换的信号(EL)。

接着，将说明左图像组合单元114的处理。

左图像组合单元114进行处理：通过应用作为输入图像的左图像10和根据该左图像10生成的空间特征量来生成视差调节左眼图像50，上述空间特征量即亮度信号的微分信号或通过对该微分信号进行非线性变换而生成的非线性变换的信号。所生成视差调节的左图像50经由左图像输出单元115被输出，例如，其被显示在显示单元上。

图4(a)至图4(c)例示由左图像组合单元114进行的图像组合处理的示例。图4(a)至图4(c)自上而下示出了以下信号。

(a)输入信号(L1)

(b)微分信号(HL)

(c)组合图像信号(＝视差调节左图像信号(L2))

例如，对于任何给定的视频数据帧的任何给定的一条水平线，(a)输入信号(L1)表示被输入到图像处理设备100中的左图像(L1)10的亮度变化。这示出在中心部分存在具有高亮度的高亮度区域的一条线的示例。

在从线位置(x1)到线位置(x2)的区域P中，(a)输入信号(L1)示出使得亮度逐渐增加的变化。在线位置(x2)到线位置(x3)之间，存在高水平亮度被维持的高亮度部分。此后，在从线位置(x3)到线位置(x4)的区域Q中，(a)输入信号(L1)示出使得亮度逐渐减小的变化。

(b)微分信号(HL)表示(a)输入信号(L1)的微分结果。该微分信号是由如图1中示出的左图像变换单元110的左图像微分装置112生成的信号。

应当注意：由左图像微分装置112使用的微分滤波器系数产生具有如图4(b)中示出的以下序列的微分滤波器系数的微分滤波器。

1,0,-1

使用具有上面的序列的微分滤波器系数的滤波器进行的微分处理意味着应用：

像素(n)的沿着水平线的微分信号(In')，

像素(n)之前(左边)的像素(n-1)的像素值(在本示例中为亮度)＝(I(n-1))，以及

像素(n)之后(右边)的像素(n+1)的像素值(在本示例中为亮度)＝(I(n+1))，

以及，计算如下。

In'＝(I(n-1))–(I(n+1))

如图4(a)至图4(c)中示出的，由左图像微分装置112生成的微分信号(LH)在(a)输入左图像信号(L1)的亮度变化为正的区域P中具有负值，而由左图像微分装置112生成的微分信号(LH)在(a)输入左图像信号(L1)的亮度变化为负的区域Q中具有正值。

(c)组合信号(视差调节左图像信号(L2))是由如图1中示出的左图像变换单元110的左图像组合单元114生成的信号。左图像组合单元114通过执行用于将(a)输入左图像信号(L1)与(b)左图像微分信号(HL)相加的组合处理来生成组合信号(视差调节左图像信号(L2))。于是，生成了如图4(c)中例示的组合信号(视差调节左图像信号(L2))。

如可以根据该图理解的，(a)输入信号(L1)的亮度变化部分P、Q在(c)组合图像信号(＝视差调节左图像信号(L2))中沿着右方向发生相位改变(移位)。这是由微分信号到输入信号(L1)的组合(相加)处理引起的效果。

在图4(a)至图4(c)的说明中，示出了省略了如图1中示出的左图像非线性变换单元113的处理的示例。然而，当添加了左图像非线性变换单元113的处理时，则图4(b)的微分信号的振幅被控制(例如，抑制)。

在这种情况下，作为由左图像组合单元114进行的组合处理的结果的(c)组合图像信号(＝视差调节左图像信号(L2))也是相位变化(移位)的信号，即，其中，亮度变化部分P、Q被移动到(a)输入信号(L1)的右侧，正如图4(a)至图4(c)中示出的。

如上所述，如图1中例示的左图像变换单元110生成并输出视差调节左图像(L2)50，其中，左图像(L1)10即输入图像的亮度变化部分沿着右方向被移位。

接着，将说明如图1中例示的右图像变换单元120的处理。右图像变换单元120与左图像变换单元110具有相同的配置。

更具体地，右图像变换单元120包括用于接收右图像(R1)20的右图像输入单元121、用于进行对右图像20的微分处理的右图像微分处理单元122、用于对右图像20的微分信号进行非线性变换的右非线性变换单元123、用于组合右图像20与经非线性变换的微分信号的右图像组合单元124以及用于输出已转换的视差调节右图像(R2)60的右图像输出单元125。

基本上，右图像变换单元120的每个组成单元的处理进行与左图像变换单元110的每个相应的组成单元的处理相同的处理。

然而，右图像变换单元120在由进行右图像20的微分处理的右图像微分处理单元122所应用的微分滤波器的系数方面是不同的。

由右图像微分处理单元122应用的微分滤波器的系数具有通过对由左图像变换单元110的左图像微分处理单元112应用的微分滤波器的系数进行反转而获得的序列。换言之，由右图像微分处理单元122应用的微分滤波器的系数具有反向模式的序列。

将参考图5(a)至图5(c)来说明被输入给右图像变换单元120的右图像(R1)20、由右图像微分处理单元122生成的右图像微分信号(HR)以及由右图像组合单元124生成的组合信号(视差调节右图像信号(R2))的示例。

图5(a)至图5(c)中例示的信号的示例与如上述图4(a)至图4(c)中描述的作为左图像变换单元110的信号的示例相对应。

更具体地，图5(a)至图5(c)例示由右图像组合单元124进行的图像组合处理的示例。图5(a)至图5(c)自上而下示出了以下信号。

(a)输入信号(R1)

(b)微分信号(HR)

(c)组合图像信号(＝视差调节右图像信号(R2))

例如，对于任何给定的视频数据帧的任何给定的一条水平线，(a)输入信号(R1)表示被输入到图像处理设备100中的右图像(R1)20的亮度变化。这示出在中心部分存在具有高亮度的高亮度区域的一条线的示例。

在从线位置(x1)到线位置(x2)的区域P中，(a)输入信号(R1)示出使得亮度逐渐增加的变化。在线位置(x2)到线位置(x3)之间，存在高水平亮度被维持的高亮度部分。其后，在从线位置(x3)到线位置(x4)的区域Q中，(a)输入信号(R1)示出使得亮度逐渐减小的变化。

(b)微分信号(HR)表示(a)输入信号(R1)的微分结果。该微分信号是由如图1中示出的右图像变换单元120的右图像微分装置122生成的信号。

应当注意：如上所述，由右图像微分装置122使用的微分滤波器系数是由通过对由左图像微分装置122使用的微分滤波器系数进行反转而获得的系数序列构成的。更具体地，如图5(b)中示出的，由右图像微分装置122使用的微分滤波器系数产生具有如图5(b)中例示的以下序列的微分滤波器系数的微分滤波器。

-1,0,1

使用具有上面的序列的微分滤波器系数的滤波器进行的微分处理意味着应用：

像素(n)的沿水平线的微分信号(In')，

像素(n)之前(左边)的像素(n-1)的像素值(在本示例中为亮度)＝(I(n-1))，以及

像素(n)之后(右边)的像素(n+1)的像素值(在本示例中为亮度)＝(I(n+1))，

以及，计算如下。

In'＝-(I(n-1))+(I(n+1))

如图5(a)至图5(c)中示出的，由右图像微分装置122生成的微分信号(HR)在(a)输入右图像信号(R1)的亮度变化为正的区域P中具有正值，而由右图像微分装置122生成的微分信号(HR)在(a)输入右图像信号(R1)的亮度变化为负的区域Q中具有负值。

(c)组合信号(视差调节右图像信号(R2))是由如图1中示出的右图像变换单元120的右图像组合单元124生成的信号。右图像组合单元124通过执行用于将(a)输入右图像信号(R1)与(b)右图像微分信号(HR)相加的组合处理来生成组合信号(视差调节右图像信号(R2))。于是，生成了如图5(c)中示出的组合信号(视差调节右图像信号(R2))。

如可以根据该图理解的，(a)输入信号(R1)的亮度变化部分P、Q在(c)组合图像信号(＝视差调节右图像信号(R2))中沿着左方向发生相位变化(移位)。这是由微分信号到输入信号(R1)的组合(相加)处理引起的效果。

在图5(a)至图5(c)的说明中，示出了省略了如图1中例示的右图像非线性变换单元123的处理的示例。然而，当添加了右图像非线性变换单元123的处理时，则图5(b)的微分信号的振幅被控制(例如，抑制)。

在该情况下，作为由右图像组合单元124进行的组合处理的结果的(c)组合图像信号(＝视差调节右图像信号(R2))也是相位变化(移位)信号，即，其中，亮度变化部分P、Q被移动到(a)输入信号(R1)左侧被移动，即，沿着相对输入信号(R1)的左方向被移动，正如图5(a)至图5(c)中示出的。

如上所述，如图1中示出的右图像变换单元120生成并输出右图像(R1)20即输入图像的亮度变化部分被沿着左方向移位的视差调节右图像(R2)60。

接着，将参考图6来说明图像处理设备100的输入图像与输出图像之间的对应。

图6中自上而下示出了以下信号模式。

(L1)输入左图像信号

(L2)输出左图像信号(视差调节左图像信号)

(R1)输入右图像信号

(R2)输出右图像信号(视差调节右图像信号)

这些信号与参考图4(a)至图5(c)说明的信号模式相对应。

图像处理设备100的输入图像信号包括以下图像信号对。

(L1)输入左图像信号

(R1)输入右图像信号

这些信号是用于显示三维图像的信号，其中，视差被预先设置。

更具体地，例如，在图6中，亮度变化部分[P]的中心部分中的(L1)输入左图像信号的显示位置与(R1)输入右图像信号的显示位置之间设置了位移。视差是由显示位置的该位移生成的。

在下面的说明中，显示单元上的、左图像中的被摄主体的显示位置与右图像中的该被摄主体的显示位置之间的距离被定义为“差异”。

亮度变化部分[P]的中心部分中的输入图像(L1)、(R1)之间的差异设置如下：

(L1)输入左图像信号中的点(p1)，

(R1)输入右图像信号中的点(p2)，以及

这些点之间的距离[V1]。

相反，输出图像的差异，即视差调节图像信号如下：

(L2)输出左图像信号(视差调节左图像信号)中的点(p3)，

(R2)输出右图像信号(视差调节左图像信号)中的点(p4)，并且

这些点之间的距离[V2]是差异。

如上所述，亮度变化部分[P]的中心部分中的差异如下：

输入图像对的差异V1，以及

输出图像(视差调节图像信号)的差异V2，

它们是不同的值。

在本示例中，以下表达式成立。

V2<V1

与输入图像的差异相比，输出图像的差异被减小。通过该差异的减小，抑制了视差。

该效果被获得作为每个图像的相位变化(移位)的效果。

将参考图7(a)和图7(b)来说明根据本实施例1的图像处理设备的视差调节处理的效果。图7(a)和图7(b)示出了以下图。

(a)输入图像的视差范围S1

(b)视差调节图像的视差范围S2

示出了这两个视差范围。应当注意：构成三维图像的左图像和右图像(左眼图像和右眼图像)包括具有各种被摄主体距离(距摄像机的距离)的被摄主体，并且在左图像和右图像中设置了根据被摄主体距离的各种视差。

图7(a)和图7(b)示出观察者(用户)的左眼201和右眼202以及执行三维图像显示处理的显示单元的显示屏210。

在显示屏210上呈现了根据被摄主体距离而具有各种视差的图像。

应当注意：使用指示观察者(用户)的眼睛即左眼201和右眼202的视网膜上的图像的位置位移的视网膜图像差、以及显示屏上的相同被摄主体之间的距离作为视差的指标值。在这种情况下，将显示屏上的该被摄主体的距离定义为差异，并且对差异进行比较。当差异为0时，则视差为0。这是显示屏210上的由观察者(用户)的左眼201观察到的左图像和由观察者(用户)的右眼202观察到的右图像中的被摄主体的显示位置处于相同位置的情况。

更具体地，图7(a)的显示屏210的中心处的点A 221是视差＝0成立的被摄主体A，即，差异＝0成立的被摄主体A。在该情况下，用户感觉到被摄主体A好像位于显示屏210上。

应当注意：图中的[A左/右图像]意思是由用户的左眼201观察的三维图像的左图像中的被摄主体A在显示屏210上的显示位置与由用户的右眼202观察的三维图像的右图像中的被摄主体A在显示屏210上的显示位置在相同位置处。

另一方面，如图7(a)中示出的以下图像在显示屏210上的显示位置是不同的：

左图像B和右图像B，以及

左图像C和右图像C。

这意思是由用户的左眼201观察到的三维图像的左图像中的被摄主体B、C的显示位置与由用户的右眼202观察到的三维图像的右图像中的被摄主体B、C的显示位置是不同的。

在这种情况下，用户感觉到被摄主体B、C好像位于与显示屏210不同的位置处。

更具体地，被摄主体B被观察为好像被摄主体B位于空间中的点222处，点222是连接观察者的左眼201和左图像B在显示屏210上的显示位置的线与连接观察者的右眼202和右图像B在显示屏210上的显示位置的线之间的交点。

另一方面，被摄主体C被观察为好像被摄主体C位于空间中的点223处，点223是连接观察者的左眼201和左图像C在显示屏210上的显示位置的线与连接观察者的右眼202和右图像C在显示屏210上的显示位置的线之间的交点。

如上所述，由观察者感觉到的被摄主体的位置是根据显示屏210上左图像与右图像之间的该被摄主体的距离(差异)来设置的。这将使用指示显示屏210上左图像与右图像之间的被摄主体间隔的差异来说明。

被摄主体A的差异为0。

左图像中的被摄主体A和右图像中的被摄主体A被显示在显示屏210上的同一位置处，因此，差异为0。

由观察者认识到的被摄主体A的位置为显示屏210上的位置221。

被摄主体B的差异为DB。

显示屏210上左图像中的被摄主体B与右图像中的被摄主体B之间的距离为DB，因此，差异为DB。

由观察者认识到的被摄主体B的位置为位置222，相比显示屏210，位置222距观察者较远。

被摄主体C的差异为DC。

应当注意：DB<DC成立。

显示屏210上左图像中的被摄主体C与右图像中的被摄主体C之间的距离为DC，因此，差异为DC。

由观察者认识到的被摄主体C的位置为位置223，相比显示屏210，位置223距观察者较远，并且距被摄主体B较远。

当在图像中观察到被摄主体A、B、C时，则由观察者观察到的视差范围是从处于最近的显示屏位置处的点A到在图像中为最远的被摄主体C的点的宽度[S1]。

图7(b)例示使用由如图1中示出的图像处理设备100转换的图像来显示的图像的观察状态，上述转换的图像即例如视差调节左图像(L2)50和视差调节右图像(R2)60。

被摄主体A2、B2、C2是与图7(a)的被摄主体A、B、C相同的被摄主体，但是，由于上述变换处理，基于图像信号的相位变化而产生了图像移位，从而，改变了由观察者观察到的被摄主体位置。

被摄主体A2的差异为0。

左图像中的被摄主体A2和右图像中的被摄主体A2被显示在显示屏210上的相同位置处，因此，差异为0。

由观察者认识到的被摄主体A2的位置是显示屏210上的位置231。

被摄主体B2的差异为DB2。

显示屏210上左图像中的被摄主体B2与右图像中的被摄主体B2之间的距离为DB2，因此，差异为DB2。

由观察者认识到的被摄主体B的位置是相比显示屏210距观察者较远的位置232。

然而，由观察者认识到的被摄主体B2的位置被设置在相比在如图7(a)中示出的转换之前的输入图像中的被摄主体位置B，距观察者较近(距显示屏210较近)的位置处。这是上面的图像移位处理的结果。

被摄主体C2的差异为DC2。

应当注意：DB2<DC2成立。

显示屏210上左图像中的被摄主体C2与右图像中的被摄主体C2之间的距离为DC2，因此，差异为DC2。

由观察者认识到的被摄主体C2的位置是相比显示屏210距观察者较远并且距被摄主体B2较远的位置233。

然而，由观察者认识到的被摄主体C2的位置被设置在相比在如图7(a)中例示的转换之前的输入图像中的被摄主体位置C，距观察者较近(距显示屏210较近)的位置处。这是上述图像移位处理的结果。

例如，作为图像处理设备100的图像变换处理的结果，点B的左图像位置沿着右方向稍微移动，而点B的右图像位置沿着左方向稍微移动，使得差异减小。换言之，差异从DB减小为DB2。

位于更深位置处的点C的左图像位置沿着右方向较大地移动，而点C的右图像位置沿着左方向较大地移动，使得差异进一步减小。

差异从DC减小为DC2。

应当注意：以下不等式成立。

(DC-DC2)>(DB-DB2)

这意味着对于较深的被摄主体，差异的缩减宽度较大。

于是，如可以通过比较图7(a)和图7(b)的视差范围S1、S2来理解的，

转换之前的输入图像的视差范围S1(A至C)在转换之后变为输出图像(视差调节图像)的视差范围S2(A2至C2)。

换言之，在本示例中，与输入图像的视差范围S1(A至C)相比，输出图像(视差调节图像)的视差范围S2(A2至C2)被减小。

参考图7(a)和图7(b)来说明的视差抑制效果被提供作为先前参考图4(a)到图4(c)以及图5(a)到图5(c)说明的图像移位的结果。

换言之，左图像微分处理单元113使用如图4(b)中示出的系数来进行微分计算，并且微分信号被加到左图像，或微分信号被加到非线性处理后的左图像，从而，远离聚焦位置的被摄主体的图像沿着输入图像的右方向被移置。

另一方面，右图像微分处理单元123使用图5(b)中示出的系数来进行微分计算，并且微分信号被加到右图像，或微分信号被加到非线性处理后的右图像，从而，远离聚焦位置的被摄主体的图像沿着输入图像的左方向被移置。

于是，左图像与右图像之间的差异小于输入图像的差异，并且可以减小视差范围，例如，从图7(a)的视差范围S1到如图7(b)例示的视差范围S2。

在由如图1中例示的图像处理设备100执行的图像变换处理中，差异的变化至少在用作转换目标图像的图像中的焦点对准的像素位置(例如，距观察者最近的被摄主体)处，并且点距聚焦位置越远，差异的变化变得越大。

在如图7(a)和图7(b)示出的示例中，距观察者最近的点A焦点对准，并且点A处的差异(其将被称为DA)几乎不存在任何变化。在图像中，考虑到当被摄主体移动到更深侧(到A、B，然后到C)时，被摄主体远离焦点，并且这增加了模糊。

在这种情况下，

将图像转换之前被摄主体A、B和C的差异分别表示为DA、DB和DC，以及

将图像转换以后被摄主体A、B和C的差异分别表示为DA2、DB2和DC2。

然后，将各差异的变化宽度设置如下。

(DC2-DC)>(DB2-DB)>(DA2-DA)≈0

如图1中例示的非线性变换单元113、123使用例如上面参考图3描述的非线性变换处理，以进行提升(raise)微分信号的低频区域的处理。利用该处理，例如，可以进行处理以提升焦点未对准的模糊区域(低频区域)中的微分信号的水平。利用该处理，使得能够进行参考图7(a)与图7(b)说明的处理，即，可以进行控制以将差异的变化减小为焦点对准的像素位置处的最小值(例如，距观察者最近的被摄主体)，并且，随着被摄主体远离聚焦位置，差异的变化增加。

将参考图8至图11说明被输入到图像处理设备100的输入信号、微分信号和输出信号之间的对应的具体示例。

图8至图11例示输入信号、微分信号和输出信号的线。每条线对应于图像信号的水平线的一部分。竖直轴表示亮度，而水平轴表示水平方向上的像素位置。

输入信号是表示构成被输入给图像处理设备100的左图像(L1)10或右图像(R1)20的水平线的亮度的线。

微分信号是通过由图像处理设备100的微分装置(左图像微分装置112或右图像微分装置122)进行的微分处理生成的信号。

输出信号是通过由图像处理设备100的组合单元(左图像组合单元114或右图像组合单元124)进行的组合处理生成的信号。

图8至图11中指示的信号对应于以下处理示例。

(1)图8：使用微分滤波器系数[1,0,-1](右方向移位)将微分(在本实施例中为左图像微分装置112)处理应用于构成图像的高频区域的处理示例。

(2)图9：使用微分滤波器系数[-1,0,1](左方向移位)将微分(在本实施例中为右图像微分装置122)处理应用于构成图像的高频区域的处理示例。

(3a)图10(a)：使用微分滤波器系数[1,0,-1](右方向移位)将微分(在本实施例中为左图像微分装置112)处理应用于构成图像的低频区域的处理示例。

(3b)图10(b)：使用微分滤波器系数[-1,0,1](左方向移位)将微分(在本实施例中为右图像微分装置122)处理应用于构成图像的低频区域的处理示例。

(4a)图11(a)：使用微分滤波器系数[1,0,-1]将微分(在本实施例中为左图像微分装置112)处理应用于构成图像的低频区域并且另外使用非线性变换(右方向移位)来放大微分信号的处理示例。

(4b)图11(b)：使用微分滤波器系数[-1,0,1]将微分(在本实施例中为右图像微分装置122)处理应用于构成图像的低频区域并且另外使用非线性变换(左方向移位)来放大微分信号的处理示例。

图8例示使用微分滤波器系数[1,0,-1]将微分(在本实施例中为左图像微分装置112)处理应用于构成图像的高频区域的处理示例。

微分信号(b)是通过对输入信号(a)进行微分处理来生成的，而输出信号(c)是通过输入信号与微分信号的组合处理来生成的。

如可以根据该图理解的，输出信号(c)沿着相对输入信号(a)的右方向被移位。

图9是使用微分滤波器系数[-1,0,1]将微分(在本实施例中为右图像微分装置122)处理应用于构成图像的高频区域的处理示例。

微分信号(b)是通过对输入信号(a)进行微分处理来生成的，而输出信号(c)是通过输入信号与微分信号的组合处理来生成的。

如可以根据该图理解的，输出信号(c)沿着相对输入信号(a)的左方向被移位。

图10(a)是使用微分滤波器系数[1,0,-1]将微分(在本实施例中为左图像微分装置112)处理应用于构成图像的低频区域的处理示例。

如可以根据该图理解的，输出信号(c)沿着相对输入信号(a)的右方向被移位。

图10(b)是使用微分滤波器系数[-1,0,1]将微分(在本实施例中为右图像微分装置122)处理应用于构成图像的低频区域的处理示例。

如可以根据该图理解的，输出信号(c)沿着相对输入信号(a)的左方向被移位。

图11(a)是使用微分滤波器系数[1,0,-1]将微分(在本实施例中为左图像微分装置112)处理应用于构成图像的低频区域并且还使用非线性变换来放大微分信号的处理示例。

如可以根据该图理解的，输出信号(c)沿着相对输入信号(a)的右方向被移位。

图11(b)是使用微分滤波器系数[-1,0,1]将微分(在本实施例中为右图像微分装置122)处理应用于构成图像的低频区域并且还使用非线性变换来放大微分信号的处理示例。

如可以根据该图理解的，输出信号(c)沿着相对输入信号(a)的左方向被移位。

如图1中例示的非线性变换单元113、123使用例如上面参考图3描述的非线性变换处理，以进行提升微分信号的低频区域的处理。利用该处理，例如，可以进行处理以提升在焦点未对准的低频区域中的微分信号的水平。利用该处理，例如，可以进行处理以增加低频区域中的位移量(相位变化量)。

更具体地，根据针对由非线性变换单元113、123进行的变换处理的方面的设置，可以实现控制以增加或减小低频区域与高频区域之间的位移量的不同。

[B.实施例2：设置在关于显示单元的显示表面较深的一侧的视差范围的放大处理的示例]

接着，将说明根据本发明的图像处理设备的实施例2。

根据实施例2的图像处理设备具有与如在实施例1中说明的图1中示出的图像处理设备100的配置相同的配置。

然而，与实施例1的情况相比，实施例2具有这种配置：对由左图像变换单元110的左图像微分装置112应用的微分滤波器与由右图像变换单元120的右图像微分装置122应用的微分滤波器进行了互换。

作为微分滤波器的该变化的结果，左图像和右图像的图像移位方向是相反的方向。于是，尽管在实施例1中进行的是对视差范围的缩小处理，但是在本实施中进行的是放大视差范围的处理。

将参考图12来说明根据本实施例的图像处理设备100的输入图像与输出图像之间的对应。图12与在实施例1中说明的图6是相同的图。图12中自上而下示出了以下信号模式。

(L1)输入左图像信号

(L2)输出左图像信号(视差调节左图像信号)

(R1)输入右图像信号

(R2)输出右图像信号(视差调节左图像信号)

图像处理设备100的输入图像信号包括以下图像信号对。

(L1)输入左图像信号

(R1)输入右图像信号

这些信号是用于显示三维图像的信号，其中，视差被预先设置。

更具体地，例如，在图12中，亮度变化部分[P]的中心部分中的(L1)输入左图像信号的显示位置与(R1)输入右图像信号的显示位置之间设置了位移(差异)。该视差是由显示位置的该位移生成的。

亮度变化部分[P]的中心部分中的输入图像(L1)、(R1)之间的差异设置如下：

(L1)输入左图像信号中的点(p1)，

(R1)输入右图像信号中的点(p2)，以及

这些点之间的距离[V1]。

相比之下，输出图像的差异，即，视差调节图像信号如下：

(L2)输出左图像信号(视差调节左图像信号)中的点(p5)，

(R2)输出右图像信号(视差调节右图像信号)中的点(p6)，以及

这些点之间的距离[V3]是差异。

在本实施例中，由左图像变换单元110的左图像微分装置112应用的微分滤波器产生具有如图12(L2)中示出的以下序列的微分滤波器系数的微分滤波器。

-1,0,1

更具体地，在上述实施例1中，其为适用于右图像变换单元120的右图像微装置122的微分滤波器。

由具有上面的序列的微分滤波器系数的滤波器进行的微分处理意味着应用：

像素(n)的沿着水平线的微分数据(In')，

像素(n)之前(左边)的像素(n-1)的像素值(在本示例中为亮度)＝(I(n-1))，以及

像素(n)之后(右边)的像素(n+1)的像素值(在本示例中为亮度)＝(I(n+1))，

以及，计算如下：

In'＝-(I(n-1))+(I(n+1))

该微分信号与在实施例1中参考图5(b)来说明的微分信号是相同的信号。于是，微分信号与原始输入信号的该组合(相加)处理结果是通过沿着左方向对图12的(L1)输入信号的亮度变化部分P、Q进行移位而获得的如图12(L2)中示出的输出左图像信号(视差调节左图像(L2))。

另一方面，由右图像变换单元120的右图像微分装置122应用的微分滤波器产生具有如图12(b)(R2)中示出的以下序列的微分滤波器系数的微分滤波器。

1,0,-1

其为具有上面的序列的微分滤波器系数的适合的微分滤波器。

更具体地，在上述实施例1中，其为适用于左图像变换单元110的左图像微分装置112的微分滤波器。

使用具有上面的序列的微分滤波器系数的滤波器进行的微分处理意味着应用：

像素(n)的沿着水平线的微分数据(In')，

像素(n)之前(左边)的像素(n-1)的像素值(在本示例中为亮度)＝(I(n-1))，以及

像素(n)之后(右边)的像素(n+1)的像素值(在本示例中为亮度)＝(I(n+1)),

并且，计算如下

In'＝(I(n-1))–(I(n+1))

该微分信号与在实施例1中参考图4(b)说明的微分信号是相同的信号。于是，微分信号与原始输入信号的该组合(相加)处理结果是通过沿着右方向对图12的(R1)输入信号的亮度变化部分P、Q进行移位而获得如图12(R2)中示出的输出右图像信号(视差调节右图像(R2))。

尽管在说明中省略了非线性变换处理，但是，如果进行非线性变换处理，则以相同的方式来设置移位方向。

在实施例2中，如上所述，在互换了由根据实施例1的左图像和右图像的微分装置应用的微分滤波器的同时进行处理，使得实施例2被构造成使得左图像和右图像的移位方向是相反的方向。

因此，如图12中例示的，亮度变化部分[P]的中心部分中的差异如下。

输入图像对的差异V1，以及

输出图像(视差调节图像信号)的差异V3，

其是不同的值。

在本示例中，

V1<V3

成立，并且与输入图像的差异V1相比，输出图像的差异V3增加。通过该差异的增加，放大了视差。

作为每个图像的移位的结果获得该效果。

将参考图13(a)和图13(b)来解释根据本实施例2的图像处理设备的视差调节处理的结果。图13(a)和图13(b)示出了下面的图。

(a)输入图像的视差范围S1

(b)视差调节图像的视差范围S3

与上述实施例1的图7(a)和图7(b)一样，图13(a)和图13(b)示出观察者(用户)的左眼201和右眼202以及执行三维图像显示处理的显示单元的显示屏210。

在显示屏210上呈现了根据被摄主体距离而具有各种视差的图像。

在本说明中，使用作为显示屏上的相同被摄主体的距离的差异作为视差的指标值。

图13(a)是与视差调节处理之前的输入图像相对应的图，并且与图7(a)是相同的图。在图13(a)中，

被摄主体A的差异为0，

被摄主体B的差异为DB，以及

被摄主体C的差异为DC。

以下表达式成立。

0<DB<DC

由用户认识到的被摄主体A的观察位置在显示器上。由用户认识到的被摄主体B的观察位置比显示器深(距观察者更远)。由用户认识到的被摄主体C的观察位置在比被摄主体B的观察位置更远的位置处。

由观察者观察到的视差范围是从最近的显示屏位置处的点A到作为最远的被摄主体观察位置的点C的宽度[S1]。

例如，图13(b)例示根据本实施例2的使用由如图1中示出的图像处理设备100转换的图像来显示的图像的观察状态，转换的图像即视差调节左图像(L2)50和视差调节右图像(R2)60。

被摄主体A3、B3、C3是与图13(a)的被摄主体A、B、C相同的被摄主体，但是，通过上述变换处理，执行图像移位，从而改变了由观察者观察到的被摄主体位置。

被摄主体A3的差异为0。

左图像中的被摄主体A3和右图像中的被摄主体A3被显示在显示屏210上显的相同位置处，从而，差异为0。

由观察者认识到的被摄主体A3的位置是显示屏210上的位置241。

被摄主体B3的差异为DB3。

显示屏210上左图像中的被摄主体B3与右图像中的被摄主体B3之间的距离为DB3，从而，差异为DB3。

由观察者认识到的被摄主体B3的位置是相比显示屏210距观察者较远的位置242。

然而，由观察者认识到的被摄主体B3的位置被设置在相比在如图13(a)中示出的转换之前的输入图像中的被摄主体B，距观察者较远(距显示屏210较远)的位置处。这是上面的图像移位处理的结果。

被摄主体C3的差异为DC3。

应当注意：DB3<DC3成立。

显示屏210上左图像中的被摄主体C3与右图像中的被摄主体C3之间的距离为DC3，从而，差异为DC3。

由观察者认识到的被摄主体C3的位置是相比显示屏210距观察者较远并且距被摄主体B2较远的位置243。

然而，由观察者认识到的被摄主体C3的位置被设置在相比在如图13(a)中例示的转换之前的输入图像中的被摄主体位置C，距观察者较远(距显示屏210较远)的位置处。这是上面的图像移位处理的结果。

在本实施例2中，由图像处理设备100进行图像变换处理，使得沿着与上述实施例1的方向相反的方向来执行图像移位。

更具体地，点B的左图像位置沿着左方向稍微移动，而点B的右图像位置沿着右方向稍微移动，使得差异增加。换言之，差异从DB增加为DB3。

位于更深处的点C的左图像位置沿着左方向较大地移动，点C的右图像沿着右方向较大地移动，使得差异进一步增加。换言之，差异从DC增加为DC3。

应当注意：以下表达式成立。

(DC3-DC)>(DB3-DB)

这意味着对于较深被摄主体的差异，放大宽度较大。

于是，如可以通过比较图13(a)和图13(b)的视差范围S1、S3理解的，

转换之前的输入图像的视差范围S1(A至C)在转换之后变为输出图像(视差调节图像)的视差范围S3(A3至C3)。

换言之，在本示例中，与输入图像的视差范围S1(A至C)相比，输出图像(视差调节图像)的视差范围S3(A3至C3)被放大。

参考图13(a)和图13(b)来说明的视差放大结果被提供作为先前参考图12说明的图像移位的结果。

换言之，左图像微分处理单元113使用如图12(L2)中示出的系数来进行微分计算，并且微分信号被加到左图像，或微分信号被加到非线性处理后的左图像，从而，远离聚焦位置的被摄主体的图像沿着相对输入图像的左方向被移置。

另一方面，右图像微分处理单元123使用如图12(R2)中示出的系数来进行微分计算，并且微分信号被加到右图像，或微分信号被加到非线性处理后的右图像，从而，远离聚焦位置的被摄主体的图像沿着相对输入图像的右方向被移置。

因此，左图像与右图像之间的差异大于输入图像的差异，并且可以放大视差范围，例如，从图13(a)的视差范围S1到如图13(b)示出的视差范围S3。

如上所述，在由图像处理设备100执行的图像变换处理中，差异的变化至少在用作转换目标图像的图像中焦点对准的像素位置(例如，距观察者最近的被摄主体)处，并且点离聚焦位置越远，差异的变化变得越大。

在如图13示出的情况下，最近位置处的点A焦点对准，并且鉴于在较深位置处的被摄主体具有较大的被摄主体模糊的事实，点A的差异几乎没有变化。

当处于最近位置的点A焦点对准时，则考虑，在图像中，随着被摄主体向着较深侧移动(到A、B，然后到C)时，被摄主体远离焦点移动，而这增加了模糊。

在这种情况下，

将图像转换之前被摄主体A、B和C的差异分别表示为DA、DB和DC，以及

将图像转换之后被摄主体A、B和C的差异分别表示为DA3、DB3和DC3。

然后，差异的变化宽度设置如下。

(DC3-DC)>(DB3-DB)>(DA3-DA)≈0

[C.实施例3：设置在关于显示单元的显示表面较近的一侧的视差范围的控制(缩小/放大)处理的示例]

在实施例1和实施例2中，说明了这样的处理的示例：被输入倒图像处理设备的用于三维显示的图像是左图像(L1)10和右图像(R1)20的视差设置被设置在显示单元的显示表面的较深侧的图像，即，左图像(L1)10和右图像(R1)20的视差设置被设置在距观察者较远的位置处的图像。换言之，

在实施例1中，对用于设置在显示单元的显示表面的较深侧的视差范围的缩小的处理示例进行了说明。

在实施例2中，对用于设置在显示单元的显示表面的较深侧的视差范围的放大的处理示例进行了说明。

然而，应用于三维图像的显示的图像不限于在实施例1和实施例2中说明的图像。存在这样的图像：视差被设置成使得被摄主体向着显示单元的显示表面的较近侧突出，即，向着距观察者较近的位置突出。

下文中，作为实施例3，将说明这样的处理的示例：被进行视差控制的输入图像是被摄主体的观察位置设置在关于显示表面较近的一侧(沿着观察者方向)的三维图像。

在实施例3(a)中，将说明用于对设置在显示单元的显示表面的较近侧的视差范围进行缩小的处理示例。

在实施例3(b)中，将说明用于对设置在显示单元的显示表面的较近侧的视差范围进行放大的处理示例。

将顺序对这些处理示例进行说明。

应当注意：本实施例3是使用与如在实施例1中说明的图1中示出的图像处理设备100相同的配置来实现的。

(a)用于对设置在显示单元的显示表面的较近侧的视差范围进行缩小的处理示例

首先，将参考图14(a)和图14(b)来对用于对设置在显示单元的显示表面的较近侧的视差范围进行缩小的处理示例进行说明。

图14(a)和图14(b)示出了下面的图。

(a)输入图像的视差范围S1

(b)视差调节图像的视差范围S4

图14(a)和图14(b)还示出观察者(用户)的左眼201和右眼202以及执行三维图像显示处理的显示单元的显示屏210。

在显示屏210上呈现了根据被摄主体距离而具有各种视差的图像。

与上述实施例1和实施例2一样，在本说明中，使用作为显示屏上的相同被摄主体的距离的差异作为视差的指标值。

图14(a)是与视差调节处理之前的输入图像相对应的图。在图14(a)中，

被摄主体E的差异为DE，为0，

被摄主体F的差异为DF，以及

被摄主体G的差异为DG。

差异的大小满足下面的关系。

DG>DF>DE≈0

由用户认识到的被摄主体E的观察位置在显示器上。由用户认识到的被摄主体F的观察位置比显示器近(距观察者较近)。由用户认识到的被摄主体G的观察位置在比被摄主体F的观察位置更近的位置处。

由观察者观察到的视差范围是从最远的显示屏位置处的点E到作为最近的被摄主体观察位置的点G的宽度[S1]。

如上所述，被摄主体被观察为好像该被摄主体在空间中的这样的点处：该点是连接观察者的左眼201和显示屏210上的左图像的显示位置的线与连接观察者的右眼202和显示屏210上的右图像的显示位置的线之间的交点。

在本实施例中，被摄主体的图像，即，左图像和右图像，(E至G右图像以及E至G左图像)被设置成使得该交点设置在比显示屏210近的位置处(距观察者较近的方向)。

当示出具有这种设置的三维图像时，如图14(a)中示出的，观察者认识到比显示屏距观察者更近的被摄主体。

如上所述，如图14(a)中示出的输入图像的视差范围是从最远的显示屏位置处的点E到为最近的被摄主体观察位置的点G的宽度[S1]。

图14(b)例示根据本实施例3(a)的使用由如图1中示出的图像处理设备100转换的图像来显示的图像的观察状态，转换的图像即例如视差调节左图像(L2)50和视差调节右图像(R2)60。

被摄主体E4、F4、G4是与图14(a)的被摄主体E、F、G相同的被摄主体，但是，由于上述变换处理，执行了图像移位，从而改变了由观察者观察到的被摄主体位置。

被摄主体E4的差异为0。

左图像中的被摄主体E4和右图像中的被摄主体E4被显示在显示屏210上的相同位置处，因此，差异为0。

由观察者认识到的被摄主体E4的位置是显示屏210上的位置。

被摄主体F4的差异为DF4。

显示屏210上左图像中的被摄主体F4与右图像中的被摄主体F4之间的距离为DF4，因此，差异为DF4.

由观察者认识到的被摄主体F4的位置是相比显示屏210距观察者较近的位置，即，观察者侧的位置F4。

然而，由观察者认识到的被摄主体F4的位置被设置在相比在如图14(a)中示出的转换之前的输入图像中的被摄主体位置F，距观察者较远(距显示屏210较近)的位置处。这是上述图像移位处理的结果。

被摄主体G4的差异为DG4.

应当注意：DF4<DG4成立。

显示屏210上左图像中的被摄主体G4与右图像中的被摄主体G4之间的距离为DG4，因此，差异为DG4。

由观察者认识到的被摄主体G4的位置是相比显示屏210距观察者较近的位置，即，观察者侧的位置G4。

然而，由观察者认识到的被摄主体G4的位置被设置在相比在如图14(a)中例示的转换之前的输入图像中的被摄主体位置G，距观察者较远(距显示屏210较近)的位置处。这是上述图像移位处理的结果。

在本实施例3(a)中，由图像处理设备100进行图像变换处理，使得沿着与上述实施例2中的方向相同的方向来执行图像移位。

更具体地，执行与参考图12说明的图像移位处理相同的图像移位处理。即，执行以下图像移位处理：

对于左图像(L1)10，沿着左方向进行移位处理，以及

对于右图像(R1)20，沿着右方向进行移位处理。

于是，左图像的位置F(图14(a)，F，左图像)沿着左方向稍微移动到图14(b)中的左图像的位置F4。而右图像的位置F(图14(a)，F，右图像)沿着右方向稍微移动到图14(b)中的右图像的位置F4。从而，增加了差异。换言之，差异从DF减小到DF4。

在位于距观察者(观察者侧)更近的位置G处，左图像的位置G(图14(a)，G，左图像)沿着左方向较大地移动到图14(b)中的左图像的位置G4，而右图像的位置G(图14(a)，G，右图像)沿着右方向较大地移动到图14(b)中的右图像的位置G4。通过该移动，差异变得更小。

差异从DG减小为DG4。

应当注意：以下表达式成立。

(DG-DG4)>(DF-DF4)

这意味着对于距观察者较近(距显示屏210较远)的被摄主体的差异，缩小幅度较大。

于是，如可以通过比较图14(a)和图14(b)的视差范围S1、S4来理解的，

转换之前的输入图像的视差范围S1(E至G)在变为转换之后的输出图像(视差调节图像)的视差范围S4(E4至G4)。

换言之，在该示例中，与输入图像的视差范围S1(E至G)相比，输出图像(视差调节图像)的视差范围S4(E4至G4)被缩小。

参考图14(a)和图14(b)来说明的视差范围缩小效果被提供作为由图像处理设备100进行的图像移位的结果。

在本实施例3(a)中，左图像微分装置112执行与实施例2一样的微分处理。更具体地，左图像微分装置112通过应用如图12(L2)中示出的以下微分滤波器系数来执行微分处理，

[-1,0,1]

通过该微分处理，左图像沿着如图12(L1)中示出的左方向被移位，

另一方面，右图像微分装置122通过应用如图12(R2)中例示的以下滤波器系数来执行微分处理。

[1,0,-1]

通过该微分处理，右图像沿着如图12(R1)、(R2)中例示的右方向被移位，

如图14(a)和图14(b)中例示的，左图像微分处理单元113使用如图12中例示的系数以及使用将微分信号或微分信号的非线性处理结果加到左图像的组合处理来进行微分计算，生成了转换图像，其中，转换图像沿着相对输入图像的左方向被移置。

另一方面，右图像微分处理单元123使用如图12(R2)中示出的系数以及使用将微分信号加到右图像或将微分信号加到非线性处理后的右图像的组合处理来进行微分计算，生成了转换图像，其中，转换图像沿着相对输入图像的右方向被移置。

于是，左图像与右图像之间的差异小于输入图像的差异，并且可以减小视差范围，例如，从图14(a)的视差范围S1到如图14(b)中示出的视差范围S4。

本实施例还被构造成使得差异的变化至少在用作转换目标图像的图像中的焦点对准的像素位置(被摄主体E)处，并且点距聚焦位置越远(到E、F，然后到G)，差异的变化就变得越大。

(b)用于对设置在显示单元的显示表面的较近侧的视差范围进行放大的处理示例

接着，将参考图15(a)和图15(b)来对用于对设置在显示单元的显示表面的较近侧的视差范围进行放大的处理示例进行说明。

图15(a)和图15(b)示出下面的图。

(a)输入图像的视差范围S1

(b)视差调节图像的视差范围S4

图15(a)和图15(b)还示出观察者(用户)的左眼201和右眼202以及执行三维图像显示处理的显示单元的显示屏210。

在显示屏210上呈现了根据被摄主体距离而具有各种视差的图像。

与上述实施例一样，在本说明中，使用作为显示屏上的相同被摄主体的距离的差异作为视差的指标值。

图15(a)是与视差调节处理之前的输入图像相对应的图，并且与图14(a)相同。在图15(a)中，

被摄主体E的差异为DE，为0，

被摄主体F的差异为DF，以及

被摄主体G的差异为DG。

差异的大小满足以下关系。

DG>DF>DE≈0

由用户认识到的被摄主体E的观察位置在显示器上。由用户认识到的被摄主体F的观察位置比显示器近(距观察者较近)。由用户认识到的被摄主体G的观察位置在比被摄主体F的观察位置更近的位置处。

如图15(a)中示出的该设置与上述图14(a)的设置是相同的，并且观察者认识到相比显示屏210的更近位置处的每个被摄主体。

如图15(a)中示出的输入图像的视差范围是从最远的显示屏位置处的点E到作为最近的被摄主体观察位置的点G的宽度[S1]。

例如，图15(b)例示根据本实施例3(b)的使用由如图1中例示的图像处理设备100转换的图像来显示的图像的观察状态，转换的图像即视差调节左图像(L2)50和视差调节右图像(R2)60。

被摄主体E5、F5、G5是与图像15(a)的被摄主体E、F、G相同的被摄主体，但是，由于上述变换处理，执行了图像移位，从而改变了由观察者观察到的被摄主体位置。

被摄主体E5的差异为0。

左图像中的被摄主体E5和右图像中的被摄主体E5被显示在显示屏210上的相同位置处，从而，差异为0。

由观察者认识到的被摄主体E5的位置是显示屏210上的位置。

被摄主体F5的差异为DF5。

显示屏210上左图像中的被摄主体F5与右图像中的被摄主体F5之间的距离为DF5，因此，差异为DF5。

由观察者认识到的被摄主体F5的位置是相比显示屏210距观察者较近的位置，即，观察者侧的位置F5。

然而，由观察者认识到的被摄主体F5的位置被设置在相比在如图15(a)中例示的转换之前的输入图像中的被摄主体位置F，距观察者较近(距显示屏210较远)的位置处。这是上述图像的移位处理的结果。

被摄主体G5的差异为DG5。

应当注意：DF5<DG5成立。

显示屏210上左图像中的被摄主体G5与右图像中的被摄主体G5之间的距离为DG5，因此，差异为DG5。

由观察者认识到的被摄主体G5的位置是相比显示屏210距观察者较近的位置，即，观察者侧的位置G5。

然而，由观察者认识到的被摄主体G5的位置被设置在相比在如图15(a)中例示的转换之前的输入图像中的被摄主体位置G，距观察者较近(距显示屏210较远)的位置处。这是上述图像移位处理的结果。

在本实施例3(b)中，由图像处理设备100进行图像变换处理，使得沿着与上述实施例1的方向相同的方向来执行图像移位。

更具体地，执行与参考图6来说明的的图像移位处理相同的图像移位处理。即，执行以下图像移位处理：

对于左图像(L1)10，沿着右方向进行移位处理，以及

对于右图像(R1)20，沿着左方向进行移位处理。

于是，左图像的位置F(图15(a)，F，左图像)沿着右方向稍微移动到图15(b)中的左图像的位置F5，而右图像的位置F(图15(a)，F，右图像)沿着左方向稍微移动到图15(b)中的右图像的位置F5。从而，增加了差异。换言之，差异从DF增加为DF5。

在位于距观察者(观察者侧)更近的位置G处，左图像的位置G(图15(a)，G，左图像)沿着右方向较大地移动到图15(b)中的左图像的位置G5，而右图像的位置G(图15(a)，G，右图像)沿着左方向较大地移动到图15(b)中的右图像的位置G5。从而，差异了增加。换言之，差异从DG增加为DG5。

应当注意：以下表达式成立。

(DG5-DG)>(DF5-DF)

这意味着对于距观察者较近(距显示屏210较远)的被摄主体的差异，放大宽度更大。

于是，如可以通过比较图15(a)和图15(b)的视差范围S1、S5来理解的，

转换之前的输入图像的视差范围S1(E到G)变为转换之后的输出图像(视差调节图像)的视差范围S5(E5至G5)。

换言之，在本示例中，与输入图像的视差范围S1(E至G)相比，输出图像(视差调节图像)的视差范围S5(E5至G5)被放大。

参考图15(a)和图15(b)说明的视差范围缩小效果被提供作为由图像处理设备100进行的图像移位的结果。

在本实施例3(b)中，进行与先前说明的实施例1的微分处理相同的微分处理，并且执行与参考图6说明的图像移位处理相同的图像移位处理。即，执行下面的图像移位处理：

对于左图像(L1)10，沿着左方向进行移位处理，以及

对于右图像(R1)20，沿着右方向进行移位处理。

在本实施例3(b)中，左图像微分装置112通过应用如图6(L2)中示出的以下微分滤波器系数来执行微分处理，

[1,0,-1]

通过该微分处理，左图像沿着如图6(L1)、(L2)中示出的右方向被移位。

另一方面，右图像微分装置122通过应用如图6(R2)中示出的以下滤波器系数来执行微分处理，

[-1,0,1]

通过该微分处理，右图像沿着如图6(R1)、(R2)中示出的左方向被移位。

如图6中示出的，左图像微分处理单元113使用如图6(L2)中示出的系数以及使用将微分信号或微分信号的非线性处理结果加到左图像的组合处理来进行微分计算，生成了转换图像，其中，转换图像沿着相对输入图像的右方向被移置。

另一方面，右图像微分处理单元123使用如图6(R2)中示出的系数以及使用将微分信号加到右图像或将微分信号加到非线性处理后的右图像的组合处理来进行微分计算，生成了转换图像，其中，转换图像沿着相对输入图像的左方向被移置。

于是，左图像与右图像之间的差异大于输入图像的差异，并且可以放大视差范围，例如，从图15(a)的视差范围S1到如图15(b)中示出的视差范围S5。

本实施例还被构造成使得差异的变换至少在用作转换目标图像的图像中的焦点对准的像素位置(被摄主体E)处，并且点距聚焦位置越远(到E、F，然后到G)，差异的变化就变得越大。

[D.实施例4：设置在显示单元的显示表面的任一侧的视差范围的控制处理的示例]

接着，将对设置在显示单元的显示表面的任一侧的视差范围的控制处理的示例进行说明。

在实施例1和实施例2中，说明了对视差范围设置在显示表面的较深侧的图像进行的处理示例。在实施例3中，说明了对视差范围设置在显示表面的较近侧的图像进行的处理示例。如上所述，视差范围的设置可以通过改变左图像和右图像中的被摄主体位置来以各种形式进行设置。因此，还可以生成视差范围设置在显示单元的显示表面的任一侧的图像。下文中，将说明用于通过输入视差范围设置在显示单元的显示表面的任一侧的这种图像来进行视差控制的配置的示例。

应当注意：本实施例4使用与如在实施例1中的说明的图1中示出的图像处理设备100相同的图像处理设备来实现。

在实施例4中，与实施例3一样，将说明以下两个处理示例。

(a)用于沿着右方向移位左图像以及沿着左方向移位右图像的处理示例

(b)用于沿着左方向移位左图像以及沿着右方向移位右图像的处理示例

将依次说明这些处理示例。

(a)用于沿着右方向移位左图像以及沿着左方向移位右图像的处理示例

首先，将参考图16来说明用于沿着右方向移位被输入到图像处理设备100中的左图像(L1)10以及沿着左方向移位右图像(R1)20的处理示例。

在本处理示例中，执行与如在上述实施例1中说明的图6中示出的处理对应的处理。

更具体地，执行以下图像移位处理：

对于左图像(L1)10，沿着右方向进行移位处理，以及

对于右图像(R1)20，沿着左方向进行移位处理。

在本实施例4(a)中，左图像微分装置112通过应用如图6(L2)中示出的以下微分滤波器系数来执行微分处理，

[1,0,-1]

通过该微分处理，左图像沿着如图6(L1)、(L2)中示出的左方向被移位，

另一方面，右图像微分装置122通过应用如图6(R2)中示出的以下微分滤波器系数来执行微分处理，

[-1,0,1]

通过该微分处理，右图像沿着如图6(R1)、(R2)中示出的左方向被移位。

将参考图16对根据本实施例4(a)的视差控制处理示例进行说明。

图16(a)和图16(b)示出了以下图。

(a)输入图像的视差范围T1

(b)视差调节图像的视差范围T5

图16(a)和图16(b)还示出了观察者(用户)的左眼201和右眼202以及执行三维图像显示处理的显示单元的显示屏210。

在显示屏210上呈现了根据被摄主体距离而具有各种视差的图像。

在本实施例中，采用被设置成使得观察者(用户)认识到被摄主体的位置在显示屏的任一侧的图像作为输入图像。

如上所述，被摄主体被观察为好像该被摄主体在空间中的如下点处，该点是连接观察者的左眼201和显示屏210上的左图像的显示位置的线与连接观察者的右眼202与显示屏210上的右图像的显示位置的线之间的交点。

在本实施例中，被摄主体的图像，即，左图像与右图像(H到J的右图像以及H到J的左图像)被设置成使得该交点设置在显示屏210的任一侧的位置处。

更具体地，其为如下输入图像，该输入图像被设置成使得：

在显示屏210上观察到被摄主体H，

在相比显示屏210距观察者较近的位置(观察者侧)处观察到被摄主体I，以及

在显示屏210的较深侧观察到被摄主体J。

与上述实施例一样，在本说明中，使用作为显示屏上的相同被摄主体的距离的差异作为视差的指标值。

图16(a)是与视差调节处理之前的输入图像相对应的图。

在图16(a)中，

被摄主体H的差异为DH，为0，

被摄主体I的差异为DI，以及

被摄主体J的差异为DJ。

在该情况下，将被摄主体I的差异设置成使得在相比显示屏210距观察者较近的位置处观察到被摄主体I的图像，将被摄主体J的差异设置成使得在显示屏210的较深侧观察到被摄主体J的图像。

更具体地，如可以根据图16(a)的显示屏210的布置来理解的，

左图像中的被摄主体I的图像(I左图像)被设置在显示屏210的右侧，以及

右图像中的被摄主体I的图像(I右图像)设置在显示屏210的左侧。

相反，

左图像中的被摄主体J的图像(J左图像)设置在显示屏210的左侧，以及

右图像中的被摄主体J的图像(J右图像)设置在显示屏210的右侧。

根据该设置，在相比显示屏210距观察者较近的位置(观察者侧)处观察到被摄主体I，而在显示屏210的较深侧观察到被摄主体J。

由观察者观察到的视差范围是从距观察者最远的点J到距观察者最近的点I的宽度[T1]。

图16(b)例示根据实施例4(a)的由如图1中示出的图像处理设备100转换的图像来显示的图像的观察状态，转换的图像即例如视差调节左图像(L2)50和视差调节右图像(R2)60。

被摄主体H6、I6、J6是与图16(a)的被摄主体H、I、J相同的被摄主体，但是，通过上述变换处理，执行了图像移位，从而改变了由观察者观察到的被摄主体位置。

被摄主体H6的差异为0。

左图像中的被摄主体H6和右图像中的被摄主体H6被显示在显示屏210上的相同位置处，因此，差异为0。

由观察者认识到的被摄主体H6的位置为显示屏210上的位置。

被摄主体I6的差异为DI6。

显示屏210上左图像中的被摄主体I6与右图像中的被摄主体I6之间的距离为DI6，因此，差异为DI6。

由观察者认识到的被摄主体I6的位置是相比显示屏210距观察者较近的位置，即，处于观察者侧的位置I6。

然而，由观察者认识到的被摄主体I6的位置被设置在相比在如图16(a)中示出的转换之前的输入图像中的被摄主体位置I，距观察者较近(距显示屏210较远)的位置处。这是上述图像移位处理的结果。

被摄主体J6的差异为DJ6。

显示屏210上左图像中的被摄主体J6与右图像中的被摄主体J6之间的距离为DJ6，因此，差异为DJ6。

由观察者认识到的被摄主体J6的位置是比显示屏210深的位置，即，距观察者最远的位置J6。

然而，由观察者认识到的被摄主体J6的位置被设置在相比在如图16(a)中示出的转换之前的输入图像中的被摄主体位置J，距观察者较近(距显示屏210较近)的位置处。这是上述图像移位处理的结果。

在本实施例4(a)中，由图像处理设备100进行图像变换处理，使得沿着与上述实施例1的方向相同的方向执行图像移位。

更具体地，执行与参考图6说明的图像移位处理相同的图像移位处理。即，执行以下图像处理：

对于左图像(L1)10，沿着右方向进行移位处理，以及

对于右图像(R1)20，沿者左方向进行移位处理。

于是，对于在相比显示屏210距观察者更近的位置处观察到的被摄主体I，进行以下处理。

左图像的位置I(图16(a)，I，左图像)沿着右方向移动到图16(b)中的左图像的位置I6，而右图像的位置I(图16(a)，I，右图像)沿着左方向移动到图16(b)中的右图像的位置I6。从而，增加了差异。换言之，差异从DI增加到DI6。

此外，对于在比显示屏210深的位置处观察到的被摄主体J，进行以下处理。

左图像的位置J(图16(a)，J，左图像)沿着右方向移动到图16(b)中的左图像的位置J6，而右图像的位置J(图16(a)，J，右图像)沿着左方向移动到图16(b)中的右图像的位置J6。从而，差异增加。换言之，差异从DJ减小到DJ6。

如上所述，在本实施例4(a)的处理中，

对于在相比显示屏210距观察者更近的位置处观察到的被摄主体I，较大地增加了差异，从而，其在距观察者更近的位置处被观察到。

另一方面，对于在比显示屏210深的位置处被观察到的被摄主体J，差异稍微改变，并且，甚至在这种情况下，其在相比转换之前的位置距观察者更近的位置处被观察到。

于是，如可以通过比较图16(a)和图16(b)的视差范围T1、T6所理解的，

转换之前的输入图像的视差范围T1(I至J)在变为转换之后的输出图像(视差调节图像)的视差范围T6(I6至J6)。

换言之，在该示例中，输出图像(视差调节图像)的视差范围T6(I6到J6)被控制成使得输入图像的视差范围T1(I至J)作为整体移动至更靠近观察者侧。

参考图16(a)和图16(b)说明的视差范围移动效果被提供作为由图像处理设备100进行的图像移位的结果。

如上所述，在本实施例4(a)中，进行与先前说明的实施例1的微分处理相同的微分处理，并且执行与参考图6说明的图像移位处理相同的图像移位处理。即，执行以下图像移位处理：

对于左图像(L1)10，沿着右方向进行移位处理，以及

对于右图像(R1)20，沿着左方向进行移位处理。

如图6中示出的，左图像微分处理单元113使用如图6(L2)中示出的系数以及使用将微分信号或微分信号的非线性处理结果加到左图像的组合处理来进行微分计算，生成沿着相对输入图像的右方向被移置的转换图像。

另一方面，右图像微分处理单元123使用如图6(R2)中示出的系数以及使用将微分信号加到右图像或将微分信号加到非线性处理后的右图像的组合处理来进行微分计算，生成沿相对输入图像的左方向被移置的转换图像。

于是，如图16(a)和图16(b)中示出的，改变左图像与右图像之间的差异，并且可以将整个视差范围移动至距观察者较近，例如，从图16(a)的视差范围T1到如图16(b)中示出的视差范围T6。

本实施例还被构造成使得差异的变化至少在用作转换目标图像的图像中的焦点对准的像素位置(被摄主体E)处，并且点距聚焦位置越远，差异的变化就变得越大。

(b)用于沿着左方向移位左图像以及沿着右方向移位右图像的处理示例

接着，将参考图17来说明用于沿着左方向移位被输入到图像处理设备100中的左图像(L1)10并且沿着右方向移位右图像(R1)20的处理示例。

在该处理示例中，执行与如在上述实施例2中说明的图12中示出的处理相对应的处理。更具体地，执行以下图像移位处理：

对于左图像(L1)10，沿着左方向进行移位处理，以及

对于右图像(R1)20，沿着右方向进行移位处理。

在本实施例4(a)中，左图像微分装置112通过应用如图12(L2)中示出的以下微分滤波器系数来执行微分处理，

[-1,0,1]

通过该微分处理，左图像沿着如图12(L1)、(L2)中示出的左方向被移位。

另一方面，右图像微分装置122通过应用如图12(R2)中示出的下面的微分滤波器系数来执行微分处理，

[1,0,-1]

通过该微分处理，右图像沿着如图6(R1)、(R2)中示出的右方向被移位。

将参考图17来说明根据本实施例4(b)的视差控制处理的示例。

图17(a)和图17(b)示出了以下图。

(a)输入图像的视差范围T1

(b)视差调节图像的视差范围T5

图17(a)和图17(b)还示出观察者(用户)的左眼201和右眼202以及执行三维图像显示处理的显示单元的显示屏210。

在显示屏210上呈现了根据被摄主体距离而具有各种视差的图像。

在本实施例中，采用被设置成使得观察者(用户)认识到被摄主体的位置在显示屏的任一侧的图像作为输入图像。

图17(a)是例示与上述图16(a)的输入图像的视差范围T1相同的视差范围的图。

更具体地，其为如下输入图像，该输入图像被设置成使得：

在显示屏210上观察到被摄主体H，

在相比显示屏210距观察者更近的位置(观察者侧)处观察到被摄主体I，以及

在显示屏210的更深侧观察到被摄主体J。

在图17(a)中，

被摄主体H的差异为DH，为0，

被摄主体I的差异为DI，以及

被摄主体J的差异为DJ。

在该情况下，设置被摄主体I的差异使得在相比显示屏210距观察者更近的位置处观察到被摄主体I的图像，并且设置被摄主体J的差异使得在显示屏210的更远侧观察到被摄主体J的图像。

由观察者观察到的视差范围是从距观察者最远的点J到距观察者最近的点I的宽度[T1]。

图17(b)例示根据本实施例4(b)的使用由如图1中示出的图像处理设备100转换的图像来显示的图像的观察状态，转换的图像即例如视差调节左图像(L2)50和视差调节右图像(R2)60。

被摄主体H7、I7、J7是与图17(a)的被摄主体H、I、J相同的被摄主体，但是，由于上述变换处理，执行了图像移位，从而，改变了由观察者观察到的被摄主体位置。

被摄主体H7的差异为0。

左图像中的被摄主体H7和右图像中的被摄主体H7被显示在显示屏210上的相同位置处，因此，差异为0。

由观察者认识到的被摄主体H7的位置是显示屏210上的位置。

被摄主体I7的差异为DI7。

显示屏210上左图像中的被摄主体I7与右图像中的被摄主体I7之间的距离为DI7，因此，差异为DI7。

由观察者认识到的被摄主体I7的位置是相比显示屏210距观察者较近的位置，即，观察者侧的位置I7。

然而，由观察者认识到的被摄主体I7的位置被设置在相比在如图17(a)中例示的转换之前的输入图像中的被摄主体位置I，距观察者较远(距显示屏210较近)的位置处。这是上述图像移位处理的结果。

被摄主体J7的差异为DJ7。

显示屏210上左图像中的被摄主体J7与右图像的被摄主体J7之间的距离为DJ7，因此，差异为DJ7。

由观察者认识到的被摄主体J7的位置是比显示屏210深的位置，即，距观察者最远的位置J7。

然而，由观察者认识到的被摄主体J7的位置被设置在相比在如图17(a)中示出的转换之前的输入图像中的被摄主体位置J，距观察者较远(距显示屏210较远)的位置处。这是上述图像移位处理的结果。

在本实施例4(b)中，由图像处理设备100进行图像变换处理，使得沿着与上述实施例2的方向相同的方向执行图像移位。

更具体地，执行与参考图12说明的图像移位处理相同的图像移位处理。即，执行以下图像移位处理：

对于左图像(L1)10，沿着左方向进行移位处理，以及

对于右图像(R1)20，沿着右方向进行移位处理。

于是，对于在相比显示屏210距观察者较近的位置处观察到的被摄主体I进行以下处理。

左图像的位置I(图17(a)，I，左图像)沿着左方向移动到图17(b)中的左图像的位置I7，而右图像的位置I(图17(a)，I，右图像)沿着右方向移动到图17(b)中的右图像的位置I7。从而，减小了差异。换言之，差异从DI减小到DI7。

此外，对于在比显示屏210深的位置处观察到的被摄主体J，进行以下处理。

左图像的位置J(图17(a)，J，左图像)沿着左方向移动到图17(b)中的左图像的位置J7，而右图像的位置J(图17(a)，J，右图像)沿着右方向移动到图17(b)中的右图像的位置J7。从而，增加了差异。换言之，差异从DJ增加到DJ7。

如上所述，在实施例4(b)的处理中，

对于在相比显示屏210距观察者较近的位置处观察到的被摄主体I，稍微改变了差异，从而，其在距观察者较远的位置即距显示屏210较近的位置处被观察到。

另一方面，对于在比显示屏210深的位置处观察到的被摄主体J，差异被较大地改变，并且，甚至在该情况下，其在相比转换之前的位置距观察者较远的位置被观察到。

于是，如可以通过比较图17(a)和图17(b)的视差范围T1、T7所理解的，

转换之前的输入图像的视差范围T1(I至J)变为转换之后的输出图像(视差调节图像)的视差范围T7(I7至J7)。

换言之，在该示例中，输出图像(视差调节图像)的视差范围T7(I7到J7)被控制成使得输入图像的视差范围T1(I至J)作为整体更远离观察者移动。

参考图17(a)和图17(b)说明的视差范围移动效果被提供作为由图像处理设备100进行的图像移位的结果。

如上所述，在本实施例4(b)中，进行与先前说明的实施例2的微分处理相同的微分处理，并且执行与参考图12说明的图像移位处理相同的图像移位处理。即，执行以下图像移位处理：

对于左图像(L1)10，沿着左方向进行移位处理，以及

对于右图像(R1)20，沿着右方向进行移位处理。

如图12中示出的，左图像微分处理单元113使用如图12(L2)中示出的系数以及使用将微分信号或该微分信号的非线性处理结果加到左图像的组合处理来进行微分计算，生成了沿着相对输入图像的左方向被移置的转换图像。

另一方面，右图像微分处理单元123使用如图12(R2)中示出的系数以及使用将微分信号加到右图像或将微分信号加到非线性处理后的右图像的组合处理来进行微分计算，生成了沿着相对输入图像的右方向被移置的转换图像。

于是，如图17(a)和图17(b)中示出的，改变左图像与右图像之间的差异，并且可以将整个视差范围移动至远离观察者，例如，从图17(a)的视差范围T1到如图17(b)中例示的视差范围T7。

本实施例还被构造成使得差异的变化至少在用作转换目标图像的图像中的焦点对准的像素位置(被摄主体E)处，并且点距聚焦位置越远，差异的变化就变得越大。

上文中说明的实施例1到实施例4的配置不需要以下处理：对与左图像和右图像的每个像素相对应的差异(图像差)进行描述的差异图的生成处理；以及使用差异图的处理。因此，处理成本较小，并且容易减小电路尺寸。

接着，将说明使用简化的差异图的实施例。

[E.实施例5：用于使用简化的差异图进行视差控制的实施例]

接着，将作为实施例5来说明使用简化的差异图来执行视差控制的图像处理设备的配置以及处理示例。

在下面说明的实施例中，实现了能够通过生成简化的差异图来恰当地控制视差范围的图像转换设备。

图18中示出了根据实施例5的图像处理设备300的配置的示例。如图18中例示的图像处理设备300被配置成使得将视差检测单元301添加到作为根据上述实施例1的图像处理设备被说明的如图1中示出的图像处理设备100。其它配置与图1中示出的配置相同。

如图18中示出的，图像处理设备300包括左图像变换单元110和右图像变换单元120，左图像变换单元110用于接收左图像(L1图像)10，进行图像变换，以及生成调节了视差的视差调节左图像(L2图像)50，右图像变换单元120用于接收右图像(R1图像)20，进行图像变换，以及生成调节了视差的视差调节右图像(R2图像)60。另外，图像处理设备300包括视差检测单元301。

左图像变换单元110包括：用于接收左图像(L1)10的左图像输入单元111，用于进行对左图像10的微分处理的左图像微分处理单元112，用于对左图像10的微分信号进行非线性变换的左非线性变换单元113，用于组合左图像10与经非线性变换的微分信号的左图像组合单元114，以及用于输出已转换的视差调节左图像(L2)50的左图像输出单元115。

右图像变换单元120包括：用于接收右图像(R1)20的右图像输入单元121，用于进行对右图像20的微分处理的右图像微分处理单元122，用于对右图像20的微分信号进行非线性变换的右非线性变换单元123，用于组合右图像20与经非线性变换的微分信号的右图像组合单元124，以及用于输出已转换的视差调节右图像(R2)60的右图像输出单元125。

该左图像变换单元110和该右图像变换单元120执行与在上面说明的实施例1到实施例4中说明的处理相同的处理。

视差检测单元301接收从左图像变换单元110的左图像输入单元111输出的左图像亮度信号和从右图像变换单元120的右图像输入单元121输出的右图像亮度信号，并且检测水平方向上的被确定为左图像和右图像中的相同被摄主体的相应像素位置。

根据本实施例的视差检测单元301获得用于左图像与右图像的相应像素位置(下文称为对应点)的位置关系的以下确定结果。

确定以下哪种模式是可应用的。

(a)左图像的相应点位于右图像的相应点的左边，以及

(b)左图像的相应点位于右图像的相应点的右边。

(a)左图像的相应点位于右图像的相应点的左边。

当将参考在上面说明的实施例4中说明的图17(a)来说明(a)的情况时，(a)的情况是左图像中的被摄主体J与右图像中的被摄主体J的对应关系。

换言之，左图像的相应点(J左图像)位于右图像的相应点(J右图像)的左边。

在这种设置中，观察到被摄主体的位置在相比显示屏更深的一侧(距观察者较远的位置)。

(b)左图像的相应点位于右图像的相应点的右边。

当将参考在上面说明的实施例4中说明的图17(a)对(b)的情况进行说明时，(b)的情况是左图像中的被摄主体I与右图像中的被摄主体I的对应关系。

换言之，左图像的相应点(I左图像)位于右图像的相应点(I右图像)的右边。

在该类设置中，观察到被摄主体的位置处于相比显示屏距观察者较近的一侧(距观察者较近的位置)。

在下面的说明中，

(a)左图像的相应点位于右图像的相应点的左边。

在该情况下，差异为正值。

(b)左图像的相应点位于右图像的相应点的右边。

在该情况下，差异为负值。

当差异为正时，则观察到被摄主体的位置在比显示屏深的一侧(距观察者较远的位置)。

当差异为负时，则观察到被摄主体的位置在相比显示屏距观察者较近的一侧(距观察者较近的位置)。

一般可用的差异图被配置成保存与左图像和右图像的每个像素相对应的准确量的像素位移(像素数量)，但是在本实施例中，视差检测单元301仅检测每个像素或包括有多个像素的块的上述差异的正/负(极性)。

视差检测单元301生成包括有与像素或块相对应的差异极性信息的该粗略的差异图，并且将该粗略的差异图输入到左图像变换单元110的左图像微分处理单元112和右图像变换单元120的右图像微分处理单元122中。

应当注意：在由根据本实施例的图像处理设备300的视差检测单元301执行的视差检测处理中，不需要用于获得视差的高数字准确性的复杂的视差检测处理。例如，差异图用于控制微分处理单元的滤波器系数，但是原则上，图像的水平移动依赖于输入图像的空间频率，从而，视差控制的性能不会受差异图的空间分辨率的很大影响。从而，在视差检测处理中，可以使用缩小图像。可替代地，视差信息可以被配置成仅在通过空间地疏化输入图像获得的点处检测。通过该配置，可以减小处理的成本。

左图像微分处理单元112和右图像微分处理单元122中的每个根据输入差异图的目标像素位置处的极性来切换微分处理的方式。更具体地，例如，左图像微分处理单元112和右图像微分处理单元112中的每个根据需要进行用于切换以下处理的处理：在上面说明的实施例1和实施例2中说明的应用具有如图6中示出的设置的微分滤波器的处理和应用具有如图12中示出设置的微分滤波器的处理。

更具体地，进行以下处理。

(1)用于沿着右方向移位左图像以及沿着左方向移位右图像的处理(图6)，

(2)用于沿着左方向移位左图像以及沿着右方向移位右图像的处理(图12)。

上面的处理中的任何一种是根据差异图的目标像素位置处的极性来切换和执行的。

下文中，将参考图19(a)、图19(b)、图20(a)和图20(b)来说明以下处理示例，其是将如在本实施例5的图18中示出的图像处理设备300应用于差异的极性是沿着两个方向(被摄主体被显示在比显示屏深的位置处以及相比显示屏距观察者较近的位置处)的输入图像的处理示例。

实施例5(a)：用于缩小视差范围的实施例

实施例5(b)：用于放大视差范围的实施例

[实施例5(a)：用于缩小视差范围的实施例]

首先，将参考图19(a)和图19(b)来说明用于进行用于通过应用差异的极性确定信息来缩小视差范围的处理的实施例。

与在上面的实施例中的每个中说明的一样，图19(a)和图19(b)示出了以下图。

(a)输入图像的视差范围U1

(b)视差调节图像的视差范围U8

图19(a)和图19(b)还示出观察者(用户)的左眼201和右眼202以及执行三维图像显示处理的显示单元的显示屏210。

在显示屏210上呈现了根据被摄主体距离而具有各种视差的图像。

在本实施例中，采用被设置成使得观察者(用户)认识到被摄主体的位置处于显示屏的任一侧的图像作为输入图像。

与在上面说明的实施例4中说明的图16(a)和图17(a)一样，在图19(a)中的显示屏210的任一侧观察到被摄主体。更具体地，其为如下输入图像，该输入图像被设置成使得：

在显示屏210上观察到被摄主体K，

在相比显示屏210距观察者更近的位置(观察者侧)处观察到被摄主体L，以及

在显示屏210的较深侧观察到被摄主体M。

在图19(a)中，

被摄主体K的差异为DH，为0，

被摄主体L的差异为DL(差异极性＝负(-))，以及

被摄主体M的差异为DM(差异极性＝正(+))。

在该情况下，被摄主体L的差异的极性是负的，并且被摄主体L的图像设置成使得在相比显示屏210距观察者更近的位置处观察到被摄主体L。被摄主体M的差异的极性是负的，被摄主体M的图像设置成使得在比显示屏210深的位置处观察到被摄主体M的图像。

视差范围是与被摄主体L至M的观察位置相对应的视差范围[U1]。

图19(b)例示根据本实施例5(a)的使用由如图18中例示的图像处理设备300转换的图像来显示的图像的观察状态，转换图像即例如视差调节左图像(L2)50和视差调节右图像(R2)60。

被摄主体K8、L8、M8是与图19(a)的被摄主体K、L、M相同的被摄主体，但是，由于具有图像移位的图像变换处理是根据上述差异极性来执行的，从而，改变了由观察者观察到的被摄主体位置。

被摄主体K8的差异为0。

左图像中的被摄主体K8和右图像中的被摄主体K8被显示在显示屏210上的相同位置处，因此，差异为0。

由观察者认识到的被摄主体K8的位置是显示屏210上的位置。

被摄主体L8的差异为DL8。

显示屏210上左图像中的被摄主体L8与右图像中的被摄主体L8之间的距离是DL8，因此，差异为DL8。

由观察者认识到的被摄主体L8的位置是相比显示屏210距观察者更近的位置，即，观察者侧的位置L8。

但是，由观察者认识到的被摄主体L8的位置被设置在相比如在图19(a)中例示的转换前的输入图像中的被摄主体L位置距观察者较远(距显示屏210较近)的位置处。这是上述图像移位处理的结果。

在该移位处理中，考虑了如在图19(a)中例示的被摄主体L的差异DL的极性。

如上所述，被摄主体L的差异为DL(差异极性＝负(-))。换言之，左图像的相应点(L左图像)在右图像的相应点(L右图像)的右边。

如上所述，在本实施例5(a)中，在差异极性为负(-)的像素位置(像素或块)的变换处理中，

执行：“沿着左方向移位左图像以及沿着右图像移位右图像的处理(见图12)”

更具体地，如在图12中例示的，左图像微分处理单元113使用如在图12(L2)中例示的系数[-1,0,1]并且使用将微分信号或该微分信号的非线性处理结果加到左图像的组合处理来进行微分计算，生成了转换图像，其中，该图像沿着相对输入左图像的左方向被移置。

另一方面，右图像微分处理单元123使用如在图12(R2)中例示的系数[1,0,-1]，并且使用将微分信号加到右图像或将该微分信号加到非线性处理之后的右图像的组合处理来进行微分计算，生成了转换图像，其中，该图像沿着相对输入右图像的右方向被移置。

通过该图像变换处理，被摄主体L的差异从如在图19(a)中示出的DL变为如在图19(b)中示出的DL8。于是，左图像的相应点(L8左图像)与右图像的相应点(L8右图像)之间的距离被缩小。于是，设置被摄主体图像L8，使得其关于如在图19(a)中例示的转换前的被摄主体图像L的位置，沿着远离观察者(距显示屏210更近)的方向移动。

另一方面，在图像转换前，在相比显示屏210更深的位置处的被摄主体M的差异为DM。在图像转换后，被摄主体M的差异变成如在图19(b)示出的DM8。

由观察认识到的被摄主体M8的位置在相比显示屏210更深的位置M8处。

然而，由观察者认识到的被摄主体M8的位置设置在相比如在图19(a)中例示的转换前的输入图像中的被摄主体位置M，距观察者更近(距显示屏210较近)的位置处。这是上述图像移位处理的结果。

在该移位处理中，还考虑了如在图19(a)中例示的被摄主体M的差异DM的极性。

如上所述，被摄主体M的差异为DM(差异极性＝正(+))。换言之，左图像的相应点(M左图像)在右图像的相应点(M右图像)的左边。

如上所述，在本实施例5(a)中，在差异极性为正(+)的像素位置(像素或块)的变换处理中，

执行：“沿着右方向移位左图像以及沿着左方向移位右图像的处理(见图6)”

更具体地，如在图6中例示的，左图像微分处理单元113使用如在图6(L2)中例示的系数[1,0,-1]并且使用将微分信号或该微分信号的非线性处理结果加到左图像的组合处理来进行微分计算，生成了转换图像，其中，该图像沿着相对输入左图像的右方向被移置。

另一方面，右图像微分处理单元123使用如图6(R2)中例示的系数[-1,0,1]并且使用将微分信号加到右图像或将微分信号加到非线性处理后的右图像的组合处理来进行微分计算，生成了转换图像，其中，转换图像沿着相对输入右图像的左方向被移置。

通过该图像变换处理，被摄主体M的差异从如在图19(a)中例示的DM变为如在图19(b)中例示的DM8。于是，左图像的相应点(M8左图像)与右图像的相应点(M8右图像)之间的距离缩小。于是，设置被摄主体图像M8，使得其关于如在图19(a)中例示的转换前的被摄主体图像M的位置沿距观察者更近(距显示屏210较近)的方向移动。

于是，使用转换图像显示的三维图像的视差范围是如在图19(b)中例示的视差范围[U8]。

与转换前的图像的视差范围[U1]相比，转换后的视差范围[U8]在显示屏210的任一侧变得距显示屏210更近，使得转换后的视差范围[U8]变为缩小的视差范围。

如上所述，根据本实施例5(a)，通过使用相反模式的微分滤波器系数的处理，对在相比显示屏距观察者较近的位置处观察到的被摄主体和在比显示屏深的位置处观察到的被摄主体执行沿着相反的方向的移位处理。换言之，根据差异的极性选择和应用不同的滤波器，并且沿着不同的方向执行图像移位处理(图6或图12)。

通过该处理，不仅在相比显示屏距观察者更近的位置处观察到的被摄主体的观察位置可以沿着显示屏的方向移动，而且在比显示屏深的位置处观察到的被摄主体的观察位置也可以沿着显示屏方向移动，于是，可以更高效地缩小(从U1至U8)视差范围。

(实施例5(b)：放大视差范围的实施例)

接着，将参考图20(a)和图20(b)来说明用于进行通过应用差异的极性确定信息来放大视差范围的处理的实施例。

如在上面的实施例中的每个中说明的那些，图20(a)和图20(b)示出下面的图。

(a)输入图像的视差范围U1

(b)视差调节图像的视差范围U9

图20(a)和图20(b)还示出观察者(用户)的左眼201和右眼202以及执行三维图像显示处理的显示单元的显示屏210。

将根据被摄主体距离而具有各种视差的图像呈现在显示屏210上。

在本实施例中，采用这样的图像作为输入图像：该图像被设置成使得观察者(用户)认识到被摄主体的位置处于显示屏的任一侧。

与图19(a)一样，在图20(a)中的显示屏的任一侧观察到被摄主体。更具体地，它是这样的输入图像，该输入图像被设置成使得：

在显示屏210上观察到被摄主体K，

在相比显示屏210距观察者较近的位置(观察者侧)处观察到被摄主体L，以及

在显示屏210的较深侧观察到被摄主体M。

在图20(a)中，

被摄主体K的差异为DH，为0，

被摄主体L的差异为DL(差异极性＝负(-))，以及

被摄主体M的差异为DM(差异极性＝正(+))。

在该情况下，被摄主体L的差异的极性是负的，并且被摄主体L的图像设置成使得被摄主体L在相比显示屏210距观察者较近的位置处被观察到。被摄主体M的差异的极性是正的，并且被摄主体M的图像设置成使得被摄主体M在比显示屏210深的位置处被观察到。

视差范围是与被摄主体L到被摄主体M的观察位置相对应的视差范围[U1]。

图20(b)例示根据本实施例5(b)的使用由如图18中示出的图像处理设备300转换的图像来显示的图像的观察状态，转换图像即例如视差调节左图像(L2)50和视差调节右图像(R2)60。

被摄主体K9、L9、M9是与图20(a)的被摄主体K、L、M相同的被摄主体，但是，由于通过图像移位的图像变换处理是根据上述差异极性来执行的，从而，改变了由观察者观察到的被摄主体位置。

被摄主体K9的差异为0。

左图像中的被摄主体K9和右图像中的被摄主体K9被显示在显示屏210上的相同位置处，因此，差异为0。

由观察者认识到的被摄主体K9的位置是显示屏210上的位置。

被摄主体L9的差异为DL9。

显示屏210上左图像中的被摄主体L9与右图像中的被摄主体L9之间的距离是DL9，因此，差异为DL9。

由观察者认识到的被摄主体L9的位置是相比显示屏210距观察者更近的位置，即观察者侧的位置L9。

然而，由观察者认识到的被摄主体L9的位置设置在相比如在图20(a)中示出的转换前的输入图像中的被摄主体位置L，距观察者较近的位置(距显示屏210较远)处。这是上述图像移位处理的结果。

在该移位处理中，考虑了如在图20(a)中例示的被摄主体L的差异DL的极性。

如上所述，被摄主体L的差异为DL(差异极性＝负(-))。换言之，左图像的的对应点(L左图像)在右图像的相应点(L右图像)的右边。

如上所述，本实施例5(b)中的差异极性为负(-)的像素位置(像素或块)的变换处理不同于上述实施例5(a)的变换处理。

在本实施例5(b)中，执行“沿着右方向移位左图像和沿着左方向移位右图像的处理(见图6)”。

更具体地，如在图6中示出的，左图像微分处理单元113使用如在图6(L2)中例示的系数[1,0,-1]并且使用将微分信号或该微分信号的非线性处理结果加到左图像的组合处理来进行微分计算，生成了沿着相对输入左图像的左方向被移置的转换图像。

另一方面，右图像微分处理单元123使用如在图6(R2)中示出的系数[-1,0,1]并且使用将微分信号加到右图像或将该微分信号加到非线性处理结果之后的右图像的组合处理来进行微分计算，生成沿着相对输入右图像的左方向被移置的转换图像。

通过该图像变换处理，被摄主体L的差异从如在图20(a)中示出的DL变为如在图20(b)中示出的DL9。于是，左图像的相应点(L9左图像)与右图像的相应点(L9右图像)之间的距离增加。于是，设置被摄主体图像L9，使得其关于如在图20(a)中示出的转换前的被摄主体图像L的位置，沿着接近观察者(距显示屏210较远)的方向移动。

另一方面，在图像转换前，在比显示屏210深的位置处的被摄主体M的差异为DM。由于图像转换，被摄主体M的差异变为如在图20(b)中示出的DM9。

由观察者认识到的被摄主体M9的位置在比显示屏210深的位置M9处。

然而，由观察者认识到的被摄主体M9的位置设置在相比如在图20(a)中示出的转换前的输入图像中的被摄主体位置M，距观察者较远(距显示屏210较远)的位置处。这是上述图像移位处理的结果。

在该移位处理中，还考虑了如在图20(a)中示出的被摄主体M的差异DM的极性。

如上所述，被摄主体M的差异为DM(差异极性＝正(+))。换言之，左图像的相应点(M左图像)在右图像的相应点(M右图像)的左边。

如上所述，在本实施例5(b)中，在差异极性为正(+)的像素位置(像素或块)的变换处理中，

执行：“沿着左方向移位左图像以及沿着右方向移位右图像的处理(见图12)”。

更具体地，如在图12中例示的，左图像微分处理单元113使用如在图12(L2)中示出的系数[-1,0,1]并且使用将微分信号或该微分信号的非线性处理结果加到左图像的组合处理来进行微分计算，生成沿着相对输入左图像的左方向被移置的转换图像。

另一方面，右图像微分处理单元123使用如在图12(R2)中示出的系数[1,0,-1]并且使用将微分信号加到右图像或将微分信号加到非线性处理后的右图像的组合处理来进行微分计算，生成沿着相对输入右图像的右方向被移置的转换图像。

通过该图像变换处理，被摄主体M的差异从如在图20(a)中示出的DM变为如在图20(b)中示出的DM9。于是，左图像的相应点(M9左图像)与右图像的相应点(M9右图像)之间的距离增加了。于是，设置被摄主体图像M9，使得其沿着关于如在图20(a)示出的转换前的被摄主体图像M的位置距观察者较远(距显示屏210较远)的方向移动。

于是，使用转换图像显示的三维图像的视差范围是如在图20(b)中示出的视差范围[U9]。

与转换前的图像的视差范围[U1]相比，转换后的视差范围[U9]在显示屏210的任一侧变得距显示屏210较远，使得转换后的视差范围[U9]变为放大的视差范围。

如上所述，根据本实施例5(b)，通过使用相反模式的微分滤波器系数的处理，沿着相反的方向对在相比显示屏距观察者较近的位置处观察到的被摄主体和在比显示屏深的位置处观察到的被摄主体进行移位处理。换言之，根据差异的极性选择并应用不同的滤波器，并且沿着不同的方向执行图像移位处理(图6或图12)。

通过该处理，不仅在相比显示屏距观察者较近的位置处观察到的被摄主体的观察位置可以沿着远离显示屏的方向移动，而且在比显示屏深的位置处观察到的被摄主体的观察位置也可以沿着该方向移动，因此，可以更高效地放大(从U1至U9)视差范围。

本实施例还被构造成使得差异的变化至少处于用作转换目标图像的焦点对准(被摄主体E)的像素位置处，并且点距聚焦位置越远，则差异的变化变得越大。

[F.实施例6：具有能够进行用于移位方式的控制的信号的输入的配置的实施例]

接着，将参考图21至图23来说明具有能够进行用于移位方式的控制的信号的输入的配置的实施例。

在上面的实施例中，在如图1所示的配置中，[-1,0,1]与[1,0,-1]的组合被配置成用作由左图像微分装置112和右图像微分装置122来应用的微分滤波器系数，如参考图6和图12所说明的。

更具体地，设置如下。

在实施例1中，根据图6的微分滤波器系数(左图像微分装置：[1,0,-1]，右图像微分装置[-1,0,1])的设置是用于沿着右方向移位左图像以及沿着左方向移位右图像的设置。

在实施例2中，根据图12的设置(左图像微分装置：[-1,0,1]，右图像微分装置[1,0,-1])是用于沿着左方向移位左图像以及沿着右方向移位右图像的设置。

在每个实施例中，由每个微分装置应用的微分滤波器系数设置如下。

在实施例3(a)中，根据图12进行设置，

在实施例3(b)中，根据图6进行设置，

在实施例4(a)中，根据图6进行设置，

在实施例4(b)中，根据图12进行设置，

在实施例5(a)中，根据图12进行设置，

在实施例5(b)中，根据图6进行设置，

可以根据这些微分滤波器系数的设置方式来控制图像的移位方向。

微分滤波器系数不限于诸如[-1,0,1]、[1,0,-1]的组合。可以是各种类型的设置，例如，[-2,0,2]、[2,0,-2]，或[-1,-0.5,0,0.5,1]、[1,0.5,0,-0.5,-1]的组合，或应用除了一阶微分滤波器外的二维滤波器。可以通过改变这种微分滤波器系数来改变移位方式。

在上述关于实施例1至实施例5的说明中，由左非线性变换单元113和右非线性变换单元123根据如在图3中示出的模式来执行非线性变换处理。

如上所述，可以通过调节该变换模式来控制移位方式。更具体地，例如，这使得可以进行控制，以改变焦点对准区域与模糊区域之间的移位比率等。

在实施例6的配置中，设置有控制信号输入单元以对移位方向和移位方式进行控制。

如在图21中例示的图像处理设备400具有将控制信号输入单元401添加到如在图1中例示的图像处理设备100的配置。其它配置与如在图1中示出的配置相同。

如在图21中例示的，图像处理设备400包括左图像变换单元110，其用于接收左图像(L1图像)10，进行图像变换，以及生成调节了视差的视差调节左图像(L2图像)50；并且还包括右图像变换单元120，其用于接收右图像(R2图像)20，进行图像变换，以及生成调节了视差的视差调节右图像(R2图像)60。此外，图像处理设备400包括控制信号输入单元401。

左图像变换单元110包括：用于接收左图像(L1)10的左图像输入单元111，用于进行左图像10的微分处理的左图像微分处理单元112，用于对左图像10的微分信号进行非线性变换的左非线性变换单元113，用于对左图像10与非线性变换的微分信号进行组合的左图像组合单元114，以及用于输出转换的视差调节左图像(L2)50的左图像输出单元115。

右图像变换单元120包括：用于接收右图像(R1)20的右图像输入单元121，用于进行对右图像20的微分处理的右图像微分处理单元122，用于对右图像20的微分信号进行非线性变换的右非线性变换单元123，用于对右图像20与非线性变换的微分信号进行组合的右图像组合单元124，以及用于输出转换的视差调节右图像(R2)60的左图像输出单元125。

该左图像变换单元110和该右图像变换单元120执行与在上述实施例1至实施例4中说明的处理相同的处理。

控制信号输入单元401将用于控制由左图像微分装置112和右图像微分装置122应用的微分方式的控制信号和变换处理的控制信号输入到左图像非线性变换单元113和右图像非线性变换单元123中。

将参考图22来说明对微分装置的微分滤波器的控制配置进行设置的示例。图22是例示左图像微分装置112的内部配置的示例的图。

左图像微分装置112包括滤波器选择单元421和微分滤波器应用单元422。

微分滤波器应用单元422具有可以选择并应用多个不同微分滤波器系数的配置。滤波器选择单元421根据由控制信号输入单元401提供的控制信号来选择具体的微分滤波器，并且使用所选择的微分滤波器，对从左图像输入单元111输入的左图像的亮度信号执行微分处理。

例如，根据该配置，实现了应用各种微分滤波器系数的微分处理。

应当注意：将图22说明为左图像微分装置112的配置的示例，并且右图像微分装置122也具有相同的配置。利用右图像微分装置122，实现了应用各种微分滤波系数的微分处理。

如在图21中例示的，还将控制信号输入单元401的控制信号输入到左图像非线性变换单元113和右图像非线性变换单元123。

输入到左图像非线性变换单元113和右图像非线性变换单元123的控制信号是用于控制微分信号的变换处理方式的信号。在关于上述实施例的说明中，例如，非线性变换变换处理配置成根据如在图3中例示的模式来执行。然而，在本实施例中，可以根据控制信号来以各种方式控制变换模式。例如，控制信号可以设置为应用到输入(In)的函数F。

以下表达式是使用用作该控制信号的函数F来确定的。

输出Out＝F(In)

如上所述，调节变换模式，使得可以控制移位方式。更具体地，例如，这使得可以进行控制以改变角点对准区域与模糊区域之间的移位比率等。

应当注意：变换处理不限于非线性处理。可替代地，还可以使用线性变换。

如上所述，如在图21中例示的图像处理设备400被配置成能够将用于控制由左图像微分装置112和右图像微分装置122应用的微分方式的控制信号和变换处理的控制信号输入到左图像非线性变换单元113和右图像非线性变换单元123中。

控制信号的输入使得能够进行对图像移位方式和移位方向的控制。

例如，在显示单元上显示转换图像，并且在用户观察显示图像的同时改变控制信号。该处理可以实现根据用户偏好的视差范围设置和三维图像设置。

参考图21说明的配置是将控制信号单元401添加到被说明为上述实施例1至4的配置的如在图1中示出的图像处理设备的配置。可替代地，可以将控制信号输入单元添加到说明为实施例5的配置的如在图18中示出的图像处理设备300中。图23例示图像处理设备500的配置的示例。

如在图23中例示的图像处理设备500具有将控制信号输入单元501添加到如上面说明的实施例5的图像处理设备的如在图18中示出的图像处理设备300中的配置。

左图像变换单元110、右图像变换单元120和视差检测单元301的配置以及所执行的处理与在上面说明的实施例5中已经说明的基本上相同。

然而，如在图23中例示的图像处理设备500被配置成使得能够将用于控制由左图像微分装置112和右图像微分装置122应用的微分方式的控制信号和变换处理的控制信号输入到左图像非线性变换单元113和右图像非线性变换单元123中。

控制信号的输入使得能够进行对图像的移位方式和移位方向的控制。

例如，将转换图像显示在显示单元上，并且在用户观察所显示的图像的同时，改变控制信号。该处理可以实现根据用户偏好的视差范围设置和三维图像设置。

在关于上述实施例的说明中，输入图像配置成使得其如在处理中被应用和转换。但是，对由图像输入单元输入的图像(左图像10，右图像20)执行缩小处理和疏化处理，接着，可以执行微分处理、非线性变换、组合处理或视差检测处理。利用该处理配置，可以减小数据处理量。如在实施例5中所说明的，仅视差检测单元301的视差检测处理可以配置成作为应用了缩小图像或疏化处理图像的处理来执行。

在上述每个实施例中，应用了以下滤波器：应用了配置成在左图像微分装置和右图像微分装置中是相反序列的微分滤波器系数的模式。但是，还可以通过使用以下配置实现相同的效果：在左图像微分装置和右图像微分装置中使用相同的微分滤波器系数，并且，在后续的组合处理中，将微分信号(或通过对微分信号进行非线性变换来获得信号)添加到对于其中一个图像(如，左图像)的原始图像信号中，然后，对另一个图像(另一个图像)的原始图像信号执行减去处理。

目前为止，在上文中，参考具体的实施例对本发明进行了详细的描述，但是，很明显的是，本领域普通技术人员可以在不偏离本发明主旨的前提下修改实施例并且使用替代的实施例。换言之，以示例的形式公开了本发明，并且不应当以限制的方式来理解本发明。为了确定本发明的主旨，应当考虑权利要求的范围。

可以用硬件、软件或两者的组合配置来执行在本说明书中说明的一系列处理。如果由软件来执行处理，则可以安装记录有处理序列的程序并且在组合到专用硬件的计算机内的存储器中执行该程序，或可以安装该程序并且在能够执行各种处理的通用计算机中执行该程序。例如，程序可以预先记录到记录介质中。可替代地，可以通过网络如LAN(局域网)和互联网来接收程序并且可以将该程序安装到如内置式硬盘的记录介质中。

在本说明书中描述的各种处理不限于如其中所描述的按时间顺序来执行。可替代地，可以根据执行处理的设备的处理性能或根据需要来并行或单独地执行各种处理。在本说明书中，系统是一组多个设备的逻辑配置，并且每个配置的设备不必限于设置在同一外壳内。

工业实用性

如上文所述，根据本发明的实施例的配置，提供了用于对应用到立体图像显示的左图像和右图像的视差进行控制的设备及方法。根据本发明的图像处理设备包括：左图像变换单元，其用于通过沿着右方向或左方向改变待被呈现给左眼的左图像的图像信号的相位来生成左图像变换图像；和右图像变换单元，其用于通过沿着右方向或左方向改变待被呈现给右眼的右图像的图像信号的相位来生成右图像变换图像。例如，每个图像变换单元通过给输入图像施加相反特性的系数序列的不同滤波器系数来生成微分信号，并且使用将微分信号或该微分信号的非线性信号与原始图像信号相加的组合处理来生成经视差控制的变换信号。该处理实现了用于如视差范围的缩小或放大的处理。

附图标记列表

10 左图像(L1图像)

20 右图像(R1图像)

50 视差调节左图像(L2图像)

60 视差调节右图像(R2图像)

100 图像处理设备

110 左图像变换单元

111 左图像输入单元

112 左图像微分处理单元

113 左非线性变换单元

114 左图像组合单元

115 左图像输出单元

120 右图像变换单元

121 右图像输入单元

122 右图像微分处理单元

123 右非线性变换单元

124 右图像组合单元

125 右图像输出单元

300 图像处理设备

301 视差检测单元

400 图像处理设备

401 控制信号输入单元

421 滤波器选择单元

422 微分滤波器应用单元

500 图像处理设备

501 控制信号输入单元

Claims (9)

1.一种图像处理设备，包括：

微分信号生成装置，其通过分析与第一图像和第二图像中的相同被摄主体部分相对应的相应点的布置，根据视差信息改变微分处理方式，来生成所述第一图像的微分信号和所述第二图像的微分信号；以及

组合单元，其将由所述微分信号生成装置生成的第一图像的微分信号或该微分信号的变换信号加到所述第一图像，生成使所述第一图像的图像信号相位变化的第一变换图像，并且将由所述微分信号生成装置生成的第二图像的微分信号或该微分信号的变换信号加到所述第二图像，生成使所述第二图像的图像信号相位变化的第二变换图像。

2.根据权利要求1所述的图像处理设备，其中，

所述组合单元将所述第一图像的微分信号的非线性变换信号加到所述第一图像来生成所述第一变换图像，以及将所述第二图像的微分信号的非线性变换信号加到所述第二图像信号来生成所述第二变换图像。

3.根据权利要求1或2所述的图像处理设备，其中，所述微分信号生成装置通过应用具有相反模式的微分滤波器系数序列的一阶微分滤波器的微分处理来生成所述第一图像的微分信号和所述第二图像的微分信号。

4.根据权利要求1或2所述的图像处理设备，其中，

所述微分信号生成装置通过根据相同微分方式执行的微分处理来生成所述第一图像的微分信号和所述第二图像的微分信号；以及

所述组合单元将所述第一图像的微分信号或所述微分信号的变换信号加到第一图像信号，来生成所述第一变换图像，以及从第二图像信号中减去所述第二图像的微分信号或所述微分信号的变换信号，来生成所述第二变换图像。

5.根据权利要求1或2所述的图像处理设备，其中，所述微分信号生成装置执行对输入图像信号的亮度信号的微分处理。

6.根据权利要求1或2所述的图像处理设备，其中，

所述图像处理设备具有生成所述视差信息的视差检测单元，

所述视差检测单元生成差异极性信息，所述差异极性信息指示与所述第一图像和所述第二图像中的所述相同被摄主体部分相对应的所述相应点的布置是以下设置(a)和设置(b)中的任何之一：

(a)所述第一图像的所述相应点位于所述第二图像的相应点的左边；

(b)所述第一图像的所述相应点位于所述第二图像的所述相应点的右边，以及

所述微分信号生成装置根据由所述视差检测单元生成的所述差异极性信息通过应用具有相反模式的微分滤波器系数序列的一阶微分滤波器的微分处理，来生成所述第一图像的微分信号和所述第二图像的微分信号。

7.根据权利要求1或2所述的图像处理设备，其中，

所述图像处理设备具有生成所述视差信息的视差检测单元，

所述视差检测单元通过应用所述第一图像和所述第二图像的缩小图像或疏化图像来生成视差信息。

8.根据权利要求1或2所述的图像处理设备，其中，所述图像处理设备还包括用于输入控制信号的控制信号输入单元，所述控制信号用于控制所述微分信号生成装置执行的微分处理方式或微分信号的非线性变换处理方式中的至少之一的改变。

9.一种由图像处理设备执行的图像处理方法，包括：

通过分析与第一图像和第二图像中的相同被摄主体部分相对应的相应点的布置，根据视差信息改变微分处理方式，来生成所述第一图像的微分信号和所述第二图像的微分信号的微分信号生成处理；以及

将在所述微分信号生成处理中生成的第一图像的微分信号或所述微分信号的变换信号加到所述第一图像，生成使所述第一图像的图像信号相位变化的第一变换图像，并且将在所述微分信号生成处理中生成的第二图像的微分信号或所述微分信号的变换信号加到所述第二图像，生成使所述第二图像的图像信号相位变化的第二变换图像的组合处理。