CN105122793A - 图像处理装置、摄像装置及图像处理程序 - Google Patents

Abstract

本发明提供一种图像处理装置，具有：输入第1视点方向的图像和第2视点方向的图像的至少两个视差图像的机构；对第1视点方向的图像和第2视点方向的图像分别至少在将第1和第2视点连接的方向上施加平滑化滤波器，由此分别生成第1平滑化图像和第2平滑化图像的机构；生成由基于第1平滑化图像的值与第2平滑化图像的值之积的值构成的基准图像的机构；通过将基准图像的值除以第1平滑化图像的值来生成增益分布数据的机构；基于增益分布数据对第1视点方向的图像进行各像素的增益修正的机构；以及将进行增益修正后的第1视点方向的图像作为视差图像而输出的机构，平滑化滤波器具有与在第1视点方向的图像与第2视点方向的图像之间产生的视差量为相同程度的滤波直径。

Description

图像处理装置、摄像装置及图像处理程序

技术领域

本发明涉及图像处理装置、摄像装置及图像处理程序。

背景技术

公知有如下摄像装置：使用单一摄影光学系统，通过一次拍摄生成彼此具有视差的左右的视差图像。

现有技术文献

专利文献

专利文献1：日本特开2003-7994号公报

发明内容

在由这种摄像装置得到的左右的视差图像中，产生了彼此不同的明暗度(shading)。

本发明的第1方式的图像处理装置的特征在于，具有：输入通过一个光学系统对全部光束中的从彼此不同的区域通过的部分光束的被摄物体像进行拍摄而得到的第1视点方向的图像和第2视点方向的图像的至少两个视差图像的机构；对第1视点方向的图像和第2视点方向的图像分别至少在将第1视点和第2视点连接的方向上施加平滑化滤波器，由此分别生成第1平滑化图像和第2平滑化图像的机构；生成由基于第1平滑化图像的值与第2平滑化图像的值之积的值构成的基准图像的机构；通过将基准图像的值除以第1平滑化图像的值来生成第1增益分布数据的机构；基于第1增益分布数据对第1视点方向的图像进行各像素的增益修正的机构；以及将进行增益修正后的第1视点方向的图像作为用于立体显示的视差图像而输出的机构，平滑化滤波器是具有与在第1视点方向的图像与第2视点方向的图像之间产生的视差量为相同程度的滤波直径的进行平滑化的滤波器。

本发明的第2方式的图像处理装置的特征在于，具有：输入通过一个光学系统对全部光束中的从彼此不同的区域通过的部分光束的被摄物体像进行拍摄而得到的第1视点方向的图像和第2视点方向的图像的至少两个视差图像的机构；对第1视点方向的图像和第2视点方向的图像分别至少在将第1视点和第2视点连接的方向上施加平滑化滤波器，由此分别生成第1平滑化图像和第2平滑化图像的机构；基于第1平滑化图像和第2平滑化图像来生成基准图像的机构；通过将基准图像的值除以第1平滑化图像的值来生成第1增益分布数据的机构；通过将基准图像的值除以第2平滑化图像的值来生成第2增益分布数据的机构；基于第1增益分布数据对第1视点方向的图像进行各像素的增益修正的机构；基于第2增益分布数据对第2视点方向的图像进行各像素的增益修正的机构；将进行增益修正后的第1视点方向的图像和进行增益修正后的第2视点方向的图像合并并作为用于立体显示的视差图像而输出的机构；以及通过使平滑化滤波器的滤波直径可变来调节用于立体显示的视差图像之间的视差量的机构，使滤波直径在消除视差时缩向零、在保存视差时与输入图像的两个视差像素之间能够产生的最大视差量为相同程度或扩大至其以上。

本发明的第3方式的图像处理装置的特征在于，具有：图像数据获取部，其获取通过至少一部分共通的光学系统而获取的第1视点所对应的第1图像数据、和第2视点所对应的第2图像数据；平滑化数据生成部，其分别对第1图像数据及第2图像数据，以将由第1图像数据及第2图像数据表示的像分别相对于视差方向平滑化的方式进行滤波，由此生成第1平滑化数据及第2平滑化数据；目标图像数据生成部，其使用第1平滑化数据和第2平滑化数据所对应的各个像素值的几何平均来生成目标图像数据；以及增益修正部，其使用目标图像数据相对于第1平滑化数据之比来修正第1图像数据。

本发明的第4方式的摄像装置是具有摄像元件和上述的图像处理装置的摄像装置，第1图像数据及第2图像数据基于摄像元件的输出而生成。

本发明的第5方式的图像处理程序使计算机执行以下步骤：图像数据获取步骤，获取通过至少一部分共通的光学系统而获取的第1视点所对应的第1图像数据、和第2视点所对应的第2图像数据；平滑化数据生成步骤，分别对第1图像数据及第2图像数据，以将由第1图像数据及第2图像数据表示的像分别相对于视差方向平滑化的方式进行滤波，由此生成第1平滑化数据及第2平滑化数据；目标图像数据生成步骤，使用第1平滑化数据和第2平滑化数据所对应的各个像素值的几何平均来生成目标图像数据；以及增益修正步骤，使用目标图像数据相对于第1平滑化数据之比来修正第1图像数据。

本发明的第6方式的图像处理装置的特征在于，具有：输入通过一个光学系统对全部光束中的从彼此不同的区域通过的部分光束的被摄物体像进行拍摄而得到的第1视点方向的图像和第2视点方向的图像的至少两个视差图像的机构；对第1视点方向的图像和第2视点方向的图像分别将在与连接第1视点和第2视点的x方向正交的y方向上排列的多个像素的像素值相加，而分别生成一维投影后的第1视点方向的一维分布数据和第2视点方向的一维分布数据的机构；对一维投影后的第1视点方向的一维分布数据和第2视点方向的一维分布数据分别施加一维的平滑化滤波器，由此分别生成第1一维平滑化分布数据和第2一维平滑化分布数据的机构；基于第1一维平滑化分布数据和第2一维平滑化分布数据来求出其间的点而生成一维基准分布数据的机构；通过将一维基准分布数据的值除以第1一维平滑化分布数据的值来生成第1一维增益分布数据的机构；对第1视点方向的图像，将第1一维增益分布数据以各y坐标共通地使用，而分别进行该一维方向的增益修正的机构；以及将进行增益修正后的第1视点方向的图像作为用于立体显示的视差图像而输出的机构，一维的平滑化滤波器是在比第1视点方向的图像与第2视点方向的图像之间能够产生的最大视差量大的范围内进行平滑化的滤波器。

本发明的第7方式的图像处理装置的特征在于，具有：图像数据获取部，其获取通过至少一部分共通的光学系统而获取的第1视点所对应的第1图像数据、和第2视点所对应的第2图像数据；一维投影数据生成部，其分别对第1图像数据及第2图像数据，将在与视差方向正交的方向上排列的多个像素的像素值相加，由此生成第1一维投影数据及第2一维投影数据；一维平滑化数据生成部，其分别对第1一维投影数据及第2一维投影数据，以最大视差量以上的采样幅度计算出移动平均，由此生成第1一维平滑化数据及第2一维平滑化数据；一维基准数据生成部，其基于第1一维平滑化数据和第2一维平滑化数据来生成一维基准数据；以及明暗度修正部，其使用一维基准数据相对于第1一维平滑化数据之比对第1图像数据进行明暗度修正。

本发明的第8方式的摄像装置是具有摄像元件和上述的图像处理装置的摄像装置，第1图像数据及第2图像数据基于摄像元件的输出而生成。

本发明的第9方式的图像处理程序的特征在于，使计算机执行如下步骤：图像数据获取步骤，获取通过至少一部分共通的光学系统而获取的第1视点所对应的第1图像数据、和第2视点所对应的第2图像数据；一维投影数据生成步骤，分别对第1图像数据及第2图像数据，将在与视差方向正交的方向上排列的多个像素的像素值相加，由此生成第1一维投影数据及第2一维投影数据；一维平滑化数据生成步骤，分别对第1一维投影数据及第2一维投影数据，以最大视差量以上的采样幅度计算出移动平均，由此生成第1一维平滑化数据及第2一维平滑化数据；一维基准数据生成步骤，基于第1一维平滑化数据和第2一维平滑化数据来生成一维基准数据；明暗度修正步骤，使用一维基准数据相对于第1一维平滑化数据之比对第1图像数据进行明暗度修正。

此外，上述的发明的概要没有列举本发明的全部必要特征。另外，这些特征组的子组合也能成为发明。

附图说明

图1是说明本发明的实施方式的数码相机的结构的图。

图2是说明摄像元件的截面结构的图。

图3是说明无视差像素中的散焦的概念的图。

图4是说明视差像素中的散焦的概念的图。

图5是表示无视差像素和视差像素的光强度分布的图。

图6是说明视差像素的种类为两种的情况下的开口部104的开口形状的图。

图7是用于说明模糊的非对称性的图。

图8是表示视差图像及无视差图像与景深之间的关系的图。

图9是说明模糊的非对称性的图。

图10是表示存在于非对焦区域的物点的点像分布的图。

图11是表示作为一例的实际空间的排列和k空间的图。

图12是说明多重析像度转换的图。

图13是说明本发明的实施方式的数码相机的结构的图。

图14是说明明暗度修正的一例的图。

图15是说明函数拟合的图。

具体实施方式

以下，通过发明的实施方式说明本发明，但以下的实施方式不限定权利要求书所涉及的发明。另外，实施方式中说明的特征组合不必全部是发明的解决方案所必须的。

[第1实施方式]

作为摄像装置的一个方式的本实施方式的数码相机构成为能够针对一个场景通过一次拍摄而生成多个视点数的图像。将视点彼此不同的各个图像称为视差图像。在本实施方式中，尤其对生成基于与右眼和左眼对应的两个视点的右视差图像和左视差图像的情况进行说明。具体情况将在后叙述，本实施方式的数码相机也能够与视差图像一起，生成基于作为基准方向的视点的中央视点的、没有视差的无视差图像。

图1是说明本发明的实施方式的数码相机10的结构的图。数码相机10具有作为摄影光学系统的摄影透镜20，将沿着光轴21入射的被摄物体光束向摄像元件100引导。摄影透镜20可以是能够相对于数码相机10装拆的可更换式透镜。数码相机10具有摄像元件100、控制部201、A/D转换电路202、存储器203、驱动部204、图像处理部205、存储卡IF207、操作部208、显示部209及LCD驱动电路210。

此外，如图所示，将与朝向摄像元件100的光轴21平行的方向定为+Z轴方向，将在与Z轴正交的平面中朝向纸面内的方向定为+X轴方向，将朝向纸面上方的方向定为+Y轴方向。与摄影取景的关系为，X轴为水平方向，Y轴为垂直方向。在以后的若干图中，将图1的坐标轴作为基准显示坐标轴，以便明确各图的朝向。

摄影透镜20由多个光学透镜组构成，使来自场景的被摄物体光束在其焦点面附近成像。此外，在图1中，为了便于说明，以配置在光瞳附近的假想的1枚透镜为代表来表示摄影透镜20。

摄像元件100配置在摄影透镜20的焦点面附近。摄像元件100是以二维方式配置有多个光电转换元件的例如CCD、CMOS传感器等图像传感器。摄像元件100由驱动部204定时控制，将在受光面上成像的被摄物体像转换成图像信号并向A/D转换电路202输出。向A/D转换电路202输出的图像信号包含左视点及右视点的图像信号。

A/D转换电路202将摄像元件100输出的图像信号转换成数字图像信号并向存储器203输出。图像处理部205将存储器203作为工作空间而实施各种图像处理，从而生成图像数据。尤其是，图像处理部205具有图像数据生成部230、平滑化数据生成部231、目标图像数据生成部232及增益修正部233。

图像数据生成部230使用左视点及右视点的数字图像信号，生成与左视点对应的左视差图像数据和与右视点对应的右视差图像数据。关于左视差图像数据及右视差图像数据的生成的详细情况将在后叙述。

平滑化数据生成部231针对左视差图像数据及右视差图像数据，分别将由左视差图像数据及右视差图像数据表示的像以相对于左右方向、即视差方向平滑化的方式进行过滤。由此，生成将左视差图像数据平滑化后的左平滑化数据、及将右视差图像数据平滑化后的右平滑化数据。关于左平滑化数据及右平滑化数据的生成的详细情况将在后叙述。

目标图像数据生成部232使用左平滑化数据和右平滑化数据所对应的各个像素值的几何平均来生成目标图像数据。目标图像数据的生成的详细情况将在后叙述。

增益修正部233使用目标图像数据相对于左平滑化数据之比来修正左视差图像数据。并使用目标图像数据相对于右平滑化数据之比来修正右视差图像数据。

图像处理部205除此以外还承担根据所选择的图像格式来调整图像数据等的图像处理的普通功能。所生成的图像数据通过LCD驱动电路210而转换成显示信号，并显示在显示部209上。另外，记录在安装于存储卡IF207的存储卡220中。

一连串的摄影过程通过操作部208受理使用者的操作并向控制部201输出操作信号而开始。伴随摄影过程的AF、AE等各种动作由控制部201控制而执行。

接下来，说明摄像元件100的结构的一例。图2是表示摄像元件100的截面的概略图。

摄像元件100从被摄物体侧按顺序排列有微透镜101、彩色滤光片102、开口掩膜103、布线层105及光电转换元件108而构成。光电转换元件108由将入射的光转换成电信号的光电二极管构成。光电转换元件108在基板109的表面上以二维方式排列有多个。

由光电转换元件108转换得到的图像信号、控制光电转换元件108的控制信号等经由设于布线层105的布线106而被收发。另外，具有与各光电转换元件108一一对应地设置且以二维方式重复排列的开口部104的开口掩膜103，与布线层105相接地设置。如后所述开口部104按对应的光电转换元件108而位移，但相对位置是严格确定的。详细情况将在后叙述，通过具有该开口部104的开口掩膜103的作用，在光电转换元件108所接受的被摄物体光束中产生视差。

另一方面，在不产生视差的光电转换元件108上，不存在开口掩膜103。换言之，也可以说是设有具备不限制相对于对应的光电转换元件108入射的被摄物体光束、即、使入射光束整体通过的开口部104的开口掩膜103。虽然不会产生视差，但实质上由布线106形成的开口107规定入射的被摄物体光束，因此，也能够将布线106看作是不会产生视差的使入射光束整体的开口掩膜。开口掩膜103可以与各光电转换元件108对应地各自独立地排列，也可以与彩色滤光片102的制造工艺同样地相对于多个光电转换元件108一并形成。

彩色滤光片102设在开口掩膜103上。彩色滤光片102是对各光电转换元件108以使特定的波段透过的方式着色得到的、与光电转换元件108分别一一对应地设置的滤光片。对于输出彩色图像，只要排列彼此不同的至少两种彩色滤光片即可，但对于获取更高画质的彩色图像，排列三种以上的彩色滤光片为好。例如可以以格子状排列使红色波段透过的红色滤光片(R滤光片)，使绿色波段透过的绿色滤光片(G滤光片)、以及使蓝色波段透过的蓝色滤光片(B滤光片)。彩色滤光片不仅可以是原色RGB的组合，也可以是YCM的互补色滤光片的组合。

微透镜101设在彩色滤光片102上。微透镜101是用于将入射的被摄物体光束更多地向光电转换元件108引导的聚光透镜。微透镜101与各个光电转换元件108一一对应地设置。关于微透镜101，优选考虑摄影透镜20的光瞳中心与光电转换元件108的相对位置关系，以使更多的被摄物体光束被引导到光电转换元件108的方式使其光轴位移。而且，也可以与开口掩膜103的开口部104的位置一起调整其配置位置，以使得后述的特定的被摄物体光束更多地入射。

将这样与各个光电转换元件108一一对应地设置的开口掩膜103、彩色滤光片102及微透镜101的一个单位称为像素。尤其将设有产生视差的开口掩膜103的像素称为视差像素，将没有设置产生视差的开口掩膜103的像素称为无视差像素。也存在将左视点的视差像素记为视差Lt像素、将右视点的视差像素记为视差Rt像素、将无视差像素记为N像素的情况。另外，也存在将左视点的视差图像记为视差Lt图像、将右视点的视差图像记为视差Rt图像、将无视差图像记为N图像的情况。例如，在摄像元件100的有效像素区域为24mm×16mm左右的情况下，像素数达到1200万左右。

此外，在聚光效率、光电转换效率高的图像传感器的情况下，也可以不设置微透镜101。另外，在背面照射型图像传感器的情况下，布线层105设置在与光电转换元件108相反的一侧。另外，若开口掩膜103的开口部104具有颜色成分，则也能够将彩色滤光片102与开口掩膜103一体地形成。此外，在输出黑白图像信号即可的情况下，不设置彩色滤光片102。

另外，在本实施方式中，虽然将开口掩膜103和布线106分体地设置，但也可以由布线106承担视差像素中的开口掩膜103的功能。即，通过布线106形成规定的开口形状，并根据该开口形状限制入射光束而仅将特定的部分光束向光电转换元件108引导。该情况下，优选形成开口形状的布线106在布线层105中最靠光电转换元件108侧。

另外，开口掩膜103也可以由与光电转换元件108重叠地设置的透过阻止膜形成。该情况下，开口掩膜103例如将SiN膜和SiO₂膜依次层叠来作为透过阻止膜，并将相当于开口部104的区域通过蚀刻除去而形成。

＜视差像素和模糊特性＞

接下来，说明视差Lt像素及视差Rt像素受光的情况下的散焦的概念。首先，简单地说明无视差像素中的散焦的概念。图3是说明无视差像素中的散焦的概念的图。如图3的(a)所示，在作为被摄物体的物点存在于焦点位置的情况下，从透镜光瞳通过并到达摄像元件受光面的被摄物体光束表现出以对应的像点的像素为中心陡峭的光强度分布。即，若接受从透镜光瞳通过的有效光束整体的无视差像素排列于像点附近，则与像点对应的像素的输出值最大，排列于周边的像素的输出值急剧降低。

另一方面，如图3的(b)所示，若物点在远离摄像元件受光面的方向上从焦点位置偏移，则与物点存在于焦点位置的情况相比，被摄物体光束在摄像元件受光面上表现出平缓的光强度分布。即，表现出在对应的像点的像素中的输出值降低的基础上、直至更周边的像素仍具有输出值的分布。

如图3的(c)所示，若物点进一步从焦点位置偏移，则被摄物体光束在摄像元件受光面上表现出更平缓的光强度分布。即，表现出在对应的像点的像素中的输出值进一步降低的基础上、直至更周边的像素仍具有输出值的分布。

如图3的(d)所示，在物点在接近摄像元件受光面的方向上从焦点位置偏移的情况下，也表现出与物点在远离摄像元件受光面的方向上偏移的情况相同的光强度分布。

图4是说明视差像素中的散焦的概念的图。视差Lt像素及视差Rt像素接受从作为透镜光瞳的部分区域而分别对光轴对象设定的两个视差假想光瞳中的某一个到达的被摄物体光束。在本说明书中，将通过接受从单一透镜光瞳中的彼此不同的假想光瞳到达的被摄物体光束而对视差图像进行拍摄的方式称为单眼光瞳分割摄像方式。

如图4的(a)所示，在作为被摄物体的物点存在于焦点位置的情况下，无论从哪一视差假想光瞳通过的被摄物体光束，均表现出以对应的像点的像素为中心陡峭的光强度分布。若视差Lt像素排列于像点附近，则与像点对应的像素的输出值最大，排列于周边的像素的输出值急剧降低。另外，即使视差Rt像素排列于像点附近，与像点对应的像素的输出值也最大，排列于周边的像素的输出值也急剧降低。即，无论被摄物体光束从哪一视差假想光瞳通过，均表现出与像点对应的像素的输出值最大、且排列于周边的像素的输出值急剧降低的分布，各个分布彼此一致。

另一方面，如图4的(b)所示，若物点在远离摄像元件受光面的方向上从焦点位置偏移，则与物点存在于焦点位置的情况相比，视差Lt像素所表现出的光强度分布的峰值显现于从与像点对应的像素向一个方向离开的位置，且其输出值降低。另外，具有输出值的像素的幅度也扩大。即，由于相对于摄像元件受光面的水平方向具有点像的扩大，所以模糊量增加。视差Rt像素所表现出的光强度分布的峰值显现于从与像点对应的像素向视差Lt像素中的与一个方向相反的方向且等距离地离开的位置，同样地其输出值降低。另外，同样地具有输出值的像素的幅度也扩大。即，与物点存在于焦点位置的情况相比变得平缓的同一光强度分布彼此以等距离分离而显现。视差Lt像素及视差Rt像素所表现出的光强度分布的峰值间的偏移量相当于视差量。

另外，如图4的(c)所示，若物点进一步从焦点位置偏移，则与图4的(b)的状态相比，进一步变得平缓的同一光强度分布更分离地显现。由于点像的扩大变得更大，所以模糊量增加。另外，由于视差Lt像素及视差Rt像素所表现出的光强度分布的峰值间的偏移也变大，所以视差量也增加。也就是说，可以说物点从焦点位置偏移得越大，模糊量和视差量越增加。

如图4的(d)所示，在物点在接近摄像元件受光面的方向上从焦点位置偏移的情况下，与图4的(c)的状态相反，视差Rt像素所表现出的光强度分布的峰值显现于从与像点对应的像素向上述一个方向离开的位置。视差Lt像素所表现出的光强度分布的峰值显现于向视差Rt像素中的与一个方向相反的方向离开的位置。即，与物点的偏移方向相应地，确定视差Lt像素及视差Rt像素所表现出的光强度分布的峰值显现于从与像点对应的像素向哪一方向离开的位置。

当将图3中说明的光强度分布的变化和图4中说明光强度分布的变化分别制成曲线图时，如图5所示。图5是表示无视差像素和视差像素的光强度分布的图。图中，横轴表示像素位置，中心位置是与像点对应的像素位置。纵轴表示各像素的输出值，由于该输出值实质上与光强度成正比，所以在图中作为光强度而示出。

此外，如上所述，无论物点在接近摄像元件受光面的方向上从焦点位置偏移的情况还是物点在远离摄像元件受光面的方向上偏移的情况，均表现出相同的光强度分布，因此，在图中省略了在接近摄像元件受光面的方向上偏移的情况下的光强度分布的变化。关于物点在接近摄像元件受光面的方向上从焦点位置偏移的情况下的视差Lt像素及视差Rt像素所表现出的光强度分布的峰值，由于与物点在远离摄像元件受光面的方向上偏移的情况下的视差Lt像素及视差Rt像素所表现出的光强度分布的峰值相同，因此也进行了省略。

图5的(a)是表示图3中说明的光强度分布的变化的曲线图。分布曲线1801表示与图3的(a)对应的光强度分布，示出最陡峭的状况。分布曲线1802表示与图3的(b)对应的光强度分布，另外，分布曲线1803示出与图3的(c)对应的光强度分布。与分布曲线1801相比，峰值逐步降低，可知具有扩大的状况。

图5的(b)是表示图4中说明的光强度分布的变化的曲线图。分布曲线1804和分布曲线1805分别表示图4的(b)的视差Lt像素的光强度分布和视差Rt像素的光强度分布。从图可知，这些分布相对于中心位置成线对称的形状。另外，将这些分布曲线叠加得到的合成分布曲线1806示出与相对于图4的(b)处于同等散焦状态的图3的(b)的分布曲线1802相似的形状。

分布曲线1807和分布曲线1808分别表示图4的(c)的视差Lt像素的光强度分布和视差Rt像素的光强度分布。从图可知，这些分布也相对于中心位置成线对称的形状。另外，将这些分布曲线叠加得到的合成分布曲线1809示出与相对于图4的(c)处于同等散焦状态的图3的(c)的分布曲线1803相似的形状。此外，图4的(d)的视差Lt像素的光强度分布和视差Rt像素的光强度分布为将图4的(c)的视差Lt像素的光强度分布和视差Rt像素的光强度分布的位置调换的关系，因此分别相当于分布曲线1808和分布曲线1807。

图6是说明视差像素的种类为两种的情况下的开口部104的开口形状的图。图6的(a)示出了视差Lt像素的开口部104l的形状和视差Rt像素的开口部104r的形状与将无视差像素的开口部104n的形状以中心线322分割得到的各个形状相同的例子。也就是说，在图6的(a)中，无视差像素的开口部104n的面积为视差Lt像素的开口部104l的面积与视差Rt像素的开口部104r的面积之和。在本实施方式中，将无视差像素的开口部104n称为全开口的开口部，将开口部104l及开口部104r称为半开口的开口部。在开口部位于光电转换元件的中央的情况下，称为该开口部朝向基准方向。视差Lt像素的开口部104l及视差Rt像素的开口部104r相对于从各自对应的光电转换元件108的中心(像素中心)通过的假想的中心线322，彼此向相反方向偏位。因此，视差Lt像素的开口部104l及视差Rt像素的开口部104r分别在相对于中心线322的一个方向、及与该一个方向相反的另一方向上产生视差。

图6的(b)示出在具有图6的(a)所示的各开口部的像素中，物点在远离摄像元件受光面的方向上从焦点位置偏移的情况下的光强度分布。在图中，横轴表示像素位置，中心位置是与像点对应的像素位置。另外，曲线Lt与图5的(b)的分布曲线1804相当，曲线Rt与图5的(b)的分布曲线1805相当。曲线N与无视差像素对应，示出与图5的(b)的合成分布曲线1806相似的形状。另外，各个开口部104n、开口部104l、开口部104r发挥作为开口光圈的功能。因此，具有面积为开口部104l(开口部104r)成倍面积的开口部104n的无视差像素的模糊幅度与通过图5的(b)的合成分布曲线1806示出的、将视差Lt像素和视差Rt像素叠加得到的曲线的模糊幅度为相同程度。

图6的(c)示出在具有图6的(a)所示的各开口部的像素中，物点在接近摄像元件受光面的方向上从焦点位置偏移的情况下的光强度分布。在图中，横轴表示像素位置，中心位置为与像点对应的像素位置。图6的(c)的曲线Lt、曲线Rt维持具有开口部104n的无视差像素的模糊幅度与将视差Lt像素和视差Rt像素叠加得到的曲线的模糊幅度为相同程度的关系，相对于图6的(b)的曲线Lt、曲线Rt而位置关系相反。

＜景深和非对称模糊＞

接下来，说明景深与模糊的非对称性之间的关系。从图6的(b)、(c)也可得知，在非对焦区域中，视差像素的模糊幅度比无视差像素的模糊幅度窄。这意味着由于图6的(a)的视差像素的开口掩膜而使透镜的入射光束实质上被集中为右半部分和左半部分。换言之，可以说在单一透镜光瞳中产生了左右两个假想光瞳。即，视差像素的开口掩膜的开口面积起到与透镜光圈的效果相同的作用。

通常，若缩小透镜光圈则对景深深的图像进行拍摄。视差像素中的开口掩膜的开口在水平方向上短而在垂直方向上长。因此，对纵线等在水平方向上具有频率成分的被摄物体拍摄景深深的图像，与之相对，对横线等在垂直方向上具有频率成分的被摄物体拍摄景深浅的图像。

图7是用于说明模糊的非对称性的图。例如，当对图7的(a)那样的正方形的小块(patch)的被摄物体进行拍摄时，在对焦区域中，得到图7的(a)那样的被摄物体像。在图7的(b)中，将左视差像素和右视差像素所捕捉到的被摄物体像重合而示出。在非对焦区域中，拍摄到图7的(b)所示那样的水平方向的模糊少、纵线比横线看起来锐陡(sharp)的被摄物体像。即，由于视差像素中的开口掩膜的开口在水平方向和垂直方向上成非对称性，所以在被摄物体像的水平方向和垂直方向上模糊为非对称。其也能够称为模糊的各向异性。

若将图7的(b)的左眼用的被摄物体像和右眼用的被摄物体像重合地显示而从3D图像得到2D图像，则在2D图像中会产生因水平方向上的锐陡的模糊而导致的双线模糊那样的、不怎么被期望的模糊(图7的(c))。因此，优选能够通过图像处理实现将3D图像显示用的左右的视差图像的模糊的非对称性降低而得到自然的模糊这样的修正，或者在2D图像显示中不会出现双线模糊这样的、得到自然的模糊状态的修正。

图8是表示视差图像及无视差图像与景深之间的关系的图。具体地说，图8是表示将摄像元件100的像素间距设为a[mm]、对频率为f[条/mm]这样的被摄物体像的条纹图拍摄时的纵线条纹图和将其旋转90°而拍摄时的横线条纹图的MTF(ModulationTransferFunction：调制传递函数)特性的被摄物体距离依存性的图。纵轴表示MTF，横轴表示从数码相机10的距离d。在将对焦位置的光轴附近的MTF设为1的情况下，MTF分布表示若将条纹图从对焦位置前后移动则会如何衰减。图8的(a)表示无视差图像(N图像)中的固定频率的被摄物体像的与被摄物体距离相关的纵线条纹图和横线条纹图的MTF分布。如图8的(a)所示，在无视差图像中，纵线条纹图与横线条纹图的MTF分布一致。图8的(b)表示视差图像(视差Lt图像及视差Rt图像)中的固定频率的被摄物体像的与被摄物体距离相关的纵线条纹图和横线条纹图的MTF分布。图8的(b)所示的横线条纹图的MTF分布与图8的(a)所示的横线条纹图的MTF分布一致。另一方面，图8的(b)所示的纵线条纹图的MTF分布与图8的(a)所示的纵线条纹图的MTF分布相比，对比度高的区间分布得广，能够读取景深为深这一情况。换言之，若使条纹图从对焦位置前后移动，则在视差图像中，在横线条纹图和横线条纹图中对比度不同。其产生先前在图7中示出的模糊的非对称性。

作为在单眼光瞳分割摄像方式中产生的固有现象，列举WO2012/039346中在左右的视差图像之间产生不同明暗度的问题。但是，在单眼光瞳分割摄像方式中，作为与通常的2D图像摄影相比较不得不考虑的问题，除明暗度以外，还存在模糊的特性在左右间为非对称的问题。详细情况将在后叙述，例如，在将麦克白颜色表(macbethchart)这样的四边形的小块模糊地拍摄的情况下，如上所述，在被摄物体像的水平方向和垂直方向上模糊为非对称，不仅如此，在视差图像的左右两端模糊为非对称。具体地说，在左视差图像中，一方的边界变得模糊，与之相对在另一方的边界中产生看起来锐陡那样的模糊。在右视差图像中该现象相反。该模糊的左右非对称性被认知为双线模糊，会给立体图像带来不自然。

详细分析单眼立体摄像系统，其结果可知在明暗度问题、模糊的左右非对称性及视差量之间存在极为密切的关系。因此，在左视差图像及右视差图像中，在对与这三者相关的部分进行修正的情况下，会对其他特性带来显著影响。其结果为，不明确能否实际生成自然的立体图像。例如，在上述的WO2012/039346中，没有详细地公开明暗度修正与视差量的关系，存在不明确实际能否生成立体图像的状况。至于模糊特性则皆无记述。鉴于这些状况，在本实施方式中，明确上述三者的关系，说明看起来自然的立体图像的生成技术。

＜模糊的左右非对称性及其修正＞

由于视差像素接受投影于假想光瞳的入射光束，所以假想光瞳的形状显现为模糊特性。视差像素起到基本上使从透镜透过了的光的单侧一半的光束通过的作用。透镜的光瞳为圆形，因此假想光瞳为半圆形。因此，在左右的视差图像之间，模糊的形状为非对称。

图9是说明模糊的非对称性的图。如图9所示，在左视差像素中，与半圆形的弧侧相对应的模糊能够恰当地表现，与之相对，与半圆形的断开侧相对应的模糊无法恰当地表现。即，容易变为锐陡的边缘而模糊少。在右视差像素中也是同样地，与半圆形的弧侧接触相对应的模糊能够恰当地表现，与之相对，与半圆形的断开侧相对应的模糊容易变为锐陡的边缘而模糊少。但是，在左视差像素和右视差像素中，弧的位置相反。出于以上状况，上述的双线模糊现象更为显著地显现。对于修正这样的左右的非对称模糊，如图9所示，期望将左视差像素和右视差像素所捕捉到的存在相反特性的模糊相互混合，而尽可能在左右间使模糊对称化。

作为对此的方案，生成将左视差图像的模糊和右视差图像的模糊混合后的平均图像，并将其作为目标图像来进行模糊的左右非对称模糊修正。如在后述的第3实施例的“无视差的基准图像的生成”的步骤中说明地那样，若仅单纯地生成左视差图像与右视差图像的平均图像，则会产生视差明暗度相抵消且没有完全消除视差的现象。因此，若进行这样的将消除了视差的图像作为目标的修正，则仅会生成消除了视差的图像。其成为与立体图像的生成相反的修正，因此必须避免。对于仅提取模糊的左右非对称性的信息，必须避免在修正项中包含视差成分。为了消除修正项中的视差成分，需要对左视差图像和右视差图像施加与视差相同程度的水平方向上的一维平滑化滤波器、或将其沿横纵扩大而成的二维平滑化滤波器。将施加该平滑化运算后的处理由＜＞表示。

由此，能够实现模糊的左右非对称性的修正。其原因在于，对于左视差图像的模糊成分的特性与右视差图像的模糊成分的特性的差异，即使实施视差量程度的大幅的平滑化处理后也会残存。若滤波器的采样幅度相对于视差量过于巨大，则不会显现出模糊的特性的差异，因此需要限于视差量程度。若使该式中的平滑化的范围以从视差量程度逐渐减小而最终使采样幅度为零(即无平滑化)的方式连续地变化，则视差量从视差图像所捕捉到的初始视差量至视差零为止连续地变化。因此，也能够通过平滑化滤波器的滤波直径、即采样幅度来控制视差量。

在上式中以与平滑化后的视差图像的几何平均的模糊相应的方式进行修正，但作为观点也存在取算术平均的观点。该情况下，试着研究会成为怎样的模糊。修正式如下。

图10是表示存在于非对焦区域的物点的点像分布的图。在图中，横轴表示像素位置，中心位置是与像点对应的像素位置。纵轴表示像素值。在图10的(a)、(b)中，左视点的点像分布Lt和右视点的点像分布Rt示出了图6所示的左右的视差像素的开口部为半开口的情况下的、水平方向上的模糊幅度。

图10的(a)的左视点的点像分布Lt和右视点的点像分布Rt由像素位置x的函数表示。左视点的点像分布Lt和右视点的点像分布Rt的算术平均也由像素位置x的函数表示。例如，在像素位置x1处，Lt和Rt均具有像素值，因此运算结果为正值。在像素位置x2处，尽管Lt不具有像素值，但Rt具有像素值，因此运算结果仍为正值。如以上那样，在计算算术平均的情况下，只要Lt和Rt中的任一个具有像素值，则其运算结果为正值。因此，若作为整体观察各像素位置处的点像分布Lt与点像分布Rt的算术平均，则如图10的(a)所示，为点像分布Lt及Rt的扩展幅度之和。其相当于具有图6所示的全开口的开口部的无视差像素所对应的模糊幅度。

此外，算术平均是用于获得点像分布Lt及Rt的扩展幅度之和的运算的一例。只要能够获得点像分布Lt及Rt的扩展幅度之和，则也可以利用其他运算。

左视点的点像分布Lt和右视点的点像分布Rt的几何平均也由像素位置x的函数表示。例如，在像素位置x1处，Lt和Rt均具有像素值，因此运算结果为正值。另一方面，在像素位置x2处，尽管Rt具有像素值，但Lt不具有像素值，因此运算结果为0。如以上那样，在计算几何平均的情况下，在Lt和Rt中的任一个具有像素值的情况下，其运算结果为正值。因此，若作为整体观察各像素位置处的点像分布Lt与点像分布Rt的几何平均，则如图10的(b)所示，为点像分布Lt及Rt的扩展幅度之积。几何平均的扩展幅度与算术平均相比变窄，若视差量增加则相对进一步变小，因此可以说其之比与视差量具有相关性。即，下式表示视差映射。

(式1)

在此，σ1是像的向绝对扩展幅度变换的常数，对于任意图像取固定值。

此外，几何平均是用于获得点像分布Lt及Rt的扩展幅度之积的运算的一例。只要能够获得点像分布Lt及Rt的扩展幅度之积，则也可以利用其他运算。此外，通常，由于能够认为被摄物体是物点的集合，所以也能够将图像称为相对于各物点的点像的积分。由此，能够与上述的点像分布的模糊同样地考虑图像的模糊。

如图10所示，原本视差图像的左右的模糊与半开口的模糊幅度相等，几何平均中将半开口的模糊直接传递。另一方面算术平均中将全开口的模糊传递。若仅明示模糊幅度的传递关系来表现上述的几何平均的式子和算术平均的式子，则成为下式。

几何平均的情况下

(半开口模糊)＝(半开口模糊)×(半开口模糊)/(半开口模糊)

算术平均的情况下

(全开口模糊)＝(半开口模糊)×(全开口模糊)/(半开口模糊)

因此，左视差图像和右视差图像，在处于在彼此产生了视差的区域中随着半开口的模糊而视差分离的状态的情况下，若进行左右的非对称模糊修正，则在伴随视差分离的状态下，几何平均的情况下照旧残留与原先相同程度的模糊幅度。另一方面在算术平均的情况下，在伴随视差分离的状态下，分别具有全开口的模糊。虽然将左视差图像和右视差图像单纯重合得到的图像本应当看起来正好是2D图像，但若采用算术平均，则水平方向上两个全开口模糊重叠，横向上模糊扩大。其结果为，导致实施了过度的模糊修正。另一方面若采用几何平均，则由于2D图像仅将半开口的模糊重叠，所以作为整体可看到与通常的2D图像相同的在纵向和横向上全开口各向同性的模糊。因此，从模糊的传递的观点来看，对于左右的非对称模糊修正，将取几何平均得到的图像的模糊作为目标的情况下，能够提供优选的图像。假设若将取算术平均得到的模糊作为目标，则会提供在水平方向上滞板的不鲜明的图像，所以应当避免。

详细情况将在后叙述，若如上所述地修正模糊的左右非对称性，则也具有实际上也会同时解决3D图像中产生的明暗度问题的附带效果。

首先，在第1实施例中，说明对进行单眼立体摄像而既已生成立体图像的图像进行因视差像素导致的模糊的左右非对称性修正和明暗度修正的技术。接着，在第2实施例中，说明进行视差量调节的情况。最后，在第3实施例中，为了明示视差图像的模糊的左右非对称性修正、明暗度修正与视差消除这三者之间的关系，说明对单眼立体摄像装置的由单板传感器同时拍摄颜色和视差得到的图像而将颜色和视差两者共同复原的技术。

＜第1实施例＞

在本实施例中，对黑白的立体图像进行处理。在由RGB三色形成的彩色图像的情况下，只要对各色面进行与黑白图像相同的处理即可，因此省略说明。处理的顺序大体如下。

1)视差图像数据输入

2)平滑化图像的生成

3)3D图像修正用的基准图像的生成

4)增益分布数据的生成

5)视差图像的左右非对称模糊修正和明暗度修正

以下，按顺序进行说明。

1)视差图像数据输入

输入对普通被摄物体像拍摄得到的左视差图像Lt(x,y)和右视差图像Rt(x,y)。此时，各个视差图像为没有进行伽马修正的线性灰阶数据。另外，在处理彩色图像的情况下，期望是没有进行颜色处理的传感器光谱灵敏度原状态下的RGB数据。

2)平滑化图像的生成

以避免因左右非对称模糊修正和明暗度修正而消除视差的方式，对左视差图像和右视差图像在水平方向上施加与最大视差量相同程度或比其大的平滑化滤波器，进行将视差信息完全消除的处理。考虑一维平滑化滤波器和二维平滑化滤波器这两种情况。

左右的视差图像间的最大视差量由摄像元件的摄像面积、像素间距与光学系统之间的关系规定，对于像面整体，为水平方向的5％左右的数量级(order)。若水平方向为2000像素左右则为100像素左右。施加与其对应的平滑化滤波器。将滤波半径由σ₀表示，设定为最大视差量的数量级。可以说该滤波为局部平滑化。平滑化图像数据以其局部性的精度保持模糊特性和明暗度成分。

此外，最大视差量根据长焦透镜、标准透镜、广角透镜等的焦点距离和光圈值而不同，因此按各个光学条件预先设定σ₀的值为好。关于从图像自身求出的方法，例如，取式(1)的直方图，将赋予其最大值的直方图的横轴的自变量设定为σ₀为好。

在高斯模糊的情况下，以下式表示。在取局部平均的意义上，将左平滑化图像数据和右平滑化图像数据分别由＜L(x,y)＞、＜R(x,y)＞表示。

高斯模糊滤波器

一维平滑化的情况下

二维平滑化的情况下

此外，即使不能简单地使用高斯模糊，也可以以全部由相同的正滤波系数表示的均匀滤波器代用。

3)3D图像修正用的基准图像的生成

从消除了视差的左平滑化图像和消除了视差的右平滑化图像，生成用于表示模糊修正的目标和明暗度修正的基准等级的3D图像修正用的基准图像。将其由＜M(x)＞表示。关于该基准点的生成方法，从伴随模糊的左右非对称性修正的、模糊的传递的观点来看，取左右的几何平均。

此外，从模糊的左右非对称性修正的观点来看最期望上述的几何平均，但例如在明暗度修正中考虑与较亮的图像相应那样的运算的情况下，该基准图像成为下式。

<M(x)>＝<Lt(x)>·<Rt(x)>

此时，在下面的步骤4中定义的最终式成为取平方根的形式。

4)增益分布数据的生成

利用左右的平滑化图像和3D图像修正用的基准图像，生成用于修正左视差图像的增益分布数据g_L(x,y)和用于修正右视差图像的增益分布数据g_R(x,y)。由此，图像结构信息相抵消，生成作为模糊的非对称性修正而作用的成分和明暗度的倒数成分。在此，没有残存会给视差带来影响的成分。

5)视差图像的左右非对称模糊修正和明暗度修正

分别使用所求出的左增益分布数据和右增益分布数据，对左视差图像和右视差图像各自修正左右的非对称模糊。这也意味着同时进行明暗度修正。将修正左右的非对称模糊得到的左视差图像设为Lt'(x,y)，将修正左右的非对称模糊得到的右视差图像设为Rt'(x,y)。

Lt′(x，y)＝g_L(x，y)·Lt(x，y)

Rt′(x，y)＝g_R(x，y)·Rt(x，y)

由此，生成将根据视差像素的特性而生成的模糊的左右的非对称性修正后的立体图像，当对其进行立体显示时，能够得到模糊看起来自然的立体图像。另外，也能够同时得到不会引起基于明暗度的双眼竞争的自然的立体图像。也就是说，能够同时修正单眼立体摄像所固有的模糊的左右非对称性和明暗度，并且能够不损失视差地生成高精度的立体图像。

此外，明暗度不限于仅涉及光学系统的光瞳位置和光瞳直径的函数，即使在被摄物体极近的情况和无限远的情况下，也能够通过试验确认其形式不同。在本实施例中，由于从图像自身的局部数据计算出修正量，所以能够实现也去除了该影响的修正。

＜第2实施例＞

在本实施例中，说明进行视差量调节的情况。处理的顺序大体如下。此外，关于以下的1)视差图像数据输入、4)增益分布数据的生成，与第1实施例相同，因此省略说明。

1)视差图像数据输入

2)可变的平滑化图像的生成

3)3D图像修正用的基准图像的生成

4)增益分布数据的生成

5)视差图像的视差量调节

以下，按顺序进行说明。

2)可变的平滑化图像的生成

运算与第1实施例的步骤2相同。但是，将滤波直径σ₀的值设定成在第1实施例所示的值至0之间可变。

作为二维平滑化的方法，除第1实施例所示的在实际空间中进行滤波以外，还能够使用多重析像度转换。例如，可以构建高斯金字塔。图12是说明高斯金字塔的图。此外，关于高斯金字塔的情况请参考非专利文献1。在此简单进行说明。为了防止生成缩小图像时的折迭(aliasing)，进行5×5程度的平滑化，以1/2进行子采样而生成缩小图像Ims。若重复该过程则能够得到由一连串的缩小图像构成的高斯金字塔。将其级数设为M级。随着级数升高，析像度从高析像度转移至低析像度。

上述的可变的平滑化图像在自由改变M级的基础上，能够仅对最低析像度的缩小图像进行基于线性插补的放大直至实际析像度。通常，在单眼光瞳分割摄像方式中安装1000万像素程度的摄像元件的情况下，能够得到与最大视差相同程度的平滑化的是进行析像度变换直至5～6级程度时。在其以下，成为视差与消除效果共存的区域的平滑化图像。此外，也可以在水平方向和垂直方向上不以相同比例进行平滑化和下采样，而以不同比例进行平滑化和下采样。例如，可以通过与垂直方向相比留存水平方向的析像度，而生成纵长的缩小图像。

非专利文献1

P.J.BurtandE.H.Adelson,”TheLaplacianpyramidasacompactimagecode,”IEEETrans.Commun.,vol.COM-31,No.4,pp.532-540,1983.

5)视差图像的视差量调节

运算与第1实施例的步骤5相同。但是，残留有与步骤2中设定的滤波直径的大小成正比的视差量。因此，能够提供视差量调节机构。关系式如下表述。

视差量＝常数倍×(滤波直径/σ₀)

常数倍是该图像所具有的最大视差量。

如以上那样，在本实施例中，根据将多重析像的哪一层级的数据用于修正，能够随着修正效果来调节视差量。具体地说，若利用将没怎么进行平滑化而析像度高的缩小图像放大的平滑化数据进行修正，则残留视差成分，因此，模糊的非对称特性的改善效果提高。在该情况下，由于将彼此的视差混合而视差量减小。另一方面，若利用将析像度低的缩小图像放大的平滑化数据进行修正，则与利用将析像度高的缩小图像放大的平滑化数据进行修正的情况相比，相对于模糊的非对称性的改善效果小的模糊(模糊面积小)降低，但视差成分容易消除，因此能够抑制修正前后视差量的降低。此外，图像处理部可以根据由用户输入设定的滤波直径来调整视差量。图像处理部也可以根据预先设定的滤波直径来调整视差量。还可以通过用户从由菜单呈示的多个视差量选择一个来设定视差量。

＜第3实施例＞

列举拜耳型RGB稀疏的视差像素阵列为例，具体进行说明。图11是表示作为一例的实际空间的排列和k空间的图。示出使用将图11的上栏的排列图作为基本格子周期地配置而成的摄像元件的例子。对于其倒格子空间的频率析像区域，也将各颜色和各视差的组合示出。该排列是捕捉到单眼光瞳分割方式的仅在模糊了的被摄物体区域中产生视差这一性质，将视差像素的密度进行稀疏配置，且将剩余像素尽可能分配为无视差像素的构造的摄像元件。无视差像素和有视差像素均将拜耳阵列作为基本构造，为在左视差像素和右视差像素中均配置有R:G:B＝1:2:1的彩色滤光片的构造。即，注重由原信号捕捉的无视差的中间图像的析像力，通过视差调制将其高频成分重叠于左视差像素和右视差像素，由此得到高析像的立体图像。处理的顺序大体如下。

1)颜色·视差多重化马赛克图像数据输入

2)颜色·视差马赛克图像的全局·增益平衡修正

3)临时的视差图像的生成

4)临时的视差图像的左右非对称模糊修正(临时的视差图像的明暗度修正)

(区域·增益平衡修正)

5)基于左右的局部照度分布修正的、无视差颜色马赛克图像的生成

(局部·增益平衡修正)

6)无视差基准图像的生成

7)实际的视差图像的生成

8)向输出颜色空间的变换

以下，按顺序进行说明。

1)颜色·视差多重化马赛克图像数据输入

将图11的颜色和视差多重化后的单板式马赛克图像以M(x,y)表示。灰阶是基于A/D转换而输出的线性灰阶。

2)颜色·视差马赛克图像的全局·增益平衡修正

直接使用拍摄得到的被摄物体像，计算出无视差像素的像素值的图像整体的平均值左视差像素的像素值的图像整体的平均值右视差像素的像素值的图像整体的平均值与第1实施方式不同，存在三种信号电平。首先，作为左右间的基准点，以使信号电平调合为平均值的方式进行增益修正。此时基准点的获取方法可以考虑算术平均和几何平均这两种。然后，在左右平均后的信号电平与无视差像素的信号电平之间取几何平均，以使信号电平调合为该平均值的方式进行增益修正。对RGB各个颜色成分进行该过程。将各自所对应的平均值通过下式而改写。

为便于说明在马赛克图像M(x,y)中，

将R成分的无视差像素的信号面表示为R_{N_mosaic}(x,y)、

将R成分的左视差像素的信号面表示为R_{Lt_mosaic}(x,y)、

将R成分的右视差像素的信号面表示为R_{Rt_mosaic}(x,y)、

将G成分的左视差像素的信号面表示为G_{N_mosaic}(x,y)、

将G成分的无视差像素的信号面表示为G_{Lt_mosaic}(x,y)、

将G成分的右视差像素的信号面表示为G_{Rt_mosaic}(x,y)、

将B成分的无视差像素的信号面表示为B_{N_mosaic}(x,y)、

将B成分的左视差像素的信号面表示为B_{Lt_mosaic}(x,y)、

将B成分的右视差像素的信号面表示为B_{Rt_mosaic}(x,y)。

a)左右间取算术平均的情况下

平均值

对无视差像素的增益值

对左视差像素的增益值

对右视差像素的增益值

对无视差像素的全局·增益修正

对左视差像素的全局·增益修正

对右视差像素的全局·增益修正

b)左右间取几何平均的情况下

平均值

对无视差像素的增益值

对左视差像素的增益值

对右视差像素的增益值

对无视差像素的全局·增益修正

对左视差像素的全局·增益修正

对右视差像素的全局·增益修正

在全部无视差像素具有全开口的掩膜时采用算术平均型的方式。在全部无视差像素具有半开口的掩膜时采用几何平均型的方式。因此，在本实施例中采用算术平均型。这样，将无视差像素以一个增益系数修正、将左视差像素以一个增益系数修正、将右视差像素以一个增益系数修正得到的马赛克图像作为M'(x,y)而输出。

3)临时的视差图像的生成

生成空间频率析像度低的分辨率的临时的左视差图像和临时的右视差图像。进行仅聚集了左视差像素的G色面内的单纯平均插补。使用接近存在的像素值，与距离之比相应地进行线性插补。同样地，进行仅聚集了右视差像素的G色面内的单纯平均插补。同样地，进行仅聚集了无视差像素的G色面内的单纯平均插补。对R、G、B分别进行同样的处理。即，根据R_{Lt_mosaic}(x,y)生成R_Lt(x,y)，根据R_{Rt_mosaic}(x,y)生成R_Rt(x,y)，根据R_{N_mosaic}(x,y)生成R_N(x,y)，根据G_{Lt_mosaic}(x,y)生成G_Lt(x,y)，根据G_{Rt_mosaic}(x,y)生成G_Rt(x,y)，根据G_{N_mosaic}(x,y)生成G_N(x,y)，根据B_{Lt_mosaic}(x,y)生成B_Lt(x,y)，根据B_{Rt_mosaic}(x,y)生成G_Rt(x,y)，根据B_{N_mosaic}(x,y)生成G_N(x,y)。

临时的R成分的无视差图像：R_N(x,y)

临时的G成分的无视差图像：G_N(x,y)

临时的B成分的无视差图像：B_N(x,y)

临时的R成分的左视差图像：R_Lt(x,y)

临时的G成分的左视差图像：G_Lt(x,y)

临时的B成分的左视差图像：B_Lt(x,y)

临时的R成分的右视差图像：R_Rt(x,y)

临时的G成分的右视差图像：G_Rt(x,y)

临时的B成分的右视差图像：B_Rt(x,y)

此外，也可以在生成临时的无视差图像R_N(x,y)、G_N(x,y)、B_N(x,y)时，导入信号面内的方向判定而高精度地进行。

4)临时的视差图像的左右非对称模糊修正和明暗度修正

(区域·增益平衡修正)

对RGB各面进行第1实施例或第2实施例的明暗度修正。后述的步骤4的局部·增益平衡修正中，为了生成2D图像而完全消除视差并且同时也执行明暗度修正，相对于此，对生成3D图像所需要的视差图像进行残留视差那样的明暗度修正和左右非对称模糊修正。因此，进行局部区域范围内的平均亮度等级的整合。

此外，不对后述的步骤7的立体显示用的视差图像进行而对临时的视差图像进行增益平衡修正的原因在于，在通过增益整合而增益提升的区域中可能产生灰阶全白，但通过之后的步骤7的视差调制处理取入高析像的无视差图像的信息，能够将灰阶全白的影响全部有效地弥补。另外，在接下来的步骤5之前进行也存在理由。即，2D生成用的无视差马赛克图像边取入该左右非对称模糊修正后的临时的视差图像信息边生成。因此，由于对2D图像也会生成缓解了双线模糊的拜耳阵列图像，所以不仅是立体显示图像，也会产生对2D图像的模糊非对称性进行修正的效果。

5)基于左右的局部照度分布修正的、无视差颜色马赛克图像的生成

(局部·增益平衡修正)

接下来在与步骤1中进行的全局·增益修正相同的思考方式下，通过进行像素单位的局部·增益修正，首先使画面内的左视差像素与画面内的右视差像素的照度调合。通过该操作消除左右间的视差。在此基础上在取左右平均的信号面与无视差像素的摄像信号面之间进一步使照度调合。这样，生成全部像素中取增益整合后的新拜耳面。其等同于与平均值替换，因此能够生成视差消除了的拜耳面。将其记作M_N(x,y)。

该情况下，在作为各像素的基准点而整齐的目标值的设定方法中，对于消除左右间的视差的方法，也存在选择算术平均的方法和选择几何平均的方法这两种方法。在全部无视差像素具有全开口的掩膜面积时，为了使左右间消除了视差的被摄物体像的模糊幅度与全开口的模糊幅度一致而需要选择算术平均型。另一方面，在全部无视差像素具有半开口的掩膜面积时，为了使左右间消除了视差的被摄物体像的模糊幅度与半开口的模糊幅度一致而需要选择几何平均型。

而且，关于在左右间消除了视差的信号面与无视差像素的摄像信号面之间取平均的操作，由于两者既已被调合为具有相同模糊幅度的被摄物体像，所以需要保存其模糊幅度。因此，此时必须共通地取几何平均。以下列举其具体式。

a)左右间取算数平均的情况下

各像素的平均值

对无视差像素的各像素的增益值

对左视差像素的各像素的增益值

对右视差像素的各像素的增益值

对无视差像素的各像素的局部·增益修正

$R_N(x,y)\&CenterDot;g_{R_N}(x,y)=m_R(x,y)$

$G_N(x,y)\&CenterDot;g_{G_N}(x,y)=m_G(x,y)$

$B_N(x,y)\&CenterDot;g_{B_N}(x,y)=m_B(x,y)$

对左视差像素的各像素的局部·增益修正

对右视差像素的各像素的局部·增益修正

b)左右间取几何平均的情况下

各像素的平均值

对无视差像素的各像素的增益值

对左视差像素的各像素的增益值

对右视差像素的各像素的增益值

对无视差像素的各像素的局部·增益修正

$R_N(x,y)\&CenterDot;g_{R_N}(x,y)=m_R(x,y)$

$G_N(x,y)\&CenterDot;g_{G_N}(x,y)=m_G(x,y)$

$B_N(x,y)\&CenterDot;g_{B_N}(x,y)=m_B(x,y)$

对左视差像素的各像素的局部·增益修正

对右视差像素的各像素的局部·增益修正

像这样将对左视点的图像和右视点的图像的平均值进一步与无视差的基准视点的图像取平均值而得到的像素值作为新的无视差像素值，将拜耳面的数据改写，输出无视差的拜耳面的图像M_N(x,y)。

6)无视差基准图像的生成

使用公知的拜耳插补技术(逆马赛克处理)。例如，请参考本申请的同一发明人的USP8,259,213。该图像能够作为通常的高析像的2D图像直接打印输出而使用。

7)实际的视差图像的生成

使用步骤3中生成的析像力低的临时的左视差的彩色图像R_Lt(x,y)、G_Lt(x,y)、B_Lt(x,y)和步骤5中作为中间处理而生成的析像力高的无视差的彩色图像R_N(x,y)、G_N(x,y)、B_N(x,y)，生成实际输出的析像力高的左视差的彩色图像R'_Lt(x,y)、G'_Lt(x,y)、B'_Lt(x,y)。同样地，使用步骤3中生成的析像力低的临时的右视差的彩色图像R_Rt(x,y)、G_Rt(x,y)、B_Rt(x,y)和步骤5中作为中间处理而生成的析像力高的无视差的彩色图像R_N(x,y)、G_N(x,y)、B_N(x,y)，生成实际输出的析像力高的右视差的彩色图像R'_Rt(x,y)、G'_Rt(x,y)、B'_Rt(x,y)。

作为视差调制的方式，考虑取算术平均为基准点的方法和取几何平均为基准点的方法这两种方法。无论哪一方法均能够得到视差调制效果，但在摄像元件的无视差像素的开口掩膜为全开口时采用以算术平均为基准点的方式，在无视差像素的开口掩膜与有视差像素为相同的半开口时采用以几何平均为基准点的方式。因此，在本实施例中采用以算术平均为基准点的方式。

a)以算术平均为基准点的视差调制

左视差调制

右视差调制

b)以几何平均为基准点的视差调制

左视差调制

右视差调制

将上式改写，则

左视差调制

右视差调制

8)向输出颜色空间的变换

对这样得到的高析像的无视差的中间彩色图像R_N(x,y)、G_N(x,y)、B_N(x,y)和高析像的左视差的彩色图像R_Lt(x,y)、G_Lt(x,y)、B_Lt(x,y)、高析像的右视差的彩色图像R_Rt(x,y)、G_Rt(x,y)、B_Rt(x,y)，分别从传感器的分光特性的相机RGB向标准的sRGB颜色空间进行颜色矩阵变换和伽马变换，并作为输出颜色空间的图像而输出。

对上述说明的过程仅抽出关于模糊的非对称性修正及增益修正与视差量之间的关系的部分并再次进行概括。为了便于说明，仅讨论作为增益修正的基准点而取几何平均的情况。

在局部·增益平衡修正中，为了生成2D图像，同时进行Lt图像与Rt图像之间的增益平衡整合和视差消除，并导入了2D图像明暗度修正。作为其核心的式子对左视差图像和右视差图像分别进行以下的增益修正。

另一方面，从2D图像通过视差调制生成3D图像的过程为，作为其核心的式子对无视差图像进行以下的增益修正。

即，局部·增益平衡修正的式子与视差调制的式子为倒数关系，并伴随着视差消除。

而且，对3D图像进行模糊的左右非对称性修正和明暗度修正的过程，即，关于区域·增益平衡修正为，作为其核心的式子对视差图像进行以下的增益修正。

其起到通过取更大区域的局部平均而不丧失视差信息、且不丧失模糊特性的信息和明暗度信息地进行抽取的作用。

上述的三个过程，能够说是利用根据单眼立体摄像中的模糊与视差一一对应的关系导出的固有性质的运算。

在以上的关于第3实施例的说明中，对在左右间消除了视差的信号面与无视差像素的摄像信号面之间取平均的操作，在将模糊幅度设为共通的目的下使用了几何平均。在计算无视差像素的像素值与左右的视差像素的平均值之间的几何平均的情况下，对该像素值的加权和对该平均值的加权的分配是均等的。另一方面，视差像素的数量少于无视差像素的数量。而且，视差图像的析像力低于无视差图像的析像力。如上所述，例如作为无视差图像的R_N、B_N的奈奎斯特界限性能是将kx＝[±π/(2a),±π/(2a)]、ky＝[±π/(2a),±π/(2a)]结合而成的区域，与之相对，作为视差图像的G_Lt、G_Rt的奈奎斯特界限性能是将kx＝[±π/(4a),±π/(4a)]、ky＝[±π/(4a),±π/(4a)]结合而成的区域。因此，若使针对无视差像素的像素值和针对左右的视差像素的平均值的加权的分配均等，则得到的图像的析像力由于视差图像的析像力的影响而整体降低。由此，需要设法尽可能接近无视差图像的析像力。因此，考虑摄像元件上的像素排列中的无视差像素与视差像素的密度比并取几何平均为好。具体地说，第3实施例中使用的无视差像素(N)、左视差像素(Lt)与右视差像素(Rt)之比为N：Lt：Rt＝6：1：1，即，N：(Lt+Rt)＝3：1，因此，对无视差图像赋予3/4次幂的加权，对视差图像赋予1/4次幂的加权，成为重视密度高的无视差图像的分配。

如上所述，在消除左右间的视差的方法中，存在选择算术平均的方法和选择几何平均的方法这两种。在全部无视差像素具有全开口的掩膜面积的情况下，为了使在左右间消除了视差的被摄物体像的模糊幅度与全开口的模糊幅度一致而选择算术平均型为好。以下的a)示出选择了算术平均型的情况。

a)左右间取算术平均的情况下

各像素的平均值

对无视差像素的各像素的增益值

对左视差像素的各像素的增益值

对右视差像素的各像素的增益值

另一方面，在全部无视差像素具有半开口的掩膜面积时，可以为了使在左右间消除了视差的被摄物体像的模糊幅度与半开口的模糊幅度一致而选择几何平均型。以下的b)示出选择了几何平均型的情况。

b)左右间取几何平均的情况下

各像素的平均值

对无视差像素的各像素的增益值

对左视差像素的各像素的增益值

对右视差像素的各像素的增益值

另外，在进行视差调制时，也能够取将摄像元件上的像素排列中的各视差像素彼此之间的RGB的密度比考虑在内的几何平均。即，在左视差像素彼此之间为R：G：B＝1：2：1，在右视差像素彼此之间也为R：G：B＝1：2：1，因此对基于R成分的视差调制赋予1/4次幂的加权，对基于G成分的视差调制赋予1/2次幂的加权，对基于B成分的视差调制赋予1/4次幂的加权，采用重视基于密度高的G成分的视差调制的分配。以下的a)示出以算术平均为基准点的视差调制。

a)以算术平均为基准点的视差调制

左视差调制

右视差调制

以下的b)示出以几何平均为基准点的视差调制。

b)以几何平均为基准点的视差调制

左视差调制

右视差调制

将上式改写，则

左视差调制

右视差调制

＜补充＞

对于第3实施例的排列，若注意第1实施例与第2实施例的关系则可知将第2实施例的视差控制机构组合，因此省略说明。

也能够使个人计算机等设备作为承担图像数据生成部230、平滑化数据生成部231、目标图像数据生成部232、增益修正部233的功能的图像处理装置而发挥功能。图像处理装置可以从相机等其他装置取入视差图像数据。在该情况下，图像数据生成部230承担作为图像数据获取部的功能。此外，在图像数据生成部230自己生成视差图像数据的情况下，也能够说是通过自我生成而获取视差图像数据。图像处理装置不限于个人计算机，能够采用各种各样的方式。例如，TV、移动电话、游戏机等具有显示部、或与显示部连接的设备均能够为图像处理装置。此外，在以上的说明中，存在图像是指图像数据的情况，也存在图像是指遵照格式展开而可视化的被摄物体像其本身的情况。

[第2实施方式]

图13是说明本发明的实施方式的数码相机10的结构的图。数码相机50具有作为摄影光学系统的摄影透镜60，将沿着光轴61入射的被摄物体光束向摄像元件400引导。摄影透镜60可以是能够相对于数码相机50装拆的可更换式透镜。数码相机50具有摄像元件400、控制部501、A/D转换电路502、存储器503、驱动部504、图像处理部505、存储卡IF507、操作部508、显示部509及LCD驱动电路510。

此外，如图所示，将与朝向摄像元件400的光轴61平行的方向定为+Z轴方向，将在与Z轴正交的平面中朝向纸面内的方向定为+X轴方向，将朝向纸面上方的方向定为+Y轴方向。与摄影取景的关系为，X轴为水平方向，Y轴为垂直方向。

摄影透镜60由多个光学透镜组构成，使来自场景的被摄物体光束在其焦点面附近成像。此外，在图13中为了便于说明，以配置在光瞳附近的假想的1枚透镜为代表来表示摄影透镜60。

摄像元件400配置在摄影透镜60的焦点面附近。摄像元件400是以二维方式配置有多个光电转换元件的例如CCD、CMOS传感器等图像传感器。摄像元件400由驱动部504定时控制，将在受光面上成像的被摄物体像转换成图像信号并向A/D转换电路502输出。向A/D转换电路502输出的图像信号包含左视点及右视点的图像信号。

A/D转换电路502将摄像元件400输出的图像信号转换成数字图像信号并向存储器503输出。图像处理部505将存储器503作为工作空间而实施各种图像处理，从而生成图像数据。尤其是，图像处理部505具有图像数据生成部530、一维投影数据生成部531、一维平滑化数据生成部532、一维基准数据生成部533及明暗度修正部534。

图像数据生成部530使用左视点及右视点的数字图像信号，生成与左视点对应的左视差图像数据和与右视点对应的右视差图像数据。关于左视差图像数据及右视差图像数据的生成的详细情况将在后叙述。

一维投影数据生成部531分别对左视差图像数据及右视差图像数据加上在与将左视点和右视点连接的直线方向、即视差方向正交的方向上排列的多个像素的像素值。由此，生成与左视差图像数据对应的左视点的一维投影数据、及与右视差图像数据对应的右视点的一维投影数据。

一维平滑化数据生成部532分别对左视点的一维投影数据及右视点的一维投影数据以最大视差量以上的采样幅度计算移动平均，由此生成左视点的一维平滑化数据及右视点的一维平滑化数据。左视点的一维平滑化数据及右视点的一维平滑化数据的生成的详细情况将在后叙述。

一维基准数据生成部533基于左视点的一维平滑化数据及右视点的一维平滑化数据来生成一维基准数据。具体地说，使用左视点的一维平滑化数据及右视点的一维平滑化数据所对应的各自的像素值的几何平均或算术平均来生成一维基准数据。一维基准数据的生成的详细情况将在后叙述。

明暗度修正部534使用一维基准数据相对于左视点的一维平滑化数据之比，来修正左视差图像数据。另外，使用一维基准数据相对于右视点的一维平滑化数据之比，来修正右视差图像数据。由此，能够得到明暗度修正后的左视差图像数据及右视差图像数据。

图像处理部505除此以外还承担根据所选择的图像格式来调整图像数据等的图像处理的普通功能。所生成的图像数据通过LCD驱动电路510而转换成显示信号，并显示在显示部509上。另外，记录在安装于存储卡IF507的存储卡520中。

一连串的摄影过程通过操作部508受理使用者的操作并向控制部501输出操作信号而开始。伴随摄影过程的AF、AE等各种动作由控制部501控制而执行。

在单眼光瞳分割摄像方式的数码相机中，除模糊的非对称性以外，还具有在左右的视差图像之间产生不同明暗度的问题。此外，在本说明书中，也将视差图像的明暗度记作视差明暗度。在WO2012/039019号公报中，记载了使用修正表来修正视差图像的明暗度的技术。具体地说，以修正视差图像的明暗度为目的，预先对均匀面进行拍摄，针对所有光学条件事前制成并存储用于修正的一维表。然后，在修正明暗度的情况下，读取相符的光学条件的修正表来进行明暗度修正。明暗度的状态依存于光学系统的光瞳位置(焦点距离)与光瞳直径(光圈值)而变化，因此对于使用修正表进行明暗度修正，需要针对这些全部条件预先设定数据。另外，在WO2012/039019号公报的实施方式中，假设在左视差图像和右视差图像中呈现左右反转的明暗度特性，通过灵活反转地使用一维表而削减了存储器。

在详细调查以单眼光瞳分割摄像方式生成的立体显示图像的明暗度的影响的过程中，判明了以下事实。

1)视差图像的明暗度具有光瞳直径越小(光圈值越大)而左右的明暗度差越大的倾向。

2)视差明暗度因视差像素的制造误差等的影响而通常在左视差图像与右视差图像之间为非对称。

3)当将没有修正视差明暗度的图像立体显示而观察时，在图像的端部附近会产生因右视差图像与左视差图像的亮度差异而导致的双眼竞争，会带来强烈的不协调感，对于长时间观察立体图像成为产生疲劳的原因。

详细研究了WO2012/039346所记载的的技术，其结果为，WO2012/039346的第1实施方式所记载的技术中，判明实际上与明暗度修正同时地，左视差图像(A图像)和右视差图像(B图像)分别丢失视差信息，即使要将它们显示为立体图像也仅会成为平面图像。即，若没有考虑明暗度修正与视差残留量的关系，则可能丧失立体效果自身。在第2实施方式中，设法将左视差图像(A图像)、右视差图像(B图像)和合成图像(C图像)全部平滑化，但由于该平滑化的定义含糊而不明确，所以可能导致与第1实施方式相同丧失视差而无法显示立体图像。因此，在第3实施方式中，记载了仅在显示平面图像时进行视差明暗度修正，在立体图像显示模式时不进行修正。即，在要利用普通摄影图像自身的信息来修正视差明暗度的影响的情况下，可能会丧失视差信息而无法生成立体图像自身。

另一方面，WO2012/039019的方法中，由于仅修正预先计算出的视差明暗度的特性，所以尽管不担心会丧失视差信息，但需要预先保持关于所有透镜的所有变焦位置和光圈值的数据。因此，现实中安装是非常困难的，存在即使完成安装也会耗费事前的劳力时间的问题。

在本实施方式中，说明鉴于这些状况，利用普通摄影图像自身的信息按每幅图像简单地修正视差明暗度，且不丧失作为立体图像的功能的用于立体显示的明暗度修正技术。尤其是，在第1至第3实施例中，说明对进行单眼立体摄像而既已生成立体图像的图像修正因视差像素导致的明暗度的技术。在第4实施例中，为了明示视差图像的明暗度修正与视差消除之间的关系，说明对单眼立体摄像装置中的由单板传感器同时拍摄颜色与视差得到的图像而将颜色和视差两者共同复原的技术。

＜模糊的各向同性化和视差消除＞

在本申请人的日本特愿2012-179044中详细记述了以下事实：对于视差像素中的水平方向与垂直方向之间产生的非对称模糊，通过在水平方向上施加平滑化滤波器而将模糊各向同性化，而成为看起来自然的模糊，并且随着该各向同性化的进展而视差减小，最终当完全各向同性化后，视差完全消除。即，随着水平方向的模糊通过水平方向的平滑化而接近垂直方向的模糊幅度，视差量减小，最终视差消除。换言之，随着从半开口的模糊幅度接近全开口的模糊幅度，从拍摄时的初期的视差量变化至视差零。因此，水平方向的平滑化程度能够用作视差量控制手段。有效灵活运用能够通过该水平方向的平滑化而使视差为零的事实。更详细地说，在水平方向上施加具有最大视差量以上的滤波幅度的固定的平滑化滤波器。由此，能够得到始终消除了视差的视差图像。

＜第1实施例＞

在本实施例中，说明对黑白的立体图像进行处理的情况。在由RGB三色形成的彩色图像的情况下，只要对各色面进行与黑白图像相同的处理即可，因此省略说明。处理的顺序大体如下。

1)视差图像数据输入

2)一维投影数据的生成

3)一维平滑化分布数据的生成

4)一维基准分布数据的生成

5)一维增益分布数据的生成

6)视差图像的明暗度修正

以下，按顺序进行说明。

1)视差图像数据输入

输入对普通被摄物体像拍摄得到的左视差图像Lt(x,y)和右视差图像Rt(x,y)。此时，各个视差图像为没有进行伽马修正的线性灰阶数据。另外，在处理彩色图像的情况下，期望是没有进行颜色处理的传感器光谱灵敏度原状态下的RGB数据。

2)一维投影数据的生成

对于仅适当提取包含于视差图像的明暗度信息，需要从普通被摄物体像的图像数据消除图像结构信息。另外，如上所述，由于不要因进行明暗度修正而消除视差，所以也需要使视差图像中包含的视差信息也丧失。在本步骤中，为了早期消除图像结构信息，采用对二维的视差图像沿垂直方向全部进行数据相加，并在水平方向上进行一维投影的方法。若将一维投影得到的数据取为将垂直方向的相加值除以数据数量得到的平均值，则得到噪声的起伏成分也得到抑制的一维投影数据。叙述一维投影数据的视差分布的状况，被摄物体像在某区域对焦，某区域为模糊区域而具有视差，因此垂直相加得到的一维投影数据以视差比最大视差量弱的杂乱的分布状态存在。

将左视差图像和右视差图像的一维投影数据分别以Lt(x)、Rt(x)表示。

Lt(x)＝∫Lt(x，y)dy/∫dy

Rt(x)＝∫Rt(x，y)dy/∫dy

3)一维平滑化分布数据的生成

接着，以不会因明暗度修正而消除视差的方式，对左一维投影数据和右一维投影数据在水平方向上施加比最大视差量大的平滑化滤波器，进行将视差信息完全消除的处理。由此，在平滑化后的一维投影数据中，主要包含在视差像素的微透镜的特性与其单眼透镜光学系统内的假想光瞳之间的关系下产生的、视差图像所固有的明暗度成分和一维投影图像的粗略的构成信息这两个信息。

左右的视差图像间的最大视差量由摄像元件的摄像面积、像素间距与光学系统之间的关系规定，对于像面整体，为水平方向的5％左右的数量级。若水平方向为2000像素左右则为100像素左右。施加与其对应的水平方向上的平滑化滤波器。将滤波半径以σ₀表示，设定为最大视差量的数量级。可以说该滤波为局部平滑化，平滑化后的一维投影数据以其局部性的精度保持明暗度成分。

在高斯模糊的情况下，以下式表示。在取局部平均的意义上，将左一维平滑化分布数据和右一维平滑化分布数据分别由＜L(x)＞、＜R(x)＞表示。

高斯模糊滤波器

水平方向的一维平滑化处理

此外，即使不能简单地使用高斯模糊，也可以以全部由相同的正滤波系数表示的均匀滤波器代用。

4)一维基准分布数据的生成

根据消除了视差的左一维平滑化分布数据和消除了视差的右一维平滑化分布数据生成用于表示明暗度修正的基准等级的一维基准分布数据。将一维基准分布数据由＜M(x)＞表示。该基准点的生成方法存在两种。一种是取左右的算术平均的方法，另一种是取左右的几何平均的方法。

取算术平均的情况下

取几何平均的情况下

5)一维增益分布数据的生成

利用左右的一维平滑化分布数据和一维基准分布数据，生成用于修正左视差图像的一维增益分布数据g_Lt(x)和用于修正右视差图像的一维增益分布数据g_Rt(x)。由此，生成图像结构信息相抵消的明暗度成分的倒数成分。

与一维基准分布数据的生成方法存在两种相应地，存在两种增益分布数据的生成方法。

取算术平均的情况下

取几何平均的情况下

6)视差图像的明暗度修正

分别使用所求出的左一维增益分布数据和右一维增益分布数据，对左视差图像和右视差图像分别进行明暗度修正。在各行中将一维数据全部共通使用，来修正二维数据。即，对y轴上的各点进行下述运算。将明暗度修正后的左视差图像设为Lt'(x,y)，将明暗度修正后的右视差图像设为Rt'(x，y)。

Lt′(x，y)＝g_Lt(x，y)·Lt(x，y)

Rt′(x，y)＝g_Rt(x，y)·Rt(x，y)

这样，生成对因视差像素的特性而产生的明暗度进行了修正的立体图像。当将其立体显示时，能够得到不会引起因明暗度而导致的双眼竞争的自然的立体图像。通过将根据光学条件而变动的明暗度特性从图像自身抽出，而能够提供简单且可靠的明暗度修正方法。即，能够利用普通摄影图像自身的信号信息，以简单的构成不丧失立体效果地对视差图像中产生的明暗度进行修正，从而生成自然的立体图像。

此外，通常明暗度特性在被摄物体极近的情况和无限远的情况下也不同。因此，明暗度也可能根据被摄物体像的配置关系而变化，但实际上明暗度成为问题的仅是缩小光圈的光学系统时。该情况下，可以认为景深较深，多个被摄物体处于与无限远焦点相同的状况，因此在本实施例的修正方法中也能够提供充分且有益的立体图像的明暗度修正。另外，对于相关联的多个左右的视差图像、例如通过连拍拍摄得到的多个左右的视差图像，只要对至少某一左右的视差图像进行一次明暗度修正即可。可以不对其他左右的视差图像进行明暗度修正，也可以将该某一明暗度修正中使用的增益分布数据直接利用来进行明暗度修正。由此，能够降低关于明暗度修正的处理负荷。另外，还可以仅对相关联的多个左右的视差图像中的、由用户输入等预先设定的左右的视差图像进行明暗度修正。

图14是说明明暗度修正的一例的图。图14的(a)是表示在显示部209上显示的摄影图像的图。图14的(b)是表示明暗度修正前的左视差图像及右视差图像的图。在图14中，阴影线的密度表示亮度的程度。在视差图像中，产生因像素的角度依存性而导致的明暗度。因此，如图14的(b)所示，左视差图像及右视差图像分别在左端部分和右端部分处亮度不同。图中，在左视差图像中，右端部分比左端部分亮，与之相对，在右视差图像中，左端部分比右端部分亮。另外，视差明暗度在左视差图像和右视差图像中不是对称的。即，右视差图像中的左右两端的亮度之差大于左视差图像中的左右两端的亮度之差。

图14的(c)是表示明暗度修正后的左视差图像及右视差图像的图。如图所示，通过明暗度修正，左视差图像的左端的亮度与右视差图像的左端的亮度大致相同。同样地，左视差图像的右端的亮度与右视差图像的右端的亮度也大致相同。像这样，由于能够减轻左视差图像及右视差图像的对应部分处的明度的差异，所以能够减轻立体观看时的不快感。

＜第2实施例＞

说明在计算步骤5的一维增益分布数据时利用拟合函数的情况。与第1实施例的不同之处仅在于，增加对步骤5的一维增益分布数据进一步加工而求出的过程，因此仅记述该部分。处理的顺序与第1实施例相同。

5)一维增益分布数据的生成

第1实施例中求出的一维增益分布数据g_Lt(x)和g_Rt(x)考虑到了排除普通图像结构，但在输入的普通被摄物体的视差图像以极高灵敏度拍摄的情况下，可能依然残存噪声的起伏成分。另外，在由于普通被摄物体像中包含极亮区域而导致仅在一方的视差图像中亮度等级饱和的情况下，有时无法恰当排除图像结构信息。在这样的情况下，为了使明暗度修正恰当地作用，也进行从一维增益分布数据强制排除图像结构信息的处理。具体地说，利用明暗度具有能够以始终平缓的函数拟合这样的特性。图15是说明函数拟合的图。图15的上侧示出F11的情况，下侧示出F1.4的情况。在各图中，横轴表示水平方向的像素位置，纵轴表示信号电平。另外，在各图中，示出仅取出均匀图像的一行得到的明暗度的举动状况、和将其以4次函数拟合得到的数据的状况。若对第1实施例中得到的一维增益分布数据进行函数拟合，则得到图像结构信息被完全强制排除的增益分布数据。可以认为由于原来的明暗度能够以4次函数表示，所以增益分布也能够以4次函数近似。

g_Lt(x)＝a_L+b_Lx+c_Lx²+d_Lx³+e_Lx⁴

g_Rt(x)＝a_R+b_Rx+c_Rx²+d_Rx³+e_Rx⁴

在此，常数a、b、c、d、e分别为拟合系数。通过最小自乘法求出系数。当进行拟合时，能够可靠地将图像结构信息排除并且也排除噪声的起伏。

这样，使用通过拟合函数近似得到的一维增益分布数据，在步骤6中进行明暗度修正。

＜第3实施例＞

在第1实施例和第2实施例中，将输入图像的析像度以原始状态处理，但如第2实施例所述，明暗度信号是在图像整体中平缓地变化的成分。因此，即使将输入图像落于例如360×240像素这样的缩略(thumbnail)图像的析像度也能够充分地得到其信息。若将输入图像的坐标轴设为(x,y)，将缩略图像的坐标轴以(x',y')表示，则在缩略图像的缩小率为1/α倍(α＞1)且将采样的开始位置以(x₀,y₀)表示时，以下关系成立。

x＝αx'+x₀,

y＝αy'+y₀。

因而，在缩略图像的像素位置(x',y')上，只要进行与第1实施例或第2实施例相同的运算，并在此基础上，仅在最后的步骤6中的明暗度修正的执行时，使用关于上述x的变量转换进行运算即可。

能够通过上述那样的缩略图像进行的第1实施例和第2实施例的方法，可以说是非常适合硬件处理的简单的处理。其原因在于，实际的视差图像在直至由流水线生成之间的等待时间期间，以缩略图像完成至步骤5的处理，能够在视差图像以流水线流来的同时执行步骤6的处理。另外，步骤1的一维投影的考虑方法能够产生更进一步适于硬件的处理。在硬件中实际析像度中的垂直方向的滤波器抽头数长的大规模平滑化需要线存储器，因此通常大多困难，与之相对，本实施例中，缩略尺寸下的处理容易进行，且平滑化限于水平方向。

＜第4实施例＞

列举拜耳型RGB稀疏的视差像素阵列为例具体进行说明。在此，说明使用将图11的上栏的排列图作为基本格子周期地配置而成的摄像元件的例子。图11的排列的特征如既已叙述那样。处理的顺序大体如下。

1)颜色·视差多重化马赛克图像数据输入

2)颜色·视差马赛克图像的全局·增益平衡修正

3)临时的视差图像的生成

4)基于左右的局部照度分布修正的、无视差颜色马赛克图像的生成

(局部·增益平衡修正)

5)无视差基准图像的生成

6)实际的视差图像的生成

7)视差图像的明暗度修正

8)向输出颜色空间的变换

以下，按顺序进行说明。

1)颜色·视差多重化马赛克图像数据输入

将图11的颜色和视差多重化后的单板式马赛克图像以M(x,y)表示。灰阶是通过A/D转换而输出的线性灰阶。

2)颜色·视差黑白图像的全局·增益平衡修正

直接使用拍摄得到的被摄物体像，计算出无视差像素的像素值的图像整体的平均值左视差像素的像素值的图像整体的平均值右视差像素的像素值的图像整体的平均值与第1实施方式不同，存在三种信号电平。首先，作为左右间的基准点，以使信号电平调合为平均值的方式进行增益修正。此时基准点的获取方法可以考虑算术平均和几何平均这两种。然后，在左右平均后的信号电平与无视差像素的信号电平之间取几何平均，以使信号电平调合为该平均值的方式进行增益修正。对RGB各个颜色成分进行该过程。将各自所对应的平均值通过下式而改写。

为便于说明，在马赛克图像M(x,y)中，

将R成分的无视差像素的信号面表示为R_{N_mosaic}(x,y)，

将R成分的左视差像素的信号面表示为R_{Lt_mosaic}(x,y)，

将R成分的右视差像素的信号面表示为R_{Rt_mosaic}(x,y)，

将G成分的左视差像素的信号面表示为G_{N_mosaic}(x,y)，

将G成分的无视差像素的信号面表示为G_{Lt_mosaic}(x,y)，

将G成分的右视差像素的信号面表示为G_{Rt_mosaic}(x,y)，

将B成分的无视差像素的信号面表示为B_{N_mosaic}(x,y)，

将B成分的左视差像素的信号面表示为B_{Lt_mosaic}(x,y)，

将B成分的右视差像素的信号面表示为B_{Rt_mosaic}(x,y)。

a)左右间取算术平均的情况下

平均值

对无视差像素的增益值

对左视差像素的增益值

对右视差像素的增益值

对无视差像素的全局·增益修正

对左视差像素的全局·增益修正

对右视差像素的全局·增益修正

b)左右间取几何平均的情况下

平均值

对无视差像素的增益值

对左视差像素的增益值

对右视差像素的增益值

对无视差像素的全局·增益修正

对左视差像素的全局·增益修正

对右视差像素的全局·增益修正

在全部无视差像素具有全开口的掩膜时采用算术平均型的方式。在全部无视差像素具有半开口的掩膜时采用几何平均型的方式。因此，在本实施例中采用算术平均型。这样，将无视差像素以一个增益系数修正、将左视差像素以一个增益系数修正、将右视差像素以一个增益系数修正得到的马赛克图像作为M'(x,y)而输出。

3)临时的视差图像的生成

生成空间频率析像度低的分辨率的临时的左视差图像和临时的右视差图像。进行仅聚集了左视差像素的G色面内的单纯平均插补。使用接近存在的像素值，与距离之比相应地进行线性插补。同样地，进行仅聚集了右视差像素的G色面内的单纯平均插补。同样地，进行仅聚集了无视差像素的G色面内的单纯平均插补。对R、G、B分别进行相同的处理。即，根据R_{Lt_mosaic}(x,y)生成R_Lt(x,y)，根据R_{Rt_mosaic}(x,y)生成R_Rt(x,y)，根据R_{N_mosaic}(x,y)生成R_N(x,y)，根据G_{Lt_mosaic}(x,y)生成G_Lt(x,y)，根据G_{Rt_mosaic}(x,y)生成G_Rt(x,y)，根据G_{N_mosaic}(x,y)生成G_N(x,y)，根据B_{Lt_mosaic}(x,y)生成B_Lt(x,y)，根据B_{Rt_mosaic}(x,y)生成G_Rt(x,y)，根据B_{N_mosaic}(x,y)生成G_N(x,y)。

临时的R成分的无视差图像：R_N(x,y)

临时的G成分的无视差图像：G_N(x,y)

临时的B成分的无视差图像：B_N(x,y)

临时的R成分的左视差图像：R_Lt(x,y)

临时的G成分的左视差图像：G_Lt(x,y)

临时的B成分的左视差图像：B_Lt(x,y)

临时的R成分的右视差图像：R_Rt(x,y)

临时的G成分的右视差图像：G_Rt(x,y)

临时的B成分的右视差图像：B_Rt(x,y)

此外，也可以在生成临时的无视差图像R_N(x,y)、G_N(x,y)、B_N(x,y)时，导入信号面内的方向判定而高精度地进行。

4)基于左右的照度分布修正的、无视差颜色马赛克图像的生成

(局部·增益平衡修正)

接下来在与步骤1中进行的全局·增益修正相同的思考方式下，通过进行像素单位的局部·增益修正，首先使画面内的左视差像素与画面内的右视差像素的照度调合。通过该操作消除左右间的视差。在此基础上在取左右平均的信号面与无视差像素的摄像信号面之间进一步使照度调合。这样，生成全部像素中取增益整合后的新拜耳面。其等同于与平均值替换，能够生成视差消除了的拜耳面。将其记作M_N(x,y)。

该情况下，在作为各像素的基准点而整齐的目标值的设定方法中，对于消除左右间的视差的方法，也存在选择算术平均的方法和选择几何平均的方法这两种方法。在全部无视差像素具有全开口的掩膜面积时，为了使左右间消除了视差的被摄物体像的模糊幅度与全开口的模糊幅度一致而需要选择算术平均型。另一方面，在全部无视差像素具有半开口的掩膜面积时，为了使左右间消除了视差的被摄物体像的模糊幅度与半开口的模糊幅度一致而需要选择几何平均型。

而且，关于在左右间消除了视差的信号面与无视差像素的摄像信号面之间取平均的操作，由于两者既已被调合为具有相同模糊幅度的被摄物体像，所以需要保存其模糊幅度。因此，此时必须共通地取几何平均。以下列举其具体式。

a)左右间取算数平均的情况下

各像素的平均值

对无视差像素的各像素的增益值

对左视差像素的各像素的增益值

对右视差像素的各像素的增益值

对无视差像素的各像素的局部·增益修正

$R_N(x,y)\&CenterDot;g_{R_N}(x,y)=m_R(x,y)$

$G_N(x,y)\&CenterDot;g_{G_N}(x,y)=m_G(x,y)$

$B_N(x,y)\&CenterDot;g_{B_N}(x,y)=m_B(x,y)$

对左视差像素的各像素的局部·增益修正

对右视差像素的各像素的局部·增益修正

b)左右间取几何平均的情况下

各像素的平均值

对无视差像素的各像素的增益值

对左视差像素的各像素的增益值

对右视差像素的各像素的增益值

对无视差像素的各像素的局部·增益修正

$R_N(x,y)\&CenterDot;g_{R_N}(x,y)=m_R(x,y)$

$G_N(x,y)\&CenterDot;g_{G_N}(x,y)=m_G(x,y)$

$B_N(x,y)\&CenterDot;g_{B_N}(x,y)=m_B(x,y)$

对左视差像素的各像素的局部·增益修正

对右视差像素的各像素的局部·增益修正

像这样将对左视点的图像和右视点的图像的平均值进一步与无视差的基准视点的图像取平均值而得到的像素值作为新的无视差像素值，将拜耳面的数据改写，输出无视差的拜耳面的图像M_N(x,y)。

5)无视差基准图像的生成

使用公知的拜耳插补技术(逆马赛克处理)。例如，请参考本申请的同一发明人的USP8,259,213。这样生成的无视差基准图像通过步骤4的局部·增益修正而进行了明暗度修正，因此生成将视差图像的左右区域产生的明暗度的影响排除了的2D图像。该图像能够作为通常的高析像的2D图像直接打印输出而使用。

6)实际的视差图像的生成

使用步骤3中生成的析像力低的临时的左视差的彩色图像R_Lt(x,y)、G_Lt(x,y)、B_Lt(x,y)和步骤5中作为中间处理而生成的析像力高的无视差的彩色图像R_N(x,y)、G_N(x,y)、B_N(x,y)，生成实际输出的析像力高的左视差的彩色图像R'_Lt(x,y)、G'_Lt(x,y)、B'_Lt(x,y)。同样地，使用步骤3中生成的析像力低的临时的右视差的彩色图像R_Rt(x,y)、G_Rt(x,y)、B_Rt(x,y)和步骤5中作为中间处理而生成的析像力高的无视差的彩色图像R_N(x,y)、G_N(x,y)、B_N(x,y)，生成实际输出的析像力高的右视差的彩色图像R'_Rt(x,y)、G'_Rt(x,y)、B'_Rt(x,y)。

作为视差调制的方式，考虑取算术平均为基准点的方法和取几何平均为基准点的方法这两种方法。无论哪一方法均能够得到视差调制效果，但在摄像元件的无视差像素的开口掩膜为全开口时选择以算术平均为基准点的方式，在无视差像素的开口掩膜与有视差像素为相同的半开口时采用以几何平均为基准点的方式。因此，在本实施例中采用以算术平均为基准点的方式。

a)以算术平均为基准点的视差调制

左视差调制

右视差调制

b)以几何平均为基准点的视差调制

左视差调制

右视差调制

将上式改写，则

左视差调制

右视差调制

7)视差图像的明暗度修正

由于视差调制前的低析像的视差图像没有进行明暗度修正，所以即使通过局部·增益平衡修正从高析像的无视差图像去除了明暗度的影响，在通过视差调制而生成的高析像的视差图像(即步骤6在求出的视差图像)中，也会再次产生明暗度。因此，对RGB各面进行第1实施例、第2实施例或第3实施例的明暗度修正。

8)向输出颜色空间的变换

对这样得到的高析像的无视差的中间彩色图像R_N(x,y)、G_N(x,y)、B_N(x,y)和高析像的左视差的彩色图像R_Lt(x,y)、G_Lt(x,y)、B_Lt(x,y)、高析像的右视差的彩色图像R_Rt(x,y)、G_Rt(x,y)、B_Rt(x,y)，分别从传感器的分光特性的相机RGB向标准的sRGB颜色空间进行颜色矩阵变换和伽马变换，并作为输出颜色空间的图像而输出。

对上述说明的过程仅抽出关于增益修正与视差量之间的关系的部分并再次进行概括。为了便于理解，仅讨论作为增益修正的基准点而取几何平均的情况。

在局部·增益平衡修正中，以生成2D图像为目的，同时进行Lt图像与Rt图像之间的增益平衡整合和视差消除，并导入了2D图像明暗度修正。作为其核心的式子是对左视差图像和右视差图像分别进行以下的增益修正的式子。

另一方面从2D图像通过视差调制生成3D图像的过程中，作为其核心的式子是对无视差图像进行以下的增益修正的式子。

即，局部·增益平衡修正的式子与视差调制的式子为倒数关系，并伴随着视差消除。

而且，在对3D图像进行明暗度修正的过程中，作为其核心的式子是对视差图像进行以下的增益修正的式子。

上述的式子起到通过取局部平均而不丧失视差信息、且不丧失明暗度信息地进行抽取的作用。

上述的三个过程，能够说是利用根据单眼立体摄像中的模糊与视差一一对应的关系导出的固有性质的运算。

在以上的关于第4实施例的说明中，对在左右间消除了视差的信号面与无视差像素的摄像信号面之间取平均的操作，在将模糊幅度设为共通的目的下使用了几何平均。在计算无视差像素的像素值与左右的视差像素的平均值之间的几何平均的情况下，对该像素值的加权和对该平均值的加权的分配是均等的。另一方面，视差像素的数量少于无视差像素的数量。而且，视差图像的析像力低于无视差图像的析像力。如上所述，例如作为无视差图像的R_N、B_N的奈奎斯特界限性能是将kx＝[±π/(2a),±π/(2a)]、ky＝[±π/(2a),±π/(2a)]结合而成的区域，与之相对，作为视差图像的G_Lt、G_Rt的奈奎斯特界限性能是将kx＝[±π/(4a),±π/(4a)]、ky＝[±π/(4a),±π/(4a)]结合而成的区域。因此，若使针对无视差像素的像素值和针对左右的视差像素的平均值的加权的分配均等，则得到的图像的析像力由于视差图像的析像力的影响而整体降低。由此，需要设法尽可能接近无视差图像的析像力。因此，考虑摄像元件上的像素排列中的无视差像素与视差像素的密度比并取几何平均为好。具体地说，第4实施例中使用的无视差像素(N)、左视差像素(Lt)与右视差像素(Rt)之比为N：Lt：Rt＝6：1：1，即，N：(Lt+Rt)＝3：1，因此，对无视差图像赋予3/4次幂的加权，对视差图像赋予1/4次幂的加权，成为重视密度高的无视差图像的分配。

如上所述，在消除左右间的视差的方法中，存在选择算术平均的方法和选择几何平均的方法这两种。在全部无视差像素具有全开口的掩膜面积的情况下，为了使在左右间消除了视差的被摄物体像的模糊幅度与全开口的模糊幅度一致而选择算术平均型为好。以下的a)示出选择了算术平均型的情况。

a)左右间取算术平均的情况下

各像素的平均值

对无视差像素的各像素的增益值

对左视差像素的各像素的增益值

对右视差像素的各像素的增益值

另一方面，在全部无视差像素具有半开口的掩膜面积时，为了使左右间消除了视差的被摄物体像的模糊幅度与半开口的模糊幅度一致而选择几何平均型为好。以下的b)示出选择了几何平均型的情况。

b)左右间取几何平均的情况下

各像素的平均值

对无视差像素的各像素的增益值

对左视差像素的各像素的增益值

对右视差像素的各像素的增益值

另外，在进行视差调制时，也能够取将摄像元件上的像素排列中的各视差像素彼此之间的RGB的密度比考虑在内的几何平均。即，在左视差像素彼此之间为R：G：B＝1：2：1，在右视差像素彼此之间也为R：G：B＝1：2：1，因此对基于R成分的视差调制赋予1/4次幂的加权，对基于G成分的视差调制赋予1/2次幂的加权，对基于B成分的视差调制赋予1/4次幂的加权，采用重视基于密度高的G成分的视差调制的分配。以下的a)示出以算术平均为基准点的视差调制。

a)以算术平均为基准点的视差调制

左视差调制

右视差调制

以下的b)示出以几何平均为基准点的视差调制。

b)以几何平均为基准点的视差调制

左视差调制

右视差调制

将上式改写，则

左视差调制

右视差调制

此外，在第4实施例中，说明了以适于第3实施例的最后记述的硬件的方式，在最后的步骤7中对高析像的视差图像进行视差图像的明暗度修正。但是，为了通过软件处理得到更高品质的图像，也可以将视差图像的明暗度修正置入步骤3与步骤4之间，对临时的视差像素进行明暗度修正。由此，起到将明暗度修正的增益提升中产生的灰阶全白由步骤6的视差调制弥补的效果。

＜补充＞

对将以上说明的明暗度修正适用于动态图像的情况进行说明。在输入图像为动态图像的情况下，能够对一幅幅帧图像进行第3实施例那样的运算。在上述的实施例中，采取了不会对被摄物体的图像结构和噪声等带来影响的多个稳定化方案。但是，若期望动态图像对于明暗度修正的时间轴更稳定化的方案，则也需要考虑如下。在动态图像摄影中，相机侧的动作缓慢地移近、移离，或使光圈值缓慢地变化而进行拍摄的情况是普遍的。即，作为立体图像的明暗度分布的变化要因的光瞳位置和光瞳直径缓慢变化。在动态图像中大多在场景检查的最初配置I图片(picture)，中间配置P图片、B图片。因此，可以从一个I图片到下一I图片的近前的帧为止的期间，将第3实施例中求出的步骤5的一维增益分布数据相对于时间轴方向缓慢地进行函数拟合。

也能够使个人计算机等设备作为承担图像数据生成部530、一维投影数据生成部531、一维平滑化数据生成部532、一维基准数据生成部533、明暗度修正部534的功能的图像处理装置而发挥功能。图像处理装置可以从相机等其他装置取入视差图像数据。该情况下，图像数据生成部530承担作为图像数据获取部的作用。此外，图像数据生成部530自己产生视差图像数据的情况下，也能够说是通过自我生成而获取视差图像数据。图像处理装置不限于个人计算机，能够采用各种各样的方式。例如，TV、移动电话、游戏机等具有显示部、或与显示部连接的设备均能够为图像处理装置。此外，在以上的说明中，存在图像是指图像数据的情况，也存在图像是指遵照格式展开而可视化的被摄物体像其本身的情况。

另外，在上述的各实施方式中，作为基于单眼式的光瞳分割的视差信息的获取方法，也可以考虑以下那样的变形例。

1)使单眼透镜的入射光通过棱镜以光强度平分的方式向两个方向分离，通过分别仅铺满单侧视差像素的左视差摄像元件和右视差摄像元件来进行双板式摄像。由此，能够使各像素具有右视差像素值和左视差像素值这两种信息。

2)作为单眼透镜的结构，能够将与图4所示的假想光瞳相当的光圈交替插入右侧和左侧，对于通常的无视差像素的黑白摄像元件，以两次曝光按序获取左视差图像和右视差图像。

以上，使用实施方式说明了本发明，但本发明的技术范围不限定于上述实施方式记载的范围。对于本领域技术人员来说可以明确能够对上述实施方式施加多种变更或改良。从权利要求书可知，施加这样的变更或改良后的方式也能够包含于本发明的技术范围。

附图标记说明

10数码相机，20摄影透镜，21光轴，50数码相机，60摄影透镜，61光轴，100摄像元件，101微透镜，102彩色滤光片，103开口掩膜，104开口部，105布线层，106布线，107开口，108光电转换元件，109基板，201控制部，202A/D转换电路，203存储器，204驱动部，205图像处理部，207存储卡IF，208操作部，209显示部，210LCD驱动电路，220存储卡，230图像数据生成部，231平滑化数据生成部，232目标图像数据生成部，233增益修正部，322中心线，400摄像元件，501控制部，502A/D转换电路，503存储器，504驱动部，505图像处理部，507存储卡IF，508操作部，509显示部，510LCD驱动电路，520存储卡，530图像数据生成部，531一维投影数据生成部，532一维平滑化数据生成部，533一维基准数据生成部，534明暗度修正部，1801分布曲线，1802分布曲线，1803分布曲线，1804分布曲线，1805分布曲线，1806合成分布曲线，1807分布曲线，1808分布曲线，1809合成分布曲线。

Claims (33)

1.一种图像处理装置，其特征在于，具有：

输入通过一个光学系统对全部光束中的从彼此不同的区域通过的部分光束的被摄物体像进行拍摄而得到的第1视点方向的图像和第2视点方向的图像的至少两个视差图像的机构；

对所述第1视点方向的图像和所述第2视点方向的图像分别至少在将第1视点和第2视点连接的方向上施加平滑化滤波器，由此分别生成第1平滑化图像和第2平滑化图像的机构；

生成由基于所述第1平滑化图像的值与所述第2平滑化图像的值之积所得到的值构成的基准图像的机构；

通过将所述基准图像的值除以所述第1平滑化图像的值来生成第1增益分布数据的机构；

基于所述第1增益分布数据对所述第1视点方向的图像进行各像素的增益修正的机构；以及

将进行所述增益修正后的第1视点方向的图像作为用于立体显示的视差图像而输出的机构，

所述平滑化滤波器是具有与在所述第1视点方向的图像与所述第2视点方向的图像之间产生的视差量为相同程度的滤波直径的进行平滑化的滤波器。

2.如权利要求1所述的图像处理装置，其特征在于，还具有：

通过将所述基准图像的值除以所述第2平滑化图像的值来生成第2增益分布数据的机构；

基于所述第2增益分布数据对所述第2视点方向的图像进行各像素的增益修正的机构；

将进行所述增益修正后的第1视点方向的图像与进行所述增益修正后的第2视点方向的图像合并并作为用于立体显示的视差图像而输出的机构。

3.如权利要求1所述的图像处理装置，其特征在于，

所述基准图像由取所述第1平滑化图像的值与所述第2平滑化图像的值的几何平均而得到的值构成。

4.如权利要求1所述的图像处理装置，其特征在于，

在具有获取第1视点方向的临时的视差图像和第2视点方向的临时的视差图像、且以比所述临时的视差图像分别高的高析像获取第1视点方向与第2视点方向之间的基准方向的基准图像，并使用所述第1视点方向的临时的视差图像、所述第2视点方向的临时的视差图像和所述基准图像生成第1视点方向的高析像的视差图像和第2视点方向的高析像的视差图像的机构时，

作为所述第1视点方向的图像而输入所述第1视点方向的临时的视差图像，作为所述第2视点方向的图像而输入所述第2视点方向的临时的视差图像。

5.一种图像处理装置，其特征在于，具有：

输入通过一个光学系统对全部光束中的从彼此不同的区域通过的部分光束的被摄物体像进行拍摄而得到的第1视点方向的图像和第2视点方向的图像的至少两个视差图像的机构；

对所述第1视点方向的图像和所述第2视点方向的图像分别至少在将第1视点和第2视点连接的方向上施加平滑化滤波器，由此分别生成第1平滑化图像和第2平滑化图像的机构；

基于所述第1平滑化图像和所述第2平滑化图像来生成基准图像的机构；

通过将所述基准图像的值除以所述第1平滑化图像的值来生成第1增益分布数据的机构；

通过将所述基准图像的值除以所述第2平滑化图像的值来生成第2增益分布数据的机构；

基于所述第1增益分布数据对所述第1视点方向的图像进行各像素的增益修正的机构；

基于所述第2增益分布数据对所述第2视点方向的图像进行各像素的增益修正的机构；

将进行所述增益修正后的第1视点方向的图像和进行所述增益修正后的第2视点方向的图像合并并作为用于立体显示的视差图像而输出的机构；以及

通过使所述平滑化滤波器的滤波直径可变来调节所述用于立体显示的视差图像之间的视差量的机构，

使所述滤波直径在消除视差时缩向零、在保存视差时与在所述输入图像的两个视差像素之间能够产生的最大视差量为相同程度或扩大至其以上。

6.如权利要求5所述的图像处理装置，其特征在于，

所述基准图像由基于所述第1平滑化图像的值与所述第2平滑化图像的值之积所得到的值构成。

7.如权利要求6所述的图像处理装置，其特征在于，

所述基准图像由取所述第1平滑化图像的值与所述第2平滑化图像的值的几何平均而得到的值构成。

8.如权利要求5所述的图像处理装置，其特征在于，

在具有获取第1视点方向的临时的视差图像和第2视点方向的临时的视差图像、且以比所述临时的视差图像分别高的高析像获取第1视点方向与第2视点方向之间的基准方向的基准图像，并使用所述第1视点方向的临时的视差图像、所述第2视点方向的临时的视差图像和所述基准图像生成第1视点方向的高析像的视差图像和第2视点方向的高析像的视差图像的机构时，

作为所述第1视点方向的图像而输入所述第1视点方向的临时的视差图像，作为所述第2视点方向的图像而输入所述第2视点方向的临时的视差图像。

9.一种图像处理装置，其特征在于，具有：

图像数据获取部，其获取通过至少一部分共通的光学系统而获取的第1视点所对应的第1图像数据、和第2视点所对应的第2图像数据；

平滑化数据生成部，其分别对所述第1图像数据及所述第2图像数据，以将由所述第1图像数据及所述第2图像数据表示的像分别相对于视差方向平滑化的方式进行滤波，由此生成第1平滑化数据及第2平滑化数据；

目标图像数据生成部，其使用所述第1平滑化数据和所述第2平滑化数据所对应的各个像素值的几何平均来生成目标图像数据；以及

增益修正部，其使用所述目标图像数据相对于所述第1平滑化数据之比来修正所述第1图像数据。

10.如权利要求9所述的图像处理装置，其特征在于，

所述增益修正部使用所述目标图像数据相对于所述第2平滑化数据之比来修正所述第2图像数据。

11.如权利要求9或10所述的图像处理装置，其特征在于，

所述平滑化数据生成部将在所述第1图像数据与所述第2图像数据之间产生的视差量作为采样幅度来进行平滑化。

12.如权利要求9至11中任一项所述的图像处理装置，其特征在于，

所述图像数据获取部获取作为基准方向的第3视点所对应的基准图像数据，

具有高析像图像数据生成部，其使用所述第1图像数据、所述第2图像数据和所述基准图像数据来生成高析像基准图像数据，使用所述高析像基准图像数据和修正后的所述第1图像数据来生成高析像第1图像数据，使用所述高析像基准图像数据和修正后的所述第2图像数据来生成高析像第2图像数据。

13.一种图像处理装置，其特征在于，具有：

图像数据获取部，其获取通过至少一部分共通的光学系统而获取的第1视点所对应的第1图像数据、和第2视点所对应的第2图像数据；

平滑化数据生成部，其分别对所述第1图像数据及所述第2图像数据，以将由所述第1图像数据及所述第2图像数据表示的像分别相对于视差方向平滑化的方式进行滤波，由此生成第1平滑化数据及第2平滑化数据；

目标图像数据生成部，其基于所述第1平滑化数据和所述第2平滑化数据来生成目标图像数据；

增益修正部，其使用所述目标图像数据相对于所述第1平滑化数据之比来修正所述第1图像数据，并且使用所述目标图像数据相对于所述第2平滑化数据之比来修正所述第2图像数据；以及

视差量调整部，其通过调整所述平滑化的采样幅度，来调整基于所述增益修正部修正后的所述第1图像数据与所述第2图像数据之间的视差量。

14.如权利要求13所述的图像处理装置，其特征在于，

所述目标图像数据生成部使用所述第1平滑化数据和所述第2平滑化数据所对应的各个像素值的几何平均来生成目标图像数据。

15.如权利要求13或14所述的图像处理装置，其特征在于，

在维持由所述图像数据获取部获取的时刻下的所述视差量的情况下，所述视差量调整部将所述采样幅度调整为所述第1图像数据和所述第2图像数据的最大视差量以上，在减小由所述图像数据获取部获取的时刻下的所述视差量的情况下，将所述采样幅度调整为不足所述第1图像数据和所述第2图像数据的最大视差量。

16.如权利要求13至15中任一项所述的图像处理装置，其特征在于，

所述图像数据获取部获取作为基准方向的第3视点所对应的基准图像数据，

具有高析像图像数据生成部，其使用所述第1图像数据、所述第2图像数据和所述基准图像数据来生成高析像基准图像数据，使用所述高析像基准图像数据和修正后的所述第1图像数据来生成高析像第1图像数据，使用所述高析像基准图像数据和修正后的所述第2图像数据来生成高析像第2图像数据。

17.一种摄像装置，具有：

摄像元件；和

权利要求9至16中任一项所述的图像处理装置，

所述摄像装置的特征在于，

所述第1图像数据及所述第2图像数据基于所述摄像元件的输出而生成。

18.一种图像处理程序，其特征在于，使计算机执行以下步骤：

图像数据获取步骤，获取通过至少一部分共通的光学系统而获取的第1视点所对应的第1图像数据、和第2视点所对应的第2图像数据；

平滑化数据生成步骤，分别对所述第1图像数据及所述第2图像数据，以将由所述第1图像数据及所述第2图像数据表示的像分别相对于视差方向平滑化的方式进行滤波，由此生成第1平滑化数据及第2平滑化数据；

目标图像数据生成步骤，使用所述第1平滑化数据和所述第2平滑化数据所对应的各个像素值的几何平均来生成目标图像数据；以及

增益修正步骤，使用所述目标图像数据相对于所述第1平滑化数据之比来修正所述第1图像数据。

19.一种图像处理装置，其特征在于，具有：

输入通过一个光学系统对全部光束中的从彼此不同的区域通过的部分光束的被摄物体像进行拍摄而得到的第1视点方向的图像和第2视点方向的图像的至少两个视差图像的机构；

对所述第1视点方向的图像和所述第2视点方向的图像，分别将在连接第1视点和第2视点的x方向所正交的y方向上排列的多个像素的像素值相加，而分别生成一维投影后的第1视点方向的一维分布数据和第2视点方向的一维分布数据的机构；

对所述一维投影后的第1视点方向的一维分布数据和第2视点方向的一维分布数据分别施加一维的平滑化滤波器，由此分别生成第1一维平滑化分布数据和第2一维平滑化分布数据的机构；

基于所述第1一维平滑化分布数据和所述第2一维平滑化分布数据来求出其间的点而生成一维基准分布数据的机构；

通过将所述一维基准分布数据的值除以所述第1一维平滑化分布数据的值来生成第1一维增益分布数据的机构；

对所述第1视点方向的图像，将所述第1一维增益分布数据以各y坐标共通地使用，而分别进行该一维方向的增益修正的机构；以及

将进行所述增益修正后的第1视点方向的图像作为用于立体显示的视差图像而输出的机构，

所述一维的平滑化滤波器是在比所述第1视点方向的图像与所述第2视点方向的图像之间能够产生的最大视差量大的范围内进行平滑化的滤波器。

20.如权利要求19所述的图像处理装置，其特征在于，还具有：

通过将所述一维基准分布数据的值除以所述第2一维平滑化分布数据的值来生成第2一维增益分布数据的机构；

对所述第2视点方向的图像，将所述第2一维增益分布数据在各行中共通地使用，而分别进行该一维方向的增益修正的机构；以及

将进行所述增益修正后的第1视点方向的图像和进行所述增益修正后的第2视点方向的图像合并并作为用于立体显示的视差图像而输出的机构。

21.如权利要求20所述的图像处理装置，其特征在于，

生成所述第1一维增益分布数据的机构将所述得到的第1一维增益分布数据进一步进行函数拟合而以平缓的变化曲线近似，并将该拟合曲线作为用于进行第1视点方向的图像的增益修正的一维增益分布数据而使用，

生成所述第2一维增益分布数据的机构对所述得到的第2一维增益分布数据进一步进行函数拟合而以平缓的变化曲线近似，并将该拟合曲线作为用于进行第2视点方向的图像的增益修正的一维增益分布数据而使用。

22.如权利要求21所述的图像处理装置，其特征在于，

所述函数拟合通过4次多项式而近似。

23.如权利要求19所述的图像处理装置，其特征在于，

所述第1视点方向的图像和所述第2视点方向的图像是在所述光学系统的任意的光学条件下拍摄得到的任意的普通被摄物体图像。

24.如权利要求19至22中任一项所述的图像处理装置，其特征在于，

分别生成进行所述一维投影后的第1视点方向的一维数据和第2视点方向的一维分布数据的机构，作为输入图像而使用第1视点方向的图像的缩略图像和第2视点方向的图像的缩略图像。

25.如权利要求19所述的图像处理装置，其特征在于，

生成所述一维基准分布数据的机构，求出所述第1一维平滑化分布数据与所述第2一维平滑化分布数据的算术平均或几何平均。

26.一种图像处理装置，其特征在于，具有：

图像数据获取部，其获取通过至少一部分共通的光学系统而获取的第1视点所对应的第1图像数据、和第2视点所对应的第2图像数据；

一维投影数据生成部，其分别对所述第1图像数据及所述第2图像数据，将在与视差方向正交的方向上排列的多个像素的像素值相加，由此生成第1一维投影数据及第2一维投影数据；

一维平滑化数据生成部，其分别对所述第1一维投影数据及所述第2一维投影数据，以最大视差量以上的采样幅度计算出移动平均，由此生成第1一维平滑化数据及第2一维平滑化数据；

一维基准数据生成部，其基于所述第1一维平滑化数据和所述第2一维平滑化数据来生成一维基准数据；以及

明暗度修正部，其使用所述一维基准数据相对于所述第1一维平滑化数据之比对所述第1图像数据进行明暗度修正。

27.如权利要求26所述的图像处理装置，其特征在于，

所述明暗度修正部使用所述一维基准数据相对于所述第2一维平滑化数据之比对所述第2图像数据进行明暗度修正。

28.如权利要求27所述的图像处理装置，其特征在于，

所述一维基准数据生成部使用所述第1一维平滑化数据和所述第2一维平滑化数据所对应的各个像素值的算术平均或几何平均来生成所述一维基准数据。

29.如权利要求27或28所述的图像处理装置，其特征在于，

所述明暗度修正部使用函数拟合来生成所述一维基准数据相对于所述第1一维平滑化数据之比、及所述一维基准数据相对于所述第2一维平滑化数据之比。

30.如权利要求29所述的图像处理装置，其特征在于，

函数为4次多项式。

31.如权利要求26至30中任一项所述的图像处理装置，其特征在于，

所述图像数据获取部使由所述第1图像数据及所述第2图像数据表示的各个像的析像度降低，

所述一维投影数据生成部分别对表示析像度降低后的像的所述第1图像数据及所述第2图像数据，生成所述第1一维投影数据及所述第2一维投影数据。

32.一种摄像装置，具有：

摄像元件；和

权利要求26至31中任一项所述的图像处理装置，

所述摄像装置的特征在于，

所述第1图像数据及所述第2图像数据基于所述摄像元件的输出而生成。

33.一种图像处理程序，其特征在于，使计算机执行以下步骤：

图像数据获取步骤，获取通过至少一部分共通的光学系统而获取的第1视点所对应的第1图像数据、和第2视点所对应的第2图像数据；

一维投影数据生成步骤，分别对所述第1图像数据及所述第2图像数据，将在与视差方向正交的方向上排列的多个像素的像素值相加，由此生成第1一维投影数据及第2一维投影数据；

一维平滑化数据生成步骤，分别对所述第1一维投影数据及所述第2一维投影数据，以最大视差量以上的采样幅度计算出移动平均，由此生成第1一维平滑化数据及第2一维平滑化数据；

一维基准数据生成步骤，基于所述第1一维平滑化数据和所述第2一维平滑化数据来生成一维基准数据；以及

明暗度修正步骤，使用所述一维基准数据相对于所述第1一维平滑化数据之比对所述第1图像数据进行明暗度修正。