CN104185984B - 图像处理装置、摄像装置及图像处理程序 - Google Patents

Abstract

在构成被拍摄体像的颜色的特定颜色中，从与第一视点对应的第一视点彩色图像数据提取对象像素位置处的特定颜色的像素值，从与第二视点及第三视点对应的第二视点彩色图像数据及第三视点彩色图像数据提取各自的彩色图像数据的第一颜色成分和第二颜色成分的像素值，以下述方式算出第二视点彩色图像数据的新求出的特定颜色的像素值，即，使得第二视点的新求出的特定颜色的像素值和第一视点彩色图像数据的特定颜色的像素值之间的差，相对于第二视点彩色图像数据的第一颜色成分的像素值和第三视点彩色图像数据的第一颜色成分的像素值之间的差、以及第二视点彩色图像数据的第二颜色成分的像素值和第三视点彩色图像数据的第二颜色成分的像素值之间的差的和保持相关关系。

Description

图像处理装置、摄像装置及图像处理程序

技术领域

本发明涉及图像处理装置、摄像装置及图像处理程序。

背景技术

公知使用2个摄影光学系统取得由右眼用的图像和左眼用的图像构成的立体图像的立体摄像装置。这样的立体摄像装置是通过以一定间隔配置2个摄像光学系统，使拍摄同一被拍摄体而得到的2个图像产生视差。

[现有技术文献]

[专利文献]

[专利文献1]日本特开平8-47001号公报

为将右眼用的图像及左眼用的图像分别作为彩色图像取得，需要将与立体摄像装置的各摄影光学系统对应的输出图像作为彩色图像取得。

发明内容

本发明的第一方式的图像处理装置具有：像素值提取部，在构成被拍摄体像的颜色的多个颜色成分之一的X成分色中，从与捕捉被拍摄体像的多个视点之一的第一视点相对应的具有1X像素值的彩色图像数据，提取对象像素位置处的1X像素值，在多个颜色成分之一的A成分色中，从与不同于第一视点的第二视点及第三视点相对应的具有2A像素值及3A像素值的彩色图像数据，提取对象像素位置处的2A像素值及3A像素值，在多个颜色成分之一的与A成分色不同的B成分色中，从与第二视点及第三视点相对应的具有2B像素值及3B像素值的彩色图像数据，提取对象像素位置处的2B像素值及3B像素值；和算出部，以下述方式算出第二视点的2X像素值及第三点的3X像素值的至少任意一方，即，使得针对X成分色的第二视点的2X像素值或第三视点的3X像素值与1X像素值之差，相对于2A像素值与3A像素值之差加上2B像素值与3B像素值之差所得到的值保持相关关系。

本发明的第二方式的摄像装置是具有拍摄被拍摄体像的摄像元件和上述图像处理装置的摄像装置，其中，像素值提取部从摄像元件输出的与第一视点对应的具有1X像素值的彩色图像数据中提取第一像素值，从摄像元件输出的与第二视点及第三视点对应的具有2A像素值及3A像素值的彩色图像数据中提取2A像素值及3A像素值。

本发明的第三方式的图像处理程序使计算机执行如下步骤：第一提取步骤，在构成被拍摄体像的颜色的多个颜色成分之一的X成分色中，从与捕捉被拍摄体像的多个视点之一的第一视点相对应的具有1X像素值的彩色图像数据，提取对象像素位置处的1X像素值；第二提取步骤，在多个颜色成分之一的A成分色中，从与不同于第一视点的第二视点及第三视点相对应的具有2A像素值及3A像素值的彩色图像数据，提取对象像素位置处的2A像素值及3A像素值，在多个颜色成分之一的与A成分色不同的B成分色中，从与第二视点及第三视点相对应的具有2B像素值及3B像素值的彩色图像数据，提取对象像素位置处的2B像素值及3B像素值；算出步骤，以下述方式算出第二视点的2X像素值及第三视点的3X像素值的至少任意一方，即，使得针对X成分色的第二视点的2X像素值或第三视点的3X像素值与1X像素值之差，相对于2A像素值与3A像素值之差加上2B像素值与3B像素值之差所得到的值保持相关关系。

此外，上述发明的概要并没有列举出本发明所需要的所有特征。另外，这些特征组的子组合也包含于发明。

附图说明

图1是用于说明本发明的实施方式的数码相机的结构的图。

图2是用于说明本发明的实施方式的摄像元件的剖面结构的图。

图3是表示摄像元件的一部分经放大的情况的概要图。

图4是用于说明视差像素和被拍摄体的关系的概念图。

图5是用于说明生成视差图像的处理的概念图。

图6是用于说明拜耳阵列的图。

图7是用于说明第一实施例的重复图案110的排列的图。

图8是用于说明第一实施例的视差像素的像素间隔的关系的图。

图9是用于说明作为2D图像数据的G_N层数据、R_N层数据、B_N层数据的生成处理的例子的图。

图10是用于说明作为左视差图像数据的G_Lt层数据、B_Lt层数据、R_Lt层数据的生成处理的例子的图。

图11是用于说明作为右视差图像数据的G_Rt层数据、B_Rt层数据、R_Rt层数据的生成处理的例子的图。

图12是用于说明散焦的概念的图。

图13是用于说明视差像素散焦的概念的图。

图14是表示视差及像素和视差像素的光强度分布的图。

图15是用于说明从高清的2D图像数据生成高清的颜色视差层数据的生成处理的概念图。

图16是直到生成视差彩色图像数据的处理流程。

图17是用于说明开口形状的图。

图18是表示重复图案110的变化的一例的图。

图19是用于说明插值处理的图。

图20是用于说明散焦的概念的图。

图21是用于说明视差像素散焦的概念的图。

图22是表示作为一例的实空间的排列和k空间的图。

具体实施方式

以下，通过发明的实施方式说明本发明，但以下的实施方式并非限定权利要求书所述的发明。另外，实施方式中说明的特征的组合并非全部都是发明的解决手段所必须的。

作为图像处理装置及摄像装置的一个方式的本实施方式的数码相机能够对于1个场景通过一次拍摄而生成多个视点数的图像。将视点相互不同的各个图像称为视差图像。

＜第一实施方式＞

图1是用于说明本发明的实施方式的数码相机10的结构的图。数码相机10包括作为摄影光学系统的摄影镜头20，将沿光轴21入射的被拍摄体光束引导至摄像元件100。摄影镜头20也可以是相对于数码相机10能够装卸的更换式镜头。数码相机10包括：摄像元件100、控制部201、A/D转换电路202、存储器203、驱动部204、图像处理部205、存储卡IF207、操作部208、显示部209、LCD驱动电路210及AF传感器211。

此外，如图所示，将朝向摄像元件100的与光轴21平行的方向定为Z轴正方向，将在与Z轴垂直的平面中朝向纸面近前一侧的方向定为X轴正方向，将纸面的上方向定为Y轴正方向。在之后的几个图中，以图1的座标轴为基准显示座标轴，以便于理解各个图的朝向。

摄影镜头20由多个光学透镜组构成，使来自于场景的被拍摄体光束在其焦点面附近成像。另外，在图1中，为了便于说明摄影镜头20，以设置在光瞳附近的一个假想透镜代表性地进行表示。摄像元件100设置于摄影镜头20的焦点面附近。摄像元件100为二维地排列有多个光电转换元件的例如CCD(电荷藕合器件，Charge Coupled Device)、CMOS(互补金属氧化物半导体，Complementary Metal Oxide Semiconductor)传感器等图形传感器。摄像元件100由驱动部204进行定时控制，将受光面上成像的被拍摄体像转换成图像信号并输出给A/D转换电路202。

A/D转换电路202将由摄像元件100输出的图像信号转换成数字图像信号并输出到存储器203。图像处理部205将存储器203作为工作空间实施各种图像处理，并生成图像数据。尤其，图像处理部205具有从2D彩色图像数据及低分辨率的视差彩色图像数据的对象像素位置提取像素值的像素值提取部231、和使用所提取出的像素值算出对象像素位置处的作为高清的视差彩色图像数据的像素值的算出部233。其各自处理的详细情况在后面说明。

图像处理部205除此以外还负担根据所选择的图像格式调整图像数据等的图像处理的一般功能。所生成的图像数据通过LCD驱动电路210被转换成显示信号，并显示在显示部209。而且还存储到安装于存储卡IF207的存储卡220中。

AF传感器211是对被拍摄体空间设定有多个测距点的相位差传感器，在各个测距点处检测出被拍摄体像的散焦量。一系列的拍摄过程是从操作部208接收到用户的操作并向控制部201输出操作信号开始的。拍摄过程中附带的AF(Auto Focus，自动对焦)，AE(Automatic Exposure，自动曝光)等各种动作由控制部201控制执行。例如，控制部201解析AF传感器211的检测信号，执行使构成摄影镜头20一部分的聚焦透镜移动的对焦控制。

以下，关于摄像元件100的结构进行详细说明。图2是表示本发明的实施方式的摄像元件100的剖面的概要图。

摄像元件100被构成为从被拍摄体侧开始依次排列有微型透镜101、彩色滤光片102、开口掩模103、布线层105及光电转换元件108。光电转换元件108由用于将入射光转换为电信号的光电二极管构成。光电转换元件108在基板109的表面以二维方式排列有多个。

由光电转换元件108转换的图像信号以及控制光电转换元件108的控制信号等通过布线层105上设置的布线106进行收发。而且，具有与各个光电转换元件108一一对应设置的开口部104的开口掩模103与布线层相接触地设置。如后所述，使开口部104相对于各个相应的光电转换元件108偏移，并严格地确定了相对位置。通过具有该开口部104的开口掩模103的作用，在光电转换元件108所接收的被拍摄体光束上产生视差。

另一方面，在不产生视差的光电转换元件108上不存在开口掩模103。换言之，设置的开口掩模103所具有的开口部104并不限制于向相应的光电转换元件108入射的被拍摄体光束，而是使全部有效光束均穿过。虽然没有产生视差，但由于通过布线106所形成的开口107实质上规定了入射的被拍摄体光束，因此可以将布线106看做是使不产生视差的全部入射光束穿过的开口掩模。开口掩模103可以分别对应于各个光电转换元件108独立排列，也可以与彩色滤光片102的制造过程相同，对应于多个光电转换元件108统一形成。

彩色滤光片102设置于开口掩模103上。彩色滤光片102是分别与各个光电转换元件108一一对应设置、通过对各个光电转换元件108进行着色而使特定波段透过的滤波器。为了输出彩色图像，只要排列至少两种彼此不同的彩色滤光片即可，但为了获得更高画质的彩色图像，最好排列三种以上的彩色滤光片。例如，可以网格状地排列有使红色波段透过的红色滤光片(R滤波器)、使绿色波段透过的绿色滤光片(G滤波器)、以及使蓝色波段透过的蓝色滤光片(B滤波器)。有关具体的排列将在以后进行说明。

微型透镜101设置于彩色滤光片102上。微型透镜101是用于将入射的被拍摄体光束更多地引导至光电转换元件108的聚光透镜。微型透镜101分别与光电转换元件108一一对应设置。微型透镜101优选考虑摄影镜头20的光瞳中心与光电转换元件108的相对位置关系来移动其光轴，以使更多的被拍摄体光束被引导至光电转换元件108。进一步地，可以与开口掩模103的开口部104的位置共同调整设置位置，以使后述特定的被拍摄体光束更多地入射。

像这样，将与各个光电转换元件108一一对应设置的开口掩模103、彩色滤光片102及微型透镜101的一个单位称为像素。具体地，将设置有产生视差的开口掩模103的像素称为视差像素，将没有设置产生视差的开口掩模103的像素称为无视差像素。例如，当摄像元件100的有效像素区域为24mm×16mm左右时，像素数达到1200万个左右。

此外，当采用集光效率、光电转换效率较好的图形传感器时，也可以不设置微型透镜101。另外，当采用背面照射型图形传感器时，布线层105设置于光电转换元件108的相对侧。另外，如果使开口掩模103的开口部104具有颜色成分，则可以将彩色滤光片102与开口掩模103一体成形。

另外，在本实施方式中，开口掩模103和布线106分体地设置，但也可以由布线106承担视差像素中开口掩模103的功能。即，由布线106形成所规定的开口形状，通过该开口形状限制入射光束并仅将特定的部分光束导入光电转换元件108。该情况下，形成开口形状的布线106优选位于布线层105中最靠近光电转换元件108的一侧。

另外，开口掩模103也可以由与光电转换元件108重合设置的透射阻止膜形成。该情况下，开口掩模103例如依次层叠有SiN膜和SiO₂膜而成为透射阻止膜，并通过蚀刻除去与开口部104相当的区域而形成。

以下说明开口掩模103的开口部104与所产生的视差的关系。图3为摄像元件100的一部分经放大后的状态的示意图。此处，为了简化说明，暂不考虑有关彩色滤光片102的配色，后续内容再进行说明。在未提及彩色滤光片102的配色的以下说明中，可以认为是仅汇集了具有同色的彩色滤光片102的视差像素的图形传感器。因此，以下所说明的重复图案也可以被认为是同色的彩色滤光片102中的相邻像素。

如图3所示，开口掩模103的开口部104针对各个像素相对偏移设置。而且，在相邻像素的彼此之间，各个开口部104设置于彼此错位的位置。

在图中的例子中，根据开口部104相对于各个像素的位置的不同，预先准备有沿左右方向彼此偏移的六种开口掩模10。而且，在整个摄像元件100中二维地且周期性地排列有光电转换元件组，该光电转换元件组以分别具有从纸面左侧往右侧逐渐偏移的开口掩模103的六个视差像素为一组。

图4为说明视差像素与被拍摄体的关系的概念图。具体地，图4(a)表示在摄像元件100中在与摄影光轴21相垂直的中心处排列的重复图案110t的光电转换元件组，图4(b)示意性地表示在周围部分排列的重复图案110u的光电转换元件组。图4(a)、图4(b)中的被拍摄体30相对于摄影镜头20位于聚焦位置。图4(c)与图4(a)相对应地示意性地表示出当捕捉相对于摄影镜头20位于非聚焦位置的被拍摄体31时的关系。

首先说明由摄影镜头20捕捉处于聚焦状态下的被拍摄体30时，视差像素与被拍摄体的关系。被拍摄体光束穿过摄影镜头20的光瞳被引导至摄像元件100，但对被拍摄体光束透过的整个截面区域规定了六个部分区域Pa～Pf。而且，从放大图中也可以看出，例如构成重复图案110t、110u的光电转换元件组的纸面左端的像素中，对开口掩模103的开口部104f的位置进行了设定，以使只有从部分区域Pf射出的被拍摄体光束才能到达光电转换元件108。同样地，对于从此往右端的像素，也分别设定了开口部104e与部分区域Pe对应的位置、开口部104d与部分区域Pd对应的位置、开口部104c与部分区域Pc对应的位置、开口部104b与部分区域Pb对应的位置、开口部104a与部分区域Pa对应的位置。

换言之，例如根据由部分区域Pf与左端像素的相对位置关系定义的、从部分区域Pf射出的被拍摄体光束的主光线Rf的倾斜来设定开口部104f的位置。然后，当光电转换元件108经开口部104f接收到来自于位于聚焦位置的被拍摄体30的被拍摄体光束时，如虚线所示，该被拍摄体光束在光电转换元件108上成像。同样地，也可以说是对于往右端的像素，分别根据主光线Re的倾斜设定开口部104e的位置、根据主光线Rd的倾斜设定开口部104d的位置、根据主光线Rc的倾斜设定开口部104c的位置、根据主光线Rb的倾斜设定开口部104b的位置、根据主光线Ra的倾斜设定开口部104a的位置。

如图4(a)所示，在位于聚焦位置的被拍摄体30中，从与光轴21相交叉的被拍摄体30上的微小区域Ot放射的光束穿过摄影镜头20的光瞳到达构成重复图案110t的光电转换元件组的各个像素。即，构成重复图案110t的光电转换元件组的各个像素分别透过六个部分区域Pa～Pf接收到从一个微小区域Ot放射的光束。微小区域Ot具有与构成重复图案110t的光电转换元件组的各个像素的错位相对应程度的大小，但实质上能够近似于大致同一物点。同样地，如图4(b)所示，在位于聚焦位置的被拍摄体30中，从离开光轴21的被拍摄体30上的微小区域Ou放射的光束穿过摄影镜头20的光瞳到达构成重复图案110u的光电转换元件组的各个像素。即，构成重复图案110u的光电转换元件组的各个像素分别透过六个部分区域Pa～Pf接收到从一个微小区域Ou放射的光束。微小区域Ou也与微小区域Ot相同，具有与构成重复图案110u的光电转换元件组的各个像素的错位相对应程度的大小，但实质上能够近似于大致同一物点。

也就是说，只要被拍摄体30位于聚焦位置，对应于摄像元件100上的重复图案110的位置，光电转换元件组所捕捉到的微小区域各不相同，且构成光电转换元件组的各像素透过彼此不同的部分区域捕捉同一微小区域。而且，在各个重复图案110中，对应像素彼此之间接收来自于同一部分区域的被拍摄体光束。也就是说，在图中，例如重复图案110t、110u的各个左端像素均接收来自于同一部分区域Pf的被拍摄体光束。

在与摄影光轴21相垂直的中心处排列的重复图案110t中的、供左端像素接收来自于部分区域Pf的被拍摄体光束的开口部104f的位置与在周围部分排列的重复图案110u中的、供左端像素接收到来自于部分区域Pf的被拍摄体光束的开口部104f的位置严格来讲是不同的。然而，从功能的角度来看，在用于接收来自于部分区域Pf的被拍摄体光束的开口掩模这一点上，可以将他们作为同一种类开口掩模处理。因此，在图4的例子中，可以说在摄像元件100上排列的各个视差像素分别具有六种开口掩模之一。

以下说明由摄影镜头20捕捉处于非聚焦状态的被拍摄体31时，视差像素与被拍摄体的关系。在该情况下，来自于位于非聚焦位置的被拍摄体31的被拍摄体光束也透过摄影镜头20的光瞳的六个部分区域Pa～Pf到达摄像元件100。然而，来自于处于非聚焦位置的被拍摄体31的被拍摄体光束并不在光电转换元件108上成像，而是在其他位置成像。例如，如图4(c)所示，当被拍摄体31位于比被拍摄体30更加远离摄像元件100的位置时，被拍摄体光束在与光电转换元件108相比更靠近被拍摄体31侧成像。相反，当被拍摄体31位于比被拍摄体30更接近摄像元件100的位置时，被拍摄体光束在与光电转换元件108相比的被拍摄体31的相反侧成像。

因此，在位于非聚焦位置的被拍摄体31中，从微小区域Ot’放射的被拍摄体光束透过六个部分区域Pa～Pf中的任意一个，从而到达不同组的重复图案110中的对应像素。例如，如图4(c)的放大图所示，透过部分区域Pd的被拍摄体光束作为主光线Rd’入射到重复图案110t’中包含的具有开口部104d的光电转换元件108。而且，即使是从微小区域Ot’放射的被拍摄体光束，透过其他部分区域的被拍摄体光束也不会入射到重复图案110t’中包含的光电转换元件108，而是入射到其他重复图案中具有对应开口部的光电转换元件108。换言之，到达构成重复图案110t’的各光电转换元件108的被拍摄体光束是从被拍摄体31中互不相同的微小区域放射的被拍摄体光束。也就是说，以Rd’为主光线的被拍摄体光束入射到与开口部104d对应的108，以Ra+、Rb+、Rc+、Re+、Rf+为主光线的被拍摄体光束入射到与其他开口部对应的光电转换元件108，这些被拍摄体光束都是从被拍摄体31中互不相同的微小区域放射的被拍摄体光束。这种关系在图4(b)中排列在周围部分的重复图案110u中也是一样的。

这样，当把摄像元件100作为一个整体来看时，例如，由与开口部104a对应的光电转换元件108捕捉到的被拍摄体像A和由与开口部104d对应的光电转换元件108捕捉到的被拍摄体像D，如果是针对位于聚焦位置的被拍摄体的像，就不会彼此错位，而如果是针对位于非聚焦位置的被拍摄体的像，则会产生错位。而且，该错位根据位于非聚焦位置的被拍摄体相对于聚焦位置朝哪一侧以何种程度错位、或者根据部分区域Pa与部分区域Pd的距离来确定方向和量。也就是说，被拍摄体像A与被拍摄体像D彼此成为视差像。该关系对于其他开口部也是相同的，因此对应于开口部104a～104f形成六个视差像。

因此，在如此构成的各个重复图案110中，汇集彼此对应的像素的输出便得到视差图像。也就是说，接收到从六个部分区域Pa～Pf中的特定部分区域射出的被拍摄体光束的像素所进行的输出形成了视差图像。

图5为说明生成视差图像的处理的概念图。图中从左列开始依次表示：对开口部104f对应的视差像素的输出进行收集而生成的视差图像数据Im_f的生成样子、由开口部104e的输出形成的视差图像数据Im_e的生成样子、由开口部104d的输出形成的视差图像数据Im_d的生成样子、由开口部104c的输出形成的视差图像数据Im_c的生成样子、由开口部104b的输出形成的视差图像数据Im_b的生成样子、由开口部104a的输出形成的视差图像数据Im_a的生成样子。首先，对开口部104f的输出形成的视差图像数据Im_f的生成样子进行说明。

由以六个视差像素为一组的光电转换元件组构成的重复图案110排列在横一列上。因此，具有开口部104f的视差像素在除去了无视差像素的假想的摄像元件100上沿左右方向相隔6个像素，且沿上下方向连续存在。这些像素如上所述分别接收来自于各个不同微小区域的被拍摄体光束。因此，对这些视差像素的输出进行汇集排列后便得到视差图像。

然而，由于本实施方式中的摄像元件100的各像素为正方像素，仅进行单纯的汇集会造成横方向的像素数缩减到1/6，从而生成纵长形的图像数据。因此，通过实施插值处理在横方向变为六倍的像素数，从而生成视差图像数据Im_f作为原始长宽比的图像。然而，由于当初在插值处理前的视差图像数据是在横方向上缩减到1/6的图像，因此，横方向上的分辨率比纵方向上的分辨率低。也就是说，所生成的视差图像数据的数量与分辨率的提高呈相反关系。另外，关于在本实施方式中采用的具体的插值处理将在后说明。

同样地得到视差图像数据Im_e～视差图像数据Im_a。即，数码相机10能够生成在横方向上具有视差的六个视点的视差图像。

如上所述地说明了在具有6种从开口部的像素中心的错位时，各自的视差像素作为光瞳分割光学系统发挥作用而生成6个视点的视差像素的例子。这里主要说明的，是各个视差像素成像出视点各不不同的被拍摄体像，在不同种类的视差像素之间，在视点不同的像之间产生视差。

不仅存在视差像素的光瞳分割光学系统只是生成视差这样的事实，还存在生成视差是仅针对从聚焦位置偏移了的非聚焦位置处的模糊的被拍摄体像根据其非聚焦程度来生成视差这样的重要事实。

将该情况分成通常的无视差像素和2视差(左视差、右视差)的说明图如图20、图21(与图12、13、14对应)所示。通过了1个光学系统的光对于右视差像素来说成像出在光学系统的左侧具有假想光瞳这样的光学像，对于左视差像素来说成像出在光学系统的右侧具有假想光瞳这样的光学像。因此，聚焦位置的被拍摄体像的点像分布函数尖锐地成像，成像出不论通过哪个假想光瞳都具有同样尖锐的点像分布的、没有视差的被拍摄体像。另一方面，在聚焦位置前后模糊的被拍摄体位置的点像分布函数示出模糊幅度随着远离聚焦位置而扩大，并且成像的中心位置向左右分离开去，产生视差。对这两个分离的点像分布函数进行叠加合成的1个点像分布函数与成像出无视差像素的点像分布函数一致，其峰值位置位于通过假想光瞳分离成两个的光学像的点像分布函数的正中。

仅在该模糊中存在视差，模糊程度越大，视差量越大，在着眼于这样的重要事实的本实施方式中，关于输入了用于同时取得高分辨率的2D图像和3D图像的颜色、视差排列的情况的例子进行说明。

1.颜色、视差多重马赛克图像数据的输入

以下，关于彩色滤光片102和视差图像进行说明。图6是用于说明拜耳阵列的图。如图所示，拜耳阵列是将G滤波器分配到左上(Gb)和右下(Gr)的2像素、将R滤波器分配到左下的1像素、将B滤波器分配到右上的1像素的排列。

对于这样的彩色滤光片102的排列，根据将视差像素和无视差像素以怎样的周期分配给哪种颜色的像素，可设定庞大数量的重复图案110。只要汇集无视差像素的输出，就能够与通常的摄影图像同样地生成没有视差的摄影图像数据。因此，若相对地增加无视差像素的比例，则能够输出分辨率高的2D图像。该情况下，由于视差像素成为相对少的比例，所以，作为由多个视差图像构成的3D图像，画质降低。相反地，若增加视差像素的比例，则3D图像的画质提高，但由于无视差像素相对减少，所以会输出分辨率低的2D图像。若对RGB的像素都分配视差像素，则能够成为是3D图像且颜色再现性好的高品质的彩色图像数据。

理想的是，不论2D图像还是3D图像，都希望输出高分辨率、高品质的彩色图像数据。然而，在3D图像中，观察者感受到视差的图像区域是能够从使用图4、图12、图13、图14说明的视差产生原理理解出那样的、同一被拍摄体像相互错位的非聚焦区域。因此，可以说观察者感受到视差的图像区域对于已聚焦的主要被拍摄体来说高频成分少。于是，当生成3D图像时，在发生视差的区域中，只要存在高分辨率不那么高的图像数据就足够了。

关于已聚焦的图像区域，从2D图像数据切出，关于不聚焦的图像区域，切出3D图像数据，通过合成能够生成各自的视差图像数据。或者，以是高分辨率数据的2D图像数据为基础，加上3D图像数据的各像素中的相对的差，能够生成高分辨率的各自的视差图像数据，详细情况在后面说明。若以采用这样的图像处理为前提，则在摄像元件100中，视差像素的数量可以比无视差像素的数量少。换言之，即使视差像素相对少，也能够生成分辨率高的3D图像。

该情况下，为将3D图像生成为彩色图像，只要排列相互不同的至少2种彩色滤光片即可，但在本实施方式中，如使用图6说明的拜耳阵列那样，为得到更高画质，采用RGB三种彩色滤光片。尤其，在视差像素的数量相对少的本实施方式中，在视差像素中，对于各个种类的开口部104，包含设置有RGB这三种彩色滤光片的任意一种的全部组合。例如，若假定为开口部104比中心向左侧偏心的视差Lt像素和同样地向右侧偏心的视差Rt像素，则视差Lt像素包括具有R滤波器的像素、具有G滤波器的像素、具有B滤波器的像素，视差Rt像素包括具有R滤波器的像素、具有G滤波器的像素、具有B滤波器的像素。即，摄像元件100具有6种视差像素。从这样的摄像元件100输出的图像数据成为实现所谓的立体感的鲜艳的颜色视差图像数据的基础。此外，对于2种开口部组合2种彩色滤光片的情况下，摄像元件100具有4种视差像素。

图7是用于说明第一实施例中的重复图案110的排列的图。数码相机10的坐标系由X轴、Y轴、Z轴定义，在重复图案110内，以左端且上端的像素为基准向右方向定义为x轴，向下方向定义为y轴。第一实施例中的重复图案110由y轴方向具有4个、x轴方向具有4个的以4像素为基本单位的拜耳阵列的64像素构成。该重复图案110将由64像素构成的像素组作为一组，在上下左右周期性地排列摄像元件100的有效像素区域。即，摄像元件100将图中的粗线所示的重复图案110作为基本网格。此外，重复图案110内的像素用P_xy表示。例如，左上像素是P₁₁，右上像素是P₈₁。

第一实施例中的视差像素具有开口部104比中心向左侧偏心的视差Lt像素和同样地向右侧偏心的视差Rt像素这2种开口掩模103的任意一方。如图所示，视差像素如下所述地排列。

P₁₁…视差Lt像素+G滤波器(＝G_Lt)

P₅₁…视差Rt像素+G滤波器(＝G_Rt)

P₃₂…视差Lt像素+B滤波器(＝B_Lt)

P₆₃…视差Rt像素+R滤波器(＝R_Rt)

P₁₅…视差Rt像素+G滤波器(＝G_Rt)

P₅₅…视差Lt像素+G滤波器(＝G_Lt)

P₇₆…视差Rt像素+B滤波器(＝B_Rt)

P₂₇…视差Lt像素+R滤波器(＝R_Lt)

其他的像素是无视差像素、无视差像素+R滤波器(＝R_N)、无视差像素+G滤波器(＝G_N)、无视差像素+B滤波器(＝B_N)中的任意一方。

像这样，在基本网格中，优选包括由开口部和彩色滤光片的全部组合产生的视差像素，并且在比视差像素多的无视差像素中具有随机性地配置的排列。尤其，按各彩色滤光片分别计数的情况下，也优选无视差像素比视差像素多。第一实施例的情况下，对于G_N＝28个来说，G_Lt+G_Rt＝2+2＝4个，对于R_N＝14个来说，R_Lt+R_Rt＝2个，对于B_N＝14个来说，B_Lt+B_Rt＝2个。另外，如上所述，考虑到人类的视觉特性，具有G滤波器的视差像素及无视差像素比具有其他彩色滤光片的各像素多地排列。

换言之，对于视差像素来说，也具有R、G、B全部的颜色信息，由此，能够更高度地捕获准确的立体用的颜色分布构造。

该RGB比率无论对于右视差像素还是对于左视差像素还是对于无视差像素都采用与拜耳阵列相同的R：G：B＝1：2：1的结构。而且，使视差像素以疏密度尽可能相互分离地分布，以便无视差像素尽可能确保通常的拜耳阵列的空间分辨率。即，某颜色成分的相同的右视差像素彼此之间以及相同的左视差像素彼此之间，以等间隔保持各向同性地并列，并且某颜色成分的右视差像素和左视差像素之间的距离最远离地等间隔地并列。而且，忽略颜色成分的情况下的右视差像素彼此之间的距离以及忽略颜色成分的情况下的左视差像素彼此之间的距离尽可能分离地配置，能够均匀地取得视差信息。

此外，在实施例1中，无视差像素、左视差像素和右视差像素的像素数之比为N：Lt：Rt＝14：1：1，无视差像素的空间分辨率保持极其接近拜耳阵列的状态。而且，通过相互最远离地配置视差像素，无视差像素相邻从而没有同时丢失信息的担心，保持对包含奈奎斯特频率的高频成分的分辨性能。

图8是用于说明第一实施例中的视差像素的像素间隔的关系的图。在图中，排列9个(＝3×3)图7所示的重复图案110来表示。

如图所示，无论G_Lt像素的x轴方向上的间隔还是y轴方向上的间隔都是由G_Ltp表示的等间隔。另外，关于成对的G_Rt像素，无论x轴方向上的间隔还是y轴方向上的间隔都是由G_Rtp表示的等间隔，并且G_Rtp与G_Ltp相等。而且，在从G_Lt像素的位置朝向X、Y的一方向前进了G_Ltp的距离的位置，存在G_Rt像素。

同样地，无论R_Lt像素的x轴方向上的间隔还是y轴方向上的间隔都是由R_Ltp表示的等间隔。另外，关于成对的R_Rt像素，无论x轴方向上的间隔还是y轴方向上的间隔都是由R_Rtp表示的等间隔，并且R_Rtp与R_Ltp相等。而且，在从R_Lt像素的位置朝向X、Y两方向前进了R_Ltp的一半的距离的位置，存在R_Rt像素。

而且，无论B_Lt像素的x轴方向上的间隔还是y轴方向上的间隔都是由B_Ltp表示的等间隔。另外，关于成对的B_Rt像素，无论x轴方向上的间隔还是y轴方向上的间隔都是由B_Rtp表示的等间隔，并且B_Rtp与B_Ltp相等。而且，在从B_Lt像素的位置朝向X、Y两方向前进了B_Ltp的一半的距离的位置，存在B_Rt像素。

即，按彩色滤光片的种类来看，按开口掩模的各种类，被夹在与其他的开口掩模相对应的视差像素及无视差像素之间，对于二维方向的任意一方都等间隔地配置。换言之，在二维方向上各向同性且均等地配置。通过这样配置视差像素，在视差图像的输出时，在纵方向和横方向上清晰感不会不同，并且还能够减轻对2D图像的清晰感的不良影响。

将这样得到的颜色、视差像素排列的情况集中在图22，并且与该实空间排列对应的频率空间中的分辨率范围即分辨率也作为k空间图表示。波数k与频率f以k＝2πf的关系关联。设实空间的网格间隔为a时，表示其倒易空间的是k空间，分辨率范围由倒易空间的第一布里渊区域表示。(例如，参照与本申请人同一发明人的US2010/021853和日本专利第4239483号。)

观察图22时，摄像阶段中的疏的左视差像素和疏的右视差像素的分辨率比密的无视差像素低。相应地，密的无视差像素具有与拜耳阵列相当的分辨率。

因此，如下所述暂且对无视差像素进行插值，生成2D彩色图像R_N、G_N、B_N，而且，预先生成疏的左视差图像R_Lt、G_Lt、B_Lt和疏的右视差图像R_Rt、G_Rt、B_Rt。这样，能够从其中中间性地利用无视差像素，最终如下所述地在疏的视差图像中施加视差调制而得到密的左视差图像R'_Lt、G'_Lt、B'_Lt和密的右视差图像R'_Rt、G'_Rt、B'_Rt。

$R_{\mathrm{Lt}}^{\′}(x,y)=R_N(x,y)+\frac{R_{\mathrm{Lt}}(x,y)-R_{\mathrm{Rt}}(x,y)}{2}+\frac{G_{\mathrm{Lt}}(x,y)-G_{\mathrm{Rt}}(x,y)}{2}+\frac{B_{\mathrm{Lt}}(x,y)-B_{\mathrm{Rt}}(x,y)}{2}$

$G_{\mathrm{Lt}}^{\′}(x,y)=G_N(x,y)+\frac{R_{\mathrm{Lt}}(x,y)-R_{\mathrm{Rt}}(x,y)}{2}+\frac{G_{\mathrm{Lt}}(x,y)-G_{\mathrm{Rt}}(x,y)}{2}+\frac{B_{\mathrm{Lt}}(x,y)-B_{\mathrm{Rt}}(x,y)}{2}$

$B_{\mathrm{Lt}}^{\′}(x,y)=B_N(x,y)+\frac{R_{\mathrm{Lt}}(x,y)-R_{\mathrm{Rt}}(x,y)}{2}+\frac{G_{\mathrm{Lt}}(x,y)-G_{\mathrm{Rt}}(x,y)}{2}+\frac{B_{\mathrm{Lt}}(x,y)-B_{\mathrm{Rt}}(x,y)}{2}$

$R_{\mathrm{Rt}}^{\′}(x,y)=R_N(x,y)+\frac{R_{\mathrm{Rt}}(x,y)-R_{\mathrm{Lt}}(x,y)}{2}+\frac{G_{\mathrm{Rt}}(x,y)-G_{\mathrm{Lt}}(x,y)}{2}+\frac{B_{\mathrm{Rt}}(x,y)-B_{\mathrm{Lt}}(x,y)}{2}$

$G_{\mathrm{Rt}}^{\′}(x,y)=G_N(x,y)+\frac{R_{\mathrm{Rt}}(x,y)-R_{\mathrm{Lt}}(x,y)}{2}+\frac{G_{\mathrm{Rt}}(x,y)-G_{\mathrm{Lt}}(x,y)}{2}+\frac{B_{\mathrm{Rt}}(x,y)-B_{\mathrm{Lt}}(x,y)}{2}$

$B_{\mathrm{Rt}}^{\′}(x,y)=B_N(x,y)+\frac{R_{\mathrm{Rt}}(x,y)-R_{\mathrm{Lt}}(x,y)}{2}+\frac{G_{\mathrm{Rt}}(x,y)-G_{\mathrm{Lt}}(x,y)}{2}+\frac{B_{\mathrm{Rt}}(x,y)-B_{\mathrm{Lt}}(x,y)}{2}$

像这样，无视差像素的高频成分与新生成的具有视差的图像重叠，具有视差的图像即3D图像也能够得到与2D图像相同的高分辨率的图像。换言之，在聚焦区域附近的聚焦稍有偏移而发生微小视差这样的图像区域中，参照着使无视差图像的高分辨率图像缓慢地变化的视差图像的状态，来通过视差调制实施向左方向或右方向稍微偏移的移位处理。

另外，非聚焦域大的模糊区域的被拍摄体像一边最大限度地保持无视差图像的分辨力，一边最大限度利用具有缓慢地变化的视差的图像的横方向上的空间分辨率从而大规模地进行横移。

换言之，为最大限度地发挥视差调制效果，作为像素排列的条件列举出：具有视差的图像所具有的空间分辨率在水平方向上高。

如最初的6视差的例子所示，从这样的观点出发，使左右的视差像素沿水平方向并列并降低水平分辨率这样的构域是不优选的，要谋求沿水平方向具有高分辨率的视差像素排列。为满足这样的条件而配置的是各向同性的视差像素排列，在图22的k空间图中示出了各向同性的分辨率。

以上，构成摄像元件100的各像素是将着眼于开口部104的情况下的视差像素和无视差像素、以及着眼于彩色滤光片102的情况下的R像素、G像素、B像素组合并赋予特征。因此，即使使摄像元件100的输出与其像素排列一致地进行罗列，也不会成为表示特定的像的图像数据。即，使摄像元件100的像素输出按被赋予同一特征的像素组分离并汇集之后，形成了表示属于该特征的一个像的图像数据。例如，如已经使用图5说明的那样，使视差像素的输出按其开口部的种类汇集时，能够得到相互具有视差的多个视差图像数据。像这样，将按被赋予同一特征的像素组分离并聚集而成的各个图像数据称为层数据(plane data)。

图像处理部205按摄像元件100的像素排列顺序接受罗列了其输出值的RAW源图像数据，并分离成多个层数据。该时刻的各层数据仅在RAW源图像数据中有输出值存在的像素位置存在输出值。因此，图像处理部205以各层数据为基础进行插值处理，生成填补了空网格的层数据。以下，关于通过插值处理实施的空网格被填补了的层数据的生成处理，以使用从图7说明的第一实施例的摄像元件100的输出为例进行说明。

2.无视差图像的生成

图9是用于说明作为2D图像数据的G_N层数据、R_N层数据、B_N层数据的生成处理的例子的图。上层的图分别表示使摄像元件100中的一个重复图案110及其周围的输出的一部分与该像素排列一致并罗列的情况。具体来说，上图从左侧依次是表示仅提取G像素的G₀层数据的图、表示仅提取R像素的R₀层数据的图、表示仅提取B像素的B₀层数据的图。在图中，为配合图7的例子以能够理解像素的种类的方式进行了记载，但实际上，与各像素对应的输出值是并列的。

当生成G_N层数据时，图像处理部205首先从摄像元件100的所有输出值中将无视差像素G_N的像素值以外的像素值除去后形成空网格，由此生成G₀层数据。而且，图像处理部205使用周边的无视差像素G_N的像素值通过插值处理算出成为空网格的像素值。例如，空网格P₁₁的像素值是对于沿倾斜方向相邻的无视差像素G_N的像素值即P_-1-1、P_2-1、P_-12、P₂₂的像素值进行平均化运算而算出的。在此，处于64×64像素的基本网格的外侧的像素位置使用了负的指数。同样地，空网格P₅₅的像素值是对于沿倾斜方向相邻的无视差像素G_N的像素值即P₄₄、P₆₄、P₄₆、P₆₆的像素值进行平均化运算而算出的。另一方面，例如空网格P₂₇的像素值是对于沿上下左右相邻的无视差像素G_N的像素值即P₁₇、P₂₆、P₃₇、P₂₈的像素值进行平均化运算而算出的。另外，空网格P₅₂的像素值是对于沿左右及下方向相邻的无视差像素G_N的像素值即P₄₂、P₆₂、P₅₃的像素值进行平均化运算而算出的。

图像处理部205对于全部的空网格，对相邻的无视差像素G_N的像素值进行平均化运算并进行插值处理，由此如图9的下左图所示地生成G_N层数据。此外，图像处理部205也可以使用通过插值处理算出的像素值进一步进行插值处理，也可以仅使用在RAW源图像数据的阶段中存在的输出值进行插值处理。

当生成R_N层数据时，图像处理部205首先从摄像元件100的所有输出值将无视差像素R_N的像素值以外的像素值除去而形成空网格，由此生成R₀层数据。而且，图像处理部205使用周边的无视差像素R_N的像素值通过插值处理算出成为空网格的像素值。例如空网格P₆₃的像素值是对于沿上下左右跳过1像素而相邻的无视差像素R_N的像素值即P₄₃、P₆₁、P₈₃、P₆₅的像素值进行平均化运算而算出的。同样地，空网格P₂₇的像素值是对于沿上下左右跳过1像素而相邻的无视差像素R_N的像素值即P_-17、P₂₅、P₄₇、P₂₉的像素值进行平均化运算而算出的。另一方面，例如，空网格P₁₂的像素值是对于沿倾斜方向相邻的无视差像素R_N的像素值即P_-11、P₂₁、P_-13、P₂₃的像素值进行平均化运算而算出的。图像处理部205对于全部的空网格，对相邻的无视差像素R_N的像素值进行平均化运算并进行插值处理，由此如图9的下中图所示生成R_N层数据。

当生成B_N层数据时，图像处理部205首先从摄像元件100的所有输出值将无视差像素B_N的像素值以外得像素值除去而形成空网格，由此生成B₀层数据。而且，图像处理部205使用周边的无视差像素B_N的像素值通过插值处理算出成为空网格的像素值。例如空网格P₃₂的像素值是对于沿上下左右跳过1像素而相邻的无视差像素B_N的像素值即P₁₂、P_3-1、P₅₂、P₃₄的像素值进行平均化运算而算出的。同样地，空网格P₇₆的像素值是对于沿上下左右跳过1像素而相邻的无视差像素B_N的像素值即P₅₆、P₇₄、P₉₆、P₇₈的像素值进行平均化运算而算出的。另一方面，例如，空网格P₂₇的像素值是对于沿倾斜方向相邻的无视差像素B_N的像素值即P₁₆、P₃₆、P₁₈、P₃₈的像素值进行平均化运算而算出的。图像处理部205对于全部的空网格，对相邻的无视差像素B_N的像素值进行平均化运算并进行插值处理，由此如图9的下右图所示生成B_N层数据。

3.临时的视差图像的生成

图10是用于说明作为左视差图像数据的G_Lt层数据、R_Lt层数据、B_Lt层数据的生成处理的例子的图。

当生成G_Lt层数据时，图像处理部205从摄像元件100的所有输出值将G_Lt像素的像素值以外的像素值除去而形成空网格，由此生成G_Lt0层数据。于是，在重复图案110中，剩余P₁₁和P₅₅这2个像素值。因此，将重复图案110纵横4等分，左上的16像素量由P₁₁的输出值G_Lt1代表，右下的16像素量由P₅₅的输出值G_Lt2代表。而且，关于右上的16像素量的像素值G_Lt3及左下的16像素量的像素值G_Lt4，对于沿上下左右相邻的周边的代表值进行平均化运算并插值。即，G_Lt0层数据以16像素单位具有一个值。这是组合了一般被称为邻近的插值和被称为双线性的插值的方法。更优选的是，单独地使用根据附近存在的像素值的距离而得到的平均值对空网格的像素值进行插值的双线性插值即可。以上，图像处理部205生成G_Lt层数据。

当生成R_Lt层数据时，图像处理部205从摄像元件100的所有输出值将R_Lt像素的像素值以外的像素值除去而形成空网格，由此生成R_Lt0层数据。于是，在重复图案110中，剩余P₂₇的像素值R_Lt1。图像处理部205将该像素值R_Lt1作为重复图案110的64像素量的代表值，由此生成R_Lt层数据。这是邻近插值，但更优选地进行双线性插值。

同样地，当生成B_Lt层数据时，图像处理部205从摄像元件100的所有输出值将B_Lt像素的像素值以外的像素值除去而形成空网格，由此生成B_Lt0层数据。于是，在重复图案110中，剩余P₃₂的像素值B_Lt1。图像处理部205将该像素值B_Lt1作为重复图案110的64像素量的代表值，由此生成B_Lt层数据。这是邻近插值，但更优选进行双线性插值。

像这样，图像处理部205能够生成分辨率比作为2D图像数据的G_N层数据、R_N层数据、B_N层数据低的G_Lt层数据、R_Lt层数据、B_Lt层数据。

图11是用于说明作为右视差图像数据的G_Rt层数据、R_Rt层数据、B_Rt层数据的生成处理的例子的图。

当生成G_Rt层数据时，图像处理部205从摄像元件100的所有输出值中将G_Rt像素的像素值以外的像素值除去而形成空网格，由此生成G_Rt0层数据。于是，在重复图案110上，剩余P₅₁和P₁₅这2个像素值。因此，将重复图案110纵横4等分，右上的16像素分由P₅₁的输出值G_Rt3代表，左下的16像素分由P₁₅的输出值G_Rt4代表。而且，关于左上的16像素分的像素值G_Rt1及右下的16像素量的像素值G_Rt2，对沿上下左右相邻的周边的代表值进行平均化运算并插值。即，G_Rt层数据以16像素单位具有一个值。这是组合了一般被称为邻近的插值和被称为双线性的插值的方法。更优选的是，单独地使用根据附近存在的像素值的距离而得到的平均值插值对空网格的像素值进行双线性插值。以上，图像处理部205生成G_Rt层数据。

当生成R_Rt层数据时，图像处理部205从摄像元件100的所有输出值中将R_Rt像素的像素值以外的像素值除去而形成空网格，由此生成R_Rt0层数据。于是，在重复图案110上，剩余P₆₃的像素值R_Rt1。图像处理部205将该像素值R_Rt1作为重复图案110的64像素量的代表值，由此生成R_Rt层数据。这是邻近插值，但更优选进行双线性插值。

同样地，当生成B_Rt层数据时，图像处理部205从摄像元件100的所有输出值中将B_Rt像素的像素值以外的像素值除去而形成空网格，由此生成B_Rt0层数据。于是，在重复图案110上，剩余P₇₆的像素值B_Rt1。图像处理部205将该像素值B_Rt1作为重复图案110的64像素量的代表值，由此生成B_Rt层数据。这是邻近插值，但更优选进行双线性插值。

像这样，图像处理部205能够生成分辨率比作为2D图像数据的G_N层数据、R_N层数据、B_N层数据低的G_Rt层数据、R_Rt层数据、B_Rt层数据。此外，不仅可以使用至此说明的邻近插值或双线性插值，还可以使用双三次插值。

在本实施方式中，图像处理部205使用图9～11的各自的下图所示的9个层数据，生成左侧视点的彩色图像数据及右侧视点的彩色图像数据。在具体的处理之前，首先，关于生成原理进行说明。

图12是用于说明散焦的概念的图。如图12(a)所示，被拍摄体即物点存在于焦点位置的情况下，通过透镜光瞳到达摄像元件受光面的被拍摄体光束以对应的像点的像素为中心表现出陡急的光强度分布。即，若接受通过透镜光瞳的所有有效光束的无视差像素排列在像点附近，则与像点对应的像素的输出值最大，排列在周边的像素的输出值急剧降低。

另一方面，如图12(b)所示，物点从焦点位置偏移时，与物点存在于焦点位置的情况相比，被拍摄体光束在摄像元件受光面上表现出了缓和的光强度分布。即，示出了在对应的像点的像素中的输出值降低的基础上，直到周边像素都具有输出值的分布。

另外，如图12(c)所示，物点进一步从焦点位置偏移时，被拍摄体光束在摄像元件受光面上示出了更缓和的光强度分布。即，示出了在对应的像点的像素中的输出值进一步降低的基础上，直到周边像素都具有输出值的分布。

以下，对于视差Lt像素及视差Rt像素接受光的情况下的散焦概念进行说明。图13是用于说明视差像素散焦的概念的图。视差Lt像素及视差Rt像素从作为透镜光瞳的部分区域的、分别设定于光轴对象上的2个视差假想光瞳中的任意一方接受到达的被拍摄体光束。

如图13(a)所示，被拍摄体即物点存在于焦点位置的情况下，通过哪一个视差假想光瞳的被拍摄体光束都表现出了以对应的像点的像素为中心陡急的光强度分布。若视差Lt像素排列在像点附近，则与像点对应的像素的输出值最大，排列在周边的像素的输出值急剧降低。另外，视差Rt像素排列在像点附近，与像点对应的像素的输出值最大，排列在周边的像素的输出值急剧降低。即，示出了被拍摄体光束不论通过哪一个视差假想光瞳，都是与像点对应的像素的输出值最大而排列在周边的像素的输出值急剧降低的分布，各自的分布相互一致。

另一方面，如图13(b)所示，物点从焦点位置偏移时，与物点存在于焦点位置的情况相比，视差Lt像素所表现出的光强度分布的峰值出现于从与像点对应的像素向一方向远离的位置，并且其输出值低。另外，具有输出值的像素的幅度也宽。视差Rt像素所表现出的光强度分布的峰值出现于从与像点对应的像素向与视差Lt像素中的一方向相反方向且等距离地远离的位置，同样地，其输出值低。另外，同样地，具有输出值的像素的幅度也宽。即，与物点存在于焦点位置的情况相比变得缓和的相同的光强度分布相互等距离地分离地呈现。另外，如图13(c)所示，物点进一步从焦点位置偏移时，与图13(b)的状态相比，变得更缓和的相同的光强度分布更分离地呈现。也就是说，可以说物点越从焦点位置大幅度偏移，模糊量和视差量越增加。

将图12中说明的光强度分布的变化和图13中说明的光强度分布的变化分别如图14所示图形化。在图中，横轴表示像素位置，中心位置是与像点对应的像素位置。纵轴表示各像素的输出值，该输出值实质上与光强度成正比，从而在图中作为光强度表示。

图14(a)是表示图12中说明的光强度分布的变化的图线。分布曲线1801表示与图12(a)对应的光强度分布，示出了最陡急的情况。分布曲线1802表示与图12(b)对应的光强度分布，另外，分布曲线1803表示与图12(c)对应的光强度分布。与分布曲线1801相比可知，具有峰值逐渐降低而扩展的样子。

图14(b)是表示图13中说明的光强度分布的变化的图线。分布曲线1804和分布曲线1805分别表示图13(b)的视差Lt像素的光强度分布和视差Rt像素的光强度分布。从图中可知，这些分布相对于中心位置呈线对称的形状。另外，叠加它们而得到的合成分布曲线1806示出了与相对于图13(b)来说同等的散焦状态即图12(b)的分布曲线1802相似形状。

分布曲线1807和分布曲线1808分别表示图13(c)的视差Lt像素的光强度分布和视差Rt像素的光强度分布。从图中可知，这些分布也相对于中心位置呈线对称的形状。另外，叠加它们而得到的合成分布曲线1809示出了与相对于图13(c)来说同等的散焦状态即图12(c)的分布曲线1803相似形状。

4.实际的视差图像的生成

在本实施方式中，利用这样的光强度分布的性质，从图9～图11所示的9个层数据生成高清的左侧视点的彩色图像数据及右侧视点的彩色图像数据。具体来说，图像处理部205将图10、图11所示的视差图像所具有的视差成分重叠于图9所示的无视差图像，由此生成高清的左右的彩色图像数据。将该生成处理称为视差调制处理。

通过进行视差调制处理，能够从图10、图11所示的左侧视点的彩色图像数据(G_Lt层数据、R_Lt层数据、B_Lt层数据)及右侧视点的彩色图像数据(G_Rt层数据、R_Rt层数据、B_Rt层数据)，生成高清的左侧视点的彩色图像数据(R'_Lt层数据、G'_Lt层数据、B'_Lt层数据)及右侧视点的彩色图像数据(R'_Rt层数据、G'_Rt层数据、B'_Rt层数据)。

图15是用于说明从高清的2D图像数据生成高清的彩色视差层数据的生成处理的概念图。尤其，示出了彩色视差层中的绿色视差层即G'_Lt层数据的生成处理。

G'_Lt层数据是除了使用作为2D图像数据的G_N层数据，还使用作为左视差像素数据的R_Lt层数据、G_Lt层数据、B_Lt层数据和作为右视差像素数据的R_Rt层数据、G_Rt层数据、B_Rt层数据而生成的。例如，在要算出G'_Lt层数据的对象像素位置(x_m，y_n)的像素值G'_Lt(x_m，y_n)的情况下，首先，图像处理部205的像素值提取部231从G_N层数据的同一像素位置(x_m，y_n)提取像素值G_N(x_m，y_n)。

这里，在R_Lt层数据中，像素值提取部231同样提取R_Lt层数据的同一像素位置(x_m，y_n)的像素值R_Lt(x_m，y_n)。同样地，像素值提取部231提取R_Rt层数据的同一像素位置(x_m，y_n)的像素值R_Rt(x_m，y_n)。而且，图像处理部205的算出部233算出像素值R_Lt(x_m，y_n)和像素值R_Rt(x_m，y_n)的差。

另外，在G_Lt层数据中，像素值提取部231同样提取G_Lt层数据的与同一像素位置(x_m，y_n)对应的像素值G_Lt(x_m，y_n)。同样地，像素值提取部231提取G_Rt层数据的与同一像素位置(x_m，y_n)对应的像素值G_Rt(x_m，y_n)。而且，图像处理部205的算出部233算出像素值G_Lt(x_m，y_n)和像素值G_Rt(x_m，y_n)的差。

另外，在B_Lt层数据中，也与R_Lt层数据同样地，像素值提取部231提取B_Lt层数据的同一像素位置(x_m，y_n)的像素值B_Lt(x_m，y_n)。同样地，像素值提取部231提取B_Rt层数据的同一像素位置(x_m，y_n)的像素值B_Rt(x_m，y_n)。而且，图像处理部205的算出部233算出像素值B_Lt(x_m，y_n)和像素值B_Rt(x_m，y_n)的差。

图像处理部205的算出部233使用像素值R_Lt(x_m，y_n)和像素值R_Rt(x_m，y_n)的差、像素值G_Lt(x_m，y_n)和像素值G_Rt(x_m，y_n)的差、像素值B_Lt(x_m，y_n)和像素值B_Rt(x_m，y_n)的差，从G_Lt(x_m，y_n)算出G'_Lt(x_m，y_n)。具体来说，图像处理部205的算出部233在分别向像素值R_Lt(x_m，y_n)和像素值R_Rt(x_m，y_n)的差、像素值G_Lt(x_m，y_n)和像素值G_Rt(x_m，y_n)的差、像素值B_Lt(x_m，y_n)和像素值B_Rt(x_m，y_n)的差乘以比例系数的基础上，对它们进行相加。而且，将得到的值加在G_Lt(x_m，y_n)上，也就是说，通过进行视差调制，算出像素值G'_Lt(x_m，y_n)。换言之，图像处理部205的算出部233以下述方式算出像素值G'_Lt(x_m，y_n)，即，使得要算出的像素值G'_Lt(x_m，y_n)和所提取的像素值G_N(x_m，y_n)之差相对于分别向左右的视差图像间的R、G、B的每个颜色成分的像素值之差乘以比例系数并对它们进行相加而得到的值保持相关。具体来说，算出部233通过以下的式1算出。即，着眼于G面和R面之间的关系时，

G′_Lt(x，y)-R_Lt(x，y)＝G_N(x，y)-[R_Lt(x，y)+R_Rt(x，y)]/2≌G_N(x，y)-R_N(x，y)

的关系成立，并以无视差图像之间存在的G面和R面的变动的情况的不同也直接存在于左视差图像之间吗的方式映射到要求出的G'_Lt(x，y)中。同样的情况关于G成分、B成分也成立，它们的变动信息或者高频成分映射到G'_Lt(x，y)中。

[式1]

$G_{\mathrm{Lt}}^{\′}(x,y)=G_N(x,y)+\frac{R_{\mathrm{Lt}}(x,y)-R_{\mathrm{Rt}}(x,y)}{2}+\frac{G_{\mathrm{Lt}}(x,y)-G_{\mathrm{Rt}}(x,y)}{2}+\frac{B_{\mathrm{Lt}}(x,y)-B_{\mathrm{Rt}}(x,y)}{2}$

由此，对于像素值G_N，能够利用左右间视差图像的差异施加视差调制。图像处理部205能够依次从左端且上端的像素即(1，1)到右端且下端的坐标即(x₀，y₀)执行这样的处理。由此，能够生成G'_Lt层数据。

此外，图7所示的重复图案的情况下，相对于无视差像素，视差Lt像素的开口部104向左侧偏心，视差Rt像素以与视差Lt像素相对于无视差像素的偏心量相同的偏心量向右侧偏心。因此，要算出的像素值G'_Lt(x_m，y_n)和所提取的像素值G_N(x_m，y_n)之差如上述式1所示，相对于视差图像间的R、G、B的每个颜色成分的像素值之差的和以比例系数1/2来确保相关关系。即，对视差图像间的R、G、B的每个颜色成分的像素值的差进行相加而得到的值相对于要算出的像素值G'_Lt(x_m，y_n)和所提取的像素值G_N(x_m，y_n)之差的相关关系主要根据视差Lt像素和视差Rt像素的各自的开口部的偏心量而规定。另外，也可以考虑开口部的大小和无视差像素的开口部之间的相对关系等的参数。无论如何，以确保被规定的相关关系的方式被定式化来算出像素值G'_Lt(x_m，y_n)。在上述式1的例子中，作为相关关系规定了比例系数1/2，但除了变更比例系数以外，也可以例如作为修正项加算常量等来适当地调整相关关系。此外，要算出的像素值是像素值R'_Lt(x_m，y_n)、B'_Lt(x_m，y_n)、R'_Rt(x_m，y_n)、G'_Rt(x_m，y_n)、B'_Rt(x_m，y_n)，上述关系也同样。

图像处理部205关于B'_Lt层数据、R'_Lt层数据，也与G'_Lt层数据同样地，能够通过像素值提取部231及算出部233生成。具体来说，在上述说明中，代替从G_N层数据的同一像素位置(x_m，y_n)提取像素值G_N(x_m，y_n)，而从B_N层数据的同一像素位置(x_m，y_n)提取像素值B_N(x_m，y_n)，同样地处理。而且，在上述说明中，代替从G_N层数据的同一像素位置(x_m，y_n)提取像素值G_N(x_m，y_n)，而从R_N层数据的同一像素位置(x_m，y_n)提取像素值R_N(x_m，y_n)，同样地处理。

具体来说，图像处理部205通过以下的式2、式3算出。

[式2]

$B_{\mathrm{Lt}}^{\′}(x,y)=B_N(x,y)+\frac{R_{\mathrm{Lt}}(x,y)-R_{\mathrm{Rt}}(x,y)}{2}+\frac{G_{\mathrm{Lt}}(x,y)-G_{\mathrm{Rt}}(x,y)}{2}+\frac{B_{\mathrm{Lt}}(x,y)-B_{\mathrm{Rt}}(x,y)}{2}$

[式3]

$R_{\mathrm{Lt}}^{\′}(x,y)=R_N(x,y)+\frac{R_{\mathrm{Lt}}(x,y)-R_{\mathrm{Rt}}(x,y)}{2}+\frac{G_{\mathrm{Lt}}(x,y)-G_{\mathrm{Rt}}(x,y)}{2}+\frac{B_{\mathrm{Lt}}(x,y)-B_{\mathrm{Rt}}(x,y)}{2}$

图像处理部205关于右侧视点的彩色图像数据即G'_Rt层数据、B'_Rt层数据、R'_Rt层数据，也能够与左侧视点的彩色图像数据同样地生成。具体来说，通过以下的式4、式5、式6算出。

[式4]

$G_{\mathrm{Rt}}^{\′}(x,y)=G_N(x,y)+\frac{R_{\mathrm{Rt}}(x,y)-R_{\mathrm{Lt}}(x,y)}{2}+\frac{G_{\mathrm{Rt}}(x,y)-G_{\mathrm{Lt}}(x,y)}{2}+\frac{B_{\mathrm{Rt}}(x,y)-B_{\mathrm{Lt}}(x,y)}{2}$

[式5]

$B_{\mathrm{Rt}}^{\′}(x,y)=B_N(x,y)+\frac{R_{\mathrm{Rt}}(x,y)-R_{\mathrm{Lt}}(x,y)}{2}+\frac{G_{\mathrm{Rt}}(x,y)-G_{\mathrm{Lt}}(x,y)}{2}+\frac{B_{\mathrm{Rt}}(x,y)-B_{\mathrm{Lt}}(x,y)}{2}$

[式6]

$R_{\mathrm{Rt}}^{\′}(x,y)=R_N(x,y)+\frac{R_{\mathrm{Rt}}(x,y)-R_{\mathrm{Lt}}(x,y)}{2}+\frac{G_{\mathrm{Rt}}(x,y)-G_{\mathrm{Lt}}(x,y)}{2}+\frac{B_{\mathrm{Rt}}(x,y)-B_{\mathrm{Lt}}(x,y)}{2}$

以上，图像处理部205利用左右间的视差图像的差异对无视差彩色图像施加视差调制，能够从无视差彩色图像生成左视差彩色图像和右视差彩色图像。具体来说，通过以上的处理，能够生成左侧视点的彩色图像数据(G'_Lt层数据、B'_Lt层数据、R'_Lt层数据)及右侧视点的彩色图像数据(G'_Rt层数据、B'_Rt层数据、R'_Rt层数据)。

如图10、图11所示，分别关于左视差图像数据及右视差图像数据，按R、G、B的层数据已经收齐。但是，在这些层数据中，以16像素或64像素为一个单位存在像素值，因此分辨率低。通过使用分辨率比这些层数据高的2D图像数据，在左视差图像数据及右视差图像数据中，也能够得到与该2D图像数据所具有的空间分辨率相同程度的空间分辨率。即，式1～式6的右边的第二～第四项为“疏的”分辨率，但反映了右边的第一项的“密的”的分辨率，从而左边能够生成“密的”分辨率的图像数据。

另外，左视差图像数据及右视差图像数据的生成基于R、G、B层数据之一而实施的情况下，若被拍摄体由特定的原色构成，则会发生从具有与该原色对应的彩色滤光片以外的彩色滤光片的视差像素不能得到视差信息这样的颜色依赖的问题。在本实施方式中，如上述式1～式6所示，图像处理部205使用R、G、B的所有颜色成分来进行视差调制。因此，与以单色进行视差调制的情况相比，能够使视差图像中颜色的边界部分的颜色变化更精确地作为视差信息反映。因此，能够期待在发生视差的模糊区域的颜色边界部处防止伪色彩的发生。另外，视差图像间的R、G、B各自的颜色成分的像素值是在RAW数据的阶段中相互不同位置的视差信息的数据。因此，能够一边相互补偿与仅以单一的颜色成分不能捕获的、左右间的空间视差构造的不同相关的信息，一边反映于最终生成的视差图像。像这样，本实施方式的数码相机能够生成高清的左侧视点的彩色图像数据及高清的右侧视点的彩色图像数据。

这里，从处理流程的观点来说明直到生成视差彩色图像数据。图16是直到生成视差彩色图像数据的处理流程。流程也可以与摄影动作连动地开始，也可以通过从存储卡220读出对象图像数据而开始。

图像处理部205在步骤S101中取得RAW源图像数据。而且，在步骤S102中，如使用图9～图11说明的那样，将RAW源图像数据分离成作为2D图像数据的G₀层数据、R₀层数据、B₀层数据。同样地，图像处理部205将RAW源图像数据分离成作为左视差图像数据的G_Lt0层数据、R_Lt0层数据、B_Lt0层数据、作为右视差图像数据的G_Rt0层数据、R_Rt0层数据、B_Rt0层数据。图像处理部205在步骤S103中执行对于所分离的各层数据中存在的空网格进行插值的插值处理。具体来说，如使用图9～图11说明的那样，使用接近的像素的输出值通过平均化处理等算出空网格的输出值。

图像处理部205在步骤S104中进行各变量的初始化。具体来说，首先，将1代入2D颜色变量Cset。2D颜色变量Cset表示的是1＝红、2＝绿、3＝蓝。另外，将1代入坐标变量即x和y。而且，将1代入视差变量S。视差变量S表示的是1＝左、2＝右。

图像处理部205的像素值提取部231在步骤S105中从Cset层的对象像素位置(x，y)提取像素值。而且，像素值提取部231在步骤S106中，从G_Lt层数据、R_Lt层数据、B_Lt层数据的对象像素位置(x，y)提取像素值。同样地，像素值提取部231从G_Rt层数据、R_Rt层数据、B_Rt层数据的对象像素位置(x，y)提取像素值。

图像处理部205的算出部233在步骤S107中算出与视差变量S对应的对象像素位置(x，y)的像素值。例如Cset＝1、S＝1且对象像素位置为(1，1)的情况下，算出R'_Lt(1，1)。具体来说，例如，通过上述式3算出。

图像处理部205在步骤S108中增加视差变量S。而且，在步骤S109中，判断视差变量S是否超过2。若未超过，则返回步骤S107。若超过，则进入步骤S110。

图像处理部205在步骤S110中将1代入视差变量S的同时，增加坐标变量x。而且，在步骤S111中，判断坐标变量x是否超过x₀。若未超过，则返回步骤S105。若超过，则进入步骤S112。

图像处理部205在步骤S112中将1代入坐标变量x的同时，增加坐标变量y。而且，在步骤S113中，判断坐标变量y是否超过y₀。若不超过，则返回步骤S105。若超过，则进入步骤S114。

进行到步骤S114时，相对于Cset来说的左右各自的所有像素的像素值收齐，因此图像处理部205并列排列这些像素值并生成层图像数据。例如Cset＝1的情况下，生成R'_Lt层数据和R'_Rt层数据。

进入步骤S115，图像处理部205将1代入坐标变量y的同时，增加颜色变量Cset。而且，在步骤S116中，判断颜色变量Cset是否超过3。若不超过，则返回步骤S105。若超过，则左侧视点的彩色图像数据(R'_Lt层数据、G'_Lt层数据、B'_Lt层数据)及右侧视点的彩色图像数据(R'_Rt层数据、G'_Rt层数据、B'_Rt层数据)的全部收齐，并结束一系列的处理。

以下，关于开口部104的开口形状进行说明。图17是用于说明开口形状的图。图17(a)表示视差Lt像素的开口部104l的形状和视差Rt像素的开口部104r的形状与利用中心线322分割无视差像素的开口部104n的形状而成的形状相同的例子。也就是说，在图17(a)中，无视差像素的开口部104n的面积成为视差Lt像素的开口部104l的面积和视差Rt像素的开口部104r的面积之和。另外，视差Lt像素的开口部104l及视差Rt像素的开口部104r相对于穿过了各自对应的光电转换元件108的中心(像素中心)的假想的中心线322来说，向彼此相反方向偏位。这里，各自的开口部104n、开口部104l、开口部104r具有开口光阑的功能。因此，具备具有开口部104l(开口部104r)的倍数的面积的开口部104n的无视差像素的模糊量成为与视差Lt像素和视差Rt像素的模糊量相加而得到的模糊量同等的程度。

图17(b)表示视差Lt像素的开口部104l的形状、视差Rt像素的开口部104r的形状和视差C像素的开口部104c的形状全部相同的例子。这里，视差C像素称为没有偏心的像素。视差C像素在仅将以光瞳的中心部分作为部分区域的被拍摄体光束导入光电转换元件108这点，严密来说，是输出视差图像的视差像素。但是，这里，将具有与基准方向对应的开口部的像素定义为无视差像素。因此，作为基准方向，与图17(a)的无视差像素同样，在光电转换元件的中心具有开口部的图17(b)的视差C像素是无视差像素。另外，开口部104l、开口部104r、开口部104c具有图17(a)所示的开口部104n的一半的面积。与图17(a)的情况同样地，开口部104l及104r分别与穿过光电转换元件108的中心(像素中心)的假想的中心线322相切。这里，各开口部104c、开口部104l、开口部104r如上所述地具有开口光阑的功能。因此，具有与开口部104l及开口部104r相同形状、相同面积的开口部104c的视差C像素的模糊量成为与视差Lt像素及视差Rt像素的模糊量同等的程度。

＜第二实施方式＞

关于代替视差调制方式的实施方式进行说明。在第二实施方式中，作为像素排列，配置了视差C像素、视差Lt像素、视差Rt像素，并且如图17说明的那样，视差C像素的开口部采用与视差Lt像素的开口部的形状、视差Rt像素的开口部的形状相同的结构。于是，视差C像素的模糊量与视差Lt像素及视差Rt像素的模糊量大致一致。使用几何平均进行视差调制，由此能够使视差调制后的左右的彩色图像的模糊量与视差像素的模糊量一致。

图像处理部205的像素值提取部231如第一实施方式中说明的那样，分别从图9～11所示的层数据提取对象像素位置的像素值。然后，在例如要从G_N(x_m，y_n)算出G'_Lt(x_m，y_n)的情况下，图像处理部205的算出部233使用像素值R_Lt(x_m，y_n)和像素值R_Rt(x_m，y_n)的几何平均值、像素值G_Lt(x_m，y_n)和像素值G_Rt(x_m，y_n)的几何平均值、像素值B_Lt(x_m，y_n)和像素值B_Rt(x_m，y_n)的几何平均值，从G_N(x_m，y_n)算出G'_Lt(x_m，y_n)。

具体来说，算出部233将像素值R_Lt(x_m，y_n)除以像素值R_Lt(x_m，y_n)和像素值R_Rt(x_m，y_n)的几何平均值。同样地，将像素值G_Lt(x_m，y_n)除以像素值G_Lt(x_m，y_n)和像素值G_Rt(x_m，y_n)的几何平均值。同样地，将像素值B_Lt(x_m，y_n)除以像素值B_Lt(x_m，y_n)和像素值B_Rt(x_m，y_n)的几何平均值。而且，算出部233将它们相乘得到的值乘以G_N(x_m，y_n)，由此算出像素值G'_Lt(x_m，y_n)。换言之，算出部233以下述方式算出像素值G'_Lt(x，y)，即，使得像素值G'_Lt(x，y)和所提取的像素值G_N(x，y)之比，相对于像素值R_Lt(x_m，y_n)除以像素值R_Lt(x_m，y_n)和像素值R_Rt(x_m，y_n)的几何平均值得到的值、像素值G_Lt(x_m，y_n)除以像素值G_Lt(x_m，y_n)和像素值G_Rt(x_m，y_n)的几何平均值得到的值、像素值B_Lt(x_m，y_n)除以像素值B_Lt(x_m，y_n)和像素值B_Rt(x_m，y_n)的几何平均值得到的值分别相乘的值保持相关关系。

具体来说，算出部233通过以下的式7算出。

[式7]

$G_{\mathrm{Lt}}^{\′}(x,y)=G_N(x,y)\frac{R_{\mathrm{Lt}}(x,y)}{\sqrt{R_{\mathrm{Lt}}(x,y)\·R_{\mathrm{Rt}}(x,y)}}\frac{G_{\mathrm{Lt}}(x,y)}{\sqrt{G_{\mathrm{Lt}}(x,y)\·G_{\mathrm{Rt}}(x,y)}}\frac{B_{\mathrm{Lt}}(x,y)}{\sqrt{B_{\mathrm{Lt}}(x,y)\·B_{\mathrm{Rt}}(x,y)}}$

改写式7，则成为以下的式8。

[式8]

$G_{\mathrm{Lt}}^{\′}(x,y)=G_N(x,y)\sqrt{\frac{R_{\mathrm{Lt}}(x,y)}{R_{\mathrm{Rt}}(x,y)}}\sqrt{\frac{G_{\mathrm{Lt}}(x,y)}{G_{\mathrm{Rt}}(x,y)}}\sqrt{\frac{B_{\mathrm{Lt}}(x,y)}{B_{\mathrm{Rt}}(x,y)}}$

从式8来看也可以说，像素值G'_Lt(x，y)和所提取的像素值G_N(x，y)之比相对于将视差图像间的R、G、B的每个颜色成分的像素值之比的平方根相乘得到的值确保相关关系。图像处理部205关于B'_Lt(x，y)、R'_Lt(x，y)，也能够与G'_Lt(x，y)同样地生成。具体来说，通过以下的式9、式10算出。

[式9]

$B_{\mathrm{Lt}}^{\′}(x,y)=B_N(x,y)\frac{R_{\mathrm{Lt}}(x,y)}{\sqrt{R_{\mathrm{Lt}}(x,y)\·R_{\mathrm{Rt}}(x,y)}}\frac{G_{\mathrm{Lt}}(x,y)}{\sqrt{G_{\mathrm{Lt}}(x,y)\·G_{\mathrm{Rt}}(x,y)}}\frac{B_{\mathrm{Lt}}(x,y)}{\sqrt{B_{\mathrm{Lt}}(x,y)\·B_{\mathrm{Rt}}(x,y)}}$

[式10]

$R_{\mathrm{Lt}}^{\′}(x,y)=R_N(x,y)\frac{R_{\mathrm{Lt}}(x,y)}{\sqrt{R_{\mathrm{Lt}}(x,y)\·R_{\mathrm{Rt}}(x,y)}}\frac{G_{\mathrm{Lt}}(x,y)}{\sqrt{G_{\mathrm{Lt}}(x,y)\·G_{\mathrm{Rt}}(x,y)}}\frac{B_{\mathrm{Lt}}(x,y)}{\sqrt{B_{\mathrm{Lt}}(x,y)\·B_{\mathrm{Rt}}(x,y)}}$

改写式9、式10，成为以下的式11、式12。

[式11]

$B_{\mathrm{Lt}}^{\′}(x,y)=B_N(x,y)\sqrt{\frac{R_{\mathrm{Lt}}(x,y)}{R_{\mathrm{Rt}}(x,y)}}\sqrt{\frac{G_{\mathrm{Lt}}(x,y)}{G_{\mathrm{Rt}}(x,y)}}\sqrt{\frac{B_{\mathrm{Lt}}(x,y)}{B_{\mathrm{Rt}}(x,y)}}$

[式12]

$R_{\mathrm{Lt}}^{\′}(x,y)=R_N(x,y)\sqrt{\frac{R_{\mathrm{Lt}}(x,y)}{R_{\mathrm{Rt}}(x,y)}}\sqrt{\frac{G_{\mathrm{Lt}}(x,y)}{G_{\mathrm{Rt}}(x,y)}}\sqrt{\frac{B_{\mathrm{Lt}}(x,y)}{B_{\mathrm{Rt}}(x,y)}}$

图像处理部205关于G'_Rt(x，y)、B'_Rt(x，y)、R'_Rt(x，y)，也能够同样地生成。具体来说，通过以下的式13、式14、式15算出。

[式13]

$G_{\mathrm{Rt}}^{\′}(x,y)=G_N(x,y)\frac{R_{\mathrm{Rt}}(x,y)}{\sqrt{R_{\mathrm{Lt}}(x,y)\·R_{\mathrm{Rt}}(x,y)}}\frac{G_{\mathrm{Rt}}(x,y)}{\sqrt{G_{\mathrm{Lt}}(x,y)\·G_{\mathrm{Rt}}(x,y)}}\frac{B_{\mathrm{Rt}}(x,y)}{\sqrt{B_{\mathrm{Lt}}(x,y)\·B_{\mathrm{Rt}}(x,y)}}$

[式14]

$B_{\mathrm{Rt}}^{\′}(x,y)=B_N(x,y)\frac{R_{\mathrm{Rt}}(x,y)}{\sqrt{R_{\mathrm{Lt}}(x,y)\·R_{\mathrm{Rt}}(x,y)}}\frac{G_{\mathrm{Rt}}(x,y)}{\sqrt{G_{\mathrm{Lt}}(x,y)\·G_{\mathrm{Rt}}(x,y)}}\frac{B_{\mathrm{Rt}}(x,y)}{\sqrt{B_{\mathrm{Lt}}(x,y)\·B_{\mathrm{Rt}}(x,y)}}$

[式15]

$R_{\mathrm{Rt}}^{\′}(x,y)=R_N(x,y)\frac{R_{\mathrm{Rt}}(x,y)}{\sqrt{R_{\mathrm{Lt}}(x,y)\·R_{\mathrm{Rt}}(x,y)}}\frac{G_{\mathrm{Rt}}(x,y)}{\sqrt{G_{\mathrm{Lt}}(x,y)\·G_{\mathrm{Rt}}(x,y)}}\frac{B_{\mathrm{Rt}}(x,y)}{\sqrt{B_{\mathrm{Lt}}(x,y)\·B_{\mathrm{Rt}}(x,y)}}$

改写式13、式14、式15，成为以下的式16、式17、式18。

[式16]

$G_{\mathrm{Rt}}^{\′}(x,y)=G_N(x,y)\sqrt{\frac{R_{\mathrm{Rt}}(x,y)}{R_{\mathrm{Lt}}(x,y)}}\sqrt{\frac{G_{\mathrm{Rt}}(x,y)}{G_{\mathrm{Lt}}(x,y)}}\sqrt{\frac{B_{\mathrm{Rt}}(x,y)}{B_{\mathrm{Lt}}(x,y)}}$

[式17]

$B_{\mathrm{Rt}}^{\′}(x,y)=B_N(x,y)\sqrt{\frac{R_{\mathrm{Rt}}(x,y)}{R_{\mathrm{Lt}}(x,y)}}\sqrt{\frac{G_{\mathrm{Rt}}(x,y)}{G_{\mathrm{Lt}}(x,y)}}\sqrt{\frac{B_{\mathrm{Rt}}(x,y)}{B_{\mathrm{Lt}}(x,y)}}$

[式18]

$R_{\mathrm{Rt}}^{\′}(x,y)=R_N(x,y)\sqrt{\frac{R_{\mathrm{Rt}}(x,y)}{R_{\mathrm{Lt}}(x,y)}}\sqrt{\frac{G_{\mathrm{Rt}}(x,y)}{G_{\mathrm{Lt}}(x,y)}}\sqrt{\frac{B_{\mathrm{Rt}}(x,y)}{B_{\mathrm{Lt}}(x,y)}}$

＜第三实施方式＞

关于代替视差调制方式的实施方式进行说明。在第三实施方式中，如图17说明的那样，无视差像素的开口部与视差Lt像素的开口部的面积和视差Rt像素的开口部的面积之和相等。于是，无视差像素的模糊量成为与视差Lt像素及视差Rt像素的模糊量之和同等的程度。使用算术平均来进行视差调制，由此能够使视差调制后的左右的彩色图像的模糊量与视差像素的模糊量一致。

图像处理部205的像素值提取部231如第一实施方式中说明的那样，分别从图9～图11所示的层数据提取对象像素位置的像素值。而且，在例如要从G_N(x_m，y_n)算出G'_Lt(x_m，y_n)的情况下，图像处理部205的算出部233使用像素值R_Lt(x_m，y_n)和像素值R_Rt(x_m，y_n)的算术平均、像素值G_Lt(x_m，y_n)和像素值G_Rt(x_m，y_n)的算术平均、像素值B_Lt(x_m，y_n)和像素值B_Rt(x_m，y_n)的算术平均，从G_N(x_m，y_n)算出G'_Lt(x_m，y_n)。

具体来说，算出部233将像素值R_Lt(x_m，y_n)除以像素值R_Lt(x_m，y_n)和像素值R_Rt(x_m，y_n)的算术平均。同样地，将像素值G_Lt(x_m，y_n)除以像素值G_Lt(x_m，y_n)和像素值G_Rt(x_m，y_n)的算术平均。同样地，将像素值B_Lt(x_m，y_n)除以像素值B_Lt(x_m，y_n)和像素值B_Rt(x_m，y_n)的算术平均。而且，算出部233将它们相乘得到的值乘以G_N(x_m，y_n)，由此算出像素值G'_Lt(x_m，y_n)。换言之，算出部233以下述方式算出像素值G'_Lt(x，y)，即，使得像素值G'_Lt(x，y)和所提取的像素值G_N(x，y)之比相对于分别将像素值R_Lt(x_m，y_n)除以像素值R_Lt(x_m，y_n)和像素值R_Rt(x_m，y_n)的算术平均得到的值、像素值G_Lt(x_m，y_n)除以像素值G_Lt(x_m，y_n)和像素值G_Rt(x_m，y_n)的算术平均得到的值、像素值B_Lt(x_m，y_n)除以像素值B_Lt(x_m，y_n)和像素值B_Rt(x_m，y_n)的算术平均得到的值相乘的值保持相关关系。

具体来说，算出部233通过以下的式19算出。

[式19]

$G_{\mathrm{Lt}}^{\′}(x,y)=G_N(x,y)\frac{2R_{\mathrm{Lt}}(x,y)}{R_{\mathrm{Lt}}(x,y)+R_{\mathrm{Rt}}(x,y)}\frac{2G_{\mathrm{Lt}}(x,y)}{G_{\mathrm{Lt}}(x,y)+G_{\mathrm{Rt}}(x,y)}\frac{2B_{\mathrm{Lt}}(x,y)}{B_{\mathrm{Lt}}(x,y)+B_{\mathrm{Rt}}(x,y)}$

图像处理部205关于B'_Lt(x，y)、R'_Lt(x，y)，也能够与G'_Lt(x，y)同样地生成。具体来说，通过以下的式20、式21算出。

[式20]

$B_{\mathrm{Lt}}^{\′}(x,y)=B_N(x,y)\frac{2R_{\mathrm{Lt}}(x,y)}{R_{\mathrm{Lt}}(x,y)+R_{\mathrm{Rt}}(x,y)}\frac{2G_{\mathrm{Lt}}(x,y)}{G_{\mathrm{Lt}}(x,y)+G_{\mathrm{Rt}}(x,y)}\frac{2B_{\mathrm{Lt}}(x,y)}{B_{\mathrm{Lt}}(x,y)+B_{\mathrm{Rt}}(x,y)}$

[式21]

$R_{\mathrm{Lt}}^{\′}(x,y)=R_N(x,y)\frac{2R_{\mathrm{Lt}}(x,y)}{R_{\mathrm{Lt}}(x,y)+R_{\mathrm{Rt}}(x,y)}\frac{2G_{\mathrm{Lt}}(x,y)}{G_{\mathrm{Lt}}(x,y)+G_{\mathrm{Rt}}(x,y)}\frac{2B_{\mathrm{Lt}}(x,y)}{B_{\mathrm{Lt}}(x,y)+B_{\mathrm{Rt}}(x,y)}$

图像处理部205关于G'_Rt(x，y)、B'_Rt(x，y)、R'_Rt(x，y)，也能够同样地生成。具体来说，通过以下的式22、式23、式24算出。

[式22]

$G_{\mathrm{Rt}}^{\′}(x,y)=G_N(x,y)\frac{2R_{\mathrm{Rt}}(x,y)}{R_{\mathrm{Lt}}(x,y)+R_{\mathrm{Rt}}(x,y)}\frac{2G_{\mathrm{Rt}}(x,y)}{G_{\mathrm{Lt}}(x,y)+G_{\mathrm{Rt}}(x,y)}\frac{2B_{\mathrm{Rt}}(x,y)}{B_{\mathrm{Lt}}(x,y)+B_{\mathrm{Rt}}(x,y)}$

[式23]

$B_{\mathrm{Rt}}^{\′}(x,y)=B_N(x,y)\frac{2R_{\mathrm{Rt}}(x,y)}{R_{\mathrm{Lt}}(x,y)+R_{\mathrm{Rt}}(x,y)}\frac{2G_{\mathrm{Rt}}(x,y)}{G_{\mathrm{Lt}}(x,y)+G_{\mathrm{Rt}}(x,y)}\frac{2B_{\mathrm{Rt}}(x,y)}{B_{\mathrm{Lt}}(x,y)+B_{\mathrm{Rt}}(x,y)}$

[式24]

$R_{\mathrm{Rt}}^{\′}(x,y)=R_N(x,y)\frac{2R_{\mathrm{Rt}}(x,y)}{R_{\mathrm{Lt}}(x,y)+R_{\mathrm{Rt}}(x,y)}\frac{2G_{\mathrm{Rt}}(x,y)}{G_{\mathrm{Lt}}(x,y)+G_{\mathrm{Rt}}(x,y)}\frac{2B_{\mathrm{Rt}}(x,y)}{B_{\mathrm{Lt}}(x,y)+B_{\mathrm{Rt}}(x,y)}$

在以上的实施方式中，各层的输出值采用与摄像元件100的各光电转换元件接受的受光量成正比的线性灰度的值进行了说明。这是适于上述式7～式24的情况的方法。但是，采用上述式1～式6的情况下，也可以使用非线性转换即伽玛变换后的值。在具有任意的灰阶特性的伽玛空间中，若基于上述式1～式6进行将差保持恒定的运算，则能够同样地得到施加视差调制的效果。由灰阶转换产生的向伽玛空间的转变处理能够采用例如下述处理。

即，在RAW源图像数据的阶段实施灰阶转换并转变到伽玛空间。将RAW源图像数据表示成M(x，y)，将向伽玛空间转变后的RAW源图像数据表示成M^Γ(x，y)。实际上，对于输入值x以使之成为输出值y的方式实施非线性转换y＝f(x)。作为非线性转换的特性的例子，考虑以下各种情况。但是，输入值的灰阶和输出值的灰阶都在[0，1]的范围内被定义。以输入输出特性穿过(x，y)＝(0，0)和(1，1)的方式定义灰阶曲线(伽玛曲线)。设实际的输入灰阶X的最大值为Xmax，输出灰阶Y的最大值为Ymax时，x＝X/Xmax，y＝Y/Ymax，灰阶转换通过以下的式25进行。

[式25]

$Y=Y_{\max }\·f\left(\frac{X}{X_{\max }}\right)$

作为灰阶特性的例子考虑以下所示的(a)～(c)的情况。(a)的情况下，在与人类的视觉度特性相适的灰阶空间中施加视差调制。(b)的情况下，在全部的灰阶中提供噪声的波动幅度均匀的均等噪声空间，因此能够得到通过视差调制产生的噪声增幅最少的立体图像。(c)的情况下，第一实施方式的处理实质上与第二实施方式的处理等价。这是因为，取式7～式18的对数时，变得与进行式1～式6的运算相同。因此，能够通过对数转换利用和与差实现积与商的运算。像这样将灰阶特性的设定方式在从y＝x的线性灰度到y＝logx的对数特性之间改变，能够得到进行了线性灰度的情况下的第一实施方式和第二实施方式或者第三实施方式之间的中间性的图像处理效果。

(a)立方根灰阶特性

[式26]

y＝1.16x^1/3-0.16 ifx＞0.008856

[式27]

y＝1.16×7.781x otherwise

(b)带偏置的平方根灰阶特性

[式28]

$y=\frac{\sqrt{x+\mathrm{\ϵ}}-\sqrt{\mathrm{\ϵ}}}{\sqrt{1+\mathrm{\ϵ}}-\sqrt{\mathrm{\ϵ}}}$

但是，ε是正的常量。

(c)对数特性

[式29]

$y=\frac{\log (\mathrm{kx}+1)}{\log (k+1)}$

上述伽玛变换之后，实施使用图15等说明的各处理，通过实施逆伽玛变换(逆灰阶转换)，返回原来的色空间。逆灰阶转换通过以下的(式30)进行。

[式30]

$X=X_{\max }\·f^{-1}\left(\frac{Y}{Y_{\max }}\right)$

在以上的实施方式中，重复图案110在y轴方向上包括4个由4像素构成的拜耳阵列，在x轴方向上包含4个由4像素构成的拜耳阵列，由64像素构成。而且，无视差像素比视差像素多地排列。但是，无视差像素和视差像素的数量也可以是同等程度，视差像素也可以比无视差像素多地排列。这里，关于视差像素比无视差像素多地排列的重复图案的变化进行说明。

图18是表示重复图案的变化的一例的图。在图的例子中，2组拜耳阵列的4像素在左右相连由8像素构成重复图案110。将视差Lt像素分配到8像素中的左侧的Gb像素，将视差Rt像素分配到右侧的Gb像素。而且，将视差Lt像素分配到左侧的R像素，将视差Rt像素分配到右侧的R像素。而且，将视差Lt像素分配到左侧的B像素，将视差Rt像素分配到右侧的B像素。将无视差像素分配到2个Gr像素。

被分配到2个Gb像素的视差Lt像素和视差Rt像素是在被拍摄体存在于聚焦位置时，接受从一个微小区域放射的光束。另外，被分配到2个R像素的视差Lt像素和视差Rt像素接受从与Gb像素不同的一个微小区域放射的光束，被分配到2个B像素的视差Lt像素和视差Rt像素接受从与Gb像素及R像素不同的一个微小区域放射的光束。因此，提高作为3D图像的纵方向的分辨率的同时，能够得到RGB3色的输出，从而作为彩色图像的3D图像能够得到高品质的图像。

此外，若如上所述地使视差像素的种类为2种，则能够得到2视点的视差图像，但当然，视差像素的种类与要输出的视差图像数匹配地采用各种数量。即使视点数增加，也能够形成各种重复图案110。因此，能够选择与规格、目的等相应的重复图案110。

在采用了图18所示的重复图案的像素排列中，生成G_N层数据、R_N层数据、B_N层数据的情况下，算出各像素位置中的G_N、R_N、B_N的像素值并进行插值处理。采用图7所示的重复图案110的情况下，如图9所示，使用相邻或跳过1像素地相邻的像素的像素值进行了插值处理。这里，以成为插值对象的像素为中心，以包含插值所使用的周边像素在内的像素组为核芯进行定义。而且，对于核芯内的具有同种彩色滤光片的像素的像素值，根据与关注像素的距离而进行加权，通过对它们进行相加来进行插值处理。以下，对采用了图18所示的重复图案的情况下的无视差像素的插值处理进行详细说明。

图19是用于说明插值处理的图。图19(a)表示5×3像素的核芯。以5×3像素的核芯的中心为关注像素P8，从以P8为中心的5×3的核芯内的像素值分别算出与关注像素的位置对应的R_N像素、G_N像素、B_N像素的像素值。

图19(b)表示Gb像素成为关注像素的情况。图中的箭头表示在算出R_N的情况下所利用的像素及此时的权值的大小。具体来说，箭头的宽度越大，表示权值越大。Gb像素位置处的R_N是对于5×3像素的核芯内的R像素的像素值进行了与距离相应的加权的基础上而算出的。具体来说，能够使用以下的式31算出。

[式31]

$R_N=\frac{(P1+P5+P11+P15)}{8}+\frac{(P3+P13)}{4}$

另外，同样地，Gb像素位置处的G_N、B_N能够使用以下的式32、式33算出。

[式32]

$G_N=\frac{(P2+P4+P12+P14)}{4}$

[式33]

$B_N=\frac{(P7+P9)}{2}$

图19(c)表示R像素成为关注像素的情况。此时，R像素位置处的R_N、G_N、B_N能够使用以下的式34、式35、式36算出。

[式34]

$R_N=\frac{(P6+P10)}{4}+\frac{P8}{2}$

[式35]

$G_N=\frac{(P7+P9)}{2}$

[式36]

$B_N=\frac{(P2+P4+P12+P14)}{4}$

图19(d)表示B像素成为关注像素的情况。此时，B像素位置处的R_N、G_N、B_N能够使用以下的式37、式38、式39算出。

[式37]

$R_N=\frac{(P2+P4+P12+P14)}{4}$

[式38]

$G_N=\frac{(P1+P3+P5+P11+P13+P15)}{6}$

[式39]

$B_N=\frac{(P6+P10)}{4}+\frac{P8}{2}$

图19(e)表示Gr像素成为关注像素的情况。此时，Gr像素位置处的R_N、G_N、B_N能够使用以下的式40、式41、式42算出。

[式40]

$R_N=\frac{(P7+P9)}{2}$

[式41]

$G_N=\frac{(P6+P8+P10)}{3}$

[式42]

$B_N=\frac{(P1+P5+P11+P15)}{8}+\frac{(P3+P13)}{4}$

此外，这里，对于视差Lt像素成为关注像素的情况进行了说明，但视差Rt像素成为关注像素的情况也能够使用同样的运算式。通过关于像素排列的整体算出拜耳阵列的各个像素位置处的G_N、R_N、B_N的像素值，能够生成G_N层数据、R_N层数据、B_N层数据。能够与第一～第三实施方式同样地对这样生成的G_N、R_N、B_N施加视差调制。

在上述例子中，关于作为彩色滤光片排列采用了拜耳阵列的情况进行了说明，但当然在其他的彩色滤光片排列中也能够采用。此时，构成一组光电转换元件组的视差像素分别具备具有朝向相互不同的部分区域的开口部104的开口掩模103为好。

在以上的说明中，作为构成被拍摄体像的颜色的原色，使用了红色、绿色及蓝色这3个。但是，也可以将添加了翠色等的4个以上的颜色作为原色。另外，也可以代替红色、绿色及蓝色，采用由黄色、品红色、蓝绿色的组合产生的补色的3原色。

在上述说明中，例如图像处理部205所包含的像素值提取部231及算出部233等作为构成数码相机10的各构成要素发挥功能并说明了各自的处理。另外，使控制部201及图像处理部205工作的控制程序能够使构成数码相机10的各硬件作为执行上述处理的构成要素发挥功能。另外，生成彩色图像数据的这些处理也可以不由数码相机10实施，而由外部的个人计算机等设备实施。该情况下，外部的个人计算机等设备作为图像处理装置发挥功能。图像处理装置取得例如RAW源图像数据并生成彩色图像数据。图像处理装置取得了RAW源图像数据的情况下，还执行上述层分离处理、层数据的插值处理。另外，图像处理装置也可以在摄像装置这一侧取得实施了插值处理的层数据。

对于无视差像素使用由疏的视差像素生成的低分辨率的视差图像施加视差调制，由此生成高分辨率的左视差图像R'_Lt、G'_Lt、B'_Lt和高分辨率的右视差图像R'_Rt、G'_Rt、B'_Rt，关于该情况的变形例进行说明。例如每当生成高分辨率的左视差图像R'_Lt时，若对各像素的像素值简单地加算RGB的各颜色成分的视差调制量，则算出的值相对于实际的视差量的水平成为被夸大的值。这里，颜色成分存在RGB这3种，从而以加权系数和成为1的方式将各颜色成分相对于视差调制量的加权系数分别设定成1/3倍。而且，当加算RGB的各颜色成分的视差调制量时，使各颜色成分的视差调制量成为对应的加权系数倍之后，分别进行加算，由此能够得到与实际的视差量的水平相应的值。而且，优选将图22所示的视差像素的色分配比作为视差调制项的加权系数反映。这里，将左右的视差图像间的R的像素值之差乘以比例系数得到的项、G的像素值之差乘以比例系数得到的项、B的像素值之差乘以比例系数得到的项分别称为视差调制项。左视差像素和右视差像素都是R：G：B＝1：2：1，从而R的视差调制项乘以1/4倍，G的视差调制项乘以1/2倍，B的视差调制项乘以1/4倍。具体来说，使用以下的式子算出高分辨率的左视差图像R'_Lt、G'_Lt、B'_Lt和高分辨率的右视差图像R'_Rt、G'_Rt、B'_Rt。

采用视差调制项的加权系数反映图22所示的视差像素的颜色分配比时，上述式1～式3成为以下所示的式43～式45。

[式43]

$G_{\mathrm{Lt}}^{\′}(x,y)=G_N(x,y)+\frac{1}{4}\·\frac{R_{\mathrm{Lt}}(x,y)-R_{\mathrm{Rt}}(x,y)}{2}+\frac{1}{2}\·\frac{G_{\mathrm{Lt}}(x,y)-G_{\mathrm{Rt}}(x,y)}{2}+\frac{1}{4}\·\frac{B_{\mathrm{Lt}}(x,y)-B_{\mathrm{Rt}}(x,y)}{2}$

[式44]

$B_{\mathrm{Lt}}^{\′}(x,y)=B_N(x,y)+\frac{1}{4}\·\frac{R_{\mathrm{Lt}}(x,y)-R_{\mathrm{Rt}}(x,y)}{2}+\frac{1}{2}\·\frac{G_{\mathrm{Lt}}(x,y)-G_{\mathrm{Rt}}(x,y)}{2}+\frac{1}{4}\·\frac{B_{\mathrm{Lt}}(x,y)-B_{\mathrm{Rt}}(x,y)}{2}$

[式45]

$R_{\mathrm{Lt}}^{\′}(x,y)=R_N(x,y)+\frac{1}{4}\·\frac{R_{\mathrm{Lt}}(x,y)-R_{\mathrm{Rt}}(x,y)}{2}+\frac{1}{2}\·\frac{G_{\mathrm{Lt}}(x,y)-G_{\mathrm{Rt}}(x,y)}{2}+\frac{1}{4}\·\frac{B_{\mathrm{Lt}}(x,y)-B_{\mathrm{Rt}}(x,y)}{2}$

同样地，采用视差调制项的加权系数反映图22所示的视差像素的颜色分配比时，上述式4～式6成为以下所示的式46～式48。

[式46]

$G_{\mathrm{Rt}}^{\′}(x,y)=G_N(x,y)+\frac{1}{4}\·\frac{R_{\mathrm{Rt}}(x,y)-R_{\mathrm{Lt}}(x,y)}{2}+\frac{1}{2}\·\frac{G_{\mathrm{Rt}}(x,y)-G_{\mathrm{Lt}}(x,y)}{2}+\frac{1}{4}\·\frac{B_{\mathrm{Rt}}(x,y)-B_{\mathrm{Lt}}(x,y)}{2}$

[式47]

$B_{\mathrm{Rt}}^{\′}(x,y)=B_N(x,y)+\frac{1}{4}\·\frac{R_{\mathrm{Rt}}(x,y)-R_{\mathrm{Lt}}(x,y)}{2}+\frac{1}{2}\·\frac{G_{\mathrm{Rt}}(x,y)-G_{\mathrm{Lt}}(x,y)}{2}+\frac{1}{4}\·\frac{B_{\mathrm{Rt}}(x,y)-B_{\mathrm{Lt}}(x,y)}{2}$

[式48]

$R_{\mathrm{Rt}}^{\′}(x,y)=R_N(x,y)+\frac{1}{4}\·\frac{R_{\mathrm{Rt}}(x,y)-R_{\mathrm{Lt}}(x,y)}{2}+\frac{1}{2}\·\frac{G_{\mathrm{Rt}}(x,y)-G_{\mathrm{Lt}}(x,y)}{2}+\frac{1}{4}\·\frac{B_{\mathrm{Rt}}(x,y)-B_{\mathrm{Lt}}(x,y)}{2}$

采用视差调制项的加权系数反映图22所示的视差像素的色分配比时，上述式7、式9、式10成为以下所示的式49～式51。这里，将表示左右的视差图像间的R的像素值之比的4次根的项、表示G的像素值之比的平方根的项、表示B的像素值之比的4次根的项分别称为视差调制项。

[式49]

$G_{\mathrm{Lt}}^{\′}(x,y)=G_N(x,y)\sqrt[4]{\frac{R_{\mathrm{Lt}}(x,y)}{\sqrt{R_{\mathrm{Lt}}(x,y)\·R_{\mathrm{Rt}}(x,y)}}}\sqrt{\frac{G_{\mathrm{Lt}}(x,y)}{\sqrt{G_{\mathrm{Lt}}(x,y)\·G_{\mathrm{Rt}}(x,y)}}}\sqrt[4]{\frac{B_{\mathrm{Lt}}(x,y)}{\sqrt{B_{\mathrm{Lt}}(x,y)\·B_{\mathrm{Rt}}(x,y)}}}$

[式50]

$B_{\mathrm{Lt}}^{\′}(x,y)=B_N(x,y)\sqrt[4]{\frac{R_{\mathrm{Lt}}(x,y)}{\sqrt{R_{\mathrm{Lt}}(x,y)\·R_{\mathrm{Rt}}(x,y)}}}\sqrt{\frac{G_{\mathrm{Lt}}(x,y)}{\sqrt{G_{\mathrm{Lt}}(x,y)\·G_{\mathrm{Rt}}(x,y)}}}\sqrt[4]{\frac{B_{\mathrm{Lt}}(x,y)}{\sqrt{B_{\mathrm{Lt}}(x,y)\·B_{\mathrm{Rt}}(x,y)}}}$

[式51]

$R_{\mathrm{Lt}}^{\′}(x,y)=R_N(x,y)\sqrt[4]{\frac{R_{\mathrm{Lt}}(x,y)}{\sqrt{R_{\mathrm{Lt}}(x,y)\·R_{\mathrm{Rt}}(x,y)}}}\sqrt{\frac{G_{\mathrm{Lt}}(x,y)}{\sqrt{G_{\mathrm{Lt}}(x,y)\·G_{\mathrm{Rt}}(x,y)}}}\sqrt[4]{\frac{B_{\mathrm{Lt}}(x,y)}{\sqrt{B_{\mathrm{Lt}}(x,y)\·B_{\mathrm{Rt}}(x,y)}}}$

改写式49～式51，成为以下的式52～式54。

[式52]

$G_{\mathrm{Lt}}^{\′}(x,y)=G_N(x,y)\sqrt[4]{\sqrt{\frac{R_{\mathrm{Lt}}(x,y)}{R_{\mathrm{Rt}}(x,y)}}}\sqrt{\sqrt{\frac{G_{\mathrm{Lt}}(x,y)}{G_{\mathrm{Rt}}(x,y)}}}\sqrt[4]{\sqrt{\frac{B_{\mathrm{Lt}}(x,y)}{B_{\mathrm{Rt}}(x,y)}}}$

[式53]

$B_{\mathrm{Lt}}^{\′}(x,y)=B_N(x,y)\sqrt[4]{\sqrt{\frac{R_{\mathrm{Lt}}(x,y)}{R_{\mathrm{Rt}}(x,y)}}}\sqrt{\sqrt{\frac{G_{\mathrm{Lt}}(x,y)}{G_{\mathrm{Rt}}(x,y)}}}\sqrt[4]{\sqrt{\frac{B_{\mathrm{Lt}}(x,y)}{B_{\mathrm{Rt}}(x,y)}}}$

[式54]

$R_{\mathrm{Lt}}^{\′}(x,y)=R_N(x,y)\sqrt[4]{\sqrt{\frac{R_{\mathrm{Lt}}(x,y)}{R_{\mathrm{Rt}}(x,y)}}}\sqrt{\sqrt{\frac{G_{\mathrm{Lt}}(x,y)}{G_{\mathrm{Rt}}(x,y)}}}\sqrt[4]{\sqrt{\frac{B_{\mathrm{Lt}}(x,y)}{B_{\mathrm{Rt}}(x,y)}}}$

同样地，采用视差调制项的加权系数反映图22所示的视差像素的颜色分配比时，上述式13～式15成为以下所示的式55～式57。

[式55]

$G_{\mathrm{Rt}}^{\′}(x,y)=G_N(x,y)\sqrt[4]{\frac{R_{\mathrm{Rt}}(x,y)}{\sqrt{R_{\mathrm{Lt}}(x,y)\·R_{\mathrm{Rt}}(x,y)}}}\sqrt{\frac{G_{\mathrm{Rt}}(x,y)}{\sqrt{G_{\mathrm{Lt}}(x,y)\·G_{\mathrm{Rt}}(x,y)}}}\sqrt[4]{\frac{B_{\mathrm{Rt}}(x,y)}{\sqrt{B_{\mathrm{Lt}}(x,y)\·B_{\mathrm{Rt}}(x,y)}}}$

[式56]

$B_{\mathrm{Rt}}^{\′}(x,y)=B_N(x,y)\sqrt[4]{\frac{R_{\mathrm{Rt}}(x,y)}{\sqrt{R_{\mathrm{Lt}}(x,y)\·R_{\mathrm{Rt}}(x,y)}}}\sqrt{\frac{G_{\mathrm{Rt}}(x,y)}{\sqrt{G_{\mathrm{Lt}}(x,y)\·G_{\mathrm{Rt}}(x,y)}}}\sqrt[4]{\frac{B_{\mathrm{Rt}}(x,y)}{\sqrt{B_{\mathrm{Lt}}(x,y)\·B_{\mathrm{Rt}}(x,y)}}}$

[式57]

$R_{\mathrm{Rt}}^{\′}(x,y)=R_N(x,y)\sqrt[4]{\frac{R_{\mathrm{Rt}}(x,y)}{\sqrt{R_{\mathrm{Lt}}(x,y)\·R_{\mathrm{Rt}}(x,y)}}}\sqrt{\frac{G_{\mathrm{Rt}}(x,y)}{\sqrt{G_{\mathrm{Lt}}(x,y)\·G_{\mathrm{Rt}}(x,y)}}}\sqrt[4]{\frac{B_{\mathrm{Rt}}(x,y)}{\sqrt{B_{\mathrm{Lt}}(x,y)\·B_{\mathrm{Rt}}(x,y)}}}$

改写式55～式57，成为以下的式58～式60。

[式58]

$G_{\mathrm{Rt}}^{\′}(x,y)=G_N(x,y)\sqrt[4]{\sqrt{\frac{R_{\mathrm{Rt}}(x,y)}{R_{\mathrm{Lt}}(x,y)}}}\sqrt{\sqrt{\frac{G_{\mathrm{Rt}}(x,y)}{G_{\mathrm{Lt}}(x,y)}}}\sqrt[4]{\sqrt{\frac{B_{\mathrm{Rt}}(x,y)}{B_{\mathrm{Lt}}(x,y)}}}$

[式59]

$B_{\mathrm{Rt}}^{\′}(x,y)=B_N(x,y)\sqrt[4]{\sqrt{\frac{R_{\mathrm{Rt}}(x,y)}{R_{\mathrm{Lt}}(x,y)}}}\sqrt{\sqrt{\frac{G_{\mathrm{Rt}}(x,y)}{G_{\mathrm{Lt}}(x,y)}}}\sqrt[4]{\sqrt{\frac{B_{\mathrm{Rt}}(x,y)}{B_{\mathrm{Lt}}(x,y)}}}$

[式60]

$R_{\mathrm{Rt}}^{\′}(x,y)=R_N(x,y)\sqrt[4]{\sqrt{\frac{R_{\mathrm{Rt}}(x,y)}{R_{\mathrm{Lt}}(x,y)}}}\sqrt{\sqrt{\frac{G_{\mathrm{Rt}}(x,y)}{G_{\mathrm{Lt}}(x,y)}}}\sqrt[4]{\sqrt{\frac{B_{\mathrm{Rt}}(x,y)}{B_{\mathrm{Lt}}(x,y)}}}$

同样地，采用视差调制项的加权系数反映图22所示的视差像素的色分配比时，上述式19～式24成为以下所示的式61～式66。这里，将左视差像素或右视差像素中的R的像素值除以左视差像素的R的像素值和右视差像素的R的像素值的算术平均得到的项、左视差像素或右视差像素中的G的像素值除以左视差像素的G的像素值和右视差像素的G的像素值的算术平均得到的项、左视差像素或右视差像素中的B的像素值除以左视差像素的B的像素值和右视差像素的B的像素值的算术平均得到的项分别称为视差调制项。

[式61]

$G_{\mathrm{Lt}}^{\′}(x,y)=G_N(x,y)\sqrt[4]{\frac{2R_{\mathrm{Lt}}(x,y)}{R_{\mathrm{Lt}}(x,y)+R_{\mathrm{Rt}}(x,y)}}\sqrt{\frac{2G_{\mathrm{Lt}}(x,y)}{G_{\mathrm{Lt}}(x,y)+G_{\mathrm{Rt}}(x,y)}}\sqrt[4]{\frac{2B_{\mathrm{Lt}}(x,y)}{B_{\mathrm{Lt}}(x,y)+B_{\mathrm{Rt}}(x,y)}}$

[式62]

$B_{\mathrm{Lt}}^{\′}(x,y)=B_N(x,y)\sqrt[4]{\frac{2R_{\mathrm{Lt}}(x,y)}{R_{\mathrm{Lt}}(x,y)+R_{\mathrm{Rt}}(x,y)}}\sqrt{\frac{2G_{\mathrm{Lt}}(x,y)}{G_{\mathrm{Lt}}(x,y)+G_{\mathrm{Rt}}(x,y)}}\sqrt[4]{\frac{2B_{\mathrm{Lt}}(x,y)}{B_{\mathrm{Lt}}(x,y)+B_{\mathrm{Rt}}(x,y)}}$

[式63]

$R_{\mathrm{Lt}}^{\′}(x,y)=R_N(x,y)\sqrt[4]{\frac{2R_{\mathrm{Lt}}(x,y)}{R_{\mathrm{Lt}}(x,y)+R_{\mathrm{Rt}}(x,y)}}\sqrt{\frac{2G_{\mathrm{Lt}}(x,y)}{G_{\mathrm{Lt}}(x,y)+G_{\mathrm{Rt}}(x,y)}}\sqrt[4]{\frac{2B_{\mathrm{Lt}}(x,y)}{B_{\mathrm{Lt}}(x,y)+B_{\mathrm{Rt}}(x,y)}}$

[式64]

$G_{\mathrm{Rt}}^{\′}(x,y)=G_N(x,y)\sqrt[4]{\frac{2R_{\mathrm{Rt}}(x,y)}{R_{\mathrm{Lt}}(x,y)+R_{\mathrm{Rt}}(x,y)}}\sqrt{\frac{2G_{\mathrm{Rt}}(x,y)}{G_{\mathrm{Lt}}(x,y)+G_{\mathrm{Rt}}(x,y)}}\sqrt[4]{\frac{2B_{\mathrm{Rt}}(x,y)}{B_{\mathrm{Lt}}(x,y)+B_{\mathrm{Rt}}(x,y)}}$

[式65]

$B_{\mathrm{Rt}}^{\′}(x,y)=B_N(x,y)\sqrt[4]{\frac{2R_{\mathrm{Rt}}(x,y)}{R_{\mathrm{Lt}}(x,y)+R_{\mathrm{Rt}}(x,y)}}\sqrt{\frac{2G_{\mathrm{Rt}}(x,y)}{G_{\mathrm{Lt}}(x,y)+G_{\mathrm{Rt}}(x,y)}}\sqrt[4]{\frac{2B_{\mathrm{Rt}}(x,y)}{B_{\mathrm{Lt}}(x,y)+B_{\mathrm{Rt}}(x,y)}}$

[式66]

$R_{\mathrm{Rt}}^{\′}(x,y)=R_N(x,y)\sqrt[4]{\frac{2R_{\mathrm{Rt}}(x,y)}{R_{\mathrm{Lt}}(x,y)+R_{\mathrm{Rt}}(x,y)}}\sqrt{\frac{2G_{\mathrm{Rt}}(x,y)}{G_{\mathrm{Lt}}(x,y)+G_{\mathrm{Rt}}(x,y)}}\sqrt[4]{\frac{2B_{\mathrm{Rt}}(x,y)}{B_{\mathrm{Lt}}(x,y)+B_{\mathrm{Rt}}(x,y)}}$

在第一实施方式至第三实施方式中，示出了直接在RGB色空间中施加多色的视差调制的例子。但是，施加多色的视差调制这样的概念在其向其他的表色系统转换的情况下也成立。这里示出了该例子。例如，在YCbCr空间中施加视差调制。该情况下，图像处理部205具有将2D彩色图像RN、GN、BN、由疏的视差Lt像素生成的低分辨率的左视差图像RLt、GLt、BLt、由疏的视差Rt像素生成的低分辨率的右视差图像RRt、GRt、BRt转换成YCbCr空间的转换部。而且，转换部分别生成例如2D彩色图像YN、CbN、CrN、低分辨率的左视差图像YLt、CbL、CrLt、低分辨率的右视差图像YRt、CbRt、CrRt。以下，以将第一实施方式所示的差保持恒定的情况的视差调制为例进行详细说明。此外，关于第二、第三实施方式，也同样地能够适用YCbCr空间中的视差调制。

算出部233在分别将亮度值Y_Lt(x_m，y_n)和亮度值Y_Rt(x_m，y_n)之差、色差Cb_Lt(x_m，y_n)和色差Cb_Rt(x_m，y_n)之差、色差Cr_Lt(x_m，y_n)和色差Cr_Rt(x_m，y_n)之差乘以比例系数的基础上对它们进行相加。而且，将得到的值加上Y_N(x_m，y_n)，也就是说，进行视差调制，由此算出亮度值Y'_Lt(x_m，y_n)。换言之，算出部233以下述方式算出亮度值Y'_Lt(x_m，y_n)，即，使得亮度值Y'_Lt(x_m，y_n)和亮度值Y_N(x_m，y_n)之差相对于分别对左右的视差图像间的Y、Cb、Cr的每个成分的差乘以比例系数并对其进行相加而得到的值保持相关关系。算出部233关于色差Cb'_Lt(x_m，y_n)、色差Cr'_Lt(x_m，y_n)，也同样地算出。算出部233关于右侧视点的亮度值Y'_Rt(x_m，y_n)、右侧视点的色差Cb'_Rt(x_m，y_n)、右侧视点的色差Cr'_Rt(x_m，y_n)，也同样地算出。具体来说，通过以下的各数学式算出。

左视差调制

$Y_{\mathrm{Lt}}^{\′}(x,y)=Y_N(x,y)+{\mathrm{\α}}_{\mathrm{\γ}}\·\frac{Y_{\mathrm{Lt}}(x,y)-Y_{\mathrm{Rt}}(x,y)}{2}+{\mathrm{\β}}_{\mathrm{\γ}}\·\frac{{\mathrm{Cb}}_{\mathrm{Lt}}(x,y)-{\mathrm{Cb}}_{\mathrm{Rt}}(x,y)}{2}+{\mathrm{\γ}}_{\mathrm{\γ}}\·\frac{{\mathrm{Cr}}_{\mathrm{Lt}}(x,y)-{\mathrm{Cr}}_{\mathrm{Rt}}(x,y)}{2}$

${\mathrm{Cb}}_{\mathrm{Lt}}^{\′}(x,y)={\mathrm{Cb}}_N(x,y)+{\mathrm{\α}}_{\mathrm{Cb}}\·\frac{Y_{\mathrm{Lt}}(x,y)-Y_{\mathrm{Rt}}(x,y)}{2}+{\mathrm{\β}}_{\mathrm{Cb}}\·\frac{{\mathrm{Cb}}_{\mathrm{Lt}}(x,y)-{\mathrm{Cb}}_{\mathrm{Rt}}(x,y)}{2}+{\mathrm{\γ}}_{\mathrm{Cr}}\·\·\frac{{\mathrm{Cr}}_{\mathrm{Lt}}(x,y)-{\mathrm{Cr}}_{\mathrm{Rt}}(x,y)}{2}$

${\mathrm{Cr}}_{\mathrm{Lt}}^{\′}(x,y)={\mathrm{Cr}}_N(x,y)+{\mathrm{\α}}_{\mathrm{Cr}}\·\frac{Y_{\mathrm{Lt}}(x,y)-Y_{\mathrm{Rt}}(x,y)}{2}+{\mathrm{\β}}_{\mathrm{Cr}}\·\frac{{\mathrm{Cb}}_{\mathrm{Lt}}(x,y)-{\mathrm{Cb}}_{\mathrm{Rt}}(x,y)}{2}+{\mathrm{\γ}}_{\mathrm{Cr}}\·\·\frac{{\mathrm{Cr}}_{\mathrm{Lt}}(x,y)-{\mathrm{Cr}}_{\mathrm{Rt}}(x,y)}{2}$

右视差调制

$Y_{\mathrm{Rt}}^{\′}(x,y)=Y_N(x,y)+{\mathrm{\α}}_{\mathrm{\γ}}\·\frac{Y_{\mathrm{Rt}}(x,y)-Y_{\mathrm{Lt}}(x,y)}{2}+{\mathrm{\β}}_{\mathrm{\γ}}\·\frac{{\mathrm{Cb}}_{\mathrm{Rt}}(x,y)-{\mathrm{Cb}}_{\mathrm{Lt}}(x,y)}{2}+{\mathrm{\γ}}_{\mathrm{\γ}}\·\frac{{\mathrm{Cr}}_{\mathrm{Rt}}(x,y)-{\mathrm{Cr}}_{\mathrm{Lt}}(x,y)}{2}$

${\mathrm{Cb}}_{\mathrm{Rt}}^{\′}(x,y)={\mathrm{Cb}}_N(x,y)+{\mathrm{\α}}_{\mathrm{Cb}}\·\frac{Y_{\mathrm{Rt}}(x,y)-Y_{\mathrm{Lt}}(x,y)}{2}+{\mathrm{\β}}_{\mathrm{Cb}}\·\frac{{\mathrm{Cb}}_{\mathrm{Rt}}(x,y)-{\mathrm{Cb}}_{\mathrm{Lt}}(x,y)}{2}+{\mathrm{\γ}}_{\mathrm{Cb}}\·\·\frac{{\mathrm{Cr}}_{\mathrm{Rt}}(x,y)-{\mathrm{Cr}}_{\mathrm{Lt}}(x,y)}{2}$

${\mathrm{Cr}}_{\mathrm{Rt}}^{\′}(x,y)={\mathrm{Cr}}_N(x,y)+{\mathrm{\α}}_{\mathrm{Cr}}\·\frac{Y_{\mathrm{Rt}}(x,y)-Y_{\mathrm{Lt}}(x,y)}{2}+{\mathrm{\β}}_{\mathrm{Cr}}\·\frac{{\mathrm{Cb}}_{\mathrm{Rt}}(x,y)-{\mathrm{Cb}}_{\mathrm{Lt}}(x,y)}{2}+{\mathrm{\γ}}_{\mathrm{Cr}}\·\·\frac{{\mathrm{Cr}}_{\mathrm{Rt}}(x,y)-{\mathrm{Cr}}_{\mathrm{Lt}}(x,y)}{2}$

其中，

α_γ+β_γ+γ_γ＝1，α_γ，β_γ，γ_γ≥0

α_Cb+β_Cb+γ_Cb＝1，α_Cb，β_Cb，γ_Cb≥0

α_Cr+β_Cr+γ_Cr＝1，α_Cr，β_Cr，γ_Cr≥0

α_γ、β_γ、γ_γ、α_Cb、β_Cb、γ_Cb、α_Cr、β_Cr、γ_Cr如下所述地能够用3×3的矩阵表示。

αγ	βγ	γγ
			αCb	βCb	γCb
αCr	βCr	γCr

亮度值Y、色差Cb、色差Cr为4：4：4的情况下，由于各像素存在亮度值Y、色差Cb、色差Cr，所以α_γ、β_γ、γ_γ、α_Cb、β_Cb、γ_Cb、α_Cr、β_Cr、γ_Cr如下所述地全部设定成1/3即可。

1/3	1/3	1/3
			1/3	1/3	1/3
1/3	1/3	1/3

另外，如下所述，α_γ、β_Cb、γ_Cr的值为1，除此以外为0即可。该情况下，例如亮度值Y’_Lt(x_m,y_n)不使用色差Cb以及色差Cr，而使用亮度值Y_Lt(x_m,y_n)与亮度值Y_Rt(x_m,y_n)之差和Y_N(x_m,y_n)算出。

1	0	0
			0	1	0
0	0	1

亮度值Y、色差Cb、色差Cr为4：2：2的情况下，或者亮度值Y、色差Cb、色差Cr为4：2：0的情况下，还反映亮度值Y、色差Cb、色差Cr的密度比即可。具体来说，色差Cb、色差Cr越小，越提高亮度值Y的比率即可。

这里，基于实验事实说明了进行多色视差调制的画质的效果。假设视差调制不使用全部3色而仅使用单色成分进行。这样的情况下，具有颜色边界的被拍摄体像不能够良好地进行视差位移，成为视差过大位移或过小位移，在立体像中明显发生浮色或沉色现象。尤其，能够极其显著地看出红色的被拍摄体看起来浮起的红浮现象。另外，对于使用镜头的轴上色收差大的光学系统拍摄的图像，在立体图像生成过程中进行了单色视差调制时，也能够确认发生同样的现象。而进行了多色视差调制的情况下，能够带来大致完全地抑制这些现象的极其显著的画质效果。这是因为，在颜色边界部，某颜色成分引起过大位移，其他的颜色成分引起过小位移的情况较多，实际上是因为与合理的视差位移量抵消的机构发挥作用。轴上色收差也是因为模糊大的颜色成分和小的颜色成分混合存在，因此使用3个颜色成分时，对3色的平均的模糊进行稳定的视差调制。在单反立体摄像中，模糊和视差量处于对应关系，通常，镜头的轴上色收差导致浮色、沉色现象。但是，进行多色视差调制时，使存在于颜色成分间的模糊程度的不同平均化，还一并产生消除浮色、沉色现象的效果。

上述单反立体摄像中的单色视差调制存在的课题和多色视差调制带来的解决对策之间的关系恰好与2D摄像中的例如对拜耳阵列进行颜色插值时的单色外插和多色外插的关系相似。单色外插是指例如在USP5541653所示的拜耳阵列的R成分的像素位置插值G成分时，利用由中心的R像素和周边的R像素的平均值的差值构成的外插项修正周边的G像素的平均值并算出插值。进行这样的单色外插时，在颜色边界部分，存在发生过修正导致的超调的问题，而且，存在倍率色差时，发生块化现象，这详细记载于与本申请同一发明人的USP7236628中。作为其解决手段，进行多色的外插修正，则能够全部解决这些问题，在其发明中进行了说明。因此，2D图像的去马赛克处理中的多色外插修正与3D图像的立体图像生成中的多色视差调制恰好处于对应关系，两者都在颜色边界部相互以抵消效果有效地发挥功能，并且防止2D图像生成中的倍率色收差的影响的效果在3D图像生成中体现为防止轴上色收差的影响的效果。此外，上述“多色”与“使用了多个颜色成分”同义。

以上，使用实施方式说明了本发明，但本发明的技术范围不限于上述实施方式记载的范围。本领域技术人员显然能够对上述实施方式施加各种变更或改良。施加了各种变更或改良的方式也包含于本发明的技术范围，这从权利要求书的记载得以明确。

权利要求书、说明书及附图中表示的装置、系统、程序及方法中的工作、顺序、步骤及阶段等各处理的执行顺序只要没有特别明示“在此之前”、“此前”等，只要不是在后的处理使用在先的处理的输出，应当认为能够以任意的顺序实现。关于权利要求书、说明书及附图中的工作流程，为便于说明，使用了“首先，”、“其次，”等进行说明，但并不意味着必须按该顺序实施。

附图标记的说明

10数码相机，20摄影镜头，21光轴，30、31被拍摄体，100摄像元件，101微型镜头，102彩色滤光片，103开口掩模，104开口部，105布线层，106布线，107开口，108光电转换元件，109基板，110重复图案，201控制部，202A/D转换电路，203存储器，204驱动部，205图像处理部，207存储卡IF，208操作部，209显示部，210LCD驱动电路，211AF传感器，220存储卡，231像素值提取部，233算出部，322中心线，1801分布曲线，1802分布曲线，1803分布曲线，1804分布曲线，1805分布曲线，1806合成分布曲线，1807分布曲线，1808分布曲线，1809合成分布曲线。

Claims (30)

1.一种图像处理装置，其特征在于，具有：

第一视点像素值提取部，在作为构成被拍摄体像的颜色的n个颜色成分之一的特定颜色中，从与作为捕捉所述被拍摄体像的多个视点之一的第一视点相对应的第一视点彩色图像数据，提取对象像素位置处的所述第一视点彩色图像数据的所述特定颜色的像素值，其中n≧2；

第二视点像素值提取部和第三视点像素值提取部，从与不同于所述第一视点的第二视点及第三视点相对应的第二视点彩色图像数据及第三视点彩色图像数据，提取所述对象像素位置处的所述第二视点彩色图像数据的至少第一颜色成分和第二颜色成分的像素值、以及所述第三视点彩色图像数据的至少第一颜色成分和第二颜色成分的像素值；和

第二视点像素值算出部，以如下方式算出所述第二视点彩色图像数据的新求出的所述特定颜色的像素值，即，使得

该第二视点的新求出的所述特定颜色的像素值与所述第一视点像素值提取部所提取出的所述第一视点彩色图像数据的特定颜色的像素值之间的差至少相对于

1)所述第二视点像素值提取部和第三视点像素值提取部所提取出的所述第二视点彩色图像数据的第一颜色成分的像素值与所述第三视点彩色图像数据的第一颜色成分的像素值之间的差，及

2)所述第二视点像素值提取部和第三视点像素值提取部所提取出的所述第二视点彩色图像数据的第二颜色成分的像素值与所述第三视点彩色图像数据的第二颜色成分的像素值之间的差

的和保持相关关系。

2.如权利要求1所述的图像处理装置，其特征在于，

所述第二视点像素值算出部以如下方式算出所述第二视点彩色图像数据的新求出的特定颜色的像素值，即，使得

该第二视点的新求出的特定颜色的像素值与所述第一视点像素值提取部所提取出的所述第一视点彩色图像数据的特定颜色的像素值之间的差至少与

1)所述第二视点像素值提取部和第三视点像素值提取部所提取出的所述第二视点彩色图像数据的第一颜色成分的像素值与所述第三视点彩色图像数据的第一颜色成分的像素值之间的差，及

2)所述第二视点像素值提取部和第三视点像素值提取部所提取出的所述第二视点彩色图像数据的第二颜色成分的像素值与所述第三视点彩色图像数据的第二颜色成分的像素值之间的差

的和成正比。

3.一种图像处理装置，其特征在于，具有：

第一视点像素值提取部，在作为构成被拍摄体像的颜色的n个颜色成分之一的特定颜色中，从与作为捕捉所述被拍摄体像的多个视点之一的第一视点相对应的第一视点彩色图像数据，提取对象像素位置处的所述第一视点彩色图像数据的所述特定颜色的像素值，其中n≧2；

第二视点像素值提取部和第三视点像素值提取部，从与不同于所述第一视点的第二视点及第三视点相对应的第二视点彩色图像数据及第三视点彩色图像数据，提取所述对象像素位置处的所述第二视点彩色图像数据的至少第一颜色成分和第二颜色成分的像素值、以及所述第三视点彩色图像数据的至少第一颜色成分和第二颜色成分的像素值；和

第二视点像素值算出部，以如下方式算出所述第二视点彩色图像数据的新求出的所述特定颜色的像素值，即，使得

该第二视点的新求出的所述特定颜色的像素值和所述第一视点像素值提取部所提取出的所述第一视点彩色图像数据的特定颜色的像素值之间的比至少相对于2个比

1)根据所述第二视点像素值提取部和第三视点像素值提取部所提取出的所述第二视点彩色图像数据的第一颜色成分的像素值、和所述第三视点彩色图像数据的第一颜色成分的像素值而定义的比，及

2)根据所述第二视点像素值提取部和第三视点像素值提取部所提取出的所述第二视点彩色图像数据的第二颜色成分的像素值、和所述第三视点彩色图像数据的第二颜色成分的像素值而定义的比

的积保持相关关系。

4.如权利要求3所述的图像处理装置，其特征在于，

所述第二视点像素值算出部以如下方式算出所述第二视点彩色图像数据的新求出的特定颜色的像素值，即，使得

该第二视点的新求出的特定颜色的像素值和所述第一视点像素值提取部所提取出的所述第一视点彩色图像数据的特定颜色的像素值之间的比至少与

1)所述第二视点像素值提取部和第三视点像素值提取部所提取出的所述第二视点彩色图像数据的第一颜色成分的像素值与所述第三视点彩色图像数据的第一颜色成分的像素值之间的比的平方根，及

2)所述第二视点像素值提取部和第三视点像素值提取部所提取出的所述第二视点彩色图像数据的第二颜色成分的像素值和所述第三视点彩色图像数据的第二颜色成分的像素值之间的比的平方根

的积成正比。

5.如权利要求3所述的图像处理装置，其特征在于，

所述第二视点像素值算出部以如下方式求出所述第二视点彩色图像数据的新求出的特定颜色的像素值，即，使得

该第二视点的新求出的特定颜色的像素值与所述第一视点像素值提取部所提取出的所述第一视点彩色图像数据的特定颜色的像素值之间的比至少与

1)所述第二视点像素值提取部和第三视点像素值提取部所提取出的所述第二视点彩色图像数据的第一颜色成分的像素值与所述第三视点彩色图像数据的第一颜色成分的像素值和所述第二视点彩色图像数据的第一颜色成分的像素值之和之间的比，及

2)所述第二视点像素值提取部和第三视点像素值提取部所提取出的所述第二视点彩色图像数据的第二颜色成分的像素值与所述第三视点彩色图像数据的第二颜色成分的像素值和所述第二视点彩色图像数据的第二颜色成分的像素值之和之间的比

的积成正比。

6.如权利要求1或3所述的图像处理装置，其特征在于，

所述第一视点是所述第二视点和所述第三视点之间的视点。

7.如权利要求1所述的图像处理装置，其特征在于，

所述第一视点彩色图像数据、所述第二视点彩色图像数据和所述第三视点彩色图像数据的像素值分别是伽玛变换后的值。

8.如权利要求3所述的图像处理装置，其特征在于，

所述第一视点彩色图像数据、所述第二视点彩色图像数据和所述第三视点彩色图像数据的像素值分别是与受光量成正比的线性灰度的值。

9.如权利要求1或3所述的图像处理装置，其特征在于，

所述第二视点像素值算出部为了收齐与所述n个颜色成分的全部相对应的所述第二视点的新的彩色图像数据，而依次变更所述特定颜色来生成所述新的彩色图像数据。

10.一种摄像装置，具有：拍摄被拍摄体像的摄像元件；和权利要求1至9中任一项所述的图像处理装置，其特征在于，

所述第一视点像素值提取部从所述摄像元件输出的与所述第一视点相对应的具有特定颜色的像素值的彩色图像数据中提取所述特定颜色的像素值，

第二视点像素值提取部和第三视点像素值提取部从所述摄像元件输出的与第二视点及第三视点相对应的具有第一颜色成分的彩色图像数据中提取所述第一颜色成分的像素值，并从所述摄像元件输出的与第二视点及第三视点相对应的具有第二颜色成分的像素值的彩色图像数据中提取所述第二颜色成分的像素值。

11.一种图像处理方法，其特征在于，包括

第一视点像素值提取步骤，在作为构成被拍摄体像的颜色的n个颜色成分之一的特定颜色中，从与作为捕捉所述被拍摄体像的多个视点之一的第一视点相对应的第一视点彩色图像数据，提取对象像素位置处的所述第一视点彩色图像数据的所述特定颜色的像素值，其中n≧2；

第二视点像素值和第三视点像素值提取步骤，从与不同于所述第一视点的第二视点及第三视点相对应的第二视点彩色图像数据及第三视点彩色图像数据，提取所述对象像素位置处的所述第二视点彩色图像数据的至少第一颜色成分和第二颜色成分的像素值、以及所述第三视点彩色图像数据的至少第一颜色成分和第二颜色成分的像素值；和

第二视点像素值算出步骤，以如下方式算出所述第二视点彩色图像数据的新求出的特定颜色的像素值，即，使得

该第二视点的新求出的特定颜色的像素值与在所述第一视点像素值提取步骤所提取出的所述第一视点彩色图像数据的特定颜色的像素值之间的差至少相对于

1)在所述第二视点像素值和第三视点像素值提取步骤所提取出的所述第二视点彩色图像数据的第一颜色成分的像素值与所述第三视点彩色图像数据的第一颜色成分的像素值之间的差，及

2)在所述第二视点像素值和第三视点像素值提取步骤所提取出的所述第二视点彩色图像数据的第二颜色成分的像素值与所述第三视点彩色图像数据的第二颜色成分的像素值之间的差

的和保持相关关系。

12.一种图像处理方法，其特征在于，包括：

第一视点像素值提取步骤，在作为构成被拍摄体像的颜色的n个颜色成分之一的特定颜色中，从与作为捕捉所述被拍摄体像的多个视点之一的第一视点相对应的第一视点彩色图像数据，提取对象像素位置处的所述第一视点彩色图像数据的所述特定颜色的像素值，其中n≧2；

第二视点像素值和第三视点像素值提取步骤，从与不同于所述第一视点的第二视点及第三视点相对应的第二视点彩色图像数据及第三视点彩色图像数据，提取所述对象像素位置处的所述第二视点彩色图像数据的至少第一颜色成分和第二颜色成分的像素值、以及所述第三视点彩色图像数据的至少第一颜色成分和第二颜色成分的像素值；和

第二视点像素值算出步骤，以如下方式算出所述第二视点彩色图像数据的新求出的特定颜色的像素值，即，使得

该第二视点的新求出的特定颜色的像素值和在所述第一视点像素值提取步骤所提取出的所述第一视点彩色图像数据的特定颜色的像素值之间的比至少相对于2个比

1)根据所述第二视点像素值和第三视点像素值提取步骤所提取出的所述第二视点彩色图像数据的第一颜色成分的像素值、和所述第三视点彩色图像数据的第一颜色成分的像素值而定义的比，及

2)根据所述第二视点像素值和第三视点像素值提取步骤所提取出的所述第二视点彩色图像数据的第二颜色成分的像素值、和所述第三视点彩色图像数据的第二颜色成分的像素值而定义的比

的积保持相关关系。

13.一种图像处理装置，其特征在于，

像素值提取部，在构成被拍摄体像的颜色的多个颜色成分之一的X成分色中，从与捕捉所述被拍摄体像的多个视点之一的第一视点相对应的具有1X像素值的彩色图像数据，提取对象像素位置处的所述1X像素值，

在所述多个颜色成分之一的A成分色中，从与不同于所述第一视点的第二视点相对应的具有2A像素值的彩色图像数据及与不同于所述第一视点的第三视点相对应的具有3A像素值的彩色图像数据，提取所述对象像素位置处的所述2A像素值及所述3A像素值，

在所述多个颜色成分之一的与所述A成分色不同的B成分色中，从与所述第二视点相对应的具有2B像素值的彩色图像数据及与所述第三视点相对应的具有3B像素值的彩色图像数据，提取所述对象像素位置处的所述2B像素值及所述3B像素值；和

算出部，以下述方式算出所述第二视点的2X像素值及所述第三视点的3X像素值的至少任意一方，即，使得针对所述X成分色的所述第二视点的2X像素值或所述第三视点的3X像素值与所述1X像素值之差，相对于所述2A像素值与所述3A像素值之差加上所述2B像素值与所述3B像素值之差所得到的值保持相关关系。

14.如权利要求13所述的图像处理装置，其特征在于，

所述算出部以下述方式算出所述2X像素值及所述3X像素值的至少任意一方，即，使得所述2X像素值或所述3X像素值与所述1X像素值之差，相对于所述2A像素值与所述3A像素值之差加上所述2B像素值与所述3B像素值之差所得到的值成正比。

15.如权利要求13或14所述的图像处理装置，其特征在于，所述第一视点是所述第二视点和所述第三视点之间的视点。

16.如权利要求13或14所述的图像处理装置，其特征在于，分别与所述第一视点、所述第二视点和所述第三视点对应的所述彩色图像数据的像素值分别是伽玛变换后的值。

17.如权利要求13或14所述的图像处理装置，其特征在于，具有图像数据生成部，该图像数据生成部使所述对象像素位置相对于分别与所述第一视点、所述第二视点和所述第三视点对应的所述彩色图像数据中的图像区域依次移动，并使用所述像素值提取部及所述算出部算出的多个像素值，生成与所述第二视点及所述第三视点的至少任意一方对应的所述X成分色的所述彩色图像数据。

18.如权利要求17所述的图像处理装置，其特征在于，

所述图像数据生成部为了收齐与所述多个颜色成分的全部相对应的所述第二视点及所述第三视点的所述彩色图像数据，而依次变更所述多个颜色成分中的所述X成分色来生成所述彩色图像数据。

19.如权利要求13或14所述的图像处理装置，其特征在于，所述X成分色与所述A成分色相同。

20.一种图像处理装置，其特征在于，

像素值提取部，在构成被拍摄体像的颜色的多个颜色成分之一的X成分色中，从与捕捉所述被拍摄体像的多个视点之一的第一视点相对应的具有1X像素值的彩色图像数据，提取对象像素位置处的所述1X像素值，

在所述多个颜色成分之一的A成分色中，从与不同于所述第一视点的第二视点相对应的具有2A像素值的彩色图像数据及与不同于所述第一视点的第三视点相对应的具有3A像素值的彩色图像数据，提取所述对象像素位置处的所述2A像素值及所述3A像素值，

在所述多个颜色成分之一的与所述A成分色不同的B成分色中，从与所述第二视点相对应的具有2B像素值的彩色图像数据及与所述第三视点相对应的具有3B像素值的彩色图像数据，提取所述对象像素位置处的所述2B像素值及所述3B像素值；和

算出部，以下述方式算出所述第二视点的2X像素值及所述第三视点的3X像素值的至少任意一方，即，使得针对所述X成分色的所述第二视点的2X像素值或所述第三视点的3X像素值与所述1X像素值之比，相对于通过所述2A像素值和所述3A像素值而定义的比乘以通过所述2B像素值和所述3B像素值而定义的比所得到的值保持相关关系。

21.如权利要求20所述的图像处理装置，其特征在于，所述算出部以下述方式算出所述2X像素值及所述3X像素值的至少任意一方，即，使得所述2X像素值或所述3X像素值与所述1X像素值之比相对于在所述2A像素值和所述3A像素值的几何平均值上乘以所述2B像素值和所述3B像素值的几何平均值所得到的值成正比。

22.如权利要求20所述的图像处理装置，其特征在于，

所述算出部以下述方式算出所述2X像素值及所述3X像素值的至少任意一方，即，使得所述2X像素值或所述3X像素值与所述1X像素值之比相对于在所述2A像素值和所述3A像素值的算术平均值上乘以所述2B像素值和所述3B像素值的算术平均值所得到的值成正比。

23.如权利要求20～22中任一项所述的图像处理装置，其特征在于，所述第一视点是所述第二视点和所述第三视点之间的视点。

24.如权利要求20～22中任一项所述的图像处理装置，其特征在于，具有图像数据生成部，该图像数据生成部使所述对象像素位置相对于分别与所述第一视点、所述第二视点和所述第三视点对应的所述彩色图像数据中的图像区域依次移动，并使用所述像素值提取部及所述算出部算出的多个像素值，生成与所述第二视点及所述第三视点的至少任意一方对应的所述X成分色的所述彩色图像数据。

25.如权利要求24所述的图像处理装置，其特征在于，

所述图像数据生成部为了收齐与所述多个颜色成分的全部相对应的所述第二视点及所述第三视点的所述彩色图像数据，而依次变更所述多个颜色成分中的所述X成分色来生成所述彩色图像数据。

26.如权利要求20～22中任一项所述的图像处理装置，其特征在于，所述X成分色与所述A成分色相同。

27.一种摄像装置，具有：拍摄被拍摄体像的摄像元件；和权利要求13至26中任一项所述的图像处理装置，其特征在于，

所述像素值提取部从所述摄像元件输出的与所述第一视点对应的具有1X像素值的彩色图像数据中提取所述1X像素值，从所述摄像元件输出的与第二视点对应的具有2A像素值的彩色图像数据及与第三视点对应的具有3A像素值的彩色图像数据中提取所述2A像素值及所述3A像素值。

28.一种图像处理方法，其特征在于，包括：

第一提取步骤，在构成被拍摄体像的颜色的多个颜色成分之一的X成分色中，从与捕捉所述被拍摄体像的多个视点之一的第一视点相对应的具有1X像素值的彩色图像数据，提取对象像素位置处的所述1X像素值；

第二提取步骤，在所述多个颜色成分之一的A成分色中，从与不同于所述第一视点的第二视点相对应的具有2A像素值的彩色图像数据及与不同于所述第一视点的第三视点相对应的具有3A像素值的彩色图像数据，提取所述对象像素位置处的所述2A像素值及所述3A像素值，在所述多个颜色成分之一的与所述A成分色不同的B成分色中，从与所述第二视点相对应的具有2B像素值的彩色图像数据及与所述第三视点相对应的具有3B像素值的彩色图像数据，提取所述对象像素位置处的所述2B像素值及所述3B像素值；和

算出步骤，以下述方式算出所述第二视点的2X像素值及所述第三视点的3X像素值的至少任意一方，即，使得针对所述X成分色的所述第二视点的2X像素值或所述第三视点的3X像素值与所述1X像素值之差，相对于所述2A像素值与所述3A像素值之差加上所述2B像素值与所述3B像素值之差所得到的值保持相关关系。

29.一种图像处理方法，其特征在于，包括：

第一提取步骤，在构成被拍摄体像的颜色的多个颜色成分之一的X成分色中，从与捕捉所述被拍摄体像的多个视点之一的第一视点相对应的具有1X像素值的彩色图像数据，提取对象像素位置处的所述1X像素值；

第二提取步骤，在所述多个颜色成分之一的A成分色中，从与不同于所述第一视点的第二视点相对应的具有2A像素值的彩色图像数据及与不同于所述第一视点的第三视点相对应的具有3A像素值的彩色图像数据，提取所述对象像素位置处的所述2A像素值及所述3A像素值，在所述多个颜色成分之一的与所述A成分色不同的B成分色中，从与所述第二视点相对应的具有2B像素值的彩色图像数据及与所述第三视点相对应的具有3B像素值的彩色图像数据，提取所述对象像素位置处的所述2B像素值及所述3B像素值；

算出步骤，以下述方式算出所述第二视点的2X像素值及所述第三视点的3X像素值的至少任意一方，即，使得针对所述X成分色的所述第二视点的2X像素值或所述第三视点的3X像素值与所述1X像素值之比，相对于通过所述2A像素值和所述3A像素值而定义的比乘以通过所述2B像素值和所述3B像素值而定义的比所得到的值保持相关关系。

30.一种图像处理装置，其特征在于，具有：

像素值提取部，在构成被拍摄体像的颜色的多个颜色成分之一的X成分色中，从与捕捉所述被拍摄体像的多个视点之一的第一视点相对应的具有1X像素值的彩色图像数据，提取对象像素位置处的所述1X像素值，

在所述多个颜色成分之一的A成分色中，从与不同于所述第一视点的第二视点相对应的具有2A像素值的彩色图像数据及与不同于所述第一视点的第三视点相对应的具有3A像素值的彩色图像数据，提取所述对象像素位置处的所述2A像素值及所述3A像素值，

在所述多个颜色成分之一的与所述A成分色不同的B成分色中，从与所述第二视点相对应的具有2B像素值的彩色图像数据及与所述第三视点相对应的具有3B像素值的彩色图像数据，提取所述对象像素位置处的所述2B像素值及所述3B像素值；

转换部，从由所述X成分色、所述A成分色及所述B成分色的组合表现的色空间转换成YCbCr空间；和

算出部，以下述方式算出所述第二视点的亮度值Y或所述第三视点的亮度值Y的至少任意一方，即，使得所述第二视点的亮度值Y或所述第三视点的亮度值Y与所述第一视点的亮度值Y之差，相对于在所述第二视点的色差Cb与所述第三视点的色差Cb之差上相加所述第二视点的色差Cr与所述第三视点的色差Cr之差所得到的值保持相关关系。