CN104185983B - 摄像元件、摄像装置以及摄像系统 - Google Patents

Abstract

在想要根据从单片摄像元件输出的图像数据同时生成2D图像数据和彩色的视差图像数据的情况下，有时会给2D图像数据和视差图像数据的每一个的分辨率带来不良影响。摄像元件将由无视差像素和至少4种视差像素构成的像素组作为基本格子，所述无视差像素比所述视差像素多，所述至少4种视差像素中，两种开口掩模和两种彩色滤色器的组合的任一种与光电转换元件相对应，所述无视差像素不受到限制地将入射光束引导向光电转换元件。

Description

摄像元件、摄像装置以及摄像系统

技术领域

本发明涉及摄像元件、摄像装置以及摄像系统。

背景技术

已知有使用两个摄像光学系统取得由右眼用图像和左眼用图像构成的立体图像的立体摄像装置。这种立体摄像装置通过以一定的间隔配置两个摄像光学系统，使拍摄同一被拍摄体而得到的两个图像产生视差。

在先技术文献

专利文献

专利文献1：日本特开平8-47001号公报

发明内容

发明要解决的问题

在想要根据从单片摄像元件输出的图像数据，同时生成2D图像数据和彩色的视差图像数据的情况下，有时会给2D图像数据和视差图像数据的每一个的分辨率带来不良影响。

用于解决问题的手段

本发明的第1实施方式中的摄像元件将由无视差像素和至少4种视差像素构成的像素组作为基本格子，所述无视差像素比所述视差像素多，所述至少4种视差像素中，使分别具有定位成相对于入射光束使相互不同的部分光束通过的开口的第1开口掩模和第2开口掩模的任一个、和使相互不同的波段通过的第1彩色滤色器和第2彩色滤色器的任一个与光电转换元件相对应，所述无视差像素不受开口限制地将入射光束引导向光电转换元件。

本发明的第2实施方式中的摄像装置包括上述摄像元件、根据上述摄像元件的输出生成相互具有视差的多个视差图像数据和2D图像数据的图像处理部。

本发明的第3实施方式中的摄像元件包含：视差像素，使具有多种开口的开口掩模的任一种与光电转换元件相对应，所述开口定位成相对于入射光束使相互不同的部分光束通过；以及无视差像素，不受开口限制地将入射光束引导向光电转换元件，视差像素按随对应的开口掩模的种类由无视差像素和于其他开口掩模相对应的视差像素夹持，在二维方向的任意方向上都以等间隔配置，并且与不同种类的所述开口掩模相对应的所述视差像素彼此之间的距离配置成相互最远离。

本发明的第4实施方式中的摄像装置包括上述摄像元件、根据上述摄像元件的输出生成相互具有视差的多个视差图像数据和2D图像数据的图像处理部。

此外，上述发明内容并未列举本发明的全部必要特征。另外，这些特征组的子组合也可以成为发明。

附图说明

图1是说明本发明的实施方式涉及的数码相机的结构的图。

图2是说明本发明的实施方式涉及的摄像元件的剖面结构的图。

图3是表示放大摄像元件的一部分后的情形的示意图。

图4是说明视差像素与被拍摄体的关系的概念图。

图5是说明生成视差图像的处理的概念图。

图6是说明拜耳排列的图。

图7是说明第1实施例中的重复图案110的排列的图。

图8是说明第1实施例中的视差像素的像素间隔的关系的图。

图9是说明第2实施例中的重复图案110的排列的图。

图10是说明第3实施例中的重复图案110的排列的图。

图11是说明第4实施例中的重复图案110的排列的图。

图12是说明作为2D图像数据的RGB层数据(plain data)的生成处理的例子的图。

图13是说明作为视差图像数据的两个G层数据的生成处理的例子的图。

图14是说明作为视差图像数据的两个B层数据的生成处理的例子的图。

图15是说明作为视差图像数据的两个R层数据的生成处理的例子的图。

图16是表示各层数据的分辨率的关系的概念图。

图17是说明散焦的概念的图。

图18是说明视差像素散焦的概念的图。

图19是表示作为一例的实际空间的排列与k空间的图。

图20是表示作为一例的实际空间的排列与k空间的图。

图21是表示作为一例的实际空间的排列与k空间的图。

图22是表示作为一例的实际空间的排列与k空间的图。

图23是表示作为一例的实际空间的排列与k空间的图。

图24是表示作为一例的实际空间的排列与k空间的图。

图25是表示作为一例的实际空间的排列与k空间的图。

图26是表示作为一例的实际空间的排列与k空间的图。

图27是表示作为一例的实际空间的排列与k空间的图。

图28是表示作为一例的实际空间的排列与k空间的图。

图29是表示作为一例的实际空间的排列与k空间的图。

图30是表示作为一例的实际空间的排列与k空间的图。

图31是表示作为一例的实际空间的排列与k空间的图。

图32是表示作为一例的实际空间的排列与k空间的图。

图33是表示全开口的无视差像素与半开口的无视差像素的图。

图34是表示作为一例的实际空间的排列与k空间的图。

图35是表示作为一例的实际空间的排列与k空间的图。

图36是表示作为一例的实际空间的排列与k空间的图。

图37是说明动画读出的图。

具体实施方式

以下通过具体实施方式说明本发明，但以下的实施方式并不限定权利要求书涉及的发明。另外，在发明的解决手段中，在实施方式中说明的特征的组合并不一定全部都是必需的。

作为图像处理装置和摄像装置的一种方式的本实施方式的数码相机构成为：针对一个场景，能够通过一次拍摄生成多个视点数的图像。将视点相互不同的各个图像称为视差图像。

图1是说明本发明的实施方式涉及的数码相机10的结构的图。数码相机10包括作为摄像光学系统的拍摄透镜20，将沿着光轴21入射的被拍摄体光束引导至摄像元件100。拍摄透镜20也可以是能够相对于数码相机10装卸的更换式透镜。数码相机10包括摄像元件100、控制部201、A/D转换电路202、存储器203、驱动部204、图像处理部205、存储卡IF207、操作部208、显示部209、LCD驱动电路210以及AF传感器211。

此外，如图所示，将朝向摄像元件100的与光轴21平行的方向定为Z轴正方向，在与Z轴正交的平面中，将朝向纸面外侧的方向定为X轴正方向，将纸面上方向定为Y轴正方向。在以后的几个图中，以图1的坐标轴为基准表示坐标轴以理解各个图的方向。

拍摄透镜20由多个光学透镜组构成，并使来自场景的被拍摄体光束成像在其焦平面附近。此外，在图1中，为了方便说明拍摄透镜20，以配置于光瞳附近的一片假想透镜作为代表来表示。摄像元件100配置在拍摄透镜20的焦平面附近。摄像元件100是二维地排列多个光电转换元件而成的例如CCD(Charge-coupled Device：电荷耦合元件)、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)传感器等图像传感器。摄像元件100由驱动部204定时控制，将成像于受光面上的被拍摄体像转换成图像信号，并向A/D转换电路202输出。

A/D转换电路202将摄像元件100输出的图像信号转换成数字图像信号并向存储器203输出。图像处理部205将存储器203作为工作区进行各种图像处理，并生成图像数据。

图像处理部205还承担按照选择的图像格式调整图像数据等一般的图像处理功能。生成的图像数据由LCD驱动电路210转换成显示信号，并显示在显示部209上。另外，记录到安装在存储卡IF207中的存储卡220中。

AF传感器211是针对被拍摄体空间设定了多个测距点的相位差传感器，在各个测距点检测出被拍摄体像的散焦量。通过操作部208接受用户的操作并向控制部201输出操作信号而开始一连串的拍摄步骤。附属于拍摄步骤的AF(Auto Focus：自动对焦)、AE(AutoExpose：自动曝光)等各种动作由控制部201控制而执行。例如，控制部201解析AF传感器211的检测信号，执行使构成拍摄透镜20的一部分的聚焦透镜移动的对焦控制。

接着，详细说明摄像元件100的结构。图2是表示本发明的实施方式涉及的摄像元件100的剖面的示意图。

从被拍摄体一侧按顺序排列微型透镜101、彩色滤色器102、开口掩模103、布线层105以及光电转换元件108而构成摄像元件100。光电转换元件108由光电导二极管构成，所述光电导二极管将入射的光转换成电信号。多个光电转换元件108二维地排列在衬底109的表面上。

由光电转换元件108转换的图像信号、控制光电转换元件108的控制信号等经由设置在布线层105中的布线106收发。另外，具有开口部104的开口掩模103与布线层相接触地设置，所述开口部104与各光电转换元件108一对一对应地设置。如后所述，开口部104按对应的光电转换元件108移位而严格确定相对位置。详细情况将在后面叙述，由于包括该开口部104的开口掩模103的作用，在光电转换元件108接受的被拍摄体光束中产生视差。

另一方面，在不产生视差的光电转换元件108上方，不存在开口掩模103。换句话说，可以说设置具有如下开口部104的开口掩模103，所述开口部104不限制入射到对应的光电转换元件108的被拍摄体光束，即，使入射光束整体通过。虽然没有产生视差，但由于实质上由布线106形成的开口107限定入射的被拍摄体光束，所以也能够将布线106理解为不产生视差的、使入射光束整体通过的开口掩模。开口掩模103既可以与各光电转换元件108对应地分别独立地排列，也可以与彩色滤色器102的制造工艺同样地，与多个光电转换元件108一起形成。

彩色滤色器102设置在开口掩模103上。彩色滤色器102是着色成相对于各光电转换元件108使特定波段透射的、与光电转换元件108的每一个一对一对应地设置的滤色器。为了输出彩色图像，可排列至少两种相互不同的彩色滤色器，为了取得更高画质的彩色图像，可排列3种以上彩色滤色器。例如可将使红色波段透射的红滤色器(R滤色器)、使绿色波段透射的绿滤色器(G滤色器)以及使蓝色波段透射的蓝滤色器(B滤色器)排列成格子状。在后面将叙述具体的排列。

微型透镜101设置在彩色滤色器102上。微型透镜101是用于将更多入射的被拍摄体光束引导至光电转换元件108的聚光透镜。微型透镜101与光电转换元件108的每一个一对一对应地设置。微型透镜101优选为考虑拍摄透镜20的光瞳中心与光电转换元件108的相对位置关系，而将其光轴移位成使得更多被拍摄体光束被引导至光电转换元件108。进一步地，也可以与开口掩模103的开口部104的位置一起调整配置位置，以使更多后述特定的被拍摄体光束入射。

这样，将与各个光电转换元件108对应地一对一设置的开口掩模103、彩色滤色器102以及微型透镜101这一个单位称为像素。特别是，将设置有产生视差的开口掩模103的像素称为视差像素，将未设置产生视差的开口掩模103的像素称为无视差像素。例如，在摄像元件100的有效像素区域为24mm×16mm左右的情况下，像素数达到1200万左右。

此外，在聚光效率、光电转换效率良好的图像传感器的情况下，也可以不设置微型透镜101。另外，在背面照射型图像传感器的情况下，布线层105设置在与光电转换元件108相反一侧。另外，如果使开口掩模103的开口部104具有色彩成分，也能够一体地形成彩色滤色器102和开口掩模103。

另外，在本实施方式中，将开口掩模103与布线106分离设置，但布线106也可以承担视差像素中的开口掩模103的功能。即，由布线106形成限定的开口形状，并通过该开口形状限制入射光束而仅将特定的部分光束引导至光电转换元件108。在该情况下，形成开口形状的布线106优选位于布线层105中的、最靠光电转换元件108一侧。

另外，开口掩模103也可以由重叠设置在光电转换元件108上的透射阻止膜形成。在该情况下，例如依次层叠SiN膜和SiO₂膜而作为透射阻止膜，并通过蚀刻除去相当于开口部104的区域而形成开口掩模103。

接着，说明开口掩模103的开口部104与产生的视差的关系。图3是表示放大摄像元件100的一部分后的情形的示意图。在这里，为了简化说明，在之后再次提及之前不考虑彩色滤色器102的配色。在不提及彩色滤色器102的配色的以下说明中，能够理解为是仅拼合了具有同色彩色滤色器102的视差像素的图像传感器。因此，以下说明的重复图案也可以考虑为同色彩色滤色器102中的相邻像素。

如图3所示，开口掩模103的开口部104相对于各个像素相对移位地设置。而且，在相邻的像素之间，各自的开口部104也设置在相互位移了的位置。

在图中的例子中，作为开口部104相对于各自像素的位置，准备了在左右方向上相互移位了的6种开口掩模103。而且，摄像元件100的整体二维且周期性地排列有光电转换元件组，所述光电转换元件组将分别具有从纸面左侧向右侧逐渐移位的开口掩模103的6个视差像素作为一组。

图4是说明视差像素与被拍摄体的关系的概念图。特别是，图4的(a)表示摄像元件100中的、在与拍摄光轴21正交的中心排列的重复图案110t的光电转换元件组，图4的(b)示意性地示出了排列在周边部分的重复图案110u的光电转换元件组。图4的(a)、(b)中的被拍摄体30相对于拍摄透镜20存在于对焦位置。与图4的(a)对应地，图4的(c)示意性示出了捕捉到相对于拍摄透镜20存在于非对焦位置的被拍摄体31的情况下的关系。

首先，说明拍摄透镜20捕捉到存在于对焦状态的被拍摄体30的情况下的视差像素与被拍摄体的关系。被拍摄体光束通过拍摄透镜20的光瞳而被引导至摄像元件100，在被拍摄体光束通过的整个剖面区域中限定了6个部分区域Pa～Pf。而且，从放大图也可知，例如构成重复图案110t、110u的光电转换元件组的纸面左端的像素中，以仅使从部分区域Pf射出的被拍摄体光束到达光电转换元件108的方式确定了开口掩模103的开口部104f的位置。同样地，朝向右端的像素，与部分区域Pe对应地确定开口部104e的位置，与部分区域Pd对应地确定开口部104d的位置，与部分区域Pc对应地确定开口部104c的位置，与部分区域Pb对应地确定开口部104b的位置，与部分区域Pa对应地确定开口部104a的位置。

换句话说，也可以说，根据例如由部分区域Pf与左端像素的相对位置关系定义的、从部分区域Pf射出的被拍摄体光束(部分光束)的主光线Rf的斜率，来确定开口部104f的位置。而且，在光电转换元件108经由开口部104f接受来自存在于对焦位置的被拍摄体30的被拍摄体光束的情况下，如以虚线图示地，该被拍摄体光束成像在光电转换元件108上。同样地，可以说，朝向右端的像素，分别根据主光线Re的斜率确定开口部104e的位置，根据主光线Rd的斜率确定开口部104d的位置，根据主光线Rc的斜率确定开口部104c的位置，根据主光线Rb的斜率确定开口部104b的位置，根据主光线Ra的斜率确定开口部104a的位置。

如图4的(a)所示，从存在于对焦位置的被拍摄体30中的、与光轴21交叉的被拍摄体30上的微小区域Ot放射的光束通过拍摄透镜20的光瞳，到达构成重复图案110t的光电转换元件组的各像素。即，构成重复图案110t的光电转换元件组的各像素分别经由6个部分区域Pa～Pf接受从一个微小区域Ot放射的光束。微小区域Ot具有与构成重复图案110t的光电转换元件组的各像素的位置偏移对应的量的展宽，但实质上能够近似为大致相同的物点。同样地，如图4的(b)所示，从存在于对焦位置的被拍摄体30中的、与光轴21分离的被拍摄体30上的微小区域Ou放射的光束通过拍摄透镜20的光瞳，到达构成重复图案110u的光电转换元件组的各像素。即，构成重复图案110u的光电转换元件组的各像素分别经由6个部分区域Pa～Pf接受从一个微小区域Ou放射的光束。与微小区域Ot同样地，微小区域Ou也具有与构成重复图案110u的光电转换元件组的各像素的位置偏移对应的量的展宽，但实质上能够近似为大致相同的物点。

也就是说，只要被拍摄体30存在于对焦位置，根据摄像元件100上的重复图案110的位置，光电转换元件组捕捉的微小区域不同，且构成光电转换元件组的各像素经由相互不同的部分区域捕捉同一微小区域。而且，在各个重复图案110中，对应的像素之间接受来自相同部分区域的被拍摄体光束。也就是说，在图中，例如重复图案110t、110u的每一个的左端的像素接受来自相同部分区域Pf的部分光束。

在排列于与拍摄光轴21正交的中心的重复图案110t中左端像素接受来自部分区域Pf的被拍摄体光束的开口部104f的位置、在排列于周边部分的重复图案110u中左端像素接受来自部分区域Pf的被拍摄体光束的开口部104f的位置准确地说是不同的。然而，从功能性观点来看，在用于接受来自部分区域Pf的被拍摄体光束的开口掩模这一点，能够将它们作为同一种类的开口掩模来处理。因此，在图4的例子中，可以说，排列在摄像元件100上的视差像素的每一个包括6种开口掩模之一。

接着，说明拍摄透镜20捕捉到存在于非对焦状态的被拍摄体31的情况下的视差像素与被拍摄体的关系。在该情况下，来自存在于非对焦位置的被拍摄体31的被拍摄体光束也通过拍摄透镜20的光瞳的6个部分区域Pa～Pf，并到达摄像元件100。但是，来自存在于非对焦位置的被拍摄体31的被拍摄体光束不在光电转换元件108上成像，而是在其他位置成像。例如，如图4的(c)所示，当被拍摄体31与被拍摄体30相比存在于更远离摄像元件100的位置时，被拍摄体光束在光电转换元件108的被拍摄体31一侧成像。相反地，当被拍摄体31与被拍摄体30相比存在于更接近摄像元件100的位置时，被拍摄体光束在光电转换元件108的与被拍摄体31相反的一侧成像。

因此，从存在于非对焦位置的被拍摄体31中的微小区域Ot'放射的被拍摄体光束根据通过6个部分区域Pa～Pf中的哪一个而到达不同组的重复图案110中的对应像素。例如，如图4的(c)的放大图所示，作为主光线Rd'，通过部分区域Pd的被拍摄体光束入射至重复图案110t'所包含的具有开口部104d的光电转换元件108。而且，即使是从微小区域Ot'放射的被拍摄体光束，通过其他部分区域的被拍摄体光束不入射至重复图案110t'所包含的光电转换元件108，而入射其他重复图案中的具有对应的开口部的光电转换元件108。换句话说，到达构成重复图案110t'的各光电转换元件108的被拍摄体光束是从被拍摄体31的相互不同的微小区域放射的被拍摄体光束。即，向与开口部104d对应的光电转换元件108入射将主光线设为Rd'的被拍摄体光束，向与其他开口部对应的光电转换元件108入射将主光线设为Ra⁺、Rb⁺、Rc⁺、Re⁺、Rf⁺的被拍摄体光束，这些被拍摄体光束是从被拍摄体31的相互不同的微小区域放射的被拍摄体光束。这种关系在图4的(b)中的排列于周边部分的重复图案110u中也相同。

于是，在以摄像元件100的整体来观察的情况下，例如由与开口部104a对应的光电转换元件108捕捉到的被拍摄体像A、由与开口部104d对应的光电转换元件108捕捉到的被拍摄体像D，若是存在于对焦位置的被拍摄体的像，则相互没有偏移，若上述被拍摄体像是存在于非对焦位置的被拍摄体的像，则所述被拍摄体像A和所述被拍摄体像D产生偏移。而且，该偏移根据存在于非对焦位置的被拍摄体相对于对焦位置向哪一侧偏移了多少，并根据部分区域Pa与部分区域Pd的距离，从而确定方向和量。也就是说，被拍摄体像A和被拍摄体像D相互成为视差像。由于该关系对于其他开口部也同样如此，所以与开口部104a至104f对应地形成6个视差像。

因此，在按这种方式构成的各个重复图案110中，当拼合相互对应的像素的输出时，能够得到视差图像。也就是说，接受了从6个部分区域Pa～Pf中的特定部分区域射出的被拍摄体光束的像素的输出形成视差图像。

图5是说明生成视差图像的处理的概念图。图中从左列开始依次表示：将与开口部104f对应的视差像素的输出集合而生成的视差图像数据Im_f的生成的情形、开口部104e的输出导致的视差图像数据Im_e的生成的情形、开口部104d的输出导致的视差图像数据Im_d的生成的情形、开口部104c的输出导致的视差图像数据Im_c的生成的情形、开口部104b的输出导致的视差图像数据Im_b的生成的情形、开口部104a的输出导致的视差图像数据Im_a的生成的情形。首先，说明开口部104f的输出导致的视差图像数据Im_f的生成的情形。

由将6个视差像素作为一组的光电转换元件组构成的重复图案110排列成横向一列。因此，在除去了无视差像素的假想摄像元件100上，具有开口部104f的视差像素以在左右方向上间隔6个像素且在上下方向上连续的方式存在。如上所述，这些各像素接受来自分别不同的微小区域的被拍摄体光束。因此，当将这些视差像素的输出拼合排列时，能够得到视差图像。

但是，由于本实施方式中的摄像元件100的各像素为正方形像素，如果仅仅简单地拼合的话，成为横向的像素数被间除成1/6，结果生成了纵长的图像数据。因此，通过实施插补处理而在横向上设为6倍的像素数，生成视差图像数据Im_f作为原本长径比的图像。但是，由于本来插补处理前的视差图像数据为在横向上被间除为1/6的图像，所以横向上的分辨率低于纵向的分辨率。也就是说，可以说，生成的视差图像数据的数量与分辨率的提高处于相反关系。此外，将在后面叙述应用于本实施方式的具体插补处理。

同样地，能够得到视差图像数据Im_e～视差图像数据Im_a。即，数码相机10能够生成在横向上具有视差的6视点视差图像。

如上所述，说明了如下例子：在具有6种相对于开口部的像素中心的偏移时，各个视差像素作为光瞳分割光学系统工作，并产生了6个视点的视差像素。在这里，主要描述了各个视差像素将视点分别不同的被拍摄体像成像，并在不同种类的视差像素之间，产生视点不同的像之间的视差。

不仅存在视差像素导致的光瞳分割光学系统仅产生视差这一事实，还存在如下重要的事实：产生视差的是仅在相对于对焦位置偏移了的非对焦位置处的模糊的被拍摄体像，根据其非对焦度产生视差。在图17、图18中示出通常的无视差像素和双视差(左视差、右视差)的情况下其情形的说明图。通过一个光学系统的光对右视差像素来说是在光学系统的左侧成像具有假想光瞳那样的光学像，对左视差像素来说是在光学系统的右侧成像具有假想光瞳那样的光学像。因此，焦点位置处的被拍摄体像的点扩散函数尖锐地成像，不管通过哪个假想光瞳都同样地使具有尖锐的点扩散的、无视差的被拍摄体像成像。另一方面，在焦点位置的前后，模糊的被拍摄体位置处的点扩散函数随着远离焦点位置而示出模糊幅度大的展宽，并且成像的中心位置向左右逐渐分离而产生视差。将分离为两个的点扩散函数进行加法合成获得的一个点扩散函数，与成像为无视差像素的点扩散函数一致，其峰值位置位于根据假想光瞳分离为两个的光学像的点扩散函数的正中央。

着眼于仅在该模糊的像中存在视差，且模糊情况越大视差量越增大这一重要的事实，在本实施方式中，提出了用于同时取得高分辨率的2D图像和3D图像的颜色视差排列。

接着，说明彩色滤色器102与视差图像。图6是说明拜耳排列的图。如图所示，拜耳排列是如下排列：在G滤色器分配在左上(Gb)和右下(Gr)这两个像素的基础上，R滤色器分配在左下的一个像素上，B滤色器分配在右上的一个像素上。

针对这种彩色滤色器102的排列，根据将视差像素和无视差像素分配至何种颜色的像素、以怎样的周期来分配，可设定庞大数量的重复图案110。如果集合无视差像素的输出，则能够生成与通常的拍摄图像相同的没有视差的拍摄图像数据。因此，如果相对地增加无视差像素的比例，则能够输出分辨率高的2D图像。在该情况下，由于视差像素成为相对小的比例，作为由多个视差图像构成的3D图像，画质降低。相反地，如果增加视差像素的比例，作为3D图像，画质提高，但由于无视差像素相对地减少，所以输出了分辨率低的2D图像。如果对RGB的每一种像素均分配视差像素，则成为3D图像且颜色再现性良好的高质量彩色图像数据。

理想地，不管是2D图像还是3D图像，都期望输出高分辨率、高质量的彩色图像数据。此外，从使用图4、图17、图18说明的视差的产生原理也可以理解，在3D图像中观察者感觉到视差的图像区域是同一被拍摄体像相互偏移的非对焦区域。因此，可以说，相对于已实现对焦的主要被拍摄体，观察者感觉到视差的图像区域的高频成分少。于是，在生成3D图像时，在产生视差的区域中，只要存在高分辨率不那么高的图像数据就足够了。

针对已实现对焦的图像区域提取2D图像数据，并针对未实现对焦的图像区域提取3D图像数据，能够通过合成来生成各个视差图像数据。或者，以作为高分辨率数据的2D图像数据为基础，乘以3D图像数据的各像素中的相对的比，能够生成高分辨率的各个视差图像数据。如果以采用这种图像处理为前提，在摄像元件100中，视差像素的数量可以少于无视差像素的数量。换句话说，可以说，即使视差像素相对较少，也能够生成分辨率比较高的3D图像。

在该情况下，为了将3D图像生成作为彩色图像，可以排列相互不同的至少两种彩色滤色器，在本实施方式中，如使用图6说明的拜耳排列那样，为了进一步高画质化，采用RGB这3种彩色滤色器。特别是在视差像素的数量相对较少的本实施方式中，视差像素包含相对于各种开口部104设置了RGB这3种彩色滤色器的任一种而成的全部组合。例如，但假设开口部104向中心的左侧偏心的视差Lt像素和相同地向右侧偏心的视差Rt像素时，视差Lt像素包含：包括R滤色器的像素、包括G滤色器的像素以及包括B滤色器的像素，视差Rt像素包含：包括R滤色器的像素、包括G滤色器的像素以及包括B滤色器的像素。即，摄像元件100具有6种视差像素。从这种摄像元件100输出的图像数据成为实现所谓的立体观察的鲜明的彩色视差图像数据的基础。此外，在相对于两种开口部组合两种彩色滤色器的情况下，摄像元件100具有4种视差像素。

以下说明像素排列的变化。图7是说明第1实施例中的重复图案110的排列的图。第1实施例中的重复图案110在作为Y轴方向的纵向上包含4个拜耳排列，在作为X轴方向的横向上包含4个拜耳排列，所述拜耳排列以4个像素为基本单位，所述重复图案110由64个像素构成。将由64个像素构成的像素组作为一组，在摄像元件100的有效像素区域中，在上下左右周期性地排列该重复图案110。即，摄像元件100将图中以粗线表示的重复图案110作为基本格子。此外，以P_IJ表示重复图案110内的像素。例如，左上像素为P₁₁，右上像素为P₈₁。

第1实施例中的视差像素具有开口部104向中心的左侧偏心的视差Lt像素和同样地向右侧偏心的视差Rt像素这两种开口掩模103中的任一种。如图所示，视差像素按以下方式排列。

P₁₁…视差Lt像素+G滤色器(＝G(Lt))

P₅₁…视差Rt像素+G滤色器(＝G(Rt))

P₃₂…视差Lt像素+B滤色器(＝B(Lt))

P₆₃…视差Rt像素+R滤色器(＝R(Rt))

P₁₅…视差Rt像素+G滤色器(＝G(Rt))

P₅₅…视差Lt像素+G滤色器(＝G(Lt))

P₇₆…视差Rt像素+B滤色器(＝B(Rt))

P₂₇…视差Lt像素+R滤色器(＝R(Lt))

其他像素为无视差像素，是无视差像素+R滤色器(＝R(N))、无视差像素+G滤色器(＝G(N))、无视差像素+B滤色器(＝B(N))中的任一种。

这样，优选如下排列：在基本格子中包含由开口部与彩色滤色器的全部组合形成的视差像素，且在多于视差像素的无视差像素中配置成具有随机性。特别是在不对各彩色滤色器另外计数的情况下，也优选无视差像素比视差像素多。在第1实施例的情况下，相对于G(N)＝28个，G(Lt)+G(Rt)＝2+2＝4个，相对于R(N)＝14个，R(Lt)+R(Rt)＝2个，相对于B(N)＝14个，B(Lt)+B(Rt)＝2个。另外，如上所述，考虑到人的视觉特性，与具有其他彩色滤色器的各种像素相比，排列较多具有G滤色器的视差像素和无视差像素。

换句话说，通过使视差像素也包括R、G、B全部彩色信息，能够捕捉更复杂且正确的立体用颜色分布结构。

不管是右视差像素，还是左视差像素，还是无视差像素，该RGB比率均与拜耳排列相同，采用R∶G∶B＝1∶2∶1的结构。进一步，使视差像素以稀疏的密度尽可能相互分离地分布，使得无视差像素能够尽可能保持通常的拜耳排列的空间分辨率。即，在某种颜色成分的相同的右视差像素彼此之间、相同的左视差像素彼此之间，等间隔地保持各向同性而排列，并且以使得某种颜色成分的右视差像素与左视差像素之间的距离最远离的方式等间隔地排列。而且，配置成忽视颜色成分的情况下的右视差像素彼此之间的距离、忽视颜色成分的情况下的左视差像素彼此之间的距离尽可能远离，从而均匀地取得视差信息。

此外，在实施例1中，无视差像素、左视差像素以及右视差像素的像素数比为N∶Lt∶Rt＝14∶1∶1，无视差像素的空间分辨率保持为极接近拜耳排列的状态。进一步，通过最远离地配置视差像素，变得不用担心与无视差像素相邻而同时失去信息，并保持分辨包含乃奎斯特频率在内的高频率成分的性能。

图8是说明第1实施例中的视差像素的像素间隔的关系的图。在图中，排列示出9个(＝3×3)图7所示的重复图案110。

如图所示，G(Lt)像素的X方向上的间隔、Y方向上的间隔均为以GLt_p表示的等间隔。另外，关于成对的G(Rt)像素，其X方向上的间隔、Y方向上的间隔均为以GRt_p表示的等间隔，且GRt_p与GLt_p相等。进一步地，在从G(Lt)像素的位置向X、Y的一个方向上前进了GLt_p的距离的位置存在G(Rt)像素。

同样地，R(Lt)像素的X方向上的间隔、Y方向上的间隔均为以RLt_p表示的等间隔。另外，关于成对的R(Rt)像素，其X方向上的间隔、Y方向上的间隔均为以RRt_p表示的等间隔，且RRt_p与RLt_p相等。进一步地，在从R(Lt)像素的位置向X、Y这两个方向上前进了RLt_p的一半的距离的位置存在R(Rt)像素。

进一步，B(Lt)像素的X方向上的间隔、Y方向上的间隔均为以BLt_p表示的等间隔。另外，关于成对的B(Rt)像素，其X方向上的间隔、Y方向上的间隔均为以BRt_p表示的等间隔，且BRt_p与BLt_p相等。进一步地，在从B(Lt)像素的位置向X、Y这两个方向上前进了BLt_p的一半的距离的位置存在B(Rt)像素。

即，按彩色滤色器的种类观察的情况下，按开口掩模的种类，被与其他开口掩模相对应的视差像素和无视差像素夹持，在二维方向上的每一个上也以等间隔配置。换句话说，在二维方向上，配置成各向同性且均匀。通过按这种方式配置视差像素，在输出视差图像时，在纵向与横向上分辨率无差异，且也能够减轻对2D图像的分辨率的不良影响。

在图19中汇总如此得到的颜色视差像素排列的情形，并且与该实际空间排列对应的频率空间中的分辨区域即分辨率也作为k空间图示出。波数k通过k＝2πf的关系与频率f关联。当将实际空间的格子间距设为a时，表示该倒格子空间的是k空间，分辨率由倒格子空间的第1布里渊区表示(例如参照与本申请人相同发明人的US2010/021853或日本专利第4239483号)。

参见图，拍摄阶段中的稀疏的左视差像素与稀疏的右视差像素的分辨能力比密集的无视差像素低。相应地，密集的无视差像素具有比得上拜耳排列的分辨能力。

因此，如后所述，暂时插补无视差像素而生成2D彩色图像R(N)、G(N)、B(N)，并进一步预先生成稀疏的左视差图像R(Lt)、G(Lt)、B(Lt)和稀疏的右视差图像R(Rt)、G(Rt)、B(Rt)。于是，之后中途利用无视差图像，并能够通过按以下方式用稀疏的视差图像来施加视差调制而最终地得到密集的左视差图像R'(Lt)、G'(Lt)、B'(Lt)和密集的右视差图像R'(Rt)、G'(Rt)、B'(Rt)。

$R^{\′}\left(\mathrm{Lt}\right)=R\left(N\right)\sqrt[3]{\frac{2R\left(\mathrm{Lt}\right)}{R\left(\mathrm{Lt}\right)+R\left(\mathrm{Rt}\right)}}\sqrt[3]{\frac{2G\left(\mathrm{Lt}\right)}{G\left(\mathrm{Lt}\right)+G\left(\mathrm{Rt}\right)}}\sqrt[3]{\frac{2B\left(\mathrm{Lt}\right)}{B\left(\mathrm{Lt}\right)+B\left(\mathrm{Rt}\right)}}$

$R^{\′}\left(\mathrm{Lt}\right)=R\left(N\right)\sqrt[3]{\frac{2R\left(\mathrm{Lt}\right)}{R\left(\mathrm{Lt}\right)+R\left(\mathrm{Rt}\right)}}\sqrt[3]{\frac{2G\left(\mathrm{Lt}\right)}{G\left(\mathrm{Lt}\right)+G\left(\mathrm{Rt}\right)}}\sqrt[3]{\frac{2B\left(\mathrm{Lt}\right)}{B\left(\mathrm{Lt}\right)+B\left(\mathrm{Rt}\right)}}$

$R^{\′}\left(\mathrm{Lt}\right)=R\left(N\right)\sqrt[3]{\frac{2R\left(\mathrm{Lt}\right)}{R\left(\mathrm{Lt}\right)+R\left(\mathrm{Rt}\right)}}\sqrt[3]{\frac{2G\left(\mathrm{Lt}\right)}{G\left(\mathrm{Lt}\right)+G\left(\mathrm{Rt}\right)}}\sqrt[3]{\frac{2B\left(\mathrm{Lt}\right)}{B\left(\mathrm{Lt}\right)+B\left(\mathrm{Rt}\right)}}$

$R^{\′}\left(\mathrm{Rt}\right)=R\left(N\right)\sqrt[3]{\frac{2R\left(\mathrm{Rt}\right)}{R\left(\mathrm{Lt}\right)+R\left(\mathrm{Rt}\right)}}\sqrt[3]{\frac{2G\left(\mathrm{Rt}\right)}{G\left(\mathrm{Lt}\right)+G\left(\mathrm{Rt}\right)}}\sqrt[3]{\frac{2B\left(\mathrm{Rt}\right)}{B\left(\mathrm{Lt}\right)+B\left(\mathrm{Rt}\right)}}$

$G^{\′}\left(\mathrm{Rt}\right)=G\left(N\right)\sqrt[3]{\frac{2R\left(\mathrm{Rt}\right)}{R\left(\mathrm{Lt}\right)+R\left(\mathrm{Rt}\right)}}\sqrt[3]{\frac{2G\left(\mathrm{Rt}\right)}{G\left(\mathrm{Lt}\right)+G\left(\mathrm{Rt}\right)}}\sqrt[3]{\frac{2B\left(\mathrm{Rt}\right)}{B\left(\mathrm{Lt}\right)+B\left(\mathrm{Rt}\right)}}$

$B^{\′}\left(\mathrm{Rt}\right)=B\left(N\right)\sqrt[3]{\frac{2R\left(\mathrm{Rt}\right)}{R\left(\mathrm{Lt}\right)+R\left(\mathrm{Rt}\right)}}\sqrt[3]{\frac{2G\left(\mathrm{Rt}\right)}{G\left(\mathrm{Lt}\right)+G\left(\mathrm{Rt}\right)}}\sqrt[3]{\frac{2B\left(\mathrm{Rt}\right)}{B\left(\mathrm{Lt}\right)+B\left(\mathrm{Rt}\right)}}$

密密疏疏疏

这样，无视差像素的高频成分与新生成的有视差图像重叠，从而能够得到有视差图像，即与3D图像、2D图像相同高分辨率的图像。换句话说，在对焦区域附近的稍微偏离焦点而稍微产生视差的图像区域中，一边参照无视差图像的高分辨率的图像缓慢地变化的视差图像的状态，一边通过视差调制进行向左方或右方稍微偏移的位移处理。

非对焦区域中的非常模糊区域的被拍摄体像一边最大限度地保持无视差图像的分辨能力，一边最大限度地有效利用缓慢地变化的有视差图像的横向上的空间分辨率，从而大规模地进行横向偏移。

换句话说，为了最大限度地发挥视差调制效果，作为像素排列的条件，可列举：具有有视差图像的空间分辨率在水平方向上较高。如最初的6视差的例子所示，在水平方向上排列左右视差像素而使水平分辨率下降的结构从这种观点来看不优选，要求在水平方向上具有高的分辨率的视差像素排列。配置成满足这种条件的排列是各向同性视差像素排列，在图19的k空间图中示出了各向同性的分辨率。以下，其他列举的稀疏的视差像素排列的例子均具有各向同性视差像素排列结构，并与k空间图一起示出。

图9是说明第2实施例中的重复图案110的排列的图。与第1实施例同样地，第2实施例中的重复图案110在作为Y轴方向的纵向上包含4个拜耳排列，在作为X轴方向的横向上包含4个拜耳排列，所述拜耳排列以4个像素为基本单位，所述重复图案110由64个像素构成。将由64个像素构成的像素组作为一组，在摄像元件100的有效像素区域中，在上下左右周期性地排列该重复图案110。即，摄像元件100将图中以粗线表示的重复图案110作为基本格子。

第2实施例中的视差像素具有开口部104向中心的左侧偏心的视差Lt像素和同样地向右侧偏心的视差Rt像素这两种开口掩模103中的任一种。如图所示，视差像素按以下方式排列。

P₁₁…视差Lt像素+G滤色器(＝G(Lt))

P₅₁…视差Rt像素+G滤色器(＝G(Rt))

P₃₂…视差Lt像素+B滤色器(＝B(Lt))

P₇₂…视差Rt像素+B滤色器(＝B(Rt))

P₂₃…视差Rt像素+R滤色器(＝R(Rt))

P₆₃…视差Lt像素+R滤色器(＝R(Lt))

P₁₅…视差Rt像素+G滤色器(＝G(Rt))

P₅₅…视差Lt像素+G滤色器(＝G(Lt))

P₃₆…视差Rt像素+B滤色器(＝B(Rt))

P₇₆…视差Lt像素+B滤色器(＝B(Lt))

P₂₇…视差Lt像素+R滤色器(＝R(Lt))

P₆₇…视差Rt像素+R滤色器(＝R(Rt))

其他像素为无视差像素，是无视差像素+R滤色器(＝R(N))、无视差像素+G滤色器(＝G(N))、无视差像素+B滤色器(＝B(N))中的任一种。

这样，优选如下排列，在基本格子中包含由开口部与彩色滤色器的全部组合形成的视差像素，且在多于视差像素的无视差像素中配置成具有随机性。特别是在不对各彩色滤色器另外计数的情况下，也优选无视差像素比视差像素多。在第2实施例的情况下，相对于G(N)＝28个，G(Lt)+G(Rt)＝2+2＝4个，相对于R(N)＝12个，R(Lt)+R(Rt)＝4个，相对于B(N)＝12个，B(Lt)+B(Rt)＝4个。

该排列是如下排列，将在第1实施例中把视差像素排列的RGB比设为1∶2∶1的地方增加至使R、B的视差像素与G相同而设为R∶G∶B＝1∶1∶1。相应地，无视差像素的空间分辨率下降。在图20中示出实际空间图和k空间图。

图10是说明第3实施例中的重复图案110的排列的图。与第1实施例、第2实施例同样地，第3实施例中的重复图案110在作为Y轴方向的纵向上包含4个拜耳排列，在作为X轴方向的横向上包含4个拜耳排列，所述拜耳排列以4个像素为基本单位，所述重复图案110由64个像素构成。将由64个像素构成的像素组作为一组，在摄像元件100的有效像素区域中，在上下左右周期性地排列该重复图案110。即，摄像元件100将图中以粗线表示的重复图案110作为基本格子。

第3实施例中的视差像素具有开口部104向中心的左侧偏心的视差Lt像素和同样地向右侧偏心的视差Rt像素这两种开口掩模103中的任一种。如图所示，视差像素按以下方式排列。

P₁₁…视差Lt像素+G滤色器(＝G(Lt))

P₃₂…视差Lt像素+B滤色器(＝B(Lt))

P₆₃…视差Rt像素+R滤色器(＝R(Rt))

P₅₅…视差Rt像素+G滤色器(＝G(Rt))

P₇₆…视差Rt像素+B滤色器(＝B(Rt))

P₂₇…视差Lt像素+R滤色器(＝R(Lt))

其他像素为无视差像素，是无视差像素+R滤色器(＝R(N))、无视差像素+G滤色器(＝G(N))、无视差像素+B滤色器(＝B(N))中的任一种。

这样，优选如下排列，在基本格子中包含由开口部与彩色滤色器的全部组合形成的视差像素，且在多于视差像素的无视差像素中配置成具有随机性。特别是在不对各彩色滤色器另外计数的情况下，也优选无视差像素比视差像素多。在第3实施例的情况下，相对于G(N)＝30个，G(Lt)+G(Rt)＝2个，相对于R(N)＝14个，R(Lt)+R(Rt)＝2个，相对于B(N)＝14个，B(Lt)+B(Rt)＝2个。

该排列是如下排列，将在第1实施例中把视差像素排列的RGB比设为1∶2∶1的地方减少至使G的视差像素与R、B相同而设为R∶G∶B＝1∶1∶1。相应地，无视差像素的空间分辨率上升。在图21中示出实际空间图和k空间图。

在第3实施例的情况下，按开口掩模的种类，相对于二维方向上的行方向(X方向)和列方向(Y方向)中的每一个均偏移地配置视差像素。即，在行方向上，视差Lt像素配置在第1、2、7行，视差Rt像素配置在第3、5、6行。另外，在列方向，视差Lt像素配置在第1、2、3列，视差Rt像素配置在第5、6、7列。这样，即使不考虑彩色滤色器的种类，如果按开口掩模的种类相对于二维方向的每一个均以等间隔配置，这能够进一步提高像素排列的随机性，并输出高质量的视差图像。即，各向同性地捕捉视差信息。其按原样沿袭并应用了在第1实施例中描述的配置原则。

图11是说明第4实施例中的重复图案110的排列的图。第4实施例中的重复图案110在作为Y轴方向的纵向上组合2个拜耳排列，在作为X轴方向的横向上组合两个拜耳排列，所述拜耳排列以4个像素为基本单位，并且所述重复图案110由将左上和右下的拜耳排列中的Gb像素的G滤色器替换成使可见光波段均通过的W滤色器而成的、16个像素构成。将由16个像素构成的像素组作为一组，在摄像元件100的有效像素区域中，在上下左右周期性地排列该重复图案110。即，摄像元件100将图中以粗线表示的重复图案110作为基本格子。

第4实施例中的视差像素具有：将开口部104向中心的左侧偏心的视差Lt像素与W滤色器相对应而成的P₁₁、同样地将向右侧偏心的视差Rt像素与W滤色器相对应而成的P₃₃。

其他像素为无视差像素，是无视差像素+R滤色器(＝R(N))、无视差像素+G滤色器(＝G(N))、无视差像素+B滤色器(＝B(N))中的任一种。

即使是这种排列，也按开口掩模的种类，被对应了其他开口掩模的视差像素和无视差像素夹持，在二维方向上的每一个上也以等间隔配置。另外，按开口掩模的种类，相对于二维方向上的行方向(X方向)和列方向(Y方向)中的每一个均偏移地配置视差像素。

在图22中示出该排列的实际空间图和k空间图。

能够从第4实施例中的摄像元件100取得亮度信息作为视差图像数据。即，除了能够输出单色的3D图像作为图像数据之外，也能过作为用于算出被拍摄体的距离的距离图像来利用。另外，如果以作为高分辨率数据的2D图像数据为基础，乘以作为亮度信息的3D图像数据的各像素中的相对的比，则能够生成高分辨率的彩色视差图像数据。

此前在第1～第4实施例中描述的是遵守“稀疏的视差像素”和“各向同性视差像素”的配置这两个原则而构成的例子。在以下的图中示出其他基于该原则可考虑的颜色视差像素的排列结构。图23、图24、图25是彩色滤色器采用拜耳排列的结构且仅采用了G像素作为视差像素的情况下的结构，且逐渐改变了各个视差像素的密度，图26、图27、图28是针对单色传感器，基于上述原则而构成的视差像素排列。每个图中都是在k空间图中视差像素的频率分辨率为各向同性且将无视差像素的分辨率保持为较大的状态下，从视差像素的信息也在模糊区域产生视差这样的观点来看具有适当范围的分辨率。

同样地，在图29、图30、图31、图32中示出补色系统的排列的例子的情况。此外，C的含义是靛青色，M的含义是品红色，Y的含义是黄色，W的含义是白色。

如上所述，示出了原色系统、单色系统以及补色系统的情况下的各视差像素排列，在彩色排列中特别优异的排列为在实施例1中示出的排列。这是由于：基础是拜耳排列，无视差像素保持与通常的拜耳排列大致相同的性能而实现无视差像素、有视差像素的RGB比均为R∶G∶B＝1∶2∶1这样的接近视敏度的分辨率比。

接着，作为第5实施例，表示了将第1实施例的视差像素的密度与R、G、B成分一起增加至2倍的情况下的例子。在第2实施例中，仅增加第1实施例的R、B成分的视差像素，但在本实施方式中也增加G成分，且无视差像素间的颜色分配比R(N)∶G(N)∶B(N)＝1∶2∶1、左视差像素间的颜色分配比R(Lt)∶G(Lt)∶B(Lt)＝1∶2∶1、右视差像素间的颜色分配比R(Rt)∶G(Rt)∶B(Rt)＝1∶2∶1均保持为与拜耳排列相同的颜色分配比，无视差像素(N)、左视差像素(Lt)、右视差像素(Rt)的分配比率从N∶Lt∶Rt＝14∶1∶1增加至N∶Lt∶Rt＝6∶1∶1。

在图34中示出其排列图。同时也示出其k空间图。但是，假设为由于视差像素稀疏，k空间图的无视差像素的分辨率范围与拜耳排列相比下降。G(Lt)和G(Rt)的分辨率范围以大概的估算来记载。

针对排列的排序进行说明，当观察8×8的基本格子内的情形时，在全部行中，存在一个一个左视差像素、右视差像素。另外，在全部列中也存在一个一个左视差像素、右视差像素。该距离等间隔地配置成不同的视差像素彼此的距离最远离。另外，若忽视颜色而以直线连结左视差像素之间，则在连结出从水平倾斜了约30度的左斜线的同时，在与之正交的方向上也连结出右斜线。在右视差像素彼此之间也同样如此。因此，各向同性地配置稀疏的视差像素。

该排列具有如下特征：具有2D分辨率与3D分辨率的空间分辨率平衡非常好这样的性能。即，在无视差像素以密集的排列保持2D画质的同时，视差像素以能够在各个行和列捕捉的程度的密度来生成立体图像。因此，第1实施例和第5实施例实现了一边沿袭拜耳排列的颜色分配比率的概念，一边以适合于单眼光瞳分割立体摄像的形式使之发展而成的视差像素排列。

接着，说明生成2D图像数据和多个视差图像数据的图像处理的概念。从重复图案110中的视差像素和无视差像素的排列也可以明白，即使使摄像元件100的输出与其像素排列一致而按原样罗列，也无法成为表示特定的像的图像数据。只有按附带了相同特征的像素组分离并拼合摄像元件100的像素输出，才能形成如下图像数据，所述图像数据表示适合该特征的一个像。例如，如已经使用图5说明的那样，当按照视差像素的开口部的种类拼合视差像素的输出时，能够得到多个相互具有视差的视差图像数据。这样，将按照附带了相同特征的像素组分离并拼合而成的各个图像数据称为层数据。

图像处理部205接收按摄像元件100的像素排列顺序罗列了其输出值而成的RAW原图像数据，并执行分离为多个层数据的层数据分离处理。以下，以来自使用图7说明的第1实施例的摄像元件100的输出为例说明各层数据的生成处理。

图12是说明作为2D图像数据的2D-RGB层数据的生成处理的例子的图。上层的图表示使摄像元件100中的一个重复图案110及其周围的输出与其像素排列一致而按原样罗列的情形。在图中，虽然按照图7的例子进行记载以理解像素的种类，但实际上，与各像素对应的输出值排列。

在生成2D-RGB层数据时，图像处理部205首先除去视差像素的像素值并作为空格子。然后，通过使用具有同种彩色滤色器的周边像素的像素值进行插补处理从而算出成为空格子的像素值。例如，对作为在斜方向上相邻的G滤色器像素的像素值的、P_-1-1、P_2-1、P_-12、P₂₂的像素值进行平均化运算而算出空格子P11的像素值。另外，例如对作为在上下左右方向上跳过一个像素而相邻的R滤色器的像素值的、P₄₃、P₄₃、P₈₃、P₆₅的像素值进行平均化运算而算出空格子P₆₃的像素值。同样地，例如对作为在上下左右方向上跳过一个像素而相邻的B滤色器的像素值的、P₇₄、P₅₆、P₉₆、P₇₈的像素值进行平均化运算而算出空格子P₇₆的像素值。

由于按这种方式插补而成的2D-RGB层数据与具有拜耳排列的通常的摄像元件的输出相同，所以，之后能够作为2D图像数据进行各种处理。即，进行公知的拜耳插补，在各像素中生成聚齐了RGB数据的彩色图像数据。图像处理部205按照预先设定的格式进行图像处理，在生成静止图像数据的情况下所述格式为JPEG等，在生成动画数据的情况下所述格式为MPEG等。

图13是说明作为视差图像数据的两个G层数据的生成处理的例子的图。即，作为左视差图像数据的GLt层数据和作为右视差图像数据的GRt层数据。

在生成GLt层数据时，图像处理部205从摄像元件100的全部输出值除去G(Lt)像素的像素值以外的像素值而作为空格子。于是，在重复图案110中留有P₁₁和P₅₅的两个像素值。因此，沿纵横4等分重复图案110，并用P₁₁的输出值代表左上的16个像素，用P₅₅的输出值代表右下的16个像素。然后，平均化运算在上下左右相邻的周围的代表值而插补右上的16个像素和左下的16个像素。即，GLt层数据以16个像素为单位具有一个值。

同样地，在生成GRt层数据时，图像处理部205从摄像元件100的全部输出值除去G(Rt)像素的像素值以外的像素值而作为空格子。于是，在重复图案110中留有P₅₁和P₁₅的两个像素值。因此，沿纵横4等分重复图案110，并用P₅₁的输出值代表右上的16个像素，用P₁₅的输出值代表左下的16个像素。然后，平均化运算在上下左右相邻的周围的代表值而插补左上16个像素和右下16个像素。即，GRt层数据以16个像素为单位具有一个值。

这样，能够生成分辨率比2D-RGB层数据低的GLt层数据和GRt层数据。

图14是说明作为视差图像数据的两个B层数据的生成处理的例子的图。即，作为左视差图像数据的BLt层数据和作为右视差图像数据的BRt层数据。

在生成BLt层数据时，图像处理部205从摄像元件100的全部输出值除去B(Lt)像素的像素值以外的像素值而作为空格子。于是，在重复图案110中留有P₃₂的像素值。将该像素值作为重复图案110的64个像素的代表值。

同样地，在生成BRt层数据时，图像处理部205从摄像元件100的全部输出值除去B(Rt)像素的像素值以外的像素值而作为空格子。于是，在重复图案110中留有P₇₆的像素值。将该像素值作为重复图案110的64个像素的代表值。

这样，生成了分辨率比2D-RGB层数据低的BLt层数据和BRt层数据。在该情况下，BLt层数据和BRt层数据的分辨率比GLt层数据和GRt层数据的分辨率低。

图15是说明作为视差图像数据的两个R层数据的生成处理的例子的图。即，作为左视差图像数据的RLt层数据和作为右视差图像数据的RRt层数据。

在生成RLt层数据时，图像处理部205从摄像元件100的全部输出值除去R(Lt)像素的像素值以外的像素值而作为空格子。于是，在重复图案110中留有P₂₇的像素值。将该像素值作为重复图案110的64个像素的代表值。

同样地，在生成RRt层数据时，图像处理部205从摄像元件100的全部输出值除去R(Rt)像素的像素值以外的像素值而作为空格子。于是，在重复图案110中留有P₆₃的像素值。将该像素值作为重复图案110的64个像素的代表值。

这样，生成了分辨率比2D-RGB层数据低的RLt层数据和RRt层数据。在该情况下，在该情况下，RLt层数据和RRt层数据的分辨率比GLt层数据和GRt层数据的分辨率低，并与BLt层数据和BRt层数据的分辨率相同。

在图16中示出表示各层数据的分辨率的关系的概念图。通过使用US2010/021853号公报等的技术实施插补处理，2D-RGB层数据实质上具有与摄像元件100的有效像素相同的像素数的输出值。通过实施插补处理，GLt层数据和GRt层数据相对于2D-RGB层数据的像素数具有1/16(＝1/4×1/4)的像素数的输出值。BLt层数据、BRt层数据、RLt层数据以及RRt层数据相对于2D-RGB层数据的像素数具有1/64(＝1/8×1/8)的像素数的输出值。通过双线性插补这些分辨率低的各层数据而进行放大变倍，并转换成具有与摄像元件的有效像素数相同的像素数的分辨率的层数据。然而，这些层数据实质上只具有原来的变倍前的层数据所具有的分辨率。即，变倍放大的层数据是平缓变化的图像数据。这些只不过是用实际空间再一次说明已经使用k空间说明过的相同内容。

根据这样的各层数据间的分辨率的平衡，首先，能够输出分辨率高的2D图像。然后，如果在利用2D图像的信息的同时，通过进行前述公式的视差调制而使用视差图像数据实施合成处理，则也能够输出3D图像作为具有分辨率的图像。

此外，如果像第1实施例和第2实施例那样将视差像素的种类设为2，则能够得到两个视点的视差图像，当然，视差像素的种类可与想输出的视差图像数相匹配而采用各种数量。即使视点数量增加，也能够形成与规格、目的等对应的各种重复图案110。在该情况下，为了使2D图像的输出和3D图像的输出均具有分辨率，重要的是，在摄像元件100的基本格子中包含由开口部与彩色滤色器的全部组合形成的视差像素，同时将无视差像素设为比视差像素多。进一步地，重要的是，各向同性地且均匀地配置视差像素。

以上，若概括发明的本质，能够列举以下的三个重要点。第一，视差像素的单眼光瞳分割摄像方式中，由于仅是使视差在非对焦部的模糊的被拍摄体像的区域产生，因此应取得作为左右视差图像的空间分辨率可较低，视差像素能够设为稀疏的配置。相应地，由于在对焦位置的包括高频成分的被拍摄体像中视差会消失，能够密集地配置无视差图像，并提供一种在单眼光瞳分割方式中相合性极好的颜色视差像素排列。

第二，左右的视差图像承担使无视差图像在水平方向上调制而生成最终的高分辨率的彩色视差图像的作用。此时，为了最有效地、高分辨率地进行水平方向上的视差调制，各个视差图像需要在水平方向上具有高分辨率。提供其解决对策的是各向同性地配置各视差像素的颜色视差像素排列。

第三，在无视差像素之间嵌入视差像素时，需要尽可能保持嵌入无视差像素的空间分辨率之前的状态，从而尽可能抑制由视差像素导致的损伤。用于此的解决手段是尽可能各向同性地、均匀地配置并分布各个视差像素的方法。根据以上理由，“稀疏的视差像素配置”和“各向同性的视差像素配置”提供极有效的单眼光瞳分割摄像方式的摄像元件的结构。

在上述例子中，说明了采用拜耳排列作为彩色滤色器排列的情况，当然也可以是其他彩色滤色器排列。另外，在上述例子中，使用了红色、绿色以及蓝色这3种颜色作为构成彩色滤色器的原色。但是，也可以将添加了翠色等而成的4种以上颜色作为原色。另外，也能够采用黄色、洋红、靛青色的组合而成的三原色来代替红色、绿色以及蓝色。

此外，虽然作为无视差像素示出了全开口的例子，如图33所示，通过将与视差像素相同的半开口的面积的掩模配置在像素的中心，也能够实现作为无视差像素。

由于与仅由N像素构成的通常的拜耳排列相比，在此之前说明的无视差像素(N像素)和视差像素(Lt像素、Rt像素)共存的排列具有视差像素在大约2倍的曝光量前信号量也不饱和的特性，所以具有实现宽动态范围排列的优点。即，视差像素的一半开口被遮光的特性本身同时实现了产生视差的立体摄像效果、扩展饱和电平的高动态范围化这两个效果。因此，当使用实施方式所示的排列生成2D图像、3D图像时，能够得到具有在高动态范围内进行分辨的性能的图像。

在以上说明中，在一个像素中分配了视差Lt像素和视差Rt像素中的任一个，但也能够分配视差Lt像素和视差Rt像素双方。例如，将构成一个像素的光电转换元件分割为左右，能够将分割的左侧作为视差Lt像素处理，将分割的右侧作为视差Rt像素处理。在这样的像素排列中，由于视差Lt像素和视差Rt像素的密度变高，所以能够提高视差Lt像素和视差Rt像素的空间分辨率。此外，针对视差像素的光电转换元件，将无视差像素的光电转换元件的专有面积的大致一半的专有面积作为一个像素处理。即，N像素的正方形像素、视差Lt像素和视差Rt像素的矩形像素并存。若合并视差Lt像素和视差Rt像素则成为大致正方形的区域。

图35是表示作为一例的实际空间的排列与k空间的图。在图35所示的排列中，无视差像素、视差Lt像素以及视差Rt像素的像素数比为N∶Lt∶Rt＝14∶2∶2。与图19所示的排列相比，视差Lt像素和视差Rt像素的密度变高。结果，如图35的k空间图所示，在R、G、B的每一个中，视差Lt像素和视差Rt像素的空间分辨率变高。

图36是表示作为一例的实际空间的排列与k空间的图。在图36所示的排列中，无视差像素、视差Lt像素以及视差Rt像素的像素数比为N∶Lt∶Rt＝6∶2∶2。与图34所示的排列相比，视差Lt像素和视差Rt像素的密度变高。结果，如图36的k空间图所示，在R、G、B的每一个中，视差Lt像素和视差Rt像素的空间分辨率变高。

以上，在已说明的像素排列中的、满足特别条件的像素排列中，通过在水平方向上将多个像素相加，并且间除垂直方向上的多个像素，能够进行动画读出。图37是用图34所示的排列说明动画读出的图。在这里，说明将水平方向上相邻的同色的3个像素相加，并且在垂直方向上间除3个像素的情况。为了容易用眼睛追踪该情形，图37在纵向和横向的每一个上排列示出了四个图34所示的像素排列。另外，以(i，j)表示像素的位置。例如，左上端的像素的位置为(1，1)，右下端的像素的位置为(32，32)。

例如，通过将位于(1，1)的GLt像素的像素值、位于(1，3)的G像素的像素值以及位于(1，5)的GRt像素的像素值相加，能够得到相加后的G像素值。同样地，通过将位于(1，7)的G像素的像素值、位于(1，9)的GLt像素的像素值以及位于(1，11)的G像素的像素值相加，能够得到相加后的G像素值。由于取了一个视差像素和两个N像素的平均值，相加和间除后的GLt像素中的视差量衰减为1/3。因此，在视差调制时可将视差量放大至3倍。即，在将差保持为恒定的视差调制时，可将调制项整体设为3倍，在将比保持为恒定的视差调制时，将调制项整体进行立方运算即可。

在按以上方式进行动画读出的情况、进行全部像素读出的情况下，无视差像素、视差Lt像素以及视差Rt像素的像素数比均成为N∶Lt∶Rt＝6∶1∶1。另外，排列结构也更换R成分和B成分的作用，则成为与读出全部像素时完全相同的排列。这样，无视差像素、视差Lt像素以及视差Rt像素的像素数比为N∶Lt∶Rt＝6∶1∶1的像素排列具有如下优异的特性，即使进行动画读出，排列结构的位置关系也不会变化而保持N∶Lt∶Rt＝6∶1∶1的状态。

以上，使用实施方式说明了本发明，但本发明的技术范围不限定于上述实施方式记载的范围内。本领域技术人员可以理解，可对上述实施方式施加多种变更或改良。从权利要求书的记载可以明显看出，施加了这种变更或改良的实施方式也可包含于本发明的技术范围内。

附图标记的说明

10数码相机，20拍摄透镜，21光轴，30、31被拍摄体，100摄像元件，101微型透镜，102彩色滤色器，103开口掩模，104开口部，105布线层，106布线，107开口，108光电转换元件，109衬底，110重复图案，201控制部，202A/D转换电路，203存储器，204驱动部，205图像处理部，207存储卡IF，208操作部，209显示部，210LCD驱动电路，211AF传感器，220存储卡。

Claims (15)

1.一种摄像元件，

由光电转换元件构成的像素在x-y平面上周期性地配置，所述光电转换元件将入射光光电转换成电信号，

与所述像素的每一个一对一对应地设置基准方向以及与基准方向不同的第1视差方向、第2视差方向上的至少3种开口掩模，

所述摄像元件由像素排列构成，所述像素排列以如下像素密度周期性地配置而成：包括所述第1视差方向的开口掩模的像素的密度、包括所述第2视差方向的开口掩模的像素的密度中的每一个低于包括所述基准方向的开口掩模的像素的密度，

所述摄像元件还包括图像生成装置，所述图像生成装置使用由所述摄像元件摄像得到的基准方向的像素信号、第1视差方向的像素信号以及第2视差方向的像素信号的每一个，分别生成第1视差方向的图像和第2视差方向的图像，所述第1视差方向的图像和第2视差方向的图像由与摄像元件所具有的像素数相同的像素数构成。

2.根据权利要求1所述的摄像元件，其中，

与所述像素的每一个一对一对应地设置由两种以上的颜色成分构成的彩色滤色器，针对配置有至少一种颜色成分的彩色滤色器的像素，配置有包括所述基准方向的开口掩模的像素、包括所述第1视差方向的开口掩模的像素以及包括所述第2视差方向的开口掩模的像素的每一个时，

所述摄像元件由如下的像素排列构成，在配置有所述一种颜色成分的彩色滤色器的像素之间，所述像素排列按满足以下关系的方式配置像素：成为以下像素密度，包括所述第1视差方向的开口掩模的像素的密度、和包括所述第2视差方向的开口掩模的像素的密度的每一个低于包括所述基准方向的开口掩模的像素的密度。

3.根据权利要求2所述的摄像元件，其特征在于，

按如下方式配置像素：成为以下密度，包括所述第1视差方向的开口掩模的像素的密度、和包括所述第2视差方向的开口掩模的像素的密度的每一个成为包括所述基准方向的开口掩模的像素的密度的一半以下。

4.根据权利要求2所述的摄像元件，其特征在于，

针对所述两种以上的颜色成分的彩色滤色器的每一种分配包括所述基准方向的开口掩模的像素、包括所述第1视差方向的开口掩模的像素以及包括所述第2视差方向的开口掩模的像素的每一种。

5.根据权利要求4所述的摄像元件，其特征在于，

在所述两种以上的颜色成分由R、G、B这三种颜色成分构成时，

针对包括所述第1视差方向的开口掩模的像素和包括所述第2视差方向的开口掩模的像素的每一种，将G成分的密度配置成比R、B成分的密度高。

6.根据权利要求1所述的摄像元件，其特征在于，

在所述摄像元件的全部像素由具有相同光谱灵敏度特性的单色像素构成时，

按如下方式配置像素：成为以下密度，包括所述第1视差方向的开口掩模的像素的密度、和包括所述第2视差方向的开口掩模的像素的密度的每一个，成为包括所述基准方向的开口掩模的像素的密度的1/8以下。

7.权利要求1至6中任一项所述的摄像元件，其中，

所述摄像元件由如下的像素排列构成，将包括所述第1视差方向的开口掩模的像素在X方向和Y方向这两个方向上等间隔地排列并各向同性地配置，并且将包括所述第2视差方向的开口掩模的像素在X方向和Y方向这两个方向上等间隔地排列并各向同性地配置。

8.一种摄像元件，包含：

视差像素，使具有多种开口的开口掩模的任一种与光电转换元件相对应，所述开口被定位成相对于入射光束使相互不同的部分光束通过；以及

无视差像素，其不受所述开口限制地将所述入射光束引导向所述光电转换元件，

所述视差像素按所对应的所述开口掩模的种类由所述无视差像素和与其他所述开口掩模相对应的所述视差像素夹持，在二维方向的任意方向上都以等间隔配置，并且与不同种类的所述开口掩模相对应的所述视差像素彼此之间的距离配置成相互最远离，

所述视差像素和所述无视差像素与使相互不同的波段通过的多种彩色滤色器的任一种相对应，

所述视差像素按所对应的所述彩色滤色器的种类，在所述二维方向的任意方向上都以等间隔配置，并且按所述彩色滤色器的种类与不同种类的所述开口掩模相对应的所述视差像素彼此之间的距离配置成相互最远离。

9.根据权利要求8所述的摄像元件，

所述视差像素按所对应的所述开口掩模的种类，相对于所述二维方向的行方向和列方向的任意方向均偏移地配置所述视差像素。

10.一种摄像装置，包括：

权利要求8或9所述的摄像元件；以及

图像处理部，根据所述摄像元件的输出生成相互具有视差的多个视差图像数据和无视差的2D图像数据。

11.一种摄像元件，

由光电转换元件构成的像素在x-y平面上周期性地配置，所述光电转换元件将入射光光电转换成电信号，

与所述像素的每一个一对一对应地设置基准方向以及与基准方向不同的第1视差方向、第2视差方向上的至少3种开口掩模，

所述摄像元件由如下的像素排列构成，将包括所述第1视差方向的开口掩模的像素在X方向和Y方向这两个方向上等间隔地排列并各向同性地配置，并且将包括所述第2视差方向的开口掩模的像素在X方向和Y方向这两个方向上等间隔地排列并各向同性地配置，

在读出所述像素排列中的全部像素的情况、和将在所述像素排列中所述X方向上的多个所述像素的像素值相加并且间除所述Y方向上的多个行而读出的情况下，包括所述基准方向的开口掩模的像素、包括所述第1视差方向的开口掩模的像素以及包括所述第2视差方向的开口掩模的像素的密度比变得相同。

12.根据权利要求11所述的摄像元件，其中，

与所述像素的每一个一对一对应地设置由两种以上的颜色成分构成的彩色滤色器，针对配置有至少一种颜色成分的彩色滤色器的像素，分别配置有包括所述基准方向的开口掩模的像素、包括所述第1视差方向的开口掩模的像素以及包括所述第2视差方向的开口掩模的像素的每一个时，

所述摄像元件由如下的像素排列构成，在配置有所述一种颜色成分的彩色滤色器的像素之间，将包括所述第1视差方向的开口掩模的像素在X方向和Y方向这两个方向上等间隔地排列并各向同性地配置，并且将包括所述第2视差方向的开口掩模的像素在X方向和Y方向这两个方向上等间隔地排列并各向同性地配置。

13.根据权利要求12所述的摄像元件，其特征在于，

针对所述两种以上的颜色成分的彩色滤色器的每一种分配包括所述基准方向的开口掩模的像素、包括所述第1视差方向的开口掩模的像素以及包括所述第2视差方向的开口掩模的像素的每一种。

14.根据权利要求11或13所述的摄像元件，其特征在于，

在所述周期性地配置而成的基本格子的像素中，将包括所述第1视差方向的开口掩模的像素配置成位于不同的行和列。

15.根据权利要求11所述的摄像元件，其中，

包括所述基准方向的开口掩模的像素、包括所述第1视差方向的开口掩模的像素以及包括所述第2视差方向的开口掩模的像素的密度比为6∶1∶1。