CN103503447B - 拍摄装置及拍摄装置的控制方法 - Google Patents

Abstract

现有立体拍摄装置不具备能够判断拍摄图像中有无纵深的基础数据，因此难以简单地判断有无纵深。为此提供一种拍摄装置，包括拍摄元件，该拍摄元件在互不相同位置处排列有分别输出产生视差的第一视差图像和第二视差图像的第一视差像素组和第二视差像素组，以作为第一视差图像的一个第一视差输出像素的关注像素为基准，计算相对于位于关注像素周围的第二视差图像的多个第二视差输出像素的每一个的差分像素值，并生成将多个第二视差输出像素以关注像素为基准的各个方向与差分像素值相关联的差分数据。

Description

拍摄装置及拍摄装置的控制方法

技术领域

本发明涉及拍摄装置及拍摄装置的控制方法。

背景技术

已知一种立体拍摄装置，使用两个拍摄光学系统拍摄由右眼用图像和左眼用图像构成的立体图像。这种立体拍摄装置通过相隔一定的间隔设置两个拍摄光学系统，使得在对同一被拍物进行拍摄得到的两个图像上产生视差。

现有技术文献：

专利文献1：日本特开平8-47001号公报

发明内容

发明要解决的问题:

然而，上述立体拍摄装置并不具备例如能够较容易地判断拍摄图像中的被拍物像有无纵深等的基础数据，因此需要进行模式匹配处理等复杂的运算。

解决问题的方案:

本发明第一方式中的拍摄装置包括：拍摄元件，在互不相同位置处排列有分别输出产生视差的第一视差图像和第二视差图像的第一视差像素组和第二视差像素组；差分运算部，用于以作为第一视差图像的一个第一视差输出像素的关注像素为基准，计算相对于位于关注像素周围的第二视差图像的多个第二视差输出像素的每一个的差分像素值；和数据生成部，用于生成差分数据，该差分数据将多个第二视差输出像素以关注像素为基准的各个方向与差分像素值相关联。

本发明第二方式中的拍摄装置的控制程序，是拍摄装置的控制程序，该拍摄装置具有拍摄元件，该拍摄元件在互不相同位置处排列有分别输出产生视差的第一视差图像和第二视差图像的第一视差像素组和第二视差像素组，控制程序使计算机执行如下步骤：差分运算步骤，以作为第一视差图像的一个第一视差输出像素的关注像素为基准，计算相对于位于关注像素周围的第二视差图像的多个第二视差输出像素的每一个的差分像素值；以及数据生成步骤，生成差分数据，该差分数据将多个第二视差输出像素以关注像素为基准的各个方向与差分像素值相关联。

另外，上述发明内容并未列举出本发明的全部可能特征，所述特征组的子组合也有可能构成发明。

附图说明

图1为本发明实施方式所述数码相机的结构说明图。

图2为表示本发明实施方式所述摄像元件的截面示意图。

图3为将摄像元件的一部分放大表示后的样子的示意图。

图4为说明视差像素与被拍物的关系的概念图。

图5为说明生成视差图像的处理的概念图。

图6为表示重复图案的另一例的图。

图7为表示二维重复图案的例子的图。

图8为开口部的另一形状的说明图。

图9为拜耳阵列的说明图。

图10为关于对拜耳阵列分配视差像素，有两种视差像素时的变例的说明图。

图11为表示变例的一例的图。

图12为表示另一变例的一例的图。

图13为表示又一变例的一例的图。

图14为说明另一彩色滤光片阵列的图。

图15为表示W像素与视差像素的阵列的一例的图。

图16为表示差分数据集合生成处理的处理流程图。

图17为说明实施例1中的拍摄图像数据的图。

图18为说明实施例1中的关注像素设定处理的图。

图19为说明实施例1中的关注像素设定处理的图。

图20为说明实施例1中的区域设定处理的图。

图21（a）为说明实施例1中的差分运算处理的图。

图21（b）为显示实施例1中的差分数据的一例的图。

图22为实施例1中的差分数据集合的一例。

图23为实施例1中的像素值运算的一例。

图24为说明实施例1的同一视差差分数据集合生成处理中的区域设定处理的图。

图25（a）为说明实施例1的同一视差差分数据集合生成处理中的差分运算处理的图。

图25（b）为显示实施例1的同一视差差分数据集合生成处理中的同一视差差分数据的一例的图。

图26为说明实施例2中的拍摄图像数据的图。

图27为说明实施例2中的区域设定处理的图。

图28（a）为说明实施例2中的差分运算处理的图。

图28（b）为显示实施例2中的差分数据的一例的图。

图29为说明实施例3中的拍摄图像数据的图。

图30为说明实施例3中的区域设定处理的图。

图31为说明实施例3中的区域设定处理的图。

图32为说明实施例3中的区域设定处理的图。

具体实施方式

以下通过发明实施方式对本发明进行说明，但以下实施方式并非对权利要求书所涉及的发明进行限定。并且，实施方式中说明的特征组合也并非全部为本发明的必要特征。

本实施方式所述数码相机作为摄像装置的一个实施方式，通过对一个场景进行一次拍摄便能生成多个视点数的图像。将视点各不相同的各个图像称为视差图像。

图1为本发明实施方式所述数码相机10的结构说明图。数码相机10包括作为摄影光学系统的摄影镜头20，将沿光轴21入射的被拍物光束引导至摄像元件100。摄影镜头20也可以是相对于数码相机10能够装卸的更换式镜头。数码相机10包括：摄像元件100、控制部201、A/D转换电路202、存储器203、驱动部204、图像处理部205、存储卡IF（InterFace，接口）207、操作部208、显示部209、LCD驱动电路210及AF传感器211。

另外，如图所示，将朝向摄像元件100的与光轴21平行的方向定为z轴正方向，将在与z轴垂直的平面中朝向纸面近前一侧的方向定为x轴正方向，将纸面的上方向定为y轴正方向。在之后的几个图中，以图1的座标轴为基准显示座标轴，以便于理解各个图的朝向。

摄影镜头20由多个光学透镜组构成，使来自于场景的被拍物光束在其焦点面附近成像。另外，在图1中，为了便于说明摄影镜头20，以设置在光瞳附近的一个假想透镜代表性地进行表示。摄像元件100设置于摄影镜头20的焦点面附近。摄像元件100为二维地排列有多个光电转换元件的例如CCD（电荷藕合器件，ChargeCoupledDevice）、CMOS（互补金属氧化物半导体，ComplementaryMetalOxideSemiconductor）传感器等图形传感器。摄像元件100由驱动部204进行定时控制，将受光面上成像的被拍物像转换成图像信号并输出给A/D转换电路202。

另外，拍摄元件100具有分别输出产生视差的第一视差图像和第二视差图像的第一视差像素组和第二视差像素组。第一视差像素组和第二视差像素组排列在互不相同的位置处。详细内容如后所述。

A/D转换电路202将由拍摄元件100输出的图像信号转换成数字图像信号输出给存储器203。图像处理部205将存储器203作为工作空间实施各种图像处理，以生成图像数据。除此之外，图像处理部205还承担着如下功能：遵循拍摄元件100的像素排列，根据输入的图像信号生成作为非视差图像数据的2D图像数据及视差图像数据，并依照所选择的图像格式调整图像数据。所生成的图像数据由LCD驱动电路210转换成显示信号显示在显示部209上。并且，该生成的图像数据记录于装设在存储卡IF207上的存储卡220中。

另外，图像处理部205包括：差分运算部231，以拍摄元件100输出的作为第一视差图像中的一个第一视差输出像素的关注像素为基准，计算相对于由拍摄元件100输出的第二视差图像中的多个第二视差输出像素中位于关注像素周围的多个第二视差输出像素的每一个的差分像素值；数据生成部232，生成包含有差分数据的差分数据集合，该差分数据将多个第二视差输出像素以关注像素为基准的各个方向与差分像素值相关联；存储控制部233，将差分数据集合以文件形式存储于存储卡220中。关于各个处理的详细内容，如后所述。

AF传感器211是对被拍物空间设定有多个测距点的相位差传感器，在各个测距点处检测出被拍物像的散焦量。一系列的拍摄过程是从操作部208接收到用户的操作并向控制部201输出操作信号开始的。拍摄过程中附带的AF（AutoFocus，自动对焦），AE（AutomaticExposure，自动曝光）等的各种动作由控制部201控制执行。例如，控制部201解析AF传感器211的检测信号，执行使构成摄影镜头20一部分的聚焦透镜移动的对焦控制。

以下对拍摄元件100的结构进行详细说明。图2为表示本发明实施方式所述拍摄元件的截面示意图。图2（a）为将彩色滤光片102与开口掩模103分体构成的拍摄元件100的截面示意图。另外，图2（b）为作为拍摄元件100的变形例，具有将彩色滤光片部122与开口掩模部123一体构成的屏幕滤波器121的拍摄元件120的截面示意图。

如图2（a）所示，拍摄元件100被构成为从被拍物侧开始依次排列有微型透镜101、彩色滤光片102、开口掩模103、布线层105及光电转换元件108。光电转换元件108由用于将入射光转换为电信号的光电二极管构成。光电转换元件108在基板109的表面以二维方式排列有多个。

由光电转换元件108转换的图像信号以及控制光电转换元件108的控制信号等通过布线层105上设置的布线106进行收发。而且，具有与各个光电转换元件108一一对应设置的开口部104的开口掩模103与布线层相接触地设置。如后所述，使开口部104相对于各个相应的光电转换元件108偏移，并严格地确定了相对位置。通过具有该开口部104的开口掩模103的作用，在光电转换元件108所接收的被拍物光束上产生视差，详细内容将在后续内容进行说明。

另一方面，在不产生视差的光电转换元件108上不存在开口掩模103。换言之，设置的开口掩模103所具有的开口部104并不限制于向相应的光电转换元件108入射的被拍物光束，而是使全部有效光束均穿过。虽然没有产生视差，但由于通过布线106所形成的开口107实质上规定了入射的被拍物光束，因此可以将布线106看做是使不产生视差的全部有效光束穿过的开口掩模。开口掩模103可以分别对应于各个光电转换元件108独立排列，也可以与彩色滤光片102的制造过程相同，对应于多个光电转换元件108统一形成。

彩色滤光片102设置于开口掩模103上。彩色滤光片102是分别与各个光电转换元件108一一对应设置、通过对各个光电转换元件108进行着色而使特定波段透过的滤光片。为了输出彩色图像，只要排列至少两种彼此不同的彩色滤光片即可，但为了获得更高画质的彩色图像，最好排列三种以上的彩色滤光片。例如，可以网格状地排列有使红色波段透过的红色滤光片、使绿色波段透过的绿色滤光片、以及使蓝色波段透过的蓝色滤光片。有关具体的排列将在以后进行说明。

微型透镜101设置于彩色滤光片102上。微型透镜101是用于将入射的被拍物光束更多地引导至光电转换元件108的聚光透镜。微型透镜101分别与光电转换元件108一一对应设置。微型透镜101优选考虑摄影镜头20的光瞳中心与光电转换元件108的相对位置关系来移动其光轴，以使更多的被拍物光束被引导至光电转换元件108。进一步地，可以与开口掩模103的开口部104的位置共同调整设置位置，以使后述特定的被拍物光束更多地入射。

如此，将与各个光电转换元件108一一对应设置的开口掩模103、彩色滤光片102及微型透镜101的一个单位称为像素。具体地，将设置有产生视差的开口掩模103的像素称为视差像素，将没有设置产生视差的开口掩模103的像素称为无视差像素。例如，当摄像元件100的有效像素区域为24mm×16mm左右时，像素数达到1200万个左右。

另外，当采用集光效率、光电转换效率较好的图形传感器时，也可以不设置微型透镜101。另外，当采用背面照射型图形传感器时，布线层105设置于光电转换元件108的相对侧。

在彩色滤光片102与开口掩模103的组合中存在各种变例。在图2（a）中，如果使开口掩模103的开口部104具有颜色成分，则可以将彩色滤光片102与开口掩模103一体成形。并且，当将特定像素专门作为取得被拍物亮度信息的像素时，在该像素中也可以不设定相应彩色滤光片102。或者，也可以排列未施加着色的透明滤光片，以使可见光的几乎全部波段透过。

在将取得亮度信息的像素作为视差像素时，即将视差图像作为单色图像进行输出时，可以采用如图2（b）所示的拍摄元件120的结构。即可以将屏幕滤波器121设置于微型透镜101与布线层105之间，该屏幕滤波器121由发挥彩色滤光片功能的彩色滤光片部122以及具有开口部104的开口掩模部123一体构成。

屏幕滤波器121被形成为在彩色滤光片部122处被实施了例如蓝绿红的着色，在开口掩模部123处除开口部104以外的掩模部分被实施了黑色的着色。由于采用屏幕滤波器121的拍摄元件120与拍摄元件100相比，从微型透镜101到光电转换元件108的距离较短，因此被拍物光束的集光效率较高。

以下说明开口掩模103的开口部104与所产生的视差的关系。图3为将摄像元件100的一部分放大显示后的样子的示意图。此处，为了简化说明，此处暂不考虑有关彩色滤光片102的配色，后续内容再进行说明。在未提及彩色滤光片102的配色的以下说明中，可以认为是仅集成了具有同色的彩色滤光片102的视差像素的图形传感器。因此，以下所说明的重复图案也可以被认为是同色的彩色滤光片102中的相邻像素。

如图3所示，开口掩模103的开口部104相对于各个像素相对偏移设置。而且，在相邻像素的彼此之间，各个开口部104设置于彼此错位的位置。

在图中的例子中，根据开口部104相对于各个像素的位置的不同，预先准备有沿左右方向彼此偏移的六种开口掩模10。而且，在整个摄像元件100中二维地且周期性地排列有光电转换元件组，该光电转换元件组以分别具有从纸面左侧往右侧逐渐偏移的开口掩模103的六个视差像素为一组。也就是说，摄像元件100是由包含一组光电转换元件组的重复图案110周期性地铺展而成。

图4为说明视差像素与被拍物的关系的概念图。具体地，图4（a）表示在摄像元件100中在与摄影光轴21相垂直的中心处排列的重复图案110t的光电转换元件组，图4（b）示意性地表示在周围部分排列的重复图案110u的光电转换元件组。图4（a）、图4（b）中的被拍物30位于相对于摄影镜头20的聚焦位置。图4（c）与图4（a）相对应地示意性地表示出当捕捉相对于摄影镜头20位于非聚焦位置的被拍物31时的关系。

首先说明由摄影镜头20捕捉处于聚焦状态下的被拍物30时，视差像素与被拍物的关系。被拍物光束穿过摄影镜头20的光瞳被引导至摄像元件100，但对被拍物光束透过的整个截面区域规定了六个部分区域Pa～Pf。而且，从放大图中也可以看出，例如构成重复图案110t、110u的光电转换元件组的纸面左端的像素中，对开口掩模103的开口部104f的位置进行了设定，以使只有从部分区域Pf射出的被拍物光束才能到达光电转换元件108。同样地，对于从此往右端的像素，也分别设定了开口部104e与部分区域Pe对应的位置、开口部104d与部分区域Pd对应的位置、开口部104c与部分区域Pc对应的位置、开口部104b与部分区域Pb对应的位置、开口部104a与部分区域Pa对应的位置。

换言之，例如根据由部分区域Pf与左端像素的相对位置关系定义的、从部分区域Pf射出的被拍物光束的主光线Rf的倾斜来设定开口部104f的位置。然后，当光电转换元件108经开口部104f接收到来自于位于聚焦位置的被拍物30的被拍物光束时，如虚线所示，该被拍物光束在光电转换元件108上成像。同样地，也可以说是对于从此往右端的像素，分别根据主光线Re的倾斜设定开口部104e的位置、根据主光线Rd的倾斜设定开口部104d的位置、根据主光线Rc的倾斜设定开口部104c的位置、根据主光线Rb的倾斜设定开口部104b的位置、根据主光线Ra的倾斜设定开口部104a的位置。

如图4（a）所示，在位于聚焦位置的被拍物30中，从与光轴21相交叉的被拍物30上的微小区域Ot放射的光束穿过摄影镜头20的光瞳到达构成重复图案110t的光电转换元件组的各个像素。即，构成重复图案110t的光电转换元件组的各个像素分别透过六个部分区域Pa～Pf接收到从一个微小区域Ot放射的光束。微小区域Ot具有与构成重复图案110t的光电转换元件组的各个像素的错位相对应程度的大小，但实质上能够近似于大致同一物点。同样地，如图4（b）所示，在位于聚焦位置的被拍物30中，从离开光轴21的被拍物30上的微小区域Ou放射的光束穿过摄影镜头20的光瞳到达构成重复图案110u的光电转换元件组的各个像素。即，构成重复图案110u的光电转换元件组的各个像素分别透过六个部分区域Pa～Pf接收到从一个微小区域Ou放射的光束。微小区域Ou也与微小区域Ot相同，具有与构成重复图案110u的光电转换元件组的各个像素的错位相对应程度的大小，但实质上能够近似于大致同一物点。

也就是说，只要被拍物30位于聚焦位置，对应于摄像元件100上的重复图案110的位置，光电转换元件组所捕捉到的微小区域各不相同，且构成光电转换元件组的各像素透过彼此不同的部分区域捕捉同一微小区域。而且，在各个重复图案110中，相应像素彼此之间接收来自于同一部分区域的被拍物光束。也就是说，在图中，例如重复图案110t、110u的各个左端像素均接收来自于同一部分区域Pf的被拍物光束。

在与摄影光轴21相垂直的中心处排列的重复图案110t中的、供左端像素接收来自于部分区域Pf的被拍物光束的开口部104f的位置与在周围部分排列的重复图案110u中的、供左端像素接收到来自于部分区域Pf的被拍物光束的开口部104f的位置严格来讲是不同的。然而，从功能的角度来看，在用于接收来自于部分区域Pf的被拍物光束的开口掩模这一点上，可以将他们作为同一种类开口掩模处理。因此，在图4的例子中，可以说在摄像元件100上排列的各个视差像素分别具有六种开口掩模之一。

以下说明由摄影镜头20捕捉处于非聚焦状态的被拍物31时，视差像素与被拍物的关系。在此情形中，来自于位于非聚焦位置的被拍物31的被拍物光束也透过摄影镜头20的光瞳的六个部分区域Pa～Pf到达摄像元件100。然而，来自于处于非聚焦位置的被拍物31的被拍物光束并不在光电转换元件108上成像，而是在其他位置成像。例如，如图4（c）所示，当被拍物31位于比被拍物30更加远离摄像元件100的位置时，被拍物光束与光电转换元件108相比在更靠近被拍物31侧成像。相反，当被拍物31位于比被拍物30更接近摄像元件100的位置时，被拍物光束与光电转换元件108相比在被拍物31的相对侧成像。

因此，在位于非聚焦位置的被拍物31中，从微小区域Ot’放射的被拍物光束透过六个部分区域Pa～Pf中的任意一个，从而到达不同组的重复图案110中的相应像素。例如，如图4（c）的放大图所示，透过部分区域Pd的被拍物光束作为主光线Rd’入射到重复图案110t’中包含的具有开口部104d的光电转换元件108。而且，即使是从微小区域Ot’放射的被拍物光束，透过其他部分区域的被拍物光束也不会入射到重复图案110t’中包含的光电转换元件108，而是入射到其他重复图案中具有相应开口部的光电转换元件108。换言之，到达构成重复图案110t’的各光电转换元件108的被拍物光束是从被拍物31中互不相同的微小区域放射的被拍物光束。也就是说，以Rd’为主光线的被拍物光束入射到与开口部104d对应的108，以Ra+、Rb+、Rc+、Re+、Rf+为主光线的被拍物光束入射到与其他开口部对应的光电转换元件108，这些被拍物光束都是从被拍物31中互不相同的微小区域放射的被拍物光束。这种关系在图4（b）中排列在周围部分的重复图案110u中也是一样的。

这样一来，当把摄像元件100作为一个整体时，例如，由与开口部104a对应的光电转换元件108捕捉到的被拍物像A和由与开口部104d对应的光电转换元件108捕捉到的被拍物像D，如果是针对位于聚焦位置的被拍物的像，就不会彼此错位，而如果是针对位于非聚焦位置的被拍物的像，则会产生错位。而且，该错位根据位于非聚焦位置的被拍物相对于聚焦位置朝哪一侧以何种程度错位，或者根据部分区域Pa与部分区域Pd的距离来确定方向和量。也就是说，被拍物像A与被拍物像D彼此成为视差像。该关系对于其他开口部也是相同的，因此对应于开口部104a～104f形成六个视差像。

因此，在如此构成的各个重复图案110中，收集彼此对应的像素的输出便得到视差图像。也就是说，接收到从六个部分区域Pa～Pf中的特定部分区域射出的被拍物光束的像素所进行的输出形成了视差图像。

图5为说明生成视差图像的处理的概念图。图中从左列开始依次表示：对开口部104f对应的视差像素的输出进行收集而生成的视差图像数据Im_f的生成样子、由开口部104e的输出形成的视差图像数据Im_e的生成样子、由开口部104d的输出形成的视差图像数据Im_d的生成样子、由开口部104c的输出形成的视差图像数据Im_c的生成样子、由开口部104b的输出形成的视差图像数据Im_b的生成样子、由开口部104a的输出形成的视差图像数据Im_a的生成样子。首先，对开口部104f的输出形成的视差图像数据Im_f的生成样子进行说明。

由以六个视差像素为一组的光电转换元件组构成的重复图案110排列在横一列上。因此，具有开口部104f的视差像素在摄像元件100上沿左右方向相隔6个像素，且沿上下方向连续存在。这些像素如上所述分别接收来自于各个不同微小区域的被拍物光束。因此，对这些视差像素的输出进行汇集排列后便得到视差图像。

然而，由于本实施方式中的摄像元件100的各像素为正方像素，仅进行单纯的汇集会造成横方向的像素数缩减到1/6，从而生成纵长形的图像数据。因此，通过实施插值处理在横方向变为六倍的像素数，从而生成视差图像数据Im_f作为原始长宽比的图像。然而，由于当初在插值处理前的视差图像数据是在横方向上缩减到1/6的图像，因此，横方向上的分辨率比纵方向上的分辨率低。也就是说，所生成的视差图像数据的数量与分辨率的提高呈相反关系。

同样地得到视差图像数据Im_e～视差图像数据Im_a。即，数码相机10能够生成在横方向上具有视差的六个视点的视差图像。

虽然在上述例子中说明了将横一列作为重复图案110进行周期性排列的例子，但重复图案110并不限于此。图6为显示重复图案110的另一例子的图。

图6（a）为将纵向的六个像素作为重复图案110的例子。然而，对各个开口部104进行定位，以便从纸面上端的视差像素往下、从纸面左侧往右侧逐渐偏移。根据这样排列而成的重复图案110也能够生成在横方向上赋予视差的六个视点的视差图像。此时，与图3的重复图案110相比，可以称为是维持了横方向上的分辨率的重复图案，而不牺牲纵方向上的分辨率。

图6（b）为将在斜方向上相邻的六个像素作为重复图案110的例子。将各个开口部104定位为从纸面左上端的视差像素往右下、从纸面左侧往右侧逐渐偏移。根据这样排列而成的重复图案110也能够生成在横方向上赋予视差的六个视点的视差图像。此时的重复图案与图3的重复图案110相比，在将纵方向上的分辨率及横方向上的分辨率维持一定程度的同时，增加了视差图像的数量。

将图3的重复图案110及图6（a）和图6（b）的重复图案110分别进行比较，在都生成六个视点的视差图像时，可以认为区别在于：相对于根据整个非视差图像输出一幅图像时的分辨率是否牺牲了纵方向和横方向中的某一方向上的分辨率。当为图3的重复图案110时，是使横方向上的分辨率为1/6的结构。当为图6（a）的重复图案110时，是使纵方向上的分辨率变为1/6的结构。另外，当为图6（b）的重复图案110时，是使纵方向变为1/3、使横方向变为1/2的结构。在任一情形中均被构成为，在一个图案内，对应于各个像素逐一设置开口部104a～104f，从各个所对应的部分区域Pa～Pf的任意一个接收到被拍物光束，从而使任意重复图案110都能有同等的视差量。

虽然在上述例子中针对生成在左右方向上赋予视差的视差图像的情形进行了说明，但当然地，既可以生成在上下方向上赋予视差的视差图像，也可以生成在上下左右的二维方向上赋予视差的视差图像。图7为显示二维重复图案110的例子的图。

根据图7所示例子，以纵向六个像素横向6个像素共36个像素为一组的光电转换元件组形成重复图案110。预先准备有开口部104相对于各个像素的位置彼此沿上下左右方向偏移的36种开口掩模103。具体地，各开口部104在从重复图案110的上端像素到下端像素中被定位为从上侧往下侧逐渐偏移的同时，在从左端像素到右端像素中被定位为从左侧往右侧逐渐偏移。

具有这种重复图案110的摄像元件100能够输出沿上下方向及左右方向均赋予视差的36个视点的视差图像。当然并不仅限于图7所示例子，也可以对重复图案110进行设定以便输出各种各样视点数的视差图像。

在以上说明中，采用矩形作为开口部104的形状。尤其是在沿横方向上赋予视差的排列中，通过使作为偏移方向的左右方向的幅度比不偏移的上下方向的幅度更大，以确定引导至光电转换元件108的光量。然而，开口部104的形状并不限定于矩形。

图8为开口部104的另一形状的说明图。在图中，以圆形作为开口部104的形状。当设为圆形时，根据与作为半球形状的微型透镜101的相对关系，能够防止不希望的被拍物光束成为杂散光而入射到光电转换元件108。

以下说明彩色滤光片102和视差图像。图9为拜耳阵列的说明图。如图所示，拜耳阵列所指的阵列是将绿色滤光片分配给左上和右下的两个像素，将红色滤光片分配给左下的一个像素，将蓝色滤光片分配给右上的一个像素。此处，将分配有绿色滤光片的左上像素作为Gb像素、将同样分配有绿色滤光片的右下像素作为Gr像素。另外，将分配有红色滤光片的像素作为R像素、将分配有蓝色滤光片的像素作为B像素。并且，将排列有Gb像素和B像素的横方向作为Gb行，将排列有R像素和Gr像素的横方向作为Gr行。并且，将排列有Gb像素和R像素的纵方向作为Gb列，将排列有B像素和Gr像素的纵方向作为Gr列。

针对于这种彩色滤光片102的排列，可以通过对视差像素和无视差像素以怎样的周期分配哪种颜色的像素的方式来设定庞大数量的重复图案110。通过收集无视差像素的输出便能够生成与通常的摄影图像相同的无视差的摄影图像数据。因此，只要相对地增加无视差像素的比例，便能够输出分辨率较高的2D图像。此时，由于视差像素的比例相对变小，因此使得由多个视差图像构成的3D图像的画质下降。相反，如果增加视差像素的比例，虽然能提高3D图像的画质，但由于无视差像素相对减少，因此会输出分辨率较低的2D图像。

在这种权衡关系中，根据将哪个像素作为视差像素或作为无视差像素来设定具有各种特征的重复图案110。图10为关于对拜耳阵列分配视差像素，有两种视差像素时的变例的说明图。此时的视差像素假设为开口部104从中心往左侧偏心的视差L像素，以及同样地往右侧偏心的视差R像素。也就是说，从这种视差像素输出的两个视点的视差图像实现了所谓的立体视图。

针对各个重复图案的特征说明如图所示。例如，如果分配很多无视差像素，就会成为高分辨率的2D图像数据，如果针对任意的RGB像素都进行平均分配，则会成为色位移较小的高画质的2D图像数据。当也利用视差像素的输出来生成2D图像数据时，参照周围像素的输出对发生了错位的被拍物的像进行修正。因此，即使例如将全部R像素都作为视差像素，也能够生成2D图像，但其画质自然会降低。

另一方面，如果分配很多视差像素，就会成为高分辨率的3D图像数据，如果针对任意RGB像素都进行平均分配，则在成为3D图像的同时，会得到色彩再现性良好的高品质的彩色图像数据。当也利用无视差像素的输出来生成3D图像数据时，参照周围视差像素的输出从无视差的被拍物的像生成发生了错位的被拍物的像。因此，即使例如将全部R像素都作为无视差像素，也能够生成彩色的3D图像，但其品质自然很低。

以下就几个变例进行说明。图11为表示变例的一例的图。图11的变例相当于图10中的A-1类重复图案。

在图中所示例子中，与拜耳阵列同样将四个像素作为重复图案110。R像素和G像素为无视差像素，在Gb像素分配视差L像素，在Gr像素分配视差R像素。此时，设定开口部104，以便当被拍物处于聚焦位置时，同一重复图案110中包含的视差L像素与视差R像素接收到从同一微小区域射出的光束。

在图中所示的例子中，由于将作为灵敏度高的绿色像素的Gb像素和Gr像素用作视差像素，因此有望得到对比度较高的视差图像。另外，由于同样地将绿色像素的Gb像素和Gr像素用作视差像素，因此易于从这两个输出转换运算成无视差输出，从而能够与作为无视差像素的R像素和B像素的输出一起生成高画质的2D图像数据。

图12为表示另一变例的一例的图。图12的变例相当于图10中的B-1类重复图案。

在图中所示例子中，将左右连续的两组四个拜耳阵列像素共计八个像素作为重复图案110。在八个像素中，在左侧的Gb像素分配视差L像素，在右侧的Gb像素分配视差R像素。在这种阵列中，通过将Gr像素作为无视差像素，能够有望得到比图10所示例子更高画质的2D图像。

图13为表示又一变例的一例的图。图13的变例相当于图10中的D-1类重复图案。

在图中所示例子中，将左右连续的两组四个拜耳阵列像素共计八个像素作为重复图案110。在八个像素中，在左侧的Gb像素分配视差L像素，在右侧的Gb像素分配视差R像素。进一步地，在左侧的R像素分配视差L像素，在右侧的R像素分配视差R像素。进一步地，在左侧的B像素分配视差L像素，在右侧的B像素分配视差R像素。为两个Gr像素分配无视差像素。

当被拍物位于聚焦位置时，分配给两个Gb像素的视差L像素和视差R像素接收从一个微小区域放射的光束。另外，分配给两个R像素的视差L像素和视差R像素接收从与Gb像素对应的微小区域不同的微小区域放射的光束，分配给两个B像素的视差L像素和视差R像素接收从与Gb像素及R像素对应的微小区域不同的微小区域放射的光束。因此，与图12所示例子相比，3D图像的分辨率在纵方向上变为三倍。而且，由于能够得到RGB的三色输出，因此作为彩色图像的3D图像具有高品质。

另外，如上所述，当视差像素的种类为两种时能够得到两个视点的视差图像，当然视差像素的种类可以配合于想要输出的视差图像数，采用如图3、图7、图8等所说明的那样的数量。即便视点数増加，也能够形成各种重复图案110。因此能够对应于规格、目的等选择相应的重复图案110。

虽然在上述例子中对采用拜耳阵列作为彩色滤光片阵列的情形进行了说明，当然采用其他彩色滤光片阵列也是无妨的。如利用图3等所说明的那样，当着眼于构成彩色滤光片阵列的某个颜色进行收集时，可以形成以多个相邻像素为一组光电转换元件组的重复图案，分配视差像素以输出视差图像即可。此时，构成一组光电转换元件组的各个视差像素优选包括具有朝向互不相同的部分区域的开口部104的开口掩模103。

因此，拍摄元件100包括：将入射光光电转换为电信号的二维排列的光电转换元件108、与光电转换元件108的至少一部分分别一对一对应设置的开口掩模103、与光电转换元件108的至少一部分分别一对一对应设置的彩色滤光片102，在相邻的n个（n为3以上的整数）光电转换元件108中，与至少三个对应设置的各个开口掩模103的开口部104被定位为，包含在由使互不相同波段透过的至少两种彩色滤光片102构成的彩色滤光片图案的一图案内，并使来自于入射光截面区域内的互不相同部分区域的光束分别通过，将以n个光电转换元件108为一组的光电转换元件组进行周期性排列即可。

图14为说明另一彩色滤光片阵列的图。如图示所示，另一彩色滤光片阵列是在图9所示的拜耳阵列的Gr像素分配绿色滤光片从而成为G像素进行保持、另一方面在Gb像素不分配彩色滤光片从而变为W像素的阵列。另外，如上所述，也可以排列有未施加着色的透明滤光片，以使可见光的几乎整个波段均透过W像素。

如果采用这种包含W像素的彩色滤光片阵列，虽然摄像元件输出的色彩信息的精度会略微下降，但W像素所接收到的光量会比设置了彩色滤光片的情形更多，因此能够得到高精度的亮度信息。对W像素的输出进行汇集便能够形成单色图像。

当采用包含W像素的彩色滤光片阵列时，视差像素与无视差像素的重复图案110存在进一步的变例。例如，即使是在较暗的环境下拍摄到的图像，与从彩色像素输出的图像相比，从W像素输出的图像使被拍物像的对比度更高。因此，如果向W像素分配视差像素，则在多个视差图像之间进行匹配处理时，可望得到高精度的运算结果。匹配处理作为取得写入到图像数据中的被拍物像的距离信息的处理的一环来执行。因此，在对2D图像的分辨率及视差图像画质的影响的基础上，进一步考虑对所提取的其他信息带来的利弊，来设定视差像素与无视差像素的重复图案110。

图15为表示当采用图14所示另一彩色滤光片阵列时，W像素与视差像素的阵列的一例的图。图15的变例由于与拜耳阵列中的图12所示的B-1类重复图案相类似，因此此处记为B’-1。在图中所示例子中，将沿左右连续的两组另一彩色滤光片阵列的四个像素共计八个像素作为重复图案110。在八个像素中，在左侧的W像素分配视差L像素，在右侧的W像素分配视差R像素。在这种阵列中，摄像元件100输出视差图像作为单色图像，并输出2D图像作为彩色图像。

此时，摄像元件100包括：将入射光光电转换为二维排列的电信号的光电转换元件108、分别与光电转换元件108的至少一部分一一对应设置的开口掩模103、分别与光电转换元件108的至少一部分一一对应设置的彩色滤光片102，对在相邻的n个（n为4以上的整数）光电转换元件108中与至少两个对应设置的各个开口掩模103的开口部104进行定位，以使该开口部104不包含在由使互不相同波段透过的至少两种彩色滤光片102构成的彩色滤光片图案的一图案内，并且来自于入射光的截面区域内的互不相同部分区域的光束分别穿过，以n个光电转换元件108为一组的光电转换元件组周期性排列即可。

图16为显示本实施方式所述差分数据集合生成处理的处理流程图。此处，差分数据集合包含将差分像素值与第二视差输出像素以第一视差输出像素为基准的方向相关联的差分数据，其中的差分像素值是拍摄图像中包含的第一视差输出像素的像素值与周围的第二视差输出像素的像素值的差分值。并且，差分数据集合被形成为包括相对于多个第一视差输出像素的多个差分数据。

例如，上述图11～13、15所示拍摄元件100中的视差L像素的输出值成为在拍摄图像中对应位置的第一视差输出像素的像素值，视差R像素的输出值成为在拍摄图像中对应位置的第二视差输出像素的像素值。而且，差分数据集合被形成为包括：将差分像素值与第二视差输出像素以第一视差输出像素为基准的方向相关联的差分数据，其中：差分像素值为视差L像素的输出值与视差R像素的输出值的差分值；第一视差输出像素位于对应于视差L像素的位置处；第二视差输出像素位于对应于视差R像素的位置处。而且，差分数据集合被形成为包括：相对于位于与多个视差L像素对应的位置处的多个第一视差输出像素的多个差分数据。

通过生成这种差分数据集合，图像处理部205能够容易地确认拍摄图像中的第一视差输出像素的像素值与第二视差输出像素的像素值之差大的位置及方向。因此，图像处理部205不用进行模式匹配处理等复杂运算，便能够容易地判断拍摄图像中的被拍物像有无纵深。

处理流程例如从拍摄元件100结束曝光动作并输出图像信号的时刻开始。在步骤S101中，图像处理部205接收从拍摄元件100输出的图像信号并取得拍摄图像数据。

拍摄图像具有在互不相同位置处设置的多个第一视差输出像素及多个第二视差输出像素。多个第一视差输出像素及多个第二视差输出像素的设置与拍摄元件100的第一视差像素组及第二视差像素组的设置相对应。拍摄元件100的第一视差像素组的各个像素的输出值成为位于对应位置处的第一视差输出像素的像素值。拍摄元件100的第二视差像素组的各个像素的输出值成为位于对应位置处的第二视差输出像素的像素值。多个第一视差输出像素的设置和根据像素值形成的第一视差图像以及多个第二视差输出像素的设置和根据输出值形成的第二视差图像产生视差。

前进到步骤S102，图像处理部205将第一视差图像的一个第一视差输出像素设定为关注像素。关注像素是在后述步骤S106的差分运算处理中成为运算基准的像素。

在处理开始时，图像处理部205取得预设的基准像素的地址信息，将基准像素设定为关注像素。基准像素是在后述步骤S106中最先成为差分运算的基准的像素，是拍摄图像的中央部的第一视差输出像素、拍摄图像的左上端的第一视差输出像素等预定位置处的像素。该关注像素设定处理的详细内容将在以后进行说明。

前进到步骤S103，图像处理部205将关注像素设定为中心部，将包含第二视差图像中的多个第二视差输出像素的m×n像素区域（m、n为3以上的整数）设定为对象区域。该区域设定处理的详细内容将在以后进行说明。然后，在步骤S104中，图像处理部205从拍摄图像数据中取得关注像素及对象区域中包含的多个第二视差输出像素的像素值。

前进到步骤S105，由图像处理部205的差分运算部231计算差分像素值，该差分像素值是关注像素的像素值与对象区域中包含的多个第二视差输出像素的各个像素值之间的差分值。然后，在步骤S106中，图像处理部205的数据生成部232生成差分数据并将生成的差分数据临时保存在存储器203中，其中的差分数据将多个第二视差输出像素以关注像素为基准的各个方向与差分像素值相关联。关于差分运算处理及差分数据生成处理将在以后进行说明。

前进到步骤S107，图像处理部205判断是否存在未被设定为关注像素的第一视差输出像素。例如，当在第一视差图像数据的第一视差输出像素中存在未被设定为关注像素的第一视差输出像素时，图像处理部205判断出存在未被设定为关注像素的第一视差输出像素。当图像处理部205判断出存在未被设定为关注像素的第一视差输出像素时，返回步骤S102。

当图像处理部205判断出不存在未被设定为关注像素的第一视差输出像素时，前进到步骤S108。在步骤S108中，图像处理部205的数据生成部232使用在步骤S106生成的差分数据生成差分数据集合。关于该差分数据集合生成处理的详细内容，将在以后进行说明。然后，在步骤S109中，图像处理部205的存储控制部233将在步骤S108生成的差分数据集合以文件形式存储在存储卡220中，并结束处理流程。

此处，对使用具有图11所示像素阵列的拍摄元件100的实施例1进行说明。图17为说明实施例1中的拍摄图像数据的图。开口部从中心向左侧偏心的视差L像素的输出值成为对应位置处的绿色的左视差输出像素的像素值。开口部从中心向右侧偏心的视差R像素的输出值成为对应位置处的绿色的右视差输出像素的像素值。作为无视差像素的R像素及B像素的输出值成为各自对应位置处的红色无视差输出像素及蓝色无视差输出像素的像素值。

由多个左视差输出像素的设置及像素值形成的左视差图像和由多个右视差输出像素的设置及像素值形成的右视差图像是两个视点的视差图像。在本实施例中，将左视差输出像素作为第一视差输出像素，将右视差输出像素作为第二视差输出像素。另外，在拍摄图像数据中，设定与拍摄元件的x轴、y轴相对应的x轴、y轴。x轴正方向为右方向，y轴正方向为上方向。

图18和图19为说明实施例1中的关注像素设定处理的图。图18为说明当基准像素为拍摄图像数据的中央部的左视差输出像素时的关注像素设定处理的图。首先，在处理开始时，图像处理部205将基准像素300设定为关注像素，并生成差分数据。

然后，图像处理部205设定包含与基准像素300最接近的左视差输出像素（与基准像素300相距两个像素的左视差输出像素）且去除了基准像素的区域310。然后，图像处理部205将区域310内的左视差输出像素依次设定为关注像素，并依次生成差分数据。例如，图像处理部205以在右方向（x轴正方向）上与基准像素300相距两个像素的左视差输出像素为起点，将区域310内的左视差输出像素逆时针依次设定为关注像素。

在将区域310内的全部左视差输出像素均设定为关注像素之后，图像处理部205在区域310外设定包含与基准像素300最接近的左视差输出像素（与基准像素300相距四个像素的左视差输出像素）且去除了基准像素和区域310的区域320。然后，图像处理部205将区域320内的左视差输出像素依次设定为关注像素，并依次生成差分数据。例如，图像处理部205以在右方向（x轴正方向）上与基准像素300相距四个像素的左视差输出像素为起点，将区域310内的左视差输出像素逆时针依次设定为关注像素。图像处理部205重复该处理，从拍摄图像数据的中心向外将左视差输出像素设定为关注像素。

这样一来，通过从拍摄图像的中心向外将左视差输出像素设定为关注像素，图像处理部205能够并行地执行上述差分数据生成处理以及收差补正运算。具体地，由于拍摄图像数据的中心对应于光轴中心，因此，在将以基准像素为中心的特定范围内的像素设定为关注像素并生成差分数据的情况下，图像处理部205不执行收差补正运算。预先设定假定不需要收差补正的范围作为特定范围。此后，当将特定范围外的像素设定为关注像素并生成差分数据时，图像处理部205执行收差补正运算。

图19为当基准像素为拍摄图像数据的左上端的左视差输出像素时的关注像素设定处理的说明图。首先，在处理开始时，图像处理部205将基准像素300设定为关注像素并生成差分数据。然后，图像处理部205设定包含基准像素300的一个像素的横区域330。然后，图像处理部205将横区域330内的左视差输出像素沿右方向（x轴正方向）依次设定为关注像素并依次生成差分数据。

当将横区域330内的全部左视差输出像素均设定为关注像素后，图像处理部205设定包含沿下方向（y轴负方向）与横区域330最接近的左视差图像的一个像素的横区域340。然后，图像处理部205以横区域340内最靠左的左视差输出像素为起点，沿右方向（x轴正方向）将横区域340内的左视差输出像素依次设定为关注像素并依次生成差分数据。图像处理部205重复该处理，沿拍摄图像数据的从上往下的方向将左视差输出像素设定为关注像素。

这样一来，通过沿拍摄图像从上往下的方向将左视差输出像素设定为关注像素，能够并行地执行沿拍摄图像从上往下方向的数据读出显示处理等以及差分数据生成处理。

图20为说明实施例1中的区域设定处理的图。图像处理部205以关注像素400为中心部，设定包含关注像素400周围的多个右视差输出像素的m×n像素的对象区域410。此处，m和n为3以上的整数。当m和n双方均为奇数时，图像处理部205设定以关注像素400为中心像素的对象区域410。另一方面，当m和n的至少一方为偶数时，图像处理部205设定以关注像素400为与中心最接近的像素的对象区域410。

图像处理部205例如设定对象区域410，以使得该对象区域410至少包含以关注像素400为基准，位于纵向两个方向、横向两个方向或者斜向两个方向的两个右视差输出像素。另外，图像处理部205也可以设定对象区域410，以使得该对象区域410至少包含以关注像素400为基准，位于纵横四个方向或斜向四个方向的四个右视差输出像素。在本实施例中，图像处理部205设定了包含以关注像素400为为中心，位于斜向四个方向的四个右视差输出像素的3×3像素的对象区域410。

图21（a）为说明实施例1中的差分运算处理的图。图像处理部205的差分运算部231计算关注像素400的像素值与对象区域410中包含的四个右视差输出像素420、430、440、450中各个像素值之间的差分像素值ΔLR。差分运算部231将（关注像素的像素值）-（右视差输出像素的像素值）的值作为差分像素值ΔLR。具体地，差分运算部231将（关注像素400的像素值“50”）-（右视差输出像素420的像素值“46”）=4作为关注像素400与右视差输出像素420之间的差分像素值ΔLR（1，1）。同样地，差分运算部231计算出关注像素400与右视差输出像素430之间的差分像素值ΔLR（-1，1）、关注像素400与右视差输出像素440之间的差分像素值ΔLR（-1，-1）、关注像素400与右视差输出像素450之间的差分像素值ΔLR（1，-1）。另外，在本实施例中，为了能够区分相对于右视差输出像素420、430、440、450的差分像素值ΔLR，在ΔLR的右侧标注右视差输出像素420、430、440、450的以关注像素400为基准的座标值（1，1）、（-1，1）、（-1，-1）、（1，-1）。

在上述图16所示步骤S106中，图像处理部205的数据生成部232生成差分数据，该差分数据将右视差输出像素420、430、440、450以关注像素400为基准的方向与差分像素值ΔLR（1，1）、ΔLR（-1，1）、ΔLR（-1，-1）、ΔLR（1，-1）相关联。作为一种方法，数据生成部232将右视差输出像素420、430、440、450的以关注像素400为基准的座标值（1，1）、（-1，1）、（-1，-1）、（1，-1）的数据用作表示右视差输出像素420、430、440、450的以关注像素400为基准的方向值。然后，数据生成部232生成差分数据，该差分数据将座标值（1，1）与差分像素值ΔLR（1，1）、座标值（-1，1）与差分像素值ΔLR（-1，1）、座标值（-1，-1）与差分像素值ΔLR（-1，-1）、座标值（1，-1）与差分像素值ΔLR（1，-1）相对应。

由于采用上述方法的差分数据包含座标值的数据，因此使差分数据的数据尺寸变大。为此，如图21（b）所示，数据生成部232生成将相对于右视差输出像素420、430、440、450的差分像素值ΔLR（1，1）、ΔLR（-1，1）、ΔLR（-1，-1）、ΔLR（1，-1）以预定顺序排列的数据列[4、30、10、-4]作为差分数据460。该预定顺序为右视差输出像素420、430、440、450的以关注像素400为基准的方向的角度相对于x轴正方向变小的顺序。另外，角度范围为相对于x轴正方向逆时针从0度到360度。

具体地，首先，数据生成部232将相对于x轴正方向角度最小的（1，1）方向（45度的方向）的差分像素值ΔLR（1，1）设置在数据列的开头。然后，数据生成部232将相对于x轴正方向角度第二小的（-1，1）方向（135度的方向）的差分像素值ΔLR（-1，1）设置在数据列的第二位。然后，数据生成部232将相对于x轴正方向角度第三小的（-1，-1）方向（225度的方向）的差分像素值ΔLR（-1，-1）设置在数据列的第三位。最后，数据生成部232将相对于x轴正方向角度最大的（1，-1）方向（315度的方向）的差分像素值ΔLR（1，-1）设置在数据列的最末尾。

这样一来，通过采用右视差输出像素420、430、440、450的以关注像素400为基准的方向的顺序来排列差分像素值ΔLR（1，1）、ΔLR（-1，1）、ΔLR（-1，-1）、ΔLR（1，-1），从而将差分像素值ΔLR（1，1）、ΔLR（-1，1）、ΔLR（-1，-1）、ΔLR（1，-1）与右视差输出像素420、430、440、450以关注像素400为基准的方向相关联。另外，在本实施例中，虽然数据生成部232使用相对于x轴正方向的角度来设定顺序，但并不限于此，也可以使用相对于y轴正方向的角度来设定顺序。

图22为实施例1中的差分数据集合的一例。图像处理部205的数据生成部232生成分割成多个区段510（510-1、510-2、510-3、···510-N）的差分数据集合500。数据生成部232在多个区段510（510-1、510-2、510-3、···510-N）中分别保存在步骤S106中生成的多个差分数据460（460-1、460-2、460-3、···460-N）。

数据生成部232在多个区段510（510-1、510-2、510-3、···510-N）中分别保存与差分数据460（460-1、460-2、460-3、···460-N）相对应的关注像素的位置信息520（520-1、520-2、520-3、···520-N）。具体地，数据生成部232在进行上述图16的步骤S102的关注像素设定处理或步骤S104的像素值取得处理时取得关注像素的地址信息，并将地址信息保存为位置信息520。而且，数据生成部232还可以将相对于基准像素的偏移信息作为相对于除基准像素以外的关注像素的位置信息520-2、520-3、···520-N来保存。从而使关注像素的位置信息520（520-1、520-2、520-3、···520-N）与差分数据460（460-1、460-2、460-3、···460-N）相对应。

进一步地，数据生成部232将基准像素的像素值530保存在保存有基准像素的相应差分数据460-1的区段510-1中。从而使基准像素的像素值530与基准像素的相应差分数据460-1相对应。

图像处理部205能够使用基准像素的像素值及差分像素值计算出其他视差输出像素的像素值。例如，如图23所示，图像处理部205参照基准像素300中的差分数据中基准像素300与右视差输出像素540之间的差分像素值ΔLR（1，1），计算（基准像素300的像素值“50”）-（基准像素300的差分像素值ΔLR（1，1）“4”），从而算出右视差输出像素540的像素值“46”。另外，图像处理部205参照上述基准像素300的差分像素值ΔLR（1，1）以及左视差输出像素550中的差分数据中左视差输出像素550与右视差输出像素540之间的差分像素值ΔLR（-1，1），计算（基准像素300的像素值“50”）-（基准像素300的差分像素值ΔLR（1，1）“4”）+（左视差输出像素550的差分像素值ΔLR（-1，1）“8”），从而算出左视差输出像素550的像素值“54”。这样一来，通过将基准像素的像素值保存在差分数据集合中，图像处理部205即便不具有各个左视差输出像素的像素值数据和各个右视差输出像素的像素值数据，也能够算出各个左视差输出像素的像素值和各个右视差输出像素的像素值。

图像处理部205能够使用差分数据集合判断拍摄图像中有无纵深。具体地，图像处理部205分析在差分数据集合中差分像素值超过阈值的位置以判断有无纵深。另外，阈值作为表示超过噪声水平的亮度变化值被预先设定。

图像处理部205的存储控制部233将差分数据集合500以文件形式存储在存储卡220中。据此，图像处理部205能够在图像显示处理等必要的时候读出差分数据集合，以判断拍摄图像中有无纵深。

以下对同一视差差分数据集合生成处理进行说明。同一视差差分数据集合是在容易地判断拍摄图像中的被拍物像有无纵深等时与上述差分数据集合共同使用的数据。图像处理部205采用与上述流程处理相同的处理来计算同一视差差分值，即关注像素的像素值相对于位于关注像素周围的一个或多个第一视差输出像素中的每一个的像素值之间的差分值。然后，图像处理部205生成包含有同一视差差分数据的同一视差差分数据集合，其中的同一视差差分数据将一个或多个第一视差输出像素以关注像素为基准的各个方向与同一视差差分值相关联。另外，也可以并行执行同一视差差分数据集合生成处理及上述差分数据集合生成处理。

图24为说明实施例1所述同一视差差分数据集合生成处理中的区域设定处理的图。图像处理部205以关注像素为中心部，设定包含关注像素400周围的一个或多个左视差输出像素的i×j像素的同一视差对象区域600。此处，i和j为3以上的整数。当i和j双方均为奇数时，图像处理部205设定以关注像素400为中心像素的同一视差对象区域600。另一方面，当i和j的至少一方为偶数时，图像处理部205设定以关注像素400为与中心最接近的像素的同一视差对象区域600。

图像处理部205例如设定同一视差对象区域600，使得该同一视差对象区域600以关注像素400为基准至少包含位于右方的一个左视差输出像素。另外，图像处理部205也可以设定同一视差对象区域600，使得该同一视差对象区域600以关注像素400为基准至少包含位于纵向两个方向、横向两个方向或斜向两个方向的两个左视差输出像素。进一步地，图像处理部205也可以设定同一视差对象区域600，使得该同一视差对象区域600以关注像素400为基准至少包含位于纵横四个方向或斜向四方向的四个左视差输出像素。在本实施例中，图像处理部205设定以关注像素400为中心包含位于纵横四个方向及斜向四个方向的八个左视差输出像素的5×5像素的同一视差对象区域600。

图25（a）为说明实施例1所述同一视差差分数据集合生成处理中的差分运算处理的图。图像处理部205的差分运算部231计算以关注像素400为基准相对于对象区域410中包含的多个左视差输出像素610、620、630、640、650、660、670、680的多个差分像素值ΔLL（2，0）、ΔLL（2，2）、ΔLL（0，2）、ΔLL（-2，2）、ΔLL（-2，0）、ΔLL（-2，-2）、ΔLL（0，-2）、ΔLL（2，-2）。差分运算部231采用与计算上述差分像素值ΔLR（1，1）、ΔLR（-1，1）、ΔLR（-1，-1）、ΔLR（1，-1）相同的方法来计算差分像素值ΔLL（2，0）、ΔLL（2，2）、ΔLL（0，2）、ΔLL（-2，2）、ΔLL（-2，0）、ΔLL（-2，-2）、ΔLL（0，-2）、ΔLL（2，-2）。

如图25（b）所示，图像处理部205的数据生成部232采用与上述差分数据生成处理相同的方法，以预定顺序排列差分像素值ΔLL（2，0）、ΔLL（2，2）、ΔLL（0，2）、ΔLL（-2，2）、ΔLL（-2，0）、ΔLL（-2，-2）、ΔLL（0，-2）、ΔLL（2，-2），从而生成数据列[-4、-2、2、4、2、6、0、-6]作为同一视差差分数据690。

数据生成部232也可以不包含纵横四个方向的差分像素值ΔLL（2，0）、ΔLL（0，2）、ΔLL（-2，0）、ΔLL（0，-2），而是以预定顺序排列斜向四个方向的差分像素值ΔLL（2，2）、ΔLL（-2，2）、ΔLL（-2，-2）、ΔLL（2，-2），从而生成数据列[-2、4、6、-6]作为同一视差差分数据690。从而能够减少同一视差差分数据690的数据量。

另外，数据生成部232也可以不包含斜向四个方向的差分像素值ΔLL（2，2）、ΔLL（-2，2）、ΔLL（-2，-2）、ΔLL（2，-2），而是以预定顺序排列纵横四个方向的差分像素值ΔLL（2，0）、ΔLL（0，2）、ΔLL（-2，0）、ΔLL（0，-2），从而生成数据列[-4、2、2、0]作为同一视差差分数据690。从而能够减少同一视差差分数据690的数据量。

图像处理部205的数据生成部232生成与图22所示差分数据集合500相同格式的同一视差差分数据集合。据此，图像处理部205能够使用差分数据集合同一视差差分数据集合来判断拍摄图像中有无纵深。具体地，图像处理部205分析在差分数据集合中差分像素值超过阈值的位置以及在同一视差差分数据集合中同一视差差分值超过阈值的位置来判断有无纵深。另外，阈值作为表示超过噪声水平的亮度变化值被预先设定。

图像处理部205的存储控制部233将差分数据集合500及同一视差差分数据集合中同一视差差分值超过阈值的位置以文件形式存储在存储卡220中。据此，图像处理部205能够在需要进行图像显示处理等的时候读出差分数据集合及同一视差差分数据集合中同一视差差分值超过阈值的位置，以判断拍摄图像中有无纵深。

对使用具有图12所示像素阵列的拍摄元件100的实施例2进行说明。图26为说明实施例2中的拍摄图像数据的图。开口部从中心向左侧偏心的视差L像素输出绿色的左视差输出像素。开口部从中心向右侧偏心的视差R像素输出绿色的右视差输出像素。作为无视差像素的R像素、G像素和B像素分别输出红色的无视差输出像素、绿色的无视差输出像素和蓝色的无视差输出像素。

左视差输出像素组和右视差输出像素组形成两个视点的视差图像。在本实施例中，将左视差输出像素作为第一视差输出像素，将右视差输出像素作为第二视差输出像素。另外，在拍摄图像数据中，设定与拍摄元件的x轴、y轴相对应的x轴、y轴。x轴正方向为右方向，y轴正方向为上方向。拍摄图像数据取得处理、关注像素设定处理、像素值取得处理及关注像素设定的判断处理与实施例1相同。

图27为说明实施例2中的区域设定处理的图。在本实施例中，图像处理部205以关注像素400为中心，设定包含以关注像素为基准位于横向两个方向及斜向四个方向的六个右视差输出像素的5×5像素的对象区域700。这样一来，图像处理部205对应于拍摄元件100中的视差L像素组及视差R像素组的阵列图案，将实施例2中的对象区域700设定在与实施例1中的对象区域410不同的区域中。

图28（a）为说明实施例2中的差分运算处理的图。图像处理部205的差分运算部231以关注像素400为基准计算相对于对象区域700中包含的六个右视差输出像素710、720、730、740、750、760的六个差分像素值ΔLR（2，0）、ΔLR（2，2）、ΔLR（-2，2）、ΔLR（-2，0）、ΔLR（-2，-2）、ΔLR（2，-2）。差分运算部231采用与计算上述差分像素值ΔLR（1，1）、ΔLR（-1，1）、ΔLR（-1，-1）、ΔLR（1，-1）相同的方法来计算差分像素值ΔLR（2，0）、ΔLR（2，2）、ΔLR（-2，2）、ΔLR（-2，0）、ΔLR（-2，-2）、ΔLR（2，-2）。

如图28（b）所示，图像处理部205的数据生成部232采用与上述差分数据生成处理相同的方法，以预定顺序排列差分像素值ΔLR（2，0）、ΔLR（2，2）、ΔLR（-2，2）、ΔLR（-2，0）、ΔLR（-2，-2）、ΔLR（2，-2），从而生成数据列[-4、2、34、18、8、-8]作为差分数据770。另外，数据生成部232也可以不包含横向两个方向的差分像素值ΔLR（2，0）、ΔLR（-2，0），而以预定顺序排列斜向四个方向的差分像素值ΔLR（2，2）、ΔLR（-2，2）、ΔLR（-2，-2）、ΔLR（2，-2），从而生成数据列[2、34、8、-8]作为差分数据770。从而能够减少差分数据770的数据量。

图像处理部205的数据生成部232采用与上述差分数据集合生成处理相同的方法来生成差分数据集合500。据此，图像处理部205能够使用差分数据集合来判断拍摄图像中有无纵深。具体地，图像处理部205分析在差分数据集合中差分像素值超过阈值的位置来判断有无纵深。另外，阈值作为表示超过噪声水平的亮度变化值被预先设定。

图像处理部205的存储控制部233将差分数据集合500以文件形式存储在存储卡220中。据此，图像处理部205能够在需要进行图像显示处理等的时候读出差分数据集合，以判断拍摄图像中有无纵深。

当使用具有图15所示像素阵列的拍摄元件100时，仅在输出无着色的左视差输出像素及右视差输出像素这点上与实施例2不同。因此，采用具有图15所示像素阵列的拍摄元件100时也能够执行与实施例2相同的处理。

对使用具有图13所示像素阵列的拍摄元件100的实施例3进行说明。图29是说明实施例3中的拍摄图像数据的图。开口部从中心向左侧偏心的视差L像素输出红色的左视差输出像素、绿色的左视差输出像素、蓝色的左视差输出像素。开口部从中心向右侧偏心的视差R像素输出红色的右视差输出像素、绿色的右视差输出像素、蓝色的右视差输出像素。作为无视差像素的G像素输出绿色的无视差输出像素。

左视差输出像素组及右视差输出像素组形成两个视点的视差图像。在本实施例中，将左视差输出像素作为第一视差输出像素，将右视差输出像素作为第二视差输出像素。另外，在拍摄图像数据中，设定与拍摄元件的x轴、y轴相对应的x轴、y轴。x轴正方向为右方向，y轴正方向为上方向。拍摄图像数据取得处理、关注像素设定处理、像素值取得处理及关注像素设定的判断处理与实施例1相同。

图30～图32为说明实施例3中的区域设定处理的图。在图30的情形中，绿色的左视差输出像素被设定作为关注像素400。在图31的情形中，蓝色的左视差输出像素被设定作为关注像素400。在图32的情形中，红色的左视差输出像素被设定作为关注像素400。由于由颜色差异引起的像素值的差分不包含在差分像素值中，因此图像处理部205的差分运算部231需要计算同色的视差输出像素间的差分像素值。

因此，在图30的情形中，图像处理部205设定以关注像素400为基准，包含位于横向两个方向及斜向四个方向的六个绿色的右视差输出像素的5×5像素的对象区域800。而且，在图31的情形中，图像处理部205设定以关注像素400为基准，包含位于横向两个方向及斜向四个方向的六个蓝色的右视差输出像素的5×5像素的对象区域800。进一步地，在图32的情形中，图像处理部205设定以关注像素400为基准，包含位于横向两个方向及斜向四个方向的六个红色的右视差输出像素的5×5像素的对象区域800。

如此一来，图像处理部205设定对象区域800，使得该对象区域800包含与关注像素400的颜色相同的多个右视差输出像素。然后，图像处理部205逐个颜色地计算差分像素值并生成逐个颜色的差分数据集合。

图像处理部205的数据生成部232采用与上述差分数据集合生成处理相同的方法生成差分数据集合500。据此，图像处理部205能够使用差分数据集合来判断拍摄图像中有无纵深。具体地，图像处理部205分析差分数据集合中差分像素值超过阈值的位置以判断有无纵深。另外，阈值作为表示超过噪声水平的亮度变化值被预先设定。

图像处理部205的存储控制部233将差分数据集合500以文件形式存储在存储卡220中。据此，图像处理部205能够在需要进行图像显示处理等的时候读出差分数据集合，以判断拍摄图像中有无纵深。

在以上实施例中，以左视差输出像素作为第一视差输出像素，并以右视差输出像素作为第二视差输出像素进行了说明。然而，第一视差输出像素及第二视差输出像素并不限于此。例如，也可以将右视差输出像素作为第一视差输出像素，将左视差输出像素作为第二视差输出像素。而且，也可以使用将分别输出在上下方向上产生视差的上视差图像和下视差图像的上视差像素组和下视差像素组排列在互不相同位置的拍摄元件100，并将由上视差像素输出的上视差输出像素作为第一视差输出像素，将由下视差像素输出的下视差输出像素作为第二视差输出像素。

另外，在以上实施例中，数据生成部232也可以依照预定的差分数据460的设置顺序来设置差分数据460（460-1、460-2、460-3、···460-N）。具体地，数据生成部232依照图18或图19的关注像素的设定顺序来设置差分数据460（460-1、460-2、460-3、···460-N）。此时，由于差分数据460的设置顺序与关注像素的位置相对应，因此，数据生成部232也可以省略相对于基准像素以外的关注像素的位置信息520-2、520-3、···520-N。如此，通过省略位置信息520-2、520-3、···520-N可以减少差分数据集合的数据尺寸。

在上述图16的处理流程中的步骤S102中，也可以将拍摄图像数据内的多个像素预设为基准像素。具体地，图像处理部205将拍摄图像数据划分成多个区域，将各区域中心部的第一视差输出像素预设为基准像素。另外，图像处理部205可以将设置于拍摄图像数据左端的多个第一视差输出像素全都预设为基准像素。

当预设多个基准像素时，图像处理部205按照预定顺序从多个基准像素中选择一个作为关注像素。在生成相对于所选择的基准像素的差分数据之后，图像处理部205将与所选择的基准像素相对应的左视差输出像素依次设定为关注像素，并依次生成差分数据。然后，当图像处理部205将与所选择的基准像素相对应的左视差输出像素设定为关注像素时，按照预定顺序选择下一个基准像素。另外，预定顺序例如为从左上向右方前进，当到达右端后前再前进到下面一个的左端，如此重复进行。

另外，在上述图16所示处理流程的步骤S107中，当包含基准像素的特定区域内的第一视差输出像素未被设定为关注像素时，图像处理部205可以判断出存在未被设定为关注像素的第一视差输出像素。进一步地，当缓存器剩余有能够保存其他差分数据的容量时，图像处理部205也可以判断出存在未被设定为关注像素的第一视差输出像素。

当在存在未生成差分数据的第一视差输出像素的状态下执行步骤S108的处理时，图像处理部205可以在步骤S108的处理之后判断是否将另一个第一视差输出像素设定为关注像素。此时，当图像处理部205判断为要将另一个第一视差输出像素设定为关注像素时，返回步骤S102；当判断为不将另一个第一视差输出像素设定为关注像素时，前进到步骤S109。

进一步地，虽然在上述图16所示处理流程中，图像处理部205在步骤S107的判断处理之后执行步骤S108的差分数据集合处理，但并不限于此。例如，图像处理部205也可以在步骤S106的生成差分数据之后执行步骤S108的差分数据集合处理，然后再执行步骤S107的判断处理。

以上，使用实施方式对本发明进行了说明，但本发明的技术范围不限于上述实施方式所记载的范围。另外，本领域技术人员应当清楚，在上述实施方式的基础上可加以各种变更或改进。此外，由权利要求书的记载可知，这种加以变更或改进的实施方式也包含在本发明的技术范围内。

应当注意的是，权利要求书、说明书及附图中所示的装置、系统、程序以及方法中的动作、顺序、步骤及阶段等各个处理的执行顺序，只要没有特别明示“更早”、“早于”等，或者只要前面处理的输出并不用在后面的处理中，则可以以任意顺序实现。关于权利要求书、说明书及附图中的动作流程，为方便起见而使用“首先”、“然后”等进行了说明，但并不意味着必须按照这样的顺序实施。

附图标记说明

10数码相机、20摄影镜头、21光轴、30、31被拍物、100拍摄元件、101微型透镜、102彩色滤光片、103开口掩模、104开口部、105布线层、106布线、107开口、108光电转换元件、109基板、110重复图案、120拍摄元件、121屏幕滤波器、122彩色滤光片部、123开口掩模部、201控制部、202A/D转换电路、203存储器、204驱动部、205图像处理部、207存储卡IF、208操作部、209显示部、210LCD驱动电路、211AF传感器、220存储卡、231差分运算部、232数据生成部、233存储控制部、300基准像素、310区域、320区域、330横区域、340横区域、400关注像素、410对象区域、420、430、440、450右视差输出像素、460差分数据、500差分数据集合、510区段、520位置信息、530像素值、540右视差输出像素、550左视差输出像素、600同一视差对象区域、610、620、630、640、650、660、670、680左视差输出像素、690同一视差差分数据、700对象区域、710、720、730、740、750、760右视差输出像素、770差分数据、800对象区域。

Claims (15)

1.一种拍摄装置，包括：

拍摄元件，在互不相同位置处排列有分别输出产生视差的第一视差图像和第二视差图像的第一视差像素组和第二视差像素组；

差分运算部，用于以作为所述第一视差图像的一个第一视差输出像素的关注像素为基准，计算相对于位于所述关注像素周围的所述第二视差图像的多个第二视差输出像素的每一个的差分像素值；和

数据生成部，用于生成差分数据，所述差分数据将所述多个第二视差输出像素以所述关注像素为基准的各个方向与所述差分像素值相关联，

所述数据生成部生成包含多个所述差分数据的差分数据集合，

所述差分运算部用于将所述第一视差图像的多个第一视差输出像素的每一个设定为所述关注像素，计算以所述多个第一视差输出像素的每一个为基准的所述差分像素值；

所述数据生成部用于生成相对于所述多个第一视差输出像素的每一个的所述差分数据，并生成包含所生成的所述差分数据的所述差分数据集合。

2.根据权利要求1所述的拍摄装置，其中，所述数据生成部用于按照设置顺序对各个所述差分数据设置所述差分像素值，所述设置顺序是基于所述多个第二视差输出像素以所述关注像素为基准的方向的顺序。

3.根据权利要求1所述的拍摄装置，其中，所述数据生成部用于将所述关注像素的位置信息与相对于所述关注像素的所述差分数据相关联，生成所述差分数据集合。

4.根据权利要求1所述的拍摄装置，其中，所述数据生成部用于按照预先确定的所述差分数据的设置顺序设置所述差分数据，生成所述差分数据集合。

5.根据权利要求1所述的拍摄装置，其中，所述数据生成部用于将所述第一视差图像中对应于基准像素的所述差分数据与所述基准像素的像素值相关联，生成所述差分数据集合。

6.根据权利要求1所述的拍摄装置，其中进一步包括：存储控制部，用于将所述差分数据集合以文件形式存储在存储部中。

7.根据权利要求1所述的拍摄装置，其中，所述差分运算部用于：

以所述关注像素为中心部，将包含所述第二视差图像的多个第二视差输出像素的m×n像素区域设定为对象区域，其中，m、n为3以上的整数；

以所述关注像素为基准，计算相对于所述对象区域中包含的所述多个第二视差输出像素的每一个的所述差分像素值。

8.根据权利要求7所述的拍摄装置，其中，所述差分运算部用于对应于所述拍摄元件中的所述第一视差像素组和所述第二视差像素组的阵列图案设定所述对象区域。

9.根据权利要求7所述的拍摄装置，其中，所述差分运算部用于设定包含与所述关注像素的颜色相同的所述多个第二视差输出像素的所述对象区域。

10.根据权利要求1所述的拍摄装置，其中：

所述差分运算部用于以所述关注像素为基准计算同一视差差分值，该同一视差差分值是相对于位于所述关注像素周围的所述第一视差图像的一个或多个第一视差输出像素的每一个的差分像素值；

所述数据生成部用于生成同一视差差分数据，该同一视差差分数据将所述一个或多个第一视差输出像素以所述关注像素为基准的各个方向与所述同一视差差分值相关联。

11.根据权利要求10所述的拍摄装置，其中，所述数据生成部用于生成包含多个所述同一视差差分数据的同一视差差分数据集合。

12.根据权利要求11所述的拍摄装置，其中：

所述差分运算部用于将所述第一视差图像的多个第一视差输出像素的每一个设定为所述关注像素，计算以所述多个第一视差输出像素的每一个为基准的所述同一视差差分值；

所述数据生成部用于生成相对于所述多个第一视差输出像素的每一个的所述同一视差差分数据，并生成包含所生成的所述同一视差差分数据的所述同一视差差分数据集合。

13.根据权利要求11所述的拍摄装置，其中进一步包括：存储控制部，用于将所述差分数据集合及所述同一视差差分数据集合以文件形式存储在存储部中。

14.根据权利要求10所述的拍摄装置，其中，所述差分运算部用于：

以所述关注像素为中心部，将包含所述第二视差图像的多个第二视差输出像素的m×n像素区域设定为对象区域，其中，m、n为3以上的整数；

以所述关注像素为中心部，将包含所述第一视差图像的一个或多个第一视差输出像素的i×j像素区域设定为同一视差对象区域，其中，i、j为3以上的整数；

以所述关注像素为基准，计算相对于所述对象区域中包含的所述多个第二视差输出像素的每一个的所述差分像素值；

以所述关注像素为基准，计算相对于所述同一视差对象区域中包含的所述一个或多个第一视差输出像素的每一个的所述同一视差差分值。

15.根据权利要求1～14中任一项所述的拍摄装置，其中：

所述拍摄元件包括：

二维排列的光电转换元件，用于将入射光光电转换为电信号；及

开口掩模，与所述光电转换元件的每一个一对一对应设置；

在相邻的n个所述光电转换元件中，与至少两个所述光电转换元件对应设置的各个所述开口掩模的开口被进行定位，使得来自于所述入射光的截面区域内的互不相同部分区域的光束分别通过，以n个所述光电转换元件为一组的光电转换元件组周期性且连续性地排列，其中，n为3以上的整数；

所述至少两个所述光电转换元件中的两个所述光电转换元件输出所述第一视差图像的第一视差输出像素及所述第二视差图像的第二视差输出像素。