CN104756493A - 摄像装置、图像处理装置、摄像装置的控制程序及图像处理装置的控制程序 - Google Patents

Abstract

由立体摄像装置拍摄的立体图像数据有时因摄影时条件、场景中被拍摄体配置等在左右图像间极端产生视差，观赏者观赏时会感到不协调感、疲劳感。因此提供摄像装置，具备：摄像部，生成对同一场景拍摄生成的摄影图像数据，包含基准图像数据、相对于基准图像数据的被拍摄体像在一个方向具有第1视差的第1视差图像数据、在与一个方向相反的另一方向具有第2视差的第2视差图像数据；调整条件获取部，获取关于视差量调整的调整条件；图像处理部，通过基于调整条件对基准图像数据、第1视差图像数据及第2视差图像数据处理，生成在一个方向具有与第1视差不同的第3视差的第3视差图像数据、在另一方向具有与第2视差不同的第4视差的第4视差图像数据。

Description

摄像装置、图像处理装置、摄像装置的控制程序及图像处理装置的控制程序

技术领域

本发明涉及摄像装置、图像处理装置、摄像装置的控制程序及图像处理装置的控制程序。

背景技术

已知有如下立体摄像装置：使用两个摄影光学系统，获取由右眼用图像和左眼用图像构成的立体图像。

现有技术文献

专利文献

专利文献1：日本特开平8-47001号公报

发明内容

由立体摄像装置拍摄得到的立体图像数据存在因摄影时的条件、场景中被拍摄体的配置等而在左右图像间极端地产生视差的情况，并且存在观赏者在观赏时感到不协调感、疲劳感的情况。

本发明的第1方案中的摄像装置，具备：摄像部，其生成对同一场景进行拍摄而生成的摄影图像数据，该摄影图像数据包含基准图像数据、相对于基准图像数据的被拍摄体像在一个方向具有第1视差的第1视差图像数据、以及在与一个方向相反的另一方向具有第2视差的第2视差图像数据；调整条件获取部，其获取与视差量调整有关的调整条件；和图像处理部，其基于调整条件，对基准图像数据、第1视差图像数据以及第2视差图像数据进行处理，由此生成在一个方向具有与第1视差不同的第3视差的第3视差图像数据、和在另一方向具有与第2视差不同的第4视差的第4视差图像数据。

本发明的第2方案中的摄像装置，具备：摄像部，其生成对同一场景进行拍摄而生成的摄影图像数据，该摄影图像数据包含基准图像数据、相对于基准图像数据的被拍摄体像在一个方向具有第1视差的第1视差图像数据、以及在与一个方向相反的另一方向具有第2视差的第2视差图像数据；调整条件获取部，其获取用于生成具有与第1视差及第2视差不同的视差的调整视差图像数据的与视差量调整有关的调整条件；和输出部，其将调整条件与摄影图像数据相关联地输出。

本发明的第3方案中的图像处理装置，具备：取入部，其取入摄影图像数据和与摄影图像数据相关联的与视差量调整有关的调整条件，其中，该摄影图像数据包含基准图像数据、相对于基准图像数据的被拍摄体像在一个方向具有第1视差的第1视差图像数据、以及在与一个方向相反的另一方向具有第2视差的第2视差图像数据；和图像处理部，其基于调整条件，对基准图像数据、第1视差图像数据以及第2视差图像数据进行处理，由此生成在一个方向具有与第1视差不同的第3视差的第3视差图像数据、和在另一方向具有与第2视差不同的第4视差的第4视差图像数据。

本发明的第4方案中的摄像装置的控制程序，使计算机执行下述步骤：摄像步骤，其生成对同一场景进行拍摄而生成的摄影图像数据，该摄影图像数据包含基准图像数据、相对于基准图像数据的被拍摄体像在一个方向具有第1视差的第1视差图像数据、以及在与一个方向相反的另一方向具有第2视差的第2视差图像数据；调整条件获取步骤，其获取与视差量调整有关的调整条件；和图像处理步骤，其基于调整条件，对基准图像数据、第1视差图像数据以及第2视差图像数据进行处理，由此生成在一个方向具有与第1视差不同的第3视差的第3视差图像数据、和在另一方向具有与第2视差不同的第4视差的第4视差图像数据。

本发明的第5方案中的摄像装置的控制程序，使计算机执行下述步骤：摄像步骤，其生成对同一场景进行拍摄而生成的摄影图像数据，该摄影图像数据包含基准图像数据、相对于基准图像数据的被拍摄体像在一个方向具有第1视差的第1视差图像数据、以及在与一个方向相反的另一方向具有第2视差的第2视差图像数据；调整条件获取步骤，其获取用于生成具有与第1视差及第2视差不同的视差的调整视差图像数据的与视差量调整有关的调整条件；和输出步骤，其将调整条件与摄影图像数据相关联地输出。

本发明的第6方案中的图像处理装置的控制程序，使计算机执行下述步骤：取入步骤，其取入摄影图像数据和与摄影图像数据相关联的与视差量调整有关的调整条件，其中，该摄影图像数据包含基准图像数据、相对于基准图像数据的被拍摄体像在一个方向具有第1视差的第1视差图像数据、以及在与一个方向相反的另一方向具有第2视差的第2视差图像数据；和图像处理步骤，其基于调整条件，对基准图像数据、第1视差图像数据以及第2视差图像数据进行处理，由此生成在一个方向具有与第1视差不同的第3视差的第3视差图像数据、和在另一方向具有与第2视差不同的第4视差的第4视差图像数据。

本发明的第7方案中的摄像装置，具备：检测部，其相对于场景检测进深方向的被拍摄体分布；确定部，其基于被拍摄体分布，确定与视差量有关的变更条件；和控制部，其基于变更条件执行生成包含彼此具有视差的第1视差图像数据和第2视差图像数据的摄影图像数据的摄像控制。

本发明的第8方案中的摄像装置的控制程序，使计算机执行下述步骤：检测步骤，其相对于场景检测进深方向的被拍摄体分布；确定步骤，其基于被拍摄体分布，确定与视差量有关的变更条件；和摄像控制步骤，其基于变更条件，生成包含彼此具有视差的第1视差图像数据和第2视差图像数据的摄影图像数据。

此外，上述的发明概要并没有例举出本发明所需的全部技术特征。另外，这些特征组的子组合也能够构成发明。

附图说明

图1是说明本发明的实施方式涉及的数码相机的结构的图。

图2是概念性地表示将摄像元件的一部分放大后的状态的概念图。

图3是说明2D图像数据和视差图像数据的生成处理的例子的图。

图4是说明离焦的概念的图。

图5是表示视差像素所输出的光强度分布的图。

图6是表示用于说明调整视差量的概念的像素值分布的图。

图7是说明彩色视差层数据的生成处理的图。

图8是说明RGB的像素值分布的变化的图。

图9是表示观赏者的辐辏角与视差量的关系的图。

图10是对光圈值、表示图像的清晰度的对比度以及视差量的关系示意性地进行表示的图。

图11是显示视差量限制的菜单界面的数码相机的后视图。

图12是表示视差量调整的概念的图。

图13是动态图像摄影中的处理流程。

图14是到生成视差彩色图像数据为止的处理流程。

图15是说明优选的开口形状的图。

图16是说明数码相机与TV显示器的协作的图。

图17是作为变形例的数码相机的动态图像摄影中的处理流程。

图18是作为变形例的TV显示器中的处理流程。

图19是说明本发明的实施方式涉及的数码相机的结构的图。

图20是对表示图像的清晰度的对比度与视差量的关系示意性地进行表示的图。

图21是示意性地表示被拍摄体与视差量的关系的图。

图22是示意性地表示光圈值与视差量的关系的图。

图23是示意性地表示焦点位移的概念的图。

图24是表示使用立体调整参数后的视差量调整的概念的图。

图25是显示视差量范围限制的菜单界面的数码相机的后视图。

图26是说明被拍摄体指定的图。

图27是第1实施例涉及的动态图像摄影中的处理流程。

图28是第2实施例涉及的动态图像摄影中的处理流程。

图29是到生成视差彩色图像数据为止的处理流程。

图30是说明优选的开口形状的图。

图31是说明数码相机与TV显示器的协作的图。

具体实施方式

以下通过发明的实施方式对本发明进行说明，但以下的实施方式并非对权利要求书所涉及的发明进行限定。并且，实施方式中说明的所有特征组合不必为发明的解决手段所必须的。

＜第1实施方式＞

作为摄像装置的一个形态的本实施方式所涉及的数码相机被构成为针对一个场景通过一次拍摄便能生成多个视点数的图像。将彼此视点不同的各个图像称为视差图像。在本实施方式中，尤其对生成基于与右眼和左眼对应的两个视点的右视差图像和左视差图像的情况进行说明。本实施方式中的数码相机能够与视差图像一起生成基于中央视点的无视差的无视差图像。

图1是说明本发明的实施方式涉及的数码相机10的结构的图。数码相机10具备作为摄影光学系统的摄影透镜20，将沿光轴21入射的被拍摄体光束引导至摄像元件100。摄影透镜20可以是相对于数码相机10能够装卸的交换式透镜。数码相机10包含：摄像元件100、控制部201、A/D转换电路202、存储器203、驱动部204、图像处理部205、存储卡IF207、操作部208、显示部209、以及LCD驱动电路210。

此外，如图所示，将朝向摄像元件100的与光轴21平行的方向定为+Z轴方向，将在与Z轴垂直的平面中朝向纸面近前侧的方向定为+X轴方向，将纸面的上方定为+Y轴方向。在之后的几个图中，以图1的坐标轴为基准表示坐标轴，以便能理解各个图的朝向。

摄影透镜20由多个光学透镜组构成，使来自场景的被拍摄体光束在其焦点面附近成像。此外，在图1中，为了便于说明，以设置在光瞳附近的一片假想透镜代表性地表示摄影透镜20。另外，在光瞳附近以光轴21为中心同心状地配置有限制入射光束的光圈22。

摄像元件100配置于摄影透镜20的焦点面附近。摄像元件100为二维地排列有多个光电转换元件的例如CCD、CMOS传感器等图形传感器。摄像元件100由驱动部204进行定时控制，将受光面上成像的被拍摄体像转换成图像信号并向A/D转换电路202输出。

A/D转换电路202将摄像元件100输出的图像信号转换成数字图像信号并输出给存储器203。图像处理部205将存储器203作为工作空间来实施各种图像处理，生成摄影图像数据。如后所述地，摄影图像数据包含由摄像元件100的无视差像素的输出所生成的基准图像数据和由摄像元件100的视差像素的输出所生成的视差图像数据。将到生成摄影图像数据为止的处理部作为摄像部时，摄像部构成为包含摄像元件100、A/D转换电路202、存储器203、控制部201以及图像处理部205。

控制部201对数码相机10进行统括控制。例如，根据设定的光圈值调整光圈22的孔径，根据AF评价值使摄影透镜20沿光轴方向进退。另外，检测摄影透镜20的位置，掌握摄影透镜20的焦点距离、聚焦透镜位置。此外，对驱动部204发送定时控制信号，对到从摄像元件100输出的图像信号在图像处理部205被处理为摄影图像数据为止的一连串的时序进行管理。

另外，控制部201包含调整条件获取部231。调整条件获取部231获取用于确定后述的立体调整参数的各种调整条件。详细情况将后述，例如，依次获取生成该摄影图像数据时的作为摄影条件的光圈值、焦点距离等来作为调整条件。

图像处理部205包含调整值确定部232、算出部233以及动态图像生成部234。调整值确定部232根据调整条件获取部231所获取的调整条件确定立体调整参数的值。算出部233使用所确定出的立体调整参数的值，从摄影图像数据生成新的视差图像数据。动态图像生成部234连接算出部233所生成的新的视差图像数据，而生成3D的动态图像文件。

图像处理部205除此之外还承担依照所选的图像格式调整图像数据等图像处理的一般功能。所生成的摄影图像数据由LCD驱动电路210转换成显示信号，显示在显示部209。并且，记录在装设于存储卡IF 207上的存储卡220中。

图2是概念性地表示将摄像元件100的一部分放大后的状态的概念图。在像素区域中矩阵状地排列有2000万个以上的像素。在本实施方式中，相邻的8像素×8像素的64像素形成一个基本格子110。基本格子110在Y轴方向上包含4个、在X轴方向上包含4个以2×2的4像素为基本单位的拜耳阵列。此外，如图所示，在拜耳阵列中，绿色滤光片(G滤光片)被分配给左上像素和右下像素，蓝色滤光片(B滤光片)被分配给左下像素，红色滤光片(R滤光片)被分配给右上像素。

基本格子110包含视差像素和无视差像素。视差像素是接收从摄影透镜20透过的入射光束中相对于摄影透镜20的光轴发生了偏移的部分光束的像素。视差像素中设有开口掩膜，该开口掩膜具有从像素中心偏移了的偏移开口，以便仅使该部分光束透过。开口掩模例如重叠地设于彩色滤光片。在本实施方式中，根据开口掩膜，存在两种视差像素，即被规定为部分光束到达相对于像素中心的左侧的视差Lt像素、和被规定为部分光束到达相对于像素中心的右侧的视差Rt像素。另一方面，无视差像素是未设有开口掩膜的像素，是接收从摄影透镜20透过的全部入射光束的像素。

此外，视差像素在接收从光轴偏移的部分光束时，不限于开口掩膜，能够采用划分有受光区域和反射区域的选择性反射膜、偏移的光电二极管区域等各种结构。即，视差像素只要构成为能够接收从摄影透镜20透过的入射光束中从光轴偏移了的部分光束即可。

以P_IJ表示基本格子110内的像素。例如，左上像素是P₁₁，右上像素是P₈₁。如图所示，视差像素如下排列。

P₁₁…视差Lt像素+G滤光片(＝G(Lt))

P₅₁…视差Rt像素+G滤光片(＝G(Rt))

P₃₂…视差Lt像素+B滤光片(＝B(Lt))

P₆₃…视差Rt像素+R滤光片(＝R(Rt))

P₁₅…视差Rt像素+G滤光片(＝G(Rt))

P₅₅…视差Lt像素+G滤光片(＝G(Lt))

P₇₆…视差Rt像素+B滤光片(＝B(Rt))

P₂₇…视差Lt像素+R滤光片(＝R(Lt))

其他像素是无视差像素，是无视差像素+R滤光片、无视差像素+G滤光片、无视差像素+B滤光片中的某一种。

以摄像元件100的整体观察时，视差像素被划分为具有G滤光片的第1组、具有R滤光片的第2组、具有B滤光片的第3组中的某一组，基本格子110内包含至少一个属于各个组的视差Lt像素及视差Rt像素。如图中的例子所示，这些视差像素及无视差像素，在基本格子110内可以具有随机性地配置。通过具有随机性地配置，按每个颜色成分的空间分辨率不会产生偏离，并且能够获取RGB的色彩信息来作为视差像素的输出，从而能够得到高品质的视差图像数据。

接下来，对从由摄像元件100输出的摄影图像数据生成2D图像数据和视差图像数据的处理的概念进行说明。图3是说明2D图像数据和视差图像数据的生成处理的例子的图。

从基本格子110内的视差像素及无视差像素的排列可知，即使使摄像元件100的输出与其像素排列一致地原样罗列，也不会成为表示特定的像的图像数据。将摄像元件100的像素输出按被赋予同一特征的像素组分离并汇集之后，才形成表示符合该特征的一个像的图像数据。例如，如果将左右的视差像素分别汇集，则能够得到彼此具有视差的左右的视差图像数据。像这样，将按被赋予同一特征的像素组分离并汇集而成的各个图像数据称为层数据(plane data)。

图像处理部205接收按照摄像元件100的像素排列顺序罗列其输出值(像素值)的RAW原始图像数据，执行将其分离成多个层数据的层分离处理。图的左列表示作为2D图像数据的2D-RGB层数据的生成处理的例子。

生成2D-RGB层数据时，图像处理部205首先去除视差像素的像素值，使其为空格子。而后，使用周边像素的像素值通过插补处理，算出成为了空格子的像素值。例如，空格子P₁₁的像素值是对在倾斜方向相邻的G滤光片像素的像素值、即P_-1-1、P_2-1、P_-12、P₂₂的像素值进行平均化运算而计算出的。另外，例如空格子P₆₃的像素值是对在上下左右跳过一个像素而相邻的R滤光片的像素值、即P₄₃、P₆₁、P₈₃、P₆₅的像素值进行平均化运算而计算出的。同样地，例如空格子P₇₆的像素值是对在上下左右跳过一个像素而相邻的B滤光片的像素值、即P₅₆、P₇₄、P₉₆、P₇₈的像素值进行平均化运算而计算出的。

像这样被插补的2D-RGB层数据与具有拜耳阵列的通常的摄像元件的输出相同，因此之后能够作为2D图像数据进行各种处理。即，进行公知的拜耳插补，而对各像素生成RGB数据齐备的彩色图像数据。图像处理部205在生成静态图像数据时按照JPEG等预先确定的格式、在生成动态图像数据时按照MPEG等预先确定的格式，进行作为一般的2D图像的图像处理。

在本实施方式中，图像处理部205按颜色将2D-RGB层数据进一步分离，并实施上述的插补处理，而生成作为基准图像数据的各层数据。即，生成作为绿色的基准图像层数据的Gn层数据、作为红色的基准图像层数据的Rn层数据、以及作为蓝色的基准图像层数据的Bn层数据这3个层数据。

图的右列表示作为视差像素数据的2个G层数据、2个R层数据以及2个B层数据的生成处理的例子。2个G层数据是作为左视差图像数据的GLt层数据和作为右视差图像数据的GRt层数据，2个R层数据是作为左视差图像数据的RLt层数据和作为右视差图像数据的RRt层数据，2个B层数据是作为左视差图像数据的BLt层数据和作为右视差图像数据的BRt层数据。

在生成GLt层数据时，图像处理部205从摄像元件100的所有输出值中去除G(Lt)像素的像素值以外的像素值，使其成为空格子。于是，在基本格子110内，留有P₁₁和P₅₅这两个像素值。因此，将基本格子110横竖地进行四等分，以P₁₁的输出值代表左上的16像素量，以P₅₅的输出值代表右下的16像素量。而后，对于右上的16像素量及左下的16像素量，对在上下左右相邻的周边的代表值进行平均化运算来进行插补。即，GLt层数据以16像素为单位具有一个值。

同样地，在生成GRt层数据时，图像处理部205从摄像元件100的所有输出值中去除G(Rt)像素的像素值以外的像素值，使其成为空格子。于是，在基本格子110内，留有P₅₁和P₁₅这两个像素值。因此，将基本格子110横竖地进行四等分，以P₅₁的输出值代表右上的16像素量，以P₁₅的输出值代表左下的16像素量。而后，对于左上的16像素量及右下的16像素量，对在上下左右相邻的周边的代表值进行平均化运算来进行插补。即，GRt层数据以16像素为单位具有一个值。这样，能够通过2D-RGB层数据生成分辨率低的GLt层数据和GRt层数据。

在生成RLt层数据时，图像处理部205从摄像元件100的所有输出值中去除R(Lt)像素的像素值以外的像素值，使其成为空格子。于是，在基本格子110内，留有P₂₇的像素值。将该像素值作为基本格子110的64像素量的代表值。同样地，在生成RRt层数据时，图像处理部205从摄像元件100的所有输出值中去除R(Rt)像素的像素值以外的像素值，使其成为空格子。于是，在基本格子110内，留有P₆₃的像素值。将该像素值作为基本格子110的64像素量的代表值。这样，通过2D-RGB层数据生成分辨率低的RLt层数据和RRt层数据。这种情况下，RLt层数据和RRt层数据的分辨率比GLt层数据和GRt层数据的分辨率低。

在生成BLt层数据时，图像处理部205从摄像元件100的所有输出值中去除B(Lt)像素的像素值以外的像素值，使其成为空格子。于是，在基本格子110内，留有P₃₂的像素值。将该像素值作为基本格子110的64像素量的代表值。同样地，在生成BRt层数据时，图像处理部205从摄像元件100的所有输出值中去除B(Rt)像素的像素值以外的像素值，使其成为空格子。于是，在基本格子110内，留有P₇₆的像素值。将该像素值作为基本格子110的64像素量的代表值。这样，通过2D-RGB层数据生成分辨率低的BLt层数据和BRt层数据。这种情况下，BLt层数据和BRt层数据的分辨率比GLt层数据和GRt层数据的分辨率低，与RLt层数据和RRt层数据的分辨率相同。

在本实施方式中，为了使所生成的图像间的视差量收敛于目标视差量，存在对输出图像数据实施图像处理的情况。这种情况下，图像处理部205使用这些层数据，生成左侧视点的彩色图像数据及右侧视点的彩色图像数据。尤其是，通过导入立体调整参数，在维持2D彩色图像的模糊量不变的状态下，生成调整作为3D图像的视差量后的彩色图像数据。在具体的处理之前，首先对生成原理进行说明。

图4是说明离焦的概念的图。视差Lt像素及视差Rt像素接收从作为透镜光瞳的部分区域而分别设定为光轴对象的两个视差假想光瞳中的某一个到达的被拍摄体光束。在本实施方式的光学系统中，实际的被拍摄体光束从透镜光瞳的整体通过，因此，直到到达视差像素为止，与视差假想光瞳对应的光强度分布彼此没有区别。但是，视差像素根据各自具有的开口掩膜的作用，输出只将从视差假想光瞳通过的部分光束光电转换后的图像信号。因此，可以认为，视差像素的输出所示的像素值分布与从分别对应的视差假想光瞳通过的部分光束的光强度分布具有比例关系。

如图4的(a)所示，作为被拍摄体的物点存在于焦点位置时，通过任意的视差假想光瞳的被拍摄体光束，其各自的视差像素的输出都示出以对应的像点的像素为中心而陡急的像素值分布。如果视差Lt像素排列在像点附近，则与像点对应的像素的输出值最大，排列在周边的像素的输出值急剧降低。另外，即使视差Rt像素排列在像点附近，与像点对应的像素的输出值也最大，排列在周边的像素的输出值急剧降低。即，被拍摄体光束通过任意一个视差假想光瞳，都会示出与像点对应的像素的输出值最大、排列在周边的像素的输出值急剧降低的分布，且各自的分布彼此一致。

另一方面，如图4的(b)所示，如果物点从焦点位置偏移，则与物点存在于焦点位置的情况相比，视差Lt像素所示的像素值分布的峰值出现在从与像点对应的像素向一个方向远离了的位置，且其输出值降低。另外，具有输出值的像素的幅度也宽。视差Rt像素所示的像素值分布的峰值，出现在从与像点对应的像素向与视差Lt像素的一个方向相反的方向且等距离地远离了的位置，同样地其输出值降低。另外，同样地，具有输出值的像素的幅度也宽。即，与物点存在于焦点位置的情况相比变得平缓的相同的像素值分布，彼此等距离地分离地呈现。另外，如图4的(c)所示，如果物点进一步从焦点位置偏移，则与图4的(b)的状态相比，变得更平缓的相同的像素值分布更分离地呈现。也就是说，可以说物点从焦点位置偏移越大，模糊量和视差量越增加。换言之，模糊量和视差量对应于离焦而联动地变化。即模糊量和视差量具有一一对应的关系。

另外，图4的(b)和(c)示出了物点从焦点位置向远离的方向偏移的情况，但如图4的(d)所示，物点从焦点位置向靠近的方向偏移的情况下，与图4的(b)和(c)相比，视差Lt像素所示的像素值分布与视差Rt像素所示的像素值分布的相对位置关系发生逆转。根据这样的离焦关系，在观赏视差图像时，观赏者将存在于比焦点位置深的被拍摄体识别为远，将存在于比焦点位置近前侧的被拍摄体识别为近。

将图4的(b)和(c)所说明的像素值分布的变化分别图表化而如图5那样表示。在图中，横轴表示像素位置，中心位置是与像点对应的像素位置。纵轴表示各像素的输出值(像素值)。该输出值如上所述实质上与光强度成比例。

分布曲线1804和分布曲线1805分别表示图4的(b)的视差Lt像素的像素值分布和视差Rt像素的像素值分布。从图中可知，这些分布相对于中心位置呈线对称的形状。另外，叠加它们而得到的合成分布曲线1806示出了与相对于图4的(b)的状况为无视差像素的像素值分布、即接收了全部被拍摄体光束的情况下的像素值分布大致相似的形状。

分布曲线1807和分布曲线1808分别表示图4的(c)的视差Lt像素的像素值分布和视差Rt像素的像素值分布。从图中可知，这些分布相对于中心位置也呈线对称的形状。另外，叠加它们而得到的合成分布曲线1809示出了与相对于图4的(c)的状况为无视差像素的像素值分布大致相似的形状。

在本实施方式中，利用立体调整参数进行图像处理的情况下，使用实际上作为摄像元件100的输出值而获取并且空格子经插补处理后的、这样的像素值分布的视差Lt像素的像素值和视差Rt像素的像素值，来生成假想的像素值分布。这时，大致维持由像素值分布的底部宽度所呈现的模糊量，并调整呈现为峰值间的间隔的视差量。也就是说，在本实施方式中，图像处理部205维持2D图像的模糊量大致不变，也可同时生成具有在由无视差像素生成的2D图像与由视差像素生成的3D图像之间调整后的视差量的图像。图6是表示用于说明调整视差量的概念的像素值分布的图。

在图中，用实线表示的Lt分布曲线1901和Rt分布曲线1902，是对Lt层数据和Rt层数据的实际像素值进行绘制而成的分布曲线。例如，相当于图5中的分布曲线1804、1805。而且，Lt分布曲线1901与Rt分布曲线1902各自的峰值间距离表示3D视差量，该距离越大图像再现时的立体感就越强。

使Lt分布曲线1901和Rt分布曲线1902各为50％而叠加成的2D分布曲线1903成为左右无偏的凸形状。2D分布曲线1903相当于使图5中的合成分布曲线1806的高度成为1/2后的形状。即，基于该分布的图像成为视差量0的2D图像。

调整Lt分布曲线1905是将Lt分布曲线1901的80％与Rt分布曲线1902的20％叠加而成的曲线。调整Lt分布曲线1905的峰值仅以加上Rt分布曲线1902的成分的量比Lt分布曲线1901的峰值更靠近中心地移位。同样地，调整Rt分布曲线1906是将Lt分布曲线1901的20％与Rt分布曲线1902的80％叠加而成的曲线。调整Rt分布曲线1906的峰值仅以加上Lt分布曲线1901的成分的量比Rt分布曲线1902的峰值更靠近中心地移位。

因此，由调整Lt分布曲线1905和调整Rt分布曲线1906各自的峰值间距离所表示的调整视差量比3D视差量更小。因此，图像再现时的立体感得到缓和。另一方面，由于调整Lt分布曲线1905和调整Rt分布曲线1906各自的分布的底部宽度与2D分布曲线1903的底部宽度同等，因此，可以说模糊量与2D图像相等。

即，通过以各自多少的比例将Lt分布曲线1901和Rt分布曲线1902相加，能够控制调整视差量。而且，通过将该调整后的像素值分布适用于由无视差像素生成的彩色图像数据的各层，能够生成赋予与由视差像素生成的视差图像数据不同的立体感的左侧视点的彩色图像数据和右侧视点的彩色图像数据。

在本实施方式中，由使用图3所说明的9个层数据生成左侧视点的彩色图像数据和右侧视点的彩色图像数据。左侧视点的彩色图像数据由与左侧视点对应的作为红色层数据的RLt_c层数据、作为绿色层数据的GLt_c层数据、以及作为蓝色层数据的BLt_c层数据这三个彩色视差层数据构成。同样地，右侧视点的彩色图像数据由与右侧视点对应的作为红色层数据的RRt_c层数据、作为绿色层数据的GRt_c层数据、以及作为蓝色层数据的BRt_c层数据这三个彩色视差层数据构成。

图7是说明彩色视差层数据的生成处理的图。尤其表示彩色视差层中作为红色视差层的RLt_c层数据和RRt_c层数据的生成处理。

红色视差层使用通过图3所说明的Rn层数据的像素值和RLt层数据及RRt层数据的像素值而生成。具体地，例如，当计算RLt_c层数据的对象像素位置(i_m，j_n)的像素值RLt_mn时，首先，图像处理部205的算出部233从Rn层数据的同一像素位置(i_m，j_n)提取像素值Rn_mn。然后，算出部233从RLt层数据的同一像素位置(i_m，j_n)提取像素值RLt_mn，从RRt层数据的同一像素位置(i_m，j_n)提取像素值RRt_mn。而后，算出部233在像素值Rn_mn上乘以由立体调整参数C对像素值RLt_mn和RRt_mn进行分配后的值，从而算出像素值RLt_cmn。具体地，通过以下的式(1)算出。其中，立体调整参数C在0.5<C<1的范围内被设定。

[式1]

${\mathrm{RLt}}_{\mathrm{cmn}}={2\mathrm{Rn}}_{\mathrm{mn}}\&times;\frac{C\&times;{\mathrm{RLt}}_{\mathrm{mn}}+(1-C)\&times;{\mathrm{RRt}}_{\mathrm{mn}}}{{\mathrm{RLt}}_{\mathrm{mn}}+{\mathrm{RRt}}_{\mathrm{mn}}}...\left(1\right)$

同样地，当计算RRt_c层数据的对象像素位置(i_m，j_n)的像素值RRt_cmn时，算出部233也在提取出的像素值Rn_mn上乘以由立体调整参数C对像素值RLt_mn和像素值RRt_mn进行分配后的值而算出。具体地，由以下的式(2)算出。

[式2]

${\mathrm{RRt}}_{\mathrm{cmn}}=2{\mathrm{Rn}}_{\mathrm{mn}}\&times;\frac{(1-C)\&times;{\mathrm{RLt}}_{\mathrm{mn}}+C\&times;{\mathrm{RRt}}_{\mathrm{mn}}}{{\mathrm{RLt}}_{\mathrm{mn}}+{\mathrm{RRt}}_{\mathrm{mn}}}...\left(2\right)$

算出部233从作为左端且上端的像素的(1、1)到作为右端且下端的坐标的(i₀，j₀)依次执行这样的处理。

而且，作为红色视差层的RLt_c层数据和RRt_c层数据的生成处理完成后，接着执行作为绿色视差层的GLt_c层数据和GRt_c层数据的生成处理。具体地，在上述说明中，取代从Rn层数据的同一像素位置(i_m，j_n)提取像素值Rn_mn，而是从Gn层数据的同一像素位置(i_m，j_n)提取像素值Gn_mn。另外，取代从RLt层数据的同一像素位置(i_m，j_n)提取像素值RLt_mn，而是从GLt层数据的同一像素位置(i_m，j_n)提取像素值GLt_mn。同样地，取代从RRt层数据的同一像素位置(i_m，j_n)提取像素值RRt_mn，而是从GRt层数据的同一像素位置(i_m，j_n)提取像素值GRt_mn。而且，对式(1)及式(2)的各参数适当改变而同样地进行处理。

此外，作为绿色视差层的GLt_c层数据和GRt_c层数据的生成处理完成后，接着执行作为蓝色视差层的BLt_c层数据和BRt_c层数据的生成处理。具体地，在上述说明中，取代从Rn层数据的同一像素位置(i_m，j_n)提取像素值Rn_mn，而是从Bn层数据的同一像素位置(i_m，j_n)提取像素值Bn_mn。另外，取代从RLt层数据的同一像素位置(i_m，j_n)提取像素值RLt_mn，而是从BLt层数据的同一像素位置(i_m，j_n)提取像素值BLt_mn。同样地，取代从RRt层数据的同一像素位置(i_m，j_n)提取像素值RRt_mn，而是从BRt层数据的同一像素位置(i_m，j_n)提取像素值BRt_mn。而且，对式(1)及式(2)的各参数适当改变而同样地进行处理。

通过以上的处理，生成左侧视点的彩色图像数据(RLt_c层数据、GLt_c层数据、BLt_c层数据)及右侧视点的彩色图像数据(RRt_c层数据、GRt_c层数据、BRt_c层数据)。即，关于作为摄像元件100的像素而实际上不存在的假想输出，能够通过比较容易的处理获取左侧视点及右侧视点的彩色图像数据。

而且，由于能够在0.5<C<1的范围内改变立体调整参数C，因此在维持由无视差像素实现的2D彩色图像的模糊量不变的情形下，能够调整作为3D图像的视差量的大小。因此，只要通过3D图像对应的再现装置对这些图像数据进行再现，立体影像显示面板的观赏者就能够观赏作为彩色图像而立体感被适度地调整后的3D影像。尤其是，由于处理很简单因此能够快速地生成图像数据，也能够应对动态图像。

接下来，从像素值分布和色彩的观点来说明以上的处理。图8是说明RGB的像素值分布的变化的图。图8的(a)是接收到来自存在于从焦点位置偏移一定量的位置的物点的某白色被拍摄体光束时的、将G(Lt)像素、G(Rt)像素、R(Lt)像素、R(Rt)像素、B(Lt)像素及B(Rt)像素各自的输出值排列而成的曲线图。

图8的(b)是接收到来自图8的(a)中的物点的某白色被拍摄体光束时的、将作为无视差像素的R(N)像素、G(N)像素及B(N)像素的输出值排列而成的曲线图。可以说该曲线图也表示各色的像素值分布。

在以C＝0.8按相应的像素实施上述处理时，成为图8的(c)的曲线图所表示的像素值分布。从图中可知，能够得到与RGB各自的像素值相应的分布。

接下来，对通过再现装置再现3D图像数据时的、观赏者与影像之间的关系进行说明。图9是表示观赏者的辐辏角与视差量的关系的图。眼球50表示观赏者的眼球，图示出了右眼51和左眼52分离的情形。

在显示部40再现视差量未做调整的非调整图像数据，显示右眼用图像的被拍摄体61和左眼用图像的被拍摄体62。被拍摄体61和被拍摄体62是相同的被拍摄体，在摄影时存在于从焦点位置偏移的位置，因此在显示部40中，以视差量D₁分离地显示。

由于眼球50要使它们一致而识别，因此观赏者辨识成：被拍摄体存在于将右眼51和被拍摄体61连结的直线与将左眼52和被拍摄体62连结的直线所交叉的浮起距离L1的位置(图中以四边形表示)。

这时的辐辏角如图所示是θ₁。通常，如果辐辏角大，则会对影像感到不协调感，另外，也会成为眼睛疲劳的原因。因此，在本实施方式中，利用立体调整参数进行图像处理时，如上所述地生成通过立体调整参数调整视差量后的调整图像数据。此外，图示出了与非调整图像数据重叠地再现调整图像数据的情形。

在显示部40显示调整图像数据的右眼用图像的被拍摄体71和左眼用图像的被拍摄体72。被拍摄体71和被拍摄体72是相同的被拍摄体，并且也是与被拍摄体61、62相同的被拍摄体。在显示部40中，被拍摄体71和被拍摄体72以视差量D₂分离地显示。观赏者辨识成：被拍摄体存在于将右眼51和被拍摄体71连结的直线与将左眼52和被拍摄体72连结的直线所交叉的浮起距离L2的位置(图中以三角形表示)。

这时的辐辏角是比θ₁小的θ₂。因此，观赏者不会感到极端的浮起感，并且还能够减轻眼睛疲劳的累积。此外，由于视差量如后所述地被适度地调整，因此观赏者能够以舒适的浮起感(也结合离焦关系逆转时的下沉感而得到的立体感)来观赏影像。

此外，用于图9的说明的视差量，以显示部40中的分离距离表示，但视差量能够以各种形式进行定义。例如，可以以摄影图像数据中的像素单位定义，还可以以相对于图像的横宽的偏离幅度定义。

图10是对数码相机10中的光圈值、表示图像的清晰度的对比度、被拍摄体距离以及视差量的关系示意性地进行表示的图。横轴表示距数码相机10的距离，纵轴表示视差量和对比度的高度。另外，图10的(a)表示光圈值为F1.4的状态，图10的(b)表示光圈值为F4的状态，图10的(c)表示光圈值为F8的状态。此外，摄影透镜20的焦点距离在任意状态下都相同，并且，数码相机10在位于距离L₁₀的主要被拍摄体上对焦。

对比度曲线1610在任意状态下都是在到焦点位置的距离即距离L₁₀最高。另一方面，光圈值越大，则在焦点距离前后越示出比较高的值。即，表示越是在缩小光圈22的状态下拍摄得到的图像，景深越深。

视差量曲线1620示出如下曲线：在距离L₁₀表示视差量0，随着比距离L₁₀靠近数码相机10侧，斜率变大。即，视差量曲线1620在比距离L₁₀靠近前侧表示正的值，表示越近的被拍摄体则越被浮起地识别。

另一方面，视差量曲线1620表示随着比距离L₁₀远离数码相机10侧，斜率变小的曲线。即，视差量曲线1620在比距离L₁₀靠深处侧表示负的值，表示越远的被拍摄体则越被平缓、下沉地识别。

此外，视差量曲线1620是光圈值越大其变化越平缓。即，与光圈值为F1.4的情况相比，随着推移至F4、F8，与焦点位置相比近前侧的视差量及深处的视差量变小。

若在视差量包含在从-m到+m的范围内的情况下观赏者不会感到不协调感、疲劳感，则当光圈值为F8时视差量曲线1620收敛在该范围内，因此被拍摄体存在于任意距离观赏者都能够舒适地观赏3D影像。

另一方面，光圈值为F1.4及F4时，在视差量曲线1620的近距离一侧超过+m。因此，如果被拍摄体存在于超过+m的近距离，则观赏者会感到不协调感、疲劳感。因此，在本实施方式中，图像处理部205生成通过立体调整参数以使视差量收敛在所设定的下限值与上限值之间的方式对视差量进行调整后的调整图像数据。

首先，对视差量的限制进行说明。图11是显示视差量限制的菜单界面的数码相机10的后视图。

如上所述，视差量的限制被设定为下限值-m、上限值+m。下限值和上限值的绝对值可以不同。在此，以调整视差图像数据中的视差图像的像素为单位表示视差量。

使观赏者感到不协调感、疲劳感的视差量因观赏者而异。因此，优选以下述方式构成数码相机10，即拍摄时作为数码相机10的用户的摄影者能够改变视差量限制的设定。

在数码相机10中，作为视差量限制的菜单，例如如图所示地设有4个选项。具体地，设有：预设为标准观赏者感到舒服的范围的“标准”、预设为比标准宽的范围且允许更大的视差量的“强”、预设为比标准窄的范围且只允许小的视差量的“弱”，以及供摄影者对上限值、下限值进行数值输入的“手动”。选择了“手动”的情况下，摄影者能够以像素为单位对作为上限值的“最大浮起量”和作为下限值“最大下沉量”依次指定。摄影者通过操作作为操作部208的一部分的旋转按钮2081，进行这些选择、指定。

在像这样设定作为视差量限制而允许的视差量的范围时，图像处理部205生成以使视差量收敛于该范围内的方式调整视差量后的视差图像数据。本实施方式中的视差量的调整处理，无需如现有技术那样地按被拍摄体对象提出，利用深度图信息且以被拍摄体对象为单位使其沿水平方向移动等复杂的处理。因此，与现有技术相比能够快速地运算，从而即使相对于被拍摄体状况时刻变化的动态图像摄影，图像处理部205也能够容易地应对而实时地输出调整视差图像数据。

本实施方式中的数码相机10，作为动态图像摄影模式的一种而具备自动3D动态图像模式，该模式下，连续地生成已调整为舒适的视差量的视差图像数据，并且将这些数据连接起来而生成动态图像文件。摄影者在拍摄之前，操作作为操作部208的一部分的模式按钮2082，选择自动3D动态图像模式。

从图10的说明也可以理解，构成同一场景的被拍摄体是否全部收敛于所设定的视差量范围，被各种条件所左右。将包含所设定的视差量范围在内的、这些条件设为与视差量调整有关的调整条件。

在此，对调整条件进一步地说明。调整条件获取部231获取各种调整条件，而适当地交付给调整值确定部232。如上所述，调整条件获取部231获取经由菜单界面及操作部208而输入的视差量范围来作为调整条件。

在图10中，对摄影透镜20的焦点距离固定的情况进行了说明，但对同一被拍摄体进行拍摄的情况下，视差量也会根据摄影透镜20的焦点距离而发生变化。也就是说，作为光学系统的摄影透镜20的设定条件的焦点距离，能够成为对视差量带来影响的调整条件。因此，调整条件获取部231获取控制部201从摄影透镜20获取的焦点距离信息(变焦信息)来作为调整条件。

如使用图10所说明地，视差量曲线1620的斜率根据光圈值的变化而变化。也就是说，获取各摄影图像数据时(拍摄时)的光圈值能够成为作为光学系统的设定条件对视差量带来影响的调整条件。因此，调整条件获取部231获取控制部201从摄影透镜20获取的光圈值来作为调整条件。

如使用图10所说明地，视差量相对于对焦的被拍摄体为0，在其前后是正负值。也就是说，作为光学系统的摄影透镜20的设定条件的聚焦透镜位置，能够成为对视差量带来影响的调整条件。因此，调整条件获取部231获取控制部201从摄影透镜20获取的聚焦透镜位置(聚焦信息)来作为调整条件。

在图10中，假设了主要被拍摄体存在于焦点位置即距离L₁₀的情况，但其他被拍摄体在进深方向分布而存在时，这些其他被拍摄体被浮起或下沉地识别。也就是说，进深方向的被拍摄体分布，能够成为作为被拍摄体状况而对视差量带来影响的调整条件。因此，调整条件获取部231获取进深方向的被拍摄体分布来作为调整条件。具体地，控制部201利用用于自动聚焦的离焦信息，从按细分化后的每个区域的离焦量检测被拍摄体分布。此外，作为离焦信息，也可以利用设为专用的相位差传感器的输出，还可以利用摄像元件100的视差像素的输出。利用视差像素的输出时，也能够使用由图像处理部205处理后的视差图像数据。

接下来，对利用了通过调整条件而确定值的立体调整参数的视差量的调整进行说明。图12是表示视差量调整的概念的图。

图12的(a)与图10的(a)中去除对比度曲线1610后的图相对应。在此，假设在作为对焦对象的主要被拍摄体的对焦被拍摄体之外，存在近点被拍摄体和远点被拍摄体的情况，其中，近点被拍摄体存在于数码相机10侧即近前侧，远点被拍摄体存在于作为相反一侧的深处侧。在图10的(a)中，对焦被拍摄体存在于距离L₁₀，近点被拍摄体存在于距离L₂₀，远点被拍摄体存在于距离L₃₀。

作为调整条件而设定的视差量范围是从-m到+m时，由于相对于远点被拍摄体的距离L₃₀的视差量曲线1620的值收敛于该范围，因此关于远点被拍摄体侧可以不调整视差量。但是，由于相对于近点被拍摄体的距离L₂₀的视差量曲线1620的值超过+m，因此对整体视差量进行调整，以使近点被拍摄体的像成为视差量+m。

即，对视差量曲线进行调整，以使存在于在近前侧最远离对焦被拍摄体的位置的被拍摄体(近点被拍摄体)的像的视差量、和存在于在深处侧最远离对焦被拍摄体的位置的被拍摄体(远点被拍摄体)的像的视差量都收敛于所设定的视差量范围。更具体地，只要调整视差量曲线，以使从所设定的视差量范围大幅偏离侧的被拍摄体像的视差量成为该视差量范围的界限值即可。在图12的(a)中，调整视差量曲线1630就是这样调整后的视差量曲线。如果这样调整，则构成同一场景的被拍摄体的像都收敛于所设定的视差量范围。

图12的(b)是表示从图12的(a)的被拍摄体状况，使对焦被拍摄体从距离L₁₀向深处侧的距离L₁₁移动后的情况下的视差量调整的概念的图。这时，距离L₁₁成为焦点位置，因此相对于未移动的近点被拍摄体(距离L₂₀)的像的视差量，如以视差量曲线1620所示那样，与图12的(a)相比变得相当大。该情况下，也与图12的(a)的情况同样地，对整体视差量进行调整，以使近点被拍摄体的像成为视差量+m。其中，相对于图12的(a)的情况下的调整量，该调整量变大。其结果是，调整视差量曲线1630的斜率更接近水平，因此更加抑制远点被拍摄体侧的像的视差量。

图12的(c)是表示从图12的(b)的被拍摄体状况，使近点被拍摄体从距离L₂₀向深处侧的距离L₂₁移动后的情况下的视差量调整的概念的图。该情况下，由于焦点位置是距离L₁₁不变，因此视差量曲线1620也不变，但是，由于近点被拍摄体向深处侧偏移，相对于图12的(b)的情况下的调整量，该调整量变小。

如上所述，只要能够获取上述的调整条件，调整量就唯一地确定。由于调整量与立体调整参数C的值是一一对应的关系，因此只要调整值确定部232从调整条件获取部231获取调整条件，就能够确定立体调整参数C的值。具体地，预先准备与图12对应的查找表，在输入调整条件的各个值而参照查找表后，调整值确定部232就能够提取、确定相对于该输入的立体调整参数C的值。查找表根据事先的模拟、实验等结果而构筑。或者，也可以不依赖于查找表的形式，而预先准备将调整条件的各个值设为变量的多变量函数。

此外，调整条件可以不将上述所有条件作为对象，而只采用一部分的条件。例如，即使只将摄影透镜20的焦点距离作为调整条件、使焦点距离与立体调整参数C的值一一对应，也能够一定程度地减轻观赏者的不协调感、疲劳感。

接下来，对数码相机10的一系列的处理流程进行说明。图13是动态图像摄影中的处理流程。图的流程从由摄影者操作模式按钮2082而开始自动3D动态图像模式时开始。此外，视差量范围由摄影者事先设定。

自动3D动态图像模式开始后，调整条件获取部231在步骤S11从系统存储器获取摄影者所设定的视差量范围。在视差量范围以外作为调整条件而从摄影者接收到指示的情况下，也一并获取这些调整条件。

控制部201在步骤S12等待摄影者按下录像开始按钮的录像开始指示。检测到录像开始指示(步骤S12：是)后，控制部201前进到步骤S13，并执行AF、AE。而后，控制部201在步骤S14经由驱动部204执行摄像元件100的电荷存储、读出，并获取作为1帧的摄影图像数据。此外，控制部201可以在此期间，根据步骤S13的检测结果而继续聚焦透镜的驱动、光圈22的驱动。

调整条件获取部231在步骤S15获取伴随着步骤S14的摄影图像数据获取的调整条件。此外，根据调整条件的种类，也可以在步骤S14之前或者与步骤S14并行地执行获取操作。

前进到步骤S16，调整条件获取部231将获取的调整条件交付给调整值确定部232，调整值确定部232将接收到的调整条件作为参数而参照查找表，确定立体调整参数C的值。

在步骤S17中，算出部233接收调整值确定部232所确定的立体调整参数C的值和摄影图像数据，生成左侧视点的彩色图像数据(RLt_c层数据、GLt_c层数据、BLt_c层数据)以及右侧视点的彩色图像数据(RRt_c层数据、GRt_c层数据、BRt_c层数据)。具体的处理将后述。

控制部201在步骤S18，如果判断为未从摄影者接收到录像停止指示，则返回步骤S13并执行下1帧处理。如果判断为接收到录像停止指示，则前进到步骤S19。

在步骤S19中，动态图像生成部234将连续地生成的左侧视点的彩色图像数据和右侧视点的彩色图像数据连接起来，按照Blu-ray3D等的3D对应动态图像格式执行格式处理，生成动态图像文件。而后，控制部201经由存储卡IF207，将所生成的动态图像文件记录在存储卡220中，结束一系列的流程。此外，向存储卡220的记录，可以与左侧视点的彩色图像数据和右侧视点的彩色图像数据的生成同步地依次执行，与录像停止指示同步地执行文件结束处理。另外，控制部201不限于将动态图像文件记录在存储卡220中，例如，也可以构成为经由LAN输出到外部设备。

接下来，对图13的步骤S17的处理详细地进行说明。图14是到生成作为左侧视点的彩色图像数据和右侧视点的彩色图像数据的视差彩色图像数据为止的、步骤S17的处理流程。

算出部233在步骤S101，获取摄影图像数据。而后，在步骤S102中，如使用图3所说明地，将摄影图像数据层分离为无视差图像数据和视差图像数据。算出部233在步骤S103，如使用图3所说明地，执行对存在于分离后的各层数据的空格子进行插补的插补处理。

算出部233在步骤S104，进行各变量的初始化。具体地，首先在彩色变量Cset中代入1。彩色变量Cset表示1＝红、2＝绿、3＝蓝。并且，在作为坐标变量的i和j中代入1。进一步地，在视差变量S中代入1。视差变量S表示1＝左、2＝右。

算出部233在步骤S105，从Cset层的对象像素位置(i，j)提取像素值。例如，当Cset＝1，对象像素位置为(1，1)时，提取的像素值为Rn₁₁。进一步地，算出部233在步骤S106，从Ltc_set层数据、Rtc_set层数据的对象像素位置(i，j)提取像素值。例如，当对象像素位置为(1，1)时，提取的像素值为Ltc_set11和Rtc_set11。

算出部233在步骤S107，算出与视差变量S对应的对象像素位置(i，j)的像素值。例如，当Cset＝1、S＝1、对象像素位置为(1，1)时，算出RRLt_c11。具体地，例如通过上述的式(1)算出。在此，立体调整参数C是通过步骤S16而确定的值。

算出部233在步骤S108，使视差变量S递增。而后，在步骤S109，判断视差变量S是否超过2。如果未超过则返回步骤S107。如果超过了则前进到步骤S110。

算出部233在步骤S110，在视差变量S中代入1的同时使坐标变量i递增。而后，在步骤S111，判断坐标变量i是否超过i₀。如果未超过则返回步骤S105。如果超过了则前进到步骤S112。

算出部233在步骤S112，在坐标变量i中代入1的同时使坐标变量j递增。而后，在步骤S113中判断坐标变量j是否超过j₀。如果未超过则返回步骤S105。如果超过了则前进到步骤S114。

当前进到步骤S114时，由于相对于Cset的左右各自的所有像素的像素值齐备，因此，算出部233排列这些像素值而生成层图像数据。例如当Cset＝1时，生成RLt_c层数据和RRt_c层数据。

前进到步骤S115，算出部233在坐标变量j中代入1的同时，使色彩变量Cset递增。而后，在步骤S116，判断色彩变量Cset是否超过3。如果未超过则返回步骤S105。如果超过了则认为左侧视点的彩色图像数据(RLt_c层数据、GLt_c层数据、BLt_c层数据)以及右侧视点的彩色图像数据(RRt_c层数据、GRt_c层数据、BRt_c层数据)已全部齐备，返回图13的流程。

接下来，对使用图2所说明的开口掩膜的优选的开口形状进行说明。图15是说明优选的开口形状的图。

优选的是，视差Lt像素的开口部105及视差Rt像素的开口部106相对于分别对应的像素包含中心地彼此朝相反方向偏移。具体地，优选的是，开口部105及106的每一个是与通过像素中心的假想的中心线322相接触的形状，或者是跨越中心线322的形状。

尤其优选的是，如图所示，开口部105的形状和开口部106的形状与用中心线322分割无视差像素的开口部104的形状而得到的每一个形状相同。换言之，优选的是，开口部104的形状与使开口部105的形状和开口部106的形状相邻接而得到的形状相等。

在以上的说明中，算出部233所使用的算式采用了利用加权算术平均的上述式(1)和(2)，但是不限于此，能够采用各种算式。例如，如果利用加权几何平均，则与上述式(1)和(2)同样地表示，能够采用式(3)和式(4)来作为算式。

[式3]

${\mathrm{RLt}}_{\mathrm{cmn}}={\mathrm{Rn}}_{\mathrm{mn}}\&times;{\left(\frac{{\mathrm{RLt}}_{\mathrm{mn}}}{{\mathrm{RRt}}_{\mathrm{mn}}}\right)}^{(C-0.5)}...\left(3\right)$

[式4]

${\mathrm{RRt}}_{\mathrm{cmn}}={\mathrm{Rn}}_{\mathrm{mn}}\&times;{\left(\frac{{\mathrm{RRt}}_{\mathrm{mn}}}{{\mathrm{RLt}}_{\mathrm{mn}}}\right)}^{(C-0.5)}...\left(4\right)$

该情况下，被维持的模糊量不是由无视差像素的输出实现的模糊量，而是由视差像素的输出实现的模糊量。

另外，作为其他的算式，与上述式(1)和(2)同样地，可以采用式(5)和式(6)。

[式5]

$\begin{array}{c}{\mathrm{RLt}}_{\mathrm{cmn}}={\mathrm{Rn}}_{\mathrm{mn}}\&times;\sqrt[3]{2\&times;\frac{C\&times;{\mathrm{RLt}}_{\mathrm{mn}}+(1-C)\&times;{\mathrm{RRt}}_{\mathrm{mn}}}{{\mathrm{RLt}}_{\mathrm{mn}}+{\mathrm{RRt}}_{\mathrm{mn}}}}\\ \&times;\sqrt[3]{2\&times;\frac{C\&times;{\mathrm{GLt}}_{\mathrm{mn}}+(1-C)\&times;{\mathrm{GRt}}_{\mathrm{mn}}}{{\mathrm{GLt}}_{\mathrm{mn}}+{\mathrm{GRt}}_{\mathrm{mn}}}}\&times;\sqrt[3]{2\&times;\frac{C\&times;{\mathrm{BLt}}_{\mathrm{mn}}+(1-C)\&times;{\mathrm{BRt}}_{\mathrm{mn}}}{{\mathrm{BLt}}_{\mathrm{mn}}+{\mathrm{BRt}}_{\mathrm{mn}}}}\end{array}...\left(5\right)$

[式6]

$\begin{array}{c}{\mathrm{RRt}}_{\mathrm{cmn}}={\mathrm{Rn}}_{\mathrm{mn}}\&times;\sqrt[3]{2\&times;\frac{(1-C)\&times;{\mathrm{RLt}}_{\mathrm{mn}}+C\&times;R{\mathrm{Rt}}_{\mathrm{mn}}}{{\mathrm{RLt}}_{\mathrm{mn}}+{\mathrm{RRt}}_{\mathrm{mn}}}}\\ \&times;\sqrt[3]{2\&times;\frac{(1-C)\&times;{\mathrm{GLt}}_{\mathrm{mn}}+C\&times;{\mathrm{Rt}}_{\mathrm{mn}}}{{\mathrm{GLt}}_{\mathrm{mn}}+{\mathrm{GRt}}_{\mathrm{mn}}}}\&times;\sqrt[3]{2\&times;\frac{(1-C)\&times;{\mathrm{BLt}}_{\mathrm{mn}}+C\&times;{\mathrm{BRt}}_{\mathrm{mn}}}{{\mathrm{BLt}}_{\mathrm{mn}}+{\mathrm{BRt}}_{\mathrm{mn}}}}\end{array}...\left(6\right)$

这种情况下，分别算出GLt_cmn、GRt_cmn、BLt_cmn、BRt_cmn时，立方根的项也不会变化。

进一步地，还可以采用式(7)和式(8)。

[式7]

${\mathrm{RLt}}_{\mathrm{cmn}}={\mathrm{Rn}}_{\mathrm{mn}}\&times;{\left(\frac{{\mathrm{RLt}}_{\mathrm{mn}}}{{\mathrm{RRt}}_{\mathrm{mn}}}\right)}^{\frac{(C-0.5)}{3}}\&times;{\left(\frac{{\mathrm{GLt}}_{\mathrm{mn}}}{{\mathrm{GRt}}_{\mathrm{mn}}}\right)}^{\frac{(C-0.5)}{3}}\&times;{\left(\frac{{\mathrm{BLt}}_{\mathrm{mn}}}{{\mathrm{BRt}}_{\mathrm{mn}}}\right)}^{\left(\frac{C-0.5}{3}\right)}...\left(7\right)$

[式8]

${\mathrm{RLt}}_{\mathrm{cmn}}={\mathrm{Rn}}_{\mathrm{mn}}\&times;{\left(\frac{{\mathrm{RRt}}_{\mathrm{mn}}}{{\mathrm{RLt}}_{\mathrm{mn}}}\right)}^{\frac{(C-0.5)}{3}}\&times;{\left(\frac{{\mathrm{GRt}}_{\mathrm{mn}}}{{\mathrm{GLt}}_{\mathrm{mn}}}\right)}^{\frac{(C-0.5)}{3}}\&times;{\left(\frac{{\mathrm{BRt}}_{\mathrm{mn}}}{{\mathrm{BLt}}_{\mathrm{mn}}}\right)}^{\left(\frac{C-0.5}{3}\right)}...\left(8\right)$

这种情况也是，分别算出GLt_cmn、GRt_cmn、BLt_cmn、BRt_cmn时，立方根的项也不会变化。

接下来对与显示装置的协作进行说明。图16是说明数码相机10与TV显示器80的协作的图。TV显示器80例如通过由液晶构成的显示部40、容纳从数码相机10取出的存储卡220的存储卡IF81、观赏者在手头操作的遥控器82等构成。TV显示器80与3D图像的显示相对应。3D图像的显示形式不做特别限定。例如，可以以分时显示右眼用图像和左眼用图像，也可以是在水平方向或垂直方向分别排列为长条状的交错形式(interlace)。另外，还可以是排列在画面的一侧和另一侧的并排(side by side)的形式。

TV显示器80对包含左侧视点的彩色图像数据和右侧视点的彩色图像数据而格式化后的动态图像文件进行解码，而将3D图像显示在显示部40。该情况下，TV显示器80承担作为显示标准化的动态图像文件的一般的显示装置的功能。但是，TV显示器80也能够作为承担使用图1所说明的控制部201的至少一部分功能、以及图像处理部205的至少一部分功能的图像处理装置而发挥功能。具体地，将包含图1中所说明的调整条件获取部231、调整值确定部232、算出部233、动态图像生成部234的图像处理部组装入TV显示器80。通过这样的构成，能够实现与由上述实施形态中的数码相机10和TV显示器80的组合所采用的功能分担不同的功能分担。以下，对该变形例进行说明。

在变形例中，不是在数码相机10侧而是在TV显示器80侧承担由立体调整参数调整视差量后的调整图像数据的生成处理。因此，数码相机10相对于图1的结构，可以不具备调整值确定部232和算出部233。取而代之，调整条件获取部231将获取的调整条件交付给动态图像生成部234，动态图像生成部234对由图像处理部205生成的摄影图像数据进行动态图像文件化的同时，关联在对应的帧接收到的调整条件。关联可以作为标签信息而记述在动态图像文件内，也可以生成记录有调整条件的关联文件并将对该关联文件的链接信息记述在动态图像文件内。

具体地说明变形例中的数码相机10的处理动作。图17是作为变形例的数码相机10的动态图像摄影中的处理流程。通过对与图13的处理流程的各种处理相关联的处理标注相同的步骤序号，除不同的处理及追加处理的说明之外，省略其说明。

在步骤S21中，调整条件获取部231将获取的调整条件交付给动态图像生成部234，动态图像生成部234将该调整条件与在步骤S14中生成的摄影图像数据相关联。

在步骤S19中，将连续地生成的、与调整条件分别相关联的摄影图像数据连接起来而执行动态图像文件化。此外，动态图像文件如果作为连续的帧的摄影图像数据而包含基准图像数据和左右视点的视差图像数据，则可以是使用图3所说明的任意阶段的数据。即，分离处理、插补处理、层数据处理可以作为数码相机10的处理而在步骤S14中进行，也可以将其中一部分或全部，在作为图像处理装置的TV显示器80中进行。而后，控制部201将所生成的动态图像文件向存储卡220输出而结束一系列的流程。

接下来，对变形例中的TV显示器80的处理动作进行说明。图18是作为变形例的TV显示器80的动态图像再现中的处理流程。通过对与图13的处理流程的各处理相关联的处理标注相同的步骤序号，除不同的处理及追加处理的说明之外，省略其说明。其中，TV显示器80具备包含调整条件获取部231的控制部、和包含调整值确定部232、算出部233、动态图像生成部234的图像处理部。控制部与使用图1所说明的控制部201相对应，图像处理部同样地与图像处理部205相对应。

控制部在检测出3D图像的再现指示后，在步骤S31，对经由存储卡IF81而获取的动态图像文件进行解码，从而从摄影图像数据获取各层数据。接着，在步骤S32，读出并获取与各摄影图像数据相关联的调整条件。此外，步骤S31的各层数据的获取处理和步骤S32的调整条件的获取处理，可以先执行任意一个，或者并行地执行。

而后，调整值确定部232在步骤S16，确定立体调整参数C的值，算出部233及动态图像生成部234在步骤S17，生成视差量调整后的左右的层图像数据。

前进到步骤S32，控制部将由所生成的左右的层图像数据而得到的3D图像显示在显示部40。而后，控制部在步骤S34，判断是否有来自观赏者的再现停止的指示，或者判断应当再现的图像是否已结束，在哪一个都没有的情况下，返回步骤S31，开始下1帧的再现处理。另一方面，有任意一个的情况下，结束一系列的再现处理。

在上述的变形例中，所有的调整条件在摄影时通过数码相机10获取并与摄影图像数据相关联，然而也可以构成为观赏者能够在通过TV显示器80的再现时，输入一部分的调整条件。例如，观赏者能够操作遥控器82来输入视差量范围。TV显示器80的调整条件获取部231获取输入后的视差量范围来作为调整条件，调整值确定部232按照该视差量范围，确定立体调整参数C的值。如果这样地构成，TV显示器80能够显示满足每个观赏者的喜好的3D图像。

在以上说明的本实施方式中，调整条件与作为帧单位的各摄影图像数据相关联，但调整条件与摄影图像数据的对应关系不限于此。例如，能够以多个帧单位、预先设定的时间单位共有一个调整条件。另外，也可以将光学系统的设定条件被改变时、被拍摄体状况发生变化时等作为更新定时，而以多个摄影图像数据共有调整条件。

另外，在以上的本实施方式中，如使用图12所说明地，调整了视差量曲线1620以使近点被拍摄体及远点被拍摄体收敛于所设定的视差量范围，但调整视差量的基准不限于此。例如，对帧整体中的各像素的视差量进行积分而算出累积视差量。如果累积视差量为正，则由于整体上成为跳出的图像，因此在比预先设定的基准值大的情况下，生成使用立体调整参数减去视差量后的调整视差图像数据。如果累积视差量为负，则可以与正的情况同样地进行处理，还可以对于不协调感较小的负侧，不使用立体调整参数而直接生成视差图像数据。

这样以累积视差量进行评价时，可以将图像细分为多个区域，而分别算出累积值来进行评价。如果这样评价，即使存在具有突出的视差量的区域的情况下，也能够减去视差量。

另外，能够按基准对累积视差量的变化量进行评价。例如，当摄影场景改变时累积视差量有时会急剧地变化，但如果预先设定基准值来作为允许变化量，则当超过该允许变化量时能够减去视差量。该情况下，可以进行处理而使视差量逐渐地增加到原本被允许的视差量范围。

另外，在以上的本实施方式中以动态图像摄影为前提进行了说明，但对基于获取的调整条件调整视差量后的视差图像数据进行输出的结构，当然也能够适用于静态图像摄影。这样拍摄的静态图像，在左右的图像间不会产生极端的视差，不会给观赏者带来不协调感。

另外，在以上的本实施方式中作为图像处理装置的一个例子，对TV显示器80进行了说明，但图像处理装置能够采用各种形态。例如，PC、便携式电话、游戏设备等具备显示部的、或者与显示部连接的设备都能够成为图像处理装置。

在以上的本实施方式中说明的各处理流程，由对控制部进行控制的控制程序来执行。控制程序被记录在内置的非易失性存储器中，适当地在工作存储器展开而执行各处理。或者，记录于服务器的控制程序经由网络发送至各装置，在工作存储器展开而执行各处理。或者，在服务器上执行记录于服务器的控制程序，各装置按照经由网络而发送来的控制信号而执行处理。

在以上的本实施方式中，对摄像元件100包含无视差像素，且摄影图像数据包含基准图像数据的结构进行了说明。但是，也可以是摄像元件100不包含无视差像素，因而摄影图像数据只由视差图像数据构成的结构。这时，从视差图像数据生成使用立体调整参数减去视差量后的调整视差图像数据。另外，即使摄像元件100包含无视差像素，也可以只使用视差图像数据来生成调整视差图像数据。

更具体地，使右视差图像数据的被拍摄体像相对于成为基准的假想的被拍摄体像在第一方向具有第1视差，使左视差图像数据的被拍摄体像相对于该假想的被拍摄体像在与第一方向相反的另一方向具有第2视差。即，右视差图像数据的被拍摄体像和左视差图像数据的被拍摄体像，彼此具有第1视差+第2视差的视差。这时，图像处理部使用调整条件，生成在一个方向具有与第1视差不同的第3视差的调整后的右视差图像数据、和在另一方向具有与第2视差不同的第4视差的调整后的左视差图像数据，来作为调整视差图像数据。

＜第2实施方式＞

作为摄像装置的一个形态的本实施方式涉及的数码相机，构成为通过对一个场景进行一次摄影能够生成多个视点数的图像。将彼此视点不同的各个图像称为视差图像。在本实施方式中，尤其对生成由与右眼和左眼对应的两个视点实现的右视差图像和左视差图像的情况进行说明。本实施方式中的数码相机，还能够与视差图像一起生成基于中央视点的无视差的无视差图像。

图19是说明本发明的实施方式涉及的数码相机10的结构的图。数码相机10具备作为摄影光学系统的摄影透镜20，将沿光轴21入射的被拍摄体光束引导至摄像元件100。摄影透镜20可以是相对于数码相机10能够装卸的交换式透镜。数码相机10包含：摄像元件100、控制部201、A/D转换电路202、存储器203、驱动部204、图像处理部205、存储卡IF207、操作部208、显示部209、以及LCD驱动电路210。

此外，如图所示，将朝向摄像元件100的与光轴21平行的方向定为+Z轴方向，将在与Z轴垂直的平面中朝向纸面近前侧的方向定为+X轴方向，将纸面的上方定为+Y轴方向。在之后的几个图中，以图19的坐标轴为基准表示坐标轴，以便能理解各个图的朝向。

摄影透镜20由多个光学透镜组构成，使来自场景的被拍摄体光束在其焦点面附近成像。此外，在图19中，为了便于说明，以设置在光瞳附近的一片假想透镜代表性地表示摄影透镜20。另外，在光瞳附近以光轴21为中心同心状地配置有限制入射光束的光圈22。

摄像元件100配置于摄影透镜20的焦点面附近。摄像元件100为二维地排列有多个光电转换元件的例如CCD、CMOS传感器等图形传感器。摄像元件100由驱动部204进行定时控制，将受光面上成像的被拍摄体像转换成图像信号并向A/D转换电路202输出。

A/D转换电路202将摄像元件100输出的图像信号转换成数字图像信号并输出给存储器203。图像处理部205将存储器203作为工作空间来实施各种图像处理，生成摄影图像数据。如后所述地，摄影图像数据包含由摄像元件100的无视差像素的输出所生成的基准图像数据和由摄像元件100的视差像素的输出所生成的视差图像数据。

控制部201对数码相机10进行统括控制。例如，根据设定的光圈值调整光圈22的孔径，根据AF评价值使摄影透镜20沿光轴方向进退。另外，检测摄影透镜20的位置，掌握摄影透镜20的焦点距离、聚焦透镜位置。此外，对驱动部204发送定时控制信号，对到由摄像元件100所输出的图像信号在图像处理部205被处理为摄影图像数据为止的一系列的摄影控制进行管理。

另外，控制部201包含进深信息检测部235及确定部236。进深信息检测部235相对于场景检测进深方向的被拍摄体分布。具体地，控制部201利用用于自动聚焦的离焦信息，从按细分化后的每个区域的离焦量检测被拍摄体分布。此外，作为离焦信息，也可以利用设为专用的相位差传感器的输出，还可以利用摄像元件100的视差像素的输出。利用视差像素的输出时，也能够使用由图像处理部205处理过的视差图像数据。或者，不利用离焦信息，而使聚焦透镜进退并且按细分化后的每个区域算出基于对比度AF方式的AF评价值，也能够检测被拍摄体分布。

确定部236基于进深信息检测部235所检测出的被拍摄体分布，确定与视差量有关的变更条件。详细情况将后述，确定部236例如确定作为摄影条件的光圈值，以使输出视差图像间的视差量收敛于作为目标的视差量。该情况下，与视差量有关的变更条件是光圈22和表示其孔径程度的光圈值。

如上所述，图像处理部205对从摄像元件100输出的图像信号进行处理而生成摄影图像数据。另外，图像处理部205包含算出部233及动态图像生成部234。算出部233利用后述的立体调整参数对视差量进行调整时，通过图像处理生成新的视差图像数据。动态图像生成部234连接视差图像数据，而生成3D的动态图像文件。

图像处理部205除此之外还承担依照所选的图像格式调整图像数据等图像处理的一般功能。所生成的摄影图像数据由LCD驱动电路210转换成显示信号，显示在显示部209。并且，记录在装设于存储卡IF 207上的存储卡220中。

操作部208作为接收用户的操作而向控制部201传递指示的接收部的一部分发挥功能。操作部208包含接收摄影开始指示的快门按钮等的多个操作部件。

第2实施方式中的说明多与第1实施方式共有。具体为第1实施方式中的从图2到图9的说明。因此，省略这些说明，继续对不同部分进行说明。

图20是对表示图像的清晰度的对比度和视差量的关系示意性地进行表示的图。横轴表示距数码相机10的距离，纵轴表示视差量和对比度的高度。数码相机10在位于距离L_p的主要被拍摄体上对焦。

对比度曲线1610呈在到焦点位置的距离即距离L_p最高的凸状的曲线。即，表示随着从距离L_p在前后远离而逐渐地变模糊的情形。

视差量曲线1620在距离L_p中表示视差量0，表示随着比距离L_p靠近数码相机10侧，斜率变大的曲线。即，视差量曲线1620在比距离L_p靠近前侧表示正的值，表示越近的被拍摄体越被大幅浮起地识别。

另一方面，视差量曲线1620表示随着比距离L_p远离数码相机10侧，斜率变小的曲线。即，视差量曲线1620在比距离L_p靠深处侧表示负的值，表示越远的被拍摄体越被平缓下沉地识别。

如果当视差量包含在从-m到+m的范围内时不会使观赏者感到不协调感、疲劳感，则构成场景的被拍摄体只要分布在从距离L_f(这时的视差量为+m)到距离L_r(这时的视差量为-m)之间即可。即，如果离数码相机10最近的近点被拍摄体存在于距离L_f而离数码相机10最远的远点被拍摄体存在于距离L_r，则在后级的图像处理中即使不调整视差量，观赏者也能够舒适地观赏3D影像。另一方面，如果近点被拍摄体存在于比L_f更靠近前侧的L^f’(这时的视差量为+m’)，则超过允许的视差量，因此观赏者感到不协调感、疲劳感。

进一步地对被拍摄体分布与视差量的关系继续进行说明。图21是示意性地表示被拍摄体分布与视差量的关系的图。

图21的各图与图20中去除对比度曲线1610后的图相对应。另外，假设在作为对焦对象的主要被拍摄体的对焦被拍摄体之外，还存在近点被拍摄体和远点被拍摄体的情况。在图21的(a)中，对焦被拍摄体存在于距离L₁₀，近点被拍摄体存在于距离L₂₀，远点被拍摄体存在于距离L₃₀。

当作为允许范围而设定的视差量范围是从-m到+m时，相对于远点被拍摄体的距离L₃₀的视差量曲线1620的值收敛于该范围内。然而，相对于近点被拍摄体的距离L₂₀的视差量曲线1620的值超过+m。

图21的(b)是表示从图21的(a)的被拍摄体状况，使对焦被拍摄体从距离L₁₀向深处侧的距离L₁₁移动后的情况下的视差量的概念的图。该情况下，由于距离L₁₁成为焦点位置，因此相对于未移动的近点被拍摄体(距离L₂₀)的像的视差量，如视差量曲线1620所示那样，与图22的(a)相比变得相当大。即，从允许范围的超过量变大。

图21的(c)是表示从图21的(b)的被拍摄体状况，使近点被拍摄体从距离L₂₀向深处侧的距离L₂₁、进一步地向距离L₂₂移动后的情况下的视差量的概念的图。由于焦点位置是距离L₁₁不变，因此视差量曲线1620与图21的(b)同样地描绘曲线，但是，由于近点被拍摄体向深处侧偏移，在距离L₂₁时的视差量超过允许范围，但该超过量比图21的(b)的超过量要小。如果进一步地移动到距离L₂₂，则该视差量收敛于允许范围。

即，相对于场景的进深方向的被拍摄体分布和对焦的被拍摄体的位置，可以说是确定视差量是否收敛于所设定的允许范围的参数。

接下来，对光圈值与视差量的关系进行说明。图22是示意性地表示光圈值与视差量的关系的图。与图20同样地，横轴表示距数码相机10的距离，纵轴表示视差量和对比度的高度。另外，图22的(a)表示光圈值为F1.4的状态，图22的(b)表示光圈值为F4的状态，图22的(c)表示光圈值为F8的状态。此外，摄影透镜20的焦点距离在任意状态下都相同，并且，数码相机10在位于距离L₁₀的主要被拍摄体上对焦。

对比度曲线1610在任意状态下，都是在到焦点位置的距离即距离L₁₀最高。另一方面，越缩小光圈22、即光圈值越大则在焦点距离前后越示出比较高的值。即，表示越是在缩小光圈22的状态下拍摄得到的图像，景深越深。视差量曲线1620表示如下曲线：在距离L₁₀表示视差量0，随着比距离L₁₀靠近数码相机10侧，斜率变大。另一方面，视差量曲线1620表示随着比距离L₁₀远离数码相机10侧，斜率变小的曲线。

视差量曲线1620是光圈值越大其变化越变平缓。即，与光圈值为F1.4的情况相比，随着推移至F4、F8，比焦点位置靠近前侧的视差量及靠深处的视差量变小。如果在视差量包含在从-m到+m的范围内时不会使观赏者感到不协调感、疲劳感，则当光圈值为F8时视差量曲线1620的整体收敛于该范围，因此被拍摄体存在于任意的距离，观赏者都能够舒适地观赏3D影像。

另一方面，光圈值为F1.4及F4时，视差量在视差量曲线1620的近距离侧超过+m。具体地，光圈值为F1.4时，在比距离L₂₄靠近前的区域超过+m，光圈值为F4时，在比距离L₂₅靠近前的区域超过+m。这时，由于F4中的视差量曲线1620的斜率比F1.8中的视差量曲线1620的斜率平缓，因此成立L₂₅＜L₂₄的关系。在这些光圈值中，如果被拍摄体存在于比距离L₂₄或距离L₂₅近的距离，则在观赏拍摄到的3D影像时，观赏者感到不协调感、疲劳感。

因此，在本实施方式中，改变对视差量带来影响的摄像条件、或改变用于图像处理的立体调整参数，以使所生成的图像间的视差量收敛于作为目标的视差量(允许视差量：例如±m的范围)。

首先，对摄像条件的改变进行说明。如使用图22所说明的那样，由于光圈值对视差量带来影响，因此可以根据检测出的被拍摄体分布来改变光圈值，以使输出视差图像间的视差量控制为允许视差量。例如，在图22的(a)的状况下(初始光圈值为F1.4，对焦被拍摄体为距离L₁₀)，如果近点被拍摄体存在于距离L₂₅，则该视差量超过+m。因此，确定部236将光圈值从F1.4改变为F4，F4中相对于距离L₂₅处的被拍摄体的视差量成为+m。

不限于近点被拍摄体超过允许视差量的范围的情况，远点被拍摄体超过允许视差量的范围时，也将光圈值改变为较大的值。此外，近点被拍摄体及远点被拍摄体的视差量相对于允许视差量有余量的情况下，可以将光圈值改变为较小的值，即向打开光圈22的方向改变。这时，能够将快门速度改变至快速侧，或者将ISO感光度改变至低感光度侧。

将相对于各光圈值的对焦被拍摄体距离与视差量曲线1620的关系，预先准备为查找表。确定部236只要将被拍摄体分布和允许视差量作为输入值而参照该查找表，就能够提取、确定应当改变的光圈值。

作为摄像条件的改变，除改变光圈值之外，还有改变焦点位置的焦点位移的方法。图23是示意性地表示焦点位移的概念的图。纵轴及横轴与图20相同。

对比度曲线1610和视差量曲线1620表示对焦被拍摄体存在于距离L₁₀，并且使聚焦透镜移动而在该被拍摄体上对焦时的对比度曲线和视差量曲线。这时，对比度曲线1610的峰值超过被评价为对焦的对焦阈值E_s。

当近点被拍摄体存在于距离L₂₇的位置时，参照视差量曲线1620，则其视差量为+m₀，超过允许视差量+m。因此，在焦点位移中，在超过对焦阈值E_s的范围内对聚焦透镜位置进行校正，将距离L₂₇处的视差量收敛于允许范围内。

在图例的情况下，选择相对于近点被拍摄体的视差量为+m的视差量曲线1621，在该视差量曲线1621中提取视差量为0的距离L_p。而后，改变聚焦透镜位置，将距离L_p作为对焦位置。对比度曲线1611是此时的对比度曲线。实际上由于被拍摄体存在于距离L₁₀，因此相对于该被拍摄体的对比度值，如图所示地只降低Δe。只要此时的对比度值超过对焦阈值E_s即可。这样改变聚焦透镜位置而拍摄得到的图像，关于主要被拍摄体的对比度值略微降低，但作为图像能够被评价为对焦，并且，相对于近点被拍摄体的视差量收敛于允许范围。

相对于距离L_p的对比度值未超过对焦阈值E_s的情况下，不允许聚焦透镜位置的校正。即，在视差量曲线1620中，相对于近点被拍摄体的视差量大幅超过允许视差量的情况下，即使在超过对焦阈值E_s的范围内对聚焦透镜位置进行改变，也不能将该视差量收敛于允许范围。该情况下，同时使用例如将光圈值改变为较大的值等其他方法为好。

进行基于焦点位移的视差量调整时，只要利用作为相对于各光圈值的对焦被拍摄体距离与视差量曲线之间的关系而预先准备的查找表即可。确定部236只要将被拍摄体分布和允许视差量作为输入值而参照该查找表，就能够提取、确定距离L_p。控制部201与距离L_p对应地改变聚焦透镜的位置。控制部201判断作为其结果得到的对比度值是否超过对焦阈值E_s。如果判断为超过了，则直接继续摄影时序。如果判断为未超过，则返回聚焦透镜位置，转移到同时使用其他方法等的控制。或者，实际上控制部201也可以不使聚焦透镜位置移动，而由确定部236对焦点位置从L₁₀向L_p偏移后的对比度的衰减量进行运算，判断是否超过对焦阈值E_s。这时，例如如果是对比度AF方式，则能够参照相对于距离L₁₀的聚焦调整时的已获取的实际的评价值。

接下来，对立体调整参数的改变进行说明。图24是表示使用了立体调整参数的视差量调整的概念的图。图24的(a)～(c)的各图与图21的(a)～(c)的各图相对应。

当图24的(a)中所设定的视差量范围是从-m到+m时，相对于远点被拍摄体的距离L₃₀的视差量曲线1620的值收敛于该范围，因此关于远点被拍摄体侧可以不调整视差量。但是，由于相对于近点被拍摄体的距离L₂₀的视差量曲线1620的值超过+m，因此对整体视差量进行调整，以使近点被拍摄体的像成为视差量+m。

即，对视差量曲线进行调整，以使近点被拍摄体的像的视差量和远点被拍摄体的像的视差量一起收敛于所设定的视差量范围。更具体地，只要调整视差量曲线，以使大幅偏移了所设定的视差量范围侧的被拍摄体像的视差量达到该视差量范围的界限值即可。在图24的(a)中，调整视差量曲线1630是经这样调整后的视差量曲线。如果这样调整，构成同一场景的被拍摄体的像都收敛于所设定的视差量范围。

图24的(b)的情况也和图24的(a)的情况相同，对整体的视差量进行调整，以使近点被拍摄体的像成为视差量+m。其中，相对于图24的(a)的情况下的调整量，其调整量变大。其结果是，由于调整视差量曲线1630的斜率更接近水平，因此更加抑制远点被拍摄体侧的像的视差量。

在图24的(c)的情况下，由于焦点位置是距离L₁₁不变，因此视差量曲线1620与图24的(b)的情况相同，但是，由于近点被拍摄体从距离L₂₀移动到距离L₂₁，相对于图24的(b)的情况下的调整量，其调整量变小。如果近点被拍摄体进一步地从距离L₂₁向距离L₂₂移动，即使不施以调整，其调整量也收敛于所设定的视差量范围。

以上，只要能够获取相对于场景的进深方向的被拍摄体分布和对焦的被拍摄体的位置，相对于视差量曲线1620的调整量就唯一地确定。由于调整量与立体调整参数C的值是一一对应的关系，因此，如果确定部236从进深信息检测部235等获取这些调整信息，则能够确定立体调整参数C的值。具体地，预先准备与图24相对应的查找表，确定部236输入调整信息的各个值而参照查找表时，就能够提取、确定相对于该输入的立体调整参数C的值。查找表根据事先的模拟、实验等结果而构筑。或者，也可以不依赖于查找表的形式，而预先准备将调整信息的各个值设为变量的多变量函数。

接下来，对作为允许视差量的视差量范围的设定进行说明。图25是显示视差量范围的限制的菜单界面的数码相机的后视图。

如上所述，视差量范围设定为下限值-m、上限值+m。下限值和上限值的绝对值可以不同。在此，以视差图像数据中的视差图像的像素为单位表示视差量。

使观赏者感到不协调感、疲劳感的视差量因观赏者而异。因此，优选以下述方式构成数码相机10，即在摄影时作为数码相机10的用户的摄影者能够改变视差量限制的设定。

在数码相机10中，作为视差量范围的限制的菜单，例如设有如图所示的4个选项。具体地，设有：预设为标准观赏者感到舒适的范围的“标准”、预设为比标准宽的范围且允许更大的视差量的“强”、预设为比标准窄的范围且只允许小的视差量的“弱”、以及供摄影者对上限值、下限值进行数值输入的“手动”。当选择了“手动”时，摄影者能够以像素为单位依次指定作为上限值的“最大浮起量”和作为下限值的“最大下沉量”。摄影者通过操作作为操作部208的一部分的旋转按钮2081，进行这些选择、指定。

本实施方式中的数码相机10，作为动态图像摄影模式的一种而具备自动3D动态图像模式，该模式下，连续地生成已调整为舒适的视差量的视差图像数据，并且将这些数据连接起来而生成动态图像文件。摄影者在拍摄之前，操作作为操作部208的一部分的模式按钮2082，选择自动3D动态图像模式。

图26是说明被拍摄体指定的图。尤其是图26的(a)表示某一场景中的从数码相机10朝向进深方向的被拍摄体分布，图26的(b)是以实时取景模式显示该场景的数码相机的后视图。

如图26的(a)所示，场景以距数码相机10近的顺序由树木300(距离L₀)、少女301(距离L_f)、少年302(距离L_p)、妇女303(距离L_r)构成。

而后，如图26的(b)所示，捕捉到该场景的实时取景图像显示在显示部209。在此，少年302是对焦被拍摄体。表示少年302是对焦状态的AF框310与少年302的像重叠地显示。

在到此为止的说明中，将距数码相机10最近的被拍摄体作为近点被拍摄体。然而，存在构成场景的被拍摄体相对于进深方向连续地分布的情况。并且，还存在相对于场景相对较小的被拍摄体、和相对于场景不重要的被拍摄体。因此，不一定将场景中最近的被拍摄体作为近点被拍摄体来处理。例如，在图26的(a)的场景中，假定3个人物是主要被拍摄体，在观赏时观赏者注视这3个人的情况。因此，应当调整视差量的被拍摄体像是这3个人的像，其他被拍摄体像可以排除。因此，关于应对哪一个被拍摄体调整视差量，控制部201接收摄影者的指示。

显示部209上显示有标题320(例如，“请选择近点被拍摄体”)，表示接收用户指示的状态。在该状态下，用户触摸希望作为近点被拍摄体的被拍摄体像(图中是少女301)。显示部209中重叠地设有作为操作部208的一部分的触摸面板2083，控制部201获取触摸面板2083的输出，而确定将哪一个被拍摄体作为近点被拍摄体。这时，比被指定的被拍摄体靠近前的被拍摄体(图中是树木300)，从被拍摄体分布的检测对象中排除。此外，不限于近点被拍摄体，远点被拍摄体也可以同样地接收指示。

进深信息检测部235将这样通过用户指示而被指定的被拍摄体(从近点被拍摄体到远点被拍摄体的被拍摄体)作为被拍摄体分布的检测对象。此外，在动态图像摄影、连拍等中，连续地生成摄影图像数据时，可以通过被拍摄体追随来追踪摄影开始时接收到的被拍摄体，而获取时刻变化的距离L_f、距离L_p、距离L_r。

接下来，对数码相机10的动态图像摄影中的处理流程进行说明。如上所述，为了使所生成的图像间的视差量控制为允许视差量，存在改变对视差量带来影响的摄像条件的情况、和改变用于图像处理的立体调整参数的情况。也能够将两者同时使用，但在下面的实施例中，将这些处理分开来说明。

＜第1实施例＞

作为第1实施例，对改变给视差量带来影响的摄像条件的动态图像摄影的处理流程进行说明。图27是第1实施例涉及的动态图像摄影中的处理流程。图的流程从由摄影者操作模式按钮2082而开始自动3D动态图像模式时开始。此外，视差量范围由摄影者事先设定。

当开始自动3D动态图像模式时，确定部236在步骤S11从系统存储器获取摄影者所设定的视差量范围。控制部201在步骤S12执行AF、AE。前进到步骤S13，例如使用图26所说明那样，控制部201经由触摸面板2083从用户接收作为对象的被拍摄体指定。前进到步骤S14，进深信息检测部235相对于在步骤S13受到指定的被拍摄体，从例如随着步骤S12的AF动作而检测出的相位差信息，检测进深方向的被拍摄体分布。

控制部201在步骤S15等待摄影者按下录像开始按钮的录像开始指示。一旦检测到录像开始指示(步骤S15：是)，控制部201前进到步骤S16。未检测到指示时，返回步骤S12。此外，可以在返回步骤S12之后，进行所指定的被拍摄体的追随，而跳过步骤S13、S14的处理。

步骤S16中，确定部236改变摄影条件。具体地，如使用图22所说明地改变光圈值，或者如使用图23所说明地改变聚焦透镜位置。在此之外，也可以改变对视差量带来影响的摄像条件，以使其收敛于所设定的视差量范围。例如，如果摄影透镜20是变焦镜头，则也能够改变焦点距离。

前进到步骤S17，控制部201按照改变后的摄像条件，再次执行AF、AE。而后，控制部201在步骤S18经由驱动部204执行摄像元件100的电荷存储、读出，获取作为1帧的摄影图像数据。这里获取的摄影图像数据中的视差图像间的视差量收敛于所设定的视差量。

在步骤S19中，为了应对考虑到摄影者想改变在动态图像摄影中作为对象的被拍摄体的情况，控制部201从用户接收作为对象的被拍摄体指定。而后，前进到步骤S20，进深信息检测部235检测进深方向的被拍摄体分布。此外，也可以跳过步骤S19的处理。该情况下，由于步骤S13的被拍摄体指定维持不变，因此，可以说步骤S20的处理是与步骤S17的AF、AE处理相应的、实现对象被拍摄体的被拍摄体追随的处理。

控制部201在步骤S21如果判断为未从摄影者接收到录像停止指示，则返回步骤S16并执行下1帧处理。如果判断为接收到录像停止指示，则前进到步骤S22。

在步骤S22中，动态图像生成部234连接连续地生成的左侧视点的彩色图像数据和右侧视点的彩色图像数据，按照Blu-ray3D等的3D对应动态图像格式执行格式处理，生成动态图像文件。而后，控制部201经由存储卡IF207，将所生成的动态图像文件记录在存储卡220中，结束一系列的流程。此外，向存储卡220的记录，可以与左侧视点的彩色图像数据和右侧视点的彩色图像数据的生成同步地依次执行，并且与录像停止指示同步地执行文件结束处理。另外，控制部201不限于向存储卡220记录，也可以构成为例如经由LAN输出到外部设备。

此外，动态图像生成部234可以使算出部233执行将上述式(1)、式(2)的立体调整参数C的值设为1的图像处理，从而生成高清晰度的左侧视点的彩色图像数据和右侧视点的彩色图像数据。

＜第2实施例＞

作为第2实施例，对改变用于图像处理的立体调整参数的动态图像摄影的处理流程进行说明。图28是第2实施例涉及的动态图像摄影中的处理流程。通过对与图27的处理流程的各处理相关联的处理标注相同的步骤序号，除不同的处理及追加处理的说明之外，省略其说明。

在本流程中，不存在图27的流程中的步骤S16。在步骤S15当接收到录像ON的指示时，控制部201在步骤S17不进行用于视差量调整的摄影条件改变，而执行AF、AE。而后，在步骤S18，获取摄影图像数据。这里获取的摄影图像数据中的视差图像间的视差量，没有根据被拍摄体分布及摄影条件而收敛于所设定的视差量。

确定部236在步骤S31获取使用图24所说明的调整信息，在步骤S32将获取的调整信息作为参数而参照查找表，并确定立体调整参数C的值。

在步骤S33，算出部233接收确定部236所确定的立体调整参数C的值和摄影图像数据，生成左侧视点的彩色图像数据(RLt_c层数据、GLt_c层数据、BLt_c层数据)及右侧视点的彩色图像数据(RRt_c层数据、GRt_c层数据、BRt_c层数据)。具体的处理将后述。

图29是到生成作为左侧视点的彩色图像数据和右侧视点的彩色图像数据的视差彩色图像数据为止的步骤S33的处理流程。

算出部233在步骤S101获取摄影图像数据。而后，在步骤S102，如使用图3所说明那样，将摄影图像数据层分离为无视差图像数据和视差图像数据。算出部233在步骤S103，执行插补处理，对存在于使用图3所说明地分离后的各层数据的空格子进行插补。

算出部233在步骤S104中，进行各变量的初始化。具体地，首先，在彩色变量Cset中代入1。彩色变量Cset表示1＝红、2＝绿、3＝蓝。并且，在作为坐标变量的i和j中代入1。进一步地，在视差变量S中代入1。视差变量S表示1＝左、2＝右。

算出部233在步骤S105，从Cset层的对象像素位置(i，j)提取像素值。例如，当Cset＝1、对象像素位置为(1，1)时，提取的像素值为Rn₁₁。进一步地，算出部233在步骤S106，从Ltc_set层数据、Rtc_set层数据的对象像素位置(i，j)提取像素值。例如，当对象像素位置为(1，1)时，提取的像素值为Ltc_set11和Rtc_set11。

算出部在步骤S107，算出与视差变量S对应的对象像素位置(i，j)的像素值。例如，当Cset＝1、S＝1、对象像素位置为(1，1)时，算出RRLt_c11。具体地，例如通过上述的式(1)算出。在此，立体调整参数C是通过步骤S32而确定的值。

算出部233在步骤S108中，使视差变量S递增。而后，在步骤S109中，判断视差变量S是否超过2。如果未超过则返回步骤S107。如果超过了则前进到步骤S110。

算出部233在步骤S110中，在视差变量S中代入1的同时使坐标变量i递增。而后，在步骤S111中判断坐标变量i是否超过i₀。如果未超过则返回步骤S105。如果超过了则前进到步骤S112。

算出部233在步骤S112中，在坐标变量i中代入1的同时使坐标变量j递增。而后，在步骤S113中判断坐标变量j是否超过j₀。如果未超过则返回步骤S105。如果超过了则前进到步骤S114。

当前进到步骤S114时，由于相对于Cset的左右各自的所有像素的像素值齐备，因此，算出部233排列这些像素值而生成层图像数据。例如当Cset＝1时，生成RLt_c层数据和RRt_c层数据。

前进到步骤S115，算出部233在坐标变量j中代入1的同时，使色彩变量Cset递增。而后，在步骤S116中判断色彩变量Cset是否超过3。如果未超过则返回步骤S105。如果超过了则认为左侧视点的彩色图像数据(RLt_c层数据、GLt_c层数据、BLt_c层数据)及右侧视点的彩色图像数据(RRt_c层数据、GRt_c层数据、BRt_c层数据)已全部齐备，返回图28的流程。

接下来，对使用图2所说明的开口掩膜的优选的开口形状进行说明。图30是说明优选的开口形状的图。

优选的是，视差Lt像素的开口部105及视差Rt像素的开口部106相对于分别对应的像素包含中心地彼此朝相反方向偏移。具体地，优选的是，开口部105及106的每一个是与通过像素中心的假想的中心线322相接触的形状，或者是跨越中心线322的形状。

尤其是，如图所示，优选的是，开口部105和开口部106的形状与用中心线322分割无视差像素的开口部104的形状而得到的每一个形状相同。换言之，优选的是，开口部104的形状与使开口部105的形状和开口部106的形状相邻接而得到的形状相等。

在以上的说明中，算出部233所使用的算式采用了利用加权算术平均的上述式(1)和(2)，但是不限于此，能够采用各种算式。例如，如果利用加权几何平均，则与上述式(1)和(2)同样地表示，作为算式能够采用上述式(3)和式(4)。这时，被维持的模糊量不是由无视差像素的输出实现的模糊量，而是由视差像素的输出实现的模糊量。

另外，作为其他的算式，与上述式(1)和(2)同样地表示，可以采用上述式(5)和式(6)。这种情况下，分别算出GLt_cmn、GRt_cmn、BLt_cmn、BRt_cmn时，立方根的项也不会变化。

进一步地，还可以采用上述式(7)和式(8)。这种情况也是，分别算出GLt_cmn、GRt_cmn、BLt_cmn、BRt_cmn时，立方根的项也不会变化。

接下来对与显示装置的协作进行说明。图31是说明数码相机10与TV显示器80的协作的图。TV显示器80通过例如由液晶构成的显示部40、容纳从数码相机10取出的存储卡220的存储卡IF81、观赏者在手头操作的遥控器82等构成。TV显示器80与3D图像的显示相对应。3D图像的显示形式不做特别限定。例如，可以以分时显示右眼用图像和左眼用图像，也可以是在水平方向或垂直方向分别排列为长条状的交错形式。另外，还可以是排列在画面的一侧和另一侧的并排的形式。

TV显示器80对包含左侧视点的彩色图像数据和右侧视点的彩色图像数据而格式化后的动态图像文件进行解码，而将3D图像显示在显示部40。这时，TV显示器80承担作为显示规范化的动态图像文件的一般的显示装置的功能。

但是，TV显示器80也能够作为承担使用图1所说明的控制部201的至少一部分功能、以及图像处理部205的至少一部分功能的图像处理装置发挥功能。具体地，是将包含图1中所说明的确定部236、算出部233、动态图像生成部234的图像处理部组装入TV显示器80。通过这样地构成，能够实现与由实施例2中的数码相机10和TV显示器80的组合所采用的功能分担不同的功能分担。

具体地，数码相机10不执行基于立体调整参数的图像处理，而将进深信息检测部235所检测出的进深信息与所生成的摄影图像数据相关联。而后，TV显示器80作为图像处理装置，参照已关联的进深信息而确定立体调整参数C的值，并相对于获取的图像数据执行使用了立体调整参数的图像处理。TV显示器80将这样调整视差量后的3D图像显示在显示部40。

在上述的变形例中，也可以构成为观赏者在通过TV显示器80再现时，能够输入一部分的调整信息。例如，观赏者能够操作遥控器82而输入视差量范围。TV显示器80获取输入后的视差量范围来作为调整信息，确定部236按照该视差量范围，确定立体调整参数C的值。当这样构成时，TV显示器80能够显示满足每个观赏者的喜好的3D图像。

此外，作为图像处理装置的一个例子对TV显示器80进行了说明，但图像处理装置能够采用各种形式。例如，PC、便携式电话、游戏设备等具备显示部的、或者与显示部连接的设备都能够成为图像处理装置。

在以上的本实施方式中以动态图像摄影为前提进行了说明，但是基于检测出的进深信息而对调整视差量后的图像数据进行输出的结构，当然也能够适用于静态图像摄影。这样拍摄得到的静态图像，在左右的图像间不会产生极端的视差，不会给观赏者带来不协调感。

另外，在以上的实施方式中，通过用户的指示接收到作为对象的被拍摄体，但控制部201可以自动地选择作为对象的被拍摄体。例如，控制部201能够通过人物识别处理，仅将包含在场景中的人物像作为对象被拍摄体。

在以上的本实施方式中说明的各处理流程，由对控制部进行控制的控制程序来执行。控制程序被记录在内置的非易失性存储器中，适当地在工作存储器展开而执行各处理。或者，记录于服务器的控制程序经由网络发送至各装置，在工作存储器展开而执行各处理。此外，在服务器上执行记录于服务器的控制程序，各装置按照经由网络而发送来的控制信号而执行处理。

以上，使用实施方式对本发明进行了说明，但本发明的技术范围不限于上述实施方式所记载的范围。本领域技术人员清楚，能够对上述实施方式加以各种变更或改进。由权利要求的记载可知，这种加以各种变更或改进的实施方式也包含在本发明的技术范围内。

应当注意的是，权利要求书、说明书及附图中所示的装置、系统、程序以及方法中的动作、顺序、步骤及阶段等各个处理的执行顺序，只要没有特别明示“在……之前”、“早于”等，另外只要前处理的输出不用在后面的处理中，则能够以任意顺序实现。关于权利要求书、说明书及附图中的动作流程，为方便起见而使用“首先”、“然后”等进行了说明，但也并不意味着必须按照这样的顺序实施。

【附图标记说明】

10数码相机、20拍摄透镜、21光轴、22光圈、50眼球、51右眼、52左眼、40显示部、61,62,71,72被拍摄体、80TV显示器、81存储卡IF、82遥控器、100摄像元件、104,105,106开口部、110基本格子、201控制部、202A/D转换电路、203存储器、204驱动部、205图像处理部、207存储卡IF、208操作部、209显示部、210LCD驱动电路、231调整条件获取部、232调整值确定部、233算出部、234动态图像生成部、235进深信息检测部、236确定部、300树木、301少女、302少年、303妇女、310AF框、320标题、322中心线、1610,1611对比度曲线、1620,1621视差量曲线、1630调整视差量曲线、1804,1805,1807,1808分布曲线、1806,1809合成分布曲线、1901Lt分布曲线、1902Rt分布曲线、19032D分布曲线、1905调整Lt分布曲线、1906调整Rt分布曲线、2081旋转按钮、2082模式按钮、2083触摸面板。

Claims (31)

1.一种摄像装置，具备：

摄像部，其生成对同一场景进行拍摄而生成的摄影图像数据，该摄影图像数据包含基准图像数据、相对于所述基准图像数据的被拍摄体像在一个方向具有第1视差的第1视差图像数据，以及在与所述一个方向相反的另一方向具有第2视差的第2视差图像数据；

调整条件获取部，其获取与视差量调整有关的调整条件；和

图像处理部，其基于所述调整条件，对所述基准图像数据、所述第1视差图像数据以及所述第2视差图像数据进行处理，由此生成在所述一个方向具有与所述第1视差不同的第3视差的第3视差图像数据，和在所述另一方向具有与所述第2视差不同的第4视差的第4视差图像数据。

2.根据权利要求1所述的摄像装置，其中，

所述图像处理部通过对所述摄像部连续地生成的所述摄影图像数据进行处理，生成基于所述第3视差图像数据和所述第4视差图像数据的动态图像文件。

3.一种摄像装置，具备：

摄像部，其生成对同一场景进行拍摄而生成的摄影图像数据，该摄影图像数据包含基准图像数据、相对于所述基准图像数据的被拍摄体像在一个方向具有第1视差的第1视差图像数据，以及在与所述一个方向相反的另一方向具有第2视差的第2视差图像数据；

调整条件获取部，其获取用于生成调整视差图像数据的与视差量调整有关的调整条件，其中，所述调整视差图像数据具有与所述第1视差及所述第2视差不同的视差；和

输出部，其将所述调整条件与所述摄影图像数据相关联地输出。

4.根据权利要求3所述的摄像装置，其中，

所述输出部，将所述调整条件与从所述摄像部连续地生成的所述摄影图像数据生成的动态图像文件相关联。

5.根据权利要求2或4所述的摄像装置，其中，

所述调整条件获取部，与所述摄像部连续地生成的所述摄影图像数据相对应地，动态获取所述调整条件。

6.根据权利要求1～5中任一项所述的摄像装置，其中，

所述调整条件包含使所述被拍摄体像向所述摄像部成像的光学系统的设定条件。

7.根据权利要求6所述的摄像装置，其中，

所述设定条件包含光圈、焦点距离及聚焦透镜位置中的至少任一个。

8.根据权利要求1～7中任一项所述的摄像装置，其中，

所述调整条件包含所述同一场景的被拍摄体状况。

9.根据权利要求8所述的摄像装置，其中，

所述被拍摄体状况包含进深方向的被拍摄体分布。

10.根据权利要求1～9中任一项所述的摄像装置，其中，

所述调整条件包含由用户经由输入部而指示的用户指示。

11.根据权利要求10所述的摄像装置，其中，

所述调整条件包含通过所述用户指示而指示的视差量的范围设定。

12.根据权利要求1～11中任一项所述的摄像装置，其中，

所述调整条件包含对帧整体中的各像素的视差量进行积分而算出的累积视差量。

13.根据权利要求1或2所述的摄像装置，其中，

所述图像处理部基于所述调整条件确定调整值，

提取所述基准图像数据的对象像素位置上的基准像素值、所述第1视差图像数据的所述对象像素位置上的第1视差像素值，以及所述第2视差图像数据的所述对象像素位置上的第2视差像素值，通过算式

P₃＝2P₀×(C·P₁+(1-C)P₂)/(P₁+P₂)

P₄＝2P₀×((1-C)P₁+C·P₂)/(P₁+P₂)

算出形成所述第3视差图像数据的第3视差像素值和形成所述第4视差图像数据的第4视差像素值，

其中，P₀为基准像素值、P₁为第1视差像素值、P₂为第2视差像素值、P₃为第3视差像素值、P₄为第4视差像素值、C为调整值，C为实数且0.5<C<1。

14.根据权利要求1或2所述的摄像装置，其中，

所述图像处理部基于所述调整条件确定调整值，

提取所述基准图像数据的对象像素位置上的基准像素值、所述第1视差图像数据的所述对象像素位置上的第1视差像素值，以及所述第2视差图像数据的所述对象像素位置上的第2视差像素值，通过算式

P₃＝P₀×(P₁/P₂)^(C-0.5)

P₄＝P₀×(P₂/P₁)^(C-0.5)

算出形成所述第3视差图像数据的第3视差像素值和形成所述第4视差图像数据的第4视差像素值，

其中，P₀为基准像素值、P₁为第1视差像素值、P₂为第2视差像素值、P₃为第3视差像素值、P₄为第4视差像素值、C为调整值，C为实数且0.5<C<1。

15.一种图像处理装置，具备：

取入部，其取入摄影图像数据和与所述摄影图像数据相关联的与视差量调整有关的调整条件，其中，该摄影图像数据包含基准图像数据、相对于所述基准图像数据的被拍摄体像在一个方向具有第1视差的第1视差图像数据，以及在与所述一个方向相反的另一方向具有第2视差的第2视差图像数据；和

图像处理部，其基于所述调整条件，对所述基准图像数据、所述第1视差图像数据以及所述第2视差图像数据进行处理，由此生成在所述一个方向具有与所述第1视差不同的第3视差的第3视差图像数据，和在所述另一方向具有与所述第2视差不同的第4视差的第4视差图像数据。

16.根据权利要求15所述的图像处理装置，其中，

所述图像处理部，通过对所述取入部所取入的连续的所述摄影图像数据进行处理，生成基于所述第3视差图像数据和所述第4视差图像数据的动态图像文件。

17.根据权利要求15或16所述的图像处理装置，其中，

所述图像处理部基于所述调整条件确定调整值，

提取所述基准图像数据的对象像素位置上的基准像素值、所述第1视差图像数据的所述对象像素位置上的第1视差像素值，以及所述第2视差图像数据的所述对象像素位置上的第2视差像素值，通过算式

P₃＝2P₀×(C·P₁+(1-C)P₂)/(P₁+P₂)

P₄＝2P₀×((1-C)P₁+C·P₂)/(P₁+P₂)

算出形成所述第3视差图像数据的第3视差像素值和形成所述第4视差图像数据的第4视差像素值，

其中，P₀为基准像素值、P₁为第1视差像素值、P₂为第2视差像素值、P₃为第3视差像素值、P₄为第4视差像素值、C为调整值，C为实数且0.5<C<1。

18.根据权利要求15或16所述的图像处理装置，其中，

所述图像处理部基于所述调整条件确定调整值，

提取所述基准图像数据的对象像素位置上的基准像素值、所述第1视差图像数据的所述对象像素位置上的第1视差像素值，以及所述第2视差图像数据的所述对象像素位置上的第2视差像素值，通过算式

P₃＝P₀×(P₁/P₂)^(C-0.5)

P₄＝P₀×(P₂/P₁)^(C-0.5)

算出形成所述第3视差图像数据的第3视差像素值和形成所述第4视差图像数据的第4视差像素值，

其中，P₀为基准像素值、P₁为第1视差像素值、P₂为第2视差像素值、P₃为第3视差像素值、P₄为第4视差像素值、C为调整值，C为实数且0.5<C<1。

19.一种摄像装置的控制程序，使计算机执行下述步骤：

摄像步骤，其生成对同一场景进行拍摄而生成的摄影图像数据，该摄影图像数据包含基准图像数据、相对于所述基准图像数据的被拍摄体像在一个方向具有第1视差的第1视差图像数据，以及在与所述一个方向相反的另一方向具有第2视差的第2视差图像数据；

调整条件获取步骤，其获取与视差量调整有关的调整条件；和

图像处理步骤，其基于所述调整条件，对所述基准图像数据、所述第1视差图像数据以及所述第2视差图像数据进行处理，由此生成在所述一个方向具有与所述第1视差不同的第3视差的第3视差图像数据，和在所述另一方向具有与所述第2视差不同的第4视差的第4视差图像数据。

20.一种摄像装置的控制程序，使计算机执行下述步骤：

摄像步骤，其生成对同一场景进行拍摄而生成的摄影图像数据，该摄影图像数据包含基准图像数据、相对于所述基准图像数据的被拍摄体像在一个方向具有第1视差的第1视差图像数据，以及在与所述一个方向相反的另一方向具有第2视差的第2视差图像数据；

调整条件获取步骤，其获取用于生成调整视差图像数据的与视差量调整有关的调整条件，其中，所述调整视差图像数据具有与所述第1视差及所述第2视差不同的视差；和

输出步骤，其将所述调整条件与所述摄影图像数据相关联地输出。

21.一种图像处理装置的控制程序，使计算机执行下述步骤：

取入步骤，其取入摄影图像数据和与所述摄影图像数据相关联的与视差量调整有关的调整条件，其中，该摄影图像数据包含基准图像数据、相对于所述基准图像数据的被拍摄体像在一个方向具有第1视差的第1视差图像数据，以及在与所述一个方向相反的另一方向具有第2视差的第2视差图像数据；和

图像处理步骤，其基于所述调整条件，对所述基准图像数据、所述第1视差图像数据以及所述第2视差图像数据进行处理，由此生成在所述一个方向具有与所述第1视差不同的第3视差的第3视差图像数据，和在所述另一方向具有与所述第2视差不同的第4视差的第4视差图像数据。

22.一种摄像装置，具备：

检测部，其相对于场景检测进深方向的被拍摄体分布；

确定部，其基于所述被拍摄体分布，确定与视差量有关的变更条件；和

控制部，其基于所述变更条件执行生成摄影图像数据的摄像控制，其中，该摄影图像数据包含彼此具有视差的第1视差图像数据和第2视差图像数据。

23.根据权利要求22所述的摄像装置，其中，

具备摄像元件，该摄像元件包含第1视差像素组和第2视差像素组，其中，该第1视差像素组接收从光学系统通过的入射光束中相对于所述光学系统的光轴向第1方向偏移了的第1部分光束，该第2视差像素组接收从光学系统通过的入射光束中相对于所述光学系统的光轴向与所述第1方向不同的第2方向偏移了的第2部分光束。

24.根据权利要求22或23所述的摄像装置，其中，

所述检测部基于相对于各个被拍摄体的相位差信息，检测所述被拍摄体分布。

25.根据权利要求22～24中任一项所述的摄像装置，其中，

具备接收部，该接收部接收基于用户对被拍摄体的指定，

所述检测部将受到指定的所述被拍摄体作为所述被拍摄体分布的检测对象。

26.根据权利要求22～25中任一项所述的摄像装置，其中，

所述确定部将光圈值确定为所述变更条件。

27.根据权利要求22～26中任一项所述的摄像装置，其中，

所述确定部将聚焦透镜位置的校正量确定为所述变更条件。

28.根据权利要求22～27中任一项所述的摄像装置，其中，

所述确定部将调整参数值确定为所述变更条件，其中，该调整参数值是在所述控制部生成所述第1视差图像数据和所述第2视差图像数据时使用的、对两图像间的视差量进行调整的值。

29.根据权利要求28所述的摄像装置，其中，

所述控制部获取基准图像数据、相对于所述基准图像数据的被拍摄体像在一个方向具有第3视差的第3视差图像数据，以及在与所述一个方向相反的另一方向具有第4视差的第4视差图像数据，

提取所述基准图像数据的对象像素位置上的基准像素值、所述第3视差图像数据的所述对象像素位置上的第3视差像素值，以及所述第4视差图像数据的所述对象像素位置上的第4视差像素值，通过算式

P₁＝2P₀×(C·P₃+(1-C)P₄)/(P₃+P₄)

P₂＝2P₀×((1-C)P₃+C·P₄)/(P₃+P₄)

算出第1视差像素值而生成所述第1视差图像数据，算出第2视差像素值而生成所述第2视差图像数据，

其中，P₀为基准像素值、P₁为第1视差像素值、P₂为第2视差像素值、P₃为第3视差像素值、P₄为第4视差像素值、C为调整参数值，C为实数且0.5<C<1。

30.根据权利要求28所述的摄像装置，其中，

所述控制部获取基准图像数据、相对于所述基准图像数据的被拍摄体像在一个方向具有第3视差的第3视差图像数据，以及在与所述一个方向相反的另一方向具有第4视差的第4视差图像数据，

提取所述基准图像数据的对象像素位置上的基准像素值、所述第3视差图像数据的所述对象像素位置上的第3视差像素值，以及所述第4视差图像数据的所述对象像素位置上的第4视差像素值，通过算式

P₁＝P₀×(P₃/P₄)^(C-0.5)

P₂＝P₀×(P₄/P₃)^(C-0.5)

算出第1视差像素值而生成所述第1视差图像数据，算出第2视差像素值而生成所述第2视差图像数据，

其中，P₀为基准像素值、P₁为第1视差像素值、P₂为第2视差像素值、P₃为第3视差像素值、P₄为第4视差像素值、C为调整参数值，C为实数且0.5<C<1。

31.一种摄像装置的控制程序，使计算机执行下述步骤：

检测步骤，其相对于场景检测进深方向的被拍摄体分布；

确定步骤，其基于所述被拍摄体分布，确定与视差量有关的变更条件；和

摄像控制步骤，其基于所述变更条件，生成包含彼此具有视差的第1视差图像数据和第2视差图像数据的摄影图像数据。