CN104755981A - 图像处理装置、摄像装置、图像处理方法和图像处理程序 - Google Patents

Abstract

实现与对焦的程度对应的处理速度和分辨率。图像获取部(28A)获取从摄像元件(20)输出的第一图像和第二图像。视差计算部(28B)算出表示由图像获取部(28A)获取的第一图像的各像素和第二图像的对应的像素的偏移量的视差。生成部(28C)基于从摄像元件(20)输出的第三图像来生成第一显示用图像，且基于由图像获取部(28A)获取的第一图像和第二图像来生成用于对焦确认的第二显示用图像。变更部(28D)根据由视差计算部(28B)算出的视差来变更由生成部(28C)生成的第一显示用图像和第二显示用图像中的至少第二显示用图像的分辨率。

Description

图像处理装置、摄像装置、图像处理方法和图像处理程序

技术领域

本发明涉及图像处理装置、摄像装置、图像处理方法和图像处理程序。

背景技术

作为数码相机，除使用了相位差检测方式、对比度检测方式的自动聚焦外还具备能够由使用者手动进行调焦的所谓手动聚焦模式的数码相机广为公知。

作为具有手动聚焦模式的数码相机，公知有采用了以能够一边对被摄体进行确认一边进行调焦的方式设置反射镜并使用了对目视的相位差进行显示的分裂式微棱镜屏的方法的数码相机。另外，也公知有采用了进行目视的对比度的确认的方法的数码相机。

然而，近年来普及的省略了反射镜的数码相机中，由于没有反射镜，因此不存在一边显示相位差一边确认被摄体像的方法，不得不依赖于对比度检测方式。可是，在该情况下，无法实现LCD(liquid crystaldisplay：液晶显示器)等显示装置的分辨率以上的对比度的显示，不得不采用进行局部放大等而显示的方法。

因此，近年来，为了使在手动聚焦模式时操作者使被摄体对焦的作业容易，而将裂像显示在即时预览图像(也称作实时取景图像)内。所谓裂像，例如是指将显示区域分割为多个而得到的分割图像(例如沿上下方向分割而得到的各图像)，且是根据焦点的偏移而在视差产生方向(例如左右方向)上存在偏移、且若为已对焦的状态则视差产生方向的偏移消失的分割图像。操作者(例如摄影者)操作手动聚焦环而进行对焦，以使裂像(例如在上下方向上分割而得到的各图像)的偏移消失。

日本特开2004－40740号公报(以下，称作专利文献1)中记载的手动聚焦装置具有：光圈移动单元，使被摄体光路上的开口光圈在与光轴垂直的面上移动；及存储单元，对在开口光圈移动的两个测距位置分别进行摄像而得到的两个被摄体图像进行存储。另外，具有输出对两个被摄体图像进行合成而得到的裂像并显示焦点状态是否合适的显示单元。

日本特开2009－147665号公报(以下，称作专利文献2)记载的摄像装置中，生成对第一被摄体像和第二被摄体像分别进行光电转换而得到的第一图像和第二图像，该第一被摄体像和第二被摄体像由来自摄像光学系统的光束中的被光瞳分割部分割后的光束形成。并且，使用这些第一图像和第二图像来生成裂像，且对第三被摄体像进行光电转换而生成第三图像，该第三被摄体像由未被光瞳分割部分割的光束形成。并且，将第三图像显示在显示部，且在第三图像内显示所生成的裂像，且将从第三图像提取出的颜色信息附加到裂像。如此，通过将从第三图像提取出的颜色信息附加到裂像，能够使裂像的视觉确认性良好。

日本特开2009－163220号公报(以下，称作专利文献3)中记载的摄像装置具备使显示单元显示重叠图像的处理单元，该重叠图像是使被光瞳分割单元分割而得到的第一图像和第二图像重叠而得到的。

日本特开2001－309210号公报(以下，称作专利文献4)中记载的数码相机具备对焦点位置与被摄体位置之间的偏移量进行检测并根据偏移量来变更裂像的显示内容的显示变更单元。

WO06/030488(以下，称作专利文献5)记载的图像处理装置具备在聚焦控制部的光学系统的对焦动作中根据由摄像元件得到的图像来形成将分辨率的变化量扩大而得到的疑似图像的结构。

发明内容

发明要解决的课题

然而，专利文献1～5记载的技术均存在如下问题：存在以超过焦点的偏移量能够视觉确认的分辨率的分辨率来显示图像的情况、以小于焦点的偏移量无法视觉确认的分辨率的分辨率来显示图像的情况。

本发明鉴于这种情形而提出，目的在于提供能够设为与对焦的程度对应的处理速度和分辨率的图像处理装置、摄像装置、图像处理方法和图像处理程序。

用于解决课题的手段

为了达到上述目的，本发明的第一方式所涉及的图像处理装置包括：图像获取部，获取从摄像元件输出的基于第一图像信号和第二图像信号的第一图像和第二图像，所述摄像元件具有第一像素组和第二像素组，所述第一像素组和第二像素组使通过了摄影透镜中的第一区域和第二区域的被摄体像进行光瞳分割并分别成像而输出第一图像信号和第二图像信号；视差计算部，算出表示由图像获取部获取的第一图像的各像素与第二图像的对应的像素之间的偏移量的视差；生成部，基于从摄像元件输出的图像信号来生成第一显示用图像，且基于第一图像和第二图像来生成用于对焦确认的第二显示用图像；变更部，根据由视差计算部算出的视差来变更由生成部生成的第一显示用图像和第二显示用图像中的至少第二显示用图像的分辨率；显示部，对图像进行显示；及显示控制部，对显示部进行如下控制：使显示部显示由生成部生成的第一显示用图像且在第一显示用图像的显示区域内显示由生成部生成的第二显示用图像。由此，与不具有本结构的情况相比，能够实现与对焦的程度对应的处理速度和分辨率。

为了达成上述目的，本发明的第二方式所涉及的图像处理装置包括：图像获取部，获取从摄像元件输出的基于第一图像信号和第二图像信号的第一图像和第二图像，所述摄像元件具有第一像素组和第二像素组，所述第一像素组和第二像素组使通过了摄影透镜中的第一区域和第二区域的被摄体像进行光瞳分割并分别成像而输出第一图像信号和第二图像信号；视差计算部，算出表示由图像获取部获取的第一图像的各像素与第二图像的对应的像素之间的偏移量的视差；生成部，基于从摄像元件输出的图像信号来生成第一显示用图像，且基于第一图像和第二图像来生成用于对焦确认的第二显示用图像；变更部，根据由视差计算部算出的视差来变更由生成部生成的第一显示用图像和第二显示用图像中的至少第二显示用图像的分辨率；显示部，对图像进行显示；及显示控制部，进行如下控制：抑制显示部显示由生成部生成的第一显示用图像且使显示部显示由生成部生成的第二显示用图像。由此，与不具有本结构的情况相比，能够实现与对焦的程度对应的处理速度和分辨率。

本发明的第三方式也可以设为，在本发明的第一方式或第二方式的基础上，变更部随着视差的减少而提高分辨率。由此，与不具有本结构的情况相比，能够随着对焦的程度变小而实现处理的高速化，且能够随着对焦的程度变大而提高分辨率。

本发明的第四方式也可以设为，在本发明的第一方式至第二方式中的任一个方式的基础上，变更部通过变更摄像元件的驱动方法来变更摄像元件的输出像素数，从而变更分辨率。由此，与不具有本结构的情况相比，能够以简单的控制变更分辨率。

本发明的第五方式也可以设为，在本发明的第四方式的基础上，摄像元件所包含的像素配置成行列状，摄像元件的输出像素能够以像素的行为单位进行变更，变更部通过以行为单位变更输出像素来变更分辨率。由此，与不具有本结构的情况相比，能够以简单的控制变更分辨率。

本发明的第六方式也可以设为，在本发明的第五方式的基础上，摄像元件的输出像素还能够以像素的列为单位进行变更，变更部还通过以列为单位变更输出像素来变更分辨率。由此，与不具有本结构的情况相比，能够以简单的控制变更输出像素。

本发明的第七方式也可以设为，在本发明的第四方式的基础上，摄像元件所包含的像素配置成行列状，摄像元件的输出像素能够以像素的列为单位进行变更，变更部通过以列为单位变更输出像素来变更分辨率。由此，与不具有本结构的情况相比，能够以简单的控制变更输出像素。

本发明的第八方式也可以设为，在本发明的第四方式至第七方式中的任一个方式的基础上，变更部通过变更摄像元件所包含的输出像素中的第一像素组和第二像素组的输出像素的密度来变更输出像素数。由此，与不具有本结构的情况相比，能够以简单的控制实现与对焦的程度对应的处理速度和第二显示用图像的分辨率。

本发明的第九方式也可以设为，在本发明的第八方式的基础上，在由视差计算部算出的视差为阈值以下的情况下，变更部通过使密度高于由视差计算部算出的视差超过阈值的情况下的密度来变更输出像素数。由此，与不具有本结构的情况相比，能够抑制在视差为阈值以下的情况下第二显示用图像的分辨率不足的情形的发生。

本发明的第十方式也可以设为，在本发明的第九方式的基础上，在由视差计算部算出的视差为阈值以下的情况下，变更部通过使密度高于由视差计算部算出的视差超过阈值的情况下的密度且根据视差的减少而提高该密度来变更输出像素数。由此，与不具有本结构的情况相比，能够高精度地抑制在视差为阈值以下的情况下第二显示用图像的分辨率不足的情形的发生。

本发明的第十一方式也可以设为，在本发明的第八方式至第十方式中的任一个方式的基础上，在由视差计算部算出的视差超过阈值的情况下，变更部通过使密度低于由视差计算部算出的视差为阈值以下的情况下的密度来变更输出像素数。由此，与不具有本结构的情况相比，能够抑制在视差超过阈值的情况下第二显示用图像的分辨率过剩的情形的发生。

本发明的第十二方式也可以设为，在本发明的第十一方式的基础上，在由视差计算部算出的视差超过阈值的情况下，变更部通过使密度低于由视差计算部算出的视差为阈值以下的情况下的密度且根据视差的增大而降低该密度来变更输出像素数。由此，与不具有本结构的情况相比，能够高精度地抑制在视差超过阈值的情况下第二显示用图像的分辨率过剩的情形的发生。

本发明的第十三方式也可以设为，在本发明的第一方式至第十二方式中的任一个方式的基础上，在分辨率由变更部提高得超过预定值的情况下，显示控制部进一步进行使显示部的第二显示用图像的显示区域比通常时扩大的控制。由此，与不具有本结构的情况相比，能够提高第二显示用图像的视觉确认性。

本发明的第十四方式也可以设为，在本发明的第十三方式的基础上，在显示区域被扩大了的状态下分辨率由变更部降低为预定值以下的情况下，显示控制部进一步进行使显示区域的大小返回到通常时的大小的控制。由此，与不具有本结构的情况相比，能够对第二显示用图像的视觉确认性的降低进行抑制。

本发明的第十五方式也可以设为，在本发明的第一方式至第十四方式中的任一个方式的基础上，变更部还根据由视差计算部算出的视差来变更作为显示部的显示对象的图像的帧率。由此，与不具有本结构的情况相比，能够实现与对焦的程度对应的帧率。

本发明的第十六方式也可以设为，在本发明的第一方式至第十五方式中的任一个方式的基础上，变更部还根据由视差计算部算出的视差来变更视差计算部的计算频度。由此，与不具有本结构的情况相比，能够设为与对焦的程度对应的计算频度。

本发明的第十七方式也可以设为，在本发明的第一方式至第十六方式中的任一个方式的基础上，变更部还根据由视差计算部算出的视差来变更摄像元件的驱动频率。由此，与不具有本结构的情况相比，能够设为与对焦的程度对应的驱动频率。

本发明的第十八方式也可以设为，在本发明的第一方式至第十七方式中的任一个方式的基础上，摄像元件还具有第三像素组，该第三像素组使透过了摄影透镜的被摄体像不进行光瞳分割而成像并输出第三图像，生成部基于从第三像素组输出的第三图像来生成第一显示用图像。由此，与不具有本结构的情况相比，能够以简单的结构提高第一显示用图像的画质。

为了达成上述目的，本发明的第十九方式所涉及的摄像装置包括：本发明的第一方式至第十八方式中的任一个方式的图像处理装置；摄像元件，具有第一像素组和第二像素组；及存储部，存储基于从摄像元件输出的图像信号而生成的图像。由此，与不具有本结构的情况相比，能够实现与对焦的程度对应的处理速度和分辨率。

为了达成上述目的，本发明的第二十方式所涉及的图像处理方法中，获取从摄像元件输出的基于第一图像信号和第二图像信号的第一图像和第二图像，所述摄像元件具有第一像素组和第二像素组，所述第一像素组和第二像素组使通过了摄影透镜中的第一区域和第二区域的被摄体像进行光瞳分割并分别成像而输出第一图像信号和第二图像信号，算出表示所获取的第一图像的各像素与第二图像的对应的像素之间的偏移量的视差，基于从摄像元件输出的图像信号来生成第一显示用图像，基于第一图像和第二图像来生成用于对焦确认的第二显示用图像，根据算出的视差来变更所生成的第一显示用图像和第二显示用图像中的至少第二显示用图像的分辨率，对显示图像的显示部进行如下控制：使显示部显示所生成的第一显示用图像且在第一显示用图像的显示区域内显示所生成的第二显示用图像。由此，与不具有本结构的情况相比，能够实现与对焦的程度对应的处理速度和分辨率。

为了达成上述目的，本发明的第二十一方式所涉及的图像处理方法中，获取从摄像元件输出的基于第一图像信号和第二图像信号的第一图像和第二图像，所述摄像元件具有第一像素组和第二像素组，所述第一像素组和第二像素组使通过了摄影透镜中的第一区域和第二区域的被摄体像进行光瞳分割并分别成像而输出第一图像信号和第二图像信号，算出表示所获取的第一图像的各像素与第二图像的对应的像素之间的偏移量的视差，基于从摄像元件输出的图像信号来生成第一显示用图像，基于第一图像和第二图像来生成用于对焦确认的第二显示用图像，根据算出的视差来变更所生成的第一显示用图像和第二显示用图像中的至少第二显示用图像的分辨率，进行如下控制：抑制显示部显示所生成的第一显示用图像且使显示部显示所生成的第二显示用图像。由此，与不具有本结构的情况相比，能够实现与对焦的程度对应的处理速度和分辨率。

为了达成上述目的，本发明的第二十二方式所涉及的图像处理程序用于使计算机作为本发明的第一方式至第十八方式中的任一个方式的图像处理装置中的图像获取部、视差计算部、生成部、变更部和显示控制部发挥功能。由此，与不具有本结构的情况相比，能够实现与对焦的程度对应的处理速度和分辨率。

发明效果

根据本发明，可得到以下的效果：能够实现与对焦的程度对应的处理速度和分辨率。

附图说明

图1是表示第一实施方式所涉及的作为镜头互换式相机的摄像装置的外观的一例的立体图。

图2是表示图1所示的摄像装置的背面侧的后视图。

图3是表示第一实施方式所涉及的摄像装置的电气系统的结构的一例的框图。

图4是表示设置于第一实施方式所涉及的摄像装置所包含的摄像元件的滤色器的配置的一例的概略配置图。

图5是用于说明根据图4所示的滤色器所包含的2×2像素的G像素的像素值来判别相关方向的方法的图，是用于对基本排列图案的概念进行说明的图。

图6是用于对图4所示的滤色器所包含的基本排列图案的概念进行说明的图。

图7是表示第一实施方式所涉及的摄像装置所包含的摄像元件中的相位差像素的配置的一例的概略结构图。

图8是表示第一实施方式所涉及的摄像装置的摄像元件所包含的相位差像素(第一像素和第二像素)的结构的一例的概略结构图。

图9是表示第一实施方式所涉及的图像处理部的主要部分功能的一例的功能框图。

图10A是表示第一实施方式所涉及的图像处理部所使用的第一输出像素决定表的结构的一例的示意图。

图10B是表示第一实施方式所涉及的图像处理部所使用的第二输出像素决定表的结构的一例的示意图。

图11是表示第一实施方式所涉及的生成部所包含的功能的一例的功能框图。

图12是表示第一实施方式所涉及的摄像装置的主要部分功能的一例的框图。

图13是表示由普通像素对第一实施方式所涉及的摄像装置所包含的摄像元件中的相位差像素进行插值的方式的一例的示意图。

图14A是表示显示于第一实施方式所涉及的摄像装置的显示部的即时预览图像即未对焦的状态的即时预览图像的一例的画面图。

图14B是表示显示于第一实施方式所涉及的摄像装置的显示部的即时预览图像即已对焦的状态的即时预览图像的一例的画面图。

图15是表示第一实施方式所涉及的摄像装置所包含的显示装置中的裂像的显示区域和普通图像的显示区域的位置的一例的示意图。

图16是表示第一实施方式所涉及的图像生成输出处理的流程的一例的流程图。

图17是表示第一实施方式所涉及的高分辨率化处理的流程的一例的流程图。

图18是表示由第一实施方式所涉及的视差计算部算出的视差为3个像素的情况下的输出像素的规定方法的一例的示意图。

图19是表示由第一实施方式所涉及的视差计算部算出的视差为2个像素的情况下的输出像素的规定方法的一例的示意图。

图20是表示第一实施方式所涉及的低分辨率化处理的流程的一例的流程图。

图21是表示由第一实施方式所涉及的视差计算部算出的视差为4个像素的情况下的输出像素的规定方法的一例的示意图。

图22是表示由第一实施方式所涉及的视差计算部算出的视差为6个像素的情况下的输出像素的规定方法的一例的示意图。

图23是表示第一实施方式所涉及的设定内容变更处理的流程的一例的流程图。

图24是表示第一实施方式所涉及的输出像素的规定方法的第一变形例、即针对行方向和列方向的各个方向规定输出像素的方法的一例的示意图。

图25是表示第一实施方式所涉及的输出像素的规定方法的第二变形例、即针对行方向和列方向的各个方向规定输出像素的方法的一例的示意图。

图26是表示第一实施方式所涉及的图像处理部所使用的第二输出像素决定表的变形例的示意图。

图27是表示第一实施方式所涉及的摄像元件中的相位差像素的配置的第一变形例的概略结构图。

图28是表示第一实施方式所涉及的摄像元件中的相位差像素的配置的第二变形例的概略结构图。

图29是表示第一实施方式所涉及的摄像元件中的相位差像素的配置的第三变形例、即将适用于摄像元件的滤色器的原色的排列设为拜耳排列的情况下的相位差像素的配置的变形例的概略结构图。

图30是表示第一实施方式所涉及的摄像元件中的相位差像素的配置的第四变形例、即将适用于摄像元件的滤色器的原色的排列设为拜耳排列的情况下的相位差像素的配置的变形例的概略结构图。

图31是表示第一实施方式所涉及的摄像元件中的相位差像素的配置的第五变形例、即将适用于摄像元件的滤色器的原色的排列设为拜耳排列的情况下的相位差像素的配置的变形例的概略结构图。

图32是表示第一实施方式所涉及的摄像元件中的相位差像素的配置的第六变形例的概略结构图。

图33是表示第一实施方式所涉及的裂像的变形例、即将第一图像和第二图像分为奇数行和偶数行并交替地排列而形成的裂像的一例的示意图。

图34是表示第一实施方式所涉及的裂像的变形例、即由相对于行方向倾斜的倾斜的分割线分割而得到的裂像的一例的示意图。

图35A是表示第一实施方式所涉及的裂像的变形例、即由格子状的分割线分割而得到的裂像的一例的示意图。

图35B是表示第一实施方式所涉及的裂像的变形例、即形成为棋盘式格纹图案的裂像的一例的示意图。

图36是表示第五实施方式所涉及的智能手机的外观的一例的立体图。

图37是表示第五实施方式所涉及的智能手机的电气系统的主要部分结构的一例的框图。

具体实施方式

以下，按照附图对本发明所涉及的摄像装置的实施方式的一例进行说明。

[第一实施方式]

图1是表示第一实施方式所涉及的摄像装置100的外观的一例的立体图，图2是图1所示的摄像装置100的后视图。

摄像装置100是镜头互换式相机，是包含相机主体200及以能够互换的方式安装在相机主体200的互换镜头300(摄影透镜、聚焦透镜302)并省略了反射镜的数码相机。另外，在相机主体200设置有混合式取景器(注册商标)220。这里所说的混合式取景器220例如是指选择性地使用光学取景器(以下，称作“OVF”)和电子取景器(以下，称作“EVF”)的取景器。

通过将相机主体200具备的固定件256和与固定件256对应的互换镜头300侧的固定件346(参照图3)结合而以能够互换的方式安装相机主体200和互换镜头300。另外，在互换镜头300的镜筒设置有聚焦环，能够伴随着聚焦环的旋转操作使聚焦透镜302沿光轴方向移动，并能够在与被摄体距离对应的对焦位置使被摄体光在后述的摄像元件20(参照图3)上成像。

在相机主体200的前表面设置有混合式取景器220所包含的OVF的取景器窗241。另外，在相机主体200的前表面设置有取景器切换杆(取景器切换部)214。若使取景器切换杆214沿箭头SW方向转动，则在能够由OVF进行视觉确认的光学像和能够由EVF进行视觉确认的电子像(即时预览图像)之间进行切换(后述)。另外，OVF的光轴L2是与互换镜头300的光轴L1不同的光轴。另外，在相机主体200的上表面主要设置有释放开关211和用于设定摄影模式、再生模式等的拔盘212。

释放开关211构成为能够对从待机位置按下到中间位置(半按位置)的状态和按下到超过中间位置的最终按下位置(全按位置)的状态这两个阶段的按压操作进行检测。另外，以下，将“从待机位置按下到半按位置的状态”称作“半按状态”，将“从待机位置按下到全按位置的状态”称作“全按状态”。

在本第一实施方式所涉及的摄像装置100中，通过将释放按钮211设为半按状态而进行摄影条件的调整，其后，若继续设为全按状态则进行曝光(摄影)。这里所谓的“摄影条件”例如是指曝光状态和对焦状态的至少一个。另外，在本第一实施方式所涉及的摄像装置100中，进行曝光状态和对焦状态的调整。即，通过将释放按钮211设为半按状态而使AE(Automatic Exposure：自动曝光)功能起作用而设定了曝光状态(快门速度、光圈的状态)后，AF功能起作用而进行对焦控制。

在相机主体200的背面设置有OVF的取景器目镜部242、显示部213、十字键222、菜单/确定键224和返回/显示按钮225。

十字键222作为输出菜单的选择、变焦、画面进给等各种的指令信号的多功能的键而发挥功能。菜单/确定键224是兼具如下功能的按钮：即作为用于进行在显示部213的画面上显示菜单的指令的菜单按钮的功能和作为对选择内容的确定和执行等进行指示的确认按钮的功能。返回/显示按钮225在删除选择项目等期望的对象、取消指定内容或返回到前一个操作状态时等使用。

显示部213例如由LCD实现，用于显示作为在摄影模式时以连续帧进行摄像而得到的连续帧图像的一例的即时预览图像(实时取景图像)。另外，显示部213也用于显示作为赋予了静止画面摄影的指示的情况下由单一帧进行摄像而得到的单一帧图像的一例的静止图像。此外，显示部213也用于显示再生模式时的再生图像、显示菜单画面等。

图3是表示第一实施方式所涉及的摄像装置100的电气系统的结构(内部结构)的一例的框图。

摄像装置100是对拍摄到的静止图像、动态图像进行记录的数码相机，相机整体的动作由CPU(central processing unit：中央处理装置)12集中控制。摄像装置100包括CPU12、操作部14、接口部24、存储器26和编码器34。另外，摄像部100包括作为本发明所涉及的显示控制部的一例的显示控制部36A、36B。另外，摄像部100包括目镜检测部37。另外，摄像装置100包括作为本发明所涉及的图像获取部、视差计算部、生成部和变更部的一例的图像处理部28。另外，以下，在没有必要对显示控制部36A、36B进行区别而说明的情况下，称作“显示控制部36”。另外，在本第一实施方式中，作为与图像处理部28不同的硬件结构而设置有显示控制部36，但是不限于此，图像处理部28也可以具有与显示控制部36同样的功能，在该情况下，不需要显示控制部36。

CPU12、操作部14、接口部24、作为存储部的一例的存储器26、图像处理部28、编码器34、显示控制部36A、36B、目镜检测部37和外部接口(I/F)39经由总线40而相互连接。另外，存储器26具有存储有参数、程序等的非易失性的存储区域(作为一例为EEPROM等)和对图像等各种信息暂时性地进行存储的易失性的存储区域(作为一例为SDRAM等)。

另外，在本第一实施方式所涉及的摄像装置100中，CPU12以由摄像得到的图像的对比度值最大的方式对调焦电动机进行驱动控制而进行对焦控制。另外，CPU12算出表示由摄像得到的图像的亮度的物理量即AE信息。CPU12在将释放开关211设为半按状态时，导出与由AE信息表示的图像的亮度对应的快门速度和F值。并且，通过以成为所导出的快门速度和F值的方式对关系各部进行控制而进行曝光状态的设定。

操作部14是对摄像装置100赋予各种指示时由操作者所操作的用户接口。由操作部14接收到的各种指示作为操作信号输出到CPU12，CPU12执行与从操作部14输入的操作信号对应的处理。

操作部14包括释放开关211、对摄影模式等进行选择的拔盘(聚焦模式切换部)212、显示部213、取景器切换杆214、十字键222、菜单/确定键224和返回/显示按钮225。另外，操作部14也包括接收各种信息的触摸面板。该触摸面板例如重叠在显示部213的显示画面。

若设定了摄影模式，则表示被摄体的图像光经由包括能够利用手动操作进行移动的聚焦透镜的摄影透镜16和快门18而在彩色的摄像元件(作为一例是CMOS传感器)20的受光面上成像。蓄积在摄像元件20上的信号电荷利用从设备控制部22施加的读出信号而作为与信号电荷(电压)对应的数字信号依次被读出。摄像元件20具有所谓的电子快门功能，通过使电子快门功能发挥作用，而利用读出信号的定时对各光电传感器的电荷累积时间(快门速度)进行控制。另外，本第一实施方式所涉及的摄像元件20是CMOS型的图像传感器，但不限于此，也可以是CCD图像传感器。

在摄像元件20，作为一例设置有图4所示的滤色器21。在图4示意性地示出了滤色器21的排列的一例。另外，在图4所示的例子中，作为像素数的一例采用(4896×3264)像素，作为纵横比采用3：2，但是像素数和纵横比不限于此。作为一例，也可以如图4所示，滤色器21包括与为了得到亮度信号而贡献最大的G(绿)对应的第一滤光片G、与R(红)对应的第二滤光片R和与B(蓝)对应的第三滤光片B。第一滤光片G(以下，称作G滤光片)、第二滤光片R(以下，称作R滤光片)和第三滤光片B(以下，称作B滤光片)的排列图案分类为第一排列图案A和第二排列图案B。

在第一排列图案A中，G滤光片配置在3×3像素的正方排列的四角和中央的像素上。在第一排列图案A中，R滤光片配置在正方排列的行方向(例如水平方向)中的中央的垂直线上。在第一排列图案A中，B滤光片配置在正方排列的列方向(例如垂直方向)中的中央的水平线上。第二排列图案B是与第一基本排列图案A相比滤光片G的配置相同且将滤光片R的配置和滤光片B的配置交换而得到的图案。滤色器21包括由与6×6像素对应的正方排列图案构成的基本排列图案C。基本排列图案C是第一排列图案A和第二排列图案B以点对称进行配置的6×6像素的图案，基本排列图案C沿行方向和列方向重复配置。即，在滤色器21中，R、G、B各色的滤光片(R滤光片、G滤光片和B滤光片)以预定的周期性而排列。因此，在进行从彩色摄像元件读出的R、G、B信号的去马赛克算法(插值)处理等时，能够按照重复图案而进行处理。

另外，在以基本排列图案C为单位进行间拔处理而缩小图像的情况下，能够使间拔处理后的缩小图像的滤色器排列与间拔处理前的滤色器排列相同，并能够使用共通的处理电路。

滤色器21中，与为了得到亮度信号而贡献最大的颜色(本第一实施方式中，G色)对应的G滤光片配置在滤色器排列的行方向、列方向和倾斜方向的各行内。因此，无论成为高频的方向如何都能够提高高频区域中的去马赛克算法处理的再现精度。

滤色器21中，与上述G色以外的两种颜色以上的其他颜色(本第一实施方式中为R、B色)对应的R滤光片和B滤光片配置在滤色器排列的行方向和列方向的各行内。因此，能够抑制彩色莫尔条纹(伪色)的产生，由此，能够设置为不将用于抑制伪色的发生的光学低通滤光片配置于从光学系统的入射面到摄像面的光路上。另外，即使在适用光学低通滤光片的情况下，也能够适用用于防止伪色的发生的将高频成分截止的功能较弱的光学低通滤光片，能够无损分辨率。

也可以理解为，基本排列图案C成为由虚线的框围成的3×3像素的第一排列图案A和由单点划线的框围成的3×3像素的第二排列图案B沿行方向、列方向交替地排列而成的排列。

第一排列图案A和第二排列图案B中，作为亮度系像素的G滤光片分配配置于四角和中央，配置于两对角线上。另外，第一排列图案A中，B滤光片隔着中央的G滤光片沿水平方向排列，R滤光片隔着中央的G滤光片沿列方向排列。另一方面，第二排列图案B中，R滤光片隔着中央的G滤光片沿行方向排列，B滤光片隔着中央的G滤光片沿列方向排列。即，第一排列图案A与第二排列图案B相比，R滤光片和B滤光片的位置关系颠倒，但是其他配置相同。

另外，关于第一排列图案A和第二排列图案B的四角的G滤光片，通过将第一排列图案A和第二排列图案B沿行方向、列方向交替地配置，作为一例如图5所示形成与2×2像素对应的正方排列的G滤光片。作为一例，针对由如图5所示取出的G滤光片构成的2×2像素，算出行方向的G像素的像素值的差的绝对值、列方向的G像素的像素值的差的绝对值和倾斜方向(右上倾斜、左上倾斜)的G像素的像素值的差的绝对值。由此，能够判断为在行方向、列方向和倾斜方向中的差的绝对值较小的方向存在相关性。即，能够使用最小像素间隔的G像素的信息对行方向、列方向和倾斜方向中的相关性高的方向进行判别。该判别结果能够使用于根据周围的像素进行插值的处理(去马赛克算法处理)。

滤色器21的基本排列图案C相对于该基本排列图案C的中心(4个G滤光片的中心)以点对称进行配置。另外，基本排列图案C内的第一排列图案A和第二排列图案B也分别相对于中心的G滤光片以点对称进行配置，因此，能够减小或简化后段的处理电路的电路规模。

作为一例，如图6所示，在基本排列图案C中，行方向的第一至第六行中的第一和第三行的滤色器排列是GRGGBG。第二行的滤色器排列是BGBRGR。第四和第六行的滤色器排列是GBGGRG。第五行的滤色器排列是RGRBGB。在图6所示的例子中，示出了基本排列图案C、C’、C”。基本排列图案C’表示将基本排列图案C沿行方向和列方向分别各移位1个像素而得到的图案，基本排列图案C”表示将基本排列图案C沿行方向和列方向分别各移位2个像素而得到的图案。如此，滤色器21中，即使将基本排列图案C’、C”沿行方向和列方向重复配置，也成为相同的滤色器排列。

摄像装置100具有相位差AF功能。摄像元件20包括在使相位差AF功能发挥作用的情况下使用的多个相位差检测用的像素。多个相位差检测用的像素以预先规定的图案配置。

图7示意性地示出了滤色器21的一部分和一部分相位差检测用的像素的对应关系的一例。作为一例，如图7所示，相位差检测用的像素是对行方向的左半部分的像素进行遮光而得到的第一像素L和对行方向的右半部分的像素进行遮光而得到的第二像素R的任一个像素。另外，以下，在没有必要对第一像素L和第二像素R进行区别而说明的情况下，称作“相位差像素”。

图8例示了在摄像元件20上配置的第一像素L和第二像素R的一例。作为一例，如图8所示，第一像素L具有遮光部件20A，第二像素R具有遮光部件20B。遮光部件20A设置于光电二极管PD的前表面侧(微透镜L侧)，对受光面的左半部分进行遮光。另一方面，遮光部件20B设置于光电二极管PD的前表面侧，对受光面的右半部分进行遮光。

微透镜L和遮光部件20A、20B作为光瞳分割部而发挥功能，第一像素L仅对通过摄影透镜16的出射光瞳的光束的光轴的左侧进行受光，第二像素R仅对通过摄影透镜16的出射光瞳的光束的光轴的右侧进行受光。如此，通过出射光瞳的光束由作为光瞳分割部的微透镜L和遮光部件20A、20B沿左右进行分割，并分别入射到第一像素L和第二像素R。

另外，与通过摄影透镜16的出射光瞳的光束中的左半部分的光束对应的被摄体像和与右半部分的光束对应的被摄体像中的焦点相对合(处于对焦状态)的部分在摄像元件20上的相同位置成像。与此相对，前焦点或后焦点的部分分别入射到摄像元件20上的不同的位置(相位偏移)。由此，与左半部分的光束对应的被摄体像和与右半部分的光束对应的被摄体像能够作为视差不同的视差图像(左眼图像、右眼图像)而获取。

摄像装置100通过使相位差AF功能发挥作用，基于第一像素L的像素值和第二像素R的像素值对相位的偏移量进行检测。并且，基于检测出的相位的偏移量对摄影透镜的焦点位置进行调整。另外，以下，在不必对遮光部件20A、20B进行区别而说明的情况下不标注附图标记而称作“遮光部件”。

摄像元件20被分类为第一像素组、第二像素组和第三像素组。所谓第一像素组例如是指多个第一像素L。所谓第二像素组例如是指多个第二像素R。所谓第三像素组例如是指多个普通像素(第三像素的一例)。这里所说的“普通像素”例如是指相位差像素以外的像素(例如不具有遮光部件20A、20B的像素)。另外，以下，将从第一像素组输出的RAW图像称作“第一图像”，将从第二像素组输出的RAW图像称作“第二图像”，将从第三像素组输出的RAW图像称作“第三图像”。

第一像素组和第二像素组所包含的各像素配置于在第一像素组和第二像素组之间关于行方向的位置在1个像素内对齐的位置。另外，第一像素组和第二像素组所包含的各像素配置于在第一像素组和第二像素组之间关于列方向的位置也在1个像素内对齐的位置。在图7所示的例子中，针对行方向和列方向的各个方向呈直线状地隔开多个像素量的间隔而交替配置1个像素L和第二像素R。

在图7所示的例子中，将第一像素组和第二像素组所包含的各像素的位置设为针对行方向和列方向的各个方向在1个像素内对齐的位置，但是也可以设为针对行方向和列方向的至少一方收敛在预定像素数内(例如2个像素以内)的位置。另外，为了将因焦点偏移以外的要因而发生图像偏移这一情况最大限地进行抑制，作为一例，优选为，如图7所示将第一像素组和第二像素组所包含的各像素的位置设为针对行方向和列方向的各个方向在1个像素内对齐的位置。

相位差像素作为一例如图7所示，针对与2×2像素对应的正方排列的G滤光片的像素而设置。即，在图7所示的例子中，2×2像素的G滤光片的图中正面观察下的右上角的像素被分配为相位差像素。另外，在相位差像素间配置普通像素，2×2像素的G滤光片的剩余的像素被分配为普通像素。另外，在图7所示的例子中，在行方向上交替配置了第一像素L和第二像素R的相位差像素的行以2行为单位设成一组，各组沿列方向隔开预定像素数(图7所示的例子中为8个像素)量的间隔而配置。

如此，在滤色器21中，针对2×2像素的G滤光片的右上角部的像素设置遮光部件，在列方向和行方向上均隔开多个像素量的间隔而有规则地配置相位差像素。因此，在相位差像素的周围比较多地配置普通像素，因此能够提高根据普通像素的像素值对相位差像素的像素值进行插值的情况下的插值精度。并且，以在相位差像素间用于插值的普通像素不重复的方式配置有第一～第三像素组所包含的各像素，因此能够期待插值精度进一步提高。

返回到图3，摄像元件20从第一像素组输出第一图像(表示各第一像素L的像素值的数字信号)，从第二像素组输出第二图像(表示各第二像素R的像素值的数字信号)。另外，摄像元件20从第三像素组输出第三图像(表示各普通像素的像素值的数字信号)。另外，从第三像素组输出的第三图像是有彩色的图像，例如是与普通像素的排列相同的彩色排列的彩色图像。从摄像元件20输出的第一图像、第二图像和第三图像经由接口部24而暂时存储于存储器26中的易失性的存储区域。

图9示出了图像处理部28所包含的多个功能中的与本发明相关的主要部分功能的一例。如图9所示，图像处理部28包括图像获取部28A、视差计算部28B、生成部28C和变更部28D，由将图像处理所涉及的多个功能的电路汇总为一个而成的集成电路即ASIC(ApplicationSpecific Integrated Circuit：专用集成电路)所实现。不过，硬件结构不限于此，例如也可以是可编程逻辑装置、包含CPU、ROM和RAM的计算机等其他硬件结构。

图像获取部28A获取从摄像元件20输出的第一图像和第二图像。视差计算部28B算出表示由图像获取部28A获取的第一图像的各像素与第二图像的对应的像素之间的偏移量的视差。生成部28C基于从摄像元件20输出的第三图像来生成第一显示用图像，且基于由图像获取部28A获取的第一图像和第二图像来生成用于对焦确认的第二显示用图像。

变更部28D根据由视差计算部28B算出的视差来变更由生成部28C生成的第一显示用图像和第二显示用图像中的至少第二显示用图像的分辨率。例如，通过对摄像元件20的驱动方法进行变更而变更摄像元件20的输出像素数，并由此变更分辨率。在此，所谓对输出像素数进行变更是指变更分辨率。另外，这里所谓的“输出像素数”例如是指摄像元件20中所包含的像素中的用于摄像的像素(设为实际的输出对象，用于生成图像的像素)。

摄像元件20所包含的像素作为一例如图7所示以行列状进行配置，摄像元件20的输出像素能够以像素的行为单位进行变更。因此，变更部28D通过以行为单位使输出像素发生变更，而对输出像素数进行变更。

另外，变更部随着视差的减少而提高第一显示用图像和第二显示用图像中的至少第二显示用图像的分辨率。另外，在由视差计算部28B算出的视差为阈值以下的情况下，变更部28D使密度高于由视差计算部28B算出的视差超过阈值的情况下的密度，而变更输出像素数。这里所谓的“密度”，是指相位差像素的输出像素数相对于摄像元件20的输出像素数的比例，即摄像元件20的输出像素中的相位差像素的输出像素的密度。

另外，在由视差计算部28B算出的视差为阈值以下的情况下，变更部28D还通过根据视差的减少而提高密度来对输出像素数进行变更。

另外，在由视差计算部28B算出的视差超过阈值的情况下，变更部28D通过使密度低于由视差计算部28B算出的视差为阈值以下的情况下的密度来对输出像素数进行变更。另外，在由视差计算部28B算出的视差超过阈值的情况下，变更部28D还通过根据视差的增大而降低密度来对输出像素数进行变更。

变更部28D例如使用图10A所示的第一输出像素决定表29A和图10B所示的第二输出像素决定表29B来决定输出像素，从而对密度进行变更。

图10A示意性地示出了第一输出像素决定表29A的结构的一例。图10A所示的第一输出像素决定表29A在由视差计算部28B算出的视差为阈值以下的情况下使用。在本第一实施方式中，作为“阈值”，采用3个像素。第一输出像素决定表29A将密度[1/pixel]与视差[pixel]建立对应关系。在第一输出像素决定表29A中，作为视差的一例而采用0～3个像素，将密度A与0个像素和1个像素的视差建立对应关系，将密度B与2个像素的视差建立对应关系，将密度C与3个像素的视差建立对应关系。所谓密度A，例如是指关于摄像元件20的全部像素中的列方向以行为单位对应每1个像素以1个像素为输出像素的情况下的密度，即将摄像元件20所包含的全部像素作为输出像素的情况下的密度。所谓密度B，例如是关于摄像元件20的全部像素中的列方向以行为单位对应每2个像素以1个像素为输出像素的情况下的密度。所谓密度C，例如是关于摄像元件20的全部像素中的列方向以行为单位对应每3个像素以1个像素为输出像素的情况下的密度。

图10B示意性地示出了第二输出像素决定表29B的结构的一例。图10B所示的第二输出像素决定表29B在由视差计算部28B算出的视差超过阈值的情况下使用。第二输出像素决定表29B也与第一输出像素决定表29A同样地将密度[1/pixel]与视差[pixel]建立对应关系。在第二输出像素决定表29B中，作为视差的一例而采用4～6个像素。另外，在本第一实施方式中，由于视差计算部26B的视差的可计算范围的上限是6个像素，因此由第二输出像素决定表29B采用的视差的上限也设为6个像素。

在第二输出像素决定表29B中，将密度D与4个像素的视差建立对应关系，将密度E与5个像素和6个像素的视差建立对应关系。所谓密度D，例如是指关于摄像元件20的全部像素中的列方向以行为单位对应每4个像素以1个像素为输出像素的情况下的密度。所谓密度E，例如是指关于摄像元件20的全部像素中的列方向以行为单位对应每6个像素以1个像素为输出像素的情况下的密度。

另外，在本第一实施方式中，列举出了对密度进行变更的情况下使用第一输出像素决定表29A和第二输出像素决定表29B的例子，但是不限于此，也可以使用运算式。例如，也可以替代第一输出像素决定表29A，而使用将第一输出像素决定表29A所示的视差设为变量并将第一输出像素决定表29A所示的密度作为解的运算式(函数)。另外，也可以替代第二输出像素决定表29B，而使用将第二输出像素决定表29B所示的视差作为变量并将第二输出像素决定表29B所示的密度作为解的运算式(函数)。

图11示出了生成部28C所包含的功能的一例。如图11所示，生成部28C包括通常处理部30和裂像处理部32。通常处理部30通过对与第三像素组对应的R、G、B信号进行处理而生成作为第一显示用图像的一例的有彩色的普通图像。另外，裂像处理部32通过对与第一像素组和第二像素组对应的G信号进行处理而生成作为第二显示用图像的一例的无彩色的裂像。

返回到图3，编码器34将所输入的信号转换为其他形式的信号而输出。混合式取景器220具有显示电子像的LCD247。LCD247中的预定方向的像素数(作为一例是视差产生方向即行方向的像素数)比显示部213中的同方向的像素数少。显示控制部36A与显示部213连接，显示控制分36B与LCD247连接，通过对LCD247和显示部213选择性地进行控制，由LCD247或显示部213显示图像。另外，以下，在不必对显示部213和LCD247进行区别而说明的情况下称作“显示装置”。

另外，本第一实施方式所涉及的摄像装置100构成为能够由拔盘212(聚焦模式切换部)对手动聚焦模式和自动聚焦模式进行切换。若选择了任一个聚焦模式，则显示控制部36在显示装置显示对裂像进行合成而得到的即时预览图像。另外，若通过拔盘212选择了自动聚焦模式，则CPU12作为相位差检测部和自动调焦部而动作。相位差检测部对从第一像素组输出的第一图像和从第二像素组输出的第二图像的相位差进行检测。自动调焦部以基于检测出的相位差将摄影透镜16的散焦量设为零的方式由设备控制部22经由固定件256、346对透镜驱动部(省略图示)进行控制，使摄影透镜16移动到对焦位置。另外，上述的所谓“散焦量”例如是指第一图像和第二图像的相位偏移量。

目镜检测部37对人(例如摄影者)观察取景器目镜部242这一情况进行检测，将检测结果输出到CPU12。因此，CPU12能够基于目镜检测部37中的检测结果，对是否使用了取景器目镜部242进行掌握。

外部I/F39与LAN(Local Area Network)、互联网等通信网连接，经由通信网，对外部装置(例如打印机)和CPU12之间的各种信息的收发进行管理。因此，摄像装置100在作为外部装置连接有打印机的情况下，能够将拍摄到的静止图像输出到打印机而印刷。另外，摄像装置100在作为外部装置连接有显示器的情况下，能够将拍摄到的静止图像、即时预览图像输出到显示器而进行显示。

图12是表示第一实施方式所涉及的摄像装置100的主要部分功能的一例的功能框图。另外，与图3所示的框图共通的部分标注相同的附图标记。

通常处理部30和裂像处理部32分别具有WB增益部、伽马校正部和去马赛克算法处理部(省略图示)，对在存储器26暂时存储的原始的数字信号(RAW图像)以各处理部依次进行信号处理。即，WB增益部通过对R、G、B信号的增益进行调整而执行白平衡(WB)。伽马校正部对由WB增益部执行了WB后的各R、G、B信号进行伽马校正。去马赛克算法处理部进行与摄像元件20的滤色器的排列对应的颜色插值处理，生成去马赛克算法后的R、G、B信号。另外，通常处理部30和裂像处理部32每当由摄像元件20获取1个画面量的RAW图像时对该RAW图像并行地进行图像处理。

通常处理部30从接口部24输入R、G、B的RAW图像，作为一例如图13所示，利用第一像素组和第二像素组中的同色的周边像素(例如相邻的G像素)进行插值而生成第三像素组的R、G、B像素。由此，能够基于从第三像素组输出的第三图像来生成记录用的普通图像。

另外，通常处理部30将所生成的记录用的普通图像的图像数据输出到编码器34。由通常处理部30处理后的R、G、B信号由编码器34转换(编码)为记录用的信号，并记录于记录部40。另外，作为由通常处理部30处理后的基于第三图像的图像的显示用的普通图像被输出到显示控制部36。另外，以下，为了便于说明，在不必对上述的“记录用的普通图像”和“显示用的普通图像”进行区别而说明的情况下，将所谓“记录用的”的词句和所谓“显示用的”的词句省略而称作“普通图像”。

摄像元件20能够对第一像素组和第二像素组的各个曝光条件(作为一例是电子快门的快门速度)进行变更，从而能够同时获取曝光条件不同的图像。因此，图像处理部28能够基于曝光条件不同的图像来生成广动态范围的图像。另外，能够以相同的曝光条件同时获取多个图像，并能够通过对这些图像进行加算而生成噪声少的高灵敏度的图像，或者能够生成高分辨率的图像。

另一方面，裂像处理部32从暂且存储于存储器26的RAW图像提取第一像素组和第二像素组的G信号，基于第一像素组和第二像素组的G信号来生成无彩色的裂像。从RAW图像提取出的第一像素组和第二像素组的各个像素组如上述那样是基于G滤光片的像素的像素组。因此，裂像处理部32能够基于第一像素组和第二像素组的G信号来生成无彩色的左的视差图像和无彩色的右的视差图像。另外，以下，为了便于说明，将上述的“无彩色的左的视差图像”称作“左眼图像”，将上述的“无彩色的右的视差图像”称作“右眼图像”。

裂像处理部32通过对基于从第一像素组输出的第一图像的左眼图像和基于从第二像素组输出的第二图像的右眼图像进行合成而生成裂像。所生成的裂像的图像数据被输出到显示控制部36。

显示控制部36基于从通常处理部30输入的与第三像素组对应的记录用的图像数据和从裂像处理部32输入的与第一、第二像素组对应的裂像的图像数据，生成显示用的图像数据。例如，显示控制部36在由从通常处理部30输入的与第三像素组对应的记录用的图像数据所表示的普通图像的显示区域内，对由从裂像处理部32输入的图像数据所表示的裂像进行合成。并且，将合成而得到的图像数据输出到显示装置。即，显示控制部36A将图像数据输出到显示部213，显示控制部36B将图像数据输出到LCD247。

由裂像处理部32生成的裂像是对左眼图像的一部分和右眼图像的一部分进行合成而得到的多个分割的图像。作为这里所说的“多个分割的图像”，例如能够列举出图14A、13B所示的裂像。图14所示的裂像是对左眼图像中的上半部分的图像和右眼图像中的下半部分的图像进行合成而得到的图像，是沿上下方向分割成两部分而得到的图像间根据对焦状态而沿预定方向(例如视差产生方向)偏移后的图像。另外，裂像的方式不限于图14A、13B所示的例子，也可以是对与显示部213的预定区域的位置对应的位置的左眼图像的一部分和右眼图像的一部分进行合成而得到的图像。在该情况下，例如沿上下方向被分割成四部分而得到的图像间根据对焦状态而沿预定方向(例如视差产生方向)偏移。

在普通图像上合成裂像的方法不限于替代普通图像的一部分的图像而将裂像嵌入的合成方法。例如，也可以是在普通图像上重叠裂像的合成方法。另外，在对裂像进行重叠时，也可以是对重叠了裂像的普通图像的一部分的图像和裂像的透过率适当进行调整而重叠的合成方法。由此，表示连续地进行摄影的被摄体像的即时预览图像显示在显示装置的画面上，但是所显示的即时预览图像成为在普通图像的显示区域内显示有裂像的图像。

混合式取景器220包括OVF240和EVF248。OVF240是具有物镜244和目镜246的逆伽利略式取景器，EVF248具有LCD247、棱镜245和目镜246。

另外，在物镜244的前方配置有液晶快门243，液晶快门243以在使用EVF248时光学像不入射到物镜244的方式进行遮光。

棱镜245使显示在LCD247上的电子像或各种信息反射而导向目镜246，且对光学像和显示在LCD247上的信息(电子像、各种信息)进行合成。

在此，若使取景器切换杆214沿图1所示的箭头SW方向转动，则每当进行转动时交替地切换能够由OVF240对光学像进行视觉确认的OVF模式和能够由EVF248对电子像进行视觉确认的EVF模式。

显示控制部36B在OVF模式的情况下以液晶快门243成为非遮光状态的方式进行控制，能够从目镜部对光学像进行视觉确认。另外，在LCD247仅显示裂像。由此，能够显示在光学像的一部分重叠有裂像的取景器像。

另一方面，显示控制部36B在EVF模式的情况下以液晶快门243成为遮光状态的方式进行控制，能够从目镜部仅对显示在LCD247上的电子像进行视觉确认。另外，在LCD247，输入与对输出到显示部213的裂像进行合成而得到的图像数据同等的图像数据，由此，能够与显示部213同样地显示在普通图像的一部分合成有裂像的电子像。

图15示出了显示装置中的普通图像和裂像各自的显示区域的一例。作为一例，如图15所示，显示装置在被输入了普通图像和裂像的情况下，将所输入的裂像显示在画面中央部的实线矩形框或实线矩形框的内侧的虚线矩形框内(裂像的显示区域)。另外，显示装置将所输入的普通图像显示在裂像的外周区域(普通图像的显示区域)内。另外，在由视差计算部28B算出的视差超过阈值的情况下，裂像显示在虚线矩形框内(以下，称作“普通显示区域”)。另外，在由视差计算部28B算出的视差为阈值以下的情况下，裂像显示在实线矩形框内(以下，称作“扩大显示区域”)。另外，表示图12所示的画面中央部的扩大显示区域的外缘的线和表示普通显示区域的外缘的线实际上并不显示，但是在图12中为了便于说明而示出。

接下来，作为本第一实施方式的作用，针对每当输入第一～第三图像时由图像处理部28进行的图像生成输出处理，参照图16而进行说明。另外，在此，例示了由图像处理部28进行图像生成输出处理的情况，但是本发明不限于此，例如也可以通过由CPU12执行图像生成输出处理程序而由摄像装置100进行图像生成输出处理。

在图16中，在步骤400中，基于所输入的第三图像的普通图像由生成部28C生成并输出到预定的存储区域(例如存储器26)和显示控制部36。

在下一个步骤402中，首先，由图像获取部28B获取第一图像和第二图像。并且，由生成部28C生成基于第一图像和第二图像的左眼图像和右眼图像，基于所生成的左眼图像和右眼图像来生成裂像并输出到显示控制部36。若输入了由上述步骤400输出的普通图像和由上述步骤402输出的裂像，则显示控制部36对显示装置进行如下控制：使显示装置显示普通图像且在普通图像的显示区域内显示裂像。

如此，若由生成部28C进行上述步骤400、402，则作为一例，如图14A和图14B所示，在显示部213、混合式取景器220显示即时预览图像。在图14A和图14B所示的例子中，作为一例，在与图15所示的裂像的显示区域相当的画面中央的框60的内侧区域显示裂像，在与普通图像的显示区域相当的框60的外侧区域显示普通图像。

即，第一像素组和第二像素组与框60的尺寸对应而设置。裂像大致区分为与从第一像素组输出的第一图像对应的左眼图像中的框60的上半部分60A的图像(视差图像)和与从第二像素组输出的第二图像对应的右眼图像中的框60的下半部分60B的图像(视差图像)。

在此，针对与框60内的图像对应的被摄体，在摄影透镜16未对焦的情况下，如图14A所示，裂像的上半部分60A的视差图像和下半部分60B的视差图像的边界的图像沿视差产生方向(作为一例是行方向)偏移。另外，普通图像和裂像的边界的图像也沿视差产生方向偏移。这表示产生了相位差，摄影者能够对通过裂像而视觉性地产生了相位差这一情况及视差产生方向进行识别。

另一方面，针对与框60内的图像对应的被摄体，在摄影透镜16已对焦的情况下，如图14B所示裂像的上半部分60A的视差图像和下半部分60B的视差图像的边界的图像一致。另外，普通图像和裂像的边界的图像也一致。这表示没有产生相位差，摄影者能够对通过裂像而没有视觉性地产生相位差这一情况进行识别。

如此，摄影者能够利用显示于显示装置的裂像对摄影透镜16的对焦状态进行确认。另外，在手动聚焦模式时，通过对摄影透镜16的聚焦环302进行手动操作而能够将焦点的偏移量(散焦量)设为零。另外，能够分别以没有颜色偏移的彩色图像对普通图像和裂像进行显示，能够由彩色的裂像对基于摄影者的手动的调焦进行支援。

在下一个步骤403中，由视差计算部28B对视差计算时期是否到来进行判定。视差计算时期由计算视差的每个特定的周期(视差计算周期)所规定，作为视差计算周期，例如能够列举出本图像生成输出处理每进行预定次数(例如100次)的周期。另外，不限于此，例如也可以是从前次进行了本图像生成输出处理起每预定时间的周期。在本步骤403中，在视差计算时期没有到来的情况下作出否定判定而结束本图像生成输出处理。在本步骤408中在视差计算时期到来的情况下作出肯定判定而向步骤404转移。

在下一个步骤404中，由视差计算部28B对由上述步骤402生成的裂像中的视差计算对象的像素(关注像素(i，j))进行设定。在该情况下，例如，在裂像的尺寸是m×n像素的情况下，从像素(1，1)到像素(m，n)，每当执行本步骤404时依次使关注像素移动。

在下一个步骤406中，由视差计算部28B，对以由步骤404设定的关注像素(i，j)为基准的像素组即预定的区块尺寸[Cx×Cy][pixel]的像素组进行提取。

在下一个步骤410中，由视差计算部28B算出表示与由上述步骤406提取出的左眼图像的各像素相对的由上述步骤406提取出的右眼图像的对应的像素之间的偏移量的视差。

在步骤410中，图像处理部28例如首先以由上述步骤406提取出的左眼图像的像素组为基础，从右眼图像内探索特征点一致的像素组。即，对从左眼图像提取出的像素组(区块)和右眼图像中的与从左眼图像提取出的像素组(区块)对应的右眼图像内的区块的一致度进行评价。并且，将区块间的一致度最大时的右眼图像的区块的基准的像素设为与左眼图像的关注像素对应的右眼图像的对应点的像素。在本第一实施方式中，使用区块匹配法对区块间的一致度进行评价，作为对一致度进行评价的函数，例如具有使用各区块内的像素的亮度差的平方和(SSD)的函数(SSD区块匹配法)。

在SSD区块匹配法中，关于成为比较对象的两图像的区块内的各像素f(i，j)、g(i，j)，进行下式的运算。

[数学式1]

$\mathrm{SSD}=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{\{f(i,j)-g(i,j)\}}^2$

一边在右眼图像上使区块的位置在预定的探索区域内移动一边进行上述[数学式1]的运算，将SSD值最小时的探索区域内的位置的像素设为探索对象的像素。并且，算出表示左眼图像上的关注像素和探索出的对应的右眼图像上的像素的像素间的偏移量的视差。

在下一个步骤412中，由变更部28D对由上述步骤410算出的视差是否为阈值以下进行判定。在本步骤412中视差为阈值以下的情况下作出肯定判定而向步骤414转移。

在步骤414中，由变更部28D进行高分辨率化处理，其后，向步骤416转移。所谓高分辨率化处理，是指使显示在显示装置上的图像的分辨率高于视差超过阈值的情况下显示在显示装置上的图像的分辨率的处理。图17示出了高分辨率化处理的流程的一例。在图17所示的步骤414A中，由变更部28D对当前所使用的分辨率是否不是最高分辨率进行判定。这里所说的“最高分辨率”，例如是指将摄像元件20所包含的全部像素设为输出像素的情况下(密度A的情况下)的分辨率。在本步骤414A中是最高分辨率的情况下作出否定判定而结束本高分辨率化处理，且结束图像生成输出处理。在本步骤414A中不是最高分辨率的情况下作出肯定判定而向步骤414B转移。

步骤414B中，由变更部28D对分辨率的变更是否必要进行判定。例如，在由上述步骤410算出的视差与前次算出的视差不同的情况下，判定为需要变更分辨率，在由上述步骤410算出的视差与前次算出的视差相同的情况下，判定为不需要变更分辨率。在本步骤414B中，在不需要变更分辨率的情况下，作出否定判定而结束本高分辨率化处理，且结束图像生成输出处理。在本步骤414B中，在需要变更分辨率的情况下，作出肯定判定而向步骤414C转移。

在步骤414C中，由变更部28D按照第一输出像素决定表29A对密度进行变更。并且，若由变更部28D进行了本步骤414C，则结束本高分辨率化处理。另外，变更部28D通过对摄像元件20进行经由CPU12和设备控制部22使摄像元件20所包含的像素选择性地进行驱动的控制，从而变更密度。

图18示出了图10所示的例子中视差为3个像素的情况下的输出像素的配置的一例。如图18所示，在由上述步骤410算出的视差是3个像素的情况下，通过进行上述步骤414C，而关于摄像元件20所包含的全部像素中的列方向以行为单位对应每3个像素出现输出像素。在该情况下，作为输出像素的相位差像素的数目作为一例如图18所示，设为摄像元件20所包含的全部相位差像素的数目的1/2。另外，在该情况下，也包含普通像素的输出像素数成为摄像元件20所包含的全部像素的数目的1/3，因此与将摄像元件20所包含的全部像素设为输出像素的情况相比，功率消耗降低到1/3左右。

图19示出了图10所示的例子中视差为2个像素的情况下的输出像素的配置的一例。如图19所示，在由上述步骤410算出的视差为2个像素的情况下，通过进行上述步骤414C，关于摄像元件20所包含的全部像素中的列方向以行为单位对应每2个像素出现输出像素。在该情况下，作为输出像素的相位差像素的数目作为一例如图19所示，成为摄像元件20所包含的全部相位差像素的数目。即，即使关于摄像元件20所包含的全部像素中的列方向以行为单位对应每2个像素出现输出像素，相位差像素的数目也不减少。在此，相位差像素的数目不减少是因为，将相位差像素预先配置于摄像元件20，使得即使关于摄像元件20所包含的全部像素中的列方向以行为单位对应每2个像素出现输出像素，相位差像素也不减少。另外，在关于摄像元件20所包含的全部像素中的列方向以行为单位对应每2个像素出现输出像素的情况下，也包含普通像素的输出像素数成为摄像元件20所包含的全部像素的数目的1/2。因此，与将摄像元件20所包含的全部像素设为输出像素的情况相比，功率消耗降低到1/2左右。

另外，将摄像元件20所包含的全部像素设为输出像素的情况下的相位差像素的数目与关于摄像元件20所包含的全部像素中的列方向以行为单位对应每2个像素设为输出像素的情况相同。不过，普通像素的数目增加。因此，将摄像元件20所包含的全部像素设为输出像素的情况下的密度与关于摄像元件20所包含的全部像素中的列方向以行为单位对应每2个像素设为输出像素的情况下的密度相比较低。如此，将摄像元件20所包含的全部像素设为输出像素的情况下的分辨率与关于全部像素中的列方向以行为单位对应每2个像素设为输出像素的情况下的分辨率相比，关于裂像不发生变化，但是关于普通图像变高。

返回到图16，在步骤416中，对当前时刻裂像是否显示在普通显示区域进行判定。这里所谓的“显示在普通显示区域”，例如是指利用图15所示的普通显示区域的全部区域来显示裂像。相反，所谓“不显示在普通显示区域”例如是指利用图15所示的扩大显示区域的全部区域来显示裂像。在本步骤416中在裂像显示在普通显示区域的情况下作出肯定判定而向步骤418转移。在本步骤416中，在裂像不显示在普通显示区域的情况下作出否定判定而向步骤420转移。

在步骤418中，由变更部28D将显示裂像的区域从普通显示区域向扩大显示区域变更，其后，向步骤420转移。若进行了本步骤418，则将裂像显示在扩大显示区域，普通图像的显示区域变窄裂像的显示区域扩大了的量。

另一方面，在步骤412中，在由上述步骤410算出的视差不为阈值以下的情况下(视差超过阈值的情况下)作出否定判定而向步骤422转移。

在步骤422中，由变更部28D进行低分辨率化处理，其后，向步骤424转移。所谓低分辨率化处理，是指与视差为阈值以下的情况下显示在显示装置的图像的分辨率相比降低显示在显示装置的图像的分辨率的处理。在图20所示的步骤422A中，由变更部28D对当前时刻所使用的分辨率是否不为最低分辨率进行判定。这里所谓的“最低分辨率”，是指在本低分辨率化处理中成为变更对象的分辨率中的最低的分辨率，例如关于摄像元件20所包含的全部像素中的列方向以行为单位对应每4个像素以1个像素作为输出像素的情况下(密度D的情况下)的分辨率。在本步骤422A中在最低分辨率的情况下作为否定判定而结束本低分辨率化处理，且结束图像生成输出处理。在本步骤422A中，在不是最低分辨率的情况下作为肯定判定而向步骤422B转移。

在步骤422B中，由变更部28D对是否需要变更分辨率进行判定。例如，在由上述步骤410算出的视差与前次算出的视差不同的情况下，判定为需要变更分辨率，在由上述步骤410算出的视差与前次算出的视差相同的情况下判定为不需要变更分辨率。在本步骤422B中，在不需要变更分辨率的情况下作为否定判定而结束本高分辨率化处理，且结束图像生成输出处理。在本步骤422B中，在需要变更分辨率的情况下作出肯定判定而向步骤422C转移。

在步骤422C中，由变更部28D按照第二输出像素决定表29B对密度进行变更。并且，若由变更部28D进行了本步骤422C，则结束本低分辨率化处理。

图21示出了图10所示的例子中视差为4个像素的情况下的输出像素的配置的一例。如图21所示，在由上述步骤410算出的视差为4个像素的情况下，通过进行上述步骤422C，关于摄像元件20所包含的全部像素中的列方向以行为单位对应每4个像素出现输出像素。在该情况下，作为输出像素的相位差像素的数目作为一例如图21所示，成为摄像元件20所包含的全部相位差像素的数目。即，即使关于摄像元件20所包含的全部像素中的列方向以行为单位对应每4个像素出现输出像素，相位差像素的数目也不减少。在此，相位差像素的数目不减少是因为，将相位差像素预先配置于摄像元件20，使得即使关于摄像元件20所包含的全部像素中的列方向以行为单位对应每4个像素出现输出像素，相位差像素也不减少。另外，在关于摄像元件20所包含的全部像素中的列方向以行为单位对应每4个像素出现输出像素的情况下，也包含普通像素的输出像素数成为摄像元件20所包含的全部像素的数目的1/4。因此，与将摄像元件20所包含的全部像素设为输出像素的情况相比，功率消耗降低为1/4左右。

图22示出了图10所示的例子中视差为6个像素的情况下的输出像素的配置的一例。如图22所示，在由上述步骤410算出的视差是6个像素的情况下，通过进行上述步骤422C，关于摄像元件20所包含的全部像素中的列方向以行为单位对应每6个像素出现输出像素。在该情况下，作为输出像素的相位差像素的数目作为一例如图22所示，成为摄像元件20所包含的全部相位差像素的数目的1/2。另外，在该情况下，也包含普通像素的输出像素数成为摄像元件20所包含的全部像素的数目的1/6，因此与将摄像元件20所包含的全部像素设为输出像素的情况相比，功率消耗降低到1/6左右。

另外，在由上述步骤410算出的视差是5个像素的情况下，通过进行上述步骤422C，关于摄像元件20所包含的全部像素中的列方向以行为单位对应每5个像素出现输出像素。在该情况下，作为输出像素的相位差像素的数目成为摄像元件20所包含的全部相位差像素的数目的1/2。另外，在该情况下，也包含普通像素的输出像素数成为摄像元件20所包含的全部像素的数目的1/5，因此与将摄像元件20所包含的全部像素设为输出像素的情况相比，功率消耗降低到1/5左右。

返回到图16，在步骤424中，由变更部28D对当前时刻裂像是否显示在扩大显示区域进行判定。这里所谓的“显示在扩大显示区域”，例如是指利用图15所示的扩大显示区域的全部区域来显示裂像。相反，所谓“不显示在扩大显示区域”，例如是指利用图15所示的普通显示区域的全部区域来显示裂像。在本步骤424中，在裂像显示在扩大显示区域的情况下作出肯定判定而向步骤426转移。

在步骤426中，由变更部28D将显示裂像的区域从扩大显示区域向普通显示区域变更，其后，向步骤420转移。若进行了本步骤426，则裂像显示在普通显示区域，普通图像的显示区域变宽裂像的显示区域缩小了的量。

在步骤420中，由变更部28D进行设定内容变更处理，其后，向步骤422转移。所谓设定内容变更处理是指对针对摄像装置100的设定的内容进行变更的处理。

图23示出了设定内容变更处理的流程的一例。在图23所示的设定内容变更处理中，首先，在步骤420A中，由变更部28D对针对摄像元件20在当前时刻设定的驱动频率是否为与由视差计算部28B算出的最新的视差对应的驱动频率进行判定。这里所谓的“最新的视差”，例如是指由上述步骤410算出的最新的视差。在本步骤420A中，在摄像元件20的驱动频率不为与由视差计算部28B算出的最新的视差对应的驱动频率的情况下作出否定判定而向步骤420C转移。在本步骤420A中，在摄像元件20的驱动频率是与由视差计算部28B算出的最新的视差对应的驱动频率的情况下作出肯定判定而向步骤420B转移。

在步骤420B中，由变更部28D将当前时刻作为摄像元件20的驱动频率而设定的驱动频率变更为与由视差计算部28B算出的最新的视差对应的驱动频率。在此，由视差计算部28B算出的视差越大，则驱动频率设定得越高。另外，在此，将视差和驱动频率的关系作为表而预先准备，按照该表，导出驱动频率，设定所导出的驱动频率。另外，也可以替代表，而使用将视差作为变量且将驱动频率作为解的运算式来算出驱动频率。

在下一个步骤420C中，由变更部28D对当前时刻所设定的帧率是否为与由视差计算部28B算出的最新的视差对应的帧率进行判定。这里所谓的“最新的视差”，例如是指由上述步骤410算出的最新的视差。在本步骤420C中，在帧率不为与由视差计算部28B算出的最新的视差对应的帧率的情况下作出否定判定而向步骤420E转移。在本步骤420C中，在帧率是与由视差计算部28B算出的最新的视差对应的帧率的情况下，作出肯定判定而向步骤420D转移。

在步骤420D中，由变更部28D将显示装置中成为显示对象的图像(这里作为一例是普通图像和裂像)的当前时刻的帧率变更为与由视差计算部28B算出的最新的视差对应的帧率。在此，由视差计算部28B算出的视差越小，则帧率设定得越高。另外，在此将视差和帧率的关系作为表而预先准备，按照该表导出帧率，对所导出的帧率进行设定。另外，也可以替代表而使用以视差为变量并以帧率为解的运算式算出帧率。

在下一个步骤420E中，由变更部28D对视差计算周期是否为与由视差计算部28B算出的最新的视差对应的视差计算周期进行判定。这里所谓的“最新的视差”，例如是指由上述步骤410算出的最新的视差。在本步骤420E中，在视差计算周期不为与由视差计算部28B算出的最新的视差对应的视差计算周期的情况下，作出否定判定而结束本设定内容变更处理。在本步骤420E中，在视差计算周期是与由视差计算部28B算出的最新的视差对应的视差计算周期的情况下，作出肯定判定而向步骤420F转移。

在步骤420F中，由变更部28D将当前时刻的视差计算周期变更为与由视差计算部28B算出的最新的视差对应的视差计算周期，其后，结束本设定内容变更处理。在此，由视差计算部28B算出的视差越大，则视差计算周期设定得越长。换言之，由视差计算部28B算出的视差越小，则视差计算周期越短。另外，在此，将视差和视差计算周期的关系作为表而预先准备，按照该表导出视差计算周期，设定所导出的视差计算周期。另外，也可以替代表而使用以视差为变量且以视差计算周期为解的运算式来算出视差计算周期。

如以上说明的那样，在本第一实施方式所涉及的摄像装置100中，根据由视差计算部28B算出的视差来变更由生成部28C生成的普通图像的分辨率和裂像的分辨率。因此，本第一实施方式所涉及的摄像装置100与不具有本结构的情况相比，能够设为与对焦的程度对应的处理速度和分辨率。另外，也能够抑制普通图像的分辨率和裂像的分辨率过与不足的情形的发生。

另外，在本第一实施方式所涉及的摄像装置100中，按照视差的减少提高分辨率。因此，本第一实施方式所涉及的摄像装置100与不具有本结构的情况相比，能够随着对焦的程度变小而实现处理(例如输出像素的读出处理)的高速化，且能够随着对焦的程度变大而提高分辨率。

另外，在本第一实施方式所涉及的摄像装置100中，通过对摄像元件20的驱动方法进行变更而变更输出像素数，从而能够变更普通图像的分辨率和裂像的分辨率。因此，本第一实施方式所涉及的摄像装置100与不具有本结构的情况相比，能够以简单的控制变更分辨率。另外，与不具有本结构的情况相比，能够以简单的控制抑制普通图像的分辨率和裂像的分辨率过与不足的情形的发生。

另外，在本第一实施方式所涉及的摄像装置100中，摄像元件20的输出像素能够以摄像元件20所包含的全部像素的行为单位进行变更，能够由变更部28D以行为单位变更输出像素，从而变更分辨率。因此，本第一实施方式所涉及的摄像装置100与不具有本结构的情况相比，能够以简单的控制变更分辨率。

另外，在本第一实施方式所涉及的摄像装置100中，在以行为单位对输出像素进行变更的情况下，在列方向上以第一预定间隔的行为单位变更输出像素。因此，本第一实施方式所涉及的摄像装置100与不具有本结构的情况相比，能够将输出像素的变更所涉及的控制设为简便的控制。

另外，本第一实施方式所涉及的摄像装置100作为上述的第一预定间隔，采用第一像素组和第二像素组所包含的输出像素的数目以行为单位进行变更的间隔。因此，本第一实施方式所涉及的摄像装置100与不具有本结构的情况相比，能够以简单的控制变更裂像的分辨率。

另外，在本第一实施方式所涉及的摄像装置100中，上述的第一预定间隔根据视差的减少而变窄。因此，本第一实施方式所涉及的摄像装置100与不具有本结构的情况相比，能够对由于视差的减少而使得第二显示用图像的视觉确认性降低这一情况进行抑制。

另外，在本第一实施方式所涉及的摄像装置100中，通过变更摄像元件20的输出像素中的第一像素组和第二像素组的输出像素的密度，而变更输出像素数。因此，本第一实施方式所涉及的摄像装置100与不具有本结构的情况相比，能够以简单的控制设为与对焦的程度对应的处理速度和裂像的分辨率。另外，与不具有本结构的情况相比，能够以简单的控制抑制裂像的分辨率过与不足的情形的发生。

另外，在本第一实施方式所涉及的摄像装置100中，在由视差计算部28B算出的视差为阈值以下的情况下，通过使密度高于由视差计算部28B算出的视差超过阈值的情况下的密度，从而能够对输出像素数进行变更。因此，本第一实施方式所涉及的摄像装置100与不具有本结构的情况相比，能够抑制视差为阈值以下的情况下裂像的分辨率不足的情形的发生。

另外，在本第一实施方式所涉及的摄像装置100中，在由视差计算部28B算出的视差为阈值以下的情况下，密度根据视差的减少而提高。因此，本第一实施方式所涉及的摄像装置100与不具有本结构的情况相比，能够高精度地抑制视差为阈值以下的情况下裂像的分辨率不足的情形的发生。

另外，在本第一实施方式所涉及的摄像装置100中，在由视差计算部28B算出的视差超过阈值的情况下，通过使密度低于由视差计算部28B算出的视差为阈值以下的情况下的密度，而变更输出像素数。因此，本第一实施方式所涉及的摄像装置100与不具有本结构的情况相比，能够抑制在视差超过阈值的情况下裂像的分辨率过剩的情形的发生。

另外，在本第一实施方式所涉及的摄像装置100中，在由视差计算部28B算出的视差超过阈值的情况下，密度根据视差的增大而降低。因此，本第一实施方式所涉及的摄像装置100与不具有本结构的情况相比，能够高精度地抑制视差超过阈值的情况下裂像的分辨率过剩的情形的发生。

另外，在本第一实施方式所涉及的摄像装置100中，在分辨率超过预定值而提高的情况下，从普通显示区域向扩大显示区域变更。因此，本第一实施方式所涉及的摄像装置100与不具有本结构的情况相比，能够提高裂像的视觉确认性。另外，在本第一实施方式中，作为上述的“预定值”，能够适用通过适用与相当于阈值的视差对应的密度而实现的分辨率，但是不限于此，也可以是其他值。例如，也可以是通过适用与2～4个像素的视差中的预先规定的视差对应的密度而实现的分辨率。

另外，在本第一实施方式所涉及的摄像装置100中，在将裂像的显示区域扩大的状态下将分辨率降低为预定值以下的情况下，裂像的显示区域的大小返回为通常时的大小。因此，本第一实施方式所涉及的摄像装置100与不具有本结构的情况相比，能够抑制裂像的视觉确认性的降低。

另外，在本第一实施方式所涉及的摄像装置100中，根据由视差计算部28B算出的视差来变更作为显示对象的图像的帧率。因此，本第一实施方式所涉及的摄像装置100由此与不具有本结构的情况相比，能够设为与对焦的程度对应的帧率。另外，与不具有本结构的情况相比，能够抑制帧率过与不足的情形的发生。

另外，在本第一实施方式所涉及的摄像装置100中，根据由视差计算部28B算出的视差对视差计算部28B的视差的计算频率进行变更。因此，本第一实施方式所涉及的摄像装置100与不具有本结构的情况相比，能够设为与对焦的程度对应的计算频率。另外，与不具有本结构的情况下相比，能够抑制计算频率过与不足的情形的发生。

另外，在本第一实施方式所涉及的摄像装置100中，根据由视差计算部28B算出的视差来变更摄像元件20的驱动频率。因此，本第一实施方式所涉及的摄像装置100与不具有本结构的情况相比，能够将摄像元件20的驱动频率设为与对焦的程度对应的驱动频率。另外，与不具有本结构的情况相比，能够抑制摄像元件20的驱动频率过与不足的情形的发生。

另外，在上述第一实施方式中，列举了关于摄像元件20所包含的全部像素中的列方向以行为单位对应每4个像素以1个像素为输出像素而使用的例子(参照图21)，但是通过以行为单位和以列为单位对输出像素进行规定，也可以实现与图21所示的例子相同的密度。在该情况下，如例如图24所示，关于摄像元件20所包含的全部像素中的列方向以行为单位对应每2个像素以1个像素为输出像素，且关于摄像元件20所包含的全部像素中的行方向以列为单位对应每2个像素以1个像素为输出像素。由此，能够实现与图21所示的例子相同的密度。在采用图24所示的输出像素的状态下，由视差计算部28B作为视差算出2个像素的情况下，将特定的输出像素无效化。即，将关于摄像元件20所包含的全部像素中的行方向以列为单位规定的输出像素无效化。由此，能够实现与图19所示的例子相同的密度。另外，这里所谓的“无效化”，是指摄像中不使用输出像素(不设为实际的输出对象，且不用于图像的生成)。

另外，在上述第一实施方式中，将视差计算部28B的视差可计算范围的上限设为6个像素，但是作为视差可计算范围的上限也可以采用超过6个像素的像素数。在该情况下，通过以行为单位和以列为单位对输出像素进行规定，也能够扩宽密度的范围。在例如图25所示的例子中，关于摄像元件20所包含的全部像素中的列方向以行为单位对应每4个像素以1个像素为输出像素，且关于摄像元件20所包含的全部像素中的行方向以列为单位对应每2个像素以1个像素为输出像素。由此，能够实现比关于摄像元件20所包含的全部像素中的列方向以行为单位对应每6个像素以1个像素为输出像素的情况下的密度低的密度。

另外，在上述第一实施方式中，列举了关于摄像元件20所包含的全部像素中的列方向以行为单位变更输出像素的情况下的例子进行了说明，但是不限于此，也可以关于摄像元件20所包含的全部像素中的行方向以列为单位变更输出像素。在该情况下，为了显示裂像，以在输出像素中以列为单位包含相位差像素的方式将相位差像素预先配置于预定的位置，这是不言而喻的。另外，关于根据视差的减少而提高密度的方面也与上述第一实施方式同样。另外，也可以使密度与行单位、列单位无关而关于预定方向对应每个预定像素数规定输出像素。在该情况下为了显示裂像，以输出像素中包含相位差像素的方式将相位差像素预先配置于预定的位置，这是不言而喻的。

另外，在上述第一实施方式中，关于由视差计算部28B算出的视差是5个像素的情况和6个像素的情况适用相同的密度(密度E)，但是不限于此，也可以在视差为5个像素的情况下和6个像素的情况下变更密度。在该情况下，替代图10B所示的第二输出像素决定表29B，作为一例使用图26所示的第二输出像素决定表29C即可。图26所示的第二输出像素决定表29C与图10B所示的第二输出像素决定表29B相比，在将密度F与5个像素的视差建立对应关系的方面不同。所谓密度F，例如是指关于摄像元件20的全部像素中的列方向以行为单位对应每5个像素以1个像素为输出像素的情况下的密度。不过，如果优先使全部相位差像素与G滤光片对应而使检测精度一致，则优选为不使用第二输出像素决定表29C而使用第二输出像素决定表29B。如果优先尽可能细致地对普通图像的分辨率阶段式地进行调节，则优选为不使用第二输出像素决定表29B而使用第二输出像素决定表29C。

另外，在上述第一实施方式中，列举了针对2×2像素的G滤光片配置单一的相位差像素的形态例而进行了说明，但是不限于此，例如也可以针对2×2像素的G滤光片配置一对第一像素L和第二像素R。例如，可以如图27所示，针对2×2像素的G滤光片配置沿行方向相邻的一对第一像素L和第二像素R。另外，例如也可以如图28所示针对2×2像素的G滤光片配置沿列方向相邻的一对第一像素L和第二像素R。任何情况下均优选为如在由上述第一实施方式说明的那样，使第一像素L和第二像素R的位置在第一像素组和第二像素组之间关于列方向和行方向的至少一方在预定像素数内对齐。另外，图27和图28示出了如下例子：将第一像素L和第二像素R配置于使第一像素组和第二像素组之间关于列方向和行方向的各个方向的位置在1个像素内对齐的位置。

另外，在上述第一实施方式中，虽然例示了具有基本排列图案C的滤色器21，但是本发明不限于此。例如，也可以如图29～32所示将滤色器的原色(R滤光片、G滤光片、B滤光片)的排列设为拜耳排列。在图29～图31所示的例子中，针对G滤光片配置有相位差像素。

作为一例，在图29所示的滤色器21A中，在将3×3像素的正方行列的四角和中央设为G滤光片的排列图案G1的中央配置有相位差像素。另外，第一像素L和第二像素R关于行方向和列方向的各个方向跳过1个像素量的G滤光片(在之间配置1个像素量的G滤光片)而交替地配置。另外，第一像素L和第二像素R配置于在第一像素组和第二像素组之间使列方向和行方向的各个方向上的位置在1个像素内对齐的位置。由此，能够利用基于排列图案G1的四角的普通像素的图像对基于排列图案G1的中央的相位差像素的图像进行插值，因此与不具有本结构的情况相比，能够提高插值精度。

并且，各排列图案G1彼此位置不重复。即，对于第一像素L和第二像素R而言，利用第三图像进行插值的第一图像和第二图像所包含的像素以像素为单位配置于不重复的位置，该第三图像基于与第一像素组和第二像素组所包含的各像素相邻的第三像素组所包含的像素。因此，能够避免利用在基于其他相位差像素的图像的插值中被利用了的基于普通像素的图像对基于相位差像素的图像进行插值这一情况。由此，能够期待插值精度进一步提高。

作为一例，在图30所示的滤色器21B中，在排列图案G1的中央和图中正面观察下的右下角配置有相位差像素。另外，第一像素L和第二像素R关于行方向和列方向的各个方向跳过2个像素量的G滤光片(在之间配置2个像素量的G滤光片)交替地配置。由此，第一像素L和第二像素R配置于在第一像素组和第二像素组之间使列方向和行方向的各个方向上的位置在1个像素内对齐的位置，能够使第一像素L和第二像素R相邻。由此，能够抑制因焦点偏移以外的要因而产生图像偏移这一情况。

并且，由于各相位差像素与设置了同色的滤光片(G滤光片)的普通像素相邻，因此能够提高插值精度。此外，各排列图案G1彼此位置不重复。即，对于第一像素L和第二像素R而言，利用第三图像进行插值的第一图像和第二图像所包含的像素以一对像素为单位配置于不重复的位置，该第三图像基于与第一像素组和第二像素组所包含的各像素相邻的第三像素组所包含的像素。这里所说的“一对像素”例如是指各排列图案G1所包含的第一像素L和第二像素R(一对相位差像素)。因此，能够避免利用在基于其他一对相位差像素的图像的插值中被利用了的基于普通像素的图像对基于一对相位差像素的图像进行插值这一情况。由此，能够期待插值精度进一步提高。

作为一例，图31所示的滤色器21C在排列图案G1的中央配置有第一像素L，在图中正面观察下的右下角配置有第二像素R。另外，第一像素L关于行方向和列方向的各个方向跳过2个像素量的G滤光片而配置，第二像素R也关于行方向和列方向的各个方向跳过2个像素量的G滤光片而配置。由此，第一像素L和第二像素R能够配置于在第一像素组和第二像素组之间使列方向和行方向的各个方向上的位置在2个像素内对齐的位置，并能够使第一像素L和第二像素R相邻。由此，能够抑制因焦点偏移以外的要因而产生图像偏移这一情况。

并且，在图31所示的例子中，也与图30所示的例子同样，各排列图案G1彼此位置不重复。因此，能够避免利用在基于其他相位差像素的图像的插值中被利用了的基于普通像素的图像对基于相位差像素的图像进行插值这一情况。由此，能够期待插值精度更进一步提高。

另外，作为滤色器的其他结构例，例如能够列举出图32所示的滤色器21D。图32示意性地示出了设置于摄像元件20的滤色器21D的原色(R滤光片、G滤光片、B滤光片)的排列和遮光部件的配置的一例。在图32所示的滤色器21D中，第一～第四行排列关于列方向重复而配置。所谓第一行排列是指沿行方向将B滤光片和G滤光片交替地配置而得到的排列。所谓第二行排列是指将第一行排列沿行方向错开半个间距(半个像素量)而得到的排列。所谓第三行排列是指沿行方向将G滤光片和R滤光片交替地配置而得到的排列。所谓第四行排列是指将第三行排列沿行方向错开半个间距而得到的排列。

第一行排列和第二行排列关于列方向错开半个间距而相邻。第二行排列和第三行排列也关于列方向错开半个间距而相邻。第三行排列和第四行排列也关于列方向错开半个间距而相邻。第四行排列和第一行排列也关于列方向错开半个间距而相邻。因此，第一～第四的各行排列关于列方向对应每2个像素而重复出现。

第一像素L和第二像素R作为一例如图32所示被分配到第三和第四行排列。即，第一像素L被分配到第三行排列，第二像素R被分配到第四行排列。另外，第一像素L和第二像素R彼此相邻(最小间距)而成对配置。另外，在图32所示的例子中，第一像素L关于行方向和列方向的各个方向对应每6个像素被分配，第二像素R也关于行方向和列方向的各个方向对应每6个像素被分配。由此，第一像素组和第二像素组的相位差与不具有本结构的情况相比，能够高精度地算出。

另外，在图32所示的例子中，向第一像素L和第二像素R分配G滤光片。设置有G滤光片的像素与设置有其它色的滤光片的像素相比，灵敏度较好，因此能够提高插值精度。并且，G滤光片与其它色的滤光片相比，由于存在连续性，因此分配了G滤光片的像素与分配了其它色的滤光片的像素相比，插值变得容易。

另外，在上述第一实施方式中，例示了沿上下方向分割成两部分的裂像，但是不限于此，也可以将沿左右方向或倾斜方向分割成多个的图像作为裂像而适用。

例如，图33所示的裂像66a由与行方向平行的多个分割线63a分割为奇数行和偶数行。在该裂像66a中，基于从第一像素组输出的输出信号生成的行状(作为一例为长条状)的相位差图像66La在奇数行(也可以是偶数行)上显示。另外，基于从第二像素组输出的输出信号生成的行状(作为一例是长条状)的相位差图像66Ra在偶数行上显示。

另外，图34所示的裂像66b由在行方向上具有倾斜角的分割线63b(例如裂像66b的对角线)分割成两部分。在该裂像66b中，基于从第一像素组输出的输出信号生成的相位差图像66Lb显示在一方的区域。另外，基于从第二像素组输出的输出信号生成的相位差图像66Rb显示在另一方的区域。

另外，图35A和图35B所示的裂像66c由分别与行方向和列方向平行的格子状的分割线63c分割。在裂像66c中，基于从第一像素组输出的输出信号生成的相位差图像66Lc以棋盘式格纹图案(方格花纹图案)状排列而显示。另外，基于从第二像素组输出的输出信号生成的相位差图像66Rc以棋盘式格纹图案状排列而显示。

此外，不限于裂像，也可以根据两个相位差图像生成其他对焦确认图像，并对对焦确认图像进行显示。例如，也可以将两个相位差图像重叠而合成显示，在焦点偏移的情况下作为二重像而显示，在焦点对合的状态下清晰地显示图像。

另外，由上述第一实施方式说明的图像生成输出处理的流程(参照图16)、高分辨率化处理的流程(参照图17)、低分辨率化处理的流程(参照图20)和设定内容变更处理的流程(参照图23)不过是一例。因此，在不脱离主旨的范围内也可以删除不需要的步骤、增加新的步骤或更换处理顺序，这是不言而喻的。另外，由上述第一实施方式说明的图像生成输出处理所包含的各处理能够通过执行程序，利用计算机由软件结构所实现，也可以由其他硬件结构所实现。另外，也可以通过硬件结构和软件结构的组合而实现。

在通过由计算机执行程序而实现由上述第一实施方式说明的图像生成输出处理的情况下，将程序预先存储于预定的存储区域(例如存储器26)即可。另外，不必从最初存储于存储器26。例如，也可以在与计算机连接而使用的SSD(Solid State Drive)、CD－ROM、DVD盘、光磁盘、IC卡等任意的“移动型的存储介质”中首先存储程序。并且，也可以使计算机从这些移动型的存储介质获取程序而执行。另外，也可以经由互联网、LAN(Local Area Network)等在与计算机连接的其他计算机或者服务器装置等中存储各程序，并由计算机从这些装置中获取程序而执行。

[第二实施方式]

在上述第一实施方式中，例示了摄像装置100，但是作为摄像装置100的变形例的移动终端装置，可以列举例如具有相机功能的手机、智能手机、PDA(Personal Digital Assistants：个人数字助理)及便携式游戏机等。在本第二实施方式中，以智能手机举例，并参照附图详细地进行说明。

图36是表示智能手机500的外观的一例的立体图。图36所示的智能手机500具有平板状的壳体502，并在壳体502的一个面上具备作为显示部的显示面板521与作为输入部的操作面板522成为一体的显示输入部520。另外，壳体502具备：扬声器531、话筒532、操作部540及相机部541。另外，壳体502的结构不限定于此，例如，也能够采用显示部与输入部独立的结构，或者也能够采用具有折叠结构、滑动结构的结构。

图37是表示图36所示的智能手机500的结构的一例的框图。如图37所示，作为智能手机500的主要的结构要素，具备：无线通信部510、显示输入部520、通话部530、操作部540、相机部541、存储部550及外部输入输出部560。另外，作为智能手机500的主要的结构要素，具备：GPS(Global Positioning System：全球定位系统)接收部570、移动传感器部580、电源部590及主控制部501。另外，作为智能手机500的主要的功能，具备进行经由基地站装置BS和移动通信网NW的移动无线通信的无线通信功能。

无线通信部510按照主控制部501的指示对收纳于移动通信网NW的基地站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。

显示输入部520是所谓的触摸面板，并且具备：显示面板521和操作面板522。因此，显示输入部520通过主控制部501的控制而对图像(静止图像及动态图像)、文字信息等进行显示从而在视觉上向用户传递信息，并且检测用户对所显示信息的操作。另外，在对所生成的3D进行鉴赏的情况下，显示面板521优选是3D显示面板。

显示面板521是将LCD、OELD(Organic Electro-LuminescenceDisplay：有机电致发光显示器)等用作显示设备的器件。操作面板522是以能够目视确认显示于显示面板521的显示面上的图像的方式进行载置，并对由用户的手指、尖笔操作的一个或多个坐标进行检测的装置。若通过用户的手指、尖笔对该装置进行操作，则将因操作而产生的检测信号输出到主控制部501。接着，主控制部501基于接收到的检测信号对显示面板521上的操作位置(坐标)进行检测。

如图36所示，智能手机500的显示面板521与操作面板522成为一体而构成显示输入部520，但也可以成为操作面板522完全覆盖显示面板521的配置。在采用该配置的情况下，操作面板522也可以具备对于显示面板521以外的区域也对用户操作进行检测的功能。换言之，操作面板522也可以具备：与显示面板521重叠的重叠部分的检测区域(以下，称作显示区域)及此以外的与显示面板521不重叠的外缘部分的检测区域(以下，称作非显示区域)。

另外，也可以使显示区域的大小与显示面板521的大小完全一致，但不需要使两者必须一致。另外，操作面板522也可以具备外缘部分及除此以外的内侧部分这两个感应区域。此外，外缘部分的宽度根据壳体502的大小等而适当设计。此外，作为操作面板522中采用的位置检测方式，能够列举：矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式及静电电容方式等，也能够采用其中任一种方式。

通话部530具备：扬声器531、话筒532。通话部530将通过话筒532输入的用户的声音转换为能够由主控制部501处理的声音数据并输出到主控制部501。另外，通话部530对从无线通信部510或外部入输出部560接收到的声音数据进行解码并从扬声器531输出。另外，如图27所示，例如，能够将扬声器531搭载于与设置有显示输入部520的面相同的面上，并将话筒532搭载于壳体502的侧面。

操作部540是使用了键开关等的硬件键，接受来自用户的指示。例如，如图36所示，操作部540搭载于智能手机500的壳体502的侧面，是当通过手指等按下时接通，且当手指离开则通过弹簧等的恢复力而成为断开状态的按压按钮式的开关。

存储部550存储有：主控制部501的控制程序、控制数据、应用软件、与通信对象的名称、电话号码等建立了对应的地址数据及所收发的电子邮件的数据。另外，存储部550对通过Web浏览而下载的Web数据、所下载的内容数据进行存储。另外，存储部550暂时存储流数据等。另外，存储部550具有：智能手机内置的内部存储部551及具有装拆自如的外部存储器插槽的外部存储部552。另外，构成存储部550的各内部存储部551与外部存储部552可以使用闪存型(flashmemory type)、硬盘型(hard disk type)等存储介质而实现。作为存储介质，除此之外，还能够例示出：微型多媒体卡型(multimedia cardmicro type)、卡型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory)、ROM(Read Only Memory)。

外部输入输出部560起到与连接于智能手机500的全部外部设备的接口的作用，能够通过通信等或网络直接或间接地与其他外部设备连接。作为与其他外部设备通信等，例如，能够列举通用串行总线(USB)、IEEE1394等。作为网络，例如，能够列举互联网、无线LAN、蓝牙(Bluetooth(注册商标))、RFID(Radio Frequency Identification：无线射频识别)和红外线通信(Infrared Data Association：IrDA(注册商标))。另外，作为网络的其他例，能够列举UWB(Ultra Wideband(注册商标))、紫蜂(ZigBee(注册商标))等。

作为与智能手机500连接的外部设备，例如，能够列举：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插座而连接的存储卡(Memory card)。作为外部设备的其他例，能够列举：SIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)卡、经由音频/视频I/O(Input/Output)端子而连接的外部音频/视频设备。除了外部音频/视频设备外，还可以列举无线连接的外部音频/视频设备。另外，也可以替代外部音频/视频设备而适用例如：有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。

外部输入输出部能够将从这种外部设备传送来的数据传递到智能手机500的内部的各结构要素，并能够将智能手机500的内部的数据传送到外部设备。

GPS接收部570按照主控制部501的指示，接收从GPS卫星ST1～STn发送的GPS信号，并执行基于接收到的多个GPS信号的测位运算处理，对该智能手机500的由纬度、经度、高度构成的位置进行检测。GPS接收部570在能够从无线通信部510、外部输入输出部560(例如无线LAN)取得位置信息时，也能够使用该位置信息对位置进行检测。

移动传感器部580具备例如三轴加速度传感器等，并按照主控制部501的指示对智能手机500的物理移动进行检测。通过对智能手机500的物理移动进行检测，能够检测智能手机500的移动方向、加速度。该检测结果被输出到主控制部501。

电源部590按照主控制部501的指示向智能手机500的各部提供存储于蓄电池(未图示)的电力。

主控制部501具备微处理器，按照存储部550所存储的控制程序、控制数据而动作，统一控制智能手机500的各部。另外，主控制部501为了通过无线通信部510进行声音通信、数据通信而具备：控制通信系统的各部的移动通信控制功能及应用处理功能。

应用处理功能通过按照存储部550存储的应用软件使主控制部501进行动作而实现。作为应用处理功能，例如具有：控制外部输入输出部560而与相向设备进行数据通信的红外线通信功能、收发电子邮件的电子邮件功能、阅览Web网页的Web浏览功能等。

另外，主控制部501具备基于接收数据、已下载的流数据等图像数据(静止图像、动态图像的数据)而将图像显示在显示输入部520等图像处理功能。所谓图像处理功能是指主控制部501对上述图像数据进行解码，对该解码结果实施图像处理并将图像显示在显示输入部520的功能。

此外，主控制部501执行对显示面板521的显示控制以及对通过操作部540、操作面板522进行的用户操作进行检测的操作检测控制。

通过执行显示控制，主控制部501对用于启动应用软件的图标、滚动条等软件键进行显示，或显示用于创建电子邮件的窗口。另外，滚动条是指对于无法收纳到显示面板521的显示区域中的较大的图像等用于接受使图像的显示部分移动的指示的软件键。

另外，通过执行操作检测控制，主控制部501检测出通过操作部540进行的用户操作，或接收通过操作面板522进行的对上述图标的操作、对上述窗口的输入栏的文字列的输入。另外，通过执行操作检测控制，主控制部501接收通过滚动条进行的显示图像的滚动请求。

此外，通过执行操作检测控制，主控制部501判定对于操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的与显示面板21不重叠的外缘部分(非显示区域)。并且，具备接收该判定结果而对操作面板522的感应区域、软件键的显示位置进行控制的触摸面板控制功能。

另外，主控制部501能够检测出对操作面板522的手势操作，并根据检测出的手势操作执行预先设定的功能。所谓手势操作并非以往的单纯的触摸操作，而是指利用手指等描绘轨迹或对多个位置同时进行指定、或对它们进行组合而从多个位置对至少一个位置描画轨迹的操作。

相机部541是使用CMOS、CCD等摄像元件而进行摄像的数码相机，具备与图1等所示的摄像装置100相同的功能。

另外，相机部541能够对手动聚焦模式与自动聚焦模式进行切换。当选择了手动聚焦模式时，能够通过对操作部540或显示在显示输入部520的聚焦用的图标按钮等进行操作，从而进行相机部541的摄影透镜的对焦。并且，在手动聚焦模式时，使合成有裂像的即时预览图像显示在显示面板521上，由此，能够对手动聚焦时的对焦状态进行确认。另外，也可以将图9所示的混合式取景器220设置于智能手机500。

另外，相机部541能够通过主控制部501的控制，将由摄像所取得的图像数据转换为例如JPEG(Joint Photographic coding ExpertsGroup：联合图像专家组)等压缩后的图像数据。而且能够将进行了转换而得到的数据记录于存储部550，或通过外部输入输出部560、无线通信部510而输出。在图36所示的智能手机500中，相机部541搭载于与显示输入部520相同的面上，但是相机部541的搭载位置不限定于此，也可以安装于显示输入部520的背面，或者，也可以搭载多个相机部541。另外，在搭载有多个相机部541的情况下，能够对用于摄像的相机部541进行切换而单独进行摄像，或者也能够同时使用多个相机部541而进行摄像。

另外，相机部541能够用于智能手机500的各种功能。例如，能够在显示面板521上显示由相机部541取得的图像、作为操作面板522的操作输入的一个能够利用相机部541的图像。另外，在GPS接收部570对位置进行检测时，也能够参照来自相机部541的图像对位置进行检测。此外，也能够参照来自相机部541的图像，不使用三轴加速度传感器或与三轴加速度传感器并用地判断智能手机500的相机部541的光轴方向、判断当前的使用环境。不用说，也能够在应用软件内利用来自相机部541的图像。

此外，能够在静止图像或动态图像的图像数据上附加各种信息而记录于存储部550，或者也能够经由输入输出部560、无线通信部510而输出。作为在此所说的“各种信息”，例如可以列举：对静止图像或动态图像的图像数据由GPS接收部570取得的位置信息、由话筒532取得的声音信息(也可以通过主控制部等进行声音文本转换而成为文本信息)。另外，也可以是通过移动传感器部580取得的姿势信息等。

另外，在上述各实施方式中，例示了具有第一～第三像素组的摄像元件20，但是本发明不限于此，也可以是仅由第一像素组和第二像素组构成的摄像元件。具有这种摄像元件的数码相机能够基于从第一像素组输出的第一图像和从第二像素组输出的第二图像来生成三维图像(3D图像)，也能够生成二维图像(2D图像)。在该情况下，二维图像的生成例如能够通过在第一图像和第二图像的相互的同色的像素间进行插值处理而实现。另外，也可以不进行插值处理，而将第一图像或第二图像采用为二维图像。

另外，在上述各实施方式中，例示了在将第一～第三图像输入到图像处理部28的情况下，将普通图像和裂像双方在显示装置的同一画面上同时显示的方式，但是本发明不限于此。例如，显示控制部36也可以进行如下控制：抑制显示装置显示普通图像且使显示装置显示裂像。这里所谓的“对普通图像的显示进行抑制”例如是指使显示装置不显示普通图像。具体来说，是指虽然生成普通图像但是不将普通图像输出到显示装置从而使显示装置不显示普通图像、或不生成普通图像从而使显示装置不显示普通图像。也可以利用显示装置的画面整体显示裂像，也可以作为一例利用图15所示的裂像的显示区域的整体显示裂像。另外，作为这里所说的“裂像”，在使用特定的摄像元件的情况下，能够例示基于从相位差图像组输出的图像(例如从第一像素组输出的第一图像和从第二像素组输出的第二图像)的裂像。作为“使用特定的摄像元件的情况”，例如能够列举出使用仅由相位差像素组(例如第一像素组和第二像素组)构成的摄像元件的情况。除此之外，能够例示使用相对于普通像素以预定的比例配置相位差像素(例如第一像素组和第二像素组)的摄像元件的情况。

另外，作为用于对普通图像的显示进行抑制而使裂像进行显示的条件，可以考虑各种各样的条件。例如，也可以设计为，在以指示裂像的显示的状态将普通图像的显示指示解除的情况下，显示控制部36进行使显示装置不显示普通图像而显示裂像的控制。另外，例如，也可以设计为，在摄影者观察了混合式取景器的情况下显示控制部36进行使显示装置不显示普通图像而显示裂像的控制。另外，例如，也可以设计为，在将释放按钮211置于半按状态的情况下，显示控制部36进行使显示装置不显示普通图像而显示裂像的控制。另外，例如，也可以设计为，在没有对释放按钮211进行按压操作的情况下显示控制部36进行使显示装置不显示普通图像而显示裂像的控制。另外，例如，也可以设计为，在使对被摄体的面部进行检测的面部检测功能起作用的情况下显示控制部36进行使显示装置不显示普通图像而显示裂像的控制。

另外，在上述各实施方式中，作为裂像的显示区域列举选择性地使用普通显示区域和扩大显示区域的例子进行了说明，但是不限于此，也可以根据视差的大小对裂像的显示区域的大小(面积)进行规定。即，以显示区域的预定的大小为限度，视差越小则越增大显示区域，从而能够提高裂像的视觉确认性。

另外，在上述各实施方式中，列举了以变更分辨率为前提对作为显示对象的图像的帧率进行变更的例子而进行了说明，但是也可以设计为不进行分辨率的变更，而变更帧率。在该情况下，也可以设计为，在视差为阈值以下的情况下，图像处理部28使帧率高于视差超过阈值的情况下的帧率。另外，也可以设计为，在视差为阈值以下的情况下，图像处理部28使帧率根据视差的减少而提高。另外，也可以设计为，在视差超过阈值的情况下，图像处理部28使帧率低于视差为阈值以下的情况下的帧率。另外，也可以设计为，在视差超过阈值的情况下，图像处理部28使帧率根据视差的增大而降低。

附图标记说明

20  摄像元件

26  存储器

28A 图像获取部

28B 视差计算部

28C 生成部

28D 变更部

36A、36B 显示控制部

100 摄像装置

213 显示部

247 LCD

Claims (22)

1.一种图像处理装置，包括：

图像获取部，获取从摄像元件输出的基于第一图像信号和第二图像信号的第一图像和第二图像，所述摄像元件具有第一像素组和第二像素组，所述第一像素组和第二像素组使通过了摄影透镜中的第一区域和第二区域的被摄体像进行光瞳分割并分别成像而输出所述第一图像信号和第二图像信号；

视差计算部，算出表示由所述图像获取部获取的所述第一图像的各像素与所述第二图像的对应的像素之间的偏移量的视差；

生成部，基于从所述摄像元件输出的图像信号来生成第一显示用图像，且基于所述第一图像和第二图像来生成用于对焦确认的第二显示用图像；

变更部，根据由所述视差计算部算出的所述视差来变更由所述生成部生成的所述第一显示用图像和所述第二显示用图像中的至少所述第二显示用图像的分辨率；

显示部，对图像进行显示；及

显示控制部，对所述显示部进行如下控制：使所述显示部显示由所述生成部生成的所述第一显示用图像且在所述第一显示用图像的显示区域内显示由所述生成部生成的所述第二显示用图像。

2.一种图像处理装置，包括：

图像获取部，获取从摄像元件输出的基于第一图像信号和第二图像信号的第一图像和第二图像，所述摄像元件具有第一像素组和第二像素组，所述第一像素组和第二像素组使通过了摄影透镜中的第一区域和第二区域的被摄体像进行光瞳分割并分别成像而输出所述第一图像信号和第二图像信号；

视差计算部，算出表示由所述图像获取部获取的所述第一图像的各像素与所述第二图像的对应的像素之间的偏移量的视差；

生成部，基于从所述摄像元件输出的图像信号来生成第一显示用图像，且基于所述第一图像和第二图像来生成用于对焦确认的第二显示用图像；

变更部，根据由所述视差计算部算出的所述视差来变更由所述生成部生成的所述第一显示用图像和所述第二显示用图像中的至少所述第二显示用图像的分辨率；

显示部，对图像进行显示；及

显示控制部，进行如下控制：抑制所述显示部显示由所述生成部生成的所述第一显示用图像且使所述显示部显示由所述生成部生成的所述第二显示用图像。

3.根据权利要求1或2所述的图像处理装置，其中，

所述变更部随着视差的减少而提高所述分辨率。

4.根据权利要求1～3中任一项所述的图像处理装置，其中，

所述变更部通过变更所述摄像元件的驱动方法来变更所述摄像元件的输出像素数，从而变更所述分辨率。

5.根据权利要求4所述的图像处理装置，其中，

所述摄像元件所包含的像素配置成行列状，

所述摄像元件的输出像素能够以所述像素的行为单位进行变更，

所述变更部通过以行为单位变更所述输出像素来变更所述分辨率。

6.根据权利要求5所述的图像处理装置，其中，

所述摄像元件的输出像素还能够以所述像素的列为单位进行变更，

所述变更部还通过以列为单位变更所述输出像素来变更所述分辨率。

7.根据权利要求4所述的图像处理装置，其中，

所述摄像元件所包含的像素配置成行列状，

所述摄像元件的输出像素能够以所述像素的列为单位进行变更，

所述变更部通过以列为单位变更所述输出像素来变更所述分辨率。

8.根据权利要求4～7中任一项所述的图像处理装置，其中，

所述变更部通过变更所述摄像元件所包含的输出像素中的所述第一像素组和第二像素组的输出像素的密度来变更所述输出像素数。

9.根据权利要求8所述的图像处理装置，其中，

在由所述视差计算部算出的所述视差为阈值以下的情况下，所述变更部通过使所述密度高于由所述视差计算部算出的所述视差超过所述阈值的情况下的所述密度来变更所述输出像素数。

10.根据权利要求9所述的图像处理装置，其中，

在由所述视差计算部算出的所述视差为阈值以下的情况下，所述变更部通过使所述密度高于由所述视差计算部算出的所述视差超过所述阈值的情况下的所述密度且根据所述视差的减少而提高所述密度来变更所述输出像素数。

11.根据权利要求8～10中任一项所述的图像处理装置，其中，

在由所述视差计算部算出的所述视差超过阈值的情况下，所述变更部通过使所述密度低于由所述视差计算部算出的所述视差为所述阈值以下的情况下的所述密度来变更所述输出像素数。

12.根据权利要求11所述的图像处理装置，其中，

在由所述视差计算部算出的所述视差超过阈值的情况下，所述变更部通过使所述密度低于由所述视差计算部算出的所述视差为所述阈值以下的情况下的所述密度且根据所述视差的增大而降低所述密度来变更所述输出像素数。

13.根据权利要求1～12中任一项所述的图像处理装置，其中，

在所述分辨率由所述变更部提高得超过预定值的情况下，所述显示控制部进一步进行使所述显示部的所述第二显示用图像的显示区域比通常时扩大的控制。

14.根据权利要求13所述的图像处理装置，其中，

在所述显示区域被扩大了的状态下所述分辨率由所述变更部降低为所述预定值以下的情况下，所述显示控制部进一步进行使所述显示区域的大小返回到通常时的大小的控制。

15.根据权利要求1～14中任一项所述的图像处理装置，其中，

所述变更部还根据由所述视差计算部算出的所述视差来变更作为所述显示部的显示对象的图像的帧率。

16.根据权利要求1～15中任一项所述的图像处理装置，其中，

所述变更部还根据由所述视差计算部算出的所述视差来变更所述视差计算部的计算频度。

17.根据权利要求1～16中任一项所述的图像处理装置，其中，

所述变更部还根据由所述视差计算部算出的所述视差来变更所述摄像元件的驱动频率。

18.根据权利要求1～17中任一项所述的图像处理装置，其中，

所述摄像元件还具有第三像素组，所述第三像素组使透过了所述摄影透镜的被摄体像不进行光瞳分割而成像并输出第三图像，

所述生成部基于从所述第三像素组输出的所述第三图像来生成所述第一显示用图像。

19.一种摄像装置，包括：

权利要求1～18中任一项所述的图像处理装置；

摄像元件，具有所述第一像素组和第二像素组；及

存储部，存储基于从所述摄像元件输出的图像信号而生成的图像。

20.一种图像处理方法，

获取从摄像元件输出的基于第一图像信号和第二图像信号的第一图像和第二图像，所述摄像元件具有第一像素组和第二像素组，所述第一像素组和第二像素组使通过了摄影透镜中的第一区域和第二区域的被摄体像进行光瞳分割并分别成像而输出所述第一图像信号和第二图像信号，

算出表示所获取的所述第一图像的各像素与所述第二图像的对应的像素之间的偏移量的视差，

基于从所述摄像元件输出的图像信号来生成第一显示用图像，

基于所述第一图像和第二图像来生成用于对焦确认的第二显示用图像，

根据算出的所述视差来变更所生成的所述第一显示用图像和所述第二显示用图像中的至少所述第二显示用图像的分辨率，

对显示图像的显示部进行如下控制：使所述显示部显示所生成的所述第一显示用图像且在所述第一显示用图像的显示区域内显示所生成的所述第二显示用图像。

21.一种图像处理方法，

获取从摄像元件输出的基于第一图像信号和第二图像信号的第一图像和第二图像，所述摄像元件具有第一像素组和第二像素组，所述第一像素组和第二像素组使通过了摄影透镜中的第一区域和第二区域的被摄体像进行光瞳分割并分别成像而输出所述第一图像信号和第二图像信号，

算出表示所获取的所述第一图像的各像素与所述第二图像的对应的像素之间的偏移量的视差，

基于从所述摄像元件输出的图像信号来生成第一显示用图像，

基于所述第一图像和第二图像来生成用于对焦确认的第二显示用图像，

根据算出的所述视差来变更所生成的所述第一显示用图像和所述第二显示用图像中的至少所述第二显示用图像的分辨率，

进行如下控制：抑制显示部显示所生成的所述第一显示用图像且使所述显示部显示所生成的所述第二显示用图像。

22.一种图像处理程序，用于使计算机作为权利要求1～18中任一项所述的图像处理装置中的所述图像获取部、所述视差计算部、所述生成部、所述变更部和所述显示控制部发挥功能。