CN104641625A - 图像处理装置、摄像装置、图像处理方法及图像处理程序 - Google Patents

Abstract

提供能够恰当地强调视差的图像处理装置、摄像装置、图像处理方法以及图像处理程序。在步骤410中，由图像处理部为左眼图像以及右眼图像中的每个对象像素决定输入输出函数(f)。在判定为处于能够确认对焦的视差范围内的情况下(步骤412：是)，输入输出函数(f)使在步骤408中算出的输入视差转换为能够视差处于能够确认对焦的视差范围内的视差，在判定为处于能够确认对焦的视差范围外的情况下(步骤412：否)，输入输出函数(f)使在步骤408中算出的输入视差转换为能够视差处于能够确认对焦的视差范围外的视差。

Description

图像处理装置、摄像装置、图像处理方法及图像处理程序

技术领域

本发明涉及图像处理装置、摄像装置、图像处理方法以及图像处理程序。

背景技术

作为数码相机，除使用了相位差检测方式、对比度检测方式的自动对焦外，具备使用者能够以手动进行调焦的所谓的手动对焦模式的数码相机也广为人知。

作为具有手动对焦模式的数码相机，已知有以能够一边对被摄体进行确认一边进行调焦的方式设置反射镜并采用了使用对目视的相位差进行显示的分裂式微棱镜屏的方法的数码相机。另外，也已知有采用了对目视的对比度进行确认的方法的数码相机。

然而，在近年来普及的省略了反射镜的数码相机中，由于没有反射镜，因此没有一边显示相位差一边对被摄体像进行确认的方法，不得不依靠对比度检测方式。但是，在该情况下，不能够进行LCD(liquidcrystal display：液晶显示器)等显示装置的分辨率以上的对比度的显示，不得不采用进行局部放大等而显示的方法。

因此，近年来，为了使操作者在手动对焦模式时使被摄体对焦的作业变得容易，将裂像显示在即时预览图像(称作实时取景图像)中。在此，所谓裂像是指例如分割成两个的分割图像(例如沿上下方向分割的各图像)，并对应于焦点的偏移而在视差产生方向上(例如左右方向)偏移，如果是已对焦了的状态则视差产生方向的偏移消失的分割图像。操作者(例如摄影者)对手动聚焦环进行操作而进行对焦，以使裂像(例如沿上下方向分割的各图像)的偏移消失。

日本特开2009－147665号公报所记载的摄像装置，生成对第一被摄体像以及第二被摄体像分别进行了光电转换的第一图像以及第二图像，上述第一被摄体像以及上述第二被摄体像由来自摄像光学系统的光束中的被光瞳分割部分割后的光束而形成。而且，使用这些第一图像及第二图像生成裂像，并且对第三被摄体像进行光电转换而生成第三图像，上述第三被摄体像由未被光瞳分割部分割的光束而形成。而且，将第三图像显示在显示部上，并且在第三图像内显示所生成的裂像，且将从第三图像提取出的颜色信息附加于裂像。通过这样将从第三图像提取出的颜色信息附加于裂像，能够使裂像的视觉确认性良好。

另外，由于相机的电子取景器、设置于相机的背面侧的显示器(例如LCD)的显示的分辨率较低，因此难以一边观察裂像一边将焦点对合于正确的对焦位置(对焦状态时的摄影透镜的位置)。因此，提出了一种利用裂像的视差产生方向上的偏移量依存于视差这一情况对视差进行强调从而对用户的调焦进行辅助的方法。根据该方法，能够使用户根据裂像更直观地认识到焦点偏移了多少。

发明内容

发明所要解决的课题

但是，在强调视差的情况下，存在如下问题：即使是不需要强调视差的能够确认对焦的视差范围(例如即使是对焦状态的情况下)也对视差进行强调，或者即使是需要强调视差的能够确认对焦的视差范围，也不对视差进行强调。

本发明鉴于上述实际情况而提出，其目的在于提供能够恰当地强调视差的图像处理装置、摄像装置、图像处理方法以及图像处理程序。

用于解决课题的手段

本发明的第一方式所涉及的图像处理装置包含：图像获取部，取得基于从第一像素组及第二像素组输出的第一图像及第二图像信号的第一图像及第二图像，上述第一像素组及第二像素组使通过了摄影透镜中的第一区域及第二区域的被摄体像进行光瞳分割而分别成像并输出上述第一图像及第二图像信号；视差计算部，算出表示由上述图像获取部取得的上述第一图像的各像素与上述第二图像的对应的像素之间的偏移量的视差；第一判定部，判定图像处理的对象像素是否处于满足预定条件的第一视差范围内；系数决定部，对于由上述图像获取部取得的上述第一图像及第二图像中的每个上述对象像素，在通过上述第一判定部判定为在上述第一视差范围内的情况下，所述系数决定部决定使由上述视差计算部算出的视差转换为能够目视确认上述第一图像及第二图像处于上述第一视差范围内的视差的视差转换系数，在由上述第一判定部判定为处于上述第一视差范围外的情况下，所述系数决定部决定使由上述视差计算部算出的视差转换为能够目视确认上述第一图像及第二图像处于上述第一视差范围外的视差的视差转换系数；图像处理部，对上述对象像素基于由上述系数决定部决定的上述视差转换系数而进行图像处理；生成部，基于从具有上述第一像素组及第二像素组的摄像元件输出的图像信号生成第一显示用图像，并且基于对上述第一图像及第二图像中的各上述对象像素进行了上述图像处理的图像生成用于对焦确认的第二显示用图像；显示部，对图像进行显示；以及显示控制部，使上述显示部显示由上述生成部生成的上述第一显示用图像并且在该第一显示用图像的显示区域内显示由上述生成部生成的上述第二显示用图像。因此，与不具有本结构的情况相比，能够恰当地强调视差。

本发明的第二方式也可以设为，在本发明的第一方式的基础上，在将Wc设为具有上述第一像素组及第二像素组的摄像元件的视差产生方向的像素数，将We设为进行上述图像处理所得到的图像的输出目的地的视差产生方向的像素数，将κ设为上述摄像元件的灵敏度和上述摄影透镜的光圈值中的至少一个越高则越小的小于1的系数，将Pe设为上述第一视差范围内的视差时，上述第一判定部按照以下的(1)式判定上述对象像素是否处于上述第一视差范围内。由此，与不具有本结构的情况相比，能够高精度地判定图像处理的对象像素是否处于第一视差范围内。

Pe＜κ×(We/Wc)……(1)。

本发明的第三方式也可以设为，在本发明的第一方式或第二方式的基础上，还具备：第二判定部，判定由上述视差计算部算出的视差是否处于比上述第一视差范围广的第二视差范围内，在由上述第二判定部判定为由上述视差计算部算出的视差处于上述第二视差范围内的情况下，将上述视差转换系数设为使由上述视差计算部算出的视差扩大的视差转换系数。由此，与不具有本结构的情况相比，能够高精度地抑制在比第一视差范围广的第二视差范围内中视差的强调过多或不足这一情形的产生。

本发明的第四方式也可以设为，在本发明的第一方式至第三方式中任一方式的基础上，上述视差转换系数由连续函数规定，该连续函数将由上述视差计算部算出的视差作为输入，并将能够目视确认上述第一图像及第二图像处于上述第一视差范围内的视差和能够目视确认上述第一图像及第二图像处于上述第一视差范围外的视差选择性地作为输出。由此，由此，与不具有本结构的情况相比，能够容易地预测视差的强调的程度。

本发明的第五方式也可以设为，在本发明的第四方式的基础上，在由上述第一判定部判定为处于上述第一视差范围内的情况下的由上述视差计算部算出的视差的范围中，将上述连续函数设为第一线性函数。由此，与不具有本结构的情况相比，能够容易地预测在第一视差范围内视差的强调的程度。

本发明的第六方式也可以设为，在本发明的第五方式的基础上，在由上述第一判定部判定为处于上述第一视差范围外的情况下的由上述视差计算部算出的视差的范围中，将上述连续函数设为与上述第一线性函数连续并且与该第一线性函数相比斜度缓的第二线性函数。由此，与不具有本结构的情况相比，能够抑制视差强调的急剧的变化。

本发明的第七方式也可以设为，在本发明的第六方式的基础上，在由上述第一判定部判定为处于上述第一视差范围外的情况下的由上述视差计算部算出的视差的范围中，将上述连续函数设为上述第二线性函数和与该第二线性函数连续的恒等函数。由此，与不具有本结构的情况相比，能够在抑制第一视差范围外视差的过度强调。

本发明的第八方式也可以设为，在本发明的第一方式至第七方式的任一方式的基础上，上述视差转换系数根据鉴赏进行上述图像处理而得到的图像的鉴赏介质的种类而确定。由此，与不具有本结构的情况相比，能够根据鉴赏介质的种类而适当决定视差强调的程度。

本发明的第九方式也可以设为，在本发明的第一方式至第八方式的任一方式的基础上，上述摄影透镜的光圈值越高则使上述第一视差范围越窄。由此，与不具有本结构的情况相比，能够根据光圈值而抑制视差的强调过多或不足这一情形的产生。

本发明的第十方式也可以设为，在本发明的第九方式的基础上，上述图像获取部还取得以连续帧拍摄而得到的连续帧图像并且取得在给予了拍摄单帧图像的指示的情况下拍摄到的单帧图像，在未给予上述拍摄单帧图像的指示的情况下，上述摄影透镜的光圈值越高则使上述第一视差范围越窄。由此，与不具有本结构的情况相比，能够恰当地进行未给予拍摄单帧图像的指示的情况下的视差的强调。

本发明的第十一方式也可以设为，在本发明的第十方式的基础上，在给予了上述拍摄单帧图像的指示的情况下，根据拍摄单帧图像所使用的光圈值而确定上述第一视差范围。由此，与不具有本结构的情况相比，在给予了拍摄单帧图像的指示的情况下也能够恰当地进行视差的强调。

本发明的第十二方式也可以设为，在本发明的第十一方式的基础上，在给予了上述拍摄单帧图像的指示时的上述光圈值比拍摄上述连续帧图像所使用的上述光圈值高的情况下，上述光圈值越高则使给予了上述拍摄单帧图像的指示的情况下的上述第一视差范围越宽，在给予了上述拍摄单帧图像的指示时的上述光圈值比上述拍摄连续帧图像所使用的上述光圈值低的情况下，上述光圈值越低则使给予了上述拍摄单帧图像的指示的情况下的上述第一视差范围越窄。由此，与不具有本结构的情况相比，在给予了拍摄单帧图像的指示的情况下，也能够根据光圈值而抑制视差的强调过多或不足这一情形的产生。

本发明的第十三方式也可以设为，在本发明的第一方式至第十二方式的任一方式的基础上，将上述第二显示用图像设为裂像，该裂像相当于上述第一图像和第二图像沿视差产生方向偏移了与基于上述视差转换系数转换后的视差相应的偏移量的图像。由此，与不具有本结构的情况相比，能够推测视差的大小以及视差产生方向。

本发明的第十四方式也可以设为，在本发明的第一方式至第十三方式的任一方式的基础上，将能够目视确认处于上述第一视差范围内的视差设为，使多个被实验者预先目视确认视差不同的多个试验用图像的各图像而由上述多个被实验者中预先规定的人数以上的被实验者评价为是对焦状态的视差。由此，与不具有本结构的情况相比，能够适当地确定第一视差范围内的视差的强调的程度。

本发明的第十五方式也可以设为，在本发明的第一方式至第十四方式的任一方式的基础上，将能够目视确认处于上述第一视差范围外的视差设为，使多个被实验者预先目视确认视差不同的多个试验用图像的各图像而由上述多个被实验者中预先规定的人数以上的被实验者评价为是非对焦状态的视差。由此，与不具有本结构的情况相比，能够适当地确定第一视差范围外的视差的强调的程度。

本发明的第十六方式也可以设为，在本发明的第一方式至第十五方式的任一方式的基础上，上述摄像元件具有第三像素组，该第三像素组使被摄体像不进行光瞳分割而成像并输出第三图像信号，上述生成部基于从上述第三像素组输出的上述第三图像信号生成上述第一显示用图像。由此，与不具有本结构的情况相比，能够提高第一显示用图像的画质。

本发明的第十七方式所涉及的摄像装置包含：本发明的第一方式至第十六方式中任一方式的图像处理装置；以及存储部，存储通过进行上述图像处理而得到的图像。因此，与不具有本结构的情况相比，能够恰当地强调视差。

本发明的第十八方式也可以设为，在本发明的第十七方式的基础上，还包含：电子取景器，显示进行了上述图像处理的图像；以及检测部，对上述电子取景器的使用进行检测，在由上述检测部检测出上述电子取景器的使用的情况下，上述系数决定部决定将预先确定的使用时视差转换系数作为使用上述电子取景器时所采用的上述视差转换系数，在由上述检测部未检测出上述电子取景器的使用的情况下，上述系数决定部决定将预先确定的不使用时视差转换系数作为不使用上述电子取景器时所采用的上述视差转换系数。由此，与不具有本结构的情况相比，能够在电子取景器的使用时和不使用时减轻决定适当的视差转换系数的工作量。

本发明的第十九方式也可以设为，在本发明的第十八方式的基础上，在视差产生方向的像素数与上述电子取景器的视差产生方向的像素数不同的显示区域显示进行了上述图像处理的图像的情况下，将上述不使用时视差转换系数设为显示区域使用时系数，该显示区域使用时系数作为上述显示区域使用时所采用的上述视差转换系数而预先确定。由此，与不具有本结构的情况相比，能够在视差产生方向的像素数与电子取景器的视差产生方向的像素数不同的显示区域的使用时和不使用时，决定适当的视差转换系数。

本发明的第二十方式也可以设为，本发明的第十九方式的基础上，上述显示区域的视差产生方向的像素数比上述电子取景器的视差产生方向的像素数多，对于由上述第一判定部判定为处于上述第一视差范围内的上述对象像素，使基于上述显示区域使用时系数转换后的视差的范围变窄。由此，与不具有本结构的情况相比，对于视差产生方向的像素数比电子取景器的视差产生方向的像素数多的显示区域中所显示的图像，能够抑制视差的强调过多或不足这一情形的产生。

本发明的第二十一方式的图像处理方法，包含：图像获取工序，取得基于从第一像素组及第二像素组输出的第一图像及第二图像信号的第一图像及第二图像，上述第一像素组及第二像素组使通过了摄影透镜中的第一区域及第二区域的被摄体像进行光瞳分割而分别成像并输出上述第一图像及第二图像信号；视差计算工序，算出表示由上述图像获取工序取得的上述第一图像的各像素与上述第二图像的对应的像素之间的偏移量的视差；第一判定工序，判定图像处理的对象像素是否处于满足预定条件的第一视差范围内；系数决定工序，对于由上述图像获取工序取得的上述第一图像及第二图像中的每个上述对象像素，在由上述第一判定工序判定为处于上述第一视差范围内的情况下，决定使由上述视差计算工序算出的视差转换为能够目视确认上述第一图像及第二图像处于上述第一视差范围内的视差的视差转换系数，在由上述第一判定工序判定为处于上述第一视差范围外的情况下，决定使由上述视差计算部算出的视差转换为能够目视确认上述第一图像及第二图像处于上述第一视差范围外的视差的视差转换系数；图像处理工序，对上述对象像素基于由上述系数决定工序决定的上述视差转换系数而进行图像处理；生成工序，基于从具有上述第一像素组及第二像素组的摄像元件输出的图像信号生成第一显示用图像，并且基于对上述第一图像及第二图像中的各上述对象像素进行了上述图像处理的图像，生成用于对焦确认的第二显示用图像；显示控制工序，使显示图像的显示部显示由上述生成工序生成的上述第一显示用图像并且在该第一显示用图像的显示区域内显示由上述生成工序生成的上述第二显示用图像。因此，与不具有本结构的情况相比，能够恰当地强调视差。

本发明的第二十二方式的图像处理程序用于使计算机作为本发明的第一方式至第十六方式中任一方式的图像处理装置中的上述图像获取部、上述视差计算部、上述第一判定部、上述系数决定部、上述图像处理部、上述生成部和上述显示控制部而发挥功能。因此，与不具有本结构的情况相比，能够恰当地强调视差。

发明效果

根据本发明，可以得到能够恰当地强调视差的效果。

附图说明

图1是表示第一实施方式的作为镜头互换式相机的摄像装置的外观的一例的立体图。

图2是表示图1所示的摄像装置的背面侧的背面图。

图3是表示第一实施方式的摄像装置的电气系统的结构的一例的框图。

图4是表示设置在第一实施方式的摄像装置所包含的摄像元件上的滤色器的排列以及遮光部件的配置的一例的概略配置图。

图5是表示图4所示的摄像元件所包含的相位差像素(第一像素以及第二像素)的结构的一例的概略结构图。

图6是表示图4所示的摄像元件所包含的第一像素组及第二像素组的结构的一例的概略结构图。

图7是表示第一实施方式的摄像装置的主要部分功能的一例的框图。

图8是用于第一实施方式的滤波处理的说明的图。

图9是表示在第一实施方式的滤波处理中所使用的滤光片、且与图8所示的滤光片不同的滤光片的一例的示意图。

图10是表示第一实施方式的输入输出函数(在F1.4的情况下所使用的输入输出函数)的一例的曲线图。

图11是表示决定第一实施方式的摄像装置所包含的EVF上的视差时所使用的直方图的一例的曲线图。

图12是表示决定第一实施方式的摄像装置所包含的显示部上的视差时所使用的直方图的一例的曲线图。

图13是表示第一实施方式的输入输出函数(在F3.5的情况下所使用的输入输出函数)的一例的曲线图。

图14是表示第一实施方式的摄像装置所包含的摄像元件上的模糊直径与视差量的关系的示意图。

图15A是示意性地表示滤波系数的曲线图。

图15B是示意性地表示边缘强调的程度的曲线图。

图16是表示由第一实施方式的摄像装置所包含的图像处理部进行的图像处理的流程的一例的流程图。

图17是表示一边进行视差计算一边进行滤波处理的形态的一例的示意图。

图18是表示由第一实施方式的摄像装置所包含的图像处理部所进行的函数决定处理的流程的一例的流程图。

图19是表示第一实施方式的由输入输出函数导出的输出视差与相位偏移量的关系的一例的曲线图。

图20A是表示第一实施方式的左眼图像用的二维滤光片的一例的示意图。

图20B是表示第一实施方式的右眼图像用的二维滤光片的一例的示意图。

图21A是表示显示于第一实施方式的摄像装置的显示部上的即时预览图像、即未对焦的状态的即时预览图像的一例的画面图。

图21B是表示显示于第一实施方式的摄像装置的显示部上显示的即时预览图像、即对焦的状态的即时预览图像的一例的画面图。

图22是表示第一实施方式的摄像装置所包含的摄像元件的其他的结构例的示意图。

图23A是表示图22所示的摄像元件中的第一像素组的一例的示意图。

图23B是表示图22所示的摄像元件中的第二像素组的一例的示意图。

图24是表示第一实施方式的裂像的变形例、即将第一图像以及第二图像分为奇数行与偶数行并交替地排列而形成的裂像的一例的示意图。

图25是表示第一实施方式的裂像的变形例、即由相对于水平方向倾斜的倾斜的分割线分割的裂像的一例的示意图。

图26A是表示第一实施方式的裂像的变形例、即被格子状的分割线分割的裂像的一例的示意图。

图26B是表示第一实施方式的裂像的变形例、即形成为交错相间棋盘格纹图案的裂像的一例的示意图。

图27是表示第二实施方式的智能手机的外观的一例的立体图。

图28是表示第二实施方式的智能手机的电气系统的主要部分结构的一例的框图。

具体实施方式

以下，根据附图对本发明的摄像装置的实施方式的一例进行说明。

[第一实施方式]

图1是表示第一实施方式的摄像装置100的外观的一例的立体图，图2是图1所示的摄像装置100的背面图。

摄像装置100是镜头互换式相机，包含相机主体200和可互换地安装于相机主体200上的互换镜头300(摄影透镜以及聚焦透镜302(手动操作部))，并且是省略了反射镜的数码相机。另外，在相机主体200上设有混合式取景器(注册商标)220。在此所说的混合式取景器220是指例如能够选择性地使用光学取景器(以下，称作“OVF”)和电子取景器(以下，称作“EVF”)的取景器。

通过将相机主体200所具备的固定件256和与固定件256对应的互换镜头300侧的固定件346(参照图3)结合，能够互换地将相机主体200与互换镜头300安装。

在相机主体200的前表面设有混合式取景器220所包含的OVF的取景器窗241。另外，在相机主体200的前表面设有取景器切换杆(取景器切换部)214。当使取景器切换杆214沿箭头符号SW方向转动，则选择性地显示能够通过OVF目视确认的光学图像和能够通过EVF目视确认的电子图像(即时预览图像)(后述)。另外，OVF的光轴L2是与互换镜头300的光轴L1不同的光轴。另外，在相机主体200的上表面主要设有释放按钮211以及用于设定摄影模式、重放模式等的拔盘212。

在相机主体200的背面设有：OVF的取景器目镜部242、显示部213、十字键222、菜单/确定键224、返回/显示按钮225。

十字键222作为输出菜单的选择、变焦、画面进给等各种指令信号的多功能的键而发挥作用。菜单/确定键224是兼具如下功能的操作键：作为用于发出在显示部213的画面上显示菜单的指令的菜单按钮的功能和作为发出选择内容的确定和执行等指令的确定按钮的功能。返回/显示按钮225在删除选择项目等显示内容、取消指定内容，或返回前一个的操作状态时等使用。

显示部213通过例如LCD实现，并用于显示作为在摄影模式时以连续帧进行摄像而得到的连续帧图像的一例的即时预览图像(实时取景图像)。另外，显示部213也用于显示在给予了拍摄静态图像的指示的情况下以单帧拍摄而得到的单帧图像的一例的静态图像。此外，显示部213也用于重放模式时的重放图像的显示、菜单画面等的显示。

图3是表示第一实施方式的摄像装置100的电气系统的结构(内部结构)的一例的框图。

摄像装置100是对拍摄出的静态图像、动态图像进行记录的数码相机，相机整体的动作由CPU(central processing unit：中央处理装置)12统一控制。摄像装置100除了CPU12外还包含：操作部14、接口部24、存储器26、编码器34、显示控制部36以及目镜检测部37。另外，摄像装置100包含图像处理部28，该图像处理部28是本发明的图像获取部、视差计算部、第一判定部、系数决定部、图像处理部以及第二判定部的一例。CPU12、操作部14、接口部24、存储器26、图像处理部28、编码器34、显示控制部36、目镜检测部37以及外部接口(I/F)39经由总线40而相互连接。

操作部14包含：释放按钮211、对摄影模式等进行选择的拔盘(对焦模式切换部)212、显示部213、取景器切换杆214、十字键222、菜单/确定键224以及返回/显示按钮225。另外，操作部14还包含接收各种信息的触摸面板。该触摸面板例如与显示部213的显示画面重叠。将从操作部14输出的各种操作信号输入到CPU12。

当设定好摄影模式，表示被摄体的图像光经由包含能够通过手动操作而移动的聚焦透镜在内的摄影透镜16以及快门18而在彩色的摄像元件(作为一例是CMOS传感器)20的受光面上成像。蓄积于摄像元件20的信号电荷通过从装置控制部22输入的读出信号而作为对应于信号电荷(电压)的数字信号被依次读出。摄像元件20具有所谓的电子快门功能，通过使其发挥电子快门功能，从而通过读出信号的定时对各光传感器的电荷累积时间(快门速度)进行控制。另外，本第一实施方式的摄像元件20是CMOS(Complementary Metal OxideSemiconductor：互补性金属氧化物半导体)型的图像传感器，但是不限定于此，也可以是CCD(Charge-Coupled Device：电荷耦合元件)图像传感器。

在图4中示意性地表示了设置于摄像元件20的滤色器的排列以及遮光部件的配置的一例。图4所示的那样摄像元件20作为在各像素上配置的红(R)、绿(G)、蓝(B)的滤色器，将拜尔排列的A面的像素组与拜尔排列的B面的像素组在水平方向以及垂直方向上相互错开半个间距地配置。

A面的像素组包含第一像素组，B面的像素组包含第二像素组。另外，A面的像素组以及B面的像素组各分别包含第三像素组。所谓第一像素组例如是指用于检测相位差的多个第一像素。所谓第二像素组例如是指用于检测相位差的多个第二像素。所谓第三像素组例如是指多个通常的像素。所谓通常的像素是指不是用于检测相位差的像素的像素。在此所说的“通常的像素”，例如是指不具有后述的遮光部件20A、20B的像素。另外，以下，在不需要对第一像素以及第二像素进行区别说明的情况下，称作“相位差像素”。

图5表示配置于摄像元件20的第一像素以及第二像素的一例。图5所示的第一像素具有遮光部件20A，第二像素具有遮光部件20B。遮光部件20A设置于光电二极管PD的前表面侧(微透镜L侧)，对受光面的左半部分进行遮光。另一方面，遮光部件20B设置于光电二极管PD的前表面侧，对受光面的右半部分进行遮光。

微透镜L以及遮光部件20A、20B作为光瞳分割部而发挥作用，第一像素仅接收通过摄影透镜16的出射光瞳的光束的光轴左侧的光，第二像素仅接收通过摄影透镜16的出射光瞳的光束的光轴右侧的光。如此，通过出射光瞳的光束由作为光瞳分割部的微透镜L以及遮光部件20A、20B而左右分割，并分别入射到第一像素以及第二像素。

另外，与通过摄影透镜16的出射光瞳的光束中的左半部分的光束对应的被摄体像和与右半部分的光束对应的被摄体像中的对焦的(处于对焦状态)部分成像于摄像元件20上的相同位置。与此相对，焦前或焦后的部分分别入射到摄像元件20上的不同位置(相位偏移)。由此，能够取得与左半部分的光束对应的被摄体像和与右半部分的光束对应的被摄体像而作为视差不同的图像。

在图6中示意性地表示了图4所示的摄像元件20中的第一像素组以及第二像素组的一例。如图6所示的那样，第一像素组以及第二像素组各自的相位差像素的滤色器的排列分别为拜尔排列，第一像素以及第二像素作为一例如图4所示的那样，彼此相邻地(以最小间距)成对配置。由此，与没有本结构的情况相比，能够高精度地算出第一像素组与第二像素组的相位差。

返回图3，摄像元件20输出与A面的拜尔排列相同的彩色排列的彩色图像(A面的数字信号)以及与B面的拜尔排列相同的彩色排列的彩色图像(B面的数字信号)。从摄像元件20输出的彩色图像经由接口部24而暂时存储于存储器26(作为一例是SDRAM等)。

图像处理部28具有通常处理部30。通常处理部30通过对A面以及B面各自的数字信号(R、G、B信号)中的与第三像素组对应的R、G、B信号进行处理而生成彩色图像。另外，图像处理部28具有作为生成部的一例的裂像处理部32。裂像处理部32通过对与第一像素组以及第二像素组对应的R、G、B信号进行处理而生成彩色的裂像。另外，本第一实施方式的图像处理部28通过将图像处理的多个功能的电路汇总为一个的集成电路即ASIC(Application Specific Integrated Circuit：专用集成电路)来实现。但是，硬件结构不限定于此，例如也可以是包含可编程逻辑装置、CPU、ROM以及RAM的计算机等其他的硬件结构。

编码器34将输入的信号转换为其他形式的信号并输出。混合式取景器220具有显示电子图像的LCD247。LCD247中的预定方向(作为一例是视差产生方向即水平方向)的像素数比显示部213中的同方向的像素数少。显示控制部36连接于显示部213以及LCD247，通过选择性地控制LCD247以及显示部213从而使图像显示在LCD247或显示部213上。另外，以下，在不需要对显示部213以及LCD247进行区别说明的情况下，称作“显示装置”。

另外，本第一实施方式的摄像装置100通过对拔盘212(对焦模式切换部)进行操作而对手动对焦模式与自动对焦模式进行切换。若选择了手动对焦模式，则显示控制部36使显示装置显示裂像所合成的即时预览图像。另一方面，若通过拔盘212选择了自动对焦模式，则CPU12作为相位差检测部以及自动焦点调整部而动作。相位差检测部对从第一像素组输出的图像(以下，称作“第一图像”)与从第二像素组输出的图像(以下，称作“第二图像”)的相位差进行检测。自动焦点调整部基于检测出的相位差以使摄影透镜16的散焦量为零的方式，从装置控制部22经由固定件256、346对透镜驱动部(省略图示)进行控制，而使摄影透镜16移动到对焦位置。另外，上述的“散焦量”，例如是指第一图像以及第二图像的相位偏移量。

目镜检测部37对人(例如摄影者)观看取景器目镜部242进行检测，并将检测结果输出到CPU12。因此，CPU12能够基于目镜检测部37的检测结果来把握是否在使用取景器目镜部242。

外部I/F39经由连接线(省略图示)而与外部装置(例如打印机)连接，用于对外部装置与CPU12之间的各种信息的发送接收。因此，在摄像装置100连接于作为外部装置的打印机的情况下，能够将摄像所得到的静态图像输出到打印机而进行印刷。另外，摄影者能够通过操作操作部14而指定记录静态图像的记录介质的种类(例如L版)和印刷张数并使打印机进行印刷。

图7是表示第一实施方式的摄像装置100的主要部分功能的一例的功能框图。另外，在与图3所示的框图共通的部分标注相同的附图标记。

通常处理部30以及裂像处理部32分别具有：WB增益部、伽玛校正部以及去马赛克算法处理部(省略图示)，通过各处理部依次对暂时存储于存储器26的原始的数字信号(RAW图像)进行信号处理。即，WB增益部对R、G、B信号的增益进行调整而进行白平衡(WB)校正。伽玛校正部对由WB增益部进行了WB校正后的各R、G、B信号进行伽玛校正。去马赛克算法处理部进行与摄像元件20的滤色器的排列(在此作为一例是拜尔排列)对应的颜色插补处理，而生成进行了去马赛克算法的R、G、B信号。另外，由摄像元件20每取得1画面量的RAW图像，通常处理部30以及裂像处理部32就对该RAW图像并行地进行图像处理。

通常处理部30从接口部24输入R、G、B的RAW图像，并通过第三像素组中的同色的周边像素进行插补而生成第一像素组以及第二像素组的R、G、B的像素。由此，能够与仅具有第三像素组的摄像元件同样地得到1画面量的第三像素组的RAW图像(以下，“第三图像”)，并能够基于第三像素组的RAW图像生成用于记录的通常的彩色图像。

另外，通常处理部30将所生成的用于记录的通常的彩色图像的图像数据输出到编码器34。由通常处理部30处理后的R、G、B信号通过编码器34而转换(编码)为用于记录的信号，并记录于记录部40(参照图7)。另外，基于由通常处理部30处理后的第三图像的图像即用于显示的通常的彩色图像被输出到显示控制部36。另外，以下，为了说明的方便，在不需要对上述的“用于记录的通常的彩色图像”以及“用于显示的通常的彩色图像”进行区别说明的情况下，称作“通常图像”。

摄像元件20能够改变A面的像素组与B面的像素组的曝光条件(作为一例是电子快门的快门速度)，由此能够同时取得曝光条件不同的2张图像。因此，图像处理部28能够基于曝光条件不同的2张图像输出广动态范围的图像。另外，能够以相同的曝光条件同时取得2张图像，并能够通过将这些图像相加而生成噪声少的高灵敏度的图像，或生成高分辨率的图像。

另一方面，裂像处理部32从暂时存储于存储器26的RAW图像提取第一像素组以及第二像素组的R、G、B信号。而且，基于所提取的第一像素组以及第二像素组的R、G、B信号，进行包含与通常处理部30相同的去马赛克算法处理等在内的图像处理，由此生成左视差图像以及右视差图像。另外，以下，出于说明的方便，将上述的“左视差图像”称作“左眼图像”，将上述的“右视差图像”称作“右眼图像”。

裂像处理部32通过对基于从第一像素组输出的第一图像的左眼图像的上半部分的图像、与基于从第二像素组输出的第二图像的右眼图像的下半部分的图像进行合成，而生成裂像。将所生成的裂像的图像数据输出到显示控制部36。

另外，由于第一像素组以及第二像素组的受光面的左半部分或右半部分被遮光，因此第一像素组以及第二像素组的R、G、B信号是比第三像素组的R、G、B信号小的值。因此，优选为，裂像处理部32对明亮度进行校正，以使裂像的明亮度与从第三像素组输出的第三图像明亮度相同。

显示控制部36基于从通常处理部30输入的与第三像素组对应的用于记录的图像数据和从裂像处理部32输入的与第一、第二像素组对应的裂像的图像数据，生成用于显示的图像数据。例如，显示控制部36在从通常处理部30输入的第三像素组所对应的用于记录的图像数据所示的通常图像的显示区域内，对从裂像处理部32输入的图像数据所示的裂像进行合成。而且，将合成而得到的图像数据输出到显示部213。在此，由裂像处理部32生成的裂像是对左眼图像的一部分与右眼图像的一部分进行合成所得到的分割为两份的图像。作为在此所说的“分割成两份的图像”，例如是对左眼图像中的上半部分的图像与右眼图像中的下半部分的图像进行合成而得到的图像，可以列举被分割成两份的上下图像间根据对焦状态而沿预定方向(例如视差产生方向)偏移的图像。

在通常图像上合成裂像的方法不限定于替代通常图像的一部分的图像而嵌入裂像的合成方法。也可以是例如，在通常图像上重叠裂像的合成方法。另外，也可以是在重叠裂像时对重叠有裂像的通常图像的一部分的图像与裂像的透过率进行适当调整而重叠的合成方法。由此，表示连续拍摄而得到的被摄体像的即时预览图像显示在显示部213的画面上，但是所显示的即时预览图像是在通常图像的显示区域内显示有裂像的图像。

混合式取景器220包含：OVF240以及EVF248。OVF240是具有物镜244和目镜246的反伽利略式取景器，EVF248具有：LCD247、棱镜245和目镜246。

另外，在物镜244的前方配置有液晶快门243，液晶快门243以在使用EVF248时光学图像不入射到物镜244的方式进行遮光。

棱镜245使LCD247上显示的电子图像或各种信息反射而导至目镜246，并且将光学图像与在LCD247上显示的信息(电子图像、各种信息)进行合成。

在此，若使取景器切换杆214向图1所示的箭头符号SW方向转动，则每次转动时使能够通过OVF240对光学图像进行目视确认的OVF模式和能够通过EVF248对电子图像进行目视确认的EVF模式交替地切换。

显示控制部36在OVF模式的情况下，控制使液晶快门243为非遮光状态，使得能够从目镜部对光学图像进行目视确认。另外，在LCD247仅显示裂像。由此，能够显示在光学图像的一部分重叠了裂像的取景器像。

另一方面，显示控制部36在EVF模式的情况下，控制使液晶快门243为遮光状态，使得能够从目镜部仅对LCD247上显示的电子图像进行目视确认。另外，对LCD247输入与输出到显示部213的裂像被合成后的图像数据同等的图像数据，由此，能够与显示部213同样地在通常图像的一部分上显示裂像被合成后的电子图像。

然而，在本第一实施方式的摄像装置100中，与对视差进行校正的处理一起进行对裂像的边缘进行强调的处理。在此所说的“对视差进行校正的处理”，例如是指由图像处理部28对依赖于赋予裂像的相位偏移量的视差(通过裂像而表现的视差)进行校正的处理。以下，出于说明的方便，将上述的“对视差进行校正的处理”和“对边缘进行强调的处理”汇总而称作“视差校正处理”。

图像处理部28在进行视差校正处理的情况下，首先，对左眼图像以及右眼图像的对应点进行检测，并对视差进行测量。为了对左眼图像以及右眼图像的对应点进行检测，使用相关法等即可。例如，在二维坐标系中，对在x方向上是15[pixel]、在y方向上是1[pixel]那样的内核进行扫描，通过对像素值之差的平方和最小的部位进行搜索，能够对左眼图像以及右眼图像的对应点进行检测。视差的测量结果作为一例能够如图8所示以越远则越明亮、越近则越暗那样的单色图像(距离图像)来表达。也能够进行子像素单位的视差的测定。关于该详细的方法，记载于新井等发表的“图像的区块匹配中的相关函数和子像素推定方式的最优化(信息处理学会研究报告)，2004卷，40(CVIM-144)号，33-40页)”等。

另外，通常，视差测量中，存在“视差较大的情况下容易误检测”的问题、以及“若是(差的平方和小的)平坦部分彼此的对应点，则对应点的检测较为困难”的问题。但是，在单一的摄影透镜16+用于相位差检测的摄像元件20的单眼的摄像装置100中，本来视差就极小，因此前者的误检测通常较少。另外，关于后者的误检测，由于原来是平坦部分，因此，可以说即使对应点检测错误而相位偏移，最终对画质的影响也较少。

图像处理部28在进行视差校正处理情况，接下来，对于每个局部，设定施加于左眼图像以及右眼图像的移相滤光片(以下，简单称作“滤光片”)。例如，在左眼图像内的某部位，在相位偏移了1像素的情况下，作为一例，设定如图8所示的那样具有将滤波的中心有意地错位1[pixel]的滤波系数(图像处理系数的一例)的滤光片F(F_L、F_R)。另外，作为硬件结构的滤光片F一个即可，并在左眼图像的卷积运算(以下，称作“滤波处理”)时或右眼图像的滤波处理时设定各自的图像用的滤波系数。

滤光片F包含高通滤波而成为直流成分的滤光片。为此，能够同时进行边缘强调和相位偏移。另外，作为一例，图8所示的滤光片F_L、F_R分别具有1×7像素的内核尺寸(运算对象像素范围)，各滤光片F_L、F_R的滤波系数为，其滤波系数的中心从内核中心相互向反方向移位。图8所示的例中，滤光片F_L的滤波系数的中心，向左方移位1像素[pixel]量，滤光片F_R向右方移位1像素[pixel]量，因此作为整体能够以2像素[pixel]量扩大(强调)视差。

另外，图8所示的例子中例示了1×7像素的内核尺寸，但是不限定于此，也可以是1×5像素的内核尺寸。在该情况下，例如，如图9所示的那样，各滤光片F_L、F_R的滤波系数为，其滤波系数的中心从内核中心向相互相反方向移位。在图9所示的例子中，滤光片F_L的滤波系数的中心向左方移位1.25像素[pixel]量，滤光片F_R向右方移位1.25像素[pixel]量，因此能够作为整体以2.5像素[pixel]量扩大(强调)视差。

但是，若仅简单地对全部的像素扩大视差，有时不需要扩大的视差也被扩大。例如，能够列举如下情况：尽管处于满足预定条件的能够确认对焦的视差范围外，且是大到能够通过裂像而充分地目视确认这一程度的视差，也对视差进行了扩大，上述视差范围是满足预定条件的第一视差范围的一例。此外，能够列举如下情况：即尽管处于能够确认对焦的视差范围内，且是不需要经由裂像进行目视确认的视差，但也对视差过度地进行了扩大。上述的“满足预定条件的能够确认对焦的视差范围”是指例如人能够目视确认图像处理的对象像素在显示装置(例如显示部213)的显示画面上是处于对焦状态的视差的范围。另外，在摄像装置100的摄像系统中与图像处理的对象像素对应的摄像元件20内的元件处于被摄景深内的情况下，图像处理的对象像素具有人能够目视确认在显示装置的显示画面上是处于对焦状态的视差。相反，在摄像装置100的摄像系统中与图像处理的对象像素对应的摄像元件20内的元件不处于被摄景深内的情况下，图像处理的对象像素具有人能够目视确认在显示装置的显示画面上是处于非对焦状态的视差。

另外，若仅简单地对全部的像素扩大视差，有时需要充分地扩大的视差未被充分地扩大。例如，能够列举如下情况：尽管处于能够确认对焦的视差范围外，且是小到不能通过裂像而充分地目视确认这一程度的视差，但是视差没有被充分地扩大。

因此，本第一实施方式的摄像装置100，作为一例而使用图10所示的输入输出函数f而决定作为用于裂像的视差而最终输出的视差，并基于所决定的视差决定滤光片F_L、F_R的滤波系数。

图10表示本第一实施方式的输入输出函数f的一例。如图10所示的那样，通过输入输出函数f转换前的视差(以下，称作“输入视差”)的范围被分类为：能够确认对焦的视差范围Pin与能够确认对焦的视差范围外Pin’。通过输入输出函数f转换后的视差(以下，称作“输出视差”)的范围是指例如裂像的视差的范围。输出视差的范围被分类为：人不能对裂像内的图像的偏移进行目视确认的视差所属的不能目视确认图像偏移的范围Pout、和人能够对裂像内的图像的偏移进行目视确认的视差所属的能够目视确认图像偏移的范围Pout’。即，不能目视确认图像偏移的范围Pout能够说成是，可以对处于能够目视确认裂像中的对焦状态的视差的范围内这一情况进行目视确认的视差的范围。在此所说的“能够目视确认裂像中的对焦状态的视差的范围”是指例如能够目视确认裂像中的基于左眼图像的图像与基于右眼图像的图像没有偏移这一情况的视差的范围。另外，能够目视确认图像偏移的范围Pout’能够说成是，可以对处于能够目视确认裂像中的非对焦状态的视差的范围内这一情况进行目视确认的视差的范围。在此所说的“能够目视确认裂像中的非对焦状态的视差的范围”，是指例如能够目视确认裂像中的基于左眼图像的图像与基于右眼图像的图像有偏移这一情况的视差的范围。输入输出函数f将能够确认对焦的视差范围内Pin转换为不能目视确认图像偏移的范围Pout，并且将能够确认对焦的视差范围外Pin’转换为能够目视确认图像偏移的范围Pout’。

另外，以下，出于说明的方便，将能够确认对焦的视差范围内Pin与能够确认对焦的视差范围外Pin’的边界称作“转换前视差边界”。不过，转换前视差边界如图10所示，在输入视差的正侧以及负侧分别出现。因此，以下，在需要进行区别说明的情况下，将输入视差的正侧的转换前视差边界称作“正侧转换前视差边界”，将输入视差的负侧的转换前视差边界称作“负侧转换前视差边界”。另外，将能够目视确认图像偏移的范围Pout与能够目视确认图像偏移的范围Pout’的边界称作“转换后视差边界”。不过，转换后视差边界如图10所示，在输出视差的正侧以及负侧分别出现。因此，以下，在需要进行区别说明的情况下，将输出视差的正侧的转换后视差边界称作“正侧转换后视差边界”，将输出视差的负侧的转换后视差边界称作“负侧转换后视差边界”。

转换后视差边界例如基于多个被实验者的感官试验的结果而确定。例如通过基于多个被实验者的感官试验，将被评价为处于能够目视确认图像偏移的范围内(作为一例是对焦状态)的范围与被评价为处于能够目视确认图像偏移的范围外(作为一例是非对焦状态)的范围的边界作为转换后视差边界而采用。另外，在此所说的“感官试验”是指例如使多个被实验者预先目视确认多个试验用图像的各图像并由多个被实验者中预先确定的人数以上的被实验者评价是否是对焦状态的试验。另外，在此为了避免错综复杂，作为“感官试验”适用了评价是否是对焦状态的试验，但是，本发明不限定于此，作为“感官试验”，也可以适用评价是否是非对焦状态的试验。另外，作为“试验用图像”，可以列举例如对裂像进行了假定的图像即将左眼图像以及右眼图像组合后的图像。在此所说的“将左眼图像以及右眼图像组合后的图像”可以列举例如通过对基于第一图像的左眼图像的上半部分的图像和基于第二图像的右眼图像的下半部分的图像进行合成而得到的图像(相当于裂像的图像)。

上述“多个试验用图像”，是指例如视差不同的多个图像，具体来说，是指使视差从－10[pixel]到+10[pixel]以每偏移0.1[pixel]的图像组。该情况下，例如多个被实验者一边通过EVF248对上述图像组所包含的各图像进行幅输送一边进行目视确认，对判定为图像的偏移最少的(对焦状态)答案进行汇总，利用统计方法对转换后视差边界进行特定。作为在此所说的“统计方法”的一例，可以列举使用了直方图以及标准差的方法。例如，多个被实验者判定为对焦状态的答案的汇总结果是，作为一例如图11所示的那样，由以视差0[pixel]为中心而大致左右对称的直方图所表达。因此，将直方图中的±标准差s的预定倍的范围(图11所示的例中为±标准差s的3倍的范围)用作能够目视确认图像偏移的范围Pout。另外，图11所示的直方图是例如若被实验者的人数为50人则积分值成为“50”的直方图，纵轴表示被实验者判定为“是对焦状态”的频率，横轴表示EVF248上的视差[pixel]。

在图12示出了表示多个被实验者对显示部213上显示的图像进行评价的结果的直方图的一例。如图12所示，多个被实验者对显示部213上显示的图像进行评价的情况下，与图11相同，由以视差0[pixel]为中心而大致左右对称的直方图所表达。因此，将直方图中的±标准差s’的预定倍的范围(图12所示的例中为±标准差s’的3倍的范围)用作能够目视确认图像偏移的范围Pout。另外，图12所示的直方图是例如若被实验者的人数为50人则积分值成为“50”的直方图，纵轴表示被实验者判定为“是对焦状态”的频率，横轴表示显示部213上的视差[pixel]。

返回图10，输入输出函数f是连续函数，并包含将能够确认对焦的视差范围内Pin转换为能够目视确认图像偏移的范围Pout的函数F1。函数F1是将正侧转换前视差边界和正侧转换后视差边界的交点与负侧转换前视差边界和负侧转换后视差边界的交点连结的线性函数(在此作为一例是通过原点的一次函数)。

输入输出函数f包含与函数F1分别连续的函数F2、F3。函数F2是将正侧转换前视差边界和正侧转换后视差边界的交点与正侧的特定输入视差和恒等函数的交点(以下，称作“正侧的特定交点”)连结的线性函数。作为在此所说的“正侧的特定输入视差”的一例，能够列举即使原封不动地用作输出视差也能够足以进行目视确认的正侧的输入视差。在该情况下，采用如下视差即可：通过多个被实验者的感官试验而被评价为是即使用作输出视差也能够足以进行目视确认的视差。另外，也可以是摄影者通过操作部14指定喜好的视差(例如作为输出视差而使用足够自己进行目视确认的视差)作为上述“特定输入视差”。

函数F3是将负侧转换前视差边界和负侧转换后视差边界的交点与负侧的特定输入视差和恒等函数的交点(以下，称作“负侧的特定交点”)连结的线性函数。作为在此所说的“负侧的特定输入视差”的一例，与上述“正侧的特定输入视差”相同地，能够列举即使原封不动地用作输出视差也能够足以进行目视确认的负侧的输入视差。

输入输出函数f包含与函数F2连续的函数F4。函数F4是以正侧的特定交点为起点的恒等函数。另外，输入输出函数f包含与函数F3连续的函数F5。函数F5是以负侧的特定交点为起点的恒等函数。

在图13示出了本第一实施方式的其他的输入输出函数f的一例。本第一实施方式的摄像装置100具有多个输入输出函数f，这些输入输出函数f分别根据摄影透镜的F值而确定。例如，图10所示的输入输出函数f在F值是“1.4”的情况下使用，图13所示的输入输出函数f在F值是“3.5”的情况下使用。图10所示的输入输出函数f以及图13所示的输入输出函数f中不能目视确认图像偏移的范围Pout以及能够目视确认图像偏移的范围Pout’不变(固定)。与此相对，图13所示的输入输出函数f的能够确认对焦的视差范围内Pin比图10所示的输入输出函数f的能够确认对焦的视差范围内Pin窄。即，图13所示的输入输出函数f所包含的函数F1的倾斜度比图10所示的输入输出函数f所包含的函数F1的倾斜度大。换言之，可以说成是，图13所示的输入输出函数f的函数F1与图10所示的输入输出函数f的函数F1相比，对属于能够确认对焦的视差范围内Pin的视差进行转换时的增益较大。如此，在本第一实施方式的摄像装置100中，在多个输入输出函数f的各函数中，F值越高，则转换前视差边界位于使能够确认对焦的视差范围内Pin越窄的位置。

然而，已知能够确认对焦的视差范围依赖于摄像元件20上的视差。摄像元件20上的视差作为一例如图14所示，根据摄像元件20的第三像素所取得的模糊圆的像的直径(模糊直径)[pixel]而唯一确定。若将摄像元件20上的视差设为Pc，将摄像元件20上的模糊直径设为B[pixel]，则视差Pc能够用Pc＝κB[pixel]的式子来表达。在此，所谓“κ”，是依赖于摄像元件20的灵敏度特性和摄影透镜16的F值的小于1的值。另外，在此，将“κ”设为依赖于摄像元件20的灵敏度特性和摄影透镜16的F值的小于1的值，但是不限定于此，也可以是依赖于摄像元件20的灵敏度特性或摄影透镜16的F值的小于1的值。

为了使EVF248显示能够确认对焦的视差范围内的图像，将摄像元件20上的模糊直径B设为小于1[pixel]即可。即，如果Pc＜κ的不等式成立，则可在EVF248上得到能够确认对焦的视差范围内的图像。若将EVF248上的视差设为Pe，将EVF248的宽度[pixel]设为We，将摄像元件20的宽度[pixel]设为Wc，则能够将Pc＜κ的不等式置换为Pe×Wc/We＜κ[pixel]的不等式。因此，如果Pe＜κ×We/Wc[pixel]的不等式成立，则能够在EVF248上得到能够确认对焦的视差范围内的图像。因此，在本第一实施方式的摄像装置100中，按照Pe＜κ×We/Wc[pixel]的不等式对能够确认对焦的视差范围内Pin进行规定。另外，EVF248的宽度We是指例如EVF248的预定方向(作为一例是视差产生方向即水平方向)的像素数，摄像元件20的宽度Wc是指例如摄像元件20的预定方向(作为一例是视差产生方向即水平方向)的像素数。

图像处理部28在进行视差校正处理的情况下，接下来，通过进行上述的那样设定的滤光片F_L、F_R的滤波处理，对左眼图像以及右眼图像进行相位偏移。即，对于以进行了左眼图像内的对应点检测的对象像素(关注像素)为中心的1×7像素的像素组，使用例如图8所示的滤光片F_L进行滤波处理。由此，对关注像素进行边缘强调，并且向左方相位偏移1像素量。同样，对于以与左眼图像的关注像素对应的右眼图像的关注像素为中心的1×7像素的像素组，使用例如图8所示的滤光片F_R而进行滤波处理。由此，对关注像素进行边缘强调，并且向右方相位偏移1像素量。如此，当左眼图像内的关注像素向左方相位偏移1像素量，右眼图像内的关注像素向右方相位偏移1像素量，则作为整体，像素位置被扩大2像素量，从而扩大视差。

本第一实施方式的滤波如上述的那样扩大视差的同时也进行边缘强调，但是通常通过利用了相位差像素的3D摄像装置所摄像的左眼图像以及右眼图像具有视差越大的部位越模糊的特征。在模糊部位也存在过度的边缘强调引起噪点增大的可能性。

因此，在本第一实施方式的摄像装置100中，进行根据视差的扩大而减弱边缘强调的程度的处理。由此，能够减少模糊的部位的噪声，并能够使清晰的部位更清晰。

为了根据视差的扩大而对边缘强调的程度进行校正，可以考虑例如以下的方法。首先，考虑频率特性能够用以下的(1)式表达的滤波。

(滤波系数的频率特性)＝(直流成分)+α×(HPF成分)＝(直流成分)+α×((直流成分)－(LPF成分))……(1)

设边缘强调的强度为α、移相错位量为μ、LPF成分为标准差σ的高斯分布、上述(1)式进行傅立叶变换，则滤波系数成为下式。另外，该滤波系数作为一例如图15A所示的那样被表达。另外，边缘强调的强度α能够通过频带σ控制。另外，HPF的强度，通过将边缘强调的强度α设为原始图像的视差[pixel]的函数(参照例如图15B)，从而能够根据视差进行控制。

[数学式1]

接下来，作为本第一实施方式的作用，参照图16对包含通过图像处理部28进行的上述视差校正处理的图像处理进行说明。另外，在此，对通过图像处理部28进行图像处理的情况进行例示，但是本发明不限定于此，也可以是例如通过CPU12执行图像处理程序从而在摄像装置100中进行图像处理。

图16中，步骤400中，通过图像处理部28生成基于所输入的第三图像的通常图像。在上述步骤400中生成的通常图像通过图像处理部28而存储于预定的存储区域(例如存储器26)。在接下来的步骤402中，通过图像处理部28生成基于所输入的第一图像的左眼图像以及基于所输入的第二图像的右眼图像，然后移向步骤404。

在步骤404中，由图像处理部28对在上述步骤402中生成的左眼图像以及右眼图像的一方的全部像素中的处理对象的像素进行设定。另外，在此为了避免错综复杂，而对在上述步骤402中生成的左眼图像的全部像素中的处理对象的像素(关注像素(i，j))进行设定。在该情况下，例如，在左眼图像的图像尺寸为m×n像素的情况下，从像素(1，1)到像素(m，n)，每进行本步骤404时就依次使关注像素移动。

在接下来的步骤406中，由图像处理部28提取出以在步骤404中设定的关注像素(i，j)为基准的像素组、即预定的区块尺寸[Cx×Cy][pixel]的像素组。在接下来的步骤408中，由图像处理部28算出视差，该视差表示在上述步骤406中提取的左眼图像的各像素与在上述步骤406中提取的右眼图像的对应的像素之间的偏移量。

在上述步骤408中，图像处理部28例如首先以在上述步骤406提取出的左眼图像的像素组为基础，从右眼图像内搜索特征点一致的像素组。即，作为一例，如图17所示对从左眼图像提取出的像素组(区块)、与右眼图像中的从左眼图像提取的像素组(区块)和右眼图像内的区块的一致度进行评价。而且，将区块间的一致度最大时的右眼图像的区块的基准的像素，设为与左眼图像的关注像素对应的右眼图像的对应点的像素。在本第一实施方式中，使用区块匹配法对区块间的一致度进行评价，作为对一致度进行评价的函数，例如具有使用各区块内的像素的亮度差的平方和(SSD)的函数(SSD区块匹配法)。

在SSD区块匹配法中，对设为比较对象的两图像的区块内的各像素f(i，j)、g(i，j)，进行下式的运算。

[数学式2]

$\mathrm{SSD}=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{\{f(i,j)-g(i,j)\}}^2$

一边在右眼图像上使区块的位置在预定的搜索区域内移动一边进行上述[数学式2]式的运算，将SSD值为最小时的搜索区域内的位置的像素设为搜索对象的像素。并且，算出表示左眼图像上的关注像素与搜索出的对应的右眼图像上的像素的像素间的偏移量的视差。

在接下来的步骤410中，由图像处理部28进行函数决定处理。所谓函数决定处理，是指对本发明的视差转换系数进行决定的处理所包含的处理的一例，例如对输入输出函数f进行决定的处理。在图18中示出了表示函数决定处理的流程的一例的流程图。

如图18所示，在步骤410A中，由图像处理部28取得与当前时刻设定的F值对应的输入输出函数f。在此所说的“与当前时刻设定的F值对应的输入输出函数f”，是指例如在作为拍摄即时预览图像时所使用的F值，在当前时刻设定的F值是“1.4”的情况下，作为一例是图10所示的输入输出函数f。另外，在当前时刻所设定的F值是“3.5”的情况下，作为一例是指图13所示的输入输出函数f。另外，在此，出于说明的方便，作为适用于在上述步骤410A中取得的输入输出函数f的不能目视确认图像偏移的范围Pout的一例，采用图12所示的直方图所规定的不能目视确认图像偏移的范围Pout。另外，在上述步骤410A中取得的输入输出函数f的倾斜度(例如函数F1～F5的各倾斜度)是本发明的不使用时视差转换系数以及显示部使用时系数的一例。另外，在此列举了取得与F值对应的输入输出函数f的例子，但是本发明不限定于此，也可以取得不依赖于F值而预先确定的输入输出函数f。

步骤410B中，由图像处理部28对当前时刻所指示的摄像是否是静态图像的摄像进行判定。本步骤410B中，在当前时刻所指示的摄像不是静态图像的摄像的情况下，判定为肯定并移向步骤410C。在本步骤410B中，在当前时刻所指示的摄像是静态图像的摄像的情况下，判定为否定并移向步骤410D。

步骤410D中，由图像处理部28对作为拍摄静态图像时所使用的F值而在当前时刻设定的F值与作为拍摄即时预览图像时所使用的F值而在当前时刻设定的F值是否一致进行判定。本步骤410D中，在作为拍摄静态图像时所使用的F值而在当前时刻设定的F值与作为拍摄即时预览图像时所使用的F值而在当前时刻设定的F值不一致的情况下，判定为肯定并移向步骤410E。本步骤410D中，作为拍摄静态图像时所使用的F值而在当前时刻设定的F值与作为拍摄即时预览图像时所使用的F值而在当前时刻设定的F值一致的情况，判定为否定并移向步骤410C。

在步骤410E中，由图像处理部28根据作为拍摄静态图像时所使用的F值而在当前时刻设定的F值，对在上述步骤410A中取得的输入输出函数f进行校正。在此，在例如作为拍摄静态图像时所使用的F值而在当前时刻设定的F值比作为在拍摄即时预览图像时所使用的F值而在当前时刻设定的F值高的情况下，图像处理部28以减缓强调的程度的方式对输入输出函数f进行校正。即，使在上述步骤410A中取得的输入输出函数f的函数F1的倾斜度(输出视差相对于输入视差的的增益)比拍摄即时预览图像时小。例如，在拍摄即时预览图像时的F值为“1.4”的情况下，将拍摄静态图像时的F值为“4.0”时，对输入输出函数f中的图10所示的能够确认对焦的视差范围内Pin乘以校正项“4.0/1.4”。由此，图10所示的能够确认对焦的视差范围内Pin被扩大。

相反，在例如作为拍摄静态图像时所使用的F值而在当前时刻设定的F值比作为拍摄即时预览图像时所使用的F值而在当前时刻设定的F值低的情况下，以加强强调的程度的方式对函数进行校正。即，使在上述步骤410A中取得的输入输出函数f的函数F1的倾斜度比拍摄即时预览图像时大。例如，在拍摄即时预览图像时的F值为“3.5”的情况下，将拍摄静态图像时的F值为“1.4”时，对输入输出函数f中的图13所示的能够确认对焦的视差范围内Pin乘以校正项“1.4/3.5”。由此，图10所示的能够确认对焦的视差范围内Pin被缩小。

另外，作为原则，在拍摄即时预览图像时，F值越大，则能够确认对焦的视差范围内Pin越窄，由此，视差的扩大的程度越被加强。例如，摄像装置100在将拍摄即时预览图像所使用的F值设为“2.8”，并将“2.8”预定为拍摄静态图像时的F值的情况下，将能够确认对焦的视差范围内Pin设定为“0.35”而进行视差的扩大，并以“2.8”的F值进行本曝光。另外，例如，在将拍摄即时预览图像所使用的F值设为“4.0”，将“2.8”预定为拍摄静态图像时的F值的情况下，将能够确认对焦的视差范围内Pin设为“0.25”而进行视差的扩大，并以“2.8”的F值进行本曝光。此外，例如，在将拍摄即时预览图像所使用的F值设为“5.6”，将“2.8”预定为拍摄静态图像时的F值的情况下，将能够确认对焦的视差范围内Pin设定为“0.18”而进行视差的扩大，并以“2.8”的F值进行本曝光。

另一方面，在拍摄即时预览图像的期间被指示了拍摄静态图像的情况下，若拍摄即时预览图像所使用的F值保持不变、而拍摄静态图像时的F值变高，则能够确认对焦的视差范围内Pin扩大。由此，视差的扩大的程度减弱。例如，摄像装置100在将拍摄即时预览图像所使用的F值设为“2.8”，将“2.8”预定为拍摄静态图像时的F值的情况下，将能够确认对焦的视差范围内Pin设定为“0.35”而进行视差的扩大，并以“2.8”的F值进行本曝光。另外，例如，在将拍摄即时预览图像所使用的F值设为“2.8”，将“4.0”预定为拍摄静态图像时的F值的情况下，将能够确认对焦的视差范围内Pin设定为“0.50”而进行视差的扩大，并以“4.0”的F值进行本曝光。此外，例如，在将拍摄即时预览图像所使用的F值设为“2.8”，将“5.6”预定为拍摄静态图像时的F值的情况下，将能够确认对焦的视差范围内Pin设定为“0.70”而进行视差的扩大，并以“5.6”的F值进行本曝光。

如此，图像获取部28还取得由摄像元件20以连续帧进行摄像的即时预览图像(连续帧图像的一例)，并且取得在给予了拍摄静态图像(单帧图像的一例)的指示的情况下所拍摄的静态图像。而且，在对即时预览图像进行摄像的期间给予了拍摄静态图像的指示的情况下，根据F值而调整被判定为处于能够确认对焦的视差范围内的关注像素(图像处理的对象像素)的视差的范围。即，在拍摄静态图像时的F值比拍摄即时预览图像时的F值大的情况下，扩大视差的范围，在拍摄静态图像时的F值比拍摄即时预览图像时的F值小的情况下，缩小视差的范围。

在步骤410C中，由图像处理部28判定是否满足L版鉴赏条件。所谓L版鉴赏条件是指例如表示与通过显示部213进行鉴赏相比，摄影者更喜欢通过L版打印进行鉴赏这一情况的条件。作为L版鉴赏条件，可以列举例如从预定时点的L版的打印张数的合计为预定张数(例如500张)以上的条件。即，如果从预定时间起的L版的打印张数的合计是预定张数以上，则摄影者喜欢通过L版打印进行鉴赏。在本步骤410C中，在不满足L版鉴赏条件的情况下，判定为肯定并移向步骤410F。在本步骤410C中，在满足L版鉴赏条件的情况下，判定为否定并移向步骤410G。

在步骤410G中，由图像处理部28将在上述步骤410A中取得的输入输出函数f或在上述步骤410E中被校正了的输入输出函数f校正为用于L版的输入输出函数f后，结束本函数决定处理。用于L版的输入输出函数f是指例如对于在上述步骤410A中取得的输入输出函数f或在上述步骤410E中被校正了的输入输出函数f，将能够确认对焦的视差范围内Pin的范围扩大到预先确定的范围的输入输出函数f。另外，在对能够确认对焦的视差范围内Pin的范围进行扩大的前后，使输入输出函数f的不能目视确认图像偏移的范围Pout以及能够目视确认图像偏移的范围Pout’不变。这样扩大能够确认对焦的视差范围内Pin的范围是因为：在如L版打印的那样缩小图像而进行鉴赏的情况下，与通过显示部213鉴赏图像的情况下相比即使扩大输入视差的范围也没有问题。

在步骤410F中，由图像处理部28判定是否满足EVF鉴赏条件。EVF鉴赏条件是指例如表示在当前时刻用户正在使用EVF248的条件。例如基于目镜检测部37的检测结果而判定是否正在使用取景器目镜部242，由此判定用户是否正在使用EVF248。即，在判定为取景器目镜部242正在被使用的情况下，判定为用户正在使用EVF248，在判定为取景器目镜部242未被使用的情况下，判定为用户没有使用EVF248。在本步骤410F中，在不满足EVF鉴赏条件的情况下，判定为否定并结束本函数决定处理。在本步骤410F中，在满足EVF鉴赏条件的情况下，判定为肯定并移向步骤410H。

在步骤410H中，由图像处理部28将在上述步骤410A中取得的输入输出函数f或在上述步骤410E中被校正了的输入输出函数f校正为用于EVF的输入输出函数f后，结束本函数决定处理。用于EVF的输入输出函数f是指例如对于输入输出函数f不改变能够确认对焦的视差范围内Pin以及能够确认对焦的视差范围外Pin’而将不能目视确认图像偏移的范围Pout扩大到由图11所示的直方图规定的不能目视确认图像偏移的范围Pout的输入输出函数f。另外，扩大到不能目视确认图像偏移的范围Pout后的输入输出函数f的倾斜度(例如函数F1～F5的各倾斜度)是本发明的使用时视差转换系数的一例。

另外，在假设适用由图11所示的直方图规定的不能目视确认图像偏移的范围Pout，作为在上述步骤410A中取得的输入输出函数f中的不能目视确认图像偏移的范围Pout的情况下，不需要步骤410H的处理。取而代之，若步骤410F为否定判定，则对输入输出函数f施加将其校正为将不能目视确认图像偏移的范围Pout缩小到由图12所示的直方图规定的不能目视确认图像偏移的范围Pout的输入输出函数f的处理。另外，在缩小不能目视确认图像偏移的范围Pout的范围的前后，能够确认对焦的视差范围内Pin以及能够确认对焦的视差范围外Pin’不变。

返回图16，在步骤412中，由图像处理部28判定在上述步骤404中设定的关注像素是否处于能够确认对焦的视差范围内。在本步骤412中，当处于能够确认对焦的视差范围内的情况下，判定为肯定并移向步骤414。在本步骤412中，当处于能够确认对焦的视差范围外的情况下，判定为否定并移向步骤416。另外，在此基于在上述步骤408中算出的视差来判定关注像素是否处于能够确认对焦的视差范围内，但是不限定于此，只要是能够对关注像素是否处于能够确认对焦的视差范围内进行判定的方法即可，能够适用任何方法。另外，在此，由于将关注像素的判定结果也适用于右眼图像的对应点的像素，因此列举了仅对于关注像素判定是否处于能够确认对焦的视差范围内的例子，但是也可以对于与关注像素对应的右眼图像的像素判定是否处于能够确认对焦的视差范围内。

步骤414、416的处理是决定本发明的视差转换系数的处理所包含的处理的一例。在步骤414中，由图像处理部28根据在上述步骤410中决定的输入输出函数f取得函数F1作为与在上述步骤408中算出的视差对应的函数，然后，移向步骤418。另一方面，在步骤416中，由图像处理部28根据在上述步骤410中决定的输入输出函数f的能够确认对焦的视差范围外Pin’所包含的函数F2～F4，取得与在上述步骤408中算出的视差对应的函数，然后，移向步骤418。

在步骤418中，由图像处理部28决定滤波系数，该滤波系数与使用在上述步骤414或步骤416中取得的函数而导出的输出视差相对应。在此，图像处理部28首先使用在上述步骤414或步骤416中取得的函数导出相当于输出视差的视差γ。即，使用在上述步骤414或步骤416中取得的函数，将作为输入视差而在上述步骤408中算出的视差转换为作为输出视差的视差γ。而且，导出与视差γ对应的相位偏移量μ[pixel]。相位偏移量μ由例如图19所示的函数(实线或虚线的曲线图)唯一确定。图19所示的实线的曲线图表示与左眼图像对应的相位偏移量μ，将比对焦的被摄体(视差0)远的被摄体的视差γ的符号设为正，将比对焦的被摄体近的被摄体的视差γ的符号设为负。另外，将右方的相位偏移量μ设为正，将左方的相位偏移量μ设为负。而且，如图19的虚线的曲线图所示的那样，与右眼图像对应的相位偏移量μ和与左眼图像对应的的相位偏移量μ的符号相反。

在图19所示的例中，不改变由输入输出函数f所决定的输出视差[pixel]的符号而对预定的像素数范围(作为一例是±P1)的视差γ乘以倾斜度ε(＞0)，由此进行向相位偏移量μ的转换。对于超过预定的像素数范围的视差γ，为防备视差测量结果存在错误的情况，以倾斜度ε成为“ε＝0”的方式将相位偏移量μ设为固定。另外，本第一实施方式中，作为“ε＞0”的视差γ的范围，适用由输入输出函数f所包含的函数F1、F2、F3规定的输出视差的范围。另外，作为“ε＝0”的视差γ的范围(成为将相位偏移量μ固定的对象的输出视差的范围)，适用由输入输出函数f所包含的函数F4、F5规定的输出视差的范围。

接下来，图像处理部28基于作为一例根据图19所示的函数而导出的相位偏移量μ、预先设定的标准差σ和边缘强调的强度的α(参照图15A以及图15B)，并通过上述的[数学式1]算出滤光片F_L、F_R的滤波系数。另外，本第一实施方式中，示出了使用[数学式1]算出滤光片F_L、F_R的滤波系数的方式，但是本发明不限定于此。例如，也可以是，准备预先存储的与输出视差或者相位偏移量等对应的滤波系数组的查询表(LUT)，并基于输出视差等读出对应的滤波系数组，来决定滤光片F_L、F_R。

在步骤420中，由图像处理部28对在上述步骤406中提取的像素组以及对应的像素组(例如以在上述步骤404中设定的关注像素(i，j)所对应的右眼图像的对应点为基准而提取的像素组)进行图像处理。

在本步骤420中，例如，图像处理部28首先对于在上述步骤406中提取的像素组(区块)，利用与该区块尺寸相同的内核尺寸的滤光片F_L进行滤波处理，从而算出关注像素(i，j)的像素值。另外，对于以与在上述步骤404中设定的关注像素(i，j)对应的右眼图像的对应点为基准而提取的像素组，利用与该区块尺寸相同的内核尺寸的滤光片F_R进行滤波处理而算出右眼图像的对应点的像素值。

图像处理部28接下来将如上所述进行了滤波处理的左眼图像的关注像素(i，j)的像素值以及右眼图像的对应点的像素的像素值配置(映射)于从原始的位置移位了相位偏移量μ的位置。

在此，在将区块尺寸[Cx×Cy]设为例如7×7[pixel]的情况下，作为一例，如图20A以及图20B所示，滤光片F_L、F_R的内核尺寸也设为7×7[pixel]。而且，不使通过区块匹配法进行了对应点的检测和视差γ计算的左眼图像的像素组(区块)和右眼图像的像素组(区块)放开而原封不动地通过F_L、F_R进行滤波处理。由此，能够缩减存储器使用量，另外，也能够使处理高速化。

在接下来的步骤422中，由图像处理部28将通过在上述步骤420中进行的图像处理所得到的像素值对应每个像素而存储在预定的存储区域(例如存储器26)，从而对图像进行存储，然后，移向步骤424。

在步骤424中，由图像处理部28判定左眼图像的全部的像素的滤波处理是否结束。在本步骤424中，在左眼图像的全部的像素的滤波处理结束的情况下，判定为肯定并移向步骤426。在本步骤424中，在左眼图像的全部的像素的滤波处理未结束的情况下，判定为否定并移向步骤404。

在步骤426中，由图像处理部28将在上述步骤400、422中存储于预定的存储区域的图像输出到预定的输出目的地后，结束本图像处理。另外，作为上述的“预定的输出目的地”，可以列举例如显示控制部36，除此之外，在摄影者等通过操作部14指示了向外部装置输出的情况下，作为上述的“预定的输出目的地”也可适用外部I/F40。

若由图像处理部28进行图16所示的图像处理，则作为一例如图21A以及图21B所示，在显示部213、混合式取景器220上显示即时预览图像。在图21A以及图21B所示的例子中，在画面中央的框60的内侧区域显示裂像，在框60的外侧区域显示通常图像。

即，第一像素组及第二像素组根据框60的尺寸而设置。裂像大致分为与从第一像素组输出的第一图像对应的图像中的框60的上半部分60A的图像(视差图像)和与从第二像素组输出的第二图像对应的图像中的框60的下半部分60B的图像(视差图像)。

在此，在摄影透镜16未对焦于与框60内的图像对应的被摄体的情况下，如图21A所示，裂像的上半部分60A的视差图像与下半部分60B的视差图像的边界的图像沿视差产生方向(作为一例是水平方向)偏移。另外，通常图像与裂像的边界的图像也沿视差产生方向偏移。这表示产生了相位差，摄影者能够通过裂像视觉上识别产生了相位差以及视差产生方向。

另一方面，在摄影透镜16对焦于与框60内的图像对应的被摄体的情况下，如图21B所示，裂像的上半部分60A的视差图像与下半部分60B的视差图像的边界的图像一致。另外，通常图像与裂像的边界的图像也一致。这表示没有产生相位差，摄影者能够通过裂像视觉上识别没有产生相位差。

如此，摄影者能够通过显示部213所显示的裂像对摄影透镜16的对焦状态进行确认。另外，在手动对焦模式时，能够通过手动操作摄影透镜16的聚焦环302而使焦点的偏移量(散焦量)为零。另外，能够用无颜色失配的彩色图像分别显示通常图像和裂像，并能够利用彩色的裂像对摄影者的手动调焦进行辅助。

图22表示摄像元件20的变形例，尤其表示滤色器的排列例以及遮光部件的配置例。图22所示的摄像元件20’的滤色器的排列包含由与6×6像素对应的正方排列图案构成的基本排列图案P(由粗框所示的图案)，将该基本排列图案P在水平方向以及垂直方向上重复配置。即，滤色器的排列的R、G、B的各色的滤光片具有预定的周期性地排列。

另外，摄像元件20’与图4所示的摄像元件20相同，包含第一像素组、第二像素组以及第三像素组。第一像素组的受光面的左半部分被遮光部件遮光，第二像素组的受光面的右半部分被遮光部件遮光。在第三像素组上没有设置遮光部件。

图23A以及图23B是仅表示图22所示的摄像元件20’所包含的第一像素组以及第二像素组的图。如图23A以及图23B所示，第一像素组以及第二像素组中的滤色器的排列分别是拜尔排列。即，以第一像素组以及第二像素组中的滤色器的排列分别为拜尔排列的方式将摄像元件20’的全部像素组中的一部分像素作为相位差像素而配置。

图22所示的摄像元件20’的滤色器排列具有6×6像素的基本排列图案P，比具有2×2像素的基本排列图案的拜尔排列复杂。因此，虽然去马赛克算法处理等的信号处理变得复杂，但是通过以上述的那样滤色器的排列分别成为拜尔排列的方式配置相位差像素，从而能够容易地进行用于生成裂像的去马赛克算法处理等的信号处理。

另外，虽然列举了如图23A以及图23B所示的那样将滤色器的排列设为拜尔排列的相位差像素的配置例，但也可以是在图22所示的滤色器的排列中，在水平方向和垂直方向上每隔6像素配置相位差像素(一对的第一像素和第二像素)。由此，能够使第一像素组及第二像素组的彩色排列成为与原始的RAW图像相同的彩色排列。

如以上说明的那样，本第一实施方式的摄像装置100具有对通过摄影透镜16的出射光瞳的光束的光轴的左侧以及右侧(通过了第一区域及第二区域的被摄体像的一例)进行光瞳分割而分别成像的第一像素组及第二像素组。作为图像获取部的一例的图像处理部28取得与从第一像素组及第二像素组输出的第一图像及第二图像相当的左眼图像以及右眼图像(步骤402)。另外，作为视差计算部的一例的图像处理部28算出表示左眼图像的各像素与右眼图像的各像素的偏移量的输入视差(步骤408)。另外，作为第一判定部的一例的图像处理部28判定图像处理的对象像素是否处于能够确认对焦的视差范围内(步骤412)。另外，作为系数决定部的一例的图像处理部28对应左眼图像以及右眼图像中的每个对象像素决定具有作为视差转换系数的一例的系数(作为一例是倾斜度)的输入输出函数f(步骤410、414、416)。在判定为处于能够确认对焦的视差范围内的情况下，输入输出函数f将所算出的输入视差转换为不能目视确认图像偏移的范围Pout的输出视差(能够视差裂像处于能够确认对焦的视差范围内的视差的一例)。另外，在判定为处于能够确认对焦的视差范围外的情况下，输入输出函数f将所算出的输入视差转换为能够目视确认图像偏移的范围Pout’的输出视差(能够视差裂像处于能够确认对焦的视差范围外的视差的一例)。此外，图像处理部28基于输入输出函数f对对象像素进行图像处理(步骤420)。由此，与不具有本结构的情况相比，能够恰当地强调视差。

另外，在本第一实施方式的摄像装置100中，不能目视确认图像偏移的范围Pout的视差设为由多个被实验者的感官试验评价为是对焦状态的视差。由此，与不具有本结构的情况相比，能够适当地确定能够确认对焦的视差范围内的视差的强调程度。

另外，在本第一实施方式的摄像装置100中，能够目视确认图像偏移的范围Pout’的视差设为由多个被实验者的感官试验评价为是非对焦状态的视差。由此，与不具有本结构的情况相比，能够适当地确定能够确认对焦的视差范围外的视差的强调程度。

另外，在本第一实施方式的摄像装置100中，图像处理部28判定图像处理的对象像素是否处于比能够确认对焦的视差范围广的预定视差范围内(步骤42)。在判定为图像处理的对象像素处于预定视差范围(例如负侧转换前视差边界以上且正侧转换前视差边界以下)内的情况下，采用使图像处理的对象像素的视差扩大的函数。由此，能够在比能够确认对焦的视差范围广的预定视差范围内高精度地抑制视差的强调过多或不足这一情况的发生。

另外，本第一实施方式的摄像装置100中，在判定为处于能够确认对焦的视差范围外的情况下，将输入视差转换为按照函数F2、F3的倾斜度(预先确定的扩大率以下的扩大率的一例)而被扩大的输出视差。由此，与不具有本结构的情况相比，能够在能够确认对焦的视差范围外高精度地抑制视差的强调过多或不足这一情况的发生。

另外，本第一实施方式的摄像装置100中，基于正侧转换前视差边界和正侧转换后视差边界的交点(能够目视确认处于能够确认对焦的视差范围内的视差的最大值的一例)与正侧的特定输入视差，而确定函数F2的倾斜度。另外，基于负侧转换前视差边界和负侧转换后视差边界的交点(能够目视确认处于能够确认对焦的视差范围内的视差的最小值的一例)与负侧的特定输入视差，而确定函数F3的倾斜度。由此，与不具有本结构的情况相比，能够容易地确定在能够确认对焦的视差范围外使视差的强调恰当的函数F2、F3的倾斜度。

另外，在本第一实施方式的摄像装置100中，在被判定为处于能够确认对焦的视差范围外的对象像素的输入视差在特定的输入视差以上的情况下，通过函数F4、F5将输入视差原封不动地作为输出视差(转换为特定的输入视差以下的视差的一例)。由此，与不具有本结构的情况相比，能够避免在能够确认对焦的视差范围外视差的过度的强调。

另外，在本第一实施方式的摄像装置100中，图像处理部28按照Pe＜κ×We/Wc[pixel]的不等式判定图像处理的对象像素是否处于能够确认对焦的视差范围内。由此，与不具有本结构的情况相比，能够高精度地判定图像处理的对象像素是否处于能够确认对焦的视差范围内。

另外，在本第一实施方式的摄像装置100中，摄影透镜16的F值越高，则能够确认对焦的视差范围内Pin(判定为处于能够确认对焦的视差范围内的对象像素的视差的范围的一例)越窄。由此，与不具有本结构情况相比，能够根据F值抑制视差的强调过多或不足这一情况的发生。

另外，在本第一实施方式的摄像装置100中，图像获取部28还取得以连续帧拍摄所得的即时预览图像(连续帧图像的一例)，并且取得在给予了拍摄静态图像(单帧图像的一例)的指示的情况下所拍摄的静态图像。而且，在未给予拍摄静态图像的指示的情况下，F值(摄影透镜的光圈值的一例)越高，则能够确认对焦的视差范围越窄。由此，与不具有本结构的情况相比，能够恰当地进行未给予拍摄静态图像的指示的情况下的视差的强调。

另外，在本第一实施方式的摄像装置100中，在给予了拍摄静态图像的指示的情况下，根据拍摄静态图像所使用的F值而确定能够确认对焦的视差范围。由此，与不具有本结构的情况相比，即使是给予了拍摄静态图像的指示的情况下也能够恰当地进行视差的强调。

另外，在本第一实施方式的摄像装置100中，在给予了拍摄静态图像的指示时的F值比拍摄即时预览图像所使用的F值高的情况下，F值越高，则给予了拍摄静态图像的指示的情况下的能够确认对焦的视差范围越宽。另外，在给予了拍摄静态图像的指示时的F值比拍摄即时预览图像所使用的F值低的情况下，F值越低则给予了拍摄静态图像的指示的情况下的能够确认对焦的视差范围越窄。由此，与不具有本结构的情况相比，即使在给予了拍摄静态图像的指示的情况下，也能够根据F值而抑制视差的强调过多或不足这一情况的发生。

另外，在本第一实施方式的摄像装置100中，将不能目视确认图像偏移的范围Pout以及能够目视确认图像偏移的范围Pout’固定。由此，与不具有本结构的情况相比，可以根据能够确认对焦的视差范围而避免视差的强调程度不同这一情况的发生。另外，优选为，不能目视确认图像偏移的范围Pout的视差以及能够目视确认图像偏移的范围Pout’对应每个图像的输出目的地而被固定。

另外，在本第一实施方式的摄像装置100中，将输入输出函数f设为根据输入视差而选择性地输出不能目视确认图像偏移的范围Pout的视差和能够目视确认图像偏移的范围Pout’的视差的连续函数。由此，与不具有本结构的情况相比，能够容易地预测视差的强调程度。

另外，在本第一实施方式的摄像装置100中，作为输入输出函数f，在能够确认对焦的视差范围内Pin中采用作为第一线性函数的一例的函数F1。由此，与不具有本结构的情况相比，能够在能够确认对焦的视差范围内Pin中容易地预测视差的强调程度。

另外，在本第一实施方式的摄像装置100中，作为输入输出函数f，在能够确认对焦的视差范围外Pin’中采用了与函数F1连续并且与函数F1相比斜度缓的作为第二线性函数的一例的函数F2、F3。由此，与不具有本结构的情况相比，能够抑制视差的强调的急剧变化。另外，在此所谓的“斜度缓”是指例如在以符合与函数F1的倾斜度的符号相同的倾斜度为前提的意思下的斜度缓。

另外，在本第一实施方式的摄像装置100中，作为输入输出函数f，在能够确认对焦的视差范围外Pin’中，采用了函数F2、F3、作为与函数F2连续的恒等函数的一例的函数F4、以及作为与函数F3连续的恒等函数的一例的函数F5。由此，与不具有本结构的情况相比，能够抑制在能够确认对焦的视差范围外Pin’中过度强调视差。

另外，在本第一实施方式的摄像装置100中，根据鉴赏进行图像处理所得到的图像的鉴赏介质的种类而确定输入输出函数f。由此，与不具有本结构的情况相比，能够根据鉴赏介质的种类适当地确定视差的强调程度。

另外，在本第一实施方式的摄像装置100中，由裂像处理部32基于第一图像及第二图像而生成作为对焦确认图像的一例的裂像。由此，与不具有本结构的情况相比，能够容易地把握是否处于对焦状态。

另外，在本第一实施方式的摄像装置100中，将裂像设为以下图像：该图像相当于将第一图像和第二图像沿视差产生方向偏移与由输入输出函数转换后的输出视差对应的相位偏移量μ(偏移量的一例)而得到的图像。由此，与不具有本结构的情况相比，能够推测视差的大小以及视差产生方向。

另外，在本第一实施方式的摄像装置100中，图像处理部28取得通常图像，显示装置显示图像。而且，显示控制部36使显示装置显示由图像处理部28取得的通常图像。另外，显示控制部26使显示装置在通常图像的显示区域内显示裂像。由此，与不具有本结构的情况相比，容易得到对焦状态的图像。

另外，在本第一实施方式的摄像装置100中，摄像元件20具有第三像素组，图像处理部28基于从第三像素组输出的第三图像而生成通常图像。由此，与不具有本结构的情况相比，能够提高通常图像的画质。

另外，在上述第一实施方式中，作为由输入输出函数f导出的输出视差，而列举了采用基于多个被实验者的感官试验的评价结果的视差的例子而进行了说明，但是不限定于此，例如摄影者也可以通过操作部14指示对于自身来说能够目视确认的视差。

另外，在上述第一实施方式中，将输入输出函数f设为连续函数，但是不限定于此，也可以设为不连续的函数。在该情况下，可以列举使相当于函数F1的函数和分别相当于函数F2、F3的各函数在图10所示的输出视差方向上不连续，或者使分别相当于函数F1～F5的各函数在图10所示的输出视差方向上不连续的例子。

另外，在上述第一实施方式中，将函数F1～F5设成了线性函数，但是不限定于此，也可以替代函数F1～F5的至少一个而适用非线性函数。

另外，在上述第一实施方式中，将函数F4、F5设成了恒等函数，但是不限定于此，也可以将函数F4、F5的至少一个设为倾斜度为0以上且小于1的线性函数。

另外，在上述第一实施方式中，列举了使用输入输出函数f将输入视差转换为输出视差的形态例而进行了说明，但是也可以使用LUT将输入视差转换为输出视差。在该情况下，能够通过将输入视差与输入输出函数f所具有的系数(例如函数F1～F5的各个的倾斜度)和输出视差建立关联，导出与输入视差对应的输出视差。

另外，在上述第一实施方式中，适用了L版鉴赏条件，但是如果鉴赏介质是L版以外，则也可以适用与鉴赏介质的种类对应的鉴赏条件。

另外，在上述第一实施方式中，例示了省略了反射镜的镜头互换式的数码相机，但是不限定于此，本发明也能够适用于具有一体式镜头的摄像装置。

另外，在上述第一实施方式中，例示了具有显示部213以及EVF248的摄像装置100，但是不限定于此，也可以具有显示部213以及EVF248中的某一方。

另外，上述第一实施方式中，例示了沿上下方向分割成两份的裂像，但是不限定于此，也可以采用沿左右方向或倾斜方向分割成多份的图像作为裂像。

例如，图24所示的裂像66a由与水平方向平行的多个分割线63a分割为奇数行和偶数行。在该裂像66a中，基于从第一像素组输出的输出信号而生成的行状(作为一例是长条状)的相位差图像66La显示于奇数行(偶数行也可以)。另外，基于从第二像素组输出的输出信号而生成的行状(作为一例是长条状)的相位差图像66Ra显示于偶数行。

另外，图25所示的裂像66b由相对于水平方向具有倾斜角的分割线63b(例如，裂像66b的对角线)分割成两份。在该裂像66b中，基于从第一像素组输出的输出信号而生成的相位差图像66Lb显示在一方的区域。另外，基于从第二像素组输出的输出信号而生成的相位差图像66Rb显示在另一方的区域。

另外，图26A和图26B所示的裂像66c由分别与水平方向和垂直方向平行的格子状的分割线63c分割(参照图20(A))。在裂像66c中，基于从第一像素组输出的输出信号而生成的相位差图像66Lc排列为交错相间的棋盘格纹图案(棋盘方格图案)而显示。另外，基于从第二像素组输出的输出信号而生成的相位差图像66Rc排列为交错相间的棋盘格纹图案状而显示(参照图20(B))。

此外，不限定于裂像，也可以是根据两个相位差图像生成其他的对焦确认图像，并显示对焦确认图像。例如，也可以是将两个相位差图像重叠而合成显示，在焦点偏移的情况下显示为双重图像，在已对焦的状态下清晰地显示图像。

另外，在上述第一实施方式中说明的图像输出处理的流程(参照图16)以及函数决定处理的流程(参照图18)是一例。因此，在不脱离主旨的范围内，可以删除不需要的步骤、增加新的步骤、互换处理顺序，这是不言而喻的。另外，图像输出处理所包含的各处理以及函数决定处理所包含的各处理，可以通过执行程序，而利用计算机通过软件结构实现，也可以通过硬件结构实现。另外，也可以利用硬件结构与软件结构的组合来实现。

在利用计算机执行程序从而实现图像输出处理以及函数决定处理的至少一个的情况下，将程序预先存储于预定的存储区域(例如存储器26)即可。另外，不一定需要从最初就存储在存储器26中。例如，也可以先将程序存储于与计算机连接而使用的软盘、所谓的FD、CD－ROM、DVD盘、光磁盘、IC卡等任意的“便携式存储介质”。并且，也可以是计算机从这些便携式存储介质取得程序并执行。另外，也可以是在经由互联网、LAN(Local Area Network)等而与计算机连接的其他的计算机或者服务器装置等中存储各程序，计算机从它们中取得程序并执行。

[第二实施方式]

上述第一实施方式中，例示了摄像装置100，但是作为摄像装置100的变形例的移动终端装置，可以列举出例如具有相机功能的手机、智能手机、PDA(Personal Digital Assistants：个人数字助理)以及便携式游戏机等。以下，以智能手机举例，并参照附图详细地进行说明。

图27是表示智能手机500的外观的一例的立体图。图27所示的智能手机500具有平板状的壳体502，并在壳体502的一个面上具备由作为显示部的显示面板521与作为输入部的操作面板522成为一体的显示输入部520。另外，壳体502具备：扬声器531、话筒532、操作部540、以及相机部541。另外，壳体502的结构不限定于此，例如，也能够采用显示部与输入部独立的结构，或具有折叠结构、滑动结构的结构。

图28是表示图27所示的智能手机500的结构的一例的框图。如图28所示，作为智能手机500的主要的结构要素，具备：无线通信部510、显示输入部520、通话部530、操作部540、相机部541、存储部550、以及外部输入输出部560。另外，作为智能手机500的主要的结构要素，具备：GPS(Global Positioning System：全球定位系统)接收部570、移动传感器部580、电源部590以及主控制部501。另外，作为智能手机500的主要的功能，具备进行经由基地站装置BS和移动通信网NW的移动无线通信的无线通信功能。

无线通信部510按照主控制部501的指示，对收纳于移动通信网NW的基地站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的发送接收、Web数据、流数据等的接收。

显示输入部520是所谓的触摸面板，并且具备：显示面板521与操作面板522。因此，显示输入部520通过主控制部501的控制，而对图像(静态图像和动态图像)、文字信息等进行显示从而在视觉上向用户传递信息，并且对用户与所显示信息对应的操作进行检测。另外，在对所生成的3D进行鉴赏的情况下，显示面板521优选为是3D显示面板。

显示面板521是将LCD(液晶显示器(Liquid Crystal Display))、OELD(有机电致发光显示器(Organic Electro-Luminescence Display))等用作显示设备的器件。操作面板522是以能够目视确认显示于显示面板521的显示面上的图像的方式进行载置，并对由用户的手指、尖笔操作的一个或多个坐标进行检测的设备。当通过用户的手指、尖笔对该装置进行操作时，则将因操作而产生的检测信号输出到主控制部501。接着，主控制部501基于接收到的检测信号对显示面板521上的操作位置(坐标)进行检测。

如图27所示，智能手机500的显示面板521与操作面板522成为一体而构成显示输入部520，但也可以成为操作面板522完全覆盖显示面板521的配置。在采用该配置的情况下，操作面板522也可以具备对于显示面板521以外的区域也对用户操作进行检测的功能。换言之，操作面板522也可以具备：与显示面板521重叠的重叠部分的检测区域(以下，称作显示区域)以及此以外的与显示面板521不重叠的外缘部分的检测区域(以下，称作非显示区域)。

另外，也可以使显示区域的大小与显示面板521的大小完全一致，但是不需要使两者必须一致。另外，操作面板522也可以具备外缘部分以及除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据壳体502的大小等而适当设计。另外，作为操作面板522中采用的位置检测方式，可以列举出：矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、以及静电电容方式等，也能够采用任一种方式。

通话部530具备：扬声器531、话筒532。通话部530将通过话筒532输入的用户的声音转换为能够由主控制部501处理的声音数据并输出到主控制部501。另外，通话部530对从无线通信部510或外部入输出部560接收到的声音数据进行解码而从扬声器531输出。如图27所示，例如，能够将扬声器531搭载于与设置有显示输入部520的面相同的面上，并将话筒532搭载于壳体502的侧面。

操作部540是使用了键开关等的硬件键，接受来自用户的指示。例如，如图27所示，操作部540搭载于智能手机500的壳体502的侧面，是当通过手指等按下时接通且当手指离开时通过弹簧等的恢复力而成为断开状态的按压按钮式的开关。

存储部550存储：主控制部501的控制程序、控制数据、应用软件、与通信对象的名称或电话号码等建立了对应的地址数据以及发送接收的电子邮件的数据。另外，存储部550对通过Web浏览而下载的Web数据、所下载的内容数据进行存储。另外，存储部550暂时存储流数据等。另外，存储部550具有：智能手机内置的内部存储部551、以及具有装拆自如的外部存储器插槽的外部存储部552。另外，构成存储部550的各内部存储部551与外部存储部552可以使用闪存型(flashmemory type)、硬盘型(hard disk type)等存储介质而实现。作为存储介质，除此之外，还能够例示出：缩微多媒体卡型(multimedia cardmicro type)，卡型的存储器(例如，MicroSD(注册商标)存储器等)；RAM(Random Access Memory)；ROM(Read Only Memory)。

外部输入输出部560起到与连接于智能手机500的全部外部设备的接口的作用，用于通过通信等或网络直接或间接地与其他的外部设备连接。作为与其他的外部设备通信等，可以列举出例如：通用串行总线(USB)、IEEE1394等。作为网络，可以列举出例如：互联网、无线LAN、蓝牙(Bluetooth(注册商标))、RFID(Radio FrequencyIdentification：无线射频识别)、以及红外线通信(Infrared DataAssociation：IrDA(注册商标))。另外，作为网络的其他例，可以列举出UWB(Ultra Wideband(注册商标))、紫蜂(ZigBee(注册商标))等。

作为与智能手机500连接的外部设备，可以列举出例如：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、以及经由卡插座而连接的存储卡(Memory card)。作为外部设备的其他例，可以列举出：SIM(Subscriber Identity Module Card)/UIM(User Identity ModuleCard)卡，经由音频/视频I/O(Input/Output)端子而连接的外部音频/视频设备。除了外部音频/视频设备外，还可以列举出无线连接的外部音频/视频设备。另外，也可以替代外部音频/视频设备，而适用例如：有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。

外部输入输出部能够将从这种外部设备传送来的数据传递到智能手机500的内部的各结构要素，并能将智能手机500的内部的数据传送到外部设备。

GPS接收部570按照主控制部501的指示，接收从GPS卫星ST1～STn发送来的GPS信号，并执行基于接收到的多个GPS信号的测位运算处理，对该智能手机500的由纬度、经度、高度构成的位置进行检测。GPS接收部570在能够从无线通信部510、外部输入输出部560(例如无线LAN)取得位置信息时，也能够使用其位置信息对位置进行检测。

移动传感器部580具备例如三轴加速度传感器等，并按照主控制部501的指示对智能手机500的物理移动进行检测。通过对智能手机500的物理性的移动进行检测，能够检测出智能手机500的移动方向、加速度。该检测结果被输出到主控制部501。

电源部590按照主控制部501的指示向智能手机500的各部提供存储于蓄电池(未图示的)的电力。

主控制部501具备微处理器，按照存储部550所存储的控制程序、控制数据而动作，统一控制智能手机500的各部。另外，主控制部501为了通过无线通信部510进行声音通信、数据通信而具备：控制通信系统的各部的移动通信控制功能以及应用处理功能。

应用处理功能通过根据存储部550存储的应用软件使主控制部501动作而实现。作为应用处理功能，具有例如：控制外部输入输出部560而与相向设备进行数据通信的红外线通信功能、发送接收电子邮件的电子邮件功能、阅览Web网页的Web浏览功能等。

另外，主控制部501具备图像处理功能，基于接收数据、下载的流数据等图像数据(静态图像、动态图像的数据)而将映像显示在显示输入部520上等。图像处理功能是指，主控制部501对上述图像数据进行解码，对该解码结果实施图像处理，并将图像显示在显示输入部520上的功能。

此外，主控制部501执行对显示面板521的显示控制、以及检测通过操作部540、操作面板522进行的用户操作的操作检测控制。

通过执行显示控制，主控制部501对用于启动应用软件的图标、滚动条等的软件键进行显示，或显示用于创建电子邮件的窗口。另外，滚动条是指，对于无法收纳到显示面板521的显示区域中的较大的图像等，用于接受使图像的显示部分移动的指示的软件键。

另外，通过执行操作检测控制，主控制部501检测出通过操作部540进行的用户操作，并接收通过操作面板522进行的对上述图标的操作、对上述窗口的输入栏的文字列的输入。另外，通过执行操作检测控制，主控制部501接收通过滚动条进行的显示图像的滚动请求。

此外，通过执行操作检测控制，主控制部501判定对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的不与显示面板521重叠的外缘部分(非显示区域)。并且，具备接收该判定结果而对操作面板522的感应区域、软件键的显示位置进行控制的触摸面板控制功能。

另外，主控制部501能够检测出对操作面板522的手势操作，并根据所检测出的手势操作执行预先设定的功能。所谓手势操作并非以往的单纯的触控操作，而是指利用手指等描绘轨迹、对多个位置同时进行指定或者对它们进行组合而从多个位置对至少一个位置描画轨迹的操作。

相机部541是使用CMOS、CCD等的摄像元件而进行摄像的数码相机，具备与图1等所示的摄像装置100相同的功能。

另外，相机部541能够对手动对焦模式与自动对焦模式进行切换。当选择了手动对焦模式，则能够通过对操作部540或显示在显示输入部520上的对焦用的图标按钮等进行操作，从而进行相机部541的摄影透镜的对焦。而且，在手动对焦模式时，使合成有裂像的即时预览图像显示在显示面板521上，由此，使得能够对手动对焦时的对焦状态进行确认。另外，也可以将图7所示的混合式取景器220设置于智能手机500。

另外，相机部541通过主控制部501的控制，将由摄像所得到的图像数据转换为例如JPEG(Joint Photographic coding Experts Group：联合图像专家组)等的压缩的图像数据。而且将进行了转换而得到的数据记录于存储部550，或通过外部输入输出部560、无线通信部510而输出。在图27所示的智能手机500中，相机部541搭载于与显示输入部520相同的面上，但是相机部541的搭载位置不限定于此，也可以安装于显示输入部520的背面，或者，也可以搭载多个相机部541。另外，在搭载有多个相机部541的情况下，能够对用于摄像的相机部541进行切换而单独进行摄像，或者也能够同时使用多个相机部541进行摄像。

另外，相机部541能够用于智能手机500的各种功能。例如，能够在显示面板521上显示由相机部541取得的图像、作为操作面板522的操作输入的一个能够利用相机部541的图像。另外，在GPS接收部570对位置进行检测时，也能够参照来自相机部541的图像而对位置进行检测。此外，也能够参照来自相机部541的图像，不使用三轴加速度传感器或与三轴加速度传感器并用地判断智能手机500的相机部541的光轴方向、判断当前的使用环境。不用说，也能够在应用软件内利用来自相机部541的图像。

其他，能够在静态图像或动态图像的图像数据上附加各种信息而记录于存储部550，或者通过输入输出部560、无线通信部510而输出。作为在此所说的“各种信息”，可以列举出例如：对静态图像或动态图像的图像数据通过GPS接收部570取得的位置信息、通过话筒532取得的声音信息(也可以通过主控制部等进行声音文本转换而成为文本信息)。另外，也可以是通过移动传感器部580取得的姿势信息等。

另外，在上述各实施方式中，例示了具有第一～第三像素组的摄像元件20，但是本发明不限定于此，也可以是仅由第一像素组以及第二像素组构成的摄像元件。具有这种摄像元件的数码相机能够基于从第一像素组输出的第一图像以及从第二像素组输出的第二图像生成三维图像(3D图像)，也能够生成二维图像(2D图像)。另外，在该情况下，二维图像的生成能够通过例如在第一图像以及第二图像的相互的同色的像素间进行插补处理而实现。另外，也可以不进行插补处理，而采用第一图像或第二图像作为二维图像。

上述各实施方式中，列举在通常图像的显示区域内显示裂像的例子而进行了说明，但是本发明不限定于此，也可以在显示装置上不显示通常图像(第一显示用图像的一例)而显示裂像(第二显示用图像)。另外，也可以使用整个画面显示裂像。作为在此所说的“裂像”，在使用仅由相位差像素组(例如第一像素组以及第二像素组)构成摄像元件情况下、以及使用相对于通常像素以预定的比例配置相位差像素(例如第一像素组以及第二像素组)的摄像元件的情况下，能够例示出基于从相位差画组输出的图像(例如从第一像素组输出的第一图像以及从第二像素组输出的第二图像)的裂像。如此，本发明不限于将通常图像与裂像双方同时显示在显示装置的同一画面的方式，也可以是在以指示了显示裂像的的状态、并解除了显示通常图像的指示的情况下，显示控制部36对显示装置进行如下控制：使通常图像不显示而显示裂像。

附图标号说明

12  CPU

16  摄影透镜

20  摄像元件

26  存储器

28  图像处理部

30  通常处理部

32  裂像处理部

36  显示控制部

37  目镜检测部

100 摄像装置

213 显示部

220 混合式取景器

247 LCD

Claims (22)

1.一种图像处理装置，包含：

图像获取部，取得基于从第一像素组及第二像素组输出的第一图像信号及第二图像信号的第一图像及第二图像，所述第一像素组及第二像素组使通过了摄影透镜中的第一区域及第二区域的被摄体像进行光瞳分割而分别成像并输出所述第一图像信号及第二图像信号；

视差计算部，算出表示由所述图像获取部取得的所述第一图像的各像素与所述第二图像的对应的像素之间的偏移量的视差；

第一判定部，判定图像处理的对象像素是否处于满足预定条件的第一视差范围内；

系数决定部，对于由所述图像获取部取得的所述第一图像及第二图像中的每个所述对象像素，在由所述第一判定部判定为处于所述第一视差范围内的情况下，所述系数决定部决定使由所述视差计算部算出的视差转换为能够目视确认所述第一图像及第二图像处于所述第一视差范围内的视差的视差转换系数，在由所述第一判定部判定为处于所述第一视差范围外的情况下，所述系数决定部决定使由所述视差计算部算出的视差转换为能够目视确认所述第一图像及第二图像处于所述第一视差范围外的视差的视差转换系数；

图像处理部，对所述对象像素基于由所述系数决定部决定的所述视差转换系数而进行图像处理；

生成部，基于从具有所述第一像素组及第二像素组的摄像元件输出的图像信号生成第一显示用图像，并且基于对所述第一图像及第二图像中的各所述对象像素进行了所述图像处理的图像生成用于对焦确认的第二显示用图像；

显示部，对图像进行显示；及

显示控制部，使所述显示部显示由所述生成部生成的所述第一显示用图像并且在该第一显示用图像的显示区域内显示由所述生成部生成的所述第二显示用图像。

2.根据权利要求1所述的图像处理装置，其中，

在将Wc设为具有所述第一像素组及第二像素组的摄像元件的视差产生方向的像素数，将We设为进行所述图像处理所得到的图像的输出目的地的视差产生方向的像素数，将κ设为所述摄像元件的灵敏度和所述摄影透镜的光圈值中的至少一个越高则越小的小于1的系数，将Pe设为所述第一视差范围内的视差时，所述第一判定部按照以下的式(1)，判定所述对象像素是否处于所述第一视差范围内：

Pe＜κ×(We/Wc)……(1)。

3.根据权利要求1或2所述的图像处理装置，其中，

还具备：第二判定部，判定由所述视差计算部算出的视差是否处于比所述第一视差范围广的第二视差范围内，

在由所述第二判定部判定为由所述视差计算部算出的视差处于所述第二视差范围内的情况下，将所述视差转换系数设为使由所述视差计算部算出的视差扩大的视差转换系数。

4.根据权利要求1～3中任一项所述的图像处理装置，其中，

所述视差转换系数由连续函数规定，所述连续函数将由所述视差计算部算出的视差作为输入，并将能够目视确认所述第一图像及第二图像处于所述第一视差范围内的视差和能够目视确认所述第一图像及第二图像处于所述第一视差范围外的视差选择性地作为输出。

5.根据权利要求4所述的图像处理装置，其中，

在由所述第一判定部判定为处于所述第一视差范围内的情况下的由所述视差计算部算出的视差的范围中，将所述连续函数设为第一线性函数。

6.根据权利要求5所述的图像处理装置，其中，

在由所述第一判定部判定为处于所述第一视差范围外的情况下的由所述视差计算部算出的视差的范围中，将所述连续函数设为与所述第一线性函数连续并且与该第一线性函数相比斜度缓的第二线性函数。

7.根据权利要求6所述的图像处理装置，其中，

在由所述第一判定部判定为处于所述第一视差范围外的情况下的由所述视差计算部算出的视差的范围中，将所述连续函数设为所述第二线性函数以及与该第二线性函数连续的恒等函数。

8.根据权利要求1～7中任一项所述的图像处理装置，其中，

所述视差转换系数根据鉴赏进行所述图像处理而得到的图像的鉴赏介质的种类而确定。

9.根据权利要求1～8中任一项所述的图像处理装置，其中，

所述摄影透镜的光圈值越高则使所述第一视差范围越窄。

10.根据权利要求9所述的图像处理装置，其中，

所述图像获取部还取得以连续帧拍摄而得到的连续帧图像并且取得在给予了拍摄单帧图像的指示的情况下拍摄到的单帧图像，

在未给予所述拍摄单帧图像的指示的情况下，所述摄影透镜的光圈值越高则使所述第一视差范围越窄。

11.根据权利要求10所述的图像处理装置，其中，

在给予了所述拍摄单帧图像的指示的情况下，根据拍摄单帧图像所使用的光圈值而确定所述第一视差范围。

12.根据权利要求11所述的图像处理装置，其中，

在给予了所述拍摄单帧图像的指示时的所述光圈值比拍摄所述连续帧图像所使用的所述光圈值高的情况下所述光圈值越高则使给予了所述拍摄单帧图像的指示的情况下的所述第一视差范围越宽，在给予了所述拍摄单帧图像的指示时的所述光圈值比拍摄所述连续帧图像所使用的所述光圈值低的情况下所述光圈值越低则使给予了所述拍摄单帧图像的指示的情况下的所述第一视差范围越窄。

13.根据权利要求1～12中任一项所述的图像处理装置，其中，

将所述第二显示用图像设为裂像，所述裂像相当于所述第一图像和第二图像沿视差产生方向偏移了与基于所述视差转换系数转换后的视差相应的偏移量的图像。

14.根据权利要求1～13中任一项所述的图像处理装置，其中，

将能够目视确认处于所述第一视差范围内的视差设为，使多个被实验者预先目视确认视差不同的多个试验用图像的各图像而由所述多个被实验者中预先规定的人数以上的被实验者评价为是对焦状态的视差。

15.根据权利要求1～14中任一项所述的图像处理装置，其中，

将能够目视确认处于所述第一视差范围外的视差设为，使多个被实验者预先目视确认视差不同的多个试验用图像的各图像而由所述多个被实验者中预先规定的人数以上的被实验者评价为是非对焦状态的视差。

16.根据权利要求1～15中任一项所述的图像处理装置，其中，

所述摄像元件具有第三像素组，该第三像素组使被摄体像不进行光瞳分割而成像并输出第三图像信号，

所述生成部基于从所述第三像素组输出的所述第三图像信号生成所述第一显示用图像。

17.一种摄像装置，包含：

权利要求1～16中任一项所述的图像处理装置；及

存储部，存储通过进行所述图像处理而得到的图像。

18.根据权利要求17所述的摄像装置，其中，

还包含：

电子取景器，显示进行了所述图像处理的图像；及

检测部，对所述电子取景器的使用进行检测，

在由所述检测部检测出所述电子取景器的使用的情况下，所述系数决定部决定将预先确定的使用时视差转换系数作为所述电子取景器使用时所采用的所述视差转换系数，在由所述检测部未检测出所述电子取景器的使用的情况下，所述系数决定部决定将预先确定的不使用时视差转换系数作为所述电子取景器不使用时所采用的所述视差转换系数。

19.根据权利要求18所述的摄像装置，其中，

在视差产生方向的像素数与所述电子取景器的视差产生方向的像素数不同的显示区域显示进行了所述图像处理的图像的情况下，将所述不使用时视差转换系数设为显示区域使用时系数，该显示区域使用时系数作为所述显示区域使用时所采用的所述视差转换系数而预先确定。

20.根据权利要求19所述的图像处理装置，其中，

所述显示区域的视差产生方向的像素数比所述电子取景器的视差产生方向的像素数多，

对于由所述第一判定部判定为处于所述第一视差范围内的所述对象像素，使基于所述显示区域使用时系数转换后的视差的范围变窄。

21.一种图像处理方法，包含：

图像获取工序，取得基于从第一像素组及第二像素组输出的第一图像信号及第二图像信号的第一图像及第二图像，所述第一像素组及第二像素组使通过了摄影透镜中的第一区域及第二区域的被摄体像进行光瞳分割而分别成像并输出所述第一图像信号及第二图像信号；

视差计算工序，算出表示由所述图像获取工序取得的所述第一图像的各像素与所述第二图像的对应的像素之间的偏移量的视差；

第一判定工序，判定图像处理的对象像素是否处于满足预定条件的第一视差范围内；

系数决定工序，对于由所述图像获取工序取得的所述第一图像及第二图像中的每个所述对象像素，在由所述第一判定工序判定为处于所述第一视差范围内的情况下，决定使由所述视差计算工序算出的视差转换为能够目视确认所述第一图像及第二图像处于所述第一视差范围内的视差的视差转换系数，在由所述第一判定工序判定为处于所述第一视差范围外的情况下，决定使由所述视差计算部算出的视差转换为能够目视确认所述第一图像及第二图像处于所述第一视差范围外的视差的视差转换系数；

图像处理工序，对所述对象像素基于由所述系数决定工序决定的所述视差转换系数而进行图像处理；

生成工序，基于从具有所述第一像素组及第二像素组的摄像元件输出的图像信号生成第一显示用图像，并且基于对所述第一图像及第二图像中的各所述对象像素进行了所述图像处理的图像，生成用于对焦确认的第二显示用图像；及

显示控制工序，使显示图像的显示部显示由所述生成工序生成的所述第一显示用图像并且在该第一显示用图像的显示区域内显示由所述生成工序生成的所述第二显示用图像。

22.一种图像处理程序，用于使计算机作为权利要求1～16中任一项所述的图像处理装置中的所述图像获取部、所述视差计算部、所述第一判定部、所述系数决定部、所述图像处理部、所述生成部及所述显示控制部而发挥功能。