CN105075235A - 图像处理装置、摄像装置、图像处理方法以及图像处理程序 - Google Patents

Abstract

提供一种能够容易地在视觉上识别对焦确认用的图像所包括的边界区域的图像处理装置、摄像装置、图像处理方法以及图像处理程序。生成部(28B)根据从摄像元件输出的图像信号来生成第1显示用图像，并且根据第1以及第2图像来生成用于对焦确认的第2显示用图像。校正部(28C)依照根据第2显示用图像中的空间频率特性以及第2显示用图像中的像素值的柱状图的极值中的至少一方而确定的灰度校正信息，校正第2显示用图像的灰度。

Description

图像处理装置、摄像装置、图像处理方法以及图像处理程序

技术领域

本发明涉及图像处理装置、摄像装置、图像处理方法以及图像处理程序。

背景技术

作为数码相机，广泛公知如下的数码相机：除了使用相位差检测方式、对比度检测方式的自动聚焦的模式之外，还具备使用者能够手动进行调焦的所谓的手动聚焦模式。

作为具有手动聚焦模式的数码相机，公知采用如下方法的数码相机，即，设置反光镜以便能够在确认被摄体的同时进行调焦，并使用显示基于目视的相位差的裂像微棱镜屏幕。另外，还公知采用进行基于目视的对比度的确认的方法的数码相机。

但是，在近年来普及的省略了反光镜的数码相机中，由于没有反光镜，所以没有在显示相位差的同时确认被摄体像的方法，不得不依赖于对比度检测方式。但是，在这种情况下，无法显示LCD(liquidcrystaldisplay：液晶显示器)等显示装置的分辨率以上的对比度，不得不采用进行局部放大等来显示的方法。

因此，近年来，为了使得在手动聚焦模式时用户(例如摄影者)对被摄体进行焦点对准的操作变得容易，在实时预览图像(也称为取景图像)内显示裂像。裂像是例如将显示区域分割成多个而得到的分割图像(例如在上下方向上分割而得到的各图像)，是指根据焦点的偏移而在视差产生方向(例如左右方向)上产生偏移、并且如果是对准了焦点的状态则视差产生方向的偏移消失的分割图像。用户操作手动聚焦环(以下称为“聚焦环”)而进行焦点对准，以使得裂像(例如在上下方向上分割而得到的各图像)的偏移消失。

在日本特开2009-147665号公报(以下，称为“专利文献1”)中记载的摄像装置生成对通过来自摄像光学系统的光束中被光瞳分割部分割了的光束而形成的第1被摄体像以及第2被摄体像分别进行光电转换而得到的第1图像以及第2图像。然后，使用这些第1以及第2图像来生成裂像，并且对通过没有被光瞳分割部分割的光束来形成的第3被摄体像进行光电转换而生成第3图像。然后，将第3图像显示于显示部，并且在第3图像内显示所生成的裂像，并且将从第3图像提取出的颜色信息附加到裂像。通过这样将从第3图像提取出的颜色信息附加到裂像，能够优化裂像的视觉辨认性。

此处，作为提高在手动聚焦模式时在LCD中显示的图像的画质的技术，公知例如专利文献2以及专利文献3所记载的技术。

在日本特开2012-4729号公报(以下称为“专利文献2”)中记载的摄像装置根据处于焦点检测用像素的周围的正常像素的像素值，计算表示焦点检测用像素周边的图像的平坦性的边缘量与表示焦点检测像素周边的图像的亮度的周边亮度。另外，根据这些值，通过平均值校正与增益校正中的某一方的校正方法来校正焦点检测用像素的像素值。然后，针对校正了焦点检测用像素的像素值的图像数据实施伽马校正处理。

在日本特开2007-124604号公报(以下称为“专利文献3”)中记载的图像处理装置通过面部检测部从图像数据中检测对象区域。然后，通过伽马校正部基于根据对象区域的检测而得到的对象区域的亮度值以及根据图像数据的整个区域或者一部分区域而得到的分布信息即亮度的频度分布，导出校正表格，使用所导出的校正表格来对图像数据进行颜色校正。

发明内容

发明所要解决的课题

但是，裂像是在与光瞳分割方向交叉的方向上交替地组合了光瞳分割而得到的第1图像中的图像区域(第1图像区域)与第2图像中的图像区域(第2图像区域)的图像。因此，根据被摄体的对比度，有时难以对包括第1图像区域与第2图像区域的边界在内的边界区域进行视觉辨认。

本发明是鉴于这样的情况而提出的，其目的在于，提供一种能够容易地在视觉上识别对焦确认用的图像所包含的边界区域的图像处理装置、摄像装置、图像处理方法以及图像处理程序。

用于解决课题的技术方案

为了实现上述目的，本发明的第1方式的图像处理装置包括：图像取得部，取得基于从具有第1像素群以及第2像素群的摄像元件输出的第1图像信号以及第2图像信号的第1图像以及第2图像，第1像素群对通过了摄影透镜中的第1区域的被摄体像进行光瞳分割并进行成像而输出第1图像信号，第2像素群对通过了摄影透镜中的第2区域的被摄体像进行光瞳分割并进行成像而输出第2图像信号；生成部，根据从摄像元件输出的图像信号来生成第1显示用图像，并且根据第1图像以及第2图像来生成用于对焦确认的第2显示用图像；校正部，依照根据第2显示用图像中的空间频率特性以及第2显示用图像中的像素值的柱状图的极值中的至少一方而确定的灰度校正信息，校正第2显示用图像的灰度；显示部，显示图像；以及显示控制部，对显示部进行控制，以使显示部显示由生成部生成的第1显示用图像，并且在第1显示用图像的显示区域内显示通过校正部校正了灰度的第2显示用图像。由此，与不具有本结构的情况相比，能够更容易地在视觉上识别对焦确认用的图像所包括的边界区域。

本发明的第2方式的图像处理装置包括：图像取得部，取得基于从具有第1像素群以及第2像素群的摄像元件输出的第1图像信号以及第2图像信号的第1图像以及第2图像，第1像素群对通过了摄影透镜中的第1区域的被摄体像进行光瞳分割并进行成像而输出第1图像信号，第2像素群对通过了摄影透镜中的第2区域的被摄体像进行光瞳分割并进行成像而输出第2图像信号；生成部，根据从摄像元件输出的图像信号来生成第1显示用图像，并且根据第1图像以及第2图像来生成用于对焦确认的第2显示用图像；校正部，依照根据第2显示用图像中的空间频率特性以及第2显示用图像中的像素值的柱状图的极值中的至少一方而确定的灰度校正信息，校正第2显示用图像的灰度；显示部，显示图像；以及显示控制部，对显示部进行控制，以使显示部显示通过校正部校正了灰度的第2显示用图像。由此，与不具有本结构的情况相比，能够更容易地在视觉上识别对焦确认用的图像所包括的边界区域。

本发明的第3方式是，在本发明的第1方式或者第2方式中，也可以是，空间频率特性是第2显示用图像中的空间频率强度最大的方向。由此，与不具有本结构的情况相比，能够提高边界区域的视觉辨认性。

本发明的第4方式是，在本发明的第3方式中，也可以是，灰度校正系数是根据空间频率强度最大的方向与基于第1图像以及第2图像的视差方向的一致度的降低而使低于预定值的亮度的图像区域的对比度增大的灰度校正系数。由此，与不具有本结构的情况相比，能够抑制伴随着空间频率强度最大的方向与视差方向的一致度的降低而使视觉辨认性变差。

本发明的第5方式是，在本发明的第1方式第4方式的某一方中，也可以是，第2显示用图像包括沿与光瞳分割方向交叉的方向组合了第1图像所包括的第1图像区域和第2图像所包括的第2图像区域而得到的图像，根据第2显示用图像所包括的第1边界区域中的空间频率特性以及第2显示用图像中的像素值的柱状图的极值中的至少一方，确定灰度校正信息，第1边界区域包括第1图像区域与第2图像区域的边界。由此，与不具有本结构的情况相比，能够确定更准确的灰度校正信息。

本发明的第6的方式是，在本发明的第5方式中，也可以是，校正部依照灰度校正信息，校正第1边界区域的灰度。由此，与不具有本结构的情况相比，能够抑制对不需要灰度校正的区域实施灰度校正的情况。

本发明的第7方式是，在本发明的第1方式第4方式的某一方中，也可以是，第2显示用图像包括沿与光瞳分割方向交叉的方向组合了第1图像所包括的第1图像区域和第2图像所包括的第2图像区域而得到的图像，校正部依照灰度校正信息，校正第2显示用图像所包括的第1边界区域的灰度，第1边界区域包括第1图像区域与第2图像区域的边界。由此，与不具有本结构的情况相比，能够抑制对不需要灰度校正的区域实施灰度校正。

本发明的第8方式是，在本发明的第1方式第7方式的某一方中，也可以是，根据柱状图而确定的灰度校正信息的内容是在柱状图具有多个极大值的情况下使与多个极大值中的特定的一对极大值对应的像素间的对比度大于校正前的对比度的内容。由此，与不具有本结构的情况相比，能够抑制对不需要灰度校正的区域实施灰度校正的情况。

本发明的第9方式是，在本发明的第8方式中，也可以是，还包括根据所提供的指示来确定对比度的确定部。由此，与不具有本结构的情况相比，能够提高可用性。

本发明的第10方式是，在本发明的第1方式第9方式的某一方中，也可以是，校正部在与第1显示用图像及第2显示用图像的边界相邻的第1显示用图像侧的第2边界区域中的具有预定值以上的彩度的像素的占有率低于阈值的情况下，依照灰度校正信息来校正第2显示用图像的灰度。由此，与不具有本结构的情况相比，能够避免实施不需要的灰度校正。

本发明的第11方式是，在本发明的第10方式中，也可以是，校正部使用根据占有率而确定的调整值来调整灰度校正信息，依照调整后的灰度校正信息来校正第2显示用图像的灰度。由此，与不具有本结构的情况相比，能够提高边界区域的视觉辨认性。

本发明的第12方式是，在本发明的第1方式第11方式中的任一方式中，也可以是，摄像元件还具有第3像素群，该第3像素群对透过了摄影透镜的被摄体像不进行光瞳分割地进行成像而输出第3图像信号，生成部根据从第3像素群输出的第3图像信号来生成第1显示用图像。由此，与不具有本结构的情况相比，能够以简单的结构来提高第1显示用图像的画质。

为了实现上述目的，本发明的第13方式的摄像装置包括：本发明的第1方式第12方式中的任一个方式的图像处理装置；摄像元件，具有第1像素群以及第2像素群；以及存储部，存储根据从摄像元件输出的图像信号而生成的图像。由此，与不具有本结构的情况相比，能够更容易地在视觉上识别对焦确认用的图像所包括的边界区域。

为了实现上述目的，本发明的第14的方式的图像处理方法包括以下步骤：取得基于从具有第1像素群以及第2像素群的摄像元件输出的第1图像信号以及第2图像信号的第1图像以及第2图像，第1像素群对通过了摄影透镜中的第1区域的被摄体像进行光瞳分割并进行成像而输出第1图像信号，第2像素群对通过了摄影透镜中的第2区域的被摄体像进行光瞳分割并进行成像而输出第2图像信号，根据从摄像元件输出的图像信号来生成第1显示用图像，根据第1图像以及第2图像来生成用于对焦确认的第2显示用图像，依照根据第2显示用图像中的空间频率特性以及第2显示用图像中的像素值的柱状图的极值中的至少一方而确定的灰度校正信息，校正第2显示用图像的灰度，对显示图像的显示部进行控制，以使显示部显示所生成的第1显示用图像，并且在第1显示用图像的显示区域内显示校正了灰度的第2显示用图像。由此，与不具有本结构的情况相比，能够更容易地在视觉上识别对焦确认用的图像所包括的边界区域。

为了实现上述目的，本发明的第15方式的图像处理方法包括以下步骤：取得基于从具有第1像素群以及第2像素群的摄像元件输出的第1图像信号以及第2图像信号的第1图像以及第2图像，第1像素群对通过了摄影透镜中的第1区域的被摄体像进行光瞳分割并进行成像而输出第1图像信号，第2像素群对通过了摄影透镜中的第2区域的被摄体像进行光瞳分割并进行成像而输出第2图像信号，根据从摄像元件输出的图像信号来生成第1显示用图像，根据第1图像以及第2图像来生成用于对焦确认的第2显示用图像，依照根据第2显示用图像中的空间频率特性以及第2显示用图像中的像素值的柱状图的极值中的至少一方而确定的灰度校正信息，校正第2显示用图像的灰度，对显示部进行控制以使显示部显示校正了灰度的第2显示用图像。由此，与不具有本结构的情况相比，能够更容易地在视觉上识别对焦确认用的图像所包括的边界区域。

为了实现上述目的，本发明的方式的图像处理程序用于使计算机作为本发明的第1方式至第12方式中的任一个方式的图像处理装置中的图像取得部、生成部、校正部以及显示控制部发挥功能。由此，与不具有本结构的情况相比，能够更容易地在视觉上识别对焦确认用的图像所包括的边界区域。

发明效果

根据本发明，可以获得能够容易地在视觉上识别对焦确认用的图像所包括的边界区域这样的效果。

附图说明

图1是示出作为第1以及第2实施方式的镜头可换式相机的摄像装置的外观的一个例子的立体图。

图2是示出图1所示的摄像装置的背面侧的背视图。

图3是示出图1所示的摄像装置的电气系统的结构的一个例子的框图。

图4是示出在图1所示的摄像装置所包括的摄像元件中设置的滤色器的配置的一个例子的概略配置图。

图5是示出图1所示的摄像装置所包括的摄像元件中的相位差像素(第1像素以及第2像素)的结构的一个例子的概略结构图。

图6是示出图1所示的摄像装置所包括的图像处理部的主要部件结构的一个例子的功能框图。

图7是示出图6所示的图像处理部所包括的生成部的主要部件结构的一个例子的功能框图。

图8是示出图1所示的摄像装置的主要部件结构的一个例子的功能框图。

图9是示出图1所示的摄像装置所包括的显示装置中的裂像的显示区域以及正常图像的显示区域的一个例子的示意图。

图10是示出通过图6所示的校正部使用的像素值转换函数组的一个例子的图表。

图11是示出通过图6所示的校正部使用的系数导出函数的一个例子的图表。

图12是示出图1所示的摄像装置所包括的显示装置中显示的正常图像以及裂像的第1例的图。

图13是示出通过图6所示的图像处理部来执行的第1实施方式的图像输出处理的流程的一个例子的流程图。

图14是示出对于图12所示的裂像中的解析对象区域进行傅立叶转换而得到的空间频率的强度分布的一个例子的强度分布图。

图15是示出图1所示的摄像装置所包括的显示装置中显示的正常图像以及裂像的第2例的图。

图16是示出对于图15所示的裂像中的解析对象区域进行傅立叶转换而得到的空间频率的强度分布的一个例子的强度分布图。

图17是示出图12所示的裂像中的解析对象区域所包括的像素值的柱状图的一个例子的图表。

图18是示出在图1所示的摄像装置所包括的显示装置中显示实时预览图像以及对比度调整操作部(软键)的状态的一个例子的图。

图19是用于说明图10所示的像素值转换函数组所包括的一个像素值转换函数的基于对比度调整操作部的调整方法的图表。

图20是示出像素值转换函数被调整之前与被调整之后的形态例的图表。

图21是示出通过图6所示的图像处理部来执行的第2实施方式的图像输出处理的流程的一个例子的流程图。

图22是示出第3实施方式的智能手机的外观的一个例子的立体图。

图23是示出第3实施方式的智能手机的电气系统的主要部件结构的一个例子的框图。

图24是示出作为第1～第3实施方式的裂像的变形例且分成奇数行与偶数行地交替排列第1图像以及第2图像而形成的裂像的一个例子的示意图。

图25是示出作为第1～第3实施方式的裂像的变形例且通过相对于行方向倾斜的倾斜分割线分割而得到的裂像的一个例子的示意图。

图26A是示出作为第1～第3实施方式的裂像的变形例且由格子状的分割线分割而得到的裂像的一个例子的示意图。

图26B是示出作为第1～第3实施方式的裂像的变形例且被形成为棋盘格花纹的裂像的一个例子的示意图。

图27是示出基于样条曲线的灰度校正曲线(像素值转换函数)的一个例子的图表。

具体实施方式

以下，依照附图，说明本发明的摄像装置的实施方式的一个例子。

[第1实施方式]

图1是示出第1实施方式的摄像装置100的外观的一个例子的立体图，图2是图1所示的摄像装置100的背视图。

摄像装置100是镜头可换式相机。摄影装置100是包括相机主体200以及能够更换地安装于相机主体200的可换镜头300、并省略了反光镜的数码相机。可换镜头300包括摄影透镜16，摄影透镜16具有能够通过手动操作而在光轴方向上移动的聚焦透镜302(参照图3)。其是省略了反光镜的数码相机。另外，在相机主体200设置有混合式取景器(注册商标)220。此处所说的混合式取景器220是指选择性地使用例如光学取景器(以下称为“OVF”)以及电子取景器(以下称为“EVF”)的取景器。

可换镜头300相对于相机主体200能够更换地安装。另外，在可换镜头300的镜筒上设置有在手动聚焦模式时使用的聚焦环301。伴随着聚焦环301的手动的旋转操作，聚焦透镜302在光轴方向上移动，在与被摄体距离相应的对焦位置将被摄体光成像到后述的摄像元件20(参照图3)。

在相机主体200的前表面设置有混合式取景器220所包括的OVF的取景器窗241。另外，在相机主体200的前表面设置有取景器切换杆(取景器切换部)214。如果使取景器切换杆214向箭头SW方向转动，则在能够通过OVF视觉辨认的光学像与能够通过EVF视觉辨认的电子像(实时预览图像)之间进行切换(后述)。此外，OVF的光轴L2是与可换镜头300的光轴L1不同的光轴。另外，在相机主体200的上表面主要设置有释放按钮211以及摄影模式、重放模式等的设定用的转盘212。

作为摄影准备指示部以及摄影指示部的释放按钮211构成为能够检测摄影准备指示状态与摄影指示状态两个阶段的按压操作。摄影准备指示状态是指例如从待机位置被按下到中间位置(半按位置)的状态，摄影指示状态是指被按下到超过了中间位置的最终按下位置(全按位置)的状态。此外，下面，将“从待机位置被按下到半按位置的状态”称为“半按状态”，将“从待机位置被按下到全按位置的状态”称为“全按状态”。

在本第1实施方式的摄像装置100中，作为动作模式，根据用户的指示来选择性地设定摄影模式与重放模式。在摄影模式中，根据用户的指示来选择性地设定手动聚焦模式与自动聚焦模式。在自动聚焦模式中，通过使释放按钮211成为半按状态，来进行摄影条件的调整，其后，如果接着设成全按状态，则进行曝光(摄影)。即，通过使释放按钮211成为半按状态，从而AE(AutomaticExposure/自动曝光)功能起作用而设定曝光状态，之后，AF(Auto-Focus/自动聚焦)功能起作用而进行对焦控制，如果使释放按钮211成为全按状态，则进行摄影。

相机主体200的背面，设置有OVF的取景器目镜部242、显示部213、十字键222、MENU/OK(菜单/确定)键224、BACK/DISP(返回/显示)按钮225。

十字键222作为输出一个或者多个菜单的选择、变焦、逐帧播放等各种指令信号的多功能键来发挥功能。MENU/OK键224是兼备作为用于进行使一个或者多个菜单显示到显示部213的画面上的指令的菜单按钮的功能、和作为指示选择内容的确定以及执行等的OK按钮的功能的操作键。BACK/DISP按钮225在选择项目等所期望的对象的消除、指定内容的取消、或者回到前一个的操作状态时等使用。

显示部213例如通过LCD来实现，用于显示作为在摄影模式时通过连续帧进行摄像而得到的连续帧图像的一个例子的实时预览图像(实时取景图像)。另外，显示部213也用于显示作为在被提供了静止画面摄影的指示的情况下以单一帧进行摄像而得到的单一帧图像的一个例子的静止图像。进而，显示部213也用于重放模式时的重放图像的显示、菜单画面等的显示。

图3是示出第1实施方式的摄像装置100的电气系统的结构(内部结构)的一个例子的框图。

摄像装置100包括相机主体200所具备的固定架256、以及与固定架256对应的可换镜头300侧的固定架346。可换镜头300通过将固定架346结合到固定架256，而能够更换地安装于相机主体200。

可换镜头300包括滑动机构303以及电动机304。通过进行聚焦环301的操作，滑动机构303使聚焦透镜302在光轴L1方向上移动。在滑动机构303中，相对于光轴L1方向能够滑动地安装聚焦透镜302。另外，滑动机构303与电动机304连接，滑动机构303接受电动机304的动力而使聚焦透镜302沿着光轴L1方向滑动。

电动机304经由固定架256、346而与相机主体200连接，依照来自相机主体200的命令，对驱动进行控制。此外，在本第1实施方式中，作为电动机304的一个例子，应用步进电动机。因此，电动机304根据来自相机主体200的命令，与脉冲功率同步地进行动作。

摄像装置100是记录摄影而得到的静止图像、动态图像的数码相机，相机整体的动作通过CPU(centralprocessingunit：中央处理装置)12来控制。摄像装置100包括操作部14、接口部24、存储器26以及编码器34。另外，摄像部100包括作为本发明的显示控制部的一个例子的显示控制部36A、36B。另外，摄像部100包括目镜检测部37。另外，摄像装置100包括作为本发明的图像取得部、生成部、校正部以及确定部的一个例子的图像处理部28。此外，下面，在不需要区别说明显示控制部36A、36B的情况下，称为“显示控制部36”。另外，在本第1实施方式中，以与图像处理部28独立的硬件结构来设置显示控制部36，但不限于此，图像处理部28也可以具有与显示控制部36相同的功能，在这种情况下，不需要显示控制部36。

CPU12、操作部14、接口部24、作为存储部的一个例子的存储器26、图像处理部28、编码器34、显示控制部36A、36B、目镜检测部37以及外部接口(I/F)39经由总线40而相互连接。此外，存储器26具有存储有参数、程序等的非易失性的存储区域(作为一个例子，EEPROM等)以及临时地存储图像等各种信息的易失性的存储区域(作为一个例子，SDRAM等)。

此外，在本第1实施方式的摄像装置100中，在自动聚焦模式时，CPU12以使得通过摄像而得到的图像的对比度值为最大的方式对电动机304进行驱动控制，从而进行对焦控制。另外，在自动聚焦模式时，CPU12计算表示通过摄像而得到的图像的明亮度的物理量即AE信息。CPU12在释放按钮211被设为半按状态时，导出与通过AE来表示的图像的明亮度相应的快门速度以及F值。然后，控制相关各部件以成为所导出了的快门速度以及F值，从而进行曝光状态的设定。

操作部14是在对摄像装置100提供各种指示时由用户操作的用户界面。通过操作部14受理的各种指示作为操作信号被输出到CPU12，CPU12执行与从操作部14输入的操作信号相应的处理。

操作部14包括释放按钮211、选择摄影模式等的聚焦模式切换部212、取景器切换杆214、十字键222、MENU/OK键224以及BACK/DISP按钮225。另外，操作部14还包括受理各种信息的触摸面板215。该触摸面板215例如重叠于显示部213的显示画面。

相机主体200包括位置检测部23。位置检测部23与CPU12连接。位置检测部23经由固定架256、346而与聚焦环301连接，检测聚焦环301的旋转角度，将表示作为检测结果的旋转角度的旋转角度信息输出到CPU12。CPU12执行与从位置检测部23输入的旋转角度信息相应的处理。

设定摄影模式后，表示被摄体的图像光经由包括能够通过手动操作来移动的聚焦透镜302的摄影透镜16以及快门18而成像于彩色的摄像元件(作为一个例子，CMOS传感器)20的受光面。在摄像元件20中累积的信号电荷通过从装置控制部22添加的读出信号，作为与信号电荷(电压)相应的数字信号而依次被读出。摄像元件20具有所谓的电子快门功能，通过使电子快门功能起作用，来根据读出信号的定时，控制各光传感器的电荷累积时间(快门速度)。此外，本第1实施方式的摄像元件20是CMOS型的图像传感器，但不限于此，也可以是CCD图像传感器。

作为一个例子，摄像元件20具备图4所示的滤色器21。滤色器21包括对于得到亮度信号最有贡献的与G(绿)对应的G滤色器、与R(红)对应的R滤色器以及与B(蓝)对应的B滤色器。在图4所示的例子中，作为摄像元件20的像素数的一个例子，采用“4896×3265”像素，相对于这些像素，G滤色器、R滤色器以及B滤色器在水平方向(行方向)以及垂直方向(列方向)上分别以预定的周期性配置。因此，摄像装置100在进行R、G、B信号的同时化(插值)处理等时，能够依照重复图案进行处理。此外，同时化处理是指根据与单板式的彩色摄像元件的滤色器排列对应的马赛克图像来针对每个像素计算所有的颜色信息的处理。例如，在由RGB这3色的滤色器构成的摄像元件的情况下，同时化处理是指根据由RGB构成的马赛克图像来针对每个像素计算RGB所有的颜色信息的处理。

摄像装置100具有相位差AF功能。摄像元件20包括在使相位差AF功能起作用的情况下使用的多个相位差检测用的像素。多个相位差检测用的像素按预先确定的图案进行配置。作为一个例子，如图4所示，在相位差检测用的像素上设置有对行方向的左半部的像素进行遮光的遮光部件20A以及对行方向的右半部的像素进行遮光的遮光部件20B。此外，在本第1实施方式中，为了方便说明，将设置有遮光部件20A的相位差检测用的像素称为“第1像素”，将设置有遮光部件20B的相位差像素称为“第2像素”。另外，在不需要区别说明第1像素以及第2像素的情况下，称为“相位差像素”。

作为一个例子，如图5所示，遮光部件20A设置在光电二极管PD的前表面侧(微透镜19侧)，对受光面的左半部(在从受光面面向被摄体的情况下的左侧(换而言之，在从被摄体面向受光面的情况下的右侧))进行遮光。另一方面，遮光部件20B设置在光电二极管PD的前表面侧，对受光面的右半部(在从受光面面向被摄体的情况下的右侧(换而言之，在从被摄体面向受光面的情况下的左侧))进行遮光。

微透镜19以及遮光部件20A、20B作为光瞳分割部发挥功能，第1像素仅接收通过摄影透镜16的出瞳的光束的光轴的左侧，第2像素仅接收通过摄影透镜16的出瞳的光束的光轴的右侧。这样，通过出瞳的光束通过作为光瞳分割部的微透镜19以及遮光部件20A、20B而被左右分割，分别入射到第1像素以及第2像素。

另外，与通过摄影透镜16的出瞳的光束中的左半部的光束对应的被摄体像和与右半部的光束对应的被摄体像中的、对准了焦点的(对焦状态的)部分成像于摄像元件20上的相同位置。与此相对地，前对焦或者后对焦的部分各自入射到摄像元件20上的不同的位置(相位偏移)。由此，与左半部的光束对应的被摄体像以及与右半部的光束对应的被摄体像能够作为视差不同的视差图像(后述的左眼图像以及右眼图像)而被取得。

摄像装置100通过使相位差AF功能起作用，根据第1像素的像素值与第2像素的像素值，检测相位的偏移量。然后，根据所检测到的相位的偏移量来调整摄影透镜的焦点位置。此外，下面，在不需要区别说明遮光部件20A、20B的情况下，不附加标号地称为“遮光部件”。

摄像元件20被分类为第1像素群、第2像素群以及第3像素群。第1像素群是指例如多个第1像素。第2像素群是指例如多个第2像素。第3像素群是指例如多个正常像素(第3像素的一个例子)。在图4所示的例子中，分别在行方向以及列方向上空出多个像素量(在图4所示的例子中为两个像素量)的间隔而呈直线状地交替配置第1像素与第2像素，在第1像素与第2像素之间配置正常像素。此外，下面，将从第1像素群输出的RAW图像称为“第1图像”，将从第2像素群输出的RAW图像称为“第2图像”，将从第3像素群输出的RAW图像称为“第3图像”。

回到图3，摄像元件20从第1像素群输出第1图像(表示各第1像素L的像素值的数字信号)，从第2像素群输出第2图像(表示各第2像素R的像素值的数字信号)。另外，摄像元件20从第3像素群输出第3图像(表示各正常像素的像素值的数字信号)。此外，从第3像素群输出的第3图像是彩色的图像，例如是与正常像素的排列相同的颜色排列的彩色图像。从摄像元件20输出的第1图像、第2图像以及第3图像经由接口部24而临时存储在存储器26中的易失性的存储区域。

图像处理部28对在存储器26中存储的第1～第3图像实施各种图像处理。作为一个例子，如图6所示，图像处理部28包括图像取得部28A、生成部28B、校正部28C以及确定部28D。图像处理部28通过将图像处理所涉及的多种功能的电路整合成一个而得到的集成电路即ASIC(ApplicationSpecificIntegratedCircuit，专用集成电路)来实现。但是，硬件结构不限定于此，既可以是例如可编程逻辑装置，也可以是包括CPU、ROM以及RAM的计算机等其他硬件结构。

图像取得部28A取得从摄像元件20输出的第1图像以及第2图像。生成部28B根据从摄像元件20输出的第3图像来生成第1显示用图像，并且根据通过图像取得部28A取得的第1图像以及第2图像来生成用于对焦确认的第2显示用图像。作为一个例子，如图7所示，生成部28B包括正常处理部30以及裂像处理部32。正常处理部30通过对与第3像素群对应的R、G、B信号进行处理，来生成作为第1显示用图像的一个例子的彩色的正常图像。另外，裂像处理部32通过对与第1像素群以及第2像素群对应的G信号进行处理，来生成作为第2显示用图像的一个例子的非彩色的裂像。

校正部28C依照根据裂像中的空间频率特性以及裂像中的像素值的柱状图的极值中的至少一方来确定的灰度校正信息，校正裂像的灰度。作为根据柱状图来确定的灰度校正信息的内容，例如在柱状图具有多个极大值的情况下，可列举使与多个极大值中的特定的一对极大值对应的像素间的对比度大于校正前的对比度的内容。

确定部28D根据所提供的指示(例如由用户经由操作部14进行的指示)，来确定与多个极大值中的特定的一对极大值对应的像素间的对比度。

回到图3，编码器34将所输入的信号转换成其他形式的信号并输出。混合式取景器220具有显示电子图像的LCD247。LCD247中的预定方向的像素数(作为一个例子为视差产生方向即行方向的像素数)比显示部213中的同方向的像素数少。显示控制部36A与显示部213连接，显示控制部36B与LCD247连接，选择性地控制LCD247以及显示部213，从而通过LCD247或者显示部213来显示图像。此外，下面，在不需要区别说明显示部213以及LCD247的情况下，称为“显示装置”。

此外，本第1实施方式的摄像装置100构成为能够通过转盘212(聚焦模式切换部)来切换手动聚焦模式与自动聚焦模式。如果选择了某一种聚焦模式，则显示控制部36将合成了裂像的实时预览图像显示于显示装置。另外，如果通过转盘212选择了自动聚焦模式，则CPU12作为相位差检测部以及自动焦点调整部进行动作。相位差检测部检测从第1像素群输出的第1图像与从第2像素群输出的第2图像的相位差。自动焦点调整部以根据所检测到的相位差而将聚焦透镜302的散焦量设为零的方式，从装置控制部22经由固定架256、346控制电动机304，使聚焦透镜302移动到对焦位置。此外，上述的“散焦量”是指例如第1图像以及第2图像的相位偏移量。

目镜检测部37检测用户(例如摄影者)观察取景器目镜部242的情况，将检测结果输出到CPU12。因此，CPU12能够根据由目镜检测部37得到的检测结果来掌握取景器目镜部242是否正被使用。

外部I/F39与LAN(LocalAreaNetwork，局域网)、因特网等通信网络连接，经由通信网络，负责外部装置(例如打印机)与CPU12之间的各种信息的收发。因此，摄像装置100在作为外部装置而连接了打印机的情况下，能够将进行摄影而得到的静止图像输出到打印机并进行印刷。另外，摄像装置100在作为外部装置而连接了显示器的情况下，能够将进行摄影而得到的静止图像、实时预览图像输出到显示器并进行显示。

图8是示出第1实施方式的摄像装置100的主要部件功能的一个例子的功能框图。此外，对与图3所示的框图相同的部分，附加相同的标号。

正常处理部30以及裂像处理部32分别具有WB增益部、伽马校正部以及同时化处理部(省略图示)，通过各处理部对在存储器26中临时存储的原来的数字信号(RAW图像)依次进行信号处理。即，WB增益部通过调整R、G、B信号的增益来执行白平衡(WB)。伽马校正部对由WB增益部执行了WB而得到的各R、G、B信号进行伽马校正。同时化处理部进行与摄像元件20的滤色器的排列对应的颜色插值处理，生成同时化了的R、G、B信号。此外，正常处理部30以及裂像处理部32每当通过摄像元件20取得一个画面量的RAW图像时，对该RAW图像并行地进行图像处理。

正常处理部30从接口部24被输入R、G、B的RAW图像，通过第1像素群以及第2像素群中的同色的周边像素(例如相邻的G像素)来对第3像素群的R、G、B像素进行插值，从而生成记录用的正常图像。

另外，正常处理部30将所生成的记录用的正常图像的图像数据输出到编码器34。通过正常处理部30处理了的R、G、B信号由编码器34转换(编码)成记录用的信号，并记录到记录部40中。另外，基于通过正常处理部30处理了的第3图像的图像即显示用的正常图像被输出到显示控制部36。此外，下面，为了方便说明，在不需要区别说明上述的“记录用的正常图像”以及“显示用的正常图像”的情况下，省略“记录用的”的文字以及“显示用的”的文字而称为“正常图像”。

摄像元件20能够改变第1像素群以及第2像素群各自的曝光条件(作为一个例子，电子快门的快门速度)，由此，能够同时取得曝光条件不同的图像。因此，图像处理部28能够根据曝光条件不同的图像来生成宽动态范围的图像。另外，能够在相同曝光条件下同时取得多个图像，能够通过将这些图像相加来生成噪声少的高灵敏度的图像，或者生成高分辨率的图像。

另一方面，裂像处理部32从在存储器26中暂时存储的RAW图像中提取第1像素群以及第2像素群的G信号，根据第1像素群以及第2像素群的G信号来生成非彩色的裂像。如上所述，分别相当于从RAW图像中提取的第1像素群以及第2像素群的像素群是基于G滤色器的像素的像素群。因此，裂像处理部32能够根据分别相当于第1像素群以及第2像素群的像素群的G信号，生成非彩色的左的视差图像以及非彩色的右的视差图像。此外，下面，为了方便说明，将上述的“非彩色的左侧的视差图像”称为“左眼图像”，将上述的“非彩色的右侧的视差图像”称为“右眼图像”。

裂像处理部32生成裂像。通过在预定方向(例如与视差产生方向交叉的方向)交替地组合基于从第1像素群输出的第1图像的左眼图像、以及基于从第2像素群输出的第2图像的右眼图像，来生成裂像。所生成的裂像的图像数据通过裂像处理部32而被输出到显示控制部36。

显示控制部36根据从正常处理部30输入的显示用的正常图像的图像数据、以及与从裂像处理部32输入的与第1、第2像素群对应的裂像的图像数据，来生成显示用的图像数据。例如，显示控制部36在通过从正常处理部30输入的与第3像素群对应的图像数据来表示的正常图像的显示区域内，合成通过从裂像处理部32输入的图像数据来表示的裂像。然后，将合成而得到的图像数据输出到显示装置。即，显示控制部36A将图像数据输出到显示部213，显示控制部36B将图像数据输出到LCD247。由此，显示装置将正常图像作为动态图像连续地显示，并且在正常图像的显示区域内，将裂像作为动态图像连续地显示。

作为一个例子，如图9所示，将裂像显示在显示装置的画面中央部的矩形框内，在裂像的外周区域显示正常图像。此外，表示图9所示的矩形框的边缘的线实际上不显示，但在图9中为了方便说明而示出。

此外，在本第1实施方式中，通过代替正常图像的一部分图像而嵌入裂像，来在正常图像中合成裂像，但不限于此，也可以是例如在正常图像上重叠裂像的合成方法。另外，也可以是在重叠裂像时适当调整重叠有裂像的正常图像的一部分图像与裂像的透射率来进行重叠的合成方法。由此，示出连续地进行摄影而得到的被摄体像的实时预览图像被显示在显示装置的画面上，但所显示的实时预览图像成为在正常图像的显示区域内显示了裂像的图像。

混合式取景器220包括OVF240以及EVF248。OVF240是具有物镜244与目镜246的反伽利略式取景器，EVF248具有LCD247、棱镜245以及目镜246。

另外，在物镜244的前方配置有液晶快门243，液晶快门243在使用EVF248时进行遮光以避免光学像入射到物镜244。

棱镜245使在LCD247中显示的电子像或者各种信息反射而引导到目镜246，并且合成光学像与在LCD247中显示的信息(电子像、各种信息)。

此处，如果使取景器切换杆214向图1所示的箭头SW方向转动，则每当进行转动时，交替地切换成能够通过OVF240来视觉辨认光学像的OVF模式、以及能够通过EVF248来视觉辨认电子图像的EVF模式。

显示控制部36B在OVF模式的情况下，进行控制以使得液晶快门243成为非遮光状态，使得能够从目镜部视觉辨认光学像。另外，在LCD247中，仅显示裂像。由此，能够显示在光学像的一部分重叠了裂像的取景器图像。

另外，显示控制部36B在EVF模式的情况下，进行控制以使得液晶快门243成为遮光状态，使得从目镜部仅能够视觉辨认在LCD247中显示的电子像。此外，对LCD247输入与被输出到显示部213的合成了裂像的图像数据同等的图像数据，由此，能够与显示部213同样地显示在正常图像的一部分合成了裂像的电子像。

在本第1实施方式的摄像装置100中，作为一个例子，图6所示的校正部28C保持图10所示的像素值转换函数组262，使用像素值转换函数组262来校正裂像的灰度。

像素值转换函数组262具有转换像素值的多个非线性函数。像素值转换函数组262具有函数262A、262B、262C、262D、262E(本发明的灰度校正信息的一个例子)，作为多个非线性函数。函数262A、262B、262C、262D、262E通过图6所示的校正部28C来选择性地使用。作为一个例子，如图10所示，函数262A、262B、262C、262D、262E(以下，在不需要区别说明的情况下，称为“像素值转换函数”)都是输出像素值相对于输入像素值按照对数函数地增加的函数，各自的增益不同。将裂像所包括的特定区域中的第1～第6空间频率特性(以下，在不需要区别说明的情况下，称为“空间频率特性”)中的某一个与各像素值转换函数建立对应。此处，将第1以及第6空间频率特性与函数262A建立对应。另外，将第2空间频率特性与函数262B建立对应。另外，将第3空间频率特性与函数262C建立对应。另外，将第4空间频率特性与函数262D建立对应。进而，将第5空间频率特性与函数262E建立对应。此外，作为“裂像所包括的特定区域”，可列举例如包括左眼图像与右眼图像的边界在内的边界区域、或者裂像的整个区域。

第1空间频率特性是指裂像所包括的特定区域中的空间频率的强度分布在第1方向上显著(基准值以上的密度并且密度比其他方向高)扩展的特性。第2空间频率特性是指裂像所包括的特定区域中的空间频率的强度分布在第2方向上显著扩展的特性。第3空间频率特性是指裂像所包括的特定区域中的空间频率的强度分布在第3方向上显著扩展的特性。第4空间频率特性是指裂像所包括的特定区域中的空间频率的强度分布在第4方向上显著扩展的特性。第5空间频率特性是指裂像所包括的特定区域中的空间频率的强度分布在第5方向上显著扩展的特性。第6空间频率特性是指裂像所包括的特定区域中的空间频率的强度分布在第1～第5方向中的任一方向上都未显著扩展的特性。强度分布在第1～第5方向中的任一方向上都未显著扩展的特性是指例如强度分布的密度在第1～第5方向中的任一方向上都低于基准值。

此外，在本第1实施方式中，表示像素值转换函数的表格通过校正部28C来保持，但不限于此，表示像素值转换函数的运算式也可以通过校正部28C来保持。

另外，作为一个例子，图6所示的校正部28C保持图11所示的系数导出函数264。系数导出函数264是如下函数：作为调整像素值转换函数的系数(本发明的调整值的一个例子)，作为一个例子导出与图9所示的边界显示区域266(本发明的第2边界区域的一个例子)中显示的正常图像中的高色彩像素的占有率(以下，称为“高彩度占有率”)相应的系数。在图11所示的例子中，作为系数导出函数264，示出了伴随着高彩度占有率的增加而使系数逐渐地减少的曲线函数。边界显示区域266是指例如从正常图像的显示区域中的与裂像的边界起的预定像素数(例如50个像素)范围内的显示区域，在图9所示的例子中，是指由虚线矩形框与裂像的显示区域的外框围绕的区域。高色彩像素是指例如具有预定值(例如30％)以上的彩度的像素。高彩度占有率是指例如在边界显示区域266中显示的正常图像所包括的全部像素数中高色彩像素数所占的比例。此外，在本第1实施方式中，作为上述预定像素数，示例了50个像素，但不限于此，也可以是最大像素数的10％左右。

另外，作为一个例子，如图12所示，通常的裂像是在与视差产生方向交叉的方向(在图12所示的例子中，上下方向)交替地组合了左眼图像与右眼图像的分割成多个部分(在图12所示的例子中，分割成4个部分)的图像。裂像所包括的左眼图像以及右眼图像根据对焦状态而在预定方向(在图12所示的例子中，视差产生方向(左右方向))发生偏移。

但是，根据被摄体的对比度，裂像所包括的左眼图像与右眼图像的边界区域268(本发明的第1边界区域的一个例子)在视觉上难以识别。此处，边界区域268是指例如包括左眼图像与右眼图像的边界、并且在以边界作为中心线而在左眼图像区域侧以及右眼图像区域侧各自离开了预定像素数量(例如50个像素量或者最大像素数的10％左右)的位置之间被围绕的区域。换而言之，边界区域268在视觉上难以识别的情况是指，边界区域268与裂像所包括的非边界区域270(裂像中的边界区域268以外的区域)难以在视觉上区分的状态。在图12所示的例子中，主要被摄体是橙色(单色)的，因此，表示裂像所包括的主要被摄体的左眼图像以及右眼图像的边界区域268与非边界区域270在视觉上难以区分。另外，在主要被摄体的背景颜色是与主要被摄体的色彩是相同色系的色彩(在图12所示的例子中，浅橙色)的情况下，如果彩度近似，则可以预料边界区域268的视觉辨认性进一步变差。

因此，在本第1实施方式的摄像装置100中，在手动聚焦模式时，作为一个例子，图像处理部28进行图13所示的图像输出处理。下面，参照图13来说明在手动聚焦模式中通过图像处理部28进行的图像输出处理。此外，下面，例示图像处理部28进行图像输出处理的情况，但本发明不限定于此，例如也可以通过CPU12执行图像输出处理程序而在摄像装置100中进行图像输出处理。

在图13所示的图像输出处理中，首先，在步骤400中，通过生成部28B判定图像取得部28A是否取得了第1～第3图像。在步骤400中，在图像取得部28A未取得第1～第3图像的情况下，判定被否定而再次进行步骤400的判定。在步骤400中，在图像取得部28A取得了第1～第3图像的情况下，判定被肯定而转移到步骤402。

在步骤402中，通过生成部28B，根据在步骤400中取得的第3图像来生成正常图像。另外，在步骤402中，通过生成部28B，生成基于在步骤400中取得的第1以及第2图像的左眼图像以及右眼图像，根据所生成的左眼图像以及右眼图像来生成裂像。

在接下来的步骤404中，通过校正部28C，计算在步骤402中生成的正常图像中的、在边界显示区域266中显示的正常图像的高彩度占有率，其后，转移到步骤406。

在步骤406中，通过校正部28C，判定高彩度占有率是否低于阈值。此处，阈值是指例如在边界显示区域266中显示的正常图像的全部像素数的70％。在步骤406中，在高彩度占有率为阈值以上的情况下，判定被否定而转移到步骤426。在步骤406中，在高彩度占有率低于阈值的情况下，判定被肯定而转移到步骤408。

在步骤408中，通过校正部28C，对在步骤402中生成的裂像所包括的解析对象区域进行傅立叶转换。此处，解析对象区域是指例如图12所示的边界区域268。在图14中，示出了通过在步骤408中进行傅立叶转换而得到的结果的一个例子即空间频率的强度分布的一个例子。作为一个例子，图14所示的空间频率的强度分布是按照每个角度分量(第1～第5方向的一个例子)切开的。此处，角度分量是指例如以图14所示的强度分布图的中心作为原点而按照预定的多个角度对强度分布图进行区划而得到的二维坐标区域。在图14所示的例子中，作为角度分量，例示了0°分量(第1方向的一个例子)、22.5°分量(第2方向的一个例子)、45°分量(第3方向的一个例子)、67.5°分量(第4方向的一个例子)以及90°分量(第5方向的一个例子)。

在接下来的步骤410中，通过校正部28C，判定是否存在通过在步骤408中进行傅立叶转换而得到的空间频率的强度分布的密度为基准值以上的角度分量。在步骤410中，在不存在通过在步骤408中进行傅立叶转换而得到的空间频率的强度分布的密度为基准值以上的角度分量的情况下，判定被否定而转移到步骤412。在步骤410中，在存在通过在步骤408中进行傅立叶转换而得到的空间频率的强度分布的密度为基准值以上的角度分量的情况下，判定被肯定而转移到步骤414。此处，不存在通过在步骤408中进行傅立叶转换而得到的空间频率的强度分布的密度为基准值以上的角度分量的情况是指例如空间频率特性是第6空间频率特性。与此相对地，存在通过在步骤408中进行傅立叶转换而得到的空间频率的强度分布的密度为基准值以上的角度分量的情况是指例如空间频率特性是第1～第5空间频率特性中的某一种。

此外，在图14所示的强度分布图中，作为空间频率的强度分布的密度为基准值以上的角度分量，示例了0°分量(第1空间频率特性)。因此，在得到图14所示的强度分布的情况下，在步骤410中，通过校正部28C，判定为存在通过在步骤408中进行傅立叶转换而得到的空间频率的强度分布的密度为基准值以上的角度分量。

在步骤412中，通过校正部28C，导出与第6空间频率对应的像素值转换函数即函数262A。另外，通过校正部28C，从系数导出函数264中导出与在步骤404中计算出的高彩度占有率对应的系数。然后，利用基于包括通过将所导出的系数乘以特定的像素值而得到的1个点在内的特定的3个点的样条插值等算法，来调整像素值转换函数(此处，作为一个例子，函数262A)，其后，转移到步骤46。此处，特定的像素值是指例如在步骤402中生成的裂像中的像素值的柱状图的众数(mode)、中值、主要被摄体区域的像素值、或者预先确定的像素值等。另外，特定的3个点是指例如(0，0)、(255，255)以及(特定的像素值，调整后的特定的像素值)这3个点。

此外，也可以利用基于包括通过将在上述步骤412中导出的系数乘以多个特定的像素值而得到的多个点(2个点以上)在内的特定的多个点(4个点以上)的样条插值等算法，来调整像素值转换函数。例如，也可以代替上述的调整后的像素值转换函数，采用图27所示的调整后的像素值转换函数。在图27所示的例子中，作为调整后的像素值转换函数，示出了具有基于样条曲线的灰度校正功能的灰度曲线，该样条曲线是利用包括通过将在上述步骤412中导出的系数乘以2个特定的像素值而得到的2个点(特定的像素值A、B)在内的4个点((0，0)、(特定的像素值A，调整后的特定的像素值A)、(特定的像素值B，调整后的特定的像素值B)以及(255，255))而确定的。作为特定的像素值A、B，能够示例在步骤402中生成的裂像中的像素值的柱状图的众数以及中值。

在步骤414中，通过校正部28C，导出与通过在步骤408中进行傅立叶转换而得到的空间频率的强度分布中的最大的强度分布的方向(此处，作为一个例子，空间频率强度最大的方向)对应的像素值转换函数。

此处，空间频率强度最大的方向是指，在图14所示的强度分布图中，当在空间频率强度为预定值以上的区域中划出通过原点的直线的情况下该直线最长的方向。例如，在图14所示的强度分布图中，空间频率强度最大的方向是横轴方向。在图14所示的强度分布图中，0°分量(包括横轴方向的角度分量)的强度分布的密度比其他角度分量下的强度分布的密度高，因此，在本步骤414中，导出与0°分量对应的像素值转换函数即函数262A。另外，在步骤402中，作为一个例子，生成图15所示的裂像，如果对生成的裂像所包括的解析对象区域进行傅立叶转换，则作为一个例子，得到图16所示的强度分布。在这种情况下，67.5°分量下的强度分布的密度比其他角度分量下的强度分布的密度高，因此，在本步骤414中，导出与67.5°分量对应的像素值转换函数即函数262D。

另外，在步骤414中，通过校正部28C，根据系数导出函数264导出与在步骤404中计算出的高彩度占有率对应的系数。然后，通过校正部28C，根据包括通过将所导出的系数乘以特定的像素值而得到的1个点在内的特定的3个点，利用上述的样条插值等算法，来调整像素值转换函数(此处，作为一个例子，函数262A)。

进而，在步骤414中，通过校正部28C，计算空间频率强度最大的方向(此处，作为一个例子，图14所示的强度分布图的横轴方向)、与基于在步骤400中取得的第1图像以及第2图像的视差的方向(视差方向)的一致度。然后，以计算出的一致度越低则低亮度侧的对比度越大地的方式，进一步对乘以在本步骤414中导出的系数而得到的像素值转换函数(此处，作为一个例子，通过样条插值等算法来调整的函数262A)进行调整。另外，此处，低亮度侧是指例如低于预定像素值(例如0以上255以下的范围内的低于100的像素值)。在进行本步骤414之后，图像输出处理转移到步骤416。

在步骤416中，通过校正部28C，生成在步骤402中生成的裂像所包括的解析对象区域(此处，作为一个例子，如图12所示的边界区域268)的像素值的柱状图，其后，转移到步骤418。

在步骤418中，通过校正部28C，判定在步骤416中生成的柱状图中是否存在多个极大值。在步骤418中，当在步骤416中生成的柱状图中不存在多个极大值的情况下，判定被否定而转移到步骤424。在步骤418中，当在步骤416中生成的柱状图中存在多个极大值的情况下，判定被肯定而转移到步骤420。例如，在步骤416中生成的柱状图中，作为一个例子，在如图17所示地像素值a、b各自存在极大值的情况下，步骤418的判定被肯定。

在步骤420中，作为一个例子，通过确定部28D来判定是否操作了图18所示的对比度调整操作部270。图18所示的对比度调整操作部270包括在显示部213中显示的软件键(软键)、F按钮270A、B按钮270B、上方指示按钮270C以及下方指示按钮270D。对比度调整操作部270根据由用户经由操作部14进行的显示开始指示而被显示，根据由用户经由操作部14进行的显示结束指示而不被显示。在显示部213中显示的对比度调整操作部270是通过用户经由触摸面板215来操作的。此处，操作了对比度调整操作部270的情况是指，例如在维持F按钮270A的按下状态的状态下按下上方指示按钮270C的情况、以及在维持B按钮270B的按下状态的状态下按下下方指示按钮270D的情况。

在步骤420中，在未操作对比度调整操作部270的情况下，判定被否定而转移到步骤424。在步骤420中，在操作了对比度调整操作部270的情况下，判定被肯定而转移到步骤422。

在步骤422中，通过确定部28D，调整像素值转换函数，以使与在步骤416中生成的柱状图中的特定的2个极大值对应的像素值的对比度根据对比度调整操作部270的操作量而变大。

此处，特定的2个极大值是指例如某相邻的2个极大值、极大值之间的差最小的相邻的2个极大值等。在图17所示的例子中，作为与特定的2个极大值对应的像素值，示出了像素值a、b。另外，在本步骤422中被设为调整对象的像素值转换函数是在步骤412或者步骤414中被调整过的像素值转换函数。

因此，在本步骤422中，通过确定部28D，调整在步骤412或者步骤414中被调整过的像素值转换函数，以使针对像素值(输入像素值)a、b的输出像素值的增益差根据对比度调整操作部270的操作量而变大。例如，如图19所示，如果在维持F按钮270A的按下状态的状态下按下上方指示按钮270C，则像素值b的增益根据上方指示按钮270C的按下量(例如持续按下时间、按下次数或者按压力等)而增加。另外，如果在维持B按钮270B的按下状态的状态下按下下方指示按钮270D，则像素值a的增益根据下方指示按钮270D的按下量而减少。其结果是，作为一个例子，如图20所示，像素值a的增益减少20％，像素值b的增益增加10％。

在接下来的步骤424中，通过校正部28C，依照在步骤412、步骤414或者步骤422中调整过的像素值转换函数，来校正包含在校正对象区域中的图像的灰度。此处，校正对象区域是指例如图12所示的边界区域268。此外，图像的灰度的校正通过依照像素值转换函数而转换像素值(调整对比度)来实现。

在接下来的步骤426中，通过校正部28C，将在步骤402中生成的正常图像以及裂像、或者在步骤402中生成的正常图像以及在步骤424中校正了校正对象区域的灰度的裂像输出到显示控制部36。显示控制部36如果被输入正常图像以及裂像，则对显示装置进行如下控制：使显示装置连续地显示正常图像来作为动态图像，并且在正常图像的显示区域内连续地显示裂像来作为动态图像。由此，在显示装置中显示实时预览图像。另外，在步骤426中校正了裂像中的校正对象区域的灰度，因此在视觉上容易确定实时预览图像所包括的裂像中的边界区域268的位置。因此，用户通过实时预览图像所包括的裂像，容易确认摄影透镜16的对焦状态。

如以上所说明地，在本第1实施方式的摄像装置100中，通过校正部28C，依照根据裂像中的空间频率特性以及像素值的柱状图的极大值来确定的像素值转换函数，校正裂像的灰度。由此，本第1实施方式的摄像装置100与不具有本结构的情况相比，能够更容易地在视觉上识别裂像所包括的边界区域268。

另外，在本第1实施方式的摄像装置100中，通过校正部28C，依照与空间频率特性强度最大的方向建立对应的像素值转换函数，校正裂像的灰度。由此，相比于依照与空间频率特性的强度分布最大的方向以外的方向建立对应的像素值转换函数来校正裂像的灰度的情况，本第1实施方式的摄像装置100能够提高边界区域268的视觉辨认性。另外，在本第1实施方式中，作为像素值转换函数，采用根据空间频率强度最大的方向与视差方向的一致度的降低而使低于预定值的亮度的图像区域的对比度变大的像素值转换函数。由此，与不具有本结构的情况相比，能够抑制伴随着空间频率强度最大的方向与视差方向的一致度的降低而使视觉辨认性变差的情况。

另外，在本第1实施方式的摄像装置100中，通过校正部28C，根据边界区域268的空间频率特性以及像素值的柱状图的极大值来确定像素值转换函数。由此，本第1实施方式的摄像装置100与不具有本结构的情况相比，能够确定更准确的像素值转换函数。

另外，在本第1实施方式的摄像装置100中，通过校正部28C，依照像素值转换函数来校正边界区域268所包括的图像的灰度。由此，本第1实施方式的摄像装置100能够使用户更加明确地识别边界区域268与其他区域的差异。另外，能够抑制对不需要灰度校正的区域实施灰度校正的情况。

另外，在本第1实施方式的摄像装置100中，通过校正部28C，使与柱状图的多个极大值中特定的一对极大值对应的像素值的对比度大于校正前的对比度。由此，与不使与特定的一对极大值对应的像素值的对比度大于校正前的对比度的情况相比，本第1实施方式的摄像装置100能够提高边界区域268的视觉辨认性。另外，能够抑制对不需要灰度校正的区域实施灰度校正的情况。

另外，在本第1实施方式的摄像装置100中，通过确定部28D，根据所提供的指示来确定与特定的一对极大值对应的像素值的对比度。由此，与不根据所提供的指示来确定与特定的一对极大值对应的像素值的对比度的情况相比，本第1实施方式的摄像装置100能够提高可用性。

另外，在本第1实施方式的摄像装置100中，通过校正部28C，在彩色占有率低于阈值的情况下依照像素值转换函数来校正裂像的灰度。由此，与在彩色占有率低于阈值的情况下依照像素值转换函数来校正裂像的灰度的情况相比，本第1实施方式的摄像装置100能够避免实施不需要的灰度校正。

另外，在本第1实施方式的摄像装置100中，通过校正部28C，使用根据彩色占有率而确定的系数来调整像素值转换函数，依照调整后的像素值转换函数来校正裂像的灰度。由此，与不使用根据彩色占有率确定的系数来调整像素值转换函数的情况相比，本第1实施方式的摄像装置100能够提高边界区域268的视觉辨认性。

此外，在上述第1实施方式中，以根据裂像中的解析对象区域的像素值的柱状图来调整像素值转换函数的情况为例来进行了说明，但本发明不限定于此。即，也可以不根据裂像中的解析对象区域的像素值的柱状图来调整像素值转换函数。在这种情况下，从图13所示的图像输出处理中除去步骤416、418、420、422即可。

另外，在上述第1实施方式中，以根据边界区域268的空间频率特性以及像素值的柱状图的极大值来确定像素值转换函数为例子来进行了说明，但本发明不限定于此。例如，也可以根据裂像整体上的空间频率特性以及像素值的柱状图的极大值来确定像素值转换函数。

另外，在上述第1实施方式中，以校正边界区域268所包括的图像的灰度的情况为例来进行了说明，但不限于此，也可以校正裂像整体的灰度。

另外，在上述第1实施方式中，校正部28C在图13所示的图像输出处理的步骤414中进行了导出与空间频率的强度分布最大的方向对应的像素值转换函数的处理，但本发明不限定于此。例如，也可以代替步骤414的处理，应用导出与空间频率的强度分布最大的多个方向(例如第1以及第2方向)对应的多个像素值转换函数、并取得对所导出的多个像素值转换函数进行平均化而得到的像素值转换函数的处理。另外，也可以代替步骤414的处理，应用导出与空间频率的强度分布的密度为基准值以上的多个角度分量对应的多个像素值转换函数、并取得对所导出的多个像素值转换函数进行平均化而得到的像素值转换函数的处理。

另外，在上述第1实施方式中，校正部28C在图13所示的图像输出处理的步骤418中判定是否存在多个极大值，但也可以判定是否存在多个极小值。在这种情况下，在确定部28D中，代替步骤422的处理，进行以根据操作量来使与特定的2个极小值对应的像素值的对比度变大的方式调整像素值转换函数的处理即可。

另外，在上述第1实施方式中，作为在图13所示的图像输出处理的步骤406中使用的阈值，采用默认设定的固定值，但不限于此，也可以采用用户经由操作部14而指示的值。

另外，在上述第1实施方式中，作为对比度调整操作部270采用软键，但也可以是硬件键(硬键)，还可以是软键与硬键的组合。另外，在上述第1实施方式中，作为对比度调整操作部270采用了按下式的按钮，但不限于此，也可以是滑动式的操作部。

[第2实施方式]

在上述第1实施方式中，示例了使用根据空间频率的强度分布的方向而确定的像素值转换函数来进行灰度校正的情况，但在本第2实施方式中，说明使用根据柱状图的极大值而确定的像素值转换函数来进行灰度校正的情况。此外，下面，对于与上述第1实施方式相同的结构附加相同的标号，并省略说明。

与在上述第1实施方式中说明的摄像装置100相比，图1～图3所示的本第2实施方式的摄像装置100A在图像处理部28进行图21所示的图像输出处理来代替图13所示的图像输出处理这一点上不同。

与图13所示的图像输出处理相比，图21所示的图像输出处理在去除了步骤408、410、412、414这一点上不同。另外，与图13所示的图像输出处理相比，图21所示的图像输出处理在步骤416与步骤418之间具有步骤450这一点上不同。另外，与图13所示的图像输出处理相比，图21所示的图像输出处理在代替步骤420、422、424、426而具有步骤452、454、456、458这一点上不同。

在图21所示的步骤450中，通过校正部28C，取得基础的像素值转换函数。此处，基础的像素值转换函数是指例如在图20中用虚线曲线来表示的像素值转换函数。在本第2实施方式中，作为基础的像素值转换函数采用默认设定的函数，但不限于此，例如也可以是根据柱状图的积分值而确定为唯一的像素值转换函数。

另外，在步骤450中，通过校正部28C，根据系数导出函数264导出与在步骤404中计算出的高彩度占有率对应的系数。然后，通过校正部28C，在本步骤450中取得的基础的像素值转换函数通过乘以在本步骤450中导出的系数而被调整。在进行本步骤450之后，图像输出处理转移到步骤418。

在步骤452中，通过校正部28C，取得与在步骤416中生成的柱状图中的特定的2个极大值(以下，称为“特定的2个极大值”)对应的像素值的调整系数。此处，调整系数是指例如在与特定的2个极大值对应的像素值的增益调整中使用的系数。调整系数是针对每个像素值并且针对每个极大值之间的每个差分(例如差的绝对值)来预先确定的，并通过表格或者运算式来唯一地导出。

在接下来的步骤454中，通过校正部28C，使在步骤450中调整过的基础的像素值转换函数通过分别针对对于与特定的2个极大值对应的像素值(输入像素值)的输出像素值乘以在步骤452中取得的各调整系数来被调整。如果在本步骤454中调整基础的像素值转换函数，则作为一个例子，得到由图20所示的实线曲线表示的像素值转换函数(以下，称为“调整完成函数”)。在图20所示的例子中，通过对与像素值a对应的输出像素值乘以调整系数，使与像素值a对应的增益减少20％，通过对与像素值b对应的输出像素值乘以调整系数，使与像素值b对应的增益增加10％。

在步骤456中，通过校正部28C，依照在步骤450中调整过的基础的像素值转换函数或者在步骤456中得到的调整完成函数，对校正对象区域所包括的图像的灰度进行校正，其后，转移到步骤458。

在步骤458中，通过校正部28C，将在步骤402中生成的正常图像以及裂像、或者在步骤402中生成的正常图像以及在步骤456中校正了校正对象区域的灰度的裂像输出到显示控制部36。

如以上所说明地，在本第2实施方式的摄像装置100A中，通过校正部28C，依照根据裂像中的像素值的柱状图的极大值而确定的像素值转换函数，校正裂像的灰度。由此，本第2实施方式的摄像装置100与不具有本结构的情况相比，能够通过简单的结构容易地在视觉上识别裂像所包括的边界区域268。

此外，在上述第2实施方式中，列举出校正部28C通过导出调整系数并将所导出的调整系数乘以像素值转换函数中的对应的输出像素值而调整基础的像素值转换函数的例子进行了说明，但本发明不限定于此。例如，也可以根据特定的2个极大值以及与这些极大值对应的像素值，通过表格或者运算式来唯一地导出调整完成函数。

另外，在上述第2实施方式中，列举出根据边界区域268中的像素值的柱状图的极大值来确定像素值转换函数的例子进行了说明，但本发明不限定于此。例如，也可以根据裂像整体中的像素值的柱状图的极大值来确定像素值转换函数。另外，也可以代替极大值而采用极小值。

[第3实施方式]

在上述各实施方式中，示例了摄像装置100(100A)，但是，作为摄像装置100(100A)的变形例的便携终端装置，例如可列举具有相机功能的便携电话机、智能手机等。除此之外，还可列举PDA(PersonalDigitalAssistants，个人数字助理)、便携型游戏机等。在本第3实施方式中，以智能手机为例，参照附图进行详细说明。

图22示出智能手机500的外观。图22所示的智能手机500具有平板状的框体502，在框体502的一个面具备使作为显示部的显示面板521与作为输入部的操作面板522成为一体的显示输入部520。另外，框体502具备扬声器531、麦克风532、操作部540以及相机部541。此外，框体502的结构不限定于此，例如，也能够采用显示部与输入部独立的结构，或者采用具有折叠构造、滑动构造的结构。

图23是示出图22所示的智能手机500的结构的一个例子的框图。如图23所示，作为智能手机500的主要结构要素，具备无线通信部510、显示输入部520、通话部530、操作部540、相机部541、存储部550以及外部输入输出部560。另外，作为智能手机500的主要结构要素，具备GPS(GlobalPositioningSystem，全球定位系统)接收部570、运动传感器部580、电源部590以及主控制部501。另外，作为智能手机500的主要功能，具备经由基站装置BS与移动通信网络NW进行移动无线通信的无线通信功能。

无线通信部510依照主控制部501的指示，对在移动通信网络NW中容纳的基站装置BS进行无线通信。利用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。

显示输入部520是所谓的触摸面板，具备显示面板521与操作面板522。因此，显示输入部520通过主控制部501的控制来显示图像(静态图像以及动态图像)、文字信息等，在视觉上向用户传递信息，并且检测针对所显示的信息的用户操作。另外，在观赏所生成的3D图像的情况下，显示面板521优选是3D显示面板。

显示面板521将LCD、OELD(OrganicElectro-LuminescenceDisplay，有机电激发光显示器)等用作显示设备。操作面板522以能够视觉辨认在显示面板521的显示面上显示的图像的方式来放置，是检测通过用户的手指或笔尖来操作的一个或者多个坐标的设备。当通过用户的手指或笔尖来操作该设备时，将由于操作而产生的检测信号输出到主控制部501。接下来，主控制部501根据所接收到的检测信号，检测显示面板521上的操作位置(坐标)。

如图22所示，智能手机500的显示面板521与操作面板522成为一体而构成显示输入部520，配置为操作面板522完全覆盖显示面板521。在采用了该配置的情况下，操作面板522针对显示面板521外的区域也可以具备检测用户操作的功能。换而言之，操作面板522也可以具备针对重叠于显示面板521的重叠部分的检测区域(以下，称为显示区域)、以及针对在它之外的不重叠于显示面板521的外缘部分的检测区域(以下，称为非显示区域)。

此外，也可以使显示区域的大小与显示面板521的大小完全一致，但不一定需要使两者一致。另外，操作面板522也可以具备外缘部分和在它之外的内侧部分这两个感应区域。进而，外缘部分的宽度根据框体502的大小等来适当设计。进而，作为由操作面板522采用的位置检测方式，可列举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电容量方式等，可以采用任意的方式。

通话部530具备扬声器531、麦克风532。通话部530将通过麦克风532输入的用户的声音转换成能够由主控制部501处理的声音数据并输出到主控制部501。另外，通话部530对由无线通信部510或外部输入输出部560接收到的声音数据进行解码并从扬声器531输出。另外，如图23所示，例如，能够在与设置有显示输入部520的面相同的面上搭载扬声器531，并将麦克风532搭载于框体502的侧面。

操作部540是采用键开关等的硬件键，受理来自用户的指示。例如，如图22所示，操作部540是下压按钮式的开关，它搭载于智能手机500的框体502的侧面，当用手指等按下时导通，当手指离开时，通过弹簧等的恢复力而成为断开状态。

存储部550存储主控制部501的控制程序、控制数据、应用软件、与通信对方的名称、电话号码等建立对应的地址数据、收发的电子邮件的数据。另外，存储部550存储通过Web浏览下载的Web数据、下载的内容数据。另外，存储部550临时性地存储流数据等。另外，存储部550由智能手机内置的内部存储部551、和装卸自如的具有外部存储器插槽的外部存储部552构成。此外，构成存储部550的各个内部存储部551与外部存储部552采用闪存类型(flashmemorytype)、硬盘类型(harddisktype)等储存介质来实现。作为储存介质，在此之外，还能够示例多介质卡微型(multimediacardmicrotype)、卡型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(RandomAccessMemory，随机存取存储器)、ROM(ReadOnlyMemory，只读存储器)。

外部输入输出部560起到和与智能手机500连结的所有外部设备之间的接口的作用，用于通过通信等或者网络来与其他外部设备直接或间接地连接。作为与其他外部设备的通信等，可列举例如通用串行总线(USB)、IEEE1394等。作为网络，可列举例如互联网、无线LAN、蓝牙(Bluetooth(注册商标))、RFID(RadioFrequencyIdentification，射频识别)、红外线通信(InfraredDataAssociation：IrDA(注册商标))。另外，作为网络的其他例子，可列举UWB(UltraWideband(注册商标))、ZigBee(注册商标)等。

作为与智能手机500连结的外部设备，可列举例如有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡座连接的存储卡(Memorycard)。作为外部设备的其他例子，可列举SIM(SubscriberIdentityModuleCard)/UIM(UserIdentityModuleCard)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备。除了外部音频/视频设备之外，还可列举无线连接的外部音频/视频设备。另外，代替外部音频/视频设备，还能够应用例如有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。

外部输入输出部能够将从这样的外部设备传送的数据传递到智能手机500的内部的各结构要素、将智能手机500的内部的数据传送到外部设备。

GPS接收部570按照主控制部501的指示，接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收到的多个GPS信号的测位运算处理，检测出智能手机500的由纬度、经度、高度构成的位置。GPS接收部570在能够从无线通信部510、外部输入输出部560(例如，无线LAN)获取位置信息时，也能够采用该位置信息来检测位置。

运动传感器部580例如具备3轴的加速度传感器等，按照主控制部501的指示来检测智能手机500的物理性移动。通过检测智能手机500的物理性移动，来检测智能手机500的移动方向、加速度。将该检测结果输出到主控制部501。

电源部590按照主控制部501的指示，对智能手机500的各部分供给在电池(未图示)中蓄积的电力。

主控制部501具备微处理器，按照存储部550所存储的控制程序、控制数据进行动作，集中地控制智能手机500的各部分。另外，主控制部501为了通过无线通信部510进行声音通信、数据通信，具备控制通信系统的各部分的移动通信控制功能与应用处理功能。

应用处理功能是通过主控制部501按照存储部550所存储的应用软件进行动作来实现的。作为应用处理功能，例如存在控制外部输入输出部560来与对方设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、阅览Web页面的Web浏览功能等。

另外，主控制部501具备根据接收数据、所下载的流数据等图像数据(静态图像、动态图像的数据)来将影像显示于显示输入部520等的图像处理功能。图像处理功能是指主控制部501解码上述图像数据，对该解码结果实施图像处理，并将图像显示于显示输入部520的功能。

进一步地，主控制部501执行对显示面板521的显示控制、以及检测出通过操作部540、操作面板522进行的用户操作的操作检测控制。

通过执行显示控制，主控制部501显示用于起动应用软件的图标、滚动条等软件键，或者，显示用于制作电子邮件的窗口。此外，滚动条是指用于对在显示面板521的显示区域中无法完全容纳的大的图像等而受理移动图像的显示部分的指示的软件键。

另外，通过执行操作检测控制，主控制部501检测通过操作部540进行的用户操作，或者，受理通过操作面板522进行的对上述图标的操作、对上述窗口的输入栏的文字列的输入。另外，通过执行操作检测控制，主控制部501受理通过滚动条进行的显示图像的滚动请求。

进一步地，通过执行操作检测控制，主控制部501判定针对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是在它之外的不重叠于显示面板521的外缘部分(非显示区域)。并且，具有接受该判定结果而控制操作面板522的感应区域、软件键的显示位置的触摸面板控制功能。

另外，主控制部501也能够检测对操作面板522的手势操作，根据所检测到的手势操作来执行预先设定的功能。手势操作不是以往的简单的触摸操作，而是指过手指等来描绘轨迹，或者同时指定多个位置，或者组合这些操作而从多个位置中对至少一个位置描绘轨迹的操作。

相机部541是使用CMOS、CCD等摄像元件来进行摄像的数码相机，具备与图1等所示的摄像装置100相同的功能。

另外，相机部541能够切换手动聚焦模式与自动聚焦模式。如果选择手动聚焦模式，则通过操作在操作部540或者显示输入部520中显示的聚焦用的图标按钮等，能够进行相机部541的摄像透镜的焦点对准。另外，在手动聚焦模式时，将合成裂像而得到的实时预览图像显示在显示面板521中，由此，能够确认手动聚焦时的对焦状态。此外，也可以在智能手机500设置图8所示的混合式取景器220。

另外，相机部541能够通过主控制部501的控制来将通过摄像而得到的图像数据转换成例如JPEG(JointPhotographiccodingExpertsGroup)等压缩了的图像数据。然后，将转换而得到的图像数据记录到存储部550，或者，通过输入输出部560、无线通信部510而输出。在图22所示的智能手机500中，相机部541搭载于与显示输入部520相同的面，但相机部541的搭载位置不限于此，也可以搭载于显示输入部520的背面，或者也可以搭载多个相机部541。此外，在搭载了多个相机部541的情况下，也能够切换用于摄像的相机部541来单独地进行摄像，或者，同时使用多个相机部541来进行摄像。

另外，相机部541能够用于智能手机500的各种功能。例如，能够在显示面板521显示通过相机部541取得的图像，能够作为操作面板522的操作输入之一而利用相机部541的图像。另外，在GPS接收部570检测位置时，也能够参照来自相机部541的图像来检测出位置。进一步地，也能够参照来自相机部541的图像，不采用3轴的加速度传感器，或者与3轴的加速度传感器并用，来判断智能手机500的相机部541的光轴方向或者判断当前的使用环境。当然，也能够在应用软件内利用来自相机部541的图像。

此外，也能够对静止画面或者动画的图像数据附加各种信息并记录到存储部550，或者，通过输入输出部560、无线通信部510而输出。作为此处所说的“各种信息”，例如，可列举针对静止画面或者动画的图像数据附加通过GPS接收部570取得的位置信息、通过麦克风532取得的声音信息(也可以通过主控制部等进行声音文本转换而成为文本信息)。在此之外，也可以是通过运动传感器部580取得的姿势信息等。

另外，在上述各实施方式中，例示了在上下方向上分割成两部分而得到的裂像，但不限于此，也可以将在左右方向或者倾斜方向上分割成多个部分而得到的图像用作裂像。

例如，图24所示的裂像66a通过与行方向平行的多条分割线63a分割成奇数行与偶数行。在该裂像66a中，根据从第1像素群输出的输出信号而生成的线状(作为一个例子，长条状)的相位差图像66La显示在奇数行(偶数行亦可)中。另外，根据从第2像素群输出的输出信号而生成的线状(作为一个例子，长条状)的相位差图像66Ra显示在偶数行中。

另外，图25所示的裂像66b通过在行方向上具有倾斜角的分割线63b(例如，裂像66b的对角线)来分割成两部分。在该裂像66b中，根据从第1像素群输出的输出信号而生成的相位差图像66Lb显示在一个区域中。另外，根据从第2像素群输出的输出信号而生成的相位差图像66Rb显示在另一个区域中。

另外，图26A以及图26B所示的裂像66c通过与行方向以及列方向分别平行的格子状的分割线63c来分割。在裂像66c中，根据从第1像素群输出的输出信号而生成的相位差图像66Lc呈棋盘格花纹(方格图案)状地排列并显示。另外，根据从第2像素群输出的输出信号而生成的相位差图像66Rc呈棋盘格花纹状地排列并显示。

另外，不限于裂像，也可以根据2个相位差图像来生成其他对焦确认图像并显示对焦确认图像。例如，也可以重叠2个相位差图像而进行合成显示，在焦点偏移的情况下，显示为二重像，在对准了焦点的状态下，清楚地显示图像。

另外，在上述各实施方式中，例示了具有第1～第3像素群的摄像元件20，但本发明不限定于此，也可以是仅由第1像素群以及第2像素群构成的摄像元件。具有这种摄像元件的数码相机可以根据从第1像素群输出的第1图像以及从第2像素群输出的第2图像来生成3维图像(3D图像)，也能够生成2维图像(2D图像)。在这种情况下，例如在第1图像以及第2图像的相互间的同色的像素之间进行插值处理来实现2维图像的生成。另外，也可以不进行插值处理而将第1图像或者第2图像用作2维图像。

另外，在上述各实施方式中，例示了在第1～第3图像被输入到图像处理部28的情况下，在显示装置的同画面中同时显示正常图像与裂像这两者的方式，但本发明不限定于此。例如，显示控制部36也可以进行控制而抑制对显示装置的作为正常图像的动态图像的连续显示，并且使显示装置连续地显示裂像作为动态图像。此处所说的“抑制正常图像的显示”是指例如不使显示装置显示正常图像。具体地说，通过虽然生成正常图像但不将正常图像输出到显示装置，从而不使显示装置显示正常图像，或者，通过不生成正常图像，从而不使显示装置显示正常图像。可以利用显示装置的整个画面来显示裂像，作为一个例子，可以利用图9所示的裂像的显示区域的整体来显示裂像。此外，作为此处所说的“裂像”，在使用特定的摄像元件的情况下，能够例示基于从相位差像素群输出的图像(例如从第1像素群输出的第1图像以及从第2像素群输出的第2图像)的裂像。作为“使用特定的摄像元件的情况”，例如可列举使用仅由相位差像素群(例如第1像素群以及第2像素群)构成的摄像元件的情况。在这之外，还能够例示使用相对于正常像素以预定的比例配置了相位差像素(例如第1像素群以及第2像素群)的摄像元件的情况。

另外，作为用于抑制正常图像的显示而显示裂像的条件，考虑各种条件。例如，可以在指示了裂像的显示的状态下解除了正常图像的显示指示的情况下，显示控制部36进行控制以使显示装置不显示正常图像而显示裂像。另外，例如，可以在摄影者观察混合式取景器的情况下，显示控制部36进行控制以使显示装置不显示正常图像而显示裂像。另外，例如，可以在释放按钮211被设为半按状态的情况下，显示控制部36进行控制以使显示装置不显示正常图像而显示裂像。另外，例如，可以在未对释放按钮211进行按压操作的情况下，显示控制部36进行以使显示装置不显示正常图像而显示裂像。另外，例如，可以在使检测被摄体的面部的面部检测功能起作用的情况下，显示控制部36进行控制以使显示装置不显示正常图像而显示裂像。此外，此处列举了显示控制部36抑制正常图像的显示的变形例，但不限于此，例如，显示控制部36也可以进行控制以在正常图像上覆盖显示整个画面的裂像。

另外，上述各实施方式中说明了的摄像装置100(100A)也可以具有确认景深的功能(景深确认功能)。在这种情况下，例如摄像装置100具有景深确认键。景深确认键既可以是硬键，也可以是软键。在通过硬键进行指示的情况下，优选应用例如瞬时动作型的开关(非保持型开关)。此处所说的瞬时动作型的开关是指例如仅在被压入到预定位置的期间内维持摄像装置100中的特定的动作状态的开关。此处，景深确认键如果被按下，则光圈值改变。另外，在持续进行对景深确认键的按下动作的期间(被压入到预定位置的期间)，光圈值持续变化直到达到界限值。这样，在景深确认键被按下的过程中，光圈值变化，所以有时得不到为了得到裂像所需的相位差。因此，当在显示裂像的状态下按下了景深确认键的情况下，也可以在按下过程中从裂像变更成正常的实时预览图像显示。另外，在解除了按下状态时，也可以由CPU12进行画面的切换，以再次显示裂像。此处，作为景深确认键的一个例子，例示了瞬时应用动作型的开关的情况，但不限于此，也可以应用交替动作型的开关(保持型开关)。

另外，上述各实施方式中说明了的图像输出处理的流程(参照图13以及图21)只不过是一个例子。因此，在不脱离主旨的范围内，也可以删除不需要的步骤，或者追加新的步骤，或者调换处理顺序，这自不待言。另外，在上述各实施方式中说明的图像输出处理中包括的各处理可以通过执行程序而利用计算机通过软件结构来实现，也可以通过其他硬件结构来实现。另外，也可以通过硬件结构与软件结构的组合来实现。

在通过由计算机执行程序来实现在上述各实施方式中说明的图像输出处理的情况下，将程序预先存储在预定的存储区域(例如存储器26)中即可。此外，不一定需要从最初起就存储在存储器26中。例如，可以先将程序存储在与计算机连接使用的SSD(SolidStateDrive)、CD-ROM、DVD盘、光磁盘、IC卡等任意的“移动型的存储介质”。然后，可以由计算机从这些移动型的存储介质取得程序来执行。另外，也可以预先将各程序存储在经由因特网、LAN(LocalAreaNetwork)等而与计算机连接的其他计算机或者服务器装置等中，由计算机从它们中取得程序来执行。

标号说明

16摄影透镜

20摄像元件

26存储器

28A图像取得部

28B生成部

28C校正部

28D确定部

36A、36B显示控制部

100、100A摄像装置

213显示部

247LCD

Claims (16)

1.一种图像处理装置，包括：

图像取得部，取得基于从具有第1像素群以及第2像素群的摄像元件输出的第1图像信号以及第2图像信号的第1图像以及第2图像，所述第1像素群对通过了摄影透镜中的第1区域的被摄体像进行光瞳分割并进行成像而输出所述第1图像信号，所述第2像素群对通过了所述摄影透镜中的第2区域的被摄体像进行光瞳分割并进行成像而输出所述第2图像信号；

生成部，根据从所述摄像元件输出的图像信号来生成第1显示用图像，并且根据所述第1图像以及第2图像来生成用于对焦确认的第2显示用图像；

校正部，依照根据所述第2显示用图像中的空间频率特性以及所述第2显示用图像中的像素值的柱状图的极值中的至少一方而确定的灰度校正信息，校正所述第2显示用图像的灰度；

显示部，显示图像；以及

显示控制部，对所述显示部进行控制，以使所述显示部显示由所述生成部生成的所述第1显示用图像，并且在所述第1显示用图像的显示区域内显示通过所述校正部校正了灰度的所述第2显示用图像。

2.一种图像处理装置，包括：

图像取得部，取得基于从具有第1像素群以及第2像素群的摄像元件输出的第1图像信号以及第2图像信号的第1图像以及第2图像，所述第1像素群对通过了摄影透镜中的第1区域的被摄体像进行光瞳分割并进行成像而输出所述第1图像信号，所述第2像素群对通过了所述摄影透镜中的第2区域的被摄体像进行光瞳分割并进行成像而输出所述第2图像信号；

生成部，根据从所述摄像元件输出的图像信号来生成第1显示用图像，并且根据所述第1图像以及第2图像来生成用于对焦确认的第2显示用图像；

校正部，依照根据所述第2显示用图像中的空间频率特性以及所述第2显示用图像中的像素值的柱状图的极值中的至少一方而确定的灰度校正信息，校正所述第2显示用图像的灰度；

显示部，显示图像；以及

显示控制部，对所述显示部进行控制，以使所述显示部显示通过所述校正部校正了灰度的所述第2显示用图像。

3.根据权利要求1或2所述的图像处理装置，其中，

所述空间频率特性是所述第2显示用图像中的空间频率强度最大的方向。

4.根据权利要求3所述的图像处理装置，其中，

所述灰度校正系数是根据所述空间频率强度最大的方向与基于所述第1图像以及所述第2图像的视差方向的一致度的降低而使低于预定值的亮度的图像区域的对比度增大的灰度校正系数。

5.根据权利要求1至4中的任一项所述的图像处理装置，其中，

所述第2显示用图像包括沿与光瞳分割方向交叉的方向组合了所述第1图像所包括的第1图像区域和所述第2图像所包括的第2图像区域而得到的图像，

根据所述第2显示用图像所包括的第1边界区域中的所述空间频率特性以及所述第2显示用图像中的像素值的柱状图的极值中的至少一方，确定所述灰度校正信息，所述第1边界区域包括所述第1图像区域与所述第2图像区域的边界。

6.根据权利要求5所述的图像处理装置，其中，

所述校正部依照所述灰度校正信息，校正所述第1边界区域的灰度。

7.根据权利要求1至4中的任一项所述的图像处理装置，其中，

所述第2显示用图像包括沿与光瞳分割方向交叉的方向组合了所述第1图像所包括的第1图像区域和所述第2图像所包括的第2图像区域而得到的图像，

所述校正部依照所述灰度校正信息，校正所述第2显示用图像所包括的第1边界区域的灰度，所述第1边界区域包括所述第1图像区域与所述第2图像区域的边界。

8.根据权利要求1至7中的任一项所述的图像处理装置，其中，

根据所述柱状图而确定的所述灰度校正信息的内容是在所述柱状图具有多个极大值的情况下使与所述多个极大值中的特定的一对极大值对应的像素间的对比度大于校正前的对比度的内容。

9.根据权利要求8所述的图像处理装置，其中，

还包括根据所提供的指示来确定所述对比度的确定部。

10.根据权利要求1至9中的任一项所述的图像处理装置，其中，

所述校正部在与所述第1显示用图像及所述第2显示用图像的边界相邻的所述第1显示用图像侧的第2边界区域中的具有预定值以上的彩度的像素的占有率低于阈值的情况下，依照所述灰度校正信息来校正所述第2显示用图像的灰度。

11.根据权利要求10所述的图像处理装置，其中，

所述校正部使用根据所述占有率而确定的调整值来调整所述灰度校正信息，依照调整后的所述灰度校正信息来校正所述第2显示用图像的灰度。

12.根据权利要求1至11中的任一项所述的图像处理装置，其中，

所述摄像元件还具有第3像素群，该第3像素群对透过了所述摄影透镜的被摄体像不进行光瞳分割地进行成像而输出第3图像信号，

所述生成部根据从所述第3像素群输出的所述第3图像信号来生成所述第1显示用图像。

13.一种摄像装置，包括权利要求1至12中的任一项所述的图像处理装置、具有所述第1像素群以及第2像素群的摄像元件以及存储部，

所述存储部存储根据从所述摄像元件输出的图像信号而生成的图像。

14.一种图像处理方法，包括以下步骤：

取得基于从具有第1像素群以及第2像素群的摄像元件输出的第1图像信号以及第2图像信号的第1图像以及第2图像，所述第1像素群对通过了摄影透镜中的第1区域的被摄体像进行光瞳分割并进行成像而输出所述第1图像信号，所述第2像素群对通过了所述摄影透镜中的第2区域的被摄体像进行光瞳分割并进行成像而输出所述第2图像信号，

根据从所述摄像元件输出的图像信号来生成第1显示用图像，

根据所述第1图像以及第2图像来生成用于对焦确认的第2显示用图像，

依照根据所述第2显示用图像中的空间频率特性以及所述第2显示用图像中的像素值的柱状图的极值中的至少一方而确定的灰度校正信息，校正所述第2显示用图像的灰度，

对显示图像的显示部进行控制，以使所述显示部显示所生成的所述第1显示用图像，并且在所述第1显示用图像的显示区域内显示校正了灰度的所述第2显示用图像。

15.一种图像处理方法，其中，包括以下步骤：

取得基于从具有第1像素群以及第2像素群的摄像元件输出的第1图像信号以及第2图像信号的第1图像以及第2图像，所述第1像素群对通过了摄影透镜中的第1区域的被摄体像进行光瞳分割并进行成像而输出所述第1图像信号，所述第2像素群对通过了所述摄影透镜中的第2区域的被摄体像进行光瞳分割并进行成像而输出所述第2图像信号，

根据从所述摄像元件输出的图像信号来生成第1显示用图像，

根据所述第1图像以及第2图像来生成用于对焦确认的第2显示用图像，

依照根据所述第2显示用图像中的空间频率特性以及所述第2显示用图像中的像素值的柱状图的极值中的至少一方而确定的灰度校正信息，校正所述第2显示用图像的灰度，

对所述显示部进行控制以使所述显示部显示校正了灰度的所述第2显示用图像。

16.一种图像处理程序，

用于使计算机作为权利要求1至12中的任一项所述的图像处理装置中的所述图像取得部、所述生成部、所述校正部以及所述显示控制部发挥功能。