CN104641624B - 图像处理装置、摄像装置及图像处理方法 - Google Patents

图像处理装置、摄像装置及图像处理方法 Download PDF

Info

Publication number
CN104641624B
CN104641624B CN201380048006.XA CN201380048006A CN104641624B CN 104641624 B CN104641624 B CN 104641624B CN 201380048006 A CN201380048006 A CN 201380048006A CN 104641624 B CN104641624 B CN 104641624B
Authority
CN
China
Prior art keywords
image
parallax
pixel
display
extensive magnitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380048006.XA
Other languages
English (en)
Other versions
CN104641624A (zh
Inventor
井泽克俊
青木贵嗣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104641624A publication Critical patent/CN104641624A/zh
Application granted granted Critical
Publication of CN104641624B publication Critical patent/CN104641624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

本发明提供能够使与图像间的视差对应的偏移的视觉确认性良好的图像处理装置、摄像装置、图像处理方法及图像处理程序。作为系数决定部的一例的图像处理部，对左眼图像及右眼图像中的每个对象像素，决定具有扩大量系数(作为一例是线性函数的倾斜度)的输入输出函数(步骤410)。输入输出函数对于裂像的右眼图像及左眼图像中的图像处理的每个对象像素，按照根据输入视差而确定的扩大量系数来导出输出视差。

Description

图像处理装置、摄像装置及图像处理方法
技术领域
本发明涉及图像处理装置、摄像装置、图像处理方法及图像处理程序。
背景技术
作为数码相机，除使用了相位差检测方式、对比度检测方式的自动对焦外，具备使用者能够以手动进行调焦的所谓的手动对焦模式的数码相机也广为人知。
作为具有手动对焦模式的数码相机，已知有以能够一边对被摄体进行确认一边进行调焦的方式设置反射镜并采用了使用对目视的相位差进行显示的分裂式微棱镜屏的方法的数码相机。另外，也已知有采用了对目视的对比度进行确认的方法的数码相机。
然而，在近年来普及的省略了反射镜的数码相机中，由于没有反射镜，因此没有一边显示相位差一边对被摄体像进行确认的方法，不得不依赖于对比度检测方式。但是，在该情况下，不能进行LCD(liquid crystal display：液晶显示器)等的显示装置的分辨率以上的对比度的显示，不得不采用进行局部放大等而显示的方法。
因此，近年来，为了使操作者在手动对焦模式时使被摄体对焦的作业容易，而将裂像显示在即时预览图像(也称作实时取景图像)内。在此，所谓裂像是指例如分割成两份的分割图像(例如沿上下方向分割的各图像)，该分割图像对应于焦点的偏移而在视差产生方向(例如左右方向)上偏移，若是焦点已对准的状态则在视差产生方向上的偏移消失。操作者(例如摄影者)对手动聚焦环进行操作而进行对焦，以使裂像(例如沿上下方向分割的各图像)的偏移消失。
日本特开2009－147665号公报所记载的摄像装置，生成对第一被摄体像及第二被摄体像分别进行了光电转换的第一图像及第二图像，上述第一被摄体像及第二被摄体像由来自摄像光学系统的光束中的被光瞳分割部分割后的光束而形成。而且，使用这些第一及第二图像生成裂像，并且对第三被摄体像进行光电转换而生成第三图像，上述第三被摄体像由未被光瞳分割部分割的光束而形成。而且，将第三图像显示在显示部上，并且在第三图像内显示所生成的裂像，且将从第三图像提取出的颜色信息附加于裂像。通过这样将从第三图像提取出的颜色信息附加于裂像，能够使裂像的视觉确认性良好。
另外，由于相机的电子取景器、设置于相机的背面侧的显示器(例如LCD)显示的分辨率较低，因此难以一边观察裂像一边将焦点对准于正确的对焦位置(对焦状态时的摄影透镜的位置)。因此，提出了一种利用裂像的视差产生方向上的偏移量依赖于视差这一情况对视差进行强调从而对用户的调焦进行辅助的方法。根据该方法，能够使用户根据裂像更直观感地认识到焦点偏移了多少。
发明内容
发明所要解决的课题
但是，有时因为摄像元件的摄像能力、LCD的分辨率、搭载于相机的焦点透镜的种类等使裂像中的图像间产生偏移这一因子，而存在难以在视觉上识别图像间的偏移的情况。
本发明鉴于这样的实际情况而提出，其目的在于提供能够使与图像间的视差对应的偏移的视觉确认性良好的图像处理装置、摄像装置、图像处理方法及图像处理程序。
用于解决课题的手段
本发明的第一方式的图像处理装置包含：图像获取部，取得基于从第一及第二像素组输出的第一及第二图像信号的第一及第二图像，上述第一及第二像素组使通过了摄影透镜中的第一及第二区域的被摄体像进行光瞳分割而分别成像并输出上述第一及第二图像信号；视差计算部，算出表示由上述图像获取部取得的上述第一图像的各像素与由上述图像获取部取得的上述第二图像的对应的像素之间的偏移量的视差；扩大量决定部，对于由上述图像获取部取得的上述第一及第二图像中的图像处理的每个对象像素，根据由上述视差计算部算出的视差而决定该视差的扩大量；系数决定部，对于由上述图像获取部取得的上述第一及第二图像中的图像处理的每个对象像素，决定使由上述视差计算部算出的视差基于由上述扩大量决定部决定的扩大量而转换为扩大后的视差的视差转换系数；图像处理部，对上述对象像素基于由上述系数决定部决定的上述视差转换系数进行扩大视差的处理；生成部，基于从具有上述第一及第二像素组的摄像元件输出的图像信号生成第一显示用图像，并且基于上述第一及第二图像生成用于对焦确认的第二显示用图像；显示部，对图像进行显示；及显示控制部，对上述显示部进行如下控制：使该显示部显示上述第一显示用图像并在上述第一显示用图像的显示区域内显示上述第二显示用图像，上述第二显示用图像具有对上述对象像素进行了扩大视差的处理的图像。由此，与不具有本结构的情况相比，能够使与图像间的视差对应的偏移的视觉确认性良好。
本发明的第二方式也可以设为，在本发明的第一方式的基础上，将上述扩大量设为根据由上述视差计算部算出的视差的减少而增大的扩大量。由此，与不具有本结构的情况相比，能够使与图像间的视差对应的偏移的视觉确认性更加良好。
本发明的第三方式也可以设为，在本发明的第一方式或第二方式的基础上，将上述扩大量设为根据使显示于预定的显示区域的上述第一显示用图像与显示于该显示区域的上述第二显示用图像之间产生偏移的至少一个因子而确定的扩大量。由此，与不具有本结构的情况相比，能够使与图像间的视差对应的偏移的视觉确认性更加良好。
本发明的第四方式也可以设为，在本发明的第三方式的基础上，上述至少一个因子包含上述摄影透镜的光圈值这一因子，将上述扩大量设为上述光圈值越大则越增大的扩大量。由此，与不具有本结构的情况相比，能够抑制光圈值越大则越难以视觉确认与图像间的视差对应的偏移这一情形的产生。
本发明的第五方式也可以设为，在本发明的第四方式的基础上，上述扩大量决定部基于上述光圈值及开放光圈值来决定上述扩大量。由此，与不具有本结构的情况相比，能够容易地决定适当的扩大量。
本发明的第六方式也可以设为，在本发明的第四方式的基础上，将上述光圈值设为拍摄动态图像时使用的光圈值或者拍摄静止图像时使用的光圈值。由此，与不具有本结构的情况相比，能够容易地决定适当的扩大量。
本发明的第七方式也可以设为，在本发明的第三方式至第六方式任一方式的基础上，将上述至少一个因子设为对显示于上述显示区域的上述第一显示用图像与第二显示用图像之间的偏移量进行规定的多个因子。由此，与不具有本结构的情况相比，能够以简单的结构使与图像间的视差对应的偏移的视觉确认性良好。
本发明的第八方式也可以设为，在本发明的第一方式至第七方式任一方式的基础上，上述摄像元件具有第三像素组，该第三像素组使被摄体像部进行光瞳分割而成像并输出第三图像信号，上述生成部基于从上述第三像素组输出的上述第三图像信号生成上述第一显示用图像。由此，与不具有本结构的情况相比，能够提高第一显示用图像的画质。
本发明的第九方式也可以设为，在本发明的第一方式至第八方式任一方式的基础上，将上述对象像素设为与上述第二显示用图像中的特定的部分图像所包含的像素相当的像素。由此，与不具有本结构的情况相比，能够减轻图像处理的负荷。
本发明的第十方式为也可以设，在本发明的第九方式的基础上，还包含对上述显示部的显示画面内的一部分区域进行指定的指定部，将上述特定的部分图像设为与上述第二显示用图像中的由上述指定部指定的上述一部区域的位置对应的位置的图像。由此，与不具有本结构的情况相比，能够容易地指定图像处理的对象像素。
本发明的第十一方式也可以设为，在本发明的第十方式的基础上，将上述特定的部分图像设为裂像的一部分，上述裂像相当于上述第一显示用图像与上述第二显示用图像沿视差产生方向偏移了与视差对应的偏移量的图像。由此，与不具有本结构的情况相比，能够在裂像中在视觉上容易地识别与图像间的视差对应的偏移。
本发明的第十二方式也可以设为，在本发明的第十方式或第十一方式的基础上，将上述特定的部分图像设为被赋予色彩的图像，该色彩具有与上述裂像中的其他区域不同的颜色特性。由此，与不具有本结构的情况相比，能够在裂像内在视觉上容易地识别进行了基于视差转换系数的图像处理的图像与除此之外的图像。
本发明的第十三方式也可以设为，在本发明的第一方式至第十二方式任一方式的基础上，还包含判定部，上述判定部判定上述对象像素是否处于满足预定条件的特定的视差范围外，上述扩大量决定部对于每个上述对象像素在由上述判定部判定为处于上述特定的视差范围外的情况下决定上述扩大量。由此，与不具有本结构的情况相比，能够抑制对不需要进行图像处理的像素决定扩大量。
本发明的第十四方式也可以设为，在本发明的第一方式至第十三方式任一方式的基础上，将上述视差转换系数设为根据上述扩大量决定部而确定的滤波系数，上述图像处理部通过由使用上述滤波系数的滤光片对上述对象像素进行滤波处理来进行扩大视差的处理。由此，与不具有本结构的情况相比，能够以简单的结构对对象像素进行基于视差转换系数的图像处理。
本发明的第十五方式的摄像装置，包含：本发明的第一方式至第十四方式中任一方式的图像处理装置；及存储部，存储由上述图像处理部进行扩大视差的处理而得到的图像。由此，与不具有本结构的情况相比，能够使与图像间的视差对应的偏移的视觉确认性良好。
本发明的第十六方式也可以设为，在本发明的第十五方式的基础上，还包含：电子取景器，显示由上述图像处理部进行了扩大视差的处理的图像；及检测部，对上述电子取景器的使用进行检测，在由上述检测部检测出上述电子取景器的使用的情况下，上述扩大量决定部决定将预先确定的使用时扩大量作为上述电子取景器使用时所采用的上述扩大量，在由上述检测部未检测出上述电子取景器的使用的情况下，上述扩大量决定部决定将预先确定的不使用时扩大量作为上述电子取景器不使用时所采用的上述扩大量。由此，与不具有本结构的情况相比，能够在电子取景器的使用时和不使用时决定适当的扩大量。
本发明的第十七方式也可以设为，在本发明的第十六方式的基础上，在由上述检测部未检测出上述电子取景器的使用，并且视差产生方向的像素数与上述电子取景器的视差产生方向的像素数不同的图像显示部上显示由上述图像处理部进行了扩大视差的处理的图像的情况下，将上述不使用时扩大量设为显示部使用时扩大量，该显示部使用时扩大量作为上述图像显示部使用时所采用的上述扩大量而预先确定。由此，与不具有本结构的情况相比，在视差产生方向的像素数与电子取景器不同的图像显示部上显示已完成图像处理的图像的情况下，能够决定适当的扩大量。
本发明的第十八方式也可以设为，在本发明的第十七方式的基础上，上述图像显示部的视差产生方向的像素数比上述电子取景器的视差产生方向的像素数多，在由上述检测部检测出上述电子取景器的使用的情况下，将上述使用时扩大量设为比上述显示部使用时扩大量大的值。由此，与不具有本结构的情况相比，能够在电子取景器上显示已完成图像处理的图像的情况下，使裂像中的与图像间的视差对应的偏移的视觉确认性良好。
本发明的第十九方式的图像处理方法包含：图像获取工序，取得基于从第一像素组及第二像素组输出的第一图像信号及第二图像信号的第一图像及第二图像，上述第一像素组及第二像素组使通过了摄影透镜中的第一区域及第二区域的被摄体像进行光瞳分割而分别成像并输出上述第一图像信号及第二图像信号；视差算出工序，算出表示由上述图像获取工序取得的上述第一图像的各像素与由上述图像获取工序取得的上述第二图像的对应的像素之间的偏移量的视差；扩大量决定工序，对于由上述图像获取工序取得的上述第一图像及第二图像中的图像处理的每个对象像素，根据由上述视差算出工序算出的视差而决定该视差的扩大量；系数决定工序，对于由上述图像获取工序取得的上述第一图像及第二图像中的图像处理的每个对象像素，决定使由上述视差算出工序算出的视差基于由上述扩大量决定工序决定的扩大量而转换为扩大后的视差的视差转换系数；图像处理工序，对上述对象像素基于由上述系数决定工序决定的上述视差转换系数进行扩大视差的处理；生成工序，基于从具有上述第一像素组及第二像素组的摄像元件输出的图像信号生成第一显示用图像，并且基于上述第一图像及第二图像生成用于对焦确认的第二显示用图像；及显示控制工序，对显示图像的显示部进行如下控制：使该显示部显示上述第一显示用图像并且在上述第一显示用图像的显示区域内显示上述第二显示用图像，上述第二显示用图像具有对上述对象像素进行了扩大视差的处理的图像。由此，与不具有本结构的情况相比，能够使与图像间的视差对应的偏移的视觉确认性良好。
将本发明的第二十方式的图像处理程序设为用于使计算机作为本发明的第一方式至第十六方式中任一方式的图像处理装置中的上述图像获取部、上述视差计算部、上述扩大量决定部、上述系数决定部、上述图像处理部、上述生成部及上述显示控制部而发挥功能。由此，与不具有本结构的情况相比，能够使与图像间的视差对应的偏移的视觉确认性良好。
发明效果
根据本发明，可以得到能够使与图像间的视差对应的偏移的视觉确认性良好的效果。
附图说明
图1是表示第一实施方式的作为镜头互换式相机的摄像装置的外观的一例的立体图。
图2是表示图1所示的摄像装置的背面侧的背面图。
图3是表示第一实施方式的摄像装置的电气系统的结构的一例的框图。
图4是表示设置在第一实施方式的摄像装置所包含的摄像元件上的滤色器的配置的一例的概略配置图。
图5是用于说明根据图4所示的滤色器所包含的2×2像素的G像素的像素值判定相关方向的方法的图。是用于对基本排列图案的概念进行说明的图。
图6是用于对图4所示的滤色器所包含的基本排列图案的概念进行说明的图。
图7是表示设于第一实施方式的摄像装置所包含的摄像元件中的遮光部件的配置的一例的概略配置图。
图8是表示第一实施方式的摄像装置的摄像元件所包含的相位差像素(第一像素及第二像素)的结构的一例的概略结构图。
图9是表示第一实施方式摄像装置的主要部分功能的一例的框图。
图10是表示第一实施方式的比较例，即显示在显示装置上的即时预览图像中的通常图像及裂像的一例的画面形态图。
图11是用于说明第一实施方式的滤波处理的图。
图12是在第一实施方式的滤波处理中所使用的滤光片，是表示与图11所示的滤光片不同的滤光片的一例的示意图。
图13是表示第一实施方式的输入输出函数的一例的曲线图。
图14是表示第一实施方式的摄像装置的摄像元件所包含的相位差像素的特性值与摄影透镜的F值的对应关系的一例的曲线图。
图15是表示使左眼图像与右眼图像之间的偏移量与视差转换系数建立了对应的查询表的一例的示意图。
图16A是示意性表示滤波系数的曲线图。
图16B是示意性表示边缘强调的程度的曲线图。
图17是表示第一实施方式的区域指定处理的流程的一例的流程图。
图18是表示在第一实施方式的摄像装置所包含的显示装置上显示的裂像的显示区域中的第一部分显示区域及第二部分显示区域的一例的示意图。
图19是表示第一实施方式的图像输出处理的流程的一例的流程图。
图20是表示一边进行视差计算一边进行滤波处理的形态的一例的示意图。
图21是表示第一实施方式的函数决定处理的流程的一例的流程图。
图22是表示第一实施方式的校正前后的输入输出函数的一例的曲线图。
图23是表示第一实施方式的由输入输出函数导出的输出视差与相位偏移量的关系的一例的曲线图。
图24A是表示第一实施方式的左眼图像用的二维滤光片的一例的示意图。
图24B是表示第一实施方式的右眼图像用的二维滤光片的一例的示意图。
图25是第一实施方式的进行了图像输出处理的情况下的裂像的显示例，是表示扩大了与第一部分显示区域对应的左眼图像与右眼图像之间的偏移量的情况下的裂像的显示例的示意图。
图26是第一实施方式的进行了图像输出处理的情况下的裂像的显示例，是表示扩大了与裂像的整个显示区域对应的左眼图像与右眼图像之间的偏移量的情况下的裂像的显示例的示意图。
图27是表示第一实施方式的对进行了图像输出处理的情况下的裂像赋予色彩的情况下的裂像的显示例的示意图。
图28是表示第一实施方式的对进行了图像输出处理的情况下的裂像中的偏移量被强调了的左眼图像及右眼图像赋予具有与其他的左眼图像及右眼图像不同的颜色特性的色彩的情况下的裂像的显示例的示意图。
图29A是表示与图18所示的第一部分显示区域相比，缩短了上下方向的长度的第一部分显示区域的一例的示意图。
图29B是表示做成圆形的区域的第一部分显示区域的一例的示意图。
图29C是表示做成正方形的区域的第一部分显示区域的一例的示意图。
图30是表示第二实施方式的智能手机的外观的一例的立体图。
图31是表示第二实施方式的智能手机的电气系统的主要部分结构的一例的框图。
具体实施方式
以下，根据附图对本发明的摄像装置的实施方式的一例进行说明。
[第一实施方式]
图1是表示第一实施方式的摄像装置100的外观的一例的立体图，图2是图1所示的摄像装置100的背面图。
摄像装置100是镜头互换式相机，包含相机主体200、及可互换地安装在相机主体200上的互换镜头300(摄影透镜及聚焦环302(手动操作部))，并且使省略了反射镜的数码相机。另外，在相机主体200上设置混合式取景器(注册商标)220。在此所说的混合式取景器220是指例如可选择性地使用光学取景器(以下，称作“OVF”)和电子取景器(以下，称作“EVF”)的取景器。
通过相机主体200所具备的固定件256和与固定件256对应的互换镜头300侧的固定件346(参照图3)结合，而能够互换地将相机主体200与互换镜头300安装。
在相机主体200的前表面设有混合式取景器220所包含的OVF的取景器窗241。另外，在相机主体200的前表面设有取景器切换杆(取景器切换部)214。当使取景器切换杆214沿箭头符号SW方向转动，则选择性地显示能够通过OVF目视确认的光学图像与能够通过EVF目视确认的电子图像(即时预览图像)(后述)。另外，OVF的光轴L2是与互换镜头300的光轴L1不同的光轴。另外，在相机主体200的上表面主要设有释放按钮211及用于设定摄影模式、重放模式等的拔盘212。
在相机主体200的背面设有：OVF的取景器目镜部242、显示部213、十字键222、菜单/确定键224、及返回/显示按钮225。
十字键222作为输出菜单的选择、变焦、画面进给等各种的指令信号的多功能的键而发挥作用。菜单/确定键224是兼具如下功能的按钮：作为用于发出在显示部213的画面上显示菜单的指令的菜单按钮的功能及作为发出选择内容的确定和执行等指令的确定按钮的功能。返回/显示按钮225在删除选择项目等的显示内容、取消指定内容，或返回前一个的操作状态时等使用。
显示部213通过例如LCD实现，并用于显示作为在摄影模式时以连续帧进行摄像而得到的连续帧图像的一例的即时预览图像(实时取景图像)。另外，显示部213也用于显示在给予了拍摄静止图像的指示的情况下以单帧进行拍摄而得到的单帧图像的一例的静止图像。此外，显示部213也用于重放模式时的重放图像的显示、菜单画面等的显示。
图3是表示第一实施方式的摄像装置100的电气系统的结构(内部结构)的一例的框图。
摄像装置100是对拍摄所得到的静止图像、动态图像进行记录的数码相机，相机整体的动作由CPU(central processing unit：中央处理装置)12统一控制。摄像装置100除了CPU12外还包含：作为指定部的一例的操作部14、接口部24、存储器26、编码器34、显示控制部36及作为本发明的检测部的一例的目镜检测部37。另外，摄像装置100包含图像处理部28，图像处理部28是本发明的图像获取部、视差计算部、扩大量决定部、系数决定部、图像处理部及判定部的一例。CPU12、操作部14、接口部24、存储器26、图像处理部28、编码器34、显示控制部36、目镜检测部37及外部接口(I/F)39经由总线40而相互连接。
操作部14包含：释放按钮211、对摄影模式等进行选择的拔盘(对焦模式切换部)212、显示部213、取景器切换杆214、十字键222、菜单/确定键224及返回/显示按钮225。另外，操作部14还包含接收各种信息的触摸面板。该触摸面板例如与显示部213的显示画面重叠。将从操作部14输出的各种操作信号输入到CPU12。
当摄影模式被设定时，表示被摄体的图像光经由包含能够通过手动操作而移动的聚焦透镜在内的摄影透镜16及快门18而在彩色的摄像元件(作为一例是CMOS传感器)20的受光面上成像。蓄积于摄像元件20的信号电荷通过从装置控制部22输入的读出信号而作为对应于信号电荷(电压)的数字信号被依次读出。摄像元件20具有所谓的电子快门功能，通过使其发挥电子快门功能，从而通过读出信号的定时对各光传感器的电荷累积时间(快门速度)进行控制。另外，本第一实施方式的摄像元件20是CMOS(Complementary Metal OxideSemiconductor：互补性金属氧化物半导体)型的图像传感器，但不限定于此，也可以是CCD(Charge-Coupled Device：电荷耦合元件)图像传感器。
图4示意性地表示了设置于摄像元件20的滤色器21的排列的一例。另外，在图4所示的例子中，作为像素数的一例而采用(4896×3264)像素，作为纵横比而采用3：2，但是像素数和纵横比不限定于此。作为一例，如图4所示，滤色器21包含：与最有助于得到亮度信号的G(绿)所对应的第一滤光片G、与R(红)对应的第二滤光片R及与B(蓝)对应的第三滤光片B。第一滤光片G(以下，称作G滤光片)、第二滤光片R(以下，称作R滤光片)、及第三滤光片B(以下，称作B滤光片)的排列图案分类为第一排列图案A与第二排列图案B。
在第一排列图案A中，G滤光片配置在3×3像素的正方排列的四角及中央的像素上。在第一排列图案A中，R滤光片配置在正方排列的水平方向的中央的垂直行上。在第一排列图案A中，B滤光片配置在正方排列的垂直方向的中央的水平行上。第二排列图案B是与第一基本排列图案A的滤光片G的配置相同并且将滤光片R的配置与滤光片B的配置进行了对换的图案。滤色器21包含由与6×6像素对应的正方排列图案构成的基本排列图案C。基本排列图案C是将第一排列图案A与第二排列图案B以点对称进行配置的6×6像素的图案，基本排列图案C在水平方向及垂直方向上重复配置。即，在滤色器21中，R、G、B各色的滤光片(R滤光片、G滤光片及B滤光片)具有预定的周期性地排列。因此，在对从彩色摄像元件读出的R、G、B信号进行去马赛克算法(插补)处理等时，能够按照重复图案进行处理。
另外，在以基本排列图案C为单位进行间拔处理而缩小图像的情况下，能够使间拔处理后的缩小图像的滤色器排列与间拔处理前的滤色器排列相同，能够使用共通的处理电路。
滤色器21将最有助于得到亮度信号的颜色(在本第一实施方式中，是G色)所对应的G滤光片配置在滤色器排列的水平、垂直、及倾斜方向的各行内。因此，能够不受构成高频的方向的影响地提高高频区域中的去马赛克算法处理的再现精度。
滤色器21将上述G色以外的两种颜色以上的其他颜色(在本第一实施方式中，是R、B色)所对应的R滤光片及B滤光片配置在滤色器排列的水平方向及垂直方向的各行内。因此，能够抑制彩色莫尔条纹(伪色)的产生，由此，能够不将用于抑制伪色的发生的光学低通滤光片配置在从光学系统的入射面至摄像面的光路上。另外，即使在适用了光学低通滤光片的情况下，也能够适用用于防止产生伪色的截止高频数成分的作用较弱的光学低通滤光片，能够不有损分辨率。
基本排列图案C也能够理解为将由虚线的框围成的3×3像素的第一排列图案A与由点划线的框围成的3×3像素的第二排列图案B沿水平、垂直方向交替地排列的排列。
在第一排列图案A及第二排列图案B中，各自作为亮度类像素的G滤光片配置于四角和中央，配置于两对角线上。另外，第一排列图案A中，夹着中央的G滤光片，B滤光片沿水平方向排列，R滤光片沿着垂直方向排列。另一方面，第二排列图案B中，夹着中央的G滤光片，R滤光片沿水平方向排列，B滤光片沿垂直方向排列。即，第一排列图案A与第二排列图案B相比，R滤光片与B滤光片的位置关系反过来，但其他的配置相同。
另外，关于第一排列图案A与第二排列图案B的四角的G滤光片，作为一例如图5所示的那样将第一排列图案A与第二排列图案B沿水平、垂直方向交替地配置，由此形成与2×2像素对应的正方排列的G滤光片。作为一例，对于由如图5所示的那样取出的G滤光片构成的2×2像素，算出水平方向的G像素的像素值的差的绝对值、垂直方向的G像素的像素值的差的绝对值、和倾斜方向(右上倾斜、左上倾斜)的G像素的像素值的差的绝对值。由此，能够判断为水平方向、垂直方和倾斜方向中差的绝对值的较小的方向上存在相关性。即，能够使用最小像素间隔的G像素的信息对水平方向、垂直方向及倾斜方向中的相关性高的方向进行判别。该判别结果能够用于根据周围的像素进行插补的处理(去马赛克算法处理)。
滤色器21的基本排列图案C相对于其基本排列图案C的中心(4个G滤光片的中心)点对称地配置。另外，基本排列图案C内的第一排列图案A及第二排列图案B也分别相对于中心的G滤光片点对称地配置，从而能够缩小后段的处理电路的电路规模，实现简略化。
作为一例，如图6所示，在基本排列图案C中，从水平方向的第一至第六行中的第一及第三行的滤色器排列是GRGGBG。第二行的滤色器排列是BGBRGR。第四及第六行的滤色器排列是GBGGRG。第五行的滤色器排列是RGRBGB。在图6所示的例子中，示出了基本排列图案C、C’、C”。基本排列图案C’表示将基本排列图案C分别向水平方向及垂直方向各移了1像素的图案，基本排列图案C”表示将基本排列图案C分别向水平方向及垂直方向各移了2像素的图案。如此，在滤色器21中，即使将基本排列图案C’、C”沿水平方向及垂直方向重复配置，也构成相同的滤色器排列。另外，在本第一实施方式中，出于方便，将基本排列图案C称作基本排列图案。
摄像装置100具有相位差AF功能。摄像元件20包含在使相位差AF功能发挥作用的情况下使用的多个用于相位差检测的像素。多个用于相位差检测的像素以预先确定的图案配置。在用于相位差检测的像素上，作为一例，如图7所示，设有：对水平方向的左半部分的像素进行遮光的遮光部件20A及对水平方向的右半部分的像素进行遮光的遮光部件20B。另外，在本第一实施方式中，出于说明的方便，将设有遮光部件20A的相位差检测用的像素称作“第一像素”，将设有遮光部件20B的相位差像素称作“第二像素”。另外，在不需对第一像素及第二像素进行区别说明的情况下称作“相位差像素”。
图8示出了配置在摄像元件20上的第一像素及第二像素的一例。图8所示的第一像素具有遮光部件20A，第二像素具有遮光部件20B。遮光部件20A设置于光电二极管PD的前表面侧(微透镜L侧)，对受光面的左半部分进行遮光。另一方面，遮光部件20B设置于光电二极管PD的前表面侧，对受光面的右半部分进行遮光。
微透镜L及遮光部件20A、20B作为光瞳分割部而发挥作用，第一像素仅对通过摄影透镜16的出射光瞳的光束的光轴的左侧进行受光，第二像素仅对通过摄影透镜16的出射光瞳的光束的光轴的右侧进行受光。如此，通过出射光瞳的光束由作为光瞳分割部的微透镜L及遮光部件20A、20B左右分割，并分别入射到第一像素及第二像素。
另外，与通过摄影透镜16的出射光瞳的光束中的左半部分的光束对应的被摄体像和与右半部分的光束对应的被摄体像中焦点相对合(处于对焦状态)的部分，在摄像元件20上的相同的位置成像。与此相对，焦前或焦后的部分，分别入射到摄像元件20上的不同的位置(相位偏移)。由此，与左半部分的光束对应的被摄体像和与右半部分的光束对应的被摄体像能够作为视差不同的视差图像(左眼图像、右眼图像)而取得。
摄像装置100通过起动相位差AF功能，而基于第一像素的像素值与第二像素的像素值来检测相位的偏移量。而且，基于检测出的相位的偏移量对摄影透镜的焦点位置进行调整。另外，以下，在不需对遮光部件20A、20B进行区别说明的情况下不附加附图标记而称作“遮光部件”。
在本第一实施方式中，遮光部件作为一例如图7所示，设置于基本排列图案C所包含的两组的第一排列图案A及第二排列图案B的左上角部的G滤光片的像素上。即，在图7所示的例子中，设“n”为0以上的整数时，在垂直方向上在第(6n+1)行上配置遮光部件20A，在第(6n+4)行上配置遮光部件20B。另外，在图7所示的例子中，在全部的基本排列图案C中设有遮光部件，但是不限定于此，也可以仅在摄像元件20的一部分的预定的区域内的基本排列图案C中设置。
如此，在滤色器21中对全部的第一排列图案A及第二排列图案B的左上角部的G滤光片的像素设置遮光部件，在垂直方向及水平方向上都规则性地每3像素配置1像素的相位差像素。因此，在相位差像素的周围比较多地配置通常像素，所以能够提高根据通常像素的像素值对相位差像素的像素值进行插补的情况下的插补精度。另外，上述所谓的“通常像素”是指例如相位差像素以外的像素(例如不具有遮光部件20A、20B的像素)。
摄像元件20被分类为：第一像素组、第二像素组及第三像素组。所谓第一像素组是指例如多个第一像素。所谓第二像素组是指例如多个第二像素。所谓第三像素组是指例如多个通常像素。另外，以下，将从第一像素组输出的RAW图像称作“第一图像”，将从第二像素组输出的RAW图像称作“第二图像”，将从第三像素组输出的RAW图像称作“第三图像”。
返回图3，摄像元件20从第一像素组输出第一图像(表示各第一像素的像素值的数字信号)，从第二像素组输出第二图像(表示各第二像素的像素值的数字信号)。另外，摄像元件20从第三像素组输出第三图像(表示各通常像素的像素值的数字信号)。另外，从第三像素组输出的第三图像是有彩色的图像，例如是与通常像素的排列相同的颜色排列的彩色图像。从摄像元件20输出的第一图像、第二图像及第三图像经由接口部24而暂时存储于存储器26中的易失性的存储区域。
图像处理部28具有通常处理部30。通常处理部30通过对与第三像素组对应的R、G、B信号进行处理而生成作为第一显示用图像的一例的有彩色的通常图像。另外，图像处理部28具有裂像处理部32。裂像处理部32通过对与第一像素组及第二像素组对应的G信号进行处理而生成作为第二显示用图像的一例的无彩色的裂像。另外，本第一实施方式的图像处理部28通过将图像处理的多个功能的电路汇总为一个的集成电路即ASIC(ApplicationSpecific Integrated Circuit：专用集成电路)来实现。但是，硬件结构不限定于此，例如也可以是包含可编程逻辑装置、CPU、ROM及RAM的计算机等其他的硬件结构。
编码器34将输入的信号转换为其他形式的信号并输出。混合式取景器220具有显示电子图像的LCD247。LCD247中的预定方向的像素数(作为一例是视差产生方向的水平方向的像素数)比显示部213中的同方向的像素数少。显示控制部36与显示部213及LCD247连接，通过选择性地控制LCD247及显示部213而使图像显示在LCD247或显示部213上。另外，以下，在不需对显示部213及LCD247进行区别说明的情况下称作“显示装置”。
另外，本第一实施方式的摄像装置100构成为能够通过拔盘212(对焦模式切换部)对手动对焦模式与自动对焦模式进行切换。当选择手动对焦模式时，显示控制部36使显示装置显示裂像所合成的即时预览图像。另一方面，当通过拔盘212选择了自动对焦模式时，CPU12作为相位差检测部及自动调焦部而动作。相位差检测部对从第一像素组输出的第一图像与从第二像素组输出的第二图像的相位差进行检测。自动调焦部以基于检测出的相位差以使摄影透镜16的散焦量为零的方式由装置控制部22经由固定件256、346对透镜驱动部(图示省略)进行控制，而使摄影透镜16移动到对焦位置。另外，上述的“散焦量”例如是指第一图像及第二图像的相位偏移量。
目镜检测部37对人(例如摄影者)观看了取景器目镜部242进行检测，并将检测结果输出到CPU12。因此，能够CPU12基于目镜检测部37的检测结果来把握取景器目镜部242是否被使用。
外部I/F39与LAN(Local Area Network：局域网)、互联网等的通信网连接，经由通信网，进行外部装置(例如打印机)与CPU12之间的各种信息的发送接收。因此，摄像装置100在作为外部装置而连接了打印机的情况下，能够将进行摄影而得到的静止图像输出到打印机并进行印刷。另外，摄像装置100在作为外部装置而连接了显示器的情况下，能够将进行摄影而得到的静止图像、即时预览图像输出到显示器而使其显示。
图9是表示第一实施方式的摄像装置100的主要部分功能的一例的功能框图。另外，与图3所示的框图共通的部分标以相同的附图标记。
通常处理部30及裂像处理部32分别具有：WB增益部、伽玛校正部及去马赛克算法处理部(省略图示)，通过各处理部依次对暂时存储于存储器26的原始的数字信号(RAW图像)进行信号处理。即，WB增益部通过对R、G、B信号的增益进行调整而执行白平衡(WB)。伽玛校正部对由WB增益部执行了WB后的各R、G、B信号进行伽玛校正。去马赛克算法处理部进行与摄像元件20的滤色器的排列(在此作为一例是拜尔排列)对应的颜色插补处理，而生成进行了去马赛克算法的R、G、B信号。另外，由摄像元件20每取得1画面量的RAW图像，通常处理部30及裂像处理部32就对该RAW图像并行地进行图像处理。
通常处理部30从接口部24输入R、G、B的RAW图像，并通过第一像素组及第二像素组中的同色的周边像素(例如G像素)进行插补而生成第三像素组的R、G、B像素。由此，能够基于从第三像素组输出的第三图像生成记录用的通常图像。
另外，通常处理部30将所生成的记录用的通常图像的图像数据输出到编码器34。由通常处理部30处理后的R、G、B信号通过编码器34而转换(编码)为记录用的信号，并记录于记录部40(参照图9)。另外，基于由通常处理部30处理后的第三图像的图像即显示用的通常图像被输出到显示控制部36。另外，以下，为了说明的方便，在不需对上述的“记录用的通常图像”及“显示用的通常图像”进行区别说明的情况下，省略“记录用的”的词句及“显示用的”的词句而称作“通常图像”。
摄像元件20能够改变第一像素组及第二像素组各自的曝光条件(作为一例是电子快门的快门速度)，由此能够同时获取曝光条件不同的图像。因此，图像处理部28能够基于曝光条件的不同的图像生成广动态范围的图像。另外，能够以相同的曝光条件同时获取多个图像，并能够通过对这些图像相加而生成噪声少的高灵敏度的图像，或者能够生成高分辨率的图像。
另一方面，裂像处理部32从暂时存储于存储器26的RAW图像提取第一像素组及第二像素组的G信号，并且基于第一像素组及第二像素组的G信号生成无彩色的裂像。从RAW图像提取的第一像素组及第二像素组分别是如上述的那样由G滤光片的像素构成的像素组。因此，裂像处理部32能够基于第一像素组及第二像素组的G信号生成无彩色的左视差图像及无彩色的右视差图像。另外，以下，为了说明的方便，将上述的“无彩色的左视差图像”称作“左眼图像”，将上述的“无彩色的右视差图像”称作“右眼图像”。
裂像处理部32通过对基于从第一像素组输出的第一图像的左眼图像与基于从第二像素组输出的第二图像的右眼图像进行合成而生成裂像。将所生成的裂像的图像数据输出到显示控制部36。
显示控制部36基于从通常处理部30输入的与第三像素组对应的记录用的图像数据和从裂像处理部32输入的与第一、第二像素组对应的裂像的图像数据，生成显示用的图像数据。例如，显示控制部36在从通常处理部30输入的第三像素组所对应的记录用的图像数据所表示的通常图像的显示区域内，对从裂像处理部32输入的图像数据所表示的裂像进行合成。并且，将合成而得到的图像数据输出到显示部213。
在此，由裂像处理部32生成的裂像是对左眼图像的一部分与右眼图像的一部分进行合成所得到的分割成多份的图像。作为在此所说的“分割成多份的图像”，例如能够列举将左眼图像中的上半部分的图像的一部分与右眼图像中的下半部分的图像的一部分进行合成而得到的图像，且是根据对焦状态分割成两份的上下图像间向预定方向(例如视差产生方向)偏移了的图像。此外，作为一例可以列举图10所示的裂像。图10所示的裂像是对与显示部213的预定区域的位置对应的位置的左眼图像的一部分与右眼图像的一部分进行合成的图像，且是在上下方向上被分割成四份的图像间根据对焦状态而向预定方向偏移了的图像。
将在通常图像上合成裂像的方法不限于替代通常图像的一部分的图像而将裂像嵌入的合成方法。也可以是例如，在通常图像上重叠裂像的合成方法。另外，也可以是在重叠裂像时对重叠有裂像的通常图像的一部分的图像与裂像的透过率进行适当调整而重叠的合成方法。由此，将表示连续拍摄而得到的被摄体像的即时预览图像显示在显示部213的画面上，而所显示的即时预览图像是在通常图像的显示区域内显示有裂像的图像。
混合式取景器220包含：OVF240及EVF248。OVF240是具有物镜244和目镜246的反伽利略式取景器，EVF248具有：LCD247、棱镜245和目镜246。
另外，在物镜244的前方配置有液晶快门243，液晶快门243以在使用EVF248时光学图像不入射到物镜244的方式进行遮光。
棱镜245使LCD247上显示的电子图像或各种信息反射并导至目镜246，并且将光学图像与在LCD247上显示的信息(电子图像、各种的信息)进行合成。
在此，若使取景器切换杆214向图1所示的箭头符号SW方向转动，则每次转动时使能够通过OVF240对光学图像进行目视确认的OVF模式和能够通过EVF248对电子图像进行目视确认的EVF模式交替地切换。
显示控制部36在OVF模式的情况下进行控制使液晶快门243为非遮光状态，使得能够从目镜部对光学图像进行目视确认。另外，在LCD247仅显示裂像。由此，能够显示在光学图像的一部分重叠了裂像的取景器像。
另一方面，显示控制部36在EVF模式的情况下进行控制使液晶快门243为遮光状态，使得能够从目镜部仅对LCD247上显示的电子图像进行目视确认。另外，对LCD247输入与输出到显示部213的裂像被合成后的图像数据同等的图像数据，由此，能够与显示部213同样地在通常图像的一部分上显示裂像被合成后的电子图像。
但是，当作为一例如图10所示的那样裂像与通常图像一起显示在显示部213上，则有时由于左眼图像与右眼图像的视差，难以目视确认基于裂像中的左眼图像的图像与基于右眼图像的图像的偏移。
因此，在本第一实施方式的摄像装置100中，图像处理部28进行校正视差的处理，并且进行强调裂像的边缘的处理。在此所说的“校正视差的处理”，是指例如由图像处理部28对依赖于赋予裂像的相位错位量的视差(通过裂像而表现的视差)进行校正的处理。以下，出于说明的方便，将上述的“校正视差的处理”及“强调边缘的处理”统称为“视差校正处理”。
图像处理部28在进行视差校正处理的情况下，首先，对左眼图像及右眼图像的对应点进行检测，而对视差进行计测。对左眼图像及右眼图像的对应点进行检测，使用相关法等即可。例如对二维坐标系中，对在x方向上是15[pixel]、在y方向上是1[pixel]那样的内核进行扫描，通过搜索像素值之差的平方和最小的部位，能够对左眼图像及右眼图像的对应点进行检测。视差的计测结果作为一例如图11所示的那样能够以越远则越明亮、越近则越暗那样的单色图像(距离图像)来表达。也能够进行按像素单位的视差的测定。关于该详细方法，记载于新井等人发表的“图像的区块匹配中的相关函数和子像素推定方式的最优化(信息处理学会研究报告)，2004卷，40(CVIM-144)号，第33-40页)”等。
另外，通常，视差计测中，存在“视差较大的情况下容易误检测”的问题及“若是(差的平方和小的)平坦部分彼此的对应点，则对应点的检测较为困难’的问题点。但是，在单一的摄影透镜16+用于相位差检测的摄像元件20单眼的摄像装置100中，本来视差就极小，因此前者的误检测通常较少。另外，关于后者的误检测，由于原来是平坦部分，因此可以说即使对应点检测错误而相位偏移，最终对画质的影响也较少。
图像处理部28在进行视差校正处理的情况下，接下来，对于每个局部，设定施加于左眼图像及右眼图像的相位错位滤光片(以下，简单称作“滤光片”)进行设定。例如，左眼图像内的某部位，在使相位错位了1像素的情况下，作为一例，如图11所示的那样设定具有将滤波的中心有意地错位1[pixel]的滤波系数(图像处理系数的一例)的滤光片F(FL、FR)。另外，作为硬件结构的滤光片F一个即可，并在左眼图像的卷积运算(以下，称作“滤波处理”)时或右眼图像的滤波处理时设定各自的图像用的滤波系数。
滤光片包含高通滤波而成为直流成分的滤光片。因此，能够同时进行边缘强调和相位错位。另外，作为一例，图11所示的滤光片FL、FR分别具有1×7像素的内核尺寸(运算对象像素范围)，各滤光片FL、FR的滤波系数为，其滤波系数的中心从内核中心向相互相反方向移位。在图11所示的例子中，滤光片FL的滤波系数的中心向左方移位1像素[pixel]量，滤光片FR向右方移位1像素[pixel]量，因此作为整体能够以2像素[pixel]量扩大(强调)视差。
另外，图11所示的例子中例示出了1×7像素的内核尺寸，但不限定于此，也可以是1×5像素的内核尺寸。在该情况下，例如，如图12所示，各滤光片FL、FR的滤波系数为，其滤波系数的中心从内核中心向相互相反方向移位。在图12所示的例子中，滤光片FL的滤波系数的中心，向左方移位1.25像素[pixel]量，滤光片FR向右方移位1.25像素[pixel]量，因此作为整体能够以2.5像素[pixel]量扩大(强调)视差。
另外，在本第一实施方式的摄像装置100中，作为裂像用的视差，图像处理部28作为一例采用图13所示的输入输出函数G决定最终输出的视差，并基于所决定的视差决定滤光片FL、FR的滤波系数。
图13示出了本第一实施方式的输入输出函数G的一例。另外，在图13中，横轴(作为一例是x轴)是基于输入输出函数G转换前的视差、表示显示装置的显示画面上的视差(以下称作“输入视差”)。另外，图13中，纵轴(作为一例是y轴)是基于输入输出函数G转换后的视差、表示显示装置的显示画面上的视差(以下称作“输出视差”)。作为一例如图13所示，输入输出函数G是具有作为倾斜度的扩大量系数k的“y＝kx”的线性函数。在本第一实施方式的摄像装置100中采用超过1的值作为k。在此，通过采用超过1的值作为k，“y＝kx”的线性函数意味着相对于输入视差扩大输出视差，并且由于是通过原点的线性函数，因此还意味着随着靠近对焦点(对焦位置)而输出视差减少。扩大量系数k根据使显示在显示装置上的裂像中的左眼图像与右眼图像产生偏移的多个因子而确定。另外，在此，例示了扩大量系数k，但不限定于此，也可以是根据输入视差地唯一确定的扩大量本身。在该情况下，可以列举使用表格导出根据输入视差而唯一确定的扩大量的形态例。
在此所说的“多个因子”，能够列举例如：作为摄影透镜16的光圈值的一例的F值、摄影透镜16的实际焦距、相位差像素的特性值、到摄影透镜16的对焦位置的进深(沿光轴方向的进深)及到被摄体位置的进深。另外，作为上述的“多个因子”的一个因子，例如也能够列举快门速度。另外，作为上述的“多个因子”的一个因子，例如也能够列举由中性滤光片降低的光量或中性滤光片的透光量。另外，作为上述的“多个因子”的一因子，例如也能够列举(摄像元件20的对顶角)/43.267的常数因子。另外，作为上述的“多个因子”的一因子，例如也能够列举基于摄像元件20的视差产生方向的像素数及显示装置的显示画面上的视差产生方向的像素数的常数因子。另外，作为上述的“多个因子”的一因子，例如也能够列举基于摄像元件20的视差产生方向的像素数、显示装置的显示画面上的视差产生方向的像素数及摄像元件20所包含的像素间的间距尺寸的常数因子。
另外，在本第一实施方式的摄像装置100中，作为上述的“多个因子”，采用对在显示装置上显示的第一图像与第二图像之间的偏移量进行规定的多个因子。作为这里所说的“在显示装置上显示的第一图像与第二图像之间的偏移量”，例如能够列举在显示装置上显示的裂像中的左眼图像与右眼图像之间的偏移量，也可以是没有在显示装置上显示的第一图像与第二图像之间的偏移量。
另外，在本第一实施方式的摄像装置100中，基于在显示装置上显示的裂像中的左眼图像与右眼图像的图像间的偏移量由依赖于作为摄影透镜16的光圈值的一例的F值的函数来表达。另外，基于左眼图像与右眼图像的图像间的偏移量也可由依赖于摄影透镜16的实际焦距、相位差像素的特性值、到摄影透镜16的对焦位置进深的函数来表达。另外，基于左眼图像与右眼图像的图像间的偏移量也可由依赖于到被摄体位置的进深、摄像元件20的对顶角的函数来表达。另外，基于左眼图像与右眼图像的图像间的偏移量也可由依赖于摄像元件20所包含的像素间的间距、摄像元件20的视差产生方向的像素数[pixel]、显示装置的显示画面上的视差产生方向的像素数[pixel]的函数来表达。
表示基于左眼图像与右眼图像的图像间的偏移量的函数表示例如基于左眼图像与右眼图像的图像间的偏移量分别与从到摄影透镜16的对焦位置的进深减去到被摄体位置的进深后的值、摄像元件20的对顶角和摄影透镜16的实际焦距成正比。另外，表示基于左眼图像与右眼图像的图像间的偏移量的函数表示例如基于左眼图像与右眼图像的图像间的偏移量与显示装置的显示画面上的视差产生方向的像素数[pixel]成正比。另外，表示基于左眼图像与右眼图像的图像间的偏移量的函数表示例如基于左眼图像与右眼图像的图像间的偏移量与从到摄影透镜16的对焦位置的进深减去摄像元件20的对顶角与摄影透镜16的实际焦距的积的值成反比。另外，表示基于左眼图像与右眼图像的图像间的偏移量的函数表示例如基于左眼图像与右眼图像的图像间的偏移量与到摄影透镜16的对焦位置的进深成反比。此外，表示基于左眼图像与右眼图像的图像间的偏移量的函数表示例如基于左眼图像与右眼图像的图像间的偏移量也与摄像元件20所包含的像素间的间距及摄像元件20的视差产生方向的像素数[pixel]成反比。
另外，本第一实施方式的摄像装置100具有作为一例如图15所示的查询表(LUT)50。LUT50存储在预定的存储区域(例如存储器26)。作为一例如图15所示，LUT50是将偏移量ΔE作为输入，将扩大量系数k作为输出的表格。因此，图像处理部28能够使用LUT50，按照表示基于上述的左眼图像与右眼图像的图像的偏移量的函数，导出根据算出的偏移量而唯一确定的扩大量系数k。
图像处理部28在进行视差校正处理的情况下，接下来，通过如上述的那样设定的滤光片FL、FR进行滤波处理，由此对左眼图像及右眼图像进行相位错位。即，对于以左眼图像内的进行了对应点检测的对象像素(关注像素)为中心的1×7像素的像素组，例如使用图11所示的滤光片FL进行滤波处理。由此，对关注像素进行边缘强调，并且向左方相位偏移1像素量。同样，对于以与左眼图像的关注像素对应的右眼图像的关注像素为中心的1×7像素的像素组，例如使用图11所示的滤光片FR进行滤波处理。由此，对关注像素边缘进行强调，并且向右方相位偏移1像素量。如此，当左眼图像内的关注像素向左方相位偏移1像素量，右眼图像内的关注像素向右方相位偏移1像素量，则作为整体像素位置被扩大2像素量，从而扩大视差。
本第一实施方式的滤光片如上述的那样扩大视差的同时也进行边缘强调，但是通常由利用了相位差像素的3D摄像装置所拍摄的左眼图像及右眼图像具有视差越大的部位越模糊的特征。在模糊的部位也存在过度的边缘强调引起噪声增大的可能性。
因此，在本第一实施方式的摄像装置100中，进行根据视差的扩大而减弱边缘强调的程度的处理。由此，能够减少模糊的部位中的噪声，并能够使清晰的部位更清晰。
为了根据视差的扩大而对边缘强调的程度进行校正，可以考虑例如以下的方法。首先，考虑频率特性能够用以下的(1)式表达的滤波。
(滤波系数的频率特性)＝(直流成分)+α×(HPF成分)
＝(直流成分)+α×((直流成分)－(LPF成分))……(1)
如果设边缘强调的强度为α，错位相位的错位量为μ，LPF成分为标准差σ的高斯分布，对上述(1)式进行傅立叶变换，则滤波系数成为下式。另外，该滤波系数作为一例如图16A所示的那样被表达。另外，边缘强调的强度α能够通过频带σ控制。另外，HPF的强度通过将边缘强调的强度α设为原始图像的视差[pixel]的函数(参照例如图16B)，从而能够根据视差进行控制。
〔数学式1〕
(其中δ是德尔塔函数)
接下来，作为本第一实施方式的作用，参照图17对通过图像处理部28每预定时间(例如每1秒)进行一次的区域指定处理进行说明。在此所说的“区域指定处理”，是指例如由图像处理部28在裂像的显示区域(参照例如图18)中指定使左眼图像与右眼图像的偏移量扩大的区域的处理。另外，在此，例示了由图像处理部28进行区域指定处理的情况，但是本发明不限定于此，例如也可以是通过CPU12执行区域指定处理程序由此由摄像装置100进行区域指定处理。
另外，在此，为了避免错综复杂，作为一例如图18所示，对显示部213中的裂像的显示区域被分类为第一部分显示区域与第二部分显示区域的情况进行说明。在图18所示的例子中，将把裂像的显示区域在上下方向上分割成三份而得到的分割区域中的中央部的分割区域作为第一部分显示区域，将除此以外的区域(裂像的显示区域的上缘部及下缘部)作为第二部分显示区域。因此，通过进行本区域指定处理，从而对第一部分显示区域、第二部分显示区域及裂像的整个显示区域的任一个进行指定。
另外，第一部分显示区域及第二部分显示区域的形态不限于图18所示的形态，例如也可以是如图29A所示的那样缩短第一部分显示区域的上下方向的长度，扩大第二部分显示区域的面积。另外，作为一例也可以如图29B所示的那样将裂像的显示区域的中央部中的圆形的区域作为第一部分显示区域。另外，作为一例也可以如图29C所示的那样将裂像的显示区域的中央部中的正方形的区域作为第一部分显示区域。另外，在此，为了避免错综复杂，将裂像的显示区域分类为第一部分显示区域与第二部分显示区域这样的两个区域，但不限定于此，也可以分类为三个以上的区域，这是不言而喻的。
在图17中，在步骤350中，由图像处理部28判定是否经由操作部14指定了第一部分显示区域。在本步骤350中在已指定第一部分显示区域的情况下，判定为肯定并移向步骤352。在步骤352中，由图像处理部28设立表示已经指定了第一部分显示区域的第一部分显示区域标识，然后，结束本区域指定处理。另外，在此，作为第一部分显示区域的指定方法例示了通过操作部14进行的指定方法，但是指定方法不限定于此。例如，也可以通过CPU12或图像处理部28，在基于目镜检测部37的检测结果而判定为在使用混合式取景器220的情况下，判定为已指定了第一部分显示区域。
另一方面，在步骤350中在没有指定第一部分显示区域的情况下移向步骤354。在步骤354中，由图像处理部28判定是否经由操作部14指定了第二部分显示区域。在本步骤354中在没有指定第二部分显示区域的情况下，结束本区域指定处理。在本步骤354中在指定了第二部分显示区域的情况下，判定为肯定并移向步骤356。在步骤356中，由图像处理部28设立表示已经指定了第二部分显示区域的第二部分显示区域标识，然后，结束本区域指定处理。
接下来，作为本第一实施方式的作用而参照图19对包含由图像处理部28进行的上述的视差校正处理的图像输出处理进行说明。另外，在此例示了由图像处理部28进行图像输出处理的情况，但是本发明不限定于此，也可以是例如通过CPU12执行图像输出处理程序而由摄像装置100进行图像输出处理。
在图19中，在步骤400中，由图像处理部28生成基于所输入的第三图像的通常图像。由图像处理部28将在上述步骤400中生成的通常图像存储在预定的存储区域(例如存储器26)。
在接下来的步骤402中，由图像处理部28取得左眼图像及右眼图像，并基于所取得的左眼图像及右眼图像生成裂像。
在接下来的步骤404中，由图像处理部28对在上述步骤402中所生成的裂像中的特定的区域所包含的左眼图像及右眼图像的一方的全部像素的处理对象的像素进行设定。在此，图像处理部28取得与在上述的区域指定处理中指定的裂像内的区域的位置相对应的位置的左眼图像及右眼图像(特定的部分图像的一例)。例如如果立有第一部分显示区域标志，则取得与图18所示的第一部分显示区域的位置对应的位置的左眼图像及右眼图像。另外，如果立有第二部分显示区域标志，则取得与图18所示的第二部分显示区域的位置对应的位置的左眼图像及右眼图像。另外，如果未立第一部分显示区域标志及第二部分显示区域标志，则取得裂像的整个显示区域的左眼图像及右眼图像。例如，得到与裂像的整个显示区域的上半部分的位置相对应的位置的左眼及右眼图像、和与裂像的整个显示区域的下半部分的位置相对应的位置的左眼及右眼图像。而且，基于取得的左眼图像及右眼图像而生成裂像。另外，以下，为了避免错综复杂，而对与在本步骤402中生成的裂像中的第一部分显示区域的位置相对应的位置的左眼图像的全部像素中的处理对象的像素(关注像素(i，j))进行设定。在该情况下，例如，在左眼图像的图像尺寸为m×n像素的情况下，从像素(1，1)到像素(m，n)，每进行本步骤404就依次使关注像素移动。
在接下来的步骤406中，由图像处理部28提取出以在步骤404中设定的关注像素(i，j)为基准的像素组、即预定的区块尺寸[Cx×Cy][pixel]的像素组。在接下来的步骤408中，由图像处理部28算出视差，该视差表示在上述步骤406中提取的右眼图像的对应像素相对于在上述步骤406中提取的左眼图像的各像素的偏移量。
在上述步骤408中，图像处理部28例如首先以在上述步骤406中提取出的左眼图像的像素组为基础，从右眼图像内搜索特征点一致的像素组。即，作为一例如图20所示对从左眼图像提取的像素组(区块)、与右眼图像中的与从左眼图像提取的像素组(区块)相对应的右眼图像内的区块的一致度进行评价。而且，将区块间的一致度最大时的右眼图像的区块的基准的像素，设为与左眼图像的关注像素相对应的右眼图像的对应点的像素。在本第一实施方式中，使用区块匹配法对区块间的一致度进行评价，作为对一致度进行评价的函数，例如具有使用各区块内的像素的亮度差的平方和(SSD)的函数(SSD区块匹配法)。
在SSD区块匹配法中，对设为比较对象的两图像的区块内的各像素f(i，j)，g(i，j)进行下式的运算。
[数学式2]
一边在右眼图像上使区块的位置在预定的搜索区域内移动一边进行上述[数学式2]式的运算，将SSD值为最小时的搜索区域内的位置的像素设为搜索对象的像素。而且，算出表示左眼图像上的关注像素与搜索出的对应的右眼图像上的像素的像素间的偏移量的视差。
在接下来的步骤410中，由图像处理部28进行函数决定处理由此决定输入输出函数G。图21示出了表示函数决定处理的流程的一例的流程图。
如图21所示，在步骤410A中，通过图像处理部28取得多个因子。
在接下来的步骤410B中，由图像处理部28取得与在上述步骤410A中取得的多个因子对应的输入输出函数G。在此，例如，图像处理部28基于在上述步骤410A中取得的多个因子算出偏移量。而且，通过从LUT50导出来决定与算出的偏移量对应的扩大量系数k，取得将所决定的扩大量系数k作为倾斜度的输入输出函数G。另外，在本步骤410B中取得的扩大量系数k，是本发明的不使用时扩大量及显示部使用时扩大量的一例。
在接下来的步骤410C中，由图像处理部28对在当前时刻所指示的摄像是否是静止图像的摄像进行判定。在本步骤410C中在当前时刻所指示的摄像不是静止图像的摄像的情况下，判定为否定并移向步骤410F。在本步骤410C中在当前时刻所指示的摄像是静止图像的摄像的情况下，判定为肯定并移向步骤410D。
在步骤410D中，由图像处理部28对作为拍摄静止图像时所使用的F值而在当前时刻设定的F值与作为拍摄即时预览图像所使用的F值而在当前时刻设定的F值是否不一致进行判定。本步骤410D中作为拍摄静止图像时所使用F值而在当前时刻设定的F值与作为拍摄即时预览图像时所使用的F值而在当前时刻设定的F值不一致的情况下，判定为肯定并移向步骤410E。在本步骤410D中，在作为拍摄静止图像时所使用的F值而在当前时刻设定的F值与作为拍摄即时预览图像时所使用的F值而在当前时刻设定的F值一致的情况下，判定为否定并移向步骤410F。
在步骤410E中，由图像处理部28根据作为拍摄静止图像时所使用的F值而在当前时刻设定的F值，对在上述步骤410A中取得的输入输出函数G进行校正。在此，图像处理部28基于作为拍摄静止图像时所使用的F值而在当前时刻所设定的F值及作为拍摄即时预览图像时所使用的值而在当前时刻设定的F值，决定输入输出函数G的倾斜度。具体来说，算出由作为拍摄静止图像时所使用的F值而在当前时刻所设定的F值所规定的相位差像素的特性值相对于由作为拍摄即时预览图像的摄像时使用的F值而在当前时刻所设定的F值所规定的相位差像素的特性值的比例。而且，通过对所算出的比例乘以在当前时刻取得的输入输出函数G的扩大量系数k，对输入输出函数G进行校正。另外，以下，出于说明的方便，将相位差像素的特性值表达为ρ(F)。这里，“F”是指F值。
例如，图22所示，在拍摄静止图像时所使用的F值是“1.4”，并且拍摄即时预览图像时所使用的F值是“4.0”的情况下，将扩大量系数k校正为“ρ(1.4)/ρ(4.0)”。另外，在拍摄静止图像时所使用的F值是“1.4”，并且拍摄即时预览图像时所使用的F值是“2.8”的情况下，将扩大量系数k校正为“ρ(1.4)/ρ(2.8)”。另外，在拍摄静止图像时所使用的F值是“1.4”，并且拍摄即时预览图像时所使用的F值是“2.0”的情况下，将扩大量系数k校正为“ρ(1.4)/ρ(2.0)”。
如此，在本第一实施方式的摄像装置10中，由图像处理部28根据输入视差决定扩大量系数k，由此决定视差的扩大量。另外，将该扩大量设为根据输入视差的减少而增大的扩大量。即，输入视差越小则扩大量系数k越大。不过，该扩大量系数k是随着靠近对焦点(对焦位置)而视差减少的系数。即使视差被扩大，视差随着靠近对焦点而减少，由此能够在确保良好的视觉确认性的范围内对视差进行扩大。
另外，在此，列举了采用拍摄静止图像时所使用的F值对扩大量系数k进行校正的例子，但不限定于此，也可以采用与开放光圈值相当的F值对扩大量系数k进行校正。在该情况下，算出由相当于开放光圈值的F值所规定的ρ(F)相对于由作为拍摄即时预览图像时所使用的F值而在当前时刻设定的F值规定的ρ(F)的比例，并将所算出的比例乘以输入输出函数G的扩大量系数k即可。
在步骤410F中，由图像处理部28判定是否满足EVF鉴赏条件。该EVF鉴赏条件是指例如表示当前时刻用户正在使用EVF248的条件。用户是否正在使用EVF248通过例如基于目镜检测部37的检测结果是否判定为在使用取景器目镜部242来进行判定。即，在判定为正在使用取景器目镜部242的情况下，判定为用户正在使用EVF248，在判定为未使用取景器目镜部242的情况下，判定为用户没有使用EVF248。在本步骤410F中在不满足EVF鉴赏条件的情况下，判定为否定并结束本函数决定处理。在本步骤410F中在满足EVF鉴赏条件的情况下，判定为肯定并移向步骤410G。
在步骤410G中，由图像处理部28将在上述步骤410B中取得的输入输出函数G或在上述步骤410E中被校正了的输入输出函数G校正为用于EVF的输入输出函数G后，结束本函数决定处理。所谓该用于EVF的输入输出函数G，是指例如具有与基于EVF248的显示画面上的视差产生方向的像素数[pixel]算出的偏移量对应的扩大量系数k作为倾斜度的输入输出函数G。另外，在本步骤410G中校正后的输入输出函数G的扩大量系数k是本发明的使用时扩大量的一例。
返回图19，在步骤412中，由图像处理部28对使用在上述步骤410中决定的输入输出函数G而导出的输出视差所对应的滤波系数进行决定。在此，图像处理部28首先使用在上述步骤410中决定的输入输出函数G，导出相当于输出视差的视差γ。即，将作为输入视差而在上述步骤408中算出的视差使用在上述步骤410中所决定的输入输出函数G转换为作为输出视差的视差γ。而且，导出与视差γ对应的相位错位量μ[pixel]。相位错位量μ由例如图23所示的函数(实线或虚线的曲线图)唯一确定。图23所示的实线的曲线图，表示与左眼图像对应的相位错位量μ，将比对焦的被摄体(视差0)远的被摄体的视差γ的符号设为正，将比对焦的被摄体近的被摄体的视差γ的符号设为负。另外，将右方的相位错位量μ设为正，将左方的相位错位量μ设为负。而且，如图23的虚线的曲线图所示，与右眼图像对应的相位错位量μ和与左眼图像对应的相位错位量μ的符号相反。
图23所示的例子中，不改变由输入输出函数G所决定的输出视差[pixel]的符号而对预定的像素数范围(作为一例是±P1)的视差γ乘以倾斜度ε(＞0)，由此进行向相位错位量μ的转换。对于超过预定的像素数范围的视差γ，为防备视差计测结果存在错误的情况，以倾斜度ε成为“ε＝0”的方式将相位错位量μ设为恒定。
接下来，图像处理部28作为一例基于根据图23所示的函数而导出的相位错位量μ、预先设定的标准差σ和边缘强调的强度的α(参照图16A及图16B)，并通过上述的[数学式1]算出滤光片FL、FR的滤波系数。另外，在本第一实施方式中，例示了使用[数学式1]算出滤光片FL、FR的滤波系数的方式，但本发明不限定于此。例如，也可以是，准备预先存储有与输出视差或者相位错位量等对应的滤波系数集的查询表(LUT)，并基于输出视差等读出对应的滤波系数集，来决定滤光片FL、FR。
在步骤414中，由图像处理部28对在上述步骤406提取的像素组及对应的像素组(例如以与在上述步骤404中设定的关注像素(i，j)所对应的右眼图像的对应点为基准而提取的像素组)进行图像处理(扩大视差的处理)。
在本步骤414中，例如，图像处理部28首先对于在上述步骤406中提取的像素组(区块)，利用与该区块尺寸相同的内核尺寸的滤光片FL进行滤波处理，从而算出关注像素(i，j)的像素值。另外，对于以与在上述步骤404中设定的关注像素(i，j)对应的右眼图像的对应点为基准提取的像素组，利用与该区块尺寸相同内核尺寸的滤光片FR进行滤波处理，从而算出右眼图像的对应点的像素值。
图像处理部28接下来将如上所述进行了滤波处理的左眼图像的关注像素(i，j)的像素值及右眼图像的对应点的像素的像素值配置(映射)于从原始的位置移位了相位错位量μ的位置。
在此，在将区块尺寸[Cx×Cy]设为例如7×7[pixel]的情况下，作为一例如图24A及图24B所示，也将滤光片FL、FR的内核尺寸设为7×7[pixel]。而且，不使通过区块匹配法进行了对应点的检测和视差γ计算的左眼图像的像素组(区块)和右眼图像的像素组(区块)开放而原封不动地通过FL、FR进行滤波处理。由此，能够缩减存储器使用量，另外，也能够使处理高速化。
在接下来的步骤416中，由图像处理部28将通过在上述步骤414中进行的图像处理而得到的像素值对应每个像素存储在预定的存储区域(例如存储器26)，从而存储图像，然后，移向步骤418。
在步骤418中，由图像处理部28判定左眼图像的全部像素的滤波处理是否结束。在本步骤418中，在左眼图像的全部像素的滤波处理结束的情况下，判定为肯定并移向步骤420。在本步骤418中，在左眼图像的全部的像素的滤波处理未结束的情况下，判定为否定并移向步骤404。
在步骤420中，由图像处理部28将在上述步骤400、416中存储于预定的存储区域的图像输出到预定的输出目的地后，结束本图像处理。另外，作为上述的“预定的输出目的地”，可以列举例如显示控制部36，除此之外，在摄影者等通过操作部14指示了向外部装置输出的情况下，作为上述的“预定的输出目的地”也可适用外部I/F40。
若由图像处理部28进行图19所示的图像输出处理，则作为一例如图25所示的那样在显示部213、混合式取景器220上显示即时预览图像。在图25所示的例子中，在画面中央的框60的内侧区域显示裂像，在框60的外侧区域显示通常图像。
即，第一及第二像素组对应于框60的尺寸而设置。裂像大致分为与从第一像素组输出的第一图像对应的左眼图像(视差图像)和与从第二像素组输出的第二图像对应的右眼图像(视差图像)。
在此，在摄影透镜16的焦点未对合于与框60内的图像对应的被摄体的情况下，如图25所示，裂像的右眼图像与左眼图像的边界的图像在视差产生方向(作为一例是水平方向)上偏移。另外，通常图像与裂像的边界的图像也沿视差产生方向偏移。这表示产生了相位差，摄影者能够通过裂像而在视觉上识别产生了相位差及视差产生方向。
另一方面，在摄影透镜16的焦点对合于与框60内的图像对应的被摄体的情况下，裂像的右眼图像与左眼图像的边界的图像一致。另外，通常图像与裂像的边界的图像也一致。这表示没有产生相位差，摄影者能够通过裂像视觉上识别没有产生相位差。
如此，摄影者能够通过显示部213所显示的裂像对摄影透镜16的对焦状态进行确认。另外，在手动对焦模式时，能够通过对摄影透镜16的聚焦环302进行手动操作而使焦点的偏移量(散焦量)为零。
另外，在本第一实施方式的摄像装置100中，以在上述步骤404中由上述的区域指定处理所指定的裂像内的第一部分显示区域的位置所对应的位置的图像所包含的像素为对象，而设定关注像素。因此，作为一例如图25所示对与第一部分显示区域的位置对应的位置的左眼图像及右眼图像进行上述步骤414的图像处理。从而，作为一例如图25所示，与第一部分显示区域的位置相对应的右眼图像与左眼图像之间的偏移量，与其他的右眼图像与左眼图像之间的偏移量相比被扩大。另外，因为对与第一部分显示区域的位置相对应的位置的图像进行图像处理，所以与对与裂像的整个显示区域的位置对应的右眼图像及左眼图像所包含的全部像素进行图像处理的情况相比，能够减轻处理的负担。
另外，若由区域指定处理指定了第二部分显示区域，则对与第二部分显示区域的位置对应的位置的左眼图像及右眼图像进行上述步骤414的图像处理。从而，与第二部分显示区域的位置对应的右眼图像与左眼图像之间的偏移量(与图25所示的框60的上缘部相邻的左眼图像和与框60的下缘部相邻接的右眼图像的偏移量)，与其他的右眼图像与左眼图像之间的偏移量相比被扩大。
另外，若没有由区域指定处理指定第一部分显示区域及第二部分显示区域(若指定了裂像的整个显示区域)，则对裂像的整个显示区域的右眼图像及左眼图像进行上述步骤414的图像处理。在该情况下，作为一例如图26所示，对裂像的整个显示区域所包含的全部的右眼图像及左眼图像，扩大右眼图像与左眼图像之间的偏移量。
另外，在本第一实施方式中，对裂像的显示色是无彩色的情况进行了说明，但不限定于此，也可以对裂像赋予有色彩。在该情况下，可以列举例如使裂像为将赋予了具有相互不同的颜色特性的色彩的左眼图像与右眼图像在预定方向(例如与视差产生方向交叉的方向)交替地配置的图像的方式。具体来说，可以列举将图25或图26所示的左眼图像及右眼图像的一方的显示色设为无彩色，将另一方的显示色设为有彩色的方式。为了使裂像的显示色为有彩色，例如对用于白平衡的设定的原色成分(例如R、G、B)的构成比进行调节即可。
另外，作为一例，也可以如图27所示使裂像的全部为有彩色。在该情况下，优选使左眼图像的颜色特性与右眼图像的色特性不同。另外，在图27所示的例子中，对左眼图像赋予蓝色系的色彩，对右眼图像赋予绿色系的色彩。
另外，作为一例也可以如图28所示对与第一部分显示区域的位置对应的位置的左眼图像及右眼图像(扩大了偏移量的图像)，赋予具有与裂像中的其他的区域不同的颜色特性的色彩。另外，在图28所示的例子中，对与第一部分显示区域的位置对应的位置的左眼图像及右眼图像赋予橙色系的色彩，对其他的左眼图像及右眼图像赋予蓝色系的色彩。
如以上说明的那样，本第一实施方式的摄像装置100具有对通过摄影透镜16的出射光瞳的光束的光轴的左侧及右侧(通过了第一及第二区域的被摄体像的一例)进行光瞳分割而分别成像的第一及第二像素组。作为图像获取部的一例的图像处理部28，获取相当于从第一及第二像素组输出的第一及第二图像的左眼图像及右眼图像(步骤402)。另外，作为视差计算部的一例的图像处理部28算出表示左眼图像的各像素与右眼图像的各像素的偏移量的输入视差(步骤408)。另外，作为扩大量决定部的一例的图像处理部28，对左眼图像及右眼图像中的每个对象像素，决定具有扩大量系数k(作为一例是线性函数的倾斜度)的输入输出函数G(步骤410)。另外，作为系数决定部的一例的图像处理部28，对左眼图像及右眼图像中的每个对象像素决定作为视差转换系数的一例的滤波系数，该视差转换系数使输入视差基于所决定的输入输出函数G而转换为扩大后的视差。此外，图像处理部28对对象像素，基于所决定的滤波系数进行扩大视差的处理(步骤414)。由此，与不具有本结构的情况相比，能够使与裂像中的左眼图像与右眼图像之间的视差相对应的偏移的视觉确认性良好。
另外，在本第一实施方式的摄像装置100中，作为扩大量系数k，采用根据所算出的输入视差的减少而增大的扩大量系数。由此，与不具有本结构的情况相比，能够进一步提高与裂像中的左眼图像与右眼图像之间的视差相对应的偏移的可见性。
另外，在本第一实施方式的摄像装置100中，作为扩大量系数k而采用根据使预定的显示区域显示的左眼图像与右眼图像产生偏移的至少一个的因子而确定的扩大量系数。由此，与不具有本结构的情况相比，能够进一步使与裂像中的左眼图像与右眼图像之间的视差相对应的偏移的视觉确认性性良好。
另外，在本第一实施方式的摄像装置100中，作为多个因子中的一个而采用摄影透镜16的F值，作为扩大量系数k，采用F值越高则越增大的扩大量系数。由此，与不具有本结构的情况相比，能够抑制光圈值越大越难以目视确认与裂像中的左眼图像与右眼图像之间的视差相对应的偏移这一情况的发生。
另外，在本第一实施方式的摄像装置100中，图像处理部28基于摄影透镜16的F值及开放F值决定扩大量系数k。由此，与不具有本结构的情况相比，能够容易地决定适当的扩大量系数k。
另外，在本第一实施方式的摄像装置100中，作为决定扩大量系数k时所用F值，采用拍摄即时预览图像时所使用的F值或拍摄静止图像时所使用的F值。由此，与不具有本结构的情况相比，能够容易地决定适当的扩大量系数k。
另外，在本第一实施方式的摄像装置100中，作为多个因子而采用对显示装置所显示的左眼图像与右眼图像的偏移量进行规定的多个因子。由此，与不具有本结构的情况相比，能够以简单的结构使与裂像中的左眼图像与右眼图像之间的视差相对应的偏移的视觉确认性良好。
另外，在本第一实施方式的摄像装置100中，图像处理部28生成通常图像及裂像。而且，显示控制部36对显示装置进行如下控制：使显示装置显示通常图像并在通常图像的显示区域内显示具有对图像处理的对象像素进行了滤波处理的图像的裂像。由此，与不具有本结构的情况相比，能够在视觉上容易地识别与图像间的视差相对应的偏移。
另外，在本第一实施方式的摄像装置100中，摄像元件20具有第三像素组，图像处理部28基于从第三像素组输出的第三图像生成通常图像。由此，与不具有本结构的情况相比，能够提高通常图像的画质。
另外，在本第一实施方式的摄像装置100中，作为图像处理的对象像素，采用与裂像中的左眼图像和右眼图像中的特定的部分图像所包含的像素相当的像素。由此，与没有本结构的情况相比，能够减轻图像处理所涉及的负担。
另外，在本第一实施方式的摄像装置100中，显示控制部36使显示装置显示具有对图像处理的对象像素进行了图像处理(对视差进行强调的处理)的特定的部分图像的左眼图像及右眼图像。由此，与不具有本结构的情况相比，能够在视觉上容易地识别与裂像中的左眼图像与右眼图像之间的视差相对应的偏移。
另外，在本第一实施方式的摄像装置100中，图像处理部获取基于从摄像元件20输出的图像的通常图像(步骤400)。另外，显示控制部36使显示装置显示通常图像并且在通常图像的显示区域内显示具有对图像处理的对象像素进行了图像处理的特定的部分图像的左眼图像及右眼图像。由此，与不具有本结构的情况相比，能够在视觉上容易地对识别裂像与通常图像的偏移和与裂像中的左眼图像与右眼图像之间的视差相对应的偏移。
另外，本第一实施方式的摄像装置100具有作为对显示装置的显示画面内的一部分区域进行指定的指定部的一例的操作部14。另外，作为特定的部分图像，采用裂像中的左眼图像及右眼图像中与通过操作部14指定的显示画面内的一部区域的位置对应的位置的图像。由此，与不具有本结构的情况相比，能够容易地对图像处理(对视差进行强调的处理)的对象像素进行指定。
另外，在本第一实施方式的摄像装置100中，作为特定的部分图像采用裂像的一部分，该裂像相当于左眼图像与右眼图像沿视差产生方向偏移了与视差相应的偏移量的图像。由此，与不具有本结构的情况相比，能够在视觉上容易地识别裂像中与左眼图像与右眼图像之间的视差相对应的偏移。
另外，在本第一实施方式的摄像装置100中，作为裂像采用被赋予了具有相互不同的颜色特性的色彩的左眼图像与右眼图像在与视差产生方向交叉(作为一例是正交)的方向上交替地配置而成的图像。由此，与不具有本结构的情况相比，能够在视觉上容易地识别与裂像内的左眼图像与右眼图像之间的视差相对应的偏移。
另外，在本第一实施方式所涉及的摄像装置100中，作为特定的部分图像采用赋予了具有与裂像中的其他区域不同的颜色特性的色彩的图像。由此，与不具有本结构的情况相比，能够视觉上容易确定裂像中进行了基于扩大量系数k的图像处理的图像与其以外的图像。
另外，在本第一实施方式的摄像装置100中，图像处理部28基于扩大量系数k决定滤波系数，通过使用了所决定的滤波系数的滤光片FL、FR，对图像处理的对象像素进行滤波处理。由此，与不具有本结构的情况相比，能够以简单的结构对对象像素进行基于扩大量系数k的图像处理(对视差进行强调的处理)。
另外，本第一实施方式的摄像装置100具有作为对EVF248的使用进行检测的检测部的一例的目镜检测部37。另外，图像处理部28在由目镜检测部37检测出EVF248的使用的情况下决定EVF248使用时所用的扩大量系数k。此外，在由目镜检测部37未检测出EVF248的使用的情况下，决定EVF248不使用时所使用的扩大量系数k。由此，与不具有本结构的情况相比，能够在EVF248的使用时与不使用时决定适当的扩大量系数k。
另外，在本第一实施方式的摄像装置100中，在由目镜检测部37未检测出EVF248的使用，并且使显示部213显示进行了图像处理的像素的情况下，图像处理部28决定显示部213使用时所用的扩大量系数k。由此，与不具有本结构的情况相比，在将已完成图像处理(对视差进行强调的处理)的图像显示于视差产生方向的像素数与EVF248不同的显示部213上的情况下，能够决定适当的扩大量系数k。
另外，在本第一实施方式的摄像装置100中，在由目镜检测部37检测出EVF248的使用的情况下，作为扩大量系数k，采用比显示部213使用时所用的扩大量系数k大的值。由此，与不具有本结构的情况相比，在将已完成图像处理(对视差进行强调的处理)的图像显示在EVF248上的情况下，能够使与裂像中的左眼图像与右眼图像之间的视差对应的偏移的视觉确认性良好。
另外，在上述第一实施方式中，列举了基于多个因子来算出扩大量系数k的例子，但是不限定于此，也可以基于单一的因子来算出扩大量系数k。作为单一的因子，优选为使用摄影透镜16的光圈值(例如摄影透镜16的F值)。另外，在拍摄即时预览图像时未给予拍摄静止图像的指示的情况下，也可以由图像处理部28基于拍摄即时预览图像时所使用的F值及拍摄静止图像时所使用的F值来决定扩大量系数k。另外，也可以由图像处理部28基于摄影透镜16的F值及开放光圈值来决定扩大量系数k。
另外，上述第一实施方式中，不论输入视差的大小如何均对关注像素进行了图像处理，但是不限定于此，也可以设为对输入视差满足预定条件的特性的视差范围外的关注像素进行图像处理。在该情况下，例如，由图像处理部28判定关注像素是否处于满足预定条件的特定的视差范围外。这里所说的“满足预定条件的特性的视差范围”是指例如能够确认对焦的视差范围。“能够确认对焦的视差范围”是指例如在显示装置(例如显示部213)的显示画面上人能够目视确认关注像素处于对焦状态的视差的范围。即，在摄像装置100的摄像系统中与关注像素对应的摄像元件20内的元件处于被拍摄景深内的情况下，关注像素将具有在显示装置的显示画面上人能够目视确认是对焦状态的视差。相反，在摄像装置100的摄像系统中与关注像素对应的摄像元件20内的元件不处于被写界深度内的情况下，关注像素将具有在显示装置的显示画面上人能够目视确认是非对焦状态的视差。而且，在由图像处理部28对应每个关注像素判定为处于特定的视差范围外的情况下，如上述第一实施方式中说明的那样，决定扩大量系数k。由此，摄像装置100与不具有本结构的情况相比，能够抑制对于不需要进行图像处理(对视差进行强调的处理)的像素而决定扩大量系数k。
另外，在上述第一实施方式中，将输入输出函数G设为线性函数，但是不限定于此，也可以适用非线性函数。
另外，在上述第一实施方式中，列举了使用输入输出函数G将输入视差转换为输出视差的形态例而进行了说明，但是也可以使用LUT将输入视差转换为输出视差。在该情况下，例如，通过预先使输入视差、输入输出函数G所具有的扩大量系数k及输出视差建立关联，能够导出与输入视差相对应的输出视差。
另外，在上述第一实施方式中，例示出了省略了反射镜的镜头互换式数码相机，但是不限定于此，本发明也能够适用于具有一体式镜头的摄像装置。
另外，在上述第一实施方式中，例示了具有显示部213及EVF248的摄像装置100，但是不限定于此，也可以具有显示部213及EVF248中的任一方。
另外，在上述第一实施方式中，例示了沿上下方向分割成多份的裂像，但是不限定于此，也可以将沿左右方向或倾斜方向分割成多份的图像作为裂像而适用。
另外，在上述第一实施方式中，列举对裂像进行显示的形态例而进行了说明，但是不限定于此，也可以是根据左眼图像及右眼图像生成其他的对焦确认图像，并显示对焦确认图像。例如，也可以是将左眼图像及右眼图像重叠而合成显示，在焦点偏移的情况下显示为双重图像，在焦点对合的状态下清晰地显示图像。
另外，在上述第一实施方式中说明的区域指定处理的流程(参照图17)、图像输出处理的流程(参照图19)及函数决定处理的流程(参照图21)是一例。因此，在不脱离主旨的范围内可以删除不需要的步骤、增加新的步骤、将处理顺序进行对换，这是不言而喻的。另外，区域指定处理所包含的各处理、图像输出处理所包含的各处理及函数决定处理所包含的各处理可以通过执行程序而利用计算机通过软件结构实现，也可以通过硬件结构实现。另外，也可以通过硬件结构与软件结构的组合来实现。
在利用计算机执行程序从而实现区域指定处理、图像输出处理及函数决定处理的至少一个的情况下，将程序预先存储于预定的存储区域(例如存储器26)即可。另外，不一定需要从最初就存储于存储器26中。例如，也可以先将程序存储于与计算机连接而使用的软盘、所谓的FD、CD－ROM、DVD盘、光磁盘、IC卡等的任意的“便携式存储介质”中。并且，也可以是计算机从这些便携式存储介质获取程序并执行。另外，也可以是在经由互联网、LAN(Local Area Network)等而与计算机连接的其他计算机或者服务器装置等中存储各程序，计算机从它们中获取程序并执行。
[第二实施方式]
上述第一实施方式中，例示了摄像装置100，但是作为摄像装置100的变形例的移动终端装置，可以列举例如具有相机功能的手机、智能手机、PDA(Personal DigitalAssistants：个人数字助理)及便携式型游戏机等。以下，以智能手机举例，并参照附图详细地进行说明。
图30是表示智能手机500的外观的一例的立体图。图30所示的智能手机500具有平板状的壳体502，并在壳体502的一个面上具备作为显示部的显示面板521与作为输入部的操作面板522成为一体的显示输入部520。另外，壳体502具备：扬声器531、话筒532、操作部540及相机部541。另外，壳体502的结构不限定于此，例如，也能够采用显示部与输入部独立的结构，或者也能够采用具有折叠结构、滑动结构的结构。
图31是表示图30所示的智能手机500的结构的一例的框图。如图31所示，作为智能手机500的主要的结构要素，具备：无线通信部510、显示输入部520、通话部530、操作部540、相机部541、存储部550及外部输入输出部560。另外，作为智能手机500的主要的结构要素，具备：GPS(Global Positioning System：全球定位系统)接收部570、移动传感器部580、电源部590及主控制部501。另外，作为智能手机500的主要的功能，具备进行经由基地站装置BS和移动通信网NW的移动无线通信的无线通信功能。
无线通信部510按照主控制部501的指示对收纳于移动通信网NW的基地站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的发送接收、Web数据、流数据等的接收。
显示输入部520是所谓的触摸面板，并且具备：显示面板521和操作面板522。因此，显示输入部520通过主控制部501的控制而对图像(静止图像及动态图像)、文字信息等进行显示从而在视觉上向用户传递信息，并且对用户对所显示信息的操作进行检测。另外，在对所生成的3D进行鉴赏的情况下，显示面板521优选是3D显示面板。
显示面板521是将LCD(液晶显示器(Liquid Crystal Display))、OELD(有机电致发光显示器(Organic Electro-Luminescence Display))等用作显示设备的器件。操作面板522是以能够目视确认显示于显示面板521的显示面上的图像的方式进行载置，并对由用户的手指、尖笔操作的一个或多个坐标进行检测的装置。当通过用户的手指、尖笔对该装置进行操作，则将因操作而产生的检测信号输出到主控制部501。接着，主控制部501基于接收到的检测信号对显示面板521上的操作位置(坐标)进行检测。
如图30所示，智能手机500的显示面板521与操作面板522成为一体而构成显示输入部520，但也可以成为操作面板522完全覆盖显示面板521的配置。在采用该配置的情况下，操作面板522也可以具备对于显示面板521以外的区域也对用户操作进行检测的功能。换言之，操作面板522也可以具备：与显示面板521重叠的重叠部分的检测区域(以下，称作显示区域)及此以外的与显示面板521不重叠的外缘部分的检测区域(以下，称作非显示区域)。
另外，也可以使显示区域的大小与显示面板521的大小完全一致，但不需要使两者必须一致。另外，操作面板522也可以具备外缘部分及除此以外的内侧部分这两个感应区域。此外，外缘部分的宽度根据壳体502的大小等而适当设计。此外，作为操作面板522中采用的位置检测方式，能够列举：矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式及静电电容方式等，也能够采用其中任一种方式。
通话部530具备：扬声器531、话筒532。通话部530将通过话筒532输入的用户的声音转换为能够由主控制部501处理的声音数据并输出到主控制部501。另外，通话部530对从无线通信部510或外部入输出部560接收到的声音数据进行解码并从扬声器531输出。另外，如图30所示，例如，能够将扬声器531搭载于与设置有显示输入部520的面相同的面上，并将话筒532搭载于壳体502的侧面。
操作部540是使用了键开关等的硬件键，接受来自用户的指示。例如，如图30所示，操作部540搭载于智能手机500的壳体502的侧面，是当通过手指等按下时接头，且当手指离开则通过弹簧等的恢复力而成为断开状态的按压按钮式的开关。
存储部550存储有：主控制部501的控制程序、控制数据、应用软件、与通信对象的名称或电话号码等建立了对应的地址数据及所发送接收的电子邮件的数据。另外，存储部550对通过Web浏览而下载的Web数据、所下载的内容数据进行存储。另外，存储部550暂时存储流数据等。另外，存储部550具有：智能手机内置的内部存储部551及具有装拆自如的外部存储器插槽的外部存储部552。另外，构成存储部550的各内部存储部551与外部存储部552可以使用闪存型(flash memory type)、硬盘型(hard disk type)等的存储介质而实现。作为存储介质，除此之外，还能够例示出：微型多媒体卡型(multimedia card micro type)、卡型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory)、ROM(Read Only Memory)。
外部输入输出部560起到与连接于智能手机500的全部外部设备的接口的作用，能够通过通信等或网络直接或间接地与其他的外部设备连接。作为与其他的外部设备通信等，例如，能够列举通用串行总线(USB)、IEEE1394等。作为网络，例如，能够列举互联网、无线LAN、蓝牙(Bluetooth(注册商标))、RFID(Radio Frequency Identification：无线射频识别)、和红外线通信(Infrared Data Association：IrDA(注册商标))。另外，作为网络的其他例，能够列举UWB(Ultra Wideband(注册商标))、紫蜂(ZigBee(注册商标))等。
作为与智能手机500连接的外部设备，例如，能够列举：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插座而连接的存储卡(Memory card)。作为外部设备的其他的例，能够列举：SIM(Subscriber Identity Module Card)/UIM(User IdentityModule Card)卡、经由音频/视频I/O(Input/Output)端子而连接的外部音频/视频设备。除了外部音频/视频设备外，还可以列举无线连接的外部音频/视频设备。另外，也可以替代外部音频/视频设备而适用例如：有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、耳机等。
外部输入输出部能够将从这种外部设备传送来的数据传递到智能手机500的内部的各结构要素，并能够将智能手机500的内部的数据传送到外部设备。
GPS接收部570按照主控制部501的指示，接收从GPS卫星ST1～STn发送的GPS信号，并执行基于接收到的多个GPS信号的测位运算处理，对该智能手机500的由纬度、经度、高度构成的位置进行检测。GPS接收部570在能够从无线通信部510、外部输入输出部560(例如无线LAN)取得位置信息时，也能够使用该位置信息对位置进行检测。
移动传感器部580，具备例如三轴加速度传感器等，并按照主控制部501的指示对智能手机500的物理移动进行检测。通过对智能手机500的物理移动进行检测，能够检测智能手机500的移动方向、加速度。该检测结果被输出到主控制部501。
电源部590按照主控制部501的指示向智能手机500的各部提供存储于蓄电池(未图示的)的电力。
主控制部501具备微处理器，按照存储部550所存储的控制程序、控制数据而动作，统一控制智能手机500的各部。另外，主控制部501为了通过无线通信部510进行声音通信、数据通信而具备：控制通信系统的各部的移动通信控制功能及应用处理功能。
应用处理功能通过根据存储部550存储的应用软件使主控制部501进行动作而实现。作为应用处理功能，例如具有：控制外部输入输出部560而与相向设备进行数据通信的红外线通信功能、发送接收电子邮件的电子邮件功能、阅览Web网页的Web浏览功能等。
另外，主控制部501具备基于接收数据、下载的流数据等图像数据(静止图像、动态图像的数据)而将映射在显示输入部520显示的、等图像处理功能。所谓图像处理功能是指主控制部501对上述图像数据进行解码，对该解码结果实施图像处理并将图像显示在显示输入部520上的功能。
此外，主控制部501执行对显示面板521的显示控制以及对通过操作部540、操作面板522进行的用户操作进行检测的操作检测控制。
通过执行显示控制，主控制部501对用于启动应用软件的图标、滚动条等的软件键进行显示，或显示用于创建电子邮件的窗口。另外，滚动条是指对于无法收纳到显示面板521的显示区域中的较大的图像等，用于接受使图像的显示部分移动的指示的软件键。
另外，通过执行操作检测控制，主控制部501检测出通过操作部540进行的用户操作，并接收通过操作面板522进行的对上述图标的操作、对上述窗口的输入栏的文字列的输入。另外，通过执行操作检测控制，主控制部501接收通过滚动条进行的显示图像的滚动请求。
此外，通过执行操作检测控制，主控制部501判定对于操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的与显示面板521不重叠的外缘部分(非显示区域)判定。并且，具备接收该判定结果而对操作面板522的感应区域、软件键的显示位置进行控制的触摸面板控制功能。
另外，主控制部501能够检测出对操作面板522的手势操作，并根据检测出的手势操作执行预先设定的功能。所谓手势操作并非以往的单纯的触摸操作，而是指利用手指等描绘轨迹对多个位置同时进行指定、或对它们进行组合而从多个位置对至少一个位置描画轨迹的操作。
相机部541是使用CMOS、CCD等摄像元件而进行摄像的数码相机，具备与图1等所示的摄像装置100相同的功能。
另外，相机部541能够对手动对焦模式与自动对焦模式进行切换。当选择了手动对焦模式，则能够通过对操作部540或显示在显示输入部520上的对焦用的图标按钮等进行操作，从而进行相机部541的摄影透镜的焦点对合。并且，在手动对焦模式时，使合成有裂像的即时预览图像显示在显示面板521上，由此，使得能够对手动聚焦时的对焦状态进行确认。另外，也可以将图7所示的混合式取景器220设置于智能手机500。
另外，相机部541能够通过主控制部501的控制，将由摄像所取得的图像数据转换为例如JPEG(Joint Photographic coding Experts Group：联合图像专家组)等的压缩的图像数据。而且将进行了转换而得到的数据记录于存储部550，或通过外部输入输出部560、无线通信部510而输出。在图27所示的智能手机500中，相机部541搭载于与显示输入部520相同面上，但是相机部541的搭载位置不限定于此，也可以安装于显示输入部520的背面，或者，也可以搭载多个相机部541。另外，在搭载有多个相机部541的情况下，能够对用于摄像的相机部541进行切换而单独进行摄像，或者也能够同时使用多个相机部541而进行摄像。
另外，相机部541能够用于智能手机500的各种功能。例如，能够在显示面板521上显示由相机部541取得的图像、作为操作面板522的操作输入的一个能够利用相机部541的图像。另外，在GPS接收部570对位置进行检测时，也能够参照来自相机部541的图像对位置进行检测。此外，也能够参照来自相机部541的图像，不使用三轴加速度传感器或与三轴加速度传感器并用地判定智能手机500的相机部541的光轴方向、判定当前的使用环境。不用说，也能够在应用软件内利用来自相机部541的图像。
此外，能够在静止图像或动态图像的图像数据上附加各种信息而记录于存储部550，或者也能够经由输入输出部560、无线通信部510而输出。作为在此所说的“各种信息”，例如可以列举：对静止图像或动态图像的图像数据由GPS接收部570取得的位置信息、由话筒532取得的声音信息(也可以通过主控制部等进行声音文本转换而成为文本信息)。另外，也可以是通过移动传感器部580取得的姿势信息等。
另外，上述各实施方式中，例示了具有第一～第三像素组的摄像元件20，但是本发明不限定于此，也可以是仅由第一像素组及第二像素组构成的摄像元件。具有这种摄像元件的数码相机能够基于从第一像素组输出的第一图像及从第二像素组输出的第二图像生成三维图像(3D图像)，也能够生成二维图像(2D图像)。在该情况下，二维图像的生成例如能够通过在第一图像及第二图像的相互的同色的像素间进行插补处理来实现。另外，也可以不进行插补处理，而采用第一图像或第二图像作为二维图像。
在上述各实施方式中，列举在通常图像的显示区域内显示裂像的例子而进行了说明，但是本发明不限定于此，也可以在显示装置上不显示通常图像(第一显示用图像的一例)而显示裂像(第二显示用图像)。另外，也可以使用整个画面而显示裂像。作为在此所说的“裂像”，在使用仅由相位差像素组(例如第一像素组及第二像素组)构成摄像元件情况下和使用相对于通常像素以预定的比例配置相位差像素(例如第一像素组及第二像素组)的摄像元件的情况下，能够例示出基于从相位差画组输出的图像(例如从第一像素组输出的第一图像及从第二像素组输出的第二图像)的裂像。如此，本发明不限于将通常图像与裂像的双方同时显示在显示装置的同一画面的方式，也可以在指示了裂像的显示的状态、并解除了显示通常图像的情况下，显示控制部36对显示装置进行如下控制：不显示通常图像而显示裂像。
附图标号说明
12 CPU
16 摄影透镜
20 摄像元件
26 存储器
28 图像处理部
30 通常处理部
32 裂像处理部
36 显示控制部
37 目镜检测部
100 摄像装置
213 显示部
220 混合式取景器
247 LCD

Claims (19)

1.一种图像处理装置，包含：
图像获取部，取得基于从第一像素组及第二像素组输出的第一图像信号及第二图像信号的第一图像及第二图像，所述第一像素组及第二像素组使通过了摄影透镜中的第一区域及第二区域的被摄体像进行光瞳分割而分别成像并输出所述第一图像信号及第二图像信号；
视差计算部，算出表示由所述图像获取部取得的所述第一图像的各像素与由所述图像获取部取得的所述第二图像的对应的像素之间的偏移量的视差；
扩大量决定部，对于由所述图像获取部取得的所述第一图像及第二图像中的图像处理的每个对象像素，根据由所述视差计算部算出的视差而决定该视差的扩大量；
系数决定部，对于由所述图像获取部取得的所述第一图像及第二图像中的图像处理的每个对象像素，决定使由所述视差计算部算出的视差基于由所述扩大量决定部决定的扩大量而转换为扩大后的视差的视差转换系数；
图像处理部，对所述对象像素基于由所述系数决定部决定的所述视差转换系数进行扩大视差的处理；
生成部，基于从具有所述第一像素组及第二像素组的摄像元件输出的图像信号生成第一显示用图像，并且基于所述第一图像及第二图像生成用于对焦确认的第二显示用图像；
显示部，对图像进行显示；及
显示控制部，对所述显示部进行如下控制：使所述显示部显示所述第一显示用图像并在所述第一显示用图像的显示区域内显示所述第二显示用图像，所述第二显示用图像具有对所述对象像素进行了扩大视差的处理的图像。
2.根据权利要求1所述的图像处理装置，其中，
将所述扩大量设为根据由所述视差计算部算出的视差的减少而增大的扩大量。
3.根据权利要求1或2所述的图像处理装置，其中，
将所述扩大量设为根据使显示于预定的显示区域的所述第一显示用图像与显示于该显示区域的所述第二显示用图像之间产生偏移的至少一个因子而确定的扩大量。
4.根据权利要求3所述的图像处理装置，其中，
所述至少一个因子包含所述摄影透镜的光圈值这一因子，
将所述扩大量设为所述光圈值越大则越增大的扩大量。
5.根据权利要求4所述的图像处理装置，其中，
所述扩大量决定部基于所述光圈值及开放光圈值来决定所述扩大量。
6.根据权利要求4所述的图像处理装置，其中，
将所述光圈值设为拍摄动态图像时使用的光圈值或者拍摄静止图像时使用的光圈值。
7.根据权利要求3所述的图像处理装置，其中，
将所述至少一个因子设为对显示于所述显示区域的所述第一显示用图像与第二显示用图像之间的偏移量进行规定的多个因子。
8.根据权利要求1所述的图像处理装置，其中，
所述摄像元件具有第三像素组，该第三像素组使被摄体像不进行光瞳分割而成像并输出第三图像信号，
所述生成部基于从所述第三像素组输出的所述第三图像信号生成所述第一显示用图像。
9.根据权利要求1所述的图像处理装置，其中，
将所述对象像素设为与所述第二显示用图像中的特定的部分图像所包含的像素相当的像素。
10.根据权利要求9所述的图像处理装置，其中，
还包含对所述显示部的显示画面内的一部分区域进行指定的指定部，
将所述特定的部分图像设为与所述第二显示用图像中的由所述指定部指定的所述一部分区域的位置对应的位置的图像。
11.根据权利要求10所述的图像处理装置，其中，
将所述特定的部分图像设为裂像的一部分，所述裂像相当于所述第一显示用图像与所述第二显示用图像沿视差产生方向偏移了与视差相应的偏移量的图像。
12.根据权利要求11所述的图像处理装置，其中，
将所述特定的部分图像设为被赋予了色彩的图像，该色彩具有与所述裂像中的其他区域不同的颜色特性。
13.根据权利要求1所述的图像处理装置，其中，
还包含判定部，判定所述对象像素是否处于满足预定条件的特定的视差范围外，
所述扩大量决定部对于每个所述对象像素在由所述判定部判定为处于所述特定的视差范围外的情况下决定所述扩大量。
14.根据权利要求1所述的图像处理装置，其中，
将所述视差转换系数设为根据所述扩大量决定部而确定的滤波系数，
所述图像处理部通过由使用所述滤波系数的滤光片对所述对象像素进行滤波处理来进行扩大视差的处理。
15.一种摄像装置，包含：
权利要求1～14中任一项所述的图像处理装置；及
存储部，存储由所述图像处理部进行扩大视差的处理而得到的图像。
16.根据权利要求15所述的摄像装置，其中，
还包含：
电子取景器，显示由所述图像处理部进行了扩大视差的处理的图像；及
检测部，对所述电子取景器的使用进行检测，
在由所述检测部检测出所述电子取景器的使用的情况下，所述扩大量决定部决定将预先确定的使用时扩大量作为所述电子取景器使用时所采用的所述扩大量，在由所述检测部未检测出所述电子取景器的使用的情况下，所述扩大量决定部决定将预先确定的不使用时扩大量作为所述电子取景器不使用时所采用的所述扩大量。
17.根据权利要求16所述的摄像装置，其中，
在由所述检测部未检测出所述电子取景器的使用，并且视差产生方向的像素数与所述电子取景器的视差产生方向的像素数不同的图像显示部上显示由所述图像处理部进行了扩大视差的处理的图像的情况下，将所述不使用时扩大量设为显示部使用时扩大量，该显示部使用时扩大量作为所述图像显示部使用时所采用的所述扩大量而预先确定。
18.根据权利要求17所述的摄像装置，其中，
所述图像显示部的视差产生方向的像素数比所述电子取景器的视差产生方向的像素数多，
在由所述检测部检测出所述电子取景器的使用的情况下，将所述使用时扩大量设为比所述显示部使用时扩大量大的值。
19.一种图像处理方法，包含：
图像获取工序，取得基于从第一像素组及第二像素组输出的第一图像信号及第二图像信号的第一图像及第二图像，所述第一像素组及第二像素组使通过了摄影透镜中的第一区域及第二区域的被摄体像进行光瞳分割而分别成像并输出所述第一图像信号及第二图像信号；
视差算出工序，算出表示由所述图像获取工序取得的所述第一图像的各像素与由所述图像获取工序取得的所述第二图像的对应的像素之间的偏移量的视差；
扩大量决定工序，对于由所述图像获取工序取得的所述第一图像及第二图像中的图像处理的每个对象像素，根据由所述视差算出工序算出的视差而决定该视差的扩大量；
系数决定工序，对于由所述图像获取工序取得的所述第一图像及第二图像中的图像处理的每个对象像素，决定使由所述视差算出工序算出的视差基于由所述扩大量决定工序决定的扩大量而转换为扩大后的视差的视差转换系数；
图像处理工序，对所述对象像素基于由所述系数决定工序决定的所述视差转换系数进行扩大视差的处理；
生成工序，基于从具有所述第一像素组及第二像素组的摄像元件输出的图像信号生成第一显示用图像，并且基于所述第一图像及第二图像生成用于对焦确认的第二显示用图像；及
显示控制工序，对显示图像的显示部进行如下控制：使该显示部显示所述第一显示用图像并在所述第一显示用图像的显示区域内显示所述第二显示用图像，所述第二显示用图像具有对所述对象像素进行了扩大视差的处理的图像。
CN201380048006.XA 2012-09-19 2013-08-05 图像处理装置、摄像装置及图像处理方法 Active CN104641624B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012205906 2012-09-19
JP2012-205906 2012-09-19
PCT/JP2013/071181 WO2014045739A1 (ja) 2012-09-19 2013-08-05 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN104641624A CN104641624A (zh) 2015-05-20
CN104641624B true CN104641624B (zh) 2017-11-28

Family

ID=50341063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380048006.XA Active CN104641624B (zh) 2012-09-19 2013-08-05 图像处理装置、摄像装置及图像处理方法

Country Status (4)

Country Link
US (1) US9667938B2 (zh)
JP (1) JP5901781B2 (zh)
CN (1) CN104641624B (zh)
WO (1) WO2014045739A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104641626B (zh) * 2012-09-19 2018-02-27 富士胶片株式会社 摄像装置及对焦确认显示方法
JP5960286B2 (ja) * 2012-12-19 2016-08-02 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN105026976B (zh) * 2013-03-29 2017-05-03 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
KR102283423B1 (ko) * 2014-12-18 2021-07-30 엘지이노텍 주식회사 영상 획득 장치 및 이를 포함하는 휴대용 단말기와 그 장치의 영상 획득 방법
JP6674643B2 (ja) * 2015-04-28 2020-04-01 ソニー株式会社 画像処理装置及び画像処理方法
JP2017158123A (ja) * 2016-03-04 2017-09-07 ソニー株式会社 信号処理装置および撮像装置
CN107222734A (zh) * 2017-06-30 2017-09-29 联想(北京)有限公司 一种图像采集装置及电子设备
WO2020024101A1 (zh) * 2018-07-31 2020-02-06 深圳市大疆创新科技有限公司 地图数据源处理方法、地图更新方法及设备、存储介质
CN112369009B (zh) * 2018-08-08 2022-06-07 谷歌有限责任公司 用于创建场景的超分辨率图像的光学图像稳定移动
JP7107126B2 (ja) * 2018-09-19 2022-07-27 富士フイルムビジネスイノベーション株式会社 情報処理装置および半導体装置
WO2020164752A1 (en) * 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio transmitter processor, audio receiver processor and related methods and computer programs

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009086429A (ja) * 2007-10-01 2009-04-23 Samsung Techwin Co Ltd 撮像装置及び撮像方法
US8081843B2 (en) * 2006-11-07 2011-12-20 Canon Kabushiki Kaisha Image-pickup apparatus
CN102547109A (zh) * 2010-12-10 2012-07-04 索尼公司 成像装置和成像设备
CN102647548A (zh) * 2011-02-21 2012-08-22 索尼公司 成像器件和成像装置
CN102652432A (zh) * 2009-12-09 2012-08-29 佳能株式会社 图像处理设备、图像处理方法和程序
CN102655569A (zh) * 2011-03-02 2012-09-05 索尼公司 成像器件和成像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5043626B2 (ja) 2007-12-13 2012-10-10 キヤノン株式会社 撮像装置
WO2011068210A1 (ja) * 2009-12-04 2011-06-09 Ｎｅｃ液晶テクノロジー株式会社 立体表示装置、立体表示用画像データ生成方法、及びそのプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8081843B2 (en) * 2006-11-07 2011-12-20 Canon Kabushiki Kaisha Image-pickup apparatus
JP2009086429A (ja) * 2007-10-01 2009-04-23 Samsung Techwin Co Ltd 撮像装置及び撮像方法
CN102652432A (zh) * 2009-12-09 2012-08-29 佳能株式会社 图像处理设备、图像处理方法和程序
CN102547109A (zh) * 2010-12-10 2012-07-04 索尼公司 成像装置和成像设备
CN102647548A (zh) * 2011-02-21 2012-08-22 索尼公司 成像器件和成像装置
CN102655569A (zh) * 2011-03-02 2012-09-05 索尼公司 成像器件和成像装置

Also Published As

Publication number Publication date
CN104641624A (zh) 2015-05-20
JPWO2014045739A1 (ja) 2016-08-18
WO2014045739A1 (ja) 2014-03-27
JP5901781B2 (ja) 2016-04-13
US9667938B2 (en) 2017-05-30
US20150181194A1 (en) 2015-06-25

Similar Documents

Publication Publication Date Title
CN104641624B (zh) 图像处理装置、摄像装置及图像处理方法
CN104641625B (zh) 图像处理装置、摄像装置及图像处理方法
CN104380168B (zh) 摄像装置及自动调焦方法
CN104782110B (zh) 图像处理装置、摄像装置及图像处理方法
CN105580349B (zh) 图像处理装置、摄像装置及图像处理方法
CN104871058B (zh) 图像处理装置、摄像装置及图像处理方法
CN104755981B (zh) 图像处理装置、摄像装置及图像处理方法
CN104365089B (zh) 摄像装置及图像显示方法
CN104885440B (zh) 图像处理装置、摄像装置及图像处理方法
CN104969545B (zh) 图像处理装置、摄像装置、图像处理方法以及程序
CN104205827B (zh) 图像处理装置及方法、以及摄像装置
CN105009563B (zh) 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质
CN105051600B (zh) 图像处理装置、摄像装置以及图像处理方法
US9288472B2 (en) Image processing device and method, and image capturing device
CN104662886B (zh) 摄像装置及对焦确认显示方法
CN104396227B (zh) 摄像装置
CN104221370A (zh) 图像处理装置、摄像装置以及图像处理方法
CN104205825B (zh) 图像处理装置及方法以及摄像装置
CN110447223A (zh) 成像元件以及摄像装置
CN104903769A (zh) 图像处理装置、摄像装置、程序及图像处理方法
CN107005626A (zh) 摄像装置及其控制方法
CN107005652A (zh) 摄像装置、摄像方法及图像处理程序
JP5972485B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN104737527B (zh) 图像处理装置、摄像装置及图像处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant