CN104782110A - 图像处理装置、摄像装置、程序及图像处理方法 - Google Patents

图像处理装置、摄像装置、程序及图像处理方法 Download PDF

Info

Publication number
CN104782110A
CN104782110A CN201380033348.4A CN201380033348A CN104782110A CN 104782110 A CN104782110 A CN 104782110A CN 201380033348 A CN201380033348 A CN 201380033348A CN 104782110 A CN104782110 A CN 104782110A
Authority
CN
China
Prior art keywords
image
mentioned
display
segmentation
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380033348.4A
Other languages
English (en)
Other versions
CN104782110B (zh
Inventor
井上和纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104782110A publication Critical patent/CN104782110A/zh
Application granted granted Critical
Publication of CN104782110B publication Critical patent/CN104782110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G02B7/346—Systems for automatic generation of focusing signals using different areas in a pupil plane using horizontal and vertical areas in the pupil plane, i.e. wide area autofocusing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/24—Focusing screens
    • G03B13/28—Image-splitting devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Image Processing (AREA)
  • Viewfinders (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

图像处理装置具备：生成单元，基于来自摄像元件的图像信号生成第一显示用图像及用于对焦确认的第二显示用图像，上述摄像元件具有对被摄体像进行光瞳分割而成像的第一像素组及第二像素组；视差计算单元，算出第一图像的各像素与第二图像的各像素的视差；显示单元，显示图像；及显示控制单元，进行在第一显示用图像的显示区域内显示第二显示用图像的控制，生成单元生成将作为第一图像的一部分的第一分割图像和第二图像的除与第一分割图像对应的区域以外的第二分割图像在与分割方向交叉的交叉方向的相反方向上错开与视差相应的量而配置所得到的上述第二显示用图像。

Description

图像处理装置、摄像装置、程序及图像处理方法
技术领域
本发明涉及图像处理装置、摄像装置、程序及图像处理方法，尤其是涉及生成并显示用于确认被摄体像的对焦状态的图像的图像处理装置、显示用于确认上述对焦状态的图像和被摄体像的摄像装置、由上述图像处理装置执行的程序及生成并显示用于确认上述对焦状态的图像的图像处理方法。
背景技术
以往，数码相机或带相机的便携电话等摄像装置的用户期望开发一种能够在确认被摄体像的对焦状态的同时进行调焦的技术。为了满足该期望，使用如下方法：在摄像装置的显示单元上放大显示被摄体像中想要对焦的部位，从而容易确认对焦状态。
然而，在使用了该方法的情况下，在确认对焦状态时无法目视确认被摄体像整体，因此难以在参照被摄体像整体的同时确认对焦状态。
另一方面，在这些摄像装置中，为了使手动调焦的操作容易进行，一直以来使用将分裂图像显示在即时预览图像(实时取景图像)内的技术。另外，所谓分裂图像是指将与预定区域对应的左眼图像的一部分和右眼图像的一部分合成而成的图像。在该分裂图像中，根据对焦状态，在左眼图像和右眼图像之间产生相对于视差产生方向的偏差。利用该技术，用户通过目视确认分裂图像中的左眼图像和右眼图像的偏差来确认对焦状态。
作为利用该技术的摄像装置，在日本特开2001-309210号公报中公开了一种摄像装置，具备：摄影部，经由光学系统获取被摄体的图像作为图像信号；检测部，检测与光学系统中相对于被摄体的像面和摄像部的受光面之间的距离相当的偏差量；显示单元，基于由摄像部获取的图像信号将被摄体的图像显示于显示画面；及显示变更单元，利用被摄体的图像并根据偏差量变更作为显示画面的一部分的区域的显示变更区域的显示内容。根据该摄像装置，在进行手动调焦时，能够以与利用分裂图像的调焦相同的感觉进行调焦。
另外，在日本特开2009-147665号公报中公开了一种摄像装置，具有：图像获取单元，对由来自摄像光学系统的光束中的、被光瞳分割单元分割的光束形成的第一被摄体像及第二被摄体像分别进行光电转换而生成第一图像及第二图像，并且对由未被光瞳分割单元分割的光束形成的第三被摄体像进行光电转换而生成第三图像；显示单元，显示第三图像；及分裂图像生成单元，生成在第三图像内显示的分裂图像。该摄像装置是通过分裂图像生成单元利用第一图像及第二图像生成分裂图像，并将从第三图像提取出的颜色信息附加到分裂图像的摄像装置。根据该摄像装置，能够提高进行手动调焦时的使用便利性。
另外，在日本特开2009-163220号公报中公开了一种摄像装置，具有：图像获取单元，对由来自摄像光学系统的光束中的、被光瞳分割单元分割的光束形成的第一被摄体像及第二被摄体像分别进行光电转换而生成第一图像及第二图像；显示单元，显示图像；及处理单元，在上述显示单元显示使上述第一图像及第二图像重叠而成的重叠图像。根据该摄像装置，能够提高分裂图像的目视确认性。
发明内容
发明要解决的课题
但是，在日本特开2001-309210号公报、日本特开2009-147665号公报及日本特开2009-163220号公报所公开的技术中，根据被摄体像，在用于显示分裂图像的预先规定的显示区域内仅显示分裂图像。在该情况下，会存在用户无法准确地判断分裂图像中的上述偏差的偏差量的情况。在该情况下，存在用户无法高精度地进行调焦的可能性。
本发明提供能够高精度地进行手动调焦的图像处理装置、摄像装置、程序及图像处理方法。
用于解决课题的方案
为了达到上述目的，本发明涉及的图像处理装置具备：生成单元，基于从具有第一像素组及第二像素组的摄像元件输出的图像信号生成第一显示用图像，且根据基于从上述第一像素组及第二像素组输出的图像信号的第一图像及第二图像生成用于对焦确认的第二显示用图像，上述第一像素组及第二像素组对通过了摄像镜头中的第一区域及第二区域的被摄体像进行光瞳分割而分别成像；视差计算单元，算出表示上述第一图像的各像素与上述第二图像的对应的各像素之间的偏差量的视差；显示单元，显示图像；及显示控制单元，对上述显示单元进行如下控制：使上述显示单元显示由上述生成单元生成的上述第一显示用图像，且在该第一显示用图像的显示区域内显示由上述生成单元生成的上述第二显示用图像，上述生成单元生成将第一分割图像和第二分割图像如下配置而得到的上述第二显示用图像，上述第一分割图像是对上述第一图像在预先规定的分割方向上进行分割而得到的多个分割图像的一部分，上述第二分割图像是对上述第二图像与上述第一图像同样地进行分割而得到的多个分割图像的除与上述第一分割图像对应的区域以外的图像，将上述第一分割图像和上述第二分割图像向与上述分割方向交叉的交叉方向的相反方向错开与上述视差相应的量而配置。
根据本发明涉及的图像处理装置，由生成单元基于从具有第一像素组及第二像素组的摄像元件输出的图像信号生成第一显示用图像，且根据基于从上述第一像素组及第二像素组输出的图像信号的第一图像及第二图像生成用于对焦确认的第二显示用图像，上述第一像素组及第二像素组对通过了摄像镜头中的第一区域及第二区域的被摄体像进行光瞳分割而分别成像。另外，由视差计算单元算出表示上述第一图像的各像素与上述第二图像的对应的各像素之间的偏差量的视差。进而，由显示控制单元对显示单元进行如下控制：使显示单元显示由上述生成单元生成的上述第一显示用图像，且在该第一显示用图像的显示区域内显示由上述生成单元生成的上述第二显示用图像。
在此，在本发明中，由上述生成单元生成将第一分割图像和第二分割图像如下配置而得到的上述第二显示用图像，上述第一分割图像是对上述第一图像在预先规定的分割方向上进行分割而得到的多个分割图像的一部分，上述第二分割图像是对上述第二图像与上述第一图像同样地进行分割而得到的多个分割图像的除与上述第一分割图像对应的区域以外的图像，将上述第一分割图像和上述第二分割图像向与上述分割方向交叉的交叉方向的相反方向错开与上述视差相应的量而配置。
这样一来，本发明涉及的图像处理装置生成将第一图像的一部分及第二图像的一部分向相反的方向错开配置而得到的第一显示用图像(与用于确认上述对焦状态的图像对应)。因此，根据本发明涉及的图像处理装置，能够容易地目视确认第一图像及第二图像的偏差，因此与未适用本发明的情况相比，能够高精度地进行手动调焦。
另外，在本发明涉及的图像处理装置中，也可以是，上述生成单元将上述第一分割图像和上述第二分割图像在上述分割方向上交替地配置来生成上述第一显示用图像。由此，能够提高对第一显示用图像的目视确认性。
另外，在本发明涉及的图像处理装置中，也可以是，上述视差计算单元算出包含上述第一分割图像及上述第二分割图像的边界在内的预先规定的区域中的上述视差。由此，能够以与错开位置对应的偏差量将上述第一图像及第二图像错开。
另外，在本发明涉及的图像处理装置中，也可以是，上述生成单元在上述第一图像和上述第二图像的至少一方提取相邻像素间的像素值之差为预先规定的第一阈值以上且在同一方向上连续配置了预先规定的第二阈值以上的像素组，将提取出的像素组中各像素连续配置的方向的任一方向作为上述分割方向来生成上述第二显示用图像。由此，能够更高精度地进行手动调焦。
另外，在本发明涉及的图像处理装置中，也可以是，上述生成单元将由上述视差计算单元算出的上述视差乘以预先规定的大于1的系数而得到的值作为与上述视差相应的量来生成上述第二显示用图像。由此，即使在第一图像与第二图像的视差的视差量小的情况下，也能够容易地目视确认偏差。
另外，在本发明涉及的图像处理装置中，也可以是，上述生成单元将由上述视差计算单元算出的上述视差乘以大于1的系数而得到的值作为与上述视差相应的量来生成上述第二显示用图像，其中上述视差越大，则上述系数越大，并且上述视差越大，则上述系数变大的程度越小。由此，即使在第一图像与第二图像的视差的视差量小的情况下，也能够更容易地目视确认偏差。
另外，在本发明涉及的图像处理装置中，也可以是，上述生成单元在上述第一图像和上述第二图像的至少一方提取相邻像素间的像素值之差大于预先规定的阈值的像素组，将预先规定的尺寸的区域即该区域内所包含的上述像素组的面积的总和为最大的区域作为成为上述第二显示用图像的生成对象的区域来生成上述第二显示用图像。由此，能够更高精度地进行手动调焦。
另外，在本发明涉及的图像处理装置中，也可以是，还具备脸部区域提取单元，该脸部区域提取单元从上述第一图像和上述第二图像的至少一方提取与脸部对应的脸部区域，上述生成单元将由上述脸部区域提取单元提取出的脸部区域作为成为上述第二显示用图像的生成对象的区域来生成上述第二显示用图像。由此，能够利用一般不想要对焦的区域即脸部的区域进行对焦。
另外，在本发明涉及的图像处理装置中，也可以是，上述生成单元通过将第三分割图像和第四分割图像向上述交叉方向的相反方向错开与上述视差相应的距离而配置来生成上述第二显示用图像，上述第三分割图形是对基于从第三像素组输出的图像信号的第三图像在上述分割方向上进行分割而得到的多个分割图像的一部分，上述第四分割图像是该多个分割图像中的除与上述第三分割图像对应的区域以外的图像，上述第三像素组不对被摄体像进行光瞳分割而成像并输出表示上述第三图像的上述图像信号。由此，能够使用未对被摄体像进行光瞳分割而成像所得到的图像进行对焦。
另外，在本发明涉及的图像处理装置中，上述生成单元生成基于从第三像素组输出的图像信号的第三图像作为上述第二显示用图像，上述第三像素组不对被摄体像进行光瞳分割而成像并输出表示上述第三图像的上述图像信号。由此，能够显示未对被摄体像进行光瞳分割而成像所得到的图像。
另外，在本发明涉及的图像处理装置中，也可以是，上述显示控制单元进行如下控制：在上述显示单元进一步显示表示上述第二显示用图像的上述交叉方向的端部的图像。由此，能够更高精度地目视确认第一图像及第二图像的偏差。
另外，在本发明涉及的图像处理装置中，也可以是，在上述显示单元的显示区域中的除显示上述第二显示用图像的预先规定的第一显示用区域以外的显示区域即第二显示用区域中，使上述第二显示用图像与该第一显示用图像重叠地显示的情况下，上述显示控制单元通过将上述第一分割图像和上述第二分割图像错开配置，将上述第一显示用区域中不存在与上述第二显示用图像对应的像素的区域的像素的像素值作为上述第一显示用图像中与该区域对应的像素的像素值来显示上述第二显示用图像。由此，能够提高第一显示用图像的美观。
进而，为了达到上述目的，本发明所记载的摄像装置具备：本发明的图像处理装置、上述摄影镜头及经由上述摄影镜头获取被摄体像作为图像信号的摄像元件。
因此，根据本发明涉及的摄像装置，能够与本发明涉及的图像处理装置同样地发挥作用，因此与本发明涉及的图像处理装置同样地，与未适用本发明的情况相比，能够高精度地进行手动调焦。
另一方面，为了达到上述目的，本发明涉及的程序用于使计算机作为如下单元发挥功能：生成单元，基于从具有第一像素组及第二像素组的摄像元件输出的图像信号生成第一显示用图像，且根据基于从上述第一像素组及第二像素组输出的图像信号的第一图像及第二图像生成用于对焦确认的第二显示用图像，上述第一像素组及第二像素组对通过了摄像镜头中的第一区域及第二区域的被摄体像进行光瞳分割而分别成像；视差计算单元，算出表示上述第一图像的各像素与上述第二图像的对应的各像素之间的偏差量的视差；及显示控制单元，进行如下控制：使显示单元显示由上述生成单元生成的上述第一显示用图像，且在该第一显示用图像的显示区域内显示由上述生成单元生成的上述第二显示用图像，上述生成单元生成将第一分割图像和第二分割图像如下配置而得到的上述第二显示用图像，上述第一分割图像是对上述第一图像在预先规定的分割方向上进行分割而得到的多个分割图像的一部分，上述第二分割图像是对上述第二图像与上述第一图像同样地进行分割而得到的多个分割图像的除与上述第一分割图像对应的区域以外的图像，将上述第一分割图像和上述第二分割图像向与上述分割方向交叉的交叉方向的相反方向错开与上述视差相应的量而配置。
因此，根据本发明涉及的程序，能够使计算机与本发明涉及的图像处理装置同样地发挥作用，因此与本发明涉及的图像处理装置同样地，与未适用本发明的情况相比，能够高精度地进行手动调焦。
进而，为了达到上述目的，本发明涉及的图像处理方法具有：生成步骤，基于从具有第一像素组及第二像素组的摄像元件输出的图像信号生成第一显示用图像，且根据基于从上述第一像素组及第二像素组输出的图像信号的第一图像及第二图像生成用于对焦确认的第二显示用图像，上述第一像素组及第二像素组对通过了摄像镜头中的第一区域及第二区域的被摄体像进行光瞳分割而分别成像；视差计算步骤，算出表示上述第一图像的各像素与上述第二图像的对应的各像素之间的偏差量的视差；及显示控制步骤，进行如下控制：使显示单元显示由上述生成步骤生成的上述第一显示用图像，且在该第一显示用图像的显示区域内显示由上述生成单元生成的上述第二显示用图像，在上述生成步骤中生成将第一分割图像和第二分割图像如下配置而得到的上述第二显示用图像，上述第一分割图像是对上述第一图像在预先规定的分割方向上进行分割而得到的多个分割图像的一部分，上述第二分割图像是对上述第二图像与上述第一图像同样地进行分割而得到的多个分割图像的除与上述第一分割图像对应的区域以外的图像，将上述第一分割图像和上述第二分割图像向与上述分割方向交叉的交叉方向的相反方向错开与上述视差相应的量而配置。
因此，根据本发明涉及的图像处理方法，能够与本发明涉及的图像处理装置同样地发挥作用，因此与本发明涉及的图像处理装置同样地，与未适用本发明的情况相比，能够高精度地进行手动调焦。
发明效果
根据本发明，能够高精度地进行手动调焦。
附图说明
图1是表示第一实施方式涉及的作为镜头更换式相机的摄像装置的外观的一例的立体图。
图2是表示第一实施方式涉及的摄像装置的背面侧的后视图。
图3是表示第一实施方式涉及的摄像装置的电气系统的结构的一例的框图。
图4是表示在实施方式涉及的摄像装置中包含的摄像元件上设置的滤色器的配置的一例的概略配置图。
图5是用于说明根据实施方式涉及的的滤色器中包含的2×2像素的G像素的像素值来判别相关方向的方法的图。
图6是用于说明实施方式涉及的滤色器中包含的基本排列图案的概念的图。
图7是表示在实施方式涉及的摄像装置的摄像元件上设置的遮光部件的配置的一例的概略配置图。
图8是表示实施方式涉及的摄像装置的摄像元件的相位差像素(第一像素及第二像素)的结构的一例的概略构成图。
图9是表示实施方式涉及的摄像装置的要部功能的一例的框图。
图10是表示实施方式涉及的正常图像及分裂图像的显示状态的一例的主视图。
图11是表示实施方式涉及的确认图像显示处理程序的处理流程的流程图。
图12是表示实施方式涉及的分裂图像的显示区域的一例的主视图。
图13是表示实施方式涉及的分裂图像的显示区域的分割方法的一例的主视图。
图14是表示实施方式涉及的摄像装置中的镜头驱动和偏差量的关系的一例的坐标图。
图15是表示实施方式涉及的摄像装置中的镜头驱动和偏差量的关系的一例的坐标图。
图16是表示实施方式涉及的分裂图像的显示状态的一例的主视图。
图17是表示实施方式涉及的分裂图像的显示状态的一例的主视图。
图18是表示实施方式涉及的分裂图像的显示状态的一例的主视图。
图19是表示实施方式涉及的分裂图像的显示状态的一例的主视图。
图20是表示实施方式涉及的分裂图像的显示状态的一例的主视图。
图21是表示实施方式涉及的分裂图像的显示状态的一例的主视图。
图22是表示实施方式涉及的分裂图像的显示状态的一例的主视图。
图23A是表示实施方式涉及的分裂图像的显示区域的分割方法的一例的主视图。
图23B是表示实施方式涉及的分裂图像的显示区域的分割图像的一例的主视图。
图23C表示实施方式涉及的分裂图像的显示区域的分割图像的一例的主视图。
图24表示实施方式涉及的分裂图像的显示区域的分割图像的一例的主视图。
图25表示实施方式涉及的分裂图像的显示区域的分割图像的一例的主视图。
图26是表示在实施方式涉及的摄像装置的摄像元件上设置的滤色器的排列及遮光部件的配置的一例的概略配置图。
图27是表示第二实施方式涉及的智能手机的外观的一例的立体图。
图28是表示第二实施方式涉及的智能手机的电气系统的要部结构的一例的框图。
具体实施方式
以下，按照附图对本发明涉及的摄像装置的实施方式的一例进行说明。
[第一实施方式]
本实施方式涉及的摄像装置100是镜头更换式相机，如图1所示，包含：相机主体200、能够更换地安装于相机主体200的更换镜头258(摄影镜头、对焦镜头260)，是省略了反射镜的数码相机。另外，在相机主体200上设有混合式取景器(注册商标)220。在此所说的混合式取景器220是指例如选择性地使用光学取景器(以下称为“OVF”)及电子取景器(以下称为“EVF”)的取景器。
相机主体200和更换镜头258通过将相机主体200所具备的卡口256和与卡口256对应的更换镜头258侧的卡口346(参照图3)结合而能够更换地进行安装。另外，在更换镜头258的镜筒上设有对焦环260，伴随着对焦环260的旋转操作，使对焦镜头沿着光轴方向移动，能够在与被摄体距离对应的对焦位置上使被摄体光在后述的摄像元件20(参照图3)上成像。
在相机主体200的前表面设有混合式取景器220中包含的OVF的取景器窗241。另外，在相机主体200的前表面设有取景器切换杆214。当使取景器切换杆214向箭头SW方向转动时，在通过OVF能够目视确认的光学图像和通过EVF能够目视确认的电子图像(即时预览图像)之间切换(后述)。另外，OVF的光轴L2是与更换镜头258的光轴L1不同的光轴。另外，在相机主体200的上表面主要设有释放开关211及用于设定摄影模式、重放模式等的拨盘212。
释放开关211构成为能够检测出两个阶段的按压操作，该两个阶段的按压操作是指从待机位置按下至中间位置(半按位置)的状态和按下至超过了中间位置的最终按下位置(全按位置)的状态。另外，在下文中，将“从待机位置按下至半按位置的状态”称为“半按状态”，将“从待机位置按下至全按位置的状态”称为“全按状态”。在本第一实施方式涉及的摄像装置100中，通过使释放开关211成为半按状态而执行后述的确认图像显示处理，之后，接着当成为全按状态时进行曝光(摄影)。
如图2所示，在相机主体200的背面设有OVF的取景器目镜242、显示部213、十字键222、菜单/OK键224、返回/DISP按钮225。
十字键222作为输出菜单的选择、变焦、逐帧播放等各种命令信号的多功能键发挥作用。菜单/OK键224是兼备作为用于进行在显示部213的画面上显示菜单的指令的菜单按钮的功能和作为指示选择内容的确定及执行等的确定按钮的功能的操作键。返回/DISP按钮225在选择项目等所希望的对象的消除、指定内容的取消、或者返回到上一个操作状态时等使用。
显示部213例如由LCD实现，用于摄影模式时以连续帧拍摄而得到的连续帧图像的一例即即时预览图像(实时取景图像)的显示。另外，显示部213也用于在收到静止图像摄影的指示的情况下以单帧拍摄而得到的单帧图像的一例即静止图像的显示。进而，显示部213还用于重放模式时的重放图像的显示、菜单画面等的显示。
摄像装置100是记录所拍摄的静止图像、动态图像的数码相机，相机整体的动作由图3所示的CPU(Central Processing Unit：中央处理单元)12统一控制。如该图所示，摄像装置100除了CPU12之外，还包含操作部14、接口部24、存储器26及编码器34。另外，摄像装置100包含本发明涉及的显示控制单元的一例即显示控制部36、目镜检测部37及外部接口(I/F)39。另外，摄像装置100包含本发明涉及的生成单元及视差计算单元的一例即图像处理部28。
CPU12、操作部14、接口部24、存储器26、图像处理部28、编码器34、显示控制部36、目镜检测部37及外部接口(I/F)39经由总线40而相互连接。另外，存储器26具有存储有参数、程序等的非易失性存储区域(作为一例有EEPROM等)和临时存储图像等各种信息的易失性存储区域(作为一例有SDRAM等)。
另外，在本第一实施方式涉及的摄像装置100中，CPU12以使通过拍摄获得的图像的对比度值成为最大的方式对调焦马达进行驱动控制，从而进行对焦控制。另外，CPU12算出表示通过拍摄获得的图像的亮度的物理量即AE信息。在释放开关211成为半按状态时，CPU12导出与由AE信息表示的图像的亮度对应的快门速度及F值。并且，通过对相关各部进行控制以成为导出的快门速度及F值，从而进行曝光状态的设定。
操作部14是对摄像装置100发出各种指示时由操作者操作的用户接口。通过操作部14接收到的各种指示作为操作信号而向CPU12输出，CPU12执行与从操作部14输入的操作信号对应的处理。
操作部14包括：释放开关211、拨盘212、显示部213、取景器切换杆214、十字键222、菜单/OK键224及返回/DISP按钮225。
当通过拨盘212设定了摄影模式时，表示被摄体的图像光经由包含能够通过手动操作移动的对焦镜头的摄影镜头16及快门18在彩色摄像元件(作为一例有CMOS传感器)20的受光面上成像。积蓄在摄像元件20的信号电荷通过从设备控制部22施加的读出信号作为与信号电荷(电压)对应的数字信号而被依次读出。摄像元件20具有所谓电子快门功能，通过使电子快门功能工作，通过读出信号的时机来控制各光传感器的电荷积蓄时间(快门速度)。另外，本第一实施方式涉及的摄像元件20是CMOS型的图像传感器，但也不限于此，也可以是CCD图像传感器。
在摄像元件20中，作为一例，设有图4所示的滤色器21。另外，在图4所示的例子中，作为像素数的一例采用(4896×3264)像素，作为纵横比采用3：2，但像素数及纵横比并不限于此。作为一例，如图4所示，滤色器21包含：最有助于获得亮度信号的与G(绿)对应的第一滤光片G、与R(红)对应的第二滤光片R及与B(蓝)对应的第三滤光片B。第一滤光片G(以下称为G滤光片)、第二滤光片(以下称为R滤光片)及第三滤光片(以下称为B滤光片)的排列图案被分类成第一排列图案A和第二排列图案B。
在第一排列图案A中，G滤光片配置在3×3像素的正方排列的四角及中央的像素上。在第一排列图案A中，R滤光片配置在正方排列的水平方向上的中央的垂直线上。在第一排列图案A中，B滤光片配置在正方排列的垂直方向上的中央的水平线上。第二排列图案B是G滤光片的配置与第一基本排列图案A相同，且和第一基本排列图案A相比，将R滤光片的配置和B滤光片的配置调换而成的图案。滤色器21包含由与6×6像素对应的正方排列图案构成的基本排列图案C。基本排列图案C是第一排列图案A和第二排列图案B点对称地配置而成的6×6像素的图案，滤色器21中，基本排列图案C沿着水平方向及垂直方向反复配置。即，在滤色器21中，R、G、B各色的滤光片(R滤光片、G滤光片及B滤光片)以预定的周期性排列。因此，在进行从摄像元件20读出的R、G、B信号的去马赛克算法(插值)处理等时，可以按照重复图案进行处理。
另外，在以基本排列图案C为单位进行间拔处理而缩小图像的情况下，进行过间拔处理的缩小图像的滤色器排列可以与间拔处理前的滤色器排列相同，可以使用共同的处理电路。
滤色器21中，与最有助于获得亮度信号的颜色(在本第一实施方式中为G色)对应的G滤光片配置在滤色器排列的水平、垂直及倾斜方向的各行内。因此，无论成为高频的方向如何都能够提高高频区域中的去马赛克算法处理的再现精度。
滤色器21中，与上述G色以外的两种颜色以上的其他颜色(在本第一实施方式中为R、B色)对应的R滤光片和B滤光片配置在滤色器排列的水平方向及垂直方向的各行内。因此，能够抑制彩色莫尔条纹(伪色)的产生，由此，可以不将用于抑制伪色的产生的光学低通滤光器配置在从光学系统的入射面到摄像面为止的光路上。另外，即使在适用光学低通滤光器的情况下，也能够适用用于防止伪色产生的切断高频成分的功能较弱的光学低通滤光器，因此不会有损分辨率。
基本排列图案C还可以是以虚线的框围成的3×3像素的第一排列图案A和以单点划线的框围成的3×3像素的第二排列图案B沿着水平、垂直方向交替地排列而成的排列。
第一排列图案A及第二排列图案B中，分别为亮度系像素的G滤光片配置于四角及中央，配置在两对角线上。另外，第一排列图案A中，B滤光片隔着中央的G滤光片沿着水平方向排列，R滤光片隔着中央的G滤光片沿着垂直方向排列。另一方面，第二排列图案B中，R滤光片隔着中央的G滤光片沿着水平方向排列，B滤光片隔着中央的G滤光片沿着垂直方向排列。即，第一排列图案A和第二排列图案B中，R滤光片和B滤光片的位置关系颠倒，但其他配置是相同的。
另外，第一排列图案A和第二排列图案B的四角的G滤光片作为一例如图5所示，第一排列图案A和第二排列图案B沿着水平、垂直方向交替地配置，从而形成与2×2像素对应的正方排列的G滤光片。关于作为一例如图5所示的由取出的G滤光片构成的2×2像素，算出水平方向的G像素的像素值的差的绝对值、垂直方向的G像素的像素值的差的绝对值、倾斜方向(右上斜向、左上斜向)的G像素的像素值的差的绝对值。由此，可以判断出水平方向、垂直方向及倾斜方向中的、差的绝对值小的方向存在相关性。即，可以使用最小像素间隔的G像素的信息来判别水平方向、垂直方向及倾斜方向中的相关性高的方向。该判别结果可以用于根据周围的像素进行插值的处理(去马赛克算法处理)。
滤色器21的基本排列图案C相对于该基本排列图案C的中心(4个G滤光片的中心)点对称地配置。另外，基本排列图案C内的第一排列图案A及第二排列图案B也分别相对于中心的G滤光片点对称地配置。因此，能够减小或简化后段的处理电路的电路规模。
作为一例，如图6所示，在基本排列图案C中，水平方向的第一至第六行中的第一及第三行的滤色器排列为GRGGBG。第二行的滤色器排列为BGBRGR。第四及第六行的滤色器排列为GBGGRG。第五行的滤色器排列为RGRBGB。在图6所示的例子中示出了基本排列图案C、C'、C″。
本实施方式涉及的摄像装置100具有相位差AF功能。另外，本实施方式涉及的摄像元件20包含在使相位差AF功能工作的情况下使用的多个相位差检测用的像素。该多个相位差检测用的像素以预先规定的图案配置。
作为一例，如图7所示，相位差检测用的像素是水平方向的左半边被遮光的第一像素L及水平方向的右半边被遮光的第二像素R的任一像素。另外，以下，在没有必要区别第一像素L及第二像素R进行说明的情况下，称为“相位差像素”。
作为一例，如图8所示，第一像素L具有遮光部件20A，第二像素R具有遮光部件20B。遮光部件20A设于光电二极管PD的前表面侧(微透镜M侧)，对受光面的左半部分进行遮光。另一方面，遮光部件20B设于光电二极管PD的前表面侧，对受光面的右半部分进行遮光。
微透镜M及遮光部件20A、20B作为光瞳分割部发挥功能，第一像素L仅仅对通过摄影镜头16的射出光瞳的光束的光轴的左侧进行受光，第二像素R仅仅对通过摄影镜头16的射出光瞳的光束的光轴的右侧进行受光。这样一来，通过射出光瞳的光束通过作为光瞳分割部的微透镜M及遮光部件20A、20B而被左右分割，分别入射到第一像素L及第二像素R。
另外，通过摄影镜头16的射出光瞳的光束中的左半部分的光束所对应的被摄体像和右半部分的光束所对应的被摄体像中的、对焦(处于对焦状态)的部分在摄像元件20上的相同位置成像。对此，在被摄体之前对焦的前焦点或在被摄体之后对焦的后焦点的部分分别入射到摄像元件20上的不同位置(相位错开)。由此，与左半部分的光束对应的被摄体像和与右半部分的光束对应的被摄体像可以作为视差不同的视差图像(左眼图像、右眼图像)获得。
本实施方式涉及的摄像装置100基于第一像素L的像素值和第二像素R的像素值来检测相位的偏差量。并且，通过提示检测出的相位的偏差量，对基于用户操作的摄影镜头16的焦点位置的调整进行辅助。另外，以下，在没有必要区别遮光部件20A、20B进行说明的情况下，称为“遮光部件”。
本实施方式涉及的摄像元件20分类成第一像素组、第二像素组及第三像素组。第一像素组例如是指多个第一像素L。第二像素组例如是指多个第二像素R。第三像素组例如是指多个正常像素。在此所说的“正常像素”是指例如相位差像素以外的像素(例如不具有遮光部件20A、20B的像素)。另外，以下，将由从第一像素组输出的图像信号表示的RAW图像称为“第一图像”。另外，将由从第二像素组输出的图像信号表示的RAW图像称为“第二图像”。进而，将由从第三像素组输出的图像信号表示的RAW图像称为“第三图像”。
第一像素组及第二像素组所包含的各像素在第一像素组和第二像素组之间配置在水平方向上的位置在1像素内对齐的位置。另外，第一像素组及第二像素组所包含的各像素在第一像素组和第二像素组之间配置在垂直方向上的位置也在1像素内对齐的位置。在图7所示的例子中，在水平方向和垂直方向上，第一像素L和第二像素R分别呈直线状地隔开多个像素的间隔交替地配置。
在图7所示的例子中，将第一像素组及第二像素组所包含的各像素的位置在水平方向及垂直方向上分别位于在1像素内对齐的位置，也可以是在水平方向和垂直方向的至少一方收敛在预定像素数内(例如2像素以内)的位置。另外，为了最大限度地抑制因焦点偏差以外的要因而产生图像偏差，作为一例，如图7所示，优选将第一像素组及第二像素组所包含的各像素的位置在水平方向及垂直方向上分别配置于在1像素内对齐的位置。
相位差像素作为一例，如图7所示，设置为与2×2像素对应的正方排列的G滤光片的像素。即，在图7所示的例子中，2×2像素的G滤光片的图7的主视图右下角的像素被分配为相位差像素。
这样一来，在滤色器21中，针对2×2像素的G滤光片的右下角部的像素设置遮光部件，在垂直方向及水平方向上均隔开多个像素量的间隔而将相位差像素规则地配置。因此，在相位差像素的周围较多地配置正常像素，因此能够提高根据正常像素的像素值对相位差像素的像素值进行插值的情况下的插值精度。并且，以在相位差像素间用于插值的正常像素不重复的方式配置有第一至第三像素组所包含的各像素，因此能够期待插值精度的进一步提高。
返回到图3，摄像元件20从第一像素组输出表示第一图像的图像信号(表示各第一像素的像素值的数字信号)，从第二像素组输出表示第二图像的图像信号(表示各第二像素的像素值的数字信号)。另外，摄像元件20从第三像素组输出表示第三图像的图像信号(表示各正常像素的像素值的数字信号)。另外，上述第三图像是彩色图像，例如是与正常像素的排列相同的彩色排列的彩色图像。另外，表示上述第一图像、上述第二图像及上述第三图像的图像数据经由接口部24临时存储于存储器26中的易失性存储区域。
另外，图像处理部28具有正常处理部30。正常处理部30通过处理与第三像素组对应的R、G、B信号来生成作为第一显示用图像的一例的彩色的正常图像。另外，图像处理部28具有分裂图像处理部32。分裂图像处理部32通过处理与第一像素组及第二像素组对应的G信号来生成作为第二显示用图像的一例的无彩色的分裂图像。另外，本第一实施方式涉及的图像处理部28作为一例由将实现图像处理涉及的多个功能的电路归纳为一个的集成电路即ASIC(Application SpecificIntegrated Circuit：专用集成电路)实现。在此，CPU12进行如下控制：执行后述的确认图像显示处理程序，使分裂图像处理部32生成分裂图像，使生成的分裂图像显示于显示部213。但是，图像处理部28的硬件结构并不限定于ASIC，例如也可以是可编程逻辑器件或包含CPU、ROM及RAM的计算机等其他硬件结构。
另一方面，编码器34将输入的信号转换成其他形式的信号并输出。另外，混合式取景器220具有显示电子图像的LCD247。LCD247中的预定方向的像素数(作为一例是视差产生方向即水平方向的像素数)比显示部213中的相同方向的像素数少。显示控制部36分别与显示部213及LCD247连接，选择性地控制LCD247及显示部213，由此通过LCD247及显示部213显示图像。另外，以下，在没有必要区别显示部213及LCD247进行说明的情况下，称为“显示装置”。
另外，本第一实施方式涉及的摄像装置100构成为能够通过拨盘212切换手动对焦模式和自动对焦模式。当选择任一对焦模式时，显示控制部36使显示装置显示合成了分裂图像的即时预览图像。另外，当通过拨盘212选择了自动对焦模式时，CPU12作为相位差检测部及自动调焦部工作。相位差检测部检测从第一像素组输出的第一图像与从第二像素组输出的第二像素的相位差。自动调焦部以基于检测出的相位差使摄影镜头16的散焦量为零的方式，从设备控制部22经由卡口256、346控制镜头驱动部(图示省略)，使摄影镜头16移动到对焦位置。另外，上述“散焦量”是指例如第一图像及第二图像的相位偏差量。
另外，目镜检测部37检测用户窥视取景器目镜部242的情况，将检测结果向CPU12输出。因此，CPU12可以基于目镜检测部37中的检测结果来掌握取景器目镜部242是否被使用。
进而，外部I/F39与LAN(Local Area Network，局域网)或因特网等通信网络连接，经由通信网络进行外部装置(例如打印机)和CPU12之间的各种信息的收发。因此，在连接有打印机作为外部装置的情况下，摄像装置100能够将拍摄到的静止图像向打印机输出并进行印刷。另外，在连接有显示器作为外部装置的情况下，摄像装置100能够将拍摄到的静止图像或即时预览图像向显示器输出并进行显示。
如图9所示，正常处理部30及分裂图像处理部32分别具有WB增益部、伽马校正部及去马赛克算法处理部(省略图示)，在各处理部中对临时存储于存储器26的原始的数字信号(RAW图像)依次进行信号处理。即，WB增益部通过调整R、G、B信号的增益来执行白平衡(WB)。伽马校正部对在WB增益部中执行了WB的各R、G、B信号进行伽马校正。去马赛克算法处理部进行与摄像元件20的滤色器21的排列对应的颜色插值处理，生成去马赛克算法后的R、G、B信号。另外，正常处理部30及分裂图像处理部32每次通过摄像元件20获取了1画面量的RAW图像，就对该RAW图像并行地进行图像处理。
也可以是，正常处理部30从接口部24输入R、G、B的RAW图像，对于第三像素组的R、G、B像素中的由相位差图像遮光的像素，生成利用第一像素组及第二像素组中的同色的周边像素(例如相邻的G像素)进行插值而得到的图像作为显示用的正常图像及记录用的正常图像。
另外，正常处理部30将生成的记录用的正常图像的图像数据向编码器34输出。由正常处理部30处理过的R、G、B信号由编码器34转换(编码)成记录用的信号，记录于记录部42(参照图9)。另外，正常处理部30将生成的显示用的正常图像的图像数据向显示控制部36输出。另外，以下，为了便于说明，在没有必要将上述“记录用的正常图像”及“显示用的正常图像”区分进行说明的情况下，省略“记录用的”的语句及“显示用的”的语句而称为“正常图像”。
摄像元件20能够改变第一像素组及第二像素组各自的曝光条件(作为一例为电子快门的快门速度)，由此能够同时获取曝光条件不同的图像。因此，图像处理部28能够基于曝光条件不同的图像生成宽动态范围的图像。另外，能够在相同的曝光条件下同时获取多个图像，并能够通过将这些图像相加来生成噪声少的高灵敏度的图像，或者能够生成高分辨率的图像。
另一方面，分裂图像处理部32从临时存储于存储器26的RAW图像提取第一像素组及第二像素组的G信号，基于第一像素组及第二像素组的G信号来生成无彩色的分裂图像。从RAW图像提取的第一像素组及第二像素组分别如上所述是基于G滤光片的像素的像素组。因此，分裂图像处理部32能够基于第一像素组及第二像素组的G信号，生成无彩色的左边的视差图像及无彩色的右边的视差图像。另外，以下，为了便于说明，将上述“无彩色的左边的视差图像”称为“左眼图像”，将上述“无彩色的右边的视差图像”称为“右眼图像”。
分裂图像处理部32通过将基于从第一像素组输出的第一图像的左眼图像和基于从第二像素组输出的第二图像的右眼图像合成来生成分裂图像。将所生成的分裂图像的图像数据输出到显示控制部36。
显示控制部36基于从正常处理部30输入的与第三像素组对应的记录用的图像数据和从分裂图像处理部32输入的与第一、第二像素组对应的分裂图像的图像数据，来生成显示用的图像数据。例如，显示控制部36在由从正常处理部30输入的与第三像素组对应的记录用的图像数据表示的正常图像的显示区域内，合成由从分裂图像处理部32输入的图像数据表示的分裂图像。并且，将合成得到的图像数据向显示装置输出。
由分裂图像处理部32生成的分裂图像是将左眼图像的一部分和右眼图像的一部分合成而成的多个分割的图像。在此所说的“多个分割的图像”例如可以列举出图10所示的分裂图像300。图10所示的分裂图像300是将对左眼图像300A沿着图10的主视图上下方向分割成两个的分割图像中的上半部分的分割图像和对右眼图像300B同样地进行分割的分割图像中的下半部分的分割图像合成得到的图像。分裂图像300是左眼图像300A及右眼图像300B的各分割图像间向预先规定的方向(在本实施方式中是图10的主视图左右方向)错开与对焦状态对应的量而得到的图像。
在本实施方式中，在正常图像301中合成分裂图像300时，通过取代正常图像的一部分的图像而嵌入分裂图像300来进行合成，但合成方法并不限定于此。例如，也可以是在正常图像301上重叠分裂图像300的合成方法。另外，也可以是，在重叠分裂图像300时，适当调整与分裂图像300重叠的区域对应的正常图像301的一部分的图像和分裂图像300的透过率并使其重叠的合成方法。或者，也可以是使正常图像301及分裂图像300以各自不同的层显示。由此，也可以在即时预览图像中的正常图像的显示区域内显示分裂图像300。另外，所谓即时预览图像，是将连续摄影的被摄体像在显示装置的画面上连续地显示时的、表示被摄体像的图像。
混合式取景器220包含OVF240和EVF248。OVF240是具有物镜244和目镜246的逆伽利略式取景器，EVF248具有LCD247、三棱镜245及目镜246。
另外，在物镜244的前方配设有液晶快门243，液晶快门243在使用EVF248时进行遮光以使光学图像不入射到物镜244。
三棱镜245使显示于LCD247的电子图像或各种信息反射并导向目镜246，并且将光学图像与显示于LCD247的信息(电子图像、各种信息)合成。
在此，当将取景器切换杆214向图1所示的箭头SW方向转动时，每次转动时交替地切换能够通过OVF240目视确认光学图像的OVF模式和能够通过EVF248目视确认电子图像的EVF模式。
显示控制部36在OVF模式的情况下以使液晶快门243成为非遮光状态的方式进行控制，能够从取景器目镜部242目视确认光学图像。而且，使LCD247仅显示分裂图像300。由此，能够在光学图像的一部分显示重叠了分裂图像300的取景器图像。
另一方面，显示控制部36在EVF模式的情况下以使液晶快门243成为遮光状态的方式进行控制，从取景器目镜部242仅仅能够目视确认显示于LCD247的电子图像。另外，在LCD247上，输入有与合成了向显示部213输出的分裂图像300的图像数据相同的图像数据，由此，能够与显示部213同样地，在正常图像301的一部分显示合成了分裂图像300的电子图像。
在显示装置中输入有分别表示正常图像301及分裂图像300的图像信号。在该情况下，显示装置作为一例如图10所示，将由所输入的图像信号表示的分裂图像300显示于画面中央部的形成为矩形形状的分裂图像300的显示区域302。另外，显示装置将表示所输入的图像信号的正常图像301显示于分裂图像300的外周区域。另外，在未输入表示分裂图像300的图像信号而仅输入了表示正常图像301的图像信号的情况下，显示装置将由所输入的图像信号表示的正常图像301显示在显示装置的显示区域的整个区域。另外，在未输入表示正常图像301的图像信号而仅输入了表示分裂图像300的图像信号的情况下，显示装置将由所输入的图像信号表示的分裂图像300显示在显示区域302，将周围区域设为空白区域。另外，表示显示区域302的框实际上是不被显示的，但在图10中为了便于说明而示出。
在此，本实施方式涉及的摄像装置100生成将左眼图像300A和右眼图像300B合成得到的分裂图像300，以将生成的分裂图像300收敛在显示区域302内的方式进行显示。此时，例如，根据左眼图像300A及右眼图像300B的显示内容，会存在左眼图像300A和右眼图像300B的偏差的目视确认性降低，用户无法准确地识别被摄体像的对焦状态的情况。
在此，本实施方式涉及的摄像装置100进行生成分裂图像300并进行显示的确认图像显示处理，在分裂图像300中，将左眼图像300A和右眼图像300B分别沿着相反方向从显示区域302切入并错开而配置。
接着，参照图11说明本实施方式涉及的摄像装置100的作用。另外，图11是表示摄像装置100设定成手动对焦，且释放开关211处于半按状态时由CPU12执行的确认图像显示处理程序的处理流程的流程图。该程序预先存储于预定的存储区域(在本实施方式中为存储器26)。
另外，在此，例示了确认图像显示处理由CPU12执行的情况，但本发明并不限定于此，例如也可以是，图像处理部28执行确认图像显示处理程序，从而进行确认图像显示处理。另外，摄像装置100使正常图像301及分裂图像300在显示部213和LCD247的至少一个显示，但在本实施方式中，使分裂图像300在显示部213显示。
首先，在步骤S401中，经由接口部24获取表示基于从第一像素组输出的图像信号的左眼图像300A的图像数据及表示基于从第二像素组输出的图像信号的右眼图像300B的图像数据。另外，获取的各图像数据由CPU12存储于预定的存储区域(例如存储器26)。
在下一步骤S403中，经由接口部24获取表示基于从第三像素组输出的图像信号的正常图像301的图像数据。此时，CPU12获取表示基于从第三像素组输出的图像信号的正常图像301的图像数据，但表示正常图像301的图像数据的获取方法并不限定于此。即，也可以基于分别表示所获取的左眼图像300A及右眼图像300B的图像数据来生成表示正常图像301的图像数据。作为生成表示正常图像301的图像数据的方法，例如可以例示将左眼图像300A或右眼图像300B直接作为正常图像301的方法。另外，也可以是在左眼图像300A或右眼图像300B中相邻的各像素间配置有增补像素，将包围该增补像素的像素的像素值的平均值作为该增补像素的像素值来生成表示正常图像301的图像数据的方法。进而，生成正常图像301的方法也可以是通过将左眼图像300A和右眼图像300B合成来生成正常图像301的方法。
在下一步骤S405中，进行在显示部213显示正常图像301的控制。另外，在本实施方式中，在显示部213显示正常图像301，但并不限定于此，也可以显示在LCD247。另外，在由目镜检测部37检测到用户窥视取景器目镜部242的情况下，在LCD247显示正常图像301，在除此以外的情况下，也可以在显示部213显示正常图像301。
在下一步骤S407中，从存储器26读出表示显示部213中的显示区域302的信息(以下称为“显示区域信息”)。在本实施方式中，在存储器26中，作为上述显示区域信息，预先存储有由各显示装置的显示区域内的预先规定的坐标系表示的、表示显示区域302的范围的信息。
另外，CPU12也可以替代读出显示区域信息，而基于左眼图像300A、右眼图像300B及正常图像301的至少一个来决定显示区域302。在该情况下，CPU12首先在左眼图像300A、右眼图像300B及正常图像301的至少一个图像中提取相邻的像素间的像素值之差为预先规定的第一阈值以上的像素组。另外，在本实施方式中，该第一阈值是像素值的动态范围的十分之一。另外，CPU12进一步提取所提取出的像素组中在同一方向上连续配置了预先规定的第二阈值以上的像素组。另外，在本实施方式中，该第二阈值是左眼图像300A及右眼图像300B的分割图像在分割方向上的长度的三分之一。并且，CPU12将显示装置的显示区域内的作为显示区域302预先规定的尺寸的区域中该区域所包含的上述像素组的面积的总和较大的区域作为显示区域302。由此，将被摄体中的各物体的轮廓线被较多地显示的区域作为显示区域302，左眼图像300A及右眼图像300B的偏差的目视确认变得容易。
在下一步骤S409中，决定左眼图像300A及右眼图像300B各自的分割方向。在本实施方式中，表示上述分割方向的信息(以下称为“分割方向信息”)预先存储于存储器26，通过读出该分割方向信息来决定上述分割方向。
另外，CPU12也可以替代读出分割方向信息，而基于左眼图像300A、右眼图像300B及正常图像301的至少一个来决定上述分割方向。此时，CPU12首先在左眼图像300A、右眼图像300B及正常图像301的至少一个图像中提取相邻的像素间的像素值之差为预先规定的第三阈值以上的像素组。另外，在本实施方式中，该第三阈值是像素值的动态范围的十分之一。另外，CPU12进一步提取所提取出的像素组中在同一方向上连续配置了预先规定的第四阈值以上的像素组。另外，在本实施方式中，该第二阈值是左眼图像300A及右眼图像300B的分割图像在分割方向上的长度的二分之一。并且，CPU12将提取出的像素组中各像素连续的方向作为上述分割方向。另外，在提取出的像素组为多个的情况下，也可以将各像素组中各像素连续的方向中的、上述像素值之差最大的像素组中各像素连续的方向或者连续的像素最多的像素组中各像素连续的方向作为上述分割方向。
在下一步骤S411中，从存储器26读出表示左眼图像300A及右眼图像300B各自的分割数的信息(以下称为“分割数信息”)。在本实施方式中，在存储器26中预先存储有该分割数信息。
作为一例，如图12所示，显示区域302是显示部213的显示区域的一部分(例如中央部)。另外，上述分割方向是图13的主视图中的上下方向，上述分割数是4。在该情况下，作为一例，如图13所示，CPU12将左眼图像300A和右眼图像300B分别沿着图13的主视图中的上下方向分割成四个区域。
在下一步骤S413中，导出包含构成分裂图像300时的左眼图像300A和右眼图像300B的边界在内的预先规定的区域中的、左眼图像300A与右眼图像300B的视差的视差量。此时，CPU12提取与左眼图像300A及右眼图像300B的上述边界的区域对应的对应点。另外，CPU12将提取出的各对应点的坐标位置的左眼图像300A及右眼图像300B间的偏差量的平均值作为左眼图像300A与右眼图像300B的视差的视差量。另外，在本实施方式中，包含上述边界的预先规定的区域是由距上述边界的距离为预先规定的像素数以内的像素构成的区域，但不限定于此。例如，也可以是，在上述边界存在某个物体的情况下，检测与该物体对应的区域，将检测到的区域作为包含上述边界在内的预先规定的区域。另外，包含上述边界在内的预先规定的区域也可以是在设定为自动对焦模式的情况下作为相位差的检测对象的区域。
在下一步骤S415中，导出生成分裂图像300时的左眼图像300A和右眼图像300B的偏差量。此时，CPU12可以将通过上述步骤S413的处理导出的视差量作为偏差量而直接使用，但是在本实施方式中，为了容易地目视确认左眼图像300A及右眼图像300B的偏差，对偏差量进行强调。
即，如下式(1)所示，通过向左眼图像300A与右眼图像300B的视差的视差量D乘以预先规定的大于1的系数α，导出上述偏差量D'。
[数学式1]
D′＝α×D…(1)
(α＞1)
即，在被摄体像的焦点的偏差小的情况下，与该偏差大的情况相比，视差量D变小，因此即使将左眼图像300A及右眼图像300B错开视差量D的量来显示，也存在用户无法识别偏差的可能性。
因此，作为一例，如图14所示，向视差量D乘以大于1的系数α，从而增大上述偏差量D'，其中被摄体像的焦点位置的偏差量越大，则系数α越大。根据该偏差量D'将左眼图像300A与右眼图像300B错开，从而对左眼图像300A与右眼图像300B间的偏差线性地进行强调。
另外，对左眼图像300A与右眼图像300B之间的偏差进行强调的方法并不限定于此。例如，也可以是，如下式(2)及图15所示，向视差量D的平方乘以大于1的系数α，从而导出上述偏差量D'，其中被摄体像的焦点位置的偏差量越大，则上述系数α越大，并且上述偏差量越大，则上述系数α变大的程度越小。
[数学式2]
D′＝α×D2+β×D…(2)
(α＞1)
根据该偏差量D'将左眼图像300A与右眼图像300B错开，从而对左眼图像300A与右眼图像300B间的偏差非线性地进行强调。另外，式(2)中的β是预先规定的系数。
另外，上述式(1)及式(2)中的系数α、β可以由摄影镜头16的F值或EVF248和摄像元件20的分辨率的关系来决定。即，也可以假定用户目视确认分裂图像300时的目视容易度来决定系数α、β。例如，F值越高，则偏差量越小，因此F值越高，则越增大系数α即可。另外，显示装置的分辨率越高，则将左眼图像300A及右眼图像300B错开带来的效果越低，因此显示装置的分辨率越高，则越增大系数α即可。
在下一步骤S417中，判定是否存在分裂图像300中的左眼图像300A和右眼图像300B的边界即未成为上述步骤S413及S415的处理对象的边界。在步骤S417中为肯定判定的情况下，返回到步骤S413，另一方面，在为否定判定的情况下，转移到步骤S419。
在步骤S419中，通过对分裂图像处理部32输出通过以上处理而得到的分别表示显示区域、分割方向、上分割数及偏差量的信息及指示生成分裂图像300的指示信息，生成分裂图像300。
在本实施方式中，分裂图像处理部32对将左眼图像300A在上述分割方向上分割而得到的多个左眼图像300A的一部分即第一分割图像及将右眼图像300B与左眼图像300A同样地分割而得到的多个右眼图像300B的除与上述第一分割图像对应的区域以外的图像即第二分割图像进行配置。此时，分裂图像处理部32使左眼图像300A及右眼图像300B交替地配置，生成分裂图像300。并且，作为一例，如图16所示，分裂图像处理部32将左眼图像300A及右眼图像300B向与分割方向交叉的交叉方向(在本实施方式中为直行方向)的相反方向错开导出的偏差量D'而配置。此时，利用分别与上述边界对应的偏差量D'，将分别隔着上述边界的左眼图像300A及右眼图像300B错开显示。
另外，在本实施方式中，对应每个上述边界导出偏差量D'，但并不限定于此。即，作为一例，如图17所示，可以导出左眼图像300A与右眼图像300B的区域整体中的视差的视差量的平均值，根据导出的平均值在左眼图像300A及右眼图像300B的区域整体中适用统一的偏差量D'。
在下一步骤S421中，进行如下控制：使由分裂图像处理部32生成的分裂图像300显示在显示部213的显示区域302。
如上所述，在分裂图像300中，左眼图像300A与右眼图像300B的视差的视差量D越大，则偏差量D'越大。例如，在分裂图像300处于图16所示的状态的情况下，通过对焦环260的操作使焦点位置向左眼图像300A与右眼图像300B的视差的视差量变小的方向移动。在该情况下，作为一例，如图18所示，分裂图像300中的左眼图像300A及右眼图像300B的偏差与之前的状态相比变小。即，用户可以在目视确认分裂图像300的同时通过对焦环260的操作使焦点位置向分裂图像300中的左眼图像300A及右眼图像300B的偏差量减小的方向移动，从而使被摄体像对焦。
在下一步骤S423中，判定被摄体像是否对焦。此时，在左眼图像300A与右眼图像300B的视差的视差量在包含0(零)的预先规定的范围内的情况下，CPU12判定为被摄体像已对焦。在步骤S423中为否定判定的情况下，转移到后述的步骤S427。
另一方面，在步骤S423中为肯定判定的情况下，转移到步骤S425，将被摄体像已对焦的情况告知用户之后，转移到步骤S427。在本实施方式中，作为上述告知方法，作为一例，如图19所示，例如可以适用利用预先规定的色彩显示分裂图像300的外周框304的方法、输出预先规定的声音的方法、使分裂图像300自身的色彩变化的方法等。另外，使分裂图像300自身的色彩变化的方法例如也可以适用通过将分裂图像300中的无彩色的左眼图像300A及右眼图像300B置换成正常图像301而以彩色来显示的方法。
在步骤S427中，判定焦点位置是否由于用户进行的对焦环260的操作而被变更。在步骤S427中为肯定判定的情况下，返回到上述的步骤S413，另一方面，在为否定判定的情况下，转移到步骤S429。
在步骤S429中，判定是否通过用户操作输入了摄影指示。此时，在检测到对释放开关211的全按操作的情况下，CPU12判定为输入了摄影指示。在步骤S429中为否定判定的情况下，返回到上述的步骤S427，另一方面，在为肯定判定的情况下，转移到步骤S431。
在步骤S431中，在释放开关211被进行全按操作的时刻，进行将表示正常图像301的图像数据记录到存储器26的摄影处理，结束正式确认图像生成处理程序。另外，上述摄影处理是一般进行的摄影处理，因此省略了此处的说明。
在本实施方式中，即使在将左眼图像300A及右眼图像300B错开显示的情况下，也存在左眼图像300A及右眼图像300B和正常图像301的彩色类似的情况等、用户无法目视确认左眼图像300A及右眼图像300B的偏差量的可能性。在该情况下，作为一例，如图20所示，也可以显示表示分裂图像300中的左眼图像300A及右眼图像300B的上述交叉方向上的端部的图像306。图像306是表示例如左眼图像300A及右眼图像300B与正常图像301的边界线的线状的图像。由此，通过用户目视确认分裂图像300中的图像306的偏差，能够识别左眼图像300A及右眼图像300B的偏差量。
另外，在本实施方式中，利用左眼图像300A及右眼图像300B生成分裂图像300，但并不限于此，也可以使用作为被摄体像显示的正常图像301来生成分裂图像300。即，作为一例，如图21所示，也可以在上述左眼图像300A及右眼图像300B的配置位置分别配置正常图像301。在该情况下，分裂图像300以与作为被摄体像的正常图像301相同的色彩来显示。
另外，如上所示，在除了显示区域302以外的区域显示正常图像301，且从显示区域302切出左眼图像300A及右眼图像300B并错开显示的情况下，如图10及图22的左侧等所示，产生非显示区域303。因此，作为一例，如图22的左侧所示，左眼图像300A及右眼图像300B根据上述偏差量而错开。在该非显示区域303中，作为一例，如图22的右侧所示，可以将正常图像301中的对应的像素的像素值作为该非显示区域303的各像素的像素值。
另外，在本实施方式中，作为一例，如图23A所示，将上述分割方向分割成图23A的主视图中的上下方向，但分割方向并不限定于此，可以是任意方向。即，作为一例，如图23B所示，也可以将上述分割方向作为图13的主视图中的左右方向。
另外，在本实施方式中，作为一例，如图23A所示，上述分割数为4，但分割数并不限定于此，可以是2以上的任意自然数。即，作为一例，如图23C所示，也可以使上述分割数为2。
另外，在本实施方式中，如上所示，对左眼图像300A及右眼图像300B在预先规定的分割方向或导出的分割方向上以预先规定的分割数或导出的分割数进行分割。并且，在CPU12进行显示分裂图像300的控制时，在通过用户操作而指示上述分割方向、上述分割数、上述边界的位置等的变更的情况下，也可以变更上述分割方向、上述分割数、上述边界位置等。作为一例，如图24的左侧所示，也可以将上述分割方向作为图24的主视图中的上下方向，使上述分割数为2来生成分裂图像300。此时，在通过用户操作按压例如十字键222的下方的情况下，作为一例，如图24的右侧所示，CPU12使上述边界的位置向图24的主视图中的下方移动。
另外，本实施方式涉及的摄像装置100具备脸部区域识别单元，该脸部区域识别单元从左眼图像300A、右眼图像300B及正常图像301的至少一个图像识别表示人类的脸部的脸部区域。并且，摄像装置100也可以将由脸部区域识别单元识别出的脸部区域作为分裂图像300的显示区域302。另外，上述脸部区域识别单元从被摄体像检测与构成人类的脸部的眼睛、鼻子、嘴巴等对应的区域，根据各区域的尺寸、配置来识别人类的脸部的区域。但是，脸部区域的识别方法并不限定于此，可以使用一般使用的公知的方法。在本实施方式中，作为一例，如图25所示，将通过脸部区域识别单元在例如正常图像301中识别出的脸部区域310作为分裂图像300的显示区域302。
进而，本实施方式涉及的摄像装置100在滤色器21的G滤光片上设有遮光部件20A或遮光部件20B，但并不限于此。即，作为一例，如图26所示，也可以将相位差像素分别设为G滤光片的像素、R滤光片的像素、B滤光片的像素。在图26所示的例子中，在摄像元件20中，作为配置在各像素上的R滤光片、G滤光片、B滤光片，作为拜耳排列的A面的像素组和B面的像素组在水平方向及垂直方向上相互错开半个间距而配置。另外，上述A面的像素组包含第一像素组，上述B面的像素组包含第二像素组。另外，上述A面的像素组及上述B面的像素组分别包含第三像素组。通过使用该滤色器，能够利用彩色来显示分裂图像300。
[第二实施方式]
在上述第一实施方式中例示了摄像装置100，作为摄像装置100的变形例即便携终端装置，例如可以列举出具有相机功能的便携电话或智能手机、PDA(Personal Digital Assistants：个人数字助理)、便携式游戏机等。以下，以智能手机为例，参照附图进行详细说明。
图27是表示智能手机500的外观的一例的立体图。图27所示的智能手机500具有平板状的壳体502，在壳体502的一面上具备作为显示部的显示面板521和作为输入部的操作面板522成为一体的显示输入部520。另外，壳体502具备：扬声器531、话筒532、操作部540、相机部541。另外，壳体502的结构并不限定于此，例如也可以采用显示部和输入部独立的构成，或者采用具有折叠结构或滑动结构的构成。
图28是表示图27所示的智能手机500的结构的一例的框图。如图28所示，作为智能手机500的主要的构成要素，具备：无线通信部510、显示输入部520、通话部530、操作部540、相机部541、存储部550、外部输入输出部560。另外，作为智能手机500的主要的构成要素，具备：GPS(Global Positioning System：全球定位系统)接收部570、运动传感器部580、电源部590、主控制部501。另外，作为智能手机500的主要功能，具备经由基地站装置和移动通信网进行移动无线通信的无线通信功能。
无线通信部510按照主控制部501的指示，对收纳于移动通信网的基地站装置进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据或流数据等的接收。
显示输入部250是所谓触摸板，具备显示面板521和操作面板522。因此，显示输入部520通过主控制部501的控制，对图像(静止图像及动态图像)、文字信息等进行显示并在视觉上向用户传递信息，并且检测针对所显示的信息的用户操作。另外，在鉴赏所生成的3D的情况下，显示面板521优选是3D显示面板。
显示面板521使用LCD、OELD(Organic Electro-LuminescenceDisplay：有机电致发光显示器)作为显示设备。操作面板522是以使显示在显示面板521的显示面上的图像能够目视确认的方式载置、能够检测出由用户的手指或尖笔操作的一个或多个坐标的设备。当由用户的手指或尖笔操作相关设备时，由于操作而产生的检测信号向主控制部501输出。接着，主控制部501基于接收到的检测信号，检测显示面板521上的操作位置(坐标)。
如图27所示，智能手机500的显示面板521和操作面板522成为一体而构成显示输入部520，但操作面板522以完全覆盖显示面板521的方式配置。在采用该配置的情况下，操作面板522也可以具备对于显示面板521以外的区域也能够检测用户操作的功能。换言之，操作面板522也可以具备：针对与显示面板521重叠的重叠部分的检测区域(以下称为显示区域)和针对除此以外的不与显示面板521重叠的外边缘部分的检测区域(以下称为非显示区域)。
另外，可以使显示区域的大小和显示面板521的大小完全一致，但并不是必须使两者一致。另外，操作面板522也可以具备外边缘部分和除此以外的内侧部分的两个感应区域。进而，外边缘部分的宽度根据壳体502的大小等适当地设计。并且，作为操作面板522所采用的位置检测方式，可以列举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，也可以采用任一方式。
通话部530具备扬声器531及话筒532。通话部530将通过话筒532输入的用户的声音转换成能够由主控制部501处理的声音数据，并向主控制部501输出。另外，通话部530对由无线通信部510或外部输入输出部560接收到的声音数据进行解码并从扬声器531输出。并且，如图27所示，例如，将扬声器531搭载于与设有显示输入部520的面相同的面，能够将话筒532搭载于壳体502的侧面。
操作部540是使用键开关等的硬件键，接收来自用户的指示。例如，如图27所示，操作部540是搭载于智能手机500的壳体502的侧面、用手指将其按下时接通，手指离开时由于弹簧等的复原力而成为断开状态的按钮式开关。
存储部550存储主控制部501的控制程序、控制数据、应用软件、与通信对手的名称、电话号码等建立了对应关系的地址数据、收发的电子邮件的数据。另外，存储部550存储通过Web浏览而下载的Web数据、下载的内容数据。并且，存储部550临时存储流数据等。另外，存储部550具备智能手机内置的内部存储部551和具有能够自由装卸的外部存储器插槽的外部存储部552。另外，构成存储部550的各内部存储部551和外部存储部552使用闪存类型(flash memory type)、硬盘类型(hard disk type)等存储介质来实现。作为存储介质，除此之外，还可以列举出缩微多媒体卡型(multimedia card micro type)、卡类型的存储器(例如MicroSD(注册商标)存储器等)、RAM(Random AccessMemory：随机存取存储器)、ROM(Read Only Memory：只读存储器)。
外部输入输出部560发挥与连接于智能手机500的所有外部设备的接口的作用，用于通过通信等或网络直接或间接地连接到其他外部设备。作为与其他外部设备的通信等，例如可以列举出通用串行总线(USB)、IEEE1394等。作为网络，例如可以列举出因特网、无线LAN、蓝牙(Bluetooth(注册商标))、RFID(Radio Frequency Identification：无线射频识别)、红外线通信(Infrared Data Association：IrDA(注册商标))。另外，作为网络的其他例子，可以列举出UWB(Ultra Wideband(注册商标))、紫蜂(ZigBee(注册商标))等。
作为与智能手机500连接的外部设备，例如可以列举出有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡槽连接的存储卡(Memory card)。作为外部设备的其他例子，可以列举出SIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备。外部音频/视频设备除此之外还可以列举出无线连接的外部音频/视频设备。另外，也可以替代外部音频/视频设备而适用例如有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。
外部输入输出部能够将从这些外部设备传送来的数据向智能手机500的内部的各构成要素传递，或者将智能手机500的内部的数据向外部设备传送。
GPS接收部570按照主控制部501的指示，接收从GPS卫星ST1至STn发送来的GPS信号，执行基于接收到的多个GPS信号的测位运算处理，检测该智能手机500的由纬度、经度、高度构成的位置。GPS接收部570在能够从无线通信部510、外部输入输出部560(例如无线LAN)获取位置信息时，也可以利用该位置信息检测位置。
运动传感器部580具有例如三轴加速度传感器等，按照主控制部501的指示，检测智能手机500的物理性的动作。通过检测智能手机500的物理性的动作，能够检测出智能手机500的移动方向、加速度。将该检测结果向主控制部501输出。
电源部590按照主控制部501的指示，将积蓄于蓄电池(未图示)的电力向智能手机500的各部供给。
主控制部501具备微处理器，按照存储部550所存储的控制程序、控制数据而动作，统一控制智能手机500的各部。另外，主控制部501为了通过无线通信部510进行声音通信、数据通信，具备控制通信系统的各部的移动通信控制功能和应用程序处理功能。
应用程序处理功能可以通过主控制部501按照存储部550所存储的应用软件而动作来实现。作为应用程序处理功能，例如包括控制外部输入输出部560而与对方设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、阅览Web网页的Web浏览功能等。
另外，主控制部501具备基于接收数据、下载的流数据等图像数据(静止图像、动态图像的数据)而将影像显示于显示输入部520等的图像处理功能。所谓图像处理功能是指，主控制部501对上述图像数据进行解码，对该解码结果实施图像处理，将图像显示于显示输入部520的功能。
进而，主控制部501执行对显示面板521的显示控制和检测通过了操作部540、操作面板522的用户操作的操作检测控制。
通过显示控制的执行，主控制部501显示用于启动应用软件的图标、滚动条等软件键，或者显示用于生成电子邮件的窗口。另外，滚动条是指，针对无法收敛于显示面板521的显示区域内的大的图像等，用于接收使图像的显示部分移动的指示的软件键。
另外，通过操作检测控制的执行，主控制部501检测通过了操作部540的用户操作，或者通过操作面板522接收对上述图标的操作、对上述窗口的输入栏的文字列的输入。另外，通过操作检测控制的执行，主控制部501接收通过了滚动条的显示图像的滚动要求。
进而，通过操作检测控制的执行，主控制部501判定对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的不与显示面板521重叠的外边缘部分(非显示区域)。并且，具备接受该判定结果来控制操作面板522的感应区域、软件键的显示位置的触摸板控制功能。
并且，主控制部501还可以检测对操作面板522的手势操作，根据检测出的手势操作来执行预先设定的功能。所谓手势操作是指，不是以往的单纯的触摸操作，而是通过手指等描画轨迹或者同时指定多个位置，或者将它们组合而从多个位置对至少一个位置描画轨迹的操作。
相机部541是利用CMOS、CCD等摄像元件进行摄像的数码相机，具备与图1等所示的摄像装置100同样的功能。
另外，相机部541可以切换手动对焦模式和自动对焦模式。当选择了手动对焦模式时，能够通过对操作部540或显示于显示输入部520的对焦用的图标按钮等进行操作，进行相机部541的摄影镜头16的对焦。并且，在手动对焦模式时，使合成了分裂图像的即时预览图像显示于显示面板521，由此能够确认手动对焦时的对焦状态。另外，也可以将图9所示的混合式取景器220设置于智能手机500。
另外，相机部541通过主控制部501的控制，将通过拍摄获得的图像数据转换成例如JPEG(Joint Photographic coding Experts Group)等压缩后的图像数据。并且，可以将转换获得的图像数据记录于存储部550，或者通过外部输入输出部560、无线通信部510而输出。在图27所示的智能手机500中，相机部541搭载于与显示输入部520相同的面，但相机部541的搭载位置不限于此，也可以搭载于显示输入部520的背面，或者也可以搭载有多个相机部541。另外，在搭载有多个相机部541的情况下，也可以切换用于摄像的相机部541而单独地摄像，或者同时使用多个相机部541进行摄像。
另外，相机部541可以用于智能手机500的各种功能。例如，能够将由相机部541获取的图像显示于显示面板521，或者利用相机部541的图像作为操作面板522的操作输入之一。另外，在GPS接收部570检测位置时，还可以参照来自相机部541的图像来检测位置。进而，还可以参照来自相机部541的图像，不使用三轴加速度传感器，或者与三轴加速度传感器并用地判断智能手机500的相机部541的光轴方向，或者判断当前的使用环境。当然，也可以将来自相机部541的图像在应用软件内使用。
除此以外，还可以在静止图像或动画的图像数据附加各种信息并记录于存储部550，或者通过外部输入输出部560、无线通信部510而输出。作为在此所说的“各种信息”，例如可以列举出，在静止图像或动画的图像数据中由GPS接收部570获取的位置信息、由话筒532获取的声音信息(可以通过主控制部等进行声音文本转换而成为文本信息)。除此之外，也可以是由运动传感器部580获取的姿势信息等。
另外，在上述各实施方式中，例示了具有第一至第三像素组的摄像元件20，但本发明并不限定于此，也可以是仅由第一像素组及第二像素组构成的摄像元件。具有这种摄像元件的数码相机可以基于从第一像素组输出的第一图像及从第二像素组输出的第二图像生成三维图像(3D图像)，也可以生成二维图像(2D图像)。在该情况下，二维图像的生成通过例如在第一图像及第二图像的相互的同色的像素间进行插值处理来实现。另外，也可以不进行插值处理，而将第一图像或第二图像作为二维图像采用。
在上述各实施方式中，列举出在正常图像301的显示区域内显示分裂图像300的例子进行了说明，但本发明并不限于此，也可以不在显示装置显示正常图像301而显示分裂图像300。另外，在上述各实施方式中，在显示装置的显示区域的一部分显示分裂图像300，但并不限定于此，也可以在显示装置的显示区域的整体显示分裂图像300。这样一来，本发明并不限定于在显示装置的同一画面同时显示正常图像301和分裂图像300双方的方式。例如，本发明也可以在被指示了分裂图像300的显示的状态下，在解除了正常图像301的显示指示的情况下，显示控制部36进行如下控制：在显示装置不显示正常图像301而显示分裂图像300。
另外，日本申请特愿2012-205869号的全部公开内容通过参照援引于本说明书。说明书中记载的所有文献、专利申请及技术规格与具体且逐个地记载各个文献、专利申请及技术规格通过参照而被援引的情况相同程度地通过参照援引于本说明书中。
附图标记说明
12 CPU
20 摄像元件
26 存储器
28 图像处理部
30 正常处理部
32 分裂图像处理部
36 显示控制部
100 摄像装置
213 显示部
241 LCD

Claims (15)

1.一种图像处理装置，具备：
生成单元，基于从具有第一像素组及第二像素组的摄像元件输出的图像信号生成第一显示用图像，且根据基于从上述第一像素组及第二像素组输出的图像信号的第一图像及第二图像生成用于对焦确认的第二显示用图像，上述第一像素组及第二像素组对通过了摄像镜头中的第一区域及第二区域的被摄体像进行光瞳分割而分别成像；
视差计算单元，算出表示上述第一图像的各像素与上述第二图像的对应的各像素之间的偏差量的视差；
显示单元，显示图像；及
显示控制单元，对上述显示单元进行如下控制：使上述显示单元显示由上述生成单元生成的上述第一显示用图像，且在该第一显示用图像的显示区域内显示由上述生成单元生成的上述第二显示用图像，
上述生成单元生成将第一分割图像和第二分割图像如下配置而得到的上述第二显示用图像，上述第一分割图像是对上述第一图像在预先规定的分割方向上进行分割而得到的多个分割图像的一部分，上述第二分割图像是对上述第二图像与上述第一图像同样地进行分割而得到的多个分割图像的除与上述第一分割图像对应的区域以外的图像，将上述第一分割图像和第二分割图像向与上述分割方向交叉的交叉方向的相反方向错开与上述视差相应的量而配置。
2.根据权利要求1所述的图像处理装置，其中，
上述生成单元将上述第一分割图像和上述第二分割图像在上述分割方向上交替地配置来生成上述第二显示用图像。
3.根据权利要求1或2所述的图像处理装置，其中，
上述视差计算单元算出包含上述第一分割图像及上述第二分割图像的边界在内的预先规定的区域中的上述视差。
4.根据权利要求1～3中任一项所述的图像处理装置，其中，
上述生成单元在上述第一图像和上述第二图像的至少一方提取相邻像素间的像素值之差为预先规定的第一阈值以上且在同一方向上连续配置了预先规定的第二阈值以上的像素组，将提取出的像素组中各像素连续配置的方向的任一方向作为上述分割方向来生成上述第二显示用图像。
5.根据权利要求1～4中任一项所述的图像处理装置，其中，
上述生成单元将由上述视差计算单元算出的上述视差乘以预先规定的大于1的系数而得到的值作为与上述视差相应的量来生成上述第二显示用图像。
6.根据权利要求5所述的图像处理装置，其中，
上述生成单元将由上述视差计算单元算出的上述视差乘以大于1的系数而得到的值作为与上述视差相应的量来生成上述第二显示用图像，其中上述视差越大，则上述系数越大，并且上述视差越大，则上述系数变大的程度越小。
7.根据权利要求1～6中任一项所述的图像处理装置，其中，
上述生成单元在上述第一图像和上述第二图像的至少一方提取相邻像素间的像素值之差大于预先规定的阈值的像素组，将预先规定的尺寸的区域即该区域内所包含的上述像素组的面积的总和为最大的区域作为成为上述第二显示用图像的生成对象的区域来生成上述第二显示用图像。
8.根据权利要求1～7中任一项所述的图像处理装置，其中，
还具备脸部区域提取单元，该脸部区域提取单元从上述第一图像和上述第二图像的至少一方提取与脸部对应的脸部区域，
上述生成单元将由上述脸部区域提取单元提取出的脸部区域作为成为上述第二显示用图像的生成对象的区域来生成上述第二显示用图像。
9.根据权利要求1～8中任一项所述的图像处理装置，其中，
上述生成单元通过将第三分割图像和第四分割图像向上述交叉方向的相反方向错开与上述视差相应的距离而配置来生成上述第二显示用图像，上述第三分割图像是对基于从第三像素组输出的图像信号的第三图像在上述分割方向上进行分割而得到的多个分割图像的一部分，上述第四分割图像是该多个分割图像中的除与上述第三分割图像对应的区域以外的图像，上述第三像素组不对被摄体像进行光瞳分割而成像并输出表示上述第三图像的上述图像信号。
10.根据权利要求1～9中任一项所述的图像处理装置，其中，
上述生成单元生成基于从第三像素组输出的图像信号的第三图像作为上述第二显示用图像，上述第三像素组不对被摄体像进行光瞳分割而成像并输出表示上述第三图像的上述图像信号。
11.根据权利要求1～10中任一项所述的图像处理装置，其中，
上述显示控制单元进行如下控制：在上述显示单元进一步显示表示上述第二显示用图像的上述交叉方向的端部的图像。
12.根据权利要求1～11中任一项所述的图像处理装置，其中，
在上述显示单元的显示区域中的除显示上述第二显示用图像的预先规定的第一显示用区域以外的显示区域即第二显示用区域中，使上述第二显示用图像与该第一显示用图像重叠地显示的情况下，上述显示控制单元通过将上述第一分割图像和上述第二分割图像错开配置，将上述第一显示用区域中不存在与上述第二显示用图像对应的像素的区域的像素的像素值作为上述第一显示用图像中与该区域对应的像素的像素值来显示上述第二显示用图像。
13.一种摄像装置，具备：
权利要求1～12中任一项所述的图像处理装置；
上述摄影镜头；及
经由上述摄影镜头获取被摄体像作为图像信号的摄像元件。
14.一种程序，用于使计算机作为如下单元发挥功能：
生成单元，基于从具有第一像素组及第二像素组的摄像元件输出的图像信号生成第一显示用图像，且根据基于从上述第一像素组及第二像素组输出的图像信号的第一图像及第二图像生成用于对焦确认的第二显示用图像，上述第一像素组及第二像素组对通过了摄像镜头中的第一区域及第二区域的被摄体像进行光瞳分割而分别成像；
视差计算单元，算出表示上述第一图像的各像素与上述第二图像的对应的各像素之间的偏差量的视差；及
显示控制单元，进行如下控制：使显示单元显示由上述生成单元生成的上述第一显示用图像，且在该第一显示用图像的显示区域内显示由上述生成单元生成的上述第二显示用图像，
上述生成单元生成将第一分割图像和第二分割图像如下配置而得到的上述第二显示用图像，上述第一分割图像是对上述第一图像在预先规定的分割方向上进行分割而得到的多个分割图像的一部分，上述第二分割图像是对上述第二图像与上述第一图像同样地进行分割而得到的多个分割图像的除与上述第一分割图像对应的区域以外的图像，将上述第一分割图像和上述第二分割图像向与上述分割方向交叉的交叉方向的相反方向错开与上述视差相应的量而配置。
15.一种图像处理方法，具有：
生成步骤，基于从具有第一像素组及第二像素组的摄像元件输出的图像信号生成第一显示用图像，且根据基于从上述第一像素组及第二像素组输出的图像信号的第一图像及第二图像生成用于对焦确认的第二显示用图像，上述第一像素组及第二像素组对通过了摄像镜头中的第一区域及第二区域的被摄体像进行光瞳分割而分别成像；
视差计算步骤，算出表示上述第一图像的各像素与上述第二图像的对应的各像素之间的偏差量的视差；及
显示控制步骤，进行如下控制：使显示单元显示由上述生成步骤生成的上述第一显示用图像，且在该第一显示用图像的显示区域内显示由上述生成单元生成的上述第二显示用图像，
在上述生成步骤中生成将第一分割图像和第二分割图像如下配置而得到的上述第二显示用图像，上述第一分割图像是对上述第一图像在预先规定的分割方向上进行分割而得到的多个分割图像的一部分，上述第二分割图像是对上述第二图像与上述第一图像同样地进行分割而得到的多个分割图像的除与上述第一分割图像对应的区域以外的图像，将上述第一分割图像和上述第二分割图像向与上述分割方向交叉的交叉方向的相反方向错开与上述视差相应的量而配置。
CN201380033348.4A 2012-09-19 2013-07-17 图像处理装置、摄像装置及图像处理方法 Active CN104782110B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012205869 2012-09-19
JP2012-205869 2012-09-19
PCT/JP2013/069447 WO2014045689A1 (ja) 2012-09-19 2013-07-17 画像処理装置、撮像装置、プログラム及び画像処理方法

Publications (2)

Publication Number Publication Date
CN104782110A true CN104782110A (zh) 2015-07-15
CN104782110B CN104782110B (zh) 2018-09-14

Family

ID=50341015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380033348.4A Active CN104782110B (zh) 2012-09-19 2013-07-17 图像处理装置、摄像装置及图像处理方法

Country Status (4)

Country Link
US (1) US9485430B2 (zh)
JP (1) JP5931206B2 (zh)
CN (1) CN104782110B (zh)
WO (1) WO2014045689A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108141514A (zh) * 2015-09-30 2018-06-08 富士胶片株式会社 摄影装置及其控制方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104396227B (zh) * 2012-06-01 2016-10-12 富士胶片株式会社 摄像装置
WO2014006783A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 撮像装置及び画像処理方法
CN104508551B (zh) * 2012-07-24 2016-01-20 富士胶片株式会社 相机及其动作控制方法
WO2014017175A1 (ja) * 2012-07-24 2014-01-30 富士フイルム株式会社 カメラおよびその動作制御方法
JP5937690B2 (ja) * 2012-09-19 2016-06-22 富士フイルム株式会社 撮像装置及びその制御方法
CN104641626B (zh) * 2012-09-19 2018-02-27 富士胶片株式会社 摄像装置及对焦确认显示方法
CN105026976B (zh) * 2013-03-29 2017-05-03 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
JP6364259B2 (ja) * 2014-07-02 2018-07-25 オリンパス株式会社 撮像装置、画像処理方法、及び画像処理プログラム
US10157032B2 (en) * 2014-12-04 2018-12-18 Henge Docks Llc Method for logically positioning multiple display screens
US20160295122A1 (en) * 2015-04-03 2016-10-06 Canon Kabushiki Kaisha Display control apparatus, display control method, and image capturing apparatus
JP2017143355A (ja) * 2016-02-08 2017-08-17 キヤノン株式会社 画像符号化装置及び方法及び撮像装置
CN106357967B (zh) * 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
CN110915196B (zh) * 2017-07-24 2023-01-10 索尼公司 成像设备、图像处理方法和程序

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102062991A (zh) * 2009-11-09 2011-05-18 佳能株式会社 焦点检测设备
US8085337B2 (en) * 2007-12-13 2011-12-27 Canon Kabushiki Kaisha Image-pickup apparatus
CN102385168A (zh) * 2010-09-03 2012-03-21 索尼公司 将像素矩阵划分为子组的立体成像方法和系统
CN102547109A (zh) * 2010-12-10 2012-07-04 索尼公司 成像装置和成像设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001309210A (ja) * 2000-04-27 2001-11-02 Minolta Co Ltd デジタルカメラ
US8279318B2 (en) * 2007-12-14 2012-10-02 Canon Kabushiki Kaisha Image pickup apparatus and display control method for the same
JP5294794B2 (ja) * 2007-12-14 2013-09-18 キヤノン株式会社 撮像装置及び画像表示方法
JP5043730B2 (ja) * 2008-03-24 2012-10-10 キヤノン株式会社 撮像装置、その制御方法、画像処理装置及び画像処理方法
JP5207819B2 (ja) * 2008-05-13 2013-06-12 キヤノン株式会社 撮像装置
JP5829018B2 (ja) * 2010-11-22 2015-12-09 オリンパス株式会社 撮像装置
JP5623254B2 (ja) * 2010-11-29 2014-11-12 キヤノン株式会社 撮像装置およびその制御方法
CN104169795B (zh) * 2012-03-16 2016-05-18 富士胶片株式会社 图像显示装置、将该图像显示装置作为取景器装置搭载的摄影装置以及图像显示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8085337B2 (en) * 2007-12-13 2011-12-27 Canon Kabushiki Kaisha Image-pickup apparatus
CN102062991A (zh) * 2009-11-09 2011-05-18 佳能株式会社 焦点检测设备
CN102385168A (zh) * 2010-09-03 2012-03-21 索尼公司 将像素矩阵划分为子组的立体成像方法和系统
CN102547109A (zh) * 2010-12-10 2012-07-04 索尼公司 成像装置和成像设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108141514A (zh) * 2015-09-30 2018-06-08 富士胶片株式会社 摄影装置及其控制方法
US10567662B2 (en) 2015-09-30 2020-02-18 Fujifilm Corporation Imaging device and control method therefor using shift direction calculation
CN108141514B (zh) * 2015-09-30 2020-06-30 富士胶片株式会社 摄影装置及其控制方法

Also Published As

Publication number Publication date
JP5931206B2 (ja) 2016-06-08
US20150103210A1 (en) 2015-04-16
US9485430B2 (en) 2016-11-01
CN104782110B (zh) 2018-09-14
WO2014045689A1 (ja) 2014-03-27
JPWO2014045689A1 (ja) 2016-08-18

Similar Documents

Publication Publication Date Title
CN104782110A (zh) 图像处理装置、摄像装置、程序及图像处理方法
CN104365089B (zh) 摄像装置及图像显示方法
CN104221369B (zh) 摄像元件以及使用该摄像元件的摄像装置和摄像方法
CN104221370B (zh) 图像处理装置、摄像装置以及图像处理方法
CN104871058B (zh) 图像处理装置、摄像装置及图像处理方法
JP5753321B2 (ja) 撮像装置及び合焦確認表示方法
CN105580349A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN104885440B (zh) 图像处理装置、摄像装置及图像处理方法
CN104737528B (zh) 摄像装置以及图像显示方法
CN104641624B (zh) 图像处理装置、摄像装置及图像处理方法
US9277201B2 (en) Image processing device and method, and imaging device
CN104380168A (zh) 摄像装置及自动调焦方法
CN104205809A (zh) 固体摄像元件、摄像装置及固体摄像元件的驱动方法
CN104755981B (zh) 图像处理装置、摄像装置及图像处理方法
US9288472B2 (en) Image processing device and method, and image capturing device
US9596455B2 (en) Image processing device and method, and imaging device
CN104919789A (zh) 图像处理装置、摄像装置、程序及图像处理方法
CN104396227B (zh) 摄像装置
CN104641625A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN104903769B (zh) 图像处理装置、摄像装置及图像处理方法
CN104247412B (zh) 图像处理装置、摄像装置、图像处理方法、记录介质以及程序
CN103329549B (zh) 立体视频处理器、立体成像装置和立体视频处理方法
JP5744642B2 (ja) 画像処理装置および画像処理方法、プログラム。
CN104737527A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
JP2013078038A (ja) 撮像装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant