CN104919789B - 图像处理装置、摄像装置及图像处理方法 - Google Patents

图像处理装置、摄像装置及图像处理方法 Download PDF

Info

Publication number
CN104919789B
CN104919789B CN201380068334.6A CN201380068334A CN104919789B CN 104919789 B CN104919789 B CN 104919789B CN 201380068334 A CN201380068334 A CN 201380068334A CN 104919789 B CN104919789 B CN 104919789B
Authority
CN
China
Prior art keywords
image
display
correction
pixel groups
distortion aberration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380068334.6A
Other languages
English (en)
Other versions
CN104919789A (zh
Inventor
河合智行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104919789A publication Critical patent/CN104919789A/zh
Application granted granted Critical
Publication of CN104919789B publication Critical patent/CN104919789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Focusing (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种能够抑制裂像的可见度随着对畸变像差进行校正而下降的图像处理装置、摄像装置、程序以及图像处理方法。根据从具有第1像素组及第2像素组的摄像元件输出的图像信号生成作为即时预览图像而使用的第1显示用图像及在对焦确认中使用的第2显示用图像(S403、S415)，该第1像素组及第2像素组是通过了摄像透镜中的第1区域及第2区域的被摄体像被光瞳分割而分别成像，进行第1显示用图像的畸变像差的校正(S403、S411)，对第2显示用图像的相对分割方向的畸变像差进行校正，并且不进行相对与分割方向正交的方向的畸变像差的校正(S409、S417)。

Description

图像处理装置、摄像装置及图像处理方法
技术领域
本发明涉及一种图像处理装置、摄像装置、程序及图像处理方法，尤其涉及一种生成用于确认被摄体像的对焦状态的图像来显示的图像处理装置、摄像装置、程序及图像处理方法。
背景技术
以往，在数码摄像机或附带摄像机的移动电话等摄像装置中，为了使手动进行焦点调整的工作变得轻松，使用将裂像显示于即时预览图像(所谓的取景图像)内的技术。另外，裂像是合成被摄体像中与规定区域对应的左眼图像的一部分与右眼图像的一部分的图像。该裂像中，根据对焦状态，在左眼图像与右眼图像之间产生相对于视差产生方向的偏差。用户利用该技术视觉识别裂像中的左眼图像与右眼图像的偏差，由此确认对焦状态。
作为与此相关的技术，专利文献1中公开有利用从被光瞳分割了的摄像用像素获得的信号生成裂像的摄像装置。该摄像装置在显示裂像时，将从没有被光瞳分割的摄像用像素获得的信号的颜色信息附加于左眼图像与右眼图像，彩色显示裂像。
另一方面，经由摄像透镜成像于摄像元件的被摄体像中产生摄像透镜引起的畸变像差，因此在以往的摄像装置中，进行校正该畸变像差的处理。
然而，若相对于从通常摄像用像素获得的信号进行上述畸变像差的校正，则产生导致自动对焦控制中的焦点检测精确度下降的问题。
因此，专利文献2中公开有即使进行上述畸变像差的校正也能够抑制自动对焦控制中的焦点检测精确度的下降的摄像装置。该摄像装置对从通常摄像用像素获得的信号及从自动对焦控制用像素获得的信号分别个别地进行上述畸变像差的校正，由此抑制焦点检测精确度的下降。
现有技术文献
专利文献
专利文献1：日本专利公开2009-147665号公报
专利文献2：日本专利公开2010-191390号公报
发明内容
发明所要解决的问题
可是，在摄像装置中显示裂像时，与通常图像的情况同样地，在裂像上也产生上述畸变像差。
因此，为了进行裂像中的上述畸变像差的校正，考虑应用上述专利文献1及专利文献2中公开的技术。即，考虑对从通常摄像用像素获得的信号及从裂像用像素获得的信号分别个别地进行上述畸变像差的校正。
另一方面，为了使用户通过目视确认裂像中的右眼图像及左眼图像的偏差量，在可见度方面优选右眼图像与左眼图像的边界成为直线。因此，在合成裂像的右眼图像与左眼图像时，以上述边界成为直线的方式合成。然而，应用上述专利文献1及专利文献2中公开的技术时，存在上述边界根据上述畸变像差的量而歪斜，并导致裂像的可见度下降的问题。
本发明是鉴于上述问题点而完成的，其目的在于提供一种能够抑制对焦确认图像(裂像)的可见度随着对畸变像差进行校正而下降的图像处理装置、摄像装置、程序及图像处理方法。
用于解决问题的手段
为了实现上述目的，本发明所涉及的图像处理装置具备：生成部，根据从具有第1像素组及第2像素组的摄像元件输出的图像信号生成第1显示用图像，且根据基于从上述第1像素组及第2像素组输出的图像信号的第1图像及第2图像，生成用于对焦确认的第2显示用图像，该第1像素组及第2像素组是通过了摄像透镜中的第1区域及第2区域的被摄体像被光瞳分割而分别成像，该第2显示图像对沿预先确定的分割方向分割上述第1图像来获得的多个分割图像的一部分第1分割图像，配置了沿上述分割方向分割上述第2图像来获得的多个分割图像中除了与上述第1分割图像对应的分割区域以外的第2分割图像而成；显示部，用于显示图像；显示控制部，进行在上述显示部显示通过上述生成部生成的上述第1显示用图像、且在该第1显示用图像的显示区域内显示通过上述生成部生成的上述第2显示用图像的控制；以及校正部，进行基于上述摄像透镜的上述第1显示用图像的畸变像差的校正，对上述第2显示用图像的相对上述分割方向的畸变像差进行校正，并且不进行相对与上述分割方向正交的正交方向的畸变像差的校正。
根据本发明所涉及的图像处理装置，通过生成部，根据从具有第1像素组及第2像素组的摄像元件输出的图像信号生成第1显示用图像，该第1像素组及第2像素组是通过了摄像透镜中的第1区域及第2区域的被摄体像被光瞳分割而分别成像的第1像素组及第2像素组。
另外，本发明中，通过生成部，根据基于从上述第1像素组及第2像素组输出的图像信号的第1图像及第2图像，生成用于对焦确认的第2显示用图像，该第2显示图像对沿预先确定的分割方向分割上述第1图像来获得的多个分割图像的一部分第1分割图像，配置了沿上述分割方向分割上述第2图像来获得的多个分割图像中除了与上述第1分割图像对应的分割区域以外的第2分割图像而成。
进而，本发明中，通过显示控制部进行在上述显示部显示通过上述生成部生成的上述第1显示用图像、且在该第1显示用图像的显示区域内显示通过上述生成部生成的上述第2显示用图像的控制。
在此，本发明中，通过校正部，进行基于上述摄像透镜的上述第1显示用图像的畸变像差的校正，对上述第2显示用图像的相对上述分割方向的畸变像差进行校正，并且不进行相对与上述分割方向正交的正交方向的畸变像差的校正。
如此，本发明所涉及的图像处理装置中，与第1显示用图像(通常图像)同样地校正第2显示用图像(裂像)的相对上述正交方向的畸变像差。由此，防止在第2显示用图像与通常图像之间产生相对于上述正交方向的偏差，其结果是，能够抑制第2显示用图像的可见度随着对畸变像差进行校正而下降。
并且，为了实现上述目的，本发明的第2方式所涉及的图像处理装置具备：生成部，根据从具有第1像素组及第2像素组的摄像元件输出的图像信号生成第1显示用图像，且根据基于从上述第1像素组及第2像素组输出的图像信号的第1图像及第2图像，生成用于对焦确认的第2显示用图像，该第1像素组及第2像素组是通过了摄像透镜中的第1区域及第2区域的被摄体像被光瞳分割而分别成像，该第2显示图像对沿预先确定的分割方向分割上述第1图像来获得的多个分割图像的一部分第1分割图像，配置了沿上述分割方向分割上述第2图像来获得的多个分割图像中除了与上述第1分割图像对应的分割区域以外的第2分割图像而成；显示部，用于显示图像；显示控制部，进行抑制通过上述生成部生成的上述第1显示用图像的基于上述显示部的显示、且使上述显示部显示通过上述生成部生成的上述第2显示用图像的控制；以及校正部，进行基于上述摄像透镜的上述第1显示用图像的畸变像差的校正，对上述第2显示用图像的相对上述分割方向的畸变像差进行校正，并且不进行相对与上述分割方向正交的正交方向的畸变像差的校正。
根据本发明所涉及的图像处理装置，通过生成部，根据从具有第1像素组及第2像素组的摄像元件输出的图像信号生成第1显示用图像，该第1像素组及第2像素组是通过了摄像透镜中的第1区域及第2区域的被摄体像被光瞳分割而分别成像的第1像素组及第2像素组。
另外，本发明中，通过生成部，根据基于从上述第1像素组及第2像素组输出的图像信号的第1图像及第2图像，生成用于对焦确认的第2显示用图像，该第2显示图像对沿预先确定的分割方向分割上述第1图像来获得的多个分割图像的一部分第1分割图像，配置了沿上述分割方向分割上述第2图像来获得的多个分割图像中除了与上述第1分割图像对应的分割区域以外的第2分割图像而成。进而，本发明的第2方式所涉及的图像处理装置中，通过显示控制部，进行抑制通过上述生成部生成的上述第1显示用图像的基于上述显示部的显示、且使上述显示部显示通过上述生成部生成的上述第2显示用图像的控制。
在此，本发明中，通过校正部，进行基于上述摄像透镜的上述第1显示用图像的畸变像差的校正，对上述第2显示用图像的相对上述分割方向的畸变像差进行校正，并且不进行相对与上述分割方向正交的正交方向的畸变像差的校正。
如此，本发明所涉及的图像处理装置中，与第1显示用图像同样地校正第2显示用图像的相对上述正交方向的畸变像差。由此，防止在第2显示用图像与通常图像之间产生相对于上述正交方向的偏差，其结果是，能够抑制第2显示用图像的可见度随着对畸变像差进行校正而下降。
另外，本发明所涉及的图像处理装置中，上述摄像透镜为变焦透镜，上述校正部根据基于上述变焦透镜的焦点距离进行上述畸变像差的校正。由此，即使摄像透镜为变焦透镜，也能够适当地进行相对于畸变像差的校正。
并且，本发明所涉及的图像处理装置中，上述校正部可根据上述摄像透镜的光圈值进行上述畸变像差的校正。由此，即使光圈值发生变化，也能够适当地进行相对于畸变像差的校正。
并且，本发明所涉及的图像处理装置中，上述图像处理装置还可具备：
安装部，将多个上述摄像透镜中的任一个以能够更换的方式安装于装置主体；以及取得部，取得对通过上述安装部安装的上述摄像透镜的种类进行表示的信息，上述校正部根据由上述取得部取得的信息所表示的上述摄像透镜的种类，进行上述畸变像差的校正。由此，即使更换摄像透镜，也能够适当地进行相对于畸变像差的校正。
并且，本发明所涉及的图像处理装置中，上述图像处理装置还可具备：第2安装部，将预先确定的多个种类中任一种类的转化透镜安装于装置主体；以及第2取得部，取得对通过上述第2安装部安装的上述转化透镜的种类进行表示的信息，上述校正部根据由上述第2取得部取得的信息所表示的上述转化透镜的种类进行上述畸变像差的校正。由此，即使安装有转化透镜，也能够适当地进行相对于畸变像差的校正。
并且，本发明所涉及的图像处理装置中，上述图像处理装置还可具备：
第3安装部，将预先确定的多个种类中任一种类的转化透镜安装于以能够更换的方式被安装的上述摄像透镜与装置主体之间、或者以能够更换的方式被安装的上述摄像透镜的被摄体侧；以及第2取得部，取得对通过上述第3安装部安装的上述转化透镜的种类进行表示的信息，上述校正部根据由上述第2取得部取得的信息所表示的上述转化透镜的种类进行上述畸变像差的校正。由此，即使安装有转化透镜，也能够适当地进行相对于畸变像差的校正。
并且，本发明所涉及的图像处理装置中，上述图像处理装置还具备存储部，该存储部预先存储有与用于校正上述畸变像差的坐标转换相关的转换信息，上述校正部基于存储于上述存储部的上述转换信息进行上述畸变像差的校正。由此，能够利用预先存储的转换信息，轻松地进行相对于畸变像差的校正。
并且，本发明所涉及的图像处理装置中，还可具备：存储部，预先存储有与用于校正上述第1显示用图像的畸变像差的坐标转换相关的转换信息；以及导出部，从存储于上述存储部的上述转换信息导出与用于校正上述第2显示用图像的畸变像差的坐标转换相关的第2转换信息，上述校正部基于存储于上述存储部的上述转换信息及由上述导出部导出的第2转换信息进行上述畸变像差的校正。由此，无需预先存储用于校正第2显示用图像的畸变像差的信息，因此能够降低存储部的存储容量。
并且，本发明所涉及的图像处理装置中，上述转换信息是对上述畸变像差的校正之前的坐标和校正之后的坐标关于多个像素分别被建立关联后的坐标转换表进行表示的信息、及将上述校正之前的坐标转换为上述校正之后的坐标的运算式的至少一个。由此，将坐标转换表用作转换信息时，与使用运算式时相比，能够快速进行畸变像差的校正，将运算式用作转换信息时，与使用坐标转换表时相比，能够降低存储部的存储容量。
并且，本发明所涉及的图像处理装置中，上述显示控制部进行将上述第2显示用图像显示于上述第1显示用图像的与上述分割方向相对的中央部的控制。由此，能够将第2显示用图像显示于摄像透镜中畸变像差变得最小的中央部，其结果是，能够使第2显示用图像中的第1图像及第2图像的边界成为直线或接近直线。
另一方面，为了实现上述目的，本发明所记载的摄像装置具备本发明所涉及的图像处理装置、上述摄像透镜、以及上述摄像元件。
因此，根据本发明所涉及的摄像装置，与本发明所涉及的图像处理装置同样地发挥作用，因此与本发明所涉及的图像处理装置同样地，能够抑制第2显示用图像的可见度随着相对于畸变像差进行校正而下降。
并且，为了实现上述目的，本发明所涉及的程序用于使计算机发挥如下功能，即，生成部，根据从具有第1像素组及第2像素组的摄像元件输出的图像信号生成第1显示用图像，且根据基于从上述第1像素组及第2像素组输出的图像信号的第1图像及第2图像，生成用于对焦确认的第2显示用图像，该第1像素组及第2像素组是通过了摄像透镜中的第1区域及第2区域的被摄体像被光瞳分割而分别成像，该第2显示图像对沿预先确定的分割方向分割上述第1图像来获得的多个分割图像的一部分第1分割图像，配置了沿上述分割方向分割上述第2图像来获得的多个分割图像中除了与上述第1分割图像对应的分割区域以外的第2分割图像而成；显示控制部，进行在显示图像的显示部显示通过上述生成部生成的上述第1显示用图像、且在该第1显示用图像的显示区域内显示通过上述生成部生成的上述第2显示用图像的控制；以及校正部，进行基于上述摄像透镜的上述第1显示用图像的畸变像差的校正，对上述第2显示用图像相对上述分割方向的畸变像差进行校正，且不进行相对与上述分割方向正交的正交方向的畸变像差的校正。
因此，根据本发明所涉及的程序，使计算机与本发明所涉及的图像处理装置同样地发挥作用，因此与本发明所涉及的图像处理装置同样地，能够抑制第2显示用图像的可见度随着对畸变像差进行校正而下降。
而且，为了实现上述目的，本发明所涉及的图像处理方法具备：生成步骤，根据从具有第1像素组及第2像素组的摄像元件输出的图像信号生成第1显示用图像，且根据基于从上述第1像素组及第2像素组输出的图像信号的第1图像及第2图像，生成用于对焦确认的第2显示用图像，该第1像素组及第2像素组是通过了摄像透镜中的第1区域及第2区域的被摄体像被光瞳分割而分别成像，该第2显示图像对沿预先确定的分割方向分割上述第1图像来获得的多个分割图像的一部分第1分割图像，配置了沿上述分割方向分割上述第2图像来获得的多个分割图像中除了与上述第1分割图像对应的分割区域以外的第2分割图像而成；显示控制步骤，进行在显示图像的上述显示部显示通过上述生成步骤生成的上述第1显示用图像、且在该第1显示用图像的显示区域内显示通过上述生成步骤生成的上述第2显示用图像的控制；以及校正步骤，进行基于上述摄像透镜的上述第1显示用图像的畸变像差的校正，对上述第2显示用图像相对上述分割方向的畸变像差进行校正，并且不进行相对与上述分割方向正交的正交方向的畸变像差的校正。
因此，根据本发明所涉及的图像处理方法，与本发明所涉及的图像处理装置同样地发挥作用，因此与本发明所涉及的图像处理装置同样地，能够抑制第2显示用图像的可见度随着对畸变像差进行校正而下降。
发明效果
因此，根据本发明，得到能够抑制对焦确认图像(裂像)的可见度随着对畸变像差进行校正而下降的效果。
附图说明
图1是表示作为第1至第3实施方式所涉及的透镜更换式摄像机的摄像装置的外观的一例的立体图。
图2是表示第1至第3实施方式所涉及的摄像装置的背面侧的后视图。
图3是表示第1至第3实施方式所涉及的摄像装置的电气系统的结构的一例的框图。
图4是表示设置于实施方式所涉及的摄像装置的摄像元件的彩色滤色器及遮光构件的配置的一例的示意配置图。
图5是表示实施方式所涉及的摄像装置的摄像元件的相位差像素(第1像素及第2像素)的结构的一例的示意结构图。
图6是表示实施方式所涉及的摄像装置的主要部分功能的一例的框图。
图7A是表示实施方式所涉及的通常图像及裂像的显示方式的一例的主视图。
图7B是表示实施方式所涉及的通常图像及裂像的显示方式的一例的主视图。
图8是表示第1实施方式所涉及的转换信息的一例的结构图。
图9是表示第1实施方式所涉及的摄影控制处理程序的处理流程的流程图。
图10A是表示第1实施方式所涉及的通常图像的歪斜的校正前的一例的主视图。
图10B是表示第1实施方式所涉及的通常图像的歪斜的校正后的一例的主视图。
图11是表示第1实施方式所涉及的歪斜的校正后的通常图像及裂像的显示例的主视图。
图12A是表示第1实施方式所涉及的裂像的歪斜的校正前的一例的主视图。
图12B是表示第1实施方式所涉及的裂像的歪斜的校正后的一例的主视图。
图12C是表示第1实施方式所涉及的裂像的歪斜的校正后的一例的主视图。
图12D是表示第1实施方式所涉及的裂像的歪斜的校正前的一例的主视图。
图12E是表示第1实施方式所涉及的裂像的歪斜的校正后的一例的主视图。
图13是表示第2实施方式所涉及的转换信息的一例的结构图。
图14是表示第2实施方式所涉及的摄影控制处理程序的处理流程的流程图。
图15是表示第2实施方式所涉及的转换信息的其他例的结构图。
图16是表示第3实施方式所涉及的摄影控制处理程序的处理流程的流程图。
图17是表示设置于实施方式所涉及的摄像装置的摄像元件的彩色滤色器的排列及遮光构件的配置的一例的示意配置图。
图18是表示设置于实施方式所涉及的摄像装置的摄像元件的彩色滤色器的排列及遮光构件的配置的一例的示意配置图。
图19是表示设置于实施方式所涉及的摄像装置的摄像元件的彩色滤色器的排列及遮光构件的配置的一例的示意配置图。
图20是表示设置于实施方式所涉及的摄像装置的摄像元件的彩色滤色器的排列及遮光构件的配置的一例的示意配置图。
图21是表示设置于实施方式所涉及的摄像装置的摄像元件的彩色滤色器的排列及遮光构件的配置的一例的示意配置图。
图22是表示设置于实施方式所涉及的摄像装置的摄像元件的彩色滤色器的排列及遮光构件的配置的一例的示意配置图。
图23是表示实施方式所涉及的裂像的显示区域的分割方法的一例的主视图。
图24是表示实施方式所涉及的裂像的显示区域的分割方法的一例的主视图。
图25A是表示实施方式所涉及的裂像的显示区域的分割方法的一例的主视图。
图25B是表示实施方式所涉及的裂像的显示区域的分割方法的一例的主视图。
图26是表示第4实施方式所涉及的智能手机的外观的一例的立体图。
图27是表示第4实施方式所涉及的智能手机的电气系统的主要部分结构的一例的框图。
具体实施方式
以下，根据附图对本发明所涉及的摄像装置的实施方式的一例进行说明。
[第1实施方式]
本实施方式所涉及的摄像装置100为透镜更换式摄像机。并且，如图1所示，摄像装置100包含摄像机主体200及以能够更换的方式安装于摄像机主体200的变焦透镜即更换透镜258(摄像透镜、聚焦环260)，并且该摄像装置100是省略反射镜的数码摄像机。并且，摄像机主体200上设置有混合式取景器(注册商标)220。在此所说的混合式取景器220是指例如选择性地使用光学取景器(以下，称为“OVF”)及电子取景器(以下，称为“EVF”)的取景器。
摄像机主体200与更换透镜258通过固定件摄像机主体200所具备的固定件(mount)256及与固定件256对应的更换透镜258侧的固定件346(参考图3)结合而以能够更换的方式安装。并且，在更换透镜258的镜筒上设置有聚焦环260。摄像装置100能够使聚焦透镜随着聚焦环260的旋转操作而向光轴方向移动，在与被摄体距离相应的对焦位置使被摄体光成像于(手动聚焦于)后述的摄像元件20(参考图3)。
在摄像机主体200的前面设置有包含于混合式取景器220的OVF取景窗241。并且，在摄像机主体200的前面设置有取景器切换杆214。若使取景器切换杆214沿箭头SW方向转动，则在能够用OVF视觉识别的光学图像与能够用EVF视觉识别的电子图像(即时预览图像)之间切换(后述)。另外，OVF的光轴L2为与更换透镜258的光轴L1不同的光轴。并且，在摄像机主体200的上表面主要设置有释放开关211及摄像模式、再生模式等的设定用的标度盘212。
释放开关211构成为能够检测如下两阶段的按压操作：从待机位置按压至中间位置(半按位置)的状态；及按压至超过中间位置的最终按压位置(全按位置)的状态。另外，以下内容中，将“从待机位置按压至半按位置的状态”称为“半按状态”，将“从待机位置按压至全按位置的状态”称为“全按状态”。在本第1实施方式所涉及的摄像装置100中，通过将释放开关211设为半按状态来执行后述的摄影控制处理，之后，若继续设为全按状态，则进行曝光(摄影)。
如图2所示，在摄像机主体200的背面设置有OVF的取景器目镜部242、显示部213、十字键222、MENU/OK键224、BACK/DISP按钮225。
十字键222作为菜单的选择、输出变焦或逐帧播放等各种指令信号的多功能键而发挥作用。MENU/OK键224为兼具作为用于进行在显示部213的画面上显示菜单的指令的菜单按钮的功能及指令选择内容的确定及执行等的OK按钮的功能的操作键。BACK/DISP按钮225用于选择项目等所希望的对象的删除、指定内容的取消或者返回前一操作状态时等。
显示部213例如通过LCD实现，用于在摄像模式时作为通过连续帧摄像而获得的连续帧图像的一例的即时预览图像(实时取景图像)的显示。另外，显示部213还用于在被给予静止画面拍摄的指示的情况下显示作为通过单一帧摄像而获得的单一帧图像的一例的静态图像。进而，显示部213还用于再生模式时的再生图像的显示和菜单画面等的显示。
摄像装置100为记录所摄像的静态图像或动态图像的数码摄像机，摄像机整体的动作通过图3所示的CPU(Central Processing Unit：中央处理装置)12统一控制。如同图所示，摄像装置100除了CPU12之外，还包括操作部14、接口部24、存储器26及编码器34。并且，摄像装置100包含作为本发明所涉及的显示控制机构的一例的显示控制部36、目镜检测部37及外部接口(I/F)39。另外，摄像装置100包含作为本发明所涉及的生成机构及视差计算机构的一例的图像处理部28。
CPU12、操作部14、接口部24、存储器26、图像处理部28、编码器34、显示控制部36、目镜检测部37及外部接口(I/F)39经由母线40相互连接。另外，存储器26具有存储有参数或程序等的非易失性存储区域(作为一例，EEPROM等)及临时存储图像等各种信息的易失性存储区域(作为一例，SDRAM等)。
另外，本第1实施方式所涉及的摄像装置100中，CPU12驱动控制焦点调整电机，以使通过摄像摄像而获得的图像的对比度值成为最大，由此进行对焦控制。另外，CPU12计算表示通过摄像而获得的图像的明度的物理量即AE信息。CPU12在释放开关211设为半按状态时，导出与由AE信息表示的图像的亮度相应的快门速度及F值。并且，控制相关各部分以成为所导出的快门速度及F值，由此进行曝光状态的设定。
操作部14为在对摄像装置100给予各种指示时由操作者操作的用户界面。通过操作部14接受的各种指示作为操作信号输出至CPU12，CPU12执行与从操作部14输入的操作信号对应的处理。
操作部14包括释放开关211、标度盘212、显示部213、取景器切换杆214、十字键222、MENU/OK键224及BACK/DISP按钮225。
若通过标度盘212设定摄像模式，则表示被摄体的图像光经由包含通过手动操作能够移动的聚焦透镜的摄像透镜16及快门18成像于彩色摄像元件(作为一例，CMOS传感器)20的受光面。蓄积在摄像元件20的信号电荷通过从设备控制部22附加的读出信号，作为与信号电荷(电压)相应的数字信号而依次被读出。摄像元件20具有所谓的电子快门功能，通过使电子快门功能工作，从而由读出信号的定时来控制各光传感器的电荷蓄积时间(快门速度)。另外，本第1实施方式所涉及的摄像元件20为CMOS型图像传感器，但并不限于此，也可以是CCD图像传感器。
摄像元件20中，作为一例，设置有如图4所示的彩色滤色器21。作为一例，如图4所示，彩色滤色器21包括与最有助于获得光亮度信号的G(绿)对应的第1滤色器G、与R(红)对应的第2滤色器R及与B(蓝)对应的第3滤色器B。
并且，本实施方式所涉及的摄像装置100具有相位差AF功能。而且，本实施方式所涉及的摄像元件20包括在使相位差AF功能工作时所使用的多个相位差检测用的像素。该多个相位差检测用的像素以预先规定的图案配置。
相位差检测用的像素为水平方向的左半部分被遮光的第1像素L及水平方向的右半部分被遮光的第2像素R中的任意像素。另外，以下，在无需区别说明第1像素L及第2像素R时，称为“相位差像素”。
作为一例，如图5所示，第1像素L具有遮光构件20A，第2像素R具有遮光构件20B。遮光构件20A设置于光电二极管PD的前面侧(微透镜M侧)，对受光面的左半部分进行遮光。另一方面，遮光构件20B设置于光电二极管PD的前面侧，对受光面的右半部分进行遮光。
微透镜M及遮光构件20A、20B作为光瞳分割部发挥功能，第1像素L仅接受通过摄像透镜16的出射光瞳的光束的光轴的左侧的光，第2像素R仅接受通过摄像透镜16的出射光瞳的光束的光轴的右侧的光。如此，通过出射光瞳的光束通过作为光瞳分割部的微透镜M及遮光构件20A、20B被左右分割，分别射入到第1像素L及第2像素R。
并且，与通过摄像透镜16的出射光瞳的光束中的左半部分光束对应的被摄体像和与右半部分光束对应的被摄体像中焦点一致(处于对焦状态)的部分成像于摄像元件20上的相同位置。与此相对，焦点聚焦在比被摄体更靠前的前焦或焦点聚焦在比被摄体更靠后的后焦的部分分别射入到摄像元件20上的不同位置(相位偏移)。由此，与左半部分光束对应的被摄体像及与右半部分光束对应的被摄体像能过作为视差不同的视差图像(左眼图像、右眼图像)来获取。
本实施方式所涉及的摄像装置100根据第1像素L的像素值及第2像素R的像素值检测相位的偏差量。并且，通过提示检测出的相位的偏差量，辅助基于用户操作的摄像透镜16的焦点位置的调整。另外，以下，无需区别说明遮光构件20A、20B时，不标注符号而称为“遮光构件”。
本实施方式所涉及的摄像元件20分类为第1像素组、第2像素组及第3像素组。第1像素组例如指多个第1像素L。第2像素组例如指多个第2像素R。第3像素组例如指多个通常像素。在此所说的“通常像素”例如指相位差像素以外的像素(例如，不具有遮光构件20A、20B的像素)。另外，以下，将由从第1像素组输出的图像信号表示的RAW图像称为“第1图像”。并且，将由从第2像素组输出的图像信号表示的RAW图像称为“第2图像”。而且，将由从第3像素组输出的图像信号表示的RAW图像称为“第3图像”。
第1像素组及第2像素组中包含的各像素配置成在第1像素组与第2像素组之间关于水平方向的位置在1像素内对齐的位置。并且，第1像素组及第2像素组中包含的各像素配置成在第1像素组与第2像素组之间关于垂直方向的位置也在1像素内对齐的位置。图4所示的例中，分别针对水平方向及垂直方向，第1像素L与第2像素R以直线状隔开多个像素量(本实施方式中为两个像素量)的间隔而交替配置。
另外，图4所示的例中，将第1像素组及第2像素组中包含的各像素的位置设为分别针对水平方向及垂直方向在1像素内对齐的位置，但也可设为针对水平方向及垂直方向的至少一个方向上落在规定像素数内(例如，两个像素以内)的位置。另外，为了最大限度地抑制由于焦点偏差以外的原因产生图像偏差，作为一例，如图4所示，优选将第1像素组及第2像素组中包含的各像素的位置设为分别针对水平方向及垂直方向在1像素内对齐的位置。
作为一例，如图4所示，相位差像素相对于与2×2像素(例如，从图4的正面观察时的左上方起第3行第3列、第3行第4列、第4行第3列及第4行第4列的像素)对应的正方形排列的G滤色器的像素被设置。本实施方式中，对2×2像素的G滤色器中的图4的正面观察时的右下角的像素分配相位差像素。
如此，彩色滤色器21中，相对于2×2像素的G滤色器的右下角部的像素设置有遮光构件，在垂直方向及水平方向上均隔开多个像素量的间隔而有规则地配置有相位差像素。因此，在相位差像素的周围配置有较多的通常像素，因此能够提高根据通常像素的像素值来对相位差像素的像素值进行插补时的插补精确度。而且，以在相位差像素之间用于插补的通常像素不重复的方式配置有第1至第3像素组中包含的各像素，因此能够期待插补精确度的进一步提高。
回到图3，摄像元件20从第1像素组输出表示第1图像的图像信号(表示各第1像素的像素值的数字信号)，从第2像素组输出表示第2图像的图像信号(表示各第2像素的像素值的数字信号)。并且，摄像元件20从第3像素组输出表示第3图像的图像信号(表示各通常像素的像素值的数字信号)。另外，上述第3图像为由色彩的图像，例如为与通常像素的排列相同的彩色排列的彩色图像。并且，表示上述第1图像、上述第2图像及上述第3图像的图像数据经由接口部24临时存储于存储器26中的易失性存储区域。
并且，图像处理部28具有通常处理部30。通常处理部30通过处理与第3像素组对应的R、G、B信号来生成作为第1显示用图像的一例的有色彩的通常图像。另外，图像处理部28具有裂像处理部32。裂像处理部32通过处理与第1像素组及第2像素组对应的G信号来生成作为第2显示用图像的一例的无色彩的裂像。另外，作为一例，本实施方式所涉及的图像处理部28通过将实现图像处理涉及的多个功能的电路汇集成1个的集成电路即ASIC(Application Specific Integrated Circuit)来实现。其中，CPU12进行如下控制：执行后述的摄影控制处理程序，使裂像处理部32生成裂像，将所生成的裂像显示于显示部213。但是，图像处理部28的硬件结构并不限定为ASIC，例如可以是可编程逻辑器件或包含CPU、ROM及RAM的计算机等其他硬件结构。
另一方面，编码器34将被输入的信号转换为其他形式的信号来输出。另外，混合式取景器220具有显示电子图像的LCD247。LCD247中的规定方向的像素数(作为一例，是作为视差产生方向的水平方向的像素数)少于显示部213中的相同方向的像素数。显示控制部36分别与显示部213及LCD247连接，并选择性地控制LCD247及显示部213，由此通过LCD247或显示部213显示图像。另外，以下，无需区别说明显示部213及LCD247时，称为“显示装置”。
另外，本实施方式所涉及的摄像装置100构成为通过标度盘212能够切换上述的手动聚焦模式与自动聚焦模式。若选择任一聚焦模式，则显示控制部36将合成有裂像的即时预览图像显示于显示装置。另外，若通过标度盘212选择自动聚焦模式，则CPU12作为相位差检测部及自动焦点调整部动作。相位差检测部检测从第1像素组输出的第1图像与从第2像素组输出的第2图像之间的相位差。自动焦点调整部根据检测出的相位差，从设备控制部22经由固定件256、346控制透镜驱动部(省略图示)，使摄像透镜16向对焦位置移动，以使摄像透镜16的散焦量成为零。另外，上述“散焦量”例如指第1图像及第2图像的相位偏差量。
并且，目镜检测部37检测出用户窥视取景器目镜部242的情况，并将检测结果输出至CPU12。由此，CPU12能够根据目镜检测部37中的检测结果掌握是否在使用取景器目镜部242。
而且，外部I/F39与LAN(Local Area Network)、网络等通信网连接，经由通信网来管理外部装置(例如，打印机)与CPU12之间的各种信息的发送接收。由此，在作为外部装置连接有打印机时，摄像装置100能够将所摄影的静态图像输出至打印机来印刷。另外，在作为外部装置连接有显示器时，摄像装置100能够将所摄像的静态图像或即时预览图像输出至显示器来显示。
如图6所示，通常处理部30及裂像处理部32分别具有WB增益部、伽马校正部及同步处理部(省略图示)，通过各处理部对临时存储于存储器26的原来的数字信号(RAW图像)依次进行信号处理。即，WB增益部通过调整R、G、B信号的增益来执行白平衡(WB)。伽马校正部对通过WB增益部执行WB的各R、G、B信号进行伽马校正。同步处理部进行与摄像元件20的彩色滤色器21的排列对应的颜色插补处理，生成已同步的R、G、B信号。另外，每通过摄像元件20获取1画面量的RAW图像时，通常处理部30及裂像处理部32对该RAW图像并列进行图像处理。
通常处理部30中，从接口部24输入有R、G、B的RAW图像，相对于第3像素组的R、G、B像素中以相位差图像遮光的像素，以第1像素组及第2像素组中的相同颜色的周边像素(例如，相邻的G像素)进行插补。通常处理部30可将通过上述插补获得的图像作为显示用的通常图像及记录用的通常图像。
并且，通常处理部30将所生成的记录用通常图像的图像数据输出至编码器34。通过通常处理部30处理的R、G、B信号通过编码器34转换(编码)为记录用信号，并记录在记录部42(参考图6)。并且，通常处理部30将所生成的显示用通常图像的图像数据输出至显示控制部36。另外，以下，为了便于说明，在无需区别说明上述“记录用通常图像”及“显示用通常图像”时，省略“记录用”的用语及“显示用”的用语而称为“通常图像”。
摄像元件20能够改变第1像素组及第2像素组各自的曝光条件(作为一例，基于电子快门的快门速度)，由此能够同时获取不同曝光条件的图像。由此，图像处理部28能够根据不同曝光条件的图像生成宽动态范围的图像。另外，能够以相同的曝光条件同时获取多个图像，并通过加法运算这些图像能够生成噪声较少的高灵敏度的图像，或者生成高分辨率的图像。
另一方面，裂像处理部32从临时存储于存储器26的RAW图像提取第1像素组及第2像素组的G信号，根据第1像素组及第2像素组的G信号生成无色彩的裂像。如上所述，从RAW图像提取的各个第1像素组及第2像素组为基于G滤色器的像素的像素组。因此，裂像处理部32能够根据第1像素组及第2像素组的G信号生成无色彩的左侧视差图像及无色彩的右侧视差图像。另外，以下，为了便于说明，将上述的“无色彩的左侧视差图像”称为“左眼图像”，将上述的“无色彩的右侧视差图像”称为“右眼图像”。
裂像处理部32通过合成基于从第1像素组输出的第1像素的左眼图像及基于从第2像素组输出的第2图像的右眼图像，生成裂像。所生成的裂像的图像数据输出至显示控制部36。
显示控制部36根据从通常处理部30输入的与第3像素组对应的记录用像素数据及从裂像处理部32输入的与第1、第2像素组对应的裂像的像素数据，生成显示用图像数据。例如，显示控制部36在通过从通常处理部30输入的与第3像素组对应的记录用图像数据所表示的通常图像的显示区域内，合成通过从裂像处理部32输入的像素数据所表示的裂像。并且，将合成而获得的图像数据输出至显示装置。
通过裂像处理部32生成的裂像为合成了左眼图像的一部分与右眼图像的一部分的多个分割的图像。作为在此所说的“多个分割的图像”，例如可举出图7A及图7B所示的裂像300。裂像300为合成如下分割图像的图像：沿图7A及图7B的正面观察时的上下方向将左眼图像300A分割为2个的分割图像中的上半部分的分割图像；及同样地分割右眼图像300B的分割图像中的下半部分的分割图像。裂像300为左眼图像300A及右眼图像300B的各分割图像之间沿预先确定的方向(本实施方式中，为图7A及图7B的正面观察时的左右方向)偏离与对焦状态相应的量的图像。
本实施方式中，在对通常图像301合成裂像300时，通过代替通常图像的一部分的图像而嵌入裂像300来合成，但合成方法并不限于此。例如，可以是在通常图像301上重叠裂像300的合成方法。并且，也可以是如下合成方法，即在重叠裂像300时，适当调整与重叠裂像300的区域对应的通常图像301的一部分的图像和裂像300的透射率来重叠。或者，可以分别以不同阵列显示通常图像301及裂像300。由此，能够在即时预览图像中的通常图像的显示区域内显示裂像300。另外，即时预览图像是在显示装置的画面上连续显示连续拍摄的被摄体像时的表示被摄体像的图像。
并且，如图6所示，混合式取景器220包含OVF240及EVF248。OVF240为具有物镜244及目镜透镜246的反向伽利略取景器，EVF248具有LCD247、棱镜245及目镜透镜246。
并且，在物镜244的前方配设有液晶快门243，液晶快门243在使用EVF248时进行遮光，以避免光学图像射入到物镜244。
棱镜245使显示于LCD247的电子图像或各种信息反射并导向目镜透镜246，并且合成光学图像与显示于LCD247的信息(电子图像、各种信息)。
在此，向图1所示的箭头SW方向转动取景器切换杆214时，每次转动时交替切换能够通过OVF240视觉识别光学图像的OVF模式与能够通过EVF248视觉识别电子图像的EVF模式。
当为OVF模式时，显示控制部36以使液晶快门243成为非遮光状态的方式进行控制，以便能够从取景器目镜部242视觉识别光学图像。并且，LCD247上仅显示裂像300。由此，能够显示在光学图像的一部分重叠有裂像300的取景器图像。
另一方面，当为EVF模式时，显示控制部36以使液晶快门243成为遮光状态的方式进行控制，以便能够从取景器目镜部242仅视觉识别到显示于LCD247的电子图像。另外，向LCD247输入与合成有输出至显示部213的裂像300的像素数据相同的像素数据。由此，显示控制部36能够与显示部213同样地显示在通常图像301的一部分合成有裂像300的电子图像。
设为显示装置中输入有分别表示通常图像301及裂像300的图像信号。此时，作为一例，如图7A及图7B所示，显示装置将由被输入的图像信号表示的裂像300显示于画面中央部的设为矩形形状的裂像300的显示区域。并且，显示装置将被由输入的图像信号表示的通常图像301显示于裂像300的外周区域。并且，在未输入有表示裂像300的图像信号而是仅输入有表示通常图像301的图像信号时，显示装置在显示装置的整个显示区域显示由被输入的图像信号表示的通常图像301。并且，在未输入有表示通常图像301的图像信号而是输入有表示裂像300的图像信号时，显示装置在显示区域中显示由被输入的图像信号表示的裂像300，并将外周区域设为空白区域。
但是，本实施方式所涉及的摄像装置100在存储器26中预先存储有在校正由摄像透镜16引起的畸变像差时使用的转换信息。如图8所示，本实施方式所涉及的转换信息320具有预先确定的表示多个焦点距离的范围的焦点距离信息320a。并且，转换信息320中，相对各个焦点距离信息320a，对应建立有表示所对应的通常图像301的畸变像差的校正用转换参数的通常图像转换信息320b。而且，转换信息320中，相对各个焦点距离信息320a，对应建立有表示裂像300的畸变像差的校正用转换参数的裂像转换信息320c。
另外，作为本实施方式所涉及的转换参数，为针对作为校正对象的图像中的预先确定的多个坐标，对转换前的坐标值与转换后的坐标值建立关联的参数。摄像装置100利用转换信息320分别进行通常图像301及裂像300的畸变像差的校正。即，本实施方式所涉及的摄像装置100根据基于摄像透镜16的焦点距离，分别进行通常图像301及裂像300的畸变像差的校正。
另外，焦点距离越长，转换信息320中的焦点距离的区分宽度变得越宽。这是因为，焦点距离越长即放大率越小，畸变像差变得越小。
并且，如上所述，本实施方式所涉及的摄像装置100根据基于摄像透镜16的焦点距离分别进行通常图像301及裂像300的畸变像差的校正，但并不限于此。例如，可考虑摄像透镜16的光圈值越小，畸变像差变得越小的现象，根据该光圈值，分别进行通常图像301及裂像300的畸变像差的校正。此时，上述转换信息中，相对预先确定的表示光圈值的各个光圈值信息，对应建立通常图像信息320b及裂像转换信息320c。
另外，裂像300的转换参数为将裂像300中的各像素的坐标仅沿后述的正交方向转换的转换参数。
本实施方式所涉及的摄像装置100进行如下摄影控制处理，即生成合成左眼图像300A与右眼图像300B的裂像300并显示于LCD247，通过用户进行利用裂像300的焦点调整之后，进行摄像控制。
接着，参考图9，对本实施方式所涉及的摄像装置100的作用进行说明。另外，图9是表示摄像装置100设定为手动聚焦模式，且释放开关211设为半按状态时通过CPU12执行的摄影控制处理程序的处理流程的流程图。本实施方式中，该程序预先存储于存储器26的规定的存储区域。
首先，步骤S401中，经由接口部24取得表示基于从第1像素组输出的图像信号的左眼图像300A的图像数据及表示基于从第2像素组输出的图像信号的右眼图像300B的图像数据。另外，所获取的各图像数据通过CPU12存储于存储器26的规定的存储区域。
接着，在步骤S403中，经由接口部24取得表示基于从第3像素组输出的图像信号的通常图像301的图像数据。如此，本实施方式所涉及的摄像装置100从第3像素组取得表示通常图像301的图像数据，但并不限定于此，可根据通过上述步骤S401及S403获取的图像数据生成表示通常图像301的图像数据。
作为此时的生成表示通常图像301的图像数据的方法，例如例示将表示左眼图像300A或右眼图像300B的图像数据直接作为表示通常图像301的图像数据的方法。并且，还可以是如下方法，即在表示左眼图像300A或右眼图像300B的图像数据中，在相邻的各像素之间配置插补像素，将包围该插补像素的像素的像素值的平均值作为该插补像素的像素值来生成表示通常图像301的图像数据。而且，生成通常图像301的方法也可以是如下方法，即通过合成表示左眼图像300A及右眼图像300B的图像数据来生成表示通常图像301的图像数据。
在接下来的步骤S407中，在摄像透镜16中，获取在该时点设定的焦点距离，并获取与所获取的焦点距离对应的通常图像301的转换参数。本实施方式中，CPU12通过从存储器26读出转换信息320中与所获取的焦点距离的焦点距离信息320a建立对应的通常图像转换信息230b，由此获取通常图像301的转换参数(以下，称为“通常图像转换参数”)。
在接下来的步骤S409中，根据通常图像转换参数，进行通常图像301的上述畸变像差的校正。本实施方式中，CPU12在通常图像301的各像素的坐标中，针对所获取的通常图像转换参数的转换前的坐标值中包含的坐标，转换为与该转换前的坐标值建立关联的转换后的坐标值。另一方面，CPU12针对未包含于通常图像转换参数的转换前的坐标值中的坐标，利用通常图像转换参数的转换前的坐标值的、靠近该坐标的多个坐标的坐标值并利用运算式对转换后的坐标进行线性插补或非线性插补。由此，CPU12获取作为转换对象的坐标的转换后的坐标。另外，本实施方式中，通过线性插补获得作为转换对象的坐标的转换后的坐标。并且，转换信息320可作为针对通常图像301中的所有坐标将转换前的坐标值及转换后的坐标值分别建立关联的表来预先进行存储，并仅利用该表获得作为转换对象的坐标的转换后的坐标。或者，转换信息320可预先存储于用于进行上述转换的运算式，仅利用该运算式获得作为转换对象的坐标的转换后的坐标。
作为一例，如图10A所示，通过上述步骤S403的处理来获取的通常图像301由于上述畸变像差而成为歪斜的形状。但是，作为一例，如图10B所示，通过上述步骤S409进行校正了的通常图像301被校正上述畸变像差而成为矩形形状。
在下一步骤S411中，进行将已进行了上述畸变像差的校正的通常图像301显示于显示部213的控制。另外，本实施方式中，CPU12将通常图像301显示于显示部213，但是并不限定于此，也可显示于LCD247。并且，在通过目镜检测部37检测出用户窥视取景器目镜部242的情况时，CPU12可将通常图像301显示于LCD247，在除此以外的情况下，还可将通常图像301显示于显示部213。
在下一步骤S413中，获取在该时点设定的焦点距离，并获取与所获取的焦点距离对应裂像300的转换参数。本实施方式中，CPU12从存储器26读出转换信息320中与所获取的焦点距离对应的裂像转换信息230c。由此，CPU12获取裂像300的转换参数(以下，称为“裂像转换参数”)。
在下一步骤S415中，对裂像处理部32进行生成裂像的控制。首先，裂像处理部32从存储器26读出表示显示部213中的裂像300的显示区域的信息(以下，称为“显示区域信息”)。本实施方式中，存储器26中作为上述显示区域信息预先存储有由各显示装置的显示区域内的预先确定的坐标系表示的、表示显示区域的范围(本实施方式中，通常图像301的中央部)的信息。并且，裂像处理部32分别确定左眼图像300A及右眼图像300B的分割方向。本实施方式中，表示上述分割方向的信息(以下，称为“分割方向信息”)预先存储于存储器26，CPU12通过读出该分割方向信息来确定上述分割方向。
而且，裂像处理部32从存储器26读出分别表示左眼图像300A及右眼图像300B的分割数的信息(以下，称为“分割数信息”)。本实施方式中，存储器26中预先存储有该分割数信息。裂像处理部32根据通过以上的处理获得的分别表示显示区域、分割方向及分割数的信息来生成裂像300。
在下一步骤S417中，根据所获取的裂像转换参数，进行裂像300的上述畸变像差的校正。本实施方式中，进行该校正时，CPU12利用裂像转换参数与通常图像300时(上述步骤S409)同样地转换裂像300的各像素的坐标。此时，CPU12针对裂像300，校正相对于上述分割方向的畸变像差，且不进行相对于与上述分割方向正交的方向(以下，称为“正交方向”)的畸变像差的校正。
在下一步骤S419中，进行将已进行了畸变像差的校正的裂像300显示于显示部213的显示区域的控制。本实施方式中，CPU12重叠并显示于通常图像301的中央部。
作为一例，如图11所示，显示部213中，通常图像301显示于显示区域整体，并且在显示区域的中央部显示有上述边界302成为直线的裂像300。
另外，摄像透镜16中，越靠近中央部，畸变像差变得越小。由此，仅关于相对上述正交方向的畸变像差来校正针对裂像300的情况下，相对于上述分割方向的中央部中的沿着上述正交方向的直线在校正畸变像差之后成为直线状。
作为一例，如图12A所示，通过上述步骤S415的处理而生成的裂像300成为由于上述畸变像差而成为歪斜的形状。但是，作为一例，如图12B所示，通过上述步骤S417进行校正的裂像300为相对于上述分割方向(图12B中正面观察时的上下方向)的中央部中的沿着上述正交方向(图12B中的正面观察时的左右方向)的直线。因此，左眼图像300A与右眼图像300B的边界302成为直线状。由此，用户能够轻松地用肉眼确认裂像300中的左眼图像300A与右眼图像300B的偏差量。
作为一例，如图12C所示，CPU12对裂像300，消除内含于裂像300内且从面积成为最大的矩形形状的框溢出的凸部304，设为矩形形状。
另外，作为一例，如图12D所示，当裂像300中的上述分割数为3以上时，通过上述步骤S415生成的裂像300中的各边界302成为不同形状的曲线或直线。但是，通过上述步骤S417进行校正了的裂像300为相对于上述分割方向的中央部附近的沿着上述正交方向的直线。因此，作为一例，如图12E所示，各边界302成为相互大致平行的线状。另外，就图12E所示的裂像300而言，消除内含于裂像300且从面积成为最大的矩形形状的框突出的凸部，设为矩形形状。
在接下来的步骤S421中，通过判定有无基于十字键222的操作的变焦的指示输入操作，判定是否存在变焦操作。在步骤S421中成为肯定判定时，移动到步骤S423，另一方面，成为否定判定时移动到后述的步骤S425。步骤S423中，根据操作来改变变焦倍率，进行焦点位置的移动。
在步骤S425中，判定是否输入有摄影指示。此时，在检测出相对于释放开关211的全按操作时，CPU12判定为输入有摄影指示。在步骤S425中成为否定判定时返回到上述的步骤S401，而在成为肯定判定时移动到步骤S427。
在步骤S427中，进行将表示通常图像301的图像数据记录于存储器26的摄影处理，并结束本摄影控制处理程序。另外，上述摄影处理为一般进行的处理，因此省略此处的说明。
[第2实施方式]
以下，利用附图对第2实施方式所涉及的摄像装置100进行详细说明。
上述第1实施方式中，根据基于摄像透镜16的焦点距离获取转换参数，另一方面，在第2实施方式中，根据更换透镜258的种类获取转换参数。另外，作为本发明所涉及的更换透镜258的种类，可例示焦点距离不同的单焦点透镜、远心透镜等。
另外，第2实施方式所涉及的摄像装置100的结构与第1实施方式所涉及的摄像装置100相同，因此在此省略说明。
本实施方式所涉及的摄像装置100中，在存储器26中预先存储有在校正由摄像透镜16引起的畸变像差时使用的转换信息。如图13所示，本实施方式所涉及的转换信息322具有预先确定的表示多个透镜的种类的透镜信息322a。并且，转换信息322中，相对各个透镜信息322a，对应建立表示所对应的通常图像301的畸变像差的校正用转换参数的通常图像转换信息322b。而且，转换信息322中，相对各个透镜信息322a，对应建立表示裂像300的畸变像差的校正用转换参数的裂像转换信息322c。
另外，作为本第2实施方式所涉及的转换参数，与第1实施方式同样地，为针对作为校正对象的图像中的预先确定的多个坐标，对转换前的坐标值与转换后的坐标值建立关联的参数。并且，裂像300的转换参数为将裂像300中的各像素的坐标仅沿上述正交方向进行转换的转换参数。摄像装置100利用转换信息322分别进行通常图像301及裂像300的畸变像差的校正。
接着，参考图14，对执行本实施方式所涉及的摄影控制处理时的摄像装置100的作用进行说明。另外，图14是表示此时通过摄像装置100的CPU12执行的摄影控制处理程序的处理流程的流程图。该程序预先存储于存储器26的ROM的规定区域。
并且，对与第1实施方式的摄影控制处理相同的步骤标注相同的步骤编号，并省略重复说明。
第2实施方式中，在进行步骤S403的处理之后，移动到步骤S406，取得表示透镜种类的信息，并移动到步骤S407。本实施方式所涉及的摄像装置100中，在摄像机主体200上连接有更换透镜258时，CPU12从更换透镜258取得表示透镜种类的电信号。
在步骤S407中，获取与由所获取的表示透镜种类的信息所表示的透镜种类对应的通常图像转换参数。本实施方式中，CPU12从存储器26读出转换信息322中与表示该透镜种类的透镜信息322a建立对应的通常图像转换信息232b，由此获取通常图像转换参数。
在步骤S413中，获取与由所获取的表示透镜种类的信息所表示的透镜种类对应的裂像转换参数。本实施方式中，CPU12从存储器26读出转换信息322中与表示该透镜种类的透镜信息322a建立对应的裂像转换信息232c，由此获取裂像图像转换参数。
另外，本实施方式所涉及的摄像装置100中可设置有能够安装转换透镜的安装部(省略图示)，并经由安装部安装转换透镜。此时的转换透镜例如为在比摄像透镜16的焦点距离更靠广角侧进行拍摄的广角转换透镜或在比摄像透镜16的焦点距离更靠望远侧进行拍摄的远摄转换透镜。这些转换透镜安装于摄像透镜16的未固定在装置主体的一侧，或者被固定于装置主体或装置主体与摄像透镜16之间，从而安装于摄像装置100。可根据转换透镜的有无或连接有转换透镜时的转换透镜的种类获取转换参数。
本实施方式中，根据更换透镜258的种类获取转换参数，但并不限定于此，可根据转换透镜的种类获取转换参数。此时，存储器26中预先存储有在校正由摄像透镜16引起的畸变像差时使用的转换信息。如图15所示，转换信息324具有表示转换透镜的有无或连接有转换透镜时的预先确定的多个转换透镜的种类的透镜信息324a。并且，转换信息322中，相对各个转换透镜信息324a，对应建立表示所对应的通常图像301的畸变像差的校正用转换参数的通常图像转换信息324b。而且，转换信息322中，相对各转换透镜信息324a，对应建立表示裂像300的畸变像差的校正用转换参数的裂像转换信息324c。
另外，作为该转换参数，与第1实施方式同样地，为针对作为校正对象的图像中的预先确定的多个坐标，对转换前的坐标值与转换后的坐标值建立关联的参数。并且，裂像300的转换参数为将裂像300中的各像素的坐标仅沿上述正交方向转换的转换参数。摄像装置100利用转换信息324分别进行通常图像301及裂像300的畸变像差的校正。另外，可组合多个转换参数210、322、324来分别进行通常图像301及裂像300的畸变像差的校正。
[第3实施方式]
以下，利用附图对第3实施方式所涉及的摄像装置100进行详细说明。
上述第1实施方式及第2实施方式中，转换信息320、322、324中包含有通常图像转换参数及裂像转换参数。另一方面，第3实施方式中，转换信息中并不包含裂像转换参数，而是从通常图像转换参数中导出裂像转换参数。
另外，第3实施方式所涉及的摄像装置100的结构与第1实施方式所涉及的摄像装置100相同，因此在此省略说明。
本实施方式所涉及的摄像装置100中，在存储器26中预先存储有在校正由摄像透镜16引起的畸变像差时使用的转换信息。本实施方式所涉及的转换信息为在图8所示的转换信息320、或图13所示的转换信息322、或图15所示的转换信息324中未包含裂像转换参数的信息。
接着，参考图16，对执行本实施方式所涉及的摄影控制处理时的摄像装置100的作用进行说明。另外，图16是表示此时通过摄像装置100的CPU12执行的摄影控制处理程序的处理流程的流程图。该程序预先存储于存储器26的ROM的规定区域。
并且，对与第1实施方式及第2实施方式的摄影控制处理相同的步骤标注相同的步骤编号，并省略重复说明。
第3实施方式中，在进行步骤S415的处理之后，移动到步骤S418，针对规定方向校正裂像的畸变像差，并移动到步骤S419。另外，本实施方式所涉及的摄像装置100中，CPU12通过将转换信息中的通常图像转换参数的、与相对于上述正交方向的校正相关的转换参数作为裂像转换参数，从而导出裂像转换参数。
另外，上述第1实施方式至第3实施方式中，举出相对2×2像素的G滤色器配置单一的相位差像素的方式例进行了说明，但并不限于此，例如可相对2×2像素的G滤色器配置一对第1像素L及第2像素R。例如，如图17所示，可相对2×2像素的G滤色器配置沿行方向相邻的一对第1像素L及第2像素R。并且，例如如图18所示，可相对2×2像素的G滤色器配置沿列方向相邻的一对第1像素L及第2像素R。在任一情况下，均如上述第1实施方式中说明那样，优选使第1像素L及第2像素R的位置在第1像素组与第2像素组之间针对列方向及行方向的至少一个方向在规定像素数内对齐。另外，图17及图18中，示出了将第1像素L与第2像素R配置于在第1像素组与第2像素组之间关于各列方向及行方向上的位置在1像素内对齐的位置的例。
并且，上述第1实施方式至第3实施方式中，例示了具有基本排列图案C的彩色滤色器21，但本发明并不限定于此。例如如图19～21所示，可将彩色滤色器的原色(R滤色器、G滤色器、B滤色器)的排列设为拜耳排列。图19～图21所示的例中，在G滤色器配置有相位差像素。
作为一例，图19所示的彩色滤色器21A中，在3×3像素的正方矩阵的四角及中央设为G滤色器的排列图案G1的中央配置有相位差像素。并且，第1像素L及第2像素R分别针对行方向及列方向跳过1像素量的G滤色器(隔开1像素量的G滤色器)而交替配置。并且，第1像素L及第2像素R在第1像素组与第2像素组之间，关于各列方向及行方向上的位置配置于在1像素内对齐的位置。由此，基于排列图案G1的中央的相位差像素的图像能够利用基于排列图案G1的四角的通常像素的图像进行插补，因此与不具有本结构时相比，能够提高插补精确度。
而且，各个排列图案G1的位置互不重复。即，第1像素L及第2像素R配置于利用基于与第1像素组及第2像素组中包含的各像素相邻的第3像素组中包含的像素的第3图像进行插补的第1图像及第2图像中包含的像素在像素单元中不重复的位置。因此，能够避免通过在基于其他相位差像素的图像的插补中被利用的基于通常像素的图像对基于相位差像素的图像进行插补。由此，能够期待插补精确度的进一步提高。
作为一例，图20所示的彩色滤色器21B中，在排列图案G1的中央及图中正面观察时的右下角配置有相位差像素。并且，第1像素L与第2像素R针对各行方向及列方向跳过2像素量的G滤色器(隔开2像素量的G滤色器)而交替配置。由此，第1像素L与第2像素R在第1像素组与第2像素组之间，关于各列方向及行方向的位置配置于在1像素内对齐的位置，能够使第1像素L及第2像素R相邻。由此，能够抑制由于焦点偏差以外的原因产生图像偏差。
而且，各相位差像素中相邻有设置有相同颜色的滤色器(G滤色器)的通常像素，因此能够提高插补精确度。而且，各个排列图案G1的位置互不重复。即，第1像素L及第2像素R配置于利用基于与第1像素组及第2像素组中包含的各像素相邻的第3像素组中包含的像素的第3图像进行插补的第1图像及第2图像中包含的像素在一对像素单位中不重复的位置。在此所说的“一对像素”是指例如各排列图案G1中包含的第1像素L及第2像素R(一对相位差像素)。因此，能够避免通过在基于其他一对相位差像素的图像的插补中被利用的基于通常像素的图像对基于一对相位差像素的图像进行插补。由此，能够期待插补精确度的进一步提高。
作为一例，图21所示的彩色滤色器21C在排列图案G1的中央配置有第1像素L，在图中正面观察时的右下角配置有第2像素R。并且，第1像素L针对各行方向及列方向跳过2像素量的G滤色器而配置，第2像素R也针对各行方向及列方向跳过2像素量的G滤色器而配置。由此，第1像素L与第2像素R在第1像素组与第2像素组之间，关于各列方向及行方向上的位置配置于在2像素内对齐的位置，能够使第1像素L及第2像素R相邻。由此，能够抑制由于焦点偏差以外的原因产生图像偏差。
而且，图21所示的例中也与图20所示的例同样地，各个排列图案G1的位置互不重复。因此，能够避免通过在基于其他相位差像素的图像的插补中利用的基于通常像素的图像对基于相位差像素的图像进行插补。由此，能够期待插补精确度的进一步提高。
并且，作为彩色滤色器的其他结构例，例如可举出图22所示的彩色滤色器21D。图22中示意地示出有设置于摄像元件20的彩色滤色器21D的原色(R滤色器、G滤色器、B滤色器)的排列及遮光构件的配置的一例。图22所示的彩色滤色器21D中，第1～第4的行排列在列方向上反复配置。第1行排列是指沿着行方向交替配置有B滤色器及G滤色器的排列。第2行排列是指沿行方向使第1行排列错开半个间隙(半个像素)的排列。第3行排列是指沿行方向交替配置有G滤色器及R滤色器的排列。第4行排列是指使第3行排列沿行方向错开半个间隙的排列。
第1行排列及第2行排列在列方向上错开半个间隙而相邻。第2行排列及第3行排列也在列方向上错开半个间隙而相邻。第3行排列及第4行排列也在列方向上错开半个间隙而相邻。第4行排列及第1行排列也在列方向错开半个间隙而相邻。由此，第1～4行排列分别在列方向上每隔2像素而反复出现。
作为一例，如图22所示，第1像素L及第2像素R分配于第3及第4行排列。即，第1像素L分配于第3行排列，第2像素R分配于第4行排列。并且，第1像素L及第2像素R相互相邻(以最小间隙)成对配置。并且，图23所示的例中，第1像素L分别在行方向及列方向上按6像素分配，第2像素R也分别在行方向及列方向上按6像素分配。由此，与不具有本结构的情况相比，可以以高精确度计算第1像素组与第2像素组的相位差。
并且，图22所示的例中，第1像素L及第2像素R中分配有G滤色器。设置有G滤色器的像素与设置有其他颜色的滤色器的像素相比，灵敏度良好，因此能够提高插补精确度。而且，G滤色器与其他颜色的滤色器相比，具有连续性，因此分配有G滤色器的像素与分配有其他颜色的滤色器的像素相比，插补变得容易。
并且，上述第1实施方式中，例示了沿上下方向分割为2个的裂像，但并不限于此，可将沿左右方向或倾斜方向分割为多个图像作为裂像来应用。
例如，图23所示的裂像66a通过与行方向平行的多个边界线63a分割为奇数线与偶数线。该裂像66a中，根据从第1像素组输出的输出信号生成的线状(作为一例，长条状)的相位差图像66La显示于奇数线(也可以是偶数线)上。并且，根据从第2像素组输出的输出信号生成的线状(作为一例，长条状)的相位差图像66Ra显示于偶数线。
并且，图24所示的裂像66b通过与行方向具有倾斜角的边界线63b(例如，裂像66b的对角线)分割为2个。该裂像66b中，根据从第1像素组输出的输出信号生成的相位差图像66Lb显示于其中一个区域。并且，根据从第2像素组输出的输出信号生成的相位差图像66Rb显示于另一区域。
并且，图25A及图25B所示的裂像66c通过分别与行方向及列方向平行的格子状边界线63c分割。裂像66c中，根据从第1像素组输出的输出信号生成的相位差图像66Lc以黑白方格图案(方格图案)状排列显示。并且，根据从第2像素组输出的输出信号生成的相位差图像66Rc以黑白方格图案状排列显示。
进而，不限于裂像，也可从2个相位差图像生成其他对焦确认图像，并显示对焦确认图像。例如，可重叠2个相位差图像来合成显示，在焦点偏离的情况下作为双像显示，以焦点一致的状态清晰地显示图像。
另外，上述第1实施方式至第3实施方式中说明的摄影控制处理的流程仅仅是一个例子。因此，当然可以在不脱离宗旨的范围内删除不需要的步骤或追加新的步骤或替换处理顺序。并且，上述第1实施方式至第3实施方式中说明的图像生成输出处理中包含的各处理执行程序，由此可利用计算机通过软件结构实现，也可通过其他的硬件结构实现。并且，还可通过硬件结构与软件结构的组合来实现。
通过用计算机执行程序来实现上述第1实施方式至第3实施方式中说明的摄影控制处理时，预先在规定存储区域(例如存储器26)预先存储程序即可。另外，并不一定要从最开始就预先存储于存储器26。例如，可首先预先将程序存储于与计算机连接来使用的SSD(Solid State Drive)、CD-ROM、DVD盘、磁光盘、IC卡等任意“便携式存储介质”。并且，也可由计算机从这些便携式存储介质获取程序来执行。并且，也可将各程序预先存储于经由网络或LAN(Local Area Network)等与计算机连接的其他计算机或服务器装置等中，由计算机从这些获取程序来执行。
[第4实施方式]
上述第1实施方式至第3实施方式中，例示了摄像装置100，但作为摄像装置100的变形例即便携式终端装置，例如可举出具有摄像机功能的移动电话或智能手机、PDA(Personal Digital Assistants)、便携式游戏机等。以下，将智能手机为例，参考附图，进行详细说明。
图26是表示智能手机500的外观的一例的立体图。图26所示的智能手机500具有平板状框体502，在框体502的一侧面具备作为显示部的显示面板521与作为输入部的操作面板522成为一体的显示输入部520。并且，该框体502具备扬声器531、麦克风532、操作部540及摄像机部541。另外，框体502的结构并不限定于此，例如还能够采用显示部与输入部分离的结构，或具有折叠结构或滑动结构的结构。
图27是表示图26所示的智能手机500的结构的一例的框图。如图27所示，作为智能手机500的主要构成要件，具备无线通信部510、显示输入部520、通话部530、操作部540、摄像机部541、存储部550、外部输入输出部560。另外，作为智能手机500的主要构成要件，具备GPS(Global Positioning System)接收部570、动作传感器部580、电源部590及主控制部501。并且，作为智能手机500主要功能具备进行经由基站装置及移动通信网的移动无线通信的无线通信功能。
无线通信部510根据主控制部501的指示，相对于收纳于移动通信网的基站装置进行无线通信。使用该无线通信进行音频数据、图像数据等各种文件数据、电子邮件数据等的发送接收、Web数据或流数据等的接收。
显示输入部520为所谓的触控面板，具备显示面板521及操作面板522。因此，显示输入部520通过主控制部501的控制，显示图像(静态图像及动态图像)和文字信息等来视觉性地向用户传递信息，并且检测相对于所显示信息的用户操作。另外，欣赏所生成的3D时，优选显示面板521为3D显示面板。
显示面板521是将LCD、OELD(Organic Electro-Luminescence Display)等用作显示设备的装置。操作面板522是以能够视觉识别显示于显示面板521的显示面上的图像的方式载置，并检测通过用户的手指或尖笔来操作的一个或多个坐标的设备。若通过用户的手指或尖笔操作该设备，则将通过操作而产生的检测信号输出至主控制部501。接着，主控制部501根据所接收的检测信号检测显示面板521上的操作位置(坐标)。
如图26所示，智能手机500的显示面板521与操作面板522成为一体而构成显示输入部520，成为操作面板522完全覆盖显示面板521的配置。采用该配置时，操作面板522可具备针对显示面板521外的区域也检测用户操作的功能。换言之，操作面板522可具备针对与显示面板521重叠的重叠部分的检测区域(以下，称为显示区域)及针对除此以外的不与显示面板521重叠的外缘部分的检测区域(以下，称为非显示区域)。
另外，可使显示区域的大小与显示面板521的大小完全一致，但并不一定要使两者一致。并且，操作面板522可具备外缘部分及除此以外的内侧部分的2个感应区域。而且，外缘部分的宽度根据框体502的大小等适当设计。此外，作为在操作面板522中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任一方式。
通话部530具备扬声器531和麦克风532。通话部530将通过麦克风532输入的用户的声音转换为能够在主控制部501中处理的音频数据并输出至主控制部501。并且通话部530解码通过无线通信部510或外部输入输出部560接收的音频数据并从扬声器531输出。并且，如图26所示，例如能够将扬声器531搭载于与设置有显示输入部520的面相同的面，并将麦克风532搭载于框体502的侧面。
操作部540为使用键开关等的硬件键，接受来自用户的指示。例如，如图26所示，操作部540搭载于智能手机500的框体502的侧面，是若被手指等按下则打开，若手指离开则通过弹簧等的复原力成为关闭状态的按键式开关。
存储部550存储主控制部501的控制程序和控制数据、应用软件、对通信对象的名称和电话号码等建立对应的地址数据、所发送接收的电子邮件的数据。并且，存储部550存储通过Web浏览下载的Web数据或已下载的内容数据。另外，存储部550暂时存储流数据等。并且，存储部550具有智能手机内置的内部存储部551及具有装卸自如的外部存储器插槽的外部存储部552。另外，构成存储部550的各个内部存储部551与外部存储部552通过使用闪存类型(flash memory type)、硬盘类型(hard disk type)等存储介质来实现。作为存储介质，除此之外还可例示微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory)、ROM(Read OnlyMemory)。
外部输入输出部560发挥与智能手机500所连结的所有外部设备的接口的作用，用于通过通信等或网络直接或间接地与其他外部设备连接。作为与其他外部设备的通信等，例如可举出通用串行总线(USB)、IEEE1394等。作为网络例如可举出互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association:IrDA)(注册商标)。另外，作为网络的其他例子，可举出UWB(Ultra Wideband)(注册商标)、紫蜂协议(ZigBee)(注册商标)等。
作为与智能手机500连结的外部设备，例如有有/无线头戴式受话机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memory card)等。作为外部设备的其他例子，可举出SIM(Subscriber Identity Module Card)/UIM(User Identity ModuleCard)卡、经由音频·视频I/O(Input/Output)端子连接的外部音频·视频设备。除了外部音频·视频设备之外，还可举出无线连接的外部音频·视频设备。并且，代替外部音频·视频设备，例如可应用有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。
外部输入输出部能够将从这种外部设备接受传送的数据传送至智能手机500内部的各构成要件，或使智能手机500内部的数据传送至外部设备。
GPS接收部570根据主控制部501的指示接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的定位运算处理，检测由该智能手机500的纬度、经度、高度构成的位置。GPS接收部570在能够从无线通信部510或外部输入输出部560(例如，无线LAN)获取位置信息时，还能够利用该位置信息检测位置。
动作传感器部580例如具备3轴加速度传感器等，根据主控制部501的指示，检测智能手机500的物理的移动。通过检测智能手机500的物理的移动，可检测智能手机500的移动方向或加速度。该检测结果输出至主控制部501。
电源部590根据主控制部501的指示，向智能手机500的各部分供给蓄积在电池(未图示)的电力。
主控制部501具备微处理器，根据存储部550所存储的控制程序或控制数据动作，统一控制智能手机500的各部分。并且，主控制部501为了通过无线通信部510进行音频通信或数据通信，具备控制通信系统的各部分的移动通信控制功能及应用程序处理功能。
应用程序处理功能通过主控制部501根据存储部550所存储的应用软件进行动作来实现。作为应用程序处理功能，有控制外部输入输出部560来进行与对象设备的数据通信的红外线通信功能、进行电子邮件的发送接收的电子邮件功能、浏览Web页的Web浏览功能等。
并且，主控制部501具备根据接收数据或所下载的流数据等图像数据(静态图像或动态图像的数据)向显示输入部520显示影像等的图像处理功能。图像处理功能是指主控制部501解码上述图像数据，对该解码结果实施图像处理来将图像显示于显示输入部520的功能。
而且，主控制部501执行相对于显示面板521的显示控制及对通过操作部540、操作面板522进行的用户操作进行检测的操作检测控制。
通过执行显示控制，主控制部501显示用于启动应用软件的图标、或滚动条等软件键、或者用于创建电子邮件的窗口。另外，滚动条是指用于针对无法收纳于显示面板521的显示区域的较大图像等，接受移动图像的显示部分的指示的软件键。
并且，通过执行操作检测控制，主控制部501检测通过操作部540进行的用户操作，或接受通过操作面板522进行相对于上述图标的操作或相对于上述窗口的输入栏的文字列的输入。并且，通过执行操作检测控制，主控制部501接受通过滚动条进行的显示图像的滚动要求。
而且，通过执行操作检测控制，主控制部501判定相对于操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的不与显示面板521重叠的外缘部分(非显示区域)。并且，具备接收该判定结果并控制操作面板522的感应区域或软件键的显示位置的触控面板控制功能。
并且，主控制部501还能够检测相对于操作面板522的手势操作并根据检测出的手势操作执行预先设定的功能。手势操作表示并非以往的简单的触控操作，而是根据手指等描绘轨迹，或同时指定多个位置，或者组合这些来从多个位置对至少1个描绘轨迹的操作。
摄像机部541为使用CMOS或CCD等摄像元件进行摄像的数码摄像机，具备与图1等中示出的摄像装置100相同的功能。
并且，摄像机部541能够切换手动聚焦模式与自动聚焦模式。若选择手动聚焦模式，则能够通过操作显示于操作部540或显示输入部520的聚焦用图标按钮等，进行摄像机部541的摄像透镜16的对焦。并且，手动聚焦模式时，将合成有裂像的即时预览图像显示于显示面板521，由此能够确认手动聚焦时的对焦状态。另外，可将图6所示的混合式取景器220设置于智能手机500。
并且，摄像机部541通过主控制部501的控制，将通过摄像获得的图像数据转换为例如JPEG(Joint Photographic coding Experts Group)等压缩的图像数据。并且，能够将转换获得的图像数据记录于存储部550或通过外部输入输出部560或无线通信部510输出。图26所示的智能手机500中，摄像机部541搭载于与显示输入部520相同的面，但摄像机部541的搭载位置并不限定于此，可搭载于显示输入部520的背面，或者也可搭载有多个摄像机部541。另外，搭载有多个摄像机部541时，还能够切换供拍摄的摄像机部541来单独拍摄或者同时使用多个摄像机部541进行拍摄。
并且，摄像机部541能够利用于智能手机500的各种功能中。例如，能够在显示面板521显示通过摄像机部541获取的图像，或者作为操作面板522的操作输入之一，利用摄像机部541的图像。并且，当GPS接收部570检测位置时，还能够参考来自摄像机部541的图像来检测位置。而且，能够参考来自摄像机部541的图像，不使用3轴加速度传感器或者与3轴加速度传感器同时使用来判断智能手机500的摄像机部541的光轴方向，或判断当前的使用环境。当然，还能够在应用软件内利用来自摄像机部541的图像。
此外，还能够在静态图像或动画的图像数据上附加各种信息来记录于存储部550，或通过外部输入输出部560或无线通信部510输出。作为在此所说的“各种信息”，例如可举出通过GPS接收部570获取的位置信息、通过麦克风532获取的音频信息(也可以通过主控制部等进行音频文本转换而成为文本信息)。此外，还可以是通过动作传感器部580获取的姿势信息等。
另外，上述各实施方式中，例示了具有第1至第3像素组的摄像元件20，但本发明并不限定于此，也可以是仅由第1像素组及第2像素组构成的摄像元件。具有这种摄像元件的数码摄像机能够根据从第1像素组输出的第1图像及从第2像素组输出的第2图像生成3维图像(3D图像)，还能够生成2维(2D图像)。此时，2维图像的生成例如通过在第1图像及第2图像彼此之间的相同颜色的像素之间进行插补处理来实现。并且，也可不进行插补处理，而是将第1图像或第2图像用作2维图像。
上述各实施方式中，举出在通常图像301的显示区域内显示裂像300的例进行了说明，但本发明并不限定于此，可相对于显示装置不显示通常图像301而是显示裂像300。并且，上述实施方式中，在显示装置的显示区域的一部分显示裂像300，但并不限定于此，可在显示装置的整个显示区域显示裂像300。如此，本发明并不限定于在显示装置的同一画面上同时显示通常图像301与裂像300两者的方式。例如，本发明在指示有裂像300的显示的状态下，通常图像301的显示指示被解除时，显示控制部36可进行在显示装置不显示通常图像301而是显示裂像300的控制。
符号说明
12 CPU
20 摄像元件
26 存储器
28 图像处理部
30 通常处理部
32 裂像处理部
36 显示控制部
100 摄像装置
213 显示部
241 LCD

Claims (13)

1.一种图像处理装置，具备：
生成部，根据从具有第1像素组及第2像素组的摄像元件输出的图像信号生成第1显示用图像，且根据基于从所述第1像素组及第2像素组输出的图像信号的第1图像及第2图像，生成用于对焦确认的第2显示用图像，该第1像素组及第2像素组是通过了摄像透镜中的第1区域及第2区域的被摄体像被光瞳分割而分别成像，该第2显示图像对沿预先确定的分割方向分割所述第1图像来获得的多个分割图像的一部分第1分割图像，配置了沿所述分割方向分割所述第2图像来获得的多个分割图像中除了与所述第1分割图像对应的分割区域以外的第2分割图像而成；
显示部，用于显示图像；
显示控制部，进行在所述显示部显示通过所述生成部生成的所述第1显示用图像、且在该第1显示用图像的显示区域内显示通过所述生成部生成的所述第2显示用图像的控制；以及
校正部，进行基于所述摄像透镜的所述第1显示用图像的畸变像差的校正，对所述第2显示用图像的相对所述分割方向的畸变像差进行校正，并且不进行相对与所述分割方向正交的正交方向的畸变像差的校正。
2.一种图像处理装置，其中，具备：
生成部，根据从具有第1像素组及第2像素组的摄像元件输出的图像信号生成第1显示用图像，且根据基于从所述第1像素组及第2像素组输出的图像信号的第1图像及第2图像，生成用于对焦确认的第2显示用图像，该第1像素组及第2像素组是通过了摄像透镜中的第1区域及第2区域的被摄体像被光瞳分割而分别成像，该第2显示图像对沿预先确定的分割方向分割所述第1图像来获得的多个分割图像的一部分第1分割图像，配置了沿所述分割方向分割所述第2图像来获得的多个分割图像中除了与所述第1分割图像对应的分割区域以外的第2分割图像而成；
显示部，用于显示图像；
显示控制部，进行抑制通过所述生成部生成的所述第1显示用图像的基于所述显示部的显示、且使所述显示部显示通过所述生成部生成的所述第2显示用图像的控制；以及
校正部，进行基于所述摄像透镜的所述第1显示用图像的畸变像差的校正，对所述第2显示用图像的相对所述分割方向的畸变像差进行校正，且不进行相对与所述分割方向正交的正交方向的畸变像差的校正。
3.根据权利要求1或2记载的图像处理装置，其中，
所述摄像透镜为变焦透镜，
所述校正部根据基于所述变焦透镜的焦点距离进行所述畸变像差的校正。
4.根据权利要求1或2记载的图像处理装置，其中，
所述校正部根据所述摄像透镜的光圈值进行所述畸变像差的校正。
5.根据权利要求1或2记载的图像处理装置，其中，
所述图像处理装置还具备：
第1安装部，将多个所述摄像透镜中的任一个以能够更换的方式安装于所述图像处理装置的装置主体；以及
第1取得部，取得对通过所述第1安装部安装的所述摄像透镜的种类进行表示的信息，
所述校正部根据由所述第1取得部取得的信息所表示的所述摄像透镜的种类，进行所述畸变像差的校正。
6.根据权利要求1或2记载的图像处理装置，
所述图像处理装置还具备：
第2安装部，将预先确定的多个种类中任一种类的转化透镜安装于所述图像处理装置的装置主体；以及
第2取得部，取得对通过所述第2安装部安装的所述转化透镜的种类进行表示的信息，
所述校正部根据由所述第2取得部取得的信息所表示的所述转化透镜的种类进行所述畸变像差的校正。
7.根据权利要求5记载的图像处理装置，
所述图像处理装置还具备：
第3安装部，将预先确定的多个种类中任一种类的转化透镜安装于以能够更换的方式被安装的所述摄像透镜与所述图像处理装置的装置主体之间、或者以能够更换的方式被安装的所述摄像透镜的被摄体侧；以及
第2取得部，取得对通过所述第3安装部安装的所述转化透镜的种类进行表示的信息，
所述校正部根据由所述第2取得部取得的信息所表示的所述转化透镜的种类进行所述畸变像差的校正。
8.根据权利要求1或2记载的图像处理装置，
所述图像处理装置还具备存储部，该存储部预先存储有与用于校正所述畸变像差的坐标转换相关的第1转换信息，
所述校正部基于存储于所述存储部的所述第1转换信息进行所述畸变像差的校正。
9.根据权利要求1或2记载的图像处理装置，
所述图像处理装置还具备：
存储部，预先存储有与用于校正所述第1显示用图像的畸变像差的坐标转换相关的第1转换信息；以及
导出部，从存储于所述存储部的所述第1转换信息导出与用于校正所述第2显示用图像的畸变像差的坐标转换相关的第2转换信息，
所述校正部基于存储于所述存储部的所述第1转换信息及由所述导出部导出的第2转换信息进行所述畸变像差的校正。
10.根据权利要求8记载的图像处理装置，其中，
所述第1转换信息是对所述畸变像差的校正之前的坐标和校正之后的坐标关于多个像素分别被建立关联后的坐标转换表进行表示的信息、及将所述校正之前的坐标转换为所述校正之后的坐标的运算式的至少一个。
11.根据权利要求1或2记载的图像处理装置，
所述显示控制部进行将所述第2显示用图像显示于所述第1显示用图像的与所述分割方向相对的中央部的控制。
12.一种摄像装置，具备：
权利要求1或2记载的图像处理装置；
所述摄像透镜；以及
所述摄像元件。
13.一种图像处理方法，具备：
生成步骤，根据从具有第1像素组及第2像素组的摄像元件输出的图像信号生成第1显示用图像，且根据基于从所述第1像素组及第2像素组输出的图像信号的第1图像及第2图像，生成用于对焦确认的第2显示用图像，该第1像素组及第2像素组是通过了摄像透镜中的第1区域及第2区域的被摄体像被光瞳分割而分别成像，该第2显示图像对沿预先确定的分割方向分割所述第1图像来获得的多个分割图像的一部分第1分割图像，配置了沿所述分割方向分割所述第2图像来获得的多个分割图像中除了与所述第1分割图像对应的分割区域以外的第2分割图像而成；
显示控制步骤，进行在显示图像的显示部显示通过所述生成步骤生成的所述第1显示用图像、且在该第1显示用图像的显示区域内显示通过所述生成步骤生成的所述第2显示用图像的控制；以及
校正步骤，进行基于所述摄像透镜的所述第1显示用图像的畸变像差的校正，对所述第2显示用图像相对所述分割方向的畸变像差进行校正，并且不进行相对与所述分割方向正交的正交方向的畸变像差的校正。
CN201380068334.6A 2013-01-04 2013-12-24 图像处理装置、摄像装置及图像处理方法 Active CN104919789B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013000044 2013-01-04
JP2013-000044 2013-01-04
PCT/JP2013/084433 WO2014106935A1 (ja) 2013-01-04 2013-12-24 画像処理装置、撮像装置、プログラム及び画像処理方法

Publications (2)

Publication Number Publication Date
CN104919789A CN104919789A (zh) 2015-09-16
CN104919789B true CN104919789B (zh) 2018-10-02

Family

ID=51062256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380068334.6A Active CN104919789B (zh) 2013-01-04 2013-12-24 图像处理装置、摄像装置及图像处理方法

Country Status (4)

Country Link
US (1) US9560243B2 (zh)
JP (1) JP5901801B2 (zh)
CN (1) CN104919789B (zh)
WO (1) WO2014106935A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014046039A1 (ja) * 2012-09-19 2014-03-27 富士フイルム株式会社 撮像装置及び合焦確認表示方法
JP5981026B2 (ja) * 2013-03-29 2016-08-31 富士フイルム株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
JP6373056B2 (ja) * 2014-05-14 2018-08-15 キヤノン株式会社 撮像装置、撮像装置の制御方法及び画像処理方法
US10277796B2 (en) * 2014-05-26 2019-04-30 Sony Corporation Imaging control apparatus, imaging apparatus, and imaging control method
CN106204419A (zh) * 2016-06-27 2016-12-07 乐视控股（北京）有限公司 图像处理方法以及装置
JP6745682B2 (ja) * 2016-08-30 2020-08-26 キヤノン株式会社 撮像装置、制御方法、プログラム、及び記憶媒体
JP2018081224A (ja) 2016-11-17 2018-05-24 キヤノン株式会社 撮像装置およびその制御方法
JP7396987B2 (ja) * 2018-07-31 2023-12-12 住友建機株式会社 ショベル
JP7292909B2 (ja) * 2019-03-18 2023-06-19 キヤノン株式会社 撮像装置及び焦点検出方法
CN110460773B (zh) * 2019-08-16 2021-05-11 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010191390A (ja) * 2009-02-20 2010-09-02 Canon Inc 撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099575B2 (en) * 2002-07-08 2006-08-29 Fuji Photo Film Co., Ltd. Manual focus device and autofocus camera
JP5043626B2 (ja) * 2007-12-13 2012-10-10 キヤノン株式会社 撮像装置
JP5451111B2 (ja) * 2008-03-11 2014-03-26 キヤノン株式会社 焦点検出装置およびそれを有する撮像装置
JP2012008424A (ja) * 2010-06-28 2012-01-12 Olympus Corp 撮像システム
JP5901246B2 (ja) * 2010-12-13 2016-04-06 キヤノン株式会社 撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010191390A (ja) * 2009-02-20 2010-09-02 Canon Inc 撮像装置

Also Published As

Publication number Publication date
CN104919789A (zh) 2015-09-16
WO2014106935A1 (ja) 2014-07-10
JP5901801B2 (ja) 2016-04-13
JPWO2014106935A1 (ja) 2017-01-19
US20150304529A1 (en) 2015-10-22
US9560243B2 (en) 2017-01-31

Similar Documents

Publication Publication Date Title
CN104919789B (zh) 图像处理装置、摄像装置及图像处理方法
CN104365089B (zh) 摄像装置及图像显示方法
CN105580349B (zh) 图像处理装置、摄像装置及图像处理方法
CN104782110B (zh) 图像处理装置、摄像装置及图像处理方法
CN103782586B (zh) 成像设备
CN105075235B (zh) 图像处理装置、摄像装置以及图像处理方法
CN104885440B (zh) 图像处理装置、摄像装置及图像处理方法
CN104871058B (zh) 图像处理装置、摄像装置及图像处理方法
CN105051600B (zh) 图像处理装置、摄像装置以及图像处理方法
CN106716244B (zh) 摄影控制装置、摄影装置、摄影控制方法
CN104641624B (zh) 图像处理装置、摄像装置及图像处理方法
CN104737528B (zh) 摄像装置以及图像显示方法
CN103733606B (zh) 成像设备
CN102972032A (zh) 三维图像显示装置、三维图像显示方法、三维图像显示程序及记录介质
CN104755981B (zh) 图像处理装置、摄像装置及图像处理方法
US20160366340A1 (en) Photographing apparatus, photographing controller, photographing control method, and photographing control program
CN105103534A (zh) 摄像装置、校准方法、程序以及记录介质
CN104641626A (zh) 摄像装置及对焦确认显示方法
CN101959078A (zh) 3d图像显示设备和3d图像显示方法
CN104205827A (zh) 图像处理装置及方法、以及摄像装置
CN104247412B (zh) 图像处理装置、摄像装置、图像处理方法、记录介质以及程序
CN110447223A (zh) 成像元件以及摄像装置
CN104272732A (zh) 图像处理装置、方法及摄像装置
CN104903769A (zh) 图像处理装置、摄像装置、程序及图像处理方法
CN103385005A (zh) 立体图像处理装置以及立体图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant