CN105580349A - 图像处理装置、摄像装置、图像处理方法及图像处理程序 - Google Patents

图像处理装置、摄像装置、图像处理方法及图像处理程序 Download PDF

Info

Publication number
CN105580349A
CN105580349A CN201480052240.4A CN201480052240A CN105580349A CN 105580349 A CN105580349 A CN 105580349A CN 201480052240 A CN201480052240 A CN 201480052240A CN 105580349 A CN105580349 A CN 105580349A
Authority
CN
China
Prior art keywords
image
picture signal
correction coefficient
dim light
light characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480052240.4A
Other languages
English (en)
Other versions
CN105580349B (zh
Inventor
井泽克俊
林淳司
河合智行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN105580349A publication Critical patent/CN105580349A/zh
Application granted granted Critical
Publication of CN105580349B publication Critical patent/CN105580349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/24—Focusing screens
    • G03B13/28—Image-splitting devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Focusing (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本发明提供一种能够即时进行减光特性的校正的图像处理装置、摄像装置、图像处理方法及图像处理程序。校正部(28B)根据第1比较结果及第2比较结果，导出减光特性校正系数，并根据所导出的减光特性校正系数校正针对后一帧的减光特性。第1比较结果是指，对通过获取部(28A)以不同时刻获取帧而获得的一对帧中先获取的前一帧中包含的相位差图像与普通图像进行比较的结果。第2比较结果是指，对一对帧中后获取的后一帧中包含的相位差图像与普通图像进行比较的结果。控制部(28C)将已校正减光特性的后一帧作为动态图像而连续显示于显示装置。

Description

图像处理装置、摄像装置、图像处理方法及图像处理程序
技术领域
本发明涉及一种图像处理装置、摄像装置、图像处理方法及图像处理程序。
背景技术
作为数码相机，除了使用相位差检测方式或对比度检测方式的自动聚焦之外，还广泛已知有具备使用者能够手动调整聚焦的所谓的手动聚焦模式的相机。
作为具有手动聚焦模式的数码相机，已知有采用如下方法的相机，即，以能够确认被摄体的同时进行聚焦调整的方式设置反射镜，并使用显示基于肉眼观察的相位差的分割微棱镜屏。并且，还已知有采用进行基于肉眼观察的对比度确认的方法的相机。
但是，近年来普及的省略反射镜的数码相机中，由于没有反射镜，无法显示相位差的同时确认被摄体像，不得不依赖于对比度检测方式。但是，此时，无法显示LCD(liquidcrystaldisplay：液晶显示器)等显示装置的分辨率以上的对比度，不得不采取进行局部放大等来显示的方法。
因此，近年来，为了在手动聚焦模式时使用户(例如，摄影者)将焦点对焦于被摄体的操作变得轻松，在即时预览图像(还称为实时取景图像)内显示裂像。裂像是指，例如为显示区域被分割为多个的分割图像(例如，沿上下方向分割的各图像)，视差产生方向(例如，左右方向)根据焦点的偏离而偏离，若是对焦的状态，则视差产生方向的偏离消失的分割图像。用户操作手动聚焦环(以下，称为“聚焦环”)来进行对焦，以消除裂像(例如，沿上下方向分割的各图像)的偏离。
在此，参考专利文献1中记载的摄像装置，对裂像的原理进行说明。专利文献1中记载的摄像装置生成通过透过摄影透镜的一对区域的被摄体像被光瞳分割而分别成像来获得的所谓的右眼图像及左眼图像。并且，利用右眼图像及左眼图像生成裂像，且生成通过透过摄影透镜的被摄体像未被光瞳分割而成像来获得的普通图像。并且，在显示部显示普通图像，且在普通图像内显示裂像。
但是，右眼图像及左眼图像中，透过摄影透镜中的一对区域的光束的中心偏离透镜光轴，由此在右眼图像及左眼图像中在光瞳分割方向上的各方向出现线性减光特性。
作为校正减光特性的技术，已知有专利文献2中记载的技术。专利文献2中记载的摄像装置对普通图像中包含的像素值与右眼图像及左眼图像的每一个中包含的像素值进行比较来制作校正表，并使用所制作的校正表校正减光特性。
以往技术文献
专利文献
专利文献1：日本专利公开2009-147665号公报
专利文献2：WO2012/039346
发明的概要
发明要解决的技术课题
然而，减光特性依赖于摄像装置中的透镜或光圈值等摄影条件，因此在专利文献2中记载的技术中，不得不按每个摄影条件制作校正表，很难即时对摄影条件的变化进行减光特性的校正。
本发明是鉴于这种情况而提出的，其目的在于提供一种能够即时进行减光特性的校正的图像处理装置、摄像装置、图像处理方法及图像处理程序。
用于解决技术课题的手段
为了实现上述目的，本发明的第1方式所涉及的图像处理装置，其包含：获取部，具有输出通过透过摄影透镜的一对区域的被摄体像被光瞳分割而分别成像来获得的第1图像信号的相位差像素组，且获取包含基于第1图像信号的第1图像及基于第2图像信号的第2图像的摄影图像，所述第1图像信号从输出第2图像信号的成像元件输出，所述第2图像信号相当于通过透过摄影透镜的被摄体像未被光瞳分割而成像来获得的图像信号，所述第2图像信号从成像元件输出；校正部，根据第1比较结果及第2比较结果导出减光特性校正系数，根据所导出的减光特性校正系数校正针对后获取图像的减光特性，所述第1比较结果是对通过获取部以互不相同的时刻获取摄影图像来获得的一对摄影图像中先获取的先获取图像中包含的第1图像与第2图像进行比较的结果，所述第2比较结果是对一对摄影图像中比先获取图像后获取的后获取图像中包含的第1图像与第2图像进行比较的结果；显示部，显示图像；及控制部，将先获取图像中包含的第2图像及已通过校正部校正减光特性的后获取图像中包含的第2图像作为动态图像而连续显示于显示部，且将基于先获取图像中包含的第1图像的图像及基于已通过校正部校正减光特性的后获取图像中包含的第1图像的图像作为对焦确认用动态图像而连续显示于第2图像的显示区域内。由此，与不具有利用根据第1比较结果及第2比较结果计算出的减光特性校正系数校正减光特性的结构时相比，图像处理装置能够即时进行减光特性的校正。
为了实现上述目的，本发明的第2方式所涉及的图像处理装置，其包含：获取部，具有输出通过透过摄影透镜的一对区域的被摄体像被光瞳分割而分别成像来获得的第1图像信号的相位差像素组，且获取包含基于第1图像信号的第1图像及基于第2图像信号的第2图像的摄影图像，所述第1图像信号从输出第2图像信号的成像元件输出，所述第2图像信号相当于通过透过摄影透镜的被摄体像未被光瞳分割而成像来获得的图像信号，所述第2图像信号从成像元件输出；校正部，根据第1比较结果及第2比较结果导出减光特性校正系数，根据所导出的减光特性校正系数校正针对后获取图像的减光特性，所述第1比较结果是对通过获取部以互不相同的时刻获取摄影图像来获得的一对摄影图像中先获取的先获取图像中包含的第1图像与第2图像进行比较的结果，所述第2比较结果是对一对摄影图像中比先获取图像后获取的后获取图像中包含的第1图像与第2图像进行比较的结果；显示部，显示图像；及控制部，将基于先获取图像中包含的第1图像的图像及基于已通过校正部校正减光特性的后获取图像中包含的第1图像的图像作为对焦确认用动态图像而连续显示于显示部。由此，与不具有利用根据第1比较结果及第2比较结果计算出的平均化校正系数校正减光特性的结构时相比，图像处理装置能够即时进行减光特性的校正。
在本发明的第3方式所涉及的图像处理装置中，本发明的第1方式或第2方式中，减光特性校正系数为对第1比较结果及第2比较结果进行平均化来获得的减光特性校正系数。由此，与未将对第1比较结果及第2比较结果进行平均化来获得的值用作减光特性校正系数时相比，图像处理装置能够获得与当前的摄影条件对应的减光特性校正系数。
在本发明的第4方式所涉及的图像处理装置中，本发明的第3方式中，减光特性校正系数为对赋予第1权重的第1比较结果及赋予小于第1权重的第2权重的第2比较结果进行平均化来获得的减光特性校正系数。由此，与未将对赋予第1权重的第1比较结果及赋予小于第1权重的第2权重的第2比较结果进行平均化来获得的值用作减光特性校正系数时相比，图像处理装置能够提高减光特性的校正精度。
在本发明的第5方式所涉及的图像处理装置中，本发明的第3方式中，减光特性校正系数为对赋予第1权重的第1比较结果及赋予第1权重以上的第2权重的第2比较结果进行平均化来获得的减光特性校正系数。由此，与未将对赋予第1权重的第1比较结果及赋予第1权重以上的第2权重的第2比较结果进行平均化来获得的值用作减光特性校正系数时相比，图像处理装置能够缩短减光特性的校正时间。
在本发明的第6方式所涉及的图像处理装置中，本发明的第1方式至第3方式的任一个中，第1比较结果为基于第1比较值的值，所述第1比较值是对先获取图像中包含的第1图像与第2图像的相互对应的像素位置中的像素值进行比较的值，第2比较结果为基于第2比较值的值，所述第2比较值是对后获取图像中包含的第1图像与第2图像的相互对应的像素位置中的像素值进行比较的值。由此，与不具有本结构时相比，图像处理装置能够获得能够使已校正减光特性的图像的亮度以像素单位与第2图像的亮度对应的减光特性校正系数。
在本发明的第7方式所涉及的图像处理装置中，本发明的第6方式中，减光特性校正系数是按成像元件中的光瞳分割方向的3个以上的像素位置，根据基于第1比较值中的最小值及最大值的至少1个以外的第1比较值的值及基于第2比较值中的最小值及最大值的至少1个以外的第2比较值的值获得的减光特性校正系数。由此，与不具有本结构时相比，图像处理装置能够获得精度良好地平滑化的减光特性校正系数。
在本发明的第8方式所涉及的图像处理装置中，本发明的第6方式中，校正部进行如下校正，即，当第2比较值超过上限值时，将超过上限值的第2比较值变更为相当于与获得超过上限值的第2比较值的像素位置对应的像素位置的第1比较值的值，当第2比较值小于下限值时，将小于下限值的第2比较值变更为相当于与获得小于下限值的第2比较值的像素位置对应的像素位置的第1比较值的值。由此，与不具有本结构时相比，图像处理装置能够获得精度良好地平滑化的减光特性校正系数。
在本发明的第9方式所涉及的图像处理装置中，本发明的第6方式至第8方式的任一个中，成像元件对按每个像素分配的颜色具有灵敏度，第1比较值为对先获取图像中包含的第1图像与第2图像的具有同种颜色的灵敏度且相互对应的像素位置中的像素值进行比较的比较值，第2比较值为对后获取图像中包含的第1图像与第2图像的具有同种颜色的灵敏度且相互对应的像素位置中的像素值进行比较的比较值。由此，与不具有本结构时相比，即使按每一像素具有灵敏度的颜色不同，图像处理装置也能够以高精度进行减光特性的校正。
在本发明的第10方式所涉及的图像处理装置中，本发明的第1方式至第9方式的任一个中，成像元件具有将通过透过摄影透镜的被摄体像未被光瞳分割而成像来获得的图像信号作为第2图像信号来输出的像素组。由此，与成像元件不具有将通过透过摄影透镜的被摄体像未被光瞳分割而成像来获得的图像信号作为第2图像信号来输出的像素组时相比，图像处理装置能够提高图像的画质。
本发明的第11方式所涉及的摄像装置，其包含：本发明的第1方式至第10方式的任一个图像处理装置；具有相位差像素组的成像元件；及存储根据从成像元件输出的信号来生成的图像的存储部。由此，与不具有利用根据第1比较结果及第2比较结果计算出的减光特性校正系数来校正减光特性的结构时相比，摄像装置能够即时进行减光特性的校正。
本发明的第12方式所涉及的图像处理方法，其包含：具有输出通过透过摄影透镜的一对区域的被摄体像被光瞳分割而分别成像来获得的第1图像信号的相位差像素组，且获取包含基于第1图像信号的第1图像及基于第2图像信号的第2图像的摄影图像，所述第1图像信号从输出第2图像信号的成像元件输出，所述第2图像信号相当于通过透过摄影透镜的被摄体像未被光瞳分割而成像来获得的图像信号，所述第2图像信号从成像元件输出，根据第1比较结果及第2比较结果导出减光特性校正系数，所述第1比较结果是对通过以互不相同的时刻获取摄影图像来获得的一对摄影图像中先获取的先获取图像中包含的第1图像与第2图像进行比较的结果，所述第2比较结果是对一对摄影图像中比先获取图像后获取的后获取图像中包含的第1图像与第2图像进行比较的结果，根据所导出的减光特性校正系数校正针对后获取图像的减光特性，将先获取图像中包含的第2图像及已校正减光特性的后获取图像中包含的第2图像作为动态图像而连续显示于显示图像的显示部，且将基于先获取图像中包含的第1图像的图像及基于已校正减光特性的后获取图像中包含的第1图像的图像作为对焦确认用动态图像而连续显示于第2图像的显示区域内。由此，与不具有利用根据第1比较结果及第2比较结果计算出的减光特性校正系数来校正减光特性的结构时相比，本发明的第13方式所涉及的图像处理方法能够即时进行减光特性的校正。
本发明的第13方式所涉及的图像处理方法，其包含：具有输出通过透过摄影透镜的一对区域的被摄体像被光瞳分割而分别成像来获得的第1图像信号的相位差像素组，且获取包含基于第1图像信号的第1图像及基于第2图像信号的第2图像的摄影图像，所述第1图像信号从输出第2图像信号的成像元件输出，所述第2图像信号相当于通过透过摄影透镜的被摄体像未被光瞳分割而成像来获得的图像信号，所述第2图像信号从成像元件输出，根据第1比较结果及第2比较结果导出减光特性校正系数，所述第1比较结果是对通过以互不相同的时刻获取摄影图像来获得的一对摄影图像中先获取的先获取图像中包含的第1图像与第2图像进行比较的结果，所述第2比较结果是对一对摄影图像中比先获取图像后获取的后获取图像中包含的第1图像与第2图像进行比较的结果，根据所导出的减光特性校正系数校正针对后获取图像的减光特性，将基于先获取图像中包含的第1图像的图像及基于已校正减光特性的后获取图像中包含的第1图像的图像作为对焦确认用动态图像而连续显示于显示图像的显示部。由此，与不具有利用根据第1比较结果及第2比较结果计算出的减光特性校正系数来校正减光特性的结构时相比，本发明的第14方式所涉及的图像处理方法能够即时进行减光特性的校正。
本发明的第14方式所涉及的图像处理程序，其为用于使计算机执行如下处理的图像处理程序，该处理包含：具有输出通过透过摄影透镜的一对区域的被摄体像被光瞳分割而分别成像来获得的第1图像信号的相位差像素组，且获取包含基于第1图像信号的第1图像及基于第2图像信号的第2图像的摄影图像，所述第1图像信号从输出第2图像信号的成像元件输出，所述第2图像信号相当于通过透过摄影透镜的被摄体像未被光瞳分割而成像来获得的图像信号，所述第2图像信号从成像元件输出，根据第1比较结果及第2比较结果导出减光特性校正系数，所述第1比较结果是对通过以互不相同的时刻获取摄影图像来获得的一对摄影图像中先获取的先获取图像中包含的第1图像与第2图像进行比较的结果，所述第2比较结果是对一对摄影图像中比先获取图像后获取的后获取图像中包含的第1图像与第2图像进行比较的结果，根据所导出的减光特性校正系数校正针对后获取图像的减光特性，将先获取图像中包含的第2图像及已校正减光特性的后获取图像中包含的第2图像作为动态图像而连续显示于显示图像的显示部，且将基于先获取图像中包含的第1图像的图像及基于已校正减光特性的后获取图像中包含的第1图像的图像作为对焦确认用动态图像而连续显示于第2图像的显示区域内。由此，与不具有利用根据第1比较结果及第2比较结果计算出的减光特性校正系数来校正减光特性的结构时相比，图像处理程序能够即时进行减光特性的校正。
本发明的第15方式所涉及的图像处理程序，其为用于使计算机执行如下处理的图像处理程序，该处理包含：具有输出通过透过摄影透镜的一对区域的被摄体像被光瞳分割而分别成像来获得的第1图像信号的相位差像素组，且获取包含基于第1图像信号的第1图像及基于第2图像信号的第2图像的摄影图像，所述第1图像信号从输出第2图像信号的成像元件输出，所述第2图像信号相当于通过透过摄影透镜的被摄体像未被光瞳分割而成像来获得的图像信号，所述第2图像信号从成像元件输出，根据第1比较结果及第2比较结果导出减光特性校正系数，所述第1比较结果是对通过以互不相同的时刻获取摄影图像来获得的一对摄影图像中先获取的先获取图像中包含的第1图像与第2图像进行比较的结果，所述第2比较结果是对一对摄影图像中比先获取图像后获取的后获取图像中包含的第1图像与第2图像进行比较的结果，根据所导出的减光特性校正系数校正针对后获取图像的减光特性，将基于先获取图像中包含的第1图像的图像及基于已校正减光特性的后获取图像中包含的第1图像的图像作为对焦确认用动态图像而连续显示于显示图像的显示部。由此，与不具有利用根据第1比较结果及第2比较结果计算出的减光特性校正系数来校正减光特性的结构时相比，图像处理程序能够即时进行减光特性的校正。
发明效果
根据本发明，可获得能够即时进行减光特性的校正的效果。
附图说明
图1是表示第1～第3实施方式所涉及的作为透镜更换式相机的摄像装置的外观的一例的立体图。
图2是表示第1～第3实施方式所涉及的摄像装置的背面侧的后视图。
图3是表示第1～第3实施方式所涉及的摄像装置的硬件结构的一例的框图。
图4是表示设置于第1～第3实施方式所涉及的摄像装置中包含的成像元件的滤色器的结构的一例的概略结构图。
图5是表示第1～第3实施方式所涉及的摄像装置中包含的成像元件中的普通像素、第1像素及第2像素的配置例以及分别分配于普通像素、第1像素及第2像素的滤色器的颜色的配置例的示意图。
图6是表示第1～第3实施方式所涉及的摄像装置中包含的成像元件中的第1像素及第2像素各自的结构的一例的示意图。
图7是表示第1～第3实施方式所涉及的摄像装置的本发明所涉及的主要部分功能的一例的框图。
图8是用于说明通过第1～第3实施方式所涉及的摄像装置中包含的图像处理部生成的裂像的生成方法的示意图。
图9是表示显示于第1～第3实施方式所涉及的摄像装置中包含的第1显示器的包含裂像及普通图像的即时预览图像的一例的画面图。
图10是表示第1～第3实施方式所涉及的摄像装置中包含的混合式取景器的结构的一例的概略结构图。
图11是用于说明基于左区域透过光及右区域透过光的减光特性的原理(分别入射于第1及第2像素的光束的路径的一例)的说明图。
图12是表示光瞳分割方向的线性减光特性对相当于左眼图像及右眼图像各自的光瞳分割方向的方向的各像素的输出带来的影响的一例的图表。
图13是表示第1实施方式所涉及的图像输出处理的流程的一例的流程图。
图14是表示校正前后的显示用左眼图像及显示用右眼图像所受到的减光特性的影响的一例的概念图。
图15是表示第2实施方式所涉及的图像输出处理的流程的一例的流程图。
图16是表示通过第2实施方式所涉及的图像输出处理而设定的关注行及关注像素组的一例的示意图。
图17A是表示第3实施方式所涉及的图像输出处理的流程的一例的流程图。
图17B是图17A所示的流程图的后续。
图18是用于说明通过第1～第3实施方式所涉及的摄像装置中包含的图像处理部的校正部进行的第1及第2平均化校正系数的计算方法的示意图。
图19是表示针对第1～第3实施方式所涉及的摄像装置中包含的成像元件的相位差像素分配有G滤波器及R滤波器的像素配置例的示意图。
图20是表示第4实施方式所涉及的智能手机的外观的一例的立体图。
图21是表示第4实施方式所涉及的智能手机的电系统的主要部分结构的一例的框图。
图22是第1～第4实施方式所涉及的裂像的变形例，是表示将第1图像及第2图像分为奇数排及偶数排来交替排列而形成的裂像的一例的示意图。
图23是第1～第4实施方式所涉及的裂像的变形例，是表示通过相对于行方向倾斜的倾斜分割线分割的裂像的一例的示意图。
图24A是第1～第4实施方式所涉及的裂像的变形例，是表示被格子状的分割线分割的裂像的一例的示意图。
图24B是第1～第4实施方式所涉及的裂像的变形例，是表示形成为方格状的裂像的一例的示意图。
图25是表示成像元件中包含的第1像素及第2像素的配置的变形例的概略配置图。
具体实施方式
以下，根据附图对本发明所涉及的摄像装置的实施方式的一例进行说明。
[第1实施方式]
图1是表示第1实施方式所涉及的摄像装置100的外观的一例的立体图，图2是图1所示的摄像装置100的后视图。
摄像装置100为透镜更换式相机。摄像装置100包含摄像装置主体200及可更换地安装于摄像装置主体200的更换透镜300，是省略反射镜的数码相机。更换透镜300包含具有通过手动操作可沿光轴方向移动的聚焦透镜302的摄影透镜16(参考图3)。并且，摄像装置主体200上设置有混合式取景器(注册商标)220。在此所说的混合式取景器220是指，例如选择性地使用光学取景器(以下，称为“OVF”)及电子取景器(以下，称为“EVF”)的取景器。
更换透镜300可更换地安装于摄像装置主体200。并且，更换透镜300的镜筒上设置有手动聚焦模式时使用的聚焦环301。随着手动进行的聚焦环301的旋转操作，聚焦透镜302向光轴方向移动，被摄体光在与被摄体距离相应的对焦位置成像于后述的成像元件20(参考图3)。
在摄像装置主体200的前面设置有混合式取景器220中包含的OVF的取景窗241。并且，在摄像装置主体200的前面设置有取景器切换杆(取景器切换部)214。若使取景器切换杆214向箭头SW方向转动，则可在能够以OVF视觉辨认的光学图像与能够以EVF视觉辨认的电子图像(即时预览图像)之间进行切换(后述)。另外，OVF的光轴L2为不同于更换透镜300的光轴L1的光轴。并且，在摄像装置主体200的上面主要设置有释放按钮211及用于设定摄影模式或回放模式等的拨盘212。
作为摄影准备命令部及摄影命令部的释放按钮211构成为能够检测摄影准备命令状态及摄影命令状态这2个阶段的按压操作。摄影准备命令状态是指例如从待机位置按下至中间位置(半按位置)的状态，摄影命令状态是指按下至超过中间位置的最终按下位置(全按位置)的状态。另外，以下内容中，将“从待机位置按下至半按位置的状态”称为“半按状态”，将“从待机位置按下至全按位置的状态”称为“全按状态”。
本第1实施方式所涉及的摄像装置100中，根据用户的命令选择性地设定摄影模式及回放模式作为动作模式。摄影模式中，根据用户的命令选择性地设定手动聚焦模式及自动聚焦模式。自动聚焦模式中，通过将释放按钮211设为半按状态，进行摄影条件的调整，之后，若接着设为全按状态，则进行曝光(摄影)。即，通过将释放按钮211设为半按状态，AE(AutomaticExposure)功能发挥作用而设定曝光状态之后，AF(Auto-Focus)功能发挥作用而进行对焦控制，若将释放按钮211设为全按状态，则进行摄影。
在图2所示的摄像装置主体200的背面，设置有触摸面板显示器213、十字键222、菜单/确认(MENU/OK)键224、返回/显示(BACK/DISP)按钮225及OVF的取景器目镜部242。
触摸面板显示器213具备液晶显示器(以下，称为“第1显示器”)215及触摸面板216。
第1显示器215显示图像及文字信息等。第1显示器215用于显示作为摄影模式时以连续帧拍摄而获得的连续帧图像的一例的即时预览图像(实时取景图像)。并且，第1显示器215还用于显示作为被赋予静态图像摄影命令时以单一帧拍摄而获得的单一帧图像的一例的静态图像。而且，第1显示器215还用于显示回放模式时的回放图像或菜单画面等。
触摸面板216为透过型触摸面板，重叠于第1显示器215的显示区域的表面。触摸面板216检测基于命令体(例如，手指或触控笔)的接触。触摸面板216将表示检测结果(命令体有无接触触摸面板216)的检测结果信息以规定周期(例如，100毫秒)输出至规定的输出对象(例如，后述的CPU12(参考图3))。当触摸面板216检测到基于命令体的接触时，检测结果信息包含能够确定触摸面板216上的基于命令体的接触位置的二维坐标(以下，称为“坐标”)，当触摸面板216未检测到基于命令体的接触时，检测结果信息不包含坐标。
十字键222作为输出1个或多个的菜单选择、变焦或逐帧播放等各种指令信号的多功能键发挥作用。菜单/确认键224为兼具作为用于进行在第1显示器215的画面上显示1个或多个菜单的指令的菜单按钮的功能及作为发出选择内容的确定及执行等指令的确认(OK)按钮的功能的操作键。返回/显示按钮225用于选择项目等所希望的对象的删除或指定内容的取消或者返回前一个操作状态时等。
图3是表示第1实施方式所涉及的摄像装置100的硬件结构的一例的电系统框图。
摄像装置100包含摄像装置主体200所具备的台座256及与台座256对应的更换透镜300侧的台座346。更换透镜300通过台座346与台座256的结合，以可更换的方式安装于摄像装置主体200。
更换透镜300包含滑动机构303及马达304。滑动机构303通过进行聚焦环301的操作，使聚焦透镜302沿着光轴L1移动。滑动机构303上以能够沿着光轴L1滑动的方式安装有聚焦透镜302。并且，滑动机构303上连接有马达304，滑动机构303接收马达304的动力，使聚焦透镜302沿着光轴L1滑动。
马达304经由台座256、346连接于摄像装置主体200，其驱动根据来自摄像装置主体200的命令而被控制。另外，本第1实施方式中，作为马达304的一例，适用步进马达。因此，马达304根据来自摄像装置主体200的命令，与脉冲功率同步动作。并且，图3所示的例子中，示出了马达304设置于更换透镜300的例子，但并不限于此，马达304也可设置于摄像装置主体200。
摄像装置100为记录所拍摄的静态图像和动态图像的数码相机，整个相机的操作通过CPU(centralprocessingunit：中央处理装置)12控制。摄像装置100包含操作部14、接口部24、主存储部25、辅助存储部26、扬声器35、目镜检测部37及外部接口(I/F)39。并且，摄像装置100包含作为本发明所涉及的控制部的一例的显示控制部36。并且，摄像装置100包含作为本发明所涉及的获取部、校正部及控制部的一例的图像处理部28。
CPU12、操作部14、接口部24、主存储部25、辅助存储部26、图像处理部28、扬声器35、显示控制部36、目镜检测部37、外部I/F39及触摸面板216经由总线40相互连接。
主存储部25表示易失性存储器，例如指RAM(RandomAccessMemory)。主存储部25具有帧存储区域25A、第1校正系数存储区域25B及第2校正系数存储区域25C。帧存储区域25A为存储后述的帧的存储区域。第1校正系数存储区域25B为存储后述的左眼图像校正系数的存储区域。第2校正系数存储区域25C为存储后述的右眼图像校正系数的存储区域。
辅助存储部26表示非易失性存储器，例如指闪存或HDD(HardDiskDrive)。辅助存储部26具有第1使用系数存储区域26A及第2使用系数存储区域26B。第1使用系数存储区域26A为存储后述的第1平均化校正系数的存储区域，第2使用系数存储区域26B为存储后述的第2平均化校正系数的存储区域。
另外，本第1实施方式所涉及的摄像装置100中，自动聚焦模式时，CPU12以通过拍摄获得的图像的对比度值成为最大的方式驱动控制马达304，由此进行对焦控制。并且，自动聚焦模式时，CPU12计算表示通过拍摄获得的图像的明度的物理量即AE信息。当释放按钮211设为半按状态时，CPU12导出与通过AE信息示出的图像的明度相应的快门速度及F值。并且，以成为所导出的快门速度及F值的方式控制相关各部，由此进行曝光状态的设定。
操作部14为对摄像装置100赋予各种命令时由用户操作的用户界面。操作部14包含释放按钮211、选择摄影模式等的拨盘212、取景器切换杆214、十字键222、菜单/确认键224及返回/显示按钮225。通过操作部14接收的各种命令作为操作信号而输出至CPU12，CPU12执行与从操作部14输入的操作信号相应的处理。
摄像装置主体200包含位置检测部23。位置检测部23连接于CPU12。位置检测部23经由台座256、346连接于聚焦环301，检测聚焦环301的旋转角度，并将表示作为检测结果的旋转角度的旋转角度信息输出至CPU12。CPU12执行与从位置检测部23输入的旋转角度信息相应的处理。
若设定摄影模式，则表示被摄体的图像光经由包含能够通过手动操作移动的聚焦透镜302的摄影透镜16及快门18而成像于彩色成像元件(作为一例，为CMOS传感器)20的受光面。积蓄在成像元件20的信号电荷通过由设备控制部22赋予的读出信号，作为与信号电荷(电压)相应的数字信号被依次读出。成像元件20具有所谓的电子快门功能，通过使电子快门功能发挥作用，根据读出信号的时刻控制各感光器的电荷积蓄时间(快门速度)。另外，本第1实施方式所涉及的成像元件20为CMOS型的图像传感器，但并不限于此，也可以是CCD图像传感器。
关于成像元件20，作为一例，具备图4所示的滤色器21。滤色器21包含最有助于获得亮度信号的与G(绿)对应的G滤波器G、与R(红)对应的R滤波器R及与B(蓝)对应的B滤波器。图5所示的例子中，作为成像元件20的像素数的一例，采用了“4896×3265”像素，对这些像素分别沿行方向(水平方向)及列方向(垂直方向)以规定周期性配置有G滤波器、R滤波器及B滤波器。因此，摄像装置100在进行R、G、B信号的同步(插值)处理等时，能够根据反复图案进行处理。另外，同步处理是根据与单板式彩色成像元件的滤色器排列对应的马赛克图像按每个像素计算所有颜色信息的处理。例如，当为由RGB3色的滤色器构成的成像元件时，同步处理表示根据由RGB构成的马赛克图像按每个像素计算所有RGB的颜色信息的处理。
作为一例，如图5所示，成像元件20包含后述的第1像素L、第2像素R及普通像素N。第1像素L、第2像素R及普通像素N上分别设置有微透镜19，透过微透镜19的光被第1像素L、第2像素R及普通像素N受光而进行光电转换。对成像元件20的各像素分配有滤色器21中包含的“R”、“G”及“B”的任一滤波器。另外，图5所示的例子中，像素内的“R”指R滤波器，像素内的“G”指G滤波器，像素内的“B”指B滤波器。
成像元件20包含第1像素行150、第2像素行152及第3像素行154。第1像素行150在同一行内包含第1像素L、第2像素R及普通像素N。第1像素L及第2像素R沿行方向隔着多个普通像素N(图5所示的例子中为2个普通像素N)而交替配置，以便对G滤波器分配第1像素L及第2像素R。第2像素行152与第1像素行150相比，不同点在于第1像素L与第2像素R的位置相反。第3像素行154是指行内的所有像素为普通像素N的行。第1像素行150及第2像素行152沿列方向隔着多个行的第3像素行154(本第1实施方式中，作为一例，沿列方向行数以规定周期而不同的第3像素行154)而交替配置。另外，以下内容中，无需区别说明第1像素行150及第2像素行152时，称为“相位差像素行”。
关于第1像素L，作为一例，如图6所示，是受光面中的行方向的左半部分(从受光面观察被摄体时的左侧(换言之，从被摄体观察受光面时的右侧))被遮光部件20A遮光的像素。关于第2像素R，作为一例，如图6所示，是受光面中的行方向的右半部分(从受光面观察被摄体时的右侧(换言之，从被摄体观察受光面时的左侧))被遮光部件20B遮光的像素。另外，以下内容中，无需区别说明第1像素L及第2像素R时，称为“相位差像素”。
透过摄影透镜16的出射光瞳的光束大致分为左区域透过光及右区域透过光。左区域透过光是指透过摄影透镜16的出射光瞳的光束中的左半部分的光束，右区域透过光是指透过摄影透镜16的出射光瞳的光束中的右半部分的光束。透过摄影透镜16的出射光瞳的光束通过作为光瞳分割部发挥作用的微透镜19及遮光部件20A、20B分割为左右，第1像素L接收左区域透过光，第2像素R接收右区域透过光。其结果，与左区域通过光对应的被摄体像及与右区域通过光对应的被摄体像作为不同视差的视差图像(后述的左眼图像及右眼图像)而被获取。另外，以下内容中，无需区别说明遮光部件20A、20B时，不标注符号而称为“遮光部件”。
成像元件20分类为第1像素组(本发明所涉及的相位差像素组的一例)、第2像素组(本发明所涉及的相位差像素组的一例)及第3像素组。关于第1像素组，作为一例，如图5所示，是指配置成行列状的多个第1像素L。关于第2像素组，作为一例，如图5所示，是指配置成行列状的多个第2像素R。关于第3像素组，作为一例，是指图5所示的多个普通像素N。在此，普通像素N是指相位差像素以外的像素(例如，未设置有遮光部件20A、20B的像素)。
另外，以下内容中，为了便于说明，将从第1像素组输出的RAW图像称为“左眼图像”，将从第2像素组输出的RAW图像称为“右眼图像”，将从第3像素组输出的RAW图像称为“普通图像”。并且，以下内容中，无需区别说明在相同的摄影时刻获得的左眼图像、右眼图像及普通图像时，称为“帧”。即，帧表示本发明所涉及的摄影图像的一例。并且，以下内容中，为了便于说明，无需区别说明左眼图像及右眼图像时，称为“相位差图像”。并且，左眼图像表示本发明所涉及的第1图像的一例，右眼图像表示本发明所涉及的第1图像的一例，普通图像表示本发明所涉及的第2图像的一例。
回到图3，成像元件20从第1像素组输出左眼图像(表示各第1像素L的信号输出值(以下，称为“像素值”)的数字信号)，从第2像素组输出右眼图像(表示各第2像素R的像素值的数字信号)。并且，成像元件20从第3像素组输出普通图像(表示各普通像素N的像素值的数字信号)。即，表示各第1像素L的像素值的信号及表示各第2像素R的像素值的数字信号为本发明所涉及的第1图像信号的一例。并且，表示各普通像素N的像素值的数字信号为本发明的第2图像信号的一例。另外，从第3像素组输出的普通图像为彩色图像，例如为与普通像素N的排列相同的彩色排列的彩色图像。从成像元件20输出的帧经由接口24暂时存储(覆盖保存)于帧存储区域25A。
图像处理部28对存储于帧存储区域25A的帧实施各种图像处理。图像处理部28通过将图像处理所涉及的多个功能的电路集成为1个的集成电路即ASIC(ApplicationSpecificIntegratedCircuit)而实现。但是，硬件结构并不限定于此，例如可以是可编程逻辑设备，也可以是包含CPU、ROM及RAM的计算机等其他硬件结构。
关于图像处理部28，作为一例，如图7所示，包含获取部28A、校正部28B及控制部28C。获取部28A获取从成像元件20输出的左眼图像及右眼图像(本发明所涉及的第1图像的一例)及从成像元件20输出的普通图像(本发明所涉及的第2图像的一例)。
校正部28B获得对通过获取部28A以不同时刻获取帧来获得的一对帧中先获取的前一帧(先获取图像)中包含的相位差图像与普通图像进行比较的第1比较结果。并且，校正部28B获得对通过获取部28A以不同时刻获取帧来获得的一对帧中后获取的后一帧(后获取图像)中包含的相位差图像与普通图像进行比较的第2比较结果。而且，校正部28B根据第1比较结果及第2比较结果导出减光特性校正系数，并根据所导出的减光特性校正系数校正针对后一帧的减光特性。关于减光特性校正系数，作为一例，如图14所示，是指用于校正在显示用左眼图像及显示用右眼图像(后述)中出现的减光特性的校正系数。本第1实施方式中，减光特性是指，例如由于透过摄影透镜16中的一对区域的光束的中心偏离透镜光轴，在右眼图像及左眼图像中出现的沿光瞳分割方向的各方向的线性减光特性。另外，通过校正部28B导出的第1比较结果、第2比较结果及减光特性校正系数可利用运算式导出，也可利用表来导出。
控制部28C将前一帧中包含的普通图像及已校正减光特性的后一帧中包含的普通图像作为动态图像而连续显示于显示装置(后述)。并且，控制部28C将基于前一帧中包含的相位差图像的图像(例如，后述的裂像)及基于已校正减光特性的后一帧中包含的相位差图像的图像作为对焦确认用动态图像而连续显示于普通图像的显示区域内。
通过成像元件20每获取1画面量的帧时，图像处理部28对该帧并列进行图像处理，生成彩色的普通图像，且作为用于对焦确认的图像而生成无彩色的裂像。
关于裂像，作为一例，如图8所示，是使显示用左眼图像与显示用右眼图像沿规定方向(在此，作为一例，为与视差产生方向正交的方向)相邻而配置的图像。显示用左眼图像是指沿规定方向对左眼图像进行4分割来获得的4个分割图像中的一部分分割图像(图8所示的例子中，从正面观察时，上数第1个及第3个分割图像)。显示用右眼图像是指从沿规定方向对右眼图像进行4分割来获得的4个分割图像中抽出与和显示用左眼图像对应的分割区域相邻的分割区域的分割图像(图8所示的例子中，从正面观察时，上数第2个及第4个分割图像)。
回到图3，混合式取景器220具有显示电子图像的液晶显示器(以下，称为“第2显示器”)247。
显示控制部36连接于第1显示器215及第2显示器247。显示控制部36根据来自CPU12的命令选择性地控制第1显示器215及第2显示器247，由此对第1显示器215及第2显示器247选择性地显示图像。另外，以下内容中，无需区别说明第1显示器215及第2显示器247时，称为“显示装置”。显示装置为本发明所涉及的显示部的一例。
作为一例，如图9所示，裂像显示于显示装置的画面中央部的矩形框内，在裂像的外周区域显示普通图像。图9所示的例子中，示出有显示用右眼图像与显示用左眼图像沿规定方向交替配置各2个的裂像。裂像中包含的显示用左眼图像及显示用右眼图像根据对焦状态沿视差产生方向偏离。并且，图9所示的例子中，示出有焦点对焦于人物的周边区域(例如，树)而焦点未对焦于人物的状态。另外，以下内容中，为了便于说明，无需区别说明显示用左眼图像及显示用右眼图像时，称为“显示用视差图像”。
另外，本第1实施方式中，代替普通图像的一部分图像而嵌入裂像来对普通图像合成裂像，但并不限于此，例如，也可以是在普通图像上重叠裂像的合成方法。并且，也可以是如下合成方法，即，重叠裂像时，适当调整被裂像重叠的普通图像的一部分图像与裂像的透过率来进行重叠。由此，表示连续拍摄的被摄体像的即时预览图像显示于显示装置的画面上，所显示的即时预览图像为在普通图像的显示区域内显示有裂像的图像。
另外，本第1实施方式所涉及的摄像装置100构成为能够通过拨盘212(聚焦模式切换部)切换手动聚焦模式与自动聚焦模式。若选择任一聚焦模式，则显示控制部36将合成有裂像的即时预览图像显示于显示装置。并且，若通过拨盘212选择自动聚焦模式，则CPU12作为相位差检测部及自动调焦部发挥作用。相位差检测部检测从第1像素组输出的左眼图像与从第2像素组输出的右眼图像的相位差。自动调焦部根据检测出的相位差以使聚焦透镜302的散焦量成为零的方式从设备控制部22经由台座256、346控制马达304，使聚焦透镜302向对焦位置移动。另外，上述“散焦量”例如指左眼图像及右眼图像的位相偏离量。
回到图3，目镜检测部37检测用户(例如摄影者)观察取景器目镜部242的情况，并将检测结果输出至CPU12。因此，CPU12能够根据目镜检测部37中的检测结果掌握取景器目镜部242是否被使用。
外部I/F39连接于LAN(LocalAreaNetwork)或互联网等通信网，经由通信网进行外部装置(例如，打印机)与CPU12之间的各种信息的收发。因此，作为外部装置连接有打印机时，摄像装置100能够将所拍摄的静态图像输出至打印机来进行印刷。并且，作为外部装置连接有显示器时，摄像装置100能够将所拍摄的静态图像或即时预览图像输出至显示器来进行显示。
作为一例，如图10所示，混合式取景器220包含OVF240及EVF248。OVF240为具有物镜244及目镜透镜246的反向伽利略取景器，EVF248具有第2显示器247、棱镜245及目镜透镜246。
并且，物镜244的前方配设有液晶快门243，液晶快门243在使用EVF248时以防止光学图像入射于物镜244的方式进行遮光。
棱镜245反射显示于第2显示器247的电子图像或各种信息并导向目镜透镜246，且合成光学图像与显示于第2显示器247的信息(电子图像、各种信息)。
在此，若沿图1所示的箭头SW方向转动取景器切换杆214，则每次转动时，交替切换能够通过OVF240视觉辨认光学图像的OVF模式与能够通过EVF248视觉辨认电子图像的EVF模式。
当为OVF模式时，显示控制部36以液晶快门243成为非遮光状态的方式进行控制，以便能够从目镜部视觉辨认到光学图像。并且，第2显示器247中仅显示裂像。由此，能够显示在光学图像的一部分重叠有裂像的取景器图像。
并且，当为EVF模式时，显示控制部36以液晶快门243成为遮光状态的方式进行控制，以便能够从目镜部仅视觉辨认到显示于第2显示器247的电子图像。另外，第2显示器247上输入有与合成了输出至第1显示器215的裂像的图像数据等同的图像数据。由此，第2显示器247能够与第1显示器215同样地显示在普通图像的一部分合成有裂像的电子图像。
但是，摄像装置100中，作为一例，如图11所示，当拍摄到被摄体时，透过摄影透镜16的左区域透过光透过与第1像素L对应的微透镜19并入射于第1像素L。但是，左区域透过光即使透过与第2像素R对应的微透镜19，也会被遮光部件20B遮光，因此并不入射于第2像素R。另一方面，透过摄影透镜16的右区域透过光透过与第2像素R对应的微透镜19并入射于第2像素R。但是，右区域透过光即使透过与第1像素L对应的微透镜19，也会被遮光部件20A遮光，因此并不入射于第1像素L。如此，只要针对像素的一半配置有遮光部件，则左区域通过光及右区域通过光各自的中心就会偏离摄影透镜16的光轴，因此在第1像素组及第2像素组各自中，减光特性根据光瞳分割方向的像素位置线性地发生变化。减光特性的变化体现为左眼图像及右眼图像中的输出的变化。即，假设光亮均匀的光从正面入射于摄影透镜16时获得的左眼图像及右眼图像的左右方向(相当于光瞳分割方向的方向)的输出根据像素位置大致线性地发生变化。例如，如图12所示，左眼图像中，越是右方向的像素位置，输出越减小，右眼图像中，越是左方向的像素位置，输出越减小。左眼图像及右眼图像的各输出的向左右相反的方向的大致线性的变化对裂像的画质也产生影响。
因此，本第1实施方式所涉及的摄像装置100中，作为一例，图像处理部28进行图13所示的图像输出处理。以下，作为本第1实施方式所涉及的摄像装置100的作用，参考图13对通过图像处理部28进行的图像输出处理进行说明。另外，在设定手动聚焦模式之后，在帧存储区域25A存储有一组左眼图像、右眼图像及普通图像时，图13所示的图像输出处理由图像处理部28进行。
图13所示的图像输出处理中，首先，在步骤400中，获取部28A从帧存储区域25A获取帧，之后过渡到步骤402。
步骤402中，校正部28B判定是否从设定为手动聚焦模式的时点或在步骤400中获取帧的前一次的时点已达到系数更新帧数(例如，1帧)。步骤402中，当从设定为手动聚焦模式的时点或在步骤400中获取帧的前一次的时点已达到系数更新帧数时，判定为肯定，并过渡到步骤404。在步骤402中，当从设定为手动聚焦模式的时点或在步骤400中获取帧的前一次的时点未达到系数更新帧数时，判定为否定，并过渡到步骤418。
在步骤404中，校正部28B针对特定相位差像素行，根据在步骤400中获取的各个左眼图像及普通图像获取特定的像素位置的像素值，之后过渡到步骤406。特定相位差像素行例如指成像元件150中的列方向的最上段的第1像素行150。并且，特定的像素位置是指特定的第1像素行150内的还未在步骤404及步骤408中获取像素值的像素位置。
在步骤406中，校正部28B计算左眼图像校正系数(基于本发明所涉及的第2比较结果及第2比较值的值的一例)。并且，将计算出的左眼图像校正系数与像素位置的坐标(例如，能够确定已在步骤404中获取像素值的像素位置的坐标)建立对应关联来存储(覆盖保存)于第1校正系数存储区域25B，之后过渡到步骤408。左眼图像校正系数例如指相邻左眼像素的像素值相对于特定的像素位置中的普通图像N的像素值的比例An(图5所示的例子中，比例A0、比例A1、比例A2或比例A3)。关于相邻左眼像素，作为一例，如图5所示，是指与特定的像素位置的普通像素N相邻的第1像素L。
在步骤408中，校正部28B针对特定相位差像素行，根据在步骤400中获取的各个右眼图像及普通图像获取特定的像素位置的像素值，之后过渡到步骤410。
在步骤410中，校正部28B计算右眼图像校正系数(基于本发明所涉及的第2比较结果及第2比较值的值的一例)。并且，将对计算出的右眼图像校正系数与像素位置的坐标(例如，能够确定已在步骤404中获取像素值的像素位置的坐标)建立对应关联来存储(覆盖保存)于第2校正系数存储区域25C，之后过渡到步骤412。右眼图像校正系数例如指相邻右眼像素的像素值相对于特定的像素位置中的普通图像N的像素值的比例Bn(图5所示的例子中，比例B0、比例B1、比例B2或比例B3)。关于相邻右眼像素，作为一例，如图5所示，是指与特定的像素位置的普通像素N相邻的第2像素R。
另外，以下内容中，为了便于说明，无需区别说明左眼图像校正系数及右眼图像校正系数时，称为“最新校正系数”。并且，本第1实施方式中，将普通像素N的像素值除以相位差像素的像素值来获得的除法运算结果例示为最新校正系数，但也可将除法运算结果乘以调整系数来获得的值作为最新校正系数。并且，也可将基于普通像素N的像素值与相位差像素的像素值之间的差值的值作为最新校正系数。如此，将基于对普通像素N的像素值与相位差像素的像素值进行比较的比较值的值用作最新校正系数即可。
并且，本第1实施方式中，举出通过对普通像素N的像素值与第2像素R的像素值进行比较来导出右眼图像校正系数的例子进行了说明，但也可参考左眼图像校正系数来预测右眼图像校正系数。此时，例如可举出如下例子，即，将针对与第2像素R的像素位置对应的像素位置的第1像素L的左眼图像校正系数乘以按每个像素位置个别设定的调整系数来获得的值作为右眼图像校正系数。
在步骤412中，校正部28B针对特定相位差像素行内的所有相位差像素，判定有无在步骤406及步骤410中计算出最新校正系数。在步骤412中，当在步骤406及步骤410中针对特定相位差像素行内的所有相位差像素已计算出最新校正系数时，判定为肯定，并过渡到步骤414。步骤412中，当在步骤406及步骤410针对特定相位差像素行内的所有相位差像素并未计算最新校正系数时，判定为否定，并过渡到步骤404。
在步骤414中，校正部28B计算存储于第1使用系数存储区域26A的第1平均化校正系数与存储于第1校正系数存储区域25B的左眼图像校正系数的平均值作为新的第1平均化校正系数。并且，计算存储于第2使用系数存储区域26B的第2平均化校正系数与存储于第2校正系数存储区域25C的右眼图像校正系数的平均值作为新的第2平均化校正系数。
其中，关于第1平均化校正系数与左眼图像校正系数的平均值，作为一例，如图18所示，是指每个像素(例如，存储于第1校正系数存储区域25B的每个坐标)的第1平均化校正系数与左眼图像校正系数的加权平均值。第1平均化校正系数与左眼图像校正系数的加权平均值是指对第1平均化校正系数乘以权重α(第1权重)来获得的值与对左眼图像校正系数乘以权重β(第2权重)来获得的值的平均值(例如，图18中以实线表示的曲线图)。
并且，第2平均化校正系数与右眼图像校正系数的平均值是指每个像素(存储于第2校正系数存储区域25C的每个坐标)的第2平均化校正系数与右眼图像校正系数的加权平均值。第2平均化校正系数与右眼图像校正系数的加权平均值例如指对第2平均化校正系数乘以权重α(第2权重)来获得的值与对右眼图像校正系数乘以权重β来获得的值的平均值(例如，图18中以单点划线表示的曲线图)。
权重α及权重β可以是固定值，也可以是可变值(例如，根据通过触摸面板216接收的命令而自定义的值)。并且，也可根据CPU12的处理速度的下降(运算负荷的增大)以规定的上限值为限度加大权重β，且以规定的下限值为限度缩小权重α。另外，作为权重α及权重β的比重图案，可例示具有“α＞β”的大小关系的第1比重图案(例如，α＝0.9及β＝0.1)及具有“α≤β”的大小关系的第2比重图案(例如，α＝0.5及β＝0.5)。若采用第1比重图案，则能够提高减光特性的校正精度(实现画质的提高)，若采用第2比重图案，则能够缩短减光特性的校正时间(实现处理速度的高速化)。
另外，在步骤414中，存储于第1使用系数存储区域26A的第1平均化校正系数表示基于本发明所涉及的减光特性校正系数、第1比较结果及第1比较值的值的一例。并且，在步骤414中，存储于第2使用系数存储区域26B的第2平均化校正系数表示基于本发明所涉及的减光特性校正系数、第1比较结果及第1比较值的值的一例。
在接下来的步骤416中，校正部28B将在步骤414中计算出的第1平均化校正系数按每个像素(例如，按存储于第1校正系数存储区域25B的每个坐标)存储于第1使用系数存储区域26A。并且，校正部28B将在步骤414中计算出的第2平均化校正系数按每个像素(例如，按存储于第2校正系数存储区域25C的每个坐标)存储于第2使用系数存储区域26B。
在接下来的步骤418中，校正部28B利用存储于第1使用系数存储区域26A的第1平均化校正系数，对在步骤400中获取的左眼图像的减光特性进行校正(进行所谓的阴影校正)。并且，校正部28B利用存储于第2使用系数存储区域26B的第2平均化校正系数，对在步骤400中获取的右眼图像进行校正。
在接下来的步骤420中，控制部28C根据在步骤418中已校正减光特性的左眼图像及右眼图像生成裂像，之后过渡到步骤422。
步骤422中，控制部28C将在步骤400中获取的普通图像及在步骤420中生成的裂像输出至显示控制部36，之后结束图像输出处理。若输入有普通图像及裂像，则显示控制部36进行将普通图像作为动态图像而连续显示于显示装置，且将裂像作为动态图像而连续显示于普通图像的显示区域内的控制。与此对应地，作为一例，如图9所示，显示装置显示即时预览图像。
如此，摄影者能够通过显示于显示装置的裂像确认对焦状态。并且，手动聚焦模式时，能够通过操作聚焦环301来使焦点的偏离量(散焦量)成为零。
并且，已通过校正部28B校正裂像的减光特性时，作为一例，如图14所示，第1及第2像素组各自的光瞳分割方向的像素的线性灵敏度变化引起的显示用视差图像的线性亮度变化得到减轻。
如以上说明，在摄像装置100中，计算出在不同时刻获取的一对帧中后获取的后一帧中包含的相位差图像与普通图像的比较结果即最新校正系数。若计算出最新校正系数，则根据一对帧中先获取的前一帧中包含的相位差图像与普通图像的比较结果即第1及第2平均化校正系数以及计算出的最新校正系数，计算出新的第1及第2平均化校正系数。并且，包含利用新的第1及第2平均化校正系数校正了减光特性的裂像的即时预览图像显示于显示装置。由此，与不具有利用根据当前的第1及第2平均化校正系数以及最新校正系数计算出的新的第1及第2平均化校正系数校正减光特性的结构时相比，摄像装置100能够即时进行减光特性的校正。
并且，摄像装置100中，将对一对帧中的前一帧的减光特性的校正中利用的第1及第2平均化校正系数(当前的第1及第2平均化校正系数)与最新校正系数进行平均化来获得的值用作新的第1及第2平均化校正系数。由此，与将对当前的第1及第2平均化校正系数与最新校正系数进行平均化来获得的值不用作新的第1及第2平均化校正系数时相比，摄像装置100能够获得与当前的摄影条件对应的第1及第2平均化校正系数。
并且，摄像装置100中，第1及第2平均化校正系数分别是对相位差图像与普通图像的相互对应的像素位置(例如，在行方向上相同的像素位置)中的像素值进行比较的比较值。并且，最新校正系数是对相位差图像与普通图像的相互对应的像素位置中的像素值进行比较的比较值。由此，与不具有本结构时相比，摄像装置100能够获得可使已校正减光特性的相位差图像的亮度以像素单位与普通图像的亮度对应的第1及第2平均化校正系数。
并且，摄像装置100中，计算出对一对帧中的后一帧中包含的左眼图像与普通图像进行比较的比较结果即左眼图像校正系数的平均值(步骤406)。并且，计算出对一对帧中的后一帧中包含的右眼图像与普通图像进行比较的比较结果即右眼图像校正系数的平均值(步骤410)。其中，根据对前一帧中包含的左眼图像与普通图像进行比较的比较结果即当前的第1平均化校正系数及计算出的左眼图像校正系数的平均值，计算出用于校正左眼图像的减光特性的新的第1平均化校正系数(步骤414)。并且，根据对前一帧中包含的右眼图像与普通图像进行比较的比较结果即当前的第2平均化校正系数及计算出的右眼图像校正系数的平均值，计算出用于校正右眼图像的减光特性的新的第2平均化校正系数(步骤414)。并且，根据计算出的新的第1平均化校正系数，校正后一帧中包含的左眼图像的减光特性，根据计算出的新的第2平均化校正系数，校正后一帧中包含的右眼图像的减光特性(步骤418)。由此，与不具有本结构时相比，摄像装置100能够以高精度校正右眼图像及左眼图像的减光特性。
另外，上述第1实施方式中，举出针对特定相位差像素行，从所获取的各个左眼图像及普通图像根据特定的像素位置的像素值计算左眼、右眼图像校正系数的例子来进行了说明，但本发明并不限定于此。例如，也可根据成像元件20的行方向上相同的像素位置中的第1像素L的像素值的平均值及第2像素R的像素值的平均值，计算左眼、右眼图像校正系数。
并且，上述第1实施方式中，将根据特定相位差像素行内的相位差像素的像素值获得的第1及第2平均化校正系数分别用于其他行中的相位差像素的减光特性的校正，但本发明并不限定于此。例如，可针对所有相位差像素行分别计算第1及第2平均化校正系数，计算从行方向上相同的像素位置获得的第1及第2平均化校正系数的各自的平均值、模式或中位数作为用于校正的新的第1及第2平均化校正系数。
并且，上述第1实施方式中，举出对从行方向上相邻的普通像素N与相位差像素获得的像素值进行比较的例子来进行了说明，但本发明并不限定于此。例如，在不存在与相位差像素相邻的普通像素N时，对相位差像素的像素值与存在于距离该相位差像素最近的位置的普通像素N的像素值进行比较即可。
并且，上述第1实施方式中，作为在步骤404、408中获取像素值的特定相位差像素行，例示了成像元件20中的列方向的最上段的第1像素行150，但本发明并不限定于此。例如，可以是存在于成像元件150中的列方向的中央段的第1像素行150或第2像素行152，也可以是存在于成像元件150中的列方向的最下段的第1像素行150或第2像素行152。并且，在步骤404、408中获取像素值的特定相位差像素行根据摄影透镜16的种类或光圈值等摄影条件而选择性地设定即可。并且，在步骤404、408中获取像素值的特定像素位置也根据摄影透镜16的种类或光圈值等摄影条件而选择性地设定即可。
并且，上述第1实施方式中，举出按每1帧计算新的第1及第2平均化校正系数的例子来进行了说明，但本发明并不限定于此。例如，可按根据CPU12当前的处理速度(运算负荷)确定的帧数计算新的第1及第2平均化校正系数。作为具体例，可举出如下例，即，CPU12的处理速度小于阈值时，按每5帧计算新的第1及第2平均化校正系数，CPU12的处理速度为阈值以上时，按每1帧计算新的第1及第2平均化校正系数。
并且，上述第1实施方式中说明的图像输出处理的流程(参考图13)仅为一例。因此，在不脱离宗旨的范围内当然可以删除不必要的步骤、或追加新的步骤、或替换处理顺序。并且，上述第1实施方式中说明的图像输出处理中包含的各处理可通过执行程序，利用计算机通过软件配置来实现，也可通过硬件配置与软件配置的组合来实现。并且，上述第1实施方式中说明的图像输出处理中包含的各处理可通过ASIC或可编程逻辑设备等硬件配置来实现，也可通过硬件配置与软件配置的组合来实现。
并且，通过由计算机执行程序来实现上述第1实施方式中说明的图像输出处理时，预先将程序存储于规定的存储区域(例如辅助存储部26)即可。另外，并不一定要从最开始就存储于辅助存储部26。例如，可先将程序存储于与计算机连接来使用的SSD(SolidStateDrive)、CD-ROM、DVD盘、磁光盘、IC卡等任意的便携式存储介质。并且，也可设为由计算机从这些便携式存储介质获取程序来执行。并且，也可设为将程序存储于经由互联网或LAN(LocalAreaNetwork)等与计算机连接的其他计算机或服务器装置等中，由计算机从这些获取程序来执行。
并且，为了通过软件配置实现上述第1实施方式中说明的图像输出处理中包含的各处理，例如，设为通过由CPU12执行图像输出处理程序，从而在摄像装置100中进行图像输出处理即可。其中，图像输出处理程序例如指具有获取处理、校正处理及控制处理的程序。图像输出处理程序存储于辅助存储部26即可，CPU12从辅助存储部26读出图像输出处理程序并向主存储部25展开，依次进行获取处理、校正处理及控制处理即可。此时，CPU12通过执行获取处理，发挥与图7所示的获取部28A相同的作用。并且，CPU12通过执行校正处理，发挥与图7所示的校正部28B相同的作用。而且，CPU12通过执行控制处理，发挥与图7所示的控制部28C相同的作用。
并且，上述第1实施方式中说明的摄像装置100可具有确认景深的功能(景深确认功能)。此时，摄像装置100例如具有景深确认键。景深确认键可以是硬件键，也可以是软件键。若是通过硬件键发出命令，则优选适用例如瞬时动作型开关(非保持型开关)。在此所说的瞬时动作型开关例如指在按下至规定位置的期间维持摄像装置100中的特定的动作状态的开关。其中，若按下景深确认键，则光圈值被变更。并且，在持续按下景深确认键期间(按下至规定位置期间)，光圈值持续变化，直至达到极限值。如此，按下景深确认键期间，光圈值发生变化，因此有时无法获得为了获得裂像所需的相位差。因此，也可设为在显示有裂像的状态下，景深确认键被按下时，在按下期间从裂像变更为普通的即时预览显示。并且，也可由CPU12以在解除按下状态时再次显示裂像的方式进行画面的切换。另外，在此，作为景深确认键的一例，例示了适用瞬时动作型的开关的情况，但并不限于此，也可适用交替动作式开关(保持型开关)。
[第2实施方式]
上述第1实施方式中，例示了按每1个相位差像素个别地计算最新校正系数的情况，本第2实施方式中，对按多个相位差像素计算最新校正系数的情况进行说明。另外，本第2实施方式中，对于上述第1实施方式中说明的构成要件，标注相同符号并省略说明。
本第2实施方式所涉及的摄像装置100A与上述第1实施方式所涉及的摄像装置100相比，不同点在于，代替通过图像处理部28进行图13所示的图像输出处理，通过图像处理部28进行图15所示的图像输出处理。图15所示的图像输出处理与图13所示的图像输出处理相比，不同点在于，代替步骤404～412而具有步骤430～步骤448。
图15所示的图像输出处理中，在步骤430中，校正部28B设定在步骤400中获取的帧中的关注行600(参考图16)，之后过渡到步骤432。在此，关于关注行600，作为一例，如图16所示，是指包含2个相位差像素行(沿光瞳分割方向配置有多个相位差像素的行)的5行。
步骤432中，校正部28B作为在步骤430中设定的关注行600中应关注的像素组设定系数计算像素组602n(参考图16)，之后过渡到步骤434。图16所示的例子中，作为系数计算像素组602n的一例，示出有系数计算像素组6021、6022。作为一例，如图16所示，系数计算像素组602n为行列状(图16所示的例子中，为5×12的行列状)的像素组。系数计算像素组602n具有多个普通像素N、多个第1像素L(图16所示的例子中，为4个第1像素L)及多个第2像素R(图16所示的例子中，为4个第2像素R)。另外，步骤432中应关注的像素组是指未被当作步骤434至步骤440的处理对象的像素组。
步骤434中，校正部28B分别从在步骤432中设定的系数计算像素组602n中包含的特定的第1像素L及特定的普通像素N获取像素值，之后过渡到步骤436。步骤434中，特定的第1像素L是指，系数计算像素组602n中包含的多个第1像素L中，未在步骤434中获取像素值的1个第1像素L。步骤434中，特定的普通像素N是指与特定的第1像素L相邻的1个普通像素N。
步骤436中，校正部28B计算左眼图像校正系数。并且，对计算出的左眼图像校正系数与像素位置的坐标(例如，能够确定已在步骤434中获取像素值的第1像素L的像素位置的坐标)建立对应关联来存储(覆盖保存)于第1校正系数存储区域25B，之后过渡到步骤438。
步骤438中，校正部28B分别从在步骤432中设定的系数计算像素组602n中包含的特定的第2像素R及特定的普通像素N获取像素值，之后过渡到步骤440。步骤438中，特定的第2像素R是指，系数计算像素组602n中包含的多个第2像素R中，未在步骤438中获取像素值的1个第2像素R。步骤438中，特定的普通像素N是指与特定的第2像素R相邻的1个普通像素N。
步骤440中，校正部28B计算右眼图像校正系数。并且，对计算出的右眼图像校正系数与像素位置的坐标(例如，能够确定已在步骤438中获取像素值的第2像素R的像素位置的坐标)建立对应关联来存储(覆盖保存)于第2校正系数存储区域25C，之后过渡到步骤442。
步骤442中，校正部28B判定是否针对关注像素组中包含的所有第1像素L及所有第2像素R已计算出左眼图像校正系数及右眼图像校正系数。其中，关注像素组是指在步骤432中设定为应关注的像素组的系数计算像素组600n。
步骤442中，针对关注像素组中包含的所有第1像素L及所有第2像素R未计算左眼图像校正系数及右眼图像校正系数时，判定为否定，并过渡到步骤434。步骤442中，针对关注像素组中包含的所有第1像素L及所有第2像素R已计算出左眼图像校正系数及右眼图像校正系数时，判定为肯定，并过渡到步骤444。
步骤444中，校正部28B从存储于第1校正系数存储区域25B的左眼图像校正系数删除最大左眼图像校正系数(最大校正值)及最小左眼图像校正系数(最小校正值)。并且，校正部28B从存储于第2校正系数存储区域25C的右眼图像校正系数删除最大右眼图像校正系数(最大校正值)及最小右眼图像校正系数(最小校正值)。
接下来的步骤446中，校正部28B判定针对在步骤430中设定的关注行600中包含的所有系数计算像素组602n，步骤434至步骤444的处理是否结束。步骤446中，针对在步骤430中设定的关注行600中包含的所有系数计算像素组602n，步骤434至步骤444的处理未结束时，判定为否定，并过渡到步骤432。步骤446中，针对在步骤430中设定的关注行600中包含的所有系数计算像素组600n，步骤434至步骤444的处理已结束时，判定为肯定，并过渡到步骤448。
步骤448中，校正部28B将对存储于第1校正系数存储区域25B的左眼图像校正系数按每个系数计算像素组602n进行平均化的值作为最新校正系数，按每个像素存储于第1使用系数存储区域26A。在此，对左眼图像校正系数按每个系数计算像素组602n进行平均化的值是指，例如针对与图16所示的比例A0对应的像素位置，是指对从比例A0、比例A1、比例A2及比例A3除去最大值及最小值的值进行平均化的平均值X1。针对分别与图16所示的比例A1、比例A2及比例A3对应的像素位置，是指根据平均值X1及平均值Y1计算出的平均值Z1(＝(3X1+Y1)/4)。平均值Y1是指从图16所示的比例A4、比例A5、比例A6及比例A7除去最大值及最小值的值的平均值。另外，并不限于平均值Z1，针对分别与图16所示的比例A1、比例A2及比例A3对应的像素位置，也可以是通过利用平均值X1及平均值Y1的内插法获得的值。
并且，按每个像素将按每个系数计算像素组602n进行平均化的值存储于第1使用系数存储区域26A是指，例如将对左眼图像校正系数按每个系数计算像素组602n进行平均化的值，按存储于第1校正系数存储区域25B的每个坐标进行存储。
并且，步骤448中，校正部28B将对存储于第2校正系数存储区域25C的右眼图像校正系数按每个系数计算像素组602n进行平均化的值作为最新校正系数，按每个像素存储于第2使用系数存储区域26B。在此，对右眼图像校正系数按每个系数计算像素组602n进行平均化的值是指，例如针对与图16所示的比例A0对应的像素位置，是指对从比例B0、比例B1、比例B2及比例B3除去最大值及最小值的值进行平均化的平均值X2。针对分别与图16所示的比例B1、比例B2及比例B3对应的像素位置，是指根据平均值X2及平均值Y2计算出的平均值Z2(＝(3X2+Y2)/4)。平均值Y2是指从图16所示的比例B4、比例B5、比例B6及比例B7除去最大值及最小值的值的平均值。另外，并不限于平均值Z2，针对分别与图16所示的比例B1、比例B2及比例B3对应的像素位置，也可以是通过利用平均值X2及平均值Y2的内插法获得的值。
如以上说明，摄像装置100A中，根据从系数计算像素组602n获得的左眼图像校正系数中除了最小值及最大值以外的左眼图像校正系数计算第1平均化校正系数。并且，根据从系数计算像素组602n获得的右眼图像校正系数中除了最小值及最大值以外的右眼图像校正系数计算第2平均化校正系数。由此，与不具有本结构时相比，摄像装置100A能够获得精度良好地平滑化的第1及第2平均化校正系数。
另外，上述第2实施方式中，举出将按每个系数计算像素组602n对最大、最小校正值以外的左眼、右眼图像校正系数进行平均化的值用作最新校正系数的例子来进行了说明，但本发明并不限定于此。例如，也可按系数计算像素组602n计算除了最大、最小校正值以外的左眼、右眼图像校正系数的中位数或模式，并将计算出的中位数或模式用作最新校正系数。
[第3实施方式]
上述第1实施方式中，例示了将计算出的左眼、右眼图像校正系数直接存储于存储区域的情况，但本第3实施方式中，对当计算出的左眼、右眼图像校正系数超过上限值或低于下限值时将替代值存储于存储区域的情况进行说明。另外，本第2实施方式中，对于上述第1实施方式中说明的构成要件，标注相同符号并省略说明。
本第3实施方式所涉及的摄像装置100B与上述第1实施方式所涉及的摄像装置100相比，不同点在于，代替通过图像处理部28进行图13所示的图像输出处理，通过图像处理部28进行图17A及图17B所示的图像输出处理。图17A及图17B所示的图像输出处理与图13所示的图像输出处理相比，不同点在于，代替步骤404～412而具有步骤430～步骤448。并且，图17A及图17B所示的图像输出处理与图13所示的图像输出处理相比，不同点在于具有步骤460～470。
图17A及图17B所示的图像输出处理中，步骤460中，校正部28B判定在步骤406存储于第1校正系数存储区域25B的左眼图像校正系数是否超过上限值。另外，上限值可以是固定值，也可以是可变值(例如，根据通过触摸面板216接收的命令而自定义的值)。
步骤460中，当在步骤406中存储于第1校正系数存储区域25B的左眼图像校正系数为上限值以下时，判定为否定，并过渡到步骤462。步骤460中，当在步骤406中存储于第1校正系数存储区域25B的左眼图像校正系数超过上限值时，判定为肯定，并过渡到步骤464。
步骤462中，校正部28B判定在步骤406中存储于第1校正系数存储区域25B的左眼图像校正系数是否小于下限值。另外，下限值为小于上限值的值。并且，下限值可以是固定值，也可以是可变值(例如，根据通过触摸面板216接收的命令而自定义的值)。
步骤462中，当在步骤406中存储于第1校正系数存储区域25B的左眼图像校正系数为下限值以上时，判定为否定，并过渡到步骤408。步骤462中，当在步骤406中存储于第1校正系数存储区域25B的左眼图像校正系数小于下限值时，判定为肯定，并过渡到步骤464。
步骤464中，校正部28B代替在步骤406中存储于第1校正系数存储区域25B的左眼图像校正系数，将像素位置所对应的当前的第1平均化校正系数作为新的左眼图像校正系数来存储(覆盖保存)于第1校正系数存储区域25B。像素位置所对应的当前的第1平均化校正系数是指，存储于第1使用系数存储区域26A的第1平均化校正系数中，与获取在步骤406中用于计算左眼图像校正系数的像素值的像素位置对应的像素位置的第1平均化校正系数。
步骤466中，校正部28B判定在步骤410中存储于第2校正系数存储区域25C的右眼图像校正系数是否超过上限值。步骤466中，当在步骤410中存储于第2校正系数存储区域25C的右眼图像校正系数为上限值以下时，判定为否定，并过渡到步骤468。步骤466中，当在步骤410中存储于第2校正系数存储区域25B的右眼图像校正系数超过上限值时，判定为肯定，并过渡到步骤470。
步骤468中，校正部28B判定在步骤410中存储于第2校正系数存储区域25C的右眼图像校正系数是否小于下限值。步骤468中，当在步骤410中存储于第2校正系数存储区域25C的右眼图像校正系数为下限值以上时，判定为否定，并过渡到步骤476。步骤468中，当在步骤410中存储于第2校正系数存储区域25C的右眼图像校正系数小于下限值时，判定为肯定，并过渡到步骤470。
步骤470中，校正部28B代替在步骤410中存储于第2校正系数存储区域25C的右眼图像校正系数，将像素位置所对应的当前的第2平均化校正系数作为新的右眼图像校正系数来存储(覆盖保存)于第2校正系数存储区域25B。像素位置所对应的当前的第2平均化校正系数是指，存储于第2使用系数存储区域26B的第2平均化校正系数中，与获取在步骤410中用于计算右眼图像校正系数的像素值的像素位置对应的像素位置的第2平均化校正系数。
如以上说明，本第3实施方式所涉及的摄像装置100B中，超过根据一对帧中的后一帧计算出的上限值的左眼图像校正系数被替换为在前一帧的减光特性的校正中使用的第1平均化校正系数。并且，超过根据一对帧中的后一帧计算出的上限值的右眼图像校正系数被替换为在前一帧的减光特性的校正中使用的第2平均化校正系数。由此，与不具有本结构时相比，摄像装置100B能够获得精度良好地平滑化的第1及第2平均化校正系数。
另外，上述各实施方式中，例示了对相位差像素分配有G滤波器的情况，但本发明并不限定于此。例如，如图19所示，对第1像素L分配有R滤波器时，根据分配有R滤波器的第1像素L的像素值及最靠近该第1像素L的位置的普通像素N的像素值计算左眼图像校正系数即可。并且，作为一例，如图19所示，对第2像素R分配有R滤波器时，根据分配有R滤波器的第2像素R的像素值及最靠近该第2像素R的位置的普通图像N的像素值计算右眼图像校正系数即可。并且，对第1像素L及第2像素R分配有B滤波器时，也同样地计算左眼图像校正系数及右眼图像校正系数即可。如此，通过利用相互具有同种颜色的灵敏度的相位差像素及普通像素N的各像素值计算左眼图像校正系数及右眼图像校正系数，即使按每一像素具有灵敏度的颜色不同，也能够以高精度进行减光特性的校正。
[第4实施方式]
上述各实施方式中，例示了摄像装置100、100A、100B，但作为摄像装置100、100A、100B的变形例即便携式终端装置，例如可举出具有摄像机功能的移动电话或智能手机等。此外，可举出PDA(PersonalDigitalAssistants)和便携式游戏机等。本第2实施方式中，以智能手机为例，参考附图，进行详细说明。
图20是表示智能手机500的外观的一例的立体图。图20所示的智能手机500具有平板状框体502，在框体502的一侧面具备作为显示部的显示面板521与作为输入部的操作面板522成为一体的显示输入部520。并且，该框体502具备扬声器531、麦克风532、操作部540及相机部541。另外，框体502的结构并不限定于此，例如能够采用显示部与输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。
图21是表示图20所示的智能手机500的结构的一例的框图。如图21所示，作为智能手机500的主要构成要件，具备无线通信部510、显示输入部520、通信部530、操作部540、相机部541、存储部550及外部输入输出部560。另外，作为智能手机500的主要构成要件，具备GPS(GlobalPositioningSystem)接收部570、动作传感器部580、电源部590及主控制部501。并且，作为智能手机500的主要功能，具备经由基站装置BS及移动通信网NW进行移动无线通信的无线通信功能。
无线通信部510根据主控制部501的命令，对容纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发及Web数据或流数据等的接收。
显示输入部520为所谓的触控面板，其具备显示面板521及操作面板522。因此，显示输入部520通过主控制部501的控制，显示图像(静态图像及动态图像)和文字信息等来视觉性地向用户传递信息，并且检测用户对所显示的信息的操作。另外，欣赏所生成的3D图像时，优选显示面板521为3D显示面板。
显示面板521是将LCD、OELD(OrganicElectro-LuminescenceDisplay)等用作显示设备的装置。操作面板522是以能够视觉辨认显示于显示面板521的显示面上的图像的方式载置，并检测通过用户的手指或尖笔来操作的一个或多个坐标的设备。若通过用户的手指或尖笔操作该设备，则将通过操作而产生的检测信号输出至主控制部501。接着，主控制部501根据所接收的检测信号检测显示面板521上的操作位置(坐标)。
如图21所示，智能手机500的显示面板521与操作面板522成为一体而构成显示输入部520，并配置成操作面板522完全覆盖显示面板521。采用该配置时，操作面板522可以对显示面板521外的区域也具备检测用户操作的功能。换言之，操作面板522可具备针对与显示面板521重叠的重叠部分的检测区域(以下，称为显示区域)、及针对除此以外的不与显示面板521重叠的外缘部分的检测区域(以下，称为非显示区域)。
另外，可使显示区域的大小与显示面板521的大小完全一致，但无需一定要使两者一致。并且，操作面板522可具备外缘部分及除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据框体502的大小等适当设计。此外，作为在操作面板522中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任一方式。
通信部530具备扬声器531和麦克风532。通信部530将通过麦克风532输入的用户的声音转换为能够在主控制部501中处理的语音数据来输出至主控制部501。并且，通信部530对通过无线通信部510或外部输入输出部560接收的语音数据进行解码而从扬声器531输出。并且，如图21所示,例如能够将扬声器531搭载于与设置有显示输入部520的面相同的面，并将麦克风532搭载于框体502的正面下部。
操作部540为使用键开关等的硬件键，接受来自用户的命令。例如，如图20所示，操作部540搭载于智能手机500的框体502的正面下部，是用手指等按下时开启，手指离开时通过弹簧等的复原力而成为关闭状态的按钮式开关。
存储部550存储主控制部501的控制程序和控制数据、应用软件、将通信对象的名称和电话号码等建立对应关联的地址数据、所收发的电子邮件的数据。并且，存储部550存储通过Web浏览下载的Web数据或已下载的内容数据。另外，存储部550临时存储流数据等。并且，存储部550具有内置于智能手机的内部存储部551及装卸自如且具有外部存储器插槽的外部存储部552。另外，构成存储部550的各个内部存储部551与外部存储部552通过使用闪存类型(flashmemorytype)、硬盘类型(harddisktype)等存储介质来实现。作为存储介质，除此之外还可例示微型多媒体卡类型(multimediacardmicrotype)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(RandomAccessMemory)、ROM(ReadOnlyMemory)。
外部输入输出部560发挥与连结于智能手机500的所有外部设备的接口的作用，用于通过通信等直接或间接地与其他外部设备连接。作为与其他外部设备的通信，例如可举出通用串行总线(USB)、IEEE1394等。作为网络，例如可举出互联网、无线LAN、蓝牙(Bluetooth(注册商标))、RFID(RadioFrequencyIdentification)、红外线通信(InfraredDataAssociation：IrDA(注册商标))。并且，作为网络的其他例子，可举出UWB(UltraWideband(注册商标))或紫蜂(ZigBee(注册商标))等。
作为与智能手机500连结的外部设备，例如有：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memorycard)。作为外部设备的其他例子，可举出SIM(SubscriberIdentityModuleCard)/UIM(UserIdentityModuleCard)卡、经由语音/视频I/O(Input/Output)端子连接的外部语音/视频设备。除了外部语音/视频设备之外，还可举出无线连接的外部语音/视频设备。并且，还能够代替外部语音/视频设备，例如适用有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。
外部输入输出部560能够将从这种外部设备接收到传送的数据传递至智能手机500内部的各构成要件、或将智能手机500内部的数据传送至外部设备。
GPS接收部570根据主控制部501的命令接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的定位运算处理，检测包含智能手机500的纬度、经度、高度的位置。GPS接收部570在能够从无线通信部510或外部输入输出部560(例如，无线LAN)获取位置信息时，还能够利用该位置信息检测位置。
动作传感器部580例如具备三轴加速度传感器等，根据主控制部501的命令，检测智能手机500的物理动作。通过检测智能手机500的物理动作，可检测智能手机500的移动方向或加速度。该检测结果被输出至主控制部501。
电源部590根据主控制部501的命令，向智能手机500的各部供给蓄积在电池(未图示)的电力。
主控制部501具备微处理器，根据存储部550所存储的控制程序或控制数据进行动作，统一控制智能手机500的各部。并且，主控制部501为了通过无线通信部510进行语音通信或数据通信，具备控制通信系统的各部的移动通信控制功能及应用处理功能。
应用处理功能通过主控制部501根据存储部550所存储的应用软件进行动作来实现。作为应用处理功能，例如有控制外部输入输出部560来与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。
并且，主控制部501具备根据接收数据或所下载的流数据等图像数据(静态图像或动态图像的数据)在显示输入部520显示影像等的图像处理功能。图像处理功能是指主控制部501对上述图像数据进行解码，对该解码结果实施图像处理并将图像显示于显示输入部520的功能。
而且，主控制部501执行对显示面板521的显示控制及检测通过操作部540、操作面板522进行的用户操作的操作检测控制。
通过执行显示控制，主控制部501显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于使无法全部容纳于显示面板521的显示区域的较大图像等，接受使图像的显示部分移动的命令的软件键。
并且，通过执行操作检测控制，主控制部501检测通过操作部540进行的用户操作，或者通过操作面板522接受对上述图标的操作或对上述窗口的输入栏输入字符串。并且，通过执行操作检测控制，主控制部501接受通过滚动条进行的显示图像的滚动请求。
而且，通过执行操作检测控制，主控制部501判定对操作面板522操作的位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的不与显示面板521重叠的外缘部分(非显示区域)。并且，具有接收该判定结果来控制操作面板522的感应区域或软件键的显示位置的触摸面板控制功能。
并且，主控制部501还能够检测对操作面板522的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作表示并非以往的简单的触摸操作，而是通过手指等描绘轨迹、或者同时指定多个位置、或者组合这些来从多个位置对至少一个描绘轨迹的操作。
相机部541为使用CMOS或CCD等成像元件进行拍摄的数码相机，具备与图1等中示出的摄像装置100相同的功能。
并且，相机部541能够对手动聚焦模式与自动聚焦模式进行切换。若选择手动聚焦模式，则能够通过操作显示于操作部540或显示输入部520的聚焦用图标按钮等，进行相机部541的摄影透镜的对焦。并且，手动聚焦模式时，将合成有裂像的即时预览图像显示于显示面板521，由此使能够确认手动聚焦时的对焦状态。另外，可将图10所示的混合式取景器220设置于智能手机500。
并且，相机部541通过主控制部501的控制，将通过拍摄获得的图像数据转换为例如JPEG(JointPhotographiccodingExpertsGroup)等压缩的图像数据。并且，能够将转换获得的图像数据记录于存储部550或通过外部输入输出部560或无线通信部510输出。图21所示的智能手机500中，相机部541搭载于与显示输入部520相同的面，但相机部541的搭载位置并不限于此，可搭载于显示输入部520的背面，或者也可搭载有多个相机部541。另外，搭载有多个相机部541时，还能够切换供拍摄的相机部541来单独进行拍摄或者同时使用多个相机部541进行拍摄。
并且，相机部541能够利用于智能手机500的各种功能中。例如，能够在显示面板521显示通过相机部541获取的图像，或者作为操作面板522的操作输入之一，利用相机部541的图像。并且，当GPS接收部570检测位置时，还能够参考来自相机部541的图像来检测位置。而且，还能够参考来自相机部541的图像，不使用三轴加速度传感器或者与三轴加速度传感器同时使用来判断智能手机500的相机部541的光轴方向，或判断当前的使用环境。当然，还能够在应用软件内利用来自相机部541的图像。
此外，还能够在静态图像或动态图像的图像数据上附加各种信息来记录于存储部550，或通过外部输入输出部560或无线通信部510进行输出。作为在此所说的“各种信息”，例如可举出在静态图像或动态图像的图像数据上通过GPS接收部570获取的位置信息、通过麦克风532获取的语音信息(也可以通过主控制部等进行语音文本转换而成为文本信息)。此外，还可以是通过动作传感器部580获取的姿势信息等等。
另外，上述各实施方式中，例示了沿上下方向进行2分割的裂像，但并不限于此，也可适用沿左右方向或倾斜方向被分割为多个的图像作为裂像。
例如，图22所示的裂像66a通过与行方向平行的多个分割线63a分割为奇数排与偶数排。该裂像66a中，根据从第1像素组输出的输出信号生成的排状(作为一例，为长条状)的相位差图像66La显示于奇数排(也可以是偶数排)。并且，根据从第2像素组输出的输出信号生成的排状(作为一例,为长条状)的相位差图像66Ra显示于偶数排。
并且，图23所示的裂像66b被沿行方向具有倾斜角的分割线63b(例如，裂像66b的对角线)2分割。该裂像66b中,根据从第1像素组输出的输出信号生成的相位差图像66Lb显示于一个区域。并且,根据从第2像素组输出的输出信号生成的相位差图像66Rb显示于另一区域。
并且，图24A及图24B所示的裂像66c被分别与行方向及列方向平行的格子状的分割线63c分割。裂像66c中,根据从第1像素组输出的输出信号生成的相位差图像66Lc排列显示为方格(方格图案)状。并且，根据从第2像素组输出的输出信号生成的相位差图像66Rc排列显示为方格状。
并且，不限于裂像，也可根据2个相位差图像生成其他对焦确认图像，并显示对焦确认图像。例如，可如下，即，重叠2个相位差图像来进行合成显示，焦点未对焦时显示为双重图像，焦点对焦的状态下，清晰地显示图像。
并且，上述各实施方式中，例示了具有第1～第3像素组的成像元件20，但本发明并不限定于此，也可以是仅由第1像素组及第2像素组构成的成像元件。具有这种成像元件的数码相机能够根据从第1像素组输出的第1图像及从第2像素组输出的第2图像生成三维图像(3D图像)，还能够生成二维图像(2D图像)。此时，例如通过在第1图像及第2图像彼此之间的相同颜色的像素之间进行插值处理来实现二维图像的生成。并且，也可不进行插值处理，而是采用第1图像或第2图像作为二维图像。
并且，上述各实施方式中，例示了第1～第3图像输入于图像处理部28时，将普通图像与裂像两者同时显示于显示装置的相同画面的方式，但本发明并不限定于此。例如，显示控制部36可进行如下控制，即，抑制普通图像作为动态图像连续显示于显示装置，且将裂像作为动态图像连续显示于显示装置。在此所说的“抑制普通图像的显示”例如指不将普通图像显示于显示装置。具体而言是指，虽然生成普通图像但并不将普通图像输出至显示装置，由此不将普通图像显示于显示装置，或者不生成普通图像，由此避免普通图像显示于显示装置。可利用显示装置的整个画面显示裂像，作为一例，可利用图9所示的裂像的整个显示区域显示裂像。另外，作为“裂像”，使用特定的成像元件时，能够例示基于从相位差像素组输出的图像(例如，从第1像素组输出的第1图像及从第2像素组输出的第2图像)的裂像。作为“使用特定的成像元件的情况”，例如可举出使用仅由相位差像素组(例如，第1像素组及第2像素组)构成的成像元件。此外，还可例示使用以规定比例对普通像素配置有相位差像素(例如，第1像素组及第2像素组)的成像元件的情况。
并且，作为用于抑制显示普通图像来显示裂像的条件，可考虑各种条件。例如，在命令显示裂像的状态下解除普通图像的显示命令时，显示控制部36可进行如下控制，即，不将普通图像显示于显示装置而是显示裂像。并且，例如，摄影者观察混合式取景器时，显示控制部36可进行不将普通图像显示于显示装置而是显示裂像的控制。并且，例如，当释放按钮211设为半按状态时，显示控制部36可进行不将普通图像显示于显示装置而是显示裂像的控制。并且，例如，未对释放按钮211进行按压操作时，显示控制部36可进行不将普通图像显示于显示装置而是显示裂像的控制。并且，例如，使检测被摄体的脸部的脸部检测功能发挥作用时，显示控制部36可进行不将普通图像显示于显示装置而是显示裂像的控制。另外，在此，举出了显示控制部36抑制显示普通图像的变形例，但并不限于此，例如显示控制部36也可进行在普通图像上覆盖显示整个画面的裂像的控制。
并且，上述各实施方式中，作为一例，例示了如图5所示的第1像素L及第2像素R分别以1像素单位配置的成像元件20，但本发明并不限定于此，作为一例，也可使用图25所示的成像元件700。成像元件700与成像元件20相比，不同点在于，针对所有像素的每一个，各配置有一组第1像素L(例如，入射有左眼图像用的光的光电二极管)及第2像素R(例如，入射有右眼图像用的光的光电二极管)。图25所示的例子中，各像素具有微透镜702，各像素中的第1像素L及第2像素R配置成经由微透镜702入射光。作为各像素中的像素信号的读出模式，例如可例示第1～第4读出模式。第1读出模式是指仅从第1像素L读出像素信号的模式。第2读出模式是指仅从第2像素R读出像素信号的模式。第3读出模式是指分别从第1像素L及第2像素R经由不同路径(例如，经由按每个像素设置的个别的信号线)同时读出像素信号的模式。第4读出模式是指，从第1像素L及第2像素R将像素信号作为普通像素的像素信号，经由按每个像素设置的1个信号线读出的模式。普通像素的像素信号是指，例如对1个像素，对第1像素L的像素信号与第2像素R的像素信号进行加法运算来获得的像素信号(例如，结合第1像素L的光电二极管的电荷与第2像素R的光电二极管的电荷的1个电荷)。
并且，图25所示的例子中，对1个像素配置有1个第1像素L及1个第2像素R，但并不限于此，在1个像素配置有至少1个第1像素L及至少1个第2像素R即可。并且，图25所示的例子中，在1个像素内，沿水平方向配置有第1像素L及第2像素R，但并不限于此，可沿垂直方向配置第2像素L及第2像素R，也可沿倾斜方向配置第1像素L及第2像素R。
符号说明
16-摄影透镜，20、700-成像元件，100、100A、100B-摄像装置，28A-获取部，28B-校正部，28C-控制部。

Claims (15)

1.一种图像处理装置，其包含：
获取部，具有输出通过透过摄影透镜的一对区域的被摄体像被光瞳分割而分别成像来获得的第1图像信号的相位差像素组，且获取包含基于所述第1图像信号的第1图像及基于第2图像信号的第2图像的摄影图像，所述第1图像信号从输出第2图像信号的成像元件输出，所述第2图像信号相当于通过透过所述摄影透镜的被摄体像未被光瞳分割而成像来获得的图像信号，所述第2图像信号从所述成像元件输出；
校正部，根据第1比较结果及第2比较结果导出减光特性校正系数，根据所导出的减光特性校正系数校正针对后获取图像的减光特性，所述第1比较结果是对通过所述获取部以互不相同的时刻获取所述摄影图像来获得的一对摄影图像中先获取的先获取图像中包含的所述第1图像与所述第2图像进行比较的结果，所述第2比较结果是对所述一对摄影图像中比所述先获取图像后获取的所述后获取图像中包含的所述第1图像与所述第2图像进行比较的结果；
显示部，显示图像；及
控制部，将所述先获取图像中包含的所述第2图像及已通过所述校正部校正减光特性的所述后获取图像中包含的所述第2图像作为动态图像而连续显示于所述显示部，且将基于所述先获取图像中包含的所述第1图像的图像及基于已通过所述校正部校正减光特性的所述后获取图像中包含的所述第1图像的图像作为对焦确认用动态图像来连续显示于所述第2图像的显示区域内。
2.一种图像处理装置，其包含：
获取部，具有输出通过透过摄影透镜的一对区域的被摄体像被光瞳分割而分别成像来获得的第1图像信号的相位差像素组，且获取包含基于第1图像信号的第1图像及基于第2图像信号的第2图像的摄影图像，所述第1图像信号从输出所述第2图像信号的成像元件输出，所述第2图像信号相当于通过透过所述摄影透镜的被摄体像未被光瞳分割而成像来获得的图像信号，所述第2图像信号从所述成像元件输出；
校正部，根据第1比较结果及第2比较结果导出减光特性校正系数，根据所导出的减光特性校正系数校正针对后获取图像的减光特性，所述第1比较结果是对通过所述获取部以互不相同的时刻获取所述摄影图像来获得的一对摄影图像中先获取的先获取图像中包含的所述第1图像与所述第2图像进行比较的结果，所述第2比较结果是对所述一对摄影图像中比所述先获取图像后获取的所述后获取图像中包含的所述第1图像与所述第2图像进行比较的结果；
显示部，显示图像；及
控制部，将基于所述先获取图像中包含的所述第1图像的图像及基于已通过所述校正部校正减光特性的所述后获取图像中包含的所述第1图像的图像作为对焦确认用动态图像来连续显示于所述显示部。
3.根据权利要求1或2所述的图像处理装置，其中，
所述减光特性校正系数为对所述第1比较结果及所述第2比较结果进行平均化来获得的减光特性校正系数。
4.根据权利要求3所述的图像处理装置，其中，
所述减光特性校正系数为对赋予第1权重的所述第1比较结果及赋予小于所述第1权重的第2权重的所述第2比较结果进行平均化来获得的减光特性校正系数。
5.根据权利要求3所述的图像处理装置，其中，
所述减光特性校正系数为对赋予第1权重的所述第1比较结果及赋予所述第1权重以上的第2权重的所述第2比较结果进行平均化来获得的减光特性校正系数。
6.根据权利要求1至5中任一项所述的图像处理装置，其中，
所述第1比较结果为基于第1比较值的值，所述第1比较值是对所述先获取图像中包含的所述第1图像与所述第2图像的相互对应的像素位置中的像素值进行比较的值，
所述第2比较结果为基于第2比较值的值，所述第2比较值是对所述后获取图像中包含的所述第1图像与所述第2图像的相互对应的像素位置中的像素值进行比较的值。
7.根据权利要求6所述的图像处理装置，其中，
所述减光特性校正系数是按所述成像元件中的光瞳分割方向的3个以上的像素位置，根据基于所述第1比较值中的最小值及最大值的至少1个以外的所述第1比较值的值及基于所述第2比较值中的最小值及最大值的至少1个以外的所述第2比较值的值来获得的减光特性校正系数。
8.根据权利要求6所述的图像处理装置，其中，
所述校正部进行如下校正，即，当所述第2比较值超过上限值时，将超过所述上限值的所述第2比较值变更为相当于与获得超过所述上限值的所述第2比较值的像素位置对应的像素位置的所述第1比较值的值，当所述第2比较值小于下限值时，将小于所述下限值的所述第2比较值变更为相当于与获得小于所述下限值的所述第2比较值的像素位置对应的像素位置的所述第1比较值的值。
9.根据权利要求6至8中任一项所述的图像处理装置，其中，
所述成像元件对按每个像素分配的颜色具有灵敏度，
所述第1比较值为对所述先获取图像中包含的所述第1图像与所述第2图像的具有同种颜色的灵敏度且相互对应的像素位置中的像素值进行比较的比较值，
所述第2比较值为对所述后获取图像中包含的所述第1图像与所述第2图像的具有同种颜色的灵敏度且相互对应的像素位置中的像素值进行比较的比较值。
10.根据权利要求1至9中任一项所述的图像处理装置，其中，
所述成像元件具有将通过透过所述摄影透镜的被摄体像未被光瞳分割而成像来获得的图像信号作为所述第2图像信号来输出的像素组。
11.一种摄像装置，其包含：
权利要求1至10中任一项所述的图像处理装置；
具有所述相位差像素组的成像元件；及
存储根据从所述成像元件输出的信号来生成的图像的存储部。
12.一种图像处理方法，其包含：
具有输出通过透过摄影透镜中的一对区域的被摄体像被光瞳分割而分别成像来获得的第1图像信号的相位差像素组，且获取包含基于第1图像信号的第1图像及基于第2图像信号的第2图像的摄影图像，所述第1图像信号从输出第2图像信号的成像元件输出，所述第2图像信号相当于通过透过所述摄影透镜的被摄体像未被光瞳分割而成像来获得的图像信号，所述第2图像信号从所述成像元件输出，
根据第1比较结果及第2比较结果导出减光特性校正系数，所述第1比较结果是对通过以互不相同的时刻获取所述摄影图像来获得的一对摄影图像中先获取的先获取图像中包含的所述第1图像与所述第2图像进行比较的结果，所述第2比较结果是对所述一对摄影图像中比所述先获取图像后获取的后获取图像中包含的所述第1图像与所述第2图像进行比较的结果，
根据所导出的所述减光特性校正系数校正针对所述后获取图像的减光特性，
将所述先获取图像中包含的所述第2图像及已校正减光特性的所述后获取图像中包含的所述第2图像作为动态图像而连续显示于显示图像的显示部，且将基于所述先获取图像中包含的所述第1图像的图像及基于已校正减光特性的所述后获取图像中包含的所述第1图像的图像作为对焦确认用动态图像而连续显示于所述第2图像的显示区域内。
13.一种图像处理方法，其包含：
具有输出通过透过摄影透镜中的一对区域的被摄体像被光瞳分割而分别成像来获得的第1图像信号的相位差像素组，且获取包含基于第1图像信号的第1图像及基于第2图像信号的第2图像的摄影图像，所述第1图像信号从输出第2图像信号的成像元件输出，所述第2图像信号相当于通过透过所述摄影透镜的被摄体像未被光瞳分割而成像来获得的图像信号，所述第2图像信号从所述成像元件输出，
根据第1比较结果及第2比较结果导出减光特性校正系数，所述第1比较结果是对通过以互不相同的时刻获取所述摄影图像来获得的一对摄影图像中先获取的先获取图像中包含的所述第1图像与所述第2图像进行比较的结果，所述第2比较结果是对所述一对摄影图像中比所述先获取图像后获取的后获取图像中包含的所述第1图像与所述第2图像进行比较的结果，
根据所导出的所述减光特性校正系数校正针对所述后获取图像的减光特性，
将基于所述先获取图像中包含的所述第1图像的图像及基于已校正减光特性的所述后获取图像中包含的所述第1图像的图像作为对焦确认用动态图像而连续显示于显示图像的显示部。
14.一种图像处理程序，其用于使计算机执行如下处理，该处理包含：
具有输出通过透过摄影透镜中的一对区域的被摄体像被光瞳分割而分别成像来获得的第1图像信号的相位差像素组，且获取包含基于第1图像信号的第1图像及基于第2图像信号的第2图像的摄影图像，所述第1图像信号从输出第2图像信号的成像元件输出，所述第2图像信号相当于通过透过所述摄影透镜的被摄体像未被光瞳分割而成像来获得的图像信号，所述第2图像信号从所述成像元件输出，
根据第1比较结果及第2比较结果导出减光特性校正系数，所述第1比较结果是对通过以互不相同的时刻获取所述摄影图像来获得的一对摄影图像中先获取的先获取图像中包含的所述第1图像与所述第2图像进行比较的结果，所述第2比较结果是对所述一对摄影图像中比所述先获取图像后获取的后获取图像中包含的所述第1图像与所述第2图像进行比较的结果，
根据所导出的所述减光特性校正系数校正针对所述后获取图像的减光特性，
将所述先获取图像中包含的所述第2图像及已校正减光特性的所述后获取图像中包含的所述第2图像作为动态图像而连续显示于显示图像的显示部，且将基于所述先获取图像中包含的所述第1图像的图像及基于已校正减光特性的所述后获取图像中包含的所述第1图像的图像作为对焦确认用动态图像而连续显示于所述第2图像的显示区域内。
15.一种图像处理程序，其用于使计算机执行如下处理：
具有输出通过透过摄影透镜中的一对区域的被摄体像被光瞳分割而分别成像来获得的第1图像信号的相位差像素组，且获取包含基于第1图像信号的第1图像及基于第2图像信号的第2图像的摄影图像，所述第1图像信号从输出第2图像信号的成像元件输出，所述第2图像信号相当于通过透过所述摄影透镜的被摄体像未被光瞳分割而成像来获得的图像信号，所述第2图像信号从所述成像元件输出，
根据第1比较结果及第2比较结果导出减光特性校正系数，所述第1比较结果是对通过以互不相同的时刻获取所述摄影图像来获得的一对摄影图像中先获取的先获取图像中包含的所述第1图像与所述第2图像进行比较的结果，所述第2比较结果是对所述一对摄影图像中比所述先获取图像后获取的后获取图像中包含的所述第1图像与所述第2图像进行比较的结果，
根据所导出的所述减光特性校正系数校正针对所述后获取图像的减光特性，
将基于所述先获取图像中包含的所述第1图像的图像及基于已校正减光特性的所述后获取图像中包含的所述第1图像的图像作为对焦确认用动态图像而连续显示于显示图像的显示部。
CN201480052240.4A 2013-09-27 2014-09-05 图像处理装置、摄像装置及图像处理方法 Active CN105580349B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013202363 2013-09-27
JP2013-202363 2013-09-27
PCT/JP2014/073458 WO2015045795A1 (ja) 2013-09-27 2014-09-05 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN105580349A true CN105580349A (zh) 2016-05-11
CN105580349B CN105580349B (zh) 2018-08-14

Family

ID=52742942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480052240.4A Active CN105580349B (zh) 2013-09-27 2014-09-05 图像处理装置、摄像装置及图像处理方法

Country Status (4)

Country Link
US (1) US9674467B2 (zh)
JP (1) JP6033454B2 (zh)
CN (1) CN105580349B (zh)
WO (1) WO2015045795A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI736328B (zh) * 2020-06-19 2021-08-11 宏碁股份有限公司 頭戴式顯示裝置及應用其之畫面顯示方法
CN114679551A (zh) * 2020-12-24 2022-06-28 广东京之映科技有限公司 固体摄像装置、固体摄像装置的信号处理方法以及电子机器

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD826307S1 (en) * 2016-03-31 2018-08-21 Canon Denshi Kabushiki Kaisha Interchangeable lens for camera
JP1573685S (zh) * 2016-08-31 2017-04-10
US20180301484A1 (en) * 2017-04-17 2018-10-18 Semiconductor Components Industries, Llc Image sensors with high dynamic range and autofocusing hexagonal pixels
US10387477B2 (en) * 2017-05-30 2019-08-20 Qualcomm Incorporated Calibration for phase detection auto focus (PDAF) camera systems
CN111133378B (zh) 2017-09-28 2021-04-23 富士胶片株式会社 摄像装置、信息获取方法及记录介质
CN111316161B (zh) * 2017-09-28 2021-11-23 富士胶片株式会社 摄像装置、信息获取方法及信息获取程序
JP1633586S (zh) * 2018-05-15 2019-06-10
JP1636777S (zh) * 2018-05-15 2019-07-22
JP1636779S (zh) * 2018-05-15 2019-07-22
JP1629824S (zh) * 2018-05-15 2019-04-22
JP1638777S (zh) * 2018-05-15 2019-08-13
JP1629820S (zh) * 2018-05-15 2019-04-22
JP1629821S (zh) * 2018-05-15 2019-04-22
JP1633585S (zh) * 2018-05-15 2019-06-10
JP1638779S (zh) * 2018-05-15 2019-08-13
JP1636778S (zh) * 2018-05-15 2019-07-22
JP1629825S (zh) * 2018-05-15 2019-04-22
JP1633584S (zh) * 2018-05-15 2019-06-10
JP1638780S (zh) * 2018-05-15 2019-08-13
JP1638776S (zh) * 2018-05-15 2019-08-13
JP1636781S (zh) * 2018-05-15 2019-07-22
JP1629828S (zh) * 2018-05-15 2019-04-22
JP1637187S (zh) * 2018-05-15 2019-07-22
TWI824289B (zh) * 2021-02-08 2023-12-01 明俐科技有限公司 影像處理演算法的測試系統及測試方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090153693A1 (en) * 2007-12-13 2009-06-18 Canon Kabushiki Kaisha Image-pickup apparatus
CN101510040A (zh) * 2008-02-14 2009-08-19 株式会社尼康 图像处理装置、摄像装置及图像处理程序
CN101809994A (zh) * 2007-08-10 2010-08-18 佳能株式会社 摄像设备及其控制方法
CN101971610A (zh) * 2008-03-11 2011-02-09 佳能株式会社 摄像设备和图像处理方法
US20110234861A1 (en) * 2010-03-23 2011-09-29 Fujifilm Corporation Imaging device
CN102289131A (zh) * 2010-06-17 2011-12-21 奥林巴斯株式会社 摄像装置
US20120212654A1 (en) * 2011-02-18 2012-08-23 Canon Kabushiki Kaisha Image pickup apparatus, focus detection method, image generation method, and storage medium
CN102655569A (zh) * 2011-03-02 2012-09-05 索尼公司 成像器件和成像装置
CN103098459A (zh) * 2010-09-22 2013-05-08 富士胶片株式会社 立体摄像装置及阴影校正方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4574022B2 (ja) * 2001-01-17 2010-11-04 キヤノン株式会社 撮像装置及びシェーディング補正方法
JP2011257565A (ja) * 2010-06-08 2011-12-22 Canon Inc 撮像装置
CN103109536B (zh) * 2010-09-13 2015-09-02 富士胶片株式会社 单眼立体摄像装置、单眼立体摄像装置用阴影校正方法
WO2013027513A1 (ja) * 2011-08-19 2013-02-28 富士フイルム株式会社 撮像装置及びシェーディング補正方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809994A (zh) * 2007-08-10 2010-08-18 佳能株式会社 摄像设备及其控制方法
US20090153693A1 (en) * 2007-12-13 2009-06-18 Canon Kabushiki Kaisha Image-pickup apparatus
CN101510040A (zh) * 2008-02-14 2009-08-19 株式会社尼康 图像处理装置、摄像装置及图像处理程序
CN101971610A (zh) * 2008-03-11 2011-02-09 佳能株式会社 摄像设备和图像处理方法
US20110234861A1 (en) * 2010-03-23 2011-09-29 Fujifilm Corporation Imaging device
CN102289131A (zh) * 2010-06-17 2011-12-21 奥林巴斯株式会社 摄像装置
CN103098459A (zh) * 2010-09-22 2013-05-08 富士胶片株式会社 立体摄像装置及阴影校正方法
US20120212654A1 (en) * 2011-02-18 2012-08-23 Canon Kabushiki Kaisha Image pickup apparatus, focus detection method, image generation method, and storage medium
CN102655569A (zh) * 2011-03-02 2012-09-05 索尼公司 成像器件和成像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI736328B (zh) * 2020-06-19 2021-08-11 宏碁股份有限公司 頭戴式顯示裝置及應用其之畫面顯示方法
US11598963B2 (en) 2020-06-19 2023-03-07 Acer Incorporated Head-mounted display device and frame displaying method using the same
CN114679551A (zh) * 2020-12-24 2022-06-28 广东京之映科技有限公司 固体摄像装置、固体摄像装置的信号处理方法以及电子机器
CN114679551B (zh) * 2020-12-24 2024-01-02 广东京之映科技有限公司 固体摄像装置、固体摄像装置的信号处理方法以及电子机器

Also Published As

Publication number Publication date
US9674467B2 (en) 2017-06-06
US20160191824A1 (en) 2016-06-30
JPWO2015045795A1 (ja) 2017-03-09
JP6033454B2 (ja) 2016-11-30
WO2015045795A1 (ja) 2015-04-02
CN105580349B (zh) 2018-08-14

Similar Documents

Publication Publication Date Title
CN105580349A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN104365089B (zh) 摄像装置及图像显示方法
US9485430B2 (en) Image processing device, imaging device, computer readable medium and image processing method
US9900525B2 (en) Image processing device, imaging device, image processing method, and image processing program generating a split image
CN104871058B (zh) 图像处理装置、摄像装置及图像处理方法
CN105075235B (zh) 图像处理装置、摄像装置以及图像处理方法
CN104885440B (zh) 图像处理装置、摄像装置及图像处理方法
US9560243B2 (en) Image processing device, imaging device, program, and image processing method suppressing a reduction in visibility of an image to check focus when distortion is corrected
JP6000446B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN104737528B (zh) 摄像装置以及图像显示方法
CN104823094A (zh) 摄像装置及对焦控制方法
CN104247412B (zh) 图像处理装置、摄像装置、图像处理方法、记录介质以及程序
WO2014106916A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
US10015405B2 (en) Image processing device, imaging device, image processing method, and image processing program
CN104737527A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
JP5934844B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2014045741A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant