CN109729244A - 摄像设备、焦点检测方法和存储介质 - Google Patents

摄像设备、焦点检测方法和存储介质 Download PDF

Info

Publication number
CN109729244A
CN109729244A CN201811267222.4A CN201811267222A CN109729244A CN 109729244 A CN109729244 A CN 109729244A CN 201811267222 A CN201811267222 A CN 201811267222A CN 109729244 A CN109729244 A CN 109729244A
Authority
CN
China
Prior art keywords
light
focal position
focus detection
dichroism
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811267222.4A
Other languages
English (en)
Other versions
CN109729244B (zh
Inventor
浜野英之
上田晓彦
玉木嘉人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN109729244A publication Critical patent/CN109729244A/zh
Application granted granted Critical
Publication of CN109729244B publication Critical patent/CN109729244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0037Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration with diffracting elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明涉及一种摄像设备、焦点检测方法和存储介质。该摄像设备包括图像传感器和焦点检测器。焦点检测器进行以下操作:通过使用第一焦点位置和第二焦点位置之间的差来校正焦点检测的结果,其中通过使用摄像光学系统的像差信息和与第一光的分光特性相对应的第一计算信息将所述第一焦点位置计算为摄像时的焦点位置,以及通过使用所述像差信息和与所述第一光的分光特性相对应的第二计算信息将所述第二焦点位置计算为焦点检测时的焦点位置,以及在焦点检测中,在向被摄体发射具有与所述第一光的分光特性不同的分光特性的第二光的情况和不发射所述第二光的情况之间,改变所述第二计算信息。

Description

摄像设备、焦点检测方法和存储介质
技术领域
本发明涉及诸如数字照相机和摄像机等的摄像设备。
背景技术
摄像设备所用的自动调焦(“AF”)方法包含对比度检测(TVAF)方法和相位差检测方法,并且一些摄像设备使用图像传感器作为这些AF方法中的焦点检测传感器。由于这些AF方法通过使用形成在图像传感器上的光学图像来检测焦点状态,因此形成光学图像的摄像光学系统的像差给焦点检测结果带来误差。例如,使用红色光或近红外光作为AF辅助光以防止被摄体(人物)感到目眩。在将该AF辅助光照射到被摄体上以进行焦点检测、然后停止AF辅助光的照射、并且拍摄图像的情况下,摄像光学系统的像差对AF辅助光的分光特性的影响在焦点检测结果中引起误差。
日本专利(“JP”)4,272,717公开了通过将焦点检测结果的误差作为AF辅助光的照射所使用的校正量存储在存储器中来提供更精确的焦点检测的摄像设备。
AF辅助光除可以具有红色光和近红外光外,还可以具有各种分光特性,诸如用于自拍功能和红眼减轻功能的绿色光、用于运动图像拍摄时的照明的白色光等。在这种情况下,JP 4,272,717中所公开的摄像设备需要针对各AF辅助光并且针对摄像光学系统的像差不同的各光学状态(变焦状态、调焦状态、F值等)存储校正量。镜头可更换型摄像设备需要针对要安装的具有不同像差的各可更换镜头存储校正量。结果,所需的存储器容量增加。
发明内容
本发明提供一种摄像设备,该摄像设备可以抑制存储器容量的增加,并且即使在使用具有各种分光特性的AF辅助光束时,也可以令人满意地校正由摄像光学系统的像差所引起的焦点检测误差。
根据本发明的一个方面的一种摄像设备,包括:图像传感器,其被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像;以及焦点检测器,其被配置为使用来自所述图像传感器的焦点检测信号来提供焦点检测,其特征在于,所述焦点检测器进行以下操作:通过使用第一焦点位置和第二焦点位置之间的差来校正所述焦点检测的结果,其中通过使用所述摄像光学系统的像差信息和与第一光的分光特性相对应的第一计算信息将所述第一焦点位置计算为摄像时的焦点位置,以及通过使用所述像差信息和与所述第一光的分光特性相对应的第二计算信息将所述第二焦点位置计算为所述焦点检测时的焦点位置,以及在所述焦点检测中,在向所述被摄体发射具有与所述第一光的分光特性不同的分光特性的第二光的情况和不发射所述第二光的情况之间,改变所述第二计算信息。
一种摄像设备,包括:图像传感器,其被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像;以及焦点检测器,其被配置为使用来自所述图像传感器的焦点检测信号来提供焦点检测,其特征在于,所述焦点检测器进行以下操作:通过使用第一焦点位置和第二焦点位置之间的差来校正所述焦点检测的结果,其中通过使用所述摄像光学系统的像差信息和与第一光的分光特性相对应的第一计算信息将所述第一焦点位置计算为摄像时的焦点位置,以及通过使用所述像差信息和与所述第一光的分光特性相对应的第二计算信息将所述第二焦点位置计算为所述焦点检测时的焦点位置,以及在所述焦点检测中向所述被摄体发射具有与所述第一光的分光特性不同的分光特性的第二光的情况下,根据所述第二光的分光特性来改变所述第二计算信息。
一种摄像设备,包括:图像传感器,其被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像;以及焦点检测器,其被配置为使用来自所述图像传感器的焦点检测信号来提供焦点检测,其特征在于,所述焦点检测器进行以下操作:通过使用第一焦点位置和第二焦点位置之间的差来校正所述焦点检测的结果,其中通过使用所述摄像光学系统的像差信息和与第一光的分光特性相对应的第一计算信息将所述第一焦点位置计算为摄像时的焦点位置,以及通过使用所述像差信息和与所述第一光的分光特性相对应的第二计算信息将所述第二焦点位置计算为所述焦点检测时的焦点位置,以及在所述焦点检测中向所述被摄体发射具有与所述第一光的分光特性不同的分光特性的第二光的情况下,所述焦点检测器通过使用所述像差信息和所述第二计算信息来获取与所述第二光的分光特性相对应的第三焦点位置,并且通过使用所述第一焦点位置和所述第三焦点位置之间的差来校正所述焦点检测的结果。
一种摄像设备,包括:图像传感器,其被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像;以及焦点检测器,其被配置为使用来自所述图像传感器的焦点检测信号来提供焦点检测,其特征在于,所述焦点检测器进行以下操作:通过使用第一焦点位置和第二焦点位置之间的差来校正所述焦点检测的结果,其中通过使用所述摄像光学系统的像差信息和与第一光的分光特性相对应的第一计算信息将所述第一焦点位置计算为摄像时的焦点位置,以及通过使用所述像差信息和与所述第一光的分光特性相对应的第二计算信息将所述第二焦点位置计算为所述焦点检测时的焦点位置,以及在所述焦点检测中向所述被摄体发射具有与所述第一光的分光特性不同的分光特性的第二光的情况下,所述焦点检测器通过使用所述第一焦点位置和第三焦点位置之间的差来校正所述焦点检测的结果,所述第三焦点位置是通过使用所述像差信息和与所述第二光的分光特性相对应的第三计算信息所计算出的。
一种摄像设备,包括:图像传感器,其被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像;以及焦点检测器,其被配置为使用来自所述图像传感器的焦点检测信号来提供焦点检测,其特征在于,所述焦点检测器进行以下操作:通过使用第一焦点位置和第二焦点位置之间的差来校正所述焦点检测的结果,其中通过使用与第一光的分光特性相对应的所述摄像光学系统的第一像差信息和与所述第一光的分光特性相对应的第一计算信息将所述第一焦点位置计算为摄像时的焦点位置,以及通过使用所述第一像差信息和与所述第一光的分光特性相对应的第二计算信息将所述第二焦点位置计算为所述焦点检测时的焦点位置,以及在所述焦点检测中向所述被摄体发射具有与所述第一光的分光特性不同的分光特性的第二光的情况下,所述焦点检测器通过使用所述第一焦点位置和第三焦点位置之间的差来校正所述焦点检测的结果,所述第三焦点位置是通过使用与所述第二光的分光特性相对应的所述摄像光学系统的第二像差信息以及与所述第二光的分光特性相对应的第三计算信息所计算出的。
一种摄像设备所用的焦点检测方法,所述摄像设备包括图像传感器,所述图像传感器被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像,所述焦点检测方法使用来自所述图像传感器的焦点检测信号来进行焦点检测,其特征在于,所述焦点检测方法包括以下步骤:通过使用第一焦点位置和第二焦点位置之间的差来校正所述焦点检测的结果,其中通过使用所述摄像光学系统的像差信息和与第一光的分光特性相对应的第一计算信息将所述第一焦点位置计算为摄像时的焦点位置,以及通过使用所述像差信息和与所述第一光的分光特性相对应的第二计算信息将所述第二焦点位置计算为所述焦点检测时的焦点位置;以及在所述焦点检测中,在向所述被摄体发射具有与所述第一光的分光特性不同的分光特性的第二光的情况和不发射所述第二光的情况之间,改变所述第二计算信息。
一种摄像设备所用的焦点检测方法,所述摄像设备包括图像传感器,所述图像传感器被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像,所述焦点检测方法使用来自所述图像传感器的焦点检测信号来进行焦点检测,其特征在于,所述焦点检测方法包括以下步骤:通过使用第一焦点位置和第二焦点位置之间的差来校正所述焦点检测的结果,其中通过使用所述摄像光学系统的像差信息和与第一光的分光特性相对应的第一计算信息将所述第一焦点位置计算为摄像时的焦点位置,以及通过使用所述像差信息和与所述第一光的分光特性相对应的第二计算信息将所述第二焦点位置计算为所述焦点检测时的焦点位置;以及在所述焦点检测中向所述被摄体发射具有与所述第一光的分光特性不同的分光特性的第二光的情况下,根据所述第二光的分光特性来改变所述第二计算信息。
一种摄像设备所用的焦点检测方法,所述摄像设备包括图像传感器,所述图像传感器被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像,所述焦点检测方法使用来自所述图像传感器的焦点检测信号来进行焦点检测,其特征在于,所述焦点检测方法包括以下步骤:通过使用第一焦点位置和第二焦点位置之间的差来校正所述焦点检测的结果,其中通过使用所述摄像光学系统的像差信息和与第一光的分光特性相对应的第一计算信息将所述第一焦点位置计算为摄像时的焦点位置,以及通过使用所述像差信息和与所述第一光的分光特性相对应的第二计算信息将所述第二焦点位置计算为所述焦点检测时的焦点位置;以及在所述焦点检测中向所述被摄体发射具有与所述第一光的分光特性不同的分光特性的第二光的情况下,通过使用所述像差信息和所述第二计算信息来获取与所述第二光的分光特性相对应的第三焦点位置,并且通过使用所述第一焦点位置和所述第三焦点位置之间的差来校正所述焦点检测的结果。
一种摄像设备所用的焦点检测方法,所述摄像设备包括图像传感器,所述图像传感器被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像,所述焦点检测方法使用来自所述图像传感器的焦点检测信号来进行焦点检测,其特征在于,所述焦点检测方法包括以下步骤:通过使用第一焦点位置和第二焦点位置之间的差来校正所述焦点检测的结果,其中通过使用所述摄像光学系统的像差信息和与第一光的分光特性相对应的第一计算信息将所述第一焦点位置计算为摄像时的焦点位置,以及通过使用所述像差信息和与所述第一光的分光特性相对应的第二计算信息将所述第二焦点位置计算为所述焦点检测时的焦点位置;以及在所述焦点检测中向所述被摄体发射具有与所述第一光的分光特性不同的分光特性的第二光的情况下,通过使用所述第一焦点位置和第三焦点位置之间的差来校正所述焦点检测的结果,所述第三焦点位置是通过使用所述像差信息和与所述第二光的分光特性相对应的第三计算信息所计算出的。
一种摄像设备所用的焦点检测方法,所述摄像设备包括图像传感器,所述图像传感器被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像,所述焦点检测方法使用来自所述图像传感器的焦点检测信号来进行焦点检测,其特征在于,所述焦点检测方法包括以下步骤:通过使用第一焦点位置和第二焦点位置之间的差来校正所述焦点检测的结果,其中通过使用与第一光的分光特性相对应的所述摄像光学系统的第一像差信息和与所述第一光的分光特性相对应的第一计算信息将所述第一焦点位置计算为摄像时的焦点位置,以及通过使用所述第一像差信息和与所述第一光的分光特性相对应的第二计算信息将所述第二焦点位置计算为所述焦点检测时的焦点位置;以及在所述焦点检测中向所述被摄体发射具有与所述第一光的分光特性不同的分光特性的第二光的情况下,通过使用所述第一焦点位置和第三焦点位置之间的差来校正所述焦点检测的结果,所述第三焦点位置是通过使用与所述第二光的分光特性相对应的所述摄像光学系统的第二像差信息以及与所述第二光的分光特性相对应的第三计算信息所计算出的。
一种存储介质,其特征在于,存储计算机程序,所述计算机程序使得摄像设备中的计算机能够执行上述的焦点检测方法,所述摄像设备包括图像传感器,所述图像传感器被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像。
通过以下参考附图对典型实施例的说明,本发明的其它特征将变得明显。
附图说明
图1是根据本发明的各实施例中的AF处理的流程图。
图2是根据各实施例的数字照相机的结构的框图。
图3A和3B示出根据各实施例的图像传感器的结构。
图4A和4B示出根据各实施例的光电转换区域和出射光瞳之间的关系。
图5是图2中的TVAF单元的结构的框图。
图6示出根据各实施例的焦点检测区域。
图7是根据第一实施例的BP校正值计算处理的流程图。
图8A~8C说明根据第一实施例的BP校正值计算处理。
图9A~9F示出根据第一实施例的空间频率特性。
图10是根据第二实施例的AF处理的流程图。
图11是根据第二实施例的BP校正值计算处理的流程图。
图12示出根据第二实施例的BP校正值计算所用的设置信息。
图13是示出根据第三实施例的AF处理的流程图。
图14是根据第三实施例的BP校正值计算处理的流程图。
图15说明根据第三实施例的BP校正值计算处理。
图16是根据第四实施例的AF处理的流程图。
图17是根据第四实施例的BP校正值计算处理的流程图。
图18说明根据第四实施例的BP校正值计算处理。
图19示出根据第四实施例的BP校正值计算所用的设置信息。
图20是根据第五实施例的BP校正值计算处理的流程图。
图21A~21C说明根据第五实施例的BP校正值计算处理。
图22是根据第六实施例的AF处理的流程图。
图23是根据第六实施例的BP校正值计算处理的流程图。
图24A和24B示出根据第六实施例的BP校正值计算所用的设置信息。
具体实施方式
现在将参考附图来说明根据本发明的各实施例。
第一实施例
图2是示出作为根据本实施例的例示性摄像设备的数字照相机的结构的框图。根据本实施例的数字照相机是可更换镜头型单镜头反光照相机,并且包括镜头单元100和照相机主体120。镜头单元(可更换镜头)100经由利用该图中央的虚线表示的安装件M安装至照相机主体120。
本实施例论述镜头可更换型单镜头反光照相机,但根据本发明的该实施例除可应用于作为摄像设备的具有照相机功能的各种电子设备(诸如移动电话、个人计算机、游戏机等)外,还可应用于诸如镜头一体型照相机、无反光镜(非反射式)照相机和摄像机等的其它摄像设备。
镜头单元100包括镜头光学系统以及驱动和控制系统。镜头光学系统包括第一透镜单元101、孔径光阑(光圈)102、第二透镜单元103和调焦透镜单元(以下简称为调焦透镜)104,并且形成作为被摄体的光学图像的被摄体图像。
第一透镜单元101配置在镜头单元100的前端并且是以沿光轴方向OA可移动的方式保持的。光圈102用于调节光量,并且还用作用于控制静止图像拍摄时的曝光时间的机械快门。光圈102和第二透镜单元103在光轴方向OA上整体可移动,并且与第一透镜单元101相关联地移动以进行变倍。调焦透镜104在光轴方向OA上移动,以改变镜头单元100聚焦的被摄体距离(焦距)或者进行调焦。
驱动和控制系统包括变焦致动器111、光圈(和快门)致动器112、调焦致动器113、变焦驱动电路114、光圈(和快门)驱动电路115、调焦驱动电路116、镜头MPU 117和镜头存储器118。变焦驱动电路114通过变焦致动器111在光轴方向OA上驱动第一透镜单元101和第三透镜单元103。光圈驱动电路115通过光圈致动器112驱动光圈102,以控制光圈102的开口直径和开闭操作。调焦驱动电路116通过调焦致动器113在光轴方向OA上驱动调焦透镜104。调焦驱动电路116通过调焦致动器113检测调焦透镜104的当前位置。
镜头MPU(微处理器单元)117进行镜头单元100的所有计算和控制。这些控制还包括对变焦驱动电路114、光圈驱动电路115和调焦驱动电路116的控制。镜头MPU 117通过安装件M上所设置的通信端子电气连接至照相机MPU 125,并且与照相机MPU 125通信命令和数据。例如,镜头MPU 117检测调焦透镜104的位置(以下称为调焦透镜位置),并且响应于来自照相机MPU 125的请求来向照相机MPU 125通知包含所检测到的调焦透镜位置的调焦透镜信息。调焦透镜信息包含调焦透镜104在光轴方向OA上的位置、出射光瞳在光轴方向OA上的位置及直径、以及用于限制来自出射光瞳的光束的透镜框在光轴方向OA上的位置及直径等。响应于来自照相机MPU 125的请求,镜头MPU 117还控制变焦驱动电路114、光圈驱动电路115和调焦驱动电路116。
镜头存储器118预先存储后面所述的焦点检测所需的光学信息。照相机MPU 125通过执行例如内部非易失性存储器或镜头存储器118中所存储的计算机程序来执行上述的计算和控制。
照相机主体120包括光学低通滤波器121、图像传感器122以及驱动和控制系统。镜头光学系统和光学低通滤波器121构成摄像光学系统。
设置光学低通滤波器121以减少图像传感器122所获取到的拍摄图像中的伪色和摩尔纹。图像传感器122包括CMOS图像传感器和周边电路。根据本实施例的图像传感器122具有光瞳分割功能,并且可以使用来自图像传感器122的输出信号(焦点检测信号)来进行通过相位差检测方法的焦点检测。将通过相位差检测方法的焦点检测和基于该焦点检测的结果对调焦透镜104的位置控制统称为相位差AF。
驱动和控制系统包括传感器驱动电路123、图像处理电路124、照相机MPU 125、显示单元126、操作开关127、存储器128、相位差AF单元129和TVAF单元130。
传感器驱动电路123控制图像传感器122的操作并对从图像传感器122获取到的模拟图像信号进行A/D转换,并且发送至照相机MPU 125。图像处理电路124对通过A/D转换所获得的数字图像数据进行诸如伽玛转换、白平衡调整处理、颜色插值处理和压缩编码处理等的图像处理,并且生成显示和记录用图像数据。图像处理电路124基于数字图像数据来生成相位差AF所用的焦点检测数据和采用对比度检测方法的AF(以下称为TVAF)所用的亮度数据。
照相机MPU 125进行与照相机主体120有关的所有计算和控制。该控制包含对传感器驱动电路123、图像处理电路124、显示装置126、操作开关127、存储器128、相位差AF单元129和TVAF单元130的控制。照相机MPU 125经由安装件M上所设置的通信端子连接至镜头MPU 117,并且与镜头MPU 117通信命令和数据。照相机MPU 125将镜头位置信息的获取请求、孔径光阑(光圈)、焦点和变焦驱动请求经由通信发送至镜头MPU 117。照相机MPU 125经由通信向镜头MPU 117请求镜头单元100特有的光学信息。照相机MPU 125包括用于存储计算机程序的ROM 125a、用于存储变量的RAM(存储器)125b和用于存储各种参数的EEPROM125c。照相机MPU 125根据ROM 125a中所存储的计算机程序来进行上述的计算和控制。
显示单元126包括诸如LCD等的显示装置,并且显示与摄像模式有关的信息、摄像之前的预览图像、摄像之后的确认图像和AF时的聚焦状态指标等。操作开关127包括用户可操作的操作构件,诸如电源开关、释放(摄像触发)开关、变焦操作开关和摄像模式选择开关等。作为记录器的存储器128是可以安装至照相机主体120以及从照相机主体120拆卸的闪速存储器,并且记录拍摄图像。
相位差AF单元129通过使用图像处理电路124所获得的焦点检测数据来进行相位差AF。更具体地,图像处理电路124根据已拍摄到由穿过了摄像光学系统的一对光瞳区域的光束形成的一对被摄体图像的图像传感器122的输出信号(图像信号),来生成作为相位差焦点检测信号的一对相位差图像信号(后面所述的A图像信号和B图像信号)。相位差AF单元129基于一对相位差图像信号之间的偏差量(图像偏移量)来计算散焦量。相位差AF单元129根据所计算出的散焦量将作为用于驱动调焦透镜104的控制命令的调焦驱动请求发送至镜头MPU 117。
因而,根据本实施例的相位差AF单元129基于图像传感器122而不是专用AF传感器的输出来进行作为相位差AF的摄像面相位差AF。后面将详细说明相位差AF单元129的操作。
TVAF单元130基于图像处理电路124所生成的TVAF用焦点评价值(表示图像数据的对比度状态的评价值)来进行TVAF。TVAF使调焦透镜104移动以将提供焦点评价值的峰值的调焦透镜位置检测为聚焦位置,然后使调焦透镜104移动到该位置。
如上所述,根据本实施例的照相机可以执行相位差AF和TVAF这两者,并且根据情形单独地或组合地使用这两者。
辅助光发射器(或发射单元)200根据来自照相机MPU 125的发射指示和不发射指示来设置发射和不发射。在要聚焦的被摄体具有低对比度或低照度的情况下,通过发射辅助光,AF可用的可能性更大。
接着,将详细说明相位差AF单元129的操作。图3A示出图像传感器122的像素配置,该像素配置是从镜头单元100侧观看的二维CMOS传感器的纵向六行(Y方向)和横向八列(X方向)的像素范围。图像传感器122设置有拜耳排列的滤色器。更具体地,绿色(G)和红色(R)的滤色器从奇数行的左侧起顺次交替排列,并且蓝色(B)和绿色(G)的滤色器从偶数行的左侧起顺次交替排列。在像素211中,圆211i表示片上微透镜,并且配置在微透镜211i内侧的多个矩形211a和211b分别表示光电转换器。
在图像传感器122的所有像素中,沿X方向对光电转换器进行二分割。在各像素内可以从光电转换器中单独读出光电转换信号,或者可以从两个光电转换器中读出光电转换信号的总和。可以通过从光电转换信号的总和中减去一个光电转换器的光电转换信号来获得与另一光电转换器的光电转换信号相对应的信号。可以使用来自光电转换器的光电转换信号来生成上述的一对相位差图像信号或者用于呈现3D图像的一对视差图像。使用光电转换信号的总和来生成正常图像数据(实时取景图像或拍摄图像)。
在相位差AF中,图3A的微透镜211i以及分割得到的两个光电转换器211a和211b对摄像光学系统中的出射光瞳进行分割(以下将该动作称为光瞳分割)。假定对于同一像素行中的预定范围内的多个像素211,将通过连接一个光电转换器211a的输出所生成的信号称为焦点检测所使用的A图像信号,并且将通过连接另一光电转换器211b的输出所生成的信号称为焦点检测所使用的B图像信号。光电转换器211a和211b的输出使用通过将滤色器的单位阵列中所包含的绿色、红色、蓝色和绿色的输出相加所计算出的伪亮度(Y)信号。然而,可以针对R、G和B颜色各自生成A图像信号和B图像信号。可以通过对这样生成的A图像信号和B图像信号之间的相对偏移量进行相关计算来将散焦量计算为预定范围内的散焦量。
本实施例从各像素中读出一个光电转换器的输出和两个光电转换器的输出的总和。例如,在读取光电转换器211a的输出以及光电转换器211a和211b的输出的总和时,通过从该总和中减去光电转换器211a的输出来获得光电转换器211b的输出。由此,可以获得A图像信号和B图像信号这两者,并且可以实现相位差AF。
图3B示出图像传感器122的读取电路的结构。附图标记151表示水平扫描电路,并且附图标记153表示垂直扫描电路。水平扫描线152a和152b以及垂直扫描线154a和154b布线在各个像素之间的边界部处。经由这些扫描线从各光电转换器将信号读出到外部。
假定根据本实施例的图像传感器除具有上述的像素内的读取方法外,还具有以下两个类型的读取模式。第一读取模式是用于拍摄高清静止图像的所有(或全)像素读取模式。在该模式下,读出来自所有像素的信号。第二读取模式是用于记录运动图像或显示实时取景图像的间隔剔除读取模式。在该模式中,仅从比所有像素少的像素或者从在X方向和Y方向这两者上按预定比率进行间隔剔除后的像素读出信号。在需要高速读取信号时,也使用该第二读取模式。在沿X方向进行间隔剔除时,进行信号的相加以改善S/N比。在沿Y方向进行间隔剔除时,忽略要间隔剔除的行的信号输出。通常使用在第二读取模式中读出的信号来进行相位差AF和TVAF。
现在参考图4A和4B,将说明摄像光学系统的出射光瞳面、图像传感器中的像高零或像面的中央附近的像素(光电转换器)之间的共轭关系。通过微透镜211i使光电转换器和摄像光学系统的出射光瞳面彼此共轭。摄像光学系统中的出射光瞳的位置一般与配置有用于调节光量的虹彩光圈的位置一致。根据本实施例的摄像光学系统具有变倍功能,并且变倍改变了大小以及从像面到出射光瞳的距离(出射光瞳距离)。图4A示出位于广角端和远摄端的中央的镜头单元100的焦距。将该状态下的出射光瞳距离Zep设置为标准值,并且基于微透镜211i的形状和像高(XY坐标)来优化偏心参数。
在图4A中,附图标记101b表示被配置为保持第一透镜单元101的镜筒构件,并且附图标记104b表示被配置为保持调焦透镜104的镜筒构件。附图标记102a表示具有用于确定打开光圈102时的开口直径的开口的开口板,并且附图标记102b表示被配置为调节缩小时的开口直径的光圈叶片。镜筒构件101b、开口板102a、光圈叶片102b和镜筒构件104b用作用于限制穿过摄像光学系统的光束的限制构件,并且示出在从像面侧观看时的光学虚拟图像。将光圈102附近的组合开口定义为摄像光学系统中的出射光瞳,并且如上所述将从像面起的出射光瞳距离定义为Zep。
像素211配置在像面的中央附近,并且在本实施例中将被称为中央像素。中央像素211从最下层起顺次包括光电转换器211a和211b、布线层211e~211g、滤色器211h和微透镜211i。两个光电转换器211a和211b由微透镜211i反投影到摄像光学系统中的出射光瞳面上。换句话说,摄像光学系统的出射光瞳中的不同区域(光瞳区域)EP1a和EP1b经由微透镜211i被投影到光电转换器211a和211b的表面上。
图4B示出从光轴方向观看到的摄像光学系统的出射光瞳面上的对光电转换器211a和211b进行反投影得到的EP1a和EP1b。图像传感器122可以输出来自两个光电转换器101a和101b其中之一的信号,并且包括可以对来自这两个光电转换器101a和101b的信号进行相加并输出的像素。相加并输出的信号是通过对穿过焦点检测光瞳EP1a和EP1b的所有光束进行光电转换所获得的。
在图4A中,穿过摄像光学系统的光束L(在图4A中具有利用直线绘制的外缘)受到光圈102的开口板102a限制,并且光瞳区域EP1a和EP1b的光束在未被摄像光学系统遮蔽的情况下到达像素。图4B示出图4A所示的光束L在出射光瞳面上的截面(外缘)TL。由于两个光电转换器211a和211b的反投影图像EP1a和EP1b的大部分包括在利用TL所表示的圆(或开口板102a的开口)中,因此可以理解反投影图像EP1a和EP1b很少被遮蔽。在出射光瞳面的中央处,反投影图像EP1a和EP1b相对于(如在图4A中利用点划线所示的)摄像光学系统的光轴对称地遮蔽,并且光电转换器211a和211b所接收到的光量彼此相等。
在相位差AF中,照相机MPU 125控制传感器驱动电路123,以在上述两种读取模式下从图像传感器122读出输出信号。然后,照相机MPU 125将焦点检测区域的信息提供至图像处理电路124,以根据焦点检测区域中的像素的输出生成A图像信号和B图像信号并将这些信号供给至相位差AF单元129。根据该指示,图像处理电路124生成A图像信号和B图像信号并将这两者输出至相位差AF单元129。图像处理电路124将RAW图像数据供给至TVAF单元130。因而,图像传感器122关于相位差AF和TVAF这两者构成了焦点检测器。
尽管本实施例论述了在水平方向上对摄像光学系统的出射光瞳进行二分割,但图像传感器上的像素的至少一部分可以在垂直方向上对出射光瞳进行二分割。可选地,可以在水平方向和垂直方向这两者上对出射光瞳进行分割。在垂直方向上对出射光瞳进行分割的像素使得能够进行与垂直方向和水平方向的被摄体的对比度相对应的相位差AF。
现在参考图5,将说明TVAF(对比度AF)。TVAF通过照相机MPU 125和TVAF单元130协作以将调焦透镜104重复驱动了预定量并计算焦点评价值来实现。图5示出TVAF单元130的结构。
从图像处理电路124将RAW图像数据输入至TVAF单元130中的AF评价信号处理电路401。AF评价信号处理电路401从RAW图像数据中提取G信号,并且进行用于强调G信号的低亮度分量并抑制高亮度分量的伽玛校正处理。此时,可以对所有的R、G和B信号进行伽玛校正处理。可选地,可以使用R、G和B信号来生成亮度(Y)信号。在以下说明中,无论信号的类型如何,从AF评价信号处理电路401输出的信号都被称为亮度信号Y。
照相机MPU 125将RAW图像数据(或摄像范围)内的焦点检测所用的焦点检测区域设置到区域设置电路413。区域设置电路413生成用于选择所设置的焦点检测区域中的信号的门信号。将门信号输入至线峰值检测电路402、水平积分电路403、线最小值检测电路404、线峰值检测电路409、垂直积分电路406和410、以及垂直峰值检测电路405、407和411。照相机MPU 125控制将亮度信号Y输入至各电路的定时,使得根据焦点检测区域中的亮度信号Y来生成焦点评价值。可以将多个焦点检测区域设置到区域设置电路413。
现在将说明用于计算作为焦点评价值其中之一的Y峰值评价值的方法。将经过了伽玛校正处理的亮度信号Y输入至线峰值检测电路402。线峰值检测电路402求出在区域设置电路413中设置的焦点检测区域内的各水平线的Y线峰值。利用垂直峰值检测电路405在焦点检测区域中在垂直方向上对线峰值检测电路402的输出进行峰值保持,并由此生成Y峰值评价值。Y峰值评价值是用于判断是高亮度被摄体还是低照度被摄体的有效指标。
将说明用于计算作为焦点评价值中的另一焦点评价值的Y积分评价值的方法。将伽玛校正后的亮度信号Y输入至水平积分电路403。水平积分电路403在焦点检测区域内针对各水平线获得Y积分值。在垂直积分电路406中在焦点检测区域内沿垂直方向对水平积分电路403的输出进行积分。由此,生成Y积分评价值。Y积分评价值可以用作用于判断整个焦点检测区域中的亮度的指标。
说明用于计算作为另一焦点评价值的Max-Min评价值的方法。将伽玛校正后的亮度信号Y输入至线峰值检测电路402。线峰值检测电路402在焦点检测区域内针对各水平线求出Y线峰值。将伽玛校正后的亮度信号Y输入至线最小值检测电路404。线最小值检测电路404在焦点检测区域内检测针对各水平线检测的Y的最小值。将所检测到的各水平线的Y的线峰值和最小值输入至减法器,并由此将(线峰值-最小值)输入至垂直峰值检测电路407。垂直峰值检测电路407在焦点检测区域内在垂直方向上保持峰值,并且生成Max-Min评价值。Max-Min评价值是用于判断是低对比度还是高对比度的有效指标。
将说明用于计算作为又一焦点评价值的区域峰值评价值的方法。接受了伽玛校正处理的亮度信号Y通过BPF 408,该BPF 408用于提取特定频率分量并生成焦点信号。将该焦点信号输入至线峰值检测电路409。线峰值检测电路409在焦点检测区域内求出针对各水平线的线峰值。利用垂直峰值检测电路411在焦点检测区域内对该线峰值进行峰值保持,由此生成区域峰值评价值。由于即使在焦点检测区域内被摄体移动时区域峰值评价值也很少改变,因此区域峰值评价值是用于再次判断是否从聚焦状态转变为用于搜索聚焦位置的处理的再启动判断的有效指标。
现在将说明用于计算作为最后的焦点评价值的全线积分评价值的方法。与区域峰值评价值相同,线峰值检测电路409在焦点检测区域内求出针对各水平线的线峰值。接着,线峰值检测电路409将该线峰值输入至垂直积分电路410。垂直积分电路410在焦点检测区域内在垂直方向上对水平扫描线的总数进行积分,以生成全线积分评价值。高频全线积分评价值由于因积分效果而具有宽动态范围和高灵敏度,因此具有主要的焦点评价值。因而,在本实施例中简单描述的焦点评价值是指全线积分评价值。
照相机MPU 125中的AF控制单元160获取上述各评价值,并且通过镜头MPU 117使调焦透镜104在光轴方向上沿预定方向移动了预定量。然后,根据新获得的RAW图像数据计算各评价值,并且检测向全线积分评价值提供最大值的调焦透镜位置。
本实施例分别计算水平线方向和垂直线方向上的各评价值。该配置可以使用两个正交方向或者水平方向和垂直方向上的被摄体的对比度信息来进行TVAF。
图6示出摄像范围内的例示性焦点检测区域。通过使用从焦点检测区域中的像素获得的信号来进行相位差AF和TVAF这两者。在图6中,利用粗虚线表示的矩形表示形成了图像传感器122上的所有像素的摄像范围217。将相位差AF所用的焦点检测区域218ah、218bh和218ch设置到摄像范围217。这里,焦点检测区域218ah、218bh和218ch被设置到总共三个位置,即摄像范围217的中央部分及其左右两个位置。另外,将TVAF用的焦点检测区域219a、219b和219c设置成分别包含相位差AF所用的焦点检测区域218ah、218bh和218ch。图6仅示出焦点检测区域的例示性设置,并且焦点检测区域的数量、位置和大小不限于图6所示的情况。
现在参考图1的流程图,将说明根据本实施例的照相机中的AF处理。AF处理主要由照相机MPU 125根据作为计算机程序的焦点调节控制程序执行。在一些情况下,照相机MPU125通过向镜头MPU 117发送命令等来驱动并控制镜头单元100。在以下说明中,“S”代表步骤。
在S1中,照相机MPU 125设置焦点检测区域。假定设置图6所示的三个焦点检测区域作为相位差AF和对比度AF所用的焦点检测区域。
在S2中,照相机MPU 125曝光图像传感器122,读取图像信号,并且指示图像处理电路124根据相位差AF所用的焦点检测区域218ah、218bh和218ch中的图像数据来生成相位差AF所用的A图像信号和B图像信号。照相机MPU125将图像处理电路124所生成的RAW图像数据供给至TVAF单元130,并且指示TVAF单元130基于TVAF所用的焦点检测区域219a、219b和219c中的图像数据来计算焦点评价值。将TVAF单元130所计算出的焦点评价值存储在照相机MPU 125内的RAM 125b中。
接着,在S3中,照相机MPU 125判断是否需要AF辅助光(以下简称为辅助光)。通常,对于具有低照度或对比度的被摄体,辅助光对于良好的焦点检测是有效的。因此,照相机MPU 125将在S2中获取到的A图像信号和B图像信号的对比度(亮度差)以及平均输出值等与预定阈值进行比较,并且在结果判断为被摄体的对比度或亮度低的情况下,判断为需要辅助光并进入S4。另一方面,判断为不需要辅助光的照相机MPU 125进入S6。
在S4中,照相机MPU 125指示发射辅助光并且辅助光发射器200发光。此时,将用作用于区分辅助光的发射/非发射状态的标志的辅助光标志设置为表示发光状态的1。
接着,在S5中,与S2相同,照相机MPU 125重新曝光图像传感器122,读取图像信号,并且指示图像处理电路124根据相位差AF所用的焦点检测区域218ah、218bh和218ch中的图像数据来生成相位差AF所用的A图像信号和B图像信号。照相机MPU 125将图像处理电路124所生成的RAW图像数据供给至TVAF单元130,并且指示TVAF单元130根据TVAF用的焦点检测区域219a、219b和219c中的图像数据来计算焦点评价值。将TVAF单元130所计算出的焦点评价值存储在照相机MPU 125内的RAM 125b中。
在S6中,照相机MPU 125判断是否检测到了可靠的焦点评价值的峰值(极大值)。在检测到可靠的峰值的情况下,照相机MPU 125进入S20以结束焦点检测处理。焦点评价值的峰值的可靠性例如通过将该峰值和焦点评价值的最小值之间的差、在焦点评价值的变化曲线中按特定值以上的斜率变化的部分的长度、以及该倾斜部分的斜率各自与相应的阈值进行比较来进行判断。如果这些值全部超过阈值,则可以判断为峰值是可靠的。
本实施例使用相位差AF和TVAF这两者。在确认出在同一焦点检测区域或其它焦点检测区域中存在更靠近近侧的被摄体的情况下,即使在检测到可靠的焦点评价值的峰值时,流程也可以在不终止焦点检测的情况下进入S7。在这种情况下,存储与可靠的焦点评价值的峰值相对应的调焦透镜位置,并且在S7之后的处理中无法获得可靠的焦点检测结果的情况下,将所存储的调焦透镜位置设置到焦点检测结果。
在S7中,照相机MPU 125在焦点检测区域218ch、218ah和218bh各自中计算从图像处理电路124供给的A图像信号和B图像信号之间的偏移量(相位差)。然后,使用预先存储的转换将该相位差转换成散焦量。该散焦量对应于焦点检测结果。
照相机MPU 125还判断所计算出的散焦量的可靠性,并且仅将被判断为具有预定可靠性的焦点检测区域的散焦量用于后续处理。在由于透镜框等的屏蔽影响使得散焦量变大时,A图像信号和B图像信号之间的相位差将包含更多的误差。因此,在所获得的散焦量大于阈值的情况下,在A图像信号和B图像信号之间的形状的一致度低时,并且在A图像信号和B图像信号具有低对比度时,所获得的散焦量的可靠性可被判断为低于预定可靠性。在下文中,在判断为所获得的散焦量具有预定可靠性的情况下,这表示为“成功计算出散焦量”。在由于某些原因而不能计算散焦量的情况下或者在判断为散焦量的可靠性低的情况下,这表示为“无法计算散焦量”。
接着,在S20中,照相机MPU 125计算BP校正值。后面将说明BP校正值及其计算处理。照相机MPU 125使用所计算出的BP校正值(BP)通过以下的等式(1)来校正散焦量(DEF_B),以计算校正后的散焦量(DEF_A)。
DEF_A=DEF_B+BP (1)
本实施例在通过组合R、G和B这三个颜色以及纵向(垂直)和横向(水平)方向这两个方向所得到的六个类型的空间频率各自中,使用表示散焦MTF的极大值的调焦透镜位置的信息来计算BP校正值。该配置由于可以在颜色和方向上考虑空间频率的依赖性因而可以以更高的精度计算BP校正值。因而,可以提高AF的精度。
接着,在S21中,照相机MPU 125选择焦点检测区域。本实施例选择提供表示被摄体存在于近侧的检测结果的焦点检测区域。通常,这是因为主被摄体有可能存在于近侧。然而,选择焦点检测区域的方法不受限制,并且可以使用诸如优先选择人物的面部检测结果或者摄像范围的中央的焦点检测区域等的其它方法。
接着,在S22中,照相机MPU 125针对所选择的焦点检测区域,基于通过表达式(1)所计算出的校正后的散焦量DEF_A,通过镜头MPU 117驱动调焦透镜104。
在S23中,照相机MPU 125指示辅助光的不发射(熄灭)。本实施例在调焦透镜104向聚焦位置的移动结束之后熄灭辅助光,但熄灭定时不受限制。例如,可以在获得可靠的焦点检测结果时熄灭辅助光。由此,可以缩短辅助光的发射时间段,并且可以实现省电。照相机MPU 125将用作用于区分辅助光的发射状态和非发射状态的标志的辅助光标志设置为表示非发射状态的0。
随后,在S24中,照相机MPU 125将表示用于计算用于驱动调焦透镜104的散焦量的焦点检测区域的显示(AF框显示)显示在显示单元126上。例如,可以将该显示叠加在实时取景图像上。然后,AF处理结束。
图7的流程图示出在图1的S20中照相机MPU 125所进行的BP校正值计算处理。
在S201中,照相机MPU 125获取计算BP校正值所需的参数(计算条件)。BP校正值根据摄像光学系统的状态和焦点检测系统的设置(诸如调焦透镜位置、表示变焦状态的第一透镜单元101的位置(以下称为变焦位置)和焦点检测区域的位置等)而改变。因而,照相机MPU 125在S201中获取例如与调焦透镜位置、变焦位置和焦点检测区域的位置有关的信息。照相机MPU 125在S201中获取与焦点检测信号和拍摄图像生成用(记录和摄像用)信号的颜色和评价方向有关的设置信息(计算信息)。将该设置信息存储(保存)在镜头存储器118或RAM 125b中。
图8A示出例示性的设置信息。该设置信息是表示针对用于评价焦点状态的颜色(分光特性或波长)和对比度方向(水平方向和垂直方向)的各组合的加权大小(系数)的加权计算信息。该设置信息在焦点检测和拍摄图像之间不同。焦点检测用设置信息在正常光(第一光)入射到摄像光学系统的状态下的AF和在辅助光(第二光)入射到摄像光学系统的状态下的AF之间不同。例如,在正常光下在水平方向上使用绿色信号校正TVAF结果时,可以如下设置焦点检测用设置信息:
K_AFN_RH=0
K_AFN_GH=1
K_AFN_BH=0
K_AFN_RV=0
K_AFN_GV=0
K_AFN_BV=0
该设置信息可以表示焦点检测信号的散焦MTF的峰值信息(如图8B所示的散焦MTF具有极大值的散焦状态等)与绿色信号在水平方向上的特性相同。
例如,在辅助光下在水平方向上主要使用红色信号校正TVAF结果时,可以如下设置焦点检测用设置信息:
K_AFL_RH=0.8
K_AFL_GH=0.2
K_AFL_BH=0
K_AFL_RV=0
K_AFL_GV=0
K_AFL_BV=0
该设置信息可以表示焦点检测信号的散焦MTF的峰值信息与以红色为中心的信号在水平方向上的特性相同。所设置的焦点检测用设置信息对应于第二计算信息。
另一方面,如下确定拍摄图像所用的设置信息:
K_IMG_RH=0.15
K_IMG_GH=0.29
K_IMG_BH=0.06
K_IMG_RV=0.15
K_IMG_GV=0.29
K_IMG_BV=0.06
在假定进行用于将R、G和B信号转换成与Y信号相对应的信号的加权、利用Y信号评价拍摄图像、并且同等地评价水平方向和垂直方向的对比度的情况下,设置这些值。然而,设置值和设置值的类型不受限制。这里设置的拍摄图像所用的设置信息对应于第一计算信息。
与基于是否发射辅助光来改变焦点检测所用的设置信息相同,可以根据是否发射闪光灯光来切换拍摄图像所用的设置信息。
接着,在S202中,照相机MPU 125判断在后面所述的峰值系数中是否存在变化。进行该判断,从而当在预先计算BP校正值和当前计算BP校正值之间各种条件相同时,省略峰值系数的再计算。在本实施例中,照相机MPU 125在焦点检测和拍摄图像所用的针对颜色和评价方向的设置信息(图8A)以及焦点检测区域的位置没有改变的情况下,判断为在峰值系数中不存在变化,并且进入S208而不进行S203~S207。
另一方面,在S202中第一次计算出峰值系数的情况下或者在判断为峰值系数改变的情况下,照相机MPU 125进入S203并且获取像差信息。像差信息是与针对被摄体的各空间频率的摄像光学系统的成像位置有关的信息或者与像差有关的信息,并且在本实施例中是与提供散焦MTF的极大值(峰值)的调焦透镜位置(以下称为散焦MTF峰值位置)有关的信息。对于上述的三个颜色和两个方向的六个组合各自,通过以空间频率f和图像传感器122上的焦点检测区域的位置(x,y)为变量的以下的表达式(2)来表示像差信息:
MTF_P_RH(f,x,y)=(rh(0)×x+rh(1)×y+rh(2))×f2+(rh(3)×x+rh(4)×y+rh(5))×f+(rh(6)×x+rh(7)×y+rh(8)) (2)
表达式(2)对于R颜色的信号示出针对与水平(H)方向相对应的各空间频率的散焦MTF峰值位置MTF_P_RH的表达式,但相同的表达式可以表示其它颜色和方向的组合中的针对各空间频率的散焦MTF峰值位置。
本实施例将rh(n)(1≤n≤8)预先存储在镜头单元100内的镜头存储器118中,并且照相机MPU 125向镜头MPU 117请求rh(n)。可选地,可以将rh(n)存储在照相机RAM 125b的非易失性区域中。
可以针对红色和垂直方向(MTF_P_RV)、绿色和水平方向(MTF_P_GH)、绿色和垂直方向(MTF_P_GV)、蓝色和水平方向(MTF_P_BH)以及蓝色和垂直方向(MTF_P_BV)的各组合,同样获得系数(rv、gh、gv、bh和bv)。本实施例参考图8B所示的曲线作为MTF峰值曲线。
接着,在S204中,照相机MPU 125判断辅助光是处于非发射状态(辅助光标志=0)还是发光状态(辅助光标志=1)。在发光状态下流程进入S205,并且在非发射状态下流程进入S206。
在S205中,照相机MPU 125利用焦点检测区域的位置以及要评价的信号的颜色和对比度方向来对所获得的像差信息进行加权。首先,照相机MPU125通过使用与计算BP校正值时的焦点检测区域的位置有关的信息来计算像差信息。更具体地,将焦点检测区域的位置信息代入表达式(2)中的x和y。通过该计算采用以下的表达式(3)的形式来表示表达式(2)。
MTF_P_RH(f)=Arh×f2+Brh×f+Crh (3)
照相机MPU 125同样地计算MTF_P_RV(f)、MTF_P_GH(f)、MTF_P_GV(f)、MTF_P_BH(f)和MTF_P_BV(f)。
图8B示出在S205中代入焦点检测区域的位置信息之后的例示性像差信息,其中横轴表示空间频率并且纵轴表示散焦MTF峰值位置。Nq表示由图像传感器122中的像素间距所确定的奈奎斯特频率。
如图所示,在高色像差的情况下针对各颜色的曲线偏离,并且在纵横差大的情况下,所例示的水平方向和垂直方向的曲线偏离。因而,本实施例针对颜色(R、G和B)和评价方向(H和V)的各组合具有与对应于空间频率的散焦MTF有关的信息。该配置可以以高精度计算BP校正值。
接着,照相机MPU 125通过使用像差信息对S201中所获取到的设置信息中的十二个系数(图8A)进行加权。由此,利用在焦点检测和摄像中要评价的颜色和方向对设置信息进行加权。更具体地,照相机MPU 125通过使用表达式(4)和(5)来计算表示焦点检测所用的空间频率特性的MTF峰值曲线MTF_P_AF(f)和表示拍摄图像所用的空间频率特性的MTF峰值曲线MTF_P_Img(f)。
MTF_P_AF(f)=K_AF_RH×MTF_P_RH(f)+K_AF_RV×MTF_P_RV(f)+K_AF_GH×MTF_P_GH(f)+K_AF_GV×MTF_P_GV(f)+K_AF_BH×MTF_P_BH(f)+K_AF_BV×MTF_P_BV(f) (4)
MTF_P_Img(f)=K_IMG_RH×MTF_P_RH(f)+K_IMG_RV×MTF_P_RV(f)+K_IMG_GH×MTF_P_GH(f)+K_IMG_GV×MTF_P_GV(f)+K_IMG_BH×MT F_P_BH(f)+K_IMG_BV×MTF_P_BV(f) (5)
在表达式(4)中,K_AF_RH、K_AF_GH、K_AF_BH、K_AF_RV、K_AF_GV和K_AF_BV是焦点检测(AF)所用的加权系数。作为AF所用的加权系数,使用作为正常光下的AF(以下称为正常光AF)所用的加权系数的K_AFN_RH、K_AFN_GH、K_AFN_BH、K_AFN_RV、K_AFN_GV和K_AFN_BV。
图8C以与图8B的格式相同的格式示出例示性的MTF_P_AF(f)和MTF_P_Img(f)。本实施例在计算空间频率的变量之前计算焦点检测区域的位置和要评价的颜色和方向的变量。作为计算的结果,通过以下的表达式(6)和(7)来表示MTF_P_AF(f)和MTF_P_Img(f)。
MTF_P_AF(f)=Aaf×f2+Baf×f+Caf (6)
MTF_P_Img(f)=Aimg×f2+Bimg×f+Cimg (7)
图8C在纵轴上示出通过将离散的空间频率F1~F4代入表达式(6)所获得的散焦MTF峰值位置LP4_AF、LP5_AF、LP6_AF和LP7_AF。
在S206中,与S205相同,照相机MPU 125利用焦点检测区域的位置以及要评价的信号的颜色和方向来对所获得的像差信息进行加权。S206与S205的不同之处在于,将辅助光下的AF(以下称为辅助光AF)所用的加权系数(K_AF_RH~K_AF_BV)用于AF用加权系数(K_AFL_RH~K_AFL_BV)。可以通过在普通光和辅助光之间改变AF用加权系数来针对各情形适当地计算表示焦点检测用空间频率特性的MTF峰值曲线MTF_P_AF(f)。无论是否发射辅助光,该配置都可以高度精确地校正焦点检测结果。
在S207中,照相机MPU 125将LP4_AF~LP7_AF(或LP4_AFL~LP7_AFL)作为峰值系数MTF_P_AF(n)(1≤n≤4)存储在镜头存储器118或RAM 125b中。照相机MPU 125将LP4_Img~LP7_Img作为峰值系数MTF_P_Img(n)存储在镜头存储器118或RAM 125b中,并且进入S208。
接着,在S208中,照相机MPU 125判断在焦点检测或拍摄图像所用的信号的评价带是否存在变化。在评价带中不存在变化的情况下,流程进入S210以计算BP校正值。在计算BP校正值时,照相机MPU 125首先通过以下的表达式(8)和(9)来计算拍摄图像的聚焦位置(P_img)和利用AF检测到的焦点位置(P_AF)。在该计算中,照相机MPU 125使用表示拍摄图像评价带的评价带W1和表示AF评价带的评价带W2。拍摄图像评价带和AF评价带是评价用于生成拍摄图像的信号和用于进行AF的信号时的空间频带。
照相机MPU 125基于被摄体、摄像光学系统、图像传感器的频率特性和观看者的评价带对拍摄图像的影响来计算拍摄图像评价带。另外,照相机MPU 125基于被摄体、摄像光学系统、图像传感器的采样频率和评价所使用的数字滤波器的影响来计算AF评价带。后面将详细说明这两种评价带计算方法。
P_img=MTF_P_Img(1)×W1(1)+MTF_P_Img(2)×W1(2)+MTF_P_Img(3)×W1(3)+MTF_P_Img(4)×W1(4) (8)
P_AF=MTF_P_AF(1)×W2(1)+MTF_P_AF(2)×W2(2)+MTF_P_AF(3)×W2(3)+MTF_P_AF(4)×W2(4) (9)
换句话说,照相机MPU 125利用拍摄图像以及AF评价带W1和W2,对针对图8B所示的各空间频率的散焦MTF的极大值的信息进行加权相加。该配置计算在拍摄图像(摄像时)的聚焦位置P_img和AF(焦点检测时)所检测到的聚焦位置P_AF。拍摄图像的聚焦位置对应于第一焦点位置,利用AF(正常光AF和辅助光AF)所检测到的聚焦位置对应于第二焦点位置。
接着,照相机MPU 125通过以下的表达式(10)来计算BP校正值(BP)。
BP=P_AF-P_img (10)
由于上述处理,照相机MPU 125计算在正常光AF和辅助光AF之间不同的BP校正值。
在S208中判断为在评价带中存在变化的照相机MPU 125在S209中获取并更新评价带信息。在获取到评价带时,照相机MPU 125进入S210并且如上所述计算BP校正值。
现在参考图9A~9F,将说明用于计算拍摄图像评价带和AF评价带的方法。这些图各自示出针对各空间频率的信号的强度,其中横轴表示空间频率并且纵轴表示强度。
图9A示出被摄体的空间频率特性I。横轴上的F1、F2、F3和F4表示与图8B中的MTF峰值曲线相对应的空间频率。Nq是由图像传感器122的像素间距所确定的奈奎斯特频率。图9B~9F同样示出F1~F4和Nq。本实施例将预先存储的代表值用于被摄体的空间频率特性(I)。图9A将被摄体的空间频率特性(I)绘制为连续曲线,但该空间频率特性(I)实际上具有与空间频率F1、F2、F3和F4相对应的离散值I(n)(1)(1≤n≤4)。
尽管本实施例将预先存储的代表值用于被摄体的空间频率特性,但要使用的被摄体的空间频率特性可以根据进行焦点检测的被摄体而改变。可以通过对通过摄像所获得的图像数据进行FFT处理等来获得被摄体的空间频率信息(功率谱)。计算处理负荷增加,但可以根据实际检测到焦点的被摄体来计算校正值,并且可以更精确地检测焦点状态。简单地,可以根据被摄体的对比度信息的大小来以不同的方式使用预先存储的多个类型的空间频率特性。
图9B示出摄像光学系统的空间频率特性O。与空间频率特性O有关的信息可以从镜头MPU 117获取或者存储在照相机内的RAM 125b中。要存储的信息可以是针对各散焦状态的空间频率特性或者仅聚焦状态下的空间频率特性。在聚焦位置附近计算BP校正值,并且可以通过使用聚焦状态下的空间频率特性来获得高度精确的BP校正值。即使计算负荷变得更重,在使用针对各散焦状态的空间频率特性的情况下,也可以获得更精确的BP校正值。可以基于通过相位差AF获得的散焦量来确定使用哪个散焦状态的空间频率特性。图9B将摄像光学系统的空间频率特性O示出为连续曲线,但该空间频率特性O实际上具有与空间频率F1、F2、F3和F4相对应的离散值O(n)(1≤n≤4)。
图9C示出光学低通滤波器121的空间频率特性L。将与该空间频率特性L有关的信息存储在照相机内的RAM 125b中。图9C将光学低通滤波器121的空间频率特性(L)示出为连续曲线,但实际上该空间频率特性(L)具有与空间频率F1、F2、F3和F4相对应的离散值L(n)(1≤n≤4)。
图9D示出由于信号生成而产生的空间频率特性M1和M2。如上所述,根据本实施例的图像传感器具有两个类型的读取模式。在第一读取模式或所有(或全)像素读取模式中,如利用空间频率特性M1所示,在信号生成时空间频率特性没有改变。在第二读取模式或间隔剔除读取模式中,如利用空间频率特性M2所示,在信号生成时空间频率特性改变。在第二读取模式中,在X方向上的间隔剔除时进行信号的相加以改善S/N,并且由于该相加而发生低通效果。图9D中的M2示出第二读取模式中的信号生成时的空间频率特性。这里,不考虑间隔剔除影响,并且仅通过相加示出低通效果。图9D将由于信号生成而产生的空间频率特性M1和M2示出为连续曲线,但这些空间频率特性M1和M2实际上具有与空间频率F1、F2、F3和F4相对应的离散值M1(n)和M2(n)(1≤n≤4)。
图9E例示了示出观看拍摄图像时的针对各空间频率的灵敏度的空间频率特性D1和用于处理AF评价信号的数字滤波器的空间频率特性D2。观看拍摄图像时的针对各空间频率的灵敏度取决于观看者之间的个体差异、诸如图像大小、观看距离和亮度等的观看环境。本实施例将观看时的针对各空间频率的灵敏度设置并存储为代表值。
在第二读取模式中,由于间隔剔除影响而发生信号的频率分量的折叠噪声(混叠)。空间频率特性D2是基于该影响的数字滤波器的空间频率特性。图9E示出观看时的空间频率特性D1和数字滤波器的空间频率特性D2的曲线,但这些曲线实际上具有与空间频率F1、F2、F3和F4相对应的离散值D1(n)和D2(n)(1≤n≤4)。
通过如上所述预先存储各种空间频率特性,通过以下的表达式(11)和(12)来表示作为摄像特性信息的拍摄图像评价带W1和作为焦点检测特性信息的AF评价带W2。在表达式(11)和(12)中,n是1≤n≤4。
W1(n)=I(n)×O(n)×L(n)×M1(n)×D1(n) (11)
W2(n)=I(n)×O(n)×L(n)×M2(n)×D2(n) (12)
图9F示出拍摄图像评价带W1和AF评价带W2。计算等式(11)和(12)可以针对拍摄图像的聚焦状态的决定因素来量化各空间频率的影响程度。同样,可以量化焦点检测结果的误差对各空间频率的影响程度。
照相机内所存储的信息可以是预先计算出的W1或W2。由于如上所述的针对各校正的计算,可以计算校正值以灵活地处理AF评价所使用的数字滤波器等的变化。一旦预先存储,可以减少表达式(11)和(12)的计算以及各种数据的存储器容量。
由于不需要预先完成所有计算,因此例如仅预先计算摄像光学系统和被摄体的空间频率特性并存储在照相机中,以减少数据存储器容量和计算量。
图9A~9F说明了与四个空间频率(F1~F4)相对应的离散值。然而,具有数据的空间频率的数量越多,可以越精确地再现拍摄图像评价带和AF评价带的空间频率特性,并且可以高度精确地计算BP校正值。减少要加权的空间频率可以减少计算负荷。可以利用具有拍摄图像评价带和AF评价带的代表性空间频率特性的空间频率来进行以下计算。
本实施例根据是否发射辅助光来改变焦点检测所用的加权系数(第二计算所用的信息),并且计算表示空间频率特性的MTF峰值曲线MTF_P_AF(f)。该配置可以在发射辅助光时对适合于辅助光的颜色(分光特性)的焦点检测信号进行加权,并且可以高度精确地校正焦点检测结果。发出辅助光所需的信息仅是与辅助光的颜色相对应的加权系数的信息,并且不需要新的像差信息等。因而,即使在相应辅助光的类型的数量增加的情况下,也可以在无需过度增加校正焦点检测结果所需的信息量的情况下提供高度精确的校正。
变形例
本实施例仅根据是否发射辅助光来改变焦点检测所用的加权系数,并且计算表示焦点检测所用的空间频率特性的MTF峰值曲线MTF_P_AF(f)。本变形例假定被摄体具有恒定的分光特性,但实际被摄体具有各种分光特性。
在发射辅助光时,可假定除辅助光以外的光源暗,并且除辅助光以外的光源对被摄体的分光特性无影响。除该假定外,可以通过预先存储辅助光的分光特性的信息来获取被摄体的分光特性。假定:Ir、Ig和Ib是红色、绿色和蓝色这三个颜色(波长)中被摄体的分光特性(第二被摄体分光信息),Lr、Lg和Lb是辅助光的分光特性(光量比),并且Or、Og和Ob是在发射辅助光时来自图像传感器122的输出信号的分光特性(信号强度比:第一被摄体分光信息)。此时,可以通过以下的表达式(13)来计算被摄体的分光特性Ir、Ig和Ib。
Ir=Or/Lr
Ig=Og/Lg
Ib=Ob/Lb (13)
被摄体的分光特性Ir、Ig和Ib表示通过从图像传感器122接收到的光量中减去辅助光的分光特性所获得的特性。
可以基于发射辅助光时从图像传感器122的输出信号所获得的被摄体的分光特性的信息(第一被摄体分光信息)来改变表示拍摄图像、正常光AF和辅助光AF所用的加权大小的设置信息。由此,可以高精度地校正焦点检测结果。例如,可以如下设置拍摄图像所用的设置信息:
K_IMG_RH=Ir
K_IMG_GH=Ig
K_IMG_BH=Ib
K_IMG_RV=Ir
K_IMG_GV=Ig
K_IMG_BV=Ib(其中:Ir+Ig+Ib=0.5)
同样,可以如下设置辅助光AF所用的设置信息:
K_AFL_RH=Or/(Or+Og)
K_AFL_GH=Og/(Or+Og)
K_AFL_BH=0
K_AFL_RV=0
K_AFL_GV=0
K_AFL_BV=0
正常光AF所用的设置信息可以使用所获得的被摄体的分光特性(Ir,Ig,Ib)。
作为被摄体分光计算器的照相机MPU 125进行以上处理,并且可以基于被摄体的分光特性来计算BP校正值。
第二实施例
接着,以下说明根据本发明的第二实施例。本实施例论述多个类型的辅助光。第一实施例将辅助光的类型限制为一个,并且根据是否发射辅助光来改变焦点检测所用的加权系数。然而,辅助光包含具有彼此不同的分光特性的诸如红色、绿色、橙色、红外和白色等的各种类型的光。本实施例根据辅助光的分光特性来校正焦点检测结果,由此无论辅助光的类型如何都高度精确地检测焦点状态。
第一实施例所述的照相机结构(图2)、焦点检测方法(图3A~5)、焦点检测区域(图6)和各评价带(图9A~9F)与本实施例是共同的。
现在参考图10~12,将说明根据本实施例的AF处理。在图10的流程图中,作为根据第一实施例的AF处理(图1)中的对应步骤的那些步骤将利用与第一实施例中的附图标记相同的附图标记来指定。
在图10的流程图中,在需要辅助光的情况下(S3中为“是”),可使用的辅助光与第一实施例的不同之处在于:存在内部(内置)辅助光和外部辅助光这两个类型的辅助光。内部辅助光是第一实施例中从图2所示的辅助光发射器200发射的。外部辅助光是从可安装至照相机主体120的外部闪光灯单元中所设置的外部辅助光发射器发射的。在本实施例中,内部辅助光具有以绿色为中心的分光特性,并且外部辅助光具有以红外~红色为中心的分光特性。
在S3中,判断为需要辅助光的照相机MPU 125进入S30,并且判断是否存在外部辅助光发射器或者是否可以发射外部辅助光。如果无法发射外部辅助光,则照相机MPU 125进入S31并指示发射内部辅助光。此时,照相机MPU125将用作用于判断内部辅助光的发射/不发射的ID的辅助光ID设置为表示发光状态的1。
如果可以发射外部辅助光,则照相机MPU 125进入S32并指示发射外部辅助光。然后,照相机MPU 125将用作用于辨别外部辅助光的发光状态的ID的辅助光ID设置为表示发光状态的2。本实施例假定外部辅助光的分光特性是已知的,但可以从外部闪光灯单元获取与该分光特性有关的信息。照相机MPU 125可以从外部闪光灯单元获取表示分光特性的信息或者获取与外部辅助光的类型有关的信息,并且根据该信息来设置预定的辅助光ID。
在S31和S32中结束了辅助光的发射的照相机MPU 125进入S5并继续处理。后续处理与第一实施例中的处理相同。在S7结束时或者在S6中为“是”的情况下,照相机MPU 125进入S40并进行BP校正。后面将详细说明BP校正。
结束了S22的照相机MPU 125进行作为与S23相同的处理的S33。此时,照相机MPU125将用作用于辨别辅助光的非发射状态的ID的辅助光ID设置为表示非发射状态的0。
现在参考图11的流程图,将说明根据本实施例的BP校正值计算处理的详情。在图11中,与第一实施例(图7)中的步骤相对应的那些步骤将利用相同的步骤编号来指定。
在S300中,照相机MPU 125获取计算BP校正值所需的参数(计算条件)。BP校正值根据摄像光学系统的状态和焦点检测系统的设置(诸如调焦透镜位置、变焦位置和焦点检测区域的位置等)而改变。因而,照相机MPU 125在S300中获取例如与调焦透镜位置、变焦位置和焦点检测区域的位置有关的信息。在S300中,照相机MPU 125获取与焦点检测信号和拍摄图像生成用信号的颜色和评价方向有关的设置信息。
图12示出例示性的设置信息。该设置信息表示针对用于评价焦点状态的颜色(R、G和B)和对比度方向(水平方向和垂直方向)的各组合的加权大小。设置信息在焦点检测和拍摄图像之间不同。焦点检测所用的设置信息在正常光AF、内部辅助光AF和外部辅助光AF之间不同。正常光AF所用的设置信息与第一实施例中的相同。由于内部辅助光主要具有绿色的分光特性,因此可以如下设置内部辅助光AF所用的设置信息:
K_AFLin_RH=0.2
K_AFLin_GH=0.7
K_AFLin_BH=0.1
K_AFLin_RV=0
K_AFLin_GV=0
K_AFLin_BV=0
该设置信息表示焦点检测信号的散焦MTF峰值信息与水平方向上的主要为绿色的信号特性相同。
由于外部辅助光主要具有红外~红色的分光特性,因此可以如下设置外部辅助光AF的设置信息:
K_AFLout_RH=0.9
K_AFLout_GH=0.1
K_AFLout_BH=0
K_AFLout_RV=0
K_AFLout_GV=0
K_AFLout_BV=0
该设置信息表示焦点检测信号的散焦MTF的峰值信息与水平方向上的主要为红色的信号特性相同。即使在存在其它辅助光的情况下,也可以根据分光特性来设置针对各颜色的权重。
尽管本实施例论述了通过切换具有不同分光特性的多个辅助光束来进行发光,但可以同时发射多个辅助光束。然后,可以基于各辅助光的强度和分光特性来设置针对这些辅助光束的加权信息。例如,在本实施例中的内部辅助光和外部辅助光之间的强度比为1:2并且同时发射这两者的情况下,可以通过利用1:2的比例对内部辅助光和外部辅助光的加权系数(K_AFLin和K_AFout)进行加权相加来设置使用的加权系数。
在S301中,结束了S203的照相机MPU 125判断辅助光ID是否为0或者辅助光是否处于非发射状态。如果辅助光ID处于非发射状态,则处理进入S205。在发光状态下,照相机MPU125进入S302,并且判断辅助光ID为1还是2、或者是内部辅助光处于发光状态还是外部辅助光处于发光状态。如果内部辅助光处于发光状态,则照相机MPU 125进入S303,并且在外部辅助光处于发光状态的情况下,照相机MPU 125进入S304。
在S303和S304中,照相机MPU 125与第一实施例中的S205和S206相同使用在S300中获取到的辅助光AF所用的加权系数,并且利用焦点检测区域的位置以及要评价的信号的颜色和对比度方向来进行加权。AF用加权系数是K_AF_RH、K_AF_GH、K_AF_BH、K_AF_RV、K_AF_GV和K_AF_BV。在S303中,这些AF用加权系数可以使用内部辅助光AF所用的加权系数(K_AFLin_RH、K_AFLin_GH、K_AFLin_BH、K_AFLin_RV、K_AFLin_GV和K_AFLin_BV)。在S304中,AF用加权系数可以使用外部辅助光AF所用的加权系数(K_AFLout_RH、K_AFLout_GH、K_AFLout_BH、K_AFLout_RV、K_AFLout_GV和K_AFLout_BV)。
第三实施例
接着,以下说明根据本发明的第三实施例。本实施例论述在图像传感器中的RGB滤色器的分光特性范围外的辅助光的(例如,红外)分光特性。第二实施例通过根据多个辅助光束各自的分光特性改变R、G和B的权重而计算出BP校正值。然而,在具有R、G和B的波长范围外的(例如,红外)分光特性的辅助光的情况下,仅通过改变R、G和B的权重无法计算BP校正量。保存红外加权系数增加了镜头存储器118或RAM 125b中的存储器容量。本实施例在不会增加所需的存储器容量的情况下计算发射红外辅助光时的BP校正量。
因此,本实施例通过使用R、G和B的正常光AF所用的加权系数(第二计算信息)的外推运算来计算红外辅助光AF所用的BP校正量。
第一实施例中说明的照相机结构(图2)、焦点检测方法(图3A~5)、焦点检测区域(图6)和评价带(图9A~9F)与本实施例是共同的。
现在参考图13~15,将说明根据本实施例的AF处理。本实施例将论述外部辅助光是红外光。在图13的流程图中,作为第二实施例的AF处理(图10)中的对应步骤的那些步骤将利用相同的步骤编号来指定。本实施例与第二实施例的不同之处仅在于S50所进行的BP校正值计算处理。
现在参考图14的流程图,将说明在S50中照相机MPU 125所进行的BP校正值计算处理。在图14中,作为第二实施例(图11)中的相应步骤的那些步骤将利用相同的步骤编号来指定。在本实施例中,在代替第二实施例中的S304的S401中,照相机MPU 125对发射外部红外辅助光时的像差信息进行加权。
图15向图8B所示的MTF峰值曲线添加红外和水平方向(MTF_P_INFH)以及红外和垂直方向(MTF_P_INFV)的MTF峰值曲线。
在步骤S401中,照相机MPU 125通过使用以下的等式(14)和(15)来计算MTF_P_INFH(f)和MTF_P_INFV(f)。表达式(14)和(15)示出使用R和G的MTF峰值曲线(像差信息)以及R的正常光AF所用的加权系数(第二计算信息)的外推运算。
MTF_P_INFH(f)=K_AF_RH×(MTF_P_RH(f)+(MTF_P_RH(f)―MTF_P_GH(f)) (14)
MTF_P_INFV(f)=K_AF_RV×(MTF_P_RV(f)+(MTF_P_RV(f)―MTF_P_GV(f)) (15)
照相机MPU 125使用以下的等式(16)来计算表示焦点检测所用的空间频率特性的MTF峰值曲线MTF_P_AF_INF(f)。
MTF_P_AF_INF(f)=K_AF_INFH×MTF_P_INFH(f)+K_AF_INFV×MTF_P_INFV(f)+K_AF_RH×MTF_P_RH(f)+K_AF_RV×MTF_P_RV(f)+K_AF_GH×MTF_P_GH(f)+K_AF_GV×MTF_P_GV(f)+K_AF_BH×MTF_P_BH(f)+K_AF_BV×MTF_P_BV(f) (16)
正常光AF所用的设置可以与第一实施例中的相同。由于外部辅助光主要具有红外分光特性,因此如下设置外部辅助光所用的加权系数的设置信息。
K_AF_INFH=1
K_AF_RH=0
K_AF_GH=0
K_AF_BH=0
K_AF_INFV=0
K_AF_RV=0
K_AF_GV=0
K_AF_BV=0
该加权系数的设置信息可以表示焦点检测所使用的信号的散焦MTF的峰值信息与水平方向上的主要为红外的信号特性相同。
照相机MPU 125通过使用正常光所用的MTF峰值曲线(像差信息)和正常光AF所用的加权系数(第二计算信息)的外推计算,如等式(14)和(15)所示,计算外部(红外)辅助光AF所用的MTF峰值曲线。然后,照相机MPU 125通过使用该MTF峰值曲线来计算通过红外辅助光AF所检测到的聚焦位置(第三焦点位置),并且计算拍摄图像所用的聚焦位置(第一焦点位置)和通过红外辅助光AF所检测到的聚焦位置之间的差作为BP校正值。该配置可以在存储针对R、G和B的加权系数的同时,在不会增加存储器容量的情况下计算外部红外辅助光的发射时的BP校正值。
变形例
本变形例根据是否发射外部红外辅助光,通过使用R和G的焦点检测所用的MTF峰值曲线的外推运算来计算红外MTF峰值曲线MTF_P_INF(f)。本变形例假定被摄体具有恒定的分光特性。然而,实际被摄体具有各种分光特性,并且外部辅助光的发射时的图像传感器122的受光信号是来自被摄体的光信号强度和外部辅助光的信号强度的混合,因而需要改变外部辅助光所用的设置信息。
假定Sr、Sg和Sb是在不发射辅助光时图像传感器122从任意被摄体接收到的R、G和B这三个颜色(波长)的信号的分光特性(信号强度比)。此外,假定Lr、Lg和Lb是外部辅助光的R、G和B的三个颜色(波长)的分光特性(光量比)。
然后,在Sr/Sg≥Lr/Lg的情况下,R波长中的信号强度大,因而外部辅助光的信号强度大于来自被摄体的光的信号强度。然后,通过使加权系数K_AF_INFH的值增大到例如1来计算MTF峰值曲线MTF_P_AF_INF(f)。另一方面,在Sr/Sg<Lr/Lg的情况下,外部辅助光的信号强度小于来自被摄体的光的信号强度。然后,通过减小加权系数K_AF_INFH的值并对R、G和B进行加权来计算MTF峰值曲线MTF_P_AF_INF(f)。
尽管本实施例论述了在发射红外辅助光时的BP校正值的计算,但可以使用除R、G和B这三个颜色(波长)以外的任何波长。
第四实施例
接着,以下说明根据本发明的第四实施例。本实施例存储G和B加权系数、以及代替R加权系数的红外加权系数。也就是说,本实施例存储针对第一光(R、G和B)的波长范围的一部分中的光的加权系数、以及针对具有与第一光的波长范围不同的波长范围的第二光(红外)的加权系数。结果,可以在不会增加存储器容量的情况下对比R长的红外区域进行加权。尽管第三实施例通过外推计算来计算红外特性,但外推计算难以保证精度,因而本实施例使用红外像差信息来代替R。通过插值计算来计算R像差信息。
第一实施例中说明的照相机结构(图2)、焦点检测方法(图3A~5)、焦点检测区域(图6)和评价带(图9A~9F)与本实施例是共同的。
现在参考图16~19,将说明根据本实施例的AF处理。本实施例论述外部红外辅助光。在图16的流程图中,作为第二实施例的AF处理(图10)中的对应步骤的那些步骤将利用相同的步骤编号来指定。本实施例与第二实施例的不同之处仅在于S60所进行的BP校正值计算处理。
现在参考图17的流程图,将说明在S60中照相机MPU 125所进行的BP校正值计算处理。在图17中,作为第二实施例(图11)中的相应步骤的那些步骤将利用相同的步骤编号来指定。在本实施例中,在代替第二实施例(第一实施例)中的S205的S501中,照相机MPU 125对正常光AF的像差信息进行加权。在代替第二实施例中的S303的S502中,照相机MPU 125对内部辅助光AF进行加权。在代替第二实施例中的S304的S503中,照相机MPU 125对外部辅助光AF进行加权。
图18向图8B所示的MTF峰值曲线添加红外和水平MTF峰值曲线(MTF_P_INFH)以及红外和垂直MTF峰值曲线(MTF_P_INFV)。红色的水平和垂直的MTF峰值曲线已被删除。
在步骤S501中,照相机MPU 125使用以下的等式(17)来计算表示焦点检测所用的空间频率特性的MTF峰值曲线MTF_P_AF_INF 2(f)。使用以下的等式(18)来计算表示拍摄图像所用的空间频率特性的MTF峰值曲线MTF_P_Img_INF 2(f)。
MTF_P_AF_INF2(f)=K_AF_INFH×MTF_P_INFH(f)+K_AF_INFV×MTF_P_INFV(f)+K_AF_GH×MTF_P_GH(f)+K_AF_GV×MTF_P_GV(f)+K_AF_BH×MTF_P_BH(f)+K_AF_BV×MTF_P_BV(f) (17)
MTF_P_Img_INF2(f)=K_IMG_INFH×MTF_P_INFH(f)+K_IMG_INFV×MTF_P_INFV(f)+K_IMG_GH×MTF_P_GH(f)+K_IMG_GV×MTF_P_GV(f)+K_IMG_BH×MTF_P_BH(f)+K_IMG_BV×MTF_P_BV(f) (18)
K_AF_INFH和K_AF_INFH分别是用于评价红外焦点状态的对比度方向为水平和垂直的设置信息。存储红外设置信息可以在不会增加存储器容量的情况下,通过插值计算来计算正常光、内部辅助光和红外外部辅助光的MTF峰值曲线。
图19示出本实施例中的与焦点检测信号和拍摄图像生成用信号的颜色和评价方向有关的例示性设置信息。该设置信息表示针对用于评价焦点状态的颜色(R、G和B)和对比度方向(水平和垂直)的各组合的加权大小。设置信息在焦点检测和拍摄图像之间不同。焦点检测所用的设置信息在正常光AF、内部辅助光AF和外部辅助光AF之间不同。
变形例
本实施例通过使用焦点检测所用的R和G的MTF峰值曲线的外推运算以及是否发射外部红外辅助光的结果,来获得红外MTF峰值曲线MTF_P_INF(f)。这假定被摄体具有恒定的分光特性。然而,实际被摄体具有各种分光特性,并且外部辅助光的发射时的图像传感器122的受光信号是来自被摄体的光的信号强度和外部辅助光的信号强度的混合,因而需要改变外部辅助光所用的设置信息。
假定Sr、Sg和Sb是在没有发射辅助光时图像传感器122从任意被摄体接收到的R、G和B这三个颜色(波长)的信号的分光特性(信号强度比)。此外,假定Lr、Lg和Lb是外部辅助光的R、G和B这三个颜色(波长)的分光特性(光量比)。在Sr/Sg≥Lr/Lg的情况下,R波长的信号强度大,因而外部辅助光的信号强度大于来自被摄体的光的信号强度。然后,通过增大加权系数K_AF_INFH的值来计算MTF峰值曲线MTF_P_AF_INF 2(f)。另一方面,在Sr/Sg<Lr/Lg的情况下,外部辅助光的信号强度小于来自被摄体的光的信号强度。然后,通过减小加权系数K_AF_INFH的值并对R、G和B进行加权来计算MTF峰值曲线MTF_P_AF_INF2(f)。
第五实施例
接着,以下说明根据本发明的第五实施例。本实施例提供在发射辅助光时通过使用适合于辅助光的颜色的像差信息和焦点检测信号的加权系数所进行的计算。第一实施例中说明的照相机结构(图2)、焦点检测方法(图3A~5)、焦点检测区域(图6)和评价带(图9A~9F)与本实施例是共同的。
现在参考图20和图21A~21C,将说明根据本实施例的BP校正值计算处理。本实施例论述了近红外辅助光。在图20的流程图中,作为第一实施例的BP校正值计算处理(图7)中的对应步骤的那些步骤将利用相同的步骤编号来指定。
在步骤S201中,照相机MPU 125获取计算BP校正值所需的与调焦透镜位置、变焦位置和焦点检测区域的位置有关的信息。照相机MPU 125获取焦点检测所使用的信号和与用于生成拍摄图像的信号的颜色和评价方向有关的设置信息。
图21A示出例示性设置信息。该设置信息表示针对用于评价焦点状态的颜色(近红外、R、G和B)和对比度的方向(水平和垂直)的各组合的加权大小。该设置信息在焦点检测和拍摄图像之间不同。焦点检测所用的设置信息具有在正常光AF和辅助光AF之间不同的信息。在本实施例中,辅助光具有在水平方向和垂直方向之间不同的颜色。在水平方向上,存在近红外、R、G和B这四个颜色,并且在垂直方向上,存在R、G和B这三个颜色。例如,在正常光下沿水平方向校正使用G信号的对比度AF的结果时,如下设置焦点检测所用的设置信息:
K_AFN_RH=0
K_AFN_GH=1
K_AFN_BH=0
K_AFN_RV=0
K_AFN_GV=0
K_AFN_BV=0
该设置信息表示焦点检测信号的散焦MTF的峰值信息与G信号在水平方向上的特性相同。这里设置的焦点检测所用的设置信息对应于第二计算信息。
例如,在辅助光下沿水平方向校正主要使用G信号的对比度AF的结果时,如下设置焦点检测所用的设置信息:
K_AFL_NIRH=0.7
K_AFL_RH=0.2
K_AFL_GH=0.1
K_AFL_BH=0
K_AFL_RV=0
K_AFL_GV=0
K_AFL_BV=0
该设置信息表示焦点检测信号的散焦MTF的峰值信息与以R和近红外为中心的信号在水平方向上的特性相同。这里设置的焦点检测用设置信息对应于第三计算信息。
另一方面,可以如下设置拍摄图像所用的设置信息:
K_IMG_RH=0.15
K_IMG_GH=0.29
K_IMG_BH=0.06
K_IMG_RV=0.15
K_IMG_GV=0.29
K_IMG_BV=0.06
在假定进行用于将R、G和B信号转换成Y信号的加权、利用Y信号评价拍摄图像、并且均等地评价水平方向和垂直方向的对比度的情况下,设置这些值。设置值及其类型不受限制。这里设置的拍摄图像所用的设置信息对应于第一计算信息。
与基于是否发射辅助光来改变焦点检测所用的设置信息相同,可以根据是否发射闪光灯光来切换拍摄图像所用的设置信息。
S202中判断为峰值系数改变的照相机MPU125进入S204,并且判断辅助光是处于非发射状态(辅助光标志=0)还是发光状态(辅助光标志=1)。在非发射状态下流程进入S601,并且在发光状态下流程进入S603。
在S601中,照相机MPU 125获取作为辅助光的非发射状态下的像差信息的第一像差信息。像差信息是针对被摄体的各空间频率的摄像光学系统的成像位置处的信息。如在第一实施例中所述,针对上述的三个颜色和两个方向的六个组合各自,通过以空间频率f和图像传感器122上的焦点检测区域的位置(x,y)为变量的表达式(2)来表示该像差信息。照相机MPU 125获取针对红色和水平方向(MTF_P_RH)、红色和垂直方向(MTF_P_RV)、绿色和水平方向(MTF_P_GH)、绿色和垂直方向(MTF_P_GV)、蓝色和水平方向(MTF_P_BH)以及蓝色和垂直方向(MTF_P_BV)的第一像差信息。另外,还存储并获得这些组合中的系数(rv、gh、gv、bh和bv)。该实施例参考图21B所示的曲线作为MTF峰值曲线。
在步骤S602中,照相机MPU 125获取用于利用焦点检测区域的位置以及要评价的信号的颜色和对比度方向来对步骤S601所获得的像差信息进行加权的设置信息。这里获取到的设置信息对应于记录和摄像所用的第一计算信息以及正常光AF所用的第二计算信息。
首先,照相机MPU 125使用计算BP校正值时的焦点检测区域的位置信息来计算像差信息。更具体地,将焦点检测区域的位置信息代入表达式(2)中的x和y。由于该计算,因而表达式(2)被第一实施例中的表达式(3)代替。这样,照相机MPU 125获得MTF_P_RH(f)、MTF_P_RV(f)、MTF_P_GH(f)、MTF_P_GV(f)、MTF_P_BH(f)和MTF_P_BV(f)。
图21B示出在S602中代入焦点检测区域的位置信息之后的例示性像差信息,其中横轴表示空间频率并且纵轴表示调焦透镜位置(散焦MTF峰值位置)。Nq表示由图像传感器122的像素间距所确定的奈奎斯特频率。
如图所示,在色像差量大的情况下针对各颜色的曲线偏离,并且在纵横差大的情况下,所例示的水平方向和垂直方向的曲线偏离。因而,本实施例针对颜色(R、G和B)和评价方向(H和V)的各组合具有与对应于空间频率的散焦MTF有关的信息。该配置可以以高精度计算BP校正值。
接着,照相机MPU 125通过使用像差信息来对S201中获取到的设置信息中的十二个系数(图21A)进行加权。由此,利用在焦点检测和摄像中要评价的颜色和方向来对设置信息进行加权。更具体地,照相机MPU 125通过使用第一实施例中的表达式(4)和(5)来计算表示焦点检测所用的空间频率特性的MTF峰值曲线MTF_P_AF(f)和表示拍摄图像所用的空间频率特性的MTF峰值曲线MTF_P_Img(f)。
图21C以与图21B的格式相同的格式示出例示性的MTF_P_AF(f)和MTF_P_Img(f)。本实施例在计算空间频率的变量之前计算焦点检测区域的位置以及关于要评价的颜色和方向的变量。作为计算的结果,通过第一实施例中的表达式(6)和(7)来表示MTF_P_AF(f)和MTF_P_Img(f)。
图21C在纵轴上示出通过将离散的空间频率F1~F4代入表达式(6)所获得的散焦MTF峰值位置LP4_AF、LP5_AF、LP6_AF和LP7_AF。
另一方面,在S603中,不同于S601,照相机MPU 125获取作为辅助光处于发光状态(辅助光标志=1)时的像差信息的第二像差信息。在本实施例中,近红外和水平的散焦MTF峰值位置(MTF_P_NIRH)是第二像差信息。第一像差信息和第二像差信息关于波长、像差方向、摄像距离和像高至少之一彼此不同。
根据本实施例的图像传感器122上的各像素具有如图3A所示在水平方向上进行了二分割的光电转换器。因此,仅利用水平方向(MTF_P_NIRH)来说明近红外MTF峰值曲线的像差方向。然而,本发明不限于该示例,并且可以使用垂直方向(MTF_P_NIRV)等。本实施例假定近红外辅助光,但本发明不限于近红外,并且可以获取与要使用的辅助光的波长特性相对应的MTF峰值曲线。本实施例根据被摄体距离获取多个MTF峰值曲线,但由于在近红外MTF峰值曲线中辅助光的到达距离短,因此仅在短距离处才可以获取到MTF峰值曲线。
接着,在S604中,不同于S602,照相机MPU 125获取用于利用焦点检测区域的位置和要评价的信号的颜色和对比度方向来对S603所获得的像差信息进行加权的设置信息。这里获取到的设置信息对应于记录和摄像所用的第一计算信息以及辅助光AF所用的第三计算信息。
首先,照相机MPU 125使用计算BP校正值时的焦点检测区域的位置信息来计算像差信息。更具体地,将焦点检测区域的位置信息代入表达式(2)中的x和y。由于该计算,对于近红外和水平的散焦MTF峰值位置(MTF_P_NIRH),表达式(2)被以下的等式(19)代替。
MTF_P_NIRH(f)=Anirh×f2+Brh×f+Crh(19)
照相机MPU 125同样地计算MTF_P_RV(f)、MTF_P_GH(f)、MTF_P_GV(f)、MTF_P_BH(f)和MTF_P_BV(f)。
接着,照相机MPU 125利用像差信息对S201所获取到的设置信息中的十二个系数(图21A)进行加权。由此,利用在焦点检测和摄像中要评价的颜色和方向对设置信息进行加权。
更具体地,照相机MPU 125使用以下的等式(20)来计算表示焦点检测所用的空间频率特性的MTF峰值曲线MTF_P_AF-NIR(f)。
MTF_P_AF-NIR(f)
=K_AF_NIRH×MTF_P_NIRH(f)+K_AF_RH×MTF_P_RH(f)
+K_AF_RV×MTF_P_RV(f)+K_AF_GH×MTF_P_GH(f)+K_AF_GV×MTF
_P_GV(f)+K_AF_BH×MTF_P_BH(f)+K_AF_BV×MTF_P_BV(f)(20)
照相机MPU 125通过使用表达式(5)来计算表示拍摄图像所用的空间频率特性的MTF峰值曲线MTF_P_Img(f)。
在表达式(18)中,K_AF_NIRH、K_AF_RH、K_AF_GH、K_AF_BH、K_AF_RV、K_AF_GV和K_AF_BV是焦点检测(AF)所用的加权系数。加权系数使用图21A所示的辅助光AF所用的加权系数(第三计算信息)K_AF_NIRH、K_AFL_RH、K_AFL_GH、K_AFL_BH、K_AFL_RV、K_AFL_GV和K_AFL_BV。在第二像差信息仅包含近红外像差信息的情况下,辅助光AF所用的加权系数具有仅针对近红外光的加权值。
本实施例在计算空间频率的变量之前,计算焦点检测区域的位置以及关于要评价的颜色和方向的变量。作为计算的结果,通过以下的表达式(21)和在第一实施例中示出的表达式(7)来表示MTF_P_AF-NIR(f)和MTF_P_Img(f)。
MTF_P_AF-NIR(f)=Aaf×f2+Baf×f+Caf (21)
MTF_P_Img(f)=Aimg×f2+Bimg×f+Cimg (7)
以这种方式,通过将F1~F4代入表达式(21)来获得图21C的离散的空间频率F1~F4中的散焦MTF峰值位置LP4_AFS、LP5_AFS、LP6_AFS和LP7_AF(均未示出)。
接着,在S207中,照相机MPU 125将图21C所示的LP4_AF~LP7_AF(或者未示出的LP4_AFS~LP7_AFS)作为峰值系数MTF_P_AF(n)(1≤n≤4)存储在镜头存储器118或RAM125b中。另外,照相机MPU 125将LP4_Img~LP7_Img作为峰值系数MTF_P_Img(n)(1≤n≤4)存储在镜头存储器118或RAM 125b中,并且进行S208~S210的处理。
如在第一实施例中所述,S210中计算出BP校正值的照相机MPU 125通过表达式(8)和(9)分别计算拍摄图像的聚焦位置(P_img)和AF(正常光AF和辅助光AF)中检测到的聚焦位置(P_AF)。拍摄图像的聚焦位置对应于第一焦点位置,并且通过正常光AF检测到的聚焦位置对应于第二焦点位置。通过辅助光AF检测到的聚焦位置对应于第三焦点位置。
照相机MPU 125通过将等式(10)中的P_AF设置为通过正常光AF检测到的聚焦位置来计算正常光AF所用的BP校正值。通过将表达式(10)中的P_AF设置为通过辅助光AF检测到的聚焦位置来计算辅助光AF所用的BP校正值。
本实施例使发射辅助光时的像差信息和焦点检测所用的加权系数相对于没有反射辅助光时的这两者改变,并且计算表示焦点检测所用的空间频率特性的MTF峰值曲线MTF_P_AF-NIR(f)。该配置在发射辅助光时可以通过使用适合于辅助光的颜色的像差信息和焦点检测信号的权重来计算BP校正值,并且高度精确地校正焦点检测结果。
第六实施例
接着,以下说明根据本发明的第六实施例。现在参考图22~24B,将说明根据本实施例的AF处理。第五实施例使用一种辅助光,并且根据是否发射辅助光来改变焦点检测所用的加权系数。然而,辅助光具有分光特性彼此不同的诸如红色、绿色、橙色、红外和白色等的各种类型的光。本实施例通过使用与各辅助光的分光特性相对应的MTF峰值曲线来校正焦点检测结果,并由此无论辅助光的类型如何都高度精确地检测焦点状态。
在图22的流程图中,作为第二实施例和第五实施例的AF处理(图10和16)中的相应步骤的那些步骤将利用相同的步骤编号来指定。图22的流程图与第五实施例的不同之处在于:在需要辅助光的情况下(S3中为“是”),使用两个类型的辅助光、即内部辅助光和外部辅助光。内部辅助光是从第一实施例中图2所示的辅助光发射器200发射的。外部辅助光是从可安装至照相机主体120的外部闪光灯单元中所设置的外部辅助光发射器发射的。在本实施例中,内部辅助光具有以绿色为中心的分光特性,并且外部辅助光具有以近红外~红色为中心的分光特性。
在S3中,判断为需要辅助光的照相机MPU 125进入S30,并且判断是否存在外部辅助光发射器或者是否可以发射外部辅助光。如果无法发射外部辅助光,则照相机MPU 125进入S31并指示内部辅助光的发光。此时,将辅助光ID设置为1。
如果可以发射外部辅助光,则照相机MPU 125进入S32并指示发射外部辅助光。然后,照相机MPU 125将辅助光ID设置为2。如在第二实施例中所述,本实施例假定外部辅助光的分光特性是已知的。然而,可以从外部闪光灯单元获取与分光特性有关的信息。照相机MPU 125可以从外部闪光灯单元获取表示分光特性的信息或者获取与外部辅助光的类型有关的信息,并且根据该信息来设置预定的辅助光ID。
在S31和S32中结束了辅助光的发射的照相机MPU 125进入S5~S7,然后在S6中为“是”的情况下进入S70,并且进行BP校正值计算处理。后面将说明BP校正值计算处理。
结束了S70的处理的照相机MPU 125进行S21、S22、S33和S24的处理,并且结束AF处理。
现在参考图23的流程图,将详细说明在S70中照相机MPU 125所进行的BP校正值计算处理。在图23中,与第二实施例(图11)和第五实施例(图20)中所示的步骤相对应的那些步骤将利用相同的步骤编号来指定。
结束了S300和S202的处理的照相机MPU 125在S301中判断辅助光ID是否为0、或者外部辅助光是否处于非发射状态。在非发射状态下流程进入S602,并且在发射状态下流程进入S302。在S302中,照相机MPU 125判断辅助光ID是否为1、或者是内部辅助光处于发射状态还是外部辅助光处于发射状态。如果内部辅助光处于发射状态,则照相机MPU 125进入S603,并且如果外部辅助光处于发射状态,则照相机MPU 125进入S701。
与第五实施例相同,在S603中,照相机MPU 125获取内部辅助光AF所用的MTF峰值曲线。照相机MPU 125使用图24A所示的内部辅助光AF所用的加权系数(K_AFLin_RH、K_AFLin_GH、K_AFLin_BH、K_AFLin_RV、K_AFLin_GV和K_AFLin_BV)。
在接下来的S604中,照相机MPU 125获取用于利用焦点检测区域的位置以及要评价的信号的颜色和对比度方向来对步骤S603所获得的像差信息进行加权的设置信息。
另一方面,在S701中,照相机MPU 125获取外部辅助光AF所用的MTF峰值曲线。此时,照相机MPU 125使用图24A所示的外部辅助光AF所用的加权系数(K_AFL_NIRH、K_AFL_RH、K_AFL_GH、K_AFL_BH、K_AFL_RV、K_AFL_GV和K_AFL_BV)。在S604中,照相机MPU 125获取用于利用焦点检测区域的位置以及要评价的信号的颜色和对比度方向来对步骤S701所获得的像差信息进行加权的设置信息。
图24B示出外部辅助光和内部辅助光的例示性MTF峰值曲线。MTF峰值曲线在图21B所示的正常光使用和图24B所示的辅助光(外部辅助光和内部辅助光)使用之间不同。辅助光使用在内部辅助光使用(MTF_P_AFin)和外部辅助光使用(MTF_P_AFout)之间不同。
根据本实施例的图像传感器122包括如图3A所示在水平方向上进行了二分割的光电转换器。因此,本实施例仅描述水平MTF峰值曲线(MTF_P_NIRH)作为近红外MTF峰值曲线。然而,本实施例不受限制,并且可以进一步使用垂直MTF峰值曲线(MTF_P_NIRV)等。本实施例说明了具有以绿色为中心的分光特性的内部辅助光和具有以近红外~红色为中心的分光特性的外部辅助光。然而,本实施例不受限制,并且可以获取与要使用的内部辅助光和外部辅助光的波长特性相对应的MTF峰值曲线。
内部辅助光的MTF峰值曲线可以预先存储在照相机中的RAM 125b中,并且外部辅助光的MTF峰值曲线可以存储在闪光灯单元中。然后,在闪光灯单元安装至照相机主体120时或者在发射外部辅助光时,照相机MPU 125可以从闪光灯单元获取MTF峰值曲线。
可以通过内部辅助光和外部辅助光来改变对应的像高。例如,由于根据本实施例的分光特性表明内部辅助光的照射范围比外部辅助光的照射范围宽,因此根据本实施例的外部辅助光的对应像高与内部辅助光的对应像高相比可能受到限制。
在发射内部辅助光和外部辅助光时,照相机MPU 125通过使用图21A所示的设置信息来计算表示焦点检测所用的空间频率特性的MTF峰值曲线MTF_P_AFin(f)和MTF_P_AFout(f)。
本实施例在使用多个类型的光作为辅助光的情况下可以针对各辅助光计算适当的BP校正值,并且进行高度精确的焦点检测。
其它实施例
还可以通过读出并执行记录在存储介质(还可被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如,一个或多个程序)以进行上述实施例中的一个或多个的功能以及/或者包括用于进行上述实施例中的一个或多个的功能的一个或多个电路(例如,专用集成电路(ASIC))的系统或设备的计算机和通过下面的方法来实现本发明的各实施例,其中,该系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多个的功能以及/或者控制该一个或多个电路以进行上述实施例中的一个或多个的功能来进行上述方法。该计算机可以包括一个或多个处理器(例如,中央处理单元(CPU)、微处理单元(MPU)),并且可以包括单独计算机或单独处理器的网络,以读出并执行计算机可执行指令。例如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算机系统的存储器、光盘(诸如致密盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)TM等)、闪速存储装置和存储卡等中的一个或多个。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。

Claims (19)

1.一种摄像设备,包括:
图像传感器,其被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像;以及
焦点检测器,其被配置为使用来自所述图像传感器的焦点检测信号来提供焦点检测,
其特征在于,所述焦点检测器进行以下操作:
通过使用第一焦点位置和第二焦点位置之间的差来校正所述焦点检测的结果,其中通过使用所述摄像光学系统的像差信息和与第一光的分光特性相对应的第一计算信息将所述第一焦点位置计算为摄像时的焦点位置,以及通过使用所述像差信息和与所述第一光的分光特性相对应的第二计算信息将所述第二焦点位置计算为所述焦点检测时的焦点位置,以及
在所述焦点检测中,在向所述被摄体发射具有与所述第一光的分光特性不同的分光特性的第二光的情况和不发射所述第二光的情况之间,改变所述第二计算信息。
2.根据权利要求1所述的摄像设备,其特征在于,所述焦点检测器根据所述第二光的分光特性来改变所述第二计算信息。
3.根据权利要求1所述的摄像设备,还包括存储器,所述存储器被配置为存储各计算信息,或者所述焦点检测器从可更换镜头所设置的存储器获取各计算信息。
4.根据权利要求1所述的摄像设备,其特征在于,各计算信息是与所述第一光或所述第二光的分光特性相对应的加权计算信息。
5.根据权利要求1所述的摄像设备,其特征在于,所述第二光的波长区域长于所述第一光的波长区域。
6.一种摄像设备,包括:
图像传感器,其被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像;以及
焦点检测器,其被配置为使用来自所述图像传感器的焦点检测信号来提供焦点检测,
其特征在于,所述焦点检测器进行以下操作:
通过使用第一焦点位置和第二焦点位置之间的差来校正所述焦点检测的结果,其中通过使用所述摄像光学系统的像差信息和与第一光的分光特性相对应的第一计算信息将所述第一焦点位置计算为摄像时的焦点位置,以及通过使用所述像差信息和与所述第一光的分光特性相对应的第二计算信息将所述第二焦点位置计算为所述焦点检测时的焦点位置,以及
在所述焦点检测中向所述被摄体发射具有与所述第一光的分光特性不同的分光特性的第二光的情况下,根据所述第二光的分光特性来改变所述第二计算信息。
7.一种摄像设备,包括:
图像传感器,其被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像;以及
焦点检测器,其被配置为使用来自所述图像传感器的焦点检测信号来提供焦点检测,
其特征在于,所述焦点检测器进行以下操作:通过使用第一焦点位置和第二焦点位置之间的差来校正所述焦点检测的结果,其中通过使用所述摄像光学系统的像差信息和与第一光的分光特性相对应的第一计算信息将所述第一焦点位置计算为摄像时的焦点位置,以及通过使用所述像差信息和与所述第一光的分光特性相对应的第二计算信息将所述第二焦点位置计算为所述焦点检测时的焦点位置,以及
在所述焦点检测中向所述被摄体发射具有与所述第一光的分光特性不同的分光特性的第二光的情况下,所述焦点检测器通过使用所述像差信息和所述第二计算信息来获取与所述第二光的分光特性相对应的第三焦点位置,并且通过使用所述第一焦点位置和所述第三焦点位置之间的差来校正所述焦点检测的结果。
8.根据权利要求7所述的摄像设备,其特征在于,在发射所述第二光的情况下,所述焦点检测器通过使用所述像差信息和所述第二计算信息的外推运算来获取所述第三焦点位置。
9.一种摄像设备,包括:
图像传感器,其被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像;以及
焦点检测器,其被配置为使用来自所述图像传感器的焦点检测信号来提供焦点检测,
其特征在于,所述焦点检测器进行以下操作:通过使用第一焦点位置和第二焦点位置之间的差来校正所述焦点检测的结果,其中通过使用所述摄像光学系统的像差信息和与第一光的分光特性相对应的第一计算信息将所述第一焦点位置计算为摄像时的焦点位置,以及通过使用所述像差信息和与所述第一光的分光特性相对应的第二计算信息将所述第二焦点位置计算为所述焦点检测时的焦点位置,以及
在所述焦点检测中向所述被摄体发射具有与所述第一光的分光特性不同的分光特性的第二光的情况下,所述焦点检测器通过使用所述第一焦点位置和第三焦点位置之间的差来校正所述焦点检测的结果,所述第三焦点位置是通过使用所述像差信息和与所述第二光的分光特性相对应的第三计算信息所计算出的。
10.一种摄像设备,包括:
图像传感器,其被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像;以及
焦点检测器,其被配置为使用来自所述图像传感器的焦点检测信号来提供焦点检测,
其特征在于,所述焦点检测器进行以下操作:通过使用第一焦点位置和第二焦点位置之间的差来校正所述焦点检测的结果,其中通过使用与第一光的分光特性相对应的所述摄像光学系统的第一像差信息和与所述第一光的分光特性相对应的第一计算信息将所述第一焦点位置计算为摄像时的焦点位置,以及通过使用所述第一像差信息和与所述第一光的分光特性相对应的第二计算信息将所述第二焦点位置计算为所述焦点检测时的焦点位置,以及
在所述焦点检测中向所述被摄体发射具有与所述第一光的分光特性不同的分光特性的第二光的情况下,所述焦点检测器通过使用所述第一焦点位置和第三焦点位置之间的差来校正所述焦点检测的结果,所述第三焦点位置是通过使用与所述第二光的分光特性相对应的所述摄像光学系统的第二像差信息以及与所述第二光的分光特性相对应的第三计算信息所计算出的。
11.根据权利要求10所述的摄像设备,其特征在于,所述第一像差信息和所述第二像差信息在波长、像差方向、摄像距离和像高中的至少一个方面彼此不同。
12.根据权利要求10所述的摄像设备,其特征在于,所述焦点检测器根据所述第二光的分光特性来改变所述第三计算信息。
13.根据权利要求1至12中任一项所述的摄像设备,其特征在于,所述焦点检测器通过使用发射所述第二光时与利用来自所述图像传感器的焦点检测信号所获得的所述被摄体的分光特性有关的第一被摄体分光信息、以及所述第二光的分光特性的信息,来获取没有发射所述第二光时的与所述被摄体的分光特性有关的第二被摄体分光信息,并且通过使用所述第二被摄体分光信息来获取所述第一计算信息。
14.一种摄像设备所用的焦点检测方法,所述摄像设备包括图像传感器,所述图像传感器被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像,所述焦点检测方法使用来自所述图像传感器的焦点检测信号来进行焦点检测,其特征在于,所述焦点检测方法包括以下步骤:
通过使用第一焦点位置和第二焦点位置之间的差来校正所述焦点检测的结果,其中通过使用所述摄像光学系统的像差信息和与第一光的分光特性相对应的第一计算信息将所述第一焦点位置计算为摄像时的焦点位置,以及通过使用所述像差信息和与所述第一光的分光特性相对应的第二计算信息将所述第二焦点位置计算为所述焦点检测时的焦点位置;以及
在所述焦点检测中,在向所述被摄体发射具有与所述第一光的分光特性不同的分光特性的第二光的情况和不发射所述第二光的情况之间,改变所述第二计算信息。
15.一种摄像设备所用的焦点检测方法,所述摄像设备包括图像传感器,所述图像传感器被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像,所述焦点检测方法使用来自所述图像传感器的焦点检测信号来进行焦点检测,其特征在于,所述焦点检测方法包括以下步骤:
通过使用第一焦点位置和第二焦点位置之间的差来校正所述焦点检测的结果,其中通过使用所述摄像光学系统的像差信息和与第一光的分光特性相对应的第一计算信息将所述第一焦点位置计算为摄像时的焦点位置,以及通过使用所述像差信息和与所述第一光的分光特性相对应的第二计算信息将所述第二焦点位置计算为所述焦点检测时的焦点位置;以及
在所述焦点检测中向所述被摄体发射具有与所述第一光的分光特性不同的分光特性的第二光的情况下,根据所述第二光的分光特性来改变所述第二计算信息。
16.一种摄像设备所用的焦点检测方法,所述摄像设备包括图像传感器,所述图像传感器被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像,所述焦点检测方法使用来自所述图像传感器的焦点检测信号来进行焦点检测,其特征在于,所述焦点检测方法包括以下步骤:
通过使用第一焦点位置和第二焦点位置之间的差来校正所述焦点检测的结果,其中通过使用所述摄像光学系统的像差信息和与第一光的分光特性相对应的第一计算信息将所述第一焦点位置计算为摄像时的焦点位置,以及通过使用所述像差信息和与所述第一光的分光特性相对应的第二计算信息将所述第二焦点位置计算为所述焦点检测时的焦点位置;以及
在所述焦点检测中向所述被摄体发射具有与所述第一光的分光特性不同的分光特性的第二光的情况下,通过使用所述像差信息和所述第二计算信息来获取与所述第二光的分光特性相对应的第三焦点位置,并且通过使用所述第一焦点位置和所述第三焦点位置之间的差来校正所述焦点检测的结果。
17.一种摄像设备所用的焦点检测方法,所述摄像设备包括图像传感器,所述图像传感器被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像,所述焦点检测方法使用来自所述图像传感器的焦点检测信号来进行焦点检测,其特征在于,所述焦点检测方法包括以下步骤:
通过使用第一焦点位置和第二焦点位置之间的差来校正所述焦点检测的结果,其中通过使用所述摄像光学系统的像差信息和与第一光的分光特性相对应的第一计算信息将所述第一焦点位置计算为摄像时的焦点位置,以及通过使用所述像差信息和与所述第一光的分光特性相对应的第二计算信息将所述第二焦点位置计算为所述焦点检测时的焦点位置;以及
在所述焦点检测中向所述被摄体发射具有与所述第一光的分光特性不同的分光特性的第二光的情况下,通过使用所述第一焦点位置和第三焦点位置之间的差来校正所述焦点检测的结果,所述第三焦点位置是通过使用所述像差信息和与所述第二光的分光特性相对应的第三计算信息所计算出的。
18.一种摄像设备所用的焦点检测方法,所述摄像设备包括图像传感器,所述图像传感器被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像,所述焦点检测方法使用来自所述图像传感器的焦点检测信号来进行焦点检测,其特征在于,所述焦点检测方法包括以下步骤:
通过使用第一焦点位置和第二焦点位置之间的差来校正所述焦点检测的结果,其中通过使用与第一光的分光特性相对应的所述摄像光学系统的第一像差信息和与所述第一光的分光特性相对应的第一计算信息将所述第一焦点位置计算为摄像时的焦点位置,以及通过使用所述第一像差信息和与所述第一光的分光特性相对应的第二计算信息将所述第二焦点位置计算为所述焦点检测时的焦点位置;以及
在所述焦点检测中向所述被摄体发射具有与所述第一光的分光特性不同的分光特性的第二光的情况下,通过使用所述第一焦点位置和第三焦点位置之间的差来校正所述焦点检测的结果,所述第三焦点位置是通过使用与所述第二光的分光特性相对应的所述摄像光学系统的第二像差信息以及与所述第二光的分光特性相对应的第三计算信息所计算出的。
19.一种存储介质,其特征在于,存储计算机程序,所述计算机程序使得摄像设备中的计算机能够执行根据权利要求14至18中任一项所述的焦点检测方法,所述摄像设备包括图像传感器,所述图像传感器被配置为拍摄由从被摄体入射到摄像光学系统的光所形成的被摄体图像。
CN201811267222.4A 2017-10-27 2018-10-29 摄像设备、焦点检测方法和存储介质 Active CN109729244B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-207731 2017-10-27
JP2017207731A JP7091053B2 (ja) 2017-10-27 2017-10-27 撮像装置および焦点検出方法

Publications (2)

Publication Number Publication Date
CN109729244A true CN109729244A (zh) 2019-05-07
CN109729244B CN109729244B (zh) 2021-01-26

Family

ID=66244561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811267222.4A Active CN109729244B (zh) 2017-10-27 2018-10-29 摄像设备、焦点检测方法和存储介质

Country Status (3)

Country Link
US (1) US10630883B2 (zh)
JP (1) JP7091053B2 (zh)
CN (1) CN109729244B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7303668B2 (ja) * 2019-06-05 2023-07-05 キヤノン株式会社 撮像装置及びその制御方法、カメラシステム、プログラム、記憶媒体
JP7204113B2 (ja) * 2019-06-27 2023-01-16 株式会社大一商会 遊技機
EP3996364A4 (en) * 2019-07-02 2022-09-07 Sony Semiconductor Solutions Corporation SOLID STATE IMAGING DEVICE, CONTROL METHOD, AND ELECTRONIC APPARATUS

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1837885A (zh) * 2005-03-25 2006-09-27 三星电子株式会社 变焦透镜
CN1910670A (zh) * 2004-03-15 2007-02-07 柯尼卡美能达精密光学株式会社 对物光学元件以及光拾取装置
CN101321295A (zh) * 2007-06-07 2008-12-10 株式会社东芝 摄像装置
CN101339335A (zh) * 2007-07-03 2009-01-07 Jds尤尼弗思公司 非蚀刻的平面偏振选择衍射光学元件
CN103197512A (zh) * 2013-04-22 2013-07-10 中国科学院上海光学精密机械研究所 光刻机投影物镜偏振像差原位检测方法
US20150227023A1 (en) * 2014-02-13 2015-08-13 Canon Kabushiki Kaisha Focus control apparatus and control method therefor
US9277201B2 (en) * 2012-03-30 2016-03-01 Fujifilm Corporation Image processing device and method, and imaging device
US9699427B2 (en) * 2013-08-01 2017-07-04 Fujifilm Corporation Imaging device, imaging method, and image processing device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4272717B2 (ja) 1997-12-17 2009-06-03 キヤノン株式会社 ビデオカメラシステム
JP2005352208A (ja) * 2004-06-10 2005-12-22 Nikon Corp 電子カメラ
JP5020651B2 (ja) * 2007-02-02 2012-09-05 キヤノン株式会社 撮像装置及び撮像システム
JP2009053568A (ja) * 2007-08-29 2009-03-12 Canon Inc 撮像装置及び撮像システム
JP6486288B2 (ja) * 2016-02-09 2019-03-20 キヤノン株式会社 撮像装置、制御方法、プログラム、記憶媒体
JP6685769B2 (ja) * 2016-02-26 2020-04-22 キヤノン株式会社 情報処理装置、撮像装置及び情報処理方法
JP6464118B2 (ja) * 2016-06-27 2019-02-06 キヤノン株式会社 焦点検出装置および方法、撮像装置、およびレンズユニット

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1910670A (zh) * 2004-03-15 2007-02-07 柯尼卡美能达精密光学株式会社 对物光学元件以及光拾取装置
CN1837885A (zh) * 2005-03-25 2006-09-27 三星电子株式会社 变焦透镜
CN101321295A (zh) * 2007-06-07 2008-12-10 株式会社东芝 摄像装置
CN101339335A (zh) * 2007-07-03 2009-01-07 Jds尤尼弗思公司 非蚀刻的平面偏振选择衍射光学元件
US9277201B2 (en) * 2012-03-30 2016-03-01 Fujifilm Corporation Image processing device and method, and imaging device
CN103197512A (zh) * 2013-04-22 2013-07-10 中国科学院上海光学精密机械研究所 光刻机投影物镜偏振像差原位检测方法
US9699427B2 (en) * 2013-08-01 2017-07-04 Fujifilm Corporation Imaging device, imaging method, and image processing device
US20150227023A1 (en) * 2014-02-13 2015-08-13 Canon Kabushiki Kaisha Focus control apparatus and control method therefor

Also Published As

Publication number Publication date
CN109729244B (zh) 2021-01-26
JP7091053B2 (ja) 2022-06-27
JP2019078965A (ja) 2019-05-23
US10630883B2 (en) 2020-04-21
US20190132508A1 (en) 2019-05-02

Similar Documents

Publication Publication Date Title
CN105049702B (zh) 焦点调节装置及其控制方法和摄像设备
CN102422630B (zh) 摄像设备
US7863550B2 (en) Focus detection device and focus detection method based upon center position of gravity information of a pair of light fluxes
US7873267B2 (en) Focus detection device, focusing state detection method and imaging apparatus
CN102713713B (zh) 焦点调节设备和焦点调节方法
US9503616B2 (en) Image capturing apparatus
CN102652432B (zh) 图像处理设备、图像处理方法
CN105430257B (zh) 控制设备和控制方法
CN105578033B (zh) 图像捕获装置及图像捕获装置的控制方法
CN103152520B (zh) 图像捕获设备和方法
JP5157400B2 (ja) 撮像装置
CN105323441B (zh) 摄像设备和摄像设备的控制方法
US10455142B2 (en) Focus detection apparatus and method, and image capturing apparatus
CN104125394B (zh) 摄像装置及其控制方法
JPWO2005081020A1 (ja) 光学機器およびビームスプリッター
CN104184940A (zh) 控制设备、摄像系统和控制方法
CN103563366A (zh) 图像拾取装置、图像拾取设备、图像处理方法、光圈控制方法及程序
CN104285173A (zh) 焦点检测装置
CN108886571B (zh) 具有改善的自动对焦性能的成像设备
CN109729244A (zh) 摄像设备、焦点检测方法和存储介质
CN106060344A (zh) 摄像设备及其控制方法
JP6336337B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2018021971A (ja) 焦点検出方法および撮像装置
CN106412419A (zh) 摄像设备及其控制方法
JP6395790B2 (ja) 撮像装置、撮像装置の制御方法およびフォーカス制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant