CN102422196A - 焦点检测设备 - Google Patents

焦点检测设备 Download PDF

Info

Publication number
CN102422196A
CN102422196A CN2010800212946A CN201080021294A CN102422196A CN 102422196 A CN102422196 A CN 102422196A CN 2010800212946 A CN2010800212946 A CN 2010800212946A CN 201080021294 A CN201080021294 A CN 201080021294A CN 102422196 A CN102422196 A CN 102422196A
Authority
CN
China
Prior art keywords
image
focus detection
pixel
subject image
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800212946A
Other languages
English (en)
Other versions
CN102422196B (zh
Inventor
山本英明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102422196A publication Critical patent/CN102422196A/zh
Application granted granted Critical
Publication of CN102422196B publication Critical patent/CN102422196B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/285Systems for automatic generation of focusing signals including two or more different focus detection devices, e.g. both an active and a passive focus detecting device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/365Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image

Abstract

一种焦点检测设备包括:光电转换部件,包括第一像素组和第二像素组,第一像素组用于接收通过形成被摄体的图像的图像形成光学系统的第一光瞳区域的光束,第二像素组用于接收通过图像形成光学系统的第二光瞳区域的光束;焦点检测部件,用于基于第一像素组所生成的第一被摄体图像和第二像素组所生成的第二被摄体图像来检测图像形成光学系统的焦点状态;校正计算器,用于基于焦点检测部件的输出对第一被摄体图像和第二被摄体图像进行校正计算;以及判断部件,用于基于焦点检测部件的输出来判断是否再次进行校正计算。

Description

焦点检测设备
技术领域
本发明涉及摄像设备中的焦点检测技术。
背景技术
作为检测摄像镜头的焦点状态的一种方式,日本特开昭58-24105(以下称为“专利文献1”)公开了使用二维传感器来进行光瞳分割方式的焦点检测的设备,二维传感器具有各自形成有微透镜的像素。专利文献1中的设备被配置以使得将构成传感器的各像素中的光电转换单元分割成多个光电转换单元,该多个光电转换单元经由微透镜接收摄像镜头的光瞳的不同区域的光束。
而且,日本专利2959142(以下称为“专利文献2”)公开了一种固态图像传感器,其用作图像传感器和焦点检测器,并具有二维像素阵列,在该二维像素阵列中,微透镜和光电转换单元之间的相对位置相互偏移。专利文献2中说明的固态图像传感器基于通过在微透镜和光电转换单元之间具有不同相对偏移方向的像素阵列所生成的图像,检测摄像镜头的焦点状态。另一方面,该传感器通过将在微透镜和光电转换单元之间具有不同相对偏移方向的像素相加来拍摄通常的图像。
而且,本发明的申请人提交了日本特开2005-106994(以下称为“专利文献3”),日本特开2005-106994公开了使用在数字静态照相机中采用的CMOS图像传感器(固态图像传感器)进行光瞳分割方式的焦点检测的固态图像传感器。专利文献3中的固态图像传感器被配置以使得构成固态图像传感器的许多像素中的一部分像素各自包括分割成两部分的光电转换单元,以检测摄像镜头的焦点状态。光电转换单元被配置为经由微透镜接收摄像镜头的光瞳的预定区域中的光。
图20是位于专利文献3公开的固态图像传感器的中心并进行焦点检测的像素所接收到的光的分布的说明图。图20示出摄像镜头的光瞳上的区域,其中,分割后的两个光电转换单元可以分别接收光。图20中的圆圈内的阴影区域表示摄像镜头的出射光瞳,并且非阴影区域Sα和Sβ表示分割后的两个光电转换单元可以分别接收光的区域。通常将区域Sα和Sβ设置为关于摄像镜头的光轴(图20中x轴和y轴之间的交点)对称。
照相机在利用透过摄像镜头的光瞳上的区域Sα的光束所生成的图像和利用透过摄像镜头的光瞳上的区域Sβ的光束所生成的图像之间进行相关计算,从而检测摄像镜头的焦点状态。日本特开平5-127074(以下称为“专利文献4”)公开了一种利用透过摄像镜头的不同光瞳区域的光束所生成的图像之间的相关计算来进行焦点检测的方法。专利文献4还公开了以下技术:根据开口比、出射光瞳位置和图像偏移量使照相机中存储的特定滤波器变形,使变形后的滤波器适应被摄体图像,并检测图像形成状态。
不仅可以针对位于摄像窗中心的被摄体、还可以针对通常位于摄像窗周边的被摄体来检测焦点状态。然而,通常由例如摄像窗周边的摄像镜头的框引起光束的渐晕。当该情况发生时,摄像镜头的光瞳上的区域Sα和Sβ变得不对称。因此,透过摄像镜头的光瞳上的区域Sα的光束所生成的图像与透过摄像镜头的光瞳上的区域Sβ的光束所生成的图像具有低的一致度。结果,专利文献1~3中公开的技术具有以下缺点:即使基于透过摄像镜头的光瞳上的区域Sα的光束所生成的图像和透过摄像镜头的光瞳上的区域Sβ的光束所生成的图像进行相关计算,也不能进行高精度的焦点检测。
而且,专利文献4中公开的技术具有以下缺点:仅仅通过根据上述条件使照相机中存储的特定滤波器变形,不能进行与渐晕相对应的图像校正。
发明内容
考虑到上述问题做出本发明,本发明能更精确地进行摄像设备中的焦点检测。
根据本发明,提供一种焦点检测设备,包括:光电转换部件,包括第一像素组和第二像素组,所述第一像素组用于接收穿过用于形成被摄体图像的图像形成光学系统的第一光瞳区域的光束,所述第二像素组用于接收穿过所述图像形成光学系统的第二光瞳区域的光束;焦点检测部件,用于基于所述第一像素组所生成的第一被摄体图像和所述第二像素组所生成的第二被摄体图像来检测所述图像形成光学系统的焦点状态;校正计算器,用于基于所述焦点检测部件的输出对所述第一被摄体图像和所述第二被摄体图像进行校正计算;以及判断部件,用于基于所述焦点检测部件的输出,判断是否再次进行所述校正计算。
根据本发明,还提供一种焦点检测设备,包括:图像形成光学系统,用于形成被摄体的图像;光电转换部件,包括第一像素组和第二像素组,所述第一像素组用于接收穿过所述图像形成光学系统的第一光瞳区域的光束,所述第二像素组用于接收穿过所述图像形成光学系统的第二光瞳区域的光束;焦点检测部件,用于检测所述图像形成光学系统的焦点状态;校正计算器,用于基于所述焦点检测部件的输出,对所述光电转换部件的第一像素组所生成的第一被摄体图像和所述光电转换部件的第二像素组所生成的第二被摄体图像进行校正计算;信号处理选择部件,用于基于被摄体图像的输出,从具有不同特性的多种信号处理中选择最优信号处理;信号处理部件,用于对被摄体图像进行所述信号处理选择部件所选择的信号处理;以及判断部件,用于基于所述焦点检测部件的输出来判断是否再次进行所述校正计算,其中,在所述判断部件判断为不再次进行所述校正计算之前,基于所述校正计算前的信号来选择信号处理。
通过以下参考附图对典型实施例的说明,本发明的其它特征将变得明显。
附图说明
图1是示出根据第一实施例的照相机的结构的框图;
图2是示出摄像元件的示意电路结构的电路图;
图3是示出摄像元件的像素部的截面图;
图4是示出摄像元件的驱动定时的时序图;
图5A和5B是摄像元件的摄像像素的平面图和截面图;
图6A和6B是用于在摄像镜头的水平方向(横向方向)上的光瞳分割的焦点检测像素的平面图和截面图;
图7A和7B是用于在摄像镜头的垂直方向(纵向方向)上的光瞳分割的焦点检测像素的平面图和截面图;
图8是用于概念性说明摄像元件的光瞳分割状况的图;
图9是用于说明焦点检测时所获取的图像和焦点检测区域的图;
图10A~10C是表示在摄像元件的中心处的焦点检测像素的入射角特性的示意图;
图11A和11B是用于说明光束的渐晕的图;
图12A和12B是示出光瞳面Me上的光瞳区域的图;
图13A和13B是示出焦点检测像素的光瞳强度分布的图;
图14A~14C是示出在摄像元件中心处的焦点检测像素的光瞳面Me上的渐晕的图;
图15A~15C是示出在具有离摄像元件的中心的给定图像高度的位置处的像素的光瞳面Me上的渐晕的图;
图16A~16G是用于说明消除被摄体图像的非对称性的滤波处理的概念图;
图17是示出焦点检测操作的流程图;
图18是示出渐晕校正操作的流程图;
图19A和19B是表示入射到摄像元件的光束的图;
图20是固态图像传感器的说明图;
图21是焦点检测序列的流程图;以及
图22是相关计算序列的流程图。
具体实施方式
第一实施例
图1是示出用作根据本发明第一实施例的包括焦点检测设备的摄像设备的照相机的结构的框图。参考图1,附图标记101表示位于摄像光学系统(图像形成光学系统)的前端的第一透镜组。第一透镜组101被保持为在光轴方向上可伸缩。附图标记102表示光圈/快门,其不仅通过调节其开口大小来调节摄像期间的光量,还在静止摄像期间用作摄像曝光时间调节快门。附图标记103表示第二透镜组。光圈/快门102和第二透镜组103在光轴方向上一起向前/向后移动,并与第一透镜组101的向前/向后移动操作连动来提供变倍功能(变焦功能)。附图标记105表示在光轴方向上向前/向后移动来进行焦点调节的第三透镜组。附图标记106表示用作用于减少所拍摄图像中的任意伪色和波纹的光学元件的光学低通滤波器。附图标记107表示摄像元件,其用作光电转换部件并包括CMOS传感器及其周边电路。摄像元件107是二维单板颜色传感器,其中,在m(列)×n(行)的光接收像素上,以拜耳阵列形成片上原色马赛克滤波器。
附图标记111表示变焦致动器,用于通过枢转凸轮筒(未示出)在光轴方向上向前/向后驱动第一透镜组101至第三透镜组105以进行变倍操作。附图标记112表示光圈/快门致动器,其控制光圈/快门102的开口大小以调节拍摄光量,并控制静止摄像期间的曝光时间。附图标记114表示用于在光轴方向上向前/向后驱动第三透镜组105以进行焦点调节的调焦致动器。附图标记115表示在摄像期间用于被摄体照明的电子闪光灯。电子闪光灯115优选为使用氙管的闪光照明装置,但可以是包括持续发光的LED的照明装置。附图标记116表示AF辅助光发射器,其经由投影透镜将具有预定开口图案的掩模的图像投影到被摄体上,以提高针对暗的被摄体或低对比度被摄体的焦点检测能力。
附图标记121表示进行照相机本体的各种控制并内置在照相机中的CPU。CPU 121包括例如算术运算单元、ROM、RAM、A/D转换器、D/A转换器和通信接口电路。基于ROM中存储的预定程序,CPU 121驱动照相机的各种电路以进行诸如AF(自动调焦)、摄像、图像处理和图像记录等的一系列操作。附图标记122表示电子闪光灯控制电路,用于与摄像操作同步地控制电子闪光灯115的开启/关闭。附图标记123表示辅助光驱动电路,用于与焦点检测操作同步地控制AF辅助光发射器116的开启/关闭。附图标记124表示摄像元件驱动电路,用于控制摄像元件107的摄像操作,对所获得的图像信号进行A/D转换,并将转换后的信号发送至CPU 121。附图标记125表示对摄像元件107所获取的图像进行诸如γ转换、颜色插值和JPEG压缩等的处理的图像处理电路。
附图标记126表示调焦驱动电路,用于基于焦点检测结果来控制调焦致动器114的驱动并驱动第三透镜组105在光轴方向上向前/向后以进行焦点调节。附图标记128表示光圈/快门驱动电路,用于控制光圈/快门致动器112的驱动以控制光圈/快门102的开口。附图标记129表示变焦驱动电路,用于根据拍摄者的变焦操作来驱动变焦致动器111。附图标记131表示诸如LCD等的显示装置,用于显示例如与照相机的摄像模式有关的信息、摄像前的预览图像、摄像之后的验证图像和焦点检测时的焦点状态显示图像。附图标记132表示操作开关组,包括例如电源开关、释放(摄像触发器)开关、变焦操作开关和摄像模式选择开关。附图标记133表示记录所拍摄图像的可拆卸闪速存储器。
图2是示出根据本发明第一实施例的摄像元件的示意电路结构的电路图,并且其优选示例是在本发明的申请人提交的日本特开平09-046596中公开的技术。图2示出二维CMOS区域传感器中的2×4个像素的范围。然而,当使用该传感器作为摄像元件时,可以通过配置大量如图2所示的像素来获取高分辨率图像。将假定以下的情况来说明该实施例,其中,所使用的摄像元件具有2μm的像素间隔、3000×2000=6000000个有效像素,并且摄像窗具有6mm(水平)×4mm(垂直)的大小。
参考图2,附图标记1表示包括MOS晶体管栅极和栅极下的耗尽层的光电转换元件的光电转换单元;附图标记2表示光栅;附图标记3表示传送开关MOS晶体管;附图标记4表示复位MOS晶体管;以及附图标记5表示源极跟随器放大器MOS晶体管。附图标记6表示水平选择开关MOS晶体管;附图标记7表示源极跟随器负载MOS晶体管;附图标记8表示暗输出传送MOS晶体管;附图标记9表示明输出传送MOS晶体管;附图标记10表示暗输出存储电容器CTN;以及附图标记11表示明输出存储电容器CTS。附图标记12表示水平传送MOS晶体管;附图标记13表示水平输出线复位MOS晶体管;附图标记14表示差分输出放大器;附图标记15表示水平扫描电路;以及附图标记16表示垂直扫描电路。
图3是示出本实施例中的摄像元件的像素部的截面图。参考图3,附图标记17表示P型阱,附图标记18表示栅极氧化膜,附图标记19表示第一多晶硅层,附图标记20表示第二多晶硅层,以及附图标记21表示n+浮动扩散部(FD部)。经由其它传送MOS晶体管将FD部21连接至其它光电转换单元。尽管两个传送开关MOS晶体管3的漏极共用图3中的FD部21以小型化并通过减少FD部21的容量来提高灵敏度,但FD部21可以通过A1互连来相互连接。
接着将参考图4所示的时序图来说明摄像元件的操作。该时序图应用于进行来自所有像素的独立输出的情况。首先,响应于来自垂直扫描电路16的定时输出,将控制脉冲φL设置为高以复位垂直输出线。而且,将控制脉冲φR0、φPG00和φPGe0设置为高以接通复位MOS晶体管4,并且将光栅2的第一多晶硅层19的电势设置为高。在时刻T0,将控制脉冲φS0设置为高以接通水平选择开关MOS晶体管6,并选择第一行和第二行中的像素部。接着,将控制脉冲φR0改变为低以取消FD部21的复位,所以将FD部21设置为浮动状态,并建立源极跟随器放大器MOS晶体管5的栅极至源极路径。之后,在时刻T1,将控制脉冲φTN设置为高。通过源极跟随器操作将FD部21的暗电压输出至暗输出存储电容CTN 10。
针对第一行中的像素的光电转换输出,将第一行中的控制脉冲φTX00设置为高以使传送开关MOS晶体管3通电。之后,在时刻T2,将控制脉冲φPG00改变为低。此时,优选提高在光栅2下延伸的电势阱,以生成用于将所有发光载体传送至FD部21的电压。为此,可以采用固定电势来代替控制脉冲φTX,只要可以传送所有发光载体即可。
随着在时刻T2将电荷从光电二极管的光电转换单元1传送至FD部21,FD部21的电势根据光的特性而改变。此时,因为源极跟随器放大器MOS晶体管5处于浮动状态,因而在时刻T3将控制脉冲φTS设置为高以将FD部21的电势输出至存储电容器CTS 11。此时,将第一行中的像素的暗输出和明输出分别存储在存储电容器CTN 10和CTS 11中。在时刻T4,将控制脉冲φHC临时设置为高以对水平输出线复位MOS晶体管13通电,从而复位水平输出线。在水平传送期间,根据来自水平扫描电路15的扫描定时信号将像素的暗输出和明输出传送至水平输出线。此时,可以通过由差分输出放大器14生成存储电容器CTN 10和CTS 11之间的差分输出VOUT来获得去除了像素中的任何随机噪声和固定图案噪声因而具有高S/N比的信号。与将像素30-11和30-21的光电荷分别存储在存储电容器CTN 10和CTS 11中这一操作同时地将像素30-12和30-22的光电荷分别存储在存储电容器CTN10和CTS 11中。通过将来自水平扫描电路15的定时脉冲延迟一个像素将光电荷读出至水平输出线,并从差分输出放大器14输出光电荷。尽管在本实施例中示出在芯片内生成差分输出VOUT的结构,但可以通过在外部使用传统的CDS(相关双采样)电路来代替在芯片内生成差分输出VOUT,以获得相同的效果。
在将明输出传送至存储电容器CTS 11之后,将控制脉冲φR0改变为高以对复位MOS晶体管4通电,从而将FD部21复位至电源VDD。在完成第一行中的水平传送之后,读出第二行。通过以下方式来读出第二行:以相同的方式驱动控制脉冲φTXe0和φPGe0,供给高控制脉冲φTN和φTS,将光电荷分别存储在存储电容器CTN 10和CTS 11中,并提取暗输出和明输出。上述驱动允许第一行和第二行的独立读出。之后,可以通过扫描垂直扫描电路并读出第(2n+1)和(2n+2)行(n=1,2,…)来进行所有像素的独立输出。即,当n=1时,将控制脉冲φS1设置为高,将控制脉冲φR1设置为低,将控制脉冲φTN和φTX01设置为高,将控制脉冲φPG01设置为低,将控制脉冲φTS设置为高,并将控制脉冲φHC临时设置为高,从而读出像素30-31和30-32的像素信号。随后,以与上述相同的方式施加控制脉冲φTXe1和φPGe1以及其它控制脉冲来读出像素30-41和30-42的像素信号。
图5A~7B是用于说明摄像像素和焦点检测像素的结构的图。在本实施例中采用如下的拜耳阵列,其中,在2×2=4个像素中,在两个对角单元中配置具有G(绿色)光谱灵敏度的两个像素,并在其它两个单元中配置分别具有R(红色)和B(蓝色)光谱灵敏度的两个像素。根据预定规则在拜耳阵列中分布有具有后述的结构的焦点检测像素。
图5A和5B是摄像像素的平面图和截面图。图5A是示出位于摄像元件的中心的2×2个摄像像素的平面图。如已知的,在拜耳阵列中,在对角方向上的两个单元中配置两个G像素,在其它两个单元中配置R像素和B像素。在拜耳阵列中重复配置这种2行×2列的结构。图5B示出图5A中的截面A-A。附图标记ML表示位于各像素的最前面的片上微透镜,附图标记CFR表示R(红色)滤波器,以及附图标记CFG表示G(绿色)滤波器。附图标记PD表示参考图3所说明的CMOS传感器的光电转换单元的示意外观,附图标记CL表示用于形成在CMOS传感器内传送各种信号的信号线的互连层,以及附图标记TL表示摄像光学系统的示意外观。
摄像像素的片上微透镜ML和光电转换单元PD被配置为尽可能有效地捕获通过摄像光学系统TL的光束。换句话说,光电转换单元PD和摄像光学系统TL的出射光瞳EP被设置为通过微透镜ML相互共轭,并且光电转换单元被设计为具有大的有效面积。尽管图5B中例示出R像素上的入射光束,但G像素和B(蓝色)像素具有相同的结构。因此,由于与R、G、B摄像像素中的各摄像像素相对应的出射光瞳EP具有大的直径,因而来自被摄体的光束被有效捕获,由此提高了图像信号的S/N比。
图6A和6B是用于在摄像镜头的x方向上的光瞳分割的焦点检测像素的平面图和截面图。图6A是示出包括位于摄像元件中心的焦点检测像素的2×2个像素的平面图。当获得摄像信号时,G像素用作亮度信息的主要成分。人对作为图像识别特性的亮度信息敏感,因而我们可能在G像素具有缺陷的情况下识别出图像质量的劣化。相反,人对由R或B像素接收到的颜色信息不敏感,因而即使在接收到颜色信息的像素具有小缺陷的情况下,我们也不太可能识别出图像质量的劣化。在这种情况下,在本实施例中的2×2个像素中,G像素继续用作摄像像素,并且在与R和B像素相对应的位置处以特定比率配置焦点检测像素。参考图6A,附图标记SHA和SHB表示这些焦点检测像素。
图6B示出图6A中的截面B-B。微透镜ML和光电转换单元PD具有与图5B所示的摄像像素相同的结构。在本实施例中,来自焦点检测像素的信号不用于图像形成,因而采用透明膜CFW(白色)来代替用于颜色分离的颜色滤波器。而且,摄像元件进行光瞳分割,因而互连层CL的开口部相对于微透镜ML的中心线在x方向上偏离。更具体地,像素SHA(第一像素组)的开口部OPHA在-x方向上偏离,因而开口部OPHA接收穿过左侧的摄像镜头TL的出射光瞳EPHA(第一光瞳区域)的光束。同样,像素SHB(第二像素组)的开口部OPHB在+x方向上偏离,因而开口部OPHB接收穿过右侧的摄像镜头TL的出射光瞳EPHB(第二光瞳区域)的光束。因而,在x方向上规则地排列像素SHA,并将排列的像素组所获取的被摄体图像定义为图像A(第一被摄体图像),并且还在x方向上规则地排列像素SHB,并将排列的像素组所获取的被摄体图像定义为图像B(第二被摄体图像)。然后,可以通过检测图像A和B之间的相对位置来检测被摄体图像的聚焦偏移量(散焦量和焦点状态)。
上述像素SHA和SHB可以针对在摄像窗中的x方向上具有亮度分布的被摄体、例如y方向上的线来检测焦点,但不能针对具有y方向上的亮度分布的x方向上的线来检测焦点。为了克服这一点,在本实施例中,也使用在y方向上进行摄像镜头的光瞳分割的像素,以针对具有y方向上的亮度分布的x方向上的线检测焦点。
图7A和7B是用于摄像镜头在图7A和7B的y方向上的光瞳分割的焦点检测像素的平面图和截面图。图7A是示出包括位于摄像元件中心的焦点检测像素的2×2个像素的平面图。如在图6A的情况那样,G像素继续用作摄像像素,并且在与R和B像素相对应的位置处以特定比率配置焦点检测像素。参考图7A,附图标记SVC和SVD表示这些焦点检测像素。
图7B示出图7A中的截面C-C。除了图7B中所示的像素在y方向上进行光瞳分割、而图6B中所示的像素在x方向上进行光瞳分割以外,图7B中所示的像素与图6B中所示的像素具有相同的结构。即,像素SVC的开口部OPVC在-y方向上偏离,因而开口部OPVC接收穿过摄像镜头TL在+y方向上的出射光瞳EPVC的光束。同样,像素SVD的开口部OPVD在+y方向上偏离,因而开口部OPVD接收穿过摄像镜头TL在-y方向上的出射光瞳EPVD的光束。因此,在y方向上规则地排列像素SVC,并将所排列的像素组所获取的被摄体图像定义为图像C,并且,还在y方向上规则地排列像素SVD,并将所排列的像素组所获取的被摄体图像定义为图像D。然后,可以通过检测图像C和D之间的相对位置,检测在y方向上具有亮度分布的被摄体图像的聚焦偏移量(散焦量)。
图8是用于概念性说明本实施例中的摄像元件的光瞳分割状态的图。附图标记TL表示摄像镜头,附图标记107表示摄像元件,附图标记OBJ表示被摄体,以及附图标记IMG表示被摄体图像。如参考图5A和5B中的摄像像素的平面图和截面图所说明的,摄像像素接收穿过摄像镜头的出射光瞳EP的整个区域的光束。另一方面,如参考图6A和6B中用于x方向上的光瞳分割的焦点检测像素的平面图和截面图以及图7A和7B中用于y方向上的光瞳分割的焦点检测像素的平面图和截面图所说明的,焦点检测像素具有光瞳分割功能。更具体地,图6A和6B所示的像素SHA接收穿过+x方向一侧上的光瞳的光束,换句话说,穿过图8所示的出射光瞳EPHA的光束。同样,像素SHB、SVC和SVD分别接收穿过出射光瞳EPHB、EPVC和EPVD的光束。在摄像元件107的整个区域上分布焦点检测像素使得能够在整个摄像区域上进行焦点检测。
图9是用于说明焦点检测时所获取的图像和焦点检测区域的图。参考图9,在摄像面上形成的被摄体图像在中心处记录有人,在左侧记录有近景的树木,并且在右侧记录有远景的山脉。在本实施例中,在整个摄像区域上以均匀的密度配置用于x方向的偏移检测的像素对SHA和SHB以及用于y方向的偏移检测的像素对SVC和SVD作为焦点检测像素。在x方向的偏移检测中,从在x方向的偏移检测中使用的像素对SHA和SHB所获得的图像信号对用作用于相位差计算的AF像素信号。而且,在y方向的偏移检测中,从在y方向的偏移检测中使用的像素对SVC和SVD所获得的图像信号对用作用于相位差计算的AF像素信号。这使得可以在摄像区域的任意位置处设置用于x方向和y方向的偏移检测的测距区域。
参考图9,人的面部现在位于窗的中心。在这种情况下,当通过已知的面部识别技术检测到面部的存在时,假定面部区域作为中心来设置用于x方向的偏移检测的焦点检测区域AFARh(x1,y1)和用于y方向的偏移检测的焦点检测区域AFARv(x3,y3)。注意,后缀h表示x方向,后缀v表示y方向,并且(x1,y1)和(x3,y3)表示焦点检测区域的左上角的坐标。附图标记AFSIGh(A1)表示通过在30个区间上连接在各区间中所包括的用于x方向的偏移检测的焦点检测像素SHA而获得的、用于相位差检测的图像A信号。附图标记AFSIGh(B1)表示通过在30个区间上连接在各区间中所包括的用于x方向的偏移检测的焦点检测像素SHB而获得的、用于相位差检测的图像B信号。可以通过已知的相关计算来计算图像A信号AFSIGh(A1)和图像B信号AFSIGh(B1)之间在x方向上的相对偏移量,以获得摄像镜头的聚焦偏移量(散焦量)。以相同的方式获得焦点检测区域AFARv(x3,y3)中的聚焦偏移量。仅需要将在用于x和y方向的偏移的焦点检测区域中检测到的两个聚焦偏移量进行比较,并采用具有较高可靠性的值。
相反,窗左侧的树木的主干具有y方向上的主要成分,换句话说,在x方向上具有亮度分布,因此被判断为适用x方向的偏移检测的被摄体。针对该被摄体设置用于x方向的偏移检测的焦点检测区域AFARh(x2,y2)。而且,山脉的脊线具有x方向上的主要成分,换句话说,在y方向上具有亮度分布,因此被判断为适用y方向的偏移检测的被摄体。针对该被摄体设置用于y方向的偏移检测的焦点检测区域AFARv(x4,y4)。
如上所述,在本实施例中,可以在窗中的任意位置处设置用于x方向和y方向的偏移检测的焦点检测区域。这使得通常可以在不考虑被摄体的投影位置和亮度分布的方向性的情况下进行焦点检测。注意,由于除了方向以外、x方向和y方向的偏移检测的原理相同,因而以下将仅说明x方向的偏移检测,并且将不说明y方向的偏移检测。
图10A~10C是表示摄像元件的中心处的焦点检测像素的入射角特性的示意图。图10A示出像素SHA的特性,并且图10B示出像素SHB的特性。图10A和10B中的x轴和y轴分别表示像素的x方向和y方向上的入射角。参考图10A~10C,较暗的颜色表示所接收到的光的较高强度。为了便于说明,通过图6A和6B中的附图标记EPHA和EPHB分别表示像素SHA的出射光瞳和像素SHB的出射光瞳。然而,如图10A~10C所示,在实际中,为了提高S/N比、或者由于开口部OPHA和OPHB的衍射的影响,像素SHA的出射光瞳和像素SHB的出射光瞳具有部分重叠的区域。图10C是表示焦点检测像素的一维入射角特性的图。在图10C中,横轴表示入射角,纵轴表示图10A和10B中的θy方向上的光接收灵敏度的和,并且原点表示光轴。如图10C所示,用作摄像元件的中心处的焦点检测像素的像素SHA和像素SHB的入射角特性关于光轴大致对称。
图11A和11B是用于说明光束的渐晕的图。图11A示出入射到摄像元件的中心处的像素的光束,并且图11B示出入射到离摄像元件的中心给定图像高度的位置处的像素的光束。摄像元件接收由诸如摄像镜头的镜头保持框和光圈/快门102等的一些构成构件所限制的光束。为了便于解释,以下说明假定两个构件限制所有图像高度处的光束。附图标记Iw1和Iw2表示用作限制光束的构件的窗口,并且光束通过这些窗口Iw1和Iw2。附图标记Me表示利用微透镜ML的配置所设置的光瞳面。
将参考图11A说明入射到摄像元件中心处的像素的光束的渐晕。附图标记L1rc和L1lc表示从窗口Iw1射出的光束的外周部分,其中附图标记L1rc与图11A中右端相对应,并且附图标记L1lc与图11A中左端相对应。附图标记L2rc和L2lc表示从窗口Iw2射出并被投影到微透镜ML的光瞳位置的光束的外周部分,其中附图标记L2rc与图11A中的右端相对应,并且附图标记L2lc与图11A中的左端相对应。如图11A所示,在入射到摄像元件中心处的像素的光束的光瞳面Me上的光瞳区域与具有外周部分L2lc和L2rc的光束相对应,换句话说,由双向箭头Area1表示。
接着将参考图11B说明入射到离摄像元件的中心给定图像高度的位置处的像素的光束的渐晕。附图标记L1rh和 1lh表示从窗口Iw1射出的光束的外周部分,其中附图标记L1rh与图11B中的右端相对应,并且附图标记L1lh与图11B中的左端相对应。附图标记L2rh和L2lh表示从窗口Iw2射出并被投影到微透镜ML的光瞳位置的光束的外周部分,其中附图标记L2rh与图11B中的右端相对应,并且附图标记L2lh与图11B中的左端相对应。如图11B所示,在入射到离摄像元件中心给定图像高度的位置处的像素的光束的光瞳面Me上的光瞳区域与具有外周部分L1lh和L2rh的光束相对应,换句话说,由双向箭头Area2表示。
图12A和12B是示出光瞳面Me上的光瞳区域的图。图12A示出摄像元件的中心处的像素的光瞳区域,并且图12B示出离摄像元件的中心给定图像高度的位置处的像素的光瞳区域。如参考图11A和11B所说明的,摄像元件的中心处的像素接收仅由单一窗口Iw2所限制的光束,因而如图12A所示,将窗口Iw2的形状直接投影到光瞳区域Area1。因为限制光束的窗口是圆形,因此光瞳区域Area1也是圆形。相反,在离摄像元件中心给定图像高度的位置处的像素接收由窗口Iw1和Iw2所限制的光束,所以光瞳区域Area2具有如图12B所示的形状。
图13A和13B是示出焦点检测像素的光瞳强度分布的图。这些光瞳强度分布等同于通过将图10A~10C所示的摄像元件中心处的焦点检测像素的入射角特性投影至微透镜ML的光瞳而获得的分布。图13A和13B中的横轴和纵轴表示光瞳上的坐标。这些光瞳强度分布在离摄像元件的中心给定图像高度的位置处的像素中具有相同特性。这是因为,将离摄像元件的中心给定图像高度的位置处的像素中的微透镜ML制造得偏心,以使得光轴中心穿过微透镜ML的光瞳的中心。
图14A~14C是示出在摄像元件中心处的焦点检测像素的光瞳面Me上的渐晕的图。图14A示出像素SHA的特性,以及图14B示出像素SHB的特性。图14A~14C是通过将图12A所示的图以及图13A和13B所示的图相互重叠而获得的图。在附图标记Area1表示的形状内透过的光束以图14A~14C所示的光瞳强度分布入射到像素SHA和SHB。图14C是表示在摄像元件中心处的焦点检测像素的光瞳面Me上的入射光束的二维光瞳强度分布的图。在图14C中,横轴表示光瞳面Me上的x方向上的坐标,以及纵轴表示在各坐标处的强度。在各坐标处的强度是图14A和14B中y方向上的光瞳强度的和。附图标记EsdAc和EsdBc表示在像素SHA和SHB的光瞳面Me上的入射光束的光瞳强度分布。如图14C所示,在像素SHA和SHB的光瞳面Me上的光瞳强度分布左右对称。因为渐晕后的形状也左右对称,因此在像素SHA和SHB的光瞳面Me上的入射光束的光瞳强度分布EsdAc和EsdBc也左右对称。
图15A~15C是示出在离摄像元件的中心给定图像高度的位置处的像素的光瞳面Me上的渐晕的图。图15A示出像素SHA的特性,以及图15B示出像素SHB的特性。图15A~15C是通过将图12B所示的图以及图13A和13B所示的图相互重叠而获得的图。在附图标记Area2表示的形状内透过的光束以图15A~15C所示的光瞳强度分布入射到像素SHA和SHB。图15C是表示在离摄像元件的中心给定图像高度的位置处的焦点检测像素的光瞳面Me上的入射光束的二维光瞳强度分布的图。在图15C中,横轴表示光瞳面Me上的x方向上的坐标,以及纵轴表示在各坐标处的强度。在各坐标处的强度是图15A和15B中y方向上的光瞳强度的和。参考图15C,附图标记EsdAh和EsdBh表示在像素SHA和SHB的光瞳面Me上的入射光束的光瞳强度分布。像素SHA和SHB的光瞳面Me上的光瞳强度分布左右对称。然而,因为渐晕后的形状左右不对称,因此在像素SHA和SHB的光瞳面Me上的入射光束的光瞳强度分布EsdAh和EsdBh也不左右对称。
如之前所述,通过检测在x方向上规则排列像素SHA的像素组所获取的被摄体图像A和在x方向上规则排列像素SHB的像素组所获取的被摄体图像B之间的相对位置,检测被摄体图像的聚焦偏移量(散焦量)。
使f(x,y)为被摄体的光量分布,并且使g(x,y)为被摄体图像的光量分布,以下关系(卷积积分)成立:
g ( x , y ) = ∫ - ∞ ∞ ∫ - ∞ ∞ f ( x - a , y - b ) h ( a , b ) dadb . . . ( 1 )
其中,h(x,y)是描述图像形成系统中被摄体劣化的状态的传输函数,并且被称为点分布函数。因此,我们需要知道用于确定焦点检测中使用的被摄体图像对的点分布函数。在相位差方式的焦点检测中,由于检测被摄体图像对在一维方向上的相位偏移,因而可以使用代替点分布函数的用作一维函数的线分布函数来评价与焦点检测相关联的图像系统。考虑到这个问题,当以f(x)来代替被摄体的光量分布,并且以g(x)来代替被摄体图像的光量分布时,可以将等式(1)重写为:
g ( x ) = ∫ - ∞ ∞ f ( x - a ) L ( a ) da . . . ( 2 )
其中,L(a)是线分布函数。
如从等式(2)可以看出的那样,可以通过学习在任意散焦时的相位偏移方向上的穿过不同光瞳区域的光束所生成的线分布函数对,确定被摄体图像对。当确定了被摄体图像对时,可以根据各被摄体图像的重心之间的距离获得基线长,并且根据基线长和被摄体图像对之间的偏移量来计算散焦量。可以如下获得基线长:
G A = ∫ - ∞ ∞ x · L A ( x ) dx ∫ - ∞ ∞ L A ( x ) dx . . . ( 3 )
G B = ∫ - ∞ ∞ x · L B ( x ) dx ∫ - ∞ ∞ L B ( x ) dx . . . ( 4 )
基线长G=|GA-GB|                       …(5)
其中,GA和GB是被摄体图像的重心,以及G是基线长。
接着将说明通过相关计算校正被摄体图像之间的非对称性的方法。如之前所述,在对像素SHA和SHB的非对称光瞳强度分布进行卷积积分时,被摄体图像A和B之间的非对称性发生。图16A~16G是用于说明用于消除被摄体图像之间的非对称性的滤波处理的概念图。在图16A~16G中,横轴表示焦点检测视野内x方向上的坐标,以及纵轴表示亮度。图16A中的附图标记Obj表示被摄体的光量分布,以及图16B和16C中的附图标记EsdAx和EsdBx表示像素SHA和SHB的AF光瞳上的线图像。图16D和16E分别示出在给定散焦时由附图标记ImgA表示的被摄体图像A(第一图像信号)和由附图标记ImgB表示的被摄体图像B(第二图像信号)。通过将被摄体的光量分布Obj与线图像EsdAx(第一线图像)、线图像EsdBx(第二线图像)分别进行卷积积分来获得被摄体图像A ImgA和被摄体图像B ImgB。图16F和16G示出通过对被摄体图像A ImgA和图像B的线图像EsdBx进行卷积积分而获得的校正图像ReImgA、以及通过对被摄体图像B ImgB和图像A的线图像EsdAx进行卷积积分而获得的校正图像ReImgB。如图16F和16G所示,各校正图像具有相同的形状。将说明校正图像具有相同形状的原理。
通过前述的以下等式来获得被摄体图像A ImgA:
g ( x ) = ∫ - ∞ ∞ f ( x - a ) L ( a ) da . . . ( 2 )
通过以下来计算描述通过对线图像EsdBx和被摄体图像AImgA进行卷积积分而获得的校正图像ReImgA的函数k(x):
k ( x ) = ∫ - ∞ ∞ g ( x - b ) L B ( b ) db
= ∫ - ∞ ∞ ∫ - ∞ ∞ f ( x - a - b ) L A ( a ) da L B ( b ) db . . . ( 6 )
= ∫ - ∞ ∞ ∫ - ∞ ∞ f ( x - a - b ) L A ( a ) L B ( b ) dadb
当类似地计算描述校正图像ReImgB的函数k(x)时,有:
k ( x ) = ∫ - ∞ ∞ ∫ - ∞ ∞ f ( x - a - b ) L A ( a ) L B ( b ) dadb . . . ( 7 )
从前述的等式(6)和(7)中可以看出,所获得的校正图像ReImgA和ReImgB是相同的。
接着将参考图17所示的流程图说明本实施例中的焦点检测操作。注意,CPU 121进行图17所示的序列中的操作。在步骤S1中,将0代入表示散焦量计算处理的次数的N,并且处理进入步骤S2。在步骤S2中,读出用于确定渐晕状态的透镜信息,并且处理进入步骤S3。在步骤S3中,读出由用户设置的诸如测距位置和范围等的测距点信息。在完成步骤S3之后,处理进入步骤S4。在步骤S4中,读出在步骤S3中读出的测距位置处的焦点检测像素的图像信号,以形成被摄体图像A和B。在完成步骤S4之后,处理进入步骤S5。在步骤S5中,CPU 121使用步骤S4中获得的被摄体图像A和B、利用已知的相关计算方法来获得图像偏移量,并利用该图像偏移量与步骤S2中所获得的透镜信息一起来获得暂定的散焦量。在计算出暂定的散焦量之后,处理进入步骤S6。
在步骤S6中,表示散焦量计算处理的次数的N增加1,并且处理进入步骤S7。在步骤S7中,CPU 121使用重复计算的散焦量的最新的值对步骤S4中所获得的被摄体图像A和B进行渐晕校正。在完成步骤S7之后,处理进入步骤S8。后面将说明与步骤S7中的渐晕校正相关联的详细处理。在步骤S8中,通过使用步骤S7中形成的渐晕校正后的被摄体图像,CPU 121利用已知的相关计算方法来计算两个图像之间的偏移量。利用该偏移量与步骤S7中计算出的基线长一起来获得散焦量。在完成步骤S8之后,处理进入步骤S9。
在步骤S9中,表示散焦量计算处理的次数的N增加1,并且处理进入步骤S10。在步骤S10中,CPU 121判断是否再次进行渐晕校正并重新计算散焦量。更具体地,如果(DEF(N-1))-(DEF(N-2))的值等于或小于预定收敛判断阈值,则因为在这种情况下所计算出的散焦量已经令人满意地收敛,判断部件(CPU121)不再重复计算散焦量。如果该值大于预定收敛判断阈值,则因为在这种情况下所计算出的散焦量尚未令人满意地收敛,判断部件判断为需要使用计算出的最新的散焦量来重新计算渐晕校正参数,以重新计算散焦量。如果步骤S10中为“是”,则处理返回至步骤S7。如果步骤S10中为“否”,则处理进入步骤S11。
在步骤S11中,判断所计算出的最新的散焦量(DEF(N-1))是否表示聚焦状态。如果在步骤S11中为“否”,则处理进入步骤S12。如果在步骤S11中为“是”,则处理进入步骤S13。在步骤S12中,根据散焦计算结果向前/向后移动第三透镜组105。然后,处理返回至步骤S4。在步骤S13中,焦点检测序列的一系列步骤结束。
接着将说明图17所示的焦点检测操作的流程图中步骤S7中的“与散焦量(DEF(N-1))相对应的渐晕校正处理”。在这种情况下,CPU 121使用步骤S5或S8中计算出的最新的散焦量进行用于调节图像A和B之间的光量比的明暗校正,对图像A和B进行形状校正以使得图像A和B具有几乎相同的形状,并且计算基线长。以下将参考图18所示的流程图详细说明该处理。
在步骤S101中,根据透镜信息、测距点信息和最新的散焦信息(DEF(N-1))来估计被摄体图像A和B的明暗,并进行用于调节图像A和B之间的光量比的明暗校正。在明暗校正之后,处理进入步骤S102。在步骤S102中,以各焦点检测像素为单位读出CPU 121内的ROM中存储的光瞳强度分布,并且利用透镜信息、测距点信息和最新的散焦信息(DEF(N-1))一起来计算线分布函数。在完成步骤S102之后,处理进入步骤S103。在步骤S103中,CPU 121创建图像校正滤波器。在步骤S102中获得的线分布函数适用于基于最新的散焦信息(DEF(N-1))所确定的图像校正滤波器的宽度。后面将说明该处理的细节。在完成步骤S103之后,处理进入步骤S104。
在步骤S104中,将被摄体A和B与在步骤S103所获得的图像校正滤波器进行卷积积分,以计算通过将图像A和B调节为具有几乎相同的形状而获得的校正被摄体图像。然后,处理进入步骤S105。在步骤S105中,使用步骤S102中获得的线分布函数来计算基线长。后面将说明计算基线长的方法。在完成步骤S105之后,处理进入步骤S106。在步骤S106中,焦点检测序列的一系列步骤结束。
接着将参考图19A和19B详细说明在步骤S103中确定图像校正滤波器的宽度的方法。图19A和19B是表示散焦时入射到摄像元件的光束的图。图19A是示出前聚焦时的光束的图。附图标记Zaf表示从摄像元件107的摄像面到光瞳面Me的距离;附图标记Raf表示根据步骤S2中获得的渐晕信息通过光瞳面Me在水平方向上限制光束的宽度;以及附图标记Def表示步骤S5中获得的暂定的散焦量。从图19A中明显可知,图像在摄像元件107的摄像面上以宽度Wf延伸。因此,考虑到在前聚焦时Def为负的事实,通过以下给出宽度Wf:
Wf = | Raf × Def Zaf + Def | . . . ( 8 )
同样,在后聚焦时,图19B中所示的关系成立,并且与前聚焦时相同,等式(8)也成立。通过等式(8)所获得的宽度Wf成为图像校正滤波器的宽度。
接着,通过提高增益较低的滤波器的增益来调整滤波器,以使得两个图像校正滤波器处于相同水平。这是因为被摄体图像A和B在步骤S101中的第一校正计算期间经过了明暗校正。移动波形以使被摄体图像A和B的图像校正滤波器的重心一致。这是为了限制在步骤S104中的滤波处理时变化的基线长的变化量,以使得该量仅归因于滤波处理时校正被摄体图像A和B的变形。
接着将详细说明步骤S105中计算基线长的方法。首先,移动与被摄体图像A相对应的线图像(以下称为线图像A)和与被摄体图像B相对应的线图像(以下称为线图像B),以使得线图像A和B的重心相互一致。将移动后的线图像A和B分别定义为线图像A0和B0。基于对线图像A和线图像B0进行卷积积分而获得的校正线图像A的重心、以及对线图像B和线图像A0进行卷积积分而获得的校正线图像B的重心之间的距离,计算校正基线长。通过以下等式表达该计算。
使MA(x)为校正线图像A,LA(x)为线图像A,并使LB’(x)为线图像B0,通过以下来计算校正线图像A:
M A ( x ) = ∫ - ∞ ∞ L A ( x ) · L B ′ ( x - b ) db . . . ( 9 )
然后,通过以下给出校正线图像A的重心GA’:
G A ′ = ∫ - ∞ ∞ x · M A ( x ) dx ∫ - ∞ ∞ M A ( x ) dx . . . ( 10 )
同样,使MB(x)为校正线图像B,LB(x)为线图像B,并使LA’(x)为线图像A0,通过以下来计算校正线图像B:
M B ( x ) = ∫ - ∞ ∞ L B ( x ) · L A ′ ( x - a ) da . . . ( 11 )
然后,通过以下给出校正线图像B的重心GB’:
G B ′ = ∫ - ∞ ∞ x · M B ( x ) dx ∫ - ∞ ∞ M B ( x ) dx . . . ( 12 )
因而,我们得到基线长G’:
G′=|GA′-GB′|                        …(13)
以前述方式计算基线长。
利用上述配置,根据焦点检测部件(CPU 121)检测到的散焦量,校正计算器(CPU 121)在更新渐晕校正参数时连续进行多次焦点检测。这允许使用更精确的散焦量进行更精确的渐晕校正,从而允许更精确的焦点检测。
更具体地,在步骤S103的处理中使用更精确的最新的散焦信息(DEF(N-1))来确定图像校正滤波器的宽度,并且这允许更精确的渐晕校正,从而允许更精确的焦点检测。而且,在步骤S101的处理中,通过根据最新的散焦信息(DEF(N-1))估计被摄体图像A和B的明暗来进行明暗校正。特别是在所使用的透镜如微透镜一样具有根据散焦量变化很大的明暗校正系数的情况下,允许更精确的渐晕校正,从而允许更精确的焦点检测。
而且,在步骤S102的处理中,根据最新的散焦信息(DEF(N-1))来计算线分布函数。特别是在所使用的透镜如微透镜一样具有根据散焦量变化很大的线分布函数的情况下,允许更精确的渐晕校正,从而允许更精确的焦点检测。
尽管在本实施例中,在相关计算中采用已知的图像偏移方式,但也可以使用其它方法来获得相同的结果。而且,在本实施例中,使用与明暗校正后的两个被摄体图像相对应的线图像处于同一水平的校正滤波器来进行图像校正处理。然而,可以通过使用不在同一水平的校正滤波器对明暗校正前的被摄体图像进行卷积积分,进行图像校正。
而且,尽管在本实施例中例示了利用包括CMOS传感器及其周边电路的摄像元件作为光电转换部件的焦点计算方法,但该方法对于利用线传感器作为光电转换部件的传统单镜头反光照相机中的光瞳分割方式的焦点检测设备也是有效的。
本实施例中的判断部件在步骤S10中利用基于所计算出的散焦量的收敛状态来判断是否进行重新计算的方法。然而,可以基于要重复计算的渐晕校正参数或图像A和B之间的偏移量等的其它特性的收敛状态来进行该判断,其中,要重复计算的渐晕校正参数例如明暗校正值、线图像形状和基线长等。可选地,可以仅基于表示散焦量计算处理的次数的N是否超过预定次数来进行该判断。或者,可以以如下方式确定焦点检测序列:通过基于收敛状态和次数N的组合进行该判断,在首先实现必要精度的焦点检测、但进行重复计算不超过预定次数的情况下,防止由于重复计算的次数增多而引起的计算时间的过度延长。
尽管本实施例中的判断部件在步骤S10中是否进行重新计算的判断中采用固定判断阈值,但也可以采用可变判断阈值。例如,可以利用景深与F值成比例的事实。在这种情况下,通过使收敛判断阈值与F值成比例从而使判断阈值与必要的焦点检测精度相匹配,特别是在F值大的条件下,可以进一步缩短计算时间。可选地,如果被摄体具有低亮度并且因此所获得的图像信号具有低的S/N比或者被摄体具有低的对比度,则散焦量计算结果的变化大,从而可以通过使收敛判断阈值与根据被摄体对比度或亮度信息的计算结果的估计变化成比例来改善收敛性。
第二实施例
第一和第二实施例在照相机的配置上相同,但焦点检测序列不同。将参考图21所示的焦点检测序列和图22所示的相关计算序列来说明第二实施例中的焦点检测序列。
注意,用作校正计算器、焦点检测部件和判断部件的CPU121进行图21和22所示的序列中的操作。而且,焦点检测部件包括信号处理选择部件和信号处理部件,并在对图像信号进行最优信号处理之后进行焦点检测。
当焦点检测操作开始时,在步骤S301中将0代入表示散焦量计算处理的次数的N。而且,将0代入表示更新渐晕校正参数时重复的计算是否收敛的M,并且处理进入步骤S302。
步骤S302~S310分别与第一实施例中说明的图17中的步骤S2~S10相同,并且这里将不给出其说明。在步骤S311中,将1代入M,并且处理进入步骤S312。在步骤S312中,再次进行相关计算。
步骤S313和S314分别与第一实施例中所述的图17中的步骤S11和S12相同,并且将不给出其说明。
接着将参考图22所示的相关计算序列来详细说明步骤S305、S308和S312中由焦点检测部件所进行的相关计算处理。
在步骤S401中,判断M是否等于0。该序列中的M与焦点检测序列中的M相同。因而,如果更新渐晕校正参数时重复的计算收敛,则M=1;否则,M=0。如果判断为M=0,则处理进入步骤S402。如果M≠0,则处理进入步骤S403。
在步骤S402中,信号处理选择部件基于要校正的信号来选择信号处理。这里提到的要校正的信号指从焦点检测像素读出的渐晕校正前的被摄体图像A和B的信号。使用已知的技术进行信号处理以及从多种信号处理中进行信号处理的选择,以更精确地进行步骤S407中的图像偏移量检测。
CPU 121存储诸如用于减少被摄体图像A和B之间的信号强度水平差的影响的滤波处理或用于放大或衰减特定频率成分的滤波处理等的多种信号处理。
如果要校正的信号具有相对低的对比度或相对低的亮度,则与对比度或亮度不低的情况相比,选择用于放大相对低的空间频率范围的信号处理。在选择了信号处理之后,处理进入步骤S404。
在步骤S403中,信号处理选择部件基于校正后的信号来选择信号处理。这里提到的校正后的信号指步骤S307中的渐晕校正之后的被摄体图像A和B的信号。
在步骤S404中,判断N是否为0。该序列中的N与图21所示的焦点检测序列中的N相同。因而,N表示等于前一渐晕校正的次数的散焦量计算处理的次数。如果判断为N=0,则处理进入步骤S405。如果N≠0,则处理进入步骤S406。
在步骤S405中,信号处理部件处理渐晕校正前的被摄体图像A和B的信号。在信号处理之后,处理进入步骤S407。
在步骤S406中,信号处理部件处理渐晕校正后的被摄体图像A和B的信号。在信号处理之后,处理进入步骤S407。
在步骤S407中,使用处理后的信号、利用已知的技术来检测图像偏移量并计算散焦量。
利用上述配置,进行用于针对从焦点检测像素读出的图像信号更精确地进行图像偏移量检测的信号处理,之后检测图像偏移量。这可以更精确地进行焦点检测。
而且,即使在更新渐晕校正参数时重复的计算期间通过更新渐晕校正参数使被摄体图像改变,所使用的信号处理也保持相同。这可以更精确地判断散焦量是否收敛,从而使得能够更精确地进行焦点检测。
此外,在更新渐晕校正参数时重复的计算收敛的情况下,对渐晕校正之后的图像信号选择最优信号处理并进行该最优信号处理。这使得可以更精确地进行焦点检测。
尽管以上说明了本发明的优选实施例,但本发明不限于该实施例,并且可以在不背离本发明的范围的情况下做出各种修改和改变。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。
本申请要求2009年5月12日提交的日本专利申请2009-115920和2010年4月26日提交的日本专利申请2010-101439的优先权,其全部内容通过引用包含于此。

Claims (7)

1.一种焦点检测设备,包括:
光电转换部件,包括第一像素组和第二像素组,所述第一像素组用于接收穿过用于形成被摄体图像的图像形成光学系统的第一光瞳区域的光束,所述第二像素组用于接收穿过所述图像形成光学系统的第二光瞳区域的光束;
焦点检测部件,用于基于所述第一像素组所生成的第一被摄体图像和所述第二像素组所生成的第二被摄体图像来检测所述图像形成光学系统的焦点状态;
校正计算器,用于基于所述焦点检测部件的输出对所述第一被摄体图像和所述第二被摄体图像进行校正计算;以及
判断部件,用于基于所述焦点检测部件的输出,判断是否再次进行所述校正计算。
2.根据权利要求1所述的焦点检测设备,其特征在于,所述校正计算器计算与所述图像形成光学系统的第一光瞳区域相对应的第一线图像和与所述图像形成光学系统的第二光瞳区域相对应的第二线图像。
3.根据权利要求2所述的焦点检测设备,其特征在于,所述校正计算器通过对所述第一被摄体图像和所述第二线图像进行卷积积分来生成第一图像信号,并通过对所述第二被摄体图像和所述第一线图像进行卷积积分来生成第二图像信号。
4.根据权利要求1所述的焦点检测设备,其特征在于,所述校正计算器对所述第一被摄体图像和所述第二被摄体图像进行明暗校正。
5.一种焦点检测设备,包括:
图像形成光学系统,用于形成被摄体的图像;
光电转换部件,包括第一像素组和第二像素组,所述第一像素组用于接收穿过所述图像形成光学系统的第一光瞳区域的光束,所述第二像素组用于接收穿过所述图像形成光学系统的第二光瞳区域的光束;
焦点检测部件,用于检测所述图像形成光学系统的焦点状态;
校正计算器,用于基于所述焦点检测部件的输出,对所述光电转换部件的第一像素组所生成的第一被摄体图像和所述光电转换部件的第二像素组所生成的第二被摄体图像进行校正计算;
信号处理选择部件,用于基于所述第一被摄体图像和所述第二被摄体图像的输出,从具有不同特性的多种信号处理中选择最优信号处理;
信号处理部件,用于对所述第一被摄体图像和所述第二被摄体图像进行所述信号处理选择部件所选择的信号处理;以及
判断部件,用于基于所述焦点检测部件的输出来判断是否再次进行所述校正计算,
其中,在所述判断部件判断为不再次进行所述校正计算之前,基于所述校正计算前的信号来选择信号处理。
6.根据权利要求5所述的焦点检测设备,其特征在于,所述信号处理部件放大或衰减信号中的特定频率成分。
7.根据权利要求5所述的焦点检测设备,其特征在于,在所述判断部件判断为不再次进行所述校正计算之后,基于所述校正计算后的信号来选择信号处理。
CN201080021294.6A 2009-05-12 2010-05-07 焦点检测设备 Expired - Fee Related CN102422196B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2009-115920 2009-05-12
JP2009115920 2009-05-12
JP2010-101439 2010-04-26
JP2010101439A JP5675157B2 (ja) 2009-05-12 2010-04-26 焦点検出装置
PCT/JP2010/058144 WO2010131725A1 (en) 2009-05-12 2010-05-07 Focus detection apparatus

Publications (2)

Publication Number Publication Date
CN102422196A true CN102422196A (zh) 2012-04-18
CN102422196B CN102422196B (zh) 2015-07-01

Family

ID=43085098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080021294.6A Expired - Fee Related CN102422196B (zh) 2009-05-12 2010-05-07 焦点检测设备

Country Status (6)

Country Link
US (1) US8704933B2 (zh)
EP (1) EP2430487B1 (zh)
JP (1) JP5675157B2 (zh)
KR (1) KR101310105B1 (zh)
CN (1) CN102422196B (zh)
WO (1) WO2010131725A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123430A (zh) * 2013-04-23 2014-10-29 鸿富锦精密工业(深圳)有限公司 焦点识别系统及方法
CN104581137A (zh) * 2013-10-18 2015-04-29 佳能株式会社 检测设备、摄像设备、摄像系统和检测设备的控制方法
CN104885440A (zh) * 2013-01-04 2015-09-02 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN105874383A (zh) * 2014-01-30 2016-08-17 奥林巴斯株式会社 照相机系统

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5762002B2 (ja) 2011-01-06 2015-08-12 キヤノン株式会社 撮像装置
JP2012220790A (ja) * 2011-04-11 2012-11-12 Canon Inc 撮像装置
JP2012234152A (ja) * 2011-04-19 2012-11-29 Canon Inc 撮像装置及びその制御方法
JP5956782B2 (ja) 2011-05-26 2016-07-27 キヤノン株式会社 撮像素子及び撮像装置
JP5947601B2 (ja) * 2012-04-10 2016-07-06 キヤノン株式会社 焦点検出装置、その制御方法および撮像装置
JP6019692B2 (ja) * 2012-04-16 2016-11-02 ソニー株式会社 撮像素子、撮像素子の制御方法、および、撮像装置
JP5963514B2 (ja) 2012-04-19 2016-08-03 キヤノン株式会社 測距装置、測距方法及び撮像システム
JP6116151B2 (ja) * 2012-07-31 2017-04-19 キヤノン株式会社 距離検出装置
JP6202927B2 (ja) 2012-08-31 2017-09-27 キヤノン株式会社 距離検出装置、撮像装置、プログラム、記録媒体および距離検出方法
JP6214271B2 (ja) * 2012-09-12 2017-10-18 キヤノン株式会社 距離検出装置、撮像装置、距離検出方法、プログラム及び記録媒体
JP5657184B2 (ja) 2012-09-12 2015-01-21 富士フイルム株式会社 撮像装置及び信号処理方法
CN104813212B (zh) 2012-11-20 2017-02-22 富士胶片株式会社 摄像装置及曝光确定方法
JP6272112B2 (ja) * 2014-03-31 2018-01-31 キヤノン株式会社 距離検出装置、撮像装置、距離検出方法及び視差量検出装置
JP2015212772A (ja) * 2014-05-02 2015-11-26 キヤノン株式会社 測距装置、撮像装置、測距方法、および測距パラメータ算出方法
TWI566002B (zh) * 2015-02-25 2017-01-11 宏碁股份有限公司 影像擷取裝置及其自動對焦方法
JP6789925B2 (ja) * 2015-04-03 2020-11-25 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、並びに電子機器
JP6017641B1 (ja) * 2015-07-13 2016-11-02 オリンパス株式会社 撮像装置,信号処理方法,信号処理プログラム
JP6702669B2 (ja) * 2015-07-29 2020-06-03 キヤノン株式会社 撮像装置及びその制御方法
US10382684B2 (en) * 2015-08-20 2019-08-13 Kabushiki Kaisha Toshiba Image processing apparatus and image capturing apparatus
JP6608763B2 (ja) 2015-08-20 2019-11-20 株式会社東芝 画像処理装置及び撮影装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06102451A (ja) * 1992-09-22 1994-04-15 Nikon Corp 焦点検出装置
US20020121652A1 (en) * 2000-11-28 2002-09-05 Ryo Yamasaki Image pickup apparatus
JP2002350716A (ja) * 2001-05-30 2002-12-04 Matsushita Electric Ind Co Ltd 自動焦点調節装置、並びにこの装置を搭載したビデオカメラ及びデジタルスチルカメラ
US20040179128A1 (en) * 2002-12-11 2004-09-16 Makoto Oikawa Focus detection device
CN1782772A (zh) * 2004-11-30 2006-06-07 奥林巴斯株式会社 焦点检测装置及其控制方法
CN101193209A (zh) * 2006-11-28 2008-06-04 索尼株式会社 成像设备
JP2008191559A (ja) * 2007-02-07 2008-08-21 Nikon Corp 光電変換装置、焦点検出装置および撮像装置
JP2009042370A (ja) * 2007-08-07 2009-02-26 Canon Inc 焦点検出装置、およびその制御方法
US20090096886A1 (en) * 2007-10-01 2009-04-16 Nikon Corporation Image-capturing device, camera, method for constructing image-capturing device and image-capturing method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4410804A (en) 1981-07-13 1983-10-18 Honeywell Inc. Two dimensional image panel with range measurement capability
JP3240648B2 (ja) * 1991-11-01 2001-12-17 キヤノン株式会社 焦点検出装置
JP2005106994A (ja) 2003-09-29 2005-04-21 Canon Inc 焦点検出装置、撮像装置、それらの制御方法
JP2009258451A (ja) * 2008-04-17 2009-11-05 Canon Inc 焦点検出装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06102451A (ja) * 1992-09-22 1994-04-15 Nikon Corp 焦点検出装置
US20020121652A1 (en) * 2000-11-28 2002-09-05 Ryo Yamasaki Image pickup apparatus
JP2002350716A (ja) * 2001-05-30 2002-12-04 Matsushita Electric Ind Co Ltd 自動焦点調節装置、並びにこの装置を搭載したビデオカメラ及びデジタルスチルカメラ
US20040179128A1 (en) * 2002-12-11 2004-09-16 Makoto Oikawa Focus detection device
CN1782772A (zh) * 2004-11-30 2006-06-07 奥林巴斯株式会社 焦点检测装置及其控制方法
CN101193209A (zh) * 2006-11-28 2008-06-04 索尼株式会社 成像设备
JP2008191559A (ja) * 2007-02-07 2008-08-21 Nikon Corp 光電変換装置、焦点検出装置および撮像装置
JP2009042370A (ja) * 2007-08-07 2009-02-26 Canon Inc 焦点検出装置、およびその制御方法
US20090096886A1 (en) * 2007-10-01 2009-04-16 Nikon Corporation Image-capturing device, camera, method for constructing image-capturing device and image-capturing method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104885440A (zh) * 2013-01-04 2015-09-02 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN104885440B (zh) * 2013-01-04 2017-12-08 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
CN104123430A (zh) * 2013-04-23 2014-10-29 鸿富锦精密工业(深圳)有限公司 焦点识别系统及方法
CN104123430B (zh) * 2013-04-23 2018-12-07 宁波金晟芯影像技术有限公司 焦点识别系统及方法
CN104581137A (zh) * 2013-10-18 2015-04-29 佳能株式会社 检测设备、摄像设备、摄像系统和检测设备的控制方法
US9531939B2 (en) 2013-10-18 2016-12-27 Canon Kabushiki Kaisha Detection apparatus, image pickup apparatus, image pickup system, and control method of the detection apparatus
CN105874383A (zh) * 2014-01-30 2016-08-17 奥林巴斯株式会社 照相机系统

Also Published As

Publication number Publication date
WO2010131725A1 (en) 2010-11-18
EP2430487A4 (en) 2013-06-12
KR101310105B1 (ko) 2013-10-14
KR20120022947A (ko) 2012-03-12
JP5675157B2 (ja) 2015-02-25
EP2430487A1 (en) 2012-03-21
EP2430487B1 (en) 2017-10-04
US20120057043A1 (en) 2012-03-08
US8704933B2 (en) 2014-04-22
CN102422196B (zh) 2015-07-01
JP2010286826A (ja) 2010-12-24

Similar Documents

Publication Publication Date Title
CN102422196B (zh) 焦点检测设备
US8531583B2 (en) Image capturing apparatus and image processing method
JP6536642B2 (ja) 撮像素子
US8576329B2 (en) Focus detection apparatus and control method therefor
EP1975695B1 (en) Focus detection device, focusing state detection method and imaging apparatus
CN102203655B (zh) 摄像设备
CN102105830B (zh) 焦点检测设备
KR101362241B1 (ko) 촬상장치
JP5473977B2 (ja) 撮像装置およびカメラシステム
US20170373105A1 (en) Multi diode aperture simulation
CN102422630A (zh) 摄像设备
US20120099006A1 (en) Image pickup apparatus
US7423679B2 (en) Imaging system having extended useful latitude
US7158183B1 (en) Digital camera
JP5609232B2 (ja) 撮像装置
JP2017032646A (ja) 撮像装置及びその制御方法
JP7022575B2 (ja) 焦点検出装置および方法、および撮像装置
JP5748826B2 (ja) 撮像装置およびカメラシステム
US10616469B2 (en) Image capturing apparatus and control method therefor
JP2018031931A (ja) 焦点検出装置
JP2018026604A (ja) 撮像装置および撮像装置システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150701