CN102713713A - 焦点调节设备和焦点调节方法 - Google Patents

Abstract

为了在发生由于拍摄透镜所引起的渐晕的情况下实现精确的调焦操作，用于校正第一图像信号和第二图像信号时所使用的图像校正信息的采样间距根据离焦量而改变，从而基于图像信号校正之后的校正后的第一图像信号和校正后的第二图像信号之间的相对图像偏移量来进行用于形成被摄体图像的摄像光学系统的调焦操作，其中，所述第一图像信号是从用于接收穿过摄像光学系统的第一光瞳区域的光的第一像素组的输出信号所获得的，并且所述第二图像信号是从用于接收穿过与第一光瞳区域不同的第二光瞳区域的光的第二像素组的输出信号所获得的。

Description

焦点调节设备和焦点调节方法

技术领域

本发明涉及一种焦点调节设备和焦点调节方法，尤其涉及一种例如在电子照相机中使用的自动调焦系统。 

背景技术

专利文献1公开了一种具有摄像元件的功能并且二维地配置像素的固态摄像装置。像素包括彼此相对偏移的微透镜和光电转换单元。在根据专利文献1的固态摄像装置中，在正常摄像操作中，通过将微透镜和光电转换单元之间的相对偏移的方向彼此不同的像素进行相加来形成图像。在计算拍摄镜头的焦点位置的运算中，基于利用微透镜和光电转换单元之间的相对偏移的方向彼此不同的像素列所获得的一对图像，来计算拍摄镜头的焦点位置。通过针对该对图像之间的相对图像偏移量进行相关计算，来计算拍摄镜头的焦点位置。 

在如下状态的相位差AF(自动调焦)模式中计算焦点位置的情况下，由于拍摄镜头所引起的渐晕而导致图像信号的非对称性(图像的一致程度降低)，其中，该状态是由拍摄镜头引起渐晕的状态。因此，专利文献2公开了如下技术，其中在该技术中，将特定图像校正滤波器容纳于摄像装置中，并且该特定图像校正滤波器是基于孔径比、出射光瞳的位置和离焦量而变形的。根据该技术，将图像校正滤波器应用于图像信号，然后计算焦点位置。图像校正滤波器是通过卷积积分而应用于图像信号的。因此，将图像校正滤波器的间距设置成等于图像信号的间距。 

引文列表

专利文献

专利文献1：日本特开平4-267211 

专利文献2：日本特开平5-127074 

发明内容

技术问题

在现有技术中，不管离焦量或F值如何，图像校正滤波器的间距都是恒定的。因此，在滤波器长度较小的聚焦位置附近的区域中，由于例如混叠失真(aliasing distortion)而无法获得正确的滤波器形状，因此焦点计算的精度降低。 

本发明的目的在于：即使在由拍摄镜头引起渐晕的状态下，也能够实现高精度的焦点调节。 

问题的解决方案

为了实现上述目的，根据本发明的技术特征，提供了一种焦点调节设备的焦点调节方法，所述焦点调节设备包括摄像部件，所述摄像部件包括第一像素组和第二像素组，所述第一像素组接收穿过用于形成被摄体图像的摄像光学系统的第一光瞳区域的光束，并且所述第二像素组接收穿过与所述第一光瞳区域不同的第二光瞳区域的光束，所述焦点调节方法包括以下步骤：校正步骤，用于使用具有与如下离焦量相对应的采样间距的图像校正信息，来校正基于来自所述第一像素组的输出信号的第一图像信号和基于来自所述第二像素组的输出信号的第二图像信号，其中，该离焦量是通过所述第一图像信号和所述第二图像信号之间的相对图像偏移量而确定的；以及焦点调节步骤，用于基于作为所述校正步骤中进行的校正的结果所获得的校正后的第一图像信号和校正后的第二图像信号之间的相对图像偏移量而确定的离焦量，来进行用于调节所述摄像光学系统 的焦点状态的控制。 

本发明的有益效果

根据本发明，可以提高焦点调节精度。 

附图说明

图1是摄像装置的框图。 

图2示出用于说明摄像像素的图。 

图3示出用于说明焦点检测像素的图。 

图4是示出分割光瞳的状态的概念图。 

图5示出用于说明焦点检测像素的光瞳强度分布的概念图。 

图6示出用于说明摄像元件的中央区域的焦点检测像素的光瞳强度的概念图。 

图7是摄像元件的驱动电路图。 

图8是示出从图7所示的元件所获得的图像信号的图。 

图9示出用于说明图像校正滤波处理的概念图。 

图10是根据离焦量改变间距的焦点计算处理的流程图。 

图11示出用于说明离焦状态下入射至摄像元件的光束的概念图。 

图12是用于说明线扩散函数的图。 

图13示出用于说明在离焦量较大时根据线扩散函数获得图像校正滤波的处理的概念图。 

图14示出用于说明在离焦量较小时根据线扩散函数获得图像校正滤波的处理的概念图。 

图15示出用于说明根据与不同的F值相对应的线扩散函数获得图像校正滤波的处理的概念图。 

图16是根据F值和离焦量改变间距的焦点计算处理的流程 图。 

具体实施方式

现在将参考附图说明本发明的实施例。 

第一实施例

将参考图1～14说明本发明的第一实施例。 

摄像装置的结构

图1是根据本实施例的摄像装置的框图。在图1中，附图标记101表示配置在拍摄镜头(摄像光学系统)的一端并以能够在光轴方向上往复移动的方式所保持的第一透镜组。附图标记102表示光圈快门，其中，该光圈快门通过调节该光圈快门的开口直径来调节拍摄操作时的光量，并且还具有用于在拍摄静止图像的操作时调节曝光时间的快门的功能。附图标记103表示拍摄镜头中所包括的第二透镜组。光圈快门102和第二透镜组103作为一体与第一透镜组101的往复移动相协作地在光轴方向上往复移动以提供变倍功能(变焦功能)。 

附图标记105表示拍摄镜头中所包括的第三透镜组，并且通过在光轴方向上往复移动来进行焦点调节。附图标记106表示作为用于减少拍摄图像中的伪色和摩尔纹的光学元件的光学低通滤波器。附图标记107表示包括C-MOS传感器和C-MOS传感器的外围电路的摄像元件。该摄像元件是二维单板颜色传感器，其中，在包括水平方向上的m个像素和垂直方向上的n个像素的光接收像素阵列上，形成具有拜耳排列的片上原色马赛克滤波器。 

附图标记111表示通过转动凸轮筒(未示出)使第一透镜组101到第二透镜组103的组件在光轴方向上往复移动从而进行变倍处理的变焦致动器。附图标记112表示通过控制光圈快门102 的开口直径来调节摄像光量并且还在拍摄静止图像的操作时进行曝光时间控制的光圈快门致动器。附图标记114表示通过在光轴方向上往复移动第三透镜组105来进行焦点调节的调焦致动器。 

附图标记115表示用于在拍摄操作中对被摄体进行照明的电子闪光灯。优选使用采用氙气管的闪光灯装置作为电子闪光灯。然而，代替地，还可以使用包括连续发光LED的照明装置。附图标记116表示AF辅助光单元，其中该AF辅助光单元通过透光透镜向被摄体场投影具有预定开口图案的掩模的图像，以提高对暗环境下的被摄体或低对比度被摄体的焦点计算性能。 

附图标记121表示控制摄像装置的各种操作的CPU。CPU121包括计算单元、ROM、RAM、A/D转换器、D/A转换器、通信接口电路等，并且基于存储在ROM中的预定程序来驱动摄像装置中所包括的各种电路。因此，CPU 121进行包括AF、拍摄、图像处理和记录的一系列操作。 

附图标记122表示与拍摄操作同步接通照明单元115的电子闪光灯控制电路。附图标记123表示与焦点计算操作同步接通AF辅助光单元116的辅助光驱动电路。附图标记124表示控制摄像元件107所进行的摄像操作并且在将该摄像操作所获得的图像信号经过A/D转换之后将转换得到图像信号发送至CPU 121的摄像元件驱动电路。附图标记125表示对摄像元件107所拍摄的图像进行诸如γ转换、颜色插值和JPEG压缩等的处理的图像处理电路。 

附图标记126表示基于焦点计算操作的结果来控制调焦致动器114以通过在光轴方向上往复移动第三透镜组105进行焦点调节的调焦驱动电路。附图标记128表示控制光圈快门致动器112以调节光圈快门102的开口的光圈快门驱动电路。附图标记 129表示根据用户所进行的变焦操作来驱动变焦致动器111的变焦驱动电路。 

附图标记131表示诸如LCD等的用于显示与摄像装置的拍摄模式有关的信息的显示装置。显示装置131还显示拍摄操作之前的预览图像、拍摄操作之后的确认图像和焦点计算操作期间的聚焦状态显示图像。附图标记132表示包括电源开关、释放(拍摄触发器)开关、变焦操作开关和拍摄模式选择开关的操作开关组。附图标记133表示用于存储拍摄图像的可拆卸的闪速存储器。 

摄像像素的结构

图2示出用于说明摄像像素的结构的图。图2示出摄像像素的放大平面图和放大断面图。在本实施例中，在四个像素(2行×2列)的像素阵列中，在两个对角位置配置对G(绿色)光具有光谱灵敏度的摄像像素(G像素)。另外，在剩余的两个位置配置对R(红色)光具有光谱灵敏度的摄像像素(R像素)和对B(蓝色)光具有光谱灵敏度的摄像像素(B像素)。换句话说，在本实施例中使用拜耳排列。在具有拜耳排列的像素之间，按照预定规则分散地配置下面将说明其结构的焦点检测像素。 

图2(a)是在摄像元件的中央区域以2行×2列所配置的摄像像素的平面图。在拜耳排列中，将G像素配置在对角位置处，并且将R像素和B像素配置在剩余的两个位置处。周期性地配置包括2行×2列的结构。 

图2(b)是沿线A-A所截取的图2(a)的断面图。附图标记ML表示配置在各摄像像素的最前面位置处的片上微透镜，附图标记CFR表示R(红色)颜色滤波器，并且附图标记CFG表示G(绿色)颜色滤波器。附图标记PD表示C-MOS传感器中所包括的光电转换单元，并且附图标记CL表示形成用于传输C-MOS传感器中的 各种信号的信号线的配线层。 

在摄像像素中，将片上微透镜ML和光电转换单元PD在结构上配置成能够尽可能有效地接收穿过拍摄镜头TL的光束。换句话说，拍摄镜头TL的出射光瞳EP(也称为光瞳区域)和各光电转换单元PD经由相应的微透镜ML而处于共轭关系，并且将各光电转换单元设计成具有大的有效面积。尽管图2(b)中示出了入射至R像素上的光束，但是G像素和B像素也具有类似的结构。因此，与R、G和B摄像像素各自相对应的出射光瞳EP具有大的直径，并且可以有效地接收来自被摄体的光束，从而提高了图像信号的S/N比。 

焦点检测像素的结构

图3示出用于说明焦点检测像素的结构的图。图3示出用于在图3(b)所示的x方向上分割拍摄镜头TL的光瞳的焦点检测像素的放大平面图和放大断面图。图3(a)是包括摄像元件的中央区域处的焦点检测像素的以2行×2列所配置的焦点检测像素的平面图。通常，观察者的图像识别特性对亮度信息敏感。因此，如果在获取图像信号时损失了G像素，则容易感觉到图像劣化。因此，G像素获取亮度信息的主成分。另一方面，R像素和B像素是获取颜色信息的摄像像素，并且观察者对颜色信息不敏感。因此，即使当损失了用于获取颜色信息的部分R像素或B像素时，也不容易觉察到图像劣化。因此，在本实施例中，在以2行×2列所配置的摄像像素的阵列中，代替与R像素和B像素相对应的位置处的摄像像素，以特定比例排列焦点检测像素，同时保留用作G像素的摄像像素。在图3(a)中以SHA和SHB表示由此排列的焦点检测像素。 

图3(b)是沿线B-B所截取的图3(a)的断面图。微透镜ML和光电转换单元PD具有与图2(b)所示的摄像像素中的微透镜ML和 光电转换单元PD相同的结构。在本实施例中，不使用通过焦点检测像素所获得的信号来形成图像。因此，代替颜色分离滤波器，设置透明膜CFW(白色膜)。为了在摄像元件处进行光瞳分割，配线层CL中所形成的开口部相对于微透镜ML的中心线沿着x方向偏移。更具体地，焦点检测像素SHA的开口部OPHA在-x方向上偏移，因此焦点检测像素SHA接收穿过图3(b)的拍摄镜头TL的左侧的出射光瞳区域EPHA的光束。类似地，像素SHB的开口部OPHB在+x方向上偏移，因此像素SHB接收穿过图3(b)的拍摄镜头TL的右侧的出射光瞳区域EPHB的光束。沿x方向规则地排列多个焦点检测像素SHA，并且将通过焦点检测像素SHA所获得的第一图像信号定义为图像信号A。另外，沿x方向同样规则地排列多个焦点检测像素SHB，并且将通过焦点检测像素SHB所获得的第二图像信号定义为图像信号B。可以根据通过基于图像信号A和图像信号B之间的相对图像偏移量进行相关计算所计算出的离焦量来确定拍摄镜头的焦点位置。因此，可以基于焦点位置来调节拍摄镜头的焦点状态。 

摄像元件的光瞳分割状态的概念

图4是示出根据本实施例的摄像元件的光瞳分割状态的概念图。附图标记TL表示拍摄镜头，附图标记107表示摄像元件，附图标记OBJ表示被摄体，并且附图标记IMG表示图像信号。如以上参考图2所示的摄像元件中的摄像像素的平面图和断面图所述，各摄像像素接收穿过拍摄镜头TL的整个出射光瞳区域EP的光束。另一方面，如以上参考用于沿图3(a)所示的x方向进行光瞳分割的焦点检测像素的平面图和断面图所述，焦点检测像素具有光瞳分割功能。更具体地，图3(a)所示的像素SHA接收穿过+x方向侧的光瞳区域的光束、即穿过图4的光瞳区域EPHA的光束。将焦点检测像素分布在摄像元件107的整个区域 上，从而可以在整个摄像区域上进行焦点计算。 

尽管以上说明了沿x方向具有亮度分布的被摄体的结构，但是通过沿y方向设置类似于上述结构的结构同样可以获得沿y方向具有亮度分布的被摄体的结构。 

没有引起渐晕时的光瞳强度分布和线扩散函数

以下将出射光瞳区域内的光束的强度分布简称为光瞳强度分布。 

图5示出焦点检测像素的光瞳强度分布和通过光瞳强度分布所获得的线扩散函数。图5(a)和5(b)分别示出焦点检测像素SHA和焦点检测像素SHB的特性。图5中的x轴和y轴分别对应于图4中的x轴和y轴。参考图5，随着颜色浓度的增大，光接收强度相应地增大。在图3(a)中，为了便于说明，以彼此分开的方式示出焦点检测像素SHA的出射光瞳区域EPHA和焦点检测像素SHB的出射光瞳区域EPHB。然而，如图5所示，由于开口部、即图3(b)所示的开口部OPHA和开口部OPHB处的衍射的影响，因而焦点检测像素SHA和焦点检测像素SHB的出射光瞳区域一定程度地扩大并部分重叠。 

图5(c)是示出焦点检测像素的线扩散函数的图。线扩散函数是图5(a)和5(b)所示的光瞳强度分布在y方向上的投影。横轴对应于图5(a)和5(b)中的x轴，并且纵轴示出线扩散函数的强度。原点O对应于拍摄镜头的光轴的位置。 

将通过从点光源发射并穿过光学系统的出射光瞳的光在成像面上所形成的点图像的强度分布称为点扩散函数。如果光学系统没有像差，则认为点扩散函数是出射光瞳的形状在成像面上的缩小投影。线扩散函数是点扩散函数的投影。因此，光瞳强度分布的投影是线扩散函数。 

如图5(c)所示，摄像元件的中央区域的焦点检测像素中， 线扩散函数LSF_A和LSF_B相对于光轴大致相互对称(具有大致相同的图像形状)。另外，线扩散函数LSF_A和LSF_B各自在x轴方向上相对于x轴方向上的重心具有大致对称的形状。 

引起渐晕时的光瞳强度分布和线扩散函数

与图5所示的光瞳强度分布相反，图6示出在由拍摄镜头引起渐晕的情况下所获得的光瞳强度分布和通过光瞳强度分布所获得的线扩散函数。图6(a)和6(b)分别示出在由拍摄镜头引起渐晕的情况下焦点检测像素SHA和焦点检测像素SHB的光瞳强度分布的特性。在图5所示的焦点检测像素SHA和SHB的光瞳强度分布中，仅将以区域(Area)1表示的轮廓所包围的区域用作焦点检测像素SHA和SHB的光接收区域。图6(c)是示出在由拍摄镜头引起渐晕的情况下的线扩散函数的图。类似于图5(c)，图6(c)所示的线扩散函数是图6(a)和6(b)所示的光瞳强度分布在y方向上的投影。横轴对应于图5(a)和5(b)中的x轴，并且纵轴示出线扩散函数的强度。原点O对应于拍摄镜头的光轴的位置。 

如图6(c)所示，类似于图5(c)，摄像元件的中央区域的焦点检测像素的线扩散函数LSF_A′和L SF_B′相对于光轴大致相互对称。然而，如图6(a)和6(b)所示，由于光瞳强度分布被区域1部分地剪切，因而线扩散函数LSF_A′和LSF_B′各自在x轴方向上相对于x轴方向上的重心具有非对称的形状。 

使用摄像元件107和摄像元件驱动电路124的焦点检测用的结构

图7是示出包括图1所示的摄像元件107和摄像元件驱动电路124的焦点计算结构的示意图。在图7中，为了便于理解，省略了A/D转换器。 

摄像元件107包括多个焦点检测像素901，其中，焦点检测像素901包括具有以上参考图3所述的结构的焦点检测像素901a 和焦点检测像素901b。焦点检测像素901a对应于焦点检测像素SHA，并且焦点检测像素901b对应于焦点检测像素SHB。摄像元件107还包括用于对通过拍摄镜头所形成的被摄体图像进行光电转换的摄像像素。 

摄像元件驱动电路124包括合成单元902和连结单元903。摄像元件驱动电路124在摄像元件107的摄像面上定义多个分区(区域)CST，以使得每一个分区CST包括多个焦点检测像素901。摄像元件驱动电路124可以根据需要改变分区CST的大小、配置和数量等。合成单元902进行通过对来自摄像元件107中定义的各分区CST中所包括的焦点检测像素901a的输出信号进行合成来获得针对单个像素的第一合成信号的处理。合成单元902还进行通过对来自各分区CST中所包括的焦点检测像素901b的输出信号进行合成来获得针对单个像素的第二合成信号的处理。连结单元903进行如下处理：通过在各个分区CST中连结与第一合成信号相对应的焦点检测像素来获得第一连结信号的处理；以及通过连结第二合成信号来获得第二连结信号的处理。因此，对于各个焦点检测像素901a和901b，获得了通过连结数量与分区的数量相同的焦点检测像素所获得的连结信号。CPU121基于第一连结信号和第二连结信号来计算拍摄镜头的离焦量。因此，将来自与同一光瞳分割方向相对应的各分区中所配置的焦点检测像素的输出信号合成在一起。因此，即使在各焦点检测像素901的亮度较小时，也可以可靠地检测被摄体的亮度分布。 

摄像元件107输出的图像信号

图8示出通过图7所示的焦点检测像素901、合成单元902和连结单元903所形成的并被发送至CPU 121的成对的图像信号。在图8中，横轴示出与所连结的信号相对应的像素排列的方向， 并且纵轴示出信号的强度。图像信号430a是通过焦点检测像素901a所形成的信号，并且图像信号430b是通过焦点检测像素901b所形成的信号。拍摄镜头的焦点位置处于离焦状态，因此，图像信号430a向左偏移，并且图像信号430b向右偏移。 

可以通过基于图像信号430a和430b之间的图像偏移量进行相关计算来确定拍摄镜头的焦点位置的偏移量。因此，可以进行焦点调节。在根据本实施例的焦点计算操作中，如以上参考图6所述，由于拍摄镜头所引起的渐晕，因而各线扩散函数相对于重心均具有非对称的形状。因此，通过焦点检测像素所获得的图像信号A和图像信号B各自也是非对称的。换句话说，图像的一致程度降低。在相位差焦点检测方法中，如果图像的一致程度低(如果图像非对称)，则无法精确地计算图像偏移量。因此，根据本实施例，通过校正图像信号的非对称性来解决该问题。 

图像信号的非对称性

现在将说明引起图像信号的非对称性的原因和用于校正该非对称性的方法。 

当f(x，y)是被摄体的光强度分布，并且g(x，y)是各图像信号的光强度分布时，下面的关系(卷积积分)成立。 

[数学式1] 

$g(x,y)=\underset{-\∞}{\overset{\∞}{\∫}}\underset{-\∞}{\overset{\∞}{\∫}}f(x-a,y-b)h(a,b)\mathrm{dadb}---\left(1\right)$

在上述等式中，将h(a，b)称为点扩散函数，其是表示被摄体由于图像形成系统而劣化的状态的传递函数。因此，需要获知点扩散函数以确定在焦点计算中要使用的一对图像信号。在使用图像偏移方法的焦点计算中，计算该对图像信号在一阶方向上的图像偏移量。因此，代替作为二阶函数的点扩散函数， 可以利用作为一阶函数的线扩散函数来评价与焦点计算有关的图像系统。因此，可以通过f(x)代替被摄体的光强度分布，并且可以通过g(x)代替各图像信号的光强度分布。因此，可以通过使用线扩散函数L(a)按照如下改写上述等式(1)。 

[数学式2] 

$g\left(x\right)=\underset{-\∞}{\overset{\∞}{\∫}}f(x-a)L\left(a\right)\mathrm{da}---\left(2\right)$

另外，可以将点扩散函数和线扩散函数之间的关系表示为下面给出的等式(3)。 

[数学式3] 

$L\left(a\right)=\underset{-\∞}{\overset{\∞}{\∫}}h(a,b)\mathrm{db}---\left(3\right)$

如上所述，点扩散函数是通过从点光源发射的并穿过光学系统的出射光瞳的光在成像面上所形成的点图像的强度分布，并且如果光学系统没有像差，则该点扩散函数被认为是出射光瞳的形状在成像面上的缩小投影。因此，光瞳强度分布可以代替点扩散函数h(a，b)。另外，通过等式(3)显而易见，可以将线扩散函数当作光瞳强度分布的投影。因此，在以上参考图5和6的说明中，将线扩散函数作为光瞳强度分布的投影进行说明。通过等式(2)显而易见，根据本实施例，通过将被摄体图像分别与参考图6所述的非对称的线扩散函数LSF_A′和LSF_B′进行卷积，获得了一对图像信号。因此，该对图像信号也是非对称的。如上所述，如果相关计算中所使用的图像信号是非对称的，则焦点位置计算的精度降低。通过校正该对图像信号的非对称性并提高图像的一致程度，可以有效地提高焦点位置计算的精度。 

用于校正图像信号的非对称性的方法

现在将说明用于校正图像信号的非对称性的方法。参考图 7，将通过焦点检测像素901a所获得的图像信号称为图像信号A，并且将通过焦点检测像素901b所获得的图像信号称为图像信号B。如上所述，图像信号A和B的非对称性是由非对称的线扩散函数LSF_A′和L SF_B′的卷积积分所引起的。 

图9示出用于说明为消除图像信号的非对称性所进行的图像校正滤波处理的概念图。在图9所示的各图中，横轴示出像素排列的方向，并且纵轴示出图像信号的强度。图9(a)示出被摄体的光强度分布Obj。图9(b)和9(c)分别示出焦点检测像素SHA和SHB的线扩散函数LSFAx和LSFBx。图9(d)和9(e)分别示出通过被摄体的光强度分布Obj分别与线扩散函数LSFAx和LSFBx进行卷积积分所获得的图像信号A(ImgA)和图像信号B(ImgB)。图9(f)示出通过图像信号A(ImgA)与用作图像校正滤波器的图像信号B的线扩散函数LSFBx进行卷积积分所获得的校正后的图像ReImgA。图9(g)示出通过图像信号B(ImgB)与用作图像校正滤波器的图像信号A的线扩散函数LSFAx进行卷积积分所获得的校正后的图像ReImgB。如图9(f)和9(g)所示，校正后的图像具有相同形状。现在将说明校正后的图像具有相同形状的原因。 

通过以上给出的等式(2)来计算图像信号A(ImgA)。当k(x)是通过图像信号A(ImgA)与线扩散函数LSFBx进行卷积积分所获得的校正后的图像ReImgA时，可以按照如下计算k(x)。 

[数学式4] 

$k\left(x\right)=\underset{-\∞}{\overset{\∞}{\∫}}g(x-b)L_B\left(b\right)\mathrm{db}$

$=\underset{-\∞}{\overset{\∞}{\∫}}\underset{-\∞}{\overset{\∞}{\∫}}f(x-a-b)L_A\left(a\right)\mathrm{da}{L}_B\left(b\right)\mathrm{db}$

$=\underset{-\∞}{\overset{\∞}{\∫}}\underset{-\∞}{\overset{\∞}{\∫}}f(x-a-b)L_A\left(a\right)L_B\left(b\right)\mathrm{dadb}---\left(4\right)$

可以类似地按照如下计算校正后的图像ReImgB。 

[数学式5] 

$k\left(x\right)=\underset{-\∞}{\overset{\∞}{\∫}}\underset{-\∞}{\overset{\∞}{\∫}}f(x-a-b)L_A\left(a\right)L_B\left(b\right)\mathrm{dadb}---\left(5\right)$

通过以上给出的等式(6)和(7)显而易见，ReImgA和ReImgB彼此相等。因此，可以通过使用ReImgA和ReImgB进行相关计算来计算图像偏移量。 

焦点计算的流程

现在将参考图10的流程图说明根据第一实施例的焦点计算的流程。通过CPU 121进行图10的流程图的操作。 

在步骤S001，获取用于确定由拍摄镜头所引起的渐晕的状态的镜头信息。在步骤S002，针对各焦点检测像素读取存储在CPU 121的ROM中的光瞳强度分布，并且使用光瞳强度分布和步骤S001所获得的与拍摄镜头所引起的渐晕有关的信息来计算线扩散函数。 

在步骤S003，计算步骤S002中所获得的线扩散函数的重心以确定基线长度。在步骤S004，读取来自焦点检测位置处的焦点检测像素的图像信号，并且生成图像信号A和B。在步骤S005，使用步骤S001中所获得的镜头信息和光瞳强度分布来估计步骤S004中所生成的图像信号A和B的明暗，并且进行明暗校正。 

在步骤S006，使用存储在CPU 121的ROM中的暗度值，对步骤S004中所生成的图像信号A和B进行暗度校正。在步骤S007，使用步骤S006中所获得的暗度校正之后的图像信号A和B，通过相关计算来确定图像偏移量。然后，根据图像偏移量和步骤S003中所确定的基线长度，来确定临时离焦量。 

在步骤S008，CPU 121判断步骤S007中所计算出的临时离焦量是否处于特定阈值所限定的预设范围内。如果判断为临时离焦量大于或等于预设阈值，则在不改变图像校正滤波器的间距(作为图像校正信息的线扩散函数的采样间距)的情况下，处理进入步骤S011。如果判断为临时离焦量小于预设阈值，则处理进入步骤S009，以计算图像校正滤波器的新的间距。因此，除改变图像校正滤波器的形状以外，还根据临时离焦量来改变图像校正滤波器的间距。现在将说明这样做的原因。如果离焦量较大，则滤波器长度也较大，并且可以相对精确地表示图像校正滤波器的形状。因此，可以通过图像校正处理器来降低图像信号的非对称性，并且可以精确地计算离焦量。另一方面，如果离焦量较小，则滤波器长度也较小，并且与离焦量较大的情况下的间距相等的图像校正滤波器的间距将会太大。因此，发生混叠失真，并且无法精确地表示步骤S002中所获得的线扩散函数的形状。结果，即使进行图像校正处理，也无法降低图像信号的非对称性，并且无法精确地计算离焦量。 

因为上述原因，优选地，根据离焦量来改变图像校正滤波器的间距。由此，同样改变了图像信号的间距。 

当步骤S007中所计算出的临时离焦量小于阈值时，进行步骤S009和S010。在步骤S009，基于步骤S007中所计算出的临时离焦量来计算图像校正滤波器的间距。 

在步骤S010，根据步骤S009中所计算出的图像校正滤波器的间距，对图像信号进行诸如线性插值或样条插值等的插值处理。 

在步骤S011，CPU 121计算图像校正滤波器。 

在步骤S012，通过图像信号与步骤S011中所计算出的图像校正滤波器进行卷积积分来获得校正后的图像信号。 

在步骤S013，类似于步骤S007，使用步骤S012中计算出的校正后的图像信号，通过相关计算来计算图像偏移量。然后，根据图像偏移量和步骤S003中所确定的基线长度来获得离焦量。因此，焦点计算处理的流程结束。 

图像校正滤波器的确定

现在将参考图11～14说明用于计算图像校正滤波器的方法。首先，将参考图11说明用于确定图像校正滤波器的宽度的方法。 

图11示出离焦状态下入射至摄像元件107的光束。图11(a)示出前焦点状态下的光束，并且图11(b)示出后焦点状态下的光束。附图标记Zaf表示摄像元件107的平面和光瞳面Me之间的距离，附图标记Raf表示图6所示的区域1在x方向上的宽度，并且附图标记Def表示离焦量。通过图11(a)显而易见，在前焦点状态下，线扩散函数LSF_A1′在光瞳面Me上具有宽度Raf，并且该宽度在摄像元件107的平面上减小成Wf。由于图像是在前焦点状态下形成的，因而线扩散函数LSF_A1′处于左右方向上反转的状态。考虑到Def在前焦点状态下为负值这一情况，可以通过下面的等式来计算宽度Wf。 

[数学式6] 

$\mathrm{Wf}=\left|\frac{\mathrm{Raf}\×\mathrm{Def}}{\mathrm{Zaf}+\mathrm{Def}}\right|---\left(8\right)$

将通过等式(8)所获得的宽度Wf用作前焦点状态下的线扩散函数的宽度、即图像校正滤波器的宽度。类似地，在后焦点状态下，线扩散函数LSF_A2′的宽度在摄像元件107的平面上减小成Wb。在后焦点状态下，线扩散函数LSF_A2′并未处于左右方向上反转的状态。另外，通过等式(8)来计算线扩散函数LSF_A2′的宽度、即后焦点状态下的图像校正滤波器的宽度Wb。上述说明 同样适用于线扩散函数LSF_B′，因此省略对其的详细说明。 

接着，应用增益以进行用于使图像校正滤波器的强度恒定的调整。由于在步骤S005对图像信号A和B进行明暗校正，因而进行该调整。调整图像信号A和B的图像校正滤波器的强度，以消除图像校正处理后的图像信号之间的强度差。 

然后，移动图像信号A和B的图像校正滤波器的波形，以使得图像校正滤波器的重心彼此一致。进行该处理以避免图像信号的重心在图像校正处理之后发生移动。因此，计算出图像校正滤波器。 

现在将参考图12～14说明根据第一实施例的用于根据离焦量改变滤波器的间距的处理。图12～14示出根据离焦量通过相应的线扩散函数形成各图像校正滤波器的方式。图12示出线扩散函数LSF，其中，基于该线扩散函数LSF构成了图像校正滤波器。在图12中，附图标记W表示滤波器宽度，并且附图标记H表示滤波器强度。图13示出根据较大的离焦量进行改变得到的线扩散函数LSFw和通过对线扩散函数LSFw进行采样所获得的图像校正滤波器Filw。图14示出根据较小的离焦量进行改变得到的线扩散函数LSFn、通过对线扩展函数LSFn进行采样所获得的图像校正滤波器Filn以及通过利用减小的间距对线扩散函数LSFn进行采样所获得的图像校正滤波器Filnp。 

在示出离焦量较大的情况的图13中，如图13(a)所示的线扩散函数LSFw那样，滤波器长度较大，并且滤波器宽度为α1W。另外，用于调整强度的高度为β1H。通过采样处理所获得的图13(b)所示的图像校正滤波器Filw相对精确地示出了线扩散函数LSFw的形状。另一方面，在示出离焦量较小的情况的图14中，如图14(a)所示的线扩散函数LSFn那样，滤波器长度较小，并且滤波器宽度为α2W。另外，用于使强度恒定的高度为β2H。 通过采样处理所获得的图14(b)所示的图像校正滤波器Filn的滤波器宽度α2W相对于图像校正滤波器的间距而言非常小。因此，无法精确地表示线扩散函数LSFn的形状。因此，如图14(c)所示，减小图像校正滤波器的间距，从而可以通过采样处理获得相对精确地表示线扩散函数LSFn的形状的图像校正滤波器Filnp。 

如上所述，根据离焦量来改变滤波器间距(即，图像校正信息的采样间距)。因此，即使当离焦量较小时，也可以计算相对精确地表示线扩散函数的形状的图像校正滤波器。如上所述，根据第一实施例，根据临时离焦量来改变图像校正滤波器的形状和间距。因此，可以将该间距设置成用于计算离焦量的最佳间距。 

由于根据临时离焦量来改变图像校正滤波器的形状和间距，因而即使在聚焦位置附近的区域，也可以校正图像信号。 

另外，由于即使在聚焦位置附近的区域也可以校正图像信号，因而可以进行高精度的焦点调节。 

在第一实施例中，使用图像偏移方法进行相关计算。然而，在使用其它方法时，也可以获得相同的效果。 

第二实施例

第二实施例是第一实施例的变形例。 

与F值相对应的图像校正滤波器

在第一实施例中，根据离焦量来改变图像校正滤波器的间距。另一方面，第二实施例的特征在于：还根据拍摄镜头的F值来改变图像校正滤波器的间距。通过CPU 121来进行图16的流程图的操作。根据第二实施例的光学设备中所进行的焦点调节处理和拍摄处理与根据第一实施例的光学设备中所进行的焦点调节处理和拍摄处理相同。因此，将省略对这些处理的说明。 

图15和16是示出本实施例、即第二实施例的图。图15示出 根据F值、通过相应的线扩散函数形成各图像校正滤波器的方式。图16是通过向图10的流程图添加用于根据F值改变间距的处理所获得的流程图。 

图15示出与F值相对应的焦点检测像素的光瞳面上的由拍摄镜头所引起的渐晕。图15(a)和15(b)从上开始依次示出用于说明渐晕、线扩散函数LSFfw和L SFfn、以及图像校正滤波器Filfw和Filfn的图。更具体地，最上面的图示出了入射光束在摄像元件的中央区域的焦点检测像素的光瞳面上的光瞳强度分布中的由拍摄镜头所引起的渐晕。中间的图示出了通过光瞳强度分布所获得的线扩散函数LSFfw和LSFfn。最下面的图示出了通过对线扩散函数进行采样所获得的图像校正滤波器Filfw和Filfn。如图15(a)所示，当拍摄操作时的F值较小时，图像校正滤波器Filfw精确地表示了线图像LSFfw的非对称形状。另一方面，如图15(b)所示，当拍摄操作时的F值较大时，通过穿过光瞳强度分布的较小区域的光束形成了线图像。因此，与如图15(a)所示的F值较小的情况下的间距相等的间距将会太大，并且通过图像校正滤波器Filfn无法精确地表示线图像LSFfn的形状。 

按照上述两点，优选地，根据F值来改变图像校正滤波器的间距。因此，同样改变了图像信号的间距。 

现在将参考图16的流程图说明根据第二实施例的焦点计算的流程。 

步骤S001～S007与以上参考图10所述的第一实施例中的步骤S001～S007相同。因此，将省略对这些步骤的说明。 

在步骤S008，CPU 121判断步骤S001中所获得的拍摄操作时的F值是否处于预设范围内。如果判断为拍摄操作时的F值大于或等于预设阈值，则处理进入步骤S010。如果判断为拍摄操作时的F值小于预设阈值，则处理进入步骤S009，以计算图像 校正滤波器的间距。因此，根据拍摄操作时的F值来切换图像校正滤波器的间距。 

在步骤S009，基于步骤S001中所获得的拍摄操作时的F值来计算第一滤波器间距(即，图像校正信息的采样间距)。 

在步骤S010，与第一实施例相同，根据步骤S 007中所计算出的临时离焦量来判断是否要切换图像校正滤波器的间距。 

当步骤S007中所计算出的临时离焦量小于阈值时，进行步骤S011和S012。在步骤S010，基于步骤S007中所计算出的临时离焦量来计算第二滤波器间距。 

在步骤S012，确定图像校正滤波器的间距。 

更具体地，如果在步骤S008中判断为F值大于或等于阈值，并且在步骤S010中还判断为临时离焦量大于或等于阈值，则将预定间距确定为图像校正滤波器的间距。 

如果在步骤S008中判断为F值小于阈值并且在步骤S010中还判断为临时离焦量大于或等于阈值，则将步骤S009中所计算出的第一滤波器间距确定为图像校正滤波器的间距。 

如果在步骤S008中判断为F值大于或等于阈值并且在步骤S010中还判断为临时离焦量小于阈值，则将步骤S011中所计算出的第二滤波器间距确定为图像校正滤波器的间距。 

如果在步骤S008中判断为F值小于阈值并且在步骤S010中还判断为临时离焦量小于阈值，则将较小的间距确定为图像校正滤波器的间距。该较小的间距是步骤S009中所计算出的第一滤波器间距和步骤S011中所计算出的第二滤波器间距中较小的间距。 

在步骤S013，根据步骤S012中所计算出的图像校正滤波器的间距，对图像信号进行诸如线性插值或样条插值等的插值处理。 

在步骤S014，使用步骤S012中所确定的图像校正滤波器的间距来计算图像校正滤波器。然后，与第一实施例相同，在步骤S015中进行图像校正滤波处理，并且在步骤S016，基于通过相关计算所获得的图像偏移量和步骤S003中所确定的基线长度来确定离焦量。因此，焦点计算处理的流程结束。 

如上所述，根据第二实施例，根据F值来改变图像校正滤波器的形状和间距。因此，可以将间距设置成用于计算离焦量的最佳间距。 

由于根据F值来改变图像校正滤波器的形状和间距，因而即使在聚焦位置附近的区域中，也可以校正图像信号。 

另外，由于即使在聚焦位置附近的区域中也可以校正图像信号，因而可以进行高精度的焦点调节。 

在第二实施例中，使用图像偏移方法进行相关计算。然而，在使用其它方法时，也可以获得相同的效果。 

其它实施例

还可以通过下面的处理来实现本发明。也就是说，可以经由网络或者通过各种存储介质将用于实现上述实施例的功能的软件(程序)提供给系统或设备，并且通过该系统或设备中所包括的计算机(或者CPU、MPU等)读出并执行该软件(程序)。 

附图标记列表

107 摄像元件 

121 CPU 

124 摄像元件驱动电路 

125 图像处理电路 

TL 拍摄镜头 

OBJ 被摄体 

IMG 图像信号 

EP 出射光瞳 

EPHA、EPHB 分割后的出射光瞳 

SHA、SHB 焦点检测像素 

ML 片上微透镜 

CL 配线层 

OPHA、OPHB 像素开口部 

430a、430b 图像信号 

LSFw、LSFn、LSFA、LSFB线扩散函数 

Filw、Filn、Filfw、Filfn 图像校正滤波器 。 

Claims (9)

1.一种焦点调节设备，包括：

摄像部件，其包括第一像素组和第二像素组，所述第一像素组接收穿过用于形成被摄体图像的摄像光学系统的第一光瞳区域的光束，并且所述第二像素组接收穿过与所述第一光瞳区域不同的第二光瞳区域的光束；

校正部件，用于使用具有与如下离焦量相对应的采样间距的图像校正信息，来校正基于来自所述第一像素组的输出信号的第一图像信号和基于来自所述第二像素组的输出信号的第二图像信号，其中，该离焦量是通过所述第一图像信号和所述第二图像信号之间的相对图像偏移量而确定的；以及

焦点调节部件，用于基于通过作为所述校正部件进行的校正的结果所获得的校正后的第一图像信号和校正后的第二图像信号之间的相对图像偏移量而确定的离焦量，来调节所述摄像光学系统的焦点状态。

2.根据权利要求1所述的焦点调节设备，其特征在于，在所述校正部件中，与通过所述第一图像信号和所述第二图像信号之间的相对图像偏移量而确定的离焦量是第一离焦量的情况相比，在所述离焦量是第二离焦量的情况下，所述图像校正信息的采样间距较小，其中，所述第二离焦量小于所述第一离焦量。

3.根据权利要求1或2所述的焦点调节设备，其特征在于，所述图像校正信息包括与通过所述第一图像信号和所述第二图像信号之间的相对图像偏移量而确定的离焦量相对应的线扩散函数，以及

通过所述第一像素组所获得的第一图像信号和与所述第二光瞳区域相对应的第二线扩散函数的卷积积分来生成校正后的第一图像信号，并且通过所述第二像素组所获得的第二被摄体图像和与所述第一光瞳区域相对应的第一线扩散函数的卷积积分来生成校正后的第二图像信号。

4.根据权利要求1至3中任一项所述的焦点调节设备，其特征在于，基于所述摄像光学系统的渐晕信息和光瞳强度分布的信息来计算所述图像校正信息。

5.根据权利要求1至4中任一项所述的焦点调节设备，其特征在于，所述图像校正信息是用于提高图像的一致程度的信息。

6.根据权利要求1至5中任一项所述的焦点调节设备，其特征在于，在所述校正部件中，与拍摄镜头的F值是第一值的情况相比，在所述拍摄镜头的F值是第二值的情况下，所述图像校正信息的采样间距较小，其中，所述第二值大于所述第一值。

7.一种焦点调节设备的焦点调节方法，所述焦点调节设备包括摄像部件，所述摄像部件包括第一像素组和第二像素组，所述第一像素组接收穿过用于形成被摄体图像的摄像光学系统的第一光瞳区域的光束，并且所述第二像素组接收穿过与所述第一光瞳区域不同的第二光瞳区域的光束，所述焦点调节方法包括以下步骤：

校正步骤，用于使用具有与如下离焦量相对应的采样间距的图像校正信息，来校正基于来自所述第一像素组的输出信号的第一图像信号和基于来自所述第二像素组的输出信号的第二图像信号，其中，该离焦量是通过所述第一图像信号和所述第二图像信号之间的相对图像偏移量而确定的；以及

焦点调节步骤，用于基于作为所述校正步骤中进行的校正的结果所获得的校正后的第一图像信号和校正后的第二图像信号之间的相对图像偏移量而确定的离焦量，来进行用于调节所述摄像光学系统的焦点状态的控制。

8.一种使计算机执行根据权利要求7所述的焦点调节方法的步骤的程序。

9.一种存储有根据权利要求8所述的程序的计算机可读存储介质。

Images