CN103491287B - 图像捕获装置 - Google Patents

Abstract

本发明提供图像捕获装置，其包括：摄像光学系统；图像传感器；光瞳分割单元，其将入射到图像传感器上的各像素的光束限制到摄像光学系统的特定光瞳区域；入射角确定单元，其确定对图像传感器上的各像素的入射角；图像移位单元，其基于由入射角确定单元确定的入射角和进行图像生成的平面的位置，对从图像传感器获得的电信号进行移位；以及图像生成单元，其将从图像移位单元获得的电信号合成。

Description

图像捕获装置

技术领域

本发明涉及以数字照相机为代表的图像捕获装置，更特别地，涉及能够获取光线空间信息（也称为光场）的照相机的信号处理技术。

背景技术

近来的数字照相机增加了越来越多的复杂功能，并且技术差别化变得越来越困难。作为新的照相机形式，提出了能够获取光线空间信息的照相机。通常将这种照相机称为光场照相机等。光场照相机能够提供如下功能：通过获取通过不同光瞳区域的光束，并重新构造图像以获得输出图像，来改变拍摄之后的聚焦位置。

重新构造处理需要准确的光线信息。然而，有时由于例如用于获取摄影镜头的日蚀（eclipse）状态和用于获取光线空间信息的光学元件（使用微透镜阵列等）的定位精度的影响，而难以获得准确的光线信息。

为了解决该问题，日本特开2009-175680号公报公开了一种光场照相机，其通过记录微透镜阵列和光接收元件阵列的信息，并对该信息进行适当的处理，消除了对准确定位的需要。

此外，日本特开2010-152006号公报公开了一种即使在焦点检测装置的光学系统中发生日蚀的情形下，也通过进行适当的信号处理，以高精度检测焦点的技术。

然而，在发生日蚀的情形下，在这些专利文献中公开的传统技术有时难以获得适当的图像。更具体来说，日本特开2009-175680号公报没有公开应对在发生日蚀时摄影镜头的角度精度的方法。日本特开2010-152006号公报没有公开在考虑到日蚀的情况下光场照相机中的输出图像生成方法。

发明内容

作出了本发明，以解决上述问题，本发明提供用作光场照相机的图像捕获装置，即使在摄影镜头等产生日蚀的情形下，其也能够获得高品质输出图像。

根据本发明的第一方面，提供一种图像捕获装置，其包括：摄像光学系统；图像传感器；光瞳分割单元，其将入射到所述图像传感器上的各像素的光束限制到所述摄像光学系统的特定光瞳区域；入射角确定单元，其确定对所述图像传感器上的各像素的入射角；图像移位单元，其基于由所述入射角确定单元确定的所述入射角和进行图像生成的平面的位置，对从所述图像传感器获得的电信号进行移位；以及图像生成单元，其将从所述图像移位单元获得的电信号合成。

根据本发明的第二方面，提供一种图像捕获装置，其包括：摄像光学系统；图像传感器；光瞳分割单元，其将入射到所述图像传感器上的各像素的光束限制到所述摄像光学系统的特定光瞳区域；日蚀确定单元，其确定所述图像传感器上的各像素中的日蚀；图像移位单元，其针对各通过光瞳区域对从所述图像传感器获得的电信号进行移位；以及图像生成单元，其将除了所述日蚀确定单元确定发生了日蚀的区域之外的、从所述图像移位单元获得的电信号合成。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出作为根据本发明的图像捕获装置的实施例的数字照相机和镜头的电气配置的框图；

图2A至2C是用于说明本发明的实施例中的摄像光学系统的主要部分的视图；

图3A至3D是示出在本发明的实施例中获得图像的操作的流程图；

图4是用于说明图像重新构造的视图；

图5A至5E是用于说明日蚀的产生的视图；

图6是用于说明发生日蚀的情形下的图像重新构造的视图；

图7A至7D是示出本发明的另一示例的流程图；以及

图8A至8C是用于说明适合本发明的其它光学系统的视图。

具体实施方式

现在，参照附图详细描述本发明的优选实施例。

图1是示出作为根据本发明的图像捕获装置的实施例的数字照相机和镜头的电气配置的框图。由照相机1和镜头（摄影镜头）2形成的照相机系统包括摄像系统、图像处理系统、记录/再现系统和控制系统。摄像系统包括摄像光学系统3和图像传感器6。图像处理系统包括图像处理器7。记录/再现系统包括存储器8和显示单元9。控制系统包括照相机系统控制电路5、操作检测器10、透镜系统控制电路12和透镜驱动单元13。透镜驱动单元13能够驱动焦点透镜、模糊校正透镜、光圈等。

摄像系统是将来自物体的光经由摄像光学系统3在图像传感器6的图像感测表面上形成为图像的光学处理系统。图像传感器6将形成的光学图像转换为预定电信号。在图像传感器6的表面上排列微透镜，微透镜形成所谓的微透镜阵列（下文中称为MLA）。在实施例中，MLA形成光瞳分割单元。稍后将参照图2A至2C描述MLA的功能和配置的细节。如稍后将描述的，从图像传感器6获得聚焦评价量/正确的曝光量。通过基于该信号适当地调节摄像光学系统3，用适当量的物体光对图像传感器6进行曝光，并且在图像传感器6附近形成被摄体图像。

图像处理器7包含A/D转换器、白平衡电路、伽马校正电路、插值计算电路等，其能够生成记录图像。此外，图像处理器7能够包含作为实施例的主要元素的图像移位单元、图像生成单元、对比度评价单元、相关度计算单元等。然而，将假设这些元素布置在透镜系统控制电路12中，来说明实施例。

存储器8除了实际存储单元之外，还包括进行记录所需的处理电路。存储器8进行到记录单元的输出，并且生成并保存要向显示单元9输出的图像。存储器8使用预定方法对图像、电影、声音等进行压缩。

照相机系统控制电路5生成并输出进行图像捕获时的定时信号等。照相机系统控制电路5响应于外部操作，控制摄像系统、图像处理系统和记录/再现系统。例如，当操作检测器10检测到按下快门释放按钮（未示出）时，照相机系统控制电路5控制图像传感器6的驱动、图像处理器7的操作、存储器8的压缩处理等。此外，照相机系统控制电路5控制通过显示单元9在液晶监视器等上显示信息的信息显示设备的各区段的状态。

接下来，说明由控制系统进行的光学系统调节操作。图像处理器7连接到照相机系统控制电路5，其基于来自图像传感器6的信号，获得适当的焦点位置和光圈位置。照相机系统控制电路5经由电气接点11向透镜系统控制电路12发出指令，并且透镜系统控制电路12适当地对透镜驱动单元13进行控制。照相机抖动检测传感器（未示出）连接到透镜系统控制电路12。在照相机抖动校正模式下，透镜系统控制电路12基于照相机抖动检测传感器信号，经由透镜驱动单元13对模糊校正透镜进行适当的控制。

图2A至2C是用于说明实施例中的摄像光学系统的主要部分的视图。在实施例中，除了被称为光线空间信息的光线位置之外，还需要获取角度信息。在实施例中，MLA布置在摄像光学系统3的成像平面附近，以获取角度信息，并且多个像素对应于形成MLA的一个透镜。

图2A是示意性地示出图像传感器6和MLA20之间的关系的视图。图2B是示出图像传感器的像素和MLA之间的对应关系的示意图。图2C是示出MLA将布置在MLA下面的像素与特定光瞳区域相关联的视图。

如图2A所示，MLA20布置在图像传感器6上。MLA20的前侧主点布置在摄像光学系统3的成像平面附近。图2A示出了从图像捕获装置的侧面和正面看时的MLA的状态。当从图像捕获装置的正面看时，MLA被布置为其透镜覆盖图像传感器6上的像素。注意，为了易于观看，在图2A中放大了形成MLA的各微透镜。实际上，各微透镜的尺寸大约仅仅是像素尺寸的几倍。参照图2B说明实际尺寸。

图2B是图2A中的装置的部分放大正视图。图2B中的网格表示图像传感器6的各像素。由粗圆形20a、20b、20c和20d表示形成MLA的各微透镜。从图2B很明显，对一个微透镜分配多个像素。在图2B的示例中，针对一个微透镜布置了5×5=25个像素。也就是说，各微透镜的尺寸是各像素的尺寸的5×5倍。

图2C是使得包括微透镜的光轴的传感器的纵向方向与图2C中的横向方向一致的图像传感器6的截面图。在图2C中，附图标记21、22、23、24和25表示图像传感器6的像素（一个光电转换单元）。图2C中的上部视图示出了摄像光学系统3的出射光瞳平面。当使得上部视图的方向与图2C中的下部传感器视图的方向一致时，出射光瞳平面实际上处于与图2C的纸表面垂直的方向。然而，为了方便描述，改变投影方向。此外，在图2C中，为了方便描述，将说明一维投影/信号处理。在实际装置中，能够容易地进行二维展开。

与图2B中的21a、22a、23a、24a和25a分别处于与图2C中的像素21、22、23、24和25相对应的位置。如图2C所示，各像素被设计为经由MLA20与摄像光学系统3的出射光瞳平面上的特定区域共轭。在图2C的示例中，像素21和区域31彼此相对应，像素22和区域32彼此相对应，像素23和区域33彼此相对应，像素24和区域34彼此相对应，像素25和区域35彼此相对应。也就是说，仅通过摄像光学系统3的出射光瞳平面上的区域31的光束入射到像素21。这也适用于其余像素。其结果是，能够根据光瞳平面上的通过区域和图像传感器6上的位置之间的关系，获取角度信息。

为了方便后续描述，将引入符号。如图2C所示，Δx是图像传感器6的像素间距，Δθ是角度分辨率。此外，Nθ是角度分割计数（在图2C的示例中，Nθ=5）。像素间距由图像传感器6的形状确定，Δθ由获取光线的角度的范围和角度分割计数Nθ确定。也就是说，这些参数仅由物理结构（图像传感器6和MLA20的结构）确定。

参照图3A至6，说明使用根据本实施例的摄像光学系统，获得根据图像传感器6的信号对日蚀的影响进行了适当处理的图像的方法。

图3A至3D是示出本实施例中的获得图像的操作的流程图。图3A示出了获得图像的总体操作。图3B示出了图像移位单元的操作。图3C示出了图像生成单元的操作。图3D示出了相关度计算单元的操作。

从图3A开始，逐个步骤说明操作。步骤S1表示开始图像获取操作。例如，当图1中的操作检测器10检测到来自用户的特定操作（例如按下释放按钮）时，图像获取操作开始。

在步骤S2中，将图像传感器6曝光适当的时间，并且读出（A/D转换）并获取数据。

在步骤S3中，相关度计算单元工作以获得结果。从相关度计算单元获得关于聚焦评价值的信息。稍后将参照图3D描述该操作的细节。

在步骤S4中，针对各适当地分割的区域（与步骤S62中的评价框相对应，稍后将在对相关度计算单元的描述中对其进行说明），确定聚焦位置。将从相关度计算单元（稍后描述）获得的聚焦评价值最佳的位置定义为聚焦位置。注意，“最佳”对应于根据步骤S66（稍后描述）中的相关度计算方程的小的值。

该聚焦位置指示与当前聚焦位置的相对聚焦移位。更具体来说，作为0获得当前聚焦位置处的对焦的被摄体的聚焦位置，并且作为正值和负值获得该被摄体之前和之后的被摄体的聚焦位置。此外，聚焦位置不指示被摄体侧的深度，而指示图像平面侧的成像平面的位置。

在步骤S5中，图像移位单元工作以获得结果。能够通过几种方法获得这时的图像生成位置。例如，可以通过将在步骤S4中获得的各区域的聚焦位置与被摄体识别结果组合，来给出聚焦位置。因此，能够将焦点调节到识别为被摄体的物体。作为另一种方法，能够给出用户指定的位置。这能够实现所谓的手动聚焦。稍后将参照图3B描述图像移位单元的操作的细节。

在步骤S6中，图像生成单元操作以获得结果。稍后将参照图3C描述图像生成单元的操作的细节。在步骤S7中，对图像进行诸如到记录图像格式的转换和压缩的适当的处理，然后将图像记录在存储器8中。

在步骤S8中，从图像获取到记录的一系列操作结束。

参照图3B说明图像移位单元的操作的细节。步骤S21表示开始图像移位单元的操作。

步骤S22至S27形成循环。在步骤S22中，将循环计算执行与光瞳分割计数相对应的次数。在图2A至2C所示的示例中，将光瞳分割为25个，因此根据25个光瞳位置执行计算。如稍后将参照图5A至5E描述的，考虑图像重新构造，如果即使在同一重新构造平面上，入射角也改变（几乎与当出射光瞳足够远时，通过光瞳区域改变同义），则改变图像移位的量。该循环适当地反映图像移位量。

在步骤S23中，基于在步骤S24和S25中获得的数据，计算与评价位置相对应的各光瞳区域中的图像移位量。在步骤S24中，存储诸如从进行拍摄的镜头获得的光瞳距离、设置的f值以及正在进行处理的像素的图像高度的信息。在步骤S25中，保存各像素和MLA之间的对应关系，并且存储表示各像素接收了来自哪个光瞳区域的光线的信息。稍后将参照图4和图5A至5E详细描述基于这些信息到移位量的转换操作。由于在步骤S23、S24和S25中获得了考虑日蚀等的入射角，并且将其转换为移位量，因此这部分对应于入射角确定单元。

在步骤S26中，基于步骤S23中的信息，移位接收具有相同入射角的光线（接收来自相同光瞳区域的光线）的像素。接收具有相同入射角的光线的像素例如是图2B中的25a和25b。存在形成MLA的微透镜的数量的这些像素。稍后将参照图4和图5A至5E说明图像移位单元。

在步骤S28中，处理返回到调用源步骤S4。

参照图3C说明图像生成单元的操作的细节。步骤S31表示开始图像生成单元的操作。

在步骤S32中，将用于在步骤S35中相加的区域数据初始化（用0填充）。这时的数据区域的大小对于MLA的量足够了。只要数据灰度级能够存储原始数据的灰度级和光瞳分割计数的积即可。例如，当原始数据由8位形成，并且光瞳分割计数是25时，13位（>8位+log₂25）足够了，并且不需要考虑数据溢出。

步骤S33至S38形成循环。在步骤S33中，将循环计算执行形成MLA的微透镜的数量的次数。在图2A至2C所示的示例中，原始图像传感器的像素的数量÷25（光瞳分割计数）=微透镜的数量。

步骤S34至S37形成循环。在步骤S34中，将循环计算执行与光瞳分割计数相对应的次数。在图2A至2C所示的示例中，将光瞳分割为25个，因此对来自25个光瞳位置的光束进行处理。

在步骤S35中，确定当前光瞳区域是否是要相加的光瞳区域。更具体来说，根据用户设置改变要相加的区域，从而提供用户希望的图像。通常，增加要相加的光瞳区域的数量以高S/N（信号/噪声）比提供焦点深度较浅的图像，而减少要相加的光瞳区域的数量以低S/N比提供焦点深度深的图像。

在步骤S36中，进行相加。如果移位量不是像素的整数倍，则在相加步骤S36中，在内部对其进行适当的分割，并且进行相加。根据重叠面积将移位量适当地相加即可。稍后将参照图4说明图像生成单元。

在步骤S39中，处理返回到调用源步骤S7。

参照图3D说明相关度计算单元的操作的细节。步骤S61表示开始相关度计算单元的操作。

在步骤S62中，设置进行评价的评价点的数量和评价框的大小。优选将该评价框最小化，只要能够针对噪声等适当地计算相关度。因此，当进行缺陷校正时，能够适当地检测聚焦位置。

步骤S63至S69形成循环。在步骤S63中，重复进行计算，以获得在步骤S62中确定的评价的数量的评价值。步骤S64至S67形成循环。在步骤S64中，在与在步骤S62中确定的评价框大小相对应的像素数量的范围内，进行相关度计算。

在步骤S65中，确定A_i或B_i是否是缺陷。如果A_i或B_i是缺陷，则不能将其用于相关度计算，因此处理前进到步骤S67；如果其不是缺陷，则处理前进到步骤S66。如在步骤S66中，能够通过Σ|A_i-B_i|计算相关度。A_i是通过特定光瞳区域的第i个像素的亮度。B_i是通过与A_i不同的特定光瞳区域的第i个像素的亮度。例如，在图2B和2C中，A_i是仅与像素22相对应的像素的阵列的亮度，而B_i是仅与像素24相对应的像素的阵列的亮度。能够基于基线长度、光瞳平面的日蚀状态等，确定要选择的光瞳区域的像素。

使用上面的设置，能够计算通过不同光瞳区域的图像之间的相关度，并且能够获得基于所谓的相位差AF的评价量。在步骤S68中，存储获得的相关值作为评价量。

在评价公式Σ|A_i-B_i|中，相关值最小的部分对应于聚焦状态最佳的部分。虽然通过将绝对差值相加的方法来计算相关度，但是其可以通过诸如将最大值相加的方法、将最小值相加的方法或者将差的平方相加的方法的其他计算方法来计算。

在步骤S70中，处理返回到调用源步骤S7。

接下来，参照示意性地示出图像移位和图像生成（图像合成）的图4，描述图像重新构造的对比度计算的有用性。在图4中，4a、4b和4c从上到下排列。在图4中，4b表示图像传感器6实际存在并且获取图像的平面。在图4中，4a表示与图4的4b相比处于物体侧的重新构造平面（称为重新构造平面1）。在图4中，4c表示比图4的4b距离物体侧更远的一侧的重新构造平面（称为重新构造平面2）。

在图4的4b中，X_1,i,、X_2,i、X_3,i、X_4,i和X_5,i是从通过光瞳区域1、2、3、4和5并且入射到微透镜Xi的光束获得的数据。下标的前一个字母表示通过光瞳区域，后一字母表示像素编号。此外，在图4中，为了方便描述，数据被描述为仅具有一维扩散。在与物理位置的关系中，X_1,i是从图2C中的区域21获得的数据，X_2,i是从图2C中的区域22获得的数据。类似地，下标“3”、“4”和“5”分别对应于区域23、24和25。

为了在获取平面上生成图像，如图4的4b所示，将入射到微透镜X_i的数据相加。更具体来说，能够通过S_i=X_1,i+X_2,i+X_3,i+X_4,i+X_5,i获得入射到X_i的光在角度方向上的积分值。其结果是，生成与由通常的照相机获得的图像相同的图像。

接下来，考虑重新构造平面1上的图像生成方法。如参照图1所描述的，本实施例中的摄像光学系统将入射到各像素的光束限制到特定光瞳区域，因此入射角预先是已知的。沿着该角度重新构造各像素在该重新构造平面上的位置。更具体来说，假设像X_1,i的光瞳区域下标为1的光束以在图4的右侧的角度41入射。类似地，假设光瞳区域下标2、3、4和5分别对应于42、43、44和45。这时，重新构造平面1上的入射到微透镜X_i的光束，在获取平面上在从X_i-2到X_i+2之间分散并入射。更具体来说，光束分散为X_1,i-2、X_2,i-1、X_3,i,、X_4,i+1、X_5,i+2。为了不仅在X_i上，而且在重新构造平面1上恢复图像，根据入射角将图像移位并相加。为了生成重新构造平面1上的图像，能够通过将光瞳区域下标为1的图像向右移位两个像素，将光瞳区域下标为2的图像向右移位一个像素，不对光瞳区域下标为3的图像进行移位，将光瞳区域下标为4的图像向左移位一个像素，并且将光瞳区域下标为5的图像向左移位两个像素，来给出与入射角相对应的移位。之后，在图4的4a中的垂直方向上，将数据相加，获得重新构造平面1上的数据。更具体来说，能够通过S_i=X_1,i-2+X_2,i-1+X_3,i+X_4,i+1+X_5,i+2，获得重新构造平面1上的入射到X_i的光在角度方向上的积分值。以这种方式，能够获得重新构造平面上的图像。

假设在重新构造平面1上在X_i中存在亮点，其分散到X_1,i-2、X_2,i-1,、X_3,i、X_4,i+1和X_5,i+2，并且处于所谓的模糊状态。然而，当生成重新构造平面1上的图像时，在X_i中再次生成亮点，并且获得高对比度图像。也就是说，通过重新构造图像并且计算对比度，能够进行所谓的对比度AF。

从图4的4c很明显，通过与在重新构造平面1上完全相同的方式，即使在重新构造平面2上，也能够生成图像。当布置重新构造平面的方向不同（这意为相对于物体的相对侧）时，仅将移位方向反转即可。

参照图5A至5E说明发生日蚀的情形下的处理。

图5A是对应于图2A的视图，其示出了MLA的配置，还详细地示出了微透镜，将参照图5B至5D对微透镜进行放大并说明。图5B是仅对应于图2C中的出射光瞳平面的图示的视图。图5C至5E是用于说明发生日蚀的状态的视图。

图5A示出了从正面看时的MLA20的状态。附图标记50示意性地表示微透镜在该位置形成的图像圈。由于在图5A中缩小并示出了图像圈50，并且其形状不清楚，因此图5B放大并示出了该位置处的图像圈。图像圈50示出了复杂的日蚀。在图5B的示例中，图像圈50具有由两个弧形形成的形状。微透镜的形状是圆形，但是其图像圈不总是圆形。下面将说明这种状态。

参照图5C至5E描述日蚀的产生。图5C示意性地示出了图像传感器6、光圈57以及各透镜框56和58（用于保持透镜等的部分，通常是不限制框中心49处的光线、但是限制取决于图像高度的光线的端面的可能部分之外以及光瞳之外的框部件）与日蚀之间的关系。图5D是示出在框中心49处光圈57与透镜框56和58之间的位置关系的视图。图5E是示出在图像传感器6上的给定点50处光圈57与透镜框56和58之间的位置关系的视图。

为了方便描述，图5C示出了相对于光圈57在图像传感器6侧的一个透镜框和在相对侧的一个透镜框。然而，图5C是示意图，透镜框的数量不限于一侧一个。在图5C中，表示光圈57的粗直线一维地表示孔径大小。实际光圈几乎是圆形的，粗直线示意性地表示直径。这也适用于透镜框56和58。当从框中心49看时，射向光圈57的光线不因透镜框56和58而发生日蚀。图5D示出了这种状态。在图5D中，将光圈57以及透镜框56和58投影到光圈57的平面。这时，透镜框56、光圈57和透镜框58形成同心圆。由于光圈57的直径最小，因此透镜框56和58不产生日蚀。

相对来说，当从具有预定图像高度的点50看时，透镜框56和58可能产生日蚀。在图5A至5E的示例中，图像传感器6侧的透镜框58产生日蚀。附图标记59表示发生日蚀的区域。在图5E中，与图5D类似，将光圈57以及透镜框56和58从点50投影到光圈57的平面。这显示透镜框58产生日蚀。

从图5C至5E很明显，确定日蚀状态的因素是光瞳距离（在图5C中是图像传感器6和光圈57之间的距离）、光瞳直径（=f值：在图5C中是光圈57的宽度）、图像高度（在图5C中由框中心49和图像传感器6上的给定点50之间的比较表示）、透镜框距离（在图5C中是图像传感器6与透镜框56和58之间的距离）以及透镜框直径（在图5C中是透镜框56和58的宽度）。例如，根据实际拍摄条件通过与透镜进行通信来获取这些信息，并且适当地进行处理。在图3B中，在步骤S24中存储这些信息。基于这些信息，如图5E所示，确定光瞳平面上的日蚀状态。此外，在步骤S25中存储表示各光瞳和各区域之间的对应关系的信息。与步骤S24中的信息一起，像图5B中的区域51那样，确定与各光瞳相对应的区域的日蚀状态。

作为产生日蚀的结果，需要不基于在没有日蚀时获得的重心51g1，而基于在存在日蚀时获得的重心51g2，确定与图5B所示的区域51相对应的像素的光束的入射角。也就是说，确定日蚀状态，获得重心，并且根据重心确定入射角。参照图6说明对移位量的影响。

图6是对应于图4的视图，与图4不同，其示意性地示出了发生日蚀的情况。在图6中，与图4类似，6a、6b和6c从上到下排列。在图6中，6b表示图像传感器6实际存在并且获取图像的平面。在图6中，6a表示与图6的6b相比处于物体侧的重新构造平面（称为重新构造平面1）。在图6中，6c表示比图6的6b距离物体侧更远的一侧的重新构造平面（称为重新构造平面2）。在图6中，附图标记61、62、63、64和65表示来自图5B中的区域51以及区域52、53、54和55的光束。

在图4中，将入射到微透镜X_i的数据相加，并且通过S_i=X_1,i+X_2,i+X_3,i+X_4,i+X_5,i能够获得入射到X_i的光在角度方向上的积分值。在重新构造平面1上，通过S_i=X_1,i-2+X_2,i-1+X_3,i+X_4,i+1+X_5,i+2能够获得入射到X_i的光在角度方向上的积分值。

在图6中，与图5B中的区域51相对应的光线61具有与在图4中不同的角度。由于该原因，需要根据该角度改变重新构造平面上的移位量。例如，在图6的6a所示的重新构造平面1上，通过S_i=（X_1,i-1+X_1,i-2）/2+X_2,i-1+X_3,i+X_4,i+1+X_5,i+2，获得入射到X_i的光在角度方向上的积分值。在这种情况下，使用两个相邻数据的平均（X_1,i-1+X_1,i-2）/2。或者，还能够使用适当的插值函数（例如样条插值）或者参照最近邻值。

从图6的6c很明显，能够以与在重新构造平面1上完全相同的方式，在重新构造平面2上生成图像。当布置重新构造平面的方向不同时，仅将移位方向反转即可。使用这种设置，即使在图6的6c所示的重新构造平面2上，通过适当的插值等，也能够获得考虑到日蚀的入射到X_i的光在角度方向上的积分值。

参照图5A至5E和6描述了指定并校正日蚀状态的方法。作为针对日蚀的另一措施，不使用与发生日蚀的区域相对应的像素。在参照图2A至2C描述的光学系统中，角度分割计数的平方的数量的像素对应于一个微透镜。在图2A至2C的示例中，5×5=25个像素对应于一个微透镜。在这些像素中，在16个像素中发生了日蚀，在其余9个像素中没有发生日蚀。在该光学系统中，与发生日蚀的区域相对应的像素占总像素的一半以上，因为无效像素比率变高，因此不使用这些像素不可行。相对于此，即使使用相同的角度分割计数设计参照图8A至8C描述的更大的光学系统，更大数量的像素也能够对应于一个微透镜。在这种光学系统中，能够降低发生日蚀的像素的比率。这是因为面积（像素的数量）与大小的平方成比例，但是周长（发生日蚀的像素）与大小的一次幂成比例。例如，假设10×10个像素，无日蚀的像素的数量是52，其超过了总像素的一半。在这种情况下，甚至能够采用不使用与发生日蚀的区域相对应的像素的方法，作为简单并且有效的方法。

图7A至7D是这种情况下的流程图。除了步骤S23附近的操作不同之外，总体流程与图3A至3D中的流程相同。基于步骤S24中的信息，在步骤S23a中进行日蚀确定。这部分明显作为日蚀确定单元工作。如果发生了日蚀，则取消指示要用于相加的光瞳的标志。使用这种设置，在步骤S35中不针对发生日蚀的区域进行相加（排除了发生日蚀的区域）。其结果是，仅使用无日蚀区域，重新构造图像。在步骤S23b中，在忽略日蚀的影响的同时，计算移位量。在这种情况下，代替如图5A至5E和图6所示的考虑日蚀来获得角度，能够考虑图4所示的无日蚀状态，这降低了计算量。

参照图8A至8C例示适用于实施例的其它光学系统。图8A至8C是示意性地示出在图像传感器6上对来自物体（被摄体）的光线进行成像的状态的视图。图8A对应于参照图2A至2C描述的光学系统，其示出了将MLA20布置在摄像光学系统3的成像平面附近的示例。图8B示出了与摄像光学系统3的成像平面相比，将MLA20布置为更靠近物体的示例。图8C示出了与摄像光学系统3的成像平面相比，将MLA20布置为更远离物体的示例。

在图8A至8C中，附图标记6表示图像传感器；附图标记20表示MLA；附图标记31至35表示在图2A至2C中使用的光瞳区域；附图标记71表示物体平面；附图标记71a和71b表示物体上的适当点；附图标记72表示摄像光学系统的光瞳平面；以及附图标记81、82、83、84、85、86、87、88和89表示MLA上的特定微透镜。在图8B和8C中，附图标记6a表示虚拟图像传感器；以及附图标记20a表示虚拟MLA。图示了虚拟图像传感器6a和虚拟MLA20a用于参照，以明确与图8A的对应关系。实线指示从物体上的点71a发出并且通过光瞳平面上的区域31和33的光束。虚线指示从物体上的点71b发出并且通过光瞳平面上的区域31和33的光束。

在图8A的示例中，如参照图2A至2C所描述的，MLA20布置在摄像光学系统3的成像平面附近，因此图像传感器6和摄像光学系统的光瞳平面72彼此共轭。此外，物体平面71和MLA20彼此共轭。因此，从物体上的点71a发出的光束到达微透镜81，从点71b发出的光束到达微透镜82，通过区域31至35的光束到达布置在微透镜下面的相应像素。

在图8B的示例中，MLA20对来自摄像光学系统3的光束进行成像，并且图像传感器6布置在成像平面上。在这种配置中，物体平面71和图像传感器6彼此共轭。从物体上的点71a发出并且通过光瞳平面上的区域31的光束到达微透镜83，并且从物体上的点71a发出并且通过光瞳平面上的区域33的光束到达微透镜84。从物体上的点71b发出并且通过光瞳平面上的区域31的光束到达微透镜84，并且从物体上的点71b发出并且通过光瞳平面上的区域33的光束到达微透镜85。通过各微透镜的光束到达布置在其下面的相应像素。以这种方式，依据物体上的点和光瞳平面上的通过区域，在不同的位置形成图像。将这些图像重新布置在虚拟图像传感器6a上的各位置，从而获得与在图8A中相同的信息。也就是说，能够获得关于通过光瞳区域（入射角）和图像传感器上的位置的信息。

在图8C的示例中，MLA20对来自摄像光学系统3的光束重新进行成像（因为对已经进行了成像的漫射光束进行成像，因此称为重新成像），并且图像传感器6布置在成像平面上。在这种配置中，物体平面71和图像传感器6彼此共轭。从物体上的点71a发出并且通过光瞳平面上的区域31的光束到达微透镜87，并且从物体上的点71a发出并且通过光瞳平面上的区域33的光束到达微透镜86。从物体上的点71b发出并且通过光瞳平面上的区域31的光束到达微透镜89，并且从物体上的点71b发出并且通过光瞳平面上的区域33的光束到达微透镜88。通过各微透镜的光束到达布置在其下面的相应像素。与图8B类似，将图像重新布置在虚拟图像传感器6a上的各位置，从而获得与在图8A中相同的信息。也就是说，能够获得关于通过光瞳区域（入射角）和图像传感器上的位置的信息。

图6示出了使用MLA（相位调制元件）作为光瞳分割单元，能够获取位置信息和角度信息的示例。然而，只要能够获取位置信息和角度信息（等同于限制光瞳的通过区域），还能够使用其他光学配置。例如，能够在摄像光学系统的光路中插入具有适当图案的掩模（增益调制元件）。

如上所述，根据实施例，即使当在摄像光学系统中发生日蚀时，也能够基于拍摄时的镜头信息等获得高品质图像。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (8)

1.一种图像捕获装置，其包括：

图像传感器；

光瞳分割单元，其将入射到摄像光学系统的光束分割到所述图像传感器上的各像素；

入射角确定单元，其基于在存在日蚀时所述光瞳区域的重心，确定对所述图像传感器上的各像素的入射角，其中，所述各像素与二维光瞳平面上的像素中的各个相对应；

图像移位单元，其基于由所述入射角确定单元确定的所述入射角和进行图像生成的平面的位置，在所述二维光瞳平面上的、由所述日蚀移位的重心的方向，对从所述图像传感器获得的电信号进行移位；以及

图像生成单元，其将从所述图像移位单元获得的电信号合成。

2.根据权利要求1所述的图像捕获装置，其中，所述入射角确定单元基于到所述摄像光学系统的光瞳的距离的信息，计算所述入射角。

3.根据权利要求1所述的图像捕获装置，其中，所述入射角确定单元基于所述摄像光学系统的光瞳的直径的信息，计算所述入射角。

4.根据权利要求1所述的图像捕获装置，其中，所述入射角确定单元基于到所述摄像光学系统的光瞳之外的、用于限制光线的框部件的距离的信息，计算所述入射角。

5.根据权利要求1所述的图像捕获装置，其中，所述入射角确定单元基于所述摄像光学系统的光瞳之外的、用于限制光线的框部件的直径的信息，计算所述入射角。

6.根据权利要求1所述的图像捕获装置，其中，所述入射角确定单元基于要处理的像素在所述图像传感器上的位置，计算所述入射角。

7.根据权利要求1所述的图像捕获装置，其中，所述入射角确定单元基于所述光瞳分割单元的信息，计算所述入射角。

8.一种图像捕获装置，其包括：

图像传感器；

光瞳分割单元，其将入射到所述图像传感器上的各像素的光束限制到摄像光学系统的特定光瞳区域；

日蚀确定单元，其确定所述图像传感器上的各像素中的日蚀；

入射角确定单元，其基于在存在日蚀时所述光瞳区域的重心，确定对所述图像传感器上的各像素的入射角，其中，所述各像素与二维光瞳平面上的像素中的各个相对应；

图像移位单元，其针对各通过光瞳区域对从所述图像传感器获得的电信号进行移位；以及

图像生成单元，其将除了所述日蚀确定单元确定发生了日蚀的区域之外的、从所述图像移位单元获得的电信号合成。