CN108462830A - 摄像装置及摄像装置的控制方法 - Google Patents

Abstract

本发明涉及摄像装置及摄像装置的控制方法。该摄像装置包括：摄像单元，其被构造为拍摄具有不同焦点位置的多个图像；以及景深控制单元，其被构造为控制在摄像单元拍摄图像时的景深，其中，如果基于针对多个被摄体区域中的各个被摄体区域的距离确定所述多个被摄体区域满足预定条件，则与不满足所述预定条件的情况相比，增加在摄像单元拍摄所述多个图像中的一部分图像时的景深。所述预定条件包括所述多个被摄体区域中的任意两个被摄体区域的距离差大于预定距离。

Description

摄像装置及摄像装置的控制方法

技术领域

本发明涉及一种摄像装置，更具体地，涉及一种用于拍摄具有不同焦点位置的图像的摄像装置。

背景技术

在数码相机等的摄像装置拍摄包括距摄像装置不同距离的多个被摄体的图像，或者照相机拍摄深度方向长的被摄体的图像的情况下，由于摄像装置的光学系统的景深(depth of field)不足，仅被摄体的一部分可以处于合焦(in focus)。日本专利特开2015-216532号公报讨论了如下焦点堆叠技术：对具有不同焦点位置的多个图像进行拍摄，并且从各个图像仅提取合焦区域以将提取的合焦区域合成为一个图像。焦点堆叠技术由此生成整个成像区域处于合焦的合成图像。焦点堆叠技术也被称作焦平面合并、全景对焦或z-堆叠。由图像处理器使用例如在不同焦平面拍摄的各种合焦区域通过图像分析执行从不同焦平面的图像融合。

在进行这样的图像拍摄和聚焦技术时，用户首先指定焦点位置，或者数码相机包括的自动聚焦(AF)机构检测焦点位置以充当主焦点位置。然后，数码相机在主焦点位置附近设置多个焦点位置，并且在各个焦点位置拍摄图像。然后，数码相机从多个拍摄图像提取具有高合焦水平的区域，并且对提取区域进行合成。

然而，发明人发现，即使在由这样的图像拍摄方法而生成的合成图像中，数码相机与被摄体之间的位置关系的变化也倾向于会引起被摄体模糊以及图像质量的劣化。

发明内容

本发明涉及一种能够对具有不同焦点位置的多个图像进行拍摄用于生成有效防止和/或校正被摄体模糊的合成图像的摄像装置。

根据本发明的一个方面，一种摄像装置包括：图像传感器，其被构造为在光学系统的不同焦点位置拍摄多个图像；以及控制电路，其被构造为控制在图像传感器拍摄图像时的光学系统的景深，其中，如果控制电路基于针对多个被摄体区域中的各个被摄体区域的距离确定所述多个被摄体区域满足预定条件，则与所述多个被摄体区域不满足所述预定条件相比，控制电路增加在图像传感器拍摄所述多个图像中的一个图像的情况下的光学系统的景深，并且其中，所述预定条件包括所述多个被摄体区域中的任意两个被摄体区域在光轴方向上的距离差大于预定距离。

根据本发明的另一方面，一种摄像装置包括：图像传感器，其被构造为在光学系统的不同焦点位置拍摄多个图像；以及控制电路，其被构造为控制在图像传感器拍摄图像时的光学系统的景深，其中，如果被摄体区域位于相对于预定距离的近距离侧，则控制电路使图像传感器在所述近距离侧上的焦点位置通过使用多个景深拍摄多个图像，并且其中，控制电路使图像传感器在所述近距离侧上的焦点位置拍摄图像时的任意景深比在拍摄其他图像时的景深更大。

根据下面参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是例示根据示例性实施例的数码相机的构造的框图。

图2是例示根据本示例性实施例的能够获取被摄体的距离信息的图像传感器的传感器阵列的示例的图。

图3是例示根据本示例性实施例的光学信号进入包括多个光电转换单元的像素的状态的图。

图4A和图4C是例示根据本示例性实施例在被摄体处于合焦的情况下在成像面上形成被摄体像的状态的图，并且图4B和图4D是例示在被摄体处于失焦的情况下在成像面上形成被摄体像的状态的图。

图5是例示根据本示例性实施例的焦点堆叠图像拍摄的图。

图6是例示本示例性实施例的焦点堆叠处理的流程图。

图7A至图7E是例示在焦点堆叠时发生的问题的图。

图8A是例示根据本示例性实施例的在被摄体801和802距彼此近的情况下孔径的设置值的图，图8B是例示从图像拍摄方向观看时具有被摄体801和802的图像的图，并且图8C是例示在被摄体801和802距彼此远的情况下孔径的设置值的图。

图9A是例示在本示例性实施例中与被摄体的位置对应的孔径的设置值的另一图，并且图9B和图9C是各个例示从图像拍摄方向观看时具有被摄体901和902的图像的图。

图10是例示在本示例性实施例中与被摄体的位置对应的孔径的设置值的另一图。

具体实施方式

下面，将参照附图详细描述示例性实施例。

图1是例示根据示例性实施例的数码相机100的构造的框图。

例如，控制电路101是诸如中央处理单元(CPU)和微处理单元(MPU)等的信号处理器。控制电路101读取存储在只读存储器(ROM)105中的程序以控制数码相机100的各个单元。例如，控制电路101向图像传感器104(下面描述)发出命令以开始图像拍摄，以及向图像传感器104发出命令以结束图像拍摄。另外，控制电路101基于存储在ROM 105中的程序向图像处理电路107(下面描述)发出图像处理命令。通过操作构件110(下面描述)将来自数码相机100的用户的命令输入到数码相机100，然后命令经由控制电路101到达数码相机100的各个单元。

驱动机构102包括电机。驱动机构102根据来自控制电路101的命令机械地操作光学系统103(下面描述)。例如，驱动机构102基于来自控制电路101的命令移动光学系统103中包括的聚焦透镜的位置以调节光学系统103的焦点距离。

光学系统103包括变焦透镜、聚焦透镜和光圈。光圈是用于调节透过光圈的光量的机构。聚焦透镜的位置改变可以改变焦点位置。

图像传感器104是用于将输入到图像传感器104的光学信号光电转换为电信号的光电转换单元。例如，可以使用诸如电荷耦合器件(CCD)传感器或互补型金属氧化物半导体(CMOS)传感器等的传感器作为图像传感器104。

图2是例示根据本示例性实施例的能够获取被摄体的距离信息的、图像传感器104中包括的传感器阵列的示例的图。图2例示了在像素200包括可以分立地读取光学信号的两个光电转换单元201和202的情况下的结构。在图2中，各个像素包括两个光电转换单元。然而，光电转换单元的数量不限于两个。各个像素可以包括三个或更多个光电转换单元。例如，已知一种用于按水平方向和竖直方向这两个分离的方向布置四个光电转换单元的技术。在下文中，基于一个像素包括两个光电转换单元的结构而给出了描述。

图3是例示根据本示例性实施例的光学信号进入包括多个光电转换单元的像素的状态的图。

在图3中，像素阵列301包括微透镜302、滤色镜303、光电转换单元304和光电转换单元305。光电转换单元304和光电转换单元305属于同一像素，并且对应于一个共用微透镜302和一个共用滤色镜303。图3是例示从顶部观看时的数码相机100的图，并且指示与一个像素对应的光电转换单元304和光电转换单元305被并排布置。光通量当中的、穿过出射光瞳306相对于光轴309的上侧的光通量(对应于来自区域307的光通量)作为边界进入光电转换单元305。另一方面，光通量当中的、在出射光瞳306相对于光轴309的下侧的光通量(对应于来自区域308的光通量)进入光电转换单元304。换言之，光电转换单元304和305接收成像透镜的出射光瞳306的不同区域的光。这里，由光电转换单元304接收的信号被称为A图像信号，那么由光电转换单元305接收的信号就被称为B图像信号。在这种情况下，可以基于作为A图像和B图像的一对光瞳分割图像的相差来计算离焦量。因此，可以获取距离信息。具体地，在整个图像传感器104上布置各个包括两个光电转换单元的像素的情况下，图像传感器104可以获取被摄体在画面上的任何位置的距离信息。

然而，代替各自包括两个光电转换单元的像素，可以使用包括普通像素的图像传感器104来获取距离信息。例如，控制电路101使图像传感器104在改变布置在光学系统103中的多个透镜的相对位置的同时进行图像拍摄操作，使得生成具有不同焦点位置的多个图像。图像处理电路107将各个图像分割为块，并且计算分割块的对比度。图像处理电路107将多个拍摄图像中的同一位置的块的对比度进行比较，并且确定具有最大对比度的块处于合焦。最后，图像处理电路107可以基于包括处于合焦的块的拍摄图像的焦点位置来确定各个块的距离信息。

ROM 105是充当记录介质的只读非易失性存储器。ROM 105存储针对数码相机的各个块的操作程序以及操作各个块所必须的参数。随机存取存储器(RAM)106是可改写易失性存储器，并且用作在操作数码相机100的各个块时的数据输出用临时性存储区域。

图像处理电路107针对从图像传感器104输出的图像或在内置存储器109(下面描述)中记录的图像信号数据进行诸如白平衡调节、颜色插值和滤色等的各种图像处理。此外，图像处理电路107根据诸如联合图像专家组(JPEG)等标准对由图像传感器104拍摄的图像的图像信号数据进行压缩处理。

图像处理电路107包括集成有特定处理用电路的专用集成电路(ASIC)。作为另选，控制电路101可以根据从ROM 105读取的程序进行处理，使得控制电路101可以部分地或全部地进行图像处理电路107的功能。在控制电路101进行图像处理电路107的全部功能的情况下，不再需要图像处理电路107作为硬件。

诸如液晶显示器(LCD)和有机电致发光(EL)显示器等的显示器108显示临时存储在RAM 106中的图像、内置存储器109(下面描述)中存储的图像或数码相机100的设置画面。显示器108使得由图像传感器104获取的图像能够被实时地反映为显示图像，因此，显示器108可以显示实时图像。

在内置存储器109中，记录由图像传感器104拍摄的图像、由图像处理电路107处理的图像以及图像拍摄时的焦点位置的信息。可以代替内置存储器109而使用诸如存储卡等的存储器。

操作构件110是例如数码相机100的按钮、开关、键和模式拨盘或者可以配设在显示器108上的触摸屏。用户使用操作构件110输入的命令到达控制电路101，并且控制电路101根据该命令控制各个块的操作。

图4A到图4D是例示根据本示例性实施例在成像面上形成被摄体像的状态的图。

图4A例示由光学系统(光学透镜402)将被摄体401的图像在面403a上形成为像404的状态。因此，在面403a与图像传感器104的成像传感器面彼此匹配的情况下，被摄体401在面403a上被形成为“点”并且被记录为合焦图像。

图4B例示图像成像面与成像传感器面彼此不匹配的情况。如果成像传感器面403b处于与图4A例示的面403a不同的位置，则要由光学透镜402形成的被摄体401的像在成像传感器面403b上被示出为弥散圆405。这里，在弥散圆405小于成像传感器的容许弥散圆的情况下，弥散圆405可以被认为大致等于弥散圆405处于合焦所提供的“点”，因此获取大致等于合焦图像的图像。另一方面，在弥散圆405大于容许弥散圆的情况下，在成像传感器面403b获取模糊图像。

图4C是例示如从侧方所见的上述状态的图。这里，在图4C中，在焦点410处形成被摄体像并且成像传感器面位于面411a的位置的情况下，获取弥散圆直径412a。此时，弥散圆直径412a小于成像传感器的容许弥散圆直径413。因此，要使用成像传感器记录的图像417是不模糊的合焦图像。另一方面，在成像传感器面位于面414a的位置的情况下，弥散圆直径415a大于容许弥散圆直径413。因此，在成像传感器面414a上的图像418a是模糊图像。在图4C中，由斜线指示的区域代表弥散圆直径412a小于容许弥散圆直径413的区域，并且这样的区域具有焦点深度416a。与被摄体侧对应地转换焦点深度416a以获取景深。

图4D例示如下状态：孔径小于图4C例示的状态。在光圈较小的状态下，图4C例示的弥散圆直径412a和415a分别改变成针对面411b的弥散圆直径412b和针对面414b的弥散圆直径415b。此时，图4D例示的弥散圆直径415b小于图4C例示的弥散圆直径415a。因此，此时要获取的图像418b的模糊量小于图像418a的模糊量。此外，焦点深度416b大于焦点深度416a。

图5是例示根据本示例性实施例的焦点堆叠图像拍摄的图。在这种情况下，假设被摄体51、52和53充当要聚焦的被摄体，这些被摄体位于不同焦平面。被摄体51、52和53彼此呈现在不同距离(被摄体距离)t。被摄体51、52和53按该顺序从接近数码相机100的侧(从近距离侧朝向远距离侧的方向)被放置。在单个图像拍摄时，由于数码相机100的光学系统103的结构，不是所有的被摄体51、52和53可以在景深内提供。此外，可以减小针对各图像的景深以获取更高感知分辨率。在这种情况下，焦点包围图像拍摄用焦点范围500(包围范围)需要用多个焦点深度来覆盖，以获取针对全部多个被摄体51、52和53处于合焦的深度合成图像。各个焦点深度511到516指示各个图像拍摄用焦点深度，并且以覆盖焦点范围500的方式布置。结果，在提供焦点深度511到516的聚焦位置进行(6次)图像拍摄，使得焦点范围500内的被摄体51、52和53针对任何图像处于合焦。此外，由图像拍摄获得的焦点的深度内的区域由多个拍摄图像合成。这使得能够遍及焦点范围500(遍及包围)获得合焦图像。

然而，即使由图5例示的方法进行图像拍摄，合成图像中包括的被摄体的一部分可以依据被摄体而模糊。因此，在本示例性实施例中，通过下述方法进行图像拍摄，以改善合成图像中一部分被摄体模糊的现象。

图6是例示根据本示例性实施例的焦点堆叠处理的流程图。

在步骤S601中，控制电路101根据在图像传感器104上形成的一对光瞳分割图像计算距离信息，并且将计算的距离信息临时存储在RAM106中。

在步骤S602中，控制电路101设置焦点位置。例如，用户经由触摸屏指定焦点位置。显示器108包括触摸屏。接下来，控制电路101在与合焦位置对应的焦点位置的前、后以等间隔设置多个焦点位置。此时，控制电路101基于例如距离顺序确定所设置焦点位置的图像拍摄序列。

在步骤S603中，控制电路101基于步骤S601中由图像传感器104获取的距离信息的分布来确定场景。下面将详细描述场景确定。

在步骤S604中，控制电路101基于步骤S601中由图像传感器104获取的距离信息和步骤S603中由控制电路101确定的场景来设置各个焦点位置用孔径值。下面将详细描述孔径值设置。在各个合焦位置光圈的孔径直径尽可能的大(F数小)并且景深浅的情况下，图像的感知分辨率被增强。因此，被摄体的质感和针对于图案的表现力被增强。

在步骤S605中，在步骤S602中设置的焦点位置当中存在任何未进行图像拍摄的焦点位置的情况下，控制电路101将焦点位置移动到这样的位置中的任一个。通常，焦点位置按从近距离侧或无限远距离侧的顺序进行切换。

在步骤S606中，控制电路101参照步骤S604中计算的焦点位置来确定在当前焦点位置是否需要相对于前一焦点位置改变孔径值的设置。在控制电路101确定需要改变孔径值的设置的情况下(步骤S606中为“是”)，处理进行到步骤S607。在步骤S607中，控制电路101根据步骤S604中计算的改变量来改变孔径值的设置。接下来，在步骤S608中，控制电路101进行图像拍摄。在控制电路101确定不需要改变孔径值的设置的情况下(步骤S606中为“否”)，处理直接进行到进行图像拍摄的步骤S608。在图像拍摄时，为了消掉由孔径值的设置的改变而造成的曝光值的波动，必要时改变除了孔径值设置之外的诸如国际标准化组织(ISO)灵敏度和快门速度等的参数。

在步骤S609中，控制电路101确定是否在所有焦点位置都进行了图像拍摄。在控制电路101确定在所有焦点位置都进行了图像拍摄的情况下(步骤S609中为“是”)，处理进行到进行图像合成的步骤S610。在控制电路101确定存在未完成图像拍摄的任何焦点位置的情况下(步骤S609中为“否”)，处理返回到步骤S605。

在步骤S610中，图像处理电路107对步骤S608中拍摄的多个图像进行合成。这里简单描述图像合成方法的示例。图像处理电路107通过使用从各个图像获取的对比度值来生成合成映射(map)。更具体地，在各个目标区域或像素中，假设多个图像当中的对比度值最高的图像具有100％的合成率，并且其他图像具有0％的合成率。在合成率在邻近像素之间从0％到100％(或从100％到0％)改变时，合成边界的不自然状态变得明显。因此，将具有预定数量像素(预定数量的带(tap))的低通滤波器应用到合成映射，由此处理合成映射使得邻近像素之间的合成率不快速地改变。可选地，可以基于目标区域或像素中的各个图像的对比度值来生成合成映射，使得合成率随着图像的对比度值变高而变高。图像处理电路107根据针对步骤S608中拍摄的图像的合成映射，将与各个图像对应的像素值乘以合成率，并获得总和。图像处理电路107对所有像素进行这样的处理，由此生成合成图像。

接下来，描述步骤S603中的场景确定和步骤S604中的孔径值设置。

对于上面描述的焦点堆叠处理，在光圈的孔径直径较大的情况下，可以获取被摄体的具有更高质感的图像和针对图案的更高表现力。另外，在各个焦点位置通过使用同一孔径值设置进行图像拍摄的情况下，从控制的角度来看这是方便的。然而，如上所述，在所有焦点位置通过使用同一孔径值设置进行图像拍摄并不总是适合每个场景。因此，在本示例性实施例中，根据场景确定结果进行用于在一个焦点位置处改变孔径值设置的操作。在本示例性实施例中，提前在ROM 105中存储孔径值设置需要被改变的场景条件。

当进行焦点堆叠时，控制电路101将提前存储的场景图案与获取的被摄体的距离信息进行比较，并且确定场景，获取的被摄体的距离信息是基于步骤S601中图像传感器104获取的那对光瞳分割图像而确定的距离信息。下面，使用要被提前存储的场景的示例来描述对孔径值的设置要被改变的焦点位置的确定以及在这样的焦点位置处的孔径值的设置。

图7A至图7E是例示在焦点堆叠时发生的问题的图。图7A是例示数码相机100、被摄体701和被摄体702的位置关系的图。图7B是例示在前方的被摄体701处于合焦的状态下拍摄的图像的图，并且图7C是例示在后方的被摄体702处于合焦的状态下拍摄的图像的图。图7D是例示图7B所例示的图的一部分的放大图。图7E是例示图7C所例示的图的一部分的放大图。图7D中由圆指示的区域和图7E中由圆指示的区域中的各个对应于被摄体的同一区域。

针对生成包括处于合焦的被摄体701和被摄体702二者的合成图像，需要使用图7B所例示的、被摄体701处于合焦的图像以及图7C所例示的、被摄体702处于合焦的图像进行合成处理。

此时，在被摄体701和被摄体702彼此分隔开的情况下，在被摄体701合焦的图像中被摄体702的模糊大，而在被摄体702合焦的图像中被摄体701的模糊大。由于随着被摄体的模糊变大被摄体的轮廓不仅变宽而且变淡，所以位于被摄体的轮廓后面的被摄体看起来好像透过该被摄体的轮廓一样。如图7D所例示的，在后方的被摄体702模糊的情况下，前方的被摄体701不受影响。然而，如图7E所例示的，在前方的被摄体701模糊的情况下，后方的被摄体702透过前方的被摄体701的宽的轮廓。

因此，图7D中由圆指示的区域包括模糊的后方的被摄体702，而图7E中由圆指示的区域包括模糊的前方的被摄体701。在这种情况下，即使在图7B所例示的图像或图7C所例示的图像中的任一者被优先并被合成的情况下，由圆指示的区域都包括模糊的被摄体。

参照图8A至图8C以及图9A至图9C来描述用于对光圈进行设置的方法来防止、校正和/或最小化合成图像中的模糊。

图8A、图8B和图8C是例示与被摄体的位置对应的孔径的设置值的图。在图8A中，横轴指示距数码相机100的距离，而纵轴指示图像的分辨率。此外，在图8A中，存在焦点位置P11到P12，并且波形指示在各个焦点位置拍摄图像的情况下与被摄体距离对应图像的分辨率。从数码相机100观看时被摄体801的最近部位对应于焦点位置P11，而被摄体801的最远部位对应于焦点位置P17。被摄体802的最近部位对应于焦点位置P21。

需要使用在各焦点位置P11到P17以及P21拍摄的图像，以生成所有被摄体801和802都应处于合焦的合成图像。

图8B是示出从图8A例示的箭头Z的方向观看时的被摄体801和802的图。在进行焦点堆叠处理的情况下，针对图8B所例示的被摄体801的中间部分使用焦点位置P11处拍摄的图像，并且针对被摄体801的外边缘部分使用焦点位置P17处拍摄的图像。对于被摄体801的中间部分和外边缘部分之间的部分，从中心向外的顺序使用在焦点位置P12到P16拍摄的图像。因此，对于被摄体801，针对焦点堆叠使用在邻近区域中彼此接近的焦点位置处拍摄的图像。因此，不发生图7D中描述的模糊。然而，被摄体801和802的位置相对于在焦点位置P21处设置的景深彼此足够地分开。如图7E的情况，在这种情况下，在焦点位置P21处拍摄的图像中，被摄体801的外边缘部分模糊，并且被摄体802的一部分看起来透过被摄体801的该模糊的外边缘部分。

因此，在图6的步骤S603中，在控制电路101基于距离信息分布确定被摄体801和802相对于在焦点位置P17处的景深彼此足够地分开的情况下，处理进行到步骤S604，在步骤S604中控制电路101改变在焦点位置P21处的光圈的设置。这里，距离信息分布表示在一帧中拍摄的被摄体的距离的分布。更具体地，将焦点位置P21处的光圈的孔径直径设置为比其他焦点位置处的光圈的孔径直径小，并且景深与其他焦点位置处使用的景深相比更大。上文参照图4C和4D描述了不同景深的效果。虽然将景深设置的更大可能轻微降低被摄体802在焦点位置P21处拍摄的图像中的分辨率，但是可以减少被摄体801的外边缘部分的模糊。因此，在焦点堆叠时在被摄体801与被摄体802之间的边界部分处使用在焦点位置P21处拍摄的图像的情况下，可以减小被摄体801周围的模糊的生成。在这种情况下，不需要改变焦点位置。

图8C是例示被摄体801与被摄体802之间的距离比图8A例示的被摄体801与被摄体802之间的距离近的状态的图。在图8C中，在焦点位置P27处拍摄的图像中的被摄体802模糊不大，并且在焦点位置P28处拍摄的图像中的被摄体801的外边缘部分模糊不大。因此，即使在不同距离有多个被摄体的情况下，只要在焦点堆叠时使用邻近区域中彼此接近的焦点位置处拍摄的图像，在特定焦点位置处的光圈的孔径直径就不需要减小。例如，能够使用拍摄的图像的焦点位置的距离的阈值确定是否减小光圈的孔径直径。

图9A、图9B和图9C是例示与被摄体的位置对应的孔径的设置值的另一图。图9A例示布置有包括前方部分901和后方部分902的一个被摄体的状态。图9B和图9C中的各个是例示从图9A所例示的z方向观看时包括前方部分901和后方部分902的被摄体的图。在进行焦点堆叠的情况下，针对前方部分901使用在图9A例示的各焦点位置P31至P36拍摄的图像，并且针对后方部分902使用在图9A例示的焦点位置P37拍摄的图像。

如图9B所例示的，前方部分901的最远侧上的外边缘部分901b的外径比前方部分901的最近侧上的外边缘部分901a的外径稍大。因此，如图9C所例示的，在后方部分902处于合焦的、在焦点位置P37拍摄的图像中，前方部分901的近侧上的外边缘部分901a的模糊可以扩展到前方部分901的远侧上的外边缘部分901b的外部。

在使用这些图像进行焦点堆叠的情况下，通过使用在各合焦位置P31到P36拍摄的图像可以针对前方部分901获取不模糊的图像。然而，使用针对后方部分902在焦点位置P37拍摄的图像，可能使前方部分901的后侧上的外边缘部分901b的外部的位置的区域中包括外边缘部分901a的模糊图像。

因此，即使在焦点堆叠时使用邻近区域中彼此接近的焦点位置处拍摄的图像，在存在具有比图像上的预定范围内的预定距离更远的焦点位置的被摄体区域的情况下，也将更远焦点位置处的景深设置的更大。然而，在图9C中，仅在焦点位置P37减小光圈的孔径直径引起以下问题。在逐渐改变焦点位置的同时拍摄图像，然后对这样的图像进行合成。然而，仅在特定焦点位置处拍摄的图像的分辨率比其他焦点位置处拍摄的图像的分辨率低。在对图像进行合成的情况下，这使感知分辨率差异明显。

在这样的情况下，如图9A所例示的，进行控制使得光圈的孔径直径随着焦点位置变得靠近后侧而逐渐变小。这不仅减小包括在合成图像中的模糊区域而且使得合成图像区域之间的感知分辨率差异不明显。

如上所述，在本示例性实施例中，在存在具有比图像上的预定范围内的预定距离更远的合焦位置的被摄体区域的情况下，将更远焦点位置处的光圈的孔径直径设置得比其他焦点位置处的光圈的孔径直径小。

针对于这样的焦点位置的预定距离可以是以如下方式设置的固定值：即使在光圈的孔径直径是任意尺寸的情况下都防止模糊。可选地，针对于这样的焦点位置的预定距离可以是基于在其他焦点位置中光圈的孔径直径的景深而设置的值。

此外，图像上的预定范围可以是预定固定值，或者可以根据其他焦点位置处的光圈的孔径直径而设置。在这种情况下，可以针对光圈的各个光圈直径而预先测量针对于被摄体距离的模糊程度并且可以将所得信息存储在存储器中。

不必须获取被摄体区域是否位于图像上的预定范围中的确定。可以仅作出焦点位置是否在距预定距离更远的被摄体区域中的确定。在这种情况下，可以改变在焦点位置的一个中的光圈的孔径直径。

图10是例示与被摄体的位置相对应的孔径的设置值的另一图。在图10中，横轴指示距数码相机100的距离，而纵轴指示图像的分辨率。

在图10中，焦点位置P41代表由数码相机100可设置的近距离端焦点位置。在近距离端焦点位置，在孔径直径小于针对其他焦点位置设置的光圈的孔径直径的情况下，针对被摄体1001的前侧上的端部无法拍摄满足预定分辨率的图像。

在图6的步骤S603中，在控制电路101确定存在上述状态的情况下，在步骤S604中，除了与针对其他焦点位置的孔径直径相似的孔径直径之外，控制电路101设置减小的孔径直径，从而针对近距离端焦点位置P41的景深增加。换言之，在焦点位置P41，通过使用具有不同景深的两个孔径值设置进行两次图像拍摄。

在焦点位置P41，进一步减小光圈的孔径直径并且增加景深以拍摄图像。这使得能够拍摄针对被摄体1001的前侧上的端部处于合焦的图像。然而，仅此一点可以使在焦点位置P41获取的图像的感知分辨率降低。因此，在焦点位置P41，通过使用类似于针对其他焦点位置的孔径值设置再次拍摄图像，并且根据焦点状态混合图像以防止具有合成深度的图像的感知分辨率降低。

如上所述，根据本示例性实施例，在拍摄用于焦点堆叠的图像的情况下，摄像装置可以基于被摄体距离分布，适当地设置在各个焦点位置的光圈的孔径直径。

<其他示例性实施例>

描述了用于个人使用的数码相机作为前述示例性实施例。然而，本示例性实施例可以应用于便携式设备和智能手机或连接到服务器的网络相机，只要提供能够改变焦点位置和孔径值设置的相机功能即可。

此外，可以经由网络或记录介质将用于执行上述示例性实施例的一个或更多个功能的程序提供给系统或装置。在这种情况下，系统或装置中的计算机中的一个或更多个处理器可以读取并执行该程序来实现上述示例性实施例。此外，可以通过能够执行上述示例性实施例的一个或更多个功能的程序的电路(例如，专用集成电路(ASIC))来实现上述示例性实施例。

其他实施例

还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能，和/或包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能，并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存装置以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然针对示例性实施例描述了本发明，但是，应该理解，本发明不限于公开的示例性实施例。权利要求的范围应当被赋予最宽的解释，以涵盖所有这类变型例以及等同的结构和功能。

Claims (18)

1.一种摄像装置，所述摄像装置包括：

图像传感器，其被构造为在光学系统的不同焦点位置拍摄多个图像；以及

控制电路，其被构造为控制在图像传感器拍摄图像时的光学系统的景深，

其中，如果控制电路基于针对多个被摄体区域中的各个被摄体区域的距离确定所述多个被摄体区域满足预定条件，则与所述多个被摄体区域不满足所述预定条件相比，控制电路增加在图像传感器拍摄所述多个图像中的一部分图像的情况下的光学系统的景深，并且

其中，所述预定条件包括所述多个被摄体区域中的任意两个被摄体区域在光轴方向上的距离差大于预定距离。

2.根据权利要求1所述的摄像装置，其中，所述预定条件还包括在图像上的预定范围内存在所述距离差大于所述预定距离的多个被摄体区域。

3.根据权利要求1所述的摄像装置，其中，如果所述多个被摄体区域满足所述预定条件，则与所述多个被摄体区域不满足所述预定条件的情况相比，控制电路增加在针对所述多个被摄体当中的更远被摄体的焦点位置拍摄图像的情况下的光学系统的景深。

4.根据权利要求3所述的摄像装置，其中，如果所述多个被摄体区域满足所述预定条件，则控制电路增加光学系统的景深，使得在针对所述多个被摄体区域当中的更远被摄体区域的焦点位置拍摄图像的情况下所述多个被摄体区域当中的更近被摄体区域的分辨率更高。

5.根据权利要求1所述的摄像装置，其中，控制电路阶段性地增加在拍摄所述多个图像中的一个图像的情况下的光学系统的景深。

6.根据权利要求1所述的摄像装置，其中，所述多个被摄体区域是否满足所述预定条件，不影响所述控制电路在拍摄所述多个图像时对焦点位置的设定。

7.根据权利要求1所述的摄像装置，其中，所述不同焦点位置包括以等间隔布置的焦点位置。

8.根据权利要求1所述的摄像装置，其中，控制电路通过控制光学系统的光圈来控制光学系统的景深。

9.根据权利要求1所述的摄像装置，其中，控制电路基于一对光瞳分割图像来确定被摄体区域的距离。

10.根据权利要求9所述的摄像装置，其中，所述图像传感器具有如下结构：对应于一个微透镜而存在多个光电转换单元，并且图像传感器输出光瞳分割图像，所述控制电路基于一对所述光瞳分割图像来确定被摄体区域的距离。

11.根据权利要求1所述的摄像装置，其中，所述控制电路通过使用由图像传感器拍摄的所述多个图像来进行合成处理。

12.一种摄像装置，所述摄像装置包括：

图像传感器，其被构造为在光学系统的不同焦点位置拍摄多个图像；以及

控制电路，其被构造为控制在图像传感器拍摄图像时的光学系统的景深，

其中，如果被摄体区域位于相对于预定距离在光轴方向上更近于所述图像传感器的近距离侧，则控制电路使图像传感器在所述近距离侧上的焦点位置通过使用多个景深拍摄多个图像，并且

其中，控制电路使图像传感器在所述近距离侧上的焦点位置拍摄图像时的任意景深比在拍摄其他图像时的景深更大。

13.根据权利要求12所述的摄像装置，其中，所述预定距离是当图像传感器在所述近距离侧上的焦点位置拍摄图像时通过使用与在其他焦点位置设置的光学系统的景深相同的景深无法获得预定分辨率的距离。

14.一种摄像装置，所述摄像装置包括：

图像传感器，其被构造为在光轴方向上的不同焦点位置多次对被摄体进行图像拍摄以生成多个图像；

合成电路，其被构造为对所述多个图像进行合成；以及

控制电路，其被构造为获取被摄体的多个区域在光轴方向上的距离信息以控制在图像传感器拍摄图像时的景深，

其中，基于焦点位置与被摄体的所述多个区域的所述距离信息之间的位置关系，控制电路增加在拍摄所述多个图像中的一部分的情况下的景深。

15.一种摄像装置的控制方法，所述控制方法包括：

拍摄具有不同焦点位置的多个图像；以及

控制拍摄图像时的景深，

其中，在基于针对多个被摄体区域中的各个被摄体区域的距离确定所述多个被摄体区域满足预定条件的情况下，与确定所述多个被摄体区域不满足所述预定条件的情况相比，增加在拍摄所述多个图像中的一部分图像时的景深，并且

其中，所述预定条件包括所述多个被摄体区域中的任意两个被摄体区域在光轴方向上的距离差大于预定距离。

16.一种摄像装置的控制方法，所述控制方法包括：

拍摄具有不同焦点位置的多个图像；以及

控制拍摄图像时的景深，

其中，如果被摄体区域位于相对于预定距离的近距离侧，则在所述近距离侧上的焦点位置通过使用多个景深拍摄多个图像，并且

其中，在所述近距离侧上的焦点位置拍摄图像时的任意景深被控制为比在拍摄其他图像时的景深更大。

17.一种摄像装置的控制方法，所述控制方法包括：

获取被摄体的多个区域在光轴方向上的距离信息；

通过在光轴方向上的不同焦点位置多次对被摄体进行图像拍摄来生成多个图像；

控制在多次对被摄体进行图像拍摄时的景深；以及

对多个图像进行合成，

其中，基于焦点位置与被摄体的所述多个区域的所述距离信息之间的位置关系，增加在拍摄所述多个图像中的一部分时的景深。

18.一种计算机可读取的存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求15-17中任意一项所述的摄像装置的控制方法。