CN104427225A - 摄像设备和摄像设备的控制方法 - Google Patents

Abstract

本发明涉及一种摄像设备和摄像设备的控制方法。所述摄像设备包括：成像光学系统；摄像元件，其包括多个像素；透镜阵列，其被配置成如下：来自被摄体面的同一位置的光线根据所述光线所穿过的所述成像光学系统的光瞳区域而入射到所述摄像元件的彼此不同的像素上；图像处理单元，用于对所述摄像元件所获取到的所述输入图像进行图像处理，以生成所述输出图像；以及控制单元，用于驱动所述成像光学系统以进行调焦控制，其特征在于，所述图像处理单元获取与再聚焦控制范围有关的信息，以及所述控制单元基于与所述再聚焦控制范围有关的信息来进行所述调焦控制。

Description

摄像设备和摄像设备的控制方法

技术领域

本发明涉及能够获取再聚焦图像的摄像设备。

背景技术

近年来，已提出了对利用摄像元件所获取到的数据进行计算、并且进行与该计算相对应的数字图像处理以输出各种图像的摄像设备。文献Ren Ng等人，“Light Field Photography with a Hand-held Plenoptic Camera”,2005Computer Science Technical Report CTSR,Todor Georgiev等人，“Superresolution with Plenoptic 2.0Camera”,2009Optical Society of America,and Aaron Isaksen等人，“Dynamically Reparameterized Light Fields”,ACMSIGGRAPH,pp.297-306(2000)公开了用于同时获取被摄体空间中的光的二维强度分布和光线的角度信息的摄像设备。以下将光的二维强度分布和光线的角度信息统称为“光场”，并且获取光场使得能够获取被摄体空间的三维信息。上述摄像设备可以通过获取光场并在拍摄图像之后进行图像处理，来改变图像的焦点位置(被称为“再聚焦”)、改变拍摄视点、调节景深并且进行类似操作。

日本特开(“JP”)2011-109310公开了利用再聚焦功能作为自动调焦所用的辅助功能的结构。JPS59-146029(日本特开昭59-146029)公开了如下结构：在焦点位置根据由光圈所确定的景深而偏移的状态下拍摄图像，以使得多个被摄体包括在该景深内。

尽管可以在拍摄之后利用再聚焦功能来改变焦点位置，但由于可以改变焦点位置的范围有限，因此未必能将焦点位置设置到任意位置。这样可能阻止了拍摄之后用户将焦点位置改变为该用户想要的另一位置。这意味着利用JP2011-109310中所公开的结构无法将多个任意被摄体共同包括在再聚焦范围内。同样，利用JPS59-146029中所公开的结构无法生成再聚焦图像。

发明内容

本发明提供一种能够在拍摄之后获取具有用户想要的焦点位置的再聚焦图像的摄像设备、以及该摄像设备的控制方法。

作为本发明的一个方面的一种摄像设备，其能够对输入图像进行重建，以生成焦点位置彼此不同的多个输出图像，所述摄像设备包括：成像光学系统；摄像元件，其包括多个像素；透镜阵列，其被配置成：来自被摄体面的同一位置的光线根据该光线所穿过的所述成像光学系统的光瞳区域而入射到彼此不同的像素上；图像处理单元，用于对所述摄像元件所获取到的所述输入图像进行图像处理，以生成所述输出图像；以及控制单元，用于驱动所述成像光学系统以进行调焦控制。所述图像处理单元获取与再聚焦控制范围有关的信息。所述控制单元基于与所述再聚焦控制范围有关的信息来进行所述调焦控制。

作为本发明的另一方面的一种摄像设备，其能够对输入图像进行重建，以生成焦点位置彼此不同的多个输出图像，所述摄像设备包括：成像光学系统，其包括多个光学系统；至少一个摄像元件，其包括多个像素；图像处理单元，用于根据所述摄像元件所获取到的所述输入图像来生成所述输出图像；以及控制单元，用于驱动所述成像光学系统以进行调焦控制。在所述成像光学系统的光瞳是通过合成所述多个光学系统的光瞳所形成的光瞳的情况下，所述多个光学系统被配置成：来自被摄体面的同一位置的光线根据该光线所穿过的所述成像光学系统的光瞳区域而入射到所述至少一个摄像元件的彼此不同的像素上。所述图像处理单元获取与再聚焦控制范围有关的信息。所述控制单元基于与所述再聚焦控制范围有关的信息来进行所述调焦控制。

作为本发明的另一方面的一种摄像设备的控制方法，所述摄像设备能够对输入图像进行重建，以生成焦点位置彼此不同的多个输出图像，所述控制方法包括以下步骤：通过使用包括成像光学系统和摄像元件的摄像设备来获取所述输入图像，其中所述输入图像是通过从多个视点获取与被摄体空间有关的信息所形成的图像，所述摄像元件包括多个像素；获取与再聚焦控制范围有关的信息；以及基于与所述再聚焦控制范围有关的信息来驱动所述成像光学系统，以进行调焦控制。

通过以下参考附图对典型实施例的说明，本发明的其它特征和方面将变得明显。

附图说明

图1是第一实施例、第二实施例和第三实施例中的摄像设备的框图。

图2是第一实施例中的摄像单元的示意结构图。

图3是第二实施例中的摄像单元的示意结构图。

图4是第二实施例中的摄像单元的示意结构图。

图5是第三实施例中的摄像单元的示意结构图。

图6是第一实施例中的摄像单元的截面图。

图7是第二实施例中的摄像单元的截面图。

图8是第三实施例中的成像光学系统的截面图。

图9是第四实施例中的成像光学系统的截面图。

图10A和10B是第二实施例中的再聚焦图像的生成的说明图。

图11是第一实施例中的再聚焦图像的生成的说明图。

图12是第一实施例中的再聚焦控制范围的说明图。

图13是第二实施例中的再聚焦控制范围的说明图。

图14是第三实施例中的再聚焦控制范围的说明图。

图15是第三实施例中的摄像单元的示意结构图。

图16是示出第一实施例、第二实施例、第三实施例和第四实施例中的拍摄处理的流程图。

图17是示出第一实施例、第二实施例、第三实施例和第四实施例中的拍摄处理的流程图。

图18是示出第一实施例、第二实施例、第三实施例和第四实施例中的拍摄处理的流程图。

图19A和19B是示出第一实施例、第二实施例、第三实施例和第四实施例中的拍摄场景的示例的图。

图20A和20B是示出第一实施例、第二实施例、第三实施例和第四实施例中的拍摄场景的示例的图。

图21A和21B是示出第一实施例、第二实施例、第三实施例和第四实施例中的拍摄场景的示例的图。

图22A和22B是第一实施例中的再聚焦控制范围的说明图。

图23是示出第一实施例、第二实施例、第三实施例和第四实施例中的拍摄处理的流程图。

图24是示出第一实施例、第二实施例、第三实施例和第四实施例中的拍摄处理的流程图。

图25是示出第一实施例、第二实施例、第三实施例和第四实施例中的拍摄处理的流程图。

图26A和26B是示出第一实施例、第二实施例、第三实施例和第四实施例中的拍摄场景的示例的图。

图27是第一实施例中的摄像单元的光学配置图。

图28是第一实施例中的再聚焦控制范围的说明图。

图29是示出第一实施例、第二实施例、第三实施例和第四实施例中的拍摄处理的流程图。

图30是示出第一实施例、第二实施例、第三实施例和第四实施例中的拍摄处理的流程图。

图31是第四实施例中的图像处理系统的框图。

图32是第四实施例中的图像处理系统的示意结构图。

图33是第四实施例中的单视点图像获取单元的框图。

具体实施方式

以下将参考附图来说明本发明的典型实施例。在各附图中，将利用相同的附图标记来表示相同的元件，并且将省略针对这些元件的重复说明。

本实施例的摄像单元获取作为从多个视点所拍摄到的被摄体空间的图像的多个视差图像、即光场。如这里所使用的“被摄体空间”是指利用本实施例的摄像设备可以获取到的视角内的真实空间。摄像单元的结构的示例包括图2～4所示的透镜阵列配置在成像光学系统的像侧的结构、以及图5所示的排列有多个成像光学系统的结构。另外，作为用于获取光场的方法的示例，可以采用如下方法，其中该方法使用包括成像光学系统和摄像元件的摄像设备，在改变该摄像设备的位置的同时进行多次拍摄。在该方法中，摄像设备在彼此不同的时间点处拍摄被摄体空间中的视差图像。由于该原因，在被摄体空间中存在移动物体的情况下，无法获取正确的视差信息。因而，期望摄像单元具有如图2～5所示的、能够同时获取多个视差图像的结构。

对利用图2～5所示的结构所获取到的视差图像进行诸如像素的提取、顺序变化和合成等的各种处理，这使得能够进行再聚焦、景深的控制和视点的变化等。在本实施例中，将该处理称为“重建”并将通过重建所生成的图像称为“重建图像”。特别地，将经过了再聚焦处理的图像称为“再聚焦图像”。再聚焦图像可以是经过了诸如噪声降低等的处理和诸如景深控制等的重建处理的图像。另外，将被摄体空间中的可以进行再聚焦的范围称为“再聚焦控制范围”。

在图2～5所示的被摄体面201上，并非必须存在人或物体。这是因为可以在拍摄之后通过再聚焦处理来控制存在于被摄体面201的远侧或近侧的人或被摄体的焦点位置。尽管为了方便参考、可以使用一维系统来描述以下各实施例，但在使用二维系统的情况下，同样的说明也成立。

第一实施例

首先，将参考图1和2来说明本发明的第一实施例中的摄像设备的基本结构。图1是本实施例中的摄像设备10的框图。图2是本实施例中的摄像单元100的示意结构图。

本实施例的摄像设备10能够通过对输入图像进行重建来生成焦点位置彼此不同的多个输出图像。如图2所示，摄像单元100包括从被摄体面201起按顺序依次配置的成像光学系统101、透镜阵列102和摄像元件103。后面将说明摄像单元100的详情。

摄像元件103是诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)传感器等的二维摄像元件。摄像元件103包括多个像素并且对被摄体图像(光学图像)进行光电转换。换句话说，将穿过了成像光学系统101和透镜阵列102、然后入射到摄像元件103上的光线的能量转换成电信号(模拟信号)。A/D转换器104将从摄像单元100(摄像元件103)发送来的模拟信号转换成数字信号。图像处理单元105对该数字信号进行预定处理以生成显示图像。另外，图像处理单元105基于摄像单元100所获取到的摄像数据或存储单元109所获取到的摄像数据来进行后面将说明的诸如再聚焦处理等的图像生成处理。如上所述，图像处理单元105对摄像元件103所获取到的诸如输入图像等的摄像数据进行图像处理，以生成输出图像。后面将说明图像处理单元105的详情。

将图像处理单元105所生成的显示图像输出并显示在诸如液晶显示器等的显示单元106上。用户可以在观看显示单元106上所显示的图像以确认要拍摄的图像的情况下进行拍摄。另外，显示单元106可以具有触摸屏功能。在这种情况下，还可以将通过使用触摸屏所给出的用户指示视为输入。该显示图像是通过使用图像获取条件(拍摄条件信息)、来自曝光状态预测单元113或图像记录介质110的信息、或者距离信息获取单元105a所获取到的距离信息来生成的。如这里所使用的“图像获取条件(拍摄条件信息)”表示获取到模拟信号时的摄像单元100的结构、由光圈等所确定的曝光状态、焦点位置或变焦透镜的焦距等。该图像获取条件可以由状态检测器108从系统控制器111直接获取，并且可以从控制单元107获取与摄像单元100有关的信息。在本实施例中，将与摄像单元100的结构有关的信息存储在存储单元109中。曝光状态预测单元113基于来自测光单元112的信息来预测拍摄时所观察到的曝光状态。距离信息获取单元105a通过使用所输入的视差信息(与输入图像有关的视差信息)来获取被摄体空间(被摄体)的距离信息。使用该距离信息来计算再聚焦控制范围。

系统控制器111包括显示指示单元111c。显示单元106基于来自显示指示单元111c的信号来进行显示的“ON(接通)”和“OFF(断开)”以及显示图像的切换。例如，在摄像设备10包括释放按钮的情况下，在用户将释放按钮按下至第一位置的情况下，显示指示单元111c显示该显示图像的显示信号。在这种情形中，将释放按钮按下至比第一位置更深的第二位置，这使得摄像设备进行拍摄。然而，本实施例不限于此，并且显示指示单元111c可以可选地被配置为利用其它部件来发送信号。

系统控制器111还包括聚焦被摄体指定单元111b，其中该聚焦被摄体指定单元111b指定摄像单元100要聚焦的被摄体。控制单元107内所设置的调焦控制单元107a基于来自聚焦被摄体指定单元111b的信号来驱动摄像单元100的调焦机构，以使所指定的被摄体聚焦。也就是说，控制单元107(系统控制器111)驱动成像光学系统101以进行调焦控制。在拍摄指示单元111d进行拍摄的情况下，控制单元107基于来自测光单元112的信息来调节摄像单元100的曝光。在该操作中，将摄像元件103所获取到的图像经由与上述相同的路径输入至图像处理单元105，进行预定处理，然后以预定格式存储在诸如半导体存储器等的图像记录介质110中。同时，还记录从状态检测器108所获取到的拍摄时的图像获取条件。图像记录介质110中所记录的图像可以是经过了重建处理的图像。

在将图像记录单元110中所存储的图像显示在显示单元106上时，图像处理单元105基于拍摄时所使用的图像获取条件(拍摄条件信息)来进行处理。结果，将利用期望设置(分辨率、视点、焦点位置、景深等)重建后的图像显示在显示单元106上。合成图像分辨率指定单元111a指定重建图像的分辨率。此外，为了进行高速显示，在预先将期望设置存储在存储单元109中的情况下，可以无需经由图像记录介质110来将重建图像显示在显示单元106上。尽管存在除上述以外的摄像设备10的其它元件，但由于这些元件不是用作本实施例中的主要元件，因此将省略针对这些元件的说明。利用系统控制器111来进行上述一系列控制。

接着，将说明本实施例中的摄像单元100的结构。摄像单元100具有图2所示的配置。透镜阵列102配置在成像光学系统101相对于被摄体面201的像侧共轭面处。另外，对透镜阵列102进行配置，以使得成像光学系统101的出射光瞳和摄像元件103处于近似共轭关系。该“近似共轭关系”不仅包括严格共轭关系，而且还包括将被评价为基本共轭关系的关系。

来自被摄体面201的光线经由成像光学系统101和透镜阵列102，根据这些光线在被摄体面201上的位置和角度而入射到摄像元件103的不同像素上。这使得获取到视差图像数据(光场数据)。在该处理中，透镜阵列102(光瞳分割单元)用于防止穿过了被摄体面201上的不同位置的光线入射到同一像素上。也就是说，透镜阵列102使来自被摄体面201的同一位置的光线根据这些光线所穿过的成像光学系统101的光瞳位置而入射到摄像元件103的彼此不同的像素上。结果，摄像元件103获取到排列有通过从多个视点拍摄被摄体面201上的同一区域所获取到的像素组的图像。

随后，将参考图6来说明摄像单元100的截面。图6是本实施例中的摄像单元100的截面图。图6的成像光学系统101是单焦点透镜。使调焦透镜单元IF在光轴OA上移动以进行聚焦。在本实施例中，尽管透镜阵列102由固体单透镜构成，但可应用的透镜不限于此，并且透镜阵列102可以包括多个透镜。另外，透镜阵列102可以可选地使用液体透镜、液晶透镜或衍射光学元件等。此外，在本实施例中，尽管构成透镜阵列102的小透镜的两面都具有凸形状，但这些面其中之一可以是平面或非球面。

随后，将说明再聚焦处理。在文献“Fourier Slice Photography”(Ren Ng编著，2005ACM Trans.Graph.24，参见第735-744页)中详细描述了再聚焦。因此，在本实施例中将简要说明再聚焦。再聚焦的基本原理在图2～5所示的结构之间是共通的。在本实施例中，将说明图2所示的结构作为示例。

由于在图2中将成像光学系统101的光瞳以二维方式分割成九个(一维各三个)，因此获取到具有不同视点的九个图像。以下将与特定分割光瞳相对应的图像称为“单视点图像”。九个单视点图像彼此具有视差。由于该原因，图像上的被摄体之间的相对位置关系根据被摄体距离而改变。在将单视点图像合成、由此特定被摄体重叠的情况下，将位于不同的被摄体距离处的被摄体以彼此偏移的方式进行合成。该偏移使位于不同的被摄体距离处的被摄体变模糊。该处理中发生的模糊由与合成所使用的单视点图像相对应的光瞳来确定，并且合成所有这九个单视点图像使得能够再现使用成像光学系统101所拍摄到的图像的模糊。任意选择在这种单视点图像合成中要重叠的被摄体。这样使得可以再现通过使用成像光学系统101聚焦于任意被摄体所拍摄到的图像。该一系列处理是拍摄后调焦控制、即再聚焦的原理。

随后，将参考图11来说明本实施例中的生成单视点图像的方法。图11是本实施例中的单视点图像的生成的说明图，并且示出图2的透镜阵列102和摄像元件103之间的关系。各虚线圆表示穿过了小透镜的光线所入射的像素的区域。尽管图11与小透镜按格子图案配置的情况相对应，但可应用的小透镜的阵列不限于此。例如，这种阵列可选地可以是具有六重对称性(蜂窝结构)的阵列、或者各小透镜相对于规则排列略微偏移的阵列。图11的各斜线部分表示穿过了成像光学系统101的同一光瞳区域的光线所入射的像素。因此，提取斜线部分所表示的相应像素使得能够生成在从成像光学系统101的光瞳底部观看被摄体空间的情况下所观察到的单视点图像。同样，提取相对于各虚线圆的相对位置相同的像素也使得能够生成其它单视点图像。

随后，将说明可以改变焦点位置的再聚焦控制范围。由于通过使单视点图像重叠来进行再聚焦，因此无法在各单视点图像内再聚焦模糊被摄体。其原因如下：由于无法通过使模糊图像彼此重叠来获取高频成分，因此这些模糊图像仍然模糊。也就是说，再聚焦控制范围依赖于成像光学系统101的分割光瞳。由于随着将光瞳分割成较小部分、各单视点图像的景深变深，再聚焦控制范围相应地变宽。然而，各单视点图像中的景深和再聚焦控制范围没有必要一致。这是因为再聚焦控制范围根据单视点图像和通过对单视点图像进行重建所获取到的重建图像之间的分辨率比而改变。例如，在重建图像的分辨率低于各视点的图像的分辨率的情况下，重建图像中的空间成分的采样间距大于各单视点图像的采样间距。因此，重建图像的景深比各单视点图像的景深更深，相应地重建图像具有较宽的再聚焦控制范围。相反，在重建图像的分辨率大于各单视点图像的分辨率的情况下，重建图像的再聚焦控制范围相应地比各单视点图像的景深窄。以上说明表明需要考虑到单视点图像的重建条件，从而获取重建图像的正确的再聚焦控制范围。

接着，将详细说明用于计算重建图像的再聚焦控制范围的方法。首先，将说明与重建图像的景深相对应的焦深。在本实施例中，符号ε表示焦深的容许模糊圆的大小，并且符号Δu表示光线的角度成分的采样间距。在这种情况下，通过以下表达式(1)来表示再聚焦系数α_±。

${\mathrm{\α}}_{\±}=\frac{1}{1\±\mathrm{\ϵ}/\mathrm{\Δu}}...\left(1\right)$

在成像光学系统101的像侧主平面和成像光学系统101相对于被摄体面201的像侧共轭面之间的距离为S₂的情况下，由再聚焦系数α_±和距离S₂的乘积所表示的像侧再聚焦范围落在α₊s₂～α_-s₂的范围内。结果，相对于成像光学系统101共轭的范围与作为物体侧的再聚焦范围的再聚焦控制范围相对应。如图12所示，再聚焦范围的中心位置是成像光学系统101的焦点位置。在这种情况下，透镜阵列102的位置是再聚焦范围的中心位置。表达式(1)所示的关系使图2～5所示的任意结构成立。

图12是本实施例中的再聚焦控制范围的说明图。“像侧的再聚焦控制范围d_refocus”是指经由成像光学系统101相对于物体侧的再聚焦控制范围共轭的范围。符号Δy表示光的二维强度分布的采样间距，其中该采样间距与图2所示的结构中的透镜阵列102的间距Δ_LA相等。由于摄像元件103的像素间距Δ相对于出射光瞳距离P足够小，因此如通过以下表达式(2)所示，可以对表达式(1)进行近似。

在表达式(2)中，成像光学系统101的“出射光瞳距离P”是指成像光学系统101的出射光瞳面和成像光学系统101相对于被摄体面201的像侧共轭面之间的距离。另外，符号N表示成像光学系统101的光瞳的一维分割数，并且符号F表示成像光学系统101的F值。

通过使用表达式(2)，通过以下表达式(3)来表示像侧的再聚焦控制范围d_refocus。

d_refocus＝2NFε　　…　　(3)

可以通过确定相对于成像光学系统101共轭的范围来将像侧的再聚焦控制范围d_refocus转换成物体侧的再聚焦控制范围D_refocus。可以通过应用公式以确定景深来获取共轭范围。

在物体侧的再聚焦控制范围D_refocus中，将从被摄体面201向着摄像设备10的范围定义为D_near，并且将远离被摄体面201的方向上的范围定义为D_far。另外，将被摄体面201和成像光学系统101的物体侧主平面之间的距离定义为S₁，并且将在成像光学系统101在被摄体距离为无限远的位置处成像的情况下所确定的焦距定义为f。距离S₁和焦距f各自具有正符号，而与其方向无关。在这种情形下，满足以下表达式(4)。

D_refocus＝D_far+D_near　　…　　(4)

在表达式(4)中，通过以下表达式(5)和(6)来分别表示范围D_far和范围D_near。

$D_{\mathrm{far}}=\frac{{(f-s_1)}^2\×\mathrm{NF\ϵ}}{f^2+(f-s_1)\×\mathrm{NF\ϵ}}...\left(5\right)$

$D_{\mathrm{near}}=\frac{{(f-s_1)}^2\×\mathrm{NF\ϵ}}{f^2-(f-s_1)\×\mathrm{NF\ϵ}}...\left(6\right)$

接着，在本实施例中，将参考图16～18来说明用于使位于被摄体空间的多个任意点处于再聚焦控制范围内的方法。图16～18是示出本实施例中的拍摄处理的流程图。图16～18的流程图在有无任意被摄体方面存在差异。

图16的流程图是示出存在任意被摄体的操作的流程图。例如，如图19A和19B所示，该流程图是示出如下操作的流程图：用户在拍摄时选择该用户期望包括在再聚焦控制范围内的(或摄像设备10自动选择的)、实际存在于被摄体空间中的诸如人或物体等的多个被摄体中的至少一个被摄体。

另一方面，图17和18的流程图是示出不存在特定被摄体的操作的流程图。为了便于理解，将使用操作示例来给出说明。首先，将说明图17的流程图中所使用的操作作为示例。如图20A和20B所示，在用户期望将如下范围设置为再聚焦控制范围的情况下使用该操作，其中该范围是从作为利用摄像设备10的调焦机构所设置的基准的焦点位置的前方1米(该范围的实际值是任意设置的)起、直到尽可能远的位置为止的范围。例如，使用该操作在如下情况下改变焦点位置：用户将作为被摄体的诸如在运动会中所观察到的运动员等的高速移动的运动员与(无意中所聚焦的)偶然包括在要拍摄到被摄体的背景中的诸如球或其它运动员等的其它被摄体一起拍摄。在这种情况下，由于除要拍摄的实际被摄体以外的其它被摄体没有必要包括在背景中，因此实际被摄体可能没有存在于位于焦点位置的前方1米的位置处。相反，在用户期望将如下范围设置为再聚焦控制范围的情况下也使用相同的流程图，其中该范围是从位于离作为基准的焦点位置几米远(该范围的实际值是任意设置的)的位置起、直到尽可能近的位置为止的范围。

随后，将说明图18的流程图中所使用的操作示例。如图21A和21B所示，在用户期望将从焦点位置起直到尽可能远的位置的范围(不包括焦点位置前方的范围)设置为再聚焦控制范围的情况下，使用该操作。该操作的一个应用是如下情况：用户在利用调焦机构聚焦第一名选手的状态下从前方拍摄田径比赛(例如，100米跑)的目标场景，并且在拍摄之后将原始焦点位置改变为要聚焦于第二名选手或第三名选手的另一焦点位置。在这种情况下，由于在原本设置的焦点位置(即，第一名选手)的前方不存在被摄体，因此不必使所拍摄图像再聚焦。如上所述，在用户期望有效地控制再聚焦控制范围的情况下，可以使用该操作。图16～18的流程图的各步骤主要由图像处理单元105基于系统控制器111的命令(指示)来进行。

首先，参考图16的流程图，将说明拍摄时存在任意被摄体的情况。在步骤S101中，图像处理单元105获取摄像单元100所获取到的视差图像(与视差图像有关的信息)。随后，在步骤S102中，图像处理单元105将步骤S101中所获取到的视差图像的重建图像显示在显示单元106上。这样使得用户能够实时地检查摄像元件103当前所获取到的图像(通过镜头图像)。此时的焦点位置例如是作为在没有对所获取到的视差图像进行再聚焦处理的情况下所获取到的重建图像的、利用调焦机构所聚焦的焦点位置。可选地，图像处理单元105可以生成视点离成像光学系统101的光瞳中心最近的单视点图像，并将该单视点图像显示在显示单元106上。输出单视点图像所需的处理与输出重建图像所需的处理相比更为简单这一事实使时滞减小，从而得到更加快速的显示。另外，在输出是单视点图像的情况下，单视点图像的视点可以是成像光学系统101的光瞳的任意位置。

接着，在步骤S103中，基于步骤S102中所显示的图像来指定第一焦点位置。该第一焦点位置可以由用户利用例如触摸面板来指定。可选地，该第一焦点位置可以由摄像设备100利用面部识别技术等来自动指定。随后，在步骤S104和S105中，图像处理单元105(距离信息获取单元105a)获取与从摄像设备10到第一焦点位置的距离有关的距离信息。在该处理中，首先，在步骤S104中，图像处理单元105进行在步骤S105中获取距离信息的准备。步骤S105中的“距离信息”是指从摄像设备10到第一焦点位置的距离。

用于确定从摄像设备10到第一焦点位置的距离的方法依赖于调焦方法。作为示例，将说明对比度AF和手动调焦(MF)的情况。还被称为爬山AF的对比度AF是基于摄像设备10所获取到的图像的对比度来自动驱动调焦机构以进行聚焦的方法。另一方面，MF是用户操作调焦机构以确定焦点位置的方法。在这些调焦方法中，可以利用调焦机构的移动距离来确定从摄像设备10到第一焦点位置的距离。根据摄像单元100内的成像光学系统101的规格，确定与从摄像设备10到任意焦点位置的距离相对应的调焦机构的移动距离。由于通过几何光学计算来确定移动距离，因此可以每次均计算该移动距离。可选地，可以通过预先存储调焦机构的移动距离和从摄像设备10到任意焦点位置的距离之间的关系的表、并且参考该表，来确定移动距离。在这种情况下，在步骤S104中对调焦机构进行操作直到该调焦机构聚焦于第一焦点位置为止，这样使得图像处理单元105能够在步骤S105中获取与从摄像设备10到第一焦点位置的距离有关的距离信息。

在使用相位差AF作为调焦方法的情况下，没有必要需要步骤S104。“相位差AF”是指通过使用视差图像来确定调焦机构所移动的距离的方法，并且无需实际使调焦机构移动来确定该距离。只要得知了调焦机构所移动的距离，就可以如上所述确定从摄像设备10到任意焦点位置的距离。在这种情况下，可以省略步骤S104。如上所述，尽管用于获取距离信息的处理根据调焦方法而略有不同，但可应用的距离信息获取方法不限于使用调焦机构的方法。例如，可以通过使用作为传统技术等的诸如DFD(Depth from Defocus，散焦测距)等的方法或者利用红外线等的测距单元来获取距离信息。在步骤S104中采用任意调焦方法的情况下，可以通过使用调焦机构来进行调焦，以使得用户可以确认位于第一焦点位置处的被摄体。

接着，在步骤S106中，图像处理单元105基于步骤S105中所获取到的距离信息来计算与第一焦点位置有关的再聚焦控制范围。如上所述，该再聚焦控制范围根据各单视点图像与其重建图像之间的分辨率比而改变。为了便于说明，将考虑分辨率比为1的情况。在像侧的再聚焦控制范围落在通过表达式(2)所示的范围内的情况下，这表示已获取到可再聚焦区域。因此，成像光学系统101相对于被摄体面201的像侧共轭面与像侧的再聚焦控制范围之间的距离d_r仅需满足以下表达式(7)。符号d_r表示符号为正而与方向无关的距离。

d_r≤NFε　　…　　(7)

参考图27发现，表达式(7)以几何方式表示NF＝σ/Δ。图27是图2所示的摄像单元100的光学配置图，并且示出各参数之间的关系。在图27中，符号σ表示透镜阵列102的像侧主平面和摄像元件103之间的距离。图27的各虚线表示与一个小透镜相对应的摄像元件103的区域，并且斜线所表示的各像素表示没有光线入射的不敏感区。在本实施例中，由于透镜阵列102被配置成不具有这种不敏感区，因此满足Δ_LA＝NΔ的关系。然而，本实施例不限于此，并且可能存在这种不敏感区。在定义焦距的容许模糊圆的大小的特征是空间成分的采样间距Δy＝Δ_LA的情况下，将表达式(7)重写为以下表达式(8)。

$\frac{d_r}{{\mathrm{NF\Δ}}_{\mathrm{LA}}}=\frac{d_r\mathrm{\Δ}}{{\mathrm{\Δ}}_{\mathrm{LA}}\mathrm{\σ}}\≤\frac{\mathrm{\ϵ}}{{\mathrm{\Δ}}_{\mathrm{LA}}}...\left(8\right)$

接着，将考虑单视点图像的分辨率比和重建图像的分辨率比不同的一般情况。重建图像的视角和重建所使用的单视点图像的视角彼此相等。由于该原因，在分辨率比彼此不同的情况下，这两者的采样间距Δy的值也彼此不同。同行，采样间距Δy的值越小，容许模糊圆越大，反之亦然。因此，表达式(8)表示单视点图像和重建图像的采样间距Δy的值之间的比，并且可以扩展为如以下表达式(9)所示。

$\frac{d_r\mathrm{\Δ}}{{\mathrm{\Δ}}_{\mathrm{LA}}\mathrm{\σ}}\≤\frac{\mathrm{\ϵ}}{{\mathrm{\Δ}}_{\mathrm{LA}}}\sqrt{\frac{R_{\mathrm{mono}}}{R_{\mathrm{synth}}}}...\left(9\right)$

在表达式(9)中，符号R_mono表示合成所使用的单视点图像的分辨率，并且，符号R_synth表示重建图像的分辨率。可以通过确定分辨率R_mono和分辨率R_synth之间的比的平方根来获取采样间距Δy之比。参考图27发现，通过以下表达式(10)来表示单视点图像的分辨率R_mono。

$R_{\mathrm{mono}}={\left(\frac{\mathrm{\Δ}}{{\mathrm{\Δ}}_{\mathrm{LA}}}\right)}^2{R}_{\mathrm{total}}...\left(10\right)$

在表达式(10)中，符号R_total表示摄像元件103的有效像素数。基于表达式(9)和(10)的结果，确定了像侧的再聚焦控制范围应满足的以下表达式(11)。

$0.0<\frac{d_r}{\mathrm{\&sigma;}}\sqrt{\frac{R_{\mathrm{synth}}}{R_{\mathrm{total}}}}\&le;10.0...\left(11\right)$

将像侧的再聚焦控制范围设置为表达式(11)的范围，这使得能够获取拍摄之后可再聚焦的区域。表达式(11)的结果理论上不可能为负值。另外，在表达式(11)的结果为零的情况下，这表示无法进行调焦控制。因此，不能超过表达式(11)的下限。表达式(11)的结果的上限表示重建图像在其焦点位置处的点扩散。点扩散越小，可以进行的再聚焦越清晰。在超过表达式(11)的上限的范围中，点扩散变宽，从而即使在焦点位置处也使图像变模糊。也就是说，这表示再聚焦已失败。

期望地，可以通过将再聚焦控制范围设置在以下表达式(11a)的范围内来获取更清晰的重建图像。

$0.0<\frac{d_r}{\mathrm{\&sigma;}}\sqrt{\frac{R_{\mathrm{synth}}}{R_{\mathrm{total}}}}\&le;6.0...\left(11a\right)$

更期望地，可以通过将再聚焦控制范围设置在以下表达式(11b)的范围内来获取进一步更清晰的聚焦图像。

$0.0<\frac{d_r}{\mathrm{\&sigma;}}\sqrt{\frac{R_{\mathrm{synth}}}{R_{\mathrm{total}}}}\&le;3.0...\left(11b\right)$

本实施例中的表达式(11)的值如表1所示。在本实施例中，摄像元件103的有效像素数为R_total＝46.7×10⁶(pix)，并且透镜阵列102的像侧主平面和摄像元件103之间的距离为σ＝0.0374(mm)。符号pix是表示像素数的单位。摄像元件103的像素间距为Δ＝0.0043(mm)，并且透镜阵列102的间距为Δ_LA＝0.0129(mm)。成像光学系统101的焦距、F值和一维光瞳分割数分别为f＝14.0(mm)、F＝2.9和N＝3。可以利用合成图像分辨率指定单元111a从8.0×10⁶pix、5.2×10⁶pix和2.0×10⁶pix这三个分辨率中选择重建图像的分辨率R_synth。针对各分辨率的距离d_r的值如表1所示。由于单视点图像的分辨率为5.2×10⁶pix，因此需要利用例如由于子像素偏移所引起的超分辨率来增加分辨率，从而生成分辨率为8.0×10⁶pix的重建图像。重建图像的分辨率R_synth可以是除以上值以外的值，并且不限于这三个变化。然而，在这种情况下，确定距离d_r，从而满足表达式(7)。

然而，用于计算再聚焦控制范围的方法在拍摄时根据需要计算再聚焦控制范围时，需要大量处理。为了防止该情况，存储单元109可以可选地被配置为预先存储针对各图像获取条件的再聚焦控制范围的表，并且代替计算再聚焦控制范围而是读取相应数据。

作为用于获取再聚焦控制范围的另一方法，可以采用实际生成再聚焦后的重建图像、并且评价存在于焦点位置处的被摄体的对比度等的方法。然而，该方法需要在改变焦点位置的情况下生成重建图像，并且根据需要判断是否可以进行再聚焦。这样导致整个处理耗时。此外，在再聚焦后的焦点位置处不存在被摄体的情况下，由于无法评价被摄体的对比度等，因此不能获取到正确的聚焦控制范围。因而，期望使用上述方法来获取再聚焦控制范围。

现在将继续说明图16的流程图。在步骤S107中，指定第二焦点位置。与第一焦点位置相同，第二焦点位置可以由用户在拍摄时利用触摸面板等指定。可选地。第二焦点位置可以通过利用摄像设备10使用面部识别技术等来自动指定。由于除了可应用第二焦点位置以外、后续步骤S108和S109与步骤S104和S105相同，因此将省略针对这些步骤的详细说明。

接着，在步骤S110中，图像处理单元105通过使用以下表达式(12)来判断第二焦点位置是否包括在最初指定的第一焦点位置的再聚焦控制范围中。

s_{1st_obj}-D_{1st_near}≤D_{2nd_obj}≤s_{1st_obj}+D_{1st_far}　…　　(12)

在表达式(12)中，符号s_{1st_obj}表示第一焦点位置和成像光学系统101的物体侧主平面之间的距离，并且符号D_{1st_near}和D_{1st_far}分别表示位于第一焦点位置的前方和后方的物体侧的再聚焦控制范围。在步骤S110中第二焦点位置包括在第一焦点位置的再聚焦控制范围中的情况下(步骤S110的判断为“OK(肯定)”的情况)，图像处理单元105进行等待直到进行了拍摄为止，或者指定更多的焦点位置。在图像处理单元105指定更多的焦点位置(第n个焦点位置)的情况下，返回至步骤S107以重复步骤S107～S111的操作就足够了。在本实施例中，为了便于理解，将说明指定第一焦点位置和第二焦点位置这两个焦点位置的情况。

如果步骤S110的判断为“NG(否定)”，则在步骤S200中，控制单元107驱动调焦机构以调整焦点位置，然后改变再聚焦控制范围。图像处理单元105以使得第一焦点位置和第二焦点位置这两者都包括在再聚焦控制范围内的方式来确定第三焦点位置。后面将说明用于确定第三焦点位置的方法。

在确定第三焦点位置之后，在步骤S111中，图像处理单元105等待下一指示。在步骤S112中接收到拍摄指示时，在步骤S113中，控制单元107将调焦机构驱动至第三焦点位置，然后将当前焦点位置改变为第三焦点位置。在步骤S114中，系统控制器111进行拍摄。如果在步骤S110中没有判断为“NG”，则第一焦点位置和第三焦点位置彼此相等。在这种情形下，调焦机构使焦点位置移动至第一焦点位置(在步骤S104中已使调焦机构移动至第一焦点位置的情况下保持该第一焦点位置)，然后进行拍摄。以上处理是在拍摄时存在任意被摄体的情况下的一系列操作。

接着，将说明用于以使得第一焦点位置和第二焦点位置这两者都包括在再聚焦控制范围内的方式来确定第三焦点位置的方法。在本实施例中，将说明三个具体方法。第一个方法是基于被摄体距离和再聚焦控制范围之间的关系的表来确定最佳焦点位置的方法。第二个方法是逐渐移动调焦机构以搜索最佳焦点位置的方法。第三个方法是基于单视点图像的对比度来搜索最佳焦点位置的方法。这些方法与图16的步骤S200相对应，并且在图23～25的流程图中示出。

第一个方法是用于基于预先存储的被摄体距离和再聚焦控制范围之间的关系的表来推导第三焦点位置的方法。图22A示出本实施例中的表的示例。图23是示出第一个方法的流程图。在步骤S105和S109中，获取从摄像设备10到第一焦点位置和第二焦点位置的距离(距离信息)。基于该距离信息，图像处理单元105在步骤S211中计算第一焦点位置和第二焦点位置之间的相对距离(相对距离信息)。基于通过该计算所确定的所需再聚焦控制范围，图像处理单元105随后在步骤S212中参考图22A所示的表并且在步骤S213中计算第三焦点位置。由于在该表上仅可以示出离散数据，因此在该表没有示出解的情况下，可以可选地进行插值处理以计算该解。在不存在第一焦点位置和第二焦点位置这两者都包括在再聚焦控制范围内的解的情况下，流程进入步骤S300。

图像处理单元105这样获取第一焦点位置和第二焦点位置之间的相对距离信息。然后，图像处理单元105通过使用示出被摄体距离和再聚焦控制范围之间的关系的表来计算第三焦点位置。优选地，摄像设备10还包括存储单元(例如，存储单元109)，其中该存储单元存储有示出被摄体距离和再聚焦控制范围之间的关系的表。

第二个方法是通过逐渐移动调焦机构来以搜索方式求出解的方法。图24是示出第二方法的流程图。首先，将说明以下情况：假定为了便于理解，在步骤S221中给出第一焦点位置作为要计算的第三焦点位置的初始值。然而，本实施例不限于此，并且可以使用诸如第二焦点位置等的其它位置作为初始值。

随后，在步骤S222中，图像处理单元105计算当前的再聚焦控制范围。之后，在步骤S223中，图像处理单元105通过使用表达式(12)来判断第一焦点位置和第二焦点位置是否包括在再聚焦控制范围中。如果判断为“OK”(第一焦点位置和第二焦点位置包括在再聚焦控制范围中)，则流程返回至图16的步骤S111。另一方面，如果该判断为“NG”(第一焦点位置和第二焦点位置在再聚焦控制范围外)，则在步骤S224中，控制单元107将调焦机构驱动了特定量。在初始值是第一焦点位置的情况下，在向着第二焦点位置获取聚焦状态的方向上驱动调焦机构就足够了。在初始值既非第一焦点位置也非第二焦点位置的情况下，将调焦机构驱动特定量以使得向着第一焦点位置和第二焦点位置中的较远焦点位置获取聚焦状态就足够了。控制单元107可以在特定方向上逐渐驱动调焦机构，并且针对每次移动计算再聚焦控制范围。可选地，控制单元107可以最初粗略驱动调焦机构，然后在第二焦点位置包括在再聚焦控制范围内、但第一焦点位置在再聚焦控制范围外的情况下，反转焦点位置的移动方向以改变焦点位置的移动量。如果图像处理单元105通过使调焦机构移动无论何种距离均无法获取解，则流程进入步骤S300。

如上所述，图像处理单元105在改变焦点位置的同时，(针对彼此不同的多个焦点位置)计算再聚焦控制范围。在第一焦点位置和第二焦点位置包括在特定焦点位置处的再聚焦控制范围中的情况下，图像处理单元105将该特定焦点位置设置为第三焦点位置。优选地，系统控制器111(控制单元107)基于在改变焦点位置的同时所计算出的再聚焦控制范围来确定焦点位置的移动方向和移动量。

第三个方法是基于单视点图像的对比度值来进行判断的方法。如上所述，再聚焦控制范围依赖于单视点图像的景深(然而，严格来说，需要考虑单视点图像和重建图像之间的分辨率比)。由于该原因，在比较单视点图像中的与第一焦点位置和第二焦点位置相对应的位置处的被摄体的对比度、并且判断为这些对比度值为特定阈值水平以上的情况下，图像处理单元105判断为第一焦点位置和第二焦点位置包括在再聚焦控制范围中。因而，作为前提，该方法需要在第一焦点位置和第二焦点位置这两者处都存在被摄体。可以使用以下表达式(13)来计算对比度值，其中例如将任意区域(例如，10×10个像素)中的最大亮度值定义为L_max，并将该任意区域中的最小亮度值定义为L_min。

m＝(L_max-L_min)/(L_max+L_min)　　…　　(13)

表达式(13)中的亮度值L_max和L_min各自可以是R、G或B的任意单色或者通过特定加权组合得到的白色亮度值。在表达式(13)所确定的m的值不小于任意阈值的情况下，图像处理单元105判断为在再聚焦控制范围内包括被摄体。然而，阈值本身根据摄像设备10等的规格而不同(然而，由于实际上需要考虑单视点图像和重建图像之间的分辨率比，因此优选根据该分辨率比来设置阈值)。

图25是示出第三个方法的流程图。由于在第三个方法中、除计算并比较对比度值的步骤以外的步骤(步骤S231和S234)与上述第二个方法的步骤相同，因此将省略针对这些步骤的说明。在步骤S232中，图像处理单元105计算位于第一焦点位置和第二焦点位置的被摄体的对比度值。然后，在步骤S233中，在第一焦点位置和第二焦点位置的对比度值不大于阈值的情况下(步骤S233中为“NG”)，在步骤S234中，控制单元107将调焦机构驱动特定量。

如上所述，图像处理单元105计算相对于单视点图像的第一焦点位置和第二焦点位置处的对比度值。在第一焦点位置和第二焦点位置处的对比度值不小于预定阈值的情况下，图像处理单元105将特定焦点位置设置为第三焦点位置。

尽管以上已经说明了用于计算第三焦点位置的三个方法，但可以在各步骤之间设置诸如确认步骤等的其它步骤。此外，可以组合这三个方法的一部分或全部。

接着，将说明在不存在第三焦点位置的解的情况下的步骤S300。在这种情况下，显示指示单元111c向摄像设备10的诸如取景器和背面监视器等的显示单元106给出用以向用户通知所选择的被摄体在再聚焦控制范围外的警告。

图26A和26B是示出本实施例中的拍摄场景的示例的图。图26A示出利用文字在画面上提供警告的示例，并且图26B示出使所选择的被摄体闪烁以向用户通知所选择的被摄体在再聚焦控制范围外的示例。优选地，设置用于向用户通知不存在解的步骤。代替在显示图像上设置这种消息，可以使用诸如语音等的其它通知方法。

接着，将说明图17的流程图。由于图17的步骤S401～S403分别与图16的流程图的步骤S101～S103相同，因此将省略针对这些步骤的说明。在步骤S404中，控制单元107驱动调焦机构以使当前焦点位置移动至步骤S403中所指定的焦点位置。随后，在步骤S405中，距离信息获取单元105a获取摄像设备10和第一焦点位置之间的距离信息。由于用于获取距离信息的方法与上述步骤S105的方法相同，因此将省略针对该方法的说明。随后，在步骤S406中，图像处理单元105获取第一焦点位置处的再聚焦控制范围。由于用于获取并计算再聚焦控制范围的方法与步骤S106中的方法相同，因此将省略针对该方法的说明。

接着，在步骤S407中，图像处理单元105指定第二焦点位置。该示例包括如在拍摄运动会的场景的情况下所述的、将第一焦点位置的前方1米(或离第一焦点位置1米远)的位置设置为第二焦点位置的情况。该第二焦点位置可以在拍摄时指定、或者可以预设在摄像设备10的存储单元109中并在该步骤中进行读取。

随后，在步骤S408中，图像处理单元105判断第二焦点位置是否包括在步骤S406中所获取到的再聚焦控制范围中。该判断方法与步骤S110的判断方法相同。在第二焦点位置包括在再聚焦控制范围中的情况下，图像处理单元105显示摄像元件103当前所获取到的图像(通过镜头图像)(与步骤S402相同)，并且等待拍摄指示。在接收到诸如用户通过按下释放按钮所给出的拍摄指示等的拍摄指示时，在步骤S411中，控制单元107驱动调焦机构以调节焦点位置。之后，系统控制器111在步骤S412中进行拍摄以结束该流程。在步骤S411中是聚焦于第一焦点位置还是第二焦点位置依赖于步骤S408中所进行的判断。在流程没有经历任何“NG”而进入步骤S409的情况下，毫无疑问聚焦于第一焦点位置。因此，步骤S411中所观察到的焦点位置等于第一焦点位置。在步骤S408中所进行的判断为“NG”之后、流程进入步骤S200的情况下，在步骤S411中，控制单元107利用调焦机构将焦点位置改变为步骤S200中所计算出的第三焦点位置。步骤S200和S300如上所述。

接着，将说明图18的流程图。然而，由于步骤S501～S505分别与图17的流程图中的步骤S401～S405相同，因此将省略针对这些步骤的说明。在步骤S506中，控制单元107通过驱动调焦机构以使焦点位置移动特定量来将该焦点位置改变为第三焦点位置。该示例是如下情况：如针对目标场景的拍摄所述，第一焦点位置位于前侧的再聚焦控制范围的边界附近，并且将再聚焦控制范围设置为尽可能远离该前侧的再聚焦控制范围、即设置为后侧(前侧和后侧可以彼此相对)。因此，在该步骤中，如图28所示，最终确定的成像光学系统101的焦点位置变为第三焦点位置(D_3rd)。图28是本实施例中的再聚焦控制范围的说明图。

同样，相对于第三焦点位置的前侧(摄像设备10侧)的再聚焦控制范围的边界是第一焦点位置D_1st，并且将第三焦点位置D_3rd和第一焦点位置D_1st之间的距离表示为D_{3rd_near}。相反，相对于第三焦点位置D_3rd的后侧(远离摄像设备10的方向上)的再聚焦控制范围的边界是第二焦点位置D_2nd，并且将第三焦点位置D_3rd和第二焦点位置D_2nd之间的距离表示为D_{3rd_far}。要求第一焦点位置D_1st和第二焦点位置D_2nd满足通过以下表达式(14)和(15)表示的关系，以确保将第三焦点位置D_3rd和成像光学系统101的物体侧主平面之间的距离表示为s_{1_3rd}这一情形。

D_1st＝s_{1_3rd}-D_{3rd_near}　　…　　(14)

D_2nd＝s_{1_3rd}+D_{3rd_far}　　…　　(15)

然而，在表达式(14)中，由于第一焦点位置D_1st位于再聚焦控制范围的边缘处或附近，因此根据调焦机构的精度，该第一焦点位置D_1st可能在再聚焦控制范围外。由于该原因，优选地，表达式(14)具有如以下表达式(14a)那样的特定余量α(常数)。

D_1st＝s_{1_3rd}-D_{3rd_near}+α　　…　　(14a)

在表达式(14a)中，常数α可以由用户任意确定以适合拍摄场景、或者可以从开始起写入存储单元109等中。在步骤S506中，将焦点位置改变为满足上述关系的第三焦点位置D_3rd。存在几个改变焦点位置的可能方法。在使用诸如第一个方法等的、参考焦点位置和再聚焦控制范围之间的关系的表的方法的情况下，基于从该表所读取的数据或通过对参考数据进行插值处理所获取到的数据来确定第三焦点位置D_3rd就足够了。即使在该表不可用的情况下，也可以基于上述参数，通过计算再聚焦控制范围来计算满足表达式(14)或(14a)的第三焦点位置D_3rd。优选地，由于可以快速改变焦点位置，因此利用上述方法来计算第三焦点位置D_3rd。在这种情况下，在步骤S507中，图像处理单元105判断所计算出的第三焦点位置是否满足表达式(14)或(14a)。

在该步骤中不存在问题的情况下，在步骤S508中，图像处理单元105使得显示通过镜头图像并且等待拍摄指示。在接收到该拍摄指示时，控制单元107从步骤S509进入步骤S510并且将焦点位置改变为所确定的第三焦点位置。然后，在步骤S511中，系统控制器111进行拍摄。在该拍摄完成时该流程结束。另一方面，如果在步骤S507中判断为“NG”，则可能已发生了诸如在计算处理中无法计算第三焦点位置D_3rd等的错误。在这种情况下，通过将该方法切换为后面所述的搜索方法(步骤S600)来改变焦点位置、或者直接进入步骤S300并向用户给出警告就足够了。

接着，将说明用于在无需使用焦点位置和再聚焦控制范围之间的关系的表的情况下、以搜索方式确定第三焦点位置D_3rd的方法(步骤S600)。该方法将适当的初始值设置为焦点位置变化量，然后根据该焦点位置变化量搜索第三焦点位置D_3rd。尽管该方法与上述的第二个方法和第三个方法类似，但其流程图略微不同。

图29和30是本实施例中的拍摄处理的流程图并且与图18的步骤S600相对应。图29还与上述第二个方法相对应，并且图30示出与第三个方法相对应的流程图。

首先，在图18的步骤S506中，控制单元107通过使用适当的初始值来改变焦点位置。改变焦点位置的方向是向着第一焦点位置的远侧(后侧)的方向(远离摄像设备10的方向)。之后，在步骤S507中，图像处理单元105进行判断。如果该判断为“OK”，则流程进入如上所述的步骤S508，并且接着进行与上述相同的后续处理。另一方面，如果判断为“NG”，则流程进入步骤S600。

首先，将参考图29来详细说明使用第二个方法的步骤S600。在步骤S507中判断为“NG”之后，流程进入步骤S611。在该步骤中，控制单元107再次使焦点位置改变特定量。焦点位置的变化量可以是与上述相同的量或者可以改变。随后，在步骤S612中，图像处理单元105计算改变后的焦点位置处的再聚焦控制范围。用于计算再聚焦控制范围的方法与上述方法相同。之后，在步骤S613中，图像处理单元105进行与步骤S507相同的判断。如果判断为“OK”，则流程进入步骤S508。另一方面，如果判断为“NG”，则流程返回至步骤S611，并且控制单元107重复该步骤以改变焦点位置。步骤S611中的用于移动焦点位置的方法可以在特定方向上逐渐移动焦点位置并且针对各移动计算再聚焦控制范围。可选地，该方法可以起初粗略移动焦点位置，并且在第一焦点位置在再聚焦控制范围外的情况下，通过使焦点位置的移动方向反转以改变第一焦点位置的移动量来搜索第一焦点位置。如果在步骤S611中发生诸如偏离于调焦机构可以移动焦点位置的范围(机械范围)等的错误，则流程进入步骤S300。

接着，将参考图30来详细说明使用第三个方法的步骤S600。在步骤S507中判断为“NG”之后，流程进入步骤S621。在该步骤中，控制单元107再次使焦点位置移动特定量。焦点位置的变化量可以是与上述相同的量或者可以改变。随后，在步骤S622中，图像处理单元105计算改变后的焦点位置处的各被摄体的对比度值。由于用于计算对比度值的方法与第三个方法相同，因此将省略针对该方法的说明。之后，在步骤S623中，图像处理单元105进行与步骤S507的判断相同的判断。如果判断为“OK”，则流程进入步骤S508。另一方面，如果判断为“NG”，则流程返回至步骤S621，并且控制单元107进行重复以改变焦点位置。步骤S621中的用于移动焦点位置的方法可以如步骤S611所述逐渐移动焦点位置、或者可以以搜索方式移动焦点位置。如果在步骤S621中发生诸如偏离于调焦机构可以移动焦点位置的范围(机械范围)等的错误，则流程进入步骤S300。

在本实施例中，图像处理单元105获取与再聚焦控制范围有关的信息。然后，系统控制器111(控制单元107)基于该与再聚焦控制范围有关的信息来进行调焦控制。优选地，图像处理单元105判断第二焦点位置是否包括在针对第一焦点位置的再聚焦控制范围中。在第二焦点位置没有包括在该再聚焦控制范围中的情况下，系统控制器111(控制单元107)进行调焦控制。然后，系统控制器111将第一焦点位置改变为第三焦点位置，以使得第一焦点位置和第二焦点位置这两者都包括在再聚焦控制范围中。

优选地，图像处理单元105基于与再聚焦控制范围有关的信息来获取第三焦点位置，以使得第一焦点位置和第二焦点位置包括在再聚焦控制范围中。更优选地，系统控制器111(控制单元107)进行调焦控制，以使焦点位置移动至第三焦点位置。更优选地，系统控制器111在判断为无法设置第三焦点位置的情况下，向用户输出警告。

更优选地，图像处理单元105根据拍摄条件信息、输入图像的视角区域和重建后的输出图像的分辨率中的至少一个，来改变再聚焦控制范围。

根据本实施例，可以设置能够在拍摄之后获取具有用户所期望的焦点位置的再聚焦图像的摄像设备。

第二实施例

接着，将说明本发明的第二实施例中的摄像设备。与第一实施例的摄像设备相同，本实施例的摄像设备具有图1所示的基本结构。另外，本实施例的摄像单元100如图3所示配置。图7是本实施例的摄像单元100的截面图。成像光学系统101是变焦透镜。成像光学系统101按从物体侧起的顺序依次由以下构成：具有正折射力的第一透镜单元L1、具有正折射力的第二透镜单元L2、具有负折射力的第三透镜单元L3、具有正折射力的第四透镜单元L4和具有正折射力的第五透镜单元L5。在变倍时，使第一透镜单元L1和第五透镜单元L5固定，并且使第二透镜单元L2、第三透镜单元L3和第四透镜单元L4在光轴上移动。在调焦时，驱动第二透镜单元L2。

如图3所示，透镜阵列102配置成与离成像光学系统101相对于被摄体面201的像侧共轭面202相比、离物体侧更近。像侧共轭面202和摄像元件103被配置成经由透镜阵列102具有共轭关系。来自被摄体面201的光线穿过成像光学系统101和透镜阵列102，然后根据这些光线在被摄体面201上的位置和角度而入射到摄像元件103的不同像素上，从而获取光场。在图3和4所示的结构中，摄像元件103获取如下图像，其中该图像包括有拍摄视点和拍摄范围均彼此不同的多个小图像。除透镜阵列102被配置成与离像侧共轭面202相比、离像侧更近以外，图4所示的结构与图3所示的结构相同。与图3所示的结构的不同之处在于：透镜阵列102将成像光学系统101所形成的图像视为真实物体，并且使得在摄像元件103上进行再成像。然而，由于在图3和4所示的结构中、透镜阵列102将成像光学系统101所形成的图像视为真实物体并且使得在摄像元件103上进行再成像，因此这两个结构基本相同。因此，以下说明对于图4所示的结构同样成立。

接着，将说明本实施例中的再聚焦处理。本实施例的再聚焦处理与第一实施例的再聚焦处理定性地相同，因而使来自成像光学系统101的分割光瞳的图像以与相对于要聚焦的被摄体的距离相对应的偏移量进行重叠，这就足够了。

图10A和10B是再聚焦图像的生成的说明图，并且示出图3所示的结构中的透镜阵列102和摄像元件103的部分详细图。在本实施例中，透镜阵列102由各自的物体侧面呈平面且像侧面呈凸形状的小透镜构成。然而，与第一实施例相同，可应用的这些小透镜的形状不限于此。图10A和10B中的各点划线表示各小透镜的视角。经由与像素相对应的小透镜将摄像元件103所获取到的各像素值投影并合成在虚拟成像面203上，这样使得能够生成聚焦于虚拟成像面203的再聚焦图像。

如这里所使用的“虚拟成像面203”是指经由成像光学系统101与通过再聚焦要聚焦的物体侧的面共轭的面。例如，为了生成聚焦在图3的被摄体面201上的图像，将虚拟成像面203设置到像侧共轭面202就足够了。

在图10A和10B中，利用虚线来表示在生成再聚焦图像时所投影的像素，并且为了便于理解，代替使这些像素重叠，将这些像素描绘为彼此偏移。再聚焦图像可以是利用在与上述像素投影的方法相同的像素重叠的情况下使各像素平行移动以合成这些像素的方法所生成的。在该生成中，在入射到像素上的光束所穿过的透镜阵列102的区域相同的情况下，这些像素的平行移动量相同。也就是说，根据光束所穿过的透镜阵列102的区域来确定图3和4中的再聚焦图像生成时的像素的操作。

接着，将说明再聚焦控制范围。与第一实施例相同，通过表达式(1)来表示本实施例中的再聚焦控制范围。该再聚焦控制范围的关系如图13所示。图13是本实施例中的再聚焦控制范围的说明图。图13中的符号Δy表示图3和4中的光的二维强度分布的采样间距，并且满足Δy＝Δσ₁/σ₂的关系。这是因为，透镜阵列102通过将成像光学系统101所形成的图像视为虚拟物体，使该图像以σ₂/σ₁的缩小倍率在摄像元件103上成像。

在这种情形下，符号σ₁表示像侧共轭面202和透镜阵列102的物体侧主平面之间的距离，并且符号σ₂表示透镜阵列102的像侧主平面和摄像元件103之间的距离。由于在本实施例中同样满足Δ<<P的关系，因此可以将表达式(1)近似为表达式(2)。在本实施例中，通过图16～18的流程图来示出用以将被摄体空间内的多个任意点包括在再聚焦控制范围中的过程。因此，将省略针对与第一实施例的部分相同的部分的说明。

在步骤S106(图16)和S406(图17)中或者在步骤S507(图18)中，计算并获取重建图像的再聚焦控制范围。该计算方法与第一实施例的计算方法相同，并且计算像侧的再聚焦控制范围。图22B示出在上述第一个方法使用表的情况下、本实施例的表的示例。如通过图13可看出，满足NF＝σ₁/Δ_LA的几何关系。另外，由于如上所述满足Δy＝Δσ₁/σ₂的关系，因此满足以下表达式(16)。

$R_{\mathrm{mono}}={\left(\frac{{\mathrm{\&sigma;}}_2}{{\mathrm{\&sigma;}}_1}\right)}^2{R}_{\mathrm{total}}...\left(16\right)$

使用这些关系确定了距离d_r应满足的以下表达式(17)。

$0.0<\frac{{\mathrm{\&Delta;}}_{\mathrm{LA}}{d}_r}{{\mathrm{\&Delta;\&sigma;}}_1}\sqrt{\frac{R_{\mathrm{synth}}}{R_{\mathrm{total}}}}\&le;10.0...\left(17\right)$

表达式(17)中的上限和下限的数学含义与表达式(11)中的含义相同。

期望地，通过使这些限制值包含在以下表达式(17a)的范围内，重建图像的清晰度增加。

$0.0<\frac{{\mathrm{\&Delta;}}_{\mathrm{LA}}{d}_r}{{\mathrm{\&Delta;\&sigma;}}_1}\sqrt{\frac{R_{\mathrm{synth}}}{R_{\mathrm{total}}}}\&le;6.0...\left(17a\right)$

更期望地，通过使这些限制值包括在以下表达式(17b)的范围内，可以获取到更加清晰的重建图像。

$0.0<\frac{{\mathrm{\&Delta;}}_{\mathrm{LA}}{d}_r}{{\mathrm{\&Delta;\&sigma;}}_1}\sqrt{\frac{R_{\mathrm{synth}}}{R_{\mathrm{total}}}}\&le;3.0...\left(17b\right)$

本实施例中的表达式(17)的值如表1所示。在本实施例中，摄像元件103的有效像素为R_total＝150.0×10⁶(pix)。另外，满足σ₁＝0.3712(mm)和σ₂＝0.0740(mm)的关系。摄像元件103的像素间距为Δ＝0.0024(mm)并且透镜阵列102的间距为Δ_LA＝0.0256(mm)。成像光学系统101的广角端处的焦距、成像光学系统101的远摄端处的焦距、从广角端向着远摄端的F值和一维光瞳分割数分别为f_W＝72.2(mm)、f_T＝194.0(mm)、F＝2.9和N＝5。合成图像分辨率指定单元111a可以从10.0×10⁶pix、6.0×10⁶pix和3.0×10⁶pix这三个分辨率中选择重建图像的分辨率R_synth。针对各分辨率的距离d_r如表1所示。由于各单视点图像的分辨率为6.0×10⁶pix，因此需要由于子像素偏移所引起的超分辨率等所带来的分辨率提高，从而生成分辨率为10.0×10⁶pix的重建图像。

根据本实施例，可以提供能够在拍摄之后获取具有用户所期望的焦点位置的再聚焦图像的摄像设备。

第三实施例

接着，将说明本发明的第三实施例中的摄像设备。与第一实施例的摄像设备相同，本实施例的摄像设备具有图1所示的基本结构。本实施例的摄像单元100被配置为如图5所示，并且在从物体侧观看的情况下配置为如图15所示。在第三实施例中，摄像单元100包括各自具有正折射力的多个光学系统101a～101g(成像光学系统)，并且被配置为具有以光学系统101b的光轴作为转动轴的六重对称性。也就是说，在假定通过将多个光学系统101a～101g(光瞳分割单元)的光瞳合成(组合)来创建成像光学系统的光瞳的情况下，多个光学系统101a～101g被配置成来自被摄体面上的同一位置的光线根据这些光线所穿过的成像光学系统的光瞳区域而入射到摄像元件的彼此不同的像素上。

然而，本实施例不限于此，并且可以改变成像光学系统的数量和阵列。在多个光学系统101a～101g的像侧，配置有摄像元件103a～103g。然而，摄像元件的数量无需为多个，并且可以是单个，只要可以获取到光学系统101a～101g所形成的图像即可。

因多个光学系统101a～101g而发生折射的光线被相应的摄像元件103a～103g接收到。摄像元件103a～103g所获取到的图像是通过从不同视点观察被摄体空间所获取到的视差图像。将多个图像合成使得能够获取到被摄体空间的光场。

图8是本实施例中的成像光学系统(光学系统101a)和摄像元件103a的截面图。其它的成像光学系统(光学系统101b～101g)和摄像元件103b～103g与此相同。然而，成像光学系统101a～101g的结构可以彼此不同。图8的成像光学系统(光学系统101a)是单焦点透镜。可以通过改变光学系统101a和摄像元件103a之间的距离来进行调焦控制。

与第一实施例相同，可以通过使各视点的图像以与相对于要聚焦的被摄体的距离相对应的偏移量进行重叠来进行本实施例中的再聚焦处理。同样通过表达式(1)来表示可以进行再聚焦的调焦控制范围。该调焦控制范围的关系如图14所示。图14是本实施例中的再聚焦控制范围的说明图。在本实施例中，满足Δy＝Δ和Δu＝P_mono/F_mono的关系。在后者关系中，符号F_mono表示成像光学系统101a～101g其中之一的F值，并且符号P_mono表示成像光学系统101a～101g其中之一的出射光瞳距离。由于满足Δ<<P_mono的关系，因此可以将表达式(1)近似为以下表达式(18)。

通过图16～18的流程图来示出用以将被摄体空间内的多个任意点包括在再聚焦控制范围中的过程，并且将省略针对与第一实施例的部分相同的部分的说明。在步骤S106(图16)、S406(图17)或步骤S507(图18)中，计算并获取重建图像的再聚焦控制范围。基于与第一实施例的理论相同的理论来计算像侧的再聚焦控制范围。

通过将通过曝光状态的预测所获取到的成像光学系统101a～101g其中之一的F值代入F值F_mono来获取再聚焦控制范围。在成像光学系统101a～101g中的具有F值F_mono的任意成像光学系统所形成的图像的分辨率为R_mono的情况下，获取到距离d_r应满足的以下表达式(19)。

$0.0<\frac{d_r}{F_{\mathrm{mono}}\mathrm{\&Delta;}}\sqrt{\frac{R_{\mathrm{synth}}}{R_{\mathrm{mono}}}}\&le;10.0...\left(19\right)$

表达式(19)中的上限和下限的数学含义与表达式(11)中的含义相同。

期望地，通过将这些限制值包括在以下表达式(19a)的范围内，重建图像的清晰度增加。

$0.0<\frac{d_r}{F_{\mathrm{mono}}\mathrm{\&Delta;}}\sqrt{\frac{R_{\mathrm{synth}}}{R_{\mathrm{mono}}}}\&le;6.0...\left(19a\right)$

更期望地，通过将这些限制值包括在以下表达式(19b)的范围内，可以获取到更加清晰的重建图像。

$0.0<\frac{d_r}{F_{\mathrm{mono}}\mathrm{\&Delta;}}\sqrt{\frac{R_{\mathrm{synth}}}{R_{\mathrm{mono}}}}\&le;3.0...\left(19b\right)$

本实施例中的表达式(19)的值如表1所示。在本实施例中，摄像元件103a～103g各自的有效像素数和像素间距分别为R_mono＝19.3×10⁶(pix)和Δ＝0.0012(mm)。成像光学系统101a～101g各自的焦距和全开F值分别为f＝50.0(mm)和F＝1.8。在表1中，拍摄时的F值为F_mono＝1.8。在不同的F值的情况下，确定距离d_r以满足表达式(19)。另外，在高视角区域中，再聚焦控制范围根据光束的渐晕而改变。例如，在图像中的视角区域内的焦距相对于轴上区域为两倍大的情况下，该视角区域中的再聚焦控制范围为轴上的再聚焦控制范围的两倍宽。可以利用合成图像分辨率指定单元111a从19.3×10⁶pix、10.0×10⁶pix和5.0×10⁶pix这三个分辨率中选择重建图像的分辨率R_synth。针对各分辨率的距离d_r如表1所示。

根据本实施例，可以提供能够在拍摄之后获取到具有用户所期望的焦点位置的再聚焦图像的摄像设备。

第四实施例

接着，将参考图31～33来说明本发明的第四实施例中的图像处理系统的基本结构。图31是本实施例中的图像处理系统30的框图。图32是图像处理系统30的示意结构图。图33是本实施例中的单视点图像获取单元400的框图。

如图32所示，摄像单元300包括多个单视点图像获取单元400a～400d。图33所示的单视点图像获取单元400是这些单视点图像获取单元400a～400d其中之一。单视点图像获取单元400a～400d各自具有与图5所示的结构定性相同的结构。

图31所示的图像处理单元301是进行图16～18所示的处理的计算机装置，并且与第一实施例相同包括距离信息获取单元301a。将图像处理单元301处理后的图像输出至显示单元302、记录介质303和输出单元304中的至少一个。显示单元302例如是液晶显示器或投影器。记录介质303例如是半导体存储器、硬盘或网络上的服务器。输出单元304是打印机等。用户可以在拍摄或编辑时经由显示单元302确认图像的同时，进行工作。除图16～18所示的处理和重建处理以外，图像处理单元301根据需要还具有用以进行显影处理和其它图像处理的功能。诸如个人计算机(PC)等的系统控制器305控制各构件。可选地，还可使用诸如存储有使计算机进行该控制的程序的CD-ROM等的存储介质。与第一实施例相同，系统控制器305包括合成图像分辨率指定单元305a、聚焦被摄体指定单元305b、显示指示单元305c、拍摄指示单元305d和调焦控制单元305e。

在图33中，将经由成像光学系统401形成在摄像元件403上的图像转换成电信号(模拟信号)。该模拟信号由A/D转换器404转换成数字信号。该数字信号由图像处理单元405进行预定处理，然后被输出至单视点图像获取单元400内的各构件和图像处理单元301。在接收到来自系统控制器305的信号时，系统控制器411控制单视点图像获取单元400的各构件。曝光状态预测单元413是用于基于来自测光单元412的信息来预测拍摄时的曝光状态的构件。显示单元406基于来自系统控制器411的信号，来经由图像处理单元405进行显示的“ON”和“OFF”以及显示图像的切换。在根据来自系统控制器411的命令(指示)进行拍摄的情况下，控制单元407基于来自测光单元412的信息来调节成像光学系统401的曝光。此时，将摄像元件403所获取到的图像经由与上述相同的路径输入至图像处理单元405，经过预定处理，然后以预定格式存储在诸如半导体存储器等的图像记录介质410中。同时，还记录有从状态检测器408所获取到的拍摄时的图像获取条件。此外，图像记录介质410中所记录的图像可以是经过了重建处理的图像。此外，为了进行高速显示，在预先将期望设置存储在存储单元409中的状态下，可以无需经由图像记录介质410来将作为图像记录介质401中所记录的图像的重建图像显示在显示单元406上。

图9是单视点图像获取单元400a的成像光学系统401a和摄像元件403a的截面图。图9所示的成像光学系统401a是单焦点透镜，并且驱动调焦透镜单元IF以进行聚焦。其它的单视点图像获取单元400b～400d是以相同方式配置的。然而，单视点图像获取单元400a～400d可以具有彼此不同的结构，并且没有对单视点图像获取单元的数量和排列进行限制。

本实施例的再聚焦处理与第三实施例的再聚焦处理相同，并且拍摄和编辑时的显示图像生成也与第三实施例的显示图像生成相同。另外，表达式(19)的值如表1所示。在本实施例中，摄像元件403a～403d各自的有效像素数和像素间距分别为R_mono＝32.0×10⁶(pix)和Δ＝0.0052(mm)。成像光学系统401a～401d各自的焦距和全开F值分别为f＝200.0(mm)和F＝2.0。表1中的值是在将拍摄时的预测F值设置为F_mono＝2.0的状态下所计算出的值。可以利用合成图像分辨率指定单元305a从64.0×10⁶pix、32.0×10⁶pix和8.0×10⁶pix这三个分辨率中选择重建图像的分辨率R_synth。针对各分辨率的距离d_r如表1所示。需要由于子像素偏移所引起的超分辨率等所带来的分辨率提高，从而生成分辨率为64.0×10⁶pix的重建图像。

根据本实施例，可以提供能够在拍摄之后获取到具有用户所期望的焦点位置的再聚焦图像的摄像设备。

还可以通过进行以下处理来实现本发明。也就是说，该处理如下：将实现上述实施例的功能的软件(程序)经由网络或各种存储介质提供至系统或设备，并且该系统或设备的计算机(或CPU或MPU)读出并执行该程序。

根据这些实施例，可以提供能够在拍摄之后获取到具有用户所期望的焦点位置的再聚焦图像的摄像设备和该摄像设备的控制方法。

表1

其它实施例

还可以通过读出并执行记录在存储介质(例如，非瞬态计算机可读存储介质)上的计算机可执行指令以进行本发明的上述实施例中的一个或多个的功能的系统或设备的计算机和通过下面的方法来实现本发明的实施例，其中，该系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多个的功能来进行上述方法。该计算机可以包括中央处理单元(CPU)、微处理单元(MPU)或其它电路中的一个或多个，并且可以包括单独计算机或单独计算机处理器的网络。例如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算机系统的存储器、光盘(诸如致密盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)^TM等)、闪速存储装置和存储卡等中的一个或多个。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (18)

1.一种摄像设备，其能够对输入图像进行重建，以生成焦点位置彼此不同的多个输出图像，所述摄像设备包括：

成像光学系统；

摄像元件，其包括多个像素；

透镜阵列，其被配置成：来自被摄体面的同一位置的光线根据该光线所穿过的所述成像光学系统的光瞳区域而入射到彼此不同的像素上；

图像处理单元，用于对所述摄像元件所获取到的所述输入图像进行图像处理，以生成所述输出图像；以及

控制单元，用于驱动所述成像光学系统以进行调焦控制，

其特征在于，

所述图像处理单元获取与再聚焦控制范围有关的信息，以及

所述控制单元基于与所述再聚焦控制范围有关的信息来进行所述调焦控制。

2.根据权利要求1所述的摄像设备，其特征在于，

所述图像处理单元判断相对于第一焦点位置的所述再聚焦控制范围是否包括第二焦点位置，以及

在所述第二焦点位置没有包括在所述再聚焦控制范围中的情况下，所述控制单元驱动所述成像光学系统，以使得所述第一焦点位置和所述第二焦点位置这两者都包括在所述再聚焦控制范围中，以进行所述调焦控制。

3.根据权利要求1所述的摄像设备，其特征在于，所述图像处理单元基于与所述再聚焦控制范围有关的信息来获取第三焦点位置，其中所述第三焦点位置是使得第一焦点位置和第二焦点位置包括在所述再聚焦控制范围中的焦点位置。

4.根据权利要求3所述的摄像设备，其特征在于，所述控制单元驱动所述成像光学系统，从而使所述焦点位置移动至所述第三焦点位置以进行所述调焦控制。

5.根据权利要求3所述的摄像设备，其特征在于，在判断为所述控制单元不能设置所述第三焦点位置的情况下，所述控制单元向用户输出警告。

6.根据权利要求3所述的摄像设备，其特征在于，所述图像处理单元进行以下操作：

获取所述第一焦点位置和所述第二焦点位置之间的相对距离信息，以及

通过使用表示被摄体距离和与所述相对距离信息有关的所述再聚焦控制范围之间的关系的表，来计算所述第三焦点位置。

7.根据权利要求6所述的摄像设备，其特征在于，还包括存储单元，所述存储单元用于存储表示所述被摄体距离和所述再聚焦控制范围之间的关系的表。

8.根据权利要求3所述的摄像设备，其特征在于，所述图像处理单元进行以下操作：

在改变所述焦点位置的情况下，计算所述再聚焦控制范围，以及

在所述第一焦点位置和所述第二焦点位置包括在相对于特定焦点位置的所述再聚焦控制范围中的情况下，将所述特定焦点位置设置为所述第三焦点位置。

9.根据权利要求8所述的摄像设备，其特征在于，所述控制单元基于在改变所述焦点位置的情况下所述图像处理单元所计算出的所述再聚焦控制范围，来确定所述焦点位置的移动方向和移动量。

10.根据权利要求3所述的摄像设备，其特征在于，所述图像处理单元进行以下操作：

计算相对于单视点图像的所述第一焦点位置和所述第二焦点位置处的对比度值，以及

在所述第一焦点位置和所述第二焦点位置处的所述对比度值均不小于预定阈值的情况下，将特定焦点位置设置为所述第三焦点位置。

11.根据权利要求1所述的摄像设备，其特征在于，所述图像处理单元包括用于获取被摄体的距离信息的距离信息获取单元，并且通过使用所述距离信息来计算所述再聚焦控制范围。

12.根据权利要求11所述的摄像设备，其特征在于，所述距离信息获取单元通过使用所述输入图像的视差图像来获取所述距离信息。

13.根据权利要求1所述的摄像设备，其特征在于，所述图像处理单元根据拍摄条件信息来改变所述再聚焦控制范围。

14.根据权利要求1所述的摄像设备，其特征在于，所述图像处理单元根据所述输入图像的视角区域来改变所述再聚焦控制范围。

15.一种摄像设备，其能够对输入图像进行重建，以生成焦点位置彼此不同的多个输出图像，所述摄像设备包括：

成像光学系统，其包括多个光学系统；

至少一个摄像元件，其包括多个像素；

图像处理单元，用于根据所述摄像元件所获取到的所述输入图像来生成所述输出图像；以及

控制单元，用于驱动所述成像光学系统以进行调焦控制，

其特征在于，

在所述成像光学系统的光瞳是通过合成所述多个光学系统的光瞳所形成的光瞳的情况下，所述多个光学系统被配置成：来自被摄体面的同一位置的光线根据该光线所穿过的所述成像光学系统的光瞳区域而入射到所述至少一个摄像元件的彼此不同的像素上，

所述图像处理单元获取与再聚焦控制范围有关的信息，以及

所述控制单元基于与所述再聚焦控制范围有关的信息来进行所述调焦控制。

16.根据权利要求1至15中任一项所述的摄像设备，其特征在于，所述图像处理单元根据重建后的所述输出图像的分辨率来改变所述再聚焦控制范围。

17.一种摄像设备的控制方法，所述摄像设备能够对输入图像进行重建，以生成焦点位置彼此不同的多个输出图像，所述控制方法包括以下步骤：

通过使用包括成像光学系统和摄像元件的摄像设备来获取所述输入图像，其中所述输入图像是通过从多个视点获取与被摄体空间有关的信息所形成的图像，所述摄像元件包括多个像素，

所述控制方法的特征在于还包括以下步骤：

获取与再聚焦控制范围有关的信息；以及

基于与所述再聚焦控制范围有关的信息来驱动所述成像光学系统，以进行调焦控制。

18.根据权利要求17所述的摄像设备的控制方法，其特征在于，还包括以下步骤：

基于与所述再聚焦控制范围有关的信息来获取第三焦点位置，其中所述第三焦点位置是使得第一焦点位置和第二焦点位置包括在所述再聚焦控制范围中的焦点位置。