CN106105193A - 用于产生具有深度信息的图像的图像拾取设备和方法 - Google Patents

Abstract

提供了一种能够提高具有深度信息的图像的分辨率的图像拾取设备和方法。所述图像拾取设备可包括：主透镜，被配置为使入射光折射；包括多个二维(2D)排列的像素的图像传感器，被配置为根据入射光输出图像信号；微透镜阵列，在主透镜和图像传感器之间，并包括多个2D排列的微透镜；控制器，被配置为从图像传感器接收图像信号，并根据接收到的图像信号产生图像，其中，控制器被配置为通过改变主透镜和图像传感器之间的距离来获得具有不同景深的多个图像，并从获得的所述多个图像中的至少一个图像获得至少一个深度图。

Description

用于产生具有深度信息的图像的图像拾取设备和方法

技术领域

一个或更多个示例性实施例涉及一种用于产生具有深度信息的图像的图像拾取设备和方法，更具体地说，涉及一种能够提高使用光场技术产生的具有深度信息的图像的分辨率的图像拾取设备和方法。

背景技术

现有技术的二维(2D)相机通过图像传感器获得关于通过物镜入射的光的强度的信息来产生图像。例如，可通过物镜将来自对象的一个点的多条光束聚焦到图像传感器的一个点上并在预设时间内累加光的强度，获得关于针对对象的一个点的光的强度的信息。按这种方式，使用关于从图像传感器的多个像素获得的光的强度的信息来产生一个图像。然而，在2D相机的图像拾取方法中，无法获得关于来自对象的一个点的各条光束的强度和方向的信息。

光场技术被用于通过获得关于来自对象的一个点的多条光束的各个强度和方向的信息来产生与任意视点或任意焦点相应的图像。当使用光场技术时，可实现能够获得关于对象的多个视点的信息和对象的深度信息的三维(3D)相机。此外，可实现能够对在一视角内的所有对象进行聚焦的具有重新聚焦效果的相机。

可通过使用主透镜和微透镜阵列来实现应用了光场技术的相机。例如，可在主透镜和图像传感器之间布置具有多个2D排列的微透镜的微透镜阵列。微透镜阵列中的一个微透镜可相应于图像传感器中的多个像素。因此，可从与一个微透镜相应的多个像素分别获得不同视点的图像。例如，当一个微透镜覆盖7×7个像素时，可同时获得不同视点的49(即，7×7)个图像。

发明内容

技术问题

然而，光场相机中的图像的分辨率不是由图像传感器的像素间距确定的，而是由微透镜的间距确定的。例如，微透镜的尺寸的增加会引起图像的分辨率的降低，微透镜的尺寸的减小会引起图像的分辨率的提高。因此，当微透镜的尺寸增加以使具有不同视点的图像的数量(即，与微透镜相应的像素的数量)增加时，图像的分辨率降低。相反，当微透镜的尺寸减小以提高图像的分辨率时，同时获得的具有不同视点的图像的数量减少。结果，在图像的分辨率和视差检测能力之间进行权衡。

技术方案

一个或更多个示例性实施例的各方面提供一种能够提高使用光场技术产生的具有深度信息的图像的分辨率的图像拾取设备和方法。

附加方面将在下面的描述中被部分地阐述，并且从描述中部分将是清楚的，或者可通过实施示例性实施例而被了解。

根据示例性实施例的一方面，提供了一种图像拾取设备，包括：主透镜，被配置为使入射光折射；包括多个二维(2D)排列的像素的图像传感器，被配置为感测入射光并根据感测到的入射光输出图像信号；微透镜阵列，在主透镜和图像传感器之间，并包括多个2D排列的微透镜；控制器，被配置为从图像传感器接收图像信号，并根据接收到的图像信号产生图像，其中，控制器被配置为通过改变主透镜和图像传感器之间的距离来获得具有不同景深的多个图像，并从获得的所述多个图像中的至少一个图像获得分别与获得的所述多个图像中的所述至少一个图像相应的至少一个深度图。

控制器可被配置为通过将主透镜和图像传感器之间的距离初始设置为在预定距离进行聚焦来获得第一图像，并从获得的第一图像获得深度图，响应于对象被选择，控制器可被配置为通过使用获得的深度图将主透镜和图像传感器之间的距离调整为对选择的对象进行聚焦来获得选择的对象被聚焦的第二图像。

所述预定距离可以是超焦距。

对象可由用户输入选择。

所述多个2D排列的微透镜中的每个微透镜可分别与图像传感器中的至少两个像素相应。

控制器可被配置为通过使用与所述多个2D排列的微透镜之中的同一微透镜相应的至少两个像素的输出来获得深度图，并通过将与所述同一微透镜相应的所述至少两个像素的输出合并来产生图像。

控制器可被配置为基于作为基本步长单位的焦深(DOF)，改变主透镜和图像传感器之间的距离。

控制器可被配置为通过每当主透镜和图像传感器之间的距离根据DOF单位被改变时经由图像传感器获得图像并获得深度图，以分别获得针对位于在无限远距离至最近聚焦距离之间的所有对象的聚焦图像。

控制器可被配置为确定在每当主透镜和图像传感器之间的距离根据DOF单位被改变时所产生的每个深度图中深度值为最小的对象区域，

响应于对象区域从所述多个图像被选择，控制器可被配置为选择在所选择的对象区域中深度值为最小的深度图，并输出与选择的深度图相应的图像。

控制器可被配置为在Dh和Dc之间根据DOF单位改变主透镜和图像传感器之间的距离，其中，当在超焦距进行聚焦时主透镜和图像传感器之间的距离为Dh，当在最近聚焦距离进行聚焦时主透镜和图像传感器之间的距离为Dc。

控制器可被配置为在将主透镜和图像传感器之间的距离初始设置为Dh之后，根据DOF单位顺序地改变主透镜和图像传感器之间的距离，直到主透镜和图像传感器之间的距离变为Dc为止。

控制器可被配置为通过将主透镜和图像传感器之间的距离初始设置为Dh来获得图像和深度图，并通过分析该深度图根据DOF单位调整主透镜和图像传感器之间的距离，从而仅针对对象所存在的景深获得图像。

DOF可被确定为2×(主透镜的孔径比)×(弥散圆(CoC))，并且CoC的大小可以等于微透镜的一个或两个间距。

控制单元可被配置为基于通过在超焦距进行聚焦而拾取的初始图像的深度图，在初始图像中识别背景和候选感兴趣对象，根据预定条件从识别出的候选感兴趣对象之中选择感兴趣对象，并通过使用选择的感兴趣对象中的每个感兴趣对象的深度值针对选择的感兴趣对象中的每个感兴趣对象所存在的景深范围执行拍摄。

控制单元可被配置为根据电池和存储器中的每个的剩余容量来调整选择的感兴趣对象的数量。

根据另一示例性实施例的一方面，提供了一种图像拾取设备的图像拾取方法，其中，图像拾取设备包括主透镜以及在主透镜和图像传感器之间的包括多个二维(2D)排列的微透镜的微透镜阵列，所述方法包括：通过改变主透镜和图像传感器之间的距离来获得具有不同景深的多个图像；从获得的所述多个图像中的至少一个图像获得分别与获得的所述多个图像中的所述至少一个图像相应的至少一个深度图。

获得所述至少一个深度图的步骤可包括：从第一图像获得深度图，获得所述多个图像的步骤可包括：通过将主透镜和图像传感器之间的距离初始设置为在预定距离进行聚焦来获得第一图像；响应于对象被选择，通过使用获得的深度图将主透镜和图像传感器之间的距离调整为对选择的对象进行聚焦来获得选择的对象被聚焦的第二图像。

所述预定距离可以是超焦距。

对象可由用户输入选择。

所述多个2D排列的微透镜中的每个微透镜可分别与图像传感器中的至少两个像素相应。

图像拾取方法还可包括：通过使用与所述2D排列的微透镜之中的同一微透镜相应的至少两个像素的输出来获得深度图，并通过将与所述同一微透镜相应的所述至少两个像素的输出合并来产生图像。

主透镜和图像传感器之间的距离可根据作为步长单位的焦深(DOF)被改变。

获得所述多个图像的步骤可包括：通过每当主透镜和图像传感器之间的距离根据DOF单位被改变时获得图像并获得深度图，以获得针对位于从无限远距离到最近聚焦距离处的所有对象的聚焦图像。

图像拾取方法还可包括：确定在每当主透镜和图像传感器之间的距离根据DOF单位被改变时所产生的每个深度图中深度值为最小的对象区域。

图像拾取方法还可包括：从所述多个图像中选择对象区域；选择在所选择的对象区域中的深度值为最小的深度图；并输出与选择的深度图相应的图像。

在Dh和Dc之间，可根据DOF单位改变主透镜和图像传感器之间的距离，其中，当在超焦距进行聚焦时主透镜和图像传感器之间的距离为Dh，当在最近聚焦距离进行聚焦时主透镜和图像传感器之间的距离为Dc。

获得所述多个图像的步骤可包括：将主透镜和图像传感器之间的距离初始设置为Dh；根据DOF单位顺序地改变主透镜和图像传感器之间的距离，直到主透镜和图像传感器之间的距离变为Dc为止。

获得所述多个图像的步骤可包括：将主透镜和图像传感器之间的距离初始设置为Dh；通过分析在所述距离的初始设置中获得的深度图，根据DOF单位调整主透镜和图像传感器之间的距离，从而仅针对对象所存在的景深获得图像。

DOF可被确定为2×(主透镜的孔径比)×(弥散圆(CoC))，并且CoC的大小可以等于所述多个2D排列的微透镜之中的微透镜的一个或两个间距。

图像拾取方法还可包括：通过在超焦距进行聚焦来拾取初始图像；通过拾取的初始图像的深度图识别初始图像中的背景和候选感兴趣对象；根据预定条件从识别出的候选感兴趣对象之中选择感兴趣对象；通过使用选择的感兴趣对象中的每个感兴趣对象的深度值针对选择的感兴趣对象中的每个感兴趣对象所存在的景深范围执行拍摄。

图像拾取方法还可包括：检查电池和存储器中的每个的剩余容量；根据电池和存储器中的每个的剩余容量来调整选择的感兴趣对象的数量。

根据另一示例性实施例的一方面，提供了一种图像拾取设备的重新聚焦方法，其中，图像拾取设备包括主透镜和图像传感器，重新聚焦方法包括：获得具有不同景深的多个图像；从获得的所述多个图像中的每个图像获得深度图；针对每个深度图确定深度图中的深度值为最小的对象区域；从获得的所述多个图像选择对象区域；选择在选择的对象区域中的深度值为最小的深度图；并输出与选择的深度图相应的图像。

根据另一示例性实施例的一方面，提供了一种图像拾取设备，包括：主透镜，被配置为使入射光折射；包括多个二维(2D)排列的像素的图像传感器，被配置为感测入射光并根据感测到的入射光输出图像信号；微透镜阵列，在主透镜和图像传感器之间，并包括多个2D排列的微透镜；控制器，被配置为从图像传感器接收图像信号，并根据接收到的图像信号产生图像，其中，控制器被配置为通过将主透镜和图像传感器之间的距离初始设置为在预定距离进行聚焦来获得具有第一景深的第一图像，并从获得的第一图像获得深度图，其中，响应于对象被选择，控制器被配置为通过使用获得的深度图将主透镜和图像传感器之间的距离调整为对选择的对象进行聚焦来获得具有与第一景深不同的第二景深的第二图像，其中，在第二图像中，选择的对象被聚焦。

所述预定距离可以是超焦距。

对象可由用户输入选择。

所述多个2D排列的微透镜中的每个微透镜可分别与图像传感器中的至少两个像素相应。

根据另一示例性实施例的一方面，提供了一种图像拾取设备的重新聚焦方法，其中，图像拾取设备包括主透镜和图像传感器，重新聚焦方法包括：获得具有第一景深的第一图像；从获得的第一图像获得深夜图；响应于对象被选择，通过使用获得的深度图将主透镜和图像传感器之间的距离调整为对选择的对象进行聚焦来获得具有与第一景深不同的第二景深的第二图像，其中，在第二图像中，选择的对象被聚焦。

获得第一图像的步骤可包括：将主透镜和图像传感器之间的距离初始设置为在预定距离进行聚焦。

所述预定距离可以是超焦距。

对象可由用户输入选择。

附图说明

图1示出根据示例性实施例的图像拾取设备；

图2A示出图像传感器中的像素与单独的微透镜之间的位置关系；

图2B示出图像传感器中的像素与单独的微透镜之间的另一位置关系；

图3示出由图1的图像拾取设备拍摄的多个对象的位置；

图4A至图4C示出根据对象与图像拾取设备之间的距离的聚焦状态；

图5示出当由主透镜形成的图像位于微透镜阵列的后方时两个像素列之间的图像位置差；

图6示出当由主透镜形成的图像正好位于微透镜阵列上时两个像素列之间的图像位置差；

图7示出当由主透镜形成的图像位于微透镜阵列的前方时两个像素列之间的图像位置差；

图8A至图8D示出通过拍摄图3中示出的对象所获得的图像的深度图；

图9示出在根据示例性实施例的图像拾取方法中通过移动主透镜的位置顺序地执行对焦包围曝光(focus bracketing)的操作；

图10和图11示出弥散圆(CoC)和焦深(DOF)之间的关系；

图12是示出在CoC的大小被设置为微透镜的一个间距的情况下当根据对象距离将对象聚焦在图像传感器上时的光斑大小的曲线图；

图13是示出在CoC的大小被设置为微透镜的两个间距的情况下当根据对象距离将对象聚焦在图像传感器上时的光斑大小的曲线图；

图14示出在根据另一示例性实施例的图像拾取方法中仅针对存在对象的景深执行对焦包围曝光的操作；

图15A至图15C示出通过拍摄图14中示出的对象所获得的图像的深度图；

图16示出在中心具有两个对象的图像的深度图；

图17示出自动选择感兴趣对象并仅针对存在选择的感兴趣对象的景深执行对焦包围曝光操作的处理的流程图；

图18示出多个感兴趣对象平均分布的图像的深度图；

图19示出仅自动选择核心对象并仅针对存在选择的核心对象的景深执行对焦包围曝光操作以使对焦包围曝光步骤最少化的处理的流程图。

具体实施方式

以下，将参照附图描述用于产生具有深度信息的图像的图像拾取设备和方法。在附图中，相同的标号始终指示相同的元件。在附图中，为了方便并清楚地描述，可夸大组件的结构或大小。就这点上，示例性实施例可具有不同的形式，并应不被解释为受限于这里阐述的描述。因此，下面通过参考附图仅描述示例性实施例以解释本描述的各方面。此外，当描述特定组件在层结构中的另一组件之上时，特定组件可直接在另一组件之上，或者其间可插入第三组件。此外，将理解当诸如“…中的至少一个”的表述在一列元素之后时，是修饰整列元素，而不是修饰该列元素中的单独的元素。

图1示出根据示例性实施例的图像拾取设备100。参照图1，根据当前示例性实施例的图像拾取设备100可包括用于对入射光进行折射(例如，集中)的主透镜110、具有多个二维(2D)排列的像素以通过感测入射光来形成图像的图像传感器130、被布置在主透镜110和图像传感器130之间的微透镜阵列120。图像拾取设备100还可包括用于移动主透镜110以对对象进行聚焦的致动器115、用于将操作信号提供给致动器115的驱动器141(例如，驱动单元)和用于从图像传感器130接收图像信号并产生具有深度信息的图像的控制器140(例如，控制单元)。控制器140还可进行操作以通过控制驱动器141和致动器115的操作来改变主透镜110和图像传感器130之间的距离。

虽然为了便于描述，图1示出了主透镜110包括一个单透镜元件，但是主透镜110可包括多个透镜元件，例如，用于校正像差等。此外，当主透镜110包括多个透镜元件时，致动器115可移动整个主透镜110或者可移动多个透镜元件的一部分。因此，在以下的描述中，将理解，主透镜110的移动不仅包括主透镜110的全部透镜元件一起移动的情况，还包括主透镜110的仅一些透镜元件移动的情况。

致动器115可通过例如被布置在微透镜阵列120和图像传感器130中的至少一个上以移动微透镜阵列120和图像传感器130来代替移动主透镜110(或者除了移动主透镜110之外还移动微透镜阵列120和图像传感器130)。在这种情况下，为了改变主透镜110和图像传感器130之间的距离，控制器140可控制微透镜阵列120和图像传感器120的移动来代替控制主透镜110的移动(或者除了控制主透镜110的移动之外还控件微透镜阵列120和图像传感器120的移动)。在以下的描述中，为了便于描述，描述了主透镜110移动，但将理解主透镜110的移动是主透镜110相对于图像传感器130的相对移动，并且主透镜110和图像传感器130之间的距离改变。

微透镜阵列120可包括多个2D排列的微透镜121。类似于普通光场技术，微透镜阵列120可被布置在主透镜110和图像传感器130之间。微透镜阵列120中的多个微透镜121可具有相同的焦距和直径。

图像传感器130将入射光的强度转换为电信号，并输出转换后的电信号。例如，图像传感器130可以是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器。图像传感器130可包括多个2D排列的像素。每个像素可独立地感测入射光，并基于入射光的强度输出电信号。

控制器140可通过处理从图像传感器130中的多个像素输出的电信号来产生图像。此外，控制器140可通过提取图像中的对象的深度信息来产生深度图，并通过基于深度图经由驱动器141控制致动器115来执行对焦包围曝光操作，以获得具有不同景深的多个图像。此外，控制器140可通过使用具有不同景深的多个图像，根据用户命令执行对特定对象进行聚焦的重新聚焦操作。下面将更详细地描述这些操作。

为了获得图像中的多个对象的深度信息，微透镜阵列120中的多个微透镜121的每个微透镜121可相应于图像传感器130中的至少两个像素。在这种情况下，图像传感器130中与一个微透镜121相应的至少两个像素中的每个像素可检测针对同一对象(与两个像素中的另一个像素相比)具有不同视差的光束。

例如，图2A示出图像传感器130中的两个像素131a和131b与单独的微透镜121之间的位置关系。也就是说，两个像素131a和131b相应于单独的微透镜121。如图2A所示，可针对一个微透镜121沿水平方向布置仅两个像素131a和131b。与一个微透镜121相应的两个像素131a和131b可感测从对象的同一点反射的并具有不同视点的光。例如，左像素131a可感测通过主透镜110的入射光瞳的右侧区域的光束，右像素131b可感测通过主透镜110的入射光瞳的左侧区域的光束。在这种情况下，可获得具有水平方向上的不同视点的两个图像。然而，两个图像具有在垂直方向上没有任何视差的相同视点。因此，可获得在水平方向上布置的对象之间的深度信息，但在本示例性实施例中无法获得在垂直方向上布置的对象之间的深度信息。

图2B示出图像传感器130中的四个像素131a、131b、131c和131d与单独的微透镜121之间的另一位置关系。也就是说，四个像素131a、131b、131c和131d相应于单独的微透镜121。参照图2B，可针对一个微透镜121布置2×2排列的四个像素131a、131b、131c和131d。在这种情况下，不仅可获得水平视差，还可获得垂直视差。因此，可获得在水平方向上布置的对象之间的深度信息和在垂直方向上布置的对象之间的深度信息两者。

当产生普通彩色图像时，每个微透镜121与彩色图像的单位像素相应。例如，可通过将针对一个微透镜121布置的两个像素131a和131b或四个像素131a、131b、131c和131d的输出合并(例如，求和)来获得彩色图像信号的一个单位像素。也就是说，控制器140可通过分别使用针对一个微透镜121布置的四个像素131a、131b、131c和131d的输出来产生深度信息，并通过将针对一个微透镜121布置的四个像素131a、131b、131c和131d的输出合并来产生彩色图像。为此，同一彩色滤光器可被布置在针对一个微透镜121布置的四个像素131a、131b、131c和131d上。例如，红色滤光器可被布置在针对第一微透镜121布置的四个像素131a、131b、131c和131d上，绿色滤光器可被布置在针对第二微透镜122布置的四个像素132a、132b、132c和132d上，蓝色滤光器可被布置在针对第三微透镜123布置的四个像素133a、133b、133c和133d上。也就是说，针对一个微透镜121布置的四个像素131a、131b、131c和131d可被配置为感测相同颜色的光。

如上所述，通过微透镜阵列120中的每个微透镜121的大小来确定彩色图像的分辨率，而不管图像传感器130的实际分辨率(例如，像素数量)。例如，在图2A的情况下，彩色图像的分辨率是图像传感器130的实际分辨率的一半，在图2B的情况下，彩色图像的分辨率是图像传感器130的实际分辨率的1/4。虽然图2A和图2B示出针对一个微透镜121布置两个像素131a和131b或四个像素131a、131b、131c和131d的示例，但是图像传感器130中针对一个微透镜121布置的像素的数量可大于四个或小于四个以在同时获得具有更多视点的多个图像。然而，彩色图像的分辨率可降低与像素增加的数量一样多。

根据当前示例性实施例的图像拾取设备100通过对焦包围曝光获得具有不同景深的多个图像，以在不降低彩色图像的分辨率的情况下获得具有不同视点的多个图像。现在将详细描述操作根据当前示例性实施例的图像拾取设备100的特定方法。

图3示出由根据当前示例性实施例的图像拾取设备100拍摄的多个对象的位置。例如，假设第一对象210被布置在与图像拾取设备100相距距离D1处，第二对象220被布置在与图像拾取设备100相距距离D2处，第三对象230被布置在与图像拾取设备100相距距离D3处。在图3中，D0表示超焦距。超焦距是当相机的焦点被调整为无穷大时清楚地形成图像的与相机的最近距离。因此，对于位于远于D0处的对象，当图像拾取设备100的焦点被调整为无穷大时，不管与图像拾取设备100的距离而总是形成清楚的图像。

在通过使用现有技术的相机拍摄第一对象210、第二对象220和第三对象230获得的图像中，由于第一对象210、第二对象220和第三对象230通常显示在2D平面上，因此难以获得第一对象210、第二对象220和第三对象230的正确距离信息(即，深度信息)。因此，由于仅聚焦的对象被清楚地显示，并且未聚焦的对象模糊，因此，可识别出未聚焦的对象位于聚焦的对象的前面或后面。

然而，在根据当前示例性实施例的图像拾取设备100中，由于如下面参照图4A至图4C以及图5至图7详细描述的，可获得深度信息，因此可识别第一对象210、第二对象220和第三对象230的距离。图4A至图4C示出根据第一对象210、第二对象220和第三对象230与图像拾取设备100之间的距离的聚焦状态。在图4A至图4C中，为了便于描述假设第一对象210、第二对象220和第三对象230之中仅第二对象220被聚焦。此外，图5示出当由主透镜110形成的图像位于微透镜阵列120的后方(即，后面)时两个像素列130a和130b(即，左像素列130a和右像素列130b)之间的图像位置差。图6示出当由主透镜110形成的图像正好位于微透镜阵列120时两个像素列130a和130b之间的图像位置差。此外，图7示出当由主透镜110形成的图像位于微透镜阵列120的前方时两个像素列130a和130b之间的图像位置差。

通常，通过假设入射光是平行光(即，对象位于无限远处)来获得透镜的焦距。因此，对于实际对象，在远于透镜的焦距的距离处形成图像，并且对象与透镜之间的距离越近，形成对象的图像的距离就越远。例如，参照图4A，对于位于与图像拾取设备100最接近的第一对象210，在微透镜阵列120的后方(即，后面)形成图像210’。在这种情况下，由于微透镜阵列120不能使第一对象210的图像210’正好形成在图像传感器130上，因此，在由图像传感器130输出的图像中，第一对象210是模糊的。

在现有技术的相机中，仅获得指示第一对象210未聚焦的信息，而不获得第一对象210的深度信息。然而，参照图5，在根据当前示例性实施例的图像拾取设备100中，由于在微透镜阵列120的一个列的微透镜中布置的左像素列130a和右像素列130b之间存在视差，因此，在由左像素列130a和右像素列130b分别产生的图像信号之间产生深度差，即，像素视差。像素视差可被反向地计算为第一对象210的深度值，即像素视差与深度值相应，使得可从像素视差计算深度值。因此，根据当前示例性实施例的图像拾取设备100可获得第一对象210的深度信息。

参照图4B，所在位置比第一对象210更远的第二对象220的图像220’正好形成在微透镜阵列120上。在这种情况下，微透镜阵列120可使第二对象220的图像220’正好形成在图像传感器130上。因此，在由图像传感器130输出的图像中清楚地看到第二对象220。此外，如图6所示，由于在由微透镜阵列120的一个列的微透镜中布置的左像素列130a和右像素列130b分别产生的图像信号之间不产生深度差，因此，不产生像素视差。因此，第二对象220的深度值是零(0)。

参照图4C，所在位置比第二对象220更远的第三对象230的图像230’形成在微透镜阵列120的前方。在这种情况下，由于微透镜阵列120无法使第三对象230的图像230’正好形成在图像传感器130上，因此，在图像传感器130输出的图像中，第三对象230是模糊的。参照图7，在由微透镜阵列120的一个列的微透镜中布置的左像素列130a和右像素列130b分别产生的图像信号之间产生深度差。与图5相比，图7中的左像素列130a和右像素列130b之间的深度差的方向与图5中的左像素列130a和右像素列130b之间的深度差的方向相反。例如，图5中的深度值可被定义为负(-)，图7中的深度值可被定义为正(+)(或者在一个或更多个其它示例性实施例中，反之亦然)。因此，可确定深度值为负的对象位于近于焦距处，深度值为正的对象位于远于焦距处。散焦越大，视差越大，从而增大像素视差。因此，可从深度值的大小近似地确定对象的距离(即，深度)。

在上述方法中，根据当前示例性实施例的图像拾取设备100可产生对象的深度图，并获得具有深度信息的图像。在深度图中，聚焦的对象的深度值为零(0)，位于聚焦的对象前方的对象的深度值可以是负值，位于聚焦的对象后方的对象的深度值可以是正值。此外，与聚焦的对象的距离越远，深度值的大小越大。

图8A至图8D示出通过对图3中示出的第一对象210、第二对象220和第三对象230进行拍摄而获得的图像的深度图300、310、320和330。例如，图8A示出当图像拾取设备100在距离D0(即，超焦距距离)处聚焦时获得的深度图300。在这种情况下，深度图300中的第一对象210、第二对象220和第三对象230的深度值211、221和231虽然是不同的大小，但分别都是负值。作为另一示例，图8B示出当图像拾取设备100对位于距离D3处的第三对象230进行聚焦时获得的深度图310。在这种情况下，在深度图310中，第三对象230的深度值231为零(0)，第一对象210和第二对象220的深度值211和221虽然是不同的大小，但分别都是负值。作为另一示例，图8C示出当图像拾取设备100对位于距离D2处的第二对象220进行聚焦时获得的深度图320。在这种情况下，在深度图320中，第二对象220的深度值221为零(0)，第一对象210的深度值211是负值，第三对象230的深度值231是正值。作为另一示例，图8D示出当图像拾取设备100对位于距离D1处的第一对象210进行聚焦时获得的深度图330。在这种情况下，在深度图330中，第一对象210的深度值211为零(0)，第二对象220和第三对象230的深度值221和231虽然是不同的大小，但分别都是正值。

如上所述，可确定在深度图中深度值为零(0)的对象被聚焦。此外，可基于未聚焦的对象的深度值的大小和符号(即，正或负)确定未聚焦的对象与处于未聚焦的对象前面或后面的聚焦的对象相距的距离。因此，当位于不同距离的对象分别被聚焦的多个图像被获得时，可显示由用户选择的对象被聚焦的图像。

对图像进行处理使得仅位于不同距离处的多个对象之中的由用户选择的特定对象被聚焦且被清楚地看到并且其它对象未被聚焦且是模糊的处理被称为重新聚焦。为了进行重新聚焦，可需要或使用至少两条信息，即，位于不同距离处的对象分别被聚焦的多个图像以及包括对象之间的距离信息的深度图。当不存在深度图时，即使获得了位于不同距离处的对象分别被聚焦的多个图像，也无法通过后处理或计算机算法计算来自动选择由用户选择的特定对象被聚焦的图像，这是因为在没有深度图的情况下无法确定什么对象被聚焦。因此，即使通过使用现有技术的相机捕捉到了具有不同景深的多个图像，也由于不存在深度图而无法执行重新聚焦。在这点上，重新聚焦操作是光场相机的代表性操作。现有技术的光场相机通过一次捕捉一次性获得具有不同视点的多个图像以进行重新聚焦操作，因此，多个图像中的每个图像的分辨率会被降低。

根据当前示例性实施例的图像拾取设备100可通过对焦包围曝光改变景深，而不是通过一次捕捉来拾取具有不同视点的多个图像，来顺序地获得(即，拾取)具有不同视点的多个图像。例如，图9示出在根据示例性实施例的图像拾取方法中的通过移动主透镜110的位置顺序地改变景深来执行对焦包围曝光的操作。参照图9，首先，可通过移动主透镜110的位置以在由①指示的距离处进行聚焦来执行捕捉。随后，可通过移动主透镜110的位置以在由②指示的距离处进行聚焦来执行捕捉。随后，可通过移动主透镜110的位置以在由③、④和⑤指示的距离处进行聚焦来顺序地执行捕捉。虽然图9示出由箭头所指示的从远到近地执行对焦包围曝光，但是应理解一个或更多个其它示例性实施例不限于此。例如，根据另一示例性实施例，可从近到远(即，从⑤到①)地执行对焦包围曝光，或者以另一顺序执行对焦包围曝光。

当通过对景深的调整捕捉图像来完成一次对焦包围曝光操作(即，步骤)时，控制器140可通过对捕捉的图像的图像处理来产生图像(例如，彩色图像)并计算深度图。在计算深度图之后，可根据图像中的深度值来识别多个区域，具体地，深度值为零(0)的区域或者深度值最小的区域可从图像被识别并被获得(例如，被存储在存储器中)。以这种方式，在每个对焦包围曝光操作中，彩色图像和深度图可被获得，且深度值为零(0)的区域或者深度值最小的区域可被获得(例如，被存储)，直到对焦包围曝光处理完全结束为止。

在对焦包围曝光处理完全结束之后，可执行重新聚焦操作，使得用户可获得感兴趣区域被聚焦的图像。用于选择由用户选择的区域被聚焦的图像的参考是深度图。例如，当用户在图像中选择位于任意位置处的对象时，参照通过对焦包围曝光处理获得的所有深度图来比较由用户选择的对象区域的深度值。随后，可通过选择由用户选择的对象区域的深度值为零(0)或最小的深度图并选择、输出或在屏幕上显示与所选择的深度图相应的彩色图像，来执行重新聚焦操作。以这种方式选择的彩色图像可根据用户的命令被分开存储。另外，还可执行针对另一感兴趣区域的重新聚焦操作。

重新聚焦操作的另一功能是模糊增强。也就是说，在通过重新聚焦操作选择期望的彩色图像之后，可通过调整模糊缩放因子，与彩色图像中的除了聚焦的对象之外的对象的深度值的大小成比例地执行模糊增强。例如，当假设与图8C中的深度图320相应的彩色图像被选择时，由于被聚焦而深度值为零(0)的第二对象220的图像未加改变，并且可通过对分别位于第二对象220的前面和后面的第一对象210的图像和第三对象230的图像进行图像处理，通过模糊缩放因子可加强或减弱模糊效果。此操作可由于每个彩色图像具有相应深度信息而被执行。当模糊缩放因子与深度图中的深度值相乘时，由于聚焦的图像的深度值为零(0)，因此，聚焦的图像的深度值不管模糊缩放因子如何而总是保持零(0)，而深度值不为零(0)的区域可与模糊缩放因子成比例地改变。因此，当应用根据深度图的缩放后的深度值改变彩色图像的模糊量的算法时，可简单地执行模糊增强。如果在深度图中不存在为零(0)的深度值，则可将最小深度值调整为零(0)。

如上所述，在根据当前示例性实施例的图像拾取设备100中，由于可通过在改变主透镜110的位置来调整焦点同时多次执行图像捕捉以获得具有不同景深或视点的多个图像，因此，单个微透镜121的大小不必被增加来增加具有不同视点的图像的数量。因此，可通过将微透镜121的大小最小化为例如图像传感器130的像素大小的两倍或四倍，以在不降低图像的分辨率的情况下获得充足数量的具有不同视点的图像。此外，在与每个微透镜121相应的多于两个的像素的情况下，用户可选择将被用于处理的视点图像的数量。例如，在四个像素与微透镜121相应的情况下，用户可选择仅使用两个像素来产生图像，或者可选择仅使用通过四个像素获得的四个视点图像之中的两个视点图像。

可通过在对焦包围曝光期间最佳地确定包围曝光操作(例如，最佳地确定主透镜110的移动距离)来在对焦包围曝光处理中获得所有对象分别被聚焦的多个图像。当移动距离太短时，可获得相同对象被聚焦的多个多余图像，并且捕捉次数可能太多。相反，当移动距离太长时，可能无法获得对于一些对象的聚焦图像。

为了获得或确定最佳包围曝光操作，现在将描述弥散圆(CoC)和焦深(DOF)之间的关系。理论上，指示透镜的分辨能力的光斑的大小达到衍射极限，并因此当考虑主透镜110的像差和装配变形时，实际无法获得光斑的理论大小。因此，CoC通常被用作当用户用他或她的眼睛确定图像时识别聚焦的指标，即使CoC大于衍射极限。例如，当在图像传感器130上形成的光斑的大小小于CoC时，用户可确定图像被聚焦。

图10和图11示出CoC和DOF之间的关系。图10示意性地示出由主透镜110形成光斑的区域A，图11是图10中的区域A的放大示图。参照图10和图11，S表示作为理论衍射极限的光斑，CoC表示被识别为聚焦的弥散圆，DOF表示指示CoC被保持的部分(即，被识别为聚焦的部分)的焦深。如图11所示，由主透镜110的F数(即，数值孔径)和CoC的大小来确定DOF(即，DOF＝2×F数×CoC)。

例如，当假设主透镜110的焦距为4.2mm，主透镜110的F数为2.2，并且微透镜121的间距为2.24μm时，波长为540nm的绿光的光斑的理论大小是作为衍射极限的1.45μm(＝1.22×F数×波长)。此外，当CoC的大小被设置为与微透镜121的一个间距(即，彩色图像的一个单位像素的大小)相应时，DOF可以是2×2.2×2.24μm＝9.856μm，当CoC的大小被设置为与微透镜121的两个间距(即，彩色图像的两个单位像素的大小)相应时，DOF可以是2×2.2×4.48μm＝19.712μm。

如果位于任意距离处的对象的成像位置在DOF范围内，则获得在图像传感器130上的针对所述对象的聚焦图像。因此，为了获得位于从无限远距离到最近聚焦距离的所有对象分别被聚焦的图像，可通过使用DOF范围内的所有对象被聚焦的事实，以DOF为单位来使用于主透镜110的焦点调整的驱动间隔最佳化。例如，能够针对作为超焦距或更大距离的距离对对象进行聚焦的位置可被设置为用于主透镜110的焦点驱动的初始位置，每次执行每步对焦包围曝光时，可从初始位置开始按照DOF单位改变主透镜110的位置。以这种方式，可以以DOF为单位执行每步对焦包围曝光，直到对焦包围曝光操作完全结束的位置(即，最近聚焦距离的聚焦位置)。

在这种情况下，可由(总轨迹)/(DOF)来定义用于对焦包围曝光的总步数。例如，当假设主透镜110的焦距是4.2mm，主透镜110的F数是2.2,并且微透镜121的间距是2.24μm时，如果焦点满足超焦距，则主透镜110和图像传感器130之间的距离是4.2mm，这与主透镜100的焦距相同。此外，当假设最近聚焦距离为10cm时，如果焦点满足最近聚焦距离，则通过使用透镜方程，将主透镜110和图像传感器130之间的距离计算为4.3841mm。因此，用于以下对焦包围曝光处理的焦点驱动的总轨迹为184.1μm(与4.3841mm相差4.2mm)：所述对焦包围曝光处理用于获得位于从无穷远距离到最近聚焦距离的所有对象分别被聚焦的图像。

随后，由于对焦包围曝光操作的焦点驱动的总轨迹和主透镜110的DOF已知，因此可获得对焦包围曝光操作的总步数。例如，当CoC的大小被设置为微透镜121的一个间距时，DOF为9.856μm，并因此对焦包围曝光操作的总步数被计算为184.1μm/9.856μm＝18.7。因此，对焦包围曝光操作可具有包括初始位置的总共19步。当假设当焦点满足超焦距时主透镜110和图像传感器130之间的距离为Dh，并且当焦点满足最佳聚焦距离时主透镜110和图像传感器130之间的距离为Dc时，在Dh和Dc之间以DOF为单位按照19步来改变主透镜110和图像传感器130之间的距离。同样地，当CoC的大小被设置为微透镜121的两个间距时，DOF为19.712μm，并因此对焦包围操作的总步数被计算为184.1μm/19.712μm＝9.4。因此，对焦包围曝光操作可具有包括初始位置的总共10步。也就是说，在Dh和Dc之间以DOF为单位按照10步来改变主透镜110和图像传感器130之间的距离。

图12是示出在CoC的大小被设置为微透镜121的一个间距的情况下当根据对象距离将对象聚焦在图像传感器130上时的光斑大小的曲线图。在图12的曲线图中，垂直轴指示被转换为彩色图像的单位像素大小(即，微透镜121的间距)的光斑大小，假设当在不考虑衍射限制的情况下理想光束被集中到焦点位置时，光斑的大小等于零像素的大小。此外，图12的曲线图是通过从距离为5m的位置到20cm的最近聚焦距离执行具有10步的对焦包围曝光操作来获得的。

参照图12的曲线图，在对焦包围曝光的初始位置，由位于从无限远距离到超焦距处的对象形成的光斑的大小在彩色图像的一个单位像素的大小内。由位于比超焦距更近距离处的对象形成的光斑的大小大于彩色图像的一个单位像素的大小，导致发生模糊。因此，在对焦包围曝光的初始位置，位于比越焦距更远距离处的对象被聚焦的图像可被获得。

在主透镜110从对焦包围曝光的初始位置移动一个DOF的位置处，执行第二对焦包围曝光(1DOF包围曝光偏移)。参照图12，可识别光斑的大小处于彩色图像的一个单位像素的大小内的对象已移动DOF。同样，当主透镜110的位置顺序地移动DOF单位直到“9DOF包围曝光偏移”时，可连续地保持聚焦的对象的距离，直到20cm的对象距离。因此，当以DOF为单位执行对焦包围曝光时，可获得位于从无限远距离到最近聚焦距离的所有对象分别被聚焦的图像。

作为对焦包围曝光的初始位置的超焦距是(焦距×焦距)/(F数×CoC)。例如，当主透镜的焦距为4.2mm并且F数为2.2时，如果CoC的大小被设置为微透镜121的一个间距，则超焦距可以是3.6m。此外，如果CoC的大小被设置为微透镜121的两个间距，则超焦距可以是1.8m。以下的表1基于图12所示的曲线图示出聚焦的对象在每个对焦包围曝光步骤的景深。如表1所示，当在以DOF为单位顺序地改变主透镜110的位置的同时执行对焦包围曝光时，可获得从无限远距离到最近聚焦距离的聚焦图像。

表1

[表1]

图13是示出在CoC的大小被设置为微透镜121的两个间距的情况下当根据对象距离将对象聚焦在图像传感器130上时的光斑大小的曲线图。以与图12的曲线图相同的方式或相似的方式来获得图13的曲线图，并且CoC的大小是微透镜121的两个间距。参照图13，当CoC的大小是之前的两倍大时，与图12的情况相比，DOF增加两倍，从而每步的景深增加。

以下表2基于图13示出的曲线图示出聚焦的对象在每个对焦包围曝光步骤的景深。如表2所示，当在以DOF为单位顺序地改变主透镜110的位置的同时执行对焦包围曝光时，可获得从无限远距离到最近聚焦距离的聚焦图像。

表2

[表2]

聚对焦包围步骤	景深
		#1(超焦距)	1.8m-∞
#2	60m-1.8m
		#3	36-60cm
#4	26-36cm
		#5	20.3-26cm
#6	16.7-20.3cm
		#7	14.2-16.7cm
#8	12.3-14.2cm
		#9	10.9-12.3cm
#10	10-10.9cm

通过假设主透镜的焦距为4.2mm，F数为2.2并且微透镜121的间距为2.24μm来获得表1和表2中示出的值。然而，示出所述值仅是为了帮助理解，应该理解一个或更多个其它示例性实施例不限于此。根据各种示例性实施例，主透镜的焦距、F数和微透镜121的间距可改变。不考虑设计中的改变，当从超焦距到最近聚焦距离执行对焦包围曝光操作时，可以以DOF为单位来改变主透镜110在每个对焦包围曝光步骤的位置。

在表1和表2中，为了使对焦包围曝光步骤的数量最佳化，基于CoC设置彩色图像中被识别为聚焦的范围，并且在每个对焦包围曝光步骤中获得在DOF内形成图像的DOF。然而，已参照图8A至图8D描述的深度图中的对象的距离信息可比表1和表2中示出的景深部分更精确地被获得。例如，可通过使用基于从邻近像素获得的深度值信息之间的差的插值等来以子像素单位计算任意对象的深度值。

例如，当在图像拾取设备100的视场内难以识别对象或者存在太多对象时，可应用参照图9至图13描述的顺序对焦包围曝光操作。根据另一示例性实施例，例如，当在图像拾取设备100的视场内可识别的对象的数量太少或者少于预定数量时，可通过仅针对对象所存在的距离调整对焦包围曝光步骤来执行对焦包围曝光操作。例如，图14示出在根据另一示例性实施例的图像拾取方法中仅针对对象所存在的景深执行对焦包围曝光的操作。此外，图15A至图15C示出通过对图14中示出的对象进行拍摄而获得的图像的深度图。

如图14所示，假设第一对象210位于距图像拾取设备100的距离D1处，第三对象230位于距图像拾取设备100的距离D3处。在图14中，D0表示超焦距。图15A示出当焦点满足超焦距时所获得的深度图340。在这种情况下，在深度图340中，第一对象210的深度值211和第三对象230的深度值231分别都是负值，并且与超焦距的距离越远，深度值的绝对值(即，大小)越大。图15B示出当第三对象230被聚焦时所获得的深度图350。在这种情况下，在深度图350中，第三对象230的深度值231为零(0)，并且第一对象210的深度值211是负值。图15C示出当第一对象210被聚焦时所获得的深度图360。在这种情况下，在深度图360中，第一对象210的深度值211为零(0)，并且第三对象230的深度值231是正值。

在根据当前示例性实施例的图像拾取方法中，可通过预先测量感兴趣对象所存在的距离，并跳过对焦包围曝光步骤直到感兴趣对象所存在景深，可执行对焦包围曝光操作。为此，首先，通过将图像拾取设备100的焦点设置到超焦距来获得彩色图像，并且从彩色图像产生图15A中示出的深度图340。根据一个或更多个其它示例性实施例，可通过将焦点设置到除了超焦距之外的另一距离(诸如，用户设置的距离、预定距离或任意距离)来获得初始彩色图像。控制器140通过分析深度图340来计算第一对象210和第三对象230之间的距离，并检查第一对象210和第三对象230是否存在于一个DOF范围内以同时聚焦。

如果第一对象210和第三对象230彼此分离达无法执行同时聚焦的距离，则针对第一对象210和第三对象230中的每个对象执行对焦包围曝光步骤。例如，通过在第三对象230被聚焦的景深处执行对焦包围曝光步骤来获得图15B中示出的彩色图像和深度图350，这可使用初始深度图(例如，当将焦点设置到超焦距时产生的深度图340)来确定。以下，通过在第一对象210被聚焦的景深处执行对焦包围曝光步骤来获得图15C中示出的彩色图像和深度图360。以这样的方式，在针对第一对象210和第三对象230执行对焦包围曝光步骤之后，对焦包围曝光可结束。

与图9所示的针对从无限远距离到最近聚焦距离的对象以DOF为单位顺序地执行对焦包围曝光步骤的方法类似，根据图14所示的方法，在首先针对第一距离(例如，超焦距)执行对焦包围曝光步骤之后，仅针对对象实际存在的位置执行对焦包围曝光步骤。然而，在图14所示的方法中，除了图9示出的方法之外，还以DOF为单位执行每个对焦包围曝光步骤。然而，在执行每个对焦包围曝光步骤时，主透镜110的焦点位置可移动一个DOF间隔或者DOF的整数倍的间隔。例如，当假设图像拾取设备100和第一对象210之间的距离为50cm并且图像拾取设备100和第三对象230之间的距离为1.5m时，根据图14所示的方法，当参考表1的示例时，仅可执行针对超焦距的对焦包围曝光步骤、#2对焦包围曝光步骤和#5对焦包围曝光步骤。

根据图14所示的方法，当对象的数量少或者在部分景深范围内不存在对象时，对焦包围曝光操作的效率可提高。例如，当与图像拾取设备100最接近的对象与图像拾取设备100相距50cm时，在仅执行到根据表1的示例的#5对焦包围曝光步骤之后，对焦包围曝光操作可结束。具体地，如表1和表2所示，随着对象更接近于图像拾取设备100，景深范围变窄，用于获得聚焦图像的对焦包围曝光步骤的数量增加。因此，通过预先确定近距离处是否存在对象，并且如果在近距离处不存在对象则跳过对焦包围曝光步骤，可提高对焦包围曝光操作的效率。

可通过控制器140控制驱动器141和致动器115移动主透镜110来执行已描述的对焦包围曝光操作。此外，在针对超焦距的初始对焦包围曝光步骤被执行之后，控制器140可确定是根据图9所示的方法顺序地执行所有对焦包围曝光步骤还是根据图14所示的方法通过跳过其它对焦包围曝光步骤来执行一部分对焦包围曝光步骤。

例如，当对通过执行初始对焦包围曝光步骤而获得的彩色图像和深度图进行分析时，如果在表1或表2所示出的所有景深范围中存在对象，或者难以指定或识别对象，则可根据图9所示的方法顺序地执行所有对焦包围曝光步骤。作为另一示例，当仅在表1或表2所示出的一部分景深范围存在对象时，可通过根据图14所示出的方法跳过其它对焦包围曝光步骤来仅执行一部分对焦包围曝光步骤。在这种情况下，例如，可从初始图像自动检测对象。

根据另一示例性实施例，当用户从通过执行初始对焦包围曝光步骤而获得的图像(例如，彩色图像)选择感兴趣对象时，可根据图14所示的方法仅针对选择的对象执行对焦包围曝光步骤。在这种情况下，可通过将图像拾取设备100的焦点设置到用户设置的焦点、任意焦点或预定焦点(例如，超焦距)来获得和/或输出初始图像(例如，彩色图像)。从初始图像，用户可选择一个或更多个感兴趣对象或者对象区域，并且仅针对选择的一个或更多个感兴趣对象来执行一个或更多个对焦包围曝光步骤。在这种情况下，可使用从初始图像产生的深度图来确定与选择的一个或更多个对象相应的一个或更多个对焦包围曝光步骤。在本示例性实施例中，图像拾取设备100还可包括用于接收用户选择的用户输入装置，诸如触摸屏、键盘、一个或更多个按钮、旋转拨号盘、麦克风、切换器、控制杆、跟踪板、鼠标等中的至少一个。

关于参照图9至图13所描述的实施例，不管对象是否存在于图像中，顺序地执行所有对焦包围曝光步骤。关于参照图14和图15A至图15C所描述的实施例，仅针对对象所存在的景深范围执行对焦包围曝光步骤，以提高对焦包围操作的效率。然而，即使在参照图14和图15A至图15C描述的实施例的情况下，仍可针对对象所存在的所有景深范围执行对焦包围曝光步骤，因此，根据环境，将被执行的对焦包围曝光步骤的数量可以是多的。

为了进一步提高对焦包围曝光操作的效率，可仅针对感兴趣对象所存在的一部分景深范围执行对焦包围曝光步骤。例如，当用户从通过执行初始对焦包围曝光步骤获得的彩色图像选择感兴趣对象时，可根据图14所示出的方法仅针对选择的感兴趣对象执行对焦包围曝光步骤。

此外，可自动执行选择对象的操作。例如，图16示出两个对象在中心的图像的深度图，其中，所述图像是通过将图像拾取设备100的焦点设置在超焦距处而获得的。如图16所示，与背景相应的区域具有相对均匀的深度值，与底部相应的区域具有逐渐改变的深度值。此外，两个对象在中心的区域具有与背景区域的深度值明显不同的深度值。具有与背景区域的深度值相同或相似的深度值的对象可存在于图像中，但是如果具有与背景区域的深度值明显不同的深度值的对象存在于图像中，则拍摄者可能对具有与背景区域的深度值明显不同的深度值的对象更感兴趣。此外，通常还可确定深度值逐渐改变的区域不是拍摄者的感兴趣区域。

因此，可通过确定拍摄者的感兴趣对象并对感兴趣对象的深度范围执行对焦包围曝光操作来使对焦包围曝光步骤的数量最小化。此外，为了进一步减少对焦包围曝光步骤的数量，可根据用户的偏好从多个感兴趣对象之中仅选择一部分感兴趣对象，可仅针对选择的感兴趣对象执行对焦包围曝光操作。因此，由于图像拾取设备100的对焦包围曝光操作而产生的处理器的计算量以及电力和存储器的消耗可被降低。

具体地，图17示出自动地选择感兴趣对象并仅针对选择的感兴趣对象所存在的景深执行对焦包围曝光操作的处理的流程图。参照图17，在对象识别操作S10中，通过将图像拾取设备100的焦点设置在超焦距而获得的初始图像的深度图来识别背景和候选感兴趣对象。例如，可识别出初始图像中具有与背景区域的深度值明显不同的深度值的区域中所存在的感兴趣对象以及深度值不逐渐改变的区域中所存在的感兴趣对象。例如，通过使用显著对象检测算法等提取显眼轮廓或从周围环境突显出来来识别感兴趣对象。

在对象选择对象S11中，通过对焦包围曝光操作从在对象识别操作S10中识别出的候选感兴趣对象之中选择将被拍摄的感兴趣对象。为此，控制器140可通过预先分析由用户捕捉到的图像的历史(这些图像被存储在存储器(未示出)中)，并将分析结果存储在存储器中等来观察用户的意图或偏好。例如，通过对捕捉到的图像应用显著对象检测算法识别出的在捕捉到的图像中最显眼的对象可被存储在存储器中。例如，捕捉的图像中的各种各样的对象(诸如，人、花、昆虫、鸟等)可被提取并被分类。此后，控制单元140可从在对象识别操作S10中识别出的候选感兴趣对象之中选择与用户偏好的对象匹配的对象，其中，所述偏好的对象被存储在存储器中。可根据用户设置(例如，在五个设置内)预先确定最终选择的候选感兴趣对象的数量。可选地，可将满足由用户预设的条件(诸如初始图像中的位置或对象的大小)的所有对象选为感兴趣对象。

此外，当不存在与用户偏好的对象匹配的感兴趣对象时，例如，以最接近于初始图像的中心的顺序或以最远顺序从围绕初始图像的中心布置的多个感兴趣对象之中选择多个感兴趣对象。可选地，如图18所示，当在初始图像的整个区域中均匀分布多个感兴趣对象时，可选择所有感兴趣对象。

当在对象识别操作S10中识别出的候选感兴趣对象的数量仅为一个或者少于由用户预设的感兴趣对象的数量时，对象选择操作S11可被省略，并且在对象识别操作S10中识别出的所有候选感兴趣对象可被选为感兴趣对象。

在对焦包围曝光操作S12，通过分别使用最终选择的感兴趣对象的深度值，仅针对最终选择的感兴趣对象所存在的景深范围执行对焦包围曝光步骤。在操作S13，在各个对焦包围曝光步骤中捕捉到的图像被存储在存储器中。

当执行多个对焦包围曝光步骤时，图像拾取设备100的电力和存储器的消耗增加，并且处理器操作频繁。因此，电池和存储器中的每个的剩余容量可能不足以执行对焦包围曝光操作。因此，在对焦包围曝光操作之前，可检查电池和存储器中的每个的剩余容量，并且如果确定电池和存储器中的每个的剩余容量不足，则可减少对焦包围曝光步骤的数量。

例如，图19示出仅自动选择核心对象并仅针对选择的核心对象所存在的景深执行对焦包围曝光操作以使对焦包围曝光步骤最少化的处理的流程图。参照图19，在电池和存储器检查操作S20中，检查图像拾取设备100的电池和存储器中的每个的剩余容量。如果确定电池和存储器中的每个的剩余容量足以执行对焦包围曝光操作，则可根据图17所示的处理来执行对焦包围曝光操作。然而，如果确定电池和存储器中的每个的剩余容量不足以执行对焦包围曝光操作，则可执行在图19所示的对焦包围曝光操作(即，操作S21至S24)。

对象识别操作S21可与参照图17描述的对象识别操作S10相同。根据与参照图17描述的对象选择操作S11相同的算法执行对象选择最小化操作S22，但是根据用户设置，最终选择的感兴趣对象的数量被限制为例如一个或两个。例如，当存在多个候选感兴趣对象时，可根据用户设置从多个候选感兴趣对象中选择最接近于初始图像的中心的一个或两个感兴趣对象，或者可选择一个或两个最大感兴趣对象。当在对象识别操作S10中识别出的候选感兴趣对象的数量仅为一个或两个时，对象选择操作S11可被省略，并且在对象识别操作S10中识别的所有候选感兴趣对象可被选为感兴趣对象。

在对焦包围曝光操作S23中，通过分别使用最终选择的感兴趣对象的深度值，仅针对最终选择的感兴趣对象所存在的景深范围执行对焦包围曝光步骤。在操作S24，在各个对焦包围曝光步骤中捕捉的图像被存储在存储器中。

如上所述，根据一个或更多个示例性实施例，图像拾取设备包括布置在主透镜和图像传感器之间的微透镜阵列。在微透镜阵列中的一个微透镜可与图像传感器中的两个或更多个像素或者四个或更多个像素相应。此外，图像拾取设备可通过移动主透镜获得具有不同景深的多个图像，并可从获得的图像中的每个图像提取深度信息。基于根据一个或更多个示例性实施例的图像拾取设备和图像拾取方法，由于可通过改变透镜的位置执行多次不同的捕捉来获得具有不同视点的多个图像，因此不必增大透镜的大小以增加具有不同视点的图像的数量。因此，可通过在不减少具有不同视点的图像的数量的情况下使微透镜的大小最小化来防止图像分辨率的降低。

虽然不限于此，但是示例性实施例可被实现为在计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储其后可由计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质还可分布在联网的计算机系统上，从而计算机可读代码以分布式方式被存储和执行。此外，示例性实施例可被写为通过计算机可读传输介质(诸如载波)传输的并在执行程序的通用或专用数字计算机中接收和实现的计算机程序。此外，将理解，在示例性实施例中，上述设备100的一个或更多个单元可包括电路、处理器、微处理器等，并可执行存储在计算机可读介质中的计算机程序。

应该理解，这里描述的示例性实施例应该被视为仅是说明性意义，而不是限制目的。在每个示例性实施例内的特征或方面的描述应该通常被视为可用于其它示例性实施例中的其它相似特征或方面。

虽然已参照附图描述了一个或更多个示例性实施例，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下可进行形式和细节上的各种改变。

Claims (15)

1.一种图像拾取设备，包括：

主透镜，被配置为使入射光折射；

包括多个二维(2D)排列的像素的图像传感器，被配置为感测入射光并根据感测到的入射光输出图像信号；

微透镜阵列，在主透镜和图像传感器之间，并包括多个2D排列的微透镜；

控制器，被配置为从图像传感器接收图像信号，并根据接收到的图像信号产生图像，

其中，控制器被配置为通过改变主透镜和图像传感器之间的距离来获得具有不同景深的多个图像，并从获得的所述多个图像中的至少一个图像获得分别与获得的所述多个图像中的所述至少一个图像相应的至少一个深度图。

2.如权利要求1所述的图像拾取设备，其中：

控制器被配置为通过将主透镜和图像传感器之间的距离初始设置为在超焦距进行聚焦来获得第一图像，并从获得的第一图像获得深度图；

响应于对象被选择，控制器被配置为通过使用获得的深度图将主透镜和图像传感器之间的距离调整为对选择的对象进行聚焦来获得选择的对象被聚焦的第二图像。

3.如权利要求1所述的图像拾取设备，其中，所述多个2D排列的微透镜中的每个微透镜分别与图像传感器中的至少两个像素相应，

其中，控制器被配置为通过使用与所述2D排列的微透镜之中的同一微透镜相应的至少两个像素的输出来获得深度图，并通过将与所述同一微透镜相应的所述至少两个像素的输出合并来产生图像。

4.如权利要求1所述的图像拾取设备，其中，控制器被配置为根据作为步长单位的焦深(DOF)，改变主透镜和图像传感器之间的距离。

5.如权利要求4所述的图像拾取设备，其中，控制器被配置为通过每当主透镜和图像传感器之间的距离根据DOF单位被改变时经由图像传感器获得图像并获得深度图，以分别获得针对位于在无限远距离和最近聚焦距离之间的所有对象的聚焦图像。

6.如权利要求5所述的图像拾取设备，其中，控制器被配置为确定在每当主透镜和图像传感器之间的距离根据DOF单位被改变时所产生的每个深度图中深度值为最小的对象区域，

响应于对象区域从所述多个图像被选择，控制器被配置为选择在所选择的对象区域中的深度值为最小的深度图，并输出与选择的深度图相应的图像。

7.如权利要求4所述的图像拾取设备，其中，控制器被配置为在Dh和Dc之间根据DOF单位改变主透镜和图像传感器之间的距离，其中，当在超焦距进行聚焦时主透镜和图像传感器之间的距离为Dh，当在最近聚焦距离进行聚焦时主透镜和图像传感器之间的距离为Dc。

8.如权利要求7所述的图像拾取设备，其中，控制器被配置为在将主透镜和图像传感器之间的距离初始设置为Dh之后，根据DOF单位顺序地改变主透镜和图像传感器之间的距离，直到主透镜和图像传感器之间的距离变为Dc为止。

9.如权利要求7所述的图像拾取设备，其中，控制器被配置为通过将主透镜和图像传感器之间的距离初始设置为Dh来获得图像和深度图，并通过分析该深度图根据DOF单位调整主透镜和图像传感器之间的距离，从而仅针对对象所存在的景深获得图像。

10.如权利要求4所述的图像拾取设备，其中，DOF被确定为2×(主透镜的孔径比)×(弥散圆(CoC))，并且CoC的大小能够等于所述多个2D排列的微透镜之中的微透镜的一个或两个间距。

11.如权利要求4所述的图像拾取设备，其中，控制单元被配置为基于通过在超焦距进行聚焦而拾取的初始图像的深度图在初始图像中识别背景和候选感兴趣对象，根据预定条件从识别出的候选感兴趣对象之中选择感兴趣对象，并基于选择的感兴趣对象中的每个感兴趣对象的深度值针对选择的感兴趣对象中的每个感兴趣对象所存在的景深范围执行拍摄。

12.一种图像拾取设备的图像拾取方法，其中，图像拾取设备包括主透镜、图像传感器以及在主透镜和图像传感器之间的包括多个二维(2D)排列的微透镜的微透镜阵列，所述图像拾取方法包括：

通过改变主透镜和图像传感器之间的距离来获得具有不同景深的多个图像；

从获得的所述多个图像中的至少一个图像获得分别与获得的所述多个图像中的所述至少一个图像相应的至少一个深度图。

13.如权利要求12所述的图像拾取方法，其中：

获得所述至少一个深度图的步骤包括：从第一图像获得深度图；

获得所述多个图像的步骤包括：

通过将主透镜和图像传感器之间的距离初始设置为在超焦距进行聚焦来获得第一图像，

响应于对象被选择，通过使用获得的深度图将主透镜和图像传感器之间的距离调整为对选择的对象进行聚焦来获得选择的对象被聚焦的第二图像。

14.如权利要求12所述的图像拾取方法，其中，主透镜和图像传感器之间的距离根据作为步长单位的焦深(DOF)被改变。

15.如权利要求14所述的图像拾取方法，其中，获得所述多个图像的步骤包括：通过每当主透镜和图像传感器之间的距离根据DOF单位被改变时获得图像并获得深度图，以获得针对位于从无限远距离到最近聚焦距离处的所有对象的聚焦图像。