CN104204938A - 图像聚焦 - Google Patents

Abstract

提供了一种装置，其中可以经由用户输入(33，34)来选择焦平面。突出所选择的焦平面以使得用户能够容易地选择理想的焦平面。

Description

图像聚焦

技术领域

本发明涉及聚焦，即在可以由光场相机捕获的图像中设置焦平面，并且涉及对应的装置。

背景技术

在传统相机中，要被捕获的场景的图像经由镜头在图像传感器(例如CCD传感器、CMOS传感器)上再现。镜头可以是所谓的定焦镜头，其中焦平面离开镜头固定距离，或者可以是变焦镜头，其中焦平面的位置可变。在焦平面内或者邻近焦平面的对象在由图像传感器捕获的图像中显得清晰，而在焦平面以外或者远离焦平面的对象显得或多或少的模糊。依赖于所使用的光圈，在所捕获的图像中对象显得清晰的区域可以在焦平面的两侧延伸到一定距离，这也被称为景深(depth of field，DOF)。在这种传统相机中，焦平面的位置以及所记录图像的清晰度可以仅受以非常有限的方式的后处理影响。应该注意的是，依赖于所使用的镜头，焦平面不一定是实际的平面，也可以是弯曲的。

在近些年来已经开发和研究的新型相机是所谓的光场相机，其是所谓的计算相机(computational camera)的一种类型。在光场相机中，图像不是直接在图像传感器上再现而使得除了像去马赛克(demosaicing)和锐化(sharpening)这样的操作以外图像传感器的输出基本上直接显示所捕获的场景，而是在光场相机中将来自场景的光线以非常规的方式引导到图像传感器。例如，源自要被捕获的场景中的单个对象的光线可以被引导到图像传感器上彼此远离的不同位置，其对应于从不同方向观看该对象。为此，例如可以在镜头前面布置锥形反射镜。在其他实现方式中，例如通过改变几何学的或辐射计式的特性，用于将光从要被记录的场景引导到图像传感器的光学器件(optic)可以是可变的。这种可变的光学器件可以例如包括具有可控取向的微镜片的二维阵列。

不同于传统相机，在光场相机中需要对图像传感器所捕获的数据进行更复杂的处理，来提供最终图像。另一方面，在很多情况下，在设置像最终图像的焦平面这样的参数时有更高的灵活性。

然而，特别是在像典型的相机显示器或包含相机的其他装置的显示器(如包含相机的移动电话的显示器)这样的小显示器上，用户可能难以正确地设置最终图像理想的焦平面。在其他情况中会出现与设置焦平面类似的问题，例如，当提供传统图像和深度信息时。因此，存在辅助用户在通过计算相机所捕获的图像中设置焦平面的需求。

发明内容

提供了如权利要求1中定义的方法以及如权利要求9中定义的装置。从属权利要求限定了进一步的实施方式。

根据一个实施方式，提供了一种方法，该方法包括以下步骤：

提供至少一幅图像，

针对所述至少一幅图像提供深度信息，

显示所述图像，

选择焦平面，以及

在所显示的图像中突出选择的焦平面。

提供所述至少一幅图像和深度信息的步骤可以包括采用计算相机(例如光场相机)捕获图像。

根据一种实施方式，突出所述选择的焦平面的步骤可以包括在所述显示的图像中对所述选择的焦平面进行上色。

根据一种实施方式，可以基于用户输入选择所述焦平面。

根据一种实施方式，所述方法还可以包括提供滑块，以使得用户能够选择所述焦平面。

根据一种实施方式，所述方法还可以包括基于所述至少一幅图像来生成具有所选择的焦平面的最终图像。

根据一种实施方式，所述方法还可以包括针对所述最终图像选择景深。

根据一种实施方式，所述方法还可以包括基于所述景深的选择来生成所述最终图像。

根据另一个方面，提供一种装置，所述装置包括：

图像传感器，其被构造为捕获图像；

用户输入端，其使得用户能够针对图像选择焦平面，以及

显示器，其被构造为显示其中选择的焦平面被突出的图像。

所述装置还可以包括用于捕获图像的光场相机。

根据一种实施方式，所述显示器可以包括触摸屏，并且其中所述用户界面包括在所述触摸屏上的滑块。

所述装置可以被构造为执行以上描述的方法中的任何一种方法。

附图说明

图1例示了根据实施方式的相机装置。

图2是例示根据实施方式的方法的流程图。

图3A至图3C是用于例示在图2的实施方式中执行的一些操作的示例图像。

具体实施方式

以下，将详细描述本发明的各种实施方式。需要注意的是，不同实施方式的特征可以彼此结合，除非另外指出。另一方面，描述具有多个特征的实施方式不应被解释为表明所有那些特征对于实践本发明都是必须的，因为其他实施方式可以包括更少的特征和/或可替换的特征。通常，本文描述的实施方式不应被解释为限制本申请的范围。

在图1中示出了根据实施方式的相机装置10。相机装置10可以是专用相机，但是也可以是包含相机的任何其他装置，例如包含相机的移动电话或智能电话，包含相机的个人数字助理(PDA)或者包含相机的像笔记本电脑或平板电脑这样的计算机。在图1中，仅示出了根据实施方式与相机操作相关的那些部件。其他部件(例如在相机装置10是移动电话的情况下用来提供移动电话功能的部件)也可以按照任何传统方式被呈现并被实施。

相机装置10被构造为光场相机装置，即一种计算相机。为此，相机装置10包括光学器件12，该光学器件用于将来自要被捕获的场景(在该示例中为人11、桌子110和房屋111)的像光线17这样的光线引导到传感器13。光学器件12不会直接将图像再现在传感器上,而是如开始部分中所解释的，以一种“非常规”的方式将来自要被拍摄的场景的光线引导到传感器13。例如，光线17可以被引导到传感器13，作为光线18。

为此，除了一个或多个镜头以外，光学器件12还可以包括像锥形反射镜或排列有可控镜的微反射镜这样的其他元件。在光学器件12中也可以包括其他类型的光调制器或反射镜。

传感器13可以是像CMOS传感器或CCD传感器这样的任何传统图像传感器。为了记录彩色图像，传感器13可以具有在传感器前面的滤色器，例如，利用在数码相机中常规使用的所谓的拜耳模式(Bayer pattern)的滤色器。在其他实施方式中，传感器13可以包括用于记录不同颜色的不同层。在另外一些实施方式中，传感器13可以被构造为记录单色(monochrome)图像。

将传感器13的输出提供给用于处理来自传感器的信号的处理单元14，以生成所记录场景的图像，然后可以在显示器15上显示该场景，该显示器15例如可以是相机装置10的LCD或LED屏。此外，相机装置10包括输入端16，以允许用户控制相机装置10。输入装置16可以例如包括按钮、控制杆、小键盘或者被构造为解释用户手势的装置。在一些实施方式中，显示器15可以是触摸屏，并且在这种情况下输入装置16还可以包括显示器15，以使得能经由作为显示器15而被提供的触摸屏上的手势实现输入。

如以下将要解释的，基于从输入装置16接收到的输入，处理单元14可以突出图像中的焦平面。这种突出便于选择理想的焦平面。在选择了理想的焦平面之后，在一些实施方式中，此外可以选择理想的景深，然后可以基于所选择的焦平面和所选择的景深来生成图像。需要注意的是焦平面的选择不应被解释为表示仅可以选择单个焦平面，因为在一些实施方式中还可以选择多于一个的焦平面。

作为一个示例，图1的相机装置10记录了包含人11、桌子110以及房屋(在背景中)111的场景。各项没有按比例绘制，而是仅仅旨在作为例示。例如，如果焦平面被设置为平面19，则人11显示为聚焦，如果焦平面被设置在平面18上，则桌子110显示为聚焦，并且如果焦平面被设置在平面112上，则房屋显示为聚焦。如以下将更详细解释的，例如通过使用由输入装置16所提供的在触摸屏或另外的输入元件上的滑块，在记录图像之后用户可以浏览可能的焦平面，并且突出如以上所指示的某个选择的焦平面，以便于最终的选择。

需要注意的是，依赖于所使用的光场相机，实际可选择的不同焦平面的数量会不同。在一些情况下，在更近距离处可能的、即可选择的焦平面可以比远离相应的相机装置的可能的焦平面更密集地间隔排列。

将参照图2和图3描述对应方法的实施方式。图2示出了根据实施方式的方法的流程图。图2的方法可以在例如图1的相机装置中实施，也可以独立地使用，特别是与其他光场相机装置连接而独立地使用。图3A至图3C，统称为图3，其示出了示例的场景和图像，以例示在图2的实施方式中执行的一些操作。应该注意的是图3的示例图像仅用于例示并且绝不应被解释为将本发明限制为该图中所示出的场景或图像的种类，因为本发明的原理可以被应用于由光场相机捕获的几乎任何场景或图像。

在图2的20处，采用计算相机(例如光场相机，例如图1的相机装置10或任何其他光场相机装置)捕获图像。在21处由用户使用像输入装置16这样的对应的输入装置来选择焦平面，该输入装置16也可以在触摸屏上实施。在22处，例如通过对所选择的焦平面给予具体的颜色，在显示器上突出所选择的焦平面。需要注意的是在这方面的焦平面并不一定是数学意义上的平面，而是可以具有垂直于该平面的一定的延伸，即可以突出在如此延伸的焦平面内的图像的所有元素。在23处，检查所选择的焦平面是否可以。如果不可以，该方法返回到21来选择不同的焦平面，其后在22处进行突出，直到在23处所选择的焦平面被用户认可。

作为这样的示例，图3A和图3B描绘了与图1的场景相对应的场景(具有人31、桌子32和建筑物30)的图像。在该示例中，在该场景中与图像建筑物30对应的是背景，桌子32与相机最近并且人31更有点在中间。

在显示器上，与图像一起示出了具有滑块34的滑块标尺33。通过用户输入，例如通过在触摸屏上触摸并移动滑块34或者例如通过操作所提供的控制杆或按键，滑块34可以沿着滑块标尺33移动。由花35所标记的滑块刻度33的左端对应于特写(或甚至近拍)距离。由山37所标记的右端基本上对应于无限远的焦距。人36针对从人拍摄的典型图像标记焦距，例如在2米到5米范围内的距离。

在图3A的示例中，滑块34被设置为与距人31的距离相对应的中间范围。换句话说，焦平面被设置为对应于人31的位置的平面，其在图1的示例中会例如对应于针对人11的平面19。因此，采用该焦平面设置，在图像中突出人31，使得用户即使在小的显示器上也能立即识别出图像的哪个部分会在最终图像中显示为聚焦。尽管在图3A中采用粗线条来标记突出，在一些实施方式中也通过特定的上色(优选地以具有像霓虹绿、明黄等一些信号特性的颜色)来进行突出，使得可以立即识别出场景的被聚焦的元素。

给出另一示例，图3B中的滑块34被设置为基本上无限远的位置。这里，焦平面对应于建筑物30的距离(例如像图1的针对建筑物111的焦平面112)，使得在这种情况下突出建筑物30。需要注意的是如果多个对象位于相应的距离(例如多个建筑物在背景中，人和像狗这样的另一个对象在中间地带等)，可以突出对应于所选择的焦距或焦平面的所有对象。

一旦用户认可了所选择的焦平面(图2中23处的是)，在24处可选择地额外可选的景深，即在垂直于焦平面方向的聚焦区域的“延伸”。例如，对于人像摄影通常理想的是聚焦于被描绘的人的脸，而图像的其他区域未聚焦并且因此模糊，而例如在风景摄影中理想的可能是更延伸的景深。所选择的景深可以直接显示在显示器上，使得用户立即能够估计她/他是否对所选择的景深满意。例如，在图3C中，选择景深使得仅聚焦人31(例如在已选择了如图3A所示出的焦平面之后)，但是桌子32和建筑物30没有被聚焦(在图3C中以虚线表示)。

需要注意的是，在一些实施方式中，突出部分的宽度(即为了突出的目的在垂直于焦平面方向上的焦平面的延伸)可以是固定值或者用户可配置的值。在其他实施方式中，该值可以随着距相机的距离的增加而增加，从而类似于相机的传统镜头的行为，其中景深(即聚焦区域)的延伸随着距离增加而增加。

在其他实施方式中，突出可以例如包括与所选择的焦平面相关的图像的元素的闪烁，通过标记在屏幕上像虚线这样的元素或者标记适用于从其他平面可辨别地标记所选择的焦平面的其他任何突出来进行标记。

需要注意的是，在一些实施方式中，可以省略景深的选择。在另一些实施方式中，在选择焦平面之前可以额外地或另选地选择景深。在另一些实施方式中，可以按照以上描述的方式可以选择多于一个的焦平面。

在另一些实施方式中，可以使用来自除了光场相机或其他计算相机之外的其他源的图像。例如，参照图2中21-25所描述的动作可以采用任何图像或任何多幅图像来执行，对于这些图像提供了像深度地图(即描述了图像的各个部分距特定视点的距离的信息)这样的深度信息。这些动作然后可以在例如图中示出的处理单元14中实施，并且图像和深度信息可以以任何期望的方式(例如在数据载体上或经由网络)传递。

这些图像可以例如包括采用传统相机记录的图像，例如采用导致大景深的光圈捕获的图像。可以使用深度扫描装置(例如红外激光扫描器)来额外地提供深度信息。在一些实施方式中，然后在景深内可以选择焦平面，并且在焦平面以外的图像部分通过图像处理可以被人为地模糊。在其他实施方式中，可以提供具有不同焦平面的多幅图像，于是以上述方式选择焦平面可以最终导致选择这些图像中的一幅。在这种情况下的深度信息可以由不同图像的不同焦距来表示。

因此，上述实施方式不应被解释为限制，而仅作为例示性示例。

Claims (12)

1.一种方法，所述方法包括以下步骤：

提供至少一幅图像，

针对所述至少一幅图像提供深度信息，

显示所述至少一幅图像中的图像，

选择焦平面，以及

在所显示的图像中突出选择的焦平面。

2.根据权利要求1所述的方法，其中，突出所述选择的焦平面的步骤包括在所述显示的图像中对所述选择的焦平面进行上色。

3.根据权利要求1或2所述的方法，其中，基于所述用户输入选择所述焦平面。

4.根据权利要求3所述的方法，所述方法还包括提供滑块，以使得用户能够选择所述焦平面。

5.根据权利要求1-4中任一项权利要求所述的方法，所述方法还包括基于所述至少一幅图像来生成具有所选择的焦平面的最终图像。

6.根据权利要求5所述的方法，所述方法还包括针对所述最终图像选择景深。

7.根据权利要求6所述的方法，所述方法还包括基于所述景深的选择来生成所述最终图像。

8.根据权利要求1-7中任意一项权利要求所述的方法，其中，提供至少一幅图像以及针对所述至少一幅图像提供深度信息的步骤包括采用光场相机捕获图像。

9.一种装置，所述装置包括：

用户输入端，其使得用户能够针对图像选择焦平面，以及

显示器，其被构造为显示其中选择的焦平面被突出的图像。

10.根据权利要求9所述的装置，其中，所述显示器包括触摸屏，并且其中，所述用户界面包括在所述触摸屏上的滑块。

11.根据权利要求9或10所述的装置，所述装置还包括用于捕获所述图像的光场相机。

12.根据权利要求9-11中任意一项权利要求所述的装置，其中，所述计算相机装置被构造为执行根据权利要求1-8中任意一项所述的方法。