CN105872389B - 图像处理装置、摄像装置及控制方法 - Google Patents

Abstract

本发明提供图像处理装置、摄像装置及控制方法。所述图像处理装置获得由所述摄像装置拍摄的、各像素对应于光瞳区域和入射方向的不同组合的光束的图像信号，其中在所述摄像装置的摄像光学系统中所述光束穿过了所述光瞳区域。所述图像处理装置设置与要聚焦的被摄体相对应的焦距，并由所述图像信号来生成在所设置的焦距的被摄体上聚焦的重构图像。所述图像处理装置通过连结与多个不同焦距相关联地生成的多个重构图像，来生成运动图像，并且与所述图像信号相关联地输出所述运动图像。

Description

图像处理装置、摄像装置及控制方法

本申请是申请日为2013年02月18日、申请号为201310052302.9、发明名称为“图像处理装置、摄像装置及控制方法”的发明专利申请的分案申请。

技术领域

本发明涉及图像处理装置、摄像装置及控制方法，并且特别涉及用于在摄像后由图像信号生成以任意焦距聚焦的图像的技术。

背景技术

近年来，提出了如下的技术，即在诸如数字照相机等的摄像装置中，在摄像时将光的强度分布及行进方向记录为输出数据，并在记录之后，由输出数据生成以任意焦距聚焦的图像。

Ren Ng,et al.,"Light Field Photography with a Hand-Held PlenopticCamera",Stanford University Computer Science Tech Report CTSR 2005-02公开了如下的方法(光场摄影)，即通过将穿过了摄像透镜的不同光瞳区域的光束，经由微透镜阵列聚焦在摄像元件的各像素(光电转换器)上，来分别记录从各个方向入射的光束。在以这种方式获得的光场数据(LF数据)中，相邻像素记录从不同方向入射的光束，并且从与各微透镜相关联的像素中，提取同一方向上的光束，从而生成从该方向拍摄的图像。设置任意焦距，并且对来自记录穿过了该焦距的聚焦面上的一点的光束的像素的输出进行相加，从而在摄像后，伪生成(重构)以特定焦距聚焦的图像的像素。

在如上所述设置焦距、并生成以该焦距聚焦的重构图像之前，不能在使得用户能够识别被摄体的内容的状态下，来浏览利用Ren Ng的方法记录的LF数据。例如，通过针对各LF数据生成要以一个焦距聚焦的缩略图像，用户可以选择拍摄了期望场景的LF数据。

然而，在由LF数据生成的、以一个焦距聚焦的此类缩略图像中，由于以不同于该焦距的焦距聚焦的被摄体的图像是模糊的，因此，用户不能识别被摄体。换言之，用户不能指定拍摄了包括所需被摄体的场景的LF数据。

发明内容

本发明是鉴于上述传统问题而做出的。本发明提供图像处理装置、摄像装置及控制方法，其显示使得用户能够指定被记录了图像信号的场景中包括的被摄体。

本发明在第一方面提供了一种图像处理装置，该图像处理装置包括：获得单元，被构造为获得由摄像装置拍摄的、各像素对应于光瞳区域和入射方向的不同组合的光束的图像信号，其中在所述摄像装置的摄像光学系统中所述光束穿过了所述光瞳区域；设置单元，被构造为与由所述获得单元获得的所述图像信号生成的重构图像相关联地，设置与要聚焦的被摄体相对应的焦距；生成单元，被构造为通过将与所述重构图像的各像素相对应的所述图像信号的像素值相加，来生成以所述设置单元设置的焦距聚焦的所述重构图像；以及输出单元，被构造为通过将由所述生成单元与多个不同焦距相关联地生成的多个重构图像作为帧来连结(concatenate)，以生成运动图像并输出所述运动图像。

本发明在第二方面提供了一种摄像装置，该摄像装置包括：摄像单元，被构造为通过摄像来输出各像素对应于光瞳区域和入射方向的不同组合的光束的图像信号，其中在摄像光学系统中所述光束穿过了所述光瞳区域；设置单元，被构造为与从所述摄像单元输出的所述图像信号生成的重构图像相关联地，设置与要聚焦的被摄体相对应的焦距；生成单元，被构造为通过将与所述重构图像的各像素相对应的所述图像信号的像素值相加，来生成以所述设置单元设置的焦距聚焦的所述重构图像；以及记录单元，被构造为通过将由所述生成单元与多个不同焦距相关联地生成的多个重构图像作为帧来连结，以生成运动图像，并且将所述运动图像与所述图像信号相关联地进行记录。

本发明在第三方面提供了一种图像处理装置的控制方法，该控制方法包括：获得步骤，控制所述图像处理装置的获得单元获得由摄像装置拍摄的、各像素对应于光瞳区域和入射方向的不同组合的光束的图像信号，其中在所述摄像装置的摄像光学系统中所述光束穿过了所述光瞳区域；设置步骤，控制所述图像处理装置的设置单元与在所述获得步骤中获得的所述图像信号生成的重构图像相关联地，设置与要聚焦的被摄体相对应的焦距；生成步骤，控制所述图像处理装置的生成单元通过将与所述重构图像的各像素相对应的所述图像信号的像素值相加，来生成以在所述设置步骤中设置的焦距聚焦的所述重构图像；以及输出步骤，控制所述图像处理装置的输出单元通过将在所述生成步骤中与多个不同焦距相关联地生成的多个重构图像作为帧来连结，以生成运动图像和输出所述运动图像。

本发明在第四方面提供了一种摄像装置的控制方法，该控制方法包括：摄像步骤，控制所述摄像装置的摄像单元通过摄像来输出各像素对应于光瞳区域和入射方向的不同组合的光束的图像信号，其中在摄像光学系统中所述光束穿过了所述光瞳区域；设置步骤，控制所述摄像装置的设置单元与在所述摄像步骤中输出的所述图像信号生成的重构图像相关联地，设置与要聚焦的被摄体相对应的焦距；生成步骤，控制所述摄像装置的生成单元通过将与所述重构图像的各像素相对应的所述图像信号的像素值相加，来生成以在所述设置步骤中设置的焦距聚焦的所述重构图像；以及记录步骤，控制所述摄像装置的记录单元通过将在所述生成步骤中与多个不同焦距相关联地生成的多个重构图像作为帧来连结，以生成运动图像，并且将所述运动图像与所述图像信号相关联地进行记录。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出根据本发明的实施例的数字照相机100的功能结构的框图；

图2是用于说明根据本发明的实施例的微透镜阵列105与摄像元件的光电转换器之间的关系的图；

图3是用于说明根据本发明的实施例的微透镜阵列105与摄像元件的光电转换器之间的关系的另一图；

图4A及图4B是用于说明根据本发明的实施例的摄像透镜的光瞳区域与对应于一个微透镜的光电转换器之间的关系的图；

图5是示出根据本发明的实施例的摄像处理的示例的流程图；

图6是用于说明入射到根据本发明的实施例的摄像元件的各光电转换器的光束的光路的图；

图7是用于说明根据本发明的实施例的重聚焦图像生成方法的图；

图8是用于说明根据本发明的实施例的、由LF数据生成的运动图像的图；

图9是示出根据本发明的实施例的列表显示处理的示例的流程图；

图10是示出根据本发明的实施例的列表显示画面的示例的图；

图11是示出根据本发明的变型例的摄像处理的示例的流程图；

图12是用于说明根据本发明的变型例的、由LF数据生成的运动图像的图；以及

图13A、图13B及图13C是示出根据本发明的变型例的光学系统的示例的图。

具体实施方式

[实施例]

在下文中，将参照附图来详细描述本发明的示例性实施例。请注意，在下文中要描述的实施例将说明如下的示例，在该示例中，将本发明应用于作为图像处理装置的示例的、记录如下LF数据的数字照相机，所述LF数据使得能够在摄像后，生成改变了焦距的重构图像。然而，本发明适用于能够生成如下LF数据的任意装置，所述LF数据使得能够在摄像后生成以任意焦距聚焦的重构图像，并且，本发明适用于能够由LF数据生成以任意焦距聚焦的重构图像的任意装置。

在本说明书中，“LF数据”表示通过利用微透镜阵列摄像而获得的图像数据，所述微透镜阵列的各微透镜被分配了摄像元件的多个光电转换器，如后所述。被分配给一个微透镜的多个光电转换器各自接收穿过了摄像光学系统的出射光瞳的不同区域的光束。换言之，在LF数据中，在对应于被分配给一个微透镜的光电转换器的输出的像素中，相邻像素的图像是不连续的。为此，通过对该实施例的LF数据，应用用于在摄像后生成以预定焦距聚焦的图像的处理，而将相邻像素的图像转换为连续图像。在本说明书中，把在摄像后决定焦距、并由LF数据生成以该焦距聚焦的图像的处理表述为“重聚焦”或“重构”。

<数字照相机100的结构>

图1是示出根据本发明的实施例的数字照相机100的功能结构的框图。

控制器101是例如控制数字照相机100中包括的各块的操作的CPU。具体而言，控制器101通过读出存储在ROM 102中的、摄像处理及列表显示处理(稍后描述)的操作程序，将读出的程序展开到RAM 103上，并执行展开的程序，来控制各块的操作。

ROM 102是例如可重写的非易失性存储器，并且除了存储数字照相机100中包括的各块的操作程序之外，还存储各块的操作所需的参数等。

RAM 103是易失性存储器。RAM 103不仅用作数字照相机100中包括的各块的操作程序的展开区域，而且用作存储在各块的操作期间输出的中间数据等的存储区域。

摄像单元106例如是诸如CCD或CMOS传感器等的摄像元件。在接收到根据控制器101的指令而从TG 107输出的定时信号时，摄像单元106光电转换由摄像光学系统104在摄像元件的光电转换器表面上形成的光学图像，并输出模拟图像信号。请注意，摄像光学系统104包括例如物镜、聚焦透镜及光阑等。此外，该实施例的数字照相机100除了摄像元件的各光电转换器配设的微透镜之外，还包括光轴上的摄像光学系统104与摄像元件之间的微透镜阵列105。

(微透镜与光电转换器之间的关系)

下面，将利用附图，来描述在该实施例的数字照相机100中光轴上的摄像光学系统104与摄像元件之间布置的微透镜阵列105。

如图2所示，该实施例的微透镜阵列105包括多个微透镜201。在图2中，摄像光学系统104的光轴被定义为z轴，数字照相机100的横向位置的水平方向被定义为x轴，垂直方向被定义为y轴。请注意，在图2的示例中，为了简单起见，下面的描述将假定微透镜阵列105包括以5行×5列排列的微透镜201。然而，微透镜阵列105的结构不局限于此。

图2用网格例示了包括在摄像单元106中的摄像元件的光电转换器202。预定数量的光电转换器202与各微透镜201相关联。在图2的示例中，36(＝6×6)像素的光电转换器202与一个微透镜201相关联。穿过了一个微透镜201的光束根据入射方向而被分离，并在相应的光电转换器202上形成图像。

图3示出了入射到与一个微透镜201相对应的光电转换器202p1至p6的光束。图3例示了当从数字照相机100的横向位置的垂直方向观察时入射到各光电转换器202的光束的光路。如图3所示，穿过了区域a1至a6的光束经由一个微透镜201，分别入射到水平排列的光电转换器202p1至p6，其中，通过将摄像光学系统104的出射光瞳301划分为六部分而获得所述区域a1至a6。请注意，被赋予各区域的数字，表示与穿过了这些区域的光束所入射到的光电转换器202的对应关系。

请注意，图3的示例示出了当从垂直方向观察时入射于光电转换器202的光束的光路。然而，光束不仅在水平方向上被分离，而且同样地沿作为摄像光学系统104的光轴的y轴被分离。换言之，当摄像光学系统104的出射光瞳被划分为在从摄像元件侧观察时图4A中所示的区域时，穿过了各区域的光束入射于图4B中所示的光电转换器202中的、被赋予同一标识数字的光电转换器。假定摄像光学系统104和微透镜阵列105的各微透镜具有基本相同的F数(F值)。

AFE 108及DFE 109对由摄像单元106生成的图像信号应用校正处理等。具体而言，AFE 108对从摄像单元106输出的模拟图像信号，应用基准电平调整(箝位处理)及A/D转换处理，并将数字图像信号(LF数据)输出至DFE 109。DFE 109校正输入LF数据的轻微的基准电平偏移等。

图像处理器110对经历了DFE 109的校正处理的LF数据，应用诸如颜色转换、白平衡调整及γ校正处理等的各种图像处理。各种图像处理可以依照例如数字照相机100中设置的摄像模式而不同。另外，在该实施例中，图像处理器110还执行如下的处理，即由LF数据生成以任意焦距聚焦的重构图像(重聚焦图像)。可以利用例如上述由Ren Ng公开的“光场摄影”方法，来生成以任意焦距聚焦的图像。

显示单元111例如是在数字照相机100中包括的诸如小型LCD等的显示设备。显示单元111显示由图像处理器110生成的、以任意焦距聚焦的图像。如上所述，在通过对从该实施例的摄像单元106输出的模拟图像信号进行A/D转换而获得的LF数据中，相邻像素中的图像不是连结的。为此，显示单元111不显示LF数据，而是显示由图像处理器110生成的重构图像。

记录介质112是例如数字照相机100中包括的内部存储器，或是可拆卸地连接到数字照相机100的诸如存储卡或HDD等的记录设备。记录介质112记录LF数据，并记录用来确认被摄体的运动图像，所述被摄体的图像与各LF数据相关联，并由该LF数据生成。

操作输入单元113例如是诸如电源按钮及快门按钮等的包括在数字照相机100中的用户接口。在检测到用户在用户接口的操作时，操作输入单元113将与该操作相对应的控制信号输出至控制器101。

<摄像处理>

下面，将参照图5中所示的流程图，来详细描述具有前述结构的该实施例的数字照相机100的摄像处理。当控制器101读出存储在例如ROM 102中的相应处理程序、将读出的程序展开到RAM 103上并且执行展开的程序时，能够实现与该流程图相对应的处理。请注意，下面的描述将假定例如当数字照相机100被启动时，开始该摄像处理。

在步骤S501中，控制器101判断是否输入了摄像指令。具体而言，控制器101通过判断是否从操作输入单元113接收到表示用户对快门按钮(未示出)的操作的控制信号，来判断是否输入了摄像指令。如果控制器101判断输入了摄像指令，则控制器101使处理转到步骤S502；否则，控制器101重复该步骤的处理。

在步骤S502中，控制器101执行摄像处理，并获得与从摄像单元106输出的图像信号相关联的LF数据。具体而言，控制器101获得由AFE 108进行了A/D转换、并由DFE 109应用了校正处理的LF数据，并且将该LF数据存储在RAM 103中。

在步骤S503中，控制器101把用来生成重聚焦图像的目标焦距，设置为最短焦距，即在最近景的被摄体上聚焦的焦距。

在步骤S504中，控制器101控制图像处理器110生成以设置的目标焦距聚焦的重聚焦图像。换言之，图像处理器110伪生成(重构)在如下重聚焦面上形成的图像，所述重聚焦面在摄像光学系统104的摄像透镜与微透镜阵列105之间并且是根据设置的目标焦距而决定的。

下面，将参照附图，来描述穿过了在重聚焦面上形成的图像的各像素的光束出射自的摄像透镜的光瞳区域与该光束入射到的微透镜之间的关系。

在该实施例的数字照相机100中，如上所述，被分配给一个微透镜的多个像素分别接收穿过了摄像透镜的出射光瞳的不同区域的光束。这同样适用于微透镜阵列105的所有微透镜。另外，由于穿过了摄像透镜的光束从不同方向入射到各微透镜，因此，摄像元件的所有像素接收如下的光束，这些光束具有各穿过的光瞳区域和入射方向的不同组合。

为此，在该实施例的数字照相机100中，通过出射光瞳中的穿过的光瞳区域的坐标(u,v)以及相应微透镜的位置坐标(x',y')，来定义入射到通过摄像获得的LF数据的各像素的光束的光路，如图6所示。在重聚焦图像的生成时，针对重聚焦面上的像素(x,y)，对具有穿过该像素的光路的光束进行积分，能够获得像素值。

图7示出了当从数字照相机100的横向位置的垂直方向观察时水平面(x-z平面)上的光束的光路。下面的描述将与x-z平面上穿过重聚焦面上的各像素的光束的光路相关。另外，这同样适用于y-z平面。

令(u,v)为光瞳区域的坐标，(x,y)为重聚焦面上的像素坐标，则穿过了该光瞳划分区域以及重聚焦面上的像素的光束入射到的微透镜阵列105上的微透镜的位置坐标(x',y')表示如下：

其中，F是从摄像透镜到微透镜阵列的距离，αF是从摄像透镜到重聚焦面的距离(α为重聚焦系数：决定到重聚焦面的距离所需的可变系数)。

此外，令L(x',y',u,v)为接收光束的光电转换器的输出，则通过关于摄像透镜的光瞳区域对输出L(x',y',u,v)进行积分，来获得在重聚焦面上形成的图像的坐标(x,y)处的像素输出E(x,y)，并且该像素输出E(x,y)表示如下：

请注意，当将坐标(u,v)设置为光瞳区域的代表坐标时，能够通过简单的加法来计算该等式。

通过以这种方式针对所有像素计算该积分等式，图像处理器110能够生成以目标焦距聚焦的静止图像。控制器101将生成的静止图像存储在RAM 103中。

在步骤S505中，控制器101判断设置的目标焦距是否为重聚焦范围的最长焦距，即在最远景的被摄体上聚焦的焦距。如果控制器101判断目标焦距是重聚焦范围的最长焦距，则控制器101使处理转到步骤S507；否则，控制器101使处理转到步骤S506。

在步骤S506中，控制器101把用来生成重聚焦图像的目标焦距，设置为比当前设置的焦距长的焦距，并使处理返回到步骤S504。请注意，新设置的目标焦距可以是通过将当前设置的焦距与预定长度相加而获得的焦距。

在步骤S507中，控制器101控制图像处理器110，以通过连结针对多个不同焦距生成的多个重聚焦图像来生成与LF数据相对应的运动图像。在该实施例中，如图8所示，图像处理器110通过将在依次设置包括在聚焦范围中的焦距的同时生成的N个重聚焦图像按照要聚焦的焦距的升序连结，来生成N帧的运动图像。换言之，要生成的运动图像包括要依次对如下被摄体聚焦的帧，这些被摄体是包括在对获得的LF数据可设置的焦距的范围中的全部被摄体。

此外，要生成的运动图像由图像处理器110根据预定编码方法(例如，诸如MPEG、H.264、H.265、HEVC(高效率视频编码)等的标准)进行编码，并被生成为通用的运动图像数据。

在步骤S508中，控制器101把在步骤S502中获得的LF数据和在步骤S507中生成的运动图像相互关联地记录在记录介质112中，从而结束该摄像处理。请注意，LF数据及运动图像可以被记录为例如独立的文件，并且各LF数据的头信息可以包括运动图像的存储目的地信息。此外，运动图像可以被记录为例如各LF数据的头信息中的缩略图像。

<列表显示处理>

下面，将参照图9中所示的流程图，来详细描述当将记录在记录介质112中的LF数据显示为列表时执行的、该实施例的数字照相机100的列表显示处理。当控制器101读出存储在例如ROM 102中的相应处理程序、将读出的程序展开到RAM 103上并且执行展开的程序时，能够实现与该流程图相对应的处理。请注意，下面的描述将假定例如当数字照相机100在被设置于重放模式的同时被启动时，开始该列表显示处理。

在步骤S901中，控制器101设置在记录于记录介质112中的LF数据中、要在显示单元111上显示为列表的LF数据。在该实施例中，假定在显示单元111上的列表画面上显示记录在记录介质112中的LF数据中的6个数据1001、1002、1003、1004、1005及1006，如图10所示。

在步骤S902中，控制器101把与要显示为列表的各LF数据相关联地记录的运动图像，从记录介质112中读出到RAM 103上。

在步骤S903中，控制器101针对被读出到RAM 103上的各运动图像，设置要在列表画面上显示的重放帧。具体而言，控制器101在第一次设置帧时，将第一帧设置为重放帧，并且在已经设置了帧时，将下一帧设置为重放帧。请注意，当已经设置的帧是该运动图像的最后一帧时，控制器101可以将例如该运动图像的第一帧设置为重放帧。

在步骤S904中，控制器101对被读出到RAM 103上的各运动图像应用解码处理，以获得在步骤S903中设置的重放帧的图像。

在步骤S905中，控制器101控制图像处理器110，以向各运动图像的重放帧的图像应用缩小处理，并将这些图像在显示单元111上显示为列表画面。

在步骤S906中，控制器101判断是否输入了要显示为列表的LF数据的切换指令。具体而言，控制器101通过判断是否从操作输入单元113接收到表示例如用户对与页给送指令相对应的按钮的操作的控制信号，来判断是否输入了切换指令。如果控制器101判断输入了要显示为列表的LF数据的切换指令，则控制器101使处理返回到步骤S901；否则，控制器101使处理返回到步骤S903。

假定当数字照相机100的模式从重放模式被改变时，或者当一个LF数据的选择指令被输入时，该列表显示处理结束。

如上所述，该实施例的图像处理装置能够显示如下的信息，该信息使得用户能够指定包括在被记录了LF数据的场景中的被摄体。

[变型例]

在上述实施例的描述中，生成如下的运动图像，在该运动图像中，要聚焦的焦距在可设置焦距范围内被连续切换。然而，本发明不局限于此类特定实施例。下面，该变型例将说明生成如下运动图像的方法，所述运动图像使得用户能够容易地识别包括在被记录了LF数据的场景中的特定被摄体。

<数字照相机100的结构>

该变型例的数字照相机100的结构与上述实施例的区别，仅在于该变型例的数字照相机100还包括下述的脸部检测器114，在此将不再重复其他块的描述。

脸部检测器114将用于将人脸作为特定被摄体进行检测的脸部检测处理，应用于由LF数据生成的重聚焦图像。脸部检测器114利用检测人脸所需的预存储脸部图案，来判断重聚焦图像是否包括人脸。请注意，该变型例的以下描述将假定检测人脸。然而，特定被摄体不局限于此。例如，可以检测人体或者预先登记的被摄体。

<摄像处理>

下面，将参照图11中所示的流程图，来详细描述该变型例的数字照相机100的摄像处理。当控制器101读出存储在例如ROM 102中的相应处理程序、将读出的程序展开到RAM103上并且执行展开的程序时，能够实现与该流程图相对应的处理。请注意，下面的描述将假定例如当数字照相机100被启动时，开始该摄像处理。另外，在该变型例的摄像处理中，利用与上述实施例的摄像处理中相同的步骤编号，来表示与上述实施例的摄像处理中相同的处理，在此将不再重复描述。下面，将仅描述该变型例的摄像处理中的特征处理的步骤。

在步骤S504中生成以目标焦距聚焦的重聚焦图像之后，在步骤S1101中，控制器101控制脸部检测器114，以将用于检测人脸的脸部检测处理应用于生成的重聚焦图像，并且，控制器101判断是否包括人脸。如果控制器101判断重聚焦图像包括人脸，则控制器101使处理转到步骤S1102；否则，控制器101使处理转到步骤S505。

在步骤S1102中，控制器101将生成的重聚焦图像的标识信息(例如，表示从最近景起焦点位置的顺序编号的信息)，添加至存储在RAM 103中的、检测出人脸的重聚焦图像的列表。请注意，该变型例的以下描述将假定通过将标识信息添加至检测出人脸的重聚焦图像的列表，来保持脸部检测结果。然而，存储表示是否检测到人脸的信息的方法不局限于此。换言之，作为表示是否从重聚焦图像中检测到人脸的信息，例如，可以将表示检测到脸部的信息与重聚焦图像相关联，这是容易预想的。

在通过以这种方式依次选择目标焦距、而针对整个重聚焦范围完成重聚焦图像的生成之后，控制器101使处理进入到步骤S1103。

在步骤S1103中，控制器101控制图像处理器110，以通过连结针对多个不同焦距生成的多个重聚焦图像，来生成与LF数据相对应的运动图像。此时，图像处理器110参照存储在RAM 103中的、检测出人脸的重聚焦图像的列表，并生成运动图像，以连续包括检测出脸部的多个重聚焦图像。换言之，正如例如图12中所示，图像处理器110以60FPS的重放帧速率来生成运动图像，以连续包括检测出脸部的重聚焦图像的4个帧。换言之，以这种方式生成的运动图像使得能够以15FPS的重放帧速率，来重放包括作为特定被摄体的人脸的焦点位置的重聚焦图像。

这样，该变型例的数字照相机100能够生成如下的运动图像，该运动图像使得用户能够容易地识别包括在被记录了输出LF数据的场景中的特定被摄体。

请注意，在上述实施例及变型例的描述中，在针对LF数据生成的运动图像中，对焦被摄体按焦距的升序转变。然而，本发明不局限于此。在运动图像中，例如，对焦被摄体可以按焦距的降序转变。另外，在运动图像中，对焦被摄体可以仅在可设置焦距范围的一部分(例如，仅人的检测范围)内根据焦距转变。在这种情况下，可以由用户设置用来生成运动图像的焦距范围，以及焦距的转变顺序。

下面，将参照图13A、图13B及图13C，来描述适用于该实施例的光学系统的另一示例。图13A、图13B及图13C是例示来自被摄体的光束聚焦于摄像元件106上的状态的图。在图13A、图13B及图13C中，与图1及图3中相同的附图标记表示与图1及图3中相同的部分。

图13A、图13B及图13C对应于利用图3描述的光学系统。然而，在摄像元件106中，要分配给微透镜阵列105中的一个微透镜的像素数量是25(＝5×5)，并且，在垂直方向上用5个光瞳区域b1、b2、b3、b4及b5来表现出射光瞳301。图13A示出了将微透镜阵列105布置在摄像光学系统104的成像面附近的示例。图13B示出了将微透镜阵列105布置为与摄像光学系统104的成像面相比、更为靠近被摄体侧的示例。图13C示出了将微透镜阵列105布置在与摄像光学系统104的成像面相比、更为远离被摄体的一侧的示例。

参照图13A、图13B及图13C，附图标记106表示摄像元件；105表示微透镜阵列；b1、b2、b3、b4及b5表示光瞳区域；1301表示被摄体面；1301a及1301b表示被摄体上的适当点；并且1302表示摄像光学系统的光瞳面。此外，附图标记201e、201f、201g、201h、201i、201j、201k、201l及201m分别表示微透镜阵列105上的特定微透镜。在图13B及图13C中，附图标记106a表示假想摄像元件；并且105a表示假想微透镜阵列。假想摄像元件106a及假想微透镜阵列105a被示出作为参考，以阐明与图13A的对应关系。从点1301a发出并穿过光瞳面上的区域b1及b3的光束被例示为实线，从点1301b发出并穿过光瞳面上的区域b1及b3的光束被例示为虚线。

在图13A的示例中，由于微透镜阵列105被布置在摄像光学系统104的成像面附近，因此，摄像元件106和摄像光学系统的光瞳面1302具有共轭关系。此外，被摄体面1301和微透镜阵列105具有共轭关系。为此，从被摄体上的点1301a发出的光束到达微透镜201e，从点1301b发出的光束到达微透镜201f，并且，分别穿过了区域b1至b5的光束分别到达布置在微透镜下面的相应像素。

在图13B的示例中，由微透镜阵列105使来自摄像光学系统104的光束成像，并且，将摄像元件106布置在该成像面上。通过这种布局，被摄体面1301和摄像元件106具有共轭关系。从被摄体上的点1301a发出并穿过光瞳面上的区域b1的光束到达微透镜201g，从被摄体上的点1301a发出并穿过光瞳面上的区域b3的光束到达微透镜201h。从被摄体上的点1301b发出并穿过光瞳面上的区域b1的光束到达微透镜201h，从被摄体上的点1301b发出并穿过光瞳面上的区域b3的光束到达微透镜201i。穿过了各微透镜的光束到达布置在微透镜下面的相应像素。这样，依据被摄体上的点以及光瞳面上的穿过区域，光束在不同的位置成像。当在假想摄像元件106a上的位置上重新排列这些信息时，能够获得与图13A中相同的信息(重构图像)。换言之，能够获得穿过的光瞳区域(入射角度)以及摄像元件上的位置的信息。

在图13C的示例中，由微透镜阵列105使来自摄像光学系统104的光束重新成像(由于已经一度成像的发散光束被再次成像，因此这种处理称为“重新成像”)，并且，将摄像元件106布置在该成像面上。通过这种布局，被摄体面1301和摄像元件106具有共轭关系。从被摄体上的点1301a发出并穿过光瞳面上的区域b1的光束到达微透镜201k，从被摄体上的点1301a发出并穿过光瞳面上的区域b3的光束到达微透镜201j。从被摄体上的点1301b发出并穿过光瞳面上的区域b1的光束到达微透镜201m，从被摄体上的点1301b发出并穿过光瞳面上的区域b3的光束到达微透镜201l。穿过了各微透镜的光束到达布置在微透镜下面的相应像素。如同在图13B中一样，当在假想摄像元件106a上的位置上重新排列这些信息时，能够获得与图13A中相同的信息(重构图像)。换言之，能够获得穿过的光瞳区域(入射角度)以及摄像元件上的位置的信息。

请注意，图13A至图13C示出了能够利用微透镜阵列(相位调制元件)作为光瞳划分单元来获得位置信息及角度信息的示例。然而，也可以使用其他光学结构，只能能够获得位置信息及角度信息(相当于光瞳的穿过区域的限制)即可。例如，能够使用将具有适当图案的掩模(增益调制元件)插入到摄像光学系统的光路中的方法。

此外，作为由LF数据获得任意焦距的图像的方法，例如，可以应用日本专利特开2011-22796号公报中公开的方法。具体而言，利用通过将多个照相机以网格状布置在二维平面上而准备的多眼照相机，来获得从至少两个不同视点拍摄的图像，并且，对所获得的多个图像进行处理，以获得任意焦距的图像。

其他实施例

本发明的各方面还能够通过读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机(或诸如CPU或MPU等的设备)来实现，并能够利用由通过例如读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机来执行各步骤的方法来实现。为此，例如经由网络或从充当存储设备的各种类型的记录介质(例如，计算机可读介质)将程序提供给计算机。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使所述范围涵盖所有的此类变型例以及等同结构和功能。

Claims (33)

1.一种图像处理装置，所述图像处理装置包括：

获得单元，其用于获得从不同视点拍摄的多个图像信号；

设置单元，其用于与要由所述获得单元获得的所述多个图像信号生成的重构图像相关联地设置聚焦面；

生成单元，其用于通过将图像信号的像素值相加，来生成在所述设置单元设置的所述聚焦面处聚焦的所述重构图像，其中所述像素值与要在所述聚焦面处重构的图像的各像素相对应；以及

输出单元，其用于生成包括由所述生成单元与多个不同聚焦面相关联地生成的多个重构图像作为帧的连结图像，并输出所述连结图像。

2.根据权利要求1所述的图像处理装置，所述图像处理装置还包括信号处理单元，所述信号处理单元用于对由所述获得单元获得的所述多个图像信号，应用箝位处理、A/D转换处理以及基准电平调整处理当中的至少一个图像处理，

所述生成单元通过使用所述信号处理单元将所述图像处理应用于的所述多个图像信号，来生成所述重构图像。

3.根据权利要求1所述的图像处理装置，所述图像处理装置还包括信号处理单元，所述信号处理单元用于对由所述获得单元获得的所述多个图像信号，应用颜色转换处理、白平衡调整处理以及伽玛校正处理当中的至少一个图像处理。

4.根据权利要求1所述的图像处理装置，其中，所述输出单元生成包括按照从摄像装置到被摄体的长度顺序与所述多个不同聚焦面相关联地生成的所述多个重构图像的所述连结图像，其中从所述摄像装置到被摄体的长度对应于所述聚焦面。

5.根据权利要求1所述的图像处理装置，所述图像处理装置还包括检测单元，所述检测单元用于从所述生成单元生成的所述重构图像中，检测特定被摄体，

其中，所述设置单元基于所述检测单元的检测结果，设置所述聚焦面。

6.根据权利要求5所述的图像处理装置，其中，所述输出单元将表示检测出所述特定被摄体的信息，关联到所述连结图像的多个帧当中的、由所述检测单元检测出所述特定被摄体的帧。

7.根据权利要求1所述的图像处理装置，所述图像处理装置还包括检测单元，所述检测单元用于从所述生成单元生成的所述重构图像中，检测特定被摄体，

其中，所述输出单元通过连续包括与所述多个不同聚焦面相关联地生成的所述多个重构图像之中的、由所述检测单元检测出所述特定被摄体的多个帧的图像，来生成所述连结图像。

8.根据权利要求1所述的图像处理装置，其中，所述输出单元与所述多个图像信号相关地输出所述连结图像。

9.根据权利要求1所述的图像处理装置，其中，所述输出单元通过使用预定编码方法对所述连结图像进行编码，来输出所述连结图像。

10.根据权利要求1所述的图像处理装置，其中，所述输出单元通过根据标准对所述连结图像进行编码，来输出所述连结图像。

11.根据权利要求10所述的图像处理装置，其中，所述标准为MPEG标准。

12.根据权利要求10所述的图像处理装置，其中，所述标准为HEVC标准或H.265标准。

13.根据权利要求1所述的图像处理装置，所述图像处理装置还包括记录单元，所述记录单元用于将所述连结图像作为文件形式，记录到记录介质中。

14.根据权利要求1所述的图像处理装置，其中，所述设置单元通过用户操作来设置所述聚焦面。

15.根据权利要求1所述的图像处理装置，其中，所述输出单元在所述设置单元的可设置范围的一部分内，生成各个帧的重构图像与聚焦面相关联的连结图像。

16.根据权利要求1所述的图像处理装置，其中，所述连结图像的各个帧，在所述设置单元的可设置范围的一部分内，与聚焦面相关联。

17.根据权利要求1所述的图像处理装置，其中，所述输出单元从所述设置单元的可设置范围中设置与用户操作相对应的部分范围，并且生成所述聚焦面在所述部分范围中改变的连结图像。

18.根据权利要求1所述的图像处理装置，其中，所述输出单元能够改变所述聚焦面在帧之间的变化量。

19.根据权利要求1所述的图像处理装置，其中，所述连结图像具有所述重构图像的多个帧组，其中所述聚焦面的变化量在所述帧组之间不同。

20.根据权利要求1所述的图像处理装置，其中，所述输出单元生成所述连结图像，使得所述连结图像包括作为连续帧的、针对相同聚焦面生成的重构图像。

21.根据权利要求1所述的图像处理装置，所述图像处理装置还包括显示单元，所述显示单元用于使用显示器，对作为与所述多个图像信号相对应的显示项目的所述连结图像，进行重放。

22.根据权利要求1所述的图像处理装置，所述图像处理装置还包括显示单元，所述显示单元用于使用显示器，对由所述获得单元获得的所述多个图像信号生成的连结图像与对应于其他多个图像信号的显示项目，进行重放。

23.根据权利要求1所述的图像处理装置，其中，所述多个图像信号是由摄像装置单次拍摄的信号。

24.根据权利要求1所述的图像处理装置，其中，所述多个图像信号对应于光场数据。

25.根据权利要求1所述的图像处理装置，其中，从摄像单元输出所述多个图像信号，在所述摄像单元中，多个光电转换器对应于所述摄像单元的各个微透镜。

26.根据权利要求1所述的图像处理装置，其中，从布置在二维平面上的多个摄像单元输出所述多个图像信号。

27.一种图像处理装置，所述图像处理装置包括：

获得单元，其用于获得数字信号，所述数字信号从摄像单元输出，在所述摄像单元中，多个光电转换器对应于所述摄像单元的各个微透镜；

设置单元，其用于与要由所述获得单元获得的所述数字信号生成的图像相关联地设置聚焦面；

生成单元，其用于通过将所述数字信号的像素值相加，来生成在所述设置单元设置的所述聚焦面处聚焦的图像，其中所述像素值与在所述聚焦面上的图像的各像素相对应；以及

输出单元，其用于生成包括由所述生成单元与多个不同聚焦面相关联地生成的多个图像作为帧的连结图像，并输出所述连结图像。

28.一种摄像装置，所述摄像装置包括：

摄像单元，其用于获得从不同视点拍摄的多个图像信号；

设置单元，其用于与要由所述摄像单元获得的所述多个图像信号生成的重构图像相关联地设置聚焦面；

生成单元，其用于通过将图像信号的像素值相加，来生成在所述设置单元设置的所述聚焦面处聚焦的所述重构图像，其中所述像素值与要在所述聚焦面处重构的图像的各像素相对应；以及

记录单元，其用于生成包括由所述生成单元与多个不同聚焦面相关联地生成的多个重构图像作为帧的连结图像，并且将所述连结图像与所述多个图像信号相关联地进行记录。

29.一种摄像装置，所述摄像装置包括：

摄像单元，其用于获得由光电转换器拍摄的数字信号，其中多个光电转换器对应于所述摄像单元的各个微透镜；

设置单元，其用于与要由所述摄像单元获得的所述数字信号生成的图像相关联地设置聚焦面；

生成单元，其用于通过将所述数字信号的像素值相加，来生成在所述设置单元设置的所述聚焦面处聚焦的图像，其中所述像素值与在所述聚焦面上的图像的各像素相对应；以及

记录单元，其用于生成包括由所述生成单元与多个不同聚焦面相关联地生成的多个图像作为帧的连结图像，并且将所述连结图像与所述数字信号相关联地进行记录。

30.一种图像处理装置的控制方法，所述控制方法包括：

获得从不同视点拍摄的多个图像信号；

与要由所获得的多个图像信号生成的重构图像相关联地设置聚焦面；

通过将图像信号的像素值相加，来生成在所设置的聚焦面处聚焦的所述重构图像，其中所述像素值与要在所述聚焦面处重构的图像的各像素相对应；以及

生成包括与多个不同聚焦面相关联地生成的多个重构图像作为帧的连结图像，并输出所述连结图像。

31.一种图像处理装置的控制方法，所述控制方法包括：

获得数字信号，所述数字信号从摄像单元输出，在所述摄像单元中，多个光电转换器对应于所述摄像单元的各个微透镜；

与要由所获得的数字信号生成的图像相关联地设置聚焦面；

通过将所述数字信号的像素值相加，来生成在所设置的聚焦面处聚焦的图像，其中所述像素值与在所述聚焦面上的图像的各像素相对应；以及

生成包括与多个不同聚焦面相关联地生成的多个图像作为帧的连结图像，并输出所述连结图像。

32.一种摄像装置的控制方法，所述控制方法包括：

获得从不同视点拍摄的多个图像信号；

与要由所获得的多个图像信号生成的重构图像相关联地设置聚焦面；

通过将图像信号的像素值相加，来生成在所设置的聚焦面处聚焦的所述重构图像，其中所述像素值与要在所述聚焦面处重构的图像的各像素相对应；以及

生成包括与多个不同聚焦面相关联地生成的多个重构图像作为帧的连结图像，并且将所述连结图像与所述多个图像信号相关联地进行记录。

33.一种摄像装置的控制方法，所述控制方法包括：

获得数字信号，所述数字信号从摄像单元输出，在所述摄像单元中，多个光电转换器对应于所述摄像单元的各个微透镜；

与要由所获得的数字信号生成的图像相关联地设置聚焦面；

通过将所述数字信号的像素值相加，来生成在所设置的聚焦面处聚焦的图像，其中所述像素值与在所述聚焦面上的图像的各像素相对应；以及

生成包括与多个不同聚焦面相关联地生成的多个图像作为帧的连结图像，并且将所述连结图像与所述数字信号相关联地进行记录。