CN103051833A

CN103051833A - 摄像设备及其制造方法、图像处理装置及图像处理方法

Info

Publication number: CN103051833A
Application number: CN2012103882194A
Authority: CN
Inventors: 矢幡和浩
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-10-12
Filing date: 2012-10-12
Publication date: 2013-04-17
Anticipated expiration: 2032-10-12
Also published as: CN103051833B; EP2592823A2; EP2582128A2; US20130093842A1; EP2592823A3; KR101514502B1; EP2582128A3; KR20130039676A

Abstract

本发明提供摄像设备及其制造方法、图像处理装置及图像处理方法。如果在拍摄后改变图像的变焦倍率，则由于照相机的聚光能力的差异而无法在视角之间匹配亮度、噪声量及曝光时间。在多个摄像单元之中，具有第一视角的一个或多个摄像单元(130至161)的数量大于具有比所述第一视角更宽的视角的一个或多个摄像单元(101至105)的数量。此外，由具有第一视角的一个或多个摄像单元(130至161)总共接收的光量大致等于由具有第二视角的一个或多个摄像单元(101至105)总共接收的光量。

Description

摄像设备及其制造方法、图像处理装置及图像处理方法

技术领域

本发明涉及具有多个摄像单元的摄像设备。

背景技术

提出了在拍摄照片之后改变照片图像的聚焦、光圈、变焦倍率等的方法。例如，″High performance imaging using large camera arrays″，ACMTransactions on Graphics-Proceedings of ACM SIGGRAPH 2005中公开了如下技术：根据由包括深景较深的多个小型照相机的多镜头照相机拍摄的图像数据，来生成景深较浅的图像数据。

当在这种多镜头照相机中进行变焦处理时，最简单的方式是分别向各小型照相机提供变焦光学系统。然而，向各小型照相机提供变焦光学系统是非常昂贵的。另一方面，日本专利特开第2005-109623号公报公开了如下方法：通过使用包括分别具有不同视角的多个单焦点照相机的多镜头照相机并根据视角切换要使用的图像，来省略使用光学系统的变焦并且实现廉价的变焦处理。换句话说，根据日本专利特开第2005-109623号公报中的技术，具有不同视角的多个照相机可以被视为单个变焦照相机。

然而，事实证明，照相机的聚光能力针对各视角而不同。在该情况下，存在如下问题：在通过匹配曝光时间而不考虑视角来拍摄照片时，亮度或噪声量在各视角之间不同。此外，如果针对各视角改变曝光时间以匹配亮度，则存在如下问题：可能发生照相机抖动或运动抖动，或由于曝光时间不同而本来就无法在其他变焦中获取期望的照片，因此实际上在拍摄之后无法进行变焦处理。

发明内容

根据本发明的摄像设备具有多个摄像单元，并且在所述多个摄像单元中，具有第一视角的一个或多个摄像单元的数量大于具有比所述第一视角更宽的视角的一个或多个摄像单元的数量。

根据本发明，在针对拍摄后的照片图像改变变焦倍率时，能够减小对噪声量和曝光时间的敏感性。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1示出了本发明的第一实施例中的摄像设备的示例性外观；

图2是示出本发明的实施例中的摄像设备的示例性结构的框图；

图3是示出本发明的实施例中的摄像单元的示例性结构的框图；

图4是示出本发明的第一实施例中的示例性摄像操作的流程图；

图5是示出本发明的第一实施例中的在拍摄后改变变焦的示例性处理的流程图；

图6A和图6B是本发明的第一实施例中的图像合成的概念的说明图；

图7示出了本发明的第一实施例中的示例性图像合成；

图8示出了本发明的第二实施例中的摄像设备的示例性外观；

图9是示出本发明的第二实施例中的在改变摄像单元的设置时的示例性操作的流程图；

图10示出了本发明的第二实施例中的摄像参数计算处理的示例性数据流；

图11示出了本发明的第三实施例中的摄像设备的示例性外观；

图12示出了本发明的第三实施例中的各摄像单元的视角与输出图像视角之间的示例性关系；

图13示出了本发明的第四实施例中的摄像设备的示例性外观；

图14是示出本发明的第四实施例中的摄像设备的示例性结构的框图；

图15是示出本发明的第四实施例中的摄像单元的示例性结构的框图；

图16是示出本发明的第四实施例中的示例性摄像操作的流程图；

图17是示出本发明的第四实施例中的在拍摄后改变变焦的示例性处理的流程图；

图18A至图18C示出了视角与光瞳(pupil)之间的示例性关系；

图19示出了针对照相机阵列的各视角的光瞳的示例性有效尺寸；

图20示出了本发明的第四实施例所适用的摄像单元的示例性配置；以及

图21示出了本发明的第一实施例中的摄像单元的示例性配置。

具体实施方式

[第一实施例]

首先，将描述实施例1的概要。实施例1涉及例如通过提供比广角摄像单元更多的望远摄像单元来调整由各摄像单元拍摄的各视角的图像数据的亮度的平衡。

<摄像设备的结构>

图1示出了实施例1的摄像设备100的整体外观。图1所示的摄像设备100是在前面(被摄体侧)具有61个摄像单元101至161的所谓的照相机阵列(被称为照相机阵列系统、多镜头照相机等)。图1所示的摄像单元101至161的不同阴影线表示如下所述的不同的视角。摄像装置100还具有闪光灯162和拍摄按钮163。此外，虽然图1中未示出，但摄像设备100在其背面具有操作单元和显示单元等。虽然以下在本实施例中将描述具有61个摄像单元的情况，但是摄像单元的数量不限于61，而只要是三个或更多个摄像单元即可。准备三个或更多个摄像单元的原因是：例如在存在具有两种类型的视角的摄像单元的情况下，提供比具有一种视角的摄像单元的数量更多的具有另一种视角的摄像单元。此外，需要配置多个摄像单元，使得它们能够在大致相同的时间对相同被摄体或大致相同的区域拍照。术语“大致相同的区域”和“大致相同的时间”表示例如当对由多个摄像单元拍摄的图像数据进行合成时，获取与由其他摄像单元拍摄的图像数据类似的图像的范围。如图1所示，虽然优选的是摄像单元被配置在相同平面上，并且摄像单元的光轴平行以便于进行图像处理，但是本实施例并不限于这种配置。以下将进一步描述根据本实施例的摄像单元的结构和配置的详情。

图2是示出摄像设备100的示例性结构的框图。CPU 201使用RAM202作为工作存储器以执行在ROM 203中存储的OS和各种程序。此外，CPU 201经由系统总线200控制摄像设备100的各组件。RAM 202存储作为表示摄像单元101至161的状态(诸如表示摄像光学系统的控制结果的焦点设置和光圈设置等)的信息的摄像参数等。ROM 203存储表示摄像单元101至161的相对位置关系和各摄像单元的摄像元件的像素间距、光能的接收效率、以及摄像单元可以拍摄图像的视角(立体角)的照相机设计参数等。虽然未示出，但摄像单元的照相机设计参数可以分别存储在摄像单元101至161的ROM中。

CPU 201控制计算机图形(CG)生成单元207和显示控制单元204以在监视器213上显示用户界面(UI)。此外，CPU 201经由拍摄按钮163和操作单元164接收用户指令。然后，CPU 201可以根据用户指令设置摄像时的拍摄条件，诸如被摄体距离、焦距、光圈、曝光时间及闪光灯的发光。此外，CPU 201可以根据用户指令指示摄像并进行所拍摄的图像的显示设置。CG生成单元207生成用于实现的UI的诸如字符和图形的数据。

当在用户指示进行拍摄时，CPU 201从光学系统控制方法生成单元209获取与用户指令相对应的光学系统的控制方法。接下来，CPU 201基于所获取的光学系统控制方法指示光学系统控制单元210进行摄像。当接收到摄像指令时，光学系统控制单元210进行诸如聚焦、调节光圈、打开或关闭快门等的摄像光学系统的控制。此外，光学系统控制单元210将作为表示摄像单元101至161的状态(诸如表示摄像光学系统的控制结果的焦点设置和光圈设置等)的信息的摄像参数存储在RAM 202中。取代通过单个光学系统控制单元210控制各摄像单元101到161的摄像光学系统，各摄像单元101到161可以设置有能够与CPU 201通信的光学系统控制单元。

摄像单元101至161分别通过诸如CCD或CMOS的成像传感器307来接收来自被摄体的光。以下将参照图3描述详情。摄像单元101至161暂时将通过对从成像传感器307输出的模拟信号进行模数(A/D)转换所产生的拍摄数据(以下被称为RAW数据)保留在摄像单元101至161内的缓冲存储器中。在缓冲存储器中保留的RAW数据在CPU 201的控制下依次存储在RAM 202的预定区域中。

数字信号处理单元208进行根据存储在RAM 202的预定区域中的多个RAW数据(以下被称为RAW数据集)生成图像数据的显影处理。此外，数字信号处理单元208将RAW数据集和生成的图像数据存储在RAM202中的预定区域中。显影处理包括合成多个RAW数据的合成处理、去马赛克处理、白平衡处理、伽马处理以及噪声降低处理。此外，数字信号处理单元208可以进行改变拍摄后的图像数据的变焦倍率并且生成改变后的图像数据的处理。生成的图像数据添加有表示焦距、变焦倍率、景深等的显影处理时的参数(以下被称为图像生成参数)。例如，基于由用户指定的值生成图像生成参数。此外，例如初始设置值可以被用作在首次显影时的图像生成参数。此外，虽然至少摄像参数被添加到RAW数据集，但考虑到使用外部图像处理装置的显影处理，可以添加照相机设计参数。

CPU 201控制显示控制单元204以在监视器213上显示在RAM 202中的预定区域中存储的图像数据。压缩/解压缩单元212进行将RAM 202的预定区域中存储的图像数据转换为诸如JPEG或MPEG的格式的编码处理。此外，在必要的情况下，压缩/解压缩单元212进行RAW数据集的无损压缩处理。

接口(I/F)205具有读/写诸如存储卡、USB存储器等记录介质206的功能，以及连接到有线或无线网络的功能。I/F 205根据CPU 201的指令将例如在RAM 202中存储的JPEG或MPEG格式图像数据和RAW数据集输出到外部介质或服务器设备，或者从外部记录介质或服务器设备输入各种数据。

图像生成参数生成单元211生成数字信号处理单元208中的显影处理所需的图像生成参数。

虽然图2所示的摄像设备100使摄像单元101至161和其他组件集成为一个单元，但摄像单元中101至161和其它组件(图像处理装置)可以被分离。在该情况下，摄像单元101至161和图像处理装置例如可以分别设置有诸如USB或IEEE 1394的串行总线I/F或诸如无线网卡的通信单元，从而经由通信单元进行控制信号的发送和接收，或数据的输入和输出。

<各摄像单元的示例性结构>

图3的框图示出了摄像单元101至161的示例性结构。尽管图3示出了摄像单元101的示例性结构，但其他摄像单元102至161具有大致类似的结构。然而，摄像单元101至161的视角、焦点、光圈等的设置不需要被配置为完全相同。下面描述详情。

来自被摄体的光经过聚焦透镜组301、光圈302、固定透镜组303、快门304、红外截止滤波器305以及滤色器306，从而在诸如CMOS传感器或CCD的成像传感器307上形成图像。模数转换单元308对从成像传感器307输出的模拟信号进行模数转换。缓冲器309暂时存储从模数转换单元308输出的RAW数据，并且根据CPU 201的请求将RAM数据经由系统总线200传送到RAM 202。

图3所示的透镜组和光圈的配置是示例，并且可以由不同的配置替换。例如，摄像单元的一部分或全部不需要设置有用于提高诸如远心(telecentricity)的镜头性能的固定透镜组303。

<摄像单元的结构及其组合>

为了提供廉价的变焦功能，在本实施例中的摄像单元的视角不完全相同。例如，在图1所示的具有61个镜头的示例性照相机阵列中，摄像单元101至161的视角存在四种类型，其中摄像单元101至105、摄像单元106至113、摄像单元114至129以及摄像单元130至161分别具有相同的视角。然而，即使所有摄像单元101至161的视角相同，它们也不必具有相同尺寸的成像传感器。换句话说，即使存在不同尺寸的成像传感器，根据由摄像单元的焦距能够覆盖的距离，视角也是相同的。优选的是，具有相同视角的摄像单元具有相同数量的像素以简化图像处理。此外，假设在本实施例中，与摄像单元101至161相关的光学系统的入射光瞳(≈从镜头前面看到的光圈)的尺寸被设计成大致相同。

在本实施例中，摄像单元101至161被配置为针对各视角具有大致相同的的总聚光能力，从而在由具有不同视角的摄像单元拍摄的图像之中同时调节亮度、噪声及曝光时间。例如，摄像单元101至105和摄像单元106至113被配置成使得它们的总聚光能力大致相同。此外，这同样适用于其他的摄像单元组。具体来说，摄像单元101至161被配置为在由以下针对各视角的公式计算的评价值E_j(j是视角的指数)方面具有大致相同的总聚光能力。

E_j＝N_jΩ_j 式(1)

这里，N_j是具有视角j的摄像单元的数量。Ω_j是具有视角j的摄像单元进行摄像的区域的立体角。虽然期望直接测量立体角Ω_j，但可以通过以下的公式计算。

Ω_{j} = &Integral; &Integral; \frac{{f_{j, i}}^{2}}{({f_{j, i}}^{2} + x^{2} + y^{2})} dxdy

式(2)

这里，f_j，i是具有视角j的摄像单元i的焦距，x，y是在与摄像单元相关联的成像传感器上的坐标。积分范围是成像传感器的尺寸。由于具有不同尺寸的成像传感器的摄像单元的立体角是相等的，只要其视角相同即可，所以可以仅计算具有视角j的多个摄像单元中的任何一个的立体角。如果存在与摄像单元相关联的光学系统中的变形，则可以通过置换为校正变形之后的坐标系统x’、y’来计算立体角。此外，如果由于校正变形而存在不用于图像合成的区域，则可以从积分范围中省略该区域。

由于在图1所示的示例中存在四种类型的视角，所以也计算四种类型的评价值E_j。评价值E_j是与由具有视角j的多个摄像单元单位时间接收的总光能成比例的量。因此，在E_j不论视角j都相等的情况下，作为噪声的主要原因的拍摄噪声的功率变得大致相同。因此，在具有不同视角的图像之中的噪声的不规则性也变得大致相同。

虽然期望各摄像单元被配置为使得其评价值E_j尽可能相等，但可能存在难以完全匹配评价值E_j的情况。因此，必须定义E_j的变化的容许范围。例如，在期望将视角之间的SN(signal-to-noise，信噪比)的差抑制为约20％的情况下，由于存在如果信号值加倍则噪声值增加

倍的关系，因此各摄像单元被设计成使得评价值E_j之间的差被抑制为约40％。更优选地，摄像单元可以被配置为使得E_j的差小于由用户可调节的曝光时间的变化的宽度。换句话说，如果用户可以控制1/3等级的曝光时间，期望视角j和k的评价值E_j和E_k之间的比率满足下式。

2^{- 1 / 3} \leq \frac{E_{k}}{E_{i}} \leq 2^{1 / 3}

式(3)

由此所述，通过调节摄像单元的数量使得各个视角的评价值变得大致相同，能够使各个视角的聚光能力相同。具体来说，在具有第一视角的第一摄像单元组中的摄像单元的数量被配置为比具有比与第一摄像单元组相关的视角更小的第二视角的第二摄像单元组中的摄像单元的数量小。例如，通过提供比广角摄像单元的数量的更多的望远摄像单元，能够使各个视角的评价值大致相同。例如在制造摄像设备时，可以对摄像单元的数量进行调节，使得这些视角的评价值变得大致相同。

<摄像操作>

图4是示出实施例1的示例性摄像操作的流程图。假设如上所述各视角的评价值被设计为大致相同。通过由CPU 201读取并且执行例如在ROM 203中存储的程序来实现图4所示的处理。当用户操作操作单元164和拍摄按钮163时，开始图4所示的摄像操作。CPU 201经由操作单元164和拍摄按钮163接收用户指令，并且确定用户的操作(步骤S101)。

当用户操作操作单元164以改变诸如焦点和光圈的摄像光学系统的设置时，CPU 201从光学系统控制方法生成单元209获取与各摄像单元相关联的光学系统的控制方法(步骤S102)。在步骤S102中，光学系统控制方法生成单元209基于由用户预先设置的操作模式计算摄像单元的光学系统的控制方法。例如，在所有摄像单元根据相同焦点进行拍摄的操作模式中，光学系统控制方法生成单元209将所有摄像单元的焦点设置为由用户指定的值。与此相反，在多个摄像单元分别根据不同焦点进行拍摄的操作模式中，光学系统控制方法生成单元209计算除由用户指定的设置值以外的设置值，从而维持摄像单元的焦点。光学系统控制方法生成单元209对光圈进行类似操作。如在上文所述，在本实施例中，摄像单元的入射光瞳(≈从镜头前面看到的光圈)的尺寸被设计为大致相同。如果例如在所有摄像单元根据相同光圈进行拍摄的操作模式的情况下，用户在步骤S102中改变了光圈值，则由于所有摄像单元的入射光瞳的尺寸以相同的方式变化，因此各视角的评价值变得大致相同。另一方面，在多个摄像单元分别根据不同的焦点进行拍摄的操作模式的情况下，在用户改变光圈值时，入射光瞳的尺寸被改变。在该情况下，进行基于所计算的评价值调节摄像单元的光圈的处理，如以下在实施例2中所描述的。在实施例2中将提供该处理的详细描述。

CPU 201基于所计算的光圈值和聚焦值控制光学系统控制单元210以改变摄像单元101至161的各透镜组和光圈的状态(步骤S103)。光学系统控制单元210将表示摄像单元101至161的各透镜组和光圈的状态的摄像参数发送到CPU 201，并且CPU 201将所接收的摄像参数存储在RAM 202的预定区域中(步骤S104)。

当用户按下拍摄按钮163约一半时，基于用户的设置进行用于自动设置焦点的自动聚焦、以及用于自动设置光圈以调节曝光量的自动曝光。由于通过该操作自动改变摄像单元的焦点和光圈，因此这也是摄像光学系统的改变操作。在进行自动曝光时也进行针对步骤S102至S104描述的处理。

当用户完全按下拍摄按钮163时，在步骤S101中，CPU 201确定已经进行拍摄操作。CPU 201控制光学系统控制单元210打开摄像单元101至161的快门304预先设定的时间并且对成像传感器307进行曝光(步骤S105)。

接着，CPU 201控制摄像单元101至161的缓冲器309以将RAW数据集存储在RAM 202的预定区域中(步骤S106)。

接下来，CPU 201控制图像生成参数生成单元211以获取诸如变焦倍率、焦距、景深等的图像生成参数，并将它们存储在RAM 202的预定区域中(步骤S107)。然后，CPU 201控制数字信号处理单元208以进行RAW数据集的显影处理(步骤S108)。

数字信号处理单元208接收RAW数据集、摄像参数、照相机设计参数和图像生成参数，并且基于这些数据和参数进行显影处理以生成图像数据(下文中被称为初始图像数据)。接着，数字信号处理单元208将摄像参数(在必要的情况下为照相机设计参数)添加到RAW数据集，并且也将用于显影处理的图像生成参数添加至初始图像数据。CPU 201将由数字信号处理单元208输出的初始图像数据以及RAW数据集存储在RAM 202的预定区域中(步骤S109)。

接下来，CPU 201控制压缩/解压缩单元212以对初始图像数据进行编码处理(S110)。然后，CPU 201控制I/F 205输出编码初始图像数据以及RAW数据集作为单个文件(步骤S111)。数据的输出目的地例如是记录介质206或未示出的服务器设备。此外，可以输出由压缩/解压缩单元212无损压缩的RAW数据集。

<变焦倍率改变处理>

接下来，将描述拍摄后的图像的变焦倍率的改变处理(下文中被称为变焦倍率改变处理)。图5是示出示例性变焦倍率改变处理的流程图。例如，通过CPU 201读取并且执行ROM 203中存储的程序来实现图5所示的处理。此外，虽然通常经由操作单元164通过用户指令开始变焦倍率改变处理，但是也可以在拍摄后自动开始。

当被指示进行变焦倍率改变处理时(步骤S501)，CPU 201从例如记录介质206获取由用户指定的图像数据及与其相对应的RAW数据集(步骤S502)。然后，CPU 201控制压缩/解压缩单元212以对图像数据(在必要的情况下也对RAW数据集)进行解码处理，并且将解码图像数据和RAW数据集存储在RAM 202的预定区域中(步骤S503)。

在步骤S502中获取的数据不需要是由摄像设备100拍摄的拍摄数据或由摄像设备100生成的图像数据，并且可以是例如由其他摄像设备或图像处理装置存储在记录介质206上的数据。然而，在该情况下，需要另外获取与要获取的RAW数据相关的摄像参数和照相机设计参数。

接下来，CPU 201从RAW数据集读取摄像参数和照相机设计参数，并且从图像数据读取图像生成参数(步骤S504)。然后，CPU 201从图像生成参数生成单元211获取可以改变图像生成参数的范围(S505)。图像生成参数包括拍摄后的图像的变焦倍率。

接下来，CPU 201控制CG生成单元207和显示控制单元204以显示由图像数据表示的图像并且将用于在可改变范围内改变图像生成参数的图形用户界面(GUI)显示在监视器213上(步骤S506)。参照在监视器213显示的图像，用户例如在提供期望图像的情况下在GUI上按下判定按钮，或例如在改变图像生成参数的情况下操作GUI并在GUI上按下改变按钮。

CPU 201确定用户操作是按下判定按钮还是按下变焦倍率改变按钮(步骤S507)。在按下判定按钮的情况下，CPU 201确定拍摄了用户期望的图像数据并且终止变焦倍率改变处理。

如果变焦倍率改变按钮被按下，则CPU 201控制数字信号处理单元208以生成通过根据由用户经由GUI指定的图像生成参数对RAW数据集进行显影处理而获得的图像数据(下文中被称为再显影图像数据)(步骤S508)。然后，CPU 201将处理返回到步骤S506以将由再显影图像数据表示的图像显示在GUI上。

CPU 201根据步骤S507中的确定来确定在倍率改变处理之后是否按下判定按钮(步骤S509)。在步骤S509中确定在倍率改变处理之后按下了判定按钮的情况下，CPU 201通过与输出初始图像数据时的处理类似的处理输出再显影图像数据(步骤S510)。然后，倍率改变处理完成。

[图像处理]

将简要描述数字信号处理单元208的显影处理之中的合成多个RAW数据的处理(下文中被简称为图像合成处理)。本实施例的图像合成处理通过将由多视点图像生成景深较浅的图像的合成孔径方法与电子变焦相结合、同时通过图像合成处理控制景深，来改变变焦倍率。

如图1所示，摄像单元101至161的位置各不相同，并且从摄像单元101至161输出的RAW数据集形成所谓的多视点图像。数字信号处理单元208获取RAW数据集的拍摄数据(拍摄数据获取处理)。然后，数字信号处理单元208根据需要对各图像数据进行滤波处理，并且在将焦点调节到期望距离(下文中称为焦距)之后，对图像数据求和以生成景深较浅的合成图像。通常通过改变用于滤波处理的滤波器或改变用于合成的图像的数量来进行景深的调节。此外，可以根据诸如各摄像单元的位置和方向的照相机设计参数、以及诸如焦距的图像生成参数，来计算匹配图像所需的位移量。

为了改变变焦倍率，可以组合使用切换要使用的摄像单元及一般的电子变焦技术。换句话说，通过根据变焦倍率选择具有适当视角的摄像单元并且进一步进行电子变焦的处理，能够基本上连续改变变焦倍率。在一般的电子变焦处理中，通过在对图像进行滤波处理的同时在期望区域再取样像素来获取具有期望变焦倍率的图像。作为要在合成中使用的图像，可以使用具有比与要输出的变焦倍率相对应的视角更宽的视角的图像中的具有最小视角的多个图像。

关于孔径合成处理和电子变焦处理，首先进行孔径合成是有效的，因为在单个迭代中完成电子变焦处理。然而，大的变焦倍率是无效的，因为也对没有必要输出的区域中的图像进行孔径合成处理。在该情况下，优选的是，反而期望首先进行电子变焦处理。当进行电子变焦处理时，在考虑图像匹配的同时，可以进行图像再取样处理。因此，实现匹配，并且生成具有期望视角的期望数量的像素组。在孔径合成处理中，可以对进行了滤波处理之后的图像进行求和。

<示例性合成处理>

参照图6A、6B及图7，将描述由数字信号处理单元208合成图像的概念。图6A示出了由摄像单元601至603拍摄的在不同距离的被摄体。

在图6A中，摄像单元601至603是摄像单元101至161中的三个代表性摄像单元。虚线604至606示出了虚拟焦点(应将焦点调节到的位置)中的三个代表性虚拟焦点。如图6A所示，被摄体607至609分别位于不同距离的位置。

图6B示出了由摄像单元601获取的图像610。由摄像单元602和603获取的图像是图像610中的各被摄体607至609依照对应于被摄体的距离(604至606)的视差(parallax)而偏移的图像。

图7是由数字信号处理单元208再配置(合成)的图像的概念图。图像701是在虚拟焦点设置在虚线606上时再配置后的图像。在图像701中，焦点被调节到被摄体607上，而被摄体608和609是模糊的。

图像702和图像703分别是在虚线605上调节虚拟焦点时和在虚线604上调节虚拟焦点时的再配置后的图像。图像702和703分别将焦点调节到被摄体608和609上。通过以这种方式移动虚拟焦点，可以通过将焦点调节到期望被摄体上来获取图像。

在示例性合成处理中，能够通过控制虚拟焦点来将焦点调节到预定被摄体上并同时使其他被摄体模糊。合成处理的示例不限于此，还可以包括例如扩大动态范围的HDR处理或增加分辨率的分辨率增强处理。

根据上述实施例1的结构，可以使在各视角接收的光量大致相同。因此，在具有不同视角的图像之中，可以同时调节亮度、噪声及曝光时间。因此，用户可以改变拍摄后的图像数据的变焦，而不显著改变亮度、噪声及曝光时间。

[实施例2]

在实施例1的情况下，已经描述了其中各摄像单元的入射光瞳的所有尺寸相互大致一致的结构。对于本实施例，将描述其中各摄像单元的入射光瞳的尺寸相互不同的结构。将省略与实施例1相同的部件的描述。

<摄像设备的结构>

图8示出了实施例2中的摄像设备800的示例性外观。摄像设备800是在前面(被摄体侧)具有16个摄像单元801至816的所谓的照相机阵列。摄像设备800具有闪光灯162和拍摄按钮163。此外，虽然在图8中未示出，但是摄像设备800在背面具有操作单元、显示单元等。虽然以下将描述具有16个摄像单元的实施例的情况，但是摄像单元的数量不限于16，而只要是两个或更多个摄像单元即可。由于在实施例2中示出调节摄像单元的入射光瞳的尺寸的示例，所以至少使用两种具有不同视角的摄像单元能够实现摄像设备。

<摄像单元的结构及其组合>

如同实施例1的结构，在本实施例中摄像单元的视角也不完全相同。例如，在图8所示的示例性16个镜头照相机阵列中，存在四种类型的摄像单元801至816的视角，其中，摄像单元801至804、摄像单元805至808、摄像单元809至812以及摄像单元813至816分别具有相同的视角。虽然在实施例1中已经描述了其中与摄像单元101至161相关联的光学系统的入射光瞳的尺寸被设计为大致相同的示例，但是在本实施例中将描述与其中摄像单元801至816相关联的光学系统的入射光瞳的尺寸是不同的示例。

此外，在实施例2中，摄像单元801至816被配置为具有大致相同的针对各视角的总聚光能力，以在具有不同视角的图像之中同时调节亮度、噪声及曝光时间。具体地说，摄像单元801至816被配置为在由以下针对各视角的公式计算的评价值E_j(j是视角的指数)方面具有大致相同的总聚光能力。

E_j＝∑(S_i×τ_i×Ω_j) 式(4)

这里，∑是指对具有视角j的摄像单元求和。此外，S_i是与第i个摄像单元相关联的光学系统的入射光瞳的面积。可以根据光学系统的设计数据(设计参数)计算入射光瞳的面积。此外，τ_i是第i个摄像单元的光能的接收效率。虽然优选的是直接测量τ_i，但是也可以根据与摄像单元相关联的透镜组和滤色器的透射率以及成像传感器的光接收效率计算τ_i。与实施例1类似，Ω_j是具有视角j的摄像单元进行摄像的区域的立体角。

由于在图8所示的示例中存在四种类型的视角，所以也计算四种类型的评价值E_j。实施例2的评价值E_j也是与由具有视角j的多个摄像单元单位时间接收的总光能成比例的量。因此，如同实施例1，如果E_j不论视角都相等，则作为噪声的主要原因的拍摄噪声的功率大致相同。

如同实施例1，虽然期望各摄像单元被配置为使得评价值E_j尽可能相等，但难以完全一致地匹配评价值E_j。另外，如同实施例1，也可以在本实施例中定义E_j的比的容许范围。

摄像单元i的入射光瞳面积Si根据摄像单元的光圈值而变化。因此，在摄像单元的光圈值根据用户指令或自动曝光功能变化时，评价值E_j也变化。在诸如晴朗的白天的非常明亮的场景中进行拍摄时，存在仅通过调节增益无法防止传感器的饱和而必须通过缩小光圈可以防止传感器的饱和的情况。如果为了该场景中的问题已经改变某个摄像单元的设置，则优选的是，也改变其他摄像单元的设置，使得评价值E_j变得大致相同。如果在本实施例中，某个摄像单元的光圈设置值已经改变，则在光学系统控制方法生成单元209中计算其他摄像单元的光圈设置值，使得评价值E_j变得大致相同，以下将详细描述其细节。

<改变摄像单元的设置时的操作>

参照图9的流程图说明示例性摄像操作。通过由CPU 201读取并且执行例如在ROM 203中存储的程序来实现图9所示的处理。当用户操作操作单元164和拍摄按钮163时，开始摄像操作。CPU 201经由操作单元164和拍摄按钮163接收用户指令，并且确定用户操作是否是改变摄像光学系统的设置(步骤S901)。

如果用户已经操作操作单元164并且改变了诸如焦点和光圈的摄像光学系统的设置，则CPU 201从光学系统控制方法生成单元209获取与各摄像单元相关联的光学系统的控制方法(步骤S902)。

在步骤S902中，在用户操作使所有摄像单元通过一致调节的焦点来进行拍摄的模式中，所有摄像单元的焦点采用由用户指定的值。当各摄像单元通过不同的焦点进行拍摄时，只有由用户指定的摄像单元被设置为具有指定的聚焦值。光学系统控制方法生成单元209针对光圈也以类似方式操作。在这种情况下，光学系统控制方法生成单元209计算其他摄像单元的光圈值，使得第一视角k的评价值E_k与第二视角j的评价值E_j大致相同。例如，当用户在所有摄像单元通过相同的光圈拍摄的模式中将光圈值增加了20％时，如果所有其他摄像单元的光圈值也增加了20％，则评价值E_j相互大致相同。另一方面，当通过针对各摄像单元不同的光圈值进行拍摄时，只有由用户指定的摄像单元被设置为具有指定的光圈值。对于其他摄像单元，计算其他摄像单元的光圈值使得其他视角k的评价值E_k与由用户指定的摄像单元的视角的评价值E_j大致相同。

此外，计算光圈值和焦点使得其他视角k的评价值E_k与针对光学系统的评价值E_j相同，在所述光学系统中，通过改变替代光圈的焦点来改变入射光瞳面积S_i。

CPU 201基于所计算的光圈值和焦点控制光学系统控制单元210以改变摄像单元101至161的各透镜组和光圈的状态(步骤S903)。光学系统控制单元210将表示摄像单元101至161的各透镜组及光圈的状态的摄像参数发送到CPU 201，并且CPU 201将所接收的摄像参数存储在RAM 202的预定区域中(步骤S904)。

当用户按下拍摄按钮163约一半时，基于用户的设置进行用于自动设置焦点的自动聚焦、以及用于自动设置光圈以调节曝光量的自动曝光。由于通过该操作自动改变摄像单元的焦点和光圈，因此这也是摄像光学系统的改变操作，并且进行步骤S902至S904的处理。

图10示出了在图9的流程图的步骤S902至步骤S904中描述的计算摄像参数的示例性数据流。光学系统控制方法生成单元209具有评价值计算单元1003和摄像参数计算单元1004。设计参数存储单元1001和摄像参数存储单元1002由例如RAM 202构成。评价值计算单元1003从设计参数存储单元1001获取包括视角值的各摄像单元的设计参数(设计参数获取处理)。此外，评价值计算单元1003从摄像参数存储单元1002获取包括光圈或聚焦值的各摄像单元的摄像参数(摄像参数获取处理)。从摄像参数存储单元1002获取的摄像参数包括已经通过用户操作改变的摄像参数。评价值计算单元1003使用所获取的设计参数和摄像参数计算各视角的评价值E_j。摄像参数计算单元1004获取所计算的评价值E_j并且计算包括光圈或聚焦值的摄像参数。换句话说，摄像参数计算单元1004计算具有预定视角的摄像单元的光圈或聚焦值，使得各视角的评价值E_j变得相同，如上所述。摄像参数计算单元1004然后将所计算的摄像参数存储在摄像参数存储单元1002中。接着，将由设置有用户指定的光圈或聚焦值的摄像单元、以及设置有由摄像参数计算单元计算的光圈或聚焦值的摄像单元进行摄像。

<摄像操作、变焦倍率改变处理及图像处理>

由于本实施例的摄像操作、变焦倍率改变处理以及图像处理与实施例1相同，所以省略其描述。

根据上述实施例2的结构，可以使在各视角接收的光量大致相同。在实施例2中，即使摄像单元具有不同尺寸的入射光瞳，也可以使在各视角接收的光量大致相同。此外，即使光圈值已被用户操作调节，通过调节其他摄像单元的光圈值也可以使在各视角接收的光量大致相同。

[实施例3]

在实施例1和实施例2中，已经描述了如下情况的示例，即针对各摄像单元存在两种或更多种类型的视角，针对各视角存在一个或多个摄像单元，并且在图像合成时使用具有相同视角的多个拍摄数据。在实施例3中，将描述如下情况的结构，即在图像合成时使用具有不同视角的多个拍摄数据。

<摄像设备的结构>

图11示出了实施例3中的摄像设备1100的示例性外观。摄像设备1100是在前面(被摄体侧)具有18个摄像单元1101至1118的所谓的照相机阵列。摄像设备1100具有闪光灯162和拍摄按钮163。如同实施例1和实施例2，摄像设备1100在背面具有操作单元或显示单元。虽然以下将描述具有18个摄像单元的实施例的情况，但是摄像单元的数量不限于18，而只要是两个或更多个摄像单元即可。其余的结构与实施例1类似。

<摄像单元的结构及其组合>

如同实施例1的结构，在本实施例中摄像单元的视角也不完全相同。例如，在图11所示的示例性18个镜头照相机阵列的视角是不同的，如图12的摄像单元视角栏中所示。此外，如同实施例2，假设在本实施例中与摄像单元1101至1118相关联的光学系统的入射光瞳的尺寸不同。

在本实施例中，摄像单元1101到1118的结构被设计为使得它们在由下式计算的评价值G(f)方面大致相同。

G(f)＝∑(S_i×τ_i×Ω_i) 式(5)

这里，如同实施例2，S_i、τ_i、及Ω_i分别是第i个摄像单元的入射光瞳面积、光能接收效率、及立体角。此外，f是与合成后的图像数据的视角(下文中被称为输出图像视角)相对应的被转换为35mm的焦距。此外，在实施例2中，虽然∑表示对具有视角j的摄像单元求和，但在本实施例中，∑表示对在对输出图像视角的图像进行合成时使用的摄像单元求和。换句话说，在本实施例中，针对各输出图像视角而不是摄像单元的视角来计算评价值以使输出图像视角的亮度大致相同。图12示出了输出图像视角与要使用的摄像单元之间的示例性关系。在本实施例中，在对具有某个输出图像视角的图像进行合成时，选择并使用在图12的输出图像视角栏中有阴影的摄像单元。例如，在30毫米输出图像视角的情况下，将使用由摄像单元编号4至7识别的摄像单元1104至1107拍摄的拍摄数据集。如图12所示，随着输出图像视角变得越窄(即，焦距变得更长)，逐渐进行到具有更窄视角的摄像单元的切换。在本实施例中，例如，使得由摄像单元编号1至4识别的第一拍摄数据集与由摄像单元编号4至7识别的第二拍摄数据集的聚光能力大致相同。

计算与要至少使用的摄像单元的组合的类型的数量一样多的评价值G(f)。评价值G(f)也是与由多个摄像单元单位时间接收的总光能成比例的量。因此，如同实施例1，如果G(f)不论输出图像视角都相同，则作为噪声的主要原因的拍摄噪声的功率大致相同。

将描述用于设计摄像单元以使评价值G(f)大致相同的方法。首先，假设各摄像单元的视角(即，立体角Ω_i)由诸如输出图像视角的其他条件给出。此外，可以如实施例1所述计算立体角Ω_i。此外，假设由光学玻璃及滤色器的特性或在各摄像单元中使用的成像传感器的特性确定τ_i，如同实施例2所述。这里，入射光瞳面积S_i是可调节以使评价值G(f)大致相同的项。可以以视角的降序确定入射光瞳面积S_i。在图11中，根据输出图像视角，存在要使用的摄像单元的14个组合。他们按照输出图像视角的降序编号1、2、...、14，与其相对应的评价值被表示为G(1)、G(2)、...、G(14)。由于第一至第四摄像单元用于对具有最宽输出图像视角的图像进行合成，因此评价值G(1)被表示为下式。

G(1)＝S1τ1Ω1+S2τ2Ω2+S3τ3Ω3+S4τ4Ω4 式(6)

同样地，使用第二至第五摄像单元的评价值G(2)被表示如下。

G(2)＝S2τ2Ω2+S3τ3Ω3+S4τ4Ω4+S5τ5Ω5 式(7)

为了使G(1)、G(2)大致相同，必须使下式成立。

S1τ1Ω1＝S5τ5Ω5 式(8)

这里，已经给出τ1、τ5、Ω1、及Ω5，因此由第一摄像单元的入射光瞳面积S1确定第五摄像单元的入射光瞳面积S5。类似地，由第二摄像单元的入射光瞳面积S2确定第六入射光瞳面积S6。此外，由入射光瞳面积S3确定入射光瞳面积S7，并由入射光瞳面积S4确定入射光瞳面积S8。由入射光瞳面积S5确定入射光瞳面积S9，即，由S1确定S9。以类似的方式，在图9所示的示例中确定直到S16的入射光瞳面积。如下给出第13评价值G(13)和第14评价值G(14)。

G(13)＝S13τ13Ω13+S14τ14Ω14+S15τ15Ω15+S16τ16Ω16 式(9)

G(14)＝S14τ14Ω14+S15τ15Ω15+S16τ16Ω16+S17τ17Ω17+S18τ18Ω18 式(10)

这里，G(13)和G(14)大致相同，得出下式。

S13τ13Ω13＝S17τ17Ω17+S18τ18Ω18 式(11)

在该情况下，针对能够自由确定任何一者的入射光瞳面积S17和入口光瞳面积S18只有一个自由度。通常，可以使入射光瞳面积S17和入口光瞳面积S18大致相同。应当注意，在第14输出图像视角中出现该自由度，因为存在新使用的两个摄像单元，即，第17摄像单元和第18摄像单元。与之相反，如果新使用的摄像单元的数量不增加，则不出现该自由度。

结果，只要逐个改变用于图像合成的摄像单元，则仅针对一些具有宽视角的摄像单元指定入射光瞳面积Si，便能够自动确定其余的入射光瞳面积。当摄像单元的数量一次增加两个或更多个时，则可以根据增加的摄像单元的数量指定的入射光瞳的数量增加。在图11所示的示例中，只有S1、S2、S3、S4四个值以及S17和S18中的一个是可以自由设置的值。尽管在该约束下，也可以根据上述过程设计各摄像单元以使评价值G(f)大致相同。

在图12的示例中，描述了按照视角的尺寸的顺序利用与输出图像视角相对应的摄像单元的示例。然而，不需要按照视角的尺寸的顺序选择要使用的摄像单元，只要能够输出与输出图像视角相对应的合成图像即可。此外，虽然在本实施例中已经描述了按照与摄像单元相关联的输出图像视角的降序计算评价值的示例，但是也可以按照与摄像单元相关联的输出图像视角的升序计算评价值。

<摄像操作、变焦倍率改变处理及图像处理>

由于实施例3的摄像操作、变焦倍率改变处理以及图像处理与实施例1和2相同，所以省略其描述。

根据上述实施例3的结构，可以使在各视角接收的光量大致相同，并且也能够在对具有不同视角的图像数据进行合成时同时调节亮度、噪声及曝光时间。

[实施例4]

考虑到广角照相机和望远照相机均匀排列的照相机阵列，能够在各种视角生成景深比由各照相机获取的图像的景深浅的图像。然而，存在如下问题，与具有F值变化不大的大直径变焦镜头的常用照相机相比，具有上述照相机配置的照相机阵列的由望远照相机获取的景深对由广角照相机获取的景深的平衡较差。

本实施例提供用于将由广角照相机获取的景深与由望远照相机获取的景深的平衡调节至由具有大直径变焦镜头的常用照相机获取的景深的平衡。

<摄像设备的结构>

图13示出了实施例4中的摄像设备1300的示例性外观。图13所示的摄像设备1300是在前面(被摄体侧)具有69个摄像单元1301至1369的所谓的照相机阵列。图13中所示的摄像单元1301至1369的不同阴影线表示不同的视角。例如，摄像单元1301至1304、摄像单元1305至1309、摄像单元1310至1323、及摄像单元1324年至1369分别具有相同的视角。以下将描述摄像单元的配置的细节。摄像设备1300还具有闪光灯1370和拍摄按钮1371。虽然在图13中未示出，但摄像设备1300在其背面具有操作单元和显示单元。虽然以下将描述具有69个摄像单元的实施例4的情况，但是摄像单元的数量不限于69。多个摄像单元被设置为使得它们能够拍摄相同的被摄体或大致相同的区域。术语“大致相同的区域”和“大致相同的时间”表示例如在对由多个摄像单元拍摄的图像数据进行合成时，获取与由其他摄像单元拍摄的图像数据类似的图像的范围。

图14是示出摄像设备1300的示例性结构的框图。CPU 1401使用RAM 1402作为工作存储器以执行在ROM 1403中存储的OS和各种程序。此外，CPU 1401经由系统总线1400控制摄像设备1300的各组件。RAM 1402存储作为表示摄像单元1301至1369的状态(诸如焦点、光圈等的设置)的信息的摄像参数等。ROM 1403存储表示摄像单元1301至1369的相对位置关系和各摄像单元的摄像元件的像素间距、光能接收效率、以及摄像单元可以拍摄图像的视角(立体角)等的照相机设计参数等。虽然未示出，但摄像单元的照相机设计参数可以存储在摄像单元1301至1369的ROM中。

CPU 1401控制计算机图形(CG)生成单元1407和显示控制单元1404以在监视器1413上显示用户界面(UI)。此外，CPU 1401经由拍摄按钮1371和操作单元1372接收用户指令。然后，CPU 1401可以根据用户指令设置摄像时的拍摄条件，诸如被摄体距离、焦距、光圈、曝光时间及闪光灯的发光。此外，CPU 1401可以根据用户指令指示摄像并进行所拍摄的图像的显示设置。CG生成单元1407生成用于实现的UI的诸如字符和图形的数据。

当CPU 1401被用户指示进行拍摄时，CPU 1401从光学系统控制方法生成单元1409获取与用户指令相对应的光学系统控制方法。接下来，CPU 1401基于所获取的光学系统控制方法指示光学系统控制单元1410进行摄像。当接收到摄像指令时，光学系统控制单元1410进行诸如聚焦、调节光圈、打开或关闭快门等的摄像光学系统的控制。此外，光学系统控制单元1410将作为表示摄像单元1301至1369的状态(诸如表示摄像光学系统的控制结果的焦点、光圈等的设置)的信息的摄像参数存储在RAM 1402中。取代通过单个光学系统控制单元1410控制各摄像单元1301到1369的摄像光学系统，各摄像单元1301到1369可以设置有能够与CPU 1401通信的光学系统控制单元。

摄像单元1301至1369中的各个通过诸如CCD或CMOS的成像传感器1507来接收来自被摄体的光。以下将参照图15描述详情。摄像单元1301至1369中的各个暂时将通过对从成像传感器1507输出的模拟信号进行模数(A/D)转换所获得的拍摄数据(以下被称为RAW数据)保留在摄像单元1301至1369内的缓冲存储器中。在缓冲存储器中保留的RAW数据在CPU 1401的控制下依次存储在RAM 1402的预定区域中。

数字信号处理单元1408进行根据存储在RAM 1402的预定区域中的多个RAW数据(以下被称为RAW数据集)生成图像数据的显影处理，并且将RAW数据集和生成的图像数据存储在RAM 1402中的预定区域中。此外，数字信号处理单元1408可以进行改变拍摄后的图像数据的变焦倍率并且生成改变后的图像数据的处理。此外，显影处理包括合成多个RAW数据的合成处理、去马赛克处理、白平衡处理、伽马处理以及噪声降低处理。表示焦距、变焦倍率、景深等的显影处理时的参数(以下被称为图像生成参数)被添加至所生成的图像数据。例如，基于由用户指定的值生成图像生成参数。此外，例如初始设置值可以被用作在首次显影时的图像生成参数。此外，虽然至少摄像参数被添加到RAW数据集，但考虑到使用外部图像处理装置的显影处理，可以添加照相机设计参数。

CPU 1401控制显示控制单元1404以在监视器1413上显示在RAM1402中的预定区域中存储的图像数据。压缩/解压缩单元1412进行将RAM 1402的预定区域中存储的图像数据转换为诸如JPEG或MPEG的格式的编码处理。此外，在必要的情况下，压缩/解压缩单元1412进行执行RAW数据集的无损压缩处理。

接口(I/F)1405具有读/写诸如存储卡、USB存储器等存储介质1406的功能，以及连接到有线或无线网络的功能。I/F 1405根据CPU 1401的指令将例如在RAM 1402中存储的JPEG或MPEG格式图像数据和RAW数据集输出到外部介质或服务器设备，或者从外部记录介质或服务器设备输入各种数据。

图像生成参数生成单元1411生成数字信号处理单元1408中的显影处理所需的图像生成参数。

虽然图14所示的摄像设备1300使摄像单元1301至1369和其他组件集成为一个单元，但摄像单元中1301至1369和其它组件(图像处理装置)可以被分离。在该情况下，摄像单元1301至1369和图像处理装置例如可以分别设置有诸如USB或IEEE 1394的串行总线I/F或诸如无线网卡的通信单元，从而经由通信单元进行控制信号的发送和接收，或数据的输入和输出。

<各摄像单元的示例性结构>

图15的框图示出了摄像单元1301至1369的示例性结构。尽管图15示出了摄像单元1301的示例性结构，但其他摄像单元1302至1369具有大致类似的结构。然而，摄像单元1301至1369的视角没有被配置为完全相同。下面描述详情。

来自被摄体的光经过聚焦透镜组1501、光圈1502、固定透镜组1503、快门1504、红外截止滤波器1505以及滤色器1506，从而在诸如CMOS传感器或CCD的成像传感器1507上形成图像。模数转换单元1508对从成像传感器1507输出的模拟信号进行模数转换。缓冲器1509暂时存储从模数转换单元1508输出的RAW数据，并且根据CPU 1401的请求将RAM数据经由系统总线1400传送到RAM 1402。

图15所示的透镜组和光圈的配置是示例，并且可以是不同的配置。例如，摄像单元的一部分或全部不需要设置有用于提高诸如远心(telecentricity)的镜头性能的固定透镜组1503。

<摄像操作>

图16是示出实施例4的示例性摄像操作的流程图。例如，通过由CPU 1401读取并且执行在ROM 1403中存储的程序来实现图16所示的处理。当用户操作操作单元1372和拍摄按钮1371时，开始图16所示的摄像操作。CPU 1401经由操作单元1372和拍摄按钮1371接收用户指令，并且确定用户的操作(步骤S1601)。

当用户操作操作单元1372以改变诸如焦点和光圈的摄像光学系统的设置时，CPU 1401从光学系统控制方法生成单元1409获取与各摄像单元相关联的光学系统的控制方法(步骤S1602)。在步骤S1602中，光学系统控制方法生成单元1409基于由用户预先设置的操作模式计算摄像单元的光学系统的控制方法。例如，在所有摄像单元根据相同焦点进行拍摄的操作模式中，光学系统控制方法生成单元1409将所有摄像单元的焦点设置为由用户指定的值。与此相反，在多个摄像单元分别根据不同焦点进行拍摄的操作模式中，光学系统控制方法生成单元1409计算除由用户指定的设置值以外的设置值，从而维持摄像单元的焦点。光学系统控制方法生成单元1409对光圈进行类似操作。

CPU 1401基于所计算的光圈值和聚焦值控制光学系统控制单元1410以改变摄像单元1301至1369的各透镜组和光圈的状态(步骤S1603)。光学系统控制单元1410将表示摄像单元1301至1369的各透镜组和光圈的状态的摄像参数发送到CPU 1401，并且CPU 1401将所接收的摄像参数存储在RAM 1402的预定区域中(步骤S1604)。

当用户按下拍摄按钮1371约一半时，基于用户的设置进行用于自动设置焦点的自动聚焦、以及用于自动设置光圈以调节曝光量的自动曝光。由于通过该操作自动改变摄像单元的焦点和光圈，因此这也是摄像光学系统的改变操作。

当用户完全按下拍摄按钮1371时，在步骤S1601中，CPU 1401确定已经进行拍摄操作。CPU 1401控制光学系统控制单元1410以打开摄像单元1301至1369的快门1504预先设定的时间并且对成像传感器1507进行曝光(步骤S1605)。

接着，CPU 1401控制摄像单元1301至1369的缓冲器1509以将RAW数据集存储在RAM 202的预定区域中(步骤S1606)。

接下来，CPU 1401控制图像生成参数生成单元1411以获取诸如变焦倍率、焦距、景深等的图像生成参数，并将它们存储在RAM 1402的预定区域中(步骤S1607)。然后，CPU 1401控制数字信号处理单元1408以进行RAW数据集的显影处理(步骤S1608)。

数字信号处理单元1408接收RAW数据集、摄像参数、照相机设计参数和图像生成参数，并且基于这些数据和参数进行显影处理以生成图像数据(下文中被称为初始图像数据)。接着，数字信号处理单元1408将摄像参数(在必要的情况下为照相机设计参数)添加到RAW数据集，并且也将用于显影处理的图像生成参数添加至初始图像数据。CPU 1401将由数字信号处理单元1408输出的初始图像数据以及RAW数据集存储在RAM 1402的预定区域中(步骤S1609)。

接下来，CPU 1401控制压缩/解压缩单元1412以对初始图像数据进行编码处理(S1610)。然后，CPU 1401控制I/F 1405输出编码初始图像数据以及RAW数据集作为单个文件(步骤S1611)。数据的输出目的地例如是记录介质1406或未示出的服务器设备。此外，可以输出由压缩/解压缩单元1412无损压缩的RAW数据集。

<再合成处理>

接下来，将描述通过改变拍摄后的诸如变焦放倍率或景深的图像生成参数来再合成图像(以下称为再合成处理)的处理。图17是示出示例性再合成处理的流程图。例如，由CPU 1401读取并且执行在ROM 1403中存储的程序来实现图17所示的处理。此外，虽然通常经由操作单元1372通过用户指令开始再合成处理，但也可以在拍摄后自动开始。

当被指示进行再合成处理时(步骤S1701)，CPU 1401从例如记录介质1406获取由用户指定的图像数据及与其相对应的RAW数据集(步骤S1702)。然后，CPU 1401控制压缩/解压缩单元1412以对图像数据(在必要的情况下也对RAW数据集)进行解码处理，并且将解码图像数据和RAW数据集存储在RAM 1402的预定区域中(步骤S1703)。

在步骤S1702中获取的数据不需要是由摄像设备1300拍摄的拍摄数据或生成的图像数据，并且可以是例如由其他摄像设备或图像处理装置存储在记录介质1406上的数据。然而，在该情况下，需要另外获取与要获取的RAW数据相关的摄像参数和照相机设计参数。

接下来，CPU 1401从RAW数据集读取摄像参数和相照相机参数，并且从图像数据读取图像生成参数(步骤S1704)。然后，CPU 1401从图像生成参数生成单元1411获取可以改变图像生成参数的范围(S1705)。图像生成参数包括拍摄后的图像的变焦倍率或景深(或有效F值)。

接下来，CPU 1401控制CG生成单元1407和显示控制单元1404以显示由图像数据表示的图像并且将用于在可改变范围内改变图像生成参数的图形用户界面(GUI)显示在监视器1413上(步骤S1706)。参照在监视器1413显示的图像，用户例如在提供期望图像的情况下在GUI上按下判定按钮，或例如在改变图像生成参数的情况下操作GUI并在GUI上按下改变按钮。

CPU 1401确定用户操作是按下判定按钮还是改变图像生成参数(步骤S1707)。在按下判定按钮的情况下，CPU 1401确定拍摄了用户期望的图像数据并且终止再合成处理。

如果用户操作改变图像生成参数，则CPU 1401控制数字信号处理单元1408以生成通过根据由用户经由GUI指定的图像生成参数对RAW数据集进行显影以及合成处理而获得的图像数据(步骤S1708)。然后，CPU1401将处理返回到步骤S1706以将由再合成图像数据表示的图像显示在GUI上。

CPU 1401根据步骤S1707中的确定来确定在再合成处理之后是否按下判定按钮(步骤S1709)。在步骤S1709中确定在再合成处理之后按下了判定按钮的情况下，CPU 1401通过与输出初始图像数据时的处理类似的处理输出再合成图像数据(步骤S1710)。然后，再合成处理完成。

<图像合成处理>

将简要描述数字信号处理单元1408的显影处理之中的合成多个RAW数据的处理(下文中被简称为图像合成处理)。在本实施例的图像合成处理中，通过将由多视点图像生成景深较浅的图像的合成孔径方法与电子变焦相结合，来合成具有期望景深及变焦倍率的图像。

如图13所示，摄像单元1301至1369的位置各不相同，并且从摄像单元1301至1369输出的RAW数据集形成所谓的多视点图像。根据需要对各图像数据进行滤波处理，并且在将焦点调节到期望距离(下文中称为焦距)之后，对图像数据求和以生成景深较浅的合成图像。通常通过改变用于滤波处理的滤波器或改变用于合成的图像的数量来进行景深的调节。此外，可以根据诸如各摄像单元的位置和方向的照相机设计参数、以及诸如焦距的图像生成参数，来计算匹配图像所需的位移量。

电子变焦处理通常是图像再取样处理。在再取样处理中，根据再取样前后的图像之间的像素的位置关系，一般会产生一定程度的模糊。为了减少模糊的影响，在具有比与要输出的变焦倍率相对应的视角更宽的视角的图像之中，优选使用具有最小视角的多个图像。然而，如果噪声的减少优先于模糊的影响的减少，则可以使用具有除上述视角以外的多个视角的图像。

孔径合成处理和电子变焦处理中的匹配实质上是对图像再取样及求和的处理，因此能够同时进行。换句话说，可以在考虑匹配图像的同时进行图像的再取样。在这种情况下，可以省略输出图像的视角的范围之外的区域的处理。再取样处理生成经过匹配并且在期望的视角具有期望的像素数量的图像组。通过进一步对进行滤波处理之后的图像组进行求和来获取输出图像。当使用具有多个视角的图像时，为了减少模糊的影响，在对图像求和时设置加权。例如，可以通过对具有比与输出图像相对应的视角更宽的视角的图像(即，低分辨率和模糊的图像)设置相对较小的权重来减小模糊的影响。

<实施例的基本构思>

在上文中，已经描述了实施例4的结构、摄像处理、包括摄像后的图像数据的再合成处理的整体处理。在下文中，将描述本实施例的基本构思。图18A至18C示出通常的大直径变焦镜头中视角、焦距、及光瞳直径之间的关系。图18A示出通过进行变焦F值不改变的变焦镜头的情况。由于F值是焦距与光瞳直径的比，所以在F值恒定的情况下，光瞳直径与焦距成比例地增加。图18B示出F值随着接近望远侧而略微增加的情况。在这种情况下，焦距越长，光瞳直径变得越宽。图18C示出光瞳直径不论变焦都恒定的变焦镜头的情况。在这种情况下，由于F值也与焦距成比例，因此，例如10倍变焦导致针对广角端的F值增加10倍。作为照相机的变焦镜头，诸如图18A或18B所示的是常见的。诸如图18B所示的具有可变F值的常用变焦镜头的广角端和望远端之间的F值的差最多约1.7倍。

使用照相机获取的图像的景深，换句话说，在焦点以外的位置的模糊的尺寸取决于光瞳的尺寸。简单地说，如果针对相同视角，光瞳的尺寸被减少到1/10，则模糊的尺寸也减少到1/10。因此，在10倍变焦镜头的望远端的图像中，例如，使用图18C所示的变焦镜头的图像的模糊的尺寸是使用图18A所示的常用变焦镜头的图像的模糊尺寸的1/10。广角端可以提供与图18A所示的模糊尺寸类似的模糊尺寸，因此，导致诸如图18C所示的针对变焦镜头的景深的平衡较差。因此，诸如图18C所示的变焦镜头不优选作为用于照相的镜头。前述是常用的单镜头照相机的示例性情况。

对于照相机阵列，模糊尺寸也同样取决于光瞳尺寸。在照相机阵列的情况下，可以考虑聚集具有小光瞳的小型照相机构成大光瞳。图19示出了具有以下结构的照相机的外观，其中排列具有不同视角的单焦点照相机构成的常用照相机阵列被视为一个单变焦照相机，并且进一步设置多个单变焦照相机。由图19中的实线描绘的圆表示各摄像单元。圆的尺寸表示视角的差，较大的圆表示望远镜头。以不同视角设置的2×2矩阵中的四个摄像单元构成与单变焦照相机相对应的单个单元。图19所示的摄像设备具有以十字形状设置的12个这样的单元。因此，可以通过改变具有相同视角的拍摄单元组来拍摄不同变焦的图像。由虚线描绘的圆指示针对各视角的摄像单元组的范围，1901是最远的望远摄像单元组，1902是具有下一最高变焦倍率的视角的摄像单元组。1903是具有再下一变焦倍率的视角的摄像单元组的范围，1904表示具有最广视角的摄像单元组的范围。摄像单元组的范围对应于图18A至18C所示的光瞳尺寸。使用图19所示的常见摄像单元的结构，摄像单元组的范围不论视角都大致恒定。换句话说，该照相机阵列的景深的平衡不好。

为了使照相机阵列具备与图18A或18B所示的变焦镜头相关联的景深的平衡，可以在更宽的范围设置具有较窄视角的照相机，使得具有较窄视角的照相机具有较大的有效光瞳直径。这是本实施例的基本构思。例如，摄像单元可以被配置为使得由具有第一视角的一个或多个第一摄像单元组形成的光瞳直径大于由具有比第一视角更宽的第二视角的一个或多个第二摄像单元组形成的光瞳直径。

这里，作为图18A至18C的任一个中未示出的示例，可以考虑视角越窄，F值越小的情况。虽然非常难以制造这种大直径的变焦镜头，但在照相机阵列中，在更宽的范围中设置具有窄视角的照相机可以使得能够支持该变焦镜头。一般来说，广角镜头通常是用于拍摄风景，因此可以具有深景深，为了在从标准到望远侧的范围中的视角强调被摄体，浅景深的镜头是优选的。因此，望远侧的F值略微小于广角侧的F值的镜头也不是非常不适合作为用于照相的镜头。

<摄像单元的结构及其组合>

为了提供廉价的变焦功能，在本实施例中的摄像单元的视角不完全相同。例如，在图13所示的具有69个镜头的示例性照相机阵列中，存在四种类型视角的摄像单元1301至1369，其中摄像单元1301至1304、摄像单元1305至1309、摄像单元1310至1323以及摄像单元1324至1369分别具有相同的视角。然而，即使所有摄像单元1301至1369的视角相同，它们也不是必须有相同尺寸的成像传感器。换句话说，即使存在不同尺寸的成像传感器，根据能够由摄像单元的焦距覆盖的距离，视角是相同的。优选的是，具有相同视角的摄像单元具有相同数量的像素以简化图像处理。此外，各摄像单元的F值可以不同，并且各摄像单元的镜头的尺寸可以不同。在图13的示例中，从窄到宽以摄像单元1301至1304、摄像单元1305至1309、摄像单元1310至1323、及摄像单元1324至1369的顺序设置视角。

在本实施例中，如图13所示，在更宽的范围中设置具有较窄视角的摄像单元。可以通过具有相同的视角的摄像单元的位置距重心的标准偏差(σxj，σyj)来评价能够布置摄像单元的范围。设(x_ji，y_ji)是具有视角j的第i个摄像单元的位置，可以如下计算具有视角j的摄像单元的位置的重心(x_gj，y_gj)。

x_{gj} = \frac{1}{N_{j}} Σ_{i}^{N_{j}} x_{ji}

式(12)

y_{gj} = \frac{1}{N_{j}} Σ_{i}^{N_{j}} y_{ji}

式(13)

可以由下式计算出标准偏差(σ_xj，σ_yj)。

σ_{xj} = \sqrt{\frac{1}{N_{j}} Σ_{i}^{N_{j}} {(x_{ji} - x_{gj})}^{2}}

式(14)

σ_{yj} = \sqrt{\frac{1}{N_{j}} Σ_{i}^{N_{j}} {(y_{ji} - y_{gj})}^{2}}

式(15)

标准偏差(具有长度次元的量)与由具有视角j的所有多个摄像单元构成的光瞳的尺寸相关。因此，摄像单元被设置为使得视角j越窄，各标准偏差(σ_xj，σ_yj)越大。此外，由于通常的照相机的光瞳形状通常是圆形或多边形，所以摄像单元的设置优选为近似圆形或多边形。与之相反，如果线性设置摄像单元，则合成后的图像中噪声易叠加，因而不优选。换句话说，期望摄像单元以使得摄像单元的位置x_ji和y_ji的相关系数变小的方式来排列。这里，假设用于计算重心或标准偏差的x轴和y轴相互正交。

此外，如图20所示，存在如下情况：在与其他摄像单元略微分离的位置安装摄像单元1373，以主要用于生成3D图像或测量距离。可能存在如下情况：由摄像单元1373拍摄的图像不直接用于孔径合成处理，或仅添加至具有非常小的权重的输出图像。在该情况下，优选地从重心的计算中去除摄像单元1373。换句话说，例如，即使摄像单元1373被如图20所示配置，在对要合成的图像的影响轻微的情况下，也不必考虑摄像单元1373的存在。换句话说，例如，即使图20所示的方面也可以包括在本实施例中的范围中。

此外，各摄像单元不必设置在图13所示的晶格上，并且可以如图21随机设置。图21中的圆表示各摄像单元，较大的圆表示更宽视角的摄像单元。

如以上所述，通过在更宽的范围设置具有较窄视角的摄像单元以使光瞳的有效尺寸在望远侧较大，相比于广角侧，在望远侧更能使有效F值减小或大致相等。因此，可以提供景深与常用变焦镜头类似的图像，从而可以解决在望远侧的景深比广角镜侧更深并且景深的平衡比广角侧更差的问题。

(其它实施例)

此外，本发明还能够通过进行以下处理来实施。即，实施上述实施例的功能的软件(程序)被经由网络或各种存储介质提供给系统或设备，并且系统或设备的计算机(CPU、MPU等)读取并且执行该程序的处理。

本发明的各方面还可以通过读出并执行记录在存储设备上的用于执行上述实施例的功能的程序的系统或装置的计算机(或诸如CPU或MPU的设备)来实现，以及通过由系统或装置的计算机通过例如读出并执行记录在存储设备上的用于执行上述实施例的功能的程序来执行各步骤的方法来实现。鉴于此，例如经由网络或者从用作存储设备的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims

1.一种包括多个摄像单元的摄像设备，其中，

在所述多个摄像单元之中，具有第一视角的一个或多个摄像单元的数量大于具有比所述第一视角更宽的视角的一个或多个摄像单元的数量。

2.根据权利要求1所述的摄像设备，其中，在所述多个摄像单元之中，由具有第一视角的一个或多个摄像单元总共接收的光量大致等于由具有作为另一视角的第二视角的一个或多个摄像单元总共接收的光量。

3.一种包括生成单元的图像处理装置，所述生成单元被配置为通过合成从多个摄像单元获得的拍摄数据来生成图像数据，其中，

4.根据权利要求3所述的图像处理装置，其中，在所述多个摄像单元之中，由从具有第一视角的一个或多个摄像单元获得的拍摄数据总共接收的光量大致等于由从具有作为另一视角的第二视角的一个或多个摄像单元获得的拍摄数据总共接收的光量。

5.一种包括多个摄像单元的摄像设备，其中，

在所述多个摄像单元之中，由具有第一视角的一个或多个摄像单元总共接收的光量大致等于由具有作为另一视角的第二视角的一个或多个摄像单元总共接收的光量。

6.根据权利要求5所述的摄像设备，所述摄像设备还包括：

摄像参数获取单元，其被配置为获取与接收的光量相关的各摄像单元中的摄像参数；以及

控制单元，其被配置为进行控制，以通过改变所获取的、具有所述第一视角的摄像单元中的摄像参数，使得由具有所述第一视角的摄像单元总共接收的光量大致等于由具有所述第二视角的摄像单元总共接收的光量。

7.根据权利要求6所述的摄像设备，其中，在改变具有所述第二视角的摄像单元中的摄像参数的情况下，由所述控制单元进行所述控制。

8.根据权利要求6所述的摄像设备，其中，所述摄像参数包括表示光圈和焦点的值中的至少一个。

9.一种包括生成单元的图像处理装置，所述生成单元被配置为通过合成从多个摄像单元获得的拍摄数据来生成图像数据，其中，

在所述多个摄像单元中，由从具有第一视角的一个或多个摄像单元获得的拍摄数据总共接收的光量大致等于由从具有作为另一视角的第二视角的一个或多个摄像单元获得的拍摄数据总共接收的光量。

10.根据权利要求9所述的图像处理装置，所述图像处理装置还包括：

控制单元，其被配置为进行控制，以通过改变所获取的、具有所述第一视角的摄像单元中的摄像参数，使得在所述多个摄像单元之中，由从具有所述第一视角的一个或多个摄像单元获得的拍摄数据总共接收的光量大致等于由从具有作为另一视角的第二视角的一个或多个摄像单元获得的拍摄数据总共接收的光量。

11.根据权利要求10所述的图像处理装置，其中，在改变具有所述第二视角的摄像单元中的摄像参数的情况下，由所述控制单元进行所述控制。

12.根据权利要求10所述的图像处理装置，其中，所述摄像参数包括表示光圈和焦点的值中的至少一个。

13.一种图像处理装置，所述图像处理装置包括：

拍摄数据获取单元，其被配置为获取从多个摄像单元获得的多个拍摄数据；

选择单元，其被配置为从所获取的多个拍摄数据中选择第一拍摄数据集，使得由拍摄了所获取的第一拍摄数据集的摄像单元总共接收的光量大致等于拍摄了与所述第一拍摄数据集不同的第二拍摄数据集的摄像单元总共接收的光量；以及

生成单元，其被配置为通过合成所选择的第一拍摄数据集的拍摄数据来生成图像数据。

14.一种包括生成步骤的图像处理方法，所述生成步骤通过合成从多个摄像单元获得的拍摄数据来生成图像数据，其中，

15.一种包括生成步骤的图像处理方法，所述生成步骤通过合成从多个摄像单元获得的拍摄数据来生成图像数据，其中，

在所述多个摄像单元之中，由从具有第一视角的一个或多个摄像单元获得的拍摄数据总共接收的光量大致等于由从具有作为另一视角的第二视角的一个或多个摄像单元获得的拍摄数据总共接收的光量。

16.一种图像处理方法，所述图像处理方法包括以下步骤：

获取从多个摄像单元获得的多个拍摄数据；

从所获取的多个拍摄数据中选择第一拍摄数据集，使得由拍摄了所获取的第一拍摄数据集的摄像单元总共接收的光量大致等于拍摄了与所述第一拍摄数据集不同的第二拍摄数据集的摄像单元总共接收的光量；以及

通过合成所选择的第一拍摄数据集的拍摄数据来生成图像数据。

17.一种具有多个摄像单元的摄像设备的制造方法，其中，

18.一种具有多个摄像单元的摄像设备的制造方法，其中，

19.一种包括多个摄像单元的摄像设备，其中，

所述多个摄像单元被配置为使得在所述摄像单元之中，由具有第一视角的一个或多个第一摄像单元组构成的光瞳直径大于由具有比所述第一视角更宽的第二视角的一个或多个第二摄像单元组构成的光瞳直径。

20.根据权利要求19所述的摄像设备，其中，所述多个摄像单元被设置为圆形。

21.根据权利要求19所述的摄像设备，其中，所述多个摄像单元被设置为多边形。

22.根据权利要求20所述的摄像设备，其中，所述多个摄像单元被设置为使得互相关系数变小。

23.根据权利要求19所述的摄像设备，所述摄像设备还包括合成单元，该合成单元被配置为合成由所述多个摄像单元拍摄的多个拍摄数据。

24.一种包括多个摄像单元的摄像设备，其中，

所述多个摄像单元被配置为使得在所述摄像单元之中，由具有第一视角的一个或多个第一摄像单元组构成的光瞳直径小于由具有比所述第一视角更窄的第二视角的一个或多个第二摄像单元组构成的光瞳直径。

25.一种包括多个摄像单元的摄像设备，其中，

在所述摄像单元之中，具有第一视角的一个或多个第一摄像单元组被设置在比具有比所述第一视角更宽的第二视角的一个或多个第二摄像单元组更宽的区域中。

26.一种包括多个摄像单元的摄像设备，其中，

在所述摄像单元之中，具有第一视角的一个或多个第一摄像单元组被设置在比具有比所述第一视角更窄的第二视角的一个或多个第二摄像单元组更窄的区域中。

27.一种包括多个摄像单元的摄像设备，其中，

在所述摄像单元之中，所述多个摄像单元被设置为使得距具有第一视角的一个或多个第一摄像单元组的重心的标准偏差大于距具有比所述第一视角更宽的第二视角的一个或多个第二摄像单元组的重心的标准偏差。

28.一种包括多个摄像单元的摄像设备，其中，

在所述摄像单元之中，所述多个摄像单元被设置为使得距具有第一视角的一个或多个第一摄像单元组的重心的标准偏差小于距具有比所述第一视角更窄的第二视角的一个或多个第二摄像单元组的重心的标准偏差。