CN101800854B - 图像拾取装置 - Google Patents

Abstract

本发明涉及一种图像拾取装置，包括：图像拾取透镜、图像拾取器件、微透镜阵列、图像处理部以及数据存储部，其中，该图像处理部基于由该图像拾取器件获取的图像拾取数据通过对像素数据进行合成来产生多个任意视点图像，这些像素数据是从位于与包括在该微透镜阵列中的每个微透镜相对应的每个图像区域中的相同位置处的多个像素中提取的，任意视点图像被存储在该数据存储部中，并且记录在彼此相邻的像素位置处的多个像素数据作为一个读出单位从存储在该数据存储部中的每个任意视点图像中被一起读出，并且对读出的像素数据进行预定的分类处理和预定的积分处理，从而产生重聚焦图像。

Description

图像拾取装置

相关申请的交叉参考

本申请包含于2009年2月5日在日本专利局提交的日本优先权专利申请JP2009-024469中所披露的相关的主题内容，其全部内容结合于此作为参考。

技术领域

本发明涉及一种使用图像拾取透镜和图像拾取器件的图像拾取装置。

背景技术

迄今为止，已提出并研发了多种图像拾取装置。还提出了一种图像拾取装置，该图像拾取装置对通过拾取图像所获取的图像拾取数据进行预定的图像处理，以输出处理的图像拾取数据。

例如，国际专利公开号06/039486和在2005年2月斯坦福技术报告CTSR上Ren.Ng等人的“使用手持式全光照相机的光场摄影(Light Field Photography with a Hand-Held Plenoptic Camera)”中各自提出了使用称为“光场摄影”技术的一种图像拾取装置。该图像拾取装置包括作为主透镜的图像拾取透镜、微透镜阵列和图像拾取器件，在该图像拾取器件中二维排列多个像素。此外，多个像素分配给一个微透镜，并且从该图像拾取器件获取的图像拾取数据包括在光接收平面上的光的强度分布、以及有关光传播方向的信息。由此，允许图像处理部重建一个从任意视点或方向(以下简称为“视场”)或者任意聚光点(焦点)看到的图像。

发明内容

在通过这种技术所获取的图像拾取数据中，最终显示为一个像素的信息根据光的传播方向被分为多个像素，然后存储。因此，典型地，当试图获取高清晰度的图像时，图像拾取数据的量会变得庞大。

因此，为了从任意焦点来重建图像(重聚焦图像)，在此过程中从存储图像拾取数据的存储器件中传输大量数据。此外，如上所述，最终对应于一个像素的信息被分为多个像素，然后被存储，所以有必要从存储器件上的离散地址中采集像素数据，这些地址是基于聚焦位置而计算出的。在这种情况下，每个像素数据均不具有位置，所以很难通过高速缓冲存储器等来减小数据传输次数。此外，即使通过例如DMA(直接存储器存取)来传输数据，与数据从连续地址中传输的情况相比，在数据从非连续地址中传输的情况下，需要非常大的循环次数。

因此，在背景技术中的图像拾取装置中，在基于获取的图像拾取数据来产生从任意焦点设置的图像(重聚焦图像)以便进一步包括有关光线传播方向的信息的情形中，产生这种图像是费时的。因此，希望以更高的速度来产生图像。

我们希望提供一种图像拾取装置，使该图像拾取装置能够基于获取的图像拾取数据以高于背景技术中的速度来产生从任意焦点设置的图像，以便进一步包括有关光线传播方向的信息。

根据本发明的实施例，提供了一种图像拾取装置，包括：图像拾取透镜；图像拾取器件，基于接收的光获取图像拾取数据；包括多个微透镜的微透镜阵列，并且该微透镜阵列设置在图像拾取透镜与图像拾取器件之间、图像拾取透镜的焦平面上，每个微透镜设置成与该图像拾取器件的多个像素相对应；图像处理部，基于从该图像拾取器件获取的图像拾取数据执行预定的图像处理，以产生重建图像；以及数据存储部，用于在由该图像处理部进行的图像处理过程中对图像拾取数据进行存储。此外，当上述图像处理部基于图像拾取数据来产生作为从任意焦点设置的重建图像的重聚焦图像时，通过合成从位于与每个微透镜相对应的每个图像区域中的相同位置处的像素中提取的像素数据，来基于图像拾取数据产生多个任意视点图像，并且这些任意视点图像存储在数据存储部中，以及记录在彼此相邻的像素位置处的多个像素数据作为一个读出单位从存储在该数据存储部中的每个任意视点图像中被一起读出，并且对读出的像素数据进行预定的分类处理和预定的积分处理，从而产生该重聚焦图像。

在根据本发明实施例的图像拾取装置中，包含光线传播方向的图像拾取数据是通过上述图像拾取透镜、上述微透镜阵列和上述图像拾取器件获取的，并且执行预定的图像处理以便基于该图像拾取数据产生重建的图像。此时，在图像处理过程中图像拾取数据被存储在该数据存储部中。为了基于图像拾取数据产生上述重聚焦图像，上述多个任意视点图像基于该图像拾取数据而产生，并且这多个任意视点图像被存储在该数据存储部中。然后，记录在彼此相邻位置处的多个像素数据从存储在数据存储部中的每个任意视点图像中被一起读出，并且对读出的这些像素数据进行预定的分类处理和预定的积分处理，以便产生上述重聚焦图像。这多个任意视点图像基于要存储在该数据存储部中的图像拾取数据以这样的方式产生，然后记录在彼此相邻的像素位置处的多个像素数据从每个任意视点图像中被一起读出，从而从该数据存储部中传输数据的次数(数据传输循环次数)小于背景技术中的次数，这些数据传输对产生重聚焦图像是必要的。

在根据本发明实施例的图像拾取装置中，为了基于从图像拾取器件获取的图像拾取数据来产生重聚焦图像，多个任意视点图像基于要存储在数据存储部中的图像拾取数据而产生，然后在彼此相邻的像素位置处记录的多个像素数据从每个任意视点图像中被一起读出。因此，数据传输次数小于背景技术中的次数，这些数据传输对基于这多个像素数据而产生重聚焦图像是必要的。从而，使从任意焦点设置的图像(重聚焦图像)能够基于获取的图像拾取数据以高于背景技术中的速度来产生，以便进一步包括有关光线传播方向的信息。

本发明的其他目的、特征和优点从以下说明中将更加全面地体现出来。

附图说明

图1是根据本发明实施例的图像拾取装置的整个结构的示意图。

图2A和图2B是对图像拾取透镜和微透镜阵列的F数的设置进行说明的示意图。

图3是图1所示的图像处理部的具体结构的功能框图。

图4是图1所示的图像拾取器件上的光接收区域的平面图。

图5是用于说明关于进入图像拾取器件中的光线的信息的示意图。

图6是用于说明由图3所示的重建图像合成部进行重聚焦运算处理的示意图。

图7是根据对比实例的在背景技术中的图像拾取装置中的重聚焦运算处理实例的流程图。

图8是根据图7所示的对比实例在重聚焦运算处理过程中的像素数据的排列实例的示意图。

图9是在根据图7所示的对比实例的重聚焦运算处理中所用的图像拾取数据的实例的照片。

图10是根据本实施例的重聚焦运算处理实例的流程图。

图11是根据图10所示的实施例在重聚焦运算处理过程中的像素数据的排列实例的示意图。

图12是根据图10所示的实施例的重聚焦运算处理中所用的图像拾取数据的实例的照片。

图13A和图13B是根据本发明实施例的图像拾取装置的应用实例1的数码相机的外部结构的示意图。

图14A和图14B是根据本发明的变形例在重聚焦运算处理中用于对任意视点图像中的像素数据的共同的传输单位进行描述的示意图。

具体实施方式

下面将参照附图对优选实施例进行详细说明。下面将按照以下顺序给出说明。

1、实施例(使用任意视点图像的高速重聚焦运算处理的实例)

2、图像拾取装置的应用实例(应用实例1：数码相机，应用实例2：3D显示器)

3、变形例

1、实施例

图像拾取装置的整个结构实例

图1示出了根据本发明实施例的图像拾取装置(图像拾取装置1)的整个结构。图像拾取装置1对图像拾取对象(物体)2的图像进行拾取，以输出图像数据Dout。图像拾取装置1从对象2开始依次包括孔径光阑10、图像拾取透镜11、微透镜阵列12和图像拾取器件13。此外，图像拾取装置1还包括图像处理部14、图像拾取器件驱动部15、控制部16和数据存储部17。

孔径光阑10是图像拾取透镜11的光学孔径光阑。例如，孔径光阑10的孔径10A的形状是如图1所示的圆形，图像拾取对象2的图像(后面将要描述的单位图像)具有与孔径光阑10的孔径形状相似的形状，并且该图像通过每个微透镜形成在图像拾取器件13上。

图像拾取透镜11是用于拾取对象2的图像的主透镜，例如，它由用于摄影机、照相机等的典型的图像拾取透镜构成。

微透镜阵列12由二维排列的多个微透镜构成，并且该微透镜阵列设置在图像拾取透镜11的焦平面(成像平面；附图中的参考符号fl表示图像拾取透镜11的焦距)上。例如，每个微透镜具有一种圆形平面形状，又例如，这些微透镜由固体透镜、液晶透镜、衍射透镜等构成。

在这种情况下，图像拾取透镜11的F数F_ML和微透镜阵列12的F数F_MLA优选为基本上彼此相等。如图2A所示，在图像拾取透镜11的F数F_ML小于微透镜阵列12的F数F_MLA(F_ML＜F_MLA)的情况下，来自相邻微透镜的图像拾取光线彼此重叠。当图像拾取光线以这种方式彼此重叠时会发生串扰，从而导致重建图像的图像质量下降。另一方面，如图2B所示，在图像拾取透镜11的F数F_ML大于微透镜阵列12的F数F_MLA(F_ML＞F_MLA)的情况下，一些图像拾取像素没有接收到来自微透镜的图像拾取光线。当这种图像拾取像素出现时，难以充分使用图像拾取像素，并且重建图像中的像素数减少。本发明并不局限于这些F数彼此严格相等的情况，而可以包括这些F数具有误差等的情况。

图像拾取器件13接收来自微透镜阵列12的光以获取图像拾取数据D0，并且设置在微透镜阵列12的焦平面(附图中的参考符号f2表示微透镜阵列12的焦距)上。图像拾取器件13包括以矩阵形式二维排列的多个像素(后面将描述的像素P)，例如，每个像素由CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)等构成。

在该图像拾取器件13的光接收平面(靠近微透镜阵列12的平面)上，以矩阵的形式排列M×N(M和N均为整数)个像素，并且多个像素被分配给微透镜阵列12中的一个微透镜。例如，在光接收平面上的像素数是M×N＝3720×2520＝9374400。在这种情况下，分配给一个微透镜的像素数(m×n)就是重建图像的分辨率，后面将描述从任意视场观看的该重建图像。因此，从任意视场或任意聚光点观看的该重建图像的分辨率随着值m和n的增加而增加。另一方面，由于值(M/m)和(N/n)是该重建图像的像素数(分辨率)，所以该重建图像中的像素数随着值(M/m)和(N/n)的增加而增加。因此，在从任意视场观看的该重建图像的分辨率与像素数之间存在一个平衡关系。

图像处理部14响应于下文将要描述的控制部16提供的控制信号Sout对从图像拾取器件13中获取的图像拾取数据D0进行预定的图像处理，以便产生并输出图像拾取数据Dout。更具体地，例如，图像处理部14利用称为“光场摄影”的技术来进行运算处理(预定的分类处理等)，以便产生从任意视场或任意焦平面设置的可见图像(重建图像)。下文将对图像处理部14的结构进行详细描述(参照图3)。

数据存储部17是用于在图像处理部14进行上述图像处理的过程中对图像拾取数据进行存储的存储部。例如，数据存储部17由多种存储器，如DRAM(动态随机存取存储器)或者SRAM(静态随机存取存储器)中的任何一种构成。

图像拾取器件驱动部15对图像拾取器件13进行驱动，并且对图像拾取器件13的光接收操作进行控制。

控制部16对图像处理部14和图像拾取器件驱动部15的操作进行控制，该控制部由例如微计算机等构成。

图像处理部的具体结构实例

接着，参照图3，下面将对图像处理部14的具体结构进行描述。图3示出了图像处理部14的功能块结构以及数据存储部17。图像处理部14包括缺陷校正部140、钳位处理部141、分类部142、降噪部143、白平衡处理部144、重建图像合成部145和伽玛校正部146。

缺陷校正部140对从图像拾取器件13中获取的图像拾取数据D0中包括的缺陷(如损失或无效)(由图像拾取器件13中的异常引起的缺陷)进行校正。

钳位处理部141对经过缺陷校正部140进行的缺陷校正所获取的图像拾取数据进行设置每个像素数据的黑电平的处理(钳位处理)。

分类部142对由钳位处理部141提供的图像拾取数据(图像数据)D1执行预定的分类处理，以便获取包含与从多个视点观看的图像相对应的多个任意视点图像的图像拾取数据(图像数据)D2。这种任意视点图像是通过对像素数据进行合成而产生的，这些像素数据是从位于图像拾取器件13上接收的单位图像(后面将要描述的重建像素区域13D中的图像)中的相同位置处的像素P提取的。因此，产生的任意视点图像数等于分配给一个微透镜的像素数。

在本实施例中，以这样的方式产生的每个任意视点图像被存储在数据存储部17中，从而使得在每个任意视点图像中，来自多个像素P的像素数据(多个像素数据)被记录在彼此相邻的像素位置中。由此，在后面将要描述的重建图像合成部145进行的重聚焦运算处理中，与背景技术相比，数据传输循环次数减小。另外，在本发明中，分类部142对应于“任意视点图像生成部”的具体实例。后面将对这种任意视点图像进行详细描述(参照图10～图12)。

降噪部143执行减小包含在图像拾取数据D2中的噪声(例如，当在暗位置或具有不足感光度的位置拾取图像时生成的噪声)的处理，该图像拾取数据由分类部142提供。

白平衡处理部144对由降噪部143提供的图像拾取数据进行白平衡调节处理，以产生图像拾取数据D3。这种白平衡调节处理的实例包括调节色彩平衡的处理，色彩平衡受器件间的个体差异(如滤色器的透射特性的差异或图像拾取器件13的光谱灵敏度的差异)、照明条件等的影响。此外，可以对经过白平衡处理的图像拾取数据执行色彩插值处理(如，去马赛克处理)。

重建图像合成部145对白平衡处理部144提供的图像拾取数据D3执行预定的合成处理，例如，利用称为“光场摄影”技术的重聚焦运算处理。于是，通过这样的合成处理产生作为重聚焦图像的重建图像(图像拾取数据D4)。

在这种重聚焦运算处理中，在本实施例中，记录在彼此相邻的像素位置处的多个像素数据从存储在数据存储部17中的每个任意视点图像中被一起读出。然后，对读出的这些像素数据进行预定的分类处理和预定的积分处理，以产生上述的重聚焦图像。更具体地，在合成处理中，多个像素数据从每个任意视点图像中被依次传输多次，该传输次数等于任意视点图像数，并且对每个像素数据进行积分处理。此外，在本发明中，重建图像合成部145对应于“重聚焦图像生成部”的具体实例。下面将对这种重聚焦运算处理进行详细描述(参照图6和图10～图12)。

伽玛校正部146对重建图像合成部145提供的图像拾取数据D4进行预定的伽玛校正(色调或对比度校正)，以便产生图像拾取数据Dout。

图像拾取装置的功能和效果

接着，下面将对根据本实施例的图像拾取装置1的功能和效果进行描述。

图像拾取装置的基本功能

首先，参照图1～图6，下面将对图像拾取装置1的基本功能进行描述。

在图像拾取装置1中，如图4所示，通过图像拾取透镜11的对象2的图像的光通量被孔径光阑10窄化，然后对象2的图像形成在微透镜阵列12上。于是，入射到微透镜阵列12上的光线穿过微透镜阵列12以被图像拾取器件13接收。这时，入射到微透镜阵列12上的光线根据这些入射光线的传播方向在图像拾取器件13上的不同位置处(不同像素P)被接收。更具体地，例如，如图4所示，对于每个微透镜，形成图像拾取对象2的图像(单位图像)13-1，该图像具有与孔径光阑10的孔径形状(在这种情况下是圆形形状)相似的形状。此外，单位图像13-1，即，由分配给一个微透镜的像素P所构成的区域(重建像素区域13D)对应于重建图像的一个像素。

现在，参照图5，下面将对由图像拾取器件13接收的光线进行描述。首先，在图像拾取透镜11的图像拾取透镜平面上定义直角坐标系(u，v)，并且在图像拾取器件13的图像拾取平面上定义直角坐标系(x，y)。在图像拾取透镜11的图像拾取透镜平面与图像拾取器件13的图像拾取平面之间的距离定义为“F”。然后，如图所示的穿过图像拾取透镜11和图像拾取器件13的光线L1由4D函数L_F(x，y，u，v)来表示。因此，有关光线L1传播方向的信息连同有关光线L1位置的信息被记录到图像拾取器件13中。即，光线的入射方向是由分配给每个微透镜的多个像素P的排列来确定的，从而获取了包含光线传播方向的图像拾取数据D0。

当以这样的方式由图像拾取器件13接收光时，响应于图像拾取器件驱动部15的驱动操作从图像拾取器件13中获取图像拾取数据D0，并且图像拾取数据D0被输入到图像处理部14中。图像处理部14响应于对控制部16的控制对图像拾取数据D0进行预定的图像处理(分类处理)。例如，为了重建从任意视场观看的图像(任意视点图像)，对像素数据执行合成处理，这些像素数据是从位于对应于每个微透镜的每个区域中的相同位置处的多个像素提取的。此外，为了重建从任意焦点(聚光点)观看的图像，对像素数据进行分类处理和积分处理。此时，在图像处理过程中，图像拾取数据暂时存储在数据存储部17中。从任意视场或任意焦点观看的重建图像被作为图像拾取数据Dout由这种图像处理输出。

更具体地，当在本实施例中图像拾取数据D0输入到图像处理部14中时，首先，缺陷校正部140执行缺陷校正，然后钳位处理部141执行钳位处理。接着，分类部142执行分类处理，然后降噪部143执行降噪处理，白平衡处理部144执行白平衡处理。由此，图像拾取数据D3被输入到重建图像合成部145中。

接着，如上所述，例如，重建图像合成部145利用称为“光场摄影”的技术执行分类处理并对图像拾取数据D3执行积分处理(重聚焦运算处理)，以产生重建图像(图像拾取数据D4)。

更具体地，如图6所示，由重聚焦因数α定义的重聚焦平面120上的坐标(s，t)的图像拾取平面130上的检测强度L_F′由下面的公式(1)来表示。此外，在重聚焦平面120上获取的图像E_F′(s，t)是通过对上述的关于透镜孔径的检测强度L_F′进行积分而获取的值，所以图像E_F′(s，t)通过下面的公式(2)来表示。因此，基于公式(2)执行重聚焦运算处理，以便重建从任意焦点(由重聚焦因数α确定的重聚焦平面120)设置的图像(重聚焦图像)。此外，附图中的图像拾取透镜平面110表示图像拾取透镜11的图像拾取透镜平面。

数学公式1

$L_{F^{,}}(s,t,u,v)=L_{(\mathrm{\α}\·F)}(s,t,u,v)$

$=L_F(u+\frac{s-u}{\mathrm{\α}},v+\frac{t-v}{\mathrm{\α}},u,v)$

$=L_F\{u(1-\frac{1}{\mathrm{\α}})+\frac{s}{\mathrm{\α}},v(1-\frac{1}{\mathrm{\α}})+\frac{t}{\mathrm{\α}},u,v\}......\left(1\right)$

$E_{F^{,}}(s,t)=\frac{1}{F^{,2}}\∫\∫L_{F^{,}}(s,t,u,v)\mathrm{dudv}$

$=\frac{1}{{\mathrm{\α}}^2{F}^2}{\∫\∫L}_F\{u(1-\frac{1}{\mathrm{\α}})+\frac{s}{\mathrm{\α}},v(1-\frac{1}{\mathrm{\α}})+\frac{t}{\mathrm{\α}},u,v\}\mathrm{dudv}......\left(2\right)$

然后，伽玛校正部149对以这样的方式产生的重建图像的数据(图像拾取数据D4)进行伽玛校正。由此，产生图像拾取数据Dout，然后将该数据从图像处理部14中输出。

图像拾取装置的特征作用

接着，参照图7～图12，对照对比实例，将对根据本实施例的图像拾取装置1中的特征作用(主要是重聚焦运算处理)进行详细描述。图7～图9示出了根据对比实例在背景技术中的图像拾取装置(未示出)中的重聚焦运算处理。图10～图12示出了根据本实施例的图像拾取装置1中的重聚焦运算处理的实例。图7示出了根据对比实例的重聚焦运算处理的实例的流程图，图10示出了根据本实施例的重聚焦运算处理的实例的流程图。图9示出了用于根据对比实例的重聚焦运算处理的图像拾取数据的实例的照片，图12示出了用于根据本实施例的重聚焦运算处理的图像拾取数据(图像拾取数据包括多个任意视点图像)的实例的照片。

在以下说明中(图7、图8、图10和图11)，以包括M×N＝15×15＝225个像素P的图像拾取器件13(图像拾取数据D0～D3)作为实例。此外，m×n＝3×3＝9个像素P被分配到微透镜阵列12中的每个微透镜上。因此，微透镜阵列12中微透镜的数目为(15/3)×(15/3)＝5×5＝25。此外，作为后面将要描述的任意视点图像，呈现了9个任意视点图像V1～V9，并且5×5＝25个像素P形成每个任意视点图像。在每个图像拾取数据中的像素数据中，如图5所示，对由每个坐标系(x，y，u，v)(坐标轴)确定的4D坐标进行设置。

对比实例中的重聚焦运算处理

首先，在对比实例中的重聚焦运算处理中，将对以下情况进行描述，即，基于图8中的“A”、“B”和“C”表示的像素数据来产生重聚焦图像中的像素数据。更具体地，对由“A”、“B”和“C”表示的像素数据进行分类处理和积分处理，以便在附图中由参考符号Pa、Pb和Pc表示的像素位置处产生重聚焦图像中的像素数据。

首先，如图8所示，由“A”表示的9个像素数据位于彼此分离的像素位置处，所以在离散地址中的9个像素数据从该数据存储部传输到该重建图像合成部。然后，对这9个像素数据进行积分，之后除以9，从而在附图中由参考符号Pa表示的像素位置处产生重聚焦图像中的像素数据(见图7中的步骤S91)。

接着，如图8所示，由“B”表示的9个像素数据和由“C”表示的9个像素数据也位于彼此分离的像素位置处，所以在离散地址中由“B”表示的这9个像素数据和由“C”表示的这些像素数据从该数据存储部传输到该重建图像合成部。于是，对由“B”表示的这9个像素数据和由“C”表示的这9个像素数据积分，之后除以“9”，从而在附图中分别由参考符号Pb和Pc表示的像素位置处产生重聚焦图像中的像素数据(见步骤S92和S93)。由此，完成了图7中所示的重聚焦运算处理。于是，当重复这类处理时，就能产生整个重聚焦图像。

在对比实例中的重聚焦运算处理中，由最终形成一个像素的“A”、“B”和“C”等表示的像素数据被分成图像拾取数据D0和D1中的多个像素P，然后存储在数据存储部中。因此，为了产生重聚焦图像，有必要从该数据存储部中的离散像素位置(地址)来采集像素数据。因此，数据传输循环次数非常多(在这种情况下，9个循环×3＝27个循环)，所以传输效率非常低，因此产生重聚焦图像是费时的。

实施例中的重聚焦运算处理

另一方面，在本实施例中的重聚焦运算处理中，首先，在分类部142中，对图像拾取数据D1执行预定的分类处理，以便产生包括多个任意视点图像的图像拾取数据D2。更具体地，例如，对像素数据进行合成，以便产生任意视点图像，这些像素数据是从位于图8所示的重建像素区域13D的相同位置处的像素P中提取的。由此，例如，产生如图11和图12所示的多个任意视点图像。由图8中“A”、“B”和“C”的每一个所表示的每个像素数据具有以下4D坐标(x，y，u，v)。因此，坐标系(x，y)和坐标系(u，v)在图像拾取数据D0、D1(参照图8)与包括任意视点图像的图像拾取数据D2、D3(参照图11)之间进行转换(交换)，以产生如图11所示的任意视点图像V1～V9。

由“A”表示的像素：(x，y，u，v)＝(0，1，0，0)，(1，1，1，0)，(2，1，2，0)，(0，2，0，1)，(1，2，1，1)，(2，2，2，1)，(0，3，0，2)，(1，3，1，2)，(2，3，2，2)

由“B”表示的像素数据：(x，y，u，v)＝(1，1，0，0)，(2，1，1，0)，(3，1，2，0)，(1，2，0，1)，(2，2，1，1)，(3，2，2，1)，(1，3，0，2)，(2，3，1，2)，(3，3，2，2)

由“C”表示的像素数据：(x，y，u，v)＝(2，1，0，0)，(3，1，1，0)，(4，1，2，0)，(2，2，0，1)，(3，2，1，1)，(4，2，2，1)，(2，3，0，2)，(3，3，1，2)，(4，3，2，2)

然后，在本实施例中，图像拾取数据D2存储在数据存储部17中，从而在以这样的方式产生的每个任意视点图像V1～V9中，来自多个像素P的像素数据(多个像素数据)记录在彼此相邻的像素位置(地址)处。更具体地，在图像拾取数据D2中的每个任意视点图像V1～V9中，如图11中的参考符号P1～P9所表示的，图8所示的“A”、“B”和“C”表示的像素数据通过相同的排列存储在相邻且连续的像素位置(地址)处。此外，在这种情况下，具有由参考符号P1～P9表示的“ABC”排列的像素数据线在任意视点图像V1～V9中沿着x轴方向排列，并且像素数据线的位置在任意视点图像中的x轴方向和y轴方向上被依次移位。

因此，在本实施例中，接着，在重建图像合成部145中，利用包括此类任意视点图像V1～V9的图像拾取数据D2和D3来执行下面将要描述的重聚焦运算处理。具体而言，重建图像合成部145将多个像素数据作为一个读出单位而一起读出，这些像素数据存储在每个任意视点图像V1～V9中的彼此相邻的像素位置(地址)处。更具体地，由图11中的各参考符号P1～P9表示的像素数据“ABC”的组合(像素数据线)被认为是一个共同的传输单位，并且9个组合(9个单位)从任意视点图像中的离散地址中传输(图10中的步骤S11)。

然后，对来自“A”、“B”和“C”中的每一个的9个像素数据进行积分，然后除以9，从而产生在重聚焦图像中的像素数据(步骤S12～S14)。换句话说，重建图像合成部145对多个像素数据执行分类处理和积分处理以便产生重聚焦图像，这些像素数据从来自“A”、“B”和“C”中的每一个的像素数据中的任意视点图像V1～V9中读出。由此，完成了如图10所示的重聚焦运算处理。于是，当重复此类处理时，产生了形成图像拾取数据D4的整个重聚焦图像。

因此，在本实施例的重聚焦运算处理中，包括多个任意视点图像V1～V9的图像拾取数据D2是基于从图像拾取器件13中获取的图像拾取数据D0而产生的，然后将其存储在数据存储部17中。之后，存储在相邻像素位置(地址)中的多个像素数据从每个任意视点图像V1～V9中被一起读出，以便产生形成图像拾取数据D4的重聚焦图像。由此，从数据存储部17到图像处理部14的数据传输次数(数据传输循环次数)小于背景技术中的次数，这些数据传输对于产生重聚焦图像是必要的。更具体地，在对比实例中，9次数据传输×3＝27次数据传输是必要的，而在本实施例中，只有9次数据传输×1＝9次数据传输是必要的(在这种情况下，只有对比实例中数据传输次数的1/3是必要的)。

如上所述，在本实施例中，当重聚焦图像基于从图像拾取器件13所获取的图像拾取数据D0而产生时，多个任意视点图像V1～V9基于要存储在数据存储部17中的图像拾取数据D0而产生，然后，在相邻像素位置(地址)处记录的多个像素数据从任意视点图像V1～V9的每一个中被一起读出。因此，从数据存储部17中的数据传输次数小于背景技术中的次数，这些数据传输对基于这样的多个像素数据产生重聚焦图像是必要的。因此，允许从任意焦点设置的图像(重聚焦图像)基于获取的图像拾取数据D0以高于背景技术中的速度来产生，以便进一步包括有关光线传播方向的信息。

2、图像拾取装置的应用实例

根据本发明实施例的图像拾取装置作为图像拾取装置可应用于下面将要描述的数码相机3(应用实例1)和3D显示器(应用实例2)、便携式摄像机、位置传感器、生物传感器、光学显微镜、FTV(自由视点电视)等。

应用实例1

图13A和图13B为包括图像拾取装置1的数码相机3的结构示意图，图13A和图13B分别是正视图和侧视图。数码相机3包括在机壳中的根据上述实施例的图像拾取装置1，而快门181、闪光灯182、取景器光学系统183等设置在机壳300的顶部上。

应用实例2

此外，例如，根据本发明实施例的图像拾取装置可应用于立体系统3D图像显示。例如，如下面将要描述的，实现了典型的立体系统3D图像显示。例如，当由对应于人眼的两个照相机获取的右眼和左眼的两个图像(两个视差图像)同时投影在屏幕上，并且戴有一副偏振眼镜的用户看见屏幕上的图片时，实现了这样的3D图像显示。此时，作为右眼的投射光和左眼的投射光的相互正交的偏振光线被用在两个投影仪中，而对于偏振眼镜，只允许使用在右眼和左眼处相互正交的偏振光线穿过其中的偏振眼镜。由此，当右眼和左眼分别看到相对于右眼和左眼的图像时，用户认为这些图像是具有纵深感的立体图像。

在上述实施例中获取的图像用于这种立体系统3D显示的情况下，产生相对于右眼和左眼的两个任意视点图像(视差图像)，并且该产生的视差图像通过上述投影仪投影在屏幕上，然后由戴有一副偏振眼镜的用户观看这些图像，从而实现了3D图像显示。因此，无需使用两个照相机就可获取相对于右眼和左眼的视差图像。因此，具有简单结构和足够的显示质量的3D显示系统是可实现的。当然，相对于右眼和左眼的视差图像也可以通过使用两个照相机获取。

3、变型例

虽然参照本实施例和应用实例对本发明进行了描述，但是本发明并不局限于此，可以对其进行多种改进。

例如，在上述实施例等中，描述了以下情况，即，包括图11中由参考符号P1～P9表示的“ABC”排列的像素数据线在任意视点图像V1～V9中沿着x轴方向设置，但是本发明并不局限于此。更具体地，例如，如图14A所示的任意视点图像V11，包括由P11表示的“ABC”排列的像素数据线在任意视点图像V11中可以沿着y轴方向设置。此外，例如，如图14B所示的任意视点图像V12，包括由P12表示的“ABCD”排列的像素数据线在任意视点图像V12中可以沿着x轴方向和y轴方向设置。

此外，在上述实施例等中，将图像处理部14作为图像拾取装置1的一个部件进行了描述。然而，图像处理部不是必须安装在图像拾取装置中。更具体地，图像处理部可以安装在除了图像拾取装置之外的任何装置中，例如，PC(个人计算机)等，从而使得在图像拾取装置中获取的图像拾取数据被传输到PC上，并且在PC中对该图像拾取数据进行图像处理。

此外，在上述实施例等中，孔径光阑10设置在图像拾取透镜11的靠近图像拾取对象2的一侧(入射侧)处，但是本发明并不局限于此，孔径光阑10可以设置在图像拾取透镜11的图像侧(出射侧)上或在图像拾取透镜11中。

此外，在图像拾取器件13的光接收平面上，例如，分别二维地排列用于像素P的不同的滤色器(未示出)。对于这样的滤色器，可应用拜耳(Bayer)模式的滤色器(原色滤色器)，在这些滤色器中，三原色(即，红(R)、绿(G)和蓝(B))的滤色器以R∶G∶B＝1∶2∶1的比例排列为方格状(checkered pattern)。当排列这种滤色器时，使从图像拾取器件13中获取的图像拾取数据D0成为与滤色器的颜色相对应的多种颜色(在这种情况下是三原色)的像素数据，并且使重建图像成为彩色图像。另外，在使用滤色器的情况下，这些滤色器的颜色分别分配给与微透镜相对应的像素区域，当提取位于每个均与各微透镜相对应的像素区域的相同位置处的像素的数据时，甚至在提取之后仍可获取与滤色器的颜色相同的颜色安排。因此，易于执行诸如色彩插值的处理，并且可防止伪彩色的出现。

本领域的技术人员应理解，根据设计要求和其他因素，可以有多种修改、组合、再组合和改进，均应包含在本发明的权利要求或等同物的范围之内。

Claims (5)

1.一种图像拾取装置，包括：

图像拾取透镜；

图像拾取器件，基于接收的光获取图像拾取数据；

微透镜阵列，包括多个微透镜，并且设置在所述图像拾取透镜与所述图像拾取器件之间、所述图像拾取透镜的焦平面上，每个所述微透镜设置成与所述图像拾取器件的多个像素相对应；

图像处理部，基于从所述图像拾取器件获取的所述图像拾取数据执行预定的图像处理，以产生重建图像；以及

数据存储部，用于存储所述图像处理部在图像处理过程中的图像拾取数据，

其中，当所述图像处理部基于所述图像拾取数据产生作为从任意焦点设置的重建图像的重聚焦图像时，通过合成从位于与各个所述微透镜相对应的所述图像拾取器件上的各个图像区域中的相同位置处的像素中提取的像素数据，来基于所述图像拾取数据产生多个任意视点图像，并且所述任意视点图像存储在所述数据存储部中，其中，将所提取的多个像素数据以彼此相邻的方式记录在彼此相邻的像素位置处，以及

记录在彼此相邻的像素位置处的多个像素数据作为一个读出单位从存储在所述数据存储部中的各个所述任意视点图像被一起读出，并且对所读出的像素数据进行预定的分类处理和预定的积分处理，从而产生所述重聚焦图像。

2.根据权利要求1所述的图像拾取装置，其中

所述图像处理部包括：

任意视点图像生成部，基于所述图像拾取数据产生所述

多个任意视点图像，以及

重聚焦图像生成部，基于从存储在所述数据存储部中的各个所述任意视点图像中读出的所述多个像素数据产生所述重聚焦图像。

3.根据权利要求2所述的图像拾取装置，其中

所述重聚焦图像生成部对从各个所述任意视点图像中读出的所述多个像素数据中的每一个进行所述分类处理和所述积分处理，以便产生所述重聚焦图像。

4.根据权利要求1所述的图像拾取装置，其中

所述图像处理部将沿着一个或多个像素方向相邻的所述多个像素数据从存储在所述数据存储部中的各个所述任意视点图像中一起读出。

5.根据权利要求4所述的图像拾取装置，其中

所述图像处理部将沿着彼此不同的两个像素方向相邻的所述多个像素数据从存储在所述数据存储部中的各个所述任意视点图像中一起读出。

Images