CN101437168A - 图像拾取装置 - Google Patents

Abstract

公开了图像拾取装置。该图像拾取装置包括：图像拾取镜头，其具有孔径光阑；图像拾取元件，其具有以预定单元阵列为单元周期性地给其分配色彩的滤色器，并且其使用已接收到的光来生成包括色彩的像素数据的已拾取图像数据，该滤色器相邻光接收表面；微镜头阵列单元，其排列在图像拾取镜头的成像表面上，并且将图像拾取元件的多个像素分配给其每个微镜头；以及图像处理单元，其关于通过图像拾取元件所生成的已拾取图像数据执行图像处理。图像处理单元包括视差分量图像生成单元，其生成多个视差分量图像；以及内插处理单元，其对每个视差分量图像执行色彩内插处理。

Description

图像拾取装置

相关申请的交叉引用

本发明包括涉及于2007年11月12日在日本专利局提交的日本专利申请JP 2007-292843的主题，该申请的完整内容通过引用合并于此。

技术领域

本发明涉及使用微镜头阵列的图像拾取装置。

背景技术

目前已提出并且开发了各种图像拾取装置。此外，已提出了设计用以关于通过拾取图像而获得的已拾取图像数据执行预定的图像处理并且输出被处理的已拾取图像数据的图像拾取装置。

例如，在PCT日本翻译专利公开号06/039486以及“Light Fieldphotography with a Hand-Held Plenoptic Camera”(Ren.Ng等人所著，斯坦福技术报告CTSR 2005-02)之中提出了使用称之为“光场摄影(Light FieldPhotography)”的方法的图像拾取装置。该图像拾取装置包括：图像拾取镜头，其为用于拾取景物(shooting subject)的图像的主镜头；孔径光阑；微镜头阵列，在其之中排列着多个微镜头；感光器；以及图像处理单元。从感光器获得的已拾取图像数据包括与该感光器的接收表面所接收的光的亮度分布(intensity distribution)有关的信息，以及与光线传播方向有关的信息。图像处理单元被设计用来能够重构对于任意视场(field of view)或任意焦距获得的图像或3D图像。

此外，在使用图像拾取装置来获得彩色图像的情况下，通常，将滤色器添加到图像拾取元件上。例如，如美国专利号3971065中所公开的那样，经常使用拜尔(Bayer)滤色器作为这种滤色器，在拜尔滤色器中，三原色(primary color)红(R)、绿(G)、蓝(B)以R:G:B＝1:2:1的比例、以马赛克模式(mosaic patttern)排列。

发明内容

在使用已穿过不同色彩的滤色器且由图像拾取元件所接收的光线而获得的已拾取图像数据中，对于每一种色彩，色彩的像素数据的片段在空间上都被稀疏(thin out)。因此，有必要对每一种色彩实施诸如所谓的去马赛克(demosaic)处理之类的内插处理，使得以使用色彩的像素数据来在空间上填充已拾取图像数据的状态获得色彩的已拾取图像数据。

这里，在上述称之为“光场摄影”的技术中，由于已拾取图像数据除了包括与光的亮度分布有关的信息之外，还包括与光传播方向有关的信息，因此将光线彼此之间分离并且检测它们是重要的。然而，在这种技术中，当使用上述的这种滤色器来获得彩色图像时，如果在已拾取图像数据中的相邻像素之间执行诸如去马赛克处理之类的色彩内插处理，那么由于相邻像素之间的光向量不同，可能会发生下列问题。

例如，如果拾取引起光的方向性的对象的图像，那么使用具有不同的光的亮度分布的像素的数据来执行内插处理，因此未获得正确的光的亮度分布。此外，由于来自不同位置(对象)的光线穿过偏离焦点(out of focus)位置处的散焦表面，因而未执行恰当的色彩内插处理。进一步，当执行该技术所特有的焦距调整时，由于光向量在相邻像素之间混合，因此关于图像的焦距精确度降低。

此外，在图像拾取元件所接收的已拾取图像数据中，对于每个微镜头，响应于孔径光阑的光圈的形状而形成景物的图像。因此，多个圆形图像以两维的方式排列在已拾取图像数据中。当关于这种已拾取图像数据执行色彩内插处理时，使用与这些微镜头之一所形成的图像的边缘(外部部分)相对应的像素以及与这些微镜头中的另一个所形成的图像的边缘(外部部分)相对应的像素而未能执行恰当的色彩内插处理。

于是，当关于图像拾取元件获得的已拾取图像数据执行相邻像素之间的诸如去马赛克处理之类的色彩内插处理时，由于上述问题，因而在重构的图像中可能发生亮度偏差，或可能丢失色彩平衡。

提出了根据上述问题的本发明。期望提供尤其当使用所获得的以使得包括与光线传播方向有关的信息的已拾取图像数据来获得彩色图像之时能够执行恰当的内插处理的图像拾取装置。

根据本发明的实施例的图像拾取装置包括下列元件(A)～(D)，

(A)图像拾取镜头，其具有孔径光阑，

(B)图像拾取元件，其具有以预定单元阵列为单元、周期性地给其分配多种色彩的滤色器，并且其使用已接收到的光来生成包括多种色彩的像素数据的已拾取图像数据，该滤色器相邻光接收表面，

(C)微镜头阵列单元，其排列在图像拾取镜头的成像表面上，并且将图像拾取元件的多个像素分配给其每个微镜头，以及

(D)图像处理单元，其关于通过图像拾取元件所生成的已拾取图像数据执行图像处理。

这里，图像处理单元包括：视差分量图像生成单元，其生成多个视差分量图像，其中的每个都是通过在已拾取图像数据中提取对应于该微镜头的像素区域中的相同位置处排列的像素数据的片段以及组合相同位置处排列的所提取的像素数据的片段而生成；以及内插处理单元，其关于每个视差分量图像执行色彩内插处理。此外，滤色器的单元阵列的色彩排列与构成每个视差分量图像的像素数据中的单元阵列的色彩排列相同，该单元阵列包含多种色彩。

根据本发明的实施例的图像拾取装置，在微镜头阵列单元上形成通过图像拾取镜头所获得的景物的图像。入射在微镜头阵列单元上的光线经过微镜头阵列单元而到达图像拾取元件，并且获得了包括与光线的位置信息以及光线传播方向有关的信息的已拾取图像数据。这里，由于在图像拾取元件的光接收表面上提供了以预定单元阵列为单元、周期性地给其分配多种色彩的滤色器，因此获得了作为已拾取图像数据的与滤色器的色彩排列相对应的多种色彩的像素数据。在以这种方式所获得的已拾取图像数据中，通过提取和组合对应于微镜头的像素区域中的相同位置处排列的像素数据的片段来生成多个视差分量图像中的每一个。这里，由于对于每个视差分量图像中的相邻像素，关于光线的位置以及光线传播方向的信息均相同，因而通过对每个所生成的视差分量图像执行色彩内插处理可保存关于光线的位置以及光线传播方向的信息。此外，由于滤色器的单元阵列的色彩排列与视差分量图像的单元阵列的色彩排列相同，因而不会丢失与通过图像拾取元素所获得的已拾取图像数据有关的色彩信息。

根据本发明的实施例的图像拾取装置，由于在相邻图像拾取元件的光接收表面处提供了以预定单元阵列为单元、周期性地给其分配色彩的滤色器，因而可将包括关于光线的位置和光线传播方向的信息的已拾取图像数据看作是与滤色器的色彩排列相对应的多种色彩的像素数据，该信息通过图像拾取元件获得。此外，在图像处理单元中，由于使用对应于微镜头的像素区域中的相同位置处排列的像素数据的片段来生成每个视差分量图像，因此在视差分量图像中，对于像素数据的相邻片段，光线的位置和光线传播的方向可以是相同的。因此，当恰当地保存与光线的位置和光线传播的方向有关的信息时，可以执行色彩内插处理。此外，由于在视差分量图像中，没有响应于每一个微镜头的孔径光阑的光圈的形状而形成的图像的边缘，因此即使关于对应于该边缘的像素数据也可执行恰当的色彩内插处理。这里，将滤色器的单元阵列的色彩排列设计的与视差分量图像的单元阵列的色彩排列相同，因而不会丢失与图像拾取元素所获得的已拾取图像数据相关的色彩信息。因而，关于包括与光线的传播有关的信息的已拾取图像数据可以执行恰当的色彩内插处理。这可防止在重构图像和实际图像之间发生亮度的偏差，并且可防止丢失色彩平衡。

附图说明

图1是示出根据本发明的第一实施例的图像拾取装置的结构的方框图；

图2是示出图1中所示的图像拾取元件的光接收表面上所提供的滤色器的示例性结构的平面图；

图3是示出图1中所示的图像处理单元的详细结构的例子的功能性方框图；

图4是图解与已拾取图像数据中所包括的光线有关的信息的图；

图5是示意性示出景物的图像的图，该图像形成在图1中所示的图像拾取元件的光接收表面上；

图6A和6B是图解对于任意视场获得的重构图像的例子的图；

图7是图解当生成对于任意焦距获得的重构图像时的重调焦距处理的示意图；

图8是示出根据比较例的图像拾取装置的图像处理单元的功能性方框图；

图9是图解根据比较例的图像拾取装置中的操作的图；

图10是示意性示出图3中所示的图像处理单元的视差分量图像生成单元中所执行的处理操作的图；

图11A～11C是示意性示出所生成的视差分量图像的色彩排列的图；

图12A～12C是示意性示出图3中所示的图像处理单元的内插处理单元中所执行的色彩内插操作的例子的图；

图13是示出色彩内插之后关于在其已执行重新排列处理的已拾取图像数据的示意图；

图14是示出当分配给每个微镜头的像素数减少时的已拾取图像数据的结构的示意图；

图15是示出根据本发明的第二实施例的图像拾取装置中所使用的滤色器的示例性结构的平面图；

图16是示出根据本发明的示例性修改的滤色器的结构的平面图；以及

图17是示出根据本发明的示例性修改的滤色器的结构的平面图。

具体实施方式

下面将参考附图具体描述根据本发明的实施例。

第一实施例

图1示出根据本发明的第一实施例的图像拾取装置(图像拾取装置1)的总体结构。图像拾取装置1拾取景物2的图像，并且输出已拾取图像数据Dout，图像拾取装置1包括：图像拾取镜头11、微镜头阵列12、图像拾取元件13、图像处理单元14、图像拾取元件驱动单元16以及控制单元17。

图像拾取镜头11是用于拾取景物2的图像的主镜头，并且包括例如可用于摄影机、照相机等之中的通用图像拾取镜头。

微镜头阵列12具有以矩阵方式排列的多个微镜头，并且布置在图像拾取镜头11的成像表面上(图1中的符号“f1”表示图像拾取镜头11的焦距)。微镜头是固体镜头、液晶镜头、衍射镜头等。

图像拾取元件13是通过接收来自微镜头阵列12的光而生成已拾取图像数据D0的元件，并且其布置在微镜头阵列12的成像表面上(符号“f2”表示微镜头阵列12的焦距)。该图像拾取元件13是其中以矩阵形式排列着多个充电耦合设备(CCD)或互补金属氧化物半导体(CMOS)的二维图像拾取元件。M×N的已拾取图像像素(以下简称为像素)(M和N是整数)以矩阵形式排列在图像拾取元件13的光接收表面上(相邻到微镜头阵列12的表面)。此外，将多个像素(例如，m×n＝11×11＝121个像素)分配给微镜头阵列12中的微镜头之一。该光接收表面上的像素数例如是M×N＝3720×2520＝9374400。这里，随着m的值和n的值增大，作为分配给每个微镜头的像素数的m与n的积增大，图像拾取元件13对于下面所述的重构图像的分辨率增大。例如，随着m的值和n的值增大，基于重调焦距处理、对于任意视场或深度方向中获得的图像拾取元件13的分辨率(对于任意焦距所获得的图像拾取元件13的分辨率)增大。另一方面，(M/m)和(N/n)涉及重构图像的分辨率。因此，随着(M/m)的值和(N/n)的值增大，重构图像的分辨率增大。以这种方式，可以在图像拾取元件13对于重构图像的分辨率以及重构图像的分辨率之间折中；然而，期望图像拾取元件13的分辨率和重构图像的分辨率两者都尽可能高。

例如，将如图2中所示的滤色器15(其未在图1中示出)布置在图像拾取元件13的光接收表面上。该滤色器是使用拜尔模式(Bayer pattern)的原色滤镜(primary color filter)，在Bayer模式中，红(R)、绿(G)和蓝(B)的三种原色滤镜(红滤色器15R、绿滤色器15G和蓝滤色器15B)以R:G:B＝1:2:1的比例、以马赛克模式排列。即，以具有两行两列的单元阵列15A为单元周期性地排列这三种滤色器。

此外，在根据本发明的第一实施例中，将滤色器15的色彩中的一个分配给图像拾取元件13的光接收表面上的每个像素。即，将红滤色器15R、绿滤色器15G或蓝滤色器15B分配给每个像素。

进一步，如果由n来表示滤色器15的单元阵列15A的行数和列数中较大的一个(如果行数和列数相同，那么n既是行数也是列数)，那么由下面给出的等式(1)来表示沿着对应于微镜头之一的像素区域(下面所述的像素区域13A)的一侧的像素数N_P。

N_P＝(n+1)+n×m(其中，m＝0、1、2、3......)             (1)

图像拾取元件驱动单元16是驱动图像拾取元件13并控制其光接收操作的驱动单元。

图像处理单元14关于图像拾取元件13所获得的已拾取图像数据D0执行预定的图像处理(其将于稍后描述)，并且输出已拾取图像数据Dout。通过根据使用如称之为“光场摄影(Light Field Photography)”的技术的运算处理来执行分类，可生成例如对于任意视场或任意焦距获得的图像(基于已拾取图像数据Dout的重构图像)。下面将描述该图像处理单元14的细节。

控制单元17是控制图像拾取元件驱动单元16的驱动操作以及使用控制信号Sout来控制图像处理单元14的图像处理操作的控制单元。例如，该控制单元17包括微型计算机。

接下来将结合图3描述图像处理单元14的细节。图3示出图像处理单元14的功能方框结构。

图像处理单元14包括缺陷校正单元141、钳位(clamp)处理单元142、视差分量图像生成单元143、内插处理单元144、分类处理单元145、降噪单元146、边缘增强单元147、白平衡调整单元148以及伽玛校正单元149。

缺陷校正单元141是校正诸如已拾取图像数据D0中所包括的由于曝光不足而引起的缺陷(由于图像拾取元件13的故障而引起的缺陷)之类的缺陷的校正单元。钳位处理单元142是执行设置每个像素数据的黑电平(black level)的处理(钳位处理)的单元。

视差分量图像生成单元143是生成与分配给一个微镜头的像素数一样多的已拾取图像数据D2片段的生成单元。该已拾取图像数据D2的每个片段都是通过从钳位处理单元142所提供的已拾取图像数据D1中提取对应于微镜头的像素区域中的相同位置处所排列的像素数据片段并且通过组合从相同位置处所提取的像素数据片段而生成。稍后将描述用于生成已拾取图像数据D2的操作的细节，通过视差分量图像生成单元143来执行该操作。

内插处理单元144通过关于视差分量图像生成单元143所提供的已拾取图像数据D2执行色彩内插处理(例如，去马赛克处理)来生成已拾取图像数据D3。更具体地，对于每种色彩的像素数据，以使得通过红滤色器15R而获得的红色像素数据的片段数、通过绿滤色器15G而获得的绿色像素数据的片段数、通过蓝滤色器15B而获得的蓝色像素数据片段数都相同的方式来执行相邻像素之间的内插处理。

分类处理单元145是通过关于内插处理单元144所提供的已拾取图像数据D3执行预定的分类处理(在其中分类像素数据片段的分类处理)来生成已拾取图像数据D4的处理单元。通过执行该分类处理，可生成对于任意视场或对于任意焦距获得的重构图像。这里，该分类处理单元145执行重排列处理作为上述分类处理的预处理，其中在该重排列过程中，再次把色彩内插处理之后所获得的视差分量图像的已拾取图像数据中所包括的像素数据片段排列在与原始已拾取图像数据D0中所包括的像素数据的片段相对应的位置处。

降噪单元146是执行降噪(例如，当在黑暗的地方或曝光不足的地方拾取图像时所生成的噪声)处理的单元，该噪声包括在分类处理单元145所提供的已拾取图像数据D4中。边缘增强单元147是关于降噪单元146所提供的已拾取图像数据执行用以增强图像的边缘的边缘增强处理的单元。

白平衡调整部分148是关于边缘增强单元147所提供的已摄取图像数据执行色彩平衡调整处理(白平衡调整处理)的单元。色彩平衡是由于诸如滤色器15的传输特性或图像拾取元件13的光谱灵敏度、照明条件等之类的设备的各自差异的影响而引起的。

伽玛校正单元149是通过关于白平衡调整单元148所提供的已拾取图像数据执行预定的伽玛校正(亮度或对比度的校正)来生成已拾取图像数据Dout的校正单元。

接下来，结合图1～13描述根据本发明的第一实施例的图像拾取装置1的操作。

在图像拾取装置1中，通过图像拾取镜头11所获得的景物2的图像形成在微镜头阵列12上。入射在微镜头阵列12上的光线经过微镜头阵列12到达图像拾取元件13，并且根据图像拾取元件驱动单元16所执行的驱动操作来通过图像拾取元件13获得已拾取图像数据D0。这里，由于在图像拾取元件13的光接收表面上提供了滤色器15，因此获得了与滤色器15的色彩相对应的多种色彩的像素数据，作为图像拾取元件3所获得的已拾取图像数据D0。将图像拾取元件13以这种方式所获得的已拾取图像数据D0输入至图像处理单元14。

在图像处理单元14中，根据控制单元17的控制来关于已拾取图像数据D0执行预定的图像处理，并且因此将图像处理之后所获得的已拾取图像数据Dout作为图像拾取装置1的输出数据而输出。下面结合图4～13来描述该图像处理单元14的操作。

首先，结合图4～7来描述图像处理单元14的基本操作。图4是用于图解与已拾取图像数据中所包括的光线有关的信息的图。图5示意性示出光接收表面上所形成的景物的图像。图6A和6B示出对于任意视场获得的重构图像的例子。图7是用于图解当生成对于任意焦距获得的重构图像时执行的重调焦距处理的示意图。

以下面的状态来表示输入至图像处理单元14的已拾取图像数据D0。如图4中所示，为图像拾取镜头11的图像拾取镜头表面设置直角坐标系(u，v)，并且为图像拾取元件13的图像拾取表面设置直角坐标系(x，y)。当图像拾取镜头11的图像拾取镜头表面和图像拾取元件13的图像拾取表面之间的距离为F时，通过四维函数L_F(x，y，u，v)来表示穿过图像拾取镜头11和图像拾取元件13的光线L1，即，以除了关于光线的位置信息之外，还保存光线传播的方向的状态来表示光线L1。

缺陷校正单元141校正该已拾取图像数据D0的缺陷。在钳位处理单元142将已拾取图像数据D0的黑电平设置为恰当的电平之后，执行诸如去马赛克处理之类的色彩内插处理。在分类处理单元145中执行预定的分类。因此，例如将对于任意视场或对于任意焦距(获得的图像任意视觉点的图像)的已拾取图像数据输出，作为已拾取图像数据Dout。下面将在重构对于任意视场或对于该任意焦距获得的图像的情况下来描述分类处理的例子。

例如，如图5中所示，当将一个微镜头分配给图像拾取元件的光接收表面上所排列的具有5行5列(5×5像素)的每个像素区域时，获得了与每个都形成在微镜头之一之上的景物2的图像(以下这种图像称为单元图像)有关的已拾取图像数据D100。在这种情况下，提取和组合单元图像中的相同位置处的像素数据片段，由此重构了对于任意视场可获得的图像。这里，当提取和组合图6A中所示的区域(视场)S11、S12、S13、S14以及S15中的像素数据片段时的实际重构图像如图6B中所示。在这种方式中，由于已拾取图像数据D0包括与光线传播方向有关的信息，因而重构了从不同视场(任意视场)观看的景物2的图像。另外，在这种情况下，获得了与分配给图像拾取元件的光接收表面上的一个微镜头的像素一样多的重构图像，因此随着分配给每个微镜头的像素数增加，图像拾取元件相对于任意视场获得的重构图像的分辨率增大。另一方面，随着分配给每个微镜头的像素数减少，重构图像的分辨率增大。

另一方面，如图7中所示，当已设定图像拾取镜头表面110、图像拾取元件表面130与重调焦距表面120之间的位置关系(将重调焦距表面120设置为相距图像拾取镜头表面110F’＝αF)时，依据重调焦距表面120上的坐标(s，t)，由下面给出的等式(2)来表示图像拾取元件表面130上的检测亮度L_F。此外，重调焦距表面120上所获得的图像E_F’(s，t)是检测亮度L_F关于镜头光圈的积分，并且由下面给出的等式(3)来表示。因此，通过根据等式(3)来执行重调焦距处理，重构了对于任意焦距(重调焦距表面120)获得的图像。

$L_{F\′}(s,t,u,v)=L_{\left(\mathrm{\αF}\right)}(s,t,u,v)$

$=L_F(u+\frac{s-u}{\mathrm{\α}},v+\frac{t-v}{\mathrm{\α}},u,v)$

$=L_F\{u(1-\frac{1}{\mathrm{\α}})+\frac{s}{\mathrm{\α}},v(1-\frac{1}{\mathrm{\α}})+\frac{t}{\mathrm{\α}},u,v\}---\left(2\right)$

$E_F(s,t)=\frac{1}{{F\′}^2}{\∫\∫L}_{F\′}(s,t,u,v)\mathrm{dudv}$

$=\frac{1}{{\mathrm{\α}}^2{F}^2}\∫\∫L_F\{u(1-\frac{1}{\mathrm{\α}})+\frac{s}{\mathrm{\α}},v(1-\frac{1}{\mathrm{\α}})+\frac{t}{\mathrm{\α}},u,v\}\mathrm{dudv}---\left(3\right)$

此外，在重调焦距过程中，当生成聚焦于拾取图像时所设置的焦点位置(微镜头阵列12的位置)后面(远离)所存在的景物2的重构图像时，以使得选择性地提取在作为焦点位置的景物2的位置处形成图像的光线的方式来执行分类处理。在这种情况下，已再次散焦的光线以及发散光线根据发散光线传播的方向而穿过不同的微镜头，并到达图像拾取元件13。另一方面，当生成聚焦于拾取图像时所设置的焦点位置(图像拾取元件13和焦点位置之间的位置)前面所存在的景物2的重构图像时，以使得选择性地提取在对于景物2的焦点位置处形成图像的光线的方式来执行分类处理。在这种情况下，在图像拾取装置1中未形成景物2的图像，并且光线根据光线传播的方向来穿过不同的微镜头，并到达图像拾取元件13。

降噪单元146关于如上所述通过分类处理单元145所重构的、对于任意视场或对于任意焦距获得的图像的已拾取图像数据执行降噪处理。此外，边缘增加单元147关于所得到的已拾取图像数据执行边缘增强处理，并且将其提供至白平衡调整单元148。伽马校正单元149关于白平衡调整单元148所提供的已拾取图像数据执行伽马校正，并且从图像处理单元14输出所得到的已拾取图像数据，作为已拾取图像数据Dout。因此，使用该已拾取图像数据Dout获得了对于任意视场或对于焦距获得的图像。

接下来，结合图8～13，以与比较例相比较的形式来描述图像处理单元14中的视差分量图像生成单元143的操作以及内插处理单元144的操作。图8是根据比较例的图像拾取装置的图像处理单元104的功能方框图。图9是图解比较例中的图像拾取装置中的操作的图。图10是示出视差分量图像生成单元143中的处理操作的示意图。图11A～11C是示出视差分量图像的色彩排列的示意图。图12A～12C是示出内插处理单元144中的色彩内插操作的例子的示意图。图13是示出色彩内插之后已关于其执行重新排列处理的已拾取图像数据的图。

首先，在根据图8中所示的比较例的图像处理单元104中，内插处理单元106关于箝位处理单元142所提供的已拾取图像数据D1执行色彩内插，其后，分类处理单元145关于已拾取图像数据(已拾取图像数据D102)执行分类处理。因此，例如，生成了对于任意视场或对于任意焦距获得的图像数据(已拾取图像数据D103)。这里，在内插处理单元106中，例如，对于三种色彩R、G、B中的每个，都在相邻的像素数据片段之间执行了色彩内插。对于三种色彩R、G、B中的每个，都生成了已拾取图像数据D102。

这里，如上所述，已拾取图像数据D0除了包括光线的位置信息之外，还包括与光线传播的方向有关的信息。然而，像素数据的相邻片段之间的这些信息片段是不同的，因而如果在如该比较例中所描述的已拾取图像数据D1中的相邻的像素数据片段(已拾取图像数据D0)之间执行色彩内插处理，那么未从已拾取图像数据D102获得正确的光亮度。此外，来自不同位置(对象)的光线穿过位于如图9中所示的偏离焦点位置处的散焦表面121，因此，未在根据比较例的色彩内插处理中执行恰当的色彩内插。进一步，当执行焦距调整时，光向量在相邻的像素数据片段之间变得混合，并且相对于图像的焦距精度下降。此外，对于每个微镜头，都在图像拾取元件的光接收表面上形成对应于孔径光阑的开口形状的单元图像。因此，对于每个微镜头，都存在单元图像的边缘(外部边缘部分)。然而，当已拾取图像数据D0中包括该边缘时，未在包括该边缘的像素数据和其相邻像素数据之间执行恰当的内插处理。

相反，如图3中所示，在根据本发明的第一实施例的图像处理单元14中，视差分量图像生成单元143排列在内插处理单元144之前。即，使用箝位处理单元142所提供的已拾取图像数据(已拾取图像数据D1)来生成视差分量图像，其后，对于每个视差分量图像，关于视差分量图像的像素数据执行色彩内插处理。因此，生成了在色彩内插处理之后所获得的已拾取图像数据D3。通过分类处理单元145、降噪单元146、边缘增强单元147、白平衡调整单元148以及伽玛校正单元149来关于该已拾取图像数据D3执行上述的预定处理，并且输出已拾取图像数据Dout。下面将具体描述视差分量图像生成部分143的操作以及内插处理单元144的操作。

在视差分量图像生成单元143中，首先，如图10中所示，在已拾取图像数据D1中，从其中每个都与微镜头之一之上所形成的单元图像M0相对应的像素区域13A中的每个提取预定位置处的像素数据，例如像素数据D1a、D1b、D1c等。这里，像素区域13A中的一个中的预定位置与像素区域13A中的不同的一个中的预定位置相同。接下来，组合像素数据D1a的片段以生成视差分量图像的已拾取图像数据(下面描述的已拾取图像数据D2a)，组合像素数据D1b的片段以生成视差分量图像的已拾取图像数据(下面描述的已拾取图像数据D2b)，并且组合像素数据D1c的片段以生成视差分量图像的已拾取图像数据(下面描述的已拾取图像数据D2c)。类似地，生成了与对应于单元图像M0的像素区域13A中的所有像素一样多的视差组合图像的已拾取图像数据(以下统称为已拾取图像数据D2)。因此，生成了与像素区域13A中的像素数据的数量(即，分配给每个微镜头的像素数)一样多的视差分量图像。例如，根据本发明的第一实施例，将具有11行及11列的像素分配给每个微镜头。因此，生成了121个视差分量图像。在以该方式所生成的视差分量图像中，对于相邻的像素数据片段，光线的位置和光线传播的方向均相同。

另一方面，由于将滤色器15的三种色彩之一分配给每个像素，因此为已拾取图像数据D1中的每个像素都排列了色彩R、G或B的像素数据。此外，如果由n来表示滤色器15的单元阵列15A的行数和列数中较大的一个(如果行数和列数相同，那么n既是行数也是列数)，那么由上面给出的等式(1)来表达沿着对应于微镜头之一的像素区域13A的一侧的像素数N_P。使用这种排列，如图11A～11C中所示，通过组合已提取像素数据D1a的片段所生成的视差分量图像的已拾取图像数据D2a中的色彩排列、通过组合已提取像素数据D1b的片段所生成的视差分量图像的已拾取图像数据D2b中的色彩排列、以及通过组合已提取像素数据D1c的片段所生成的视差分量图像的已拾取图像数据D2c中的色彩排列均与滤色器15的单元阵列(单元阵列15A)的色彩排列相同。这里，在本发明的第一实施例中示出了其中滤色器15的单元阵列15A的行(列)数n是2以及m是4的例子。

当将所生成的已拾取图像数据D2提供给内插处理单元144时，由内插处理单元144关于每个视差分量图像的已拾取图像数据执行色彩内插处理。例如，关于如图12A中所示的已拾取图像数据D2a执行色彩内插处理，由此获得了如图12B中所示的红色已拾取图像数据D3a-R。类似地，对绿色和蓝色执行色彩内插处理，由此获得了如图12C中所示的红色已拾取图像数据D3a-R、绿色已拾取图像数据D3a-G和蓝色已拾取图像数据D3a-B。对于所有视差分量图像中的每个，以这种方式关于视差分量图像的已拾取图像数据执行色彩内插处理，并因此生成了色彩内插处理之后所获得的已拾取图像数据D3。

这里，如上所述，在视差分量图像中的每个的已拾取图像数据中，由于对于像素数据的相邻片段，光线的位置和光线传播的方向都相同。因此，通过关于每个视差组合图像执行色彩内插处理，实现了色彩内插，同时适当地保存了与光线的位置以及光线传播方向有关的信息。此外，由于滤色器15的单元阵列的色彩排列与视差分量图像的已拾取图像数据D2的单元阵列的色彩排列相同，因此，即使使用通过组合从图像拾取元件13获得的已拾取图像数据D0(D1)中所提取的预定位置处的像素数据的片段而生成的视差分量图像来执行色彩内插处理，原始的已拾取图像数据D0中所保存的色彩信息也不会丢失。

这里，当将色彩内插处理之后所获得的已拾取图像数据D3提供给分类处理单元145时，分类处理单元145关于其执行重排列处理，作为分类处理的预处理。因此，色彩内插处理之后所获得的视差分量图像的已拾取图像数据D3被重新排列到对应于原始已拾取图像数据D0的图像中，并且如图13中所示获得了单元图像M1的已拾取图像数据。单元图像M1的已拾取图像数据变为对于已拾取图像数据D0中的每个像素包含三种色彩R、G和B的色彩信息的图像。

如上所述，在本发明的第一实施例中，由于以图像拾取元件13的光接收表面上的单元阵列15A为单元将色彩分配给滤色器15，因而图像拾取元件13所获得的包括与光线位置及光线传播方向有关的信息的已拾取图像数据D0可以是与滤色器15的色彩排列相对应的多种颜色的像素数据。此外，在图像处理单元14中，由于使用排列在对应于微镜头的像素区域13A中的相同位置处的像素数据来生成每个视差分量图像，对于每个视差分量图像中的像素数据的相邻片段，光线的位置和光线传播方向可以是相同的。因此，当适当地保存与光线的位置和光线传播的方向有关的信息时，可以执行色彩内插处理。

此外，在已拾取图像数据D0中，对于每个微镜头都存在单元图像的边缘；然而，在关于该已拾取图像数据D0执行色彩内插处理之前生成视差分量，因此对于每个微镜头所呈现的边缘的影响可以大大降低。因此，可以很容易地执行合适的色彩内插处理。如图14中所示，当分配给每个微镜头的像素数减少时，例如，像素数为3×3＝9，这将尤其有效。这是由于当分配给其的像素数减少时，单元图像M2中的边缘数增加，并且边缘的影响增加。

这里，由于滤色器15的单元阵列的色彩排列与视差分量图像的单元阵列的色彩排列是相同的，因而未丢失与通过图像拾取元件13所获得的已拾取图像数据D0有关的色彩信息。因此，可以关于包括与光线的传播有关的信息的已拾取图像数据执行合适的色彩内插处理。这防止了在重构图像和实际图像之间发生亮度偏差，并且防止了色彩平衡的丢失。

第二实施例

接下来将参考附图来描述本发明的第二实施例。这里，将使用相同的附图记号来指示与第一实施例中所表示的那些相同的组件，并且合适地省略其描述。

图15示出根据第二实施例的图像拾取装置中所使用的滤色器25的结构。滤色器25排列在如图1中所示的图像拾取元件13的光接收表面上，并且其为具有其中红色(R)、绿色(G)、蓝色(B)的三原色滤镜(primary color filter)(红滤色器25R、绿滤色器25G以及蓝滤色器25B)以R:G:B＝1:2:1的比例、以马赛克模式排列为拜耳模式的原色滤镜。即，以具有两行两列的单元阵列25A为单位周期性地排列这三种滤色器。

此外，在第二实施例中，将滤色器25的色彩之一分配给对应于微镜头的像素区域(25M)中的每个。即，将分配给微镜头之一的对应像素组(例如，具有11行11列的像素区域)分配给每个红滤色器25R、绿滤色器25G以及蓝滤色器25B。

由于在图像拾取元件13的光接收表面上提供这种滤色器25，因此获得与滤色器25的色彩相对应的多种色彩的像素数据作为图像拾取元件13获得的已拾取图像数据D0。这里，将每个色彩R、G和B分配给对应于微镜头的对应像素区域。因此，通过由上述视差分量图像生成单元143提取和组合图像区域中的相同位置处所排列的像素数据的片段，所有的视差分量图像具有相同的色彩排列(例如，如图11A中所示的排列)，并且视差分量图像的单元阵列与滤色器25的单元阵列25A相同。因此，可以获得类似于第一实施例中所获得的那些优点。

由于将图像拾取元件13的光接收表面上的滤色器25的色彩之一分配给对应于微镜头的每个像素区域，因此可以设置分配给每个微镜头的像素数，而没有诸如上面给出的等式(1)之类的限制。因而，与第一实施例相比，增加了设计的灵活性。

在上面描述了本发明的第一实施例和第二实施例；然而，本发明不限于这些实施例，各种修改都是允许的。

例如，在上述实施例中已描述了其中将11×11像素分配给每个微镜头的结构的例子；然而，分配给每个微镜头的像素数不限于此。这里，分配给每个微镜头的像素数越少，获得的重构图像的分辨率越高，并且分配给每个微镜头的像素数越大，关于重构图像获得的图像拾取元件的分辨率越高。

此外，在上述实施例中，在视差分量图像生成单元143中，已描述了其中生成与对应于整个像素区域13A的像素数据的数量(11×11＝121)一样多的视差分量图像的情况；然而，本发明不限于此。可仅使用与微镜头所形成的单元图像相对应的区域(当图像拾取镜头11的孔径光阑的开口是圆形的形状时，该区域是圆形)中的像素数据来生成视差分量图像。在这种情况下，单元图像的外围像素区域是实际上不接收光的区域(以下称为“无光接收区域”)。因此，例如在图像处理区域14中，在缺陷校正单元141和钳位处理单元142之间提供了执行其中从已拾取图像数据D0中提取有光接收区域以及消除无光接收区域的处理的区域提取单元。使用这种排列，由于可以仅使用实际上接收光的数据来执行其后待执行的图像处理(尤其是白平衡调整处理)，因此色彩平衡可更自然。

此外，在上述实施例中，在滤色器15的单元阵列中已描述了其中行数和列数均是偶数的结构的例子；然而，本发明不限于此，其可为奇数。

此外，在上述实施例中，在分类处理单元145中已描述了关于色彩内插处理之后所获得的已拾取图像数据D3执行作为分类处理的预处理的重新排列处理的例子；然而，本发明不限于此。在分类处理单元145中的一些类型的分类处理之前无需执行该重新排列处理。即，即使当仅色彩内插处理之后所获得的视差分量图像上执行预定的分类处理时，也可获得根据本发明的实施例的优点。

此外，在上述实施例中，已描述了使用其中红色(R)、绿色(G)、蓝色(B)的三原色滤镜以R:G:B＝1:2:1的比例、以马赛克模式排列的拜耳模式的滤色器(原色滤镜)来作为滤色器的例子。然而，也可使用具有不同排列的滤色器，诸如，例如图16中所示的滤色器26。这里，该滤色器26是其中黄色(Ye)、品红(Mg)、青色(Cy)和绿色(G)的四种补色滤镜以Ye:Mg:Cy:G＝1:1:1:1的比例、以马赛克模式排列滤色器。其单元阵列26A具有两行及两列。

可替换地，可使用图17中所示的滤色器27。该滤色器27是其中四种补色以类似于图16中所示的Ye:Mg:Cy:G＝1:1:1:1的比例排列的滤色器。然而，其单元阵列27具有四行及四列。这里，类似于第一实施例，当将滤色器27的色彩之一分配给每个像素时，通过将上面给出的等式(1)中的n设置为4来设置沿着分配给微镜头之一的像素区域的一侧的像素数N_P。

此外，在上述实施例中，已描述了去马赛克处理作为用于已拾取图像数据中的像素数据的色彩内插处理的例子；然而，也可执行其它的色彩内插处理。

进一步，在上述实施例中，已描述了利用“光场摄影”的重调焦距处理作为图像处理单元14中所执行的分类处理的例子；然而，本发明不限于此。例如，可将本发明应用于散焦处理或景深(depth-of-field)调整处理。

本领域的技术人员应该理解，依据设计需求以及其它因素，只有其在所附权利要求或其等效的范围之内，可以发生各种修改、组合、子组合以及变更。

Claims (8)

1.一种图像拾取装置，包含：

图像拾取镜头，其具有孔径光阑；

图像拾取元件，其具有以预定单元阵列为单元、周期性地给其分配多种色彩的滤色器，并且其使用已接收到的光来生成包括多种色彩的像素数据的已拾取图像数据，该滤色器相邻到光接收表面；

微镜头阵列单元，其排列在该图像拾取镜头的成像表面上，并且将该图像拾取元件的多个像素分配给其每个微镜头；以及

图像处理单元，其关于通过该图像拾取元件所生成的已拾取图像数据执行图像处理，

其中，该图像处理单元包括

视差分量图像生成单元，其生成多个视差分量图像，其每个都是通过在已拾取图像数据中提取对应于该微镜头的像素区域中的相同位置处排列的像素数据的片段并且组合相同位置处排列的所提取的像素数据的片段而生成，以及

内插处理单元，其关于每个视差分量图像执行色彩内插处理，以及

其中，该滤色器的单元阵列的色彩排列与构成每个视差分量图像的像素数据中的单元阵列的色彩排列相同，该单元阵列包含多种色彩。

2.如权利要求1所述的图像拾取装置，

其中，将该滤色器的色彩之一分配给图像拾取元件的每个像素。

3、如权利要求2所述的图像拾取装置，

其中，如果由n来表示关于滤色器的单元阵列的行数和列数中较大的一个，并且当如果行数和列数相同时，n既是行数也是列数，那么由下面表达式来表达沿着对应于微镜头之一的像素区域的一侧的像素数N_P，

N_P＝(n+1)+n×m，其中，m＝0、1、2、3......。

4、如权利要求1所述的图像拾取装置，

其中，将该滤色器的色彩之一分配给对应于该微镜头的每个像素区域。

5、如权利要求1所述的图像拾取装置，

其中，该滤色器是具有作为色彩的红色(R)、绿色(G)和蓝色(B)的原色滤镜。

6、如权利要求5所述的图像拾取装置，

其中，该滤色器的多种色彩的单元阵列具有其中红色(R)、绿色(G)、蓝色(B)以R:G:B＝1:2:1的比例、以马赛克模式排列的拜耳模式。

7、如权利要求1所述的图像拾取装置，

其中，该滤色器是具有作为色彩的黄色(Ye)、品红色(Mg)、青色(Cy)和绿色(G)的补色滤镜。

8、如权利要求1所述的图像拾取装置，

其中，对于每个视差分量图像，该图像处理单元以使得将每个像素数据的片段排列在与对应于该微镜头的像素区域之一相对应的预定位置处的方式来重新排列构成该色彩内插处理之后所获得的视差分量图像的像素数据的片段。

Images