CN101867707B - 成像装置 - Google Patents

Abstract

本发明公开了一种成像装置，包括：成像透镜，具有孔径光阑；成像元件，用于基于接收的光获得图像数据；以及微透镜阵列，设置在成像透镜与成像元件之间的成像透镜的焦平面上，微透镜阵列包括以每个微透镜与成像元件的多个成像像素相关联的方式配置的多个微透镜，其中，根据来自成像元件的成像透镜的图像的像高，将微透镜阵列的微透镜的配置从等距离配置校正至非线性配置。

Description

成像装置

相关申请的参考

本申请包含于2009年4月16日向日本专利局提交的日本优先权专利申请JP 2009-100187所涉及的主题，其全部内容结合于此，作为参考。

技术领域

本发明涉及使用微透镜阵列的成像装置。

背景技术

至今，已经提出并开发了多种成像装置。提出的某些成像装置被设计为在输出数据之前，对作为成像结果获得的图像数据执行预定的图像处理。

例如，PCT专利公开第06/039486号手册以及Ren.Ng.及其他七人(“使用手持全光相机的光场摄影(Light Field Photography witha Hand-Held Plenoptic Camera)”，Stanford Tech Report CTSR2005-02)提出了一种基于所谓“光场摄影”方法的成像装置。该成像装置包括成像透镜、微透镜阵列、成像元件以及图像处理部。成像透镜具有在中央处具有单个孔径的孔径光阑。由于这种构成，从成像元件中获得的图像数据除了包括光接收面上的光强度分布信息之外，还包括关于光传播方向的信息。图像处理部能够从任意视点或方向(下文中，简称为视场)重建观察图像。

发明内容

顺便提及，微透镜阵列包括多个微透镜。将成像元件的多个像素分配给每个微透镜。如果使用以上方法，则重建图像的像素数等于微透镜阵列的微透镜数。其原因在于重建的图像的二维坐标信息由微透镜阵列的坐标确定。结果，通过使成像元件的总像素数除以分配给每个微透镜的像素数来计算在重建的图像的二维坐标中的像素数。另一方面，分配给每个微透镜的像素数等于光线角度信息的分辨率，并且确定了重建图像的任意视场中的分辨率，即，根据有多少视点或方向来重建图像。因此，任意视场中的分辨率和二维坐标系中的像素数之间具有此消彼长的关系。

这里，如果使用以上方法，则图像数据除了包括光强度分布信息之外，还包括关于光传播方向的信息。因此，应该需要分别描述每条光线。然而，通过这种方法，当在向着成像元件传播的已通过主透镜的孔径光阑的光线会聚时，每个微透镜的在成像元件上形成的每个图像(通过主透镜的孔径光阑投影的图像，例如，圆形图像)的位置根据主光线的角度而改变。即，每个微透镜与由此产生的图像之间的位置关系根据主光线的角度变化。如果微透镜与微透镜的间距为光接收像素之间的间距的整数倍，则每个微透镜产生的图像相对于光接收像素的位置发生改变。结果，不能生成以上方法特有的重聚焦图像、任意视点图像以及其他重建图像。

鉴于上述，当以包含关于光的传播方向的信息的方式获得图像数据时，本发明需要生成正确的重建图像。

根据本发明实施方式的一种成像装置包括成像透镜、成像元件以及微透镜阵列部。成像透镜具有孔径光阑。成像元件基于接收的光获得图像数据。微透镜阵列部设置在成像透镜与成像元件之间的成像透镜的焦平面上。微透镜阵列部包括以每个微透镜与成像元件的多个成像像素相关联的方式配置的多个微透镜。此外，根据成像元件上来自成像透镜的图像的像高(图像高度)，将微透镜阵列的微透镜的配置从等距离配置校正至非线性配置。

在根据本发明实施方式的成像装置中，在微透镜阵列上形成由成像透镜生成的对象的图像。随后，随着已经进入微透镜阵列的入射光线到达成像元件并被与每个微透镜相关联的多个成像像素接收，获得包括光线传播方向的图像数据。这里，根据成像元件上来自成像透镜的图像的像高，将微透镜阵列的微透镜配置从等距离配置校正至非线性配置。结果，例如，即使到达成像元件的主光线的倾角随着像高非线性地改变(例如，具有短焦距的光学系统和不满足正弦条件的透镜的成像装置)，也能够在从成像元件获得的图像数据中避免成像元件的光接收表面上的像高偏差。

在根据本发明实施方式的成像装置中，根据成像元件上来自成像透镜的图像的像高，将微透镜阵列的微透镜配置从等距离配置校正至非线性配置。这样能够在从成像元件获得的图像数据中避免成像元件的光接收表面上的像高偏差。因此，当以包括关于光线传播方向的信息的方式获得图像数据时，能够使用图像数据生成正确的重建图像。

附图说明

图1是示出了根据本发明实施方式的成像装置的整体构成的示图；

图2是示出了图1中所示的孔径光阑的概略构成的平面图；

图3是示出了图1中所示的微透镜阵列的概略构成的平面图；

图4是示出了图1中所示的微透镜阵列的详细构成实例的平面图；

图5是示出了在成像元件的光接收表面上配置的滤色片的概略构成的平面图；

图6是示出了图1中所示的图像处理部的构成实例的功能框图；

图7A和图7B是用于描述在微透镜阵列和成像元件中的成像模式的平面图；

图8是用于描述由图像处理部执行的图像处理的实例的示意性透视图；

图9是用于描述由图像处理部执行的重聚焦(refocus)运算操作的示意性截面图；

图10是示出了在重聚焦运算操作中的重聚焦平面的设定位置的实例的示意性截面图；

图11是示出了在重聚焦运算操作中的重聚焦平面的设定位置的另一个实例的示意性截面图；

图12是示出了图10中所示的重聚焦运算操作中的排序的实例的示意性平面图；

图13是示出了图11中所示的重聚焦运算操作中的排序的另一个实例的示意性平面图；

图14是用于描述在根据比较例的成像装置中的像高偏差的示图；

图15是用于描述像高偏差的细节和像高偏差校正的概略的示意图；

图16A和图16B是用于描述图15中所示的像高偏差校正的细节(校正至非线性配置)的示意图；

图17是示出了像高偏差与主光线角之间的关系的实例(非线性特性)的特性图；以及

图18是示出了像高偏差与微透镜位置的偏移之间的关系的实例(非线性特性)的特性图。

具体实施方式

下面，将参照附图给出本发明实施方式的详细描述。应注意，将以如下顺序进行描述：

1.实施方式(将微透镜的配置校正至非线性配置，以避免像高偏差)

2.修改例

<1.实施方式>

[成像装置的整体构成的实例]

图1是示出了根据本发明实施方式的成像装置(成像装置1)的整体构成的示图。成像装置1被设计为拍摄被摄物2的图像，并输出图像数据Dout。从被摄物2侧起，该成像装置1包括成像透镜11、孔径光阑10、微透镜阵列12以及成像元件13。该成像装置1还包括图像处理部14、成像元件驱动部15以及控制部16。

成像透镜11为主透镜，用于拍摄被摄物图像，并且包括例如在摄像机或照相机中使用的一般的成像透镜。

孔径光阑10为成像透镜11的光学孔径光阑。孔径光阑10具有图2中所示的圆形开口部10A。尽管稍后将描述其细节，但是所有通过孔径光阑10的光线都保持关于其传播方向的信息。应注意，以彼此相距距离L来配置孔径光阑10和微透镜阵列12。

微透镜阵列12具有如图3所示的以矩阵形式(微透镜12-1之间的间距：p12)二维配置的多个微透镜12-1。微透镜阵列12配置在成像透镜11的成像平面上(图1中的参考标号f1表示成像透镜的焦距)。在平面图中每个微透镜12-1为圆形，并且包括例如固体、液晶、液体或衍射透镜。

此外，例如，如图4中的箭头所示，根据成像元件13上来自成像透镜11的图像的像高y，将微透镜阵列12的微透镜12-1的配置从等距离配置校正至非线性配置。即，微透镜12-1之间的间距p12从微透镜阵列12的中央向周围以非线性方式改变。尽管稍后将描述其细节，但是在使对应于像高y(后述的像高偏差量+Δ)的像高偏差抵消的方向上，将微透镜12-1的配置校正至非线性配置。此外，用于微透镜12-1的非线性配置的校正量(后述的校正量(-Δ)的绝对值)的增加率随着像高y的增加而逐渐减少。更具体地，通过下面给出的等式来表示校正量(-Δ)的绝对值。这里，f2表示微透镜12-1的焦距，并且θ为经由孔径光阑10和微透镜12-1到达成像元件13的主光线(后述的主光线L0)的入射角。结果，尽管稍后将描述其细节，但是可以在从成像元件13获得的图像数据(后述的图像数据D0)中避免成像元件13的光接收表面(在微透镜阵列12侧的表面)上的像高偏差。

Δ＝f2×tanθ......(11)

成像元件13被设计为接收来自微透镜阵列12的光并获得图像数据D0。将该成像元件13配置在微透镜阵列12的焦平面上。成像元件13包括诸如以矩阵形式二维配置的CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)成像元件的多个二维成像元件。

在如上所述构成的成像元件13的光接收表面(微透镜阵列12侧的表面)上以矩阵形式二维配置M×N(M和N：整数)个成像像素(后述的像素P)。将微透镜阵列12的微透镜12-1中的一个分配给多个像素P。例如，在光接收表面上的像素P的数量为M×N＝3720×2520＝9374400。这里，分配给每个微透镜12-1的像素数(m×n)与重建图像的任意视场中的分辨率相关。结果，重建图像的任意视场中的分辨率随着值m和n的增加而改进。另一方面，(M/m)和(N/n)与重建图像的像素数(分辨率)有关。结果，重建图像的像素数随着值(M/m)和(N/n)的增加而增加。因此，重建图像的任意视场中的分辨率与这样的图像的像素数之间具有此消彼长的关系。

在成像元件13的光接收表面上二维配置滤色片17。如图5所示，在每个像素P上设置一个该滤色片17(未在图1中示出)。这些滤色片17通过以1∶2∶1的比率配置三原色(即，红色(R)、绿色(G)以及蓝色(B))的滤色片(红色滤色片17R、绿色滤色片17G以及蓝色滤色片17B)以棋盘形式(checkered pattern)来配置。即，该滤色片17为拜耳形式(Bayer pattern)的原色滤色片。由于在成像元件13的光接收表面上设置的滤色片17，从成像元件13获得的图像数据D0提供了具有与滤色片17的颜色相关的多种颜色(在该情况下为三原色)的像素数据(彩色像素数据)。

图像处理部14对从成像元件13获得的图像数据D0进行后述的预定图像处理(包括排序处理(sorting，整理处理)的图像处理)，并输出经处理的图像数据Dout。更具体地，例如，可以通过基于所谓的“光场摄影”方法执行重聚焦运算操作来合成设定在任意焦点处的图像(基于图像数据Dout的重建图像)。应注意，稍后将描述图像处理部14的详细构成和重聚焦运算操作的细节。

成像元件驱动部15驱动成像元件13，并控制其光接收操作。

控制部16控制图像处理部14和成像元件驱动部15的操作。例如，该控制部16包括微型计算机。

[图像处理部的详细构成实例]

接下来，将参照图6描述图像处理部14的详细构成。图6示出了图像处理部14的功能组块的构成。

图像处理部14包括缺陷校正部141、钳位(clamping)处理部142、插值处理部143、排序处理部144、降噪部145、边缘增强部146、白平衡调节部147以及伽马校正部148。

缺陷校正部141校正图像数据D0中诸如曝光不足的缺陷(由于成像元件13自身异常引起的缺陷)。钳位处理部142设定图像数据(其缺陷已经由缺陷校正部141校正)中的每个像素数据的黑色电平(执行钳位处理)。

插值处理部143对从钳位部处理142提供的图像数据执行用于一般的拜耳形式的诸如去马赛克处理的插值处理，因此生成经插值后的图像数据D1。

排序处理部144对从插值部143提供的图像数据D1执行预定的排序处理(像素数据的排序处理)，因此生成图像数据D2。例如，这种排序处理允许设定在任意焦点处的重建图像的合成。应注意，稍后将详细描述由排序处理部144执行的排序处理。

降噪部145降低来自排序处理部144所提供的图像数据D2的噪声(例如，在黑暗场所或灵敏度不足的场所进行图像拍摄期间产生的噪声)。边缘增强部146执行边缘增强，用于增强从降噪部145所提供的图像数据的边缘。

白平衡调节部147对从边缘增强部146提供的图像数据(包含相等数目的红色、绿色以及蓝色像素数据的图像数据)执行以下处理。即，该白平衡调节部147执行颜色平衡调节(白平衡调节)，以调节由滤色片17的透射特性、设备与设备之间的差异(包括成像元件13的光谱灵敏度)、照明条件以及其他条件引起的不正确的颜色平衡。

伽马校正部148对从白平衡调节部147提供的图像数据执行预定的伽马校正，从而生成图像数据Dout。

[成像装置的作用和效果]

以下将描述根据本实施方式的成像装置1的作用和效果。

(基本操作)

在成像装置1中，如图7A所示，以与微透镜12-1匹配的形状(圆形)在微透镜阵列12上形成由成像透镜11拍摄的被摄物2的图像。已经进入微透镜阵列12的入射光线经由该微透镜阵列12到达成像元件13，并且被光接收区13-1(孔径光阑10的圆形形状投影到其上)接收。这允许成像元件13获得图像数据D0。此时，根据入射在微透镜阵列12上的光线的入射方向，在成像元件13的不同位置处接收这些光线。更具体地，这些光线的入射方向由分配给每个微透镜12-1的像素P的位置确定。应注意，配置有分配给每个微透镜12-1的像素P的区域(重建图像区13D)相当于重建图像的一个像素。

接下来，将成像元件13获得的图像数据D0提供给图像处理部14。在该图像处理部14中，对图像数据D0进行预定的图像处理(例如，上述的重聚焦运算操作)。结果，经处理的图像数据Dout作为输出数据(重建图像的图像数据)从成像装置1输出。

(重聚焦运算操作)

此处，下面将参照图8至图13描述由图像处理部14执行的图像处理操作(重聚焦运算操作)的实例。

首先，考虑两个直角坐标系，如图8所示，在成像透镜11的表面上的一个(u，v)和在成像元件13的成像表面上的另一个(x，y)。用F表示成像透镜11的表面与成像元件13的成像表面之间的距离。在这种情况下，能够通过四维函数L_F(x，y，u，v)表示通过成像透镜11和成像元件13的光线L1。结果，不仅光线的位置信息而且其传播方向都记录在成像元件13上。即，光线的入射方向由分配给每个微透镜12-1的多个像素P的配置而确定。

此外，考虑在如图9所示的这个条件下设定成像透镜表面110、成像表面130以及重聚焦平面120之间的位置关系的情况(设定使F′＝αF的重聚焦平面120的位置的情况)。在这种情况下，当光线通过重聚焦平面120的坐标(s，t)时，通过以下示出的等式12来表示在成像表面130上光线的检测强度L_F′。此外，通过关于透镜半径对检测强度L_F′进行积分来找出重聚焦平面120上的图像E_F′(s，t)。结果，通过以下示出的等式13来表示图像E_F′(s，t)。因此，通过使用等式13执行重聚焦运算操作基于图像数据Dout来重建设定在任意焦点处(重聚焦平面120)的图像。

[式1]

$L_{F^{\&prime;}}(s,t,u,v)=L_{(\mathrm{\&alpha;}\&CenterDot;F)}(s,t,u,v)$

$=L_F(u+\frac{s-u}{\mathrm{\&alpha;}},v+\frac{t-v}{\mathrm{\&alpha;}},u,v)$

$=L_F\{u(1-\frac{1}{\mathrm{\&alpha;}})+\frac{s}{\mathrm{\&alpha;}},v(1-\frac{1}{\mathrm{\&alpha;}})+\frac{t}{\mathrm{\&alpha;}},u,v\}$

……(12)

$E_{F^{,}}(s,t)=\frac{1}{F^{,2}}{\&Integral;\&Integral;L}_{F^{,}}(s,t,u,v)\mathrm{dudv}$

$=\frac{1}{{\mathrm{\&alpha;}}^2{F}^2}\&Integral;\&Integral;L_F\{u(1-\frac{1}{\mathrm{\&alpha;}})+\frac{s}{\mathrm{\&alpha;}},v(1-\frac{1}{\mathrm{\&alpha;}})+\frac{t}{\mathrm{\&alpha;}},u,v\}\mathrm{dudv}$

……(13)

更具体地，如图6所示，图像处理部14首先在缺陷校正部141对从成像元件13提供的图像数据D0执行缺陷校正，随后，由钳位处理部142进行钳位处理，并由插值处理部143进行插值处理。然后，排序处理部144对图像数据D1执行排序处理，从而从图像数据D1生成图像数据D2。

这里，为了在由图像处理部14执行的重聚焦运算操作中生成具有比在图像拍摄期间定位的焦点(微透镜阵列12的位置)更向后(更远离)的重定位的焦点的重建图像，执行以下排序处理。更具体地，例如，以如图10所示的选择性提取光线的方式来执行排序处理。即，在成像透镜11与微透镜阵列12之间形成具有比在图像拍摄期间定位的焦点更向后的定位的焦点的被摄物的图像。因此，光线会聚一次并随后再次发散，根据其传播方向而通过不同的微透镜12-1，并最终到达成像元件13。因此，例如，如图12所示，以从彼此不同的多个重建图像区13D中选择性地提取与这些光线相关联的像素数据D10的方式来对像素数据进行排序处理。

另一方面，为了生成具有比在图像拍摄期间定位的焦点更向前(更接近)的重定位的焦点的重建图像，执行以下排序处理。更具体地，例如，如图11所示，以选择性提取光线的方式来执行排序处理。即，比微透镜阵列12更向后地形成具有比在图像拍摄期间定位的焦点更向前的定位的焦点的被摄物的图像。结果，光线没有在成像装置1内形成任何图像。相反，光线根据其传播方向通过不同的微透镜12-1，并最终到达成像元件13。因此，例如，如图13所示，以从彼此不同的多个重建图像区13D中选择性地抽出与这些光线相关联的像素数据D10的方式来对像素数据进行排序处理。

接下来，降噪部145降低如上所述已排序的图像数据D2中的噪声，随后，由边缘增强部146进行边缘增强，并且由白平衡调节部147进行颜色平衡调节。这提供了颜色平衡得以调节的图像数据。此后，伽马校正部148对从白平衡调节部147提供的图像数据执行伽马校正。结果，所得数据作为图像数据Dout从图像处理部14中输出。这允许基于图像数据Dout重建设定在任意焦点(重聚焦平面120)处的图像。

(特征作用)

接下来，将通过与比较例进行比较的方式，参照图14至图18，详细描述成像装置1的特征作用。这里，图14示出了根据比较例的成像装置(具有微透镜12-1的位置没有校正至上述非线性配置的微透镜阵列102的成像装置)的主要组件。更具体地，图14示出了出现像高偏差(后述的像高偏差量(+Δ)＞0)时根据比较例的成像装置如何拍摄图像。

(比较例)

首先，例如，如图14所示，如果通过成像透镜11(即，主透镜)的孔径光阑10的所有光线的主光线L0相对于光轴相是倾斜的，则发生依赖于主光线L0的角度的像高偏差Δ(像高偏差量(+Δ))。即，如图14中的箭头所示，以与微透镜12-1匹配的形状(圆形)在成像元件13上形成的图像从参考标号P1表示的位置移动至参考标号P2表示的位置。

更具体地，如图15所示，由于在成像元件13的光接收表面(微透镜阵列12侧的表面)上的像高偏差量(+Δ)(点Pd与Pe之间的距离)，产生像高偏差(参照图15中的虚线箭头)。通过以下示出的等式14和15表示该像高偏差量(+Δ)。在这些等式中，α表示光轴与主光线L0之间的倾角，y表示成像元件13上的由主光线L0形成的像高(点Pc与Pe之间的距离)，并且L表示孔径光阑10与微透镜阵列12之间的距离(点Pa与Pb之间的距离)。此外，f2表示微透镜12-1的焦距(点Pb与Pc之间的距离)，并且θ表示主光线L0经由孔径光阑10和微透镜12-1到达成像元件13的倾角(这里，θ＝α)。

tanα＝{(y-Δ)/L}}＝(Δ/f2)......(14)

Δ＝[{(y-Δ)×f2}/L]＝f2×tanθ......(15)

因此，在根据比较例的成像装置中，由于光线在通过孔径光阑10后向成像元件13会聚，所以在成像元件13上形成的每个单位图像的位置根据主光线L0的角度θ(α)而改变。如本实施方式中一样，没有将微透镜阵列102的微透镜102-1校正至非线性位置，导致了由以上示出的等式15表示的像高偏差量Δ引起的像高偏差。换句话说，即使通过成像元件13获得的图像数据D0如上所述地除了包括光强度分布信息之外，还包括关于光传播方向的信息，那么，微透镜12-1的单位图像的位置也从成像元件13的像素P偏离。结果，图像处理部14可能无法产生诸如重聚焦或任意视点图像的重建图像。

(本实施方式)

相反，在根据本实施方式的成像装置1中，例如，如图4和图15所示，根据成像元件13上来自成像透镜11的图像的像高y，将微透镜阵列12的微透镜12-1从等距离位置校正至非线性位置。更具体地，将微透镜12-1的位置从点Pf0校正至点Pf(校正量-Δ)，使得如图15中的实箭头所示，抵消了对应于像高y的像高偏差Δ。这样能够在从成像元件13获得的图像数据D0中避免在成像单元13的光接收表面(在微透镜阵列12侧的表面)上的像高偏差(由像高偏差量(+Δ)引起的偏差)。

然而，应注意，到达成像元件13的主光线L0的倾角θ可能不是一直如图15和图16A所示地随着像高y而线性地改变(当θ＝α时；例如，具有小光学系统的成像装置)。即，例如，主光线L0的倾角θ可能如图16B和图17所示地随着像高y非线性地改变(当不必θ＝α时；例如，具有短焦距的光学系统以及透镜不满足正弦条件的成像装置)。更具体地，在图17中，随着像高y的增加，主光线的角度θ不是线性地改变，而是逐渐减小(参照图17中的箭头)。结果，θ＜α。

因此，在成像装置1中，例如，如图4和图16B所示，根据成像元件13上来自成像透镜11的图像的像高y，将微透镜阵列12的微透镜12-1的配置从等距离配置校正至非线性配置。更具体地，例如，如图18中的箭头和等式11所示，微透镜12-1的非线性配置的校正量(校正量(-Δ)的绝对值)的增加率随着像高y的增加而逐渐减小。这样，即使例如在如图16B和图17所示(即使主光线的角度θ随着像高y非线性地改变)的情况下，也能够在从成像元件13获得的图像数据D0中避免成像元件12的光接收表面上的像高偏差。

如上所述，在本实施方式中，根据成像元件13上来自成像透镜11的图像的像高y，将微透镜阵列12的微透镜12-1的配置从等距离配置校正至非线性配置。这样能够在从成像元件13获得的图像数据D0中避免在成像元件13的光接收表面上的像高偏差。当以包括关于光线传播方向的信息的方式获得图像数据时，这允许图像处理部14使用图像数据D0生成正确的重建图像。

此外，例如，因为仅通过设定微透镜12-1的位置就实现了像高校正，所以在图像处理部14中不需要设置用于校正像高的像高校正部。因此，只要在设计微透镜阵列12的微透镜12-1之间的间距时预期了孔径光阑10不会发生位移，就可以容易地生成正确的重建图像。

<2.修改例>

尽管参照实施方式进行了描述，但是本发明不限于该实施方式，而可以进行各种方式的修改。

例如，已经描述了作为本实施方式的成像装置的一个组件的图像处理部14。然而，在成像装置中并不是必须设置该图像处理部。更具体地，可以在与成像装置分离的诸如PC(个人计算机)的装置中设置图像处理部，从而能够将从成像装置获得的图像数据传送至用于图像处理的PC。

此外，将孔径光阑10配置在本实施方式中的成像透镜的成像侧(出射侧)。然而，本发明不限于这种构成，孔径光阑10也可以设置在成像透镜的被摄物侧(入射侧)。

此外，在本实施方式中例举了用棋盘形式以1∶2∶1的比率配置的三原色(即，红色(R)、绿色(G)以及蓝色(B))的拜耳形式的滤色片作为实例而进行了描述。然而，本发明不限于此。即，也可以使用诸如补色的其他形式的滤色片。其中，这种补色滤色片可以是用棋盘形式以1∶1∶1∶1的比率配置的黄色(Y)、品红色(M)、青色(C)以及绿色(G)的四种补色滤色片。

另外，例举了去马赛克作为对图像数据中的像素数据执行的插值处理的实例。然而，也可以执行其他插值处理。

另外，在本实施方式中，描述了重聚焦运算操作，作为包括由图像处理部14执行的排序处理的图像处理的实例。然而，包括排序处理的图像处理不限于此。即，也可以使用散焦或景深(depth offield)调节。此外，例如，可以从多个图像区(各图像区是为各个微透镜形成的一个图像区)的相同位置处的像素中提取并且合成像素数据，以生成多个任意视点的图像。使用这样的多个视差图像，可以基于视差图像之间的相位差来计算距成像物体的距离，或通过显示多个视差图像来实现立体视觉。

应该了解，对于本领域的技术人员来说，根据设计要求和其他因素，本发明可以有各种修改、组合、子组合和变化，均应包含在所附权利要求或其等同物的范围之内。

Claims (4)

1.一种成像装置，包括：

成像透镜，具有孔径光阑；

成像元件，用于基于接收的光获得图像数据；以及

微透镜阵列，设置在所述成像透镜与所述成像元件之间的成像透镜的焦平面上，所述微透镜阵列包括以每个微透镜与所述成像元件的多个成像像素相关联的方式配置的多个微透镜，其中

根据所述成像元件上来自所述成像透镜的图像的像高，在使对应于所述像高的像高偏差抵消的方向上，将所述微透镜阵列的所述微透镜的配置从等距离配置校正至非线性配置，并且

所述微透镜的非线性配置的校正量的增加率随着所述像高的增加而逐渐减小。

2.根据权利要求1所述的成像装置，包括：

图像处理部，用于对从所述成像元件获得的所述图像数据进行预定的图像处理，以生成重建图像。

3.根据权利要求2所述的成像装置，其中

所述图像处理部基于所述图像数据生成重聚焦图像，即，设定在任意焦点处的图像。

4.根据权利要求2所述的成像装置，其中

所述图像处理部基于所述图像数据，从在多个图像区的相同位置处的像素提取并且合成像素数据，以生成作为所述重建图像的多个任意视点图像，各所述图像区是为各个微透镜形成的一个图像区。

Images