CN101076085A - 图像捕获方法和装置以及使用该装置的电子装置 - Google Patents

Abstract

一种图像捕获装置包括成像透镜，图像摄取器件，和校正电路。成像透镜配置来聚焦来自物体的光线以形成图像。图像摄取器件配置来摄取成像透镜形成的图像。校正电路，配置来执行由校正成像透镜引起的图像的图像退化的计算。成像透镜为具有有限的光学传递函数的增益并且表现出成像透镜的不同视角之间增益上的微小差异的单个透镜。

Description

图像捕获方法和装置以及使用该装置的电子装置

技术领域

本发明涉及一种图像捕获方法和装置以及使用该方法和装置的电子装置，更特别地涉及能够有效再现质量图像的图像捕获方法和装置以及使用该装置的电子装置。

背景技术

图像捕获装置包括数字摄像机，监控摄像机，车载摄像机等。一些图像捕获装置使用于执行虹膜或者脸部鉴别的图像读取装置或者图像识别装置中。此外，一些图像捕获装置还使用于诸如计算机或者蜂窝电话的电子装置中。

一些图像捕获装置具有光学成像系统和图像摄取器件。光学成像系统包括聚焦来自物体的光线以形成图像的成像透镜。诸如CCD(电荷耦合器件)或者CMOS(互补金属氧化物半导体)传感器的图像摄取器件摄取成像透镜形成的图像。

对于这种图像捕获装置，如何有效地再现高质量图像是具有挑战性的任务。通常，图像捕获装置试图通过增强光学成像系统的光学性能来提高再现的图像的图像质量。

然而，这种高光学性能在具有简单结构的光学成像系统中很难实现。例如，对于使用单个透镜的光学成像系统，即使单个透镜的表面是非球面的，也很难获得相对高的光学性能。

一些图像捕获装置还试图通过使用光学成像系统的OTF(光学传递函数)数据来提高再现的图像的图像质量。

使用OTF数据的图像捕获装置包括光学成像系统中的非球面元件。该非球面元件对通过成像透镜的光线施加相位调制。从而，非球面元件对OTF进行调制，以便抑制OTF根据成像透镜的视角或者物距的变化。

接着图像捕获装置通过图像摄取装置摄取经过相位调制的图像并对摄取的图像执行数字滤波。此外，图像捕获装置恢复初始OTF以再现物像。从而，可以在抑制视角或者物距的变化引起的退化的情况下摄取再现的物像。

然而，非球面元件具有特别的表面形状，从而会不适宜地增加制造成本。此外，图像捕获装置可能需要相对长的光路以便将非球面元件放置在成像透镜系统的光路上。因此，这种使用非球面元件的图像捕获装置在缩减成本，小型化，或者薄型化方面不是那么有利。

此外，图像捕获装置采用复眼光学系统，诸如微透镜阵列，来得到更薄型的图像捕获装置。复眼光学系统包括多个成像透镜。各个成像透镜对单眼图像进行聚焦以形成复眼图像。

图像捕获装置通过图像摄取器件摄取复眼图像。接着图像捕获装置从构成复眼图像的单眼图像重构单个物像。

例如，图像捕获装置采用包括多个成像透镜的微透镜阵列。各成像透镜形成单眼图像。图像捕获装置通过利用单眼图像之间的视差重构单个物像。

因此，使用微透镜阵列，图像捕获装置试图减小后焦距来获得薄型的光学成像系统。此外，使用多个单眼图像，图像捕获装置试图校正由于每个单眼图像上相对少量的像素引起的分辨率的退化。

然而，这种图像捕获装置不可能有效地校正由于光学成像系统引起的光学图像退化。

发明内容

本发明至少一个实施例提供一种图像捕获装置包括成像透镜，图像摄取器件，和校正电路。成像透镜配置来聚焦来自物体的光线以形成图像。图像摄取器件配置来摄取成像透镜形成的图像。校正电路配置来执行校正成像透镜引起的图像的图像退化的计算。成像透镜为单个透镜，该单个透镜具有有限的光学传递函数的增益并且表现出成像透镜的不同视角之间增益上的微小差异。

此外，本发明至少一个实施例提供一种图像捕获装置，包括透镜阵列，重构电路以及重构图像校正电路。透镜阵列包括按阵列排列的多个成像透镜。该透镜阵列配置来形成复眼图像，该复眼图像包括物体的单眼图像。单眼图像由各个成像透镜形成。重构电路配置来执行从透镜阵列形成的复眼图像重构单个物像的计算。重构图像校正电路，配置来执行用于校正由重构电路重构的单个物像的图像退化的计算。

从下列范例实施例的详细描述，附图以及相关权利要求中，将充分地体现本发明其它的特点和优势。

附图说明

通过在结合附图时参考下列详细描述，将更好地认识和理解本发明及其很多伴随的优点，其中：

图1是示例说明根据本发明的范例实施例的图像捕获装置结构的示意图；

图2A是示例说明当成像透镜的凸面面对图像表面时观察到的成像透镜的光路的示意图；

图2B是当图2A的成像透镜的凸面面对物体表面时观察到的该成像透镜的光路的示意图；

图2C是示例说明图2A的光通量的MTF(调制传递函数)值的曲线图；

图2D是示例说明图2B的光通量的MTF值的曲线图；

图3A是示例说明根据本发明的另一个范例实施例的图像捕获装置结构的示意图；

图3B是图3A示例说明的透镜阵列系统和图像摄取器件的部分放大图示；

图3C是示例说明图像摄取器件摄取的复眼图像的实例的示意图；

图4是示例说明取决于两个视差相关参数的亮度偏差的最小平方和的变化的实例的三维曲线图；

图5是示例说明从复眼图像到单个物像的重构方法的示意图；

图6是示例说明图像退化校正处理以及单个物像的重构处理的顺序流程的流程图；

图7是示例说明图像退化校正处理以及单个物像的重构处理的另一个顺序流程的流程图；

图8是示例说明取决于成像透镜的物距的MTF的变化的实例的曲线图；

图9是示例说明彩色CCD摄像机的像素阵列实例的示意图。

附图的目的是说明本发明的范例实施例，而不应该认为是限制本发明的范围。除非特别指出，不应该认为附图是按照比例绘制的。

具体实施方式

这里使用的术语仅仅是为了描述特定实施例而不是意图限制本发明。作为这里所使用的，除非上下文特别说明，单数形式意图是同样包括复数形式。应当进一步理解的是，当在本说明书中使用时，词语“包括”指的是存在所陈述的特征，整数，步骤，操作，元件和/或组件，但是不排除一个或者多个其它特征，整数，步骤，操作，元件，组件，和/或它们的组合的存在或者增加。

在描述附图中示例说明的范例实施例中，为了清楚的目的采用特定术语。然而，意图不是将本申请说明书的揭示限制于这样选择的特定术语，而且应当理解的是，每个特定元件包括以类似方式工作的所有技术等价物。

现在参考图示描述本发明的范例实施例，其中在几个图示中相同的附图标记指的是同样或者对应的部件。

图1是示例说明根据本发明的范例实施例的图像捕获装置100的结构的示意图。

如图1所示，图像捕获装置100例如可以包括成像透镜2，图像摄取器件3，校正电路4，存储器5，以及图像显示器6。

在图1中，成像透镜2可以是具有球形凸面的平面-凸面透镜。图像摄取器件3可以是CCD或者CMOS摄像机。图像显示器6可以是例如液晶显示器。

校正电路4和存储器5可以配置校正电路单元20。校正电路单元20还构成用于整体控制图像捕获装置100的控制部的一部分。

如图1所示，放置成像透镜2使得其平面面对物体1，而其凸面面对图像摄取器件3。

成像透镜2聚焦来自物体1的光线以在图像摄取器件3的图像摄取表面上形成物体1的图像。图像摄取装置3摄取物体1的图像，并将摄取的图像数据发送到校正电路4。

存储器5存储成像透镜2的OTF数据，OTF(x，y)。OTF数据是通过如下方式获得的。首先，通过光线跟踪模拟计算成像透镜2的波像差。接着，从波像差确定成像透镜2的光瞳函数。进一步地，对于光瞳函数执行自相关计算，从而生成OTF数据。

校正电路4从存储器5读取OTF数据并使用OTF数据对摄取的图像数据执行校正计算。校正电路4还输出经过校正的图像数据到图像显示器6。图像显示器6基于经过校正的图像数据显示再现的图像6a。

下面，参考图2A到2D描述成像透镜的朝向对于聚焦的图像的影响。图2A和2B的成像透镜L配置为平面-凸面透镜。

图2A是示例说明当成像透镜L的凸面面对聚焦的图像时观察到的成像透镜的光路的示意图。图2B是当如同传统地进行的那样成像透镜L的凸面面对物体表面OS时观察到的该成像透镜的光路的示意图。

在图2A和2B中，三个光通量F1，F2和F3可以具有相对于成像透镜L的相互不同的入射角。

图2A的光通量F1，F2和F3相比于图2B的光通量F1，F2和F3表现出相对较低的聚焦特性和较低的光线密度。因此，图2A的光通量F1，F2和F3在图像表面IS的范围内表现出相对小的相互差异。

另一方面，图2B的光通量F1，F2和F3相比于图2A的光通量F1，F2和F3表现出相对较高的聚焦特性。因此，图2B的光通量F1，F2和F3在图像表面IS的范围内表现出相对大的相互差异。

通过参考指示成像透镜L的OTF的增益的MTF(调制传递函数)可以很好地理解成像透镜L的朝向和聚焦的图像之间的这种关系。

图2C是示例说明当如同图2A所示的那样放置成像透镜L时获得的光通量F1，F2，和F3的MTF值的曲线图。

另一方面，图2D是示例说明当如同图2B所示的那样放置成像透镜L时获得的光通量F1，F2，和F3的MTF值的曲线图。

图2C和图2D的比较提供了图2A和图2B的成像状态之间的MTF上清楚的差异。

在图2C中，线2-1代表对于径向平面和切向平面这两者上的光通量F1的成像透镜L的MTF值。所观察的两个平面之间MTF上的差异太小以致于不能在图形上区别。

线2-2代表径向平面和切向平面这两者上对于光通量F2的成像透镜L的MTF值。所观察的两个平面之间MTF上的差异太小以致于不能在图2C中在图形上区别。

对于光通量F3，线2-3和2-4分别代表径向平面和切向平面这两者上的成像透镜L的MTF值。如图2A所示，与光通量F1和F2相比，光通量F3具有与成像透镜L相关的相对大的入射角。所观察的径向平面和切向平面之间MTF上的差异在图2C中可以在图形上区别。

从而，在图2A的成像状态中，成像透镜L表现出较低的聚焦性能，这通常导致有限和低的MTF值。然而，成像透镜L表现出光通量F1，F2，和F3之间MTF上小的差异，这是由入射角的差异而引起的。

因此，当使成像透镜的凸面面对图像而形成物像时，不管入射角大小，成像透镜L的MTF值通常是有限并且较低的。MTF值也不会受到光线的入射角差异的很大影响。

在图2B的成像状态中，诸如F1的具有小入射角的光通量表现出径向平面和切向平面之间MTF上可忽略的差异。从而，获得了较佳的MTF特性。

另一方面，如F2和F3所示的那样光线入射角越大，则MTF值越小。

在图2D中，线2-6和2-7分别代表成像透镜L对于光通量F2的径向和切向MTF曲线。在图2D中，线2-8和2-9分别代表成像透镜L对于光通量F3的径向和切向MTF曲线。

当透镜系统的OTF数据可用时，可以以下面的方式校正由于与OTF相关的因素引起的图像退化。

当图像表面上形成的物像由于与透镜系统相关的因素而退化时，物像的光强由下列等式1表示：

I(x，y)＝FFT^-1[FFT{S(x，y)}×OTF(x，y)]           ...1

其中“x”和“y”代表图像摄取平面上的位置坐标，“I(x，y)”代表图像摄取器件摄取的物像的光强，“S(x，y)”代表物体的光强，而“OTF(x，y)”代表成像透镜的OTF。此外，FFT代表傅立叶变换操作符，FFT^-1代表逆傅立叶变换操作符。

更特别地，光强“I(x，y)”代表诸如CCD或者CMOS传感器的图像传感器的图像摄取表面上的光强。

可以以下列方式预先获得等式1中的OTF(x，y)。首先，通过光线跟踪模拟确定成像透镜的波像差。基于波像差计算成像透镜的光瞳函数。进一步地，对于光瞳函数执行自相关计算，从而生成OTF数据。因此，可以根据图像捕获装置100中使用的成像透镜预先获得OTF数据。

如果对等式1的两侧同时应用FFT，则等式1变换为：

FFT{I(x，y)}＝[FFT{S(x，y)}× OTF(x，y)]    ...1a

进一步地，将上述等式1a变换为：

FFT{S(x，y)}＝FFT{I(x，y)}/OTF(x，y)        ...1b

在此方面，当R(x，y)代表再现的图像的光强时，R(x，y)显示出对于S(x，y)更确切的对应性，则再现的图像更精确地再现物体。

当预先为成像透镜获得OTF(x，y)时，可以通过对上述等式1b的右侧应用FFT^-1来确定R(x，y)。因此，可以通过下列等式2来表示R(x，y)：

R(x，y)＝FFT^-1[FFT{I(x，y)}/OTF(x，y)+α]    ...2

其中“α”代表用于防止诸如被零除的算术错误和抑制噪声放大的常数。在此方面，OTF(x，y)越精确，则R(x，y)更接近地反映S(x，y)。从而，可以获得精确地再现的图像。

因此，当预先为成像透镜获得OTF数据时，图像捕获装置100可以通过使用等式2执行校正计算来提供较佳的再现的图像。

对于使用等式2的校正计算，当如图2B所示成像透镜的凸面面对物体表面OS时，即使进行使用等式2的校正计算也不能获得较佳的再现的图像。

在这种情况下，成像透镜的OTF可能根据光的入射角显著地变化。因此，即使仅仅基于OTF值，例如光通量F1的OTF值校正摄取的图像，也不能实现对摄取的图像的整体进行充分地校正。因此，不能获得较佳的再现的图像。

为了进行充分的校正，可以根据光入射角使用不同的OTF值。然而，入射角之间OTF上的差异很大时，较佳地是对于校正计算，使用根据光入射角的相对多数量的OTF值。这种校正计算可能需要长得多的处理时间。因此，上述的校正方式不是那么有利。

此外，当要校正的最小单元是图像摄取器件的像素时，精度在像素以下的OTF数据不可用。因此，入射角之间OTF上的差异越大，再现的图像中的误差越大。

另一方面，当如图2A所示成像透镜的凸面面对图像表面IS时，不同入射角之间在OTF上的差异可较小。此外，成像透镜的OTF对于不同的光入射角基本一致。

从而，在图2A的成像状态中，图像捕获装置100可以获得成像透镜L的有限且较低的OTF值，其不会受到光入射角的很大影响。

因此，可以使用对于任何一个入射角的OTF值或者任何两个入射角的平均OTF值执行上述校正运算来校正图像退化。替代地，可以使用对应于入射角的不同OTF值。

使用对于一个入射角的OTF值可以减少校正计算的处理时间。此外，即使当使用对应于入射角的不同OTF值来增加校正精度时，可以基于相对较少数量的OTF数据执行校正计算，从而减少处理时间。

因此，图像捕获装置100可以通过使用诸如平面-凸面透镜的简单的单个透镜作为成像透镜来再现具有较高质量的图像。

在图2A的成像状态中，入射角对于OTF的影响相对较小，如图2C所示。较小的影响表示即使倾斜地放置成像透镜，倾斜也不会明显地影响OTF。

因此，如图2A所示地放置成像透镜L可以有效地抑制不期望的成像透镜L的倾斜误差的影响，该倾斜误差在将成像透镜L安装到图像捕获装置100上时可能发生。

当成像透镜L表现出如图2B所示的较高的聚焦性能时，成像表面IS在沿着光轴的方向上轻微的偏移可能放大焦点的范围，从而引起图像退化。

同时，当成像透镜L表现出如图2A所示的较低的聚焦性能时，成像表面IS在沿着光轴的方向上轻微的偏移不会明显放大焦点的范围。因此，可以抑制由于成像透镜和图像表面IS之间的距离上的误差而可能引起的不期望的影响。

在上面的描述中，使用FFT的频率滤波被解释为在图像捕获装置中校正再现的图像的方法。

然而，作为校正方法，可以采用使用点扩散函数(PSF)的去卷积计算。使用PSF的去卷积计算可以类似于上面的频率滤波去校正光学图像退化。

相比于傅立叶变换，使用PSF的去卷积计算可以是相对简单的计算，因此可以减少用于该计算的特定处理电路的制造成本。

如上所述，图像捕获装置100使用具有有限OTF增益和光线入射角之间OTF上微小差异的单个透镜作为成像透镜。由于单个透镜的OTF值有限，较低，并且不管光入射角的大小都基本一致，因此，可以方便光学图像退化的校正计算，从而减少处理时间。

在本范例实施例的上述描述中，用在图像捕获装置100中的单个透镜具有平面-凸面的形状。其凸面是球形的并且面对聚焦的图像。

替代地，单个透镜也可以是凸面面对聚焦的图像的凹凸透镜。只要对于物体侧具有零或者负倍率并且对于图像侧具有正倍率，单个透镜也可以是GRIN(渐变折射率)透镜，或者，诸如全息透镜或菲涅耳透镜的衍射透镜。

图像捕获装置100中使用的单个透镜也可以是非球面透镜。特别地，上述平面-凸面透镜或者凹凸透镜的凸面可以是非球面形的。

在此情况下，可以调节诸如圆锥常数的低维非球面常数(low-dimensionaspheric constant)，以便减小OTF对于光入射角的依赖性。非球面常数的调节可以减小入射角之间OTF上的差异，从而补偿较低的OTF水平。

上述再现的图像的校正方法适用于从红外线到紫外线的整个电磁波范围。因此，根据本范例实施例的图像捕获装置100适用于诸如监控摄像机和车载摄像机的红外摄像机。

接着，参考图3A到图3C描述根据本发明另一个范例实施例的图像捕获装置100。

图3A示例说明了根据本发明的另一个范例实施例的图像捕获装置100的示意图。图像捕获装置100可以包括透镜阵列系统8，图像摄取器件9，校正电路10，存储器11，重构电路12和图像显示器13。图像捕获装置100例如将物体7再现为在图像显示器13上再现的图像13a。

校正电路10和存储器11可以配置重构图像校正电路单元30。重构图像校正电路单元30和重构电路12还构成用于整体控制图像捕获装置100的控制部的一部分。

图3B是图3A示例说明的透镜阵列系统8和图像摄取器件9的部分放大图示。

透镜阵列系统8可以包括透镜阵列8a和遮光片阵列8b。透镜阵列8a还可以包括成像透镜的阵列。遮光片阵列8b还可以包括遮光片的阵列。

特别地，根据本范例实施例，透镜阵列8a可以采用光学上相互等价的多个平面-凸面透镜作为成像透镜。透镜阵列8a还可以具有其中二维地排列了多个平面-凸面透镜的整体结构。

每个平面-凸面透镜的平面面对物体侧，而它们的凸面面对图像侧。每个平面-凸面透镜由诸如透明树脂的树脂制成。从而，每个平面-凸面透镜可以根据树脂成型方法通过玻璃或者金属模子成型。玻璃或者金属模子也可以通过回流方法，使用区域色调掩模的蚀刻方法，或者机械制作方法形成。

替代地，透镜阵列8a的每个平面-凸面透镜可以由玻璃来代替树脂而制成。

提供遮光片阵列8b来抑制可能由于通过相邻成像透镜的光线混合在图像表面上而引起的闪光或者假像。

遮光片阵列8b由透明树脂与诸如黑色橡胶的不透明材料的混合材料制成。因此，类似于透镜阵列8a，遮光片阵列8b可以根据树脂成型方法通过玻璃或者金属模子成型。玻璃或者金属模子也可以通过蚀刻方法或者机械制作方法形成。

替代地，遮光片阵列8b可以由诸如涂为黑色的不锈钢的金属来代替树脂而制成。

根据本范例实施例，遮光片阵列8b中对应于透镜阵列8a中的每个成像透镜的部分可以是管状的遮光片。替代地，对应部分可以是锥形的遮光片或者针孔形的遮光片。

透镜阵列8a和遮光片阵列8b都可以由树脂制成。在这种情况下，透镜阵列8a和遮光片阵列8b可以一体地成型，这可以增加制造的效率。

替代地，透镜阵列8a和遮光片阵列8b可以分开地成型，并接着在成型以后组装。

在这种情况下，透镜阵列8a的面对图像侧的各个凸面可以结合到遮光片阵列8b的各个开口中，从而方便透镜阵列8a和遮光片阵列8b之间的对齐。

根据本范例实施例，图3A或者3B所示例说明的图像摄取器件9为其中二维地排列了光电二极管的图像传感器，诸如CCD图像传感器或者CMOS图像传感器。图像摄取器件9的放置使得透镜阵列8a的平面-凸面透镜的各个焦点基本上位于图像摄取表面上。

图3C是示例说明图像摄取器件9摄取的复眼图像CI的实例的示意图。为了简单起见，假定透镜阵列8a具有25个成像透镜(未显示)。25个成像透镜以5×5的方矩阵排列。分开图3C中的单眼图像SI的矩阵线指示遮光片阵列8b的阴影。

如图3C所示，成像透镜在图像表面上形成物体7的各个单眼图像。从而，作为25个单眼图像SI的阵列而获得复眼图像CI。

图像摄取器件9包括多个像素9a来摄取单眼图像SI，如图3B所示。多个像素9a以矩阵形式排列。

假定图像摄取器件9的像素9a的总数为500×500，并且透镜阵列8a的成像透镜阵列为5×5。那么，每个成像透镜的像素数量为100×100。此外，假定遮光片阵列8b的阴影每个成像透镜覆盖10×10个像素。那么，每个单眼图像SI的像素9a的数量为90×90。

接着，图像摄取器件9摄取如图3C所示的复眼图像CI来生成复眼图像数据。复眼图像数据被发送到校正电路10。

预先计算透镜阵列8a的成像数据的OTF数据并存储在存储器11中。由于成像透镜在光学上相互等价，对于下面的校正计算仅一个OTF值就足够了。

校正电路10从存储器11读取OTF数据并对从图像摄取器件9发送的复眼图像执行校正计算。根据本范例实施例，校正电路10对于构成复眼图像的各个单眼图像分别执行校正计算。此时，使用等式2执行校正计算。

从而，校正电路10基于成像透镜的OTF数据对构成复眼图像CI的各个单眼图像SI分别执行校正计算。从而，可以获得由经过校正的单眼图像SI的数据构成的复眼图像数据。

接着，重构电路12基于复眼图像数据执行重构单个物像的处理。

如上所述，构成复眼图像CI的单眼图像SI为透镜阵列8a的成像透镜形成的物体7的图像。各个成像透镜具有相对于物体7的不同的位置关系。这种不同的位置关系产生单眼图像之间的视差。从而，获得了根据视差而互相偏移的单眼图像。

顺便地，本说明书中的“视差”指的是参考单眼图像和每个其他单眼图像之间的图像偏移量。图像偏移量由长度表示。

如果仅仅使用一个单眼图像作为摄取的图像，图像捕获装置100不能再现小于单眼图像的一个像素的物体7的细节。

另一方面，如果使用多个单眼图像，图像捕获装置100可以使用如上所述的多个单眼图像之间的视差再现物体7的细节。换而言之，通过从包括复眼图像重构单个物像，图像捕获装置100可以提供具有对于各个单眼图像增加的分辨率的再现的物像。

单眼图像之间的视差的检测可以基于单眼图像之间的亮度偏差的最小平方和来执行，该最小平方和由等式3定义。

E_m＝∑∑{I_B(x，y)-I_m(x-p_x，y-p_y)}²    ...3

其中I_B(x，y)代表从构成复眼图像的单眼图像中选择的参考单眼图像的光强。

如上所述，单眼图像之间的视差指的是参考单眼图像和每个其他单眼图像之间的视差。因此，参考单眼图像作为对于其他单眼图像的视差的参考。

下标“m”代表每个单眼图像的数字代码，并且范围是从一个到构成透镜阵列8a的透镜的数量。换而言之，“m”的上限等于单眼图像的总数。

当在等式3的项I_m(x-p_x，y-p_y)中满足p_x＝p_y＝0时，I_m(x，y)代表第m个单眼图像的光强，p_x和p_y分别代表用于确定在x和y方向上的视差的参数。

等式3中的双求和代表在第m个单眼图像x和y方向的像素的和。双求和在“x”从1到X和“y”从1到Y的范围内进行。在此方面，“X”代表第m个单眼图像在“x”方向的像素数量，“Y”代表第m个单眼图像在“y”方向的像素数量。

对于构成给定单眼图像的所有像素，计算该单眼图像和参考单眼图像之间的亮度偏差。接着，确定亮度偏差的最小平方和E_m。

此外，每次各参数p_x和p_y递增一个像素，就使用等式3计算亮度偏差的最小平方和E_m。可以将产生最小平方和E_m的最小值的参数p_x和p_y的值分别视为单眼图像相对于参考单眼图像在x和y方向的视差P_x和P_y。

假定当选择构成复眼图像的第一单眼图像(m＝1)作为参考单眼图像时，计算第一单眼图像自身的视差。在这种情况下，第一单眼图像与参考单眼图像相同。

因此，当在等式3中满足p_x＝p_y＝0时，两个单眼图像完全重叠。从而亮度偏差的最小平方和E_m在等式3中变为0。

p_x和p_y的绝对值越大，两个单眼图像之间的重叠区域越少，并且最小平方和E_m越大。因此，相同的单眼图像之间的视差P_x和P_y为零。

接着，假定对于第m个单眼图像在等式3中满足p_x＝3，p_y＝2。在此情况下，第m个单眼图像相对于参考单眼图像在x方向偏移3个像素，在y方向偏移2个像素。

因此，第m个单眼图像相对于参考单眼图像在x方向偏移负3个像素，在y方向偏移负2个像素。从而，可以校正第m个单眼图像以便精确地重叠参考单眼图像。接着，亮度偏差的最小平方和E_m取最小值。

图4是示例说明取决于视差参数p_x和p_y的亮度偏差的最小平方和E_m的变化的实例的三维曲线图。在该曲线图中，x轴代表p_x，y轴代表p_y，z轴代表E_m。

如上所述，产生最小平方和E_m的最小值的参数p_x和p_y的值可以分别视为单眼图像在x和y方向上相对于参考单眼图像的视差P_x和P_y。

视差P_x和P_y每个作为像素尺寸的整数倍来定义。然而，当期望视差P_x或P_y小于图像摄取器件9的一个像素的尺寸时，重构电路12放大第m个单眼图像以便视差P_x或P_y为像素尺寸的整数倍。

重构电路12执行计算以在像素之间插入像素来增加构成单眼图像的像素的数量。对于插值计算，重构电路12确定每个像素相对于相邻像素的亮度。从而，重构电路12可以基于放大的单眼图像和参考单眼图像之间亮度偏差的最小平方和E_m计算视差P_x和P_y。

可以基于下面的三个因素预先大致估计视差P_x和P_y：构成透镜阵列8a的每个成像透镜的光放大倍率，透镜阵列8a的透镜间距，以及图像摄取器件9的像素尺寸。

因此，可以确定用于插值计算的放大比例，从而每个估算的视差具有像素尺寸整数倍的长度。

当以相对较高的精度形成透镜阵列8a的透镜间距时，可以基于物体7和透镜阵列8a的每个成像透镜之间的距离计算视差P_x和P_y。

根据一种视差检测方法，首先，检测一对单眼图像的视差P_x和P_y。接着，使用三角测量法原理计算该对成像透镜中的每个成像透镜和物体之间的物距。基于计算的物距和透镜间距，可以几何地确定另一个单眼图像的视差。在这种情况下，检测视差的计算处理只执行一次，这可以减少计算时间。

替代地，可以使用另一种已知的视差检测方法，来代替上述使用亮度偏差的最小平方和的视差检测方法。

图5是示例说明从复眼图像到单个物像的重构方法的示意图。

根据图5所示的重构方法，首先，从构成复眼图像14的单眼图像14a获得像素亮度数据。基于单眼图像14a的位置和检测的视差，将获得的像素亮度数据定位于虚拟空间中的再现图像130的给定位置。

对于每个单眼图像14a的所有像素，重复上述像素亮度数据的定位过程，从而生成再现的图像130。

这里，假定选择图5中的复眼图像14最上面的行中最左面的单眼图像14a作为参考单眼图像。那么排列在其右侧的单眼图像的视差P_x依次变为-1，-2，-3等。

将每个单眼图像最左面和最上面的像素的亮度数据依次定位在再现的图像130中。此时，在图5的右方向，即视差的正方向依次以视差值偏移像素亮度数据。

当单眼图像14a具有相对于参考单眼图像的视差P_x和P_y时，如上所述地以每个视差的负值在x和y方向偏移单眼图像14a。从而，单眼图像与参考单眼图像最接近地重叠。两个图像之间重叠的像素指示物体7的基本相同的部分。

然而，偏移的单眼图像和参考单眼图像是由具有透镜阵列8a中的不同位置的成像透镜形成的。因此，两个图像之间重叠的像素不表示完全相同的部分，而是基本相同的部分。

因此，图像捕获装置100使用参考单眼图像的像素中摄取的物像数据，和在偏移的单眼图像的像素中摄取的物像数据。从而，图像捕获装置100可以再现小于单眼图像的一个像素的物体7的细节。

从而，图像捕获装置100从包括视差的复眼图像重构单个物像。由此，图像捕获装置100可以提供物体7的再现的图像，该物体7具有对于单眼图像的增加的分辨率。

相对较大数量的视差、或者遮光板阵列8b的阴影，可能产生失去了亮度数据的像素。在这种情况下，重构电路12通过参考相邻像素的亮度数据插入像素丢失的亮度数据。

如上所述，当视差小于一个像素时，放大重构的图像，使得视差量变得等于像素尺寸的整数倍。此时，通过插值计算增加了构成重构的图像的像素的数量。接着，将像素亮度数据定位于放大的重构图像的给定位置。

图6是示例说明如上所述的图像退化校正处理以及单个物像的重构处理的顺序流程的流程图。

在步骤S1，图像摄取器件9摄取复眼图像。

在步骤S2，校正电路10读取透镜系统的OTF数据。如上所述，OTF数据是通过光线跟踪模拟预先计算的并存储在存储器11中。

在步骤S3，校正电路10执行计算以基于OTF数据校正每个单眼图像中的图像退化。由此，获得了由经过校正的单眼图像所构成的复眼图像。

在步骤S4，重构电路12选择用于确定每个单眼图像的视差的参考单眼图像。

在步骤S5，重构电路12确定参考单眼图像和每个其他的单眼图像之间的视差。

在步骤S6，重构电路12执行计算来使用视差从复眼图像重构单个物像。

在步骤S7，输出单个物像。

图7是图像退化校正处理以及图6的重构处理的另一个顺序流程的流程图。

在步骤S1a，图像摄取器件9摄取复眼图像。

在步骤S2a，重构电路12选择用于确定每个单眼图像的视差的参考单眼图像。

在步骤S3a，重构电路12确定参考单眼图像和每个其他的单眼图像之间的视差。

在步骤S4a，重构电路12执行计算来使用视差从复眼图像重构单个物像。

在步骤S5a，校正电路10从存储器11读取透镜系统的OTF数据。

在步骤S6a，校正电路10执行计算以基于OTF数据校正单个物像中的图像退化。

在步骤S7a，输出单个物像。

在图7的顺序流程中，基于OTF数据校正图像退化的计算处理只执行一次。因此，相比于图6的顺序流程可以减少计算时间。

然而，由于OTF数据本质上是与各个单眼图像相关的，相比于图6的顺序流程，对重构的单个物像应用OTF数据可能增加校正中的误差。

下面，对于构成本范例实施例的透镜阵列8a的成像透镜，检查优选的构造来获得视角之间MTF上较低的差异。

根据本范例实施例，每个成像透镜可以是平面-凸面透镜，它们的凸面设置为朝着图像侧。每个成像透镜可以由丙烯酸树脂制成。

对于每个成像透镜的参数，“b”代表后焦点，“r”代表弯曲的半径，“t”代表透镜厚度，而“D”代表透镜直径。

为了找出在相对于物体的期望的视角范围内可以获得有限和一致的OTF增益的范围，在MTF的曲线图中随机地改变三个参数“b”，“t”和“D”。从而，当上述参数满足下列条件时，每个成像透镜在视角之间的MTF上表现出相对较低的差异：

1.7≤|b/r|≤2.4；

0.0≤|t/r|≤1.7；和

1.0≤|D/r|≤3.8。

当参数偏离上述范围时，MTF可能下降到0或者减少一致性。另一方面，当参数满足上述范围时，成像透镜的透镜直径变得较短并且其F数变得较小。从而，可以获得具有深的景深的相对亮的成像透镜。

这里，假定构成图3的透镜阵列8a的每个成像透镜都是由丙烯酸树脂制成。此外，将凸面的弯曲半径“r”，透镜直径“D”和透镜厚度“t”都设置为0.4mm。将后焦点设置为0.8mm。

在这种构造下，参数b/r，t/r和D/r分别等于2.0，1.0和1.0，这满足上述条件。

图2C示例说明了具有上述构造的成像透镜的MTF。图2C的曲线图指示，成像透镜不会受到相对于成像透镜的光入射角的误差或成像透镜的定位误差的显著影响。

图8示例说明了取决于成像透镜的物距的MTF的变化的实例。当物距从10mm到∞变化时，MTF基本不变，从而MTF上的变化太小以致于不能在图8中图形上分辨。

从而，成像透镜的OTF增益不会受到物距的变化的显著影响。其一个可能原因是由于透镜直径相对较小。较小的透镜直径减小光强，从而通常产生相对较暗的图像。

然而，对于上述成像透镜，成像表面IS上的F数大约是2.0，这是一个足够小的数值。因此，尽管透镜直径较小，但成像透镜具有足够的亮度。

透镜系统的聚焦长度越短，物体的聚焦图像就越小，从而降低摄取的图像的分辨率。在这种情况下，图像捕获装置100可以采用包括按阵列排列的多个成像透镜的透镜阵列。

使用透镜阵列，图像捕获装置100摄取单眼图像以形成复眼图像。图像捕获装置100从构成复眼图像的单眼图像重构单个物像。由此，图像捕获装置100可以提供具有足够分辨率的物像。

如上所述，透镜厚度“t”和后焦点“b”分别是0.4mm和0.8mm。因此，从透镜阵列8a的表面到图像表面IS的距离为1.2mm。从而，即使考虑图像摄取器件，图像显示器，重构电路，以及重构图像校正单元的厚度，也可以以较薄的尺寸制造图像捕获装置100以便具有几毫米的厚度。

因此，图像捕获装置100适合于最好提供薄的内置设备的电子装置，诸如蜂窝电话，膝上型计算机和包括PDA(个人数字助理)的移动数据终端。

如上所述，可以使用诸如全息透镜和菲涅尔透镜的衍射透镜作为成像透镜。然而，当使用衍射透镜捕获彩色图像时，需要考虑色差对于透镜的影响。

此后，说明根据本发明另一个范例实施例的用于捕获彩色图像的图像捕获装置100。

在另一个范例实施例中，除了采用彩色CCD摄像机50作为图像摄取器件3之外，根据本范例实施例的图像捕获装置100具有与图1基本相同的结构。

彩色CCD摄像机50包括多个像素来摄取聚焦的图像。像素被划分为三种：红色，绿色，蓝色摄取像素。对应的彩色滤波器位于三种像素之上。

图9是示例说明彩色CCD摄像机50的像素阵列实例的示意图。

如图9所示，彩色CCD摄像机50包括用于摄取红色的亮度数据的红色摄取像素15a，用于摄取绿色的亮度数据的绿色摄取像素15b，以及用于摄取蓝色的亮度数据的蓝色摄取像素15c。

红色，绿色和蓝色的彩色滤波器分别放置在各个像素15a，15b和15c上，对应于要得到的亮度数据的色彩。在色彩摄像机50的表面上，顺序地放置一组三个像素15a，15b和15c以摄取各种色彩的亮度数据。

在红色摄取像素15a获得的图像上，可以基于红色波长的OTF数据执行校正计算来校正图像中的图像退化。从而可以获得基于OTF数据而校正的红色色彩的图像。

类似地，在绿色摄取像素15b获得的图像上，可以基于绿色波长的OTF数据执行校正计算来校正图像中的图像退化。此外，在蓝色摄取像素15c获得的图像上，可以基于蓝色波长的OTF数据执行校正计算来校正图像中的图像退化。

对于彩色摄像机50摄取的彩色图像，图像捕获装置100可以在图像显示器6的像素上显示各彩色图像的亮度数据。可以以与彩色摄像机50的像素相似的方式按阵列排列图像显示器6的像素。

替代地，图像捕获装置100可以在多个图像之间相同的位置综合各个色彩的亮度数据。接着，图像捕获装置100可以在图像显示器6的对应像素上显示经过综合的数据。

当彩色滤波器以不同于图9的方式排列时，图像捕获装置100可以对于各个彩色图像的亮度数据分别执行校正计算。接着，图像捕获装置100可以综合经过校正的亮度数据以输出重构的图像。

可以使用根据本说明书的教导而编程的传统的通用数字计算机来方便地实施本发明的实施例，这对于计算机领域的技术人员是显而易见的。可以由程序员基于本说明书的教导准备适当的软件编码，这对于软件领域的技术人员是显而易见的。还可以通过准备特定用途集成电路或者通过将传统元件电路的适当网络互连来实施本发明的实施例，这对于本领域的技术人员是显而易见的。

在上述教导的启发下可以进行多种其它的修改和变型。因此可以理解在所附权利要求的范围内，本申请说明书的揭示可以以不同于这里特别描述的方式实现。

本申请主张2006年5月15日在日本专利局提交的申请号为JP2006-135699的日本专利申请的优先权，其整体内容在此参考引入。

Claims (18)

1.一种图像捕获装置，包括：

成像透镜，用于聚焦来自物体的光线以形成图像；

图像摄取装置，用于摄取由成像透镜形成的图像；以及

校正电路，用于执行校正由成像透镜引起的图像的图像退化的计算；

其中，成像透镜为具有有限的光学传递函数的增益并且表现出成像透镜的不同视角之间增益上的微小差异的单个透镜。

2.根据权利要求1所述的图像捕获装置，其中，单个透镜具有面对图像的正倍率的表面，并且具有面对物体的0倍率的表面或者正倍率的表面中的任意一个表面。

3.根据权利要求1或2所述的图像捕获装置，其中，成像透镜仅包括一个透镜。

4.根据权利要求1至3任一项所述的图像捕获装置，

其中校正电路对于来自物体的给定波长的光线分别执行校正图像退化的计算。

5.一种图像捕获装置，包括：

透镜阵列，包括按阵列排列的多个成像透镜，该透镜阵列形成包括物体的单眼图像的复眼图像，单眼图像由各个成像透镜形成；

重构电路，用于执行从由透镜阵列形成的复眼图像重构单个物像的计算；以及

重构图像校正电路，用于执行校正由重构电路重构的单个物像的图像退化的计算。

6.根据权利要求5所述的图像捕获装置，其中，在执行重构单个物像的计算中，重构电路基于单眼图像之间的亮度偏差的最小平方和确定单眼图像之间的相对位置。

7.根据权利要求5或6所述的图像捕获装置，其中，

重构图像校正电路对于各个单眼图像分别执行图像退化的校正运算，并且

重构电路基于经过重构图像校正电路校正的单眼图像执行单个物像的重构计算。

8.根据权利要求5或6所述的图像捕获装置，其中，重构图像校正电路对经过重构电路重构的单个物像执行图像退化的校正运算。

9.根据权利要求5至8任一项所述的图像捕获装置，进一步包括遮光部件来抑制成像透镜之间的光的串扰。

10.根据权利要求1至9任一项所述的图像捕获装置，其中，成像透镜是具有面对图像的凸面的平面-凸面透镜。

11.根据权利要求1至9任一项所述的图像捕获装置，其中，成像透镜是具有面对图像的凸面的凹凸透镜。

12.根据权利要求10或11所述的图像捕获装置，其中，面对图像的成像透镜的凸面是以球形或者非球形中的任意一种形状的形式而形成。

13.根据权利要求10至12任一项所述的图像捕获装置，其中，

成像透镜满足下列条件：

1.7≤|b/r|≤2.4；

0.0≤|t/r|≤1.7；和

1.0≤|D/r|≤3.8，

其中，对于成像透镜，“b”代表后焦点，“r”代表弯曲的半径，“t”代表透镜厚度，而“D”代表透镜直径。

14.一种电子装置，包括根据权利要求1至13任一项所述的图像捕获装置。

15.一种使用权利要求1至4任一项所述的图像捕获装置来捕获图像的方法，包括下列步骤：

聚焦来自物体的光线以形成图像；

摄取聚焦后的图像；以及

执行校正聚焦后的图像的图像退化的计算。

16.一种使用权利要求5至13任一项所述的图像捕获装置来捕获图像的方法，包括下列步骤：

形成包括物体的单眼图像的复眼图像；

执行用于从复眼图像重构单个物像的计算；

执行用于校正单个物像的图像退化的计算。

17.一种使用权利要求5至13任一项所述的图像捕获装置来捕获图像的方法，包括下列步骤：

形成复眼图像，该复眼图像包括由多个成像透镜聚焦的物体的单眼图像；

摄取单眼图像；

读取多个成像透镜中至少一个成像透镜的光学传递函数数据；

基于光学传递函数数据校正单眼图像的图像退化；

从单眼图像中选择参考单眼图像；

检测参考单眼图像和每个其他单眼图像之间的视差；

基于视差重构单个物像；以及

输出单个物像。

18.一种使用图像捕获装置来捕获图像的方法，包括下列步骤：

形成复眼图像，该复眼图像包括由多个成像透镜聚焦的物体的单眼图像；

摄取单眼图像；

读取多个成像透镜中至少一个成像透镜的光学传递函数数据；

基于光学传递函数数据校正单眼图像的图像退化；

从单眼图像中选择参考单眼图像；

检测参考单眼图像和每个其他单眼图像之间的视差；

基于视差重构单个物像；以及

输出单个物像。

Images