CN101662590A - 图像拾取装置和图像处理装置 - Google Patents

Abstract

一种图像拾取装置包括：具有一孔径光阑的图像拾取镜头；图像拾取器件，用于基于检测到的光而获取图像拾取数据；一个或多个显微镜头，被布置在所述图像拾取镜头和图像拾取器件之间以致对应于所述图像拾取器件的部分区域中的多个像素；和图像处理部分，用于基于从所述图像拾取器件获取的图像拾取数据来执行图像处理，其中所述图像处理部分包括：距离测量部分，用于基于所述图像拾取器件的部分区域中的像素数据，测量从所述图像拾取镜头到测量对象的距离，和内插部分，用于对所述图像拾取器件的部分区域内插像素数据。

Description

图像拾取装置和图像处理装置

技术领域

本发明涉及一种使用显微镜头(microlens)的图像拾取装置和使用显微镜头的图像处理装置。

背景技术

已经提出并研发了各种图像拾取装置。也已经提出了一种对通过拾取图像而获得的图像拾取数据执行预定图像处理以便输出处理后的图像拾取数据的图像拾取装置。

例如，国际专利公开号No.06/039486以及作者为Ren.Ng等人的“LightField Photography with a Hand-Held Plenoptic Camera”(Stanford Tech ReportCTSR 2005-02)提出了使用一种称作“光场摄影(Light Field Photography)”的技术的图像拾取装置。例如，如在图15中所示的图像拾取装置100的情况下，这样的图像拾取装置包括：图像拾取镜头102，其具有孔径光阑101作为用于拾取对象2的图像的主镜头；显微镜头阵列103，其中多个显微镜头被布置在整个二维平面上；图像拾取器件104；和图像处理部分(未图示)。从而，图像处理部分基于从图像拾取器件104获得的图像拾取数据，重构从任意视场或者任意焦点观看的图像。

发明内容

更具体地，通过基于图像拾取数据执行重新聚焦算术处理，合成在任意位置上聚焦的图像。而且，当重构具有来自任意右视角和左视角的视差的图像时，确定图像之间的相差，测量到对象的距离。

在这种情况下，在由上述技术重构的图像中的像素的数目等于显微镜头阵列中的镜头的数目。换句话说，重构图像中的像素的数目等于通过将图像拾取器件的像素的总数目除以分配给每个显微镜头的像素的数目而确定的值，因为关于重构图像的二维坐标的信息是通过显微镜头阵列的坐标来确定的。例如，如图15所示，在通过图14中的图像拾取装置100获得的图像拾取数据D100中，与每个显微镜头对应的区域103M对应于重构图像中的一个像素。因此，在其中例如3×3＝9像素被分配给每个显微镜头的情况下，重构图像的二维分辨率是1/9。

因此，例如，在其中显微镜头被布置在整个二维平面上以便测量到对象的距离的情况下，重构的二维图像往往具有低分辨率。

期望提供一种能够测量到对象的距离并且产生比以前具有更高分辨率的二维图像的图像拾取装置和图像处理装置。

根据本发明的实施例，提供了一种图像拾取装置，包括：具有一孔径光阑的图像拾取镜头；图像拾取器件，用于基于检测到的光而获取图像拾取数据；一个或多个显微镜头，被布置在所述图像拾取镜头和图像拾取器件之间以致对应于所述图像拾取器件的部分区域中的多个像素；和图像处理部分，用于基于从所述图像拾取器件获取的图像拾取数据来执行图像处理。在这种情况下，所述图像处理部分包括：距离测量部分，用于基于所述图像拾取器件的部分区域中的像素数据，测量从所述图像拾取镜头到测量对象的距离，和内插部分，用于对所述图像拾取器件的部分区域内插像素数据。

根据本发明的实施例，提供了一种图像处理装置，包括：图像处理部分，用于基于通过使用图像拾取光学系统从图像拾取器件获取的图像拾取数据而执行图像处理，所述图像拾取光学系统包括图像拾取镜头以及一个或多个显微镜头，所述显微镜头被布置在所述图像拾取镜头与所述图像拾取器件之间以致对应于所述图像拾取器件的部分区域中的多个像素。在这种情况下，所述处理部分包括：距离测量部分，用于基于图像拾取器件的部分区域中的像素数据，测量从所述图像拾取镜头到测量对象的距离，和内插部分，用于对所述图像拾取器件的部分区域内插像素数据。

在根据本发明实施例的图像拾取装置和图像处理装置中，通过图像拾取镜头的对象的图像被形成在图像拾取器件上，从而获得该对象的图像拾取数据。这时，当显微镜头被布置在图像拾取镜头与图像拾取器件之间以致对应于图像拾取器件的部分区域时，图像拾取器件检测已穿过显微镜头并且包括关于光射线的强度以及光射线的行进方向的信息的光射线。因此，在图像处理部分的距离测量部分中，基于上述图像拾取器件的部分区域中的像素数据测量从图像拾取镜头到测量对象的距离。另一方面，在内插部分中，内插部分区域的像素数据，并且产生具有等于构成图像拾取器件的像素数目的像素数目的二维图像。

在根据本发明实施例的图像拾取装置和图像处理装置中，显微镜头被布置在图像拾取镜头与图像拾取器件之间以致对应于图像拾取器件的部分区域，因此距离测量部分基于图像拾取器件的部分区域中的像素数据测量从图像拾取镜头到测量对象的距离。而且，与使用其中显微镜头被布置在整个平面上的显微镜头的情况相比，内插图像拾取器件的部分区域的像素数据，产生具有更高分辨率的二维图像。因此，测量到测量对象的距离，并且产生比以前具有更高分辨率的二维图像。

从下列描述中，本发明的其它和更多目的、特征和优点将看起来更全面。

附图说明

图1是根据本发明实施例的图像拾取装置的整体配置的图示。

图2是图1中所示的镜头基板的平面配置的图示。

图3是图1中所示的图像处理部分的示意配置的功能方框图。

图4是图像拾取数据的平面配置的示意图。

图5是用于描述图像拾取器件上感测的光射线的图示。

图6是用于根据两个视差(parallax)图像来描述相差检测操作的示意图。

图7A和图7B是用于通过两个视差图像来描述像素相关性的示意图。

图8是用于描述一种计算从图像拾取镜头到对象的距离的方法的图示。

图9是用于描述图像拾取数据中的积分处理的示意图。

图10是用于描述像素内插处理部分中的像素内插处理操作的示意图。

图11是用于描述双三次(bicubic)方法作为像素内插处理的示例的示意图。

图12是用于描述像素内插处理的另一示例的示意图。

图13A和图13B是图1中所示的显微镜头和图像拾取器件的另一示例的截面图。

图14是根据现有技术示例的图像拾取装置的示意配置的图示。

图15是通过图14中所示的图像拾取装置获得的图像拾取数据的示意图。

具体实施方式

下面将参考附图来详细描述本发明的优选实施例。

图1图示了根据本发明实施例的图像拾取装置(图像拾取装置1)的整体配置。图像拾取装置1拾取对象2的图像，并且对该图像执行预定图像处理，从而输出距离数据DPout和图像数据DRout中的一个或两个。图像拾取装置1包括具有孔径光阑10的图像拾取镜头11、镜头基板12、图像拾取器件13、图像处理部分14、图像拾取器件驱动部分15和控制部分16。

孔径光阑10是图像拾取镜头11的光学孔径光阑。对象2的图像，其具有与孔径光阑10的孔径的形状(例如，圆形)类似的形状，被形成在与镜头基板12的显微镜头(将在后面描述)对应的每个像素区域中的图像拾取器件13上。

图像拾取镜头11是用于拾取对象2的图像的主镜头，并且包括例如在摄影机、照相机等中使用的典型图像拾取镜头。

镜头基板12是通过在例如由玻璃制成的基板12B的一部分上布置显微镜头12A而形成的。镜头基板12被布置在图像拾取镜头11(在更接近图像拾取镜头11的一侧上)的焦平面(即图像形成平面)前面的显微镜头12A的焦距处。图2图示了镜头基板12的平面配置的示例。如附图所示，一个或多个(在这种情况下是3个)显微镜头12A被仅布置在镜头基板12的平面中的一些区域中。每个显微镜头12A例如由固态镜头、液晶镜头、衍射镜头等制成。镜头基板12的其它区域由平面玻璃板12B制成。

图像拾取器件13接收来自镜头基板12的光射线以便获得包括多个像素数据的图像拾取数据D0，并且该图像拾取器件13被布置在图像拾取镜头11的焦平面(图像形成平面)上。图像拾取器件13包括在光感测平面侧上以矩阵形式布置的多个像素，并且每个像素由例如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)的二维固态图像拾取器件制成。

上述镜头基板12的每个显微镜头12A被布置成面对图像拾取器件13上的多个像素中的m×n个数目的像素。换句话说，通过图像拾取器件13上的m×n个数目的像素来检测穿过显微镜头12A的光射线。例如，右视差图像和左视差图像(将在后面描述)的角分辨率(视点的数目)随着分配给每个显微镜头12A的像素的数目m×n的增加而增加。另一方面，上述视差图像的二维分辨率随着像素的数目m×n的减少而增加。因此，在角分辨率与视差图像的二维分辨率之间存在权衡关系。

在图像拾取器件13的光感测平面上，例如，对于每个像素二维地布置滤色镜(未示出)。然而，在实施例中，滤色镜仅被放置在面对上述镜头基板12的玻璃板12B的区域中，并且滤色镜不被放置在面对每个显微镜头12A的区域中。作为滤色镜，可应用具有Bayer结构的滤色镜(原色滤色镜)，其中以R∶G∶B＝1∶2∶1的比率按照棋盘格状图案布置三原色、即红色(R)、绿色(G)和蓝色(B)滤色镜。当布置这样的滤色镜时，从图像拾取器件13获得的图像拾取数据变成与滤色镜的颜色对应的多种颜色(在这种情况下，是三原色)的像素数据。

图像处理部分14对由图像拾取器件13获得的图像拾取数据D0执行预定图像处理，并且输出从图像拾取镜头11到对象的距离数据DPout以及图像数据DRout作为二维图像。

参考图3，下面将描述图像处理部分14的配置。图3是说明图像处理部分14的整体配置的功能方框图。如图3所示，图像处理部分14包括，例如，缺陷校正部分141、箝位处理部分142、距离信息提取部分143、像素内插处理部分144、降噪部分145、边缘增强部分146、白平衡处理部分147和伽马校正部分148。

缺陷校正部分141校正诸如图像拾取数据D0中包括的损失或无效之类的缺陷(由图像拾取器件13中的异常性引起的缺陷)。箝位处理部分142对由缺陷校正部分141通过缺陷校正获得的图像拾取数据执行设定每个像素数据的黑电平的处理(箝位处理)。而且，对由箝位处理获得的图像拾取数据D1可以执行诸如去马赛克(demosaic)处理之类的颜色内插处理。

距离信息提取部分144基于从箝位处理部分142提供的图像拾取数据D1，输出从图像拾取镜头11到对象的距离数据DPout，并且包括例如下面的相差检测部分和下面的距离信息计算部分(都未示出)。

相差检测部分基于图像拾取数据D1产生至少两个具有不同视差的视差图像(来自不同视点的任意视点图像)，并且随后检测所述视差图像之间的相差。

距离信息计算部分基于由相差检测部分检测到的相差来计算关于从图像拾取镜头11到对象的距离的信息。

像素内插处理部分144基于从箝位处理部分142提供的图像拾取数据D1通过执行像素内插处理来产生图像数据D2。

降噪部分145执行用于降低在从像素内插处理部分144提供的图像拾取数据D2中包含的噪声(例如，当在黑暗场所或具有不足感光度的场所中拾取图像时生成的噪声)的处理。边缘增强部分146执行边缘增强处理，也就是，对从降噪部分145提供的图像拾取数据增强图像的边缘的处理。

白平衡处理部分147对从边缘增强部分146提供的图像拾取数据执行下列处理(白平衡调节处理)：调节受器件中的个体差(例如，滤色镜的传送特性差、图像拾取器件13的光谱灵敏度差、照明条件等)影响的颜色平衡。

伽马校正部分148对从白平衡处理部分147提供的图像数据执行预定的伽马校正(色调或对比度校正)，以便生成图像拾取数据DRout。

图像拾取器件驱动部分15驱动图像拾取器件13，并且控制图像拾取器件13的光检测操作。

控制部分16控制图像处理部分14和图像拾取器件驱动部分15的操作，并且包括例如微计算机等。

接着，参考图1到图11，下面将详细描述上述图像拾取装置的功能和效果。

在图像拾取装置1中，由图像拾取镜头11拾取的对象2的图像穿过镜头基板12以便被形成在图像拾取器件13上。这时，显微镜头12A被布置在镜头基板12的一部分中，因此穿过显微镜头12A的、在图像拾取器件13上将被检测到的光射线形成对象2的图像，该图像具有与孔径光阑10的孔径形状类似的形状。

当由图像拾取器件13以这种方式检测光射线时，根据图像拾取器件驱动部分15的驱动操作来获得图像拾取数据D0，并且将图像拾取数据D0输入到图像处理部分14。

当图像拾取数据D0被输入到图像处理部分14时，缺陷校正部分141对图像拾取数据D0执行缺陷校正，并且随后箝位处理部分142对图像拾取数据D0执行箝位处理。通过箝位处理获得的图像拾取数据D1被输入到距离信息提取部分143或者像素内插处理部分144。

接着，下面将参考图4和图5来描述图像拾取数据D1。图4示意性图示了图像拾取数据D1的二维配置，并且图5是用于描述图像拾取器件13上检测到的光射线的图示。

如图4所示，图像拾取数据D1包括与被二维布置的多个像素对应的多个像素数据13D。然后，由穿过多个像素数据13D的显微镜头12A的光射线产生的像素数据13D形成显微镜头相应区域13M。在显微镜头相应区域13M中，如图5所示，矩形坐标系统(u，v)被定义在图像拾取镜头11的图像拾取镜头平面上，并且矩形坐标系统(x，y)被定义在图像拾取器件13的图像拾取平面上。图像拾取镜头11的图像拾取镜头平面与图像拾取器件13的图像拾取平面之间的距离被定义为“F”。然后，穿过图像拾取镜头11和图像拾取器件13的光射线L1由四维函数L_F(x，y，u，v)表示。因此，包括关于光射线密度以及光射线的行进方向的信息的数据被记录到图像拾取器件13。也就是，通过在显微镜头相应区域13M中分配给每个显微镜头12A的多个像素的布置来确定光射线的入射方向。换句话说，在显微镜头相应区域13M中处于相同位置的像素具有被检测的光射线的相同行进方向。

另一方面，在图像拾取数据D1中的由穿过镜头基板12中的玻璃板12B的光射线形成的像素数据13D中(除了图4中的显微镜头相应区域13M以外的区域)，记录仅关于光射线的密度的信息。在实施例中，为了简化目的，作为示例描述下列情况，即，三个显微镜头12A被布置在透镜基板12的部分区域中，并且图像拾取器件13上的3×3个像素被分配给每个显微镜头12A。

接着，参考图6到图8，下面将详细描述距离信息提取部分143的距离信息提取操作。

首先，距离信息提取部分143基于相差检测部分中的图像拾取数据D1的显微镜头相应区域13M中的像素数据，来产生具有不同视差的多个视差图像。在这种情况下，如上所述，图像拾取数据D1中的显微镜头相应区域13M包括光射线的密度分布以及关于光射线的行进方向的信息，因此单独地检测到每条光射线。而且，这时，分配给一个显微镜头12A的像素的数目等于图像拾取镜头11被划分的次数，也就是，具有不同相差的视点的数目。更具体地，提取在显微镜头相应区域13M中的相同位置处的像素中的像素数据13D，并且合成所提取的像素数据13D。然后，例如，如图6所示，检测两个右视差图像和左视差图像之间的相差Δφ，即光射线LR的视差图像与光射线LL的视差图像之间的相差Δφ(光射线LR的视差图像的相位φR与光射线LL的视差图像的相位φL之间的相差)。

上述相差Δφ被检测例如作为下列差异(disparity)。换句话说，如图7A所示，提取在视差图像DR中具有小区域的部分图像A1(中央坐标；(x1，y1))，并且如图7B所示，从视差图像DL中提取具有与部分图像A1小区域相同的小区域的部分图像B1(中央坐标；(x1，y1))，并且当部分图像B1的位置移动时，通过下列公式(1)成功地计算像素相关值。然后，在像素相关值最大的位置中的部分图像B1的中央点被检测为与部分图像A1的中央点对应的点。这时的像素偏差对应于上述差异。而且，当改变具有小区域的部分图像A1的提取位置的同时，对于整个视差图像DR执行所述算术处理，从而获得差异地图(一组差异)。

数学公式1

(整数范围是小区域的整个范围，并且x′是具有小区域的图像B1的移动像素)

接着，通过使用在由相差检测部分检测到的两个视差图像DR与DL之间的相差(差异)，距离信息提取部分143按照下列公式(4)到(9)在距离信息计算部分中计算到对象的距离d。然而，如图8所示，到图像拾取镜头11的对象侧焦平面的距离是“D”，图像拾取镜头11的焦距是“F”，当确定差异时图像拾取镜头的孔径大小是“v”，当拾取在距离D处的对象的图像时图像拾取镜头11的图像侧焦平面是“f”，当拾取在距图像拾取镜头11一段距离d处的对象的图像时图像拾取镜头11的图像侧焦平面是“g”，并且通过使用孔径大小v计算在距离d处的对象((差异)×(图像拾取器件13的像素P的大小)×(被分配给镜头基板12的一侧长度的像素的数目))而获得的值是“h”。

换句话说，首先，通过类似关系获得下列公式(2)，并且“e”是如图8所示的e＝(g-f)，因此当将(g-f)代入到公式(2)时，得到下列公式(3)，并且随后通过公式(3)得到下列公式(4)。而且，通过图像拾取镜头11的成像公式得到下列公式(5)和(6)，因此通过将公式(5)代入到公式(4)得到下列公式(7)，并且通过公式(6)得到下列等式(8)。因此，通过将公式(8)代入到公式(7)得到下列公式(9)，因此当公式(9)中的值F、D和v已知时，基于差异计算距离d。

(h/e)＝(v/g)            ...(2)

{h/(g-f)}＝(v/g)        ...(3)

(1/g)＝(1/f)×{1-(h/v)} ...(4)

(1/F)＝(1/g)+(1/d)      ...(5)

(1/F)＝(1/D)+(1/f)      ...(6)

(1/d)＝(1/F)-[(1/f)×{1-(h/v)}]...(7)

f＝F×{D/(D-F)}...(8)

(1/d)＝(1/F)-[1/{F×D/(D-F)}×{1-(h/v)}]...(9)

在实施例中，镜头基板12被安置在图像拾取镜头11的焦平面的前面的显微镜头12A的焦距f_ML处，因此距离信息提取部分143考虑显微镜头的焦距，对以上述方式计算的距离d执行校正。更具体地，距离信息提取部分143通过将由下列公式(10)表示的校正距离Δd与距离d相减，对距离d执行校正。

Δd＝(镜头基板12与图像拾取器件13之间的距离)×(显微镜头12A的轴向放大率)，即，

Δd＝f_ML×(D/f)²...(10)

关于通过所述校正获得的距离(d-Δd)的信息被输出到外部作为距离数据DPout。

接着，参考图9到图11，下面将详细描述像素内插处理部分144中的像素内插处理操作。

首先，像素内插处理部分144对图像拾取数据D1的显微镜头相应区域13M以外的区域中的像素数据13D执行颜色内插处理。接着，如图9所示，为了在显微镜头相应区域13M中的像素数据13D中确定由一个显微镜头检测到的光的强度，对分配给一个显微镜头的所有像素区域执行积分处理。图像数据13M1是通过执行积分处理而重构的。图像数据13M1对应于该重构图像的一个像素的数据。

接着，如图10所示，像素内插处理部分144对以上述方式产生的图像数据13M1周围的外围区域130M执行像素内插处理。例如，对一个像素的图像13M1周围的外围区域130M执行内插，以便产生包括3×3＝9个像素的像素数据的图像数据13M2。从而，产生了包括与在图像拾取器件13上布置的像素的数目相等的二维像素的数目的图像数据D2。可应用同样的像素内插处理，例如双三次方法等。如图11中示意性示出了使用双三次方法的像素内插处理的示例。

在该双三次方法中，例如，基于在接近内插像素P的位置中布置的16个真实像素Pmn(m，n：1到4的整数)，通过使用预定的三次函数来计算与上述外围区域130M对应的将经受内插的像素P(下文中称作内插像素)的像素值G。例如，如图11所示，在真实像素Pmn的坐标(xm，yn)中的x1到x4和y1到y4被定义为用(A)表示，其中内插像素P的坐标是(x，y)。通过使用真实像素Pmn的坐标(xm，yn)、像素值Gmn以及用下列公式(12)表示的三次函数，按照下列公式(11)来计算内插像素P的像素值G。

数学公式2

$G=\left\{\left(f\left(y1\right)f\left(y2\right)f\left(y3\right)f\left(y4\right)\right)\right\}\left\{\begin{array}{cccc}G11& G21& G31& G41\\ G12& G22& G32& G41\\ G13& G23& G33& G43\\ G14& G24& G34& G44\end{array}\right\}\left\{\begin{array}{c}f\left(x1\right)\\ f\left(x2\right)\\ f\left(x3\right)\\ f\left(x4\right)\end{array}\right\}$

(Gmn：(xm，yn)的像素值)

...(11)

$f\left(t\right)=\left\{\begin{array}{ccc}1-2{\left|t\right|}^2+{\left|t\right|}^3& (0\&le;|t|<1)& \\ 4-8\left|t\right|+5{\left|t\right|}^2-{\left|t\right|}^3& (1\&le;|t|<2)& \\ 0& (2\&le;|t\left|\right)& \end{array}\right....\left(12\right)$

降噪部分145、边缘增强部分146、白平衡处理部分147和伽马校正部分148对通过以上述方式执行像素内插处理而获得的图像数据D2执行上述预定的处理，并且图像数据D2被输出作为图像数据DRout。

如上所述，在实施例中，部分包括显微镜头12A的镜头基板12被布置在图像拾取镜头11与图像拾取器件13之间，因此基于图像拾取数据D0的显微镜头相应区域13M中的像素数据13D，通过图像处理部分14的距离信息提取部分143产生从图像拾取镜头11到对象的距离数据DPout。而且，在图像内插处理部分144中，对显微镜头相应区域13M中的像素执行像素内插处理，因此与使用其中显微镜头被布置在其整个表面的显微镜头阵列的情况下相比，产生了更高分辨率的二维图像。因此，测量到对象的距离，并且产生具有比以前更高分辨率的二维图像。

尽管参考实施例描述了本发明，但是本发明不限于此，并且可以不同地修改本发明。例如，在上述实施例中，作为示例描述了这样的配置，即其中在镜头基板12上，三个显微镜头12A被布置成彼此接触，并且3×3＝9个像素被分配给每个显微镜头12A。然而，显微镜头的位置和数目、所分配的像素的数目等不限于此。在其中距离信息提取部分143中的情况下，首先产生视差图像，并且检测视差图像之间的相差以便基于所述相差计算距离信息，将至少两个像素分配到每个显微镜头12A以便产生视差图像。

而且，在上述的实施例中，双三次方法被描述为像素内插处理的示例。然而，像素内插处理不限于双三次方法，并且可以使用任意其它像素内插处理。例如，如图12所示，可以通过使用接近内插像素P(x)布置的真实像素P1(x1)和P2(x2)，按照线性内插(x＝(x1+x2)/2)来计算坐标x。

而且，在上述的实施例中，作为示例描述了使用镜头基板12的配置，即，其中显微镜头12A被布置在一部分基板中的配置。然而，显微镜头12A不必被布置在基板上。例如，如图13A所示，显微镜头30可被直接布置在图像拾取器件13的光感测平面的部分区域中。换句话说，在图13A中，显微镜头30被整体地布置作为图像拾取器件13的一部分。图13B图示了显微镜头30及其周围的放大示图。例如，3×3图像拾取像素P被分配给显微镜头30，并且用于有效地聚集检测到的光射线的片上(on-chip)镜头31被布置在每个图像拾取像素P的光感测平面上。显微镜头30被形成在片上镜头31，例如在显微镜头30与片上镜头31之间具有树脂层32。如上所述，不必使用包括显微镜头的镜头基板，并且显微镜头30可被直接仅形成在图像拾取器件13的部分区域中。甚至在这样的配置中，也可以获得与本发明中的那些配置相同的效果。

在上述的实施例中，滤色镜仅被布置在图像拾取器件13的光检测平面上的面对玻璃基板12B的区域中，并且基于穿过玻璃基板12B的光射线仅对像素数据执行颜色内插处理。然而，滤色镜的配置和颜色内插处理不限于此。例如，滤色镜可被布置在图像拾取器件13的整个光检测平面上，并且可以对整个图像拾取数据D0执行颜色内插处理。而且，可以使用3CCD系统，该3CCD系统针对三原色的光使用独立的图像拾取器件。

在距离信息提取部分143中，检测具有不同视差的两个视差图像之间的相差。然而，本发明不限于此，并且可以基于三个或更多视差图像检测相差。

在上述的实施例中，孔径光阑10被布置在图像拾取镜头的对象侧(入射侧)上。然而，本发明不限于此，并且孔径光阑10可被布置在图像拾取镜头的图像侧(出口侧)或者图像拾取镜头上。

本申请包括与在2008年8月29日向日本专利局提交的日本优先权专利申请JP 2008-221813中公开的主题相关的主题，其整体内容并入于此作为参考。

本领域的普通技术人员应当理解，根据迄今为止在所附权利要求或者其等价物的范畴之内的设计要求和其它因素，可以发生各种修改、组合、子组合和变化。

Claims (6)

1.一种图像拾取装置，包括：

具有一孔径光阑的图像拾取镜头；

图像拾取器件，用于基于检测到的光而获取图像拾取数据；

一个或多个显微镜头，被布置在所述图像拾取镜头和图像拾取器件之间以致对应于所述图像拾取器件的部分区域中的多个像素；和

图像处理部分，用于基于从所述图像拾取器件获取的图像拾取数据来执行图像处理，

其中所述图像处理部分包括：

距离测量部分，用于基于所述图像拾取器件的部分区域中的像素数据，测量从所述图像拾取镜头到测量对象的距离，和

内插部分，用于对所述图像拾取器件的部分区域内插像素数据。

2.如权利要求1所述的图像拾取装置，其中

所述显微镜头被形成在基板上的部分区域中。

3.如权利要求1所述的图像拾取装置，其中

所述显微镜头与所述图像拾取器件整体地布置。

4.如权利要求1所述的图像拾取装置，其中

所述距离测量部分包括：

相差检测部分，用于基于所述图像拾取器件的部分区域中的像素数据而生成多个视差图像，从而基于所述多个视差图像检测相差；和

距离计算部分，用于基于所述相差而计算距离。

5.如权利要求1所述的图像拾取装置，其中

所述图像拾取器件被放置在所述图像拾取镜头的焦平面上，

所述显微镜头被布置成使得从所述图像拾取器件到所述显微镜头的距离等于所述显微镜头的焦距，和

所述距离测量部分考虑所述显微镜头的焦距而对所述距离执行校正。

6.一种图像处理装置，包括：

图像处理部分，用于基于通过使用图像拾取光学系统从图像拾取器件获取的图像拾取数据而执行图像处理，所述图像拾取光学系统包括图像拾取镜头以及一个或多个显微镜头，所述显微镜头被布置在所述图像拾取镜头与所述图像拾取器件之间以致对应于所述图像拾取器件的部分区域中的多个像素，

其中所述处理部分包括：

距离测量部分，用于基于图像拾取器件的部分区域中的像素数据，测量从所述图像拾取镜头到测量对象的距离，和

内插部分，用于对所述图像拾取器件的部分区域内插像素数据。

Images