CN102439979B - 数字成像系统，全光光学设备及图像数据处理方法 - Google Patents

Abstract

本发明公开了一种用于将全光(plenoptic)光学设备的图像合成的数字成像系统，包括一光电传感器件阵列和一微透镜阵列，所述光电传感器件阵列包括位于预定的图像平面上的多个光电传感器件；所述微透镜阵列包括多个微透镜，以将物体发射的光线引导到所述光电传感器件阵列，其中所述光电传感器件阵列与所述微透镜阵列之间的距离为预先设定的；所述微透镜阵列中的多个微透镜具有不同的焦距；以及设置所述光电传感器件阵列的图像平面，使光电传感器件阵列与微透镜阵列之间的距离不等于微透镜的焦距。另外，还公开了一种全光光学设备和对上述数字成像系统采集的图像数据进行处理的方法。

Description

数字成像系统,全光光学设备及图像数据处理方法

技术领域

本发明涉及一种用于将全光(plenoptic)光学设备(例如，全光相机)的图像合成的数字成像系统。进一步地，本发明涉及一种包括数字成像系统的光学设备，如相机设备，扫描设备，或者显微镜设备。另外，本发明还涉及一种将数字成像系统采集的图像数据进行处理的图像数据处理方法。具体地，本发明涉及一种使用用于辐射摄影的相机(全光相机)的系统和一种能够产生和显示不同清晰度图片的方法。

背景技术

全光相机(光场相机)是一种能够在光场中采样光分布和光方向的相机。基于这些信息，图像能够通过焦点深度的增加而被采集和/或图像能够数字式再聚焦。在标准的全光相机中，在图像平面，例如感光底片或光电传感器件阵列，的前端设有微透镜阵列。这种设置不仅拍摄到集中于特定平面上的光线，还可以拍摄到从透镜散射出来的光线场(光场)。通过对拍摄到的原始数据使用计算算法能够生成最终图像，这也是为什么全光相机被认为属于计算图像学领域。存在这样的算法，可以从光场的不同(虚拟)焦平面中形成图像并估算不同位置的景深。

以前公开的两种全光相机设计包括：

1、首次被Lippmann在1908年公开的标准全光相机，也在国际专利WO2007/092581 A2中描述及被Ren Ng等人在2005年2月的“斯坦福技术报告”CTSR2005-02中提及。这种全光相机的有效分辨率同所使用的微透镜的数量一致。

2、首次被Lumsdaine和Georgiev于2008的技术报告中(A.Lumsdaine和T.Georgiev,全解析度光场渲染，技术报告，奥多比系统，2008年1月)公开及在美国专利申请US 2009/0041448 A1中描述的“聚焦全光相机”。这些公开物中描述的这种设计能够完成更好的有效分辨率。但是，现有的理论没有一条可以为全光相机的可实现的有效分辨率进行分析计算。另外，传统的绘制算法通过将图像转换成频域而工作。

一种改进的全光相机和相关的算法在国际专利申请WO 2006/039486 A2中公开。结合标准的技术，这种全光相机包括一个主透镜、一个微透镜阵列以及一个光电传感器件阵列，该光电传感器件阵列相对该微透镜阵列具有更细的节距。该微透镜阵列设于主透镜的焦平面内，包括选择的不同型号的微透镜以使通过一个微透镜的光线不会与通过另一个微透镜的光线重叠。虽然可以通过不同的微透镜获取局部多样的角分辨率，然而所有的微透镜的焦点共用一个公共面(光电传感器件阵列平面)，即传统全光相机的所有微透镜具有相同的焦距以拍摄无穷远的虚像。因此，国际专利申请WO 2006/039486中公开的全光相机的成像特性与标准的全光相机的特性在本质上是一样的。

所有传统的全光相机具有以下的不足：当焦点深度随着标准设置的提升而增大的同时，全光相机的有效分辨率的任何改进都受限于所使用微透镜的数量。

发明目的

本发明的目的是为了克服现有的全光成像技术的不足，提供一种改进的用于将全光光学设备进行图像合成的数字成像系统。进一步地，本发明的另一个目的是提供一种包括所述数字成像系统的光学设备。另外，本发明的目的是提供一种改进的用于对数字成像系统采集的图像数据进行处理的图像数据处理方法。

发明内容

上述这些发明目的可由包含独立权利要求全部特征的数字成像系统、光学设备和方法去实现。而从属权利要求进一步限定了本发明的优选的实施例和应用。

根据本发明上述的一个发明目的，提供了一种用于将全光光学设备进行图像合成的数字成像系统。该数字成像系统包括一个光电传感器件阵列和一个微透镜阵列(第一微透镜阵列，主微透镜阵列)，该光电传感器件阵列包括多个排列在预定的图像平面内的光电传感器件，该微透镜阵列包括多个微透镜以引导物体发射出的光线射向该光电传感器件阵列，且该微透镜阵列被设置在相对于该光电传感器件阵列的一个预定的垂直距离处。因此，该数字成像系统组合了光电传感器件阵列和微透镜阵列。在本发明中，所述微透镜阵列至少包括两种不同焦距的微透镜，而所述光电传感器件阵列的图像平面的设置，使光电传感器件阵列与微透镜阵列之间的距离不等于微透镜的焦距。换句话说，所述微透镜阵列中的多个微透镜具有不同的焦距。所述微透镜阵列具有多组微透镜，每一组微透镜具有同一个焦距，不同组的微透镜具有不同的焦距。另外，在本发明中，设置所述光电传感器件阵列的图像平面，使图像平面与微透镜阵列之间的距离不等于任何微透镜的焦距。

综合上述特征，本发明的数字成像系统还包括以下技术特征。首先，由于图像平面和微透镜之间的距离不同于任一微透镜的焦距，因此有限远处的虚像被映射到所述图像平面上，这与传统全光相机将无限远处的虚像成像相反。所述微透镜用于有限焦深的成像。这种限制可通过带不同焦距的微透镜来克服，以覆盖更大的焦深范围。另外，由发明者首次公开的，相比现有技术的相机，提供了一种将有限远处的虚像成像的改进的方案，具有比传统相机更高的分辨率。

根据本发明的第二个发明目的，提供一种全光光学设备，具体包括光学主透镜和如前述满足第一个发明目的数字成像系统。优选地，所述数字成像系统的微透镜阵列设于所述光学主透镜的聚焦线上，用于将物体发射的并透过光学主透镜的光线引导到所述光电传感器件阵列上；以及为了使一组光线通过所述光学主透镜的聚焦线的特定位置，设置多个光电传感器件以感应区分该组光线中同时以不同入射角到达所述光学主透镜的聚焦线的特定位置的不同光线。根据本发明的一个特定优选实施例，本发明的全光光学设备包括相机设备(全光相机)、扫描设备或显微镜设备。本发明在具体应用时，所述数字成像系统的微透镜阵列为一维或二维的微透镜阵列(线性阵列或矩阵阵列)。由于所述多个微透镜具有不同的焦距，带有本发明的数字成像系统的全光相机也被称为多焦全光相机(MFPC)。

为了实现本发明的第三个发明目的，提供一种对如前述满足第一个发明目的所述的数字成像系统采集的图像数据进行图像数据处理的方法。该方法包括以下步骤：提供光电传感器件阵列采集的原始图像数据；提供一个预先设定的具有多个虚像点的虚像曲面；其中，对于每一所述虚像点，选择一组微透镜，该组微透镜具有用于将所述虚像点成像于所述光电传感器件阵列上的最大有效分辨率比，将所述虚像点投影到所述微透镜阵列平面上，检测所选择的微透镜组的微图像，其中所述微图像影响虚像点的强度值，选择原始图像点，其中所述原始图像点的原始图像数据影响虚像点的强度值，以及检测原始图像点上原始图像数据的平均原始图像强度。最后，生成由每个虚像点的平均原始图像强度构成的数字图像。

具体地，以下对比指出与Yi-Ren Ng和Todor Georgiev的全光相机的不同之处。发明人已经指出，对比使用同种焦距的微透镜阵列，通过改变微透镜阵列中的微透镜焦距，能够以损失视差范围为代价的提高整体的有效分辨率。该全光相机的设计方法可以应用到具体的应用领域。本发明的绘制方法允许任意的虚焦曲面的重建，并优选使其本身应用到高平行数据处理的执行中。

对比传统的全光相机，特别地，微透镜与图像平面之间的距离等于微透镜的焦距，以及计算出的图像的最大分辨率与微透镜阵列中的微透镜数量一致，本发明的数字成像系统具有以下优点。

尽管本发明的数字成像系统以及相应的多焦全光相机相比于标准的全光相机形成更低的角分辨率，但该多焦全光相机(MFPC)相比于标准全光相机形成具有更高空间分辨率的图像并保留标准全光相机的可计算能力。例如，通过多焦全光相机MFPC获取的原始数据，可以生成不同焦点的合成图像，还可以估计若干图像点的景深。例如，在多焦全光相机(MFPC)的一个实施例中，相比于标准全光相机，能获得70倍高的分辨率，而相比于没有微透镜阵列的标准全光相机，能获得约6倍大的深度域。

与标准的全光相机相比,本发明的较大的有效分辨率使得多焦全光相机在许多领域可用，比如，摄影，自动工业检查，3D摄影，3D视频和人脸识别。

根据数字成像系统较优的实施方式，每个微透镜的焦距从两个或三个不同的焦距中选择。发明人已经发现，用两个或三个不同的焦距可以达到焦深的很好的提高，且角坐标分辨率仍然很好的适应标准相机，扫描机或显微镜应用。替换地，每个微透镜的焦距可以从超过三个不同的焦距中选择。较优地，数字成像系统可以根据特定的操作条件，例如，以获得预设大小的焦深范围为目的，来进行优化。

根据数字成像系统的进一步较优的实施方式，每个微透镜的焦距不同于与其最近相邻的微透镜的焦距。有利地，该实施方式在图像上形成角坐标分辨率的均匀分布。

根据数字成像系统的特别较优的实施方式，微透镜可以调节以使得到连续的焦深范围。第一，选择微透镜，每个微透镜提供由各个微透镜的焦距和距微透镜阵列的深度距离决定的有效的分辨率比，且，第二，选择微透镜的焦距以使有效的分辨率比在深度距离邻近的范围具有互补的极大值。微透镜的这个调整(设计)基于如上所述的全光相机的光学性能的说明，其已经被发明人第一次提出。

在由不同焦距微透镜组成的阵列中，如果多组具有相等焦距的微透镜被设置呈规则网格排列，则可以得到数字图像系统的进一步改进。较优地，具有相等焦距的微透镜被设置为呈正交的或六角的网格排列，这在透镜的几何密度排列方面具有优势。

根据数字成像系统的进一步较优的实施方式，所有具有共同的焦距的微透镜具有相同的透镜直径。尤其较优的是其中微透镜阵列的所有微透镜具有相同直径的实施方式。用这些实施方式，形成在2维图像上提供具有相同的图像参数，如分辨率或对比度，的图像。

典型地，微透镜阵列固定地附着于光电传感器件阵列，所述微透镜阵列和所述光电传感器件阵列之间具有预先设定的垂直距离。替换地，根据数字成像系统的另一个实施方式，光电传感器件阵列和微透镜阵列之间的距离可以通过数字成像系统的控制装置进行调整。所述控制装置可以是如照相机、扫描机或显微镜的一部分，并包括光电传感器件阵列和微透镜阵列可变的或固定的连接。

在本发明的数字成像系统的另一个改进中，具有至少一个补充的微透镜阵列，如第二微透镜阵列，包括多个用于将物体发射的光线引导到第一微透镜阵列上的微透镜。用该实施方式，可以扩展全光相机的功能。

根据本发明进一步较优的实施方式，数字成像系统提供有在计算机结构中设定为可编程的处理器，所述处理器可根据所述光电传感器件阵列中不同传感器感应到的光，光电传感器件相对于微透镜阵列的位置以及感应光的入射角来合成图像，提供图像数据。

附图说明

下面参考附图进一步描述本发明的特征和优点。在图中：

图1和图2为传统的不带微透镜阵列的标准相机的示例性示意图。

图3和图4为本发明的一种多焦全光相机的示例性示意图。

图5～图10为本发明基于的理论的示例性示意图。

图11～图15为本发明和传统的相机的有效分辨率的图形表示。

图16～图19分别进一步显示了本发明多焦全光相机的特征。

图20～图27为微透镜装置的示例性示意图。

图28为显示了本发明的利用两个沿光轴排列的微透镜阵列的全光相机的示例性例子。

图29～图31为本发明图像数据处理方法的示例性示意图。

具体实施方式

下面描述本发明数字成像系统和带数字成像系统的全光相机的具体实施例。需要强调的是，本发明的实施并不局限于这些示例性例子，还可以包括其他的全光光学设备，例如光学扫描设备或显微镜设备。当为光学扫描设备时，所述光电传感器件阵列，通常为线性阵列，可被本发明的数字成像设备代替，尤其被光电传感器件阵列和微透镜阵列的组合代替。在这种情况下，下面描述的全光相机所提及到的主透镜可由光扫描器(圆柱形扫描透镜)提供。而应用到显微镜设备时，可将本发明的数字成像设备代替显微镜的光电传感器件阵列。在这种情况下，该全光相机里的主透镜所产生的虚像由光学显微镜形成。

以下描述的光学设备的结构仅延伸至所涉及的本发明的特征，而光学设备，如相机、扫描设备或显微镜设备等其他的光学上或结构上的特征而由现有技术得知，在此省略描述。

以下描述的本发明的优选实施例中以二维光电传感器件阵列(矩阵阵列)为例。但需要强调的是，本发明的实施并不局限于这些结构，还可以实施于一维光电传感器件阵列(线性阵列)的对应方式中。线性传感器包括单行光电传感器件或多行光电传感器件以收集图像的不同颜色强度，可视为矩阵或线性阵列。

1.标准相机的成像

在讨论多焦全光相机的概念前，首先介绍标准相机的图像形成过程。图1显示了标准相机的基本构成。主透镜110将其右边的物体130发射的或反射的光线集中到其左边的一个曲面上，作为虚像131。由于该物体130沿光轴111变化，所述虚像131不是位于与光轴垂直的平面上。通过将一段时间内平面120上的光电传感器件测量的光照强度在空间上进行结合可生成合成图像，该光电传感器件平面120垂直光轴。在这合成图像中，物体上只有位于或靠近该光电传感器件平面120的部分才显示为聚焦。也就是说，虚像131与光电传感器件平面120的交集为最佳聚焦图像。为了最佳地将物体130的不同部分聚焦到光电传感器件平面120上，主透镜110必须沿着如图中所示的箭头112方向的光轴方向进行移动。

图2显示了上述标准相机的光学原理。在讨论带微透镜的相机结构前，参考如图2所示的简单的标准相机结构是有帮助的。主透镜110通过将其右边的物体130上的一点发射出的不同光线集中到其左边的单个点上，从而形成其右边的物体130上的该点的图像。实际上，所述光线并非集中到一个点上，而是具有强度分布，且该强度分布取决于整个成像系统。这个强度分布通常被称为点扩散函数(PSF)。点扩散函数的空间程度的最佳近似值可由以下公式获得：

s_λ：＝λF，   (1）

其中，λ为光的波长，F为能够进入图像系统的光线数量的计算单位。F被称为焦距比数，可限定为：

$F:=\frac{B_L}{D_L}.---\left(2\right)$

物体与透镜平面的距离为a_L，则该物体且沿着光轴方向被投射的位置b_L可根据薄透镜等式计算出：

$\frac{1}{f_L}=\frac{1}{a_L}+\frac{1}{b_L}.---\left(3\right)$

如果，如图2所示，最佳像面I₁与图像平面I₀不一致，发散的投射光线在图像平面上分散成多个像素，物体会变得模糊。这意味着标准的相机只能最佳地集中物体空间的单个平面到其图像平面上。一种提高物体空间能形成聚焦图像的范围的方法，是减少照相机光圈的尺寸，这样，投射的光线从最佳焦距平面更慢地发散。极限是将照相机光圈的尺寸减少到单个点，这样整个物体空间可以准确对焦，但进入相机的光线是极微弱的。在标准摄影中，需要在景深和相机速度之间取舍，即需寻找到适当尺寸的照相机光圈。

2.本发明多焦点全光相机的成像

图3显示了一种具有本发明数字成像设备200的多焦全光相机100的基本结构。一个由多个微透镜222构成的微透镜阵列221设于光电传感器件阵列的平面220的前方。所选择的微透镜的直径大于光电传感器件的直径，这样每一微透镜能够在多个光电传感器件上形成图像。该光电传感器件阵列为，例如CCD矩阵或线性阵列，包括如12，000，000个光电传感器件。该微透镜阵列221包括如47，604个微透镜，且每一个微透镜的直径为153μm，焦距选自，例如526μm，567μm和616μm。所有的微透镜具有相同的直径，例如153μm。微透镜阵列221与光电传感器件阵列之间的距离为，例如765μm。由微透镜在光电传感器件平面上形成的图像称为微图像。每一个微图像由，如17个光电传感器件构成。邻近的微透镜形成的微图像不重叠。该微透镜阵列可以由透明玻璃或塑料制成并通过机械框架固定在光电传感器件阵列上，由传统的全光相机可知，例如机械框架的厚度构成微透镜阵列与光电传感器件阵列之间的距离。

主透镜210形成物体230的虚像231。微透镜阵列221的微透镜作为小相机以拍摄虚像的不同视图。该多个不同的微图像可用于计算模拟一个虚像平面232，所述虚像与该虚像平面相交的部分在合成图像中是聚焦的。要将物体230的不同部分实现聚焦，只需使该虚像平面沿着如图指示的光轴方向211移动。因为是靠计算获得，所以原始图像被记录后可被再聚焦。另外，该虚像平面232的形式并没限制，也可模拟出一个任意形状的虚像曲面以代替该虚像平面。这样，就可以，例如用于将物体的所有部分都聚焦到合成图像中。

由于微透镜具有一个有限的深度域，只有有限范围的虚像空间能够聚焦到光电传感器件平面上。因此需要使用不同焦距的微透镜以扩展整个成像系统的深度域。各组具有特定焦距的微透镜将不同深度范围的虚像聚焦到光电传感器件平面上。在一个实施例中，与使用带同种微透镜的微透镜阵列相比，使用带三种不同焦距类型的微透镜的微透镜阵列，可获得6倍大的深度域。

虽然图3显示的虚像位于微透镜阵列和主透镜之间，然而该虚像也可以位于微透镜阵列上或其左边。哪部分虚像空间被微透镜聚焦，取决于微透镜的焦距以及沿着光轴方向上微透镜阵列的位置。这种设计决策依赖于应用本身。

图4显示出本发明全光相机的光学原理。主透镜311形成物体340的虚像341。该虚像形成于主透镜311左边的某位置上。该图像为虚拟的，并没有在光电传感器件平面上成像。该虚像需用通过微透镜阵列322的微透镜而被投射在光电传感器件平面330(图像平面)上。请注意，微透镜阵列322与光电传感器件平面330之间的距离并不等于微透镜的焦距。另外，显示出的只有穿过透镜中心的主要投射光线。实际上受透镜影响的还有大量的光线。还要注意的是，一般来说要使用比图4所示的三个微透镜要多的微透镜，且微透镜具有不同的焦距。这种图示仅仅是为了显示清晰。图下方显示出这种结构在降低每一特定目标距离的有效分辨率的同时，有效分辨率延伸到了更大的范围，从而在更大光圈下与标准相机相比具有更大的深度域。

物体340发射出的光被聚焦到虚像341上。微透镜可能并不最佳地将虚像聚焦到光电传感器件平面330上。而是将所述微透镜的最佳聚焦图像平面342设于距光电传感器件平面一定距离的位置上。这由微透镜的焦距f、虚像与微透镜阵列之间的距离a决定。通过使用带不同焦距的微透镜的微透镜阵列，不同距离的虚像也可以被同时聚焦到光电传感器件平面上。

本发明的数字成像系统，用于将全光相机拍摄的数据合成图像，包括具有多个光电传感器件的光电传感器线阵或矩阵；光学装置，具体包括主透镜311和至少排列在主透镜311的聚焦线上的微透镜结构322，以将物体发射出的光线引导到光电传感器线阵或矩阵上，从而微透镜线阵结构为每一微透镜形成一个微图像343；控制装置(图4未示)，具体用于在光电传感器件线阵和微透镜结构之间建立一个相对距离。其中，为了使一组光线通过主透镜311的聚焦线的特定部分，设置多个光电传感器件在一个图像平面330上以感应以不同入射角同时到达主透镜311的聚焦线的特定部分的光线组中的不同光线，以及将描述感应到的光线特征的光数据输出；还包括带计算机程序的数据处理器，用于根据不同光电传感器件感应到的光线、光电传感器件与微透镜结构322的相对位置和感应到的光线与主透镜311的聚焦线的入射角，提供描述合成图像特征的图像数据，其中，每一个至少为一维结构的微透镜的焦距都各不相同。

焦距比数

多焦全光相机设计上的一个重要限制为：投射在光电传感器件上的微图像之间不应有重叠。光电传感器件上的如有两个或以上的微透镜图像重叠，那么这些光电传感器件不能用于计算合成图像。为了确保微图像具有最大的尺寸而不会导致重叠，最好使微透镜和主透镜的焦距比数相等。

在一列紧密排列的微透镜中，这意味着，微透镜的图像尺寸必须小于或等同于微透镜的直径D。也就是说，

$\frac{B}{D}=\frac{B_L-B}{D_L}\⇐F=F_L-\frac{B}{D_L},---\left(4\right)$

其中，F为微透镜的焦距比数，F_L为主透镜的焦距比数。一般地，由于B＜＜D_L,从而F≈F_L。这样，主成像系统和微透镜成像系统的焦距能够匹配。基于给定的B、B_L和D_L,可得最大的微透镜直径为：

$D=\frac{B{D}_L}{B_L-B}.---\left(5\right)$

同样地，

$B=\frac{D{B}_L}{D_L-D}.---\left(6\right)$

参考图5，主透镜的焦距比数为F_L＝B_L/D_L,而微透镜的焦距比数为F＝B/D。一般地，由于B_L>>B且D_L>>D,如果F＝F_L，则微图像422为最大尺寸且不会重叠。

重数，全覆盖平面

如图5和图6所示，另一个重要的概念为全覆盖平面430。图5所示的通过微透镜中心的中心射线为相应的微图像的边界射线。例如，微透镜421只将那些位于极限投射光线423、424之间的虚像点投射到微图像上。全覆盖平面是指其上的每一点都能至少被一个微透镜投射的平面。全覆盖平面430是微透镜平面420右边最靠左的全覆盖平面。同样，微透镜平面420左边也存在最靠右的全覆盖平面。在图5中，左全覆盖平面与光电传感器件平面相一致。类似的，双重覆盖平面431是位于微透镜平面420右边的，其上的每一点至少被两个微透镜投射的平面中最靠左的平面。

图6进一步描述了全覆盖平面的概念。如图6所示，能看见测试点的透镜数量由测试点与微透镜平面之间沿光轴方向的距离决定。平面M1为右全覆盖界限，这意味着，在平面M1上的或平面M1右边的所有点出现在至少一个微图像中。同为图像平面的平面M_-1为左全覆盖界限，这意味着，在平面M_-1上的或平面M_-1左边的所有点出现在至少一个微图像中。平面M₂(M_-2)为双重覆盖界限，这意味着，在平面M₂(M_-2)上的或平面右边(左边)的所有点出现在至少两个微图像中。

图6清楚显示出当中间的透镜移开时，全覆盖界限为M₂和M_-2。值得注意的是，当中间的透镜移开时，并不影响将全覆盖界限平面外的点形成一个图像。减少的是潜在的视差数量，后面会具体描述。

对于1D微透镜阵列而言，一个距离微透镜平面为a的点的重数M可定义为：M＝∣a∣/B。对于2D微透镜阵列，在计算M的公式中，需要考虑额外的因素，例如由于通过圆圈镶嵌而成的平面导致出现的空隙。在2D中仅仅存在两个对称的镶嵌为图7所示的正交模式和图8所示的六角模式。在两幅图中，符号R均指示平面上的一点到离它周围最近的微透镜中心的最大距离。在正交的情况下，可表示为：

$R_D=\frac{D}{\sqrt{2}}.---\left(7\right)$

而在六角的情况下，可表示为：

$R_h=\frac{D}{2}\sqrt{1+{\tan }^2(\mathrm{\π}/6)}.---\left(8\right)$

在1D的情况下，与最近微透镜中心具有最大间隔的点到微透镜中心的距离为D/2。R与这个值的比率称为分布比，用符号K表示，也就是：

$\mathrm{\κ}:=\frac{2R}{D}.---\left(9\right)$

因此，

${\mathrm{\κ}}_o=\sqrt{2}\≈1.41,{\mathrm{\κ}}_h=\sqrt{1+{\tan }^2(\mathrm{\π}/6)}\≈1.15.---\left(10\right)$

因此与微透镜平面的距离为a的重数M为：

$M=\frac{\left|a\right|}{\mathrm{\κB}}.---\left(11\right)$

由于∣a∣＝KBM,更小的分布比K是更合适的。因此六角微透镜阵列比正交微透镜阵列更优选。

如果1D阵列里的微透镜并非紧密结合，而是每两个微透镜中心之间具有一个距离C，那么全覆盖界限平面M₁、微透镜平面的距离V1与其关系为：

$\frac{B}{D/2}=\frac{B+v_1}{D/2+C/2}\⇐v_1=B\frac{C}{D}=\mathrm{\γB},---\left(12\right)$

其中，γ：＝C/D表示为微透镜大小与间距之间的比率。对于2D的微透镜阵列，重数为M的覆盖平面的距离为:

v_M＝κγBM·    (13)

因此与微透镜平面的距离为a的重数M为：

$M=\frac{\left|a\right|}{\mathrm{\κ\γB}}.---\left(14\right)$

当图6中位于中间的透镜被移走时，相邻透镜之间的距离为双倍，即γ＝2。因此，在同样的距离a时，这种情况下的重数M的值仅为透镜紧密结合情况下的一半。

视差

在重数为M的一个平面上，仅需要每个微图像的1/M以在没有空隙的整个平面上绘制图像。例如，在M＝2的情况下，只需要每个微图像的一半即可绘制一个完整的图像，这暗示，可以形成两个完全不同的完整的图像。带来明显视角改变的效果。基于这种效果，可以像标准的立体相机系统那样重建屏幕的3D信息。

两极限视角的图像平面间的视差量为：

$\mathrm{\Δ}=D(1-\max [\frac{1}{M},\frac{1}{N}\left]\right),---\left(15\right)$

其中，N＝D/p为微透镜尺寸D与像素尺寸p的比值，而视差角度值为：

${\mathrm{\Δ}}_{\mathrm{\α}}=2{\tan }^{-1}\left(\frac{\mathrm{\Δ}}{2B}\right),---\left(16\right)$

其中，符号B再次表示为微透镜阵列与图像平面之间的距离。进一步地，相对视差Δ_r为：

${\mathrm{\Δ}}_r:=\frac{\mathrm{\Δ}}{D}=1-\max [\frac{1}{M},\frac{1}{N}].---\left(17\right)$

参考图6，显示了当中间的透镜被移走时，在一些位置a上的重数减少，从而视差也减少。

公式14可以代替到公式15中，得：

$\mathrm{\Δ}=D(1-\max [\frac{\mathrm{\κ\γB}}{\left|a\right|},\frac{1}{N}\left]\right).---\left(18\right)$

同样，相对视差为：

${\mathrm{\Δ}}_r=1-\max [\frac{\mathrm{\κ\γB}}{\left|a\right|},\frac{1}{N}].---\left(19\right)$

注意，关于Δ，Δ_r和Δ_α的公式中只有当|a|≥v₁时才成立。当视差为最大时，距离微透镜平面最大的距离l_max为：

$l_{\max }=\mathrm{\κ\γBN}=\mathrm{\κ\γ}\frac{\mathrm{BD}}{p}.---\left(20\right)$

有效分辨率

多焦全光相机的有效分辨率指对由多焦全光相机通过单纯的几何视角而形成的原始图像数据进行计算而生成的图像的最大分辨率。且生成的图像的分辨率仍可以通过适合的图像增强算法被进一步地提高。

图4所示的多焦全光相机的有效分辨率决定于虚像341与微透镜平面322之间的距离、微透镜的深度域以及光电传感器件平面330的分辨率。一般说来，多焦全光相机的有效分辨率随着虚像空间而改变。

微透镜的深度域决定于以下几方面：首先考虑到图9所示的被单个微透镜510投影的虚像点X₀。特别地，图9显示了，当点X₀的最佳聚焦图像Y₀无法位于图像平面I上时，点X₀在图像平面I上模糊的像。这种现象可用于阐述与目标相距a的相机的有效分辨率。

只有从点X₀发射出并位于光线521和522之间的光线能够被微透镜改变方向，在点Y₀上汇合，即Y₀是X₀的图像。点Y₀到微透镜平面511的距离b能够根据点X₀到微透镜511的距离和微透镜的焦距f计算得到，因为理想的透镜公式为：

1/f＝1/a+1/b    (21)

如果微透镜平面511与光电传感器件平面530之间的距离B不同于距离b,那么从点X₀发射出的光线不会在光电传感器件平面汇合成一点。相反，光线发散成如图9所示的直径为s的斑点。假设光电传感器件平面是由多个边长为p的正方形光电传感器件组成，那么微透镜的分辨率比为：

${\∈}_L=\frac{p}{\max \left[\right|s|,p]}---\left(22\right)$

例如，如果s为边长p的两倍，那么s、B、b和D之间的关系为：b/D＝(B-b)/s。借助公式(21)，可得：

$s=D(B(\frac{1}{f}-\frac{1}{a})-1).---\left(23\right)$

如图9所示，仅当两相邻虚像点X₀和X₁的光斑中心之间的距离为s时，两相邻虚像点X₀和X₁的光斑能在光电传感器件平面530上能区分开来。因此，最靠近虚像点X₀并能与点X₀区分开来的就是虚像点X₁。虚像点X₀和X₁之间的距离s_a为在虚像空间中距离微透镜平面为a的实体通过微透镜510投射到光电传感器件平面530上时仍然能够被区分开来的最小尺寸。

全光相机与多焦全光相机的有效分辨率比(ERR)由在距离微透镜平面为a的位置能够被分辨的虚像结构的最小尺寸和光电传感器件平面上的正方形光电传感器件的边长p之间的比值决定，该有效分辨率比(ERR)用符号∈(a)表示为：

$\∈\left(\mathrm{\α}\right)=\frac{p}{\left|s_{\∃}\right|}=\frac{B}{\left|\mathrm{\α}\right|}{\∈}_L\left(a\right)---\left(2\right)$

将光电传感器件平面上的同一维度的光电传感器件的总数量表示为Nt，那么沿该维度方向合成图像的最大像素数量为：

N_B(a)＝N_t∈(a).    (25)

因此，由垂直于光轴并距离微透镜平面为a位置上的虚像平面生成的合成图像具有的最大像素为N_e(a)²，即全光相机的有效分辨率为N_e(a)²。

参考图9，利用相似三角形原理，s和a之间的关系可表示为：

$\begin{array}{c}\frac{b}{D}=\frac{B-b}{s}\\ \⇔s=D\frac{B-b}{b}=D(\frac{B}{b}-1)\\ \⇔s=D(B(\frac{1}{f}-\frac{1}{a})-1).\end{array}---\left(26\right)$

因此单个透镜的有效分辨率比(ERR)用符号ε_L表示为a的函数：

${\mathrm{\ϵ}}_L\left(a\right):=\frac{p}{\max \left[\right|D(B(\frac{1}{f}-\frac{1}{a})-1)\left|p\right]}.---\left(27\right)$

也可以表示为：

${\mathrm{\ϵ}}_L\left(a\right):=\frac{1}{\max \left[\right|N(S(\frac{1}{f}-\frac{1}{a})-1)|.1]},---\left(28\right)$

其中，N＝D/p为每一个微透镜的像素量。

注意的是，公式27并未考虑由于衍射造成的模糊。所述衍射决定于公式1给出的光波长和光圈大小。

参考图4，如果主透镜的虚像位于微透镜平面的左边，全光相机有效分辨率的推导也有效。图10显示了在这种情况下单个微透镜610的示意图。光线的方向如620所指示。如果主透镜(图中未示)在X₀上生成了一个虚像，那么微透镜对应在Y₀上形成X₀的最佳聚焦图像。用-a代替公式21到公式25中的a即可描述这种情况。

前面已经提及到传统的全光相机的特征，例如，参考国际专利申请WO2006/039486 A2公开了的微透镜平面与光电传感器件平面之间的距离B等于微透镜的焦距f。在f＝B的情况下，公式22中的分辨率比则变为：

${\∈}_L\left(a\right)=\min [\frac{p\left|a\right|}{\mathrm{D\; B}},1].---\left(29\right)$

从而有效分辨率比为：

$\∈\left(a\right)=\min [\frac{p}{D},\frac{B}{\left|a\right|}].---\left(30\right)$

也就是，当时∈＝p/D。现在，N：＝D/p表示为在一个维度上形成一个微图像的光电传感器件的数量，而N_L：＝N_t/N则表示为沿这个维度方向微透镜的数量。因此沿一个维度方向的合成图像的最大像素量为：

$N_B=N_t\∈=\frac{N_t}{N}=N_L---\left(31\right)$

因此传统的全光相机的合成图像的最大像素量等于微透镜阵列的微透镜数量。

图11显示了有效分辨率比(ERR)的一个示例性例子，其中B,D和f的值固定，而像素大小假定为D/20。点X₀为最优焦点的位置，而DoF为景深，其中模糊区域小于或等于像素大小。

上述的方法理论也可应用到传统的全光相机中，如图12和13所示。利用该方法理论通过改变微透镜阵列的焦距，全光相机的综合有效分辨率会得到提高。在传统的全光相机设计中(如WO 2007/092581 A2)，微透镜的焦距设置为等同于微透镜平面与图像平面之间的距离，即B＝f。当B＝f时，公式28可变为：

${\mathrm{\ϵ}}_L\left(a\right)=\frac{1}{\max \left[\right|N(B(\frac{1}{B}-\frac{1}{a})-1)|.1]}=\min [\frac{\left|a\right|}{\mathrm{N\; B}},1].---\left(32\right)$

因此，全光相机的有效分辨率比为：

$\mathrm{\ϵ}\left(a\right)=\frac{B}{\left|a\right|}{\mathrm{\ϵ}}_L\left(a\right)=\min [\frac{1}{N},\frac{B}{\left|a\right|}].---\left(33\right)$

也就是，所有与微透镜平面距离为a的地方，其中∣a∣≤NB，有效分辨率比(ERR)保持不变且为1/N。在这种情况下，公式(25)显示的有效分辨率变为：

$N_B=N_t\mathrm{\ϵ}\left(a\right)=\frac{N_t}{N}=:N_L,---\left(34\right)$

其中，N_L为微透镜阵列中沿一个维度上的微透镜数量。相关的文献是这样记录的，即标准的全光相机的分辨率为微透镜阵列中透镜的数量。图12显示这种结构下的有效分辨率比和视差。使用A.Lumsdaine和T.Georgiev的聚焦全光相机(参考，例如美国专利申请US 2009/0041448 A1)可以获得图13所示的有效分辨率比(ERR)。

图14显示了多焦全光相机的有效分辨率比(ERR)和传统全光相机的有效分辨率比(ERR)之间的对比：在一个例子中，焦距比数F＝5，光电传感器件的边长为p＝0.009mm以及微透镜的直径D＝0.153mm,可以得到：形成每一微图像的光电传感器件数量N＝17，以及光电传感器件平面710和微透镜阵列平面711之间的间隔为B＝0.765mm。对于这种结构的传统的全光相机，所有微透镜的焦距设置为等于B。图中730所示为对应于a的有效分辨率比分布曲线。

相反地，本发明的多焦全光相机具有三个有效分辨率比，每一个对应一种类型或一种焦距的微透镜。该实施例中所使用的三种焦距为f1＝0.526mm,f2＝0.567mm以及f3＝0.616mm,分别对应于曲线731,732和733。这显示了多焦全光相机能够相对传统的全光相机在更大深度范围内提供更高的分辨率。

图14所示的有效分辨率比曲线只显示了全覆盖界限平面以外的部分，因为在左全覆盖平面722和右全覆盖平面720之间无法构建完整的合成图像。图14所示的全覆盖界限平面为所述多焦全光相机的全覆盖界限平面。

一般地，不同类型的微透镜的焦距能够根据实际的应用调整，以提供最佳的分辨率。

作为进一步的例子，图15显示了带三种不同类型的微透镜的两倍深度多焦全光相机的有效分辨率比曲线。I表示为图像平面，L为微透镜平面。ε₁，ε₂和ε₃分别为为三种不同类型的微透镜的有效分辨率比，Δ_r为相对视差。图15显示了在图像平面的前方或后方具有延伸的高有效分辨率的多焦全光相机的有效分辨率比和视差。这带来的效果是,V1处平面和-V1处平面上的元素能够以高有效分辨率重建。这样，例如，能够用于将两个位于不同深度上的平行的平面同时被聚焦。

注意理论上可以增加不同焦距微透镜的数量。而且使用焦距几乎连续分布的微透镜阵列能够提高全光相机的整体性能。

全覆盖界限

左全覆盖平面和右全覆盖平面给出了一个界限，在该界限内能够计算生成一个完整的合成图像。参考如图14所示的示例，在虚像空间中与微透镜阵列平面之间的距离a满足条件∣a∣≥c₁的所有点能够被计算生成一个合成图像。由于公式(7)给定的最大有效分辨率比∈(a)随着1/∣a∣改变，因此微透镜阵列平面与全覆盖平面之间的距离越大，最大可实现的有效分辨率则越小。因此在多焦全光相机设计中，减小微透镜阵列平面与全覆盖平面之间的距离c₁很有必要。

对于由相同焦距的微透镜构成的一维微透镜阵列(线性阵列)并具有如图5所示紧密结合(接触但不重叠的)微图像的情况而言，c₁的值等于微透镜阵列平面420与光电传感器件平面440之间的距离B。从而双重覆盖平面的距离c₂为：c₂＝2c₁。

合成图像的最大可实现的有效分辨率与全覆盖界限有关。当一种类型的微透镜的焦距f选择为在全覆盖平面处满足∣s∣≤p，例如∣a∣＝c₁，则有效分辨率最大。然后，从公式(22)可得∈_L＝1从而得∈(c₁)＝B/c₁假定c₁＝γB·，其中γ为全覆盖因子，那么得∈(c₁)＝1/γ。因此，对于一个具有总数量为N_t ²个光电传感器件的正方形光电传感器件阵列，最大可实现的有效分辨率为：

${N_{\mathrm{\θ}}}^2\left(c_1\right)=\frac{1}{{\mathrm{\γ}}^2}{N_t}^2---\left(35\right)$

这显示了全覆盖因子γ越小，最大可实现的有效分辨率越大。

对于一个二维的由圆形微透镜组成的微透镜阵列，其微透镜之间形成的间隙，会影响到c₁值的计算。图16显示了多焦全光相机的微透镜阵列中圆形微透镜的结构，其中该微透镜阵列具有可以最小化c₁值的三种不同焦距。该三种不同类型的微透镜821,822和823按序排列在一个六角网格上，并使相邻的任意两个微透镜不为同一个类型。

如图14所示，每一种类型的微透镜对应虚像空间内的一个特定深度。因此，同一类型的子微透镜阵列可独立于另一种类型的微透镜生成合成图像。图17显示了如图16所示的所有微透镜阵列中的第一种类型的子微透镜阵列。每一微透镜921具有其相应的微图像922。这种结构的微图像不再紧密结合。

图18中对微透镜1021的微图像1022有影响的虚图像空间的子空间位于微投射圆锥体1023内。全覆盖平面为垂直于光轴1030并最靠近微透镜阵列平面1020的平面，这样微投射圆锥体1023覆盖整个全覆盖平面且不会形成间隙。图18所示的微投射圆锥体1023延伸至正好与全覆盖平面一致。如果用符号B再次表示为光电传感器件平面1010与微透镜阵列1020之间的距离，那么微透镜阵列与全覆盖平面之间的距离c₁为：c₁＝2B，即γ＝2。这是具有三种不同类型微透镜的微透镜阵列的最小c₁值。

图19显示了另一个微透镜结构，具有多列带不同焦距的圆柱形微透镜。沿同种类型微透镜的列方向全覆盖因子为γ＝1，而沿垂直于微透镜列方向的全覆盖因子为γ＝3。

一般地，只要多焦全光相机中的微透镜阵列的各微透镜的微图像不重叠，它们可为任何形式和形状。例如，它们可能为平凸的、双凸的、平凹的、双凹的、凹凸的或者这些的结合。另外，位于微透镜平面内的微透镜的形状可为圆形的、椭圆形的、方形的或一些不规则不对称的图形。微透镜表面的形状为球面或非球面。每一微透镜可替代为微透镜系统，以提高成像系统的光学性能。这样的微透镜系统的元件之间的距离也可以保持变化的，例如，保持微图像紧密结合的同时也允许主透镜的焦距比数为可变的。

微透镜阵列结构

前面意见描述到，当从阵列中每隔一个地移除微透镜时，只会外移全覆盖平面和减少离微透镜平面特定距离位置上的视差。然而，这不会减少特定位置上的有效分辨率。本文引入的这种基础新概念，能够使全光相机设计具有更好的性能，例如，扩展的深度域。

图20和图21分别显示了正交的和六角的微透镜阵列中的第一种和第二种类型的微透镜分布。第一种和第二种类型的微透镜的不同仅在于他们的焦距，而其他因素不发生变化。对于具有两种不同类型的透镜的多焦全光相机，无论正交的还是六角的，其间隔因子K与间隔比γ之积都是一样的，均为κγ＝2，可参考图22和图23。

如果混合了三种不同类型的微透镜，则正交的和六角的微透镜阵列如图24(同时参考图26中的1110)和图25所示(同时参考图27中的1210)。在这带三种不同类型的透镜的多焦全光相机中，间隔因子K和间隔比γ的积对正交的和六角的微透镜阵列是不一样的。

在正交的情况下：

$\mathrm{\κ\γ}=2\sqrt{2}\frac{5}{6}\≈2.36,$

同时，在六角情况下：

κγ＝2.

图24和图25分别显示了这两种情况。因此，在六角微透镜阵列中，全覆盖平面与微透镜平面之间的距离相等，无论其使用的是两种或三种类型的微透镜。从而利用三种不同类型的微透镜是有利的。

一般地，多焦全光相机可以被设计为带任何数量的不同类型的微透镜。

图26显示了微透镜结构的一些例子，每个例子都具有与其微透镜类型的数量相对应的最小的c₁。在这些结构中，每一个特定微透镜类型的子阵列是规则的且具有相同的γ值。

结构1110：3种类型的微透镜且γ＝2。

结构1120：4种类型的微透镜且γ＝1+1/cos(π/6)≈2.15

结构1130：9种类型的微透镜且γ＝1+3/[2cos(π/6)]≈2.73。

结构1140：12种类型的微透镜且γ＝3。

优选地，这些不同类型的微透镜的规则网格结构中，同种类型的微透镜的子阵列构成规则六角网格。如果每种类型的微透镜只能够覆盖虚像空间的一个小小的深度范围，例如，类似小光电传感器件的情况下，使用具有大量不同类型微透镜的微透镜阵列能更令人满意。

根据实际使用时，使用带同种类型的微透镜的不规则分布也是可取的。图27显示了一些带不同类型的微透镜的不规则结构的具体例子，其中：

结构1210：带3种类型的微透镜的正交网格。

结构1220：带2种类型的微透镜的六角网格。

结构1230：带3种类型的微透镜的六角网格。

结构1240：带2种类型的微透镜的六角网格。

在结构1230中，第一种类型的微透镜集中于中心位置而第二种类型的微透镜环绕中心位置形成一个环形。而第三种类型的微透镜再次环绕在第二种类型的微透镜外以形成一个环形。在这种方式下，每一种相同类型的微透镜组，能够为虚像空间的特定部分生成一个高立体分辨率的合成图像。

在结构1240中，第一种类型的微透镜的密集度低于第二种类型的微透镜的密集度。在这种特定情况下，第一种类型的微透镜的全覆盖因子为：γ＝1+tan(π/3)≈2.73；而第二种类型的微透镜的全覆盖因子为：γ＝2

多微透镜阵列的全光相机

除多焦全光相机外，全光相机的功能还可以扩展成不只是使用一个微透镜阵列，而是使用沿光轴方向上的多个微透镜阵列。图28显示了这种带有两个微透镜阵列的示例性例子。在这里例子中，包含了两个微透镜阵列，每个微透镜阵列包括两面凸的微透镜，其中，第一微透镜阵列的微透镜直径小于第二微透镜阵列的微透镜直径，且第一微透镜阵列的每一微透镜周围设置一个不透明的光圈。一般的，带合适微光圈阵列的任何透镜类型组合都是可能的，且可扩展全光相机的功能性。

图28所示的结构中，微透镜阵列2和图像平面之间的间隔B，以及两个微透镜阵列之间的间隔d，通过合适的机械结构可以进行调整。以合适的方式改变B和d，可以保证对主透镜系统的多种焦距比数形成直径D2不变的微图像。在这种方式下，当使用不同焦距比数的变焦透镜，或使用通常具有不同焦距比数的多种固定焦距的微透镜时，多微透镜阵列的全光相机也能获得不变的有效分辨率。

对于本技术领域的人员来说，基于图28所示的基本实施例，很容易扩展到更多的带不同类型的微透镜阵列组合，并实现相同的效果。例如，可作为不同类型的另一个实施例，将多微透镜阵列全光相机使用每一个焦距都不相同的微透镜。

3.图像绘制

为了绘制垂直于光轴的图像平面上的一个位置(x,y)上的强度值(颜色值)，需执行以下步骤，其中该图像平面置于沿光轴方向并与微透镜平面距离为z的位置上。

1.选择能够实际看到点(x,y)的微透镜组。这些微透镜的中心均位于微透镜平面上以(x,y)的正交投影为圆心，r为半径的圆内，其中半径

2.对于每一微透镜，计算该微透镜将点(x,y)投影到图像平面上的像素位置。

3.最终的强度值为上述步骤中计算出的图像平面的像素位置上的强度值的加权平均。权重可以由校准数据获得，所述校准数据给出点(x,y,z)投影在每一像素位置上的强度衰减值。

这种方法允许在任意曲面而非只有平面上重建图像。这尤其适用于需要在所有地方都聚焦的弯曲曲面。通过改变绘制点的步长大小和超级采样，容易获得理想的合成分辨率。

上述步骤概括了本发明用于多焦全光相机的图像绘制方法。在选择用于估计一个点的强度值的微透镜时，需要考虑该点与微透镜平面之间的距离。对于每一种距离，均有一组微透镜能够最佳评估颜色值。将本发明的图像绘制方法应用于一维或二维的微透镜阵列和光电传感器件阵列可以实现通过一组光线合成图像。具体包括如下步骤：

-采集进入主透镜和光电传感器件阵列的一组光线，所述光电传感器件用于输出描述该组光线特征的光数据；

-通过位于主透镜和光电传感器件阵列之间的微透镜阵列引导该组光线的方向；

-将光电传感器件阵列设于与微透镜阵列相对的一定位置上，以利于对光电传感器件阵列采集到光线的方向特征进行选择性检测；以及

-利用图像数据处理器，根据主透镜、微透镜阵列和光电传感器件阵列的相对位置，计算合成的重聚焦的图像，其中，合成的重聚焦图像是对光电传感器件阵列采集到的光线进行虚拟重定向的结果。其中

-选择能够实际看到点(x,y)的一组微透镜，这些微透镜的中心均位于微透镜平面上以(x,y)的正交投影为圆心，r为半径的圆内，其中半径r为：

对于每一个所述微透镜，计算点(x,y)通过各微透镜被投射在图像平面上的像素位置。

进一步地，利用数字成像方法将一组光线合成图像还需要进行加权的步骤，即对前述步骤计算出的图像平面的像素位置上的颜色值进行加权平均作为最终颜色值。

对任何将一组光线合成图像的数字成像方法而言，所述权重可以通过校准数据获得，所述校准数据给出点(x,y,z)投影在每一像素位置上的强度衰减值。

优选实施例特征

图29是在使用图26中1110所示的微透镜阵列时多焦全光相机的光电传感器件平面上生成的原始图像的示例。成像的物体只是最佳地对准三种显微透镜中的一种的焦点。为了从这种原始图像产生合成的数字图像，可采用以下图像绘制算法来处理从光电传感器件阵列读取的原始图像数据。图像绘制方法的细节在下面有关图30和图31的流程图中描述。

S1.选择虚像曲面(1530)，让虚像空间坐标系的z分量平行于成像系统的光轴并定义焦深。虚像曲面(1530)是所示的弯曲曲面或任意形状的曲面或者平面。虚像曲面可以选择成和某特定已知物体具有相同的形状，由此如果成像物体没有偏离已知的形状，则合成的图像在每处都是聚焦的。例如，如果本发明的全光相机用于成像特定的物体，例如，在为监控圆柱形产品的制造过程中，选择的虚像曲面为与物体的表面匹配的形状，比如选择圆柱形虚像曲面。

把虚像曲面(1530)分成一组不一定有规律分布的虚像点。这组虚像点形成合成图像。

S2.选择第一个/下一个虚像点。为每个虚像点做如下步骤：

S3.为所选的虚像点选取在虚像点的z值处具有最大有效分辨率的特定类型微透镜(具有共同的焦距的微透镜组)的微透镜子阵列。

比如，图30的z轴是图14的水平轴。所以，在图7的微透镜结构示例中，在z＝3mm的最佳微透镜类型是类型2。

S4.将虚像点(1531)投射到微透镜阵列平面(1520)上，设定为位于z＝0。

S5.能够影响虚像点的强度值的微图像是那些相应微投射圆锥体包含虚像点(1531)的微图像。所有那些中心位于以虚像点的投影(1532)为中心，Rmax为半径的圆内的微透镜的微投射圆锥体属于这种情况。Rmax的值由Rmax＝(zD)/(2B)给出,这里D是微透镜直径，B是光电传感器件平面(1510)和微透镜阵列平面(1520)之间的距离。

S6.对每个具有能够影响虚像点强度值的微图像的微透镜，找出穿过虚像点和微透镜中心的线与光电传感器件平面的交叉点。这些交叉点将被称为原始图像点。在图30的示例中，原始图像点为点Pl(1533),P2(1534)和P3(1535)。

S7.对每个原始图像点，选择中心最接近原始图像点的那个光电传感器件的强度值(原始图像数据)作为相应的原始图像强度。实际的虚像点的最终强度值是相应的原始图像强度的平均值，即，将原始图像数据的强度相加并除于各自的原始图像点的数目。

S8.检查是否所有的虚像点都已经被处理。如果不是，继续步骤S2。如果是，生成用平均原始图像强度获得的数字图像。随后，数字图像可以被输出，比如，显示，打印，在数据存储中记录或存储。

为提高合成图像的图像质量，可以用在本领域内专业人员众所周知的图像处理方法对这个基础算法作多个修改。比如如下的一些这样的修改。

原始图像数据可以用以下步骤提高：

－用多焦全光相机拍摄均匀白色表面的校准图像，在不使光电传感器件饱和的条件下，让相应的原始图像中的强度尽可能的高。

－用多焦全光相机拍摄所需场景的图像。

－通过校准原始图像数据划分所需场景的原始图像数据。这样消除在原始图像中由于光学系统和光电传感器件灵敏度产生的强度变化。

可以通过用以下的图像绘制算法替代步骤S7降低合成图像中的混淆效应。

－对每个原始图像点，根据围绕所述原始图像点的一组光电传感器件，计算相应的原始图像强度。这可以是该组光电传感器件的平均强度值或考虑了原始图像点到光电传感器件中心距离的内插强度值。许多这类的内插算法在现有技术中是已知的。

－图像绘制算法的步骤S3可能被下面的步骤之一替换。对每个选定的虚像点(1531)总是使用所有的微透镜类型。

－使用所有那些对给定的z值，相应的分辨率∈_L满足∈_L<＝1的微透镜类型，或者如果没有这样的显微透镜类型存在，使用具有最小的∈_L的显微透镜类型。

4.进一步的应用

以上描述的多焦全光相机和多微透镜阵列全光相机或其组合的方法也可以应用到一维光敏设备，像线性相机，多线相机，手持式扫描机，平台式扫描机，或影印机。

在单线相机，手持式扫描机，平台式扫描机，或影印机的情况下，设置在光接受器的光路中的一个或多个一维柱面透镜阵列便已足够，尽管其他种类的透镜也是可能的。这样的结构优于标准设备的点在于，扫描的表面不需要是平的或是对准扫描板的。那就是说，非平面表面可以在每处都聚焦而且可以重建拍摄表面的三维形状。相应的绘制和深度估计算法和前面一样，只是只有一维微透镜会影响像素值。

多线全光相机具有多条光接受器的平行线阵，并具有一个或多个设置在光路中的微透镜线阵。移动相机下面的物体或移动物体上面的相机的同时，以特定时间间隔记录图像，可以构建出等同于二维全光相机的数据组。此外，在一维微透镜线阵中的微透镜可以具有不同的焦距和/或多个这样的可沿光路设置的微透镜线阵。这样的结构的优点是可以产生具有高分辨率的图像。

在以上描述、附图和权利要求书中公开的本发明的特征可以单独地也可以结合地用于对本发明在其多个实施例中的实现。

Claims (19)

1.一种用于将全光光学设备的图像合成的数字成像系统，包括：

一光电传感器件阵列，所述光电传感器件阵列包括位于预定的图像平面上的多个光电传感器件；

一微透镜阵列，所述微透镜阵列包括多个微透镜，以将物体发射的光线引导到所述光电传感器件阵列，其中所述光电传感器件阵列与所述微透镜阵列之间的距离为预先设定的；

其特征在于：

所述微透镜阵列中的多个微透镜具有不同的焦距；每一微透镜提供一个有效分辨率比，所述有效分辨率比决定于每一微透镜的焦距和距离所述微透镜阵列的深度，所述微透镜的焦距设置为可使有效分辨率比在所述深度的邻近范围内具有可互补的最大值；以及

设置所述光电传感器件阵列的图像平面，使光电传感器件阵列与微透镜阵列之间的距离不等于微透镜的焦距。

2.根据权利要求1所述的数字成像系统，其特征在于，所述微透镜阵列具有多组微透镜，每一组微透镜具有同一个焦距，且不同组的微透镜具有不同的焦距。

3.根据权利要求中1或2所述的数字成像系统，其特征在于，所述微透镜中的每一个的焦距选自两种或三种不同的焦距。

4.根据权利要求中1或2所述的数字成像系统，其特征在于，所述微透镜中的每一个的焦距选自三种以上不同的焦距。

5.根据权利要求1所述的数字成像系统，其特征在于，所述微透镜中的每一个的焦距与其邻近的微透镜的焦距不同。

6.根据权利要求1所述的数字成像系统，其特征在于，所述微透镜被设置为带相同焦距的微透镜形成一个规则网格。

7.根据权利要求6所述的数字成像系统，其特征在于，所述微透镜被设置为带相同焦距的微透镜形成一个正交或六角网格。

8.根据权利要求1所述的数字成像系统，其特征在于，由控制设备设定所述光电传感器件阵列与所述微透镜阵列之间的距离，所述控制设备包括连接所述光电传感器件阵列与所述微透镜阵列的可改变的或固定的连接。

9.根据权利要求1所述的数字成像系统，其特征在于，所述微透镜阵列为一维或二维的微透镜阵列。

10.根据权利要求1所述的数字成像系统，其特征在于，所有具有相同焦距的微透镜的大小一致。

11.根据权利要求1所述的数字成像系统，其特征在于，所述微透镜阵列中的所有微透镜的大小一致。

12.根据权利要求1所述的数字成像系统，其特征在于，至少包括一辅助微透镜阵列，所述辅助微透镜阵列包括多个微透镜，以将物体发射的光线引导到所述微透镜阵列。

13.根据权利要求1所述的数字成像系统，其特征在于，包括计算机结构中的数据处理器，可被编程用于根据不同光电传感器件感应到的光线、所述光电传感器件相对于所述微透镜阵列的位置及感应到的光线的入射角提供描述合成图像特征的图像数据。

14.全光光学设备，其特征在于包括：

一光学主透镜；以及

如权利要求1～13中任何一个所述的数字成像系统。

15.根据权利要求14所述的全光光学设备，其特征在于，

所述数字成像系统的微透镜阵列设于所述光学主透镜的聚焦线上，用于将物体发射的并透过光学主透镜的光线引导到所述光电传感器件阵列上；以及

为了使一组光线透过所述光学主透镜的聚焦线的特定位置，设置多个光电传感器件以感应区分该组光线中同时以不同入射角达到所述光学主透镜的聚焦线的特定位置的不同光线。

16.根据权利要求14或15所述的全光光学设备，其特征在于，为相机设备、扫描设备或显微镜设备。

17.一种对如权利要求1～13中任一项所述的数字成像系统或如权利要求14～16中任一项所述的全光光学设备采集的图像数据进行图像数据处理的方法，其特征在于，包括如下步骤：

提供光电传感器件阵列采集的原始图像数据；

提供一个预先设定的具有多个虚像点的虚像曲面；

其中，对于每一所述虚像点，

选择一组微透镜，该组微透镜具有决定于其焦距的、用于将所述虚像点成像于所述光电传感器件阵列上的最大有效分辨率比；

将所述虚像点投影到所述微透镜阵列平面上；

检测所选择的微透镜组的微图像，所述微图像影响虚像点的强度值；

选择原始图像点，所述原始图像点的原始图像数据影响虚像点的强度值；

检测原始图像点上原始图像数据的平均原始图像强度；以及生成一个包含平均原始图像强度的数字图像。

18.根据权利要求17所述的方法，其特征在于，所述虚像曲面为虚像平面或适于成像物体的表面的一个曲面。

19.根据权利要求17或18所述的方法，其特征在于，所述生成数字图像的步骤在不同的虚像曲面重复进行。