CN102439979A - 数字成像系统，全光照光学设备及图像数据处理方法 - Google Patents

Abstract

本发明公开了一种用于将plenoptic光学设备的图像合成的数字成像系统，包括一光电传感器件阵列和一微透镜阵列，所述光电传感器件阵列包括位于预定的图像平面上的多个光电传感器件；所述微透镜阵列包括多个微透镜，以将物体发射的光线引导到所述光电传感器件阵列，其中所述光电传感器件阵列与所述微透镜阵列之间的距离为预先设定的；所述微透镜阵列中的多个微透镜具有不同的焦距；以及设置所述光电传感器件阵列的图像平面，使光电传感器件阵列与微透镜阵列之间的距离不等于微透镜的焦距。另外，还公开了一种Plenppic光学设备和对上述数字成像系统收集的图像数据进行处理的方法。

Description

数字成像系统,全光照光学设备及图像数据处理方法

技术领域

本发明涉及一种用于将plenoptic光学设备(例如，plenoptic相机)的图像合成的数字成像系统。进一步地，本发明涉及一种包括数字成像系统的光学设备，如相机设备，扫描设备，或者显微镜设备。另外，本发明还涉及一种将数字成像系统收集的图像数据进行处理的图像数据处理方法。具体地，本发明涉及一种利用相机进行发光摄影(plenoptic相机)的系统和一种能够产生和显示图片及改变图片清晰度的方法。 

背景技术

plenoptic相机(光场相机)是一种光领域中能够采样光分布和光方向的相机。基于这些信息，图像能够通过焦点深度的增加而被收集和/或图像能够数字式再聚焦。在标准的plenoptic相机中，在图像平面的前端设有一列显微透镜，例如，感光底片或光电传感器阵列。这种设置不仅拍摄到集中于特殊平面上的光线，还可以拍摄到从透镜散射出来的光线场(光场)。最后的图像能够通过原始数据并使用一种计算算法而生成，这也是为什么plenoptic相机被记录为属于计算图像学领域。存在这样的算法，可以从光场的不同焦平面中形成图像并估算不同位置的场深度。

以前公开的两种plenoptic相机设计包括： 

1、首次被Lippmann在1908年公开的标准plenoptic相机，也在国际专利WO 2007/092581 A2中描述及被Ren Ng等人在2005年2月的“斯坦福技术报告”中提及。这种plenoptic相机的有效分辨率如同所使用的多个微透镜。 

2、首次被Lumsdaine和Georgiev于2008的技术报告中(A.Lumsdaine和T.Georgiev，全解析度光场算图，技术报告，奥多比系统，2008年1月)公开及在美国申请专利US 2009/0041448 A1中描述的“聚焦plenoptic相机”。这些公开物中描述的这种设计能够完成更好的有效的分辨率。但是，现有的理论没有一条可以为plenoptic相机的可实现的有效分辨率进行分析计算。另外，传统的绘制算法通过将图像转换成频域而工作。 

一种改进的plenoptic相机和相关的算法在国际申请专利WO 2006/039486 A2中公开。结合标准的技术，这种plenoptic相机包括一个主透镜、一个微透镜阵列以及一个光电传感器阵列，该光电传感器阵列相对该微透镜阵列具有更好的强度。该微透镜阵列设于主透镜的焦平面内，包括了选择的不同型号的微透镜以使通过一个微透镜的光线不会与通过另一个微透镜的光线重叠。虽然不同的微透镜可以获取局部多样的角分辨率，所有的微透镜的焦点共用一个公共面(光电传感器阵列平面)，即传统plenoptic相机的所有微透镜具有相同的焦距以拍摄无穷远的虚像。因此，国际申请专利WO 2006/039486 A2中公开的plenoptic相机的成像特性与标准的plenoptic相机的特性在本质上是一样的。 

所有传统的plenoptic相机具有以下的不足：当焦点深度随着标准的提升而增大时，因为所利用微透镜的数量，plenoptic相机的有效分辨率的任何改进是有限的。 

发明目的 

本发明的目的是为了克服现有的plenoptic成像技术的不足，提供一种改进的用于将plenoptic光学设备进行图像合成的数字成像系统。进一步地，本发明的另一个目的是提供一种包括数字成像系统的光学设备。另外，本发明的目的是提供一种改进的以将数字成像系统收集的图像数据进行处理的图像数据处理方法。 

发明内容

上述这些发明目的可由包含独立权利要求全部特征的数字成像系统、光学设备和方法去实现。而从属权利要求进一步限定了本发明的优选的实施例和应用。 

根据本发明上述的一个发明目的，提供了一种用于将plenoptic光学设备进行图像合成的数字成像系统。该数字成像系统包括一个光电传感器阵列和一个微透镜阵列(第一微透镜阵列，主微透镜阵列)，该光电传感器阵列包括多个排列在预定的图像平面内的光电传感器，该微透镜阵列包括多个微透镜以引导物体发射出的光线射向该光电传感器阵列，且该微透镜阵列被设置在相对于该光电传感器阵列的预定的垂直距离处。因此，该数字成像系统组合了光电传感器阵列和微透镜阵列。在本发明中，所述微透镜阵列至少包括两种不同焦距的微透镜，而所述光电传感器件阵列的图像平面的设置，使光电传感器件阵列与微透镜阵列之间的 距离不等于微透镜的焦距。换句话说，所述微透镜阵列中的多个微透镜具有不同的焦距。所述微透镜阵列具有多组微透镜，每一组微透镜具有同一个焦距，且不同组的微透镜具有不同的焦距。另外，在本发明中，设置所述光电传感器件阵列的图像平面，使光电传感器件阵列与微透镜阵列之间的距离不等于微透镜的焦距。 

综合上述特征，本发明的数字成像系统还包括以下技术特征。首先，由于任一距离微透镜图像平面的微透镜的焦距的偏差的存在，与现有技术的plenoptic相机形成在有限距离上的虚像相比，可在距离微透镜的有限距离的图像平面上形成一个虚像。用于形象的微透镜具有有限的焦距。这种限制可通过带不同焦距的微透镜来克服，以覆盖更大的焦距范围。另外，由发明者首次公开的，相比现有技术的相机，提供了一种在有限距离的虚像成像的改进的方案。 

根据本发明的第二个发明目的，提供一种Plenppic光学设备，具体包括光学主透镜和如前述满足第一个发明目的数字成像系统。优选地，所述数字成像系统的微透镜阵列设于所述光学主透镜的聚焦线上，用于将物体发射的并透过光学主透镜的光线引导到所述光电传感器件阵列上；以及为了使一组光线透过所述光学主透镜的聚焦线的特定位置，设置多个光电传感器件以感应区分该组光线中同时以不同辐射角透过所述光学主透镜的聚焦线的特定位置的不同光线。根据本发明的一个特定优选实施例，本发明的Plenppic光学设备为相机设备(Plenppic相机)、扫描设备或显微镜设备。本发明是具体应用时，所述数字成像系统的微透镜阵列为一维或二维的微透镜阵列(线性阵列或矩阵阵列)。由于所述多个微透镜具有不同的焦距，带有本发明的数字成像系统的Plenppic相机也被称为多焦Plenppic相机(MFPC)。 

为了实现本发明的第三个发明目的，提供一种对如前述满足第一个发明目的所述的数字成像系统收集的图像数据进行图像数据处理的方法。该方法包括以下步骤：提供光电传感器件阵列收集的原始图像数据；提供一个预先设定的具有多个虚像点的虚像表面；其中，对于每一所述虚像点，选择一组微透镜，基于该组微透镜的焦距能够获得最大有效分辨率比以在光电传感器件阵列上形成虚像点，将所述虚像点投影到所述微透镜阵列平面上，探测出所选择的微透镜组的微图像，所述微图像影响虚像点的强度值，从原始图像数据中挑选原始图像点，所述原始图像数据影响虚像点的强度值，以及从原始图像点中探测出一个原始图像强 度的平均值。最后，生成一个包含每一虚像点的原始图像强度平均值的数字图像。 

具体地，以下对比指出Yi-Ren Ng和T odor Georgiev的plenoptic相机的不同之处。发明人已经指出，对比使用同种焦距的微透镜阵列，通过改变微透镜阵列中的微透镜焦距，能够在视差量损失的情况下提高整体的有效分辨率。该plenoptic相机的设计方法可以应用到具体的应用领域。本发明的绘制方法允许任意的虚焦表面的重建，并优选使其本身应用到高平行数据处理的执行中。 

对比传统的plenoptic相机，特别地，本发明的数字成像系统中，因为微透镜与图像平面之间的距离等于微透镜的焦距，以及计算出的图像的最大分辨率与微透镜阵列中的微透镜数量一致，因此本发明的数字成像系统具有以下优点。 

当本发明的数字成像系统中的多焦plenoptic相机相比于标准的plenoptic相机形成更低的角分辨率，该多焦plenoptic相机(MFPC)相比于保留计算潜力的标准plenoptic相机形成具有更高空间分辨率的图像。例如，在多焦plenoptic相机(MFPC)的一个实施例中，相比于没有微透镜阵列的标准plenoptic相机，能获得70倍高的分辨率和约6倍大的深度域。 

本发明的与标准的全光相机相比较大的有效分辨率使得MFPC在许多领域可用，比如，摄影，自动工业检查，3D摄影，3D视频和人脸识别。 

根据数字成像系统较优的实施方式，每个显微透镜的焦距从两个或三个不通的焦距选择。发明人已经发现，用两个或三个不通的焦距可以达到焦深的很好的提高，然而，角坐标分辨率仍然很好的适应标准相机，扫描机或显微镜应用。替换地，每个显微透镜的焦距可以从超过三个不同的焦距中选择。较优地，数字成像系统可以根据相应的操作条件优化，如得到焦深范围的已定的扩大。 

根据数据成像系统的进一步较优的实施方式，每个显微透镜的焦距不同于其每个最近的相邻的显微透镜的焦距。有利地，该实施方式在图像上形成角坐标分辨率的均匀分布。 

根据数据成像系统的特别较优的实施方式，显微透镜可以调节以使得到连续的焦距范围。第一，选择显微透镜以使每个显微透镜提供取决于各个显微透镜的焦距的有效的分辨率和从显微透镜阵列的深度距离，且，第二，选择显微透镜的焦距以使有效的分辨率在深度距离邻近的范围具有互补的极大值。显微透镜的这个调整(设计)基于如上所述的全光相机的光学性能的说明，其已经被发明人第一次提出。 

如果显微透镜设置为在不同焦距的显微透镜阵列中的多组具有相等焦距的显微透镜提供规则网格，可以得到数字图像系统的进一步改进。较优地，显微透镜设置为具有相等焦距的显微透镜提供直角的或六边形的网格，其在透镜的几何密度排列方面具有优势。 

根据数字成像系统的进一步较优的实施方式，所有具有共同的焦距的显微透镜具有相同的透镜直径。尤其较优的是其中所有显微透镜阵列的显微透镜具有相同直径的实施方式。用这些实施方式，形成在2维图像上提供具有相同的图像参数，如分辨率或对比的图像。 

典型地，显微透镜阵列固定地附着于光电传感器阵列，以便设定相对于光电传感器阵列的显微透镜阵列的已定的垂直距离。替换地，根据数字成像系统的另一个实施方式，光电传感器阵列和显微透镜阵列之间的距离可以通过数字成像系统的排列的控制调整。可以提供作为如照相机，扫描机或显微镜的一部分的控制排列包括光电传感器阵列和显微透镜阵列的可变的或固定的连接。 

本发明的数字成像系统的另一个修改以至少一个补充的显微透镜阵列如第二显微透镜阵列，包括多个为从物体到第一显微透镜阵列的指向光的显微透镜为特征。用该实施方式，可以扩展全光照相机的功能。 

根据本发明进一步较优的实施方式，数字成像系统提供有在电脑中设定为可编程的处理器，以提供图像数据，具有光在光电传感器阵列的不同光电传感器感应的功能的特征的合成图像，光电传感器相对于显微透镜阵列的位置和感应光的入射角。 

附图说明

下面参考附图进一步描述本发明的特征和优点。在图中： 

图1和图2为传统的不带微透镜阵列的标准相机的示例性示意图。 

图3和图4为本发明的一种多焦点plenoptic相机的示例性示意图。 

图5～图10为本发明基于的理论的示例性示意图。 

图11～图15为对比本发明和传统的相机的有效分辨率的图形表示。 

图16～图19分别进一步显示了本发明多焦点plenoptic相机的特征。 

图20～图27为微透镜阵列的示例性示意图。 

图28为显示了本发明的利用两个沿光轴排列的微透镜的plenoptic相机的示 例性例子。 

图29～图31为本发明图像数据处理方法的示例性示意图。 

具体实施方式

下面描述本发明数字成像系统和带数字成像系统的plenoptic相机的具体实施例。需要强调的是，本发明的实施并不局限于这些示例性例子，还可以包括其他的plenoptic光学设备，例如光学扫描设备或显微镜设备。当为光学扫描设备时，所述光电传感器阵列，通常为线性阵列，可被本发明的数字成像设备代替，尤其被光电传感器阵列和微透镜阵列的组合代替。在这种情况下，下面描述的plenoptic相机所提及到的主透镜可由光扫描器(圆柱形扫描透镜)提供。而应用到显微镜设备时，可将本发明的数字成像设备代替显微镜的光电传感器阵列。在这种情况下，该plenoptic相机里的主透镜所产生的虚像由光学显微镜形成。 

以下描述的光学设备的结构仅延伸至所涉及的本发明的特征，而光学设备，如相机、扫描设备或显微镜设备等其他的光学上或结构上的特征而由现有技术得知，在此省略描述。 

以下描述的本发明的优选实施例中优选为二维光电传感器阵列(矩阵阵列)。但需要强调的是，本发明的实施并不局限于这些结构，还可以实施于一维光电传感器阵列(线性阵列)的对应方式中。线性传感器包括单行光电传感器或多行光电传感器以收集图像的不同颜色强度，可视为矩阵或线性阵列。 

1.标准相机的成像

在讨论MFPC的概念前，首先介绍标准相机的图像形成过程。图1显示了标准的相机的基本构成。主透镜110将其右边的物体130发射的或反射的光线集中到其左边的一个表面上，该光线可作为虚像131。由于该物体130沿光轴111变化，所述虚像131不是位于与光轴垂直的平面上。相关的图像在给定的时间内通过时空结合经平面120上的光电传感器测量的光照强度而形成，因此该光电传感器平面120垂直光轴。在这些相关的图像中，物体位于或靠近该光电传感器平面120的部分才显示清晰。也就是说，虚像131与光电传感器平面120的交集为光学焦点图像。为了最佳地将物体130的不同部分(发射的或反射的光线)集中到光电传感器平面120上，主透镜110必须沿着如图中所示的箭头112方向的光轴 方向进行移动。 

图2显示了上述标准相机的光学原理。在讨论带显微透镜的相机结构前，参考如图2所示的简单的标准相机结构是有帮助的。主透镜110通过将其右边的物体130上的一点发射出的不同光线集中到其左边的单个点上，从而形成其右边的物体130上的该点的图像。实际上，所述光纤并非集中到一个点上，但具有光强分布，且该光强分布依据整个图像系统。这个光强分布通常被称为点扩散函数(PSF)。点扩散函数的空间程度的最佳近似值可由以下公式获得： 

s_λ：＝λF，    (1) 

其中，λ为光的波长，F为能够进入图像系统的光线数量的计算单位。F被称为焦距比数，可限定为： 

$F:=\frac{B_L}{D_L}.---\left(2\right)$

物体与预设的透镜平面的距离为a_L，而距离该物体且沿着光轴的位置b_L可根据薄透镜等式计算出： 

$\frac{1}{l_L}=\frac{1}{a_L}+\frac{1}{b_L}.---\left(3\right)$

如果，如图2所示，最佳像面I₁与图像平面I₀不一致，只要发散的投射光线到图像平面上分散成多个像素，物体会变得模糊。这意味着标准的相机只能最佳地集中物体空间的单个平面到其图像平面上。一种提高物体空间范围以形成聚焦图像的方法，是减少照相机光圈的尺寸，其后投射的光线从最佳焦距平面更慢地发散。限定将照相机光圈的尺寸减少到单个点，这样整个物体空间可以准确对焦，但也仍有大量进入相机的光线是极微弱的。在标准的摄像机中，需要在域深度和相机速度之间建立一个合适的中间物，即适当尺寸的照相机光圈。 

2.本发明多焦点plenoptic相机的成像

图3显示了一种具有本发明数字成像设备200的多焦点plenoptic相机100的基本结构。一个由多个微透镜222构成的微透镜阵列221设于光电传感器阵列的平面220的前方。所选择的微透镜的直径大于一个光电传感器的直径，这样每一微透镜能够在多个光电传感器上形成一个图像。该光电传感器阵列为CCD矩阵或包括如12,000,000个光电传感器的线性阵列。该微透镜阵列221包括如47,604个微透镜，且每一个微透镜的直径为153μm以及焦距选择为，例如526μm， 567μm和616μm。所有的显微镜具有相同的直径，例如153μm。微透镜阵列221与光电传感器阵列为，例如765μm。由显微镜在光电传感器平面上形成的图像为微图像。每一个微图像由，如17个光电传感器构成。邻近的微透镜形成的微图像会重叠。该微透镜可以由透明玻璃或塑料制成并固定贴在光电传感器上，这可从传统的plenoptic相机中得知。例如机械框架的厚度构成微透镜阵列221与光电传感器阵列之间的距离。 

主透镜210形成物体230的虚像231。微透镜阵列221的微透镜作为小相机以记录虚像的不同视图。该多个不同的微图像可用于计算模拟一个虚像平面232，以使聚焦成部分所述虚像的相关图像与该虚像平面相交。为了将物体230的不同部分实现聚焦，只有使该虚像平面沿着如图指示的光轴方向211移动。一旦完成计算，图像被记录后会被再聚焦。另外，该虚像平面232的形式并没限制，也可模拟出一个任意形状的虚像表面以代替该虚像平面232。这样，就可以，例如用于将物体的所有部分都聚焦到相关图像中。 

由于微透镜具有一个有限的深度域，只有有限范围的虚像空间能够聚焦到光电传感器平面上。因此需要使用不同焦距的微透镜以扩展整个成像系统的深度域。每一组具有特定焦距的微透镜将不同深度范围的虚像聚焦到光电传感器平面上。在一个实施例中，与使用带同种微透镜的微透镜阵列相比，使用带三种不同焦距类型的微透镜的微透镜阵列，可获得6倍大的深度域。 

虽然图3显示的虚像位于微透镜阵列和主透镜之间，该虚像也可以位于微透镜阵列上或其左边。部分虚像空间被微透镜聚焦，依赖于其本身的焦距以及沿着光轴上的微透镜阵列的位置。这种设计决策依赖于应用本身。 

图4显示出本发明plenoptic相机的光学原理。主透镜311形成物体340的虚像341。该虚像形成于主透镜311左边的某位置上。该图像为虚拟的，因此不会在光感应器件平面上成形。该虚像需用通过微透镜阵列322的微透镜而被放映在光感应器件平面330(图像平面)上。请注意，微透镜阵列322与光感应器件平面330之间的距离并不等于微透镜的焦距。另外，只有显示出主要的发射光线穿过透镜中心。实际上受透镜影响的还有大量的光线。还要注意的是，一般来说要使用比图4所示的三个微透镜要多的微透镜，且每个微透镜具有不同的焦距。这种图示仅仅是为了显示清晰。图下方显示出当这种结构在每一特定目标距离降低有效分辨率时，有效分辨率延伸到更大的范围，从而使相比标准相机的光圈延 伸至更大的深度域。 

物体340发射出的光被聚焦到虚像341上。微透镜可能不一定能够最佳地将虚像聚焦到光传感器件平面330上。可以将最佳聚焦图像平面342代替微透镜设于距光传感器件平面一定距离的位置上。这由微透镜的焦距f、虚像与微透镜阵列之间的距离决定。通过使用带不同焦距的微透镜的微透镜阵列，不同距离的虚像也可以被同时聚焦到光传感器件平面上。 

本发明的数字成像系统，利用plenoptic相机记录的数据合成图像，包括具有多个光电传感器件的光电传感器阵列或矩阵；光学装置，具体包括主透镜311和至少排列在主透镜311的聚焦线上的微透镜机构322，以将物体发射出的光线引导到光电传感器列或矩阵上，从而为每一微透镜形成一个微图像343；控制装置(图4未示)，具体用于在光电传感器阵列和微透镜机构之间建立一个相对距离。其中，为了使一组光线通过主透镜311的焦线的特定部分，设置多个光电传感器件在一个图像平面330上以感应同时到达主透镜311的焦线的特定部分的光线组中的不同光线，以及将描述感应到的光线特征的光数据输出；还包括带计算机程序的数据处理器，用于随着不同光电传感器件感应到的光线，而提供描述合成图像特征的图像数据，光电传感器件的位置与微透镜机构322有关，而感应到的光线的入射角与主透镜311的焦线有关，其中，每一个至少为一维结构的微透镜的焦距都各不相同。 

焦距比数

MFPC设计上的一个重要限制为：微图像不应该与光电传感器件平面重叠。光电传感器件上的如有两个或以上的微透镜图像重叠，那么这些光电传感器件不能用于计算相关图像的计算结构。为了确保微图像具有最大的尺寸而不会导致重叠，至少使微透镜和主透镜的焦距比数逼近相等。 

在一列紧密排列的微透镜中，这意味着，微透镜的图像尺寸必须小于或等同于微透镜的直径D。也就是说， 

$\frac{B}{D}=\frac{B_L-B}{D_L}\⇐F=F_L-\frac{B}{D_L},---\left(4\right)$

其中，F为微透镜的焦距比数，F1为主透镜的焦距比数。一般地，由于B＜＜D_L，从而F≈F1。这样，主透镜成像系统和微透镜成像系统的焦距比数逼近能够一致。基于给定的B、B_L和D_L，可得最大的微透镜直径为： 

$D=\frac{B{D}_L}{B_L-B}.---\left(5\right)$

同样地， 

$B=\frac{D{B}_L}{D_L-D}.---\left(6\right)$

参考图5，主透镜的焦距比数为F_L＝B_L/D_L，而微透镜的焦距比数为F＝B/D。一般地，由于B_L＞＞B且D_L＞＞D，如果F＝F_L，则微图像422为最大尺寸且不会重叠。 

多样性，全覆盖平面

如图5和图6所示，另一个重要的概念为全覆盖平面430。图5所示的通过微透镜中心的中心射线为相应的微图像的边界射线。例如，微透镜421只将那些位于极限反射光线423、424之间的虚像反射点反射到微图像上。因此，全覆盖平面430作为微透镜平面420的右边的左全平面，且平面上的每一点至少被一个微透镜反射。同样，反射到微透镜平面420的左边的右全平面也是一个全覆盖平面。图5所示的是与光电传感器件平面相同的左全覆盖平面。同样，一个双重覆盖平面431作为微透镜平面420的右边的左全平面，且平面上的每一点至少被两个微透镜反射。 

图6进一步描述了全覆盖平面的概念。透镜上可见测试点数量由图6所示的测试点与微透镜平面之间的沿光轴方向距离决定。平面M1为右全覆盖界限，这意味着，到达平面M1的或平面M1的右边上的所有点具有一个至少带一个微图像的图像。同为图像平面的平面M_-1为左全覆盖界限，这意味着，到达平面M_-1的或平面M_-1的左边上的所有点具有一个至少带一个微图像的图像M_-1。平面M₂(M_-2)为双重覆盖界限，这意味着，到达平面M₂(M_-2)的或平面的右边(左边)上的所有点具有一个至少带两个微图像的图像。 

图6清楚显示出当中心透镜移开时，全覆盖界限为M₂和M_-2。值得注意的是，当中心透镜移开时，并不影响将全覆盖界限平面外的点形成一个图像。减少的是潜在的视差数量，后面会具体描述。 

对于距离微透镜平面为a的微透镜队列1D，多样性M可定义为：M＝|a|/B。对于微透镜阵列2D，在计算M的公式中，需要考虑额外的因素，例如由于通过圆圈镶嵌而成的平面导致出现的差距。在2D中存在的仅仅两个对称的镶嵌为图7所示的矩形和图8所示的六边形。两者的符号R均指示出平面上的一点到离它周 围最近的微透镜中心的最大距离。在矩形的情况下，可表示为： 

$R_o=\frac{D}{\sqrt{2}}.---\left(7\right)$

而在六边形的情况下，可表示为： 

$R_h=\frac{D}{2}\sqrt{1+{\tan }^2(\mathrm{\π}/6)}.---\left(8\right)$

在1D的情况下，距离最近的微透镜中心的最大隔离点包括到微透镜中心为D/2的距离。R与这个值的比率称为分布比，用符号K表示，也就是： 

$k:=\frac{2R}{D}.---\left(9\right)$

因此， 

$k_o=\sqrt{2}\≈1.41,$ $k_h=\sqrt{1+{\tan }^2(\mathrm{\π}/6)}\≈1.15.---\left(10\right)$

因此与微透镜平面的距离a的多样性M为： 

$M=\frac{\left|a\right|}{\mathrm{\κB}}.---\left(11\right)$

由于|a|＝KBM，更小的分布比K是更合适的。因此矩形微透镜阵列比六边形微透镜阵列更优选。 

如果1D阵列里的微透镜并非紧密结合，但每两个微透镜中心之间具有一个距离C，那么全覆盖界限平面与微透镜平面的距离V1与其关系为： 

$\frac{B}{D/2}=\frac{B+v_1}{D/2+C/2}\⇐v_1=B\frac{C}{D}=\mathrm{\γB},---\left(12\right)$

其中，γ：＝C/D表示为微透镜大小与间距之间的比率。对于2D的微透镜阵列，多样性M的全覆盖平面的距离为： 

v_M＝κγBM.    (13) 

因此与微透镜平面的距离a的多样性M为： 

$M=\frac{\left|a\right|}{\mathrm{\κ\γB}}.---\left(14\right)$

当图6所示的中心透镜被移走时，相邻透镜之间的距离为双倍，即γ＝2。因此，在同样的距离a时，这种情况下的多样性M的值仅为透镜紧密结合情况下的一半。 

视差量 

在一个平面上，需要其每个微图像的多样性M仅为1/M以在没有裂口的整个平面上形成图像。例如，在M＝2的情况下，每个微图像只需要一半的M值即可形成一个完整的图像，这暗示，可以形成两个完全不同的完整的图像。带来明显观点改变的效果。基于这种效果，关于屏幕的3D信息能够被覆盖，就好像一个标准的立体相机系统。两极限视图之间的图像平面上的视差量为： 

$\mathrm{\Δ}=D(1-\max [\frac{1}{M},\frac{1}{N}\left]\right),---\left(15\right)$

其中，N＝D/p为微透镜尺寸D与像素尺寸p的比值，而视差角度值为： 

${\mathrm{\Δ}}_{\mathrm{\α}}=2{\tan }^{-1}\left(\frac{\mathrm{\Δ}}{2B}\right),---\left(16\right)$

其中，符号B再次表示为微透镜阵列与图像平面之间的距离。进一步地，相关的视差角度为： 

${\mathrm{\Δ}}_r:=\frac{\mathrm{\Δ}}{D}=1-\max [\frac{1}{M},\frac{1}{N}].---\left(17\right)$

参考图6，显示了当中心透镜被移走时，在一些位置a上的多样性减少，从而视差角度也减少。 

公式14可以代替到公式15中的Δ，得： 

$\mathrm{\Δ}=D(1-\max [\frac{\mathrm{\κ\γB}}{\left|a\right|},\frac{1}{N}).---\left(18\right)$

同样，相关的视差角度为： 

${\mathrm{\Δ}}_r=1-\max [\frac{\mathrm{\κ\γB}}{\left|a\right|},\frac{1}{N}].---\left(19\right)$

注意，关于Δ，Δ_r和Δ_α的公式中只有当|a|≥v₁时才成立。当视差角度为最大时，距离微透镜平面最大的距离为： 

$l_{\max }=\mathrm{\κ\γBN}=\mathrm{\κ\γ}\frac{\mathrm{BD}}{p}.---\left(20\right)$

有效分辨率 

用多焦plenoptic相机的有效分辨率来指图像的最大分辨率，该图像的最大 分辨率能够通过MFPC形成的原始图像数据和通过视图的纯几何点而计算生成。而生成的图像的分辨率可以通过适合的图像增强算法而被提高。 

图4所示的MFPC有效分辨率决定于虚像341与微透镜平面322之间的距离，微透镜的深度域以及光电传感器件平面330的分辨率。一般说来，MFPC有效分辨率随着虚像空间而改变。 

微透镜的深度域决定于以下几方面：首先考虑到图9所示的被单个微透镜510投影的虚像点Xo。特别地，当点Xo的最佳聚焦图像Yo无法显示在图像平面I上时，图9显示了点Xo在图像平面I上的斑点。这种现象就如同带特定分隔物体a时的相机的有效分辨率。 

只有从点Xo发射出并位于光线521和522之间的光线能够被微透镜改变方向，因此所有的光线在点Yo上汇合，即Yo是Xo的图像。点Yo到微透镜平面511的距离b能够根据点X0到微透镜511的距离和微透镜的焦距计算得到，因为理想的透镜公式为： 

1/f＝1/a+1/b    (21) 

如果微透镜平面511与光电传感器件平面530之间的距离B不同于距离b，那么从点X0发射出的光线不会在光电传感器件平面汇合成一点。相反，光线发散成如图9所示的直径为s的斑点。假设光电传感器件平面是由多个边长为p的正方形光电传感器件组成，那么微透镜的分辨率比为： 

${\∈}_L=\frac{p}{\max \left[\right|s|,p]}---\left(22\right)$

例如，如果s为边长p的两倍，那么 

各个值如s、B、b和D之间的关系为：b/D＝(B-b)/s。借助公式21，可得： 

$s=D(B(\frac{1}{f}-\frac{1}{a})-1).---\left(23\right)$

如图9所示，当两相邻虚像点X0和Xi的光点中心之间的距离为s时，两相邻虚像点X0和Xi的光点能显示并区分于光电传感器件平面530上。因此，靠近虚像点X0并从点X0上区分开来的就是虚像点Xi。因此，当通过微透镜510反射到与其距离为a的光电传感器件平面530上时仍然能够被区分开来时，虚像点X0和Xi之间的距离s_a为整个虚像空间的最大距离。 

plenoptic相机与多焦plenoptic相机的有效分辨率比(ERR)由最小尺寸虚像结构与微透镜平面的距离a和正方形光电传感器件的边长p之间的比值决定， 该有效分辨率比(ERR)用符号∈(a)表示为： 

$\∈\left(a\right)=\frac{p}{\left|s_a\right|}=\frac{B}{\left|a\right|}{\∈}_L\left(a\right).---\left(24\right)$

将光电传感器件平面上的同种尺寸的光电传感器件的总共数量表示为Nt，那么该尺寸形成的图像的最大数量表示： 

N_s(a)＝N_t∈(a).    (25) 

因此，垂直于光轴并距离微透镜平面a位置上的虚像平面生成的图像包括最大的像素’N_e(a)²，即plenoptic相机的有效分辨率为’N_e(a)²。 

参考图9，利用相似三角形原理，s和a之间的关系可表示为： 

$\frac{b}{D}=\frac{B-b}{s}$

$\⇔s=D\frac{B-b}{b}=D(\frac{B}{b}-1)$

$\⇔s=D(B(\frac{1}{f}-\frac{1}{a})-1).---\left(26\right)$

因此单个透镜的有效分辨率比(ERR)的可用符号ε_L表示为： 

${\mathrm{\ϵ}}_L\left(a\right):=\frac{p}{\max \left[\right[D(B(\frac{1}{f}-\frac{1}{a})-1)|.p]}.---\left(27\right)$

也可以表示为： 

${\mathrm{\ϵ}}_L\left(a\right):=\frac{1}{\max \left[\right|N(B(\frac{1}{f}-\frac{1}{a})-1)|.1]},---\left(28\right)$

其中，N＝D/p为每一个微透镜的像素量。 

注意的是，由于衍射的原因，公式27并不能解释斑点效果的原因。而决定于公式1给出的光波长和光圈大小。 

参考图4，如果主透镜的虚像位于微透镜平面的左边，plenoptic相机的有效分辨率的生成也有效。图10显示了这种情况下的单个微透镜610。光线的方向如如620所指示。如果主透镜(图中未示)在点X0上生成了一个虚像，那么微透镜对应在Y0上形成X0的最佳聚焦图像。公式21到公式25显示了这种情况并将-a代替其中的a.

前面已经提及到传统的plenoptic相机的特征，例如，参考国际申请专利WO2006/039486 A2公开了微透镜与光电传感器件平面之间的距离B等于微透镜的焦距。在f＝B的情况下，公式22中的分辨率比则变为： 

${\∈}_L\left(a\right)=\min [\frac{p\left|a\right|}{\mathrm{DB}},1].---\left(29\right)$

从而有效分辨率比为： 

$\∈\left(a\right)=\min [\frac{p}{D},\frac{B}{\left|a\right|}].---\left(30\right)$

也就是，当 

时，∈＝p/D。现在，N：＝D/p表示为形成每一种同尺寸的微图像的光电传感器件的数量，而N_L：＝N_t/N则表示为形成该尺寸的微透镜数量。因此形成同种尺寸的图像的最大像素量为： 

$N_B=N_t\∈=\frac{N_t}{N}=N_L---\left(31\right)$

因此传统的plenoptic相机形成的图像的最大像素量等于微透镜阵列的微透镜数量。 

图11显示了有效分辨率比(ERR)的一个示例性例子，其中B，D和f的值固定，而像素大小假定为D/20。点X0为光焦点的位置，而DoF指示为深度域，其中模糊区域小于或等于像素大小。 

上述的方法理论也可应用到传统的plenoptic相机中，如图12和13所示。利用该方法理论在特定情况下通过改变微透镜阵列的焦距，可带来新的发现，plenoptic相机的综合有效分辨率会得到提高。在传统的plenoptic相机设计中(如WO 2007/092581 A2)，微透镜的焦距设置为等同于微透镜平面与图像平面之间的距离，即B＝f。当B＝f时，公式28可变为： 

${\mathrm{\ϵ}}_L\left(a\right)=\frac{1}{\max \left[\right|N(B(\frac{1}{B}-\frac{1}{a})-1)|.1]}=\min [\frac{\left|a\right|}{\mathrm{NB}},1].---\left(32\right)$

因此，plenoptic相机的有效分辨率比为： 

$\mathrm{\ϵ}\left(a\right)=\frac{B}{\left|a\right|}{\mathrm{\ϵ}}_L\left(a\right)=\min [\frac{1}{N},\frac{B}{\left|a\right|}].---\left(33\right)$

也就是，与微透镜平面的所有距离a为|a|≤NB时，有效分辨率比(ERR)保持不变且为1/N。在这种情况下，公式25显示的有效分辨率变为： 

$N_B=N_t\mathrm{\ϵ}\left(a\right)=\frac{N_t}{N}=:N_L,---\left(34\right)$

其中，N_L为微透镜阵列中同种尺寸的微透镜数量。相关的文献已经记录这是 准确的，即标准的plenoptic相机的分辨率为微透镜阵列中的透镜数量。图12显示这种结构下的有效分辨率比和视差量。包括图13所示的A.Lumsdaine和T.Georgiev的聚焦plenoptic相机(参考，例如美国申请专利US 2009/0041448 A1)的有效分辨率比(ERR)。 

图14显示了执行下列情况时，MFPC的有效分辨率比(ERR)和传统plenoptic相机的有效分辨率比(ERR)之间的不同：焦距比数F＝5，光电传感器件的边长为p＝0.009mm以及微透镜的直径D＝0.153mm，从而得到的执行结果为：形成每一微图像的光电传感器件数量N＝17，以及光电传感器件平面710和微透镜阵列平面711之间的间隔为B＝0.765mm。对于这种结构的传统的plenoptic相机，所有微透镜的焦距设置为等于B。相应地，分别对应于a的有效分辨率比如曲线730所示。 

相反地，本发明的多焦plenoptic相机具有三个有效分辨率比，每一个对应一种类型或一种焦距的微透镜。该实施例中所使用的三种焦距为f1＝0.526mm，f2＝0.567mm以及f3＝0.616mm，分别对应于曲线731，732和733。这显示了MFPC能够相对传统的plenoptic相机在更大深度范围内提供更高的分辨率。 

图14所示的有效分辨率比曲线只显示了全覆盖界限平面的外部，因为在左全覆盖平面722和右全覆盖平面720之间无法构建完整的生成图像。图14所示的全覆盖界限平面与那些多焦plenoptic相机一致。一般地，不同类型的微透镜的焦距能够根据实际的应用调整，以提供最佳的分辨率。 

作为进一步的例子，图15显示了带三种不同类型的微透镜的双重深度多焦plenoptic相机的有效分辨率比。I表示为图像平面，L为微透镜平面。ε₁，ε₂和ε₃表示为三种不同类型的微透镜的有效分辨率比，相应地，Δr为相关的视差量。图15显示了多焦plenoptic相机的有效分辨率比和视差量具有延伸的高有效分辨率区域，其位于图像平面的前后。这带来的效果是，平面上V1方向的和平面上-V1方向的元件能够通过高有效分辨率而重建。这样，例如，能够用于当两个位于不同深度上的平行的平面需要同时被聚焦。 

注意理论中，为了使用不同的微透镜，需要增加不同焦距微透镜的数量。而且使用焦距几乎连续分布的微透镜阵列能够提高plenoptic相机的整体性能。 

全覆盖界限

左全覆盖平面和右全覆盖平面给出了一个界限，在该界限内一个完整的生成图像能够计算生成。参考如图14所示的示例，当虚像空间与微透镜阵列之间的距离a满足条件|a|≥C1，虚像空间上的所有点均能够被计算生成一个生成图像。由于公式7给定的最大有效分辨率比∈(a)随着1/|a|改变，因此微透镜阵列平面与全覆盖平面之间的距离越大，最大可实现的有效分辨率则越小。因此在MFPC设计中，增大微透镜阵列平面与全覆盖平面之间的距离Ci很有必要。 

在图5所示的情况下，即带相同焦距的同种尺寸微透镜阵列(线性阵列)和微图像紧密结合(接触但不重叠)时，Ci的值等于微透镜阵列平面420与光电传感器件平面440之间的距离B。从而双重覆盖平面的距离C2为：C2＝2Ci。 

生成图像的最大可实现的有效分辨率与全覆盖界限有关。当一种类型的微透镜的焦距f选择为全覆盖平面上的|s|≤p，则有效分辨率最大，即|a|＝C1。然后，从公式22可得∈_L＝1，从而得∈(c₁)＝B/c₁。假定c₁＝γB，其中γ为全覆盖因子，那么得∈(c₁)＝1/γ。因此，对于一个正方形的光电传感器件阵列，带有总数量为N_t ²的光电传感器件，最大可实现的有效分辨率为： 

${N_B}^2\left(c_1\right)=\frac{1}{{\mathrm{\γ}}^2}{N_t}^2---\left(35\right)$

这显示了全覆盖因子γ越小，最大可实现的有效分辨率越大。 

对于一个双尺寸的微透镜阵列，由圆形的微透镜组成而在微透镜之间形成的间隙，会影响到Ci值的计算。图16显示了MFPC的带圆形微透镜的微透镜阵列的结构，其中该微透镜阵列带有三种不同焦距，以影响到Ci值。该三种不同类型的微透镜821，822和823依次排列在一个六角形网架上，从而使相邻的任意两个微透镜不为同一个类型。 

如图14所示，每一种类型的微透镜包含虚像空间内的一个特定深度。因此，形成一个图像的每一同类型的子微透镜对利于另一种类型的微透镜。图17显示了如图16所示的全微透镜阵列的第一种类型的子阵列微透镜。每一微透镜921具有其相应的微图像922。这种结构的微图像不再紧密结合。 

图18所示的促成形成微透镜1021的微图像1022的虚图像空间的子空间，其位于微反射圆锥体1023内。全覆盖平面为垂直于光轴1030并靠近微透镜阵列平面1020的平面，这样微反射圆锥体1023覆盖整个全覆盖平面且不会形成间隙。图18所示的微反射圆锥体1023从全覆盖平面中延伸出来。如果用符号B再次 表示为光电传感器件平面1010与微透镜阵列1020之间的距离，那么这个微透镜结构中的微透镜阵列1020与全覆盖平面之间的距离C1为：C1＝2B，即γ＝2。这是具有三种不同类型微透镜的微透镜阵列的最小值C1。 

图19显示了另一个微透镜结构，具有多列带不同焦距的圆柱形微透镜。在同列同种类型的微透镜中的全覆盖因子γ＝1，而垂直于微透镜列的全覆盖因子γ＝3。 

一般地，只要MFPC中的微透镜阵列的各种微透镜的微图像不重叠，它们可为任何形式和形状。例如，它们可能为平凸的、双凸的、平凹的、双凹的、凹凸的或者这些的结合。另外，微透镜平面的微透镜的形状可为圆形的、椭圆形的、方形的或一些不规则不对称的图形。微透镜表面的形状为球面或非球面。每一微透镜可替代为微透镜系统，以提高成像系统的光学性能。这样的微透镜系统的元件之间的距离也可以保持变化的，例如，当保持微图像紧密结合时也允许主透镜的焦距比数为可变的。 

微透镜阵列结构

前面意见描述到，当从阵列中一处一个微透镜时，只会推出全覆盖平面和减少离微透镜平面特定距离位置上的视差量。然而，这不会减少特定位置上的有效分辨率。本文引入的这种基础新概念，能够使plenoptic相机的设计提高性能，就像一个延伸的深度域。 

图20和图21分别显示了正交的和多边形的微透镜阵列中的第一种和第二种类型的微透镜结构。第一种和第二种类型的微透镜的不同仅在于他们的焦距，而其他因素不发生变化。在带这两种不同类型的透镜的多焦plenoptic相机中，间隔因子K和间隔比y是一样的，均为κγ＝2，可参考图22和图23。 

如果，正交的和多边形的微透镜阵列中均混合了三种不同类型的微透镜，如图24(同时参考图26中的1110)和图25所示(同时参考图27中的1210)。在这带三种不同类型的透镜的多焦plenoptic相机中，间隔因子K和间隔比y在直角的和多边形的微透镜阵列中是不一样的。 

在直角的情况下： 

$\mathrm{\κ\γ}=2\sqrt{2}\frac{5}{6}\≈2.36,$

同时，在多边形情况下： 

κγ＝2. 

图24和图25分别显示了这两种情况。因此，在多边形微透镜阵列中，全覆盖平面与微透镜平面之间的距离相等，无论其使用的是两种或三种类型的微透镜。从而利用三种不同类型的微透镜是有利的。 

一般地，MFPC可以被设计为带任何数量的不同类型的微透镜。 

图26显示了微透镜结构的一些例子，具体显示了不同类型微透镜的相应数量的最小值C1。这种结构的每一特定类型的微透镜的子阵列固定不变且具有相同的γ值。 

结构1110：3种类型的微透镜且γ＝2。 

结构1120：4种类型的微透镜且γ＝1+1/cos(π/6)≈2.15。 

结构1130：9种类型的微透镜且γ＝1+3/[2cos(π/6)]≈2.73。 

结构11410：12种类型的微透镜且γ＝3。 

优选地，这些不同类型的微透镜的规则网格结构中，同种类型的微透镜的子阵列构成规则六边形网格。如果每种类型的微透镜只能够覆盖虚像空间的一个小小的深度范围，例如，类似小光电传感器件的情况下，使用具有大量不同类型微透镜的微透镜阵列能更令人满意。 

根据实际使用时，使用带同种类型的微透镜的不规则结构也是可取的。图27显示了一些带不同类型的微透镜的不规则结构的具体例子，其中： 

结构1210：带3种类型的微透镜的正交网格。 

结构1220：带2种类型的微透镜的多边网格。 

结构1230：带3种类型的微透镜的多边网格。 

结构1240：带2种类型的微透镜的多边网格。 

在结构1230中，第一种类型的微透镜集中于中心位置而第二种类型的微透镜环绕中心位置形成一个环形。而第三种类型的微透镜再次环绕在第二种类型的微透镜外以形成一个环形。在这种方式下，每一种相同类型的微透镜组，能够为虚像空间的特定部分生成一个高立体分辨率的生成图像。 

在结构1240中，第一种类型的微透镜的密集度低于第二种类型的微透镜的密集度。在这种特定情况下，第一种类型的微透镜的全覆盖因子为：γ＝1+tan(π/3)≈2.73；而第二种类型的微透镜的全覆盖因子为：γ＝2。 

多透镜阵列的PlenoDtic相机

多焦Plenoptic相机中，除了可以使用单一微透镜阵列外，还可以延伸到使用至于光轴方向上的多个微透镜阵列。图28显示了这种带有两个微透镜阵列的示例性例子。在这里例子中，包含了两个微透镜阵列，每个微透镜阵列包括两面凸的的微透镜，其中，第一微透镜阵列的微透镜直径小于第二微透镜阵列的微透镜直径，且第一微透镜阵列的每一微透镜周围设置一个不透明的光圈。一般的，带合适微透镜阵列的任何透镜类型组合都是可能的，且可扩展Plenoptic相机的功能性。 

图28所示的结构中，微透镜阵列2和图像平面之间的间隔B，以及两个微透镜阵列之间的距离d根据合适的机构结构的不同而不同。通过改变合适结构中格的B和d，可以保证形成直径D2不变的微图像，并可改变主透镜系统的焦距比数。在这种方式下，当使用变化的焦距比数的变焦距透镜，或使用带变化的焦距比数和不变的焦距的微透镜时，透镜阵列的plenoptic相机也能获得不变的有效分辨率。 

对于本技术领域的人员来说，基于图28所示的基本实施例，很容易扩展到更多的带不同类型的微透镜阵列组合，并实现相同的效果。例如，可作为不同类型的另一个实施例，将多透镜阵列plenoptic相机使用每一个焦距都不相同的微透镜。 

3.图像绘制

为了演示垂直于光轴的图像平面上的一个位置(x，y)上的强度值(颜色值)，其中该图像平面置于沿光轴方向并与微透镜平面距离为z的位置上，提供以下的步骤说明： 

1.选择能够汇合成点(x，y)的微透镜。这些微透镜的中心均位于在微透镜平面上的正交投影(x，y)的圆半径r内，其中半径 

2.对于每一微透镜，计算每一个微透镜投影到点(x，y，z)的图像平面上的虚像位置。 

3.最终的强度值为上述步骤中计算出的图像平面的像素位置上的平均强度值。平均强度值可以通过补充校准数据到形成投影点(x，y，z)的每一像素位置上减少小的值以计算得到。 

这种方法允许在任意表面而非只有平面上重建图像。这尤其适用于任何地方的需要聚焦的曲面上。通过改变绘制点的步长大小和超级采样，轻易获得理想的分辨率。 

上述步骤概括了本发明的多焦plenoptic相机的图像演示方法。在选择用于估计一个点的强度值的微透镜时，需要考虑该点与微透镜平面之间的距离。对于每一种距离，均由一种微透镜能够最佳评估颜色值。将本发明的图像绘制方法应用于一维或二维为透镜阵列结构和光电传感器件阵列结合将一组光线合成一个图像的应用中，具体包括如下步骤： 

-将透过主透镜的一组光线聚集并通过光电传感器件阵列将描述该组光线特征的光数据输出； 

-该组光线被位于主透镜和光电传感器件阵列之间的微透镜阵列引导； 

-将光电传感器件阵列设于与微透镜阵列相关的一定位置上，以利于通过该光电传感器件阵列收集的光线的特征方向上的选择探测；以及 

-利用图像数据处理机将作为主透镜的排列和相关位置的功能的光数据合成再聚焦图像，其中，合成的再聚集图像表示了通过光电传感器件阵列的该组光线的实际上改变的方向，其中 

-选择的能够汇合成点(x，y)的一组微透镜中，这些微透镜的中心均位于在微透镜平面上的正交投影(x，y)的圆半径r内，其中半径r为： 

对于每一个所述微透镜，可计算出通过每一个微透镜投影到点(x，y)的图像平面上的作为虚像的像素位置。 

进一步地，利用数字成像方法将一组光线合成图像还需要额外的步骤，以获得作为基于前述步骤计算出的图像平面的像素位置上的平均强度值的最终颜色值。 

利用任何数字成像方法将一组光线合成图像，可以通过补充校准数据到形成投影点(x，y，z)的每一像素位置上减少小的强度值以计算得到。 

优选实施例特征

图29显示当用显微透镜排列如图26所示的配置，MFPC的光电传感器板上创建的原始图像的示例。成像的物体只是最佳地对准三种显微透镜中的一种的焦点。为了从这种原始图像产生合成的数字图像，采用以下图像绘制算法来处理从 光电传感器阵列读取的原始图像数据。图像绘制方法的细节在下面有关图30和图31的流程图中描述。 

图29显示当用显微透镜排列如图26所示的配置，MFPC的光电传感器板上创建的原始图像的示例。成像的物体只是最佳地对准三种显微透镜中的一种的焦点。为了从这种原始图像产生合成的数字图像，采用以下图像绘制算法来处理从光电传感器阵列读取的原始图像数据。图像绘制方法的细节在下面有关图30和图31的流程图中描述。 

S1.通过在虚像空间坐标系平行于成像系统的光轴并定义焦深的Z轴向分量选择虚像表面(1530)。虚像表面(1530)是所示的弯曲表面或任意形状的表面或平面。可以这样选择虚像表面以致其具有如特定类型的已知物体的相同形状，由此如果成像物体没有偏离已知的形状，合成的图像在每处都是对准焦点的。例如，如果发明的全光相机用于成像特定的物体，例如，在为监控圆柱形产品的制造过程中，选择的虚像表面与物体的表面匹配，且比如选择了圆柱形虚像表面。 

把虚像表面(1530)分成一组不一定有规律分布的虚像点。这组虚像点形成合成的图像。 

S2.选择第一/进一步的虚像点。为每个虚像点做如下步骤： 

S3.为选择在虚像点的Z值具有最大有效分辨率的虚像点(1531)，选择特定类型的显微透镜(显微透镜组具有共同的焦距)子阵列的显微透镜。比如，图30的Z轴是图14的水平轴。所以，在图7的显微透镜配置示例中，在Z＝3mm最好的显微透镜类型是类型2。 

S4.将虚像点(1531)投射到显微透镜阵列板(1520)上，设定为位于Z＝0。 

S5.可以有助于虚像点的亮度值的微图像是那些其相应的微投射视锥细胞包含虚像点(1531)的微图像。所有那些其中心位于围绕投射虚像点(1532)半径为Rmax的圆内的显微透镜的微投射视锥细胞就是这样。Rmax的值由Rmax＝(zD)/(2B)，这里D是显微透镜直径且B是光电传感器板(1510)和显微透镜阵列板(1520)之间的距离。 

S6.对每个其微图像可以有助于虚像点的强度值的显微透镜，得到穿过虚像点和显微透镜中心的线与光电传感器板的交叉点。这些交叉点将被称为原始图像点。在图30的示例中，原始图像点为点P1(1533)，P2(1534)和P3(1535)。 

S7.对每个原始图像点，选择中心最接近原始图像点的那个光电传感器的强度 值(原始图像数据)作为相应的原始图像强度。实际的虚像点的最终强度值是相应的原始图像强度的平均值，即，将原始图像数据的强度相加并除于各自的原始图像点的数目。 

S8.检查是否所有的虚像点都已经被处理。如果不是，继续步骤S2。如果是，提供用平均原始图像强度获得的数字图像。随后，数字图像可以被输出，比如，显示，打印，在数据存储中记录或存储。 

为提高合成图像的图像质量，可能用在本领域内专业人员众所周知的图像处理方法对这个基础算法作多个修改。比如如下的一些这样的修改。 

原始图像数据可以用以下步骤提高： 

-用MFPC获得同样地白色表面的校准图像，以使没有饱和光电传感器时，在相应的原始图像中的强度尽可能的高。 

-用MFPC获得所需场景的图像。 

-通过校准原始图像数据分开所需场景的原始图像数据。这样消除在原始图像中由于光学系统和光电传感器灵敏度产生的强度变化。 

可以通过用以下的图像绘制算法替代步骤S7降低合成图像中的混淆效应。 

-对每个原始图像点从这组围绕原始图像点的光电传感器计算相应的原始图像强度。这可以是在该组中的光电传感器的平均强度值或考虑从原始图像点到光电传感器中心的距离的内插强度值。许多这一的内插算法在现有技术中是已知的。 

-图像绘制算法的步骤S3可能被下面的步骤之一替换。对每个选定的虚像点(1531)总是使用所有的显微透镜类型。

-使用所有那些对给定的Z值，相应的分辨率eL满足eL＜＝1的显微透镜类型，或者如果没有这样的显微透镜类型存在，使用具有最小的eL的显微透镜类型。 

4.进一步的应用

以上描述的多焦点全光照相机和多显微透镜阵列全光照相机或其接合的方法也可以应用到一维光传感器，像线性相机，多线相机，手持式扫描机，平台式扫描机，或影印机。 

在单线相机，手持式扫描机，平台式扫描机，或影印机的情况下，设置在光 接受器的光路中的一个或多个一维柱面透镜阵列将足够，尽管其他种类的透镜也是可能的。这样的结构超过标准设备的优点在于，扫描的表面不需要是平的和对准扫描板。那就是说，非平面表面可以在每处对准焦点且也可以重新获得三维形状的记录表面。相应的绘制和深度估计算法和前面一样，进行简单化，只有一维的对像素起作用的显微透镜。 

多线全光照相机具有多条光接受器的平行的线，光接收器具有一个或多个设置在光路中的显微透镜。当移动这样的相机下面的物体或当移动物体上面的相机时，然而在特定时间段记录图像，数据组等于二维全光照相机可以构建的数据组。此外，在一维显微透镜线中的显微透镜可能具有不同的焦距和/或多个这样的显微透镜线可能沿光路设置。这样的结构的优点是可以产生具有高分辨率的图像。 

本发明的特征在以上所述说明中公开，附图和权利要求书单独地和结合地对本发明在其多个实施例中的实现可具有重要性。 

Claims (20)

1.一种用于将plenoptic光学设备的图像合成的数字成像系统，包括：

一光电传感器件阵列，所述光电传感器件阵列包括位于预定的图像平面上的多个光电传感器件；

一微透镜阵列，所述微透镜阵列包括多个微透镜，以将物体发射的光线引导到所述光电传感器件阵列，其中所述光电传感器件阵列与所述微透镜阵列之间的距离为预先设定的；

其特征在于：

所述微透镜阵列中的多个微透镜具有不同的焦距；以及

设置所述光电传感器件阵列的图像平面，使光电传感器件阵列与微透镜阵列之间的距离不等于微透镜的焦距。

2.根据权利要求1所述的数字成像系统，其特征在于，所述微透镜阵列具有多组微透镜，每一组微透镜具有同一个焦距，且不同组的微透镜具有不同的焦距。

3.根据权利要求中1或2所述的数字成像系统，其特征在于，每一所述微透镜阵列包括两种或三种不同的微透镜。

4.根据权利要求中1或2所述的数字成像系统，其特征在于，每一所述微透镜阵列包括三种以上不同的微透镜。

5.根据权利要求1～4中任一项所述的数字成像系统，其特征在于，每一微透镜的焦距与邻近的微透镜的焦距不同。

6.根据权利要求1～5中任一项所述的数字成像系统，其特征在于，

每一微透镜提供一个有效分辨率比，所述有效分辨率比决定于每一微透镜的焦距及与所述微透镜阵列之间的宽度；

所述微透镜的焦距设置为可使有效分辨率比在所述宽度的邻近范围内具有可互补的最大值。

7.根据权利要求1～6中任一项所述的数字成像系统，其特征在于，包括所述微透镜阵列被设置带相同焦距的微透镜形成一个规格网格。

8.根据权利要求7所述的数字成像系统，其特征在于，包括所述微透镜阵列被设置带相同焦距的微透镜形成一个正交或多边网格。

9.根据权利要求1～8中任一项所述的数字成像系统，其特征在于，所述光电传感器件阵列与所述微透镜阵列之间设置一控制设备，所述控制设备包括连接所述光电传感器件阵列与所述微透镜阵列的可改变的或固定的连接。

10.根据权利要求1～9中任一项所述的数字成像系统，其特征在于，所述微透镜阵列为一维或二维的微透镜阵列。

11.根据权利要求1～10中任一项所述的数字成像系统，其特征在于，所述微透镜阵列中的具有相同焦距的微透镜的大小一致。

12.根据权利要求1～11中任一项所述的数字成像系统，其特征在于，所述微透镜阵列中的所有微透镜的大小一致。

13.根据权利要求1～12中任一项所述的数字成像系统，其特征在于，至少包括一辅助微透镜阵列，所述辅助微透镜阵列包括多个微透镜，以将物体发射的光线引导到所述光电传感器件阵列。

14.根据权利要求1～13中任一项所述的数字成像系统，其特征在于，包括带计算机程序的数据处理器，用于随着不同光电传感器件感应到的光线提供描述合成图像特征的图像数据，所述光电传感器件的位置与微透镜阵列及感应到的光线的入射角有关。

15.Plenppic光学设备，其特征在于包括：

一光学主透镜；以及

如前述权利要求中任何一个所述的数字成像系统。

16.根据权利要求15所述的Plenppic光学设备，其特征在于，

所述数字成像系统的微透镜阵列设于所述光学主透镜的聚焦线上，用于将物体发射的并透过光学主透镜的光线引导到所述光电传感器件阵列上；以及

为了使一组光线透过所述光学主透镜的聚焦线的特定位置，设置多个光电传感器件以感应区分该组光线中同时以不同辐射角透过所述光学主透镜的聚焦线的特定位置的不同光线。

17.根据权利要求15或16所述的Plenppic光学设备，其特征在于，为相机设备、扫描设备或显微镜设备。

18.一种对如权利要求1～14中任一项所述的数字成像系统或如权利要求15～17中任一项所述的Plenppic光学设备收集的图像数据进行图像数据处理的方法，其特征在于，包括如下步骤：

提供光电传感器件阵列收集的原始图像数据；

提供一个预先设定的具有多个虚像点的虚像表面；

其中，对于每一所述虚像点，

选择一组微透镜，基于该组微透镜的焦距能够获得最大有效分辨率

比以在光电传感器件阵列上形成虚像点；

将所述虚像点投影到所述微透镜阵列平面上；

探测出所选择的微透镜组的微图像，所述微图像影响虚像点的强度值；

从原始图像数据中挑选原始图像点，所述原始图像数据影响虚像点的强度值；

从原始图像点中探测出一个原始图像强度的平均值；以及生成一个包含原始图像强度平均值的数字图像。

19.根据权利要求18所述的方法，其特征在于，所述虚像表面为虚像平面或适于成像物体的表面的一个表面。

20.根据权利要求18或19所述的方法，其特征在于，所述生成数字图像的步骤在不同的虚像表面重复进行。

Images