CN108363197B

CN108363197B - 光场显微系统、光场显微镜及其光学组件

Info

Publication number: CN108363197B
Application number: CN201710061547.6A
Authority: CN
Inventors: 王凯; 丛林; 杭苇
Original assignee: Shanghai Institutes for Biological Sciences SIBS of CAS
Current assignee: Center for Excellence in Brain Science and Intelligence Technology Chinese Academy of Sciences
Priority date: 2017-01-26
Filing date: 2017-01-26
Publication date: 2019-10-15
Anticipated expiration: 2037-01-26
Also published as: CN108363197A

Abstract

本发明提供了一种用于光场显微镜的光学组件，包括显微物镜；以及位于该显微物镜的后焦面处的微透镜阵列，该微透镜阵列包括多个微透镜，该多个微透镜用于将该显微物镜下的样品在不同视角下的实像投射至位于该光场显微镜像平面处的传感器上，其中，该多个微透镜之间留有间隙，且该间隙以遮光材料填充。

Description

光场显微系统、光场显微镜及其光学组件

技术领域

本发明涉及显微镜技术，尤其涉及一种光场显微系统、光场显微镜以及用于该光场显微镜的光学组件。

背景技术

光场显微镜是一种只需要进行一次的相机曝光采集数据，就能够获取物体三维信息的成像技术。用光场获取物体三维信息的概念早在1908年Gabriel Lippmann发明的integral photography技术中提出，其基本工作原理是：光线的位置和传播方向可以通过测量其通过的空间中的两个不重合的点唯一确定。基于此概念，Marc Levoy于2006首次将光场相机的概念应用于荧光显微镜。

Marc Levoy提出的光场显微镜将一个微透镜阵列放置于显微镜的像平面，相机放置于微透镜的焦平面。随后，在Todor G.Georgiev于2007年申请的美国专利(US 7,872,796B2)中提出了将微透镜阵列放置于显微物镜的后焦面，如图1所示。从不同微透镜获得的从不同方向观察样本的投影图像在像平面上被采集。将采集得到的一整幅二维图像分割成多个方向的投影图像，再根据投影重构(projection tomography)的算法就可以获得物体的三维信息。

这两种光场显微技术的数据重构算法中，都使用了基于光线光学的模型，即认为光线可以沿直线传播，光斑尺寸不随传播距离而改变。但由于光波的衍射效应，以上模型在逼近显微镜的分辨率极限时会失效，光的衍射效应会导致以下两个矛盾。

一是传统光场显微镜的X-Y平面分辨率和可视场轴向深度互为矛盾，不能同时优化。例如，在工作波长为λ(例如：500纳米)时，如果需要得到X-Y平面分辨率为δ(例如：3微米)，则根据高斯光束理论，光束直径不变的有效范围约为2πδ²/λ(例如：113微米)。那么该条件下，传统光场显微镜在保证要求分辨率的条件下，能够有效重构的最大轴向范围约为2πδ²/λ(例如：113微米)。但很多情况下，高的分辨率和大的轴向覆盖范围需要同时都满足

二是受较高图像采集速度要求的限制，或采集相机工艺条件的限制，造成采集图像的像素数目有限的情况下，传统光场显微镜的轴向分辨率和三维可视场的覆盖范围互为矛盾，不能同时优化。

例如，使用一个2048x2048像素的相机获取图像，如果需要NxN个像素来对可视场的X-Y平面进行覆盖(例如：400x400)个像素，那么2048x2048像素的相机同时至多采集MxM，M＝2048/N(例如：5)个方向的投影图像。如果可视场轴向的覆盖范围要求为L(例如113微米)，在工作波长为λ(例如：500纳米)的情况下，根据高斯光束理论，得到每个微透镜的数值孔径不能超过

(例如：0.83)，那么该系统能够获得投影图像的最大投影角仅为θ＝sin^-1(NA)*M/2(例如：12度)，从而得到其轴向分辨率仅为δ_z＝δ/tanθ(例如：15微米)。

因此，本领域亟需一种改进的光场显微技术。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

根据本发明的一方面，提供了一种用于光场显微镜的光学组件，包括显微物镜；以及位于该显微物镜的后焦面处的微透镜阵列，该微透镜阵列包括多个微透镜，该多个微透镜用于将该显微物镜下的样品在不同视角下的实像投射至位于该光场显微镜像平面处的传感器上，其中，该多个微透镜之间留有间隙，且该间隙以遮光材料填充。

根据本发明的另一方面，提供了一种光场显微镜，包括显微物镜；位于像平面上的传感器，用于采集投影在该传感器上的图像；以及位于该显微物镜的后焦面处的微透镜阵列，该微透镜阵列包括多个微透镜，该多个微透镜用于将该显微物镜下的样品在不同视角下的实像投射至该传感器上，其中，该多个微透镜之间留有间隙，且该间隙以遮光材料填充。

根据本发明的另一方面，还提供了一种光场显微系统，包括显微物镜；位于像平面上的传感器，用于采集投影在该传感器上的图像；位于该显微物镜的后焦面处的微透镜阵列，该微透镜阵列包括多个微透镜，该多个微透镜用于将该显微物镜下的样品在不同视角下的实像投射至该传感器上，其中，该多个微透镜之间留有间隙，且该间隙以遮光材料填充，以及图像处理器，耦合至该传感器，该传感器捕捉该多个微透镜所投射的该样品在不同视角下的实像以获得一平面图像以提供给该图形处理器，该图像处理器配置用于采用投影重构算法从该平面图像获取该样品的三维信息。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1示出了传统光场显微镜的光学组件的示意图；

图2示出了根据本发明的一方面的光场显微镜的光学组件的示意图；

图3示出了根据本发明的一方面的微透镜阵列的俯视图；

图4a-4c示出了根据本发明的一方面的光场显微镜的光学组件的示意图；

图5示出了根据本发明的一方面的微透镜阵列的俯视图；

图6a-6c示出了根据本发明的一方面的光场显微镜的光学组件的示意图；

图7示出了根据本发明的一方面的微透镜阵列的俯视图；

图8示出了根据本发明的一方面的光场显微镜的光学组件的示意图；

图9示出了根据本发明的一方面的用于重构样品的三维信息的方法的流程图；

图10a-10c示出了点扩散函数的最大强度投影；

图11示出了传感器获得的样品的二维平面图像；

图12示出了根据本发明的一方面的光场显微系统的框图；以及

图13示出了根据本发明的一方面的用于重构样品三维信息的装置的框图。

具体实施方式

以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。

图1示出了传统光场显微镜的光学组件100的示意图，该光学系统由TodorG.Georgiev于2007年申请的美国专利(US 7,872,796 B2)中提出。如图1所示，该光学组件100包括显微物镜110和微透镜阵列120。微透镜阵列120由多个微透镜构成，微透镜阵列120位于显微物镜110的后焦面处。

被测物例如待测的样品放于显微物镜110下，微透镜阵列120的各个微透镜可将样品在不同视角下观察到的实像投射到像平面上，由此获得样品不同视角的信息。

虽然没有明确示出，但是显然在光场显微镜的像平面上设有传感器，以收集各微透镜所投射的投影图像。常见的传感器可以为CCD传感器、或CMOS传感器。

各个微透镜投射在像平面上的图像最终构成一幅总的二维图像。由于该二维图像中含有从不同角度下观察样品的图像信息，后续可以基于该二维图像重建出样品的三维图像信息。

如上所述，现有的光场显微镜存在X-Y平面分辨率和可视场轴向深度互为矛盾，不能同时优化的缺陷，以及传统光场显微镜的X-Y平面分辨率，以及轴向分辨率和X-Y平面的可视场范围互为矛盾，不能同时优化的缺陷。

如本领域技术人所理解的，这里的“轴向”是指与例如显微物镜等光学器件的光轴一致的方向，X-Y平面是指与轴向正交的平面。

本发明的目的在于解决或者缓解上述至少部分的问题。

图2示出了根据本发明的一方面的光场显微镜的光学组件200的示意图。如图2所示，光学组件200包括显微物镜210和微透镜阵列220。微透镜阵列220由多个微透镜构成，微透镜阵列220位于显微物镜210的后焦面处附近。

特别地，微透镜阵列220的微透镜之间并未密集排列，而是各个微透镜之间留有间隙，而且这些间隙以遮光材料230填充以避免间隙漏光。图3示出了沿轴向观察微透镜阵列220的视图，从图3中可以更清楚地看到各微透镜之间的间隙。

在此设计下，可以将每个微透镜的口径尺寸和他们在显微物镜后焦面的位置参数分离开。例如，每个微透镜所覆盖的数值孔径可以很小，但是边缘微透镜所成像的投影角可以很大。这样，前面提到的矛盾(2)，即三维视场覆盖和轴向分辨率不能同时优化的矛盾就可以部分解决。例如，在对一个三维物体进行成像时，经常对成像的要求是在保证完整覆盖三维物体的前提下，尽量提高分辨率。由于感光器件的像素是有限的，那么为了保证在X-Y平面内对三维物体完整覆盖，微透镜的数量不能太多，因为要保证每个微透镜拥有一定数量的像素才能在X-Y平面内覆盖一定大小的视场。再者，要满足较大的可视场轴向覆盖范围，受限于光的衍射效应，每个微透镜所覆盖的数值孔径不能太大。在这种情况下，少量低数值孔径的微透镜如果密集排列，将导致最外侧的微透偏离物镜光轴的角度很小，获得的信息与靠近光轴的微透镜所获得的信息区别并不明显，从而无法提供高的轴向分辨率。然而，如果允许微透镜之间存有间隙，则可以在使用较少数量低数值孔径微透镜的情况下，仍能通过一部分外侧微透镜获得物体在大的视角下呈现的信息，而大视角下呈现的信息可以直接提高轴向的分辨率，从而缓解了三维视场覆盖范围和轴向分辨率之间的矛盾。

图3中，每一个白色圆圈表示微透镜阵列220的每一个微透镜，黑色部分为遮光材料230，用于遮住各微透镜之间的间隙。在一实例中，遮光材料230可以是遮光板。微透镜阵列220的各个微透镜可以相间地镶嵌在遮光板230上，由此通过遮光板230正好遮住各微透镜之间的间隙。

图3中，白色虚线圆圈表示显微物镜210的出瞳孔径。可以看到，为了收集尽可能多的信息，微透镜阵列220的范围基本覆盖了显微物镜210的出瞳孔径。

较优地，遮光板230的面积要超出出瞳孔径之外，以覆盖比微透镜阵列更大的范围。目的在于严格限制只有通过微透镜进行成像的光才能到达像平面，并被感光器件接收。遮光板需要阻挡其他任何对成像没有贡献，反而可能造成背景噪声的光信号。

图4a-4c示出了根据本发明的一方面的光场显微镜的光学组件400的示意图。如图4a-4c所示，光学组件400包括显微物镜410和微透镜阵列420。微透镜阵列420由多个微透镜构成，微透镜阵列420位于显微物镜410的后焦面处。

特别地，微透镜阵列420包括至少两组微透镜组，每个微透镜组中的所有微透镜组具有相同的光学参数和轴向位置。这里的光学参数例如是微透镜的焦距。不同的微透镜组配置用于将显微物镜410下不同轴向位置的物平面光学共轭至传感器所在的像平面。

图5示出了沿轴向观察微透镜阵列420的视图。作为示例，在图4a-4c和图5中示出了三组微透镜组A、B、C。然而，两组微透镜组或者更多的微透镜组也是可以的。

图4a-4c中将微透镜组A、B、C示为微透镜组B介于微透镜组A和C之间，且每一组微透镜组中的微透镜聚集在一起。然而，这只是为了突出显示微透镜阵列的分组。事实上，为了使每一组微透镜都能收集到样品尽可能多角度的信息，因此，每一组微透镜组中的微透镜都均匀遍布显微物镜410的出瞳孔径。这从图5中可以清楚地看到。

在图4a-4c和图5的实例中，不同微透镜组之间的微透镜具有不同的光学参数，例如不同的焦距，但是不同的微透镜组具有相同的轴向位置，例如严格位于显微物镜410的后焦面上。然而，这并不是唯一的配置。

在其他的实例中，不同微透镜组之间的微透镜具有相同的光学参数，例如相同的焦距，但是不同的微透镜组具有不同的轴向位置。例如，一组微透镜组严格位于显微物镜410的后焦面上，另一组位于显微物镜410的后焦面附近靠前的位置，另一组位于显微物镜410的后焦面附近靠后的位置。

当然，不同的微透镜组之间的微透镜可以光学参数和轴向位置皆不相同，只要这些不同的微透镜组能够将显微物镜下不同轴向位置的物平面光学共轭至传感器所在的像平面即可。

例如，图4a-4c示出了三组微透镜组和三个物平面。在图4a中，物平面2能够经由微透镜组A与像平面互为共轭，此时物平面2上发出的光线经由微透镜组A合焦于像平面，即物平面2能够通过微透镜组A清晰成像于像平面上，以使传感器能够采集物平面2最为清晰的图像。

在图4b中，物平面3能够经由微透镜组B与像平面互为共轭，此时物平面3上发出的光线经由微透镜组B合焦于像平面，即物平面3能够通过微透镜组B清晰成像于像平面上，以使传感器能够采集物平面3最为清晰的图像。

类似地，在图4c中，物平面1能够经由微透镜组C与像平面互为共轭，此时物平面1上发出的光线经由微透镜组C合焦于像平面，即物平面1能够通过微透镜组C清晰成像于像平面上，以使传感器能够采集物平面1最为清晰的图像。

传统地，只能使特定轴向位置上的物平面清晰地成像于像平面上，然而在此配置下，通过对微透镜阵列进行分组，可以使更多轴向位置上的物平面清晰成像于像平面，大大提高了样品成像的景深，而同时不会影响分辨率。这是因为每个特定的轴向位置，会有至少一组微透镜提供最清晰的图像，记录了高分辨率信息。即使其他组微透镜无法在该轴向位置也提供高分辨率信息，只要通过合理设计算法，将每组微透镜在不同轴向位置获得的最优信息分别提取出来，就可以综合成一个景深和分辨率同时优化的三维图像。

图6a-6c示出了根据本发明的一方面的光场显微镜的光学组件600的示意图。如图6a-6c所示，光学组件600包括显微物镜610和微透镜阵列620。微透镜阵列620由多个微透镜构成，微透镜阵列620位于显微物镜610的后焦面处。显微物镜610的后焦面由图中的虚线示出。

特别地，微透镜阵列620的微透镜之间并未密集排列，而是各个微透镜之间留有间隙，而且这些间隙以遮光材料620填充以避免间隙漏光。图7示出了沿轴向观察微透镜阵列620的视图，从图7中可以更清楚地看到各微透镜之间的间隙。

另外，微透镜阵列620可包括至少两组微透镜组，每个微透镜组中的所有微透镜组具有相同的光学参数和轴向位置。这里的光学参数例如是微透镜的焦距。不同的微透镜组可配置用于将显微物镜610下不同轴向位置的物平面光学共轭至传感器所在的像平面。

作为示例，在图6a-6c和图7中示出了三组微透镜组A、B、C。然而，两组微透镜组或者更多的微透镜组也是可以的。

图6a-6c中将微透镜组A、B、C示为微透镜组B介于微透镜组A和C之间，且每一组微透镜组中的微透镜聚集在一起。然而，这只是为了突出显示微透镜阵列的分组。事实上，为了使每一组微透镜都能收集到样品尽可能多角度的信息，因此，每一组微透镜组中的微透镜都均匀遍布显微物镜410的出瞳孔径，且每一个微透镜组的微透镜之间也通过遮光材料630隔开。这从图7中可以清楚地看到。

图7中，每一个白色圆圈或者有条纹的圆圈表示微透镜阵列620的每一个微透镜，黑色部分为遮光材料630，用于遮住各微透镜之间的间隙。在一实例中，遮光材料630可以是遮光板。微透镜阵列620的各个微透镜可以相间地镶嵌在遮光板630上，由此通过遮光板630正好遮住各微透镜之间的间隙。

图7中，白色虚线圆圈表示显微物镜610的出瞳孔径。可以看到，为了收集尽可能多的信息，微透镜阵列620的范围基本覆盖了显微物镜610的出瞳孔径。

较优地，遮光板630的面积要超出出瞳孔径之外，以覆盖比微透镜阵列更大的范围。目的在于严格限制只有通过微透镜进行成像的光才能到达像平面，并被感光器件接收。遮光板需要阻挡其他任何对成像没有贡献，反而可能造成背景噪声的光信号。

在图6a-6c和图7的实例中，不同微透镜组之间的微透镜具有不同的光学参数，例如不同的焦距。而且不同的微透镜组之间具有不同的轴向位置，例如A微透镜组严格位于显微物镜610的后焦面上，B微透镜组位于后焦面靠后的位置，C微透镜组位于后焦面靠前的位置。然而，这并不是唯一的配置。

在其他的实例中，不同微透镜组之间的微透镜具有相同的光学参数，例如相同的焦距，但是不同的微透镜组具有不同的轴向位置。例如，A微透镜组严格位于显微物镜610的后焦面上，B微透镜组位于显微物镜610的后焦面附近靠后的位置，C微透镜组位于显微物镜610的后焦面附近靠前的位置。

当然，不同的微透镜组之间的微透镜可以光学参数不同，但是轴向位置相同，只要这些不同的微透镜组能够将显微物镜下不同轴向位置的物平面光学共轭至传感器所在的像平面即可。

例如，图6a-6C示出了三组微透镜组和三个物平面。在图6a中，物平面2能够经由微透镜组A与像平面互为共轭，此时物平面2上发出的光线经由微透镜组A合焦于像平面，即物平面2能够通过微透镜组A清晰成像于像平面上，以使传感器能够采集物平面2最为清晰的图像。

在图6b中，物平面3能够经由微透镜组B与像平面互为共轭，此时物平面3上发出的光线经由微透镜组B合焦于像平面，即物平面3能够通过微透镜组B清晰成像于像平面上，以使传感器能够采集物平面3最为清晰的图像。

类似地，在图6c中，物平面1能够经由微透镜组C与像平面互为共轭，此时物平面1上发出的光线经由微透镜组C合焦于像平面，即物平面1能够通过微透镜组C清晰成像于像平面上，以使传感器能够采集物平面1最为清晰的图像。

图8示出了根据本发明的一方面的光场显微镜的光学组件800的示意图。显微物镜810一般安装在镜筒之内，由于显微物镜810的后焦面有可能位于镜筒内部而不方便安设微透镜阵列820。此时，可通过至少一对透镜840将显微物镜810的后焦面成像于物镜之外可以放置微透镜阵列820的位置。

如图8中的两条虚线所示，显微物镜810的原始的后焦面由虚线A表示，虚线B表示通过至少一对透镜840所获得的显微物镜810的共轭后焦面。图8中示出了一对透镜840，然而根据实际需要可以设置多对透镜840。

显然，本领域技术人员了解图8中的至少一对透镜840可用于先前所述的实施例。

图9示出了根据本发明的一方面的用于光场显微镜的三维信息重构方法900的流程图。该光场显微镜可以是上述根据本发明的各方面的光场显微镜，也可以是传统的光场显微镜。不论怎样，该光场显微镜至少包括位于显微物镜的后焦面处的微透镜阵列。该微透镜阵列包括多个微透镜，这多个微透镜用于将显微物镜下的样品在不同视角下的实像投射至位于光场显微镜的像平面处的传感器上。

在步骤910，从传感器接收这多个微透镜所投射的样品在不同视角下的实像以获得一平面图像Img_Meas(x,y)。

各个微透镜所投射在传感器上的实现最终形成一个总的平面图像Img_Meas(x,y)。该平面图像中包含了从不同角度观察样品的信息，因此，可以用于重建出样品的三维图像。

接下来，通过步骤920-步骤940执行迭代。

具体地，在步骤920，基于微透镜阵列所构成的成像系统的点扩散函数PSF(x,y,z_k)和样品的三维信息估计Obj^i-1(x,y,z_k)获取样品的估计图像，i为迭代索引。

即，首先对样品的三维信息做一个任意的估计，该初始的估计值Obj⁰(x,y,z_k)可以是一个非零的任意值。然后，通过迭代使该估计值不断地接近样品的真实三维信息。样品的三维信息可以是样品的三维图像的函数表示。

对光学系统来讲，输入物为一点光源时其输出像的光场分布，称为点扩散函数，也称点扩展函数。在数学上点光源可用δ函数(点脉冲)代表，输出像的光场分布叫做脉冲响应，所以点扩散函数也就是光学系统的脉冲响应函数。

在本文，用PSF(x,y,z_k)来表示微透镜阵列的成像的点扩散函数。对于三维成像，这里的点扩散函数是三维点扩散函数，z_k表示轴向位置，k＝1,2…N，即取了N个轴向位置。

可以通过下式从点扩散函数和样品的三维信息估计来计算样品的图像估计：

如前所述，微透镜阵列可以仅包括一组微透镜，也可能包括多个微透镜组，每个微透镜组内的微透镜之间具有相同的光学参数和轴向位置。上述公式中的参数m是对应于微透镜阵列中微透镜组的索引。当M等于1时，微透镜阵列仅包括一组微透镜组，换言之，未分组。当M大于1时，微透镜阵列包括多个微透镜组。

在存在多个微透镜组的情况下，上述图像估计是针对每一组微透镜组进行的，然后进行叠加。相应地，针对每一个微透镜组具有一个点扩散函数PSF_m(x,y,z_k)以及一个三维信息估计

即，基于与每个微透镜组相对应的点扩散函数PSF_m(x,y,z_k)和三维信息估计

获取与每个微透镜组相对应的估计图像，然后对与各微透镜组相对应的估计图像求和以获得该样品的估计图像

在步骤930，判断是否满足迭代终止条件。

该终止条件可以是上述估计图像与实际采集到的平面图像Img_Meas(x,y)之间的差异小于预定阈值，则可认为迭代收敛，因此终止迭代。

或者，也可以根据经验，在迭代预定次数后即视为迭代收敛，停止迭代。

若迭代终止，则当前的三维信息估计即可认为是样品真实的三维图像。

若未满足迭代终止条件，则进入步骤940。

在步骤940，基于估计图像与实际采集到的所述平面图像Img_Meas(x,y)的差异校正样品的三维信息估计Obj^i-1(x,y,z_k)，以获得用于下一轮迭代中步骤(a)的三维信息估计Objⁱ(x,y,z_k)。

如前所述，微透镜阵列可能分为多个微透镜组。在此情况下，可基于估计图像与实际采集到的平面图像Img_Meas(x,y)的差异校正与每个微透镜组相对应的三维信息估计

以获得对应该微透镜组的校正三维信息估计

在一实例中，可通过以下表达式来执行校正过程：

在数学上，通过校正以使目标函数收敛的方式有很多，上述公式仅是一个实例，也可以使用其他公式修正三维信息估计以通过迭代地方式使其收敛。

由于以上估计是分别通过不同的微透镜组分别进行的，但这些微透镜组实际上是对同一物体进行估计，因而可以把各个微透镜组组得到的信息综合为一个。综合的过程中，每个微透镜组有一个可调节的权重因子w_m(z_k)，

该权重因子可在实际情况中根据不同组透镜成像的质量来优化调节，以提高重构速度和质量。即，基于各微透镜组的权重因子w_m(z_k)组合校正三维信息估计

以获得与各微透镜组相对应的用于下一轮迭代的三维信息估计

由于各组微透镜的放大率不同，因此较优地，可在进行坐标变换之后进行综合。具体地，可以通过以下公式进行组合：

其中，参数l也是对与微透镜组相对应的索引，β_ml是第m组微透镜组与第l组微透镜组之间的放大率之比。

上述公式中参数M大于等于1。当M等于1时，即对应微透镜阵列未分组的情况。此时，则无需上述的组合步骤，即校正三维信息估计

直接等于用于下一次迭代的三维信息估计

每迭代一次，索引i递增1，直至迭代收敛。

上述使用的点扩散函数以及各微透镜组之间的放大率之比起初可以测量获得，一旦测得以后可以存储在数据库中，以供后续使用。

具体地，点扩散函数可以通过对小尺寸的荧光微珠成像获得。测量时，将固定于可轴向移动平移台的荧光微珠置于物平面附近。激发荧光微珠的荧光，并用相机获得荧光微珠的清晰荧光图像。将荧光微珠放置于显微物镜物平面附近的多个不同的轴向位置z_k,k＝1,2…N，分别获得不同位置时的荧光图像PSF(x,y,z_k)，后者即为微透镜阵列所构成的成像系统的点扩散函数。

如前所述，微透镜阵列可能分为多个微透镜组，此时，可根据不同微透镜组中微透镜的位置分解上述点扩散函数PSF(x,y,z_k)以获得对应不同微透镜组的点扩散函数PSF_m(x,y,z_k)。

以微透镜阵列包括两个微透镜阵列为例，图10a示出了整个微透镜阵列所构成的成像系统的点扩散函数PSF(x,y,z_k)在x、y、z轴方向上的最大强度投影。

由于每个微透镜的位置是确定和已知的，因此，对应可以根据微透镜的位置分解图10a中的图像，从而获得分别对应的A微透镜组和B微透镜组的荧光图像，从而获得对应微透镜组A和B各自的PSF_A(x,y,z_k)和PSF_B(x,y,z_k)。图10b和图10c分别示出了点扩散函数PSF_A(x,y,z_k)和PSF_B(x,y,z_k)在x、y、z轴方向上的最大强度投影。

同样，测量各组微透镜组之间的放大率之比，可在物镜焦平面放置一层稀疏的荧光微珠，采集一幅该荧光微珠图像，使每个透镜所成的像不相互重叠。将各透镜所成的像提取出来，然后对每组内各微透镜所成的像做平均，最后对不同组微透镜得到的平均图像做比较，得到放大率比值。

以下对微透镜阵列包括两个微透镜组A和B的情况下作简要描述。

此时，先获取对应微透镜组A和B的点扩散函数PSF_A(x,y,z_k)和PSF_B(x,y,z_k)，以及微透镜组A和微透镜组B的放大率之比β。这里的点扩散函数和放大率之比可以测量获得，也可以从数据库获取得到。

然后，获取样品，例如荧光发光物的一幅二维图像Img_Meas(x,y)，例如图11所示。该二维图像中包含了样品经由各微透镜投射在传感器上的多个实像，每个实像对应从不同视角观察到的该样品，从而可以基于该二维图像重建样品的三维信息。

此时，PSF_A(x,y,z_k)，Psf_B(x,y,z_k)，β和Img_Meas(x,y)作为四个输入参数，通过迭代算法估算被成像物体的三维信息Obj(x,y,z_k)。

和

是分别通过微透镜组A和B对样品的估计，其初始估值和

可以是任意非0的数值，其第i次迭代的计算过程为：

i)首先通过点扩散函数来估计相机应该采集到的图像为

ii)由于实际相机采集的图像Img_Meas(x,y)和估计的图像

不相同，那么根据Richard-Lucy算法可知，可以基于这个差别

利用以下公式分别修正对样品的估计

和

iii)以上的估计是分别通过微透镜组A和B分别进行的，但两组微透镜实际上是对同一样品进行估计，因而可以把这两个组得到的信息综合为一个。由于两组透镜的放大率不同，可进行坐标变换之后再进行综合。综合的过程中可以用到一个可调节的权重因子w(z_k)为，取值范围为0到1。该权重因子可在实际情况中根据不同组透镜成像的质量来优化调节，以提高重构速度和质量：

其中代表二维卷积，

和

为中间变量。

和

等效，都可以作为对物体三维信息的估计。

和之间的差别在于其在X-Y平面的放大率不同。

根据本发明的上述三维信息重构方法是基于系统点扩散函数的光场重构新算法。该方法将光的衍射效应严格考虑在内，比传统基于光线光场的算法更精确，重构准确度更好。该算法允许每个透镜所成的像之间有相互重叠。如果有重叠，算法不受影响，仍然能重构出一个准确且唯一的三维像。这种特性使该系统具有非常大的三维视场覆盖，而且鲁棒性非常好。

图12示出了根据本发明的一个方面的光场显微系统1200的框图。如图12所示，光场显微系统1200可包括光场显微镜1210和图形处理器1220。

在一实施例中，除了位于像平面上的传感器之外，该光场显微镜1210可包括上述根据本发明的各方面的光学组件。光场显微镜1210的传感器向图像处理器1220提供多个微透镜所投射的样品在不同视角下的实像以获得一平面图像。图形处理器1220可以采用任何三维重构方法，包括传统的投影重构方法或者根据本发明的三维信息重构方法对该平面图像进行重建以获得样品的三维信息。

在另一实施例中，光场显微镜1210可以是现有技术的常规光场显微镜，而图形处理器1220可采用根据本发明的三维信息重构方法对该平面图像进行重建以获得样品的三维信息。

本发明还提供了一种用于光场显微镜的三维信息重构装置。该光场显微镜可以是现有技术的常规光场显微镜，也可以是上述根据本发明的各方面的光场显微镜。图13示出了该三维信息重构装置1300的框图。

如图13所示，三维信息重构装置1300可包括接收模块1310、图像估计模块1320和校正模块1330。

接收模块1310可从光场显微镜的传感器接收多个微透镜所投射的样品在不同视角下的实像以获得一平面图像Img_Meas(x,y)。图像估计模块1320可基于微透镜阵列所构成的成像系统的点扩散函数PSF(x,y,z_k)和样品的三维信息估计Obj^i-1(x,y,z_k)获取所述样品的估计图像

i为迭代索引。

校正模块1330可基于估计图像

与实际采集到的所述平面图像Img_Meas(x,y)的差异校正样品的三维信息估计Obj^i-1(x,y,z_k)，以获得用于下一轮迭代中的三维信息估计Objⁱ(x,y,z_k)，图像估计模块1320和校正模块1330可执行上述迭代直至收敛，迭代收敛后的三维信息估计Objⁱ(x,y,z_k)被作为样品的最终三维信息。

在一实例中，这多个微透镜包括M个微透镜组，M大于等于1，每一微透镜组中的所有微透镜具有相同的光学参数和轴向位置，微透镜阵列所构成的成像系统的点扩散函数包括与各微透镜组相对应的点扩散函数。

在此实例中，图像估计模块1320可基于与每个微透镜组相对应的点扩散函数PSF_m(x,y,z_k)和三维信息估计

获取与每个微透镜组相对应的估计图像，m＝1,2…M，并对与各微透镜组相对应的估计图像求和以获得样品的估计图像

进一步地，校正模块1320可基于估计图像与实际采集到的平面图像Img_Meas(x,y)的差异校正与每个微透镜组相对应的三维信息估计

以获得校正三维信息估计

并基于各微透镜组的权重因子w_m(z_k)组合各校正三维信息估计

其中

更具体地，可在统一的放大率下进行组合。即校正模块1330可基于各微透镜组的权重因子w_m(z_k)组合通过各微透镜组间的成像放大率之比统一了放大率后的校正三维信息估计

其中

β_ml为第m组微透镜组与第l组微透镜组之间的放大率之比。

根据本发明的上述三维信息重构装置以系统点扩散函数为基础进行光场重建。该三维信息重构装置将光的衍射效应严格考虑在内，比传统基于光线光场的重构更精确，重构准确度更好。该装置允许每个透镜所成的像之间有相互重叠。如果有重叠，仍然能重构出一个准确且唯一的三维像。这种特性使该系统具有非常大的三维视场覆盖，而且鲁棒性非常好。

本领域技术人员将领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

结合本文所公开的实施例描述的各种解说性逻辑模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims

1.一种用于光场显微镜的光学组件，包括：

显微物镜；以及

位于所述显微物镜的后焦面处的微透镜阵列，所述微透镜阵列包括多个微透镜，所述多个微透镜用于将所述显微物镜下的样品在不同视角下的实像投射至位于所述光场显微镜像平面处的传感器上，

其中，所述微透镜阵列的多个微透镜之间并未密集排列，而是各个微透镜之间留有间隙，且所述间隙以遮光材料填充。

2.如权利要求1所述的用于光场显微镜的光学组件，其特征在于，所述微透镜阵列的所述多个微透镜相间地镶嵌于遮光板上，以通过所述遮光板遮挡所述多个微透镜之间的所述间隙。

3.如权利要求2所述的用于光场显微镜的光学组件，其特征在于，所述微透镜阵列的范围覆盖所述显微物镜的出瞳孔径，所述遮光板的面积大于所述微透镜阵列的覆盖范围。

4.如权利要求1所述的用于光场显微镜的光学组件，其特征在于，还包括：

至少一对透镜，所述微透镜阵列所处的所述后焦面是所述至少一对透镜对所述显微物镜的原始后焦面成像所获得的共轭后焦面，所述共轭后焦面的位置位于所述显微物镜的镜筒之外。

5.如权利要求1所述的用于光场显微镜的光学组件，其特征在于，所述多个微透镜分为至少两个微透镜组，每一微透镜组中的所有微透镜具有相同的光学参数和轴向位置，不同的微透镜组配置用于将所述显微物镜下不同轴向位置的物平面光学共轭至所述传感器所在的像平面。

6.如权利要求5所述的用于光场显微镜的光学组件，其特征在于，不同微透镜组之间的微透镜具有不同的光学参数以及相同的轴向位置。

7.如权利要求5所述的用于光场显微镜的光学组件，其特征在于，不同微透镜组之间的微透镜具有相同的光学参数以及不同的轴向位置。

8.如权利要求5所述的用于光场显微镜的光学组件，其特征在于，不同微透镜组之间的微透镜具有不同的光学参数以及不同的轴向位置。

9.如权利要求5-8中任一项所述的用于光场显微镜的光学组件，其特征在于，所述光学参数为焦距。

10.如权利要求5所述的用于光场显微镜的光学组件，其特征在于，每一个微透镜组中的微透镜均匀遍布所述显微物镜的出瞳孔径。

11.一种光场显微镜，包括：

显微物镜；

位于像平面上的传感器，用于采集投影在所述传感器上的图像；以及

位于所述显微物镜的后焦面处的微透镜阵列，所述微透镜阵列包括多个微透镜，所述多个微透镜用于将所述显微物镜下的样品在不同视角下的实像投射至所述传感器上，

12.如权利要求11所述的光场显微镜，其特征在于，所述微透镜阵列的所述多个微透镜相间地镶嵌于遮光板上，以通过所述遮光板遮挡所述多个微透镜之间的所述间隙。

13.如权利要求12所述的光场显微镜，其特征在于，所述微透镜阵列的范围覆盖所述显微物镜的出瞳孔径，所述遮光板的面积大于所述微透镜阵列的覆盖范围。

14.如权利要求11所述的光场显微镜，其特征在于，还包括：

15.如权利要求11所述的光场显微镜，其特征在于，所述多个微透镜分为至少两个微透镜组，每一微透镜组中的所有微透镜具有相同的光学参数和轴向位置，不同的微透镜组配置用于将所述显微物镜下不同轴向位置的物平面光学共轭至所述传感器所在的像平面。

16.如权利要求15所述的光场显微镜，其特征在于，不同微透镜组之间的微透镜具有不同的光学参数以及相同的轴向位置。

17.如权利要求15所述的光场显微镜，其特征在于，不同微透镜组之间的微透镜具有相同的光学参数以及不同的轴向位置。

18.如权利要求15所述的光场显微镜，其特征在于，不同微透镜组之间的微透镜具有不同的光学参数以及不同的轴向位置。

19.如权利要求15-18中任一项所述的光场显微镜，其特征在于，所述光学参数为焦距。

20.如权利要求15所述的光场显微镜，其特征在于，每一个微透镜组中的微透镜均匀遍布所述显微物镜的出瞳孔径。

21.一种光场显微系统，包括：

显微物镜；

位于像平面上的传感器，用于采集投影在所述传感器上的图像；

位于所述显微物镜的后焦面处的微透镜阵列，所述微透镜阵列包括多个微透镜，所述多个微透镜用于将所述显微物镜下的样品在不同视角下的实像投射至所述传感器上，其中，所述微透镜阵列的多个微透镜之间并未密集排列，而是各个微透镜之间留有间隙，且所述间隙以遮光材料填充，以及

图像处理器，耦合至所述传感器，所述传感器捕捉所述多个微透镜所投射的所述样品在不同视角下的实像以获得一平面图像以提供给所述图像处理器，所述图像处理器配置用于采用投影重构算法从所述平面图像获取所述样品的三维信息。

22.如权利要求21所述的光场显微系统，其特征在于，所述多个微透镜分为至少两个微透镜组，每一微透镜组中的所有微透镜具有相同的光学参数和轴向位置，不同的微透镜组配置用于将所述显微物镜下不同轴向位置的物平面光学共轭至所述传感器所在的像平面。