CN111258044B - 基于反射镜扫描光场的类4pi显微成像方法 - Google Patents

Abstract

本发明公开了一种基于反射镜扫描光场的类4pi显微成像方法，该方法包括：在显微成像系统中，放置反射镜在样本上方，将微透镜阵列放置在显微镜成像的像面位置；通过纳米级快速平移台搭载微透镜阵列在像面平移进行亚像素扫描，采集样本的空间频率分量信息；根据样本的空间频率分量信息和非相干数值孔径融合算法以及经过解混叠的重建算法进行类4pi显微成像。该方法使用反射镜帮助物镜采集到更多的空间信息，与扫描光场的非相干孔径融合技术相结合，经过解混叠的重建算法将采集到的二维图像重建为三维显微图像。

Description

基于反射镜扫描光场的类4pi显微成像方法

技术领域

本发明涉及显微成像技术领域，特别涉及一种基于反射镜扫描光场的类4pi显微成像方法。

背景技术

sLEM(scan Light Field Microscopy，扫描光场显微镜)是一种同时能够进行三维高分辨快速成像的方法。该方法通过对放置在像面上的微透镜阵列进行符合特定规则的平移，从而采集到更多的空间频率信息，通过基于最大似然估计的解卷积算法重建高分辨率的显微三维图像，通过时间权重和时间轮转算法维持显微三维图像的高时间分辨率，进而达到高空间分辨率、高时间分辨率的三维快速显微成像。

4pi显微技术是一种提升显微成像系统z轴分辨常用的技术。传统4pi显微成像主要是使用双物镜对同一个样本点进行不同方向的采集，这种采集方式会使得显微系统的z轴空间频率提升一倍，因此也就可以使得图像的z轴分辨率提升一倍。但双物镜4pi系统存在一定的问题，譬如系统搭建困难，双物镜的采集光路光程要完全相等，不能够存在光程差；实验操作困难，对于双物镜系统而言，样本的搭载较为困难。从物理本质上来说，如果在样本面上覆盖一个物镜，在采集过程中就类似于使用单个物镜实现了双物镜采集的效果。

微透镜阵列(Micro Lens Array，MLA)是一种基于当代精密光学加工技术而产生的一种全新透镜设计思路。传统透镜是使用一整个镜片对光路进行调整或对场景进行采集，微透镜阵列在镜片上布满了微小的透镜(通常大小为100um)，这样在相机传感器上得到的就是三维物体多角度的信息。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于反射镜扫描光场的类4pi显微成像方法，该方法使用反射镜帮助物镜采集到更多的空间信息，与扫描光场的非相干孔径融合技术相结合，经过解混叠的重建算法将采集到的二维图像重建为三维显微图像。

为达到上述目的，本发明一方面实施例提出了一种基于反射镜扫描光场的类4pi显微成像方法，包括：

在显微成像系统中，放置反射镜在样本上方，将微透镜阵列放置在显微镜成像的像面位置；

通过纳米级快速平移台搭载微透镜阵列在像面平移进行亚像素扫描，采集样本的空间频率分量信息；

根据所述样本的空间频率分量信息和非相干数值孔径融合算法以及经过解混叠的重建算法进行类4pi显微成像。

本发明实施例的基于反射镜扫描光场的类4pi显微成像方法，使用反射镜帮助物镜采集到更多的空间信息，与扫描光场的非相干孔径融合技术相结合，经过解混叠的重建算法将采集到的二维图像重建为三维显微图像。

另外，根据本发明上述实施例的基于反射镜扫描光场的类4pi显微成像方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，根据所述显微成像系统中物镜的参数估算所述反射镜与所述样本的距离。

进一步地，在本发明的一个实施例中，在采集样本的空间频率分量信息时，将系统焦面放置在所述反射镜的镜面上，以保证所述样本的真实信息和所述反射镜里的信息均进行采集。

进一步地，在本发明的一个实施例中，在进行类4pi显微成像时，通过对所述样本和所述反射镜同时移动来采集点扩散函数。

进一步地，在本发明的一个实施例中，根据所述样本的空间频率分量信息进行类4pi显微成像中，基于最大拟然估计的解卷积算法，在进行解卷积三维重建时，加入数字自适应像差矫正算法，根据对于线性像差的估计可以对线性像差进行矫正。

进一步地，在本发明的一个实施例中，所述显微成像系统包括：多个反射镜、物镜、二相色镜、管透镜、微透镜阵列、二维纳米级平移台、旋转装置、多个透镜组、采集相机；

二相色镜用于将激发光和被激发光分开，所述反射镜为镀银反射镜，旋转装置中间有通光孔径，用于大角度调整微透镜阵列和相机像素取向一致。

点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于反射镜扫描光场的类4pi显微成像方法流程图；

图2为根据本发明一个实施例的显微成像系统示意图；

图3为根据本发明另一个实施例的显微成像系统示意图；

图4为根据本发明再一个实施例的显微成像系统结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于反射镜扫描光场的类4pi显微成像方法。

图1为根据本发明一个实施例的基于反射镜扫描光场的类4pi显微成像方法流程图。

如图1所示，该基于反射镜扫描光场的类4pi显微成像方法包括以下步骤：

在显微成像系统中，放置反射镜在样本上方，将微透镜阵列放置在显微镜成像的像面位置。

其中，根据显微成像系统中物镜的参数估算反射镜与样本的距离。

在采集样本的空间频率分量信息时，将系统焦面放置在反射镜的镜面上，以保证样本的真实信息和反射镜里的信息均进行采集。

通过纳米级快速平移台搭载微透镜阵列在像面平移进行亚像素扫描，采集样本的空间频率分量信息。

根据样本的空间频率分量信息和非相干数值孔径融合算法以及经过解混叠的重建算法进行类4pi显微成像。

如图2所示，展示了本发明实施例采用的显微成像系统使用的器件。其中，101为使用的镀银反射镜；102为使用的olympus为物镜镜头(放大倍数20，数值孔径0.5)；103为二相色镜，将激发光和被激发光分开；104为管透镜，和102物镜组成显微成像系统；105是镀银反射镜；106为微透镜阵列(基片大小为1英寸，微透镜大小为100um，单个微透镜的焦距为1.863mm)；107为二维纳米级平移台(Newport，NPXY200SG)；108为旋转装置，中间有通光孔径，用于大角度调整微透镜阵列和相机像素取向一致；109、110、111、112、113组成透镜组，经过zmax设计后已经将像差最小化；114为采集相机(目前使用的是andorzyla USB相机)；115为六轴位移台，具备x轴、y轴、z轴、俯仰、倾角、旋转等自由度。

在进行系统搭建时，如果使用单独元件进行搭建，使用图2的结构。如果要求集成化，则按照图3进行设计。在图3中，201使用的镀银反射镜；202为使用的olympus为物镜镜头(放大倍数20，数值孔径0.5)；203为二相色镜，将激发光和被激发光分开；204为管透镜，和202物镜组成显微成像系统；205是镀银反射镜；206为使用的显微镜镜体(商用olympusIX73)；207为微透镜阵列(基片大小为1英寸，微透镜大小为100um，单个微透镜的焦距为1.863mm)；208为俯仰台，调整微透镜的俯仰角度；209为二维纳米级平移台(Newport，NPXY200SG)；210为旋转装置，中间有通光孔径，粗调范围为360°，细调范围为8°；211、212、213、214、215组成透镜组，经过zmax设计后已经将像差最小化；216为连接套筒，用于调节相机的z轴位置；217为采集相机(目前使用的是andorzyla USB相机)。

系统在进行硬件固定和连接后，需要进行精密的调整才能按照设计的物理模型进行成像和采集，具体调整如下：在明场照明状态下，相机采集到的为点阵列，根据点阵列的排列情况调整微透镜阵列的俯仰、旋转、距离，从而将微透镜阵列调整到最佳位置。

在进行数据采集时，需要对微透镜阵列按照一定的方式进行平移。考虑到时间顺序和二维平移台的响应时间，设计了独特的扫描路径来满足快速扫描的需求。在完成扫描后，需要将一次扫描得到的图像序列进行重排列，用于三维重建。

扫描光场显微镜使用的主要实现方案为小型化设计，其结构如图4所示，通过将微透镜阵列(硅基透镜阵列，单透镜大小为100um，阵列整体大小为1英寸，焦距为1.863mm，计算得到三维成像深度为70um)放置在商用显微镜(Olympus，IX73)成像的像面位置。通过纳米级快速平移台(Newport，NPXY200SG)搭载微透镜阵列在像面进行亚像素扫描，从而采集到更多的空间频率分量信息，进一步通过对采集到信息的三维重建，得到最终高分辨率的三维图像。

在使用反射镜逼近样本进行类4pi成像时，需要根据采集物镜的参数估算反射镜需要贴近样本面的距离。在进行对焦采集时，需要将系统焦面放置在反射镜的镜面上，这样就可以保证将物体的真实信息和反射镜里的信息均进行采集，从而便于下一步的计算重建过程。

在系统的实际应用时，需要使用实际采集的点扩散函数(Point SpreadFunction，PSF)进行三维重建。本系统的点扩散函数采集较为特殊，采集点扩散函数是对小于系统衍射极限的荧光小球进行成像和采集，对于三维成像的系统还需要对物镜进行平移，采集一系列的点扩散函数组。但是根据本系统成像的基本物理过程，本系统不能对物镜进行平移，而是应该对荧光小球和反射镜同时进行平移。这样采集到的点扩散函数是符合整个物理成像过程的。

重建过程主要依赖基于最大拟然估计的解卷积算法，在进行解卷积三维重建时，可以加入数字自适应像差矫正算法，根据对于线性像差的估计可以对线性像差进行矫正，提升系统的成像性能。

可以理解的是，通过在样本面上覆盖反射镜从而使得荧光点发出的被激荧光被物镜采集，从而使得扫描光场系统的轴向分辨率得以提升到4pi显微镜的水平。本发明实施例的系统目前使用的激发与采集物镜为奥林巴斯10倍0.25数值孔径物镜，微透镜阵列焦距为1.632mm、单个微透镜几何大小为100um、制作材料为硅基片，反射镜为常用镀银反射镜，激光光源为三色可调制激光光源，显微镜主体使用奥林巴斯显微镜，相机使用Andor公司的zyla USB相机(采集最大速度为每秒钟50张2048x 2048像素大小的图片)。扫描光场显微镜通过非相干数值孔径融合算法，可以将光场采集到的低分辨率图像三维重建成为高分辨率的显微图样，但对于z轴分辨率目前的重建办法仍然有所欠缺，这主要是因为扫描光场并不能同时增加z轴的信息采集。单物镜只能采集到样本荧光点一侧发出的荧光，因此，通过在样本面放置反射镜可以使得样本荧光点另一侧的荧光被收集，从而使得显微系统的z轴分辨率得以提升。本系统的主要意义在于实现了光场成像在三维尺度上均超越衍射极限，这对于一些特殊样本的观测，例如细胞内的内质网或微管系统，具有重要意义。

根据本发明实施例提出的基于反射镜扫描光场的类4pi显微成像方法，使用反射镜帮助物镜采集到更多的空间信息，与扫描光场的非相干孔径融合技术相结合，经过解混叠的重建算法将采集到的二维图像重建为三维显微图像。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种基于反射镜扫描光场的类4pi显微成像方法，其特征在于，包括：

在显微成像系统中，放置反射镜在样本上方，将微透镜阵列放置在显微镜成像的像面位置；

通过纳米级快速平移台搭载微透镜阵列在像面平移进行亚像素扫描，采集样本的空间频率分量信息；

根据所述样本的空间频率分量信息和非相干数值孔径融合算法以及经过解混叠的重建算法进行类4pi显微成像。

2.根据权利要求1所述的基于反射镜扫描光场的类4pi显微成像方法，其特征在于，

根据所述显微成像系统中物镜的参数估算所述反射镜与所述样本的距离。

3.根据权利要求1所述的基于反射镜扫描光场的类4pi显微成像方法，其特征在于，在采集样本的空间频率分量信息时，将系统焦面放置在所述反射镜的镜面上，以保证所述样本的真实信息和所述反射镜里的信息均进行采集。

4.根据权利要求1所述的基于反射镜扫描光场的类4pi显微成像方法，其特征在于，在进行类4pi显微成像时，通过对所述样本和所述反射镜同时移动来采集点扩散函数。

5.根据权利要求1所述的基于反射镜扫描光场的类4pi显微成像方法，其特征在于，根据所述样本的空间频率分量信息进行类4pi显微成像中，基于最大拟然估计的解卷积算法，在进行解卷积三维重建时，加入数字自适应像差矫正算法，根据对于线性像差的估计可以对线性像差进行矫正。

6.根据权利要求1所述的基于反射镜扫描光场的类4pi显微成像方法，其特征在于，所述显微成像系统包括：多个反射镜、物镜、二相色镜、管透镜、微透镜阵列、二维纳米级平移台、旋转装置、多个透镜组、采集相机；

二相色镜用于将激发光和被激发光分开，所述反射镜为镀银反射镜，旋转装置中间有通光孔径，用于大角度调整微透镜阵列和相机像素取向一致。

Images