CN104181686A

CN104181686A - 基于fpm的光场显微方法

Info

Publication number: CN104181686A
Application number: CN201410421367.0A
Authority: CN
Inventors: 张永兵; 蒋伟鑫; 戴琼海
Original assignee: Shenzhen Graduate School Tsinghua University
Current assignee: Shenzhen International Graduate School of Tsinghua University
Priority date: 2014-08-25
Filing date: 2014-08-25
Publication date: 2014-12-03
Anticipated expiration: 2034-08-25
Also published as: CN104181686B

Abstract

一种基于FPM的光场显微方法，包括以下步骤：搭建基于FPM的光场显微平台；用基于FPM的光场显微平台采集高分辨率广视野的图像；对得到的高分辨率广视野图像进行视角分离；利用视角分离的结果重聚焦获得想要得到的结果。本发明使用基于FPM算法的光场显微镜来采集光场信息，提高了光场显微镜中每一个微透镜成像的分辨率，提高了角度分辨率，从而丰富了采集到的光场信息，使得物体能重建更好的三维结构。

Description

基于FPM的光场显微方法

技术领域

本发明属于显微成像、计算机视觉、计算机图形学领域，尤其是立体图形学领域，特别涉及利用FPM算法捕获重建显微光场的技术。

技术背景

Fourier ptychographic microscopy(FPM)是一种基于显微镜平台的图像超分辨率重建的方法，可以有效克服空间带宽积(space bandwidth product)受限的矛盾问题。常见的光学成像平台都会受到空间带宽积的限制，即如果我们观察的视野范围比较广，那么观测物体的放大倍数就会偏小；反之，如果我们观测物体的放大倍数比较大，那么视野的范围就会缩小。而FPM算法很好地解决了这一问题，让我们能够获取广视野、高分辨率的图像，由此，突破了光学成像系统的物理极限。

随着光学和计算摄像学的发展，人们已经不能满足只记录图像的强度信息，因此，基于全光函数的思想，人们设计出可以捕获包含入射光强度和角度信息的光场相机。基于这种光场相机，人们设计了光场显微镜用以捕获显微镜下的光场信息。光场显微镜的出现为物体的三维结构重建提供了新的思路。

发明内容

本发明的目的在于提供一种基于FPM的光场显微方法。

本发明基于FPM的光场显微方法包括以下步骤：

搭建基于FPM的光场显微平台；

用基于FPM的光场显微平台采集高分辨率广视野的图像；

对得到的高分辨率广视野图像进行视角分离；

利用视角分离的结果重聚焦获得想要得到的结果。

本发明使用基于FPM算法的光场显微镜来采集光场信息，提高了光场显微镜中每一个微透镜成像的分辨率，提高了角度分辨率，从而丰富了采集到的光场信息，使得物体能重建更好的三维结构。其算法鲁棒性强，基本自动化运行，需要很少的人工干预。

附图说明

图1为一些实施例基于FPM的光场显微方法的流程图；

图2为其光场显微镜的示意图；

图3为其光场显微镜的光路图；

图4为光场显微镜的工作流程图；

图5为其基于FPM图像超分辨率重建模块的结构图；

图6为其可编程LED阵列的示意图；

图7为FPM算法的流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1所示，一些实施例基于FPM的光场显微方法包括以下步骤：

S1、搭建基于FPM的光场显微平台。这里所搭建的基于FPM的光场显微平台主要包含了两个模块：一个是光场信息采集模块，另一个是基于FPM的图像超分辨率重建模块。

光场信息采集模块也就是光场显微镜。光场显微镜的结构如图2所示，光路如图3所示，工作过程如图4所示。相比于普通的显微镜，光场显微镜在原来目镜的位置放置了一个微透镜阵列。

如图5所示，基于FPM的图像超分辨率重建模块包括显微镜和可编程LED阵列，可编程LED阵列作为显微镜的光源。这里的显微镜和上述的光场显微镜为同一个显微镜。如图6所示，较佳实施例中，LED阵列的规模为32X32，相邻两个LED之间的距离为4mm。LED阵列与载物台之间的距离一般选择7～8cm。

参照图1，搭建基于FPM的光场显微平台包括：选择合适的物镜，选择合适的微透镜阵列，校准光路，以及固定LED阵列。选择物镜、校准光路以及固定LED阵列为常规技术手段，这里不再赘述。微透镜阵列的选择如下：

每个微透镜的曲率为

N = \frac{M}{2 NA}

M表示物镜的放大倍数，NA为物镜的数值孔径；

每个微透镜所成像的分辨率为

N_{u} * N_{v} = \frac{W * H}{R_{obj}}

N_u*N_v表示微透镜成像的分辨率，W*H表示微透镜阵列的规模，R_obj表示样本上两点间的最小距离，

R_{obj} = \frac{0.74 λ}{NA} M

λ表示光线的波长。

S2、用基于FPM的光场显微镜采集高分辨率广视野的图像，具体包括以下步骤：

S2-1、确定样本正下方的LED(以下称作中心LED)的位置。一种方法是：固定一个曝光时间，LED阵列上的灯逐点发光，用成像传感器(如CCD传感器等)采集每一张图像。计算图像的亮度分布，估计中心LED的位置。

S2-2、确定LED阵列中各个LED对应的曝光时间。一种方法是：选定几个不同的曝光时间，LED阵列上的灯逐点发光，用成像传感器(如CCD传感器等)采集每一张图像，筛选每个LED对应的图像，确定每个LED对应需要的曝光时间。主要的原则是：1、曝光时间尽可能选择短的，但是一定保证基本保留了图像信息；2、与中心LED距离相同LED所需要的曝光时间应该一样。一些实施例中，最终确定的LED阵列中心14X14 LED对应的曝光时间如下：

30	30	30	30	30	30	30	30	30	30	30	30	30	30
														30	30	30	30	30	30	30	30	30	30	30	30	30	30
30	30	30	30	30	30	30	30	30	30	30	30	30	30
														30	30	30	30	30	10	10	10	10	30	30	30	30	30
30	30	30	30	10	5	5	5	5	10	30	30	30	30
														30	30	30	10	5	1	1	1	1	5	10	30	30	30
30	30	30	10	5	1	1	1	1	5	10	30	30	30
														30	30	30	10	5	1	1	1	1	5	10	30	30	30
30	30	30	10	5	1	1	1	1	5	10	30	30	30
														30	30	30	30	10	5	5	5	5	10	30	30	30	30
30	30	30	30	30	10	10	10	10	30	30	30	30	30
														30	30	30	30	30	30	30	30	30	30	30	30	30	30
30	30	30	30	30	30	30	30	30	30	30	30	30	30
														30	30	30	30	30	30	30	30	30	30	30	30	30	30

S2-3、用计算机控制LED阵列中LED逐点发光，同时控制成像传感器选取对应的曝光时间来采集图像，得到低分辨率广视野图像。

S2-4、分别对各个微透镜所成的自图像进行FPM算法，获得与微透镜相同数量的高分辨率广视野图像；每个微透镜所成的自图像为不同LED光照下通过该微透镜所成的复数个低分辨率广视野图像。图7示出了一种FPM算法的流程。参照图7，应用FPM算法处理低分辨率图像恢复高分辨率图像的流程包括以下步骤：

i.对结果做初始猜测

ii.将初始猜测做傅里叶变换得到

iii.在傅里叶变换的结果中选取一块子区域

iv.将选取的子区域做傅里叶逆变换得到

v.用采集到的图像Im替换提取区域的幅值，得到

vi.将替换后的结果做傅里叶变换得到替换原子区域；

vii.依次选取各个子区域，重复步骤iii至步骤vi。

S3、对得到的高分辨率广视角的图像进行视角分离。视角分离可以采用现有的各种视角分离方法，如光场相机中使用的视角分离方法。一种方法包括以下步骤：a)确定每个微透镜对应成像传感器的区域；b)选择每个区域的对应点，分离各个视角的图像。

S4、利用视角分离的结果重聚焦获得想要得到的结果。重聚焦算法可以采用现有的各种重聚焦算法，如各种光场相机中使用的重聚焦算法。

Claims

1.一种基于FPM的光场显微方法，其特征在于包括以下步骤：

搭建基于FPM的光场显微平台；

用基于FPM的光场显微平台采集高分辨率广视野的图像；

对得到的高分辨率广视野图像进行视角分离；

利用视角分离的结果重聚焦获得想要得到的结果。

2.根据权利要求1所述的基于FPM的光场显微方法，其特征在于，所述光场显微平台包括光场显微镜和基于FPM的图像超分辨率重建模块，光场显微镜设置有成像传感器，光场显微镜的目镜为微透镜阵列，所述基于FPM的图像超分辨率重建模块包括可编程LED阵列，该可编程LED阵列作为所述光场显微镜的光源。

3.根据权利要求2所述的基于FPM的光场显微方法，其特征在于，所述搭建基于FPM的光场显微平台包括：选择合适的物镜，选择合适的微透镜阵列，校准光路，以及固定LED阵列。

4.根据权利要求3所述的基于FPM的光场显微方法，其特征在于，微透镜阵列的每个微透镜的曲率为

N = \frac{M}{2 NA}

M表示物镜的放大倍数，NA为物镜的数值孔径；

每个微透镜所成像的分辨率为

N_{u} * N_{v} = \frac{W * H}{R_{obj}}

R_{obj} = \frac{0.74 λ}{NA} M

λ表示光线的波长。

5.根据权利要求1所述的基于FPM的光场显微方法，其特征在于，所述用基于FPM的光场显微平台采集高分辨率广视野的图像包括：

确定样本正下方的LED的位置；

确定LED阵列中各个LED对应的曝光时间；

控制LED阵列中LED逐点发光，同时控制成像传感器选取对应的曝光时间来采集图像，得到低分辨率广视野图像；

分别对各个微透镜所成的自图像进行FPM算法，获得与微透镜相同数量的高分辨率广视野图像；每个微透镜所成的自图像为不同LED光照下通过该微透镜所成的复数个低分辨率广视野图像。

6.根据权利要求1所述的基于FPM的光场显微方法，其特征在于，所述对得到的高分辨率广视野图像进行视角分离包括：确定每个微透镜对应成像传感器的区域；选择每个区域的对应点，分离各个视角的图像。