CN105974573A - 一种基于微透镜阵列的光场光谱显微成像方法及系统 - Google Patents

Abstract

本发明提出了一种将微透镜阵列和显微物镜及光谱分光系统相结合构成的光场光谱显微成像方法及系统,能够在一个积分时间内获取物体的光场和光谱五维向量信息，该成像系统前置物镜选用显微物镜，给微小物质的组成成分的探测提供了方便；微透镜阵列放置在显微物镜的像平面位置，前端显微物镜和微透镜阵列构成光场显微成像系统，微透镜阵列的像平面可获取样本的四维光场信息；因此微透镜阵列后记录的光场信息同时经分光系统传播到探测器平面，光场光谱显微成像系统可以在不需要扫描的情况下获取样本整体的光谱信息；探测器放置在分光系统的像平面位置，对前端光路结构捕获的五维向量数据进行算法重构可以获得不同波长及不同视角的物体信息。

Description

一种基于微透镜阵列的光场光谱显微成像方法及系统

技术领域

本发明涉及光学成像技术，基于微透镜阵列的光场成像技术以及基于光栅分光系统和棱镜分光系统的光谱成像技术。

技术背景

显微成像系统广泛应用于医药、生物等多个领域，但是目前的显微系统由于景深短，成像模式单一。这种观测方法，对于样本本身要求极高，一般都需要进行切片或者染色等方式，才能获得较为清晰的图像以及实现对某些特定成分的区分。样片制作工艺繁琐，并且会破坏目标成分，同时一次观测只能看到深度范围很小的物体，因此在观察较厚的物体时需要翻动样本，在这个过程中样本容易遭到破坏。在物质鉴别方面，传统成像光谱技术需要采用多次曝光扫描的方式获取物体的空间—光谱信息，且扫描的过程需要一定的扫描时间容易引进运动模糊和像差，无法在一次曝光时间内获得完整的数据立方体信息，对运动物体难以进行实时快速的监测。因此人们对可获得物体立体信息的显微成像系统以及可以在一次曝光时间内就可获得物体空间—光谱信息的成像光谱仪的需求在增加。

微透镜阵列作为新型的计算成像元件，凭借单元透镜直径小、对光信息有很好的聚焦、准直、交换、多重成像和综合成像的能力，在光纤通信与传感、光谱信息处理以及光信息计算方面发挥了极为重要的作用，越来越受到各行各业的重视。微透镜阵列是由很多相同或者不同的小透镜按照阵列方式排列组成的。近年来，国内外很 多研究人员对微透镜阵列做了研究，将微透镜阵列和传统成像物镜相结合构成光场成像系统。光场成像系统可同时记录物体的空间信息和光线传播的方向信息。光场成像系统探测器平面记录的是物体的中间像并不能直接被人眼观察，需通过后期重构算法对探测器获得的数据进行处理以获得不同视场角信息，这也是光场成像系统的计算成像特性。光场成像技术相对于传统光学成像技术，在信息获取上具有很大的优势，它的多维信息获取能力，为一次曝光时间内获取目标物体的空间—光谱信息提供了新的方法。

文献[Marc Levoy,Ren Ng,Andrew Adams,Matthew Footer,Mark Horowtz“Light Field Microscope(2006)”]文章中将传统显微物镜和微透镜阵列相结合设计了一套基于微透镜阵列的光场显微镜，将微透镜阵列放置于显微物镜的像平面位置，探测器平面放置在微透镜阵列的像平面位置，探测器记录被测样本的光场信息，通过后期重构算法对探测器记录的数据进行处理可获得不同视场角的图像。但是光场显微镜只能用于对样本的外貌形态进行观察，不能对样本的组成成分进行探测。文献[Andrew Bodkin,A.Sheinis,A.Norton“Snapshot Hyperspectral Imaging-the Hyperpixel Array Camera(2015)”]设计了一套快照式成像光谱仪，文中利用小孔阵列作为快照式成像光谱仪中的调制原件，前置物镜为照相物镜，分光系统为棱镜分光系统。将小孔阵列放置在照相物镜的焦平面位置，分光系统整体接在照相物镜和小孔阵列后方，且小孔阵列放置在分光系统的狭缝位置代替狭缝。因此照相物镜拍摄得到的物平面信息整体经 过分光系统同时传播到探测器平面，在一次积分时间内可获得物体平面—光谱信息。但是这套系统适合用于对远处的物体进行成像分光，难以对微小物质的组成成分进行鉴定。且小孔阵列的光通量低，加大了曝光时间，无法应用于快速变化或移动的目标。

发明内容

本发明针对现有技术存在的不足提供了新的方法，主要解决的技术问题在于：设计了一种可以在一次曝光时间内获取物体空间—光谱五维向量信息的光场光谱显微成像系统。光场光谱显微成像系统给微小物质组成成分的探测提供了一种新的方式。本发明适用于生物医疗检测系统对细胞样本组成成分的探测。

具体地，本发明采用的技术方案是：

一种基于微透镜阵列的光场光谱显微成像方法，包括以下步骤：

1).设计成像系统并搭建光场光谱显微成像系统步骤：主要由在光轴上依次设置的显微物镜、微透镜阵列、分光系统以及探测器构成，其中微透镜阵列放置在显微物镜的像平面位置，显微物镜和微透镜阵列构成前端光场显微成像系统，显微物镜F数大于微透镜阵列微透镜阵列F数。微透镜阵列上每两个相邻透镜小透镜成的像之间有一定空隙，给后期信息经分光系统色散做准备，当微透镜阵列后的光场信息经分光系统传播到探测器平面时，不同谱段信息按照分光原理沿某个方向色散到探测器平面，将微透镜阵列像平面无效的位置充分利用起来；当显微物镜F数等于微透镜阵列F数时，微透镜阵列像平面上每两个相邻的小透镜成的像互相相切，微透镜阵 列后的光场信息经分光系统传播到探测器平面时，不同谱段信息互相重叠，后期难以通过算法将不同谱段信息分离；当显微物镜F数小于微透镜阵列F数时，微透镜阵列像平面上每两个相邻小透镜成的像互相重叠，当微透镜阵列后的光场信息经分光系统传播到探测器平面上时，光谱信息互相重叠，难以观察到明显的分光现象，给后期重构算法带来了较大难度。微透镜阵列微透镜阵列F数要大于分光系统的F数可以明显减小系统像差。

2).记录样本的空间光谱五维向量信息步骤：样本经光场显微成像系统后获得样本的四维光场向量信息，经由分光系统分光在探测器中获得样本的空间光谱五维向量信息。分光系统整体位于显微物镜和微透镜阵列构成的光场显微成像系统后端，当样本经光场光谱显微成像系统后，探测器拍摄的图片为样本经光场光谱显微成像系统成像时子图像阵列，且阵列中的每个子图像中不同波长按照分光原理进行色散。探测器平面记录的为样本的空间—光谱五维向量信息，假设分光系统为光栅分光系统，样本平面信息为f(ζ,η)，整个系统的点扩散函数为h(u,v,ζ,η)，探测器像平面函数为g(t,w)，则

g(t,w)＝f(ξ,η)*h(u,v,ξ,η)(1)

式中h(x,y)是指点光源经过系统传播之后到达探测器的点扩散函数，首先看点光源经物镜传播到微透镜阵列前表面的光场函数根据式(1)可得：

$\begin{array}{c}{h}_1(u,v,\mathrm{\ζ},\mathrm{\η})=\frac{e^{{\mathrm{jkz}}_1}}{{\mathrm{\λ}}^2{z}_1{z}_2}\exp \[\frac{jk}{2z_2}(u^2+v^2)\]\exp \[\frac{jk}{2z_1}({\mathrm{\ζ}}^2+{\mathrm{\η}}^2)\]\\ \∫{\mathrm{dxdyP}}_1(x,y)\exp \[\frac{jk}{2}(\frac{1}{z_1}+\frac{1}{z_2}+\frac{1}{z_3})(x^2+y^2)\]\\ \exp \{-\frac{jk}{z_2}\[(u-M\mathrm{\ζ})x+(v-M\mathrm{\η})y\]\}\end{array}---\left(2\right)$

式中λ为成像波长，波数k＝2π/λ，M是指物从物平面传播到物镜的像平面的放大倍率M＝z₂/z₁，将式中的x和y分别用x’＝x/λz₂，y’＝y/λZ₂替换，且将式(2)中的入瞳函数的傅里叶变换定义为h’，即：

因此点光源经物镜传播到微透镜阵列前表面时的光场信息可化简为：

$\begin{array}{c}{h}_1(u,v;\mathrm{\ζ},\mathrm{\η})=e^{{\mathrm{jkz}}_1}\exp \[\frac{jk}{2z_2}(u^2+v^2)\]\exp \[\frac{jk}{2z_1}({\mathrm{\ζ}}^2+{\mathrm{\η}}^2)\]\\ h^{\′}(u-M\mathrm{\ζ},v-M\mathrm{\η})\end{array}---\left(4\right)$

假设微透镜阵列是由M×N相同的小透镜构成的透镜阵列，当光源传播到微透镜阵列后表面再到探测器时，只需计算单个透镜传播的情况，在单透镜成像的基础上乘梳妆函数即可表示光场函数传播的情况。光信息经系统整体传播后的点扩散函数为：

$\begin{array}{c}PSF(t,w,{\mathrm{\ζ}}^{\′},{\mathrm{\η}}^{\′})=|\frac{e^{{\mathrm{jkz}}_1}{e}^{{\mathrm{jkz}}_3}}{{\mathrm{j\λz}}_3{M}^2}\exp \[\frac{jk}{2z_3}(u^2+v^2)\]\\ \underset{m}{\Σ}\underset{n}{\Σ}\exp \{\frac{-jk}{2f_2}\[{\left({\mathrm{mD}}_2\right)}^2+{\left({\mathrm{nD}}_2\right)}^2\]\}\\ \∫\∫{\mathrm{dudvP}}_2(u-{\mathrm{mD}}_2,v-{\mathrm{nD}}_2)\\ \exp \{-jk\[u(\frac{t}{z_3}-\frac{{\mathrm{mD}}_2}{f_2})+v(\frac{w}{z_3}-\frac{{\mathrm{nD}}_2}{f_2})\]h^{\′}(u-{\mathrm{\ζ}}^{\′},v-{\mathrm{\η}}^{\′}){|}^2\end{array}---\left(5\right)$

微透镜阵列后的信息经分光系统后探测器上即可获得样本五维 向量信息。考虑分光系统为光栅分光时，当光在子午面内入射时光栅衍射方程为：

${\mathrm{\α}}_1=2\arcsin \left(\frac{h_1}{R_1}\right)---\left(6\right)$

d(sin(φ)-sin(α₁))＝mλ (7)

式中h₁为入射光线高度，φ表示光栅的衍射角度，α₁表示光线在光栅表面的入射角度，R₁为反射平面的半径，d为光栅常数。由公式(6)、(7)可得光子午面内入射时光栅衍射方程为：

$d\left(sin\right(\mathrm{\φ})-\frac{h_1}{R_1})=m\mathrm{\λ}---\left(8\right)$

当光不在子午面内入射时有光栅衍射方程：

$dcos\left(\mathrm{\θ}\right)\left(sin\right(\mathrm{\φ})-\frac{h_1}{R_1})=m\mathrm{\λ}---\left(9\right)$

式中θ是指光线不在子午面内入射时水平方向内与光栅的夹角。在光场显微成像光谱仪结构中

h₁＝PSF(t,w,ζ',η')+h₀ (10)

h₀是指微透镜阵列底部与光轴之间的距离，h₀为常数，在光场显微成像光谱仪分光系统中h₁是入射光线与光轴之间的距离。将公式(10)带入到公式(8)或(9)中即可得到光场光谱显微成像系统探测器平面获得的五维谱场向量。

3).对探测器平面记录的五维向量进行后期算法重构获得不同视场角及不同波长物体的信息步骤：微透镜阵列对应于探测器像面上相同位置的像元为同一个波长某一个相同视场角信息，将相同位置探测器像元的像素提取出来，获取不同波长不同视场角物体的信息。 假设微透镜阵列中的每个小透镜对应N×N个探测器像元，微透镜阵列对应于探测器像面上相同位置的像元为同一个波长某一个相同视场角信息，将相同位置探测器像元的像素提取出来就可以获得不同波长不同视场角物体的信息。

基于上述方法，本发明提供一种基于微透镜阵列的光场光谱显微成像系统，主要由在光轴上依次设置的显微物镜、微透镜阵列、分光系统以及探测器构成，其中微透镜阵设置在显微物镜的像平面位置，显微物镜F数大于微透镜阵列微透镜阵列F数。

上述技术方案中，所述的分光系统由准直元件、分光元件以及用于将光线汇聚在探测器上的成像元件组成。

所述的分光元件为分光棱镜或者光栅。

所述的微透镜阵列由若干个抛物面镜阵列组成。

优选的技术方案，分光系统为offner分光系统，分光元件为凸面光栅。

优选的技术方案，所述的微透镜阵列F数大于分光系统的F数。

所述的分光系统中分光元件为反射型光栅或者透射型光栅。

所述的基于微透镜阵列的光场光谱显微成像系统，所述的微透镜阵列材为透明的玻璃或者树脂塑料。

优选的技术方案，显微物镜的F数为31.25；微透镜阵列中每个小透镜尺寸为300μm×300μm的方形口径，微透镜阵列个数为80×80个，材料为石英玻璃，曲率半径1.35，面型为抛物面面型，微透镜阵列F数10；分光系统中分光元件为凸面光栅，分光系统的F 数为5。

由于上述技术方案运用，本发明与现有技术相比具有下列优点：

本发明设计的光场光谱显微成像系统区别于传统显微成像系统和成像光谱系统，可以在一次曝光时间内获得物体的光场及光谱五维向量信息而不是传统成像光谱仪探测器平面记录的三维数据立方体信息。光场光谱显微成像系统主要由显微物镜、微透镜阵列和光谱分光系统构成，前端显微物镜和微透镜阵列构成光场显微成像系统，在微透镜阵列像平面位置可获得被探测样本的四维光场信息。与现有的光场显微镜不同的是光场光谱显微成像系统中显微物镜的F数要求大于微透镜阵列F数，因此微透镜阵列像平面上每两个相邻的小透镜成的像之间有一定空隙，后期不同波长的信息按照分光原理将前端光场显微成像系统中无效的地方占满。分光系统整体位于显微物镜和微透镜阵列后方，微透镜阵列像平面获得的四维光场信息经分光系统后每个小透镜成的像经分光系统后同时色散，给微小物质的组成成分的探测提供了一种新的方式。

附图说明

图 1为本发明设计的基于微透镜阵列的光场光谱显微成像系统示意图；

图 2为本发明设计的棱镜分光系统的光场光谱显微成像系统光路结构；

图 3为本发明设计的光栅分光系统的光场光谱显微成像系统光路结构；

图 4为本发明设计的光场光谱显微成像系统软件模拟探测器平面成像结果；

图 5为本发明设计的光场光谱显微成像系统软件实验平台搭建；

图 6为本发明设计的光场光谱显微成像系统实验采集图片；

图 7为本发明设计的光场光谱显微成像系统后期重构算法流程图；

图 8为本发明设计的光场光谱显微成像系统后期重构算法示意图；

图 9为本发明设计的光场光谱显微成像系统算法重构图片；

图 10为本发明设计的光场光谱显微成像系统采用棱镜分光时各部分参数；

图 11为本发明设计的光场光谱显微成像系统采用光栅分光时各部分参数。

其中，1为样本，2为显微物镜，3为微透镜阵列，4为准直物镜，5为分光元件，6为成像物镜，7为探测器，8为棱镜，9为光栅，10为反射镜，11为反射镜，12为被成像物体，13为微透镜阵列像平面上的像，14为探测器平面像，15为14的局部放大像，16为实验结果，17为16的局部放大像。

具体实施方式

下面结合附图及实施例对本发明作进一步描述：

实施例一：基于微透镜阵列的光场光谱显微成像方法，图 1为整体光路结构原理图，图中各元件按照光路传播顺序为样本1，显微 物镜2，微透镜阵列3，准直系统4，分光元件5，成像系统6，探测器7，光场光谱显微成像系统主要包括以下步骤：

步骤1，对光场光谱显微成像系统进行设计，将微透镜阵列放置在显微物镜像平面的位置，分光系统整体接在显微物镜及微透镜阵列后端，微透镜阵列位于分光系统狭缝处取代狭缝，探测器位于分光系统的像平面位置，用于接收样本经系统整体成的像便于后期重构算法对探测器记录的信息进行处理。

步骤2，数据采集，主要包括软件模拟和实验平台搭建，通过软件对光场光谱显微成像系统进行模拟，对显微物镜和微透镜阵列的F数进行调整，使得光谱分光时不同谱段信息将微透镜阵列像平面中无效成像位置充分利用，获得较好的成像效果。由于选择显微物镜的F数大于微透镜阵列的F数，因此微透镜阵列像平上获得

模拟时分光系统做了两种方案，包括棱镜分光系统及光栅分光系统两种。棱镜分光系统式光场光谱显微成像系统光路结构见附图 2，棱镜分光式光场光谱显微成像系统主要包括显微物镜，微透镜阵列3，双高斯准直系统5，分光棱镜8，成像系统6.探测器，光栅分光系统的光场光谱显微成像系统光路结构见附图 3，图中用到了光栅9，反射镜10，反射镜11；系统模拟结果见附图 4，主要包括被成像物体12，微透镜阵列像平面上的像13，探测器像平面上的像14，以及像平面上局部放大像15。选择合适参数搭建实验平台，实验光路见附图 5，实验光路主要包括样本1，显微物镜2，微透镜阵列3，准直物镜4，分光棱镜8，成像物镜6，探测器7，实验时被成像物 体选用直径60μm的蚕丝，实验结果见附图 6，主要包括探测器像平面像16，局部放大的像17。由模拟结果及实验结果可得，光场光谱显微成像系统在获得物体的光场信息的同时将光场信息以不同角度进行色散。

步骤3，算法重构，假设微透镜阵列中的每个小透镜对应N×N个探测器像元，微透镜阵列对应于探测器像面上相同位置的像元为同一个波长某一个相同视场角信息，将相同位置探测器像元的像素提取出来就可以获得不同波长不同视场角物体的信息，重构算法流程图及示意图见附图 7、附图 8，重构结果见附图 9。

实施例二：基于微透镜阵列的光场光谱显微成像系统，光场光谱显微成像系统用25倍放大倍率，数值孔径0.4，共轭距离195mm，焦距7.2mm，显微物镜的F数为31.25；微透镜阵列中每个小透镜尺寸为300μm×300μm的方形口径，微透镜阵列个数为80×80个，材料为石英玻璃，曲率半径1.35，厚度1mm，面型为抛物面面型，微透镜阵列F数10；分光系统为棱镜分光系统时系统的F数为6.7；具体参数见附图 10，分光系统为光栅分光系统时，分光系统为offner分光系统，分光元件为凸面光栅，分光系统的F数为5，物方数值孔径0.104，平均线色散5.205μm/nm，分光系统的具体参数见附图 11。

Claims (10)

1.一种基于微透镜阵列的光场光谱显微成像方法，包括以下步骤：

1).设计并搭建光场光谱显微成像系统的步骤：设计主要由在光轴上依次设置的显微物镜、微透镜阵列、分光系统以及探测器构成的光场光谱显微成像系统，其中微透镜阵列放置在显微物镜的像平面位置，显微物镜和微透镜阵列构成前端光场显微成像系统，显微物镜F数大于微透镜阵列微透镜阵列F数；

2).记录样本的空间光谱五维向量信息的步骤：样本经光场显微成像系统后获得样本的四维光场向量信息，经由分光系统分光在探测器中获得样本的空间光谱五维向量信息；

3).对探测器平面记录的五维向量进行后期算法重构获得不同视场角及不同波长物体的信息步骤：微透镜阵列对应于探测器像面上相同位置的像元为同一个波长某一个相同视场角信息，将相同位置探测器像元的像素提取出来，获取不同波长不同视场角物体的信息。

2.一种基于微透镜阵列的光场光谱显微成像系统，其特征在于：主要由在光轴上依次设置的显微物镜(2)、微透镜阵列(3)、分光系统以及探测器(7)构成，其中微透镜阵设置在显微物镜的像平面位置，显微物镜F数大于微透镜阵列微透镜阵列F数。

3.根据权利要求2所述的基于微透镜阵列的光场光谱显微成像系统，其特征在于：所述的分光系统由准直元件(4)、分光元件(5)以及用于将光线汇聚在探测器上的成像元件(6)组成。

4.根据权利要求3所述的基于微透镜阵列的光场光谱显微成像系统，其特征在于：所述的分光元件为分光棱镜或者光栅。

5.根据权利要求2所述的基于微透镜阵列的光场光谱显微成像系统，所述的微透镜阵列由若干个抛物面镜阵列组成。

6.根据权利要求3所述的基于微透镜阵列的光场光谱显微成像系统，分光系统为offner分光系统，分光元件为凸面光栅。

7.根据权利要求2～6之一所述的基于微透镜阵列的光场光谱显微成像系统，所述的微透镜阵列F数大于分光系统的F数。

8.根据权利要求2～3、5～6之一所述的基于微透镜阵列的光场光谱显微成像系统，所述的分光系统中分光元件为反射型光栅或者透射型光栅。

9.根据权利要求2～6之一所述的基于微透镜阵列的光场光谱显微成像系统，所述的微透镜阵列材为透明的玻璃或者树脂塑料。

10.根据权利要求2～3、5～6之一所述的基于微透镜阵列的光场光谱显微成像系统，显微物镜的F数为31.25；微透镜阵列中每个小透镜尺寸为300μm×300μm的方形口径，微透镜阵列个数为80×80个，材料为石英玻璃，曲率半径1.35，面型为抛物面面型，微透镜阵列F数10；分光系统中分光元件为凸面光栅，分光系统的F数为5。