CN111221118A - 一种基于相位编码单透镜的显微成像方法 - Google Patents

Abstract

本发明公开了一种基于相位编码单透镜的显微成像方法，只采用一片具有相位编码功能的单透镜进行成像，结合后续处理算法，可实现与现有精密商用显微镜相当的显微成像分辨能力，适用于野外条件下便携地进行生物组织和细胞检测。首先成像系统采用一片具有两个非球面面型的相位编码单透镜对生物样本进行成像，图像传感器位于G光照明下的生物样品的共轭位置，用于图像的采集；然后采用算法对采集到的图像进行处理：分别对采集到的图像在R\B两个通道执行自动聚焦算法，重建恢复出R\B两个通道的准焦图像；对R\G\B三个通道的准焦图像分别采用已经训练好的生成对抗神经网络(GAN)的核函数进行高分辨图像重建；最后将重建后的R\G\B图像进行图像匹配和彩色融合。

Description

一种基于相位编码单透镜的显微成像方法

技术领域

本发明属于显微成像领域，具体涉及一种基于相位编码单透镜的显微成像方法。

背景技术

目前对微观世界观察的常用的检测手段之一就是利用显微镜对采集到的生化样品进行直观的检测，例如相衬显微镜、微分干涉相衬显微镜、荧光显微镜、激光共聚焦显微镜，促进了生命科学研究水平的提高，以更高的分辨率和成像质量为疾病诊断，尤其是重大恶性疾病的早期诊断提供了有力的影像学依据，但是它们通常价格高昂，且体积较大、较为笨重，不利于在野外使用。

随着时代的发展，移动医疗和环保领域的野外生化检测对便携式生化检测和数据分析的设备的需求越来越大。实现显微设备的体积小型化、成本低廉化、操作简便化，必然能够大大降低医疗检测的门槛，为资源条件有限的地区的医疗检测、农业和环境保护领域的野外实时生化检测提供便利和实时精准的测量。

近年来，为了追求简化照明与成像光路，抛弃昂贵笨重的光学镜头及光路结构的目标，单透镜成像的概念逐渐被科研人员提起。单透镜显微成像技术能够大大降低显微镜的成本，同时为整体系统的小型化、轻量化提供更多可能性。

目前国内外针对单透镜成像基于光学元件的方法主要有以下几种：自由曲面法，梯度折射率透镜法和超透镜法。其中，自由曲面法由于透镜对大视场的所有光线无法满足光程差相等，因此难以消除所有像差，且面型加工难度大，加工质量无法保证。梯度折射率透镜法虽然能够消除球面像差，但在大空间带宽积成像系统中不能很好地工作。超透镜法通常是通过电子束光刻和聚焦离子束蚀刻在透镜表面上产生非周期纳米级结构而制成的，例如哈佛大学的Capasso在“Metalenses at visible wavelengths:Diffraction-limitedfocusing andsubwavelength resolution imaging”一文中提出利用由微纳结构构成的超透镜在可见光波段实现成像，然而，目前能够实现单镜成像的超透镜的口径都是mm以下量级，视场角较小，且加工十分复杂，尚不能应用于普通的成像设备。

发明内容

本发明的目的在于提供一种基于相位编码单透镜的显微成像方法，只需一片透镜即可实现与现有精密商用显微镜相当的显微成像分辨能力，适用于野外条件下便携地进行生物组织和细胞检测。

实现本发明目的的技术解决方案为：一种基于相位编码单透镜的显微成像方法，步骤如下：

第一步、选取若干生物样本，包括训练样本和测试样本，搭建成像系统，所述成像系统包括沿光路依次设置白光LED光源、空间滤波器、移动载物台、相位编码单透镜、图像传感器；其中，生物样本设置在移动载物台上，图像传感器位于G光照明下的生物样本的共轭位置；点亮白光LED光源产生光线，光线通过空间滤波器入射到生物样本上，再经相位编码单透镜成像并由图像传感器采集图像；不断更换生物样本，重复上述步骤采集生物样本图像；

第二步、利用自动聚焦算法对第一步采集到的生物样本图像标定每个生物样本图像的R通道的离焦图像I′_R的离焦距离和B通道的离焦图像I′_B的离焦距离，在分别得到对应的离焦距离后，以该离焦距离为参数，基于菲涅尔标量衍射方法，分别重建R通道的准焦图像I_B和B通道的准焦图像I_B；

第三步、使用与第一步中采用的成像系统等倍率的商用显微镜在同样的条件下对同样的生物样本进行图像采集，令采集到图像的R、G、B通道图像分别为C_R、 C_G和C_B，将C_G与由第一步得到的G通道的准焦图像I_G进行图像匹配得到图像对 P_G，将C_R和C_B分别与由第二步得到的R通道的准焦图像I_R和B通道的准焦图像I_B进行图像匹配得到图像对P_R和P_B，其中P_G、P_R和P_B分别包含了训练图像对和测试图像对；

第四步、利用第三步产生的训练图像对P_G、P_R和P_B，分别对生成对抗神经网络进行训练得到三个不同的图像解码核函数，得到训练好的生成对抗神经网络后，将由第三步得到的测试图像对P_G、P_R和P_B中的I_G、I_R和I_B分别输入其中进行图像解码，得到高分辨率的G通道、R通道和B通道图像；

第五步、利用图像匹配算法对第四步得到的高分辨率R通道、G通道和B 通道图片进行位置、倍率匹配，再将匹配后的图片进行彩色融合，最终得到高分辨的RGB彩色图像。

本发明与现有技术相比，其显著优点在于：

(1)实现了单透镜显微成像，成像视场大，分辨率高。

(2)设计了一种易于加工的相位编码单透镜的面型，该单透镜能大幅提高成像质量，扩大成像视场。

(3)将单透镜成像与计算解码算法结合，提高了成像分辨率。

(4)成像光路结构简单，易于搭建。

附图说明

图1是本发明一种基于相位编码单透镜的显微成像方法的成像光路图。

图2是相位编码单透镜的设计平衡像差流程图。

图3是自动聚焦算法示意图。

图4是本发明一种基于相位编码单透镜的显微成像方法流程图。

具体实施方式

下面结合附图对本发明作进一步详细描述。

结合图1-图4，本发明所述的一种基于相位编码单透镜的显微成像方法，具体步骤如下：

第一步，如图1所示搭建成像系统，所述成像系统包括沿光路依次设置白光 LED光源1、空间滤波器2、移动载物台3、相位编码单透镜5、图像传感器6 (可选择CCD或CMOS)。其中，生物样本4设置在移动载物台3上，图像传感器6位于G光照明下的生物样本4的共轭位置。点亮白光LED光源1产生光线，光线通过空间滤波器2入射到生物样本4上，再经相位编码单透镜5成像并由图像传感器6采集图像。采集到的图像具有以下特点：绿光(G)通道图像为准焦图像令其为I_G，红光(R)通道图像和蓝光(B)通道图像均为离焦图像。令红光(R) 通道的离焦图像为I＇_R和蓝光(B)通道的离焦图像为I′_B。选取若干生物样本4，包括训练样本和测试样本，不断更换生物样本4，重复上述步骤采集生物样本4图像。本实施例共采集200个生物样本图像。

所述空间滤波器2采用小孔(直径75um-1mm)或多模光纤(光纤纤芯直径为75um-1mm)，用来提高光源的空间相干性。

所述相位编码单透镜5的典型特征是：调制传递函数对所有的视场的信息具有一致性，保证成像系统是线性信号系统，且截止频率较高(调制传递函数的首个“零点”对应的频率值较大)，保证更多的信息能够“穿过”单透镜，最终被CCD/CMOS采集。

所述相位编码单透镜5的两个非球面面型(即光的入射面和出射面)的在如图一中所示的x-y-z坐标系下的表达式如下：

其中，Z为非球面上所有坐标点的集合，

为x-y坐标面上的半径，c为非球面曲率，k是非球面系数，α₁，α₂，α₃，α₄，α₅是高阶项系数。

步骤1-1、根据光轴的轴上点的PW方法和二次抛物面的参数方程，计算得到相位编码单透镜5初始结构参数如下表所示：

	R	d	k
				入射面	17.919	8	-1
出射面	-72.738	/	-1

其中R为非球面曲率半径，d为单透镜厚度，k为非球面系数。单透镜材料的折射率为n＝1.49，物距为l＝28.9mm，像距为l′＝151.3mm。

步骤1-2、在获得了透镜的初始结构后，提出了平衡像差优化方法，最终计算得到单透镜非球面面型的具体参数如下表所示：

平衡像差优化方法的流程如图2所示，具体步骤如下：

步骤1-2-1、平衡光轴上像差。在此步骤中，我们将曲率半径R设置为变量，并控制0°视场下的切向和矢向的NMTF曲线。因此，我们获得了一次更新后的单透镜结构，其在0°视场下具有几乎相同的切向和矢向的NMTF曲线。

步骤1-2-2、添加另一个离轴视场，通过最小二乘法优化该轴外视场的NMTF 曲线，使其与光轴视场近似重合。在这一步中，我们保持非球面系数k稳定，并将曲率半径R和高阶项系数α设置为变量，获得了二次更新后的单透镜结构。

步骤1-2-3、为了降低制作难度，必须在优化流程中设置制作限制，例如两个表面之间的距离应大于2mm，两个表面之间的边缘距离应大于2mm，添加这些限制后，从而获得三次更新后的单透镜结构。

步骤1-2-4、我们可以不断地逐步增加轴外视场，并通过重复步骤1-2-2和 1-2-3优化这些新视场的NMTF曲线，使其与光轴视场近似重合。

第二步，利用如图3所示的自动聚焦算法，对第一步采集到的200个生物样本图像，标定每个生物样本图像的红光(R)通道的离焦图像I′_R的离焦距离和蓝光 (B)通道的离焦图像I′_B的离焦距离。在分别得到对应的离焦距离后，以该离焦距离为参数，基于菲涅尔标量衍射方法，分别重建红光(R)通道的准焦图像I_R和蓝光(B)通道的准焦图像I_B。

以蓝光通道为例，上述自动聚焦算法，原理为白光LED光源1发出的平面光波照射下，光场从蓝光(B)通道的准焦平面u(x₀，y₀；0)传播到图像传感器6的探测平面u(x，y；z)满足方程式(1)，式中，h(x-x₀，y-y₀；z)为菲涅尔传播核函数：

u(x，y；z)＝∫∫u(x_o，y_o；0)h(x-x_o，y-y_o；z)dx_ody_o (2)

令光场从蓝光(B)通道的准焦平面传播到图像传感器6的探测平面的传播的“光程”即为离焦距离，设为z，将图像传感器6探测到的光场复振幅的强度值逆向传播，回到蓝光(B)通道的准焦平面上，得到了蓝光(B)通道的准焦平面上的复振幅分布，本自动聚焦算法就是要找准这个光程z，具体步骤包括：

步骤2-1、预估z的范围，由于本例中要计算的z值仅为蓝光(B)相对于绿光(G) 的离焦距离，理论上不会超过5000um，因此我们预估z的范围为0～5000um。

步骤2-2、在预估范围内等间隔的选择50-500个z值，针对每一z值将图像传感器6的探测平面处蓝光(B)通道的强度图像的根号值

作为光波振幅，分别逆向传播-z的距离，得到蓝光(B)通道的准焦平面上的复振幅分布u(x，y；0)。

本实施例在预估范围内选择100个z值，数量越多精度越好，但相应的计算量增大。

步骤2-3、计算每一z值下复振幅分布的模值的导数的Gini系数(Gini ofGradient，以下简称GoG)，令当GoG为最小时从蓝光(B)通道的准焦平面传播到图像传感器6探测平面的传播的“光程”为z₁；

在0≤z＜z₁范围内，找到GoG最小时对应的光程为z_zuo；

在z₁＜z≤5mm范围内，找到GoG最小时对应的光程为z_you。

步骤2-4、将z_zuo≤z≤z_you设为最新的z的范围，重复步骤2-2和步骤2-3，直到z_you-z_zuo≤1um，此时的z₁即蓝光(B)通道离焦图像的离焦距离。

第三步，使用与第一步中采用的成像系统等倍率的商用显微镜在同样的条件下对同样的生物样本4进行图像采集。令采集到图像的R、G、B通道图像分别为C_R、C_G和C_B，将C_G与由第一步得到的G通道的准焦图像I_G进行图像匹配得到图像对P_G，将C_R和C_B分别与由第二步得到的R\B准焦图像I_R和I_B进行图像匹配得到图像对P_R和P_B。P_G、P_R和P_B的数量分别为200对，在其中随机选取195对为训练样本对，剩下五对为测试样本对。

所使用的商用显微镜与第一步中的成像系统等倍率且具有相同分辨率的图像传感器6。

第四步，利用第三步产生的图像对P_G、P_R和P_B，分别对生成对抗神经网络 (GAN)进行训练得到三个不同的图像解码核函数。因为三个通道的处理方式相同，这里以G通道为例。得到训练好的生成对抗神经网络(GAN)后，将由第三步得到的5对测试样本P_G中的I_G输入其中进行图像解码，得到高分辨率的绿光(G) 通道图像。同理可得高分辨率红光(R)通道和蓝光(B)通道图片。

第四步中，所述对生成对抗神经网络(GAN)进行训练得到的图像解码核函数的原理就是求解一个最大最小优化问题。用数学公式可以表示为：

其中x表示真实图片，z表示输入G网络的噪声，G(z)表示G网络生成的图片。D(x)表示D网络判断真实图片是否真实的概率，D(G(z))是D网络判断G生成的图片的是否真实的概率。

GAN在训练过程中，采用单独交替迭代训练，首先训练鉴别器模型，假设生成器网络模型已经有了，那么就会得到一堆生成的造假样本。将假样本与目标样本输入鉴别器进行训练，并将鉴别器的损失函数反向传播就可以迭代更新鉴别器网络的参数。而对于生成网络的训练其实是对生成—判别串接网络的训练，这时要固定判别网络的参数，也就是不让它参数发生更新，只是把生成器网络的损失函数一直回传，回传到生成网络那块后更新生成网络的参数，这样就完成了生成网络的训练了。我们把这个过程称作为单独交替迭代训练，可以定义一个迭代次数，交替迭代到一定次数后停止即可。

具体步骤包括：

步骤4-1、将由第三步得到的195对测试样本对P_G中的I_G作为生成对抗神经网络(GAN)的网络的生成器(Generator)的输入(Input)，生成网络将输出一批造假样本。

步骤4-2、将由第三步得到的195对测试样本对P_G中的C_G和步骤4-1中生成器输出的造假样本作为鉴别器(Discriminator)的输入(Input)，鉴别器将输出输入的图片是否为真实的概率，概率为1时，输入为真实图片，概率为0时，输入为造假样本。

步骤4-3、按照上述图像输入方式进行神经网络的训练，根据需求调整训练步幅及训练次数，迭代更新神经网络参数获得能够实现相位编码单透镜的图像解码的核函数并采取一定的间隔进行保存。

第五步，利用图像匹配算法，对第四步得到的高分辨率红光(R)通道、绿光 (G)通道和蓝光(B)通道图片进行位置、倍率匹配。再将匹配后的图片进行彩色融合。最终得到分辨率为1um的RGB彩色图像。

以上公开的仅为本发明的具体实施例，但是本发明并非局限于此，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。显然这些改动和变型均应属于本发明要求的保护范围保护内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何特殊限制。

Claims (10)

1.一种基于相位编码单透镜的显微成像方法，其特征在于，步骤如下：

第一步、选取若干生物样本(4)，包括训练样本和测试样本，搭建成像系统，所述成像系统包括沿光路依次设置白光LED光源(1)、空间滤波器(2)、移动载物台(3)、相位编码单透镜(5)、图像传感器(6)；其中，生物样本(4)设置在移动载物台(3)上，图像传感器(6)位于G光照明下的生物样本(4)的共轭位置；点亮白光LED光源(1)产生光线，光线通过空间滤波器(2)入射到生物样本(4)上，再经相位编码单透镜(5)成像并由图像传感器(6)采集图像；不断更换生物样本(4)，重复上述步骤采集生物样本(4)图像；

第二步、利用自动聚焦算法对第一步采集到的生物样本图像标定每个生物样本图像的R通道的离焦图像I′_R的离焦距离和B通道的离焦图像I′_B的离焦距离，在分别得到对应的离焦距离后，以该离焦距离为参数，基于菲涅尔标量衍射方法，分别重建R通道的准焦图像I_R和B通道的准焦图像I_B；

第三步、使用与第一步中采用的成像系统等倍率的商用显微镜在同样的条件下对同样的生物样本(4)进行图像采集，令采集到图像的R、G、B通道图像分别为C_R、C_G和C_B，将C_G与由第一步得到的G通道的准焦图像I_G进行图像匹配得到图像对P_G，将C_R和C_B分别与由第二步得到的R通道的准焦图像I_R和B通道的准焦图像I_B进行图像匹配得到图像对P_R和P_B，其中P_G、P_R和P_B分别包含了训练图像对和测试图像对；

第四步、利用第三步产生的训练图像对P_G、P_R和P_B，分别对生成对抗神经网络进行训练得到三个不同的图像解码核函数，得到训练好的生成对抗神经网络后，将由第三步得到的测试图像对P_G、P_R和P_B中的I_G、I_R和I_B分别输入其中进行图像解码，得到高分辨率的G通道、R通道和B通道图像；

第五步、利用图像匹配算法对第四步得到的高分辨率R通道、G通道和B通道图片进行位置、倍率匹配，再将匹配后的图片进行彩色融合，最终得到高分辨的RGB彩色图像。

2.根据权利要求1所述的基于相位编码单透镜的显微成像方法，其特征在于：第一步中，所述空间滤波器(2)采用小孔或多模光纤，用于提高光源的空间相干性。

3.根据权利要求1所述的基于相位编码单透镜的显微成像方法，其特征在于，第一步中，所述相位编码单透镜(5)的典型特征是：调制传递函数对所有的视场的信息具有一致性，保证成像系统是线性信号系统，且截止频率较高，即调制传递函数的首个“零点”对应的频率值较大，保证更多的信息能够“穿过”单透镜，最终被图像传感器(6)采集。

4.根据权利要求1所述的基于相位编码单透镜的显微成像方法，其特征在于，第一步中，所述相位编码单透镜(5)的两个非球面面型的表达式如下：

其中，Z为非球面上所有坐标点的集合，

为x-y坐标面上的半径，c为非球面曲率，k是非球面系数，α₁，α₂，α₃，α₄，α₅是高阶项系数。

5.根据权利要求4所述的基于相位编码单透镜的显微成像方法，其特征在于，所述相位编码单透镜(5)的两个非球面面型的具体参数计算采用如下方式：

步骤1-1、根据光轴的轴上点的PW方法和二次抛物面的参数方程，计算得到相位编码单透镜(5)初始结构参数；

步骤1-2、在获得了透镜的初始结构后，提出了平衡像差优化方法，最终计算得到单透镜非球面面型的具体参数。

6.根据权利要求5所述的基于相位编码单透镜的显微成像方法，其特征在于，所述平衡像差优化方法的具体步骤如下：

步骤1-2-1、平衡光轴上的像差：将曲率半径R设置为变量，并控制0°视场下的切向和矢向的NMTF曲线，进而获得了一次更新后的单透镜结构，其在0°视场下具有几乎相同的切向和矢向的NMTF曲线；

步骤1-2-2、添加另一个离轴视场，通过最小二乘法优化该轴外视场的NMTF曲线，使其与光轴视场近似重合，并保持非球面系数k稳定，并将曲率半径R和高阶项系数α设置为变量，获得了二次更新后的单透镜结构；

步骤1-2-3、为了降低制作难度，必须在优化流程中设置制作限制：限制两个表面之间的距离应大于2mm，两个表面之间的边缘距离应大于2mm，从而获得三次更新后的单透镜结构；

步骤1-2-4、重复步骤1-2-2和1-2-3，通过不断地逐步增加轴外视场，优化这些新轴外视场的NMTF曲线，使其与光轴视场近似重合。

7.根据权利要求1所述的基于相位编码单透镜的显微成像方法，其特征在于：第一步中，图像传感器(6)采集到的图像具有以下特点：G通道图像为准焦图像令其为I_G，R通道图像和B通道图像均为离焦图像，令R通道的离焦图像为I′_R，B通道的离焦图像为I′_B。

8.根据权利要求6所述的基于相位编码单透镜的显微成像方法，其特征在于，步骤2-2中，合适的计算间隔根据预估范围和计算量的大小进行确定。

9.根据权利要求1所述的基于相位编码单透镜的显微成像方法，其特征在于：所述图像传感器(6)采用CCD或CMOS。

10.根据权利要求1所述的基于相位编码单透镜的显微成像方法，其特征在于：第四步中，采用生成对抗神经网络进行训练得到图像解码核函数，具体如下：

步骤4-1、将由第三步得到的测试样本对P_G、P_R和P_B中的I_G、I_R和I_B作为生成对抗神经网络的网络的生成器的输入Input，生成网络将输出一批造假样本；

步骤4-2、将由第三步得到的测试样本对P_G、P_R、P_B中对应的C_G、C_R、C_B以及生成器输出的造假样本作为鉴别器的输入，鉴别器将输出输入的图片是否为真实的概率，概率为1时，输入为真实图片，概率为0时，输入为造假样本；

步骤4-3、按照上述图像输入方式进行神经网络的训练，根据需求调整训练步幅及训练次数，迭代更新神经网络参数获得能够实现相位编码单透镜的图像解码的核函数并采取一定的间隔进行保存。

Images