CN113160212B - 基于led阵列位置误差快速校正的傅里叶叠层成像系统及方法 - Google Patents

Abstract

本发明属于光学成像领域，公开了一种基于LED阵列位置误差快速校正的傅里叶叠层成像系统及方法。包括1、搭建傅里叶显微成像系统；2、每次点亮n颗LED，从LED阵列最中心开始，逆时针螺旋遍历，直到点亮所有LED。每次点亮LED时，对每颗LED在规定的八个不同的方向上进行随机的位移，求出代价函数，取最小代价函数对应的位移量，进而更新光瞳函数和样品函数，再点亮下一组LED，进行下一次循环，直到点亮完所有LED，减少频移量的步长，继续大循环数次。3、计算重建图像。系统经过点亮多颗LED，在快速重建图像的同时快速了LED阵列位置的误差校正，提高了FPM重建恢复图像的速度和LED阵列误差校正的速度。

Description

基于LED阵列位置误差快速校正的傅里叶叠层成像系统及 方法

技术领域

本发明属于光学成像领域，尤其涉及一种基于LED阵列位置误差快速校正的傅里叶叠层成像系统及方法。

背景技术

现在显微镜已经广泛应用于各种生物医学，数理病理学等，但是传统显微镜的大视场与高分辨率是不可兼得的，为了提高空间带宽积，提出了傅里叶叠层显微成像技术，该技术既可获得高分辨率，又可以获得宽视场，在医疗、生物等多个领域具有广泛应用前景。

传统的傅里叶叠层显微成像技术通过牺牲时间效率来提高空间分辨率，往往要采集上百幅不同照明角度的图像来进行迭代还原出高分辨率的图像，采集过程中耗费了大量的时间。例如Guoan Zheng等人在2013年发表的《Wide-field，high-resolution Fourierptychographic microscopy》就是通过对几百幅低分辨率图像进行重建，还原出高分辨率的图像。

LED阵列位置的误差也会引起成像质量的效果，如果一个LED元件的入射角因为LED位置问题有所偏差，使得相应的记录图像变成暗场图像而不是明场图像，在不进行定位校正的情况下，这将大大降低常规傅里叶叠层成像(FPM)的恢复效果。

Chao Zu等人在2016年发表的《Efficient positional misalignmentcorrection method for Fourier ptychographic microscopy》是基于模拟退火算法进行LED阵列位置误差校正，但是该篇论文每次校正一颗LED的位置，并且每次校正的方向是随机的，这样也会导致校正速率变缓。

因此提高校正LED位置阵列的效率的同时提高FPM的成像效率是非常有必要的。

发明内容

本发明目的在于提供一种基于LED阵列位置误差快速校正的傅里叶叠层成像系统及方法，以解决校正LED位置阵列的速率变慢的技术问题。

为了提高成像速率以及LED阵列校正的速率，本发明的一种基于LED阵列位置误差快速校正的傅里叶叠层成像系统及方法的具体技术方案如下：

一种基于LED阵列位置误差快速校正的傅里叶叠层成像系统，包括如下硬件：COMS传感器、显微物镜、样品载物台和可编程LED阵列，其特征在于，硬件从上往下安装顺序依次为CMOS传感器，显微物镜，样品载物台和LED阵列。

进一步地，所述样品载物台和可编程LED阵列的距离为80mm，每颗LED间的间距为2mm，照明光波长为630nm，所述显微物镜的数值孔径为0.1。

进一步地，其特征在于，所述系统外围搭建黑色幕布以屏蔽周围环境光。

本发明还公开了一种傅里叶叠层成像的方法，包括如下步骤：

步骤1：构建傅里叶叠层显微成像系统；

步骤2：校正LED阵列；

步骤3：计算重建图像。

进一步地，步骤1包括如下具体步骤：

步骤1.1：从上往下依次安装CMOS传感器，显微物镜，样品载物台和LED阵列；

步骤1.2：将样品放在样品载物台上；

步骤1.3：设置样品载物台和可编程LED阵列的距离为80mm，每颗LED间的间距为2mm，照明光波长为630nm，显微物镜的数值孔径为0.1；

步骤1.4：在系统外围搭建黑色幕布。

进一步地，步骤2包括如下具体步骤：

步骤2.1：初始化高分辨率样品函数O(u，v)，和光瞳函数P(u，v)；

步骤2.2：每次点亮k颗LED(k≤4)，记录下每次拍摄到的图像I_m(x，y)，(x，y)代表空域中的坐标，相对应的频域中的坐标为(u，v)；针对每个LED的偏差设定八个不同方向随机的频移增量，方向分别为在x-y坐标轴中+x方向，+y方向，-x方向，-y方向以及坐标轴对角线的四个方向，频移增量大小随机取在[0，Δz]之间，z表示一个随机数；

步骤2.3：把每个方向的k颗LED对应的随机频移增量加起来求平均值得到该方向的频移增量，由此得到八个不同方向的频移增量(Δu_r，m，n，Δv_r，m，n)，r＝1，2...8，代表八个不同方向，m，n代表第m行，第n列的LED；

步骤2.4：计算样品经过频移后的图像强度，点亮一盏LED时其位置为(x_m，n，y_m，n)，m，n代表第m行，第n列的LED，对应于频域的位移 其中的(x^o，y^o)代表LED最中心的位置坐标，代表LED元件在行m，列n上的位置，λ是照明波长，h代表LED阵列和样品之间的距离，用该颗LED出射的平面波来照射样品使得样品在傅里叶域发生频移，再加上由步骤2.3得到的频移增量再乘上光瞳函数，得到预测频谱/> 得到单颗LED照射的照射强度图为/> 其中/>为傅里叶变换，k表示第k颗LED；得到k颗LED照射的在某一方向预测的总强度为/>再把得到的预测强度图/>和实际拍摄的图像强度I_m(x，y)相减并求平方，计算八个方向的代价函数/> 取代价函数最小的方向为s，得到八个方向中最接近正确位置的频偏记为/>频谱/> u_sum，v_sum，代表k颗LED一起照射时发生的频域位移，在计算u_sum，v_sum时把k颗LED看成同一个光源，按照步骤2.4的频域的位移公式来算；/>表示k颗LED一起照射时并且在s方向上的预测频谱；

步骤2.5：用拍摄得到的图片强度的开方，即更新预测频谱的振幅，并且保持相位不变，预测频谱的相位是/> 代表/>的空间域表示，得到更新后的空间域函数为/>并计算更新后频谱和预测频谱的差值/>ΔO(u_sum，v_sum)用于更新样品函数和光瞳函数；

步骤2.6：更新光瞳函数和样品函数，

δ₁和δ₂是一些确保数值稳定性的正则化常数，设置为δ₁＝1，δ₂＝1000，O*代表样品函数的共轭函数，P^*代表光瞳函数的共轭函数，P_l代表前一次循环中的光瞳函数，P_l+1代表更新后的光瞳函数。O_l代表前一次循环中的样品函数，O_l+1代表更新后的样品函数。

步骤2.7：点亮下一组LED，每次点亮k颗LED，重复步骤2.2-2.6，直到遍历完所有LED，从所有中挑出使得代价函数最小的一组/>

步骤2.8：利用和步骤2.4的频域的位移公式，重新算出LED的位置信息，然后把步骤2.2的Δz减半即Δz＝Δz/2，再重复步骤2.1-2.8，循环持续10轮。

进一步地，步骤3包括如下具体步骤：

经过步骤2的数次循环后，把更新后的频谱转换到空间域得到校正后的重建图像。

本发明的基于LED阵列位置误差快速校正的傅里叶叠层成像系统及方法具有以下优点：

1.同时点亮多颗LED，针对传统傅里叶叠层显微成像技术单颗点亮的方式可以提高图像恢复效率；

2.针对以往提出的LED位置阵列校正的方法来说，规定了校正的方向，可以提高校正速率，同时一次点亮多颗LED，比起以往的模拟退火算法每次只校正一颗LED灯也提高了校正速率；

因此本发明同时提高了图像恢复效率和LED阵列位置误差的校正效率。

附图说明

图1为LED阵列校正和计算重建流程图。

图2为傅里叶叠层显微成像系统装置图。

图3为LED阵列的照明方式示意图。

图中标记说明：1、COMS传感器，2、成像物镜，3、样品载物台，4、可编程LED阵列。

具体实施方式

为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明的基于LED阵列位置误差快速校正的傅里叶叠层成像系统及方法做进一步详细的描述。

如图1所示，本发明的基于LED阵列位置误差快速校正的傅里叶叠层成像方法包括如下步骤：

步骤1：构建傅里叶叠层显微成像系统。

如图2所示，傅里叶叠层显微成像系统的硬件架构包括COMS传感器1、显微物镜2、样品载物台3和可编程LED阵列4。硬件从上往下安装顺序依次为CMOS传感器1，显微物镜2，样品载物台3和可编程LED阵列4。样品载物台上放置样品，其中本案例实施的一些数据如下：在样品下方约80mm的地方放置一个14×14的可编程LED阵列4，每颗LED间的间距为2mm。照明光波长为630nm，物镜数值孔径为0.1。最后在成像系统外围搭建黑色幕布以屏蔽周围环境光。

步骤2：校正LED阵列。

步骤2.1：初始化高分辨率样品函数O(u，v)，和光瞳函数P(u，v)。

步骤2.2：如图3所示，每次点亮k颗LED(k≤4)，考虑到平均光谱重叠率要大于百分之40，所以k不能取太大，记录下每次拍摄到的图像I_m(x，y)，这里的(x，y)代表空域中的坐标，相对应的频域中的坐标为(u，v)。针对每个LED的偏差设定八个不同方向随机的频移增量，方向分别为在x-y坐标轴中+x方向，+y方向，-x方向，-y方向以及坐标轴对角线的四个方向，频移增量大小随机取在[0，Δz]之间，z代表一个随机数。

步骤2.3：把每个方向的k颗LED对应的随机频移增量加起来求平均值得到该方向的频移增量，所以可以得到八个不同方向的频移增量(Δu_r，m，n，Δv_r，m，n)，r＝1，2...8，代表八个不同方向，m，n代表第m行，第n列的LED。

步骤2.4：计算样品经过频移后的图像强度，点亮一盏LED时其位置为(x_m，n，y_m，n)，这里的m，n代表第m行，第n列的LED，对应于频域的位移其中的(x^o，y^o)代表LED最中心的位置坐标，/>代表LED元件在行m，列n上的位置，λ是照明波长，h代表LED阵列和样品之间的距离，用该颗LED出射的平面波来照射样品使得样品在傅里叶域发生频移，再加上由步骤2.3得到的频移增量再乘上光瞳函数，得到预测频谱所以得到单颗LED照射的照射强度图为/>其中/>为傅里叶变换，k对应着第k颗LED。所以k颗LED照射的在某一方向预测的总强度为/>再把得到的预测强度图/>和实际拍摄的图像强度I_m(x，y)相减并求平方，计算八个方向的代价函数/>取代价函数最小的方向为s。得到八个方向中最接近正确位置的频偏记为/> 频谱这里的u_sum，v_sum，代表k颗LED一起照射时发生的频域位移，在计算u_sum，v_sum时把k颗LED看成同一个光源，按照步骤2.4的频域的位移公式来算。/>表示k颗LED一起照射时并且在s方向上的预测频谱。

步骤2.5：用拍摄得到的图片强度的开方即去更新预测频谱的振幅并且保持相位不变，预测频谱的相位是/>这里的/>代表的空间域表示，所以得到更新后的空间域函数为/>并计算更新后频谱和预测频谱的差值/>这里的ΔO(u_sum，v_sum)用于更新样品函数和光瞳函数。

步骤2.6：更新光瞳函数和样品函数，

这里的δ₁和δ₂是一些确保数值稳定性的正则化常数，设置为δ₁＝1，δ₂＝1000，这里的O^*代表样品函数的共轭函数，P^*代表光瞳函数的共轭函数，P_l代表前一次循环中的光瞳函数，P_l+1代表更新后的光瞳函数。O_l代表前一次循环中的样品函数，O_l+1代表更新后的样品函数。

步骤2.7：点亮下一组LED，每次点亮k颗LED，复步骤2.2-2.6，直到遍历完所有LED，从所有中挑出使得代价函数最小的那一组/>

步骤2.8：利用和步骤2.4的频域的位移公式，重新算出LED的位置信息，然后把步骤2.2的Δz减半即Δz＝Δz/2，再重复步骤2.1-2.8，循环持续10轮。

步骤3：计算重建图像。

经过步骤2的数次循环后，把更新后的频谱转换到空间域即得到校正后的重建图像。

系统经过点亮多颗LED，在快速重建图像的同时加快了LED阵列位置的误差校正速率，不仅提高了FPM重建恢复图像的速度，也提高了LED阵列误差校正的速度。

可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。

Claims (5)

1.一种基于LED阵列位置误差快速校正的傅里叶叠层成像系统进行傅里叶叠层成像的方法，所述傅里叶叠层成像系统，包括如下硬件：COMS传感器(1)、显微物镜(2)、样品载物台(3)和可编程LED阵列(4)，其特征在于，硬件从上往下安装顺序依次为CMOS传感器(1)，显微物镜(2)，样品载物台(3)和LED阵列(4)，

其特征在于，所述方法包括如下步骤：

步骤1：构建傅里叶叠层显微成像系统；

步骤2：校正LED阵列；

步骤2.1：初始化高分辨率样品函数O(u,v)，和光瞳函数P(u,v)；

步骤2.2：每次点亮k颗LED，其中k≤4，记录下每次拍摄到的图像I_m(x,y)，(x,y)代表空域中的坐标，相对应的频域中的坐标为(u,v)；针对每个LED的偏差设定八个不同方向随机的频移增量，方向分别为在x-y坐标轴中+x方向，+y方向，-x方向，-y方向以及坐标轴对角线的四个方向，频移增量大小随机取在[0，Δz]之间，z表示一个随机数；

步骤2.3：把每个方向的k颗LED对应的随机频移增量加起来求平均值得到该方向的频移增量，由此得到八个不同方向的频移增量(Δu_r,m,n,Δv_r,m,n)，r＝1,2…8,代表八个不同方向，m,n代表第m行，第n列的LED；

步骤2.4：计算样品经过频移后的图像强度，点亮一盏LED时其位置为(x_m,n,y_m,n)，m,n代表第m行，第n列的LED，对应于频域的位移 其中的(x^o,y^o)代表LED最中心的位置坐标，/>代表LED元件在行m，列n上的位置，λ是照明波长，h代表LED阵列和样品之间的距离，用该颗LED出射的平面波来照射样品使得样品在傅里叶域发生频移，再加上由步骤2.3得到的频移增量再乘上光瞳函数,得到预测频谱得到单颗LED照射的照射强度图为/>其中/>为傅里叶变换，k表示第k颗LED；得到k颗LED照射的在某一方向预测的总强度为/> 再把得到的预测强度图/>和实际拍摄的图像强度I_m(x,y)相减并求平方，计算八个方向的代价函数取代价函数最小的方向为s，得到八个方向中最接近正确位置的频偏记为/>频谱/> u_sum，v_sum，代表k颗LED一起照射时发生的频域位移，在计算u_sum，v_sum时把k颗LED看成同一个光源，按照步骤2.4的频域的位移公式来算；/>表示k颗LED一起照射时并且在s方向上的预测频谱；

步骤2.5：用拍摄得到的图片强度的开方，即更新预测频谱的振幅，并且保持相位不变，预测频谱的相位是/>代表/>的空间域表示，得到更新后的空间域函数为/>并计算更新后频谱和预测频谱的差值/> ΔO(u_sum,v_sum)用于更新样品函数和光瞳函数；

步骤2.6：更新光瞳函数和样品函数，

δ₁和δ₂是一些确保数值稳定性的正则化常数，设置为δ₁＝1，δ₂＝1000，O^*代表样品函数的共轭函数，P^*代表光瞳函数的共轭函数，P_l代表前一次循环中的光瞳函数，P_l+1代表更新后的光瞳函数；O_l代表前一次循环中的样品函数，O_l+1代表更新后的样品函数；

步骤2.7：点亮下一组LED，每次点亮k颗LED，复步骤2.2-2.6，直到遍历完所有LED，从所有中挑出使得代价函数最小的一组/>

步骤2.8：利用和步骤2.4的频域的位移公式，重新算出LED的位置信息，然后把步骤2.2的Δz减半即Δz＝Δz/2，再重复步骤2.1-2.8，循环持续10轮；

步骤3：计算重建图像。

2.根据权利要求1所述的方法，其特征在于，所述样品载物台(3)和可编程LED阵列(4)的距离为80mm，每颗LED间的间距为2mm，照明光波长为630nm，所述显微物镜(2)的数值孔径为0.1。

3.根据权利要求1所述的方法，其特征在于，所述系统外围搭建黑色幕布以屏蔽周围环境光。

4.根据权利要求1所述的方法，其特征在于，步骤1包括如下具体步骤：

步骤1.1：从上往下依次安装CMOS传感器(1)，显微物镜(2)，样品载物台(3)和LED阵列(4)；

步骤1.2：将样品放在样品载物台(3)上；

步骤1.3：设置样品载物台(3)和可编程LED阵列(4)的距离为80mm，每颗LED间的间距为2mm，照明光波长为630nm，显微物镜(2)的数值孔径为0.1；

步骤1.4：在系统外围搭建黑色幕布。

5.根据权利要求1所述的方法，其特征在于，步骤3包括如下具体步骤：

经过步骤2的数次循环后，把更新后的频谱转换到空间域得到校正后的重建图像。