CN111610623A - 基于傅里叶叠层的显微成像方法 - Google Patents

Abstract

本发明提出了一种基于傅里叶叠层的显微成像方法，点亮环形LED面阵明场区域的灯珠，采集明场图像；依次点亮环形LED面阵暗场区域的灯珠，采集12幅暗场图像。用采集到的明场图像进行图像信息频谱的初始化；用拍摄到的明场图像进行约束，恢复图像的明场频谱信息；用拍摄到的暗场图像进行约束，恢复图像的暗场频谱信息；重复约束过程直到图像收敛。本发明采用一张明场图像作为明场信息的约束，大大减少了系统图像采集的数量，提高了系统的计算效率，单个视野下的计算和采图时间可以控制在2秒以内。

Description

基于傅里叶叠层的显微成像方法

技术领域

本发明属于计算光学显微成像技术，具体为一种基于傅里叶叠层的显微成像 方法。

背景技术

在医学上，对于身体组织的病变问题，医生们需要取一定大小的病变组织制 成病理切片，在显微镜下进行诊断，并检查其是属于炎症还是癌变并做出具体的 病情分析。通才采用数字病理切片又称虚拟病理切片，是一种现代数字系统与传 统光学放大装置有机结合的技术。它将传统的玻璃病理切片通过全自动显微镜或 光学放大系统扫描采集得到高分辨数字图像，再应用计算机对得到的图像自动进 行高精度多视野无缝隙拼接和处理，获得优质的可视化数据以应用于病理学的各 个领域。数字病理系统往往采用放大倍率为40倍以上的高数值孔径的物镜进行 成像，这使得系统需要很强的照明光源，来获取极短的曝光时间来获取一副图像， 再通过高精度、高速度的机械扫描的方式将整个样品遍历，并在遍历的过程中进 行图像拼接。

这种高精度、高速度的机械扫描方式，使得目前市场上的数字病理系统体积 庞大，价格昂贵，这大大加重了患者在医疗费用上的支出。究其原因是，传统显 微镜在其成像分辨率与成像视场上是鱼和熊掌不可兼得的两方面。随着计算显微 成像技术的快速发展，于2013年Zheng等人提出傅里叶叠层成像技术可实现使 用一个低数值孔径，低放大倍率的物镜，获得大视场和高分辨率的成像结果 (Zheng G,Horstmeyer R,Yang C.Wide-field,high-resolution Fourier ptychographic microscopy.Nature photonics.2013；7:739-45.)。该技术通过一块可编程LED，每 个LED单独发出不同角度的照明光对样品进行拍摄，将拍摄到的一系列低分辨 率的样品振幅信息在频率域进行合成。其中，每个LED拍摄到的低分辨率图在 频率域中对应于不同频率孔径的信息，通过这些信息对计算的样品信息进行强度 约束，并运用迭代方法进行计算得到一个最终收敛的结果。这些低分辨率图像所对应的孔径位置由LED的照明角度相对应，最终可达到的分辨率为照明数值孔 径与物镜数字空间共同确定，若采用远大于物镜数值孔径的照明数值孔径就可以 大大提高成像分辨率。由于采用的LED面阵较为密集，计算和采图过程中耗费 时间过长，无法达到现有病理系统的技术指标。如何采用更少的图像和更快捷的 计算成为了这一技术应用于数字病理系统的技术难题。

发明内容

本发明的目的在于提供一种基于傅里叶叠层的显微成像方法，不仅能减少采 图数量，也能减低计算耗时，并保证计算所获得的图像分辨率不降低。

实现本发明目的的技术解决方案为：一种基于傅里叶叠层的显微成像方法， 其特征在于，具体步骤为：

步骤1：获取待测样品的明场图像和暗场图像；

步骤2：确定样品初始复振幅分布对应频率域的高分辨率频谱复振幅分布；

步骤3：利用光学传递函数和样品高分辨率频谱复振幅分布生成非相干明场 图像的复振幅分布；

步骤4：将非相干明场图像的复振幅分布中的振幅替换为非相干照明下拍摄 的明场图像，并将替换后的非相干明场图像的复振幅分布对应的频谱信息填回步 骤2中的频谱复振幅分布；

步骤5：从高分辨率频谱中获取一个与暗场图像对应的子孔径的频谱信息， 并对其做逆傅里叶变换生成对应照明角度的低分辨率样品的复振幅分布；

步骤6：将生成的低分辨率样品的复振幅分布中的振幅替换为对应照明角度 拍摄的振幅拜尔图像，并得到对应的频谱信息，更新高分辨率频谱复振幅分布和 相干传递函数；

步骤7：重复步骤5、6，直到所有子孔径迭代完成；

步骤8：重复步骤3～7，直到高分辨率样品复振幅分布收敛稳定。

优选地，获取待测样品的明场图像和暗场图像的具体方法为：

将环形LED面阵(1)、样品(2)、显微物镜(3)、筒镜(4)以及相机(5) 置于同一轴线上，所述环形LED面阵(1)设置在样品(2)前方，样品(2)设 置在显微物镜(3)的前焦面上，筒镜(4)置于显微物镜(3)后方，显微物镜 (3)到筒镜(4)距离为二者机械焦距之和，相机(5)位于筒镜(4)的后焦面 上；

所述环形LED面阵(1)内部设置9颗LED灯，环上均匀设置12颗灯；

点亮内部9颗LED灯，获得明场图像；

分别点亮环的12颗灯，对应得到12幅暗场图像。

优选地，样品初始复振幅分布具体为：

式中，I_BF(r,rgb)为初始振幅分布；

样品初始复振幅分布对应频率域的高分辨率频谱复振幅分布具体为：

S₁(u,rgb)＝F{ψ_h(r，rgb)}。

优选地，利用光学传递函数和样品高分辨率频谱复振幅分布生成的非相干明 场图像的复振幅分布具体为：

式中，S₁(u，rgb)表示高分辨率频谱复振幅分布O(u,rgb)表示光学传递函数， I_lBF(r,rgb)表示非相干明场图像的强度分布，

表示生成非相干明场图 像的相位分布。

优选地，替换后的非相干明场图像的复振幅分布具体为：

式中，

为非相干照明下拍摄的明场图像，

表示生成非相 干明场图像的相位分布。

优选地，获取的子孔径的频谱信息具体为：

式中，P_n(rgb)为相干传递函数，S(u-u_n，rgb)为样品的高分辨率频谱复振幅分 布。

优选地，对应照明角度的低分辨率样品的复振幅分布具体为：

优选地，更新样品的高分辨率频谱复振幅分布和相干传递函数的具体公式 为：

式中，α，β为迭代系数；S_n(u,rgb)为第n次更新的样品的高分辨率频谱 复振幅分布，P_n(u,rgb)为第n次更新的相干传递函数；φ_n(u,rgb)表示与拍摄的 暗场图像对应的子区域的频谱信息，φ′_n(u,rgb)表示替换振幅后对应子区域的频 谱信息。

本发明与现有技术相比，其显著优点：(1)本发明不需任何机械扫描装置， 结构简单，造价便宜，可实现快速的大视场超分辨；(2)本发明采用一张明场图 像作为明场信息的约束，大大减少了系统图像采集的数量，提高了系统的计算效 率，单个视野下的计算和采图时间可以控制在2秒以内；(3)本发明采用的LED 面阵较为稀疏，制作方便，同时使用寿命相对较长。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明的数字病理系统示意图。

图2为本发明采用的环形LED面阵与环形LED面阵模型图。

图3为本发明的流程示意图。

图4为对分辨率板进行超分辨率成像的实验结果，其中(a1)(a2)是经典傅里 叶叠层显微成像算法重构出的样品频域和空间域信息；(b1)(b2)是本发明拜尔编 码的快速傅里叶叠层显微成像算法重构出的样品频域和空间域信息；(c)是随着 迭代次数本文方法和经典方法计算结果的均方根误差。

图5为动物肺部切片的观测结果，(a)是中心单科灯照明的拜尔编码图像，(b) 是采集到的明场拜尔编码图像，(c)是经典傅里叶叠层方法计算结果，(d)是本发 明计算结果。

图6为小鼠肾切片的观测结果，(a)是中心单科灯照明的拜尔编码图像，(b) 是采集到的明场拜尔编码图像，(c)是经典傅里叶叠层方法计算结果，(d)是本发 明计算结果。

图7为动物肺部切片的观测结果，(a)是中心单科灯照明的图像，(b)是采集 到的明场图像，(c)是经典傅里叶叠层方法计算结果，(d)是本发明计算结果。

具体实施方式

如图1～3所示，一种基于傅里叶叠层的显微成像方法，具体步骤如下：

步骤1：获取待测样品的明场图像和暗场图像；

进一步的实施例中，利用数字病理系统获取待测样品的明场图像和暗场图 像，所述数字病理系统包括环形LED面阵1、显微物镜3、筒镜4和相机5。环 形LED面阵1、样品2、显微物镜3、筒镜4和相机5位于同一轴线上，环形LED 面阵1位于样品2前方45cm左右，样品2位于显微物镜的前焦面上，显微物镜 3和筒镜4距离为二者机械焦距的和，相机5位于筒镜4的后焦面上。环形LED 面阵1的具体分布情况如图2所示，是一个82mm×82mm的LED面阵，采用的是5050贴片LED，环上12颗灯，内部9颗灯，内部9颗灯上方盖有一片毛 玻璃片。系统通过环上12颗LED灯拍摄暗场图像，内部9颗LED灯同时亮起 进行明场图像的获取。

先同时点亮内部9颗明场LED采集图像为明场图像，再依次点亮12颗暗场 LED分别拍摄12幅暗场图像。

步骤2：确定样品初始复振幅分布对应频率域的高分辨率频谱复振幅分布；

进一步的实施例中，假设初始化一个高分辨率的样品初始复振幅分布 ψ_h(r,rgb)，令初始化的相位分布

选取非相干明场图像I_BF(r,rgb) 或者非零常数作为初始振幅分布，并求这个高分辨率的样品初始复振幅分布 ψ_h(r,rgb)对应频率域的高分辨率频谱复振幅分布S₁(u,rgb)，具体计算公式为：

S₁(u,rgb)＝F{ψ_h(r，rgb)} (1.2)

其中，r表示空间方向矢量，rgb表示三个不同的彩色通道，ψ_h(r,rgb)表示 初始化的高分辨率样品复振幅分布，S₁(u,rgb)表示初始化的高分辨率样品频谱 分布，I_BF(r,rgb)表示非相干明场图像的强度分布，upsample表示上采样，F表 示傅里叶变换。

步骤3：利用光学传递函数O(u,rgb)和高分辨率样品频谱分布生成一个低分 辨率非相干明场图像的复振幅分布ψ_lBF(r,rgb)，如式(1.3)所示，亦可写成式(1.4) 的形式，其中I_lBF(r,rgb)表示生成非相干明场图像的强度分布，

表示 生成非相干明场图像的相位分布，F^-1表示傅里叶逆变换。

ψ_lBF(r，rgb)＝F^-1{S₁(u，rgb)·O_n(u，rgb)} (1.3)

步骤4：将生成的低分辨率非相干明场图像的复振幅分布ψ_lBF(r,rgb)中的振 幅

替换为非相干照明下拍摄的明场图像

替换后得到 ψ′_lBF(r,rgb)，如式(1.5)所示，将其对应的频谱信息填回原来的高分辨率频谱 S₁(u,rgb)，如式(1.6)所示：

步骤5：以上两步完成了非相干明场图像对计算结果的约束，接着就与经典 的傅里叶叠层显微成像算法相同。选择一块高分辨率频谱S₁(u,rgb)的一个子孔 径，该区域要与一个拍摄的低分辨率暗场图像对应，并将这个子区域的频谱信息 取出来，得到φ_n(u)，如式(1.7)所示，其中P_n(rgb)为相干传递函数。对子区域的 频谱信息φ_n(u)做逆傅里叶变换生成一个对应照明角度的低分辨率样品的复振幅 分布ψ_l(r,rgb)，如式(1.8)所示，亦可写为式(1.9)，其中I_l(r,rgb)表示生成低分辨 率图像的强度分布，

表示生成低分辨率图像的相位分布。

φ_n(u)＝S(u-u_n,rgb)·P_n(rgb) (1.7)

ψ_l(r,rgb)＝F^-1{φ_n(u)} (1.8)

步骤6：将生成的低分辨复振幅ψ_l(r,rgb)中的振幅

替换为对应照 明角度拍摄的振幅拜尔图像

替换后得到ψ′_l(r,rgb)如式(1.10)，并得到 对应的频谱信息φ′_n(u)，如式(1.11)。并对高分辨率样品频谱分布S_n(u,rgb)和相 干传递函数P_n(rgb)进行更新，如式(1.12)和(1.13)所示。

φ′_n(u)＝F{ψ′_l(r,rgb)} (1.11)

其中，MASK(rgb)为拜尔编码的掩膜，应当注意的是在计算过程中如果需 要图像插值应当使用没有信息串扰的最邻近插值，其它插值方法由于存在信息串 扰则不再适用。

步骤7：接着选着下一个子孔径区域进行计算，该区域要与另一个拍摄的低 分辨率暗场图像对应，并重复步骤5和步骤6，直到十二个子孔径迭代完成。应 当注意的是相邻两次迭代的子孔径区域应当由足够的重叠率来保证信息的冗余 量。

步骤8：最后再重复上述步骤3到步骤7，逐渐得到一个收敛稳定的高分辨 率样品复振幅分布ψ_h(r,rgb)，如式(1.14)所示将高分辨率样品频谱分布S_n(u,rgb) 进行傅里叶逆变换。

以上是拜尔编码的快速傅里叶叠层显微成像方法，其中包含了稀疏采样傅里 叶叠层显微算法和非相干明场图像为约束条件的快速傅里叶叠层显微算法。

本发明用采集到的明场图像进行图像信息频谱的初始化；用拍摄到的明场图 像进行约束，恢复图像的明场频谱信息；用拍摄到的暗场图像进行约束，恢复图 像的暗场频谱信息；重复约束过程直到图像收敛。

实施例

本实施例采用数值孔径为0.25的十倍物镜以及照明数值孔径为0.5的装置对 分辨率板进行成像，实验结果如图4所示，其中(a1)和(a2)是采用高密度矩形LED 面阵的经典傅里叶叠层显微成像算法进行计算的结果，(a1)为样品的频谱图，(a2) 是分辨率板计算结果可达到的最高分辨率10-5；(a1)和(a2)是采用本文方案计算 的结果，(b1)为样品的频谱图，(b2)是分辨率板计算结果可达到的最高分辨率 10-5，其结果与经典算法相一致，但单个区域的采图及计算时间可缩短为2秒以 内，经典方法的采图与计算时间大约在5分钟左右。

本实施例同样对生物组织切片进行实验，实验结果如图5、图6和图7所示。 譬如图5是对动物肺部切片的观测结果，(a)是中心单科灯照明的拜尔编码图像， (b)是采集到的明场拜尔编码图像，(c)是经典傅里叶叠层方法计算结果，(d)是本 发明计算结果。(c)和(d)的分辨率达到了(b)的两倍以上，同时(d)的结果在区域拼 接上更加自然，整体效果更好。

Claims (8)

1.一种基于傅里叶叠层的显微成像方法，其特征在于，具体步骤为：

步骤1：获取待测样品的明场图像和暗场图像；

步骤2：确定样品初始复振幅分布对应频率域的高分辨率频谱复振幅分布；

步骤3：利用光学传递函数和样品高分辨率频谱复振幅分布生成非相干明场图像的复振幅分布；

步骤4：将非相干明场图像的复振幅分布中的振幅替换为非相干照明下拍摄的明场图像，并将替换后的非相干明场图像的复振幅分布对应的频谱信息填回步骤2中的频谱复振幅分布；

步骤5：从高分辨率频谱中获取一个与暗场图像对应的子孔径的频谱信息，并对其做逆傅里叶变换生成对应照明角度的低分辨率样品的复振幅分布；

步骤6：将生成的低分辨率样品的复振幅分布中的振幅替换为对应照明角度拍摄的振幅拜尔图像，并得到对应的频谱信息，更新高分辨率频谱复振幅分布和相干传递函数；

步骤7：重复步骤5、6，直到所有子孔径迭代完成；

步骤8：重复步骤3～7，直到高分辨率样品复振幅分布收敛稳定。

2.根据权利要求1所述的基于傅里叶叠层的显微成像方法，其特征在于，获取待测样品的明场图像和暗场图像的具体方法为：

将环形LED面阵(1)、样品(2)、显微物镜(3)、筒镜(4)以及相机(5)置于同一轴线上，所述环形LED面阵(1)设置在样品(2)前方，样品(2)设置在显微物镜(3)的前焦面上，筒镜(4)置于显微物镜(3)后方，显微物镜(3)到筒镜(4)距离为二者机械焦距之和，相机(5)位于筒镜(4)的后焦面上；

所述环形LED面阵(1)内部设置9颗LED灯，环上均匀设置12颗灯；

点亮内部9颗LED灯，获得明场图像；

分别点亮环的12颗灯，对应得到12幅暗场图像。

3.根据权利要求1所述的基于傅里叶叠层的显微成像方法，其特征在于，样品初始复振幅分布具体为：

式中，I_BF(r,rgb)为初始振幅分布；

样品初始复振幅分布对应频率域的高分辨率频谱复振幅分布具体为：

S₁(u,rgb)＝F{ψ_h(r，rgb)}。

4.根据权利要求1所述的基于傅里叶叠层的显微成像方法，其特征在于，利用光学传递函数和样品高分辨率频谱复振幅分布生成的非相干明场图像的复振幅分布具体为：

式中，S₁(u，rgb)表示高分辨率频谱复振幅分布O(u,rgb)表示光学传递函数，I_lBF(r,rgb)表示非相干明场图像的强度分布，

表示生成非相干明场图像的相位分布。

5.根据权利要求1所述的基于傅里叶叠层的显微成像方法，其特征在于，替换后的非相干明场图像的复振幅分布具体为：

式中，

为非相干照明下拍摄的明场图像，

表示生成非相干明场图像的相位分布。

6.根据权利要求1所述的基于傅里叶叠层的显微成像方法，其特征在于，获取的子孔径的频谱信息具体为：

式中，P_n(rgb)为相干传递函数，S(u-u_n，rgb)为样品的高分辨率频谱复振幅分布。

7.根据权利要求6所述的基于傅里叶叠层的显微成像方法，其特征在于，对应照明角度的低分辨率样品的复振幅分布具体为：

8.根据权利要求1所述的基于傅里叶叠层的显微成像方法，其特征在于，更新样品的高分辨率频谱复振幅分布和相干传递函数的具体公式为：

式中，α，β为迭代系数；S_n(u,rgb)为第n次更新的样品的高分辨率频谱复振幅分布，P_n(u,rgb)为第n次更新的相干传递函数；φ_n(u,rgb)表示与拍摄的暗场图像对应的子区域的频谱信息，φ′_n(u,rgb)表示替换振幅后对应子区域的频谱信息。

Images