CN111352229B - 一种虚拟多平面成像系统及方法 - Google Patents

Abstract

本发明提出一种虚拟多平面成像系统及方法，系统包括神经网络结构设置模块：用于搭建神经网络结构，将对待成像样本获得的一帧下的N张图像作为输入图像，将N张图像对应的轴向K个平面图像作为输出图像；训练学习模块：将对参照样本成像获得的一帧下的N张图像作为参照输入图像，将参照样本的不同轴向的K个平面图像作为参照输出图像，拆分后形成图像训练对，输入神经网络结构中训练，以获得训练完成的神经网络；重建清晰图像模块：将待成像样本获得的一帧下的N张图像作为输入图像，输入神经网络中重建，输出待成像样本的轴向K个平面图像。其目的在于解决目前非扫描3D荧光显微成像方法存在的系统复杂、成像质量差或耗时的技术问题。

Description

一种虚拟多平面成像系统及方法

技术领域

本发明涉及图像处理技术，尤其是涉及一种虚拟多平面成像系统及方法。

背景技术

目前，为了对三维组织块进行成像，需要一层一层重复扫描样本，这需要花费大量的时间。

为了解决传统显微镜只能单平面成像的问题，已经发明了许多三维成像技术，包括斜光片显微镜，光场显微镜。斜光片显微镜使用数值孔径较高的物镜来产生腰部较窄的光片，并使用另一个正交物镜来收集荧光，进行显微成像，为了降低深层样本对光的散射作用，一般只对样本薄层进行成像，大约为30微米到50微米；光场显微镜是使用微透镜阵列对三维样本进行多角度采集，使用后续的迭代算法可以重建出三维物体。

斜光片成像系统从硬件层面改善了成像系统，使用多平面扫描的方式加快了成像速度。但这种方法系统复杂，且成像质量较差。而光场显微镜需要相对耗时的迭代算法来解决重建新图像的逆问题。因此这些非扫描3D荧光显微成像方法，虽然可以解决三维成像的问题，但都存在各自的弊端。

所以提出一种新方法进行多平面3D成像非常有必要。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种虚拟多平面成像系统及方法，其目的在于解决目前非扫描3D荧光显微成像方法存在的系统复杂、成像质量差或耗时的技术问题。

为达到上述技术目的，本发明提出了一种虚拟多平面成像系统，包括：

神经网络结构设置模块：用于搭建神经网络结构，将对待成像样本获得的一帧下的N张图像作为输入图像，将所述N张图像对应的轴向K个平面图像作为输出图像，设置输入图像及输出图像的尺寸，其中，K、N均为正整数，且N≥2，K≥2；

训练学习模块：将对参照样本成像获得的一帧下的N张图像作为参照输入图像，并将所述参照样本的不同轴向的K个平面图像作为参照输出图像，用于将所述参照输入图像及参照输出图像按照所述设置的输入图像及输出图像的尺寸进行拆分后形成图像训练对，将所述图像训练对输入所述神经网络结构中进行训练，以获得训练完成的神经网络；

重建清晰图像模块：将所述待成像样本获得的一帧下的N张图像作为输入图像，依据所述设置的输入图像尺寸进行拆分后，输入所述训练完成的神经网络中进行学习，依据所述设置的输出图像的尺寸输出所述待成像样本的轴向K个平面图像。

优选地，所述不同轴向的K个平面图像的相邻图像的轴向间隔相同，且为z₀。

优选地，所述输入图像的尺寸为N*A*B，所述输出图像的尺寸为K*A*B，所述输入图像与输出图像的A*B个像素一一对齐，其中，A、B均为正整数。

优选地，还包括图像采集模块，包括显微镜及探测器，所述探测器为N线阵列探测器，用于对样本成像时获取一帧下的N张图像。

优选地，所述轴向间隔z₀具体为：

z₀＝2λ/NA²

其中，λ是样本发射的波长，NA为显微镜的物镜的数值孔径。

优选地，所述不同轴向的K个平面图像数量满足：K≤9。

优选地，所述A与B的范围为：A≤256，B≤256。

优选地，所述显微镜为线共聚焦扫描显微镜。

为达到上述技术目的，本发明还提出了一种虚拟多平面成像方法，包括：

设置神经网络结构：搭建神经网络结构，将对待成像样本获得的一帧下的N张图像作为输入图像，将所述N张图像对应的轴向K个平面图像作为输出图像，设置输入图像及输出图像的尺寸，其中，K、N均为正整数，且N≥2，K≥2；

训练学习：将对参照样本成像获得的一帧下的N张图像作为参照输入图像，并将所述参照样本的不同轴向的K个平面图像作为参照输出图像，用于将所述参照输入图像及参照输出图像按照所述设置的输入图像及输出图像的尺寸进行拆分后形成图像训练对，将所述图像训练对输入所述神经网络结构中进行训练，以获得训练完成的神经网络；

重建清晰图像：将所述待成像样本获得的一帧下的N张图像作为输入图像，依据所述设置的输入图像尺寸进行拆分后，输入所述训练完成的神经网络中进行重建，依据所述设置的输出图像的尺寸输出所述待成像样本的轴向K个平面图像。

优选地，还包括获取图像，采用显微镜与多阵列探测器，通过显微镜对样本获取成像范围后通过所述多阵列探测器对所述样本进行成像以获得一帧下的多张图像，轴向移动样本或显微镜并通过所述多阵列探测器的最中心的一列探测器对所述样本在轴向上形成多个平面图像。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明提出了一种虚拟多平面成像系统，通过训练好的神经网络结构，可以从单平面的扫描获取不同轴向K个平面的清晰图像。并且，该系统无须借助复杂的光学器件及机械结构，便可加快成像速率。

(2)本发明提出了一种虚拟多平面成像方法，使用N线阵列探测器在一个平面扫描样本采集N张图像，输入到训练好的神经网络便可从单平面图像中恢复出不同轴向的多个平面图像。在此过程中，只需要训练一次神经网络，便可以恢复K个不同轴向位置对应的图像。与现有技术相比，可以大大减少样本的扫描时间。

附图说明

图1为本发明提供的虚拟多平面成像的原理示意图；

图2为thy1-YFP脑组织样本采用神经网络重建多平面图像的结果与真实图像的对比图；其中图2(a)、2(d)、2(g)、2(j)为Z＝-3um、-1um、1um和3um时thy1-YFP脑组织样本不同轴向平面的真实图像；图2(b)、2(e)、2(h)、2(k)为采用N＝6线阵列探测器获取的图像作为输入图像时重建获得的Z＝-3um、-1um、1um和3um4个轴向位置的输出图像；图2(c)、2(f)、2(i)、2(l)为采用N＝1线探测器获取的图像作为输入图像时重建获得的Z＝-3um、-1um、1um和3um4个轴向位置的输出图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提出了一种虚拟多平面成像系统，包括：神经网络结构设置模块：用于搭建神经网络结构，将对待成像样本获得的一帧下的N张图像作为输入图像，将N张图像对应的轴向K个平面图像作为输出图像，设置输入图像及输出图像的尺寸，其中，K、N均为正整数，且N≥2，K≥2；训练学习模块：将对参照样本成像获得的一帧下的N张图像作为参照输入图像，并将参照样本的不同轴向的K个平面图像作为参照输出图像，用于将参照输入图像及参照输出图像按照设置的输入图像及输出图像的尺寸进行拆分后形成图像训练对，将图像训练对输入神经网络结构中进行训练，以获得训练完成的神经网络；重建清晰图像模块：将待成像样本获得的一帧下的N张图像作为输入图像，依据设置的输入图像尺寸进行拆分后，输入训练完成的神经网络中进行重建，依据设置的输出图像的尺寸输出待成像样本的轴向K个平面图像。

如图1所示，用N线阵列探测器获取图像时，不管是中心位置的探测器还是边缘位置的探测器，均获取了样本的在焦面图像及离焦面图像，但位于中心的线探测器对在焦信号有较强的响应，因此获取了较多样本的在焦面图像，位于边缘的线探测器对离焦面信号有较强的响应，因此获取了较多的离焦面图像。因为不同位置的探测器所获取的图像信号不同，因此，本发明采用深度学习(神经网络)从这些混叠的信号中分离出不同轴向清晰的信号，从而获得不同轴向的清晰图像。

该系统通过训练好的神经网络结构，可以从单平面的扫描获取K个平面的图像。并且，系统结构简单，无须借助复杂的光学器件以及机械结构，便可加快成像速率，突破相机采集速率的限制，而传统的成像系统无法做到

进一步地，不同轴向的K个平面图像的相邻图像的轴向间隔相同，且为z₀轴向间隔z₀＝2λ/NA²；其中，λ是样本发射的波长，NA为显微镜的物镜的数值孔径。

进一步地，输入图像的尺寸为N*A*B，输出图像的尺寸为K*A*B，输入图像与输出图像的A*B个像素一一对齐，其中，A、B均为正整数。优选地，不同轴向的K个平面图像数量满足：K≤9。K的取值由轴向的扫描范围和z0的比值决定，轴向的扫描范围一般取8倍的轴向分辨率。

优选地，A与B的范围为：A≤256，B≤256。该尺寸范围的图像质量较好。

进一步地，还包括图像采集模块，包括显微镜及探测器，探测器为N线阵列探测器，用于对样本成像时获取一帧下的N张图像。

进一步地，为了保证通过神经网络重建得到的图像的准确性，需保证用于对神经网络结构进行训练的图片对的像素一一对齐。

进一步地，为了提高神经网络的泛化性，使得后期通过神经网络重建多平面图像更准确，可随机化图像对的顺序以防止过拟合，使得神经网络性能更佳。

实施例1

本实施例中以thy1-YFP转基因标记荧光鼠脑组织作为样本来对本发明提供的虚拟多平面成像系统进行说明。

本实施例的虚拟多平面成像系统包括神经网络结构设置模块：用于搭建神经网络结构，将对待成像样本获得的一帧下的6个张图像作为输入图像，将6张图像对应的轴向8个平面图像作为输出图像，设置输入图像及输出图像的尺寸，具体为：

该神经网络结构包括编码器和解码器两部分，编码器对图像进行4次降采样以及多次的卷积操作，解码器对图像进行4次上采样以及多次的卷积操作，并且解码器和编码器之间存在跳跃连接。设置输入图像的尺寸为6×256×256，输出图像的尺寸为8×256×256，即N＝6，K＝8，A＝256，B＝256。

需要说明的是，神经网络结构没有特定限制在本专利描述的模型中，可以采用多种形式的神经网络结构，只要能完成本发明的目的即可。

训练学习模块：

将对参照样本成像获得的一帧下的6张图像作为参照输入图像，并将所述参照样本的不同轴向的8个平面图像作为参照输出图像，具体为：

使用线共聚焦扫描显微镜配合6线阵列探测器获取图像。以两种方式获取两种图像：

第一，获取参照输出图像，以正常扫描速度v进行扫描成像，并用最中心的一列线探测器进行图像采集。通过一层一层的扫描获取K＝8层不同轴向位置的图像。每层的扫描间隔z₀与显微物镜的轴向分辨率相关，z₀的具体公式为：z₀≈2λ/NA²，其中λ是样本发射的波长，NA为物镜的数值孔径。。通过多次的来回扫描不同平面的图像，获取到8个平面图像的真实数据。

第二，获取参照输入图像，以正常扫描速度v进行扫描成像，并用N线的阵列探测器进行图像采集。通过这种方式，边移动样本，边曝光成像，在单个平面上扫描样本一帧下获得N＝6张图像，这6张图像作为神经网络的输入图像。

将参照输入图像及参照输出图像按照上述设置的尺寸进行拆分后形成图像训练对，将图像训练对输入上述神经网络结构中进行训练，获得训练完成的神经网络；具体为：将参照输入图像及参照输出图像配准对齐，裁剪参照输入图像为6×256×256的尺寸，裁剪参照输出图像为8×256×256的尺寸，拆分后形成3200对图像训练对。选择神经网络的损失函数，将已经制作好的图像训练对输入到上述的神经网络结构中进行训练，直到神经网络的损失函数收敛，不再下降时为止，从而获得训练完成的表现良好的神经网络模型。该模型训练用时大约120分钟。

重建清晰图像模块：

当神经网络训练完成之后，无需多次移动实现多层扫描轴向多个平面的图像，只需采用上述获取参照输入图像方法，获得待成像样本一帧下的N＝6张图像作为输入图像，依据设置的6×256×256尺寸进行拆分后，输入训练完成的神经网络中进行重建，则神经网络依据设置的8×256×256尺寸输出待成像样本的8个不同的轴向位置对应的图像。

本实施例中使用单平面的6张图像，恢复得到8个平面的张图像。具体成像结果如图2所示，其中图2(a)、2(d)、2(g)、2(j)为Z＝-3um、-1um、1um和3um时thy1-GFP脑组织样本不同轴向平面的真实图像；图2(b)、2(e)、2(h)、2(k)为采用N＝6线阵列探测器获取的图像作为输入图像时重建获得的Z＝-3um、-1um、1um和3um4个轴向位置的输出图像；图2(c)、2(f)、2(i)、2(l)为采用N＝1线探测器获取的图像作为输入图像时重建获得的Z＝-3um、-1um、1um和3um4个轴向位置的输出图像。虽然本实施例做了K＝8个平面的重建，这里只展示了其中4个平面的重建结果。如图可知，在Z＝-3um处，N＝6线阵列探测器重建的图像与真实图像基本一致，而N＝1线探测器探测的图像信号基本消失，只有部分胞体存在。在Z＝3um处，N＝6线阵列探测器重建的图像与真实图像基本一致，而N＝1线探测器探测的图像信号比真实图像的信号还多，重建得到的图像准确性差，说明使用多线探测器的探测单平面的多张图像是必要的。而且，由上述结果可知，通过该系统重建得到的图像与真实图像的成像质量基本一致，可以通过该系统实现从单平面的扫描获取不同轴向K个平面的清晰图像。

另外，本实施例采用RMSE和SSIM来定量评定重建结果的准确性(说明：关于RMSE和SSIM的值每提高0.01，图像的质量就会大幅度提升)。与真实图像为参照，在Z＝-3um处，6线阵列探测器重建和单线探测器重建的RMSE分别为8.08和15.08，SSIM分别为：0.91和0.59；在Z＝-1um处6线阵列探测器重建和单线探测器重建的RMSE分别为5.65和11.68，SSIM分别为：0.96和0.78；在Z＝+1um处，6线阵列探测器重建和单线探测器重建的RMSE分别为4.99和6.41，SSIM分别为：0.95和0.91；在Z＝+3um处，6线阵列探测器重建和单线探测器重建的RMSE分别为6.58和10.28，SSIM分别为：0.87和0.71。从上述定量结果中可以看出N＝6线阵列探测重建图像的结果远远好于N＝1线探测重建的结果，特别是在-3um和+3um处，单线探测的重建结果与真实图像相差甚远，而6线阵列探测重建结果仍和真实图像相当。综上表明探测器的数量N≥2有利于虚拟多平面图像的重建。

本发明通过使用多线阵列探测器探测更多的在焦面和离焦面信号，再结合神经网络，可以准确的重建出不同轴向平面位置的图像，进行虚拟多平面成像。

需要说明的是，本发明提供的系统及方法并不限于某种特定的样本，且N和K可以根据实际成像条件进行选取。

本发明还提出了一种虚拟多平面成像方法，包括：设置神经网络结构：搭建神经网络结构，将对待成像样本获得的一帧下的N张图像作为输入图像，将N张图像对应的轴向K个平面图像作为输出图像，设置输入图像及输出图像的尺寸，其中，K、N均为正整数，且N≥2，K≥2；训练学习：将对参照样本成像获得的一帧下的N张图像作为参照输入图像，并将参照样本的不同轴向的K个平面图像作为参照输出图像，用于将参照输入图像及参照输出图像按照设置的输入图像及输出图像的尺寸进行拆分后形成图像训练对，将图像训练对输入神经网络结构中进行训练，以获得训练完成的神经网络；重建清晰图像：将待成像样本获得的一帧下的N张图像作为输入图像，依据设置的输入图像尺寸进行拆分后，输入训练完成的神经网络中进行重建，依据设置的输出图像的尺寸输出待成像样本的轴向K个平面图像。该方法使用N线线阵探测器在一个平面扫描样本采集N张图像，输入到训练好的神经网络便可从单平面图像中恢复出多平面图像。在此过程中，只需要训练一次神经网络，便可以恢复K个不同轴向位置对应的图像。与现有技术相比，该方法无须借助复杂的光学器件以及机械结构，不需要繁琐的光学系统的调试过程，便可以加快成像速度，而且还可以大大减少样本的扫描时间。

进一步地，还包括获取图像，采用显微镜与多阵列探测器，通过显微镜对样本获取成像范围后通过所述多阵列探测器对所述样本进行成像以在一帧下获得多张图像，轴向移动样本或显微镜并通过所述多阵列探测器的最中心的一列探测器对所述样本在轴向上形成多个平面图像。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (10)

1.一种虚拟多平面成像系统，包括：

神经网络结构设置模块：用于搭建神经网络结构，将对待成像样本获得的一帧下的N张图像作为输入图像，将所述N张图像对应的轴向K个平面图像作为输出图像，设置输入图像及输出图像的尺寸，其中，K、N均为正整数，且N≥2，K≥2，所述一帧下的N张图像为利用多阵 列探测器对一个平面扫描样本采集的N张图像；

训练学习模块：将对参照样本成像获得的一帧下的N张图像作为参照输入图像，并将所述参照样本的不同轴向的K个平面图像作为参照输出图像，用于将所述参照输入图像及参照输出图像按照所述设置的输入图像及输出图像的尺寸进行拆分后形成图像训练对，将所述图像训练对输入所述神经网络结构中进行训练，以获得训练完成的神经网络；

重建清晰图像模块：将所述待成像样本获得的一帧下的N张图像作为输入图像，依据所述设置的输入图像尺寸进行拆分后，输入所述训练完成的神经网络中进行重建，依据所述设置的输出图像的尺寸输出所述待成像样本的轴向K个平面图像。

2.根据权利要求1所述的虚拟多平面成像系统，其特征在于，所述不同轴向的K个平面图像的相邻图像的轴向间隔相同，且为z₀。

3.根据权利要求2所述的虚拟多平面成像系统，其特征在于，所述输入图像的尺寸为N*A*B，所述输出图像的尺寸为K*A*B，所述输入图像与输出图像的A*B个像素一一对齐，其中，A、B均为正整数。

4.根据权利要求3所述的虚拟多平面成像系统，其特征在于，还包括图像采集模块，包括显微镜及探测器，所述探测器为N线阵列探测器，用于对样本成像时获取一帧下的N张图像。

5.根据权利要求4所述的虚拟多平面成像系统，其特征在于，所述轴向间隔z₀具体为：

z₀＝2λ/NA²

其中，λ是样本发射的波长，NA为显微镜的物镜的数值孔径。

6.根据权利要求5所述的虚拟多平面成像系统，其特征在于，所述不同轴向的K个平面图像数量满足：K≤9。

7.根据权利要求3-5任一所述的虚拟多平面成像系统，其特征在于，所述A与B的范围为：A≤256，B≤256。

8.根据权利要求4或5所述的虚拟多平面成像系统，其特征在于，所述显微镜为线共聚焦扫描显微镜。

9.一种虚拟多平面成像方法，其特征在于，包括：

设置神经网络结构：搭建神经网络结构，将对待成像样本获得的一帧下的N张图像作为输入图像，将所述N张图像对应的轴向K个平面图像作为输出图像，设置输入图像及输出图像的尺寸，其中，K、N均为正整数，且N≥2，K≥2，所述一帧下的N张图像为利用多阵列探测器对一个平面扫描样本采集的N张图像；

训练学习：将对参照样本成像获得的一帧下的N张图像作为参照输入图像，并将所述参照样本的不同轴向的K个平面图像作为参照输出图像，用于将所述参照输入图像及参照输出图像按照所述设置的输入图像及输出图像的尺寸进行拆分后形成图像训练对，将所述图像训练对输入所述神经网络结构中进行训练，以获得训练完成的神经网络；

重建清晰图像：将所述待成像样本获得的一帧下的N张图像作为输入图像，依据所述设置的输入图像尺寸进行拆分后，输入所述训练完成的神经网络中进行重建，依据所述设置的输出图像的尺寸输出所述待成像样本的轴向K个平面图像。

10.根据权利要求9所述的虚拟多平面成像方法，其特征在于，还包括获取图像，采用显微镜与多阵列探测器，通过显微镜对样本获取成像范围后通过所述多阵列探测器对所述样本进行成像以在一帧下获得多张图像，轴向移动样本或显微镜并通过所述多阵列探测器的最中心的一列探测器对所述样本在轴向上形成多个平面图像。

Images