CN110349237B - 基于卷积神经网络的快速体成像方法 - Google Patents

Abstract

本发明涉及图像处理技术和显微成像技术，提出了一种基于卷积神经网络的快速体成像方法，该方法包括：S1搭建U型卷积神经网络结构；S2获取训练图像：用宽场显微镜和光学层析显微镜对样本进行轴向三维扫描成像；S3拆分形成图像对；S4训练卷积神经网络；S5重建光学层析图像。该方法能够从轴向采样率不足的宽场图像中恢复出不带背景荧光干扰的清晰完整三维图像，从软件层面上实现了快速体成像，相比于传统的体成像方法，该方法的实现更简单并且在保证成像速度的同时不损失分辨率。

Description

基于卷积神经网络的快速体成像方法

技术领域

本发明涉及图像处理技术和显微成像技术，尤其是涉及一种基于卷积神经网络的快速体成像方法。

背景技术

在活体脑成像研究中，为了捕捉到神经元之间的信号传导，实现快速体成像具有十分重要的意义。现有的体成像技术主要分为三类，第一类是使用光学层析显微镜对样本进行探测，然后利用平移台或压电扫描器对样本进行轴向扫描获取三维图像。这种方法可以获得很高分辨率的三维图像，但是对样本逐层扫描会耗费很长的时间，难以做到快速体成像。第二类是使用扩展景深成像技术，利用变形镜或变焦透镜，在单次曝光时间内将不同层的焦面信息记录于一张二维图像上，然后利用反卷积算法去除背景荧光干扰。这种方法将三维的图像数据压缩到二维上，会损失一定的信息。第三类是使用光场显微成像技术，通过在传统光学显微镜的中继面上加入一块捕捉光场信息的微透镜阵列，然后对4D光场数据进行数字对焦，重建出三维数据。这种方法的缺陷在于分辨率很低，通常只能达到胞体分辨的水平。

发明内容

本发明的目的在于克服上述技术不足，提出了一种基于卷积神经网络的快速体成像方法，通过构建卷积神经网络，可以让轴向上欠采样的宽场图像转换为清晰完整的三维图像。这种方法避免了逐层扫描，成像速度更快。同时该方法仅基于宽场显微镜，不依赖其他精密的光学器件，因此更加实用和稳定。进一步地，这种方法不会损失系统的分辨率，能够达到亚微米级别的分辨水平。

为达到上述技术目的，本发明提供的一种基于卷积神经网络的快速体成像方法，包括如下步骤：

S1搭建U型卷积神经网络结构：网络分为编码器部分和解码器部分，编码器由8层步长为2、卷积核为4×4的卷积层构成，解码器由与所述编码器对称的8层步长为2、卷积核为4×4的反卷积层构成，且在每个编码器和解码器之间有跳跃连接，以使图像先经过编码器的每个卷积层先降采样2倍，再经过解码器的每个反卷积层升采样2倍，最终恢复到原来的尺寸；

S2获取训练图像：用宽场显微镜和光学层析显微镜对样本进行轴向三维扫描成像，所述光学层析显微镜成像的轴向间隔为aμm，所述宽场显微镜成像的轴向间隔为n×aμm(n≥2)，其中a、n均为正整数；

S3拆分形成图像对：将所述步骤S2中的宽场图像和所述步骤S2中的光学层析图像进行拆分，顺序取p张轴向间隔为naμm的宽场图像和(p-1)n+1张轴向间隔为aμm的光学层析图像组成训练图像对，拆分后的宽场图像与光学层析图像配准到同一平面、像素一一对齐，其中p为正整数；

S4训练卷积神经网络：设置卷积神经网络的损失函数，用步骤S3拆分后一一对应的图像对训练所述步骤S1搭建的卷积神经网络，直到所述损失函数收敛，从而获得训练完成的卷积神经网络；

S5重建光学层析图像：采用具有与所述步骤S2中一致的宽场显微镜对新的样本进行轴向间隔为naμm的轴向三维扫描成像，获得p张新样本的轴向宽场图像，将新获得的宽场图像根据所述步骤S3进行拆分，将拆分后的新的宽场图像输入所述步骤S4得到的训练完成的卷积神经网络，最后卷积神经网络输出(p-1)n+1张轴向间隔为aμm的光学层析图像。

进一步的，所述步骤S4中的损失函数为平均绝对值误差函数，所述直到所述损失函数收敛具体指当网络输出的误差不再下降时。

进一步的，所述步骤S2中用宽场显微镜和光学层析显微镜对样本进行轴向三维扫描成像的具体方法为：通过压电扫描器控制宽场显微镜和光学层析显微镜的物镜使得所述宽场显微镜和光学层析显微镜按相应的轴向间隔对样本成像。

进一步的，所述样本为透明状。

进一步的，所述样本为不透明样本，所述样本的厚度范围为50-100um。

进一步的，所述步骤S3中拆分后的图像尺寸为256×256像素。

附图说明

图1为一种基于卷积神经网络的快速体成像方法的流程图。

图2为本发明的卷积神经网络结构图。

图3为使用本方法对脑片样本进行成像的结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

本实施例中以转基因标记荧光鼠脑组织的100μm脑片作为样本来对本发明提供的一种基于卷积神经网络的快速体成像方法进行验证。脑片样本比较薄，受到光散射的影响比较弱，因此可以直接用显微镜轴向扫描获取三维图像。如图1所示，本发明提供的一种基于卷积神经网络的快速体成像方法具体包括：

S1搭建U型卷积神经网络结构：网络分为编码器部分和解码器部分，编码器由8层步长为2、卷积核为4×4的卷积层构成，解码器由与所述编码器对称的8层步长为2、卷积核为4×4的反卷积层构成，且在每个编码器和解码器之间有跳跃连接，以使图像先经过编码器的每个卷积层先降采样2倍，再经过解码器的每个反卷积层升采样2倍，最终恢复到原来的尺寸，网络结构如图2所示，输入图像和输出图像的尺寸均为256×256像素。

S2获取训练图像：用宽场显微镜以8μm的轴向间隔对样本进行轴向三维扫描成像，获得宽场图像，用具有光学层析能力的结构光显微镜以2μm的轴向间隔对样本进行轴向三维扫描成像，获得光学层析图像，本实施例中n＝8/2＝4；

S3拆分形成图像对：将所述步骤S2中的宽场图像和光学层析图像拆分为256x256像素，本实施例取p＝3，(p-1)n+1＝9，顺序取3张轴向间隔为8μm的宽场图像和9张轴向间隔为2μm的光学层析图像组成训练图像对，将拆分后的宽场图像与光学层析图像配准到同一平面、像素一一对齐；

S4训练卷积神经网络：设置卷积神经网络的损失函数为平均绝对值误差函数，用步骤S3中拆分后一一对应的图像对训练所述步骤S1搭建的卷积神经网络，直到网络输出的误差不再下降，即所述损失函数收敛时，终止训练，获得训练完成的卷积神经网络；

S5重建光学层析图像：采用与所述步骤S2中一致的宽场显微镜对新的脑片样本进行轴向间隔为8μm的轴向三维扫描成像，对于100μm的脑片，在轴向上拍摄15张图像，总的成像间隔为(15-1)×8＝112μm>100μm，能够完整覆盖整个脑片。如图3所示，其中，a为输入的宽场图像，b为输出的光学层析图像。本实施例中拍摄的宽场图像大小为1024x1024像素，按顺序取3张，每张按256x256像素进行拆分，每张可获得(1024/256)x(1024/256)＝16张大小为256x256像素的宽场图像，将这3份数量各为16张的宽场图像作为输入图像，输入至卷积神经网络中，输出9份数量各为16张的256x256像素的光学层析图像，将输出图像按顺序拼接，得到9张轴向间隔为2μm大小为1024x1024像素的光学层析图像。对于100μm的脑片，需要按顺序在轴向上依次重复112/16＝7次获取光学层析图像的过程，最终获得脑片的完整三维结构。

利用本方法拍摄脑片样本可以避免对样本进行逐层扫描来获取精细的三维成像结果，这样减小了光漂白现象，同时该方法也移除了各个焦面上的背景荧光干扰，因此可以在宽场显微镜上实现快速的体成像，这样避免了昂贵仪器的使用，也减少了复杂光路的调试过程，更具有实用性。

实施例2

本实施例以30μm的活体秀丽隐杆线虫作为样本来进行验证。秀丽隐杆线虫是一种通身透明的样本，是标准的生物研究模型之一。由于它本身是透明的，因此受到光散射的影响很弱，可以用显微镜进行三维成像。具体步骤如下：

S1搭建U型卷积神经网络结构：与实施例1中S1步骤一致，输入图像和输出图像的尺寸均为256×256像素；

S2获取训练图像：用宽场显微镜以6μm的轴向间隔对样本进行轴向三维扫描成像，获得宽场图像，用具有光学层析能力的共聚焦显微镜以2μm的轴向间隔对样本进行轴向三维扫描成像，获得光学层析图像，本实施例中n＝6/2＝3；

S3拆分形成图像对：将所述步骤S2中的宽场图像和光学层析图像拆分为256x256像素，本实施例中输入图像的p值设为2，(p-1)n+1＝4，顺序取2张轴向间隔为6μm的宽场图像和4张轴向间隔为2μm的光学层析图像组成训练图像对，将拆分后的宽场图像与光学层析图像配准到同一平面、像素一一对齐；

S4训练卷积神经网络：设置卷积神经网络的损失函数为平均绝对值误差函数，训练卷积神经网络的方法与实施例1一致；

S5重建光学层析图像：采用与所述步骤S2中一致的宽场显微镜对新的线虫样本进行轴向间隔为6μm的轴向三维扫描成像，对于30μm的线虫样本，在轴向上拍摄6张图像，总的成像间隔为(6-1)×6＝30μm，能够正好覆盖整个样本深度。本实施例中拍摄的宽场图像大小为1024x1024像素，按顺序取2张拆分为256x256像素，每张可获得(1024/256)x(1024/256)＝16张大小为256x256的宽场图像，将这2份数量各为16张的宽场图像作为输入图像，输入至卷积神经网络中，输出4份数量各为16张的256x256像素的光学层析图像，将输出图像按顺序拼接，得到4张轴向间隔为2μm大小为1024x1024像素的光学层析图像。对于30μm的线虫样本，需要按顺序在轴向上依次重复30/6＝5次获取光学层析图像的过程，最终获得30μm的线虫样本的完整三维结构。

利用本方法拍摄样本可以避免对样本进行逐层扫描来获取精细的三维成像结果，这样减小了光毒性，不会对活体样本产生更多不利的影响。同时该方法利用高通量的宽场显微镜拍摄图像，相比于点扫描的共聚焦显微镜，该方法的成像时间更短，对活体样本的损伤进一步减小。

实施例3

本实施例以1mm的透明斑马鱼作为样本来进行验证。透明斑马鱼是一种的典型的生物模型，便于研究包括癌细胞扩散在内的疾病发展过程。由于它本身是透明的，因此受到光散射的影响很弱，可以用显微镜进行三维成像。具体步骤如下：

S1搭建U型卷积神经网络结构：与实施例1中S1步骤一致，输入图像和输出图像的尺寸均为256×256像素；

S2获取训练图像：用宽场显微镜以10μm的轴向间隔对斑马鱼样本进行轴向三维扫描成像，获得宽场图像，用共聚焦显微镜以2μm的轴向间隔对斑马鱼样本进行轴向三维扫描成像，获得光学层析图像，本实施例中n＝10/2＝5；

S3拆分形成图像对：将所述步骤S2中的宽场图像和光学层析图像拆分为256x256像素，本实施例中p值设为3，(p-1)n+1＝11，顺序取3张轴向间隔为10μm的宽场图像和11张轴向间隔为2μm的光学层析图像组成训练图像对，拆分后的宽场图像与光学层析图像配准到同一平面、像素一一对齐；

S4训练卷积神经网络：设置卷积神经网络的损失函数为平均绝对值误差函数，训练卷积神经网络的方法与实施例1一致；

S5重建光学层析图像：采用与所述步骤S2中一致的宽场显微镜对新的斑马鱼样本进行轴向间隔为10μm的轴向三维扫描成像，对于1mm的斑马鱼样本，在轴向上拍摄101张图像，总的成像间隔为(101-1)×10＝1000μm，因此能够正好覆盖整个样本深度。本实施例中拍摄的宽场图像大小为1024x1024像素，按顺序取3张拆分为256x256像素，每张可获得(1024/256)x(1024/256)＝16张大小为256x256的宽场图像，将这3份数量各为16张的宽场图像作为输入图像，输入至卷积神经网络中，输出11份数量各为16张大小为256x256像素的光学层析图像，将输出图像按顺序拼接，得到11张轴向间隔为2μm大小为1024x1024像素的光学层析图像。对于1mm的斑马鱼样本，需要按顺序在轴向上依次重复1000/20＝50次获取光学层析图像的过程，最终获得1mm的斑马鱼样本的完整三维结构。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (6)

1.一种基于卷积神经网络的快速体成像方法，其特征在于，包括如下步骤：

S1搭建U型卷积神经网络结构：网络分为编码器部分和解码器部分，编码器由8层步长为2、卷积核为4×4的卷积层构成，解码器由与所述编码器对称的8层步长为2、卷积核为4×4的反卷积层构成，且在每个编码器和解码器之间有跳跃连接，以使图像先经过编码器的每个卷积层先降采样2倍，再经过解码器的每个反卷积层升采样2倍，最终恢复到原来的尺寸，其中，输入图像与输出图像的尺寸相同；

S2获取训练图像：用宽场显微镜和光学层析显微镜对样本进行轴向三维扫描成像，所述光学层析显微镜成像的轴向间隔为a µm，所述宽场显微镜成像的轴向间隔为n×a µm，n≥2，其中a、n均为正整数；

S3拆分形成图像对：将所述步骤S2中的宽场图像和所述步骤S2中的光学层析图像进行拆分，顺序取p张轴向间隔为na µm的宽场图像和(p-1)n+1张轴向间隔为a µm的光学层析图像组成训练图像对，拆分后的宽场图像与光学层析图像配准到同一平面、像素一一对齐，其中p为正整数；

S4训练卷积神经网络：设置卷积神经网络的损失函数，用步骤S3拆分后一一对应的图像对训练所述步骤S1搭建的卷积神经网络，其中，拆分后的宽场图像作为输入图像，拆分后的层析图像作为输出图像，直到所述损失函数收敛，从而获得训练完成的卷积神经网络；

S5重建光学层析图像：采用具有与所述步骤S2中一致的宽场显微镜对新的样本进行轴向间隔为na µm的轴向三维扫描成像，获得p张新样本的轴向宽场图像，将新获得的宽场图像根据所述步骤S3进行拆分，将拆分后的新的宽场图像输入所述步骤S4得到的训练完成的卷积神经网络，最后卷积神经网络输出(p-1)n+1张轴向间隔为a µm的光学层析图像。

2.根据权利要求1所述的基于卷积神经网络的快速体成像方法，其特征在于，所述步骤S4中的损失函数为平均绝对值误差函数，所述直到所述损失函数收敛具体指当网络输出的误差不再下降时。

3.根据权利要求1所述的基于卷积神经网络的快速体成像方法，其特征在于，所述步骤S2中用宽场显微镜和光学层析显微镜对样本进行轴向三维扫描成像的具体方法为：通过压电扫描器控制宽场显微镜和光学层析显微镜的物镜使得所述宽场显微镜和光学层析显微镜按相应的轴向间隔对样本成像。

4.根据权利要求1-3任一所述的基于卷积神经网络的快速体成像方法，其特征在于，所述样本为透明状。

5.根据权利要求1-3任一所述的基于卷积神经网络的快速体成像方法，其特征在于，所述样本为不透明样本，所述样本的厚度范围为50-100µm。

6.根据权利要求1-3任一所述的基于卷积神经网络的快速体成像方法，其特征在于，所述步骤S3中拆分后的图像尺寸为256×256像素。

Images