CN111260556A - 一种基于深度卷积神经网络的傅里叶叠层显微重建方法 - Google Patents
一种基于深度卷积神经网络的傅里叶叠层显微重建方法 Download PDFInfo
- Publication number
- CN111260556A CN111260556A CN202010049470.2A CN202010049470A CN111260556A CN 111260556 A CN111260556 A CN 111260556A CN 202010049470 A CN202010049470 A CN 202010049470A CN 111260556 A CN111260556 A CN 111260556A
- Authority
- CN
- China
- Prior art keywords
- network
- tensor
- reconstruction
- layer
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 16
- 239000002131 composite material Substances 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000004088 simulation Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000001000 micrograph Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims 2
- 230000004075 alteration Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 201000008968 osteosarcoma Diseases 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度卷积神经网络的傅里叶叠层显微重建方法，该方法利用残差网络结构和深度卷积网络搭建了新型的傅里叶叠层重建网络，在傅里叶叠层重建网络中，采用两个独立的重建网络支路分别实现对振幅和相位的重建，每个重建网络支路又分成两个网络分支，两个网络分支分别实现对张量不同深度特征的操作，傅里叶叠层重建网络的损失函数采用复合损失函数，并利用优化器对网络的参数进行训练，相比于传统的迭代式更新算法，本发明的重建方法可以非常快速的同时重建出高分辨率的振幅信息和相位信息，进一步提升傅里叶叠层显微镜的重建效率，并且能够在存在大或小相位差引起的误差情况下仍能快速的获得更好的重建结果。
Description
技术领域
本发明涉及深度学习以及计算成像技术领域，尤其是涉及了一种基于深度卷积神经网络的傅里叶叠层显微重建方法。
背景技术
傅里叶叠层成像显微镜(Fourier ptychographic microscopy，FPM)是一种新开发的成像方法，旨在规避空间带宽积(space-bandwidth product，SBP)的限制，并获得宽视场，高分辨率的复杂图像。傅里叶叠层成像技术自2013以来，被应用于光学显微、生物医学、生命科学等领域，获得大视场、高分辨率的显微图像。然而，在FPM成像系统中，所使用的光学元件的光瞳像位差和非相干光成像显著地降低了重建结果的质量，并且基于迭代式的传统傅里叶叠层显微镜重建算法速度过慢，FPM成像系统的时间分辨率过低。
发明内容
基于此，有必要针对当前基于迭代式的传统傅里叶叠层显微镜重建算法速度过慢，成像系统的时间分辨率过低的问题，提供一种基于深度卷积神经网络的傅里叶叠层显微重建方法。本发明通过将傅里叶叠层重建网络分成两部分，可以非常快速的同时重建出高分辨率的振幅和相位信息，通过最小化设定的损失函数，可以使网络学到如何处理FPM重建问题的方法，同时通过对实测数据进行小样本学习，本网络可以学到如何修正由于系统像差和光源非相干性对重建结果造成的影响，从而能够在存在大或小相位差引起的误差情况下仍能快速的获得更好的重建结果。
本发明的技术方案如下：
一种基于深度卷积神经网络的傅里叶叠层显微重建方法，该方法包括以下步骤：
步骤S1：获取傅里叶叠层成像显微镜对样本成像后得到的低分辨率图片序列；
步骤S2：将所述低分辨率图片序列通过级联的方式转换成三维张量；
步骤S3：利用傅里叶叠层重建网络对所述张量进行重建，得到重建后的复振幅信息；
步骤S4：根据重建后的复振幅信息得到所述样本对应的高分辨率振幅图片和高分辨率相位图片；
所述傅里叶叠层重建网络通过以下步骤获得：
步骤S3-1：网络结构搭建
所述傅里叶叠层重建网络包括重建网络支路和级联层，所述重建网络支路设置为两个，其中一个所述重建网络支路用于重建振幅并输出重建后的振幅信息至所述级联层，另一个所述重建网络支路用于重建相位并输出重建后的相位信息至所述级联层，所述级联层对重建后的振幅信息和重建后的相位信息进行级联，得到重建后的复振幅信息；
所述重建网络支路包括第一网络分支、第二网络分支、子级联层和卷积层，所述第一网络分支包括依次连接的第一卷积层、第一残差模组和第一上采样模组，所述第一卷积层接收输入的张量并对张量的通道数进行压缩，压缩后的张量输入至所述第一残差模组，经过所述第一残差模组处理后输入至所述第一上采样模组，所述第一上采样模组进行上采样操作并恢复张量的通道数；所述第二网络分支包括依次连接的第二卷积层、第二残差模组和第二上采样模组，所述第二卷积层接收输入的张量并对张量的通道数进行压缩以及对张量进行下采样操作，经过压缩和下采样后的张量输入至所述第二残差模组，经过所述第二残差模组处理后输入至所述第二上采样模组，所述第二上采样模组进行上采样操作并恢复张量的通道数；所述第一上采样模组和所述第二上采样模组分别与所述子级联层连接，所述子级联层、所述卷积层和所述级联层依次连接，所述子级联层对所述第一上采样模组和所述第二上采样模组输出的张量进行级联操作，所述卷积层将级联后的张量的通道数压缩至1并输出相应的重建后的信息至所述级联层；
步骤S3-2：设定网络学习训练时的复合损失函数
所述复合损失函数为：
loss＝η1L1{τGT,τoutput}+η2SSIM{τGT,τoutput}+η3L1{F{τGT},F{τoutput}}
式中，τGT和τoutput分别表示网络训练时的真实值以及网络的输出值，η1表示空域损失中L1的权重，η2表示空域损失中SSIM的权重，η3表示频域损失在整体损失函数中所占的比重，F表示对有2个通道的三维张量的傅里叶变换，L1表示范数，SSIM表示结构相似度；
步骤S3-3：网络学习训练
使用Adam作为优化器，利用模拟数据对步骤S3-1搭建的网络进行学习训练，再利用实测数据对训练后的网络进行小样本的学习训练，训练后得到所述傅里叶叠层重建网络。
与现有技术相比，本发明具有以下有益效果：
本发明提出了一种基于深度卷积神经网络的傅里叶叠层显微重建方法，该方法利用残差网络结构和深度卷积网络搭建了新型的傅里叶叠层重建网络，在傅里叶叠层重建网络中，采用两个独立的重建网络支路分别实现对振幅和相位的重建，每个重建网络支路又分成两个网络分支，两个网络分支分别实现对张量不同深度特征的操作，傅里叶叠层重建网络的损失函数采用复合损失函数，并利用优化器对网络的参数进行训练，相比于传统的迭代式更新算法，本发明的重建方法可以非常快速的同时重建出高分辨率的振幅信息和相位信息，进一步提升傅里叶叠层显微镜的重建效率，并且通过最小化设定的复合损失函数，可以使网络学到如何处理FPM重建问题的方法，同时利用实测数据进行小样本学习，使网络可以学到如何修正由于系统像差和光源非相干性对重建结果造成的影响，从而能够在存在大或小相位差引起的误差情况下仍能快速的获得更好的重建结果。
附图说明
图1为本发明其中一个实施例中基于深度卷积神经网络的傅里叶叠层显微重建方法的流程图；
图2为本发明其中一个实施例中傅里叶叠层重建网络的网络结构图；
图3为傅里叶叠层重建网络中的重建网络支路的网络结构图；
图4为重建网络支路中的残差模块的网络结构图；
图5为重建网络支路中的采样模块的网络结构图；
图6为本发明使用人骨肉瘤上皮U2OS染色标本作为样本，分别在小像差和大像差下EPRY方法和本发明的重建结果对比图；
图7为使用未染色的体外Hela细胞作为样本，在大像差下EPRY方法和在迁移学习后本发明的重建结果对比图。
具体实施方式
针对当前基于迭代式的传统傅里叶叠层显微镜重建算法速度过慢，系统的时间分辨率过低的问题，本发明基于机器学习平台PyTorch，并利用了残差网络结构和深度卷积网络搭建了新型的傅里叶叠层重建网络。本发明通过模拟数据集定量的证明了该网络在处理傅里叶叠层显微镜重建问题上的有效性，并且验证了该网络具有较强的对噪声的鲁棒性。在本发明的网络中，采用两个独立的网络支路实现对振幅和相位的重建，每个支路又分成两个部分，分别实现对图片不同深度特征的操作。网络的损失函数也分成空域损失和频域损失，并利用优化器对网络的参数进行训练，相比于传统的迭代式更新算法，该网络可以实现更快速的重建，即进一步提升傅里叶叠层显微镜的重建效率。同时本发明利用模拟数据验证了该方法的可行性，并进一步利用实测数据指出该网络只需要在实测数据上进行小样本的学习，就可以使网络能够修正系统的像差以及光源非相干性对重建质量的影响，进而可以在显着和轻微像差下非常快速地获得更清晰的结果。最后本发明利用迁移学习可以快速的应用已训练好的网络去重建新的样本数据，这也进一步提高了本发明的普适性。下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。
在其中一个实施例中，如图1-3所示，本发明公开了一种新的基于深度卷积神经网络的傅里叶叠层显微重建方法，可以修正系统像差的影响同时重建出样本的高分辨率振幅和相位，并且具有较快的重建速度和较高的重建质量，该方法具体包括以下步骤：
步骤S1：获取傅里叶叠层成像显微镜对样本成像后得到的低分辨率图片序列c×W×H；
步骤S2：将低分辨率图片序列c×W×H通过级联的方式转换成三维张量；
将低分辨率图片序列c×W×H通过级联的方式变成一个维度为(c,W,H)的三维张量，其中W和H分别表示输入图片的长度和宽度，c表示这个张量的通道数(特征数)，也就是低分辨率图片的张数；
步骤S3：利用傅里叶叠层重建网络对张量进行重建，得到重建后的复振幅信息；
将步骤S2得到的张量输入至傅里叶叠层重建网络，傅里叶叠层重建网络对张量进行重建，并输出重建后的复振幅信息；
步骤S4：根据重建后的复振幅信息得到样本对应的高分辨率图片序列2×αW×αH，其中α为放大倍数，高分辨率图片序列2×αW×αH包括一张高分辨率振幅图片和一张高分辨率相位图片。
本实施例中的傅里叶叠层重建网络通过以下步骤获得：
步骤S3-1：网络结构搭建
傅里叶叠层重建网络包括重建网络支路和级联层，重建网络支路设置为两个，其中一个重建网络支路(即重建振幅支路)用于重建振幅并输出重建后的振幅信息至级联层，另一个重建网络支路(即重建相位支路)用于重建相位并输出重建后的相位信息至级联层，级联层对重建后的振幅信息和重建后的相位信息进行级联，重建复振幅，得到重建后的复振幅信息；
傅里叶叠层重建网络以步骤S2获得的张量作为输入，输入的张量分别传到两个重建网络支路，两个重建网络支路的内部结构是相同的，其中一个重建网络支路用来重建振幅，另一个重建网络支路用来重建相位，重建后的振幅信息和重建后的相位信息分别输入至级联层。
每个重建网络支路包括第一网络分支、第二网络分支、子级联层和卷积层，其中第一网络分支包括依次连接的第一卷积层、第一残差模组和第一上采样模组，第二网络分支包括依次连接的第二卷积层、第二残差模组和第二上采样模组。
每个重建网络支路中有两个不同的操作流，在第一个操作流中，输入的张量首先通过第一卷积层，第一卷积层对张量的通道数进行压缩，例如，第一卷积层将张量的通道数压缩至64，压缩后的张量接着输入到由若干个残差模块组成的第一残差模组中，经过第一残差模组处理后，张量便传到由若干个上采样模块组成的第一上采样模组中，第一上采样模组进行上采样操作，将张量上采样到所期望的尺寸，并将张量的通道数恢复至第一卷积层进行压缩前的通道数。
第二个操作流的结构和第一个操作流的结构相似，不同之处在于第二卷积层在压缩输入张量的通道数的同时要将其尺寸下采样到原尺寸的设定值(例如下采样到原尺寸的1/4)，接着经过压缩和下采样后的张量输入到第二残差模组中，第二残差模组与第一操作流中的第一模组的结构相同，在最后的上采样操作中，第二上采样模组对张量进行上采样操作，将其上采样到预设的倍数(例如)。具体地，在第二个操作流中，输入的张量首先通过第二卷积层，第二卷积层对张量的通道数进行压缩，例如，第二卷积层将张量的通道数压缩至64，并且第二卷积层对张量进行下采样操作，经过压缩和下采样后的张量输入到由若干个残差模块组成的第二残差模组中，经过第二残差模组处理后，张量便传到由若干个上采样模块组成的第二上采样模组中，第二上采样模组进行上采样操作，将图片上采样到所期望的尺寸，并将张量的通道数恢复至第二卷积层进行压缩前的通道数。
本实施例中的第一残差模组和第二残差模组均包括若干个顺次连接的残差模块，进一步地，如图4所示，每个残差模块包括第一子卷积层、第二子卷积层、夹在第一子卷积层与第二子卷积层之间的ReLU激活层以及一个将模块的输入和输出连接在一起的恒等映射操作，其中第一子卷积层接收输入的张量并将张量的通道数扩张预设的倍数，例如，第一子卷积层将张量的通道数扩张4倍；接着在经过ReLU激活层后，张量的通道数又被第二子卷积层恢复至第一子卷积层扩张前的通道数，恢复后的张量输出至下一个残差模块，特别地，当残差模块为第一残差模组或者第二残差模组中的最后一个模块时，恢复后的张量输出至对应的上采样模组中。
本实施例中的第一上采样模组和第二上采样模组均包括若干个顺次连接的上采样模块，进一步地，如图5所示，每个上采样模块包括第三子卷积层和Shuffle层，其中第三子卷积层接收输入的张量并将张量的通道数扩张α2倍，接着扩张后的张量经过Shuffle层，Shuffle层将扩张后的张量的尺寸进行扩大，并且第一上采样模组中的Shuffle层将扩张后的张量的尺寸扩大α倍，第二上采样模组中的Shuffle层将扩张后的张量的尺寸扩大4α倍，同时Shuffle层将恢复张量的通道数，张量的通道数被恢复至第三子卷积层扩张前的通道数。Shuffle层将恢复后的张量输出至下一个上采样模块，特别地，当上采样模块为第一上采样模组或者第二上采样模组中的最后一个模块时，恢复后的张量输出至子级联层。
优选地，第一残差模组和第二残差模组中残差模块的数量均为16个，以提高重建效果。
优选地，第一卷积层将张量的通道数压缩至64，第二卷积层将张量的通道数压缩至64并将张量的尺寸下采样到1/4；第一子卷积层将张量的通道数扩张4倍，第二子卷积层将张量的通道数恢复到64，以提高重建效果。
第一上采样模组和第二上采样模组分别与子级联层连接，子级联层、卷积层和级联层依次连接，在得到两个操作流的输出张量后，将这两个张量输入至子级联层，经过子级联层的级联操作以及重建网络支路中的最后一个卷积层，将张量的通道数压缩至1，输出相应的重建后的信息至级联层。当重建网络支路为用于重建振幅的重建网络支路时，卷积层输出重建后的振幅信息至级联层；当重建网络支路为用于重建相位的重建网络支路时，卷积层输出重建后的相位信息至级联层。
傅里叶叠层重建网络中用来重建相位的重建网络支路结构和用来重建振幅的重建网络支路结构相同，这样就可以同时输出重建后的振幅信息和重建后的相位信息，进而实现对复振幅的重建。
步骤S3-2：设定网络学习训练时的复合损失函数
搭建完傅里叶叠层重建网络后需要设定网络训练时所需的损失函数，本实施例中网络训练所需的损失函数为复合损失函数，复合损失函数为：
loss＝η1L1{τGT,τoutput}+η2SSIM{τGT,τoutput}+η3L1{F{τGT},F{τoutput}}
复合损失函数loss包括两部分：空域内的损失lossspatial和频域内的损失lossfreq。
首先是空域内的损失(即空域损失)lossspatial，其由L1范数和结构相似度(SSIM)构成：
lossspatial＝η1L1{τGT,τoutput}+η2SSIM{τGT,τoutput}
式中，τGT和τoutput分别表示网络训练时的真实值以及网络的输出值，η1和η2分别表示空域损失中L1和SSIM两部分的权重。
进一步，采用对于真实值和网络输出值的频谱的L1范数作为用于训练网络的频域内的损失(即频域损失)lossfreq：
lossfreq＝η3L1{F{τGT},F{τoutput}}
式中，η3表示频域损失在整体损失函数中所占的比重，F表示对有2个通道的三维张量的傅里叶变换，其输出的仍是一个具有2个通道的张量，其中一个表示实部，一个表示虚部。
步骤S3-3：网络学习训练
在网络的学习训练过程中，使用Adam作为优化器，首先利用模拟数据对步骤S3-1搭建的网络进行训练，使网络学到理想情况下的FPM重建过程，接着利用实测数据并结合对应的修正了相差和光源非相干性影响的高分辨率真实值对训练后的网络进行小样本的学习训练，使网络学到优化重建质量来消除像差以及光源非相干性影响的方式，从而可以快速地重建出更好的结果，训练后最终得到傅里叶叠层重建网络。
本实施例提出了一种基于深度卷积神经网络的傅里叶叠层显微重建方法，该方法利用残差网络结构和深度卷积网络搭建了新型的傅里叶叠层重建网络，在傅里叶叠层重建网络中，采用两个独立的重建网络支路分别实现对振幅和相位的重建，每个重建网络支路又分成两个网络分支，两个网络分支分别实现对张量不同深度特征的操作，傅里叶叠层重建网络的损失函数采用复合损失函数，并利用优化器对网络的参数进行训练，相比于传统的迭代式更新算法，本实施例的重建方法可以非常快速的同时重建出高分辨率的振幅信息和相位信息，进一步提升傅里叶叠层显微镜的重建效率，并且通过最小化设定的复合损失函数，可以使网络学到如何处理FPM重建问题的方法，同时利用实测数据进行小样本学习，使网络可以学到如何修正由于系统像差和光源非相干性对重建结果造成的影响，从而能够在存在大或小相位差引起的误差情况下仍能快速的获得更好的重建结果。
下面结合实验结果进一步阐述本发明所提出的基于深度卷积神经网络的傅里叶叠层显微重建方法的可行性和有效性：
本发明中傅里叶叠层成像显微镜为经典的FPM系统结构，该系统包括一个物镜、一个CCD传感器和一个可编程的LED矩阵，其中物镜为NA＝0.2的10X物镜，CCD传感器的像素尺寸为6.5μm，可编程的LED矩阵放置在样品前67.5mm，其包括21×21个LED元件，两个相邻的LED元件之间的横向距离为4mm。依次点亮LED阵列中的LED，并通过FPM系统在相机上接收到对应于不同LED的低分辨率图片，从而得到样品的低分辨率图片序列。使用人骨肉瘤上皮U2OS染色标本作为样本，分别在小像差和大像差下利用传统EPRY(Embedding PupilRecovery)方法和本发明的重建方法(FPNet)进行重建，重建结果如图6所示，其中图(a1)和(a2)分别为小像差下采用EPRY方法重建得到的振幅图片和相位图片，图(a3)和(a4)分别为图(a1)和(a2)对应的局部放大图；图(b1)和(b2)分别为小像差下采用本发明的重建方法得到的振幅图片和相位图片，图(b3)和(b4)分别为图(b1)和(b2)对应的局部放大图；图(c1)和(c2)分别为大像差下采用EPRY方法重建得到的振幅图片和相位图片，图(c3)和(c4)分别为图(c1)和(c2)对应的局部放大图；图(d1)和(d2)分别为大像差下采用本发明的重建方法重建得到的振幅图片和相位图片，图(d3)和(d4)分别为图(d1)和(d2)对应的局部放大图。由图6可知，与基于迭代式的传统EPRY方法相比，本发明所提出的重建方法在小像差和大像差下均能获得更加清晰的振幅图片和相位图片，重建效果更好。
在重建速度上，如表1所示，对于同一个样品低分辨率图片序列，GS方法重建所用时间为8.76s，EPRY方法重建所用时间为7.07s，而本发明FPNet方法重建所用时间为31.25ms，本发明重建所用时间远远小于GS方法或者EPRY方法，表明与基于迭代式的传统GS方法和EPRY方法相比，本发明所提出的重建方法可以非常快速的同时重建出高分辨率的振幅信息和相位信息，重建速度更快，重建效率更高。
表1
| 所用方法 | GS | EPRY | FPNet |
| 所用时间 | 8.76s | 7.07s | 31.25ms |
进一步地，利用迁移学习可以快速地将傅里叶叠层重建网络应用到完全不同的样本上，从而提高该方法的普适性。使用未染色的体外Hela细胞作为样本，在大像差下利用传统的EPRY方法和在迁移学习后本发明的重建方法(FPNet)进行重建，重建结果如图7所示，由图7可知，本发明所提出的重建方法可以很好地应用于不同的样本上，而且重建后获得的振幅图片和相位图片更加清晰。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (5)
1.一种基于深度卷积神经网络的傅里叶叠层显微重建方法，其特征在于，包括以下步骤：
步骤S1：获取傅里叶叠层成像显微镜对样本成像后得到的低分辨率图片序列；
步骤S2：将所述低分辨率图片序列通过级联的方式转换成三维张量；
步骤S3：利用傅里叶叠层重建网络对所述张量进行重建，得到重建后的复振幅信息；
步骤S4：根据重建后的复振幅信息得到所述样本对应的高分辨率振幅图片和高分辨率相位图片；
所述傅里叶叠层重建网络通过以下步骤获得：
步骤S3-1：网络结构搭建
所述傅里叶叠层重建网络包括重建网络支路和级联层，所述重建网络支路设置为两个，其中一个所述重建网络支路用于重建振幅并输出重建后的振幅信息至所述级联层，另一个所述重建网络支路用于重建相位并输出重建后的相位信息至所述级联层，所述级联层对重建后的振幅信息和重建后的相位信息进行级联，得到重建后的复振幅信息；
所述重建网络支路包括第一网络分支、第二网络分支、子级联层和卷积层，所述第一网络分支包括依次连接的第一卷积层、第一残差模组和第一上采样模组，所述第一卷积层接收输入的张量并对张量的通道数进行压缩，压缩后的张量输入至所述第一残差模组，经过所述第一残差模组处理后输入至所述第一上采样模组，所述第一上采样模组进行上采样操作并恢复张量的通道数；所述第二网络分支包括依次连接的第二卷积层、第二残差模组和第二上采样模组，所述第二卷积层接收输入的张量并对张量的通道数进行压缩以及对张量进行下采样操作，经过压缩和下采样后的张量输入至所述第二残差模组，经过所述第二残差模组处理后输入至所述第二上采样模组，所述第二上采样模组进行上采样操作并恢复张量的通道数；所述第一上采样模组和所述第二上采样模组分别与所述子级联层连接，所述子级联层、所述卷积层和所述级联层依次连接，所述子级联层对所述第一上采样模组和所述第二上采样模组输出的张量进行级联操作，所述卷积层将级联后的张量的通道数压缩至1并输出相应的重建后的信息至所述级联层；
步骤S3-2：设定网络学习训练时的复合损失函数
所述复合损失函数为：
loss＝η1L1{τGT,τoutput}+η2SSIM{τGT,τoutput}+η3L1{F{τGT},F{τoutput}}
式中，τGT和τoutput分别表示网络训练时的真实值以及网络的输出值，η1表示空域损失中L1的权重，η2表示空域损失中SSIM的权重，η3表示频域损失在整体损失函数中所占的比重，F表示对有2个通道的三维张量的傅里叶变换，L1表示范数，SSIM表示结构相似度；
步骤S3-3：网络学习训练
使用Adam作为优化器，利用模拟数据对步骤S3-1搭建的网络进行学习训练，再利用实测数据对训练后的网络进行小样本的学习训练，训练后得到所述傅里叶叠层重建网络。
2.根据权利要求1所述的基于深度卷积神经网络的傅里叶叠层显微重建方法，其特征在于，
所述第一残差模组和所述第二残差模组均包括若干个顺次连接的残差模块，每一个所述残差模块包括第一子卷积层、ReLU激活层、第二子卷积层以及将模块的输入和输出连接在一起的恒等映射操作，所述第一子卷积层接收输入的张量并将张量的通道数扩张，扩张后的张量经过所述ReLU激活层后，所述第二子卷积层将张量的通道数恢复至所述第一子卷积层扩张前的通道数并将恢复后的张量输出。
3.根据权利要求2所述的基于深度卷积神经网络的傅里叶叠层显微重建方法，其特征在于，
所述第一卷积层将张量的通道数压缩至64，所述第二卷积层将张量的通道数压缩至64并将张量的尺寸下采样到1/4；
所述第一子卷积层将张量的通道数扩张4倍，所述第二子卷积层将张量的通道数恢复到64。
4.根据权利要求2或3所述的基于深度卷积神经网络的傅里叶叠层显微重建方法，其特征在于，
所述第一残差模组和所述第二残差模组中所述残差模块的数量均为16个。
5.根据权利要求1或2所述的基于深度卷积神经网络的傅里叶叠层显微重建方法，其特征在于，
所述第一上采样模组和所述第二上采样模组均包括若干个顺次连接的上采样模块，每一个所述上采样模块包括第三子卷积层和Shuffle层，所述第三卷积层接收输入的张量并将张量的通道数扩张α2倍，所述第一上采样模组中的所述Shuffle层将扩张后的张量的尺寸扩大α倍，所述第二上采样模组中的所述Shuffle层将扩张后的张量的尺寸扩大4α倍，所述Shuffle层将张量的通道数恢复至所述第三子卷积层扩张前的通道数并将恢复后的张量输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010049470.2A CN111260556B (zh) | 2020-01-16 | 2020-01-16 | 一种基于深度卷积神经网络的傅里叶叠层显微重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010049470.2A CN111260556B (zh) | 2020-01-16 | 2020-01-16 | 一种基于深度卷积神经网络的傅里叶叠层显微重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111260556A true CN111260556A (zh) | 2020-06-09 |
| CN111260556B CN111260556B (zh) | 2021-09-28 |
Family
ID=70952210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010049470.2A Active CN111260556B (zh) | 2020-01-16 | 2020-01-16 | 一种基于深度卷积神经网络的傅里叶叠层显微重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111260556B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907444A (zh) * | 2021-02-07 | 2021-06-04 | 中国科学院沈阳自动化研究所 | 一种基于复数域零样本学习的太赫兹图像超分辨重建方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101591626B1 (ko) * | 2015-02-04 | 2016-02-04 | 한양대학교 산학협력단 | 딥신경망에 기초한 패킷 손실 은닉 방법 및 장치 |
| CN107407799A (zh) * | 2015-03-13 | 2017-11-28 | 加州理工学院 | 使用傅里叶叠层成像技术校正不相干成像系统中的像差 |
| CN108362643A (zh) * | 2018-02-10 | 2018-08-03 | 北京工业大学 | 一种双高度照明傅里叶叠层显微成像方法 |
| CN108537862A (zh) * | 2018-04-11 | 2018-09-14 | 北京理工大学 | 一种自适应降噪的傅里叶衍射扫描显微镜成像方法 |
| CN109350061A (zh) * | 2018-11-21 | 2019-02-19 | 成都信息工程大学 | 基于深度卷积神经网络的磁共振成像方法 |
| CN110297401A (zh) * | 2019-06-28 | 2019-10-01 | 中国科学院上海光学精密机械研究所 | 极紫外光刻掩模多层膜相位型缺陷检测方法 |
| CN110308117A (zh) * | 2019-07-22 | 2019-10-08 | 中国科学院大学 | 衍射距离校准方法及系统和图像重建方法及系统 |
| CN110378981A (zh) * | 2019-07-19 | 2019-10-25 | 中国科学院长春光学精密机械与物理研究所 | 基于神经网络的傅里叶叠层显微镜光瞳恢复方法 |
-
2020
- 2020-01-16 CN CN202010049470.2A patent/CN111260556B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101591626B1 (ko) * | 2015-02-04 | 2016-02-04 | 한양대학교 산학협력단 | 딥신경망에 기초한 패킷 손실 은닉 방법 및 장치 |
| CN107407799A (zh) * | 2015-03-13 | 2017-11-28 | 加州理工学院 | 使用傅里叶叠层成像技术校正不相干成像系统中的像差 |
| CN108362643A (zh) * | 2018-02-10 | 2018-08-03 | 北京工业大学 | 一种双高度照明傅里叶叠层显微成像方法 |
| CN108537862A (zh) * | 2018-04-11 | 2018-09-14 | 北京理工大学 | 一种自适应降噪的傅里叶衍射扫描显微镜成像方法 |
| CN109350061A (zh) * | 2018-11-21 | 2019-02-19 | 成都信息工程大学 | 基于深度卷积神经网络的磁共振成像方法 |
| CN110297401A (zh) * | 2019-06-28 | 2019-10-01 | 中国科学院上海光学精密机械研究所 | 极紫外光刻掩模多层膜相位型缺陷检测方法 |
| CN110378981A (zh) * | 2019-07-19 | 2019-10-25 | 中国科学院长春光学精密机械与物理研究所 | 基于神经网络的傅里叶叠层显微镜光瞳恢复方法 |
| CN110308117A (zh) * | 2019-07-22 | 2019-10-08 | 中国科学院大学 | 衍射距离校准方法及系统和图像重建方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| MICHAEL S. GASHLER 等: ""Training Deep Fourier Neural Networks To Fit Time-Series Data "", 《SPRINGER INTERNATIONAL PUBLISHING SWITZERLAND 2014》 * |
| 李喆: ""无透镜数字全息显微图像超分辨率重建方法及应用研究"", 《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》 * |
| 陈妮等: ""基于深度测量的三维成像技术"", 《红外与激光工程》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907444A (zh) * | 2021-02-07 | 2021-06-04 | 中国科学院沈阳自动化研究所 | 一种基于复数域零样本学习的太赫兹图像超分辨重建方法 |
| CN112907444B (zh) * | 2021-02-07 | 2024-03-22 | 中国科学院沈阳自动化研究所 | 一种基于复数域零样本学习的太赫兹图像超分辨重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111260556B (zh) | 2021-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Accelerating magnetic resonance imaging via deep learning | |
| CN110441271B (zh) | 基于卷积神经网络的光场高分辨解卷积方法及系统 | |
| WO2020134826A1 (zh) | 磁共振并行成像方法及相关设备 | |
| CN109584164B (zh) | 基于二维影像迁移学习的医学图像超分辨率三维重建方法 | |
| CN112184554A (zh) | 一种基于残差混合膨胀卷积的遥感图像融合方法 | |
| CN110543916B (zh) | 一种缺失多视图数据的分类方法及系统 | |
| CN110751700B (zh) | 用于单像素成像的采样和重建集成深度学习网络的训练方法 | |
| CN112419192B (zh) | 基于卷积神经网络的isms图像修复和超分辨重建方法及装置 | |
| CN111260556B (zh) | 一种基于深度卷积神经网络的傅里叶叠层显微重建方法 | |
| Sanghvi et al. | Photon limited non-blind deblurring using algorithm unrolling | |
| CN114333074A (zh) | 基于动态轻量高分辨率网络的人体姿态估计方法 | |
| CN114331840A (zh) | 重建高保真超分辨显微图像的方法、装置 | |
| Chen et al. | Image enhancement in lensless inline holographic microscope by inter-modality learning with denoising convolutional neural network | |
| CN115423685A (zh) | 用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法 | |
| CN116091315A (zh) | 一种基于渐进训练和人脸语义分割的人脸超分辨率重建方法 | |
| CN113379606A (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN111667407B (zh) | 一种深度信息引导的图像超分辨率方法 | |
| CN115841423B (zh) | 一种基于深度学习的宽场照明荧光超分辨显微成像方法 | |
| Wang et al. | Online convolutional sparse coding with sample-dependent dictionary | |
| CN115471580A (zh) | 一种物理智能高清磁共振扩散成像方法 | |
| CN113538612B (zh) | 一种基于变分低秩分解的ｋ空间加速磁共振图像重建方法 | |
| CN115293981A (zh) | 结构光照明荧光显微图像去噪和超分辨率重建方法及系统 | |
| CN111311522B (zh) | 基于神经网络的双光子荧光显微图像复原方法、存储介质 | |
| Ghosh et al. | A deep neural architecture for image super resolution | |
| CN113191949A (zh) | 多尺度超分辨率病理图像数字化方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |