CN111524064A - 基于深度学习的荧光显微图像超分辨重建方法 - Google Patents
基于深度学习的荧光显微图像超分辨重建方法 Download PDFInfo
- Publication number
- CN111524064A CN111524064A CN202010166665.5A CN202010166665A CN111524064A CN 111524064 A CN111524064 A CN 111524064A CN 202010166665 A CN202010166665 A CN 202010166665A CN 111524064 A CN111524064 A CN 111524064A
- Authority
- CN
- China
- Prior art keywords
- image
- super
- resolution
- srrf
- fluorescence microscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000005286 illumination Methods 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000003384 imaging method Methods 0.000 claims abstract description 31
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 23
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 102100033993 Heterogeneous nuclear ribonucleoprotein L-like Human genes 0.000 claims abstract 13
- 101100071255 Homo sapiens HNRNPLL gene Proteins 0.000 claims abstract 13
- 238000012795 verification Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 14
- 230000003321 amplification Effects 0.000 claims description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000002474 experimental method Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 2
- 210000004027 cell Anatomy 0.000 abstract description 26
- 210000004895 subcellular structure Anatomy 0.000 abstract description 9
- 238000004061 bleaching Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 4
- 206010034972 Photosensitivity reaction Diseases 0.000 abstract description 2
- 208000007578 phototoxic dermatitis Diseases 0.000 abstract description 2
- 231100000018 phototoxicity Toxicity 0.000 abstract description 2
- 238000010276 construction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 239000007850 fluorescent dye Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 102000029749 Microtubule Human genes 0.000 description 1
- 108091022875 Microtubule Proteins 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004071 biological effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 210000003963 intermediate filament Anatomy 0.000 description 1
- 238000010859 live-cell imaging Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 210000003712 lysosome Anatomy 0.000 description 1
- 230000001868 lysosomic effect Effects 0.000 description 1
- 210000004688 microtubule Anatomy 0.000 description 1
- 210000003470 mitochondria Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000010857 super resolution fluorescence microscopy Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明公开了一种基于深度学习的荧光显微图像超分辨重建方法，包括：采集普通荧光显微图像和弱荧光显微图像；利用SRRF算法和普通荧光图像获得超分辨图；以普通荧光显微图像、弱荧光显微图像以及超分辨图像组成数据集；利用训练集训练U‑Net网络，获得良好照明条件及弱照明条件的快速SRRF超分辨重建模型和图像增强模型，应用时，采集普通荧光和弱荧光显微序列图像，利用对应的SRRF超分辨重建模型获得超分辨图像，利用图像增强模型增强弱荧光显微图像的质量。该技术方法在不牺牲分辨率的前提下提升成像速度，减少荧光样品的漂白和光毒性，将超分辨成像技术的优势应用到活细胞内亚细胞结构的动态观察中，极具应用前景和商用价值。
Description
技术领域
本发明属于超分辨荧光显微成像领域，具体涉及一种基于深度学习的荧光显微图像超分辨重建方法。
背景技术
超分辨荧光显微镜的出现，突破了光学衍射极限的障碍，给科学家们尤其是生物领域的学者们，提供了强有力的技术支持，使得人们能够以前所未有的时空分辨率来观察细胞内部丰富且复杂的亚细胞结构的动态过程。概括来说，传统的超分辨荧光显微成像技术主要从三个方面开展：1、从硬件角度出发，设计复杂的光学调控原部件和器件，结合特定的算法实现超分辨成像，典型代表为结构光照明成像显微术(SIM)；2、从荧光染料的角度出发，设计或使用特殊的荧光染料，利用特定成像条件下荧光分子能随机稀疏发光，同时结合单分子定位和图像重建来实现超分辨成像效果，典型代表为光激活定位成像显微术(PALM)；3、从图像处理角度出发，设计图像重建算法，提升传统荧光图像的分辨率，典型代表为超分辨径向波动算法(SRRF)，超分辨光学波动成像(SOFI)等。
第一类利用优化硬件系统来实现超分辨率成像的方法，由于其需要昂贵的硬件装置，因而极大地限制了其在生物学领域的广泛使用。
第二类基于特殊荧光染料的，由于这类图像重建算法的主要原理是基于荧光分子随机发光及随后的单分子定位的特点，其实质是以时间分辨率来换取空间分辨率，因此很难应用于活细胞的动态成像研究。
在第三类算法中，SOFI算法通常需要利用量子点来标记目标，理论上也是利用荧光分子稀疏成像，继而定位分子质心来图像重构实现超分辨，因而原始数据需求量通常为100-3000张，且由于需要足够多的荧光信息，原始数据需求量很难降低。从目前的发展来看，对硬件系统和染料特性无特殊要求的SRRF超分辨重建算法，使用价值及研究价值比较高。
具体来说，SRRF方法是利用宽场成像中得到的时间序列图像中荧光分子存在随机波动的特征，来重建超分辨图像。该算法对普通的荧光染料，荧光显微镜和成像条件都能得到较好的分辨率重建效果。但由于传统的SRRF算法需要根据图像质量选择一定数量的宽场荧光图(具体宽场荧光图的需求量取决于荧光样品的信号。荧光信号越弱需要的宽场荧光图需求量越高，通常需要200-1000张普通荧光图像)作为输入，而后计算重建出一张超分辨图像。因而该方法在活细胞长时程领域的观察也存在局限，如不利于观察活细胞的动态活动。
发明内容
本发明的目的是提供一种基于深度学习的荧光显微图像超分辨重建方法，该荧光显微图像超分辨重建方法能够基于1张荧光显微图像快速获得与SRRF超分辨图同等分辨率等级的重建超分辨图像，且能够减少多次曝光带来的样品荧光漂白的问题，从而维持活细胞较好的生理及成像状态。
本发明的技术方案为：
一种基于深度学习的荧光显微图像超分辨重建方法，包括以下步骤：
针对每个细胞样品，采集良好照明条件下的多张普通荧光显微图像和弱照明条件下的1张弱荧光显微图像；
利用SRRF算法对多张普通荧光显微图像进行超分辨重建，获得1张SRRF超分辨图像，以多张普通荧光显微图像序列中的第1张图像、1张弱荧光显微图像以及经计算获得的SRRF超分辨图像组成数据集，数据扩增后将数据集随机分成训练集、验证集和测试集；
以训练集中普通荧光显微图像作为输入，以SRRF超分辨图像作为真值输出，对U-Net网络进行训练，以获得良好照明条件下的快速SRRF超分辨重建模型；
以训练集中弱荧光显微图像作为输入，以普通荧光显微图像作为真值输出，对U-Net网络进行训练，以获得增强图像质量的图像增强模型；
以训练集中弱荧光显微图像作为输入，以SRRF超分辨图像作为真值输出，对U-Net网络进行训练，以获得弱照明条件下的快速SRRF超分辨重建模型；
应用时，采集细胞样品的普通荧光显微图像和弱荧光显微图像，利用良好照明条件下的快速SRRF超分辨重建模型对普通荧光显微图像进行快速SRRF成像，利用图像增强模型对弱荧光显微图像进行图像增强，利用弱照明条件下的快速SRRF超分辨重建模型对弱荧光显微图像进行超分辨重建，获得重建超分辨图像。
其中，所述弱照明条件是指按采集到良好的图像质量的成像条件为标准，将激光强度和曝光时间均下调1/10作为弱照明条件。
在利用数据集中图像训练U-Net网络前，通过随机裁剪、上下或左右翻转方法对数据集进行数据扩增。所述数据集是用固定样品采集获得的。数据集扩增后按7：1：2的比例对数据集进行随机分组，分为训练集、验证集和测试集。
U-Net网络要求输入与输出图像尺寸相同。而SRRF算法输出的超分辨图尺寸可能是输入的普通荧光显微图像的1-10倍，所以需要放大。具体地，在利用数据集中图像训练U-Net网络前，需要利用双线性插值的方法将输入数据放大到与标签真值同等大小，以达到U-Net网络要求的输入输出数据尺寸相同的要求。
在训练U-Net网络时，以U-Net网络的预测输出与作为标签的真值输出的全局灰度值差异值作为损失，当损失值大于预设阈值时，对U-Net网络进行参数优化，当损失函数值小于预设阈值时，完成训练，保存网络参数。
在对U-Net网络训练阶段性结束时，利用验证集对训练的U-Net网络进行验证，即将验证集中所有图像均输入至训练的U-Net网络中，获得预测输出，计算该预测输出与真值输出的平均误差，若训练集误差和验证集得到的误差趋势一致说明训练的U-Net网络可靠性高。
测试集是指未曾在训练阶段用过的数据，并用于测试评价模型的性能。当最终训练模型确定后，将测试集中的所有图像输入至训练得的模型中，获得预测输出，计算预测输出与真值输出之间的相似度评价模型性能。此处所指相似度由结构相似度，灰度值相似度，图像信噪比相似度三个指标表示，不同于训练阶段的损失函数。
应用阶段指将训练所得的模型应用于活细胞成像实验中。在此阶段只需采集良好照明条件下的普通荧光时间序列图或弱照明条件下的弱荧光时间序列图像，利用双线性插值将输入数据放大后，输入对应模型即可得到活细胞的超分辨动态过程。
与现有技术相比，本发明具有的有益效果至少包括：
本发明采用良好照明条件下的SRRF超分辨图像作为真值标签建立U-Net网络获得的良好照明条件下的快速SRRF超分辨重建模型，不仅可以替代传统的SRRF超分辨重建算法，速度上也是传统SRRF算法的200-1000倍，从而减少重建所需原始图像数据的需求量，加快成像速度，有利于实现活细胞中亚细胞结构的快速动态过程的成像。
本发明利用弱荧光分辨图像和良好照明条件下的SRRF超分辨图像作为训练样本建立U-Net网络获得的弱照明条件下的快速SRRF超分辨重建模型，利用该超分辨成像模型能够根据弱荧光分辨图像获得重建超分辨图像，减少了强曝光带来的样片荧光漂白的问题，增强了样品成像的持续性并有效保护样品的生物活性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是SRRF算法的原理示意图；
图2是良好照明条件下快速SRRF超分辨重建模型的构建过程示意图；
图3是图像增强模型的构建过程示意图；
图4是弱照明条件下快速SRRF超分辨重建模型的构建过程示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
本发明的目的是利用深度学习的方法解决传统的超分辨重建算法SRRF需要较多的原始数据从而影响成像速度，同时该方法要求用较强的照明条件来采集原始数据存在荧光漂白的问题，对活细胞长时程成像不友好等问题。希望从减少原始数据需求量和降低照明条件两个角度出发，将SRRF算法运用到活细胞长时程成像实验中。因而，本实施例提供的基于深度学习的荧光显微图像超分辨重建方法的流程可以分为：1、采集各种亚细胞结构的荧光显微图像，准备数据集，之后将数据集随机分为训练集，验证集和测试集；2、用训练集训练三个任务的模型，同时使用验证集确保模型的可靠性；3、用测试集测试三个模型的性能；4、采集活细胞数据验证算法的有效性。具体细节如下：
1、准备数据集
对每个细胞样品先采集1张弱照明条件下的普通荧光图像，相对于良好照明条件，弱照明条件指激光强度和曝光时间都是良好照明条件下的1/10。随后，将照明条件调整到良好的照明条件下，对同一个细胞样品采集200张时间序列图像。之后将200张良好照明条件下采集到的普通荧光图像输入传统SRRF算法，重建得一张细胞样品的SRRF超分辨图像。图1为传统SRRF算法原理图，利用荧光分子在时间序列的普通荧光图像中存在径向波动的特征，重建出一张SRRF超分辨图像。
最后，将弱照明条件下的普通荧光图像，良好照明条件下的普通荧光序列图像中的第一张图像，SRRF算法重建得的SRRF超分辨图像这3张图像组成深度学习所需的数据集。
对每种亚细胞结构都按照上述流程准备50个单细胞样品。不同的亚细胞结构分别准备50个单细胞样本(如微管，中间丝，微丝，囊泡，线粒体，溶酶体，粘附蛋白等结构)。
通过随机裁剪，上下或左右翻转等数据扩增的方法将每种结构的数据集扩增到～1000个单细胞样本。按训练集，验证集和测试集比为7：1：2比例，随机分配数据集。输入数据需要利用双线性插值的方法放大到与标签真值同等大小，以达到U-Net网络要求的输入输出数据尺寸相同的要求。
2、训练U-Net网络
根据任务选择数据，训练网络。三个任务的区别是网络的输入端和精标准不同。首先按任务要求构建网络。
任务一，在良好照明条件下用U-Net实现快速SRRF超分辨重建算法的任务中。U-Net的输入端为一张良好照明条件下的普通荧光图像，对应的精标准(真值标签)为SRRF超分辨图像，构建过程如图2所示，得到良好照明条件下快速SRRF超分辨重建模型。
任务二，在弱照明条件下用U-Net增强图像质量的任务中。U-Net的输入端为一张弱照明条件下的普通荧光图像，对应的精标准(真值标签)为良好照明条件下的普通荧光图像，构建过程如图3所示，得到增强图像质量的图像增强模型。
任务三，在弱照明条件下用U-Net做超分辨重建的任务中。U-Net的的输入端为一张弱照明条件下的普通荧光图像，对应的精标准(真值标签)为良好照明条件下的SRRF超分辨图像，构建过程如图4所示。得到弱照明条件下快速SRRF超分辨重建模型。
此外，U-Net的训练过程一致，具体如下：
首先，利用U-Net的输出结果和对应的精标准计算差异；若差异值小于预设阈值，则完成训练过程，保存网络参数，得到网络模型；若差异值大于预设阈值，根据误差变化情况，更新网络参数继续训练网络，直至误差值小于预设阈值。
训练过程中需要同时运用到验证集以确保网络不会过拟合。具体步骤为：验证集不参与网络的学习过程。每次得到一个模型，验证集中所有普通荧光图像都会输入模型，得到模型计算出的超分辨图，之后这些超分辨结果图和各自的精标准求误差。目标是确保验证集计算出的平均误差和训练集的平均误差趋势一致。若训练集误差和验证集得到的误差趋势一致说明模型可靠性高。若训练集中误差持续降低但是验证集误差开始增大说明模型过拟合，需要终止训练。
3、测试网络性能
利用测试集测试网络性能。根据任务选择测试集中的输入图像，输入各模型。计算模型得到的结果和对应的精标准计算网络模型输出结果的结构相似度(StructureSimilarity Index:SSIM),波峰信噪比(Peak Signal to Noise Ratio:PSNR)和标准均方根误差(Normalized Root Mean Square Error:NRMSE)，定量分析模型的性能。
式中，W和V分别表示图像的宽和高。U和V分别表示精标准和模型的输出结果。
和
分别表示精标准U和模型输出结果V的均值。σU和σV分别表示精标准U和模型输出结果V的标准差。C1和C2是两个极小正值，为了确保分子一定为正数。C1＝(k1L)2,C2＝(k2L)2，其中L表示图中的灰度值范围，默认值分别为k1＝0.01,k2＝0.03。
4、活细胞成像实验验证模型的有效性
在任务一中，用良好照明条件来采集活细胞的荧光动态显微序列图像。序列图像中每一帧普通荧光图像输入模型一得到一张SRRF超分辨图像。这些SRRF超分辨图像可构成超分辨视频。网络得到的结果和SRRF算法得到的超分辨图像质量相近。但是网络只需要1张普通荧光图像，而SRRF算法需要至少200张原始数据。因而，网络重建速度比SRRF算法有几个数量级的提升，适用于分析细胞内动态活动剧烈的亚细胞结构。
在任务二中，用弱照明条件来采集活细胞的荧光动态显微序列图像。序列图像中每一帧弱荧光图像输入模型二得到一张质量更高的荧光图像。这些网络输出图可构成良好照明条件下的动态视频。网络得到的结果和良好照明条件下拍得的普通荧光图像质量相近。但是在采集活细胞样本时，只需用很弱的照明条件来采集原始数据，有效减少了荧光漂白的问题，更好地保护荧光样本。
在任务三中，用弱照明条件来采集活细胞的荧光动态显微序列图像。序列图像中每一帧弱荧光图像输入模型三得到一张重建的超分辨图像。网络得到的重建超分辨图像和良好照明条件下的SRRF超分辨结果相近。但是模型可以直接利用弱照明条件来采集原始数据，重建出类似于良好照明条件下得到的超分辨图像。模型从速度和照明条件两个角度出发进行改进，在不牺牲分辨率的前提下，加速重建速度，减少荧光漂白问题，保护样本寿命，降低光毒性。
总之，针对超分辨光学成像实际应用中的重大问题，实施例设计并开发了切实有效的基于深度学习的荧光显微图像超分辨重建方法，来实现对显微图像中亚细胞结构的超分辨重建，实现了用一张普通荧光显微图像原始数据重建超分辨图像的目标。将传统的SRRF重建速度提升到原来的200-1000倍，同时也实现了用较低激发光对微弱荧光信号的超分辨成像。相比传统技术，该研究方法在不牺牲分辨率的前提下提升了成像速度，将超分辨成像技术的优势，应用到活细胞内亚细胞结构的动态观察中，极具应用前景和商用价值。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于深度学习的荧光显微图像超分辨重建方法，包括以下步骤：
针对每个细胞样品，采集良好照明条件下的多张普通荧光显微图像和弱照明条件下的1张弱荧光显微图像；
利用SRRF算法对多张普通荧光显微图像进行超分辨重建，获得1张SRRF超分辨图像，以多张普通荧光显微图像序列中的第1张图像、1张弱荧光显微图像以及经计算获得的SRRF超分辨图像组成数据集，数据扩增后将数据集随机分成训练集、验证集和测试集；
以训练集中普通荧光显微图像作为输入，以SRRF超分辨图像作为真值输出，对U-Net网络进行训练，以获得良好照明条件下的快速SRRF超分辨重建模型；
以训练集中弱荧光显微图像作为输入，以普通荧光显微图像作为真值输出，对U-Net网络进行训练，以获得增强图像质量的图像增强模型；
以训练集中弱荧光显微图像作为输入，以SRRF超分辨图像作为真值输出，对U-Net网络进行训练，以获得弱照明条件下的快速SRRF超分辨重建模型；
应用时，采集细胞样品的普通荧光显微图像和弱荧光显微图像，利用良好照明条件下的快速SRRF超分辨重建模型对普通荧光显微图像进行快速SRRF成像，利用图像增强模型对弱荧光显微图像进行图像增强，利用弱照明条件下的快速SRRF超分辨重建模型对弱荧光显微图像进行超分辨重建，获得重建超分辨图像。
2.如权利要求1所述的基于深度学习的荧光显微图像超分辨重建方法，其特征在于，所述弱照明条件是指按采集到良好的图像质量的成像条件为标准，将激光强度和曝光时间均下调1/10作为弱照明条件。
3.如权利要求1所述的基于深度学习的荧光显微图像超分辨重建方法，其特征在于，在利用数据集中图像训练U-Net网络前，通过随机裁剪、上下或左右翻转方法对数据集进行数据扩增，所述数据集是用固定样品采集获得的。
4.如权利要求1所述的基于深度学习的荧光显微图像超分辨重建方法，其特征在于，数据集扩增后按7：1：2的比例对数据集进行随机分组，分为训练集、验证集和测试集。
5.如权利要求1所述的基于深度学习的荧光显微图像超分辨重建方法，其特征在于，在利用数据集中图像训练U-Net网络前，需要利用双线性插值的方法将输入数据放大到与标签真值同等大小，以达到U-Net网络要求的输入输出数据尺寸相同的要求。
6.如权利要求1所述的基于深度学习的荧光显微图像超分辨重建方法，其特征在于，在训练U-Net网络时，以U-Net网络的预测输出与作为标签的真值输出的全局灰度差异值作为损失，当损失值大于预设阈值时，对U-Net网络进行参数优化，当损失值小于预设阈值时，完成训练，保存网络参数。
7.如权利要求1所述的基于深度学习的荧光显微图像超分辨重建方法，其特征在于，在对U-Net网络训练阶段性结束时，利用验证集对训练的U-Net网络进行验证，即将验证集中所有图像均输入至训练的U-Net网络中，获得预测输出，计算该预测输出与真值输出的平均误差，若训练集误差和验证集得到的误差趋势一致说明训练的U-Net网络可靠性高。
8.如权利要求1所述的基于深度学习的荧光显微图像超分辨重建方法，其特征在于，所述的应用阶段指将训练所得的模型应用于活细胞成像实验中，在此阶段只需采集良好照明条件下的普通荧光时间序列图或弱照明条件下的弱荧光时间序列图像，利用双线性插值将输入数据放大后，输入对应模型即可得到活细胞的超分辨动态过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010166665.5A CN111524064B (zh) | 2020-03-11 | 2020-03-11 | 基于深度学习的荧光显微图像超分辨重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010166665.5A CN111524064B (zh) | 2020-03-11 | 2020-03-11 | 基于深度学习的荧光显微图像超分辨重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111524064A true CN111524064A (zh) | 2020-08-11 |
| CN111524064B CN111524064B (zh) | 2022-04-29 |
Family
ID=71902228
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010166665.5A Active CN111524064B (zh) | 2020-03-11 | 2020-03-11 | 基于深度学习的荧光显微图像超分辨重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111524064B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598590A (zh) * | 2020-12-18 | 2021-04-02 | 河海大学 | 基于深度学习的光学遥感时间序列影像重建方法及系统 |
| CN113674168A (zh) * | 2021-08-05 | 2021-11-19 | 清华大学 | 实时的荧光成像智能增强方法与装置 |
| CN113947565A (zh) * | 2021-09-03 | 2022-01-18 | 中国科学院西安光学精密机械研究所 | 基于深度学习的结构光照明超分辨成像基因检测方法 |
| CN114092329A (zh) * | 2021-11-19 | 2022-02-25 | 复旦大学 | 一种基于亚像素神经网络的超分辨荧光显微成像方法 |
| CN114331840A (zh) * | 2021-12-24 | 2022-04-12 | 汉姆德(宁波)智能医疗科技有限公司 | 重建高保真超分辨显微图像的方法、装置 |
| CN115100033A (zh) * | 2022-05-20 | 2022-09-23 | 浙江大学 | 一种荧光显微图像超分辨重建方法和装置以及计算设备 |
| CN115619646A (zh) * | 2022-12-09 | 2023-01-17 | 浙江大学 | 一种深度学习的亚五十纳米结构光照明超分辨成像方法 |
| WO2023284637A1 (zh) * | 2021-07-14 | 2023-01-19 | 复旦大学 | 一种基于图像梯度方差分析的序列图像超分辨修正方法 |
| CN115841423A (zh) * | 2022-12-12 | 2023-03-24 | 之江实验室 | 一种基于深度学习的宽场照明荧光超分辨显微成像方法 |
| CN115984107A (zh) * | 2022-12-21 | 2023-04-18 | 中国科学院生物物理研究所 | 自监督多模态结构光显微重建方法和系统 |
| CN116503246A (zh) * | 2023-03-27 | 2023-07-28 | 之江实验室 | 基于深度学习的视频级实时结构光照明超分辨显微成像方法和系统 |
| CN116503258A (zh) * | 2023-06-20 | 2023-07-28 | 中国科学院生物物理研究所 | 超分辨计算成像方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296585A (zh) * | 2016-08-12 | 2017-01-04 | 浙江大学 | 基于表面波照明的傅里叶域迭代拼接超分辨显微方法及装置 |
| CN109389557A (zh) * | 2018-10-20 | 2019-02-26 | 南京大学 | 一种基于图像先验的细胞图像超分辨方法及装置 |
| CN110246083A (zh) * | 2019-05-10 | 2019-09-17 | 杭州电子科技大学 | 一种荧光显微图像超分辨率成像方法 |
| US20190333199A1 (en) * | 2018-04-26 | 2019-10-31 | The Regents Of The University Of California | Systems and methods for deep learning microscopy |
-
2020
- 2020-03-11 CN CN202010166665.5A patent/CN111524064B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296585A (zh) * | 2016-08-12 | 2017-01-04 | 浙江大学 | 基于表面波照明的傅里叶域迭代拼接超分辨显微方法及装置 |
| US20190333199A1 (en) * | 2018-04-26 | 2019-10-31 | The Regents Of The University Of California | Systems and methods for deep learning microscopy |
| CN109389557A (zh) * | 2018-10-20 | 2019-02-26 | 南京大学 | 一种基于图像先验的细胞图像超分辨方法及装置 |
| CN110246083A (zh) * | 2019-05-10 | 2019-09-17 | 杭州电子科技大学 | 一种荧光显微图像超分辨率成像方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张智敏，等: "双色荧光辐射差分超分辨显微系统研究", 《中国光学》 * |
| 译学术公众号: "庄小威：超分辨荧光显微技术（已更新）", 《HTTPS://WWW.BILIBILI.COM/VIDEO/AV53716523/》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598590A (zh) * | 2020-12-18 | 2021-04-02 | 河海大学 | 基于深度学习的光学遥感时间序列影像重建方法及系统 |
| CN112598590B (zh) * | 2020-12-18 | 2022-08-12 | 河海大学 | 基于深度学习的光学遥感时间序列影像重建方法及系统 |
| WO2023284637A1 (zh) * | 2021-07-14 | 2023-01-19 | 复旦大学 | 一种基于图像梯度方差分析的序列图像超分辨修正方法 |
| CN113674168A (zh) * | 2021-08-05 | 2021-11-19 | 清华大学 | 实时的荧光成像智能增强方法与装置 |
| CN113947565A (zh) * | 2021-09-03 | 2022-01-18 | 中国科学院西安光学精密机械研究所 | 基于深度学习的结构光照明超分辨成像基因检测方法 |
| CN113947565B (zh) * | 2021-09-03 | 2023-04-18 | 中国科学院西安光学精密机械研究所 | 基于深度学习的结构光照明超分辨成像基因检测方法 |
| CN114092329A (zh) * | 2021-11-19 | 2022-02-25 | 复旦大学 | 一种基于亚像素神经网络的超分辨荧光显微成像方法 |
| CN114331840A (zh) * | 2021-12-24 | 2022-04-12 | 汉姆德(宁波)智能医疗科技有限公司 | 重建高保真超分辨显微图像的方法、装置 |
| CN115100033A (zh) * | 2022-05-20 | 2022-09-23 | 浙江大学 | 一种荧光显微图像超分辨重建方法和装置以及计算设备 |
| CN115100033B (zh) * | 2022-05-20 | 2023-09-08 | 浙江大学 | 一种荧光显微图像超分辨重建方法和装置以及计算设备 |
| CN115619646A (zh) * | 2022-12-09 | 2023-01-17 | 浙江大学 | 一种深度学习的亚五十纳米结构光照明超分辨成像方法 |
| CN115841423A (zh) * | 2022-12-12 | 2023-03-24 | 之江实验室 | 一种基于深度学习的宽场照明荧光超分辨显微成像方法 |
| CN115984107A (zh) * | 2022-12-21 | 2023-04-18 | 中国科学院生物物理研究所 | 自监督多模态结构光显微重建方法和系统 |
| CN115984107B (zh) * | 2022-12-21 | 2023-08-11 | 中国科学院生物物理研究所 | 自监督多模态结构光显微重建方法和系统 |
| CN116503246A (zh) * | 2023-03-27 | 2023-07-28 | 之江实验室 | 基于深度学习的视频级实时结构光照明超分辨显微成像方法和系统 |
| CN116503246B (zh) * | 2023-03-27 | 2023-11-14 | 之江实验室 | 视频级实时结构光照明超分辨显微成像方法和系统 |
| CN116503258A (zh) * | 2023-06-20 | 2023-07-28 | 中国科学院生物物理研究所 | 超分辨计算成像方法、装置、电子设备及存储介质 |
| CN116503258B (zh) * | 2023-06-20 | 2023-11-03 | 中国科学院生物物理研究所 | 超分辨计算成像方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111524064B (zh) | 2022-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111524064B (zh) | 基于深度学习的荧光显微图像超分辨重建方法 | |
| Sage et al. | Super-resolution fight club: assessment of 2D and 3D single-molecule localization microscopy software | |
| US20210321963A1 (en) | Systems and methods for enhanced imaging and analysis | |
| CN110246083B (zh) | 一种荧光显微图像超分辨率成像方法 | |
| Laine et al. | High-fidelity 3D live-cell nanoscopy through data-driven enhanced super-resolution radial fluctuation | |
| CN115546032B (zh) | 一种基于特征融合与注意力机制的单帧图像超分辨率方法 | |
| CN114331911A (zh) | 一种基于卷积神经网络的傅里叶叠层显微图像去噪方法 | |
| CN109035143A (zh) | 一种基于贝塞尔光片成像的三维超分辨方法 | |
| Zhang et al. | Deep learning-based single-shot structured illumination microscopy | |
| CN116343045A (zh) | 基于YOLO v5的轻量化SAR图像舰船目标检测方法 | |
| Chen et al. | Efficient super‐resolution volumetric imaging by radial fluctuation Bayesian analysis light‐sheet microscopy | |
| Fazel et al. | Analysis of super-resolution single molecule localization microscopy data: A tutorial | |
| CN111105354A (zh) | 基于多源深度残差网络的深度图像超分辨率方法及装置 | |
| CN116503258B (zh) | 超分辨计算成像方法、装置、电子设备及存储介质 | |
| CN115841423B (zh) | 一种基于深度学习的宽场照明荧光超分辨显微成像方法 | |
| Preza et al. | Quantitative depth-variant imaging for fluorescence microscopy using the COSMOS software package | |
| CN115984107B (zh) | 自监督多模态结构光显微重建方法和系统 | |
| CN116721017A (zh) | 自监督显微图像超分辨处理方法和系统 | |
| CN115689880A (zh) | 一种基于fsrcnn的荧光显微图像超分辨方法 | |
| US11887298B2 (en) | Fluorescence lifetime imaging using deep learning | |
| CN115131628A (zh) | 一种基于分型辅助信息的乳腺图像分类方法及设备 | |
| CN111476125A (zh) | 基于生成对抗网络的三维荧光显微信号去噪方法 | |
| CN106952233A (zh) | 荧光多分子定位方法、装置以及超分辨成像方法、系统 | |
| CN110348569A (zh) | 基于卷积神经网络的实时光学层析方法和系统 | |
| Anaam et al. | A Hybrid Ensemble Learning with Generative Adversarial Networks for HEp-2 Cell Image Classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |