CN114331840B - 重建高保真超分辨显微图像的方法、装置 - Google Patents
重建高保真超分辨显微图像的方法、装置 Download PDFInfo
- Publication number
- CN114331840B CN114331840B CN202111600867.7A CN202111600867A CN114331840B CN 114331840 B CN114331840 B CN 114331840B CN 202111600867 A CN202111600867 A CN 202111600867A CN 114331840 B CN114331840 B CN 114331840B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- super
- net
- microscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 74
- 238000012360 testing method Methods 0.000 claims abstract description 48
- 238000003384 imaging method Methods 0.000 claims abstract description 44
- 238000013135 deep learning Methods 0.000 claims abstract description 40
- 210000004895 subcellular structure Anatomy 0.000 claims abstract description 15
- 210000001519 tissue Anatomy 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 14
- 239000007850 fluorescent dye Substances 0.000 claims abstract description 12
- 102000004169 proteins and genes Human genes 0.000 claims abstract description 12
- 108090000623 proteins and genes Proteins 0.000 claims abstract description 12
- 210000004748 cultured cell Anatomy 0.000 claims abstract description 11
- 238000001215 fluorescent labelling Methods 0.000 claims abstract description 11
- 238000002372 labelling Methods 0.000 claims abstract description 11
- 210000000056 organ Anatomy 0.000 claims abstract description 11
- 210000002220 organoid Anatomy 0.000 claims abstract description 11
- 238000012800 visualization Methods 0.000 claims abstract description 9
- 238000001000 micrograph Methods 0.000 claims description 27
- 238000010586 diagram Methods 0.000 claims description 26
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 238000012905 input function Methods 0.000 claims description 5
- 238000010869 super-resolution microscopy Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000010191 image analysis Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000004043 dyeing Methods 0.000 abstract description 2
- 238000010166 immunofluorescence Methods 0.000 abstract 1
- 210000004027 cell Anatomy 0.000 description 9
- 210000002415 kinetochore Anatomy 0.000 description 9
- 238000000386 microscopy Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000010186 staining Methods 0.000 description 6
- 102000007469 Actins Human genes 0.000 description 5
- 108010085238 Actins Proteins 0.000 description 5
- 102100026517 Lamin-B1 Human genes 0.000 description 5
- 108010052263 lamin B1 Proteins 0.000 description 5
- 102100040445 Keratin, type I cytoskeletal 14 Human genes 0.000 description 4
- 102100038615 Microtubule-associated protein RP/EB family member 2 Human genes 0.000 description 4
- 238000003125 immunofluorescent labeling Methods 0.000 description 4
- 101100517196 Arabidopsis thaliana NRPE1 gene Proteins 0.000 description 3
- 101100190825 Bos taurus PMEL gene Proteins 0.000 description 3
- 108010077544 Chromatin Proteins 0.000 description 3
- 108010066321 Keratin-14 Proteins 0.000 description 3
- 102000029749 Microtubule Human genes 0.000 description 3
- 108091022875 Microtubule Proteins 0.000 description 3
- 101100073341 Oryza sativa subsp. japonica KAO gene Proteins 0.000 description 3
- 210000003483 chromatin Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 210000004688 microtubule Anatomy 0.000 description 3
- 101150005492 rpe1 gene Proteins 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000002230 centromere Anatomy 0.000 description 2
- 230000001086 cytosolic effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 210000004962 mammalian cell Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000003632 microfilament Anatomy 0.000 description 2
- 210000000633 nuclear envelope Anatomy 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 108010047956 Nucleosomes Proteins 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000001623 nucleosome Anatomy 0.000 description 1
- 208000007578 phototoxic dermatitis Diseases 0.000 description 1
- 231100000018 phototoxicity Toxicity 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000392 somatic effect Effects 0.000 description 1
Images
Landscapes
- Investigating Or Analysing Biological Materials (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明提供了一种重建高保真超分辨显微图像的方法、装置、电子设备及存储介质，所述方法通过对各类真核生物器官、组织、类器官或培养细胞的亚细胞结构和大分子复合体进行抗体标记或者荧光标记蛋白进行可视化获得成像样品；对所述成像样品进行处理得到训练集和测试集；基于所述训练集和测试集对预先构建的深度学习网络X‑Microscopy进行训练和测试得到目标模型；将待生成的低分辨率宽场图像输入到所述目标模型得到高保真超分辨显微图像。能够在秒级时间内从单一低分辨率宽场图像重建超分辨图像，无需单独进行超分辨免疫荧光染色并进行超分辨成像，大大缩短了实验时间，降低了人力及实验成本。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种重建高保真超分辨显微图像的方法、装置、电子设备及存储介质。
背景技术
为解决传统光学显微镜的衍射极限问题(横向分辨率200-300nm，轴向为300-500nm)，单分子定位等技术(如受激发射损耗荧光显微术STED，光敏定位显微镜PALM，结构光照明显微镜SIM和随机光学重建显微术STORM)实现横向分辨率20nm乃至10nm，轴向分辨率50nm的巨大飞跃。但超分辨显微镜相对普通光学显微镜来说，染色步骤过于繁琐，成像时间过长，光毒性和光漂白性，很难保证其进行活细胞成像和多色成像，这是导致超分辨显微镜不能广泛应用于生物医学研究的主要因素。基于深度学习的人工智能图像识别开辟了生物医学研究的新领域，并为显微镜领域带来革命性的变化。深度学习网络在荧光显微镜中的应用包括图像恢复、去卷积、低分辨显微镜图像到超分辨显微镜图像重建、无荧光标签图像到荧光图像的虚拟染色等。但深度学习在低分辨显微镜图像(widefield，WF)到超分辨显微镜图像(SRM)重建中的低准确率和低鲁棒性限制了其广泛应用。目前，若想获得高准确率高鲁棒性的从WF图像到SRM图像的深度学习模型，只能依靠采集大量训练数据集进行训练，但这在实践中依赖于大量人力物力，成本极高。
发明内容
本发明的实施例提供了一种重建高保真超分辨显微图像的方法、装置、电子设备及存储介质，能够基于生成对抗网络的低分辨率图像到超分辨率图像的X-Microscopy深度学习图像重建方法，基于小数据集下的条件对抗网络的训练，输入任意大小的单幅宽场图像(WF)后输出相同大小的完美超分辨显微镜图像(perfect),能够对不同生物结构及不同显微镜样品测试具有鲁棒性。
第一方面，本发明的实施例提供了一种重建高保真超分辨显微图像的方法，所述重建高保真超分辨显微图像的方法包括：
通过对各类真核生物器官、组织、类器官或培养细胞的亚细胞结构和大分子复合体进行抗体标记或者荧光标记蛋白进行可视化获得成像样品；
对所述成像样品进行处理得到训练集和测试集；
基于所述训练集和测试集对预先构建的深度学习网络X-Microscopy进行训练和测试得到目标模型；其中，所述深度学习网络X-Microscopy是融合UR-Net-8和X-Net深度学习网络构建得到的；
将待生成的低分辨率宽场图像输入到所述目标模型得到高保真超分辨显微图像。
作为一种可能实现的实施方式，所述UR-Net-8用于宽场图像转换为超分辨欠采样图像，所述超分辨欠采样图像和宽场图像共同作为输入至具有双分支输入功能的X-Net，以实现仅从单一低分辨率宽场图像快速转换到高保真超分辨图像。
作为一种可能实现的实施方式，所述对所述成像样品进行处理得到训练集和测试集包括：
根据所述成像样品结构特点同时进行低分辨率宽场显微镜和随机光学重建显微镜STORM成像及图像分析获得多组宽场图像和超分辨显微图像数据组合，并将数据随机分成训练集和测试集。
作为一种可能实现的实施方式，所述目标模型包括，一个用于超分辨显微镜sparse图像重建的生成器UR-Net-8和一个用于超分辨perfect图像重建的生成器X-Net，所述UR-Net-8由8个卷积层构成的编码器和8个反卷积层构成的解码器组成，X-Net有两个输入分支和两个输出分支，每个输入分支是由8个卷积层构成的编码器，每个输出分支是由8个反卷积层构成的解码器。
作为一种可能实现的实施方式，所述UR-Net-8的编码器对输入特征图使用大小为5×5的卷积核，步长为2进行卷积；所述UR-Net-8的解码器对输入特征图使用大小为5×5的卷积核，步长为2进行反卷积；
X-Net的编码器的第一个卷积层使用大小为5×5的卷积核，步长为2进行卷积，其余卷积层使用大小为3×3的卷积核，步长为2进行卷积；所述X-Net的解码器的前7个反卷积层使用大小为3×3的卷积核，步长为2进行反卷积，最后一个反卷积层使用大小为5×5的卷积核，步长为2进行反卷积。
作为一种可能实现的实施方式，所述目标模型基于生成对抗训练思想，采用随机梯度下降法，首先利用低分辨WF图像和超分辨显微镜sparse图像训练UR-Net-8；将低分辨WF图像输入到训练好的UR-Net-8，重建出类似于超分辨显微镜欠采样图像的generatedsparse图像；然后，利用低分辨WF显微镜图像和所述UR-Net-8重建generated sparse图像作为X-Net的输入，在超分辨显微镜perfect图像的监督下，训练X-Net；将低分辨WF图像和所述UR-Net-8重建的generated sparse图像输入训练好的X-Net，重建出超分辨显微镜图像。
作为一种可能实现的实施方式，生成对抗训练由判别器辅助生成器进行训练，所述生成器为UR-Net-8和X-Net的生成器，所述判别器由卷积层、空间金字塔池化层和全连接层构成。
第二方面，本发明的实施例提供了一种重建高保真超分辨显微图像的装置，所述高保真超分辨显微图像的装置包括：
获取模块，通过对各类真核生物器官、组织、类器官或培养细胞的亚细胞结构和大分子复合体进行抗体标记或者荧光标记蛋白进行可视化获得成像样品；
预处理模块，用于对所述成像样品进行处理得到训练集和测试集；
训练模块，基于所述训练集和测试集对预先构建的深度学习网络X-Microscopy进行训练和测试得到目标模型；其中，所述深度学习网络X-Microscopy是融合UR-Net-8和X-Net深度学习网络构建得到的；
重建模块，用于将待生成的低分辨率宽场图像输入到所述目标模型得到高保真超分辨显微图像。
第三方面，本发明的实施例提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如第一方面任一项所述的方法。
第四方面，本发明的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的方法。
本发明提供了一种重建高保真超分辨显微图像的方法、装置、电子设备及存储介质，通过对各类真核生物器官、组织、类器官或培养细胞的亚细胞结构和大分子复合体进行抗体标记或者荧光标记蛋白进行可视化获得成像样品；对所述成像样品进行处理得到训练集和测试集；基于所述训练集和测试集对预先构建的深度学习网络X-Microscopy进行训练和测试得到目标模型；其中，所述深度学习网络X-Microscopy是融合UR-Net-8和X-Net深度学习网络构建得到的；将待生成的低分辨率宽场图像输入到所述目标模型得到高保真超分辨显微图像。
与现有技术相比，本发明的优点包括，(1)X-Microscopy能够对不同组织结构，细胞结构及亚细胞结构在不同实验扰动情况下获得的低分辨宽场显微镜图像测试具有鲁棒性。(2)X-Microscopy训练基于小数据集，克服了需要大量宽场和超分辨图像训练数据对才能够获得宽场图像的超分辨重建模型的缺点。(3)X-Microscopy能够在秒级时间内从单一低分辨率宽场图像重建超分辨图像，无需单独进行超分辨免疫荧光染色并进行超分辨成像，大大缩短了实验时间，降低了人力及实验成本。(4)模型能够精确实现多色超分辨成像，极大拓宽了超分辨显微镜如STORM/PALM的应用范围。(5)X-Microscopy对不同品牌显微镜及同一显微镜下不同镜头放大倍数下的宽场图像具有测试适用性。
应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明的实施例的一种超分辨显微镜完全采样图像(perfect)的生成方法的流程图；
图2为本发明的X-Microscopy的结构示意图；
图3为本发明的X-Microscopy具有输入大小灵活性特点的示意图
图4为本发明中X-Microscopy实现对微管的低分辨率WF图像进行重建为超分辨显微镜图像的代表性结果图。
图5为本发明中X-Microscopy实现对F-actin的低分辨WF图像进行重建为超分辨显微镜图像的代表性结果图。
图6为本发明中X-Microscopy实现对Keratin-14的低分辨WF图像进行重建为超分辨显微镜图像的代表性结果图。
图7为本发明中X-Microscopy实现对H2B的低分辨WF图像进行重建为超分辨显微镜图像的代表性结果图。
图8为本发明中X-Microscopy实现对H3K9me3的低分辨WF图像进行重建为超分辨显微镜图像的代表性结果图。
图9为本发明中X-Microscopy实现对EB1的低分辨WF图像进行重建为超分辨显微镜图像的代表性结果图。
图10为本发明中X-Microscopy实现对Kinetochore的低分辨WF图像进行重建为超分辨显微镜图像的代表性结果图。
图11为本发明中X-Microscopy实现对LaminB1的低分辨WF图像进行重建为超分辨显微镜图像的代表性结果图。
图12为本发明中X-Microscopy能够进行多色超分辨成像的代表性结果图。
图13为本发明中X-Microscopy能够对不同显微镜及不同物镜放大倍数下的不同生物结构的宽场图像测试结果代表图；
图14示出了本发明的实施例的一种超分辨显微镜完全采样图像的生成装置的结构示意图；
图15示出了本发明实施例的一种电子设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
本发明是基于计算显微镜技术，具体公开了一种基于创新构架的生成对抗深度学习网络，X-Microscopy，实现仅用低分辨宽场显微图像快速重建出高保真超分辨显微图像的策略和方法。本发明涉及领域包含人工智能深度学习、图像恢复与图像重建、分子影像学和超分辨显微术在细胞分子生物学中的应用，特别是创新性搭建了一种具有独特构架的融合深度学习网络，X-Microscopy，其功能特点是可应用小数集训练测试建模便能够仅用低分辨宽场显微镜图像实现快速精准高保真超分辨显微镜图像重建。
需要说明的是，本发明实施例描述的仅仅是为了更加清楚的说明本发明实施例的技术方案，并不构成对本发明实施例提供的技术方案的限定。
图1示出了本发明的实施例的一种重建高保真超分辨显微图像的方法，所述重建高保真超分辨显微图像的方法包括：
S20、通过对各类真核生物器官、组织、类器官或培养细胞的亚细胞结构和大分子复合体进行进行抗体标记或者荧光标记蛋白进行可视化获得成像样品；例如，U87MG、RPE1、REN-D3等哺乳动物细胞系的细胞质骨架结构(微管，微丝和中间纤维等)、核膜结构(LaminB1)、核内染色质/体着丝粒/动粒结构(kinetochore)以及染色质高级结构(histone-H3K9me3)等进行抗体标记或者荧光标记蛋白进行可视化获得成像样品。
S40、对所述成像样品进行处理得到训练集和测试集；
具体地，根据所述成像样品结构特点同时进行低分辨率宽场显微镜和随机光学重建显微镜STORM成像及图像分析获得多组宽场图像和超分辨显微图像数据组合，并将数据随机分成训练集和测试集。
S60、基于所述训练集和测试集对预先构建的深度学习网络X-Microscopy进行训练和测试得到目标模型；其中，所述深度学习网络X-Microscopy是融合UR-Net-8和X-Net深度学习网络构建得到的；
S80、将待生成的低分辨率宽场图像输入到所述目标模型得到高保真超分辨显微图像。
具体地，所述UR-Net-8用于宽场图像转换为超分辨欠采样图像，所述超分辨欠采样图像和宽场图像共同作为输入至具有双分支输入功能的X-Net，以实现仅从单一低分辨率宽场图像快速转换到高保真超分辨图像。
本发明实施例提供了一种重建高保真超分辨显微图像的方法，通过对各类真核生物器官、组织、类器官或培养细胞的亚细胞结构和大分子复合体进行抗体标记或者荧光标记蛋白进行可视化获得成像样品；对所述成像样品进行处理得到训练集和测试集；基于所述训练集和测试集对预先构建的深度学习网络X-Microscopy进行训练和测试得到目标模型；其中，所述深度学习网络X-Microscopy是融合UR-Net-8和X-Net深度学习网络构建得到的；将待生成的低分辨率宽场图像输入到所述目标模型得到高保真超分辨显微图像。X-Microscopy能够对不同组织结构，细胞结构及亚细胞结构在不同实验扰动情况下获得的低分辨宽场显微镜图像测试具有鲁棒性。X-Microscopy训练基于小数据集，克服了需要大量宽场和超分辨图像训练数据对才能够获得宽场图像的超分辨重建模型的缺点。X-Microscopy能够在秒级时间内从单一低分辨率宽场图像重建超分辨图像，无需单独进行超分辨免疫荧光染色并进行超分辨成像，大大缩短了实验时间，降低了人力及实验成本。
所述目标模型应用新训练策略融合UR-Net-8和X-Net深度学习网络构建新型深度学习网络X-Microscopy。其中UR-Net-8应用于宽场图像转换为超分辨欠采样图像，UR-Net-8生成的超分辨欠采样图像和宽场图像共同作为输入至具有双分支输入功能的X-Net，最终实现仅从单一低分辨率宽场图像快速转换到高保真超分辨图像的策略和方法。
在一些实施例中，所述目标模型包括，一个用于超分辨显微镜sparse图像重建的生成器UR-Net-8和一个用于超分辨perfect图像重建的生成器X-Net，所述UR-Net-8由8个卷积层构成的编码器和8个反卷积层构成的解码器组成，X-Net有两个输入分支和两个输出分支，每个输入分支是由8个卷积层构成的编码器，每个输出分支是由8个反卷积层构成的解码器。所述UR-Net-8的输入为低分辨WF图像，输出为重建的超分辨显微镜sparse图像(generated sparse)，所述X-Net的输入为低分辨WF图像和所述UR-Net-8重建的generatedsparse图像，输出为重建的超分辨perfect图像。
低分辨WF图像、超分辨显微镜sparse图像和超分辨显微镜dense图像大小可以任意采用，只要所述UR-Net-8和所述X-Net重建出的图像大小与输入大小保持一致；
具体地，UR-Net-8的编码器对输入特征图使用大小为5×5的卷积核，步长为2进行卷积；UR-Net-8的解码器对输入特征图使用大小为5×5的卷积核，步长为2进行反卷积；
X-Net的编码器的第一个卷积层使用大小为5×5的卷积核，步长为2进行卷积，其余卷积层使用大小为3×3的卷积核，步长为2进行卷积；X-Net的解码器的前7个反卷积层使用大小为3×3的卷积核，步长为2进行反卷积，最后一个反卷积层使用大小为5×5的卷积核，步长为2进行反卷积。
UR-Net-8在每个编码器的卷积层和对应解码器的反卷积层之间采用残差进行连接；
X-Net在每个分支对应编码器器的卷积层和对应解码器的反卷积层采用残差和注意力连接。
所述目标模型基于生成对抗训练思想，采用随机梯度下降法，首先利用低分辨WF图像和超分辨显微镜sparse图像训练UR-Net-8；将低分辨WF图像输入到训练好的UR-Net-8，重建出类似于超分辨显微镜欠采样图像的generated sparse图像；然后，利用低分辨WF显微镜图像和所述UR-Net-8重建generated sparse图像作为X-Net的输入，在超分辨显微镜perfect图像的监督下，训练X-Net；将低分辨WF图像和所述UR-Net-8重建的generatedsparse图像输入训练好的X-Net，重建出超分辨显微镜图像。
在一些实施例中，生成对抗训练由判别器辅助生成器进行训练，所述生成器为UR-Net-8和X-Net的生成器，所述判别器由卷积层、空间金字塔池化层和全连接层构成；
具体地，所述判别器中的卷积层包含4层，每个卷积层对输入特征图采用大小为3×3的卷积核，步长为2进行卷积，空间金字塔池化层对输入特征图采用金字塔式的网格划分，对每个网格采用均值池化得到固定长度的输出，全连接层实现对输入数据的分类，其输出为0或1，分辨表示输入图像中包含有所述生成器重建的超分辨图像或者包含有真实采样的超分辨图像；
基于所述判别器和所述UR-Net-8生成器，训练UR-Net-8；利用训练好的UR-Net-8生成器，基于低分辨WF图像输入，重建训练集和测试集的超分辨显微镜sparse图像；
基于所述判别器和所述X-Net生成器，训练X-Net。利用训练好的X-Net生成器，基于低分辨WF图像输入和所述UR-Net-8重建的超分辨显微镜sparse输入，重建测试集的完美超分辨显微镜图像(perfect)。
进一步的，训练中使用的损失函数包含交叉熵损失、绝对误差损失和多相似性结构化损失。判别器和生成器参数交替更新，判别器更新1次参数，生成器更新4到5次参数。
目标模型能够精确实现多色超分辨成像，极大拓宽了超分辨显微镜如STORM/PALM的应用范围；X-Microscopy对不同品牌显微镜及同一显微镜下不同镜头放大倍数下的宽场图像具有测试适用性。
下面以一具体的实施例对本发明的有益效果进行说明；
S1、通过对各类真核生物器官、组织、类器官或培养细胞的亚细胞结构和大分子复合体，如U87MG、RPE1、REN-D3等哺乳动物细胞系的细胞质骨架结构(微管，微丝和中间纤维等)、核膜结构(Lamin B1)、核内染色质/体着丝粒/动粒结构(kinetochore)以及染色质高级结构(Histone-H3K9me3)等进行抗体标记或者荧光标记蛋白进行可视化获得成像样品。
通过对U2-OS、HeLa,RPE1,D3,U373MG,U87MG,D3等细胞系的不同细胞结构利用不同的固定方法进行固定后进行超分辨免疫荧光染色，涉及的材料及其来源如下：
S2、根据各成像样品结构特点同时进行低分辨率宽场显微镜和随机光学重建显微镜STORM成像及图像分析获得多组宽场图像和超分辨图像数据组合，并将数据随机分成训练集和测试集。
通过对成像样品利用宽场显微镜和超分辨显微镜进行拍摄，根据记录，MTs模型训练集为30ROIs,F-actin模型为14ROIs，EB1模型为15ROIs，Lamin B1模型为17ROIs,kinetochore模型为15ROIs，Keratin-14模型为15ROIs,H3K9me3模型为6ROIs,H2B模型为8ROIs。
训练集图像定义如下：本发明中涉及的欠采样图像(sparse)定义为STORM超分辨显微镜总拍摄帧数中随机取10000张，低分辨率宽场图像(WF)定义为利用宽场显微镜拍摄的图像，密集采样图像(dense)定义为超分辨显微镜总拍摄帧数的95％，完美超分辨显微镜图像(perfect)定义为利用超分辨显微镜总拍摄帧数合成的图像。UR-Net-8的每组训练对包含1张WF图像，30张sparse图像；X-Net的每组训练对包含1张WF图像，1张利用UR-Net-8得到的generated sparse图像，30张dense图像，1张perfect图像。
S3、应用新策略融合UR-Net-8和X-Net深度学习网络构建新型深度学习网络X-Microscopy。其中UR-Net-8应用于宽场图像转换为超分辨欠采样图像，UR-Net-8生成的超分辨欠采样图像和宽场图像共作为输入至具有双分支输入功能的X-Net，最终实现仅从单一低分辨率宽场图像快速转换到高保真超分辨图像的策略和方法。
如附图2所示，所述全新构建的X-Microscopy深度学习网络(目标模型)包括一个用于超分辨显微镜sparse图像重建的生成器UR-Net-8和一个用于超分辨perfect图像重建的生成器X-Net。UR-Net-8由8个卷积层构成的编码器和8个反卷积层构成的解码器组成，X-Net有两个输入分支和两个输出分支，每个输入分支是由8个卷积层构成的编码器，每个输出分支是由8个反卷积层构成的解码器。所述UR-Net-8的输入为低分辨WF图像，输出为重建的超分辨显微镜sparse图像(generated sparse)，所述X-Net的输入为低分辨WF图像和所述UR-Net-8重建的generated sparse图像，输出为重建的超分辨perfect图像。
基于生成对抗训练思想，采用随机梯度下降法，首先利用低分辨WF图像和超分辨显微镜sparse图像训练UR-Net-8。将低分辨WF图像输入到训练好的UR-Net-8，重建出类似于超分辨显微镜欠采样图像的generated sparse图像。然后，利用低分辨WF显微镜图像和所述UR-Net-8重建的generated sparse图像作为X-Net的输入，在超分辨显微镜perfect图像的监督下，训练X-Net。将低分辨WF图像和所述UR-Net-8重建的generated sparse图像输入训练好的X-Net，重建出超分辨显微镜图像。
如附图3所示，低分辨WF图像、超分辨显微镜sparse图像和超分辨显微镜dense图像大小可以任意，所述UR-Net-8和所述X-Net重建出的图像大小与输入大小保持一致。
UR-Net-8的编码器对输入特征图使用大小为5×5的卷积核，步长为2进行卷积；UR-Net-8的解码器对输入特征图使用大小为5×5的卷积核，步长为2进行反卷积；
X-Net的编码器的第一个卷积层使用大小为5×5的卷积核，步长为2进行卷积，其余卷积层使用大小为3×3的卷积核，步长为2进行卷积；X-Net的解码器的前7个反卷积层使用大小为3×3的卷积核，步长为2进行反卷积，最后一个反卷积层使用大小为5×5的卷积核，步长为2进行反卷积。
UR-Net-8在每个编码器的卷积层和对应解码器的反卷积层之间采用残差进行连接；
X-Net在每个分支对应编码器器的卷积层和对应解码器的反卷积层采用残差和注意力连接。
生成对抗训练由判别器辅助生成器进行训练。所述生成器为UR-Net-8和X-Net的生成器，所述判别器由卷积层、空间金字塔池化层和全连接层构成。
所述判别器中的卷积层包含4层，每个卷积层对输入特征图采用大小为3×3的卷积核，步长为2进行卷积，空间金字塔池化层对输入特征图采用金字塔式的网格划分，对每个网格采用均值池化得到固定长度的输出，全连接层实现对输入数据的分类，其输出为0或1，分辨表示输入图像中包含有所述生成器重建的超分辨图像或者包含有真实采样的超分辨图像。
基于所述判别器和所述UR-Net-8生成器，训练UR-Net-8。利用训练好的UR-Net-8生成器，基于低分辨WF图像输入，重建训练集和测试集的超分辨显微镜sparse图像；
基于所述判别器和所述X-Net生成器，训练X-Net。利用训练好的X-Net生成器，基于低分辨WF图像输入和所述UR-Net-8重建的超分辨显微镜sparse输入，重建测试集的完美超分辨显微镜图像(perfect)。
进一步的，所述训练中使用的损失函数包含交叉熵损失、绝对误差损失和多相似性结构化损失。判别器和生成器参数交替更新，判别器更新1次参数，生成器更新4到5次参数。
S4、训练X-Microscopy，获得能够将多种组织结构、细胞结构或亚细胞结构的低分辨率宽场图像(不同品牌显微镜或同一显微镜不同放大倍数下采集的)重建为高保真超分辨显微镜图像的鲁棒性模型。所述S4中训练X-Microscopy获得基于不同细胞结构的由低分辨WF图像变为超分辨显微镜perfect图像的模型，验证模型在实际应用中的鲁棒性和通用性；
如附图4所示，基于X-Microscopy的微管超分辨模型能够将宽场图像转换为完整采样的超分辨图像。训练UR-Net-8用于生成类似于超分辨显微镜的sparse图像作为指导生成最终的超分辨perfect图像。X-Microscopy在微管的从宽场图像到超分辨图像重建过程中，SSIM值能够达到0.91以上，能够将微管的精细结构和纵横交错的特征完美展现，SSIM值达到了0.9169，说明网络的超分辨图像重建质量与perfect相似。
如附图5所示，基于X-Microscopy的F-actin超分辨重建模型，重建SSIM能够达到0.9034以上，重建后图像能够将稀疏，交叉且复杂区域的F-actin形态特征分别展现出来。
如附图6所示，基于X-Microscopy的Keratin 14超分辨重建模型，从宽场重建的K-14的超分辨重建图像清楚地揭示了超清的K14蜂窝状丝状网，SSIM值达到了0.9020以上。
如附图7所示，基于X-Microscopy的H2B超分辨重建模型，从宽场重建后的超分辨图像显示出空间分离的核小体纳米簇的H2B染色，SSIM值可达0.9087。
如附图8所示，基于X-Microscopy的H3K9me3超分辨重建模型，从宽场重建后的超分辨图像显示出高度浓缩的聚集体的H3K9me3染色。重建SSIM值可达0.9014。
如附图9所示，基于X-Microscopy的EB1超分辨重建模型能够直接从宽场图像转换为超分辨图像，重建后的超分辨图像清晰的展示了EB1蛋白的彗星形状，重建SSIM值能够达到0.96以上。
如附图10所示，基于X-Microscopy的kinetochore超分辨重建模型，不仅可以将动粒结构细节重现出来，SSIM值能够达到0.9300以上。
如附图11所示，基于X-Microscopy的Lamin B1超分辨重建模型，模型的重建SSIM值能够达到0.9105以上，且能够消除宽场图像中出现的许多离焦背景，重建后图像可清楚的量化细胞核的形状和大小.
如附图12所示，基于X-Microscopy的多色共染超分辨图像重建模型，从低分辨共染F-actin和MTs的宽场图像重建出超分辨perfect图像，分辨率由354nm提高到116nm；基于X-Microscopy的多色共染超分辨图像重建模型，从低分辨共染Kinetochore、Lamin B1和MTs的宽场图像重建出超分辨perfect图像，分辨率由377nm提高到115nm。
如附图13所示，基于X-Microscopy的能够对不同品牌显微镜，同一品牌显微镜不同放大倍数下的不同生物结构的宽场图像测试具有鲁棒性。
基于同一发明构思，本发明实施例还提供了一种重建高保真超分辨显微图像的装置，可以用于实现上述实施例中所描述的重建高保真超分辨显微图像的方法，如下面实施例所述。由于该重建高保真超分辨显微图像的装置解决问题的原理与重建高保真超分辨显微图像的方法相似，因此重建高保真超分辨显微图像的装置的实施可以参见一种重建高保真超分辨显微图像的方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图14示出了本发明实施例的一种重建高保真超分辨显微图像的装置，所述高保真超分辨显微图像的装置包括：
获取模块20，通过对各类真核生物器官、组织、类器官或培养细胞的亚细胞结构和大分子复合体进行抗体标记或者荧光标记蛋白进行可视化获得成像样品；
预处理模块40，用于对所述成像样品进行处理得到训练集和测试集；
训练模块60，基于所述训练集和测试集对预先构建的深度学习网络X-Microscopy进行训练和测试得到目标模型；其中，所述深度学习网络X-Microscopy是融合UR-Net-8和X-Net深度学习网络构建得到的；
重建模块80，用于将待生成的低分辨率宽场图像输入到所述目标模型得到高保真超分辨显微图像。
本发明实施例提供了一种重建高保真超分辨显微图像的装置，通过获取模块20对各类真核生物器官、组织、类器官或培养细胞的亚细胞结构和大分子复合体进行进行抗体标记或者荧光标记蛋白进行可视化获得成像样品；预处理模块40对所述成像样品进行处理得到训练集和测试集；训练模块60基于所述训练集和测试集对预先构建的深度学习网络X-Microscopy进行训练和测试得到目标模型；其中，所述深度学习网络X-Microscopy是融合UR-Net-8和X-Net深度学习网络构建得到的；重建模块80将待生成的低分辨率宽场图像输入到所述目标模型得到高保真超分辨显微图像。X-Microscopy能够对不同组织结构，细胞结构及亚细胞结构在不同实验扰动情况下获得的低分辨宽场显微镜图像测试具有鲁棒性。X-Microscopy训练基于小数据集，克服了需要大量宽场和超分辨图像训练数据对才能够获得宽场图像的超分辨重建模型的缺点。X-Microscopy能够在秒级时间内从单一低分辨率宽场图像重建超分辨图像，无需单独进行超分辨免疫荧光染色并进行超分辨成像，大大缩短了实验时间，降低了人力及实验成本。
本发明实施例还提供了一种计算机电子设备，图15示出了可以应用本发明实施例的电子设备的结构示意图，如图15所示，该计算机电子设备包括，中央处理单元(CPU)1501，其可以根据存储在只读存储器(ROM)1502中的程序或者从存储部分1508加载到随机访问存储器(RAM)1503中的程序而执行各种适当的动作和处理。在RAM 1503中，还存储有系统操作所需的各种程序和数据。CPU 1501、ROM 1502以及RAM 1503通过总线1504彼此相连。输入/输出(I/O)接口1505也连接至总线1504。
以下部件连接至I/O接口1505：包括键盘、鼠标等的输入部分1506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1507；包括硬盘等的存储部分1508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1509。通信部分1509经由诸如因特网的网络执行通信处理。驱动器1510也根据需要连接至I/O接口1505。可拆卸介质1511，诸如磁盘、光盘、磁光盘、半导体存储器等，根据需要安装在驱动器1510上，以便于从其上读出的计算机程序根据需要被安装入存储部分1508。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，具体依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述重建高保真超分辨显微图像的装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入电子设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本发明的一种重建高保真超分辨显微图像的方法。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (8)
1.一种重建高保真超分辨显微图像的方法，其特征在于，所述重建高保真超分辨显微图像的方法包括：
通过对各类真核生物器官、组织、类器官或培养细胞的亚细胞结构和大分子复合体进行抗体标记或者荧光标记蛋白进行可视化获得成像样品；
对所述成像样品进行处理得到训练集和测试集；
基于所述训练集和测试集对预先构建的深度学习网络X-Microscopy进行训练和测试得到目标模型；其中，所述深度学习网络X-Microscopy是融合UR-Net-8和X-Net深度学习网络构建得到的；所述目标模型包括，一个用于超分辨显微镜sparse图像重建的生成器UR-Net-8和一个用于超分辨perfect图像重建的生成器X-Net，所述UR-Net-8由8个卷积层构成的编码器和8个反卷积层构成的解码器组成，X-Net有两个输入分支和两个输出分支，每个输入分支是由8个卷积层构成的编码器，每个输出分支是由8个反卷积层构成的解码器；
所述目标模型基于生成对抗训练思想，采用随机梯度下降法，首先利用低分辨WF图像和超分辨显微镜sparse图像训练UR-Net-8；将低分辨WF图像输入到训练好的UR-Net-8，重建出类似于超分辨显微镜欠采样图像的generatedsparse图像；然后，利用低分辨WF显微镜图像和所述UR-Net-8重建generatedsparse图像作为X-Net的输入，在超分辨显微镜perfect图像的监督下，训练X-Net；将低分辨WF图像和所述UR-Net-8重建的generatedsparse图像输入训练好的X-Net，重建出超分辨显微镜图像；
将待生成的低分辨率宽场图像输入到所述目标模型得到高保真超分辨显微图像。
2.根据权利要求1所述的重建高保真超分辨显微图像的方法，其特征在于，所述UR-Net-8用于宽场图像转换为超分辨欠采样图像，所述超分辨欠采样图像和宽场图像共同作为输入至具有双分支输入功能的X-Net，以实现仅从单一低分辨率宽场图像快速转换到高保真超分辨图像。
3.根据权利要求1所述的重建高保真超分辨显微图像的方法，其特征在于，所述对所述成像样品进行处理得到训练集和测试集包括：
根据所述成像样品结构特点同时进行低分辨率宽场显微镜和随机光学重建显微镜STORM成像及图像分析获得多组宽场图像和超分辨显微图像数据组合，并将数据随机分成训练集和测试集。
4.根据权利要求1所述的重建高保真超分辨显微图像的方法，其特征在于，所述UR-Net-8的编码器对输入特征图使用大小为5×5的卷积核，步长为2进行卷积；所述UR-Net-8的解码器对输入特征图使用大小为5×5的卷积核，步长为2进行反卷积；
X-Net的编码器的第一个卷积层使用大小为5×5的卷积核，步长为2进行卷积，其余卷积层使用大小为3×3的卷积核，步长为2进行卷积；所述X-Net的解码器的前7个反卷积层使用大小为3×3的卷积核，步长为2进行反卷积，最后一个反卷积层使用大小为5×5的卷积核，步长为2进行反卷积。
5.根据权利要求1所述的重建高保真超分辨显微图像的方法，其特征在于，生成对抗训练由判别器辅助生成器进行训练，所述生成器为UR-Net-8和X-Net的生成器，所述判别器由卷积层、空间金字塔池化层和全连接层构成。
6.一种重建高保真超分辨显微图像的装置，其特征在于，所述高保真超分辨显微图像的装置包括：
获取模块，通过对各类真核生物器官、组织、类器官或培养细胞的亚细胞结构和大分子复合体进行抗体标记或者荧光标记蛋白进行可视化获得成像样品；
预处理模块，用于对所述成像样品进行处理得到训练集和测试集；
训练模块，基于所述训练集和测试集对预先构建的深度学习网络X-Microscopy进行训练和测试得到目标模型；其中，所述深度学习网络X-Microscopy是融合UR-Net-8和X-Net深度学习网络构建得到的；所述目标模型包括，一个用于超分辨显微镜sparse图像重建的生成器UR-Net-8和一个用于超分辨perfect图像重建的生成器X-Net，所述UR-Net-8由8个卷积层构成的编码器和8个反卷积层构成的解码器组成，X-Net有两个输入分支和两个输出分支，每个输入分支是由8个卷积层构成的编码器，每个输出分支是由8个反卷积层构成的解码器；所述目标模型基于生成对抗训练思想，采用随机梯度下降法，首先利用低分辨WF图像和超分辨显微镜sparse图像训练UR-Net-8；将低分辨WF图像输入到训练好的UR-Net-8，重建出类似于超分辨显微镜欠采样图像的generatedsparse图像；然后，利用低分辨WF显微镜图像和所述UR-Net-8重建generatedsparse图像作为X-Net的输入，在超分辨显微镜perfect图像的监督下，训练X-Net；将低分辨WF图像和所述UR-Net-8重建的generatedsparse图像输入训练好的X-Net，重建出超分辨显微镜图像；
重建模块，用于将待生成的低分辨率宽场图像输入到所述目标模型得到高保真超分辨显微图像。
7.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111600867.7A CN114331840B (zh) | 2021-12-24 | 2021-12-24 | 重建高保真超分辨显微图像的方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111600867.7A CN114331840B (zh) | 2021-12-24 | 2021-12-24 | 重建高保真超分辨显微图像的方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114331840A CN114331840A (zh) | 2022-04-12 |
| CN114331840B true CN114331840B (zh) | 2023-04-07 |
Family
ID=81013856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111600867.7A Active CN114331840B (zh) | 2021-12-24 | 2021-12-24 | 重建高保真超分辨显微图像的方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114331840B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024044981A1 (zh) * | 2022-08-30 | 2024-03-07 | 深圳华大智造科技股份有限公司 | 超分辨率分析系统、方法及相应成像设备和模型训练方法 |
| CN116188276A (zh) * | 2023-05-04 | 2023-05-30 | 深圳赛陆医疗科技有限公司 | 用于基因样本的图像处理方法、图像处理装置和存储介质 |
| CN116503258B (zh) * | 2023-06-20 | 2023-11-03 | 中国科学院生物物理研究所 | 超分辨计算成像方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110826467A (zh) * | 2019-11-22 | 2020-02-21 | 中南大学湘雅三医院 | 一种电子显微镜图像重建系统及其方法 |
| CN111127320A (zh) * | 2019-12-23 | 2020-05-08 | 哈尔滨工业大学（威海） | 基于深度学习的光声图像超分辨重建方法及装置 |
| CN111476717A (zh) * | 2020-04-07 | 2020-07-31 | 西安电子科技大学 | 基于自注意力生成对抗网络的人脸图像超分辨重建方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10983059B2 (en) * | 2017-02-09 | 2021-04-20 | Technion Research & Development Foundation Ltd. | Sparsity-based super-resolution correlation microscopy |
| EP3438920A1 (en) * | 2017-07-31 | 2019-02-06 | Institut Pasteur | Method, device, and computer program for improving the reconstruction of dense super-resolution images from diffraction-limited images acquired by single molecule localization microscopy |
| CN108062744B (zh) * | 2017-12-13 | 2021-05-04 | 中国科学院大连化学物理研究所 | 一种基于深度学习的质谱图像超分辨率重建方法 |
| US11222415B2 (en) * | 2018-04-26 | 2022-01-11 | The Regents Of The University Of California | Systems and methods for deep learning microscopy |
| KR20220119669A (ko) * | 2019-12-23 | 2022-08-30 | 더 리전트 오브 더 유니버시티 오브 캘리포니아 | 심층 학습을 이용한 현미경 검사 이미지들의 디지털 염색을 위한 방법 및 시스템 |
| CN111524064B (zh) * | 2020-03-11 | 2022-04-29 | 浙江大学 | 基于深度学习的荧光显微图像超分辨重建方法 |
| CN112435305A (zh) * | 2020-07-09 | 2021-03-02 | 上海大学 | 一种基于深度学习的超高分辨超声成像方法 |
-
2021
- 2021-12-24 CN CN202111600867.7A patent/CN114331840B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110826467A (zh) * | 2019-11-22 | 2020-02-21 | 中南大学湘雅三医院 | 一种电子显微镜图像重建系统及其方法 |
| CN111127320A (zh) * | 2019-12-23 | 2020-05-08 | 哈尔滨工业大学（威海） | 基于深度学习的光声图像超分辨重建方法及装置 |
| CN111476717A (zh) * | 2020-04-07 | 2020-07-31 | 西安电子科技大学 | 基于自注意力生成对抗网络的人脸图像超分辨重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114331840A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114331840B (zh) | 重建高保真超分辨显微图像的方法、装置 | |
| Chen et al. | Three-dimensional residual channel attention networks denoise and sharpen fluorescence microscopy image volumes | |
| de Haan et al. | Deep-learning-based image reconstruction and enhancement in optical microscopy | |
| CN110441271B (zh) | 基于卷积神经网络的光场高分辨解卷积方法及系统 | |
| Zhang et al. | Fourier ptychographic microscopy reconstruction with multiscale deep residual network | |
| CN114252423B (zh) | 超分辨显微镜完全采样图像的生成方法、装置 | |
| CN110246083B (zh) | 一种荧光显微图像超分辨率成像方法 | |
| Zhang et al. | Correction of out-of-focus microscopic images by deep learning | |
| Nie et al. | Fast, 3D isotropic imaging of whole mouse brain using multiangle‐resolved subvoxel SPIM | |
| Xie et al. | An improved method for single image super-resolution based on deep learning | |
| Ning et al. | Deep self-learning enables fast, high-fidelity isotropic resolution restoration for volumetric fluorescence microscopy | |
| Liu et al. | Residual attention network using multi-channel dense connections for image super-resolution | |
| CN111105354A (zh) | 基于多源深度残差网络的深度图像超分辨率方法及装置 | |
| Gong et al. | Deep neural networks for image super-resolution in optical microscopy by using modified hybrid task cascade u-net | |
| Li et al. | Fast confocal microscopy imaging based on deep learning | |
| CN114387196B (zh) | 超分辨显微镜欠采样图像的生成方法、装置 | |
| He et al. | Self-supervised deep-learning two-photon microscopy | |
| Yang et al. | An image super-resolution network based on multi-scale convolution fusion | |
| Deng et al. | Isotropic reconstruction of 3D EM images with unsupervised degradation learning | |
| CN113269672B (zh) | 一种超分辨率的细胞图像构建方法和系统 | |
| Ayas et al. | Microscopic image super resolution using deep convolutional neural networks | |
| Yang et al. | Image super-resolution network based on a multi-branch attention mechanism | |
| Hesse et al. | A qualitative analysis of the bud ontogeny of Dracaena marginata using high-resolution magnetic resonance imaging | |
| Zhao et al. | Faster super-resolution imaging with auto-correlation two-step deconvolution | |
| Guo et al. | A novel lightweight multi-dimension feature fusion network for single-image super-resolution reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |