CN115293981A - 结构光照明荧光显微图像去噪和超分辨率重建方法及系统 - Google Patents
结构光照明荧光显微图像去噪和超分辨率重建方法及系统 Download PDFInfo
- Publication number
- CN115293981A CN115293981A CN202210920760.9A CN202210920760A CN115293981A CN 115293981 A CN115293981 A CN 115293981A CN 202210920760 A CN202210920760 A CN 202210920760A CN 115293981 A CN115293981 A CN 115293981A
- Authority
- CN
- China
- Prior art keywords
- image
- super
- resolution
- structured light
- denoising
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 155
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 86
- 238000003384 imaging method Methods 0.000 claims abstract description 80
- 238000013528 artificial neural network Methods 0.000 claims abstract description 46
- 238000012634 optical imaging Methods 0.000 claims abstract description 38
- 230000003287 optical effect Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims description 111
- 238000003062 neural network model Methods 0.000 claims description 52
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 238000010869 super-resolution microscopy Methods 0.000 claims description 17
- 239000012472 biological sample Substances 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 230000003042 antagnostic effect Effects 0.000 claims description 5
- 238000013041 optical simulation Methods 0.000 claims description 5
- 230000004393 visual impairment Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 30
- 238000005516 engineering process Methods 0.000 description 14
- 239000000523 sample Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000001506 fluorescence spectroscopy Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008614 cellular interaction Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 238000009304 pastoral farming Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 208000007578 phototoxic dermatitis Diseases 0.000 description 1
- 231100000018 phototoxicity Toxicity 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本申请公开了结构光照明荧光显微图像去噪和超分辨率重建系统和方法，其在结构光照明超分辨显微系统中使用，后者包括光学成像系统以及控制与数据处理系统，光学成像系统包括光学器件以及成像器件，所述结构光照明荧光显微图像去噪和超分辨率重建系统包括：超分辨图像预测模块，其配置成利用神经网络架构对经结构光照明原始荧光图像预测得到第一超分辨率子图像；图像去噪模块，在所述第一超分辨率子图像被调制作为第二子图像后，被配置成以所述结构光照明原始荧光图像和所述第二子图像作为输入，利用图像去噪神经网络架构进行去噪而输出去噪后的结构光照明荧光图像；以及超分辨率重建模块。
Description
技术领域
本申请涉及结构光照明荧光显微图像去噪和超分辨率重建，特别是与之有关的超分辨率图像预测以及图像去噪。
背景技术
超分辨率成像技术能够突破传统衍射极限分辨率，以百纳米以内的分辨率对样本进行观测。目前最具代表性的超分辨率成像方法有三种，分别为：随机激发光学重建超分辨显微技术(Stochastic optical reconstruction microscopy，简称STORM技术)、受激发射损耗超分辨显微技术(Stimulated emission depletion microscopy，简称STED技术)和结构光照明超分辨率显微技术(Structured illumination microscopy，简称SIM技术)。STORM技术需要探测成百上千张原始图像才能完成超分辨率重建，成像速度受限。STED技术需要引入一束耗损光来减小系统的点扩散函数，对样本造成的光毒性、光漂白较强，成像时程受限。SIM技术则是通过对照明光进行调制，仅需9～25张原始图像即可实现光学分辨率2～3倍的提升，是当前最适合继续进行活体成像的超分辨率成像模态。
但是现有SIM技术在原始数据信噪比较低时，如果利用标准的超分辨率重建技术对原始数据进行重建，则重建获得的图像中会出现大量重建伪影，严重影响图像质量和后续基于超分辨率图像的研究分析。为提升显微图像的信噪比，一种常用的方法是采用端到端的卷积神经网络对低信噪比图像进行去噪处理，但这种方法无法保留和恢复在结构光原始图像中的调制信息，从而导致结构光超分辨率重建结果依然不够理想。这使得在进行结构光照明超分辨率成像时，实验人员需要确保每张图像中包含足够多的荧光光子数以保障后续超分辨率重建质量，这一因素制约了现有SIM技术的成像速度和成像时程，从而限制了SIM技术在细胞生物学、发育生物学等生命科学研究领域的应用范围。实现低信噪比条件下的结构光超分辨率重建对于提升SIM技术的成像速度、成像时程，扩展其应用范畴具有至关重要的作用。
因此，期望能够提出一种算法可以在对结构光照明图像去噪的同时保留图像中的原始受结构光调制的信息，从而能够利用去噪后的图像进行高质量结构光超分辨率重建，进而实现超快、超长时程的结构光照明超分辨率活体显微成像。
发明内容
本申请的目的之一在于提供改进的结构光照明荧光显微图像去噪和超分辨率重建方法和系统，从而在利用神经网络技术对结构光照明荧光显微图像去噪的同时还可以保留原始荧光显微图像中的结构光调制信息，以便实现高质量的超分辨率图像重建。
根据本申请的一个方面，提供了一种结构光照明荧光显微图像去噪和超分辨率重建系统，其中，所述结构光照明荧光显微图像去噪和超分辨率重建系统在结构光照明超分辨显微系统中使用，所述结构光照明超分辨显微系统包括光学成像系统以及控制与数据处理系统，所述光学成像系统包括依据特定的结构光照明图案产生结构光照射生物样本以激发产生荧光的光学器件以及捕获所述荧光的成像器件，所述结构光照明荧光显微图像去噪和超分辨率重建系统是所述控制与数据处理系统的一部分并且包括：
超分辨图像预测模块，其配置成利用神经网络架构对经所述成像系统所获取的结构光照明原始荧光图像进行超分辨率预测得到第一超分辨率子图像；
图像去噪模块，在所述第一超分辨率子图像利用结构光照明图案和所述成像系统的光学先验被调制作为第二子图像后，所述图像去噪模块被配置成以所述结构光照明原始荧光图像和所述第二子图像作为输入，利用与所述超分辨图像预测模块不同的图像去噪神经网络架构进行去噪而输出去噪后的结构光照明荧光图像；以及
超分辨率重建模块，其配置成利用标准结构光超分辨率重建算法对所述去噪后的结构光照明荧光图像实现结构光超分辨率重建。
可选地，所述超分辨图像预测模块的和所述图像去噪模块的神经网络被事先训练，所述训练包括：
利用所述成像系统获取生物样本的荧光图像训练集，所述荧光图像训练集包括多个图像组，每个图像组包括彼此对应的第一图像和第二图像，所述第二图像的信噪比高于或等于所述第一图像的信噪比；
利用标准结构光超分辨率重建算法对各图像组的第二图像进行结构光超分辨率重建以得到各图像组的第三图像；
以各图像组的第一图像作为输入，各图像组的第三图像作为真值，训练超分辨率图像预测模块的神经网络；
以各图像组的第一图像和第二图像来训练所述图像去噪模块，其中，在训练过程的每一次迭代中，首先使用所述超分辨率图像预测模块对第一图像进行预测得到训练用第一超分辨率子图像；然后，利用结构光照明图案和成像系统的光学先验对所述训练用第一超分辨率子图像进行调制得到训练用第二子图像，最后以各第一图像和各训练用第二子图像作为输入，以各第二图像作为真值，对所述图像去噪模块的图像去噪神经网络进行权重更新。
可选地，所述超分辨率图像预测模块和所述图像去噪模块的训练是依次进行的或同时进行的。
可选地，在所述超分辨率图像预测模块和所述图像去噪模块的训练是依次进行时，先训练所述超分辨率图像预测模块、后训练所述图像去噪模块。
可选地，在所述超分辨率图像预测模块和所述图像去噪模块的训练是同时进行时，在训练过程的每一次迭代中，首先利用所述超分辨率图像预测模块对所述第一图像进行预测得到训练用第一超分辨率子图像，然后利用结构光照明图案和成像系统的光学先验对所述训练用第一超分辨率子图像进行调制得到训练用第二子图像，最后以所述第一图像和所述训练用第二子图像作为所述图像去噪模块的输入，以所述训练用第一超分辨率子图像和所述第二图像分别作为所述超分辨率图像预测模块和所述图像去噪模块输出结果的真值对两个模块进行训练。
可选地，利用结构光照明图案和所述成像系统的光学先验将所述第一超分辨率子图像调制为第二子图像包括：
将所述第一超分辨率子图像与结构光照明图案点乘以得到超分辨调制子图像；
用所述超分辨调制子图像与光学成像系统的点扩散函数卷积以得到所述第二子图像，其中，所述卷积能够在频域中完成。
可选地，所述光学成像系统的点扩散函数是通过光学仿真或者实验采集的方式获得的；并且，所述结构光照明图案是基于光学成像系统的先验信息获得、或利用解析算法由成像系统拍摄的荧光图像求得。
可选地，所述超分辨率图像预测模块的神经网络模型包括但不限于U形神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型、或傅立叶通道注意力卷积神经网络模型，其中在训练所述神经网络时，利用损失函数对神经网络模型进行优化，所述损失函数包括但不限于均方误差(MSE)、平均绝对误差(MAE)、结构相似性(SSIM)、视觉损失(Perceptual Loss)或者它们的加权求和；和/或，采用生成对抗神经网络的方式对神经网络模型进行训练。
可选地，所述图像去噪模块的神经网络模型包括但不限于U形神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型、或傅立叶通道注意力卷积神经网络模型，其中在训练所述图像去噪模块时，利用损失函数对神经网络模型进行优化，所述损失函数包括但不限于均方误差(MSE)、平均绝对误差(MAE)、结构相似性(SSIM)或者它们的加权求和。
根据本申请的另一个方面，提供了一种结构光照明荧光显微图像去噪和超分辨率重建方法，包括：
提供前述的结构光照明荧光显微图像去噪和超分辨率重建系统；
借助于所述结构光照明荧光显微图像去噪和超分辨率重建系统的超分辨图像预测模块，利用其神经网络架构对结构光照明原始荧光图像进行超分辨率预测得到第一超分辨率子图像；
在所述第一超分辨率子图像利用结构光照明图案和成像系统的光学先验被调制作为第二子图像后，借助于所述结构光照明荧光显微图像去噪和超分辨率重建系统的图像去噪模块，以所述结构光照明原始荧光图像和所述第二子图像作为输入，利用与所述超分辨图像预测模块不同的图像去噪神经网络架构进行去噪而输出去噪后的结构光照明荧光图像；以及
借助于所述结构光照明荧光显微图像去噪和超分辨率重建系统的超分辨率重建模块(230)，利用标准结构光超分辨率重建算法对所述去噪后的结构光照明荧光图像实现结构光超分辨率重建。
可选地，所述超分辨图像预测模块的和所述图像去噪模块的神经网络被事先训练，所述训练包括：
利用所述成像系统获取生物样本的荧光图像训练集，所述荧光图像训练集包括多个图像组，每个图像组包括彼此对应的第一图像和第二图像，所述第二图像的信噪比高于或等于所述第一图像的信噪比；
利用标准结构光超分辨率重建算法对各图像组的第二图像进行结构光超分辨率重建以得到各图像组的第三图像；
以各图像组的第一图像作为输入，各图像组的第三图像作为真值，训练超分辨率图像预测模块的神经网络；
以各图像组的第一图像和第二图像来训练所述图像去噪模块，其中，在训练过程的每一次迭代中，首先使用所述超分辨率图像预测模块对第一图像进行预测得到训练用第一超分辨率子图像；然后，利用结构光照明图案和成像系统的光学先验对所述训练用第一超分辨率子图像进行调制得到训练用第二子图像，最后以各第一图像和各训练用第二子图像作为输入，以各第二图像作为真值，对所述图像去噪模块的图像去噪神经网络进行权重更新。
可选地，所述超分辨率图像预测模块和所述图像去噪模块的训练是依次进行的或同时进行的。
可选地，在所述超分辨率图像预测模块和所述图像去噪模块的训练是依次进行时，先训练所述超分辨率图像预测模块、后训练所述图像去噪模块。
可选地，在所述超分辨率图像预测模块和所述图像去噪模块的训练是同时进行时，在训练过程的每一次迭代中，首先利用所述超分辨率图像预测模块对所述第一图像进行预测得到训练用第一超分辨率子图像，然后利用结构光照明图案和成像系统的光学先验对所述训练用第一超分辨率子图像进行调制得到训练用第二子图像，最后以所述第一图像和所述训练用第二子图像作为所述图像去噪模块的输入，以所述训练用第一超分辨率子图像和所述第二图像分别作为所述超分辨率图像预测模块和所述图像去噪模块输出结果的真值对两个模块进行训练。
可选地，利用结构光照明图案和所述成像系统的光学先验将所述第一超分辨率子图像调制为第二子图像包括：
将所述第一超分辨率子图像与结构光照明图案点乘以得到超分辨调制子图像；
用所述超分辨调制子图像与光学成像系统的点扩散函数卷积以得到所述第二子图像，其中，所述卷积能够在频域中完成。
可选地，所述光学成像系统的点扩散函数是通过光学仿真或者实验采集的方式获得的；并且，所述结构光照明图案是基于光学成像系统的先验信息获得，或利用解析算法由成像系统拍摄的荧光图像求得。
可选地，所述超分辨率图像预测模块的神经网络模型包括但不限于U形神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型、或傅立叶通道注意力卷积神经网络模型，其中在训练所述神经网络时，利用损失函数对神经网络模型进行优化，所述损失函数包括但不限于均方误差(MSE)、平均绝对误差(MAE)、结构相似性(SSIM)、视觉损失(Perceptual Loss)或者它们的加权求和；和/或，采用生成对抗神经网络的方式对神经网络模型进行训练。
可选地，所述图像去噪模块的神经网络模型包括但不限于U形神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型、或傅立叶通道注意力卷积神经网络模型，其中在训练所述图像去噪模块时，利用损失函数对神经网络模型进行优化，所述损失函数包括但不限于均方误差(MSE)、平均绝对误差(MAE)、结构相似性(SSIM)或者它们的加权求和。
采用本申请的上述技术手段，可以高效地利用结构光照明先验和光学系统成像模型先验，确保去噪之后的结构光照明荧光图像中保留调制信息，从而实现更鲁棒、保真的图像去噪，以及后续高质量的结构光照明超分辨率重建。
附图说明
从下文的详细说明并结合下面的附图将能更全面地理解本申请的原理及各个方面。需要指出的是，各附图的比例出于清楚说明的目的有可能不一样，但这并不会影响对本申请的理解。在附图中：
图1示意性示出了结构光照明超分辨显微系统的基本框图；
图2示意性示出了根据本申请的结构光照明荧光显微图像去噪和超分辨率重建方法的流程图；
图3示意性示出了对超分辨率图像预测模块和图像去噪模块依次进行训练的方法的一个示例的流程图；
图4示意性示出了对超分辨率图像预测模块和图像去噪模块同时进行训练的方法的一个示例的流程图；
图5示意性示出了图像去噪模块的神经网络架构的示例框图；
图6示意性示出了利用本申请的结构光照明超分辨显微系统采取本申请的模块训练方法以及本申请的结构光照明荧光显微图像去噪和超分辨率重建方法对结构光照明原始荧光图像进行处理的过程。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。
图1示意性示出了结构光照明超分辨显微系统的基本框图，其大体上包括光学成像系统100以及控制与数据处理系统200。光学成像系统100包括已知的能够用于实现结构光照明超分辨显微成像所必须的光学器件和成像器件，以使得经由光学成像系统，能够产生所需结构光(包括但不限于期望的结构光照明图案、期望的图案或条纹方向、期望的相位等)并照射样本，以导致在生物样本上激发出荧光，进而所述荧光被捕获为结构光照明原始荧光图像。接着，所捕获的结构光照明原始荧光图像提供给控制与数据处理系统200，经过一系列数据处理重建为超分辨率显微图像。
在本申请的讨论范畴内，结构光照明超分辨显微系统的光学成像系统100能够采用本领域中已知的任何合适的形式，例如，仅仅作为一个示例，可以参照Guo,Y.等人的公开文献Visualizing Intracellular Organelle and Cytoskeletal Interactions atNanoscale Resolution on Millisecond Timescales.Cell 175,1430-1442e1417(2018)中描述的光学成像系统，因此其具体构造在本申请中不再冗述。但是，本领域技术人员应当清楚，光学成像系统100的先验信息(例如结构光照明条纹的方向、周期、图案、相位等)以及光学成像系统的点扩散函数可以是事先确定的。例如，可以通过光学仿真或实验采集的方式获取光学成像系统的点扩散函数；并且，基于光学成像系统的先验信息(例如结构光照明图案或条纹的方向、周期等)、利用本领域技术人员已知的解析算法由成像系统拍摄的荧光图像(例如，如下所指的第一图像)中求解得到结构光图案信息。
控制与数据处理系统200主要包括计算机以及相关部件(例如数据存储器等)，能够获取光学成像系统100的相应参数例如上述先验信息和点扩散函数以及对光学成像系统100的操作进行控制。此外，根据本申请，控制与数据处理系统200还包括超分辨图像预测模块210、图像去噪模块220、以及超分辨率重建模块230。在本申请的讨论范畴内，这些模块210、220、230可以作为由控制与数据处理系统200的计算机调用和运行的程序中的一些独立的子程序而储存在数据存储器内。针对程序和/或子程序的具体编程方式不在本申请的讨论之列，本领域技术人员能够以任何熟知的编程软件和/或商用软件来实现相关的功能。超分辨图像预测模块210、图像去噪模块220、以及超分辨率重建模块230构成了根据本申请的结构光照明荧光显微图像去噪和超分辨率重建系统。应当清楚的是，该结构光照明荧光显微图像去噪和超分辨率重建系统可以作为控制与数据处理系统200的一部分。在替代的实施例中，本文描述的系统或模块也可以理解为包括数据存储器、例如计算机可读存储介质，在其中能够存储由计算机、特别是控制与数据处理系统200的计算机调用和运行的程序或子程序。这些程序或子程序在由计算机调用执行时能够实现如下所介绍的方法/步骤。针对程序和/或子程序的具体编程方式不在本申请的讨论之列，本领域技术人员能够以任何熟知的编程软件和/或商用软件来实现相关的功能。因此，本申请的下文在描述相关的系统或模块或方法时应当理解为它们也能够被编写为程序以由计算机调用并执行。
以超分辨图像预测模块210为例，其能够选用任何一种神经网络架构以本领域人员已知的方式从光学成像系统100获取的结构光照明原始荧光图像来获得超分辨图像。因为如下所述根据本申请的技术方案，利用超分辨图像预测模块210所获得的超分辨图像仅仅是作为一种中间处理结果，所以这种获得的超分辨图像也可以称为预测超分辨图像。本领域技术人员应当清楚，在超分辨图像预测模块210中所采用的神经网络模型包括但不限于U形神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型、或傅立叶通道注意力卷积神经网络模型等。作为一个示例，超分辨图像预测模块210的神经网络的实现方式可以参见Qiao,C.等人的公开文献Evaluation and development of deep neuralnetworks for image super-resolution in optical microscopy.Nature Methods 18,194-202(2021)。在训练超分辨图像预测模块210的卷积神经网络时，可以利用损失函数对相关网络模型进行优化，所述损失函数包括但不限于均方误差(MSE)、平均绝对误差(MAE)、结构相似性(SSIM)、视觉损失(Perceptual Loss)或者它们的加权求和等；和/或，采用生成对抗神经网络的方式对相关网络模型进行训练。
图像去噪模块220能够选用任何一种神经网络架构以本领域人员针对图像去噪处理已知的方式来实现。例如，图像去噪模块220中所采用的神经网络模型包括但不限于U形神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型、或傅立叶通道注意力卷积神经网络模型等。在训练图像去噪模块220的神经网络时，利用损失函数对相关网络模型进行优化，所述损失函数包括但不限于均方误差(MSE)、平均绝对误差(MAE)、结构相似性(SSIM)或者它们的加权求和等。
超分辨率重建模块230能够选用标准结构光超分辨率重建算法对图像(例如经由图像去噪模块220处理后的图像)进行结构光超分辨率重建。在本申请的范畴内，标准结构光超分辨率重建算法可以认为是一种在显微成像领域中已经知晓的算法，特别是不同于超分辨图像预测模块210所采用的神经网络算法。作为示例，标准结构光超分辨率重建算法可以参照Gustafsson,M.G.等人的公开文献Three-dimensional resolution doubling inwide-field fluorescence microscopy by structured illumination.Biophys J 94,4957-4970(2008)。应当清楚的在控制与数据处理系统200被采用以正式处理图像数据之前，超分辨图像预测模块210和图像去噪模块220必须以随后所描述的方法进行训练；与此不同的是，超分辨率重建模块230仅需设定其相关的算法或参数即可工作。
图2示意性示出了根据本申请的结构光照明荧光显微图像去噪和超分辨率重建方法的流程图。本领域技术人员应当清楚，该方法能够以程序编码的方式存储在结构光照明超分辨显微系统、特别是其控制与数据处理系统200，从而根据需要被调用执行。需要指出的是，在描述该方法的流程时，假设超分辨图像预测模块210和图像去噪模块220已经训练完毕。
在步骤S10，利用结构光照明超分辨显微系统的光学成像系统100，以结构光照明的方式对生物样本进行照明激发以获得结构光照明原始荧光图像。具体地，对于不同结构光照明成像模态来说，原始荧光图像的尺寸和数量都不相同。例如对于二维线性结构光照明成像模式，每个成像区域的原始荧光图像数量应为9张；而对于三维结构光照明成像模式，每个成像区域的原始荧光图像体栈的数量应为15个。
在步骤S20，利用超分辨图像预测模块210对结构光照明原始荧光图像进行超分辨率预测得到第一超分辨率子图像。在本申请的范畴内，图像或子图像并不意味着二者必然尺寸和/或规格不同，二者也可以尺寸和/或规格相同。但是，对于不同结构光照明成像模态来说，第一超分辨率子图像的尺寸可以是不同的，例如对于二维线性结构光照明成像模式，第一超分辨率子图像为单张超分辨率图像，而对于三维结构光照明成像模式，所述超分辨率子图像为单个超分辨率图像体栈。
本领域技术人员清楚，光学成像系统的结构光照明图案以及其它光学先验可以事先获知。具体地，结构光照明图案可以使用光学成像系统的先验信息，也可以从结构光照明原始荧光图像中以本领域技术人员已知的方式(参照公开文献Gustafsson,M.G.etal.Three-dimensional resolution doubling in wide-field fluorescencemicroscopy by structured illumination.Biophys J 94,4957-4970(2008))估计得到。因此，在步骤S30，利用结构光照明图案和成像器件的光学先验对第一超分辨率子图像进行调制以获得第二子图像。在一个示例中，对第一超分辨率子图像进行调制以获得第二子图像意味着在获知光学成像系统的点扩散函数的前提下，先将第一超分辨率子图像与结构光照明图案点乘，然后再与光学成像系统的点扩散函数卷积，从而获得调制后的第二子图像。其中，与光学成像系统的点扩散函数卷积的操作可以是在频域中完成的。具体地，将所述超分辨调制子图像依次进行傅里叶变换、点乘光学传递函数(为系统点扩散函数的傅立叶变换)、再进行傅里叶逆变换。
当然，本领域技术人员清楚上述过程仅仅是一种将结构光照明图案信息融合到第二子图像中的示意性方式，也可以使用其他方式将结构光照明图案信息叠加至第二子图像中。需要指出的是，虽然在这里并未提及第二子图像的数量，但是本领域技术人员应当清楚对于二维线性结构光照明成像模式而言，针对每个成像区域，第二子图像的数量与原始荧光图像数量相对应；而对于三维结构光照明成像模式而言，针对每个成像区域，第二子图像的数量与原始荧光图像体栈的数量相对应。
在步骤S40，利用图像去噪模块220对结构光照明原始荧光图像进行去噪。为此目的，图像去噪模块220配置成其输入为两部分、即结构光照明原始荧光图像以及与之对应的经调制的第二子图像并且其输出为数量与结构光照明原始荧光图像对应的经去噪后的结构光照明荧光图像。
最后，在步骤S50，利用超分辨率重建模块230使用标准结构光照明超分辨率图像重建算法对去噪后的结构光照明荧光图像进行超分辨率重建，进而得到最终的结构光照明超分辨率图像。
采用本申请的上述方法，在已经提供有效训练图像对以对相关模块210、220进行足够训练的前提下，(与直接采用标准结构光超分辨率重建算法对荧光图像进行重建相比)基于神经网络的图像去噪可以更加高效地挖掘生物样本图像的先验特征，同时所述方法可以高效地利用结构光照明先验和光学系统成像模型先验，确保去噪之后的结构光照明荧光图像中保留调制信息，从而实现更鲁棒、保真的图像去噪，以及后续高质量的结构光照明超分辨率重建。
以下介绍训练本申请的模块210、220的方法示例。应当清楚的是如下介绍的训练可以是每次在结构光照明超分辨显微系统进行生物试样观察前进行，也可以是针对类似的或者说同类的生物试样实现训练、然后再利用结构光照明超分辨显微系统进行正式观测时以同样的训练结果直接采用模块210、220进行相应地检测。
首先，利用结构光照明超分辨显微系统的成像系统针对载物台上的生物试样获取荧光图像训练集，其中，荧光图像训练集包括多个图像组，每个图像组包括彼此对应的第一图像和第二图像。在本申请的范畴内，每个图像组中的第一图像和第二图像的“彼此对应”的关系意味着二者的仅仅图像信噪比(因成像系统拍摄时的有意设置不同而)是不同的，但是二者的拍摄位置信息均是相同的。例如，第二图像的信噪比可以高于第一图像(对应监督学习模式)，也可以与第一图像基本相同(对应于弱监督/自监督学习模式，例如可以参考Lehtinen,J.等人的公开文献Noise2noise:Learning image restoration without cleandata.arXiv preprint arXiv:1803.04189(2018))。
然后，使用标准结构光超分辨率重建算法、例如可以利用超分辨率重建模块230对各图像组的第二图像进行结构光超分辨率重建以得到各图像组的第三图像。然后，以各图像组的第一图像作为输入，各图像组的第三图像作为真值，训练超分辨率图像预测模块210。
此外，可以各图像组的第一图像和第二图像来训练图像去噪模块220。在训练过程的每一次迭代中，首先使用超分辨率图像预测模块210对第一图像进行预测，得到第一超分辨率子图像；然后，利用结构光照明图案和成像系统的光学先验对所述第一超分辨率子图像如前所述地进行调制得到第二子图像，最后以各第一图像和各第二子图像作为输入，以各第二图像作为真值，对图像去噪模块220的图像去噪神经网络进行权重更新。超分辨率图像预测模块210和图像去噪模块220的训练可以同时进行、也可以依次进行。
图3示意性示出了对超分辨率图像预测模块210和图像去噪模块220依次进行训练的方法的一个示例的流程图。本领域技术人员应当清楚，具体的训练细节可以采用神经网络训练的已知的任何方式来实现。本申请在此仅讨论两个模块的训练次序。
如上所述，在利用结构光照明超分辨显微系统的成像系统针对载物台上的生物试样获取荧光图像训练集的前提下，先利用图3的虚线上半部的流程对超分辨率图像预测模块210进行训练；然后，再利用图3的虚线上半部的流程、固定已经训练好的超分辨率图像预测模块210权重，对图像去噪模块220进行训练。需要指出的是，在图3的虚线上半部的流程(或在图4)中，真值超分辨率图像可以理解为上述各图像组的第三图像；在图3的虚线下半部的流程(或在图4)中，真值结构光照明原始图像可以理解为各图像组的第二图像。
需要指出的是，超分辨率图像预测模块210的主要功能是从结构光照明原始荧光图像直接预测出一张超分辨率图像，用于后续产生结构光照明图案调制图像。因此，该模块210的超分辨率重建效果对最终的去噪效果不产生决定性的影响。
图4示意性示出了对超分辨率图像预测模块210和图像去噪模块220同时进行训练的方法的一个示例的流程图。如图所示，在神经网络训练的每次迭代中，同时更新超分辨率图像预测模块210和图像去噪模块220的网络权重，相应地，损失函数由两部分组成，第一部分为超分辨率图像预测模块210输出的图像与真值超分辨率图像构成的损失，主要用于指导超分辨率图像预测模块210的权重更新，第二部分为图像去噪模块220输出的去噪后的结构光照明原始图像与真值结构光照明原始图像构成的损失，主要用于指导图像去噪模块的权重更新。
可以理解的是，采用图4所示意的同时训练方式对超分辨率图像预测模块210和图像去噪模块220进行训练的主要优势在于可以简化网络训练步骤、有效缩短整体的训练时间，但在训练过程中也会占用更高的内存(使用CPU进行训练)或显存(使用GPU进行训练)，因此可能需要减小神经网络规模以满足所使用的硬件设备的内存或显存限制。
图5示意性示出了一种图像去噪模块220的神经网络架构，该架构由三部分构成：
第一分支，以结构光照明原始荧光图像作为输入，主要负责从结构光照明原始样本图像中提取样本结构信息；
第二分支，以结构光照明图案调制图像作为输入，主要负责从结构光照明图案调制图像中提取结构光照明图案信息；
第三分支，以第一分支和第二分支所输出的特征图的叠加作为输入，主要负责整合所提取的特征信息，并输出去噪图像。
其中，每一个分支具有基本相同的网络结构，即由首尾两个卷积-激活模块以及中间串联的残差模块构成，残差模块前后也增设一个跳跃链接(skip connection)来提升网络训练的稳定性。每个残差模块内部由原则上应由若干卷积-激活模块、跳跃链接、或通道注意力模块等元素构成，网络结构并非本申请的重点，在此不做过多细节描述，且本领域技术人员可以理解，对网络结构进行部分替换、重新调整不会显著影响其功能，在不脱离本申请构思的情况下，还可以包括更多其他等效的网络结构实施方案。
可以理解的是，图5示出的三分支网络结构可以有效地提取结构光照明原始荧光图像、结构光照明图案调制图像中的生物样本信息和结构光图案信息，并最终通过第三分支对这两部分信息进行整合，完成对结构光照明原始图像进行去噪的任务。但本领域技术人员可以理解，对所述三分支网络结构进行部分替换、重新调整并不会显著影响其功能，且所述三分支网络结构并非唯一可以实现此目标的网络结构。本申请中图像去噪模块的核心在于可以融合结构光照明原始图像信息和结构光照明图案调制图像信息(包含结构光图案信息)，最终实现对结构光照明原始图像的高质量去噪。当然，本领域技术人员应当清楚，任何可以实现此功能的其它合适的网络架构均可作为图像去噪模块220。此外，图5中的三分支网络结构中的任何一个分支也可以类似地作为本申请的超分辨率图像预测模块210的神经网络架构使用。
可以理解的是，结构光照明原始荧光图像去噪及超分辨率重建的实现流程适用于结构光照明显微成像模态，包括但不限于全内反射结构光照明成像、掠入射结构光照明成像、三维结构光照明成像、晶格光片结构光照明成像。为更清晰地说明对于不同的结构光照明成像模态，如何根据结构光照明图案和对应点扩散函数生成结构光照明图案调制图像，下面将分别对二维结构光照明成像、三维结构光照明成像和晶格光片结构光照明成像三种情况，以常见的正弦条纹照明方式为例，分别详细介绍。
对于二维结构光照明成像(包含全内反射模式和掠入射模式)来说，结构光照明原始数据有N×M张图像，其中N代表正弦条纹的方向(orientation)数，M代表正弦条纹的相位(phase)数。对于线性结构光照明成像来讲，通常取N＝M＝3，而对于非线性结构光照明成像来讲，通常取N＝M＝5。超分辨率图像预测模块可将N×M张图像预测为单张超分辨率图像，若以O(k)表示光学成像系统的光学传递函数，I(r)表示结构光照明图案，S(r)表示待成像样本，则生成的调制图像D(r)可以表示为：
其中，
和
分别表示傅立叶变换与傅立叶逆变换。N×M个不同的结构光照明图案共生成N×M张结构光照明图案调制图像。
对于三维结构光照明成像来说，结构光照明原始荧光数据有N×M×NZ张图像，其中NZ代表轴向采样层数，对于三维结构光照明成像模式来讲，可以通过逐层计算的方式生成的调制图像，可以用公式表示为：
其中，[·]mid表示取三维体栈中最中间一层图像的操作。
对于晶格光片结构光照明成像来说，由于光学成像系统限制，激发光只能在横向的单一维度产生周期性变化，因此结构光照明原始荧光数据有M×NZ张图像，通常取M＝3或M＝5。此时，同样采取逐层计算的方式产生结构光照明图案调制图像，具体计算公式如下：
图6示意性示出了利用本申请的结构光照明超分辨显微系统采取本申请的模块训练方法以及本申请的结构光照明荧光显微图像去噪和超分辨率重建方法对结构光照明原始荧光图像进行处理的过程。在图6的部分视图(a)中，示出了经由结构光照明超分辨显微系统的成像系统所获得的结构光原始荧光图像(例如二维结构光照明成像)。接着，图6的部分视图(b)示出了经由超分辨率图像预测模块210预测得到的第一超分辨率子图像。图6的部分视图(c)示出了根据结构光照明图案以及相应的点扩散函数生成结构光照明图案调整图像(即步骤S30中所提及的第二子图像)。然后，图6的部分视图(d)示出了利用图像去噪模块220对结构光照明原始荧光图像进行去噪，其中输入为结构光照明原始荧光图像(a)以及结构光照明图案调整图像(c)，输出为去噪后的结构光照明荧光图像。最后，图6的部分视图(e)示出了利用超分辨率重建模块230使用标准结构光照明超分辨算法对去噪后的结构光照明荧光图像进行重建后的结构光照明超分辨率图像。从最终的图像结果可以看出，本申请的技术方案可以在对结构光照明图像去噪的同时保留图像中的原始调制信息，从而能够利用去噪后的图像进行高质量结构光超分辨率重建，进而实现超快、超长时程的结构光照明超分辨率活体显微成像。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。
Claims (18)
1.一种结构光照明荧光显微图像去噪和超分辨率重建系统，其中，所述结构光照明荧光显微图像去噪和超分辨率重建系统在结构光照明超分辨显微系统中使用，所述结构光照明超分辨显微系统包括光学成像系统(100)以及控制与数据处理系统(200)，所述光学成像系统(100)包括依据特定的结构光照明图案产生结构光照射生物样本以激发产生荧光的光学器件以及捕获所述荧光的成像器件，所述结构光照明荧光显微图像去噪和超分辨率重建系统是所述控制与数据处理系统(200)的一部分并且包括：
超分辨图像预测模块(210)，其配置成利用神经网络架构对经所述成像系统所获取的结构光照明原始荧光图像进行超分辨率预测得到第一超分辨率子图像；
图像去噪模块(220)，在所述第一超分辨率子图像利用结构光照明图案和所述成像系统的光学先验被调制作为第二子图像后，所述图像去噪模块(220)被配置成以所述结构光照明原始荧光图像和所述第二子图像作为输入，利用与所述超分辨图像预测模块(210)不同的图像去噪神经网络架构进行去噪而输出去噪后的结构光照明荧光图像；以及
超分辨率重建模块(230)，其配置成利用标准结构光超分辨率重建算法对所述去噪后的结构光照明荧光图像实现结构光超分辨率重建。
2.根据权利要求1所述的结构光照明荧光显微图像去噪和超分辨率重建系统，其特征在于，所述超分辨图像预测模块(210)的和所述图像去噪模块(220)的神经网络被事先训练，所述训练包括：
利用所述成像系统获取生物样本的荧光图像训练集，所述荧光图像训练集包括多个图像组，每个图像组包括彼此对应的第一图像和第二图像，所述第二图像的信噪比高于或等于所述第一图像的信噪比；
利用标准结构光超分辨率重建算法对各图像组的第二图像进行结构光超分辨率重建以得到各图像组的第三图像；
以各图像组的第一图像作为输入，各图像组的第三图像作为真值，训练超分辨率图像预测模块(210)的神经网络；
以各图像组的第一图像和第二图像来训练所述图像去噪模块(220)，其中，在训练过程的每一次迭代中，首先使用所述超分辨率图像预测模块(210)对第一图像进行预测得到训练用第一超分辨率子图像；然后，利用结构光照明图案和成像系统的光学先验对所述训练用第一超分辨率子图像进行调制得到训练用第二子图像，最后以各第一图像和各训练用第二子图像作为输入，以各第二图像作为真值，对所述图像去噪模块(220)的图像去噪神经网络进行权重更新。
3.根据权利要求2所述的结构光照明荧光显微图像去噪和超分辨率重建系统，其特征在于，所述超分辨率图像预测模块(210)和所述图像去噪模块(220)的训练是依次进行的或同时进行的。
4.根据权利要求2所述的结构光照明荧光显微图像去噪和超分辨率重建系统，其特征在于，在所述超分辨率图像预测模块(210)和所述图像去噪模块(220)的训练是依次进行时，先训练所述超分辨率图像预测模块(210)、后训练所述图像去噪模块(220)。
5.根据权利要求2所述的结构光照明荧光显微图像去噪和超分辨率重建系统，其特征在于，在所述超分辨率图像预测模块(210)和所述图像去噪模块(220)的训练是同时进行时，在训练过程的每一次迭代中，首先利用所述超分辨率图像预测模块(210)对所述第一图像进行预测得到训练用第一超分辨率子图像，然后利用结构光照明图案和成像系统的光学先验对所述训练用第一超分辨率子图像进行调制得到训练用第二子图像，最后以所述第一图像和所述训练用第二子图像作为所述图像去噪模块(220)的输入，以所述训练用第一超分辨率子图像和所述第二图像分别作为所述超分辨率图像预测模块(210)和所述图像去噪模块(220)输出结果的真值对两个模块进行训练。
6.根据权利要求1至5任一所述的结构光照明荧光显微图像去噪和超分辨率重建系统，其特征在于，利用结构光照明图案和所述成像系统的光学先验将所述第一超分辨率子图像调制为第二子图像包括：
将所述第一超分辨率子图像与结构光照明图案点乘以得到超分辨调制子图像；
用所述超分辨调制子图像与光学成像系统的点扩散函数卷积以得到所述第二子图像，其中，所述卷积能够在频域中完成。
7.根据权利要求6所述的结构光照明荧光显微图像去噪和超分辨率重建系统，其特征在于，所述光学成像系统的点扩散函数是通过光学仿真或者实验采集的方式获得的；并且，所述结构光照明图案是基于光学成像系统的先验信息获得、或利用解析算法由成像系统拍摄的荧光图像求得。
8.根据权利要求7所述的结构光照明荧光显微图像去噪和超分辨率重建系统，其特征在于，所述超分辨率图像预测模块(210)的神经网络模型包括但不限于U形神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型、或傅立叶通道注意力卷积神经网络模型，其中在训练所述神经网络时，利用损失函数对神经网络模型进行优化，所述损失函数包括但不限于均方误差(MSE)、平均绝对误差(MAE)、结构相似性(SSIM)、视觉损失(Perceptual Loss)或者它们的加权求和；和/或，采用生成对抗神经网络的方式对神经网络模型进行训练。
9.根据权利要求7所述的结构光照明荧光显微图像去噪和超分辨率重建系统，其特征在于，所述图像去噪模块(220)的神经网络模型包括但不限于U形神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型、或傅立叶通道注意力卷积神经网络模型，其中在训练所述图像去噪模块(220)时，利用损失函数对神经网络模型进行优化，所述损失函数包括但不限于均方误差(MSE)、平均绝对误差(MAE)、结构相似性(SSIM)或者它们的加权求和。
10.一种结构光照明荧光显微图像去噪和超分辨率重建方法，包括：
提供根据权利要求1至9任一所述的结构光照明荧光显微图像去噪和超分辨率重建系统；
借助于所述结构光照明荧光显微图像去噪和超分辨率重建系统的超分辨图像预测模块(210)，利用其神经网络架构对结构光照明原始荧光图像进行超分辨率预测得到第一超分辨率子图像；
在所述第一超分辨率子图像利用结构光照明图案和成像系统的光学先验被调制作为第二子图像后，借助于所述结构光照明荧光显微图像去噪和超分辨率重建系统的图像去噪模块(220)，以所述结构光照明原始荧光图像和所述第二子图像作为输入，利用与所述超分辨图像预测模块(210)不同的图像去噪神经网络架构进行去噪而输出去噪后的结构光照明荧光图像；以及
借助于所述结构光照明荧光显微图像去噪和超分辨率重建系统的超分辨率重建模块(230)，利用标准结构光超分辨率重建算法对所述去噪后的结构光照明荧光图像实现结构光超分辨率重建。
11.根据权利要求10所述的结构光照明荧光显微图像去噪和超分辨率重建方法，其特征在于，所述超分辨图像预测模块(210)的和所述图像去噪模块(220)的神经网络被事先训练，所述训练包括：
利用所述成像系统获取生物样本的荧光图像训练集，所述荧光图像训练集包括多个图像组，每个图像组包括彼此对应的第一图像和第二图像，所述第二图像的信噪比高于或等于所述第一图像的信噪比；
利用标准结构光超分辨率重建算法对各图像组的第二图像进行结构光超分辨率重建以得到各图像组的第三图像；
以各图像组的第一图像作为输入，各图像组的第三图像作为真值，训练超分辨率图像预测模块(210)的神经网络；
以各图像组的第一图像和第二图像来训练所述图像去噪模块(220)，其中，在训练过程的每一次迭代中，首先使用所述超分辨率图像预测模块(210)对第一图像进行预测得到训练用第一超分辨率子图像；然后，利用结构光照明图案和成像系统的光学先验对所述训练用第一超分辨率子图像进行调制得到训练用第二子图像，最后以各第一图像和各训练用第二子图像作为输入，以各第二图像作为真值，对所述图像去噪模块(220)的图像去噪神经网络进行权重更新。
12.根据权利要求11所述的结构光照明荧光显微图像去噪和超分辨率重建方法，其特征在于，所述超分辨率图像预测模块(210)和所述图像去噪模块(220)的训练是依次进行的或同时进行的。
13.根据权利要求11所述的结构光照明荧光显微图像去噪和超分辨率重建方法，其特征在于，在所述超分辨率图像预测模块(210)和所述图像去噪模块(220)的训练是依次进行时，先训练所述超分辨率图像预测模块(210)、后训练所述图像去噪模块(220)。
14.根据权利要求11所的结构光照明荧光显微图像去噪和超分辨率重建方法，其特征在于，在所述超分辨率图像预测模块(210)和所述图像去噪模块(220)的训练是同时进行时，在训练过程的每一次迭代中，首先利用所述超分辨率图像预测模块(210)对所述第一图像进行预测得到训练用第一超分辨率子图像，然后利用结构光照明图案和成像系统的光学先验对所述训练用第一超分辨率子图像进行调制得到训练用第二子图像，最后以所述第一图像和所述训练用第二子图像作为所述图像去噪模块(220)的输入，以所述训练用第一超分辨率子图像和所述第二图像分别作为所述超分辨率图像预测模块(210)和所述图像去噪模块(220)输出结果的真值对两个模块进行训练。
15.根据权利要求10至14任一所述的结构光照明荧光显微图像去噪和超分辨率重建方法，其特征在于，利用结构光照明图案和所述成像系统的光学先验将所述第一超分辨率子图像调制为第二子图像包括：
将所述第一超分辨率子图像与结构光照明图案点乘以得到超分辨调制子图像；
用所述超分辨调制子图像与光学成像系统的点扩散函数卷积以得到所述第二子图像，其中，所述卷积能够在频域中完成。
16.根据权利要求15所述的结构光照明荧光显微图像去噪和超分辨率重建方法，其特征在于，所述光学成像系统的点扩散函数是通过光学仿真或者实验采集的方式获得的；并且，所述结构光照明图案是基于光学成像系统的先验信息获得，或利用解析算法由成像系统拍摄的荧光图像求得。
17.根据权利要求16所述的结构光照明荧光显微图像去噪和超分辨率重建方法，其特征在于，所述超分辨率图像预测模块(210)的神经网络模型包括但不限于U形神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型、或傅立叶通道注意力卷积神经网络模型，其中在训练所述神经网络时，利用损失函数对神经网络模型进行优化，所述损失函数包括但不限于均方误差(MSE)、平均绝对误差(MAE)、结构相似性(SSIM)、视觉损失(Perceptual Loss)或者它们的加权求和；和/或，采用生成对抗神经网络的方式对神经网络模型进行训练。
18.根据权利要求17所述的结构光照明荧光显微图像去噪和超分辨率重建方法，其特征在于，所述图像去噪模块(220)的神经网络模型包括但不限于U形神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型、或傅立叶通道注意力卷积神经网络模型，其中在训练所述图像去噪模块(220)时，利用损失函数对神经网络模型进行优化，所述损失函数包括但不限于均方误差(MSE)、平均绝对误差(MAE)、结构相似性(SSIM)或者它们的加权求和。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210920760.9A CN115293981B (zh) | 2022-08-02 | 2022-08-02 | 结构光照明荧光显微图像去噪和超分辨率重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210920760.9A CN115293981B (zh) | 2022-08-02 | 2022-08-02 | 结构光照明荧光显微图像去噪和超分辨率重建方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115293981A true CN115293981A (zh) | 2022-11-04 |
| CN115293981B CN115293981B (zh) | 2023-06-06 |
Family
ID=83825950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210920760.9A Active CN115293981B (zh) | 2022-08-02 | 2022-08-02 | 结构光照明荧光显微图像去噪和超分辨率重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115293981B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115984107A (zh) * | 2022-12-21 | 2023-04-18 | 中国科学院生物物理研究所 | 自监督多模态结构光显微重建方法和系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108038824A (zh) * | 2017-12-11 | 2018-05-15 | 北京大学 | 一种基于结构光照明的荧光偶极子定向方法 |
| CN108305213A (zh) * | 2017-01-13 | 2018-07-20 | 中国科学技术大学 | 图像重建方法、系统及结构照明显微镜 |
| CN108665411A (zh) * | 2018-03-09 | 2018-10-16 | 北京超维景生物科技有限公司 | 一种图像重建的方法和系统 |
| US20190320894A1 (en) * | 2016-11-21 | 2019-10-24 | Crestoptics S.P.A. | Spatial super-resolution apparatus for fluorescence analysis of eye fundus |
| CN112798564A (zh) * | 2020-12-22 | 2021-05-14 | 中国科学院苏州生物医学工程技术研究所 | 随机光学重建与结构光照明复合超分辨成像系统 |
| CN113724150A (zh) * | 2021-07-27 | 2021-11-30 | 清华大学 | 无需高信噪比真值图像的结构光显微重建方法及装置 |
| US11226293B1 (en) * | 2020-08-07 | 2022-01-18 | Seagate Technology Llc | Structured illumination optical inspection platform for transparent materials |
-
2022
- 2022-08-02 CN CN202210920760.9A patent/CN115293981B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190320894A1 (en) * | 2016-11-21 | 2019-10-24 | Crestoptics S.P.A. | Spatial super-resolution apparatus for fluorescence analysis of eye fundus |
| CN108305213A (zh) * | 2017-01-13 | 2018-07-20 | 中国科学技术大学 | 图像重建方法、系统及结构照明显微镜 |
| CN108038824A (zh) * | 2017-12-11 | 2018-05-15 | 北京大学 | 一种基于结构光照明的荧光偶极子定向方法 |
| CN108665411A (zh) * | 2018-03-09 | 2018-10-16 | 北京超维景生物科技有限公司 | 一种图像重建的方法和系统 |
| US11226293B1 (en) * | 2020-08-07 | 2022-01-18 | Seagate Technology Llc | Structured illumination optical inspection platform for transparent materials |
| CN112798564A (zh) * | 2020-12-22 | 2021-05-14 | 中国科学院苏州生物医学工程技术研究所 | 随机光学重建与结构光照明复合超分辨成像系统 |
| CN113724150A (zh) * | 2021-07-27 | 2021-11-30 | 清华大学 | 无需高信噪比真值图像的结构光显微重建方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| CHANG QIAO.ET.: "Evaluation and development of deep neural networks for image super-resolution in optical microscopy", 《NATURE METHODS》, vol. 18, no. 2, pages 194 - 202, XP037359284, DOI: 10.1038/s41592-020-01048-5 * |
| 徐梓康: "基于深度学习的光学显微图像重建与增强算法研究", 《中国优秀硕士学位论文全文数据库基础科学辑》, no. 6, pages 006 - 282 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115984107A (zh) * | 2022-12-21 | 2023-04-18 | 中国科学院生物物理研究所 | 自监督多模态结构光显微重建方法和系统 |
| CN115984107B (zh) * | 2022-12-21 | 2023-08-11 | 中国科学院生物物理研究所 | 自监督多模态结构光显微重建方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115293981B (zh) | 2023-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7249326B2 (ja) | 単一分子局在化顕微鏡法によって取得された回折限界画像からの高密度超解像度画像の再構築を改善する方法、装置、及びコンピュータプログラム | |
| JP7459336B2 (ja) | 予測タグ付けを有する画像を生成するための画像処理のためのシステム、デバイス、および方法 | |
| Li et al. | Reinforcing neuron extraction and spike inference in calcium imaging using deep self-supervised denoising | |
| CN110441271B (zh) | 基于卷积神经网络的光场高分辨解卷积方法及系统 | |
| KR20190004000A (ko) | 반도체 애플리케이션을 위한 신경망 및 순방향 물리적 모델을 포함하는 방법 및 시스템 | |
| JP7346726B2 (ja) | 深層学習による位相画像の再構築 | |
| Zhou et al. | W2S: microscopy data with joint denoising and super-resolution for widefield to SIM mapping | |
| CN110313016B (zh) | 一种基于稀疏正源分离模型的图像去模糊算法 | |
| Bostan et al. | Variational phase imaging using the transport-of-intensity equation | |
| Qiao et al. | 3D structured illumination microscopy via channel attention generative adversarial network | |
| Speiser et al. | Teaching deep neural networks to localize sources in super-resolution microscopy by combining simulation-based learning and unsupervised learning | |
| Zhang et al. | Correction of out-of-focus microscopic images by deep learning | |
| Boland et al. | Improving axial resolution in Structured Illumination Microscopy using deep learning | |
| CN115293981A (zh) | 结构光照明荧光显微图像去噪和超分辨率重建方法及系统 | |
| Cao et al. | Dynamic structured illumination microscopy with a neural space-time model | |
| Christensen et al. | ML-SIM: a deep neural network for reconstruction of structured illumination microscopy images | |
| US20220343463A1 (en) | Changing the size of images by means of a neural network | |
| Hoppe et al. | Three-dimensional FRET reconstruction microscopy for analysis of dynamic molecular interactions in live cells | |
| CN110785709B (zh) | 从低分辨率图像产生高分辨率图像以用于半导体应用 | |
| CN115984107B (zh) | 自监督多模态结构光显微重建方法和系统 | |
| Luo et al. | Fast structured illumination microscopy via transfer learning with correcting | |
| CN115272123B (zh) | 自监督三维显微图像去噪方法和系统 | |
| Maalouf | Contribution to fluorescence microscopy, 3D thick samples deconvolution and depth-variant PSF | |
| CN115619646B (zh) | 一种深度学习的亚五十纳米结构光照明超分辨成像方法 | |
| CN115841423B (zh) | 一种基于深度学习的宽场照明荧光超分辨显微成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |