CN115984107A - 自监督多模态结构光显微重建方法和系统 - Google Patents

Abstract

本申请公开自监督多模态结构光显微重建方法和系统。本申请通过“图像扰动”方式由原始荧光图像产生训练用输入数据集和训练用输入数据集，并以此训练去噪神经网络，在利用训练好的去噪神经网络对超分辨率图像进行去噪处理，能够高效地对由低信噪比的原始荧光图像进行超分辨率重建后的图像进行去噪，从前确保高精度地复原生物样本结构。

Description

自监督多模态结构光显微重建方法和系统

技术领域

本申请大体上涉及多模态结构光显微图像超分辨重建方法和系统、特别是自监督多模态结构光显微图像超分辨重建方法和系统。

背景技术

与传统的荧光显微成像不同，结构光显微技术使用了含周期性的条纹的结构光照射样本激发荧光，通过对所获得的荧光图像进行重建以实现“所见即所得”的显微观测效果。结构光显微技术通过一系列不同的调制光图样照射样本，最终可以实现2倍分辨率的提升(不考虑荧光的非线性特性)，因而可以实现对线粒体、溶酶体、内质网、内吞小泡等结构的更加精细的解析，有着非常重要的实践意义，其在活体细胞(或活体生物样本)成像中应用非常广泛。

在结构光显微技术的重建算法中，包含了对频域信息分离、频域信息拼接等复杂操作。然而，这种重建算法对原始荧光图像的信噪比要求较高。否则的话，若采用低信噪比的原始荧光图像进行超分辨率重建的话，则最终的超分辨率图像会存在大量“伪影”。

这些“伪影”的存在会严重影响最终超分辨率重建图像的质量，使得无法区分真实的样本信息与重建过程中产生的“伪影”，进而影响显微观测效果。在利用结构光显微技术对活体细胞进行成像观测时，通常所获得的荧光图像的信噪比较低。这主要是因为下述三个因素造成的。

1、能够适用于活体细胞荧光标记的荧光染料和荧光蛋白种类较少，且需要使其穿过各种膜结构，其标记效率通常较低，进而样本受光照激发的荧光信号的发射效率较低。

2、活体细胞受光毒性和光漂白性影响较大，在实验过程中需要使用尽量低强度的激发光源进行照射，否则极易对细胞造成损伤，使其结构和功能产生异常。因此发射荧光强度也会降低。

3、待观测的活体细胞通常会进行高速运动，为了捕捉活体细胞的动态过程，通常需要短的曝光时间，进而导致采集到的光子数减少，最终所获取的荧光信号强度降低。

因此，图像去噪已经成为结构光显微成像技术中非常重要的考量因素。在本领域的早期传统的图像去噪研究中，主要利用噪声信息与样本信息在统计学上的差异，通过数学建模将噪声信息与样本信息进行分离。但是，因噪声信息与样本信息是高度耦合的，所以此类方法难以应用处理信噪比较低的图像。此外，近年来诸如深度神经网络的深度学习技术已经被逐渐应用到图像去噪。但是，对于活体细胞观测而言，采用此类深度神经网络进行去噪训练处理时，如果使用高信噪比图像进行监督的话，必须事先采集到大量匹配的“高信噪比-低信噪比”图像对来构建训练集。这就必须通过对同一活体细胞样本在不同强度激发光的照射下进行成像而获得训练集，而这即会造成活体细胞受损也会造成荧光标记的实验难度和实验成本提高。此外，对于活体细胞观测而言，也需要对同一活体样本进行多次采样，会降低时间分辨率，也无法对视频数据的进行处理。

发明内容

针对上述问题，本申请旨在提出一种新颖的自监督多模态结构光显微图像超分辨重建去噪技术方案，在对这种技术方案中所采用的神经网络进行训练时，训练集仅由一组单次采集的荧光图像生成(无需利用高信噪比图像进行监督也无需对同一活体生物样本进行多次采样)，训练好的神经网络确保可以基于较低信噪比的原始荧光图像重建去噪后的超分辨率图像，从而显著提升了结构光显微的图像质量并拓展了其应用范围。

根据本申请的一个方面，提出了一种自监督多模态结构光显微重建方法，包括：

利用结构光激发生物样本以获取自生物样本的受激产生的j个原始荧光图像序列，其中，j是大于或等于1的整数，每个原始荧光图像序列包括N个荧光图像，N是大于或等于2的整数；

在计算机中运行程序，所述程序使得：

1)对于所述N个荧光图像中的第i个荧光图像，生成与图像维度相同的、满足均值为0和方差为1的正态分布随机变量，i是大于或等于1且小于或等于N的整数；

2)针对所述第i个荧光图像，利用下述公式产生第i个扰动图像对，

其中，α、β₁、β₂分别为由计算机随机生成的常数，其中α是在2.0与5.0之间的范围内，β₁是在1.0与3.0之间的范围内，β₂是在15.0与35.0之间的范围内，z_i是与第i个荧光图像对应的正态分布随机变量，

是第i个扰动图像对中的第一扰动图像，

是第i个扰动图像对中的第二扰动图像，

3)对所述N个荧光图像中的所有荧光图像完成上述步骤1)和2)的操作；

4)利用标准结构光超分辨率重建算法对由所述N个荧光图像产生的N个扰动图像对中的第一扰动图像进行超分辨率重建，以形成训练用第一超分辨率扰动图像，并且利用标准结构光超分辨率重建算法对由所述N个荧光图像产生的N个扰动图像对中的第二扰动图像进行超分辨率重建，以形成训练用第二超分辨率扰动图像；

5)针对所述j个原始荧光图像序列中的每个执行上述步骤1)至4)，以使得将与j个原始荧光图像序列对应的j个训练用第一超分辨率扰动图像汇集为训练用输入数据集，并将与j个原始荧光图像序列对应的j个训练用第二超分辨率扰动图像汇集为训练用输入数据集；

6)基于所述训练用输入数据集和所述训练用输入数据集训练去噪用神经网络；

7)利用标准结构光超分辨率重建算法对所述j个原始荧光图像序列(Y)中的每个原始荧光图像序列中的N个荧光图像进行超分辨率重建，以形成超分辨率图像，将该超分辨率图像作为所述去噪用神经网络的输入，以获得最终的超分辨率重建图像。

可选地，在基于所述训练用输入数据集和所述训练用输入数据集训练去噪用神经网络时，在每个训练周期中，从所述输入数据集和所述真值数据集中分别随机抽取训练用第一超分辨率扰动图像和训练用第二超分辨率扰动图像，并随机抽取其中同一位置的像素块，进行随机旋转、翻折后分别作为去噪用神经网络输入图像和目标图像，计算网络输出和目标图像之间的误差，并将其梯度进行反向传播，更新网络参数。

可选地，所述去噪用神经网络包括但不限于U型神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型、或傅立叶通道注意力卷积神经网络模型。

可选地，使用光学成像系统(100)来利用结构光激发生物样本以获取自生物样本的受激产生的j个原始荧光图像序列(Y)，其中，所述光学成像系统(100)包括但不限于二维结构光系统(2D-SIM)、三维结构光系统(3D-SIM)、晶格光片结构光系统(LLS-SIM)、掠入射照明结构光系统(GI-SIM)。

根据本申请的另一个方面，还提出了一种自监督多模态结构光显微重建系统，包括：

超分辨率重建模块，所述超分辨率重建模块配置成利用标准结构光超分辨率重建算法对图像进行超分辨率重建；以及

去噪模块，所述去噪模块设有去噪用神经网络，

所述自监督多模态结构光显微重建系统配置成：

接收利用结构光激发生物样本以获取自生物样本的受激产生的j个原始荧光图像序列，其中，j是大于或等于1的整数，每个原始荧光图像序列包括N个荧光图像，N是大于或等于2的整数；

所述自监督多模态结构光显微重建系统还配置成：

1)对于所述N个荧光图像中的第i个荧光图像，生成与图像维度相同的、满足均值为0和方差为1的正态分布随机变量，i是大于或等于1且小于或等于N的整数；

2)针对所述第i个荧光图像，利用下述公式产生第i个扰动图像对，

其中，α、β₁、β₂分别为由计算机随机生成的常数，其中α是在2.0与5.0之间的范围内，β₁是在1.0与3.0之间的范围内，β₂是在15.0与35.0之间的范围内，z_i是与第i个荧光图像对应的正态分布随机变量，

是第i个扰动图像对中的第一扰动图像，

是第i个扰动图像对中的第二扰动图像，

3)对所述N个荧光图像中的所有荧光图像完成上述步骤1)和2)的操作；

4)所述超分辨率重建模块对由所述N个荧光图像产生的N个扰动图像对中的第一扰动图像进行超分辨率重建，以形成训练用第一超分辨率扰动图像，并且利用标准结构光超分辨率重建算法对由所述N个荧光图像产生的N个扰动图像对中的第二扰动图像进行超分辨率重建，以形成训练用第二超分辨率扰动图像；

5)针对所述j个原始荧光图像序列中的每个执行上述步骤1)至4)，以使得将与j个原始荧光图像序列对应的j个训练用第一超分辨率扰动图像汇集为训练用输入数据集，并将与j个原始荧光图像序列对应的j个训练用第二超分辨率扰动图像汇集为训练用输入数据集；

6)基于所述训练用输入数据集和所述训练用输入数据集训练去噪用神经网络；

7)所述超分辨率重建模块对所述j个原始荧光图像序列中的每个原始荧光图像序列中的N个荧光图像进行超分辨率重建，以形成超分辨率图像，将该超分辨率图像作为所述去噪用神经网络的输入，以获得最终的超分辨率重建图像。

可选地，在基于所述训练用输入数据集和所述训练用输入数据集训练去噪用神经网络时，在每个训练周期中，从所述输入数据集和所述真值数据集中分别随机抽取训练用第一超分辨率扰动图像和训练用第二超分辨率扰动图像，并随机抽取其中同一位置的像素块，进行随机旋转、翻折后分别作为去噪用神经网络输入图像和目标图像，计算网络输出和目标图像之间的误差，并将其梯度进行反向传播，更新网络参数。

可选地，所述去噪用神经网络包括但不限于U型神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型、或傅立叶通道注意力卷积神经网络模型。

可选地，使用光学成像系统来利用结构光激发生物样本以获取自生物样本的受激产生的j个原始荧光图像序列，其中，所述光学成像系统包括但不限于二维结构光系统(2D-SIM)、三维结构光系统(3D-SIM)、晶格光片结构光系统(LLS-SIM)、掠入射照明结构光系统(GI-SIM)。

利用经本申请的技术手段训练的神经网络，能够高效地对由低信噪比的原始荧光图像进行超分辨率重建后的图像进行去噪，从前确保高精度地复原生物样本结构。本申请的方法和系统特别适合以极低的激发光功率对活体生物样本进行长时程无损成像，并且能够在保证生物样本活性的前提下能够清晰地观测到其高速动态过程。

附图说明

从下文的详细说明并结合下面的附图将能更全面地理解本申请的原理及各个方面。需要指出的是，各附图的比例出于清楚说明的目的有可能不一样，但这并不会影响对本申请的理解。在附图中：

图1示意性示出了一个结构光显微成像系统的基本框图；

图2A示意性示出了根据本申请的一个实施例的对该自监督多模态结构光显微重建系统的去噪模块的神经网络进行训练的过程；

图2B示意性示出了根据本申请的一个实施例的利用神经网络已经训练好的自监督多模态结构光显微重建系统对原始荧光图像序列进行重建的过程；

图3示意性示出了根据本申请的一个实施例的自监督多模态结构光显微重建方法的流程图；

图4A示意性示出了采用本申请的自监督多模态结构光显微重建方法利用原始荧光图像序列对神经网络进行训练的过程；以及

图4B示意性示出了利用已训练好的神经网络对原始荧光图像序列进行重建去噪的过程。

具体实施方式

在本申请的各附图中，结构相同或功能相似的特征由相同的附图标记表示。

图1示意性示出了一个结构光显微成像系统的基本框图，其大体上包括光学成像系统100以及控制与数据处理系统200。光学成像系统100包括激发光路以及探测光路，其中激发光路包括激发物镜及用于产生激发光的其他光学组件，激发光束以周期性的条纹的结构光的方式可以透过所述激发物镜射出，以便在生物样本上激发出荧光，探测光路包括探测物镜及用于成像的其他光学组件，用于接收和探测所激发出的荧光。本领域技术人员应当清楚，根据结构光显微成像系统的配置，激发物镜与探测物镜可以是同一物镜或者是不同的物镜。在对生物样本、特别是活体生物样本进行三维荧光显微成像时，沿着探测物镜的光轴方向、即轴向连续扫描采样多层荧光图像，这样每完成一次扫描采样，所获取的多层荧光图像构成一个荧光图像体栈(也可以称为“序列”)。

控制与数据处理系统200主要包括计算机以及相关部件(例如数据存储器等)，能够对光学成像系统100的操作进行控制并且能够从光学成像系统100接收图像数据并进行相应后期处理。例如，所获取的荧光图像体栈提供给控制与数据处理系统200，经过一系列数据处理重建为高信噪比三维显微图像。为此目的，控制与数据处理系统200可以包括自监督多模态结构光显微图像重建模块或系统(也可以称为“自监督多模态结构光显微重建模块或系统”)。自监督多模态结构光显微图像重建模块或系统包括超分辨率重建子模块210以及去噪子模块220。需要指出的是在本申请的范畴内，这里描述的模块和/或子模块可以理解为包括数据存储器、例如计算机可读存储介质，在其中能够存储由计算机、特别是控制与数据处理系统200的计算机调用和运行的程序或子程序和去噪神经网络模型。这些程序或子程序和去噪神经网络模型在由计算机调用执行时能够实现如下所介绍的方法/步骤、特别是自监督多模态结构光显微图像重建方法/步骤。针对程序和/或子程序的具体编程方式不在本申请的讨论之列，本领域技术人员能够以任何熟知的编程软件和/或商用软件来实现相关的功能。因此，本申请的下文在描述相关的系统的操作或模块的操作或方法时应当理解为它们也能够被编写为程序以由计算机调用并执行。

超分辨率重建子模块210能够选用标准结构光超分辨率重建算法对由光学成像系统100所获取的荧光图像进行超分辨率重建。在本申请的范畴内，标准结构光超分辨率重建算法可以认为是一种在显微成像领域中已经知晓的算法。作为示例，标准结构光超分辨率重建算法可以参照Gustafsson,M.G.等人的公开文献Three-dimensional resolutiondoubling in wide-field fluorescence microscopy by structuredillumination.Biophys J 94,4957-4970(2008)。

去噪子模块220能够选用任何一种神经网络架构以本领域人员针对图像去噪处理已知的方式来实现。例如，去噪子模块220中所采用的神经网络模型包括但不限于U型神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型、或傅立叶通道注意力卷积神经网络模型等。在训练去噪子模块220的神经网络时，利用损失函数对相关网络模型进行优化，所述损失函数包括但不限于均方误差(MSE)、平均绝对误差(MAE)、结构相似性(SSIM)或者它们的加权求和等。

因此，超分辨率重建子模块210(或者称“超分辨率重建模块”)以及去噪子模块220(或者称“去噪模块”)构成了根据本申请的自监督多模态结构光显微重建系统。图2A示意性示出了根据本申请的一个实施例的利用光学成像系统100所获得的原始荧光图像序列Y对该自监督多模态结构光显微重建系统的去噪模块220的神经网络进行训练的过程；图2B示意性示出了根据本申请的一个实施例的利用神经网络已经训练好的自监督多模态结构光显微重建系统对光学成像系统100所获得的原始荧光图像序列Y进行重建的过程。

本申请的自监督多模态结构光显微重建系统能够适用于的光学成像系统100可以包括但不限于二维结构光系统(2D-SIM)、三维结构光系统(3D-SIM)、晶格光片结构光系统(LLS-SIM)、掠入射照明结构光系统(GI-SIM)。因此，术语“多模态结构光显微重建”指的是这种“结构光显微重建”能够适用于多种光学成像系统。此外，为了克服背景技术部分中所提及的种种不足，本申请的多模态结构光显微重建系统采取独特的自监督方式进行神经网络训练。以下参照附图2A介绍对本申请的自监督多模态结构光显微重建系统的去噪模块220的神经网络进行训练的基本原理。

首先，例如以二维结构光系统作为光学成像系统100的示例，对生物样本完成荧光图像扫描，以获取原始图像序列Y。例如，光学成像系统100所采集的原始图像序列Y可以表示为一系列不同照明模式下的含噪声的荧光图像y_i(i＝1,2,…,N)，其中N表示光学成像系统100的照明模式的数量，N是大于或等于2的整数。

根据本申请，采用“图像扰动”的方式来训练去噪神经网络，从而避免事先采集到大量匹配的“高信噪比-低信噪比”图像对来构建训练集。具体而言，针对一个原始荧光图像序列中的每幅原始荧光图像y_i，利用计算机随机生成与该幅原始荧光图像y_i维度相同的、满足均值为0且方差为1的正态分布随机变量z_i。然后，基于每幅原始荧光图像y_i利用如下公式生成一对荧光扰动图像

和

在上述公式(1)、(2)、(3)中，α，β₁，β₂为在满足如下表1中规定的范围内由计算机随机生成的常数。

参数	α	<![CDATA[β<sub>1</sub>]]>	<![CDATA[β<sub>2</sub>]]>
				范围	2.0-5.0	1.0-3.0	15.0-35.0

表1“图像扰动”中所采用的各参数范围

在本申请的范畴内，术语“图像y_i”或“图像

或

”在数学上可以理解为能体现人眼可以观察的图像的二维矩阵。因此，上述公式中与图像或者说矩阵有关的乘运算应理解为点乘运算。

然后，利用超分辨率重建模块210采用标准结构光超分辨率重建算法针对荧光扰动图像

进行超分辨率重建，以获得超分辨率扰动图像Y⁺；同时，利用超分辨率重建模块210采用标准结构光超分辨率重建算法针对荧光扰动图像

进行超分辨率重建，以获得超分辨率扰动图像Y^-。

然后，针对利用光学成像系统100所获得的所有原始荧光图像序列，重复采用公式(1)至(3)并且分别利用超分辨率重建模块210进行超分辨率重建。这样，所产生的所有超分辨率扰动图像Y⁺构成用于训练神经网络的输入数据集，所产生的所有超分辨率扰动图像Y^-构成用于训练神经网络的真值数据集。

以上述输入数据集和真值数据集为基础，对去噪模块220的神经网络进行训练。例如，在每个训练周期中，从输入数据集和真值数据集中随机取出数组匹配的超分辨率扰动图像Y⁺和Y^-，并随机抽取其中同一位置的像素块，进行随机旋转、翻折后分别作为神经网络输入图像和目标图像，计算网络输出和目标图像之间的误差，并将其梯度进行反向传播，更新网络参数。待网络输入误差收敛后，停止训练，存储网络参数。本领域技术人员应当清楚，神经网络的训练方式并不限于所列。可以看出，本申请的神经网络训练实际上是一种自监督训练。

在采用本申请的“图像扰动”的方式来训练去噪模块220的神经网络时，由于仅采用一次性获取的原始荧光图像序列即可完成网络训练，避免了活体细胞因此多次采样而受损，并且因无需所次采用，也可以用于对活体细胞进行视频观察记录的数据进行处理。

公式(1)至(3)仅仅是本申请的“图像扰动”的一个示例。本领域技术人员应当清楚，本申请的“图像扰动”还可以采取其它的形式，例如针对一个原始荧光图像序列中的每幅原始荧光图像可以通过增加单次随机噪声或者增加耦合关联的噪声等其它合适的方式来产生“图像扰动”，进而再超分辨率图像重建后，产生构成训练用的输入数据集和真值数据集，进而训练去噪模块220的神经网络。

本领域技术人员应当清楚，针对生物样本的静态观察而言，可以认为仅仅获得了一个原始荧光图像序列，从而由该一个原始荧光图像序列利用“图像扰动”方式可以生成训练用的输入数据集和真值数据集，此时，输入数据集和真值数据集各仅有一个超分辨率扰动图像并以此为基础对去噪模块220的神经网络进行训练。而针对生物样本的动态(视频)观察而言，可以认为获得了多个原始荧光图像序列，从而利用“图像扰动”方式，产生由多个超分辨率扰动图像组成的输入数据集和真值数据集，并以此为基础对去噪模块220的神经网络进行训练。

在将去噪模块220的神经网络训练完毕后，自监督多模态结构光显微重建系统对光学成像系统100所获得的原始荧光图像序列Y进行重建(或者说预测)，如图2B所示。对含噪声的荧光图像y_i(i＝1,2,…,N)利用超分辨率重建子模块210进行超分辨率重建以获得超分辨率图像Y。然后，将该超分辨率图像Y作为去噪模块220的申请网络的输入，从而获得图像Y*作为最终结果的超分辨率图像。当然，如果是对多个原始荧光图像序列进行重建的话，可以每个原始荧光图像序列重复该重建过程。

图3示意性示出了根据本申请的自监督多模态结构光显微重建方法的一个实施例。假设采用光学成像系统100针对生物样本或者活体细胞获取了j个原始荧光图像序列Y，其中，j是大于或等于1的整数。在第j个原始荧光图像序列Y_j中，包括荧光图像y_i(i＝1,2,…,n)，其中N表示光学成像系统100的照明模式的数量，N是大于或等于2的整数。

在步骤S10中，从j＝1开始，针对第j个原始荧光图像序列Y_j中的每一荧光图像y_i，利用计算机随机生成与该幅原始荧光图像y_i维度相同的、满足均值为0且方差为1的正态分布随机变量z_i。

在步骤S20中，利用公式(1)至(3)，针对第j个原始荧光图像序列Y_j中的每一荧光图像y_i分别生成扰动图像对

和

因此，在该步骤S20中，针对第j个原始荧光图像序列Y_j的所有荧光图像能够获得N个扰动图像

以及N个扰动图像

在步骤S30中，利用超分辨率重建模块210，对由步骤S20所获得的N个扰动图像

进行超分辨率图像重建以获得扰动超分辨率图像

并且对由步骤S20所获得的N个扰动图像

进行超分辨率图像重建以获得扰动超分辨率图像

在步骤S40中，判断是否已经对全部原始荧光图像序列进行上述步骤。例如，可以判断是否j已经达到最大值。如否，则j＝j+1，重复步骤S10至S30；否则，转到步骤S50。

在步骤S50，将上述步骤中计算得到的所有扰动超分辨率图像

汇集为训练用输入数据集，将上述步骤中计算得到的所有扰动超分辨率图像

汇集为训练用目标数据集。

在步骤S60，利用训练用输入数据集和训练用目标数据集对去噪模块220的神经网络进行训练。本领域技术人员应当清楚，训练能够以任何合适的方式进行。例如，在每个训练周期中，从输入数据集和真值数据集中随机取出数组匹配的超分辨率扰动图像

和

并随机抽取其中同一位置的像素块，进行随机旋转、翻折后分别作为神经网络输入图像和目标图像，计算网络输出和目标图像之间的误差，并将其梯度进行反向传播，更新网络参数。待网络输入误差收敛后，停止训练，存储网络参数。

在步骤S70，从j＝1开始，针对第j个原始荧光图像序列Y_j中的荧光图像y_i(i＝1,2,…,N)，利用超分辨率重建模块210进行超分辨率重建以获得超分辨率图像Y_i。

在步骤S80，将步骤S70获得的超分辨率图像Y_i作为去噪模块220的神经网络的输入，获得的输出图像即为最终去噪的超分辨率图像Y_i ^*。

在步骤S90，判断是否已经对全部原始荧光图像序列进行上述步骤S70至S80。例如，可以判断是否j已经达到最大值。如否，则j＝j+1，重复步骤S70至S80；否则，转到步骤S100。在步骤S100，退出自监督多模态结构光显微重建方法。

根据本申请，作为一个示例，去噪模块220的神经网络可以采用的一种典型神经网络为U型网络(U-net)，其主要参数的参考值如表2所示。需要说明的是，本申请可以采用的神经网络并不规定使用某种特定的神经网络结构，残差网络(ResNet)、自注意力网络(Transformer)等典型网络结构均可实现所述功能。

表2神经网络的主要参数

此外，本申请的神经网络训练过程中的使用的主要参数需要根据数据集的具体情况进行具体情况(信噪比、结构复杂度等)进行调整，一组可供参考的参数如表3所示。

表3网络训练过程的参考参数

图4A和4B示意性示出了采用本申请的自监督多模态结构光显微重建系统利用上述介绍的方法对原始荧光图像序列进行重建，其中图4A为对神经网络进行训练的过程，图4B为利用神经网络已训练好的重建系统对原始荧光图像序列进行重建的过程。

本申请技术方案的主要优势如下：

(1)本申请提出了一种基于图像扰动的生成超分辨率数据集的方式，能够从单次采集的结构光激发的荧光图像生成真值数据集。无需高信噪比的数据及同一样本的多次重复采样。

(2)本申请利用了基于图像扰动生成的超分辨率图像对来对神经网络进行训练，能够使得网络获得去噪功能。

(3)本申请能够应用在多种不同结构光显微系统上，实现多模态成像。

(4)本申请能够直接应用在长时程的视频数据上，从数据本身直接构建训练集，并对其进行去噪。

综上所述，本申请设计了一种全新的完全自监督的多模态结构光显微重建方法，实现了无需高信噪比数据和对样本进行重复采样的情况下，对结构光显微数据实现有效去噪，可以在极低信噪比的原始图像上，重建出超分辨率的无噪声图像，从而显著提升了结构光显微的图像质量并拓展了其应用范围。

尽管这里详细描述了本申请的特定实施方式，但它们仅仅是为了解释的目的而给出，而不应认为它们对本申请的范围构成限制。此外，本领域技术人员应当清楚，本说明书所描述的各实施例可以彼此相互组合使用。在不脱离本申请精神和范围的前提下，各种替换、变更和改造可被构想出来。

Claims (8)

1.一种自监督多模态结构光显微重建方法，包括：

利用结构光激发生物样本以获取自生物样本的受激产生的j个原始荧光图像序列(Y)，其中，j是大于或等于1的整数，每个原始荧光图像序列(Y)包括N个荧光图像，N是大于或等于2的整数；

在计算机中运行程序，所述程序使得：

1)对于所述N个荧光图像中的第i个荧光图像(y_i)，生成与图像维度相同的、满足均值为0和方差为1的正态分布随机变量(z_i)，i是大于或等于1且小于或等于N的整数；

2)针对所述第i个荧光图像(y_i)，利用下述公式产生第i个扰动图像对，

其中，α、β₁、α₂分别为由计算机随机生成的常数，其中α是在2.0与5.0之间的范围内，β₁是在1.0与3.0之间的范围内，β₂是在15.0与35.0之间的范围内，z_i是与第i个荧光图像(y_i)对应的正态分布随机变量，

是第i个扰动图像对中的第一扰动图像，

是第i个扰动图像对中的第二扰动图像，

3)对所述N个荧光图像中的所有荧光图像完成上述步骤1)和2)的操作；

4)利用标准结构光超分辨率重建算法对由所述N个荧光图像产生的N个扰动图像对中的第一扰动图像进行超分辨率重建，以形成训练用第一超分辨率扰动图像(Y⁺)，并且利用标准结构光超分辨率重建算法对由所述N个荧光图像产生的N个扰动图像对中的第二扰动图像进行超分辨率重建，以形成训练用第二超分辨率扰动图像(Y^-)；

5)针对所述j个原始荧光图像序列(Y)中的每个执行上述步骤1)至4)，以使得将与j个原始荧光图像序列(Y)对应的j个训练用第一超分辨率扰动图像(Y⁺)汇集为训练用输入数据集，并将与j个原始荧光图像序列(Y)对应的j个训练用第二超分辨率扰动图像(Y^-)汇集为训练用输入数据集；

6)基于所述训练用输入数据集和所述训练用输入数据集训练去噪用神经网络；

7)利用标准结构光超分辨率重建算法对所述j个原始荧光图像序列(Y)中的每个原始荧光图像序列(Y)中的N个荧光图像进行超分辨率重建，以形成超分辨率图像，将该超分辨率图像作为所述去噪用神经网络的输入，以获得最终的超分辨率重建图像。

2.根据权利要求1所述的方法，其特征在于，在基于所述训练用输入数据集和所述训练用输入数据集训练去噪用神经网络时，在每个训练周期中，从所述输入数据集和所述真值数据集中分别随机抽取训练用第一超分辨率扰动图像和训练用第二超分辨率扰动图像，并随机抽取其中同一位置的像素块，进行随机旋转、翻折后分别作为去噪用神经网络输入图像和目标图像，计算网络输出和目标图像之间的误差，并将其梯度进行反向传播，更新网络参数。

3.根据权利要求1或2所述的方法，其特征在于，所述去噪用神经网络包括但不限于U型神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型、或傅立叶通道注意力卷积神经网络模型。

4.根据权利要求3所述的方法，其特征在于，使用光学成像系统(100)来利用结构光激发生物样本以获取自生物样本的受激产生的j个原始荧光图像序列(Y)，其中，所述光学成像系统(100)包括但不限于二维结构光系统(2D-SIM)、三维结构光系统(3D-SIM)、晶格光片结构光系统(LLS-SIM)、掠入射照明结构光系统(GI-SIM)。

5.一种自监督多模态结构光显微重建系统，包括：

超分辨率重建模块(210)，所述超分辨率重建模块(210)配置成利用标准结构光超分辨率重建算法对图像进行超分辨率重建；以及

去噪模块(220)，所述去噪模块(220)设有去噪用神经网络，

所述自监督多模态结构光显微重建系统配置成：

接收利用结构光激发生物样本以获取自生物样本的受激产生的j个原始荧光图像序列(Y)，其中，j是大于或等于1的整数，每个原始荧光图像序列(Y)包括N个荧光图像，N是大于或等于2的整数；

所述自监督多模态结构光显微重建系统还配置成：

1)对于所述N个荧光图像中的第i个荧光图像(y_i)，生成与图像维度相同的、满足均值为0和方差为1的正态分布随机变量(z_i)，i是大于或等于1且小于或等于N的整数；

2)针对所述第i个荧光图像(y_i)，利用下述公式产生第i个扰动图像对，

其中，α、β₁、β₂分别为由计算机随机生成的常数，其中α是在2.0与5.0之间的范围内，β₁是在1.0与3.0之间的范围内，β₂是在15.0与35.0之间的范围内，z_i是与第i个荧光图像(y_i)对应的正态分布随机变量，

是第i个扰动图像对中的第一扰动图像，

是第i个扰动图像对中的第二扰动图像，

3)对所述N个荧光图像中的所有荧光图像完成上述步骤1)和2)的操作；

4)所述超分辨率重建模块(210)对由所述N个荧光图像产生的N个扰动图像对中的第一扰动图像进行超分辨率重建，以形成训练用第一超分辨率扰动图像(Y⁺)，并且利用标准结构光超分辨率重建算法对由所述N个荧光图像产生的N个扰动图像对中的第二扰动图像进行超分辨率重建，以形成训练用第二超分辨率扰动图像(Y^-)；

5)针对所述j个原始荧光图像序列(Y)中的每个执行上述步骤1)至4)，以使得将与j个原始荧光图像序列(Y)对应的j个训练用第一超分辨率扰动图像(Y⁺)汇集为训练用输入数据集，并将与j个原始荧光图像序列(Y)对应的j个训练用第二超分辨率扰动图像(Y^-)汇集为训练用输入数据集；

6)基于所述训练用输入数据集和所述训练用输入数据集训练去噪用神经网络；

7)所述超分辨率重建模块(210)对所述j个原始荧光图像序列(Y)中的每个原始荧光图像序列(Y)中的N个荧光图像进行超分辨率重建，以形成超分辨率图像，将该超分辨率图像作为所述去噪用神经网络的输入，以获得最终的超分辨率重建图像。

6.根据权利要求5所述的系统，其特征在于，在基于所述训练用输入数据集和所述训练用输入数据集训练去噪用神经网络时，在每个训练周期中，从所述输入数据集和所述真值数据集中分别随机抽取训练用第一超分辨率扰动图像和训练用第二超分辨率扰动图像，并随机抽取其中同一位置的像素块，进行随机旋转、翻折后分别作为去噪用神经网络输入图像和目标图像，计算网络输出和目标图像之间的误差，并将其梯度进行反向传播，更新网络参数。

7.根据权利要求5或6所述的系统，其特征在于，所述去噪用神经网络包括但不限于U型神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型、或傅立叶通道注意力卷积神经网络模型。

8.根据权利要求7所述的系统，其特征在于，使用光学成像系统(100)来利用结构光激发生物样本以获取自生物样本的受激产生的j个原始荧光图像序列(Y)，其中，所述光学成像系统(100)包括但不限于二维结构光系统(2D-SIM)、三维结构光系统(3D-SIM)、晶格光片结构光系统(LLS-SIM)、掠入射照明结构光系统(GI-SIM)。

Images