CN115272123A - 自监督三维显微图像去噪方法和系统 - Google Patents

自监督三维显微图像去噪方法和系统 Download PDF

Info

Publication number
CN115272123A
CN115272123A CN202210921473.XA CN202210921473A CN115272123A CN 115272123 A CN115272123 A CN 115272123A CN 202210921473 A CN202210921473 A CN 202210921473A CN 115272123 A CN115272123 A CN 115272123A
Authority
CN
China
Prior art keywords
stack
image
denoising
training
denoised
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210921473.XA
Other languages
English (en)
Other versions
CN115272123B (zh
Inventor
李栋
乔畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Biophysics of CAS
Original Assignee
Institute of Biophysics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Biophysics of CAS filed Critical Institute of Biophysics of CAS
Priority to CN202210921473.XA priority Critical patent/CN115272123B/zh
Publication of CN115272123A publication Critical patent/CN115272123A/zh
Application granted granted Critical
Publication of CN115272123B publication Critical patent/CN115272123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了自监督三维显微图像去噪方法和系统，其在荧光显微成像系统中使用，所述荧光显微成像系统包括探测物镜，所述自监督三维显微图像去噪方法包括：提供自监督三维显微图像去噪系统，所述自监督三维显微图像去噪系统包括计算机可读存储介质，其中存储有能够由计算机调用执行的去噪神经网络模型；利用所述荧光显微成像系统的探测物镜采集体现生物样本、特别是活体生物样本的三维显微图像体栈；使用所采集的荧光图像体栈对所述去噪神经网络模型进行自监督训练；在所述去噪神经网络模型已经训练完毕的情况下，利用去噪神经网络模型对所采集的同一荧光图像体栈进行图像去噪处理。

Description

自监督三维显微图像去噪方法和系统
技术领域
本申请大体上涉及荧光显微图像去噪方法和系统、特别是基于自监督学习的三维显微图像去噪方法和系统。
背景技术
荧光显微成像是研究细胞生物学、发育生物学、神经科学等生命科学领域的重要工具。针对当前的荧光显微成像技术来讲，成像的速度、时程和信噪比之间相互制约，其主要原因在于：要想提高成像速度，就需要缩短光学成像系统的相机的曝光时间，这会导致在有限的曝光时间内捕捉到的有效荧光信号更少，进而造成所获取的荧光图像的信噪比降低；要想提高成像时程，就需要降低光学成像系统的荧光激发装置的激发功率，这会减少生物样本被激发出来的荧光光子数，也降低所获取的荧光图像的信噪比。
虽然已有研究发现，基于有监督学习的深度神经网络可以将低信噪比显微成像数据恢复为对应的高信噪比数据，从而提升荧光显微成像的成像速度和时程，但此类有监督学习的深度神经网络在使用之前都必须采集足够多的有监督荧光图像训练集(即针对一生物样本需要采集若干该生物样本的高、低信噪比荧光图像数据对)。然而，在大多数荧光显微成像实验中，针对同一生物样本、特别是针对自身不断高速运动的活体生物样本采集高、低信噪比荧光图像数据对是一项耗时、耗力、甚至是无法完成的任务，这是因为如果活体生物样本本身运动速度很快的话，研究人员很难采集到生物结构形态完全一致的高、低信噪比荧光图像对，以供有监督学习的深度神经网络用。也就是说，现有的有监督学习去噪神经网络方法在大多数高速动态的活体生物结构的荧光显微成像观测中并不适用。
发明内容
为解决上述问题，本申请旨在提出基于自监督学习的三维显微图像去噪方案，以使得无需像有监督学习去噪神经网络那样必须额外针对待去噪生物样本采集若干高、低信噪比荧光图像数据对，而仅需使用待去噪图像自身就可以实现去噪神经网络的训练和去噪处理，因此可以在几乎没有额外成本的条件下实现对现有的荧光显微成像系统进行改进，以提升三维显微图像数据的信噪比，从而延长活体生物样本的荧光显微成像的成像速度和时程。
根据本申请的一个方面，提供了一种自监督三维显微图像去噪方法，其在荧光显微成像系统中使用，所述荧光显微成像系统包括探测物镜，所述自监督三维显微图像去噪方法包括：
提供自监督三维显微图像去噪系统，所述自监督三维显微图像去噪系统包括计算机可读存储介质，其中存储有能够由计算机调用执行的去噪神经网络模型；
利用所述荧光显微成像系统的探测物镜采集体现生物样本、特别是活体生物样本的三维显微图像体栈；
使用所采集的荧光图像体栈对所述去噪神经网络模型进行自监督训练；
在所述去噪神经网络模型已经训练完毕的情况下，利用去噪神经网络模型对所采集的同一荧光图像体栈进行图像去噪处理。
可选地，所述荧光图像体栈由多个荧光图像层组成，相邻的荧光图像层之间沿着探测物镜的光轴方向的采样间距至少小于探测物镜的轴向分辨率的一半，即满足奈奎斯特采样定律。
可选地，所述自监督训练包括：
对所述荧光图像体栈进行数据扩增以获得n个尺寸为Nx×Ny×Nz的扩增图像体栈，其中n为大于1的整数，x、y、z分别代表空间直角坐标系的三个轴x、y、z并且z轴与探测物镜的光轴重合或平行，尺寸的定义为x轴方向的像素数×y轴方向的像素数×z轴方向的图像层数，并且Nz为偶数；
从所述n个扩增图像体栈中抽取m个扩增图像体栈，其中所述m为小于或等于n的整数；
在去噪神经网络模型的训练的每次迭代中，从所述m个扩增图像体栈中的每个扩增图像体栈中沿着z轴方向提取序号为奇数的图像层组成第一奇数层图像子体栈以及提取序号为偶数的图像层组成第一偶数层图像子体栈，以所述第一奇数层图像子体栈作为网络输入，以所述第一偶数层图像子体栈作为监督，基于预定的训练损失函数对所述去噪神经网络模型进行训练。
可选地，所述自监督训练包括：
对所述荧光图像体栈进行数据扩增以获得n个尺寸为Nx×Ny×Nz的扩增图像体栈，其中n为大于1的整数，x、y、z分别代表空间直角坐标系的三个轴x、y、z并且z轴与探测物镜的光轴重合或平行，尺寸的定义为x轴方向的像素数×y轴方向的像素数×z轴方向的图像层数，并且Nz为偶数；
从所述n个扩增图像体栈中抽取m个扩增图像体栈，其中所述m为小于或等于n的整数；
在去噪神经网络模型的训练的每次迭代中，从所述m个扩增图像体栈中的每个扩增图像体栈中沿着z轴方向提取序号为奇数的图像层组成第一奇数层图像子体栈以及提取序号为偶数的图像层组成第一偶数层图像子体栈，以所述第一偶数层图像子体栈作为网络输入，以所述第一奇数层图像子体栈作为监督，基于预定的训练损失函数对所述去噪神经网络模型进行训练。
可选地，在训练的每次迭代中，包括：
每个扩增图像体栈以无需计算梯度的方式被输入到所述去噪神经网络模型中，得到去噪后的完整图像体栈，并且将所述去噪后的完整图像体栈沿着z轴方向提取序号为奇数的图像层组成第二奇数层图像子体栈以及提取序号为偶数的图像层组成第二偶数层图像子体栈；
将相应的第一奇数层图像子体栈输入到所述去噪神经网络模型中，得到去噪后的第一奇数层图像子体栈；
以所述去噪后的第一奇数层图像子体栈和所述第一偶数层图像子体栈计算所述训练损失函数的自监督训练保真项；
以所述去噪后的第一奇数层图像子体栈、所述第一偶数层图像子体栈、所述第二奇数层图像子体栈、和所述第二偶数层图像子体栈计算所述训练损失函数的偏差矫正正则项；
根据所述训练损失函数进行反向传播和网络权重更新，以完成依次训练迭代。
可选地，在训练的每次迭代中，包括：
每个扩增图像体栈以无需计算梯度的方式被输入到所述去噪神经网络模型中，得到去噪后的完整图像体栈，并且将所述去噪后的完整图像体栈沿着z轴方向提取序号为奇数的图像层组成第二奇数层图像子体栈以及提取序号为偶数的图像层组成第二偶数层图像子体栈；
将相应的第一偶数层图像子体栈输入到所述去噪神经网络模型中，得到去噪后的第一偶数层图像子体栈；
以所述去噪后的第一偶数层图像子体栈和所述第一奇数层图像子体栈计算所述训练损失函数的自监督训练保真项；
以所述去噪后的第一偶数层图像子体栈、所述第一奇数层图像子体栈、所述第二奇数层图像子体栈、和所述第二偶数层图像子体栈计算所述训练损失函数的偏差矫正正则项；
根据所述训练损失函数进行反向传播和网络权重更新，以完成依次训练迭代。
可选地，所述去噪神经网络模型包括但不限于U形神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型、或傅立叶通道注意力卷积神经网络模型。
可选地，所述训练损失函数表示为：
Figure BDA0003777735420000041
其中，
Figure BDA0003777735420000042
为自监督训练保真项，y表述数据扩增后的相应的图像体栈，
Figure BDA0003777735420000043
分别表示奇数层图像子体栈和偶数层图像子体栈，
Figure BDA0003777735420000044
表述神经网络运算，
Figure BDA0003777735420000045
为偏差矫正正则项，其中，μ为偏差矫正正则项的权重。
根据本申请的另一个方面，提供了一种自监督三维显微图像去噪系统，其在荧光显微成像系统中使用，所述荧光显微成像系统包括探测物镜，所述自监督三维显微图像去噪系统包括计算机可读存储介质，其中存储有能够由计算机调用执行的去噪神经网络模型以及计算机程序，所述计算机程序被计算机调用执行以完成如下步骤：
使用由所述荧光显微成像系统的探测物镜的采集体现生物样本、特别是活体生物样本的三维显微图像体栈对所述去噪神经网络模型进行训练；和
在所述去噪神经网络模型已经训练完毕的情况下，利用去噪神经网络模型对所采集的同一荧光图像体栈进行图像去噪处理。
可选地，所述荧光图像体栈由多个荧光图像层组成，相邻的荧光图像层之间沿着探测物镜的光轴方向的采样间距至少小于探测物镜的轴向分辨率的一半，即满足奈奎斯特采样定律。
可选地，所述自监督训练包括：
对所述荧光图像体栈进行数据扩增以获得n个尺寸为Nx×Ny×Nz的扩增图像体栈，其中n为大于1的整数，x、y、z分别代表空间直角坐标系的三个轴x、y、z并且z轴与探测物镜的光轴重合或平行，尺寸的定义为x轴方向的像素数×y轴方向的像素数×z轴方向的图像层数，并且Nz为偶数；
从所述n个扩增图像体栈中抽取m个扩增图像体栈，其中所述m为小于或等于n的整数；
在去噪神经网络模型的训练的每次迭代中，从所述m个扩增图像体栈中的每个扩增图像体栈中沿着z轴方向提取序号为奇数的图像层组成第一奇数层图像子体栈以及提取序号为偶数的图像层组成第一偶数层图像子体栈，以所述第一奇数层图像子体栈作为网络输入，以所述第一偶数层图像子体栈作为监督，基于预定的训练损失函数对所述去噪神经网络模型进行训练。
可选地，所述自监督训练包括：
对所述荧光图像体栈进行数据扩增以获得n个尺寸为Nx×Ny×Nz的扩增图像体栈，其中n为大于1的整数，x、y、z分别代表空间直角坐标系的三个轴x、y、z并且z轴与探测物镜的光轴重合或平行，尺寸的定义为x轴方向的像素数×y轴方向的像素数×z轴方向的图像层数，并且Nz为偶数；
从所述n个扩增图像体栈中抽取m个扩增图像体栈，其中所述m为小于或等于n的整数；
在去噪神经网络模型的训练的每次迭代中，从所述m个扩增图像体栈中的每个扩增图像体栈中沿着z轴方向提取序号为奇数的图像层组成第一奇数层图像子体栈以及提取序号为偶数的图像层组成第一偶数层图像子体栈，以所述第一偶数层图像子体栈作为网络输入，以所述第一奇数层图像子体栈作为监督，基于预定的训练损失函数对所述去噪神经网络模型进行训练。
可选地，在训练的每次迭代中，包括：
每个扩增图像体栈以无需计算梯度的方式被输入到所述去噪神经网络模型中，得到去噪后的完整图像体栈，并且将所述去噪后的完整图像体栈沿着z轴方向提取序号为奇数的图像层组成第二奇数层图像子体栈以及提取序号为偶数的图像层组成第二偶数层图像子体栈；
将相应的第一奇数层图像子体栈输入到所述去噪神经网络模型中，得到去噪后的第一奇数层图像子体栈；
以所述去噪后的第一奇数层图像子体栈和所述第一偶数层图像子体栈计算所述训练损失函数的自监督训练保真项；
以所述去噪后的第一奇数层图像子体栈、所述第一偶数层图像子体栈、所述第二奇数层图像子体栈、和所述第二偶数层图像子体栈计算所述训练损失函数的偏差矫正正则项；
根据所述训练损失函数进行反向传播和网络权重更新，以完成依次训练迭代。
可选地，在训练的每次迭代中，包括：
每个扩增图像体栈以无需计算梯度的方式被输入到所述去噪神经网络模型中，得到去噪后的完整图像体栈，并且将所述去噪后的完整图像体栈沿着z轴方向提取序号为奇数的图像层组成第二奇数层图像子体栈以及提取序号为偶数的图像层组成第二偶数层图像子体栈；
将相应的第一偶数层图像子体栈输入到所述去噪神经网络模型中，得到去噪后的第一偶数层图像子体栈；
以所述去噪后的第一偶数层图像子体栈和所述第一奇数层图像子体栈计算所述训练损失函数的自监督训练保真项；
以所述去噪后的第一偶数层图像子体栈、所述第一奇数层图像子体栈、所述第二奇数层图像子体栈、和所述第二偶数层图像子体栈计算所述训练损失函数的偏差矫正正则项；
根据所述训练损失函数进行反向传播和网络权重更新，以完成依次训练迭代。
可选地，所述去噪神经网络模型包括但不限于U形神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型、或傅立叶通道注意力卷积神经网络模型。
可选地，所述训练损失函数表示为：
Figure BDA0003777735420000071
其中，
Figure BDA0003777735420000072
为自监督训练保真项，y表述数据扩增后的相应的图像体栈，
Figure BDA0003777735420000073
分别表示奇数层图像子体栈和偶数层图像子体栈，
Figure BDA0003777735420000074
表述神经网络运算，
Figure BDA0003777735420000075
为偏差矫正正则项，其中，μ为偏差矫正正则项的权重。
采用本申请的上述技术手段，针对活体生物样本在某些实验条件下难以获取高、低信噪比训练图像对的问题，巧妙地利用了三维数据的空间连续性来进行自监督神经网络训练，从而仅需要使用待去噪的图像数据自身就可以完成去噪神经网络训练，极大地减轻了神经网络训练负担，特别适用于仅可以获得低信噪比的活体生物样本荧光图像的应用场合。
附图说明
从下文的详细说明并结合下面的附图将能更全面地理解本申请的原理及各个方面。需要指出的是，各附图的比例出于清楚说明的目的有可能不一样，但这并不会影响对本申请的理解。在附图中：
图1示意性示出了一个荧光显微成像系统的基本框图；
图2示意性示出了自监督三维显微图像去噪系统或模块的一种示例神经网络架构；
图3示意性示出了根据本申请的自监督三维显微图像去噪方法的示例流程图；
图4示意性地展示了对根据本申请的自监督三维显微图像去噪系统或模块进行自监督训练的方法示例流程；以及
图5示意性示出了与图4相对应的生物试样的荧光图像数据处理效果。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。
图1示意性示出了一个荧光显微成像系统的基本框图，其大体上包括光学成像系统100以及控制与数据处理系统200。光学成像系统100包括激发光路以及探测光路，其中激发光路包括激发物镜及用于产生激发光的其他光学组件，激发光束可以透过所述激发物镜射出，以便在生物样本上激发出荧光，探测光路包括探测物镜及用于成像的其他光学组件，用于接收和探测所激发出的荧光。本领域技术人员应当清楚，根据荧光显微成像系统的配置，激发物镜与探测物镜可以是同一物镜或者是不同的物镜。在对生物样本、特别是活体生物样本进行三维荧光显微成像时，沿着探测物镜的光轴方向、即轴向连续扫描采样多层荧光图像，这样每完成一次扫描采样，所获取的多层荧光图像构成一个荧光图像体栈。
控制与数据处理系统200主要包括计算机以及相关部件(例如数据存储器等)，能够对光学成像系统100的操作进行控制并且能够从光学成像系统100接收图像数据并进行相应后期处理。例如，所获取的荧光图像体栈提供给控制与数据处理系统200，经过一系列数据处理重建为高信噪比三维显微图像。为此目的，控制与数据处理系统200可以包括自监督三维显微图像去噪系统或模块210以及重建系统或模块220。需要指出的是在本申请的范畴内，自监督三维显微图像去噪系统或模块210以及后续图像数据处理系统或模块220可以理解为包括数据存储器、例如计算机可读存储介质，在其中能够存储由计算机、特别是控制与数据处理系统200的计算机调用和运行的程序或子程序和去噪神经网络模型。这些程序或子程序和去噪神经网络模型在由计算机调用执行时能够实现如下所介绍的方法/步骤、特别是自监督三维显微图像去噪方法/步骤。针对程序和/或子程序的具体编程方式不在本申请的讨论之列，本领域技术人员能够以任何熟知的编程软件和/或商用软件来实现相关的功能。因此，本申请的下文在描述相关的系统或模块或方法时应当理解为它们也能够被编写为程序以由计算机调用并执行。
本申请的独特之处在于在后续图像数据处理系统或模块220的上游设置自监督三维显微图像去噪系统或模块210。与现有技术的有监督去噪措施不同的是，本申请中的自监督三维显微图像去噪系统或模块210无需利用由多组高、低信噪比荧光图像数据对组成的有监督荧光图像训练集进行训练，而仅需利用对生物样本的一次性连续扫描采样的荧光图像体栈就可以完成训练。此外，自监督三维显微图像去噪系统或模块210主要配置成对由光学成像系统100所采集的体现生物样本、特别是活体生物样本的三维荧光图像体栈利用去噪神经网络进行去噪处理。后续图像数据处理系统或模块220配置成接收由自监督三维显微图像去噪系统或模块210输出的去噪后的荧光图像体栈，并利用合适的算法进行用于实现生物试样三维观测的后续数据处理，例如三维去卷积计算等。
本领域技术人员应当清楚，自监督三维显微图像去噪系统或模块210中的去噪神经网络模型可以选用任何一种具有图像处理功能的神经网络架构，包括但不限于U形神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型、或傅立叶通道注意力卷积神经网络模型等。
图2示意性示出了自监督三维显微图像去噪系统或模块210的一种示例神经网络架构。例如，所述示例神经网络架构包括首尾两个卷积-激活模块以及中间串联的残差模块，残差模块前后也增设一个跳跃链接(skip connection)来提升网络训练的稳定性。每个残差模块内部由原则上应由若干卷积-激活模块、跳跃链接、或通道注意力模块等元素构成，网络结构并非本申请的重点，在此不做过多细节描述，且本领域技术人员可以理解，对网络结构进行部分替换、重新调整不会显著影响其功能，在不脱离本申请构思的情况下，还可以包括更多其他等效的网络结构实施方案。
可以理解的是，图2示出的卷积神经网络结构可以有效地提取荧光图像中的生物样本信息，并最终完成对图像进行去噪的任务。但本领域技术人员可以理解，对所述卷积神经网络结构进行部分替换、重新调整并不会显著影响其功能，且所述卷积神经网络结构并非唯一可以实现此目标的网络结构。当然，本领域技术人员应当清楚，任何可以实现此功能的其它合适的网络架构均可作为自监督三维显微图像去噪系统或模块210。
图3示意性示出了根据本申请的自监督三维显微图像去噪方法的示例流程图，其中所述方法在上述荧光显微成像系统中使用，并且特别地利用自监督三维显微图像去噪系统或模块210来执行。
在步骤S10，利用光学成像系统100，在生物样本、特别是活体生物样本已经受到光激发而产生荧光的前提下，对生物样本、特别是活体生物样本进行一次性连续扫描采样，以获取体现其三维荧光显微图像信息的荧光图像体栈。在本申请的范畴内，一次性连续扫描采样意味着仅固定光学成像系统100的相关成像参数利用其探测物镜对受激发而发出荧光的生物样本进行图像扫描采样。应当清楚的是，所采集的荧光图像体栈由多层(二维)荧光图像组成，并且各个荧光图像层沿着轴向(即沿着探测物镜的光轴方向)的采样间距满足奈奎斯特采样定律，即所述采样间距至少小于探测物镜的轴向分辨率的一半。这样做的原因在于确保(体现所述生物试样的三维荧光显微图像信息的)荧光图像体栈在轴向上的空间连续性，从而确保本申请的自监督三维显微图像去噪方法的可实施性以及有效性。
在步骤S20，利用所采集的荧光图像体栈对自监督三维显微图像去噪系统或模块210进行自监督训练(如下详述)。
在步骤S30，利用训练好的自监督三维显微图像去噪系统或模块210对在步骤S10中所采集的荧光图像体栈进行去噪处理。根据本申请，针对同一活体生物样本或者同一类活体生物样本，可以在对自监督三维显微图像去噪系统或模块210训练合格后，后续无需再对所述同一活体生物样本或者所述同一类活体生物样本进行训练即可直接使用进行荧光图像体栈去噪。在一优选的实施例中，针对同一活体生物样本或者同一类活体生物样本所再次采集的荧光图像体栈，仍可以使用本申请的自监督三维显微图像去噪方法，即对已经前一次已经训练好的自监督三维显微图像去噪系统或模块210再次进行训练(系统或模块微调)，并且利用再次训练好的自监督三维显微图像去噪系统或模块210对荧光图像体栈进行去噪处理。本领域技术人员应当清楚，这种微调的训练时间将会缩短并且最终的去噪效果因反复训练而将会更加优异。
图4示意性地展示了根据本申请对自监督三维显微图像去噪系统或模块210进行自监督训练的方法示例流程。在本申请的范畴中，自监督训练是与现有技术的有监督训练相对的概念，指的是为了训练神经网络无需额外采集训练集(例如高、低信噪比的荧光图像数据对)，而仅仅需要使用待去噪的荧光图像数据本身即可实现神经网络的训练以及后续的去噪处理。
首先，在步骤S21，将在步骤S10所采集的荧光图像体栈进行数据扩增。在本申请的范畴中，对图像进行数据扩增是指对图像不实际增加原始数据，而仅仅对图像做一些特定的变换从而创造出更多的图像数据。因此，这里提及的数据扩增的方式包括但不限于：随机剪裁、随机角度旋转、随机反转、随机弹性形变等。例如，针对一个荧光图像体栈中的随机抽取的多个图像层或每个图像层随机进行剪裁、角度旋转、反转、弹性形变等变换。
因此，在步骤S21中，荧光图像体栈被数据扩增为n个尺寸为Nx×Ny×Nz的图像体栈，其中n为大于1的整数，x、y、z分别代表空间直角坐标系的三个轴x、y、z并且z轴与探测物镜的光轴重合或平行，尺寸的定义为x轴方向的像素数×y轴方向的像素数×z轴方向的图像层数，因此Nx×Ny不会大于在步骤S10所采集的荧光图像体栈的任何一个图像层的xy尺寸，并且Nz取偶数。
在步骤S22中，从n个数据扩增后的图像体栈随机选取m个图像体栈，其中m为小于或等于n的整数。
在步骤S23中，将m个图像体栈中的每个图像体栈沿着z轴拆分为第一奇数层图像子体栈以及第一偶数层图像子体栈。也就是说，从相应的一个图像体栈(如图5中的区段20.1所示)的所有图像层中，顺序抽取出序号为奇数的图像层组成第一奇数层图像子体栈(如图5中的区段20.2所示)，顺序抽取出序号为偶数的图像层组成第一偶数层图像子体栈(如图5中的区段20.3所示)。
在步骤S24中，将第一奇数层图像子体栈(如图5中的区段20.2所示)输入自监督三维显微图像去噪系统或模块210的神经网络，得到去噪后的第一奇数层图像子体栈(如图5中的区段20.7所示)。
在步骤S25中，将相应的一个图像体栈(如图5中的区段20.1所示)输入自监督三维显微图像去噪系统或模块210的神经网络，得到一个去噪后的完整图像体栈(如图5中的区段20.4所示)，在该步骤S25中，去噪的过程无需计算梯度。
在步骤S26中，将步骤S25中得到的去噪后的完整图像体栈以类似于步骤S23中描述的方式沿着z轴拆分为第二奇数层图像子体栈(如图5中的区段20.5所示)以及第二偶数层图像子体栈(如图5中的区段20.6所示)。
在步骤S27中，利用去噪后的第一奇数层图像子体栈(如图5中的区段20.7所示)和未去噪的第一偶数层图像子体栈(如图5中的区段20.3所示)计算损失函数中的自监督训练保真项(如下所述)。
在步骤S28中，利用去噪后的第一奇数层图像子体栈(如图5中的区段20.7所示)、未去噪的第一偶数层图像子体栈(如图5中的区段20.3所示)、去噪后的第二奇数层图像子体栈(如图5中的区段20.5所示)、和去噪后的第二偶数层图像子体栈(如图5中的区段20.6所示)计算损失函数中的偏差矫正正则项(如下所述)。
然后，根据损失函数进行反向传播和网络权重更新，完成一次训练迭代。本领域技术人员应当清楚，针对m个图像体栈中的每个图像体栈相应进行循环演进即可完成神经网络训练。
在本申请的实施例中，自监督训练保真项和偏差矫正正则项均使用均方误差(MSE)，因此整个神经网络的损失函数可以表示为：
Figure BDA0003777735420000131
其中，
Figure BDA0003777735420000132
为自监督训练保真项，y表述数据扩增后的相应的图像体栈，
Figure BDA0003777735420000133
分别表示奇数层图像子体栈和偶数层图像子体栈，
Figure BDA0003777735420000134
表述自监督三维显微图像去噪系统或模块210的神经网络运算。自监督训练保真项可选用均方误差(MSE)、平均绝对误差(MAE)或者他们二者的加权组合，用于确保网络输出图像的保真度。
在上述损失函数中的另一项
Figure BDA0003777735420000135
为偏差矫正正则项，其中，μ为偏差矫正正则项的权重，其余符号的含义与自监督训练保真项中的上述说明相同。偏差矫正正则项同样可选用均方误差(MSE)、平均绝对误差(MAE)或者他们二者的加权组合，用于抵消保真项中
Figure BDA0003777735420000136
与
Figure BDA0003777735420000137
两项之差的期望不为0对训练过程造成的影响，实际处理中可以起到抵消网络输出图像体栈的轴向偏移、提升输出图像分辨率的效果。
或者说，上述整个神经网络的训练损失函数也可以表述为：
Figure BDA0003777735420000138
其中，||·||2表示二范数，即均方根运算符，其它符号与如上说明相同。
特别地，可由损失函数的公式推导得出所述偏差矫正正则项的期望为0的结论如下：
Figure BDA0003777735420000141
因此，这就可以证明本申请中偏差校正正则项的合理性和有效性。
本领域技术人员应当清楚，在图4所示的方法步骤中，涉及奇数层和偶数层的术语可以相应地颠倒，自监督训练过程同样适用。
利用本申请的自监督去噪方法或系统，针对活体生物样本在某些实验条件下难以获取高、低信噪比训练图像对的问题，巧妙地利用了三维数据的空间连续性来进行自监督神经网络训练，从而仅需要使用待去噪的图像数据自身就可以完成去噪神经网络训练，极大地减轻了神经网络训练负担，特别适用于仅可以获得低信噪比活体生物样本的荧光图像的应用场合。此外，本申请的自监督去噪方法或系统也可以方便地对现有的荧光显微成像系统进行升级改造，例如通过软件升级的方式进行升级改造，以使得现有的荧光显微成像系统获得自监督三维荧光图像去噪功能。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (16)

1.一种自监督三维显微图像去噪方法，其在荧光显微成像系统中使用，所述荧光显微成像系统包括探测物镜，所述自监督三维显微图像去噪方法包括：
提供自监督三维显微图像去噪系统，所述自监督三维显微图像去噪系统包括计算机可读存储介质，其中存储有能够由计算机调用执行的去噪神经网络模型；
利用所述荧光显微成像系统的探测物镜采集体现生物样本、特别是活体生物样本的三维显微图像体栈；
使用所采集的荧光图像体栈对所述去噪神经网络模型进行自监督训练；
在所述去噪神经网络模型已经训练完毕的情况下，利用去噪神经网络模型对所采集的同一荧光图像体栈进行图像去噪处理。
2.根据权利要求1所述的自监督三维显微图像去噪方法，其特征在于，所述荧光图像体栈由多个荧光图像层组成，相邻的荧光图像层之间沿着探测物镜的光轴方向的采样间距至少小于探测物镜的轴向分辨率的一半，即满足奈奎斯特采样定律。
3.根据权利要求2所述的自监督三维显微图像去噪方法，其特征在于，所述自监督训练包括：
对所述荧光图像体栈进行数据扩增以获得n个尺寸为Nx×Ny×Nz的扩增图像体栈，其中n为大于1的整数，x、y、z分别代表空间直角坐标系的三个轴x、y、z并且z轴与探测物镜的光轴重合或平行，尺寸的定义为x轴方向的像素数×y轴方向的像素数×z轴方向的图像层数，并且Nz为偶数；
从所述n个扩增图像体栈中抽取m个扩增图像体栈，其中所述m为小于或等于n的整数；
在去噪神经网络模型的训练的每次迭代中，从所述m个扩增图像体栈中的每个扩增图像体栈中沿着z轴方向提取序号为奇数的图像层组成第一奇数层图像子体栈以及提取序号为偶数的图像层组成第一偶数层图像子体栈，以所述第一奇数层图像子体栈作为网络输入，以所述第一偶数层图像子体栈作为监督，基于预定的训练损失函数对所述去噪神经网络模型进行训练。
4.根据权利要求2所述的自监督三维显微图像去噪方法，其特征在于，所述自监督训练包括：
对所述荧光图像体栈进行数据扩增以获得n个尺寸为Nx×Ny×Nz的扩增图像体栈，其中n为大于1的整数，x、y、z分别代表空间直角坐标系的三个轴x、y、z并且z轴与探测物镜的光轴重合或平行，尺寸的定义为x轴方向的像素数×y轴方向的像素数×z轴方向的图像层数，并且Nz为偶数；
从所述n个扩增图像体栈中抽取m个扩增图像体栈，其中所述m为小于或等于n的整数；
在去噪神经网络模型的训练的每次迭代中，从所述m个扩增图像体栈中的每个扩增图像体栈中沿着z轴方向提取序号为奇数的图像层组成第一奇数层图像子体栈以及提取序号为偶数的图像层组成第一偶数层图像子体栈，以所述第一偶数层图像子体栈作为网络输入，以所述第一奇数层图像子体栈作为监督，基于预定的训练损失函数对所述去噪神经网络模型进行训练。
5.根据权利要求3所述的自监督三维显微图像去噪方法，其特征在于，在训练的每次迭代中，包括：
每个扩增图像体栈以无需计算梯度的方式被输入到所述去噪神经网络模型中，得到去噪后的完整图像体栈，并且将所述去噪后的完整图像体栈沿着z轴方向提取序号为奇数的图像层组成第二奇数层图像子体栈以及提取序号为偶数的图像层组成第二偶数层图像子体栈；
将相应的第一奇数层图像子体栈输入到所述去噪神经网络模型中，得到去噪后的第一奇数层图像子体栈；
以所述去噪后的第一奇数层图像子体栈和所述第一偶数层图像子体栈计算所述训练损失函数的自监督训练保真项；
以所述去噪后的第一奇数层图像子体栈、所述第一偶数层图像子体栈、所述第二奇数层图像子体栈、和所述第二偶数层图像子体栈计算所述训练损失函数的偏差矫正正则项；
根据所述训练损失函数进行反向传播和网络权重更新，以完成依次训练迭代。
6.根据权利要求4所述的自监督三维显微图像去噪方法，其特征在于，在训练的每次迭代中，包括：
每个扩增图像体栈以无需计算梯度的方式被输入到所述去噪神经网络模型中，得到去噪后的完整图像体栈，并且将所述去噪后的完整图像体栈沿着z轴方向提取序号为奇数的图像层组成第二奇数层图像子体栈以及提取序号为偶数的图像层组成第二偶数层图像子体栈；
将相应的第一偶数层图像子体栈输入到所述去噪神经网络模型中，得到去噪后的第一偶数层图像子体栈；
以所述去噪后的第一偶数层图像子体栈和所述第一奇数层图像子体栈计算所述训练损失函数的自监督训练保真项；
以所述去噪后的第一偶数层图像子体栈、所述第一奇数层图像子体栈、所述第二奇数层图像子体栈、和所述第二偶数层图像子体栈计算所述训练损失函数的偏差矫正正则项；
根据所述训练损失函数进行反向传播和网络权重更新，以完成依次训练迭代。
7.根据权利要求1至6任一所述的自监督三维显微图像去噪方法，其特征在于，所述去噪神经网络模型包括但不限于U形神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型、或傅立叶通道注意力卷积神经网络模型。
8.根据权利要求7所述的自监督三维显微图像去噪方法，其特征在于，所述训练损失函数表示为：
Figure FDA0003777735410000041
其中，
Figure FDA0003777735410000042
为自监督训练保真项，y表述数据扩增后的相应的图像体栈，
Figure FDA0003777735410000043
分别表示奇数层图像子体栈和偶数层图像子体栈，
Figure FDA0003777735410000044
表述神经网络运算，
Figure FDA0003777735410000045
为偏差矫正正则项，其中，μ为偏差矫正正则项的权重。
9.一种自监督三维显微图像去噪系统，其在荧光显微成像系统中使用，所述荧光显微成像系统包括探测物镜，所述自监督三维显微图像去噪系统包括计算机可读存储介质，其中存储有能够由计算机调用执行的去噪神经网络模型以及计算机程序，所述计算机程序被计算机调用执行以完成如下步骤：
使用由所述荧光显微成像系统的探测物镜的采集体现生物样本、特别是活体生物样本的三维显微图像体栈对所述去噪神经网络模型进行训练；和
在所述去噪神经网络模型已经训练完毕的情况下，利用去噪神经网络模型对所采集的同一荧光图像体栈进行图像去噪处理。
10.根据权利要求9所述的自监督三维显微图像去噪系统，其特征在于，所述荧光图像体栈由多个荧光图像层组成，相邻的荧光图像层之间沿着探测物镜的光轴方向的采样间距至少小于探测物镜的轴向分辨率的一半，即满足奈奎斯特采样定律。
11.根据权利要求10所述的自监督三维显微图像去噪系统，其特征在于，所述自监督训练包括：
对所述荧光图像体栈进行数据扩增以获得n个尺寸为Nx×Ny×Nz的扩增图像体栈，其中n为大于1的整数，x、y、z分别代表空间直角坐标系的三个轴x、y、z并且z轴与探测物镜的光轴重合或平行，尺寸的定义为x轴方向的像素数×y轴方向的像素数×z轴方向的图像层数，并且Nz为偶数；
从所述n个扩增图像体栈中抽取m个扩增图像体栈，其中所述m为小于或等于n的整数；
在去噪神经网络模型的训练的每次迭代中，从所述m个扩增图像体栈中的每个扩增图像体栈中沿着z轴方向提取序号为奇数的图像层组成第一奇数层图像子体栈以及提取序号为偶数的图像层组成第一偶数层图像子体栈，以所述第一奇数层图像子体栈作为网络输入，以所述第一偶数层图像子体栈作为监督，基于预定的训练损失函数对所述去噪神经网络模型进行训练。
12.根据权利要求10所述的自监督三维显微图像去噪方法，其特征在于，所述自监督训练包括：
对所述荧光图像体栈进行数据扩增以获得n个尺寸为Nx×Ny×Nz的扩增图像体栈，其中n为大于1的整数，x、y、z分别代表空间直角坐标系的三个轴x、y、z并且z轴与探测物镜的光轴重合或平行，尺寸的定义为x轴方向的像素数×y轴方向的像素数×z轴方向的图像层数，并且Nz为偶数；
从所述n个扩增图像体栈中抽取m个扩增图像体栈，其中所述m为小于或等于n的整数；
在去噪神经网络模型的训练的每次迭代中，从所述m个扩增图像体栈中的每个扩增图像体栈中沿着z轴方向提取序号为奇数的图像层组成第一奇数层图像子体栈以及提取序号为偶数的图像层组成第一偶数层图像子体栈，以所述第一偶数层图像子体栈作为网络输入，以所述第一奇数层图像子体栈作为监督，基于预定的训练损失函数对所述去噪神经网络模型进行训练。
13.根据权利要求11所述的自监督三维显微图像去噪系统，其特征在于，在训练的每次迭代中，包括：
每个扩增图像体栈以无需计算梯度的方式被输入到所述去噪神经网络模型中，得到去噪后的完整图像体栈，并且将所述去噪后的完整图像体栈沿着z轴方向提取序号为奇数的图像层组成第二奇数层图像子体栈以及提取序号为偶数的图像层组成第二偶数层图像子体栈；
将相应的第一奇数层图像子体栈输入到所述去噪神经网络模型中，得到去噪后的第一奇数层图像子体栈；
以所述去噪后的第一奇数层图像子体栈和所述第一偶数层图像子体栈计算所述训练损失函数的自监督训练保真项；
以所述去噪后的第一奇数层图像子体栈、所述第一偶数层图像子体栈、所述第二奇数层图像子体栈、和所述第二偶数层图像子体栈计算所述训练损失函数的偏差矫正正则项；
根据所述训练损失函数进行反向传播和网络权重更新，以完成依次训练迭代。
14.根据权利要求12所述的自监督三维显微图像去噪系统，其特征在于，在训练的每次迭代中，包括：
每个扩增图像体栈以无需计算梯度的方式被输入到所述去噪神经网络模型中，得到去噪后的完整图像体栈，并且将所述去噪后的完整图像体栈沿着z轴方向提取序号为奇数的图像层组成第二奇数层图像子体栈以及提取序号为偶数的图像层组成第二偶数层图像子体栈；
将相应的第一偶数层图像子体栈输入到所述去噪神经网络模型中，得到去噪后的第一偶数层图像子体栈；
以所述去噪后的第一偶数层图像子体栈和所述第一奇数层图像子体栈计算所述训练损失函数的自监督训练保真项；
以所述去噪后的第一偶数层图像子体栈、所述第一奇数层图像子体栈、所述第二奇数层图像子体栈、和所述第二偶数层图像子体栈计算所述训练损失函数的偏差矫正正则项；
根据所述训练损失函数进行反向传播和网络权重更新，以完成依次训练迭代。
15.根据权利要求9至14任一所述的自监督三维显微图像去噪系统，其特征在于，所述去噪神经网络模型包括但不限于U形神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型、或傅立叶通道注意力卷积神经网络模型。
16.根据权利要求15所述的自监督三维显微图像去噪系统，其特征在于，所述训练损失函数表示为：
Figure FDA0003777735410000071
其中，
Figure FDA0003777735410000072
为自监督训练保真项，y表述数据扩增后的相应的图像体栈，
Figure FDA0003777735410000073
分别表示奇数层图像子体栈和偶数层图像子体栈，
Figure FDA0003777735410000074
表述神经网络运算，
Figure FDA0003777735410000075
为偏差矫正正则项，其中，μ为偏差矫正正则项的权重。
CN202210921473.XA 2022-08-02 2022-08-02 自监督三维显微图像去噪方法和系统 Active CN115272123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210921473.XA CN115272123B (zh) 2022-08-02 2022-08-02 自监督三维显微图像去噪方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210921473.XA CN115272123B (zh) 2022-08-02 2022-08-02 自监督三维显微图像去噪方法和系统

Publications (2)

Publication Number Publication Date
CN115272123A true CN115272123A (zh) 2022-11-01
CN115272123B CN115272123B (zh) 2023-08-08

Family

ID=83747622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210921473.XA Active CN115272123B (zh) 2022-08-02 2022-08-02 自监督三维显微图像去噪方法和系统

Country Status (1)

Country Link
CN (1) CN115272123B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984107A (zh) * 2022-12-21 2023-04-18 中国科学院生物物理研究所 自监督多模态结构光显微重建方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107155016A (zh) * 2017-03-30 2017-09-12 安徽森度科技有限公司 模拟摄像头数字视频数据实现方法
US20190333199A1 (en) * 2018-04-26 2019-10-31 The Regents Of The University Of California Systems and methods for deep learning microscopy
CN113674168A (zh) * 2021-08-05 2021-11-19 清华大学 实时的荧光成像智能增强方法与装置
CN114119415A (zh) * 2021-11-26 2022-03-01 杭州涿溪脑与智能研究所 三光子深层组织成像方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107155016A (zh) * 2017-03-30 2017-09-12 安徽森度科技有限公司 模拟摄像头数字视频数据实现方法
US20190333199A1 (en) * 2018-04-26 2019-10-31 The Regents Of The University Of California Systems and methods for deep learning microscopy
CN113674168A (zh) * 2021-08-05 2021-11-19 清华大学 实时的荧光成像智能增强方法与装置
CN114119415A (zh) * 2021-11-26 2022-03-01 杭州涿溪脑与智能研究所 三光子深层组织成像方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN FENG 等: "S3: SUPERVISED SELF-SUPERVISED LEARNING UNDER LABEL NOISE", 《COMPUTER VISION AND PATTERN RECOGNNITION》 *
王万良 等: "采用卷积自编码器网络的图像增强算法", 《浙江大学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984107A (zh) * 2022-12-21 2023-04-18 中国科学院生物物理研究所 自监督多模态结构光显微重建方法和系统
CN115984107B (zh) * 2022-12-21 2023-08-11 中国科学院生物物理研究所 自监督多模态结构光显微重建方法和系统

Also Published As

Publication number Publication date
CN115272123B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
JP7249326B2 (ja) 単一分子局在化顕微鏡法によって取得された回折限界画像からの高密度超解像度画像の再構築を改善する方法、装置、及びコンピュータプログラム
CN108550115B (zh) 一种图像超分辨率重建方法
Markham et al. Parametric blind deconvolution: a robust method for the simultaneous estimation of image and blur
CN110441271B (zh) 基于卷积神经网络的光场高分辨解卷积方法及系统
WO2020139835A1 (en) Systems and methods for two-dimensional fluorescence wave propagation onto surfaces using deep learning
CN114252423B (zh) 超分辨显微镜完全采样图像的生成方法、装置
Zhang et al. Correction of out-of-focus microscopic images by deep learning
WO2018227465A1 (zh) 一种基于稀疏正源分离模型的图像去模糊算法
CN116721017A (zh) 自监督显微图像超分辨处理方法和系统
CN115272123A (zh) 自监督三维显微图像去噪方法和系统
Boland et al. Improving axial resolution in Structured Illumination Microscopy using deep learning
CN114331840A (zh) 重建高保真超分辨显微图像的方法、装置
Christensen et al. ML-SIM: a deep neural network for reconstruction of structured illumination microscopy images
US11915360B2 (en) Volumetric microscopy methods and systems using recurrent neural networks
CN115984107B (zh) 自监督多模态结构光显微重建方法和系统
CN112633248B (zh) 深度学习全在焦显微图像获取方法
CN115293981B (zh) 结构光照明荧光显微图像去噪和超分辨率重建方法及系统
CN115619646B (zh) 一种深度学习的亚五十纳米结构光照明超分辨成像方法
CN110322528B (zh) 基于3t、7t的核磁共振脑部图像血管重建方法
CN115586164A (zh) 一种基于快照时间压缩的光片显微成像系统及方法
CN116563110A (zh) 基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法
Markham et al. Parametric blind deconvolution of microscopic images: Further results
Yu et al. Confocal bi‐protocol: a new strategy for isotropic 3D live cell imaging
CN116402681A (zh) 一种基于像素重排列的自监督结构光显微重建方法和系统
CN110852945B (zh) 一种生物样本高分辨率图像获取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant