CN113674168A - 实时的荧光成像智能增强方法与装置 - Google Patents
实时的荧光成像智能增强方法与装置 Download PDFInfo
- Publication number
- CN113674168A CN113674168A CN202110897860.XA CN202110897860A CN113674168A CN 113674168 A CN113674168 A CN 113674168A CN 202110897860 A CN202110897860 A CN 202110897860A CN 113674168 A CN113674168 A CN 113674168A
- Authority
- CN
- China
- Prior art keywords
- data
- neural network
- network model
- data stream
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000000799 fluorescence microscopy Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000003062 neural network model Methods 0.000 claims abstract description 51
- 238000003384 imaging method Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 14
- 230000001360 synchronised effect Effects 0.000 claims abstract description 13
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 238000010586 diagram Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000002195 synergetic effect Effects 0.000 claims description 3
- 238000003672 processing method Methods 0.000 description 5
- 230000005284 excitation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 102000034287 fluorescent proteins Human genes 0.000 description 3
- 108091006047 fluorescent proteins Proteins 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000001215 fluorescent labelling Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 230000008832 photodamage Effects 0.000 description 1
- 208000007578 phototoxic dermatitis Diseases 0.000 description 1
- 231100000018 phototoxicity Toxicity 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
- 230000035899 viability Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明本发明公开了一种实时的荧光成像智能增强方法及装置，其中，方法包括：采用自监督学习预先训练神经网络模型，把训练好的神经网络模型加载到运算单元上，加载过程包含对神经网络模型的优化；将图像通过成像系统接口转换得到连续数据流，将连续数据流输入运算单元，通过运算单元上训练好的神经网络模型对连续数据流进行处理，处理后的数据同样以连续数据流的形式输出；其中，对数据处理时序进行处理操作，以实时的数据处理和同步显示。该方法可以在荧光显微镜拍摄的同时，实时地进行图像增强，以提升数据信噪比。
Description
技术领域
本发明涉及光学显微成像和智能图像处理等技术领域，尤其涉及一种实时的荧光成像智能增强方法。
背景技术
荧光显微成像是生命科学的核心研究方法。荧光显微成像包括荧光标记和光学成像两个部分，需要首先借助荧光蛋白或有机燃料对需要观察的结构或物质进行特异性的标记，然后再使用荧光显微镜进行观察。荧光显微镜首先发射短波长的光激发荧光分子，荧光分子受激发射长波长的荧光光子，荧光光子被探测器接收后形成图像，从而反映特定的结构和物质分布。由于荧光成像可以特异性地标记指定的结构，排除其它因素的干扰，再加上光学显微镜所特有的非侵入的特点，荧光显微成像成为生物结构和功能研究的主要方法之一。当前的荧光显微成像技术按照基本物理机理，可以分为线性荧光显微镜和非线性荧光显微镜。线性荧光显微镜指传统的单光子荧光显微镜，也就是荧光分子每发射一个荧光光子仅吸收一个激发光子。非线性显微镜中，荧光分子每发射一个荧光光子需要吸收多个激发光子。这两种技术各有优点，适合不同的应用场景。
纵观各种荧光显微成像技术，它们都面临一个共同的难题，那就是成像信噪比(信号和噪声的比值，表征探测的可靠性)的限制。无论是传统的宽场荧光显微镜、共聚焦荧光显微镜，还是先进的光片显微镜、双光子和三光子荧光显微镜，图像信噪比过低严重限制着显微系统的性能。由于只有当数据具有足够的信噪比时，才能进行下游分析并得出可靠的结论，因此生物学家进行实验时，往往不得不牺牲成像速度、成像深度、成像时长、甚至组织活性以提升成像信噪比。
荧光显微成像中信噪比过低的问题主要由以下几个方面造成：(1)荧光蛋白的光子产率低，也就是说每单位的荧光分子只能产生少量的荧光光子，这就从源头上导致了荧光光子的不足。(2)细胞内的荧光蛋白含量低，健康的细胞无法承高浓度的荧光标记，这进一步减少了荧光信号的强度。(3)由于激发光会不可避免地带来光漂白、光毒性、光损伤等问题，所以必须维持低剂量的激发功率以维持细胞健康和结论可靠。(4)光子的探测是不确定的，光的量子属性决定了任何探测器都无法准确地探测光子的数目，当荧光光子的数量较少时，光子噪声极限影响显著。概括地讲，荧光显微成像的信噪比受到生物、物理、化学等各个方面的限制，使得使用传统的物理化学生物的方法提升荧光成像信噪比变得困难重重。随着深度学习等智能图像处理技术的发展，使用数据驱动的智能图像增强技术有望突破这些限制，为荧光显微成像普遍信噪比低的问题带来解决方案。
因此，综合考虑以上各项技术瓶颈，目前迫切需要本领域技术人员解决的一个问题就是：如何设计硬件系统和数据处理方法，以实现高效、高性能的荧光成像增强。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种实时的荧光成像智能增强方法，从荧光显微镜捕获的低信噪比图像以连续数据流的方式流入高性能运算单元，该单元上部署有训练好的数据增强网络，经过网络的处理，增强后的高信噪比数据流出高性能运算单元，在显示器上进行同步的显示。可以在荧光显微镜拍摄的同时，实时地进行图像增强，以提升数据信噪比。
本发明的第二个目的在于提出一种实时的荧光成像智能增强装置。
为达上述目的，本发明第一方面实施例提出了一种实时的荧光成像智能增强方法，包括：
采用自监督学习预先训练神经网络模型；
把训练好的神经网络模型加载到运算单元上，加载过程包含对所述神经网络模型的优化；
将图像通过成像系统接口转换得到连续数据流，将所述连续数据流输入所述运算单元，通过所述运算单元上训练好的神经网络模型对所述连续数据流进行处理，处理后的数据同样以连续数据流的形式输出；其中，对数据处理时序进行处理操作，以实时的数据处理和同步显示。
本发明实施例的实时的荧光成像智能增强方法通过预先采集人脸视频数据集，通过采用自监督学习预先训练神经网络模型，把训练好的神经网络模型加载到运算单元上，加载过程包含对神经网络模型的优化；将图像通过成像系统接口转换得到连续数据流，将连续数据流输入运算单元，通过运算单元上训练好的神经网络模型对连续数据流进行处理，处理后的数据同样以连续数据流的形式输出；其中，对数据处理时序进行处理操作，以实时的数据处理和同步显示。该方法可以在荧光显微镜拍摄的同时，实时地进行图像增强，以提升数据信噪比。
另外，根据本发明上述实施例的荧光成像智能增强方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述采用自监督学习预先训练神经网络模型，包括：
其中，所述神经网络模型采用三维卷积核提取特征以聚合时空信息，所述预先训练采用自监督学习的训练方式，将原始的图像时间序列中的奇数帧和偶数帧，分别作为输入和输出。
进一步地，在本发明的一个实施例中，所述将图像通过成像系统接口转换得到连续数据流，包括：
拍摄获得低信噪比图像，所述低信噪比图像经过成像系统接口被转换为连续数据流，其中，所述连续数据流包含不同的数据批次，每一批数据是时间上相邻的若干帧。
进一步地，在本发明的一个实施例中，所述将图像通过成像系统接口转换得到连续数据流，还包括：
通过宽场荧光显微镜、共聚焦荧光显微镜、光片显微镜和多光子荧光显微镜的协同作用，以使得数据转换和数据传输。
进一步地，在本发明的一个实施例中，所述对数据处理时序进行处理操作，以实时的数据处理和同步显示，包括：
根据包含的数据批次的时序图，其中任意两个相邻的数据批次之间有40％的预留重叠，经数据处理之后的每个数据批次，前后20％的帧被丢弃，保存和显示所述每个数据批次中间60％的数据。
为达上述目的，本发明第二方面实施例提出了一种实时的荧光成像智能增强装置，包括：
训练模块，用于采用自监督学习预先训练神经网络模型；
加载模块，用于把训练好的神经网络模型加载到运算单元上，加载过程包含对所述神经网络模型的优化；
输出模块，用于将图像通过成像系统接口模块转换得到连续数据流，将所述连续数据流输入所述运算单元，通过所述运算单元上训练好的神经网络模型对所述连续数据流进行处理，处理后的数据同样以连续数据流的形式输出；其中，对数据处理时序进行处理操作，以实时的数据处理和同步显示。
本发明实施例的实时的荧光成像智能增强装置，通过采用自监督学习预先训练神经网络模型，把训练好的神经网络模型加载到运算单元上，加载过程包含对神经网络模型的优化；将图像通过成像系统接口转换得到连续数据流，将连续数据流输入运算单元，通过运算单元上训练好的神经网络模型对连续数据流进行处理，处理后的数据同样以连续数据流的形式输出；其中，对数据处理时序进行处理操作，以实时的数据处理和同步显示。该方法可以在荧光显微镜拍摄的同时，实时地进行图像增强，以提升数据信噪比。
本发明实施例的实时的荧光成像智能增强方法及装置的有益效果为：
1)所述实时荧光成像智能增强方法具有通用成像系统接口，能够兼容各种荧光显微，提供通用的数据转换和传输；
2)借助所发明的自监督训练方法，即使没有真值(不含噪声的图像)，依然可以训练出性能优良的去噪模型，这是现有技术无法实现的；
3)通过合理地设计处理时序，所述方法能够实时地显示经过增强的图像，增强后的图像不受噪声干扰，生物结构和生命过程变得清晰可见。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例所提供的一种实时的荧光成像智能增强方法的流程图；
图2为根据本发明实施例所提供的一种实时的荧光成像智能增强方法的原理图以及数据处理流程图；
图3为根据本发明实施例所提供的用于训练增强网络的自监督训练方法的结构示意图；
图4为根据本发明实施例所提供的训练后的增强网络的数据处理方法的结构示意图；
图5为根据本发明实施例所提供的基于批处理的实时数据处理时序图的结构示意图；
图6为根据本发明实施例所提供的一种实时的荧光成像智能增强装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的实时的荧光成像智能增强方法和装置。
首先将参照附图描述根据本发明实施例提出的首先将参照附图描述根据本发明实施例提出的实时的荧光成像智能增强方法的原理图以及数据处理流程。
本发明的实施例的原理及数据处理流程如图2所示，整体运作流程可以概括为：从荧光显微镜捕获的低信噪比图像以连续数据流的方式流入高性能运算单元，该单元上部署有训练好的数据增强网络，经过网络的处理，增强后的高信噪比数据流出高性能运算单元，在显示器上进行同步的显示。
图1为本发明实施例所提供的一种实时的荧光成像智能增强方法的流程示意图。
目前迫切需要本领域技术人员解决的一个问题就是：如何设计硬件系统和数据处理方法，以实现高效、高性能的荧光成像增强。
为了解决上述现有技术中的不足，本发明的目的是提供一种实时的荧光成像智能增强方法，该方法可以在荧光显微镜拍摄的同时，实时地进行图像增强，以提升数据信噪比。
如图1所示，该实时的荧光成像智能增强方法包括以下步骤：
步骤101，采用自监督学习预先训练神经网络模型。
具体的，本发明实施例首先采用自监督学习方式预先训练用于数据增强的神经网络模型，图3为根据本发明实施例所提供的用于训练增强网络的自监督训练方法的结构示意图。
如图3所示，本实施例中的网络架构采用三维“U形”卷积神经网络，它采用三维卷积核来提取特征，能够聚合时空信息，由于荧光显微成像的结构具有时间和空间上的相关性，充分聚合时空信息可以有效提升去噪的性能。针对实际应用中的真值缺乏的问题，本发明开发一种自监督的训练方法，无需训练真值，只需将原始的图像时间序列中的奇数帧和偶数帧，分别作为输入和输出，即可使网络收敛到和用真值训练想当的性能。
步骤102，把训练好的神经网络模型加载到运算单元上，加载过程包含对神经网络模型的优化。
具体的，训练后的网络模型被加载到高性能运算单元上，加载过程包含模型的优化部署，部署的优化可以有效提升模型的运行速度，保证数据处理速度能够达到实时水平。
步骤103，将图像通过成像系统接口转换得到连续数据流，将连续数据流输入运算单元，通过运算单元上训练好的神经网络模型对连续数据流进行处理，处理后的数据同样以连续数据流的形式输出；其中，对数据处理时序进行处理操作，以实时的数据处理和同步显示。
可以理解的是，荧光显微镜对样本进行持续拍摄，所拍摄的低信噪比图像经过通用成像接口被转换为连续数据流，其中包含不同的数据批次，每一批数据是时间上相邻的若干帧。连续数据流持续流入高性能运算单元，其上部署的预先训练好的模型按照图4所示的方法对流入数据进行处理，图4为根据本发明实施例所提供的训练后的增强网络的数据处理方法的结构示意图，增强后的数据同样以连续数据流的形式流出，在显示器上进行同步的显示。
其中，上述成像系统接口兼容包括宽场荧光显微镜、共聚焦荧光显微镜、光片显微镜、多光子荧光显微镜等荧光显微模态，能够实现快速的数据转换和数据传输。
同时为实现实时的数据处理和显示，本发明对数据处理时序进行了严格的设计，一个包含六个数据批次的时序图如图5所示，图5为根据本发明实施例所提供的基于批处理的实时数据处理时序图的结构示意图，任意两个相邻的数据批次之间有40％的预留重叠，处理之后的每个数据批次，其前后20％的帧将被丢弃，仅保存和显示每个批次中间60％的数据。
整体看来，本发明实施例的智能处理方法包括自监督神经网络训练方法以及实时数据预测方法，能够在不需要训练真值的情况下完成数据的增强。
根据本发明实施例提出的的实时的荧光成像智能增强方法，通过采用自监督学习预先训练神经网络模型，把训练好的神经网络模型加载到运算单元上，加载过程包含对神经网络模型的优化；将图像通过成像系统接口转换得到连续数据流，将连续数据流输入运算单元，通过运算单元上训练好的神经网络模型对连续数据流进行处理，处理后的数据同样以连续数据流的形式输出；其中，对数据处理时序进行处理操作，以实时的数据处理和同步显示。该方法可以在荧光显微镜拍摄的同时，实时地进行图像增强，以提升数据信噪比。
其次参照附图描述根据本发明实施例提出的实时的荧光成像智能增强装置。
图6是本发明一个实施例的实时的荧光成像智能增强装置的结构示意图。
如图6所示，该实时的荧光成像智能增强装置10包括：训练模块100、加载模块200、输出模块300。
训练模块100，用于采用自监督学习预先训练神经网络模型；
加载模块200，用于把训练好的神经网络模型加载到运算单元上，加载过程包含对神经网络模型的优化；
输出模块300，用于将图像通过成像系统接口模块400转换得到连续数据流，将连续数据流输入运算单元，通过运算单元上训练好的神经网络模型对连续数据流进行处理，处理后的数据同样以连续数据流的形式输出；其中，对数据处理时序进行处理操作，以实时的数据处理和同步显示。
进一步，上述训练模块100：具体用于：
其中，神经网络模型采用三维卷积核提取特征以聚合时空信息，预先训练采用自监督学习的训练方式，将原始的图像时间序列中的奇数帧和偶数帧，分别作为输入和输出。
进一步，上述输出模块300，具体用于：
拍摄获得低信噪比图像，低信噪比图像经过成像系统接口模块400被转换为连续数据流，其中，连续数据流包含不同的数据批次，每一批数据是时间上相邻的若干帧。
进一步，上述输出模块300，还用于：
通过成像系统接口模块400的宽场荧光显微镜模块500、共聚焦荧光显微镜模块600、光片显微镜模块700和多光子荧光显微镜模块800的协同作用，以使得数据转换和数据传输。
进一步，上述输出模块300，还用于：
根据包含的数据批次的时序图，其中任意两个相邻的数据批次之间有40％的预留重叠，经数据处理之后的每个数据批次，前后20％的帧被丢弃，保存和显示所述每个数据批次中间60％的数据。
根据本发明实施例提出的实时的荧光成像智能增强装置，通过采用自监督学习预先训练神经网络模型，把训练好的神经网络模型加载到运算单元上，加载过程包含对神经网络模型的优化；将图像通过成像系统接口转换得到连续数据流，将连续数据流输入运算单元，通过运算单元上训练好的神经网络模型对连续数据流进行处理，处理后的数据同样以连续数据流的形式输出；其中，对数据处理时序进行处理操作，以实时的数据处理和同步显示。该方法可以在荧光显微镜拍摄的同时，实时地进行图像增强，以提升数据信噪比。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种实时的荧光成像智能增强方法，其特征在于，包括以下步骤：
采用自监督学习预先训练神经网络模型；
把训练好的神经网络模型加载到运算单元上，加载过程包含对所述神经网络模型的优化；
将图像通过成像系统接口转换得到连续数据流，将所述连续数据流输入所述运算单元，通过所述运算单元上训练好的神经网络模型对所述连续数据流进行处理，处理后的数据同样以连续数据流的形式输出；其中，对数据处理时序进行处理操作，以实时的数据处理和同步显示。
2.根据权利要求1所述的方法，其特征在于，所述采用自监督学习预先训练神经网络模型，包括：
其中，所述神经网络模型采用三维卷积核提取特征以聚合时空信息，所述预先训练采用自监督学习的训练方式，将原始的图像时间序列中的奇数帧和偶数帧，分别作为输入和输出。
3.根据权利要求1所述的方法，其特征在于，所述将图像通过成像系统接口转换得到连续数据流，包括：
拍摄获得低信噪比图像，所述低信噪比图像经过成像系统接口被转换为连续数据流，其中，所述连续数据流包含不同的数据批次，每一批数据是时间上相邻的若干帧。
4.根据权利要求1所述的方法，其特征在于，所述将图像通过成像系统接口转换得到连续数据流，还包括：
通过宽场荧光显微镜、共聚焦荧光显微镜、光片显微镜和多光子荧光显微镜的协同作用，以使得数据转换和数据传输。
5.根据权利要求3所述的方法，其特征在于，所述对数据处理时序进行处理操作，以实时的数据处理和同步显示，包括：
根据包含的数据批次的时序图，其中任意两个相邻的数据批次之间有40％的预留重叠，经数据处理之后的每个数据批次，前后20％的帧被丢弃，保存和显示所述每个数据批次中间60％的数据。
6.一种实时的荧光成像智能增强装置，其特征在于，包括：
训练模块，用于采用自监督学习预先训练神经网络模型；
加载模块，用于把训练好的神经网络模型加载到运算单元上，加载过程包含对所述神经网络模型的优化；
输出模块，用于将图像通过成像系统接口模块转换得到连续数据流，将所述连续数据流输入所述运算单元，通过所述运算单元上训练好的神经网络模型对所述连续数据流进行处理，处理后的数据同样以连续数据流的形式输出；其中，对数据处理时序进行处理操作，以实时的数据处理和同步显示。
7.根据权利要求6所述的装置，其特征在于，所述训练模块，具体用于：
其中，所述神经网络模型采用三维卷积核提取特征以聚合时空信息，所述预先训练采用自监督学习的训练方式，将原始的图像时间序列中的奇数帧和偶数帧，分别作为输入和输出。
8.根据权利要求6所述的装置，其特征在于，所述输出模块，具体用于：
拍摄获得低信噪比图像，所述低信噪比图像经过所述成像系统接口模块被转换为连续数据流，其中，所述连续数据流包含不同的数据批次，每一批数据是时间上相邻的若干帧。
9.根据权利要求6所述的装置，其特征在于，所述输出模块，还用于：
通过所述成像系统接口模块的宽场荧光显微镜模块、共聚焦荧光显微镜模块、光片显微镜模块和多光子荧光显微镜模块的协同作用，以使得数据转换和数据传输。
10.根据权利要求8所述的装置，其特征在于，所述输出模块，还用于：
根据包含的数据批次的时序图，其中任意两个相邻的数据批次之间有40％的预留重叠，经数据处理之后的每个数据批次，前后20％的帧被丢弃，保存和显示所述每个数据批次中间60％的数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110897860.XA CN113674168A (zh) | 2021-08-05 | 2021-08-05 | 实时的荧光成像智能增强方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110897860.XA CN113674168A (zh) | 2021-08-05 | 2021-08-05 | 实时的荧光成像智能增强方法与装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113674168A true CN113674168A (zh) | 2021-11-19 |
Family
ID=78541635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110897860.XA Pending CN113674168A (zh) | 2021-08-05 | 2021-08-05 | 实时的荧光成像智能增强方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113674168A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115272123A (zh) * | 2022-08-02 | 2022-11-01 | 中国科学院生物物理研究所 | 自监督三维显微图像去噪方法和系统 |
| CN117876377A (zh) * | 2024-03-13 | 2024-04-12 | 浙江荷湖科技有限公司 | 一种基于大模型的显微成像通用神经提取方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190333199A1 (en) * | 2018-04-26 | 2019-10-31 | The Regents Of The University Of California | Systems and methods for deep learning microscopy |
| CN110599399A (zh) * | 2019-07-26 | 2019-12-20 | 清华大学 | 基于卷积神经网络的快速双光子成像方法及装置 |
| CN111476726A (zh) * | 2020-03-25 | 2020-07-31 | 清华大学 | 基于对抗神经网络的无监督双光子钙成像去噪方法及装置 |
| CN111524064A (zh) * | 2020-03-11 | 2020-08-11 | 浙江大学 | 基于深度学习的荧光显微图像超分辨重建方法 |
-
2021
- 2021-08-05 CN CN202110897860.XA patent/CN113674168A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190333199A1 (en) * | 2018-04-26 | 2019-10-31 | The Regents Of The University Of California | Systems and methods for deep learning microscopy |
| CN110599399A (zh) * | 2019-07-26 | 2019-12-20 | 清华大学 | 基于卷积神经网络的快速双光子成像方法及装置 |
| CN111524064A (zh) * | 2020-03-11 | 2020-08-11 | 浙江大学 | 基于深度学习的荧光显微图像超分辨重建方法 |
| CN111476726A (zh) * | 2020-03-25 | 2020-07-31 | 清华大学 | 基于对抗神经网络的无监督双光子钙成像去噪方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| BROADDUS, COLEMAN 等: "REMOVING STRUCTURED NOISE WITH SELF-SUPERVISED BLIND-SPOT NETWORKS", 2020 IEEE 17TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI) APRIL 3-7, 2020, IOWA CITY, IOWA, USA, 7 April 2020 (2020-04-07) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115272123A (zh) * | 2022-08-02 | 2022-11-01 | 中国科学院生物物理研究所 | 自监督三维显微图像去噪方法和系统 |
| CN115272123B (zh) * | 2022-08-02 | 2023-08-08 | 中国科学院生物物理研究所 | 自监督三维显微图像去噪方法和系统 |
| CN117876377A (zh) * | 2024-03-13 | 2024-04-12 | 浙江荷湖科技有限公司 | 一种基于大模型的显微成像通用神经提取方法 |
| CN117876377B (zh) * | 2024-03-13 | 2024-05-28 | 浙江荷湖科技有限公司 | 一种基于大模型的显微成像通用神经提取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sage et al. | Super-resolution fight club: assessment of 2D and 3D single-molecule localization microscopy software | |
| Baddeley et al. | Biological insight from super-resolution microscopy: what we can learn from localization-based images | |
| Chhetri et al. | Whole-animal functional and developmental imaging with isotropic spatial resolution | |
| Zeng et al. | Fast super-resolution imaging with ultra-high labeling density achieved by joint tagging super-resolution optical fluctuation imaging | |
| Xiao et al. | High-contrast multifocus microscopy with a single camera and z-splitter prism | |
| CN113674168A (zh) | 实时的荧光成像智能增强方法与装置 | |
| WO2020139835A1 (en) | Systems and methods for two-dimensional fluorescence wave propagation onto surfaces using deep learning | |
| Trivedi et al. | Dynamic structure and protein expression of the live embryonic heart captured by 2-photon light sheet microscopy and retrospective registration | |
| Zhao et al. | Deep-learning super-resolution light-sheet add-on microscopy (Deep-SLAM) for easy isotropic volumetric imaging of large biological specimens | |
| JP2012522312A (ja) | 生体物質を識別するシステム及び方法 | |
| Cutrale et al. | Imaging, visualization, and computation in developmental biology | |
| Zhang et al. | Rapid detection of neurons in widefield calcium imaging datasets after training with synthetic data | |
| Xiao et al. | Spatial resolution improved fluorescence lifetime imaging via deep learning | |
| Yang et al. | Advancing biological super-resolution microscopy through deep learning: a brief review | |
| Dow et al. | Video-rate two-photon excited fluorescence lifetime imaging system with interleaved digitization | |
| Chen et al. | Deep-learning on-chip light-sheet microscopy enabling video-rate volumetric imaging of dynamic biological specimens | |
| Fazel et al. | Analysis of super-resolution single molecule localization microscopy data: A tutorial | |
| Kim et al. | Three‐dimensional tissue cytometer based on high‐speed multiphoton microscopy | |
| Dave et al. | MIMO U-Net: efficient cell segmentation and counting in microscopy image sequences | |
| Phillips et al. | High-throughput fluorescence microscopy using multi-frame motion deblurring | |
| Owen et al. | Fluorescence localization microscopy: The transition from concept to biological research tool | |
| Zhang et al. | Rapid deep widefield neuron finder driven by virtual calcium imaging data | |
| Li et al. | Real-time denoising of fluorescence time-lapse imaging enables high-sensitivity observations of biological dynamics beyond the shot-noise limit | |
| CN114119415A (zh) | 三光子深层组织成像方法及装置 | |
| Husna et al. | Multi-modal image cytometry approach–from dynamic to whole organ imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |