CN114972284A - 基于自监督深度学习的无透镜显微成像系统及方法 - Google Patents

基于自监督深度学习的无透镜显微成像系统及方法 Download PDF

Info

Publication number
CN114972284A
CN114972284A CN202210642639.4A CN202210642639A CN114972284A CN 114972284 A CN114972284 A CN 114972284A CN 202210642639 A CN202210642639 A CN 202210642639A CN 114972284 A CN114972284 A CN 114972284A
Authority
CN
China
Prior art keywords
self
deep learning
imaging
lens
free
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210642639.4A
Other languages
English (en)
Inventor
曹汛
刘振
朱昊
周游
马展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202210642639.4A priority Critical patent/CN114972284A/zh
Publication of CN114972284A publication Critical patent/CN114972284A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明提出一种基于自监督深度学习的无透镜显微成像系统及方法。其系统包括多高度成像模块和基于自监督深度学习的相位恢复模块，多高度成像模块用于采集被观测物体在多个无需标定的高度下的衍射图像，包括依次放置的光源、被观测物体和图像传感器，其中图像传感器可进行轴向运动以改变衍射图像高度；基于自监督深度学习的相位恢复模块用于根据所述衍射图像，即时地重建被观测物体的振幅和相位信息并同时联合优化成像模型参数。本发明将自监督深度学习引入现有无透镜成像系统，通过采集样品的多高度衍射图像信息，并运用自监督深度学习重建样品图像、联合优化成像模型参数，从而对样本实现无标记、无约束、高性能、高质量成像。

Description

基于自监督深度学习的无透镜显微成像系统及方法
技术领域
本发明涉及显微成像技术领域，特别涉及一种基于自监督深度学习的无透镜显微成像系统及方法。
背景技术
随着光流控片上成像、波前传感、细胞计数、荧光成像、数字病理学和内窥镜应用的快速增长，无透镜成像最近已成为全视野观察最具潜力的显微技术之一。在无透镜显微成像系统中，目标物体或样本被放置在非常靠近图像传感器的位置，通过使用相干(或部分相干)光进行照明，成像传感器直接记录由物体产生的衍射图案，然后通过使用相位恢复算法从衍射测量中恢复出目标物体的聚焦振幅强度和相位信息。由于无透镜显微成像系统无需任何光学透镜，而是直接记录衍射测量进行成像处理，从而突破了传统光学显微镜中成像分辨率和视野之间的制约关系，提高了成像能力。
但现有相位恢复的方法在复数域的相位重建性能仍然较差。一个原因是对成像过程的物理参数估计不准确，微小的成像参数误差对相位成像的精度影响巨大。另一个原因是由于在任何给定的振幅(0-1)和相位(0-2π)尺度下的复数域恢复，都缺乏有效可靠的成像物理描述，所以即使拥有准确的成像模型参数，现有的解决方案也无法提供稳健的重建性能。
近年来深度学习技术蓬勃发展，并在诸多领域得到了广泛应用。将深度学习引入到计算成像问题中，已展现出了巨大的潜力，深度学习在光学断层扫描、计算鬼影成像、数字全息、散射成像、相位成像等领域均有卓越的表现。现在主流的有监督深度学习方法依赖大量已标注的数据集，然而在微观领域，一般很难为深度学习提供大量的训练样本，因此研究人员试图探索使用自监督学习的可能性。
发明内容
本发明目的在于提出一种基于自监督深度学习的无透镜显微成像系统及方法，可实现样品的无标记、无约束、高性能、高质量成像。
为达到上述目的，本发明采用的技术方案为：
基于自监督深度学习的无透镜显微成像系统，包括多高度成像模块和基于自监督深度学习的相位恢复模块，所述多高度成像模块用于采集被观测物体在多个无需标定的高度下的衍射图像，包括依次放置的光源、被观测物体和图像传感器，其中图像传感器可进行轴向运动以改变衍射图像高度；所述基于自监督深度学习的相位恢复模块用于根据所述衍射图像，即时地重建被观测物体的振幅和相位信息并同时联合优化成像模型参数。
进一步地，所述光源为相干或部分相干光源。
本发明还提供一种基于自监督深度学习的无透镜显微成像方法，包括以下步骤：光源发出相干或部分相干光，入射到被观测物体上，然后由图像传感器采集被观测物体的散射光，并通过轴向移动所述图像传感器获得被观测物体的在多个不同高度下的衍射图像；根据采集的多个不同高度下的衍射图像，使用自监督深度学习进行图像重建，同时联合优化并得到精确的成像模型参数。
进一步地，所述自监督深度学习的具体实现步骤如下：
步骤一，构建多层感知机神经网络并初始化网络模型，其输入为空间二维坐标，输出为重建的振幅A和相位φ图像，初始化成像模型参数；
步骤二，根据重建的振幅A和相位φ图像，以及点扩散函数PSF可得到N张不同高度下重建的衍射图像，并将其与对应高度下采集的真实衍射图像的差的L1范数之和做为损失函数；
步骤三，使用BP反向传播算法，更新网络参数和成像模型参数；
步骤四，按照步骤三利用N张不同高度下重建的衍射图像做自监督对网络进行迭代更新，然后循环M轮，获得重建的振幅、相位图像以及联合优化的成像模型参数。
进一步地，所述步骤一中，利用位置编码将待测物体的空域二维坐标隐射到高维的傅立叶空间，然后再作为神经网络的输入，以增强神经网络对于高频信息的表示能力。
进一步地，所述步骤四中，第一次联合优化结束后重新随机初始化网络的权重和偏置参数，并结合第一次联合优化得到的显微成像参数，进行第二次联合优化，优化得到更精确的显微成像参数。
现有的传统无透镜显微成像在复数域的相位重建性能仍然较差，基于深度学习的无透镜成像研究主要集中在有监督学习，但由于在微观领域构建具有大量训练样本的数据集非常困难，因此该方法不能够提供无标记、仅需少量数据的无透镜成像方案。本发明针对现有显微成像的相位恢复问题，使用深度学习技术来解决显微成像过程中的逆问题，即相位恢复问题，利用内嵌物理成像过程的神经网络建立目标物体空域坐标到其振幅和相位信息的隐式映射；通过采用自监督学习的方式，仅需对显微样本采集少量随机的不同高度的衍射快照，便可以精准地恢复出目标物体的复数域信息；对成像模型的物理参数和隐式映射函数进行联合优化，以获得更准确的成像模型参数和更好的振幅强度和相位信息。如此，便可为无透镜显微成像问题提供了一个使用更加简单快捷、恢复效果质量更高、训练数据需求很少的解决方案。
本发明的创新点以及优点在于：
(1)本发明将自监督深度学习引入无透镜成像方案中，仅需对显微样本采集少量随机高度的衍射快照，便可以精准地恢复出目标物体的复数域信息，实现无标记、无约束、高质量的成像。
(2)本发明在每次成像只采集几张随机高度下样品的衍射图像，并使用基于自监督深度学习的对采集的衍射图像进行振幅和相位图像重建，该算法在获得快速成像和高效计算成像上有着良好的潜力。同时联合优化成像模型参数，不需要复杂的标定过程便可以得到精确的成像模型参数，这能够让无透镜成像系统操作更加简易，提升效率。
(3)本发明无透镜显微成像方案的成像性能优于传统无透镜成像方法，能够在实际的显微成像应用发挥作用。此外，在成像过程的物理参数估计不准确情况下，传统无透镜成像方法无法重建出被观测物体的振幅和相位图像，或重建的图像具有明显的重建伪影。但本发明基于自监督深度学习和联合训练，能够重建出高质量的振幅和相位图像，同时能优化得到精确的成像模型参数估计。
附图说明
图1为本发明基于自监督深度学习的无透镜显微成像系统的结构框图；
图2为本发明基于自监督深度学习的相位恢复算法流程图；
图3为本发明实施例的成像方法获得的精度板的成像结果，(a)自监督深度学习算法，(b)GS算法+优化的高度，(c)GS算法+随机高度；
图4为本发明实施例的成像方法获得的生物细胞的成像结果。
具体实施方式
下面参照附图详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
参照图1所示，本发明的系统包括多高度成像模块和基于自监督深度学习的相位恢复模块，将深度学习引入无透镜成像方案中，可实现样品的无标记、无约束、高性能、高质量成像。具体地，多高度成像模块包括依次放置的光源、被观测物体和图像传感器，所述光源发出波长为638nm的相干或部分相干光，入射到样品上，然后由所述图像传感器采集样品的散射光，图像传感器被安装在电机上进行轴向运动，用于采集被观测物体在多个随机高度下的衍射图像；根据采集的多张样品衍射图像，基于自监督深度学习的相位恢复模块使用自监督深度学习即时地进行振幅和相位图像重建，同时联合优化并得到精确的成像模型参数，如衍射图像高度。
图2为本发明的自监督深度学习算法流程，该算法能够很好地挖掘成像信息，获得高质量的无透镜成像。其中，网络模型采用的是多层感知机，包括8个隐藏层，每层256个隐藏单元，激活函数是ReLU函数。为了重建出振幅和相位图像中的更多细节，本实施例还对样本的空域坐标先进行了位置编码，然后输入到网络中。具体地，实现方法如下：
(1)构建物理启发的自监督神经网络
如图2所示，本实施例使用多层感知机网络建立目标样本的空域坐标(x,y)到其振幅A和相位φ的一个隐式映射fθ来实现相位恢复，其中θ表示网络参数；然后用预测的振幅和相位(A,φ)结合点扩散函数PSFz可得到重建的衍射图像，其中z表示衍射图像的高度；最后通过对重建衍射图像和真实衍射图像Iz之间差的L1范数之和来构建如下的损失函数：
Figure BDA0003684825230000041
(2)联合优化显微成像参数和相位恢复
联合优化显微成像参数和输入空间坐标与输出振幅、相位之间的隐式映射，通过非常少量的衍射测量，便可精确地描述成像物理过程，并最佳地重建目标物体的振幅和相位信息。在实际实现中，显微成像参数的优化精确度非常重要，若联合优化的显微成像参数收敛值不够精确，则会导致神经网络陷入局部最小值和相位重建失真的问题。因此，本实施例在第一次联合优化结束后重新随机初始化网络的权重和偏置参数，并结合第一次联合优化得到的显微成像参数，进行第二次联合优化，如此便可优化得到更精确的显微成像参数。
(3)利用位置编码提升网络拟合高频信息能力
由于神经网络倾向于学习低频函数，在拟合高频函数方面表现不佳，因此为了更好地拟合空域坐标到振幅和相位图像高频部分的映射，在空域坐标输入到网络之前使用位置编码将其映射到高维傅立叶空间：
PE(x，y)＝{cos(2πsσix)，sin(2πsσix)}∪{cos(2πsσiy)，sin(2πsσiy)}，
i＝{1J2，…，10}
其中，s是一个比例因子，σi服从正太分布。
参照图3所示，本实施例系统采集精度板的8张随机高度的衍射图像，并使用本发明提出的基于自监督深度学习的相位恢复方法对振幅图像进行重建。本实施例获得的重建图像如图3的(a)图，可以清晰地观察到精度板，图像是高对比、低噪声的，因此本发明基于自监督深度学习的相位恢复方法提升了无透镜系统成像质量。而在成像过程的衍射高度随机无标定的情况下，传统的GS(Gerchberg-Saxton)相位恢复算法无法准确地重建出被观测物体的振幅和相位图像，或重建的图像具有明显的重建伪影，如图3的(c)图。但本发明的基于自监督深度学习相位恢复方法在随机衍射高度情况下，仍然能够重建出高质量的振幅和相位图像，同时利用联合优化得到精确的衍射高度估计。如图3的(b)图，传统GS算法在利用本发明优化得到的衍射高度估计的情况下，重建图像的质量有了显著提升，说明本发明优化得到的衍射高度估计是准确。
参照图4所示，本实施例系统采集生物细胞的8张随机高度的衍射图像，并使用本发明提出的基于自监督深度学习的相位恢复方法对振幅和相位图像进行重建。本实施例获得的重建图像如图4的左列图。在利用本发明优化得到的衍射高度估计的情况下，传统的GS相位恢复算法无法高质量地重建出完整的被观测物体的振幅和相位图像，如图4的右列图。但本发明的基于自监督深度学习相位恢复方法在随机衍射高度情况下，仍然能够重建出高质量、低噪声、完整的振幅和相位图像，同时利用联合优化得到精确的衍射高度估计。
本发明将无透镜显微成像的物理模型嵌入到网络模型中，无需大量的标注数据，可自监督的训练优化网络，且仅需采集少量的衍射图像用来训练，便可最终生成高质量的待测物体的振幅和相位图像。

Claims (6)

1.基于自监督深度学习的无透镜显微成像系统，包括多高度成像模块和基于自监督深度学习的相位恢复模块，其特征在于，所述多高度成像模块用于采集被观测物体在多个无需标定的高度下的衍射图像，包括依次放置的光源、被观测物体和图像传感器，其中图像传感器可进行轴向运动以改变衍射图像高度；所述基于自监督深度学习的相位恢复模块用于根据所述衍射图像，即时地重建被观测物体的振幅和相位信息并同时联合优化成像模型参数。
2.根据权利要求1所述的基于自监督深度学习的无透镜显微成像系统，其特征在于，所述光源为相干或部分相干光源。
3.基于自监督深度学习的无透镜显微成像方法，其特征在于，该方法包括以下步骤：光源发出相干或部分相干光，入射到被观测物体上，然后由图像传感器采集被观测物体的散射光，并通过轴向移动所述图像传感器获得被观测物体的在多个不同高度下的衍射图像；根据采集的多个不同高度下的衍射图像，使用自监督深度学习进行图像重建，同时联合优化并得到精确的成像模型参数。
4.根据权利要求3所述的基于自监督深度学习的无透镜显微成像方法，其特征在于，所述自监督深度学习的具体实现步骤如下：
步骤一，构建多层感知机神经网络并初始化网络模型，其输入为空间二维坐标，输出为重建的振幅A和相位φ图像，初始化成像模型参数；
步骤二，根据重建的振幅A和相位φ图像，以及点扩散函数PSF可得到N张不同高度下重建的衍射图像，并将其与对应高度下采集的真实衍射图像的差的L1范数之和做为损失函数；
步骤三，使用BP反向传播算法，更新网络参数和成像模型参数；
步骤四，按照步骤三利用N张不同高度下重建的衍射图像做自监督对网络进行迭代更新，然后循环M轮，获得重建的振幅、相位图像以及联合优化的成像模型参数。
5.根据权利要求4所述的基于自监督深度学习的无透镜显微成像方法，其特征在于，所述步骤一中，利用位置编码将待测物体的空域二维坐标隐射到高维的傅立叶空间，然后再作为神经网络的输入，以增强神经网络对于高频信息的表示能力。
6.根据权利要求4所述的基于自监督深度学习的无透镜显微成像方法，其特征在于，所述步骤四中，第一次联合优化结束后重新随机初始化网络的权重和偏置参数，并结合第一次联合优化得到的显微成像参数，进行第二次联合优化，优化得到更精确的显微成像参数。
CN202210642639.4A 2022-06-08 2022-06-08 基于自监督深度学习的无透镜显微成像系统及方法 Pending CN114972284A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210642639.4A CN114972284A (zh) 2022-06-08 2022-06-08 基于自监督深度学习的无透镜显微成像系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210642639.4A CN114972284A (zh) 2022-06-08 2022-06-08 基于自监督深度学习的无透镜显微成像系统及方法

Publications (1)

Publication Number Publication Date
CN114972284A true CN114972284A (zh) 2022-08-30

Family

ID=82962122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210642639.4A Pending CN114972284A (zh) 2022-06-08 2022-06-08 基于自监督深度学习的无透镜显微成像系统及方法

Country Status (1)

Country Link
CN (1) CN114972284A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984107A (zh) * 2022-12-21 2023-04-18 中国科学院生物物理研究所 自监督多模态结构光显微重建方法和系统
CN116704070A (zh) * 2023-08-07 2023-09-05 北京理工大学 联合优化的图像重建方法和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984107A (zh) * 2022-12-21 2023-04-18 中国科学院生物物理研究所 自监督多模态结构光显微重建方法和系统
CN115984107B (zh) * 2022-12-21 2023-08-11 中国科学院生物物理研究所 自监督多模态结构光显微重建方法和系统
CN116704070A (zh) * 2023-08-07 2023-09-05 北京理工大学 联合优化的图像重建方法和系统
CN116704070B (zh) * 2023-08-07 2023-11-14 北京理工大学 联合优化的图像重建方法和系统

Similar Documents

Publication Publication Date Title
US11781966B2 (en) 3D diffraction tomography microscopy imaging method based on LED array coded illumination
CN114972284A (zh) 基于自监督深度学习的无透镜显微成像系统及方法
Liebling et al. Four-dimensional cardiac imaging in living embryos<? xpp qa?> via postacquisition synchronization of nongated<? xpp qa?> slice sequences
US20170205615A1 (en) Enhancing the resolution of three dimensional video images formed using a light field microscope
Vizcaino et al. Learning to reconstruct confocal microscopy stacks from single light field images
Giovannelli et al. Regularization and Bayesian Methods for Inverse Problems in Signal and Image Processing
Zhu et al. Locating and imaging through scattering medium in a large depth
Huang et al. Self-supervised learning of hologram reconstruction using physics consistency
CN115471448A (zh) 基于人工智能的胸腺瘤组织病理的分型方法及装置
US10908060B2 (en) Method for determining parameters of a particle
Shi et al. Progressive pretraining network for 3D system matrix calibration in magnetic particle imaging
US20220351347A1 (en) Computational refocusing-assisted deep learning
Song et al. Light-field microscopy for the optical imaging of neuronal activity: when model-based methods meet data-driven approaches
CN112509122B (zh) 一种基于多高度无透镜数字全息的高浓度微颗粒浓度与活性的检测方法及装置
CN116503258B (zh) 超分辨计算成像方法、装置、电子设备及存储介质
Gao et al. Single-cell volumetric imaging with light field microscopy: Advances in systems and algorithms
Sun et al. An iterative gradient convolutional neural network and its application in endoscopic photoacoustic image formation from incomplete acoustic measurement
Guzzi et al. Automatic differentiation for inverse problems in X-ray imaging and microscopy
CN116402987A (zh) 基于扩散模型及3DTransformer的三维分割方法、系统、设备及介质
CN110161667A (zh) 一种基于压缩感知超分辨显微成像方法
Murad et al. Periodic-net: an end-to-end data driven framework for diffuse optical imaging of breast cancer from noisy boundary data
Liu et al. 3D face reconstruction with mobile phone cameras for rare disease diagnosis
JP2023546191A (ja) 試料中の粒子を表す入力画像の分類方法
Agnero et al. A new method to retrieve the three-dimensional refractive index and specimen size using the transport intensity equation, taking diffraction into account
Ma et al. Spatial weight matrix in dimensionality reduction reconstruction for micro-electromechanical system-based photoacoustic microscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination