CN113383225A - 使用深度学习将二维荧光波传播到表面上的系统和方法 - Google Patents

使用深度学习将二维荧光波传播到表面上的系统和方法 Download PDF

Info

Publication number
CN113383225A
CN113383225A CN201980091190.3A CN201980091190A CN113383225A CN 113383225 A CN113383225 A CN 113383225A CN 201980091190 A CN201980091190 A CN 201980091190A CN 113383225 A CN113383225 A CN 113383225A
Authority
CN
China
Prior art keywords
image
fluorescence
sample
images
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980091190.3A
Other languages
English (en)
Inventor
阿伊多根·奥兹坎
亚伊尔·里文森
武绎宸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of California
Original Assignee
University of California
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of California filed Critical University of California
Publication of CN113383225A publication Critical patent/CN113383225A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G01N15/1433—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/60—
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Electro-optical investigation, e.g. flow cytometers
    • G01N2015/1488—Methods for deciding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

荧光显微镜方法包括经训练的深度神经网络。将样本的至少一个2D荧光显微镜图像输入到经训练的深度神经网络，其中输入图像附加有数字传播矩阵(DPM)，该数字传播矩阵逐像素地表示样本内的用户定义或自动生成的表面距输入图像的平面的轴向距离。经训练的深度神经网络输出样本的荧光输出图像，该荧光输出图像被数字传播或重新聚焦到用户定义或自动生成的表面。该方法和系统交叉连接不同的成像模态，允许宽视场荧光图像的3D传播以匹配不同样本平面处的共焦显微镜图像。该方法可以用于输出样本内的2D或3D表面的图像的时间序列(例如，延时视频)。

Description

使用深度学习将二维荧光波传播到表面上的系统和方法
相关申请
本申请要求于2019年10月8日提交的第62/912,537号的和于2018年12月26日提交的第62/785,012号的美国临时专利申请的优先权，其全部内容通过引用并入本文。根据35U.S.C.§119和任何其它适用的法规要求优先权。
技术领域
本技术领域总体上涉及用于获得样品或对象的荧光图像的系统和方法。更具体地，该技术领域涉及荧光显微镜，其通过训练深度神经网络来使用数字图像传播框架，该深度神经网络使用显微图像数据固有地学习控制荧光波传播和时间反转的物理定律，以将2D荧光图像虚拟地重新聚焦到样品内的用户定义的3D表面上，从而使得能够使用单个二维(2D)图像对荧光样品进行三维(3D)成像，而无需任何机械扫描或附加硬件。该框架还可以用于校正样品漂移、倾斜和其他像差，所有这些都在获取单个荧光图像之后数字地执行。该框架还将不同的成像模态彼此交叉连接，使得单个宽场荧光图像的3D重新聚焦能够匹配在不同样品平面处获取的共焦显微镜图像。
背景技术
三维(3D)荧光显微成像对于生物医学和物理科学以及工程是必不可少的，涵盖各种应用。尽管其具有广泛的重要性，但3D样品的荧光图像数据的高通量采集仍然是显微镜研究中的挑战。3D荧光信息通常通过跨样品体积扫描来获取，其中获得若干2D荧光图像/测量，3D中的每个焦平面或点中的一者，其形成例如共焦、双光子、光片或各种超分辨率显微镜技术的基础。然而，因为使用扫描，所以即使利用优化的扫描策略或点扩散函数(PSF)工程，用于体积样本的系统的图像获取速度和吞吐量也限于相机/检测器的帧速率的一部分。此外，因为没有同时获取不同样本平面/点处的图像，所以样本荧光的时间变化可能不可避免地引起图像伪像。另一个问题是照明的光毒性和荧光的光漂白，因为样本的一部分可以在扫描过程期间被重复激发。
为了克服这些挑战中的一些，还开发了非扫描3D荧光显微镜方法，使得样本的整个3D体积可以以与检测器帧速率相同的速度成像。这些方法之一是荧光光场显微镜。该系统通常使用附加的微透镜阵列将样本光线的2D角度信息以及2D空间信息编码到图像传感器像素中；然后，可以从该记录的4D光场数字地重建图像的3D焦点堆叠。然而，使用微透镜阵列降低了空间采样率，这导致显微镜的横向和轴向分辨率两者的牺牲。尽管可以通过3D去卷积或压缩传感技术来提高图像分辨率，但是这些方法的成功取决于关于样本的各种假设和图像形成过程的前向模型。此外，这些计算方法是相对耗时的，因为它们涉及作为图像重建过程的一部分的迭代超参数调整。还开发了称为多焦点显微镜的相关方法，以将样本的深度信息映射到单个图像内的不同平行位置上。然而，该方法的改进的3D成像速度也以降低的成像分辨率或视场(FOV)为代价，并且只能推断样本体积内的实验预定义(固定)的焦平面集合。作为另一替代方案，荧光信号也可以光学相关以形成菲涅耳(Fresnel)相关全息图，将3D样本信息编码在干涉图案中。为了检索缺失的相位信息，该计算方法需要捕获多个图像以用于样本的体积成像。非常重要的是，上面概述的所有这些方法以及许多其他方法需要将定制的光学部件和硬件添加到标准荧光显微镜中，潜在地需要大量的对准和校准程序，这不仅增加了光学设置的成本和复杂性，而且还导致潜在的像差和荧光信号的光子效率降低。
发明内容
在本文，公开了荧光显微镜中的数字图像传播系统和方法，其训练深度神经网络，该深度神经网络使用显微图像数据固有地学习控制荧光波传播和时间反转的物理定律，使得能够使用单个2D图像对荧光样本进行3D成像，而无需任何机械扫描或附加硬件。在一个实施例中，训练深度卷积神经网络以将2D荧光图像虚拟地重新聚焦到样本体积内的用户定义或自动生成的表面(2D或3D)上。弥合相干显微镜和非相干显微镜之间的差距，该数据驱动的荧光图像传播框架不需要成像系统的物理模型，并且将单个2D荧光图像快速传播到用户定义或自动生成的表面上，而无需迭代搜索或参数估计。除了荧光样本体积的快速3D成像之外，它还可以用于数字校正由于样本和/或光学系统引起的各种光学像差。这种基于深度学习的方法在本文中有时被称为“Deep-Z”或“Deep-Z+”，并且它用于计算地将单个2D宽场荧光图像(或使用空间设计的点扩散函数获取的其他图像)重新聚焦到样本体积内的2D或3D表面上，而不牺牲标准荧光显微镜的成像速度、空间分辨率、视场或吞吐量。该方法还可以与多个2D宽场荧光图像一起使用，该多个2D宽场荧光图像可以用于随时间创建图像序列(例如，电影或延时视频剪辑)。
利用这种数据驱动的计算显微镜Deep-Z框架，通过使用在单个焦平面处获取的荧光图像的时间序列在3D中对秀丽隐杆线虫蠕虫的神经元活动进行成像来测试该框架，以数字方式将显微镜的景深增加20倍，而无需任何轴向扫描、额外的硬件或成像分辨率或速度的权衡。此外，这种基于学习的方法可以校正样本漂移、倾斜和其他图像或光学像差，所有这些都在获取单个荧光图像之后数字地执行。这种独特的框架还将不同的成像模态彼此交叉连接，使得单个宽场荧光图像的3D重新聚焦能够匹配在不同样本平面处获取的共焦显微镜图像。这种基于深度学习的3D图像重新聚焦方法对于3D生物样本的成像和跟踪是变革性的，特别是在延长的时间段内，减轻了与标准3D荧光显微镜技术相关的光毒性、样本漂移、像差和散焦相关挑战。
在一个实施例中，荧光显微镜方法包括提供使用一个或多个处理器由软件执行的经训练的深度神经网络。将样本的至少一个二维荧光显微镜输入图像输入到经训练的深度神经网络，其中每个输入图像附加有一个或多个用户定义或自动生成的表面或以其他方式与一个或多个用户定义或自动生成的表面相关联。在一个特定实施例中，图像附加有数字传播矩阵(DPM)，该数字传播矩阵逐像素地表示样本内的用户定义或自动生成的表面距输入图像的平面的轴向距离。样本的一个或多个荧光输出图像由经训练的深度神经网络生成或输出，该荧光输出图像被数字地传播或重新聚焦到由例如DPM建立或定义的用户定义或自动生成的表面。
在一个实施例中，将样本的二维荧光显微镜输入图像的时间序列输入到经训练的深度神经网络，其中每个图像附加有数字传播矩阵(DPM)，该矩阵逐像素地表示样本内的用户定义或自动生成的表面距输入图像的平面的轴向距离，并且其中将样本的荧光输出图像的时间序列，从经训练的深度神经网络输出(例如延时视频或电影)，其被数字地传播或重新聚焦到与输入图像的DPM相对应的用户定义或自动生成的表面。
在另一个实施例中，一种用于输出荧光显微镜图像的系统，包括具有在其上执行的图像处理软件的计算装置，所述图像处理软件包括使用计算装置的一个或多个处理器执行的经训练的深度神经网络，其中所述经训练的深度神经网络使用以下的匹配对来训练：(1)轴向聚焦在不同深度处并附加有不同DPM(每个DPM逐像素地表示样本内的用户定义或自动生成的表面距输入图像的平面的轴向距离)的多个荧光图像，以及(2)在由对应DPM限定的正确/目标聚焦深度处捕获的对应地面实况荧光图像，其用于建立深度神经网络的参数，图像处理软件被配置为接收样本的一个或多个二维荧光显微镜输入图像以及附加到图像或以其他方式与图像相关联的一个或多个用户定义或自动生成的表面。例如，每个图像可以附加DPM。系统从经训练的深度神经网络输出样本的荧光输出图像(或电影或延时视频剪辑形式的多个图像)，该荧光输出图像被数字传播或重新聚焦到由例如DPM建立的一个或多个用户定义或自动生成的表面。
在一个实施例中，利用生成对抗网络(GAN)使用以下匹配对来训练经训练的深度神经网络：(1)轴向聚焦在不同深度处并附加有不同DPM的第一显微镜模态的多个荧光图像，以及(2)由第二不同显微镜模态在由对应的DPM限定的正确/目标聚焦深度处捕获的对应的地面实况(ground truth)荧光图像。
在一个实施例中，用于获得二维图像的荧光显微镜可以在光学设置内包括硬件修改，以在轴向方向(z方向)上创建空间设计的点扩散函数(PSF)。这可以包括例如沿着光路(轴向方向)定位的相位和/或振幅掩模。双螺旋PSF是一种示例性设计的PSF。此外，荧光显微镜可以包括宽视场荧光显微镜。它还可以包括光片系统。在其他实施例中，通过使用以下类型的显微镜中的一种，来获得到经训练的深度神经网络的输入图像或用于深度神经网络的训练图像：超分辨率显微镜、共焦显微镜、具有单光子或多光子激发荧光的共焦显微镜、二次谐波或高次谐波发生荧光显微镜、光片显微镜、结构化照明显微镜、计算显微镜、重叠关联(ptychographic)显微镜。
附图说明
图1示出了使用经训练的深度神经网络来生成样本的一个或多个荧光输出图像的系统的一个实施例，该荧光输出图像被数字传播(重新聚焦)到用户定义或自动生成的表面。该系统获得一个或多个二维荧光图像，该图像被输入到经训练的深度神经网络。然后，经训练的深度神经网络将(一个或多个)数字传播(重新聚焦)的图像输出到包括三维表面的(一个或多个)用户定义或自动生成的表面。
图2A示意性地示出了使用Deep-Z网络重新聚焦荧光图像。通过将数字传播矩阵(DPM)连接到单个荧光图像，并通过经训练的Deep-Z网络运行所得图像，可以快速获得不同平面处的数字重聚焦图像，就好像在样本体积内的对应平面处执行轴向扫描一样。DPM具有与输入图像相同的大小，并且其条目表示每个像素的轴向传播距离，并且也可以是空间上不均匀的。将Deep-Z推断的结果与相同荧光珠(300nm)的轴向扫描荧光显微镜的图像进行比较，提供了非常好的匹配。
图2B示出了使用Deep-Z推断(N＝1个捕获图像)测量的461个单独/分离的荧光纳米珠(300nm)的横向FWHM直方图，并且使用机械轴向扫描获得的图像(N＝41个捕获图像)提供了彼此非常好的匹配。
图2C示出了图2B的相同数据集的轴向FWHM测量，也揭示了Deep-Z推断结果和轴向机械扫描结果之间的非常好的匹配。
图3示出了使用Deep-Z网络的秀丽隐杆线虫神经元核的3D成像。使用Deep-Z将不同的ROI数字地重新聚焦到样本体积内的不同平面；所得图像提供与使用扫描荧光显微镜获取的对应地面实况图像的非常好的匹配。右侧还提供了输入和输出相对于对应的地面实况图像的绝对差值图像，报告了结构相似性指数(SSIM)和均方根误差(RMSE)值，进一步证明了Deep-Z的成功。比例尺：25μm。
图4A示出了在时间序列上拍摄的沿着中值强度图像的轴向方向的最大强度投影(MIP)，其示出了使用Deep-Z网络在3D中进行的秀丽隐杆线虫神经元活动跟踪。红色通道(德克萨斯红)标记神经元核。绿色通道(FITC)标记神经元钙活动。总共鉴定了155个神经元，其中70个具有钙活动。比例尺：25μm。放大区域的比例尺：10μm。
图4B示出了所有155个定位的神经元以3D示出，其中深度是颜色编码的。
图4C示出了对应于70个活动神经元的神经元钙活动事件的3D跟踪。基于它们的钙活动模式相似性，将神经元分组为3个簇(C1-C3)。这些神经元的位置由图4A中的圆圈标记(C1(蓝色)、C2(青色)和C3(黄色))。
图5A示出了倾斜的荧光样本(300nm珠)的测量。
图5B示出了图5A的倾斜平面的对应DPM。
图5C示出了测量的原始荧光图像的图像；由于样本倾斜，左部分和右部分在不同方向上失焦。
图5D示出了快速将所有区域带入正确焦点的Deep-Z网络输出图像。
图5E和图5F分别示出了图5C和图5D中所示的纳米珠的横向FWHM值，清楚地证明了具有图5B的不均匀DPM的Deep-Z网络使离焦颗粒聚焦。
图5G示出了具有荧光珠(300nm珠)的圆柱形表面的测量。
图5H示出了图5G的弯曲表面的对应DPM。
图5I示出了测量的原始荧光图像的图像；由于样本的曲率，中间区域和边缘是离焦的。
图5J示出了快速将所有区域带入正确焦点的Deep-Z网络输出图像。
图5K和图5L分别示出了图5I、图5J中所示的纳米珠的横向FWHM值，清楚地证明了具有不均匀DPM的Deep-Z使离焦颗粒聚焦。
图6A示出了BPAEC微管结构的单个宽视场荧光图像(63×/1.4NA物镜)，其使用Deep-Z+数字重新聚焦到3D中的不同平面，从单个输入图像中检索体积信息并同时进行轴向切片。
图6B示出了由共焦显微镜在对应平面处捕获的匹配图像(与图6A图像匹配)。
图6C示出了在对应平面处的匹配宽视场(WF)图像(与图6A图像匹配)。这些扫描WF图像报告与对应的共焦图像最接近的高度，并且具有60nm的轴向偏移，因为两个图像堆叠被离散地扫描并且彼此数字对准。还示出了重新聚焦图像的x-z和y-z横截面，以证明Deep-z+推断与相同平面的地面实况共焦显微镜图像之间的匹配；对于宽视场扫描荧光显微镜也示出了相同的横截面(x-z和y-z)，在每种情况下报告了显著的轴向模糊。每个横截面放大图像在z方向上跨越1.6μm(轴向步长为0.2μm)，并且虚线箭头标记了获取x-z和y-z横截面的位置。
图6D示出了还提供了Deep-Z+输出相对于对应的共焦图像的绝对差值图像，其具有SSIM和RMSE值，进一步量化了Deep-Z+的性能。为了比较，相对于对应的共焦图像示出了“标准”Deep-Z输出图像以及扫描宽视场荧光显微镜图像的绝对差值图像，与|GT-Deep-Z+|相比，这两者都报告了增加的误差和较弱的SSIM。|GT-WF|和|GT-Deep-Z|之间的定量匹配还表明，共焦和宽视场图像堆叠之间的60nm轴向偏移的影响是可忽略的。比例尺：10μm。
图7示出了使用Deep-Z网络将300nm荧光珠数字地重新聚焦到其上方2μm的平面的输入图像，其中地面实况是在该平面处获取的机械扫描荧光图像。底行：与第一行相同的图像，但饱和到[0，10]的动态范围以突出显示背景。通过首先对每个图像的像素值进行高斯拟合以找到峰值信号强度来计算SNR值。然后，将感兴趣区域(ROI)中相距10σ的像素(其中σ2是拟合高斯的方差)视为背景(由每个图像中红色虚线圆外部的区域标记)，并且将这些像素值的标准偏差计算为背景噪声。与机械扫描地面实况图像相比，Deep-Z网络拒绝背景噪声并将输出图像SNR提高～40dB。
图8示出了用于从zinput的输入平面到ztarget的目标平面的荧光图像的数字重新聚焦的结构相似性(SSIM)指数和相关系数(Corr.Coeff.Coeff.)分析。创建秀丽隐杆线虫样本的扫描荧光Z-堆叠，其轴向范围为-20μm至20μm，间距为1μm。第一列：将该堆叠中zinput的每个扫描图像与ztarget图像进行比较，形成互相关的SSIM和Corr.Coeff.Coeff.矩阵。SSIM和Corr.Coeff.都是从对角线的入口迅速落下。第二(中间)列：用对应于+/-7.5μm传播范围的荧光图像数据训练的深度-Z网络(在每个图中用菱形标记)用于从zinput到ztarget重新聚焦图像。使用SSIM和Corr.Coeff.在ztarget将输出图像与地面实况图像进行比较。第三列：与第二列相同，除了训练荧光图像数据包括高达+/-10μm的轴向传播(由与第二列相比现在放大的菱形标记)。这些结果证实，深度-Z学习了荧光的数字传播，但其限于其被训练的轴向范围(由训练图像数据集确定)。在训练范围(由菱形限定)之外，SSIM和Corr.Coeff.两者的值大幅下降。
图9A至图9T示出了秀丽隐杆线虫(C.elegans)蠕虫的荧光图像的数字重新聚焦以及相应的地面实况(GT)图像。图9A和图9K示出了测量的荧光图像(Deep-Z输入)。图9B、图9D、图9L、图9N示出了不同目标高度(z)处的Deep-Z网络输出图像。图9C、图9E、图9M和图9O示出了在与Deep-Z输出相同的高度处使用机械轴向扫描显微镜捕获的地面实况(GT)图像。图9F和图9P示出了Deep-Z输出图像和GT图像的叠加图像。图9G、图9I、图9Q和图9S示出了Deep-Z输出图像和相同高度处的对应GT图像的绝对差值图像。图9H、图9J、图9R和图9T示出了Deep-Z输入和对应的GT图像的绝对差值图像。计算每个区域的输出对GT和输入对GT的结构相似性指数(SSIM)和均方根误差(RMSE)，分别显示在图9G、图9I、图9Q、图9S和图9H、图9J、图9R、图9T中。比例尺：25μm。
图10示出了使用Deep-Z网络的秀丽隐杆线虫头部神经元核的3D成像。通过40×/1.4NA物镜的扫描荧光显微镜获得输入图像和地面实况图像。将在z＝0μm焦平面(由虚线矩形标记)处获取的单个荧光图像用作Deep-Z网络的输入图像，并将该图像数字地重新聚焦到样本体积内的不同平面，跨越约-4至4μm；所得到的图像提供与对应的地面实况图像的良好匹配。比例尺：25μm。
图11示出了使用Deep-Z网络的BPAEC的荧光显微镜图像的数字重新聚焦。使用20×/0.75NA物镜捕获输入图像，使用德克萨斯红和FITC滤光器组，占据图像的红色和绿色通道，分别用于线粒体和F-肌动蛋白结构。使用Deep-Z，将输入图像数字地重新聚焦到焦平面上方1μm，其中绿色通道中的线粒体结构聚焦，匹配机械扫描图像上的特征(直接在该深度获得)。相同的结论适用于z＝2μm处的Deep-Z输出，其中红色通道中的F-肌动蛋白结构聚焦。在图像平面上方3μm之后，图像内容的细节变得模糊。还提供了输入和输出相对于对应的地面实况图像的绝对差值图像，其具有量化Deeep-Z的性能的SSIM和RMSE值。比例尺：20μm。
图12A示出了沿着中值强度图像的轴向方向随时间的最大强度投影(MIP)(秀丽隐杆线虫神经元活动跟踪和聚类)。红色通道(德克萨斯红)标记神经元核，绿色通道(FITC)标记神经元钙活动。在3D堆叠中鉴定了总共155个神经元，如本文所标记的。比例尺：25μm。放大区域的比例尺：10μm。
图12B示出了在～35秒的时间段内在～3.6Hz下报告的这155个神经元的神经元钙活动的强度ΔF(t)。基于每个ΔF(t)的标准偏差的阈值，将神经元分成活性神经元(右上，70个神经元)和活性较低的神经元(右下，85个神经元)。
图12C示出了前70个活性神经元的钙活动模式的相似性矩阵。
图12D示出了相似性矩阵的前40个特征值。在k＝3处示出了本征间隙，其根据本征间隙试探法被选择为簇的数量(即，在本征值间隙之前选择最大的本征值，其中本征值显著增加)。
图12E示出了在70个活动神经元上的频谱聚类之后k＝3个聚类的归一化活动ΔF(t)/F0。
图12F示出了频谱聚类之后的相似性矩阵。频谱聚类将图12C的相似性矩阵的行和列排序重新排列为图12F中的块对角线，其表示钙活动模式的三个单独的聚类。
图13A示出了由300nm荧光珠组成的荧光样本，该荧光珠通过附加具有均匀入口的DPM而数字地重新聚焦到样本上方5μm的平面。使用相同平面处的机械扫描来捕获地面实况。在对应的图像旁边示出了垂直平均值(即，沿着图像的y轴的像素平均值)及其空间频谱(即，去除零频率的垂直平均值的傅里叶变换)。
图13B示出了通过附加DPM来对图13A的相同输入荧光图像进行数字重新聚焦，该DPM限定了具有沿x轴从0.65μm至130μm的变化周期的正弦3D表面，轴向振荡范围为8μm，即，相对于输入平面的正弦深度跨度为-1μm至-9μm。地面实况图像是从具有0.5μm轴向间距的z扫描堆叠在3D中双三次插值的。在每个DPM下方示出了每个DPM的垂直平均值和对应的空间频谱。在每个图像下方示出了差异图像的垂直平均值(即，图13A中的所得Deep-Z图像减去参考Deep-Z图像以及图13A中的地面实况图像减去参考地面实况图像)和对应的光谱。
图13C至图13F示出了相关系数(Corr.Coeff.-图13C)、结构相似性指数(SSIM-图13D)、平均绝对误差(MAE-图13E)和均方误差(MSE-图13F)用于将Deep-Z输出图像与由对应DPM限定的相同3D正弦表面处的地面实况图像进行比较，其中沿x轴具有从0.65μm到170μm的变化周期。对于大于～32μm(对应于～100个像素)的横向调制周期，可以实现到正弦3D表面上的可靠的Deep-Z聚焦，如图13C至图13F中的箭头所标记的。图13B中报告的结果和空间频率分析也证实了相同的结论。
图14示出了根据一个实施例的在Deep-Z中使用的生成器和判别器网络结构。ReLU：修正线性单元。Conv：卷积层。
图15A示意性地示出了宽视场荧光Z堆叠相对于共焦Z堆叠的配准(在横向方向上)。宽视场和共焦z-堆叠两者首先是自对准的，并且计算每个堆叠的扩展景深(EDF)图像。在空间上拼接EDF图像，并将来自宽视场的拼接EDF图像与共焦显微镜图像的图像对准。从拼接到EDF对准的空间变换被用作连续变换以将宽视场堆叠与共焦堆叠相关联。从EDF图像中裁剪256×256像素的非空宽视场ROI和相应的共焦ROI，并进一步对准。
图15B示出了示出配准图像与宽视场图像的叠加的示例图像。
图15C示出了宽视场堆叠和共焦堆叠中的聚焦曲线，其基于对应的SSIM值计算和比较并用于在轴向方向上对准宽视场堆叠和共焦堆叠。
图16A示出了在较低图像曝光下Deep-Z的重新聚焦能力。使用分别以10ms和100ms曝光时间捕获的图像训练的两个Deep-Z模型，在不同曝光时间下从-5、3和4.5μm的散焦距离对包含两个微珠的图像进行虚拟重新聚焦。
图16B示出了通过Deep-Z(100ms)网络模型在-10μm至10μm的散焦范围内虚拟重新聚焦输入图像之后在样本FOV内成像的91个微珠的中值FWHM值的曲线图。测试图像具有跨越3ms至300ms的不同曝光时间。
图16C示出了通过Deep-Z(00ms)网络模型在-10μm至10μm的散焦范围内虚拟重新聚焦输入图像之后在样本FOV内成像的91个微珠的中值FWHM值的曲线图。测试图像具有跨越3ms至300ms的不同曝光时间。
图17A示出了不同样本类型和迁移学习结果的基于Deep-Z的虚拟重新聚焦。输入图像记录了用GFP标记的秀丽隐杆线虫的神经元活动；在FITC通道下使用20×/0.8NA物镜捕获图像。使用最优蠕虫应变模型(表示为：相同模型，功能性GFP)以及不同模型(表示为：不同模型，结构tagRFP)虚拟地重新聚焦输入图像。还示出了迁移学习模型的结果，该迁移学习模型使用不同的模型作为其初始化和功能GFP图像数据集以在～500次迭代(～30分钟的训练)之后对其进行细化。
图17B示出了不同样本类型和迁移学习结果的基于Deep-Z的虚拟重新聚焦，尽管示出了不同的秀丽隐杆线虫样本(与图17A相比)。输入图像记录在德克萨斯红通道下使用20×/0.75NA物镜成像的用tagRFP标记的神经元核。使用精确的蠕虫应变模型(相同模型，结构，tagRFP)以及不同模型(不同模型，300nm红色珠)虚拟重新聚焦输入图像。还示出了迁移学习模型的结果，该迁移学习模型使用不同的模型作为其初始化和结构化ragRFP图像数据集以在～4,000次迭代(～6小时训练)之后对其进行细化。参考在相应的显微镜系统(分别为Leica和Olympus)处执行的地面实况机械扫描，图像相关系数(r)显示在每个图像的右下角。使用从原始数据集中随机选择的20％的训练数据和50％的验证数据进行迁移学习。
图18示出了不同显微镜系统的虚拟重新聚焦和转移学习结果。输入图像记录用标签GFP标记的秀丽隐杆线虫神经元核，使用具有20×/0.8NA物镜的Leica SP8显微镜成像。使用精确模型(Leica SP8 20×/0.8NA)以及不同模型(表示为：不同模型，Olympus 20×/0.75NA)两者虚拟聚焦输入图像。还示出了迁移学习模型的结果，该迁移学习模型使用不同的模型作为其初始化，并且Leica SP8图像数据集在～2000次迭代(～40分钟训练)之后对其进行细化。参考在对应显微镜系统处执行的地面实况机械扫描，在每个图像的右下角处示出图像相关系数(r)。使用从原始数据集中随机选择的20％的训练数据和50％的验证数据进行迁移学习。
图19A和图19B示出了使用Deep-Z的时间调制信号重构。使用时间调制照明源来激发微珠(300nm直径)的荧光信号。在该调制照明下在焦平面(z＝0μm)以及各种散焦平面(z＝2-10μm)处捕获样本的延时序列，并使用Deep-Z重新聚焦以数字地达到z＝0μm。对于每个序列，跟踪FOV内的297个单独珠(重新聚焦后)的强度变化。基于图19A中捕获的视频，每隔一帧被拍摄以形成具有两倍的帧速率和调制频率的图像序列，并将其添加回到具有横向移位的原始序列上(图19B)。这些散焦和叠加的图像使用Deep-Z虚拟地重新聚焦，以数字地达到z＝0μm，在焦平面上。组1在FOV内含有297个具有1Hz调制的单独珠。组2包含以2Hz调制频率叠加在相同FOV上的其他(新)珠的信号。将每个强度曲线归一化，并对每个延时序列绘制297条曲线的平均值和标准偏差。虚拟重新聚焦的Deep-Z输出跟踪正弦照明，非常接近目标(z＝0μm)中报告的对焦参考时间调制。
图20A至图20L示出了使用具有机械扫描的Deep-Z网络(以及合并)的秀丽隐杆线虫神经元分割比较。图20A、图20D是用作Deep-Z的输入的荧光图像。图20B和图20E分别是基于图20A、图20D的分割结果。图20C和图20F分别是基于使用图20A、图20D中的输入图像通过Deep-Z生成的虚拟图像堆叠(-10至10μm)的分割结果。图20G是在不同轴平面(z＝4μm)处捕获的另外的荧光图像。图20H是合并的虚拟堆叠(-10至10μm)上的分割结果。通过混合使用图20D和图20G的输入图像由Deep-Z生成的两个虚拟堆叠来生成合并图像堆叠。图20I是基于用作地面实况的机械扫描图像堆叠的分割结果(在41个深度处以0.5μm轴向间隔获取)。每个神经元由分割图中的小球体表示，并且每个神经元的深度信息被颜色编码。图20J至图20L示出了与图201中的位置相比较的图20E、图20F、图20H中检测到的神经元位置，并且绘制了Deep-Z结果与机械扫描的地面实况结果之间的轴向位移直方图。
图21A至图21H示出了靠近较强对象的横向移位的较弱荧光对象的基于Deep-Z的虚拟重新聚焦。图21A示出了平面z处的散焦实验图像(左珠)向右横向移位d个像素并以预定比率(右珠)数字弱化，然后将其加回到原始图像，用作Deep-Z的输入图像。比例尺：5μm。图21B是产生的强度比为0.2的珠对的实例；通过Deep-Z示出了焦平面、4μm和10μm的散焦平面以及对应的虚拟重聚焦图像。图21C至图21H是使用不同的轴向散焦距离(z)在虚拟重新聚焦平面处计算的FOV内的144个珠对的移位且减弱的珠信号相对于原始珠信号的平均强度比的曲线图。每个图中的十字“x”标记相应的横向移位距离，低于该横向移位距离，两个珠不能彼此区分，编码以表示珠信号强度比(跨越0.2-1.0)。箭头示出了对应于图例的增加信号强度比值的方向。
图22A至图22D示出了轴向遮挡对Deep-Z虚拟重聚焦性能的影响。图22B是具有相同横向位置但轴向间隔8μm的两个珠的3D虚拟重新聚焦；与通常一样，Deep-Z使用对应于重叠珠的散焦图像的单个2D输入图像。由Deep-Z计算的虚拟重新聚焦表现出表示沿着z轴的两个珠的两个最大值，与模拟的地面实况图像堆叠匹配。图22B示出了模拟示意图：将间距为d的相同珠图像堆叠中的两个散焦图像加在一起，其中较高的堆叠位于z＝8μm的深度处。合并图像堆叠中的单个图像用作Deep-Z的输入以进行虚拟重新聚焦。图22C至图22D报告了顶部(即，较暗的)珠信号相对于原始堆叠中的珠强度的强度比的平均值和标准偏差(由背景范围表示)，其是针对FOV内的144个珠对计算的，其中z＝8μm具有不同的轴向间隔和珠强度比(跨越0.2-1.0)。箭头示出了对应于图例的增加信号强度比值的方向。
图23A至图23E示出了根据3D荧光样本密度的Deep-Z推断结果。图23A示出了随着荧光珠浓度增加，在+/-10μm的轴向深度上Deep-Z推断与机械扫描的地面实况图像堆叠的比较。在每个图像的左上角示出了由Deep-Z输出(使用单个输入图像)以及机械扫描的地面实况(其包括以0.5μm的扫描步长获取的41个轴向图像)产生的测量的珠浓度。MIP：沿轴向方向的最大强度投影。比例尺：30μm。图23B至图23E示出了根据增加的珠浓度的Deep-Z输出与地面实况结果的比较。实线是对所有数据点的二阶多项式拟合。虚线表示y＝x，示出以供参考。这些颗粒浓度是在1536×1536像素(500×500μm2)的FOV上计算/测量的，即比图23A中所示的特定区域大15倍。
图24A示出了在3D中成像的纳米珠的荧光信号，重复轴向扫描180次，包含41个平面，跨越+/-10μm，步长为0.5μm。累积扫描时间为～30分钟。
图24B示出了单个平面的对应扫描，其由Deep-Z使用以生成虚拟图像堆叠，跨越样本内的相同轴向深度(+/-10μm)。Deep-Z的累积扫描时间为～15秒。中心线表示平均值，阴影区域表示样本体积内的681和597个单独纳米珠(分别用于图24A和图24B中的数据)的归一化强度的标准偏差。
具体实施方式
图1示出了系统2的一个实施例，系统2使用经训练的深度神经网络10来生成样本12(或样本12中的对象)的一个或多个荧光输出图像40，该图像被数字传播到一个或多个用户定义的或自动生成的表面。系统2包括包含一个或多个处理器102的计算设备100以及包含经训练的深度神经网络10的图像处理软件104。如本文所解释的，计算设备100可以包括个人计算机、膝上型计算机、平板PC、远程服务器、专用集成电路(ASIC)等，但是可以使用其他计算设备(例如，包含一个或多个图形处理单元(GPU)的设备)。
在一些实施例中，生成输出图像40的系列或时间序列，例如，样本12或其中的对象的延时视频剪辑或电影。经训练的深度神经网络10接收样本12的一个或多个荧光显微镜输入图像20(例如，在不同时间拍摄的多个图像)。通过说明而非限制的方式，样本12可以包括病理载玻片、活组织检查、体液、生物体(活的或固定的)、细胞(活的或固定的)、组织(活的或固定的)、细胞或亚细胞特征、包含生物体或其他微观物体的流体或液体样本。在一个实施例中，样本12可以是无标记的，并且从样本12发射的荧光是从样本12内的频移光的内源性荧光团或其他内源性发射体(例如，自发荧光)发射的。在另一个实施例中，样本12用一种或多种外源荧光标记物或其他外源光发射体标记。还考虑了两者的组合。
使用成像装置110(例如荧光显微镜装置110)获得一个或多个输入图像20。在一些实施例中，成像装置110可以包括宽视场荧光显微镜110，其在扩展的视场(FOV)上提供输入图像20。经训练的深度神经网络10输出或生成一个或多个荧光输出图像40，该图像被数字传播到用户定义或自动生成的表面42(如由数字传播矩阵(DPM)或其他附加数据结构建立的)。用户定义或自动生成的表面42可以包括二维(2D)表面或三维(3D)表面。例如，这可以包括在样本12内的不同轴向深度处的平面。用户定义或自动生成的表面42还可以包括弯曲的或其他3D表面。在一些实施例中，用户定义或自动生成的表面42可以是校正样本倾斜(例如，倾斜平面)、曲率或其他光学像差的表面。如本文所解释的可以包括DPM的用户定义或自动生成的表面42被附加到(例如，通过级联操作)输入到经训练的深度神经网络10的输入图像20或以其他方式与输入图像20相关联。经训练的深度神经网络10在用户定义或自动生成的表面42处输出输出图像40。
在一些实施例中，到经训练的深度神经网络10的输入图像20可以具有与用于训练深度神经网络10的地面实况(GT)图像相同或基本相似的数值孔径和分辨率。在其他实施例中，与地面实况(GT)图像相比，输入图像可以具有较低的数值孔径和较差的分辨率。在该稍后的实施例中，经训练的深度神经网络10执行输入图像20的虚拟重新聚焦和提高分辨率(例如，超分辨率)两者。通过训练深度神经网络10以增加或改善输入图像20的分辨率，来将该附加功能赋予深度神经网络10。
在其他实施例中，可以组合多个用户定义或自动生成的表面42以使用多个输出图像40来创建样本12的体积(3D)图像。因此，可以合并或组合使用经训练的深度神经网络10生成的输出图像40的堆叠，以创建样本12的体积图像。还可以根据时间生成体积图像，例如，示出随时间的移动的体积电影或延时视频剪辑。以类似的方式，可以使用多个用户定义或自动生成的表面42来创建具有扩展景深(EDOF)的输出图像，该扩展景深扩展了用于生成输入图像20的显微镜110的景深。在该选项中，使用多个DPM 42的多个输出图像40被数字组合，以创建样本12的EDOF图像。在相关实施例中，使用一个或多个DPM 42的至少一个输出图像40被用于创建样本12的聚焦改善图像。
在一个特定实施例中，由经训练的深度神经网络10生成的输出图像40具有与用于生成输入图像20的成像模态相同的成像模态。例如，如果使用荧光显微镜110来获得输入图像20，则输出图像40也将看起来是从相同类型的荧光显微镜110获得的，尽管重新聚焦到用户定义或自动生成的表面42。在另一实施例中，由经训练的深度神经网络10生成的输出图像40具有用于生成输入图像20的不同成像模态。例如，如果使用宽视场荧光显微镜110来获得输入图像20，则输出图像40可以看起来是从共焦显微镜获得的并且重新聚焦到用户定义的或自动生成的表面42。
在一个优选实施例中，经训练的深度神经网络10被训练为生成对抗网络(GAN)，并且包括两个部分：生成器网络(G)和判别器网络(D)，如图14所示。生成器网络(G)包括下采样路径44和对称的上采样路径46。在下采样路径44中，在一个特定实施方案中存在五个下采样块。下采样路径44中的每个块包含将输入张量映射到输出张量的两个卷积层。下采样路径44中的第五下采样块连接到上采样路径46。在一个实施例中，上采样路径46包括四个上采样块，每个上采样块包含将输入张量映射到输出张量的两个卷积层。连续上采样块之间的连接是上卷积(卷积转置)块，该上卷积块将图像像素上采样2×。最后一个块是卷积层，其将通道(在如本文所述的一个实施例中，四十八(48)个)映射到一个输出通道。
判别器网络(D)是由六个连续卷积块组成的卷积神经网络，每个卷积块将输入张量映射到输出张量。在最后一个卷积块之后，平均池化层平坦化输出并减少参数的数量，如本文所解释的。随后，存在具有LReLU激活函数的尺寸为3072×3072的全连接(FC)层，以及具有Sigmoid激活函数的尺寸为3072×1的另一FC层。最终输出表示判别器(D)的分数，其落在(0，1)内，其中0表示假标签并且1表示真标签。在训练期间，权重被初始化(例如，使用Xavier初始化器)，并且偏置被初始化为0.1。经训练的深度神经网络10使用图像处理软件104来执行，图像处理软件104包含经训练的深度神经网络10并且使用计算设备100来执行。如本文所解释的，可以使用任何数量的软件包和平台来实现图像处理软件104。例如，可以使用TensorFlow来实现经训练的深度神经网络10，但是可以使用其他编程语言(例如，Python、C++等)。本发明不限于特定的软件平台。
荧光输出图像40可以显示在与计算设备100相关联的显示器106上，但是应当理解，图像40可以显示在任何合适的显示器(例如，计算机监视器、平板计算机、移动计算设备等)上。输入图像20还可以任选地与一个或多个输出图像40一起显示。显示器106可以包括使得用户能够与系统2的各种参数交互的图形用户界面(GUI)等。例如，GUI可以使得用户能够定义或选择要在显示器106上呈现的图像的某些时间序列。因此，GUI可以包括常见的电影制作工具，该工具允许用户剪辑或编辑图像40的序列以创建电影或延时视频剪辑。GUI还可以允许用户容易地定义特定的用户定义表面42。例如，GUI可以包括允许用户定义样本12内的特定平面或其他表面的深度的旋钮、滑动条等。GUI还可以具有用户可以从中选择的多个预定义或任意用户定义或自动生成的表面42。这些可以包括不同深度处的平面、不同横截面处的平面、不同倾斜的平面、使用GUI选择的弯曲的或其他3D表面。这还可以包括样本12内的深度范围(例如，样本12中的体积区域)。GUI工具可以允许用户沿着样本12的深度容易地扫描。GUI还可以提供各种选项以增强或调整输出图像40，包括旋转、倾斜校正等。在一个优选实施例中，用户定义或自动生成的表面42形成为数字传播矩阵DPM 42，该DPM逐像素地表示期望或目标表面距输入图像20的平面的轴向距离。在其他实施例中，图像处理软件104可以建议或提供一个或多个用户定义或自动生成的表面42(例如，DPM)。例如，图像处理软件104可以自动生成校正一个或多个光学像差的一个或多个DPM 42。这可以包括诸如样本漂移、倾斜和球面像差的像差。因此，DPM 42可以由在图像处理软件104中实现的算法自动生成。可以使用单独的经训练的神经网络或软件实现的这种算法，可以通过具有与荧光图像20一起输入的表面或DPM 42的初始猜测来操作。根据度量(例如，锐度或对比度)分析网络或软件输出的结果。然后将结果用于生成DPM 42的新表面，该新表面与荧光图像20一起输入并如上所述进行分析，直到结果收敛于令人满意的结果(例如，已经实现了足够的锐度或对比度或获得了最大结果)。图像处理软件104可以使用贪婪算法，来基于例如使图像中的锐度和/或对比度最大化的表面来识别这些DPM 42。重要的是，这些校正离线进行，而不是在样本12被成像时进行。
GUI可以向用户提供观看样本12中的一个或多个移动或运动对象的所选电影剪辑或延时视频的能力。在一个特定实施例中，可以在显示器106上显示同时的电影剪辑或延时视频，其中每个都在不同的焦深处。如本文所解释的，系统2的这种能力消除了对机械轴向扫描和相关光学硬件的需要，而且还显著降低了样本内的光毒性或光漂白以使得能够进行纵向实验(例如，使得能够减少光子剂量或暴露于样本12的光)。另外，虚拟创建的延时视频/电影剪辑在时间上彼此同步(即，不同深度处的图像帧40具有相同的时间戳)，这是由于样本体积的不同部分的连续测量之间的不可避免的时间延迟而利用基于扫描的3D成像系统不可能实现的。
在一个实施例中，系统2可以与输入图像20基本上实时地输出图像40。也就是说，所采集的输入图像20与用户定义或自动生成的表面一起被输入到经训练的深度神经网络10，并且输出图像40被基本上实时地生成或输出。在另一个实施例中，输入图像20可以用荧光显微镜装置110获得，然后存储在存储器或本地存储装置(例如，硬盘驱动器或固态驱动器)中，然后可以在操作者方便时通过经训练的深度神经网络10运行该存储器或本地存储装置。
可以使用许多不同类型的显微镜110来获得或获取由显微镜装置110获得的输入图像20(除了训练图像之外)。这包括：超分辨率显微镜、共焦显微镜、具有单光子或多光子激发荧光的共焦显微镜、二次谐波或高次谐波发生荧光显微镜、光片显微镜、结构照明显微镜、计算显微镜、重叠关联显微镜。
实验
在本文所述的深度-Z系统2中，输入2D荧光图像20(将被数字地重新聚焦到样本12的体积内的3D表面上)首先附加有数字传播矩阵(DPM)形式的用户定义的表面42，该DPM逐像素地表示目标表面距输入图像的平面的轴向距离，如图1和图2所示。Deep-Z图像处理软件104包括经训练的深度神经网络10，该经训练的深度神经网络10使用条件生成对抗神经网络(GAN)来训练，该条件生成对抗神经网络(GAN)使用以下精确匹配的对：(1)轴向聚焦在不同深度处并附加有不同DPM的各种荧光图像和(2)在由对应DPM限定的正确/目标焦平面处捕获的对应荧光图像(即，地面实况(GT)标签)。通过这种仅使用实验图像数据而没有任何假设或物理模型的训练过程，基于GAN的经训练的深度神经网络10的生成器网络学习将每个DPM像素的值解释为轴向重新聚焦距离，并将在样本12体积内数字重聚焦的等效荧光图像40输出到由用户定义的3D表面(即，DPM或其他用户定义或自动生成的表面42)，其中，根据它们相对于目标表面的真实轴向位置，样本的一些部分被聚焦，而一些其他部分散焦。
为了证明这种独特的荧光数字重聚焦系统2的成功，使用具有20×/0.75数值孔径(NA)物镜的标准宽视场荧光显微镜对秀丽隐杆线虫(C.elegans)神经元进行成像，并将该物镜(～1μm)的天然景深(DOF)扩展～20倍，其中使用经训练的深度神经网络10将单个2D荧光图像相对于其焦平面轴向重聚焦到Δz＝±10μm，从而提供与通过在相同轴向范围内机械扫描样本获得的荧光图像的非常好的匹配。使用较高NA物镜(40×/1.3NA)也获得了类似的结果。使用该基于深度学习的荧光图像重聚焦系统2，使用在单个焦平面处获取的荧光图像的时间序列，在±10μm的扩展DOF上进一步证明了秀丽隐杆线虫的神经元活动的3D跟踪。因此，样本12(或样本12内的对象)的输入图像20的时间序列，可用于生成随时间推移的2D和/或3D跟踪的延时视频或电影。
此外，为了强调由系统2实现的一些附加自由度，空间非均匀DPM 42被用于将2D输入荧光图像重新聚焦到用户定义的3D表面上，以计算地校正像差，诸如样本漂移、倾斜和球面像差，所有这些都在荧光图像获取之后执行，并且不对标准宽视场荧光显微镜的光学硬件进行任何修改。
系统2的另一个重要特征是它允许荧光图像20的交叉模态数字重新聚焦，其中经训练的深度神经网络10用由不同的荧光显微镜110模态获得的金标准标记图像来训练，以教导经训练的深度神经网络10将输入图像20重新聚焦到样本体积内的另一个平面上，但是这次与输入图像20相比匹配由不同的荧光成像模态获取的相同平面的图像。该相关框架在本文中被称为Deep-Z+。在该实施例中，由输入图像20使用第一显微镜模态生成的输出图像40类似于并且基本上等同于用第二类型的显微镜模态获得的相同样本12的显微镜图像。为了证明这种独特能力的概念验证，用分别用宽视场荧光显微镜110和共焦显微镜(未示出)获取的输入和标记图像，来训练Deep-Z+训练的深度神经网络10，以在该交叉模态Deep-Z+的输出处摸索地生成输入宽视场荧光图像20的数字重聚焦图像40，其与相同样本切片的共聚焦显微镜图像匹配。
应当理解，各种不同的成像模态将与交叉模态功能一起工作。例如，第一显微镜模态可以包括荧光显微镜(例如，宽视场荧光)，并且第二模态可以包括以下类型的显微镜之一：超分辨率显微镜、共焦显微镜、具有单光子或多光子激发荧光的共焦显微镜、二次谐波或高次谐波发生荧光显微镜、光片显微镜、结构化照明显微镜、计算显微镜、重叠关联显微镜。
在其训练之后，深度神经网络10保持固定，而附加的DPM或其他用户定义的表面42为用户提供“深度调节旋钮”，以将单个2D荧光图像重新聚焦到3D表面上并以快速非迭代的方式输出期望的数字重新聚焦的荧光图像40。除了荧光显微镜之外，Deep-Z框架可以应用于其他非相干成像模态，并且实际上它通过使用单个2D非相干图像实现样本体积的3D数字重新聚焦来弥合相干显微镜和非相干显微镜之间的间隙。系统2的另一个独特之处在于，它使得能够致能计算框架，用于使用经训练的深度神经网络10的单个前向传递操作将3D表面快速变换到荧光样本体积内的另一个3D表面上。
使用Deep-Z的荧光图像的数字重聚焦
本文描述的系统2和方法使得单个仅强度宽视场荧光图像20能够在其训练的轴向范围内数字地重新聚焦到用户定义的表面42。图2A通过将300nm荧光珠(激发/发射：538nm/584nm)的单个荧光图像20数字传播到由DPM 42限定的多个用户定义的平面来展示该概念。由物镜的NA(20×/0.75NA)限定的输入荧光图像20的原生DOF为～1μm。使用Deep-Z系统2，该荧光珠的图像在～±10μm的轴向范围内数字地重新聚焦，匹配形成地面实况(GT)的相同感兴趣区域(ROI)的机械扫描的对应图像。注意，图2A中的PSF在轴向方向上是不对称的，这向神经网络10提供了关于通过Deep-Z的输入图像的数字传播的方向提示。与对称高斯光束不同，沿轴向的这种PSF不对称性在荧光显微镜系统中普遍存在。除了数字地重新聚焦输入荧光图像20之外，与在对应深度处测量的相同对象的荧光图像相比，Deep-Z系统2还在其输出40处提供改善的信噪比(SNR)(参见图7)；与机械扫描的地面实况相比，该SNR增加的核心是经训练的深度神经网络10拒绝在其训练阶段期间未被一般化的各种图像噪声源的能力。为了进一步量化Deep-Z系统2输出性能，使用PSF分析。图2B、图2C示出了分布在～500×500μm2上的461个单独/分离的纳米珠的横向和轴向半高全宽(FWHM)值的直方图。这些直方图的统计彼此非常一致，确认了从单个荧光图像(N＝1个测量图像)计算的Deep-Z输出图像40与对应的轴向扫描的地面实况(GT)图像(N＝41个测量图像)之间的匹配。该定量匹配强调了Deep-Z系统2通过图像数据间接学习荧光的3D重聚焦的事实。然而，这种学习能力被限制在由训练数据集确定的轴向范围内(例如，在该工作中为±10μm)，并且在该训练范围之外失败(参见图8以量化这种现象)。当然，在更宽的轴向范围内的训练将改善经训练的深度神经网络10的轴向重聚焦的范围。
接下来，通过对表达泛神经元tagRFP的秀丽隐杆线虫的神经元进行成像来测试Deep-Z系统2。图3示出了来自单个宽视场荧光输入图像20的秀丽隐杆线虫蠕虫的不同部分的基于Deep-Z的重聚焦的盲测试结果。使用Deep-Z系统2，输入图像20中的不可区分的荧光神经元在不同深度处聚焦，而输入图像20处的一些其他聚焦神经元根据它们在3D中的真实轴向位置失焦并模糊到背景中；参见图3中提供的与地面实况机械扫描的横截面比较(对于图像差异分析，也参见图9A至图9J)。对于最佳性能，使用秀丽隐杆线虫样本12专门训练该Deep-Z系统2，以准确地学习3D PSF信息以及线虫体和周围介质的折射特性。使用Deep-Z系统2，在～±10μm的轴向范围内(从秀丽隐杆线虫蠕虫的单个2D荧光图像)生成样本12的虚拟3D堆叠和3D可视化。对于在40×/1.3NA物镜下成像的秀丽隐杆线虫也获得了类似的结果，其中Deep-Z在～+4μm的轴向范围内成功地重新聚焦输入图像(参见图10)。
因为Deep-Z系统2可以使用单个2D荧光图像20数字地重建3D样本12内的任意平面的图像，而不牺牲成像系统的固有分辨率、帧速率或光子效率，所以它对于动态(例如，移动)生物样本12的成像特别有用。为了证明这种能力，捕获了四个移动的秀丽隐杆线虫蠕虫12的视频，其中使用Deep-Z训练的深度神经网络10将该荧光视频的每个图像帧40数字地重新聚焦到各种深度。这使得能够创建相同样本体积的同时运行的视频，每个视频聚焦在不同的深度(例如，z深度)。这种独特的能力不仅消除了对机械轴向扫描和相关光学硬件的需要，而且还显著降低了样本内的光毒性或光漂白以实现纵向实验。又一个有利特征是在不同深度处同时显示时间同步的延时视频或电影剪辑的能力，这对于传统的基于扫描的3D成像系统是不可能的。除了线虫的神经元的3D成像之外，系统2还很好地工作以数字地重新聚焦空间上更密集的荧光样本12的图像20，例如牛肺动脉内皮细胞(BPAEC)内的线粒体和F-肌动蛋白结构，如图11所示。
如到目前为止所描述的，利用Deep-Z训练的深度神经网络10来推断盲测试的样本12，该Deep-Z训练的深度神经网络10使用相同类型的样本12和相同的显微镜系统(即，成像装置110的相同模态)来训练。还在不同的场景下评估系统2，其中与训练图像集相比引入测试数据分布的变化，例如(1)对不同类型的样本12进行成像，(2)使用不同的显微镜系统110进行成像，以及(3)使用不同的照明功率或SNR。结果(图17A、图17B、图18、图19)和相关分析揭示了Deep-Z系统2对这些变化中的一些的鲁棒性；然而，作为利用Deep-Z系统2实现最佳性能的一般建议，应该训练神经网络10(从头开始或通过迁移学习)，这显著加快了训练过程，如图17A、图17B、图18所示，使用利用相同显微镜成像装置/系统110和相同类型的样本获得的训练图像，如预期在测试阶段使用的。
使用Deep-Z的样本漂移引起的散焦补偿
Deep-Z系统2还使得能够在捕获图像20之后校正样本漂移引起的散焦。生成显示由具有20×/0.8NA物镜(DOF～1μm)的宽视场荧光显微镜110记录的移动的秀丽隐杆线虫蠕虫的视频。蠕虫从记录平面散焦～2-10μm。使用Deep-Z系统2，可以将输入视频的每个图像帧20数字地重新聚焦到高达10μm的不同平面，从而校正该样本漂移引起的散焦。通常通过在测量期间主动监测图像焦点并对其进行校正(例如，通过使用附加显微镜)来补偿这种样本漂移。另一方面，Deep-Z系统2提供了补偿已经捕获的2D荧光图像中的样本漂移的可能性。
使用Deep-Z对秀丽隐杆线虫进行3D功能成像
3D荧光成像的一个重要应用是神经元活动跟踪。例如，使用荧光显微镜110对表达不同荧光蛋白的遗传修饰的动物进行常规成像以揭示它们的神经元活动。为了突出Deep-Z系统2在3D中跟踪神经元活动的实用性，使用具有两个荧光通道的20×/0.8NA物镜在单个焦平面(z＝0μm)处以～3.6Hz记录秀丽隐杆线虫的荧光视频～35秒：用于神经元活动的FITC和用于神经元位置的德克萨斯红。输入视频图像帧20相对于彼此配准，以校正连续帧之间的蠕虫的轻微身体运动(本文在方法部分中描述)。然后，使用Deep-Z训练的深度神经网络10将所获取的视频的每个通道处的每个帧20数字地重新聚焦到具有0.5μm步长的从-10μm到10μm的一系列轴向平面，为每个所获取的帧生成(输出图像40的)虚拟3D荧光图像堆叠。比较视频由记录的输入视频以及这些虚拟堆叠的沿z的最大强度投影(MIP)的视频组成。在输入视频中散焦的神经元可以根据需要清楚地重新聚焦在两个荧光通道的Deep-Z输出处。这使得能够从在单个焦平面处捕获的2D荧光图像20的时间序列，准确地时空跟踪3D中的单个神经元活动。
为了使用Deep-Z输出图像40量化神经元活动，使用德克萨斯红通道(神经元位置)分割每个单独神经元的体素，并跟踪每个神经元区段内随时间的FITC通道(神经元活动)的荧光强度的变化，即ΔF(t)＝F(t)-F0，其中F(t)是神经元荧光发射强度，并且F0是其时间平均值。使用Deep-Z输出图像40分离3D中的总共155个单独神经元，如图4B所示，其中颜色表示每个神经元的深度(z位置)。为了比较，图20B报告了仅应用于输入2D图像的相同分割算法的结果，其中识别出99个神经元，而没有任何深度信息。
图4C绘制了70个最活跃的神经元的活动，这些神经元基于其钙活动模式相似性被分组为簇C1-C3。图12A至图12F中提供了使用Deep-Z推断的所有155个神经元的活动。图4C报告了簇C3钙活动在t＝14s时增加，而簇C2的活动在类似的时间点降低。这些神经元非常可能对应于分别促进向后和向前运动的运动神经元类型A和B，其通常彼此反相关。簇C1以位于蠕虫中间的两个尺寸相对较大的细胞为特征。这些细胞在t＝4、17和32秒时具有三个同步的短尖峰。它们的3D位置和钙活动模式规律性表明它们是排便系统的神经元或肌肉细胞，其与运动系统协调以规则的间隔启动排便。
应当强调的是，所有这种3D跟踪的神经元活动实际上嵌入在样本12内的单个焦平面处获取的输入2D荧光图像序列(即，图像20)中，但是不能容易地从其推断。通过Deep-Z系统2及其对样本体积内的用户定义的表面42的3D重聚焦能力，使用2D微观时间序列准确地跟踪神经元位置和活动，而不需要机械扫描、附加硬件或分辨率或成像速度的折衷。
因为Deep-Z系统2通过纯数字重新聚焦生成时间同步的虚拟图像堆叠，所以它可以用于通过使用例如流模式将成像速度匹配(或改善)到相机帧速率的限制，该流模式通常实现高达每秒100帧的短视频。为了突出这一机会，使用Leica SP8显微镜的相机的流模式，以100fps捕获两个视频，用于在10秒的时间段内监测移动的秀丽隐杆线虫的神经元核(在德克萨斯红通道下)和神经元钙活动(在FITC通道下)，并使用Deep-Z在+/-10μm的轴向深度范围内从这些帧生成虚拟重新聚焦的视频。
使用空间非均匀DPM的基于Deep-Z的像差校正
在一个实施例中，在训练阶段和盲测试中都使用均匀的DPM 42，以便将输入荧光图像20重新聚焦到样本体积内的不同平面。这里应该强调的是，即使Deep-Z训练的深度神经网络10是用均匀DPM 42训练的，但是在测试阶段，也可以使用空间非均匀条目作为DPM42的一部分来将输入荧光图像20重新聚焦到用户定义的3D表面上。该能力使得能够将3D表面的荧光图像数字重新聚焦到由对应DPM 42的像素映射限定的另一3D表面上。
在许多应用中，这种独特的能力对于在图像捕获、测量或评估由光学系统(和/或样本)引入的像差之后同时自动聚焦荧光图像的不同部分、以及通过应用期望的非均匀DPM42来校正这种像差是有用的。为了举例说明由Deep-Z系统2实现的这种附加自由度，图5A至图5L示出了在获取每个对象的单个2D荧光图像之后，两个不同样本的平面倾斜和圆柱曲率的校正。图5A示出了第一次测量，其中荧光纳米珠样本的平面相对于物镜的焦平面倾斜1.5°。结果，所获取的原始荧光图像(图5C)的左侧和右侧模糊，并且这些纳米珠的相应横向FWHM值变得显著更宽，如图5E所示。通过使用如图5B所示的表示该样本倾斜的非均匀DPM42，Deep-Z训练的深度神经网络10可以作用于模糊的输入图像20(图5C)并且准确地使所有纳米珠聚焦(图5D)，即使它仅使用均匀DPM 42训练。在网络输出图像处计算的横向FWHM值变为单分散的，中值为～0.96μtm(图5F)，相比之下，输入图像处的中值为～2.14μm(图5E)。类似地，图5G示出了第二次测量，其中纳米珠分布在直径为～7.2mm的圆柱形表面上。结果，测量的原始荧光图像表现出如图5I所示的散焦区域，并且这些纳米珠图像的FWHM值相应地加宽(图5K)，对应于～2.41μm的中值。另一方面，使用限定该圆柱形表面的非均匀DPM 42(图5H)，使用Deep-Z训练的深度神经网络10(图5J)校正图5I中的像差，并且类似于倾斜样本的情况，在网络输出图像处计算的横向FWHM值根据需要再次变为单分散的，中值为～0.91μm(图5L)。
为了评估该技术的局限性，量化了DPM 42可以具有的3D表面曲率，而不产生伪像。为此，使用一系列DPM 42，其由3D正弦图案组成，该3D正弦图案具有沿x方向的D＝1，2，…，256个像素的横向周期(像素尺寸为0.325μm)和8μm的轴向振荡范围，即相对于输入平面的-1μm至-9μm的正弦深度跨度。这些3D正弦DPM 42中的每一个附加在输入荧光图像20上，该输入荧光图像20被馈送到Deep-Z网络10中。然后将由对应的DPM 42限定的每个正弦3D表面处的网络输出，与使用扫描步长为0.5μm的轴向扫描的z堆叠在3D中插值的图像进行比较，这形成了用于比较的地面实况图像。如图13A至图13F所总结的，当调制周期>100像素(即，对象空间中>32μm)时，Deep-Z网络10可以将输入荧光图像20可靠地重新聚焦到由正弦DPM 42限定的3D表面上。对于周期小于32μm的较快振荡DPM 42，对应3D表面处的网络输出图像40在这些高频及其谐波处表现出背景调制，如图13A至图13F中报告的频谱分析所示。对于低频DPM 42，这些高次谐波伪影和背景调制消失，低频DPM 42在输出处限定具有>32μm的横向周期和8μm的轴向范围的正弦3D表面。
荧光图像的交叉模态数字重聚焦：Deep-Z+
Deep-Z系统2使得能够将宽视场荧光显微镜图像20中的离焦3D特征数字重新聚焦到用户定义的表面。相同的概念也可以用于执行输入荧光图像20的交叉模态数字重聚焦，其中可以使用由两种不同的荧光成像模态(即，称为Deep-z+)捕获的输入和标记图像对来训练生成器网络G。在其训练之后，Deep-Z+训练的深度神经网络10学习将由荧光显微镜110获取的单个输入荧光图像20数字地重新聚焦到3D中的用户定义的目标表面42，但是这次输出40将匹配由不同荧光成像模态在对应的高度/平面处捕获的相同样本12的图像。为了证明这种独特的能力，使用宽视场显微镜图像(用作输入)和对应平面处的共焦显微镜图像(用作地面实况(GT)标记)的对，来训练Deep-Z+深度神经网络10，以执行交叉模态数字重聚焦。图6A至图6D显示了使用该Deep-Z+系统2对BPAEC的微管结构进行成像的盲测结果。如图6B至图6D所示，经训练的Deep-Z+网络10将输入宽视场荧光图像20数字地重新聚焦到不同的轴向距离上，同时拒绝重新聚焦平面处的一些散焦空间特征，匹配对应平面的共焦图像，其用作地面实况(GT)(图6C)。例如，图6A至图6C中ROI左下角处的微管结构(其在z＝0.34μm的重聚焦距离处突出)在z＝-0.46μm的重聚焦距离处被Deep-Z+网络10(图6B的顶部图像)数字地拒绝，因为它在该轴向距离处变得离焦，与相同深度处的共焦显微镜的相应图像匹配。如图6A至图6D所示，Deep-Z+系统2将共焦显微镜的切片能力与其图像重聚焦框架合并。图6B和图6C还报告了Deep-Z+输出图像40的x-z和y-z横截面，其中与宽视场荧光显微镜的轴向扫描图像相比，微管结构的轴向分布显著更清晰，提供了与用共焦显微镜获得的横截面的非常好的匹配，与其训练的目的相匹配。
Deep-Z系统2由经训练的深度神经网络2供电，该经训练的深度神经网络2使得能够使用单个2D荧光图像20在样本12内进行3D重聚焦。该框架是非迭代的，并且在其训练阶段之后不需要超参数调整。在Deep-Z中，用户可以为DPM 42中的每个像素指定重新聚焦距离(遵循训练中使用的轴向范围)，并且荧光图像20可以在本文报告的变换限制内通过Deep-Z训练的深度神经网络10数字地重新聚焦到对应的表面(参见例如图8和图13A至图13F)。基于Deep-Z的系统2对于样本体积内的荧光对象的密度(高达极限，其是轴向重聚焦距离的函数)、输入图像的曝光时间以及照明强度调制的变化也是鲁棒的(参见图16A至图16C、图19A至图19B、图21A至图21H、图22A至图22D、图23A至图23E以及详细结果的描述)。因为距离被编码在DPM中并被建模为卷积通道，所以可以用均匀DPM 42训练网络10，这仍然允许在推断阶段期间应用各种非均匀DPM 42，如本文所报告的，用于例如校正样本漂移、倾斜、曲率或其他光学像差，这为成像系统带来了额外的自由度。
最近还证明深度学习在执行去卷积以提高显微镜图像中的横向和轴向分辨率方面非常有效。Deep-Z网络10是唯一的，因为它基于用户定义的DPM 42选择性地对通过数字重聚焦过程(参见例如图11)聚焦的空间特征进行去卷积，同时对离焦的其他特征进行卷积，从而使对比度与聚焦特征形成对比。通过这种Deep-Z框架，相干成像和全息术的快照3D重聚焦能力被带到非相干荧光显微镜，而无需任何机械扫描、额外的硬件组件或成像分辨率或速度的折衷。这不仅显著提高了成像速度，而且还减少了光漂白和光毒性对样本12的负面影响。对于获取轴向图像堆叠的宽视场荧光显微镜实验，照射激发荧光团穿过试样或样本12的整个厚度，并且样本体积内给定点的总曝光与在单次通过z堆叠期间获取的成像平面的数量(Nz)成比例。相反，如果Deep-Z系统2的轴向训练范围覆盖样本深度，则Deep-Z系统2仅需要单个图像采集步骤。因此，由Deep-Z系统2实现的需要在样本体积内成像的轴向平面的数量的这种减少，直接有助于减少对样本的光损伤(参见例如图24A至图24B)。
最后，应当注意，该方法中的可检索轴向范围取决于记录图像的SNR，即，如果PSF携带的深度信息低于本底噪声，则准确推断将成为具有挑战性的任务。为了验证预训练的Deep-Z网络模型10在可变SNR下的性能，在不同曝光条件下测试Deep-Z的推断(图16A至图16C)，揭示了其推断在未包括在训练数据中的宽范围的图像曝光时间上的鲁棒性。使用Deep-Z系统2证明了宽视场荧光图像的DOF的～20×的增强。该轴向重聚焦范围实际上不是绝对限制，而是训练数据的实际选择，并且可以通过对光学设置的硬件修改(例如，通过在轴向方向上设计PSF)来进一步改进该轴向重聚焦范围。除了需要额外的硬件和灵敏的对准/校准之外，这样的方法还将需要更亮的荧光团，以补偿由于在检测路径中插入额外的光学部件而导致的光子损失。
方法
样本制备
300nm红色荧光纳米珠购自MagSphere Inc.(Item#PSF-300NM 0.3UM RED)，用甲醇稀释5,000倍，并在稀释前后超声处理15分钟以分解簇。对于平坦表面和倾斜表面上的荧光珠样本，彻底清洁#1盖玻片(22×22mm2，约150μm厚度)并进行等离子体处理。然后，将2.5μL稀释的珠样本液滴移液到盖玻片上并干燥。对于弯曲(圆柱形)表面上的荧光珠样本12，将玻璃管(～7.2mm直径)彻底清洁并等离子体处理。然后将2.5μL稀释的珠样本12的液滴移液到玻璃管的外表面上并干燥。
在AML18菌株中进行秀丽隐杆线虫神经元的结构成像。AML18携带基因型wtfIs3[rab-3p：：NLS：：GFP+rab-3p：：NLS：：tagRFP]，并在所有神经元的核中表达GFP和tagRFP。对于功能成像，使用携带wtfIs5[rab-3p：：NLS：：GCaMP6s+rab-3p：：NLS：：tagRFP]的菌株AML32。菌株获自Caenorhabditis遗传学中心(CGC)。使用标准条件在接种有OP50细菌的线虫生长培养基(NGM)上培养蠕虫。为了成像，用M9将蠕虫从板上洗掉，并用3mM左旋咪唑麻醉。然后将麻醉的蠕虫固定在接种有3％琼脂糖的载玻片上。为了对移动的蠕虫成像，省略了左旋咪唑。
从Thermo Fisher获得多标记的牛肺动脉内皮细胞(BPAEC)的两个载玻片：FluoCells制备的载玻片#1和FluoCells制备的载玻片#2。标记这些细胞以表达不同的细胞结构和细胞器。第一张载玻片针对线粒体使用德克萨斯红，针对F-肌动蛋白结构使用FITC。第二载玻片针对微管使用FITC。
荧光图像采集
使用20×/0.75NA物镜(UPLSAPO20X，Olympus Life Science)，通过倒置扫描显微镜(IX83，Olympus Life Science)捕获纳米珠、秀丽隐杆线虫结构和BPAEC样本的荧光图像。以100％输出功率使用130W荧光光源(U-HGLGPS，Olympus Life Science)。使用两个带通光学滤波器组：德克萨斯红和FITC。通过将具有珠的盖玻片直接放置在显微镜样本支架上来捕获珠样本。通过将具有珠子的盖玻片放置在3D打印支架上来捕获倾斜的表面样本，该支架相对于焦平面产生1.5°的倾斜。将具有荧光珠的圆柱形管表面直接放置在显微镜样本支架上。使用德克萨斯红滤波器组对这些荧光珠样本进行成像。将秀丽隐杆线虫样本载玻片置于显微镜样本支架上，并使用德克萨斯红滤波器组成像。将BPAEC载玻片置于显微镜样本支架上，并使用德克萨斯红和FITC滤波器组成像。对于所有样本，扫描显微镜具有机动载物台(用于IX73/83的PROSCAN XY载物台套件)，其将样本移动到不同的FOV并在每个位置进行基于图像对比度的自动聚焦。使用
Figure BDA0003194554730000321
显微镜自动化软件(MolecularDevices，LLC)控制电动载物台。在每个位置处，控制软件基于图像的标准偏差自动聚焦样本，并且以0.5μm的步长从-20μm至20μm获取z-堆叠。图像堆叠由单色科学CMOS相机(ORCA-flash4.0v2，Hamamatsu Photonics K.K.)捕获，并以非压缩tiff格式保存，具有81个平面和每个平面中的2048×2048像素。
使用20×/0.8NA物镜(HCPLAPO20x/0.80DRY，Leica Microsystems)和40×/1.3NA物镜(HCPLAPO40x/1.30OIL，Leica Microsystems)通过另一扫描宽视野荧光显微镜(TCSSP8，LeicaMicrosystems)捕获秀丽隐杆线虫神经元活动的图像。使用两个带通光学滤波器组：德克萨斯红和FITC。通过单色科学CMOS相机(Leica-DFC9000GTC-VSC08298)捕获图像。为了捕获麻醉蠕虫的图像堆叠，由控制软件(LAS X，Leica Microsystems)控制的电动载物台将样本载玻片移动到不同的FOV。在每个FOV处，控制软件拍摄从-20μm到20μm的z-堆叠，对于20×/0.8NA物镜图像，步长为0.5μm，对于40×/1.3NA物镜图像，步长为0.27μm，相对于中间平面(z＝0μm)。在每个z平面分别拍摄德克萨斯红通道和FITC通道的两个图像。为了捕获动态蠕虫的2D视频，控制软件拍摄了一个延时视频，该视频也以系统的最大速度对德克萨斯红和FITC通道进行时间复用。对于两个通道的成像，对于10fps的最大相机帧速率，这导致～3.6fps的平均帧速率。
通过另一倒置扫描显微镜(TCS SP5，Leica Microsystems)捕获BPAEC宽视野和共焦荧光图像。使用63×/1.4NA物镜(HC PL APO 63×/1.40Oil CS2，Leica Microsystems)获取图像，并使用FITC滤波器组。宽视场图像由1380×1040像素12位动态范围的CCD记录，共焦图像由8位动态范围(1024×1024像素)的光电倍增管(PMT)记录。扫描显微镜具有将样本移动到不同FOV和深度的电动载物台。对于每个位置，记录具有0.2μm轴向间距的12个图像的堆叠。
图像预处理和训练数据准备
首先使用名为“StackReg”的ImageJ插件轴向对准每个捕获的图像堆叠，该插件校正由显微镜载物台不准确引起的刚性移位和旋转。然后使用名为“Extended DepthofField(扩展的景深)”的另一ImageJ插件生成扩展景深(EDF)图像。该EDF图像被用作参考图像以归一化整个图像堆叠，遵循三个步骤：(1)在图像上使用三角形阈值以分离背景和前景像素；(2)EDF图像的背景像素的平均强度被确定为背景噪声并被减去；(3)EDF图像强度缩放到0-1，其中缩放因子经确定使得背景上方的前景像素的1％大于1(即，饱和)；以及(4)将堆叠中的每个图像减去该背景水平并通过该强度缩放因子归一化。对于没有图像堆叠的测试数据，将步骤(1)-(3)应用于输入图像而不是EDF图像。
为了准备训练和验证数据集，在每个FOV上，对荧光EDF图像应用具有固定阈值的测地膨胀，以生成表示包含背景上方的样本荧光信号的区域的掩模。然后，使用定制的贪婪算法来确定覆盖该掩模的具有256×256像素的区域的最小集合，在这些训练区域之间具有～5％的面积重叠。这些区域的横向位置用于在图像堆叠的每个高度上裁剪图像，其中每个区域的中间平面被设置为具有最高标准偏差的中间平面。然后将该中间平面上方的20个平面和该中间平面下方的20个平面设置为堆叠的范围，并且从这41个平面中的每一个生成输入图像平面。根据数据集的大小，随机选择这41个平面中的约5-10个作为对应的目标平面，形成约150至300个图像对。对于这些图像对中的每一个，基于平面的位置(即，0.5μm乘以从输入平面到目标平面的差)来确定重新聚焦距离。通过重复该数量，生成均匀的DPM 42并将其附加到输入荧光图像20。最终数据集通常包含～100000个图像对。这被随机分成训练数据集和验证数据集，其分别占85％和15％的数据。在训练过程期间，通过将图像翻转或旋转90的随机倍数来进一步增强每个数据点五次。验证数据集未被增强。从具有不与训练数据集和验证数据集的FOV重叠的样本FOV的单独测量中，裁剪测试数据集。
Deep-Z网络架构
Deep-Z网络由最小二乘GAN(LS-GAN)框架形成，并且它由两部分组成：生成器(G)和判别器(D)，如图14所示。生成器(G)是卷积神经网络(CNN)并且由下采样路径44和对称上采样路径46组成。在下采样路径44中，存在五个下采样块。每个块包含将输入张量xk映射到输出张量xk+1的两个卷积层：
Figure BDA0003194554730000341
其中ReLU[.]代表修正线性单元运算，并且CONV{.}代表卷积运算符(包括偏置项)。CONV的下标表示卷积层中的通道数量；沿着下采样路径，对于级别，k＝1，2，3，4，5，一种情况分别具有：k1＝25，72，144，288，576和k2＝48，96，192，384，768。等式(1)中的“+”符号表示剩余连接。在输入张量xk上使用零填充以补偿输入和输出张量之间的通道数不匹配。两个连续的下采样块之间的连接是具有2×2像素步幅的2×2最大池化层，以执行2×下采样。第五下采样块连接到上采样路径，这将在下面详细描述。
在上采样路径46中，存在四个对应的上采样块，每个上采样块包含使用下式将输入张量yk+1映射到输出张量yk的两个卷积层：
Figure BDA0003194554730000351
其中，CAT(.)运算符表示沿着通道方向的张量的级联，即，CAT(xk+1，yk+1)将来自下采样路径的张量xk+1附加到对应级别k+1处的上采样路径中的张量yk+1。对于k＝1，2，3，4，卷积层中的通道的数量分别表示为是沿着上采样路径的k3＝72，144，288，576和k4＝48，96，192，384。连续上采样块之间的连接是上卷积(卷积转置)块，其将图像像素上采样2×。最后一个块是将48个通道映射到一个输出通道的卷积层(参见图14)。
判别器是由六个连续卷积块组成的卷积神经网络，对于给定级别i，每个卷积块将输入张量zi映射到输出张量zi+1：
Figure BDA0003194554730000352
其中LReLU表示斜率为0.01的泄漏ReLU算子。卷积运算符的下标表示其通道的数量，对于卷积块i＝1，2，3，4，5，6，分别是i1＝48，96，192，384，768，1536和i2＝96，192，384，768，1536，3072。
在最后一个卷积块之后，平均池化层平坦化输出并将参数的数量减少到3072。随后，存在具有LReLU激活函数的尺寸为3072×3072的全连接(FC)层，以及具有Sigmoid激活函数的尺寸为3072×1的另一FC层。最终输出表示判别器得分，其落在(0，1)内，其中0表示假标签并且1表示真标签。
除非另有说明，否则所有卷积块使用3×3像素的卷积内核大小，并且复制一个像素的填充。所有卷积具有1×1像素的步幅，除了等式(3)中的第二卷积，其具有2×2像素的步幅以在判别器路径中执行2×下采样。使用Xavier初始化器初始化权重，并且将偏置初始化为0.1。
Deep-Z网络的训练和测试
Deep-Z网络10学习使用由附加的DPM 42给出的信息来将输入图像20数字地重新聚焦到用户定义的平面。在训练阶段，生成器G(.)的输入数据具有256×256×2的维度，其中第一通道是荧光图像，第二通道是用户定义的DPM。G(.)的目标数据具有256×256的尺寸，其表示由DPM指定的表面处的相应荧光图像。判别器D(.)的输入数据具有256×256的维度，其可以是生成器输出或对应的目标z(i)。在训练阶段期间，网络迭代地最小化生成器损耗LG和判别器损耗LD，定义为：
Figure BDA0003194554730000361
Figure BDA0003194554730000362
其中N是每批中使用的图像的数量(例如，N＝20)，G(x(i))是输入x(i)的生成器输出，z(1)是对应的目标标签，D(.)是判别器，并且MAE(.)代表平均绝对误差。α是LG中GAN损失和MAE损失的正则化参数。在训练阶段，其被选择为α＝0.02。为了训练稳定性和最佳性能，使用自适应动量优化器(Adam)来最小化LG和LD两者，其中对于LG和LD学习速率分别为10-4和3×10-5。在每次迭代中，执行生成器损失的六次更新和判别器损失的三次更新。每50次迭代测试验证集，并且将最佳网络(待盲测试)选择为在验证集上具有最小MAE损失的网络。
在测试阶段，一旦训练完成，只有生成器网络(G)是活动的。因此，最终的经训练的深度神经网络10仅包括生成器网络(G)。受GPU的图形存储器的限制，测试的最大图像FOV为1536×1536像素。因为图像被归一化为在0-1的范围内，而重聚焦距离在约-10到10(以μm为单位)的尺度上，所以在Deep-Z网络的训练和测试之前，DPM条目被除以10以在-1到1的范围内，以保持图像和DPM矩阵的动态范围彼此相似。
网络使用TensorFlow实现，在具有Intel内核i7-8700K六核3.7GHz CPU和32GBRAM的PC上，使用Nvidia GeForce 1080Ti GPU执行。平均而言，训练花费～70小时进行～400,000次迭代(相当于～50个时期)。在训练之后，在同一PC上，对于具有512×512像素的图像，网络推断时间为～0.2s，对于具有1536×1536像素的图像，网络推断时间为～1s。
荧光珠样本的横向和轴向FWHM值的测量。
为了表征荧光珠样本的横向FWHM，对图像执行阈值以提取连通分量。然后，在这些连通分量的质心周围裁剪30×30像素的单个区域。在这些单独区域中的每一个上进行2D高斯拟合，其使用Matlab(MathWorks，Inc)中的lsqcurvefit进行以匹配函数：
Figure BDA0003194554730000371
然后将横向FWHM计算为x和y方向的平均FWHM，即，
Figure BDA0003194554730000372
其中Δx＝Δy＝0.325μm是物体平面上荧光图像的有效像素尺寸。随后生成所有阈值化珠的横向FWHM值的直方图(例如，图2A至图2C的n＝461，以及图5A至图5L的n>750)。
为了表征珠样本的轴向FWHM值，对于每个珠，从数字重新聚焦或机械扫描的轴向图像堆叠中在y＝yc裁剪沿x-z方向具有81步长的切片。
对每个裁剪切片进行另一个2D高斯拟合，以匹配函数：
Figure BDA0003194554730000373
然后将轴向FWHM计算为：
Figure BDA0003194554730000374
其中Δz＝0.5μm是轴向步长。随后生成轴向FWHM值的直方图。
图像质量评价
使用五种不同的标准参考相应的地面实况图像IGT评估网络输出图像Iout：(1)均方误差(MSE)，(2)均方根误差(RMSE)，(3)平均绝对误差(MAE)，(4)相关系数，和(5)结构相似性指数(SSIM)。MSE是最广泛使用的误差度量之一，定义为：
Figure BDA0003194554730000381
其中Nx和Ny分别表示x和y方向上的像素数量。MSE的平方根产生RMSE。与MSE相比，MAE使用1范数差(绝对差)而不是2范数差，这对显著的异常值像素不太敏感：
Figure BDA0003194554730000382
相关系数定义为：
Figure BDA0003194554730000383
其中，μout和μGT分别是图像Iout和IGT的平均值。
虽然上面列出的这些标准可以用于量化与地面实况(GT)相比的网络输出中的误差，但是它们不是两个图像之间的感知相似性的强指示符。SSIM旨在通过评估图像中的结构相似性来解决该缺点，其被定义为：
Figure BDA0003194554730000384
其中σout和σGT分别是Iout和IGT的标准偏差，并且σout，GT是两个图像之间的交叉方差。
秀丽隐杆线虫神经元活动的跟踪和定量
通过时分复用两个荧光通道(FITC，然后是TexasRed(德克萨斯红)，然后是FITC等)来捕获秀丽隐杆线虫神经元活动跟踪视频。将相邻帧组合，使得绿色通道是FITC(神经元活动)，红色通道是德克萨斯红(神经元核)。使用Matlab(MathWorks，Inc.)中的具有投影变换的基于特征的配准工具箱对准后续帧，以校正蠕虫的轻微身体运动。每个输入视频帧附加有表示具有0.5μm步长的从-10μm到10μm的传播距离的DPM 42，然后通过Deep-Z网络10(特别是针对该成像系统训练的)进行测试，该Deep-Z网络10为视频中的每个帧生成虚拟轴向图像堆叠。
为了定位单个神经元，通过时间序列通过中值强度投射红色通道堆叠(德克萨斯红，神经元核)。该投射的中值强度堆叠中的局部最大值标记了每个神经元的质心，并且通过分水岭分割从这些质心分割每个神经元的体素，这为每个神经元生成了3D空间体素掩模。共分离155个神经元。然后，对于每个时间帧t和每个神经元i＝1，2，...，155，将每个神经元空间掩模内的绿色通道(FITC，神经元活动)中的100个最亮体素的平均值计算为钙活动强度Fi(t)。然后计算每个神经元的差异活动，ΔF(t)＝F(t)-F0其中F0是F(t)的时间平均值。
通过对每个ΔF(t)的标准偏差进行阈值处理，选择70个最活跃的细胞，使用频谱聚类算法基于它们的钙活动模式相似性(图12B)对它们进行进一步聚类。钙活动模式相似性定义为
Figure BDA0003194554730000391
对于神经元i和j，这导致相似性矩阵S(图12C)。σ＝1.5是该高斯相似性函数的标准偏差，其控制相似性图中的邻居的宽度。频谱聚类解决了从相似性矩阵S生成的图拉普拉斯算子L上的特征值问题，相似性矩阵S被定义为权重矩阵W和度矩阵D的差，即，
L＝D-W (15)
其中
Figure BDA0003194554730000401
Figure BDA0003194554730000402
使用本征间隙启发法选择簇的数量，其是在本征间隙之前的最大一般本征值的索引(通过求解一般本征值问题Lv＝λDv)，其中本征值显著跳跃，其被确定为k＝3(参见图12D)。然后将相应的第一k＝3本征向量组合为矩阵，其行使用标准k-means聚类进行聚类，这导致图12E中所示的钙活动模式的三个聚类和图12F中所示的重排相似性矩阵。
宽视场和共焦荧光图像的交叉模态对准
首先对宽视场/共焦对的每个堆叠进行自对准和归一化。然后使用ImageJ的“Image Stitching(图像拼接)”插件将各个FOV拼接在一起。然后使用在Matlab(MathWorks，Inc.)中执行的具有投影变换的基于特征的配准，来共同配准拼接的宽视场和共焦EDF图像。然后，使用该估计变换来扭曲拼接的共焦EDF图像以及拼接的堆叠，以匹配它们的宽场对应物(图15A)。随后删除宽视野和扭曲共焦图像的非重叠区域。然后利用上述贪心算法从剩余的拼接宽视场图像及其相应的扭曲共焦图像中裁剪出256×256像素的非空区域。在每对裁剪区域上应用相同的基于特征的配准以进行精细对准。该步骤提供了在横向方向上宽视场图像与对应共焦图像之间的良好对应性(图15B)。
尽管轴向扫描步长尺寸固定为0.2μm，但是需要匹配宽视场和共焦堆叠的轴向方向上的参考零点。为了确定轴向方向上的该参考零点，使用结构相似性指数(SSIM)将每个深度处的图像与相同区域的EDF图像进行比较，从而提供聚焦曲线(图15C)。对该聚焦曲线中具有最高SSIM值的四个点进行二阶多项式拟合，并且参考零点被确定为拟合的峰值(图15C)。然后宽视场和共焦堆叠的高度以它们在轴向方向上的对应参考零点为中心。对于用作输入的每个宽视场图像，从堆叠中随机选择四个共焦图像作为目标，并且基于共焦图像和相应的宽视场图像的中心高度值的轴向差来计算它们的DPM。
代码可用性
本工作中报告的深度学习模型使用在TensorFlow中公开可用的标准库和脚本。通过定制编写的基于Fiji的插件，为以下物镜提供经训练的网络模型(以及一些样本测试图像)：Leica HC PL APO20x/0.80DRY(在TxRd和FITC通道上训练的两种不同的网络模型)，Leica HC PL APO40x/1.30 OIL(在TxRd通道上训练)，Olympus UPLSAPO20x-0.75NA(在TxRd通道上训练)。该定制编写的插件和模型可通过以下链接公开获得：http：//bit.ly/deep-z-git和http：//bit.1y/deep-z，所有这些都通过引用并入本文。
用于低图像曝光分析的图像采集和数据处理
使用用20×/0.75NA物镜成像的300nm红色荧光珠样本捕获训练图像数据，与本文报道的微珠样本相同，不同之处在于荧光激发光源设定为25％功率(32.5mW)，并且曝光时间分别选择为10ms和100ms。使用以10ms和100ms曝光时间捕获的图像数据集，训练两个单独的Deep-Z网络10，其中每个训练图像集包含～100,000个图像对(输入和地面实况)，并且每个网络被训练～50个时期。
除了曝光时间从3ms变化到300ms之外，在相同的设置下捕获测试图像数据。使用相同的预处理算法对训练和测试图像进行归一化：在图像对准之后，输入图像类似地首先使用三角形阈值方法进行阈值化以分离样本前景和背景像素。将背景像素值的平均值作为背景荧光水平，并从整个图像中减去。然后将图像归一化，使得1％的前景像素饱和(高于1)。该预处理步骤没有进一步剪辑或量化图像。将这些预处理的图像(以单精度格式)直接馈送到网络中用于训练或盲测试。
使用Deep-Z的时间调制信号重构
使用具有德克萨斯红滤波器组的20×/0.75NA物镜捕获300nm红色荧光珠的训练数据，与先前报道的微珠样本相同(例如，图5)，不同之处在于荧光光源设定为25％照明功率(32.5mW)，并且曝光时间选择为100ms。
测试数据由放置在单个2D平面上(移液到#1盖玻片上)的300nm红色荧光珠的图像组成，该图像使用由LED控制器(LEDD1B，Thorlabs)驱动的外部发光二极管(M530L3-C1，Thorlabs)捕获，该LED控制器(LEDD1B，Thorlabs)由函数生成器(SDG2042X，Siglent)调制，该函数生成器将LED控制器的输出电流调制在0至1.2A之间，遵循具有1s周期的正弦图案。使用德克萨斯红滤波器和100ms曝光时间。在焦平面(z＝0μm)和五个散焦平面(z＝2、4、6、8、10μm)处捕获相同的FOV。在每个平面处，以每秒20帧捕获两秒视频(即，两个调制周期)。然后使用经训练的Deep-Z网络10虚拟地重新聚焦散焦平面的每个帧，以数字地到达焦平面(z＝0μm)。在两秒时间窗口内跟踪在z＝0μm处捕获的样本FOV内的297个单独珠的荧光强度变化。还使用这五个虚拟重聚焦延时序列(使用Deep-Z输出)根据时间跟踪相同的297个珠。每个珠的强度曲线在0和1之间归一化。对应于这297条归一化曲线的平均值和标准偏差绘制在图19A和图19B中。
神经元分段分析
图20A、图20D、图20G中的神经元位置通过首先匹配来自两种不同方法(例如，Deep-Z与机械扫描的地面实况)的神经元对来比较。匹配由其空间坐标表示的两组分段神经元(Ω1，Ω2)被认为是二分图最小成本匹配问题，即：
Figure BDA0003194554730000421
Figure BDA0003194554730000422
Figure BDA0003194554730000423
xe∈{0，1}
其中xe＝1表示两组神经元(Ω1，Ω2)之间的边包括在匹配中。边e＝(u1，u2)的成本基于u1∈Ω1，u2∈Ω2，即，ce＝|x1-x2|+|y1-y2|+|z1-z2|之间的曼哈顿距离来定义。因为该问题满足完全单模条件，所以可以将上述整数约束xe∈{0，1}放宽为线性约束x≥0而不改变最优解，并且使用Matlab函数linporg通过线性规划来解决该问题。然后计算每个配对神经元之间的距离并绘制它们的分布。
在较低图像曝光下的Deep-Z虚拟重聚焦能力
为了进一步验证预训练的Deep-Z网络模型在可变曝光条件(其直接影响信噪比SNR)下的泛化性能，使用在10ms和100ms曝光时间捕获的微珠图像训练两个Deep-Z网络10，并且这些训练的网络分别表示为Deep-Z(10ms)和Deep-Z(100ms)，并且盲测试它们的性能以虚拟地重新聚焦在不同曝光时间(在3ms至300ms之间变化)下捕获的散焦图像。这些盲测试结果的实例显示在图16A中，其中输入珠图像散焦-5.0、3.0和4.5μm。在较低曝光时间的情况下，由于较低的位深度，输入图像质量受到噪声和图像量化误差的损害。如图16A所示，Deep-Z(100ms)模型可以成功地将输入图像重新聚焦到10ms的曝光时间。然而，Deep-Z(100ms)模型不能虚拟地重新聚焦在3ms曝光时间采集的输入图像，从而给出具有背景噪声的模糊输出图像。另一方面，Deep-Z(10ms)模型可以成功地重新聚焦以3ms曝光时间捕获的输入图像，如图16A至图16C所示。有趣的是，Deep-Z(10ms)模型对于在较高曝光时间下采集的输入图像表现略差。例如，在300ms曝光时间获取的输入图像在输出图像处表现出轻微模糊，如图16A的最后一行所示。通过量化成像微珠的中值FWHM值，在图16B、图16C中进一步证实了这些观察结果，所述中值FWHM值是作为重聚焦距离的函数在Deep-Z输出图像处计算的。该分析证实，Deep-Z(100ms)模型不能成功地将以3ms曝光时间捕获的图像重新聚焦在～[一1μm，1μm]的窄散焦窗口之外(参见图16B)。另一方面，Deep-Z(10ms)模型展示了以3ms曝光时间捕获的输入图像的改进的重新聚焦性能(图16C)。这些结果指示，用在相对接近测试图像的预期曝光时间的曝光时间处获取的图像训练Deep-Z模型对于成功推断将是重要的。另一个重要的观察是，与地面实况图像相比，Deep-Z输出图像40还拒绝背景噪声，因为噪声整体在神经网络的训练阶段期间没有很好地泛化，也如图7所讨论的。
此外，通过例如在显微镜的傅里叶平面中插入相位掩模来设计显微镜的点扩散函数(PSF)以跨越扩展的景深，理想地不沿荧光信号收集的路径引入额外的光子损耗，可以潜在地进一步增强Deep-Z的噪声性能。例如，相位和/或振幅掩模可以沿着显微镜110的光路(轴向方向)定位。双螺旋PSF是一种示例性设计的PSF。另外，荧光显微镜110可以包括宽视场荧光显微镜110。显微镜110还可以包括光片系统。
Deep-Z对样本和成像系统变化的鲁棒性
在到目前为止的结果中，用已经使用相同类型的样本12和相同的显微镜系统110训练的Deep-Z网络10推断盲测试的样本12。这里，讨论了用于不同场景的Deep-Z的性能，其中与训练图像集相比引入测试数据分布的变化，例如(1)成像的不同类型的样本12，(2)用于成像的不同显微镜系统110，以及(3)不同的照明功率或SNR。
关于第一项，如果在训练样本类型12和测试样本类型12分布之间存在高水平的相似性，则预期网络输出的性能是可比较的。如图17A、图17B所示，被训练以虚拟地重新聚焦TagRFP标记的秀丽隐杆线虫神经元核的图像的Deep-Z网络10被盲测，以虚拟地重新聚焦GFP标记的秀丽隐杆线虫神经元活动的图像。不同模型列的输出图像结果与特别在GFP标记的神经元活动图像(相同模型列)上训练的最佳模型的输出图像以及机械扫描的地面实况(GT)图像非常相似，两组输出图像相对于相同样本的地面实况图像的相关系数具有微小差异。对于在不同菌株的秀丽隐杆线虫的图像上盲测的Deep-Z模型的有效性，可以得出类似的结论。
另一方面，当训练样本类型及其光学特征与测试样本显著不同时，可以观察到Deep-Z性能的显著差异。例如，如图17B所示，用300nm珠训练的Deep-Z网络10只能部分地重新聚焦秀丽隐杆线虫神经元核的图像，其尺寸通常为1-5μm，因此不能由仅含有纳米珠的训练图像数据集很好地表示。这种限制可以通过迁移学习过程来补救，其中在一种类型的样本(例如，该示例中的纳米珠)上训练的网络10可以用作网络权重的初始化，并且可以使用包含神经元核的新图像来进一步训练Deep-Z网络10。与从头开始(例如，随机化初始化)(其花费～40,000次迭代(～60小时)来达到最佳模型)相比，迁移学习可以帮助实现仅具有～4,000次迭代(～6小时)的最佳模型，其成功地重新聚焦神经元核图像，从而匹配最佳模型的性能(图17A、图17B中的迁移学习列)。这种迁移学习方法也可以应用于使用早期模型对不同类型的秀丽隐杆线虫进行成像，该模型用新图像数据在例如～500-1000次迭代中进行细化。迁移学习的另一个优点是使用较少的训练数据；在这种情况下，例如，用于最佳模型的原始训练数据的仅20％用于迁移学习。
关于第二项，即，用于成像的显微镜系统110的潜在变化也可能不利地影响先前训练的网络模型的推断性能。预训练的Deep-Z网络的更具挑战性的场景之一将是当使用具有数值孔径(NA)变化的不同物镜捕获测试图像时；这直接修改3D PSF分布，使其偏离Deep-Z学习特征，尤其是沿着深度方向。类似于样本类型的变化，如果成像系统参数的差异小，则预期先前训练的Deep-Z网络10可以用于在某种程度上虚拟地重新聚焦由不同显微镜捕获的图像。图18示出了这种场景的示例，其中使用具有20×/0.75NA物镜的Olympus IX81显微镜捕获的秀丽隐杆线虫神经元核的图像来训练Deep-Z网络10，并且对使用具有20×/0.8NA物镜的Leica SP8显微镜捕获的图像进行盲测试。换句话说，已经使用了由两个不同公司制造的两种不同的显微镜，以及在训练和测试阶段之间的小NA变化。如图18所示，与最佳模型相比，大多数虚拟重聚焦结果保持成功。然而，由于成像参数的这些变化，在不同的模型输出列中可以看到虚拟重新聚焦图像中的神经元的一些错误布置，这也导致最佳Deep-Z网络输出和不同模型输出的相关系数之间的～0.02-0.06的小差异(两者都是相对于使用两种不同的显微镜系统获取的对应的地面实况图像计算的)。如前所述，还可以使用迁移学习来进一步改善这些结果，通过将在Olympus IX81显微镜(20×/0.75NA物镜)上训练的初始Deep-Z模型作为初始化，并在使用Leica SP8显微镜(20×/0.8NA物镜)捕获的新图像数据集上进一步训练它进行另外～2000次迭代。类似于先前呈现的示例，用于最佳模型的原始训练数据的20％用于图18中的迁移学习。
对于第三项，照明功率以及曝光时间和荧光团的效率有助于两个主要因素：输入图像的动态范围和SNR。由于预处理步骤用于去除背景荧光，也涉及基于三角形阈值的归一化步骤，因此输入图像将始终被重新归一化到类似的信号范围，因此照明功率相关联的动态范围变化不会对Deep-Z网络10构成主要挑战。此外，如前所述，在显著较低的SNR下仍然可以实现鲁棒的虚拟重新聚焦，即，以低得多的曝光时间采集输入图像(参见图16A至图16C)。这些结果和对应的分析揭示，Deep-Z网络10对于在输入图像的动态范围和SNR中观察到的变化是相当鲁棒的。已经强调了这一点，将推荐使用在与测试图像的预期曝光时间相对相似的曝光时间处获取的图像来训练Deep-Z网络10，以用于Deep-Z网络10的各种用途。实际上，相同的结论通常适用：为了用Deep-Z网络10推断结果实现最佳性能，应该使用由预期在测试阶段使用的相同的显微镜系统110和相同类型的样本12获得的训练图像，来训练神经网络10(从头开始或通过显著加快训练过程的迁移学习)。
使用Deep-Z的时间调制信号重构
为了进一步测试Deep-Z网络10的泛化能力，进行了实验，其中微珠荧光在时间上被调制，由外部时变激发诱导。图19A报告了以每秒20帧的帧速率在2s周期内跟踪的焦平面(z＝0μm)处的297个单独微珠的时间调制信号，用其归一化平均值和标准偏差绘制。该曲线示出了与输入激发光类似的调制图案，由于荧光的非线性响应，与完美正弦曲线略有偏差。标准偏差为每个点的平均信号的约1.0％。测试Deep-Z网络10的盲推断，图19A的后续条目报告了对应于相同视场(FOV)的相同量，但是在散焦平面(z＝2、4、6、8、10μm)处捕获并且使用用在固定信号强度下捕获的图像训练的Deep-Z网络10虚拟地重新聚焦到焦平面(z＝0μm)。使用虚拟重聚焦图像(z＝2、4、6、8、10μm)计算的平均曲线与对焦图像(z＝0μm)非常好地匹配，而标准偏差随着虚拟重聚焦距离的增加而略微增加，其分别为z＝2、4、6、8和10μm的虚拟重新聚焦距离的平均信号的～1.0％、1.1％、1.7％、1.9％和2.1％。
基于该获取的图像序列，每隔一帧被拍摄以形成新的视频；通过这样做，下采样的视频将原始2s视频压缩到1s，形成以双倍频率(即，2Hz)调制的一组珠。重复该下采样的视频，并逐帧地加回到原始视频上，其中横向移位为8个像素(2.6μm)。图19B示出了在这些添加的图像上的Deep-Z网络10输出，对应于具有原始调制频率1Hz(第一行)和双倍调制频率2Hz(第二行)的297对珠，其在相同的输出图像序列中单独被掩模。该分析表明，Deep-Z输出很好地跟踪正弦照明，紧密地遵循第一列中报告的对焦参考时间调制，与图19A中相同。还创建了视频以示出包含六对这些1Hz和2Hz发射器的示例感兴趣区域，从不同散焦平面的输入和输出FOV裁剪。
秀丽隐杆线虫神经元分割比较
为了说明Deep-Z网络10确实有助于通过在扩展的景深上的虚拟重新聚焦来分割更多的神经元，在输入2D图像上应用相同分割算法的结果如图20A所示，其中分割算法找到99个神经元，而没有任何深度信息(参见图20B)。相比之下，Deep-Z输出图像堆叠(从单个输入图像计算)使得能够检测155个神经元(参见图20C和图4B)，还预测每个神经元的深度位置(颜色编码)。注意，该样本不具有由扫描显微镜获取的对应的3D图像堆叠，因为在这种情况下，使用2D视频来跟踪神经元活动。
为了更好地说明与使用轴向机械扫描捕获的地面实况3D图像堆叠的比较，还示出了另一个秀丽隐杆线虫的分割结果(图20D至图20I)，其使用相同的算法根据2D输入图像、对应的Deep-Z虚拟图像堆叠和机械扫描的地面实况图像堆叠(在41个深度处以0.5μm轴向间隔获取)计算。与从输入图像获得的分割结果(图20E)相比，使用Deep-Z生成的虚拟图像堆叠获得的分割结果(图20F)检测到附加的33个神经元的集合，也预测总共128个神经元的正确3D位置。与地面实况机械扫描的3D图像堆叠(图20I)相比，分割算法识别出用于Deep-Z生成的虚拟堆叠的18个较少的神经元，这些神经元主要位于蠕虫的头部内，其中神经元更密集并且恢复和分割相对更具挑战性。在蠕虫的稀疏区域，例如身体和尾部，神经元大部分被正确分割，与使用机械扫描的3D图像堆叠(由41个轴向扫描组成)获得的结果匹配。分割的神经元(颜色编码)的深度位置也与使用地面实况机械扫描的3D图像堆叠测量的对应深度良好匹配。
为了改善样本的较密集区域(诸如蠕虫的头部)中的基于Deep-Z网络的神经元分割的性能，可以利用获取多于一个输入图像来增强自由度，其中每个Deep-Z输入图像的虚拟重聚焦图像堆叠可以与其他图像合并，有助于恢复密集感兴趣区域内的一些丢失的神经元。与机械扫描的3D图像堆叠相比，这仍然将显著更快，需要获取更少的图像来对样本的体积进行成像。例如，在图20H中，通过合并由Deep-z创建的两个虚拟图像堆叠来呈现分割结果，这两个虚拟图像堆叠都跨越-10μtm至10μm，但是分别从在z＝0μm和z＝4μm处采集的两个不同的输入图像生成。
通过获取两个图像堆叠的最大像素值，来执行合并。在这种情况下，分割算法识别出N＝148个神经元(从图20F中的N＝128改进)，并且结果与地面实况轴向扫描结果(图20I中的N＝146)更好地匹配。为了更清楚地说明该比较，在完全相同的图像数据集上使用另一分割算法：使用称为TrackMate的DoG分割方法，导致Deep-Z网络10输出的146个神经元，目标图像堆叠(机械扫描)中的177个神经元和Deep-Z合并堆叠(仅2个轴向平面用作输入图像)中的179个神经元，揭示了Deep-Z结果与用机械扫描图像堆叠获得的结果之间的紧密匹配。两种不同神经元分割算法之间的这种比较，还示出了神经元分割本身的一些不一致性(意味着可能不存在单个地面实况方法)。这里应当注意，这些结果应当被认为是关于Deep-Z网络10用于神经元成像的潜在应用的概念验证研究。Deep-Z可以潜在地用作前端模块，以联合优化未来的基于深度学习的神经元分割算法，其可以最大限度地利用Deep-Z网络10及其输出图像40来减少所需图像平面的数量，以准确且有效地跟踪蠕虫或其他模式生物体的神经活动。还要注意，在这种情况下的分割结果使用20×/0.8NA物镜。如果使用更高NA的物镜，则所提出的方法可能在蠕虫的头部区域上表现得更好。然而，即使使用具有更高NA物镜和现有技术神经元分割算法的机械扫描图像堆叠，在每个实验中也不能准确地识别蠕虫体内的所有神经元。
样本密度对Deep-Z推断的影响
如果荧光发射器彼此太靠近或者如果一个特征的强度比某个FOV内的其他特征弱得多，则虚拟重新聚焦的Deep-Z图像40的强度分布可能偏离地面实况(GT)。为了使这一点更清楚，使用了由实验数据产生的数值模拟，其中(1)横向移位包含单独的300nm荧光珠的平面荧光图像，(2)相对于原始强度以一定比率(0.2至1.0)衰减该移位图像强度，以及(3)将该衰减和移位的特征添加回原始图像(参见图21A和图21B以说明这一点)。基于空间不变的非相干PSF，从实验数据导出的该数值模拟表示成像场景，其中存在相对于彼此具有不同信号强度的两组单独的荧光对象，它们之间的距离也不同。通过使用平面珠样本训练的Deep-Z网络将具有不同散焦距离的所得图像(参见图21B)虚拟地重新聚焦到正确的焦平面。图21B至图21H示出了珠对的各种实例，其横向分开例如1-15个像素并且轴向散焦0-10μm，强度比跨越0.2-1.0。
为了量化这些不同输入图像的Deep-Z推断的性能，图21C至图21H绘制了在虚拟重新聚焦平面处的144对较暗和较亮珠的平均强度比，作为横向偏移(d)和较暗和较亮珠之间的强度比的函数，也覆盖高达10μm的各种散焦距离；在该图的每个图中，两个珠之间的最小可分辨距离由交叉符号“x”标记。图21C至图21H显示，较大的散焦距离和较小的比率需要稍大的横向位移量以精确地分辨珠对。
接下来，检查遮挡在轴向方向上的影响，这可能更难以解决。为此，创建了新的数值模拟，这也是由实验数据产生的，其中这次平面荧光珠图像堆叠被轴向移位并以不同的强度比添加回相应的原始图像堆叠(参见图22B的说明)。为了准确地表示推断任务，经由利用包含轴向重叠对象的增强数据集的迁移学习，来训练深度网络10。图22A展示了分别位于z＝0μm和z＝8μm处的一对珠的Deep-Z结果。网络10能够分别成功地重新聚焦这两个珠，推断出沿着z轴在z＝0μm和z＝8μm处的两个强度最大值，非常好地匹配模拟的机械扫描图像堆叠(地面实况)。图22C、图22D分别绘制了虚拟重新聚焦的Deep-Z图像堆叠和模拟的真实图像堆叠两者的样本FOV内的144个单独的珠对的顶部(即，较暗的)珠和下部珠(即，原始堆叠中的珠)的强度比的平均值，对应于具有不同轴向间隔(d，参见图22B)的z＝8μm。图22C、图22D中的结果是类似的，在精确强度比值中具有相当小的差异。通过潜在地使用3D卷积神经网络架构，可以进一步改善结果。
为了进一步理解轴向重聚焦距离和荧光样本的密度对Deep-Z 3D网络推断的影响，对应于具有不同颗粒密度的3D珠样本进行另外的成像实验，其通过在玻璃载玻片上混合各种浓度的2.5μL红色荧光珠(300nm)溶液与10μL延长黄金抗褪色封固剂(ProLong Goldantifade mountant)(P10144，ThermoFisher)来调节。在用薄盖玻片覆盖样本之后，样本自然地产生3D样本体积，其中300nm荧光珠跨越～20-30μm的轴向范围。使用德克萨斯红通道，使用20×/0.75NA物镜轴向扫描对应于不同珠密度的不同样本。为了获得最佳性能，使用从样本之一捕获的6个图像堆叠(2048×2048像素)，用迁移学习(用原始珠网络初始化)训练Deep-Z网络。另外54个非重叠图像堆叠(1536×1536个像素)被用于盲测；在每个图像堆叠内，以0.5μm步长尺寸跨越+/-10μm的41个轴向平面，被用作地面实况(机械扫描)，并且中间平面(z＝0μm)用作Deep-z的输入图像20，其生成图像40的虚拟重新聚焦的输出图像堆叠，跨越与地面实况(GT)图像相同的深度范围。将阈值化应用于地面实况和Deep-Z输出图像堆叠，其中阈值化之后的每个连接区域表示300nm珠。图23A示出了与用于盲测试的非重叠样本区域中的一些相对应的输入图像20和地面实况图像堆叠(GT)的最大强度投影(MIP)以及Deep-Z网络输出图像40堆叠。在较低的颗粒浓度(低于0.5×106μL-1)下，Deep-Z输出图像40堆叠结果与机械扫描地面实况(GT)结果在+/-10μm轴向散焦的训练范围内非常好地匹配。随着更大的颗粒浓度，Deep-Z网络输出逐渐失去其重新聚焦和检索所有单个珠的能力，导致荧光珠的计数不足。
事实上，Deep-Z网络10的这种重聚焦能力不仅取决于荧光对象的浓度，而且还取决于重新聚焦轴向距离。为了量化这一点，图23B至图23E绘制了使用机械扫描的地面实况图像堆叠以及Deep-Z虚拟重新聚焦图像40堆叠测量的荧光颗粒密度作为轴向散焦距离(即，分别距输入平面±2.5μm、±5μm、±7.5μm和±10μm)(z＝0μm)的函数。例如，对于±2.5μm的虚拟重聚焦范围，即使对于最高测试样本密度(～4×106μL-1)，Deep-Z输出图像40堆叠(使用z＝0μm处的单个输入图像)也与地面实况(GT)结果紧密匹配；另一方面，在较大的虚拟重新聚焦距离处，Deep-Z遭受荧光珠的一些计数不足(参见例如图23C至图23E)。这也与先前报道的分析(例如，图21A、图21B、图22A至图22D)一致，其中样本中珠的密度增加导致轴向遮挡并且部分地影响Deep-Z的虚拟重新聚焦保真度。
在本文呈现的这些示例中，训练图像数据不包括测试数据中存在的粒子或轴向遮挡的信号强度的强烈变化，因为这对于Deep-Z网络10是缺点。然而，用正确类型的样本12(匹配测试样本12类型及其3D结构)训练的Deep-Z网络10将在其盲推断和虚拟重新聚焦性能方面具有更容易的任务，因为训练图像将自然地包含相关的3D结构，更好地表示测试样本中预期的特征分布。
使用Deep-Z减少光损伤
Deep-Z网络10的另一个优点是减少对样本12的光损伤。光损伤在荧光显微镜在活细胞成像中的应用中引入了具有挑战性的折衷，这对可以在例如纵向实验期间获取的图像的数量设置了实际限制。光漂白和/或光毒性形式的光损伤的具体性质取决于照射波长、光束轮廓、曝光时间以及许多其他因素，例如样本pH和氧水平、温度、荧光团密度和光稳定性。已经证明了用于照明设计的若干策略以减少光损伤的影响，例如，通过如在受控曝光显微镜(CLEM)和预测聚焦照明中调整传递到样本的照明强度，或者如在选择性平面照明显微镜等中去耦激发和发射路径。
对于宽视场荧光显微镜实验，其中获取轴向图像堆叠，照明激发荧光团穿过样本12的整个厚度，而不管在物镜的焦平面中成像的位置如何。例如，如果假设样本厚度与激发光束的聚焦体积相比相对较小，则整个样本体积在每个轴向图像采集步骤均匀地激发。这意味着样本体积内的给定点的总曝光，与在单次通过z堆叠期间获取的成像平面的数量(Nz)次线性地成比例。相反，如果轴向训练范围覆盖样本深度，则Deep-Z系统2仅需要单个图像采集步骤；在样本较厚或密集的情况下，可能需要多于一个输入图像来改进Deep-Z推断，如图20H所示，在这种情况下，使用两个输入图像来更好地解析秀丽隐杆线虫头部区域中的神经元核。因此，通过Deep-Z实现的需要在样本体积内成像的轴向平面的数量的这种减少，直接有助于减少对样本的光损伤。
为了进一步说明该优点，进行了另外的实验，其中含有荧光珠(300nm直径，并包埋在延长黄金抗褪色封固剂中)的样本在180个重复循环中以跨越20μm深度范围(0.5μm步长尺寸)的Nz＝41个轴向平面在3D中重复成像，这总共花费约30分钟。在成像循环结束时，纳米珠的平均荧光信号衰减至其原始值的～80％(参见图24A)。相比之下，为了生成类似的虚拟图像堆叠，Deep-Z系统2仅需要获取单个输入图像20，这导致180个重复循环的总成像时间为～15秒，并且在Deep-Z生成的虚拟图像堆叠中的平均荧光信号在相同数量的成像循环期间不显示可见的衰减(参见图24B)。对于活样本的成像，可能没有专用的抗褪色封固剂，由于光损伤和光漂白，与图24A相比，荧光信号衰减将更剧烈，并且Deep-Z可用于显著减少这些负面影响，特别是在纵向成像实验期间。
通过使用Deep-Z 3D推断来增加两个连续光片之间的轴向间隔，将Deep-Z网络10应用于光片显微镜也可以用于减少样本12内的成像平面的数量。通常，如果还考虑在轴向扫描期间所需的硬件-软件同步时间，则Nz的减少进一步有助于减少光损伤效应，这在例如电弧燃烧器用作照射源的情况下引入额外的时间开销；当使用具有快得多的开关转换时间的LED进行照明时，可以大部分消除这种照明开销。Deep-Z系统2可以基本上规避荧光显微镜中的标准光损伤折衷，并且能够以更高的速度和/或改善的SNR成像，因为对于设定的给定光损伤阈值可以增加照射强度，通过使用Deep-Z获取的轴向图像的数量减少来抵消。以下参考文献(和补充信息)通过引用并入本文：Wu，Y.等人，Three-dimensional virtualrefocusing of fluorescence microscopy images using deep learning，Nat Methods16，1323-1331(2019)doi：10.1038/s41592-019-0622-5。
虽然已经示出和描述了本发明的实施例，但是在不脱离本发明的范围的情况下，可以进行各种修改。因此，除了所附权利要求及其等同物之外，本发明不应受到限制。

Claims (52)

1.一种荧光显微镜方法，包括：
提供使用一个或多个处理器由软件执行的经训练的深度神经网络；
将样本的至少一个二维荧光显微镜输入图像输入到所述经训练的深度神经网络，其中至少一个输入图像附加有数字传播矩阵(DPM)，所述数字传播矩阵逐像素地表示所述样本内的用户定义或自动生成的表面距所述输入图像的平面的轴向距离；以及
从所述经训练的深度神经网络输出所述样本的至少一个荧光输出图像，所述至少一个荧光输出图像被数字地传播或重新聚焦到由所述DPM限定的所述用户定义或自动生成的表面。
2.根据权利要求1所述的方法，其中使用多个所述DPM的来自所述经训练的深度神经网络的多个所述荧光输出图像被数字组合，以创建所述样本的体积图像。
3.根据权利要求1所述的方法，其中使用多个所述DPM的来自所述经训练的深度神经网络的多个所述荧光输出图像被数字组合，以创建所述样本的扩展景深(EDOF)图像。
4.根据权利要求1所述的方法，其中使用至少一个所述DPM的来自所述经训练的深度神经网络的至少一个所述荧光输出图像，被用于创建所述样本的聚焦改善图像。
5.根据权利要求1所述的方法，其中来自所述经训练的深度神经网络的多个所述荧光输出图像被数字组合，以在任意用户定义或自动生成的3D表面上创建所述样本的图像。
6.根据权利要求1所述的方法，其中来自所述经训练的深度神经网络的多个所述荧光输出图像被数字组合，以扩展用于获得所述输入图像的显微镜的景深。
7.根据权利要求1所述的方法，其中来自所述经训练的深度神经网络的所述荧光输出图像，使得能够减少样本体积上的光子剂量或光暴露。
8.根据权利要求1所述的方法，其中来自所述经训练的深度神经网络的所述荧光输出图像，使得能够减少样本体积的光漂白。
9.根据权利要求1所述的方法，其中将所述样本的所述二维荧光显微镜输入图像的时间序列输入到所述经训练的深度神经网络，其中每个图像附加有数字传播矩阵(DPM)，所述数字传播矩阵逐像素地表示所述样本内的所述用户定义或自动生成的表面距所述输入图像的平面的轴向距离，并且其中从所述经训练的深度神经网络输出所述样本的所述荧光输出图像的时间序列，所述荧光输出图像的时间序列被数字地传播到对应于所述输入图像的所述DPM的所述用户定义或自动生成的表面。
10.根据权利要求9所述的方法，其中来自所述经训练的深度神经网络的所述荧光输出图像的时间序列中的一个或多个被组合，以创建样本体积的延时视频。
11.根据权利要求9所述的方法，其中来自所述经训练的深度神经网络的所述荧光输出图像的时间序列中的一个或多个被组合，以在任意的用户定义或自动生成的3D表面上创建所述样本的延时视频。
12.根据权利要求9所述的方法，其中使用流或视频模式用相机获得所述样本的所述二维荧光显微镜输入图像的时间序列，并且其中与所述二维荧光显微镜输入图像相比，所述样本的所述荧光输出图像的时间序列具有相同或改善的帧速率。
13.根据权利要求1至12中任一项所述的方法，其中所述用户定义或自动生成的表面包括位于所述样本内的平面、弯曲表面、任意表面或轴向深度范围。
14.根据权利要求1至12中任一项所述的方法，其中所述样本包括活的生物体、固定的生物体、活的细胞、固定的细胞、活的组织、固定的组织、病理载玻片、活组织检查、液体、体液和其他微观物体中的至少一种。
15.根据权利要求1至12中任一项所述的方法，其中，使用空间设计的点扩散函数来获取至少一个所述输入图像。
16.根据权利要求1至12中任一项所述的方法，其中使用以下匹配的对：(1)轴向聚焦在不同深度处并附加有不同DPM的多个荧光图像和(2)在由对应DPM限定的正确/目标聚焦深度处捕获的对应的地面实况荧光图像，利用生成对抗网络(GAN)来训练所述经训练的深度神经网络。
17.根据权利要求1至12中任一项所述的方法，其中一个或多个所述用户定义或自动生成的表面各自定义二维平面。
18.根据权利要求1至12中任一项所述的方法，其中一个或多个所述用户定义或自动生成的表面各自定义倾斜平面或弯曲表面。
19.根据权利要求1至12中任一项所述的方法，其中一个或多个所述用户定义或自动生成的表面各自定义任意三维表面。
20.根据权利要求1至12中任一项所述的方法，其中，所述DPM是空间均匀的。
21.根据权利要求1至12中任一项所述的方法，其中，所述DPM是空间非均匀的。
22.根据权利要求1至12中任一项所述的方法，其中，所述输入图像具有与地面实况图像相同或基本相似的数值孔径和分辨率。
23.根据权利要求1至12中任一项所述的方法，其中，与地面实况图像相比，所述输入图像具有较低的数值孔径和较差的分辨率，其中，所述经训练的深度神经网络学习并执行荧光输入图像的虚拟重新聚焦和超分辨率两者。
24.根据权利要求1至12中任一项所述的方法，其中，通过使用以下类型的显微镜之一来获得所述经训练的深度神经网络的所述输入图像，和/或通过使用以下类型的显微镜之一来训练所述经训练的深度神经网络：超分辨率显微镜、共焦显微镜、具有单光子或多光子激发荧光的共焦显微镜、二次谐波或高次谐波发生荧光显微镜、光片显微镜、结构化照明显微镜、计算显微镜、重叠关联显微镜。
25.根据权利要求1至12中任一项所述的方法，其中二维显微镜输入图像用第一类型的荧光显微镜模态获得，并且所述荧光输出图像类似于并且基本上等同于使用第二类型的荧光显微镜模态获得的相同样本的荧光显微镜图像。
26.根据权利要求1至12中任一项所述的方法，其中所述样本的所述二维荧光显微镜输入图像包括宽视场图像，并且所述荧光输出图像类似于并且基本上等同于相同样本的共焦显微镜图像。
27.根据权利要求1至12中任一项所述的方法，其中使用以下匹配对：(1)轴向聚焦在不同深度处并附加有不同DPM的第一显微镜模态的多个荧光图像，以及(2)由第二不同显微镜模态在由对应的DPM限定的正确/目标聚焦深度处捕获的对应的地面实况荧光图像，利用生成对抗网络(GAN)来训练所述经训练的深度神经网络。
28.根据权利要求27所述的方法，其中，所述第一显微镜模态包括宽视场荧光显微镜模态，并且所述第二不同显微镜模态包括以下类型的显微镜之一：超分辨率显微镜、共焦显微镜、具有单光子或多光子激发荧光的共焦显微镜、二次谐波或高次谐波发生荧光显微镜、光片显微镜、结构化照明显微镜、计算显微镜、重叠关联显微镜。
29.根据权利要求1至12中任一项所述的方法，其中所述至少一个二维荧光显微镜输入图像通过包含设计的点扩散函数的荧光显微镜获得。
30.根据权利要求1至12中任一项所述的方法，其中在所述样本内的不同轴向平面或表面处获得的两个以上输入图像被同时输入到单独的所述经训练的深度神经网络，所述经训练的深度神经网络被训练以输出所述样本的至少一个所述荧光输出图像，所述荧光输出图像被数字传播或重新聚焦到由所述DPM限定的所述用户定义或自动生成的表面，所述DPM与所述输入图像一起被输入到相同的深度神经网络。
31.一种用于输出荧光显微镜图像的系统，所述系统包括具有在其上执行的图像处理软件的计算设备，所述图像处理软件包括使用所述计算设备的一个或多个处理器执行的经训练的深度神经网络，其中所述经训练的深度神经网络使用：(1)轴向聚焦在不同深度处并附加有不同数字传播矩阵(DPM)的多个荧光图像，所述DPM中的每一个逐像素地表示样本内的用户定义或自动生成的表面距输入图像的平面的轴向距离，以及(2)在由对应DPM限定的正确/目标聚焦深度处捕获的对应的地面实况荧光图像的匹配对来训练，所述图像处理软件被配置为接收附加有对应的DPM的样本的一个或多个二维荧光显微镜输入图像，并从所述经训练的深度神经网络输出所述样本的一个或多个荧光输出图像，所述荧光输出图像被数字地传播到由附加的DPM限定的一个或多个所述用户定义或自动生成的表面。
32.根据权利要求31所述的系统，其中使用多个所述DPM的来自所述经训练的深度神经网络的多个所述荧光输出图像被数字组合，以创建所述样本的扩展景深(EDOF)图像。
33.根据权利要求31所述的系统，其中使用至少一个所述DPM的来自所述经训练的深度神经网络的至少一个所述荧光输出图像，被用于创建所述样本的聚焦改善图像。
34.根据权利要求31所述的系统，其中所述计算设备包括个人计算机、膝上型计算机、平板计算机、服务器、ASIC和一个或多个图形处理单元(GPU)中的至少一者。
35.根据权利要求31所述的系统，其中，所述输入图像具有与地面实况图像相同或基本相似的数值孔径和分辨率。
36.根据权利要求31所述的系统，其中，与地面实况图像相比，所述输入图像具有较低的数值孔径和较差的分辨率，其中，所述经训练的深度神经网络学习并执行荧光输入图像的虚拟重新聚焦和超分辨率两者。
37.根据权利要求31所述的系统，其中，用于训练所述深度神经网络的所述输入图像是通过使用以下类型的显微镜中的一种来获得的：超分辨率显微镜、共焦显微镜、具有单光子或多光子激发荧光的共聚显微镜、二次谐波或高次谐波发生荧光显微镜、光片显微镜、结构化照明显微镜、计算显微镜、重叠关联显微镜。
38.根据权利要求31所述的系统，其中，所述深度神经网络是使用均匀DPM来训练的，并且其中，一个或多个所述用户定义或自动生成的表面包括一个或多个任意三维表面。
39.根据权利要求31所述的系统，其中所述经训练的神经网络的所述荧光输出图像被数字组合，以形成所述样本的三维体积图像和/或延时视频。
40.根据权利要求31所述的系统，其中来自所述经训练的深度神经网络的多个所述荧光输出图像被数字组合，以在任意用户定义或自动生成的3D表面上创建所述样本的图像和/或延时视频。
41.根据权利要求31所述的系统，其中来自所述经训练的深度神经网络的多个所述荧光输出图像被数字组合，以扩展用于输出所述输入图像的显微镜的景深。
42.根据权利要求31所述的系统，其中来自所述经训练的深度神经网络的所述荧光输出图像，使得能够减少样本体积上的光子剂量或光暴露。
43.根据权利要求31所述的系统，其中来自所述经训练的深度神经网络的所述荧光输出图像，使得能够减少样本体积的光漂白。
44.根据权利要求31所述的系统，其中使用空间设计的点扩散函数(PSF)获取至少一个所述输入图像。
45.根据权利要求31所述的系统，其中所述图像处理软件被配置为接收所述样本的所述荧光显微镜输入图像的时间序列，每个荧光显微镜输入图像附加有至少一个对应的DPM，并且从所述经训练的深度神经网络输出所述样本的所述荧光输出图像的时间序列，所述荧光输出图像的时间序列被数字地传播到由所述输入图像的附加的所述DPM限定的所述用户定义或自动生成的表面。
46.根据权利要求45所述的系统，其中所述用户定义或自动生成的表面包括二维表面。
47.根据权利要求45所述的系统，其中所述用户定义或自动生成的表面包括任意三维表面或体积。
48.根据权利要求31所述的系统，其中将一个或多个所述荧光输出图像合并在一起以形成所述样本的延时体积视频。
49.根据权利要求31所述的系统，还包含被配置为获取所述样本的一个或多个所述荧光显微镜输入图像的荧光显微镜。
50.根据权利要求49所述的系统，其中所述荧光显微镜还包括沿着光路定位的相位和/或振幅掩模，以在3D中创建设计的点扩散函数。
51.根据权利要求44所述的系统，其中空间设计的所述点扩散函数包括双螺旋点扩散函数。
52.根据权利要求49所述的系统，其中所述荧光显微镜包括基于光片的显微镜系统。
CN201980091190.3A 2018-12-26 2019-12-23 使用深度学习将二维荧光波传播到表面上的系统和方法 Pending CN113383225A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862785012P 2018-12-26 2018-12-26
US62/785,012 2018-12-26
US201962912537P 2019-10-08 2019-10-08
US62/912,537 2019-10-08
PCT/US2019/068347 WO2020139835A1 (en) 2018-12-26 2019-12-23 Systems and methods for two-dimensional fluorescence wave propagation onto surfaces using deep learning

Publications (1)

Publication Number Publication Date
CN113383225A true CN113383225A (zh) 2021-09-10

Family

ID=71129807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980091190.3A Pending CN113383225A (zh) 2018-12-26 2019-12-23 使用深度学习将二维荧光波传播到表面上的系统和方法

Country Status (5)

Country Link
US (1) US11946854B2 (zh)
EP (1) EP3903092A4 (zh)
JP (1) JP2022516467A (zh)
CN (1) CN113383225A (zh)
WO (1) WO2020139835A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022730A (zh) * 2021-10-28 2022-02-08 中国科学院光电技术研究所 一种基于自监督学习神经网络的点目标相位检索方法
CN115220211A (zh) * 2022-07-29 2022-10-21 江南大学 基于深度学习和光场成像的显微成像系统及方法
CN117169501A (zh) * 2023-11-03 2023-12-05 南通康盛医疗器械有限公司 一种手术器械表面微生物动态检测系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11946854B2 (en) 2018-12-26 2024-04-02 The Regents Of The University Of California Systems and methods for two-dimensional fluorescence wave propagation onto surfaces using deep learning
US11422355B2 (en) * 2020-07-22 2022-08-23 Sartorius Bioanalytical Instruments, Inc. Method and system for acquisition of fluorescence images of live-cell biological samples
DE102020123668A1 (de) * 2020-09-10 2022-03-10 Carl Zeiss Microscopy Gmbh Verfahren zur Bildauswertung für die SIM-Mikroskopie und SIM-Mikroskopieverfahren
US11915360B2 (en) 2020-10-20 2024-02-27 The Regents Of The University Of California Volumetric microscopy methods and systems using recurrent neural networks
CN112036381B (zh) * 2020-11-03 2021-03-09 中山大学深圳研究院 视觉跟踪方法、视频监控方法及终端设备
EP3996035A1 (en) * 2020-11-05 2022-05-11 Leica Microsystems CMS GmbH Methods and systems for training convolutional neural networks
CN116806305A (zh) * 2021-01-07 2023-09-26 美利坚合众国- 由健康及人类服务部部长代表 用于从线扫描共聚焦显微镜产生各向同性面内超分辨率图像的系统和方法
CN115100033B (zh) * 2022-05-20 2023-09-08 浙江大学 一种荧光显微图像超分辨重建方法和装置以及计算设备
CN116630313B (zh) * 2023-07-21 2023-09-26 北京航空航天大学杭州创新研究院 一种荧光成像检测系统及其方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7219085B2 (en) * 2003-12-09 2007-05-15 Microsoft Corporation System and method for accelerating and optimizing the processing of machine learning techniques using a graphics processing unit
US7567252B2 (en) * 2003-12-09 2009-07-28 Microsoft Corporation Optimizing performance of a graphics processing unit for efficient execution of general matrix operations
US7623726B1 (en) 2005-11-30 2009-11-24 Adobe Systems, Incorporated Method and apparatus for using a virtual camera to dynamically refocus a digital image
JP5354938B2 (ja) * 2007-05-02 2013-11-27 オリンパス株式会社 蛍光顕微鏡装置
HUP1200018A2 (en) 2012-01-11 2013-07-29 77 Elektronika Mueszeripari Kft Method of training a neural network, as well as a neural network
CN105379253A (zh) * 2013-01-25 2016-03-02 纽约市哥伦比亚大学理事会 景深3d成像空间光调制器显微镜
US9581798B2 (en) * 2013-07-22 2017-02-28 Fundacio Institut De Ciencies Fotoniques Light sheet-based imaging device with extended depth of field
WO2017053592A1 (en) * 2015-09-23 2017-03-30 The Regents Of The University Of California Deep learning in label-free cell classification and machine vision extraction of particles
US10460231B2 (en) * 2015-12-29 2019-10-29 Samsung Electronics Co., Ltd. Method and apparatus of neural network based image signal processor
US9971966B2 (en) 2016-02-26 2018-05-15 Google Llc Processing cell images using neural networks
US10733755B2 (en) * 2017-07-18 2020-08-04 Qualcomm Incorporated Learning geometric differentials for matching 3D models to objects in a 2D image
WO2019103909A1 (en) 2017-11-21 2019-05-31 The Regents Of The University Of California Portable microscopy device with enhanced image performance using deep learning and methods of using the same
US11514325B2 (en) 2018-03-21 2022-11-29 The Regents Of The University Of California Method and system for phase recovery and holographic image reconstruction using a neural network
WO2019191697A1 (en) 2018-03-30 2019-10-03 The Regents Of The University Of California Method and system for digital staining of label-free fluorescence images using deep learning
US11222415B2 (en) 2018-04-26 2022-01-11 The Regents Of The University Of California Systems and methods for deep learning microscopy
CN112352158A (zh) 2018-06-04 2021-02-09 加利福尼亚大学董事会 用于水样的无标记分析的能够深度学习的便携式成像流式细胞仪
US20210264214A1 (en) 2018-07-19 2021-08-26 The Regents Of The University Of California Method and system for digital staining of label-free phase images using deep learning
CN113167783A (zh) 2018-10-18 2021-07-23 加利福尼亚大学董事会 用于流体样本中运动物体的基于运动的无标记检测的设备和方法
US20220012850A1 (en) 2018-11-15 2022-01-13 The Regents Of The University Of California System and method for transforming holographic microscopy images to microscopy images of various modalities
US11946854B2 (en) 2018-12-26 2024-04-02 The Regents Of The University Of California Systems and methods for two-dimensional fluorescence wave propagation onto surfaces using deep learning
EP3959568A4 (en) 2019-04-22 2022-06-22 The Regents of the University of California DEEP LEARNING-BASED COLOR HOLOGRAPHIC MICROSCOPY SYSTEM AND METHOD
US11262286B2 (en) 2019-04-24 2022-03-01 The Regents Of The University Of California Label-free bio-aerosol sensing using mobile microscopy and deep learning
US20220260481A1 (en) 2019-07-02 2022-08-18 The Regents Of The University Of California Magnetically modulated computational cytometer and methods of use

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022730A (zh) * 2021-10-28 2022-02-08 中国科学院光电技术研究所 一种基于自监督学习神经网络的点目标相位检索方法
CN114022730B (zh) * 2021-10-28 2023-08-15 中国科学院光电技术研究所 一种基于自监督学习神经网络的点目标相位检索方法
CN115220211A (zh) * 2022-07-29 2022-10-21 江南大学 基于深度学习和光场成像的显微成像系统及方法
CN115220211B (zh) * 2022-07-29 2024-03-08 江南大学 基于深度学习和光场成像的显微成像系统及方法
CN117169501A (zh) * 2023-11-03 2023-12-05 南通康盛医疗器械有限公司 一种手术器械表面微生物动态检测系统
CN117169501B (zh) * 2023-11-03 2023-12-29 南通康盛医疗器械有限公司 一种手术器械表面微生物动态检测系统

Also Published As

Publication number Publication date
US11946854B2 (en) 2024-04-02
US20220058776A1 (en) 2022-02-24
JP2022516467A (ja) 2022-02-28
EP3903092A4 (en) 2022-02-16
EP3903092A1 (en) 2021-11-03
WO2020139835A1 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
CN113383225A (zh) 使用深度学习将二维荧光波传播到表面上的系统和方法
Wu et al. Three-dimensional virtual refocusing of fluorescence microscopy images using deep learning
de Haan et al. Deep-learning-based image reconstruction and enhancement in optical microscopy
US11222415B2 (en) Systems and methods for deep learning microscopy
Ji et al. Technologies for imaging neural activity in large volumes
US9952422B2 (en) Enhancing the resolution of three dimensional video images formed using a light field microscope
US9933363B2 (en) System and method for dense-stochastic-sampling imaging
Temerinac-Ott et al. Multiview deblurring for 3-D images from light-sheet-based fluorescence microscopy
US20230085827A1 (en) Single-shot autofocusing of microscopy images using deep learning
WO2018140773A1 (en) Widefield, high-speed optical sectioning
US10830701B2 (en) Scanned line angular projection microscopy
Christensen et al. ML-SIM: a deep neural network for reconstruction of structured illumination microscopy images
Merchant et al. Three-dimensional imaging
Wijesinghe et al. Experimentally unsupervised deconvolution for light-sheet microscopy with propagation-invariant beams
CN116503258B (zh) 超分辨计算成像方法、装置、电子设备及存储介质
US20230296516A1 (en) Ai-driven signal enhancement of sequencing images
Wang et al. Deep learning light field microscopy for rapid four-dimensional imaging of behaving animals
Benisty et al. Review of data processing of functional optical microscopy for neuroscience
US11915360B2 (en) Volumetric microscopy methods and systems using recurrent neural networks
KR102561360B1 (ko) 보정을 사용하지 않고 파이버스코프 이미지를 처리하는 방법 및 이를 수행하는 파이버스코프 시스템
Danek Graph cut based image segmentation in fluorescence microscopy
US20230260096A1 (en) Ai-driven enhancement of motion blurred sequencing images
Hu et al. Temporal focusing multiphoton microscopy with cross-modality multi-stage 3D U-Net for fast and clear bioimaging
Jang Fast, Three-Dimensional Fluorescence Imaging of Living Cells
Ikoma Computational Fluorescence Microscopy for Three Dimensional Reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination