CN115428037A - 活细胞生物样品荧光图像采集方法和系统 - Google Patents

活细胞生物样品荧光图像采集方法和系统 Download PDF

Info

Publication number
CN115428037A
CN115428037A CN202180029828.8A CN202180029828A CN115428037A CN 115428037 A CN115428037 A CN 115428037A CN 202180029828 A CN202180029828 A CN 202180029828A CN 115428037 A CN115428037 A CN 115428037A
Authority
CN
China
Prior art keywords
images
sample
training
image
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180029828.8A
Other languages
English (en)
Inventor
提摩西·杰克逊
瑞卡德·苏格瑞
克里斯多佛·爱德路德
艾温·佛斯格瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saidoris Bioanalytical Instrument Co ltd
Original Assignee
Saidoris Bioanalytical Instrument Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saidoris Bioanalytical Instrument Co ltd filed Critical Saidoris Bioanalytical Instrument Co ltd
Publication of CN115428037A publication Critical patent/CN115428037A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12N—MICROORGANISMS OR ENZYMES; COMPOSITIONS THEREOF; PROPAGATING, PRESERVING, OR MAINTAINING MICROORGANISMS; MUTATION OR GENETIC ENGINEERING; CULTURE MEDIA
    • C12N5/00—Undifferentiated human, animal or plant cells, e.g. cell lines; Tissues; Cultivation or maintenance thereof; Culture media therefor
    • C12N5/06—Animal cells or tissues; Human cells or tissues
    • C12N5/0602—Vertebrate cells
    • C12N5/0693—Tumour cells; Cancer cells
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12N—MICROORGANISMS OR ENZYMES; COMPOSITIONS THEREOF; PROPAGATING, PRESERVING, OR MAINTAINING MICROORGANISMS; MUTATION OR GENETIC ENGINEERING; CULTURE MEDIA
    • C12N5/00—Undifferentiated human, animal or plant cells, e.g. cell lines; Tissues; Cultivation or maintenance thereof; Culture media therefor
    • C12N5/06—Animal cells or tissues; Human cells or tissues
    • C12N5/0697—Artificial constructs associating cells of different lineages, e.g. tissue equivalents
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/5005—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/34—Microscope slides, e.g. mounting specimens on microscope slides
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12N—MICROORGANISMS OR ENZYMES; COMPOSITIONS THEREOF; PROPAGATING, PRESERVING, OR MAINTAINING MICROORGANISMS; MUTATION OR GENETIC ENGINEERING; CULTURE MEDIA
    • C12N2503/00—Use of cells in diagnostics
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12N—MICROORGANISMS OR ENZYMES; COMPOSITIONS THEREOF; PROPAGATING, PRESERVING, OR MAINTAINING MICROORGANISMS; MUTATION OR GENETIC ENGINEERING; CULTURE MEDIA
    • C12N2513/00—3D culture
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30072—Microarray; Biochip, DNA array; Well plate

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Biotechnology (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Zoology (AREA)
  • Genetics & Genomics (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Cell Biology (AREA)
  • Microbiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Tropical Medicine & Parasitology (AREA)
  • Food Science & Technology (AREA)

Abstract

本发明公开了一种使用荧光显微镜获取活的三维细胞培养样品的单个聚焦二维投影图像的方法。获得一个或多个长曝光“Z扫掠”图像，即通过一次或一系列连续采集，同时移动相机的Z焦平面穿过样品，以生成一个或多个在Z维上积分的荧光强度二维图像。采集方法比Z堆栈方法快得多，它可以实现更高的通量，并降低样品暴露于过多荧光的风险。然后将长曝光Z扫掠图像输入到经过训练的神经网络中，以生成样品的高质量(对焦)二维投影图像。利用这些高质量的投影图像，可以获得生物相关分析指标，以使用标准图像分析技术描述荧光信号，例如荧光对象计数和其他荧光强度指标(例如平均强度、纹理等)。

Description

活细胞生物样品荧光图像采集方法和系统
相关申请的交叉引用
本申请主张美国非临时专利申请No.16/935,326号的优先权，该申请于2020年7月22日提交，在此通过引用并入本文。
背景技术
本发明涉及获取活细胞生物样品(例如三维(3D)细胞培养物，包括类器官和肿瘤球体)的荧光图像的方法和系统领域。
活细胞样品的使用涉及广泛的研究领域，包括免疫肿瘤学、肿瘤学和新陈代谢、神经科学、免疫学、传染病、毒理学、干细胞、心脏病和炎症。在这些研究领域，对细胞健康和增殖、细胞功能、细胞运动和形态学进行了研究，包括对复杂免疫-肿瘤细胞相互作用、突触活性、癌细胞代谢等的研究。
荧光显微镜是一种观察样品(包括活细胞样品)的光发射光谱的方法。从样品中观察荧光需要一个光学系统，包括入射光源和带外抑制参数(out-of-band rejectionparameter)的光学过滤器。这种设置使研究人员能够对样品的荧光质量进行实时分析。荧光显微镜具有成像功能(通过各种设计的相机或成像仪)，现已成为现代活细胞研究实验室的一部分。
在荧光显微镜中，通常对样品进行处理、染色或与一个或多个荧光团进行化学复合。荧光分子是微观分子，可能是蛋白质、小有机化合物、有机染料或合成聚合物，它们吸收特定波长的光，并发射更长波长的光。某些半导体金属纳米粒子也可作为荧光团，相对于其几何组成发光。
活细胞生物样品可以在荧光显微镜下以多种方式进行显微镜成像，通常放大倍数为10倍或20倍，以便在一个或多个时间点评估样品的生长、代谢、形态或其他特性。显微成像可包括荧光成像，其中样品中的荧光团被荧光团激发波长处的光激发，使其以荧光团发射波长处的荧光发光。在表面荧光成像中，激发光通过用于收集发射光的相同物镜提供。
生物学研究的总体趋势一直倾向于研究3D模型(如肿瘤球体、器官、3D细胞培养物)的重要性，而不是其二维(2D)对应物(如给定焦平面中的单个图像)，因为人们相信3D模型可以更好地复现真实体内系统中存在的生理条件。
使用荧光显微镜或共焦显微镜获取样品三维信息的标准方法包括逐步“Z堆栈(Z-stacking)”方法，其中一系列样品图像被捕获，每个图像位于三维坐标系中样品的特定深度或Z坐标处。此方法如本发明图2C所示，稍后将更详细地描述。然后，可以使用特殊软件对生成的一系列图像进行操作，以将图像投影或组合为单个2D图像。Timothy Jackson等人于2020年4月21日提交的美国专利申请“Image Processing and Segmentation of Sets ofZ-Stacked Images of Three-Dimensional Biological Samples”，序列号16/854710，提出了一种制作该Z投影的方法，该方法转让给本发明的受让人，其说明内容通过引用并入本文。将Z轴堆栈图像投影到2D图像中的开源图像分析软件包的一个示例是ImageJ，Schneider，C.A.、Rasband，W.S.和Eliceiri，K.W.(2012)NIH Image to ImageJ:25yearsof image analysis.Nature methods,9(7),671-675对其进行了描述。有几种Z投影方案，包括最大投影、平均投影、基于Sobel滤波器的投影和基于小波的投影。
然而，Z堆栈方法可能存在一些固有的挑战和问题，特别是对于活细胞样品。首先，微调包括曝光时间、开始Z位置、结束Z位置、Z步长(图像采集位置之间的ΔZ增量)等不同采集参数的要求，需要提前了解样品，这仅适用于专家级用户。其次，获取此类图像的时间可能变得非常缓慢，从而限制了通量，并将样品暴露在光源的大量荧光下，这可能导致样品的光漂白或光毒性，这在活细胞研究中是非常不可取的。最后，获取3D Z轴堆栈需要高级软件来可视化和分析数据。
发明内容
本文件描述了一种方法和系统，包括使用深度学习解决上述成像挑战的图像采集策略和图像处理程序。特别是，本文描述了利用深度学习和卷积神经网络的最新进展，以高通量方式获取3D活细胞生物样品的单个聚焦2D投影的方法。
不使用已知的Z轴堆栈策略，而是获得一个或多个长曝光“Z轴扫掠”图像，即一个或一系列连续长曝光连续图像采集，其中荧光显微镜中的相机暴露在样品上，同时移动Z焦平面穿过样品，从而在Z维上对样品的荧光强度进行积分。采集方法比Z堆栈快得多，因此能够实现更高的通量，并降低样品暴露于过多荧光的风险，从而避免光毒性和光漂白问题。然后将长曝光图像输入到一个经过训练的神经网络中，该神经网络经过训练以生成高质量的聚焦2D投影图像，该图像表示3D样品的投影。利用这些高质量的2D投影图像，可以获得使用标准图像分析技术描述荧光信号的生物相关分析指标，例如荧光物体计数和其他荧光强度指标(例如平均强度、纹理等)。
在一个具体方面中，提供了一种用于生成三维活细胞样品的荧光图像的聚焦二维投影的方法。该方法包括以下步骤：用相机获取样品的一个或多个长曝光图像，通过将相机的焦平面沿Z方向穿过样品，相机由此在Z维上对来自样品的荧光强度进行积分，将一个或更多长曝光图像提供给从多个训练图像训练的神经网络模型；以及使用神经网络模型生成对焦2D投影图像。
可能有几种不同类型的神经网络模型。在一个实施方案中，神经网络模型是卷积神经网络，在另一个实施方案中是基于编码器-解码器的监督模型。基于编码器-解码器的监督模型可以采用U-net的形式，如下文所述。或者，神经网络模型使用对抗方法进行训练，例如生成性对抗网络(GAN)。参见Goodfello等人，《“Generative Adversarial Nets,”inAdvances in Neural Information Processing Systems 27,Z.Ghahramani,M.Welling,C.Cortes,N.D.Lawrence,and K.Q.Weinberger,Eds.Curran Associates,Inc.,2014,pp.2672–2680。这种对抗性方法意味着同时训练两个神经网络：预测高质量聚焦投影图像的生成器，以及试图区分预测的聚焦投影图像和真实或实际获得图像的鉴别器。这种方法的优点是，由于生成器试图欺骗鉴别器，与普通监督训练相比，对抗训练可能会产生更真实的输出。附附条件GAN是另一种可能性，其中生成器以一个或多个长曝光图像为条件。神经网络模型也可以使用循环一致性损失方法进行训练，从而可以使用非成对数据进行训练，例如使用GAN或CycleGAN(具有循环一致性损失的GAN)，这在文献中也有描述。非成对数据意味着有Z扫掠图像和对焦投影图像，但不一定有一对一像素匹配的图像。循环一致性方法的优点是它不需要Z扫掠和对焦投影图像之间的完美配准。例如，当相机沿Z轴移动时，在X-Y平面上有轻微移动时，可能会出现不完美的配准。
为生成一个或多个长曝光Z扫掠图像，考虑了三种不同的方法或范式。在一种配置中，获得单个长曝光Z扫掠图像，以下称为“范式1”。或者，获得一系列长曝光连续Z扫掠图像，然后对其进行加和，以下称为“范式2”。作为另一种选择，获得了一系列长曝光连续Z扫掠图像，这些图像没有加和，以下称为“范式3”。
在另一方面，公开了一种训练神经网络模型以生成活细胞样品的聚焦2D投影图像的方法。该方法包括以多个图像的形式获取训练集的步骤。这样的图像可以是成对图像，也可以是非成对图像。在实践中，成对是有益的，特别是如果神经网络模型使用监督训练。但是，可以使用非成对的图像，例如使用循环一致性损失训练或生成性对抗网络。
训练图像可以包括(1)通过将相机的焦平面沿Z方向穿过样品而获得的活细胞样品的一个或多个长曝光Z扫掠图像，相机由此在Z维上对来自样品的荧光强度进行积分，以及(2)相关联的二维Z堆栈投影像元尺度真值(ground truth)图像，其中，像元尺度真值图像是从相同活细胞样品的一组Z堆栈图像获得的，Z堆栈图像的每个图像在样品的不同Z焦平面位置获得，并且其中，Z堆栈图像是使用Z投影算法组合的。该方法还包括从训练集执行神经网络的训练过程的步骤，从而生成一个模型，该模型经过训练，最终从一个或多个长曝光Z扫掠图像形式的输入生成活细胞样品的2D投影图像。
如上所述，训练集中的长曝光Z扫掠图像可以采取单个Z扫掠图像或一组连续Z扫掠图像的形式(可选加和)，或三种采集范式中的任意组合。
在另一方面，描述了一种活细胞成像系统，用于与样品保持装置(例如，适于保持活细胞样品微孔板)结合使用。该系统包括一个荧光显微镜，所述荧光显微镜具有一个或多个激发光源、一个或多个物镜，以及一个摄像机，所述摄像机可操作以从保存在样品保持装置内的活细胞样品获取荧光图像。所述荧光显微镜包括一个电机系统，该电机系统被配置为相对于样品保持装置移动荧光显微镜，包括沿Z方向移动，使得相机获得样品的一个或多个长曝光Z扫掠图像，以及通过将相机的焦平面沿Z方向穿过样品而获得的一个或者多个Z扫掠图像。所述系统还包括一个处理单元，该处理单元包括经过训练的神经网络模型，用于从一个或多个长曝光Z扫掠图像生成活细胞样品荧光图像的聚焦二维投影。
在另一方面，提供了一种用于生成用于训练神经网络的训练集的方法。该方法包括以下步骤：(a)使用相机，通过将相机的焦平面沿Z方向穿过样品，获取三维样品的一个或多个长曝光荧光图像，相机由此在Z维上对样品的荧光强度进行积分；(b)从相机获得的样品的一个或多个不同图像生成同一样品的像元尺度真值图像；(c)对多个不同的样品重复步骤(a)和(b)；以及(d)提供通过执行步骤(a)、(b)和(c)获得的图像作为用于训练神经网络的训练集。
本发明的方法具有许多优点：
(1)该方法允许人们使用标准图像分析技术，如荧光对象计数或其他荧光强度度量，从高质量投影图像中获得生物相关分析度量。
(2)一个或多个长曝光图像是在Z维上积分的样品荧光的真实表征，从而生成真实、准确的数据。
(3)本发明的方法可以在不改变传统电动荧光显微镜硬件的情况下实施。
(4)虽然本发明的工作流程旨在适应传统的宽视场荧光显微镜，但它也可以应用于转盘式共聚焦显微镜，以提高该模式的通量。
(5)该方法提供了一个单一的、高质量的2D投影图像作为输出，消除了用户使用复杂软件和分析工具处理3D数据集的负担。2D投影图像可以输入到标准2D图像可视化、分割和分析途径中，例如目前在市场上最先进的荧光显微镜平台上实施的途径。
在又一个方面中，提供了一种计算机可读介质，其存储用于活细胞成像系统的非瞬态指令，该系统包括摄像机和实现神经网络模型的处理单元，这些指令使得系统执行本发明的方法，例如，捕获样品的一个或多个长曝光Z扫掠图像的组合，将图像提供给经训练的神经网络模型，并使用经训练的网络模型生成二维投影图像。
附图说明
图1是获取活细胞生物样品3D荧光图像的方法和系统的示意图。
图2A是可用于图1电动荧光显微镜的Z扫掠图像采集方法图示；图2B是连续Z扫掠图像采集方法图示；图2C是现有技术Z轴堆栈图像采集方法图示。
图3是生成训练数据集以训练神经网络模型的方法的说明。图3还说明了使用经过训练的神经网络模型获取新输入图像进行推理的方法，以及以高质量2D投影图像的形式输出的方法。
图4是用于训练图3的神经网络模型的模型训练程序流程图。
图5是一个网络的实施方案图示，其中在远程计算机上实现了一个经过训练的神经网络模型，并与从连接的荧光显微镜接收荧光图像的远程工作站通信。
图6是使用经过训练的神经网络模型从图2A或图2B的长曝光图像采集方法获得的高质量聚焦2D投影图像图示。
图7是加载到微孔板样品孔中的生物样品的活细胞成像系统图示。该系统包括荧光光学模块，用于使用本发明的特征获取微孔板中样品的荧光图像。
图8是位于图7活细胞成像系统内的荧光光学模块的示意图。
图9是一组输入图像和模型输出的三个示例，与像元尺度真值投影进行了比较，展示了当前方法的实用性。在图9中，神经网络模型是一个经过训练的附条件生成对抗网络(GAN)，输入图像是在图3的第二个图像采集范式下生成的。
图10是用于生成图9所示模型输出(预测投影)的附条件GAN的高级架构。
具体实施方式
现参考图1，将活细胞生物样品(可以是当前研究中使用的任何类型的活细胞样品的形式，如背景中所述，例如活的三维细胞培养)放置在合适的保持结构12(例如微孔板或玻璃载玻片)上或放置在其中。可将一种或多种荧光试剂(荧光团)添加到活细胞样品10中，如14所示，荧光试剂的类型或性质当然取决于样品10的细节和正在进行的研究的性质。然后，将带有样品10和试剂的保持结构12供应给具有相机的电动荧光显微镜16，相机可以采用本领域已知或许多制造商(包括本发明受让人)提供的具有成像功能的任何传统荧光显微镜的形式。
根据图2A或图2B的方法，荧光显微镜16用于生成一个或多个长曝光Z扫掠图像(或一组这样的图像)18。三维活细胞生物样品10的长曝光Z扫掠图像是通过将显微镜中相机的焦平面沿Z方向穿过样品获得的，如图2A中的25和图6中的25所示，其中相机在Z维上对样品的荧光强度进行积分。长曝光Z扫掠图像生成数据集30，如图2A和图6所示。然后将该数据集30作为输入提供给实现训练神经网络模型22的计算机或处理器(图1)。如下所述，该模型从多组训练图像中训练，并生成高质量的对焦2D投影图像，如图3和图6中的140所示。该2D投影图140(图3和图6)包含3D荧光信息(因为图像采集是通过在Z维上对荧光强度进行积分获得的)，但其形式是投影到二维聚焦图像140中。然后，将得到的聚焦2D投影图像140(图3、图6)用于任何标准和已知的图像分析技术，例如荧光对象计数或其他荧光强度度量。
在图2A中，当焦平面沿Z方向穿过样品时，如箭头25所示，通过在荧光显微镜中连续曝光相机，获得单个长曝光Z扫掠图像，从而得到二维图像数据集30。这是图3的“范式1”。图像数据集30对于图像分析技术的用处有限，因为焦点不集中。因此，使用经过训练的神经网络模型将失焦图像转换为更有用的对焦投影图像，如图3和图6中的140所示。图9中显示了更多示例，本文稍后将对此进行讨论。
另一种长曝光Z扫掠图像采集方法如图2B所示。在这个替代方案中，图像采集包括获取一系列连续长曝光Z扫掠图像，在图2B中编号为1、2、3和4，其中显微镜中的相机被曝光，并在焦平面通过Z维增量移动时，在Z维上对荧光强度进行积分，并捕获图2B中1、2、3和4所示的一系列四个对应图像或图像数据集。然后将一系列图像或图像数据集相加，生成一个单独的长曝光Z扫掠数据集或图像30。这是图3的“范式2”。与图2A的方法相比，这种图像采集技术可能具有某些优势，包括避免图像饱和，允许在加和之前对每个较小的扫掠(1、2、3、4)应用传统的或基于深度学习的2D荧光反褶积算法，这可以消除失焦荧光，最终实现更精确的荧光强度测定。
作为获取长曝光Z扫掠图像的第三个实施方案，图2B的程序也可能发生变化，如图3的“范式3”所示。图像1-4是按照图2B中的上述说明获取的，但没有执行加和运算。这四幅图像被传递给经过训练的神经网络，以从所有图像中预测一幅对应的聚焦图像。在本实施方案中，四个图像可以组合成四通道图像。上述优点仍然适用于本实施方案。此外，它还有一个优点，即神经网络模型更容易从该范式中获得的图像推断出良好的对焦投影图像。
图2C说明了现有技术的Z轴堆栈图像采集方法，其中在不同的焦平面(例如位置A、B、C和D)上采集样品10的图像，从而生成图中所示的相应图像数据集A、B，C和D。注意，在这种方法中，Z维坐标在相机曝光时是固定的或静止的。
图3更详细地示出了卷积神经网络模型的训练，该模型用于从一个或多个长曝光Z扫掠图像30形式的输入生成图6的2D投影图像140。
模型输入的训练数据集是通过生成相同3D活细胞训练样品的Z轴堆栈104(图2C的程序)和Z轴扫掠(100)(图2A或图2B的程序，上面讨论的三种范式中的任何一种)来准备的。此外，从Z堆栈104和Z投影算法106中获得相同训练样品的像元尺度真值图像108。因此，使用所选的Z投影算法，例如前面引用的ImageJ算法，Z堆栈104用于生成高质量的2D投影108，该投影108将用作模型训练的“像元尺度真值”。Z扫掠图像102，102A或105与相关像元尺度真值108一起用作模型训练的输入。这些数据对(实际上，数千对这样的数据对)用于训练卷积神经网络(CNN)模型，如110所示，以便使网络能够学习如何从长曝光Z扫掠图像(30，图6)生成高质量的2D投影图像(140，图6)。训练后的神经网络模型如图1和图3中的22所示。如上所述，模型训练110的输入可以是刚刚描述的成对图像，例如在监督模型训练练习中，但如上所述模型输入不必成对，例如在循环一致性损失或生成性对抗网络模型的情况下，使用来自两个域的简单图像集(像元尺度真值Z投影图像和Z扫掠)。
神经网络模型22可以是受监督的模型，例如基于编码器-解码器的模型，如U-net，参见Ronneberger等人，"U-net:Convolutional networks for biomedical imagesegmentation"，由Springer联合医学图像计算和计算机辅助干预国际会议(international conference on medical image computing and computer-assistedintervention，MICCAI)第234-241页出版，另以arXiv:1505.04597(2015)出版，其内容通过引用并入本文。该监督模型经过训练，可以直接从相应的长曝光Z扫掠图像预测高质量的投影图像。
神经网络模型22也可以用对抗性方法设计和训练，例如GAN，见Goodfello等人，“Generative Adversarial Nets,”in Advances in Neural Information ProcessingSystems 27,Z.Ghahramani,M.Welling,C.Cortes,N.D.Lawrence,and K.Q.Weinberger,Eds.Curran Associates,Inc.,2014,pp.2672–2680，其中一个网络，发电机将根据另一个网络(鉴别器)进行训练。鉴别器的任务是区分真实的高质量投影和生成器的输出，生成器的任务是使输出与真实投影(即像元尺度真值)无法区分。
另一种替代模型体系结构是附附条件GAN，将结合图10进一步详细描述。
经训练的神经网络模型22也可以使用循环一致性损失方法进行训练，例如CycleGAN，参见Zhu，Jun Yan等。"Unpaired image-to-image translation using cycle-consistent adversarial networks",Proceedings of the IEEE internationalconference on computer vision(2017)，也出版为arXiv:1703.10593(2017)，此处通过引用合并其内容，这意味着将非成对的Z扫掠图像转换为高质量投影，然后再次转换回Z扫掠图像，并且训练网络以使循环的反向重建误差最小化。使用循环一致性的优点是，这种训练不需要Z扫掠图像和高质量投影之间的完美配准。它还提供了对来自两个域(本例中的Z扫掠图像和Z堆栈投影图像)的非成对数据进行训练的可能性。
一旦神经网络模型从一组训练样品(可能有数百或数千个这样的3D活细胞样品)中训练出来，在推断时，就不再需要根据图2C收集Z堆栈图像，这是一个较慢的过程，对样品的破坏性更大。相反，使用图2A或2B的技术，仅收集一个或多个高通量长曝光Z扫掠图像，然后将这些图像输入到经过训练的模型22中，以生成高质量的2D投影图像140。在120所示的一个实施方案中(“范式1”)，仅执行单个Z扫掠，并将结果图像数据集132输入到训练模型22中。在图3中表示为“范式2”的另一个实施方案中，在134处表示执行一系列连续的Z扫掠(图2B的技术)，生成图像136，这些图像136被加和以生成图像数据集32A。连续的Z扫掠图像136在不牺牲采集速度的情况下具有几个优点：(1)它们避免了图像饱和，(2)它们允许在加和之前对每个较小的扫掠应用传统的或基于深度学习的2D荧光反褶积算法，它可以消除离焦荧光，最终实现更精确的荧光强度测定。生成的图像136选择性地进行荧光反褶积，然后进行138中所示的加和运算，然后将生成的图像数据集132A提供给经过训练的模型22。
在第三种备选方案(图3中的“范式3”)中，执行一组连续的Z扫掠135(图2B的程序)，并从每个扫掠132B中获得一组结果图像数据集。图像数据集132B被提供给训练后的模型22。如果在该替代方案中，图像数据集如前所述组合成单个多通道输入图像，则可以通过提供互补特征来改善神经网络输出。
根据图像获取范式1、2或3获取的输入图像训练的模型用于模型推理，以便与用于获取输入图像的范式类型匹配。换句话说，例如，如果在推理时，输入图像是根据范式2获得的，那么推理是由根据范式2获取的图像训练的模型执行的。
由于模型干涉，经过训练的模型22产生模型输出140，即一个高质量的聚焦二维投影图像。
模型训练将在图4中更详细地描述。模型训练过程200包括对活细胞(例如3D训练样品)(使用图2A或2B图像采集技术)进行长曝光Z扫掠的步骤202、使用图2C的技术获取相同训练样品Z堆栈图像的步骤204，以及使用Z堆栈投影技术(例如ImageJ)将在步骤206中获取的Z堆栈投影到2D图像中。如208所示，对许多不同的训练样品(例如数千甚至数万个活细胞)重复此过程，3D样品跨越当前活细胞研究中荧光显微镜使用的所有预期样品类型。然后，将来自两个域的成对或非成对数据集(Z扫掠图像和像元尺度真值图像)的多个图像(步骤202和206)作为训练集210提供，并根据CycleGAN程序在监督学习模型训练练习或自我监督模型训练练习中用于训练如212所示的神经网络，或生成性对抗网络方法。这个练习的结果是一个经过训练的神经网络模型22。
在一种可能的变化中，可能有几个使用这种通用方法训练的离散模型，每种类型的活细胞样品一个，例如一个用于干细胞，一个用于肿瘤学，另一个用于脑细胞等。每个模型都是通过使用图3和图4中规定的程序获得的数百或数千张图像(成对或非成对)训练的。
参考图1和图5，可以在工作站24或与荧光显微镜/成像仪16相关或部分相关的处理器中实现经过训练的神经网络模型22。或者，训练过的模型可以在远程服务器上实现，如图5中的300所示。在这种配置中，荧光显微镜/成像仪16连接到工作站24，通过计算机网络26连接到服务器300。工作站将长曝光Z扫掠图像传输到服务器300上。反过来，服务器中经过训练的神经网络模型执行如图3所示的推理，并生成2D投影图像(140，图6)，并通过网络26将该2D投影图传输回工作站24，在工作站24中，该图像显示给用户或作为输入提供给工作站24上运行的图像分析和量化软件途径。
荧光显微镜系统
本发明特征的一种可能实现方式是在活细胞成像系统400中，该系统包括用于在三维活细胞研究应用中获取荧光图像的荧光显微镜。图7示出了具有外壳410的活细胞成像系统400，在使用过程中，整个系统可以放置在温度和湿度控制的培养箱中，未示出。活细胞成像系统400设计用于接收微孔板12，微孔板12包括多个样品保持孔404，每个保持孔接收3D活细胞样品。该系统包括一组荧光试剂406，其中一种或多种被添加到每个样品孔404中，以便能够从活细胞样品中获得荧光测定。该系统包括一个相关的工作站24，该工作站实现了图像分析软件，并具有显示功能，使研究人员能够看到对样品进行的活细胞实验的结果。活细胞成像系统400包括一个托盘408，该托盘408滑出系统，并允许微孔板12插入托盘408上，然后缩回并关闭，以便将微孔板12放置在活细胞图像系统外壳410的内部。微孔板12在外壳内保持静止，而荧光光学模块402(见图8)相对于板12移动，并在实验过程中获得一系列荧光图像。荧光光学模块402实现图2A和/或2B所示的长曝光Z扫掠图像采集技术(如前所述的范式1、2或3)，以生成输入到训练神经网络模型的图像数据集，如图3的推理部分所示。
图8是图7中荧光光学模块402的更详细的光学图。关于图8中所示荧光光学模块422的更多详细信息，可以在Brad Neagle等人于2020年4月21日提交的、申请号为16/854756、题为“Optical module with three or more color fluorescent light sourcesand methods for use thereof”、转让给本发明的受让人的美国专利申请中找到，其内容通过引用并入本文。
模块402包括LED激发光源450A和450B，分别以453-486nm和546-568nm等不同波长发光。光学模块402可以配置以第三波长(例如648-674nm)发射光的第三LED激发光源(未示出)，甚至是以第四不同波长发射的第四LED激发光源。LED 450A和450B发出的光分别通过窄带滤光片452A和452B，这些滤光片以设计用于激发样品中荧光团的特定波长使光通过。穿过滤光片452A的光反射出二向色镜454A和二向色镜454B，并指向物镜460，例如20倍放大镜。LED 450B发出的光也会穿过滤光片452B，也会穿过二向色镜454B，并被引导至物镜460。穿过物镜460的激发光随后会撞击样品板12的底部，并进入样品10。反过来，样品中荧光团的发射物会经过物镜460，反射出镜454B，穿过二向色镜454A，并穿过窄带发射滤光片462(滤除非荧光光)，然后撞击数码相机464，数码相机可以采用电荷耦合器件(CCD)或本领域目前已知并用于荧光显微镜的其他类型的相机的形式。然后，当光源450A或450B处于开启状态时，电机系统418操作以移动整个光学模块402的Z维，从而获得长曝光Z扫掠图像(图2A或2B)。可以理解，通常一次只激活一个光学通道，例如，打开LED 450A并捕获长曝光Z扫掠图像，然后关闭LED450A，激活LED 450B，并捕获第二个长曝光Z扫掠图像。
可以理解的是，物镜460可以安装在转台上，转台可以绕垂直轴旋转，以便将不同放大倍数的第二个物镜放入光路中，以获得不同放大倍数下的第二张长曝光Z扫掠图像。此外电机系统418可以配置为在样品板12下方的X和Y方向上移动，使得荧光光学模块402和物镜460的光路直接位于样品板12的每个孔404的下方，并且从每个孔(因此每个活细胞样品)获得刚才描述的荧光测定固定在板12中。
荧光光学模块402的电机系统418的细节可以变化很大，并且本领域技术人员是已知的。
活细胞成像系统的操作由传统的计算机或处理单元进行程序控制，包括电机系统和相机，它们协同采集样品孔中样品的图像。该处理单元可以实现图3中经过训练的神经网络模型。在这种情况下，作为一个可能的实施方案，计算机包括一个执行本发明方法的存储非瞬态指令(代码)的存储器，包括从范式1、2和/或3获取的图像以及如上文结合图3和图4所述的之前训练的神经网络模型。同样，计算机或处理单元包括存储器，所述存储器包括用于从用于模型训练的一组训练样品生成所有训练图像的指令，模型的训练可以在活细胞成像系统的计算机中进行，也可以在实现模型并执行模型训练的远程计算系统中进行。
应用
本文的方法对于类器官、肿瘤球体和在其他生物样品(如细胞培养物)中发现的三维结构的二维投影图像生成很有用。如前所述，活细胞样品的使用涵盖了广泛的研究领域，包括免疫肿瘤学、肿瘤学，新陈代谢、神经科学、免疫学、传染病、毒理学、干细胞、心脏病和炎症。在这些研究领域，对细胞健康和增殖、细胞功能、细胞运动和形态学进行了研究，包括对复杂免疫-肿瘤细胞相互作用、突触活性和癌细胞代谢的研究。本发明的方法与所有这些应用相关。
特别是，本发明的方法与上述应用相关，因为它们允许对样品进行高通量荧光图像捕获，生成可分割和分析的高质量荧光2D投影图像，以测定实验条件(例如药物治疗)如何影响类器官、肿瘤球体、或其他三维生物结构。类器官(例如胰腺细胞类器官、肝细胞类器官和肠细胞类器官)和肿瘤球体是特别被关注的，因为它们的三维结构更接近于培养细胞的“自然”三维环境。因此，类器官、肿瘤球体或其他此类三维多细胞结构对药物或其他应用实验条件的反应可能更接近于模拟人体或其他目标环境中相应样品的反应。
实施例1
本发明的方法使用经过训练的条件生成对抗网络(GAN)模型在三维活细胞生物样品上进行测试。经过训练的模型生成了二维聚焦投影图像，其中三个示例如图9所示。图像是使用图7和8中的仪器从微孔板孔中装载的样品获得的；整个荧光成像系统和样品放置在一个培养箱中，在适当的温度和湿度条件下培养样品以进行活细胞培养分析。
具体而言，图9是一组输入图像(901、906、912)和模型输出(902、908、914)的3个示例，与通过Z堆栈投影算法获得的像元尺度真值投影(904、910、916)进行比较，如前所述，展示了本方法的实用性。在图9中，输入图像(901、906、912)是在上面详细描述的图2B和图3的第二图像采集范式下生成的。像元尺度真值投影图像904、910、916是使用图2C的方法和Z轴堆栈投影算法获得的。
图9图像中描述的主题是胶质母细胞瘤细胞球体的示例，这是典型的单肿瘤球体分析。该分析是受让人的
Figure BDA0003899587050000131
活细胞成像系统可用的分析之一，如本发明图7和图8所示。有关此分析的详细信息，请访问https://www.essenbioscience.com/en/applications/cell-health-viability/spheroid s/。图9所示的每个图像都代表微孔板的整个微孔；球体半径约为400μm，每个孔只有一个球体。球体是由数千个细胞组成的3D结构。将荧光标记提供给微孔，以标记细胞核。因此，模型输出图像(902、908、914)和像元尺度真值投影(904、910、916)中可见的每个亮点都是一个单细胞。
生成图9中模型输出图像(902908914)的训练模型是一个条件生成对抗网络(GAN)。关于此类网络的详细信息，请参见Philip Isola等人Image-to Image Translationwith Conditional Adversarial Networks,arXiv.1611.07004[cv.cs](2016)，和XudongMao等人Least Squares Generative Adversarial Networks,arXiv.1611.04076[cv.cs](2016)，其内容通过引用并入本文中。
使用的附条件GAN的高级架构如图10所示。与其他GAN一样，该模型包括一个生成器1004和一个鉴别器1010。生成器1004接收根据图3的三个范式之一获取的图像中的一个作为输入1002。生成一个“假”数据集1006，该数据集是输入图像和生成器1004生成的预测投影图像的串联。一个“真实”数据集1008生成为一个输入图像和像元尺度真值投影图像的串联。然后将这两个数据集1006和1008提供给计算损耗的鉴别器。在每个训练迭代中，通过更新生成器和鉴别器的损失函数，生成器1004能够更好地生成“假”图像(即预测投影图像)，鉴别器1010能够更好地识别真实(像元尺度真值)与假(预测投影)图像。经过模型训练后，这使得生成器1004能够生成高质量的投影图像。在图10的架构中，生成器1004和鉴别器1010是单独的神经网络，它们的底层架构可能有所不同。在本实施例中，生成器1004是U-net(参见Ronneberger等人，"U-net:Convolutional networks for biomedical imagesegmentation"，由Springer与国际医学图像计算和计算机辅助干预会议(MICCAI)第234-241页联合出版)，鉴别器1010是PatchGAN，具有上述Isola等人论文对所述的结构。由于科学文献中详细描述了这些网络，为了简洁起见，为了不混淆本发明的创造性细节，省略了更详细的讨论。ResNet50是另一个可以用作鉴别器的网络示例。关于GAN的更多详细信息，请参阅之前引用的Goodfellow等人的论文。
在附附条件GAN中，生成器以一些数据为条件，例如本实施例中的长曝光(Z扫掠)输入图像。使用一个或多个长曝光图像对生成器进行调节，适用于训练和推理。在训练结束时，只需要生成器，因为它将在推理时用于生成投影图像。损失函数最小化和鉴别器生成器迭代只与训练阶段相关。
GAN的模型训练描述如下：如上所述，GAN有两个模型，生成器(G)和鉴别器(D)。G从噪声中产生输出；输出模拟了来自训练数据集的分布。D试图区分真实数据和生成的数据。本质上，G试图欺骗D；在每个训练迭代中，更新D和G的损失函数。可以进行模型培训，以或多或少地更新G或D。随着模型训练的进行，G可以更好地生成模拟训练数据集中真实数据的数据，并且在模型训练后，G可以对输入图像进行推断，并直接生成预测投影，图9中显示了三个示例。
关于图10的架构和模型培训的其他注释如下。(1)软标签。实际标签不是1，而是可以设置为[0.9，1]之间的值。(2)损失函数。二值交叉熵损失是GAN的原始损失函数。无激活函数的均方误差(MSE)损失可用于使其更稳定(使其成为最小二乘(LS)GAN)。(3)没有完全连接的层。如果将Resnet用作鉴别器，则可以移除最后一个完全连接的层，而输入一个压平层(flatten layer)(即，为其提供损失函数的标签列表)。(4)PatchGAN鉴别器。在GAN的这个实施方案中，可以使用一个完全卷积鉴别器，该鉴别器的输出层有多个神经元，每个神经元对应于输入图像的某个补丁。
结论
本发明的方法克服了从活的三维细胞培养物中获取三维荧光信息的传统方法的许多缺点。传统的3D样品逐步“Z堆栈”荧光成像方法速度慢，需要用户输入，最终会将样品暴露在过量的荧光灯下，从而导致样品的光毒性和光漂白，这两种情况都是非常不可取的。其他方法需要专门的硬件(如转盘)或高级光学装置(如光片显微镜)。替代的深度学习方法使用的方法可能会损害数据的完整性，包括超低曝光时间，或从单个焦平面生成3D数据。
相反，本发明的方法不需要专用硬件，只需要一个带轴向电机的简单荧光显微镜。值得注意的是，上述技术可以很容易地应用于其他采集系统。与传统方法相比，从活细胞样品中获取图像的速度很快，并且降低了光毒性和光漂白的风险。此外，从相机采集的原始图像是3D荧光的真实图，因为它们源自Z维上积分的荧光。最后，单个高质量2D投影图像的输出消除了用户使用复杂软件和分析工具来处理3D数据集的负担，这种高质量2D-投影(140，图3和图6，图9，902，908，914)可以输入到标准2D图像可视化、分割和分析途径中。

Claims (44)

1.一种用于生成三维活细胞样品的荧光图像的聚焦二维投影图像的方法，包括以下步骤：
使用相机，通过将相机的焦平面沿Z方向穿过样品来获取样品的一个或多个长曝光图像，相机由此在Z维上对样品的荧光强度进行积分，
将一个或多个长曝光图像提供给从多个训练图像训练的神经网络模型；
用经训练的神经网络模型生成对焦二维投影图像。
2.根据权利要求1所述的方法，其中所述神经网络模型包括卷积神经网络(CNN)模型。
3.根据权利要求2所述的方法，其中CNN模型包括基于编码器-解码器的模型。
4.根据权利要求1所述的方法，其中使用监督学习训练神经网络模型。
5.根据权利要求1所述的方法，其中使用生成性对抗网络(GAN)方法训练神经网络模型。
6.根据权利要求5所述的方法，其中所述GAN方法包括具有生成器和鉴别器的附条件GAN。
7.根据权利要求6所述的方法，其中附条件GAN的生成器以一个或多个长曝光图像为条件。
8.根据权利要求1所述的方法，其中使用循环一致性损失方法训练神经网络模型。
9.根据权利要求8所述的方法，其中所述循环一致性损失方法包括CycleGAN。
10.根据权利要求1-9中任一项所述的方法，其中所述一个或多个长曝光图像包括一组连续的长曝光图像。
11.根据权利要求10所述的方法，其中所述方法还包括对每个连续图像执行荧光反褶积的步骤，以及在荧光反褶曲之后对连续长曝光图像进行加和的加和操作。
12.根据权利要求1-11中任一项所述的方法，其中所述活细胞样品包含在微孔板的孔内。
13.根据权利要求1-12中任一项所述的方法，其中所述多个训练图像包括一个或多个长曝光图像，以及三维活细胞训练样品的相关像元尺度真值图像，所述长曝光图像是通过将相机的焦平面沿Z方向穿过三维活细胞训练样品而获得的，所述相机由此在Z维度上对来自训练样品的荧光强度进行积分。
14.根据权利要求13所述的方法，其中所述像元尺度真值图像包括训练样品的一组Z堆栈图像的二维投影。
15.根据权利要求1-13中任一项所述的方法，其中所述多个训练图像包括选择用于模型训练的多个三维活细胞训练样品的一个或多个长曝光图像，以及每个三维活细胞训练样品的关联像元尺度真值图像，所述长曝光图像每一个都是通过在Z方向上移动相机的焦平面穿过训练样品而获得的，每个像元尺度真值图像包括训练样品的一组Z堆栈图像的二维投影。
16.根据权利要求1-15中任一项所述的方法，其中所述三维活细胞样品包括类器官、肿瘤球体或三维细胞培养物。
17.根据权利要求1-15中任一项所述的方法，其中所述相机并入活细胞成像系统中，所述训练的神经网络模型在远离活细胞成像体系的计算平台中实现，所述计算平台通过计算机网络与活细胞成像系统通信。
18.一种用于训练神经网络以生成三维活细胞样品的荧光图像的二维投影图像的方法，包括以下步骤：
(a)获取多个图像形式的训练集，其中所述图像包括：
(1)通过将相机的焦平面沿Z方向穿过训练样品而获得的三维活细胞样品的一个或多个长曝光图像，相机由此在Z维上对来自训练样品的荧光强度进行积分，以及
(2)像元尺度真值图像，其中像元尺度真值图像是从在训练样品的不同Z焦平面位置获得的集合图像中获得的，并使用投影算法组合成二维投影图像；
(b)使用训练集进行模型训练过程，以生成经过训练的神经网络。
19.根据权利要求18所述的方法，其中图像(1)和(2)包括多个成对图像。
20.根据权利要求18所述的方法，其中图像(1)和(2)包括多个非成对的图像，并且其中模型训练过程包括循环一致性损失或生成性对抗网络模型训练过程。
21.根据权利要求20所述的方法，其中所述循环一致性损失模型训练程序包括CycleGAN。
22.根据权利要求18所述的方法，其中所述神经网络包括卷积神经网络(CNN)。
23.根据权利要求22所述的方法，其中CNN包括基于编码器-解码器的神经网络。
24.根据权利要求18、19、22或23中任一项所述的方法，其中使用监督学习训练神经网络。
25.根据权利要求18所述的方法，其中所述训练的神经网络包括生成性对抗网络(GAN)。
26.根据权利要求25所述的方法，其中所述GAN包括具有生成器和鉴别器的附条件GAN。
27.根据权利要求26所述的方法，其中附条件GAN的生成器以一个或多个长曝光图像为条件。
28.根据权利要求18-27中任一项所述的方法，其中所述一个或多个长曝光图像包括一组连续图像。
29.根据权利要求28所述的方法，其中所述方法还包括对每个连续图像执行荧光反褶积的步骤，以及在荧光反褶曲后对连续图像加和的加和操作。
30.一种活细胞成像系统，与适于容纳三维样品以生成样品的二维投影图像的样品保持装置结合使用，包括：
荧光显微镜，其具有一个或多个激发光源、一个或一个以上物镜，以及可从样品保持装置内的三维样品中获取一个或更多荧光图像的相机，
其中，荧光显微镜包括一个电机系统，该电机系统被配置为相对于样品保持装置在Z方向上移动荧光显微镜，使得相机获得样品的一个或多个长曝光图像，所述图像是通过在Z方向移动相机的焦平面通过样品而获得的；和
处理单元，包括用于从一个或多个长曝光图像生成三维样品的二维投影图像的训练神经网络模型。
31.根据权利要求30所述的系统，其中根据权利要求18-29中任一项所述的方法训练神经网络模型。
32.根据权利要求30-31中任一项所述的系统，其中所述一个或多个长曝光图像包括一组连续图像。
33.根据权利要求30-32中任一项所述的系统，其中样品保持装置包括具有多个微孔的微孔板。
34.根据权利要求30-33中任一项所述的系统，其中，神经网络模型由多个训练图像训练而来，所述训练图像包括一个或多个长曝光图像，以及训练样品的相关像元尺度真值图像，所述长曝光图像是通过将相机的焦平面沿Z方向穿过训练样品而获得的，所述相机由此在Z维上对来自训练样品的荧光强度。
35.根据权利要求30-34中任一项所述的系统，其中三维样品包括类器官、肿瘤球体或三维细胞培养物。
36.根据权利要求30-35中任一项所述的系统，其进一步包括一个远程计算平台，该远程计算平台实现经训练的神经网络模型，并通过计算机网络与活细胞成像系统通信。
37.一种用于生成用于训练神经网络的训练集的方法，包括以下步骤：
(a)使用相机，通过将相机的焦平面沿Z方向穿过样品来获取三维训练样品的一个或多个长曝光荧光图像，从而相机在Z维上对来自样品的荧光强度进行积分；
(b)从相机获得的训练样品的一个或多个不同图像生成相同训练样品的像元尺度真值图像；
(c)对多个不同的训练样品重复步骤(a)和(b)；和
(d)提供通过执行步骤(a)、(b)和(c)获得的图像作为用于训练神经网络的训练集。
38.根据权利要求37所述的方法，其中，在步骤(b)中由相机获得的训练样品的一个或多个不同图像包括在训练样品的不同Z焦平面位置获得的一组图像，其中，通过将该组图像投影到二维投影图像中来生成像元尺度真值图像。
39.根据权利要求37-38中任一项所述的方法，其中所述三维样品包括类器官、肿瘤球体或三维细胞培养物。
40.根据权利要求37-39中任一项所述的方法，还包括针对不同类型的三维训练样品重复步骤(a)-(d)的步骤，从而生成不同类型的训练集。
41.根据权利要求37-40中任一项所述的方法，其中所述一个或多个长曝光图像包括一组连续图像。
42.根据权利要求41所述的方法，其中所述方法还包括对每个连续图像执行荧光反褶积的步骤，以及在荧光反褶曲后对连续图像加和的加和操作。
43.根据权利要求37-40中任一项所述的方法，还包括根据一个或多个图像获取范式执行步骤(a)，以获得长曝光图像。
44.一种计算机可读介质，用于存储活细胞成像系统的非瞬态指令，所述活细胞图像系统包括摄像机和实现神经网络模型的处理单元，所述指令使系统执行权利要求1-14中任一项的方法。
CN202180029828.8A 2020-07-22 2021-06-30 活细胞生物样品荧光图像采集方法和系统 Pending CN115428037A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/935,326 US11422355B2 (en) 2020-07-22 2020-07-22 Method and system for acquisition of fluorescence images of live-cell biological samples
US16/935,326 2020-07-22
PCT/US2021/039808 WO2022020079A1 (en) 2020-07-22 2021-06-30 Method and system for acquisition of fluorescence images of live-cell biological samples

Publications (1)

Publication Number Publication Date
CN115428037A true CN115428037A (zh) 2022-12-02

Family

ID=77338757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180029828.8A Pending CN115428037A (zh) 2020-07-22 2021-06-30 活细胞生物样品荧光图像采集方法和系统

Country Status (6)

Country Link
US (1) US11422355B2 (zh)
EP (1) EP4185989A1 (zh)
JP (1) JP2023534366A (zh)
KR (1) KR20230040306A (zh)
CN (1) CN115428037A (zh)
WO (1) WO2022020079A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210224947A1 (en) * 2020-01-17 2021-07-22 Insurance Services Office, Inc. Computer Vision Systems and Methods for Diverse Image-to-Image Translation Via Disentangled Representations

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8767092B2 (en) 2011-01-31 2014-07-01 Panasonic Corporation Image restoration device, imaging apparatus, and image restoration method
US8994809B2 (en) 2012-07-19 2015-03-31 Sony Corporation Method and apparatus for simulating depth of field (DOF) in microscopy
JP6654688B2 (ja) * 2016-03-25 2020-02-26 オリンパス株式会社 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
WO2018008136A1 (ja) 2016-07-07 2018-01-11 オリンパス株式会社 画像処理装置および画像処理装置の作動方法
WO2019018693A2 (en) 2017-07-19 2019-01-24 Altius Institute For Biomedical Sciences METHODS OF ANALYZING MICROSCOPIC IMAGES USING AUTOMATIC LEARNING
JP7015144B2 (ja) 2017-10-25 2022-02-02 オリンパス株式会社 画像処理装置および顕微鏡システム
US11222415B2 (en) 2018-04-26 2022-01-11 The Regents Of The University Of California Systems and methods for deep learning microscopy
US11946854B2 (en) 2018-12-26 2024-04-02 The Regents Of The University Of California Systems and methods for two-dimensional fluorescence wave propagation onto surfaces using deep learning

Also Published As

Publication number Publication date
EP4185989A1 (en) 2023-05-31
US11422355B2 (en) 2022-08-23
WO2022020079A1 (en) 2022-01-27
JP2023534366A (ja) 2023-08-09
KR20230040306A (ko) 2023-03-22
US20220026699A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
de Haan et al. Deep-learning-based image reconstruction and enhancement in optical microscopy
US7756305B2 (en) Fast 3D cytometry for information in tissue engineering
US8280140B2 (en) Classifying image features
US20220334371A1 (en) Intelligent automated imaging system
JP2015114172A (ja) 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
WO2021198247A1 (en) Optimal co-design of hardware and software for virtual staining of unlabeled tissue
CN115428037A (zh) 活细胞生物样品荧光图像采集方法和系统
Wijesinghe et al. Experimentally unsupervised deconvolution for light-sheet microscopy with propagation-invariant beams
Fazel et al. Analysis of super-resolution single molecule localization microscopy data: A tutorial
WO2021198243A1 (en) Method for virtually staining a tissue sample and a device for tissue analysis
WO2021198252A1 (en) Virtual staining logic
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
Berezsky et al. Modern trends in biomedical image analysis system design
CN115249282A (zh) 用于生成染色图像的系统和方法
CN112070661A (zh) 一种基于深度学习的全切片数字成像快速自动聚焦方法
Mannam Overcoming fundamental limits of three-dimensional in vivo fluorescence imaging using machine learning
Dave A Multiple Input Multiple Output Framework for the Automatic OpticalFractionator-Based Cell Counting in Z-Stacks Using Deep Learning
US20230230234A1 (en) Cell body segmentation using machine learning
Tran et al. Mobile Fluorescence Imaging and Protein Crystal Recognition
Tian et al. DeepLeMiN: Deep-learning-empowered Physics-aware Lensless Miniscope
Karempudi et al. Three-dimensional localization of fluorescent proteins in living Escherichia coli
Wohland et al. Deep learning reduces data requirements and allows real-time measurements in Imaging Fluorescence Correlation Spectroscopy
Bouchama et al. FPM image enhancement with bi-modal deep learning
Preibisch et al. Towards digital representation of Drosophila embryogenesis
CN114926357A (zh) 计算显微成像系统的led阵列光源位姿自校正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination