CN112384787A - 多光谱样本成像 - Google Patents

多光谱样本成像 Download PDF

Info

Publication number
CN112384787A
CN112384787A CN201980044706.9A CN201980044706A CN112384787A CN 112384787 A CN112384787 A CN 112384787A CN 201980044706 A CN201980044706 A CN 201980044706A CN 112384787 A CN112384787 A CN 112384787A
Authority
CN
China
Prior art keywords
sample
spectral
autofluorescence
band
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980044706.9A
Other languages
English (en)
Inventor
P.J.米勒
K.S.约翰逊
C.科尔塔普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Akoya Biosciences Inc
Original Assignee
Akoya Biosciences Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Akoya Biosciences Inc filed Critical Akoya Biosciences Inc
Publication of CN112384787A publication Critical patent/CN112384787A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0297Constructional arrangements for removing other types of optical noise or for performing calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/44Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
    • G01J3/4406Fluorescence spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6486Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6419Excitation at two or more wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6421Measuring at two or more wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

本公开的特征在于一种方法,该方法包括:将生物样本暴露于照射光并测量来自样本的光发射以获得N个样本图像(104),其中每个样本图像对应于照射光的波长带和光发射的一个或多个波长带的不同组合,其中光发射的一个或多个波长带定义波长范围,并且其中N>1;以及将样本暴露于背景激发带中的照射光并测量背景光谱带中的来自样本的光发射以获得样本的背景图像(106),其中背景光谱带对应于波长范围内的波长。从背景图像中获得自发荧光图像。

Description

多光谱样本成像
相关申请的交叉引用
本申请要求于2018年5月3日提交的美国临时专利No.62/666,697的优先权,其全部内容通过引用结合于此。
技术领域
本公开涉及生物样本的多光谱成像,特别是通过荧光显微(fluorescencemicroscopy)。
背景技术
荧光显微技术被用在病理学中,以提供关于疾病和患者反应的信息、促进人类对研究环境的理解、并指导临床环境中的个体患者治疗。大多数荧光显微利用设计或选择以提供具有已知激发和发射特性的强荧光信号的染料。免疫荧光标记技术允许样本中的单独表位被特异性靶向(target),使得蛋白质、抗体、核酸和其他组织和细胞成分即使是以相对较少的量存在时也可以被检验。
发明内容
在多光谱成像中,多个染料(dye)或染色剂(stain)被施加到样本上,然后样本在宽范围的波长上成像,产生组合的空间和光谱测量的集合。染料或染色剂可以被施加到样本上,使得每个染色剂特异性地结合到感兴趣的样本成分上。通过分析该空间和光谱测量的集合来分离每个样本成分的贡献,以确定样本内每个感兴趣成分的数量和空间分布。某些荧光染料具有相对明确定义的激发带和发射带。因此,对于一些样本,可以选择发射带足够清晰的几个染料(通常为3或4个),使得它们可以经由光谱滤光而被检测,而不会在发射带之间产生过多的串扰。
组织样本表现出一定程度的内源性荧光反应,这被称为自发荧光。自发荧光在福尔马林固定的石蜡包埋(formalin-fixed paraffin-embedded,FFPE)样本中可能比在新鲜冷冻的样本中更强,这可能是固定化学物质或固定过程的结果。与工程染料不同,自发荧光是一种自然现象并且没有明确的激发带和发射带。相反,自发荧光具有跨越大部分可见范围的宽发射,使得它的发射难以与由于与样本中感兴趣的成分特异性结合的染料的荧光发射区分开来。
本公开的特征在于用于测量已经施加了一个或多个染料或染色剂的样本中的自发荧光的方法和系统。通常,对于已经施加了多个染料或染色剂的样本,在多个光谱波长带中测量荧光发射,每个光谱波长带可以很大程度上对应于仅来自染料或染色剂中的单一一个的荧光发射。荧光发射还在不对应于来自任何施加的染料或染色剂的显著发射的发射带中被测量。该带中的发射很大程度上对应于来自样本的自发荧光。基于从该带中的荧光发射的测量导出的信息,可以量化整个样本的自发荧光。然后,量化的自发荧光可用于校正一些或所有染料或染色剂的荧光发射测量,并进一步用于定量测量样本内不同位置的一些或所有染料或染色剂。
在一个方面,本公开的特征在于包括以下步骤的方法:将生物样本暴露于照射光,并测量来自样本的光发射以获得N个样本图像,其中每个样本图像对应于照射光的波长带和光发射的一个或多个波长带的不同组合,其中光发射的一个或多个波长带定义波长范围,并且其中N>1;以及将样本暴露于背景激发带中的照射光,并测量背景光谱带中的来自样本的光发射以获得样本的背景图像,其中背景光谱带对应于波长范围内的波长,并且其中对于暴露于背景激发带中的照射光的样本中的一个或多个非内源性光谱贡献者中的每个非内源性光谱贡献者,在背景光谱带内的每个波长处的光谱发射强度是在照射光的每个波长带和背景激发带中激发样本后的、非内源性光谱贡献者的最大测量光谱发射强度的10%或更少。
方法的实施例可以包括以下特征中的任何一个或多个。
该方法可以包括从背景图像获得样本的自发荧光图像。对于暴露于背景激发带中的照射光的样本中的一个或多个非内源性光谱贡献者中的每个非内源性光谱贡献者,在背景光谱带内的每个波长处的光谱发射强度可以是在照射光的每个波长带和背景激发带中激发样本之后的、非内源性光谱贡献者的最大测量光谱发射强度的4%或更少(例如,2%或更少)。背景光谱带可以包括具有半峰全宽(full-width at half maximum,FWHM)光谱宽度Δλ和中心波长λc的波长的分布,并且背景光谱带内的波长可以对应于λc-Δλ/2到λc+Δλ/2范围内的波长。
N可以大于3(例如,大于5)。样本可以包括M个非内源性光谱贡献者,并且其中M≤N。M可以大于4(例如,大于6)。该方法可以包括在显示设备上显示自发荧光图像。
该方法可以包括在样本中的多个位置中的每个位置处确定来自样本的自发荧光发射量。该方法可以包括,在样本中的多个位置中的每个位置处,并且对于N个样本图像中的一个或多个样本图像,基于多个位置中的每个位置处的自发荧光发射量和来自样本的自发荧光发射的至少一个纯光谱,调节对应于样本发射强度的值以对来自样本的自发荧光发射进行校正。自发荧光发射的至少一个纯光谱可以包括自发荧光发射的多个纯光谱,并且自发荧光发射的多个纯光谱可以各自对应于多个位置的不同子集。该方法可以包括基于在多个位置中的每个位置处的、来自样本的自发荧光发射量,分解N个样本图像中的至少一些样本图像以获得M个光谱贡献者图像,其中M个光谱贡献者图像中的每个光谱贡献者图像对应于仅来自非内源性光谱贡献者中不同的一个非内源性光谱贡献者的光发射;以及在多个位置中的每个位置处,确定样本中的M个非内源性光谱贡献者的量。
该方法可以包括基于来自样本的自发荧光发射的至少一个纯光谱来分解N个样本图像中的至少一些样本图像。自发荧光发射的至少一个纯光谱可以包括自发荧光发射的多个纯光谱,并且自发荧光发射的多个纯光谱可以各自对应于多个位置的不同子集。
在背景光谱带内的每个波长处的、样本中的每个非内源性光谱贡献者的光谱发射强度之和可以是背景光谱带中的总荧光发射强度的10%或更少。
该方法可以包括基于从自发荧光图像导出的信息,将样本图像中的一个或多个样本图像的像素分类成不同的类别。不同的类别可以对应于样本中的不同的细胞类型。
M个非内源性光谱贡献者可以包括选择性结合到样本中的不同化学部分的一个或多个荧光物种。一个或多个荧光物种可以包括一个或多个免疫荧光探针。M个非内源性光谱贡献者可以包括一个或多个复染剂。
方法的实施例还可以包括本文描述的任何其他特征,包括结合不同实施例单独描述的特征的任何组合,除非另有明确说明。
在另一方面,本公开的特征在于包括指令的计算机可读存储介质,当由处理设备执行时,该指令使得处理设备:使用生物样本的自发荧光信息分解样本的多个样本图像以获得样本的一个或多个非内源性光谱贡献者图像;基于一个或多个非内源性光谱贡献者图像,确定样本中的多个位置处的一个或多个非内源性光谱贡献者的量;以及在连接到处理设备的显示设备上生成包括非内源性光谱贡献者图像中的至少一个非内源性光谱贡献者图像的输出显示,其中每个样本图像对应于用于照射样本的照射光的波长带和来自样本的发射光的一个或多个波长带的不同组合,发射光的一个或多个波长带定义波长范围,其中背景图像对应于用背景激发带中的光对样本的照射和对背景光谱带中的来自样本的光发射的测量,并且其中对于用背景激发带中的光照射的样本中的一个或多个非内源性光谱贡献者中的每个非内源性光谱贡献者,在背景光谱带内的每个波长处的光谱发射强度是在照射光的每个波长带和背景激发带中激发样本之后的、非内源性光谱贡献者的最大测量光谱发射强度的10%或更少。
存储介质的实施例可以包括以下特征中的任何一个或多个。
存储介质可以包括指令,当由处理设备执行时,该指令使得处理设备从样本的背景图像获得样本的自发荧光信息。每个非内源性光谱贡献者图像仅对应于来自样本中的非内源性光谱贡献者中不同的一个非内源性光谱贡献者的光发射。
对于用背景激发带中的光照射的样本中的一个或多个非内源性光谱贡献者中的每个非内源性光谱贡献者,在背景光谱带内的每个波长处的光谱发射强度是在照射光的每个波长带和背景激发带中激发样本之后的、非内源性光谱贡献者的最大测量光谱发射强度的4%或更少(例如,2%或更少)。
样本可以包括M个非内源性光谱贡献者,其中M≤N。M可以大于4(例如,大于6)。
自发荧光信息可以包括在样本中多个位置的每个位置处的、来自样本的自发荧光发射量。存储介质可以包括指令,当由处理设备执行时,该指令使得处理设备使用自发荧光信息和来自样本的自发荧光发射的至少一个纯光谱来分解多个样本图像。存储介质可以包括指令,当由处理设备执行时,该指令使得处理设备从背景图像确定自发荧光的至少一个纯光谱。
来自样本的自发荧光发射的至少一个纯光谱包括来自样本的自发荧光发射的两个或更多个不同的纯光谱,并且不同的纯光谱中的每个纯光谱对应于多个空间位置的不同子集。
存储介质可以包括指令,当由处理设备执行时,指令使得该处理设备基于多个位置中的每个位置处的自发荧光发射量和来自样本的自发荧光发射的至少一个纯光谱,调节对应于样本图像中的每个样本图像中的样本发射强度的值以对来自样本的自发荧光发射进行校正。
在背景光谱带内的每个波长处的、样本中的每个非内源性光谱贡献者的光谱发射强度之和是背景光谱带中的总荧光发射强度的10%或更少。
存储介质可以包括指令,当由处理设备执行时,该指令使得处理设备基于自发荧光信息将样本图像中的一个或多个样本图像的像素分类为不同的类别。不同的类别可以对应于样本中的不同的细胞类型。
M个非内源性光谱贡献者可以包括选择性结合到样本中的不同化学部分(moiety)的一个或多个荧光物种。M个非内源性光谱贡献者可以包括一个或多个复染剂。
除非另外明确说明,存储介质的实施例还可以包括本文描述的任何其他特征,包括结合不同实施例描述的特征的任何组合。
除非另有定义,本文使用的所有技术和科学术语具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。尽管与本文描述的方法和材料相似或等同的方法和材料可用于本文主题的实践或测试,但合适的方法和材料描述如下。本文提及的所有出版物、专利申请、专利和其他参考文献通过引用整体并入本文。如有冲突,以本说明书(包括定义)为准。此外,材料、方法和实例仅是说明性的,而不是限制性的。
在附图和说明书中阐述了一个或多个实施例的细节。从说明书、附图和权利要求书中,其他特征和优点将变得显而易见。
附图说明
图1是示出用于测量样本的自发荧光的示例步骤的流程图。
图2是用于测量样本自发荧光的示例系统的示意图。
图3是示出一组示例光谱发射带的示意图,该组示例光谱发射带可用于测量由于样本中的非内源性光谱贡献者引起的荧光发射和样本自发荧光。
图4是示出来自样本中的非内源性光谱贡献者的荧光发射的示意图。
图5A-图5D是示出可用于测量样本荧光的四个外延滤光器(epi-filter)立方体的光谱特性的图。
图6A图示出了用作免疫荧光标记的复染剂和六个染料的染料激发响应。
图6B是示出图6A的复染剂和染料的荧光发射响应的图。
图6C是示出福尔马林固定的石蜡包埋的肺癌样本在以387纳米激发时和在以425纳米激发时(作为604)的自发荧光发射的图。
图7A-7H是在光谱激发波长带和光谱发射波长带的不同组合中激发样本和测量样本荧光之后获得的样本图像和背景图像,这些图像中的每个图像示出样本的一部分。
图8A-8H是从解混(unmix)样本图像和背景图像获得的、图7A-7H的样本的纯光谱贡献者图像和自发荧光图像,这些图像中的每个图像示出样本的一部分。
图9A-9H是从解混样本图像和背景图像获得的、图7A-7H样本的纯光谱贡献者图像和自发荧光图像,这些图像中的每个图像示出整个样本。
图10A和10B是分别用于用多种非内源性染料制备的样本和未染色样本的图像集合,每个集合包括自体荧光图像、二元分类掩模、FoxP3丰度图像、阈值分割掩模和仅示出FoxP3阳性细胞的图像。
不同附图中相同的参考符号指示相同的元素。
具体实施方式
为了在自发荧光存在的情况下准确测量免疫荧光靶(target),已经开发了各种技术。一种方法涉及多光谱成像,其中在不同的波长下获得样本图像,以区分与免疫荧光标记相关联的染料的贡献和由于样本自发荧光引起的荧光发射。虽然这些信号在光谱上重叠,但每个信号的光谱形状是不同的。执行光谱解混或其他光谱分解步骤,以将对测量的荧光信号的贡献分离成对应于单独染料的单独光谱成分,使得尽管存在光谱上的宽自发荧光发射,也能够实现对多个染料的测量。光谱解混技术可以区分样本中多个染料的贡献,即使来自染料的荧光发射在光谱上重叠,也能提供关键的多重(multiplex)样本标记优势。
多重免疫荧光标记是指在一个样本中靶向多种第一(primary)抗体,并且其可以通过多种方式实现。从概念上来说,最简单的是直接标记,其中第一抗体分子与染料缀合(conjugate),不同的染料与不同的第一抗体缀合。这种标记过程通常导致每个靶标只有一个染料分子,因此信号水平可能很低,除非靶标本身是丰富的。间接标记提供了每个靶标偶联多个染料分子的方法,使较弱的靶标能够被研究。为了避免交叉标记,通常对每个靶标使用不同的第二(secondary)抗体同种型或物种,使得标记过程更加复杂。
引入多种特定染料的另一方法是将第一抗体与核苷酸序列缀合,该核苷酸序列由与染料聚合物缀合的互补序列识别。该技术不受可用的第二抗体物种数量的限制。
为了增加选择性结合(bind)到样本上的每个荧光染料的量,可以使用酪胺信号放大(tyramide signal amplification,TSA)将染料选择性地依次施加到样本上。在TSA中,单个第一抗体与偶联到辣根过氧化物酶上的第二抗体一起使用,以通过肉桂酰胺或酪胺分子催化染料分子与周围组织的共价结合。因为染料分子共价结合到组织上,所以第一抗体和第二抗体随后可被去除,并且该处理可以与其他第一抗体和染料分子一起重复,允许更高浓度的染料分子以多重、特定的方式被引入到样本中。
在一些基于TSA的染色方案中,进一步的扩增可以通过以下来实现:经由肉桂酰胺或酪胺分子将小分子配体选择性地共价结合到样本组织上,接下来将样本与缀合到多个染料分子上的配体结合蛋白质一起孵育(incubation)。例如,可以引入生物素作为配体,并且链霉亲和素可以用作配体结合蛋白质,但是也可以使用其他配体-蛋白质组合。因为染料分子没有共价被结合到组织上,被配体结合的(ligand-bound)样本与配体结合(ligand-binding)蛋白质的孵育通常发生在多重染色方案的末尾。
已经开发了用于对整个载玻片样本执行多光谱成像的方法和系统。具体而言,这种方法和系统可以生成具有衍射受限的多光谱图像、具有跨样本的二维的多厘米视场(multi-centimeter field of view)的拼接(mosaic)图像。这种系统使用多带滤光器和诸如LED或激光器的可选光源、多个外延滤光器集合、或两者的组合。当使用多个外延滤光器时,多光谱图像的配准很重要,因为它允许对应于样本的不同部分的图像被组合,以形成无缝拼接。美国专利申请公开US 2014/0193061描述了用于使用多个滤光器的方法,其中每个滤光器在诸如复染剂带(例如,DAPI复染剂带)的公共带以及其他带对样本成像,以及用于通过使用在公共带处测量的图像以配准对应于所有样本成像带的图像来将图像集合组合成样本的拼接图像的方法。以这种方式,样本可以在10个或更多不同的发射带中成像并且可以被成像和准同配准(co-registered)。美国专利申请公开US 2014/0193061的所有内容通过引用结合于此。
用于执行多光谱样本成像的前述方法可以确定在光谱解混期间来自样本自发荧光的贡献。例如,使用对样本自发荧光的纯光谱的估计,光谱解混过程可以产生表示样本内的自发荧光的空间分布的自发荧光丰度(abundance)图像。自发荧光图像可以被看作是“剩余”图像的类型,其解释了不归因于施加到样本上的染料的样本荧光。
然而,对于某些样本来说,纯粹从光谱解混得到的自发荧光的丰度测量可能并不完全准确。特别地,这种测量是使用对纯自发荧光光谱(其可能不完全地对应于感兴趣的特定样本中的自发荧光)的估计而导出的,特别是当样本也包括多种荧光染料并且根据特定的固定方案保存时。此外,样本中的自发荧光在不同的样本区域当中可能发生变化(并且特别是在样本内的不同结构当中,诸如不同类型的细胞和不同类型的细胞特征(例如,间质(stroma)、细胞质、细胞膜、细胞核)),这种变化可能无法用纯自发荧光光谱的单个评估来充分表示。
本文描述的方法和系统允许样本中的自发荧光被直接测量,而不是在光谱解混期间被简单提取。通过直接测量自发荧光,可以在分析多光谱图像期间合适地测量和解释样本特定的自发荧光响应,该多光谱图像表示施加到样本以靶向特异性抗体、蛋白质、核酸和其它样本结构以及细胞成分的一个或多个染料。具体而言,在图像分析之前或期间,可以校正对应于单独的施加的染料的光谱发射带中测量的荧光信号,以解释样本自发荧光,从而提供对单独的施加的染料中的每一个的更准确的丰度测量。为了允许这些改进,在对应于单独的施加的染料的多光谱图像的光谱分解之前,确定样本内多个位置处的样本自发荧光的丰度和空间分布两者。
样本成像系统通常包括一个或多个显示器,在其上,表示对应于单独的施加的染料的光谱贡献的样本图像被显示给病理学家或其他医生或技术人员,用于诊断样本内的疾病和其他状态。染料通常被选择作为对于特定抗体、蛋白质(例如,跨膜蛋白质)、核酸片段和/或可以指示某些条件的存在或不存在的感兴趣的细胞结构的报告者,并且可以提供关于细胞迁移、蛋白质表达、调节网络、突变和样本中的其他事件的复杂生理信息。本文描述的方法和系统允许显示更准确的光谱贡献者图像,从而显著改进传统的样本成像和显示系统,这又改进了由这种系统提供的诊断信息。
根据本文所述的方法和系统测量的(多个)自发荧光图像也可以用于其他目的。例如,可以使用经训练的基于像素的分类器来分析测量的自发荧光图像,以识别样本中的不同类型的细胞或细胞结构,并排除样本中对应于不感兴趣的某些类型的细胞或细胞结构的区域。例如,经训练的分类器可以用于识别样本中的红细胞,这些红细胞可能不是感兴趣的,但是它们可以在对应于已经被施加到样本上以靶向感兴趣的特定样本靶标的一个或多个染料的光谱区域中发射荧光。经训练的分类器也可用于识别其他类型的细胞,包括(但不限于)不同类型的白细胞,诸如淋巴细胞、中性粒细胞、嗜酸性粒细胞、单核细胞和嗜碱性粒细胞;网织红细胞;以及肿瘤细胞。
样本中不感兴趣的区域可以从后续分析(例如,样本图像的光谱解混)中排除,从而从样本中排除否则将表示一个或多个施加的染料的假阳性检测的区域,并因此排除由那些施加的染料靶向的(多个)细胞成分。通过将某些样本区域排除在经由对测量的自发荧光图像的分类操作的分析之外,本文描述的方法和系统允许显示更准确的光谱贡献者图像,从而进一步显著改进传统的样本成像和显示系统,并进而改进由这种系统呈现的诊断信息的质量和效用。
本文所述的方法和系统使能够对多重染色的样本进行相对快速、全载玻片的多光谱成像,以用于在包括免疫肿瘤学分析、细胞信号研究和多重免疫荧光病理学实验的应用中进行准确和定量的分析。该方法和系统可应用于已使用多种不同方法进行标记的多种多样的样本,包括生物样本,诸如(但不限于)福尔马林固定的石蜡包埋(FFPE)样本。
图1是示出用于对样本进行成像的一系列示例步骤的流程图100。在第一步骤102中,通过向样本施加一个或多个非内源性染料来制备用于成像的样本。如本文所用,“染料”是一种非内源性物质,其与样本内的结构/化学部分结合,并在暴露于照射光时发出荧光。术语“染料”可与术语“染色剂”互换使用;出于本公开的目的,“染料”和“染色剂”对应于相同的实质。
通常,在步骤102中,将一个或多个染料施加到样本上。例如,施加的染料的数量可以是两个或更多个(例如,三个或更多个、四个或更多个、五个或更多个、六个或更多个、七个或更多个、八个或更多个、九个或更多个、十个或更多个、12个或更多个、15个或更多个、20个或更多个、或者甚至更多)。施加的染料可以被结合到样本内的特定类型的抗体、蛋白质、核酸、囊泡、脂质或其他物质。施加的染料也可以结合到样本内的特定细胞类型(例如,红细胞、淋巴细胞、T细胞、B细胞)。此外,施加的染料可以结合到样本内的特定细胞结构或隔室(例如,间质、细胞膜、细胞质、细胞核、线粒体、高尔基体)。
在一些实施例中,施加到样本的一个或多个染料可以包括结合到样本细胞中的多个结构、区域或成分的一个或多个复染剂。合适的复染剂的示例包括但不限于DAPI、DRAQ5、Hoechst 33258、Hoechst 33342和Hoechst 34580。
在某些实施例中,施加到样本的一个或多个染料具有在光谱上分离的发射带。通过选择具有这种特性的染料,来自每个染料的荧光发射可以容易地与由其他染料引起的发射隔离,并且使用合适的发射滤光器来测量,从而最小化由染料当中的光谱发射串扰(cross-talk)引起的干扰。例如,在一些实施例中,选择染料,使得对于给定的一对染料D1和D2,每个染料具有发射光谱并分别在染料的发射光谱内的波长λD1和λD2处具有最大发射强度D1max和D2max,染料D1在λD2处的发射强度比D1max的10%更小(例如,比其8%更小、比其6%更小、比其4%更小、比其2%更小、比其1%更小、比其0.5%更小、比其0.25%更小),并且染料D2在λD1处的发射强度比D2max的10%更小(例如,比其8%更小、比其6%更小、比其4%更小、比其2%更小、比其1%更小、比其0.5%更小、比其0.25%更小)。可以选择染料,使得上述成对关系在三个或更多个染料、四个或更多个染料、五个或更多个染料、六个或更多个染料、八个或更多个染料、十个或更多个染料、12个或更多个染料、15个或更多个染料、20个或更多个染料、或者甚至更多个染料的组的所有成员当中成立。
如上所述,在步骤102中可以使用多种不同的样本制备方案。合适的制备方案的一个示例描述如下。然而,应该理解,可以使用将许多不同染料施加到样本的许多不同方案。
可以使用
Figure BDA0002878850360000101
多重免疫组织化学(immunohistochemical,IHC)试剂(可从AkoyaBiosciences,Menlo Park,CA获得)制备样本以用于多光谱成像,该试剂可用于标记样本内的多种分子靶标。利用
Figure BDA0002878850360000102
试剂通过以60℃烘烤1小时,随后通过在二甲苯中进行3次10分钟的洗涤以除去石蜡,来制备FFPE组织样本。然后样本经由乙醇梯度被再水合到去离子水中,使用10%中性缓冲福尔马林固定20分钟,接下来在去离子水中洗涤。
Figure BDA0002878850360000111
多重IHC染色过程从一轮抗原修复开始,其可以经由微波处理使用缓冲剂AR6(抗原修复pH 6)或AR9(抗原修复pH 9)来进行。抗原修复后,在循环中依次标记每个样本靶标,其包括五个步骤:阻断(blocking)、第一抗体孵育、第二抗体孵育、酪胺沉积和抗体剥离。
通过在室温下将样本在
Figure BDA0002878850360000112
抗体稀释液中孵育10分钟来实现阻断。第一抗体可以取决于靶标而在不同的时间和温度下孵育。例如,对于肺癌样本,表1列出了各种不同样本靶标的第一抗体和稀释比率的示例。
Figure BDA0002878850360000113
Figure BDA0002878850360000121
表1
每个抗体可在室温下孵育约30分钟。在第一抗体孵育后,使用
Figure BDA0002878850360000122
聚合物HRPMs+Rb溶液(Akoya Biosciences,Menlo Park,CA)在室温下孵育10分钟,接下来用由0.1M的TRIS-HCl,pH 7.5、0.15M氯化钠和0.05%
Figure BDA0002878850360000123
20(Sigma-Aldrich,St.Louis MO)组成的TBST缓冲剂漂洗3次。酪胺沉积在室温下进行10分钟,接下来用TBST漂洗3次。根据选择的靶标和被以选择以询问选择的靶标的染料,不同的酪胺试剂与每个第一抗体配对。通过在AR6或AR9中经由微波处理的抗体剥离完成染色循环。可以对样本中的每个靶标重复前述5步循环。与上述过程直接类似,如果在样本制备过程中使用基于配体的酪胺试剂,则在最后的抗体剥离步骤后,发生与染料缀合的配体结合蛋白质的孵育。
在施加了对应于样本内特定靶标的每个染料后,通过将样本与复染剂一起孵育,一个或多个复染剂可以可选地被施加到样本上。例如,为了将DAPI复染剂施加于样本,样本可以在室温下在DAPI溶液(4滴/毫升)中孵育5分钟,接下来在去离子水中洗涤一次,以及在TBST洗涤一次。
染色样本(对其已经施加与特定样本靶标相关联的一个或多个染料,以及可选的一个或多个复染剂)可通过使用安装介质(例如,
Figure BDA0002878850360000124
Diamond,可从ThermoFisherScientific,Waltham MA获得)和盖玻片被进一步制备以用于成像。
在一些实施例中,样本制备还可以包括可用于执行自发荧光测量的未染色样本的制备。通常,未染色样本可以通过类似于制备染色样本的过程来制备,并且简单地省略包括荧光染料的孵育步骤。在上述示例中,省略了用表1第五栏中所示的各种染料的孵育步骤,但是这些步骤在其他方面是相同的。这种制备方案产生了未染色样本,该未染色样本已经用染色载玻片所经历的相同的温度变化、抗体添加和pH变化进行了处理,并且就这些处理步骤影响来自样本的内源性自发荧光发射的程度而言,影响对于染色样本和未染色样本两者应该是相似的。
通常,可以使用多种不同的样本制备技术,这些技术使用特定于某些样本靶标的染料、复染剂和其他样本标记部分的不同组合。针对具体目的特异性多重免疫荧光样本制备方案的开发通常包括第一抗体的选择、抗体和染料稀释的改进/优化、以及其他免疫组织化学过程开发步骤,以维持样本完整性并增强与样本的选择性染料结合。除非另有明确说明,否则所有这些方案通常可用于随后描述的方法和系统中。
回到图1,在步骤102中完成样本制备之后,在步骤104中对制备的样本成像,以获得一个或多个样本图像。在步骤104中获得的每个样本图像对应于激发带内的照射光和在一个或多个发射带中测量的、响应于该照射光的来自样本的荧光发射的选择的组合。
可以使用各种不同的样本成像系统来获得样本图像。图2中示出了被实施为荧光显微镜的一个样本成像系统200的示例。系统200包括光源202、分色镜204、光学滤光器206(被实施为激发滤光器206a和发射滤光器206b)、透镜208、载物台(stage)210和检测器212。这些组件中的每个组件都耦合到包括处理设备216的控制器214。
控制器214发送和接收来自每个系统组件的控制和数据信号,并且可以因此控制每个组件(更具体地,处理设备216控制每个系统组件)。在某些实施例中,结合系统200描述的所有步骤和/或控制功能由控制器214执行。可替代地,在一些实施例中,某些步骤可以由系统200的操作员执行。
光源202是可调节的光源,其可以产生具有可变照明波长分布的光。在一些实施例中,例如,光源202包括不同波长的多个LED,该LED可以由控制器214选择性地激活,以产生具有期望光谱特性的照射光。在某些实施例中,光源202包括一个或多个激光二极管、激光器、白炽光源和/或荧光光源,这些光源中的每个都可以由控制器214控制。
光源202生成的照射光从分色镜204反射并入射到光学滤光器206上。滤光器206通常包括多个滤光器,每个滤光器可以选择性地插入照射光的路径中。每个滤光器具有相关联的激发光谱带和一个或多个发射光谱带。控制器214基于光源202生成的照射光来调节滤光器206,以允许合适波长分布的光入射到样本上。
滤光器206可以以各种方式实施。例如,在一些实施例中,滤光器206包括多个不同的外延滤光器立方体,该外延滤光器立方体中的每个可以被控制器214选择性地旋转到照射光的路径中。在某些实施例中,滤光器206包括可调节滤光元件(例如,基于液晶的元件),控制器214可以针对其选择性地选择激发和发射光谱带。滤光器206的其他实施方式也可以用在系统200中。
从滤光器206射出的经过滤的照射光然后由透镜208聚焦到样本250的表面上,该样本250由安装在载物台210上的载玻片252支撑。载物台210允许样本250在x和y方向中的每一个方向上移动,并且可以由控制器214控制。载物台210在x和y方向上的运动允许经过滤的照射光被导向样本的不同区域。通过相对于照射光的焦点区域移动样本,照射光可以被导向样本的多个不同区域,允许样本250的全载玻片成像。
经过滤的照射光从样本250产生荧光发射,并且在透镜208的方向上发射的荧光被透镜208准直并穿过滤光器206。如上所述,可以由控制器214调节的滤光器206定义了一个或多个发射光谱带。来自样本250的荧光发射被滤光器206过滤,使得仅在一个或多个发射光谱带内的光被滤光器206透射。经过滤的荧光发射光被分色镜204透射,并被检测器212检测。
检测器212可以以各种方式实施。在一些实施例中,例如,检测器212包括基于CCD的检测元件。在某些实施例中,检测器212包括基于CMOS的检测元件。检测器212还可以可选地包括光谱选择性光学元件,诸如一个或多个棱镜、光栅、衍射元件和/或滤光器,以允许对经过滤的荧光发射光的波长选择性检测。响应于入射的经过滤的荧光发射光,检测器212生成表示经过滤的荧光发射光的定量测量的一个或多个电子信号。该信号被发送到处理该信号以提取对应于样本250的测量信息的控制器214。
在操作期间,系统200通常捕获N个不同的样本图像,这些样本图像中的每个样本图像对应于滤光器206的激发波长带(其控制入射到样本250上的照射光的光谱分布)和滤光器206的一个或多个发射波长带(其控制由检测器212检测的来自样本250的荧光发射的光谱分布)的不同组合。N为1或更大,并且通常可以是任何数字(例如,2或更大、3或更大、4或更大、5或更大、6或更大、7或更大、8或更大、9或更大、10或更大、12或更大、15或更大、20或更大、甚至更大)。
在某些实施例中,N可以与样本中的非内源性光谱贡献者的数量相关。如本文所使用的,“非内源性光谱贡献者”是已经添加到样本中的、并且当被来自光源202的照射光激发时发射荧光的样本250的成分。如上所述,非内源性光谱贡献者包括施加到样本250的一个或多个染料。例如,N可以等于或大于样本中的非内源性光谱贡献者的数量M。
回到图1,在步骤106中,系统200通常还捕获样本的一个或多个背景图像。(多个)背景图像可以在步骤104中的样本的光谱图像的捕获之后、之前或与之交错地被捕获。(多个)背景图像对应于滤光器206的激发波长带和滤光器206的背景光谱带的组合。背景光谱带的重要方面在于其被选择而使得样本250中的非内源性光谱贡献者在背景光谱带内不生成显著的荧光发射光。
一组荧光发射光谱波长带和背景光谱波长带的一个示例示意性地在图3中示出。在图3中,示出了七个不同的荧光发射光谱波长带B1-B7、以及背景光谱波长带X。每个带对应于各自的波长λ17和λx,这种波长分别表示从每个带的半峰全宽(FWHM)光谱形状确定的光谱带的中心波长。应该注意的是,下面的讨论仅出于说明的目的涉及七个发射光谱波长带B1-B7。通常,如上所述,当捕获样本图像时,可以使用任意数量N的光谱波长带。
波长λ17定义了荧光发射光谱波长带B1-B7的波长范围。在一些实施例中,选择背景光谱带X,使得波长λx落在荧光发射光谱波长带B1-B7的波长范围内。可替代地,在某些实施例中,λx落在这种范围之外。在某些实施方式中,λx在荧光发射光谱波长带B1-B7的波长范围内是有利的,因为以这种方式选择背景光谱波长带允许更大的光谱范围专用于荧光发射光谱波长带,使得对来自样本250的各种荧光发射信号的隔离更加容易。
应该注意的是,虽然在图3中背景光谱带X在光谱上与光谱波长带B1-B7分离,但情况并非总是如此。在一些实施例中,背景光谱带X与光谱波长带B1-B7中的一个或多个的部分重叠。通常,可以选择背景光谱带X,使得其在光谱上不与对应于非内源性光谱贡献者的任何光谱波长带重叠,或者可替换地与对应于非内源性光谱贡献者的一个或多个(例如,两个或更多个、三个或更多个、四个或更多个、甚至更多)光谱波长带重叠。如下所述,即使当在背景光谱带X和光谱波长带B1-B7中的一个或多个之间出现光谱重叠时,仍然可以通过在选择的波长带中激发样本并且然后测量背景光谱带X中的样本自发荧光来测量内源性样本自发荧光。
通常,样本的背景图像通过在背景光谱带X中检测来自样本的荧光发射来获得。在某些实施例中,样本的一些或所有背景图像通过在一个以上的背景光谱带中检测来自样本的荧光发射来获得。用于检测来自样本的荧光发射的每个背景光谱带通常共享公共属性:当样本在某激发波长带中被激发时,样本中的每个非内源性光谱贡献者在背景光谱带中不生成显著的荧光发射。因此,通过在选择的激发波长带中激发样本并在背景光谱带中测量样本荧光,可以获得样本的背景图像,该样本的背景图像包括基本上仅来自样本自发荧光的光谱贡献,而没有来自非内源性光谱贡献者(诸如施加的染料和复染剂)的显著贡献。
图4是示出来自非内源性光谱贡献者的荧光发射和背景光谱带之间的关系的特性的示例的示意图。为了对样本成像,将样本暴露于带Wexc,i中的照射光下,并在发射带Wemi,j中测量来自激发样本的荧光发射。重复该过程以获得N个样本图像,每个样本图像对应于激发带Wexc,i和发射带Wemi,j的不同组合。为了获得样本的背景图像,将样本暴露于背景激发带Wback,exc中的照射光,并在背景光谱带Wback,emi中测量样本荧光。
对于样本中的每个非内源性光谱贡献者,光谱贡献者将在由发射带Wemi,j定义的波长范围内的特定波长处显示最大荧光强度Imax。从利用激发带Wexc,i和Wback,exc之一中的光的激发中得出最大荧光强度Imax。在本文所述的方法和系统中,选择背景激发带Wback,exc和背景光谱带Wback,emi,使得对于背景光谱带Wback,emi中的任何波长,来自每个非内源性光谱贡献者的荧光发射的强度为该非内源性光谱贡献者的最大荧光强度Imax的10%或更小(例如,8%或更小、6%或更小、5%或更小、4%或更小、3%或更小、2%或更小、1%或更小、0.5%或更小、0.25%或更小、0.1%或更小、0.05%或更小、0.01%或更小、甚至更小)。
在图4中,示出了由背景激发带Wback,exc中的照射光激发的非内源性光谱贡献者的荧光发射强度光谱E(λ)。还示出了背景光谱带Wback,emi(对应于光谱带X)。背景光谱带Wback,emi对应于波长λx(如上所述),并且包括波长λX1X2的带。为了避免背景光谱带中的荧光发射串扰,对于范围λX1X2中的每个波长,非内源性光谱贡献者的荧光发射强度E(λ)为在任何波长带Wexc,i和Wback,exc中激发的非内源性光谱贡献者的最大荧光发射强度Imax的10%或更小(例如,8%或更小、6%或更小、5%或更小、4%或更小、3%或更小、2%或更小、1%或更小、0.5%或更小、0.25%或更小、0.1%或更小、0.05%或更小、0.01%或更小、甚至更小)。通过以这种方式选择背景光谱带X,由系统捕获的样本的背景图像几乎全部(或全部)对应于来自样本的自发荧光发射。
通常,可以选择背景激发和背景光谱带,使得上述关系适用于样本中的一些或所有非内源性光谱贡献者。此外,当通过检测多个背景光谱带中的荧光发射来捕获样本的背景图像时,可以选择多个背景光谱带,使得前述关系适用于一些或所有背景光谱带(以及一些或所有非内源性光谱贡献者)。
图4中的背景光谱带具有近似对应于正方形或“礼帽(top hat)”分布的光谱形状。因此,分布的边缘定义了与背景光谱带相关联的波长范围λX1X2。当背景光谱带具有更复杂的形状时,则基于背景光谱带的FWHM光谱范围来确定与背景光谱带相关联的波长范围。具体地,对于FWHM光谱范围为Δλ、以波长λc为中心的背景光谱带,则与背景光谱带相关联的波长范围从λX1=λc-Δλ/2延伸到λX2=λc+Δλ/2。可以选择背景光谱带,使得来自样本中的非内源性光谱贡献者的荧光发射和背景光谱带之间的上述关系保持在波长范围λX1至λX2内。
背景激发带和背景光谱带也可以根据其他标准来选择,以确保进入背景光谱带的荧光发射串扰保持相对较低。在一些实施例中,例如,可以选择背景激发带和背景光谱带,使得对于一些或所有非内源性光谱贡献者,在背景激发带中的激发之后的、背景光谱带中的非内源性光谱贡献者的积分强度(即,在波长λX1与λX2之间求和的发射强度)比当非内源性光谱贡献者在激发带Wexc,i中被激发时、跨由发射带Wemi,j定义的波长范围中的所有波长的非内源性光谱贡献者最大积分荧光发射强度的5%更小(例如,比其4%更小、比其3%更小、比其2%更小、比其1%更小、比其0.5%更小、比其0.3%更小、比其0.2%更小、比其0.05%更小、比其0.01%更小)。
在一些实施例中,可以选择背景激发带和背景光谱带,使得当利用背景激发带中的光照射样本时,来自样本中的所有非内源性光谱贡献者的荧光发射的积分强度为背景光谱带中所有测量的荧光发射的积分强度(即,由于非内源性光谱贡献者和样本自发荧光)的10%或更小(例如,8%或更小、6%或更小、4%或更小、2%或更小、1%或更小、0.5%或更小、0.25%或更小、0.1%或更小、0.05%或更小、或者甚至更小)。
还应该认识到,在一些实施例中,可以选择背景激发带和背景光谱带,使得满足一个以上的前述条件。
回到图1,在下一步骤108中,获得样本的自发荧光图像。在一些实施例中,由于背景光谱带X的选择,样本的背景图像基本上仅有效地对应于来自样本的自发荧光。因此,样本自发荧光图像直接对应于样本背景图像,而无需任何进一步的处理。
在某些实施例中,通过使用诸如光谱解混的技术来分解背景图像,可以从背景图像中提取样本自发荧光图像。在光谱解混中,可以使用对样本自发荧光光谱和样本中的每个非内源性光谱贡献者的荧光发射光谱的纯估计来解混背景图像(其可以是多光谱图像,该多光谱图像包括在背景光谱带X内的每个波长处以及在每个感兴趣的样本位置处的发射强度测量,以形成多光谱图像立方体),以获得样本的自发荧光图像。因为样本的背景图像仅包含来自样本中的每个非内源性光谱贡献者的小贡献,所以解混过程通常在隔离样本自发荧光和生成自发荧光图像方面非常有效。光谱解混的合适方法例如在美国专利No.7,321,791和PCT专利申请公开WO 2005/040769中描述,其全部内容通过引用结合于此。
回到图1,可以在步骤110中分解在步骤104中获得的样本图像,以获得一组纯光谱贡献者图像,其中每个光谱贡献者图像基本上仅包括来自样本中的非内源性光谱贡献者之一的贡献。应该注意的是,在图1中,步骤108可以顺序发生(即,可以首先获得自发荧光图像,接下来获得纯光谱贡献者图像),或者可替代地,步骤108和110可以同时发生(即,自发荧光图像和纯光谱贡献者图像两者可以同时获得,诸如经由单个光谱成像过程)。
通过执行分解步骤110,可以确定样本内的每个施加的染料的分布,并因此确定与每个染料相关联的分子靶标的分布。光谱解混可用于执行步骤110中的分解。在某些实施例中,当从步骤108已经知道样本自发荧光分布时,步骤110中使用的光谱解混过程可以考虑自发荧光丰度信息。下面讨论使用先前确定的自发荧光丰度信息的两步光谱解混过程。可替代地,步骤108和110可以在一步光谱解混过程中同时进行。
接下来,在步骤112中,确定样本中一个或多个非内源性光谱贡献者的量。实际上,该步骤对应于定量地确定一个或多个非内源性光谱贡献者的分布,并因此确定样本中一个或多个靶标的定量分布。非内源性光谱贡献者的量可以使用光谱解混直接确定为丰度矩阵中的条目。因此,在某些实施例中,步骤110和112一起执行,因为光谱解混在样本内的一些或所有位置处产生非内源性光谱贡献者的空间分布和定量的量两者。
在步骤114中,在步骤108中获得的自发荧光图像可以可选地显示在连接到控制器214的显示界面或设备218上。此外,在步骤114中,在步骤110中获得的任何纯光谱贡献者图像可以可选地显示在界面218上。如上所述,显示这些图像中的所有或一些图像的系统表示了对传统荧光显微镜和其他多光谱样本成像设备的显著改进,这些传统荧光显微镜和其他多光谱样本成像设备不能以相同的方式确定样本自发荧光并获得纯光谱贡献者图像。具体而言,如本文所讨论的确定样本自发荧光并获得纯光谱贡献者图像的系统能够比传统的样本成像设备更快地获取该信息,并且相对于传统设备具有降低的数据存储要求。例如,其中测量样本荧光以获得内源性自发荧光的准确定量确定的光谱带和/或波长的数量相对于传统的样本成像设备显著减少。结果,来自样本的测量光谱信息量减少,并且计算密集的操作(诸如光谱解混)进行得更快。
然后,流程图100中的过程在步骤116终止。
应当注意,流程图100中所示的步骤不是样本分析工作流中可以执行的唯一步骤。也可以在图1所示的任何步骤之前、同时或之后执行其他步骤。例如,在步骤110和116之间,图1所示的过程可以包括附加的分析步骤,在该步骤中,定量分析一些或所有纯光谱贡献者图像,以确定样本和/或其分子靶标的一个或多个特性。通常,可以执行任何分析过程,包括例如定量确定与各种分子靶标的分布相关的统计属性。
通常,图1中描述的过程允许定量确定样本自发荧光。自发荧光可以与样本中的每个非内源性光谱贡献者的定量分布的确定分开来确定。此外,在一些实施例中,可以在确定样本中的每个非内源性光谱贡献者的定量分布之前确定自发荧光。可替代地,在某些实施例中,同时确定自发荧光和每个非内源性光谱贡献者的定量分布。
结果,在一些实施例中,样本自发荧光可用于校正每个非内源性光谱贡献者的原始光谱荧光发射测量。在某些实施例中,如上所述,这种校正发生在分解(例如,光谱解混)期间,其中样本自发荧光分布用在两阶段解混过程中。
可替代地,在一些实施例中,可以在样本图像的解混之前使用样本自发荧光来直接调节样本图像中的测量强度值。例如,在一些或所有原始多光谱样本图像中(并且可选地,在图像内的一些或所有空间位置处),可以基于样本中对应位置处的自发荧光发射量以及样本自发荧光发射的至少一个纯光谱来调节测量的光谱发射强度值。例如,可以通过从测量的光谱发射强度值中减去自发荧光贡献来进行调节。在其中存在多于一个样本自发荧光发射光谱的样本(例如,由于不同样本区域中自发荧光发射的差异,如下面将要讨论的)中,样本自发荧光发射的不同纯光谱可以用于在对应的样本区域中执行校正。
一般而言,本文所述的方法和系统可以使用多种不同的滤光器来选择合适的光谱激发带和发射带,以用于获得纯贡献者和样本的自发荧光图像。此外,在一些实施例中,可以基于多于一个背景光谱带中的荧光发射测量来获得样本背景图像。例如,可以从两个或更多个(例如,三个或更多个、四个或更多个、五个或更多个)背景光谱带中的荧光发射测量获得样本背景图像。通常,当从一个以上背景光谱带中的荧光发射测量获得样本背景图像时,一些或所有背景光谱带满足上述标准。
对于光谱解混操作,可以通过各种方式获得对于染料和样本自发荧光的纯光谱估计。例如,染料光谱可以基于染料和滤光器的测量特性来建模,这将在下面讨论,但是它们也可以直接测量。例如,美国专利No.10,126,242描述了从单一染色的伪影(artifact)样本中提取纯分量光谱的方法,尽管在用于测量的样本中存在自发荧光。美国专利No.10,126,242的全部内容通过引用结合于此。
在某些实施例中,像素类型的分类可以与自适应解混相结合,以提高解混准确性。换句话说,自发荧光图像中的像素可以根据每个像素处的样本材料的类型(例如,间质、细胞外基质(matrix)、红细胞、胶原)来分类,接下来用类型特定的纯光谱估计在每个像素处解混以提高解混准确性。可替代地或附加地,基于样本图像中的某些像素对应的样本材料的类型(即,对应于为像素确定的分类类型),可以将该样本图像中的某些像素排除在进一步分析之外。例如,被分类为对应于红细胞、和/或胶原和/或细胞外基质的像素可能不是感兴趣的。这些像素可以被指定为在样本的感兴趣区域之外,并且对应于这些像素的测量信息(例如,光谱信息)可以随后被忽略。这可以显著减少对于样本的分析时间。还可以选择删除为这些像素测量的信息,从而降低数据存储要求。
相反,在某些实施例中,可以通过显示其中排除了对应于不感兴趣的样本结构的像素(即,显示为暗像素)的自发荧光图像来优先分析和可视化对应于诸如胶原、间质、细胞外基质和红细胞的样本结构的像素。
作为光谱解混的一部分,可以测量每个样本材料类型的自发荧光光谱,从而得到样本的类型特定的自发荧光光谱。这些测量可以在同一样本的相邻系列切片(section)上进行,以提供最具代表性的数据。可替代地,测量可以基于共享相同器官类型、或相同固定条件、或相同疾病状态或推荐其作为样本的代表的一些其他特性的不同样本的切片。
光谱可以通过人类操作员选择样本的自发荧光图像中的像素区域,并且然后获得每个类型的所选择像素组的光谱来获得。可替代地,诸如神经网络(例如,在处理设备216中实施)的经训练的机器分类器可以用于执行像素区域选择,并且可以以全自动方式提取材料类型特定的自发荧光光谱。使用类型特定的自发荧光光谱,S矩阵可以针对每个类型来创建,并且被反转以产生一组S+矩阵来解混每个类型的样本材料的像素。
为了使用类型特定的自发荧光光谱来处理样本图像,样本的自发荧光图像被分类,与每个像素相关联的类型信息被用于为该类型的样本材料选择适当的S+矩阵,并且像素被解混以创建丰度向量A。就实际样本自发荧光被其类型特定的光谱比总体平均更好地匹配而言,所得到的解混图像将更准确地指示真实样本丰度。
当样本图像中的像素对应于不同类型的样本结构,具有与不同结构相关联的内源性自发荧光的变化时,可以使用前述过程。分割掩模(或其他空间滤光技术)可以与前述过程结合使用,以排除从自发荧光图像中识别的特定样本结构。例如,自适应解混可以与从下游(downstream)分析中对对应于红细胞和/或胶原的像素的排除相结合。在从分析中优选省略红细胞的情况下,识别和排除红细胞可以是有益的。此外,自适应解混可以为具有不同于平均样本自发荧光光谱的自发荧光光谱的存活像素(诸如对应于间质细胞或对应于细胞外基质的像素)提供更准确的定量信息。
一个或多个自发荧光图像也可以用于其他应用。例如,在一些实施例中,根据本文所述的方法获得的样本的自发荧光图像可用于生成样本的合成H&E图像(或另一种类型的合成图像)。在某些实施例中,其中根据扫描图案扫描样本的不同区域以及然后将样本和背景图像组装以形成更大的图像(例如,全载玻片图像),对应于样本不同区域的自发荧光光谱可用于配准对应于不同区域的多光谱样本图像集合。也就是说,自发荧光光谱可以用于不同的样本图像集合的基于像素的配准。
在检查多个样本的情况下,应当理解,虽然本文描述的方法和系统允许针对每个样本测量内源性自发荧光,但是也可以仅针对样本的子集,或者从一个或多个见证或参考样本测量内源性自发荧光光谱,然后测量的内源性自发荧光光谱可以用在对来自其他样本的样本图像集合执行的光谱解混操作中,其中这些其他样本的内源性自发荧光不被独立测量。
本文描述的方法和系统与系列染色与成像方案兼容,并且可以提高这种方案中的检测灵敏度。在这种类型的方案中,通过选择性地将染料和抗体与DNA条形码技术接合,样本一次与n个抗体孵育,并且它们在一时间处被检测m次。这些方案可以试图成像(n多达30或更多,并且m为3或4),因此成像操作的数量范围可以在2到8或者甚至更多。其他方案可以使用相同的广泛原则,但是除了DNA条形码技术之外的技术用于选择性地接合染料和抗体。在方案中,通常在一时间处只成像m个信号,因此将染料信号与彼此隔离或与复染剂隔离通常不会太困难。然而,测量的信号水平可以中等或低,尤其是对于弱物种。本文所述的方法和系统对于隔离另外会干扰较弱信号的检测的样本自发荧光特别有用。作为另一个益处,获得的样本自发荧光图像可以用于准同配准来自连续成像会话的样本图像。
用于获得样本图像的系统以及用于分析和分类光谱图像的方法的其他特征和方面在例如以下参考文献中进行了描述,每个文献的全部内容通过引用结合于此:美国专利No.8,634,607;美国专利No.7,555,155;美国专利No.8,103,331;美国专利申请公开No.US2014/0193061;美国专利申请公开No.US 2014/0193050;以及美国专利申请No.15/837,956。
本文描述的任何方法步骤和其他功能可以由控制器214(例如,通过控制器214的处理设备216)和/或执行软件程序或硬件编码指令的一个或多个附加处理设备(诸如计算机或预编程集成电路)执行。可以存储在各种有形的、处理设备可读的存储介质上的软件程序包括(但不限于)诸如CD-ROM或DVD介质的光存储介质、磁存储介质、和/或永久固态存储介质。程序在由处理设备216(或更一般地,由控制器214)执行时,使得处理设备(或控制器)执行本文描述的控制、计算和输出功能中的任何一个或多个。
除了处理设备216之外,控制器214还可以可选地包括其他组件,包括显示或输出单元、输入单元(例如,定点设备、语音识别接口、键盘和其他这样的设备)、存储单元(例如,持久或非持久存储单元,其可以存储由系统测量的程序和数据、以及校准和控制设置)、以及用于向包括其他计算设备的其他电子组件发送和接收数据和控制信号的发送和接收单元。
示例
(1)肺癌样本
肺癌样本使用表1中列出的试剂来制备。TSA-生物素(Akoya Biosciences,MenloPark,CA)用于对泛细胞角蛋白染色(见表1),并且与链霉亲和素、Alexa FluorTM 750缀合物(ThermoFisher Science,Waltham MA)的最终孵育在室温下以1:200稀释度执行1小时。
使用图2所示的系统获得样本图像。滤光器206中使用四个外延滤光器立方体,它们分别具有图5A-图5D所示的光学响应。光源202在六个独立控制的波长带中产生光,其具有针对每个带的、可调节的亮度和电子快门能力。
表2列出了带。
LED通道 中心波长 带宽(FWHM)
UV 385±5nm 11
430±5nm 18
475±5nm 22
550±5nm 82
638±5nm 18
NIR 735±5nm 32
表2
图2的系统的实施方式形成了在无限共轭下操作的复合外延照明荧光显微镜。所有组件被选择为在可见光和近红外范围(780nm)内具有高横向分辨率和高透射率。透镜208是Nikon 10倍平面复消色差(10x plan-apochromat),其中焦距为20mm,以及数值孔径0.45(Nikon USA,Melville,NY)。管透镜(检测器212的部分)是焦距为145.2mm的复消色差透镜,并且检测器是像素尺寸为3.63平方微米的SCMOS Flash 2.8传感器(Hamamatsu US,Bridgewater NJ)。总放大倍数为7.26,并且每个像素对应于样本的0.5微米。
第一滤光器立方体是三带滤光器,具有3个不同的激发带和发射带。通过选择光源的哪个带被激活,每个激发带被单独激活,而不激发其他带。因为光源是电子控制的,该系统能够快速循环通过激发带,而没有机械运动。
三个样本图像被连续获得,其对应于样本对三个激发带中的每个激发带的响应。在图5A所示的三个发射峰中检测荧光发射光。因此,在每个图像中检测在所有3个滤光器发射带上相加的样本荧光,尽管在一时间处仅激发一个滤光器带。
然后,第二滤光器立方体被放置在光路中。第二滤光器立方体是另一个三带滤光器,其以与第一滤光器立方体相同的方式被使用,其中光源激活对应于该滤光器立方体中激发带的LED。这提供了样本的另外三个图像,该样本的另外三个图像对应于响应于这三个激发带中的每个激发带的样本荧光,如通过其三个发射带记录的。
第三和第四滤光器立方体是单带滤光器,每个滤光器立方体有一个激发和发射带。这些滤光器立方体中的每个都被循环到光路中,并且利用每个滤光器立方体捕获一个图像。
这提供了在8个不同的激发和发射波长带组合下的总共8个样本的图像。
载物台210用于在拍摄样本的图像时扫出光栅图案。出于速度的目的,并为了减少机构的滤光器改变操作的数量,该图案依次为每个滤光器执行一组4排(line)的光栅图案路径,在给定行(row)中的每个点位处拍摄图像,并步进穿过(step through)若干行。然后,下一个滤光器被接合,相同的图案被执行,并且其图像被拍摄。这一直持续到该组各行对于所有滤光器已经被成像。然后,继续对于下一组4行的光栅图案。以这种方式,使用总共6组中的24行对整个样本进行成像。总的来说,对于测量12毫米×16毫米的样本扫描,获取时间为4分35秒
作为整体成像操作的一部分,控制器214创建样本位置的地图,并在样本区域内的点的网格处测量焦点。这种网格用于在光栅扫描期间设置透镜208的聚焦机制。归一化的方差被用作选择最佳焦点的锐度度量,并且使用Delaunay三角形网格对光栅中的每个图像插值焦点以拟合得到的表面。
在控制器214(具体地,处理设备216)上运行的软件被用于处理每个图像,并创建包含对应于每个滤光器和激发组合的8个光谱通道的全载玻片拼接图像。对每个滤光器和激发设置使用不同的阴影图案,在光栅成像过程期间获取的单独的图像各自针对阴影进行了校正。然后,基于样本处的已知像素尺寸和光栅图案网格,它们被组装成拼接图(mosaic)。使用512×512像素片和LZW无损压缩,这种拼接图被保存为金字塔TIFF文件。
在光谱成像中,传统地,将其中每个像素包含多个光谱带处的测量的图像称为图像立方体。这种拼接图包含几个金字塔分辨率级的图像立方体。
执行了两个附加步骤。第一,外延滤光器的特征在于测量当样本依次用每个滤光器成像时产生的传感器处的像素偏移。除非二色性和发射滤光器元件完全没有楔形(wedge),否则外延滤光器光学器件会引入图像偏移。在实践中,即使对于所谓的“零楔形”滤光器组,2-10秒弧的图像偏移也是典型的。这种偏移是系统性的且可重复的。在所描述的实验中,一个像素对应于5.5秒弧。
基于传感器处测量的像素偏移和0.5微米的已知像素尺寸,载物台位置在光栅扫描期间偏离标称值,以便与由每个滤光器产生的楔形相反。因此,当使用第一个滤光器成像时对于光栅中给定场使用的载物台位置与每个后续滤光器略有不同,以抵消外延光学器件的光学偏移。这样,尽管引入了光学偏移,图像中的像素仍对应于样本中完全相同的点。
第二,基于测量所有滤光器和激发带组合的样本的最佳焦点,针对透镜测量残余色焦点偏移。在成像期间,焦点设置与外延滤光器选择和LED带选择同步偏移该量,以补偿这种影响。如果将焦点维度表示为z方向,则该过程试图在得到的多光谱图像的所有光谱通道中沿着z方向记录样本的完全相同的层。
一旦如上所述获取了图像,就执行解混步骤以将拼接图的光谱通道分离成对来自每个纯光谱贡献者的贡献的估计。如上所述,每个纯光谱贡献者对应于一个施加的染料(或复染剂),或对应于样本的内源性自发荧光。
考虑到每个染料和复染剂的LED信号、相机响应、激发滤光器响应和发射响应以及测量的激发和发射响应,对每个染料和复染剂建模光谱响应。这是在开源R编程环境下完成的(R统计计算基金会;Vienna,Austria)。作为前7个数据行、对应于该表中名为B1-B7的光谱带的结果如表3所示。
Figure BDA0002878850360000251
Figure BDA0002878850360000261
表3
图6A示出了用作免疫荧光标记的上述复染剂和六个染料的染料激发响应,并且图6B示出了发射响应。图6C示出了福尔马林固定的石蜡包埋的肺癌样本在以387纳米激发和在以425纳米激发时的自发荧光发射响应。
可替代地,纯光谱(或光谱库条目)可以从测量的信息中导出。例如,为了获得自发荧光的光谱库条目,没有免疫荧光标记的样本可以在8个单独光谱带中成像来获得测量图像,针对单独的像素提取自发荧光信号的强度,并且通过曝光时间标度(scale)信号强度,以在归一化步骤之后产生时间归一化的自发荧光光谱。
为了获得用在免疫荧光标记中的单独染料的光谱库条目,可以利用第一抗体、第二抗体和/或染料,使用抗原修复溶液、阻断缓冲剂、洗涤试剂和其他辅助试剂以产生单一染色的样本来制备样本。该样本被成像以获得8个单独光谱带中的测量图像,针对单独像素提取组合的染料和自发荧光信号的强度,通过曝光时间标度信号强度,并且针对自发荧光贡献校正信号以获得时间归一化的校正染料光谱。
为了获得用于诸如DAPI的复染剂的光谱库条目,其中用复染剂制备样本以产生复染样本,样本被成像以获得8个单独带中的测量图像,针对单独像素提取组合的染料或复染剂信号加上自发荧光信号的强度,通过曝光时间标度信号强度,并且针对自发荧光贡献校正信号以获得时间归一化的校正复染剂光谱。
制备两个样本,一个仅用Opal620染色,以及一个仅用Opal690染色。然后对这些样本进行成像,并在带B5、B6和X测量相对响应。这用于填充表3中对于这两种染料的X带行。对其他染料的单一染色染料样本的测量示出了在X带没有可测量的响应。
表3示出了图像的每个染料的相对响应,其中所有光谱带都具有由最亮光谱带中的信号水平归一化的、相等的曝光时间。按曝光时间标度信号计数和以每单位时间的计数(诸如每毫秒的计数(counts per millisecond))为单位执行计算通常很有用。科学数码相机中的信号水平与曝光时间成正比,按曝光时间标度提供了两个实际的益处。第一,它使人们能够以曝光标度的计数对在不同光谱带具有不相等的曝光时间的情况下拍摄的图像进行光谱计算,使得光谱不受获取条件的影响。第二,出于同样的原因,它使人们能够比较光谱或执行涉及多个图像的光谱计算,其中图像彼此具有彼此不同的曝光时间。本过程中使用了这种方法。
接下来,使用与上述相同的装置和方法对没有施加染料的两个FFPE样本进行成像。这产生了具有光谱带B1-B7和X的金字塔拼接图像立方体。一个样本是肺癌切片,并且另一个是乳腺癌切片,每个样本4-5微米厚。
光谱在对应于可识别的生物结构(诸如间质、红细胞、广义细胞外基质、胶原等)的多个位置处被测量。这种测量通过对被选择来表示感兴趣的结构的一组像素中的信号进行像素平均来完成。这通过从金字塔TIFF图像中导出每个单独光谱带平面的图像,然后使用来自Akoya Biosciences(Waltham,MA)的
Figure BDA0002878850360000272
软件将这些平面组装成图像立方体来完成。
除了测量被选择来对应于特定生物结构的像素组的光谱之外,还沿着延伸穿过多种多样的结构的不规则路径进行测量,以获得结构平均光谱。
在表4中给出了肺癌组织样本中对于四种类型的结构的得到的光谱及其平均,在表5中给出了乳腺癌组织样本中对于七种类型的结构的得到的光谱及其平均。所有这些都以每毫秒的计数的时间标度的单位列出。
Figure BDA0002878850360000271
Figure BDA0002878850360000281
表4
Figure BDA0002878850360000282
表5
基于这些,执行光谱解混。在独立光谱贡献者的线性系统中,以下线性代数方程可用于描述任何图像像素处的测量光谱:
M=S*A [1]
M是给定像素处的测量光谱,S是矩阵,其列是单独的成分(染料、复染剂或自发荧光)的光谱,A是样本中成分的丰度的列向量。换句话说,方程(1)指出,测量的信号M是样本中的成分根据其丰度A与光谱S的线性叠加。
如果S存在伪逆S+,人们可以将其左乘方程[1]的两边,以得到
S+*M=S+*S*A=(S+*S)*A=I*A=A [2a]
因此
A=S+*M [2b]
方程(2b)是中心光谱解混方程,其使得人们能够通过将给定像素处的测量光谱M乘以伪逆光谱矩阵S+来计算样本中纯光谱贡献者的丰度向量A。
在本例中,靶标是将测量的信号分解成来自6个免疫标记染料、DAPI复染剂和组织自发荧光的贡献。因此,S有8列,对应于7个染料(或复染剂)光谱,以及自发荧光光谱。由最亮带的信号水平归一化的肺癌平均光谱用于自发荧光光谱。
每一列有8个条目,对应于带B1-B7和X,意味着S是8×8矩阵。因为S是平方,所以通过直接取逆计算S+。更一般地,可以通过线性代数中熟知的方法(诸如Moore-Penrose技术)来计算S+
得到的S+矩阵包含将样本像素的原始光谱测量M转换成时间标度的测量空间中纯贡献者丰度A的向量的系数。它用于将原始光谱拼接图像(其中每个像素包含测量的信号M)转换成解混的拼接图像(其中每个像素包含单独的纯光谱贡献者(即染料、复染剂和内源性自发荧光)的丰度A)。
对应于带B1-B7和X的原始样本图像在图7A-7H中示出,并且解混的纯光谱贡献者图像在图8A-8H中示出。图7A-7H和8A-8H中的图像仅示出了样本的选择的区域。图9A-9H示出了整个样本的解混的纯光谱贡献者图像。
成对图像的比较证明了本文描述的方法和系统提供关于样本中分子靶标的准确定量信息的能力。例如,图7B示出了B2的原始图像,B2是其中观察到Dy430发射的主要光谱带。这种染料是样本中对CD8的标记。在图7B中,人们可以看到与CD8相关联的贡献,CD8主要位于淋巴细胞膜中,特别是细胞毒性T细胞。这些在图7B中显现为致密亮环。
但是在图7B中可以看到许多与样本中真实CD8定位无关的其他结构,这使得该图像成为该类型的细胞的不可靠指示器。例如,在细胞外基质中存在常规的背景信号水平;似乎是胶原结构的大的、明亮的、不规则的特征;以及组织中的其他细胞。总的来说,大部分信号来自CD8标记以外的源。
这种干扰使得准确识别细胞毒性T细胞的存在、数量或位置更加困难,并且倾向于降低基于一个或多个这些措施的分析。基于混杂特征的位置和形状,干扰主要来自内源性组织自发荧光,而不是来自用于标记样本的其他染料。
图8B是与染料Dy430相关联的解混的纯光谱贡献者图像。与图7B相比,与内源性组织相关联的干扰信号要么很弱,要么完全不存在。然而,在图7B的图像中看到的关联真实CD8的特征存在,而强度没有明显降低。此外,观察到了在图7B中由于背景或干扰信号难以定位的几个微弱的CD8环特征。这无疑说明了多光谱成像和光谱解混作为隔离信号和去除自发荧光的技术的益处。
其他原始光谱图像与DAPI、Opal520和Opal570的解混成分丰度图像的比较示出了在将所期望的成分从来自自发荧光的干扰中隔离出来时具有相当的有效性。在图8A中,DAPI纯光谱贡献者丰度图像,这种核复染剂用于识别、分割和计数肿瘤和间质细胞。图8A中的DAPI图像提供了基本上没有不想要的其他内容的信息,而图7A中的原始光谱包含许多不对应于DAPI染色的小而亮的结构。这些结构似乎源于内源性组织自发荧光。图7A中所示的光谱图像对应于窄带激发和发射滤光器,该滤光器被选择对DAPI荧光成像是最佳的。就滤光器的选择确实是最佳的而言,该图像中示出的信噪比(其有在没有其他混杂信号的情况下辨别所期望的DAPI信号的能力)说明了传统全载玻片成像可以实现的最佳性能。
类似地,Opal570用于标记样本中的FoxP3蛋白质,其倾向于定位在调节性T细胞(例如,“Treg”细胞)的细胞核中。图8D中解混的纯光谱贡献者图像(对应于Opal570)示出了细胞核的清晰标记。这指示FoxP3的免疫荧光标记实现了高特异性,因此Opal570标记似乎被定位到预期的结构。明亮标记的Treg细胞示出了150-250个计数,表达50个计数的微弱细胞在10个计数或更少的低背景下可以很容易检测到。相反,图7D中的原始样本图像具有更加常规的背景,其中许多种类的结构具有不对应于真实FoxP3的25个计数的信号水平。
接下来,考虑作为带X处的原始样本图像的图7H。该带的激发滤光器和发射滤光器被选择来检测来自FFPE样本的内源性自发荧光,而不是任何复染剂或染料。此外,它们被选择为对施加到样本上的复染剂和(多个)染料尽可能不敏感,因此尽管存在4个或更多个染料,仍有可能获得样本中内源性自发荧光的图像。通常,多光谱样本成像方案不包括选择具有这些特性的激发和发射带。相反,用于在这种样本中获得内源性自发荧光的图像的传统方法包括在光谱上解混多光谱图像立方体,其中光谱中的一个光谱是自发荧光,并观察自发荧光丰度图像。在这种情况下,原始光谱立方体通常包括大量光谱通道,以将样本中的自发荧光信号与其他荧光信号分开。这大大增加了计算时间和数据存储,使其不适用于许多用途,诸如全载玻片扫描或数字病理工作流。
相比之下,X带只受到其他信号(特别是由于非内源性染料和复染剂)的微弱影响。这使得在没有大量光谱通道的情况下更容易获得内源性样本自发荧光的准确估计。例如,在某些情况下,每个染料和复染剂仅使用一个光谱通道(即单波长测量),加上一个通道用于自发荧光。
图8H是自发荧光的解混丰度图像。该图像看起来大致类似于图7H,这并不奇怪,因为X光谱带被设计成仅对除内源性自发荧光以外的信号作出微弱响应。两个图像都示出了对应于胶原结构、广义细胞外基质、包括细胞核的间质结构和红细胞的特征。
然而,存在重要的区别。图7H所示的原始光谱图像包括与Opal620标记的CD68靶标和Opal690标记的PD1靶标相关联的一些信号,这些信号在图8H的解混自发荧光丰度图像中很大程度上或完全不存在。这可以根据上述染料光谱来理解。与其中每个染料响应最强烈的带中的时间归一化响应相比,X带示出了对Opal620染料的响应1.4%,以及对Opal690染料的响应1.0%。
因此,图7H中的原始光谱图像包括与Opal620成分相关联的一些信号,以及与Opal690成分相关联的一些信号。光谱解混产生图8H中的自发荧光图像,该图像更正确地揭示了真实的内源性自发荧光信号。在这个具体示例中,差异的量相对适中。
在一些实施例中,可以分析自发荧光图像以识别特定的组织结构、细胞或区域,这些特定的组织结构、细胞或区域在下游图像分析中被忽略或被特别处理。在上面对图8D的讨论中,在与红细胞相关联的区域中,图7D的原始光谱图像示出了不完全属于该染料成分的信号。不希望被理论所束缚,可能的解释是红细胞的自发荧光不同于平均样本结构的自发荧光。尽管FoxP3丰度图像中存在一些信号,但识别出这些是红细胞而不是Treg细胞是有价值的。因此,在一些实施例中,红细胞可以基于自发荧光图像来识别,并被标记为用于下游分析的红细胞,确保它们不会被误认为是FoxP3阳性细胞核。
该步骤也可用于其他分析过程。例如,在某些实施例中,红细胞荧光发射的确切结果可能不同于这里的结果,尽管识别和分离红细胞仍然是有益的。在一些实施例中,与胶原相关联的结构可能混淆或降低特定测量,并且与胶原结构相关的样本的区域可以从自发荧光图像中识别并从分析过程消除,或者另外根据不同的标准或算法来分析。
应当理解,各种方法可用于分解样本图像。具体地,光谱解混计算可以以多种方式执行,包括通过改变执行某些步骤的顺序,以及完全省略某些步骤。举例来说,没有必要将丰度矩阵的所有成员解混以使用任何一个解混的成分。解混矩阵的特定行可以选择性地用于解混过程,这取决于所阐明的纯光谱贡献者。
此外,因为本文描述的方法和系统直接获得样本的背景图像(其近似地——或者甚至几乎相同地——对应于样本自发荧光图像),所以可以在解混样本图像以获得纯光谱贡献者图像之前(例如,从背景图像)获得样本自发荧光图像。当取决于特定样本位置处的自发荧光光谱的特性执行自适应光谱解混时,和/或当对应于某些样本结构(诸如红细胞和/或胶原)的像素从自发荧光图像中识别出并被标记(例如,以将这些像素排除在进一步分析之外)时,这种两步分析过程尤其有用。
为了在纯光谱贡献者图像之前获得自发荧光图像,可以在两步解混过程中首先简单地解混自发荧光丰度。然后,基于对应于原始光谱带(例如,本例中的带B1-B7)的样本图像和自发荧光丰度Ax,而不是使用对应于带X的背景图像,解混来自非内源性光谱贡献者(例如,施加的染料)的贡献。解混矩阵系数被修正以如下考虑Ax的使用:
Ax=S+ x*M [3]
这里,S+ x指的是逆光谱矩阵S+的x行。解混矩阵的其他行也可以被修正以考虑经由Ax引入的贡献,并且结果可以是更对角的矩阵。因为矩阵更对角,所以可以省略小值项,加快计算速度,而不会对准确性产生大的影响。
(2)细胞计数
为了研究基于样本自发荧光图像的细胞计数,制备了肺癌样本的两个连续切片。一个切片是没有任何染料沉积的未染色阴性对照(control)。另一个切片使用表6中列出的试剂用多重面板(panel)染色,接下来与Opal Polaris 780 Anti-Dig(AkoyaBiosciences,Waltham,MA)一起在室温下以1:25的稀释度孵育1小时。所有其他孵育时间与先前示例中的孵育时间相同。样本图像使用先前示例中描述的相同系统获得。
Figure BDA0002878850360000331
表6
在背景图像(假设其对应于样本自发荧光图像)的测量后,使用
Figure BDA0002878850360000332
软件(Akoya Biosciences,Menlo Park,CA)中的自动组织分割工具训练基于像素的分类算法以识别红细胞。只有自发荧光图像被用作到分类器的输入。图10A示出了由表6所示的染料制备的样本得到的图像集合,而图10B示出了从阴性对照样本(无染料)导出的图像集合。图10A和10B中的图像901示出了样本的各自的自发荧光图像。
为了训练机器学习算法,在阴性对照自发荧光图像上手动绘制区域,以识别红细胞的阳性或阴性的像素。对于两个切片的经训练的算法的结果是对应于图10A和10B中的图像902的二元分类掩模。
另外,开发了一种细胞分割算法,使用
Figure BDA0002878850360000341
软件中的自适应细胞分割工具来识别FoxP3阳性细胞。只有解混的Opal 570/FoxP3丰度图像(图10A和10B中的图像903)被用作对该分割算法的输入。设置用于分割的阈值,以识别图像中具有Opal570信号和椭圆形细胞核的对象(图10A和10B中的图像904)。在阴性对照样本(图10B中的图像904)中识别的所有细胞都是自发荧光物种的假阳性检测,诸如具有与细胞核相似形态的红细胞。
最后,来自两种算法(图10A和10B中的图像902和904)的掩模被组合以仅保留FoxP3阳性细胞,该阳性细胞不与面板中被识别为红细胞的任何像素重叠。得到的掩模(图10A和10B中的图像905)示出了相对于图像904的假阳性数量的减少。

Claims (41)

1.一种方法,包括:
将生物样本暴露于照射光并测量来自样本的光发射以获得N个样本图像,其中每个样本图像对应于所述照射光的波长带和所述光发射的一个或多个波长带的不同组合,其中所述光发射的一个或多个波长带定义波长范围,并且其中N>1;以及
将样本暴露于背景激发带中的照射光并测量背景光谱带中的来自所述样本的光发射以获得样本的背景图像,其中所述背景光谱带对应于所述波长范围内的波长,
其中,对于暴露于所述背景激发带中的照射光的样本中的一个或多个非内源性光谱贡献者中的每个非内源性光谱贡献者,在所述背景光谱带内的每个波长处的光谱发射强度是在所述照射光的每个波长带和所述背景激发带中激发样本之后的、非内源性光谱贡献者的最大测量光谱发射强度的10%或更少。
2.根据权利要求1所述的方法,还包括从所述背景图像获得样本的自发荧光图像。
3.根据权利要求1所述的方法,其中,对于暴露于所述背景激发带中的照射光的样本中的一个或多个非内源性光谱贡献者中的每个非内源性光谱贡献者,在所述背景光谱带内的每个波长处的光谱发射强度是在照射光的每个波长带和背景激发带中激发样本之后的、非内源性光谱贡献者的最大测量光谱发射强度的4%或更少。
4.根据权利要求1所述的方法,其中,对于暴露于所述背景激发带中的照射光的样本中的一个或多个非内源性光谱贡献者中的每个非内源性光谱贡献者,在所述背景光谱带内的每个波长处的光谱发射强度是在照射光的每个波长带和背景激发带中激发样本之后的、非内源性光谱贡献者的最大测量光谱发射强度的2%或更少。
5.根据权利要求1所述的方法,其中,所述背景光谱带包括具有半峰全宽(FWHM)光谱宽度Δλ和中心波长λc的波长的分布,并且其中所述背景光谱带内的波长对应于λc-Δλ/2到λc+Δλ/2范围内的波长。
6.根据权利要求1所述的方法,其中,N>3。
7.根据权利要求1所述的方法,其中,N>5。
8.根据权利要求1所述的方法,其中,所述样本包括M个非内源性光谱贡献者,并且其中M≤N。
9.根据权利要求8所述的方法,其中,M>4。
10.根据权利要求8所述的方法,其中,M>6。
11.根据权利要求2所述的方法,还包括在显示设备上显示所述自发荧光图像。
12.根据权利要求2所述的方法,还包括在样本中的多个位置中的每个位置处确定来自样本的自发荧光发射量。
13.根据权利要求12所述的方法,还包括在样本中的多个位置中的每个位置处,并且对于N个样本图像中的一个或多个样本图像:
基于多个位置中的每个位置处的自发荧光发射量和来自样本的自发荧光发射的至少一个纯光谱,调节对应于样本发射强度的值以对来自样本的自发荧光发射进行校正。
14.根据权利要求13所述的方法,其中,自发荧光发射的至少一个纯光谱包括自发荧光发射的多个纯光谱,并且其中,自发荧光发射的多个纯光谱各自对应于多个位置的不同子集。
15.根据权利要求14所述的方法,还包括:
基于在多个位置中的每个位置处的、来自样本的自发荧光发射量,分解N个样本图像中的至少一些样本图像以获得M个光谱贡献者图像,其中M个光谱贡献者图像中的每个光谱贡献者图像对应于仅来自非内源性光谱贡献者中的不同的一个非内源性光谱贡献者的光发射;以及
在所述多个位置中的每个位置处,确定样本中的M个非内源性光谱贡献者的量。
16.根据权利要求15所述的方法,还包括基于来自样本的自发荧光发射的至少一个纯光谱来分解N个样本图像中的至少一些样本图像。
17.根据权利要求16所述的方法,其中,所述自发荧光发射的至少一个纯光谱包括自发荧光发射的多个纯光谱,并且其中,所述自发荧光发射的多个纯光谱各自对应于多个位置的不同子集。
18.根据权利要求9所述的方法,其中,在所述背景光谱带内的每个波长处的、样本中的每个非内源性光谱贡献者的光谱发射强度之和是所述背景光谱带中的总荧光发射强度的10%或更少。
19.根据权利要求2所述的方法,还包括基于从所述自发荧光图像导出的信息,将所述样本图像中的一个或多个样本图像的像素分类为不同的类别。
20.根据权利要求19所述的方法,其中,所述不同的类别对应于样本中的不同的细胞类型。
21.根据权利要求8所述的方法,其中,所述M个非内源性光谱贡献者包括选择性结合到样本中的不同化学部分的一个或多个荧光物种。
22.根据权利要求21所述的方法,其中,所述一个或多个荧光物种包括一个或多个免疫荧光探针。
23.根据权利要求21所述的方法,其中,所述M个非内源性光谱贡献者包括一个或多个复染剂。
24.一种计算机可读存储介质,包括指令,当由处理设备执行时,所述指令使得所述处理设备:
使用生物样本的自发荧光信息分解样本的多个样本图像,以获得样本的一个或多个非内源性光谱贡献者图像;
基于所述一个或多个非内源性光谱贡献者图像,确定样本中的多个位置处的一个或多个非内源性光谱贡献者的量;以及
在连接到所述处理设备的显示设备上生成包括非内源性光谱贡献者图像中的至少一个非内源性光谱贡献者图像的输出显示,
其中,每个样本图像对应于用于照射样本的照射光的波长带和来自样本的发射光的一个或多个波长带的不同组合,发射光的一个或多个波长带定义波长范围;
其中,背景图像对应于用背景激发带中的光对样本的照射和对背景光谱带中的来自样本的光发射的测量;以及
其中,对于用背景激发带中的光照射的样本中的一个或多个非内源性光谱贡献者中的每个非内源性光谱贡献者,在所述背景光谱带内的每个波长处的光谱发射强度是在照射光的每个波长带和所述背景激发带中激发样本之后的、非内源性光谱贡献者的最大测量光谱发射强度的10%或更少。
25.根据权利要求24所述的存储介质,还包括指令,当由所述处理设备执行时,所述指令使得所述处理设备从样本的背景图像获得样本的自发荧光信息。
26.根据权利要求25所述的存储介质,其中,每个非内源性光谱贡献者图像仅对应于来自样本中的非内源性光谱贡献者中的不同的一个非内源性光谱贡献者的光发射。
27.根据权利要求25所述的存储介质,其中,对于用所述背景激发带中的光照射的样本中的一个或多个非内源性光谱贡献者中的每个非内源性光谱贡献者,在所述背景光谱带内的每个波长处的光谱发射强度是在照射光的每个波长带和背景激发带中激发样本之后的、非内源性光谱贡献者的最大测量光谱发射强度的4%或更少。
28.根据权利要求25所述的存储介质,其中,对于用所述背景激发带中的光照射的样本中的一个或多个非内源性光谱贡献者中的每个非内源性光谱贡献者,在所述背景光谱带内的每个波长处的光谱发射强度是在照射光的每个波长带和背景激发带中激发样本之后的、非内源性光谱贡献者的最大测量光谱发射强度的2%或更少。
29.根据权利要求24所述的存储介质,其中,所述样本包括M个非内源性光谱贡献者,并且其中M≤N。
30.根据权利要求29所述的存储介质,其中,M>4。
31.根据权利要求29所述的存储介质,其中,M>6。
32.根据权利要求25所述的存储介质,其中,所述自发荧光信息包括在样本中的多个位置中的每个位置处的、来自样本的自发荧光发射量。
33.根据权利要求32所述的存储介质,还包括指令,当由所述处理设备执行时,所述指令使得所述处理设备使用所述自发荧光信息和来自样本的自发荧光发射的至少一个纯光谱来分解多个样本图像。
34.根据权利要求33所述的存储介质,还包括指令,当由所述处理设备执行时,所述指令使得所述处理设备从所述背景图像确定自发荧光的至少一个纯光谱。
35.根据权利要求33所述的存储介质,其中,来自样本的自发荧光发射的至少一个纯光谱包括来自样本的自发荧光发射的两个或更多个不同的纯光谱,并且其中,所述不同的纯光谱中的每个纯光谱对应于多个空间位置的不同子集。
36.根据权利要求33所述的存储介质,还包括指令,当由所述处理设备执行时,所述指令使得所述处理设备基于所述多个位置中的每个位置处的自发荧光发射量和来自样本的自发荧光发射的至少一个纯光谱,调节对应于样本图像中的每个样本图像中的样本发射强度的值以对来自样本的自发荧光发射进行校正。
37.根据权利要求24所述的存储介质,其中,在所述背景光谱带内的每个波长处的、样本中的每个非内源性光谱贡献者的光谱发射强度之和是背景光谱带中的总荧光发射强度的10%或更少。
38.根据权利要求24所述的存储介质,还包括指令,当由所述处理设备执行时,所述指令使得所述处理设备基于自发荧光信息将样本图像中的一个或多个样本图像的像素分类为不同的类别。
39.根据权利要求38所述的存储介质,其中,所述不同的类别对应于样本中的不同的细胞类型。
40.根据权利要求27所述的存储介质,其中,所述M个非内源性光谱贡献者包括选择性结合到样本中的不同化学部分的一个或多个荧光物种。
41.根据权利要求40所述的存储介质,其中,所述M个非内源性光谱贡献者包括一个或多个复染剂。
CN201980044706.9A 2018-05-03 2019-05-03 多光谱样本成像 Pending CN112384787A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862666697P 2018-05-03 2018-05-03
US62/666,697 2018-05-03
PCT/US2019/030735 WO2019213618A1 (en) 2018-05-03 2019-05-03 Multispectral sample imaging

Publications (1)

Publication Number Publication Date
CN112384787A true CN112384787A (zh) 2021-02-19

Family

ID=66655445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980044706.9A Pending CN112384787A (zh) 2018-05-03 2019-05-03 多光谱样本成像

Country Status (5)

Country Link
US (2) US11307142B2 (zh)
EP (1) EP3788345A1 (zh)
JP (2) JP7387720B2 (zh)
CN (1) CN112384787A (zh)
WO (1) WO2019213618A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469864A (zh) * 2021-06-28 2021-10-01 平湖莱顿光学仪器制造有限公司 一种用于获取显微图像的方法与设备
CN117037149A (zh) * 2023-08-15 2023-11-10 华东师范大学 基于半监督群优化的多重免疫组化高光谱影像解混方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017222453A1 (en) 2016-06-21 2017-12-28 Hauling Thomas Nucleic acid sequencing
CA3078158A1 (en) 2017-10-06 2019-04-11 Cartana Ab Rna templated ligation
CN112384787A (zh) 2018-05-03 2021-02-19 阿科亚生物科学股份有限公司 多光谱样本成像
CN113906147B (zh) 2019-05-31 2024-09-13 10X基因组学有限公司 检测目标核酸分子的方法
CN111157719B (zh) * 2020-01-16 2022-10-14 清华珠三角研究院 一种检测dna片段含量的多通道检测方法
US12110548B2 (en) 2020-02-03 2024-10-08 10X Genomics, Inc. Bi-directional in situ analysis
KR20220156564A (ko) 2020-03-05 2022-11-25 캐노피 바이오사이언시스, 엘엘씨 자동화된 형광 이미징 및 단일 셀 분할
EP4174554A4 (en) * 2020-06-30 2024-01-03 Sony Group Corporation INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, PROGRAM, MICROSCOPE SYSTEM AND ANALYSIS SYSTEM
US11126819B1 (en) * 2020-07-09 2021-09-21 Saudi Arabian Oil Company Systems and methods for optimizing camera and microscope configurations for capturing thin section images
CN116075724A (zh) 2020-07-20 2023-05-05 阿科亚生物科学股份有限公司 处理和成像组织样品
KR102628182B1 (ko) * 2020-08-28 2024-01-24 한국과학기술원 상호정보량 최소화를 통한 다색 분리 방법 및 장치
EP3961194B1 (en) 2020-08-25 2023-11-08 Korea Advanced Institute of Science and Technology Method and apparatus for multiplexed imaging of biomolecules through iterative unmixing of fluorophore signals
KR102655200B1 (ko) * 2020-08-25 2024-04-08 한국과학기술원 반복색분리를 통한 분자 다중 이미징 방법 및 장치
CN114252400A (zh) * 2020-09-21 2022-03-29 三星电子株式会社 肉类检查装置、肉类检查系统、冰箱和肉类检查方法
US12071667B2 (en) 2020-11-04 2024-08-27 10X Genomics, Inc. Sequence analysis using meta-stable nucleic acid molecules
US12060603B2 (en) 2021-01-19 2024-08-13 10X Genomics, Inc. Methods for internally controlled in situ assays using padlock probes
WO2022234484A1 (en) * 2021-05-04 2022-11-10 X-Zell Biotech Pte Ltd Devices and methods for rapid channel-by-channel fluorescence microscopy
JPWO2023276254A1 (zh) * 2021-06-29 2023-01-05
EP4384784A1 (en) * 2021-08-09 2024-06-19 Pentaomix Ltd. Method and system for spectral imaging
EP4293408A1 (en) * 2022-06-14 2023-12-20 Leica Microsystems CMS GmbH Imaging device and method for aligning images
US12116626B2 (en) 2022-08-16 2024-10-15 10X Genomics, Inc. AP50 polymerases and uses thereof
US12087454B2 (en) 2022-11-17 2024-09-10 Aignostics GmbH Systems and methods for the detection and classification of biological structures
CN118464826B (zh) * 2024-07-09 2024-10-01 南京大学 一种气体识别和定量方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH102861A (ja) * 1996-06-13 1998-01-06 Mitsubishi Oil Co Ltd 石油製品の蛍光色評価方法及びそのための装置
US20040124366A1 (en) * 2002-10-02 2004-07-01 Haishan Zeng Apparatus and methods relating to high speed spectroscopy and excitation-emission matrices
CN101023331A (zh) * 2004-06-30 2007-08-22 化学影像公司 生物细胞和其它对象的动态化学成像
US20080051665A1 (en) * 2006-08-24 2008-02-28 Xenogen Corporation Spectral unmixing for in-vivo imaging
US20080294032A1 (en) * 2003-09-23 2008-11-27 Cambridge Research And Instrumentation, Inc. Spectral Imaging of Biological Samples
US20090137908A1 (en) * 2007-11-26 2009-05-28 Patwardhan Sachin V Multi-spectral tissue imaging
US20090226059A1 (en) * 2008-02-12 2009-09-10 Richard Levenson Tissue Processing And Assessment
US20100075373A1 (en) * 2008-09-22 2010-03-25 Hoyt Clifford C Multi-Spectral Imaging Including At Least One Common Stain
US20110176029A1 (en) * 2010-01-15 2011-07-21 Kenneth Wayne Boydston Multispectral and Colorimetric Imaging System
CN102846306A (zh) * 2011-06-28 2013-01-02 佳能株式会社 光学相干断层图像摄像设备
CN103930782A (zh) * 2011-09-15 2014-07-16 纽约市哥伦比亚大学信托人 使用组织激发的荧光分析物的测量
US20160011116A1 (en) * 2014-07-09 2016-01-14 Caliper Life Sciences, Inc. Pure Spectrum Extraction From Biological Samples

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4037294B2 (ja) * 2003-03-20 2008-01-23 オリンパス株式会社 分光画像から複数の固有スペクトル成分の存在割合を求める方法
US7321791B2 (en) 2003-09-23 2008-01-22 Cambridge Research And Instrumentation, Inc. Spectral imaging of deep tissue
EP1827238A4 (en) 2004-12-06 2009-04-22 Cambridge Res & Instrmnt Inc SYSTEMS AND METHOD FOR THE OPTICAL IMAGE DISPLAY AND MEASUREMENT IN VIVO
CN101916359B (zh) 2005-01-27 2012-06-20 剑桥研究和仪器设备股份有限公司 把样本的不同区域分类到相应类别的方法和设备
JP2007010340A (ja) * 2005-06-28 2007-01-18 Olympus Corp カメラ装置
JP5030513B2 (ja) * 2006-09-11 2012-09-19 オリンパス株式会社 生体組織用蛍光観測装置および内視鏡システム
JP5389382B2 (ja) * 2008-06-09 2014-01-15 オリンパス株式会社 蛍光内視鏡装置
US10598596B1 (en) * 2008-11-28 2020-03-24 Photon Systems, Inc. Native fluorescence detection methods, devices, and systems for organic compounds
WO2010088514A1 (en) * 2009-01-30 2010-08-05 Micronics, Inc. Portable high gain fluorescence detection system
US9002077B2 (en) * 2009-08-10 2015-04-07 Cambridge Research & Instrumentation, Inc. Visualization of stained samples
JP5832537B2 (ja) * 2010-08-05 2015-12-16 ケンブリッジ・リサーチ・アンド・インストルメンテーション・インコーポレーテッド 試料の強調視覚評価
US20130230866A1 (en) * 2010-09-17 2013-09-05 Tohoku University Method for Determining Effectiveness of Medicine Containing Antibody as Component
JP5940288B2 (ja) 2011-11-30 2016-06-29 オリンパス株式会社 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
WO2013106733A1 (en) * 2012-01-12 2013-07-18 The Regents Of The University Of Michigan Method of determining the viability of at least one cell
WO2013132998A1 (ja) * 2012-03-07 2013-09-12 オリンパス株式会社 画像処理装置、顕微鏡システム、及び画像処理方法
WO2014110025A1 (en) * 2013-01-10 2014-07-17 Caliper Life Sciences, Inc. Whole slide multispectral imaging systems and methods
WO2014110027A1 (en) 2013-01-10 2014-07-17 Caliper Life Sciences, Inc. Multispectral imaging system and methods
US9612245B2 (en) * 2013-07-03 2017-04-04 University Of North Texas Health Science Center At Fort Worth Multiple-pulse pumping for enhanced fluorescence detection and molecular imaging in cells and tissue
US9370678B2 (en) * 2014-01-21 2016-06-21 Daniel Paul PRUSAITIS Table gym
US20160069903A1 (en) * 2014-09-10 2016-03-10 Fundació Institute De Ciències Foròniques Method for detecting cells
US20170247745A1 (en) * 2014-09-12 2017-08-31 Click Diagnostics, Inc. Multiplex optical detection
US9816930B2 (en) 2014-09-29 2017-11-14 Novadaq Technologies Inc. Imaging a target fluorophore in a biological material in the presence of autofluorescence
EP3271703A1 (en) * 2015-03-19 2018-01-24 Histoindex Pte Ltd. Method of detecting fibrous tissue in a biological specimen using co-localized images generated by second harmonic generation and two photon emission
JP7146264B2 (ja) * 2016-03-14 2022-10-04 マサチューセッツ インスティテュート オブ テクノロジー 短波赤外線蛍光を撮像するためのデバイスおよび方法
JPWO2018008062A1 (ja) 2016-07-04 2019-04-18 オリンパス株式会社 蛍光観察装置および蛍光観察内視鏡装置
CN110476051B (zh) * 2017-01-30 2022-09-27 麦迪贝肯有限公司 具有背景分离校正的荧光示踪剂的非入侵性监测方法
CN112384787A (zh) 2018-05-03 2021-02-19 阿科亚生物科学股份有限公司 多光谱样本成像

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH102861A (ja) * 1996-06-13 1998-01-06 Mitsubishi Oil Co Ltd 石油製品の蛍光色評価方法及びそのための装置
US20040124366A1 (en) * 2002-10-02 2004-07-01 Haishan Zeng Apparatus and methods relating to high speed spectroscopy and excitation-emission matrices
US20080294032A1 (en) * 2003-09-23 2008-11-27 Cambridge Research And Instrumentation, Inc. Spectral Imaging of Biological Samples
CN101023331A (zh) * 2004-06-30 2007-08-22 化学影像公司 生物细胞和其它对象的动态化学成像
US20080051665A1 (en) * 2006-08-24 2008-02-28 Xenogen Corporation Spectral unmixing for in-vivo imaging
US20090137908A1 (en) * 2007-11-26 2009-05-28 Patwardhan Sachin V Multi-spectral tissue imaging
US20090226059A1 (en) * 2008-02-12 2009-09-10 Richard Levenson Tissue Processing And Assessment
US20100075373A1 (en) * 2008-09-22 2010-03-25 Hoyt Clifford C Multi-Spectral Imaging Including At Least One Common Stain
US20110176029A1 (en) * 2010-01-15 2011-07-21 Kenneth Wayne Boydston Multispectral and Colorimetric Imaging System
CN102846306A (zh) * 2011-06-28 2013-01-02 佳能株式会社 光学相干断层图像摄像设备
CN103930782A (zh) * 2011-09-15 2014-07-16 纽约市哥伦比亚大学信托人 使用组织激发的荧光分析物的测量
US20160011116A1 (en) * 2014-07-09 2016-01-14 Caliper Life Sciences, Inc. Pure Spectrum Extraction From Biological Samples

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469864A (zh) * 2021-06-28 2021-10-01 平湖莱顿光学仪器制造有限公司 一种用于获取显微图像的方法与设备
CN113469864B (zh) * 2021-06-28 2024-05-07 平湖莱顿光学仪器制造有限公司 一种用于获取显微图像的方法与设备
CN117037149A (zh) * 2023-08-15 2023-11-10 华东师范大学 基于半监督群优化的多重免疫组化高光谱影像解混方法
CN117037149B (zh) * 2023-08-15 2024-03-22 华东师范大学 基于半监督群优化的多重免疫组化高光谱影像解混方法

Also Published As

Publication number Publication date
WO2019213618A1 (en) 2019-11-07
JP2024019180A (ja) 2024-02-08
WO2019213618A9 (en) 2021-01-14
US11307142B2 (en) 2022-04-19
US20220244183A1 (en) 2022-08-04
US20190339203A1 (en) 2019-11-07
JP7387720B2 (ja) 2023-11-28
JP2021526220A (ja) 2021-09-30
US11879843B2 (en) 2024-01-23
EP3788345A1 (en) 2021-03-10

Similar Documents

Publication Publication Date Title
JP7387720B2 (ja) マルチスペクトルサンプル画像化
Zhang et al. Fully automated 5-plex fluorescent immunohistochemistry with tyramide signal amplification and same species antibodies
US9569828B2 (en) Method and apparatus for the imaging of a labeled biological sample
US10580128B2 (en) Whole slide multispectral imaging systems and methods
EP2601513B1 (en) Enhancing visual assessment of samples
JP5540102B2 (ja) 高められた病理学的決定のための複数モダリティコントラストおよび明視野コンテキスト表現、および組織内の複数検体検出
US10778913B2 (en) Digitally enhanced microscopy for multiplexed histology
JP5631999B2 (ja) 蛍光画像を用いて明視野画像を生成するためのシステム及び方法
WO2014065889A2 (en) Multiplexed method for diagnosing classical hodgkin lymphoma
US20090326359A1 (en) Method of in vivo detection and/or diagnosis of cancer using fluorescence based dna image cytometry
EP3377865A1 (en) Raman-based immunoassay systems and methods
JP4883936B2 (ja) 走査型サイトメータの画像処理方法及び装置
WO2022249583A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
CN113906284A (zh) 高光谱定量成像细胞术系统
WO2023149296A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2024171844A1 (ja) 情報処理装置、生体試料観察システム及び情報処理方法
JP4856569B2 (ja) 染色組織標本の陽性細胞の計数方法
Hubbard et al. Unmixing of spectrally similar quantum dots using filter selection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination