CN105103190A - 全视野载玻片多光谱成像系统和方法 - Google Patents
全视野载玻片多光谱成像系统和方法 Download PDFInfo
- Publication number
- CN105103190A CN105103190A CN201480011495.6A CN201480011495A CN105103190A CN 105103190 A CN105103190 A CN 105103190A CN 201480011495 A CN201480011495 A CN 201480011495A CN 105103190 A CN105103190 A CN 105103190A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- band
- light
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
在本文中公开的方法和系统包括:获得样本的第一多个图像,其中第一多个图像中的每个图像对应于入射到样本的照明光或来自样本的放射光的不同光谱带;获得样本的第二多个图像,其中第二多个图像中的每个图像对应于入射到样本的照明光或来自样本的放射光的不同光谱带;基于来自第一多个图像中的第一图像的信息以及来自第二多个图像中的第二图像的信息将第一多个图像和第二多个图像对齐,其中第一图像和第二图像对应于共享光谱带;以及组合第一多个图像的至少一些成员和第二多个图像的至少一些成员以形成图像栈。
Description
相关申请交叉引用
本申请要求享有于2013年1月10日提交的美国临时专利申请第61/751,192号的权益,通过引用将其全部内容并入本文。
技术领域
本公开涉及生物学样本的成像的系统和方法,并且更具体地针对细胞和组织的全视野载玻片(whole-slide)成像的系统和方法以及图像分析。
背景技术
已经开发出能够产生整个显微镜载玻片或其部分的数字图像的全视野载玻片成像系统。这些包括显微镜成像光学器件和数字相机以及清除样本的扫描的机械设备以及协调这些动作并且存储得到的图像的软件。典型的病理样品可以在大约10分钟或更少的时间内成像,得到的图像可以具有1/4微米或更精细的分辨率,对应于15x15mm样本的36亿像素。这些系统用在研究和临床病理学的领域中以对组织切片、细胞学样本以及对其进行显微镜成像是有价值的其他样本进行成像。
这些工具中的一些基于响应于激发光而来自样本的荧光放射来产生图像。荧光影像对于通过诸如DAPI、Alexa荧光剂、Cy荧光剂这样的荧光试剂以及在本领域中已知的其他化合物制备的样本是有用的。一些这样的工具使用彩色数字相机以及包含多带激发滤波器(multibandexcitationfilter)和多带放射滤波器(multibandemissionfilter)的epi滤波器立方体(epi-filtercube)来生成样本的3带(3-band)图像,其使得能够在给定的扫描中进行达三种荧光剂的测量。AperioScanScopeFL(可从Aperio,Vista,CA得到)是这种类型的系统。
其他的全视野载玻片扫描系统使用单色数字相机以及类似的epi滤波器立方体和波长选择性激发源来产生荧光图像;它们在获取第一图像的同时以第一波长带照明样本,然后在获取第二图像的同时以另外的带对其照明,等等。由此,可以对三个、甚至四个带成像,通过可用于激发和放射过滤的光学滤波器来加以限制。3DHistechP250(可以从3DHistech,Budapest,Hungary得到)是这种类型的扫描仪的示例。
另外的荧光扫描仪使用单色数字相机并且利用一系列不同的epi滤波器立方体,用每个滤波器立方体取得图像。因为每个滤波器立方体可以具有其自己独特的激发和放射滤波器,所以不会限制到三个或四个带。LeicaSCN400F(可从LeicaBiosystems,Richmond,IL得到)是这种类型的系统的示例。
存在能够测量样本的荧光图像中的4个带以上的多光谱成像系统。Vectra成像系统(可从PerkinElmer,Waltham,MA得到)是这样的系统的示例。其使用液晶可调谐滤波器(liquidcrystaltunablefilter),在计算机控制之下,在用单色数字相机取得图像的同时,选择可见范围内的单个波长。这样获取的数据被称为图像立方体(imagecube),并且其包含图像的多个空间位置的每处的光谱。能够使用在样本中存在的成分的已知光谱的光谱库,将每个点处的光谱去混合,成为其各个成分信号。Nuance软件(可从PerkinElmer,Waltham,MA得到)可以产生这样的光谱库,并且将它们用于将图像立方体去混合为成分图像。
生物学样本一般响应于激发光束而放射一些荧光,即使没有施加外源荧光团也是如此。这种所谓的自体荧光(autofluorescence)信号可能在组织样本中是显著的,并且可能干扰对荧光探测信号的精确测量。如果用于去混合的光谱库包括对应于样本自体荧光的信号,则组织样本中的自体荧光的效果可以减小或几乎消除。如果包括这样的信号,则在对具有自体荧光的样本的图像立方体进行去混合时,自体荧光信号可以是自体荧光成分图像的结果,并且对于与荧光染色和探测相关联的成分图像,获得精确信号。
发明内容
一般地,在第一方面中,本公开提供方法,所述方法包括:获得样本的第一多个图像,其中第一多个图像中的每个图像对应于入射到样本上的照明光或来自样本的放射光的不同的光谱带;获得样本的第二多个图像,其中第二多个图像中的每个图像对应于入射到样本上的照明光或来自样本的放射光的不同的光谱带;以及使用电子处理器来:基于来自第一多个图像中的第一图像的信息和来自第二多个图像中的第二图像的信息来对齐第一多个图像和第二多个图像,其中第一图像和第二图像对应于共享光谱带;以及组合第一多个图像的至少一些成员和第二多个图像的至少一些成员以形成图像栈。
方法的实施例可以包括下面特征中的任何一个或多个。
图像栈中的每个像素可以包含从第一多个图像的至少一个成员得出的光谱信息以及从第二多个图像的至少一个成员得出的光谱信息。对齐第一多个图像和第二多个图像可以包含使用电子处理器对第一多个图像和第二多个图像进行空间配准,使得第一多个图像和第二多个图像中的每个成员对应于样本的公共区域。图像栈中的每个像素可以包含对应于入射到样本上的照明光或来自样本的放射光的至少5个不同的光谱带的光谱信息。
所述方法可以包括使用电子处理器对图像栈去混合以获得一个或多个成分图像,每个成分图像包含实质上仅来自样本中的一个成分的贡献。成分图像中的一个可以对应于来自样本的自体荧光。成分图像中的至少一个可以对应于自体荧光之外的样本的成分。
所述方法可以包含使用电子处理器基于一个或多个成分图像来分析样本以确定样本内的特征的位置。
第一多个图像和第二多个图像中的每个成员可以对应于来自样本的荧光放射。第一多个图像中的每个成员可以对应于在用不同波长带的光照明样本之后的来自样本的荧光放射,并且其中第二多个图像中的每个成员可以对应于在用不同波长带的光照明样本之后的来自样本的荧光放射。所述方法可以包含使用彩色相机来获得第一多个图像和第二多个图像。
所述方法的实施例还可以适当地以任何组合的形式包含在本文中公开的任何其他特征和/或步骤。
在另一方面中,本公开提供系统,所述系统包括被配置为用照明光照明样本的照明源、被配置为获得样本的一个或多个图像的检测器以及耦接到检测器的电子处理器,并且电子处理器被配置为:获得样本的第一多个图像,其中第一多个图像中的每个图像对应于来自照明源的、入射到样本上的照明光或来自样本的放射光的不同的光谱带;获得样本的第二多个图像,其中第二多个图像中的每个图像对应于来自照明源的、入射到样本上的照明光或来自样本的放射光的不同的光谱带;基于来自第一多个图像中的第一图像的信息和来自第二多个图像中的第二图像的信息来对齐第一多个图像和第二多个图像,其中第一图像和第二图像对应于共享光谱带;以及组合第一多个图像的至少一些成员和第二多个图像的至少一些成员以形成图像栈。
所述系统的实施例可以包括下面特征中的任何一个或多个。
图像栈中的每个像素可以包含从第一多个图像的至少一个成员得出的光谱信息以及从第二多个图像的至少一个成员得出的光谱信息。电子处理器可以被配置为通过对第一多个图像和第二多个图像进行空间配准,使得第一多个图像和第二多个图像中的每个成员对应于样本的公共区域,来对齐第一多个图像和第二多个图像。图像栈中的每个像素可以包含对应于入射到样本上的照明光或来自样本的放射光的至少5个不同的光谱带的光谱信息。
电子处理器可以被配置为对图像栈去混合以获得一个或多个成分图像,每个成分图像包含实质上仅来自样本中的一个成分的贡献。成分图像中的一个可以对应于来自样本的自体荧光。成分图像中的至少一个可以对应于自体荧光之外的样本的成分。
电子处理器可以被配置为基于一个或多个成分图像来分析样本以确定样本内的特征的位置。
第一多个图像和第二多个图像中的每个成员可以对应于来自样本的荧光放射。第一多个图像中的每个成员可以对应于在用不同波长带的光照明样本之后的来自样本的荧光放射,并且其中第二多个图像中的每个成员可以对应于在用不同波长带的光照明样本之后的来自样本的荧光放射。检测器可以包含彩色相机,并且电子处理器可以被配置为使用彩色相机来获得第一多个图像和第二多个图像。
所述系统的实施例还可以适当地以任何组合的形式包含在本文中公开的任何其他特征和/或方面和/或组件。
除非以其他方式定义,在本文中所使用的所有技术和科学术语与本公开所属的技术领域中的普通技术人员通常所理解的具有相同含义。尽管与在本文中所公开的方法和材料类似或等同的方法和材料可以用在本文的主题的实践或测试中,在下面描述适合的方法和材料。通过引用将所有公开、专利申请、专利以及在本文中提及的其他参考文献的全部内容并入本文。在冲突的情况下,本说明书(包括定义)将进行控制。另外,材料、方法和示例仅是示例性的,而不用于进行限制。
下面将结合附图和描述来阐述一个或多个实施例的细节。根据该描述、附图和权利要求,其他特征和优点将是显而易见的。
附图说明
图1是示出对应于一组epi滤波器的光谱带的一组图。
图2是示出对应于另一组epi滤波器的光谱带的一组图,其中激发和分色滤波器与在图1的epi滤波器的组中的相同。
图3是示出RGB相机中的单个色彩通道的光谱响应的图。
图4是示出对应于另一组epi滤波器的光谱带的一组图。
图5是示出形成样本的多光谱图像的一系列步骤的流程图。
图6是示出形成样本的多光谱图像和使图像去混合(unmix)的一系列步骤的流程图。
图7是示出获取样本的多光谱图像并使其去混合以及对成分图像执行图像分析的一系列步骤的流程图。
图8是获取样本的光谱图像的系统的示意图。
在各个图中的相同的标号指示相同的元件。
具体实施方式
现有的全视野载玻片扫描系统具有对所获得的图像的质量和或载玻片扫描速度强加约束的很多实际限制。例如,用于移动载玻片的机械装置不具有完美的重复性。另外,其通常对改变epi滤波器是耗时的。总之,这些限制对这样的系统的功能强加约束。
为了以多带对样本进行成像,将每个样本位置呈现给相机,其中每个使用不同的epi滤波器。这一般通过两个扫描方案之一来达成。第一方案是一次访问样本中的每个位置,并且同时轮流地用每个epi滤波器取得图像。然而,该方案通常非常慢,因为在总的扫描期间epi滤波器改变很多次。另一方案是用指定的epi滤波器对跨越很多位置的区域进行成像,然后改变epi滤波器并且访问区域中的每个位置,以这种方式继续直至用所有的epi滤波器对整个样本进行了成像为止。Epi滤波器改变较少的次数,因此可以快得多地进行扫描。然而,因为机械载玻片处置系统的可重复性不好,所以实际的位置通常在相同样本点的相继扫描之间以一定程度进行移位。因此,对于所有的光谱带,在最终的图像中的指定的像素通常不恰好对应于相同的样本点(其中每个对应于不同的epi滤波器)。这降低了图像质量并且限制了可以进行的图像分析的种类。前述限制的结果是全视野载玻片成像系统一般执行很慢和/或产生在不同的光谱带中的信号之间具有误配准的图像。
本公开提供用于对生物学样本(包括但不限于组织切片、从血液得到的样本以及细胞学样本)进行快速全视野载玻片成像的系统和方法。所述方法和系统产生全视野载波片多光谱图像,其中样本中的每个点通过包含五个以上的波长带的信号光谱来描述,并且在对应于不同带的图像之间没有空间位移。另外,在一些实施例中,获得样本的全视野载玻片多光谱荧光图像,其中样本自体荧光效果显著降低或消除。
在本文中公开的系统和方法提供用于快速全视野载玻片成像,其中对多个荧光种类进行光谱去混合以降低或消除光谱重叠的荧光种类之间的串扰。在存在自体荧光的情况下,其对图像和定量测量的影响可以减小或消除。通过使用光谱去混合技术,在本文中公开的系统和方法提供用于全视野载玻片图像获取和分析,以基于多光谱样本图像来提高信号级别的定量和/或改进的分类。基于多光谱图像的光谱去混合、图像分析和分类的方法和系统例如在美国专利第7,321,791号和第7,953,264中公开,通过引用将其全部内容并入本文。
为了提高扫描速度和对应于不同波长带的图像之间的图像配准,在本文中公开的方法和系统被配置为使用M个信号带(例如,以M个不同的光谱带)来进行样本的扫描,然后使用N个信号带再次对其进行扫描,其中第一组M个信号带和第二组N个信号带具有共享的光谱带。共享光谱带不需要其光谱属性方面是一致的,但是应当是足够相似的,使得该带中的信号充分地响应样本中的相同的染色剂或结构。
每次扫描使用本领域中已知的高速技术来进行,诸如使用三带epi滤波器立方体和彩色数字相机获取第一次扫描中的对应于M=3个带的一组图像以及第二次扫描中的对应于N=3个带的一组图像。替代地,可以使用M带或N带epi滤波器立方体以及对不同的光谱带循环的敏捷激发源来扫描样本,同时用单色数字相机获取图像。虽然在上面的示例中M和N两者的值均为3,但是更一般地,M和N中的任一个或两者也可以超过3。例如,在一些实施例中,M和/或N可以是4以上。在一些实施例中,用于组合以形成多光谱图像栈的图像数量可以是3或以上(例如,4或以上、5或以上、6或以上、7或以上、8或以上、9或以上、10或以上)。
在一些实施例中,当对某些荧光样本进行成像时,两组扫描可以包括与来自细胞核染色剂DAPI的放射相对应的图像。因此,例如,第一组图像可以包括与来自DAPI的放射(在第一波长带中)相对应的图像,并且还包括例如与来自两个或三个其他波长带中的样本放射相对应的两个或三个其他图像。类似地,第二组图像可以包括与来自DAPI的放射(在第一波长带中)相对应的图像,并且还包括例如与来自两个或三个其他波长带中的样本放射相对应的两个或三个其他图像。在一些实施例中,将第一组图像中的两个或三个其他波长带与第二组图像中的两个或三个其他波长带完全区分开是有利的。
虽然在第一扫描期间获取的M个带在它们之间配准并且在第二扫描期间获取的N个带在它们之间配准,但是第一扫描的图像和第二扫描的图像一般由于扫描仪的有限的机械可重复性而位移。
为了校正该问题,可以使用对应于在第一和第二扫描之间共享的波长带的图像(例如,上面示例中的与来自DAPI的放射相对应的图像)将来自两个扫描的图像对齐到公共配准。在该共享带中生成最佳对齐的相同移位或图像变换应用于扫描中的所有图像,之后,可以将两个扫描组合成图像立方体。通过将第二扫描与第一扫描对齐或者反过来、然后组合所有图像,获得组合多光谱图像,其表征N+N个图像,其中每一个对应于不同的光谱带,并且全部是完美配准的。然后,组合多光谱图像适用于光谱去混合。
选取哪个带用作共享带取决于样本以及其是如何制备的。在很多感兴趣的生物学样本中,应用诸如DAPI或Hoechst这样的细胞核复染剂,捕捉该放射的带可以是好的选择。这是因为在很多情况下,感兴趣的图像将包含一些细胞核,因此在该带中将有足够的信息来执行良好的图像配准。更一般地,选择共享带使得至少一些相同的结构存在于两个扫描的共享带图像中,并且通常被选取为使得一些感兴趣的结构存在于包含样本材料的大部分区域中,因此获得跨越全样本的良好的图像配准。
因为共享带对应于样本中的基本相同的染色剂或结构,所以在一些实施例中,组合多光谱图像可以包括来自于仅一次扫描(例如,针对全部M+N-1个图像)的共享带。这可以在承认两个共享带图像包含类似信息的情况下进行,由此减小与多光谱图像立方体相关联的存储器大小或盘大小。然而,在一些实施例中,来自两次扫描的共享带图像包括在组合多光谱图像中。在一些实施例中,两个共享带图像可以被平均,并且只将一个经平均的图像包括在组合多光谱图像中。保留两个共享带图像、仅一个这样的图像或者将共享带图像合并成单一图像的选择可以基于从保留两个共享带图像所期待的附加信息的程度、对盘或存储器空间使用的关注或者被判断为在指定情形下很重要的任何因素来做出。当保留两个共享带图像时,结果是具有M+N个图像的多光谱图像立方体,并且当只保留一个共享带图像时,得到的多光谱图像立方体具有M+N-1个图像。
相比于对样本中的每个位置处的多个定位(setting)循环epi滤波器的全视野载玻片扫描系统,在本文中公开的方法和系统提供机械运动和总的获取时间方面的大量减少。例如,使用传统的全视野载玻片扫描系统,典型的样本可能需要1000个单个域来成像,这意味着获取7带多光谱图像涉及改变epi滤波器立方体7000次。即使使用可以在0.5秒内改变滤波器的高速机构,针对每个载玻片,除了用于曝光、相机读出、聚焦等所需的时间之外,仅是用于滤波器循环,这也需要接近1个小时。
为了获得相同类型的多光谱信息,在本文中公开的系统和方法只改变epi滤波器一次,这通常花费大约1秒。因此,实现了在扫描速度上的显著提高。另外,因为涉及少得多的机械操作(例如,改变epi滤波器),所以提高了成像系统的寿命和可靠性。
替代地,扫描样本的区域、然后改变epi滤波器的全视野载玻片扫描系统将具有对应于不同光谱带的图像之间的位移,因为机械扫描仪一般不能够在每次获得新的图像时将样本返回到完全相同的位置。因此,对应于不同光谱带的图像将一般不会完美地排齐。因为访问全视野载玻片扫描仪来产生具有0.5微米或更小的像素大小的图像,因此在与此相当或更大的标度上的不可重复性将使不同光谱带中的图像从另一个图像歪斜。实际上,观察到传统的扫描仪具有达1微米或更多的歪斜,因此指定像素的不同带中的信号级别可能实际上对应于样本中的不同位置(离开达2个像素或者更多)。一组这样的光谱图像(例如,每个都对应于单一光谱带的图像)无法精确地去混合,因此基于成分强度的图像分析将生成不精确的结果。类似地,尝试去除由荧光影像中的自体荧光造成的贡献将不会与在不同带中的信号对应于样本中的相同位置的情况下同样可靠地达成目标。
在一些实施例中,对应于共享光谱带的图像(例如,“共享带图像”)还用于选择扫描中的聚焦设置(例如,在样本中的每个成像位置处的样本之上的物镜的高度的设置)。即使在诸如3-4微米的组织切片这样的较薄的样本中,根据焦点被设置到样本的顶部、底部或者之间的某个点来对不同的结构成像。这可能妨碍配准处理,或者产生降级的配准,因为可能无法完美地配准图像。使用共享带图像来选择焦点定位的好处不仅在于提高被保留的横向配准的容易性或质量。例如,当被合并的两组图像(例如,对应于第一和第二扫描)对应于样本内的相同深度时一般是有益的。如果它们不是这样,则对应于不同光谱带的图像中的信号级别不对应于相同位置。因为信号不对应于图像中的相同位置,所以不可能精确地将它们去混合为成分图像。通过使用第一和第二扫描两者的共享带图像和相同的自动对焦机构和规则,样本内的焦点移位的程度被降低,并且图像配准被增强。如上所述,共享带的光学属性不需要对两次扫描是相同的。即,共享带不需要在两次扫描中恰好对应于波长的相同集合、以完全相同的方式加权。替代地,在每次扫描中,共享带对应于观看到基本相同的荧光种类的波长带,使得足够相似的结构存在于足够相似的均衡亮度中,从而可以获得良好的配准。
在一些实施例中,用于第一扫描的焦点定位可以重新用于第二扫描。这消除了对重新确定焦点定位的需要,并且在扫描装置的可再现性的限制内,确保将使用完全相同的定位。
在本文中公开的系统中可以使用各种不同的组件。在一些实施例中,例如,用于获得样本图像的检测器可以是具有单个色彩通道的彩色相机。这样的相机的一个示例是HamamatsuC7780-10Orca-3CCD彩色相机(可从HamamatsuPhotonics,HamamatsuCity,Japan得到),其单个色彩通道具有在图3中被示为301、302和303的光谱响应。该相机被用于对样本进行成像,该样本是通过利用TexasRed针对雌激素受体(ER)的第一免疫荧光(IF)标签、利用AlexaFluor488针对Ki-67的第二IF标签和4',6'-二脒基-2-苯基(DAPI)的复染剂制备的乳腺癌活组织检查取得的组织的福尔马林固定的、石腊包埋的块中的4微米组织切片。对样本的第一扫描使用在图1中示出的光谱表示的epi滤波器组来取得(其中,激发滤波器响应101包括主要光谱带104a、104b和104c,放射滤波器响应102包括主要光谱带105a、105b和105c,并且分色反射器传送由曲线103指示),并且对样本的第二扫描使用在图2中示出的光谱表示的epi滤波器组来取得(其中,激发滤波器响应111包括主要光谱带114a、114b和114c,放射滤波器响应112包括主要光谱带115a、115b和115c,并且分色反射器传送由曲线113指示)。对于第一扫描和第二扫描两者,相机的蓝色通道被用于确定焦点位置。另外,相机的伽马被设置为1,并且白点校正被禁用或被设置为手动。
在一些实施例中,来自相机内的传感器的原始信号被记录并且直接用于形成光谱图像和用于图像分析。在很多RGB相机中,对来自单个传感器或像素的原始信号级别进行处理以产生相机提供的RGB图像。典型地,相机的处理涉及将来自传感器的红色、绿色和蓝色信号级别乘以色彩校正矩阵(CCM)以获得输出图像色彩值。在一些实施方式中,禁止使用CCM(和/或其他内部相机处理算法)并且替代地在可能的情况下直接从单个传感器或像素获得原始信号级别是有利的。例如,指定数字相机的命令集可以提供请求原始信号级别的方式。作为另外的示例,对于特定的相机,可能能够指定CCM,在该情况下,CCM可以通过将CCM设置成3x3单位矩阵来有效地禁用。一般观察到,如果无法从相机的传感器直接获得原始信号,则CCM将在色彩通道之间添加串扰,并且还可能添加噪声。
在一些实施例中,可以调整增益、曝光时间和激发光以生成与饱和度无关的强信号。通过避免相机的饱和,可以测量精确定量的信号。一些相机针对每个色彩平面提供对这些参数的单独的调整,若如此,则可以平衡红色、绿色和蓝色通道中的信号。
在一些实施例中,记录暗信号,特别是在相机信号与在不存在光时的0显著不同的情况下。在没有光入射到相机上的情况下测量的相机信号被称为暗信号。在一些实施例中,暗信号是对应于跨越相机中的所有像素的平均暗信号的单一数字值。在一些实施例中,暗信号对应于被基于逐个像素提供不存在光的相机的测量信号的图像。暗信号可以通过关闭相机和/或通过关闭入射光(例如,防止入射光到达相机)并且使用相机获得名义上的暗场景的图像来获得。如果暗信号将是逐个像素基准,则可以保留完整的图像。替代地,在给定图像平面中的一些或所有像素可以被平均以产生表示原始蓝色、绿色和红色通道中的每一个中的暗信号的值的向量。另外,如果每个通道中的暗信号足够相似,则单一值可以用于所有通道的所有像素。
在如上所述那样地,使用由图1中所示的光谱表示的epi滤波器组获得样本的第一扫描并且使用由图2中所示的光谱表示的epi滤波器组获得样本的第二扫描之后,两次扫描中的每个包括对应于三个不同光谱带的三个图像。两次扫描使用对应于蓝色光谱带(亦即,共享光谱带)的图像来配准。蓝色光谱带包括来自样本细胞核中的DAPI复染剂的强贡献,其基本上存在于包括样本的所有图像域中。
各种方法可以用于配准第一和第二扫描。在一些实施例中,例如,第一扫描可以被取作基准,并且通过找到第二扫描到第一扫描的变换将第二扫描配准到第一扫描。然后,在变换了第二扫描的图像之后,使用来自第一扫描的图像以及来自第二扫描的变换图像来组装图像栈。替代地,在一些实施例中,将第二扫描取作基准,并且通过找到第一扫描到第二扫描的变换将第一扫描配准到第二扫描。在两种情况下,变换可以在第一和第二扫描完成之后进行,或者变换可以在正在获得第一或第二扫描的图像的同时进行。
在本文中描述的方法和系统可以使用各种变换将第一和第二扫描的图像对齐。在一些实施例中,所使用的变换包括Cartesian变换,其针对第一扫描的图像和第二扫描(以及任何随后的扫描)的图像之间的位置上的移位进行校正。在一些实施例中,变换可以包括旋转变换以校正图像之间的旋转差异。在样本和检测器的相对朝向可能在扫描之间变化的系统中,旋转变换可以是有利的。
更一般地,包括平移、旋转、放大和/或图像弯曲的任何一个或多个变换可以用于配准第一和第二扫描的图像以校正扫描之间的成像变化。例如,可以基于样本的性质和成像系统的配置来进行一个或多个变换的选择。
在一些实施例中,包括平移(亦即,移位或偏移)以校正图像的X和Y位置中的偏移的变换是足够的。确定适当的平移的一种方法是在对应于第一和第二扫描中的共享光谱带的图像之间进行互相关并且比较相关的程度作为X和Y偏移的函数。例如,如果SB1和SB2分别是对应于第一和第二扫描中的共享光谱带的光谱图像,则互相关(XC)可以根据下式计算:
其中,i和j是SB1和SB2的索引,w和h是SB1和SB2的维度(例如,SB1和SB2每个是具有wxh维度的图像),δx是一个图像方向(例如,X方向)上的偏移,并且δy是另一个图像方向(例如,Y方向)上的偏移。生成XC的最大值的偏移(dx,dy)通常用于变换光谱图像;变换可以包括例如将图像SB2平移偏移(dx,dy)的量,例如在X方向上平移dx并且在Y方向上平移δy。
一般地,等式(1)中的互相关仅在足够大到校正第一和第二扫描之间的预期图像移位的δx和δy的范围上评估。以此方式限制互相关减少在标识(dx,dy)中涉及的计算负担,并且还防止选取XC中的远的、错误的最大值。
在一些实施例中,针对每个光谱图像确定优化的变换,然后根据其优化的变换来变换每个光谱图像。替代地,在一些实施例中,一次仅针对扫描中的一个光谱图像来确定优化变换,然后使用优化变换来变换扫描中的所有图像。作为另外的替代,可以针对光谱图像中的若干位置(例如,网格中的所有域)来确定优化变换,并且可以使用基于它们的位置的变换(确定出最佳变换的位置以及在那些位置处确定的变换)来变换单个光谱图像。可以基于成像系统的属性以及给定的变换是在全扫描、区域还是仅一个图像上有效来选择使用哪种方法。
当通过作为变换的结果的不同量将图像移位时,在应用变换之后,在相邻的图像之间可能存在重叠或者是空隙。因此,对应于变换的图像中的一些位置可能有两个值或者没有值。在有两个值有效的情况下,可以将一个值忽略,或者可以使用两个值的平均。
当存在空隙(例如,没有值对应于变换图像中的一些位置)时,可以使用各种方法将值引入到变换图像中。例如,在一些实施例中,相机需要在比通常使用的稍微更大的区间上的图像,以提供用于缝合相邻图像的小周界区域。如果周界区域中的额外像素在进行变换时是可用的,则这些像素可以用于提供空隙中的适当的值。作为另外的示例,在一些实施例中,可以使用插值来提供丢失的值,此时间隙一般很小。作为另外的示例,具有空隙的区域可以被标记为无效,以便稍后处理。
在变换了两次扫描中的至少一个的光谱图像之后,组合两次扫描的图像以形成图像栈。组合图像可以包括在单一计算机文件中存储图像、将来自扫描的图像与另一个相邻地放置在计算机内的存储器中和/或按照扫描将图像存储在已知与另一个相关联的单独的计算机文件中。一般地,可以使用任何方法组合第一和第二扫描的图像,使得它们在逻辑上分组在一起,并且形成表征对应于来自两次扫描的光谱带的一些图像的数字载玻片(slide)。在图5的流程图中示意性地示出前述步骤。
回到在图1-3中示出的示例,对应于两个蓝色(DAPI)光谱带的图像被平均以形成组合图像栈中的单一图像。对应于绿色和红色带的图像单独地包括在图像栈中,在图像栈中总共生成五个光谱图像(例如,对应于蓝色光谱带的一个平均光谱图像、对应于第一扫描的绿色和红色光谱带的光谱图像以及对应于第二扫描的绿色和红色光谱带的光谱图像)。蓝色共享光谱带图像(其包括主要来自细胞核中的DAPI的贡献)对应于与放射带105a相对应的第一扫描图像和与放射带115a相对应的第二扫描图像中的测量的像素强度的平均。图像栈中的绿色光谱图像对应于放射带105b和115b,并且图像栈中的红色光谱图像对应于放射带105c和115c。在被组合时,组合的红色、绿色和共享蓝色光谱图像针对组合的图像栈中的每个点(例如像素)提供5点光谱。
通过组合上述的5个光谱图像形成的图像栈提供比单独通过任何一次扫描提供的样本的光谱组成更多的信息。另外,因为图像栈由空间配准(例如,配准到1个像素内)的光谱图像形成,所以图像栈的每个光谱图像中的每个像素地应于样本中的基本相同的位置。因此,从图像栈针对每个像素得出的信息对应于样本中的单一位置,并且可以用于光谱和图像分析。
在一些实施例中,可以使用具有单色相机和顺序照明的成像系统来扫描样本。一种这样的扫描仪是可从3DHistech(布达佩斯,匈牙利)得到的P250扫描仪,其使用来自PCO(Kelheim,德国)的科学CMOS(scientificCMOS,sCMOS)单色相机以及来自Lumencor(Beaverton,OR)的电子控制的敏捷光源。为了在成像系统中使用单色相机扫描样本,使用在图1中示出的滤波器组来获取第一扫描。在样本中的每个位置处,系统在用光谱带104a中的光照明样本的同时获取图像。然后,对于样本中的每个位置,系统在用光谱带104b中的光照明样本的同时获取图像。另外,对于样本中的每个位置,系统在用光谱带104c中的光照明样本的同时获取图像。
单色相机每当对样本进行成像时检测所有光谱带(例如,光谱带105a、105b和105c)中的光。因此,来自单色相机的测量信号不同于在使用彩色相机在所有光谱带104a、104b和104c中同时照明时所测量的那些信号。彩色相机根据样本放射的光的波长或色彩来提供3个不同的信号,而具有顺序照明的单色相机根据用于照明样本的光的波长或色彩来提供3个不同的信号。
接下来,使用在图2中示出的滤波器组来获取样本的第二扫描。光谱激发带114a、114b和114c与获得第一扫描所使用的那些(例如,光谱带104a、104b和104c)基本相同,并且用于获得第二扫描的过程与上述关于第一扫描的相同。然而,如图1和图2所示,因为第二扫描中的图像的放射滤波器波峰115a、115b和115c与第一扫描的那些(例如,105a、105b和105c)相比是红色移位的,所以第二扫描的光谱图像一般将不同于第一扫描的光谱图像。
然后,可以使用在使用第一扫描的光谱带104a中的以及第二扫描的光谱带114a中的光照明样本时获得的光谱图像对第一和第二扫描进行协同配准(co-register)。选取光谱带104a和114a作为配准的共享带,因为每个对应的光谱图像包括来自由样本细胞核的DAPI复染剂放射的光的贡献。对应于光谱带104a和114a的图像还可以用于在每次扫描中聚焦。
在对第一和第二扫描进行协同配准之后,可以组合扫描的图像以形成多光谱图像栈。作为示例,可以放弃对应于来自第二扫描的共享带(例如,光谱带114a)的光谱图像,图像栈可以包括对应于照明和放射光谱带的下面的组合的图像:104a和102;104b和102;104c和102;114b和112;以及114c和112。
在一些实施例中,在获取将不被组合以形成图像栈的光谱图像时使用减小的曝光时间。例如,因为对应于照明带114a和放射带112的组合的光谱图像仅用于对第一和第二扫描中的光谱图像进行协同配准,所以该图像可以以比包括在图像栈中的光谱图像更低的信噪比(SNR)来获得。用于确定最佳变换的互相关计算(因为其涉及两个图像)一般不需要高SNR,因为其是涉及来自多个像素的贡献的统计属性;对每个单个像素不需要高SNR,以便具有已经达成最佳变换的高置信度。
在一些实施例中,对通过组合来自第一和第二扫描的光谱图像形成的图像栈执行光谱去混合。光谱去混合提供一种用于隔离样本中存在的不同种类(包括诸如DAPI、AlexaFluor488和TexasRed这样的外源荧光团)的光谱贡献的方法。在一些实施例中,光谱去混合用于估计对来自样本自体荧光(AF)的获取图像的贡献。确定AF并对其进行校正使得能够避免否则将由于将所有能量加于外源荧光剂而出现的测量误差。
为了执行光谱去混合,可以使用光谱控制样本来提供关于感兴趣的样本中的特定光谱贡献者的基准信息。例如,可以制备分别只包含复染剂DAPI、只包含TexasRed、只包含AlexaFluor488并且没有外源荧光剂(例如,使得仅荧光贡献来自于自体荧光)的若干控制样本。这些控制样本用于获得与单个荧光剂和样本自体荧光相关联的纯光谱的估计。可以在来自相同块的组织或者其他组织上获取控制样本。从其他组织获取样本可以具有一些优点。例如,临床病人样本可能仅能得到有限的数量,并且在很多情况下,光谱信息可以从更冗余的组织材料中学习到。
为了获得样本成分的纯光谱的估计,一般地,不需要获得跨越控制样本的完整空间范围的图像。这是因为,一般地,只需要关于控制样本的光谱响应的信息,而不需要完整的控制样本图像。为了获得关于控制样本的光谱响应的信息,可以使用多种技术。例如,可以获得控制样本的小区域的局部扫描,或者可以仅获得每个控制样本的一个图像,以提供光谱响应信息。例如,可以顺序地使用光谱带104a、104b和104c中的照明光、用适当位置的第一滤波器来获得样本中的特定位置的图像,并且可以使用光谱带114a、114b和114c中的照明光、用适当位置的第二滤波器来获得图像。然后,可以将这些图像组装成包括仅来自控制样本中的单一位置的图像的图像栈。替代地,在一些实施例中,该过程可以重复以通过在控制样本的小区域中的很多位置处重复处理来扫描控制样本的小区域。该过程比仅在单一位置处获取图像慢,但是对于一些样本可能仍然是足够快速的。
在一些实施例中,对控制样本进行两次完整扫描,将两次完整扫描相互配准,并且组合成多光谱扫描。该方法可以在对应于共享光谱带的每次扫描中的图像包括用于配准扫描的足够信息时使用。然而,对于一些样本,这可能是困难的。例如,当扫描不包含DAPI的样本时,对应于通过与光谱带104a和114a相对应的激发滤波器取得的图像的光谱带可能不包含将两次扫描配准到一起的适合的信息:在对应于这些光谱带的图像中可能存在小信号或结构。作为替代,可以选择不同的共享光谱带来执行配准。例如,对应于光谱带104b和114b中的照明的图像可以用于配准AlexFluor488控制样本的扫描。作为另一个示例,对应于光谱带104c和114c中的照明的图像可以用于配准TexasRed样本的扫描。在存在充足的信号的情况下,通过光谱带104a/b/c和114a/b/c中的任何一个中的照明获得的图像一般可以用于配准自体荧光控制。
光谱库可以从光谱控制样本的光谱图像(或扫描)构造。使用光谱库,可以对感兴趣的样本的图像栈进行光谱去混合,成为成分图像,每个对应于实质上来自于各种染色和/或自体荧光中的仅一个的光谱贡献。可以得到用于进行光谱去混合的软件,包括来自PerkinElmer(Hopkinton,MA)的Nuance以及来自Exelis(Boulder,CO)的ENVI。在图6的流程图中示意性地示出在本文中公开的与配准方法一起使用光谱库。
光谱去混合生成指示样本中的各种染色的位置和量的成分图像的集合。成分图像是用于各种图像分析的丰富数据集,各种图像分析包括表达测量、协同定位、积极性分析以及涉及这些量的生物标志物指标的评估(癌症预后、病人分层等)或者被染色的组织的任何定量测量。
成分图像适合于使用各种技术进行图像分析和对象分类。例如在美国专利7,155,555和US8,280,140中描述了用于分析和分类的适合的技术,通过引用将其全部内容并入本文。因此,在本文中公开的测量和分析可以包括获取图像并且如上所述地对它们进行处理,进行图像预处理和去混合成为成分图像,进行对象分类以找到组织结构、细胞或者亚细胞室,以及通过评估去混合的成分中的信号级别来测量蛋白质表达。在图7的流程图中示意性地示出使用从对图像栈去混合获得的成分图像。
在本文中公开的系统和方法提供的提高的精确性得到感兴趣的样本中的单个荧光剂的更精确的测量,并且还确保可以检测到或更可靠地测量空间协同定位的荧光剂。例如,可以组合地使用荧光剂,即使在它们表示为重叠或相同的生物学结果时也是如此。另外,因为在本文中公开的系统和方法可以产生具有对应于4个以上的光谱带或5个以上的光谱带或6个以上的光谱带的图像多光谱图像栈(例如,图像立方体),所以能够对样本的图像栈进行光谱去混合成来自N个种类的贡献,其中N>3。
因此,在本文中公开的系统和方法在扫描和量化已经用单一IF种类制备的样本方面提供增加的精确性,对用两个IF种类制备的扫描的样本提供更可靠和精确的测量,并且提供对诸如三个或四个IF种类和复染剂这样的样本中的N=3、4或5个种类的测量。涉及一个或多个IF种类彼此之间或与复染剂之间的协同定位的测量尤其适合于本文公开的系统和方法。
作为另外的示例,上述的Lumencor固态照明器可以替换为具有PriorHF108电动化的滤光轮的PriorLumen200灯。如果滤波器被布置为使得相继的曝光使用相邻滤波器位置处的滤波器,则滤波器之间的改变的时间是55ms。该时间改变在各种应用中是可以容忍的。
在另外的示例中,可以使用具有在图1中示出的光谱响应的epi滤波器组对样本进行一次成像,然后第二次使用具有在图4中示出的光谱响应(其中,激发滤波器响应121包括主要光谱带124a、124b、124c和124d,放射滤波器响应122包括主要光谱带125a、125b、125c和125d,分色反射器传送由曲线123指示)的epi滤波器组。光源被配置为用第一扫描的带104a、104b和104c中的每个中的光照明样本,并且用第二扫描的带124a、124b、124c和124d中的每个中的光照明样本。获取总共7个图像,具有下面的光谱带/滤波组合:104a/102、104b/102、104c/102、124a/122、124b/122、124c/122和124d/122。
对应于光谱带104a和124a(例如,共享光谱带)中的照明的图像可以用于将两次扫描协同配准。在两个图像中,样本中的细胞核是明显的,因为在这些情况下,DAPI被强烈地激发,并且其放射被相机捕捉到。这使得能够找到最佳变换以配准两个图像,并且形成多光谱图像栈,其中已经变换了来自一个或两个扫描的图像使得它们是协同配准的。使用在本文中描述的任何方法和系统允许快速地获取高度精确的图像栈(例如,图像立方体),其中图像栈中的每个给定像素处的所有信号出自样本中的相同位置。虽然在一些实施例中不可能进行完美的协同配准,但是在本文中公开的方法和系统相对于没有进行配准的情况提供改善的配准。
先前描述的示例包含使用基本相同的激发带集合,并且通过改变放射滤波器来得到关于样本的附加信息,本示例改变第一和第二扫描之间的激发和放射两者。这样的方法可以具有一些优点。首先,改变照明和放射两者的光谱带提供更多的光谱激发带,并且因此便于通过更大数量的荧光剂进行成像。第二,该方法提供关于样本的激发响应的信息,用于诸如隔离自体荧光信号这样的目的。在该示例中,样本可以通过使用诸如AlexaFluor568或AlexaFluor647这样的其他荧光剂利用探测器来制备,以便对样本中的另外的成分进行成像。可以对得到的图像立方体去混合以获得成分图像,在该情况下达6个种类。
在一些实施例中,在本文中描述的系统和方法可以允许荧光全视野载玻片扫描,但是不使用epi照明。替代地,使用样本的暗视野照明。这可以在总体上提供更大的灵活性,因为不像在epi照明中通常的那样地使用分色镜。因此,光学滤波器系统可以用更大的自由度来设计。
在一些实施例中,组合三次或更多的扫描以获得关于样本的另外的信息。关于要组合的扫描的数量以及在每次扫描中包括什么图像(对应于特定的光谱带)的决定取决于正在成像的样本和其包含的荧光剂和自体荧光的光谱属性。随着对样本重复地成像,光致漂白变成更大的关注点,并且值得将样本被暴露给紫外光(如DAPI和Hoechst荧光剂所使用的那样)的时间最小化。针对于此的一种方案是针对除了用作主DAPI或Hoechst图像的那一个之外的所有扫描中的这些光谱带使用更短的曝光。
图8是示出获取样本的多个光谱分辨图像的系统1000的示意图。光源1020向光调节光学器件1040提供光1220。光1220可以是不相干光,例如诸如从灯丝源生成的光,或者光1220可以是相干光,诸如由激光器生成的光。光1220可以是连续波(CW)或时间选通(即,脉冲)的光。另外,光1220可以以电磁谱的所选择的部分来提供。例如,光1220可以具有中心波长和/或落入在紫外、可见、红外或光谱的其他区域内的波长分布。
光调节光学器件1040可以被配置为以很多方式来变换光1220。例如,光调节光学器件1040可以对光1220进行光谱滤波(例如,使用epi滤波器)以提供光谱的所选择的波长区域中的输出光。替代地,或者另外地,光调节光学器件可以调节光1220的空间分布以及光1220的时间属性。通过光调节光学器件1040的元件的动作从光1220生成入射光1240。
入射光1240被定向成入射到安装在照明台1060上的样本1080上。台1060可以提供保护样本1080的部件,诸如安装夹或其他紧固器件。替代地,台1060可以包括固定有多个样本1080的移动轨道或传送带。驱动器机构可以被配置为移动轨道以便一次一个地接连地平移多个样本通过台1060上的照明区域,使入射光1240射到其上。台1060还可以包括平移轴和用于相对于照明台1060的固定位置平移样本1080的机构。平移机构可以手动地操作(例如,螺杆),或者可以经由电子制动(例如,电动驱动器、压电制动器)自动地移动。
响应于入射光1240,放射光1260从样本1080射出。放射光1260可以以很多方式生成。通常,入射光1240可能被样本1080吸收,并且放射光1260对应于响应于入射光1240的来自样本1080的荧光放射。
在很多实施例中,样本1080是生物学样本,诸如组织切片(例如,用于病理学的样本或者如在细胞学研究中的细胞悬浮液或涂片)或者组织培养中的活的或固定细胞。样本1080通常放置在由台1060固定的载玻片上。
安置光收集光学器件1100以接收来自样本1080的放射光1260。光收集光学器件1100可以被配置为例如在光1260偏离时校准放射光1260。光收集光学器件1100还可以被配置为对放射光1260进行光谱滤波。滤波操作例如用于将经由上述的机构之一引发的放射光1260的一部分与经由其他处理引发的光分离。另外,光收集光学器件1100可以被配置为修改放射光1260的空间和/或时间属性,用于实施例中的特定目的。光收集光学器件1100将放射光1260变换成入射到检测器1120上的输出光1280。
检测器1120包括被配置为检测输出光1280的诸如CCD和/或CMOS传感器这样的一个或多个元件。检测器1120生成对应于输出光1280的电子信号,并且经由电子通信线1300传送给电子控制系统1140。
电子控制系统1140包括处理器1160、显示设备1180和用户界面1200。除了接收对应于由检测器1120检测到的输出光1280的信号之外,控制系统1140还将电子信号发送给检测器1120以调节检测器1120的各种属性。例如,如果检测器1120包括CCD传感器,则控制系统1140可以将电子信号发送给检测器1120以控制CCD传感器的曝光时间、活动区、增益设置和其他属性。
电子控制系统1140还分别经由电子通信线1320、1340、1360和1380与光源1020、光调节光学器件1040、照明台1060和光收集光学器件1100进行通信。控制系统1140将电子信号提供给系统1000中的这些元件的每一个以调节元件的各种属性。例如,提供给光源1020的电子信号可以被用于调节光1220的强度、波长、重复率或其他属性。提供给光调节光学器件1040和光收集光学器件1100的信号可以包括例如用于配置调节光的空间属性的的设备(例如,空间光调制器)的属性以及用于配置光谱滤波设备的信号。提供给照明台1060的信号可以用于例如相对于台1060来定位样本1080和/或将样本移动到台1060上用于照明的位置处。
控制系统1140包括用于显示系统属性和参数以及用于显示样本1080的所捕捉的图像的用户界面1200。提供用户界面1200以便于操作者与系统1000进行交互以及控制系统1000。处理器1160包括用于存储使用检测器1120捕捉的图像数据的存储设备,并且还包括对处理器1160实施使处理器1160执行控制功能(例如,诸如上述的那些)的指令的计算机软件。另外,软件指令使处理器1160数学地处理由检测器1120所捕捉的图像以及执行分析样本图像、对样本图像去混合以及对去混合的图像进行分类的步骤。
在很多实施例中,系统1000被配置为获取样本1080的多个光谱图像。多个光谱图像可以对应于以光的各种所选择的波长对样本108照明以及检测样本1080放射的光的强度。替代地,多个光谱图像可以对应于用具有相似的光谱属性的光对样本1080照明以及收集样本1080的多个图像,每个图像对应于放射的光1260的不同波长。另外,多个光谱图像可以对应于用不同波长(例如,在不同光谱带中)的光对样本1080照明以及检测不同波长(例如,在不同光谱带中)的来自样本1080的放射光。光调节光学器件1040和光收集光学器件1100中的光谱滤波元件一般用于获得光谱分辨数据。
在一些实施例中,光调节光学器件1040包括滤光轮(filterwheel)这样的可调节的光谱滤波器元件。滤波器元件可以被配置为使用不同的光波长带来提供对样本1080的照明。光源1020可以提供具有宽广分布的光谱波长成分的光1220。该宽广波长分布中的所选择的区域被光调节光学器件1040中的滤波器元件允许作为入射光1240通过,并且被定向为入射到样本1080上。
硬件和软件
结合用于收集、处理、分析、解释和显示来自样本的信息的各种方法在上面描述的步骤可以实现为使用标准的编程技术的计算机程序。这样的程序被设计为在可编程的计算机上或者专门设计的集成电路上执行,可编程的计算机和专门设计的集成电路中的每一个都包含电子处理器(例如处理器1160)、数据存储系统(包括存储器和/或存储元件)、至少一个输入设备和至少一个输出设备(诸如显示器或打印机)。对输入数据(例如来自检测器的图像)应用程序代码以执行在本文中所述的功能,并且生成施加给一个或多个输出设备的输出信息(例如,示出样本的分类区域的图像、关于样本成分的统计信息等)。每个这样的计算机程序可以以高级过程式或面向对象的编程语言来实现,或者可以以汇编或机器语言来实现。另外,语言可以是编译型或解释型语言。每个这样的计算机程序可以存储在计算机可读取存储介质(例如,CDROM或磁盘)上,当由计算机读取时可以使计算机中的处理器执行在本文中所描述的分析和控制功能。一般地,电子处理器1160通过软件指令来配置,以执行在本文中所描述的任何方法步骤、分析功能、控制功能和图像处理步骤。
其他实施例
虽然为了解释的目的提供了示例,但是可以进行组合、替换和变型以适合手头的目标、装置和样本,而不脱离本公开的精神,并且旨在本公开的范围仅由所附的权利要求来限定。
Claims (22)
1.一种方法,包含:
获得样本的第一多个图像,其中第一多个图像中的每个图像对应于入射到样本上的照明光或来自样本的放射光的不同的光谱带;
获得样本的第二多个图像,其中第二多个图像中的每个图像对应于入射到样本上的照明光或来自样本的放射光的不同的光谱带;以及
使用电子处理器来:
基于来自第一多个图像中的第一图像的信息和来自第二多个图像中的第二图像的信息来对齐第一多个图像和第二多个图像,其中第一图像和第二图像对应于共享光谱带;以及
组合第一多个图像的至少一些成员和第二多个图像的至少一些成员以形成图像栈。
2.根据权利要求1所述的方法,其中图像栈中的每个像素包含从第一多个图像的至少一个成员得出的光谱信息以及从第二多个图像的至少一个成员得出的光谱信息。
3.根据权利要求1所述的方法,其中对齐第一多个图像和第二多个图像包含使用电子处理器对第一多个图像和第二多个图像进行空间配准,使得第一多个图像和第二多个图像中的每个成员对应于样本的公共区域。
4.根据权利要求1所述的方法,其中图像栈中的每个像素包含对应于入射到样本上的照明光或来自样本的放射光的至少5个不同的光谱带的光谱信息。
5.根据权利要求1所述的方法,还包含使用电子处理器对图像栈去混合以获得一个或多个成分图像,每个成分图像包含实质上仅来自样本中的一个成分的贡献。
6.根据权利要求5所述的方法,其中成分图像中的一个对应于来自样本的自体荧光。
7.根据权利要求5的述的方法,其中成分图像中的一个对应于自体荧光之外的样本的成分。
8.根据权利要求5所述的方法,还包含使用电子处理器基于一个或多个成分图像来分析样本以确定样本内的特征的位置。
9.根据权利要求1所述的方法,其中第一多个图像和第二多个图像中的每个成员对应于来自样本的荧光放射。
10.根据权利要求9所述的方法,其中第一多个图像中的每个成员对应于在用不同波长带的光照明样本之后的来自样本的荧光放射,并且其中第二多个图像中的每个成员对应于在用不同波长带的光照明样本之后的来自样本的荧光放射。
11.根据权利要求10所述的方法,还包含使用彩色相机来获得第一多个图像和第二多个图像。
12.一种系统,包含:
照明源,被配置为用照明光照明样本;
检测器,被配置为获得样本的一个或多个图像;以及
电子处理器,耦接到检测器,并且被配置为:
获得样本的第一多个图像,其中第一多个图像中的每个图像对应于来自照明源的、入射到样本上的照明光或来自样本的放射光的不同的光谱带;
获得样本的第二多个图像,其中第二多个图像中的每个图像对应于来自照明源的、入射到样本上的照明光或来自样本的放射光的不同的光谱带;
基于来自第一多个图像中的第一图像的信息和来自第二多个图像中的第二图像的信息来对齐第一多个图像和第二多个图像,其中第一图像和第二图像对应于共享光谱带;以及
组合第一多个图像的至少一些成员和第二多个图像的至少一些成员以形成图像栈。
13.根据权利要求12所述的系统,其中图像栈中的每个像素包含从第一多个图像的至少一个成员得出的光谱信息以及从第二多个图像的至少一个成员得出的光谱信息。
14.根据权利要求12所述的系统,其中电子处理器被配置为通过对第一多个图像和第二多个图像进行空间配准,使得第一多个图像和第二多个图像中的每个成员对应于样本的公共区域,来对齐第一多个图像和第二多个图像。
15.根据权利要求12所述的系统,其中图像栈中的每个像素包含对应于入射到样本上的照明光或来自样本的放射光的至少5个不同的光谱带的光谱信息。
16.根据权利要求12所述的系统,其中电子处理器被配置为对图像栈去混合以获得一个或多个成分图像,每个成分图像包含实质上仅来自样本中的一个成分的贡献。
17.根据权利要求16所述的系统,其中成分图像中的一个对应于来自样本的自体荧光。
18.根据权利要求16所述的系统,其中成分图像中的一个对应于自体荧光之外的样本的成分。
19.根据权利要求16所述的系统,其中电子处理器被配置为基于一个或多个成分图像来分析样本以确定样本内的特征的位置。
20.根据权利要求12所述的系统,其中第一多个图像和第二多个图像中的每个成员对应于来自样本的荧光放射。
21.根据权利要求20所述的系统,其中第一多个图像中的每个成员对应于在用不同波长带的光照明样本之后的来自样本的荧光放射,并且其中第二多个图像中的每个成员对应于在用不同波长带的光照明样本之后的来自样本的荧光放射。
22.根据权利要求21所述的系统,其中检测器包含彩色相机,并且其中电子处理器被配置为使用彩色相机来获得第一多个图像和第二多个图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361751192P | 2013-01-10 | 2013-01-10 | |
US61/751,192 | 2013-01-10 | ||
PCT/US2014/010475 WO2014110025A1 (en) | 2013-01-10 | 2014-01-07 | Whole slide multispectral imaging systems and methods |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105103190A true CN105103190A (zh) | 2015-11-25 |
CN105103190B CN105103190B (zh) | 2018-07-17 |
Family
ID=50069292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480011495.6A Active CN105103190B (zh) | 2013-01-10 | 2014-01-07 | 全视野载玻片多光谱成像系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10580128B2 (zh) |
EP (1) | EP2943932B1 (zh) |
CN (1) | CN105103190B (zh) |
WO (1) | WO2014110025A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107798692A (zh) * | 2016-08-31 | 2018-03-13 | 郑州动量科技有限公司 | 一种球类图像识别方法及其系统 |
CN108896545A (zh) * | 2018-05-09 | 2018-11-27 | 歌尔股份有限公司 | 涂胶检测方法、装置及计算机可读存储介质 |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201106254D0 (en) | 2011-04-13 | 2011-05-25 | Frisen Jonas | Method and product |
JP6100772B2 (ja) * | 2011-07-15 | 2017-03-22 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 画像処理方法及びコンピューティング装置 |
US11021737B2 (en) | 2011-12-22 | 2021-06-01 | President And Fellows Of Harvard College | Compositions and methods for analyte detection |
USRE50065E1 (en) | 2012-10-17 | 2024-07-30 | 10X Genomics Sweden Ab | Methods and product for optimising localised or spatial detection of gene expression in a tissue sample |
DK3013984T3 (da) | 2013-06-25 | 2023-06-06 | Prognosys Biosciences Inc | Metode til bestemmelse af spatiale mønstre i biologiske targets i en prøve |
GB201409202D0 (en) * | 2014-05-23 | 2014-07-09 | Ffei Ltd | Improvements in imaging microscope samples |
US9516295B2 (en) * | 2014-06-30 | 2016-12-06 | Aquifi, Inc. | Systems and methods for multi-channel imaging based on multiple exposure settings |
US9778476B2 (en) | 2014-11-03 | 2017-10-03 | Aquifi, Inc. | 3D depth sensor and projection system and methods of operating thereof |
FI3901281T3 (fi) | 2015-04-10 | 2023-01-31 | Biologisten näytteiden spatiaalisesti eroteltu moninkertainen nukleiinihappoanalyysi | |
SG10201911462UA (en) | 2015-08-04 | 2020-02-27 | Agency Science Tech & Res | Hyperspectral imaging apparatus and method |
CN116200465A (zh) | 2016-04-25 | 2023-06-02 | 哈佛学院董事及会员团体 | 用于原位分子检测的杂交链反应方法 |
WO2017222453A1 (en) | 2016-06-21 | 2017-12-28 | Hauling Thomas | Nucleic acid sequencing |
CA3078158A1 (en) | 2017-10-06 | 2019-04-11 | Cartana Ab | Rna templated ligation |
WO2019213618A1 (en) | 2018-05-03 | 2019-11-07 | Akoya Biosciences, Inc. | Multispectral sample imaging |
US10740949B2 (en) * | 2018-09-18 | 2020-08-11 | Microsoft Technology Licensing, Llc | Multi-spectral rendering for synthetics |
WO2020076976A1 (en) | 2018-10-10 | 2020-04-16 | Readcoor, Inc. | Three-dimensional spatial molecular indexing |
WO2020123722A1 (en) * | 2018-12-14 | 2020-06-18 | Spectral Md, Inc. | System and method for high precision multi-aperture spectral imaging |
US10753875B1 (en) * | 2019-01-31 | 2020-08-25 | Rarecyte, Inc. | Spectral unmixing of spectroscopic emission images |
AU2020282024A1 (en) | 2019-05-31 | 2021-11-11 | 10X Genomics, Inc. | Method of detecting target nucleic acid molecules |
US12110548B2 (en) | 2020-02-03 | 2024-10-08 | 10X Genomics, Inc. | Bi-directional in situ analysis |
EP3907497B1 (en) * | 2020-05-08 | 2023-08-02 | Leica Microsystems CMS GmbH | Apparatus and method for displaying and/or printing images of a specimen including a fluorophore |
US12071667B2 (en) | 2020-11-04 | 2024-08-27 | 10X Genomics, Inc. | Sequence analysis using meta-stable nucleic acid molecules |
US12060603B2 (en) | 2021-01-19 | 2024-08-13 | 10X Genomics, Inc. | Methods for internally controlled in situ assays using padlock probes |
EP4053794A1 (en) * | 2021-03-05 | 2022-09-07 | Leica Microsystems CMS GmbH | Multispectral microscope system and method for registering first and second images by means thereof |
WO2022234484A1 (en) * | 2021-05-04 | 2022-11-10 | X-Zell Biotech Pte Ltd | Devices and methods for rapid channel-by-channel fluorescence microscopy |
WO2024040060A1 (en) | 2022-08-16 | 2024-02-22 | 10X Genomics, Inc. | Ap50 polymerases and uses thereof |
EP4372701A1 (en) | 2022-11-17 | 2024-05-22 | Aignostics GmbH | Systems and methods for the detection and classification of biological structures |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070016082A1 (en) * | 2003-09-23 | 2007-01-18 | Richard Levenson | Spectral imaging |
CN101304682A (zh) * | 2005-09-29 | 2008-11-12 | 通用医疗公司 | 用于提供一个或多个生物结构的多模态显微成像的装置和方法 |
US20100086220A1 (en) * | 2008-10-08 | 2010-04-08 | Harris Corporation | Image registration using rotation tolerant correlation method |
US20120085932A1 (en) * | 2005-11-04 | 2012-04-12 | George Themelis | Systems and methods for multispectral imaging |
CN102804205A (zh) * | 2010-03-26 | 2012-11-28 | 通用电气公司 | 用于生物样本的光学分割的方法和器件 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5880473A (en) | 1997-07-28 | 1999-03-09 | Applied Imaging, Inc. | Multifluor-fluorescence in-situ hybridization (M-FISH) imaging techniques using multiple multiband filters with image registration |
US6142629A (en) | 1998-08-30 | 2000-11-07 | Applied Spectral Imaging Ltd. | Spectral imaging using illumination of preselected spectral content |
US6373568B1 (en) * | 1999-08-06 | 2002-04-16 | Cambridge Research & Instrumentation, Inc. | Spectral imaging system |
US7864379B2 (en) | 2001-03-19 | 2011-01-04 | Dmetrix, Inc. | Multi-spectral whole-slide scanner |
US6978339B2 (en) | 2002-02-22 | 2005-12-20 | Canon Kabushiki Kaisha | Communication system and method of controlling same |
US7519907B2 (en) | 2003-08-04 | 2009-04-14 | Microsoft Corp. | System and method for image editing using an image stack |
EP2191774A3 (en) | 2004-12-06 | 2010-06-23 | Cambridge Research & Instrumentation, Inc. | Systems and methods for in-vivo optical imaging and measurement |
US7555155B2 (en) | 2005-01-27 | 2009-06-30 | Cambridge Research & Instrumentation, Inc. | Classifying image features |
US8406858B2 (en) | 2005-04-29 | 2013-03-26 | The Regents Of The University Of Colorado, A Body Corporate | Multi-excitation diagnostic system and methods for classification of tissue |
US8164622B2 (en) | 2005-07-01 | 2012-04-24 | Aperio Technologies, Inc. | System and method for single optical axis multi-detector microscope slide scanner |
US7561329B2 (en) * | 2006-12-14 | 2009-07-14 | Cytyc Corporation | Illumination source for stained biological samples |
WO2008144766A1 (en) | 2007-05-21 | 2008-11-27 | Board Of Regents, The University Of Texas System | Porcine biliary tract imaging |
WO2009117603A2 (en) | 2008-03-19 | 2009-09-24 | Hypermed, Inc. | Miniaturized multi-spectral imager for real-time tissue oxygenation measurement |
TR201901658T4 (tr) | 2008-05-20 | 2019-02-21 | Univ Health Network | Floresan bazli görüntüleme ve i̇zleme i̇çi̇n ci̇haz ve metot |
JP5478084B2 (ja) | 2009-01-23 | 2014-04-23 | オリンパス株式会社 | 画像処理システム、画像処理装置および画像処理端末 |
CA2784856C (en) | 2009-12-18 | 2019-05-07 | University Health Network | System and method for sub-surface fluorescence imaging |
EP2359745A1 (en) * | 2010-02-12 | 2011-08-24 | Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) | Method and device for multi-spectral photonic imaging |
CN102893137B (zh) * | 2010-03-17 | 2017-01-11 | 曾海山 | 用于癌症检测和定位的快速多光谱成像方法和设备及应用 |
US8662670B2 (en) | 2010-05-28 | 2014-03-04 | Alcon Research, Ltd. | Spectrally-adjustable ophthalmic illumination with discrete sources |
US8208704B2 (en) | 2010-07-13 | 2012-06-26 | Carestream Health, Inc. | Dental shade mapping |
US9066657B2 (en) | 2010-11-23 | 2015-06-30 | General Electric Company | Methods and systems of optical imaging for target detection in a scattering medium |
US9329127B2 (en) | 2011-04-28 | 2016-05-03 | Bio-Rad Laboratories, Inc. | Fluorescence scanning head with multiband detection |
EP2520923A1 (en) | 2011-05-06 | 2012-11-07 | bioMérieux | Bio-imaging method and system |
US20130038725A1 (en) * | 2011-08-09 | 2013-02-14 | Mark Allen Lanoue | Hyperspectral and multiple imaging controlled enclosure for sample examination |
US20140022381A1 (en) | 2012-07-17 | 2014-01-23 | Tetracam, Inc. | Radiometric multi-spectral or hyperspectral camera array using matched area sensors and a calibrated ambient light collection device |
-
2014
- 2014-01-07 WO PCT/US2014/010475 patent/WO2014110025A1/en active Application Filing
- 2014-01-07 US US14/149,020 patent/US10580128B2/en active Active
- 2014-01-07 CN CN201480011495.6A patent/CN105103190B/zh active Active
- 2014-01-07 EP EP14703190.0A patent/EP2943932B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070016082A1 (en) * | 2003-09-23 | 2007-01-18 | Richard Levenson | Spectral imaging |
CN101304682A (zh) * | 2005-09-29 | 2008-11-12 | 通用医疗公司 | 用于提供一个或多个生物结构的多模态显微成像的装置和方法 |
US20120085932A1 (en) * | 2005-11-04 | 2012-04-12 | George Themelis | Systems and methods for multispectral imaging |
US20100086220A1 (en) * | 2008-10-08 | 2010-04-08 | Harris Corporation | Image registration using rotation tolerant correlation method |
CN102804205A (zh) * | 2010-03-26 | 2012-11-28 | 通用电气公司 | 用于生物样本的光学分割的方法和器件 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107798692A (zh) * | 2016-08-31 | 2018-03-13 | 郑州动量科技有限公司 | 一种球类图像识别方法及其系统 |
CN108896545A (zh) * | 2018-05-09 | 2018-11-27 | 歌尔股份有限公司 | 涂胶检测方法、装置及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US10580128B2 (en) | 2020-03-03 |
US20140193061A1 (en) | 2014-07-10 |
EP2943932A1 (en) | 2015-11-18 |
WO2014110025A1 (en) | 2014-07-17 |
EP2943932B1 (en) | 2019-09-11 |
CN105103190B (zh) | 2018-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105103190A (zh) | 全视野载玻片多光谱成像系统和方法 | |
CN105102945B (zh) | 多光谱成像系统和方法 | |
JP7424286B2 (ja) | 蛍光観察装置及び蛍光観察方法 | |
JP6416887B2 (ja) | 構造化照明を用いた組織試料の顕微鏡観察 | |
CN105765690B (zh) | 可变照明傅立叶重叠关联成像设备、系统以及方法 | |
JP6307770B2 (ja) | 撮像素子 | |
US11776124B1 (en) | Transforming multispectral images to enhanced resolution images enabled by machine learning | |
AU2014253889B2 (en) | Method for generating a composite image of an object composed of multiple sub-images | |
US8314837B2 (en) | System and method for imaging with enhanced depth of field | |
JP5996334B2 (ja) | 顕微鏡システム、標本画像生成方法及びプログラム | |
JP2008139796A (ja) | 蛍光顕微鏡、蛍光顕微鏡の操作方法、蛍光顕微鏡操作プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
US20230384223A1 (en) | Method and fluorescence microscope for determining the location of individual fluorescent dye molecules by means of adaptive scanning | |
CN103134782A (zh) | 图像获取装置、图像获取方法和图像获取程序 | |
CN103808702A (zh) | 图像获取单元及图像获取方法 | |
JP2008139794A (ja) | 蛍光顕微鏡、蛍光顕微鏡の操作方法、蛍光顕微鏡操作プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
CN109863441A (zh) | 荧光显微镜 | |
US11061215B2 (en) | Microscope system | |
JPWO2018123677A1 (ja) | 画像処理方法及び画像処理システム | |
CN111208106A (zh) | 显微镜系统和用显微镜系统检测从样本发射的荧光的方法 | |
WO2022249583A1 (ja) | 情報処理装置、生体試料観察システム及び画像生成方法 | |
WO2023248954A1 (ja) | 生体試料観察システム、生体試料観察方法及びデータセット作成方法 | |
CN107179601A (zh) | 光学仪器、相位板及像形成方法 | |
Splitter et al. | Glossary (Terms Are Defined with Respect to Confocal Imaging) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |