CN103874917B - 多焦点干涉图像获取 - Google Patents

Abstract

用于与遍及样本的不同深度相关联的三维（3D）样本的几个对象平面的同时成像的基于显微镜的系统和方法。该系统包括适于产生多个光学通道的多焦点光学部分以及适于将图像形成光束的谱分布变换成相应空间分布的谱选择部分，所述多个光学通道中的每一个与相应对象平面的图像相关联。由检测器记录的图像包括对象平面的图像和空间编码谱分布的图像。该方法执行所述几个对象平面的同时多谱成像。所需数据获取时间短至由常规多谱基于显微镜的成像系统所花费的时间的几分之一。

Description

多焦点干涉图像获取

技术领域

本发明涉及图像获取，并且更特别地涉及以三维空间分辨率为特征的提供生物样本的图像的多焦点超光谱成像的系统和方法。

背景技术

用常规光学成像系统、诸如例如被用于生物组织的病理检查的显微镜进行的图像获取具有有限的场深。为了获取表示三维组织片的成像数据，必须将常规图像获取系统配置成通过在样本的不同深度处使光学成像系统重新聚焦（沿着光轴，诸如z轴）或者在光学系统的焦距被固定时的情况下相对于组织样本对光学系统进行重新定位以确保正在对位于不同深度处的样本的各层进行成像而允许组织样本的不同深度的连续成像。在后一种情况下，光学成像系统可能需要尖端的自动化显微镜，其包括自动化重新定位单元，诸如，例如沿着局部光轴的光学件的机电调整器。

当在讨论谱分辨成像、诸如荧光谱成像时，情况甚至更加复杂，因为有必要在不同的波长下获取组织样本的给定层的多次连续曝光以构建一组超谱图像。后者不可避免地至少在增加的获取时间、由于组织样本中的报告分子的过度曝光（针对照明）而引起的减少的荧光以及增加曝光以补偿此类减少的需要以及增加的计算机处理时间和对大计算机存储容量的需要方面增加图像获取的成本。因此需要一种超谱图像获取的方法和系统，其中质量不会受到上述问题的损害。

发明内容

本发明的实施例提供了供在用基于显微镜的成像设备进行生物组织的多光谱成像时使用的系统、方法以及计算机程序产品。

用于对此类生物组织进行成像的方法的实施例包括从显微镜接收与组织相关联的光并在空间上使此光沿着具有不同相应有效光学功率的不同光学通道改向。实施例另外包括以使得用由每个光学通道形成的组织图像来填充光检测器的小孔（aperture）的方式来用光检测器检测通过这些光学通道透射的光。在特定实施例中，由通过不同光学通道的光形成的图像在不同的图像平面中形成且表示组织的不同平面，其共同地限定组织的被成像体积。在空间上使从显微镜接收到的光沿着不同的光学通道改向可包括用相对于局部光轴成螺旋和楼梯状关系定位的反射器来划分此光。本实施例另外可包括用光学滤波器系统对从显微镜接收到的光进行滤波，从而形成谱滤波光，其谱不同分量可选地可以是空间上分散的，并且按照时间序列或在单个时间点（并行地）被光检测器检测。在特定实施例中，执行谱滤波，使得所选等距波长下的谱滤波光的强度大于在显微镜输入端处接收到的光在相同等距波长下的强度。在特定实施方式中，选择等距波长，使得其之间的距离由光学滤波器系统的光学特性限定，该光学滤波器系统可选地是谱可调谐的。

另一实施例提供了一种用于病理样本的体积成像的方法，其包括（i）接收源自于限定一定体积的病理样本的对象平面的光和（i）在此光已通过空间不同光学通道被透射之后用光检测器来检测接收到的光，从而形成体积图像，其包括在光检测器的相邻部分上形成的对象平面的图像。体积图像可选地可包括干涉条纹，其表示源自于对象平面的光的谱含量。不同的光学通道具有不同的有效焦距。在特定实施例中，可通过光学滤波器对从对象平面接收到的光进行滤波，该光学滤波器可选地是可调谐的，并且用一系列Lorentzian函数来表示其谱传输特性。本实施例另外可包括分析体积图像的几何参数以确定接收到的光的谱含量。

本发明的实施例还提供了一种光学成像设备。在一个实施方式中，例如，此类光学成像设备包括被配置成从对象接收光并与谱选择光学系统进行光学通信的输入端，所述谱选择光学系统适于以谱等距波长通过空间不同光学通道将接收到的光透射到光检测器上，该光检测器接收该透射光。由光检测器所检测的光用对象平面的图像来填充光检测器的小孔，所述对象平面位于对象的不同深度处且限定正在被成像的对象的体积。谱选择光学系统可包括适于产生包含在输入端处接收到的光的空间编码光谱的光学输出的器件。在一个实施方式中，光学成像设备包括装配有适于支撑被成像的对象的载物台和被配置成改变载物台与显微镜物镜之间的距离的定位器的显微镜。光学通道可包括可转向反射器。

在另一实施例中，光学成像设备的特征在于多个图像平面且包括被配置成将对象成像到中间图像平面的显微镜和适于接收在中间图像平面处形成的图像并产生对应于此图像的傅立叶变换的光分布的傅立叶变换（FT）器件，所述光分布包含此图像的空间编码谱含量。在特定实施例中，显微镜包括被配置成支撑对象的载物台和能够改变将显微镜物镜与显微镜载物台分离的距离的定位器，并且FT器件包括干涉仪，诸如，例如萨尼亚克干涉仪（Sagnac interferometer）。本实施例另外包括与FT器件进行光学通信的射束分离器（BS）器件。BS器件包括分别地对应于多个图像平面的多个光学通道。这些光学通道中的每一个被配置成将由该FT器件产生的光分布重新成像到相应的图像平面上，从而形成表示被成像对象的相应深入层的相应图像。BS器件可包括以螺旋和楼梯状方式设置在局部光轴周围的可调整反射镜。本发明的实施例另外包括光检测器，其被配置成检测表示位于对象内的不同深度处的对象层的图像。在特定实施例中，定位器可以是机动的，并被激活以促使所检测图像中的至少一个与光检测器的平面重合。

在另一实施例中，多光谱成像设备包括（i）显微镜，其具有物镜和适于接收生物样本的载物台；以及（ii）多焦点图像获取设备，其与显微镜进行光学通信并被配置成沿着空间不同光学通道形成生物样本的图像，这些形成的图像分别地对应于所述空间不同光学通道。多焦点成像获取设备被配置成在不同的图像平面处形成样本的图像。多焦点成像设备包括光检测器，并且形成的图像包含表示与生物样本相关联的光的光谱的几何分布。在特定实施例中，可将多焦点图像获取设备配置成修改这些几何分布。本实施例另外包括与显微镜和多焦点成像设备操作时进行通信的处理器。处理器被编程为接收对应于至少一个形成的图像的成像数据，并确定将位于显微镜载物台上的生物样本与显微镜物镜分离的距离的变化，所述距离是将预定图像定位于光检测器的平面处所需的。另外可将处理器编程为通过将生物样本的形成的图像相互做减法、向此类减法的结果分配描述结果得到的减法图像的强度特性的相应品质因数且确定最高品质因数来确定分离距离的变化。显微镜可包括机动定位器，其可以是计算机控制的。还可将处理器编程为响应于已确定最高品质因数而引起分离距离的变化，从而将对应于最高品质因数的图像定位于光检测器的平面处。

本发明的另一实施例提供了一种供基于计算机控制的显微镜的成像系统使用的计算机程序产品，所述成像系统适于对生物样本进行成像并包括多个空间不同光学通道。该计算机程序产品包括有形数字存储介质，其在被加载到与成像系统操作时进行通信的计算机中时建立一种设备，其在计算机中实现且包含（i）输入端，被配置成接收表示生物样本的图像的图像数据组，其中，每个图像是通过来自所述多个光学通道的分别相应的光学通道获取的，并且其中，在不同的图像平面中形成不同的图像；以及（ii）图形输出端，被配置成显示生物样本的图像中的至少一个，其中，这些图像中的每一个包括表示生物样本的谱特性的几何配置。计算机程序产品还可包括图像数据处理器，其被配置成通过分析所显示几何配置来确定生物样本的谱特性，并且在特定实施例中，另外被配置成确定分别地表示图像的品质因数并至少基于所确定品质因数的比较来引起显微镜物镜和生物样本的相互重新定位。

附图说明

通过结合附图来参考特定实施例的以下详细描述，将更全面地理解本发明，在所述附图中：

图1A和1B是供本发明使用的多光谱成像（MSI）系统的示意图。

图2是示出了根据本发明的实施例的基于显微镜的成像系统的示意图。

图3是本发明的成像系统的显微镜部分的实施例的示意图。

图4是本发明的系统的多焦点光学部分的实施例的示意图。

图5A、5B和5C是示出了包括图2的系统的特定部分的实施例的示意图。

图6是图2的实施例关于用此类实施例成像的对象平面的场深特性的图示。

图7是示出了由通过图4的多焦点光学部分的光学通道被透射的图像形成光在检测器处形成的子图像的相互定位的示意图。

图8A和8B是与分别地定义常规成像系统和多焦点成像系统的实施例的FOV的边界重叠的不规则形状感兴趣区（ROI）的图像。

图9 和10是图示出能够用装配有轴步进装置的本发明的实施例来成像的生物样本的厚度的示意图。

图11A是图2的系统的谱选择部分的实施例的示意图。

图11B是适于作为萨尼亚克干涉仪的图2的系统的谱选择部分的特定实施例的示意图。

图12A是图示出与常规基于显微镜成像系统所需的数据获取时间相比较的用本发明的实施例执行的数据获取的时间的减少的图表。

图12B、12C、12D和12E是生物组织的图像和在这些图像的获取中使用的系统的相应示意图，其图示出通过使用本发明的实施例可实现且与从使用常规基于显微镜的成像系统得到的相比减小的样本光致漂白效果的程度。

图13A表示用图5C的实施例获取的网格参考的四个多焦点图像。

图13B是检测器上的图13A的图像的获取顺序和邻接定位的图示。

图14表示用图2的实施例获取的四个多谱多焦点图像。

图15表示通过使用图2的实施例获取的量子点标记前列腺组织的四个超谱图像。

图16表示通过使用图2的实施例获取的量子点标记前列腺组织的四个附加超谱图像。

图17是示出了对应于位于如在图16中被成像的样本处的量子点标记的谱迹的图表。

图18是表示图16的量子点标记样本的3个不同平面的3个重叠谱未混合图像的合成图像。

图19是图示出本发明的实施例促进其实现的光学系统自动聚焦的概念的图表。

图20、21A和21B表示图示出通过在折射率失配条件下将常规基于显微镜的系统用于样本的光谱成像而得到的光学像差的图像以及通过在相同条件下使用本发明的多焦点成像实施例而提供的优点。

图22A和22B是图示出通过在折射率失配条件下将常规基于显微镜的系统用于样本的光谱成像而得到的光学像差的示意图以及通过在相同条件下使用本发明的多焦点成像实施例而提供的优点。

图23是供本发明的实施例使用的替换的多焦点光学部分的示意图。

具体实施方式

遍及本说明书对“一个实施例”、“实施例”、“相关实施例”或类似语言的引用意指在本发明的至少一个实施例中包括结合被引用的“实施例”所述的特定特征、结构或特性。因此，遍及本说明书的短语“在一个实施例中”、“在实施例中”和类似语言的出现可以但不一定全部指的是同一实施例。应理解的是独立地和/或参考附图获得的公开部分都不意图提供本发明的所有特征的完整描述。

另外，在对其进行参考以下描述可描述本发明的特征的附图中，只要可能，类似的数字表示相同或类似元件。在附图中，所描绘的结构元件一般地并不按比例，并且一些部件出于强调和理解的目的相对于其他部件被放大。应理解的是单个图都不意图支持本发明的所有特征的完整描述。换言之，给定图一般地仅描述本发明的一些且一般地并非全部特征。给定图和包含参考此类图的描述的本公开的关联部分一般地并不包含特定视图的所有元件或在此图中能够表示的所有特征，以便简化给定图和讨论，并将讨论指引到在此图中作为特征的特定元件。

本领域的技术人员将认识到可能可在没有特定特征、元件、部件、结构、细节或特性中的一个或多个的情况下或通过使用其他方法、部件、材料等来实施本发明。因此，虽然可能不一定在描述本发明的实施例的每个图中都示出了此类实施例的特定细节，但可暗示此细节在图中的存在，除非描述的上下文另外要求。在其他情况下，在给定图中可能未示出或详细地描述众所周知的结构、细节、材料或操作以避免使正在讨论的本发明的实施例的各方面含糊难懂。此外，可在一个或多个实施例中以任何适当方式将本发明的所述特征、结构或特性组合。

此外，如果包括示意性流程图，则一般地将其阐述为逻辑流程图。同样地，逻辑流程图的所描绘的顺序和标记步骤指示所提出的方法的一个实施例。可设想在功能、逻辑或效果方面等效于所示方法的一个或多个步骤或其一部分的其他步骤和方法。另外，提供所采用的格式和符号是为了解释该方法的逻辑步骤，并且不应将其理解成限制该方法的范围。虽然在流程图中可采用各种箭头类型和线类型，但不应将其理解成限制相应方法的范围。实际上，一些箭头或其他连接符可用来仅指示该方法的逻辑流程图。例如，箭头可指示所述方法的列举步骤之间的未指定持续时间的等待或监视时段。在不失一般性的情况下，处理步骤或特定方法发生的顺序可以或者可以不严格地遵守所示的相应步骤的顺序。

意图整体地根据本公开来评定如在本公开所附的权利要求中叙述的本发明。

本文所讨论的多谱多焦点图像获取的方法和系统是由这样的实现得到的，即能够以不要求成像光学件和样本的相互重新定位的方式在多个焦平面处同时地执行三维样本的多谱成像。特别地，提出的方法和系统被配置成在单个获取步骤中且在非浸没条件下提供包含超谱成像数据的样本图像，所述超谱成像数据对应于位于样本内的不同深度处的样本层，其与用100倍显微镜进行的油浸组织图像的常规单焦平面、全场谱数据获取相比具有视场（FOV）的几倍增加且具有场深（DOF）的约16倍增加。结果，减轻或消除了与常规超谱成像系统相关联的许多缺点。具体地，所公开的发明的实施例允许绕过与成像光学件和图像样本的相互重新定位相关联的重复机械移动，确保较短成像循环，并通过基本上减少由于在许多焦平面处收集预定多谱成像数据所需的曝光的减少而引起的样本光致漂白效果来保持对光不稳的复染色或其他化学根，其可与被成像样本相关联。另外，本发明的实施例允许增加样本内的深度确定的准确度，其在用干物镜来执行成像时是显著的。

常规多谱成像系统和本发明的实施例

本发明的实施例可与诸如多谱成像（MSI）系统或荧光显微镜系统之类的成像系统一起使用。一般地，MSI通过提供在像素水平对图像的谱分布的访问而为病理样品的分析装配基于显微镜的计算机化成像系统。虽然存在多种多谱成像系统，但为所有MSI系统所共有的操作方面是形成多谱图像的能力。多谱图像是包含跨电磁光谱在特定波长下或在特定谱带宽下捕捉的图像数据的图像。这些波长可被光学滤波器或通过使用能够选择包括在超过可见光范围之外（诸如，例如红外线（IR）的波长下的电磁辐射的预定谱分量的其他器械而单个选出。

在图1A和1B中示意性地图示出促进样品的图像获取的两个常见类型的MSI系统。图1A示出了包括光学成像系统104的设备100，其一部分108包含可调谐以定义预定数目N个离散光学波段的谱选择系统。光学系统104适于对组织样本110进行成像，该组织样本110在用宽带光源112进行的到光学检测器116上的发射中被照亮。如所示，在一个实施例中可包括诸如显微镜之类的放大系统的光学成像系统104具有单个光轴120，其一般地在空间上与光学系统104的单个光学输出122对准。系统104随着正在调整或调谐谱选择系统108（例如用计算机处理器126）而形成组织110的图像序列，从而确保在不同的离散谱带中获取图像。设备100另外可包含其中从获取图像序列中出现组织的至少一个可视觉感知的图像的显示器122。谱选择系统108可包括光学色散元件，诸如衍射光栅、光学滤波器集合，诸如薄膜干涉滤波器或任何其他系统，其适于响应于用户输入或预编程处理器126的命令而从通过样本110从光源112朝着检测器116发射的光的光谱中选择特定通带。

在图1B中示出了适于同时地在多个谱带中拍摄许多谱离散光学图像的设备的替换实施方式150。在这里，谱选择系统154定义对应于N个离散谱带的多个光学输出。系统154收纳来自光学系统158的透射光输出156并在空间上使此光输出的至少一部分沿着N个空间不同光学路径162-1至162-N而改向，其方式为从而在所识别谱带中沿着对应于此所识别谱带的光学路径将样本110成像到检测器系统166上。应认识到的是另一替换实施例（未示出）可将实施例100和150的特征组合。

然而，在特定实施例中，通过将通过使用以DOF为特征的显微镜在单个获取步骤中获取的成像数据变换到空间频域以形成谱分辨成像数据来确定关于3D组织样本的成像信息的多谱含量。另外，通过使用具有不同焦距的多通道成像光学件和可选地使用光转向元件以形成多焦点成像数据，通过经由将对应于显微镜物镜的DOF内的不同样本深度的成像信号的各部分分离或解耦来在空间上对成像数据进行变换来确定所获取数据的3D含量（多焦点含量）。

如下面所讨论的，一个子系统（在下文中称为“谱器件”且其促进对成像数据进行谱分辨的过程）和另一子系统（称为“多焦点光学件”或“多焦点光学部分”，其促进对成像数据进行谱分辨的过程）一般地相互独立，并且一个的使用不一定限制另一个的使用。此外，两个子系统能够被同时地占用。

通过用包括两个子系统的实施例对生物样本进行成像而获得的多焦点（空间分辨）和谱分辨成像数据形成四维数据组，其表示3D样本的多谱图像。此外用诸如CCD之类的单个光学检测器同时地记录（register）成像信号的谱分辨和多焦点部分。结果，在检测器的平面中，形成包含空间变换成像数据（其提供被成像样本的特定深入层的空间描述）的图像部分与包含谱分辨数据（并且其提供该特定样本层的谱含量）的图像部分的叠加。然后根据相应的多焦点和谱分辨图像部分来确定描述样本的每个所表示深度的谱和空间参数，并可选地存储在有形、非临时计算机可读介质以用于进一步处理，并且在需要时显示给用户。

替换地，如果需要的话，能够在结构上和在光学上使任何子系统脱离。作为用包含多焦点光学件但谱器件被从其脱离的实施例来获取光学成像数据的结果，光学检测器记录所选操作波长下的多个空间不同对象平面的图像。另一方面，作为用包含谱器件但从其去除了多焦点光学部分的实施例来获取光学成像数据的结果，检测器记录由谱器件定义的许多谱带宽下的单个对象平面的图像。

一般地，显微镜、谱器件以及多焦点光学件相互合作以形成连续定位光学子系统的光学链，其将形成成像数据的光从被成像的样本中继到光学检测器。在一个实施例中，此类光学中继包括在相应的中间图像平面中形成样本的至少一个中间图像。图2提供了本发明的多焦点超谱成像系统的概念的示意图，示出了显微镜系统204，其将对象成像到第一中间图像平面208上；谱器件212，其将中间图像从第一平面208中继到第二中间平面216；以及多焦点光学件220，其将在第二中间图像平面216处形成的中间图像重新成像到光学检测器224上，全部被可选地控制并与装配有程序代码和相应存储介质的计算机系统230相协调。

成像系统

图3图示出图2的显微镜子系统204的实施例300，用来将样本/对象302成像到第一图像平面306上。实施例300包括通过光学链316向中间图像平面306上发射光314的照明源310。如所示，第一光学链316具有场透镜318、场小孔322、第一聚光器326（被示为包括第一聚光透镜326A和第一聚光小孔326B）、物镜330以及镜筒透镜334。实施例300另外包括照明器336，其适于通过物镜330用来自第二照明源334的激励光340来照射样本302。照明器336被配置成确保用激励光340进行的样本302的照明促使样本302发荧光。用物镜330来收集来自样本302的此荧光发射，并且进一步使其朝着镜筒透镜334改向。照明器336包含第二照明源344、第二聚光器348、第二场小孔352以及适于选择（在一个实施方式中—可调谐地）激励光340的谱含量的激励滤波器356。在特定实施例中，第二场小孔352是矩形的。

射束分离器360适当地位于通过光学链316和照明器336传播的光束的交叉点处，从而确保这些光束之间的至少部分空间重叠。跨图像形成射束372可去除地设置在射束分离器360与镜筒透镜334之间的发射滤波器364被配置成将来自光学激励样本302的荧光光信号朝着镜筒透镜334透射并阻挡照明光束340。适当地调整实施例300的光学系统以确保第二场小孔352的图像被中继到中间图像平面306。在一个实施例中，显微镜可包括库勒（Kohler）照明系统。然而，一般地，可适当地使用在相关技术中已知的其他照明系统。

沿着本发明的系统的光学链移动且进一步参考图2和3，谱器件212的实施例被配置成将在中间图像平面（诸如图像平面208或平面306）处形成的对象（诸如图3的对象302）的中间图像中继到位于多焦点光学件220前面的另一中间图像平面（诸如平面216）上。在本申请中将在别处讨论谱器件212的实施例。

多焦点光学部分

如下面所讨论的，本发明的系统的多焦点光学部分的实施例促进3D对象（例如，诸如一片病理组织）的图像获取所需的时间的减少并允许成像数据的同时获取，该成像数据表示一般地在与多焦点光学部分的不同光学通道相对应的多个图像平面处被成像的多个对象平面。

1）纯多焦点

现在参考图4来描述图2的系统的多焦点光学部分220的实施例400，将来自平面216的中间图像重新成像到在光学检测器224前面的目标图像平面上。

多焦点光学部分400的输入端装配有准直透镜404以通过优选为矩形的小孔406从第二中间图像平面216接收光，并将接收到的光作为准直射束408朝着一组转向反射镜元件透射。被表示为412A、412B、412C、412D、412E、412F、412G和412H的转向反射镜元件被适当地定位成一般地限定多个（如所示，四个）光学通道，并将输入准直射束408分离成相应数目的图像形成射束（如所示，四个射束421、422、423以及424），其每一个被沿着相应的光学通道指引。图像形成射束（如所示，射束422、423和424）中的至少一些被进一步朝着相应的调整透镜428、432、436透射。来自图像形成射束421、422、423和424的光进一步被最终成像透镜440接收，其在光学检测器224的平面处形成分别地对应于图像形成射束421、422、423和424的子图像（未示出）。

根据本发明的多焦点成像思想的实施方式允许在保持基于显微镜的成像系统的检测器、系统的光学件与在测试中的样本之间的空间固定合作的同时对多个对象平面进行成像。一般地，如果检测器相对于显微镜的光学件和样本在空间上是固定的，则检测器记录部分地由显微镜物镜的焦距限定的特定对象平面的2D光学图像。例如，图5A的实施例500（与图2的实施例200相比，其不具有多焦点谱部分220）被结构化成产生在图像数据获取时“在焦点上”的对象特定部分的图像。类似地形成由图5B的实施例550来形成图像（与图2的实施例200相比，其既不具有谱器件212也不具有多焦点光学部分220）。本发明的实施例还一般地被结构化成使得检测器的平面的位置相对于显微镜的光学件是固定的。因此，为了增强具有多焦点成像能力的实施例，并且进一步参考图2、3和4A，适当地将调整透镜428、432、436的光学特性选择成相互不同。结果，系统的单独成像通道（如所示，对应于图像形成射束421、422、423和424的通道，沿着其，光被从样本302通过透镜330、334和调整透镜朝着检测器224透射）对样本302的不同的层按照深度（depthwise）进行成像。在特定实施例中，将调整透镜428、432、436的焦距选择成确保分别地对应于成像射束421、422、423、424的光学链的有效焦距是不同的，并且不同的对象层被成像到相应的不同图像平面上。

进一步参考图5C和6的图且进一步参考图2、3和4A来举例说明本发明的多焦点成像的思想。图6的图描述了多个连续对象平面（分别地对应于被成像样本的多个层），其能够通过使用装配有图3的显微镜300和图4A的多焦点光学件400的图2的实施例200被同时地成像。例如，如果实施例400的调整透镜的有效焦距彼此相差t，并且如果物镜300具有场深DOF，则与缺少此类调整透镜的常规成像系统相比，将在其内部能够对样本进行成像的有效场深从DOF增强至D。共同地，四个成像通道因此适于对样本302的四个不同层604、608、612和616进行成像，其是样本的以t等距间隔开的深入层。例如，对于t＝2微米且DOF＝2微米而言，本发明的多焦点实施例的有效场深是D＝8微米。

进一步参考图4，多焦点光学部分400包括转向反射镜412A、412B、412C、412D、412E、412F、412G和412H及相应的调整透镜428、432、436。转向反射镜和调整透镜在空间上被相对于入射光束408的局部光轴444（其平行于图4的z轴）以螺旋和楼梯状方式布置，使得在图7中示出且分别地由光束421、422、423、424形成的子图像721A、722A、723A和724A在检测器224的平面中是相邻的。

可选地，如由用于反射镜412B的箭头410所示，在动力学上调整转向反射镜元件中的至少一些的空间取向。在一个实施例中，转向反射镜412A、412B、412C、412D、412E、412F、412G和412H中的一些是部分透明的（如由短划线所指示的），以根据期望的比率执行入射光束408的强度在图像形成射束之间的划分。

可重配置的视场

为了确保N个对象平面到单个检测器上的多焦点成像产生不重叠图像，将矩形小孔放置到光学路径中。此类小孔被适当地确定尺寸以透射对应于图3的物镜330的全FOV的1/N部分的光。例如，在适于同时地对分别地对应于透射光束421、422、423、424的光学链的N＝4个对象平面进行成像的图4的实施例中，将矩形小孔406的尺寸确定为构成透镜330的FOV的约25%。结果得到的图7所示的子图像721A、722A、723A和724A尺寸被确定为占据单个照相机芯片224的相应象限。

作为由本发明的多焦点成像系统的实施例提供的引申优点是系统高效地获取不规则形状ROI的图像的能力。特别地，不规则形状对象特征（尤其是大于所用成像系统的FOV的对象特征）到矩形检测器上的高效成像通常导致过度成像（当图像的一部分落在检测器外面时）或成像不足（当检测器的一部分记录背景且不记录ROI的图像时）。如图8A中所示，例如，用不拥有本申请中所述的多焦点成像能力的基于显微镜的常规系统进行的具有不规则边界816的ROI 810的成像导致形成图像820，其一部分820A被在ROI 810外面的背景占据。作为对比，用多焦点成像系统的实施例进行的感兴趣样本的成像允许在与成像通道的数目成比例地减小的FOV下连续地拍摄830A、830B。形成的图像共同在遵循不规则边界820A而不跨越它的同时覆盖ROI 810，如图8B中所示。因此，本发明的实施例在使不相关成像数据的获取最小化的同时促进获取表示不规则形状对象的全面成像数据的效率。

此外，由于本发明的多焦点成像系统的实施例的FOV与常规系统相比减小，所以显著地减少了荧光成像背景下的病理样品的光致漂白。实际上，荧光元件的高效光火花或样本的故意光致漂白局限于由对应于不同曝光的重叠FOV限定的小控制区（诸如用短划线示出的图8B的区域840）。这个事实可有利地用于多焦点光谱FRET，其中，可要求多次获取以测量能量随受体光致漂白的共振转移的效率。

应认识到能够通过对系统进行重配置以改变光学放大倍率而以较大FOV来执行用本发明的实施例进行的成像。例如，如果在100倍放大倍率下通过使用本发明的多焦点成像系统成像的对象场是1384平方微米，则在40倍放大倍率下，同一系统将对8652平方微米进行成像，并且在10倍放大倍率下，捕捉的对象面积增加至138445微米。替换地，能够使用较大传感器（例如，CCD或CMOS）或较大传感器与较大物镜（诸如立体显微镜/显微镜物镜）的组合来增加FOV的尺寸。

另外，进一步参考图2，本发明的实施例适于允许多焦点光学部分220的脱离（或绕过）以及从而中间图像从平面216直接到检测器224的平面上的重新成像。导致多焦点光学部分220的脱离或绕过的系统重配置包括两个步骤。在第一步骤处，限制FOV的小孔（例如，图4的小孔406）离开图像形成光束408的路径。在FOV限制小孔去除之后，协调保持图4的射束分离反射镜412B、412D和412H的组件以去除这些射束分离反射镜，从而保持单个光学路径（在图4的示例中，对应于沿着光轴444传播的射束）。在替换实施例中，在第一射束分离反射镜412A之前将辅助不透明反射器（例如反射镜或棱镜，未示出）插入射束408的光学路径中，以使射束408在射束分离光学件周围沿着单个光学路径改向。

作为此类有利重配置的结果，实施例适于作为被装配成以最大FOV来获取单个对象平面的图5A的常规成像系统或者作为被装配成以最大FOV的1/N部分同时地对N个对象平面中的每一个进行成像的多焦点成像系统进行操作。实施例的多焦点光学件部分220的脱离（导致图5A中示意性地示出的结构）经证明在如下文所讨论的利用谱器件212的多谱图像数据获取期间是有利的，当所需曝光时间明显长于谱器件的谱调谐的步幅（例如，干涉仪的步进速率）时。作为另一示例，可能期望当在非常高的分辨率下要求大FOV的成像时或者当手上的样本是薄的且能够通过对单个对象平面进行成像来高效地表示时将系统的多焦点光学件部分220脱离。

2）混合式多焦点

被配置成用于多焦点图像获取的本发明的上文所讨论的实施例被结构化成同时地对多个对象平面进行成像，并且作为结果，可操作用于在单次快照拍摄中通过病理样本（诸如生物组织的3D样本）的厚度非常高效地聚集分子探针数据，而没有用以穿过样本厚度区域的常规系统所需的机械移动。诸如应用于分离病理学（例如，以评估复用量子点（QD）FISH试验，诸如TMPRSS2:ERG插入试验）的那些之类的各种谱成像技术显著地受益于结果产生的成像循环的缩短。由于需要辨别3D空间中的探针局部化并以扩展的场深来捕捉图像，所述多焦点成像技术在常规明场ISH（原位混合）和发色试验的背景下也是相关的。所述多焦点成像技术能够通过例如使用被设计成用于RGB彩色成像的照相机（例如，诸如Bayer掩膜或3-CCD照相机）或者替换地通过采用在透射光路径或检测路径中使用红色、绿色和蓝色滤波器的顺序曝光或通过从超谱数据进行的红色、绿色和蓝色波长带的选择而适于彩色照相机图像获取。本发明的实施例与装配有轴向重新定位能力的常规自动化显微镜系统相比实施较少的机电和/或自动化部件。尽管如此，具有常规z步进装置的上述多焦点获取系统的组合具有甚至进一步增加在给定时间量中能够成像的对象平面的数目或者替换地减少图像获取时间的潜力。

相应地，本发明的相关实施例结合了常规轴向步进（z步进）装置，诸如可操作用于使显微镜的物镜相对于对象/样本前进或者替换地使样本相对于固定透镜移动的微型机动机。在这种情况下，甚至进一步增加能够在图像获取时间单元内进行成像的深入对象平面的数目。此“混合式”多焦点步进方法能够用来获取对象层的空间交织堆叠，以在对样本的整个厚度进行成像的同时实现较高轴向分辨率。替换地，这种混合式方法能够促进增加在给定数目的获取事件中能够成像的样本厚度的动态范围。在图9中示意性地图示出第一应用，同时在图10中描绘了第二应用。

如图9中所示，具有dz的轴向增量的常规步进与参考图6描述的多焦点成像系统的组合允许在物镜的两个连续z位置处收集多焦点成像数据，其表示在空间上交错的对象深入平面的各组A和B。在图3的物镜的第一位置处成像的组A的对象平面用实线示出，并且在图3的物镜330的第二位置处成像的组B的对象平面用短划线示出。在装配有轴向步进装置的常规显微镜300需要在物镜的两个dz间隔位置处获取对应于对象的两个深入层的光谱成像数据的时间窗中，用将同一显微镜与多焦点光学件400组合的特定“混合式”实施例来对八个不同的对象层进行成像。由混合式多焦点实施例在此时间窗期间成像的对象的总厚度基本上总计为D1。作为示例，在具有t＝2微米和dz＝1微米的特定实施例中，D1等于9微米。应认识到混合式多焦点步进图像获取系统促进能够用来通过样品的整个厚度对成堆的对象层进行成像的效率和轴向分辨率的增加。

替换地，当步进机动机的轴向增量从dz增加至Dz时，所述器件组合能够将对象的总成像深度从D1增加至D2。参考图10，在显微镜物镜的第一位置处对第一组单独对象平面（用实线示出）进行成像。在与第一位置相差Dz的物镜的第二位置（相对于对象）处对第二组单独对象平面（用短划线示出）进行成像。结果，在显微镜的物镜相对于对象的两个连续位置处，能够对对象的总深度D2进行成像。作为示例，在具有t＝2微米和Dz＝8微米的特定实施例中，D2等于16微米。因此，本发明的成像系统的混合式多焦点步进实施例能够用来有利地改善通过具有约几十微米（作为非限制性示例，30-50微米）的厚度的样本在数据获取时间单元内进行数据收集的效率，并且在这样做时，减少由于减少的曝光时间而引起的样本的总体光致漂白。可由被成像样本的光学透明度和物镜的工作距离来施加能够用所述混合式多焦点步进实施例来有利地成像的样本厚度的实际限制。由此类混合式获取系统提供的优点包括高效地识别感兴趣的3D样本特征的位置和样本的总体3D解剖结构的能力。此能力可证明在例如促进具有更大空间准确度和/或扩展聚焦范围的3D空间中的染色体上的遗传序列的局部化、染色质的相对分布的识别或者核子的3D形状的不规则形方面是有利的。

谱器件

为了获得谱分辨成像数据，本发明的实施例可采用各种策略。参考图1A、1B来描述一般谱选择器件，其包括干涉滤波器、色彩吸收滤波器、可调谐双折射液晶（LC）和具有交叉偏振元件的波板的组合、声光滤波器（AOF）、电光（EO）可调谐滤波器、诸如以反射或透射方式操作的衍射光栅之类的色散光学件、棱镜、二向色镜或多色反射镜，仅举几个例子。

在特定实施例中，图2的谱器件200能够适于包括（可选地可调谐）光学标准器或干涉仪，诸如（可选地可调谐）法布里-珀罗（Fabry-Perot）干涉仪、迈克耳孙（Michelson）干涉仪、萨尼亚克（Sagnac）干涉仪、菲索（Fizeau）干涉仪或吉莱-图努瓦（Gires-Tournois）干涉仪，其确保非常高的谱分辨率。还意外地根据经验发现被用作本发明的实施例的谱选择系统的干涉谱器件与另一谱滤波元件相比针对给定获取时间单元对于通过谱器件透射的每个波长而言提供较高的光吞吐量。参考图11A，作为本发明的系统的多焦点成像实施例的一部分的干涉谱器件引起已通过谱器件被透射到干涉条纹中的光的谱信息的编码，所述干涉条纹被叠加到由系统形成的多焦点图像上。干涉仪1110因此适于通过将包含在输送给检测器平面的图像形成光中的谱信息从频域转换到空间域而作为傅立叶变换器进行操作。通过分析最终图像中的干涉条纹的空间分布，因此可恢复图像形成光的谱分布。在图11B的实施例中，例如，谱器件1110包括设置在支撑体1114上的萨尼亚克干涉仪。如图11A中所示，支撑体1114可绕着轴1118旋转以确保能够使谱滤波器1110从整个系统脱离并用诸如简单反射镜1122之类的反射器来代替，例如通过支撑体1114的简单旋转，或者确保能够引入检测器平面上的最终图像中的干涉条纹。使用诸如萨尼亚克或迈克耳孙干涉仪之类的干涉仪作为在傅立叶变换光谱中采用的本发明的实施例中的谱器件的另一优点包括在低亮度级下（例如，如在荧光光谱法中）的信号数据的更高效收集。具体地，当获取复用测量结果而不是直接测量结果时（称为Felgett优点的效果），获得信噪比的改善。当使干涉谱器件1110从光学路径（图11A、11B中未示出）脱离时，能够通过使用不同的谱滤波器来确保多谱成像。

图像获取时间的减少

常规、连续图像获取系统的获取速率受到多个因素的限制，包括至少（i）谱选择器件的步进速率乘以给定谱带宽内的曝光次数（针对多谱成像）或曝光时间乘以曝光次数（针对单色成像）；（ii）z扫描单元的步进速率乘以在该处拍摄样本图像的物镜的z位置的所选数目；以及（iii）处理在不同对象平面处获取的谱图像所需的计算时间。如参考图3—5、6、7、9和10所讨论的，本发明的实施例促进常规显微镜系统的光学场深的增强，并且在没有特殊化仪表控制和/或系统的部件超过其中基于显微镜的常规成像系统能够捕捉单对象平面的图像的位置的移动的情况下对多个对象平面进行成像。结果，在图像获取时间单元内，与表示单个对象平面且用常规显微镜图像获取系统的相比，用本发明的多焦点实施例可获取表示不同深入对象平面的更大的成像数据量。换句话说，与能够每次对单个对象平面进行成像的常规、连续获取系统相比，用本发明的多焦点成像系统的实施例，花费较短的时间间隔来获取描述几个对象平面的图像数据。在图12中图示出此优点，其示出了装配有z步进机动机的常规、单对象平面成像系统收集表示位于对象内的不同深度处的四个对象平面的超谱数据所需的总获取时间的图表1210。为了比较，示出了图表1220，其表示装配有四个成像通道（参见图4）和干涉仪（参见图11）的本发明的多焦点系统获取相同成像数据所需的如所计算的时间。数据的谱分布定义多焦点系统的可调谐干涉仪的干涉步幅（曝光），其中，每个步幅花费约80ms。用常规系统进行的相同数据的获取每个对象平面花费超过100 sec秒。

进一步参考图8A、8B和12A，在图12B和12C中示出了通过使用本发明的多焦点成像系统实现的多谱图像获取的光致漂白减少效果。图12B图示出在缺少本发明的多焦点能力的常规系统的FOV内在约160秒曝光中获取DAPI着色前列腺组织样本的图像。在图12D中示意性地示出了描述此常规布置的草图。对应于图12B的样本的光致漂白程度被估计为约75%。作为对比，图12C的图像是通过在检测器的相应象限上在每个连续步骤中对上述FOV的约1/4进行成像而在四个连续步骤中用本发明的多焦点实施例获取的同一样本的图像。本示例举例说明了使用场照明路径中的小孔来使照明区域仅限于正在通过对焦点光学部分被成像的该较小区域。在图12E中示出了与此成像布置有关的示意图。应理解的是图12C的1/4 FOV子图像1、2、3和4中的每一个仅要求40秒曝光，从而将样本的光致漂白的总体程度减少至约18.75%。与场平面共轭的平面中的较小小孔的使用能够用来扩展照明的场深，使得增加用于激励的场深。通过减小用于入射的入射角（例如，经由减小相应的数值孔径），能够沿着射束轴实现均匀照明通量的较大深度。此考虑能够帮助确保通过用多焦点器件成像的深度的荧光基团的充分激励。

超谱多焦点图像数据获取和处理的特定示例

用与图2类似的实施例来执行生物样本的多谱成像，其包含图3的显微镜系统、包括诸如图11A、11B的萨尼亚克干涉仪的谱器件的实施例以及具有四个光学成像通道且根据图4的实施例布置的多焦点光学部分。因此，参考图2、3、4和7提出以下讨论。为了允许分别地将四个对象平面成像到单检测器224的四个象限上，场小孔406被以矩形定形且被定尺寸以透射由实施例的光学件提供的FOV的中央的25%。选择在表1中概括的转向反射镜412A、412B、412C、412D、412E、412F、412G和412H的光学特性，以确保通过多焦点光学部分的四个光学成像通道形成的子图像具有可比较的强度水平。

反射镜

412A

412B

412C

412D

412E

412F

412G

412H

T/R

¾

0

2/3

0

0

½

0

0

表1。

根据下式来适当地选择调整透镜428、432和436的焦距f_i

其中，d是具有有效焦距f₁的透镜440与具有有效焦距f_i的给定第i个焦点调整透镜的一部分之间的几何距离，并且F_i是对应于第i个光学通道的有效焦距。实施例的光学成像通道之间的有效焦距的差被计算成对应于物镜330的DOF的增量乘以物镜的放大倍率。例如，如果物镜中的DOF是2微米，并且光学通道的放大倍率是40倍，则CCD处的图像平面的目标移位是80微米。因此，在实践中，将调整透镜428、432和436中的一些适当地选择成具有负光学功率且一些具有正光学功率。结果，使得检测器224在相应的象限中记录子图像721A、722A、723A和724A，使得子图像中的一个表示所选对象平面，并且其余三个子图像表示位于所选对象平面下面2微米处以及在所选对象平面以上2和4微米处的对象平面。共同地，记录的子图像将对象空间中的深度的范围（沿着图3的z轴）拉长了约8微米。已发现定制的防反射（AR）镀膜透镜适于在40倍、NA＝0.75下成像（物镜330，2微米场深）。

图13A示出了在20倍放大倍率下的由其中已使干涉仪（被用作谱器件）脱离的本发明的成像系统的实施例的四个光学成像通道同时地形成的四个对象平面的四个多焦点子图像（A）、（B）、（C）和（D）。被成像对象包括被图案化为网格并安装在透明基板上以用于透射光显微术的薄金属箔。对应于每个图像的场深是2微米。参考图6的图，应认识到，共同地，图13A的四个图像表示8微米的对象空间深度。在此图像获取中，最佳焦点的平面被选择成对应于图像（A）。

作为通过如上文所讨论的本发明的多焦点谱成像干涉仪的完整实施例200（其包括作为谱器件220的萨尼亚克干涉仪1110两者）和多焦点光学部分400对同一薄金属箔网格对象进行成像的结果，检测器224记录图14的子图像（E）、（F）、（G）和（H）。图像（G）对应于基本上在焦点上的对象空间中的平面。图像（F）和（H）表示相对于图像（G）的对象平面以2和-2微米（分别地，在图像（G）的对象平面以上和以下）移位的对象平面。图像（E）表示位于对应于图像（G）的对象平面以上约4微米处的对象平面。作为通过使用萨尼亚克干涉仪将成像数据的谱含量变换到空间域的结果，如上文所讨论的，图14的子图像（E）、（F）、（G）和（H）中的每一个包含指示在光学路径中存在干涉仪的垂直干涉条纹1410。用适当编程的计算机处理器来分析干涉条纹1410的几何结构允许提取图14的图像的谱含量。应认识到的是诸如图14的那些之类的图像表示关于沿着所选方向在空间上分离并在所选波长下被成像的4个不同2D对象（即，4个对象平面）的信息的数据组。

本发明的实施例还用来在单次图像获取循环中获取超谱成像数据，其表示用Q点（QD）标记的3D前列腺组织样本的一系列深入平面，如图15中所示。为了执行组织标记或目标确定，常常用组织特定接合点将QD功能化以选择性地结合到组织的所选部分。例如，可使用QD作为用于使用荧光光谱来检测生物组织组成部分的无机荧光基团。在这里，使用QD作为组织分子的组成部分，其促使此分子以具体地识别组织组成部分的相应类型的方式来发荧光。通过检测手上的组织样本的QD特定荧光，能够进行关于组织的生物结构和/或组织的特定组成部分的位置的推论。

图16图示出如上文所讨论地获取的3D前列腺组织样本的不同深入平面的四个子图像（M）、（N）、（O）、（P），其中，例如在对象中的不同深度处辨别不同的对象特征，诸如与核子1620相关联的QD。用于每个图像的2微米场深对应于没有焦点的深入重叠的情况下的40倍NA＝0.75（物镜330）成像条件。

在其中不同的荧光基团（诸如QD的不同种类）共同定位的情况下，表示用荧光标记（诸如图16的那些）而标记的对象的不同平面的子图像还能够用来分辨共同定位的荧光基团的存在和贡献。图17例如图示出从已从指示对应于图16的FOV中的探针的共同定位的3×3像素区域中的标记接收到的光的光谱的平均值导出的总和（未处理）谱迹。光谱曲线1710的特征与对应于QD565、QD655和DAPI复染色的荧光的光谱峰值一致，从而指示谱信息已被成功地从最终图像的干涉图部分解码（例如，诸如图14的图像的干涉条纹1410）。在这里，在565 nm附近发射光的QD种类被标记为QD565，并且在655nm附近发射光的被标记为QD 655。

适于处理用本发明的系统的实施例获取的成像数据的本发明的计算机程序产品的实施例还能够用来促进（i）对应于被成像到检测器的同一像素上的不同标记（例如，诸如QD565和QD655）的数据的谱分离（或分解），以及（ii）分辨每个标记的存在及其对图像的贡献的相对量。能够使用本领域中已知的线性方法或者在特定实施例中使用在2011年5月6日提交的且题为“Method and System of Spectral Unmixing of Tissue Images”的共同所有且待决的美国临时申请号No.61/483,202中描述的非线性方法来执行谱分离，该临时申请的公开被通过引用结合到本文中。在本发明的系统的每个光学成像通道中获取的谱分离成像数据然后被用来形成表示样本的不同深度的相应子图像。能够独立地分析这些子图像，或者替换地或另外，能够在需要时适当地对这些子图像进行裁剪，并覆盖以形成最后的2D图像，其表示被投射到单个图像平面上的在所识别对象平面处采样的3D生物对象的图像。图18的示例示出了从表示图16的对象的3个不同对象平面（分别地对应于3个不同深度）的3个谱分离子图像的“覆盖”得到的此类最终图像。为了获得图16的图像，对在用本发明的实施例的干涉仪预定义的波长下获取的表示对象的四个平面（深度）之中的三个的一组成像数据进行如在本领域中已知的谱分离和覆盖。

附加特征

本发明的实施例提供了附加有利特征、特性以及能力，诸如，例如A）相对于物镜的焦平面被成像的多焦点体积的自动化轴向定位的启用；以及B）折射率失配条件下的图像获取期间的光学透视缩短的缓解。

自动聚焦能力。 在一个示例中，本发明的成像系统的多焦点实施例（即，包括诸如图4的部分400的多焦点光学部分两者的实施例）和机电z步进装置的使用能够用来在成像数据的获取期间执行自动聚焦（无论是通过使用谱器件作为系统的一部分，参见例如图2，还是在谱器件被脱离的情况下，如图5C中所示）。能够利用与自动化滤波器转台或发射滤光轮的组合来提供波长分辨自动聚焦能力。例如，进一步参考图5C、13A和13B，成对地比较对应于子图像（A）至（D）的成像数据组，其表示通过使用图5C的实施例而获取的网格标准元素的不同对象平面，以设计表示从一个子图像到另一个的模糊程度的变化的品质度量或因数。在一个实施例中，数据组的比较包括确定成像数据的逐像素差和创建对应于不同差图像数据组的差子图像。定义模糊程度的度量包括在此类差子图像的像素范围内求平均的强度值。例如，表2概括了表示分别地通过分别地对相应的成像数据组做减法而获得的差子图像（BA）＝( B ) - ( A )、（CB）＝（C）- ( B )以及（DC）＝（D）-（C）的数据。

做减法的子图像	(BC)=(B-A)	(CB)=(C)-(B)	(DC)=(D)-(C)
				遍及所有像素的强度值的总和（～度量1）	2,364,927	3,241,436	4,941,410
像素强度的平均值（～度量2）	8.1	11.1	17.0

表2。

应认识到对应于在位于物镜的焦平面中的同时被成像的对象平面的导出度量的值是所有所确定度量值之中最高的。在一个实施例中，能够由跨“差”子图像的所有像素的强度值的总和来定义该度量。在替换实施例中，将度量定义为像素强度的平均值。因此，基于导出度量值的变化，本发明的系统的处理器能够确定显微镜物镜相对于将被要求从物镜的当前位置到达已经以最小模糊（或散焦）量被成像的对象平面处的样本的移动方向。在图19中图示出对应于图13A、13B和表2的“最佳聚焦”方向的自动化确定的示例。在本示例中，为了将显微镜物镜放置在其在获取已被最佳地聚焦的对象平面的图像时所在的点处，物镜应在用由适当编程的处理器实时地确定的度量值的增加表征的此类方向上移动。

在相关实施例中，能够采用表征表示连续成像的对象平面的子图像的变化的替换地点，诸如，例如（i）确定由相邻像素定义的图像部分的对比度；（ii）谱分析；（iii）直方图分析；（iv）方差分析；（v）Brenner法；（vi）Range法；以及Mendelsohn/Mayall法，仅举几个例子。

用于本发明的成像系统的自动聚焦的方法的上述实施例能够与暗场或明场显微镜系统一起使用，其装配有适于自动地或手动地改变将显微镜物镜与被成像样本分离的距离的机动载物台（例如，适于自动地相对于物镜对为样本提供支撑的元件进行重新定位）。特别地，可执行工作距离的此类改变，以便使其中形成所选子图像的图像平面与光检测器的平面共同定位。在样本厚度变化的情况下或者当样本倾斜时，可使用自动聚焦能力来从多个对象平面中选择高焦点对比度的样本区域，并且通过处理相应的图像数据，选择性地将这些区域的图像“合并”成具有高对比度的一个连续图像。可使用自动聚焦能力来选择高对比度目标，已从已经以高对比度成像的对象平面选择谱特性（例如在可见光谱的绿色部分中发荧光的QD）。另外，能够通过将在定义光谱区域中具有高对比度的对象平面合并而将此能力用于补偿各种成像缺点，诸如，例如色像差。此类合并的一个示例包括在光谱的红色部分中具有高对比度的图像区域与在光谱的绿色区域中具有高对比度的那些的合并。

折射率匹配成像对比折射率失配成像。 本发明的系统和方法的实施例能够有利地用于在表征对象的有效折射率不同于（例如，高于）其给定显微镜物镜已被优化的用于成像的介质的折射率时准确地获取表示对象平面（位于对象内的不同深度处）的成像数据。应认识到被设计成在空气中操作的显微镜物镜意图用于在沿着z轴的单个位置处（例如，在对应于样本/盖玻片界面的位置处）的成像，并且当此类物镜被用于具有高于空气的折射率的样本的成像时，表示正在被成像的对象平面的轴向位置的测量结果是不准确的（并且油浸物镜的使用是优选的）。此误差是由入射介质（空气）与正在被成像的介质（样本）之间的折射率失配而引起的，并且随着样本内的此类ROI区域的位置的增加而在正在被成像的ROI的表观“伸展”中显现。

根据斯涅耳定律的应用和在图20、21A和21B中呈现的示意图很容易理解此像差。图20示出了设置在盖玻片下面并被用安装于以下介质中的油浸物镜来成像的目标荧光球形珠（具有约10.2微米的直径的荧光校准微球体）的三个图像：折射率匹配的油（1.51的折射率，图像A）；折射率失配的甘油（约1.42的折射率；图像A）；以及折射率失配的水（约1.3的折射率；图像C）。沿着轴向方向（z轴）的图像的表观像差（珠的图像形状与预期圆形形状的偏差）随折射率失配的增加而增加。同样地，并且参考图21A和21B，在使用被设计成用于在空气中进行成像的物镜来对组织样品（具有大于空气的折射率的折射率）进行成像的情况下，样本的被成像特征随着正被成像的对象平面深度的增加而逐渐地在光学上透视缩短（在图像中被压缩）。图21A和21B以侧视图示意性地图示出分别地在折射率匹配和折射率失配条件下的90度玻璃（n～1.51）反射棱镜元件（用线2110来表示其边界）的成像。用在样本之上的盖玻片上浸没在油（n～1.51）中的油浸透镜（2112、40倍、NA＝1.2）来执行折射率匹配条件下的成像。另一方面，用被设计成用于空气中的成像的透镜2114来在空气（20倍、NA＝0.7）中执行折射率失配条件下的成像。按照惯例，在这样的假设下执行表示已通过使用显微镜物镜的z步进重新定位来成像的不同对象平面的所获取成像数据的重构，所述假设即连续图像对象平面之间的分离与物镜的连续位置之间的分离相同。换言之，在这样的假设下执行常规数据处理，所述假设即与成像相关联的几何路径与光学路径相同。然而，此假设实际上局限于折射率匹配条件（参见图21A）。当通过折射率失配来改变光学路径时，例如，诸如在图21中所示的情况下，其中入射介质（空气）和正在被成像（玻璃棱镜）的折射率是基本上不同的，z步进引起重构图像数据的维度失真。在图21B中用以下各项来指示在折射率失配成像条件下结果得到的像差：（i）表示棱镜元件的图像边界的线2120与棱镜元件本身的边界2110的偏差，在图21B中用短划线示出；以及（ii）棱镜的图像的顶角（～119度）与棱镜本身的顶角（90度）相比的改变。如图21B中所示，被成像棱镜（用边界2120来指示）看起来在扫描（z轴）方向上“被压缩”。测量误差的值取决于成像的深度和样本的折射率两者，其显著地使成像过程的校准复杂化。由图21B示出的测量误差被确定为成像深度的约38%（如从盖玻片/样本界面计算的距离B）。

图22A提供了由折射率失配条件下的3D样本的成像引起的像差（重构图像的光学透视缩短）的附加图示。应认识到空气浸没成像对于病理样品的谱成像而言是优选的，因为其提供较高场深、较大FOV以及盖玻片/样本搬运的容易性。包括多焦点光学部分的本发明的实施例的使用缓解了上文所讨论的测量误差，因为表示显微镜物镜的轴向定位（沿着z轴）的变化的数据是在图像空间中而不是在对象空间中导出的。当使用根据本发明的多焦点成像时，图像平面与对应于这些平面的图像数据之间的分离受相同的光学路径像差支配。结果，在图像重构过程期间，这些共同像差相等地偏移，如在图22B中示意性地示出的。

本发明的多焦点成像系统和方法的上述像差补偿能力可对确定组织中的病理条件有用，因为此类能力促进3D空间中的相对距离的更准确测量。另外，由于系统的多焦点光学部分不受显微镜物镜的机电定位的误差支配，所以例如在与当前在光谱FISH图像获取中所采用的常规成像系统相比，对象平面的相对位置固有地在折射率失配条件下更加精确。

本发明的所述实施例的实际应用的示例中的一个包括在福尔马林固定的石蜡包埋组织上以扩展场深进行的病理学确定的启用。由于实施例同时地获取多个焦平面的独有能力，可以实时地产生亮ISH中的扩展场深图像或者单或双通道荧光或多模明场呈现的背景可视化（‘伪明场’）。可以从而增强感知组织的能力和没有散焦模糊的情况下的信号检测的方式来实现图像的快速去模糊或扩展场深处理。这确保相比于通过目镜直接可见的或用常规流CCD照相机实时显示的结果而言较高质量的实验结果。通过使用本发明的系统来实现多谱成像的方法的实施例节省时间开销（按照惯例与将逐步光谱获取重复多次相关联，每次在不同的焦平面处），如参考图12A、12B、12C所讨论的。此类改善在其中用于多焦点获取的曝光时间在持续时间方面比对应于光谱获取步进速率或照相机读出速率的相比较短的条件下是特别相关的。

虽然参考特定实施例的示例描述了本发明，但本领域的技术人员将理解的是在不脱离本文公开的发明概念的情况下，可进行所示实施例的修改和变更。例如，虽然已经参考流程图描述了本发明的方法的一些方面，但本领域的技术人员很容易认识到可以将流程图的每个方框或方框组合的全部或一部分的功能、操作、判定等组合、分离成单独操作或按其他顺序执行。

此外，虽然结合各种说明性数据结构描述了实施例，但本领域的技术人员将认识到可使用多种数据结构来具体实施该系统。虽然已叙述了针对本发明的实施例所选的特定值，但应理解的是在本发明的范围内，所有参数的值可在宽范围内改变以适应不同的应用。例如，图2的实施例200的多焦点光学部分220的替换实施方式可包括金字塔状成形的反射镜和/或棱镜元件；用以执行多个光学图像形成通道的光学射束分离可包括基于偏振和/或基于波长的射束划分和分离。能够使用多个检测器（作为图2的元件224）来增加FOV、读出带宽，或者使得能够实现促进高速成像数据获取的复杂射束分离方案。在图23中示出了根据本发明的成像系统的多焦点光学件和光学检测器部分的特定替换实施例2300。与图2的实施例200相比，实施例2300被配置成例如从诸如器件220之类的谱器件接收光2304。光束2304穿过棱镜2308，并且在棱镜2308的小平面2312处被进一步划分，该小平面可选地涂有薄膜涂层2316，其促进反射射束2320和通过小平面2312透射的射束2324的强度的预定比率。反射射束2320还经历在棱镜2308的另一小平面上的全内反射（TIR）并通过侧面小平面2328朝着检测器2332离开。输入射束2304的透射部分2324进入另一棱镜2336，其沿着界面2344（可选地涂有薄膜涂层2348）邻接第三棱镜2340，并且在界面2344处的部分反射和棱镜2336的界面2352处的TIR之后朝着检测器2356离开。射束的其余部分2360穿过棱镜2340并进一步被检测器2364记录。分别地与检测器2332、2356和2364相关联的调整透镜2368、2372和2376适于执行与图2的实施例的调整透镜428、432和436的那些类似的功能。在一个实施方式中，射束分离界面2312/2352和相应的涂层2316被配置成确保射束2320和2324的强度比约为33/67；并且射束分离界面2344和相应的涂层2348被适当地配置成确保界面2344处的射束分离约为50/50。

此外，可以以上文未列出的方式将公开的方面或这些方面的各部分组合。因此，不应将本发明视为局限于公开的实施例。

Claims (15)

1.一种光学成像系统，包括：

输入端，被配置成从具有体积的对象接收光；

谱选择光学系统，与输入端进行光学通信并被配置成通过空间不同的光学通道透射接收到的光；以及

光检测器，适于接收已穿过所述空间不同的光学通道的光，

其中，所述空间不同的光学通道的有效光学功率相互不同，以及

其中，已穿过所述空间不同的光学通道的光用定义对象体积的不同对象平面的相邻图像来填充光检测器的小孔。

2.根据权利要求1所述的系统，其中，所述谱选择光学系统被配置成在谱等距波长下透射光。

3.根据权利要求1所述的系统，其中，所述谱选择光学系统包括适于产生包含所述接收到的光的空间编码谱的输出的器件。

4.根据权利要求1所述的系统，其中，空间不同的光学通道包括射束转向反射器。

5.根据权利要求1所述的系统，其中，所述输入端包括显微镜，该显微镜装配有适于支撑对象的显微镜载物台和适于改变将显微镜载物台与显微镜物镜分离的距离的定位器。

6.根据权利要求5所述的系统，其中所述显微镜被配置成将所述对象成像到第一平面。

7.根据权利要求1所述的系统，其中，所述谱选择光学系统包括傅立叶变换（FT）器件，该傅立叶变换（FT）器件适于产生与从所述对象接收到的所述光的FT相对应的光分布，所述光分布包含接收到的光的空间编码谱含量。

8.根据权利要求7所述的系统，其中所述傅立叶变换（FT）器件具有输入端和输出端并适于在输入端处接收在第一平面处由显微镜形成的第一图像，并在输出端处产生与第一图像的FT相对应的光分布，所述光分布包含在第一平面处由显微镜形成的第一图像的空间编码谱含量。

9.根据权利要求7所述的系统，其中，所述FT器件包括干涉仪。

10.根据权利要求1所述的系统，其中，所述空间不同的光学通道包括射束分离器（BS）器件，该射束分离器（BS）器件适于将从谱选择光学系统接收到的光分布重新成像到图像平面上，从而形成表示位于对象内的不同深度处的对象的各层的多个图像。

11.根据权利要求10所述的系统，其中所述射束分离器（BS）器件与FT器件进行光学通信，该BS器件具有输入光轴，并包括分别对应于所述图像平面的多个光学通道，来自所述多个光学通道中的每个光学通道适于将所述光分布重新成像到相应的图像平面上，从而形成表示位于对象内的相应深度处的对象的相应层的相应图像。

12.根据权利要求11所述的系统，其中，所述BS器件包括相对于BS器件的输入光轴以螺旋和楼梯状关系设置的可调整反射镜。

13.根据权利要求11所述的系统，其中，表示来自所述多个图像的对象的相应层的所述图像的一部分表示对象的所述相应层的几何编码谱含量。

14.根据权利要求5所述的系统，其中所述光检测器被配置成检测表示位于对象内的不同深度处的对象的各层的图像，并且其中，当所述对象位于显微镜载物台处时，定位器的激活促使对应于所述空间不同的光学通道的图像平面中的至少一个与所述光检测器的平面重合。

15.一种用于用具有输入端的光学系统对样本进行成像的方法，该方法包括：

沿着输入端的光轴接收与所述样本相关联且具有第一谱分布的光；

在空间上使接收到的光改向到光学通道中，每个光学通道具有相应的有效光学功率；

用光检测器来检测已通过每个光学通道被透射的光，从而用分别对应于光学通道的所述样本的多个基本上不重叠的图像来填充光检测器的小孔，其中，每个光学通道被配置成透射具有第一谱分布的光，以及其中，不同的光学通道具有不同的有效光学功率；以及

用光学滤波器系统对所述接收到的光进行谱滤波，从而形成定义多个谱带宽的谱滤波光，其中，沿着空间上不同的光学路径形成所述多个谱带宽的不同谱带宽中的谱滤波光。