CN102667473B - 用于组织的增强的病理学测定和多分析物检测的多模态对比和明场背景再现 - Google Patents

Abstract

可将多模态对比用于产生图像，可组合和再现所述图像以产生与在透射白光照明下观察到的利用波长吸收染色产生的图像相似的图像。可使用所设计的着色方案基于用于显现相同解剖学结构和组织化学的典型对比法来呈现利用其它互补对比模态获得的图像，从而提供与医疗训练和经验的相关性。将源自折射率的暗场对比图像和荧光DAPI复染色图像组合以产生与利用常规H&E染色获得的图像相似的图像，以进行病理学解释。可流式传输这样的多模态图像数据以进行组织学样品的现场导航，并且可将其与基因DNA探针的分子定位(FISH)、mRNA表达的位置(mRNA-ISH)和定位在相同组织切片上的免疫组织化学(IHC)探针组合，用于评估和映射制备用于质谱成像的组织切片。

Description

用于组织的增强的病理学测定和多分析物检测的多模态对比和明场背景再现

相关申请的交叉参考

本申请要求保护2009年10月12日提交的美国临时申请No.61,250,809和2009年10月13日提交的美国临时申请No.61/278,936的权益，通过参考将所述申请整体并入此处。

技术领域

本公开内容涉及提供组织切片的对比以进行病理学测定的方法。

背景技术

可将常规组织学染色的组织切片的显微镜临床检查用于评估诊断意义的形态学模式和组织结构。熟练医生可观察这样的组织学染色的组织切片来进行诊断以及设计和评估治疗。由使用典型染色的这样的图像提供的结构的对比是熟悉的，并且允许医生致力于解释解剖学和形态学组织切片的特征和异常，而不是试图说明染色方法如何显现与她的医疗训练和经验相关的特征。

正在开发有希望增强可由医生获得的关于有价值的活组织检查材料和存档组织样品的相关诊断信息的附加组织成像技术。例如，荧光显微镜检查法可用于检测专门的分子标记，但基于荧光的图像通常缺乏在利用苏木精和伊红(H&E)染色和使用明场显微镜观察的组织中发现的熟悉的结构和解剖学背景信息。

虽然基于荧光的图像提供了用于确认和表征疾病状态的有用的分子信息，但常规组织学染色切片仍然是对组织的病理学测定所必需的。通常，必须制备和评估通过样品的连续组织切片。一般而言，连续的切片包括常规H&E染色的切片和针对诊断分子标记的（一个或多个）专门染色的切片。比较连续切片不仅仅增加了评估所必需的费用和时间，其可能难以或不可能使在一个切片中发现的特征与在另一个切片中发现的特征发生关联。连续切片也可在染色过程流水线中丢失或被破坏。

发明内容

本文中描述的技术提供了方法和设备，所述方法和设备使用多模态对比来产生以与医生训练和经验相关的方式分割和显示的互补对比分量以进行病理学分析。此类互补对比模态可被流式传输以显示允许组织结构的导航、聚焦和放大率的改变。组织切片可包含一种或多种耙向感兴趣的特定分子或化学物质的探针。提供了可与利用常规颜色吸收组织学染色（例如苏木精和伊红染色（在下文中称为“H&E”））产生的对比相比较的组织结构的颜色对比。通过一种或多种公开的方法产生的图像还可包括使用附加标记以及光学或化学对比模态显现的特征。通常，不同组织切片之间有差别的标记的特征的关系变得不是必需的。将图像呈现于数字化再现的彩色明场背景中以提供可与在常规组织学载片(所述载片已被染色以显现相同结构特征)中产生的图像外观相比较的图像外观。

在多模态对比的一些公开的实例中，对比是从就特定分子的标记专门制备的组织的荧光标记和折射率性质得到的。这些实例表明透射光暗场折射对比成像与细胞核复染色的同时入射光荧光成像的互补组合，以及多重分子探针的询问。同时(并行地)或相继地(连续地)获得对应的相关图像。在一些实例中，可严格控制用于在未染色或染色的组织上产生对比的照明波长和检测波长以促进明确的分割和防止干扰多重探针。可将用于蛋白质抗原、mRNA表达或DNA的基因重排的分子特定探针定位重叠在样品结构上。该对比与因通过使用特定的组织学处理保存和解析的组织结构而引起的折射率的变化相关联。在典型的实例中，公开的方法提供了基于与荧光复染色组合的组织部分（moieties）的折射率变化的图像对比以提供分子特定多重探针的彩色病理学背景。实例包括福尔马林固定的、石蜡包埋的组织和冷冻组织。折射率对比可直接从探针部分和组织的折射或散射特性得到，或从相移的幅度或相移梯度的改变率得到。

一些公开的方法包括将荧光染色的样品暴露于所选的激励光束以通过荧光染色产生荧光，以及产生对应的荧光图像。还将相同的样品暴露于高NA环状暗场照明，并且产生代表折射率和光散射部分的变化的对应的暗场图像。在一些实例中，同时应用荧光激励光束暴露和暗场折射照明场暴露，并且并行地获得互补图像。在其它实例中，连续记录荧光图像和暗场折射对比图像。根据实例的成像设备包括被配置用于产生透射暗场照明场和入射照明荧光激发光学系统的多模态光学系统。这些子系统被配置用于产生可被组合用于相关分析的多个互补图像：基于制备的组织的性质的折射对比图像、细胞核复染色的荧光图像和多个代表可被发射波长分割的各种分子标记的荧光图像。耦合至少一个图像捕获装置以接收暗场和荧光图像，并且图像处理器被配置为记录和处理暗场图像和荧光图像，并产生组合图像。

计算机可读存储介质包括计算机可执行指令，其用于接收与对比(其与制备用于病理学检查的样品切片的共同部分相关联)的多个模态相关联的图像，和重叠对比的多个模态以产生组合图像。

在一些实例中，图像处理器被配置为产生基于记录的折射对比暗场图像和荧光图像的组合图像的伪彩色明场再现。将荧光图像和暗场折射图像单独地着色、组合和反转(inverted)以在具有与常规染色相关的对比的明显的明场背景中产生组合彩色图像。将有利于直接医生解释的特定彩色映射应用于折射对比图像、荧光细胞核复染色和特定的荧光探针。随后将这些图像组合以产生在明场再现中的组合彩色记录的图像。在一些实例中，彩色映射基于与至少一种颜色吸收组织学染色例如伊红染色相关联的用于病理学测定的优选颜色的人感觉的定量测量。在其它实例中，将颜色查找表应用于荧光图像，其中彩色映射与至少一种对比颜色-吸收组织学染色例如苏木精染色相关联。在一些实例中，将颜色查找表应用于暗场折射图像和荧光复染色图像，以产生图像，所述图像具有与在理想的苏木精和伊红染色中遇到的那些相比较而言反转的与互补的色调相关联的对比、反转的值和反转的饱和度。在其它实例中，制备光学成像的样品以使用质谱法进一步成像来提供分子映射(mapping)。

在下面参考附图描述公开的技术的这些和其它特征及方面。

附图说明

图1为提供折射对比暗场和基于荧光的图像二者的代表性成像系统的示意图。

图2为处理和组合记录的暗场和基于荧光染色的图像的方法的示意性方块图。

图3为用于从对比的多个模态产生样品图像的代表性方法的示意性方块图，其中对比对应于利用苏木精和伊红(H&E)染色的病理学测定中使用的对比。

图4A为人前列腺切片的代表性常规H&E染色的图像。

图4B为基于暗场折射图像与在明场背景中再现的荧光复染色图像的组合的人前列腺切片的多模态对比图像。

图5A-5B为利用单色CCD，使用干涉滤光片选择蓝色DAPI荧光波长(图5A)或更长的波长传输的暗场波长(图5B)进行连续曝光而记录的双照明多模态对比(折射对比和荧光)图像。

图5C为通过将伪彩色的反转颜色查找表应用于图5A-5B的图像和添加反转颜色图像获得的伪彩色图像。

图5D为在映射的颜色空间的反转之后对应于图5C的图像的图像的伪彩色的明场再现。

图6为通过将量子点荧光探针的定位与来自DAPI复染色的福尔马林固定的石蜡包埋的样品(也针对折射对比成像)的565nm和655nm的峰值发射波长重叠的明场背景再现图像。

图7包括用于明场背景显示的多模态成像的其它实例图像。获得暗场折射对比图像和DAPI复染色的扁桃体切片的DAPI荧光图像，将上述图像重叠，并且将它们再现为图7(1a-3a)中示出的彩色明场图像。将蛋白质特定免疫探针(使用具有565nm(对于CD20抗原)和655nm(对于Ki67抗原)处的峰发射的量子点被定位在荧光中)应用于DAPI复染色的扁桃体切片来产生对应的基于免疫探针荧光的图像。将探针图像重叠在图7(1b-3b)中示出的对比伪彩色(红色和绿色)中。图7(1c-3c)示出图7(1a-3a)和图7(1b-3b)组合后的图像。

图8A-8B为其中获得模拟的明场组织学图像的附加代表性图像和使用备选方法组合的荧光探针图像。图8A为对使用具有565nm和655nm发射波长的QDot探针的来自DAPI复染色的福尔马林固定的石蜡包埋的样品的多模态伪明场图像的加性重叠。图8B为其中从影印H&E再现的图像减去伪彩色探针图像的减性(subtractive)重叠。

图9举例说明用于将H&E的偏好颜色特性映射至折射对比和DAPI荧光以在明场中再现而用于病理学测定的CIEL*a*b*颜色空间的实例。

图10A-10B分别为灰度级折射率对比和DAPI荧光对比图像。图10C-10D分别为基于图10A-10B的图像的CIEL*a*b*伪彩色伊红-转换的和苏木精-转换的图像。图10E为通过组合图10C-10D的经过转换的图像获得的合并图像。

图11为使用单个CCD照相机同时产生并排的折射暗场图像和基于荧光的图像的光学系统的示意图。

图12包括同时获取和显示的相同组织切片的并排的折射率(暗场)图像(A)和DAPI图像(B)。

图13包括基于图12的并排图像的双色明场再现的重叠图像(利用伪彩色和图像反转)。应注意，该图像相对于图12的图像发生旋转。

图14A-14B为制备用于沉积质谱成像标签的低温切片的小鼠肾组织样品的图像。对比由组织边缘处的折射和组织自发荧光(蓝色)产生。

图15A-15B为制备用于通过离子化基质的沉积进行的质谱成像的小鼠肾组织样品的图像。自发荧光看起来为蓝色并且与离子化基质晶体相关联的折射率对比是明显的。

图16为举例说明用于本文中描述的设备和方法的计算环境的示意图。

图17为多模态图像，其提供了在明场中再现的对于两个探针(一个针对核糖体RNA(青色，虚线黑色箭头)，另一个针对HER2mRNA表达(黑色，实线黑色箭头))的mRNA原位杂交探测的Calu-3异种移植物的细胞和细胞核背景。

图18为使用双模态对比成像的并且以20x放大率在明场背景中呈现的用于病理学测定的前列腺癌的代表性图像。前列腺癌的突出的核仁和不规则的生长模式特性非常明显。

图19为使用组合折射对比与荧光细胞核复染色并且在明场背景中再现的相同的同时双模态方法以40x放大率成像的相同区域的一部分。

具体实施方式

如本申请和权利要求中所使用的，除非上下文另外明确地指出，否则单数形式“一”、一个、和“所指物”包括复数形式。此外，术语“包括”意指“包含”。

本文中描述的系统、设备和方法不应当被解释为以任何方式限制。作为代替，本公开内容针对各种公开的实施例的所有新颖的和非明显的特征和方面(单独地和以各种组合以及彼此的子组合)。所公开的系统、方法和设备不限于任何特定方面或特征或其组合，公开的系统、方法和设备也不需要存在任何一种或多种特定的有利方面或问题得到解决。

虽然为了方便陈述以特定的相继顺序描述了一些公开的方法的操作，但应当理解，除非下文中所阐述的特定语言需要特定的排序，否则该描述方式包括重排。例如，可在某些情况下重排或同时执行按顺序描述的操作。此外，为了简单起见，附图可能不示出其中可将公开的系统、方法和设备与其它系统、方法和设备结合使用的各种方式。此外，描述有时使用术语如“产生”和“提供”来描述公开的方法。这些术语是所执行的实际操作的高水平抽象概括。对应于这些术语的实际操作将根据具体的实现而变化，并且可由本领域普通技术人员中的一个容易地辨别。

为了更好地理解，提供了在本文中参考本公开内容的设备或方法给出的操作、科学原理的理论或其它理论描述，并且其无意在范围上进行限制。所附权利要求中的设备和方法不限于以通过这类操作理论描述的方式起作用的那些设备和方法。

引言

组织的互补对比产生的多个模态可允许在对于受过训练的医生来说熟悉的明场背景中呈现的解剖学和形态学组织背景的可视化，以及在组织化学中针对特定分子或变异的探针定位。多模态对比可利用(leverage)多个光-组织以及探针检测相互作用，只要所提供的信息是互补的。制备用于病理学检查的组织具有构成的光学活性并且可最优化由特定协议产生的光学性质以便当与适当的成像仪器组合时产生有用的对比性质。

可通过被设计制造到关于福尔马林固定的石蜡包埋的以及冷冻的组织的特定组织制备方案(例如在自动化染色协议中使用的制备方案)中的或在所述制备方案被保存的具有光学活性的组分提供用于非荧光结构的图像对比。可数字化记录该增强的光学活性，并且将其以人工明场对比再现以使结构例如细胞外基质、核仁和细胞膜可视化并突出显示所述结构。可将此类可视化能力用于诊断组织的病理学状况的形态学特征和异常生长模式。可连续地或并行地记录制备的组织的化学性质或活性或光学的多个模态，并且将其数字化转换成用于可视化的明场图像对比，并且在本文中称为“伪明场”。

代表性的成像结构具有病理学重要性并且可被医生用于组织筛选和用于癌前和癌症疾病状态的诊断，以及用于其它诊断目的，和用于评估治疗效果。在未染色的或专门染色的组织切片中，可在单模对比法例如常规透射光明场或荧光检测下使此类形态学结构和解剖学背景实际不可视。互补多模态成像法可产生医学上相关的结构信息并且以可容易解释的形式呈现该信息而无需使用常规光吸收染色。可基于使用一组或多组由一种或多种计算机可读存储介质提供的计算机可执行指令来测量和记录定量值。可利用形态学度量来使此类形态学特性与相同组织中包含的分子信息相关；该方法可帮助不断努力地将疾病状况和预兆分级以及监控治疗功效。可同时捕获组织切片的数字多模态图像并且对于互补特征分量使用不同的颜色来再现，且流式传输所述图像，或另外将其存储或递送以通过病理学家或其它临床医生进行几乎实时检查。此类方法促进基于高度复杂性组织的诊断学发展和允许利用医生有关常规组织学染色的医疗培训和经验。可整合针对个别组织切片的分子数据，包括来自免疫组织化学、DNA杂交、mRNA杂交探针、外源凝集素和质谱及其它分析的数据，并且以对于实践病理学家来说是熟悉和适当的形式快速报告。

本文中提供的实例利用多模态成像策略，所述策略利用双重照明路径(以提供具有蛋白质结构和DNA复染色的互补对比的图像)以及用于医学诊断和评估的分子特定标记。该实例方法包括暗场折射和荧光对比的组合；使用根据医生对典型组织学染色性质的偏好得到的专门的颜色表来数字化地再现这些互补对比模态。通过利用这样的组合，可提供与在使用典型组织学方法例如苏木精和伊红(H&E)染色而染色的样品中获得的那些相似的组织样品的多色对比。可通过使用蛋白质、脂质或碳水化合物抗原、mRNA或DNA的发光、荧光、散射或吸收探针，用于电荷性质或质谱成像(IMS)的探针，将此类图像用于显现感兴趣的区域以进行进一步分子分析。本文中举例说明的多模态对比照明对比方案可以以与用于常规组织学方法的普通染色/复染色组合一致的方式提供组织切片的背景信息。为方便起见，被引导向样品以获得图像的光学辐射光束在本文中被称为激励光束。在一些实例中，激励光束被选择用于在样品的一个或多个部分产生荧光，并且可以处于或可以不处于可见波长。其它激励光束包括处于可见波长以进行直接观察的照明光束。激励光束还可基于其它类型的辐射，包括在其它波长范围内以及带电粒子束或声束。

在一些实例中，此类方法和设备已被用于福尔马林固定的石蜡包埋的组织中的荧光原位杂交(FISH)、免疫组织化学(IHC)、和mRNA原位杂交(mRNA-ISH)应用。通过使用用于在组织解剖学结构背景中使探针定位可视的多模态对比和数字伪明场再现，在组织上专门地检测到量子点(QDot)-标记的FISH探针、QDot标记的IHC探针和QDot标记的mRNA-ISH探针。在典型的实例中，组合暗场折射对比图像、利用荧光细胞核染色获得的复染色的图像以及使用荧光QDot检测成像的一种或多种探针。下面描述这些和其它实例。

代表性的成像系统

在图1中举例说明了适当的成像系统100的代表性实例。荧光激励光源102被放置为将激励光束103沿着轴105递送至与波长相关的分束器（分色器（dichroic））104。光源102通常是发光二极管(LED)，金属卤化物或其它弧光灯，但可使用其它不相干或相干光源例如激光器。如图1中所示，分色器104将激励光束103反射至物镜106，所述物镜106转而将激励光束103引导至样品108。在典型的实例中，用一种或多种响应于激励光束103而产生荧光的荧光团来选择性地标记样品108。一部分荧光被物镜106收集并且沿着轴113通过分色器104引导至可选的分束器110。分束器110将一部分荧光引导至照相机112以便可在计算机系统130处记录、观察或分析样品图像。另一部分荧光被引导至目镜114以基于荧光直接观察样品108。此外，可提供快门(shutter)132或其它光束调制器以大体上阻止激励光束103到达样品108，或者可以控制(通过计算机系统130或手动地)荧光源以便无激励光束产生。可按方便选择用于激励光束的光的波长。通常，激励光束包括在适合用于在与应用于样品的任何选择性标记关联的荧光染料或荧光团中产生荧光的波长上或波长范围内的主要光学辐射。激励光束的典型波长范围为约300-550nm之间，但可使用更短的或更长的波长。

除了荧光成像系统外，提供了使用环状倾斜暗场照明的折射对比成像系统。在图1的实例中，选择环状倾斜场照明117以便在折射率差异或散射部分在样品中不存在的情况下，光通量不到达CCD照相机112或目镜114，并且只有折射率转变（transition）出现。通过使用具有相同数值孔径的(接受角)的不同放大率的物镜或通过使用次级放大透镜，可以以多个光学放大率使用用于折射成像的相同照明最优化。存在多个基于照明场的折射或散射产生对比的策略。此类折射率对比图像在本文中称为“暗场”图像。这样放置台下聚光器系统以将倾斜场照明117递送至位于与由激励光束103照明的位置大体上相同的位置处的样品108。台下聚光器系统116可引导适当的光源例如LED、卤钨灯、弧光灯或其它光源以及一个或多个可产生适当光束的透镜、镜子、滤光片、偏振元件、相位板、棱镜、环状物或孔径。在图1的实例中，倾斜场照明117通过仔细调整大小的环状物产生，但在其它实例中，可提供用于场照明或点扫描、线扫描、边缘照明或经设计以用产生折射对比的其它策略的不同方法。在图1的实例中，提供所谓的“暗场”照明，其中只有被样品108散射或重定向的部分场照明被物镜106的数值孔径收集并且到达照相机112或目镜114。这样放置照相机112和目镜114以便基于透射光的重定向部分形成样品108的图像。一般地，可关闭透射照明系统117或需要时使其光源无效，以便可以不依赖于透射照明地观察或获取基于荧光的图像。图1的实例显微镜系统130从而允许同时或相继地记录样品图像和基于荧光、暗场折射对比或两者观察样品。

通过使用透射环状倾斜照明(例如图1中举例说明的)，可基于具有不同折射率的样品部分之间的界面和过渡产生对比。一般地，聚光器系统116在配备有透射光源的复式显微镜的透射光路径中包括适当大小的环状部118(并且可被添加至常规聚光器)。这样，折射和散射光的结构在图像中具有可感知的对比而无需使用光吸收彩色染色。可利用例如近红外滤光片或其它滤光片或滤光片的组合对透射照明波长进行光谱过滤，以便可在两种照明源同时活动的情况下利用在相同数据获取中在更长的波长下收集的透射对比获得荧光探针的光谱图像。通常选择折射场照明来为记录提供适当的可视图像，并且所述折射场照明在约400nm和900nm之间的波长范围内，但如果需要可使用在该范围内的不同光谱区域。在其它实例中，使用折射暗场照明，其中将倾斜照明和物镜置于样品的同侧。

样品暗场图像可通过其自身利用一个或多个滤光片分割荧光、关闭或暂时调制或以其他方式阻断激励光束来获得。在一些实例中，基于荧光的图像可利用被调谐至荧光波长的适当滤光片和被过滤至不同波长范围的折射对比来获得；可将这些不同波长范围分离至不同的传感器，引导至相同传感器的不同部分或相继地被记录。可通过光谱过滤减少暗场照明至一个或多个荧光图像或反过来的不期望的贡献，但关闭暗场照明场或荧光光路径是可能的。此外，可分别或同时观察暗场和荧光图像。

照相机112通常是单色电荷耦合元件(CCD)或互补型金属氧化物半导体(CMOS)照相机，然而可使用其它图像传感器例如电子倍增CCD(EMCCD)和增强型CCD(ICCD)传感器。可使用波长滤光片、色散元件、相位板、棱镜、偏振元件、可调谐光学晶体以及其它光学和电子光学法来改变到达CCD和/或目镜的光学辐射以便产生一个或多个在所选波长范围内的对应单色图像。在一些情况下，可在多个波长接收器(bin)中光谱分辨到达照相机112的荧光，并且获得对应的多个荧光图像以进行分析。可利用多个被插入荧光的路径中的吸收或折射滤光片、棱镜或衍射光栅执行光谱分析。通常，可使用在计算机系统130的控制下的或手动插入的干涉、色散或吸收光学系统实现光谱分辨。虽然图像可被记录为具有与接收的光通量强度(来自荧光或其它对比照明模态)相关联的值的图片元素的一、二或三维阵列，但如果需要，可以以其它形式和复数数据结构记录图像。在本说明书中为方便起见，图像是指有结构的阵列中的数据的2-D映射（mapping），如由临床医生通过显微镜或其它观察设备所观察的，并且记录的图像是指基于通过CCD或其它图像传感器接收的图像存储、处理和/或显示的数据值。

如上文中所指出的，可基于荧光和透射照明或这两者获得多个光谱图像。可收集图像的每一个像素处的光谱信息，并且利用光谱图像处理软件分析结果所得的数据。可得到一系列代表不同波长(其是可电子地和连续地选择的)处的强度的图像，并且随后利用经设计用于处理这样的数据的分析程序进行评估。在某些实例中，可同时评估来自多个荧光信号和/或光学对比模态的定量信息。

可将图像传感器112与包括键盘152、处理单元154和显示器156的计算机系统130耦合。在一些实例中，提供一个或多个附加的用户输入设备（例如操纵杆、鼠标或数字化图形输入板）和一个或多个附加的输出设备（例如打印机或显示器）。处理单元154通常包括微处理器和一个或多个用于存储图像数据和计算机可执行指令(以用于图像或图像数据的记录、传输、分析和处理)的计算机可读存储介质例如只读存储器(ROM)、随机存取存储器(RAM)、硬盘、软盘、光盘或数字视频光盘。在典型实例中，将计算机系统100通过有线或无线网络连接与一个或多个其它计算机系统耦合，并且在一些实例中，将所述计算机系统100耦合至因特网。虽然可在单个计算机系统上进行图像处理操作，但在一些实例中，在多个计算系统上处理图像数据或图像，所述计算系统可被置于普通位置或分布在网络上。虽然膝上型计算机可以是方便的，但也可将其它计算设备例如台式计算机、工作站、手持计算机、笔记本计算机或其它设备用于图像捕获和处理。在一些实例中，图像数据可被处理，并且可在没有显示器的情况下提供样品评估，并且通过网络连接（例如通过电子邮件）传达评估，将其发送至打印机或使用移动电话网络将其作为文本或多媒体消息进行递送。

成像系统100为适当的成像系统的一个实例。在其它实例中，可使用折射或反折射物镜而不使用物镜106，可通过重排荧光激励源102和照相机112以及目镜114来使用短通滤光片(shortpassfilter)而非长通滤光片104。在一些实例中，只提供照相机或目镜来进行图像记录或图像观察。可使用附加的镜子或棱镜来使光轴交叠（fold），这可以是非常方便的。可应用不同的使用相位掩模、相衬（phasecontrast）、Rotterman对比、倾斜照明对比、Rheinberg对比、干涉差方案、自适应光学器件、激光扫描、时域或频域寿命成像、结构化照明、光可开关的探针、偏振和各向异性、二次谐波成像、双光子激发的多模态对比的策略和其它策略。为了方便说明未示出样品定位硬件，并且在许多实例中，可提供利用双目镜的双筒镜观察，并且可提供适当的滤光片和分束器以便不同的图像输出接收只与多个对比模态、偏振状态或波长段宽之一关联的图像光通量。通常可提供附加的滤光片(反射或吸收)以减小到达照相机112或目镜114的任何激励光的光度或控制用于观察或记录的相对光强度或光谱内容。

在图11中举例说明了另一个代表性成像系统。如图11中所示的，将包括对应于暗场和DAPI图像的折射调制通量1102A和DAPI荧光调制通量1102B的组合图像光通量1102沿着轴1103通过孔径1104引导到准直透镜1105。将准直组合光通量入射到分色镜1106，所述分色镜1106将一部分经过调制的光通量(图11的实例中的DAPI调制通量1102A)反射至镜子1108A并且反射至优选传递DAPI荧光的滤光片1107A。透镜1110接收DAPI调制通量并且在CCD或其它图像传感器112的第一部分1112A上形成样品图像。分色镜1106将更长波长的折射调制光束1102B传递至被选择用于抑制DAPI荧光和相关DAPI激励光束的滤光片1107B。镜子1108B将调制通量1102B引导至透镜1110，该透镜1110在CCD1112的一部分1112B上形成暗场图像。将CCD1112与计算机或可在存储器中存储来自CCD1112的图像数据并且将图像数据提供给监视器1118或其它显示器的其它处理设备耦合。通过利用这样的成像系统，可同时获得暗场和荧光图像，并且将其并排显示为原始图像或快速地将其拆分成两个图像，几乎实时地将其彩色映射和重叠在监视器1118上。图11的配置仅仅是举例说明性的，并且样品调制折射和荧光光通量可被分开，并且使用更多、更少和不同的组件将其在其它排列中用于图像形成。图像在CCD1112上可以是并排的，或利用计算机1114处理所述图像，以便可在监视器1118上显示明场再现的背景中的组合2-色重叠。如图11中所示的，多个通量(暗场和DAPI)被从初始光轴转向，但在其它实例中，可将一个通量沿着初始轴传递，并且对应地放置CCD1112。可利用不同的透镜产生暗场和DAPI图像，可排列所述透镜以产生共同的放大率或不同的放大率。可提供附加的滤光片、光源和其它组件，以便可将分子检测标记和其它组织对比图像光通量提供给一个或多个CCD或单个CCD的部分1112A、1112B并且在其中成像。

颜色查找表和图像反转

图1的系统允许基于荧光或暗场照明或同时这两者来进行图像的多模态观察和获取。可使用图2中举例说明的代表性方法处理所获取的图像以将样品特征呈现在共同的背景中。在步骤202中，通常将暗场折射图像记录为单色图像，并且在步骤204中，记录一个或多个基于荧光的图像。这类基于荧光的图像的数目可取决于应用于样品的荧光标记或染料的数目和类型。这些图像可使用对应于荧光标记的发射波长的不同波长段。在一些实例中，不同波长段可以是重叠的、非重叠的或其组合。

在步骤204中，可获得对应于来自对应的荧光团的荧光的一个或多个基于荧光的图像。可将荧光的适当光谱分割用于获得多个基于荧光的图像，所述图像可显现不同的样品特征(所述特征通常取决于与荧光检测标记关联的特定探针)。

在获取图像后(当获取每一个图像时或在已获取所有或一些图像后)，可将一个或多个彩色映射查找表(LUT)应用于步骤206中的单色图像的强度值以产生伪彩色再现的图像，并且可在步骤208中重叠这些再现的图像。在步骤210中反转所获取的重叠图像的色调、强度或饱和度中的一个或多个或者全部以在明场上产生具有彩色结构的外观的图像。在伪彩色LUT的典型应用中，基于灰度级像素强度值向单色图像的像素分配RGB颜色强度值，并且反之亦然。这样的反转也可反转颜色坐标以产生互补彩色映射。图像反转通常将大像素强度值映射至更小的像素强度值。例如，在其中用8个强度值(3-比特的深度)表示像素强度的图像中，可如表1中所示重新映射强度值。

原始	重新映射
		0	7
1	6
		2	5
3	4
		4	3
5	2
		6	1
7	0

表1.具有3比特值的图像反转，

可将这样的映射方案扩展至其它比特深度(例如，8-比特、10-比特、12-比特、16-比特和其它)，并且可将其应用于给定的颜色空间的不同分量(例如，色调、饱和度、值)。

在步骤210中，将显现黑暗的图像值反转以显现明亮，并且将显现明亮的图像值反转以显现黑暗。可将步骤210称为产生伪明场图像。

根据需要可改变图像反转和伪彩色LUT的顺序。可选择特定彩色LUT以便例如暗场图像以与组织学染色相似的颜色对比显现。在该策略中，仔细地选择图像模态以显现与利用常规染色过程例如常规H&E染色产生的图像相同的结构。可在步骤208中在使用或不使用对比分量的彩色映射或至明场外观的反转的情况下重叠图像。在步骤212中与不同结构进行对比的附加的彩色映射图像可应用于组合图像(通常与组合图像重叠)。可在步骤214中存储和/或显示组合的和处理的图像。如果更方便，可省略、复制或以另一种顺序执行这些步骤的一个或多个步骤。

在许多实际实例中，有利的是可在多模态对比图像中模拟用常规组织学染色产生的特定组织组织的着色。这样的模拟提供了对于医生来说是熟悉的分析和诊断装置，同时其仍然允许与附加的特定标记相关以显现附加的信息。该模拟还允许消除光吸收染色，以便染色不干扰其它标记的应用或通过这些标记显现的图像特征的评估。例如，可将折射对比用于显现细胞外蛋白质和膜蛋白质，同时可将细胞核特定荧光染料例如DAPI用于显现细胞核染色质分布的细节。因此，可利用适当的图像处理，将折射/DAPI组合用于以与利用伊红(嗜伊红细胞的或蛋白质特定的)和苏木精(核酸或DNA特定的)获得样品特征类似的方式显现样品特征。因为在相同的样品上获得这些图像，因此可在空间上登记每一个样品的特征，并且将其包含在显示的图像中以进行方便的分析。可利用最优化的彩色映射，其允许图像按临床医生的偏好显示以在医疗训练和经验的背景中最佳地显现感兴趣的特征。可参考CIE1976L*a*b*颜色空间、其它色空间例如Hunter1948L、a、b颜色空间、CIE1931XYZ颜色空间、CIE1976L*u*v*、HSV、HSI、HSV、HSB颜色或RGB颜色或CMYK颜色值方便地描述这样的彩色映射，或也可使用PANTONE或MUNSELL比色刻度尺。

图3举例说明样品成像的代表性方法300，其允许询问基于折射率对比和DAPI荧光的样品特征。在步骤302中，通常使用单色CCD照相机记录样品中的折射对比的灰度级强度映射图像。在步骤304中，记录样品的基于DAPI-荧光的灰度级强度映射图像。虽然滤色片被用于获取这两个图像，但将图像记录为像素(如单色CCD上的灰度级图像)阵列的强度值。在步骤306中，处理折射率对比图像，并将其映射成具有与在透射白光照明下使用伊红颜色吸收产生的外观相似的外观的颜色。伊红染色通常在细胞外基质和膜中的蛋白质部分中产生图像对比。在一些实例中，步骤306可以被配置成使得处理的图像具有基于临床医生对伊红染色的主观偏好的外观(如被量化和转变成CIEL*a*b*颜色空间)。这些优选彩色映射可基于一组临床医生或个别临床医生。为方便起见，由步骤306产生的图像称为经过转换的图像。对基于伊红染色的处理，可将此类图像称为伊红反转的图像。此类经过转换的图像可以是被显示的图像、记录的图像或这两者。

在步骤308中，处理DAPI记录的图像以产生与在白光透射照明下苏木精吸收相似的外观关联的图像。如上文中所指出的，可基于个别或成组主观偏好产生该图像，或使用定量光谱颜色测量并且映射至数字颜色空间来匹配该图像。也可将步骤308的结果所得图像称为经过转换的图像，或苏木精转换的图像。

通常使用一个或多个彩色映射或专门的查找表(LUT)产生经过转换的图像。通常对图像进行伪着色，并且将其反转，以便经过转换的图像为具有反转的饱和度、色调和/或值的互补彩色图像。通过在步骤312中例如通过相加合并互补图像产生组合图像，并且在步骤314中显示或否则分析所述组合图像。

利用图10A-10E中示出的人前列腺样品图像举例说明图3的方法。图10A-10B分别为灰度级折射对比和DAPI荧光对比图像。图10C-10D分别为基于图10A-10B的图像的伊红转换的和苏木精转换的图像。图10E为通过组合图10C-10D的经过转换的图像获得的合并图像。通过应用彩色LUT和图像反转产生图10C的伊红转换的图像和图10D的苏木精转换的图像。

医生偏好的苏木精和伊红染色的组织的颜色空间已被获得以用于更密切地匹配折射图像的伪彩色映射，并且进行DAPI复染色以产生优选图像外观。在图9中举例说明了这样的彩色映射。参考图9，CIEL*a*b*颜色空间900包括a*-轴902、b*-轴904和L*-轴906。CIEL*a*b*坐标在颜色球体910上以位置表示。通常，色弧912、914被分别分配给折射率对比(伊红-类似物)和DAPI荧光对比(苏木精-类似物)。方便地选择色弧912、914来在组织中产生与分别利用苏木精和伊红进行的白光的吸收相似的对比。可通过分配基于测量的强度(L*-值)的a*、b*坐标来提供彩色映射。色弧912对应于颜色球体910上的纵向弧，其与–b-轴成约30度的角度。色弧914对应于颜色球体910上的纵向弧，其与–b-轴成约60度的角度。可同样地使用其它弧。产生对于所选组织类型的H&E染色类似的对比的代表性坐标范围概述于下面的表2中。

表2.对于所选组织的CIEL*a*b*优选坐标范围。

计算环境

图16和下列论述提供了被配置用于执行本文中描述的方法的软件(例如，计算机程序)的适当的计算环境的简要的一般性描述。可在以程序模块组织的计算机可执行指令中进行这些方法。所述程序模块包括执行所述任务和实现数据类型(以实现上述技术)的例程、程序、对象、组件和数据结构。

虽然图16显示了台式计算机的典型配置，但可在其它计算机系统配置(其包括多处理器系统、基于微处理器或可编程的电子消费产品、微型计算机、大型计算机等)中实现行本发明。本发明还可用于其中通过处理设备并行地执行任务以增强性能的分布式计算环境。例如，可在多个计算机上、单个计算机中的多个处理器上或这两者上同时执行与测量候选异常的特性相关的任务。在分布式计算环境中，可将程序模块定位在本地和远程存储器存储设备两者中。

图16中示出的计算机系统适合用于实现本文中描述的技术，并且所述计算机系统包括计算机1620，其具有处理单元1621、系统存储器1622和将各种系统组件（包括系统存储器1622）互连至处理单元1621的系统总线1623。系统总线可包括几种类型的总线结构(包括存储器总线或存储器控制器、外围总线和使用总线架构的本地总线)中的任一种。系统存储器包括只读存储器(ROM)1624和随机存取存储器(RAM)1625。非易失性系统1626(例如BIOS)可存储在ROM1624中，并且其包括用于将元件之间的信息转移至个人计算机1620中(例如在启动过程中)的基本例程。个人计算机1620还可包括一个或多个其它计算机可读存储装置1630例如硬盘驱动器、可移动存储器(拇指驱动器)、磁盘驱动器(例如以便从可移动盘读取或写入到可移动盘)以及光盘驱动器(例如用于读取CD-ROM盘或从其它光学介质读取或写入到其它光学介质)。可通过硬盘驱动器接口、磁盘驱动器接口和光学驱动器接口分别将硬盘驱动器、磁盘驱动器和光盘驱动器连接至系统总线1623或以一些其它方式来连接它们。驱动器和它们关联的计算机可读介质为个人计算机1620提供了数据、数据结构、计算机可执行指令(包括程序代码例如动态链接程序库和可执行文件)等的非易失性存储。虽然上述计算机可读介质的描述是指硬盘、可移动磁盘和CD，但其也可包括其它类型的可通过计算机读取的介质，例如磁盒、闪速存储卡、数字视频盘等。

可将许多程序模块存储在驱动器和RAM1625中，包括操作系统、一个或多个应用程序、其它程序模块和程序数据。用户可通过一个或多个输入设备1640例如键盘或定位设备例如鼠标将命令和信息输入到个人计算机1620中。其它输入设备可包括麦克风、操纵杆、游戏垫、卫星碟、扫描仪等。通常通过耦合至系统总线的串行端口接口将这些和其它输入设备连接至处理单元1621，但其也可通过其它接口例如并行端口、游戏端口、以太网、IEEE1394、吉比特以太网、照相机链路或通用串行总线(USB)连接。还可通过接口例如显示控制器或视频适配器将一个或多个输出设备1645例如监视器或其它类型的显示设备连接至系统总线1623。除了监视器外，个人计算机通常还包括其它外围输出设备(未示出)例如扬声器和打印机。

通常提供一个或多个通信连接1650，例如无线连接、有线连接(例如，以太网连接)，以便个人计算机1620可通过通信网络进行通信。此外，虽然个人计算机1620包括多种输入设备、输出设备、存储器和存储装置，但在一些实例中，远程定位这些组件中的一些以通过网络进行访问。例如，可通过这样的网络将如上讨论的那样获得的经过处理的图像数据转发至远程终端或处理系统以进行显示、评估和由医生进一步处理。同样数据存储装置也可以是远程的。可将个人计算机1620配置成将数据记录在存储器中，按照本文中公开的方法处理数据，并且将经过处理的数据显示在本地监视器上。然而，可通过不同位置处的不同处理单元执行这些功能，这可以是很方便的。

上述计算机系统仅作为实例提供。可在各种各样的其它配置中实现该技术。此外，用于收集和分析与处理图像数据相关的数据的各种各样的方法是可能的。例如，数据可以被收集，被测量特性，被着色，并且被处理以在适当时提供用于在不同计算机系统上存储和显示的明场背景图像。此外，可在硬件中实现各种软件方面，并且反之亦然。

组织分析和组织处理最优化

组织学协议意欲保存组织结构和增强感兴趣的结构之间的对比以用于显微镜检查。为了实现该目的，使用许多方法，并且所述方法在历史上已被使用。组织固定可包括各种化学物质，实例包括但不限于例如福尔马林、Bouin’s固定剂、乙醇、戊二醛、冷冻保存、微波、加热、丙酮、酸、碱溶液、去垢剂、重金属以及许多其它交联剂或防腐剂的使用。这些不同的化学物质已被用于揭示细节、保护细胞和组织结构、帮助进行标记和抗原修复和其它此类努力，以增强用于病理学的单模态成像的对比。用于渗透和包埋组织以及为结构提供支持以进行镜检切片术和超薄切片术的材料也贡献了光学特性。随后的处理、染色和封固策略全都为多模态成像贡献了光学和化学特性。记住这一点，进行研究以最优化多模态成像参数和选择特定于通常用于组织病理学的特定固定、包埋、标记和封固条件的适当的成像模态。这可使用通过不同常规方法制备的存档组织和调整成像参数以增强图像质量来进行。

也在不断寻求将组织制备协议最优化成成像模态的反转方法。图像质量是组织制备、标记试剂与成像仪器之间的协同作用；多模态成像策略将此考虑在内。因此，组织以及保存和制备的方法被认为是光学或化学成像系统的部分。许多至关重要的物理和化学步骤包括在用于组织病理学的组织处理中。自动化组织处理的主要阶段代表影响图像质量的处理流水线中的许多参数。为了最好地利用产生互补信息的特定成像模态，必须仔细地控制组织处理、标记和封固的光学和化学特性。用于试剂和化学物质的专门染色和稠度（consistency）的自动化设备和最优化协议的使用用于允许互补成像模态之间的对比质量和结构/化学分辨率的显著提高。在本文中概述的实例的背景中，组织制备的方法例如交联蛋白质通过福尔马林固定、包埋在石蜡中、脱蜡步骤、细胞核染色质的保存、复染色、特定分子探针、用于组织制备的封固剂和玻璃全都被用于对多个成像模态作出贡献。实例中使用的多个成像模态包括折射对比质量和荧光信号和/或分子质量分辨率。

代表性探针

可将基于多模态对比的伪彩色明场再现的图像与使用各种信号生成方法的附加检测方案组合。已描述了一些代表性探针，但公开的技术不限于这些实例。可将被配置用于特别地结合一个或多个感兴趣的耙的一些探针耦合至标记，可基于许多光学和化学物理特性例如光吸收、发射、荧光寿命、化学发光、电子特性、化学特性、光控开关能力、间歇性闪烁、放射性、双折射或标记质量来询问所述标记。

可将包含信号生成部分的交联物例如特定结合部分与信号生成部分的交联物用于检测生物样品中的特定靶分子。可将信号生成部分用于提供指示靶的存在和/或定位的可检测信号。信号生成部分的实例包括例如但不限于：酶，例如辣根过氧物酶、碱性磷酸酶、酸性磷酸酶、葡糖氧化酶、β-半乳糖苷酶、β-葡糖苷酸酶或β-内酰胺酶。

当信号生成部分包括酶时，可将生色（chromagenic）化合物、荧光团化合物或生光(luminogenic)化合物用于生成可检测的信号。生色化合物的特定实例包括二-氨基联苯胺(DAB)、4-硝基苯基磷酸盐(pNPP)、固红(fastred)、溴-氯-吲哚磷酸盐(BCIP)、硝基四氮唑蓝(NBT)、BCIP/NBT、固红、AP橙、AP蓝、四甲基联苯胺(TMB)、2,2'-连氮基-二-[3-乙基苯并噻唑啉磺酸盐](ABTS)、邻–二茴香胺、4-氯萘酚(4-CN)、硝基苯基-β-D-半乳糖吡喃糖苷(ONPG)、邻-苯二胺(OPD)、5-溴-4-氯-3-吲哚基-β–半乳糖吡喃糖苷(X-Gal)、甲基伞形基-β-D-半乳糖吡喃糖苷(MU-Gal)、对-硝基苯基-α-D-半乳糖吡喃糖苷(PNP)、5-溴-4-氯-3-吲哚基-β–D-葡糖苷酸(X-Gluc)、3-氨基-9-乙基咔唑(AEC)、品红、碘硝基四唑(INT)、四唑蓝和四唑紫。

一种类型的可检测的交联物为抗体与荧光团的共价交联物。将光子引导朝向具有被荧光团吸收的波长的交联物激励可被检测并且用于定性、定量和/或定位抗体的荧光。本文中描述的一些实例基于半导体纳米晶体(也称为量子点或QDots)。量子点生物交联物的特征在于可与可获得的最亮常规染料相比的量子产额。此外，这些基于量子点的荧光团吸收的光为常规染料的10-1000倍。量子点通常为稳定的荧光团，通常抗光漂白，和具有宽范围的激发波长和狭窄的发射光谱。可选择具有特定发射特征例如在特定波长上的发射的量子点以便可将多个不同的具有多个不同发射特征的量子点用于识别多个不同的靶。来自量子点的发射是狭窄的和对称的，这意味着与其它颜色的重叠被最小化，从而导致最小的通过进入相邻检测通道的渗出(bleed)和减弱的串扰，尽管事实上可同时使用许多更多的颜色。对称和可调谐的发射光谱可根据颗粒的大小和材料组成而变化，这允许灵活且密集地间隔开的不同量子点而无明显光谱重叠。此外，它们的吸收光谱是宽广的，这使得有可能使用单一激发波长同时激发所有量子点颜色变体，从而使样品自发荧光最小化。量子点为显现因量子限制而产生的与大小有关的电子和光学性质的纳米级颗粒。量子点例如由半导体材料(例如，硒化镉和硫化铅)构成并且来自晶粒(通过分子束外延生长的)等。

多种具有各种表面化学物质和荧光特性的量子点在商业上可从俄勒冈州的尤金的InvitrogenCorporation(参见，例如，美国专利No.6,815,064、6,682596和6,649,138，将所述每一个专利通过引用并入本文)获得。可将量子点耦合至被选择用于感兴趣的靶的结合部分。在结合靶后，可基于例如其荧光特性、吸收特性、激发特性或荧光寿命检测量子点。

虽然可使用利用多重探针进行多模态对比成像的造影剂的许多实例，包括基于量子点的标签例如上述标签，但被配置用于成像质谱法的标签也是高度有用的。这些所谓的“质量标签”可被配置用于感兴趣的一种或多种化学物质或分子的特定结合；并且随后使用基质辅助激光解吸电离(MALDI)质谱或其它质谱技术来进行检测。可将一种或多种质量标签应用于样品例如组织切片，将使用或已使用上述折射率对比和/或荧光来评估所述样品。在一个实例中，选择结合靶分子的配体或抗体，并且确保所述配体或抗体结合金纳米颗粒或其它纳米颗粒。存在于纳米颗粒上的配体或抗体结合靶蛋白。在结合靶后，可利用激光解吸电离时间飞行质谱(LDI-TOFMS)来随后分析纳米颗粒上的小分子。美国专利7,202,472公开了具有耦合至其的特别结合靶的抗体的代表性纳米颗粒。可以以该方式，通过提供被结合至各自纳米颗粒(其中通常每一种纳米颗粒提供不同的质量特征)的对应的特定抗体或配体来检测多种分析物。在一些实例中，可使用光可切割的质量标签标记的抗体例如美国专利申请公布2009/0088332中描述的所述抗体。在其它实例中，这公开于US2002/0150927中，将探针耦合至质量改性剂，使用酶切割质量改性剂，并且检测释放的质量改性剂。在其它实例例如WO00/68434(将其通过引用并入本文)中公开的实例中，提供脂质体封装的特定结合寡核苷酸（oligo），每一种寡核苷酸具有可通过MALDI分离的特定有区别的质量。

代表性实例

在一些附加实例中，获得按照Ventana医疗系统(亚利桑那州的图森)协议制备的福尔马林固定、石蜡包埋的组织学组织切片的图像。在图4、5、6、10、12、13、20和21的实例中，组织切片是从前列腺切除术再现，并且利用半导体纳米晶体量子点(QDot)处理以进行荧光原位杂交(FISH)，且利用荧光染料4',6-二脒基-2-苯基吲哚(DAPI)进行复染色。可用370+/-20nm的波长范围内的紫外激励光束产生QDot检测和DAPI荧光。这样的激励光束十分适合于UV吸收细胞核复染色例如DAPI以及多重QDot探针的同时多重激发。实例对比方案中的折射率对比是明对暗场，并且不依赖于光吸收染色，且从而允许同时观察和记录荧光对比。

发现使用显微镜系统例如图1的显微镜系统对此类样品进行直接观察对于使用直接安装在显微镜目镜中的长通(410nm)滤光片的直接可视化是有用的。结果所得的观察到的图像包括在金/银组织学结构中看起来为蓝色的细胞核。可通过在透射光路径中使用一个或多个波长滤光片来诱导用于直接观察的附加颜色(例如，黄色或红色)。可方便地关闭由任一种照明(荧光或透射暗场)提供的对比以使得能够利用不依赖于另一种方法的单个对比法进行成像。可控制光源强度(激励光束、暗场照明场)以平衡直接双色可视化的对比或在单个传感器上记录标准化积分时间。代表性组合暗场(即，折射)/荧光对比图像示于2-色重叠的图4B中并且与利用常规H&E染色产生的相同样品的连续切片的图像一起明场再现(图4A)。图4B的图像基于彩色LUT和图像反转二者。在未染色的组织切片(图4B)中可见的数据类型可以以与常规H&E染色的图像(图4A)的那些相似的方式用于诊断前列腺上皮内瘤(PIN)和存在于前列腺癌中的异常生长模式(图20，图21)，而且还可进行分子探针定位的询问。此外，附加的特征例如突出的核仁对于单独的DAPI荧光是不明显的。因此，这样的组合图像及其处理可用于诊断和治疗，并且不仅可提供与基于常规染色的图像相同的信息，而且还产生附加的信息。

在这些实例中，利用单色CCD(使用干涉滤光片选择蓝色DAPI荧光波长或更长波长的折射对比光通量来进行连续曝光)记录双重对比(分别为折射暗场和荧光)图像。图5A为使用DAPI荧光的单色图像，并且图5B为获得的折射对比w/暗场照明的单色图像。基于图5A-5B的图像的组合的附加的图像示于图5C-5D中。图5C为通过重叠图5A-5B的单色图像，并且应用基于对比颜色查找表(LUT)的伪彩色映射获得的伪彩色图像。图5D为在图5C的图像的反转和着色后对应于图5C的图像的图像。可将图5D的图像称为图5C的图像的“明场再现”。

如上文中参考图2所论述的，可获得和组合多个荧光图像。在对按照图18中概述的步骤制备的DAPI复染色的前列腺组织上的ERG基因分裂FISH测定的背景中，使用3'5'ERG分裂探针测试使用伪明场法定位和再现DNA序列特定探针的能力。发现在反转之前在加性颜色方案中将伪彩色查找表应用于探针强度水平和重叠的能力产生足以同时识别至少两种荧光探针的对比，其中折射对比和DAPI复染色的图像再现于伪明场中。565nm和655nm处的QDot探针定位的连续获取获得自DAPI染色的样品，并且经处理产生图6中示出的图像以及DAPI复染色的荧光和折射对比。如图6的插入中所示，这样的获取允许双重探针FISH定位(参见指向分别对应于565nm和655nm处的探针定位的绿色和红色区域的箭头)的明场再现和显示。在该情况下，将探针强度重叠至伪彩色、伪明场折射率/DAPI对比图像上。因此，可观察到与利用常规H&E染色获得的图像特征相似的图像特征和由QDot探针显现的附加的分子染色体重排。总体外观对于习惯于H&E染色的图像的人来说是熟悉的，并且几乎不需要或不需要再训练来允许医生基于这些图像轻松地评估样品。

在另一个实例中，将蛋白质特定免疫探针(针对CD20抗原的QD565以及针对Ki67抗原的QD655)应用于DAPI复染色的扁桃体组织切片以产生图7中示出的图像。用于组织处理和对比最优化的一般化处理步骤概括于图18中。获得暗场折射图像和基于DAPI荧光的图像，将它们重叠，并再现为图7(1a-3a)中示出的伪彩色伪明场图像。获得针对每一个探针检测的基于免疫探针荧光的图像，并且将它们重叠在一起作为以对比颜色示出在7(1b-3b)中的荧光图像。如图7(1b-3b)中所示的，分别以绿色和红色对QD565和QD655探针的探针定位图像进行伪着色。将图7(1a-3a)与图7(1b-3b)的图像组合以产生图像，从而最终的图像显现探针在组织结构背景上的定位，图7(1c-3c)。

其它实例举例说明了两个用于在明场背景中重叠探针定位的方法。图8A为伪明场图像与通过在用于获得图7的图像的DAPI复染色的样品上使用QD565和QD655探针获得的荧光探针图像的加性重叠。图8B为其中从伪H&E图像减去探针图像彩色映射的减性重叠。减性重叠可更加接近使用光吸收染色获得的图像，并且在对比产生和多重图像重叠中是有利的。

在另一个实例中，将mRNA-特定ISH探针(针对18s核糖体RNA的QD605以及针对HER2mRNA的QD625)应用于DAPI复染色的Calu-3异种移植物组织切片以产生如图19中所示的图像。用于组织处理和对比最优化的一般化处理步骤概括于图18中。获得暗场折射图像和基于DAPI荧光的图像，将它们重叠，并且再现为所示的伪彩色伪明场图像，并且获得针对每一个探针检测的基于荧光的图像，并且将其与明场背景再现组合在一起。如图19中所示的，分别以青色(黑色箭头)和黑色(绿色箭头)对QD605和QD625探针的探针定位图像进行伪着色。图19的最终图像从而显现了探针在组织结构背景上的定位。

为了说明视频速率成像，通过使用与图11中概述的成像分束器相似的成像分束器将DAPI发射波长与更长波长的折射对比分开并且将并排的精确相同的视场的两个波长分量投射在单个单色CCD传感器上来测试2-色成像法。使用次级分束器允许同时获取两个颜色通道的图像和将其流式传输至计算机显示器以及流式传输只受照相机的所需积分时间和读出时间限制的快速时间延滞序列的记录。图12包括同时获取的相同组织切片的并排的折射率(暗场)图像(A)和DAPI图像(B)。

被用来产生互补多模图像的不同波长段的单色强度捕获的使用允许将专门的查找表方便地应用于DAPI复染色的各个灰度级强度图像、透射暗场图像以及一种或多种探针定位。在流式传输图像的获取的背景中测试将最低像素强度映射至RGB空间中的白色和将最亮像素映射至给定的色调的完全饱和度的方法。可在各种放大率上实时导航透射暗场图像的该备选再现，并且可随意记录快照图像。图13包括基于图12的并排图像的双色重叠(通过伪彩色和图像反转)。（注意该图像关于图12的图像旋转）。可快速产生和重叠这类图像，从而允许‘现场’彩色明场观察组织结构和复染色的概念。可通过使用多个传感器或通过将光分成多个波长段以投射在单个传感器的不同区域上或多个传感器的组合上(其中多个波长被投射在一个或多个传感器上)来将该方法扩展至现场探针重叠。备选地可使用顺序检测滤光片、顺序照明，通过使用Malik等人1996,Hoyt等人2002(将所述两篇文献通过引用并入本文)中所述的光谱成像设备或通过使用单摄Bayer-掩模彩色照相机来记录暗场折射和荧光图像。

虽然使用折射率、荧光或其它方法产生的基于光学的对比(图22)可用于图1和图11的显微镜系统中，但也可制备以该方式评估的样品以在质谱法中使用质量标签进行进一步分析。在代表性实例中，使用标准质谱成像协议制备未涂覆的和基质涂覆的小鼠肾组织。未使用细胞核复染色，但有可能基于组织边缘的折射率差异和通过使用荧光检测光学子系统检测自发荧光来对总体切片形态学和组织存在成像。在图14中举例说明了代表性切片。露出的组织边缘处的折射使边缘显得明亮，并且蓝色自发荧光与组织本身相关联。图15包括举例说明在沉积用于质谱法的电离基质后小鼠肾组织的组合的暗场/自发荧光图像的图像。基质晶体呈黄色，并且自发荧光呈蓝色。这些图像示出即使在应用电离基质后仍可获得暗场和荧光图像。

另外的讨论

已将暗场折射率对比和荧光同时用于一些公开的实例以在用荧光细胞核复染色染色的组织样品中产生具有多模态对比的图像。该方法在使用IHC、FISH和mRNA-ISH的多重分子特定探针与在相同组织切片上进行QDot检测以测定病理学状况中是有用的，并且该方法也可用于对被制备用于质谱成像的组织进行成像。已表明该多模态对比方案以与常规组织学明场染色/复染色组合例如H&E类似的方式提供互补结构背景信息。通过折射率对比可见的结构包括蛋白质部分，并且这样的图像允许已知的病理学意义的结构异常和生长模式可视化；包括结构例如核仁、细胞外基质以及细胞膜和核膜。在单独的荧光照明下，此类结构是不明显的。使用折射率/荧光对比可视化的特定结构提供了用于观察相同组织切片上分子探针信号的背景，并且将帮助医生筛选组织和诊断癌前及癌症疾病状态。暗场折射率对比特别有用，因为该方法提供了与暗场相对的明亮特征并且不使用光吸收染色。因此折射对比对于与用于癌症标记在使用专门的组织固定、包埋和染色协议制备的透明组织切片上的定位的多重荧光发射探针的直接组合是相容的。当与QDot探针的定量光谱成像组合时，该方法不干扰探针化学或定量。通过将用于折射-对比的照明波长限制于从探针发射红移的波长，可在多重探针的光谱图像数据获取的背景中同时使用照明方法。与荧光组合的折射-对比也允许对意欲用于质谱成像的透明组织上的组织背景和病理学状态进行成像。

可在对比颜色中同时通过目镜直接可视化组合对比法(折射对比和荧光)。此外，可记录和/或以流式传输方式直接显示2-色图像数据以进行感兴趣的区域的实时输出和方便快照记录。同时多波长获取在单色照相机上的使用提供了将专门的颜色查找表应用于流式传输暗场折射图像和荧光细胞核复染色图像的灰度级强度图像的方便手段。将对应于医生偏好的已知颜色值的CIEL*a*b*查找表应用于特定组织类型的背景中还细化了组织结构至实践医生的呈现。综合起来，仔细的组织处理、多模态对比获取和图像数据处理可提供与可从常规苏木精和伊红(H&E)染色的组织切片得到的信息相似的信息。还可将这样的图像与关于另外未染色的人组织上的基于探针的图像数据(所述图像数据与细胞核内、细胞质和细胞外基因、mRNA表达和蛋白质抗原标记以及其它特定探针相关联)组合。通过使用适当的彩色映射和图像反转，可将图像数据以熟悉的方式呈现和显示给受过训练的病理学家，以及可将来自相同视场的光学活性或化学可溶解的数据例如质谱数据重叠在该熟悉的背景上。

结论

如上所述，可在细胞和组织中保存、增强和显现多模态对比。可组合这些对比元素，并且将其再现以产生与在透射白光照明下观察到的用波长吸收染色产生的图像相似的图像。多模态对比图像利用通过专门处理合并入组织的各种光学和化学特性。可使用所设计的颜色方案基于历史上用于显现相同解剖学结构和组织化学的典型对比法有效地分割和数字化地呈现对比分量，从而提供与医疗训练和经验的相关性。可将结果所得的结构背景用于病理学测定，并且其还提供多重分子和化学标记的背景。该方法提供以其它方式可能难以或不可能获得的重要相关性信息。在一些实例中，将从折射率得到的暗场对比与荧光DAPI复染色图像组合以产生与使用常规H&E染色获得的图像相似的图像。已示出这些多模态数据图像在组织切片的病理学解释中是有用的。此外，可流式传输这样的多模态图像数据以监控允许现场操纵组织学样品。在其它实例中，随后将该结构背景与基因DNA探针的分子定位(FISH)、mRNA表达的位置(mRNA-ISH)和定位在相同组织切片上的免疫组织化学(IHC)探针组合。还可将多模态对比用于评估和映射制备用于质谱法的组织切片。

虽然折射对比是方便的实例，但其它方法也是合适的。下列表3列出了可用于产生互补信息的对比多态，可将所述对比模态组合以提供与分子信息组合的有用的组织结构背景来进行病理学测定。表4列出了用于在组织上进行免疫细胞化学、DNA和mRNA探针的分子标记的自动化组织制备的主要阶段。这些标准化阶段的详细内容影响允许多模态成像用于病理学测定的光学和化学性质。

通过使用这样的对比模态，诊断方法包括给组织中医疗诊断相关性的特征提供对比的两个或更多个模态，其中对比的两个或更多个模态提供互补相关信息，并且两个或更多个模态提供与组织水平结构、解剖学或形态学相关的上下文信息。通常，与上下文背景的两个或更多个模态相关的图像以与医疗训练一致并且对于医学专家来说是熟悉的方式(例如，伪-H&E)来再现。可同时或相继记录此类图像(在再现之前、期间或之后)，并且将其流式传输以在显示器上再现，从而允许进行组织的现场可视化以用于操纵。在一些实例中，使用两个或更多个独立的照明路径。在其它实例中，利用入射光荧光对比同时获取或处理透射暗场折射对比图像。在一些应用中，通过限制使用的光的波长来分割暗场折射对比。在其它实例中，将入射光荧光对比与透射暗场对比同时使用。

在一些实例中，提供互补对比图像以通过目镜直接观察两个或更多个带颜色的分量，或直接将所述图像引导给显示器。在一些情况下，方便的是在单次获取中获取两个或更多个互补对比分量并且在单次光谱获取中同时记录多个照明路径的互补分量。在一些实例中，通过同时波长分割和分裂光学路径来记录互补分量。

在其它实例中，再现互补对比分量以提供通常基于根据光吸收染色载片的医生偏爱生成的彩色映射的组织学染色明场背景。在某些实例中，伊红类似物的彩色映射用于嗜伊红细胞蛋白质部分的折射成像。通常，应用伊红彩色映射，之后是图像反转。此外，可使用用于核酸部分的荧光DAPI成像的苏木精类似物的彩色映射，之后是图像反转。这些和其它互补对比分量可以被着色和流式传输。可提供反转的伊红彩色映射和反转的苏木精彩色映射，并且在明场背景中显示组合图像。

可在结构明场背景上重叠空间上登记的探针定位和化学映射，并且可以向探针定位分配颜色以在结构明场背景上观察探针定位和化学映射。可配置成像模态、颜色查找表、反转和样品制备以提供基于病理学家偏好选择的图像外观。可按照多模态成像策略配置物理、光学和化学组织切片制备协议。可将多个光学放大率与相同的暗场折射照明设置一起使用，并且可将多模态图像对比用于提供结构背景以进行随后的MALDI-TOF质谱成像。

本文中包括的上述公开内容和实例仅为了方便解释，并且不被当成限制技术的范围。我们要求保护由所附权利要求包括的所有内容。

Claims (29)

1.一种方法，包括：

生成样品的至少一个第一图像和至少一个第二图像，其中所生成的第一和第二图像包括互补对比图像参数；以及

产生对比图像以用于观察；

还包括通过将所述样品分别经历第一激励光束和第二激励光束来获得所述至少一个第一图像和所述至少一个第二图像，其中所述至少一个第一图像为所述样品的荧光图像，而所述至少一个第二图像为所述样品的折射暗场图像。

2.权利要求1的方法，其中组合所述第一和第二图像以产生组合图像。

3.权利要求1或2的方法，其中将所述第一和第二激励光束同时应用于样品，并且同时获得相关联的对比互补图像。

4.权利要求1或2的方法，还包括并排显示所述第一和第二图像。

5.权利要求2所述的方法，还包括显示所述组合图像。

6.权利要求1所述的方法，还包括将所述第一和第二对比图像记录为对应的记录图像。

7.权利要求1或2的方法，其中对所述样品进行荧光染色，并且选择所述第一激励光束以通过荧光染色产生荧光，以便所述第一图像为所述样品的荧光图像，并且进一步地其中将所述第二激励光束应用于样品以便所述第二图像为折射暗场图像。

8.权利要求7的方法，还包括将所述荧光图像和所述折射暗场图像记录为对应的记录图像。

9.权利要求8的方法，还包括：

将彩色映射应用于所记录的暗场图像以产生伪彩色暗场图像；以及

将所述伪彩色暗场记录的图像和所记录的荧光图像组合以产生组合的记录图像。

10.权利要求9的方法，其中所述彩色映射基于与至少一个吸收染色相关联的颜色查找表。

11.权利要求10的方法，其中所述染色为伊红染色。

12.权利要求9的方法，还包括将颜色查找表应用于所述荧光图像，其中所述颜色查找表与至少一种吸收染色相关联。

13.权利要求12的方法，其中所述荧光基于DAPI荧光，并且与所述荧光图像相关联的颜色查找表基于苏木精染色。

14.权利要求9的方法，还包括基于所述组合的记录图像产生伪明场记录图像。

15.权利要求14的方法，还包括将颜色查找表应用于所述折射暗场图像和荧光图像以便产生具有与苏木精和伊红染色相关联的图像对比的图像。

16.权利要求1的方法，还包括利用质谱法对所述样品进行成像。

17.一种成像设备，包括：

被配置用于产生样品的第一图像的第一成像系统；以及

被配置用于产生所述样品的第二图像的第二成像系统，其中所述第一和第二图像为互补图像；

其中所述第一成像系统为被配置用于通过使用第一激励光束产生作为折射暗场图像的第一图像的折射暗场光学系统，并且所述第二成像系统为被配置用于通过使用第二激励光束产生作为荧光图像的第二图像的荧光光学系统。

18.权利要求17的成像设备，还包括：至少一个图像捕获装置，其被耦合以接收所述第一和第二图像；和图像处理器，其被配置用于记录所述第一和第二图像。

19.权利要求18的成像设备，其中所述图像处理器被配置用于基于所述第一和第二图像产生组合图像。

20.权利要求19的成像设备，其中所述图像处理器被配置用于将颜色查找表应用于所述第一和第二记录图像中的至少一个以基于所述第一和第二记录图像中的至少一个的伪彩色再现来产生组合图像。

21.权利要求20的成像设备，还包括将所述组合图像再现为伪明场图像。

22.权利要求21的成像设备，其中所述图像处理器被配置用于基于与伊红染色相关联的颜色查找表来处理第一图像并且基于与苏木精染色相关联的颜色查找表来处理第二图像，其中所述组合图像基于经处理的第一和第二图像。

23.权利要求18的成像设备，其中所述图像捕获装置被配置用于接收作为并排图像的所述第一图像和所述第二图像。

24.权利要求19的成像设备，其中所述图像处理器被配置用于重叠所述第一和第二图像以产生所述组合图像。

25.权利要求24的成像设备，还包括被配置用于接收和显示所述组合图像的显示器。

26.一种图像处理器，包括:

被配置用于接收至少第一图像和互补第二图像的图像输入端；

被配置用于接收至少一个颜色查找表的颜色查找表输入端；

图像组合器，其被配置用于基于所述至少一个颜色查找表来处理所述第一图像和所述互补第二图像中的至少一个且产生伪彩色图像，以及将所述伪彩色图像与所述第一图像和所述第二图像中的一个组合；

其中分别使用第一激励光束和第二激励光束来获得所述第一图像和所述第二图像，并且所述第一图像为荧光图像，而所述第二图像为折射暗场图像。

27.权利要求26的图像处理器，其中所述图像组合器被配置用于基于所述组合图像产生明场再现。

28.权利要求27的图像处理器，其中所述颜色查找表输入端被配置用于接收与吸收染色相关联的第一颜色查找表和与荧光染色相关联的第二颜色查找表，并且所述图像组合器被配置用于分别基于所述第一和第二颜色查找表来处理所述第一和第二图像，并且其中所述组合图像基于经处理的第一和第二图像。

29.权利要求28的图像处理器，其中所述吸收染色为伊红染色并且所述荧光染色为苏木精染色。