CN112166314A - 荧光观察设备和荧光观察方法 - Google Patents

Abstract

根据本技术的实施例的荧光观察设备包括载物台、激发单元和光谱成像单元。该载物台能够支撑荧光标识的病理标本。该激发部用多个线状照明照射载物台上的病理标本，该多个线状照明具有不同波长和轴线并且在一个轴线方向上是平行的。该光谱成像单元包括至少一个成像元件，该成像元件能够分开地接收由多个线状照明激发的多个荧光。

Description

荧光观察设备和荧光观察方法

技术领域

本技术涉及例如用于使用病理图像进行诊断的荧光观察设备和荧光观察方法。

背景技术

已经提出了使用荧光染色的病理图像诊断作为高度定量和多色方法(参考例如专利文献1)。与彩色染色相比，荧光方法具有可以容易地进行多路复用和获得详细的诊断信息的优点。在除了用于病理诊断的荧光成像之外的荧光成像中，颜色数量的增加使得可以一次检查样品中表达的各种抗原。

在通常的荧光照相法中，照射染料的吸收波长(激发波长)的激发光，并且使用带通滤光器选择性地并入由照射发射的染料光谱。当存在多种颜色时，吸收波长(激发波长)根据染料而变化。因此，采用一种用于在针对每种染料切换滤光片的同时执行图像捕获的方法。然而，当进行多色染色时，在单一激发波长下激发多种染料，因为染料的吸收光谱和发射光谱宽并且重叠。此外，相邻染料的荧光泄漏到带通滤光器，这导致混色。

另一方面，已知一种在以时分方式切换激发光波长和检测荧光波长的同时执行图像捕获的方法(例如，非专利文献1)。然而，该方法具有图像捕获时间随着颜色数量的增加而线性增加的问题。

引用列表

专利文献

专利文献1：日本专利第4452850号

非专利文献

非专利文献1：Edward C.Stack，“Multiplexed immunohistochemistry,imaging,and quantitation:A review,with an assessment of Tyramide signalamplification,multispectral imaging and multiplex analysis”Methods 70(2014)46–58。

发明内容

技术问题

鉴于上述情况，本技术的目的是提供一种荧光观察设备和荧光观察方法，其使得能够抑制与观察目标染料的数量的增加相关联的图像捕获时间的增加。

解决问题的方案

根据本技术的实施例的荧光观察设备包括载物台、激发部和光谱成像部。

该载物台能够支撑荧光染色的病理标本。

该激发部用多个不同波长的线状照明照射载物台上的病理标本，该多个线状照明是位于不同轴线上并且平行于特定轴线方向的多个线状照明。

该光谱成像部包括至少一个成像装置，该成像装置能够分开地接收分别由多个线状照明激发的多个荧光。

由此，能够抑制与观察对象染料的个数增加相关联的图像捕获时间的增加。

该激发部可以被配置成用于将各自具有不同波长的多个线状照明作为多个线状照明照射在病理标本上。

该光谱成像部可以还包括波长分散元件，该波长分散元件将分别由多个线状照明激发的每个荧光分离。

该光谱成像部还可以包括观察狭缝，该观察狭缝包括多个狭缝部，分别由多个线状照明激发的多个荧光中的每一个荧光被允许通过多个狭缝部中的对应的狭缝部。

该荧光观察设备可以还包括扫描机构，该扫描机构在载物台上在与特定轴线方向正交的方向上扫描多个线状照明。

荧光观察设备还可以包括处理单元，该处理单元包括存储器，该存储器在其中存储指示多个线状照明中的每一者的波长与由成像装置接收的荧光之间的相关性的光谱数据。

处理单元还可以包括图像形成部，该图像形成部基于存储在存储器中的光谱数据和多个线状照明之间的间隔来形成病理标本的荧光图像。

图像形成部可以被配置为形成图像作为荧光图像，在该图像中，已经使用与多个线状照明之间的间隔相对应的值校正了由成像装置检测的坐标。

该处理单元可以还包括数据校准部，该数据校准部对存储在该存储器中的光谱数据进行校准。

存储器可以在其中预先存储标准光谱，该标准光谱是与病理标本相关的自体荧光的标准光谱和染色病理标本的染料单体的标准光谱，并且图像形成部可被配置为基于自体荧光的标准光谱和染料单体的标准光谱来输出光谱数据的分量分布。

该成像装置可以包括每个能够接收穿过该观察狭缝的荧光的多个成像装置。

荧光观察设备还可包括非荧光观察部和成像部，该非荧光观察部包括照射载物台上的病理标本的光源，该成像部获取病理标本的非荧光图像。

荧光观察设备还可以包括显示部，该显示部针对多个线状照明中的每一者，分开地显示荧光光谱，该荧光光谱分别由多个线状照明激发。

显示部可以包括操作区域，在该操作区域中允许设置多个线状照明中的每一者的波长和输出。

该显示部可以包括用于显示荧光光谱的检测波长范围的显示区域。

根据本技术的实施例的荧光观察方法包括：

用多个不同波长的线状照明照射载物台上的病理标本，该多个线状照明是位于不同轴线上并平行于特定轴线方向的多个线状照明；以及

分开地接收分别由多个线状照明激发的多个荧光。

荧光观察方法可以还包括在载物台上在与该特定轴线方向正交的方向上扫描多个线状照明。

格子具有不同波长的组合的多个线状照明可以被用作多个线状照明。

本发明的有利效果

如上所述，本技术可以抑制与观察对象染料的数量的增加相关联的图像捕获时间的增加。

注意，在此描述的效果不必是限制性的，并且可以提供本公开中描述的任何效果。

附图说明

[图1]是根据本技术的实施例的荧光观察设备的示意性框图。

[图2]示出荧光观察设备中的光学系统的一个示例。

[图3]示意性地示出观察对象的病理标本。

[图4]示意性地示出线状照明如何照射在观察对象上。

[图5]是描述用于在荧光观察设备中的成像装置包括单个图像传感器时获取光谱数据的方法的示图。

[图6]示出在图5中获取的光谱数据的波长特性。

[图7]是示出图像捕获装置具备多个图像传感器时的光谱数据的获取方法的示图。

[图8]是描述对照射到观察对象上的线照明进行扫描的方法的概念图。

[图9]是示出利用多个线状照明获取的三维数据(x、y、λ)的概念图。

[图10]示出荧光观察设备中的激发部的波长的配置示例。

[图11]示意性地示出荧光观察设备中的光谱图像捕获部的另一个配置示例。

[图12]是示出在荧光观察设备的处理部中执行的处理过程的一个示例的流程图。

[图13]是描述荧光观察设备的显示部的屏幕的示图。

[图14]示出显示部中的设定区域的画面配置的一个示例，该设定区域作为激发部的设定区域。

[图15]示出显示部中的检测设定区域的屏幕配置的一个示例，该检测设定区域为线状照明的荧光光谱的检测设定区域。

[图16]示出显示部中的检测设定区域的屏幕结构的一个示例，该检测设定区域为来自其他线状照明的荧光光谱的检测设定区域。

[图17]是概念性地示出在显示部上显示的荧光光谱数据和荧光图像之间的关系的示意图。

[图18]是示出在处理单元中执行的处理的过程的修改的流程图。

[图19]是示出在处理单元中执行的处理的过程的另一修改的流程图。

[图20]是示出荧光观察设备的变形例的示意性框图。

[图21]是示出荧光观察设备的其他变形例的示意性框图。

具体实施方式

现在将参考附图描述根据本技术的实施例。

图1是根据本技术的实施例的荧光观察设备的示意性框图，图2示出了荧光观察设备中的光学系统的示例。

[整体配置]

本实施例的荧光观察设备100包括观察单元1。观察单元1包括：激发部10，其以多个不同波长的线状照明照射病理标本(病理样品)，该线状照明在不同轴线上彼此平行地设置；载物台20，其支撑病理标本；以及光谱成像部30，其获取病理标本的线性激发荧光光谱(光谱数据)。

这里，在不同的轴线上彼此平行意味着线状照明位于不同的轴线上并且彼此平行。在不同的轴线上意味着不在同一轴线上，并且轴线之间的距离不受特别限制。相互平行不限于精确地相互平行，并且包括大致相互平行的状态。例如，由于诸如透镜的光学系统的畸变，或者由于制造公差，可能存在与平行状态的偏离，并且这种状态也被认为是彼此平行的。

荧光观察设备100还包括处理单元2。基于由观察单元1获取的病理标本(下文中也称为样品S)的荧光光谱，处理单元2通常形成病理标本的图像或输出荧光光谱的分布。这里，例如，图像是指具有RGB(红、绿和蓝)颜色的图像，其通过使用光谱中包含的染料的成分比率、来自样品的自体荧光等，或者使用光谱的波形进行转换而获得，或者是指特定波长范围内的亮度分布。

激发部10和光谱成像部30通过诸如物镜44的观察光学系统40连接到载物台20。该观察光学系统40包括使用聚焦机构60调节到最佳焦点(optimal focus)的功能。用于暗场显微术或明场显微术的非荧光观察部70可以连接到观察光学系统40。

荧光观察设备100可以连接到控制器80，该控制器80控制例如激发部(LD和快门开关的控制)、作为扫描机构的XY载物台、光谱成像部(照相机)、聚焦机构(检测器和Z台)，以及非荧光观察部(照相机)。

激发部10包括能够输出多个激发波长Ex1、Ex2…的多个光的多个光源L1、L2，…。多个光源中的每一者通常包括发光二极管(LED)、激光二极管(LD)、汞灯等。将多个光源中的每个光源的光变为线状照明，并且将线状照明照射到载物台20上的样品S上。

样品S通常由包括观察目标Sa(诸如图3所示的组织切片)的载玻片形成。然而，当然，样品S可以由除了这种载玻片之外的其它东西形成。样品S(观察对象Sa)用多种荧光染料染色。观察部1将样品S放大到所希望的倍率来观察样品S。在作为图3的放大部A的照明部中，如图4所示，设置多个线状照明(在本示例中为两个(Ex1、Ex2))，且光谱成像部30的图像捕获区域R1、R2被设置为与各线状照明的照明区域重叠。这两个线状照明Ex1和Ex2各自平行于Z轴线方向，并且在Y轴线方向上以指定距离(Δy)彼此远离地设置。

图像捕获区域R1、R2分别与光谱图像捕获部30的观察狭缝31(图2)的狭缝部对应。换言之，在光谱成像部30中设置与线状照明的数量相同数量的狭缝部。尽管在图4中照明的线宽大于狭缝宽度，但是照明的线宽较大的情况和狭缝宽度较大的情况都是可以接受的。当照明的线宽大于狭缝宽度时，可以使用于使激发部10与光谱成像部30对准的裕度更大。

第一线状照明Ex1的波长和第二线状照明Ex2的波长彼此不同。通过观察光学系统40在光谱成像部30中观察分别由这些线状照明Exl和Ex2激发的多个线性荧光。

光谱成像部30包括：观察狭缝31，其包括多个狭缝部；以及至少一个成像装置32，其能够分开地接收通过观察狭缝31的多个荧光，其中允许由多个线状照明中的每个线状照明激发的荧光通过多个狭缝部中的对应的一个狭缝部。采用诸如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)的二维成像装置作为成像装置32。观察狭缝31在光路中的布置使得可以在没有荧光光谱重叠的情况下检测由各个线激发的荧光光谱。

光谱成像部30使用位于成像装置32的特定方向(例如，正交方向)上的像素阵列作为波长通道，从每个线状照明Ex1和Ex2获取荧光的光谱数据(x，λ)。在光谱数据与对光谱数据进行激发的激发波长相关联的状态下，将所获取的光谱数据(x，λ)记录在处理单元2中。

处理单元2可以由计算机中使用的硬件元件来实现，诸如中央处理单元(CPU)、随机存取存储器(RAM)、只读存储器(ROM)，以及必要的软件。代替CPU或除了CPU之外，可以使用可编程逻辑装置(PLD)，诸如现场可编程门阵列(FPGA)、数字信号处理器(DSP)、专用集成电路(ASIC)等。

处理单元2包括存储器21，该存储器在其中存储指示多个线状照明Exl和Ex2的波长与由成像装置32接收的荧光之间的相关性的光谱数据。诸如非易失性半导体存储器或硬盘驱动器的存储设备被用作存储器21，并且与样品S相关的自体荧光的标准光谱和染色样品S的染料单体的标准光谱被预先存储在存储器21中。例如，由成像装置32接收的光谱数据(x，λ)如图5和图6所示被获取，并存储在存储器21中。在本实施例中，其中存储样品S的自体荧光的标准光谱和样品S的染料单体的标准光谱的存储器，以及其中存储由成像装置32获取的样品S的光谱数据(测量光谱)的存储器由存储器21共同形成。然而，存储器不限于此示例，且其可由单独的存储器形成。

图5和图6是描述当成像装置32包括接收通过观察狭缝31的每个荧光的单个图像传感器时用于获取光谱数据的方法的示图。在该示例中，分别由线状照明Exl和Ex2激发的荧光光谱Fs1和Fs2的图像最终通过光谱光学系统(稍后描述)在成像装置32的光接收表面上形成，在该状态下，荧光光谱Fs1和Fs2相对于彼此移动与Δy成比例的量(参考图4)。

如图5所示，从线状照明Ex1获得的信息被记录为Row_a和Row_b，从线状照明Ex2获得的信息被记录为Row_c和Row_d。在除了这些信息的区域之外的区域中的数据不被读取。由此，成像装置32的帧率可以比全帧执行读取时快Row_full/(Row_b-Row_a+Row_d-Row_c)倍。

如图2所示，将二向色镜42和带通滤光器45插入光路中，使得激发光(Ex1，Ex2)不能到达成像装置32。在这种情况下，在其图像形成在成像装置32上的荧光光谱Fsl中产生间歇部(intermittent portion)IF(参考图5和图6)。通过从读取目标区域中排除这样的间歇部IF，可以进一步提高帧速率。

如图2所示，成像装置32可以包括多个成像装置32a和32b，每个成像装置能够接收通过观察狭缝31的荧光。在这种情况下，如图7所示，在成像装置32a和32b上分别获取分别由各线状照明Ex1和Ex2激发的荧光光谱Fs1和Fs2，并且将荧光光谱Fs1和Fs2分别与激发光相关联地存储在存储器21中。

线状照明Ex1和Ex2中的每一者不限于具有单个波长，并且可以具有多个波长。当线状照明Ex1和Ex2中的每一者具有多个波长时，在多个波长中的每一者激发的荧光还包括多个光谱。在这种情况下，光谱成像部30包括用于基于激发波长将荧光分离成光谱的波长分散元件。波长分散元件包括衍射光栅、棱镜等，并且通常设置在观察狭缝31和成像装置32之间的光路中。

观察单元1还包括扫描机构50，该扫描机构50在载物台20上在Y轴线方向上，即在线状照明Ex1和Ex2设置的方向上，扫描多个线状照明Ex1和Ex2。扫描机构50的使用使得可以在Y轴线方向上连续地记录染料光谱(荧光光谱)，该染料光谱在不同激发波长下被激发并且在样品S(观察目标Sa)上在空间上彼此分离Δy。在这种情况下，例如，如图8所示，图像捕获区域Rs在X轴线方向上被分割为多个区域，并且重复执行以下操作：在Y轴线方向上扫描样品S，随后在X轴线方向上移动样品S，并且进一步在Y轴线方向上执行扫描。可以在单次扫描中捕获来自样品的光谱的图像，光谱在若干激发波长下被激发。

扫描机构50通常在Y轴线方向上扫描载物台20。然而，可以使用在途中的光学系统中设置的检流计镜在Y轴线方向上扫描多个线状照明Ex1和Ex2。最后，针对多个线状照明Ex1和Ex2中的每一者获取图9所示的三维数据(X，Y，λ)。基于线状照明Ex1和Ex2中的一者的三维数据是通过相对于Y轴线将坐标从线状照明Ex1和Ex2中的另一者的坐标移位Δy而获得的数据。因此，基于预先记录的Δy的值或基于从成像装置32的输出计算的Δy的值执行校正，并且输出通过校正获得的数据。

在上述示例中，用作激发光的线状照明的数量是两个，但不限于该示例。线状照明的数量可以是三个、四个，或五个或更多。此外，每个线状照明还可以包括为了使颜色分离性能劣化最小化而选择的多个激发波长。此外，尽管没有获得由在不同轴线上彼此平行的多个线状照明提供的分离性能，但是即使当线状照明的数量是一个时，也可以通过使用包括多个激发波长的激发光源并且通过记录与由成像装置获得的行数据相关联的激发波长来获得多色光谱。例如，也可以采用图10所示的配置。

[观察单元]

接下来，参考图2对观察单元1进行详细说明。这里，描述应用了图10的配置示例2的观察单元1的一个示例。

激发部10包括多个(本示例中为四个)激发光源L1、L2、L3和L4。激发光源L1至L4分别由分别输出波长为405nm、488nm、561nm和645nm的激光的激光光源形成。

激发部10还包括多个准直透镜11、多个激光线滤光器12、二向色镜13a、13b和13c、均化器14、聚光透镜15和光入射狭缝16，其中，准直透镜11中的每一者和激光线滤光器12中的每一者对应于激发光源L1至L4中的相应一者。

从激发光源L1发射的激光和从激发光源L3发射的激光中的每一者都由准直透镜11准直，每个都穿过激光线滤光器12以使其波段变窄，并且通过二向色镜13a设置在相同的轴线上。同一轴线上的两个激光分别由诸如复眼透镜的均化器14和聚光透镜15进一步形成为光束以成为线状照明Ex1。

同样，从激发光源L2发射的激光和从激发光源L4发射的激光由二色镜13b和13c设置在同一轴线上，以变成线状照明，该线状照明是位于与线状照明Exl的轴线不同的轴线上的线状照明Ex2。线状照明Ex1和Ex2在不同的轴线(主图像)上形成线状照明，其中，线状照明Ex1和Ex2在包括多个狭缝部的光入射狭缝16(狭缝共轭)中以Δy彼此远离，其中，线状照明Ex1和Ex2中的每一者都被允许穿过狭缝部中的相应一者。

主图像通过观察光学系统40照射到载物台20上的样品S上。观察光学系统40包括聚光透镜41、二向色镜42、二向色镜43、物镜44、带通滤波器45和聚光透镜46。线状照明Ex1和Ex2由与物镜44配对的聚光透镜41准直，从二向色镜42和43反射以通过物镜44，并照射到样品S上。

在样品S的表面上形成如图4所示的照明。由每个照射激发的荧光由物镜44收集、被二向色镜43反射、通过二向色镜42和用于阻挡激发光的带通滤光器45，并再次由聚光透镜46收集以进入光谱成像部30。

光谱成像部30包括观察狭缝31、成像装置32(例如，成像装置32a、32b)、第一棱镜33、反射镜34、衍射光栅35(例如，波长分散元件)和第二棱镜36。

观察狭缝31相对于聚光透镜46的聚光点而设置，并包括与激发线的个数相同个数的狭缝部。来自已经穿过观察狭缝31的两个激发线的荧光光谱由第一棱镜33分离，并且每个通过反射镜34反射离开衍射光栅35的光栅表面以进一步分离成相应激发波长的荧光光谱。通过进行上述分离获得的四个荧光光谱通过反射镜34和第二棱镜36进入成像装置32a、32b，并用作光谱数据的信息(x，λ)提供。

每个成像装置32a、32b的像素尺寸(nm/像素)没有特别限制，并且被设置为例如在2nm和20nm之间，包括2nm和20nm。可以使用衍射光栅35的间距来提供，或者可以光学地提供，或者可以使用成像装置32a、32b中的每一者的硬件装仓(hardware binning)来提供该变化。

载物台20和扫描机构50形成XY载物台，并在X轴线方向和Y轴线方向上移动样品S以获取样品S的荧光图像。在整个载玻片成像(WSI)之后，重复执行操作，该操作包括在Y轴线方向上扫描样品S，在X轴线方向上移动样品S，以及在Y轴线方向上进一步扫描样品S(参考图8)。

非荧光观察部70例如包括光源71、二向色镜43、物镜44、聚光透镜72以及成像装置73。图2示出了使用暗场照明作为非荧光观察系统的观察系统。

光源71设置在载物台20的下方，从与线状照明Ex1、Ex2相对的一侧将照明光照射到载物台20上的样品S上。在暗场照明的情况下，光源71从物镜44的数值孔径(NA)的外部进行照射，并且使用成像装置73捕获由样品S衍射并穿过物镜44、二向色镜43和会聚透镜72的光的图像(暗场图像)。使用暗场照明使得甚至可以观察到明显透明的样品，诸如具有对比度的荧光染色样品。

注意，该暗场图像可以与荧光同时观察，并且可以用于实时聚焦。在这种情况下，可以选择不影响荧光观察的波长作为照射波长。非荧光观察部70不限于由获取暗场图像的观察系统形成，并且可以由能够获取诸如明场图像、相衬图像、相位图像或在线全息图像的非荧光图像的观察系统形成。例如，可以采用各种观察方法，如纹影法、相衬法(phasecontrast method)、偏振光显微术和表面照射法作为用于获取非荧光图像的方法。该照明光源不限于位于载物台下方，并且它可以位于该载物台上方或围绕该物镜。此外，不仅可以采用用于实时执行聚焦控制的方法，而且可以采用另外的方法，诸如预先记录聚焦坐标(Z坐标)的预聚焦映射方法。

图11示意性地示出了光谱成像部的另一配置示例。图中所示的光谱成像部130包括单个成像装置32。已经穿过包括狭缝部的观察狭缝31的每一个荧光穿过中继光学系统(第一棱镜33、反射镜34和反射镜37)和设置在途中的波长分散元件(诸如棱镜)38，并且在成像装置32上形成多个荧光的图像以作为数据(x，λ)(参考图5)。这里，狭缝部的数量与激发线的数量相同。在这种情况下，确定已经转换为激发光间隔Δy的基于像素的值，使得分散光谱在成像装置32上不重叠。

[处理单元]

将由成像装置32(32a、32b)获取的荧光光谱输出到处理单元2。处理单元2包括存储器21，并且还包括数据校准部22和图像形成部23，该数据校准部22校准存储在存储器21中的光谱数据，图像形成部23基于光谱数据和线状照明Exl和Ex2之间的间隔Δy形成样品S的荧光图像。

图12是示出在处理单元2中执行的处理过程的示例的流程图。

存储器21在其中存储由光谱摄像部30获取的光谱数据(荧光光谱Fs1、Fs2(参照图5和图7))(步骤101)。与样品S相关的自体荧光的标准光谱和染料单体的标准光谱预先存储在存储器21中。

存储器21仅在波长方向上从成像装置32的像素阵列提取感兴趣的波长区域以改进记录帧速率。感兴趣的波长区域对应于例如可见光的范围(380nm至780nm)或由染色样品S的染料的发射波长确定的波长范围。

除了感兴趣的波长区域之外的波长区域的示例包括其中存在不必要的波长的光的传感器区域，其中明显不存在信号的传感器区域，以及在途中的光路上将被二向色镜42或带通滤波器45阻挡的激发波长的区域。此外，可以根据线状照明的状态来切换传感器上方的感兴趣波长区域。例如，当仅有少数激发波长用于线状照明时，传感器上方的波长区域也受到限制，并且根据该限制，帧速率变得更高。

数据校正部22执行校正，该校正包括将存储在存储器21中的光谱数据从像素数据(x，λ)转换成基于波长的数据，使得所有的光谱数据被补充，使得所有的光谱数据是以波长为单位(例如[nm]或[μm])的数据并且共同具有离散值，并且使得补充后的光谱数据被输出(步骤102)。

像素数据(x，λ)不限于良好地设置在成像装置32的像素列中，并且可能由于光学系统的轻微倾斜或扭曲而失真。因此，当例如使用已知波长的光源将数据从像素的单位转换为波长的单位时，针对所有x坐标执行到不同波长(nm值)的转换。由于在该状态下难以处理数据，所以通过插值(诸如线性插值或样条插值)将数据转换为包括设置的整数的数据(步骤102)。

此外，存在灵敏度在线状照明的长轴线方向(X轴线方向)上变得不均匀的可能性。由于照明不均匀或狭缝宽度变化，灵敏度变得不均匀，这导致捕获的图像的亮度不均匀。因此，为了消除这种不均匀性，数据校准部22使用任意光源及其代表光谱(诸如光源的平均光谱和光谱辐射度)使灵敏度均匀，并输出均匀的灵敏度(步骤103)。通过使灵敏度均匀，消除了仪器误差，并且这使得可以节省每次在分析谱的波形时测量单独成分谱的工作。此外，还可以使用其中已经校准了灵敏度的亮度值来输出荧光染料的数量的近似定量值。

当校准光谱采用光谱辐射[W/(sr·m²·nm]时，对应于各个波长的成像装置32的灵敏度也被校正。如上，通过执行校准使得执行对用作参考的光谱的调整，不再需要为每个设备测量用于执行颜色分离计算的参考光谱。对于同一批中的稳定染料，可以利用在单次图像捕获中获得的数据。另外，在预先设定每个色素分子的荧光光谱强度的情况下，能够输出将灵敏度被校正后的亮度值进行换算后的荧光色素分子数的近似值。由于自体荧光成分也已经被分离，所以该值是高度定量的。

对于用线状照明Ex1和Ex2进行的照明范围类似地进行上述处理，照明范围位于在Y轴线方向上扫描的样品S中。因此，对于样品S的整个范围获得每个荧光光谱的光谱数据(X，Y，λ)。将所获得的光谱数据(X，Y，λ)存储在存储器21中。

图像形成部23基于存储在存储器21中的光谱数据(或者由数据校正部22校正的光谱数据)并且基于与激发线Ex1和Ex2的轴线间距离(Δy)对应的间隔(步骤104)来形成样品S的荧光图像。在本实施例中，图像形成部23将由成像装置32检测到的坐标已经利用与多个线状照明Ex1和Ex2之间的间隔(Δy)相对应的值被校正的图像形成为荧光图像。

基于线状照明Ex1和Ex2中的一者的三维数据是通过相对于Y轴线将坐标从线状照明Ex1和Ex2中的另一者的坐标移位Δy而获得的数据。因此，基于预先记录的Δy的值或基于从成像装置32的输出计算的Δy的值执行校正，并且输出通过校正获得的数据。这里，对由成像装置32检测到的坐标差进行校正，使得基于各个线状照明Ex1和Ex2的三维数据是相同坐标上的数据。

图像形成部23执行用于连接捕获的图像的处理(拼接)以获得一个大图像(WSI)(步骤105)。由此，能够获取与样品S(观察对象Sa)相关的多重病理图像。将所形成的荧光图像输出到显示部3(步骤106)。

此外，基于预先存储在存储器21中的样品S的自体荧光的标准光谱和样品S的染料单体的标准光谱，图像形成部23从通过执行图像捕获而获得的光谱数据(测量光谱)执行对样品S的自体荧光和染料的成分分布的分离计算。可以采用最小二乘、加权最小二乘等作为计算方法，并且计算系数使得通过执行图像捕获获得的光谱数据是上述标准光谱的线性和。所计算的系数的分布被存储在存储器21中，并且被输出以便以图像的形式在显示部3上显示(步骤107和108)。

[结论]

如上所述，本实施例使得可以提供一种多荧光扫描器，其中即使在观察目标染料的数量增加时，图像捕获时间也不会增加。

换言之，由多荧光扫描器捕获的数据是三维数据(X，Y，λ)。因此，在进行平面图像捕获的情况下，不可能一次获取所有的数据(X，Y，λ)，因此需要按时间顺序切换λ来执行图像捕获。此外，当使用平面光源(X，Y)进行照射以进行激发时，由于物理限制，按时间顺序切换激发波长的方法是不可缺少的。为了解决这些问题，在本实施例中，利用多个不同波长的线状照明来激发荧光，多个线状照明是在不同轴线上彼此平行设置的多个线状照明。将每一个线性激发的荧光光谱分离成(x，λ)，并使用二维传感器(成像装置)一次执行图像捕获。该配置使得能够在空间上而不是在时间上分离激发波长。由此，即使观察对象染料的个数增加，图像捕获时间也不会增加。

在该方法中需要一维扫描(Y方向)以获取二维数据。因此，与执行平面激发时相比，执行图像捕获明显花费时间。然而，如果允许与用于平面激发的光源发射功率相同的光源发射功率用于线照射，则将因为线照射由于其面积小而实现高功率密度而可能用更亮的光激发荧光。原因是荧光强度相对于激发功率密度线性增加，直到染料的能量吸收由于荧光特性而饱和。这导致曝光时间的减少，因此原则上可以最快地执行图像捕获以获得(x，y，λ)(由于激发的荧光未被丢弃，所以实现了高能量效率，并且这使得可以高速获取数据)。此外，由于以恒定速度执行扫描，所以该方法的优点在于，在大面积图像捕获中，其优于平面激发方法，该平面激发方法是需要重复执行停止-行进处理的方法。

此外，与使用分时类型的平面激发光谱成像设备相比，本实施例使得能够以更高的能量效率对荧光染料执行图像捕获。此外，不再需要为每个设备测量用于执行色彩分离计算的参考光谱。因此，对于在下一次测量中的相同批次中的稳定染料，可以利用在单次图像捕获中获得的数据。此外，染料分子的定量测量使得可以定量评估组织中或细胞表面上的抗原的数量。

[显示部]

接着，描述显示部3。

图13是描述显示部3的屏幕的示图。显示部3可以由与处理单元2一体连接的监视器构成，也可以是与处理单元2连接的显示设备。显示部3包括诸如液晶装置或有机EL装置的显示元件，以及触摸传感器，并且被配置为显示用于输入图像捕获条件、捕获的图像等的设置的用户界面(UI)。

如图13所示，显示部3包括主屏幕301、缩略图显示屏幕302、载玻片信息显示屏幕303和已经完成图像捕获的载玻片列表的显示屏幕304。主屏幕301包括用于图像捕获的操作按钮(按键)等的显示区域305、用于激发激光的设置区域306(激发部10)、用于来自线状照明Exl和Ex2的荧光光谱的检测设置区域307和308等。如果持续存在这些显示区域305至308中的至少一者，并且显示区域中的一者可以包括显示区域中的另一者就足够了。

荧光观察设备100顺序执行从载玻片(未示出)取出载玻片(样品S)、读取载玻片信息、捕获载玻片缩略图、设定曝光时间等。载玻片信息包括患者信息，关于组织部位、疾病和染色等的信息，并且从附着于载玻片的条形码或QR码(注册商标)读取。将样品S的缩略图像和载玻片信息分别显示在显示屏幕302和303上。关于已经完成图像捕获的载玻片的信息以列表的形式显示在屏幕304上。

除了样品S的荧光图像之外，在主屏幕301上显示当前正在执行图像捕获的载玻片的图像捕获状态。在设置区域306中显示或设置激发激光(线状照明Ex1和Ex2)，在检测设置区域307和308中显示或设置来自激发激光的荧光光谱。

图14示出了用于激发激光的设置区域306的屏幕配置的示例。这里，通过在复选框81上执行的触摸操作来选择并切换激发光源L1至L4中的每一者的输出的接通/断开。另外，通过操作部82设定各光源的输出的大小。在本示例中，将线照明Exl设定为激发光源L1的单一波长。

图15示出了用于来自线状照明ExI的荧光光谱的检测设定区域307的屏幕配置的一个示例的示例。图16示出了用于来自线状照明Ex2的荧光光谱的检测设置区域308的屏幕配置的示例。垂直轴线表示亮度，而水平轴线表示波长。

在图15和图16中，指标83指示激发光源(L1、L2和L4)接通，并且指示器83的较长长度指示光源的较大功率。荧光光谱85的检测波长范围由设定条84设定。

用于显示荧光光谱85的方法没有特别限制，并且例如，成像装置32的所有像素的平均光谱(波长×强度)被显示为荧光光谱85。可以根据激发光源的波长和功率来设置荧光光谱85。荧光光谱85以电流平均值的形式显示，或者以波形的形式显示，波形是根据图像被最先捕获的波形来计算的，该计算是考虑到设置的变化而执行的。

此外，如图15和图16所示荧光光谱85可以通过热图方法显示，其中用亮和暗指示关于值的频率信息。在这种情况下，还可以可视化未使用平均值实现的信号方差。

注意，用于显示荧光光谱85的图的垂直轴线不限于线性轴线，并且可以是对数轴线或混合轴线(双指数轴线)。

显示部3能够针对每个激发线(Ex1，Ex2)分开显示荧光光谱。此外，显示部3还包括UI，该UI包括用于明确地显示光源的波长和功率的操作区域，该波长被照射到每个激发线上。显示部3还包括用于显示每个荧光光谱的检测波长范围的UI。换言之，显示部3被配置为使得成像装置32的读取区域基于所设置的波长范围而改变。

由此，能够以容易理解的方式在对不同的轴线上进行激发的荧光观察设备中向使用者呈现图像捕获状态。具体地，通过向显示部3设置荧光光谱的检测设定区域307、308，即使在不同的轴线上进行激发，也能够以容易理解的方式显示激发线与激发波长之间的关系，以及激发波长与图像捕获波长范围之间的关系。

显示部3在主屏幕301上显示从图像形成部23输出的样品S的荧光图像。从图像形成部23输出到显示部3的荧光图像，在使用与不同的轴线上的狭缝(观察狭缝31的各狭缝部)的检测坐标的差对应的值(线照明Ex1和Ex2的间隔Δy)进行了校正的状态下，呈现给用户。这使得用户能够在不知道不同轴线上的检测位置之间的差异的情况下识别通过多重显示多条分解图像数据而获得的图像。

例如，如图17所示，使用基于多个线状照明Ex1和Ex2的多个光谱数据来生成多个分解图像(与染料1相关的图像和与染料2相关的图像)，并且叠加不同颜色的各个图像以在主屏幕301上显示。这里，通过对对应于Δy的Y坐标的差进行校正，将与染料1相关的图像叠加在与染料2相关的图像上。

每个分解图像对应于用于分离计算的标准光谱，即染色染料。除了叠加有各个分解图像的染料图像之外，可以在主屏幕301上显示用于选择所显示的染料的屏幕。在这种情况下，结合染料的选择切换图像显示，并且当选择染料1和2时，仅显示对应于染料1和2的图像，如图17所示。

将上述校正值Δy存储在存储器21中并作为内部信息进行管理。显示部3能够显示关于Δy的信息，或者能够改变所显示的Δy。该校正值(Δy)不仅可以包括用于对狭缝之间的距离(或线状照明之间的间隔)进行校正的值，还可以包括用于对诸如光学系统中的畸变的畸变量进行校正的值。当使用不同的相机(成像装置)检测每种染料的光谱时，校正值(Δy)可以包括与相对于每个相机在Y轴线方向上检测到的坐标相关的校正量。

<变形例>

在上述实施例中，使用Δy调整图像的处理(图12中的S104)和拼接处理(相同图中的S105)在用于颜色分离的计算处理(相同图中的S107)之前分别在处理单元2中执行。然而，处理过程不限于此。该方法具有不仅获得分色图像而且获得光谱数据(光谱学数据)的拼接数据的优点。另一方面，在存储器21中存储了大量数据。因此，可以在用于颜色分离的计算的处理之后执行使用Δy调节图像的处理和拼接处理中的至少一者，如图18和图19所示。

图18示出了在颜色分离计算处理(S107)之后执行拼接处理(S105)的处理过程的示例。在该示例中，对于具有大数据尺寸的光谱数据不执行拼接，而是仅对于已经执行了颜色分离计算的图像执行拼接。在这种情况下，在执行用于颜色分离的计算之前，针对光谱数据执行使用Δy(S104)调整图像的处理。该示例使得可以通过对通过连接多条激发线的光谱数据而获得的数据执行颜色分离来提高分离图像的SN比。

另一方面，图19示出在颜色分离计算处理(S107)之后执行使用Δy调节图像的处理(S104)和拼接处理(S105)的处理过程的示例。在该示例中，由于不对光谱数据执行拼接，所以不期望提高分离图像的SN比。然而，由于使用Δy调整图像的处理是针对具有少量数据的分离图像执行的，因此可以执行更高级别的诸如考虑子像素的对准校正。

接着，对上述荧光观察设备100的配置的变形例进行说明。

图20是根据第一变形例的荧光观察设备101的示意性框图，图21是根据第二变形例的荧光观察设备102的示意性框图。荧光观察设备101和102均包括观察单元1、处理单元2、显示部3和控制程序81。

控制程序81是使荧光观察设备101和102执行与上述荧光观察设备100的控制器80所执行的控制功能相同的功能的程序。在图20所示的荧光观察设备101中，控制程序81以存储在磁盘、光盘、磁光盘或闪存等记录介质中的状态提供，并下载到与荧光观察设备101连接的计算机C等并由其使用。

另一方面，在图21所示的荧光观察设备102中，通过因特网等网络从外部分发的控制程序81被下载到计算机C等并由其使用。在这种情况下，荧光观察设备102和用于获取控制程序81的代码被打包提供。

下载了控制程序81的电子计算机C获取用于控制激发部10、光谱成像部30、扫描机构50、聚焦机构60、非荧光观察部70等的各种数据。执行下载的控制程序81的控制算法，并计算荧光观察设备101、102的控制条件。通过计算机C基于计算的条件向荧光观察设备101、102给出指令来自动控制荧光观察设备101、102的条件。

注意，本技术还可以采用以下配置。

(1)一种荧光观察设备，包括：

载物台，能够支撑荧光染色的病理标本；

激发部，用不同波长的多个线状照明照射载物台上的病理标本，多个线状照明是位于不同轴线上并平行于特定轴线方向的多个线状照明；以及

光谱成像部，包括至少一个成像装置，成像装置能够分开地接收分别由多个线状照明激发的多个荧光。

(2)根据(1)的荧光观察设备，其中

激发部被配置成用于将各自具有不同波长的组合的多个线状照明作为多个线状照明照射在病理标本上。

(3)根据(2)的荧光观察设备，其中

光谱成像部还包括波长分散元件，波长分散元件分离分别由多个线状照明激发的多个荧光中的每一个。

(4)根据(1)至(3)中任一项的荧光观察设备，其中，

光谱成像部还包括观察狭缝，观察狭缝包括多个狭缝部，分别由多个线状照明激发的多个荧光中的每一个荧光被允许通过多个狭缝部中的对应的一个狭缝部。

(5)根据(1)至(5)项中任一项的荧光观察设备，还包括

扫描机构，在载物台上在与特定轴线方向正交的方向上扫描多个线状照明。

(6)根据(1)至(5)项中任一项的荧光观察设备，还包括

处理单元，包括存储器，存储器在其中存储指示多个线状照明中的每一者的波长与由成像装置接收的荧光之间的相关性的光谱数据。

(7)根据(6)的荧光观察设备，其中

处理单元还包括图像形成部，图像形成部基于存储在存储器中的光谱数据和多个线状照明之间的间隔来形成病理标本的荧光图像。

(8)根据(7)的荧光观察设备，其中

图像形成部形成图像作为荧光图像，在图像中，已经使用与多个线状照明之间的间隔相对应的值来校正由成像装置检测到的坐标。

(9)根据(6)的荧光观察设备，其中

处理单元还包括数据校准部，该数据校准部对存储在存储器中的光谱数据进行校准。

(10)根据(7)至(9)中任一项的荧光观察设备，其中，

存储器在其中预先存储了标准光谱，标准光谱是与病理标本相关的自体荧光的标准光谱和染色病理标本的染料单体的标准光谱，并且

图像形成部基于自体荧光的标准光谱和染料单体的标准光谱输出光谱数据的成分分布。

(11)根据(4)的荧光观察设备，其中

成像装置包括每个能够接收穿过观察狭缝的荧光的多个成像装置。

(12)根据(1)至(11)项中任一项的荧光观察设备，还包括：

非荧光观察部，非荧光观察部包括照射载物台上的病理标本的光源；以及

成像部，获取病理标本的非荧光图像。

(13)根据(1)至(12)项中任一项的荧光观察设备，还包括：

显示部，针对多个线状照明中的每一者，分开显示荧光光谱，该荧光光谱分别由多个线状照明激发。

(14)根据(13)的荧光观察设备，其中

显示部包括允许设定多个线状照明中的每一者的波长和输出的操作区域。

(15)根据(13)或(14)的荧光观察设备，其中，

显示部包括用于显示荧光光谱的检测波长范围的显示区域。

(16)一种荧光观察方法，包括：

用多个不同波长的线状照明照射载物台上的病理标本，多个线状照明是位于不同轴线上并平行于特定轴线方向的多个线状照明；以及

分开地接收分别由多个线状照明激发的多个荧光。

(17)根据(16)的荧光观察方法，还包括

在载物台上在与特定轴线方向正交的方向上扫描多个线状照明。

(18)根据(16)或(17)的荧光观察方法，其中，

使用各自具有不同波长的组合的多个线状照明作为多个线状照明。

参考符号列表

1 观察单元

2 处理单元

3 显示部

10 激发部

20 载物台

21 存储器

22 数据校准部

23 图像形成部

30、130 光谱成像部

31 观察狭缝

32、32a、32b 成像装置

35 衍射光栅

38 棱镜

50 扫描机构

70 非荧光观察部

80 控制器

81 控制程序

100、101、102 荧光观察设备

Ex1，Ex2 线状照明

S 样品。

Claims (18)

1.一种荧光观察设备，包括：

载物台，能够支撑荧光染色的病理标本；

激发部，用不同波长的多个线状照明照射所述载物台上的所述病理标本，所述多个线状照明是位于不同轴线上并平行于特定轴线方向的多个线状照明；以及

光谱成像部，包括至少一个成像装置，所述成像装置能够分开地接收分别由所述多个线状照明激发的多个荧光。

2.根据权利要求1所述的荧光观察设备，其中，

所述激发部被配置成用于将各自具有不同波长的组合的多个线状照明作为所述多个线状照明照射在所述病理标本上。

3.根据权利要求2所述的荧光观察设备，其中，

所述光谱成像部还包括波长分散元件，所述波长分散元件分离分别由所述多个线状照明激发的所述多个荧光中的每一个。

4.根据权利要求1所述的荧光观察设备，其中，

所述光谱成像部还包括观察狭缝，所述观察狭缝包括多个狭缝部，分别由所述多个线状照明激发的所述多个荧光中的每一个荧光被允许通过所述多个狭缝部中的对应的一个狭缝部。

5.根据权利要求1所述的荧光观察设备，还包括

扫描机构，在所述载物台上在与所述特定轴线方向正交的方向上扫描所述多个线状照明。

6.根据权利要求1所述的荧光观察设备，还包括

处理单元，包括存储器，所述存储器在其中存储指示所述多个线状照明中的每一者的波长与由所述成像装置接收的所述荧光之间的相关性的光谱数据。

7.根据权利要求6所述的荧光观察设备，其中，

所述处理单元还包括图像形成部，所述图像形成部基于存储在所述存储器中的所述光谱数据和所述多个线状照明之间的间隔来形成所述病理标本的荧光图像。

8.根据权利要求7所述的荧光观察设备，其中，

所述图像形成部形成图像作为所述荧光图像，在所述图像中，已经使用与所述多个线状照明之间的间隔相对应的值来校正由所述成像装置检测到的坐标。

9.根据权利要求6所述的荧光观察设备，其中，

所述处理单元还包括数据校准部，所述数据校准部对存储在所述存储器中的光谱数据进行校准。

10.根据权利要求7所述的荧光观察设备，其中，

所述存储器在其中预先存储了标准光谱，所述标准光谱是与所述病理标本相关的自体荧光的标准光谱和染色所述病理标本的染料单体的标准光谱，并且

所述图像形成部基于所述自体荧光的所述标准光谱和所述染料单体的所述标准光谱输出所述光谱数据的成分分布。

11.根据权利要求4所述的荧光观察设备，其中，

所述成像装置包括每个能够接收穿过所述观察狭缝的荧光的多个成像装置。

12.根据权利要求1所述的荧光观察设备，还包括：

非荧光观察部，所述非荧光观察部包括照射所述载物台上的所述病理标本的光源；以及

成像部，获取所述病理标本的非荧光图像。

13.根据权利要求1所述的荧光观察设备，还包括：

显示部，针对所述多个线状照明中的每一者，分开显示荧光光谱，所述荧光光谱分别由所述多个线状照明激发。

14.根据权利要求13所述的荧光观察设备，其中，

所述显示部包括允许设定所述多个线状照明中的每一者的波长和输出的操作区域。

15.根据权利要求13所述的荧光观察设备，其中，

所述显示部包括用于显示所述荧光光谱的检测波长范围的显示区域。

16.一种荧光观察方法，包含：

用多个不同波长的线状照明照射载物台上的病理标本，所述多个线状照明是位于不同轴线上并平行于特定轴线方向的多个线状照明；以及

分开地接收分别由所述多个线状照明激发的多个荧光。

17.根据权利要求16所述的荧光观察方法，还包含

在所述载物台上在与所述特定轴线方向正交的方向上扫描所述多个线状照明。

18.根据权利要求16所述的荧光观察方法，其中，

使用各自具有不同波长的组合的多个线状照明作为所述多个线状照明。

Images