CN116223457A - 分析多种荧光团的混合荧光响应的方法和荧光分析仪 - Google Patents

Abstract

提供了一种分析显微样品中多种荧光团的混合荧光响应的方法、荧光分析仪、荧光显微镜和计算机程序。该方法包括光谱解混和用于确定和验证其参考发射光谱的过程。该过程包括以下步骤：(a)为样品的图像的序列提供多个图像采集设置，图像等于或大于多种荧光团并且包括用于图像序列中的每一个的照明设置，(b)使用多个图像采集设置采集样品的图像序列，并将样品的图像序列中的每一个与对应的照明设置一起存储，(c)使用一个或多个参考发射光谱确定算法来确定待从样品的图像序列重构的荧光团的候选参考发射光谱，以及(d)有条件地使用所述候选参考发射光谱作为所述光谱解混中的参考发射光谱。

Description

分析多种荧光团的混合荧光响应的方法和荧光分析仪

技术领域

本发明涉及一种分析显微样品中多种荧光团的混合荧光响应的方法，以及一种荧光分析仪、一种荧光显微镜和一种计算机程序。

背景技术

WO 2021/185557 A1公开了一种用于对包括具有不同光谱发射特性的不同荧光团的物体进行成像的荧光显微镜。荧光显微镜包括光学系统，该光学系统被配置成收集从视场内的不同荧光团发射的荧光，以聚焦荧光用于检测。提供了一种光谱分光布置，该光谱分光布置被配置成将视场内收集的荧光分成至少两个光谱不同的荧光分量。包括至少两个图像传感器的多通道检测器系统被配置成基于至少两个光谱不同的荧光分量来检测至少两个空间光强度分布，其中每个空间光强度分布表示视场上的物体的图像。该荧光显微镜还包括处理器，该处理器被配置成基于每个空间光强度分布的光谱解混分析来确定不同荧光团种类的空间分布。

本发明的目的是改善在与所讨论的系统类似的系统中，但也在任何其他荧光显微镜和其中分析多种荧光团的荧光响应的类似设备中进行的光谱解混过程，特别是在有效性和用户友好性方面进行改善。

发明内容

提供了一种分析显微样品中多种荧光团的混合荧光响应的方法，其中混合荧光响应包括多种荧光团中的每一种的单独荧光响应的贡献，其中该方法包括使用光谱解混基于待重构的荧光团的参考发射光谱或端元光谱(endmember spectra)从混合荧光响应重构所述单独荧光响应。

所述方法包括用于确定和验证参考发射光谱的过程，所述过程包括(a)为样品的图像序列提供多个图像采集设置，图像等于或大于多种荧光团并且包括用于图像序列中的每一个的照明设置，(b)使用多个图像采集设置采集样品的图像序列，并且将样品的图像序列中的每一个与对应的照明设置一起存储，(c)使用一个或多个参考发射光谱确定算法从样品的图像序列确定待重构的荧光团的候选参考发射光谱，以及(d)有条件地使用所述候选参考发射光谱作为所述光谱解混中的参考发射光谱。

根据本发明的实施例提出的方法能够可靠地确定用于荧光图像的光谱解混的参考发射光谱。这是在最少的用户干预下通过自动采集必要的图像、执行光谱确定、任选地检查光谱确定的真实性以及任选地向用户给出关于光谱确定结果的反馈来实现的。该方法可以直接在之后待成像的样品上执行，从而不需要附加的参考样品。

在本发明的实施例中，该方法还包括另外的步骤(i)在上文所指示的步骤(c)与(d)之间对候选参考发射光谱执行真实性检查(plausibility check)，真实性检查的结果指示候选参考发射光谱对于待重构的荧光团是否可信；以及另外的步骤(ii)如果真实性检查的结果是肯定的，则使用所述候选参考发射光谱作为根据上文所指示的步骤(d)的所述光谱解混中的参考发射光谱，或者如果真实性检查是否定的，则拒绝所述候选参考发射光谱。在本发明的实施例中，所述真实性检查确保仅有效的参考发射光谱被进一步使用；即，如果发现候选参考发射光谱无效，则可以将其丢弃，并且例如可以替代地使用默认或先前的参考端元光谱。

在本发明的实施例中，照明设置可以是线性独立的。如果照明设置被表示为每列有一个照明设置并且每行有相应强度的矩阵，则预期存在线性独立性。这是当使用单独启用的光源时对角矩阵的情况，但也可以是当若干个光源被启用时的情况。因此，本发明的实施例可以通用地和灵活地适用于这些不同的情况。

根据本发明的实施例，用于图像序列中的每一个的照明设置可以包括在多个光源中选择单个光源，该单个光源包括发光二极管、给定中心波长的激光器或者波长选择设备，该波长选择设备可以特别地被配置成从宽带光源中选择(连续的)照明光谱，该宽带光源例如选自经典的滤波器、声光滤波器或选择设备以及光谱仪。因此，本发明的实施例可用于大量不同类型的荧光显微镜技术。

通常，根据本发明的实施例，用于确定和验证参考发射光谱的过程可以在至少两个时间实例中执行，至少两个时间实例包括先前实例和后续实例。这允许在该过程的后续实例中(重新)使用先前得到的结果。

根据本发明的实施例，在后续实例中执行真实性检查可以包括基于在先前实例中采集的参考发射光谱执行评估。根据本发明的实施例，当在先前实例中执行真实性检查的所述结果是肯定的时，所述候选参考发射光谱可以被存储以在所述后续实例中的所述真实性检查中使用。特别地，在这样的实施例中，从一个实例到另一个实例的逐渐改善变得可能。

根据本发明的实施例，如果当在先前实例中真实性检查是肯定的时，在后续实例中使用的设置是基于在先前实例中使用的照明设置，则这种结果的逐渐改善或者结果的有利(重新)使用特别变得可能。

根据本发明的实施例，图像采集设置可以包括基于样品性质选择的检测器或相机设置，样品性质包括样品的活动性或敏感性中的至少一个，并且检测器或相机设置包括合并(binning)因子、扫描速度、扫描分辨率、增益值和曝光时间中的至少一个。也就是说，在这样的实施例中，设置可以具体地适于或多或少活动的或敏感的样品，从而改善结果，同时特别地保护敏感的样品。

在本发明的实施例中，可以使用荧光显微镜来确定混合荧光响应，其中该荧光显微镜是被配置成在选自宽场模式、共焦模式和光片模式的至少一种显微镜模式下操作的荧光显微镜，并且其中用于确定和验证参考发射光谱的过程针对所述显微镜模式中的至少一种模式来执行。因此，本发明的实施例允许灵活地操作单个仪器的多种模式。

根据本发明的实施例，用于确定和验证参考发射光谱的过程可以作为对校准请求的响应来执行，其中校准请求可以是由用户发出的校准请求、基于图像分析步骤的结果发出的校准请求、基于预定义时间点发出的校准请求和当确定视场变化时发出的校准请求中的至少一个。也就是说，本发明的实施例允许定期(重新)校准或基于需求的(重新)校准，并因此得到改善的分析结果。

特别地，并且在本发明的实施例中，当图像分析指示预定强度范围内的相邻像素的数量和/或对应于在解混图像之间计算的相关系数的值高于预定阈值时，可以发出所述校准请求。因此，可以使用可靠并自动的确定来确定何时需要(重新)校准。

在本发明的实施例中，可以向用户发出用户反馈和/或可以向用户提供使用默认参考发射光谱的可能性。这允许通常有知识的用户的专业知识的参与。

在本发明的实施例中，所述一个或多个参考发射光谱确定算法可以包括N-FINDR算法、像素纯度指数、非负矩阵或张量因子分解、顶点或主成分分析、经训练的神经网络和优化算法中的至少一个。这些算法可以单独使用或者组合使用，并且对于得到可靠的结果特别有利。

根据本发明的实施例，参考激发光谱可以被提供并在确定候选参考发射光谱中被使用。

在本发明的实施例中，候选参考发射光谱的真实性检查可以包括确定与给定参考发射光谱的欧几里德距离、与给定参考发射光谱的光谱角以及候选参考发射光谱的非负性中的至少一个。相应的参数特别适合于确定与预期或参考值的相似性，并且因此评估光谱的有效性。

在本发明的另一个实施例中，所述真实性检查可以包括将真实性值与真实性阈值进行比较，其中所述真实性阈值对于所述荧光团是不同的。这允许单独地且适当地考虑每种荧光团及其特定的性质。

在本发明的实施例中，所述解混可以包括线性解混、相量解混、确定最大似然估计量或其组合中的至少一种。这种方法是特别合适的解混方法，并且可以选择所使用的方法以优选地匹配具体的分析情况。

根据本发明的实施例，指示候选参考发射光谱与预期值的偏差的值可用于导出样品性质。因此，本发明的实施例不仅允许对光谱解混进行有利的(重新)校准，而且允许通过使用相同的方法来确定样品性质，例如酸度。

根据本发明的实施例，荧光团的数量及其光谱可以从混合荧光响应中导出。这允许分析其中不知道荧光团的数量及其光谱的未知样品。

还提供了一种被配置用于分析显微样品中多种荧光团的混合荧光响应的荧光分析仪，其中所述混合荧光响应包括多种荧光团的单独荧光响应的贡献。所述分析包括使用光谱解混基于待重构的荧光团的参考发射光谱从混合荧光响应重构所述单独荧光响应。作为对校准请求的响应，荧光分析仪被配置成执行用于确定和验证参考发射光谱的过程，该过程包括：(a)为样品的图像序列提供多个图像采集设置，图像等于或大于多种荧光团并且包括用于图像序列中的每一个的照明设置，(b)使用多个图像采集设置采集样品的图像序列，并将样品的图像序列中的每一个与对应的照明设置一起存储，(c)使用一个或多个参考发射光谱确定算法从样品的图像序列确定待重构的荧光团的候选参考发射光谱，以及(d)有条件地使用所述候选参考发射光谱作为所述光谱解混中的参考发射光谱。

对于根据本发明实施例的这种荧光分析仪及其进一步的特征和优点，参考与根据本发明实施例的方法及其修改相关的解释。

根据本发明的实施例，荧光分析仪可以被配置成执行用于确定和验证参考发射光谱的过程，该过程包括另外的步骤(i)，在上文所指示的步骤(c)与(d)之间执行候选参考发射光谱的真实性检查，真实性检查的结果指示候选参考发射光谱对于待重构的荧光团是否可信，以及另外的步骤(ii)，如果真实性检查的结果是肯定的，则使用所述候选参考发射光谱作为根据上文所指示的步骤(d)的所述光谱解混中的参考发射光谱，或者如果真实性检查是否定的，则拒绝所述候选参考发射光谱。再次，关于根据本发明的实施例及其修改的具体的进一步特征，参考上文的解释。

根据本发明实施例的荧光分析仪包括一个或多个处理器和一个或多个存储设备，其适于呈现图形用户接口，该图形用户接口被配置成提供用于步骤(a)至(e)中的至少一个的触发、录入参数和评估结果中的至少一个的控件。对应的实施例特别改善了用户友好性。

根据本发明的实施例，荧光分析仪可以被配置成执行如以上实施例中所解释的方法，因此具体参考上文的解释。

还提供了一种荧光显微镜，该荧光显微镜被配置成确定显微样品中多种荧光团的混合荧光响应。关于荧光显微镜，其包括如上文所提到的荧光分析仪，并且在实施例中，包括多个检测器和多个光源，再次参考上文的解释。

还提供了一种具有程序代码的计算机程序，当该计算机程序在处理器上运行时，该程序代码用于执行之前在不同方面解释的方法，并且同样受益于对应的优点。

附图说明

图1图示了显微镜系统。

图2图示了显微镜的方面。

图3图示了荧光检测的方面。

图4图示了根据本发明实施例的方法。

图5图示了荧光检测的另外的方面。

具体实施方式

在常规的荧光显微术中，滤波器用于选择性地捕获给定荧光团的荧光发射光谱的一部分，以增加专一性。然而，如果在这种情况下要捕获若干种荧光团的荧光响应，这经典地需要切换滤波器，这种切换通常是缓慢的，因此是不利的，例如，如果观察移动的样品。

最近，具有用于不同波长范围的不同检测通道的显微镜也变得为人所知。例如，EP3 721 279 B1公开了一种显微镜系统，该显微镜系统包括检测单元，该检测单元适于使用多个检测器检测不同颜色通道中荧光团的荧光响应。在这样的系统中，不再需要切换滤波器来单独地检测不同的颜色通道，这样的系统也将在下面参考图1和图2进行讨论。

使用不同检测器提供对不同颜色通道的检测的荧光显微镜也可以作为允许用户在不同显微镜操作模式之间进行选择的系统提供，这些显微镜操作模式包括但不限于宽场操作模式、共焦操作模式和光片操作模式。图1以更一般的方式图示了包括这种显微镜100的显微镜系统1000，并且图2图示了这种显微镜100中切换宽场和共焦操作以及相应的照明和检测单元的细节。然而，应当指出的是，本发明的实施例不限于结合具有不同检测通道的显微镜或者能够在不同显微镜操作模式下操作的显微镜使用。

不管使用滤波器还是不同的检测通道，都可以观察到所谓的交叉激发和交叉发射。交叉激发是这样一种现象，即具有某一激发波长的荧光团当被不同波长的激发光照射时，在某种程度上也可以发射荧光。交叉发射是这样的荧光响应的效应，即该荧光响应通常并非某一波长处的尖峰，而是可能在相邻通道中在某种程度上检测到的光谱。也就是说，单独使用滤波器或不同的检测通道，荧光团之间的清晰分离也许是不可能的。当使用其相应激发和发射波长差异相对较小的不同荧光团时，情况尤其如此。

为了解决重叠的荧光团发射问题，已经开发了上面已提到的解混方案。这些通常能够对多种荧光团同时成像。例如，由T.Zimmermann在名称为“Spectral Imaging andLinear Unmixing in Light Microscopy(光学显微术中的光谱成像和线性解混)”的文章，Adv.Biochem.Eng.Biotechnol.(2005)95:245–265中给出了概述。在这些解混方案中，诸如由检测器检测的单种荧光团的“纯”荧光发射的光谱分布(所谓的“端元光谱”，或“参考发射光谱”)用于从多个检测器图像或不同荧光发射的贡献恢复空间荧光团丰度。这些参考发射光谱可以使用对照样品测量，或者从荧光团发射光谱的文献值和设备灵敏度计算。

然而，在这种解混方法中，解混结果的质量将取决于端元光谱与样品中荧光团的实际光谱的匹配程度。已知荧光团的发射光谱是可变的，特别是取决于化学环境、目标蛋白质、照明光谱或照明历史(即特别是“漂白”或光转换效应)。这种可变性会导致次优的解混结果，例如荧光团通道之间的残留串扰。

在具体转向根据本发明实施例的解决方案之前，将描述可在这些实施例中使用的显微镜系统。如所提到的，图1图示了这种显微镜系统1000。显微镜系统1000可以被配置成执行本文描述的方法。显微镜系统1000包括显微镜100和计算机系统400。显微镜100被配置成拍摄图像，并借助于有线或无线通信路径或接口单元300连接到计算机系统400。显微镜100可以被配置成以不同的显微镜操作模式操作，例如参照图2进一步图示的宽场和共焦操作模式。尽管图1图示了正立显微镜100，但是本发明的实施例可以与倒立显微镜一起使用，倒立显微镜的细节在图2中示出，或者本发明的实施例可以与显微镜的任何其他几何布置一起使用。例如，光片显微镜的部件可以水平布置。

计算机系统400可以被配置成执行本文描述的方法的至少一部分。计算机系统400和显微镜100以及完全任选的接口单元300可以是独立的实体，但是也可以一起集成在一个公共壳体中。计算机系统400，尽管图示为膝上型计算机，也可以是显微镜100的中央处理系统的一部分，和/或计算机系统400可以是显微镜100的子部件的部分，显微镜100的子部件为诸如显微镜100的传感器、执行器(actor)、相机或照明单元等。这些基本上同样适用于接口单元300。

计算机系统400可以是具有一个或多个处理器440和一个或多个存储设备450的本地计算机设备(例如，个人计算机、膝上型计算机、平板计算机或移动电话)，或者可以是分布式计算机系统(例如，具有分布在不同位置处，例如在本地客户端和/或一个或多个远程服务器群和/或数据中心处的一个或多个处理器和一个或多个存储设备的云计算系统)。计算机系统400可以包括任何电路或电路的组合。

在本发明的实施例中，计算机系统400可以包括集成到图1中的计算机系统100的壳体中的一个或多个处理器440，但不限于此。(一个或多个)处理器440可以是任何类型的，并且可以以任何数量和在任何位置处和在显微镜系统1的任何部件中提供。如本文所用，术语“(一个或多个)处理器”可指任何类型的计算电路，诸如但不限于例如显微镜100或显微镜系统1000的任何部件的(例如相机的)微处理器、微控制器、复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、图形处理器、数字信号处理器(DSP)、多核处理器、现场可编程门阵列设备(FPGA)或任何其他类型的处理器或处理电路。可以包括在计算机系统400中的其他类型的电路可以是定制电路、专用集成电路(ASlC)等，诸如例如，在像移动电话、平板计算机、膝上型计算机、双向无线电设备和类似电子系统这样的无线设备中使用的一个或多个电路(例如通信电路)。

计算机系统400可以包括的一个或多个存储设备450可能包括适用于特定应用的一个或多个存储元件，例如随机存取存储器(RAM)形式的主存储器、一个或多个硬盘驱动器、和/或处置可移动介质(诸如光盘(CD)、闪存卡、数字视频盘(DVD)等)的一个或多个驱动器。

计算机系统400还可以包括显示设备410、一个或多个扬声器、键盘420和/或一个或多个用户交互设备，用户交互设备可以是或包括鼠标或如所图示的具有按钮432和434的轨迹板430、轨迹球、触摸屏、语音识别设备或允许系统用户向计算机系统400输入信息和从计算机系统400接收信息的任何其他设备。如所图示的，计算机系统400可以被配置成在显示设备410上呈现图形用户接口412。计算机系统400还可以被配置成经由键盘和/或轨迹板430和/或任何其他输入设备提供与图形用户接口412的交互可能性，以操作显微镜系统1000。

显微镜100被示出为尤其包括显微镜壳体110、焦点调节旋钮120、透射光照明130、样品200可以放置在其上的载物台140、至少一个物镜或透镜150、二向色单元160、具有目镜或目镜组172的筒170、入射照明单元180以及相机或检测单元190，入射照明单元180被图示为但不限于包括三个不同的光源182至186或照明通道。相机或检测单元190被示出为包括但不限于三个不同的检测器、相机或检测通道192至196，如结合图2进一步图示的。

如用点线所图示的，照明单元180的光通过二向色件160耦合到用虚线图示的光束路径中。如所提到的，图2示出了显微镜100的实施例的其他部件，并且本发明的实施例不受图1和图2所示的具体配置限制。经由光源182至186或照明单元180和检测单元190中的检测模态的适当切换，显微镜可以在不同的显微镜操作模式诸如宽场和共焦操作模式下操作。

计算机系统400和接口单元300可以被称为显微镜控制布置500，但是本文使用的该术语不受它包括计算机400和接口单元300的限制。本文所用的术语“显微镜控制布置”应特别地从功能上理解，并且指的是包括设置在计算机系统400中或其他地方的一个或多个处理器440和一个或多个存储设备450的单元或单元组，并且该单元或单元组例如被配置成呈现如上文所描述并在下文在实施例中进一步图示的图形用户接口412。

在转向描述根据本发明实施例的光谱解混之前现在将描述图2，图2图示了根据本发明实施例的荧光显微镜100的零件，该荧光显微镜100例如可以用作图1中所图示的显微镜系统1中的荧光显微镜100。如图2所图示的荧光显微镜100包括两个检测单元，即第一检测单元190a和第二检测单元190b。借助于可切换或可移位的反射镜192(如双向箭头所示)或任何其他切换装置，观察光可以选择性地耦合到第一检测单元190a或第二检测单元190b中。在图2所图示的位置，观察光经由反射镜192耦合到右边的第二检测单元190b中。如果反射镜192移出所指示的位置，如用192'所图示，光路径进一步前进到底部(在所图示实施例中)，并且因此观察光，如点线沿边光线所示，耦合到第一检测单元190a中。照明和检测光束路径中的光学透镜没有具体地指示。可以以任何可想到的方式设置的遮光或激发/发射滤波器用105指示。

在图2所示的示例中，第一检测单元190a是宽场检测单元，其中像平面被指示为194a。通过使用未具体指示的透镜，观察光被准直并照射到第一检测单元190a中的检测器布置196a中。检测器布置196a可以被配置成将观察光分到不同的检测通道内。关于可在第一检测单元190a中使用的检测器布置196a，具体参考EP 3 721 279 B1，特别是其中图3所图示的检测单元10和对应的解释，并且该公开内容以引用的方式并入到本文中。用于第一检测单元190a中的宽场检测的照明单元以简化的方式图示并指示为180a。其光可以以显微镜照明领域中已知的任何方式，例如使用二向色反射镜181a耦合到荧光显微镜100的照明光束路径中。

在图2所示的示例中，第二检测单元190b是共焦检测单元，其中像平面指示为194b。可以提供点光源180b用于使用共焦检测单元190b的共焦检测。点光源180b特别地可以是激光可以聚焦到其中的(单个)针孔开口，或者是以点状方式从其发出光的光导或光纤的末端。点光源180b与样品200中的中间像平面194b和物平面210共轭，使得照明光可以经由二向色反射镜181b或任何其他光谱分束布置，例如声光分束器和未具体指示的照明光学器件，使用X/Y扫描器185b以扫描方式聚焦到物平面210的一点，X/Y扫描器185b可以布置在远心平面或与其共轭的平面中。众所周知，这允许在样品平面21中扫描样品200。针孔指示为187b。再次，对于进一步的细节，具体参考EP 3 721 279 B1，特别是其中图3所图示的检测单元20和对应的解释，并且该公开内容以引用的方式并入到本文中。这同样适用于检测器布置196b，检测器布置196b可以被配置成将观察光分到不同的检测通道内。同样关于可在第二检测单元190b中使用的检测器布置196b，参考EP 3 721 279 B1，并且该公开内容以引用的方式并入到本文中。

光谱解混技术可以结合使用如图1和2所图示的荧光显微镜100的荧光显微术使用。光谱解混是一种技术，其例如解决由于不同检测通道之间的交叉激发或“渗透(bleed-through)”而导致的荧光团的重叠发射光谱的问题，不同检测通道为诸如在图1中图示为检测通道192至196的那些。当未适当应对时，这些现象可能会导致假阳性结果。当用三种或更多种荧光团标记样品时，即使在不同的通道192至196中进行检测，对应的问题也变得特别明显。

光谱解混可以特别地包括线性解混、非负矩阵因子分解、去卷积和主成分分析。解混技术可以基于发射光谱的先验知识，或者可以结合将荧光团的数量限制为与检测通道的数量相同或更少来使用。就其核心而言，并且在本文所使用的理解中，光谱解混是一种将混合的多通道图像分解成光谱特征和每个像素中每个特征的丰度的技术。

图3图示了本发明实施例的潜在问题，其中使用颜色分束器(colour beamsplitter，或称为彩色分束器)在不同的检测通道如检测通道192至196中进行检测。与图1相比，图4中所图示的检测通道的数量是四个，但是当使用任何其他数量的检测通道时，观察到基本上相同的问题。本发明的实施例可以与任何数量的检测通道一起使用。图3示出了量子效率图，其中在纵坐标上绘出了量子效率，在横坐标上绘出了以纳米为单位的波长。W1、W2、W3和W4图示了可以被对应颜色分束器布置的不同光谱通道检测到的波长分量，即，不同通道之间的颜色“分开”大约是在针对波长分量W1、W2、W3和W4中相邻波长分量示出的曲线图相交的波长处进行的。W1表示蓝色通道，W2表示绿色通道，W3表示橙色通道，W4表示红色通道。

各种荧光染料的光谱在图3中用本领域技术人员已知的它们相应的缩写标明。如所图示的，尽管DAPI的荧光响应在通道W1中具有最大值，但仍可在通道W2中检测到相当大的比例，在通道W2中可检测到GFP的最大值。这意味着当样品被这些荧光团染色时，它们不能通过使用不同的检测通道完全分离，而是在通道W2中发射光谱重叠。换句话说，DAPI相当多地“渗漏”到通道W2中，并且解混是必要的。例如，荧光团dsRed将在通道W2和W3中以大致相等的部分被检测到，并且因此在这些通道中，其荧光响应的部分将被检测到。

通常，为了能够进行光谱解混，参考发射光谱可以在包含感兴趣样品的荧光团中的一种且仅一种荧光团的参考样品中直接测量。然而，这种方案非常耗时，因为用户必须制备附加的样品并随后对其进行测量。此外，这种方案容易出错，因为它需要用户干预(制备参考样品和限定感兴趣的区域)，并且不考虑样品之间的变化，即使仔细制备样品也会发生变化。使用算法来确定参考发射光谱目前不是用户友好的，因为通常需要采集、跟踪多个图像(可能具有不同的照明设置和/或显微镜设置)，并将这些图像用作算法的输入。此外，恢复的光谱不是立即有用的，而是必须手动录入到解混工作流程中。由于这个原因，这种算法通常凭经验应用，并且仅由熟练用户以常规过程来应用。

然而，现在将描述的根据本发明实施例的方法能够更可靠和用户友好地确定用于对荧光显微镜图像进行光谱解混的参考发射光谱。这是在最少的用户干预下通过自动采集必要的图像、执行光谱确定、任选地检查光谱确定的真实性以及任选地向用户给出关于光谱确定结果的反馈来实现的。该方法可以直接在之后待成像的样品上执行，因此不需要附加的参考样品。

图4中图示了根据本发明方法实施例的方法，其中该方法以简化流程图的形式示出，并标明为10。提供用于分析显微样品200中多种荧光团的混合荧光响应的方法10，其中，如反复提到的，混合荧光响应包括多种荧光团中的每一种的单独荧光响应的贡献。可能导致这种情况的原因之前已经被广泛地解释过了。

方法10包括使用光谱解混基于待重构的荧光团的参考发射光谱从混合荧光响应重构所述单独荧光响应。如所提到的，根据本发明的实施例，以有利的方式执行用于光谱解混的参考发射光谱的确定。

为此，根据本发明的实施例提供了用于确定和验证参考发射光谱的过程，现在将解释其步骤。这种过程可以在对应的请求时启动，根据本发明的实施例，对应的请求可以是如果显示的图像不符合用户的预期，用户例如通过按压按钮做出的请求。根据本发明的实施例，取决于图像分析的结果，例如，如果解混图像具有大量相邻的具有相同强度的像素，或者如果解混图像之间的相关系数的计算给出了高于某个阈值的值，也可以请求对应的过程。对应的请求或处理步骤在图4中图示为1。

换句话说，根据本发明的实施例，用于确定和验证参考发射光谱的所述过程可以作为对校准请求1的响应来执行，该校准请求1是由用户发出的校准请求、基于图像分析步骤的结果发出的校准请求、基于预定义的时间点发出的校准请求和当确定视场变化时发出的校准请求中的至少一个，并且根据本发明的实施例，当图像分析指示预定强度范围内的相邻像素的数量和/或对应于解混的图像之间计算的相关系数的值高于预定阈值时，可以发出校准请求。

在下一步骤2中，根据本发明的实施例，确定所需的图像序列。通常，这将是每幅图像具有某一照明设置(例如，启用的发光二极管或启用的具有给定中心波长的激光器)的序列。序列中条目的数量通常等于或大于样品中荧光团的数量。换句话说，根据本发明的实施例，步骤2可以包括为样品200的图像序列提供多个图像采集设置，图像可以特别地等于或大于多种荧光团并且包括图像序列中的每一个的照明设置。

根据本发明的实施例，图像序列然后可以在步骤3中被采集并与对应的照明设置一起存储。换句话说，根据本发明的实施例，步骤3可以包括使用多个图像采集设置来采集样品200的图像序列，并且将样品200的图像序列中的每一个与对应的照明设置一起存储。

根据本发明的实施例，照明源的照明强度可以优选地被设定为先前确定的最佳值，或者更一般地说，用于确定和验证参考发射光谱的所述过程可以在至少两个时间实例中执行，至少两个时间实例包括先前实例和后续实例，并且在后续实例中使用的照明设置可以基于在先前实例中使用的照明设置，特别是当在先前实例中真实性检查(将在下面讨论)为肯定的时。

根据本发明的实施例，如果需要，可以包括自动照明强度控制步骤，以便提供在响应性和样品保护方面优化的照明设置。

根据本发明的实施例，可以在步骤4中运行用于从采集的图像确定端元光谱的算法。典型的算法是N-FINDR、像素纯度指数、非负矩阵或张量因子分解或顶点成分分析。此外，该算法可以由经训练的神经网络或任何优化算法来执行。再次，更一般地说，在本发明的实施例中，步骤4可以包括使用一个或多个参考发射光谱确定算法从样品200的图像序列确定用于待重构的荧光团的候选参考发射光谱。

在可以形成根据本发明实施例的方法的部分的步骤5中，可以执行对所确定的端元光谱的真实性的检查。真实性检查的结果可以指示候选参考发射光谱对于待重构的荧光团是否可信。如步骤6和7所图示，如果真实性检查的结果是肯定的，如用Y所图示的，则所述候选参考发射光谱可以用作光谱解混中的参考发射光谱，或者如果真实性检查是否定的，如用N所图示的，则拒绝所述候选参考发射光谱。

根据本发明的实施例，合理性检查(sensible check)可以是所确定的端元谱光谱S_det(λ_k)与初始端元谱S_init(λ_k)相差多少。这里，λ_k给出了第k个光谱检测器的光谱位置。这种差异可以被量化，例如通过欧几里德距离

或者通过光谱角

其中<·|·>表示标量积，并且|·|表示向量范数。可以使用距离的阈值。

根据本发明的实施例使用的进一步检查可以例如是对非负性(对于所有λ_k，S_det(λ_k)≥0)的检查或者对所确定的候选参考发射光谱的光谱分离的检查(包括对于所有这样的候选参考发射光谱是唯一的)。

根据本发明的实施例，如果发现所确定的端元光谱是可信的，则它们可以被保存并在用于解混步骤的未来图像采集中使用，包括用于活体成像。该解混步骤可以是例如线性解混、相量解混、最大似然估计量或混合方案。保存的端元光谱也可以保存在捕获图像的元数据中。换句话说，在本发明的实施例中，在上面已经提到的后续实例中执行真实性检查可以包括基于在先前实例中采集的参考发射光谱来执行评估，和/或当在先前实例中执行真实性检查的所述结果是肯定的时，在本发明的实施例中，所述候选参考发射光谱可以被存储以在所述后续实例中的所述真实性检查中使用。

在本发明的实施例中，如果所确定的端元光谱不可信，则可以向用户给出反馈。例如，可以提示用户检查样品的成像部分中是否存在给定的荧光团，样品是否包含未指定的附加荧光团，或者是否指定了错误的荧光团。还可以询问用户是否应该使用所确定的参考发射光谱。在最简单的情况下，如果没有给出所确定的端元光谱的真实性，则使用初始参考发射光谱。

在任何情况下，并且无论是否执行真实性检查，在本发明的实施例中，步骤6可以包括有条件地使用所述候选参考发射光谱作为所述光谱解混中的参考发射光谱。

之前已经部分解释的本发明的实施例的方面可以包括可以在固定的时间点自动请求光谱校准(特别是在不同的时间点采集一系列图像时)，以便考虑由于光漂白、光转换、自动荧光的变化、环境条件变化等引起的端元光谱的变化。当成像视场变化时，可以自动请求光谱校准，以便考虑由于空间改变引起的端元光谱的变化。根据荧光团，真实性检查可以使用不同的阈值。特别地，如果给定的荧光团是自发荧光种类，则阈值可以选择为大于非自发荧光种类的阈值。

许多荧光团对其周围环境的酸度变化(如通过pH值测量的)特别敏感。如果已知(或能够测量)给定荧光团的光谱特性随pH值的变化，则该荧光团的端元光谱例如随时间变的知识，可以用于测量pH值的变化。这又可以用于控制显微镜的其他方面，例如环境控制(培养器)，或者向用户给出反馈，这是根据本发明的实施例提供的。还存在可能导致pH变化的生理原因，因此对这些变化的识别也可能是用户研究和本发明实施例的主题。

根据本发明的实施例，该方法可以扩展到不需要初始光谱的知识(例如，通过用户输入)。然后，光谱的数量可以从多个图像中的数据(例如，使用诸如噪声白化的Harsanyi–Farrand–Chang方法的算法)，以及由据理推测(例如，高斯函数)给出的初始端元光谱计算。然后，端元光谱的确定遵循上面给出的描述。

本发明的实施例特别是可以在具有多个照明源和多个具有已知光谱特性的检测器的荧光显微镜中使用，如结合图1和图2的实施例中已经描述的。结合图5示出了一些方面，其中，如上所述，荧光显微镜指示为100，并且样品指示为200。样品200中，编号为m＝0，…，M–1的荧光团共同参考为230，其中c指示它们相应的丰度。如前所述，编号为k＝0，…，K–1的照明源共同参考为180，其中P指示它们相应的照明功率。编号为n＝0，…，N–1的检测通道共同参考为190，其中I指示检测强度。检测路径参考为162，照明路径参考为164。对于进一步的细节，参考上面结合图1和2已经给出的解释。

如本文所用，术语“和/或”包括相关联的列出项目中的一个或多个的任何和所有组合并且可以缩写为“/”。

虽然已经在装置的上下文中描述了一些方面，但是清楚的是，这些方面也表示对应方法的描述，其中框或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示对应装置的对应框或项目或特征的描述。

一些或所有方法步骤可以通过(或使用)如例如处理器、微处理器、可编程计算机或电子电路的硬件装置来执行。在一些实施例中，最重要的方法步骤中的某个或某些可以由这样的装置执行。

根据某些实施要求，本发明的实施例可以用硬件或软件来实施。该实施方式可以使用诸如数字存储介质的非暂时性存储介质来执行，数字存储介质为例如软盘、DVD、蓝光光盘、CD、ROM、PROM和EPROM、EEPROM或闪存，该非暂时性存储介质上存储有电子可读控制信号，电子可读控制信号与可编程计算机系统配合(或能够配合)，使得相应的方法被执行。因此，数字存储介质可以是计算机可读的。

根据本发明的一些实施例包括具有电子可读控制信号的数据载体，该电子可读控制信号能够与可编程计算机系统配合，使得本文描述的方法之一被执行。

通常，本发明的实施例可以实施为具有程序代码的计算机程序产品，当该计算机程序产品在计算机上运行时，该程序代码可操作用于执行这些方法之一。程序代码可以例如存储在机器可读载体上。

其他实施例包括存储在机器可读载体上的用于执行本文描述的方法之一的计算机程序。

换句话说，因此，本发明的实施例是具有程序代码的计算机程序，当该计算机程序在计算机上运行时，该程序代码用于执行本文描述的方法之一。

因此，本发明的另一个实施例是存储介质(或数据载体，或计算机可读介质)，其包括存储在其上的计算机程序，计算机程序在由处理器执行时用于执行本文描述的方法之一。数据载体、数字存储介质或记录介质典型地是有形的和/或非暂时性的。本发明的另一个实施例是如本文所描述的装置，其包括处理器和存储介质。

因此，本发明的另一个实施例是表示用于执行本文描述的方法之一的计算机程序的数据流或信号序列。数据流或信号序列可以例如被配置成经由数据通信连接，例如，经由互联网来传送。

另一个实施例包括处理工具，例如计算机或可编程逻辑设备，其被配置成或适于执行本文描述的方法之一。

另一个实施例包括计算机，该计算机上安装有用于执行本文描述的方法之一的计算机程序。

根据本发明的另一个实施例包括一种装置或系统，其被配置成将用于执行本文描述的方法之一的计算机程序传送(例如，电子地或光学地)到接收器。接收器可以例如是计算机、移动设备、存储器设备等。该装置或系统可以例如包括将计算机程序传送到接收器的文件服务器。

在一些实施例中，可编程逻辑设备(例如，现场可编程门阵列)可以用于执行本文描述的方法的一些或所有功能。在一些实施例中，现场可编程门阵列可以与微处理器配合，以便执行本文描述的方法之一。通常，这些方法优选地由任何硬件装置来执行。

附图标记列表

10 方法

1 校准请求

2 提供多个图像采集设置

3 采集图像序列

4 确定候选参考发射光谱

5 真实性检查

6 有条件地使用候选参考发射光谱

7 拒绝参考发射光谱

500 显微镜控制布置

100 显微镜

105 遮光滤波器

110 显微镜壳体

120 焦点调节旋钮

130 透射光照明

140 显微镜载物台

150 显微镜物镜

160 二向色元件

170 显微镜筒

172 目镜组

180 入射照明单元

182-186 光源

180a、180b 宽场照明单元和共焦照明单元

181a、181b 二向色反射镜

185b X/Y扫描器

187b 针孔

190 检测单元

192-196 检测器，检测通道

190a、190b 宽场检测单元和共焦检测单元

192 可移位反射镜

192' 位移后的反射镜位置

194a、194b 宽场像平面和共焦像平面

196a、196b 宽场检测器布置和共焦检测器布置

200 样品

210 物平面

300 接口单元

400 计算机系统

410 显示器

420 键盘

430 轨迹板

432 第一按钮

434 第二按钮

440 (一个或多个)处理器

450 (一个或多个)存储设备

1000 显微镜系统

W1-W4 检测通道光谱

Claims (16)

1.一种分析显微样品(200)中多种荧光团(230)的混合荧光响应的方法(10)，其中所述混合荧光响应包括多种荧光团(230)中的每一种的单独荧光响应的贡献，其中所述方法(10)包括使用光谱解混基于待重构的所述荧光团的参考发射光谱从所述混合荧光响应重构所述单独荧光响应，并且其中所述方法(10)包括用于确定和验证所述参考发射光谱的过程，所述过程包括以下步骤：

a)为所述样品(200)的图像序列提供(2)多个图像采集设置，所述图像等于或大于所述多种荧光团(230)并且包括用于所述图像序列中的每一个的照明设置，

b)使用所述多个图像采集设置采集(3)所述样品(200)的所述图像序列，并将所述样品(200)的所述图像序列中的每一个与对应的照明设置一起存储，

c)使用一个或多个参考发射光谱确定算法从所述样品(200)的所述图像序列确定(4)待重构的所述荧光团的候选参考发射光谱，以及

d)有条件地使用(6)所述候选参考发射光谱作为所述光谱解混中的所述参考发射光谱。

2.根据权利要求1所述的方法(10)，包括另外的步骤：

i)在步骤c)与d)之间执行(5)所述候选参考发射光谱的真实性检查，所述真实性检查的结果指示所述候选参考发射光谱对于待重构的所述荧光团是否可信，以及

ii)如果所述真实性检查的结果是肯定的，则使用(6)所述候选参考发射光谱作为根据步骤d)的所述光谱解混中的所述参考发射光谱，或者如果所述真实性检查是否定的，则拒绝所述候选参考发射光谱。

3.根据权利要求1或2中任一项所述的方法(10)，其中，所述照明设置是线性独立的，和/或其中，所述图像序列中的每一个的照明设置包括在多个光源中选择单个光源，所述单个光源包括发光二极管、给定中心波长的激光器或波长选择设备。

4.根据前述权利要求中任一项所述的方法(10)，其中，用于确定和验证所述参考发射光谱的所述过程在至少两个时间实例中执行，所述至少两个时间实例包括先前实例和后续实例。

5.根据当从属于权利要求2时的权利要求4所述的方法(10)，其中，在所述后续实例中执行(5)所述真实性检查包括基于在所述先前实例中采集的参考发射光谱来执行评估，和/或其中，当在所述先前实例中执行(5)所述真实性检查的所述结果是肯定的时，存储所述候选参考发射光谱以在所述后续实例中的所述真实性检查中使用，和/或其中当在所述先前实例中所述真实性检查为肯定的时，在所述后续实例中使用的所述照明设置是基于在所述先前实例中使用的所述照明设置。

6.根据前述权利要求中任一项所述的方法(10)，其中，所述图像采集设置包括基于样品性质选择的检测器或相机设置，所述样品性质包括所述样品的活动性或敏感性中的至少一个，并且所述检测器或相机设置包括合并因子、扫描速度、扫描分辨率、增益值和曝光时间中的至少一个。

7.根据前述权利要求中任一项所述的方法(10)，其中，使用荧光显微镜(100)来确定所述混合荧光响应，其中所述荧光显微镜(100)是被配置成在选自宽场模式、共焦模式和光片模式的至少一种显微镜模式下操作的荧光显微镜(100)，其中针对所述显微镜模式中的至少一种模式执行用于确定和验证所述参考发射光谱的所述过程。

8.根据前述权利要求中任一项所述的方法(10)，其中，用于确定和验证所述参考发射光谱的所述过程是作为对校准请求(1)的响应而执行的，所述校准请求是由用户发出的校准请求、基于图像分析步骤的结果发出的校准请求、基于预定义的时间点发出的校准请求以及当确定视场变化时发出的校准请求中的至少一个。

9.根据前述权利要求中任一项所述的方法(10)，其中，提供参考激发光谱，并且在确定(4)所述候选参考发射光谱中使用所述参考激发光谱。

10.根据当从属于权利要求2时的前述权利要求中任一项所述的方法(10)，其中，对所述候选参考发射光谱的所述真实性检查包括确定距给定参考发射光谱的欧几里德距离、与给定参考发射光谱的光谱角以及所述候选参考发射光谱的非负性中的至少一个。

11.根据当从属于权利要求2时的前述权利要求中任一项的方法(10)，其中，所述真实性检查包括将真实性值与真实性阈值进行比较，其中所述真实性阈值对于所述荧光团是不同的。

12.根据前述权利要求中任一项所述的方法(10)，其中，指示所述候选参考发射光谱与预期值的偏差的值被用于导出样品性质(200)，和/或其中从所述混合荧光响应中导出所述荧光团的数量及其光谱。

13.一种荧光分析仪(500)，所述荧光分析仪(500)被配置用于分析显微样品(200)中多种荧光团(230)的混合荧光响应，其中所述混合荧光响应包括所述多种荧光团(230)的单独荧光响应的贡献，其中所述分析包括使用光谱解混基于待重构的所述荧光团的参考发射光谱从所述混合荧光响应重构所述单独荧光响应，并且所述荧光分析仪(500)被配置用于执行确定和验证所述参考发射光谱的过程，所述过程包括以下步骤：

a)为所述样品(200)的图像序列提供(2)多个图像采集设置，所述图像等于或大于所述多种荧光团(230)并且包括用于所述图像序列中的每一个的照明设置，

b)使用所述多个图像采集设置采集(3)所述样品(200)的所述图像序列，并将所述样品(200)的所述图像序列中的每一个与对应的照明设置一起存储，

c)使用一个或多个参考发射光谱确定算法从所述样品(200)的所述图像序列确定(4)待重构的所述荧光团的候选参考发射光谱，以及

d)有条件地使用(6)所述候选参考发射光谱作为所述光谱解混中的所述参考发射光谱。

14.根据权利要求13所述的荧光分析仪(500)，其中，所述荧光分析仪(500)被配置成执行用于确定和验证所述参考发射光谱的过程，所述过程包括另外的步骤：

i)在步骤c)与d)之间执行(5)所述候选参考发射光谱的真实性检查，所述真实性检查的结果指示所述候选参考发射光谱对于待重构的所述荧光团是否可信，以及

ii)如果所述真实性检查的结果是肯定的，则使用(6)所述候选参考发射光谱作为根据步骤d)的所述光谱解混中的所述参考发射光谱，或者如果所述真实性检查是否定的，则拒绝所述候选参考发射光谱。

15.一种荧光显微镜(100)，被配置成确定显微样品(200)中多种荧光团(230)的混合荧光响应，并且包括根据权利要求13或14中任一项所述的荧光分析仪(500)。

16.一种计算机程序，包括被配置成执行根据权利要求1至12中任一项所述的方法的指令。

Images