CN117813490A - 基于时间复用和单光子探测器阵列的多物质超分辨率同时成像 - Google Patents
基于时间复用和单光子探测器阵列的多物质超分辨率同时成像 Download PDFInfo
- Publication number
- CN117813490A CN117813490A CN202280047055.0A CN202280047055A CN117813490A CN 117813490 A CN117813490 A CN 117813490A CN 202280047055 A CN202280047055 A CN 202280047055A CN 117813490 A CN117813490 A CN 117813490A
- Authority
- CN
- China
- Prior art keywords
- excitation
- sample
- emission
- detector array
- emission spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000126 substance Substances 0.000 title claims abstract description 58
- 238000003384 imaging method Methods 0.000 title description 30
- 230000003595 spectral effect Effects 0.000 claims abstract description 75
- 230000005284 excitation Effects 0.000 claims abstract description 64
- 238000000295 emission spectrum Methods 0.000 claims abstract description 47
- 238000000695 excitation spectrum Methods 0.000 claims abstract description 36
- 238000001857 fluorescence decay curve Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 29
- 238000005259 measurement Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000004621 scanning probe microscopy Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 2
- 108091027981 Response element Proteins 0.000 claims 3
- 238000005215 recombination Methods 0.000 claims 2
- 230000006798 recombination Effects 0.000 claims 2
- 239000000523 sample Substances 0.000 description 80
- 238000001218 confocal laser scanning microscopy Methods 0.000 description 28
- 239000007850 fluorescent dye Substances 0.000 description 10
- YIXZUOWWYKISPQ-UHFFFAOYSA-N ATTO 565 para-isomer Chemical compound [O-]Cl(=O)(=O)=O.C=12C=C3CCC[N+](CC)=C3C=C2OC=2C=C3N(CC)CCCC3=CC=2C=1C1=CC(C(O)=O)=CC=C1C(O)=O YIXZUOWWYKISPQ-UHFFFAOYSA-N 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000001161 time-correlated single photon counting Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 5
- 238000000799 fluorescence microscopy Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 238000002284 excitation--emission spectrum Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 238000010304 firing Methods 0.000 description 3
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 3
- 238000010870 STED microscopy Methods 0.000 description 2
- 238000000862 absorption spectrum Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000000205 computational method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000000482 two photon fluorescence microscopy Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000031018 biological processes and functions Effects 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000012899 de-mixing Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005281 excited state Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002292 fluorescence lifetime imaging microscopy Methods 0.000 description 1
- 102000034287 fluorescent proteins Human genes 0.000 description 1
- 108091006047 fluorescent proteins Proteins 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000002105 nanoparticle Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 239000000979 synthetic dye Substances 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
- G02B21/0084—Details of detection or image processing, including general computer control time-scale detection, e.g. strobed, ultra-fast, heterodyne detection
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0064—Optical details of the image generation multi-spectral or wavelength-selective arrangements, e.g. wavelength fan-out, chromatic profiling
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
Abstract
激光扫描显微镜，被配置成用包括不同激发光谱分量(B1，B2)的多个脉冲激发光束来照射样本，其中该显微镜包括：单光子探测器(40)，被配置成探测由该样本发射的荧光信号，该荧光信号包括不同的光谱分量；激发光谱编码器(50)，被配置为对每个激发光谱分量施加相应的时间延迟；发射光谱编码器(60)，被配置为对每个发射光谱分量施加相应的时间延迟，以及多物质解码器(70)，其被配置为对包含在该样本中的该荧光物质的激发光谱、发射光谱和荧光衰减曲线进行解码。
Description
技术领域
本发明总体上涉及多物质(multi-species)荧光显微技术。
背景技术
具有荧光的激光扫描共聚焦显微镜(CLSM)是一种广泛用于细胞和分子生物学的成像工具。该技术提供了三维成像、深度成像、活细胞成像和定量成像的可能性，所有这些都与荧光显微镜的当前发展相结合。目前，各种各样的荧光染料(例如，合成染料分子、荧光蛋白和无机纳米粒子)可以通过多种偶联策略以高特异性结合到生物靶上，潜在地提供了所观察样本的完整图像。所谓的多物质(或多标记)荧光成像允许检测多个目标，使得能够观察具有特定分子对比度的不同细胞结构之间的相互作用和相对空间组织。此外，最近推出的快速探测器阵列(在MHz范围内)使图像扫描显微镜(image scanning microscopy，ISM)的透明和多功能实施方式成为可能，这使CLSM成为超分辨率技术之一。在这种ISM实施方式中(例如，在WO2019/145889A1中描述的)，探测器阵列(其在样本平面中的投射尺寸是1-1.5艾里单位(AU))代替了通常在CLSM使用的针孔和单元件探测器，以提供荧光体积的图像。由探测器阵列提供的这种额外的空间信息可以用于重建超分辨率图像，该图像具有两倍于传统显微镜的分辨率和更高的信噪比(SNR)。探测器阵列的每个元件都充当一个物理针孔，产生一系列超分辨率但低信噪比的图像。由于大部分荧光信号是从探测器元件并行获取的，因此可以通过将由像素重新分配或多图像去卷积将所收集的所有图像进行组合来获得高SNR图像。
在传统的CLSM中，基于每个探针的光物理性质，通过分离不同的探针(或者更确切地说，不同的荧光信号)来实施同时多物质种类成像。特别是，通常使用三种不同的属性：激发光谱、发射光谱和平均荧光寿命(图1)。任何只依赖其中一个属性的策略都有优点和局限性。出于这个原因，组合方案是首选。然而，最终的实施方案总是在系统复杂性、可分离物质种类的数量、执行同时成像的能力和成本之间进行权衡。基于探测器阵列的ISM实施方式(以下简称为ISM)，迄今为止所展示的多物质策略仅探测激发光谱和发射光谱，并且包括基本CLSM方法的效法。实际上，更复杂的多物质CLSM方法的实施方式需要昂贵且可扩展性差的架构——就可分离物质的数量而言——或者甚至可能无法实施。
多物质CLSM
最广泛使用的同时多物质CLSM成像方法是通过探测不同探针的发射光谱特征来分离不同探针的信号。所有探针同时被一束或多束单色激光束(λexc)激发。然后将荧光信号从激发光中被分离出来，并通过滤光器、分色镜和/或可调声光滤光器的组合被划分成一系列光谱窗口λdet(其中λdet表示光谱带的中心值)，每个探针一个该光谱窗口。最后，每个光谱带的探测器，即探针，记录荧光信号。该多探测器光谱的实施方式有两个主要限制：所需的探测器数量随着探针数量的增加而增加，以及不同探针的发射光谱之间的串扰降低了图像质量。
第二个问题可以通过在实施例中破坏激发的同时性以添加关于探针激发光谱的信息来部分解决。在这种情况下，激发激光束被依次激活/调制，并记录一系列图像：为每对值记录一个图像，这对值与探测器波段和激发光束波长相关(λexc，λdet)。为每个探针选择由最相应的激发和发射波长形成的图像。然后，可以使用线性解混算法来消除剩余的串扰。由于激光激发光束的依次激活，采用快速调制以有效地获得同时成像是至关重要的。例如，逐帧或逐行调制可能太慢而不能执行动态结构的成像。因为快速生物过程以亚毫秒时间尺度发生(蛋白质形状的变化以小得多的尺度发生，低至微秒，但是成像不能在每种情况下都能观察这些过程)，而像素的通常停留时间在几十微秒或更短的范围内，所以在逐个像素的基础上调制激光束确保了同时多物质成像。
最近已经提出用比像素的停留时间给出的频率更高的频率来调制激发光束(US9231575B2)。该多物质CLSM实施方式在频域中复用多个激励波束。因此，解调是通过频域中的滤波来实现的。此外，该实施方式使用单个探测器，而不考虑要多个分离的探针，因此大大降低了实施成本。相比之下，使用单个探测器排除了对探针的激发和发射光谱进行探测的需要。
使用单个探测器但探测发射光谱的多物质CLSM可以使用线性探测器阵列来实施(US20190361213A1)。在该专利文献中，由一个或多个激发光束诱发的荧光信号使用棱镜(或光栅)在空间进行光谱分解，每个波长映射到线性探测器的特定位置/元件。三维(x，y，λ)图像，即所谓的发射光谱图像，通过(盲)光谱解混算法进行处理，以形成最终的多物质图像，该图像可能没有由于信号的串扰而导致的伪影。在这类CLSM实施方式中，通常称为超光谱实施方式，也可以通过如上所描述的调制激发光束来探测激发光谱。超光谱CLSM实施方式也可以通过依次记录发射光谱来实现；即荧光信号在空间中进行光谱分散，可调节的双缝选择性地仅过滤部分光谱，并且单元件传感器记录所选择的信号。然而，光谱的依次记录阻碍了(根据定义)同时多物质成像。
上述所有多物质CLSM实施方式使用发射特征和/或激发特征来分离不同的探针。要探测的另一个探针特征是平均荧光寿命，更一般地说，是时间衰减分布。类似于激发和发射光谱，探针可以由时间光谱f(t)来表征，该时间光谱描述了在激发事件之后的给定时刻t，被激发的分子/探针将发射自发光子(荧光光子)的概率。分子处于激发态的平均时间称为平均荧光寿命τ。在纯有机荧光团的情况下，该分布可以用单指数ft∝exp(-t/τfl)来描述，但是在许多实际情况下需要更复杂的模型。在CLSM中，荧光探针的平均寿命衰变分布是通过实施时间相关单光子计数(TCSPC)实验来获得的：一束脉冲激光束(通常脉冲长度为几十皮秒)在特定时间(t＝0)激发探针；具有低定时抖动(从几十皮秒到几百皮秒)的单光子探测器记录由探针发射的荧光光子；时间数字转换器(TDC)或高频数字化仪测量激发和记录事件之间的时间差。通过重复实验测量光子到达时间的直方图(通常，脉冲激光具有几十MHz数量级的重复率)。在基于TCSPC的CLSM中，可以通过记录每个像素的光子到达直方图并使用基于拟合、去卷积、相量分解或线性解混的不同计算算法分解该直方图(根据不同探针的衰变分布)来实施多物质成像。该实施方式的一个令人感兴趣的特性是分离具有非常相似的激发和发射光谱的物质的可能性，因此使用单个激发光束和单个检测带，即单个探测器，这不仅在复杂性方面带来好处，而且允许避免由于色差导致的成像伪像。相同的基于TCSPC的CLSM系统可用于以逐脉冲模式实施上述激发激光调制，从而能够探测用于多物质成像的激发光谱特征。来自一系列单色激光器的脉冲经历交错(以比平均荧光寿命更长的延迟)，并且光子到达时间的直方图被用于实施时间门控检测并且分离与每个探针相关联的信号。该脉冲交错方法也可以与发射光谱分离方法结合，以增加待分离的探针数量，但是需要更多的探测器。
多物质ISM
基于快速探测器阵列的ISM实施方式的最显著的优点之一是其与荧光CLSM中实施的许多标记方法、技术和协议的兼容性，包括上述的多种多物质成像技术。
ISM与光谱多探测器方法、调制多激发方法及其组合完全兼容。因此，本领域技术人员可以容易地将这种同时多物质方法结合到ISM中。然而，迄今为止，仅演示了缓慢的逐帧调制多激励ISM实施方式。在这种情况下，不同的激发波长和光谱窗口通过使用单个探测器阵列的电动滤光器透镜交替；然而，真正的同时成像，如在CLSM展示的，被排除在外。
相反，超光谱方法与ISM并不完全兼容。超光谱方法的基本原理是在空间中解码光谱信息，即在空间上分解发射光谱。这种空间分解会干扰ISM，因为在ISM中，空间信息信道已经用于传输检测体积的图像。因为空间和光谱信息被融合在相同的信道和范围中，所以它们的分解是不容易解决的。为了完整性，一个超光谱ISM实施方式已被提出并用于重建两个物质的ISM图像。然而，由于与上述相同的原因，这种实施方式在空间分辨率和物质分离方面都遭受严重的伪影。
最近引入的单光子探测器阵列(例如单光子雪崩二极管阵列探测器(SPAD))也使基于平均荧光寿命特征的多物质成像方法的实施方式成为可能。实际上，基于SPAD阵列的ISM实施TCSPC测量的性能已经得到充分证明。然而，在这种情况下，没有基于平均荧光寿命的多物质ISM的演示被报道过。
由于引入了异步SPAD阵列探测器，在CLSM展示的许多同时多物质成像方法原则上可以延伸到ISM，但在超光谱方法方面有一些实质性的限制。然而，与CLSM类似，没有一种方法能够同时探测激发光谱、发射光谱和平均荧光寿命特征。当在实施方式中仅使用单个探测器时，约束条件变得更加重要。
发明内容
本发明的一个目的是提出一种用于多物质ISM成像的新架构，其提供同时成像、在物质数量方面的高可扩展性以及低成本。本发明的另一个目的是提出一种新架构，它也为CLSM提供类似的好处，更笼统地说，为任何基于激光扫描显微镜(LSM)的荧光技术，例如受激发射损耗显微镜(STED)，双光子激发显微镜(TPE)，和荧光波动光谱镜(FFS)，提供类似的好处。
鉴于这些目的，本发明的主题是一种激光扫描显微镜，其被配置成用包括不同光谱分量(下文中称为激发光谱分量)的多个脉冲激发光束照射样本，该样本包含多种荧光物质，其中该显微镜包括：
单光子探测器阵列，配置成探测从该样本发射的荧光信号，该荧光信号包括不同的光谱分量，下文中称为发射光谱分量，
激发光谱编码器，配置成对每个激发光谱分量施加各自的时间延迟，使得每个激发光谱分量相对于其他激发光谱分量在不同的时间照射该样本，
发射光谱编码器，配置成对每个发射光谱分量施加各自的时间延迟，使得每个发射光谱分量相对于其他发射光谱分量在不同的时间到达该单光子探测器阵列，
数据采集系统，配置成采集由该单光子探测器阵列提供的测量信号，并提供该样本的时间分辨图像，以及
多物质解码器，配置成基于该样本的时间分辨图像，解码每个该荧光物质的激发光谱、发射光谱和荧光衰减曲线。
本发明的另一个主题是一种激光扫描显微镜方法，包括：
用包括不同光谱分量(下文中称为激发光谱分量)的多个脉冲激发光束照射样本，该样本包含多种荧光物质，其中照射该样本包括：
对每个激发光谱分量施加各自的时间延迟，使得每个激发光谱分量在相对于其他激发光谱分量不同的时间照射该样本，
用单光子探测器阵列检测由样本中的荧光物质发射的荧光信号，该荧光信号包括不同的光谱分量，下文称为发射光谱分量，其中检测荧光信号包括：
对每个发射光谱分量施加各自的时间延迟，使得每个发射光谱分量相对于其他发射光谱分量在不同的时间到达该单光子探测器阵列，
获取由该单光子探测器阵列提供的测量信号，并提供该样本的时间分辨图像，以及
基于该样本的时间分辨图像，解码每个该荧光物质的激发光谱、发射光谱和荧光衰减曲线。
由于单光子探测器的低光子定时抖动(当探测器阵列中的元件接收到光子时，它激活精度高达200ps的信号)、减少的等待时间(高达50MHz，即在光子被收集后，元件保持20ns的盲态)和异步读出(即每个探测器阵列元件完全独立于其他元件)，该单光子探测器允许访问大范围的时间尺度(唯一的下限是亚纳秒尺度)。
虽然平均荧光寿命信息处于亚纳秒/纳秒时间尺度，但是最快的生物过程和激光扫描过程发生在微秒范围内。因此，即使探测器仅覆盖低至微秒的时间尺度，同时多物质LSM也是可行的，但是基于探针平均荧光寿命的多物质ISM的实施方式将需要纳秒时间尺度。简而言之，从几十纳秒到微秒的时间尺度很少被使用，但可以被采用来传输附加信息(在实践中，在LSM中并被用于提高SNR)。
因此，本发明的思想是使用这个可用的波段将有用的信息传递给同时多物质ISM中的不同探针。这里，特别地，可用波段用于对探针的激发和发射光谱特征进行编码。这一想法转化为基于TCSPC的ISM测量，其中光子到达时间直方图用于对以下内容进行编码：(i)探针的平均荧光寿命特征，如在一般的TCSPC实验中；(ii)通过对不同的激发光束进行相位复用，获得探针的激发光谱特征；和(iii)探针的发射光谱特征，其通过在时间上分离荧光信号的不同光谱分量获得。
注意，超光谱方法在空间而不是时间上分离荧光信号的光谱分量。一旦记录了光子到达时间直方图，就可以使用诸如(盲)线性解混、基于相量的解混、拟合、去卷积或机器学习等成熟的计算方法来解码探针特征，以获得多物质ISM图像。因为所有的编码操作都是使用时间通道来执行的，所以所提出的方法可以使用单个探测器。此外，因为编码使用亚微秒时间尺度，所以确保了同时多物质方法。注意，相同的策略可以应用于具有典型的单元件、单光子探测器的CLSM，但是在这种情况下不能获得超分辨率图像。
与现有的多物质成像方法相比，所提出的解决方案提供的主要优点是：
与标准CLSM兼容，无需大量设置更改。相对于标准CLSM架构，单光子探测器阵列和数据采集系统是唯一需要改变或升级的；
与ISM方法的兼容性。该解决方案在保持由ISM提供的更高空间分辨率的同时支持多物质成像；
该解决方案允许对三种主要探针特征(激发光谱、发射光谱、荧光寿命)单独和组合(颜色-时间特征)进行全面探测，以便以可扩展和简单的方式实现多物质成像；
与已知的光谱分解、去卷积、相量、拟合和机器学习算法兼容。
附图说明
本发明的进一步特征和优点将在下面的详细描述中呈现，该详细描述参考了附图，仅以非限制性示例的方式提供，其中：
图1绘出了Merck KGaA公司生产的ATTO 488和ATTO 565荧光探针的吸收光谱(I)、发射光谱(II)和荧光寿命衰减；
图2是根据本发明的设备的功能示意图；
图3示出了：(I)脉冲交错激发模式，(II-III)ATTO 488和ATTO 565探针的颜色-时间特征，(IV)由方框II和III的特征组合给出的颜色-时间特征；和
图4示出了根据本发明的显微镜的实验原型。
具体实施方式
根据本发明的方法可以使用基于TCSPC的ISM配置(如在M.Castello et al.，“Arobust and versatile platform for image scanning microscopy enabling super-resolution FLIM”[1]中所述)或基于数字外差法作为初始显微镜(starting microscope)架构来实施。
简而言之，起始显微镜是多光束脉冲激光荧光共焦显微镜，其中针孔完全打开，并且通常在CLSM使用的传统的单元件探测器被单光子探测器阵列(例如，SPAD阵列探测器)代替，在图中表示为40。由激发光束定义的不同光谱分量在图2和图4中表示为B1和B2，而荧光信号表示为F。为了保持系统的光学切片性能，望远镜(或放大镜)确保被投射的探测器阵列尺寸在1和1.5AU之间。为了实施时间分辨测量，探测器阵列的每个元件连接到与激光束脉冲同步的多通道时间标记DAQ卡(或多通道频域中的平均荧光寿命数字系统或多通道快速数字化仪)。为了实施根据本发明的方法，需要在上述架构中引入三个主要的升级(参见图2和4)：
-激发光谱编码器，在图中表示为50。这是一个将荧光探针/物质的激发光谱特征编码到显微镜系统的时间通道中的系统。该系统作用于激光激发光束的不同脉冲的时间分布。下文将描述基于脉冲交错的激发光谱编码器的技术实施例；
-发射光谱编码器，在图中表示为60。这是一个对显微镜时间通道中荧光探针/物质的发射光谱特征进行编码的系统。该系统将荧光信号分解成其多个光谱分量，类似于分光仪。然而，不是在空间上分离它们(即，每个分量被投射到探测器线性阵列的不同位置上)，而是能够在时间上分解它们(即，每个分量在到达探测器阵列之前被不同地延迟)。下文将描述基于光学延迟线的技术实施例；
-多物质解码器，在图中表示为70。这是一个对每个荧光探针/物质的激发光谱、发射光谱和平均荧光寿命衰减以及探针在样本中的浓度进行解码的系统(或者更确切地说，在每个样本位置，因为整个管道是通过使用激光束扫描样本逐像素/逐位置地实施的)。
由于两个编码器和脉冲激发方案，每个探针以特定的时间特征作为其特征，在下文中称为颜色-时间特征。单光子探测器阵列40记录该特征的线性组合，其系数与探针浓度成比例。因此，解码器70的主要任务是通过计算检索该线性组合的系数(也可能是颜色-时间特征)。实践上，解码器70使用光谱(盲)解混、(盲)去卷积、相量分解、拟合(如果提供了特征模型)或机器学习算法来实施。(盲)光谱解混方法将在下文中更详细地描述。
一般理论
在所提出的方法的实际实施例中要满足的最重要的特性和条件是，在样本(即图像像素)的位置x和时间t上，由时间分辨测量fx(t)(即光子到达时间的直方图)产生的荧光信号是颜色-时间特征sl(t)和不同探针的相对贡献/浓度cl，x的线性组合：
其中X是样本中空间位置的数量(图像像素)，是L要分离的探针数量。在任何多物质荧光成像实验中，探针的数量通常是已知的。如上所述，颜色-时间特征sl(t)是探针的平均荧光寿命τl(t)、激发光谱el(λ)和发射光谱特征ml(λ)的函数。作为τl(t)，el(λ)和ml(λ)的函数的颜色-时间特征sl(t)的两个例子在图3的方框II和III中示出，分别涉及荧光染料ATTO488和ATTO565。图3涉及一个示例，其中激发光束包括两个激发光谱分量，表示为exc.1和exc.2，其脉冲以12.5ns的间隔交替照射样本(exc.delay，激发.延迟)。由荧光探针ATTO488和ATTO565中的每一个发射的信号被分解成两个发射光谱分量，具体为：第一光谱分量(det.1)，其波长比由二向色滤光器确定的鉴别波长更短；第二光谱分量(det.2)，其波长比前述鉴别波长更长，并且相对于该第一发射光谱分量(em.delay，发射.延迟)被延迟6.25ns。因此，分别由ATTO488探针和ATTO565探针的激发脉冲和发射延迟所确定的四个窗口a、b、c、d和e、f、g、h在方框II和III的每个时间图中是可识别的。例如，特征1的窗口a与由exc.1激发的ATTO 488的第一发射光谱分量相关，而在窗口b中，该分量被添加到由exc.1激发的ATTO 488的第二发射光谱分量。在窗口c和d中(在激发份量exc.2照射样本之后)，这些分量在不受exc.2激发的情况下衰减。类似地，特征2的窗口e与由exc.1激发的ATTO565的第一发射光谱分量相关，而在窗口f中，该分量被添加到由exc.1激发的ATTO565的第二发射光谱分量。这些分量很小但不为零，因为波长exc.1少量地落在ATTO 565的吸收光谱中。由exc.2激发的第一光谱分量和第二光谱分量的贡献被添加到窗口g和h中(在样本被激发分量exc.2照射之后)。
为了实施多物质盲成像，解码器70的目的是为样本的每个位置x估计浓度cl，x和颜色-时间特征sl(t)，基于它们的“混合物”fx(t)(见图3，方框IV，其中在上述例子的四个时间窗口中，有ATTO488和ATTO565的贡献的总和：a+b，b+f，c+g，d+h)。
考虑到时间离散化之后的时间分辨测量和光子到达时间的时间采样窗口t＝t1，…，tT，等式1可以用向量符号写成：
其中是在第x个像素中测量的光子到达时间的直方图， 是第l个物质的颜色-时间特征。因此，切换到向量符号：
fx＝Scx (3)
其中S＝[s1，…，sL]，其中S∈RT×L且cx＝[c1，x，…，cL，x]。最后，通过合并所有空间样本(即，所有像素)，混合物(等式1)的模型可以由三个矩阵来描述：
F＝SC (4)
其中F＝[f1，…，fX]是总时间分辨测量矩阵，其中F∈RT×X，C＝[c1，…，cX]是样本中每个可用位置的每种物质的浓度，C∈RL×X。
鉴于在荧光显微术中，样本通常被人工标记，不仅物质的数量L是已知的，而且颜色-时间特征sl(t)可以被单独校准和先验估计。然而，应该注意，校准的特征有时可能高度依赖于成像条件和标记协议(因此它们可能因样本而异)。
因此，既考虑了颜色-时间特征sl(t)未知的最困难情况，也考虑了颜色-时间特征sl(t)已知的最简单情况。如果颜色-时间光谱S是已知的，C则可以通过线性解混从F计算得出，否则问题就变成了线性盲解混问题。
现在描述如何解决盲问题的例子。非盲问题显然是更一般问题的简化，且通常使用等式3而不是等式4来依次地(逐个像素地)求解。利用等式4的矩阵符号，解码操作，即解混问题，可以写成最小化所测量的“混合物”F和建模/预测的“混合物”SC之间的差异的问题。该最小化问题的不同等式可以基于备选假设得出，例如污染测量的噪声(例如高斯或泊松噪声)的概率分布，以及关于颜色-时间特征和浓度值的其他假设，一般通过最小化问题中的正则化项引入。这里给出了一个等式，其中使用了Frobenius范数[2]：
最小化问题中引入的一般约束条件是颜色-时间特征的归一化和非负性：
以及系数的非负性：
此外，由于在盲问题中，最小化是通过一起考虑所有样本位置来完成的，所以通常的做法是对在每个样本位置(图像像素)所测量的数据施加强度归一化，即这导致了对系数的以下约束条件：
每个物质l和每个像素x的绝对强度通过乘以相应系数cl，x得出，系数cl，x由总测量非归一化初始强度而得出。
线性盲解混问题的一般解决方案是通过最小化测量混合物和建模/预测混合物之间的差异的最小二乘法逆过程得出[3]。关于如何通过考虑测量混合物中的泊松噪声来转换盲和非盲解混问题的另一个示例可以在[4]中找到。注意，本文描述的最小化方法只是转换等式4和5的解混问题的几种方法之一。例如，解混问题可以使用其他计算方法来解决，例如相量变换、拟合或机器学习。还要注意，所有上述示例都用于解决上下文中CLSM的解混问题，其中仅使用一般的高光谱测量或平均荧光寿命直方图测量。
根据本发明的方法测量了专门定义的特征：颜色-时间特征，其在时间分辨测量中对荧光探针的所有光物理特征进行编码。因此，传统的解混算法被用于从所测量的颜色-时间特征计算探针系数/浓度。
离散发射光谱编码器的实施例
如上所述，现在将描述将探针的激发和发射光谱有效编码到光子到达时间直方图中的第一实际实施例。对于激发光谱编码器50，使用脉冲交织来编码激发光谱，即，实施不同波长下的激发脉冲序列J(其中j＝1，…，J)，其以预定频率周期性重复(参见图3-I)。因此，样本中不同的物质/探针以不同的概率被激发，这取决于它们的激发光谱((el(λ)，其中l＝1，…，L)。
仅依赖于电子元件的脉冲交错的有效实施方式可以通过使用一组可触发的脉冲二极管来实现，其脉冲可以以特定的延迟彼此电子同步。然后，激发光束聚焦在样本上，荧光信号由物镜收集并提供给发射光谱编码器60。在该处，荧光信号被一系列分色镜分成光谱多个窗口K(其中j＝1，…，K+1)。取决于探针的发射光谱(ml(λ)，其中l＝1，…，L)，每个窗口能够包含的探针荧光的不同部分。随后，不同的分量被引导通过具有不同长度的光路(例如，光学延迟线)以引入特定的时间延迟。最后，所有的分量被第二组分色镜重新组合，并被发送回单光子探测器阵列40上(通过该过程实现的简化示例在图3的框II-IV中示出)。由于特定的编码器，第l个探针的颜色-时间特征由下式给出：
其中
其中*表示卷积算子；τl(t)是第l个探针的平均荧光寿命特征；是第i个激光激发光束的延迟；/>是第k个检测光谱窗口的延迟。简而言之，αl，j是用第j个激光束激发第l个探针的概率，βl，k是第l个探针的发射落在第k个时间窗内的概率。通过一些简单的计算，可以获得颜色-时间特征的以下等式：
在实践中，脉冲序列以频率1/T重复，因此，T是测量的光子到达时间的最大值； 此外，为了避免平均荧光寿命的重叠特征副本，激发延迟和发射延迟应该被比所有探针的平均寿命/>更长的时间分开。
注意，激励脉冲序列可以被安排成实施Hadamard编码以提高测量的SNR，并且此处延迟也可以是相等的。
连续发射光谱编码器的实施例
在该替代的实际实施例中，改变了发射光谱60的编码器，而激发光谱50的编码器保持不变。在该连续编码器中，发射光谱没有被分离成离散的窗口，而是被棱镜、光栅或其他类似装置在空间上分离。发射光谱的每个分量(连续的)遵循不同的路径(长度线性地增加)，从而引入不同的延迟，该延迟是波长的函数。随后，所有分量在空间上重新组合，并被发送到单光子探测器阵列40。
在这种情况下，将在时间上线性延迟发射光谱的坐标变化m(t)＝m(λ/a)定义为时间常数a的函数，颜色-时间特征由下式给出：
通过一些简单的计算，得到以下结果：
按步骤描述
1.一组多色脉冲光束(来自激光器阵列或超连续光谱源)进入激发光谱编码器50，激发光谱编码器50对该激发光束的每个光谱分量施加精确且已知的时间延迟。
2.多色激发光束通过物镜聚焦在特定的样本位置上，该位置已经预先用一系列不同的荧光探针标记，以瞄准精确的亚结构。
3.从样本发射的荧光由同一物镜收集，并且荧光束被发送到编码器的发射光谱60，该编码器对荧光束的每个光谱分量施加特定的时间延迟。
4.荧光信号被激发光过滤，并被放大镜投射到单光子探测器阵列40上。
5.单光子探测器阵列40的输出信号由产生P个图像的时间分辨采集系统(例如TCSPC卡)采集，单光子探测器阵列40的每个元件一个图像。图像的大小为T×X，其中X是空间位置(即，在3D成像的情况下是像素或体素)的总数，并且T是光子到达时间直方图中的通道数。
6.通过像素重新分配(或其他恢复算法)将P个图像融合在一起，以产生具有时间分辨率和高信噪比的超分辨率ISM的尺寸为T×X的图像fx，。
7.多物质解码器70通过依次地(逐个像素地)反转等式3的线性系统或者全局地反转等式4的线性系统来解决线性解混问题。具体而言，从时间分辨的ISM图像fx中提取不同的浓度系数cl，x，并用于构建最终的多物质超分辨率ISM图像。
发明者建立了一个显微镜的原型(图4)。数值在图4中以示例的方式示出，并且不旨在限制本发明。
改进了传统的激光扫描共聚焦显微镜(CLSM)在光学实验台上的检测。传统仪器配备有两个激发激光源，分别具有485nm(LDH-P-C-485B，PicoQuant)和560nm(LDH-D-TA-560，PicoQuant)的波长。
脉冲交错激发方案(激发光谱编码器50)通过带有TTL信号的命令激光来实施，该TTL信号来自FPGA控制系统(40MHz重复率(激光周期25ns)，每个脉冲之间12.5ns延迟)。
用该激光束穿过一对检流计镜(6215HM40B，CTI-Cambridge)和物镜(CFIPlan ApoVC60xoil，Nikon)来扫描样本。从同一物镜收集荧光光子，通过多波段分色镜(ZT-488-561-640-775，AHF Analysentechnik)进行去扫描和过滤。然后荧光信号被发送到发射光谱编码器60，发射光谱编码器60由分色镜(575nm的低通滤波器，Edmund Optics)和四个反射镜组成，这四个反射镜为波长大于575nm的荧光定义了6.25ns的延迟线(对应于大约1.87m的光程长度)。
最后，光束被扩束并投射到SPAD探测器阵列40上。探测器阵列具有25个排列成5×5阵列的元件；它安装在一个商用支架上，用螺旋测微器在三个轴上精确对准。对探测器阵列的空间和时间性能进行了评估，显示出200ps的时间分辨率和有效区域中110和160ps之间的时间抖动。
探测器阵列由传统的专用操作板控制，该操作板提供电源并执行电信号调节。该板提供25个数字输出通道(每个通道与到达探测器阵列特定元件的光子相关)，这些通道被输入数据采集系统。
数据采集系统是用商业FPGA开发板(National Instruments USB-7856R)开发的，配备有Kintex7 FPGA处理器并连接到个人计算机。标准数字像素/线/帧时钟线用于同步采集系统和显微镜控制系统。
在FPGA控制系统中实施频域中的数字外差法，以计算光子到达时间的直方图。
参考文献
[1]M.Castello et al.A robust and versatile platform for imagescanning microscopy enabling super-resolution FLIM.Nat.Methods,16(2):175–178,2019.
[2]O.Gutierrez-Navarro et al.Blind end-member and abundanceextraction for multispectral fluorescence lifetime imaging microscopydata.IEEE Journal of Biomedical and Health Informatics,18(2):606–617,Mar2014.
[3]M.Dickinson et al.Multispectral imaging and linear unmixing add awhole new dimension to laser scanning fluorescence microscopy.BioTechniques,31(6):1272–1278,Dec 2001.
[4]R.A.Neher et al.Blind source separation techniques for thedecomposition of multiply labeled fluorescence images.Biophysical Journal,96(9):3791–3800,May 2009.
Claims (7)
1.一种激光扫描显微镜，被配置成用多个脉冲激发光束照射样本，所述多个脉冲激发光束包括不同光谱分量(B1，B2)，下文中称为激发光谱分量，所述样本包含多种荧光物质，其中所述显微镜包括：
单光子探测器阵列(40)，被配置成探测由所述样本发射的荧光信号，所述荧光信号包括不同的光谱分量，下文中称为发射光谱分量；
激发光谱编码器(50)，被配置成对每个激发光谱分量施加各自的时间延迟，以使得每个激发光谱分量相对于其他激发光谱分量在不同的时间照射所述样本；
发射光谱编码器(60)，被配置成对每个发射光谱分量施加各自的时间延迟，以使得每个发射光谱分量相对于其他发射光谱分量在不同的时间到达所述单光子探测器阵列(40)；
数据采集系统，被配置成采集由所述单光子探测器阵列(40)提供的测量信号，并提供所述样本的时间分辨图像，所述时间分辨图像包括，针对所述图像中每个像素或体素，所述发射光谱分量到达所述单光子探测器阵列(40)的光子到达时间的直方图，以及
多物质解码器(70)，其被配置成基于所述样本的时间分辨图像，对每个所述荧光物质的所述激发光谱、所述发射光谱和荧光衰减曲线进行解码。
2.根据权利要求1所述的显微镜，其中，所述单光子探测器阵列包括响应所述样本发射的所述荧光信号的响应元件的阵列，每个所述响应元件能够提供所述样本的各自时间分辨图像，并且其中所述数据采集系统被配置成，通过恢复算法将所述响应元件提供的所述时间分辨图像融合在一起，以产生所述样本的超分辨率图像。
3.根据权利要求1或2所述的显微镜，其中，所述数据采集系统与所述脉冲激发光束同步。
4.根据前述权利要求中任一项所述的显微镜，其中，所述激发光谱编码器(50)被配置成实施以预定频率周期性重复的激发脉冲序列，每个所述激发脉冲对应于多个所述激发光谱分量中的一个。
5.根据权利要求4所述的显微镜，其中所述发射光谱解码器(60)包括：
划分装置，被配置成将所述荧光信号划分为多个光谱窗口，每个所述光谱窗口包含多个所述发射光谱分量中的一个，
延迟装置，被配置成对每个所述发射光谱分量施加各自的时间延迟，以及
重组装置，被配置成重组所述发射光谱分量，并将所述发射光谱分量重新发送到所述单光子探测器阵列(40)。
6.根据权利要求4所述的显微镜，其中所述发射光谱解码器(60)包括：
划分装置，被配置成从所述荧光信号中空间地分离所述发射光谱分量，并对每个所述发射光谱分量施加各自的时间延迟，以及
重组装置，被配置成重组所述发射光谱分量，并将所述发射光谱分量重新发送到所述单光子探测器阵列(40)。
7.一种激光扫描显微方法，包括：
用多个脉冲激发光束照射样本，所述多个脉冲激发光束包括不同光谱分量(B1，B2)，以下称为激发光谱分量，所述样本包含多种荧光物质，其中照射所述样本包括：
对每个激发光谱分量施加各自的时间延迟，使得每个激发光谱分量相对于其他激发光谱分量在不同的时间照射样本，
用单光子探测器阵列(40)探测由所述样本发射的荧光信号，所述荧光信号包括不同的光谱分量，下文称为发射光谱分量，其中探测所述荧光信号包括：
对每个发射光谱分量施加各自的时间延迟，使得每个发射光谱分量相对于其他发射光谱分量在不同的时间到达所述单光子探测器阵列(40)，
获取由所述单光子探测器阵列(40)提供的测量信号，并提供所述样本的时间分辨图像，，所述时间分辨图像包括，针对所述图像中的每个像素或体素，发射光谱分量到达所述单光子探测器阵列(40)的光子到达时间的直方图，以及
基于所述样本的所述时间分辨图像，解码每个所述荧光物质的激发光谱、发射光谱和荧光衰减曲线。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102021000017018 | 2021-06-29 | ||
| IT102021000017018A IT202100017018A1 (it) | 2021-06-29 | 2021-06-29 | Imaging simultaneo multispecie in super-risoluzione mediante multiplazione temporale e array di rivelatori a fotone singolo |
| PCT/IB2022/056046 WO2023275777A1 (en) | 2021-06-29 | 2022-06-29 | Simultaneous multi-species super-resolution imaging via temporal multiplexing and single- photon detector array |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117813490A true CN117813490A (zh) | 2024-04-02 |
Family
ID=77802110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280047055.0A Pending CN117813490A (zh) | 2021-06-29 | 2022-06-29 | 基于时间复用和单光子探测器阵列的多物质超分辨率同时成像 |
Country Status (6)
| Country | Link |
|---|---|
| EP (1) | EP4363833A1 (zh) |
| KR (1) | KR20240045211A (zh) |
| CN (1) | CN117813490A (zh) |
| CA (1) | CA3222868A1 (zh) |
| IT (1) | IT202100017018A1 (zh) |
| WO (1) | WO2023275777A1 (zh) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7015484B2 (en) * | 2001-04-16 | 2006-03-21 | Dakota Technologies, Inc. | Multi-dimensional fluorescence apparatus and method for rapid and highly sensitive quantitative analysis of mixtures |
| GB0601183D0 (en) * | 2006-01-20 | 2006-03-01 | Perkinelmer Ltd | Improvements in and relating to imaging |
| DE102012216002B3 (de) | 2012-05-18 | 2013-09-12 | Leica Microsystems Cms Gmbh | Schaltung und Verfahren zum Erzeugen von periodischen Steuersignalen sowie Mikroskop und Verfahren zum Steuern eines Mikroskops |
| WO2018050888A1 (de) | 2016-09-16 | 2018-03-22 | Leica Microsystems Cms Gmbh | Lichtmikroskop |
| IT201800001891A1 (it) | 2018-01-25 | 2019-07-25 | Fondazione St Italiano Tecnologia | Metodo di imaging risolto nel tempo ad alta risoluzione spaziale. |
| WO2020018616A1 (en) * | 2018-07-17 | 2020-01-23 | Board Of Regents, The University Of Texas System | Multiple biomarkers imaging for high specificity |
-
2021
- 2021-06-29 IT IT102021000017018A patent/IT202100017018A1/it unknown
-
2022
- 2022-06-29 CN CN202280047055.0A patent/CN117813490A/zh active Pending
- 2022-06-29 KR KR1020247003286A patent/KR20240045211A/ko unknown
- 2022-06-29 CA CA3222868A patent/CA3222868A1/en active Pending
- 2022-06-29 EP EP22741857.1A patent/EP4363833A1/en active Pending
- 2022-06-29 WO PCT/IB2022/056046 patent/WO2023275777A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| EP4363833A1 (en) | 2024-05-08 |
| IT202100017018A1 (it) | 2022-12-29 |
| WO2023275777A1 (en) | 2023-01-05 |
| KR20240045211A (ko) | 2024-04-05 |
| CA3222868A1 (en) | 2023-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Becker | Advanced time-correlated single photon counting applications | |
| Bückers et al. | Simultaneous multi-lifetime multi-color STED imaging for colocalization analyses | |
| JP4537231B2 (ja) | 多重蛍光からの蛍光色素濃度の推定方法および多重蛍光からの蛍光強度の推定方法 | |
| Wilcox et al. | Digital compressive chemical quantitation and hyperspectral imaging | |
| EP3743758B1 (en) | Time-resolved imaging method with high spatial resolution | |
| Kutta et al. | Setup and performance of a streak camera apparatus for transient absorption measurements in the ns to ms range | |
| Macháň et al. | Statistical filtering in fluorescence microscopy and fluorescence correlation spectroscopy | |
| CN110836883A (zh) | 基于spad的时间相关拉曼-荧光寿命光谱仪 | |
| US11774364B2 (en) | Raman spectroscopy method and apparatus | |
| Yin et al. | Video-rate mid-infrared photothermal imaging by single-pulse photothermal detection per pixel | |
| Ivanchenko et al. | Fluorescence correlation spectroscopy: principles and developments | |
| Liu et al. | Combination of structured illumination microscopy with hyperspectral imaging for cell analysis | |
| Wang et al. | Low resolution Raman: The impact of spectral resolution on limit of detection and imaging speed in hyperspectral imaging | |
| EP3775851B1 (en) | Method and apparatus for simultaneous nonlinear excitation and detection of different chromophores across a wide spectral range using ultra-broadband light pulses and time-resolved detection | |
| CN117813490A (zh) | 基于时间复用和单光子探测器阵列的多物质超分辨率同时成像 | |
| KR101629576B1 (ko) | 다파장 형광 이미지를 획득하는 장치 및 방법 | |
| WO2018185583A1 (en) | A birefringent interferometer for measuring photoluminescence properties of samples. | |
| Lin et al. | Compressive Raman microspectroscopy | |
| Haas et al. | Single-cell biochemical multiplexing by multidimensional phasor demixing and spectral fluorescence lifetime imaging microscopy | |
| Sowoidnich et al. | Charge-shifting optical lock-in detection with shifted excitation Raman difference spectroscopy for the analysis of fluorescent heterogeneous samples | |
| Premadasa et al. | Spatially co-registered wide-field nonlinear optical imaging of living and complex biosystems in a total internal reflection geometry | |
| Katz | Five-Dimensional Hadamard-Transform Fluorescence Imaging | |
| US20230309834A1 (en) | Hadamard-transform fluorescence excitation-emission-matrix imaging systems | |
| Ortmann et al. | Compact TCSPC upgrade package for laser scanning microscopes based on 375-to 470-nm picosecond diode lasers | |
| Mooij et al. | Distinguishing bacteria from minerals in a layered sample using time-resolved Raman spectroscopy and global analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |