CN113514948B - 估计sted分辨率的方法和设备 - Google Patents
估计sted分辨率的方法和设备 Download PDFInfo
- Publication number
- CN113514948B CN113514948B CN202110330655.5A CN202110330655A CN113514948B CN 113514948 B CN113514948 B CN 113514948B CN 202110330655 A CN202110330655 A CN 202110330655A CN 113514948 B CN113514948 B CN 113514948B
- Authority
- CN
- China
- Prior art keywords
- sted
- frame
- resolution
- image
- estimating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000010870 STED microscopy Methods 0.000 claims description 117
- 230000005284 excitation Effects 0.000 claims description 36
- 230000003287 optical effect Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 12
- 239000000523 sample Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 5
- 238000004624 confocal microscopy Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000005283 ground state Effects 0.000 description 3
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005281 excited state Effects 0.000 description 2
- 238000002292 fluorescence lifetime imaging microscopy Methods 0.000 description 2
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 240000007320 Pinus strobus Species 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 231100000760 phototoxic Toxicity 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- Quality & Reliability (AREA)
- Theoretical Computer Science (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明涉及一种用于估计STED分辨率的方法,包括以下步骤:从视场生成表示参考图像的第一帧(F0),所述参考图像(F0)具有预定参考分辨率,从同一视场生成表示STED图像的至少一个第二帧(F1‑FN),所述STED图像具有待估计的STED分辨率;通过应用具有至少一个拟合参数的卷积核于第二帧(F1‑FN)使第二帧(F1‑FN)模糊;确定卷积核的拟合参数的优化值,对于该优化值,第一帧和模糊的第二帧之间的差被最小化;以及基于拟合参数的优化值和预定参考分辨率估计STED分辨率。
Description
技术领域
本发明涉及一种用于估计STED分辨率的方法和设备。
背景技术
受激发射损耗显微术(STED)是一种荧光显微镜技术,其可以克服其他技术例如共焦显微术的衍射受限的光学分辨率。通过在衍射受限的激发焦点的外部区域中使用高强度激光的受激发射来关闭荧光团的荧光来实现分辨率的提高。强激光使几乎所有的激发荧光团返回到非荧光基态。然后检测来自激发焦点的中心中的剩余的激发荧光团的荧光,以创建高分辨率图像。STED显微镜技术的原理在例如US 5 731 588中详细说明。
与光学分辨率仅取决于用于对样本成像的光学系统的光学参数的宽视野或共焦显微术相比,STED中的光学分辨率特别地取决于荧光团及其环境的光物理性质。因此,与宽视野或共焦显微术相比,STED分辨率的估计非常困难。基本上,在实际的STED实验中,用户没有有关STED分辨率的任何信息。由于通过去卷积重建图像需要有关分辨率的信息,因此非常期望找到一种用于测量和/或估计STED分辨率的方法。
在更广泛的背景下,本领域已知一种称为傅立叶环相关(FRC)的方法。FRC测量傅立叶空间中的归一化互相关,即根据空间频率。如果要成像的样本没有任何清晰的轮廓,则空间频率低,并且FRC不适合使用。因此,FRC结果不能用于去卷积。此外,FRC强烈依赖于噪声,从而对于低信噪比(SNR)图像,计算将失败。有趣的是,对于特别好的SNR(大约SNR<50),FRC计算还是错误的,并且当SNR趋于无穷大时,FRC测量收敛到零。FRC在Koho,S.;Tortarolo,G.;Castello,M.;Deguchi,T.;Diaspro,A.和Vicidomini,G.于2018年在《自然通信》上发表的“Fourier ring correlation simplifies image restoration influorescence microscopy”》中有描述。
发明内容
本文目的是提供一种适于可靠地估计STED分辨率的方法和设备。
上述目的是通过根据一种用于估计STED分辨率的方法、一种用于估计STED分辨率的设备以及一种计算机存储介质来实现的。
根据一个实施例,提供了一种用于估计STED分辨率的方法,该方法包括以下步骤:从视场生成表示参考图像的第一帧,所述参考图像具有预定参考分辨率;以及从同一视场生成表示STED图像的至少一个第二帧,所述STED图像具有待估计的STED分辨率;通过将具有至少一个第一参数的卷积核应用于第二帧来模糊第二帧;确定卷积核的拟合参数的优化值,对于该优化值,第一帧和模糊的第二帧之间的差被最小化;以及基于拟合参数的优化值和预定参考分辨率,估计STED分辨率。
优选地,参考图像是共焦图像,并且预定参考分辨率是预定共焦分辨率。
在优选实施例中,基于预定参考分辨率和拟合参数的优化值之间的差来确定STED分辨率。可替代地,基于预定参考分辨率的平方与拟合参数的优化值的平方之间的差来确定STED分辨率。
卷积核可由高斯核或基于球贝塞尔函数的核或基于艾里函数的核表示,其宽度表示拟合参数。
优选地,预定参考分辨率仅取决于用于生成参考图像的光学系统的光学参数。
可以从第二帧确定信噪比,并且可以根据信噪比来校正STED分辨率。
在有利的实施例中,从一个第二帧生成多个降采样帧,所述降采样帧具有不同的信噪比,这些信噪比是从第二帧的信噪比得出的。可以针对多个降采样帧中的每一个执行估计STED分辨率的步骤,并且可以基于针对多个降采样帧估计的多个STED分辨率来确定经信噪比校正的STED分辨率。
在优选实施例中,至少一个第二帧包括多个第二帧,其中,在模糊的步骤中,针对所述多个第二帧中的每个执行确定拟合参数的优化值以及估计STED分辨率。然后,基于多个估计的STED分辨率来确定最终的STED分辨率。
根据优选实施例,基于估计的STED分辨率来确定STED点扩散函数(PSF)。
优选地,基于参考点扩散函数对表示参考图像的第一帧和/或基于STED点扩散函数对表示STED图像的至少一个第二帧执行去卷积。
在优选的实施例中,第一帧和至少一个第二帧是从单个图像采集中生成的。
可以通过应用根据光子在光检测器上的到达时间来对光子进行分类的时间选通检测来执行图像采集。
当生成第二帧时,可以使用连续波激光器或脉冲激光器来发射损耗光。
当生成第一帧时,脉冲激光器可以用于发射激发光。
根据另一方面,提供了一种用于估计STED分辨率的设备。该设备包括成像单元,成像单元被配置为从视场生成表示参考图像的第一帧,所述参考图像具有预定参考分辨率,并从同一视场生成表示STED图像的至少一个第二帧,所述STED图像具有待估计的STED分辨率。设备还包括处理器,处理器被配置为通过将具有至少一个拟合参数的卷积核应用于第二帧来模糊第二帧。处理器还被配置为确定卷积核的拟合参数的优化值,针对该优化值,第一帧和模糊的第二帧之间的差被最小化。处理器还被配置为基于拟合参数的优化值和预定参考分辨率来估计STED分辨率。
设备优选地适于执行方法。此外,提供一种计算机可读存储介质,其具有计算机程序,当计算机程序在处理器上运行时,用于执行根据方法。
附图说明
在下文中,将参考附图描述具体实施例,其中:
图1是根据实施例的荧光显微镜的示意图,
图2是示出时间选通检测的示意图,
图3是示出了模拟的共焦图像和模拟的STED图像,
图4是示出用于估计STED分辨率的方法的流程图,
图5是示出STED分辨率的估计的噪声依赖性的图,
图6是示出噪声校正过程的示意图,
图7是示出噪声校正对STED分辨率的估计的影响的示意图,
图8是示出考虑多个STED帧的方法的具体实施方式的流程图。
具体实施方式
图1示出了根据实施例的荧光显微镜100的示意图。荧光显微镜100被配置为估计STED分辨率,如在下文中详细解释的。首先,将简要概述荧光显微镜100的基本结构。
荧光显微镜100包括在图1中通常被称为102的成像单元和处理器104,处理器104可以被配置为控制荧光显微镜100的整体操作。
成像单元102包括激发光源106,激发光源106用于发射激发光L1,激发光L1适于激发样本108内的激发焦点中存在的荧光团以自发地发射荧光L3。激发光L1的波长适合于特定实验中使用的荧光团。成像单元102还包括损耗光源110,损耗光源110用于发射损耗光L2,损耗光L2适合于损耗由激发光L1生成的激发焦点的外部区域。选择损耗光L2的波长,使得当用损耗光L2照射时,受激发射可靠地诱导存在于样本108中的荧光团从其激发态返回到基态。具体地,损耗光L2的波长可以近似等于荧光团在从激发态转变为基态时发射的荧光L3的波长。
激发光源106将激发光L1发射到镜114上,镜114将激发光L1反射到第一波长选择分束器116上。分束器116将激发光L1反射到朝向扫描设备120传输激发光L1的第二波长选择分束器118上。
损耗光源110将损耗光L2发射到相位掩模122上,相位掩模122以如下方式影响激发光L2:在激发焦点的区域中,光L2的空间分布呈现最小值,优选为零,并且从最小值陡然上升。在穿过相位掩模122之后,损耗光L2在镜124上反射到第二波长选择分束器118上,从第二波长选择分束器118损耗光L2被反射到扫描设备120。
扫描设备120被配置为将由分束器118叠加的激发光L1和损耗光L2移向物镜126,物镜126将叠加的光分布L1/L2聚焦到样本108中。通过操作扫描设备120,叠加的光分布L1/L2在样本108上移动,从而利用叠加的光分布L1/L2扫描样本108内的多个点。
用叠加的光分布L1/L2照射的样本108发射荧光L3,荧光L3通过物镜126返回到扫描设备120。因此,图1的示例性配置提供了荧光L3的所谓反扫描检测。随后,荧光L3通过分束器118、116并落在检测器128上。
不用说,分束器116、118表现出与激发光L1、损耗光L2和荧光L3的波长相适应的光谱特性,以便能够通过反射和透射来导光,如图1所示。
检测器128可以被配置为通过检测荧光的强度来执行图像采集。替代地或附加地,检测器128可以被配置为通过对表示从样本108发射的荧光L3的荧光光子应用时间选通检测来执行图像采集。因此,在处理器104的控制下,检测器128检测荧光光子并取决于荧光光子在检测器128上的到达时间来分类荧光光子。例如,检测器128被配置为通过应用时间相关的单光子计数来检测到达时间。为此,检测器128检测相对于开始时间的荧光光子的到达时间,开始时间可以由激发光源和损耗光源106、110之一发射的光脉冲来限定。
在图1中所示的特定示例中,可以假设激发光源106和损耗光源110均由脉冲激光源形成。然而,此配置仅是示例。例如,根据替代实施例,损耗光源110可以被配置为发射损耗光L2的连续波(CW)激光。
图2是示出在激发光源106和损耗光源110都是脉冲激光源的情况下,在处理器104的控制下由检测器128执行的时间选通检测的示意图。根据图2,激发光源106在检测时间选通器TG1期间输出具有P1的脉冲持续时间的激发脉冲。随后,损耗光源110在检测时间选通器TG2期间输出具有脉冲持续时间P2的损耗脉冲DP。如图2所示,激发脉冲EP和损耗脉冲DP暂时不重叠。通过应用两个分开的检测时间选通器TG1和TG2,检测器128允许生成表示纯共焦图像的第一帧和表示纯STED图像的第二帧。在图3中,左侧显示了模拟的共焦图像,右侧显示了模拟的STED图像。如下面详细解释的,表示共焦图像的第一帧和表示STED图像的第二帧可以用于估计STED分辨率。在这方面,要注意的是,第一帧不限于共焦图像。准确地说,可以使用任何帧来表示参考图像,只要此参考图像具有可以预先确定的分辨率以用作估计未知STED分辨率的参考即可。
在下文中,将解释根据实施例的用于估计STED分辨率的方法。在此实施例中,仅一个STED帧用于确定其分辨率。然而,如下文所示,该方法也可以应用于例如通过在激发脉冲之后应用多个检测时间选通器所创建的多个STED帧。
图4示出了流程图,该流程图示出了根据实施例执行的用于估计STED分辨率的方法步骤。
在步骤S1中,从视场生成表示参考图像的第一帧,例如,通过应用检测时间选通器TG1的图像采集。如上所述,参考图像可以是共焦图像,但不限于此。在任何情况下,参考图像具有可以预先确定的特定参考分辨率。例如,参考图像的分辨率可以仅取决于用于生成参考图像的光学系统的光学参数。根据图1的示例性配置,可以通过收集来自样本108的荧光L3的物镜126来形成上述光学系统。因此,可以基于物镜126的光学参数预先确定参考分辨率。
在步骤S2中,从相同视场生成表示STED图像的至少一个第二帧,例如,通过应用检测时间选通器TG2的图像采集,其中STED图像具有将通过所述方法估计的STED分辨率。执行步骤S1和S2的顺序没有特别的关系,可以颠倒。
在步骤S3中,通过将卷积核应用于第二帧来模糊表示STED图像的第二帧。卷积核包括至少一个拟合参数,这将在下面更详细地说明。
在步骤S4中,确定卷积核的拟合参数的优化值,其中,优化值使第一帧和通过包括拟合参数的卷积核而模糊的第二帧之间的差最小化。
最后,在步骤S5中,基于在步骤S4中已经确定的拟合参数的优化值,并且基于预先已知的预定参考分辨率,估计STED分辨率。
在下文中,解释了图4的一般方法的具体实现。
首先,更详细地说明在图4的步骤S3中应用的合适的卷积核。在此示例中,二维(x,y)高斯模糊核fΔ由等式(1)表示:
在步骤S3中,用等式(1)中限定的高斯模糊核fΔ对表示STED图像的第二帧(F1)进行模糊。因此,当未模糊的第二帧由F1指定时,在步骤S3中创建的模糊的第二帧由fΔ*F1给出。优选地,通过执行如上面由符号“*”指示的卷积来实现表示STED图像的第二帧(F1)的模糊。
等式(1)中限定的高斯模糊核包括三个未知参数α、β和σΔ。为了最小化第一帧(共焦)(由F0指定)和模糊的第二(STED)帧fΔ*F1之间的差,根据等式(2)的以下最小化问题考虑如下:
通过求解根据等式(2)的最小化问题,可以估计差分辨率σΔ。假设第一帧F0是纯共焦帧,则STED分辨率由等式(3)给出:
与取决于内部荧光团性质的STED分辨率σSTED相比,由σconfocal表示的共焦分辨率仅取决于光学系统的光学参数,即,取决于图1的实施例中的物镜124的光学参数和激发光的波长。共焦分辨率σconfocal可以根据等式(4)限定:
在等式(4)中,λ是激发光L1的波长,并且NA是物镜126的数值孔径。因数是高斯的标准偏差和在半最大值半宽度(HWHM)之间的转换因数。
因此,使用等式(4),可以仅基于光学系统的光学参数来估计STED分辨率,而无需考虑任何未知的内部荧光团参数。
严格来说,等式(4)仅在共焦和STED点扩散函数(PSF)均为高斯的情况下才有效。但是,等式(4)可以很好地近似用于典型的实值PSF。
在上面说明的示例中,为了简洁,考虑了二维情况。但是,扩展到三维(x,y,z)的情况是直接的。在三维情况下,可以考虑根据等式(5)的三维高斯核:
在等式(5)中,σΔ和σΔz分别是横向和轴向差宽度。
再次要注意,分别根据等式(2)和(5)的二维和三维高斯核仅仅是用于模糊第二帧F1的合适的卷积核的示例。可以使用其他核,例如基于球贝塞尔函数的核或基于艾里函数的核。但是,最好使用高斯模糊核,因为确定核的拟合参数的优化值所需的数值工作量小。
还要注意,基于等式(2)估计的差分辨率σΔ受到噪声的显著影响。为了说明噪声影响,图5示出了随变化噪声模拟共焦图像的计算的结果。具体地,曲线C1示出了针对信噪比SNR的不同值,基于等式(2)估计的差宽度σΔ。对于小的SNR值,估计的差宽度σΔ与指示真实宽度的线C2所表示的预期宽度有所不同。仅在大的SNR值的限制下,精确估计才是可能的。但是,STED图像通常是非常有噪的。另外,估计的噪声依赖性在很大程度上取决于图像内容,这使得系统分析变得困难。
为了解决噪声问题,发明人根据等式(2)进行了最小化问题的一些理论分析。基于适当的近似,可以解决关于差宽度的最小化。近似解由等式(6)给出:
在等式(6)中,未知常数β1和β2是取决于图像内容并且在实际实验中不可接近的参数。信噪比SNR可以根据等式(7)限定为STED图像的平均光子计数的平方根:
正如预期的那样,等式(6)在大的SNR值的限制内收敛到真实值σGT,如图5中所示。如果可以从同一个视场中以不同的噪声水平进行多个STED采集,则这三个未知参数β1、β2、σGT可以通过图5中曲线C3所示的曲线拟合来估计/计算。但是,这种多重曝光采集在实际实验中不容易执行。例如,光毒反应或待成像的生物样本的移动阻止了不同采集的定性比较。因此,在下文中,提出了一种方法,该方法使得能够从单个共焦帧和单个STED帧估计未知参数β1、β2、σGT。
为了估计拟合参数β1、β2、σGT,需要至少三个输入点。为了提供这些输入点,需要应用STED帧的降采样。例如,因数为2的降采样可用于创建四个具有与原始帧不同的SNR值的帧,如图6中所示。为此,可以应用分箱处理,其中将帧的相邻像素组合成像素块,以提高信噪比。
例如,通过从2x2像素配置中挑选一个像素(在图6a中显示为斑点区域),创建具有与原始STED帧相同的信噪比SNR0的第一降采样像素(在图6a中显示为水平阴影线区域)。然后,通过组合两个相邻像素,创建第二降采样像素,其SNR值高出倍(请参见图6b)。以相同的方式,创建了第三和第四降采样像素。结果,可以生成具有SNR值SNR0、/> 和2SNR0的四个降采样帧F11、F12、F13、F14(分别参见图6a、6b、6c和6d)。此外,通过分箱对共焦帧进行降采样,以创建具有信噪比2SNR0的降采样共焦帧F0′。
基于降采样共焦帧和四个降采样STED帧,根据对于不同的SNR值的四个估计可以根据等式(8)实现:
σ=[σΔ,1,σΔ,2,σΔ,3,σΔ,4] (8)
可以根据等式(9)通过最小二乘最小化来获得宽度的经噪声校正的估计:
其中ζ(x)=η0+η1/(x+η2),η1=β1/SNR0以及η2=β2/SNR0。然后,通过σΔ,corr=η0来给出经噪声校正的差分辨率。
因此,针对多个降采样帧中的每一个执行STED分辨率的估计,并且基于针对所有降采样帧估计的多个STED分辨率来确定经SNR校正的STED分辨率。
校正后,估计的噪声依赖性变得很小,如图7中所示,针对差宽度σΔ,比较经校正的估计和未校正的估计。在图7中,曲线Cuncorr示出了未校正的估计,并且曲线Ccorr示出了经校正的估计。
基于估计的分辨率模拟STED点扩散函数f的合适方法是根据等式(10)假设高斯PSF:
尽管根据等式(10)的近似被认为是很好的近似,但是也可以采用更复杂的PSF模型。例如,可以应用荧光团的两级模型。在这种情况下,必须估计两个未知参数,即饱和因数ζ和荧光团的寿命τ。饱和因数ζ可以基于等式(11)从共焦分辨率和STED分辨率直接计算得出:
荧光团的寿命τ可以例如通过荧光寿命成像显微术(FLIM)确定。
图8(从图8a桥接到图8b)示出了说明方法的具体实施方式的流程图,方法尤其包括上述噪声校正。然而,尽管上面的解释提到其中激发光源106和损耗光源110均由脉冲激光源形成的示例,但是可以将图8的实施例修改为有利地适用于损耗光源110是连续发射而不是以光脉冲形式发射损耗光L2的CW激光的情况。通过使用CW激光损耗,方法可以应用于通过时间选通检测创建的多个STED帧,时间选通检测在激发光源106发射的激发脉冲之后使用多个时间选通器。
图8中所示的方法开始于步骤S10,在步骤S10中,激活荧光显微镜以进行成像。在步骤S12中,表示例如共焦图像的第一帧以及N个STED帧从同一个视场中生成。在此特定示例中,共焦帧可以是在将激发脉冲应用到样本之后不久被检测到的帧。这样的帧基本上还没有受到损耗光的影响,并且因此可以被认为表示共焦图像。在步骤S14中,将共焦帧和N个STED帧存储在存储器中,其中在图8中,共焦帧由F0指定,并且STED帧由F1至FN指定。
在步骤S16中,共焦帧F0和STED帧F1至FN中的每一个被降采样。具体地,以上参考图6说明的降采样过程被应用于STED帧F1至FN中的每个。例如,通过对STED帧F1进行降采样,多个具有信噪比SNR0、和2SNR0的降采样帧F11至F14被创建。以相同的方式,针对STED帧F2至FN获得具有不同SNR的降采样帧。注意,图8通过示例的方式示出了用于每个STED帧F1至FN的四个降采样帧的数量。然而,由于用于从给定像素全体中选择一个或多个像素的可能组合的数量,可以考虑多于四个帧。例如,有4种可能性(从4种可能性中选择1种)从SNR0中进行选择,有6种可能性(从4种可能性中选择2种)从/>中进行选择,有4种可能性(从4种中选择3种)从/>中进行选择,有一种可能性(选择全部4种)从2SNR0进行中选择。在步骤S18中,将降采样帧存储在存储器中。
在步骤S20中,通过基于等式(12)应用最小二乘最小化,为第k个STED帧(k=1,…,N)和第j个降采样帧估计差宽度σΔkj:
最小化可以例如通过Levenberg-Marquardt算法实施。注意,对于仅考虑一个STED帧的情况,等式(12)对应于上述等式(2)。在步骤S22中存储差宽度σΔkj。
在步骤S24中,如以上参考等式(9)所说明的,基于差宽度σΔkj对每个STED帧F1至FN执行噪声校正。结果,获得了每个STED帧的差宽度σΔk。
在步骤S26中,如以上参考等式(3)所说明的,针对每个STED帧F1至FN估计STED分辨率。
在步骤S28中,基于假设高斯PSF的等式(10),针对每个STED帧F1至FN计算STED点扩散函数。
在步骤S30中,可以基于针对多个STED帧F1至FN确定的PSF来执行多图像去卷积。
最后,在步骤S32中,可以将在步骤30中通过多图像去卷积获得的结果合并为单个去卷积结果F_decon。
如本文所使用的,术语“和/或”包括一个或多个相关列出的项目的任何和所有组合,并且可以缩写为“/”。
尽管已经在装置的上下文中描述了一些方面,但是很明显,这些方面也表示了对相应方法的描述,其中块或设备对应于方法步骤或方法步骤的特征。类似地,在方法步骤的上下文中描述的方面也表示对相应装置的相应块或项目或特征的描述。方法步骤中的一些或全部可以通过(或使用)硬件装置,例如,处理器、微处理器、可编程计算机或电子电路来执行。在一些实施例中,这种装置可以执行最重要的方法步骤中的一个或多个。
取决于特定实施要求,本发明的实施例可以以硬件或软件来实现。可以使用非暂时性存储介质,例如数字存储介质,例如软盘、DVD、蓝光、CD、ROM、PROM和EPROM、EEPROM或FLASH存储器执行上述实现,非暂时性存储介质上存储有电子可读控制信号,该电子可读控制信号与可编程计算机系统协作(或能够协作),从而执行相应的方法。因此,数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体,电子可读控制信号能够与可编程计算机系统协作,从而执行本文描述的方法之一。
通常,本发明的实施例可以被实现为具有程序代码的计算机程序产品,当计算机程序产品在计算机上运行时,该程序代码可操作用于执行一种方法。程序代码可以例如被存储在机器可读载体上。
其他实施例包括存储在机器可读载体上的,用于执行本文描述的方法之一的计算机程序。
换句话说,因此,本发明的实施例是一种计算机程序,其具有当计算机程序在计算机上运行时用于执行本文描述的方法之一的程序代码。
因此,本发明的另一个实施例是存储介质(或数据载体,或计算机可读介质)包括存储在其上的计算机程序,该计算机程序用于在由处理器执行时执行本文所述的方法之一。数据载体,数字存储介质或记录介质通常是有形的和/或非过渡的。本发明的另一个实施例是如本文所述的装置,其包括处理器和存储介质。
因此,本发明的另一实施例是表示用于执行本文描述的方法之一的计算机程序的数据流或信号序列。数据流或信号序列可以例如被配置为经由数据通信连接,例如经由互联网来传送。
另一实施例包括处理装置,例如计算机或可编程逻辑器件,其被配置为或适于执行本文描述的方法之一。
另一实施例包括一种计算机,该计算机上安装了用于执行本文描述的方法之一的计算机程序。
根据本发明的另一实施例包括一种装置或系统,此装置或系统被配置为(例如,以电子方式或光学方式)将用于执行本文描述的方法之一的计算机程序传送给接收器。接收器可以是例如计算机、移动设备、存储设备等。此装置或系统可以例如包括用于将计算机程序传送到接收器的文件服务器。
在一些实施例中,可编程逻辑器件(例如,现场可编程门阵列)可以用于执行本文描述的方法的一些或全部功能。在一些实施例中,现场可编程门阵列可以与微处理器协作以便执行本文描述的方法之一。通常,该方法优选地由任何硬件装置执行。
附图标记列表
100 荧光显微镜
102 成像单元
104 处理器
106 激发光源
108 样本
110 损耗光源
114、124 镜
116、118 分束器
120 扫描设备
122 相位掩膜
126 物镜
128 检测器
L1 激发光
L2 损耗光
L3 荧光
Claims (17)
1.一种用于估计受激发射损耗显微术(STED)分辨率的方法,包括以下步骤:
从视场生成表示参考图像的第一帧(F0),所述参考图像(F0)具有预定参考分辨率,
从相同的视场生成表示STED图像的至少一个第二帧(F1-FN),所述STED图像具有待估计的STED分辨率,
通过将具有至少一个拟合参数的卷积核应用于第二帧(F1-FN)来模糊所述第二帧(F1-FN),
确定卷积核的拟合参数的优化值,对于所述优化值,所述第一帧和模糊的所述第二帧之间的差被最小化,以及
基于所述拟合参数的优化值和所述预定参考分辨率估计所述STED分辨率。
2.根据权利要求1所述的方法,其中,所述参考图像是共焦图像,并且其中,所述预定参考分辨率是预定共焦分辨率。
3.根据权利要求1所述的方法,其中,所述STED分辨率是基于所述预定参考分辨率与所述拟合参数的优化值之间的差来确定的,或者其中,所述STED分辨率是基于所述预定参考分辨率的平方和所述拟合参数的优化值的平方之间的差来确定的。
4.根据权利要求1-3中任一项所述的方法,其中,所述卷积核由高斯核或由基于球贝塞尔函数的核或由基于艾里函数的核表示,核的宽度表示所述拟合参数。
5.根据权利要求1-3中任一项所述的方法,其中,所述预定参考分辨率仅取决于用于生成所述参考图像的光学系统(126)的光学参数。
6.根据权利要求1-3中任一项所述的方法,其中,从所述第二帧(F1-FN)确定信噪比,并且依据所述信噪比校正所述STED分辨率。
7.根据权利要求6所述的方法,其中,从一个第二帧(F1-FN)生成多个降采样帧(F11-F14,F21-F24,…,FN1-FN4),所述降采样帧(F11-F14,F21-F24 ....,FN1-FN4)具有不同的信噪比,所述不同的信噪比是从所述第二帧(F1-FN)的信噪比得出的,
其中,针对所述多个降采样帧(F11-F14,F21-F24…,FN1-FN4)中的每一个执行估计STED分辨率的步骤,以及
其中,基于为所述多个降采样帧(F11-F14,F21-F24…,FN1-FN4)估计的所述多个STED分辨率,确定经信噪比校正的STED分辨率。
8.根据权利要求1-3中任一项所述的方法,其中,所述至少一个第二帧包括多个第二帧(F1-FN),
其中,针对所述多个第二帧(F1-FN)中的每一个执行模糊、确定拟合参数的优化值以及估计STED分辨率的步骤,以及
其中,基于所述多个估计的STED分辨率来确定最终的STED分辨率。
9.根据权利要求1-3中任一项所述的方法,其中,基于估计的STED分辨率来确定STED点扩散函数。
10.根据权利要求9所述的方法,其中,基于参考点扩散函数对表示所述参考图像的所述第一帧(F0)执行去卷积和/或基于STED点扩散函数对表示所述STED图像的所述至少一个第二帧(F1-FN)执行去卷积。
11.根据权利要求1-3中任一项所述的方法,其中,所述第一帧(F0)和所述至少一个第二帧(F1-FN)是从单个图像采集中生成的。
12.根据权利要求11所述的方法,其中,通过应用根据光子在光检测器(128)上的到达时间分类光子的时间选通检测来执行图像采集。
13.根据权利要求1-3中任一项所述的方法,其中,当生成所述第二帧(F1-FN)时,使用连续波激光器或脉冲激光器来发射损耗光(L2)。
14.根据权利要求1-3中任一项所述的方法,其中,当生成所述第一帧(F0)时,使用脉冲激光器来发射激发光(L1)。
15.一种用于估计受激发射损耗显微术(STED)分辨率的设备(100),包括:
成像单元(102),被配置为:
从视场生成表示参考图像的第一帧(F0),所述参考图像具有预定参考分辨率,以及
从相同的视场生成表示STED图像的至少一个第二帧(F1-FN),所述STED图像具有待估计的STED分辨率;以及
处理器(128),
其中,所述处理器(128)被配置为:
通过将具有至少一个拟合参数的卷积核应用于第二帧(F1-FN)来模糊所述第二帧(F1-FN),
确定卷积核的拟合参数的优化值,对于所述优化值,所述第一帧(F0)与模糊的所述第二帧之间的差被最小化,以及
根据所述拟合参数的优化值和所述预定参考分辨率估计所述STED分辨率。
16.根据权利要求15所述的设备(100),适于执行根据权利要求1至14中的任一项所述的方法。
17.一种计算机可读存储介质,具有计算机程序,当所述计算机程序在处理器上运行时,用于执行根据权利要求1至14中的任一项所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20166359.8 | 2020-03-27 | ||
EP20166359.8A EP3885813A1 (en) | 2020-03-27 | 2020-03-27 | Method and device for estimating a sted resolution |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113514948A CN113514948A (zh) | 2021-10-19 |
CN113514948B true CN113514948B (zh) | 2023-08-01 |
Family
ID=70056966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110330655.5A Active CN113514948B (zh) | 2020-03-27 | 2021-03-26 | 估计sted分辨率的方法和设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11841324B2 (zh) |
EP (1) | EP3885813A1 (zh) |
CN (1) | CN113514948B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4198879A1 (en) * | 2021-12-16 | 2023-06-21 | Leica Microsystems CMS GmbH | Image processing system |
US20240169497A1 (en) * | 2022-11-23 | 2024-05-23 | Samsung Electronics Co., Ltd. | Airy-Disk Correction for Deblurring an Image |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE204086T1 (de) | 1994-02-01 | 2001-08-15 | Hell Stefan | Vorrichtung und verfahren zum optischen messen eines probenpunktes einer probe mit hoher ortsauflösung |
WO2009009178A2 (en) * | 2007-04-06 | 2009-01-15 | The General Hospital Corporation | Systems and methods for optical imaging using early arriving photons |
US7772569B2 (en) * | 2008-04-01 | 2010-08-10 | The Jackson Laboratory | 3D biplane microscopy |
WO2012096619A1 (en) * | 2011-01-12 | 2012-07-19 | Applied Precision, Inc. | Systems and methods for camera-based image processing in microscopy instruments |
US9225889B1 (en) * | 2014-08-18 | 2015-12-29 | Entropix, Inc. | Photographic image acquisition device and method |
US10075633B2 (en) * | 2015-10-13 | 2018-09-11 | Samsung Electro-Mechanics Co., Ltd. | Camera module and method of manufacturing the same |
JP2019517602A (ja) | 2016-05-27 | 2019-06-24 | サビック グローバル テクノロジーズ ベスローテン フェンノートシャップ | 向上した光学特性を有するコポリカーボネート組成物、それらから形成された物品、及び製造方法 |
CN109477954A (zh) * | 2016-05-30 | 2019-03-15 | 纽约市哥伦比亚大学理事会 | 具有相位调制元件的scape显微术和图像重构 |
US10346740B2 (en) * | 2016-06-01 | 2019-07-09 | Kla-Tencor Corp. | Systems and methods incorporating a neural network and a forward physical model for semiconductor applications |
EP3759468A4 (en) * | 2018-03-01 | 2021-12-08 | The Regents Of The University Of Colorado | METHODS AND SYSTEMS FOR STIMULATED EMISSION DEPLOYMENT MICROSCOPY |
US11222415B2 (en) * | 2018-04-26 | 2022-01-11 | The Regents Of The University Of California | Systems and methods for deep learning microscopy |
US11049221B2 (en) * | 2018-04-27 | 2021-06-29 | Imam Abdulrahman Bin Faisal University | Gradient vector orientation based nonlinear diffusion filter |
EP3686644A1 (en) * | 2019-01-25 | 2020-07-29 | Hochschule Für Angewandte Wissenschaften München | Two-color confocal colocalization microscopy |
US11914129B2 (en) * | 2019-03-26 | 2024-02-27 | The Johns Hopkins University | Background-suppressed STED nanoscope |
US11488622B2 (en) * | 2019-12-16 | 2022-11-01 | Cellular South, Inc. | Embedded audio sensor system and methods |
-
2020
- 2020-03-27 EP EP20166359.8A patent/EP3885813A1/en active Pending
-
2021
- 2021-03-25 US US17/211,924 patent/US11841324B2/en active Active
- 2021-03-26 CN CN202110330655.5A patent/CN113514948B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US20210302316A1 (en) | 2021-09-30 |
CN113514948A (zh) | 2021-10-19 |
EP3885813A1 (en) | 2021-09-29 |
US11841324B2 (en) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113514948B (zh) | 估计sted分辨率的方法和设备 | |
US20180024338A1 (en) | Multi-focal structured illumination microscopy systems and methods | |
JP5852305B2 (ja) | 分解能の向上した顕微鏡法および顕微鏡 | |
CN111656246B (zh) | 用于定位显微的方法和系统、计算机可读存储介质 | |
US10930061B2 (en) | Three-dimensional image processing to locate nanoparticles in biological and nonbiological media | |
JP2019521316A (ja) | 画像解像度が改良された蛍光イメージングフローサイトメトリー | |
Chakrova et al. | Studying different illumination patterns for resolution improvement in fluorescence microscopy | |
US11143854B2 (en) | Method for imaging a sample using a fluorescence microscope with stimulated emission depletion | |
WO2019148024A1 (en) | Systems and methods to reduce scattering in temporal focusing multiphoton microscopy | |
CN109477954A (zh) | 具有相位调制元件的scape显微术和图像重构 | |
US20230384223A1 (en) | Method and fluorescence microscope for determining the location of individual fluorescent dye molecules by means of adaptive scanning | |
US20220042914A1 (en) | Method, computer program, and apparatus for adapting an estimator for use in a microscope | |
US20160313548A1 (en) | Method for capturing image of three-dimensional structure of specimen and microscopic device | |
JP7225108B2 (ja) | 多焦点構造化照明顕微鏡システム及び方法 | |
CN114667723A (zh) | 用于超分辨率成像的高速扫描系统 | |
JP2018523154A (ja) | 構造化照明イメージングシステムを較正するためおよび構造化照明画像をキャプチャするためのシステムおよび方法 | |
EP3471393B1 (en) | Data recovery device, microscope system, and data recovery method | |
JP5566055B2 (ja) | 画像解析方法および画像解析装置 | |
NL2023860B1 (en) | Pattern activated structured illumination localization microscopy | |
US9239292B2 (en) | Method and apparatus for tracking the motion of molecules in a microscope | |
JP5508809B2 (ja) | 画像解析方法および画像解析装置 | |
JP2021184264A (ja) | 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム | |
US11282175B2 (en) | Sample imaging and image deblurring | |
WO2021251133A1 (ja) | 観察装置及び観察方法 | |
US20230143873A1 (en) | Method, apparatus and software program for increasing resolution in microscopy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |