CN111656246B - 用于定位显微的方法和系统、计算机可读存储介质 - Google Patents

用于定位显微的方法和系统、计算机可读存储介质 Download PDF

Info

Publication number
CN111656246B
CN111656246B CN201880085005.5A CN201880085005A CN111656246B CN 111656246 B CN111656246 B CN 111656246B CN 201880085005 A CN201880085005 A CN 201880085005A CN 111656246 B CN111656246 B CN 111656246B
Authority
CN
China
Prior art keywords
pixel
trace
filtered
temporal
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880085005.5A
Other languages
English (en)
Other versions
CN111656246A (zh
Inventor
R·马什
S·考克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kings College London
Original Assignee
Kings College London
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GBGB1800026.5A external-priority patent/GB201800026D0/en
Priority claimed from GBGB1803638.4A external-priority patent/GB201803638D0/en
Application filed by Kings College London filed Critical Kings College London
Publication of CN111656246A publication Critical patent/CN111656246A/zh
Application granted granted Critical
Publication of CN111656246B publication Critical patent/CN111656246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6408—Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了用于定位显微的方法和系统、计算机可读存储介质。本发明的实施方式提供了用于处理显微图像以能够对高密度原始数据进行定位分析并从而实现比另外的情况高的空间分辨率的方法和系统。这是通过利用因接近的发射体而产生的图像数据中的时间冗余来实现的，否则，如果接近的发射体同时发射或发荧光，则被分辨为单个发射体，但是由于在稍微不同(但可能交叠)的时间发射或发荧光，所以可以由不同时间带宽的不同滤波器对其进行时间滤波，以分辨两个发射体。有效地，不同时间滤波器具有不同时间常数，其共同起作用以有效地强调两个发射体的不同发射或发荧光时间，从而允许分离地分辨两个接近的发射体。

Description

用于定位显微的方法和系统、计算机可读存储介质
技术领域
本发明的实施方式涉及用于通过依次应用多个时间尺度滑动时间滤波器来处理定位显微图像序列以降低个体图像帧中观察到的发射体/荧光体的密度的方法和系统。密度降低允许将低密度数据分析方法和高密度数据分析方法随后应用于数据，而不会生成将这些方法应用于具有高密度发射体的数据时通常产生的图像伪影。
背景技术
定位显微是用于获得超出衍射极限的图像分辨率(通常称为超分辨率)的光学显微中的技术。其涉及用显示荧光间歇或“闪烁”的荧光分子来化学地标记样本结构。荧光间歇可以通过添加化学物以及通过用适当强度和波长的光照射来控制。荧光标记样本结构和控制荧光发射间歇的手段基本落入两种类型中。随机光学重建显微(STORM)用荧光有机染料分子来标记样本。通常通过添加氧清除酶和化学还原剂来辅助荧光间歇。可光活化定位显微(PALM)使用荧光蛋白来标记结构，通过应用短波长可见/近紫外光(紫外光还可以重新激活STORM中的发射体/荧光体)，可以将该荧光蛋白从非发射状态切换成发射状态或从一种发射状态切换成较长波长的另一发射状态。
当在典型的定位显微仪器中拍摄样本的图像时，该图像将由许多接近衍射极限大小的荧光“斑”组成。这些斑的大小定义了仪器点扩散函数(PSF)。各个斑都是由单个发射体/荧光体产生的，该发射体/荧光体自发地或有意地被切换成适当的发射状态。如果荧光斑被充分分离以使得它们彼此不交叠，则可以安全地假定只有单个活动发射体/荧光体对该斑有贡献。然后可以根据其荧光发射以远大于荧光斑大小的精度(通常为10nm至30nm的精度)确定发射体的位置。这是已知为定位的处理，并且总是由计算机软件中实现的算法执行。如果成功定位了足够数量的发射体/荧光体，则可以根据这些定位位置以高分辨率推断出样本结构。通常使用附接到常规宽视场荧光显微镜的高灵敏度(sCMOS/EMCCD)摄像头来拍摄发射体/荧光体发射的图像作为序列图像帧的长序列。在各个后续帧中，活动发射体/荧光体中的一些将切换出发射状态，并且一些其它先前非发射的发射体/荧光体将切换成发射。活动发射体/荧光体很好地被分离的这种需求将各个帧中的活动发射体/荧光体的数量限制在相对低的数量，从而通常需要成千上万个图像帧来准确地重建样本结构。所使用的摄像头速度的局限性意味着图像采集需要几分钟，时间过长以致于无法拍摄正在研究的结构的许多动态变化，诸如正常存在于活细胞样本中的动态变化。
由以上概述表示的示例公开现有技术包括：(参考STORM)Rust,M.,Bates,M.,andZhuang,X.Sub-diffraction-limit imaging by stochastic optical re-constructionmicroscopy(STORM).Nat.Methods 3,793-796(2006)；(参考PALM)Betzig,E.etal.Imaging intracellular fluorescent proteins at nanometer resolution.Science313,1642-1645(2006)；以及(参考PALM专利)WO/2006/127592Optical microscopy withphototransformable optical labels.Hess,Harold F。
通过增加各个图像帧中的活动发射体/荧光体的数量、减少用于准确重建所需的帧数，可以大大提高采集速度。然而，定位方法/算法必须能够应对个体发射体的荧光发射图案(斑)的实质交叠。活动发射体之间的典型距离小于PSF的实验方案称为高密度定位显微。当实现这种方案时，标准的单个发射体算法(诸如单个高斯拟合)将无法检测和/或准确定位各个发射体。另外，紧密分离的发射体/荧光体的拟合位置包含朝向共同中心的偏差。这导致重建的超分辨率图像中的大量伪影，诸如人工锐化、错误的聚集和缺失的结构。人工锐化尤其成问题，因为给出高分辨率的错误印象，即使是通过诸如傅立叶环相关性(FRC)的度量进行的测量。当前没有方法可以检测定位显微重建中的这些伪影的存在。由于很少了解所检查的样本的基本真实结构，因此这些伪影很容易被误认为是真正的结构。
以上的其它现有技术代表包括：(参考伪影)Burgert,A.,Letschert,S.,Doose,S.,and Sauer,M.Artifacts in single-molecule localizationmicroscopy.Histochemistry and Cell Biology 144,123-131(2015)；(参考伪影)Fox-Roberts,P.et al.Local dimensionality determines imaging speed in localizationmicroscopy.Nature Communications 8,13558(2017)；以及(参考FRC)Nieuwenhuizen,R.P.J.et al.Measuring image resolution in optical nanoscopy.Nature Methods10,557-562(2013)。
已经开发出了几个方案来解决交叠的发射体PSF的情况，但是当发射体密度足够高时，它们仍然都产生图像伪影。这些方法简要概述如下。
i)多发射体拟合：
该方法是在低发射体密度数据中使用的标准单个发射体-单个帧拟合方法的扩展。这里，识别PSF尺度的图像中的局部极大，并且选择该极大周围的小部分图像(与单个发射体拟合一样)。针对一个或更多个发射体，模型PSF被拟合到该部分。通常，增加有贡献的发射体的数量，直到不再观察到对拟合有统计上的显著改善。通常，引入正则化项以限制所拟合的荧光体的数量和/或对其强度施加的限制。当发射体之间的分离不太小(约250nm)并且密度仍然足够低以使得观察到明确限定的局部极大并且交叠的荧光体数量非常低时，该方法会很好地工作。然而，当不满足这些条件中的任何条件时，往往会严重失败。多发射体拟合的示例现有技术包括：(参考ME拟合)Huang,F.,Schwartz,S.,Byars,J.,and Lidke,K.Simultaneous multiple-emitter fitting for single molecule super-resolutionimaging.Biomedical Optics Express 2,1377–1393(2011)；以及(参考ME拟合)Holden,S.J.,Uphoff,S.and Kapanidis,A.N.DAOSTORM:an algorithm for high-density super-resolution microscopy.Nature Methods8 279-280(2011)。
ii)压缩感测：
压缩感测是一种完善的信号处理方法，其涵盖广泛的领域和应用。这是一种优化技术，其在某些条件下可以恢复大体欠采样信号，只要该信号足够稀疏(大部分包含零)。在超分辨率显微的上下文中，这意味着具有许多小得多的像素的各个图像帧的较高分辨率变换。然后将所有这些变换后的帧求和以产生最终的超分辨率图像。为了执行优化，必须满足某些条件。样本结构必须稀疏，即，大多数样本必须不包含经标记的结构。尽管针对一些生物结构(诸如微管)，这可能在全局范围内是正确的，但在局部却不一定总是正确的。仪器PSF必须精确地被获悉并且在任何地方都是恒定的。这不太现实，因为例如几乎总是存在某种程度的焦点漂移或像差。在分析图像的大小上，背景的变化也必须小。
尽管该方法在识别高发射体密度的个体发射体方面明显优于单个发射体拟合，但是一旦荧光体的典型分离小于PSF全宽半极大，则准确性显著下降。在压缩感测中使用了许多数学方法来执行优化，已知这些方法会在某些条件下产生伪影。这些数学方法如何应用于超分辨率显微尚不清楚。
压缩感测显微的示例现有技术包括：(参考压缩感测显微)Zhu,L.,Zhang,W.,Elnatan,D.,and Huang,B.Faster STORM using compressed sensing.Nature Methods9,721-723(2012)。
iii)SOFI：超分辨率光学波动成像
在该方法中，分析了整个图像序列上的强度波动。将像素强度时间轨迹的自累积量或互累积量计算到指定阶。在波动聚集的地方，存在荧光体的较高密度，因此该方法不将个体波动与个体荧光体相关联。所计算的值的图形成超分辨率图像。该方法的已知缺陷是其往往夸大具有高于平均相对强度的样本区域的亮度，这受各个荧光体的“闪烁”性质的影响。这会导致在超分辨率图像中无法检测到亮度较低的结构。为了获得显著高于衍射极限的分辨率，必须将累积量计算到高阶，这大大恶化了该问题。
SOFI的示例现有技术包括：(参考SOFI)Dertinger,T.,Colyera,R.,Iyera,G.,Weissa,S.,and Enderlein,J.Fast,background-free,3D Super-resolution opticalfluctuation imaging(SOFI).Proc.Natl.Acad.Sci.106,22287-22292(2009)。
iv)3B：贝叶斯闪烁和漂白
这里采用的方案是尝试为样本找到将适合整个图像序列的模型结构，从而考虑荧光体的光切换(“闪烁”)和光漂白行为。从最初的猜测开始，迭代地调整荧光体的位置，直到不再观察到进一步的改善。该方法可以从相当少量的帧中获得高分辨率，但是当发射体之间的分离较小时，它会遭受与多发射体拟合相同的锐化伪影。它的计算量也很大、比任何其它方法花费更长的时间来进行计算。除非有大规模的计算资源可用，否则这将其应用限制在很小的图像大小上。
示例现有技术包括：(参考3B)Cox,S.et al.Bayesian localization microscopyreveals nanoscale podosome dynamics.Nature Methods 9,195-200(2012)。
v)SRRF：超分辨率径向波动
SRRF可以被认为是一种混合系统，其将发射体的定位与较高阶的时间相关相结合(诸如在SOFI中)。在第一部分中，根据像素强度的空间梯度产生图像中局部径向对称的子像素图。发射体所在的位置应具有高程度的局部径向对称性。针对序列中的各个帧产生这些“径向图”中的一个。然后以类似于SOFI的方式分析“径向图”的整个序列，但是这次计算各个“径向图”子像素的时间轨迹中的时间相关。然后，这些值产生最终的超分辨率图像。该方法结合了定位和时间分析的优点和缺点两者。这两个阶段都可以产生有用的分辨率增益，但是对于紧密间隔的荧光体，它也会遭受与其它拟合方法相同的人工锐化伪影，并且还遭受在SOFI中看到的结构的较亮部分与较暗部分/缺失部分的夸大的对比度。
SRRF的示例现有技术包括：(参考SRRF)Gustafsson,N.et al.Fast live-cellconventional fluorophore nanoscopy with ImageJ through super-resolutionradial fluctuations.Nature Communications 7,12471(2016)。
vi)BALM：漂白/闪烁辅助定位显微
该方法不是检查整个图像序列以获得对提高分辨率有用的时间信息，而是通过从一个帧中减去另一帧来每次比较仅两个帧(相邻对)。该方法旨在用于不示出明显的强度切换行为或不使用光切换缓冲剂的荧光体标记。首先，绝大多数荧光体处于发射状态。随着时间的流逝，该荧光体或者“关闭”或者光漂白。通过从当前帧中减去后续帧可以检测在特定图像帧中“关闭”或者光漂白的荧光体。然后将定位算法应用于该“差别”帧。通过减去先前帧可以隔离较少见的“开启”事件。
然而，与常规的定位显微和上述其它高密度方法相比，该方法具有许多缺点。最显著地，它可以说不是高密度技术。各个差帧中的发射体密度仍然受到定位算法分辨紧密间隔的发射体的能力的限制，因此需要相似数量的帧来产生高保真超分辨率重建。它不分离在同一帧中“关闭”(或“打开”)的交叠发射体。同样，如果在与一个发射体“关闭”的同一帧中附近的发射体“打开”，则它们将在“差别”帧中彼此部分遮挡，从而导致不准确的定位。如果荧光体仅缓慢切换/漂白，则它们的发射光子的绝大部分将被从差别帧忽略，从而导致非常不准确(如果无偏)的定位。由于大多数荧光体正在发射，因此个体像素强度值非常高。与差别信号相比，光子散粒和摄像头读出噪声也将较高。因此，信噪比将比传统的定位显微低得多，从而导致不太准确的定位以及产生的降低的分辨率。
BALM的示例现有技术包括：(参考BALM)Burnette,D.T.,Sengupta,P.,Dai,Y.,Lippincott-Schwartz,J.,and Kachar,B.Bleaching/blinking assisted localizationmicroscopy for superresolution imaging using standard fluorescentmolecules.PNAS 108,21081-21086(2011)。
vii)多色检测
所有上述方法都可以与多色检测结合使用。在定位显微的这种变型中，用不同发射波长(颜色)的荧光分子标记样本中的两个或更多个不同结构。所涉及的设备与传统定位显微相同，但是在收集的荧光发射的光路中添加了光滤波器。选择光滤波器的通带以分离两个荧光标志分子的发射波长。然后将滤波后的荧光成像在分开的摄像头上或在单个摄像头的传感器的分开的区域上。因此，可以产生与各个荧光标志相对应的多个图像序列，从而允许对样本中的多个结构同时成像。然而，可能很难实现多个荧光标志的适当“闪烁”，并且该技术会受到色差的影响。多色定位显微的示例现有技术包括：(参考多色)Heilemann,M.,Van de Linde,S.,Schuttpelz,M.,Kasper,R.,Seefeldt,B.,Mukherjee,A.,Tinnefeld,P.,and Sauer,M.Subdiffraction-Resolution Fluorescence Imaging withConventional Fluorescent Probes.Angew Chem Int Ed Engl.47(33):6172-6(2008)。
发明内容
本发明的实施方式提供了用于处理显微图像以能够进行高密度定位并从而实现比另外的情况高的空间分辨率的方法和系统。这是通过利用因接近的发射体而产生的图像数据中的时间冗余来实现的，否则，如果接近的发射体同时发射或发荧光，则被分辨为单个发射体，但是由于在稍微不同(但可能交叠)的时间发射或发荧光，所以可以通过不同时间带宽的不同滤波器对接近的发射体进行时间滤波，以分辨两个发射体。有效地，不同时间滤波器具有不同时间常数，其共同起作用以有效地强调两个发射体的不同发射或发荧光时间，从而允许分离地分辨两个接近的发射体。
鉴于以上内容，根据一个方面，提供了一种用于定位显微的方法，该方法包括以下步骤：接收由显微镜拍摄的显微图像帧的时间序列，该图像帧是包含发射体或荧光体的图像；使用至少一个时间滤波器对帧序列中的相应相同像素位置的像素值的相应组进行时间滤波，以获得帧中的相应相同像素位置的时间滤波像素值的至少一个组；以及提供时间滤波像素值的至少一个组作为定位算法的输入，以允许依赖于该输入进行发射体或荧光体定位。
在一个实施方式中，时间滤波包括使用具有不同时间特性的至少两个不同的时间滤波器，以获得帧中的相同相应像素位置的时间滤波像素值的至少两个组，该时间滤波像素值的至少两个组被提供给定位算法，以允许依赖于该输入进行发射体或荧光体定位。
附图说明
根据仅通过示例的方式呈现的本发明实施方式的以下描述并参考附图，本发明的另外特征和优点将变得明显，其中，相同的附图标记指代相同的部分，并且其中：
图1是算法的典型实施方式的流程图；
图2是根据本发明实施方式的定位显微设备的图；
图3是根据实施方式的在处理之前和之后的帧序列的图，其示出了降低的发射体密度；以及
图4和图5是使用哈尔小波的示例滤波器组的图。
具体实施方式
本发明的实施方式包括用于处理使用定位显微技术获取的图像序列以减少各个图像中的活动发射体/荧光体的数量的方法和系统。该技术在任何定位方法/算法之前应用于图像序列，并且发明技术的输出是长的多的图像序列，其中在各个图像帧中的活动发射体/荧光体较少。然后将所选的定位方法/算法应用于所输出的图像序列，以定位个体发射体/荧光体的位置并产生超分辨率图像。本发明的另选实施方式将是将多个时间滤波的方法与定位方法/算法组合成单个方法/算法。滤波基于交叠的发射体/荧光体以发射状态出现的相邻帧的数量来分离交叠的发射体/荧光体。或者更准确地，在切换到更亮或更暗的发射状态或非发射状态之前，保持相当恒定强度的相邻图像帧的数量。
滤波器的组是对构成相邻/邻近帧的像素值的变化时间尺度比较的任何组。各个滤波器将具有特性时间尺度，该特性时间尺度描述了该滤波器比较的第一图像帧与最后图像帧之间的时间(以帧数计)。然后，各个滤波器将在该特性时间尺度上将发射体强度波动/切换事件与所有其它事件隔离开。所使用的时间尺度的范围将反映发射体波动/切换时间尺度的范围，以拍摄这些事件中的大多数事件。滤波器时间尺度的上限通常将远小于图像序列的长度，然而通常将不存在如此长时间尺度的任何发射体波动。
滤波器应用于从输入图像序列构建的一系列像素强度时间轨迹。强度时间轨迹是通过按顺序整理(连接)序列中各个图像帧中特定x,y像素的值产生的。具有特定特性时间尺度的滤波器应用于像素强度时间轨迹中的特定点并且输出值被记录。然后该滤波器应用于时间轨迹中的多个点(通常但不一定每个点)，并将各个结果值附着到先前的值以产生输出像素强度时间轨迹。针对原始图像序列中的各个像素强度轨迹重复该处理，生成相等数量的输出像素强度时间轨迹。这些输出强度轨迹在其原始x,y像素位置处重建，以创建输出图像序列。然后针对该组中的下一和所有后续滤波器重复该处理，各个输出图像序列都附着到先前的输出图像序列，从而产生比原始输出序列长的总输出序列。
除非将要观察结构的时间演变，否则将滤波器应用于像素强度时间轨迹中不同点的顺序不重要，只要对所有这种轨迹都保持该顺序。应用各个滤波器的顺序也不重要。另选地，可以将各个滤波器顺序地应用于单个输入强度时间轨迹，其中输出被附着到较长的输出时间轨迹。只要应用滤波器的顺序始终保持一致，这些较长的输出轨迹便会像以前一样被组合到最终输出图像序列。
当发射体的强度发生波动或切换发射状态时，其位置的PSF宽度内的所有像素的时间轨迹将在该时间点处示出强度变化(波动)。如果在同一图像帧内没有PSF与第一切换强度交叠的其它发射体，则相邻像素之间的这些波动的相对大小将反映仪器的PSF。然而，如果两个或更多个邻近的发射体在同一图像帧内切换强度，则发射体PSF的范围内的一些像素将在从多个发射体得到的时间轨迹中显示强度变化，而其它像素仅来自单独的单个发射体。然而，对于与单个发射体的PSF交叠的其它发射体中的任何发射体而言，先前的和随后的强度切换也都在彼此相同的图像帧中并且以相同的相对量发生是极不可能的。基于各个发射体持续了多少图像帧来因此可以分离该各个发射体对帧之间的个体像素强度波动的贡献。这是通过多时间尺度时间滤波实现的。通过在多个帧上比较像素强度值，各个滤波器的输出是仅包含强度波动子集的图像序列，该强度波动子集的时间尺度由所应用的滤波器的特性时间尺度支配。同样，在个体发射体切换强度的情况下，其PSF内所有滤波像素轨迹将示出具有表示PSF形状的值的重合输出，但这次仅针对在由所应用的滤波器的特性时间尺度设置的时间尺度上切换的发射体。在来自不同时间尺度的发射体的信号噪声通过滤波器时，它将不会共享相同的空间重合，并且相邻像素强度将不会再现仪器PSF。定位算法旨在遵循仪器PSF识别强度分布，并且在抑制噪声的同时定位其位置。
换句话说，短时间尺度滤波器的输出是如下图像序列，该图像序列包含仅在特定少量的图像帧内处于发射状态的发射体/荧光体的荧光“斑”。但是长时间尺度滤波器的输出仅包含在大量帧内发射的发射体/荧光体。各个帧中的发射体数量(以及因此发射体密度和PSF交叠)大大减少，从而使定位算法可以较准确地找到其位置。通过组合来自多个滤波器时间尺度的结果，几乎所有的发射体/荧光体都出现在至少一个图像帧中。这允许足够数量的定位以产生高分辨率的重建，而不存在明显的图像伪影。
多时间尺度时间滤波的另外的途是作为多色成像的替代/补充。较短时间尺度滤波器和较长时间尺度滤波器的输出可以组合用于“高通”和“低通”对(如果分为超过两个组，则为带通)。如果样本用一个“快/好”闪烁荧光体和一个“慢/差”闪烁荧光体标记，则各个滤波器对将包含主要来自两个荧光体中的仅一者或另一者的发射，即使它们具有相同的发射波长。因此避免了多色成像的上述缺点。
根据以下详细描述，另外的特征和优点将变得明显。
实施方式的具体描述
现在将参照附图描述本发明的示例实施方式。具体地，图2示出了可以用于拍摄图像的示例显微镜设备，然后图像根据本文阐述的技术被处理，以使得能够在成像样本中高分辨率地定位发射体/荧光体。
更详细地，在图2中示出了根据本发明实施方式的通常用于获取定位显微图像序列的设备的示例。关注的荧光标记样本(204)由样本台(202)保持在相对于高数值孔径物镜(206)固定/可调的相对位置。激发光源(220)通常将由激发波长和激活波长组成，它们通过光束组合光学器件(222)沿着共同光路指向。光源可以是激光器或一些其它高强度准直光源。可以使用诸如光束扩展望远镜(218)这样的另外的光束调节光学器件来改变光束强度分布和准直性。然后，光源由分色镜(主分色镜208)穿过物镜(206)反射到样本(204)上。光源耦合并引导直到主分色镜(208)的点也可以部分地或完全地由光纤来实现。光束引导/调节光学器件通常将具有一些装置来移位穿过物镜的光束路径，以在样本界面处实现激发光的全内反射(TIRF)(或接近全内反射)。
来自个体发射体/荧光体的荧光被物镜收集、穿过主分色镜并由光学器件(216)引导通过镜筒透镜(210)。这使光聚焦在形成图像的数字摄像头(212)的传感器上。摄像头必须足够灵敏以检测所涉及的低光度，而且还必须足够快以每秒拍摄许多图像(约100张)。因此，通常使用科学CMOS(sCMOS)或电子倍增CCD(EMCCD)摄像头。输出数据流被记录在计算机(214)上。
计算机(214)设置有诸如硬盘、闪存驱动器、存储卡等的数据存储介质224，可以在该数据存储介质224上存储来自显微镜设备拍摄的图像的像素数据形式的要处理的数据、处理后的图像形式的处理输出以及可执行程序，该可执行程序在被执行时控制计算机对输入图像进行必要处理以获得输出图像，在这种情况下，可执行程序为通用控制程序(226)、哈尔小波核(HWK)计算程序(228)和定位程序(230)。通用控制程序(226)具有对处理的整体控制，并且根据需要将HWK计算程序和定位程序调用到操作中。HWK计算程序(228)获取与所拍摄的显微图像中的相应个体像素有关的像素数据输入流，并且以下面将描述的方式对其应用哈尔小波函数，以针对各个像素生成像素数据的输出流，其中输出经相应哈尔小波函数滤波的像素数据，其中从不同阶数的哈尔小波函数(例如1阶至4阶)的相应应用获得的相应输出被连接或以其它方式组合在一起以逐个像素形成输出像素流。输出像素流将包含与输入像素流中的增加的或减少的强度相对应的正值和负值这两者。可以通过获取其绝对值或通过将输出像素流的大小加倍并将正值和负值分成两个连续的输出像素流然后取绝对值来解决。在这种情况下，所有缺失值都用零填充。第三个选项是将大的固定偏移值(例如输入动态范围的一半)加到所有输出像素值，使得在输出图像序列中不存在负像素值。然后，输出图像序列由与发射体相对应的极小和极大组成。在这种情况下，定位算法必须能够拟合负幅度模型PSF以及正幅度模型PSF，这有可能产生较准确的定位。因此，输出像素流包含比输入流多的数据，因为针对施加到特定输入像素的各个阶的哈尔小波函数都生成了输出像素值(或者，如果正值和负值被分开，则两个像素值)。
例如，如果将一阶至四阶HWK函数应用于输入像素流，则针对各个输入像素值，输出像素流将具有四个(如果正值和负值被分开则是八个)像素值(一阶至四阶HWK函数中的每一者生成一个/两个像素值)。然后通常将这四个(或八个)值一个接一个地连接在输出像素流中，然后每像素的输出像素流被定位程序230用作输入，以使该定位程序230能够基于HWK滤波像素定位发射体。在这方面，定位程序230可以具有常规操作，除了以下事实：它将来自HWK计算程序228的每像素输出流234作为其输入，并对这些流而不是对来自显微镜的原始像素流232执行发射体/荧光体定位。当然，在其它实施方式中，可以应用除哈尔小波函数之外的其它时间滤波器函数，例如巴特沃斯或切比雪夫滤波器。因此，本文对HWK滤波器的提及仅是示例，并且更一般地，可以使用能够在持续不同时间长度的事件之间进行判别的其它时间滤波函数。
图1是较详细地例示了在本发明实施方式中执行的处理(尽管稍后将给出进一步的图形示例)的流程图。这里，通用方案是在移动至下一像素轨迹之前，挨个将各个时间滤波器依次应用于像素强度时间轨迹中的各个点。然后，在利用下一滤波器重复该过程并将结果附加于先前的结果之前，将各个输出时间轨迹重新组合成图像序列。然而同样有效的是，挨个将各个滤波器应用于像素时间轨迹中的单个点，在移动至输入时间轨迹中的下一位置之前将各个结果附着到输出时间轨迹。或者，也可以组合滤波器在每个像素强度轨迹上在相同时间点的结果，从而将结果形成为图像，在移动至时间轨迹中的下一点之前将该图像附着到输出序列。执行这些集成的顺序并不重要，只要在整个图像序列中保持一致性，或者如果不保持一致性，则只要输出文件中的集成顺序是已知的。
鉴于以上内容，图1示出了可以在本发明实施方式中执行的一个示例处理流程图，该流程图逐个滤波器、逐个像素位置操作，即对于输入图像序列，逐个每像素地将第一时间滤波器(例如，n阶HWK滤波器)应用于各个像素流，直到已利用该滤波器处理了所有像素位置，然后重复该处理，但应用n+1阶滤波器，再次直到已对整个视频序列处理了所有像素位置。然后依次针对各阶滤波器重复此操作，直到已应用了所有滤波器，在这种情况下，输出图像序列(现在比输入序列长得多，并且具体是长度的x(或2x)倍，其中x是所应用的不同阶滤波器的数量)然后输出到定位算法以进行发射体检测。
参照图1更详细地描述，在s.1.2处，在s.1.2处接收显微图像序列，然后在s.1.4处选择将应用的处理时间滤波器(例如HWK、巴特沃斯、切比雪夫等)，以及首先应用的滤波器的阶。然后，在s.1.6处，选择接收到的图像帧中的第一像素位置，例如，帧中的像素位置(a,b)。然后，通过查看输入显微帧序列的各个帧中所选定像素位置的像素值来构建像素时间轨迹或流。即，例如，通过将来自序列中各个帧的位置(a,b)的所有像素值连接在一起形成单个序列来针对帧中的像素位置(a,b)获得像素数据流。
在s.1.10处，选择像素时间轨迹/流中的起点，并且在s.1.12处，将所选滤波器应用于所选起点处及其周围的像素值。然后获得该滤波器的结果(稍后给出滤波器计算的另外的详细信息)，然后在s.1.22处启动特定像素位置(a,b)的输出时间轨迹(包含该结果)。在s.1.24处，评估是否已将滤波器应用于帧序列中的所有像素(a,b)，如果不是，则在s.1.26处选择序列中的下一像素，然后处理返回至s.1.10。通过迭代该处理循环，针对像素位置(a,b)，将时间滤波器应用于像素时间轨迹/流中的每个像素。
滤波器结果中的一些滤波器结果可能导致负值，需要移除该负值。然后依赖于上述选项在像素时间轨迹上运行清除例程，以利用稍后更详细描述的方式处理负值，然后针对像素位置(a,b)的输出轨迹作为输出序列中的针对位置(a,b)的像素轨迹而输出。然后可以以相同的方式处理帧中的下一像素位置(例如(a+1,b))，并且处理返回至s.1.6。通过针对显微帧中的各个像素位置迭代上述步骤，针对各个像素位置获得对于当前选择的时间滤波器的像素轨迹(s.1.34)。
该处理然后确定是否已应用了所有期望的时间滤波器。在这方面，通常还将应用更高阶的滤波器，例如，一阶至四阶哈尔小波滤波器或巴特沃斯滤波器。如果尚未应用所有滤波器，则在s.1.40处，选择下一滤波器(例如，如果仅应用了一阶HWK滤波器，则接下来将选择二阶等)，并且处理继续返回至s.1.4处的循环顶部。这样，使用第一时间滤波器处理各个帧中的相同位置(a,b)处的各个对应像素，然后使用第二时间滤波器(例如更高阶滤波器)处理相同位置(a,b)处的各个对应像素，依此类推，直到所有滤波器都已应用于各个像素轨迹为止。在已应用了所有滤波器时，将滤波器处理过的像素轨迹的组收集在一起，例如通过以已知顺序连接，然后可以将其用作定位算法的输入。
图3示出了像素强度时间轨迹的滤波如何分离个体发射体的荧光贡献的演示。最上面的3张图像(302、304、306)示出了来自在发射状态与非发射状态之间随机切换的2个紧密间隔(即，分离小于PSF)的荧光体的模拟的3个序列帧。一个荧光体位于标记为“a”的像素的中心，另一荧光体位于像素“c”的中心。在中心帧(304)中，两个荧光体处于发射状态，并且在这种情况下，它们的个体PSF(荧光点)大致交叠。在先前帧和后续帧(分别为302和306)中，仅“a”处的荧光体发射。可以在对应像素强度时间轨迹(308)中看到两个发射体的切换，像素强度时间轨迹(308)针对图像(302、304、306)中的标记为“a”、“b”、“c”的三个像素在此处示出，该切换与序列的帧79、80和81相对应。在帧76处，仅像素“c”处的荧光体发射，这反映为像素“c”的强度高于像素“b”的强度，像素“b”的强度又高于像素“a”。如在帧78、79、81和82中那样当仅“a”处的荧光体发射时，倒置比成立。在帧80处，观察到像素强度时间轨迹的波动。帧80处的三个像素之间的这种波动的相对幅度与仅“c”处的荧光体发射时在帧76中观察到的相对幅度非常相似。通过应用滤波器，可以将这种波动与其余时间轨迹分离。
使用第一哈尔小波(在图4、图5和下文中描述)作为针对这三个像素的滤波器函数的结果(310)仅示出了持续了单个帧的波动。与当“a”处的荧光体开启(帧78)时相比，当“c”处的荧光体切换到发射状态(帧76和80)时，三个像素的强度比倒置并在其它位置接近零，即使这两个荧光体在帧80中一起发射。当所有滤波后的像素强度时间轨迹重新组合成图像序列时，与帧80相对应的滤波图像(312)示出了以像素“c”为中心的PSF大小的荧光斑。应用第三哈尔小波作为滤波器隔离了由“a”处的荧光体切换到发射状态达帧78至82引起的较长时间波动。在这种情况下，与帧80相对应的来自滤波序列的图像(314)示出了以像素“a”为中心的PSF大小的荧光“斑”。在帧80(304)中来自两个发射体的荧光贡献已经彼此分离到2个分开的图像帧(312和314)。标准低密度定位算法现在应该能够单独地高准确性地定位两个发射体/荧光体的位置，而在以前，很有可能无法识别出存在两个发射体，并因此错误地定位到两个荧光体之间的中心位置，从而造成重建中的伪影。来自第一哈尔小波滤波器的输出包含来自持续时间比单个帧长的发射体波动的噪声。当“a”处的荧光体在发射达5个帧时段(帧78至82)时，来自该滤波序列的示例输出帧(316)示出了该噪声的相对幅度不是PSF的准确反映。然而，一些定位算法有时可能尝试将该噪声作为荧光“点”来拟合，从而导致重建中的图像质量降低。由于对这些定位的拟合的强度较小，并且非物理地宽或窄，因此可以在需要的情况下轻松将其从重建中使用的定位列表中移除。给定足够信噪比的情况下，可以这样分离的交叠发射体的数量基本上是不受限的，只要它们都是由不同时间尺度波动引起的。
滤波器组可以是对相邻或邻近帧的范围内的像素强度值进行比较的任何组。各个滤波器都有特性时间尺度，在该特性时间尺度上其对强度波动敏感。从现在开始描述的示例将哈尔小波函数用作滤波器组。图4描绘了前4个小波(分别为402、404、406、408)。这些函数已在数据压缩的上下文中广泛用于图像分析。当以此处描述的方式应用于强度时间轨迹时，它们指示在变化的时间尺度内，轨迹中的时间点之前于之后在强度均值上差异。针对起始帧80(图5中的410)和帧82(412)示出了在图3中的标记为(b)的像素时间轨迹上应用第一哈尔小波滤波器，而且在帧80处还应用了第三哈尔滤波器(414)。
这里利用两个示例示出了算法的精确实现。两者都使用上述哈尔小波函数作为滤波器组。第一示例演示了通过矩阵乘法将滤波器应用于像素强度时间轨迹，其强调了所涉及的个体步骤。第二示例是该方法的较简洁的实施方式，其通过将时间轨迹与核进行卷积来应用滤波器。
矩阵乘法示例：
第一步是根据未处理的图像序列构建像素强度轨迹的组；
X(t)＝{Ixy(n＝1)，Ixy(n＝2)，…Ixy(n＝N-1)，Ixy(n＝N)} (1)
其中x，y是像素索引，并且t是帧号。针对各个像素，依次将其强度轨迹X(t)(作为列向量)乘以哈尔矩阵以产生其变换轨迹Y(t′)。
Y(t′)＝H*X(t) (2)
哈尔矩阵的非零元素由下式给出：
Figure GDA0003586985070000141
其中i，j是行和列的索引，floor(..)表示向下舍入到最接近的整数，并且N是必须被截断到2的整数幂的总帧数。正整数m表示哈尔小波变换(HWT)的“级”。各个级与原始时间轨迹中闪烁的荧光体的不同长度相对应，从最短(m＝1)到最长(m＝log2N)，以及DC分量。这与从单个帧持续到图像长度的一半的强度波动(闪烁)加上恒定的背景(样本加摄像头)相对应。m的合适值将在后面讨论。下面给出了针对简单的4帧强度轨迹的示例HWT。
Figure GDA0003586985070000142
这里，哈尔矩阵的不同滤波级为m＝1(较低的两行)，m＝2(第二行)和背景(最上一行)。
下一阶段是将滤波器(级m)应用于变换后的强度轨迹。这是通过将不与哈尔矩阵的特定级对应的列向量的所有元素设置为零来完成的。
Figure GDA0003586985070000151
为了获得滤波后的像素强度轨迹，必须应用逆HWT。哈尔矩阵的逆矩阵很容易找到，因为该逆矩阵等于哈尔矩阵的转置。
H-1HT (6)
然后通过下式给出滤波后的像素强度轨迹Z(m)：
Z(m)(t)HT*Y(m)(t′) (7)
以下是在将滤波器级m＝1应用于式(4)中的变换后的强度轨迹之后，上述示例的逆变换。
Figure GDA0003586985070000152
请注意，滤波后的强度轨迹包含大小相等但符号相反的奇偶帧对。这是使用单个哈尔频率分量的不可避免的结果，然而符号的空间相关性在物理上是有意义的。与PSF大小相同的正值群集指示从奇数帧到偶数帧，发射体增加其亮度。相反，类似的负值群集指示发射体的亮度降低。这提供了如下机制，通过在奇数帧中将所有负值都裁剪为零，并且在偶数帧中将所有正值都裁剪为零然后乘以-1，来分离打开和关闭转换。下面的条件式描述了用于滤波后的强度轨迹的这种裁剪过程：
Figure GDA0003586985070000153
其中Z′(m)(t)是裁剪后的像素强度轨迹。
针对图像序列中的各个像素重复该变换-滤波器-逆变换处理，从而根据未滤波轨迹的组Xxy产生滤波后的强度轨迹的组Zxy (m)。然后将它们重新组合以形成滤波后的图像序列In (m)。
Figure GDA0003586985070000161
针对第一级滤波m＝1，HWT仅将强度值与其两个相邻帧中的一个进行比较。通过将所有小波函数都移位一帧(旋转哈尔矩阵的列)来重复该处理，可以很容易地纠正这一问题。同样有效的是将图像序列循环旋转一帧。然后这将使得将偶数帧与奇数帧进行比较(2与3、4与5…)。新的像素强度轨迹由下式给出：
Figure GDA0003586985070000162
然后在像素强度轨迹的该新组X′(t)上重复该处理。生成的图像序列附着到先前的图像序列，从而使帧数是原始数据的两倍。
通过针对各个期望的滤波器级m重复整个处理并将生成的图像序列附着在一起从而产生比原始长得多的图像序列，获得了最终输出图像序列。当执行m＞1的滤波器级时，式7的输出将产生2(m-1)个重复帧。在进行至式9之前，因此可以丢弃Z(m)的除每第2(m-1)个元素之外的所有元素，从而从式11得到缩短的强度轨迹并因此得到缩短了的图像序列。但是由于原始图像序列可以在输出的重复发生之前进行2(m-1)次排列，因此各个滤波器级仍将总共输出2N个帧。
将应用的滤波器级的合适数量将依赖于荧光体闪烁性质。本质上，人们正在尝试选择涵盖大多数发射体“打开”时间的时间尺度范围。因此，可以针对第三级、第四级或更高级(对应于4、8、16...帧比较)继续该过程，但是在超过第五级之后，除非荧光体具有差的闪烁性质或缓冲剂状况远非最佳，否则“开启”足够长时间的发射体的数量变少。然而，除了图像序列大小和相关联的分析时间增加之外，选择较多的滤波器级几乎没有什么缺点。在实践中，在原始帧总数N可以是104以上的情况下，HWT的计算可能是计算密集的。因此可以将图像序列划分成较小的部分(例如，256个帧)。各个部分被分开处理，并将结果附着到单个图像序列。这还可以防止在N不是2的幂的情况下丢弃太多帧。
在应用了所需数量的滤波器级时，可以使用任何单个发射体拟合算法或多发射体拟合算法或非线性图像处理技术(诸如SOFI或SRRF)以正常方式分析输出图像序列。执行拟合时的唯一不同在于，由于已移除了背景，因此摄像头基准电平应设置为零。此外，滤波(尤其是第一(m＝1)滤波器级)增加噪声(拍摄、读出等)对像素强度轨迹的相对贡献。这可能在处理图像中产生相对较高强度的单个像素(参见316)，特别是在原始序列中的发射体亮度较低的情况下。定位算法可以尝试将它们拟合为非常窄(针对单个实例)或非常宽(针对扩散群集)的发射体PSF。如果算法支持，则通过以利用比未处理数据大的程度忽略利用非物理上宽或窄的PSF的定位，而与在未处理的数据中相比仍保留较多数量的定位，可以获得重建图像质量的改善。(注意：作为另选，也可以在算法的输出阶段引入滤波器以移除这些局部亮像素。)这是可能的，因为假噪声导致的定位的强度通常比“真实”发射体信号低(除非信噪比非常低)。滤除低强度定位也是有效的(在较小的程度上)，并且与3D定位显微的像散透镜方法兼容。
核卷积示例：
哈尔滤波器可以等同地表示为一维图像核。前三个哈尔核的大小分别为2、4和8，并且由下式给出：
H0＝[1，-1] (12)
H1＝[1，1，-1，-1] (13)
H2＝[1，1，1，1，-1，-1，-1，-1] (14)
和以前一样，我们将各个像素独立地视为强度时间序列。因此，在给定图像栈(I(x，y，t))的情况下，针对给定的像素位置x，y，时间序列为X(t)＝I(x，y，t)。然后，我们计算X与核的卷积：
Figure GDA0003586985070000171
等，其中*是离散卷积运算符。我们不填充X，因此生成的Z比X短。我们通过将各个Z连接在一起来创建针对像素x，y的最终时间序列：
Z＝[Z0(0)，...，Z0(n0)，Z1(0)，...，Z1(n1)，...] (16)
其中ni是Zi中元素的数量。荧光体关闭将导致Z中的负值。最后一步是将正值和负值分离到Z′中：
Figure GDA0003586985070000172
作为另选，也可以使用绝对值：
Z′(i)＝|Z(i)|. (18)
我们将最终时间序列Z′中的各个最终时间序列重组到图像栈中，然后利用第三方算法(诸如ThunderSTORM)独立分析各个帧。
算法的该实施方式可以非常快速地进行计算，比后续定位分析花费的时间少的多。当与单个发射体高斯拟合结合时，它不仅可以提供改善的准确性，而且还是计算得最快的高密度方法之一。
(参考ThunderSTORM)
Figure GDA0003586985070000181
M.,
Figure GDA0003586985070000182
P.,Borkovec,J.,
Figure GDA0003586985070000183
Z.andHagen,G.M.ThunderSTORM:a comprehensive ImageJ plug-in for PALM and STORM dataanalysis and super-resolution imaging.Bioinformatics 30,2389-2390(2014)。
可以对上述实施方式进行各种另外的修改，无论是通过添加、删除还是替换的方式，以提供另外的实施方式。

Claims (17)

1.一种用于定位显微的方法，所述方法包括以下步骤：
接收由显微镜拍摄的多个显微图像帧的时间序列，所述多个显微图像帧是包含发射体或荧光体的图像；
使用具有不同时间特性的多个时间滤波器对帧序列中的相同像素位置的像素值的组进行时间滤波，以获得所述多个显微图像帧中的所述相同像素位置的多个时间滤波像素值的组；以及
提供时间滤波像素值的所述组作为定位算法的输入，以依赖于该输入进行发射体或荧光体定位。
2.根据权利要求1所述的方法，其中，时间滤波的步骤包括：
针对所述多个显微图像帧中的像素位置，形成所述多个显微图像帧中的所述相同像素位置处的对应像素值的未滤波的像素轨迹；
对所述未滤波的像素轨迹中的所述像素值应用第一时间滤波器，以获得第一滤波像素轨迹；以及
对所述未滤波的像素轨迹中的所述像素值应用与所述第一时间滤波器不同的至少第二时间滤波器，以获得第二滤波像素轨迹；以及
将所述第一滤波像素轨迹和所述第二滤波像素轨迹组合成单个滤波输出轨迹以供输入到所述定位算法。
3.根据权利要求2所述的方法，其中，所述第一滤波像素轨迹和所述第二滤波像素轨迹被连接在一起以形成组合输出轨迹。
4.根据权利要求2所述的方法，所述方法还包括以下步骤：
对所述未滤波的像素轨迹中的所述像素值应用与所述第一时间滤波器和所述第二时间滤波器不同的至少第三时间滤波器，以获得第三滤波像素轨迹；以及
将所述第一滤波像素轨迹、所述第二滤波像素轨迹和所述第三滤波像素轨迹组合成单个滤波输出轨迹以供输入到所述定位算法。
5.根据权利要求4所述的方法，其中，所述第一滤波像素轨迹、所述第二滤波像素轨迹和所述第三滤波像素轨迹被连接在一起以形成组合输出轨迹。
6.根据权利要求1所述的方法，其中，所述多个时间滤波器选自包括以下项的组：
i)哈尔小波核；
ii)巴特沃斯；或者
iii)切比雪夫。
7.根据权利要求1所述的方法，其中，所述多个时间滤波器是相同类型但具有不同时间特性的时间滤波器，其中，所述时间特性与当前正在就像素探寻滤波值的当前帧周围的、对该滤波值的计算有贡献的序列帧的数量有关。
8.根据权利要求1所述的方法，所述方法还包括以下步骤：将所述定位算法应用于时间滤波像素值的所述组，以按照比单独使用所述显微镜能够实现的分辨率高的分辨率识别输入图像中的位置或发射体或荧光体。
9.一种定位显微系统，所述定位显微系统包括：
显微镜，所述显微镜被设置为生成计算机可读显微图像帧；
处理器；以及
计算机可读存储介质，所述计算机可读存储介质存储计算机可读指令，所述计算机可读指令在由所述处理器执行时使所述处理器进行以下操作：
i)接收由所述显微镜拍摄的多个显微图像帧的时间序列，所述多个显微图像帧是包含发射体或荧光体的图像；
ii)使用具有不同时间特性的多个时间滤波器对帧序列中的相同像素位置的像素值的组进行时间滤波，以获得所述多个显微图像帧中的所述相同像素位置的多个时间滤波像素值的组；以及
iii)提供时间滤波像素值的所述组作为定位算法的输入，以依赖于该输入进行发射体或荧光体定位。
10.根据权利要求9所述的定位显微系统，其中，所述时间滤波的操作包括：
针对所述多个显微图像帧中的像素位置，形成所述多个显微图像帧中的所述相同像素位置处的对应像素值的未滤波的像素轨迹；
对所述未滤波的像素轨迹中的所述像素值应用第一时间滤波器，以获得第一滤波像素轨迹；以及
对所述未滤波的像素轨迹中的所述像素值应用与所述第一时间滤波器不同的至少第二时间滤波器，以获得第二滤波像素轨迹；以及
将所述第一滤波像素轨迹和所述第二滤波像素轨迹组合成单个滤波输出轨迹以供输入到所述定位算法。
11.根据权利要求10所述的定位显微系统，其中，所述第一滤波像素轨迹和所述第二滤波像素轨迹被连接在一起以形成组合输出轨迹。
12.根据权利要求10所述的定位显微系统，该定位显微系统还包括：
对所述未滤波的像素轨迹中的所述像素值应用与所述第一时间滤波器和所述第二时间滤波器不同的至少第三时间滤波器，以获得第三滤波像素轨迹；以及
将所述第一滤波像素轨迹、所述第二滤波像素轨迹和所述第三滤波像素轨迹组合成单个滤波输出轨迹以供输入到所述定位算法。
13.根据权利要求12所述的定位显微系统，其中，所述第一滤波像素轨迹、所述第二滤波像素轨迹和所述第三滤波像素轨迹被连接在一起以形成组合输出轨迹。
14.根据权利要求9所述的定位显微系统，其中，所述多个时间滤波器选自包括以下项的组：
i)哈尔小波核；
ii)巴特沃斯；或者
iii)切比雪夫。
15.根据权利要求9所述的定位显微系统，其中，所述多个时间滤波器是相同类型但具有不同时间特性的时间滤波器，其中，所述时间特性与当前正在就像素探寻滤波值的当前帧周围的、对该滤波值的计算有贡献的序列帧的数量有关。
16.根据权利要求9所述的定位显微系统，该定位显微系统还包括：将所述定位算法应用于时间滤波像素值的所述组，以按照比单独使用所述显微镜能够实现的分辨率高的分辨率识别输入图像中的发射体或荧光体的位置。
17.一种计算机可读存储介质，其存储计算机程序，所述计算机在由计算机执行时使所述计算机执行根据权利要求1至8中任一项所述的方法。
CN201880085005.5A 2018-01-02 2018-12-21 用于定位显微的方法和系统、计算机可读存储介质 Active CN111656246B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GB1800026.5 2018-01-02
GBGB1800026.5A GB201800026D0 (en) 2018-01-02 2018-01-02 Method & systems for localisation microscopy
GB1803638.4 2018-03-07
GBGB1803638.4A GB201803638D0 (en) 2018-03-07 2018-03-07 Method and system for localisation microscopy
PCT/GB2018/053765 WO2019135069A1 (en) 2018-01-02 2018-12-21 Method and system for localisation microscopy

Publications (2)

Publication Number Publication Date
CN111656246A CN111656246A (zh) 2020-09-11
CN111656246B true CN111656246B (zh) 2022-07-29

Family

ID=64949339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880085005.5A Active CN111656246B (zh) 2018-01-02 2018-12-21 用于定位显微的方法和系统、计算机可读存储介质

Country Status (5)

Country Link
US (1) US11169368B2 (zh)
EP (1) EP3735606B1 (zh)
JP (1) JP7228917B2 (zh)
CN (1) CN111656246B (zh)
WO (1) WO2019135069A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022131447A1 (de) 2022-11-28 2024-05-29 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zum Aufbereiten von Daten zum Identifizieren von Analyten
DE102022131444A1 (de) 2022-11-28 2024-05-29 Carl Zeiss Microscopy Gmbh Verfahren zum Identifizieren von Analyten in einer Bildfolge
DE102022131451A1 (de) 2022-11-28 2024-05-29 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zum Bestimmen einer Signal-Zusammensetzung von Signalfolgen einer Bildfolge
DE102022131449A1 (de) 2022-11-28 2024-05-29 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zum Aufbereiten von Daten zum Identifizieren von Analyten
DE102022131446A1 (de) 2022-11-28 2024-05-29 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zum Aufbereiten von Daten zum Identifizieren von Analyten
DE102022131445A1 (de) 2022-11-28 2024-05-29 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zum Aufbereiten von Daten zum Identifizieren von Analyten
DE102022131448A1 (de) 2022-11-28 2024-05-29 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zum Aufbereiten von Daten zum Identifizieren von Analyten
DE102022131450A1 (de) 2022-11-28 2024-05-29 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zum Aufbereiten von Daten zum Identifizieren von Analyten

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215587B1 (en) * 1994-02-14 2001-04-10 Robert R. Alfano Microscope imaging inside highly scattering media
CN104159060A (zh) * 2006-04-03 2014-11-19 高通股份有限公司 预处理器方法及设备

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2751825A1 (fr) * 1996-07-24 1998-01-30 Philips Electronics Nv Procede de filtrage temporel du bruit dans une image d'une sequence d'images numerisees et dispositif mettant en oeuvre ce procede
DE10134328B4 (de) * 2001-07-14 2012-10-04 Leica Microsystems Cms Gmbh Verfahren und System zur Einstellung der Bilderfassung eines Mikroskops
EP1432976A4 (en) * 2001-09-05 2007-11-28 Genicon Sciences Corp DEVICE FOR READING SIGNALS EMITTED BY RESONANCE LIGHT DISPERSION PARTICLES USED AS MARKERS
JP2004053498A (ja) * 2002-07-23 2004-02-19 Matsushita Electric Ind Co Ltd 顕微鏡画像解析装置とその画像解析方法
RU2305270C2 (ru) * 2005-05-18 2007-08-27 Андрей Алексеевич Климов Способ флуоресцентной наноскопии (варианты)
WO2006127692A2 (en) 2005-05-23 2006-11-30 Hess Harald F Optical microscopy with phototransformable optical labels
US20080312283A1 (en) 2005-05-26 2008-12-18 Othera Pharmaceuticals, Inc. Use of Hydroxylamine Derivates for Inhibiting Vitrectomy-Induced Cataracts
US7485875B2 (en) * 2005-07-22 2009-02-03 Carl Zeiss Microimaging Gmbh Resolution-enhanced luminescence microscopy
US7838302B2 (en) * 2006-08-07 2010-11-23 President And Fellows Of Harvard College Sub-diffraction limit image resolution and other imaging techniques
US7776613B2 (en) * 2006-08-07 2010-08-17 President And Fellows Of Harvard College Sub-diffraction image resolution and other imaging techniques
US7916304B2 (en) * 2006-12-21 2011-03-29 Howard Hughes Medical Institute Systems and methods for 3-dimensional interferometric microscopy
DE102007018048A1 (de) * 2007-04-13 2008-10-16 Michael Schwertner Verfahren und Anordnung zur optischen Abbildung mit Tiefendiskriminierung
CN101918816B (zh) * 2007-12-21 2015-12-02 哈佛大学 三维中的亚衍射极限图像分辨率
WO2009115108A1 (en) * 2008-03-19 2009-09-24 Ruprecht-Karls-Universität Heidelberg A method and an apparatus for localization of single dye molecules in the fluorescent microscopy
GB0900526D0 (en) * 2009-01-14 2009-02-11 Perkinelmer Ltd Fluorescence microscopy methods and apparatus
DE102009005953A1 (de) * 2009-01-19 2010-07-22 Universität Tübingen Verfahren und System zur Charakterisierung einer Probe mittels bildgebender Fluoreszenzmikroskopie
DE102009031231A1 (de) * 2009-06-26 2010-12-30 Carl Zeiss Microlmaging Gmbh Verfahren und Anordnungen für die Fluoreszenzmikroskopie
DE102009060793A1 (de) * 2009-12-22 2011-07-28 Carl Zeiss Microlmaging GmbH, 07745 Hochauflösendes Mikroskop und Verfahren zur zwei- oder dreidimensionalen Positionsbestimmung von Objekten
US9339194B2 (en) * 2010-03-08 2016-05-17 Cernoval, Inc. System, method and article for normalization and enhancement of tissue images
GB201007055D0 (en) * 2010-04-28 2010-06-09 Vib Vzw Method and apparatus for the imaging of a labelled sample
DE102010037190B4 (de) * 2010-08-27 2015-11-26 Leica Microsystems Cms Gmbh Vorrichtung zum zeitlichen Verschieben von Weißlichtlaserpulsen
US9523846B2 (en) * 2010-09-24 2016-12-20 Carl Zeiss Microscopy Gmbh 3D localisation microscopy and 4D localisation microscopy and tracking methods and systems
DE102010041794A1 (de) * 2010-09-30 2012-04-05 Carl Zeiss Microlmaging Gmbh Mikroskopsystem, Mikroskopieverfahren und Computerprogrammprodukt
US10908403B2 (en) * 2011-02-14 2021-02-02 European Molecular Biology Laboratory (Embl) Light-pad microscope for high-resolution 3D fluorescence imaging and 2D fluctuation spectroscopy
WO2013047284A1 (ja) * 2011-09-26 2013-04-04 シャープ株式会社 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記憶した記録媒体
US9104903B2 (en) * 2012-03-16 2015-08-11 University Of Utah Research Foundation Microscopy visualization
DE102012102707A1 (de) * 2012-03-29 2013-10-02 Carl Zeiss Ag Verfahren und Vorrichtungen zur Bildverarbeitung
CA2869359C (en) * 2012-04-03 2021-03-23 University Court Of The University Of St Andrews High resolution imaging of extended volumes
FR2989472B1 (fr) * 2012-04-13 2015-09-25 Bioaxial Procede et dispositif optique
WO2013153294A1 (fr) * 2012-04-13 2013-10-17 Bioaxial Sas Procédé et dispositif de mesure optique
EP2660639B1 (en) * 2012-05-02 2016-04-13 Centre National De La Recherche Scientifique Method and apparatus for single-particle localization using wavelet analysis
TW201404879A (zh) * 2012-07-31 2014-02-01 Nat Defense Medical Ct 非貼附式球體細胞培養容器、系統及方法
JP6161276B2 (ja) * 2012-12-12 2017-07-12 キヤノン株式会社 測定装置、測定方法、及びプログラム
WO2014145620A2 (en) * 2013-03-15 2014-09-18 The Broad Institute, Inc. Novel hybridization probes and uses thereof
JP2015041164A (ja) * 2013-08-20 2015-03-02 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
DE102013218231A1 (de) * 2013-09-11 2015-03-12 Sirona Dental Systems Gmbh Optisches System zur Erzeugung eines sich zeitlich ändernden Musters für ein Konfokalmikroskop
CN103592278B (zh) * 2013-11-21 2016-01-20 中国计量学院 基于荧光发射抑制机理的随机定位超分辨显微方法及装置
US20170038574A1 (en) * 2014-02-03 2017-02-09 President And Fellows Of Harvard College Three-dimensional super-resolution fluorescence imaging using airy beams and other techniques
JP6378931B2 (ja) * 2014-05-21 2018-08-22 浜松ホトニクス株式会社 顕微鏡装置及び画像取得方法
CN104202609A (zh) * 2014-09-25 2014-12-10 深圳市云朗网络科技有限公司 一种视频编码方法及视频解码方法
US10795144B2 (en) * 2014-12-06 2020-10-06 Howard Hughes Medical Institute Microscopy with structured plane illumination and point accumulation for imaging and nanoscale topography
US10921255B2 (en) * 2014-12-09 2021-02-16 Bioaxial Sas Optical measuring device and process
JP6631620B2 (ja) * 2015-03-27 2020-01-15 株式会社ニコン 顕微鏡装置、観察方法、及び制御プログラム
US20180113074A1 (en) * 2015-04-30 2018-04-26 Siemens Aktiengesellschaft Light Emission Measuring Device
WO2016205775A1 (en) 2015-06-19 2016-12-22 The Government Of The United States Of America As Represented By The Secretary Of The Navy Determining extracellular analyte concentration with nanoplasmonic sensors
JP2019502907A (ja) * 2015-12-02 2019-01-31 ザ ユナイテッド ステイツ オブ アメリカ， アズ リプレゼンテッド バイ ザ セクレタリー， デパートメント オブ ヘルス アンド ヒューマン サービシーズ 顕微鏡法及び蛍光撮像ための基準マーカとしての蛍光ナノダイアモンド
DE102015016353A1 (de) 2015-12-16 2017-06-22 Horst Wochnowski PALM-Verfahren mit mehreren sich nur marginal voneinander unterscheidenden Fluorophoren
US10725279B2 (en) * 2016-04-08 2020-07-28 Arizona Board Of Regents On Behalf Of The University Of Arizona Systems and methods for extended depth-of-field microscopy
CN109477095A (zh) * 2016-05-26 2019-03-15 卓异生物公司 用于单分子检测的阵列及其应用
JP6906550B2 (ja) * 2016-06-24 2021-07-21 ハワード ヒューズ メディカル インスティチュート 顕微鏡におけるライトシートジオメトリの自動調整
DE102017211031A1 (de) * 2016-11-21 2018-05-24 Carl Zeiss Microscopy Gmbh Verfahren und Mikroskop zum Ermitteln einer Fluoreszenzintensität
US10573003B2 (en) * 2017-02-13 2020-02-25 Amit Sethi Systems and methods for computational pathology using points-of-interest
GB201704275D0 (en) * 2017-03-17 2017-05-03 Science And Tech Facilities Council Super-resolution microscopy
US11469075B2 (en) * 2019-03-14 2022-10-11 Applied Materials, Inc. Identifying fiducial markers in microscope images
US11255785B2 (en) * 2019-03-14 2022-02-22 Applied Materials, Inc. Identifying fiducial markers in fluorescence microscope images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215587B1 (en) * 1994-02-14 2001-04-10 Robert R. Alfano Microscope imaging inside highly scattering media
CN104159060A (zh) * 2006-04-03 2014-11-19 高通股份有限公司 预处理器方法及设备

Also Published As

Publication number Publication date
WO2019135069A1 (en) 2019-07-11
CN111656246A (zh) 2020-09-11
JP7228917B2 (ja) 2023-02-27
EP3735606B1 (en) 2023-03-22
JP2021513095A (ja) 2021-05-20
US11169368B2 (en) 2021-11-09
EP3735606A1 (en) 2020-11-11
US20200348504A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
CN111656246B (zh) 用于定位显微的方法和系统、计算机可读存储介质
US11946854B2 (en) Systems and methods for two-dimensional fluorescence wave propagation onto surfaces using deep learning
EP2660639B1 (en) Method and apparatus for single-particle localization using wavelet analysis
US9111366B2 (en) Superresolution optical fluctuation imaging (SOFI)
US20220205919A1 (en) Widefield, high-speed optical sectioning
WO2019148024A1 (en) Systems and methods to reduce scattering in temporal focusing multiphoton microscopy
Bai et al. Imaging enhancement of light-sheet fluorescence microscopy via deep learning
Boland et al. Improving axial resolution in Structured Illumination Microscopy using deep learning
Fazel et al. Analysis of super-resolution single molecule localization microscopy data: A tutorial
US11841324B2 (en) Method and device for estimating a STED resolution
Rieger et al. Image processing and analysis for single-molecule localization microscopy: Computation for nanoscale imaging
EP3471393B1 (en) Data recovery device, microscope system, and data recovery method
WO2019152216A1 (en) Systems and methods for robust background correction and/or emitter localization for super-resolution localization microscopy
Nieuwenhuizen et al. 18 Visualization and Resolution in Localization Microscopy
Maalouf Contribution to fluorescence microscopy, 3D thick samples deconvolution and depth-variant PSF
Zhao et al. Enhancing detectable fluorescence fluctuation for high-throughput and four-dimensional live-cell super-resolution imaging
Hazelwood et al. Entering the portal: understanding the digital image recorded through a microscope
CN113191981B (zh) 基于非负矩阵分解的深层双光子钙成像方法和装置
Mayerich et al. Superresolution Image Processing
US20240037755A1 (en) Imaging device and method
WO2022117695A1 (en) Superresolution optical imaging system and method
Fersini et al. Direct access to optical aberration information in fluorescence laser scanning microscopy using detector arrays
Geng et al. Blind optical sectioning and super-resolution imaging in multifocal structured illumination microscopy
CN117930497A (zh) 用于光场显微术的方法和设备
Myasnikova et al. Supplementary Data to the paper: Estimation of errors introduced by confocal imaging into the data on segmentation gene expression in Drosophila

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant