CN104285175B - 使用小波分析进行单颗粒定位的方法和装置 - Google Patents

使用小波分析进行单颗粒定位的方法和装置 Download PDF

Info

Publication number
CN104285175B
CN104285175B CN201380023395.0A CN201380023395A CN104285175B CN 104285175 B CN104285175 B CN 104285175B CN 201380023395 A CN201380023395 A CN 201380023395A CN 104285175 B CN104285175 B CN 104285175B
Authority
CN
China
Prior art keywords
image
particle
small echo
imaging system
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380023395.0A
Other languages
English (en)
Other versions
CN104285175A (zh
Inventor
让-巴蒂斯·西巴里塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Bordeaux
Centre National de la Recherche Scientifique CNRS
Original Assignee
Bordeaux, University of
Centre National de la Recherche Scientifique CNRS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bordeaux, University of, Centre National de la Recherche Scientifique CNRS filed Critical Bordeaux, University of
Publication of CN104285175A publication Critical patent/CN104285175A/zh
Application granted granted Critical
Publication of CN104285175B publication Critical patent/CN104285175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02—Investigating particle size or size distribution
    • G01N15/0205—Investigating particle size or size distribution by optical means
    • G01N2015/0238—Single particle scatter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1486—Counting the particles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Abstract

在基于单颗粒的超分辨率显微术中，单独颗粒的精确定位是非常重要的。其允许生物成像使用简单的荧光团显微方案以纳米级分辨率采样。无论如何，用于单颗粒定位的传统技术会消耗数分钟至数小时的计算时间，因为它们需要多达百万次定位来形成图像。相反，本颗粒定位技术使用基于小波的图像分解和图像分割，从而在数秒或数分钟内在二维中实现纳米级分辨率。基于对可沿光轴不对称的成像系统的点分布函数(PSF)的拟合，可利用第三维上的定位对该二维定位进行扩充。对于不对称成像系统，PSF是椭圆形，其离心率和方位沿光轴变化。当使用混合式CPU/GPU处理时，本技术可以足够快地在(实时)成像的同时对单颗粒进行定位。

Description

使用小波分析进行单颗粒定位的方法和装置
背景技术
随着科技进步到单颗粒检测，用于生物应用的光学显微术领域有了质的飞跃。近年来，在许多实验室中，在生物学和生物物理学中使用成像技术进行单颗粒试验已经成为例行程序，这提供了对众多生物学过程的新视野。在大多数情况下，对单颗粒试验的定量分析的第一步是在纳米级范围(正好在光学显微镜的衍射极限以下)中利用亚像素精度确定颗粒的位置。例如，在连续时移图像中荧光地标记的蛋白质的精确位置可用于确定薄膜蛋白的扩散特性或用于解开分子马达的步进机制。
近年来，发展出了若干超分辨率光学显微技术，这些技术超越了光学系统中光的衍射极限(通常大约为250nm)。其中包括(荧光)光激活定位显微术((F)PALM)、随机光学再现显微术(STORM)、基态减损显微术(GSD)。这些技术都是基于单个荧光团的稀疏子集的连续图片转换。它们开拓了精确地确定由每个单点发射体创造的点分布函数(PSF)的中心的能力；基本上，图像的分辨率通过所实现的颗粒定位精度确定。这些技术正变得越来越普及，这是由于它们的可负担能力以及在传统的全内反射荧光(TIRF)显微镜上相对简单的实施方式。
通常，随机光学再现包括三步：(i)从样本中获取数万个单颗粒的图像；(ii)多达百万个独立的单个发射体的精确定位；以及(iii)从检测到的单独颗粒的位置重构的超分辨率图像的可视化。这些步骤的顺序特性以及高采集帧速率和处理步骤的缓慢性通常会阻碍用户在图像采集期间观察超分辨率图像。因此，对于日常用户而言无法在后处理之前访问数据，导致巨大的时间损失，因为整体采集传递路径必须被碎片化。
图1示出了利用如PALM显微术的随机光学再现技术记录和再现超分辨率图像的典型过程100。过程100包括用荧光显微镜(未示出)获取图像，随后根据下列步骤后处理所获取的图像。在步骤102，可见光的短脉冲激活大范围地分离得足够远的荧光团的子集以单独地分辨每个PSF。在步骤104，使用具有不同波长的第二激光激发活性荧光团，直到它们(不可逆的)光褪色，同时记录一幅或多幅图像112。相继地重复步骤102和步骤104进行激活，随后将荧光团的不同子集不可逆转地光褪色，直到成像的荧光团的密度足够高到用于相关结构的完全再现(通常为几千帧)。一旦完成了图像采集，便进行后处理，从步骤106中的以逐帧方式检测被成像的荧光团开始。一旦在具体帧中检测到可能的荧光团，在步骤108，利用类似于PSF的分布，通过拟合高斯函数来确定荧光团的位置。对所采集的数据的每个帧重复步骤108。在步骤110，通过将所有定位叠加以形成超分辨率图像116来获得再现图像。如本领域技术人员理解的是，一个或多个处理器和/或处理单元可执行步骤106、108和110。
用于PSF拟合的标准数学模型是二维高斯函数，因为它在定位方面具有良好的性能。通常，采集步骤102和104需要数分钟，而当执行高斯拟合时，处理步骤106、108和110会占据多达几小时的计算时间，因为它需要迭代的最小化步骤，通常为最大相似估计法(MLE)或非线性最小二乘法(NLLS)。这使得实际上不可能在采集之后对显微镜中获得的结果进行快速评估以及改进现场的试验条件。最近，提出了一种MLE高斯拟合的大规模并行实施方式。该方案极大地降低了计算时间，但需要使用专用的图形处理单元(GPU)硬件架构。
发明内容
本公开的实施例包括用于估算一个或多个颗粒(例如，细胞、微粒、和/或以荧光团记号标记颗粒)在三维(3D)空间中的位置的一种设备、一种相应的方法和一种相应的非暂时性计算机程序产品。在至少一种情况下，该设备包括成像系统(如散光成像系统)，其具有关于成像系统的光轴不对称的点分布函数(PSF)。该设备还包括与成像系统光学通信的检测器，该检测器被配置为在3D空间中检测平面的图像。与所述检测器可操作地耦接的存储器被配置为存储图像的表示。该设备还包括处理器，其可操作地耦接到存储器和/或检测器。在至少一些实施例中，处理器包括图形处理单元(GPU)，该GPU被配置为执行下面描述的一个或多个步骤。
在至少一些实施例中，处理器被配置为通过执行一系列的步骤来定位一个或多个颗粒，这些步骤可被编译为存储在非暂时性计算机程序产品中的指令。处理器接收图像(的表示)并对图像执行小波分解以形成图像的小波图。处理器可被配置为使用à trous小波分解技术或任何其他适合的小波分解技术执行小波分解。
处理器将作为结果的小波图分解为具有高于预定阈值的强度值的至少一个区域，例如，通过对至少部分小波图执行分水岭算法。在一些情况下，分解小波图可包括(i)确定与该小波图相关的背景噪声水平；(ii)估算与该背景噪声水平相关的标准偏差；(iii)基于该标准偏差选择预定阈值。例如，处理器可将预定阈值选择为标准偏差的大约0.5倍至大约2倍。
响应于小波图的分割，处理器估算被分割区域的质心或质量中心的位置。质心位置对应于颗粒在3D空间中的第一维和第二维上的位置。例如，质心位置可表示颗粒在通过成像系统生成的3D空间的平面中的横向(例如，x，y)位置。在一些情况下，处理器可将颗粒在第一维和第二维上的位置估算至大约1nm至大约5nm的精度。
在一些实施例中，处理器被配置为在在成像系统采集另一个3D空间的图像的同时分解图像、分割小波图和/或估算质心。例如，处理器可被配置为在每秒50帧、每秒75帧、每秒100帧或更高的帧速率的图像采集期间以实时方式执行这些步骤。
处理器也可针对分割的小波图的区域确定成像系统的PSF的拟合。例如，如果成像系统是散光的，处理器各向异性的高斯函数表示针对分割区域的成像系统的PSF。处理器可使用质心作为拟合的PSF的质量中心的估算。
处理器根据拟合估算颗粒在3D空间的第三维上的位置。也就是说，处理器可使用拟合确定平面相对于成像系统的聚焦平面的轴向(z)位置，并使用平面的轴向位置来估算颗粒的轴向位置。当使用散光成像系统时，处理器可根据针对分割区域拟合的椭圆的离心率和方位估算轴向位置。可利用大约10nm至大约50nm的精度进行该处理。
一些实施例还包括光源，如激光器，以激发一个或多个颗粒的荧光放射。光源射出激发光束，可使用已知技术对该光束的强度和/或波长进行调整。在这些实施例中，处理器还可被配置为执行图像的分析并基于图像的分析调整激发光束的强度和/或波长。处理器还可被配置为基于对图像的分析调整成像系统的焦点、视野、帧尺寸、帧速率和积分时间中的至少一个。
以上总结只是说明性的，并且无意进行任何方式的限制。除了所示出的上述的这些方面、实施例和特征以外，还将通过参照下面的附图和详细描述使得其他的方面、实施例和特征变得显而易见。
附图说明
被并入说明书并组成说明书的一部分的附图，示出了所披露的技术的多个实施例并连同说明书一起起到说明所披露的技术的原理的作用。
图1示出了基于荧光颗粒的定位用于形成超分辨率图像的采集和处理技术。
图2A示出了针对以二维和三维方式进行超分辨率成像，被配置为执行基于小波的单颗粒定位的荧光显微镜的示意图。
图2B示出了散光物镜，其点分布函数(PSF)相对于光轴(Z维)是不对称的。
图2C是示出基于小波的二维和三维单颗粒定位的流程图。
图2D示出了使用实时的和/或接近实时的基于小波的单颗粒定位对图像采集进行控制的系统。
图3示出了位于像素尺寸为100nm的256像素×256像素的矩阵上的单颗粒的模拟图像。
图4示出了使用模拟数据的小波分割。
图5A和5B分别是作为颗粒密度和信噪比(SNR)的函数的小波分析与高斯多目标跟踪(MTT)分析的计算时间的图。
图5C是作为颗粒密度的函数的小波分析和QuickPALM分析的计算时间的图。
图5D是不同颗粒定位技术的二维实时检测(左)与三维后处理拟合(右)的处理时间vs.颗粒数量的图。
图6是小波分割与MTT分析在不同的颗粒密度下的定位精度vs.SNR的图。
图7是每个模拟单颗粒的坐标周围半径100nm的范围内的假阳性检测vs.SNR的图。
图8是每个模拟单颗粒的坐标周围半径100nm的范围内的假阴性检测vs.SNR的图。
图9A-9C示出了在由宽度变化范围从200nm(外围)至6nm(中央)的交替条纹组成的测试图案中使用模拟单颗粒数据进行基于小波的单颗粒定位的测试。
图10A-10D显示了示出利用试验PALM数据的小波分割和MTT算法的性能的试验数据。
图11A和11B是利用Alexa647荧光团标记的微管蛋白的受衍射限制的图像。
图11C包括一系列的受衍射限制的图像，这些图像示出了利用Alexa647荧光团标记的微管蛋白的单个微粒的不同方位。
图11D和11E分别是以实时方式构建的图11A和图11B中示出的微粒的dSTORM超分辨率强度图像。
图11F和11G分别示出了图11D和11E中示出的微粒的3D图。
图11H是用于提取图11F和11G中示出的单独微粒的3D位置的显微镜的标定函数(PSF)的图。
具体实施方式
用于颗粒检测和质心定位的小波分割解决了由于耗时的数据分析引起的限制。本发明的装置和技术可用于单颗粒成像、超分辨率成像、颗粒跟踪和/或巧妙地处理荧光颗粒，包括但不限于生物细胞、微粒(molecule)(例如，荧光蛋白)、有机荧光团、量子点、碳纳米管、金刚石、金属或电介质珠、以及用荧光团标记的颗粒。该小波方法存在至少两个优点：其处理时间比涉及二维(2D)高斯拟合的方法的处理时间快超过一个数量级；其良好的定位精度可近似纳米级。此外，2D小波定位可与额外的拟合技术一起使用，从而提供实时或接近实时的三维(3D)定位。
单微粒、基于小波的定位显微技术
图2A示出了荧光显微镜200，其被配置为针对超分辨率成像执行2D和3D单颗粒定位。尽管图2A示出了荧光显微镜，但是本领域技术人员将容易地认识到的是，本文披露的基于小波的技术兼容并可扩展至任何适当的成像系统。例如，基于小波的单颗粒定位也可被用于任何适当的荧光显微镜，包括广视野显微镜、共焦显微镜、多光子荧光显微镜以及全内反射荧光(TIRF)显微镜。
显微镜200包括光源202(如激光器)，其朝激发滤光片204(诸如声光可调节过滤器(AOTF))发光，激发滤光片204传播处于激发波长的光，并吸收、反射或衍射处于其他波长的光。本领域技术人员将容易地认识到的是，激发滤光片204可是可调节的并且光源202自身可以是可调节的激光器或者是能够发射处于不同的激发波长的窄带辐射的光源。
分色镜206向物镜208反射窄带激发辐射，物镜208将激发辐射聚焦到样本S的表面或者样本2中的点上。本领域技术人员应当理解的是，物镜208可包括一个或多个透镜元件和棱镜元件，每个元件都可是弯曲的，或者是产生具有预定的点分布函数(PSF)的光束的形状。PSF表示由聚焦光束产生的模糊点的形状。对于完美的透镜，PSF是圆形的，其半径作为距聚焦平面的距离的函数而变化。
图2B示出了不同于完美透镜的物镜208，其具有沿着物镜的光轴(图2A和2B中示出的坐标系统中的Z轴)不对称的PSF。换言之，PSF作为距物镜的聚焦平面的距离的函数而改变形状和/或方向(相对于简单改变大小)。例如，物镜208可包括引入轻微散光的透镜元件或相位掩膜，如图2B中所示。当物镜208散光时，PSF可在聚焦平面的一侧上呈现为其半长轴与x轴对齐的椭圆209a、在名义聚焦平面上呈现为圆209b、以及在聚焦平面的另一侧上呈现为其半长轴与y轴对齐的另一个椭圆209c。或者，物镜208可具有沿着z轴的位置的函数旋转的PSF。PSF相对于z轴的不对称性可用于对颗粒在z维中的位置进行定位，如下面所描述。可提前计算或试验性地确定PSF，例如，通过对已知标本进行成像并使用其结果对显微镜200进行校准。
标本S中的多个荧光颗粒(荧光团)吸收激发光并以与激发波长不同的发射波长发射荧光辐射。物镜208经由分色镜206和发射滤光片210将荧光辐射成像到检测器220上，例如电子倍增电荷耦合器件(EM-CCD)、盖革模式雪崩光电二极管阵列、或任何其他合适的检测器阵列。类似于激发滤光片204，发射滤光片210传播处于发射波长的光，并对处于其他波长的光进行吸收或反射，从而减少在检测器220处的模糊、噪声、以及其他不期望的效应。
检测器220将入射光转换为可检测的电信号，如电流或电压，其幅度表示通过物镜208投射的标本S的图像。检测器220与存储器230和处理器240耦接，其中存储器230存储图像的表示，处理器240对图像进行实时、接近实时、或离线(例如后处理)处理从而对标本S中的一个或多个颗粒进行定位。在一些实施例中，处理器240包括至少一个中央处理单元(CPU)242和至少一个图形处理单元(GPU)244。CPU 242和GPU 244可执行与基于小波的定位相关联的不同任务，从而(例如,针对实时或接近实时的颗粒定位)降低计算时间。
CPU 242/GPU 244架构使得能够以每秒50帧或更高的图像采集速度进行实时分析。因为小波分解与卷积非常类似，所以图像中的每个像素可相对于图像中的其他像素进行独立的处理。小波分解的轨迹特性(local nature)适于GPU 244上的并行逐像素处理。实际上，对于500，000个微粒的图像，使用混合式CPU/GPU处理器240的处理时间可以比仅CPU的实施方式快大约7倍。
基于小波的2D和3D定位
图2C是示出基于小波的3D图像分割和颗粒定位处理250以及形成为3D处理250的一部分的基于小波的2D(实时)单颗粒定位处理260。处理250和260都从至少一幅具有零个、一个、或多于一个荧光颗粒的2D图像的采集(步骤252)开始，例如，使用图2A所示的显微镜200或者任何其他适合的成像系统。(如果图像中未呈现任何颗粒，则未定位到任何颗粒)。小波过滤将图像噪声去除并使得硬阈值处理和对象分割成为可能。标记之后施加分水岭算法以允许使用质心分割在2D中将紧密混合的颗粒分离并定位。对PSF形状的拟合被用于检索被定位颗粒的轴向位置，从而输出颗粒的3D位置。
这些处理250、260使得用户能够在图像采集过程中观察超分辨率图像。它们还通过如下更详细地描述的实时控制采集和定位参数提供了优化采集处理的可能性。取决于每个微粒图像的SNR，处理250、260允许利用纳米级分辨率(例如，小于1nm、2nm、3nm、4nm、5nm、10nm、或者数纳米和大约50nm之间的任意其他值)在二维(2D)或三维(3D)中对每个颗粒的空间坐标进行精确检索。不同于针对高采集帧率(例如，每秒50帧、每秒100帧、或者更高的速率)的实时再现消耗大量时间的高斯拟合，基于小波的定位可用于每秒50帧以上的速率的实时处理。
2D颗粒定位
在步骤254，处理器(例如，图2A所示的混合式CPU/GPU处理器240)使用非抽样小波变换(称为“à trous”，其使用三阶B样条曲线)将2D图像分解为小波图。(其他小波变换也可获得预期效果。)à trous小波变换是众所周知的，并且下面进行了更详细的描述。处理器可快速和准确地执行à trous小波分解来检测一个或多个各向同性的点。该分解生成第一小波图(或第一小波平面)，其包含源图像的高频(例如，如下面描述的图4的第二列中示出的)，这些高频段是出现最多噪声的位置。该分解还生成第二小波图(第二小波平面)，其包含具有接近衍射极限的尺寸的结构(例如，如图4的第三列中示出的)。该第二小波平面非常适合于单颗粒定位。更高的小波图可包含更粗糙的图像细节和更低的空间频率。
作为步骤254的一部分，处理器通过施加固定阈值来提取第二小波平面，该固定阈值的数值范围在与2D图像相关联的背景噪声水平的标准偏差的大约0.1倍至大约10倍之间(例如，大约0.5倍至大约2倍)。例如，处理器可从等于标准偏差的阈值开始，并根据图像质量和/或响应于用户输入对阈值进行调整。也可通过从第一小波图估算背景高斯噪声来确定该背景噪声水平，其可是最大噪声水平。如果单颗粒的具体信号是稀疏的(如对基于单颗粒的超分辨率所期望的)，则源图像的标准偏差是用于阈值的噪声水平的良好估算。用于图4的第4列中示出的图像的小波分割的阈值被设定为最大噪声图像的标准偏差的0.5倍。
基于单颗粒的超分辨率成像可受益于使用大量检测到的颗粒来(重)构建图像。对于一些生物学应用而言，尤其是活细胞动态，需要高成像速度并由此采集具有高密度的荧光单颗粒的图像。当来自不同颗粒的多个PSF重叠时，这会导致不准确的颗粒定位(参见图4中第一列的中间和底部图像中的左上方星状物)。
在步骤256，处理器将第二小波图分离或分割成每个具有一个颗粒的多个区域。处理器可通过施加分水岭算法将第二小波图分割。施加分水岭算法可包括确定表示具有高于预定阈值的强度值的颗粒的区域和表示不存在具有低于预定阈值的强度值的颗粒的区域。处理器还去除小于一定尺寸(例如少于四个像素)的区域以避免可能的归因于噪声的残留定位。
在步骤258，处理器针对表示颗粒的每个区域估算质心(或质量中心)的位置。因为图像是2D的，质心表示通过图像表示的3D体的平面中的颗粒的横坐标(例如，其x和y坐标)。根据图像的SNR，处理器能够以优于10nm、5nm、3nm、2nm、甚至1nm的精度对质心进行定位。处理器可使用该质心提取的结果来在步骤270中创建颗粒的2D超分辨率图像。还可将颗粒的横坐标存储在存储器中(步骤272)以用于进一步的处理，包括如下面描述的3D图像可视化(步骤284)。
在步骤259，处理器基于通过小波分解、小波分割、和/或质心提取导出的图像(或图像参数)执行统计计算或分析。例如，处理器可确定图像中的颗粒的数量、密度以及空间分布。在步骤262，处理器确定是否所有期望的2D图像都已经被采集。如果存在更多待采集的图像，则在步骤263中处理器核查以判定步骤259中确定的图像统计资料是否是可接受的。如果否，则在步骤264中处理器可对用于从颗粒(或多个颗粒)激发荧光放射的光束的强度进行调整。这还使得成像系统聚焦到3D体内的另一个平面上。
3D颗粒定位
3D定位包括利用成像系统的PSF的先验知识来找出颗粒的轴向位置或3D空间中的第三维(例如，z维)中的位置。PSF工程，例如使用散光透镜，允许对轴向位置进行检索。实际上，该信息通常通过将高斯拟合围绕颗粒施加来计算，其使用复杂的方法(如最大相似估计法(MLE)或非线性最小二乘法(NLLS))进行。尽管MLE和NLLS在定位精度方面具有可靠性，但是将最终图像再现所需的时间对常规的数据生产仍然是个障碍。提出了其他方法，如QuickPALM(经典的“CLEAN”法)或LivePALM(解线性方程组算法,fluoroBancroftalgorithm)。这些技术在计算时间方面是非常高效的，但是局限于离线处理(后处理)。
在步骤262，如果处理器指示或接收到所有期望的2D图像都已经被采集的指示，则其在步骤280中确定是否创建3D图像。如果3D图像是期望的，则处理器例如以50nm、40nm、25nm、10nm、5nm或更优的精度定位一个或多个预先定位的颗粒的轴向(z)位置(步骤282)。在某些实施例中，处理器的GPU通过围绕每个颗粒的横向位置(质心)将基于成像系统的非对称PSF的函数拟合来执行该3D定位。作为z维的函数的函数参数可通过对成像系统进行校准来确定。可通过围绕已经由小波分割处理计算出的坐标对原始数据执行局部拟合来检索定位到的颗粒的横向坐标。
如果成像系统是散光的，例如GPU可基于具有沿着光轴(轴向或z维)变化的偏心方向的椭圆形的PSF计算拟合。例如，GPU可使用非线性最小二乘法对9像素×9像素区域拟合非各向同性高斯函数以计算用于确定颗粒的轴向坐标的椭圆参数(例如，椭圆的长轴和短轴的长度和方向)。拟合的椭圆偏心越多，颗粒距离物镜的聚焦平面越远。椭圆的长轴的方向指示颗粒是位于聚焦平面的近侧还是远侧。完美的圆形拟合指示颗粒位于聚焦平面处。本领域技术人员将容易地认识到的是，其他拟合函数和/或其他PSF也是可行的。
当在CPU中执行时，该拟合步骤可是耗时的，因此建议基于GPU的实施方式。无论如何，实时约束条件可能不大量地允许并行实施方式。因此，即使是基于GPU的实施方式可能也不允许以实时方式执行高斯拟合。因此，对于实时和接近实时的颗粒定位而言，处理器可实施两步法：i)使用小波分割实时计算2D图像(步骤260)；以及ii)在图像采集结束之后立刻计算拟合和3D提取(步骤266)。与利用单独CPU的几十分钟相比，GPU实施方式使得能够在几分钟内计算百万颗粒的轴向坐标。这使得用户能够在采集处理之后的数秒至数分钟内访问3D信息，这对于实际使用而言是足够快的。GPU与CPU对比，计算几乎快了二十倍。GPU实施方式可有效地利用3D拟合的并行特性，其中每个检测到的颗粒的PSF的侧平面是不同的。
“Trou”小波实施方式
定义V{i}为在等级i的系数图，W{i}为在等级i的小波(或细节)系数图。V{i}和W{i}具有比原始图像大的尺寸。W{2}为第二小波图，如上面所描述，使用阈值和分水岭技术将第二小波图分割。在一个实施方式中，à trous小波分解包括下面的步骤：
(1)将V{0}初始化为原始图像；
(2)计算V{1}；V{1}＝convV(convH(V{1},g{1}),g{1})；
(3)计算V{2}；V{2}＝convV(convH(V{2},g{2}),g{2})；以及
(4)计算W{2}；W{2}＝V{1}-V{2}。
这里，g{1}指的是低通量[H2、H1、H0、H1、H2]，g{2}指的是低通量[H2、0、H1、0、H0、0、H1、0、H2]，其中，H0＝3/8，H1＝1/4，H2＝1/16。convH指的是对纵列的卷积，convV指的是对横行的卷积。
使用实时定位的成像控制
图2D示出了用于使用实时或接近实时的颗粒定位来控制通过成像系统291的图像采集的系统290。成像系统291可包括一个或多个透镜(例如，物镜208(图2A))或其他光学元件和/或一个或多个用于相对于3D空间(样本S(图2A))的位置改变聚焦平面的位置的镜台。系统290包括用于采集图像(帧)的CCD照相机220以及用于执行图像分析292的GPU 224(例如混合式处理器240的一部分)和存储器230，图像分析292包括针对超分辨率图像再现的颗粒定位294、实时颗粒/图像统计296以及自动成像系统控制298。
处理器240可控制用于激发颗粒的源(激光器)202的强度。例如，处理器240可将源的强度调高从而增加给定图像中可见颗粒的数量。处理器240也可将源的强度调低从而减少给定图像中可见颗粒的数量，例如，因为利用给定的帧采集周期，呈现在视野中的将被定位的颗粒太多或太少。在某些实施例中，处理器240也可调整放射波长(例如，通过调整激光器202或激发滤光片204)。处理器240可这样做以便激发不同的荧光团或者或增加或减少所激发的荧光团的数量。
处理器240还可对成像系统的视野进行移动、扩大、收缩或控制，从而对每帧的颗粒密度进行实时调节，以尽可能实现最佳密度。处理器240可通过改变成像系统的聚焦平面或视野实现该目的。选择性地，或额外的，处理器240可调整或控制CCD照相机220的积分时间、帧速率和/或帧尺寸。
模拟图像的2D小波分割
独立的单个点发射体的模拟示出了检测的速度、可靠性和精度以及小波分割的位置确定和质心确定。
真实单颗粒图像的模拟
使用2D各向同性的高斯函数模拟单颗粒图像，其最大密度I0、标准偏差σ、强度偏移B，在像素尺寸D的离散空间中采样。σ和D分别指的是目标空间中的物镜分辨率和CCD照相机的像素尺寸。在该情况下，以σ＝1，D＝100nm来模拟高NA物镜的理想采样。2πσI0指的是采集到的每个单颗粒的光子数量Np。偏移IB的值为1000灰度值，I0的强度变化范围是100至1000灰度值，与超分辨率显微镜中使用的传统遗传荧光蛋白和有机单颗粒染料所放射出的光子数量一致。图像被泊松(光子)和高斯(电子)噪声的混合噪声毁坏。在每个像素p，用于模拟图像的强度IP的噪声模型是来自有限数量的NP个光子的泊松噪声率μP和汇总电子噪声的将IB和方差σB平均的高斯噪声BP的总和。增益g表示CCD采集的图像中的每个光电子的灰度值的比率。最终，可将强度写为IP＝gNP+BP。对于每幅图像，将SNR定义为
其中I是单颗粒信号的最大强度，是背景强度的方差，描述的是光子噪声，作为针对单颗粒的积分信号计算，与光子的数量成比例。
图3示出了单颗粒的模拟图像，其位于像素尺寸为100nm的256像素×256像素的矩阵上。每个单独点与2D高斯函数卷积，其中方差σ2＝1像素(例如，250nm的FWHM)，随后在具有100nm的像素尺寸的256像素×256像素的矩阵上取样。之后，利用高斯和泊松混合噪声对图像进行毁坏。对不同的SNR和单位图像的颗粒密度执行这些模拟。SNR的值的变化范围是2.6至10.3，颗粒密度的变化范围是0.1颗粒/μm2至1颗粒/μm2，这覆盖了使用荧光蛋白或有机荧光染料的PALM和STORM成像中遇到的试验条件的范围。对于每个给定的SNR或密度，生成一系列100帧的随机重新分布的颗粒。
在图3中，示出了用于增加颗粒密度和降低SNR的这种合成数据的实例。图3的组(1)示出了SNR＝7.1，颗粒密度为0.1、0.25、0.5、0.75、1颗粒/μm2(从左到右)的示例。组(2)示出了微粒密度为0.1颗粒/μm2，SNR的线性单位为10.3、6.6、3.6、3、2.6(从左到右)的示例。组(3)包括对于一个单颗粒在不同SNR的强度分布的曲线(左)、标准化插图、相同数据的原始图像(右)。图3中示出的数据的典型SNR值是大约为8，取决于所选择的荧光团和模拟试验条件。对处于较低SNR的行为进行的观察覆盖了具有较低量子产率的荧光探针和可光激活的荧光团的单颗粒跟踪(sptPALM)，二者都会导致在每个图像帧中检测到更少的光子。
图4示出了使用模拟数据的小波分割。每列示出了不同类型的图像，而每行示出了不同的SNR。从左到右：(1)具有框内单颗粒定位的原始图像；(2)与该原始图像相关联的第一小波平面；(3)与该原始图像相关联的第二小波平面；(4)分割的图像；(5)针对由分割的图像所定义的每个定位颗粒的质心计算。从上到下：使用相同的分割阈值(定义为最大噪声图像的标准偏差的0.5倍)，具有不同的SNR(分别为10.3、3.6和3)的图示。标记(*)示出了假阳性和假阴性检测。
小波分割vs.高斯拟合
可使用生成的图像将小波分割方法与高斯拟合方法在速度和精度方面的表现进行对比。将多目标跟踪(MTT)用作高斯拟合方法来执行该对比。MTT为用于高密度、单颗粒检测计算的强健技术，其性能接近理论极限。MTT针对颗粒检测使用假设检验，然后进行多参数高斯拟合来估算单颗粒的子像素位置。尽管MTT能够确定重叠PSF的位置并具有跟踪能力，但是该对比局限于对单个PSF的进行检测和定位，不包括缩小循环和轨线的确定。
小波分割和MTT都具有复杂度O(n)，其中n是每帧图像中的像素的数量。表1(下面)详细描述了两种方法的主要步骤。两种方法之间的一个差别是如何计算定位坐标。对于小波而言，针对每个区域在第二小波图上计算简单的质心。由于在分割之后颗粒的数量和它们的表面是有限的，因此分水岭的复杂度也可近似于O(n)。高斯拟合依赖于最小30次迭代来提取描述2D高斯曲线的五个参数(x、y、σ、强度和偏移)。因此，这里的对比是基于计算操作的数量，而不是它们的计算复杂度。
表1：高斯和基于小波的颗粒定位
计算时间
执行有效率的成像试验的一个要素是在采集过程中或紧接采集之后做出可能改变试验方案的决定的能力。这在活细胞试验中尤其有用，其中为了保持样本的生物学状态，在显微镜下的试验的有效时间会被限制。因此，较长的后处理时间(即，实际试验后)可严重地限制超分辨率成像试验(其包含数十万单颗粒数据点的定量分析)的设计和可能的应用。
图5A-图5C示出了在广范围的SNR和颗粒密度值上的一系列的100幅图像的计算时间的对比。这些对比是在戴尔Precision T7500电脑上执行的，该电脑的时钟频率为2.26GHz，RAM为48GB，具有两个四核英特尔Xeon处理器E5520，尽管在计算期间只使用了一个核心。总的来说，小波技术的计算速度比MTT快大于10倍。
图5A和5B示出了小波分割与MTT方法之间的计算时间的对比。对具有模拟单颗粒的一系列的100幅图像位置进行检测和确定所需要的总时间被表示为针对不同SNR的微粒密度的函数(图5A)，以及被表示位针对多个微粒密度的SNR的函数(图5B)。但是，对于小波分割和MTT而言，作为SNR的函数的计算时间都在近似的SNR值上饱和，小波分析的情况下的饱和点要快大约二十倍(注意对数标度)。另一方面，图5A示出了作为颗粒密度的函数的计算时间的线性增长。尽管如此，精确的试验记录通常会将颗粒密度限制为较低的密度水平，从而避免重叠PSF。
图5C示出了在与上面使用的相同的模拟数据组上对具有一系列的4000幅图像进行小波方法与QuickPALM的对比，其中每个图像帧的颗粒密度的变化范围是0.1至0.75颗粒/μm2，将1至4个CPU用于QuickPALM算法。QuickPALM使用多线程方法，其中涉及将程序划分为许多可以并行处理的任务，将其执行情况与所使用的处理器的数量连接。对于QuickPALM，使用二至四个CPU进行计算。图5C示出，对于高密度(>150颗粒)，小波分割比QuickPALM更有效率，即使QuickPALM使用四个处理器。对于低密度(<150颗粒)，小波分割与QuickPALM呈现出相似的性能，取决于所使用的处理器的数量而变化。与QuickPALM不同，小波分割只使用一个处理器，即使该处理器具有多处理器架构。尽管如此，由于在小波分割中不同图像的处理是完全独立的，因此在多处理器架构上的实施方式是可行的。
图5D为针对不同的颗粒定位技术，二维实时检测(左)和三维后处理拟合(右)的处理时间vs.颗粒数量的绘图。在CPU处理器和混合式CPU/GPU处理器(“波形追踪器”)上实施的基于小波的2D定位比高斯分解快若干个数量级。实际上，它们适合用于帧速率为大约每秒100帧(或更低)、每平方微米100个颗粒的颗粒密度的实时图像再现。基于小波的3D定位比3D高斯拟合快许多个数量级，并且甚至可以在几分钟或更少时间内(接近实时)处理1，000，000个颗粒或更多颗粒。
定位精度
再现的图像的分辨率取决于确定每个单独荧光团的位置时的精度。因此，对于任何定位技术的总体性能来说，期望的是，不要因为计算速度而妥协定位精度。一种表征每个颗粒的定位的误差的方法是通过测量模拟数据的坐标与分析数据中的最接近的坐标之间的欧几里得距离。这样，可将定位精度定义为针对每个数据组的所有检测计算出的定位误差的平均值。
图6示出了两种算法检索作为SNR的函数的荧光团的位置中的性能。定位精度被计算为针对于每个数据组的所有检测计算出的定位误差的平均值，并且被示出为针对多个微粒密度的SNR的函数。如所预期的，针对大量检测到的光子，定位精度与SNR成反比，并且在低SNR处受到背景噪声的支配。对于本研究中使用的全部范围的SNR和颗粒密度，使用两种算法在确定单颗粒位置时的精度是相似的。针对具有变化的颗粒密度和SNR的不同组的模拟数据，使用小波方法算法获得的结果汇总在表2中(下面)。
假阳性和假阴性比率
另一个考虑的参数是颗粒检测的可靠性，或者在噪声图像中检测单独PSF的能力。例如，如果呈现在模拟数据中的颗粒在100nm半径内在分析数据组中没有相匹配的检测，则可将它视为假阴性检测。类似地，假阳性检测可定义为在分析数据组中识别的颗粒未呈现在100nm的半径内的模拟数据组中。
图7和图8分别示出了假阳性比率和假阴性比率，作为在不同微粒密度上针对小波方法和MTT的SNR的函数。这些绘图示出，对于小波方法和MTT，假阳性和阴性检测的百分比是相似的，并且极其依赖于模拟数据的SNR，除了通过小波分析执行的假阳性比率以外，其在给定的微粒密度保持相当的恒定性。选择不同的最小强度阈值可改变假阳性和阴性检测的比率，而不会在计算速度和定位精度方面实质地妥协性能。同样，在颗粒检测和定位之前施加的降噪滤波器可改善检测误差。
测试图案模拟
图9A-9C示出了使用由交替的黑白条纹组成的测试图案的模拟，黑白条纹的宽度尺寸的变化范围从200nm低至6nm。该类型的图案在放射学中被广泛地使用以确定X射线成像系统的分辨率。其可用于可视化监控分割性能并根据再现图像计算调制传递函数(MTF)。针对测试图案的每个频率f将MTF(f)计算为C(f)/C(0)，其中C(f)是针对频率f的对比度，C(0)是针对低频率的对比度。
图9A示出了理想的模拟图案(顶部)和根据有限数量颗粒再现的模拟图案(底部)。图9B示出了针对多个SNR和颗粒密度的定位之后的再现图像。该模拟和分析是四个不同的单颗粒试验，其中黑条纹使用上面描述的规定在不同密度和SNR填充有单颗粒，密度和SNR的变化范围从0.5颗粒/μm2和SNR＝7.1至1颗粒/μm2和SNR＝3.1(图9A和图9B)。
图9C示出了针对图9A和图9B中的模拟的对比度函数(左)和MTF(f)(右)。随后，将图像分辨率估算为截止频率(fc)的倒数，当MTF(fc)＝0时获得。该表示法证实的事实是，从理想基准(例如，密度为0.5颗粒/μm2，SNR为6.6，分辨率大约是25nm)降低SNR和增加颗粒密度降低了超分辨率图像的分辨率。这可通过在密度为1颗粒/μm2并且SNR为3的情况下，针对50nm甚至100nm的线条的对比度损耗示出。除了其视觉方面以外，该描述还对其他模拟进行了补充，并且不需要知道源点的坐标，这使其更适于性能测试。其还使得能够将检测到的颗粒的密度对分辨率的影响(这会影响单颗粒超分辨率显微术)量化。即使没有在此文中对该方面量化，但是很显然的是，有限数量的颗粒影响了模拟图像的MTF。
最后，表2示出了在第一个点上的线性插值和MTF的截止频率计算的结果，其中MTF(f)>15％(低于该阈值的对比度是噪声)。图2中的结果与模拟中计算出的分辨率相符。在不同SNR和微粒密度下的利用模拟数据的分析示出，与经典的高斯拟合分析相比，小波方法未将定位精度或检测颗粒的数量妥协，并且计算速度增长多达20倍。
表2：利用基于小波的定位的定位精度
SNR(线性单位)
基于小波的2D定位与高斯拟合的试验对比
在倒置荧光显微镜上执行超分辨率成像。利用405nm激光执行光激活并利用561nm执行激发，它们校准到显微镜中并聚焦到高NA(1.49)的100X物镜的后平面上，从而照亮宽场结构中的样本。光子密度为3×10-2kW/cm2(405nm)和4k W/cm2(561nm)。以561nm的分色镜分离单颗粒信号并使用以617nm为中心和70nm的谱宽的滤光片进行过滤。用1.5X的透镜对信号进行放大并聚焦到具有16μm的像素尺寸的EMCCD上，因此，图像平面上的像素尺寸为107nm。使用水银灯照明(在485nm激发，525纳米放射)获得荧光团的预转换形式的低分辨率图像。
图10A-10C示出了利用基于小波的定位和高斯拟合处理而试验性地获取的表示为ABP-tdEosFP并利用4％的多聚甲醛固化的大鼠海马神经元的肌动蛋白的图像。图10A示出了预转换形式的荧光团的受衍射限制的初始照片(左)。随后，将单tdEosFP荧光团的稀疏子集图片转换和成像，直到光致褪色，记录长期采集的50，000个50ms的帧(大约42分钟的记录)。使用基于小波的定位和高斯拟合将这些帧处理，从而生成图10A的中间和右边的超分辨率再现图像。利用小波分割算法的处理消耗7.7分钟并识别出1，058，886个单颗粒结果，而高斯方法消耗116分钟并检测到1，092，266个结果。再现的超分辨率图像具有相同的分辨率并且未观察到图像的退化。
图10B示出了针对低分辨率图像和通过小波分割和MTT执行的超分辨率再现图像，从树突轴(图10A中的白线)一端到另一端的强度分布区间。这些超分辨率图像是通过将检测到的单颗粒的位置坐标进行叠加来绘制，利用单一强度值的2D高斯曲线表示，具有由检测到的颗粒的平均定位精度确定的标准偏差。
图10C的顶部画面示出了包含单个树突棘的较小区域(图10A(左)中的框体)中的检测到的荧光团的SNR。该较小区域大约为2.65μm×2.65μm并包含单个的树突棘，其中利用小波分割检测到45，878个单颗粒结果。所检测到的颗粒被预转换的荧光团的受衍射限制图像覆盖。图10C的下部画面示出了具有9.6nm的像素尺寸的超分辨率再现图像，其中每个单颗粒由单一强度的一个像素表示。
图10D为在该区域中检测到的单个荧光团强度的SNR数值的柱状图，其中平均SNR为5.3，这些SNR平均值考虑到最亮的10％、25％、50％、75％、100％的检测。更具体地说，图10D示出了考虑到所有检测到的颗粒的最亮的10％、25％、50％、75％、100％的分布的平均SNR，与4588、11469、22939、34405、45878个检测相对应，SNR的平均值分别为10.8、8.7、7.1、6.1、5.5。
基于单颗粒技术的超分辨率光学显微术可取决于采集参数和图像分析以及其他因素。一般地说，超分辨率显微术对通过实验数据获得的图像分辨率缺乏实际的定量了解。在一些情况下，空间分辨率或者是通过它们自身的数据定量，或者是使用理论的框架体系确定。在基于单颗粒定位的技术中(例如，PALM、STORM以及GSD)，最终的再现图像的分辨率取决于每个单独颗粒的SNR(其可与每个颗粒检测到的光子数成比例)和总颗粒密度。再现图像的分辨率可被视为单颗粒位置的不确定分布的FWHM，这是指向精度的2.4倍。但是，超分辨率图像的有意义的表示可需要最小采样，其可转化为检测到的颗粒的最小密度。尼奎斯特-香农信息采样定理指出，如果以2f的频率进行采样，则可在其整体中再现带宽f的信号。在基于单颗粒的超分辨率图像的领域中，该定理的概括通常被用于检测到的颗粒像分辨率和密度方面：检测到的颗粒的采样至少应当是图像分辨率的两倍密度。
在生物学试验数据的情况下，所有检测到的颗粒的SNR具有大规模分布，针对树突棘的PALM表示的图10D中示出的。给定这种广泛分布和高密度的单颗粒检测，改善PALM再现的分辨率的一种方法是，只考虑具有最高SNR的点，并拒绝导致分辨率损失的具有低指向精度的点。该后验过滤可改善最终的图像分辨率，但是会降低颗粒的密度，这也是另一个对于分辨率的限制因素。在实践中，为了达到一定的图像分辨率，不依赖于每个单独颗粒的定位精度，这种方法会利用颗粒的最小密度。在图10C中的单个突棘的情况下，检测到的肌动蛋白颗粒以1μm2的面积分布。
因此，根据采样定理的这个概括，最亮的10％检测对应的分辨率是29.5nm，最亮的25％的颗粒对应的分辨率是18.7nm，50％检测对应13.2nm，75％检测对应10.8nm，100％检测对应9.3nm。该分辨率限制是由检测颗粒的密度给出的，而不是由检测的SNR给出的。因此，对于低密度，检测到的颗粒的数量可定义最高图像分辨率，而超过该条件，检测的SNR会成为限制因素。当构造超分辨率图像时，微粒密度和后验过滤是需要考虑的两个因素。
基于小波的3D颗粒定位
图11A和图11B是利用Alexa647荧光团标记的微管蛋白的受衍射限制的图像。图11C包括一系列的受衍射限制的图像，它们示出了单微粒的不同方位。图11D和图11E分别是图11A和图11B所示的场景下实时构造的dSTORM超分辨率强度图像。图11F和图11G分别示出了图11D和图11E中所示的微粒的3D图。这些3D图是在构造图11D和11E中所示的2D超分辨率图像之后生成的。
图11H是用于提取单个微粒的3D位置的显微镜的标定函数(PSF)的绘图。X轴表示从标称聚焦平面测得的z距离，y轴表示对检测到的图像的高斯拟合的全宽、半高度(σ)。插入图像示出了PSF在距离聚焦平面不同距离时的外观。在距离标称聚焦平面的负距离处，PSF显现为大体椭圆形，其长轴与图中的x轴平行对齐。PSF的离心率降低到接近聚焦平面，随后随着到标称聚焦平面的正距离增长，并且其长轴与图中的x轴垂直对齐。
图11中的超分辨率图像是使用上述的小波分割和高斯拟合以实时(2D)或接近实时(3D)的方式获得的。最右边的图像示出了在具有15nm的横向(x，y)分辨率和40nm的轴向(z)分辨率的不同平面的微管组织。可在每秒100帧的流采集中以实时方式观察2D超分辨率图像，而采集后的数秒至数分钟内获得一百二十万个颗粒的3D重现。通过在采集过程中调节405nm的激光功率，整个采集过程中图像颗粒密度保持恒定。
免疫细胞化学
使用4％的多聚甲醛和蔗糖将覆盖在18mm盖玻片上的COS7细胞固化使用PBS清洗，随后用包含1％BSA的PBS清洗。在进行透化之前，利用50mM的NH4cl将清洗后的细胞培养五分钟。使用0.1％的Triton使它们通透并使用包含1％BSA的PBS培养30分钟。随后，利用抗鼠β微蛋白抗体(mouse-Anti-beta-tubulin antibody)(T4026，Clone2.1，Sigma)将它们培养三十分钟，之后以包含1％BSA的PBS清洗数次。随后通过Alexa647耦联的抗鼠免疫球蛋白II(anti-mouse IgG secondary)(A21245，Invitrogen)在室温下进行三十分钟的培养，便可展现出初级的抗体。
直接随机光学再现显微术
第二天,室温下在密封的腔室中(瑞典Life Imaging Services公司的Ludin腔室)对着色的盖玻片进行成像，该腔室安装在反用式电机化显微镜上(日本尼康Ti)，该显微镜装备有100X、1.45NA PL-APO物镜和完美的聚焦系统，允许以倾斜照明模式进行长期采集。成像是在细胞外溶液中进行的，其包含减量和氧气清除系统。对于dSTORM，Alexa647的总体荧光首先被使用30-50 kW/cm2强度的650nm激光转化为暗态。一旦总体荧光被转化为期望的每帧单颗粒密度，将激光功率降低到7-15 kW/cm2并以50fps的速度连续地进行20，000帧的成像。通过使用405nm激光器(Omicron，德国)对每帧的单颗粒数量进行控制。调整激光功率以保持特定数量的随机活性颗粒，这些颗粒在采集过程中被很好地分离。
总体或单颗粒荧光都是利用分色镜和滤光片(分别是美国Chroma的D101-R561和F39-617)以及四频带分色镜(美国Semrock的Di01-R405/488/561/635)。使用灵敏的EM CCD(美国，Photometric，Evolve)采集荧光。利用等于或小于256像素×256像素的相关区域的面积，通过Metamorph软件在流模式中以每秒50帧(20毫秒曝光时间)驱动采集序列。将多色荧光微珠(Tetraspeck,Invitrogen)用于记录长期采集并对横向漂移和色彩偏移进行校正。对利用与dSTORM单颗粒图像类似的SNR获得的100nm Tetraspeck珠使用质心确定测得14nm的空间分辨率。
结论
尽管本文描述和示出了若干本发明的实施例，但是本领域技术人员将容易地设想出多种其他的手段和/或结构来执行本文描述的功能和/或获得本文描述的结果和/或一个或多个优点，每个这种变形和/或修改都被视为在本文所描述的本发明的实施例的范围内。一般而言，本领域技术人员将会容易地认识到的是，本文描述的所有参数、尺寸、材料、配置是作为示例目的，并且实际的参数、尺寸、材料、和/或配置将会取决于使用本发明教导的一个或多个具体应用。本领域技术人员将认识到的是，或者仅使用常规试验便能够确定，对于本文描述的具体的发明的实施例的等同方案。因此，应当理解的是，通过示例方式示出前面的实施例，在所附权利要求及其等同方案的范围内，也可实践与所具体描述和要求的实施例不同的发明的实施例。本公开的发明的实施例针对本文描述的每个单独特征、系统、物品、材料、配件、和/或方法。此外，如果这些特征、系统、物品、材料、配件、和/或方法之间不存在相互的不相容性，则这些特征、系统、物品、材料、配件、和/或方法的两个或多个的任意组合都包括在本公开的发明的范围内。
上面描述的实施例可以任何多样的方式实施。例如，可使用硬件、软件、或者它们的组合来实施所描述的实施例。当以软件方式实施时，可在任何适合的处理器或处理器集合上执行软件代码，无论设置在单独一台电脑上还是分布在多台电脑上。
此外，应当认识到的是，计算机可以多种形式中的任一形式来具体化，如机架式计算机、台式计算机、膝上型计算机、或平板计算机。此外，计算机嵌入到通常不被视为计算机但是具有适合的处理能力的装置中，包括个人数字助理(PDA)、智能手机、或任何其他合适的便携式或固定式电子装置。
同样，计算机可具有一个或多个输入和输出装置。除了其他功能以外，这些装置还可用于呈现用户界面。可用于提供用户界面的输出的装置的示例包括用于输出的视觉显示的打印机和显示屏幕和用于输出的听觉呈现的扬声器或其他发声装置。可用于用户界面的输入的装置的示例包括键盘、定点装置(如鼠标、触摸板、数字面板之类)。作为另一示例，计算机可通过语音识别或以其他音频格式接收输入信息。
这类计算机可以任何适当的形式通过一个或多个网络互连，包括局域网、广域网(如企业网)、智能网(IN)或因特网。这些网络可基于任何适当的技术并可根据任何适当的协议操作，并可包括无线网、有线网或光纤网。
存储器可包括任何计算机可读介质，并可存储用于实施本文描述的各种功能的计算机指令(这里也称为“处理器可执行指令”)。一个或多个处理单元(例如，所述CPU和所述GPU)可用于执行这些指令。一个或多个通信接口可耦接到有线或无线网络、总线或其他通信装置并且可由此允许一个或多个处理器和/或一个或多个处理单元向其他装置传输通信和/或接收来自其他装置的通信。可设置一个或多个显示单元，例如，以允许用户查看与指令执行相关的各种信息。可设置一个或多个输入装置，例如，以允许用户进行人工调整、做出选择、输入数据或各种其他信息、和/或在处理器执行指令的过程中以多种方式中的任何一种与处理器交互。
可将本文概述各种方法和过程编码为可在采用各种操作系统或平台中的任何一种的一个或多个处理器上执行的软件。此外，可使用多种适合的编程语言和/或编程或脚本编写工具中的任何一种编写这种软件，并且可被编制为可执行的机器语言代码或在框架或虚拟机上执行的中间代码。
在这方面，可将各种发明构思具体化为编入了一个或多个程序的非暂时性计算机可读存储介质(或多个计算机可读存储媒介)(例如，计算机存储器、一个或多个软盘、光盘、磁带、闪存、现场可编程门阵列或其他半导体器件中的电路结构、或其他非暂时性介质或有形的计算机存储介质)，当在一个或多个计算机或其他处理器上执行这些程序时，会执行用于实施上面讨论的本发明的各个实施例的方法。计算机可读介质或媒体可以是可移动的，从而使得存储其上的一个或多个程序能够被安装到一个或多个不同的计算机或其他处理器上，从而实施如上面讨论的本发明的各个方面。
本文中使用的术语“程序”或“软件”在广泛意义上是指任何类型的计算机代码或计算机可执行指令，它们可用于对计算机或其他处理器编程从而实施如上讨论的实施例的各个方面。此外，应当认识到的是，根据一个方面，一个或多个计算机程序(当执行它们时会实施本发明的方法)不需要驻留在单个计算机或处理器上，而是在许多不同的计算机或处理器上以模块化方式分布，以实施本发明的各个方面。
计算机可执行指令可以是任何形式，如程序模块，通过一个或多个计算机或其他装置执行。通常，程序模块包括例行程序、程序、对象、组件、数据结构等，它们执行特定任务或实施特定的抽象数据类型。通常，可如各个实施例中所期望的将这些程序模块的功能组合或分配。
同样，数据结构可以任何适合的形式存储在计算机可读介质中。为了说明的简明性，可将数据结构示出为具有在数据结构中通过位置相关的字段。这种关系也可通过在计算机可读存储介质中为具有位置的字段分配表示字段之间的关系的存储来实现。但是，可使用任何适合的机制来建立数据结构的字段中的信息之间的关系，包括通过使用指针、标签或其他建立数据元之间的关系的机制。
同样，可将各个发明构思具体化为一个或多个方法，已提供其一个示例。作为方法的一部分的行动可以任何适合的方式排序。相应地，可构建其中行动以与所示出的顺序不同的顺序执行的多个实施例，这可包括同时执行一些行动，即使在说明性实施例中被示出为相继的行动。
本文所定义和使用的所有定义应当被理解为支配字典定义、通过引用并入的文献中的定义、和/或所定义的术语的通常意义。
本文使用了流程图。使用流程图并不是意味着所执行的操作的顺序受限制。这里描述的主题有时会示出包括在不同的其他组件中或与不同的其他组件连接的不同组件。需要理解的是，这种描述的架构仅仅是示例性的，并且实际上可实施实现相同功能的许多其他架构。在概念意义上，实现相同功能的组件的任意排列都是有效“关联的”，从而实现期望的功能。因此，为实现特定功能将这里任意两个组件组合可被视为彼此“相关联”，从而实现期望的功能，而与架构或中间组件无关。同样，任何两个这样关联的组件也可被看做彼此处于“可操作地连接”或“可操作地耦接”，从而达到期望的功能，并且任何两个能够进行这样关联的组件也可被看做彼此处于“可操作地可耦接”，从而实现期望的功能。可操作地可耦接的示例包括但不限于，物理可配接和/或物理性交互的组件、和/或无线可交互和/或无线交互的组件、和/或逻辑交互和/或逻辑可交互的组件。
对于本文大量使用的任何复数和/或单数术语，本领域技术人员可按照上下文和/或应用恰当地将复数转化为单数和/或将单数转化为复数。为了清楚起见，这里将清楚阐述对各种单数/复数的置换。
本领域技术人员将会理解的是，通常，本文使用的术语，特别是所附权利要求(例如，所附权利要求的主要部分)中的术语通常意在作为“开放性”术语(例如，术语“包括(including)”应当被解释为“包括但不限于”，术语“具有”应当被解释为“至少具有”，术语“包括(includes)”应当被解释为“包括但不限于”,等等)。本领域技术人员还将会理解的是，如果所引入的权利要求的详述的具体数量是有意的，则将会在权利要求中明确地引用这样的意图，当不存在这样的引用时，则不存在这样的意图。例如，为了帮助理解，下面所附的权利要求可包含前置短语“至少一个”和“一个或多个”的使用。
但是，这种短语的使用不应当被解释为意味着通过不定冠词“a”或“an”引入权利要求详述将限制包含该引入的权利要求的任何具体权利要求为包含仅一个该详述的发明，即使同一权利要求包括前置短语“一个或多个”或“至少一个”和不定冠词，如“一个(a)”或“一个(an)”(例如，“一个(a)”或“一个(an)”通常应当被解释为“至少一个”或“一个或多个”的意思)；这同样对用于引入权利要求详述的定冠词的使用有效。此外，即使引入的权利要求详述的具体数量被明确地引用，本领域技术人员将会认识到的是，这种详述通常应当被解释为表示至少所引用的数量(例如，明确引用“两个详述”，没有其他修饰语，通常指的是至少两个详述，或两个或多个详述)。
此外，在一些情况下，其中习惯使用类似于“A、B和C等中的至少一个”的表达，一般而言，这种句法结构就本领域内的技术人员而言将会理解该习惯表达(例如，“具有A、B和C中的至少一个的系统”将包括但不限于，只具有A的系统、只具有B的系统、只具有C的系统、具有A和B的系统、具有A和C的系统、具有B和C的系统、和/或具有A、B和C的系统，等等)。在一些情况下，其中习惯使用类似于“A、B和C等中的至少一个”的表达，一般而言，这种句法结构就本领域内的技术人员而言将会理解该习惯表达(例如，“A、B和C中的至少一个的系统”将包括但不限于，只具有A的系统、只具有B的系统、只具有C的系统、具有A和B的系统、具有A和C的系统、具有B和C的系统、和/或具有A、B和C的系统，等等)。本领域技术人员还应当理解的是，实际上任何呈现两个或多个选择术语的转折性词语和/或词组，无论是在说明书、权利要求、或附图中，都应当被理解为需要考虑到包括其中一个术语、任一术语、或者两个术语都包括的可能性。例如，短语“A或B”和“A和/或B”都应当被理解为包括“A”或“B”或“A和B”的可能性。
为了说明和描述的目的已呈现出说明性实施例的上述描述。该描述不是意在穷举或者限制为所披露的具体形式，根据以上教导的启示或者通过实践所披露的实施例可获得修改和变化。本发明的范围意在由这里所附的权利要求及它们的等同方案限定。

Claims (27)

1.一种用于估算一个或多个颗粒在三维(3D)空间中的位置的设备，该设备包括：
成像系统，其定义了光轴并且具有关于该光轴不对称的点分布函数(PSF)；
检测器，其与所述成像系统光学通信，该检测器被配置为检测3D空间中的平面的图像；
存储器，其可操作地耦接到所述检测器，该存储器被配置为存储图像的表示；和
处理器，其可操作地耦接到所述存储器，该处理器被配置为：
(a)对3D空间中的平面的图像执行小波分解以形成图像的小波图；
(b)将所述小波图分割为具有高于预定阈值的强度值的至少一个区域；
(c)估算所述至少一个区域的质心的位置，该质心的位置对应于颗粒在3D空间中的第一维和第二维上的位置；
(d)使用围绕小波图分割期间识别的所述至少一个区域的所述质心的数据针对所述至少一个区域确定PSF的拟合；以及
(e)使用小波图分割期间识别的数据根据拟合估算颗粒在3D空间中的第三维上的位置。
2.根据权利要求1所述的设备，其中所述颗粒包括生物细胞、微粒、荧光蛋白、有机荧光团、量子点、碳纳米管、金刚石、金属珠、电介质珠、用荧光团标记的颗粒中的至少一个。
3.根据权利要求1所述的设备，其中所述成像系统是散光成像系统。
4.根据权利要求1所述的设备，其中所述处理器包括被配置为执行(a)、(b)和(c)的图形处理单元(GPU)。
5.根据权利要求1所述的设备，其中(a)包括执行小波分解àtrous。
6.根据权利要求1所述的设备，其中(b)包括对至少部分所述小波图执行分水岭算法。
7.根据权利要求1所述的设备，其中(b)还包括：
(i)确定与所述小波图相关的背景噪声水平；
(ii)估算与所述背景噪声水平相关的标准偏差；
(iii)根据所述标准偏差选定预定阈值。
8.根据权利要求7所述的设备，其中(iii)包括将预定阈值选择为所述标准偏差的大约0.5倍至大约2倍。
9.根据权利要求1所述的设备，其中(c)包括将颗粒在第一维和第二维上的位置估算至大约1nm至大约5nm的精度。
10.根据权利要求1所述的设备，其中(e)包括将颗粒在第三维上的位置估算至大约10nm至大约50nm的精度。
11.根据权利要求1所述的设备，其中的处理器还被配置为在所述成像系统采集3D空间的另一幅图像的同时执行(a)、(b)和(c)。
12.根据权利要求1所述的设备，还包括：
光源，其激发通过一个或多个颗粒的荧光放射，并且
其中所述处理器还被配置为执行图像的分析并且基于图像的分析调整所述光源的强度和波长中的至少一个。
13.根据权利要求1所述的设备，其中所述处理器还被配置为执行图像的分析并且根据图像的分析调整所述成像系统的焦点、视野、帧尺寸、帧速率和积分时间中的至少一个。
14.一种用于估算一个或多个颗粒在三维(3D)空间中的位置的方法，该方法包括步骤：
(a)对3D空间中的平面的图像执行小波分解以形成该图像的小波图；
(b)将所述小波图分割为具有高于预定阈值的强度值的至少一个区域；
(c)估算该至少一个区域的质心的位置，所述质心的位置对应于颗粒在3D空间中的第一维和第二维上的位置；
(d)使用围绕小波图分割期间识别的所述至少一个区域的所述质心的数据针对该至少一个区域确定PSF的拟合；以及
(e)使用小波图分割期间识别的数据根据拟合估算颗粒在3D空间中的第三维上的位置。
15.根据权利要求14所述的方法，其中颗粒包括生物细胞、微粒、荧光蛋白、有机荧光团、量子点、碳纳米管、金刚石、金属珠、电介质珠和以荧光团标记的颗粒中的至少一个。
16.根据权利要求14所述的方法，其中(a)包括执行小波分解àtrous。
17.根据权利要求14所述的方法，其中(b)包括对至少部分所述小波图执行分水岭算法。
18.根据权利要求14所述的方法，其中(b)还包括：
(i)确定与所述小波图相关的背景噪声水平；
(ii)估算与该背景噪声水平相关的标准偏差；
(iii)基于该标准偏差选择预定阈值。
19.根据权利要求18所述的方法，其中(iii)包括将预定阈值选择为标准差的大约0.5倍至大约2倍。
20.根据权利要求14所述的方法，其中(c)包括将颗粒在第一维和第二维上的位置估算到大约1nm至大约5nm的精度。
21.根据权利要求14所述的方法，其中(e)包括将颗粒在第三维上的位置估算到大约10nm至大约50nm的精度。
22.根据权利要求14所述的方法，其中关于3D空间的第三维，所述PSF是不对称的，并且在(a)前所述方法还包括：
利用由所述PSF表征的成像系统采集图像。
23.根据权利要求22所述的方法，其中所述成像系统包括散光成像系统。
24.根据权利要求14所述的方法，还包括：
采集3D空间的多幅图像，其中该多幅图像中的每幅图像对应于3D空间的不同平面；以及
针对该多幅图像中的每幅图像执行步骤(a)、(b)和(c)。
25.根据权利要求14所述的方法，还包括：
在执行步骤(a)、(b)和(c)中的至少一个的同时，采集3D空间中的另一个平面的另一幅图像。
26.根据权利要求14所述的方法，还包括：
执行图像的分析；以及
基于图像的分析调整成像系统的焦点、视野、帧尺寸、帧速率和积分时间中的至少一个。
27.根据权利要求14所述的方法，其中图像表示一个或多个颗粒的荧光放射，并且所述方法还包括：
执行图像的分析；以及
基于图像的分析对用于激发荧光放射的光源的强度和波长中的至少一个进行调整。
CN201380023395.0A 2012-05-02 2013-01-16 使用小波分析进行单颗粒定位的方法和装置 Active CN104285175B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12166450.2 2012-05-02
EP12166450.2A EP2660639B1 (en) 2012-05-02 2012-05-02 Method and apparatus for single-particle localization using wavelet analysis
PCT/EP2013/050706 WO2013164103A1 (en) 2012-05-02 2013-01-16 Method and apparatus for single-particle localization using wavelet analysis

Publications (2)

Publication Number Publication Date
CN104285175A CN104285175A (zh) 2015-01-14
CN104285175B true CN104285175B (zh) 2017-07-21

Family

ID=47561625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380023395.0A Active CN104285175B (zh) 2012-05-02 2013-01-16 使用小波分析进行单颗粒定位的方法和装置

Country Status (7)

Country Link
US (2) US9117273B2 (zh)
EP (2) EP2660639B1 (zh)
JP (1) JP6235563B2 (zh)
CN (1) CN104285175B (zh)
AU (1) AU2013200219B2 (zh)
CA (1) CA2802420C (zh)
WO (1) WO2013164103A1 (zh)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006116362A2 (en) 2005-04-25 2006-11-02 The Trustees Of Boston University Structured substrates for optical surface profiling
US9291562B2 (en) * 2011-11-15 2016-03-22 Max-Planck-Gesellschaft Zur Foerderung Der Wissenschaften E.V. Method and apparatus for tracking a particle, particularly a single molecule, in a sample
WO2014144820A1 (en) 2013-03-15 2014-09-18 The Regents Of The University Of Colorado 3-d localization and imaging of dense arrays of particles
US10908073B2 (en) 2014-08-28 2021-02-02 Single Technologies Ab High throughput biochemical screening
GB2535473A (en) * 2015-02-16 2016-08-24 Univ Bar Ilan Cell analysis using dynamic biophysical methods
EP3620838A1 (en) * 2015-06-02 2020-03-11 Life Technologies Corporation Systems and methods for calibrating a structured illumination imaging system and for capturing a structured illumination image
US10031328B2 (en) * 2015-07-24 2018-07-24 General Electric Company Systems and methods for image processing in optical microscopes
CN114217058A (zh) 2015-09-22 2022-03-22 波士顿大学董事会 纳米囊泡的多重表型分析
DE102015219121A1 (de) * 2015-10-02 2017-04-06 Carl Zeiss Microscopy Gmbh Mikroskopsteuerungsverfahren und Mikroskop
EP3385769A4 (en) 2015-11-27 2019-10-30 Nikon Corporation MICROSCOPE DEVICE
DE102016000873A1 (de) * 2016-01-27 2017-07-27 Diehl Defence Gmbh & Co. Kg Verfahren zum Erkennen eines Objekts in einem Suchbild
AU2017214541B2 (en) 2016-02-05 2024-03-21 NanoView Biosciences, Inc. Detection of exosomes having surface markers
CN105699276B (zh) * 2016-03-07 2018-09-25 广东工业大学 一种超分辨成像装置及方法
CN106023121B (zh) * 2016-04-29 2018-08-31 中国科学院生物物理研究所 一种贝叶斯显微成像方法
BR112018073691A2 (pt) 2016-05-19 2019-02-26 Koninklijke Philips N.V. sensor de partículas, purificador de ar, uma caixa de sensor ou um dispositivo para ser usado junto ao corpo, e método para determinar uma densidade de partícula de um fluxo de partículas com um vetor de velocidade desconhecido do fluxo de partículas
US10768406B2 (en) 2016-06-20 2020-09-08 Scanogen Inc. Imaging system
CN106373116B (zh) * 2016-08-24 2019-04-12 中国科学院自动化研究所 基于双光子图像的突触检测方法
CN106897969B (zh) * 2017-02-20 2019-08-30 华中科技大学 一种用于超分辨定位显微成像的数据处理装置及方法
CN107153632B (zh) * 2017-05-10 2021-04-20 广西师范大学 一种量子Haar小波变换实现量子线路设计的方法
US11265449B2 (en) 2017-06-20 2022-03-01 Academia Sinica Microscope-based system and method for image-guided microscopic illumination
JP7228917B2 (ja) * 2018-01-02 2023-02-27 キングス カレッジ ロンドン 局在化顕微鏡法のための方法及びシステム
CN107991769B (zh) * 2018-01-12 2020-07-10 凝辉(天津)科技有限责任公司 二维扫描器件
EP3514600A1 (en) * 2018-01-19 2019-07-24 Leica Instruments (Singapore) Pte. Ltd. Method for fluorescence intensity normalization
DE102018103714A1 (de) * 2018-02-20 2019-08-22 Volume Graphics Gmbh Verfahren zur Bestimmung von Fehlern von aus digitalen Objektdarstellungen abgeleiteten Parametern
WO2019209723A1 (en) * 2018-04-26 2019-10-31 Becton, Dickinson And Company Characterization and sorting for particle analyzers
JP7306810B2 (ja) * 2018-09-28 2023-07-11 シスメックス株式会社 顕微鏡システムの制御方法、顕微鏡システム、プログラム、記録媒体
CN109409281A (zh) * 2018-10-22 2019-03-01 河南科技大学 一种基于改进的小波阈值函数的降噪方法
DE102018220779A1 (de) * 2018-12-03 2020-06-04 Carl Zeiss Microscopy Gmbh Nachweisverfahren von induzierten Lichtsignalen in einer dreidimensionalen Region einer Probe
CN109727672B (zh) * 2018-12-28 2023-04-07 江苏瑞尔医疗科技有限公司 患者胸腹部肿瘤呼吸运动预测跟踪方法
US11523046B2 (en) * 2019-06-03 2022-12-06 Molecular Devices, Llc System and method to correct for variation of in-focus plane across a field of view of a microscope objective
CN110161008B (zh) * 2019-06-04 2021-10-29 山东理工大学 共光轴度和放大倍数可自校准的荧光颗粒示踪方法与装置
US11389066B2 (en) 2019-06-20 2022-07-19 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11471055B2 (en) 2019-06-20 2022-10-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11540696B2 (en) 2019-06-20 2023-01-03 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US12013496B2 (en) * 2019-06-20 2024-06-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed laser mapping imaging system
US11925328B2 (en) 2019-06-20 2024-03-12 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral imaging system
US11898909B2 (en) 2019-06-20 2024-02-13 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11300515B2 (en) * 2019-07-30 2022-04-12 Washington University Methods for quantifying and enhancing accuracy in microscopy using measures of localization confidence
US11585755B2 (en) * 2020-01-16 2023-02-21 The Texas A&M University System System for measuring anomalous diffusion using fluorescence recovery after photobleaching and associated method
CN113686546B (zh) * 2020-05-19 2022-07-12 复旦大学 一种离轴成像系统点扩散函数的测量方法和建模方法
CN111696067B (zh) * 2020-06-16 2023-04-07 桂林电子科技大学 一种基于图像融合系统的宝石图像融合方法
US11740180B2 (en) * 2020-09-28 2023-08-29 Purdue Research Foundation Method of measuring diffusion in a medium
CN112232267A (zh) * 2020-10-29 2021-01-15 国网河北省电力有限公司 一种滞留人员检测方法及系统
CN112730352A (zh) * 2020-12-08 2021-04-30 北京林业大学 实时观察植物细胞核蛋白的结构、面积和空间分布的方法
TWI830680B (zh) * 2021-05-07 2024-01-21 由田新技股份有限公司 螢光檢測方法
CN115308129A (zh) * 2022-07-01 2022-11-08 江苏诺鬲生物科技有限公司 一种自动确定荧光暗场相机聚焦位置的方法和装置
KR102530482B1 (ko) * 2022-11-17 2023-05-09 (주)서용엔지니어링 정수처리시설 내 미세 유충 감지 장치
CN117092206A (zh) * 2023-08-09 2023-11-21 国网四川省电力公司电力科学研究院 电缆铅封区域的缺陷检测方法、计算机设备及存储介质
CN117422735B (zh) * 2023-12-13 2024-03-26 南方科技大学 粒子测速方法、粒子测速装置、电子设备及存储介质
CN117788396B (zh) * 2023-12-18 2024-08-30 江苏省特种设备安全监督检验研究院 一种基于深度学习的dr图像缺陷智能识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101218483A (zh) * 2005-07-06 2008-07-09 独立行政法人科学技术振兴机构 三维位置观测方法和装置
CN101918816A (zh) * 2007-12-21 2010-12-15 哈佛大学 三维中的亚衍射极限图像分辨率

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5736410A (en) * 1992-09-14 1998-04-07 Sri International Up-converting reporters for biological and other assays using laser excitation techniques
JP3127111B2 (ja) * 1996-02-22 2001-01-22 株式会社日立製作所 フロー式粒子画像解析方法および装置
JP2001509612A (ja) * 1997-07-10 2001-07-24 ルプレヒト−カールス−ウニヴェルジテート ハイデルベルク ウェーブフィールド顕微鏡、ウェーブフィールド顕微鏡法、ｄｎａ順序決定のためのウェーブフィールド顕微鏡法、およびウェーブフィールド顕微鏡に対する較正方法
US8334514B2 (en) * 2004-05-20 2012-12-18 Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The University Of Nevada, Reno Method, system, and computer program product for localizing photons and a light source emitting the photons
US8031926B2 (en) * 2004-05-20 2011-10-04 Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The University Of Nevada, Reno Discrete event distribution sampling apparatus and methods
US20080204716A1 (en) * 2005-03-07 2008-08-28 Michael Trainer Methods and apparatus for determining characteristics of particles
EP2453239B1 (en) * 2005-05-23 2017-04-26 Harald F. Hess Optical microscopy with transformable optical labels
US7705970B2 (en) * 2006-06-05 2010-04-27 The Regents Of The University Of Colorado Method and system for optical imaging and ranging
US7776613B2 (en) * 2006-08-07 2010-08-17 President And Fellows Of Harvard College Sub-diffraction image resolution and other imaging techniques
US8369642B2 (en) * 2006-11-21 2013-02-05 Stmicroelectronics (Research & Development) Ltd Artifact removal from phase encoded images
JP4845698B2 (ja) 2006-12-06 2011-12-28 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
WO2009115108A1 (en) * 2008-03-19 2009-09-24 Ruprecht-Karls-Universität Heidelberg A method and an apparatus for localization of single dye molecules in the fluorescent microscopy
JP5554776B2 (ja) * 2008-05-30 2014-07-23 ジーイー・ヘルスケア・バイオサイエンス・コーポレイション １以上のデフォーカス画像又は低コントラスト対雑音比画像を検出し除去するシステム及び方法
CA2943966C (en) * 2010-08-27 2019-02-19 The Board Of Trustees Of The Leland Stanford Junior University Microscopy imaging device with advanced imaging properties
JP2013539074A (ja) * 2010-09-24 2013-10-17 カール・ツァイス・マイクロスコピー・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング ３ｄ局在顕微鏡法並びに４ｄ局在顕微鏡法及び追跡方法並びに追跡システム
US8624986B2 (en) * 2011-03-31 2014-01-07 Sony Corporation Motion robust depth estimation using convolution and wavelet transforms

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101218483A (zh) * 2005-07-06 2008-07-09 独立行政法人科学技术振兴机构 三维位置观测方法和装置
CN101918816A (zh) * 2007-12-21 2010-12-15 哈佛大学 三维中的亚衍射极限图像分辨率

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Live, Video-Rate Super-Resolution Microscopy Using Structured Illumination and Rapid GPU-Based Parallel Processing;Jonathan Lefman, et al;《Microscopy and Microanalysis》;20111231(第17期);全文 *
PSF shaping using adaptive optics for three-dimensional single-molecule super-resolution imaging and tracking;I. Izeddin,et al;《Optics Express》;20120227;第20卷(第5期);第4957-4967页 *
Wavelet analysis for single molecule localization microscopy;I. Izeddin, et al;《Optics Express》;20120130;第20卷(第3期);第2081-2095页 *
小波尺度参数对粒子场数字全息重建图像的影响;吴学成等;《光子学报》;20091130;第38卷(第11期);全文 *

Also Published As

Publication number Publication date
US20130294645A1 (en) 2013-11-07
EP2966492A1 (en) 2016-01-13
CA2802420A1 (en) 2013-11-02
US20160086027A1 (en) 2016-03-24
EP2966492B1 (en) 2020-10-21
JP2015516063A (ja) 2015-06-04
WO2013164103A1 (en) 2013-11-07
JP6235563B2 (ja) 2017-11-22
US9117273B2 (en) 2015-08-25
AU2013200219B2 (en) 2016-07-21
CA2802420C (en) 2020-08-04
AU2013200219A1 (en) 2013-11-21
CN104285175A (zh) 2015-01-14
US10115013B2 (en) 2018-10-30
EP2660639A1 (en) 2013-11-06
EP2660639B1 (en) 2016-04-13

Similar Documents

Publication Publication Date Title
CN104285175B (zh) 使用小波分析进行单颗粒定位的方法和装置
US12029594B2 (en) Systems and methods for enhanced imaging and analysis
Izeddin et al. Wavelet analysis for single molecule localization microscopy
AU2007352394B2 (en) Quantitative, multispectral image analysis of tissue specimens stained with quantum dots
Li et al. DLBI: deep learning guided Bayesian inference for structure reconstruction of super-resolution fluorescence microscopy
Dyomin et al. Data acquisition from digital holograms of particles
CN116612472B (zh) 基于图像的单分子免疫阵列分析仪及其方法
CN111149110A (zh) 基于单一分布和深度学习的超分辨率计量方法
Fazel et al. Analysis of super-resolution single molecule localization microscopy data: A tutorial
Vogel et al. Utilizing 2D-region-based CNNs for automatic dendritic spine detection in 3D live cell imaging
Drobczynski et al. Spectral analysis by a video camera in a holographic optical tweezers setup
Delikoyun et al. Lensless holographic microscopy
Pankajakshan et al. Deconvolution and denoising for confocal microscopy
Galindo 3D deep-learning based quantification of the nuclei distribution for light-sheet microscopy
Antarasen et al. Cross-correlation increases sampling in diffusion-based super-resolution optical fluctuation imaging
Gil et al. Comparing the segmentation of quantitative phase images of neurons using convolutional neural networks trained on simulated and augmented imagery
Yellin et al. Joint holographic detection and reconstruction
Li et al. Hardware-software co-design of an open-source automatic multimodal whole slide histopathology imaging system
Suthar Physics-inspired Computational Imaging for Machine Vision, Drug Development and Cancer Immunotherapy
Cayuela López Desarrollo y Aplicación de Métodos de Análisis de BioImágenes para Microscopía Óptica Avanzada
Raju et al. Two Photon Fluorescence Integrated Machine Learning for Data Analysis and Interpretation
Chaghdo Case Cultural Heritage: color pigment detection in three different spectralranges
Karnati et al. Deep Learning Integrated Multiphoton Microscopy
Reinhard Improving Super-Resolution Microscopy Data Reconstruction and Evaluation by Developing Advanced Processing Algorithms and Artifcial Neuronal Networks
KUMARI Advanced Imaging Integration: Multi-Modal Raman Light Sheet Microscopy Combined with Zero-Shot Learning for Denoising and Super-Resolution

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160322

Address after: France

Applicant after: Centre National De La Recherche Scientifique

Applicant after: University of Bordeaux

Address before: France

Applicant before: Centre National De La Recherche Scientifique

GR01 Patent grant