CN111723642A - 定位显微术中定位信号源的方法 - Google Patents
定位显微术中定位信号源的方法 Download PDFInfo
- Publication number
- CN111723642A CN111723642A CN202010210190.5A CN202010210190A CN111723642A CN 111723642 A CN111723642 A CN 111723642A CN 202010210190 A CN202010210190 A CN 202010210190A CN 111723642 A CN111723642 A CN 111723642A
- Authority
- CN
- China
- Prior art keywords
- pixel
- pixels
- data record
- origin
- pixel values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000000386 microscopy Methods 0.000 title claims abstract description 23
- 230000004807 localization Effects 0.000 claims abstract description 41
- 238000005286 illumination Methods 0.000 claims description 15
- 230000005855 radiation Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 8
- 238000009795 derivation Methods 0.000 claims description 5
- 238000002360 preparation method Methods 0.000 claims 2
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 18
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000005315 distribution function Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 102000034287 fluorescent proteins Human genes 0.000 description 1
- 108091006047 fluorescent proteins Proteins 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N2021/6417—Spectrofluorimetric devices
- G01N2021/6419—Excitation at two or more wavelengths
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N2021/6417—Spectrofluorimetric devices
- G01N2021/6421—Measuring at two or more wavelengths
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6408—Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Image Processing (AREA)
Abstract
本发明涉及定位信号源(3.1、3.2)的定位显微术方法。在此,至少一次对于检测器(2)的各个像素(1),误差参数的值被确定并且以分配到相关像素(2)的方式储存在校准数据记录中。捕获的图像数据用于标识信号源(3.1、3.2)的起源区域(4),并将点扩展函数拟合到相应的起源区域(4)的像素值。基于点扩展函数定位相应的信号源(3.1、3.2)。可以将各个像素(1)的像素特定的误差参数与阈值进行比较。如果超过阈值,则当拟合点扩展函数时忽略这些像素(1)或是通过插值替换这些像素(1)。附加地或替代地,基于求导的像素特定的误差参数来确定和校正像素(1)的真实噪声性能。
Description
技术领域
本发明涉及根据一种定位信号源的定位显微术方法。
背景技术
从现有技术中已知各种定位显微术方法。突出的示例是根据简称PALM”(光激活的定位显微术;例如WO 2006/127692 A2)或“STORM”(随机光学重构显微术;US 2008/0032414A1)所指代的方法来定位单独信号源,特别是单独发射体的方法。作为示例,定位显微术的概述记载在Klein等人2014年的(Klein,T.等人于2014年在《组织化学和细胞生物学》第141卷:第561-575页的《单分子定位显微术的八年(Eight years of single moleculelocalization microscopy)》),以及Babcock等人2012年的(Babcock,H.等人于2012年在《光学纳米显微术》第1卷:第6页的《随机光学重构显微术的高密度3D定位算法(Ahigh-density 3D localization algorithm for stochastical optical reconstructionmicroscopy)》)的文章中。
已知的定位显微术方法的共同点是,它们从用作检测器或相机的像素型2D面传感器中获取定位信号源(发射体、发射分子)的信息。需要非常灵敏的检测器,因为各个定位步骤只有几百个到几千个光子可用来定位单独信号源,例如单独发射分子。
作为示例,这样的灵敏的检测器例如是EMCCD(电子倍增电荷耦合器件)传感器。然而,作为EMCCD传感器基础的CCD架构因具有串行读取和增益过程而导致像素数目有限和/或读取速度受限。
作为替代例,近年来,已经建立了所谓的科学CMOS”或sCMOS(CMOS=互补金属氧化物传感器)传感器。它们统一了“有源像素传感器”架构,可能因为CMOS技术具有非常低的读出噪声和高量子效率。
sCMOS传感器相对于常规的EMCCD相机的优点包括:帧率高、像素数目多和像素较小。此外,因为在sCMOS传感器中没有电子倍增,因此没有所谓的多余噪声。最终,这导致有效量子效率更高。因此,sCMOS传感器同样地适合在定位显微术中使用。
在此,对于作为辐射源的单独发射体的定位准确度而言,单独像素的信号行为中可能的不均匀性是不利的。虽然这样的信号不均匀性会在正常成像中导致受干扰的图像印象作为最坏情况,但是在定位显微术的定位步骤期间,这些信号不均匀性可能会导致指向错误的定位。特别地,这样的不均匀性可能是由于已经提到的“有源像素传感器”架构。
专利US 9,769,399 B2和Huang等人于2013年的技术论文(Huang,F等人于2013年在《自然方法》第10卷:第653-658页的《使用sCMOS相机特定的单分子定位算法的视频率纳米显微术(Video-rate nanoscopy using sCMOS camera-specific single moleculelocalization algorithms)》)描述了使用参数化模型来建模噪声性能。
在此,与像素有关的噪声被建模为高斯分布。作为示例,建模的参数是每像素的高斯分布的平均值(偏移)、分布的方差和/或增益。
作为示例,偏移可以借助于捕获多个暗图像来确定。尽管缺少检测辐射(暗噪声;错误信号),但是这些暗图像仍可用于确定由像素生成的信号。作为示例,可以由该数据形成平均值,并且可以将该平均值用作误差参数。
该增益可以借助于用不同的已知光子数或照明水平捕获和评估多个图像来确定。从所捕获的图像数据出发,可以确定各个像素的像素值的分布函数,其中例如利用光子诱导的方差(“散粒噪声”)与高斯方差之和。
然而,这样的校正噪声性能的方法的缺点在于,与相应模型显著偏离的单独像素可能导致显著的误差。作为这样的像素的示例,指定了所谓的“闪烁体”,它可以导致随机输出信号(Wang,X.等人于2006年在电子装置会议;IEDM′06,国际IEEE 2006的《CMOS图像传感器像素中的随机电报信号(Random telegraph signals in CMOS image sensorpixels)》)。
发明内容
本发明的目的是提出一种定位信号源的定位显微术方法,由此减少现有技术中出现的缺点。
该目的通过定位信号源的定位显微术方法来实现,其中,至少一次对于用于捕获检测辐射的检测器的各个像素,像素特定的误差参数的值被确定且以分配给相关像素的方式储存在校准数据记录中。将样品的图像数据逐个像素地捕获作为图像数据记录中的像素值,并且基于所捕获的图像数据标识信号源的起源区域,所述起源区域包括多个像素。将点扩展函数(下文也缩写为PSF)拟合至相应的起源区域的各像素的像素值。相应的信号源被定位,即,基于PSF在相关起源区域内在2D和/或3D中确定原点。
根据本发明,在校准数据记录内并且对于各个像素,将像素特定的误差参数与预先设定的阈值比较。在校准数据记录中标记像素特定的误差参数的值大于阈值的各个像素。当将PSF拟合到相应的起源区域的像素值时,图像数据记录中的所有或某些标记的像素被忽略或通过插值替换。
附加地或替代地,可以在方法中基于校准数据记录针对每个像素确定求导的像素特定的误差参数,以代替像素特定的误差参数,和/或创建多个像素值的ADU(模拟转数字单元)直方图。基于求导的误差参数或基于相应的ADU直方图来拟合PSF。
在本说明书的含义内的像素应被理解为检测器的检测器元件,例如sCMOS传感器的检测器元件。该检测器具有多个检测器元件,其特别是设置成二维矩阵或阵列。
将校准测量期间捕获的像素值储存在校准数据记录中,并且可选地,以分配给相应的像素的方式将相应的像素特定的和/或求导的像素特定的误差参数储存在其中。图像数据记录包含各个像素的像素值形式的图像数据,这些图像数据在图像捕获期间被捕获,例如作为PALM或STORM方法中的原始数据。可以将各个校准数据记录或从中求导的数据记录附加到图像数据记录,例如作为元数据。以这样的方式,例如还可以在图像数据记录中标记出校准数据记录中所标记的像素。
图像数据记录的像素值的插值可以使用已知的方法来实现,例如借助于回归方法、估计和/或平均值或中值的形成。
像素特定的误差参数是由相关像素输出的信号,该信号不是由于捕获的检测辐射而是由于因环境和/或部件的不同影响而产生的。由于周围环境,这样的错误信号可能由检测器的温度以及检测器的温度改变导致。由于部件,错误信号可能会例如由检测器的半导体材料中存在缺陷区域而产生(Wang,X.等人于2006年在电子装置会议;IEDM′06,国际IEEE2006的《CMOS图像传感器像素中的随机电报信号(Random telegraph signals inCMOS image sensor pixels)》)。即使实际上没有捕获到一个光子或者捕获到比相关像素的灵敏度所需的光子更少的光子,但是像素的错误信号也会传输至少一个光子的捕获。
像素特定的误差参数,其例如在下文中也简称为误差参数,例如是指所谓的偏移、像素值(特别是时间序列)的方差、和增益。
与阈值比较的像素特定的误差参数也已经可以得以校正,例如关于它们的偏移和/或增益。
求导的误差参数是从所捕获的像素值求导的量。特别地,在根据本发明的方法的一种配置中,可以将高斯函数拟合到像素的像素值。高斯函数的宽度(用西格玛表示)可以用作方差的求导的误差参数。该过程比现有技术有利,在现有技术中,在泊松分布的假设下确定像素的方差。与泊松分布偏离的方差可能有非常不同的物理原因,这些原因在单独情况下是未知的;这就是分布函数不一定可以进行分析描述的原因。
然而,分布函数的宽度可以在高斯函数的假设下进行近似,并且因此可以为与泊松行为偏离的那些像素实现更好的噪声性能再现。因此同样地可以将确定的方差与阈值比较。标记出方差超过阈值的像素,并且然后使用图像数据记录通过插值替换或完全忽略这些像素。
发射分子(发射体)(它们的二维或三维的位置称为原点)可以充当信号源。通过PSF在起源区域内确定原点。在定位显微术中,PSF典型地具有至少9(3×3)至16(例如4×4)或25(5×5)个像素的范围(半高宽)。
本发明的核心在于改进信号源的定位。如果误差参数超过预先确定的阈值的像素值被忽略或插值,则有效地抵消了要确定的信号源的原点在像素方向上的位移,例如,膨胀的像素值。此外,像素的相应的特定信号行为可以用于校正错误信号。
根据本发明,实行两个基本步骤以实现对各个单独像素的实际噪声性能的改进考虑。
在第一步骤中实行对检测器的各个像素的校准。校准可以一次或定期地实行,或者可以在必要时(例如要是检测器的性质在其使用寿命内发生改变)重复进行。将校准数据储存在校准数据记录中。
最初借助于检测器平台(=相机)的所有特定滤波器来实行检测器的校准,这些特定滤波器会降低或抑制在停用检测器的正常成像用途时的不想要的噪声和/或闪烁。这同样适用于从所谓的热像素(即,永久发出错误信号的像素)中降低或抑制错误信号。随后,可以记录多个暗图像,并且可以基于所述暗图像的像素值针对各个像素确定误差参数和校准数据。
在第二步骤中,校准数据用于考虑像素特定的噪声性能,以校正图像数据记录的相应的像素值并且避免或至少减少现有技术中已知的缺点。在此,例如根据PALM或dSTORM方法,将校准数据记录的校准数据附加到所执行的测量的图像数据记录上,或者有区别地提供校准数据记录的校准数据。作为示例,代替校准数据本身,将储存的校准数据的链接写入到元数据。
在该方法的一种配置中,特别要考虑以下事实:在定位显微术的范围内,每种情况下每个信号源只有限制数目的光子可用。因此,即使在检测器具有理想噪声性能的情况下,定位的准确度也受到限制。
因此,由于在该方法的第一步骤中,为检测器的各个像素确定各个像素的单独噪声性能,因而在随后定位期间各个像素贡献该数目的错误信号。随后确定光子数,从而确定在计划的实验中预期的定位准确度。在此之前设定了容许的定位不准确度。因此,设定的容差阈值用作阈值。
作为阈值,可以设定为不应被像素的像素值的方差(特别是时间序列的像素值的方差)或像素值的偏移的值所超过的值。
在图像数据记录中标记出校准期间校准数据的像素值超过阈值的像素。因为将校准数据记录分配给图像数据记录,特别是附加到图像数据记录,所以还标记出图像数据记录的适当对应的像素。然后,在定位的步骤中,可以插值和替换标记的像素值,例如使用图像数据记录的相邻像素的像素值。
替代地,可以忽略已标记的像素的像素值。
可以总体上或单独地为各个实验设定阈值。对于总体上设定而言,例如,可以使用发射最少数目的光子的荧光团(例如,与PALM一起使用的tdEOS;Wang等人于2014年在PNAS的第111期:第8452-8457页的《用于基于单分子的超分辨率成像的可光激活的荧光蛋白的表征和发展(Characterization and development of photoactivatable fluorescentproteins for single-molecule-based superresolution imaging)》)。
如果为单独实验或实验的组设定阈值,则已标记的像素的分布可能会因此发生改变。
附加地或替代地,阈值可以基于预期的或已知的检测辐射的波长、检测辐射的强度、和/或检测器的温度来设定。
为了避免定位的准确度由于大量已标记的像素而产生负面影响,各个起源区域的已标记的像素的允许数目(在绝对值或平均值下)被限制为该方法的有利配置的最大数目。作为示例,各个起源区域允许最多两个像素、优选最多一个像素。
如果超过了允许的最大数目,则不使用相关检测器,或者向该起源区域的定位数据提供警告。该起源区域的图像数据和/或定位数据仍然可以被使用,但是在随后的分析中的使用应该通过保留来实现。
图像数据记录的未标记的像素的像素值可以使用校准数据记录来校正,例如关于偏移和/或增益。
根据该方法的其他配置,基于校准数据记录为各个像素确定求导的误差参数。在此,可以确定各个像素的像素值的方差作为求导的误差参数。不同于现有技术,这不是在泊松分布的假设下而是在高斯分布的假设下有利地实现的(参见上文的解释)。
求导的误差参数也可以是光子传递曲线,通过该曲线可以校正或校准增益。为此,在均匀照明和不同照明水平(m值)下捕获了多个(n个)图像,并且为各个像素确定平均值Mm和方差Vm。基于参数Mm和Vm创建相应的光子传递曲线(还请参见:Long,F.等人于2014年在《物理化学化学性物理(Physical Chemistry Chemical Physics)》第16卷:第21586-21594页的《固定模式噪声对单分子定位显微术的影响(Effects of fixed pattern noise onsingle molecule localization microscopy)》)。
关于定位的质量,有利的是,在该方法的其他配置中,各个像素的测得的噪声性能以ADU直方图或对应的数据的形式来分别确定,并且以可取回的方式储存在校准数据记录中。为此,为各个像素分配用于不同的照明水平的ADU直方图的专用集合。因此,可能的多维LUT(查找表)可用于各个像素,在此基础上所应用的定位算法能够基于当前局部条件读取各个像素的真实噪声性能。考虑到求导的误差参数或基于相应的ADU直方图,实现基于PSF的定位计算。作为示例,例如,将像素的像素值捕获为灰度值。可以借助LUT为相关像素确定真实或实际灰度值,并将其用于其他程序。该进程允许仍在定位的步骤之前确定相应的像素的真实噪声性能,并且允许基于真实噪声性能来实行定位。在此,该方法的这种配置可以应用于所有像素,或者仅应用于已标记的像素。
为了确保有效的处理且为了获得分辨率(从而准确地再现像素行为)与计算开销或元数据的范围之间的折衷,可以将相应的ADU直方图的数据以适合的方式(分箱)进行组合。此外,仍可以通过函数对ADU直方图进行平滑和/或插值和/或调整,并且可以储存其参数。
在很大程度上,求导的误差参数表示相关像素的真实噪声性能,有利地允许改进的建模和更准确的定位。与根据例如Huang等人于2013年(Huang,F.等人于2013年在《自然方法》第10卷:第653-658页的《使用sCMOS相机特定的单分子定位算法的视频率纳米显微术(Video-rate nanoscopy using sCMOS camera-specific single moleculelocalization algorithms)》)提出的近似相反,在可能最佳程度上再现了像素的真实噪声性能。有利地,这例如通过全面考虑检测器的噪声和闪烁效应而有利地开辟了更好地利用检测器的能力的可能性,这在根据现有技术的方法中几乎是不可能的。
根据本发明的方法的配置有利地减少或避免了现有技术中已知的缺点。因此,根据现有技术,检测器的校准和定位需要高计算能力。除了通过例如2500万帧(US 9,769,399B2和Huang等人于2013年的论文;请参见上文)校正的测量和计算开销以外,还必须基于校准测量考虑在“最大似然估计”中的似然函数下各个像素的噪声作为散粒噪声(泊松分布)和像素相关的噪声(高斯分布)的卷积。因为这必须在各个定位过程中为各个像素实现,所以计算开销非常高。因此,该噪声分布可以通过解析近似来描述;然而,后者仅对于那些根据假定模型表现的像素足够准确。不能通过调整参数化模型来考虑与模型显著偏离的像素,并且然后该像素导致对模型的完全错误的预测。
基于sCMOS传感器的特性以示例性方式解释了本发明。但是,这还可以应用于不同类型的基于像素的检测器。例如,上述问题和效果原理上也适用于CCD传感器和EMCCD传感器,但是通常效果不太突出。
附图说明
下面基于附图和各种配置更加详细地解释本发明。附图中:
图1a示出了以坏像素和发射分子作为信号源的捕获的像素值的示例性示意图,以及
图1b示出了图1a的信号源的确定的PSF宽度的直方图的示例性示意图。
图2示出了在恒定照明的情况下sCMOS传感器的三个不同像素的灰度值分布的时间序列图;
图3示出了根据本发明的使用阈值的方法的示意图;
图4示出了具有不同可能的校准参数的检测器的校准和校准数据记录的产生的示意图;
图5示出了处理像素值和校准数据记录的示例性实施例的示意图。
具体实施方式
在图1a中提供了所指示的透视图示的检测器2(例如,sCMOS传感器)的像素1的二维布置的示例性示意图。单独像素1的不同的捕获的灰度值(其中三个由附加的帧突出显示)是显而易见的。将两个特别亮的像素1选择为潜在的信号源3.1和3.2,并且在各个情况下,通过圆圈使该信号源的起源区域4可视化。
图2以示例性方式图示了在恒定照明水平的情况下sCMOS传感器的三个不同像素1的时间噪声性能。在各个情况下,左侧列绘制了随时间改变的灰度值。右侧列相应地呈现了单独的灰度值的频率的相关联的直方图。
第一行示出了像素1的噪声性能,该像素的噪声性能通过现有技术中已知的模型,如泊松分布和高斯分布的卷积来很好地描述。
最后一行中图示的噪声性能由于其较大的宽度以及具有较大的基底宽度的近似三角形形式而只能用对应的模型来不令人满意地描述。
中间一行表示像素1的噪声性能,其分布——如在相关联的直方图中的右侧显而易见的——无法通过已知的模型捕获。
在图3中以概述图呈现了根据本发明的使用阈值的方法的可能配置。首先,设定要应用的阈值。在此,考虑到期望执行的实验。作为示例,考虑到要使用的样品的和发射体的性质、要使用的照明波长和(多个)照明水平、(多个)检测波长、以及检测器的和/或剩余实验装置的已知的规范。
从此出发,确定或估计预期的定位准确度和应接受的容差。根据这些协商和规范来设定阈值,并且例如将阈值储存在评估单元5中。例如,阈值被设定为偏移或为像素值的方差,以便能够将阈值与从像素值确定的像素特定的误差参数进行比较。
在该方法的替代的配置中,阈值还可以通过定位算法来经验性地确定。
此外,校准数据记录被创建且以分配给检测器2的单独像素1的方式储存(参见图1a)。为此,检测器2记录许多暗图像,并且在过程中捕获的各个像素1的像素值以分配的方式储存为校准数据记录。随后,例如从该像素值中确定像素值的偏移或方差作为像素特定的误差参数。这些同样可以以分配给像素1的方式储存在校准数据记录中。
将因此确定的像素特定的误差参数的值与各个像素1的阈值进行比较。如果像素特定的误差参数的值超过阈值,则在校准数据记录中标记相关像素1,例如借助于它的像素坐标(x,y)列出在元数据中。已标记的像素1在随后的评估中应该不予考虑并且因此被“遮蔽”,即,标示为不再考虑(像素遮蔽)。
在其他步骤中,核查在群集中是否存在遮蔽的像素1。为此,最大允许的群集被预先设定(指定)且同样被储存。作为示例,设定两个已标记的像素1的相近程度,其必须是不会形成群集的最小值。
如果满足允许的群集的条件,则过渡到信号源3.1、3.2的定位。
与之相比,如果遮蔽的像素1的分布不满足允许的群集,则核查通过检测器2的操作参数(规范)的修改设定是否可以实现允许的群集(群集规范)。如果不是这样的情况,则检测器2(=传感器)是不合适的。
与之相比,如果检测器2的操作参数可以设定为使得获取允许的群集,则执行这些设定,并且过渡到信号源3.1、3.2的定位。
作为示例,校准数据记录和关于已标记的像素1(像素遮蔽)的信息作为元数据被提供,并且被附加到要创建的图像数据记录中。
对于要评估的样品,捕获图像数据的时间序列(定位显微术的时间序列),并且储存分配给相应的像素1的像素值作为图像数据记录。将基于邻近像素1的像素值通过插值法确定的像素值分配给遮蔽的像素1,或者遮蔽的像素1无法获得像素值,并且在随后对信号源3.1、3.2定位时被忽略。替代地,还可以将相应捕获的像素值分配给标记的像素1,例如以便能够实行分离的误差评估。然而,对于实际的定位,这些像素1被忽略,或者其用于定位的像素值先前通过插值来确定并分配。
基于校准数据记录且可选地通过考虑元数据,校正图像数据记录的像素值(根据元数据进行校正)。基于图像数据(特别是像素值),在像素1的阵列内确定信号源3.1、3.2所在的起源区域4。作为示例,这是基于所捕获和校正的像素值的极大值来实现。将定位算法应用于相应的起源区域的像素1的已校正的像素值,并且拟合PSF。确定PSF的极大值的位置且将其储存为信号源3.1、3.2的原点。
以示例性方式,图4图示了具有不同可能的校准数据记录的检测器的校准以及总校准数据记录的产生。为此,捕获具有不同照明水平I1至Ik的时间序列。在此,照明水平I1等于零且对应于暗图像的时间序列。如关于图3所解释的,在照明水平I1处捕获的像素值用于产生具有已标记的和掩蔽的像素的校准数据记录[Cal Interp(遮蔽)]。
此外,在照明水平等级I1处捕获的像素值可以用于产生校准数据记录(Cal偏移),在该校准数据记录中确定和储存各个像素1的偏移。可以通过从各个像素值中减去像素值的平均值来校正像素值。为了避免在过程中出现负像素值,或者如果根据数据格式,负值是不允许的(所谓的零位裁剪”),则可选地将恒定且已知的值(“NoiseMargin”)添加到所有像素中且将该值储存。
从单独的时间序列出发,还可以在各个情况下在时间序列内确定像素值的平均值和方差。平均值和方差用于创建和拟合(光子传递曲线拟合)光子传递曲线(PTC)。创建的光子传递曲线储存在校准数据记录中(Cal增益校正)。
此外,ADU直方图[直方图(I1),直方图(I2)......;直方图(Ik)]可以在各个情况下从时间序列的像素值创建并被储存。随后,这些ADU直方图在被储存为校准数据记录(Cal(直方图))之前,可选地以合适的方式(分箱)进行组合、平滑、近似和/或滤波。
前述校准数据记录可以被组合以形成总校准数据记录。替代地,它们还可以产生和/或储存并且单独地应用。
图5以示例性方式示出了将各种校准数据记录应用于图像数据记录的所捕获的图像数据。通过关于偏移的偏移校准数据记录(Cal偏移)和通过关于光子传递的增益校准数据记录(Cal增益校正),校正由T(原始数据)表示的图像数据记录的图像数据。随后使用CalInterp(遮蔽)校准数据记录(遮蔽)对因此已校正的所捕获的图像数据的像素值进行校正。如上面已经解释的,像素1的方差超过对于Cal Interp(遮蔽)校准数据记录设定的阈值,该像素1在Cal Interp(遮蔽)校准数据记录中和图像数据记录中被标记且可选地被遮蔽。
基于已校正的像素值,标识可能的信号源(峰值查找器)和相关联的起源区域4(提取ROI;ROI=感兴趣的区域)。
通过拟合PSF[PSF-拟合(高斯)]来确定信号源3.1、3.2的在相应的起源区域4中的原点,并且核查拟合的质量。
此外,可以在实际的定位(定位)之后实现滤波步骤(滤波)。使用该步骤,可以标识“坏像素”,其灰度值和噪声性能与实验中所用的发射体的灰度值和噪声性能不相符。坏像素被理解为是热像素、闪烁体和死像素或导致明显的光子检测事件的其他类型的像素行为。尽管先前应用了校准和定位步骤,但是这样的坏像素可能已被标识和定位为普通的信号源3.1、3.2,例如作为荧光分子。
作为示例,所捕获的光子数、信噪比和闪烁行为可以用作滤波器参数。PSF的宽度也是合适的滤波器参数,因为后者在很大程度上与相应的实验无关。
特别地,后一种滤波是基于以下情况:单体的信号源的定位需要PSF在多个像素1上的扩散,这是通过系统(例如物镜镜头、镜筒镜头和像素尺寸)的光学设计的效果而出现的。如果在通过算法定位的单独像素1上出现明显较窄的PSF宽度,该明显较窄的PSF宽度例如对应于一个像素,则可以通过适当选择PSF宽度的滤波器阈值将其标识为坏像素,并且可以将其排除
作为示例,在图1a中显而易见的是两个信号源3.1和3.2,其相应的起源区域4用圆圈画出。样品中像素1的大小为100nm。在图1b中以示例性方式示出了对于两个信号源3.1、3.2中的每一个的1000次定位而言的两个信号源3.1、3.2的PSF宽度(半高宽、高斯拟合)。虽然位于图1a左上方的信号源3.1的PSF宽度仅为大约40nm(范围:30-50nm),但是位于图1a右下方的信号源3.2的PSF宽度约为140nm,这对荧光团而言是典型的。
因此,可以假设的是,左信号源3.1是由坏像素(热像素或温暖像素或闪烁体)引起的,而右信号源3.2实际上是荧光团。
原则上,该滤波功能还可以在没有根据本发明的方法的前述步骤的情况下执行。
附图标记
1 像素
2 检测器
3.1 信号源
3.2 信号源
4 起源区域
5 评估单元
Claims (7)
1.一种定位信号源(3.1、3.2)的定位显微术方法,其中:
至少一次对于用于捕获检测辐射的检测器(2)的各个像素(1),像素特定的误差参数的值被确定,且以分配给相关像素(1)的方式储存在校准数据记录中;
将样品的图像数据逐个像素地捕获作为像素值,且储存在图像数据记录中;
基于捕获的图像数据标识信号源(3.1、3.2)的起源区域(4),所述起源区域包括多个像素(1);
将点扩展函数拟合到相应的起源区域(4)的像素值;和
相应的信号源(3.1、3.2)基于所述点扩散函数定位在相关起源区域(4)内;
其特征在于,
对于各个像素(1),将所述像素特定的误差参数与阈值进行比较;
在所述校准数据记录中标记所述像素特定的误差参数的值大于所述阈值的各个像素(1);以及
当拟合所述点扩展函数时,所述图像数据记录中的标记的像素(1)被忽略或通过插值替换。
2.根据权利要求1所述的方法,其特征在于,基于检测辐射的波长、所述检测辐射的强度和/或所述检测器(2)的温度,设定所述阈值。
3.根据权利要求1和2中任一项所述的方法,其特征在于,平均地,在各个起源区域中标记预先确定的最大数目的像素(1)。
4.根据前述权利要求中的任一项所述的方法,其特征在于,使用所述校准数据记录来校正未标记的像素(1)的像素值。
5.一种定位信号源(3.1、3.2)的定位显微术方法,其中:
至少一次对于用于捕获检测辐射的检测器(2)的各个像素(1),像素特定的误差参数的值被确定,并以分配给相关像素(1)的方式储存在校准数据记录中;
将逐个像素地捕获作为像素值的样品的图像数据储存在图像数据记录中;
基于捕获的图像数据标识信号源(3.1、3.2)的起源区域(4),所述起源区域包括多个像素(1);
将点扩散函数拟合到相应的起源区域(4)的像素值;和
基于所述点扩展函数,将相应的信号源(3.1、3.2)定位在相关起源区域内;
其特征在于,
使用所述校准数据记录,
确定各个像素(1)的求导的误差参数,和/或
创建各个像素(1)的多个像素值的ADU直方图;以及
所述校准数据记录中求导的误差参数和/或所述ADU直方图以分配给相应的像素(1)的方式被储存;
基于所述求导的误差参数或相应的ADU直方图拟合所述点扩展函数。
6.根据权利要求5所述的方法,其特征在于,时间序列的像素值的方差、在分别不同的照明水平的情况下时间序列的像素值的方差、和/或分别在不同的照明水平下相应的一个时间序列的平均值被确定作为求导的像素特定的误差参数。
7.根据权利要求6所述的方法,其特征在于,基于不同照明水平的时间序列的方差和平均值为各个像素(1)确定光子传递曲线,并且所述光子传递曲线用作求导的像素特定的误差参数。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019203923.5A DE102019203923A1 (de) | 2019-03-22 | 2019-03-22 | Verfahren zur Lokalisierung von Signalquellen in der Lokalisierungsmikroskopie |
DE102019203923.5 | 2019-03-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111723642A true CN111723642A (zh) | 2020-09-29 |
Family
ID=72334350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010210190.5A Pending CN111723642A (zh) | 2019-03-22 | 2020-03-23 | 定位显微术中定位信号源的方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11428634B2 (zh) |
CN (1) | CN111723642A (zh) |
DE (1) | DE102019203923A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11250593B2 (en) * | 2020-06-01 | 2022-02-15 | Varian Medical Systems, Inc | System and method for detecting and correcting defective image output from radiation-damaged video cameras |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011086227A1 (en) * | 2010-01-18 | 2011-07-21 | Nokia Corporation | Digital camera image error detection |
EP2076020B1 (en) * | 2007-12-28 | 2013-04-17 | Nikon Corporation | Image processing device, correction information generation method, and image-capturing device |
CN103105382A (zh) * | 2011-11-11 | 2013-05-15 | 徕卡显微系统复合显微镜有限公司 | 用于对样本中的点状目标进行三维定位的显微装置和方法 |
US20140285675A1 (en) * | 2013-03-13 | 2014-09-25 | Pelican Imaging Corporation | System and Methods for Calibration of an Array Camera |
CN107124901A (zh) * | 2014-08-02 | 2017-09-01 | 加坦公司 | 去除电子显微照相机图像异常点的方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4709278B2 (ja) | 2005-05-23 | 2011-06-22 | エフ. ヘスス ハラルド | 光変換可能な光学標識を用いる光学顕微鏡法 |
US7776613B2 (en) | 2006-08-07 | 2010-08-17 | President And Fellows Of Harvard College | Sub-diffraction image resolution and other imaging techniques |
CA2901847A1 (en) | 2013-03-15 | 2014-09-18 | Yale University | Techniques for processing imaging data having sensor-dependent noise |
-
2019
- 2019-03-22 DE DE102019203923.5A patent/DE102019203923A1/de active Pending
-
2020
- 2020-03-20 US US16/826,058 patent/US11428634B2/en active Active
- 2020-03-23 CN CN202010210190.5A patent/CN111723642A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2076020B1 (en) * | 2007-12-28 | 2013-04-17 | Nikon Corporation | Image processing device, correction information generation method, and image-capturing device |
WO2011086227A1 (en) * | 2010-01-18 | 2011-07-21 | Nokia Corporation | Digital camera image error detection |
CN103105382A (zh) * | 2011-11-11 | 2013-05-15 | 徕卡显微系统复合显微镜有限公司 | 用于对样本中的点状目标进行三维定位的显微装置和方法 |
US20140285675A1 (en) * | 2013-03-13 | 2014-09-25 | Pelican Imaging Corporation | System and Methods for Calibration of an Array Camera |
CN107124901A (zh) * | 2014-08-02 | 2017-09-01 | 加坦公司 | 去除电子显微照相机图像异常点的方法 |
Also Published As
Publication number | Publication date |
---|---|
DE102019203923A1 (de) | 2020-09-24 |
US11428634B2 (en) | 2022-08-30 |
US20200300765A1 (en) | 2020-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Abdelhamed et al. | A high-quality denoising dataset for smartphone cameras | |
US8582005B2 (en) | Method, apparatus and system providing adjustment of pixel defect map | |
JP4668183B2 (ja) | 撮像デバイスにおける暗電流及び欠陥画素の影響を減少させる方法及び装置 | |
JP2022509034A (ja) | ニューラルネットワークを使用した輝点除去 | |
JP4657287B2 (ja) | 調節されたダークフロアの補正による画像形成システム | |
US20030179418A1 (en) | Producing a defective pixel map from defective cluster pixels in an area array image sensor | |
JP6527940B2 (ja) | 電子顕微鏡カメラ画像のアウトライヤ除去方法 | |
JP4866581B2 (ja) | X線画像診断装置 | |
WO2014144443A2 (en) | Techniques for processing imaging data having sensor-dependent noise | |
WO2010101786A1 (en) | Systems and methods for processing infrared images | |
CN113379636B (zh) | 一种红外图像非均匀性校正方法、装置、设备及存储介质 | |
US12101569B2 (en) | Techniques for correcting oversaturated pixels in shutterless FIR cameras | |
KR20130139788A (ko) | 장치의 화상 센서에 의해서 생성된 고정형 패턴 노이즈를 억제하는 촬상 장치 | |
CN118333914B (zh) | 一种高动态范围的光场数据白图像校正方法、系统及介质 | |
CN111723642A (zh) | 定位显微术中定位信号源的方法 | |
US8654217B2 (en) | Device and method for detecting dust on an image sensor | |
CN112184578A (zh) | 一种标定光场成像中各微透镜成像的中心坐标的方法 | |
US10638045B2 (en) | Image processing apparatus, image pickup system and moving apparatus | |
TW200939741A (en) | White/black pixel correction in a digital image sensor | |
WO2020241471A1 (ja) | キャリブレーション方法 | |
Leung et al. | Analyzing the impact of ISO on digital imager defects with an automatic defect trace algorithm | |
CN114298995A (zh) | 一种图像缺陷元抑制方法、设备及计算机可读存储介质 | |
CN114331893A (zh) | 一种获取图像噪声的方法、介质和电子设备 | |
Yu et al. | Impact of circuit-level non-idealities on vision-based autonomous driving systems | |
JP7495948B2 (ja) | 変わる景色の赤外線画像の残留像を除去する方法及びデバイス |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |