CN107850543B - 用于生成数字荧光图像的方法 - Google Patents
用于生成数字荧光图像的方法 Download PDFInfo
- Publication number
- CN107850543B CN107850543B CN201680044740.2A CN201680044740A CN107850543B CN 107850543 B CN107850543 B CN 107850543B CN 201680044740 A CN201680044740 A CN 201680044740A CN 107850543 B CN107850543 B CN 107850543B
- Authority
- CN
- China
- Prior art keywords
- amplitude
- time
- amplitudes
- correlation
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002073 fluorescence micrograph Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims description 28
- 238000005259 measurement Methods 0.000 claims abstract description 41
- 230000005284 excitation Effects 0.000 claims description 12
- 239000000126 substance Substances 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- BFMYDTVEBKDAKJ-UHFFFAOYSA-L disodium;(2',7'-dibromo-3',6'-dioxido-3-oxospiro[2-benzofuran-1,9'-xanthene]-4'-yl)mercury;hydrate Chemical compound O.[Na+].[Na+].O1C(=O)C2=CC=CC=C2C21C1=CC(Br)=C([O-])C([Hg])=C1OC1=C2C=C(Br)C([O-])=C1 BFMYDTVEBKDAKJ-UHFFFAOYSA-L 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 14
- 230000002596 correlated effect Effects 0.000 description 11
- 239000007850 fluorescent dye Substances 0.000 description 7
- 230000005855 radiation Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 239000000975 dye Substances 0.000 description 4
- 102000004169 proteins and genes Human genes 0.000 description 4
- 108090000623 proteins and genes Proteins 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000005314 correlation function Methods 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 238000004621 scanning probe microscopy Methods 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 238000004061 bleaching Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000002060 fluorescence correlation spectroscopy Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6408—Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biochemistry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Immunology (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Microscoopes, Condenser (AREA)
Abstract
在用于建立数字荧光图像的方法中，将针对每个像素从物平面的发射光转换成分别配属于测量时间点的振幅(I)的序列，并且振幅(I)的序列以彼此错开了至少一个时间偏差(τ)的方式自相关，并且针对其中每个时间偏差(τ)形成特定的相关振幅(Kτ)，由该相关振幅(Kτ)求出总振幅。
Description
技术领域
本发明涉及一种用来由配设有荧光染料的样本生成数字荧光图像(电子图像文件)的方法。
背景技术
荧光显微术是一种用于对蛋白质定位并且绘制组织样本和细胞(下文为样本)内的蛋白质分布的极为有效的光学显微术方法。为此有针对性地将荧光染料输送给有待用显微镜检验的样本，荧光染料与蛋白质对接。通过以依赖于所使用的染料的确定的波长(激发波长)的光(激发光)进行照射来激发这种染料，并且将染料分子(荧光团)的电子提升到更高的能量水平。在短暂的停留时间之后，被激发的电子分别在发射有比激发波长更长的特定波长(发射波长)的光(发射光)的情况下再次达到其最初的水平。单个电子在此发出光量子或光子。这种特性用于使蛋白质或其它物质变得可见。
除了被用于可视地观察样本，荧光显微镜被划分成传统的宽场显微镜和激光扫描显微镜，宽场显微镜带有相机，该相机包括多个以矩阵布置的探测器，激光扫描显微镜仅具有单独的探测器。两种类型的显微镜目前都常见，其中，激光扫描显微镜相比传统的宽场荧光显微镜具有许多优势。
激光扫描显微镜通常是共焦的显微镜，这就是说，激发光的处在物平面中的焦点被成像到共轭的平面中，亦即像平面中，通常带有前置的孔眼光阑的单独的探测器定位在那里。因此仅微小的物场截面的，亦即微小的像素的发射光被导引到探测器上。这相比传统的宽场荧光显微镜具有重要的优势，即，仅探测发射光的来自焦点平面的光量子并且有助于信号形成。以这种方式可以一层一层地用显微镜检测样本并且将由每个用显微镜检测到的层的信号产生的荧光图像聚成三维的图像。
通过如下方式获得每一层的荧光图像，即，通过通常由两个振镜构成的激光扫描系统以一个扫描频率扫描物场，从该扫描频率得出了针对每个像素的像素停留时间。在像素停留时间期间被探测器接收到的发射光通过这个探测器转换成模拟的电探测器信号，模拟的电探测器信号通过获知激光扫描系统的各自的位置而分别配属于一个像素。模拟的探测器信号首先以预定的节拍频率被数字化。为此，在激光扫描显微术领域内原则上公知两种类型的数字化。
第一种类型的数字化是对模拟的探测器信号进行积分。当信号探测的持续时间(探测时间)处于和像素停留时间相同的数量级时，也就是说探测时间仅比像素停留时间稍短时，就使用第一种类型的数字化。由在此通过模拟信号形成的积分值和探测时间可以利用对探测器进行一次读取推导出每个像素的平均值(平均值振幅)，该平均值是配属于该像素的总振幅。
在过去，基于荧光染料的仅很小的辐射强度，尤其使用积分这种方法，因为可以形成较高的总振幅。
第二种类型的数字化是对模拟的探测器信号进行快速的扫描(取样)。当探测时间明显较短，特别是比像素停留时间短了若干数量级时，优选使用第二种类型的数字化。然后在像素停留时间内在多个测量时间点上(信号探测的持续时间被简化地视作时间点，或者测量时间点是读取探测器的时间点)分别产生振幅，并且由振幅序列形成了平均值(平均值振幅)，该平均值作为总振幅分别配属于像素。
这种快速的扫描当前在激光扫描显微术中是常见的，因为在使用现代模数转换器时该方法的优点占优势。
典型地转换具有恒定的采样率的探测器信号，该恒定的采样率明显比最短的可能的像素停留时间高了优选至少一个数量级，尤其两个数量级。每个像素的测量时间点的数量然后由像素停留时间得出。这又通过扫描设定(帧率、像素数、扫描尺寸)来确定。像素停留时间的提高然后导致了每个像素的测量时间点的数量的提高。
为了改善信噪比，通常提高像素停留时间。缺陷在于，用于获得呈网格图形的形式的由所有像素的总振幅形成的荧光图像的总时间因此提高且帧率减小。信噪比由一方面由发射光导致且另一方面由噪音导致的份额占总振幅的比例确定。
发明内容
本发明所要解决的技术问题是：提出一种方法，其在保持帧率的情况下提供了具有改良的信噪比的数字荧光图像。
这个技术问题通过一种用于建立数字荧光图像的方法来解决，在该方法中，配设有荧光染料的样品被布置在激光扫描显微镜的物平面中并且在时间上依次以逐个像素的方式(pixelweise)在像素停留时间期间用激发光加载，因此针对每个像素产生发射光。每个像素的发射光由探测器探测并且被转换成分别配属于测量时间点的振幅序列。由振幅分别形成针对每个像素的总振幅。所有像素的总振幅被组合成荧光图像。对本发明而言重要的是，分别配属于像素的总振幅由一个或多个相关振幅求出并且因此噪声几乎不算入总振幅，因而产生了具有更高的信噪比的荧光图像。
为此，将在较晚的测量时间点上开始的振幅的序列与在较早的测量时间点上开始的振幅的同样序列进行至少一次相关。在此，较晚的测量时间点和较早的测量时间点彼此具有时间偏差。这就是说，取代有时间偏差的仅一次自相关，可以使振幅序列进行多次自相关，其中，针对每一次自相关使用另一个时间偏差。针对每个时间偏差就形成了针对各个时间偏差特定的相关振幅且总振幅由所形成的相关振幅求出。能相关的振幅对的数量对应每一像素停留时间的所有测量时间点的数量减去时间偏差。
优选用下列公式计算相关振幅：
Kτ＝((I(tn)-I平均)×(I(tm)-I平均))平均
在此，I(tn)是较早的测量时间点tn的振幅，I(tm)是较晚的测量时间点tm的振幅，m＝n+τ，并且I平均是平均振幅，它作为所有振幅的平均值计算。
有利的是，将相关振幅Kτ通过与平均值振幅的平方I平均 2相除来进行标准化。
当计算出针对不同的时间偏差τ的相关振幅Kτ并且确定具有相对最大的相关振幅Kτ的时间偏差τ，并且将其用作总振幅时，可以改善荧光图像的质量。
配属于相对最大的相关振幅Kτ的时间偏差τ可以有利地以配属于荧光染料的方式储存在数据库中。
作为备选，计算出针对不同时间偏差τ的相关振幅Kτ并且确定相关振幅Kτ的平均值，并且将该平均值用作总振幅。
也可以计算处针对不同时间偏差τ的相关振幅Kτ并且确定相关振幅Kτ的和，并且将该和用作总振幅。
测量时间点的数量有利地大于400，并且时间偏差τ位于50与150之间，因而至少250个振幅对被相关。
按本发明的方法利用的是，荧光染料在发出发射光时由至少一个相关的过程决定，这就是说，表示发射光在像素停留时间的持续时间内的强度的荧光信号由至少一个函数所决定。
在此，公知作为相关的过程的例如有光闪烁和光漂白。
人们将光闪烁理解与黑暗状态交替地在确定的时段发射光子。发荧光的材料荧光物质的通过激发光射出的电子，被提升到较高的能量水平并且在返回到能量较低的水平时发射光子。但这一点不是连续地发生，而是在此期间存在若干阶段，亦即所谓的黑暗状态，在黑暗状态中不发射任何光子。这种黑暗状态可以例如涉及所谓的三重状态或另一种状态，从该状态出来不能发生荧光发射。如果在观察荧光团时力求使探测时间这样小，从而在探测时间内仅一个光子撞击到接收器上，那么这导致了对此而言典型的给光-撤光现象(An-Aus-Erscheinung)。这种现象的时标和它的准确起因是多种多样的并且也不是非常详尽公知的。当假设荧光团表现为静止，也就是说，它们在一个像素内的数量至少在像素停留时间内保持不变时，那么可以在较小的停留时间下基于闪烁而探测循环的强度波动。
光漂白理解为是荧光团不可逆地过渡到不发荧光的状态。对此，时标和起因也是多种多样的且无法极为详尽公知。公知的是光漂白与激发光的强度的相关性。尤其在共焦的激光扫描显微镜中，激发光典型地强烈聚焦到样本内，光漂白是极为快速地推进的过程。通常在荧光显微术中的光漂白是不期望的事件，因为它随着观察持续时间的增加而导致荧光信号减少。
也公知的是，针对不同的荧光物质和在不同的环境条件下(温度、ph值、氧浓度)，两种现象(光漂白和光闪烁)以不同的表现出现。
无论是光闪烁还是光漂白都导致了总信号变差，因为由光子的和形成的发射光被更少地探测到并且因此信噪比变差。
为了实施按本发明的方法，不需要获知这些已经提到的或必要时也发生的其它的相关的过程的时标和流程，而是仅需知晓它们发生了并且被用于信号处理的事实。
通过如下方式将相关过程用于信号处理，即，分别针对一个像素的总振幅不是按现有技术例如通过求振幅序列的平均值形成，而是通过振幅序列的自相关形成。
自相关原则上由信号处理公知并且说明了信号(函数)或振幅序列与其本身在较早的时间点的相关。
自相关方法的使用也由荧光相关光谱学公知，在荧光相关光谱学中，由发射光的强度的变化作为与时间关联的函数而获得了若干信息。相关函数通过与自身相关的函数的时间推移形成。由所形成的相关函数可以推导出例如弥漫时间，弥漫时间对应这样的时间，在该时间内，相关振幅在相关的函数之间的仅最小的时间错开的情况下从最大值下降到确定的值，例如最大值的一半。
附图说明
接下来借助实施例和附图详细阐释按本发明的方法。在附图中：
图1示出了荧光的辐射强度(振幅)I(t)与关于像素停留时间T的时间t的相关性的示意图；
图2a示出了可视化的数字荧光图像，在该荧光图像中，确定图像像素的灰度值的总振幅通过按现有技术的求平均值求出(不同的灰度值在此通过不同的阴影部分示出)；
图2b示出了可视化的数字荧光图像，在该数字荧光图像中，确定了图像像素的灰度值的总振幅通过按现有技术的求平均值求出(不同的灰度值在此通过不同的灰度值阶示出)；
图3a示出了可视化的数字荧光图像，在该数字荧光图像中，确定图像像素的灰度值的总振幅根据本发明通过自相关求出(不同的灰度值在此通过不同的阴影部分示出)；以及
图3b示出了可视化的数字荧光图像，在该数字荧光图像中，确定了图像像素的灰度值的总振幅根据本发明通过自相关求出(不同的灰度值在此通过不同的灰度值阶示出)。
具体实施方式
按本发明的方法直至获得像素停留时间内配属于单个测量时间点的振幅，都与在现有技术中说明的具有通过快速的扫描(采样)对模拟的探测器信号进行数字化的方法相同。
重要的是，模拟的探测器信号通过多次扫描(读取探测器)被数字化成大量的振幅的序列。这在实践中仅能用单探测器并且因此用激光扫描显微镜实现，激光扫描显微镜典型地可以设计成单点布置，但也可以设计成多点布置，在多点布置例如同时在样本上方扫描四条分离的射束，因而荧光辐射被四个所配属的单独探测器探测到。取代以逐个像素的方式用激发光加载，物场原则上也可以同时被照亮并且在此期间可以多次读取相机的探测器装置。但实际上，用典型的相机无法达到检测光闪烁所需的在μs范围内的短暂的探测时间。此外，将分别照射到像素上的辐射强度并且可能的测量时间点的数量为此过小，以至于无法为自相关获取足够多且足够高的振幅。
为了生成荧光图像，来自激发光源的激发光借助扫描系统相继分别在像素停留时间T期间在如下物平面中被聚焦到单独的物场截面(像素)中，该物平面处在用荧光染料标记的样本内或样本上。在此，在分别相关的像素中的荧光团被激发而发出发射光。通过探测器检测到在像素停留时间T期间来自一个像素的发射光的强度，该强度由所发出的光子的数量确定。
在图1中示出了荧光的辐射强度I(t)的模拟信号与关于像素停留时间T的时间t的相关性。这取决于光漂白导致的、与下降的指数函数类似的函数以及由光闪烁导致的、在较短的时标上波动的函数。
在模数转换过程中，在多个彼此间的间隔由探测时间确定的测量时间点上读取探测器，且针对每个测量时间点形成振幅。因此发射光的强度的模拟信号在像素停留时间T期间被转换成了具有如下振幅的序列的数字信号，该振幅与分别在探测时间期间探测到且配属于测量时间点的强度成比例。与像素停留时间T相比，探测时间越短，那么扫描频率并且因此模拟的函数的分辨率就越高。
配属于测量时间点的强度通过由撞击的光子和在配属于各测量时间点的探测时间内的常见的噪声影响构成的和形成。
因此在像素停留时间T之后，针对一个像素存在多个振幅，这些振幅通过将它们分别配属给一个测量时间点而形成了一个序列。与总振幅由所有振幅的平均值作为平均值振幅形成的现有技术不同的是，按照按本发明的方法，通过振幅序列与其错开了时间偏差τ的本身的自相关形成相关振幅Kτ。时间偏差τ应当在此无维度地理解为是有待与自身相关的振幅序列之间的测量点的数量。这就是说，如果要将在第一个测量时间点t1开始并且在第二十个测量时间点t20开始的振幅序列相关，那么时间偏差τ等于19。时间偏差τ的实际的持续时间由探测时间和时间偏差τ得出。
将分别形成振幅对的带有固定的时间偏差τ的较早的测量时间点tn和较晚的测量时间点tm(因而m＝n+τ)的振幅彼此连续地相关。为清楚起见，振幅也在光学信号转换成电信号之后用I(t)标注。分别针对时间偏差τ(时间滞后)的相关振幅Kτ由较早的振幅I(tn)和较晚的振幅I(tm)(它们的测量时间点彼此间具有时间偏差τ)的相关并且振幅I平均的平均值按照下列公式得出：
Kτ＝((I(tn)-I平均)×(I(tm)-I平均))平均
有利的是，相关振幅Kτ可以进行标准化，例如用振幅的平均值(平均振幅)的平方，因此得出了下列公式：
Kτ＝((I(tn)-I平均)×(I(tm)-I平均))平均/I平均 2
或者用振幅的平方的最大值，因此得出下列公式：
Kτ＝((I(tn)-I平均)×(I(tm)-I平均))平均/I最大 2
在每个较晚的测量时间点tm上，形成了由在所从属的较早的测量时间点tn上的振幅I(tn)和所有振幅的平均值I平均之间的差并且在各较晚的测量时间点tn+τ上的振幅I(tn+τ)和所有振幅的平均值I平均之间的差的乘积。产生了配属于较晚的测量时间点tm的一系列乘积值，它们的平均值是相关振幅Kτ。这样获得的相关振幅Kτ没有噪声，因为这不经受任何相关。
例如在1帧/秒的256×256像素扫描时，在像素停留时间T＝15μs和扫描频率为40MHz时产生了610个测量时间点。因此提供了所谓较早的测量时间点tn的610个振幅I(tn)，其中，1≤n≤610。
为了便于确定相关振幅Kτ，提供所谓的较晚的测量时间点tm的大量的振幅I(tn+τ)用于自相关，时间偏差τ的持续时间优选应当小于像素停留时间T的一半，但也大于像素停留时间T的五分之一。因此在当前的例子中，时间偏差τ可以有利地对应在第1个测量时间点t1与第120个测量时间点t120之间的测量时间点的数量，因此时间偏差τ等于119。在这个情况下410个振幅对被相关。
但时间偏差τ原则上也可以极小，参照所述实施例直至约10，或者也可以极大，直至约550。
数字荧光图像通常作为网格图形示出和储存，这就是说，配属于像素的振幅被储存在与物平面中的像素的布置相关的网格中。
对建立应当为配设有不同的荧光物质的样本所建立的荧光图像而言合理的是，通过试验分别求出最佳的时间偏差τ，对该时间偏差而言所得到的相关振幅Kτ尽可能大，并且将针对最优的时间偏差τ的持续时间储存在数据库中。
为此可以在单个像素上，特别是在如下物平面的区域中自动化地进行短暂的局部测量，在该物平面的区域中预期有高荧光信号，并且如上面说明的那样为不同的时间偏差τ估算在此获取的振幅。这种局部的测量可以自动随机或等距地分布在物区域中。但局部的测量的地点也可以由用户预定，以便分析尤为重要的样本区域。
也可以由数据库求出针对最佳的时间偏差τ的持续时间。对于多种典型的染料来说，表征性的光闪烁时间已由文献公知并且是时间偏差τ的最佳的持续时间。这些文献值可以以配属于荧光物质的方式储存在数据库中，以便在获知探测时间的情况下能够推导出至少一个开始时间偏差，用以用显微镜检测具有相同的荧光物质的较晚的样品。
作为现有技术的求平均值通常在FPGA(现场可编程逻辑门阵列)上进行。同样可以在FPGA上执行形成自相关振幅。
由通过在像素停留时间T期间分别配属于测量时间点的振幅I形成的相同的数字探测器信号也可以并行或依次通过形成平均值和自相关求出总振幅并且将其作为荧光图像示出。
如所阐释的那样，可以为不同的时间偏差τ求出针对像素的相关振幅Kτ并且使用其中一个相关振幅用于显示荧光图像。也可以为了显示荧光图像而针对每个像素将多个为不同的时间偏差τ计算的相关振幅Kτ加和和/或取平均值。因此，尤其在时间偏差τ的最佳持续时间是先验未知的情况下进一步改善信噪比。
在图2a和图2b中分别示出了荧光图像，例如其按照现有技术通过每个像素的平均值振幅的配属而呈现。图示的区别在于，不同大小的平均值振幅一方面通过不同的阴影部分示出并且另一方面通过不同的灰度值示出。
在图3a和图3b中分别示出了荧光图像，例如其按照本发明通过针对每个像素的相关振幅Kτ的配属呈现出。图示的区别在于，不同大小的平均值振幅一方面通过不同的阴影部分示出并且另一方面通过不同的灰度值示出。
在图3a和图3b中可以看到所谓的聚类形成(Clusterbildung)，聚类形成表明了荧光物质在物平面中的局部集中。这种聚类形成在图2a和图2b中由于荧光信号和噪声的重叠而无法看到。
Claims (8)
1.用于生成数字荧光图像的方法，其中，将配设有荧光物质的样本布置在激光扫描显微镜的物平面中，并且在时间上依次以逐个像素的方式在像素停留时间(T)期间用激发光加载所述样本，由此针对每个像素产生发射光，通过探测器探测所述发射光并且将所述发射光转换成分别配属于测量时间点的振幅(I)的序列，由这些分别配属于测量时间点的振幅形成总振幅，并且将所有像素的总振幅组合成荧光图像，其特征在于，
针对每个像素将在较晚的测量时间点(tm)开始的振幅(I)的序列与在相对于所述较晚的测量时间点(tm)具有时间偏差(τ)的较早的测量时间点(tn)开始的振幅(I)的同样序列进行至少一次自相关，分别形成针对时间偏差(τ)特定的至少一个相关振幅(Kτ)并且由所形成的所述至少一个相关振幅(Kτ)求出总振幅。
2.按照权利要求1所述的方法，其特征在于，利用公式Kτ＝((I(tn)-I平均)×(I(tm)-I平均))平均计算出相关振幅(Kτ)，其中，I(tn)是较早的测量时间点(tn)的振幅(I)，I(tm)是较晚的测量时间点(tm)的振幅(I)，m＝n+τ，并且I平均是振幅(I)的平均值。
3.按照权利要求2所述的方法，其特征在于，将相关振幅(Kτ)通过与振幅(I)的平均值的平方相除来进行标准化。
4.按照权利要求1或2所述的方法，其特征在于，计算出针对不同的时间偏差(τ)的相关振幅(Kτ)并且确定具有相对最大的相关振幅(Kτ)的那个时间偏差(τ)，并且将其用作总振幅。
5.按照权利要求4所述的方法，其特征在于，将具有相对最大的总振幅的时间偏差(τ)配属于荧光染料并且储存在数据库中。
6.按照权利要求1或2所述的方法，其特征在于，计算出针对不同的时间偏差(τ)的相关振幅(Kτ)并且确定这些相关振幅(Kτ)的平均值，并且将该平均值用作总振幅。
7.按照权利要求1或2所述的方法，其特征在于，计算出针对不同的时间偏差(τ)的相关振幅(Kτ)并且确定这些相关振幅(Kτ)的和，并且将该和用作总振幅。
8.按照权利要求1或2所述的方法，其特征在于，测量时间点的数量大于400，并且时间偏差(τ)位于50与150之间。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102015112628.1 | 2015-07-31 | ||
| DE102015112628.1A DE102015112628A1 (de) | 2015-07-31 | 2015-07-31 | Verfahren zur Erzeugung eines digitalen Fluoreszenzbildes |
| PCT/DE2016/100341 WO2017020887A1 (de) | 2015-07-31 | 2016-07-27 | Verfahren zur erzeugung eines digitalen fluoreszenzbildes |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107850543A CN107850543A (zh) | 2018-03-27 |
| CN107850543B true CN107850543B (zh) | 2021-01-15 |
Family
ID=56740726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680044740.2A Active CN107850543B (zh) | 2015-07-31 | 2016-07-27 | 用于生成数字荧光图像的方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10539505B2 (zh) |
| EP (1) | EP3329256B1 (zh) |
| JP (1) | JP6820332B2 (zh) |
| CN (1) | CN107850543B (zh) |
| DE (1) | DE102015112628A1 (zh) |
| WO (1) | WO2017020887A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2024024411A (ja) * | 2022-08-09 | 2024-02-22 | キヤノン株式会社 | 分析方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3984132B2 (ja) * | 2002-09-17 | 2007-10-03 | オリンパス株式会社 | 蛍光分光分析装置 |
| JP2010044576A (ja) * | 2008-08-12 | 2010-02-25 | Nec Engineering Ltd | 画像生成方法、画像生成装置、および画像生成プログラム |
| JP2010237116A (ja) * | 2009-03-31 | 2010-10-21 | Olympus Corp | 画像解析方法および画像解析装置 |
| CN102436648A (zh) * | 2011-08-11 | 2012-05-02 | 上海交通大学 | 基于背景荧光消除的目标荧光光谱解混方法 |
| CN102510282A (zh) * | 2011-10-25 | 2012-06-20 | 中国科学院空间科学与应用研究中心 | 一种时间分辨单光子计数二维成像系统及方法 |
| CN102793551A (zh) * | 2011-05-24 | 2012-11-28 | 柯尼卡美能达医疗印刷器材株式会社 | 胸部诊断辅助信息生成系统 |
| CN103188989A (zh) * | 2012-04-28 | 2013-07-03 | 清华大学 | 一种动态荧光分子断层图像的重建方法 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IT1231288B (it) * | 1989-07-19 | 1991-11-28 | Eniricerche Spa | Metodo per determinare la velocita' dei fili. |
| US6603546B1 (en) * | 2000-07-21 | 2003-08-05 | I.S.S. (Usa) Inc. | Rapid high throughput spectrometer and method |
| WO2003050535A2 (de) * | 2001-12-10 | 2003-06-19 | Evotec Oai Ag | Verfahren zur bestimmung von einflüssen unphysiologischer verbindungen, deren derivate und abbauprodukte auf organismen, organe und zellen |
| JP2005017282A (ja) * | 2003-05-30 | 2005-01-20 | Olympus Corp | 受光ユニットおよびそれを含む測定装置 |
| DE10327486B4 (de) * | 2003-06-17 | 2006-07-20 | Leica Microsystems Cms Gmbh | Vorrichtung zur Bestimmung gerichteter Transportprozesse |
| JP2007502988A (ja) * | 2003-08-19 | 2007-02-15 | セダーズ−シナイ メディカル センター | 蛍光寿命画像顕微法および分光法 |
| ITFI20030261A1 (it) * | 2003-10-15 | 2005-04-16 | Istituto Naz Di Ottica Applic Ata | Microscopio confocale multifotone con autocorrelatore |
| JP4914715B2 (ja) * | 2004-06-21 | 2012-04-11 | オリンパス株式会社 | 倒立顕微鏡システム |
| WO2006049180A1 (ja) * | 2004-11-01 | 2006-05-11 | Olympus Corporation | 発光測定装置及び発光測定方法 |
| DE102005000915A1 (de) * | 2005-01-06 | 2006-07-20 | Leica Microsystems Cms Gmbh | Vorrichtung zur multifokalen konfokalen mirkoskopischen Bestimmung der räumlichen Verteilung und zur multifokalen Fluktuationsanalyse von fluoreszenten Molekülen und Strukturen mit spektral flexibler Detektion |
| JP2008527359A (ja) * | 2005-01-17 | 2008-07-24 | バイオフォス・アーゲー | 粒子の動的パラメータを測定するための方法およびデバイス |
| DE102006033294A1 (de) * | 2006-07-17 | 2008-01-31 | Evotec Technologies Gmbh | Analyseverfahren für chemische und/oder biologische Proben |
| FR2909859B1 (fr) * | 2006-12-13 | 2011-02-11 | Lionel Francois Simon | Prothese articulaire de disque intervertebral |
| WO2009034458A2 (en) * | 2007-09-11 | 2009-03-19 | Universität Basel | Oxygen permeable polymeric nanocontainers for encapsulation of sensitive compounds |
| DE102008029458B4 (de) * | 2008-06-20 | 2019-02-07 | Carl Zeiss Microscopy Gmbh | Verfahren zum Aufzeichnen von Impulssignalen |
| WO2010141608A1 (en) | 2009-06-02 | 2010-12-09 | Imflux Llc | Superresolution optical fluctuation imaging (sofi) |
| EP2533048A4 (en) * | 2010-02-03 | 2013-08-21 | Prism Biolab Co Ltd | CONNECTION TO THE BINDING OF NATURALLY OBTAINING DENATURED PROTEINS AND METHOD FOR SCREENING AFTER THIS CONNECTION |
| JP2012008055A (ja) * | 2010-06-25 | 2012-01-12 | Olympus Corp | 画像解析方法および画像解析装置 |
| DE102011077269A1 (de) | 2011-06-09 | 2012-12-13 | Carl Zeiss Microimaging Gmbh | Hochauflösende Lumineszenzmikroskopie |
| DE102011084315A1 (de) | 2011-10-12 | 2013-04-18 | Carl Zeiss Microscopy Gmbh | Hochauflösende Lumineszenzmikroskopie |
| JP5654509B2 (ja) * | 2012-03-12 | 2015-01-14 | 三井造船株式会社 | 蛍光検出装置及び蛍光検出方法 |
| JP5870821B2 (ja) * | 2012-04-03 | 2016-03-01 | 国立研究開発法人理化学研究所 | 多重蛍光画像の画像解析のための装置、システム、方法、およびプログラム |
| DE102015107367A1 (de) * | 2015-05-11 | 2016-11-17 | Carl Zeiss Ag | Auswertung von Signalen der Fluoreszenzrastermikroskopie unter Verwendung eines konfokalen Laserscanning-Mikroskops |
-
2015
- 2015-07-31 DE DE102015112628.1A patent/DE102015112628A1/de not_active Withdrawn
-
2016
- 2016-07-27 CN CN201680044740.2A patent/CN107850543B/zh active Active
- 2016-07-27 WO PCT/DE2016/100341 patent/WO2017020887A1/de active Application Filing
- 2016-07-27 US US15/746,732 patent/US10539505B2/en active Active
- 2016-07-27 EP EP16754174.7A patent/EP3329256B1/de active Active
- 2016-07-27 JP JP2018524528A patent/JP6820332B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3984132B2 (ja) * | 2002-09-17 | 2007-10-03 | オリンパス株式会社 | 蛍光分光分析装置 |
| JP2010044576A (ja) * | 2008-08-12 | 2010-02-25 | Nec Engineering Ltd | 画像生成方法、画像生成装置、および画像生成プログラム |
| JP2010237116A (ja) * | 2009-03-31 | 2010-10-21 | Olympus Corp | 画像解析方法および画像解析装置 |
| CN102793551A (zh) * | 2011-05-24 | 2012-11-28 | 柯尼卡美能达医疗印刷器材株式会社 | 胸部诊断辅助信息生成系统 |
| CN102436648A (zh) * | 2011-08-11 | 2012-05-02 | 上海交通大学 | 基于背景荧光消除的目标荧光光谱解混方法 |
| CN102510282A (zh) * | 2011-10-25 | 2012-06-20 | 中国科学院空间科学与应用研究中心 | 一种时间分辨单光子计数二维成像系统及方法 |
| CN103188989A (zh) * | 2012-04-28 | 2013-07-03 | 清华大学 | 一种动态荧光分子断层图像的重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3329256A1 (de) | 2018-06-06 |
| CN107850543A (zh) | 2018-03-27 |
| US10539505B2 (en) | 2020-01-21 |
| DE102015112628A1 (de) | 2017-02-02 |
| WO2017020887A1 (de) | 2017-02-09 |
| EP3329256B1 (de) | 2022-09-21 |
| JP6820332B2 (ja) | 2021-01-27 |
| JP2018529106A (ja) | 2018-10-04 |
| US20190003967A1 (en) | 2019-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ulku et al. | Wide-field time-gated SPAD imager for phasor-based FLIM applications | |
| JP6086948B2 (ja) | ダイナミック・レンジが拡張された画像を生成するための方法、およびこのような方法を実施するための制御ユニット（３４）またはコンピュータ・プログラム、および光学系 | |
| US11204489B2 (en) | High-resolution scanning microscopy with discrimination between at least two wavelength ranges | |
| US7420674B2 (en) | Method and arrangement for analyzing samples | |
| US20080025462A1 (en) | Photon Event Distribution Sampling Apparatus and Method | |
| JP2006098419A (ja) | 照射サンプルの特性寸法の光学的取得方法 | |
| US20080181458A1 (en) | Light intensity measurement method and light intensity measurement system | |
| US9349572B2 (en) | Energy dispersive X-ray analyzer and method for energy dispersive X-ray analysis | |
| JP2012530947A (ja) | 顕微鏡画像における蛍光事象の評価方法 | |
| JP2019012019A (ja) | 電子線マイクロアナライザー及びデータ処理プログラム | |
| US20110293154A1 (en) | Method and system for characterizing a sample by imaging fluorescence microscopy | |
| Wiseman | Image correlation spectroscopy: mapping correlations in space, time, and reciprocal space | |
| JP6957641B2 (ja) | 荷電粒子線装置およびそれを用いた試料観察方法 | |
| US20230384223A1 (en) | Method and fluorescence microscope for determining the location of individual fluorescent dye molecules by means of adaptive scanning | |
| JP4798990B2 (ja) | 走査顕微鏡において複数の異なる放射波長を分離するための方法及び装置 | |
| CN107850543B (zh) | 用于生成数字荧光图像的方法 | |
| JP5551907B2 (ja) | 顕微鏡を用いて試料を撮像するための方法、顕微鏡、およびデータ記憶キャリア | |
| Liu et al. | Parallelized fluorescence lifetime imaging microscopy (FLIM) based on photon reassignment | |
| JP5975647B2 (ja) | 走査顕微鏡により試料を画像化するための方法および装置 | |
| US20200132976A1 (en) | Luminescence imaging apparatus and methods | |
| EP2069763A1 (en) | Analysis method for chemical and/or biological samples | |
| US9411141B2 (en) | Microscope and a method for examining a sample using a microscope | |
| Loidolt-Krüger et al. | Visualize dynamic processes with rapidFLIM HiRes, the ultra fast FLIM imaging method with outstanding 10 ps time resolution | |
| JP2022122181A (ja) | 補正パラメータ設定方法及びデータ補正方法 | |
| Nieman et al. | Hyperspectral imaging system for quantitative identification and discrimination of fluorescent labels in the presence of autofluorescence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |