CN116109480A - 显微术中提高分辨率的方法、装置和软件程序 - Google Patents
显微术中提高分辨率的方法、装置和软件程序 Download PDFInfo
- Publication number
- CN116109480A CN116109480A CN202211402220.8A CN202211402220A CN116109480A CN 116109480 A CN116109480 A CN 116109480A CN 202211402220 A CN202211402220 A CN 202211402220A CN 116109480 A CN116109480 A CN 116109480A
- Authority
- CN
- China
- Prior art keywords
- image
- traversal
- corrected image
- sample image
- point spread
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000000386 microscopy Methods 0.000 title claims abstract description 10
- 238000012937 correction Methods 0.000 claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims abstract description 30
- 238000012804 iterative process Methods 0.000 claims abstract description 28
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 12
- 238000002939 conjugate gradient method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 10
- 238000005457 optimization Methods 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 8
- 238000007476 Maximum Likelihood Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000013213 extrapolation Methods 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000000799 fluorescence microscopy Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000000339 bright-field microscopy Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010226 confocal imaging Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000001603 reducing effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004621 scanning probe microscopy Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/32—Micromanipulators structurally combined with microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种用于提高显微术中的分辨率的方法,包括:提供至少一个借助于显微镜(2)生成的摄取的样本图像(22),提供表征显微镜(2)的成像行为的点扩散函数,以及根据摄取的样本图像(22)计算具有提高的分辨率的样本图像,其中,在迭代过程(S4)中实现计算,迭代过程重复地遍历迭代循环(S4a;S4b),并且使用点扩散函数根据所摄取的样本图像(22)确定校正图像(24.0‑24.n),其中,在迭代过程(S4)中最小化与点扩散函数卷积的校正图像和所摄取的样本图像(22)之间的差,并且其中,在迭代过程(S4)中,遍历迭代循环(S4a;S4b)以递增的遍历号(k)被编号,并且每次遍历包括取决于相应遍的遍历号(k)并且在不依靠校正图像的情况下确定的步长因子。
Description
技术领域
本发明涉及一种用于在显微术中、特别是在荧光显微术中,提高分辨率的方法、设备和软件程序,其中,采用通过迭代过程的图像增强。在这种情况下,该方法包括以下步骤:提供至少一个通过显微镜产生的摄取的样本图像,提供表征显微镜的成像行为的点扩展函数,以及根据所摄取的样本图像计算出具有提高的分辨率的样本图像,其中,在重复地遍历迭代循环并且使用点扩展函数根据所摄取的样本图像确定校正图像的迭代过程中实现计算,其中,在迭代过程中最小化与点扩展函数相关的校正图像和所摄取的样本图像之间的差异。
背景技术
在现代显微术中,特别是在宽场荧光显微术中,相对很久以来已经知道,与通过显微镜可以实现的成像相比,图像处理能够使分辨率提高。显微镜的成像性能受到光学定律的限制,特别是Abbe衍射标准,以及图像摄取期间或检测器中的进一步噪声处理等。各种图像处理方法允许图像上的分辨率仍然增加,并且具有提高的分辨率的样本图像根据原始样本图像确定。具有迭代运算模式的基于最大似然的算法在这里是特别令人感兴趣的,因为其性能特别高。这些算法都是从点扩散函数是显微镜的基本特征的见解开始的。这描述了点状发射器的图像如何不再被感知为检测器上的点,而是通常被感知为小圆盘。因此,显微镜的分辨率降低特性通常由点扩散函数(德文“Punktbildverwaschungsfunktion”,英文“point spread function”,缩写为PSF)描述。在通常的宽场显微镜的情况下,PSF形成为类似沙漏的双锥形,并且在焦平面上具有最窄腰部,并且还沿着显微镜的光轴垂直于该最窄腰部延伸。
从数学的观点来看,显微镜中的成像是例如样品中的荧光染料的强度分布借助于点扩展函数的卷积。另外还涉及背景水平,并且根据依赖于显微镜的噪声函数,所获得的结果是有噪声的。然后,这些处理一起产生与样本中的原始强度分布相比具有较低分辨率的感知图像。通过反向计算这些过程实现分辨率的增加。这在文献中被称为去卷积。然而,精确的分析反向计算是不可能的,因为由于相互作用过程的统计特性,样本中的原始强度分布不能简单地从噪声图像中推断出来。图像增强处理是公知的。特别地,应当参考所谓的理查德森-露西(Richardson-Lucy)算法,其在1970年代被开发。这种方法,以下称为RL算法,迭代地确定校正图像,使得校正图像与点扩展函数的卷积以及考虑噪声过程尽可能地与显微镜获得的摄取的样本图像相同。在每次遍历表征迭代过程的迭代循环时,校正图像逐渐改善,即,与点扩展函数卷积的噪声校正图像和摄取的样本图像之间的差越来越减小。在原始文献中,最大似然性标准被用作优化,即用于量化。然而,这个过程的缺点是需要非常多遍,即1000遍或更多遍迭代。
因此,在现有技术中已经开发出开发RL算法的迭代加速方法。在这方面,应当参考L.Schaefer等的公开文献(Journal of Microscopy,Vol.204,Pt.2,2001年11月,第99-107页),和D.Biggs和M.Andrews的公开文献(Applied Optics,Vol.36,No.6,1997年3月,第1766-1775页),以及M.Ingaramo等的公开文献(PhysChem,Vol.15,2014,第794页-800页)。本发明建立在根据特定标准(例如最大似然或熵)执行优化的这种加速方法上。Schaefer等人的公开文献提出执行共轭梯度方法,以便在RL算法中迭代地更快地找到校正图像,当该校正图像与点扩展函数卷积时,并且考虑到诸如泊松噪声或高斯噪声的噪声处理,该校正图像尽可能地对应于所摄取的样本图像。在这种情况下,在每次遍历中计算梯度矢量和定义梯度矢量长度的Hessian矩阵。梯度矢量计算以及矩阵评估需要与点扩展函数的多个卷积运算。
Biggs和Andrews的公开文献对根据RL算法获得的校正图像进行外推,通过该外推,在前一遍历中导致当前校正图像的变化在一定的外推大小上继续。外推范围基于Biggs和Andrews的算法中大于0且小于1的步长因子。使用该因子,在估计步骤中继续在先前途径中导致当前校正图像的改变。步长因子表示外推先前变化的比例。该因子通过对先前校正图像求和来计算,也就是说需要先前校正图像数据,图像数据必须被存储并且基于与点扩展函数的卷积。估计的校正图像是根据RL算法计算下一校正图像的基础。然后在该计算期间进行卷积,其中点扩展函数有影响。通过估计步骤来加速该方法。
由于减少了必要的遍历号,因此现有技术实现了该方法的加速,但是反过来需要相对复杂的计算和图像存储。由于遍历号至少减半,因此这些方法的计算总体上急剧加速。
发明内容
在该现有技术的背景下,本发明基于进一步加速具有提高的分辨率的样本图像的计算的目的。
本发明的特征在于权利要求1、8和9,从属权利要求涉及优选的改进。
在用于提高分辨率的方法中,提供了借助于显微镜生成的摄取的样本图像。这优选涉及荧光图像,其进一步任选地摄取为宽图像。此外,提供了点扩展函数,如上所述,其表征显微镜的成像行为。在此基础上,根据所摄取的样本图像计算具有提高的分辨率的样本图像,其中执行迭代过程,该迭代过程使用点扩展函数根据所摄取的样本图像确定校正图像。由于迭代特性,在每次遍历迭代循环期间,优选地以基于最大似然的方式改进该校正图像。
在这种情况下,重要的是显微镜的分辨率不自动地对应于所使用的检测器的图像像素的数目。相反,分辨率在光学意义上理解为是指在样本图像中仍然可以被区分的两个点之间的距离。即使任意增加检测器部分上的像素数量也不会对该测量产生任何改变。然而,为了通过这里描述的方法来最佳地随后提高分辨率,当然,有利的是使用根据奈奎斯特定理实现至少两次采样的检测器。
迭代过程最小化所摄取的样本图像与遍历迭代循环的校正图像之间的差异,如果这与点扩展函数卷积并且可选地通过噪声项扩展的话。迭代过程包括多重遍历迭代循环,其中,每次遍历连续地用遍历号进行编号,即,在计数索引的意义上进行编号。然后,在迭代循环中使用的步长因子取决于相应遍历的遍历号。在迭代循环中,步长因子乘以在迭代过程中较早获得的变化,并且与较早确定的校正图像的评估或相对于其较早计算的变量相乘。步长因数限定了对校正图像或变量的变化的持续比例的规定,所述变化是通过校正图像的评估来确定的。为了确定步长因数,不再规定对校正图像进行分析或者尤其是与点扩散函数进行卷积。因此,由于省略了复杂的过程,存储和计算复杂度较低,因此进一步加速了该方法。然而,在遍历中使用非恒定步长因子,即,与现有技术的非加速方法相比,遍历数仍然减少,与已知加速方法相比,现在可以更快地执行遍历。
特别优选地,根据取决于遍历号并且随着遍历号的增加而向一收敛的函数来选择步长因子。该函数总是正的,即产生大于零的值,由于收敛特性,因此该值位于零和一之间。通过一种方法可以以非常简单方式从实验上确定精确的函数,其中,在根据现有技术的加速方法中,例如由Biggs和Andrews或Schaefer等人公开的方法中,对于多个实验性样品图像,在迭代过程中、即在遍历号上绘制步长因数的行为,并且通过合适的函数近似获得的曲线。这样,在现有技术中由大量计算和借助于要被大量存储的校正图像而产生的步长因子的行为,可以通过简单的函数来模拟。例如,一个可能的函数是k/(k+x),其中k是遍历号,x从一到五的区间中选择。在这种情况下,计算步长随着迭代过程的持续时间增加而减小。以这种方式,以非常简单的方式,可以模拟在共轭梯度过程中或在加速RL过程中以复杂方式计算的计算步长的行为,而不需要复杂的计算。已经证明,如果因子x位于区间[2.5;3.5],特别优选约为3。另一种可能性是依赖于(-k)的指数函数。
在借助于共轭梯度方法的迭代过程的情况下,如Schaefer等人所提出的,步长因子涉及梯度矢量长度,沿着其计算出的梯度矢量被跟随,以便找到下一个梯度矢量计算的起始点。在这种情况下,存在替代方案。在第一替代方案中,对于共轭梯度法的每个计算步骤,计算梯度矢量,而所计算的梯度矢量所遵循/跟随的梯度矢量长度例如仅对于一些遍历基于校正图像数据(例如通过评估Hessian矩阵)计算,并且对于其它遍历,例如每个第二次遍历,通过将步长因子应用于最后通过评估校正图像确定的梯度矢量长度来计算。步长因子因此继续/更新基于校正图像数据计算的梯度矢量长度。而梯度矢量,对于每个遍历,即也对于其中采用基于遍历号的步长因子的那些遍历,都被单独计算。在第二种替代方案中,在最后一次基于校正图像计算梯度矢量长度期间得到的梯度矢量与步长因子的使用相结合。因此,不仅梯度矢量长度以步长因子继续/更新,而且使用与先前在基于校正图像的计算期间相同的梯度矢量。另外,该方法通常收敛,但是在两种替代方案中都显著加速,因为不仅必须遵循梯度矢量所沿的长度计算。
在例如由Biggs和Andrews描述的加速RL算法的情况下,在估计校正图像的计算期间使用步长因子。每次遍历执行估计步骤和卷积步骤的序列,估计步骤通过步长因子根据当前校正图像计算出估计的校正图像,卷积步骤使用点扩展函数根据估计的校正图像计算出当前遍历的改进的校正图像。从相应遍历的当前校正图像出发,由前一遍历的卷积步骤引起的校正图像变化因此被外推,优选线性地外推。在此应用步长因子,其继续由前一遍历的卷积步骤引起的改变。在步长因子具有在零和一之间的值的情况下,由此定义外推最后的校正图像变化的比例。换句话说,在前一遍历的卷积步骤中实现的改变在估计步骤中继续并外推,以便获得下一卷积步骤的基础。
遍历号用于计算步长因子。不需要求助于先前的校正图像,也不需要求助于卷积运算或求助于点扩展函数。这进一步加速了已知的加速方法。
在加速RL算法的情况下提供了进一步的优点,因为例如根据来自Biggs和Andrews的等式(10)的步长因子计算也可导致负的步长因子。在这种情况下,Biggs和Andrews将步长因数设置为零,结果,根据该公开中所述的内容,加速过程结束,并且必须再次从头开始重新运行。这在噪声图像的情况下尤其关键,因为这种停止和重新开始可能频繁发生。结果,该方法确实很稳定,但是很缓慢。现在,从遍历号开始计算步长因子可以以非常简单的方式确保根本不会出现负步长因子。因此,加速过程始终被执行,这进一步缩短了该方法,因为现在也减少了遍历数。
优选地,与基于最后的校正图像的图像变化的计算交替地实现基于k的步长因子的使用。在根据共轭梯度的优化方法的情况下,例如,利用步长因子的基于k的计算来执行每个第m步(m=2,3,4,...)。这确保了基于校正图像,例如通过评估Hessian矩阵,以足够的数量计算梯度矢量长度。这确保了即使在具有非常多噪声的图像的情况下该方法也具有良好的收敛性。在加速RL方法中,每当在每个估计步骤之后执行卷积步骤时,基于校正图像实现每个第二次计算。在此,其他频率也是可能的,例如每3、4或5个卷积步骤执行一个估计步骤。
该方法可以在二维样品图像上和在由二维样品图像组成的3D叠层上执行。该方法特别优选在通过荧光显微术摄取的样品图像上进行。然而,如从所引用的现有技术中已知的,如果预先通过反转将常规的明场显微图像转换成暗场图像,则也可以处理常规的明场显微图像。本申请可以用于宽视场图像的情况,但是同样可以用于通过共焦扫描,特别是通过解析共焦成像的衍射图像的共焦扫描(所谓的Airy扫描显微术)而有利的图像的情况。
在迭代过程中,在各遍历中分别从在各遍历的开始时存在的当前校正图像计算改善的校正图像。然后,所述改进的校正图像用作下一遍历的当前校正图像。如在任何迭代过程中,由于必须设置开始条件,所以第一遍历的形式的开始不同于下一遍历。为此,所摄取的样本图像被用作当前校正图像。
在实施例中,校正图像已经是具有提高的分辨率的样本图像。替代地,校正图像可以是用于校正样本图像的各个图像点的强度的校正因子的对应的二维布置(对应于样本图像)。
本发明还包括用于执行该方法的装置和软件程序。
不言而喻,在不脱离本发明的范围的情况下,上述特征和下面将要解释的特征不仅可以以指定的组合使用,而且可以以其它组合或单独使用。
附图说明
下面将参照附图基于示例性实施例更详细地解释本发明,附图同样公开了本发明的必要特征。这些示例性实施例仅是说明性的,而不应被解释为限制性的。例如,具有多个元件或部件的示例性实施例的描述不应被解释为意味着所有这些元件或部件对于实现是必须的。相反,其它示例性实施例也可以包含替代元件和部件、更少的元件或部件、或附加的元件或部件。除非另有说明,不同示例性实施例的元件或部件可以彼此组合。针对示例性实施例之一描述的修改和变化也可以应用于其它示例性实施例。为了避免重复,在不同附图中相同或彼此对应的元件由相同的附图标记表示并且不重复解释。其中:
图1示出了包括显微镜和图像处理装置的系统的示意图;
图2示出了由图1的图像处理装置执行的用于提高分辨率的方法的流程图;
图3示出了图2的流程图的迭代循环的详细视图;
图4示出了用于阐明图3的迭代循环的效果的示意图,以及
图5示出了用于其它实施例的类似于图3的详细视图。
具体实施方式
图1示出了显微镜2,其被实施为常规的宽场荧光显微镜,并且其借助于物镜4通过光路6将样品8成像到检测器10上。这里,在示例性实施例中采用荧光显微术,并且因此另外提供光源12,其经由被实施为分色器的分光器14将照明辐射引导到样品8上,照明辐射在那里充当激发辐射并且激发样品发出荧光。来自样品8的、相对于照明辐射红移的(rotverschobene)荧光辐射可以穿过分束器14,并因此到达检测器10。检测器10在其像素数方面被配置成使得其根据奈奎斯特定理相对于显微镜2(特别是通过物镜4)所拥有的光学分辨率产生至少双倍的过采样。检测器10和光源12经由未进一步指示的控制线连接到控制装置16,该控制装置16控制显微镜2的运行并且特别地接收来自检测器10的图像数据。为此目的,控制装置16具有处理器17并且连接到图像存储单元18,控制装置16在图像存储单元中存储由检测器10提供的被摄取的样品图像。
图像存储单元18还由图像处理装置20访问,该图像处理装置同样具有处理器(这里是处理器21)并且对被摄取的样本图像进行处理,以便生成具有更高分辨率的样本图像,该具有更高分辨率的样本图像的分辨率被增加到高于在所摄取的样本图像中实现的测量。与直接在检测器10的信号中实现的光学分辨率相比,这些高分辨率样本图像(其在相应计算机程序的控制下由图像处理装置20生成)具有更好的位置分辨率
当然,图像处理装置20也可以被集成到控制装置16中或者由控制装置实现。下面描述的具有分离的图像处理装置20(其与显微镜2一起形成显微术系统)的情况,具有图像处理也可以与显微镜2空间分离地执行的优点。在控制装置16中或者通过控制装置16及其处理器17实现图像处理装置具有的优点是,在显微过程期间已经可以执行图像增强,使得用户可以优化地设置显微图像摄取的参数,例如照明强度等。
只要以下描述图像处理或图像分辨率提高,其便涉及可能的多个荧光通道中的一个荧光通道。显微镜2(其相应地在样品8中激发出多个在不同光谱范围(所谓的荧光通道)中的各种荧光过程)同样可以从这里描述的图像处理中获益,所述图像处理在这种情况下在相应的荧光通道中执行,即对于所摄取的样品图像的不同颜色来执行,所述样品图像分别单独地根据荧光通道分开地累积(anfallenden)摄取。
图2示出了由图像处理装置20(或者由控制装置16)执行的用于提高分辨率的方法的流程图。在步骤S1中,该方法开始。然后,在步骤S2中,提供通过显微镜2产生的被摄取的样本图像。
在步骤S3中,提供表征显微镜2的成像行为(Abbildungsverhalten)的点扩展函数(Punktbildverwaschungsfunktion)。
然后,在迭代过程S4中,从被摄取的样本图像计算出具有提高的分辨率的样本图像,其中,所述迭代过程涉及重复地遍历迭代循环(Iterationsschleife),这在图3中详细示出,在迭代过程S4结束之后,得到校正图像,在步骤S5中该校正图像作为具有提高的分辨率的样本图像被存储在图像存储单元18中。该样本图像已经是具有提高的分辨率的样本图像或构成其基础(见上文)。在步骤S6中,方法结束。
迭代过程S4可以以各种方式配置,但是其共同之处在于它们包括步长因子(Schrittweitenfaktor),该步长因子仅取决于对迭代循环S4a的相应遍历的遍历数,所述遍历在所述迭代过程S4之下。
迭代过程S4的第一实施例使用由在前面引用的文献中的Biggs和Andrews描述的方法。所述文献在其全部范围内被并入本文。在图4中阐明了基本原理,图4示意性地示出了在校正图像的优化期间任意图像点的强度变化。图4中的图示仅通过示例的方式涉及一个图像点。实际上,对图像的所有图像点执行相应的处理,这证明使用术语“校正图像”是合理的。
图4中的实心圆涉及例如通过最大似然优化而计算出的校正图像,而非实心圆涉及估计的校正图像。图4中的附图标记中的附加有点的数字与图3中的迭代循环的遍历数有关,并且图3中的附加有点的数字与图4中的附图标记中的相应数字有关。
图3中的附图标记在此表示以下内容:
S4.24迭代步骤S4的开始步骤;
S4.28对迭代步骤S4的迭代循环的遍历中的估计步骤;
S4.32遍历的卷积步骤,其中,卷积操作对应于开始步骤S4.24的卷积操作;
S4.26提供改进的校正图像,其是先前实施步骤S4.32的结果。
在图4中,如已经提到的,附有点的数字表示遍历数k,在这种情况下,附图标记表示以下内容:
24.k在第k次遍历中由卷积步骤S4.32获得的改善的校正图像;
26.k第k次遍历通过估计步骤S4.28的要开始的当前校正图像;
28.k箭头,其用于在改变当前校正图像26.k以形成估计的校正图像30.k的意义上来象征估计步骤S4.28的效果;
32.k箭头,其用于在朝着改进的校正图像26.k改变的意义上来象征卷积步骤S4.32的效果。
在根据图3和图4中的实施例的迭代过程中,步骤S4.24(其具有遍历号k=0)从被摄取的样本图像22出发在对应于箭头32.0的卷积步骤中计算出改善的校正图像24.0。卷积步骤例如使用来自Biggs和Andrews的公开文献中的等式(2)中所陈述的基于最大似然的RL算法。Biggs和Andrews指出,还有其它优化标准,例如基于熵最大化或借助于Gerchberg-Saxton算法。这种变型在这里同样是可能的。重要的只是,卷积步骤使用PSF执行校正图像的优化。在这种情况下,所谓优化应当被理解为校正图像(其与PSF卷积并有噪声)与被摄取的样本图像之间的差异的根据所选标准(例如最大似然、熵、Gerch-Berg-Saxton算法)的上述减小。
在下一遍历(k=1)中,迭代处理S4的迭代循环S4a开始。这里,开始遍历/步骤S4.24的结果,即改进的校正图像24.0,现在被用作当前校正图像26.1。其经受估计步骤S4.28,该步骤(例如线性地)外推由先前卷积步骤引起的变化。所述变化由箭头32.0的方向和长度示出。估计步骤S4.28由此生成估计的校正图像30.1。
定义外推范围(即箭头28.1的长度)的步长因子在此例如通过公式k/(k+3)产生。它描述了用于外推的箭头32.0的变化比例,并代替了来自Biggs和Andrews的等式(10)。因此,这里的实施例偏离了Biggs和Andrews公开的方法,Biggs和Andrews在等式(10)中计算步长因子要复杂得多,并且没有考虑过程中的k值。在遍历k=1中,步长因子现在是前一卷积步骤的范围的四分之一。
根据加速RL算法,将在上一个卷积步骤中产生的差异与步长因数相乘。因此,步长因子本身并不定义估计步骤S.28中的变化,而是定义了前因子,其将与前一遍历中的最后卷积步骤中的变化相乘。
然后,通过象征性地表示为图4中的箭头32.1的卷积步骤S4.32,从估计的校正图像30.1计算出改进的校正图像24.1。就计算操作而言,根据箭头32.1的卷积步骤对应于根据箭头32.0的卷积步骤,尽管是由于基于其它图像信息(在32.0的情况下摄取的样本图像,以及在32.1的情况下估计的校正图像)的迭代优化。两者都遵循传统的RL算法(例如,Biggs和Andrews的文献中的等式(2))。
然后在步骤S4.26中提供改进的校正图像24.1,并且因此该校正图像可以在下一遍历(k=2)中用作当前校正图像26.2。迭代循环S4a因此跳回到步骤S4.28,然后对于随后的遍历(k=2)执行该步骤。在后者中,根据图4中的示意图,现在计算估计的校正图像30.2(估计步骤S4.28)。根据公式k/(k+3),现在使用的步长因子已经是0.4。换句话说,在估计步骤中使用由根据箭头32.1的先前卷积步骤带来的差异的40%。在以这种方式获得的估计的校正图像30.2的基础上,现在通过卷积步骤S4.32计算改进的校正图像24.2,并在步骤S4.26中提供该改进的校正图像,因此在下一遍历中,可以在步骤S4.28中将其作为当前校正图像26.3读入。然后继续该遍历。其计算估计的校正图像30.3并由此计算改进的校正图像24.3。该过程执行n遍。终止标准在现有技术中是已知的。
如已经提到的,根据估计步骤S4.28的箭头28.1...28.28.n的步长因子仅取决于遍历号。随着遍历号的增加,步长因子向一收敛。由于步长因数根据Biggs和An-Drews的公开文献中的等式(6)是差异32.k(该差异在根据RL算法在前一卷积过程期间产生)前的前因子,因此随着所述方法进行,箭头28.k的长度近似于象征先前的卷积步骤S4.32的箭头32.(k-1)的长度。
然而,使用步长因子(其例如根据Biggs和Andrews定义外推大小(Extrapolationsweite))来实现迭代过程S4并不是唯一可能的实现方式。迭代过程S4同样也可以根据共轭梯度过程(例如Schaefer等人提出的)来实现。在此,在一些遍历中(例如每个第二次遍历中),Hessian矩阵的计算被一个函数所替代,该函数取决于遍历数并且乘以通过Hessian矩阵的计算而计算出的最后梯度矢量长度。因此,在某些遍历中,用非常简单的计算代替Schaefer等人的文献中的公式(13)的计算。所述文献的内容在此同样并入本文。
在这方面,图5示出了第二实施例的图2的迭代过程S4的流程图。在根据步骤S4.40的起始遍中,通过共轭梯度法计算第一校正图像。为此,计算梯度矢量和梯度矢量长度,计算梯度矢量在根据Schaefer等人的方法中要求与PSF进行两次卷积运算,计算梯度矢量长度根据来自Schaefer等人的公式系统需要计算Hessian矩阵并且因此需要与PSF进行两次进一步的卷积运算。开始步骤S4.40的结果是第一校正图像。该第一校正图像然后在迭代循环S4b中被改进。为此,首先在步骤S4.42中再次计算梯度矢量,并且在步骤S4.44中计算梯度矢量长度。所述梯度矢量长度再次通过评估Hessian矩阵(Hesse’schen Matrix)来确定。在步骤S4.46中,根据步骤S4.42的梯度矢量和基于校正图像确定的(应用Hessian矩阵计算)梯度矢量长度来计算改进的校正图像。
在随后的步骤S4.48中,再次计算所述改进的校正图像的梯度矢量。在步骤S4.50中,进行梯度矢量长度的计算,尽管现在使用步长因子,来自步骤S4.44的梯度矢量长度被乘以该步长因子。换句话说,步骤S4.50不涉及为了确定梯度矢量长度而对校正图像的评估。相反,已经基于校正图像预先获得的梯度矢量长度通过步长因子继续。步长因子完全基于遍历号,即基于k。其遵循一个函数,该函数尽可能模拟共轭梯度方法中梯度矢量长度的变化。其通常是向一收敛的函数。
基于该基于k的步长因子、来自步骤S4.44的梯度矢量长度和来自步骤S4.48的梯度矢量,然后在步骤S4.52中计算出进一步改进的校正图像,该图像然后形成迭代循环S4b中返回的起始点,并且用于在步骤S4.42的下一次执行中计算梯度矢量,以及用于在步骤S4.44的下一实施中根据校正图像确定梯度矢量长度。
在图5所示的形式中,在校正图像的每个第二次计算时,步长因子在步骤S4.50中被使用。当然,这种1∶1的划分是可选的。同样可能的是,使用、增加或减少其它划分,例如1∶2、1∶3等,或2∶1、3∶1等,或2∶3、3∶2等。图5中的示意图相应地发生改变。
在第三实施例中,计算梯度矢量的步骤S4.48被使用在步骤S4.42中已计算出的梯度矢量所代替。然后,在步骤S4.48和S4.50中不仅来自步骤S4.44的梯度矢量长度以基于k的方式继续,而且还使用来自步骤S4.42的梯度矢量,对于该梯度矢量,现在被继续的梯度矢量长度最初已经被确定。结果,实现了该方法的进一步缩短。
Claims (9)
1.一种用于提高显微术中的分辨率的方法,包括:
-提供至少一个被摄取的样本图像(22),所述样本图像通过显微镜(2)生成,
-提供表征所述显微镜(2)的成像行为的点扩展函数,以及
-从所述被摄取的样本图像(22)计算出具有提高的分辨率的样本图像,
-其中,所述计算在迭代过程(S4)中实现,所述迭代过程重复地遍历迭代循环(S4a;S4b),所述迭代过程使用所述点扩展函数从所述被摄取的样本图像(22)确定出校正图像(24.0-24.n),其中,在所述迭代过程(S4)中使与所述点扩展函数卷积的所述校正图像与所述被摄取的样本图像(22)之间的差异最小化,以及
-其中,在所述迭代过程(S4)中,对所述迭代循环(S4a;S4b)的遍历被以递增的遍历号(k)编号,并且每次遍历包括步长因子,所述步长因子取决于相应遍历的所述遍历号(k)并且在不依靠校正图像的情况下被确定。
2.根据权利要求1所述的方法,其中,根据取决于所述遍历号(k)的、总是正的函数来选择所述步长因子,所述总是正的函数随着增加的所述遍历号(k)而朝向一收敛。
3.根据权利要求2所述的方法,其中,所述函数为k/(k+x),其中,k为遍历号,x选自一到五的区间。
4.根据权利要求2所述的方法,其中,所述函数包含-k的指数函数,其中,k为遍历号。
5.根据前述权利要求中任一项所述的方法,其中,所述迭代过程执行共轭梯度法,并且所述步长因子与前一次遍历中计算出的梯度矢量长度相关。
6.根据前述权利要求中任一项所述的方法,其中,
-所述迭代过程(S4)执行理查德森-露西算法,
-在每次遍历中,从当前校正图像(26.1-26.n)确定出改进的校正图像(30.1-30.n),该改进的校正图像然后被用作下一次遍历的当前校正图像(26.1-26.n),以及
-至少一些对所述迭代循环(S4b)的遍历均包括估计步骤(S4.28)和卷积步骤(S4.32)的序列,所述估计步骤借助于所述步长因子从相应的遍历的当前校正图像(26.1-26.n)计算出估计的校正图像(30.1-30.n),所述卷积步骤使用点扩展函数从所述估计的校正图像(30.1-30.n)计算出相应遍历的改进校正图像(24.1-24.n)。
7.根据权利要求6所述的用于提高分辨率的方法,其中,在所述估计步骤(S4.28)中所述估计的校正图像(30.1-30.n)通过这样的过程被计算,在该过程中,在不使用点扩展函数的情况下从相应的第k次遍历的当前校正图像(26.1-26.n)外推出校正图像变化(32.0-32.n),该校正图像变化由之前的第(k-1)次遍历的卷积步骤(S4.32)所引起,其中,所述步长因子限定所述估计步骤(S4.28)的外推大小。
8.一种用于提高被摄取的样本图像的分辨率的装置,所述样本图像由显微镜摄取,其中,所述装置包括图像处理装置(20),所述图像处理装置包括处理器(21)并且被配置成用于执行根据权利要求1至7中的任一项所述的方法。
9.一种包括指令的软件程序,当所述程序由计算机执行时,所述指令使所述计算机执行根据权利要求1至7中任一项所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021129159.3A DE102021129159A1 (de) | 2021-11-09 | 2021-11-09 | Verfahren, Vorrichtung und Softwareprogramm zur Auflösungssteigerung in der Mikroskopie |
DE102021129159.3 | 2021-11-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116109480A true CN116109480A (zh) | 2023-05-12 |
Family
ID=84330378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211402220.8A Pending CN116109480A (zh) | 2021-11-09 | 2022-11-09 | 显微术中提高分辨率的方法、装置和软件程序 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230143873A1 (zh) |
EP (1) | EP4177663A1 (zh) |
CN (1) | CN116109480A (zh) |
DE (1) | DE102021129159A1 (zh) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020123668A1 (de) | 2020-09-10 | 2022-03-10 | Carl Zeiss Microscopy Gmbh | Verfahren zur Bildauswertung für die SIM-Mikroskopie und SIM-Mikroskopieverfahren |
-
2021
- 2021-11-09 DE DE102021129159.3A patent/DE102021129159A1/de active Pending
-
2022
- 2022-11-07 US US18/053,081 patent/US20230143873A1/en active Pending
- 2022-11-08 EP EP22206205.1A patent/EP4177663A1/de active Pending
- 2022-11-09 CN CN202211402220.8A patent/CN116109480A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
DE102021129159A1 (de) | 2023-05-11 |
US20230143873A1 (en) | 2023-05-11 |
EP4177663A1 (de) | 2023-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cannell et al. | Image enhancement by deconvolution | |
Smith et al. | Structured illumination microscopy with noise-controlled image reconstructions | |
Zanella et al. | Towards real-time image deconvolution: application to confocal and STED microscopy | |
WO2021188839A1 (en) | Single-shot autofocusing of microscopy images using deep learning | |
Ikoma et al. | A convex 3D deconvolution algorithm for low photon count fluorescence imaging | |
CN111656246A (zh) | 用于定位显微的方法和系统 | |
WO2019076192A1 (zh) | 图像重建方法、装置及显微成像装置 | |
Kim et al. | Blind deconvolution of 3D fluorescence microscopy using depth‐variant asymmetric PSF | |
WO2019152216A1 (en) | Systems and methods for robust background correction and/or emitter localization for super-resolution localization microscopy | |
US11841324B2 (en) | Method and device for estimating a STED resolution | |
Li et al. | PURE-LET deconvolution of 3D fluorescence microscopy images | |
Ponti et al. | Image restoration using gradient iteration and constraints for band extrapolation | |
EP3471393B1 (en) | Data recovery device, microscope system, and data recovery method | |
Ruan et al. | Adaptive total variation based autofocusing strategy in ptychography | |
Zhao et al. | Faster super-resolution imaging with auto-correlation two-step deconvolution | |
CN116109480A (zh) | 显微术中提高分辨率的方法、装置和软件程序 | |
CN108717685B (zh) | 一种增强图像分辨率的方法及系统 | |
JP6661491B2 (ja) | 画像処理装置および画像処理方法 | |
JPH11272866A (ja) | 画像復元方法 | |
US11282175B2 (en) | Sample imaging and image deblurring | |
Wuttig et al. | Subpixel analysis of a double array grating spectrometer | |
Liu et al. | Enhanced 4Pi single-molecule localization microscopy with coherent pupil based localization and light sheet illumination | |
US20240119556A1 (en) | Methods, systems, and computer readable media for generating and using unbinned image data | |
CN117611654B (zh) | 一种主轴热伸长测试方法及测试装置 | |
JP6346455B2 (ja) | 画像処理装置及び顕微鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |