CN109425978A - 具有改进的截面厚度的高分辨率2d显微镜检查 - Google Patents
具有改进的截面厚度的高分辨率2d显微镜检查 Download PDFInfo
- Publication number
- CN109425978A CN109425978A CN201810979516.3A CN201810979516A CN109425978A CN 109425978 A CN109425978 A CN 109425978A CN 201810979516 A CN201810979516 A CN 201810979516A CN 109425978 A CN109425978 A CN 109425978A
- Authority
- CN
- China
- Prior art keywords
- sample
- image
- imaging
- resolution
- focal plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000005855 radiation Effects 0.000 claims abstract description 26
- 238000005286 illumination Methods 0.000 claims abstract description 23
- 238000007689 inspection Methods 0.000 claims abstract description 10
- 230000003287 optical effect Effects 0.000 claims description 26
- 238000009877 rendering Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 3
- 230000007480 spreading Effects 0.000 claims description 3
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 238000000386 microscopy Methods 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 201000009310 astigmatism Diseases 0.000 description 2
- 238000004624 confocal microscopy Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000000399 optical microscopy Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000638935 Senecio crassissimus Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0036—Scanning details, e.g. scanning stages
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Microscoopes, Condenser (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
描述了用于样本的高分辨率2D扫描显微镜检查的方法和显微镜。在该方法中,利用照明辐射照射样本,使得照明辐射聚焦在样本中或上,以在一点处形成衍射受限的照明斑点,其中,该点以衍射受限的方式在空间分辨表面检测器上成像为衍射图像,其中,表面检测器具有解析衍射图像的衍射结构的空间分辨率,其中,成像点扩散函数和照明点扩散函数都不被操纵用于产生不对称,该点相对于样本以小于照明斑点的直径的一半的增量移位到不同扫描位置,其中,多个扫描位置在成像的焦平面的z位置固定时被扫描,读取表面检测器,并且根据表面检测器的数据和分配给所述数据的扫描位置来产生样本的2D图像,所述2D图像具有增加到超出用于成像的分辨率限制的分辨率。
Description
技术领域
本发明涉及一种用于样本的高分辨率2D扫描显微镜检查的方法和显微镜。
用照明辐射照射(illuminate,照明)样本,使得照明辐射被聚焦在样本中或样本上,以在一点处形成衍射受限的照明斑点。该点以衍射受限的方式在空间分辨表面检测器上成像为衍射图像。该表面检测器具有解析衍射图像的衍射结构的空间分辨率,其中,成像点扩散函数和照明点扩散函数都不被操纵用于产生不对称。该点相对于样本以小于照明斑点的直径的一半的扫描步长增量移位到不同的扫描位置。因此,在成像的焦平面的z位置固定时,扫描多个扫描位置。读取表面检测器,并根据表面检测器的数据和分配给所述数据的扫描位置产生样本的2D图像。该2D图像具有增加到超出成像的分辨率限制的分辨率。显微镜包括用于利用照明辐射照射样本的照明光束路径,其中,该照明光束路径没有用于操纵照明点扩散函数的元件。用于使该点在空间分辨表面检测器上衍射受限地成像为衍射图像的成像光束路径没有用于操纵成像点扩散函数的元件。表面检测器具有解析衍射图像的衍射结构的空间分辨率。用于使该点相对于样本以小于照明斑点的直径的一半的增量移位到不同扫描位置的扫描装置在图像的焦平面的固定z位置下扫描多个扫描位置。评估装置根据表面检测器的数据和分配给所述数据的扫描位置产生样本的2D图像。该2D图像具有增加到超出成像光束路径的分辨率限制的分辨率。
背景技术
光学显微镜检查的经典应用领域是激光扫描显微镜检查(简称LSM),其使用共焦检测布置以仅对位于物镜的焦平面中的样本平面成像。这获得了光学截面,其厚度取决于共焦光阑的大小。在样本的不同深度处记录多个光学截面允许产生样本的三维图像,于是样本的三维图像由不同的光学截面组成。因此,激光扫描显微镜检查适用于检查厚的标本。
原则上,光学显微镜的光学分辨率——包括LSM的光学分辨率——受物理定律的衍射限制。术语“高分辨率”在此用于超出衍射限制的分辨率。通过所谓的Airyscan显微镜检查来实现克服衍射限制,例如在EP 2317362A1中所描述的那样。该文件在其图5所示出和描述的实施方式中将样本的衍射受限的照明与表面检测器组合,其中,扫描装置被配置成使得被照射以具有照明斑点的点的衍射图像落在表面检测器上。这种布置称为“去扫描”检测器布置。其通常通过布置扫描器来实现,该扫描器使照明装置和成像装置之间的组合点与样本之间的光束路径偏转。这种扫描仪既作用于照明斑点又作用于被照射以具有照明斑点的成像点,结果是在扫描仪之后在成像方向上的光束路径是静止的。这种扫描仪的替代是使用能移位样本的可移动样本台。在这种情况下,衍射图像也落在表面检测器上。在EP2317362A1的概念中,表面检测器具有空间分辨率,参考成像比例,该空间分辨率影响衍射图像的过采样,从而允许解析衍射图像的结构。
在经典的共焦显微镜检查中,深度分辨率与共焦针孔光阑的大小密不可分。该光阑过滤掉焦外光并产生光学截面。因此,在通向更薄的光学截面的路径上,光损失增加,因为光阑会显著阻挡光。使用非常小的共焦光阑实际上产生非常薄的光学截面,但具有非常差的信噪比。
这个问题同样出现在Airyscan显微镜检查中,其用2D传感器取代经典方法中使用的针孔光阑(参见US3013467A),或者将光阑平面成像到这样的检测器上。US 8705172、DE102010049627A1、US 2011/0267688和C.Mueller等人的出版物Phys.Rev.Lett.,104,198101,2010;A.York等人“Resolution doubling in live,multi-cellular organismsvia multifocal Structured Illumination Microscopy,”Nature Methods,Vol.9,2012;G.De Luca等人,“Re-scan confocal microscopy:scanning twice for betterresolution”,Biomedical Optics Express,4(11),pp.2644–2656;S.Roth,“Opticalphoton reassignment microscopy(OPRA)”,arXiv:1306.6230;A.York等人,Nat.Methods9,749,2012,I.Gregor等人,Proc.SPIE 10071,“Single Molecule Spectroscopy andSuperresolution Imaging X”,100710C,2017年4月24日,doi:10.1117/12.2255891;A.Jesacher等人,“Three-dimensional information from two-dimensional scans:ascanning microscope with postacquisition refocusing capability”,Optica 2,pp.210-213,2015也提出了这种方法。后一种出版物使用相位掩模用于z编码深度信息。
在Airyscan显微镜检查中,已知3D图像记录,其中记录所谓的图像堆栈,即在不同的焦平面中捕获多个2D图像。随后,可以在3D去卷积中使用这些图像堆栈来产生深度分辨的图像。如果由于点扩散函数的定向的修改而使原本存在的模糊——即不是先验地获知散焦点是位于焦平面上方还是下方——被消除,则可以省去图像堆叠。利用z调制的点扩散函数消除了这种模糊,并且在3D重建中,可以根据单个2D图像重建三维图像。
通常,三维图像在一定程度上弥补了在介绍部分中描述的共焦光阑大小和光学截面厚度配对的问题。因此,首先产生三维图像,然后从三维图像中选择期望的截面。这里的缺点是,必须完成三维图像堆栈或必须使用被操纵的点扩散函数。因此,本发明的一个目的是在没有这两种要求中的任何一种要求的情况下改进2D Airyscan显微镜检查中的光学截面厚度。
发明内容
本发明提供了一种根据Airyscan原理的用于样本的高分辨率扫描显微镜检查的方法。利用照明辐射照射样本。在该步骤中,照明辐射被聚焦在样本中或样本上,以在一点处形成衍射受限的照明斑点。该点以衍射受限的方式在表面检测器上成像为衍射图像。表面检测器具有像素,因此具有解析衍射图像的衍射结构的空间分辨率。该点相对于样本移位到不同的扫描位置。连续扫描位置之间的增量小于照射斑点的直径,其中,样本的每个点若干次地包含在不同定位的照明斑点和衍射图像中。读取表面检测器。根据获得的数据和分配给所述数据的扫描位置产生样本的图像。该图像具有符合Airyscan原理的分辨率,该分辨率增加到超出了成像的分辨率限制。因此克服了衍射限制。执行纯2D扫描。
为了提高深度分辨率,2D图像不是直接根据表面检测器的数据产生的,因为那样衍射图像的大小(对应于共焦光阑的直径)与光学截面厚度之间的传统相互依赖性将再次出现。取代地,首先根据表面检测器的关于多个扫描位置的数据执行三维重建。由于纯2D扫描,数据源自焦平面的固定z位置。三维重建是已知的,但迄今为止仅以点扩散函数应用所述三维重建,点扩散函数通过成像和/或照明光束路径中的操纵元件以定向的方式在特定程度上变得不对称,以避免所提到的模糊。没有使用这样的元件。出于这个原因,3D重建仅提供临时的深度分辨3D图像,因为在没有操纵的情况下使用的是单个焦平面位置。存在模糊的问题是因为照明点扩散函数和成像点扩散函数两者都没有被定向地操纵并且因此关于光轴基本对称(由于不完美的部件仍然会发生不可避免的残余不对称——重要的是没有进行定向的PSF操作)。这种模糊有意被接受的。随后,减小的截面厚度被指定或其已经被预定。减小的截面厚度低于光学成像产生的截面厚度。从临时的深度分辨3D图像中,仅选择位于焦平面的固定z位置周围的处于减小的截面厚度内的部分。处于减小的截面厚度之外的部分被丢弃。这些是受上述模糊问题影响的部分。
由于点扩散函数未被修改,因此它基本上是对称的。这种对称通常关于焦平面的对称。通常,点扩散函数也关于光轴对称,特别地它是旋转对称的。在大多数显微镜中,点扩散函数对应于沙漏形状,腰部处于焦平面中。由于成像元件的实际实现而发生的任何剩余的不对称不会导致下述修改,这样的修改呈定向使得根据单个图像的三维重建会产生具有唯一性的深度分辨图像。已知的重建算法用于从图像数据进行3D重建,该图像数据是针对焦平面的固定位置并且在未修改点扩散函数的情况下获得的。已经针对显微镜在对点扩散函数进行定向操纵的情况下开发了这些用于产生深度分辨的3D图像的算法。因此,产生了3D图像,其是深度分辨的,但是由于其模糊,所以该图像是不完整且无伪影的3D图像。出于这个原因,这里将其称为临时的深度分辨3D图像,以便将其与在对点扩散函数进行定向且广泛的操纵的情况下相同的重建算法提供的深度分辨的无伪影3D图像区分开来。
成像的光束路径和照明的光束路径没有操纵点扩散函数并引入定向的、可确定程度的不对称的元件,这些元件对于已知的如Jesacher等人的出版物中所解释的深度分辨方法是必要且有用的。特别地,光束路径不包含以定向的方式不对称地且依赖于深度地调制点扩散函数的像散透镜或相位掩模。
在实施方式中,三维重建产生处于多个离散截面平面的3D图像。出于这个原因,优选进行细化,这产生临时的深度分辨3D图像使得它包含多个离散的截面平面。然后,选择对应于焦平面的固定z位置的截面作为所选择的部分。
在实施方案中,照明辐射激发荧光辐射的发射。这改善了信噪比并且总体上强化了算法。特别地,减小的截面厚度可以非常薄。
类似于该方法提供的显微镜具有评估装置,该评估装置执行方法步骤并且实施为是由此适合的。类似于该方法,提供了对应的显微镜,其包括照明光束路径和成像光束路径,该照明光束路径用于照射具有所述特征的样本,该成像光束路径用于使该点在具有像素的表面检测器上衍射受限地成像为衍射图像。如已经提到的,照明光束路径和成像光束路径不包含使点扩散函数不对称的操纵元件;特别是,没有提供像散透镜或相位掩模。此处,该术语操纵涉及对点扩散函数进行定向的影响以产生特别是在3D重建中防止位于焦平面下方的层和位于焦平面上方的层之间的模糊的不对称。因此,操纵意味着位于焦平面下方的层具有与位于焦平面上方的层明显不同的点扩散函数。这种操纵通常需要在光束路径中使用相位掩模和/或像散元件。
在下文解释用于显微镜检查的方法的各方面,所述方面同样涉及适于执行相应方法步骤的评估装置。该设备可以是利用相应的软件或相应的程序代码实现的计算机。相反,基于显微镜及其操作描述的方面同样涉及用于显微镜检查的方法。
不言而喻,在不脱离本发明的范围的情况下,上述特征和下面将要说明的特征不仅可以以指定的组合使用,而且可以以其他组合使用或单独使用。
附图说明
参考附图,下面将基于示例性实施方式更详细地解释本发明,该附图同样公开了对本发明必不可少的特征。这些示例性实施例仅用于说明而不应被解释为限制性的。举例来说,具有多个元件或组件的示例性实施方式的描述不应被解释为所有这些元件或组件对于实施目的而言是必需的。而是,其他示例性实施方式还可以包含替代的元件和组件、更少的元件或组件或附加的元件或组件。除非另有说明,否则不同示例性实施方式的元件或组件可彼此组合。针对示例性实施方式之一描述的修改和发展也可以适用于其他示例性实施方式。为了避免重复,各图中的相同元件或相应元件由相同的附图标记表示,并且不再解释多次。在图中:
图1示出了用于高分辨率显微镜检查的显微镜的示意图,
图2a和图2b示出了图1的显微镜的检测器的像素排列的示意图,
图3示出了关于显微镜检查方法的信号传播图,以及
图4示出了用于高分辨率共焦显微镜的数据处理的示例性实施方式。
具体实施方式
图1示意性地示出了共焦显微镜20,该共焦显微镜提供高分辨率,即根据如同从EP2317362 A1获知的所谓的Airyscans原理增加到超出衍射限制的分辨率。它具有光源6,以照射样本P,从而具有照明斑点14。照明光B经由光束整形装置7、反射镜8被引导到分束器9。分束器9被实施成使得它反射尽可能多的照明光B并将其引导到扫描仪10。照明光B被从扫描仪10通过另外的光束整形光学单元11和光束整形光学单元12引导到物镜13。物镜13将照明光B聚焦到样本P上进入照明斑点14。
由照明斑点B处的样本产生的样本光D由物镜13收集,并且在相对于照明光B的反向路径上被引导到分束器9。分束器9被实施成使得其尽可能多地传输样本光D。由分束器9传输的样本光D经由另外的滤光器15和另外的光束整形光学单元16传递到检测器17。检测器17检测样本光D,从其产生电信号,并将所产生的电信号经由导体23、24、25传递给控制和评估装置C,例如计算机。以这种方式,衍射图像18被记录,其是衍射受限的,如衍射结构18a所表明的那样。
为了获得样本P的图像,通过扫描仪10使照明斑点14以步进方式在样本P上移动。根据如此获得的步进样本信号,控制和评估装置C构出例如使用显示器可以呈现的3D图像。
扫描仪10在此允许记录横向延伸的二维图像,即在垂直于物镜光轴的平面中。
如已经提到的,照明光束路径和成像光束路径不包含以定向的(targeted,靶向的、有针对性的)方式使点扩散函数不对称的操纵元件;特别是,没有提供像散透镜或相位掩模。此处,该术语操纵涉及对点扩散函数进行定向的影响,以产生特别是在3D重建中防止位于焦平面下方的层和位于焦平面上方的层之间的模糊的不对称。因此,定向操纵意味着位于焦平面下方的层具有与位于焦平面上方的层明显不同的点扩散函数。这种操纵通常需要在光束路径中使用相位掩模和/或像散元件。
图2a和图2b示意性地例示了共焦显微镜的检测器。图2a示出了具有单个敏感表面30的传统检测器。为了实现高分辨率,共焦显微镜20的检测器17具有多个检测元件或像素31,如图2b所示。这些元件被编号,示例中的布置具有32个像素。
像素31的尺寸被设计成使得它们显著小于在检测器17上产生的衍射图像18。同时,像素31的数量以及由此的检测器17的整个表面被设计成使得可以检测衍射图像18的大部分的样本光D。
便于比较,图2a表明仅具有一个元件30的检测器,它用在具有典型分辨率的共焦显微镜中。该术语典型分辨率在此应理解为意味着所实现的分辨率至少对应于阿贝极限(Abbe limit)。相比之下,在具有增加的分辨率的共聚焦显微镜20中,照明和检测共同起作用,使得理论上可以实现两倍高的分辨率。在实践中,分辨率的增加是略微降低的,因为衍射限制附近的结构只能以非常差的对比度传输。可以实际地实现最高达阿贝极限的1.7倍的分辨率。
对于每个扫描点高分辨率共焦显微镜20的检测器17捕获对应于检测器元件31的数量的多个被检测信号 表示横向样本位置,z表示轴向样本位置,指数h表示检测器元件(像素)。在下文中,描述是基于32个像素的;然而,可以使用不同数量的像素。
每个检测器元件31捕获来自样本P的原始图像信号,得到信号原始图像信号彼此不同,其中差异是由于照明光斑点相对于由相应检测器元件检测的样本区域的单独横向距离引起的。通过“真实”样本图像与相应检测器元件h的点扩散函数(PSF)的卷积来在数学上描述原始图像信号:
评估单元C的功能是根据所有重建图像其尽可能准确地对应于初始样本使用去卷积(DCV)和由此的经去卷积的原始图像信号的随后组合来达到这个目的,其中去卷积和组合的过程可以以过程技术方式彼此融合。
图3例示了信号传播图中的所有步骤。起始点是PSF40和原始图像信号41。根据光学系统的特性,PSF是已知的。它们可以根据系统参数计算得到或测量一次并存储。信号通过线140、141传递到评估50,该评估相应地对所有原始图像信号去卷积,将它们联合在一起,并输出尽可能准确地对应于初始样本的样本图像42。
图3和所有其他信号传播图通过箭头140、141、151的厚度的方式示出了待传输的数据量。有32个原始图像信号和32个PSF在评估期间产生的是样本图像该图像的数据量是所有原始图像信号的数据量的三十二分之一。这由细箭头151表示。在箭头处同样表明的是关于单个图像的数据量的因数。也就是说,对于原始图像信号和PSF为//32,对于样本图像为//1。
虚线60分离整个共焦显微镜20的域,在这些区域之间必须传输有原始图像信号的数据。LSM(激光扫描显微镜检查)域在此包括共焦显微镜的硬件相关域,即光学、机械和电子器件,其允许数据传输到PC域。PC区域描述了控制和评估装置C,并从而描述了控制共焦显微镜20、数据的进一步处理和表示所需的一切。该域的核心通常是个人计算机C。具体而言,所有原始图像信号的数据必须从LSM传输到PC。此处必需的是一个功能强大的接口,换句话说,数据传输的速度可能受到特定接口的限制。
图4示出了高分辨率共焦显微镜20的数据处理的实施方式。评估单元50a在此执行例如所谓的维纳(Wiener)滤波。在该滤波中,首先对以空间坐标表示的原始图像信号进行傅立叶变换,使得原始图像信号现在可用于空间频率坐标PSF也是如此。被变换为傅立叶域的PSF被称为对象传递函数OTF。
对于理解50a中的去卷积公式,有两个方面很重要:
1、原始图像信号对应于与系统PSF卷积的样本;如上所说明的。
2、空间域中的卷积对应于傅立叶域中的乘法。也就是说,原始图像信号可以在傅立叶域中表示为样本和OTF的乘积:
如果将的公式插入到去卷积公式中,则结果为:
是指具有共轭-复相位的OTF,与(初始)OTF的乘积随后产生绝对平方值。
w是正实数,在这里被指定为维纳参数。如果维纳参数相对于较小,则分数几乎变为1且几乎对应于初始样本另一方面,不太低的w确保在位置处——在此处是较小的——分数不会发散。这种发散会使在原始图像信号中不可避免地存在的且在此未示出的噪声超出所有估量,并且使得到的图像不可用。
为了能够表示图像,必须通过逆傅立叶变换将可用于空间频率坐标的图像变换回空间域。
检测到的信号可以被建模为激发PSF和对象的乘积与检测PSF的卷积:
其中,是该激发PSF的位置,并且是该检测PSF(相机像素或光纤元件)的位置。
从2D情形(pz=0,z=0)获得的是三维方程:
(2)在px和py中的傅立叶变换产生
将(3)中的替换为得到
出于简化符号的目的,假设x和y对应于像素i的位置:
离散化(5)中的z上的积分产生
等式(6)将对象空间中的z维度变换为测量数据中的x-y维度。该变换完全由“共焦”OTF,定义。可以例如通过傅立叶域中的线性回归来重建对象空间中的z维度。
由于未操纵,特别是对称点扩散函数,在仅对于焦平面的这种三维重建之后可获得独特的解决方案。因此,可以毫无问题地选择该平面。丢弃外焦平面,即在预定截面厚度之外并且特别是在焦平面之上和之下的平面。在任何情况下都不可能唯一地分配它们。然而,这并不是问题,因为本显微镜检查产生2D图像。由此原因,在傅立叶域中的线性回归分析之后选择的是获得的z堆栈的中心图像。这对应于以下等式:
Claims (16)
1.一种用于样本的高分辨率2D扫描显微镜检查的方法,所述方法包括下述步骤:
-样本照明步骤,其中,利用照明辐射照射所述样本,使得所述照明辐射聚焦在所述样本中或所述样本上,以在一点处形成衍射受限的照明斑点,其中,以没有被操纵用于产生不对称的照明点扩散函数来利用照明辐射对所述样本进行照射,
-样本成像步骤,其中,使所述点以衍射受限的方式在空间分辨表面检测器上成像为衍射图像,其中:
--所述成像包括光学分辨率和焦平面,
--所述衍射图像包括衍射结构,
--所述表面检测器具有解析所述衍射图像的所述衍射结构的空间分辨率,
--以没有被操纵用于产生不对称的成像点扩散函数对所述样本进行成像,以及
--所述成像限定所述样本的截面厚度,
-扫描步骤,其中,使所述点相对于所述样本移位到不同的扫描位置,
-检测器读取步骤,其中,从所述表面检测器读取检测数据,并将所述检测数据分配给实际扫描位置,
-重复所述样本照明步骤、所述样本成像步骤和所述扫描步骤数次,使得在所述焦平面的z位置固定时,所述样本在多个扫描位置处被照射和成像,
-临时3D图像生成步骤,其中,通过使用所述表面检测器的在所述焦平面的固定z位置下的分配给多个扫描位置的数据的三维去卷积处理来产生临时的深度分辨3D图像,
-2D图像生成步骤,包括:
--指定减小的截面厚度或利用预定的减小的截面厚度,所述减小的截面厚度小于由所述样本成像步骤中的所述成像限定的截面厚度,以及
-在所述临时的深度分辨3D图像中,仅选择位于所述焦平面的固定z位置周围的处于所述减小的截面厚度的样本部分,并且丢弃位于所述焦平面的固定z位置周围的处于所述减小的截面厚度之外的部分,以及
-直接根据所述检测数据和所分配的扫描位置,或根据所述临时的深度分辨3D图像,来产生所选择的样本部分的2D图像,其中所述2D图像具有增加到超出光学分辨率的分辨率。
2.根据权利要求1所述的方法,其特征在于,产生所述临时的深度分辨3D图像的所述三维去卷积,使得其包含多个离散的截面平面,并且其中,将分配给所述焦平面的固定z位置的或最接近所述焦平面的固定z位置的截面平面用作所选择的部分。
3.根据权利要求1所述的方法,其中,所述成像点扩散函数和所述照明点扩散函数关于光轴对称。
4.根据权利要求2所述的方法,其中,所述成像点扩散函数和所述照明点扩散函数关于光轴对称。
5.根据权利要求1所述的方法,其中,通过所述照明辐射激发所述样本以发射荧光辐射。
6.根据权利要求2所述的方法,其中,通过所述照明辐射激发所述样本以发射荧光辐射。
7.根据权利要求3所述的方法,其中,通过所述照明辐射激发所述样本以发射荧光辐射。
8.根据权利要求4所述的方法,其中,通过所述照明辐射激发所述样本以发射荧光辐射。
9.一种显微镜,用于样本的高分辨率2D扫描显微镜检查,所述显微镜包括:
-照明光束路径,用于利用照明辐射照射所述样本,其中,所述照明辐射被聚焦在所述样本中或所述样本上,以在一点处形成衍射受限的照明斑点,其中,所述照明光束路径没有用于操纵照明点扩散函数的元件,
-成像光束路径,用于使所述点在提供检测数据的空间分辨表面检测器上衍射受限地成像为衍射图像,
--其中,所述成像光束路径没有用于操纵成像点扩散函数的元件,并且所述成像光束路径利用光学分辨率和截面厚度且从焦平面对所述样本成像,
--其中,所述衍射图像包括衍射结构,以及
--其中,所述表面检测器具有解析所述衍射图像的所述衍射结构的空间分辨率,
-扫描装置,用于使所述点相对于所述样本以小于所述照明斑点的直径的一半的扫描步长增量移位到不同的扫描位置,其中,在所述图像的焦平面的z位置固定时,所述扫描装置在多个扫描位置处扫描所述样本,
-评估装置,所述评估装置被配置用于读取出用于所述多个扫描位置的检测数据并且将所述扫描位置分配给所述检测数据,
-其中,所述评估装置还被配置为:
--执行对所述检测数据和所分配的扫描位置的三维去卷积,并产生临时的深度分辨3D图像,
--指定减小的截面厚度或针对所述评估装置预定的减小的截面厚度,所述减小的截面厚度小于所述截面厚度,
--仅选择在所述临时的深度分辨3D图像中位于所述焦平面的固定z位置周围的处于所述减小的截面厚度的样本部分,并丢弃位于所述焦平面的固定z位置周围的处于所述减小的截面厚度之外的部分,以及
--仅针对所选择的样本部分,直接根据所述检测数据和所分配的扫描位置,或根据所述临时的深度分辨3D图像,来产生所述样本的2D图像,所述2D图像具有增加到超出所述成像光束路径的分辨率限制的分辨率。
10.根据权利要求9所述的显微镜,其中,所述评估装置以所述三维去卷积产生所述临时的深度分辨3D图像,使得其包含多个离散的截面平面,并且使用分配给所述焦平面的固定z位置的或最接近所述焦平面的固定z位置的截面平面作为所选择的部分。
11.根据权利要求9所述的显微镜,其中,所述成像点扩散函数和所述照明点扩展函数关于光轴对称。
12.根据权利要求10所述的显微镜,其中,所述成像点扩散函数和所述照明点扩展函数关于光轴对称。
13.根据权利要求9所述的显微镜,其中,所述照明辐射光束被配置为激发所述样本以发射荧光辐射。
14.根据权利要求10所述的显微镜,其中,所述照明辐射光束被配置为激发所述样本以发射荧光辐射。
15.根据权利要求11所述的显微镜,其中,所述照明辐射光束被配置为激发所述样本以发射荧光辐射。
16.根据权利要求12所述的显微镜,其中,所述照明辐射光束被配置为激发所述样本以发射荧光辐射。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017119531.9 | 2017-08-25 | ||
DE102017119531.9A DE102017119531A1 (de) | 2017-08-25 | 2017-08-25 | Hochauflösende 2D-Mikroskopie mit verbesserter Schnittdicke |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109425978A true CN109425978A (zh) | 2019-03-05 |
CN109425978B CN109425978B (zh) | 2022-05-24 |
Family
ID=63294071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810979516.3A Active CN109425978B (zh) | 2017-08-25 | 2018-08-27 | 具有改进的截面厚度的高分辨率2d显微镜检查 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10996452B2 (zh) |
EP (1) | EP3447559B1 (zh) |
JP (1) | JP7190843B2 (zh) |
CN (1) | CN109425978B (zh) |
DE (1) | DE102017119531A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114556182A (zh) * | 2019-10-11 | 2022-05-27 | 阿贝里奥仪器有限责任公司 | 用于在荧光显微技术中像差校正的方法和装置 |
CN115598822A (zh) * | 2022-12-15 | 2023-01-13 | 达州爱迦飞诗特科技有限公司(Cn) | 智能多维度显微图像采集与处理方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019100184A1 (de) | 2019-01-07 | 2020-07-09 | Carl Zeiss Microscopy Gmbh | Hochauflösende Scanning-Mikroskopie |
DE102019107267A1 (de) * | 2019-03-21 | 2020-09-24 | Carl Zeiss Microscopy Gmbh | Verfahren zur hochauflösenden Scanning-Mikroskopie |
EP4049232A1 (en) | 2019-10-21 | 2022-08-31 | Illumina, Inc. | Increased calculation efficiency for structured illumination microscopy |
DE102020122605A1 (de) | 2020-08-28 | 2022-03-03 | Abberior Instruments Gmbh | Verfahren, Bildverarbeitungseinheit und Laserscanningmikroskop zum hintergrundreduzierten Abbilden einer Struktur in einer Probe |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030228053A1 (en) * | 2002-05-03 | 2003-12-11 | Creatv Microtech, Inc. | Apparatus and method for three-dimensional image reconstruction |
US20090219607A1 (en) * | 2008-01-17 | 2009-09-03 | Baylor College Of Medicine | Method and apparatus for enhanced resolution microscopy of living biological nanostructures |
US20110267688A1 (en) * | 2009-10-28 | 2011-11-03 | Ingo Kleppe | Microscopy Method and Microscope With Enhanced Resolution |
CN102931044A (zh) * | 2011-08-10 | 2013-02-13 | Fei公司 | 提供深度分辨图像的带电粒子显微镜 |
CN105319196A (zh) * | 2015-11-30 | 2016-02-10 | 哈尔滨工业大学 | 一种超分辨结构探测共焦荧光成像装置及其成像方法 |
CN105556370A (zh) * | 2013-08-15 | 2016-05-04 | 卡尔蔡司显微镜有限责任公司 | 高分辨率扫描显微术 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3013467A (en) | 1957-11-07 | 1961-12-19 | Minsky Marvin | Microscopy apparatus |
US6166853A (en) * | 1997-01-09 | 2000-12-26 | The University Of Connecticut | Method and apparatus for three-dimensional deconvolution of optical microscope images |
DE102013015933A1 (de) | 2013-09-19 | 2015-03-19 | Carl Zeiss Microscopy Gmbh | Hochauflösende Scanning-Mikroskopie |
DE102013218795A1 (de) * | 2013-09-19 | 2015-03-19 | Carl Zeiss Microscopy Gmbh | Laserscanningmikroskop und Verfahren zur Korrektur von Abbildungsfehlern insbesondere in der hochauflösenden Scanning-Mikroskopie |
DE102015111702A1 (de) * | 2015-07-20 | 2017-01-26 | Carl Zeiss Microscopy Gmbh | Hochauflösende, spektral selektive Scanning-Mikroskopie einer Probe |
-
2017
- 2017-08-25 DE DE102017119531.9A patent/DE102017119531A1/de active Pending
-
2018
- 2018-08-16 EP EP18189298.5A patent/EP3447559B1/de active Active
- 2018-08-22 JP JP2018155090A patent/JP7190843B2/ja active Active
- 2018-08-27 CN CN201810979516.3A patent/CN109425978B/zh active Active
- 2018-09-13 US US16/107,506 patent/US10996452B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030228053A1 (en) * | 2002-05-03 | 2003-12-11 | Creatv Microtech, Inc. | Apparatus and method for three-dimensional image reconstruction |
US20090219607A1 (en) * | 2008-01-17 | 2009-09-03 | Baylor College Of Medicine | Method and apparatus for enhanced resolution microscopy of living biological nanostructures |
US20110267688A1 (en) * | 2009-10-28 | 2011-11-03 | Ingo Kleppe | Microscopy Method and Microscope With Enhanced Resolution |
CN102931044A (zh) * | 2011-08-10 | 2013-02-13 | Fei公司 | 提供深度分辨图像的带电粒子显微镜 |
CN105556370A (zh) * | 2013-08-15 | 2016-05-04 | 卡尔蔡司显微镜有限责任公司 | 高分辨率扫描显微术 |
CN105319196A (zh) * | 2015-11-30 | 2016-02-10 | 哈尔滨工业大学 | 一种超分辨结构探测共焦荧光成像装置及其成像方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114556182A (zh) * | 2019-10-11 | 2022-05-27 | 阿贝里奥仪器有限责任公司 | 用于在荧光显微技术中像差校正的方法和装置 |
CN115598822A (zh) * | 2022-12-15 | 2023-01-13 | 达州爱迦飞诗特科技有限公司(Cn) | 智能多维度显微图像采集与处理方法 |
CN115598822B (zh) * | 2022-12-15 | 2023-03-10 | 达州爱迦飞诗特科技有限公司 | 智能多维度显微图像采集与处理方法 |
Also Published As
Publication number | Publication date |
---|---|
US10996452B2 (en) | 2021-05-04 |
US20190064495A1 (en) | 2019-02-28 |
JP2019040185A (ja) | 2019-03-14 |
EP3447559B1 (de) | 2020-04-08 |
EP3447559A1 (de) | 2019-02-27 |
JP7190843B2 (ja) | 2022-12-16 |
DE102017119531A1 (de) | 2019-02-28 |
CN109425978B (zh) | 2022-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109425978A (zh) | 具有改进的截面厚度的高分辨率2d显微镜检查 | |
EP2817670B1 (en) | Multi-focal structured illumination microscopy systems and methods | |
Müller et al. | Image scanning microscopy | |
US9892812B2 (en) | Fourier ptychographic x-ray imaging systems, devices, and methods | |
USRE38307E1 (en) | Method and apparatus for three-dimensional microscopy with enhanced resolution | |
US10156711B2 (en) | Multi-focal structured illumination microscopy systems and methods | |
US20210096348A1 (en) | Multi-focal structured illumination microscopy systems and methods | |
CN109632735B (zh) | 光学超分辨显微成像系统及成像方法 | |
Langhorst et al. | Structure brings clarity: structured illumination microscopy in cell biology | |
EP2831657B1 (en) | Improved confocal microscopy methods and devices | |
CN110023813B (zh) | 多焦结构化照明显微系统和方法 | |
US11209636B2 (en) | High-resolution scanning microscopy | |
US10776955B2 (en) | Method for the analysis of spatial and temporal information of samples by means of optical microscopy | |
Hsiao et al. | Telecentric design for digital‐scanning‐based HiLo optical sectioning endomicroscopy with an electrically tunable lens | |
JP2021509181A (ja) | プログラマブル・アレイ顕微鏡を用いた光学共焦点結像のための方法および装置 | |
CA2210801C (en) | Method and apparatus for three-dimensional microscopy with enhanced depth resolution | |
EP3627205A1 (en) | Confocal laser scanning microscope configured for generating line foci | |
CN117369106B (zh) | 一种多点共聚焦图像扫描显微镜及成像方法 | |
Zhou et al. | Confocal structured illumination microscopy | |
Van der Voort et al. | Confocal scanning laser fluorescence and reflection microscopy: Measurements of the 3-D image formation and applications in biology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |