CN112368625A - 可设计的多点照明器、共焦滤光器、共焦显微镜以及对所述共焦显微镜进行操作的方法 - Google Patents
可设计的多点照明器、共焦滤光器、共焦显微镜以及对所述共焦显微镜进行操作的方法 Download PDFInfo
- Publication number
- CN112368625A CN112368625A CN201980043276.9A CN201980043276A CN112368625A CN 112368625 A CN112368625 A CN 112368625A CN 201980043276 A CN201980043276 A CN 201980043276A CN 112368625 A CN112368625 A CN 112368625A
- Authority
- CN
- China
- Prior art keywords
- hologram
- acousto
- confocal
- light
- light beam
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 22
- 230000003287 optical effect Effects 0.000 claims abstract description 32
- 230000004044 response Effects 0.000 claims abstract description 8
- 238000005286 illumination Methods 0.000 claims description 36
- 238000003384 imaging method Methods 0.000 claims description 21
- 210000001747 pupil Anatomy 0.000 claims description 11
- 238000001093 holography Methods 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000006185 dispersion Substances 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000000979 retarding effect Effects 0.000 claims 2
- 230000001268 conjugating effect Effects 0.000 abstract 1
- 239000000523 sample Substances 0.000 description 43
- 230000005284 excitation Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 239000013078 crystal Substances 0.000 description 10
- 238000001914 filtration Methods 0.000 description 8
- 238000000354 decomposition reaction Methods 0.000 description 7
- 238000000386 microscopy Methods 0.000 description 7
- 230000007704 transition Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004624 confocal microscopy Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000002073 fluorescence micrograph Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- LWTDZKXXJRRKDG-KXBFYZLASA-N (-)-phaseollin Chemical compound C1OC2=CC(O)=CC=C2[C@H]2[C@@H]1C1=CC=C3OC(C)(C)C=CC3=C1O2 LWTDZKXXJRRKDG-KXBFYZLASA-N 0.000 description 2
- 102000007469 Actins Human genes 0.000 description 2
- 108010085238 Actins Proteins 0.000 description 2
- KPKZJLCSROULON-QKGLWVMZSA-N Phalloidin Chemical compound N1C(=O)[C@@H]([C@@H](O)C)NC(=O)[C@H](C)NC(=O)[C@H](C[C@@](C)(O)CO)NC(=O)[C@H](C2)NC(=O)[C@H](C)NC(=O)[C@@H]3C[C@H](O)CN3C(=O)[C@@H]1CSC1=C2C2=CC=CC=C2N1 KPKZJLCSROULON-QKGLWVMZSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000975 dye Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 108010009711 Phalloidine Proteins 0.000 description 1
- 101710163504 Phaseolin Proteins 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 206010035148 Plague Diseases 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 239000006096 absorbing agent Substances 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 238000004061 bleaching Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000003837 chick embryo Anatomy 0.000 description 1
- 230000008045 co-localization Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010208 microarray analysis Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- LWTDZKXXJRRKDG-UHFFFAOYSA-N phaseollin Natural products C1OC2=CC(O)=CC=C2C2C1C1=CC=C3OC(C)(C)C=CC3=C1O2 LWTDZKXXJRRKDG-UHFFFAOYSA-N 0.000 description 1
- 208000007578 phototoxic dermatitis Diseases 0.000 description 1
- 231100000018 phototoxicity Toxicity 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- JGVWCANSWKRBCS-UHFFFAOYSA-N tetramethylrhodamine thiocyanate Chemical compound [Cl-].C=12C=CC(N(C)C)=CC2=[O+]C2=CC(N(C)C)=CC=C2C=1C1=CC=C(SC#N)C=C1C(O)=O JGVWCANSWKRBCS-UHFFFAOYSA-N 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0036—Scanning details, e.g. scanning stages
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/0095—Relay lenses or rod lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
- G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
- G02F1/33—Acousto-optical deflection devices
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/005—Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Nonlinear Science (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
Abstract
一种用于光学显微镜(M)的可设计的多点照明器包括光源(1、2)以及对来自光源的光束进行调制的空间光调制器(SLM)。经调制的光束旨在跨被放置在显微镜物镜(21)下的样本进行扫描,样本设置有荧光团。SLM包括第一声光偏转器(8)和第二声光偏转器(9),第一声光偏转器具有第一调制平面(81),并且第二声光偏转器具有第二调制平面(91),所述两个声光偏转器级联地布置,以提供不同方向上的相应偏转,从而使得SLM能够跨样本在两个维度上进行扫描。SLM还包括使第一调制平面与第二调制平面共轭的望远镜转像器(10)。照明器还包括任意波形发生器(13),该任意波形发生器被配置成合成全息图并且被布置成同时将第一这种全息图注入到第一声光偏转器中,并将第二这种全息图注入到第二声光偏转器中,以便使SLM响应于所述全息图而对光束进行调制。
Description
技术领域
本公开涉及一种用于光学显微镜的可设计的(programmable)多点照明器,并且涉及使所述显微镜成为共焦显微镜的共焦滤光器。本公开还涉及一种对共焦显微镜进行操作的方法。
照明器包括光源以及对来自该光源的光束进行调制的空间光调制器,经调制的光束旨在跨被放置在显微镜的物镜下的样本进行扫描,该样本通常设置有荧光团。表述“样本被放置在显微镜物镜下”是指要通过物镜将光束聚焦在样本中(该表述不应理解为样本始终位于物镜下方)。
背景技术
共焦显微术是细胞生物学所有领域中用于样本可视化的参考技术,并且被公认为是光学显微术中曾做出的最重要的发明之一。近年来,共焦显微镜在普及程度方面享有惊人的爆发,并且全球大多数大学和科研机构以及越来越多的个人实验室都拥有共焦显微镜。
共焦显微镜本质上有两种不同形态:单点扫描仪器和多点扫描仪器。它们通常与荧光标签(荧光分子或荧光团)组合使用,所述荧光标签选择性地标记关注结构,并且通过发射更长波长的光来对照明激光做出响应(斯托克斯位移)。这种波长漂移允许借助于分色镜(dichroic mirror)和滤光器来将激发光学系列和发射光学系列轻松隔离。
单点共焦显微镜基于单个激光束,该激光束逐点地对样本进行逐步扫描,在通过与激光点共轭的小针孔孔径将样本发射的光滤除之后,这导致了高分辨率、高对比度以及光学分段的图像。聚焦平面上和聚焦平面下的由经激发的荧光团发射的光被针孔拦截,并且不会到达检测器,从而在对厚样本进行成像时使困扰非共焦显微镜的光雾最小化。
然而,这种逐点扫描方法伴随着明显降低的图像获取速度,这是单点共焦的主要局限性。通常必须固定(即,杀死)诸如细胞的活样本来获得没有运动模糊的图像,因为该仪器无法解决许多细胞症候(cellular phenomena)的时间动态。
因此,更快的扫描已成为现代共焦显微术发展的关键媒介。然而,使用单个激光点进行扫描是无法变得任意快的:高扫描速率意味着激光点只能在非常短的曝光时间(以微秒为标度)期间照明任何采样点。为了补偿这种小的激发时间,必须增大落在样本上的激光功率,这很快就使荧光团变饱和。以到达检测器的光子的总量将随着曝光时间的减少而减小的这种方式,高于饱和阈值的激光功率增量不会导致荧光发射速率的等效增量,因而将扫描速度的极限设定在每秒钟几帧左右。
使得能够实现快速共焦操作的唯一技术方案是使用多个激光点对样本进行并行扫描。
响应于这种需要,已经开发了多点共焦。多点共焦使用数千个激光小束(beamlet)来同时扫描样本,因而能够达到每秒钟数百帧的范围内的帧速率。将总功率分成许多激光焦点的附加优点是,这些仪器对生物样本是相当柔和的(在可比条件下,损伤比单点共焦少1/15),从而使光漂白和光毒性最小化。
然而,多点扫描原理的商业实现方式基于以高速旋转的、被微小的显微透镜和针孔的阵列覆盖的圆盘(尼普可夫圆盘),这使得系统不灵活且光学效率低下。实际上,旋转圆盘显微镜无法对样本中的任意关注区域进行扫描,并且匹配至通常具有高放大倍率和高数值孔径的透镜的单个物镜。而且,典型的尼普可夫圆盘的光学效率约为4%,从而需要大功率的激发激光器,这是昂贵的。
另一难题是,因针孔之间的串扰而产生的共焦性下降(串扰是因检测到的来自其它光学信号的信号泄漏而造成的),尤其在厚样本中更是如此。被一个激光点激发的杂散光可以通过相邻的针孔到达检测器(例如,摄像装置),从而与在相同条件下通过单点共焦生成的图像相比时,图像分辨率明显降低。
US9395340B2旨在抑制为检查样本而生成的照明点之间的光学串扰。US9395340B2公开了一种定位在物镜透镜之前的衍射光学元件(DOE)。DOE对点输出进行复制,而不改变点间距,以便确保点之间的足够间隔。但是US9395340B2仅设想了简单且相对不灵活的点图案(其公开了一个可设计的声光偏转器,只是用于提供可调节的点间距),因此在一定程度上重现了尼普可夫圆盘的缺陷。
总之,共焦显微术的两种形态相对于彼此具有明显的优点和缺点,这使得它们成为专用的且不可互换的。通常,用户需要在一时间或另一时间使用这两种类型的仪器。
发明内容
本公开的一个目的是弥合单点显微术与多点显微术之间的差距,使实验室可以设想仅利用一个共焦显微镜来进行无限操作。
本公开的另一目的是通过创建比单纯的点阵列显著更加复杂的自由照明图案来超越常规的多点显微术。
在第一方面,一种用于光学显微镜的可设计的多点照明器包括光源以及对来自该光源的光束进行调制的空间光调制器(SLM)。经调制的光束旨在跨被放置在显微镜物镜下的样本进行扫描,该样本设置有荧光团。SLM包括第一声光偏转器(AOD)和第二声光偏转器,第一AOD具有第一调制平面,并且第二AOD具有第二调制平面,所述两个声光偏转器级联地布置,以提供不同方向上的相应调制(即,偏转)(例如,这两个AOD的相应偏转方向可以是正交的),从而使得空间光调制器能够跨样本在两个维度上进行扫描。SLM还包括望远镜转像器(telescope relay),该望远镜转像器使第一调制平面与第二调制平面共轭。照明器还包括任意波形发生器(AWG),该AWG被配置成合成利用数字全息算法计算的射频(RF)信号,所述合成的信号被称为全息图(这样的全息图包含光波的编码记录,包括该光波的幅度和相位特性),并且该AWG被布置成同时将第一这种全息图注入到第一AOD中并且将第二这种全息图注入到第二AOD中,以便使SLM响应于所述全息图而对光束进行调制。
因此,照明器可以利用出于精确的目的而设计和选择的2D光图案来照明样本,并且这样可以弥合单点显微术与多点显微术之间的差距,因为所选择的光图案可以非常简单(例如,具有几个点)或者可以非常复杂(例如,具有密集且复杂的点排列),并且可以在任一情况下类似地生成。
在示例中,可设计的照明器可以包括激光装置(光源),该激光装置可以根据任意多变且自由决定的图案,以准确的定位并行地将多个光点动态地投影到显微样本上。可设计的照明器基于AOD技术。AOD本质上是可以赋予穿过该装置的光束的方向变化的超快光偏转器。AOD包括特意切割的光学晶体和压电换能器,该压电换能器附接在晶体的一端并且可以在该晶体中产生声波。
AOD的调制平面(或枢轴平面)是AOD晶体内部的假想平面,传入准直光束在该平面上呈现为偏转,从而导致按照不同角度行进的传出准直光束。通过向前投影传入光束的传播方向并且向后投影对应传出光束的传播方向,可以找到调制平面;向后光束和向前光束在晶体内部的平面(调制平面)中汇合。
两个光学共轭的AOD生成可分离的联合调制函数,即,该联合调制函数是第一AOD的调制函数(例如,在X方向上)和第二AOD的调制函数(例如,在Y方向上)的乘积。
在现有技术中已知的是,向压电换能器应用简单的正弦射频(RF)信号(参见图2A)。换能器的振动将声音信号发射到晶体中,该晶体以周期性方式在空间上调制折射率,从而产生衍射光栅。通过改变控制RF信号的频率,衍射光栅的周期被改变,并可以以使光束可以重定向至不同空间位置的方式快速改变激光的偏转。
在示例中,AWG被配置成合成任意复杂度的全息图(参见图2B、图3以及图4),旨在使得照明器能够利用任意复杂的二维光图案跨样本进行扫描。AWG能够合成具有任意形状的电信号,即,以用户可以在仪器的带宽内以完全通用的方式指定输出电压的时间变化的方式合成电信号。在这个意义上,AWG是可以仅生成可变频率的正弦函数的压控振荡器(VCO)和产生多种不同波形(正弦波、方波、锯齿波等)但仅在根据设计预先限定的选项内的函数发生器的综合。
通常,AWG由能够在数学上合成波形的数字装置(诸如现场可编程门阵列(FPGA))和最终生成时变电信号的快速数模转换器电路构成。
在示例中,照明器可以包括扫描透镜,该扫描透镜被布置在空间光调制器之后,以将期望的照明图案的重建投影到中间像平面上,扫描透镜连同显微镜的镜筒透镜一起形成4f光学系统,以使声光偏转器的调制平面与作为傅里叶变换透镜的显微镜物镜的输入光瞳共轭,所述物镜负责将光束聚焦在与样本相交的傅立叶重建平面上,使得因傅立叶变换的偏移特性而使全息图的居中变得不重要。
在第二方面,一种用于具有这种照明器的光学显微镜的共焦滤光器包括成像传感器,该成像传感器设置有电子多像素检测器,该电子多像素检测器被配置成使得能够实时实现绕样本中的任何经激发的荧光位置(凭借荧光团)的图像的一个数字针孔。滤光器还包括转像器系统,该转像器系统用于将由样本发射的荧光聚焦在成像传感器上。
由于图像的数字后处理可以模仿物理针孔的效果,因此,共焦滤光器连同可设计的照明器使得光学显微镜实际上共焦。例如,可以选择性地读取可设计的像素集(例如,行)的CMOS图像传感器可以使图像滤波足够快。
在示例中,可设计的照明器和共焦滤光器的集合可以包括用于使AWG与成像传感器同步以便正确地构成共焦发射图像的装置。
在第三方面,一种对包括可设计的照明器和共焦滤光镜的共焦显微镜进行操作的方法包括以下步骤:
-使光源发射具有一定直径的第一光束;
-将第一光束扩展成具有规定直径的第二光束,以在第一AOD上限定照明窗口;
-将第一全息图注入到第一AOD中,以便调制第二光束并将该第二光束变换成第三光束;
-将第三光束成像在第二调制平面上;
-按照零调制来使第三光束准直,使得第三光束的直径为第二光束的直径,并且在第二AOD上限定照明窗口;
-将第二全息图注入到第二AOD中,以便调制第三光束并将该第三光束变换成第四光束;
-将第四光束成像在显微镜物镜的输入光瞳上;
-将第四光束聚焦在与样本相交的重建平面上;以及
-收集由样本发射的荧光并且将所述光聚焦在成像传感器上。
所述方法还可以包括以下步骤:
-利用第一数字全息算法来计算第一合成射频信号并且利用第二数字全息算法来计算第二合成射频信号(尽管第一数字全息算法和第二数字全息算法可以是同一算法);
-借助于AWG,根据所述第一计算信号来合成将被注入到第一AOD中的第一全息图,并且根据所述第二计算信号来合成将被注入到第二AOD中的第二全息图。
在操作中,AWG向数学设计的AOD单元注入合成RF信号,使得激光束变得经另外修改。与常规AOD的简单偏转相比,这允许创建期望的、任意复杂的光图案。例如,可以将激光束分成多个子光束,并且可以单独地控制这些子光束的空间位置。与旋转圆盘利用穿孔的尼普可夫圆盘所能达到的效果类似地,可以使用该原理来使共焦显微镜的照明平行化。
通过如下方式对样本进行扫描:偏移照明点阵列,直到样本完全暴露,这只需向AOD发送新的控制信号。与旋转圆盘共焦显微镜形成对比,本文的采样图案是完全可设计的,因为该采样图案不基于在机械运动中刻蚀在固态基板上的固定孔径。
这种方法的一个困难是无法利用AOD自身来完成离焦光的共焦滤光。解决该问题的一种方法是创建虚拟针孔,如上面(以及下面在详细描述中)说明的。
关于样本需要通过不可分离的光图案被照明的应用,本文公开了两种过程,以构成作为多个数学上可分离的图案之和的总体光分布。要考虑的重要方面是图案是时分复用的,即,图案是在不同时间通过对照射敏感的集成装置(例如,摄像装置或样本本身)生成并因此被求和。因此,将被添加的图案可以仅具有正值;可以通过光学装置来实现相减,但是需要在这里没有发生的相干叠加。公开的算法是:
a)分解成线
将二维N×M图像分解成可分离图案的一种即时方法是将该图像划分成线(即,该图像的N行或M列)。为清楚起见,让我们假设将图像划分成N行。如果在X方向上偏转的AOD重建了线强度,并且同时在Y方向上进行调制的AOD将该线偏转至其合适的Y位置(这两个AOD是正交的),则可以逐线构成图像。
那么Y方向AOD的驱动信号是连续的正弦图案,该正弦图案的频率递增地改变并限定线的重建位置。X方向AOD是对此时正被重建的特定线的傅立叶逆变换进行编码的全息图。
b)分解成可分离的二维子图像:非负奇异值分解(NNSVD)
奇异值分解(SVD)是一种公知的因式分解法,该因式分解法将N×M矩阵A分解成外积之和,即,A=∑1 kωi ui vi T,其中,k是A的秩。将图像考虑为矩阵,SVD运算自动进行分解成可分离的图案(外积的u向量和v向量)。然而,这些图案通常包含正值以及负值,这无法通过AOD投影实现。
幸运地,非负奇异值分解(NNSVD)可以通过在W.Liu等人的“NonnegativeSingular Value Decomposition for Microarray Data Analysis ofSpermatogenesis”,Proceedings of the 5th International Conference onInformation Technology and Application in Biomedicine,225-228(2008)中公开的迭代算法来限定和计算。
已经发现,NNSVD算法对于将图像分解成可分离的子图像以通过AOD照明器显示,同时对在某些情况下允许提高重建速度的图像信息压缩是非常有用的。该算法根据下式对具有全部正值的图像A的对角化进行近似:A≈X·W·Y。
对角矩阵W是由对角化的特征值构成的。因子wii对一维向量xi和yi的外积进行加权。在对列xi和yi进行了归一化时,则wii表示分解子图像的总功率(或能量)。在确定子图像的重要性时,这个特性很有用。可以丢弃具有可忽略的强度的子图像,以加速重建并提高效率。
附图说明
下面将参照附图对本公开的非限制性示例进行描述,其中:
图1示出了光学显微镜M的设置;
图2示出了两个射频信号之间的比较;
图3表示2D声光偏转器;
图4示出了两个全息图之间的比较;
图5示出了光点阵列;
图6例示了共焦滤光;
图7示出了三个成像结果之间的比较;
图8示出了六个图像重建之间的比较;
图9示出了全息图的过渡;以及
图10示出了不同相位对准之间的比较。
具体实施方式
图1示出了照明系统,该照明系统包括:第一激光源1和第二激光源2、将来自激光源的相应光束耦合成单个方向的分色装置4、第一声光偏转器(AOD)8、在第一AOD 8之前的倒置的望远镜5、第二AOD 9、第一AOD 8与第二AOD 9之间的望远镜转像器10以及在第二AOD9之后的扫描透镜17。
图1还示出了光学显微镜M的以下部分:镜筒透镜19以及物镜透镜21(显微镜物镜)的输入光瞳20。
图1的照明系统还包括:任意波形发生器(AWG)13、在从AWG 13到第一AOD 8的路线上的第一射频(RF)放大器14、在从AWG 13到第二AOD 9的路线上的第二射频(RF)放大器15、二维(2-D)成像传感器26、成像传感器26与AWG 13之间的同步器16、在成像传感器26之前的转像器系统25、在转像器系统25之前的荧光滤光器24以及镜筒透镜19与荧光滤光器24之间的分色镜23(分色镜23也位于扫描透镜17与镜筒透镜19之间)。
任何激光源1或2可以是连续的或者脉冲的。可以使用脉冲激光器(飞秒)来在重建平面上造成多光子吸收现象,目的是在一些应用中激发荧光或引发光聚合。当将脉冲激光器用作照明源时,可以使用诸如棱镜3的附加光学元件来避免或补偿AOD内部的大的群速度色散。相比之下,连续波(CW)激光器发射一个不间断的光束,并且对于一般的荧光显微术来说是优选的,因为CW激光器的峰值功率值比脉冲或超快激光器低得多,该峰值功率值可能对样本有害,并且提出了使CW激光器更易于制造和维护的更简单的设计。
通常,多个激光源可以同时或顺序地为多色应用提供选定波长下的照明,并且可以借助于分色装置4耦合成单个方向。例如,在多色显微术中需要多个光源来进行激发,在多色显微术中使用至少两种荧光分子染料来标记不同样本结构。在激光照射下,这些结构发射有区别的波长范围内的光,使得可以将这些结构单独可视化。此外,在超分辨率技术(诸如STED(受激发射耗尽)或RESOLFT(可逆饱和光学荧光跃迁))显微术中,激发阶段和耗尽阶段可能需要具有不同波长的两个激光器。除此以外,可以使用多个激光器来研究两个或更多个分子种类在同一生物结构内的共定位,通过标记对不同激发波长做出响应的染料可以使所述两个或更多个分子种类可见。
在操作中,单个或组合的激光束被倒置的望远镜5从初始激光直径D1扩展成第一AOD 8上的直径为D2的照明窗口。所述照明窗口的尺寸D2和因此的光束扩展器5的放大倍率是精心选择的,因为其可以对照明系统的视场与帧速率的权衡进行控制。
两个AOD 8和9在两个正交方向(X和Y)上提供光束的调制,即,所述两个AOD 8和9构成空间光调制器。这些AOD是高分辨率、高偏转角装置(优选地提供高于500×500的可分辨点)、具有优选地大于8mm×8mm的大的方形输入窗口并且具有尽可能相似的声光特性。当由多个激光器照射时,AOD被配置成针对所涉及的整个波长集同时在布拉格状态下工作。
此外,当通过AOD装置的带宽内的特定RF信号集进行寻址时,这两个AOD必须为整个波长集提供重叠的偏转范围。将AOD在向上翘起(tip-tilt)光电机械底座(未示出)上安装成以与传入激光束成合适的角度取向,以便针对整个带宽并针对所涉及的任何波长获得良好的衍射效率。
这两个正交AOD通过望远镜转像器10进行光学共轭,该望远镜转像器包括采用4f配置的两个相同的透镜,以利用单位放大倍率将第一AOD 8的调制平面81(即,光束偏转的枢轴平面)成像到第二AOD 9的调制平面91中。此外,转像器10同时使激光束在直径为D2的情况下保持准直(按照零调制)在第二AOD 9上的照明窗口处。然后,两个光学共轭的AOD如下实现它们的调制函数的光学相乘:h(x,y)=f(x)·g(y)(参见图3),而没有因从第一AOD8向第二AOD 9传播光而造成的任何畸变。
AOD装置通过射频(RF)放大器14和15连接至双通道任意波形发生器(AWG)13。AWG以数字方式合成两个通常是离散的、利用数字全息技术计算的RF信号。这些合成像素化无线电信号(参见图3A)会借助于声光效应引起AOD单元内部折射率的复杂空间变化,这进而以类似于傅立叶空间光调制器的方式对光束进行调制。结果,复杂折射率调制变成了声致全息图(acoustically induced hologram)。
AWG 13可以生成具有与AOD装置(8、9)的带宽相匹配的带宽的信号,并且并入了能够存储足够的预先计算的驱动信号以共同表示复杂的光图案的存储体。实际上,与真正的二维空间光调制器形成对比,本文所描述的AOD装置包括采用级联方式的两个一维光调制装置,该AOD装置可以仅生成在数学上可分离的二维光图案(即,该二维光图案是X的函数与Y的函数的乘积,h(x,y)=f(x)·g(y),参见图3)。通常,这足以实现由光点阵列组成的激发图案,这些光点阵列可以并行地对样本进行扫描(如上文说明的,样本被放置在显微镜M的物镜21下)。
当需要照明器投影更复杂的光图案(以激发任意关注区域,例如用于光刺激或光漂白)时,可以通过合适的数学算法((由图1中的标号11表示),即:H(x,y)=∑i hi(x,y)=∑i fi(x)·gi(y))经级数分解成可分离的函数来获得这些光图案。
样本本身将通过累积效应累加级数项(或者其它应用中的最终检测器通常通过与AWG 13同步(标号16)来累加级数项)。
在任一情况下,为了正确形成期望的光图案,必须考虑到AOD装置内的光学调制是由行进的声波生成的,该声波从声光晶体一端的压电换能器传播至另一端的吸声器,当穿过AOD的被照明的光学窗口时,在有限的时间间隔内与激光束相互作用。这必然要求在关于两个AOD 8和9的共轭的调制平面(81和91)的傅立叶平面处执行重建,使得因傅立叶变换的偏移特性而使全息图的居中变得不重要。为了做到这一点,调制平面需要与显微镜物镜21的输入光瞳20共轭,该显微镜物镜在这里将充当傅立叶变换透镜。
首先,扫描透镜17将期望的激发图案的重建投影到中间像平面18中。该扫描透镜17连同显微镜M的镜筒透镜19一起形成4-f系统,该4-f系统使调制平面81和91(该调制平面继而通过望远镜转像器10相互共轭)与显微镜物镜21的输入光瞳20共轭,这将激光束聚焦在与样本(未示出)相交的最终重建平面22上,从而激发样本(即,样本中的荧光团)的荧光。
显微镜物镜21(其是傅立叶变换透镜)的视场必须大于所显示的全息图中包含的最高空间频率傅立叶分量的倾角。可能需要进行光瞳匹配,以便避免所述傅立叶分量在显微镜物镜21内部的渐晕(vignetting)。由于显微镜物镜21通常必须是由多个光学表面构成的高度校正的光学系统,因此,该显微镜物镜的输入光瞳20可能位于系统内部,并且是无法直接接近的。由于调制平面81和91也分别位于AOD装置8和AOD装置9的内部,因此,使用由扫描透镜17和镜筒透镜19形成的转像器系统来将调制平面耦合至显微镜物镜21的输入光瞳20。
另外,扫描透镜17加上镜筒透镜19使输入光瞳尺寸D3与AOD的光学窗口尺寸D2相匹配,以便使用显微镜物镜21的整个数值孔径,从而优化分段能力和分辨率。然后,比率D3/D2确定了由扫描透镜17和镜筒透镜19形成的望远镜系统的放大倍率,由此确定通过AOD衍射的波前的傅立叶分量的偏转角,从而确定照明器在样本平面上的视场。由于声波穿过照明窗口所需的时间τ为τ=D2/v,其中v是声音在晶体中的速度,D2也与可以更新全息图的最大重复速率(即,照明器的最大帧速率)有关,因此应当精心选择D2。
由样本发射的、在与激发激光相反的方向上行进的荧光被显微镜物镜21收集并聚焦到中间像平面18上。此后,分色镜23和荧光滤光器24选择发射波长,并且转像器系统25将发射光聚焦在2D成像传感器26上。通过以有序的方式偏移多点照明阵列(参见图5)而获得的多个单独帧的电子后处理可以生成如图6和图7所示的最终共焦图像。传感器26与AWG 13之间必须进行精确的同步(16),以正确地构成最终图像。
成像传感器可以是CMOS多像素检测器,该CMOS多像素检测器允许以高速任意读取区域,从而使得能够实时实现绕各个发射焦点的数字掩模(数字针孔)。还可以实现提高横向分辨率和轴向分辨率两者的不同算法(诸如光子重分配)。
图3A和图3B例示了由被注入到正交AOD单元中的两个一维调制信号来形成二维调制图案。由于两个AOD装置是通过转像器10共轭的,因此,将第一X变化调制平面投影到第二Y变化调制平面中。结果是在两个平面中编码的离散信号的外向量相乘。
图4例示了被注入到AOD单元中的全息射频信号的合成处理中的最后步骤。首先(并且图4中未示出),利用数字数据数组描述照明图案。各个数组元素(array element)的索引表示物理照明点在样本平面中的位置,并且各个数组元素的值相应地表示其强度。如果照明图案I(x,y)是可分离的,则可以通过两个离散函数的相乘I(x,y)=I1(x)·I2(y)来描述该照明图案。如果不是这种情况,则可以执行在上面公开的过程之后的分解。
由于激光束的波前是通过AOD进行调制然后通过光学傅立叶变换来变换成期望的照明图案的,因此,可以经由照明图案的傅立叶逆变换来执行所需的波前调制的计算。由于照明图案是以数字描述的,因此,可以通过离散傅里叶变换(DFT)来计算所需的幅度和相位调制。照明图案元素(点)的位置是根据评估DFT的频率来控制的。
为了通过AOD获得所需的空间幅度和相位调制,需要电子驱动信号,以引起AOD晶体中的对应声光调制。最后,驱动RF信号与所得的空间幅度和相位调制之间的关系是简单的:载波频率为fc的逐段限定的正弦驱动信号,以及与期望的波前调制(参考图4中的A)中的计算的幅度和相位结果相对应(良好近似)的逐段变化的幅度和相位。
另外,优选地使用迭代Gerchberg-Saxton算法(参考图4中的B)来将完全复杂的全息图(图4中的左图)转换成开诺全息照片(kinoform)(或者主要是相位的全息图,图4中的右图),以便使光学效率最大化。图4的右图示出了通过该过程合成的RF频率的典型结果,该右图表示被注入到一个AOD 8或9中的高效率全息图(图4的左图表示相对低效率的全息图)(参考图4中的C)。
图2A示出了频率=75MHz的纯正弦RF信号的示波器轨迹,当用作光束偏转器时,该纯正弦RF信号通常驱动AOD。相比之下,图2B示出了利用上面说明的数字全息技术计算的更加复杂的信号,该更加复杂的信号被设计成生成本文所公开的任意光分布。
借助于这种全息RF信号,可以在重建平面22上获得任意光分布。当使用本公开的照明器来激发来自显微镜抽样(specimen)的荧光时,通过规则的光点阵列(例如,32×32光点的方阵)来形成便利的图案。可以通过改变X和Y全息图来递增地偏移阵列,直到样本变得完全暴露为止,如图5所示。整个样本平面可以通过由规则的光点阵列组成的照明图案来扫描,该规则的光点阵列在水平和垂直方向上递增地偏移,直到点之间的间隙被填充为止。可以与Rayleigh准则一致地选择偏移增量作为单独光点的半径。
换句话说,可以根据光学系统的分辨率来选择X方向和Y方向上的增量,即,与重建平面22处的点扩展函数的半径匹配(例如,16×16偏移)。(样本中的)抽样响应单独激发点阵列而发射荧光,该荧光通过与AWG 13同步(16)的传感器26来捕获。
图6例示了响应于照明光的发射的荧光图像之一。放大的插图示出了所得的图像也是光点阵列,该光点阵列的强度与焦平面处的荧光分子的局部密度有关,并且该光点阵列被大部分来自于离焦平面的散射光云包围。这种散射光如果不消除会大大降低最终图像的对比度和分辨率,如图7所示。共焦滤光是在单个发射帧中执行的。来自于关注平面上和关注平面下的平面的荧光光子绕激发焦点生成光晕,该光晕可以通过对图像进行数字处理来消除:仅保留绕各个光点的小圆圈内的信息,将图像的其余部分消除。
图7再次示出了抽样对激发点阵列之一的单独响应。示出了利用鬼笔环肽(phalloidin)+TRITC进行免疫标记的鸡胚中的肌动蛋白网络(actin network)的荧光图像。从左到右:单发射帧(激发图案由32×32激光点的方阵组成,图7A)、宽场(非共焦)图像(图7B)、在针孔滤光和添加整个单发射帧集之后获得的共焦图像(图7C)。
如果最终图像由这些单独响应的加法构成,而没有对离焦光进行过滤,则得到图7B的图像。相比之下,如果在最终组成之前,通过仅将光保持在绕激发焦点的小圆圈内(参见图6中的最右侧图像)来将单独的荧光帧数字针孔化,则得到图7C,其清楚地示出了提高的分辨率和对比度。点阵列照明允许执行该操作,这证明其用途是合理的。
图8示出了遵循以下方案的荧光图像的重建:交替地捕获荧光、过滤离焦光并且根据图5中的布局将照明图案偏移至新位置。最终重建的图像的质量与基于物理针孔的传统共焦显微镜所生成的图像相当。将最终图像重建为数字针孔化发射帧之和。将激发点阵列偏移至16×16=256个位置,这些位置共同完整地扫描样本。
图9例示了在需要按顺序(例如,以可分离的分解)显示多个全息图时出现的问题。首先,在切换至该系列中的下一全息图之前,需要AWG 13将全息图连续重复多个周期,以便使所述全息图有效地调制光束。实际上,如果行进的全息图仅显示一次,则它们只能在单个时间点(在全息图完全横穿光学窗口的时候)被正确地重建。在那点之前,由于该全息图仍在行进穿过暴露的激光区域,因此,仅部分显示该全息图。在那点之后,第一全息图开始离开照明区域,并且随后的全息图开始显示(图9),从而暂时部分地共享AOD窗口,这造成了串扰。在连续的全息图之间的过渡期间产生的衍射图案降低了重建质量。
与此相反,由于通过全息图的行进性质所生成的圆形偏移(该重复使从照明窗口的一端消失的全息图的一部分明显地通过另一端再次出现)因傅里叶变换特性而不影响重建,因此,当连续重复一个全息图的信号时,重建是最佳的。
为了解决这个困难,可以将各个全息图信号重复有限实例次数,以确保合理的重建时间。显示单个全息图的总时间与两个全息图之间的过渡时间之间的比率确定了重建质量。作为附加措施,可以引入对各对全息图重复进行分离的空白信号期,以便完全抑制瞬态混合。然而,当使用更多的重复和空白期时,重建时间会增加,因此必须与应用的需要相对应地在帧速率与质量之间进行权衡。
全息图序列的附加问题与X全息图和Y全息图的不正确相乘有关。应注意,在全息图过渡期间,X窗口和Y窗口两者将显示两个连续的全息图(AODx 8上的X全息图1和X全息图2,以及AODy 9中的Y全息图1和Y全息图2),将会形成错误的乘积(在X全息图1与Y全息图2之间,以及在X全息图2与Y全息图1之间)。如果X序列和Y序列同步,则该影响将被最小化。
然而,根据多个因素(诸如两个AO晶体中的差分声速或两个AOD装置中的照明区域的空间居中),RF信号(该RF信号被同时注入到两个装置中)将生成行进全息图,该行进全息图将在两个不同的时间到达激光束。
这具有暂时延长过渡期的效果,在该过渡期中,X轴上的全息图乘以Y轴上的错误全息图(例如,序列中的第一X全息图乘以序列中的第二Y全息图)。因此,无法对准全息图会引起最终重建图像中的伪像。
因此,AWG 13的重要特征可以是并入如下装置,该装置用于将一个通道中的全息图序列相对于另一通道提前或延迟(相对相位延迟控制),以便补偿AOD单元中的这些声路径差,使得可以使AODx 8的信号与AODy 9的信号准确地对准,如图10所示。
三角形点图案是不可分离的。然而,可以计算可分离的全息图,当该可分离的全息图无限期地重复时,将生成图10b和图10c中的点图案。
当在摄像装置的整合时间(integration time)期间按顺序显示这两个相同的全息图时,考虑如上文讨论的重复和空白期,并且在两个AWG通道之间具有合适的相位延迟的情况下,图10a示出了正确形成的不可分离的三角形点阵列。相比之下,图10d和图10e示出了利用不能预先补偿设置中的实际声路径差的相位延迟的设定进行的三角形点阵列的不正确重建。
尽管本文仅公开了许多示例,但是其它另选例、修改例、用途/或其等同物也是可以的。此外,还覆盖了所述示例的所有可能组合。因此,本公开的范围不应受限于特定示例,而是应当仅通过公正地阅读所附权利要求来确定。如果与附图有关的标号在权利要求中被放在了括号内,那么这些标号仅仅是用于尝试提高权利要求的可理解性,而不应被解释为限制权利要求的范围。
Claims (15)
1.一种用于光学显微镜的可设计的多点照明器,所述多点照明器包括光源(1、2)以及对来自所述光源的光束进行调制的空间光调制器,经调制的光束旨在跨被放置在所述显微镜的物镜(21)下的样本进行扫描,所述样本设置有荧光团,其特征在于,所述空间光调制器包括第一声光偏转器(8)和第二声光偏转器(9),所述第一声光偏转器具有第一调制平面(81),并且所述第二声光偏转器具有第二调制平面(91),所述两个声光偏转器级联地布置,以提供不同方向上的相应偏转,从而使得所述空间光调制器能够跨所述样本在两个维度上进行扫描;所述空间光调制器还包括望远镜转像器(10),所述望远镜转像器使所述第一调制平面与所述第二调制平面共轭;所述照明器还包括任意波形发生器(13),所述任意波形发生器被配置成合成全息图,并且所述任意波形发生器被布置成同时将第一这种全息图注入到所述第一声光偏转器中,并且将第二这种全息图注入到所述第二声光偏转器中,以便使所述空间光调制器响应于所述全息图而对所述光束进行调制。
2.根据权利要求1所述的照明器,其中,所述任意波形发生器(13)是多通道发生器,至少一个通道被布置成将全息图注入到所述第一声光偏转器(8)中,并且至少另一通道被布置成将全息图注入到所述第二声光偏转器(9)中,并且其中,所述任意波形发生器(13)包括如下装置,所述装置用于将一个通道中的全息图序列相对于所述另一通道中的全息图序列提前或延迟,以便补偿所述声光单元中的声路径差,并且使到所述第一声光偏转器的全息图与到所述第二声光偏转器的全息图对准。
3.根据权利要求1至2中任一项所述的照明器,其中,所述任意波形发生器(13)被配置成合成任意复杂度的全息图。
4.根据前述权利要求中任一项所述的照明器,所述照明器还包括用于各个声光偏转器(8、9)的向上翘起光学机械底座。
5.根据前述权利要求中任一项所述的照明器,其中,所述光源包括脉冲激光器(1、2),所述照明器还包括色散补偿器(3),所述色散补偿器用于避免或减少所述声光偏转器(8、9)内部的大的群速度色散。
6.根据前述权利要求中任一项所述的照明器,所述照明器还包括扫描透镜(17),所述扫描透镜被布置在所述空间光调制器之后,以将期望的照明图案的重建投影到中间像平面(18)上,所述扫描透镜连同所述显微镜的镜筒透镜(19)一起形成4f光学系统,以使所述声光偏转器(8、9)的所述调制平面(81、91)与所述显微镜物镜(21)的输入光瞳(20)共轭。
7.一种用于具有根据权利要求1至6中任一项所述的照明器的光学显微镜的共焦滤光器,所述共焦滤光器包括成像传感器(26),所述成像传感器设置有电子多像素检测器,所述电子多像素检测器被配置成使得能够实时实现绕所述样本中的任何经激发的荧光位置的图像的一个数字针孔;所述共焦滤光器还包括转像器系统(25),所述转像器系统用于将由所述样本发射的荧光聚焦在所述成像传感器上。
8.一种包括根据权利要求1至6中任一项所述的照明器以及根据权利要求7所述的共焦滤光器的共焦显微镜,所述共焦显微镜包括用于使所述任意波形发生器(13)与所述成像传感器(26)同步(16)以便正确地构成共焦发射图像的装置。
9.一种对根据权利要求8所述的共焦显微镜进行操作的方法,所述方法包括以下步骤:
-使所述光源(1、2)发射具有一定直径(D1)的第一光束;
-将所述第一光束扩展成具有规定直径(D2)的第二光束,以在所述第一声光偏转器(8)上限定照明窗口;
-将第一全息图注入到所述第一声光偏转器中,以便调制所述第二光束并将所述第二光束变换成第三光束;
-将所述第三光束成像在所述第二调制平面(91)上;
-按照零调制来使所述第三光束准直,使得所述第三光束的直径(D2)为所述第二光束的直径,并且在所述第二声光偏转器(9)上限定照明窗口;
-将第二全息图注入到所述第二声光偏转器中,以便调制所述第三光束并将所述第三光束变换成第四光束;
-将所述第四光束成像在所述显微镜物镜(21)的所述输入光瞳(20)上;
-将所述第四光束聚焦在与所述样本相交的重建平面(22)上;以及
-收集由所述样本发射的所述荧光并且将所述光聚焦在所述成像传感器(26)上。
10.根据权利要求9所述的方法,所述方法还包括以下步骤:
-利用第一数字全息算法来计算第一合成射频信号并且利用第二数字全息算法来计算第二合成射频信号;以及
-借助于所述任意波形发生器(13),根据所述第一计算信号来合成将被注入到所述第一声光偏转器(8)中的所述第一全息图,并且根据所述第二计算信号来合成将被注入到所述第二声光偏转器(9)中的所述第二全息图。
11.根据权利要求10所述的方法,所述方法还包括以下步骤:使合成所述第一全息图或所述第二全息图的所述任意波形发生器(13)的通道中的全息图序列相对于合成另一全息图的所述任意波形发生器的另一通道中的全息图序列提前或延迟。
12.根据权利要求10至11中任一项所述的方法,所述方法还包括以下步骤:将各个全息图连续重复多个周期,并且在切换至另一全息图之前引入空白期。
13.根据权利要求10至12中任一项所述的方法,所述方法还包括以下步骤:将所述全息图分解成可分离的分量。
14.根据权利要求9至13中任一项所述的方法,所述方法还包括以下步骤:使所述任意波形发生器(13)与所述成像传感器(26)同步,以便正确地构成共焦图像。
15.根据权利要求13至14中任一项所述的方法,所述方法还包括以下步骤:将所述共焦图像构成为由数学上能够分离的照明图案激发的多个经处理的发射图像之和。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310905092.7A CN116841029A (zh) | 2018-07-02 | 2019-07-01 | 可设计的多点照明器、共焦滤光器、共焦显微镜 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18382491.1 | 2018-07-02 | ||
EP18382491 | 2018-07-02 | ||
PCT/EP2019/067517 WO2020007761A1 (en) | 2018-07-02 | 2019-07-01 | Programmable multiple-point illuminator, confocal filter, confocal microscope and method to operate said confocal microscope |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310905092.7A Division CN116841029A (zh) | 2018-07-02 | 2019-07-01 | 可设计的多点照明器、共焦滤光器、共焦显微镜 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112368625A true CN112368625A (zh) | 2021-02-12 |
CN112368625B CN112368625B (zh) | 2023-10-24 |
Family
ID=62874824
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980043276.9A Active CN112368625B (zh) | 2018-07-02 | 2019-07-01 | 多点照明器、共焦滤光器、共焦显微镜及其操作方法 |
CN202310905092.7A Pending CN116841029A (zh) | 2018-07-02 | 2019-07-01 | 可设计的多点照明器、共焦滤光器、共焦显微镜 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310905092.7A Pending CN116841029A (zh) | 2018-07-02 | 2019-07-01 | 可设计的多点照明器、共焦滤光器、共焦显微镜 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11860349B2 (zh) |
EP (1) | EP3818406A1 (zh) |
JP (2) | JP7390732B2 (zh) |
CN (2) | CN112368625B (zh) |
WO (1) | WO2020007761A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102655822B1 (ko) * | 2021-04-22 | 2024-04-09 | 주식회사 큐빅셀 | 공간 변조 스캐너와 트랜슬레이션 스테이지를 사용한 플라잉 오버 빔 패턴 스캐닝 홀로그램 현미경 장치 |
CN114708264B (zh) * | 2022-06-06 | 2022-08-12 | 广东工业大学 | 一种光斑质量判别方法、装置、设备和存储介质 |
CN115268242A (zh) * | 2022-08-01 | 2022-11-01 | 南昌航空大学 | 一种大视角全息三维显示系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4827125A (en) * | 1987-04-29 | 1989-05-02 | The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services | Confocal scanning laser microscope having no moving parts |
CN101482683A (zh) * | 2009-02-10 | 2009-07-15 | 华中科技大学 | 三维光刺激系统 |
CN104115062A (zh) * | 2011-12-28 | 2014-10-22 | 菲托尼克斯公司 | 补偿角色散的补偿器系统和方法 |
CN105723270A (zh) * | 2013-09-03 | 2016-06-29 | 徕卡显微系统复合显微镜有限公司 | 扫描显微镜以及用于扫描显微镜的声光主分束器 |
CN105784662A (zh) * | 2016-04-27 | 2016-07-20 | 武汉大学 | 基于多光阱编码微球阵列和双光子荧光检测的液相悬浮式生物芯片 |
US20170115547A1 (en) * | 2014-04-04 | 2017-04-27 | University Of Leicester | Improvements in or relating to structured illumination microscopy utilising acousto-optic deflectors |
US20170242232A1 (en) * | 2014-10-15 | 2017-08-24 | Institut National De La Sante Et La Rescherche Medicale (Inserm) | Method for analyzing a sample with a non-linear microscopy technique and non-linear microscope associated |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58110402A (ja) | 1981-12-21 | 1983-07-01 | Nichibi:Kk | 沃素の回収方法 |
JPS6019027A (ja) | 1983-07-11 | 1985-01-31 | Nippon Steel Corp | 難溶性粉体の溶解方法 |
JPS6019027U (ja) * | 1983-07-15 | 1985-02-08 | 松下電器産業株式会社 | 光情報処理装置 |
FR2596877B1 (fr) | 1986-04-02 | 1988-07-08 | Centre Nat Rech Scient | Procede et dispositif de modulation acousto-optique multifrequences |
JP2743373B2 (ja) | 1988-04-26 | 1998-04-22 | ソニー株式会社 | 音響光学偏向装置 |
JP2845919B2 (ja) | 1989-02-07 | 1999-01-13 | 住友大阪セメント株式会社 | コヒーレント光走査型光学顕微鏡装置 |
JPH04175713A (ja) | 1990-11-09 | 1992-06-23 | Olympus Optical Co Ltd | 走査型光学顕微鏡 |
JPH0694432A (ja) | 1992-09-09 | 1994-04-05 | Kowa Co | 非接触式形状検査装置 |
US6038067A (en) | 1996-05-23 | 2000-03-14 | The Regents Of The University Of California | Scanning computed confocal imager |
US7339148B2 (en) | 2002-12-16 | 2008-03-04 | Olympus America Inc. | Confocal microscope |
US7227127B2 (en) | 2004-10-06 | 2007-06-05 | Peter Saggau | High speed microscope with three-dimensional laser beam scanning including acousto-optic deflector for controlling the lateral position and collimation of the light beam |
EP1920387B1 (de) | 2005-08-31 | 2015-07-01 | Heidelberg Instruments Mikrotechnik GmbH | Vorrichtung zur optischen aufspaltung und modulation von elektromagnetischer strahlung |
JP5153171B2 (ja) | 2007-03-16 | 2013-02-27 | オリンパス株式会社 | 顕微鏡装置とその制御方法 |
JP5259154B2 (ja) | 2007-10-24 | 2013-08-07 | オリンパス株式会社 | 走査型レーザ顕微鏡 |
CN101861228B (zh) | 2007-11-14 | 2013-09-11 | 浜松光子学株式会社 | 激光加工装置以及激光加工方法 |
US8681412B2 (en) | 2010-06-09 | 2014-03-25 | Leica Microsystems Cms Gmbh | Acousto-optical system, microscope and method of use of the acousto-optical system |
JP5592457B2 (ja) | 2012-10-30 | 2014-09-17 | 浜松ホトニクス株式会社 | レーザ加工装置,レーザ加工方法,レーザ照射装置およびレーザ照射方法 |
US9395340B2 (en) | 2013-03-15 | 2016-07-19 | Kla-Tencor Corporation | Interleaved acousto-optical device scanning for suppression of optical crosstalk |
-
2019
- 2019-07-01 US US17/257,233 patent/US11860349B2/en active Active
- 2019-07-01 JP JP2020572880A patent/JP7390732B2/ja active Active
- 2019-07-01 EP EP19737490.3A patent/EP3818406A1/en active Pending
- 2019-07-01 WO PCT/EP2019/067517 patent/WO2020007761A1/en unknown
- 2019-07-01 CN CN201980043276.9A patent/CN112368625B/zh active Active
- 2019-07-01 CN CN202310905092.7A patent/CN116841029A/zh active Pending
-
2023
- 2023-11-10 JP JP2023191982A patent/JP2024016219A/ja active Pending
- 2023-11-15 US US18/510,502 patent/US20240126059A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4827125A (en) * | 1987-04-29 | 1989-05-02 | The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services | Confocal scanning laser microscope having no moving parts |
CN101482683A (zh) * | 2009-02-10 | 2009-07-15 | 华中科技大学 | 三维光刺激系统 |
CN104115062A (zh) * | 2011-12-28 | 2014-10-22 | 菲托尼克斯公司 | 补偿角色散的补偿器系统和方法 |
CN105723270A (zh) * | 2013-09-03 | 2016-06-29 | 徕卡显微系统复合显微镜有限公司 | 扫描显微镜以及用于扫描显微镜的声光主分束器 |
US20170115547A1 (en) * | 2014-04-04 | 2017-04-27 | University Of Leicester | Improvements in or relating to structured illumination microscopy utilising acousto-optic deflectors |
US20170242232A1 (en) * | 2014-10-15 | 2017-08-24 | Institut National De La Sante Et La Rescherche Medicale (Inserm) | Method for analyzing a sample with a non-linear microscopy technique and non-linear microscope associated |
CN105784662A (zh) * | 2016-04-27 | 2016-07-20 | 武汉大学 | 基于多光阱编码微球阵列和双光子荧光检测的液相悬浮式生物芯片 |
Also Published As
Publication number | Publication date |
---|---|
WO2020007761A1 (en) | 2020-01-09 |
EP3818406A1 (en) | 2021-05-12 |
US20240126059A1 (en) | 2024-04-18 |
CN112368625B (zh) | 2023-10-24 |
US20210124161A1 (en) | 2021-04-29 |
JP2024016219A (ja) | 2024-02-06 |
CN116841029A (zh) | 2023-10-03 |
JP2021529349A (ja) | 2021-10-28 |
US11860349B2 (en) | 2024-01-02 |
JP7390732B2 (ja) | 2023-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240126059A1 (en) | Programmable multiple-point illuminator, confocal filter, confocal microscope and method to operate said confocal microscope | |
CN110954523B (zh) | 一种双光子扫描结构光显微成像方法及装置 | |
JP2021165851A (ja) | ライトシート顕微鏡法のための構成及び方法 | |
US9810966B2 (en) | Random access stimulated emission depletion (STED) microscopy | |
EP3268792B1 (en) | Optical system for shaping the wavefront of the electric field of an input light beam | |
JP7538624B2 (ja) | 時間分解ハイパースペクトル単一画素撮像 | |
CN111103678B (zh) | 晶格光片显微镜和在晶格光片显微镜中平铺晶格光片的方法 | |
CN109870441B (zh) | 基于移频的三维超分辨光切片荧光显微成像方法和装置 | |
CN110954524A (zh) | 一种非线性结构光超分辨显微成像装置及方法 | |
EP3096171A1 (en) | Optical system for shaping the wavefront of the electric field of an input light beam | |
Qu et al. | Recent progress in multifocal multiphoton microscopy | |
US20130250088A1 (en) | Multi-color confocal microscope and imaging methods | |
CN113702288B (zh) | 一种双模态显微成像系统及其成像方法 | |
US20220382031A1 (en) | Random access projection microscopy | |
US11156818B2 (en) | Flexible light sheet generation by field synthesis | |
Bianchini et al. | An inertia-free beam scanning device for single-wavelength 2PE-STED nanoscopy | |
CN221465826U (zh) | 轴向脉冲分时复用结合扩展焦深的双光子成像装置 | |
CN113433681B (zh) | 结构光照明显微成像系统、方法 | |
EP4220269A1 (en) | Light imaging device | |
CN116754550A (zh) | 一种超快超分辨成像方法及装置 | |
Junchen et al. | Ultrafast multi-point three-dimensional quantum sensing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |