CN110967819A - 显微镜 - Google Patents

显微镜 Download PDF

Info

Publication number
CN110967819A
CN110967819A CN201911270123.6A CN201911270123A CN110967819A CN 110967819 A CN110967819 A CN 110967819A CN 201911270123 A CN201911270123 A CN 201911270123A CN 110967819 A CN110967819 A CN 110967819A
Authority
CN
China
Prior art keywords
sample
mirror
microscope
rotating
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911270123.6A
Other languages
English (en)
Inventor
Y·科特
P-A·科特
S·伊奎斯
A·克恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanolive SA
Original Assignee
Nanolive SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanolive SA filed Critical Nanolive SA
Publication of CN110967819A publication Critical patent/CN110967819A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/02041Interferometers characterised by particular imaging or detection techniques
    • G01B9/02047Interferometers characterised by particular imaging or detection techniques using digital holographic imaging, e.g. lensless phase imaging without hologram in the reference path
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/14Condensers affording illumination for phase-contrast observation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/02055Reduction or prevention of errors; Testing; Calibration
    • G01B9/02062Active error reduction, i.e. varying with time
    • G01B9/02067Active error reduction, i.e. varying with time by electronic control systems, i.e. using feedback acting on optics or light
    • G01B9/02068Auto-alignment of optical elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • G01N21/453Holographic interferometry
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/108Scanning systems having one or more prisms as scanning elements
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/2645Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
    • G03H1/265Angle multiplexing; Multichannel holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268Holographic stereogram
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0033Adaptation of holography to specific applications in hologrammetry for measuring or analysing
    • G03H2001/0038Adaptation of holography to specific applications in hologrammetry for measuring or analysing analogue or digital holobjects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/005Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0454Arrangement for recovering hologram complex amplitude
    • G03H2001/0456Spatial heterodyne, i.e. filtering a Fourier transform of the off-axis record

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明涉及一种显微镜(2),包括:产生相干光束(7)的相干光源(4);包括被配置为将所述相干光束(7)分成参考波束(7a)和样本照明波束(7b)的分束器(14)的光束引导系统(6);被配置为保持所要观察的样本(1)的样本保持器(18);被配置为指引样本照明波束(7b)通过样本并进入显微镜物镜(37)的样本照明装置(28);被配置为在样本照明波束穿过所要观察的样本之后使参考波束和样本照明波束重新聚合的波束重聚器(16);以及被配置为捕获波束重聚器下游的相干光束的至少相位和强度值的光感测系统(8)。

Description

显微镜
本申请是申请日为2015年9月18日、申请号为 201580060936.6、发明名称为“显微镜”的发明专利申请的分案 申请。
技术领域
本发明涉及显微镜,具体地,涉及用于生物学物质(包括细 胞和微生物)的三维层析成像的显微镜。本发明还可以更一般性 地用于非生物学透明材料的三维层析成像的领域。
背景技术
能够对生物学细胞及其内部结构进行三维成像的显微镜一般 基于数字层析成像技术,并且往往基于标记染料的使用,以增强 细胞的成分之间的强度对比度。但是,标记染料可能影响所要观 察的物质(尤其是在活细胞的情况下),而且也会致使过程更加 复杂。在国际专利申请PCT/IB2011/051306中描述了基于3D折 射率计算的无标记非侵入式显微镜检查方法。但是,对非常小的 对象计算具有内部结构的足够细节的基于折射率的图像所需的图 像数据的捕获需要非常精确的显微镜。常规显微镜的精确度依赖 于透镜的质量以及在显微镜的各种部件的组装中的非常低的制造 公差。这导致显微镜成本高昂。此外,为了具有高数值孔径以增 加捕获数据的分辨率,针对所要观察的样本的可用工作距离和空间是非常有限的。这使得制备样品或样本以通过显微镜进行查看 变得复杂,并且限制了可以被观察的样本的类型以及可以呈现样 本的形式。
发明内容
本发明的一个目的在于提供一种实施和使用起来容易并且经 济的显微镜。
提供一种准确并给出高分辨率还生产起来经济的显微镜将是 有利的。
提供一种简化所要观察的生物学样本的制备的显微镜是有利 的。
提供一种可以与各种标准或者常见形式的生物学样本容器 (包括用于活细胞的培养皿)一起使用的显微镜是有利的。
提供一种简化所要观察的生物学样本的制备的显微镜是有利 的。
提供一种可靠的显微镜是有利的。
提供一种多用途的显微镜是有利的。
文中公开了一种显微镜,其包括:产生至少部分准直的光束 的光源;包括被配置为将光束分成参考波束和样本照明波束的分 束器的光束引导系统;被配置为接纳所要观察的样本的样本观察 区;被配置为在样本照明波束通过样本观察区之后使参考波束和 样本照明波束重新聚合的波束重聚器;以及被配置为捕获波束重 聚器的下游的光束的至少相位和强度值的光感测系统。在实施例 中,光源可以被配置为生成相干或部分相干准直光束,具体地, 激光束,例如,二极管激光束。在一种变型中,光源可以生成非 相干光,例如,白光,其例如借助于光学透镜得到准直。
根据本发明的第一方面,光束引导系统包括指引参考波束和 样本照明波束沿着其相应的光路的方向改变反射镜,其中,方向 改变反射镜中的至少一个是可由显微镜的电子控制系统控制的可 枢转操作的反射镜。该控制系统被配置为生成反射镜角度控制信号,以自动控制所述至少一个可枢转操作方向改变反射镜的角度, 该反射镜角度控制信号至少部分地基于由光感测系统借助于该控 制系统的反馈环接收到的光束的信号。
在一个实施例中,控制信号可以基于由光感测系统测得的光 束的相位和强度值两者。
有利地,显微镜可以容易地在制造或运输之后以规律的间隔 或者在每次使用之前,通过对在样本照明波束路径和/或在参考波 束路径中的方向改变反射镜中的一个或多个的角度进行电子控制 来进行校准。
根据本发明的第二方面,该样本照明装置包括:反射镜系统, 被配置为指引样本照明波束相对于光轴处于非零照明角度(非正 视照明);以及旋转波束机构,被配置为使成一定角度的样本照 明波束围绕光轴旋转至少360°(2π弧度)。
根据本发明的旋转具有预定照明角度的样本照明波束与常规 解决方案相比尤其是有利的,因为它允许在相比于基于透镜的解 决方案具有低成本的布置中以大的照明角度照明微小对象,其中 该照明角度主要由显微镜物镜的数值孔径限定。实际上,与透镜 或者折射或衍射元件形成对照的是,旋转波束不改变波束形状, 因而,与本发明所提供的解决方案形成对照的是,透镜或者折射 或衍射元件需要以极高的质量进行制造以减少波束整形,从而增 加了生产成本。此外,旋转波束允许对于样本的大的工作空间, 因而提供了可以位于样本保持器上并由显微镜查看的样本的在大 小方面的通用性,同时显著减少显微镜的制造成本以及对沿光路 的光学元件的质量的敏感性。
根据本申请的第三方面,显微镜进一步包括被配置为调整参 考波束的相对于样本照明波束的光程长度的光程差(OPD)调整 装置,OPD调整装置包括第一光偏离元件和第二光偏离元件,它 们每个都安装在枢转支座上,该枢转支座被配置为变化第一光偏 离元件相对于第二光偏离元件的角度,由此光偏离元件的倾斜角 度至少影响光程差。
因而,可以实现对光程差的连续、准确的调整。此外,如有 需要,可以进行动态调整。
在一个实施例中,样本照明装置的反射镜系统安装在旋转支 座上,并且旋转波束机构由旋转支座和用于旋转该支座的马达驱 动装置形成。
在一个实施例中,旋转波束机构包括旋转可倾斜操作反射镜, 从而将样本照明波束指引到样本照明装置的反射镜系统上,其中 反射镜系统安装在固定支座上。
在一个有利实施例中,可枢转操作的反射镜是微机电 (MEMS)类型部件。
在一个有利实施例中,可枢转操作的反射镜基本上位于样本 之上,与显微镜物镜的光轴对齐。
在一个有利实施例中,方向改变反射镜至少包括布置在分束 器的下游的样本照明波束的光路中的第一方向改变反射镜和第二 方向改变反射镜,两反射镜均可枢转的操作,从而对光程误差进 行校正,或者改变样本照明角度。
在一个有利实施例中,显微镜还包括被配置为接收来自光感 测系统的多个图像帧数据的数据处理系统,所述多个图像帧是针 对样本照明波束围绕显微镜物镜光轴的至少360°旋转生成的。
在一个有利实施例中,由光感测系统和数据处理系统每360° 捕获的帧的数量大于10,优选地大于20,更优选地大于30。
在一个有利实施例中,图像帧数据通过数据处理系统进行重 构,或者由数据处理系统供应给外部计算系统,以处理成微小对 象的三维图像。
在有利实施例中,显微镜被配置为通过确定样本照明波束在 穿过微小对象之后的相位偏移而基于该微小对象的折射率分布生 成该微小对象的三维图像。
本文还公开了一种控制显微镜的方法,该显微镜包括:产生 光束的光源;包括分束器的光束引导系统,其中分束器被配置为 将光束分成穿过光束引导系统的参考波束和样本照明波束,至少 一个是可枢转操作的方向改变反射镜(TM1、TM2、TM3、TM4) 指引参考波束和样本照明波束,从而引导参考波束和样本波束沿 着其相应的光路;被配置为在样本照明波束的路径中接纳所要观 察的样本的样本观察区;被配置为在样本照明波束穿过样本观察 区之后使参考波束和样本照明波束重新聚合的波束重聚器;被配 置为取得波束重聚器的下游的光束的至少相位和强度值的光感测 系统;以及电子控制系统,所述方法的特征在于:
-通过控制系统中的反馈环接收来自光感测系统的由光束生成的 信号,
-在控制系统中生成反射镜角度控制信号,该反射镜角度控制信 号至少部分地基于从光感测系统接收的所述信号;以及
-将反射镜角度控制信号传送至所述至少一个可枢转操作方 向改变反射镜,以控制可枢转操作方向改变反射镜的角度。
在一个实施例中,该方法包括相对于样本旋转样本波束。
在一个实施例中,所生成的反射镜角度控制信号是动态的。
在一个实施例中,反射镜角度控制信号是依据样本波束相对 于样本的旋转角度动态生成的。
在一个实施例中,所生成的反射镜角度控制信号是静态的。
在一个实施例中,反射镜角度控制信号所基于的、从光感测 系统接收并且由光束生成的信号包括通过光感测系统接收的光束 的强度、相干性、干涉条纹(fringe)频率和相位中的任何一个 或多个。
在一个实施例中,该方法还包括在显微镜的数据处理系统中 接收来自光感测系统的多个图像帧数据,所述多个图像帧是针对 样本照明波束围绕显微镜物镜光轴的至少360°旋转生成的。
在一个实施例中,由光感测系统和数据处理系统每360°捕获 的帧的数量大于10。
在一个实施例中,图像帧数据通过数据处理系统进行重构, 或者由数据处理系统供应给计算系统,以处理成微小对象的三维 图像。
在一个实施例中,图像帧数据被数据处理系统进一步利用, 或者由数据处理系统供应给计算系统,用于估算样本的光学特性, 以改善微小对象的三维图像。
在一个实施例中,该方法还包括通过确定样本照明波束在穿 过微小对象之后的相位偏移而基于该微小对象的各个截面的折射 率生成该微小部分的三维图像。
本文还公开了一种控制显微镜的方法,该方法的特征在于通 过显微镜的控制系统动态调整参考波束的光程长度(OPL),从 而使参考波束和样本波束之间的光程差(OPD)保持低于光源的 相干长度,该方法包括下述步骤:
a)将旋转波束系统定位于第一位置上,
b)将被配置为指引参考波束的所述至少一个可枢转操作方向 改变反射镜(TM3,TM4)定位于第一位置,
c)在样本波束被关掉时,测量通过光感测系统捕获的参考波 束信号的位置,
d)打开样本波束,并测量通过光感测系统捕获的信号的干涉 条纹对比度,
e)使所述至少一个可枢转操作方向改变反射镜(TM3,TM4) 的位置改变一个增量,
f)重复步骤c)到e)直到增量之和对应于可枢转操作方向改变 反射镜(TM3,TM4)的预定义工作范围,
g)比较针对每个增量获得的干涉条纹对比度测量结果,并将 可枢转操作方向改变反射镜(TM3,TM4)的针对具有最高值的 干涉条纹对比度测量结果的位置连同旋转波束系统的位置存储到 控制系统的存储器的查找表格(LUT)中;
h)使旋转波束系统旋转一个小的增量,并重复步骤b)到g)直 到旋转波束系统完成了360°旋转。
附图说明
本发明的其他目的和有利特征将从权利要求、详细说明和附 图中变得清楚,其中:
图1a是根据本发明的实施例的去除了一部分外壳的显微镜的 透视图;
图1b是贯穿图1a的显微镜的横截面视图;
图1c是基于马赫-曾德(Mach-Zehnder)方案的、根据本发 明的实施例的显微镜的配置的简化示意图;
图1d是根据本发明的另一实施例的显微镜的横截面视图;
图1e是图1d的显微镜的横截面透视图;
图2a是根据本发明的实施例的显微镜的配置的简化示意图;
图2b是与图2a类似的示意图,其例示了诸如制造公差、磨 损、振动或受热的各种缺陷对光路的影响;
图2c和2d是显微镜的一部分的配置的示意图,例示了在显 微镜的旋转扫描臂的一个循环(revolution)期间机械缺陷在光程 长度上的影响,其中图2c示出没有缺陷的扫描头,图2c示出具 有机械缺陷(错位)的扫描头;
图3a和3b是在根据本发明的显微镜的样本保持器上根据第 一和第二变型的样本的局部视图;
图4a是根据本发明的一个实施例的显微镜的基于透射原理的 光程差(OPD)调整装置的视图;
图4b是图4a的光路装置的简化示意图,其例示了OPD走离 校正,图4c是与图4b变型类似的视图,其例示了OPD补偿;
图4d是OPD装置的透明(例如,玻璃)厚板的详细示意性 视图,其示出在详细描述中讨论的各种角度和尺寸;
图4e是示出了光程长度变化与图4a的OPD装置的透明厚板 的取向角度的关系的曲线图;
图4f到4h是根据本发明的实施例的透射型OPD装置的示意 例示,其示出了理想同步(图4f)、非理想同步(图4g)以及借 助于可倾斜反射镜对非理想同步的校正(图4h);
图4i是例示了用于调整图4a的OPD装置的控制过程中的步 骤的简图。
图5a是根据本发明的实施例的包括基于反射原理的OPD装 置的显微镜的配置的简化示意图;
图5b、图5c和图5d是图5a的实施例的OPD装置的变型的 简化示意图;
图5e是例示了用于调整图5a的OPD装置的控制过程中的步 骤的简图;
图5f是例示了用于动态调整图5a的OPD装置的控制过程中 的步骤的简图;
图5g是例示了依据扫描头位置的OPD系统的光程长度 (OPL)差的图,其允许确定最优位置;
图6a和6b是例示了所要观察的样本的倾斜照明的简化示意 性视图,图6a例示了在其中浸入样本的液体的高度(Δh)的变 化的影响,图6b例示了照明角度(α)的变化的影响;
图6c是例示了所要捕获的样本的倾斜照明的简化示意性视图, 该倾斜照明具有校正在其中浸入样本的液体的高度的变化的影响 的手段;
图7a、图7b、图7c和图7d是以根据本发明的显微镜的不同 变型为根据的相对于样本旋转照明波束系统的简化示意性例示;
图8是根据本发明的实施例的用于显微镜中使用的具有可调 整倾斜角度的基于MEMS的反射镜的简化透视图;
图9是例示根据本发明的实施例的显微镜的校准过程(P1) 的步骤的流程图,其中,对样本照明波束路径中的可倾斜反射镜 的角度进行调整;
图10a和图10b是例示根据本发明的实施例的用于显微镜的 基于样本的自动相位校正的反馈环控制过程(P2)的步骤的流程 图;
图11是例示根据本发明的实施例的显微镜的校准过程(P5) 的步骤的流程图,其中,对参考波束路径和样本照明波束路径中 的可倾斜反射镜的角度进行调整;
图12是例示根据本发明的实施例的显微镜的质量评估过程 (P6)的步骤的流程图,其中,对参考波束路径中的可倾斜反射 镜的角度进行调整;
图13是例示根据本发明的实施例的显微镜的误差分析过程 (P7)的步骤的流程图;
图14a是根据本发明的实施例的通过显微镜的光感测系统捕 获的全息图的强度图案的傅里叶变换的示意性例示;
图14b是根据本发明的实施例的显微镜的可倾斜反射镜的不 同层级的反馈控制的示意性例示;
图15a是根据本发明的实施例的通过显微镜的光感测系统捕 获的不同阶的像差的例示图,所述像差用于通过光感测系统接收 的波束的幅度和相位分析;
图15b和15c是根据本发明的实施例的通过显微镜的光感测 系统捕获的不同阶的像差所生成的信号的图形表示;
图16a是处于具有两种不同折射率n1、n2的物质之间的界面 处的样本照明波束的几何角度和长度的例示,其用于例示浸没在 具有高度h的液体中的样本;
图16b是测得的波束信号的强度和散焦角度(Δα)之间的关 系的例示;
图16c是用以确定相位校正(Φ)的样本照明波束的散焦角 度(Δα)与样本液体的高度之间的关系的例示;
图16d是样本照明波束相对显微镜物镜的视场(FOV)的依 赖于样本厚度的走离的例示;
图17a是样本照明波束路径的用于例示角度和尺寸的示意图, 图17b是变化角度和尺寸的结果的表格,用于例示制造公差、振 动或热效应对补偿公差所需要的样本照明波束路径中的一个或多 个可倾斜反射镜的角度的影响。
图18是例示根据本发明的实施例的显微镜的操作中的各种过 程P1到P7的全面实施的流程图。
具体实施方式
参考附图,具体从图1a开始到图2b,显微镜2的示例性实 施例包括光源4(具体地,相干光源,诸如,激光束装置)、光 束引导系统6、光感测系统8、(具体用于处理所生成的图像数据 的)数据处理系统10、电子控制系统15以及一般收容和支撑显 微镜2的各种部件的外壳和支座结构12。
显微镜2能够对包括活细胞在内的生物学细胞和微生物进行 三维成像。可以通过使用国际专利申请PCT/IB 2011/051306中描 述的技术来生成细胞和其他的生物学微细物质样本的图像,该专 利申请通过引用并入本文。
外壳和支座结构12包括样本观察区,样本观察区包括被配置 为保持具有各种标准和非标准形式的生物学样本的样本保持器18。 样本保持器具有位置调整机构,该位置调整机构允许三维地移动 样本的位置,具体地允许高度调整以及样本照明光束所横越的平面中的调整。显微镜的位置调整机构本身是公知的,其允许相对 于在样本之下(透射)或者之上(反射)的显微镜物镜位置来调 整所要观察的样本的位置。
在一种变型(未示出)中,样本观察区可以具有导管,导管 具有延伸通过样本照明波束所横越的区的透明截面,样本观察区 被配置为观察在封闭导管中的由液体流动供应到照明波束路径的 样品材料。
参考图3a和3b,可以在封闭容纳系统3a中或者在开口皿 (open dish)3b(诸如陪替氏培养皿)中提供生物学样本。例如, 可以根据以下非限制性示例来提供生物学样本。作为对任何类型 的样本的一般性要求,缓冲介质5不应散射入射光。例如,可以 使用诸如磷酸盐缓冲盐水(PBS)或者4-(2-羟乙基)-1-哌嗪乙磺 酸(HEPES)的透明液体。为了保持细胞存活3到4小时,具有 PBS(具有例如葡萄糖)(例如,25mmol)和HEPES(例如, 10mmol))的样本工作良好。对于静态实验而言,使用多聚甲醛 (PFA)固定的细胞可供使用几个星期。可以通过通常为170微 米厚的盖玻片进行观察(大部分显微镜物镜针对这样的盖玻片进 行了优化),并且由于这种物镜的有限工作距离的原因,细胞应 当被固定在优选距离细胞没有远超过30微米的盖玻片上。光学表 面应当尽可能洁净,并且细胞保持器应当被仔细清理,根据经验 至少两次,使得尽可能少的死细胞或者任何种类的残留物漂浮在 固定介质(mounting medium)中。在图3a的示例中,缓冲介质 5被密封在腔室中,以避免液体干燥或渗漏。例如,以胶带隔离 件(例如,来自于Grace Bio-Labs SS1X9-SecureSeal Imaging,其内径为9mm,厚度为0.12mm)的形式的密封件7被安装在盖 玻片9和基座11之间。
对于在具有透明基座的标准陪替氏培养皿3b中提供的活细胞 而言,可以通过将陪替氏培养皿的基座定位成挨着显微镜物镜37 或者非常靠近显微镜物镜37而直接观察细胞。只要培养皿的底部 表面被覆盖,其中细胞被定位成挨着该底部表面,并且该底部表 面形成了观察平面13,那么液体的量就不重要。
细胞的汇合(confluency)优选大于20%,以确保容易对细 胞定位,以供观察。
在示例性实施例中,相干光源4可以是激光束发生器,例如, 其类型为处于520纳米波长的二极管激光束。也可以使用具有其 他波长的激光束,需要注意的是波长越短,可能的分辨率就越高。
具体地,光感测系统8可以是具有图像传感器的照相机,其 中图像传感器被配置为读取穿过样本后被接收到的光束,并将检 测到的光信号传送至数据处理系统10。照相机可以是具有CCD、CMOS或者其他类型的光传感器的已知类型的照相机,其中光传 感器能够拾取所接收到的光束的波长、相位和强度,并将该信息 传送至数据处理系统10。
光束引导系统6被配置为将相干光束划分成两个波束,即, 参考波束7a和样本照明波束7b,它们遵循不同路径,分别为参 考波束光路22和样本波束光路20。光束引导系统包括分束器14, 其接收来自相干光源4的相关波束7,并将其分成两个波束7a、 7b。分束器本身是公知器件,无需在这里对其做进一步解释。
在样本照明波束7b穿过了样本1之后,并且在被光感测系统 8捕获之前,样本照明波束7b和参考波束7a通过波束重聚器16 得以重新聚合。可以与分束器具有相同的构造但是按照相反的模 式工作的波束重聚器本身也是公知的,无需在这里对其做进一步 描述。将相干光束7分成沿着两条路径(其中一条穿过样本)允 许测量样本照明波束7b相对于参考波束7a的相移,该相移依赖 于样本物质的被样本照明波束7b穿过的截面的折射率。
参考波束光路系统22包括用以将参考波束7a重定向并引导 成沿着其路径的方向改变反射镜30,以及光程差(OPD)调整装 置32。
参考图4a到图4c,根据所示实施例的OPD调整装置32是 基于透射原理的,并且包括安装在枢转支座46上的第一光偏离元 件42和安装在第二枢转支座48上的第二光偏离元件44。光偏离 元件42、44由折射率大于空气的透明材料(例如,玻璃厚板)制 成,被配置为使穿过它的参考光束按照某种方式发生弯曲,从而 允许对参考波束的光程长度进行调整。该透明材料可以由玻璃或 聚合物或者其他透明固体制成,并且可以仅仅具有平板或厚片的 形状,或者可以具有弯曲的或者非平行的外表面。枢转支座46、 48包括枢转轴P1、P2,并且可以通过互啮齿50机械耦合到一起, 从而使得枢转支座同时并按照相反的角方向w1、w2旋转。因而, 安装在枢转支座上的光偏离元件42、44同时并以相反的角方向枢 转,以调整波束7a的光程的长度。第一和第二光偏离元件42、 44之间的角度Ω越大,参考波束7a的光程越长。有利地,枢转 支座46、48可以是使用MEMS制造技术由半导电衬底制出的微 机械加工零件,枢转支座的旋转受到在半导体的一部分中流动的 感应电流的控制。
在有利的实施例中,光偏离元件48中的至少一个可以被可旋 转地安装到其枢转支座上,从而相对于另一个光偏离元件具有角 度Ω1的附加独立旋转,该光偏离元件48中的至少一个被配置为 允许对由于错位、制造公差等造成的光路错位(走离)进行调整。
在可替代的实施例中,第一枢转支座和第二枢转支座可以被 独立控制,并且没有被直接机械耦合,从而允许光程长度和光路 走离两者的调整。
在一种变型中,如图4c中示意性例示的,参考波束路径系统 20的方向改变反射镜30中的至少一些是可枢转的或者是倾斜可 调整的,以调整光程长度和/或光路错位(走离)。
参考图4d和4e,进一步描述根据上述实施例的OPD补偿系 统的原理。已知,可以使用玻璃厚板将波束横向偏移,并附带地 增加光程长度。但是,该横向偏移可以有利地通过使用两个玻璃 厚板而受到补偿,其中,将一个玻璃厚板顺时针旋转,并将另一 个玻璃厚板逆时针旋转,从而在使OPD两倍大的同时使横向偏移 受到补偿。
参考图4d到图4f,横向偏移(C′D)和OPD(即, OPD=(BC′-BC))可以被如下表示:
Figure BDA0002313940720000131
Figure BDA0002313940720000132
为了补偿波束的横向偏移,使另一玻璃厚板以相反角度倾斜: 偏移受到补偿,并且同时OPD被加倍,如图4f所例示的。图4f 示出了对于每个10mm厚,具有RI 1.5并且可倾斜0°到60°的两 个厚板的根据以上计算的OPD补偿结果。
根据该实施例的OPD调整装置可以被实施到显微镜中,以使 光路适应于两个反射镜30之间的样本厚度,如图4g所示。由于 命令误差、玻璃厚板厚度e的差异或者仅仅是支撑结构12中的部 件的组装中的宽松公差的原因,出射的参考波束7a将被横向偏移, 如图4h所示。对于透镜和照相机之间的300mm的距离以及对于 该透镜的20mm的焦距而言,如果容许传感器上的视场的十分之 一的可能偏移,例如,大约500μm的偏移,则这意味着第二反射镜上大约40μm的最大可容许横向偏移。如果我们容许这样的最 大横向偏移,则两个厚板42、44应当以具有最大差异为0.25°的 角度倾斜,或者厚板的厚度的差异不应超过100μm。为了避免对 玻璃厚板的机械驱动或尺寸施加严苛的公差,用由控制系统15的 微控制器所控制的可倾斜反射镜TM3、TM4替换反射镜30是有 利的,参考图4i。
可以参考图4i和4h对整个OPD补偿装置的命令过程进行如 下描述。
-样本1被放置在样本观察区17中,并准备好接受探查;
-玻璃厚板42、44被放置在中立位置(在图4h中, θ=90°)。
-控制可倾斜反射镜TM3、TM4(例如,MEMS反射 镜),以最佳地均匀传感器上的强度。为了易于搜索,可以将样 本照明波束7b从显微镜物镜37的孔径中偏转出来。
-根据在傅里叶域中与DC分量能量相比的载波峰值能量 的计算来评价干涉条纹对比度。
-OPD扫描开始于使玻璃厚板42、44沿某个方向倾斜某 个小角度。
-对于角度的每个增量(厚板可以通过具有恰当的齿轮 减速比(gear reductionratio)的步进马达来驱动),通过PID 算法使激光光点保持在光传感器上居中。
-适当地重定向样本照明波束7b,并且评估干涉条纹对 比度;
-一旦完成扫描,厚板42、44被适当地取向成得到最高 干涉条纹对比度的位置。
-可倾斜反射镜TM3、TM4的位置被细调。
-显微镜准备好对样本1进行最优测量。
在一种变型中,为了加快以上描述的迭代搜索,从过程P1获 得的光学厚度(用在过程P2中)可以被用于定义厚板角度的接近 期望的最优位置的起始点:得到最高干涉条纹对比度的结果的厚 板倾斜角度直接依赖于过程P1中估算出的样本的光学厚度。
参考图5a到图5d,根据所例示的实施例的OPD调整装置 32是基于反射原理,并且包括第一方向改变反射镜30a、第二方 向改变反射镜30b和第三方向改变反射镜30c。第一和第三方向 改变反射镜30a、30c中的至少一个是可倾斜的,而沿参考波束的 光路位于第一和第三反射镜之间的第二方向改变反射镜30b则是 可平移的。第二反射镜30b的平移改变光程的长度,旋转可倾斜 的第一和第三反射镜30a、30c,以校正依据第二反射镜30b的位移的参考波束的方向。
在图5b的变型中,第二反射镜安装在支座(未示出)上,该 支座被配置为沿着偏斜于与第二反射镜反射平面正交的方向的方 向来移动第二反射镜(又称为角平分线位移),其中第一和第三 反射镜30a、30b都是可倾斜的,从而针对参考光束的角度上的变 化进行调整。在图5c的变型中,第二反射镜安装到支座(未示出) 上,该支座被配置为与第二反射镜反射平面正交地移动第二反射 镜,其中第一和第三反射镜30a、30b都是可倾斜的,从而针对参 考光束的角度上的变化进行调整。在图5d的变型中,第二反射镜 安装在支座(未示出)上,该支座被配置为沿平行于被反射出第 二反射镜的参考波束的方向移动第二反射镜(又称为内切圆位 移),其中第一反射镜30a是可倾斜的,以针对参考光束的角度 上的变化进行调整,并且第二和/或第三反射镜是任选可倾斜的。
与透射型OPD实施例相比,反射型OPD实施例的优点在于 使得光学表面的误差引起的影响(诸如强度变化或像散)最小化, 以及使用在MEMS倾斜反射镜运动中可容易地获得的自由度。过 程P4基本上与过程P3等同,只是利用反射镜平移替换了厚板旋 转。
主要参考图1a到2b,样本波束光路系统20还包括方向改变 反射镜26,以引导样本照明波束沿着其选定的路径。样本波束光 路系统还包括样本照明装置28,该装置包括反射镜系统34和旋 转机构36。反射镜系统34包括被配置为将样本照明波束7b以相 对于显微镜物镜37的轴A的预定角度α朝样本1指引的第一反 射镜54和第二反射镜56。
在实施例中,旋转机构36包括马达驱动装置38和旋转支座 40,反射镜系统34被安装在旋转支座40中。在本示例性实施例 中,驱动装置38经由包括皮带39的传动设备耦接至旋转支座, 但是可以使用很多其他传动设备系统(例如,齿轮系统)将驱动 设备耦接至旋转支座,或者通过磁感应耦接。
旋转支座40包括中空的或者管状的轴58,轴58被配置为允 许样本照明光束从其穿过,旋转支座40还包括在其中安装第一和 第二反射镜54、56的反射镜支座体60。旋转支座,具体地,中 空轴58,经由轴承59被安装至外壳支撑结构12。
第一反射镜54将被投射通过中空轴的光束重定向到第二反射 镜56上,第二反射镜以照明角度α将该光束重定向到位于样本保 持器18上的样本1上。第一和第二反射镜可以以固定关系布置在 反射镜支座体60内。在其他变型中,第一反射镜或者第二反射镜 或者两者可以是可枢转调整的。可枢转调整的第一和/或第二反射 镜可用于将照明角度调整到选定的照明角度,和/或针对由于制造 公差造成的或者由于运输和操作期间或使用中的失调造成的错位 进行调整。也可以通过调整样本波束光路系统20的方向改变反射 镜26a、26b的角度来调整照明角度。角度可调整的反射镜26a、 26b可以是如图8所例示的具有由半导体材料形成的以MEMS加 工反射镜的形式的微机械加工零件(如本领域中本身已知的),以形成具有可电调整的倾斜角度的反射镜。因而,角度可电调整 的反射镜允许对制造公差进行补偿,从而校准该装置,并且允许 根据需要将照明角度动态地或者静态地调整至选定值。因而,有 可能在制造之后并且每次使用之前对显微镜进行自动校准,以校 正使波束7b′偏离选定路径7b的任何错位、制造公差、热效应和 磨损,如图2b中最佳地例示的。
样本照明路径系统中的角度可调整反射镜还可以有利地实现 对样本的折射特性的静态或动态调整。例如,可以对在其内浸入 样本的液体的高度增量h的改变(参考图5a到5c)进行校正。 随着光束围绕显微镜物镜光轴A旋转通过360°,可以应用动态校 正,从而对在其中浸入样本的液体介质的相对于光束的路径的不 均匀的厚度进行补偿。这种不均匀厚度可以是由于样本容器的非 水平安装造成的,或者可以是由于表面张力造成的液体的弯液面 的存在造成的。
用于在来自光感测系统8的反馈信号的基础上自动控制反射 镜26a、26b的倾斜角的闭环调节系统可以被结合到显微镜的控制 系统15的电子控制电路中。电子控制电路还可以控制旋转波束机 构36和光源4。
在图1b中例示的实施例中,旋转支座允许在图像捕获期间使 样本照明波束在保持固定的照明角度α的同时旋转360°。在旋转 反射镜系统34期间,可以通过照相机捕获选定数量的图像帧,例 如,在20个至200个的范围内的图像帧,例如,大约100个图像 帧,每个图像帧表示正被观察的微小对象的不同视角。每帧表示 一个二维图像截面,该二维图像截面表示正被观察的样本的平面 截面中的折射率分布。可以编译该二维部分,从而重构出所观察 的微小对象的三维的基于折射率的图像。如图1b例示的实施例所 关心的,依赖于旋转支座40的旋转速度的波束旋转速度可以依据 光感测系统8的帧捕获频率而调整。
根据本发明的具有预定照明角度α的旋转的样本照明波束相 对于基于透镜的常规解决方案尤其有利,因为它允许以显微镜物 镜37的数值孔径(NA)所允许的尽量大的大照明角度α来照明 微小对象。这在可以位于样本保持器上并被显微镜查看的样本的 大小方面提供了大得多的灵活性,同时显著减少了显微镜的制造 成本和对沿着光路的光学元件的质量的敏感性。此外,旋转反射 镜系统不改变波束形状,这与透镜或者折射或衍射元件形成了对 照,透镜或者折射或衍射元件因而需要以极高的质量来制造以减 少波束整形。后者显著增加了生产成本,与本发明提供的解决方 案形成了对照。在本发明中,可以改变照明角度α,如果反射镜 以固定的关系在旋转支座40中,则通过替换旋转支座40来改变照明角度α,或者通过在旋转支座中具有可旋转的第一反射镜54 和/或第二反射镜56来改变照明角度α,由此照明角度的极限由显 微镜透镜的数值孔径确定。例如,对于0.8的数值孔径而言,照 明角度可以为55°,以及利用数值孔径1.3,照明角度可以高达 64°。该角度越高,灵敏度就越大,因而二维相位图像以及因而由 二维相位图像重构的三维相位图像的分辨率就越大。
样本照明波束的光路中的倾斜可调整反射镜尤其有利,因为 它们允许针对装置寿命期间的错位、制造公差、磨损进行调整, 还允许针对各种变化,诸如在其中浸入所要观察的物质的液体的 高度的变化,进行静态或者动态的校正。
本发明的另一个尤其有利的特征是光程差(OPD)调整装置 32,其具有倾斜可调整的透射或反射光偏离元件42、44、30a、 30b、30c,这些元件允许对光程差进行自动且连续的校准或调整, 并且还允许在不必改变这些元件的情况下对OPD走离进行校正。 在常规装置中,依据光路的调整,具有不同厚度的一系列的透明 圆片位于参考波束路径中,然而,这不允许连续且精细的调整, 也不允许对OPD走离进行校正。
参考图7a到图7c,首先从图7a开始,在第一变型中,旋转 波束机构36包括具有第一反射镜54和第二反射镜56的反射镜系 统34,旋转波束机构36安装在支座40中,支座40可旋转地安 装在外壳支座12上,并且围绕显微镜物镜光轴A旋转通过360°, 以执行对样本1的图像捕获。第二方向改变反射镜26b根据一种 变型可以是可调整的,或者可以是固定的,其中,在可调整的变 型中,可以变化波束的照明的角度α,以改变照明角度,或者保 持固定的照明角并且对任何错位或失调进行校正。在图7b的第二 变型中,样本照明装置的反射镜系统34是固定的,第一反射镜 54基本上具有中央锥(central cone)的形式,其将波束7b重定 向至第二反射镜56,也基本上形成了外锥形环(outer conical ring)。通过样本波束光路系统20的第二方向改变反射镜26b执 行波束旋转,该反射镜执行连续地倾斜的圆形的移动,以围绕第 一反射镜54所形成的锥来旋转照明波束,使得照明波束围绕显微 镜物镜光轴A旋转360°。这种解决方案的优点在于有限的机械零 件,但是与图7A中例示的机械解决方案相比,这种解决方案对 锥形反射镜表面的曲率的准确性的敏感性更大。
图7c还例示了具有固定支座40的系统,其中,旋转的照明 波束通过中心可倾斜反射镜54′致动,该反射镜54′执行360°范围 的圆形的倾斜的移动,并且将该波束朝向上方第一反射镜56a反 射,第一反射镜56a向第二横向反射镜56b反射。
图7d例示了样本保持器18包括基座18b和在其上放置样本 的旋转的样本支承表面18a的实施例。因而,在该实施例中,在 样本照明波束7b保持在固定角度位置的同时,通过使样本保持器 绕着显微镜物镜37的光轴A旋转,使样本照明波束7b相对于样 本是旋转的。方向改变反射镜26中的任一者或两者可以是可枢转 操作的反射镜TM1,例如,以MEMS部件的形式。
样本照明过程P1-自动校准例程的示例:
根据本发明实施例,显微镜可以有利地包括被配置为实施自 动校准例程的软件和电子控制系统,其中该例程的目的在于控制 可倾斜(例如,MEMS)反射镜26、TM1的检测角度,以校正 几何错位,从而使得样本照明波束7b在显微镜物镜37的视场 (FOV)的中心射到显微镜物镜37的焦平面上。这等同于使入射 光光点在照相机8的传感器表面上居中,相应地在所捕获的数字 图像上居中。从该校正可以随着样本旋转波束系统36的旋转角度 一起改变的意义上来讲该校正是动态的。
由于对于旋转波束系统36的每次旋转而言,想要校正的错位 是等同的,因而控制可倾斜反射镜26a的信号相对于系统的旋转 是周期性的。对于可倾斜反射镜中的每个自由度i=x,y而言,可 以分别通过使用对应于旋转波束系统的旋转频率f0及其整数倍 nf0的可数数量的离散傅里叶正弦和余弦系数
Figure BDA0002313940720000201
Figure BDA0002313940720000202
来描述该信 号。由于该光学配置的旋转特点,所以主要的傅里叶系数为DC 项
Figure BDA0002313940720000205
以及那些与基频有关的项,
Figure BDA0002313940720000204
Figure BDA0002313940720000203
它们分别对应角度偏差 和反射镜的与旋转波束机构具有相同频率的圆形角运动。虽然为 了完整描述所需的校正信号,更高阶的项可能是必要的,但是在 大多数情况下,只需要少量(大约10个)的项,因而给出了一种 用于存储校正信息的高效存储的手段,例如,可以将校正信息容 易地存储到在操作期间执行实时校正的微控制器的有限存储器中。
如果入射光光点在物镜的视场(FOV)中,那么可以通过对 照相机图像的四个象限中的像素值求和而定量地确定该光点的位 置。取两个沿对角线相对的象限的和之间的差值,则然后得到两 个值u,v,它们描述了光点相对于图像中心的位置。在FOV中心 的光点将得到u=v=0。
值u、v可以被用作(例如针对PID控制的)反馈值。然后可 以通过使样本照明波束相对于样本旋转并通过使用PID以保持光 点在照相机的数字图像的中心而获得校正信号轨迹。但是该过程 可能导致下面的困难:(i)一般而言,光点起初不在照相机的视场 内,所以反馈环被破坏;以及(ii)由于PID控制的速度受到照相机 帧速率的限制,所以可能需要非常大的帧速率以能够在旋转期间 跟随光点。换言之,在旋转期间,可以发生的是,光点在两个照 相机帧之间彻底离开照相机的视场,因而阻止PID能够做出反应。
为了规避这些困难,在图8中例示的实施例中,可以实施如 下文描述的两步骤过程。在主要傅里叶系数是DC和基频的假设 下,第一步骤是获取这些系数的近似值,从而使反馈环必须仅能 够对表现出低得多的幅度的较高次谐波项做出反应。首先,针对 旋转波束机构的两个正交静态位置θ1、θ2(图9的流程图中的 “角度1和角度2”,下文的θ1和θ2)找到使光点在照相机8的视 场中居中的可倾斜反射镜的位置-参见步骤P1-1到P1-5以及P1-6到P1-10。该步骤是通过在搜索图案中移动可倾斜反射镜(例如, MEMS反射镜)直到光点进入照相机的视场而完成的(步骤P1-2、 P1-3以及P1-8、P1-9)。然后,PID控制被用于使光点在图像中 居中(步骤P1-4、P1-9)。因此获得的反射镜角位置可以被保存 (步骤P1-5、P1-9),并可以允许计算(步骤P1-11)对应于角 度偏差以及圆半径和相位的DC和基频傅里叶系数。这可以通过 求解针对6个傅里叶系数a和b的6个方程完成:
Figure BDA0002313940720000211
Figure BDA0002313940720000212
Figure BDA0002313940720000213
Figure BDA0002313940720000214
Figure BDA0002313940720000215
Figure BDA0002313940720000216
这里,下标m指示从角度1和角度2的测量获得的x和y值,F 是可倾斜反射镜的x方向和y方向之间的灵敏度比率。
接下来,使旋转波束系统(例如,指图1a、图1b的实施例 中例示的机械旋转系统的臂)连续旋转(步骤P1-12),并将先 前确定的偏差和圆形运动动态地应用于可倾斜反射镜TM1(步骤 P1-13)。入射光光点的运动的主要部分因而被减去,则残余运动 慢到足以被反馈环(即PID控制)跟随(步骤P1-14)。位置可 以被保存(P1-15),并且在一个完整循环之后,反馈环的输出信 号的傅里叶变换(P1-17)可以然后被加(P1-18)到先前获得的 傅里叶系数(即,DC值和基频值)上,从而得到完整的校正谱。
如有必要(P1-16),可以执行第二次迭代,现在将所获得的 所有傅里叶系数在旋转期间应用于反射镜TM1(例如,MEMS 反射镜),并使用电子控制系统的反馈环来再次使残余的光点运 动最小化。这在改变旋转频率时可以是有用的,因为MEMS反射 镜的响应一般来说是依赖频率的,因此系数可以与旋转波束的角 速度一起改变。
样本相位校正过程P2-用于基于样本的且自动的相位校正的可倾 斜反射镜的反馈环控制的示例。
该例程的目标在于找到用于访问一定范围的查找表格(LUT) 的参数,该查找表格用于对获取的图像的相位平坦度上的系统误 差进行数值校正。照到样本上的激光样本照明波束可能稍微没有 准直。这可能是由于准直光学器件的错位造成的,但也是由于高 斯波束的衍射受限发散造成的。当改变该波束必须行进通过的样 本的光学厚度时,以散焦
Figure BDA0002313940720000221
像差的形式修改显微镜 物镜的视场(FOV)中的相前的曲率。已经观察到,该散焦像差 依赖于旋转照明臂的方位角度θ和样本的光学厚度nh,其中,n是 样本介质的折射率。由于像差不在不同的样本之间改变,因而可 以在给出θ和nh的情况下使用预定的LUT来数值地校正散焦效应。
可以从校准过程P1的结果推导出样本的光学厚度nh。可以 注意到,可以执行过程P1以补偿样本照明波束相对显微镜物镜的 视场(FOV)的依赖于样本厚度h1、h2(参见图16d)的走离。
由于位于旋转波束系统的上游的倾斜反射镜TM1是静态安装 的,所以旋转波束系统38的旋转将使得通过可倾斜反射镜TM1 进行的校正是动态的。但是,主要分量是对应于圆柱坐标中的恒 定角度偏转(以上的α′)的圆形校正。在过程P1中,通过第一阶 傅里叶系数
Figure BDA0002313940720000231
Figure BDA0002313940720000232
来描述该圆形运动,该运动的半径通过下式给 出
Figure BDA0002313940720000233
半径R正比于角度α′上的偏移。由于斯涅耳定律的原因,在 nh和α′之间不存在线性关系,因而在nh和R之间不存在线性关系。 但是,如果使用查找表格(LUT)来表征校正参数
Figure BDA0002313940720000234
对nh的依赖 性,则可以通过LUT本身来补偿任何非线性,只要在创建LUT 期间考虑了该非线性即可。在该情况下,LUT参数可以通过半径 R直接定义。
该过程步骤可以被如下列举:
P2-1在执行了校准过程P1之后,如以上所述的由第一阶傅里叶 系数
Figure BDA0002313940720000235
Figure BDA0002313940720000236
计算R。
P2-2更新将从其提取校正系数
Figure BDA0002313940720000237
的对应LUT索引。
当散焦校正
Figure BDA0002313940720000238
被分开地应用于每个获取的全息图时,例如利 用角度位置传感器或者使用全息图的载波频率来在运行时间中确 定对应的LUT参数θ。
在一种变型中,以上过程是通过使用较低谐波(即,DC傅 里叶分量
Figure BDA00023139407200002310
)和较高谐波来执行的,用于进行走离补偿,从而允 许检测出不均匀的样本厚度(例如,发生了倾斜的包含液体的培 养皿或者弯曲表面)。在这种情况下,以上的旋转对称性被破坏, 并且LUT参数R本身依赖于旋转角:
Figure BDA0002313940720000239
在一种变型中,光学厚度nh由在P3/P4中执行的光程长度补 偿确定。其中,由样本厚度nh引起的光程差通过移动元件来补偿。 移动元件的位置可以被反过来用于推导nh。与以上类似地,nh非 线性地依赖于移动元件位置,但是可以通过恰当校准的LUT对该 非线性进行补偿。反之亦然,通过过程P2推导出的nh的估值可 以在P3/P4中被用于对该移动元件定位。
参考波束校正过程P5-示例
该例程的目标在于找到对于倾斜反射镜TM2的最优设置,从 而使得所观察到的全息干涉条纹具有使经解调的相位图像的信噪 比(SNR)得到优化的频率。在显微镜中,全息干涉条纹是通过 在光感测系统8(例如,照相机)上叠加两个光束(即,对象光 束和参考光束)而创建的。假设两个光束是具有波矢
Figure BDA0002313940720000241
Figure BDA0002313940720000242
的平 面波,那么照相机上的强度可以被写作:
Figure BDA0002313940720000243
其中
Figure BDA0002313940720000244
并且zc是照相机的z位置。在两个波束都表现 出球面曲率时,半径在两种情况下是相同的,并且可以在叠加期 间被减去。因而实际上可以通过单个波矢
Figure BDA0002313940720000245
描述参考波束的方向。 类似地,对象波束包括它已经穿过的对象所调制的主要分量
Figure BDA0002313940720000246
对象波束的载波频率跟随旋转入射照明的方向,其平面内分量描 述了原点附近的圆,如图14a中的虚线圆所描述的。箭头表示参 考波束的平面内波矢。通过-1阶圆和+1阶圆示出了方程(1)中 描述的强度图案的傅里叶变换:通过靠近原点的黑点显示常数项, 以及第二和第三被加数分别是被称为“+1阶”和“-1阶”的圆。为了 准确地处理该全息图,所叠加的波的强度图案的谱(即,以上的- 1阶和+1阶圆,称为载波频率
Figure BDA0002313940720000247
)必须与通过黑色中心点描述的 常数项在空间上分开。此外,整个圆应当在谱的单个象限中,从 而加速处理,因为仅单个象限是必须要注重的。
在参考波中引入倾斜对应于将其表达式乘以线性相位函数, 其方向通过矢量kr定义。因而经倾斜的参考波变为rt=re-i(kr·x), 其中,x=(ex,ey,ez)是笛卡尔坐标系的单位矢量:
可以识别出,干涉项与在SFD中对应不同调制的各种相位因 数相乘。如果考虑沿平行于调制方向的轴ωx的调制频率,则倾 斜角度θ将引起对应于下式的调制频率
Figure BDA0002313940720000251
另一方面,探测器在x方向上具有对应于ω=1/Δx的频率的 采样能力,其中,Δx是照相机的像素大小。因而,通过考虑奈奎 斯特定理,能够由探测器求解(resolve)的最大角度为
Figure BDA0002313940720000252
根据该方程,对于λ=520nm的主激光线以及CCD照相机 的标准像素大小(Δx=5μm)而言,最大可用角度为Y≤4o且 α(2)≤2o。为了实现衍射波矢的测量,可以考虑在第一近似中将角 度限于该值的一半,并且将载波频率放到象限的中心处,因而得 到α(2)≤1°。假设最大带通偏移为带通/8,因而512px/8=64px, 那么最大偏移导致Δα(2)≤0.25°。
鉴于从可倾斜反射镜TM2到光探测器8的最大距离为 300mm,那么最大偏移导致Δα(2)≤0.25°,使得横向实际空间位 移为tan(0.25°)*300mm=1.3mm。因而,对于典型的传感器大小 1024*0.005mm=5.12mm而言,6.4mm的波束大小应当足够使载 波频率适应仅α(2)而不损失实际空间“diameter_ref=FOV+最大位 移”中的强度。
强度图案的谱的位置依赖于对象波束7b和参考波束7a两者 的方向。由于显微镜物镜37的与照相机8有关的几何结构是固定 的,所以不能容易地调整对象波束的方向。但是,能够通过使用 可倾斜反射镜,例如,TM2,调整参考波束的方向。用于找到对 于可倾斜反射镜TM2的最优位置的过程可以如下:
P2-1首先运行校准过程P1和P3/P4,以确保存在可在光探测器8 上观察到的干涉条纹。
P2-2借助于旋转波束系统36(例如,在图1b中例示的实施例中, 旋转支座臂40)使对象波束7b旋转,以将对象波束的波矢 的kx分量最小化。
P2-3计算光探测器(照相机)8上的强度图案的2D FFT,并且 由+1阶计算载波频率
Figure BDA0002313940720000261
P2-4将kc,x与预定义最小值kmin进行比较。如果kc,x>kmin,那么 前进至步骤P5-6。
P2-5增加倾斜反射镜TM2,从而使参考波束7a更加陡峭地落在 照相机8的x轴上。返回至步骤P5-3。
P2-6计算照相机上的强度图案的2D FFT,并且由+1阶计算载波 频率
Figure BDA0002313940720000262
P2-7将kc,y与预定义最小值kmin进行比较。如果kc,y>kmin,那么 前进至步骤P5-10。
P2-8增加倾斜反射镜TM2,从而使参考波束更加陡峭地落在照 相机的y轴上。返回至步骤P5-7。
P2-9通过将在对象波束路径中(位于样本1的上游)的反射镜 TM1完全向一侧倾斜而使得仅参考波束7a落到光探测器8 上,使得对象波束7b消隐。
P2-10通过计算像素的在照相机感兴趣区域(ROI)中受到照明的 部分而计算参考波束的填充因子ff。
P2-11将ff与预定义值ffmin进行比较。如果ff≥ffmin,那么前进 至步骤P5-14。
P2-12将ROI从未受照明的像素的平均位置移开。返回至步骤P5- 11。
P2-13使对象波束可倾斜反射镜TM1返回至其默认位置,从而在 光探测器上看到对象波束。
P2-14连续地旋转对象波束(例如,通过旋转支座臂40)。
P2-15获取多个全息图,并计算它们的载波频率的重心作为用于解 调的带通滤波器的中心。
质量评估过程P6-参考图12的示例
该例程的目标在于通过提取光学波束的一些特征而对测量的 质量进行评估,当没有样本存在于视场中时,特征为强度平均值 波度和粗糙度。该过程的目标在于给予i)关于波束强度分布的信 息(可以用于诊断问题)以及ii)留到过程P2之后才能确定的针 对A_n^m的LUT,其中,n≥2并且m≥1。如果样本1被插入到 对象波束7b的路径,那么必须应用照亮(lightened)过程来确保 样本基本上在特设的(ad-hoc)形状中,从而允许进行适当的3D测量。
依赖于所观察到的样本的类型、固定介质的性质以及光学表 面的清洁度状态,强度分布会或多或少地变动。此外,即使在波 束均匀性满足了一定质量要求时,由于光路中的残留轻微错位的 原因,每个全息图的相位有可能不是理想化平坦的。为了实现最 佳质量的层析成像测量,一旦补偿了第一阶像差(即,活塞 (piston)、倾斜和散焦),就可以对更高阶的像差进行量化和 数值补偿,如过程P3或P4中所描述的。
在装置的该校准阶段中,已经执行了过程P1、P2、P3/P4和 P5。现在我们可以确保整个视场没有可以作为对象和/或参考波束 的强度分布的不均匀性而出现的缺陷。可替代地,如图18所述, 可以在应用P1、P3/P4和P5之后在空的FOV上执行P6,从而 得到针对唯一归因于显微镜的光学特性的参数A_n^m的LUT。 随后的过程P2用于对归因于样本引起的光学特性的A_2^0进行 更新。
因而,这里的方法是首先在参考波束7a光路内使用倾斜反射 镜TM2来相对于光探测器8遮蔽参考波束。然后,对象波束7b 可以被表征。在通过倾斜反射镜TM1遮蔽住对象波束时,可以针 对参考波束执行相同的过程。如果在该点处检测到的误差,则可 以启动过程P7,否则可以执行层析成像获取,意味着获取和分析 一系列的全息图。
一旦波束均匀性满足了某些预定义的质量标准,则记录和分 析一系列的全息图,如先前描述的那样。根据在相对于样本1旋 转对象波束的循环期间取得每个全息图,再次在平坦度和粗糙度 方面对由光探测器取得的波束信号的相位
Figure BDA0002313940720000281
进行计算和表征。 对于每个旋转波束系统角度而言,可以计算对Zernicke多项式 R_n^m的最小平方拟合,以产生A_n^m参数的值的查找表格 (LUT)。根据该LUT,能够取得针对旋转波束系统的每个取向的平坦相位,并能够实现层析成像重建(仍然是空视场的)。此 外,该方法倾向于根据该3D测量结果进行统计表征,可以再次 在平坦度和粗糙度方面将其与质量标准进行比较。
误差分析过程P7-参考图13的示例
在出现误差时,启动该过程以解决问题或者尽可能多的诊断 问题从而将有用信息以日志文件的形式传送至计算机网络(这里 称为云)。如果在几个测试例程之后,装置仍然没有适当地工作, 那么可能需要维修。
这里,我们只考虑以上描述的从P1到P6的例程中的故障。 该误差例程P7描述了系统如何能够自我诊断问题并且解决问题或 者向用户给出用于解决问题的基本且精确的指令。考虑两种类型 的问题:i)与样本有关联的问题,或者是样本的性质(吸收、厚 度),或者是样本浸入其中的介质的性质(扩散或者表现出漂浮 碎片),或者ii)与光学器件有关联的问题,例如,由于灰尘或错 位。
在检测到阻止执行适当的层析成像测量或者只是阻止完成过 程P1到P6中的一个的误差时,方法如下。在第一步骤中,装置 连接至云,以上传包含元数据的日志文件。第二步骤是通过使可 倾斜反射镜TM1发生枢转而执行对象波束7b的2D的盲全局搜 索。该搜索被说成是盲搜索,是因为未给出任何具体的约束来限 制在TM1的可能倾斜角度范围内的搜索图案。该过程或者在显微 镜开启期间发生(例如,在无样本1的情况下),或者在已经将样本插入样本观察区17中之后发生。
稍后,可以对参考波束可倾斜反射镜TM2到TM4进行受约 束的全局搜索,而约束则是由依据TM2的可移动元件或角度范围 的TM3和TM4的平行取向给出的。该步骤的目标在于识别未被 先前的步骤解决的问题是否实际上来自于参考光路。该搜索在这 里是受约束的,因为各反射镜的运动根据设计是按照线性定律发 生联系的。它还允许减少搜索的复杂度,从而加快搜索。
在执行完这两次全局搜索之后,可以完成过程P6,以评估测 量的质量。从那里开始,问题或者得到了解决,或者需要进一步 分析,该分析是然后针对旋转光引导系统的不同取向来执行的。 可以对依赖于样本照明的一系列全息图实施单独的且计算密集型 的分析。其目标在于明确该问题是否具有取向依赖性。
于是,能够推导出该问题来自于光学器件还是样本,并且可 以给用户导向性指令。如果质量还是不令人满意,那么可以远程 访问该装置,以进行更高级的分析。如果在该过程之后问题仍然 存在,那么该装置将需要特别注意。
图18例示了根据本发明的实施例的显微镜的操作中各种过程 P1到P7的全面实施的示例。
在下文说明在上述过程P1到P7的每一个中由光感测系统捕 获的各全息图的幅度和相位分析。可以按照洋葱皮模型查看不同 层级的反馈,该模型的外表面描述了最易访问的层级,而最里面 的核心是最不易访问的层级。访问每一层级首先要求所有外侧的 反馈层级的成功对准。具体地,可以通过使用如图14b中示出的 具有强度、相干性、干涉条纹频率和相位的相继层级的洋葱皮模 型来描述反馈控制的不同层级。每个反馈层级可以在所呈现的校 准过程中的一个或多个中被访问,并且不仅表示对于校准质量的 监视器,还表示在向内前进之前必须优化的参数:必须成功地校 准所有的外层才能评估下一个层。最内层,成像相位,是被最后 用于显微镜中对生物学样本成像的值。第一层,强度,是调整起 来最不复杂的参数,因为它不需要其他参数的对准。如果对象波 束和参考波束干净利落地通过波束路径内的所有光学元件的通光 孔径,则该波束的强度得到优化。起初,必须仅一次就找到适当 的对准,但是在其他反馈参数的对准期间,每次修改配置,就必 须调整强度。强度对准的一个特别情况是校准过程P1,因为它需 要确定动态的校正,该动态的校正要确保在样本照明波束的旋转 期间对象波束的强度最大值保持在显微镜物镜的FOV中居中。该强度层还可以提供有关样本和系统配置的信息。例如,在过程P1 中获得的系数可以给出对样本的光学厚度的估算,如在P2中被使 用的。而且,在反射镜TM4既可倾斜,又可平移的实施例中,参 考波束路径中的可倾斜反射镜TM3的使光穿过可倾斜反射镜 TM4的通光孔径的角度能够给出可平移反射镜TM4的位置的近 似。
如果对象波束和参考波束的光程长度比光源的相干长度短, 那么第二层,相干性,得到优化。这等同于对象波束和参考波束 之间的固定相位关系,并且是观察干涉条纹所需要的。显然,为 了获得干涉条纹,对象波束和参考波束两者的强度必须得到适当 优化,即,必须成功对准外层。反过来,在对光程长度优化之后, 应当对强度对准进行检验。除了提供对于干涉的必备条件之外, 用于最优相干性的配置也是对于对象波束路径中的样本的光学厚 度的测量。
第三层,干涉条纹频率,由入射到光感测系统上的参考波束 和对象波束的相对角度定义。与强度形成对照的是,该层受到波 束路径中的光学元件被穿过的角度的影响。如果干涉条纹频率大 到足以使得围绕所观察的全息图阶(hologram order)的通带中 的经调制的图像信息不与0阶区域重叠,则该层将得到优化。如 果干涉条纹方向使得,对于旋转样本照明波束相对于样本的所有 旋转位置而言,对应谱内的载波频率峰均处于同一象限内,从而 加快了处理,则干涉条纹频率得到进一步优化。在修改该层之后, 必须对强度以及也有可能的相干性的适当对准进行检验。
干涉条纹频率,即,全息图的傅里叶变换中的载波峰值的位 置,可以在运行时间中(即,在获取期间),用于提取有用信息。 例如,峰的最大值限定了对于解调必须使用的频率。在使样本照 明波束相对于样本转动时,峰相对于其旋转的重心的位置可以被 用于计算旋转波束系统相对于样本的角位置,以用于基于查找表 (LUT)的相位校正。
最内层,经解调的图像的相位,可以用于重建样本1的图像。 该值是通过获取全息图,向其谱中的先前确定的通带应用滤波器 以及成功解调载波频率而获得的。可以看出,在评估相位之前必 须优化所有外层。鉴于空的样本包含介质但不包含生物学对象, 如果所得到的图像的相位具有最佳平坦度,则参数得到优化。该 相位平坦度可能因为次最优校正的显微镜物镜而降低质量,也因 显微镜中的不正确放置的光学元件而降低质量,诸如:
I.使非准直波束穿过平的窗口。
II.使波束斜着(即不平行于透镜的光轴)通过透镜。
可以使用优化例程来最小化上述像差,尤其是II号像差,以 控制在光学元件上的波束位置和入射角度。如果提供了无样本参 考,则可以数值地校正残余相位误差。
参考图15,下文说明对于自动校准步骤的相位校正。通过控 制可倾斜反射镜执行用于光学厚度估算的对象扫描反馈。它允许 基于样本且自动化的相位校正,意味着无背景识别的独立于用户 的校正,该校正能够处理高细胞汇合。
可以描述在成像过程期间引入的有关从对象到图像的相位转 移的光学像差。假设通过光学系统的相位偏差
Figure BDA0002313940720000321
来修改对象的 相位
Figure BDA0002313940720000322
因此,光场能够被写成
Figure BDA0002313940720000323
这里,索引i表示图像,o表示对象,以及s表示光学系统。 如果以
Figure BDA0002313940720000324
形式的像差是已知的,那么可以得到校正相位因子
Figure BDA0002313940720000325
利用校正相位因子能够重建未失真的对象场:
Figure BDA0002313940720000326
可以在被称为Zernike多项式
Figure BDA0002313940720000327
m=-n...n的一系列多项 式中将相位偏差
Figure BDA0002313940720000328
展开。这些多项式在图15a中描绘。相应地, 利用
Figure BDA0002313940720000329
校正因子能够被减少成一组参数
Figure BDA00023139407200003210
为了在测量之后对像差进行数值校正,必须确定参数
Figure BDA00023139407200003211
对于空的样本,即没有生物学样本浸入在其中的介质(例如, 液体)而言,
Figure BDA00023139407200003212
是恒定的,因而例如通过全息显微镜测得的相 位描述了纯像差。对呈现的像差的分析指示其相应的来源。Z1像 差,即倾斜,仅依赖于照明的取向θ和α,并且它们的幅值可以根 据每个全息图中的载波频率直接确定。大部分更高阶的像差 (m≥2)是成像系统特有的,而与样本无关,因而可以在没有 样本的情况下表征这些像差,其对应的校正参数
Figure BDA00023139407200003213
被存储在参考 表格中。特别情况是散焦像差
Figure BDA00023139407200003214
其由系统定义的分量和依赖于 样本厚度nh和照明方向的分量构成。因而,对应的校正参数
Figure BDA00023139407200003215
必 须与针对nh和θ的附加参数一起存储到参考表格中。
可以直接从全息图的傅里叶变换(特定频域,SFD)或者通 过在实际空间中最小平方拟合到经滤波以仅包含非零阶的全息图 频率的相位(或者通过两种方法的组合)来确定针对每个获取的 全息图的倾斜(Z1像差,A_1^(±1)因子)。校正因子正比于全息 图的载波峰值的位置,相应地,正比于通过最小平方拟合的平面 的斜率。
载波频率(相应地,SFD中的峰值位置)可以被用于确定旋 转波束机构相对于样本的角度位置θ。这里,在旋转波束机构的 完整旋转期间,载波峰值的位置必须是相对于由载波峰值描述的 圆的重心来确定的。在给定三个载波峰值的情况下,可以容易地 找到该中心:重心是连接三个峰值位置的线段的中垂线的交点。 在给定旋转波束机构的位置θ的情况下,可以通过将θ(和样本厚 度)插入到查找表格中而获得剩余的校正因子A_n^m。该查找表 格先前根据关于透明、均匀的样本所做的校准测量(诸如在过程 P6中)来填充。对于各种样本介质厚度nh和旋转波束机构角度θ 而言,未经校正的相位得到测量,以及对Zernicke多项式R_n^m 的最小平方拟合得到查找表格值。
参考图15b和15c,例示了在不同样本条件下像散和散焦的 典型测量结果,该典型测量结果由作为时间(在旋转期间)的函 数的更高阶展开表示。在图15b中,通过盖玻片提供样本,对于 盖玻片而言,散焦仅是旋转的函数,散焦的偏差的幅值是由光学 厚度确定的,像散在时间上为常数但依赖于旋转。在图15c中, 样本在陪替氏培养皿中,由此散焦是旋转和蒸发(随时间而改变) 的函数,散焦的偏差的幅值由样本的光学厚度和可能的弯液面确 定,像散在时间上为常数但依赖于旋转。
这些测量结果告诉我们散焦的平均幅值随着样本的光学厚度 而变化。因此,通过变化样本照明路径中的可倾斜反射镜的角度 而扫描的目标是确定样本的光学厚度,并借助这些手段确定散焦 的幅值。在水溶液的情况下,弯液面可能引入附加的散焦。为了 得到最佳的散焦估算,例如散焦的theta依赖性(校准期间)的 测量结果(尤其)可以用作弯液面估算。
参考图16a-16c,说明以上提及的前因子的估算。在变化可倾 斜反射镜的角度的扫描中,由光感测系统的光传感器(例如,照 相机)捕获的光束信号的测量结果提供下面的信息:如果入射光 的角度α使得光束直接落入视场中,则在视场中心,即(x=0)处 的强度将示出最大值。这是图16a中针对实线显示的情况。对于 样本的变化的光学厚度厚度nh而言,该最大值将偏移到不同的α, 如图16b中所显示的。角度α和光学厚度之间的关系可以使用费 马定理给出,并且涉及使针对给定几何结构的光学路径ψ最小化:
Figure BDA0002313940720000341
这里,(x0,y0)是从可倾斜反射镜反射出去的波束的位置, (x1,y1)是进入样本介质的波束的位置。因而可以得到α和光学厚 度nh之间的非线性关系,但是对于光学厚度相较于到反射镜的距 离小的情况而言,响应接近于线性,如图16c中针对显微镜中的 典型值所示出的。
Figure BDA0002313940720000342
Figure BDA0002313940720000343
通过使用可倾斜反射镜而减少机械上的公差并且补偿热扩散的示 例:
参考图17a,其表示了样本照明波束旋转头架构的例示,以 探查以下讨论的机械公差的影响。改变参数包括:
-alpha:中心反射镜54相对于光轴A的角度。
-beta:旋转波束系统28相对于结构的角度。
-theta:外围反射镜56相对于在中立位置上的光轴的角度。
-d:中心反射镜54在其法线方向上的位置。
-d′:两个反射镜54、56之间的距离。
-d″:臂相较于空心轴58的水平位置。
所选择的标准将处于MEMS反射镜26b补偿角的一定公差 (可以例如是0.1°)以内,该公差对应于其法线方向关于其机械 枢转轴的静态误差。
研究了误差的不同组合,并且在图17b的表格中示出了结果。 例如,被作为目标的公差可以是:
-d/d′和d″:0.1mm(不是非常关键)
-alpha/beta/theta:0.025°,其对应于0.0055mm的几何公差。
如前所述,还可以借助于至少部分地基于通过光感测系统捕 获的光束信号的反馈环,对OPD系统的可倾斜透射或反射元件进 行控制,以调整和校正参考波束的路径。
更一般地,本发明的一个重要方面是借助于电子控制系统, 使用来自通过光感测系统捕获的波束信号的反馈来通过控制系统 自动控制一个或多个倾斜的可调整反射镜的角度,以便对样本照 明波束或参考波束或样本照明波束及参考波束两者的不希望出现 的偏离进行校正,或者以便创建想要的偏离(例如,以便控制 OPD)。样本照明路径中的偏离可能是由于制造公差、显微镜在 其使用寿命内的部件的磨损、热膨胀效应或者样本介质中的变化 (诸如,液体高度、弯液面曲率、非水平液体表面以及其他因素 的变化)造成的。参考波束的偏离也可能是由于制造公差、显微 镜在其使用寿命内的部件的磨损以及热膨胀效应造成的,以及还 有由于用于控制光程差的期望的偏离造成的。通过读取通过光感 测系统捕获的波束信号而控制在样本照明波束或者参考波束中的 这些偏离,有利地提供了利用极小的设置以简单、容易、实惠的 方式获得高质量图像的自动化方式。
动态OPD过程P8-参考图5f、5g以及2c、2d的示例
由于在机械上的缺陷或者仅仅瑕疵的原因,当旋转扫描臂在 全息图的获取期间正在完成360°旋转时,样本波束的光程长度 (OPL)可能发生变化。如果这些缺陷导致了限于激光的相干长 度的一小部分的OPL变化,则关于图4h-4i描述的过程可以用于 实现针对扫描臂的任何取向(参见图2c和图2d)的最优干涉条 纹对比度。
但是,该缺陷可以导致光程长度的变化超过相干长度,从而 在臂的某个取向上极大地减少,或者甚至消除干涉条纹对比度, 那么使得在这些位置上的相位计算失去意义。
为了对此进行补偿,并找到如图5g中例示的最小OPL,通 过显微镜的控制系统对OPL进行动态调整,以保持参考波束和样 本波束之间的OPD远低于激光源的相干长度并确保沿旋转扫描过 程的最佳干涉条纹对比度。
用于定义可以与旋转波束系统36同步地应用于OPD系统32 的参数的方法包括以下步骤:
a)将样本放置到样本保持器上,
b)使旋转波束系统位于第一位置,
c)使被配置为指引参考波束的所述至少一个可枢转操作方向 改变反射镜(TM3、TM4)位于第一位置,
d)在样本波束被关掉时,测量通过光感测系统捕获的参考波 束信号的位置,
e)打开样本波束,并测量通过光感测系统捕获的信号的干涉 条纹对比度,
f)使所述至少一个可枢转操作方向改变反射镜(TM3、TM4) 的位置改变一个增量,
g)重复步骤d)到f)直到增量之和对应于可枢转操作方向改变 反射镜(TM3、TM4)的预定义的工作范围,
h)比较针对每个增量获得的干涉条纹对比度测量结果,并将 可枢转操作方向改变反射镜(TM3、TM4)的针对具有最高值的 干涉条纹对比度测量结果的位置连同旋转波束系统的位置存储到 控制系统的存储器的查找表格(LUT)中;
j)使旋转波束系统旋转一个小的增量,并重复步骤c)到h)直 到旋转波束系统完成了360°旋转。
因而,可以创建用于提供参数的查找表格(LUT),能够应 用该参数来与旋转波束系统36同步地动态地控制OPD系统32。
作为示例,在图5f的实施例中例示了该过程,该过程包括下 面的步骤:
一旦样本放置在XY台上(步骤P8-1),就将旋转臂40放 置于其停放位置(步骤8-2)。
之后,启动(步骤P8-3)过程P4(在图5e中例示),从而 找到导致最大干涉条纹对比度的该臂位置的最优OPD位置。
保存针对该臂位置的OPD系统参数(步骤P8-4)。
然后,使扫描臂旋转一个小的增量(步骤P8-5),并且然后 再次启动过程P4。再次存储参数。
重复先前的步骤P8-3到P8-5直到臂返回到其停放位置。
因此创建了查找表格(LUT)(步骤P8-6),从而收集必须 与旋转波束系统36同步地应用于OPD系统32的参数。
附图标记列表
显微镜 2
(相干)光源4(激光器)
参考波束 7a
样本照明波束7b(本文也称为对象波束)
光束引导系统 6
分束器 14
样本波束光路 20
方向改变反射镜26,26a,26b
可倾斜反射镜TM1(MEMS)
样本照明装置 28
反射镜系统 34
第一反射镜 54
第二反射镜 56
旋转波束系统 36
驱动装置 38
传动装置39(皮带)
支座40(旋转臂图1a、图1b、图1d、 图7a的实施例,/固定的图7b、图7c的实施例)
可操作的反射镜
中空轴 58
轴承 59
反射镜支座体 60
被配置为旋转的枢转波束
显微镜物镜 37
参考波束光路 22
方向改变反射镜 30
可倾斜反射镜TM2、TM3、TM4(例如,MEMS 反射镜)
反射镜表面 61
枢转轴 63
光程差(OPD)调整装置 32
第一光偏离元件 42
第二光偏离元件 44
枢转支座 46、48
枢转轴 49、51
齿 50
透镜65(本文也称为场镜)
波束重聚器 16
光感测系统8(探测器、照相机)
图像数据处理系统 10
外壳/支承结构 12
样本观察区 17
样本保持器 18
高度调整机构
样本光
控制系统 15
反射镜(例如,MEMS反射镜)倾斜角控制
反射镜旋转驱动控制
源控制
照相机控制
样本 1
封闭容纳系统 3a
基座 11
盖玻片 9
观察平面 13
密封件 7
开口皿 3b
缓冲介质 5

Claims (23)

1.一种显微镜(2),包括:产生光束(7)的光源(4);包括分束器(14)的光束引导系统(6),其中所述分束器(14)被配置为将所述光束(7)分成穿过所述光束引导系统的参考波束(7a)和样本照明波束(7b),至少一个可枢转操作的方向改变反射镜(TM1、TM2、TM3、TM4)指引所述参考波束(7a)和所述样本照明波束(7b),从而引导所述参考波束和样本波束沿着其相应的光路;被配置为在所述样本照明波束的路径中接纳所要观察的样本(1)的样本观察区(17);被配置为在所述样本照明波束穿过所述样本观察区之后使所述参考波束和所述样本照明波束重新聚合的波束重聚器(16);被配置为取得所述波束重聚器下游的光束的至少相位和强度值的光感测系统(8);以及控制系统,其特征在于,所述控制系统被配置为生成用于自动控制所述至少一个可枢转操作方向改变反射镜的角度的反射镜角度控制信号,所述反射镜角度控制信号至少部分地基于借助于所述控制系统的反馈环从所述光感测系统接收到的并由所述光束生成的信号,所述至少一个可枢转操作反射镜(TM1)位于所述样本照明波束的路径中,以校正所述样本照明波束的光路的偏离,和/或调整该波束的样本照明角度。
2.根据权利要求1所述的显微镜,其中,所述反射镜角度控制信号所基于的、从所述光感测系统接收并且由所述光束生成的所述信号包括通过所述光感测系统接收的光束的强度、相干性、干涉条纹频率和相位中的任意一个或多个。
3.根据权利要求1所述的显微镜,其中,所述可枢转操作反射镜(TM1)基本上位于所述样本观察区之上,与显微镜物镜(37)的光轴对齐。
4.根据权利要求1所述的显微镜,还包括位于所述参考波束的路径中至少一个可枢转操作反射镜(TM2、TM3、TM4)。
5.根据权利要求3或4所述的显微镜,其中,位于所述参考波束的路径中的所述可枢转操作反射镜(TM2、TM3、TM4)位于光程差(OPD)调整装置(32)之前、之后或者作为该光程差(OPD)调整装置(32)的一部分,被配置为校正所述参考波束在所述光程差(OPD)调整装置中的偏离。
6.根据权利要求1所述的显微镜,还包括位于光程差(OPD)调整装置(32)和所述波束重聚器之间的至少一个可枢转操作反射镜(TM2),被配置用于创建和调整通过所述光感测系统捕获的干涉测量信号。
7.根据权利要求1所述的显微镜,还包括位于所述参考波束的光路中的光程差(OPD)调整装置(32),所述光程差(OPD)调整装置被配置为调整所述参考波束相对于所述样本照明波束的光程长度,所述光程差(OPD)调整装置包括第一可枢转调整光偏离元件(42,30a)和第二可枢转调整光偏离元件(44,30c),它们每个包括位于所述参考波束的所述光路中的透明材料(42,44)或反射材料(30a,30b,30c),由此所述光偏离元件的倾斜角度被所述控制系统控制,以调整所述光程差。
8.根据权利要求1所述的显微镜,其中,所述可枢转操作反射镜是MEMS类型部件。
9.根据权利要求1所述的显微镜,包括被配置为指引所述样本照明波束(7b)通过所述样本观察区并进入显微镜物镜(37)的样本照明装置(28),所述样本照明装置(28)包括被配置为指引所述样本照明波束相对于所述显微镜物镜的光轴(A)处于非零照明角度(α)的反射镜系统(34)以及被配置为使成一定角度的样本照明波束围绕所述光轴旋转的旋转波束系统。
10.根据权利要求1所述的显微镜,还包括被配置为接收来自所述光感测系统(8)的多个图像帧数据的数据处理系统(10),所述多个图像帧是针对所述样本照明波束围绕所述显微镜物镜光轴的至少360°旋转生成的。
11.根据权利要求10所述的显微镜,其中,由所述光感测系统和所述数据处理系统每360°捕获的帧的数量大于10。
12.根据权利要求11所述的显微镜,其中,所述图像帧数据通过所述数据处理系统进行重构,或者由所述数据处理系统供应给计算系统,以处理成微小对象的三维图像。
13.根据权利要求12所述的显微镜,其中,所述图像帧数据被所述数据处理系统进一步利用,或者由所述数据处理系统供应给计算系统,用于估算所述样本的光学特性,以改善所述微小对象的所述三维图像。
14.根据权利要求1所述的显微镜,其中,所述显微镜被配置为通过确定所述样本照明波束在穿过微小对象之后的相位偏移而基于所述微小对象的各个截面的折射率生成所述微小对象的三维图像。
15.根据权利要求9所述的显微镜,其中,所述样本照明装置的所述反射镜系统(34)安装在旋转支座(40)中,并且所述旋转波束系统由所述旋转支座和用于旋转所述支座的马达驱动装置(38)形成。
16.根据权利要求9所述的显微镜,其中,所述旋转波束系统(36)包括旋转可倾斜操作反射镜(26b),从而将所述样本照明波束指引到所述样本照明装置(38)的所述反射镜系统(34)上,其中,所述反射镜系统(34)安装在固定支座上。
17.根据权利要求9所述的显微镜,其中,所述样本照明装置的所述反射镜系统(34)安装在旋转支座(40)中,以及所述旋转波束系统由所述旋转支座和用以旋转所述支座的马达驱动装置(38)形成。
18.根据权利要求17所述的显微镜,其中,所述旋转支座(40)包括被配置为允许所述样本照明光束从中穿过的中空轴(58),所述中空轴经由轴承(59)安装至外壳支撑结构(12)。
19.根据权利要求18所述的显微镜,其中,所述旋转支座(40)包括反射镜支座体(60),第一反射镜和第二反射镜(54,56)安装在所述反射镜支座体中。
20.根据权利要求19所述的显微镜,其中,第一反射镜(54)将被投射通过所述中空轴的样本光束重定向到第二反射镜(56)上,并且第二反射镜将所述样本光束以一定照明角度(α)重定向到位于样本保持器(18)上的所述样本(1)上。
21.根据权利要求19所述的显微镜,其中,第一反射镜和第二反射镜(54,56)中的至少一个是由所述控制系统控制的可倾斜操作反射镜。
22.根据权利要求20所述的显微镜,其中,第一反射镜和第二反射镜以固定关系布置在所述反射镜支座体(60)内。
23.根据权利要求9所述的显微镜,其中,所述旋转波束系统(36)包括旋转可倾斜操作反射镜(26b),从而将所述样本照明波束指引到所述样本照明装置(38)的所述反射镜系统(34)上,并且其中,所述反射镜系统(34)安装在固定支座上。
CN201911270123.6A 2014-09-22 2015-09-18 显微镜 Pending CN110967819A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14185718.5 2014-09-22
EP14185718.5A EP2998776A1 (en) 2014-09-22 2014-09-22 Tomographic phase microscope
CN201580060936.6A CN107111121B (zh) 2014-09-22 2015-09-18 显微镜

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580060936.6A Division CN107111121B (zh) 2014-09-22 2015-09-18 显微镜

Publications (1)

Publication Number Publication Date
CN110967819A true CN110967819A (zh) 2020-04-07

Family

ID=51609936

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201911270123.6A Pending CN110967819A (zh) 2014-09-22 2015-09-18 显微镜
CN201911270127.4A Pending CN110967818A (zh) 2014-09-22 2015-09-18 显微镜
CN201580060936.6A Active CN107111121B (zh) 2014-09-22 2015-09-18 显微镜

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201911270127.4A Pending CN110967818A (zh) 2014-09-22 2015-09-18 显微镜
CN201580060936.6A Active CN107111121B (zh) 2014-09-22 2015-09-18 显微镜

Country Status (5)

Country Link
US (2) US10520295B2 (zh)
EP (3) EP2998776A1 (zh)
JP (1) JP6672314B2 (zh)
CN (3) CN110967819A (zh)
WO (1) WO2016046714A2 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017203718A1 (ja) * 2016-05-27 2017-11-30 株式会社島津製作所 ホログラフィ観察方法及び装置
CN109564617B (zh) 2016-06-13 2023-09-26 纳诺利弗股份有限公司 表征和成像微观物体的方法
CN108169888B (zh) * 2018-03-04 2020-03-31 河北工程大学 一种数字显微成像系统及方法
WO2019209345A1 (en) * 2018-04-27 2019-10-31 Hewlett-Packard Development Company, L.P. Three-dimensional volume imaging
JP2019191087A (ja) * 2018-04-27 2019-10-31 株式会社日立ハイテクサイエンス 干渉信号の位相補正方法
JP6966974B2 (ja) * 2018-05-30 2021-11-17 株式会社Screenホールディングス 撮像装置
CN110579167B (zh) * 2018-06-08 2020-12-29 河北工程大学 一种数字图像记录实验系统及方法
KR102302333B1 (ko) * 2019-11-05 2021-09-16 주식회사 토모큐브 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치
CN111459004B (zh) * 2020-04-14 2021-09-14 清华大学 双光路合成孔径全息图拼接方法
JPWO2022054305A1 (zh) * 2020-09-11 2022-03-17
EP4012472A1 (en) 2020-12-14 2022-06-15 Nanolive SA Optical diffraction tomography microscope
TR202020477A2 (tr) * 2020-12-14 2021-01-21 Dokuz Eyluel Ueniversitesi Rektoerluegue Akusti̇k modül i̇çeren bi̇r di̇ji̇tal hologram görüntüleme ci̇hazi
EP4012477A1 (en) 2020-12-14 2022-06-15 Nanolive SA Optical diffraction tomography microscope
EP4012473A1 (en) 2020-12-14 2022-06-15 Nanolive SA Optical diffraction tomography microscope
IT202200005672A1 (it) * 2022-03-22 2023-09-22 Copan Italia Spa Dispositivo e metodo per l’acquisizione di immagini di campioni biologici
WO2024088500A1 (en) * 2022-10-24 2024-05-02 Huawei Technologies Co., Ltd. Hologram dataset generation using reconfigurable intelligent surfaces
WO2024208601A1 (en) 2023-04-03 2024-10-10 Nanolive Sa Microscope with autofocus system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000020929A1 (en) * 1998-10-07 2000-04-13 Ecole Polytechnique Federale De Lausanne (Epfl) Method and apparatus for simultaneous amplitude and quantitative phase contrast imaging by numerical reconstruction of digital holograms
WO2005119225A1 (en) * 2004-06-01 2005-12-15 Nova Measuring Instruments Ltd. Device and method for optical reflectometry under oblique angle
JP2007250762A (ja) * 2006-03-15 2007-09-27 Olympus Corp 位相補償システムとそれを用いたレーザ走査型顕微鏡システム
CN101147052A (zh) * 2005-03-25 2008-03-19 麻省理工学院 用于希耳伯特相位成像的系统和方法
JP2010145843A (ja) * 2008-12-19 2010-07-01 Nippon Soken Inc 干渉画像記録装置および干渉画像記録装置における光学系の調整方法
WO2011121523A2 (en) * 2010-03-28 2011-10-06 Ecole Polytechnique Federale De Lausanne (Epfl) Complex index refraction tomography with sub √6-resolution
JP2013231716A (ja) * 2012-04-25 2013-11-14 Canon Inc 干渉測定法およびデジタルホログラフィ顕微鏡

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5426504A (en) * 1994-07-28 1995-06-20 United Technologies Corporation Optical depth gauge for optically rough surfaces
US6757066B2 (en) * 2002-01-28 2004-06-29 Zygo Corporation Multiple degree of freedom interferometer
US7796270B2 (en) * 2006-01-10 2010-09-14 The General Hospital Corporation Systems and methods for generating data based on one or more spectrally-encoded endoscopy techniques
WO2008144769A1 (en) * 2007-05-21 2008-11-27 Reliant Technologies, Inc. Optical pattern generator using a single rotating optical component with ray-symmetry-induced image stability
US20090040527A1 (en) * 2007-07-20 2009-02-12 Paul Dan Popescu Method and apparatus for speckle noise reduction in electromagnetic interference detection
GB0918978D0 (en) 2009-10-28 2009-12-16 Gregory Jason N Coolant adapter for cutting tools
JP5701573B2 (ja) * 2010-06-15 2015-04-15 オリンパス株式会社 スキャナ、走査型照明装置および走査型観察装置
US8408469B2 (en) * 2010-10-07 2013-04-02 Metrologic Instruments, Inc. Laser scanning assembly having an improved scan angle-multiplication factor
EP2681533B1 (en) * 2011-03-01 2017-08-09 GE Healthcare Bio-Sciences Corp. Systems and methods for illumination phase control in fluorescence microscopy
JP5734758B2 (ja) * 2011-06-16 2015-06-17 オリンパス株式会社 レーザー顕微鏡
JP6461601B2 (ja) * 2012-10-05 2019-01-30 公立大学法人兵庫県立大学 ホログラフィック断層顕微鏡、ホログラフィック断層画像生成方法、およびホログラフィック断層画像用のデータ取得方法
US9500468B2 (en) * 2014-08-25 2016-11-22 Board Of Trustees Of Michigan State University Scanning interferometry technique for through-thickness evaluation in multi-layered transparent structures

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000020929A1 (en) * 1998-10-07 2000-04-13 Ecole Polytechnique Federale De Lausanne (Epfl) Method and apparatus for simultaneous amplitude and quantitative phase contrast imaging by numerical reconstruction of digital holograms
WO2005119225A1 (en) * 2004-06-01 2005-12-15 Nova Measuring Instruments Ltd. Device and method for optical reflectometry under oblique angle
CN101147052A (zh) * 2005-03-25 2008-03-19 麻省理工学院 用于希耳伯特相位成像的系统和方法
JP2007250762A (ja) * 2006-03-15 2007-09-27 Olympus Corp 位相補償システムとそれを用いたレーザ走査型顕微鏡システム
JP2010145843A (ja) * 2008-12-19 2010-07-01 Nippon Soken Inc 干渉画像記録装置および干渉画像記録装置における光学系の調整方法
WO2011121523A2 (en) * 2010-03-28 2011-10-06 Ecole Polytechnique Federale De Lausanne (Epfl) Complex index refraction tomography with sub √6-resolution
JP2013231716A (ja) * 2012-04-25 2013-11-14 Canon Inc 干渉測定法およびデジタルホログラフィ顕微鏡

Also Published As

Publication number Publication date
EP3198327A2 (en) 2017-08-02
US11346649B2 (en) 2022-05-31
US20170299371A1 (en) 2017-10-19
CN110967818A (zh) 2020-04-07
EP3198327B1 (en) 2021-07-28
US10520295B2 (en) 2019-12-31
WO2016046714A3 (en) 2016-05-26
WO2016046714A2 (en) 2016-03-31
US20200348122A1 (en) 2020-11-05
EP3926386A1 (en) 2021-12-22
CN107111121A (zh) 2017-08-29
CN107111121B (zh) 2020-12-22
EP2998776A1 (en) 2016-03-23
JP2017529574A (ja) 2017-10-05
JP6672314B2 (ja) 2020-03-25

Similar Documents

Publication Publication Date Title
CN107111121B (zh) 显微镜
US7688453B2 (en) Interferometry testing of lenses, and systems and devices for same
TWI553342B (zh) 量測非球面及其他非平面表面凹凸形狀之方法
US7102761B2 (en) Scanning interferometry
US6184994B1 (en) Method and apparatus for absolutely measuring flat and sperical surfaces with high spatal resolution
CN107850555B (zh) 使用静态条纹图案的干涉法滚降测量
JP2013544377A (ja) 光学顕微鏡において空間光学モジュレータを較正するための方法とシステム
US6552806B1 (en) Automated minimization of optical path difference and reference mirror focus in white-light interference microscope objective
JP4576510B2 (ja) 測定装置及び測定方法
CN102305596A (zh) 在球面面形干涉检测中旋转误差控制装置及其方法
US20090002789A1 (en) Interferometer
JP2002257523A (ja) 超精密形状測定方法及びその装置
JP4208565B2 (ja) 干渉装置及びそれを有する測定方法
JP2012002548A (ja) 光波干渉測定装置
JP3998844B2 (ja) フリンジスキャンを用いた干渉計装置
CN111157492A (zh) 一种景深追踪的光学衍射层析显微成像装置及方法
CN117450917A (zh) 一种高速光学相位测量系统、测量方法及其应用
JP2012002549A (ja) 光波干渉測定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Trossner, Switzerland

Applicant after: NANOLIVE S.A.

Address before: Swiss ECU Brown

Applicant before: NANOLIVE S.A.

CB02 Change of applicant information