CN107710046B

CN107710046B - 用于使用宽场显微镜确定样本的空间分辨高度信息的方法和宽场显微镜

Info

Publication number: CN107710046B
Application number: CN201680029710.4A
Authority: CN
Inventors: 赫尔穆特·利珀特; 尼尔斯·兰霍斯; 拉尔夫·内茨; 拉尔夫·沃利斯彻斯基
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2015-06-01
Filing date: 2016-05-23
Publication date: 2021-08-31
Anticipated expiration: 2036-05-23
Also published as: CN107710046A; JP2018520337A; JP6595618B2; DE102015210016A1; WO2016193037A1

Abstract

本发明涉及一种宽场显微镜和一种使用宽场显微镜确定样本(14)的空间分辨高度信息的方法。所述宽场显微镜包括：照明源(1,52,53)，其布置在照明光束路径中；第一检测器单元(17,33)，用于检测在样本平面(P)中被照射的样本(14)的在观察光束路径中的宽场图像；调制器，用于在垂直于所述样本平面(P)的方向上对所述照明光束路径或所述观察光束路径进行色度调制；评估单元，用于确定所述宽场图像的每个像点中的色度共焦高度信息。所述方法包括以下步骤：使用照明光束路径中的宽带照明源(1)照明所述样本(14)；对所述照明光束路径或检测光束路径进行色度调制；从由所述检测光束路径中的所述样本反射或者确定的具有色度共焦分量的样本光检测至少一个宽场图像；依赖于所述色度调制，通过评估所述检测光束路径的色度共焦分量，从所述宽场图像逐像素地确定所述样本的高度信息。

Description

用于使用宽场显微镜确定样本的空间分辨高度信息的方法和宽场显微镜

技术领域

本发明涉及一种用于使用宽场显微镜确定样本的空间分辨高度信息的方法和宽场显微镜。

背景技术

样本的空间分辨高度信息的确定也被称为光学切片(Optischer Schnitt)。这种光学切片特别用在显微镜中，以测定样本的拓扑成像(Topographie)或者测量样品的表面特性例如粗糙度。

为了表征技术表面，当今使用共焦显微镜作为标准方法。此时在大多数情况下，样本的抽样发生在所有三个空间方向，即涉及点扫描系统，其中光束在x/y方向上被引导到样本上方。为了导出高度信息，需要样本相对于检测器单元(在z方向上)的移动。从依赖于z位置的强度最大值，可以针对每个x-y位置导出高度信息以及因此导出拓扑成像。

此外，这种方法的缺点是由用于3D拓扑成像的光栅扫描所需的时间长。另外，在样本主体和光学传感器之间存在固定的几何布置的xy扫描期间，外部碰撞或振动可能导致传感器头相对于样本主体的不受控制的移动，由此可能歪曲测量结果。

为了避免z-光栅，使用了色度共焦原理。这里通常使用多色光源，所述多色光源通过色度作用的折射和/或衍射元件照明感兴趣的样本，由此对z信息进行光谱编码。如果现在在检测中在共焦孔光圈后面测量光谱，则可以从中导出高度信息。也能够但费时的是使用具有顺序共焦检测的可调谐光源，由此同样获得光谱。

Kim等人在“具有使用透射率的新型波长检测方法的色度共焦显微镜”(“Chromatic confocal microscopy with a novel wavelength detection methodusing transmittance”OPTICS EXPRESS 6286，Vol.21，No.5)中描述了一种在针孔检测后面的检测光束路径中具有50/50分束的点扫描色度共焦布置。样本光相应地使用两个光电倍增管(PMT)来检测，其中，在一个PMT的前面连接一个滤波器。从两个PMT的强度比确定滤波器的透射以及由此确定检测的波长，最后由此确定高度信息。

为了规避x-y光栅扫描的缺点，已经存在长共焦宽场系统，其中通常使用区域扫描相机

这方面的一个例子是具有尼普科夫圆盘(Nipkow-Scheibe)的转盘方法(Spinning-Disc-Verfahren)。这里根据共焦原理几乎同时检测多个点。这里也需要采用不同z位置来确定切片图像(Schnittbild)。

另外，已知基于结构化照明的共焦宽场系统。这里，针对每个z值从使用例如由光栅给出的结构化照明拍摄的图像计算共焦切片图像。通常此时也可以获得宽场图像。利用照明光的偏振或颜色特性，从样本获得高度信息。例如，在DE 10 2007 018 048 A1中描述了这样一种系统，其中将两个照明图案投影到样本上。

同样相近的是光圈相关方法。这里，使用连续变化的结构化照明，并且从两个并行或顺序拍摄的图像计算光学切片图像，其中一个可以被认为是具有离焦分量的弱共焦图像，另一个可以被认为是纯宽场图像或具有占主导的离焦分量的图像。基于结构化照明的这种方法的优点在于，与共焦图像并行也可以几乎一次获得宽场图像。

最后，所有基于结构化照明的系统的共同之处在于，在相位模式改变期间和/或在样本或传感器沿z方向移动时，振动会对测量结果产生干扰影响。

还存在其它宽场方法可以用来产生光学切片。这里，例如要列举焦点变化，其中依赖于z评估图像清晰度，以便由此类似于共焦情况计算最大值。此时，还考虑系统的空间信息。

关于对振动的敏感性，存在与上述方法相同的问题。

发明内容

本发明的目的是提供一种显微镜和一种用于产生样本的空间分辨高度信息的方法，其中可以避免显微镜上的干扰运动。

该目的通过根据权利要求1的方法和根据权利要求7的宽场显微镜来达到。

根据本发明，将色度共焦原理应用并适配于光学宽场切片图像方法。这特别通过在照明光束路径或检测光束路径中对波长进行编码来实现。在优选实施方式中，在检测光束路径中使用波长相关滤波器。

在根据本发明的方法中，在照明光束路径中使用宽带照明源照明样本。根据色度共焦原理对照明光束路径进行色度调制。此外，通过检测由样本在检测光束路径中反射或发射的样本光检测至少一个宽场图像。

宽场图像不仅可以具有样本光的纯共焦分量(例如，在使用尼普科夫圆盘时)，而且可以由样本光的共焦分量和离焦分量组成。

在观察光束路径中和/或在照明或激发光束路径中使用至少一个波长相关滤波器函数或光谱分布，并且对于每个像点在x-y方向上执行具有不同滤波器或光谱分布的至少两个测量过程。这些测量过程可以并行(在使用多个图像传感器时)或顺序进行。

如果例如至少两个测量过程的强度比形成在宽场图像的每个像点中，那么可以由此测定样本光的最大强度的波长以及因此在各个像点处的样本的高度值。

特别地，这原则上可以不依赖于样本的光谱反射率以及不依赖于光源和/或器件的光谱特性而达到。

通常，在第i个测量过程中根据本发明的方法和显微镜中的强度信号由下式给出：

I_i(x,y,z)＝∫dλ'P(x,y,λ')R(x,y,λ')T_i(x,y,λ')g_λ[z(x,y)](λ[z(x,y)]-λ')

式中：

P(x,y,λ')：也可能依赖于x,y的光源和器件的光谱特征

R(x,y,λ')：样本的光谱反射率

T_i(x,y,λ')：第i个测量过程中的滤波器函数或光谱分布或者色度调制(还包括分束器等)

g_λmax(λ_max-λ)：以λ_max为参数的光谱器件响应函数

λ_max＝λ[z(x,y)]：在对应于高度函数的位置x,y处的最大反射波长

z(x,y)：样本的高度函数

我们现在求出要检查的样本的高度函数z(x,y)。共焦或准共焦检测特别在函数g_λmax(λ_max-λ)中表现出来。关于波长的参数化表示，该函数根据色度沉积的性质在光谱上变化。为了进一步考虑，以简化方式假定参数化可以忽略并且函数g表示位于0的delta函数。上面的公式则简化为：

I_i(x,y,z)＝P(x,y,λ[z(x,y)])R(x,y,λ[z(x,y)])T_i(x,y,λ[z(x,y)])

如果P、R和T是众所周知的，则z(x,y)原则上已经可以从中推导出来，然而这需要大量的校准工作，这也是因为它是绝对测量。

然而，如果考虑至少两个检测过程i＝1,2，则可以将该比形成为：

P和R不再起作用。近似地，即使P和R在由g的形式给出的积分范围内是恒定的，情况也是如此。从右侧可以根据已知的滤波器函数或光谱分布相对容易地测定属于给定强度比的值λ且因此还有值z(x,y)。

在特殊情况下，T₂没有波长依赖性(T_s(λ)＝常数)。这种情况例如可以借助于两个同类检测器和一个分束器来实现，其中仅在一个光束路径中使用一个波长依赖滤波器。

另一种可能性是仅使用一个通道并且执行具有和不具有或具有两个不同的波长依赖滤波器的两个连续测量，然而这些测量以可以近乎被称为弹射测量的这样的快速序列执行(总测量<100毫秒)。

也能够在激发中使用滤波器，使得在相同光源时交替地使用和不使用滤波器来测量。

另一个特殊情况是在激发和/或检测中使用两个光谱彼此偏移的带通滤波器。而且这里，在检测中，除了顺序布置以外，平行布置也是可能的。平行布置的一个例子是使用具有拜耳图案的彩色相机，其中各两个彩色通道可供选择。

另一个特殊情况是例如使用两个检测通道和一个二向色分束器，使得T₂＝1-T₁。

本发明的优选实施方式将参照附图更详细地说明。

附图说明

图1示出根据本发明的宽场显微镜的第一优选实施例；

图2示出具有平行检测器的设计变型例；

图3示出在检测光束路径中具有平行检测器和滤波器的设计变型例；

图4示出在检测光束路径中具有开关元件的设计变型例；

图5示出具有芯片－分束器－检测器的设计变型例；

图6示出根据本发明的显微镜的第二优选实施例；

图7示出根据本发明的显微镜的第三优选实施例；

图8示出具有开关元件的照明光束路径的有利的设计变型例；

图9示出具有两个相同的照明光源的照明光束路径的有利的设计变型例；

图10示出具有两个光谱不同的照明光源的照明光束路径的有利的设计变型例。

具体实施方式

在以下的附图描述中，相同的附图标记适用于相同的元件。它们的功能描述也适用于未明确提及它们的附图或实施方式。

图1示出根据本发明的宽场显微镜的第一优选实施方式。一种多色照明源1(例如，宽带激光器，卤素灯，超发光二极管，…)，其中在本实施方式中可以通过选择元件2选择不同的光谱分布。该选择元件2可以是例如AOTF(声光可调谐滤波器)、棱镜、光栅或甚至滤波器选择单元。然后，照明光可以通过偏转单元3在不同方向上偏转。偏转单元3是例如快速可切换镜(例如，电流计镜)、AOD(声光偏转器)或基于偏振旋转的切换单元。

结构化元件4布置在与样本平面P共轭的平面A中。在最简单的情况下，结构化元件4是透射式1D或2D光栅结构。该结构通过起折射和/或衍射作用的纵向色差诱导元件6,7(物镜)成像到样本空间中，使得这里在z方向上产生色度分裂8，即焦点依赖于z方向上的波长而移动。

在观察光束路径中有利地布置有光导纤维9。然而，也可以在其它实施方式中为此使用基于镜的简单的自由光束引导。使用光导纤维9可以可选地进行偏振滤波。

通过偏转单元3能够从两侧借助准直透镜11依次照明结构化元件4(虚线图示)。为此，结构化元件4镜像地被实施，因此可以将该两个光栅相位成像到样本空间或样本平面P中。如果结构化元件4未镜像，则偏转单元3和虚线示出的光学器件被省略。

为了统一透射光束路径和反射光束路径，使用分束器12。然后，照明光通过分束器13被进一步引导到位于样本空间P中的样本14，其中，分束器13有利地作为偏振分束器被实施。也就是说，还可以在光束路径中布置λ/4板16，使得到达样本14的照明光和由样本14反射或发射的待检测的样本光具有相互旋转90°的偏振并因此可以在分束器13良好地彼此分离。

另外，使用这样的构成能够抑制来自检测单元17的光学元件而不是来自样本14的干扰反射。为此，还可以在检测器单元17的前方布置偏振滤波器18。当经由选择元件2仅在照明或激励中选择光谱分布时，检测单元17可以是具有相应成像光学器件的简单相机。附加地或替代地，根据图2至图5的实施变型例之一也是可能的。

图2描述了例如一种布置，其中样本光首先通过分色器19被引导，使得两个检测通道被操作，所述两个检测通道各自包括成像光学器件21和相机22。

大致上，这种布置对应于上面描述的T2＝1-T1的特殊情况。

在图3中，与图2相比，分色器由分束器23代替，该分束器23最初不产生波长依赖滤波。然而，该波长依赖滤波在通道I中通过滤波器24来完成。可选地，滤波器26也可以布置在通道II中(T2则不是恒定的；如果不存在滤波器26，则T2是恒定的)。

使用图4示出了进一步在上面已经描述的顺序检测。开关元件27用于顺序切换滤波器函数。此时，开关元件27可以例如是快速滤波器轮或AOTF或具有切换镜装置的合适的分束器装置。

在图5中示出了与图2或3中所描述的布置功能类似的特定布置。这里使用所谓的芯片分离器28，例如由Optosplit公司提供，即，相机22的同一个相机芯片用于两个测量过程，因此该两个测量过程也可以并行运行。

因此，使用根据上述附图的装置首先能够将不同的光栅相位或结构成像到样本上并进行检测，并且这样，与常见的结构化照明方法一样，当样本表面在这位置处于对焦状态时，可以创建对于xy中的给定像素仅具有显著信号的“光学切片图像”。一般情况下，这里，只要表面拓扑成像在其高度动态中不会明显超过与色度沉积相关联的测量范围，就可以找到这种情况下给出的波长。

图像数据的评估以这样的方式进行，即对于每个像素确定光学切片图像信号为最大时的波长。由此可以直接推导函数z(x,y)或表面拓扑成像。这例如通过评估如上所述的滤波器函数来完成，其中在最简单的情况下，从至少两个测量过程评估强度比，并由此直接推导出波长。当然，这里的多次测量对获得更好的信噪比是有意义的。另外，通过使样本相对于传感器移动，在不同的绝对高度执行多次测量也会是有意义的。当样品被强烈着色并且在不同的光谱范围内呈现不同的反射行为时，这才是有利的。

依赖于样本，例如以不同的曝光时间通过多次测量，HDR成像同样是有意义的，使得每个像素的噪声大致上是散粒噪声受限的。有时，不依赖于函数g以及函数P，校准是不充分的，使得这两个函数作为器件特性仍然必须加以考虑。然后，可以在不直接、而是使用迭代方法的情况下测定波长。

如果如此获得表面拓扑成像，使得其高度动态超过与色度沉积相关联的测量范围，则可能需要z缝合，其中在传感器和样本之间的距离不同时执行同类的测量并且接下来将这些测量相关联在一起。

滤波器函数可以有意义地如此适用于色度颜色沉积，使得能够在整个波长范围内进行类似的灵敏高度测定。

有时会符合目的的是，不仅在照明中而且在检测中应用滤波器函数以及使用不同的滤波器函数执行多个测量，以便针对高度测定而达到更好的灵敏度。

鉴于图1，也可以通过光束路径的简单切换来实现不同光栅相位的切换，为此例如可以使用电光调制器(EOM)或者声光调制器(AOD)。此时，在所示的情况下产生例如结构化元件4在透射和反射中的相移成像。此外还可以考虑这样的布置，其中例如EOM或AOD或还有检流计镜通过在物镜7的光瞳平面中的直接调制引起快速的光栅切换。此处根据傅里叶变换，光栅大致上表示为点图案，其对应于光栅的各个衍射级。通过角度调制，例如能够在不同的光栅位置之间快速切换。

在另一个变型例中，也可以由2D孔光圈装置形成的结构化元件4移动到不同的位置，并且使用检测器单元17拍摄对应的图像，但是其中，这里仅各自使用一个照明光通道。检测器单元17也同样可以用作数字PH，使得通过计算和合成在各个位置拍摄的图像来获得真正的共焦图像。

如上所述进行关于波长的评估。

在另一个变型例中，结构4被完全消除，并且各自仅针对每个局部图像区域确定波长上的锐化函数。这对应于焦点变化的原理，例如在M.Rahlves，J.Seewig，“OptischesMessen technischer

(技术表面的光学测量)”，Beuth Verlag GmbH，Berlin，2009中所述。对于结构化样本充足时，这也足以获得高度信息。

类似地，可以设计一种根据HiLo方法工作的结构。这里，结构化元件4也可以是用于有针对性地引入斑纹图案的元件，其可以从光束路径完全移除。

图6示出了对应于孔径相关原理与色度共焦技术的组合的色度宽场显微镜的另一个实施例。这里，在中间像平面Z中布置有具有镜像结构32的可旋转圆盘31。在所示的示例中，在两个相机通道中检测从样本14反射回的或发射的样本光(检测光束路径)，其中第一检测器33检测通过圆盘31透射的样本光(共焦分量)，并且第二检测器34检测从镜像结构32反射的样本光(具有离焦分量的宽场图像)。可选地，这里也可以在检测光束路径中布置偏振滤波器18。

从检测器33,34的两个图像可以依赖于波长不仅计算宽场图像而且计算共焦图像。再次从作为波长的函数的强度给出针对每个检测像素的所寻求的高度信息。当然，所获得的彩色摄影图像也可以直接用来表示具有扩展清晰深度信息的彩色图像。同样，两个通道仅布置在一个照相机芯片上的结构也是可能的。

图7示出了另一实施例，其中例如使用孔光圈阵列41或尼普科夫圆盘(Nipkow-Scheibe)。整个样本表面的检测通过针孔光圈41和/或可选的扫描仪单元42的移动(旋转，位移)来实现。如果孔光圈阵列41是尼普科夫圆盘，并且如此设计具有结构化和非结构化扇区，则该实施方式也表示孔径相关性的特殊情况，其中通过计算顺序或并行拍摄的结构化和非结构化照明图像来进行共焦性评估。

可选地设置有干涉仪元件43用于提高测量精度。该干涉仪元件43也可以存在于所有其它实施方式中。

图8至图10示出了在照明光束路径中使用滤波器函数或不同光谱分布的可能的设计变型例。

因此，图8示出了多色光源1，其光可以用快速开关元件44导入到不同的通道中，这又与上述两个测量过程近似相同。在两个通道中，现在可以布置不同的滤波器46和47。原则上，两个滤波器46,47中仅一个就足够了。在任何情况下，在光束合并元件48处都发生光束合并，其中在合适的变型例中，该光束合并元件48也会是偏振敏感的，例如，可以设计成偏振分束器。如果使用分色器代替光束合并元件48，则可能会省略滤波器46,47，这在整体效果上与根据图2描述的情况在顺序实施中相对应。

图9示出了本发明的一个设计变型例，其中使用两个各自具有后置的滤波器46,47的同类的光源1，该两个光源1快速串联。

图10又示出另一个有利的设计变型例。这里使用两个不同的照明光源51和52，它们的光谱特性不同。光束合并元件53现在被实施为纯光束合并器。光谱特性已经产生了期望的滤波器函数。例如，照明源51,52的光谱可以彼此略微偏移并且可以是高斯形状。然后可立即从各自与一个照明源51,52耦合的两个测量过程的强度比导出波长。

附图标记列表

01 照明光源 32 镜像结构

02 选择元件 33 第一检测器单元

03 偏转单元 34 第二检测器单元

04 结构化元件 35 －

05 － 41 孔光圈阵列

06 颜色纵向差错诱导元件 42 扫描仪单元

07 物镜 43 干涉仪

08 色度分裂 44 开关元件

09 光导纤维 45 －

10 － 46 滤波器

11 准直透镜 47 滤波器

12 分束器 48 光束合并元件

13 分束器 49 －

14 样本 50 －

15 － 51 照明源

16 λ/4板 52 照明源

17 检测器单元 53 光束合并元件

18 偏振滤波器 A,Z 场平面

19 分色器

20 －

21 成像光学器件

22 相机

23 分束器

24 滤波器

25 －

26 滤波器

27 开关元件

28 芯片分离器

29 －

30 －

31 圆盘

Claims

1.一种使用宽场显微镜确定样本(14)的空间分辨高度信息的方法，包括以下步骤：

－使用照明光束路径中的宽带照明源(1)照明所述样本(14)；

－对照明光束路径或检测光束路径进行色度调制；

－从由所述样本在所述检测光束路径中反射或发射的具有色度共焦分量的样本光检测至少一个宽场图像；

－依赖于所述色度调制，通过评估所述检测光束路径的色度共焦分量，从所述宽场图像逐像素地确定所述样本的高度信息，

其中检测所述至少一个宽场图像包括：

－以照明光或检测光的第一色度调制布置检测第一图像；

－与检测所述第一图像同时或延时地以照明光或检测光的第二色度调制布置检测第二图像；

其中逐像素地确定所述样本的高度信息包括：

－确定每个像点的所述两个图像的强度信号比；以及

－根据所确定的两个图像的强度信号比来测定每个像点的所述样本(14)的高度值z(x，y)，

并且根据下式形成每个像点的两个图像的强度信号比：

式中：

T(x,y,λ)表示色度调制；

λ[z(x,y)]表示在对应于高度函数的位置x,y处的最大反射波长；

z(x,y)表示所述样本的所述高度函数。

2.根据权利要求1所述的方法，其特征在于，所述照明光束路径的色度调制通过将滤波器顺序切换到所述照明光束路径或者观察光束路径来实现。

3.根据权利要求1至2中任一项所述的方法，其特征在于，第一宽场图像和第二宽场图像的检测在两个分离的检测通道中实现。

4.一种宽场显微镜，包括：

－照明源(1,52,53)，其布置在照明光束路径中；

－至少一个检测器单元(17,33)，用于检测在样本平面(P)中被照射的样本(14)的在观察光束路径中的至少一个宽场图像；

－调制器，用于在垂直于所述样本平面(P)的方向上对所述照明光束路径或所述观察光束路径进行色度调制；

－评估单元，用于确定所述宽场图像的每个像点中的色度共焦高度信息；

其中所述至少一个检测器单元配置成：

－以照明光或检测光的第一色度调制布置检测第一图像；

其中所述评估单元配置成：

－确定每个像点的所述两个图像的强度信号比；以及

并且根据下式形成每个像点的两个图像的强度信号比：

式中：

T(x,y,λ)表示色度调制；

λ[z(x,y)]表示在对应于高度函数的位置x,y处的最大反射波长；

z(x,y)表示所述样本的所述高度函数。

5.根据权利要求4所述的宽场显微镜，其特征在于，所述至少一个检测器单元包括第一检测器和与所述第一检测器同类的第二检测器。

6.根据权利要求5所述的宽场显微镜，其特征在于，在所述第一检测器和所述第二检测器之间布置有分束器，并且在其中一个所述观察光束路径中布置有波长依赖滤波器作为调制器。

7.根据权利要求5所述的宽场显微镜，其特征在于，所述第一检测器布置在所述观察光束路径中的用于检测色度共焦分量的装置的下游，并且用于检测离焦分量的第二检测器布置在所述观察光束路径中。

8.根据权利要求4所述的宽场显微镜，其特征在于，在所述照明光束路径中布置有开关元件。

9.根据权利要求4所述的宽场显微镜，其特征在于，所述调制器是滤波器。