CN104833311B - 用于结构照明显微术的图像序列和评估方法及系统 - Google Patents

用于结构照明显微术的图像序列和评估方法及系统 Download PDF

Info

Publication number
CN104833311B
CN104833311B CN201510003099.5A CN201510003099A CN104833311B CN 104833311 B CN104833311 B CN 104833311B CN 201510003099 A CN201510003099 A CN 201510003099A CN 104833311 B CN104833311 B CN 104833311B
Authority
CN
China
Prior art keywords
space pattern
pattern
space
light
scan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510003099.5A
Other languages
English (en)
Other versions
CN104833311A (zh
Inventor
H.海特杰马
F.德努伊杰
L.雷德拉斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Publication of CN104833311A publication Critical patent/CN104833311A/zh
Application granted granted Critical
Publication of CN104833311B publication Critical patent/CN104833311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608—Height gauges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/364—Projection microscopes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

一种用于结构照明显微术的图像序列和评估方法及系统。在用于确定标本的表面上的多个空间位置的高度的方法及装置中，将光束投射在表面上。光束具有在垂直于光束的光轴的至少两个方向上是周期性的并且被移动到不同的空间图案位置的空间图案。在不同扫描位置处沿着光轴扫描表面。在随后的空间图案位置之间的移动距离、与随后的扫描位置之间的扫描距离之间存在固定关系。利用具有对应的空间图案位置的空间图案在扫描位置处检测由表面反射的光。根据用于表面的每个空间位置的检测到的光，确定对应于扫描位置的强度值的包络曲线。选择包络曲线的最大值以及其对应的扫描位置，其代表表面的空间位置的高度。分别在第一和第二方向上通过1/4和1/n图案波长的距离在2n个步阶(n>2)的序列中移动所述空间图案。

Description

用于结构照明显微术的图像序列和评估方法及系统
技术领域
本发明涉及显微镜系统的领域，并且更具体地，涉及一种用于结构照明显微术(structured illumination microscopy)的方法及系统。具体地，本发明涉及一种用于提供标本(specimen)的3D高度图的改进方法及系统。
背景技术
EP 2 327 956 A1公开了一种用于确定三维结构的个体特征的范围(距离)的光学传感器。该传感器具有被组成空间调制周期性图案的光源，该光源用于照明标本。使用检测器元件的阵列来检测所投射的图案的图像。在将标本移动经过焦点位置的同时，当在平行于其中周期性图案是周期性的方向的、垂直于光学传感器的光轴的方向上移动空间周期性光图案时，图案在至少三个空间调制相位中变化。分析检测器的输出信号包括：对于检测器的每个空间位置，确定在扫描期间检测到的信号的幅度；以及确定其中幅度具有最大值的扫描位置。
US 2010/0135547 A1公开了用于具有结构照明的光学切片显微术的系统和方法。光源产生具有空间图案的光束，以便相继地在多个相位中的每个相位处照亮样本。使用多个方向上的正弦图案。在单个Z位置处，在x和y这两个方向上移动图案，并且该专利给出用于获得轴向切片的图像的评估方法。
US 2012/0140243涉及用于形成测试对象的三维图像的方法。所述方法包括将光引导到成像光学镜的最佳焦点的表面，其中，光在最佳焦点的表面中在至少一个方向上具有强度调制。相对于成像光学镜来扫描测试对象，使得在扫描测试对像时，测量对象的表面通过成像光学镜的最佳焦点的表面。对于测试对象在扫描期间的一系列位置中的每一个位置，使用成像光学镜来获取测量对象的单个图像。对于相继的图像而言，在最佳焦点的表面中的光的强度调制是不同的。基于所获取的图像来形成测试对象的三维图像。没有公开图像的序列和评估。
在现有技术中，没有提供解决方案，以用于创建具有优秀Z分辨率、并且高度独立于表面结构的标本的3D高度图，在该表面结构中，邻近点可能具有不同的高度和反射率，且可能存在局部倾斜。
发明内容
将期望提供一种用于创建标本的改进的3D高度图的方法和装置。还将期望提供一种用于创建具有优秀Z分辨率的标本的3D高度图的方法和装置。进一步将期望提供一种用于创建显著独立于表面结构的标本的3D高度图的方法和装置。
为了更好地解决这些问题中的一个或多个，在本发明的第一方面中，提供了一种用于确定标本的表面上的多个空间位置的高度的方法。该方法包含以下步骤：
将光束投射在表面上，所述光束具有在垂直于所述光束的光轴的至少两个方向上是周期性的空间图案；
将所述空间图案移动到不同的空间图案位置；
在不同的扫描位置处沿着所述光轴扫描表面，其中，在随后的空间图案位置之间的移动距离、与随后的扫描位置之间的扫描距离之间存在固定关系；
利用具有对应的空间图案位置的空间图案在扫描位置处检测由表面反射的光；
根据用于表面的每个空间位置的检测到的光，确定对应于扫描位置的强度值的包络曲线；以及
选择包络曲线的最大值以及其对应的扫描位置，所述扫描位置代表表面的空间位置的高度，
其中，所述空间图案是在所述至少两个方向上具有图案波长的正弦图案，在2n个步阶(n>2)的序列中移动所述空间图案，通过将涉及开始空间图案位置、以及下一个空间图案位置的以下步骤(a)至(c)重复n次来移动所述空间图案：
(a)相对于开始空间图案位置，在第一空间方向上通过1/4图案波长的第一移动距离来移动空间图案；
(b)相对于开始空间图案位置，在第二空间方向上通过1/n图案波长的第二移动距离来将空间图案移动至下一个空间图案位置；以及
(c)使该下一个空间图案位置成为开始空间图案位置。
在正弦空间图案中，光强度可以被舍入，并且可以被数字化成至少两个级别。该图案可以包含数字化的像素，其中，在每个图案波长中，都包含至少两个像素。
该方法允许创建具有优秀Z分辨率、并且独立于表面结构的标本的3D高度图。对比度包络曲线对具有不同高度和反射率的邻近点、对局部倾斜不太敏感，并且看上去对在标本上组成图案的光束的投影中和/或在被标本反射的光的检测中的所使用的显微镜物镜的像差也不太敏感。
注意的是，步骤(a)和(b)的次序可以是相反的。还要注意的是，第一空间方向不同于第二空间方向。具体地，第一空间方向与第二空间方向成一定角度(不同于0度)。
在该方法的实施例中，所述至少两个方向中的每一个中的图案波长是相等的。通过这样相等的图案波长，对标本上的定向结构的敏感度受到限制。
在该方法的实施例中，空间图案包含两个正交的正弦图案，并且其中，对于k个扫描位置，将空间图案的点(x,y)的强度I(x,y)定义为：
其中：
i＝1,1,2,2,…,n,n
j＝0,1,0,1,…
k＝2i+j-1。
在该方法的另一个实施例中，空间图案包含彼此以120°朝向的三个正弦图案，并且其中，对于k个扫描位置，将空间图案的点(x,y)的强度I(x,y)定义为：
其中：
i＝1,1,2,2,…,n,n
j＝0,1,0,1,…
k＝2i+j-1。
在该方法的实施例中，在两个随后的空间图案位置与两个随后的扫描位置之间的移动的时间段是相等的。相应地，无论何时到达空间图案位置，都可以在相同时间到达扫描位置，从而得到要对对应的扫描位置获取的用于表面的每个空间位置的通过光检测器检测到的光的强度值，从而得到获取时间的最小值。
在该方法的实施例中，扫描移动是连续的移动，具体地是平坦移动(evenmovement)。在该连续的、优选为平坦扫描移动的期间，从一个扫描位置移动到另一个扫描位置，在第一和第二空间方向上交替地改变空间图案的相位，使得在每个扫描位置处，空间图案的预定相位被设置，并且检测到由标本的表面反射的光。该连续的、优选为平坦扫描移动提供了短的数据获取时间。
在该方法的实施例中，选择包络曲线的最大值的步骤包含计算包络的重心。
在该方法的实施例中，所述光束是光脉冲与移动的空间图案的相位同步的频闪(strobing)光束。
在提供增强敏感度的方法的实施例中，如根据用于表面的每个空间位置的检测到的光所确定的每个强度值被乘以基于以下空间图案上的对应空间位置的光强度的加权因子，在检测到该光强度时所述空间图案被发射。
在该方法的实施例中，基于由一半波长、或者一半波长加上波长的倍数分开的空间位置处的强度值的差异来计算局部对比度。利用与根据强度值确定包络曲线的方法相同的方法，根据这些局部对比度值，对每个空间位置和扫描位置，确定包络曲线。
在本发明的第二方面中，提供了一种用于确定标本的表面上的多个空间位置的高度、具体地用于执行根据本发明的方法的装置。该装置包含：
光束投射器，被配置为将光束投射在表面上，所述光束具有在垂直于所述光束的光轴的至少两个方向上是周期性的、并且移动到不同的空间图案位置的空间图案；
扫描器，被配置为在不同的扫描位置处沿着所述光轴扫描表面，其中，在随后的空间图案位置之间的移动距离、与随后的扫描位置之间的扫描距离之间存在固定关系；
光检测器，被配置为利用具有对应的空间图案位置的空间图案在扫描位置处检测由表面反射的光；以及
处理单元，被配置为根据由所述光检测器对表面的每个空间位置检测到的光，确定对应于扫描位置的强度值的包络曲线，选择包络曲线的最大值以及其对应的扫描位置，并且计算表面的空间位置的高度，
其中，所述空间图案是在所述至少两个方向上具有图案波长的正弦图案，在2n个步阶(n>2)的序列中移动所述空间图案，通过将涉及开始空间图案位置、以及下一个空间图案位置的以下步骤(a)至(c)重复n次来移动所述空间图案：
(a)相对于开始空间图案位置，在第一空间方向上通过1/4图案波长的第一移动距离来移动空间图案；
(b)相对于开始空间图案位置，在第二空间方向上通过1/n图案波长的第二移动距离来将空间图案移动至下一个空间图案位置；以及
(c)使该下一个空间图案位置成为开始空间图案位置。
在本发明的第三方面中，提供了一种计算机程序，包含在被载入处理器中时、使该处理器控制本发明的装置执行本发明的方法的计算机指令。
通过参考下面的详细说明，并且结合附图一起考虑，本发明的这些以及其他方面将被更容易地领会，同样地变得更好被理解，在所述附图中，相同的标号表示相同的部分。
附图说明
图1示意性地图示根据本发明的装置的实施例。
图2图示根据本发明的方法的流程图。
图3图示将要用于根据本发明的方法和装置的实施例中的二维照明图案的实施例。
图4a至4h图示将要用于根据本发明的方法和装置的实施例中的二维照明图案的强度分布的序列。
图5a至5h图示将要用于根据本发明的方法和装置的实施例中的二维照明图案的强度分布的另一序列。
图6a和6b图示由光学检测器对于其单个像素生成的测量的强度信号。
图6c和6d分别图示从根据图6a和6b的测量的强度信号计算出的包络函数/包络曲线。
图7示意性地图示根据本发明的装置的又一个实施例。
具体实施方式
图1图示用于形成标本8的三维(3D)高度图的装置1。装置1包含被构造并布置为产生光束3的光源2。在光束3的路径中，布置了空间光调制器4、透镜5以及分束器6。装置1还包含被适配为接收并指引光束3的物镜7、以及用于承载要确定其上表面9的高度图的标本8的支架(support)20。装置1还配备有第二透镜10、以及包含光检测器元件的阵列的二维光检测器11(诸如，相机)，每一个光检测器元件都被适配为将接收的光束3的入射光的强度变换成信号。信号被发送至处理单元12，其优选地由被编程以执行对装置1的控制以及信号数据的处理、以提供所述高度图的计算机或者计算机系统形成。物镜7可以被适配为在+或-Z方向上扫描标本8，如图1所指示的。附加地或者替代地，可以通过将标本8在+或-Z方向上进行移动来扫描它。后者的移动可以通过移动支架20来执行。附加地或者替代地，可以将包括光源2、空间光调制器4、分束器6、物镜7、第二透镜10和光检测器11的显微镜作为整体相对于标本8及其支架20进行移动，以获得涉及不同扫描位置的扫描功能。
空间光调制器4可以包含固定光栅，该固定光栅可以在垂直于光束3的光轴的单个、彼此不同的方向上移动，以生成具有移动的空间图案的光束3。替代地，可以使用可用的微显示(microdisplay)技术，诸如将它实现为数字微镜设备(DMD)、反射或透射液晶设备(LCD)、硅基液晶(LCoS)设备、具有条带阵列(strip array)的发光设备(LED)、扫描镜设备、激光扫描投影仪等。
为了获得所期望的周期性空间图案，在一些实施例中，接连地投射不同的单向正弦图案，并且将这些图案通过硬件或软件结合，以高效地给出对于其在此指定评估的相同的多维图案。
由光源2产生的光束3经受空间光调制器4，行进经过透镜5并且到分束器6，该分束器6将光束3引导至物镜7，该物镜7继而将光束3引导至标本8的表面9。被标本8反射的光束3行进通过物镜7、分束器6以及第二透镜10，并且到达光检测器11。
图2图示例示了用于确定标本的3D高度图的方法的流程图。
在步骤200中，光束被投射在标本的表面上。光束3具有在垂直于光束3的光轴的至少两个方向上是周期性的空间图案。
在步骤210中，如下所述地，将空间图案从一个空间图案位置移动到不同的空间图案位置。
在步骤220中，沿着光轴从一个扫描位置到下一个扫描位置扫描标本8的表面。步骤220可以与步骤210基本连续地、重叠地或者同时地执行。在随后的空间图案位置之间的移动距离、与随后的扫描位置之间的扫描距离之间存在固定的关系。
在步骤230中，检测在具有对应的空间图案位置的扫描位置中由标本的表面反射的光。该检测得到被光束3的空间图案调制的、关于在标本8的表面9上的位置的光强度数据。存储该强调数据以用于评估。
在步骤240中，确定是否对不同的空间图案位置和对应的扫描位置重复步骤200-230。如果是，则如用“是”标记的，流程在步骤200处继续。如果否，则如用“否”标记的，流程在步骤250处继续。基于标本8的总(预期的)高度范围，考虑到随后扫描位置之间的扫描距离，来做出要重复的决定。
在步骤250中，在已经收集了用于所有扫描位置的强度数据之后，根据用于表面9的每个空间位置的检测到的光，确定对应于扫描位置的强度值的包络曲线。
在步骤260中，确定包络曲线的最大值、以及它的对应扫描位置，其代表了表面9的空间位置的高度。
空间光调制器4被配置为产生在多个方向上是周期性的空间图案，或者利用若干全向图案来组成这样的图案。该空间图案是在所述至少两个方向上具有图案波长的正弦图案(参见步骤200)。
进一步到步骤210，在2n个步阶(step)(n>2)的序列中移动空间图案。通过将涉及开始空间图案位置、以及下一个空间图案位置的以下步骤(a)至(c)重复n次来移动所述空间图案：
(a)相对于开始空间图案位置，在第一空间方向上通过1/4图案波长的第一移动距离来移动空间图案；
(b)相对于开始空间图案位置，在第二空间方向上通过1/n图案波长的第二移动距离来将空间图案移动至下一个空间图案位置；以及
(c)使该下一个空间图案位置成为开始空间图案位置。
当要在单个方向上移动这样的空间图案时，由当在第一空间方向上移动空间图案时空间图案的不变相位造成的、最小对比度的行(line)出现。为了应对该不利之处，在所述单个方向(第二空间方向)上的每个步阶之后，将空间图案在第一空间方向上移动其波长的四分之一(λ/4)。替代地，在所述单个方向上的每个步阶之前，可以将空间图案在第一空间方向上移动其波长的四分之一。这使得空间图案在总共2n个步阶之后重复。在空间图案的该移动期间，被投射了空间图案的标本8在Z方向上移动，优选地，单调地移动。图像检测器11在空间图案的每个步阶处拍摄图像，连同记录标本8的对应的Z位置。
下面，用(x,y)标记在空间光调制器4处的X、Y位置，用(x’,y’)标记在标本8处的对应的被投射的位置，并且用(x”,y”)标记在图像检测器处的对应的被投射图像的坐标。
作为第一示例，空间图案可以包含可以被描述为正弦棋盘的两个正交的正弦图案。作为第二示例，空间图案可以包含相对彼此以120°投射的三个正弦图案。
在这样的正弦图案中，可以对光强度进行舍入，并且可以以至少两个级别将其数字化。
根据其中空间图案包含可以被描述为正弦棋盘的两个正交的正弦图案的第一示例，例如，表示数字照明设备(诸如，光源2和空间光调制器4的组合)的像素的位置的、X、Y正交坐标系统上的周期性图案的强度I(x,y)可以按照下面的等式(1)所表示的那样书写：
其中，λ是在x和y方向上相同地取得的波长，即，其是以x和y为单位的、图案重复的周期。强度I(x,y)可以在0和1之间取值，但是可以将其乘以任何因子。作为示例，可以将I(x,y)乘以255，并且可以将每个值舍入到最接近的整数值，以便表示8比特二进制强度。
根据等式(1)的图案可以被视为棋盘图案的正弦版本。作为示例，在图3中给出具有范围从1到360的x,y以及72个x,y单位的波长的图案。
可以根据等式(2)定义2n个步阶(n>2)的周期性序列：
其中：
i＝1,1,2,2,…,n,n
j＝0,1,0,1,0…
在关于n＝4并且投影数量k＝2i+j-1的图像检测器11上的k个被投射的图像的序列中，根据以上来取得i和j的下面的值，如表1所示：
k 1 2 3 4 5 6 7 8 …
i 1 1 2 2 3 3 4 4 …
j 0 1 0 1 0 1 0 1 …
表1
作为示例，图4a-4h示出在16x 16网格上关于8个步阶(n＝4)的序列和8个像素的波长λ的强度分布。对于图4a-4h，对于8个不同的扫描位置，分别地，k＝1-8。另外，可以取得扫描位置，其中重复如图4a-4h所示的关于k＝1-8的空间图案的序列。
在该示例中，序列k＝1-3-5-7(分别地，图4a、4c、4e、4g)表示以π/2的步阶在X方向上的相位移位。序列k＝2-4-6-8(分别地，图4b、4d、4f、4h)也表示以π/2的步阶在X方向上的相位移位。对于其中序列k＝1-3-5-7提供最小对比度的Y位置(y＝2,6,10,14)，序列k＝2-4-6-8使得对比度最大化，然而，对于其中序列k＝1-3-5-7提供最大对比度的Y位置(y＝4,8,12,16)，序列k＝2-4-6-8使得对比度最小化。
另外，序列k＝1-2-5-6表示以π/2的步阶在Y方向上的相位移位。对于其中序列k＝1-2-5-6的对比度提供最小对比度的X位置(x＝4,8,12,16)，序列k＝3-4-7-8提供最大对比度，然而，对于其中序列k＝1-2-5-6的对比度提供最大对比度的X位置(x＝2,6,10,14)，序列k＝3-4-7-8提供最小对比度。
可以有利地进一步增加对称轴的数量。这可以通过添加以120°朝向的三个正弦图案来完成。根据第二示例，空间图案包含相对彼此以120°被投射的三个正弦图案。
然后，可以根据等式(2a)定义2n个步阶(n>2)的周期性序列：
其中：
i＝1,1,2,2,…,n,n
j＝0,1,0,1,0…
在图案将被投射时，可以例如在0和1之间或者在0和255之间的8比特度量上对由等式(2a)给出的强度值进行规格化(normalize)。
在关于n＝4并且投影数量k＝2i+j-1的图像检测器11上的k个被投射的图像的序列中，根据以上来取得i和j的下面的值，如表2所示：
k 1 2 3 4 5 6 7 8 …..
i 1 1 2 2 3 3 4 4 ..
j 0 1 0 1 0 1 0 1 ..
表2
作为示例，图5a-5h示出关于8个步阶(n＝4)的序列和8个像素的波长λ的强度分布。对于图5a-5h，对于8个不同的扫描位置，分别地，k＝1-8。另外，可以取得扫描位置，其中重复如图5a-5h所示的关于k＝1-8的空间图案的序列。
在评估图像的所记录的强度时，考虑其与具有垂直于其他空间方向的相同移位的强度的关系。这意味着，对于具有偶数k数量的每个图像，其只与具有偶数k数量的图像有关。这同样适用于具有奇数k数量的图像。
对于信号的这些子集，可以使用在EP 2327956 A1中描述的任何方法，通过引用而将其并入本文。
组合这两个子集，使得获得作为图像数量k的函数的、用于图像平面中的每个(x”,y”)坐标的包络曲线函数值。
作为示例，可以根据等式(3)，与参考文献[1]类似地定义包络函数Ec：
Ec(x",y",zk)＝(I(x",y",zk+2)-I(x",y",zk-2))2+(I(x",y",zk)-I(x",y",zk-4))·(I(x",y",zk)-I(x",y",zk+4)) (3)
根据等式(4)，另一示例使用在参考文献[2]中描述的7步阶干涉图算法：
Ec(x",y",zk)＝(3·I(x",y",zk-2)-3·I(x",y",zk+2)+I(x",y",zk+6)-I(x",y",zk-6))2...
...+(4·I(x",y",z)-2·I(x",y",zk-4)-2·I(x",y",zk+4))2 (4)
此处，k是投影数量，并且zk是标本8的对应的Z坐标。
在图6a中，对于如下情况，针对单个像素给出“信号”(强度数据)：对于用于奇数k个投影的测量，对比度是最大值，而对于用于偶数k个投影的测量，对比度是最小值。图6c对于如下情况提供信号强度数据：对于用于奇数以及偶数两者的k个投影的测量，对比度是中间值。图6b、6d提供如通过等式(3)计算的相应的包络函数。
最后，确定与包络函数的最大值有关的扫描位置。该位置表示表面9的高度。
确定最大值的一种可能是通过计算重心。这考虑了用于非偶数和偶数两者的k个投影的测量的确定的加权平均。通过等式(5)给出重心z(x,y)：
此处，km是对应于Ec的最大值的位置索引，并且r是包络函数显著地大于背景噪声的范围。
如果使用峰值拟合函数来确定z(x,y)，则可以首先通过根据等式(6)结合用于偶数以及非偶数的k个投影的测量来使得Ec的值变得平滑：
Ec,s(x",y",zk)＝(2·Ec(x",y",zk)+Ec(x",y",zk+1)+Ec(x",y",zk-1))/4 (6)
这可以根据等式(7)来近似：
Ec(x",y",zk)＝(I(x",y",zk-2)-I(x",y",zk+2))2+(I(x",y",zk+1)-0.75·I(x",y",zk-3)-0.25·(I(x",y",zk+5))2...
...+(I(x",y",zk-1)-0.75·I(x",y",zk+3)-0.25·I(x",y",zk-5))2.....
....+(I(x",y",zk)-0.5·I(x",y",zk+4)-0.5·I(x",y",zk-4))2
(7)
组合用于每个空间位置的所得到的Z图形，以形成表面9的高度图。
在相位敏感的修改中，通过对每个Z步阶(扫描步阶)、将所捕捉的强度乘以通过等式(8)给出的加权因子W(x”,y”)来增强该方法的灵敏度，其中，X和Y坐标以及波长指出图像平面并且对应于被投射强度的X、Y坐标。根据等式(8)来定义图像平面中的加权因子：
此处，λ”是图像检测器11上的空间图案的有效波长。
现在，可以根据等式(9)来定义相位敏感的幅度函数Aps：
其中：
i＝1,1,2,2,…,n,n
j＝0,1,0,1,…
k＝2i+j-1。
根据该函数Aps，可以将最大值取作Z坐标的近似，或者可以将它取作第一近似，之后，例如通过应用等式(5)，计算被进一步作为包络函数对待的函数EPS＝(Aps)2。
该方法减少了要测量的标本8上的邻近点的影响，这些点具有不同的反射比，并且将影响其中标本8的表面9上的(x’,y’)点处于失焦的测量。该方法利用不同的相位来减少相邻点的影响。
表达相位敏感的方法的另一种方式是任何强度差异(I(x",y",zk)-I(x",y",zk+4))都应当通过在标本8处于焦点对准时其可以具有的最大调制来进行加权。这等同于对包含I(x",y",zk)-I(x",y",zk+4)的任何项施加权重。
网格上的(x,y,k)与检测器处的(x”,y”,zk)之间的对应性可以通过单独的校准(例如，通过测量光学平面并且测量最大调制深度附近的相位)来建立。对于n＝4，可以如等式(10)中那样定义该相位：
由此，可以分别从偶数和奇数测量确定在k＝0和k＝1处的相位。对于作为标本高度的函数的相位，等式(11)：
分别适用于k的偶数和非偶数值。
一旦对于偶数和奇数测量确定了就可以在其他表面的随后的测量中将用作加权函数W(x”,y”,k)。该加权函数可以通过傅里叶域中的2D滤波而变得平滑。
该方法还与诸如在参考文献[3]中所述的对比度检测方法(被称为聚焦形貌恢复(SFF))相结合。作为示例，替代强度I(x”,y”,zk)，可以根据等式(12)来定义对比度幅度Asff，：
ASFF(x",y",zk)＝(2·I(x",y",zk)-I(x"+λ"/2,y",zk)-I(x"-λ"/2,y",zk)+
(2·I(x",y",zk)-I(x",y"+λ"/2,zk)-I(x",y"-λ/2,zk)) (12)
这类似于如在参考文献[3]中的等式(16)所定义的拉普拉斯算子(Laplacianoperator)。在参考文献[4]的等式(3)中，取绝对值；根据本公开，因为ASFF(x”,y”,zk)＝-ASFF(x”,y”,zk+4)，所以取绝对值将去掉相位移位和对比度方法的优点；这在应用等式(3)和(5)时使用。
与在等式(3)中取强度I(x”,y”,zk)的差异在于，此处，将(利用图案照亮的)X-Y平面中的图像本身的调制视为Z的函数。这可以对明亮环境中的小暗斑给出更好的信号，其中，在等式(3)中应用I(x”,y”,zk)可能给出小且有噪声的信号。
根据等式(12)的对比度函数可以与如在等式(2)中被移位并且通过任意包络检测方法(等式(3)-(6))被评估的等式(1)中定义的图案一起使用。
对于与它们的环境一样明亮的点，对强度应用等式(3)可以给出更高的Z精度以及更高的(x,y)分辨率，这是因为其最大值中的信号不依赖于其邻近点的强度和高度。同样在局部峰值处或者在高倾斜区域中，应用等式(10)可能给出比在等式(3)中直接采用强度更差的信号。
替代通过λ/2分开的点取得对比度，对比度还可以通过λ/2+n·λ分离的点来取得。基于Ec和ASFF的相对信号强度，从任一方或者加权组合得出的Z值可以被取作最终值。
同样地，对于该对比度计算，强度调制可以被加权，因此，在可能不进行调制的情况下，可以不对调制进行测量。
注意的是，如图4a-4h和5a-5h中的图案可以通过在图像检测器11的一次曝光时间内相继地投射单一维度的正弦图案来获得。例如，等式(2)可以根据等式(13)进行重写：
现在，在等式(13)中，A和B描述单一维度的正弦图案。如果这些在图像检测器11的一次曝光时间内相继地被投射，则在标本8在Z方向上移动的同时，图像检测器11有效地捕捉相同的图案。作为有效的Z坐标，必须将两个被捕捉的图像的平均Z位置取作作为有效的多维度正弦图案的结果的值。通过如图7所示那样地结合具有不同朝向方向的两个正弦空间图案4、14，可以获得相同的效果。在该情况下，空间图案可以包含分别由与LCD显示器或类似的2D投影设备相比、可以更容易地生产并且在单个方向上移动的光源2、13照亮的硬件光栅。
如上所述，一种用于确定标本的表面上的多个空间位置的高度的方法和装置，将光束投射在表面上。光束具有在垂直于光束的光轴的至少两个方向上的正弦空间图案，并且其被移动到不同的空间图案位置。在不同的扫描位置处沿着所述光轴扫描表面。在随后的空间图案位置之间的移动距离、与随后的扫描位置之间的扫描距离之间存在固定关系。利用具有对应的空间图案位置的空间图案在扫描位置处检测由表面反射的光。根据用于表面的每个空间位置的检测到的光，确定对应于扫描位置的强度值的包络曲线。选择包络曲线的最大值以及其对应的扫描位置，所述扫描位置代表表面的空间位置的高度。分别在第一和第二方向上通过1/4和1/n图案波长的距离在2n个步阶(n>2)的序列中移动所述空间图案。
依照请求，在本文中公开了本发明的详细实施例；然而，应当理解的是，所公开的实施例仅是本发明的示例，其可以被实施为多种形式。因此，在本文中公开的具体结构和功能的细节不应当被解释为限制性的，而是仅仅解释为权利要求书的基础以及用于教导本领域的技术人员以实际上任何适当的详细结构来不同地利用本发明的代表性基础。另外，在本文中所使用的术语和短语不是用于限制性的，而是用于提供对本发明的可理解的描述。
如在本文中使用的术语“一”/“一个”被定义为一个或者多于一个。如在本文中使用的术语复数被定义为两个或多于两个。如在本文中使用的术语另一个被定义为至少第二个或更多个。如在本文中使用的术语包括和/或具有被定义为包含(即，开放式语言，不排除其他元素或步骤)。权利要求中的任何标号不应当被理解为限制权利要求或本发明的范围。
在彼此不同的从属权利要求中陈述某些措施的单纯事实，不表示不能有利地使用这些措施的组合。
单个处理器或其他单元可以满足在权利要求中陈述的若干项目的功能。
术语计算机程序被定义为被设计用于通过一个或多个计算机系统上的一个或多个处理器执行的指令序列。程序、计算机程序或软件应用可以包括子例程、函数、过程、对象方法、对象实现、可执行的应用、小程序、小服务程序、源代码、目标代码、共享库/动态加载库和/或被设计用于在计算机系统上执行的其他指令序列。
计算机程序可以存储和/或分布在适当的介质上，所述介质诸如与其他硬件一起提供或者作为其他硬件的一部分提供的光存储介质或固态介质，该计算机程序还可以以其他形式(诸如，经由因特网或其他有线或无线电信系统)分布和/或运行。
参考文献书目
[1]K.G.Larkin.“Efficient nonlinear algorithm for envelope detectionin white light interferometry.”J.Opt.Soc.Am A,V13,No 4,April 1996,pp 832-843。
[2]P.Sandoz,“An algorithm for Profilometry by white-light phase-shifting interferometry”.J.Mod.Opt.43,1996,1545-1554。
[3]M.Noguchi and S.K.Nayar,“Microscopic Shape from Focus Using ActiveIllumination”:Proc.Int.Conf.Pattern recognition(ICPR),Jerusalem,October 1994。
[4]“Method and System for three-dimensional polarization-basedconfocal microscopy”,patent US 2010/0321773 A1。

Claims (12)

1.一种用于确定标本(8)的表面(9)上的多个空间位置的高度的方法，该方法包含以下步骤：
将光束(3)投射在表面(9)上，所述光束(3)具有在垂直于所述光束(3)的光轴的至少两个方向上是周期性的空间图案；
将所述空间图案移动到不同的空间图案位置；
在不同的扫描位置处沿着所述光轴扫描表面(9)，其中，在随后的空间图案位置之间的移动距离、与随后的扫描位置之间的扫描距离之间存在固定关系，所述固定关系使得在每个扫描位置处，空间图案的预定相位被设置；
利用具有对应的空间图案位置的空间图案在扫描位置处检测由表面(9)反射的光；
根据用于表面(9)的每个空间位置的检测到的光，确定对应于扫描位置的强度值的包络曲线；以及
选择包络曲线的最大值以及其对应的扫描位置，所述扫描位置代表表面(9)的空间位置的高度，
其中，所述空间图案是在所述至少两个方向上具有图案波长的正弦图案，在2n个步阶的序列中移动所述空间图案，其中n>2，通过将涉及开始空间图案位置、以及下一个空间图案位置的以下步骤(a)至(c)重复n次来移动所述空间图案：
(a)相对于开始空间图案位置，在第一空间方向上通过1/4图案波长的第一移动距离来移动空间图案；
(b)相对于开始空间图案位置，在第二空间方向上通过1/n图案波长的第二移动距离来将空间图案移动至下一个空间图案位置；以及
(c)使该下一个位置成为开始空间图案位置。
2.根据权利要求1所述的方法，其中，所述至少两个方向中的每一个中的图案波长是相等的。
3.根据权利要求1或2所述的方法，其中，空间图案包含两个正交的正弦图案，并且其中，对于k个扫描位置，将空间图案的点(x,y)的强度I(x,y)定义为：
其中：
i＝1,1,2,2,…,n,n
j＝0,1,0,1,…
k＝2i+j-1。
4.根据权利要求1或2所述的方法，其中，空间图案包含彼此以120°朝向的三个正弦图案，并且其中，对于k个扫描位置，将空间图案的点(x,y)的强度I(x,y)定义为：
其中：
i＝1,1,2,2,…,n,n
j＝0,1,0,1,…
k＝2i+j-1。
5.根据权利要求1或2所述的方法，其中，在两个随后的空间图案位置与两个随后的扫描位置之间的移动的时间段是相等的。
6.根据权利要求1或2所述的方法，其中，扫描移动是连续的移动，具体地是平坦移动。
7.根据权利要求1或2所述的方法，其中，选择包络曲线的最大值的步骤包含计算包络的重心。
8.根据权利要求1或2所述的方法，其中，所述光束是光脉冲与移动的空间图案的相位同步的频闪光束。
9.根据权利要求1或2所述的方法，其中，根据用于表面(9)的每个空间位置的检测到的光所确定的每个强度值被乘以基于以下空间图案上的对应空间位置的光强度的加权因子，在检测到该光强度时所述空间图案被发射。
10.根据权利要求1或2所述的方法，包括：
基于由一半波长、或者一半波长加上波长的倍数分开的空间位置处的强度值的差异来计算局部对比度；以及
对每个空间位置和扫描位置，根据局部对比度值来确定包络曲线。
11.一种用于确定标本的表面(9)上的多个空间位置的高度、具体地用于执行根据权利要求1至8中任一项所述的方法的装置，该装置包含：
光束投射器，被配置为将光束(3)投射在表面(9)上，所述光束(3)具有在垂直于所述光束(3)的光轴的至少两个方向上是周期性的、并且移动到不同的空间图案位置的空间图案；
扫描器，被配置为在不同的扫描位置处沿着所述光轴扫描表面(9)，其中，在随后的空间图案位置之间的移动距离、与随后的扫描位置之间的扫描距离之间存在固定关系，所述固定关系使得在每个扫描位置处，空间图案的预定相位被设置；
光检测器，被配置为利用具有对应的空间图案位置的空间图案在扫描位置处检测由表面(9)反射的光；以及
处理单元，被配置为根据由所述光检测器(11)对表面(9)的每个空间位置检测到的光，确定对应于扫描位置的强度值的包络曲线，选择包络曲线的最大值以及其对应的扫描位置，并且计算表面(9)的空间位置的高度，
其中，所述空间图案是在所述至少两个方向上具有图案波长的正弦图案，在2n个步阶的序列中移动所述空间图案，其中n>2，通过将涉及开始空间图案位置、以及下一个空间图案位置的以下步骤(a)至(c)重复n次来移动所述空间图案：
(a)相对于开始空间图案位置，在第一空间方向上通过1/4图案波长的第一移动距离来移动空间图案；
(b)相对于开始空间图案位置，在第二空间方向上通过1/n图案波长的第二移动距离来将空间图案移动至下一个空间图案位置；以及
(c)使该下一个空间图案位置成为开始空间图案位置。
12.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序包含在被载入处理器中时、使该处理器控制根据权利要求11所述的装置执行根据权利要求1至10中任一项所述的方法的计算机指令。
CN201510003099.5A 2014-02-06 2015-01-05 用于结构照明显微术的图像序列和评估方法及系统 Active CN104833311B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14154205.0A EP2905575B1 (en) 2014-02-06 2014-02-06 Image sequence and evaluation method, system and computer program for structured illumination microscopy for measuring a 3D height map
EP14154205.0 2014-02-06

Publications (2)

Publication Number Publication Date
CN104833311A CN104833311A (zh) 2015-08-12
CN104833311B true CN104833311B (zh) 2019-04-05

Family

ID=50064486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510003099.5A Active CN104833311B (zh) 2014-02-06 2015-01-05 用于结构照明显微术的图像序列和评估方法及系统

Country Status (4)

Country Link
US (1) US9568304B2 (zh)
EP (1) EP2905575B1 (zh)
JP (1) JP6502113B2 (zh)
CN (1) CN104833311B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016203671A1 (de) * 2016-03-07 2017-09-07 Carl Zeiss Microscopy Gmbh Verfahren zum Bestimmen einer Höheninformationen einer Probe und Scanningmikroskop
US10445894B2 (en) * 2016-05-11 2019-10-15 Mitutoyo Corporation Non-contact 3D measuring system
US10365218B2 (en) * 2016-05-27 2019-07-30 Verily Life Sciences Llc Systems and methods for 4-D hyperspectral imaging
JP6795624B2 (ja) * 2016-05-27 2020-12-02 ヴェリリー ライフ サイエンシズ エルエルシー 空間光変調器ベースのハイパースペクトル共焦点顕微鏡および使用方法
US10401145B2 (en) * 2016-06-13 2019-09-03 Carl Zeiss Industrielle Messtechnik Gmbh Method for calibrating an optical arrangement
TWI814112B (zh) 2016-12-01 2023-09-01 美商伯克利之光生命科技公司 用於成像微物件的設備、系統及方法
US10561309B2 (en) * 2016-12-21 2020-02-18 Massachusetts Institute Of Technology Methods and apparatus for imaging and 3D shape reconstruction
TWI699559B (zh) 2018-01-16 2020-07-21 美商伊路米納有限公司 結構照明成像系統和使用結構化光來創建高解析度圖像的方法
EP3537100B1 (en) 2018-03-01 2020-08-05 Mitutoyo Corporation Methods and apparatuses for refractive index measurement of transparent tube
US10520301B1 (en) 2018-12-31 2019-12-31 Mitutoyo Corporation Method for measuring Z height values of a workpiece surface with a machine vision inspection system
CN109900223B (zh) * 2019-04-18 2021-10-08 盎锐（上海）信息科技有限公司 用于投影光栅建模的成像方法及装置
EP3835721A1 (en) 2019-12-13 2021-06-16 Mitutoyo Corporation A method for measuring a height map of a test surface
JP2022024683A (ja) * 2020-07-28 2022-02-09 株式会社ミツトヨ 形状測定方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1073007A (zh) * 1991-09-06 1993-06-09 联邦科学及工业研究组织 光学方法和装置
CN104204720A (zh) * 2012-03-21 2014-12-10 韩国标准科学研究院 透明基板监测装置和透明基板监测方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028670A (en) * 1998-01-19 2000-02-22 Zygo Corporation Interferometric methods and systems using low coherence illumination
DE10319182B4 (de) * 2003-04-29 2008-06-12 Carl Zeiss Jena Gmbh Verfahren und Anordnung zur Bestimmung der Fokusposition bei der Abbildung einer Probe
WO2007088542A2 (en) * 2006-02-01 2007-08-09 Applied Materials Israel Limited Method and system for evaluating a variation in a parameter of a pattern
JP2009300589A (ja) * 2008-06-11 2009-12-24 Nikon Corp 顕微鏡装置
US8019136B2 (en) 2008-12-03 2011-09-13 Academia Sinica Optical sectioning microscopy
TWI426296B (zh) 2009-06-19 2014-02-11 Ind Tech Res Inst 利用光學偏極特性之三維顯微共焦量測系統與方法
EP2327956B1 (en) 2009-11-20 2014-01-22 Mitutoyo Corporation Method and apparatus for determining the height of a number of spatial positions on a sample
US20110286006A1 (en) * 2010-05-19 2011-11-24 Mitutoyo Corporation Chromatic confocal point sensor aperture configuration
US8649024B2 (en) 2010-12-03 2014-02-11 Zygo Corporation Non-contact surface characterization using modulated illumination
ITPI20120034A1 (it) * 2012-03-31 2013-10-01 Cnr Consiglio Naz Delle Ricer Che Metodo e dispositivo perfezionati per microscopia video-confocale
JP6343463B2 (ja) * 2013-03-05 2018-06-13 日東電工株式会社 両面粘着テープ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1073007A (zh) * 1991-09-06 1993-06-09 联邦科学及工业研究组织 光学方法和装置
CN104204720A (zh) * 2012-03-21 2014-12-10 韩国标准科学研究院 透明基板监测装置和透明基板监测方法

Also Published As

Publication number Publication date
EP2905575A1 (en) 2015-08-12
EP2905575B1 (en) 2018-10-31
US9568304B2 (en) 2017-02-14
CN104833311A (zh) 2015-08-12
US20150219441A1 (en) 2015-08-06
JP6502113B2 (ja) 2019-04-17
JP2015148614A (ja) 2015-08-20

Similar Documents

Publication Publication Date Title
CN104833311B (zh) 用于结构照明显微术的图像序列和评估方法及系统
US8019136B2 (en) Optical sectioning microscopy
CN107111118B (zh) 用于厚样本的epi照明傅立叶重叠关联成像
EP2437095B1 (en) Sample observation device for generating super resolution image
JP6316068B2 (ja) 検査システムおよび検査方法
US9801548B2 (en) Apparatus and method for fluorescence imaging and tomography using spatially structured illumination
CN110132175B (zh) 基于幅度调制的单像素相位成像方法和装置
US20200271910A1 (en) Quantitative phase image generating method, quantitative phase image generating device, and program
CN110914634B (zh) 全息干涉度量的方法及系统
JP2014532197A (ja) 顕微鏡デバイス
JP4077754B2 (ja) ３次元形状測定装置
Dekiff et al. Simultaneous acquisition of 3D shape and deformation by combination of interferometric and correlation-based laser speckle metrology
CN116559179B (zh) 一种反光表面形貌与缺陷检测方法及其系统
NL2018386B1 (en) Structured illumination scanning microscopy
JP2016109462A (ja) 検査システムおよびフレキシブル照明装置
US20160021305A1 (en) Method and apparatus for measuring optical systems and surfaces with optical ray metrology
WO2019238583A1 (en) Deflectometric techniques
JP2016109463A (ja) 検査システム、及び検査方法
JP7412166B2 (ja) 撮像装置および撮像方法
JP2018115937A (ja) 検査システム
JP5518187B2 (ja) 変形計測方法
KR20120041839A (ko) 렌즈의 색수차를 이용한 3차원 영상 획득 방법 및 이를 이용한 3차원 현미경
JP6909377B2 (ja) 検査システムおよび検査方法
CN117928428A (zh) 一种三维表面形貌测量方法及系统
JP2016062004A (ja) 検査装置、及び波面収差補正方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant