CN111381383B - 利用带平面倾斜图案表面的校准对象校准vfl透镜系统的系统和方法 - Google Patents
利用带平面倾斜图案表面的校准对象校准vfl透镜系统的系统和方法 Download PDFInfo
- Publication number
- CN111381383B CN111381383B CN201911336459.8A CN201911336459A CN111381383B CN 111381383 B CN111381383 B CN 111381383B CN 201911336459 A CN201911336459 A CN 201911336459A CN 111381383 B CN111381383 B CN 111381383B
- Authority
- CN
- China
- Prior art keywords
- image
- calibration object
- vfl
- calibration
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/62—Optical apparatus specially adapted for adjusting optical elements during the assembly of optical systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
- G02B7/10—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
- G02B7/102—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Microscoopes, Condenser (AREA)
- Lens Barrels (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Abstract
提供了一种用于利用聚焦状态校准对象来确定包括VFL透镜(例如,可调谐声梯度透镜)的可变焦距(VFL)透镜系统的校准数据的系统和方法。校准对象包括平面倾斜图案表面,在该平面倾斜图案表面上分布有聚焦状态参考区域(FSRR)(例如,倾斜光栅)的集合。FSRR相对于平面倾斜图案表面具有已知几何关系,并且相对于彼此具有已知区域关系。在周期性调节的不同相位定时处获取多个相机图像,并且至少部分地基于对多个相机图像的分析来确定校准数据。所确定的校准数据指示与VFL透镜系统的各个有效聚焦位置相对应的周期性调节的各个相位定时。
Description
技术领域
本公开涉及使用高速可变焦距(Variable Focal Length,VFL)透镜(例如,在机器视觉检查系统中)的精密计量,并且更具体地涉及对VFL成像系统执行校准。
背景技术
精密非接触式计量系统,诸如精密机器视觉检查系统(或简称为“视觉系统”),可用于获得对象的精密维度测量并检查各种其他对象特性,并且可包括计算机、相机和光学系统、以及可移动以允许工件遍历和检查的精密平台。一种示例性现有技术系统是可从位于伊利诺伊州的奥罗拉市的三丰美国公司(MAC)获得的QUICK系列的基于PC的视觉系统和软件。QUICK系列的视觉系统和软件的特征和操作例如在2003年1月发布的《QVPAK 3D CNC视觉测量机用户指南》中作了一般性描述,其全部内容通过引用合并于此。这种类型的系统使用显微镜型光学系统并移动平台,以提供小的或相对大的工件的检查图像。
通用精密机器视觉检查系统通常是可编程的,以提供自动视频检查。这样的系统通常包括GUI特征和预定义的图像分析“视频工具”,以便可以由“非专家”操作员执行操作和编程。例如,美国专利编号6,542,180(其全部内容通过引用合并于此)教导了一种视觉系统,该视觉系统使用包括各种视频工具的使用的自动视频检查。
多透镜可变焦距(VFL)光学系统可用于对表面高度的观察和精密测量,并且可被包括在显微镜和/或精密机器视觉检查系统中,例如美国专利编号9,143,674中所公开的那样,其全部内容通过引用合并于此。简而言之,VFL透镜能够分别获取多个焦距处的多个图像。一种已知类型的VFL透镜是可调谐声梯度(Tunable Acoustic Gradien,TAG)透镜,该透镜使用流体介质中的声波产生透镜效应。可以通过将处于共振频率的电场施加到围绕流体介质的压电管上来产生声波,以在透镜流体中产生随时间变化的密度和折射率分布,从而调节其光概率,进而调节光学系统的焦距或有效聚焦位置。TAG透镜可用于以高达几百kHz的共振频率(即,高速地)周期性地扫描一定范围的焦距。这样的透镜可以通过文章“Highspeed varifocal imaging with a tunable acoustic gradient index of refractionlens”(Optics Letters,Vol.33,No.18,2008年9月15日)的教导来更详细地理解,该文章的全部内容通过引用合并于此。可调谐声梯度折射率透镜和相关的可控信号发生器可从例如新泽西州普林斯顿的TAG光学公司获得。例如,TL2.B.xxx型系列透镜的调节能力高达约600kHz。
这样的VFL系统通过能够以非常高的速率改变有效聚焦位置而提供了各种优点,并且校准对于确保这种系统的准确度是重要的,特别是对于某些类型的操作(例如,计量等级点(metrology grade)离焦点(points from focus)操作等)。期望可以提供对现有的用于校准这种VFL系统的校准技术(例如,在易用性、准确度和/或可重复性等方面)进行改进的系统和方法。
发明内容
提供本发明内容以简化形式介绍一些概念,这些概念将在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题的关键特征,也不旨在用于帮助确定所要求保护的主题的范围。
提供了一种用于利用聚焦状态校准对象来确定用于可变焦距(VFL)透镜系统的校准数据的方法。在各种实施方式中,VFL透镜系统包括VFL透镜、VFL透镜控制器、相机、物镜和曝光时间控制器。在各种实施方式中,VFL透镜可以是可调谐声梯度折射率(TAG)透镜。VFL透镜控制器控制VFL透镜的驱动信号以在周期性调节内的各个相位定时处出现的光功率的范围内周期性地调节VFL透镜的光功率。相机(例如,包括检测器)在图像曝光期间接收沿着成像光路传输(transmit)通过VFL透镜的光,并提供对应的相机图像。物镜在图像曝光期间输入从工件或校准对象中的至少一个产生的图像光,并且在图像曝光期间将图像光沿着成像光路传输通过VFL透镜到相机,以在对应相机图像中提供工件图像或校准对象图像中的至少一个。在图像曝光期间物镜前面的有效聚焦位置对应于在该图像曝光期间VFL透镜的光功率。曝光时间控制器被配置为控制用于相机图像的图像曝光定时。
在各种实施方式中,校准对象包括平面倾斜图案表面,在该平面倾斜图案表面上分布有聚焦状态参考区域(Focus State Reference Region,FSRR)的集合。FSRR相对于平面倾斜图案表面具有已知几何关系。例如,在其中平面倾斜图案表面包括光栅并且对此FSRR对应于光栅的特征(例如,光栅线/边缘)的实施方式中,已知几何关系可以对应于相对于平面倾斜图案表面的平面具有已知对准的光栅和/或在平面倾斜图案表面上具有已知恒定高度的每条光栅线/边缘和/或相对于平面倾斜图案表面的光栅线/边缘的其他已知几何关系。FSRR彼此之间也具有已知区域关系。例如,对于光栅,已知区域关系可以对应于具有已知光栅间距的光栅和/或相对于彼此具有已知间隔的光栅线/边缘和/或相对于彼此的光栅线/边缘的其他已知区域关系。当校准对象相对于VFL透镜系统布置在校准对象成像配置中时,FSRR被固定在相对于物镜的不同的各个有效聚焦位置处,并且在校准对象图像中具有各个参考区域图像地点(Reference Region Image Location,RRIL)。
在各种实施方式中,用于利用校准对象来确定校准数据的方法包括在周期性调节的不同相位定时处获取多个相机图像(例如,图像栈)。在各种实施方式中,每个相机图像的获取包括:将光源光输出到校准对象,校准对象布置在校准对象成像配置中;以及从相机接收相机图像。在各种实施方式中,在校准对象图像曝光期间,校准对象图像光沿着成像光路传输以穿过VFL透镜并到达相机,以在相机图像中提供校准对象图像。在获取多个相机图像之后,至少部分地基于对多个相机图像的分析来确定校准数据,其中,校准数据指示与各个有效聚焦位置相对应的周期性调节的各个相位定时。
在各种实施方式中,确定校准数据可以包括执行对准过程,对准过程包括利用对准图像和至少一个已知区域关系或已知几何关系来进行校准对象相对于VFL透镜系统的对准的确定或补偿中的至少一个。在各种实施方式中,对准图像可以是以下中的至少一个:多个相机图像中的相机图像;校准对象的扩展景深(Extended Depth Of Field,EDOF)图像;或校准对象的关闭VFL相机图像。在各种实施方式中,利用对准图像包括分析对准图像以确定合成频率,合成频率指示校准对象相对于VFL透镜系统的对准。在各种实施方式中,通过处理对准图像的2D傅里叶变换来确定合成频率。在各种实施方式中,对准过程可以包括:确定与校准对象相对于VFL透镜系统的旋转角相对应的校准对象的对准;以及通过在进一步处理至少一个图像之前将该至少一个图像旋转所述旋转角来补偿校准对象相对于VFL透镜系统的对准。
在各种实施方式中,确定校准数据可以包括分析校准对象的关闭VFL相机图像以确定代表值,代表值指代多个图像的对应值并且对应于距物镜的工作距离。在各种实施方式中,在VFL透镜处于VFL透镜的光功率不被调节并且VFL透镜不提供透镜效应的状态时,获取关闭VFL相机图像。在各种实施方式中,可以确定多个图像的两个对应值之间的插值,该插值与关闭VFL相机图像的代表值匹配并且被指定为对应于工作距离。在各种实施方式中,代表值可以是至少部分地通过对关闭VFL相机图像执行线扫描或其他处理而确定的像素位置值。
在各种实施方式中,确定校准数据可以包括利用校准对象的扩展景深(EDOF)图像来确定每个FSRR的大致位置。在各种实施方式中,大致位置可以用于定位图像中的感兴趣区域,以确定图像中的FSRR的聚焦特性值。
在各种实施方式中,分析多个相机图像可以包括确定相机图像中的每个FSRR的聚焦特性值,以便确定每个FSRR的峰值聚焦特性值的相位定时。在各种实施方式中,所确定的每个FSRR的聚焦特性值可以包括FSRR的定量对比度度量值。在各种实施方式中,分析多个相机图像可以还包括确定每个FSRR的有效聚焦位置。在各种实施方式中,确定每个FSRR的有效聚焦位置可以包括确定一个或多个相机图像中具有每个FSRR的子像素准确度的像素地点,以及基于所确定的像素地点、校准对象和VFL透镜系统的已知物理特性,来确定FSRR的有效聚焦位置,校准对象和VFL透镜系统的已知物理特性至少包括平面倾斜图案表面的倾斜角、物镜的放大率和像素尺寸。
在各种实施方式中,确定校准数据可以包括组合数据,该数据包括与每个FSRR的峰值聚焦特性值相对应的所确定的相位定时和所确定的每个FSRR的有效聚焦位置,其中所组合的数据指示与VFL透镜系统的有效聚焦位置相对应的相位定时。在各种实施方式中,等式(例如,正弦拟合等式)可以被确定为拟合到所组合的数据,并且该等式可以被用来确定与VFL透镜的调节范围内的等间隔有效聚焦位置相对应的相位定时。所确定的与等间隔有效聚焦位置相对应的相位定时可以被存储为校准数据的至少一部分,该校准数据指示与VFL透镜系统的各个有效聚焦位置相对应的周期性调节的各个相位定时。
在各种实施方式中,校准对象可以包括位于平面倾斜图案表面下方的反射表面(例如,当校准对象相对于VFL透镜系统布置在校准对象成像配置中时,该反射表面标称地(nominally)正交于工件成像光路的光轴)。在各种实施方式中,穿过平面倾斜图案表面并且被反射表面反射以作为校准对象图像光回穿过平面倾斜图案表面的光源光沿着工件成像光路传输。
在各种实施方式中,可以提供附加的校准对象作为校准对象的集合的一部分。该集合中的每个校准对象可以具有带有不同倾斜量的平面倾斜图案表面,并且该集合中的每个校准对象可以对应于具有不同放大率的不同物镜。当对VFL透镜系统执行校准时,可以利用来自与在校准期间使用的物镜相对应的集合中的校准对象。
附图说明
图1是示出通用紧密机器视觉检查系统的各种典型组件的图。
图2是类似于图1并且包括本文公开的某些特征的机器视觉检查系统的控制系统部分和视觉组件部分的框图。
图3是VFL透镜系统的示意图,该VFL透镜系统可以适用于诸如机器视觉检查系统的精密非接触式计量系统,并且包括本文公开的某些特征。
图4A和图4B是示出根据本文公开的原理可用的聚焦状态校准对象的第一示例性实施方式的图。
图5A和图5B是示出用于与提供不同放大率的不同物镜组合使用的校准对象(诸如图4A和图4B的校准对象)的不同倾斜角的图。
图6A和图6B是示出根据本文公开的原理可用的并且包括聚焦状态参考区域(FSRR)的校准对象的第二示例性实施方式的图。
图7A、图7B和图7C是表示包括处于三种不同聚焦状态的图6A和图6B的校准对象的图像的三个相机图像的图。
图8是表示图6A和图6B的校准对象的扩展景深图像的图。
图9是示出可用于补偿校准对象的旋转的旋转角的确定的图。
图10是表示关闭VFL相机图像的图,该关闭VFL相机图像包括在VFL透镜的光功率不被调节并且VFL透镜不提供透镜效应的状态下拍摄的图6A和图6B的校准对象的图像。
图11是示出根据图像栈的图像而确定的FSRR的聚焦特性值曲线的图。
图12是示出用子像素准确度确定的FSRR的图像像素地点和对应的FSRR的有效聚焦位置(Z高度)的图。
图13是示出通过组合诸如图11和图12的数据而确定的测量的校准数据的图。
图14是示出具有等效聚焦位置(Z高度)步长的拟合校准数据的图,该等效聚焦位置步长由诸如图13的数据确定。
图15是示出用于利用校准对象来确定用于VFL透镜系统的校准数据的方法的一个示例性实施方式的流程图。
具体实施方式
图1是根据本文描述的方法的、可用作VFL透镜系统或包括VFL透镜系统(本文也称为成像系统)的一个示例性机器视觉检查系统10的框图。机器视觉检查系统10包括视觉测量机器12,其可操作地连接以与控制计算机系统14交换数据和控制信号。控制计算机系统14进一步可操作地连接以与监视器或显示器16、打印机18、操纵杆22、键盘24和鼠标26交换数据和控制信号。监视器或显示器16可以显示适合于对机器视觉检查系统10的操作进行控制和/或编程的用户界面。应理解,在各种实施方式中,触摸屏平板电脑等可以代替和/或冗余地提供元件14、16、22、24和26中任何一个或所有元件的功能。
本领域技术人员将理解,控制计算机系统14通常可以使用包括分布式或联网的计算环境等的任何合适的计算系统或设备来实施。此类计算系统或设备可以包括一个或多个通用或专用处理器(例如,非定制或定制设备),其运行软件以执行本文所述的功能。软件可以存储在诸如随机存取存储器(RAM)、只读存储器(ROM)、闪存等的存储器中,或存储在这些组件的组合中。软件也可以存储在诸如基于光学的磁盘、闪存设备的一个或多个存储设备中,或存储在用于存储数据的任何其他类型的非易失性存储介质中。软件可以包括一个或多个程序模块,该一个或多个程序模块包括执行特定任务或实施特定抽象数据类型的例程、程序、对象、组件、数据结构等。在分布式计算环境中,程序模块的功能可以跨多个计算系统或设备组合或分布,并可以经由服务调用以有线或无线配置进行访问。
视觉测量机器12包括可移动的工件台32和光学成像系统34,该光学成像系统34可以包括变焦透镜或可互换物镜。变焦透镜或可互换物镜通常为光学成像系统34所提供的图像提供各种放大率。在共同转让的美国专利编号7,454,053、7,324,682、8,111,905和8,111,938中也描述了机器视觉检查系统10的各种实施方式,其每一个的全部内容通过引用合并于此。
图2是类似于图1的机器视觉检查系统、包括本文公开的某些特征的机器视觉检查系统100的控制系统部分120和视觉组件部分200的框图。如将在下面更详细地描述的,控制系统部分120用于控制视觉组件部分200。视觉组件部分200包括光学配件部分205,光源220、230、240,和具有中央透明部分212的工件台210。工件台210可沿X轴和Y轴可控制地移动,该X轴和Y轴位于通常平行于可放置工件20′或校准对象20的平台的表面的平面中。
光学配件部分205包括相机系统260、可互换物镜250和可变焦距(VFL)透镜270(例如,各种示例性实施方式中的TAG透镜)。在各种实施方式中,光学配件部分205可以还包括具有透镜226和228的转动台透镜(turret lens)配件223。在各种实施方式中,作为转动台透镜配件的替代,可包括固定或可手动互换的变倍透镜或变焦透镜配置等。在各种实施方式中,可互换物镜250可以选自作为可变放大率透镜部分的一部分而被包括的固定放大率物镜的集合(例如,与诸如0.5x、1x、2x或2.5x、5x、7.5x、10x、20x或25x、50x、100x等的放大率相对应的物镜的集合)。
光学配件部分205可通过使用可控马达294沿着通常正交于X和Y轴的Z轴可控地移动,该可控马达294驱动致动器以使光学配件部分205沿Z轴移动,以改变工件20′或校准对象20的图像的焦点。可控马达294经由信号线296连接到输入/输出接口130,如下面将更详细描述的,为了在较小范围内改变图像的焦点,或者作为移动光学配件部分205的替代,可以通过透镜控制接口134经由信号线234′来控制VFL(例如,TAG)透镜270,以周期性地调节VFL透镜270的光功率,并且因此调节光学配件部分205的有效聚焦位置。如下面更详细描述的,透镜控制接口134可以包括根据本文公开的各种原理的VFL透镜控制器180。可以将工件20′或校准对象20放置在工件台210上。可以控制工件台210相对于光学配件部分205移动,以使得可互换物镜250的视场在校准对象20或工件20′上的地点(location)之间移动,和/或在多个工件20′之间移动,等等。
平台光源220、同轴光源230和表面光源240(例如,环形光)中的一个或多个可分别发射光源光222、232和/或242,以照射校准对象20、一个工件20′或多个工件20′。例如,在图像曝光期间,同轴光源230可以沿着包括分束器290(例如,部分反射镜)的路径发射光源光232。光源光232被反射或传输为工件光255,并且用于成像的图像光穿过可互换物镜250、转动台透镜配件223和VFL透镜270,并且被相机系统260聚集。包括(多个)工件20′或校准对象20的图像的工件或校准对象图像曝光被相机系统260捕获,并在信号线262上输出到控制系统部分120。
各种光源(例如,光源220、230、240)可以通过关联的信号线(例如,分别通过总线221、231、241)连接到控制系统部分120的光亮控制接口133。控制系统部分120可以控制转动台透镜配件223沿轴224旋转,以通过信号线或总线223′选择转动台透镜以改变图像放大率。
如图2所示,在各种示例性实施方式中,控制系统部分120包括控制器125、输入/输出接口130、存储器140、工件程序生成器和执行器170以及电源部分190。这些组件中的每一个以及下面描述的附加组件可以通过一个或多个数据/控制总线和/或应用程序编程接口、或通过各种元件之间的直接连接来互连。输入/输出接口130包括成像控制接口131、运动控制接口132、光亮控制接口133和透镜控制接口134。如以下参考图3所示的相似或相同的元件380和383更详细地描述的,根据本文公开的原理,透镜控制接口134可以包括或被连接到VFL透镜控制器180,VFL透镜控制器180包括用于控制与由VFL透镜270提供的周期性聚焦位置调节同步的各种图像曝光的电路和/或例程,并且包括聚焦状态校准子系统电路/例程183。在一些实施方式中,透镜控制接口134和VFL透镜控制器180可以被合并和/或不可区分。
光亮控制接口133可以包括光亮控制元件133a-133n,该光亮控制元件133a-133n在适用的情况下控制机器视觉检查系统100的各种对应光源的例如选择、电源、通/断开关和选通(strobe)脉冲定时。在一些实施方式中,如图3所示的曝光(选通)时间控制器333es可以向光亮控制元件133a-133n中的一个或多个提供选通定时信号,使得它们提供与VFL透镜聚焦位置调节的期望相位时间同步的图像曝光选通定时(例如,根据某些存储的校准数据),这将在下面更详细地描述。在一些实施方式中,曝光(选通)时间控制器333es和光亮控制元件133a-133n中的一个或多个可以被合并和/或不可区分。
存储器140可以包括图像文件存储器部分141、边缘检测存储器部分140ed、可以包括一个或多个零件程序等的工件程序存储器部分142、以及视频工具部分143。视频工具部分143包括视频工具部分143a,为每个对应的视频工具确定GUI、图像处理操作等的其他视频工具部分(例如143n),以及支持定义可在视频工具部分143中包括的各种视频工具中操作的各种感兴趣区域(Region Of Interest,ROI)的自动、半自动和/或手动操作的ROI生成器143roi。在先前合并的某些参考文件中、以及在美国专利编号7,627,162(其全部内容通过引用合并于此)中更详细地描述了这种用于定位边缘特征和执行其他工件特征检查操作的视频工具的操作示例。
视频工具部分143还包括自动聚焦视频工具143af,该自动聚焦视频工具143af确定用于聚焦高度(即,有效聚焦位置(Z高度))测量操作的GUI、图像处理操作等。在各种实施方式中,自动聚焦视频工具143af可附加地包括高速聚焦高度工具,该高速聚焦高度工具可用于使用图3中所示出的硬件以高速来测量聚焦高度,如美国专利编号9,143,674(其全部内容通过引用合并于此)中更详细描述的那样。在各种实施方式中,高速聚焦高度工具可以是可以另外根据用于自动聚焦视频工具的常规方法来操作的自动聚焦视频工具143af的特殊模式,或者自动聚焦视频工具143af的操作可以仅包括高速聚焦高度工具的那些操作。根据已知方法,对于一个或多个图像感兴趣区域的高速自动聚焦和/或聚焦位置确定可以基于对图像进行分析以确定针对各个区域的对应的聚焦特性值(例如,定量对比度度量值和/或定量聚焦度量值)。例如,在美国专利编号8,111,905、7,570,795和7,030,351中公开了这样的方法,其每一个的全部内容通过引用合并于此。
在本公开的上下文中,并且如由本领域的普通技术人员已知的,术语“视频工具”通常是指机器视觉用户可以通过相对简单的用户界面实施的相对复杂的自动或编程操作的集合。例如,视频工具可以包括复杂的、预编程的图像处理操作和计算的集合,该图像处理操作和计算是在特定实例中通过调整管理操作和计算的一些变量或参数来应用和定制的。除了基本的操作和计算之外,视频工具还包括用户界面,其允许用户对于视频工具的特定实例来调整这些参数。应注意,可见的用户界面特征有时也被称为视频工具,基本的操作被隐含地包括在其中。
一个或多个显示设备136(例如,图1的显示器16)和一个或多个输入设备138(例如,图1的操纵杆22、键盘24以及鼠标26)可以被连接到输入/输出接口130。显示设备136和输入设备138可用于显示用户界面,用户界面可以包括各种图形用户界面(GUI)特征,各种图形用户界面(GUI)特征可用来执行检查操作和/或创建和/或修改零件程序,以查看相机系统260捕获的图像和/或直接控制视觉组件部分200。
在各种示例性实施方式中,当用户利用机器视觉检查系统100以创建用于工件20的零件程序时,用户通过在学习模式下操作机器视觉检查系统100来生成零件程序指令,以提供期望的图像获取训练序列。例如,训练序列可以包括将代表性工件的特定工件特征放置在视场(FOV)中、设置光水平、聚焦或自动聚焦、获取图像以及提供应用于图像的检查训练序列(例如,使用该工件特征上的视频工具之一的实例)。学习模式进行操作,以便捕获或记录(多个)序列并将其转换为对应的零件程序指令。当运行零件程序时,这些指令将使机器视觉检查系统再现训练的图像获取,并使检查操作自动地检查与创建零件程序时使用的代表性工件匹配的一个或多个运行模式工件上的特定工件特征(即在对应地点的对应特征)。在一些实施方式中,这样的技术可以用于创建用于分析校准对象和/或(多个)校准对象图像的零件程序,以提供在下文中更详细地描述的功能和操作。
图3是VFL透镜系统300(也称为成像系统300)的示意图,该系统包括VFL透镜370(例如,TAG透镜),并且可以根据本文公开的原理进行校准。VFL透镜系统300可以适用于机器视觉系统或配置为独立系统,并且可以根据本文公开的原理进行操作。应理解,图3中某些编号的组件3XX可以对应于和/或提供与图2中编号相似的组件2XX类似的操作或功能,并且可以类似地理解,除非另有说明。
如将在下面更详细地描述的,成像光路OPATH(在本文中也称为工件成像光路或校准对象成像光路)包括沿着从工件320'或校准对象320传送图像光355到相机360的路径布置的各种光学组件。图像光通常沿其光轴OA的方向传送。在图3所示的实施方式中,所有光轴OA都对准。然而,应理解,该实施方式仅是示例性的而不是限制性的。更一般地,成像光路OPATH可以包括反射镜和/或其他光学元件,并且可以采取根据已知原理可使用相机(例如,相机360)对工件320'或校准对象320进行成像的可操作的任何形式。
在所示的实施方式中,成像光路OPATH包括VFL透镜370(可以包括在4f成像配置中),并且至少部分地用于在工件图像曝光期间对工件320'的表面成像或在校准对象图像曝光期间对校准对象320的表面成像。如将在下面更详细地描述的,根据本文公开的原理,校准对象图像光可以沿着成像光路OPATH传输以穿过VFL透镜370,以形成一个或多个校准对象图像曝光,可以对所述一个或多个校准对象图像曝光进行分析,作为VFL透镜系统300校准过程的一部分。
如图3所示,VFL透镜系统300包括光源330、曝光(选通)时间控制器333es、物镜350、镜筒透镜351、中继透镜352、VFL(TAG)透镜370、中继透镜356、透镜控制器380、相机360、有效聚焦位置(Z高度)校准部分373和工件聚焦信号处理部分375(可选)。在各种实施方式中,各种组件可以通过直接连接或一个或多个数据/控制总线(例如,系统信号和控制总线395)和/或应用程序编程接口等互连。
如将在下面更详细地描述的,在各种实施方式中,VFL透镜控制器380可以控制VFL透镜370的驱动信号以在周期性调节内的各个相位定时处出现的光功率的范围内周期性地调节VFL透镜370的光功率。相机360(例如,包括成像检测器)在图像曝光期间接收沿着成像光路OPATH传输通过VFL透镜370的光,并提供对应的相机图像。物镜350在图像曝光期间输入从工件320'或校准对象320中的至少一个产生的图像光,并且在图像曝光期间将图像光沿着成像光路OPATH传输通过VFL透镜370并且到相机360,以在对应相机图像中提供工件图像或校准对象图像的至少一个。在图像曝光期间物镜350前面的有效聚焦位置EFP对应于在该图像曝光期间VFL透镜370的光功率。曝光时间控制器333es被配置为控制用于相机图像的图像曝光定时。
如将在下面进一步详细描述的,在各种实施方式中,用于校准VFL透镜系统300的方法可以包括在周期性调节的不同相位定时处获取多个相机图像(例如,图像栈)。在各种实施方式中,每个相机图像的获取可以包括将光源光332输出到校准对象320以及接收来自相机360的相机图像,其中校准对象320布置在校准对象成像配置中(例如,在物镜350的视场内)。在各种实施方式中,校准对象图像光355可以沿着成像光路OPATH传输,以在校准对象图像曝光期间穿过VFL透镜370并到达相机360,以在相机图像中提供校准对象图像。在各种实施方式中,在获取多个相机图像之后,可以至少部分地基于分析多个相机图像来确定校准数据,其中,校准数据指示与各个有效聚焦位置EFP相对应的周期性调节的各个相位定时。
关于图3中所示的一般配置,光源330可以是“同轴”或其他光源,其被配置为发射沿着包括分束器390(例如,作为分束器一部分的部分反射镜)的路径并通过物镜350到达工件320'或校准对象320的表面的光源光332(例如,利用选通的或连续的照明),其中,物镜350接收聚焦在靠近工件320'或校准对象320的有效聚焦位置EFP处的图像光355(例如,工件光或校准对象),并将图像光355输出到镜筒透镜351。镜筒透镜351接收图像光355并将其输出到中继透镜352。在其他实施方式中,类似的光源可以以非同轴的方式照射视场;例如,环形光源可以照射视场。
在各种实施方式中,物镜350可以是可互换的物镜,并且镜筒透镜351可以被包括作为转动台透镜配件的一部分(例如,类似于图2的可互换物镜250和转动台透镜配件223)。在图3所示的实施方式中,从物镜350的标称焦平面产生的图像光355被镜筒透镜351聚焦,以在标称中间图像平面IIPnom处形成中间图像。根据已知的显微镜成像原理,当VFL(TAG)透镜370处于不提供透镜效应(没有光功率)的状态时,物镜350的标称焦平面、标称中间图像平面IIPnom和相机360的图像平面形成共轭平面的集合。在各种实施方式中,本文中指代的任何其他透镜可以由单独透镜、复合透镜等形成或与单独透镜、复合透镜等结合操作。
中继透镜352从镜筒透镜351(或更一般地,在各种可替换显微镜配置中,从中间图像平面)接收图像光355,并将其输出到VFL(TAG)透镜370。VFL(TAG)透镜370接收图像光355并将其输出到中继透镜356。中继透镜356接收图像光355并将其输出到相机360。在各种实施方式中,相机360在也被称为图像曝光周期的图像曝光期间(例如,在相机360的积分周期)捕获相机图像,并且可以将对应的图像数据提供给控制系统部分。一些相机图像可以包括在工件图像曝光期间提供的工件图像(例如,工件320'的区域的图像)或在校准对象图像曝光期间提供的校准对象图像(例如,校准对象320的区域的图像)。在一些实施方式中,图像曝光(例如,工件图像曝光或校准对象图像曝光)可以由落在相机360的图像积分周期内的光源330的选通定时来限制或控制。在各种实施方式中,相机360可以具有大于1兆像素的像素阵列(例如,1.3兆像素,具有1280×1024像素阵列,每个像素5.3um)。
在图3的示例中,中继透镜352和356以及VFL(TAG)透镜370被指定为包括在4f光学配置中,而中继透镜352和镜筒透镜351被指定为包括在开普勒望远镜配置中,并且镜筒透镜351和物镜350被指定为包括在显微镜配置中。所有示出的配置将被理解为仅是示例性的,而不是关于本公开的限制。在各种实施方式中,所示的4f光学配置允许将VFL(TAG)透镜370(例如,可以是低数值孔径(Numerical Aperture,NA)设备)放置在物镜350的傅立叶平面处。该配置可以将远心(telecentricity)保持在工件320'或校准对象320处,并且可以使比例变化和图像失真最小化(例如,包括为工件320'或校准对象320的每个有效聚焦位置(Z高度)提供恒定的放大率)。开普勒望远镜配置(例如,包括镜筒透镜351和中继透镜352)可以被包括在显微镜配置和4f光学配置之间,并且可以被配置为在VFL(TAG)透镜370的地点处提供物镜透明孔径的投影的期望尺寸,以最小化图像像差等。
在各种实施方式中,透镜控制器380可以包括驱动信号生成器部分381、定时时钟381'、成像电路/例程382和聚焦状态校准子系统电路/例程383。驱动信号生成器部分381可以进行操作(例如,结合定时时钟381'),以经由信号线380'向高速VFL(TAG)透镜370提供周期性的驱动信号。在各种实施方式中,VFL透镜系统(或成像系统)300可包括控制系统(例如,图2的控制系统部分120),其可配置为与透镜控制器380结合操作以进行协调操作。
在各种实施方式中,透镜控制器380通常可以以与VFL透镜370的期望相位定时同步的方式执行与对工件320'或校准对象320进行成像有关的各种功能,以及控制、监视和调整VFL透镜370的驱动和响应。在各种实施方式中,如本领域中已知的并且如所合并的参考文献中所述,图像电路/例程382执行与VFL透镜370的相位定时同步的光学系统的标准成像操作。如将在下面更详细地描述的,在各种实施方式中,聚焦状态校准子系统电路/例程383可以根据本文公开的原理执行聚焦状态校准。
聚焦状态校准子系统电路/例程383包括参考区域聚焦分析器384和可选的调整电路/例程385。在各种实施方式中,参考区域聚焦分析器384可执行各种功能,诸如输入校准对象图像(例如,包括在相机中)、以及调用某些视频工具(例如,已知类型的自动聚焦视频工具、或者多区域或多点自动聚焦视频工具等)或其他聚焦分析例程以确定用于聚焦状态校准等的校准对象图像中的聚焦状态参考区域(FSRR)的一个或多个聚焦特性值(例如,定量对比度和/或聚焦度量值)。
在各种实施方式中,通过这种过程确定的校准数据可以被系统存储并且用于随后的测量操作。在各种实施方式中,确定的校准数据和/或其他因素可以可选地用作对系统执行调整的过程的一部分,此后,在某些情况下,可以再次确定校准数据。例如,在一种实施方式中,可选的调整电路/例程385可以输入来自参考区域聚焦分析器384的确定的聚焦特性结果/值和/或其他确定的校准数据或输入其他确定的结果/值/数据,并且可以比较确定的结果/值/数据与对应的存储的结果/值/数据,以便确定是否对系统进行某些类型的调整。如以下将更详细描述的,在各种实施方式中,调整可以包括(但不限于)调整用于驱动VFL透镜370的振幅(例如,用于调整其光功率范围和所得的有效聚焦位置范围)、相位定时调整(例如,用于调整用于提供特定有效聚焦位置(Z高度)的相位定时)、VFL透镜温度调整等。在各种实施方式中,如将在下面更详细地描述的,可以通过改变驱动信号生成器部分381、定时时钟381'和/或透镜加热器/冷却器337等的控制信号来实施这种调整。在各种实施方式中,聚焦状态校准子系统电路/例程383可以在某些情况下重复执行操作以迭代地分析和调整系统,直到VFL透镜的光功率范围和/或所得的有效聚焦位置范围处于期望水平(例如,在相对于某些存储的结果/值/数据的期望公差内)。一旦完成这种调整过程,与系统当前状态相对应的校准数据就可以通过系统存储并用于后续测量操作。
在各种情况下,由于不希望的温度变化,可能会导致VFL透镜的操作特性发生漂移。如图3所示,在各种实施方式中,成像系统300可以可选地包括与VFL透镜370相关联的透镜加热器/冷却器337。根据一些实施方式和/或操作条件,透镜加热器/冷却器337可以被配置为将一定量的热能输入到VFL透镜370中和/或执行冷却功能以便于VFL透镜370的加热和/或冷却。另外,在各种实施方式中,VFL透镜监视信号可以由与VFL透镜370相关联的温度传感器336提供,以监视VFL透镜370的操作温度。
如以下将参考图7A至图7C更详细地描述的,相机360可以提供在VFL透镜370的周期性调节的对应相位定时期间曝光的校准对象图像(例如,诸如示例性图像700A-700C)以及所得到的成像系统300的有效聚焦位置以支持聚焦状态校准操作。如下面更详细地解释的,包括在使用特定的已知相位定时来曝光的校准对象图像(例如,诸如示例性图像700A-700C)中的聚焦状态参考区域的集合的成员的聚焦特性值与在对应相位定时期间的VFL透镜370的光功率和所得到的成像系统300的有效聚焦位置有关。
如将在下面更详细地描述的,在各种实施方式中,校准对象320可以被称为聚焦状态(Focus State,FS)校准对象320,并且可以包括平面倾斜图案表面SRF(例如,如图3的底部所示,在带有平面倾斜图案表面SRF的校准对象320的90度旋转视图中,靠近校准对象320)。如以下将更详细描述的,在各种实施方式中,聚焦状态参考区域(FSRR)的集合可以分布在平面倾斜图案表面SRF上(例如,作为对比图案的一部分)。FSRR可以在校准对象图像中具有各个已知的相对参考区域图像地点(RRIL),并且固定在不同的各个相对参考区域聚焦距离或位置处。因此,包括特定FSRR的最佳聚焦图像的相机图像可以定义与该特定FSRR相关联的系统聚焦参考状态。在各种实施方式中,该定义的系统聚焦参考状态可以包括与该特定FSRR相关联的特定VFL光功率和/或特定有效聚焦位置等(例如,如下面进一步描述的)。
在各种实施方式中,当要对校准对象320进行成像时,可以将校准对象320布置在校准对象成像配置中。在各种实施方式中,校准对象成像配置可以包括:位于系统的平台(例如,210)上的校准对象320,或者在其他情况下,位于物镜350的视场中的校准对象320。如将在下面更详细地描述的,校准对象320可以处于这样的位置:在该位置中,所获取的相机图像包括包含校准对象320的倾斜表面的校准对象图像,从而可以为校准对象320的倾斜表面上的FSRR确定聚焦特性值。
在各种实施方式中,当校准对象320处于校准对象成像配置中并且正在被成像时,VFL透镜370接收并输出校准对象图像的图像光355,对此,图像聚焦地点(例如,在相机360处)通过与VFL透镜370的操作相关联的周期性光功率变化而周期性地改变。当校准对象320上的不同的各个FSRR位于(例如,距物镜350的)不同的各个距离处时,它们将因此在VFL透镜370的周期性光功率变化期间聚焦在不同的各个时间处获取的各个图像中。因此,如下面将更详细描述的,校准对象320(例如,具有关于FSRR的相对高度的某些已知特性)可以用作本文所公开的校准过程的一部分。
关于VFL透镜370的一般操作,在如上所述的各种实施方式中,透镜控制器380可以周期性地快速调整或调节其光功率,以实现能够进行250kHz或70kHz或30kHz等(即,VFL透镜的谐振频率)的周期性调节的高速VFL透镜。如图3所示,通过使用信号的周期性调节来驱动VFL透镜370,可以在范围Refp(例如,自动聚焦搜索范围)内快速移动成像系统300的有效聚焦位置EFP(即,物镜350前面的聚焦位置),范围Refp由与组合了物镜350的VFL透镜370的最大光功率相对应的有效聚焦位置EFP1(或EFPmax)以及与组合了物镜350的VFL透镜370的最大负光功率相对应的有效聚焦位置EFP2(或EFPmin)来限定。在各种实施方式中,如将在下面更详细描述的,有效聚焦位置EFP1和EFP2可大致对应于90度和270度的相位定时。为了讨论的目的,范围Refp的中间可被指定为EFPnom,并且可对应于与物镜350的标称光功率结合的VFL透镜370的零光功率。根据该描述,在一些实施方式中,EFPnom可大致对应于物镜350的标称焦距(例如,其可以对应于物镜350的工作距离WD)。
在一个实施方式中,可选的聚焦信号处理部分375可以从相机360输入数据,并且可以提供用于确定成像的表面区域(例如,工件320'或校准对象320的成像的表面区域)何时处于有效聚焦位置的数据或信号。例如,可以使用已知的“最大对比度”或“最佳聚焦图像”分析来分析由相机360在不同有效聚焦位置(Z高度)处获取的一组图像(诸如图像栈的一部分),以确定工件320'或校准对象320的成像表面区域何时处于对应的有效聚焦位置(Z高度)。然而,更一般地,可以使用任何其他合适的已知图像聚焦检测配置。在任何情况下,工件聚焦信号处理部分375等都可以输入在VFL透镜370(例如,TAG透镜)的有效聚焦位置的周期性调节期间(多个有效聚焦位置的扫描)获取的一个或多个图像,并确定目标特征(例如,工件或校准对象的目标特征)被最佳聚焦的图像和/或图像定时。在各种实施方式中,聚焦信号处理部分375和参考区域聚焦分析器384的部分或全部可以被合并和/或不可区分。可替换地,在某些实施方式中,聚焦信号处理部分375可以主要用于处理工件图像,而参考区域聚焦分析器384可以主要用于处理校准对象图像。
在一些实施方式中,聚焦信号处理部分375可以确定与最佳聚焦(例如,工件特征或校准对象特征的最佳聚焦)相对应的相位定时,并且将该“最佳聚焦”相位定时值输出到有效聚焦位置校准部分373(例如,其可以存储通过诸如本文公开的那些校准过程而确定的校准数据)。有效聚焦位置校准部分373可提供有效聚焦位置(Z高度)校准数据,该有效聚焦位置(Z高度)校准数据将各个有效聚焦位置(Z高度)与VFL透镜370的标准成像共振频率的周期内的各个“最佳聚焦”相位定时相关联,其中在某些情况下,校准数据通常可以对应于根据标准成像驱动控制配置或参考状态来操作VFL透镜370。
一般而言,有效聚焦位置校准部分373包括记录的有效聚焦位置(Z高度)校准数据(例如,如通过诸如本文公开的那些校准过程所确定)。因此,其在图3中作为独立元件的表示旨在仅是示意性表示,而不是限制性的。在各种实施方式中,关联的记录的有效聚焦位置(Z高度)校准数据可以与透镜控制器380、工件聚焦信号处理部分375或连接到系统信号和控制总线395的主计算机系统等合并和/或不可区分。
在各种实施方式中,曝光(选通)时间控制器333es控制成像系统300的图像曝光时间(例如,相对于周期性调节的有效聚焦位置的相位定时)。更具体地,在一些实施方式中,在图像曝光期间,曝光(选通)时间控制器333es(例如,使用在有效聚焦位置校准部分373中可用的有效聚焦位置(Z高度)校准数据)可以控制光源330在各个受控时间选通。例如,曝光(选通)时间控制器333es可以控制选通光源在VFL透镜370的标准成像共振频率的周期内的各个相位定时处选通,从而获取具有VFL透镜370的扫描(周期性调节)范围内的特定有效聚焦位置的图像。在其他实施方式中,曝光时间控制器333es可以控制相机360的快速电子相机快门在各个受控时间和/或其相关联的有效聚焦位置处获取图像。在一些实施方式中,曝光(选通)时间控制器333es可以与相机360合并或不可区分。应理解,在各种实施方式中,曝光时间控制器333es以及上面概述的其他特征和元件的操作可以被实施为管理工件图像获取、校准对象图像获取或上述两者。如将在下面关于图7A-图7C更详细地描述的,在某些特定示例实施方式中,校准对象图像曝光可以因此被控制来对应于与校准对象的结构有关的指定相位定时(例如,提供其中校准对象320的FSRR处于不同的聚焦级别的图像的特定相位定时),这可以用于确定用于VFL透镜系统的校准数据。
图4A和图4B是示出根据本文公开的原理可使用的聚焦状态(FS)校准对象420的第一示例性实施方式的图。如图4A所示,校准对象420包括平面倾斜图案表面SRF,支撑主体BDY和附接构件ATC(例如,用于将平面倾斜图案表面SRF附接至主体BDY)。如将在下面关于图6A和图6B更详细地描述的,在各种实施方式中,FSRR的集合可以分布在平面倾斜图案表面SRF上(例如,作为对比图案的一部分)。例如,在各种实施方式中,平面倾斜图案表面SRF可以包括光栅,针对该光栅,对比图案可以包括光栅线(例如,如图4A的示例所示)。
如图4B所示,校准对象420还包括位于平面倾斜图案表面SRF下方的反射表面RSF(例如,反射镜等)。在各种实施方式中,当相对于VFL透镜系统在校准对象成像配置中放置/布置校准对象420时,反射表面RSF可以标称地正交于物镜和/或成像光路的光轴。在各种实施方式中,当来自VFL透镜系统的光源光(例如,光源光332)穿过平面倾斜图案表面SRF(例如,光栅)时,该光可以被反射表面RSF反射回去,以作为沿着VFL透镜系统的成像光路传输的校准对象图像光的至少一部分穿回通过平面倾斜图案表面SRF。在各种实施方式中,对于具有带有一定的相对较高的倾斜角(例如,大于10度或大于15度等的倾斜角)的平面倾斜图案表面的校准对象而言,这样的特征可能是特别期望的。更具体地,在某些实施方式中,具有一定倾斜角的平面倾斜图案表面可能不会沿着VFL透镜系统的成像光路将所期望量的光反射回去,对此,被反射表面RSF反射回去、穿回通过平面倾斜图案表面的光可以增加沿着成像光路引导的图像光(例如,以便改善校准对象420的成像等)。
图5是示出用于校准对象(诸如图4A和图4B的校准对象)的不同的倾斜角(即,平面倾斜图案表面的倾斜角)的图。在各种实施方式中,可以将这些不同的校准对象作为用于与VFL透镜系统的各种放大率的可互换物镜的集合(例如,放大率范围从1x到50x的物镜的示例集合)一起使用的校准对象的集合的一部分来提供。如将在下面更详细地描述的,该校准对象的集合中的每个校准对象具有带有不同倾斜量的平面倾斜图案表面,并且该校准对象的集合中的每个校准对象对应于具有不同放大率的不同物镜。在各种实施方式中,当执行VFL透镜系统的校准时,可以利用来自与校准期间使用的物镜相对应的集合中的校准对象。
在各种实施方式中,可以将每个校准对象的倾斜角设计成能够对与具有指定放大率的对应物镜一起使用的VFL范围(例如,用+1屈光度)进行全扫描。更具体地,利用具有较大放大率的物镜使得分辨率提高,但是相应地,总体Z扫描范围较小,对此,对应的校准对象的倾斜角可能会相对应地较小(例如,如由倾斜角所示以及图5B的表中所示的其他值)。作为由图5B的表指示的一些特定示例值,对于带有具有1x的放大率、6.784mm的X视场(FOV)、5.427mm的Y FOV以及20.000mm的扫描范围的物镜的配置,可以将71.3度的倾斜角用于对应的校准对象。在该范围的另一端,对于带有具有50x的放大率、0.1357mm的X FOV、0.1085mm的Y FOV、以及0.008mm的扫描范围的物镜的配置,可以将3.4度的倾斜角用于对应的校准对象。
在各种实施方式中,不是提供单独的校准对象与每个物镜一起使用,而是可以提供单个校准对象以与两个或更多个指定的物镜一起使用。在一种这样的实施方式中,平面倾斜图案表面可以具有可调整的倾斜角(例如,可以在与不同的物镜一起使用的不同角度之间进行调节,诸如图5B所示的那些)。在各种实施方式中,与不同的物镜一起使用的不同的校准对象的集合可以具有不同的尺寸和/或可以具有带有不同间距的对比图案和/或对应聚焦状态参考区域等。例如,与具有6.784mm乘以5.427mm的FOV的1x物镜一起使用的校准对象相比,与具有0.1357mm乘以0.1085mm的FOV的50x物镜一起使用的校准对象可以具有更小的平面倾斜图案表面和/或具有对比图案和/或对应FSRR的更细致的间距(例如,带有更细致的光栅线间距的更小的光栅)。
图6A和图6B包括示出了根据本文公开的原理可使用的校准对象620的第二示例性实施方式的两个相关图。在图6A的平面图中示出了校准对象620的表面SRF。图6B是侧视图,其中根据本文公开的原理,校准对象620的表面SRF被示为以倾斜角TA倾斜。如图6A所示,校准对象620的表面SRF是平面“图案表面”,其包括沿该表面的对比图案CP,并且可以具有指定数量和/或配置的图案元素PE(例如,图案元素PE-0至PE-25)。在一种实施方式中,平面图案表面SRF可以包括光栅,对此,对比图案CP可以是光栅元件的对比图案,并且对此,图案元素PE-0至PE-25可以对应于分布在光栅上的光栅线。在各种实施方式中,可以期望对比图案包括以高空间频率布置的高对比图案元素PE。如图6A和图6B所示,对比图案CP的各个FSRR沿着表面SRF布置(例如,参见代表性区域FSRR-1、FSRR-13和FSRR-25),使得它们相对于物镜350处于不同的有效聚焦位置,其中平面图案表面SRF以倾斜角TA倾斜。
如通过设计和/或校准已知的,本文中所指的FSRR可以被认为是在校准对象图像中的参考区域图像地点(RRIL)处的校准对象620上的任何区域。在其中平面图案表面包括光栅并且对此图案元素PE-0至PE-25对应于光栅线的图6A和图6B的特定示例中,FSRR可以在一种实施方式中对应于光栅线的边缘(即,底部边缘)。在这样的实施方式中,FSRR-1到FSRR-25可以对应于光栅线PE-1到PE-25的底部边缘(例如,对此,FSRR-1对应于光栅线PE-1的底部边缘,FSRR-13对应于光栅线PE-13的底部边缘,FSRR-25对应于光栅线PE-25的底部边缘)。尽管在此特定示例中将FSRR指定为与光栅线的底部边缘相对应,但应理解,在各种实施方式中,FSRR可以对应于对比图案元素、特征等的任何类型、维度等(例如,各自位于校准对象图像中不同的可确定RRIL处,等等)。
在各种实施方式中,FSRR具有相对于平面倾斜图案表面SRF的已知几何关系。例如,在平面倾斜图案表面包括光栅的实施方式中,已知几何关系可以对应于相对于平面倾斜图案表面SRF的平面具有已知对准的光栅,和/或每个FSRR处于平面倾斜图案表面SRF上的已知恒定高度处和/或FSRR相对于平面倾斜图案表面SRF的其他已知几何关系。在各种实施方式中,FSRR还具有相对于彼此的已知区域关系。例如,对于光栅,已知区域关系可以对应于具有已知光栅间距PI的光栅,和/或相对于彼此具有已知间隔SP的FSRR,和/或FSRR相对于彼此的其他已知区域关系。当各个FSRR相对于物镜350布置在校准对象成像配置中时,各个FSRR相对于物镜350固定在不同的各个参考区域聚焦距离处或有效聚焦位置EFP处。
如图6B所示,在校准对象620的表面SRF处于倾斜角TA的情况下,FSRR-1、FSRR-13和FSRR-25相对于物镜350分别布置在不同的有效聚焦位置EFP-1、EFP-13和EFP-25处。应理解,其他各个FSRR-i在校准对象聚焦位置范围Rco内具有其他各个有效聚焦位置EFP-i。本文公开的任何校准对象可以将稍微漫射或散射的表面与任何成像的图案表面相结合,以允许更健壮(robust)的成像、减少的对准要求以及减少的不想要的反射。校准对象(诸如本文所公开的校准对象)可以用于校准诸如参照图1至图3描述的那些VFL透镜系统的示例性VFL透镜系统,并且可以被成像到相机360(例如1280x1024像素相机)上以提供根据本文公开的原理可用的校准对象图像。
图7A、图7B和图7C是表示三个相机图像700A、700B和700C的图,该三个相机图像700A、700B和700C包括处于三种不同聚焦状态的图6A和图6B的校准对象620的图像。如以下将更详细描述的,作为校准过程的一部分,可以(例如,以等间隔的相位定时或以其他方式在VFL透镜370的光功率调节的整个范围内)获取包括多个图像(例如,在各种实施方式中,其数量可能是10s或100s内的图像等)的图像栈。在各种实施方式中,图像700A、700B和700C可以表示来自这种图像栈的三个示例图像(例如,图像700B是在范围的中间附近拍摄的,而图像700A和700C是在范围的相对的两端附近拍摄的)。
特别地,相机图像700A包括在FSRR-1被最佳聚焦的有效聚焦位置EFP-1附近聚焦的校准对象图像ROI-700A。相机图像700B包括在FSRR-13被最佳聚焦的有效聚焦位置EFP-13附近聚焦的校准对象图像ROI-700B,并且相机图像700C包括在FSRR-25被最佳聚焦的有效聚焦位置EFP-25附近聚焦的校准对象图像ROI-700C。有效聚焦位置EFP-1、EFP-13、EFP-25中的每一个在图6A和图6B中示出。图7A、图7B和图7C中通过不同的交叉影线图案示意性地表示了不同程度的图像聚焦或模糊。如图所示,代表性的FSRR-1具有参考区域图像地点RRIL-1,FSRR-13具有参考区域图像地点RRIL-13,而FSRR-25具有参考区域图像地点RRIL-25。
如前所述,图像聚焦地点或位置(例如,在相机360处)通过与VFL透镜370的操作相关联的周期性光功率变化而周期性地改变。应理解,在校准对象620附近的有效聚焦位置EFP因此也由于与VFL透镜370的操作相关联的周期性光功率变化而周期性地改变或被扫描。当不同的各个FSRR位于不同的各个有效聚焦位置EFP时,它们将因此在与VFL透镜370的周期性光功率变化的相位或周期相关的不同的各个时间(相位时间)被最佳聚焦。
因此,通过在被指定为Ph-1的相位定时附近的图像曝光(例如,选通定时)来获取校准对象图像ROI-700A(根据本文中使用的约定),该相位定时Ph-1对应于RRIL-1处的FSRR-1被最佳聚焦在有效聚焦位置EFP-1处的定时。在此校准对象图像ROI-700A中,由于校准对象620的表面SRF的倾斜角TA(即,如图6A和图6B所示),FSRR的聚焦示出为根据距FSRR-1和RRIL-1的距离而大致逐渐降低,并且一般地在RRIL-25处的FSRR-25附近最差,RRIL-25靠近校准对象620的远端并且因此离大致图像聚焦位置相对较远。根据已知方法,可以基于确定图像中任一FSRR的聚焦特性值(例如,定量对比度和/或聚焦度量值),来确定该特定FSRR的聚焦或模糊程度。可以通过类似于先前的描述来理解图7B和图7C。
简言之,通过在相位定时Ph-13附近的图像曝光来获取校准对象图像ROI-700B,该相位定时Ph-13对应于RRIL-13处的FSRR-13被最佳聚焦在有效聚焦位置EFP-13处的定时。在该特定示例中,EFP-13(图6A和图6B所示)是标称聚焦位置EFPnom附近的聚焦位置的示例,该标称聚焦位置被指定为其中VFL光功率为零的标称聚焦位置。因此,EFPnom可以标称地位于聚焦范围Rco的中间,并且可以对应于物镜350的标称焦距Fref(例如,可以对应于距物镜350工作距离WD)。由于EFP-13沿着校准对象620和聚焦位置范围Rro居中,因此FSRR的聚焦被示出为在远离FSRR-13和RRIL-13的每个方向逐渐降低,并且在校准对象620的末端附近最差。简言之,通过在相位定时Ph-25附近的图像曝光来获取校准对象图像ROI-700C,该相位定时Ph-25对应于其中RRIL-25处的FSRR-25被最佳聚焦在有效聚焦位置EFP-25处的定时。FSRR的聚焦被示出为在远离FSRR-25和RRIL-25的方向大致逐渐降低,并且在RRIL-1处的FSRR-1附近最差,RRIL-1靠近校准对象620的远端,并且因此相对地远离大致图像聚焦位置。
如上所述,当不同的各个FSRR位于不同的各个有效聚焦位置EFP处时,它们将因此在与VFL透镜370的周期性光功率变化的相位或周期相关的不同的各个时间处(即,不同的各个相位时间)被最佳聚焦。如以下将更详细描述的,当获取图像栈(例如,以等间隔的相位定时或以其他方式在VFL透镜370的光功率调节的整个范围内获取图像的集合)时,对于出现在每个图像中的给定FSRR,它将通常对于每个图像具有不同的聚焦特性值(例如,不同的定量对比度和/或聚焦度量值),其中在更接近于当FSRR被最佳聚焦时的定时所获取的图像中具有更高的聚焦特性值。虽然这种图像栈可以不包括FSRR的确切最佳聚焦图像(例如,这种最佳聚焦图像的定时可以落在该栈的两个图像的定时之间),但这种最佳聚焦图像的定时可以通过根据已知技术(例如,利用离焦点操作和/或利用对聚焦曲线的分析等)分析图像栈的图像来确定。如前所述,VFL透镜系统300可以包括参考区域聚焦分析器384和/或聚焦信号处理部分375,其可以被配置为确定聚焦特性值(例如,定量对比度和/或聚焦度量值)和/或可以用作这种用于确定FSRR将被最佳聚焦的相位定时的过程的一部分的图像栈中的图像中的FSRR的其他值。如下面将参照图11-图15更详细地描述的,在各种实施方式中,可以结合每个FSRR的已知有效聚焦位置(Z高度)来利用针对每个FSRR的这种相位定时的确定,以便确定将相位定时与系统的有效聚焦位置(Z高度)相关联的对应校准数据。
如上所述,在各种实施方式中,图像700A、700B和700C可以表示来自这种图像栈的三个示例图像(例如,图像700B在范围的中间附近拍摄,图像700A和700C在范围的相对的两端附近拍摄)。在各种实施方式中,当作为校准过程的一部分要获取这种图像栈时,可以初始地确定某些校准和/或其他变量。例如,VFL透镜控制器可以提供某些输入或其他变量的当前值的指示,诸如VFL透镜的共振频率Fres、VFL透镜/控制器温度Tcntrlr、电功率Pelec的水平等。在各种情况下,某些移动操纵器控制程序(MOMAC)变量可以从此类变量中获取或以其他方式确定,诸如相位延迟Pd、电功率Pelec的水平、VFL透镜的共振频率Fres、相差度PhaseDiffDegree等等。一旦接收到或以其他方式确定了此类变量的当前值,就可以进行时间增量的确定(或其他范围划分),在该时间增量中将针对校准对象的图像的图像栈获得图像。
在一个特定示例实施方式中,可以将整个有效聚焦位置范围(Z范围)(即,从上到下=180度)划分为1/2度的增量(即,在该特定示例实施方式中产生360个步长)。每个步长可以用时间(例如,秒)表示,使得谐振2x的频率Fres产生扫描180度所需的总时间。因此,每个步骤的时间表示以秒为单位(例如,标称地对应于图像栈中每个图像的获取时间)的相位延迟(即,VFL透镜调节的相位延迟)。还可以指定(例如,50纳秒等)一段持续时间的光脉冲(例如,在某些实施方式中,对于每个图像的获取而言可以是恒定的),并且可以根据如上所述的每个图像的定时来触发一段持续时间的光脉冲。在各种实施方式中,某些值(例如,每个步骤的时间、光脉冲的持续时间等)可以被记录在用于执行校准过程的接下来的步骤的对应查找表(Look-Up Table,LUT)中。
在各种实施方式中,上面提到的值可以用于获得校准对象的图像的图像栈(例如,包括指定数量的图像,诸如根据上述特定示例值的大约360个图像)。除了图像栈之外,还可以获得(例如,利用用于操作VFL透镜的已知技术,以及在某些情况下,利用由上述示例值和/或其他相位定时等指示的光脉冲的一些或全部相位定时)扩展景深图像(例如,如将在下面相对于图8更详细地描述的)。此外,可以获得关闭VFL图像(例如,如下面将参照图10更详细地描述的),其可以在VFL透镜处于其中VFL透镜的光功率不被调节并且VFL透镜不提供任何透镜效应(例如,可以将透镜断电等)的状态时获得,对此,关闭VFL相机图像对应于有效聚焦位置,该有效聚焦位置至少部分通过物镜确定,但不通过VFL透镜的光功率的调节或透镜效应来确定。如将在下面更详细地描述的,在各种实施方式中,这些图像中的每一个(即,图像栈的图像、EDOF图像和/或关闭VFL图像)可以用于校准过程的各个部分。
图8是表示图6A和图6B的校准对象620的扩展景深(EDOF)图像800的图。在这种EDOF图像中,景深大于成像系统在单个聚焦位置处提供的景深。已知用于获取具有扩展景深的图像的各种方法(例如,利用VFL透镜),例如,如在美国专利编号10,101,572中所描述的,其全部内容通过引用合并于此。如将在下面更详细地描述的,在各种实施方式中,用于校准VFL透镜系统的方法可以包括利用EDOF图像来确定每个FSRR的大致位置(例如,对此,可以将其大致位置用于各种目的,诸如定位图像中的感兴趣区域以确定图像中FSRR的聚焦特性值等)。
在各种实施方式中,出于某些目的,EDOF图像(诸如图8的EDOF图像)可以包括具有可接受的聚焦/对比度的量的FSRR的图像,但是对此,对于对比图案上的所有FSRR,在某些公差内聚焦/对比度可能不是精确或一致的(例如,这可能是由于用于创建/获得EDOF图像的处理方法所致)。FSRR的潜在变化的聚焦/对比度在图8中通过图案元素之间变化的交叉阴影线图案进行了图示。如将在下面更详细地描述的,由于关于EDOF图像的这些因素,当期望对某些操作进行更精确的分析(例如,以确定FSRR的精确地点等)时,来自图像栈的图像可以可替换地用于这种处理。在各种实施方式中,在EDOF图像800中,由于相对于物镜350的倾斜角TA,FSRR被示出为相对于彼此具有合成间距PI'和/或间隔SP'(例如,与在图6A和图6B中利用从非倾斜方位观察的平面表面图案SRF指示的间距PI和间隔SP相比)。应理解,合成间距PI'和间隔SP'可以类似地对应于图7A-图7C的图像中的那些。如将在下面关于图9、图10和图11更详细地描述的,在各种实施方式中,作为各种校准过程的一部分,EDOF图像(诸如图8的EDOF图像)可以用于各种目的。
图9是示出可以用于补偿校准对象的旋转(例如,相对于VFL透镜系统等)的对图像900的旋转角RA的确定的图。如将在下面更详细地描述的,在各种实施方式中,用于校准VFL透镜系统的方法可以包括执行对准过程,该对准过程包括利用对准图像(例如,图像900)以及FSRR相对于彼此的已知区域关系(例如,根据间隔或间距)或FSRR与平面倾斜图案表面的已知几何关系(例如,根据已知对准)中的至少一个来进行校准对象相对于VFL透镜系统的对准的确定或补偿中的至少一个。在各种实施方式中,对准图像可以是图像栈的相机图像、EDOF图像(例如,诸如图8的图像)或关闭VFL相机图像(例如,诸如图10的图像)中的至少一个。
在各种实施方式中,利用对准图像可以包括分析对准图像以确定合成频率,该合成频率可以指示校准对象相对于VFL透镜系统的对准。在各种实施方式中,可以通过处理对准图像的2D傅里叶变换来确定合成频率。在各种实施方式中,对准过程可以包括确定与校准对象相对于VFL透镜系统的旋转角相对应的校准对象的对准(例如,如将在下面更详细描述的图9的旋转角RA),以及补偿校准对象相对于VFL透镜系统的对准(例如,通过在进一步处理校准对象的至少一个图像之前将该至少一个图像旋转所述旋转角)。
关于图9的示例,如上所述,在各种实施方式中,用于确定旋转角的图像900可以是EDOF图像(例如,诸如图8的EDOF图像),或者可替换地,可以是另一类型的校准对象的图像(例如,来自图像栈的图像或关闭VFL图像等)。在图9所示的示例中,图像900是图8的EDOF图像的旋转版本(即,对此,为了简化图示,图8中的图案元素之间的交叉阴影线图案未包括在图9中)。
在各种实施方式中,当用户或系统定位校准对象时(例如,在物镜350和成像系统的视场内的平台上),校准对象的方位可能没有相对于期望的垂直或水平方位(例如,相对于VFL透镜系统)精确地对准。更具体地,在各种实施方式中,校准对象可以具有以相对于VFL透镜系统俯仰、偏航或翻滚中的一个或多个为形式的旋转度(例如,由于用户的放置/定位/方位,放置校准对象的平台或表面的凹凸表面等)。在图9的示例中,校准对象已被定向为使得对比图案具有相对于垂直方位的旋转度。
如图9所示,校准对象位于具有对应的局部的Xco、Yco和Zco校准对象坐标轴的图像平面中(即,对此,Xco和Yco轴被标记为相对于VFL透镜系统的X和Y轴旋转)。如图9所示,确定指示校准对象的旋转量的校准对象旋转角RA(例如,对应于局部Xco轴方向和X轴方向之间的角度)。在各种实施方式中,可以期望根据EDOF图像来确定校准对象的方位(例如,对此,可以分析大量图案元素以确定指示整个校准对象的方位的平均方位,这与由于采样点较少等原因而可能导致确定的准确度降低的、仅分析一个或几个图案元素的做法相反)。
在各种实施方式中,用于补偿校准对象的旋转的过程可以包括分析EDOF图像900以确定沿X轴方向的对比图案(例如,包括FSRR/光栅线等)的合成频率(例如,与沿Xco轴方向的频率相反)。在一种实施方式中,这种分析可以包括处理2D傅立叶变换或快速傅立叶变换(FFT)以确定EDOF图像900的合成频率。在各种实施方式中,EDOF图像900的合成频率(例如,与具有水平对准的对比图案的已知合成频率相比(诸如图8所示),并且与对应于间距PI'和间隔SP'的已知合成频率相比)可以指示校准对象的旋转角RA。来自LinEDOF图像的测量的合成频率(傅立叶变换的基础)用于补偿在相关计算和校准中使用的倾斜角TA(例如,确定实际倾斜角TA与校准对象的已知或设计倾斜角之间的关系)。所测量的高阶傅里叶变换的合成频率可用于确定旋转角RA并补偿其在相关计算和校准中的影响。
在各种实施方式中,可以通过在进一步处理之前将对应图像旋转一校准对象旋转角RA来对该旋转角进行补偿。更具体地,在各种实施方式中,在执行任何进一步的图像处理之前(例如,如下面将更详细描述的),可以首先旋转待处理/分析的每个图像(例如,利用已知的用于旋转的图像处理和/或软件技术)以消除对于对比图案的间距(例如,FSRR/光栅的间距)的测量的任何偏差。在各种实施方式中,作为替代或除了旋转图像之外,还可以针对对应的图像数据利用各种已知的数学和/或其他处理技术(例如,以实现与旋转图像或其他方式类似的效果)以用于补偿旋转。
图10是表示关闭VFL相机图像1000的图,该图像1000包括图6A和图6B的校准对象的图像,并且其是在VFL透镜处于VFL透镜的光功率不被调节且VFL透镜不提供透镜效应的状态下(例如,可以对透镜断电等)拍摄的图像。如将在下面更详细地描述的,作为用于校准VFL透镜系统的方法的一部分,在各种实施方式中,可以分析关闭VFL相机图像以确定代表值,该代表值指代图像栈的图像的对应值并且对应于距物镜350的工作距离WD。在各种实施方式中,可以确定图像栈的图像的两个对应值之间的插值,该插值与关闭VFL相机图像的代表值匹配(例如,被指定为对应于工作距离WD)。在各种实施方式中,代表值可以是至少部分通过对关闭VFL相机图像执行线扫描而确定的像素位置。
关于图10的示例,如上所述,可以与物镜的工作距离WD相关地利用关闭VFL图像1000。在各种实施方式中,为了确定物镜的工作距离WD,可以初始地执行物镜的校准(例如,在装运前在工厂进行等)。在各种实施方式中,作为物镜的初始校准的一部分,可以校准离焦点(Points From Focus,PFF)焦平面校正(Focal Plane Correction,FPC)(即,与像场曲率(curvature)有关)。在随后的时间(例如,当使用物镜时),可以利用离焦点或其他构件(例如,包括内径计量器等)来精确地测量物镜的工作距离WD(例如,对应于物镜鼻状平面到参考平面或位置(诸如焦平面校正(FPC)参考平面或位置等)的距离)。在各种实施方式中,其他测量工具/设备/对象(计量器模块等)也可以用于或可替换地用于精确地测量物镜的工作距离WD。如将在下面更详细地描述的,在各种实施方式中,工作距离WD也可以根据机器坐标系(Machine-Coordinate System,MCS)来指代,这对于VFL系统的校准可能是有用的。更具体地,如上所述,对于物镜的工厂PFF校准,可以通过物理地或以其他方式测量工作距离WD来建立对物镜安装凸缘(例如,齐焦距离)的第一MCS参考。
在各种实施方式中,关闭VFL图像1000可以标称地对应于有效聚焦位置,该有效聚焦位置对应于工作距离WD并且因此对应于MCS参考位置。应理解,这样的有效聚焦位置至少部分地由物镜确定,而不是由光功率的调节或VFL透镜的透镜效应确定。如以下将更详细描述的,对应的外部参考位置可用作校准过程的一部分,并且可以指示从物镜350到校准对象620上的确定位置的精确外部参考距离等(例如,否则可能未知或不可用),并且可以用作相对于图像栈的图像和/或所确定的对应数据的锚定已知参考位置等。
例如,对于透镜系统的先前校准过程(例如,在平台的给定位置或物镜与对象或表面之间的其他距离被测量/利用以供校准的情况下),通常可能存在可以为测量/校准位置所参考的已知的/可物理测量的距离(例如,物镜与对象/表面之间的物理上已知/可测量距离被利用以供校准)。相反,在各种实施方式中,对于针对某些类型的VFL透镜系统(例如,包括使用流体介质中的波产生透镜效应的TAG透镜)执行的校准,可能不存在距当前/有效透镜位置的对应的物理上已知/可测量的距离(例如,相对于通过流体介质中的波产生的VFL透镜的调节光功率)。例如,对于在VFL系统的校准过程期间获取的图像/数据/测量的给定集合,可能不确定所获取的图像/数据/测量的范围内的哪个位置/值可以精确地对应于特定的外部参考位置/地点(例如,在一种情况下,可能不确定哪个位置/值对应于该范围内的零光功率位置)。
作为特定示例,对于在VFL透镜系统的这种校准过程期间获取的图像栈,该图像栈可以不包括与期望的外部参考位置(例如,在已知的MCS位置)确切对应的图像,并且图像栈范围内的对应相对位置可能未知。根据本文公开的原理,关闭VFL图像可以被用来有效地提供这种图像在图像栈范围内的相对地点/位置的指示。更具体地,在各种实施方式中,通过获取和分析对应于确切的外部参考位置(例如,在已知的MCS位置处)的关闭VFL图像,并且通过分析图像栈的图像以确定关闭VFL图像落入图像栈范围内的哪一处(例如,在与图像栈的图像相对应的值的范围内的哪一处)(例如,与关闭VFL图像对应的值落入所述值的范围内的哪一处),可以建立该范围内的精确相对位置/值,这提供了锚定/已知参考位置/地点/值(例如,图像栈的范围和/或图像/对应值可以指代的锚定/已知参考位置/地点/值)。如本文所述,在各种实施方式中,关闭VFL图像可以对应于在周期性调节期间VFL透镜的零光功率位置/值,对此,可以知道/物理测量精确的参考距离(例如,对应于物镜350的工作距离WD)。因此,在各种实施方式中,通过在范围内确定关闭VFL图像(例如,或相关联的值)所对应的精确的相对位置/地点/值,范围和/或相关联的值/数据点可以被锚定到/指代对应的已知外部参考位置/地点/坐标/距离(例如,在已知的MCS位置/地点/距离处)。
如上所述,在各种实施方式中,关闭VFL图像1000可以用于确定与关闭VFL相机图像相似的图像栈的一个或多个相机图像,从而确定关闭VFL图像1000对应于图像栈的范围内哪一处。更具体地,图像栈可以包括在有效聚焦位置处与关闭VFL图像1000相似的图像(例如,在稍微高于和低于工作距离WD的有效聚焦位置处),并且关闭VFL图像1000可以在某些情况下被认为是将要在对应的相位定时处获得的图像栈的图像的“孪生”图像,并且具有等于工作距离WD的有效聚焦位置。通过在图像栈值的范围内确定与MCS参考位置相对应的这种位置,图像栈中剩余的位置(例如,图像的剩余位置等)和/或由此确定的数据也可以由此指代MCS。在各种实施方式中,这样的配置相对于校准VFL透镜系统可以具有各种优点。例如,某些现有系统没有另外具有这种MCS参考位置,并且/或者对此这种外部参考位置不是很明显(例如,对于用于外部验证校准稳定性等)。
一般来说,校准对象620的关闭VFL图像1000可以标称地与对应于当VFL透镜的调节光功率为零值(例如,在光功率的正负值之间进行调节的期间越过零值)时的相位定时的校准对象620的图像相同(例如,标称上为孪生)。如上所述,对应于关闭VFL图像1000的有效聚焦位置可以标称地对应于工作距离WD,其可以以高准确度被知道和/或确定(例如,利用外部物理校准和/或测量过程),并且可以用作相对于图像栈的图像和/或对应的确定的数据的锚定参考位置等。
在一个特定示例实施方式中,一种用于确定指示与关闭VFL图像1000相对应的图像栈内的位置的值的过程可以包括:在图像1000上(例如,在图像1000的中心上)执行扫描。例如,在一种实施方式中,可以利用一种类型的视频工具(例如,边缘检测工具等)来扫描图像(例如,位于图像中心的扫描线跨过对比图案CP的图案元素PE),以便确定图像上的聚焦特性值(即,对应于光栅线边缘或对比图案的其他元素上的聚焦特性值,等等)(例如,定量对比度和/或聚焦度量值)。如以上关于图9所指出的,在这样的处理之前,可以针对关闭VFL图像1000的旋转执行任何所需的补偿(例如,通过根据以上关于图9所描述的旋转角来旋转图像,等等)。
一旦根据图像上的扫描确定了聚焦特性值或其他数据,就确定与图像相对应的位置和/或值。在一个特定示例实施方式中,这可以包括:分析聚焦特性值或其他数据(例如,相对于最小/最大聚焦特性值峰值执行包络拟合,这使得能够测量对子像素准确度的峰值突发调节等),以便确定对应位置(例如,其可以对应于质心或如通过在对比图案上的调节聚焦特性值所表示的聚焦特性值数据的其他表示)。如上所述,通过这样的过程确定的位置可以标称地对应于物镜工作距离WD(例如,具有固定的偏移)。
在各种实施方式中,图像1000的位置可以相对于检测器(例如,相机360的检测器)的像素进行表示(例如,按照指数数据等)。作为一个特定的示例值,指数数据值可以对应于636.50像素(例如,相机的检测器在相关轴上的范围约为1280像素)。在各种实施方式中,可以将与图像1000相对应的所确定的位置(例如,指数数据值636.50)与根据对图像栈中的图像的分析而确定的其他位置进行比较(例如,按照素位置)。与图像1000的确定位置匹配的插值位置可以被认为是图像1000的“孪生”,并且可以被认为标称地对应于工作距离WD。以这种方式,工作距离WD可以锚定到图像栈范围内的特定插值位置(例如,对应于相对于物镜的绝对位置,并且允许所确定的位置被准确地指代和/或按照MCS表示)。
图11-图14示出了根据以上示例并且根据本文公开的原理确定校准数据的过程。对于图11-图14的示例,所指代的校准对象被指定为具有110个FSRR(例如,包括具有被指定为FSRR的110个光栅线边缘的光栅),但在其他方面与以上描述的校准对象相似,并且具有与之相似的结构,并且将通过类比来理解。如将在下面更详细描述的,用于确定校准数据的示例过程包括确定与FSRR(例如,参见图11)的峰值聚焦特性值(例如,峰值定量对比度和/或聚焦度量值等)相对应的相位定时,确定每个FSRR的像素位置和对应的有效聚焦位置(Z高度)(例如,参见图12),组合所确定的数据(例如,参见图13),该数据用于确定拟合曲线,针对该拟合曲线确定用于相等步长尺寸的校准数据(例如,参见图14)。如将在下面更详细地描述的,这样的过程(即,利用本文公开的校准对象)具有用于校准VFL系统的各种优点。
图11是示出了根据图像栈的图像确定的FSRR的聚焦特性值曲线1110的曲线图1100的图。如将在下面更详细地描述的,在各种实施方式中,一种用于校准VFL透镜系统的方法可以包括:分析图像栈中的相机图像以确定相机图像中每个FSRR的聚焦特性值,以便确定每个FSRR的峰值聚焦特性值的相位定时。在各种实施方式中,所确定的每个FSRR的聚焦特性值可以包括FSRR的定量对比度度量值。
在图11的示例中,聚焦特性值曲线1110可以用于确定最大对比度拟合质心(maximum contrast fitted centroid,MaxCON)指数值或FSRR的其他对应值。可以执行类似的过程来确定每个FSRR的聚焦特性值曲线,对此,所得到的值可以用于FSRR的进一步确定(例如,如以下将参照图12更详细地描述的,确定FSRR的像素位置与有效聚焦位置(Z高度)),其可以指代与工作距离WD/关闭VFL图像(例如,图像1000)相对应的范围内的位置)。
为了确定如图11所示的FSRR的聚焦特性值曲线1110,初始步骤可以包括确定图像栈的图像中的FSRR的大致位置。一旦确定了大致位置,就可以将其用于将感兴趣区域定位在每个图像中的相同地点(例如,以便确定每个图像中FSRR的聚焦特性值,其可以对应地指示其中FSRR具有较高的聚焦水平的图像,并且对此可以确定FSRR处于最佳聚焦时的定时/相位延迟值等)。在各种实施方式中,FSRR的大致位置的确定可以包括分析校准对象的EDOF图像(例如,类似于图8的EDOF图像800)或其他类型的图像。
在分析了EDOF图像或其他图像的实施方式中,该过程可以包括执行聚焦特性值扫描或其他扫描以确定相机360的检测器上的FSRR的大致像素位置(例如,如图像中所指示的)。在一个特定的示例实施方式中,可以利用聚焦特性值扫描或图像的其他处理来确定与FSRR相对应的粗略/大致“种子”位置。如将在下面更详细地描述的,在各种实施方式中,所确定的大致位置可以存储在一个或多个查找表LUT中,并且可以如以上所指示的那样用于其他处理。在各种实施方式中,作为确定大致位置的一部分,可以执行检查以确认在确定大致位置时没有遗漏任何FSRR。例如,由于已知数目的FSRR,具有对应数目的条目的查找表LUT和/或其他技术可以用于验证所确定的大致位置的数目与FSRR的已知数目匹配。
如上所述,FSRR的大致位置(例如,如通过以上示例过程所确定的)可以用于在图像栈的每个图像内定位感兴趣区域,以确定与每个图像中的FSRR相关联的聚焦特性值的水平(例如,定量对比度和/或聚焦度量值)。在各种实施方式中,可以根据已知的离焦点(PFF)或其他分析操作来执行这样的处理,其可以指示每个FSRR的峰值聚焦特性值的相位定时(例如,其指示每个FSRR的最佳聚焦定时)。美国专利编号6,542,180、7,003,161、7,627,162、9,060,117和9,602,715教导了用于确定和分析图像栈和聚焦曲线以及用于离焦点和边缘分析操作的示例性技术,其每一个的全部内容通过引用合并于此。
在一个特定示例实施方式中,根据这样的操作,可以将其尺寸被确定为检测FSRR的感兴趣区域相对于每个图像中的FSRR的大致位置进行定位(例如,居中)。感兴趣区域可以与视频工具或其他分析构件相关联,该视频工具或其他分析构件可以用于确定感兴趣区域内的聚焦特性值(例如,定量对比度和/或聚焦度量值)。在各种实施方式中,较高的聚焦特性值通常可以对应于其中FSRR更加聚焦的图像。在图11的示例中,每个数据点1120代表图像栈的各个图像中的FSRR的峰值聚焦特性值。曲线1110是由在一个FSRR(出自约110个FSRR)内计算出的360个测量的对比度值得出的。交叉点为1110中对比度峰值的42点二阶拟合。在各种实施方式中,曲线1110可以由对从图像栈的图像确定的数据点1120进行拟合而产生。
通过分析来自图像栈的图像的聚焦特性值(例如,如曲线1110所表示),可以确定指示在周期调节的范围内FSRR何时为最聚焦的“峰值”聚焦特性值(例如,曲线1110的峰值),其可以对应于特定图像的相位定时或图像之间的插值相位定时。在各种实施方式中,可以根据值的拟合质心来确定峰值,并且可以将峰值表示为最大对比度拟合质心指数值。根据VFL透镜的操作,每个图像与获取图像时的定时/相位延迟(例如,由每个数据点1120的定时/相位延迟所指示)相关联,并且最大对比度拟合质心指数值也可以对应地与FSRR处于最佳聚焦时的定时/相位延迟相关联。在图11的特定示例中,FSRR的峰值被指示为沿着X轴处于定时/相位延迟,并且最大对比度拟合质心指数值约为181.6472度。在各种实施方式中,这样的值(例如,其对于X轴上的相位延迟x2,在360度范围的180度中点附近)可以在某些情况下指示FSRR在校准对象上的FSRR的范围的中间附近(例如,对于具有110个FSRR的校准对象,该FSRR可以是第55个FSRR或可以在第55个FSRR附近)。在范围的中间附近的这种FSRR也可以在标称有效聚焦位置EFPnom附近和/或工作距离WD的确定位置附近(例如,类似于图6A、图6B、图7A-图7C以及图8-图10的示例中的FSRR-13)。如将在下面参考图12和图13更详细地描述的,可以将表示每个FSRR的峰值聚焦特性值的相位定时的这种数据与表示每个FSRR的有效聚焦位置(Z高度)的数据进行组合,以便确定将时间/相位延迟与有效聚焦位置(Z高度)相关联的系统校准数据。
图12是示出了由子像素准确度确定的FSRR的图像像素地点以及FSRR的对应的有效聚焦位置(Z高度)的曲线图1200的图。如将在下面更详细描述的,在各种实施方式中,用于校准VFL透镜系统的方法可以包括确定每个FSRR的有效聚焦位置(Z高度)。在各种实施方式中,确定每个FSRR的有效聚焦位置可以包括确定一个或多个相机图像中具有每个FSRR的子像素准确度的像素地点。然后可以基于所确定的像素地点以及校准对象和VFL透镜系统的已知物理特性(至少包括平面倾斜图案表面的倾斜角、物镜的放大率以及像素尺寸)来确定FSRR的有效聚焦位置。
在图12的示例中,数据1210被示出为在本质上是标称线性的,并且包括单独的数据点1220,每个数据点1220代表如沿X轴所示的具有对应像素位置的FSRR以及如沿Y轴所示的对应的有效聚焦位置(Z高度)。数据1210大致地拟合标称线性减小的函数(例如,对应于FSRR所位于的校准对象的平面倾斜图案表面的倾斜角)。如上所述,用于图11-图14的示例的校准对象包括110个FSRR,对此,图12中示出了110个对应的数据点1220。相对于校准对象的关闭VFL图像(例如,类似于上述图像1000)确定的并且标称地对应于工作距离WD的相对位置由数据点1230表示。
在各种实施方式中,确定数据点1220包括从图像栈中确定FSRR的像素地点(例如,具有子像素准确度)。例如,基于用于确定FSRR的最佳聚焦的相位定时的分析(或其他分析),可以从图像栈中确定/选择最接近或以其他方式靠近最佳聚焦位置的图像。一旦选择了图像,就可以分析图像以确定图像中的FSRR的像素位置(例如,具有子像素准确度)。关于这种分析,可以利用大致位置(例如,如上所述根据EDOF图像或以其他方式确定)来定位感兴趣区域(例如,对于边缘检测工具等),感兴趣区域可以用于确定FSRR的精确像素地点(例如,达子像素准确度)。基于对每个FSRR的精确像素地点的确定,还可以确定每个FSRR的确切有效聚焦位置(Z高度)。更具体地,根据校准对象的已知特性,可以根据FSRR的已知合成频率(例如,与补偿光栅倾斜有关)、放大率(例如,对应于当前物镜的放大率)、像素尺寸、和特征的子像素地点(例如,根据上述过程确定)来确定每个FSRR的有效聚焦位置(Z高度)。
图13是示出了通过组合诸如图11和图12的数据而确定的测量的校准数据的曲线图1300的图。在图13中,数据1310包括单独的数据点1320,每个数据点1320代表具有如沿X轴指示的最佳聚焦位置的对应定时/相位延迟的FSRR,以及沿Y轴指示的对应有效聚焦位置(Z高度)。应理解,每个FSRR的定时/相位延迟来自诸如图11的数据那样的数据,并且对应的有效聚焦位置(Z高度)来自诸如图12的数据那样的数据。在各种实施方式中,可以期望确定代表数据1310的拟合等式。例如,在一个特定的示例实施方式中,可以相对于数据点1320执行最小二乘拟合过程,以确定代表相位延迟与有效聚焦位置(Z高度)值(例如,对此,得到的标称正弦曲线1315被示出为对应于正弦拟合等式)的正弦拟合等式。如将在下面关于图14更详细地描述的,在各种实施方式中,可以使用正弦拟合等式来确定与VFL透镜的调节范围内的等间隔有效聚焦位置相对应的相位定时。
图14是示出了从诸如图13的数据那样的数据确定的具有相等有效聚焦位置(Z高度)步长的拟合校准数据的曲线图1400的图。在图14中,示出了包括数据点1420的数据1410的集合。线1415类似于图13的线1315,并且对应于如上所述从图13的数据确定的正弦拟合等式。关于正弦拟合等式,根据相等的步长尺寸(例如,按照景深(DOF)的比例,诸如DOF的1/10)来确定数据点1420。在一些实施方式中,可以选择这样的特性以匹配/实现某些“每像素Z可重复性(per pixel Z repeatability)”统计数据,或者以其他方式。作为一个具体的示例值,对于2x物镜(即2x放大率),DOF=186um,可以将所期望的步长尺寸确定为18.6um(即等于1/10DOF)。
一旦确定步长尺寸,就可将VFL透镜的整个有效聚焦位置(Z高度)扫描范围(例如,图3中的范围Refp)除以步长尺寸,以确定具有相等有效聚焦位置(Z高度)间距(即,对应于沿图14中的Y轴的数据点1420的间隔)的步长的数量。在各种实施方式中,可通过如上所述地迭代正弦拟合等式以确定沿Y轴具有相同有效聚焦位置(Z高度)间距的每一步长的X轴值,来得到沿曲线的数据点1420。在各种实施方式中,可以指定/确定每个迭代时间的公差(例如,在图14的示例中使用2纳秒的公差)。在各种实施方式中,可以将与相等间隔的有效聚焦位置(Z高度)相对应的确定的相位定时存储为(例如,在查找表(LUT)中或以其他方式)校准数据的至少一部分,该校准数据指示与VFL透镜系统的各个有效聚焦位置(Z高度)相对应的周期性调节的各个相位定时。根据上述特定示例值,在一种实施方式中,可以从Z顶部值开始产生具有258个时间/相位延迟值的列表的查找表LUT。
在各种实施方式中,在某些情况下,可以在某些指定的校准条件下确定从测量校准对象确定的校准数据(即,具有关于特征的相对高度的已知特性等)。在各种实施方式中,这样的指定条件可以包括指定的稳态温度(例如,T=20℃+/-0.25℃),使用指定的物镜350(例如,1x至50x放大率的物镜之一),以及对此VFL透镜370可以在指定的频率(例如70kHz)下操作,对此,+/-1屈光度可以导致指定的Z扫描范围(例如,作为特定示例值,5x物镜可以导致约为0.4mm至-0.4mm的Z扫描范围)。在这样的配置中,可以向校准对象提供倾斜,该倾斜导致具有至少0.4mm至+0.4mm的范围的对比图案。
在各种实施方式中,可以知道VFL谐振频率随温度变化和/或其他条件而相对直接地变化。在各种实施方式中,当在某些特定条件之外的条件下执行本文所述的校准过程时(例如,在指定稳态温度(例如T=20℃)之外的温度下和/或在VFL透镜的指定共振频率(诸如70kHz)之外的频率下,等等),可以执行补偿过程。例如,在一种实施方式中,补偿过程可以包括确定/测量VFL谐振频率(例如,可以随温度或其他因素而直接地变化)以及补偿与指定谐振频率的偏差(例如,对校准数据施加+0.2um/Hz的补偿)。
图15是示出例程1500的一种示例性实施方式的流程图,该例程1500用于利用校准对象来确定用于VFL透镜系统的校准数据。在操作框1510,操作作为VFL系统的一部分的VFL透镜以在工作频率上在光功率范围内周期性地调节VFL透镜光功率。例如,在VFL透镜是具有可控声波生成元件的TAG透镜的实施方式中,可控声波生成元件可以由驱动信号(例如,标称正弦驱动信号)控制以为TAG透镜提供周期性调节的光功率变化(例如,可以是标称正弦曲线)。
在操作框1520,在不同的有效聚焦位置处获取多个相机图像(例如,作为可以包括10s或100s内的多个图像的图像栈的一部分,等等)。在各种实施方式中,每个相机图像的获取包括:将光源光输出到校准对象,该校准对象布置在校准对象成像配置中,以及从相机接收相机图像。在各种实施方式中,在校准对象图像曝光期间,将校准对象图像光沿着工件成像光路传输,以穿过VFL透镜并到达相机,从而在相机图像中提供校准对象图像。如上所述,在各种实施方式中,校准对象包括FSRR的集合,该FSRR在校准对象图像中具有各个已知的相对参考区域图像地点,并且当校准对象被布置在校准对象成像配置中时,该FSRR被固定在相对于物镜的不同的各个有效聚焦位置处。
在操作框1530,至少部分地基于分析多个相机图像来确定校准数据,其中,校准数据指示与各个有效聚焦位置(Z高度)相对应的周期性调节的各个相位定时。如上所述,在各种实施方式中,对多个相机图像(例如,包括校准对象图像)的分析可以包括使用对应的特定已知相位定时,为曝光的多个校准对象图像中的校准对象的FSRR的集合的成员确定聚焦特性值(例如,定量对比度和/或聚焦度量值等)。在各种实施方式中,这种处理/确定可以至少部分地由参考区域聚焦分析器384、工件聚焦信号处理部分375和/或远程计算机等执行。基于在已知相位定时处的确定的聚焦特性值,可以确定FSRR处于最佳聚焦时的相位定时(例如,利用离焦点或其他操作)。可以确定FSRR的像素地点(例如,在其中聚焦了FSRR的图像栈的图像中利用视频工具等),并且可以使用校准对象的已知特性(例如,关于RRIL处的FSRR的已知和/或可确定的有效聚焦位置(Z高度))来确定在所确定的像素地点处的FSRR的有效聚焦位置(Z高度)。
来自这样的过程的确定的数据可以被组合以提供用于系统的、将相位定时与有效聚焦位置(Z高度)准确地相关联的校准数据,并且可以存储该确定的校准数据(例如,在查找表中或以其他方式)。在随后的测量操作期间,可以在特定的已知相位定时处(例如,根据选通光源的相位定时等)获取工件的一个或多个图像,对此可以确定工件特征处于最佳聚焦时的相位定时,对此可以利用校准数据(例如,在查询表中提供或以其他方式)来确定工件特征的准确的对应有效聚焦位置(Z高度)。
尽管已经示出和描述了本公开的优选实施方式,但是基于本公开,示出和描述的特征布置和操作顺序的多种变化对本领域的技术人员来说将是显而易见的。可以使用各种替代形式来实施本文公开的原理。例如,可以使用可调节的倾斜构件来实施倾斜的校准对象,使得可以调整由倾斜的校准对象覆盖的校准对象聚焦位置范围Rco以对应于特定的物镜,或者增加聚焦距离的选择性或与各种聚焦状态参考区域地点相关联的分辨率,等等。作为另一示例,校准对象可以包括至少一个至少部分弯曲的图案表面,当布置在校准对象成像配置中时,该图案表面的至少一部分不垂直于物镜的光轴。该至少一个弯曲的图案表面的不同部分可以相对于物镜而固定在不同的各个聚焦距离处,并且FSRR的集合可以被布置在该至少一个弯曲的图案表面上。
本说明书中提及的所有美国专利和美国专利申请均通过引用整体并入本文。如果需要采用各种专利和申请的概念来提供进一步的实施方式,则可以修改实施方式的各方面。可以根据上述详细描述对实施方式进行这些和其他改变。通常,在权利要求书中,所使用的术语不应解释为将权利要求限制为说明书和权利要求书中公开的具体实施方式,而应解释为包括所有可能的实施方式以及这些权利要求所享有的等效形式的全部范围。
Claims (23)
1.一种用于利用聚焦状态校准对象来确定用于可变焦距VFL透镜系统的校准数据的方法,
所述VFL透镜系统包括:
VFL透镜;
VFL透镜控制器,其控制所述VFL透镜的驱动信号以在周期性调节内的各个相位定时处出现的光功率的范围内周期性地调节所述VFL透镜的光功率;
相机,其在图像曝光期间接收沿着成像光路传输通过所述VFL透镜的光并提供对应的相机图像;
物镜,其在图像曝光期间输入从工件或校准对象中的至少一个产生的图像光,并且在图像曝光期间将所述图像光沿着成像光路传输通过所述VFL透镜并且到所述相机,以在对应相机图像中提供工件图像或校准对象图像的至少一个,其中在图像曝光期间所述物镜前面的有效聚焦位置对应于在该图像曝光期间所述VFL透镜的光功率;以及
曝光时间控制器,被配置为控制用于相机图像的图像曝光定时,
所述校准对象包括平面倾斜图案表面,在所述平面倾斜图案表面上分布有聚焦状态参考区域FSRR的集合,其中所述FSRR相对于所述平面倾斜图案表面具有已知几何关系并且相对于彼此具有已知区域关系,并且当所述校准对象相对于所述VFL透镜系统布置在校准对象成像配置中时,所述FSRR被固定在相对于所述物镜的不同的各个有效聚焦位置处并且在校准对象图像中具有各个参考区域图像地点RRIL;
所述方法包括:
在周期性调节的不同相位定时处获取多个相机图像,其中,每个相机图像的获取包括:
将光源光输出到所述校准对象,所述校准对象布置在所述校准对象成像配置中;以及
从所述相机接收相机图像,其中,在校准对象图像曝光期间,校准对象图像光沿着成像光路传输以穿过所述VFL透镜并到达所述相机,以在所述相机图像中提供校准对象图像;以及
至少部分地基于对所述多个相机图像的分析来确定校准数据,其中,所述校准数据指示与各个有效聚焦位置相对应的周期性调节的各个相位定时。
2.根据权利要求1所述的方法,其中,确定所述校准数据包括执行对准过程,所述对准过程包括利用对准图像和利用所述已知区域关系或所述已知几何关系中的至少一个来进行所述校准对象相对于所述VFL透镜系统的对准的确定或补偿中的至少一个,其中所述对准图像包括以下中的至少一个:
所述多个相机图像中的相机图像;
所述校准对象的扩展景深EDOF图像;或者
所述校准对象的关闭VFL相机图像,在所述VFL透镜处于所述VFL透镜的光功率不被调节并且所述VFL透镜不提供透镜效应的状态时,获取所述关闭VFL相机图像。
3.根据权利要求2所述的方法,其中,利用所述对准图像包括分析所述对准图像以确定合成频率,所述合成频率指示所述校准对象相对于所述VFL透镜系统的对准。
4.根据权利要求3所述的方法,其中,通过处理所述对准图像的2D傅里叶变换来确定所述合成频率。
5.根据权利要求2所述的方法,其中,所述对准过程包括:
确定与所述校准对象相对于所述VFL透镜系统的旋转角相对应的所述校准对象的对准;以及
通过在进一步处理所述校准对象的至少一个图像之前将所述至少一个图像旋转所述旋转角来补偿所述校准对象相对于所述VFL透镜系统的对准。
6.根据权利要求1所述的方法,其中,确定所述校准数据包括分析所述校准对象的关闭VFL相机图像以确定代表值,所述代表值指代所述多个相机图像的对应值并且对应于距所述物镜的工作距离,其中,在所述VFL透镜处于所述VFL透镜的光功率不被调节并且所述VFL透镜不提供透镜效应的状态时,获取所述关闭VFL相机图像。
7.根据权利要求6所述的方法,其中,确定所述多个相机图像的两个对应值之间的插值,所述插值与所述关闭VFL相机图像的代表值匹配并且被指定为对应于所述工作距离。
8.根据权利要求6所述的方法,其中,所述代表值是至少部分地通过对所述关闭VFL相机图像执行线扫描而确定的像素位置值。
9.根据权利要求1所述的方法,其中,分析所述多个相机图像包括确定相机图像中的每个FSRR的聚焦特性值,以便确定每个FSRR的峰值聚焦特性值的相位定时。
10.根据权利要求9所述的方法,其中,所确定的每个FSRR的聚焦特性值包括FSRR的定量对比度度量值。
11.根据权利要求9所述的方法,其中,分析所述多个相机图像还包括确定每个FSRR的有效聚焦位置。
12.根据权利要求11所述的方法,其中,确定每个FSRR的有效聚焦位置包括确定一个或多个相机图像中具有每个FSRR的子像素准确度的像素地点,以及基于所确定的像素地点、所述校准对象和所述VFL透镜系统的已知物理特性来确定所述FSRR的有效聚焦位置,所述校准对象和所述VFL透镜系统的已知物理特性至少包括所述平面倾斜图案表面的倾斜角、所述物镜的放大率和像素尺寸。
13.根据权利要求11所述的方法,其中,确定所述校准数据还包括组合数据,所述数据包括与每个FSRR的峰值聚焦特性值相对应的所确定的相位定时和所确定的每个FSRR的有效聚焦位置,其中所组合的数据指示与所述VFL透镜系统的有效聚焦位置相对应的相位定时。
14.根据权利要求13所述的方法,其中,确定所述校准数据还包括确定拟合到所组合的数据的正弦拟合等式,以及利用所述正弦拟合等式来确定与所述VFL透镜的调节范围内的等间隔有效聚焦位置相对应的相位定时,并且将所确定的与所述等间隔有效聚焦位置相对应的相位定时存储为所述校准数据的至少一部分,所述校准数据指示与所述VFL透镜系统的各个有效聚焦位置相对应的周期性调节的各个相位定时。
15.根据权利要求1所述的方法,其中,确定所述校准数据还包括利用所述校准对象的扩展景深EDOF图像来确定每个FSRR的大致位置,所述大致位置被用于定位图像中的感兴趣区域,以确定图像中的FSRR的聚焦特性值。
16.根据权利要求1所述的方法,其中,所述VFL透镜是可调谐声梯度(TAG)透镜。
17.一种用于利用聚焦状态校准对象来确定用于可变焦距VFL透镜系统的校准数据的系统,包括:
可变焦距VFL透镜系统,所述VFL透镜系统包括:
VFL透镜;
VFL透镜控制器,其控制所述VFL透镜的驱动信号以在周期性调节内的各个相位定时处出现的光功率的范围内周期性地调节所述VFL透镜的光功率;
相机,其在图像曝光期间接收沿着成像光路传输通过所述VFL透镜的光并提供对应的相机图像;
物镜,其在图像曝光期间输入从工件或校准对象中的至少一个产生的图像光,并且在图像曝光期间将所述图像光沿着成像光路传输通过所述VFL透镜并且到所述相机,以在对应相机图像中提供工件图像或校准对象图像中的至少一个,其中在图像曝光期间所述物镜前面的有效聚焦位置对应于在该图像曝光期间所述VFL透镜的光功率;以及
曝光时间控制器,被配置为控制用于相机图像的图像曝光定时,所述校准对象包括平面倾斜图案表面,在所述平面倾斜图案表面上分布有聚焦状态参考区域FSRR的集合,其中所述FSRR相对于所述平面倾斜图案表面具有已知几何关系并且相对于彼此具有已知区域关系,并且当所述校准对象相对于所述VFL透镜系统布置在校准对象成像配置中时,所述FSRR被固定在相对于所述物镜的不同的各个有效聚焦位置处并且在校准对象图像中具有各个参考区域图像地点RRIL;以及
计算系统,所述计算系统包括:
一个或多个处理器;以及
存储器,其耦合到所述一个或多个处理器并存储程序指令,所述程序指令在由所述一个或多个处理器执行时使所述一个或多个处理器至少:
在周期性调节的不同相位定时处获取所述校准对象的多个相机图像,所述校准对象相对于所述VFL透镜系统布置在所述校准对象成像配置中;以及
至少部分地基于对所述多个相机图像的分析来确定校准数据,其中,所述校准数据指示与各个有效聚焦位置相对应的周期性调节的各个相位定时。
18.根据权利要求17所述的系统,其中,所述VFL透镜是可调谐声梯度(TAG)透镜。
19.根据权利要求17所述的系统,其中,所述校准对象还包括位于所述平面倾斜图案表面下方的反射表面,当所述校准对象相对于所述VFL透镜系统布置在所述校准对象成像配置中时,所述反射表面标称地正交于工件成像光路的光轴,穿过所述平面倾斜图案表面并且被所述反射表面反射以作为校准对象图像光回穿过所述平面倾斜图案表面的光源光沿着所述工件成像光路传输。
20.根据权利要求17所述的系统,其中,所述平面倾斜图案表面包括具有光栅线的光栅,并且所述多个FSRR中的每个FSRR对应于所述光栅线之一的边缘。
21.根据权利要求17所述的系统,还包括作为所述校准对象是其成员的校准对象的集合的一部分的多个附加的校准对象,其中,所述校准对象的集合中的每个校准对象具有带有不同倾斜量的平面倾斜图案表面,并且所述校准对象的集合中的每个校准对象对应于具有不同放大率的不同物镜,其中,当对所述VFL透镜系统执行校准时,利用来自与在校准期间使用的物镜相对应的集合中的校准对象。
22.一种用于利用聚焦状态校准对象来确定用于可变焦距VFL透镜系统的校准数据的系统,
所述VFL透镜系统包括:
VFL透镜;
VFL透镜控制器,其控制所述VFL透镜的驱动信号以在周期性调节内的各个相位定时处出现的光功率的范围内周期性地调节所述VFL透镜的光功率;
相机,其在图像曝光期间接收沿着成像光路传输通过所述VFL透镜的光并提供对应的相机图像;
物镜,其在图像曝光期间输入从工件或校准对象中的至少一个产生的图像光,并且在图像曝光期间将所述图像光沿着成像光路传输通过所述VFL透镜并且到所述相机,以在对应相机图像中提供工件图像或校准对象图像的至少一个,其中在图像曝光期间所述物镜前面的有效聚焦位置对应于在该图像曝光期间所述VFL透镜的光功率;以及
曝光时间控制器,被配置为控制用于相机图像的图像曝光定时,其中,所述用于利用聚焦状态校准对象的系统包括:
所述校准对象包括平面倾斜图案表面,在所述平面倾斜图案表面上分布有聚焦状态参考区域FSRR的集合,其中所述FSRR相对于所述平面倾斜图案表面具有已知几何关系并且相对于彼此具有已知区域关系,并且当所述校准对象相对于所述VFL透镜系统布置在校准对象成像配置中时,所述FSRR被固定在相对于所述物镜的不同的各个有效聚焦位置处并且在校准对象图像中具有各个参考区域图像地点RRIL;以及
计算系统,所述计算系统包括:
一个或多个处理器;以及
存储器,耦合到所述一个或多个处理器并存储程序指令,所述程序指令在由所述一个或多个处理器执行时使所述一个或多个处理器至少:
接收在周期性调节的不同相位定时处获取的所述校准对象的多个相机图像,所述校准对象相对于所述VFL透镜系统布置在所述校准对象成像配置中;以及
至少部分地基于对所述多个相机图像的分析来确定校准数据,其中,所述校准数据指示与各个有效聚焦位置相对应的周期性调节的各个相位定时。
23.根据权利要求22所述的系统,其中,所述VFL透镜是可调谐声梯度(TAG)透镜。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/232,874 US11125967B2 (en) | 2018-12-26 | 2018-12-26 | System and method for calibrating variable focal length lens system using calibration object with planar tilted pattern surface |
US16/232,874 | 2018-12-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111381383A CN111381383A (zh) | 2020-07-07 |
CN111381383B true CN111381383B (zh) | 2022-03-15 |
Family
ID=71079863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911336459.8A Active CN111381383B (zh) | 2018-12-26 | 2019-12-23 | 利用带平面倾斜图案表面的校准对象校准vfl透镜系统的系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11125967B2 (zh) |
JP (1) | JP7323443B2 (zh) |
CN (1) | CN111381383B (zh) |
DE (1) | DE102019219506A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11587246B2 (en) * | 2020-10-30 | 2023-02-21 | Mitutoyo Corporation | Metrology system with projected pattern for points-from-focus type processes |
JP7530811B2 (ja) | 2020-11-30 | 2024-08-08 | 株式会社ミツトヨ | 校正治具配置方法および焦点距離可変レンズ装置 |
JP7530305B2 (ja) | 2021-01-15 | 2024-08-07 | 株式会社ミツトヨ | 画像検出装置および画像検出方法 |
US11714051B2 (en) | 2021-11-30 | 2023-08-01 | Mitutoyo Corporation | Metrology system configured to measure apertures of workpieces |
DE102023202529A1 (de) | 2023-03-21 | 2024-09-26 | Bruker Switzerland Ag | Konfokalmikroskop und Verfahren für die konfokale Mikroskopie, mit automatischer Fokussierung |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6542180B1 (en) * | 2000-01-07 | 2003-04-01 | Mitutoyo Corporation | Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part |
CN100430685C (zh) * | 2003-11-24 | 2008-11-05 | 株式会社三丰 | 快速自动对焦机器视觉检查系统的系统和方法 |
CN100487733C (zh) * | 2001-11-16 | 2009-05-13 | 株式会社三丰 | 图像边界检测系统与方法 |
CN107367817A (zh) * | 2016-05-03 | 2017-11-21 | 株式会社三丰 | 可变焦距透镜系统中的相位差校准 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7324682B2 (en) | 2004-03-25 | 2008-01-29 | Mitutoyo Corporation | System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system |
US7454053B2 (en) | 2004-10-29 | 2008-11-18 | Mitutoyo Corporation | System and method for automatically recovering video tools in a vision system |
US7627162B2 (en) | 2005-01-31 | 2009-12-01 | Mitutoyo Corporation | Enhanced video metrology tool |
US7570795B2 (en) | 2006-07-18 | 2009-08-04 | Mitutoyo Corporation | Multi-region autofocus tool and mode |
JP4924042B2 (ja) * | 2007-01-11 | 2012-04-25 | オムロン株式会社 | 三次元形状計測装置及びその校正方法、プログラム、並びにコンピュータ読み取り可能な記録媒体 |
JP2008215829A (ja) * | 2007-02-28 | 2008-09-18 | Sumitomo Heavy Ind Ltd | 較正用治具、較正方法、及び該方法を用いたレーザ加工装置 |
US7873488B2 (en) | 2008-12-08 | 2011-01-18 | Mitutoyo Corporation | On-site calibration method and object for chromatic point sensors |
US8111938B2 (en) | 2008-12-23 | 2012-02-07 | Mitutoyo Corporation | System and method for fast approximate focus |
US8111905B2 (en) | 2009-10-29 | 2012-02-07 | Mitutoyo Corporation | Autofocus video tool and method for precise dimensional inspection |
US9060117B2 (en) | 2011-12-23 | 2015-06-16 | Mitutoyo Corporation | Points from focus operations using multiple light settings in a machine vision system |
US9143674B2 (en) | 2013-06-13 | 2015-09-22 | Mitutoyo Corporation | Machine vision inspection system and method for performing high-speed focus height measurement operations |
US10178321B2 (en) | 2013-11-27 | 2019-01-08 | Mitutoyo Corporation | Machine vision inspection system and method for obtaining an image with an extended depth of field |
US9726876B2 (en) | 2013-11-27 | 2017-08-08 | Mitutoyo Corporation | Machine vision inspection system and method for obtaining an image with an extended depth of field |
JP2015210396A (ja) * | 2014-04-25 | 2015-11-24 | オリンパス株式会社 | アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム |
FI126062B (en) * | 2014-11-24 | 2016-06-15 | Åbo Akademi Åbo Akademi University | Method for calibrating 3D imaging and system for 3D imaging |
US9602715B2 (en) | 2015-07-09 | 2017-03-21 | Mitutoyo Corporation | Adaptable operating frequency of a variable focal length lens in an adjustable magnification optical system |
US9830694B2 (en) | 2015-08-31 | 2017-11-28 | Mitutoyo Corporation | Multi-level image focus using a tunable lens in a machine vision inspection system |
US9774765B2 (en) | 2015-09-15 | 2017-09-26 | Mitutoyo Corporation | Chromatic aberration correction in imaging system including variable focal length lens |
US9961253B2 (en) * | 2016-05-03 | 2018-05-01 | Mitutoyo Corporation | Autofocus system for a high speed periodically modulated variable focal length lens |
US10151962B2 (en) | 2016-09-29 | 2018-12-11 | Mitutoyo Corporation | Variable focal length lens system with focus monitoring and control |
US10101572B2 (en) | 2016-11-23 | 2018-10-16 | Mitutoyo Corporation | Variable focal length lens system with multi-level extended depth of field image processing |
JP6786424B2 (ja) * | 2017-03-13 | 2020-11-18 | 株式会社モリタ製作所 | 三次元スキャナ |
US10171725B1 (en) * | 2017-12-21 | 2019-01-01 | Mitutoyo Corporation | Variable focal length lens system including a focus state reference subsystem |
US10281700B1 (en) * | 2017-12-21 | 2019-05-07 | Mitutoyo Corporation | Variable focal length lens system including a focus state reference subsystem |
JP7057217B2 (ja) * | 2018-05-21 | 2022-04-19 | 株式会社ミツトヨ | 焦点距離可変レンズの校正方法および焦点距離可変レンズ装置 |
JP7003903B2 (ja) * | 2018-12-20 | 2022-01-21 | ブラザー工業株式会社 | レーザマーカ |
-
2018
- 2018-12-26 US US16/232,874 patent/US11125967B2/en active Active
-
2019
- 2019-12-12 DE DE102019219506.7A patent/DE102019219506A1/de active Pending
- 2019-12-23 CN CN201911336459.8A patent/CN111381383B/zh active Active
- 2019-12-26 JP JP2019235710A patent/JP7323443B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6542180B1 (en) * | 2000-01-07 | 2003-04-01 | Mitutoyo Corporation | Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part |
CN100487733C (zh) * | 2001-11-16 | 2009-05-13 | 株式会社三丰 | 图像边界检测系统与方法 |
CN100430685C (zh) * | 2003-11-24 | 2008-11-05 | 株式会社三丰 | 快速自动对焦机器视觉检查系统的系统和方法 |
CN107367817A (zh) * | 2016-05-03 | 2017-11-21 | 株式会社三丰 | 可变焦距透镜系统中的相位差校准 |
Also Published As
Publication number | Publication date |
---|---|
US20200209519A1 (en) | 2020-07-02 |
JP2020106841A (ja) | 2020-07-09 |
US11125967B2 (en) | 2021-09-21 |
JP7323443B2 (ja) | 2023-08-08 |
DE102019219506A1 (de) | 2020-07-02 |
CN111381383A (zh) | 2020-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111381383B (zh) | 利用带平面倾斜图案表面的校准对象校准vfl透镜系统的系统和方法 | |
CN107346059B (zh) | 可变焦距成像系统 | |
JP6839578B2 (ja) | 可変焦点距離レンズシステムにおける位相差較正 | |
JP6857524B2 (ja) | 高速で周期的に変更される可変焦点距離レンズシステムのための自動合焦システム | |
CN107884903B (zh) | 具有聚焦监测和控制的可变焦距透镜系统 | |
CN109951632B (zh) | 包括聚焦状态参考子系统的可变焦距透镜系统 | |
CN109995996B (zh) | 包括聚焦状态参考子系统的可变焦距透镜系统 | |
EP3462236B1 (en) | Variable focal length lens system with optical power monitoring | |
CN108076285B (zh) | 用于控制包括高速可变焦距透镜的成像系统的方法 | |
US11119382B2 (en) | Tunable acoustic gradient lens system with amplitude adjustment corresponding to z-height as indicated by calibration data | |
CN110411417B (zh) | 具有准正弦周期性强度调制光的可变焦距透镜系统 | |
US11328409B2 (en) | System and method utilizing multi-point autofocus to align an optical axis of an optical assembly portion to be normal to a workpiece surface | |
US10880468B1 (en) | Metrology system with transparent workpiece surface mode | |
KR101863752B1 (ko) | 광학적 웨이퍼 검사 장치의 해상력 강화 방법 및 이를 이용한 tsom 영상 획득 방법 | |
US11249225B2 (en) | Tunable acoustic gradient lens system utilizing amplitude adjustments for acquiring images focused at different z-heights | |
KR101826127B1 (ko) | 광학적 웨이퍼 검사 장치 | |
CN109581786B (zh) | 在成像系统中稳定高速可变焦距可调声学梯度透镜的操作 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |