CN111325785B - 高速tag透镜辅助3d计量和扩展景深成像 - Google Patents

高速tag透镜辅助3d计量和扩展景深成像 Download PDF

Info

Publication number
CN111325785B
CN111325785B CN201911272226.6A CN201911272226A CN111325785B CN 111325785 B CN111325785 B CN 111325785B CN 201911272226 A CN201911272226 A CN 201911272226A CN 111325785 B CN111325785 B CN 111325785B
Authority
CN
China
Prior art keywords
image
imaging system
edof
pff
image exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911272226.6A
Other languages
English (en)
Other versions
CN111325785A (zh
Inventor
V.塞内科里迈恩
J.A.萨默斯
S.E.亨明斯
M.L.德拉尼
P.G.格拉德尼克
B.E.B.詹森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Publication of CN111325785A publication Critical patent/CN111325785A/zh
Application granted granted Critical
Publication of CN111325785B publication Critical patent/CN111325785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G02B21/025—Objectives with variable magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0016—Technical microscopes, e.g. for inspection or measuring in industrial production processes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Abstract

提供了一种用于操作可调谐声学梯度(TAG)透镜成像系统的方法。该方法包括：(a)提供智能光照脉冲控制例程/电路(SLPCRC)，SLPCRC提供与TAG透镜成像系统的离焦点(PFF)模式相对应的第一曝光控制模式和与TAG透镜成像系统的扩展景深(EDOF)模式相对应的第二曝光控制模式；(b)将工件放置在TAG透镜成像系统的视场中；以及(c)周期性地调制TAG透镜成像系统的聚焦位置，而不宏观地调节TAG透镜成像系统中元件之间的间距，其中以至少30kHz的调制频率在包括工件的表面高度的聚焦范围内沿着聚焦轴方向在多个聚焦位置上周期性地调制聚焦位置。

Description

高速TAG透镜辅助3D计量和扩展景深成像
技术领域
本发明总体上涉及机器视觉检查系统，并且更具体地，涉及高速3D测量和扩展景深成像操作。
背景技术
精密机器视觉检查系统(或简称“视觉系统”)用于获得物体的精确尺寸测量，并检查各种其他物体特性。这种系统可以包括计算机、相机和光学系统，以及移动以允许工件通过和检查的精密工作台。一种示例性现有技术系统，其特征在于通用的“离线”精密视觉系统，该现有技术系统是可从位于伊利诺伊州奥罗拉的三丰美国公司(Mitutoyo AmericaCorporation，MAC)获得的基于PC的QUICK
Figure BDA0002314497050000011
系列视觉系统和/>
Figure BDA0002314497050000012
软件。QUICK/>
Figure BDA0002314497050000013
系列视觉系统和/>
Figure BDA0002314497050000014
软件的特征和操作在例如2003年1月出版的QVPAK 3D CNC视觉测量机用户指南和1996年9月出版的QVPAK 3D CNC视觉测量机操作指南中进行了总体描述，通过引用将其全部并入本文。这种类型的系统使用显微镜型光学系统并移动工作台，以便以各种放大率提供小的工件或相对大的工件的检查图像。
通用精密机器视觉检查系统通常是可编程来提供自动视频检查的。这种系统典型地包括GUI特征和预定义的图像分析“视频工具”，使得操作和编程可以由“非专家”操作者来执行。例如，美国专利6,542,180教导了一种使用包括使用各种视频工具在内的自动视频检查的视觉系统，该专利通过引用整体并入本文。
包括特定检查事件序列(即，如何采集每个图像以及如何分析/检查每个采集的图像)的机器控制指令通常被存储为特定于特定工件配置的“部件程序(part program)”或“工件程序(workpiece program)”。例如，部件加工程序定义了如何采集每个图像，诸如如何相对于工件定位相机、以什么光照水平、以什么放大水平等。此外，部件程序定义了如何分析/检查采集的图像，例如，通过使用一个或多个视频工具，诸如自动聚焦视频工具。
视频工具(或简称为“工具”)和其他图形用户界面特征可以手动用于完成手动检查和/或机器控制操作(在“手动模式”下)。它们的设置参数和操作也可以在学习模式期间被记录下来，以便创建自动检查程序或“部件程序”。视频工具可以包括例如边缘/边界检测工具、自动聚焦工具、形状或图案匹配工具、尺寸测量工具等。
在一些应用中，希望操作机器视觉检查系统的成像系统来收集具有扩展景深(Extended Depth Of Field，EDOF)的图像，使得景深大于光学成像系统在单个聚焦位置提供的景深。已知用于收集具有扩展景深的图像的各种方法。一种这样的方法是收集图像“堆栈(stack)”，图像“堆栈”由在整个聚焦范围内聚焦在不同距离处的多个全等或对齐的图像组成。从图像堆栈构建视场的镶嵌图像，其中视场的每个部分从特定图像中提取，该特定图像示出了具有最佳焦点的那个部分。然而，这种方法相对较慢。作为另一示例，长原等人("Flexible Depth of Field Photography",Proceedings of the European Conferenceon Computer Vision，2008年10月)公开了一种方法，其中单个图像在其曝光时间期间沿着多个焦距曝光。该图像相对模糊，但是包含了在多个焦距上采集的图像信息。使用已知或预定的模糊核对其进行解卷积，以获得具有扩展景深的相对清晰的图像。在长原描述的方法中，焦距通过沿着成像系统的光轴平移图像检测器来改变。因此，在曝光期间，不同的焦平面在不同的时间聚焦在探测器上。然而，这种方法相对缓慢且机械复杂。此外，当检测器用于采集固定焦点检查图像时，改变检测器位置可能对重复性和/或准确度有不利影响，这必须用于精度测量(例如，用于几微米数量级的准确度)等。期望一种用于提供扩展景深(EDOF)图像的改进方法，其可以高速地执行，而不依赖于光学组件的机械平移。
在各种应用中，还期望执行高速自动聚焦操作，以便于在静止或不间断移动的检查系统时进行高速3D测量。传统机器视觉检测系统中自动聚焦操作的速度受到相机在Z高度位置范围内运动的限制。需要利用收集图像堆栈的替代方法来改进自动聚焦操作，以便高速测量Z高度位置。
发明内容
公开了一种用于操作可调谐声学梯度(Tunable Acoustic Gradient，TAG)透镜成像系统的方法，该系统适于执行高速3D测量和扩展景深成像操作。
在各种实施方式中，用于操作TAG透镜成像系统的方法包括以下步骤：(a)提供智能光照脉冲控制例程/电路(Smart Lighting Pulse Control Routine/Circuit，SLPCRC)，SLPCRC提供与TAG透镜成像系统的离焦点(Points From Focus，PFF)模式相对应的第一曝光控制模式和与TAG透镜成像系统的扩展景深(EDOF)模式相对应的第二曝光控制模式；(b)将工件放置在TAG透镜成像系统的视场中；(c)周期性地调制TAG透镜成像系统的聚焦位置，而不宏观地调节TAG透镜成像系统中元件之间的间距，其中以至少30kHz的调制频率在包括工件的表面高度的聚焦范围内沿着聚焦轴方向在多个聚焦位置上周期性地调制聚焦位置；以及(d)通过激活PFF模式来操作TAG透镜成像系统。PFF模式操作步骤(d)包括：(d1)使用由被包括在SLPCRC中或输入到SLPCRC的PFF曝光控制数据集定义的PFF图像曝光序列来曝光图像堆栈，其中PFF图像曝光序列定义了在与周期性调制的聚焦位置的相应相位相对应的相应离散聚焦位置处采集的多个离散图像曝光增量，并且其中多个离散图像曝光增量各自由照明源频闪操作的相应实例确定，照明源频闪操作具有在PFF图像曝光序列中定义的相应受控定时；以及(d2)处理图像堆栈以确定或输出量化地指示与工件的表面形状相对应的三维表面坐标集的Z高度坐标图(例如，点云)。
在各种实施例中，图像堆栈被输入到被包括在SLPCRC中的帧抓取器，并且处理步骤(d2)在帧抓取器所包括的处理器中执行，使得Z高度坐标图从帧抓取器输出，而图像堆栈不从帧抓取器输出。
在各种实施例中，PFF图像曝光序列被配置为在小于1秒、小于500毫秒或小于250毫秒内采集图像堆栈。
在各种实施例中，相应受控定时被定义为PFF图像曝光序列中的预定序列，并且SLPCRC被配置为基于发起在PFF图像曝光序列中定义的预定序列的单个启动信号来提供整个图像堆栈。
在各种实施例中，SLPCRC的至少一部分被包括在TAG透镜成像系统的智能光照模块中，并且PFF曝光控制数据集的至少一部分被包括在智能光照模块中或者被输入到智能光照模块。
在各种实施例中，SLPCRC的至少一部分被包括在TAG透镜成像系统的帧抓取器中，并且PFF曝光控制数据集的至少一部分被包括在帧抓取器中或者被输入到帧抓取器。
在各种实施例中，在曝光步骤(d1)中，每个离散图像曝光增量由TAG透镜成像系统的帧抓取器根据PFF图像曝光序列进行图像采集的相应实例来确定。例如，根据PFF图像曝光序列，为图像采集的每个实例来触发相机。在一些实施例中，帧抓取器根据PFF图像曝光序列向相机发送触发信号。在其他实施例中，TAG透镜成像系统的智能光照模块根据PFF图像曝光序列向相机发送触发信号。
在各种实施例中，在曝光步骤(d1)中，每个离散图像曝光增量由TAG透镜成像系统的帧抓取器中根据PFF图像曝光序列进行图像存储的相应实例来确定。例如，相机被连续触发并且连续输出图像到帧抓取器，并且只有与多个离散图像曝光增量相对应的图像的相应实例被存储在帧抓取器中。
在各种实施例中，PFF模式操作步骤(d)在第一操作周期或时间执行，并且该方法还包括：(e)通过在第二操作周期或时间激活EDOF模式来操作TAG透镜成像系统。EDOF模式操作步骤(e)包括：(e1)使用由被包括在SLPCRC中或输入到SLPCRC的EDOF曝光控制数据集定义的EDOF图像曝光序列来曝光初步图像，其中EDOF图像曝光序列定义了在与周期性调制的聚焦位置的相应相位相对应的相应离散聚焦位置处采集的多个离散图像曝光增量，并且其中多个离散图像曝光增量各自由照明源频闪操作的相应实例确定，照明源频闪操作具有在EDOF图像曝光序列中定义的相应受控定时；以及(e2)处理初步图像以确定或输出在单个焦点位置具有比TAG透镜成像系统更大景深的EDOF图像，其中EDOF图像基本上聚焦在更大景深上。
在各种实施例中，初步图像被输入到被包括在SLPCRC中的帧抓取器，并且处理步骤(e2)在帧抓取器所包括的处理器中执行，使得EDOF图像从帧抓取器输出，而初步图像不从帧抓取器输出。
在各种实施例中，EDOF图像曝光序列被配置为在小于500毫秒、小于250毫秒、小于100毫秒或小于50毫秒内采集初步图像。
在各种实施例中，相应受控定时被定义为EDOF图像曝光序列中的预定序列，并且SLPCRC被配置为基于发起在EDOF图像曝光序列中定义的预定序列的单个启动信号来提供整个初步图像。
在各种实施例中，SLPCRC的至少一部分被包括在TAG透镜成像系统的智能光照模块中，并且EDOF曝光控制数据集的至少一部分被包括在智能光照模块中或被输入到智能光照模块。
在各种实施例中，SLPCRC的至少一部分被包括在TAG透镜成像系统的帧抓取器中，并且EDOF曝光控制数据集的至少一部分被包括在帧抓取器中或输入到帧抓取器。
在各种实施例中，该方法还包括重复EDOF模式操作步骤(e)以提供多个EDOF图像，并且在实时视频显示窗口中显示工件的多个EDOF图像，实时视频显示窗口设置在TAG透镜成像系统所包括的显示器上。
在又一实施例中，提供了一种用于产生工件的至少一个图像的可调谐声学梯度(TAG)透镜成像系统。TAG透镜成像系统包括：智能光照脉冲控制例程/电路(SLPCRC)，其提供与TAG透镜成像系统的离焦点(PFF)模式相对应的第一曝光控制模式和与TAG透镜成像系统的扩展景深(EDOF)模式相对应的第二曝光控制模式；物镜、TAG透镜、相机和帧抓取器；智能光照模块，其控制频闪照明光源；以及控制系统，被配置为控制频闪照明光源并控制TAG透镜周期性地调制TAG透镜成像系统的聚焦位置，而不宏观地调节TAG透镜成像系统中元件之间的间距。控制系统还被配置为：(a)控制TAG透镜以至少30kHz的调制频率在包括工件的表面高度的聚焦范围内沿着聚焦轴方向在多个聚焦位置上周期性地调制聚焦位置；(b)通过在第一操作周期或时间激活PFF模式来操作TAG透镜成像系统；以及(c)通过在第二操作周期或时间激活EDOF模式来操作TAG透镜成像系统。
附图说明
当结合附图时，通过参考以下详细描述，本发明的前述方面和许多伴随的优点将变得更容易理解，其中：
图1是示出通用精密机器视觉检查系统的各种典型组件的图，该系统适于结合根据示例性实施例的TAG透镜成像系统；
图2是机器视觉检查系统的控制系统部分和视觉组件部分的框图，该机器视觉检查系统结合与图1的TAG透镜成像系统相似的TAG透镜成像系统，并且包括本文公开的特征；
图3示出了包括TAG透镜的TAG透镜成像系统的一个实施例的示意图，该TAG透镜可适用于机器视觉检查系统并根据本文公开的原理操作；
图4是根据本文公开的原理由智能光照脉冲控制例程/电路(SLPCRC)控制的TAG透镜成像系统的光学成像系统部分和控制系统部分的框图；
图5是示出用于操作TAG透镜成像系统的方法的一个实施例的流程图，该系统包括提供与PFF模式相对应的第一曝光控制模式和与EDOF模式相对应的第二曝光控制模式的SLPCRC；
图6示出了根据本文公开的原理在PFF模式下操作的TAG透镜成像系统的一个实施例中可以使用的、图像曝光期间的焦高(focal height)的示例性时序图；
图7示出了被表示为与TAG透镜成像系统相关联的显示设备的屏幕截图的示例性图形用户界面，其允许用户控制(例如，用户输入)PFF曝光控制数据集，PFF曝光控制数据集定义用于在PFF模式下曝光图像堆栈的PFF图像曝光序列；
图8示出了根据本文公开的原理在EDOF模式下操作的TAG透镜成像系统的一个实施例中可以使用的、图像曝光期间的焦高的示例性时序图；
图9示出了被表示为与TAG透镜成像系统相关联的显示设备的屏幕截图的示例性图形用户界面，其允许用户控制(例如，用户输入)EDOF曝光控制数据集，EDOF曝光控制数据集定义用于在EDOF模式下曝光初步图像的EDOF图像曝光序列。
具体实施方式
图1是一个示例性机器视觉检查系统10的框图，机器视觉检查系统10适于结合根据本文所述原理的TAG透镜成像系统10。如本文所使用的，在机器视觉检查系统结合或体现TAG透镜成像系统的程度上，机器视觉检查系统和TAG透镜成像系统由相同的附图标记10表示，并且可以互换使用。机器视觉检查系统10包括视觉测量机12，视觉测量机12可操作地连接成与控制计算机系统14交换数据和控制信号。控制计算机系统14还可操作地连接成与监视器或显示器16、打印机18、操纵杆22、键盘24和鼠标26交换数据和控制信号。监视器或显示器16可以显示适于对机器视觉检查系统10的操作进行控制和/或编程的用户界面。应当理解，在各种实施例中，触摸屏平板等可以替代和/或冗余地提供计算机系统14、显示器16、操纵杆22、键盘24和鼠标26中的任何一个或全部的功能。
本领域技术人员将理解，控制计算机系统14通常可以由任何计算系统或设备组成。合适的计算系统或设备可以包括个人计算机、服务器计算机、小型计算机、大型计算机、包括任何前述内容的分布式计算环境等。这种计算系统或设备可以包括一个或多个处理器，这些处理器运行软件来执行本文描述的功能。处理器包括可编程通用或专用微处理器、可编程控制器、专用集成电路(ASIC)、可编程逻辑器件(PLD)等，或者这些器件的组合。软件可以存储在存储器中，诸如随机存取存储器(RAM)、只读存储器(ROM)、闪存等，或者这些组件的组合。软件也可以存储在一个或多个存储设备中，诸如基于光学的磁盘(optical-based disk)、闪存设备、或用于存储数据的任何其他类型的非易失性存储介质。软件可以包括一个或多个程序模块，这些程序模块包括执行特定任务或实施特定抽象数据类型的例程、程序、对象、组件、数据结构等。在分布式计算环境中，程序模块的功能可以组合或分布在多个计算系统或设备上，并经由有线或无线配置中的服务调用来访问。
视觉测量机12包括可移动工件工作台32和光学成像系统34，光学成像系统34可以包括变焦透镜或可互换透镜。变焦透镜或可互换透镜通常为光学成像系统34所提供的图像提供各种放大率。机器视觉检查系统10也在共同转让的美国专利7,454,053、7,324,682、8,111,905和8,111,938中进行了描述，其中每一个都通过引用整体并入本文。
图2是与图1的机器视觉检查系统类似的机器视觉检查系统10的控制系统部分120和视觉组件部分200的框图，并且包括本文描述的特征。如下文将更详细描述的，控制系统部分120用于控制视觉组件部分200。视觉组件部分200包括光学配件部分205，光源220、230和240(例如，频闪照明光源)，以及具有中央透明部分212的工件工作台32。工件工作台32可控制地沿着位于通常与工件20所在的工作台表面相平行的平面中的X和Y轴移动。光学配件部分205包括相机系统260和物镜系统250。根据各种实施例，物镜系统250包括具有可变焦距的可调谐声学梯度(TAG)透镜，这将在下面更全面地描述。光学配件部分205还可以包括具有透镜286和288的转台透镜配件(turret lens assembly)280。对于转台透镜配件可替换地是，可以包括固定的或手动可互换的放大率改变透镜或变焦透镜配置等。
将工件20或保持多个工件20的托盘(tray)或夹具(fixure)放置在工件工作台32上，将使用机器视觉检查系统10对工件20进行成像。可以控制工件工作台32相对于光学配件部分205移动，使得包括TAG透镜的物镜系统250在工件20上的位置之间和/或多个工件20之间移动。工作台灯220、同轴灯230和表面灯240(例如，频闪照明光源)(统称为光源)中的一个或多个可以分别发射源光222、232和/或242，以照射一个或多个工件20。光源230可以沿着包括反射镜290的路径发射光232。源光作为工件光255被反射或透射，并且用于成像的工件光穿过包括TAG透镜的物镜系统250和转台透镜配件280，并且被相机系统260聚集。由相机系统260捕获的(多个)工件20的图像在信号线262上输出到控制系统部分120。光源220、230和240可以分别通过信号线或总线221、231和241连接到控制系统部分120。为了改变图像放大率，控制系统部分120可以沿着轴线284旋转转台透镜配件280，以通过信号线或总线281选择转台透镜。
如图2所示，在各种示例性实施例中，控制系统部分120包括控制器125、输入/输出接口130、存储器140、工件程序生成器和执行器170以及电源部分190。这些组件中的每一个，以及下面描述的附加组件，可以通过一个或多个数据/控制总线和/或应用编程接口互连，或者通过各种元件之间的直接连接互连。
输入/输出接口130包括成像控制接口131、运动控制接口132、光照控制接口133和透镜控制接口134。成像控制接口131可以包括智能光照脉冲控制例程/电路(SLPCRC)131e，其提供与TAG透镜成像系统的PFF模式相对应的第一曝光控制模式和与TAG透镜成像系统的EDOF模式相对应的第二曝光控制模式。透镜控制接口134可以包括透镜控制器，透镜控制器包括透镜聚焦驱动例程/电路、透镜聚焦定时例程/电路、透镜聚焦校准例程/电路等。在各种实施方式中，透镜控制器生成主定时信号(master timing signal)(见图4)，主定时信号根据本文公开的原理来控制SLPCRC的操作。下面将参考图3-图9进一步描述与SLPCRC相关联的操作和组件。
运动控制接口132可以包括位置控制元件132a和速度/加速度控制元件132b，尽管这些元件可以合并和/或不可区分。
光照控制接口133包括光照控制元件133a、133n和133fl，这些光照控制元件控制例如机器视觉检查系统10的各种对应的光源的选择、功率、通断开关和频闪脉冲定时。例如，光照控制元件133a、133n或133fl可以是控制TAG透镜成像系统10的频闪照明光源的智能光照模块(图4中的410)。在各种实施例中，SLPCRC 131e的至少一部分可以被包括在TAG透镜成像系统的这种智能光照模块中，这将在下面参考图4更全面地描述。
存储器140可以包括图像文件存储部分141、边缘检测存储部分140ed、可以包括一个或多个部件程序等的工件程序存储部分142、以及视频工具部分143。视频工具部分143包括视频工具部分143a和为每个对应的视频工具确定GUI、图像处理操作等的其他视频工具部分(例如，143n)，以及支持自动、半自动和/或手动操作的感兴趣区域(Region OfInterest，ROI)生成器143roi，所述自动、半自动和/或手动操作定义了可在视频工具部分143中包括的各种视频工具中操作的各种ROI。视频工具部分还包括自动聚焦视频工具143af，工具143af确定用于焦高测量操作的GUI、图像处理操作等。在本公开的上下文中，并且如本领域普通技术人员所知，术语“视频工具”通常指代机器视觉用户可以通过相对简单的用户界面(例如，图形用户界面、可编辑参数窗口、菜单等)实施的相对复杂的自动或编程操作集，而无需创建视频工具中包括的操作的逐步序列或借助通用的基于文本的编程语言等。例如，视频工具可以包括复杂的、预编程的图像处理操作和计算的集合，这些操作和计算通过调节控制这些操作和计算的一些变量或参数而在特定实例中应用和定制。除了基础的操作和计算之外，视频工具还包括允许用户调节视频工具的特定实例的那些参数的用户界面。例如，许多机器视觉视频工具允许用户通过使用鼠标的简单“手柄拖动(handledragging)”操作来配置图形感兴趣区域(ROI)指示符，以便定义要由视频工具的特定实例的图像处理操作分析的图像的子集的位置参数。应当注意，可视的用户界面特征有时被称为其中隐含包括基础操作的视频工具。
工作台灯220、同轴灯230和表面灯240的信号线或总线221、231和241分别都连接到输入/输出接口130。来自相机系统260的信号线262连接到输入/输出接口130。除了传送图像数据，信号线262还可以传送来自控制器125的、发起图像采集的信号。
一个或多个显示设备136(例如，图1的显示器16)和一个或多个输入设备138(例如，图1的操纵杆22、键盘24和鼠标26)也可以连接到输入/输出接口130。显示设备136和输入设备138可用于显示用户界面，用户界面可以包括可用于执行3D测量或检查操作、和/或创建和/或修改部件程序、查看相机系统260所捕获的图像、和/或直接控制视觉组件部分200的各种图形用户界面(GUI)特征。显示设备136可以显示与SLPCRC 131e相关联的用户界面特征，这将在下面参考图7和图9更全面地描述。
在各种示例性实施例中，当用户利用机器视觉检查系统10为工件20创建部件程序时，用户通过以学习模式操作机器视觉检查系统10来生成部件程序指令，以提供期望的图像采集训练序列。例如，训练序列可以包括：在视场(Field Of View，FOV)中定位代表性工件的特定工件特征，设置光照水平，聚焦或自动聚焦，采集图像，以及提供应用于图像的检查训练序列(例如，在该工件特征上使用视频工具之一的实例)。学习模式进行操作使得(多个)序列被捕获或记录并被转换成对应的部件程序指令。当运行部件程序时，这些指令将使机器视觉检查系统再现训练的图像采集，并使得检查操作自动检查运行模式工件或工件上的特定工件特征(即对应位置的对应特征)，该特定工件特征与创建部件程序时使用的代表性工件相匹配。本文公开的使用SLPCRC(智能光脉冲控制例程/电路)的系统和方法在这种学习模式和/或手动操作期间是有用的，因为用户可以在导航工件以便视觉检查和/或工件程序创建时实时地看到PFF三维图像或EDOF视频图像。用户不需要根据工件上各种微观特征的高度不断地重新聚焦高放大率图像，这可能是乏味和耗时的，尤其是在高放大率下。
下面对图3和图4的描述解释了包括TAG透镜的TAG透镜成像系统10的各种操作原理和应用。美国专利9,930,243、9,736,355、9,726,876、9,143,674、8,194,307、7,627,162以及美国专利申请公开2017/0078549、2018/0143419更详细地描述了这种操作原理和应用的进一步解释和理解以及各种方面，通过引用将其中的每一个的全部内容并入本文。
图3是TAG透镜成像系统300的一个实施例的示意图，TAG透镜成像系统300可以适用于机器视觉检查系统10并根据本文公开的原理操作。TAG透镜成像系统300包括光源330(其可配置为在TAG透镜成像系统300的视场中照射工件20)(例如，频闪照明光源)、物镜350、中继透镜351、中继透镜352、具有可变焦距的TAG透镜370、镜筒透镜386、以及相机系统360。TAG透镜(或可互换地称为TAG折射率透镜)370是高速可变焦距透镜，其使用流体介质中的声波来调制聚焦位置，并且可以以高频周期性地扫描焦距范围。这种透镜可以通过文章“High-speed varifocal imaging with a tunable acoustic gradient index ofrefraction lens”(Optics Letters,Vol.33,No.18，2008年9月15日)的教导来理解，通过引用将其全部并入本文。TAG梯度折射率透镜和相关的可控信号生成器可从例如新泽西州普林斯顿的TAG光学公司获得。例如，可从TAG光学公司获得的SR38系列透镜能够调制高达1.0MHz。
在操作中，光源330可配置为沿着包括反射镜390的路径向工件20的表面发射源光332。物镜350接收工件光355，并将工件光355输出到中继透镜351，工件光355包括聚焦在靠近工件20的聚焦位置FP处的工件光。中继透镜351接收工件光355，并将其输出到中继透镜352。中继透镜352接收工件光355，并将其输出到TAG透镜370。中继透镜351和中继透镜352一起在物镜350和TAG透镜370之间提供4f光学中继，以便为工件20的每个Z高度和/或聚焦位置FP提供恒定的放大率。TAG透镜370接收工件光355，并将其输出到镜筒透镜386。TAG透镜370是电子可控的，以在一次或多次图像曝光期间改变TAG透镜成像系统300的聚焦位置FP。聚焦位置FP可以在由聚焦位置FP1和聚焦位置FP2限定的范围R内移动。在一些实施例中，范围R可以大至10mm(对于1X物镜350)。应当理解，在一些实施例中，范围R可以由用户选择，例如，在由SLPCRC 131e支持的PFF模式或EDOF模式中。
在各种实施例中，TAG透镜成像系统300包括智能光照脉冲控制例程/电路(SLPCRC)131e，其被配置为控制TAG透镜370周期性地调制TAG透镜成像系统300的聚焦位置FP，而不宏观地调节TAG透镜成像系统300中元件之间的间距。也就是说，物镜350和工件20之间的距离不需要为了改变聚焦位置FP而调节。聚焦位置FP以至少30kHz的调制频率在包括被测量/成像的工件20的表面高度的聚焦范围R内沿着聚焦轴方向在多个聚焦位置上周期性地调制。在一些实施例中，TAG透镜370可以非常快速地调节或调制聚焦位置FP(例如，周期性地，以至少70kHz、400kHz或更高的速率)。在一些实施例中，可以使用周期性信号来驱动TAG透镜370，使得聚焦位置FP以高频随时间正弦地调制。
根据各种实施例，在SLPCRC 131e的控制下，TAG透镜成像系统300可以与离焦点(PFF)模式相对应的第一曝光控制模式和与扩展景深(EDOF)模式相对应的第二曝光控制模式来操作。
在PFF模式下，操作TAG透镜成像系统300以使用由被包括在SLPCRC131e中或被输入到SLPCRC 131e的PFF曝光控制数据集定义的曝光序列来曝光图像的堆栈(图像堆栈)。图6和图7中示出了样本PFF图像曝光序列，下面将更全面地描述。PFF图像曝光序列定义了在与周期性调制的聚焦位置的相应相位相对应的相应离散聚焦位置FP处采集的多个离散图像曝光增量。多个离散图像曝光增量各自由照明源频闪操作的相应实例确定，照明源频闪操作具有在PFF图像曝光序列中定义的相应受控定时。图像堆栈被处理以确定或输出Z高度坐标图(例如，点云)，其定量地指示与工件20的表面形状相对应的三维表面坐标集。
在EDOF模式下，操作TAG透镜成像系统300，以使用由被包括在SLPCRC 131e中或被输入到SLPCRC 131e的EDOF曝光控制数据集定义的曝光序列来曝光初步图像。在图8和图9中示出了样本EDOF图像曝光序列，并且将在下面更全面地描述。EDOF图像曝光序列定义了在与周期性调制的聚焦位置的相应相位相对应的相应离散聚焦位置FP处采集的多个离散图像曝光增量。多个离散图像曝光增量各自由照明源频闪操作的相应实例确定，照明源频闪操作具有在EDOF图像曝光序列中定义的相应受控定时。初步图像被处理以确定或输出在单个焦点位置中具有比TAG透镜成像系统更大景深的EDOF图像(例如，在各种实施例中，大10-20倍或更多)，其中EDOF图像基本上聚焦在更大景深上。在各种实施例中，可以以高速率提供EDOF图像，适于近似实时地显示。例如，EDOF图像曝光序列可以被配置为在小于500毫秒、小于250毫秒、小于100毫秒、或小于50毫秒内采集初步图像。
图4是TAG透镜成像系统10(300)的框图，包括光学成像系统34、工件工作台32和可操作为TAG透镜成像系统10的控制系统的SLPCRC131e。在各种实施方式中，TAG透镜成像系统10可以适用于机器视觉主机系统，或者用作独立系统，并且可以根据本文和所结合的参考文献中公开的原理来操作。
光学成像系统34包括图像检测器260(例如，相机)、一个或多个场透镜150(例如，图3中的物镜350以及中继透镜351和352)以及TAG透镜370。SLPCRC 131e可以包括系统主机电路和例程401，其可以例如设置在主机PC中。系统主机电路和例程401包括用户界面输入/输出模块402(例如，图1中的各种显示设备或输入设备16、18、22、24、26)和模式控制模块403，模式控制模块403被配置为控制TAG透镜成像系统10在PFF模式和EDOF模式下的操作。在一些实施例中，模式控制模块403可以负责基于PFF曝光控制数据集来定义PFF图像曝光序列，并且负责基于EDOF曝光控制数据集来定义EDOF图像曝光序列。在一些实施例中，用户可以使用如图7和图9所示的示例性图形用户界面来定义PFF曝光控制数据集或EDOF曝光控制数据集，基于此，使用合适算法的SLPCRC 131e可以分别生成对应的PFF图像曝光序列或对应的EDOF图像曝光序列。PFF图像曝光序列定义了在与周期性调制的聚焦位置的相应相位相对应的相应离散聚焦位置FP处采集的多个离散图像曝光增量，并且多个离散图像曝光增量各自由照明源频闪操作的相应实例来确定，照明源频闪操作具有在PFF图像曝光序列中定义的相应受控定时。EDOF图像曝光序列定义了在与周期性调制的聚焦位置的相应相位相对应的相应离散聚焦位置处采集的多个离散图像曝光增量，并且多个离散图像曝光增量各自由照明源频闪操作的相应实例来确定，照明源频闪操作具有在EDOF图像曝光序列中定义的相应受控定时。
SLPCRC 131e可以被配置为使得，在PFF模式或EDOF模式下，例如，经由用户接口输入/输出模块402的启动信号404的输入可以发起PFF图像序列或EDOF图像序列的预定序列，以提供PFF的整个图像堆栈或EDOF模式的整个初步图像，这将在下面更全面地描述。
在一些实施方式中，工件工作台32可以包括相对于光学成像系统34移动工件20的(可选)运动控制系统。在这样的实施方式中，系统主机电路和例程401可以包括工件程序生成器和执行器(未示出)，其操作运动控制系统和TAG透镜成像系统10的其他特征，以自动检查工件20，如在被并入的参考文献中所公开的。
SLPCRC 131e还可以包括图像采集存储和处理电路和例程405、透镜控制器408(例如，图2中的透镜控制接口134)和智能光照模块410。透镜控制器408可以包括透镜聚焦驱动例程/电路、透镜聚焦定时例程/电路、透镜聚焦校准例程/电路等，其可以用于控制TAG透镜370在PFF模式或EDOF模式下的操作。如前所述，TAG透镜370的光焦度(optical power)响应于谐振驱动信号(例如，作为来自透镜控制器408的信号线419上的输入)以高频连续地变化。在各种实施方式中，驱动信号是处于TAG透镜370的操作的谐振频率的正弦AC信号。光学成像系统34的有效聚焦位置EFP相应地改变。在TAG透镜370的光焦度的正弦变化期间，与有效聚焦位置EFP相对应的焦距在对应的时间或“相位定时”是可用的。在各种实施例中，透镜控制器408生成主定时信号409(例如，70kHz)，主定时信号409根据本文公开的原理控制SLPCRC 131e的操作。在图4所示的实施例中，主定时信号409被输入到智能光照模块410。
智能光照模块410包括定时和控制模块411、脉冲驱动器412、脉冲管理器413和高功率频闪照明源414(例如，图2中的光源220、230和240)。高功率频闪照明源414可以在调制循环的特定相位或“相位定时”被频闪，以获得聚焦在对应的有效聚焦位置EFP或聚焦距离处的图像曝光。基于从透镜控制器408输入的主定时信号409，脉冲驱动器412可以根据由上述系统主机电路和例程401定义的PFF图像曝光序列或EDOF图像曝光序列来驱动高功率频闪照明源414。在这点上，PFF图像曝光序列可以存储在PFF模式查找表(Look Up Table，LUT)存储装置415中，并且EDOF图像曝光序列可以存储在EDOF模式查找表(LUT)存储装置416中，两者都在脉冲管理器413的控制下。例如，多个PFF图像曝光序列和多个这样的EDOF图像曝光序列可以存储在PFF模式LUT存储装置415和EDOF模式LUT存储装置416中，响应于从系统主机电路和例程401输入的启动信号404，可以从其中选择并运行一个PFF图像曝光序列或一个EDOF图像曝光序列。脉冲管理器413还可以包括图像帧参数存储装置417，其被配置为存储一个或多个PFF曝光控制数据集和存储一个或多个EDOF曝光控制数据集，其中，基于PFF曝光控制数据集可以定义一个或多个PFF图像曝光序列，基于EDOF曝光控制数据集可以定义一个或多个EDOF图像曝光序列。
脉冲驱动器412与脉冲管理器413协作地驱动高功率频闪照明源414，并且为此，脉冲驱动器412包括用于控制各种图像曝光的电路和例程，这些图像曝光与TAG透镜370根据PFF图像曝光序列或EDOF图像曝光序列提供的周期性聚焦位置调制同步。在一些实施方式中，脉冲驱动器412和脉冲管理器413可以合并和/或不可区分。脉冲驱动器412可以控制例如高功率频闪照明源144的选择、功率、通断开关和频闪脉冲定时。
如图4所示，当高功率频闪照明源144被驱动时，频闪光154作为工件光155从/穿过工件20反射或透射。工件光155穿过(多个)场透镜150和TAG透镜370，并被图像检测器260(例如，相机)聚集以进行测量或成像。在各种实施方式中，图像检测器260可以是已知的电荷耦合器件(CCD)图像传感器或其他形式的相机。成像光路，例如沿着光路OA的成像光路，包括将工件成像光155从工件20传送到图像检测器260的各种光学组件。例如，(多个)场透镜150、TAG透镜370和图像检测器260都可以布置成它们的光轴对准与工件20的表面相交的同一光轴OA。然而，应该理解，该实施方式仅是示例性的，而不是限制性的。更一般地，成像光路可以包括反射镜和/或其他光学元件，并且可以采取根据已知原理使用图像检测器260对工件20成像的任何可操作形式。
包括工件20的图像(“图像数据”)并且由图像检测器260捕获的工件图像曝光在信号线422上被输出到成像采集存储和处理电路和例程405。信号线422上图像数据的输出可以响应于信号线423上从图像采集存储和处理电路和例程405输出到图像检测器260的控制信令和通信。智能光照模块410的定时和控制模块411基于从透镜控制器408输入的主定时信号409并基于PFF图像曝光序列或EDOF图像曝光序列，生成图像定时信号420和组(图像组)定时信号430，并将其输出到图像采集存储和处理电路和例程405。在各种实施例中，图像采集存储和处理电路和例程405可以实施为现场可编程门阵列(FPGA)集成电路。在各种实施例中，图像采集存储和处理电路和例程405包括帧抓取器(framegrabber)，帧抓取器被配置为从由图像检测器260获得的视频流中捕捉(即，“抓取”)各个帧(图像)，并存储所捕捉的帧(图像)。来自智能光照模块410的图像定时信号420和组(图像组)定时信号430可以控制帧抓取器捕获和/或存储各个帧(图像)的定时。
图像采集存储和处理电路和例程405可以包括PFF模式处理模块441和EDOF模式处理模块442。PFF模式处理模块441包括用于在PFF模式期间使用例如图像采集存储和处理电路和例程405的帧抓取器并根据从智能光照模块410输入的图像定时信号420和组定时信号430来控制图像(帧)的堆栈(组)的图像采集、存储和处理的电路/例程。EDOF模式处理模块442包括用于在EDOF模式期间使用例如帧抓取器并根据图像定时信号420和组定时信号430来控制一组图像(帧)的图像采集、存储和处理的电路/例程。
如上所述，当TAG透镜成像系统10在PFF模式下操作时，根据PFF图像曝光序列来曝光图像的堆栈(图像堆栈)，并且图像堆栈被处理以确定或输出量化地指示与工件20的表面形状相对应的三维表面坐标集的Z高度坐标图(例如，点云)。
已知的基于对比度的聚焦分析方法可用于分析图像堆栈并确定它们是否聚焦。可替换地，或者另外，这种基于对比度的聚焦分析方法可以用于从在对应的一组已知相位定时采集的一组图像中识别最佳聚焦图像，并输出“最佳聚焦”相位定时值。可以利用将相应的Z高度或有效聚焦位置EFP与相应的“最佳聚焦”相位定时相关联的Z高度(有效聚焦位置EFP)校准数据，并且可以基于与其“最佳聚焦”图像相关联的相位定时来确定工件20的成像表面部分的表面高度坐标。因此，PFF模式下的TAG透镜成像系统10可用于通过扫描工件20的表面形状来测量或描绘工件20的表面形状的三维表面坐标。在并入的参考文献中更详细地描述了这种测量过程的各种方面。
在各种实施方式中，系统主机电路和例程401的用户界面输入/输出模块402可以用于输出在PFF模式下确定的Z高度坐标图。包括显示的这种图像曝光和处理可以由PFF模式处理模块441控制。在一些实施方式中，图像堆栈可以被输入到在SLPCRC 131e中包括的帧抓取器，并且图像堆栈的处理可以在帧抓取器所包括的处理器中执行，使得Z高度坐标图从帧抓取器输出(例如，用于在用户界面输入/输出模块402上显示)，并且图像堆栈不从帧抓取器输出。在各种实施方式中，PFF图像曝光序列被配置为诸如在小于1秒、小于500毫秒或小于250毫秒内以高速率采集图像堆栈。在各种实施方式中，用于采集图像堆栈的多个离散图像曝光增量的相应受控定时被定义为PFF图像曝光序列中的预定序列，并且SLPCRC131e被配置为基于发起该预定序列的单个启动信号404来提供整个图像堆栈。
在各种实施方式中，SLPCRC 131e的至少一部分被包括在TAG透镜成像系统10的智能光照模块410中，并且定义PFF图像曝光序列的PFF曝光控制数据集的至少一部分被包括在智能光照模块410中或者被输入到智能光照模块410(例如，在图像帧参数存储装置417中)。在各种其他实施方式中，SLPCRC 131e的至少一部分可以被包括在TAG透镜成像系统10的帧抓取器中(例如，在图像采集存储和处理电路和例程405的帧抓取器中)，并且PFF曝光控制数据集的至少一部分被包括在帧抓取器中或者被输入到帧抓取器。
图像检测器260可以在TAG透镜370的调制循环的特定相位或“相位定时”被“频闪”，以获得聚焦在对应的有效聚焦位置EFP或聚焦距离的图像曝光。控制信令和通信，诸如在特定图像定时“频闪”图像检测器260的触发信号，可以在信号线423上从图像采集存储和处理电路和例程405输出到图像检测器260。在一些实施方式中，PFF模式处理模块441和EDOF模式处理模块442各自可以包括定时控制器，使得相机图像曝光定时与TAG透镜聚焦位置调制的期望相位定时和/或根据PFF图像曝光序列或EDOF图像曝光序列的照射定时同步。例如，在曝光PFF图像堆栈时，每个离散图像曝光增量可以由TAG透镜成像系统10的帧抓取器根据PFF图像曝光序列进行图像采集的相应实例来确定。在各种实施方式中，可以根据PFF图像曝光序列，针对图像采集的每个实例来触发图像检测器(例如，相机)260。图像检测器260的触发信号可以从帧抓取器和/或TAG透镜成像系统10的智能光照模块410发送。
在一些实施方式中，在曝光PFF图像堆栈时，由TAG透镜成像系统10的帧抓取器中根据PFF图像曝光序列进行图像存储(记录)的相应实例来确定每个离散图像曝光增量。例如，图像检测器(例如，相机)260可以被连续触发以连续地向帧抓取器输出图像，但是只有与根据PFF图像曝光序列的多个离散图像曝光增量相对应的图像的相应实例被存储(记录)在帧抓取器中。
如上所述，当TAG透镜成像系统10在EDOF模式下操作时，使用EDOF图像曝光序列来曝光初步图像，并且初步图像被处理以确定或输出在单个焦点位置中具有比TAG透镜成像系统10更大景深的EDOF图像，其中EDOF图像基本上聚焦在整个更大景深上。
已知的积分和去卷积方法可用于在图像积分时间期间曝光初步图像，同时调制聚焦范围R内的聚焦位置FS，并去除模糊图像成分，以提供基本上聚焦通过更大景深的EDOF图像。在并入的参考文献中更详细地描述了这种EDOF成像过程的各种方面。
在各种实施方式中，系统主机电路和例程401的用户界面输入/输出模块402可以用于近似实时地输出工件20的EDOF图像。在一些实施方式中，可以在耦合到用户界面输入/输出模块402的实时视频显示窗口中提供和显示多个EDOF图像。
这种图像曝光和处理可以由EDOF模式处理模块442控制。在一些实施方式中，初步图像可以被输入到在SLPCRC 131e中包括的帧抓取器，并且初步图像的处理可以在帧抓取器所包括的处理器中执行，使得EDOF图像从帧抓取器输出(例如，用于在用户界面输入/输出模块402上显示)，并且初步图像不从帧抓取器输出。在各种实施方式中，EDOF图像曝光序列被配置为诸如在小于500毫秒、小于250毫秒、小于100毫秒、或小于50毫秒内以高速率采集初步图像。在各种实施方式中，用于采集初步图像的多个离散图像曝光增量的相应受控定时被定义为EDOF图像曝光序列中的预定序列，并且SLPCRC 131e被配置为基于发起该预定序列的单个启动信号404来提供整个初步图像。
在各种实施方式中，SLPCRC 131e的至少一部分被包括在TAG透镜成像系统10的智能光照模块410中，并且定义EDOF图像曝光序列的EDOF曝光控制数据集的至少一部分被包括在智能光照模块410中或被输入到智能光照模块410(例如，在图像帧参数存储装置417中)。在各种实施方式中，SLPCRC 131e的至少一部分可以被包括在TAG透镜成像系统10的帧抓取器中(例如，在图像采集存储和处理电路和例程405的帧抓取器中)，并且EDOF曝光控制数据集的至少一部分被包括在帧抓取器中或者被输入到帧抓取器。
应当注意，上面参考图4描述的SLPCRC 131e的各种组件、电路、例程和模块中的每一个可以通过一个或多个数据/控制总线和/或应用编程接口互连，或者通过各种元件之间的直接连接互连。虽然在图4中SLPCRC 131e被示出为包括系统主机电路和例程401、图像采集存储和处理电路和例程405、透镜控制器408和智能光照模块410，或被示出为由系统主机电路和例程401、图像采集存储和处理电路和例程405、透镜控制器408和智能光照模块410形成，但是SLPCRC 131e可以以任何非分布式或分布式的方式被包括在这些元件中的一个或多个中，或者被包括在TAG透镜成像系统10的一个或多个其他元件中(图4中未示出)，以支持TAG透镜成像系统10根据本文公开的原理在PFF模式和EDOF模式下的操作。
图5是示出用于操作TAG透镜成像系统10的方法的一个实施例的流程图500，TAG透镜成像系统10包括提供PFF模式和EDOF模式的SLPCRC131e。
在步骤501中，提供智能光照脉冲控制例程/电路(SLPCRC)131e，其支持与TAG透镜成像系统10的PFF模式相对应的第一曝光控制模式和与TAG透镜成像系统10的EDOF模式相对应的第二曝光控制模式。
在步骤503中，将工件20放置在TAG透镜成像系统10的视场中。
在步骤505中，周期性地调制TAG透镜成像系统10的聚焦位置FP，而不宏观地调节TAG透镜成像系统10中元件之间的间距。以至少30kHz的调制频率在包括工件20的表面高度的聚焦范围R内沿着聚焦轴方向在多个聚焦位置FP上周期性地调制聚焦位置FP。
在步骤507中，通过在第一操作周期或时间激活PFF模式来操作TAG透镜成像系统10。
在步骤509中，可选地，通过在第二操作周期或时间激活EDOF模式来操作TAG透镜成像系统10。
图6示出了根据本文公开的原理在PFF模式下操作的TAG透镜成像系统10的一个实施例中可以使用的、图像曝光期间的焦高的示例性时序图600A。时序图600A示出了可变焦距TAG透镜成像系统10的周期性调制的聚焦位置MFP，聚焦位置MFP在聚焦范围FR上沿着聚焦轴方向(如沿着焦平面Z位置轴所示)在多个聚焦位置FP上周期性地调制(如沿着时间轴所示)。时序图600A另外将相机(例如，图像检测器260)的曝光时间示出为“相机帧i＝0”、“相机帧i＝128”和“相机帧i＝255”(同时未示出这些已示出的相机帧之间的相机帧i＝1-127和i＝129-254，以省略不必要的细节)。一般地，时序图600A表示由被包括在SLPCRC131e中或输入到SLPCRC131e的PFF曝光控制数据集定义的PFF图像曝光序列产生的图像的堆栈(图像堆栈)的曝光。PFF图像曝光序列定义了多个离散图像曝光增量(例如，在图6所示的示例中的EI1-EI50、EI1a-EI50a和EI1b-EI50b)，这些离散图像曝光增量是在与周期性调制的聚焦位置MFP的相应相位相对应的相应离散聚焦位置FP处采集的。例如，分别在聚焦位置Z1处采集EI1-EI50，在聚焦位置Z2处采集EI1a-EI50a，以及在聚焦位置Z3处采集EI1b-EI50b。参考缩写EI可以包括索引数字“i”，其指定与特定聚焦位置相对应的特定“第i个”曝光增量EI。如上所述，多个离散图像曝光增量EI1-EI50、EI1a-EI50a和EI1b-EI50b各自由照明源频闪操作的相应实例(在图6中表示为放置在代表周期性调制的聚焦位置MFP的正弦波上的圆圈)确定，该实例可以是照明源频闪操作、相机快门频闪操作、帧抓取器采集/存储操作等的实例，并且具有在PFF图像曝光序列中定义的相应受控定时(图6中的T1-T50、T1a-T50a和T1b-T50b)。
图7示出了被表示为与TAG透镜成像系统相关联的显示设备的屏幕截图的示例性图形用户界面(GUI)700(例如，用户界面输入/输出模块402)，其允许用户控制(例如，用户输入)PFF曝光控制数据集，PFF曝光控制数据集定义用于在PFF模式下曝光图像堆栈的PFF图像曝光序列。GUI 700包括开关702，其被选择以在PFF模式下激活TAG透镜成像系统10。GUI 700包括图像帧参数栏704，在示出的示例中，图像帧参数栏704包括PFF图的Zi步长(“Nzi”)栏706、每个Zi步长的曝光脉冲(“Npul”)栏707和每个Zi的帧(“Nfperzi”)栏708。在各种实施例中，用于定义PFF图像曝光序列的PFF曝光控制数据集可以是参数集，诸如在图7的示例中在图像帧参数栏704中输入的那些参数。
在图7的GUI 700中，用户/操作者可以在PFF图的Zi步长(“Nzi”)栏706中定义为图像堆栈定义的Zi步长的总数，在该示例中为“256”。在各种示例中，Nzi数对应于帧脉冲表710的“表行(Table Row)”栏718中所示的行数，如下所述。在各种实施例中，与TAG透镜成像系统10的特定焦高(“Zi”)处的至少一个曝光脉冲相对应地执行帧曝光，并且每个Zi步长的曝光脉冲的数量在每个Zi步长的曝光脉冲(“Npul”)栏707中示出。当按Zi定义多个曝光脉冲时，来自多个曝光脉冲的结果可以被组合(例如，被平均，或者来自不同的X-Y位置的结果被镶嵌等)以形成每个Zi一个图像(帧)。图7示出了707中的Npul＝50，这对应于用于提供每个Zi 50个图像曝光增量的50个曝光脉冲的实例(例如，在图6所示的示例中，Z1处的EI1-EI50、Z2处的EI1a-EI50a和Z3处的EI1b-EI50b)。用户/操作者可以在GUI 700的每个Zi的帧(“NfperZi”)栏708中指定每个Zi至少一个帧，其可以被组合(例如，被平均)以形成每个Zi一个图像。在示出的示例中，用户/操作员指定NfperZi＝1，这意味着每个Zi采集一帧，如图6所示。
在各种实施例中，由PFF曝光控制数据集定义的PFF图像曝光序列以图7中的帧脉冲表710的形式表示，帧脉冲表710针对形成图像堆栈的总数个图像(例如，由相机帧i＝0-255组成的总共“256”个图像，如“表行”栏718所示)中的每一个图像，列出了“Z步长，i＝”712、脉冲宽度714和暂停716，全部以纳秒(nS)为单位。因此，在图7的示例中，PFF图像曝光序列定义了256个帧(图像)，这些帧形成图像的一个堆栈，索引为Z步长，i＝0-255(在712中)，其中在每个Z步长(在每个Z聚焦位置)的图像曝光与特定的光脉冲宽度(在714中)和光脉冲之前的暂停(在716中)相关联。
另外再次参考图6，时序图600A下方提供了脉冲图600B，脉冲图600B示出了从透镜控制器408(见图4)输出的主定时信号602(例如，70kHz)和用于在PFF模式下曝光图像堆栈(例如，256个图像)的图像曝光脉冲604的定时。脉冲图600B示出了第一聚焦位置“Z步长，i＝0”(在712中)处的图像曝光被主定时信号602触发，随后是对应的暂停时段(在716中)，随后是具有限定脉冲宽度的曝光(在714中)，对于次数“Npul＝50”(即，在“Z步长，i＝0”处重复图像曝光的次数)来说，在同一聚焦位置(“Z步长，i＝0”)处的下一图像曝光被另一主定时信号602触发之前，在该具有限定脉冲宽度的曝光之后是空闲时段。然后，“i”增加1，并且根据主定时信号602和图像曝光脉冲604的图像曝光序列在“Z步长，i＝1”处重复“Npul＝50”次。以类似的方式，对于“Z步长，i＝2–255”，重复相同的图像曝光序列。
在图6中，时序图600A中图示的PFF图像曝光序列可以在时间606处由单个启动信号404(见图4)启动，并且“相机帧i＝0”的帧曝光可以在时间608处由SLPCRC 131e(图4)生成的图像定时信号420和组定时信号430启动。在曝光相机帧i＝1-127之后(未示出)，在时间610处，“相机帧i＝128”的帧曝光可以由图像定时信号420启动。在相机帧i＝129-254被曝光之后(未示出)，在时间612处，“相机帧i＝255”的帧曝光可以由图像定时信号420启动。在整个图像堆栈(例如，在Z＝0-255处总共256个图像)被曝光之后，PFF图像曝光序列在时间614处基于组定时信号430而结束。一般地，图像定时信号420控制图像曝光(或帧曝光)的启动和/或结束，并且组定时信号430控制启动和/或结束在PFF模式中使用的图像的堆栈(或组)的曝光。在图4所示的实施例中，与PFF图像曝光序列相对应的成像定时信号420和组定时信号430由智能光照模块412的定时和控制模块411生成，尽管根据本文公开的原理，这些定时信号420和430可以由与SLPCRC 131e相关联的任何组件生成。
在一些实施例中，例如在帧脉冲表710中表示的PFF图像曝光序列可以由用户/操作者通过例如填写帧脉冲表710来显式地、手动地或半手动地定义。另外，或可替换地，在各种实施方式中，可以基于被包括在SLPCRC 131e中或输入到SLPCRC 131e的PFF曝光控制数据集(例如，在图7所示的GUI700的图像帧参数栏704中)通过算法生成PFF图像曝光序列。就此而言，图7的GUI 700还包括被标记为“清除表”720、“读取表”722、“写入表”724、“提交闪存”726和“导入CSV”728的单选按钮。在示例性实施方式中，“清除表”720按钮清除当前示出的帧脉冲表710，“读取表”722按钮从存储在存储器设备(例如，图4中的PFF模式查找表(LUT)存储装置415)中的一个或多个预定义PFF图像曝光序列中读取出预定义的PFF图像曝光序列，“导入CSV”728按钮从与TAG透镜成像系统10相关联的机器视觉检查系统导入预定义的PFF图像曝光序列。“写入表”724按钮允许用户/操作者在各种实施方式中的易失性存储器中，在帧脉冲表710中写入新的PFF图像曝光序列。“提交闪存”726按钮将新写入的PFF图像曝光序列存储(提交)到非易失性存储器中，诸如闪存(例如，图4中的PFF模式查找表(LUT)存储装置415)，新写入的PFF图像曝光序列稍后可以在以PFF模式操作的TAG透镜成像系统10中被检索。
因为根据本文公开的原理在PFF模式下操作的TAG透镜成像系统10提供工件的表面形状的高速3D映射，所以这种成像系统可以用于高速地重复收集工件的3D表面坐标，并且其3D映射可以显示为实时视频帧。
图8示出了根据本文公开的原理在EDOF模式下操作的TAG透镜成像系统10的一个实施例中可以使用的、图像曝光期间的焦高的示例性时序图800A。时序图800A示出了可变焦距TAG透镜成像系统10的周期性调制的聚焦位置MFP，聚焦位置MFP在聚焦范围FR上沿着聚焦轴方向(如沿着焦平面Z位置轴所示)在多个聚焦位置FP上周期性地调制(如沿着时间轴所示)。时序图800A另外将相机(例如，图像检测器260)的曝光时间显示为“相机帧-帧1”和“相机帧-帧2”。一般地，时序图800A表示由被包括在SLPCRC 131e中或输入到SLPCRC131e的EDOF曝光控制数据集定义的EDOF图像曝光序列所产生的(多个)初步图像的曝光。EDOF图像曝光序列定义了多个离散图像曝光增量(例如，在图8所示的示例中的EI1-EI255和EI1a-EI255a)，这些离散图像曝光增量是在与周期性调制的聚焦位置MFP的相应相位相对应的相应离散聚焦位置FP处采集的。参考缩写EI可以包括索引数字“i”，其指定与特定聚焦位置相对应的特定“第i个”曝光增量EI。如上所述，多个离散图像曝光增量EI1-EI255和EI1a-EI255a各自由照明源频闪操作的相应实例(在图8中表示为放置在代表周期性调制的聚焦位置MFP的正弦波上的圆圈)确定，该实例可以是照明源频闪操作、相机快门频闪操作、帧抓取器采集/存储操作等的实例，并且具有在EDOF图像曝光序列中定义的相应受控定时(T1-T255和T1a-T255a)。
图9示出了被表示为与TAG透镜成像系统相关联的显示设备的屏幕截图的示例性图形用户界面(GUI)900，其允许用户控制(例如，用户输入)EDOF曝光控制数据集，EDOF曝光控制数据集定义用于在EDOF模式下曝光初步图像的EDOF图像曝光序列。GUI 900包括开关902，开关902被选择以在EDOF模式下激活TAG透镜成像系统10。GUI 900包括图像帧参数栏904，在所示示例中，图像帧参数栏904包括每个循环的Z步长(“Nzstep”)栏906、每个帧的Z循环(“Ncyc”)栏907和每个EDOF图像的帧(“Nf”)栏908。在各种实施例中，用于定义EDOF图像曝光序列的EDOF曝光控制数据集可以是参数集，诸如在图9的示例中在图像帧参数栏904中输入的那些参数。在各种实施例中，由EDOF曝光控制数据集定义的EDOF图像曝光序列以Zcycle脉冲表910的形式表示，Zcycle脉冲表910针对在“表行”栏918中示出的每个帧的总数个(例如，“256”个)离散图像曝光增量中的每一个离散图像曝光增量(图8中的EI1-EI255或EI1a-EI255a)，列出了“Z步长，i＝”912、脉冲宽度914和暂停916，全部以纳秒(nS)为单位。在图9的示例中，EDOF图像曝光序列定义了每个帧的256个图像曝光增量EI，索引为“Z步长，i＝0-255”，其中每个图像曝光增量EI与特定光脉冲宽度(在914中)和光脉冲之前的暂停(在916中)相关联。
另外再次参考图8，每个帧的脉冲图800B被提供在时序图800A的下方(对于两个帧)，其中脉冲图800B示出了从透镜控制器408(见图4)输出的每个帧的主定时信号802(例如，70kHz)和图像曝光脉冲804的定时。脉冲图800B示出了在“Z步，i＝”(在912中)处的每个图像曝光增量EI被主定时信号802触发，随后是对应的暂停时段(在916中)，随后是具有限定脉冲宽度的曝光(在914中)，在下一图像曝光增量EI(在“Z步，i＝”处，其中“i”增加1)被另一主定时信号802触发之前，在具有限定脉冲宽度的曝光之后是空闲时段。虽然脉冲图800B分别示出了在“Z步长，i＝0、1和2”处的初始的仅三个图像曝光增量EI1-EI3的脉冲信令，但是应当理解，在示出的示例中，针对为每个帧定义的所有图像曝光增量，脉冲图800B分别在“Z步长，i＝0-255”处继续EI1-EI256。
在图9的GUI 900中，用户/操作者可以在每个循环的Z步长(“Nzstep”)栏906中定义每个周期性调制循环的Z步长的总数，在该示例中为“256”。在各种示例中，Nzstep数对应于Zcycle脉冲表910中“表行”栏918中所示的行数，如图所示。在各种实施例中，与在期望的聚焦范围FR内TAG透镜成像系统10的焦高的周期性调制的至少一个循环(“Z循环”)相对应地执行帧曝光，并且在每个帧的Z循环(“Ncyc”)栏907中示出每个帧的Z循环的数量。当每个帧执行多个Z循环时，来自多个Z循环曝光的结果可以被组合(例如，被平均)以形成一个初步图像(或初步帧)。尽管图9在907中示出了的Ncyc＝8，但是为了清楚说明，图8中的时序图800A和脉冲图800B示出了Ncyc＝1的示例。用户/操作者可以在GUI 900中的每个EDOF图像的帧(“Nf”)栏908中指定至少一个初步图像(初步帧)，该至少一个初步图像可以被处理以形成一个具有较大景深并且基本上聚焦在整个较大景深的EDOF图像。在示出的示例中，用户/操作员指定Nf＝2，这意味着两个初步图像(初步帧)被处理(被组合、被平均等)以形成EDOF图像，如图8的时序图800A所示。
在图8中，时序图800A中图示的EDOF图像曝光序列可以在时间806处由单个启动信号404(见图4)启动，并且“帧1”的帧曝光可以在时间808处由SLPCRC 131e(图4)生成的图像定时信号420和组定时信号430启动。在时间810处，“帧2”的帧曝光可以由图像定时信号420启动。因为在所示示例中两个初步图像被处理以形成一个EDOF图像(例如，在908中“Nf＝2”)，所以在“帧2”的曝光之后，EDOF图像曝光序列在时间812处基于组定时信号430(或基于Nf值)而结束。一般地，在各种实施例中，图像定时信号420控制图像曝光(或帧曝光)的启动和/或结束，并且组定时信号430控制整个EDOF图像曝光序列(例如，曝光一组初步图像)的启动和/或结束，以采集一个EDOF图像。在图4所示的实施例中，与EDOF图像曝光序列相对应的成像定时信号420和组定时信号430由智能光照模块412的定时和控制模块411生成，尽管根据本文公开的原理，这些定时信号420和430可以由与SLPCRC 131e相关联的任何组件生成。
在一些实施例中，例如在Zcycle脉冲表910中表示的EDOF图像曝光序列可以由用户/操作者通过例如填写Zcycle脉冲表910来显式地、手动地或半手动地定义。另外，或可替换地，在各种实施方式中，可以基于被包括在SLPCRC 131e中或输入到SLPCRC 131e的EDOF曝光控制数据集(例如在图9所示的GUI 900的图像帧参数栏904中)通过算法生成EDOF图像曝光序列。就此而言，图9的GUI 900还包括被标记为“清除表”920、“读取表”922、“写入表”924、“提交闪存”926和“导入CSV”928的单选按钮。在示例性实施方式中，“清除表”920按钮清除当前示出的Zcycle脉冲表910，“读取表”922按钮从存储在存储器设备(例如，图4中的EDOF模式查找表(LUT)存储装置416)中的一个或多个预定义EDOF图像曝光序列中读取出预定义EDOF图像曝光序列，“导入CSV”928按钮从与TAG透镜成像系统10相关联的机器视觉检查系统导入预定义EDOF图像曝光序列。“写入表”924按钮允许用户/操作者在各种实施方式中的易失性存储器中，在Zcycle脉冲表910中写入新的EDOF图像曝光序列。“提交闪存”926按钮将新写入的EDOF图像曝光序列存储(提交)到诸如闪存的非易失性存储器(例如，图4中的EDOF模式查找表(LUT)存储装置416)中，新写入的EDOF图像曝光序列稍后可以在以EDOF模式操作的TAG透镜成像系统10中被检索。
因为根据本文公开的原理在EDOF模式下操作的TAG透镜成像系统10提供高速扩展景深成像，所以这种成像系统可以用于高速地重复收集EDOF图像，例如以每秒30帧或更高的速度进行视频成像，并且多个EDOF可以显示为实时视频帧。
虽然已经示出和描述了本发明的各种实施例，但是基于本公开内容，对本领域技术人员来说，特征和操作序列的示出和描述的布置中的许多变化将是显而易见的。因此，应当理解，在不脱离本发明的精神和范围的情况下，可以在其中进行各种改变。

Claims (19)

1.一种用于操作可调谐声学梯度透镜TAG成像系统的方法，该方法包括：
(a)提供智能光照脉冲控制例程/电路SLPCRC，所述SLPCRC提供与TAG透镜成像系统的离焦点PFF模式相对应的第一曝光控制模式和与TAG透镜成像系统的扩展景深EDOF模式相对应的第二曝光控制模式；
(b)将工件放置在TAG透镜成像系统的视场中；
(c)周期性地调制TAG透镜成像系统的聚焦位置，而不宏观地调节TAG透镜成像系统中元件之间的间距，其中以至少30kHz的调制频率在包括工件的表面高度的聚焦范围内沿着聚焦轴方向在多个聚焦位置上周期性地调制聚焦位置；和
(d)通过激活所述PFF模式来操作TAG透镜成像系统，包括：
(d1)使用由被包括在所述SLPCRC中或输入到所述SLPCRC的PFF曝光控制数据集定义的PFF图像曝光序列来曝光图像堆栈，其中：
所述PFF图像曝光序列定义了在与周期性调制的聚焦位置的相应相位相对应的相应离散聚焦位置处采集的多个离散图像曝光增量，并且
所述多个离散图像曝光增量各自由照明源频闪操作的相应实例确定，所述照明源频闪操作具有在所述PFF图像曝光序列中定义的相应受控定时；和
(d2)处理所述图像堆栈，以确定或输出量化地指示与工件的表面形状相对应的三维表面坐标集的Z高度坐标图。
2.根据权利要求1所述的方法，其中，所述图像堆栈被输入到被包括在所述SLPCRC中的帧抓取器，并且处理步骤(d2)在所述帧抓取器所包括的处理器中执行，使得所述Z高度坐标图从帧抓取器输出，并且所述图像堆栈不从帧抓取器输出。
3.根据权利要求2所述的方法，其中，所述PFF图像曝光序列被配置为在小于1秒、小于500毫秒或小于250毫秒内采集所述图像堆栈。
4.根据权利要求2所述的方法，其中，所述相应受控定时被定义为所述PFF图像曝光序列中的预定序列，并且所述SLPCRC被配置为基于发起在所述PFF图像曝光序列中定义的预定序列的单个启动信号来提供整个图像堆栈。
5.根据权利要求1所述的方法，其中：
所述SLPCRC的至少一部分被包括在TAG透镜成像系统的智能光照模块中，并且所述PFF曝光控制数据集的至少一部分被包括在所述智能光照模块中或被输入到智能光照模块；或者
所述SLPCRC的至少一部分被包括在TAG透镜成像系统的帧抓取器中，并且所述PFF曝光控制数据集的至少一部分被包括在所述帧抓取器中或被输入到所述帧抓取器。
6.根据权利要求5所述的方法，其中，所述相应受控定时被定义为所述PFF图像曝光序列中的预定序列，并且所述SLPCRC被配置为基于发起在所述PFF图像曝光序列中定义的预定序列的单个启动信号来提供整个图像堆栈。
7.根据权利要求1所述的方法，其中，在曝光步骤(d1)中，每个离散图像曝光增量由TAG透镜成像系统的帧抓取器根据所述PFF图像曝光序列进行图像采集的相应实例来确定。
8.根据权利要求7所述的方法，其中，根据所述PFF图像曝光序列，为图像采集的每个实例触发相机。
9.根据权利要求8所述的方法，其中：
由所述帧抓取器根据所述PFF图像曝光序列向相机发送触发信号；或者
由TAG透镜成像系统的所述智能光照模块根据所述PFF图像曝光序列向相机发送触发信号。
10.根据权利要求1所述的方法，其中，在曝光步骤(d1)中，每个离散图像曝光增量由TAG透镜成像系统的帧抓取器中根据所述PFF图像曝光序列进行图像存储的相应实例来确定。
11.根据权利要求10所述的方法，其中，相机被连续触发并连续输出图像到所述帧抓取器，并且只有与所述多个离散图像曝光增量相对应的图像的相应实例被存储在所述帧抓取器中。
12.根据权利要求1所述的方法，其中，PFF模式操作步骤(d)在第一操作周期或时间执行，并且所述方法还包括：
(e)通过在第二操作周期或时间激活EDOF模式来操作TAG透镜成像系统，包括：
(e1)使用由被包括在所述SLPCRC中或被输入到SLPCRC的EDOF曝光控制数据集定义的EDOF图像曝光序列来曝光初步图像，其中：
所述EDOF图像曝光序列定义了在与周期性调制的聚焦位置的相应相位相对应的相应离散聚焦位置处采集的多个离散图像曝光增量，并且
所述多个离散图像曝光增量各自由照明源频闪操作的相应实例确定，所述照明源频闪操作具有在EDOF图像曝光序列中定义的相应受控定时；和
(e2)处理所述初步图像，以确定或输出在单个焦点位置中具有比TAG透镜成像系统更大景深的EDOF图像，其中所述EDOF图像基本上聚焦在更大景深上。
13.根据权利要求12所述的方法，其中，所述初步图像被输入到被包括在所述SLPCRC中的帧抓取器，并且处理步骤(e2)在所述帧抓取器所包括的处理器中执行，使得所述EDOF图像从帧抓取器输出，并且所述初步图像不从帧抓取器输出。
14.根据权利要求13所述的方法，其中，所述EDOF图像曝光序列被配置为在小于500毫秒、小于250毫秒、小于100毫秒或小于50毫秒内采集所述初步图像。
15.根据权利要求13所述的方法，其中，所述相应受控定时被定义为所述EDOF图像曝光序列中的预定序列，并且所述SLPCRC被配置为基于发起在EDOF图像曝光序列中定义的预定序列的单个启动信号来提供整个初步图像。
16.根据权利要求12所述的方法，其中：
所述SLPCRC的至少一部分被包括在TAG透镜成像系统的智能光照模块中，并且所述EDOF曝光控制数据集的至少一部分被包括在所述智能光照模块中或输入到所述智能光照模块；或者
所述SLPCRC的至少一部分被包括在TAG透镜成像系统的帧抓取器中，并且所述EDOF曝光控制数据集的至少一部分被包括在帧抓取器中或被输入到帧抓取器。
17.根据权利要求16所述的方法，其中，所述相应受控定时被定义为所述EDOF图像曝光序列中的预定序列，并且所述SLPCRC被配置为基于发起在EDOF图像曝光序列中定义的预定序列的单个启动信号来提供整个初步图像。
18.根据权利要求12所述的方法，还包括：
重复EDOF模式操作步骤(e)以提供多个EDOF图像，并且在实时视频显示窗口中显示工件的所述多个EDOF图像，所述实时视频显示窗口设置在TAG透镜成像系统所包括的显示器上。
19.一种用于提供工件的至少一个图像的可调谐声学梯度TAG透镜成像系统，所述TAG透镜成像系统包括：
智能光照脉冲控制例程/电路SLPCRC，其提供与TAG透镜成像系统的离焦点PFF模式相对应的第一曝光控制模式和与TAG透镜成像系统的扩展景深EDOF模式相对应的第二曝光控制模式；
物镜、TAG透镜、相机和帧抓取器；
智能光照模块，其控制频闪照明光源；和
控制系统，被配置为控制所述频闪照明光源，并被配置为控制TAG透镜周期性地调制TAG透镜成像系统的聚焦位置，而不宏观地调节TAG透镜成像系统中元件之间的间距，
其中，所述控制系统还被配置为：
(a)控制TAG透镜以至少30kHz的调制频率在包括工件的表面高度的聚焦范围内沿着聚焦轴方向在多个聚焦位置上周期性地调制聚焦位置；
(b)通过在第一操作周期或时间激活所述PFF模式来操作TAG透镜成像系统，包括：
(b1)使用由被包括在所述SLPCRC中或输入到所述SLPCRC的PFF曝光控制数据集定义的PFF图像曝光序列来曝光图像堆栈，其中：
所述PFF图像曝光序列定义了在与周期性调制的聚焦位置的相应相位相对应的相应离散聚焦位置处采集的多个离散图像曝光增量，并且
所述多个离散图像曝光增量各自由照明源频闪操作的相应实例确定，所述照明源频闪操作具有在所述PFF图像曝光序列中定义的相应受控定时；和
(b2)处理所述图像堆栈，以确定或输出量化地指示与工件的表面形状相对应的三维表面坐标集的Z高度坐标图；和
(c)通过在第二操作周期或时间激活所述EDOF模式来操作TAG透镜成像系统，包括：
(c1)使用由被包括在所述SLPCRC中或输入到所述SLPCRC的EDOF曝光控制数据集定义的EDOF图像曝光序列来曝光初步图像，其中：
所述EDOF图像曝光序列定义了在与周期性调制的聚焦位置的相应相位相对应的相应离散聚焦位置处采集的多个离散图像曝光增量，并且
所述多个离散图像曝光增量各自由照明源频闪操作的相应实例确定，所述照明源频闪操作具有在所述EDOF图像曝光序列中定义的相应受控定时；和
(c2)处理初步图像，以确定或输出在单个焦点位置中具有比TAG透镜成像系统更大景深的EDOF图像，其中所述EDOF图像基本上聚焦在更大景深上。
CN201911272226.6A 2018-12-13 2019-12-12 高速tag透镜辅助3d计量和扩展景深成像 Active CN111325785B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/219,665 US10812701B2 (en) 2018-12-13 2018-12-13 High-speed tag lens assisted 3D metrology and extended depth-of-field imaging
US16/219,665 2018-12-13

Publications (2)

Publication Number Publication Date
CN111325785A CN111325785A (zh) 2020-06-23
CN111325785B true CN111325785B (zh) 2023-05-26

Family

ID=70858935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911272226.6A Active CN111325785B (zh) 2018-12-13 2019-12-12 高速tag透镜辅助3d计量和扩展景深成像

Country Status (4)

Country Link
US (1) US10812701B2 (zh)
JP (1) JP7319903B2 (zh)
CN (1) CN111325785B (zh)
DE (1) DE102019132174A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11523046B2 (en) * 2019-06-03 2022-12-06 Molecular Devices, Llc System and method to correct for variation of in-focus plane across a field of view of a microscope objective
US11328409B2 (en) 2020-09-30 2022-05-10 Mitutoyo Corporation System and method utilizing multi-point autofocus to align an optical axis of an optical assembly portion to be normal to a workpiece surface
EP4060394A1 (en) * 2021-03-17 2022-09-21 Carl Zeiss Microscopy GmbH Microscope and method for forming a microscopic image with an extended depth of field
EP4137866A1 (en) * 2021-08-18 2023-02-22 Carl Zeiss Microscopy GmbH Digital microscope and method for capturing and displaying microscopic images

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012173328A (ja) * 2011-02-17 2012-09-10 Fujifilm Corp レンズ装置、テレビカメラシステムおよびフォーカシングアシスト方法
CN108088424A (zh) * 2016-11-23 2018-05-29 株式会社三丰 机器视觉检查系统和用于获得具有扩展景深的图像的方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542180B1 (en) 2000-01-07 2003-04-01 Mitutoyo Corporation Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part
JP2005521123A (ja) * 2001-10-22 2005-07-14 ライカ ミクロジュステムス ヴェツラー ゲーエムベーハー 光学顕微鏡検出３次元画像の生成方法及び生成装置
US7324682B2 (en) 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US7454053B2 (en) 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
US7215493B2 (en) * 2005-01-27 2007-05-08 Psc Scanning, Inc. Imaging system with a lens having increased light collection efficiency and a deblurring equalizer
US7627162B2 (en) 2005-01-31 2009-12-01 Mitutoyo Corporation Enhanced video metrology tool
WO2008106403A2 (en) 2007-02-26 2008-09-04 Trustees Of Princeton University Turnable acoustic gradient index of refraction lens and system
WO2008137746A1 (en) 2007-05-04 2008-11-13 Aperio Technologies, Inc. Rapid microscope scanner for volume image acquisition
US8111938B2 (en) 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
ATE551841T1 (de) 2009-04-22 2012-04-15 Raytrix Gmbh Digitales bildgebungsverfahren zum synthetisieren eines bildes unter verwendung der mit einer plenoptischen kamera aufgezeichneten daten
US8292434B2 (en) 2009-08-12 2012-10-23 Alcon Research, Ltd. White light emitting diode (LED) illuminator for ophthalmic endoillumination
US8111905B2 (en) 2009-10-29 2012-02-07 Mitutoyo Corporation Autofocus video tool and method for precise dimensional inspection
US8649024B2 (en) * 2010-12-03 2014-02-11 Zygo Corporation Non-contact surface characterization using modulated illumination
JP6136085B2 (ja) 2011-10-05 2017-05-31 ソニー株式会社 画像取得装置、画像取得方法、およびコンピュータプログラム
US9213175B2 (en) * 2011-10-28 2015-12-15 Craig B. Arnold Microscope with tunable acoustic gradient index of refraction lens enabling multiple focal plan imaging
TWI467226B (zh) * 2011-11-15 2015-01-01 Ind Tech Res Inst 相位物體顯微系統
US9488819B2 (en) * 2012-08-31 2016-11-08 Nanotronics Imaging, Inc. Automatic microscopic focus system and method for analysis of transparent or low contrast specimens
JP6147080B2 (ja) * 2013-05-14 2017-06-14 オリンパス株式会社 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム
US9143674B2 (en) 2013-06-13 2015-09-22 Mitutoyo Corporation Machine vision inspection system and method for performing high-speed focus height measurement operations
US10082658B2 (en) 2013-06-28 2018-09-25 Excelitas Canada, Inc. High power microscopy illumination system with liquid cooled solid state light source (SSLS) unit
US9726876B2 (en) 2013-11-27 2017-08-08 Mitutoyo Corporation Machine vision inspection system and method for obtaining an image with an extended depth of field
US10178321B2 (en) * 2013-11-27 2019-01-08 Mitutoyo Corporation Machine vision inspection system and method for obtaining an image with an extended depth of field
US9602715B2 (en) * 2015-07-09 2017-03-21 Mitutoyo Corporation Adaptable operating frequency of a variable focal length lens in an adjustable magnification optical system
US9930243B2 (en) 2016-05-02 2018-03-27 Mitutoyo Corporation Variable focal length imaging system
US9736355B1 (en) 2016-05-03 2017-08-15 Mitutoyo Corporation Phase difference calibration in a variable focal length lens system
US10445894B2 (en) * 2016-05-11 2019-10-15 Mitutoyo Corporation Non-contact 3D measuring system
US10101572B2 (en) 2016-11-23 2018-10-16 Mitutoyo Corporation Variable focal length lens system with multi-level extended depth of field image processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012173328A (ja) * 2011-02-17 2012-09-10 Fujifilm Corp レンズ装置、テレビカメラシステムおよびフォーカシングアシスト方法
CN108088424A (zh) * 2016-11-23 2018-05-29 株式会社三丰 机器视觉检查系统和用于获得具有扩展景深的图像的方法

Also Published As

Publication number Publication date
JP2020095039A (ja) 2020-06-18
CN111325785A (zh) 2020-06-23
US20200195836A1 (en) 2020-06-18
US10812701B2 (en) 2020-10-20
JP7319903B2 (ja) 2023-08-02
DE102019132174A1 (de) 2020-06-18

Similar Documents

Publication Publication Date Title
US9830694B2 (en) Multi-level image focus using a tunable lens in a machine vision inspection system
CN111325785B (zh) 高速tag透镜辅助3d计量和扩展景深成像
JP6761312B2 (ja) 可変焦点距離レンズを含む撮像システムにおける色収差補正
JP6469368B2 (ja) マシンビジョン検査システム及び高速合焦高さ測定動作を実行する方法
US9726876B2 (en) Machine vision inspection system and method for obtaining an image with an extended depth of field
US9930243B2 (en) Variable focal length imaging system
US10101572B2 (en) Variable focal length lens system with multi-level extended depth of field image processing
US10178321B2 (en) Machine vision inspection system and method for obtaining an image with an extended depth of field
JP6717692B2 (ja) 倍率調整可能光学システムにおける可変焦点距離レンズの適応的な動作周波数の調整方法
CN108088424B (zh) 机器视觉检查系统和用于获得具有扩展景深的图像的方法
JP6239232B2 (ja) 高性能エッジフォーカスツール
JP7203552B2 (ja) 屈折力の監視を行う可変焦点距離レンズシステム
US10142550B2 (en) Extending a focus search range in an imaging system including a high speed variable focal length lens
US11119382B2 (en) Tunable acoustic gradient lens system with amplitude adjustment corresponding to z-height as indicated by calibration data
EP3839599A1 (en) Metrology system with transparent workpiece surface mode
US11249225B2 (en) Tunable acoustic gradient lens system utilizing amplitude adjustments for acquiring images focused at different z-heights
US20230421909A1 (en) Lighting configuration for metrology system with images acquired at different focus positions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant