CN113008789B - 具有透明工件表面模式的计量系统 - Google Patents

具有透明工件表面模式的计量系统 Download PDF

Info

Publication number
CN113008789B
CN113008789B CN202011504114.1A CN202011504114A CN113008789B CN 113008789 B CN113008789 B CN 113008789B CN 202011504114 A CN202011504114 A CN 202011504114A CN 113008789 B CN113008789 B CN 113008789B
Authority
CN
China
Prior art keywords
image
focus
local
peak
workpiece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011504114.1A
Other languages
English (en)
Other versions
CN113008789A (zh
Inventor
R.K.布莱尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Publication of CN113008789A publication Critical patent/CN113008789A/zh
Application granted granted Critical
Publication of CN113008789B publication Critical patent/CN113008789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958Inspecting transparent materials or objects, e.g. windscreens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0162Arrangements or apparatus for facilitating the optical investigation using microprocessors for control of a sequence of operations, e.g. test, powering, switching, processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0181Memory or computer-assisted visual determination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Image Input (AREA)

Abstract

一种设有透明工件表面模式的计量系统,对于该计量系统,该系统被配置为在沿着Z高度方向靠近工件的多个位置上改变聚焦位置。获取图像堆栈,其中图像堆栈的每个图像包括透明或半透明的第一表面(例如工件的上表面)以及通过第一表面至少部分可观察的至少第二表面。基于图像堆栈确定多个聚焦曲线(例如,其中利用图案投影来提高对比度),对于该多个聚焦曲线,可以确定每个聚焦曲线中分别对应于第一表面、第二表面等的第一局部聚焦峰、第二局部聚焦峰等。显示包括所选择表面的图像,并且对于该图像,可以测量所选择/所显示的表面的特征。

Description

具有透明工件表面模式的计量系统
技术领域
本公开涉及精密计量,更具体地,涉及利用点形态聚焦(points from focus)和类似操作来检查和测量工件表面的计量系统。
背景技术
诸如机器视觉检查系统(或简称“视觉系统”)的精密计量系统可用于物体的精确测量和检查其他物体特性。这种系统可以包括计算机、照相机、光学系统和移动以允许工件行进的载物台。一个典型的系统,其特征为通用“离线(off-line)”精密视觉系统,是可从位于伊利诺斯州奥若拉的三丰美国公司(Mitutoyo America Corporation,MAC)获得的QUICK
Figure BDA0002844452850000011
系列的基于PC的视觉系统以及
Figure BDA0002844452850000012
软件。QUICK
Figure BDA0002844452850000013
系列的视觉系统以及
Figure BDA0002844452850000014
软件的特征和操作在例如2003年1月出版的《QVPAK 3D CNC视觉测量机用户指南》中进行了一般性描述,该指南通过整体引用并入本文。这种类型的系统使用显微镜类型的光学系统并移动载物台以便以各种放大率提供小型或大型工件的检查图像。
这种机器视觉检查系统通常可编程为提供自动化检查。包括特定检查事件序列(即顺序的图像采集设定(例如,位置、光照、放大率等)和如何分析/检查每个图像(例如,使用一个或多个视频工具))的机器控制指令被存储为特定于具体工件配置的“部件程序”或“工件程序”。
视频工具(或简称“工具”)和其他图形用户界面(GUI)功能允许“非专家”操作员进行操作和编程。这些工具可以在“手动模式”下手动使用,和/或它们的参数和操作也可以在学习模式期间记录,以便创建部件程序。视频工具可以包括例如边缘/边界检测工具、自动聚焦工具、形状或图案匹配工具、尺寸测量工具等。美国专利第6,542,180号和第7,627,162号教导了包括使用视频工具进行检查编程的视觉系统,它们中的每一个通过整体引用并入本文。
一种已知类型的视频工具是“多点工具”或“多点自动聚焦工具”视频工具。这种工具(和/或利用类似技术的各种其他过程)可以提供诸如通过自动聚焦方法确定的、从工具的感兴趣区域内的定义的X-Y坐标处多个子区域的“最佳聚焦”位置导出的Z高度测量值或坐标(沿着照相机系统的光轴和聚焦轴)。一组这样的X、Y、Z坐标可以被称为点云数据,或简称点云。通常,根据现有技术的自动聚焦方法和/或工具,照相机沿着Z轴(聚焦轴)移动通过一系列位置,并在每个位置处捕获图像(称为图像堆栈)。对于每个捕获的图像,基于该图像并且与该图像被捕获时照相机沿着Z轴的对应位置相关地计算每个子区域(即具有给定的X和Y坐标)的聚焦度量。这产生每个XY子区域的聚焦曲线数据,其可以简单地称为“聚焦曲线”或“自动聚焦曲线”。可以通过将曲线拟合到聚焦曲线数据并估计所拟合曲线的峰来找到聚焦曲线的峰,聚焦曲线的峰对应于沿Z轴的最佳聚焦位置。
利用根据这些技术获取的数据,可以显示工件的各种类型的图像。例如,可以利用如上所述的点云数据来显示工件的三维(3D)图像。作为另一示例,对于一些应用,其可能希望显示具有扩展景深(extended depth of field,EDOF)的图像,扩展景深大于光学成像系统在单个聚焦位置提供的景深。一种用于构建EDOF图像的方法包括类似于上述一些技术的技术,包括收集由聚焦在聚焦范围内的不同距离处的多个全等或对准的图像组成的图像堆栈。合成图像被构建,其中视场的每个部分从显示具有最佳聚焦(即根据聚焦曲线的峰来确定)的那个部分的特定图像中提取。
对于某些类型的工件表面(例如,透明表面等),这种用于成像和测量表面的技术典型地面临各种挑战。希望有一种能够适应各种类型的工件表面的成像和测量的改进系统。
发明内容
提供本发明内容是为了以简化的形式介绍将在下面的具体实施方式中进一步描述的精选的概念。本发明内容不旨在标识所要求保护的主题的关键特征,也不旨在用于帮助确定所要求保护的主题的范围。
一种计量系统设有透明工件表面模式。该计量系统包括光源、透镜(例如,物镜)、照相机、一个或多个处理器以及存储器。透镜输入从被光源照射的工件的表面产生的图像光,并沿着成像光路传输图像光。照相机接收沿着成像光路传输的图像光,并提供工件的图像,其中系统的聚焦位置被配置为在沿着Z高度方向靠近工件的聚焦范围内的多个位置上可变。
存储器耦合到一个或多个处理器,并存储程序指令,当该程序指令由一个或多个处理器执行时,使得一个或多个处理器执行诸如以下的各种步骤/过程。获取包括多个图像的图像堆栈,其中图像堆栈中的每个图像是在聚焦范围内不同的对应的Z高度处获取的。图像堆栈中的每个图像包括为透明或半透明中的至少一个的第一表面和通过第一表面至少部分可观察的第二表面。基于图像堆栈中的图像确定多个聚焦曲线。确定每个聚焦曲线中对应于第一表面的第一局部聚焦峰以及每个聚焦曲线中对应于第二表面的第二局部聚焦峰。第一显示图像包括由用户根据用于选择第一表面或第二表面的选项来选择的第一选择表面。第一选择表面是以下各项中的一个:第一选择表面是第一表面,对于这种情况,基于第一局部聚焦峰而不基于第二局部聚焦峰,第一显示图像包括第一表面而不包括第二表面;或者第一选择表面是通过第一表面至少部分可观察的第二表面,对于这种情况,基于第二局部聚焦峰而不基于第一局部聚焦峰,第一显示图像包括第二表面而不包括第一表面。
在各种实施方式中,可以在用户界面中呈现选项以供用户在第一表面和第二表面之间进行选择。在各种实施方式中,系统被配置为仅确定分别对应于第一表面和第二表面的第一局部聚焦峰和第二局部聚焦峰,而不被配置为确定聚焦曲线的诸如可以对应于任何附加表面的任何附加局部聚焦峰。
在各种实施方式中,第一显示图像和/或附加显示图像可以是包括第一选择表面的第一显示二维(2D)扩展景深(EDOF)图像和/或第一显示三维(3D)图像。3D图像可以包括所选择的表面,并且可以基于第一显示2D EDOF图像所基于的相同的局部聚焦峰。此外,在不同的时间,用户可以选择显示由用户根据用于选择第一表面或第二表面的选项(例如,对于第二选择表面,第二选择表面不同于第一选择表面并且基于不同的局部聚焦峰)来选择的第二选择表面的第二显示图像。第一显示图像和第二显示图像可以是第一显示2D EDOF图像和第二显示2D EDOF图像,和/或可以是对应的第一显示3D图像和第二显示3D图像,或可以与对应的第一显示3D图像和第二显示3D图像一起显示。
在各种实施方式中,第一选择表面上的两个特征之间的测量值可以基于应用于第一显示图像中的第一选择表面的一个或多个视频工具的操作来确定。在各种实施方式中,一个或多个视频工具可以包括尺寸测量工具、点工具、框工具、圆工具或弧工具中的至少一个。
在各种实施方式中,对应于第一表面的第一局部聚焦峰可以基于在聚焦曲线中的每个聚焦曲线中共享相同第一编号位置的所有第一局部聚焦峰来确定。对应于第二表面的第二局部聚焦峰可以基于在聚焦曲线中的每个聚焦曲线中共享相同第二编号位置的所有第二局部聚焦峰来确定。在各种实施方式中,可以确定聚焦曲线中对应于第二表面的、但在相应聚焦曲线中不共享相同第二编号位置的局部聚焦峰,其中该局部聚焦峰基于落入由用户设置的Z过滤范围内来确定。
在各种实施方式中,分别对应于第一表面和第二表面的第一局部聚焦峰和第二局部聚焦峰的确定包括消除聚焦曲线的不满足至少一个指定质量准则的一个或多个局部聚焦峰。在各种实施方式中,基于在其他聚焦曲线的对应于表面的至少两个局部聚焦峰之间的内插,可以为不包括对应于该表面的局部聚焦峰的聚焦曲线确定至少一个内插局部聚焦峰。
在各种实施方式中,图像堆栈的获取包括将图案投影到第一表面和第二表面上,这导致聚焦曲线中的至少一些局部聚焦峰比在相同图像获取过程和条件但没有投影图案的情况下产生的局部聚焦峰高。第二图像堆栈可以在不利用图案投影的情况下获取,并且对于这种情况,第一局部聚焦峰被用来确定来自第二图像堆栈的什么图像数据对应于第一表面,其中第一选择表面是第一表面,并且来自第二图像堆栈的对应于第一表面的图像数据被用于显示包括第一表面的第一显示图像。
在各种实施方式中,可以提供计算机实施方法来操作计量系统。在这样的实施方式中,上述步骤/过程可以在配置有可执行指令的一个或多个计算系统的控制下执行。
附图说明
图1是显示通用精密机器视觉计量系统的各种典型组件的图。
图2是类似于图1的机器视觉计量系统的控制系统部分和视觉组件部分的框图,并且包括本文公开的某些特征。
图3是可以适用于诸如机器视觉计量系统的精密非接触计量系统的成像系统的示意图,并且包括本文公开的某些特征。
图4是示出第一组聚焦曲线的图,这些聚焦曲线具有对应于包括透明或半透明的上表面和通过上表面至少部分可观察的下表面的表面的局部聚焦峰。
图5是示出用于显示选择表面的图像并执行测量的示例性过程的流程图。
图6是示出用于确定聚焦曲线的对应于表面的局部聚焦峰的示例性子过程的流程图。
图7是示出利用图案投影的示例性子过程的流程图。
图8A和图8B是示出用于观察诸如图4的表面的工件表面的二维扩展景深图像和三维图像的用户界面的第一示例性实施方式的图。
图9是示出第二组聚焦曲线的图,这些聚焦曲线具有对应于至少包括透明或半透明的上表面和通过上表面至少部分可观察的下表面的表面的局部聚焦峰。
图10A和图10B是示出用于观察诸如图9的表面的工件表面的二维扩展景深图像和三维图像的用户界面的第二示例性实施方式的图。
具体实施方式
图1是一个示例性机器视觉计量系统10的框图,该系统可用作或包括也在本文中描述的成像系统。机器视觉计量系统10包括视觉测量机12,视觉测量机12可操作地连接成与控制计算机系统14交换数据和控制信号。控制计算机系统14还可操作地连接成与监视器或显示器16、打印机18、操纵杆22、键盘24和鼠标26交换数据和控制信号。监视器或显示器16可以显示适合于控制机器视觉计量系统10的操作和/或对机器视觉计量系统10的操作进行编程的用户界面。应当理解,在各种实施方式中,触摸屏平板等可以替代和/或冗余地提供元件14、16、22、24和26中的任何一个或全部的功能。
本领域技术人员将理解,控制计算机系统14通常可以使用任何合适的计算系统或设备来实施,包括分布式或网络化计算环境等。这种计算系统或设备可以包括执行用于执行本文描述的功能的软件的一个或多个通用或专用处理器(例如,非定制或定制设备)。软件可以存储在存储器中,诸如随机访问存储器(RAM)、只读存储器(ROM)、闪存等,或者这种组件的组合。软件也可以存储在一个或多个存储设备中,诸如基于光学的磁盘、闪存设备或用于存储数据的任何其他类型的非易失性存储介质。软件可以包括一个或多个程序模块,这些程序模块包括执行特定任务或实施特定抽象数据类型的过程、例程、程序、对象、组件、数据结构等。在分布式计算环境中,程序模块的功能性可以跨多个计算系统或设备来组合或分布,并经由有线或无线配置中的服务调用来访问。
视觉测量机12包括可移动工件载物台32和光学成像系统34,光学成像系统34可以包括变焦透镜或可互换物镜。变焦透镜或可互换物镜通常为光学成像系统34所提供的图像提供各种放大率。机器视觉计量系统10的各种实施方式也在共同转让的美国专利第7,454,053号、第7,324,682号、第8,111,905号和第8,111,938号中描述,这些专利中的每一个都通过整体引用并入本文。
图2是与图1的机器视觉计量系统类似的机器视觉计量系统100的控制系统部分120和视觉组件部分200的框图,包括本文公开的某些特征。如下文将更详细描述的,控制系统部分120用于控制视觉组件部分200。视觉组件部分200包括光学组件部分205、光源220、230、240和具有中央透明部分212的工件载物台210。工件载物台210可以沿着位于通常与工件20所在的载物台的表面平行的平面内的X轴和Y轴可控地移动。
光学组件部分205包括照相机系统260、可互换物镜250,并且可以包括可变焦距(variable focal length,VFL)透镜270(例如,各种示例性实施方式中的可调谐声学梯度(tunable acoustic gradient,TGA)透镜)。在各种实施方式中,光学组件部分205还可以包括具有透镜226和228的转盘透镜组件223。作为转盘透镜组件的替代,在各种实施方式中,可以包括固定的或手动可互换放大率变更透镜,或变焦透镜配置等。在各种实施方式中,可互换物镜250可以从一组固定放大率物镜中选择,该组固定放大率物镜(例如,与诸如0.5×、1×、2×或2.5×、5×、7.5×、10×、20×或25×、50×、100×等放大率相对应的一组物镜)被包括作为可变放大率透镜部分的一部分。
通过使用可控电机294,光学组件部分205可以沿着通常正交于X轴和Y轴的Z轴可控地移动,可控电机294驱动致动器以沿着Z轴(例如,包括光学组件部分205的光学系统的光轴)移动光学组件部分205来改变聚焦位置,并由此改变工件20的图像的聚焦。可控电机294经由信号线296连接到输入/输出接口130。如下面将更详细描述的,为了在更小范围内改变图像的聚焦,或者作为移动光学组件部分205的替代,可以通过透镜控制接口134经由信号线234’来控制VFL(例如,TGA)透镜270,以周期性地调制VFL透镜270的光焦度,并由此调制光学组件部分205的有效聚焦位置。透镜控制接口134可以包括VFL透镜控制器180,如下面更详细描述的。工件20可以放置在工件载物台210上。工件载物台210可以被控制成相对于光学组件部分205移动(例如,在XY平面内移动),使得可互换物镜250的视场在工件20上的位置之间移动和/或在多个工件20之间移动等等。
如下文将更详细描述的,在各种实施方式中,工件20可以包括为透明或半透明中的至少一个的上表面SRF-1以及通过上表面SRF-1至少部分可观察的下表面SRF-2。例如,在各种应用中,工件20可以是和/或包括诸如玻璃、透镜、薄膜等材料和/或可以为透明或半透明的其它材料(例如,对于工件20,上表面SRF-1可以对应于工件的顶表面,下表面SRF-2可以对应于另一表面,诸如工件的底表面,或者工件的不同材料、部分、层等的一部分)。
载物台光源220、同轴光源230和表面光源240(例如,环形灯)中的一个或多个可以分别发射源光222、232和/或242,以照射一个或多个工件20。例如,在图像曝光期间,同轴光源230可以沿着包括分束器290(例如,部分反射镜)的路径发射源光232。源光232被反射或被透射为图像光255,并且用于成像的图像光穿过可互换物镜250、转盘透镜组件223和VFL透镜270,并且被照相机系统260聚集。包括(多个)工件20的图像的工件图像曝光由照相机系统260捕获,并在信号线262上输出到控制系统部分120。
各种光源(例如,光源220、230、240)可以通过相关联的信号线(例如,分别通过总线221、231、241)连接到控制系统部分120的光照控制接口133。控制系统部分120可以控制转盘透镜组件223沿着轴224旋转,以通过信号线或总线223’选择转盘透镜来改变图像放大率。
如图2进一步所示,在各种示例性实施方式中,控制系统部分120包括控制器125、输入/输出接口130、存储器140、工件程序生成器和执行器170以及电源部分190。这些组件中的每一个以及下面描述的附加组件可以通过一个或多个数据/控制总线和/或应用编程接口、或者通过各种元件之间的直接连接来互连。输入/输出接口130包括成像控制接口131、运动控制接口132、光照控制接口133和透镜控制接口134。透镜控制接口134可以包括或连接到VFL透镜控制器180,VFL透镜控制器180包括用于控制与VFL透镜270所提供的周期性聚焦位置调制同步的各种图像曝光的电路和/或例程。在一些实施方式中,透镜控制接口134和VFL透镜控制器180可以合并和/或不可区分。
光照控制接口133可以包括光照控制元件133a-133n,其控制例如机器视觉计量系统100的各种对应光源的选择、功率、开/关切换和闪光脉冲定时(如果可应用的话)。在一些实施方式中,如图3所示的曝光(闪光)时间控制器333es可以向光照控制元件133a-133n中的一个或多个提供闪光定时信号,使得它们提供与VFL透镜聚焦位置调制的希望相位时间同步的图像曝光闪光定时(例如根据某些存储的校准数据),并且如下文更详细描述的。在一些实施方式中,曝光(闪光)时间控制器333es和一个或多个光照控制元件133a-133n可以合并和/或不可区分。
存储器140可以包括图像文件存储器部分141、边缘检测存储器部分140ed、可以包括一个或多个部件程序等的工件程序存储器部分142等、标准工件表面(workpiecesurface,WS)模式部分140ss、透明工件表面(WS)模式部分140ts和视频工具部分143。视频工具部分143包括为对应的视频工具中的每一个确定GUI、图像处理操作等的视频工具部分143a和其他视频工具部分(例如,143n),以及支持自动、半自动和/或手动操作的感兴趣区域(region of interest,ROI)生成器143roi,这些自动、半自动和/或手动操作定义了可在被包括在视频工具部分143中的各种视频工具中操作的和/或可作为其他操作的一部分来操作的各种ROI。用于定位边缘特征和执行其他工件特征检查操作的视频工具的操作的示例在某些先前并入的参考文献以及先前并入的美国专利第7,627,162号中更详细地描述。
视频工具部分143还包括为聚焦高度(即有效聚焦位置(Z高度))测量操作确定GUI、图像处理操作等的自动聚焦视频工具143af。在各种实施方式中,自动聚焦视频工具143af可附加地包括高速聚焦高度工具,该工具可用于使用图3中所示的硬件以高速来测量聚焦高度,如美国专利第9143674号中更详细描述的,该专利通过整体引用并入本文。在各种实施方式中,高速聚焦高度工具可以是自动聚焦视频工具143af的特殊模式,自动聚焦视频工具143af可以另外根据自动聚焦视频工具的常规方法操作,或者自动聚焦视频工具143af的操作可以仅包括高速聚焦高度工具的那些操作。对图像区域或感兴趣区域的高速自动聚焦和/或聚焦位置确定可以基于分析图像以确定各种区域的对应聚焦特征值(例如,定量对比度度量值和/或定量聚焦度量值)来进行。例如,这种方法在美国专利第8,111,905号、第7,570,795号和第7,030,351号中公开,这些专利中的每一个通过整体引用并入本文。
在本公开的上下文中,如本领域普通技术人员所知,术语“视频工具”通常指的是机器视觉用户可以通过相对简单的用户界面来实施的一组相对复杂的自动或编程的操作。例如,视频工具可以包括一组复杂的预编程的图像处理操作和计算,这些操作和计算通过调整控制操作和计算的几个变量或参数而在特定情况下被应用和定制。除了底层的操作和计算之外,视频工具还包括允许用户为视频工具的特定实例调整那些参数的用户界面。应该注意的是,可视用户界面特征有时被称为视频工具,其隐含地包括底层操作。
通常,精密机器视觉计量系统(例如,图1和图2中的那些)可以是可编程为提供自动化视频检查的。这种系统通常包括可选的操作模式以及GUI特征和预定义图像分析视频工具,使得操作和编程可以由“非专家”操作员执行。这种视频工具可以在“手动模式”下手动使用,和/或它们的参数和操作也可以在学习模式期间记录,以便创建部件程序。在各种实施方式中,视频工具可以包括例如边缘/边界检测工具、自动聚焦工具、形状或图案匹配工具、尺寸测量工具等。先前并入的美国专利第6,542,180号和第7,627,162号教导了包括使用视频工具进行检查编程的视觉系统。
在各种实施方式中,标准工件表面模式部分140ss可以针对标准工件表面(例如,不透明等)类似于已知的方法来操作(例如,可以被用户选择作为操作模式和/或以视频工具的形式提供和/或用作某些视频工具、自动聚焦工具等的一部分)。例如,根据这些先前已知的方法,包括工件表面的图像的图像堆栈可以被获取/捕获,并且可以根据先前已知的方法(例如,如并入的参考文献中所述的)为感兴趣区域的每个聚焦曲线确定单个聚焦峰。如下文将更详细描述的,透明工件表面模式部分140ts可以基于本文公开的某些方法来操作,并且可以类似地被用户选择为操作模式和/或以视频工具的形式提供和/或用作某些视频工具、自动聚焦工具等的一部分。例如,根据这种方法,图像堆栈可以被获取,并且可以为每个聚焦曲线确定一个以上的局部聚焦峰(例如,两个局部聚焦峰)(例如,对于每个聚焦曲线,第一局部聚焦峰可以对应于工件20的透明或半透明的上表面SRF-1,第二局部聚焦峰可以对应于工件20的通过上表面SRF-1至少部分可观察的下表面SRF-2,这将在下面更详细地描述)。
一个或多个显示设备136(例如,图1的显示器16)和一个或多个输入设备138(例如,图1的操纵杆22、键盘24和鼠标26)可以连接到输入/输出接口130。显示设备136和输入设备138可以用于显示用户界面(例如,如图8A、图8B和图10A所示),该用户界面可以包括可用于执行检查操作、和/或创建和/或修改部件程序以观察由照相机系统260捕获的图像、和/或直接控制视觉组件部分200的各种图形用户界面特征。
在各种示例性实施方式中,当用户利用机器视觉计量系统100为工件20创建部件程序时,用户通过以学习模式操作机器视觉计量系统100提供希望的图像获取训练序列来生成部件程序指令。例如,训练序列可以包括在视场(FOV)中定位代表性工件的特定工件特征、设置光级、聚焦或自动聚焦、获取图像、以及提供应用于图像的检查训练序列(例如,对该工件特征使用视频工具之一的实例)。学习模式运行,使得(多个)序列被捕获或被记录并被转换成对应的部件程序指令。当部件程序被执行时,这些指令将使机器视觉计量系统再现所训练的图像获取,并使检查操作自动地检查与创建部件程序时使用的代表性工件匹配的一个或多个运行模式工件上的特定工件特征(即对应位置中的对应特征)。
图3是成像系统300的示意图,该成像系统300可适用于机器视觉计量系统或被配置成独立系统,并可根据本文公开的原理操作。应当理解,图3的某些编号的组件3XX可以对应于和/或提供与图2类似编号的组件2XX类似的操作或功能,并且可以类似地理解,除非另有说明。
如下文将更详细描述的,成像光路OPATH(本文也称为工件成像光路)包括沿着将图像光355从工件320运送到照相机360的路径布置的各种光学组件(例如,作为成像系统300的光学系统的一部分)。图像光通常沿着它们的光轴OA的方向运送。在图3所示的实施方式中,所有光轴OA都是对准的。然而,应当理解,这种实施方式仅是示例性的,而不是限制性的。更一般地,成像光路OPATH可以包括反射镜和/或其他光学元件,并且可以采取可操作用于根据已知原理使用照相机(例如,照相机360)对工件320成像的任何形式。在图示的实施方式中,成像光路OPATH包括VFL透镜370(其可以包括在4f成像配置中),并且至少部分用于在工件图像曝光期间沿着光学系统的光轴OA对工件320的表面成像。
如图3所示,成像系统300包括光源330、图案投影部分330’、曝光(闪光)时间控制器333es、标准工件表面模式340ss、透明工件表面模式340ts、物镜350、镜筒透镜351、转像透镜352、VFL(TAG)透镜370、转像透镜356、透镜控制器380、照相机360、有效聚焦位置(Z高度)校准部分373以及工件聚焦信号处理部分375(可选的)。在各种实施方式中,各种组件可以通过直接连接或一个或多个数据/控制总线(例如,系统信号和控制总线395)和/或应用编程接口等互连。
如下文将更详细描述的,在各种实施方式中,VFL透镜控制器380可以控制VFL透镜370的驱动信号,以在周期性调制内的各个相位定时处出现的光焦度范围内周期性地调制VFL透镜370的光焦度。照相机360(例如,包括成像检测器)接收在图像曝光期间沿着成像光路OPATH通过VFL透镜370传输的光,并提供对应的照相机图像。物镜350在图像曝光期间输入从工件320产生的图像光,并且在图像曝光期间沿着成像光路OPATH通过VFL透镜370传输图像光并且传输到照相机360,以在对应的照相机图像中提供工件图像。图像曝光期间物镜350前面的有效聚焦位置EFP对应于该图像曝光期间VFL透镜370的光焦度。曝光时间控制器333es被配置为控制用于照相机图像的图像曝光定时。
关于图3所示的一般配置,光源330可以是“同轴的”或被配置成沿着包括分束器390(例如,作为分束器的一部分的部分反射镜)的路径并通过物镜350向工件320的表面发射源光332的其他光源(例如,具有闪光或连续光照),其中物镜350接收在靠近工件320的有效聚焦位置EFP处聚焦的图像光355(例如,工件光),并将图像光355输出到镜筒透镜351。镜筒透镜351接收图像光355,并将其输出到转像透镜352。在其他实施方式中,类似的光源可以以非同轴的方式对视场照射,例如,环形光源可以对视场照射。
在各种实施方式中,物镜350可以是可互换物镜,并且镜筒透镜351可以被包括为转盘透镜组件的一部分(例如,类似于图2的可互换物镜250和转盘透镜组件223)。在图3所示的实施方式中,从物镜350的标称焦平面产生的图像光355被镜筒透镜351聚焦,以在标称中间图像平面IIPnom处形成中间图像。根据已知的显微镜成像原理,当VFL(TAG)透镜370处于不提供透镜效应(无光焦度)的状态时,物镜350的标称焦平面、标称中间图像平面IIPnom和照相机360的图像平面形成一组共轭平面。在各种实施方式中,本文提及的其他透镜中的任一个可以由单独的透镜、复合透镜等形成,或者与单个透镜、复合透镜等结合操作。
转像透镜352从镜筒透镜351(或者更一般地,在各种替代显微镜配置中,从中间图像平面)接收图像光355,并将其输出到VFL(TAG)透镜370。VFL透镜370接收图像光355并将其输出到转像透镜356。转像透镜356接收图像光355并将其输出到照相机360。在各种实施方式中,照相机360在也被称为图像曝光周期的图像曝光期间(例如,在照相机360的积分周期期间)捕获相机图像,并且可以向控制系统部分提供对应的图像数据。一些照相机图像可以包括在工件图像曝光期间提供的(例如,工件320的区域的)工件图像。在一些实施方式中,图像曝光(例如,工件图像曝光)可以由落入照相机360的图像积分周期内的光源330的闪光定时来限制或控制。在各种实施方式中,照相机360可以具有大于100万像素的像素阵列(例如,130万像素,1280×1024像素阵列,每像素5.3微米)。
在图3的示例中,转像透镜352和356以及VFL(TAG)透镜370被指定为被包括在4f光学配置中,而转像透镜352和镜筒透镜351被指定为被包括在开普勒望远镜配置中,镜筒透镜351和物镜350被指定为被包括在显微镜配置中。所有示出的配置将被理解为仅是示例性的,而不是对本公开的限制。在各种实施方式中,图示的4f光学配置允许在物镜350的傅里叶平面处放置VFL(TAG)透镜370(例如,其可以是低数值孔径(numerical aperture,NA)设备)。这种配置可以保持工件320处的远心度,并且可以最小化标度变化和图像失真(例如,包括为工件320的每个有效聚焦位置(Z高度)提供恒定的放大率)。开普勒望远镜配置(例如,包括镜筒透镜351和转像透镜352)可以被包括在显微镜配置和4f光学配置之间,并且可以被配置成在VFL(TAG)透镜370的位置处提供物镜清晰孔径的希望大小的投影,以便最小化图像像差等。
在各种实施方式中,透镜控制器380可以包括驱动信号生成器部分381、定时时钟381’和成像电路/例程382。驱动信号生成器部分381可以(例如,结合定时时钟381’)进行操作以经由信号线380’向高速VFL(TAG)透镜370提供周期性驱动信号。在各种实施方式中,成像系统300可以包括控制系统(例如,图2的控制系统部分120),该控制系统可被配置成结合透镜控制器380进行操作以用于协调操作。
在各种实施方式中,透镜控制器380通常可以以与VFL透镜370的希望相位定时同步的方式来执行与对工件320成像相关的各种功能,以及控制、监视和调整VFL透镜370的驱动和响应。在各种实施方式中,图像电路/例程382为光学系统执行成像操作(例如,这可以与VFL透镜370的相位定时同步)。
在各种情况下,由于不想要的温度变化,VFL透镜的工作特性可能出现漂移。如图3所示,在各种实施方式中,成像系统300可以可选地包括与VFL透镜370相关联的透镜加热器/冷却器337。根据一些实施方式和/或操作条件,透镜加热器/冷却器337可以被配置成将一定量的热能输入到VFL透镜370中和/或执行冷却功能以促进VFL透镜370的加热和/或冷却。此外,在各种实施方式中,可以由与VFL透镜370相关联的温度传感器336提供VFL透镜监视信号,以监视VFL透镜370的工作温度。
关于VFL透镜370的一般操作,在如上所述的各种实施方式中,透镜控制器380可以周期性地快速调整或调制VFL透镜370的光焦度,以实现能够周期性调制(诸如250kHz、70kHz、30kHz等)的高速VFL透镜(即在VFL透镜谐振频率下)。如图3所示,通过使用信号的周期性调制来驱动VFL透镜370,成像系统300的有效聚焦位置EFP(即物镜350前面的聚焦位置)可以在范围Refp(例如,自动聚焦搜索范围或聚焦范围等)内快速移动,范围Refp由对应于与物镜350结合的VFL透镜370的最大光焦度的有效聚焦位置EFP1(或EFPmax)和对应于与物镜350结合的VFL透镜370的最大负光焦度的有效聚焦位置EFP2(或EFPmin)来界定。在各种实施方式中,有效聚焦位置EFP1和EFP2可以近似对应于90度和270度的相位定时。在各种实施方式中,范围Refp的中间可以被指定为EFPnom,并且可以对应于与物镜350的标称光焦度结合的VFL透镜370的零光焦度。根据该描述,在一些实施方式中,EFPnom可以近似对应于物镜350的标称焦距(例如,其可以对应于物镜350的工作距离WD)。
在各种实施方式中,可以利用VFL透镜370的调制来获取图像堆栈,诸如美国专利第9,143,674号和第9,830,694号中所描述的,这些专利中的每一个都通过整体引用并入本文。如并入的参考文献中所述,图3的成像系统的聚焦位置的周期性调制的Z高度可以通过周期性地调制成像系统中的VFL透镜(例如,TAG透镜370)的焦距来控制,如上所述。在各种实施方式中,闪光照射(例如,由曝光时间控制器333es控制的来自光源330的闪光照射)可以被定时为对应于周期性调制的聚焦位置的相应相位定时,以曝光聚焦在相应Z高度处的图像。也就是说,当数码相机(例如,照相机360)在积分周期期间获取图像时,如果在相位定时φ0处提供短闪光脉冲,则聚焦位置将在高度zφ0处,并且位于高度zφ0处的任何工件表面将在得到的图像中聚焦。类似的原理适用于整个聚焦范围内的其他示例性相位定时和Z高度。
在各种实施方式中,这样的过程可以用于获得图像堆栈。例如,当TAG透镜和系统的对应的总聚焦位置被正弦调制时,工件表面的不同图像被捕获为对应于不同的相位定时和不同的对应的Z高度。作为简化的示例,如果聚焦范围是100mm,并且图像以1mm的步长被捕获,则图像堆栈可以包括100个图像,其中,每个捕获的图像对应于整个100mm的聚焦范围内以1mm为步长的不同的Z高度。在各种实施方式中,也可以在具有或不具有VFL透镜的系统中获取图像堆栈(例如,通过利用驱动致动器沿着Z轴移动光学组件部分205的可控电机294改变成像系统相对于工件20/320的聚焦位置,以用于在不同的有效聚焦位置处获得图像堆栈的不同图像,并且使得图像堆栈的每个图像将根据电机294的控制在聚焦范围内的不同的对应的已知Z高度处被获取)。美国专利第8,581,162号描述了用于获取和利用图像堆栈的各种技术,并且该专利通过整体引用并入本文。
在一个实施方式中,可选的聚焦信号处理部分375可以从照相机360输入数据,并且可以提供用于确定(例如,工件320的)成像表面区域何时处于有效聚焦位置的数据或信号。例如,可以使用已知的“最大对比度”或“最佳聚焦图像”分析来分析由照相机360在不同有效聚焦位置(Z高度)处获取的图像组(诸如图像堆栈的一部分),以确定工件320的成像表面区域何时处于对应的有效聚焦位置(Z高度)。然而,更一般地,可以使用任何其他合适的已知图像聚焦检测配置。在任何情况下,工件聚焦信号处理部分375等可以输入在成像系统(例如,利用VFL透镜370或电机294等)的有效聚焦位置的周期性调制(扫描多个有效聚焦位置)期间获取的一个或多个图像,并且确定(例如,工件的)目标特征为最佳聚焦的图像和/或图像定时。
在一些实施方式中,聚焦信号处理部分375可以确定对应于(例如,工件特征的)最佳聚焦的VFL透镜370的相位定时,并将“最佳聚焦”相位定时值输出到有效聚焦位置校准部分373。有效聚焦位置校准部分373可以提供有效聚焦位置(Z高度)校准数据,该校准数据将各个有效聚焦位置(Z高度)与VFL透镜370的标准成像谐振频率的周期内的各个“最佳聚焦”相位定时相关联,其中在一些情况下,校准数据通常可以对应于根据标准成像驱动控制配置或参考状态来操作VFL透镜370。例如,在各种实施方式中,来自照相机360的信号数据可以对应于由照相机获取的一个或多个图像(例如,作为图像堆栈的一部分),其中,作为点形态聚焦操作或其他分析的一部分的对比度或其他聚焦度量确定可以被执行以确定工件320的成像表面区域何时处于“最佳聚焦”位置。在先前并入的美国专利第6,542,180号、第8,581,162号和第9,060,117中教导了用于确定和分析图像堆栈和聚焦曲线以及用于点形态聚焦操作的示例性技术。
一般来说,有效聚焦位置校准部分373包括记录的有效聚焦位置(Z高度)校准数据(例如,通过诸如在并入的参考文献中所公开的那些校准过程所确定的)。因此,其在图3中作为独立元件的表示仅是示意性的表示,而不是限制性的。在各种实施方式中,相关联的记录的有效聚焦位置(Z高度)校准数据可以与透镜控制器380、工件聚焦信号处理部分375或连接到系统信号和控制总线395的主计算机系统等合并和/或区分。
在各种实施方式中,曝光(闪光)时间控制器333es控制成像系统300(例如,相对于周期性调制的有效聚焦位置的相位定时)的图像曝光时间。更具体地,在一些实施方式中,在图像曝光期间,曝光(闪光)时间控制器333es(例如,使用有效聚焦位置校准部分373中可用的有效聚焦位置(Z高度)校准数据)可以控制光源330在相应的受控时间处闪光(例如,使得图像堆栈中的每个图像将在聚焦范围内的不同的对应的已知Z高度处被获取)。例如,曝光(闪光)时间控制器333es可以控制闪光光源在VFL透镜370的标准成像谐振频率的周期内的相应相位定时处闪光,以便在VFL透镜370的扫描(周期性调制)范围内获取具有特定有效聚焦位置(例如,具有对应的已知Z高度)的图像。在其他实施方式中,曝光时间控制器333es可以控制照相机360的快速电子照相机快门,以在相应的受控时间和/或其相关联的有效聚焦位置(Z高度)处获取图像。在一些实施方式中,曝光(闪光)时间控制器333es可以与照相机360合并或可不与照相机360区分。可以理解的是,曝光时间控制器333es的操作和上面概述的其他特征和元件可以被实施来控制工件图像获取。
在各种实施方式中,标准工件表面模式340ss或透明工件表面模式340ts(例如,实施为单独的模式和/或视频工具或视频工具的一部分或系统的其他部分等)可以是(例如,由用户)取决于被检查的工件的特性而可选的。例如,当工件320具有含特定特性(例如,不透明等)的上表面SRF-1时,可以选择和利用标准工件表面模式340ss。根据这样的标准操作,在各种实施方式中,可以获取图像堆栈,并且可以执行标准的点形态聚焦或其他分析操作,包括为每个感兴趣区域的每个所确定的聚焦曲线确定单个聚焦峰(例如,指示表面SRF-1上的每个感兴趣区域的有效聚焦位置EFP)。
可替换地,当工件320具有透明或半透明的上表面SRF-1(即使得可以通过上表面SRF-1至少部分地观察下表面SRF-2)时,可以选择和利用透明工件表面模式340ts。如下面将参考图4-图10B更详细描述的,作为透明工件表面模式340ts的一部分,在各种实施方式中,可以获取图像堆栈并执行操作,包括为每个感兴趣区域的每个所确定的聚焦曲线确定第一局部聚焦峰和第二局部聚焦峰(例如,指示表面SRF-1和表面SRF-2中的每一个上的每个感兴趣区域的有效聚焦位置EFP)。在各种实施方式中,图案投影部分330’可以与透明工件表面模式340ts结合使用或作为透明工件表面模式340ts的一部分来使用,这将在下面参考图5进行更详细的描述。
应当理解,图2和图3中标准工件表面模式部分140ss、透明工件表面模式部分140ts、标准工件表面模式340ss和透明工件表面模式340ts作为独立元件的表示仅是示意性表示,而不是限制性的。在各种实施方式中,相关联的部分和模式可以是单独的部分,或者可以是系统的各种其他部分(诸如视频工具部分143的一个或多个视频工具,或者图像电路/例程部分382,或者连接到系统信号和控制总线395的主计算机系统等)的一部分和/或与之合并和/或可不与其区分。
图4是示出第一组400聚焦曲线FC1-FC6的图,这些聚焦曲线具有对应于包括透明或半透明的上表面SRF-A和通过上表面至少部分可观察的下表面SRF-B的工件表面的局部聚焦峰。被编号的聚焦曲线被示出为沿着x轴方向布置,并且被示出为指示根据沿着x轴方向的曲线形状以及根据沿着z轴方向所示的Z高度(例如,深度)位置的聚焦度量值。一般来说,如并入的参考文献中所描述的,聚焦曲线通常用沿着一个轴的Z高度位置(例如,图4的图示中的z轴)和沿着第二个轴的聚焦度量值(例如,图4的图示中的x轴)来绘制。如图4所示,被顺序编号的示例聚焦曲线FC1-FC6沿x轴方向依次示出(例如,如相应聚焦曲线所对应的工件表面上的感兴趣区域的x轴位置所示)。
一般来说,如并入的参考文献中所描述的,各种技术通常用于确定聚焦曲线。在先前并入的美国专利第6,542,180号、第8,581,162号和第9,060,117号中教导了用于确定和分析图像堆栈和聚焦曲线以及用于点形态聚焦操作的示例性现有技术。如并入的参考文献中所描述的,对于点形态聚焦和其他技术,聚焦位置可以沿着Z轴(聚焦轴)移动通过一系列Z高度位置Z(i),并且包括照相机(例如,照相机360)的系统可以在每个位置处捕获图像(i)。针对图4的示例,可以理解的是,虽然右边的标度指示正在获取大约30个图像,但是这仅仅是为了说明的目的而提供的,并且在各种实施方式中,可以利用更少或更多(例如,100或更多)的图像数量。
通常,对于每个捕获的图像(i),可以基于图像中的感兴趣区域或子区域ROI(k)(例如,一组像素)并且与图像被捕获时照相机沿着Z轴的对应的位置Z(i)相关地计算聚焦度量fm(k,i)。这产生聚焦曲线数据(例如,位置Z(i)处的聚焦度量fm(k,i),它是确定数据集的一种类型的聚焦峰),其可以简称为“聚焦曲线”或“自动聚焦曲线”。在各种实施方式中,聚焦度量值可以包括对图像中感兴趣区域的对比度或锐度的计算。针对这种聚焦曲线,常规的点形态聚焦和类似操作已通常被配置用于仅确定聚焦曲线的单个峰,该单个峰被指定为对应于沿着Z轴的最佳聚焦位置以及对应于用于确定聚焦曲线的感兴趣区域的Z高度。
应当理解,这种当前已知的(例如,用于点形态聚焦和类似确定等的)常规算法在一组假设下进行操作,这些假设包括每个感兴趣区域只有单个聚焦最大值(即图像位置)应该存在并且针对每个z扫描(即图像堆栈捕获)只有单个聚焦最大值被确定。如先前并入的第8,581,162号和第9,060,117号专利中所述,在一些实施方式中,聚焦最大值的确定可以包括(例如,由于噪声信号等而引起的、在聚焦曲线的某些确定中可能是固有的)某些相对复杂的过程,对于这种情况,先前的标准过程还没有针对每个聚焦曲线的一个以上的聚焦最大值(即聚焦峰)的确定。应当理解,在一些情况下,根据本文公开的原理,每个聚焦曲线的两个局部聚焦最大值的确定也可能涉及并且可能潜在地增加这种复杂性。在各种实施方式中,部分地由于这种确定的复杂性增加(例如,对于这种情况,附加聚焦最大值的确定可能进一步增加复杂性),可能希望系统只为每个聚焦曲线确定最多两个局部聚焦峰(例如,这对于主要具有第一表面和第二表面的某些类型的工件来说可能是常见的应用,诸如包括玻璃、透镜、薄膜等的某些工件)。在这种实施方式中,系统可以不被配置成确定聚焦曲线的附加局部聚焦峰(例如,诸如可以对应于可以通过第一表面至少部分可观察的附加表面)。如本文所使用的,术语“局部聚焦峰”可以指聚焦曲线的局部最大值。根据标准定义,局部最大值可以是函数在其域中的某一点处的值,该值大于或等于紧邻该点的所有其他点的值。在各种实施方式中,局部最大值的“粒度”或灵敏度可以通过延长或缩短在前述定义中定义为“紧邻”的距离来调整。
在图4的示例中,聚焦曲线FC4-FC6各自包括单个聚焦最大值(即对应于单个表面),对于该聚焦曲线FC4-FC6,先前已知的PFF和其他算法可以准确地进行操作(例如,作为标准工件表面模式140ss/340ss的一部分),以用于确定每个聚焦曲线的单个聚焦最大值和沿z轴方向的对应的表面位置。然而,如果将这种先前已知的算法/技术应用于聚焦曲线FC1-FC3,则根据常规操作,将仅确定单个聚焦峰(例如,对应于聚焦曲线的全局最大值,根据标准定义,该全局最大值可以是数学函数在其整个曲线(域)上的最大值)。关于图4的示例,这种技术将识别聚焦曲线FC1-FC3中的每一个的全局最大值(例如,对应于无论是表面SRF-A还是表面SRF-B产生的更大的局部聚焦峰),并且对于该全局最大值,更小的局部聚焦峰(例如,对应于另一表面)将被忽略/过滤(例如,作为这种过程的典型全局最大值过滤的一部分)。因此,如果将先前已知的技术应用于聚焦曲线FC1-FC3,将仅确定表面SRF-A或表面SRF-B的位置。如下文将更详细描述的,通过允许确定一个以上的聚焦峰(例如,允许确定两个最显著的局部聚焦峰)作为不同模式的一部分(例如,作为透明工件表面模式140ts/340ts的一部分),可以适应不同类型工件的检查和测量(例如,用于对具有透明上表面和通过上表面至少部分可观察的下表面的工件进行更准确的成像/测量等)。
如图4所示,根据本文公开的技术,可以确定局部聚焦峰P1A-P3A、P1B-P3B和P4AB-P6AB。在图示的示例中,局部聚焦峰P1A-P3A被确定为对应于第一表面SRF-A(例如,透明或半透明的上表面),并且局部聚焦峰P1B-P3B被确定为对应于第二表面SRF-B(例如,通过上表面SRF-A至少部分可观察/可见的下表面)。在各种实施方式中,局部聚焦峰P4AB-P6AB最初可以被指定或以其他方式被模糊地认为对应于表面SRF-A或表面SRF-B。如下文将更详细描述的,可以利用各种技术来确定局部聚焦峰P4AB-P6AB是对应于表面SRF-A还是表面SRF-B。在一个实施方式中,局部聚焦峰P4AB-P6AB被确定为对应于表面SRF-B。如下面将参考图9和图10A的示例更详细描述的,在各种实施方式中,某些聚焦曲线可能不具有对应于表面的局部聚焦峰和/或可能不具有局部聚焦峰,在一些情况下,对于这种聚焦曲线,这样的结果可以在2D EDOF图像中被相应地标记(例如,以指定的颜色、图案、其他指示器等来指示没有数据),并且也可以在3D图像中被标记(例如,标记为非数字NaN,或以其他方式用于指示3D图像中未定义或不可表示的值)。
如下文将更详细描述的,在表面分析过程的一部分期间,图4的表面SRF-A和SRF-B可以最初被指定为候选表面(例如,并且对于这种情况,由于作为第一表面或第二表面的一部分的局部聚焦峰P4AB-P6AB的模糊性,还可以存在包括局部聚焦峰P1A-P3A和P4AB-P6AB的第三候选表面)。一旦评估了候选表面,第一候选表面(例如,候选表面SRF-A)可以被指定为要显示的第一表面SRF-1,第二候选表面(例如,候选表面SRF-B)可以被指定为要显示的第二表面SRF-2(例如,如下面将参考图8A、图8B、图10A和图10B更详细描述的)。
在各种实施方式中,对应于要显示的第一表面SRF-1(例如,可以对应于候选表面SRF-A)的第一局部聚焦峰可以基于在聚焦曲线FC1、FC2和FC3中的每一个中共享相同第一编号位置(例如,足够显著或“强”的第一局部聚焦峰,即超过预定义峰显著性度量的第一局部聚焦峰)的所有第一局部聚焦峰(例如,局部聚焦峰P1A、P2A和P3A)来确定。在各种实施方式中,峰显著性度量可以包括诸如峰的突显度、与其他峰的距离等因素。一般来说,计算局部峰的稳健方法可以用作用于识别聚焦曲线的局部聚焦峰的初始步骤。
除了第一局部聚焦峰之外,对应于要显示的第二表面SRF-2(例如,可以对应于候选表面SRF-B)的第二局部聚焦峰可以类似地基于在聚焦曲线FC1、FC2和FC3中的每一个中共享相同第二编号位置(例如,第二显著局部聚焦峰)的所有第二局部聚焦峰(例如,局部聚焦峰P1B、P2B和P3B)来确定。在各种实施方式中,基于作为聚焦曲线FC4、FC5和FC6的第一个且唯一的局部聚焦峰,局部聚焦峰P4AB、P5AB和P6AB最初也可以被包括以用于考虑要显示的第一表面SRF-1(例如,可以对应于候选表面SRF-A)。可以利用附加技术从用于/指定用于表面SRF-1/SRF-A的局部聚焦峰中过滤局部聚焦峰P4AB、P5AB和P6AB(例如,因为不满足指定的质量或强度准则,或未落入用户为指定表面设置的Z过滤范围内,或基于平滑度约束或误差度量最小化等)。
作为另一示例,对应于要显示的表面SRF-2(例如,可以对应于候选表面SRF-B)的局部聚焦峰可以基于在聚焦曲线中的每一个中共享相同编号位置的所有局部聚焦峰(例如,局部聚焦峰P1B、P2B、P3B、P4AB、P5AB和P6AB)来确定。例如,局部聚焦峰也可以或可替换地从底至顶被计数/编号,对于这种情况,局部聚焦峰P1B、P2B、P3B、P4AB、P5AB和P6AB各自都将是以这种次序被第一个计数/编号的局部聚焦峰,因为它们对应于要显示的工件的下表面SRF-2(例如,可以对应于候选表面SRF-B)。在具有这种计数次序的这种实施方式中,对于聚焦曲线FC1、FC2和FC3中的每一个,局部聚焦峰P1A、P2A和P3A然后将是第二个被计数/编号的局部聚焦峰(即具有相同编号位置的每个局部聚焦峰),因为它们对应于要显示的表面SRF-1(例如,可以对应于候选表面SRF-A)。在各种实施方式中,该过程可以包括以多种次序对局部聚焦峰进行编号/计数(例如,在第一次迭代中从顶至底,在第二次迭代中从底至顶),对于该过程,其结果可以被比较和/或以其他方式被用于做出对应于工件表面(例如,上表面和下表面)的局部聚焦峰的最佳/优选/最一致的确定。
应当理解,图4的示例是针对二维数据示出的,并且表示工件的横截面“切片”(例如,根据居中或以其他方式位于沿着工件表面的特定y轴位置的对应感兴趣区域)。更具体地,如上所述,聚焦曲线FC1-FC6中的每一个的x轴位置通常可以表示相应聚焦曲线所对应的工件表面上的感兴趣区域的x轴位置。局部聚焦峰P1A-P3A、P1B-P3B和P4AB-P6AB中的每一个的Z轴位置通常可以表示相应聚焦曲线所对应的工件表面上的最佳聚焦感兴趣区域的Z高度。这些值可以被认为表示每个表面的二维数据(例如,XZ切片),并且通过进一步利用类似过程来确定这种聚焦曲线和沿着表面的其他y轴位置处的感兴趣区域的对应的局部聚焦峰(例如,对应于其它感兴趣区域的y轴位置),可以确定每个工件表面(表面SRF-A和SRF-B)的代表性三维数据。
如下面将参考图8A和图8B更详细描述的,作为简化的示例,在一个实施方式中,如果表面的Z高度沿着Y轴近似相似(例如,沿着y轴方向具有恒定的Z高度或具有恒定的斜率),则图8A和图8B的示例可以表示包括图4的二维数据的表面。更具体地,如上所述,可以沿着表面的给定y轴维度为附加y轴位置确定3维数据。应当理解,提供这样的示例仅仅是为了说明的目的,并且各种工件表面可以具有更复杂的三维数据(例如,在x轴和y轴方向上都有Z高度变化)。
如下文将更详细描述的,图5-图7是示出(例如,用于显示表面的图像和执行测量的)各种示例性过程的流程图,而图8A-图8B是示出(例如,用于显示图4的表面SRF-A和SRF-B的图像和执行测量的)各种用户界面特征的图,以及图9-图10B是示出聚焦曲线和各种用户界面特征的附加示例的图。
图5是示出用于显示表面的图像和执行测量的示例性过程500的流程图。在各种实施方式中,过程500可以至少部分地由图2的透明工件表面模式部分140ss或图3的透明工件表面模式340ts来实施,作为单独的可选模式和/或视频工具的一部分、和/或由系统的其他组件/部分来实施。在判定框505处,关于是否要利用图案投影做出判定。如果要利用图案投影,则该过程前进到框507,在框507处,为了获取第一图像堆栈而打开图案投影,如下面将参考框510更详细描述的。
应当理解,在各种实施方式中,某些类型的表面的可靠重构(例如,透明或半透明的上表面和/或某些下表面等)可以被抑制(例如,由于缺乏通过成像系统或其他方式可观察的表面纹理)。为了实现这种表面的准确重构/成像/显示(例如,用于EDOF或3D图像等),共焦图案投影(例如,包括以规则或不规则(随机)图案分布的诸如小正方形、三角形、圆形、线等的几何形状的图案,其可以结合来自光源的光或以其他方式被投影,该光源被用来对工件进行照射以用于成像)可以用于使表面更加可检测(例如,用于根据所确定的局部聚焦峰来确定表面的Z高度位置,所确定的局部聚焦峰是根据具有如投影在表面上的图案的图像数据来确定的)。在各种实施方式中,图案投影可以由图案投影部分(例如,图案投影部分330’)提供,对于这种情况,图案投影的打开可以包括打开或定位图案投影部分的图案元素(例如,包括玻璃或其他基底上的图案,诸如玻璃上的铬等)和/或打开相关联的光源(例如,光源330或图案投影部分330’的其他光源,在各种实施方式中,其也可以包括一个或多个透镜等或与一个或多个透镜等结合利用作为共焦图案投影的一部分等)。在各种实施方式中,图案投影的利用导致聚焦曲线中的至少一些局部聚焦峰比在相同图像获取过程和条件(包括相同的光照)但没有投影图案的情况下产生的局部聚焦峰高。因此,在各种实施方式中,使用图案投影来获取对比度曲线和强聚焦峰可以是优选实施例。
一旦在框507处打开了图案投影,或者如果不利用图案投影,则过程前进到框510。在框510处,利用具有光轴的光学系统(例如,如图1-3所示)(例如,利用图案投影,如果图案投影打开的话)获取图像堆栈,其中图像堆栈的多个图像中的每个图像包括为透明或半透明中的至少一个的第一表面以及通过第一表面至少部分可观察/可见的第二表面。在各种实施方式中,图像堆栈的获取可以包括最初确定工件上(例如,在XY平面中)的多个(通常重叠的)感兴趣区域(例如,感兴趣区域包括要成像的第一表面和第二表面的部分和/或可以为其确定Z高度和Z高度质量元数据的部分等)。然后可以获取图像堆栈的图像,包括感兴趣的区域,并且对于这种情况,图像堆栈包括在聚焦范围内的对应的Z高度(例如,其可以是已知的Z高度)处获取的成员图像。在框520处,基于图像堆栈的图像为感兴趣区域确定多个聚焦曲线。在框530处,执行用于至少确定每个聚焦曲线中对应于第一表面的第一局部聚焦峰以及每个聚焦曲线中对应于第二表面的第二局部聚焦峰的子过程,如下面将参考图6更详细描述的。
在框540处,确定并存储对于第一图像堆栈中的(例如,每个像素的)局部聚焦峰的图像索引的数据(例如,数组、列表等)。在判定框550处,关于EDOF图像是否可用于显示做出确定。如果EDOF图像可用,则该过程前进到判定框560,在框560处,关于图案投影是否被用于第一图像堆栈的获取做出确定。如果图案投影被用于第一图像堆栈的获取,则过程进行到框570,在框570处,利用与获取第一图像堆栈所利用的相同的每个图像的捕获参数(例如,XY位置、Z范围、Z间距)来获取第二图像堆栈,但对于这种情况,第二图像堆栈是在没有任何图案投影的情况下获取的。
如上所述,第二图像堆栈可以在没有图案投影的情况下被捕获(例如,没有图案投影在其上的表面的图像/图像数据的“干净”版本)。如下文将更详细描述的,在各种实施方式中,从第一图像堆栈中确定的局部聚焦峰被用于确定来自第二图像堆栈的什么图像数据对应于特定表面,并且将被用于该表面的显示。更具体地,来自第二图像堆栈的“干净”图像数据被用于特定表面的图像(例如,EDOF图像)的重构和/或显示(即对于该特定表面,根据从第一图像堆栈中确定的局部聚焦峰的索引来确定从第二“干净”图像堆栈中利用哪些图像数据)。
一旦在框570处获取了第二图像堆栈,或者如果在框550处确定没有EDOF图像可用,或者如果在框560处确定没有图案投影用于第一图像堆栈的获取,则过程前进到框580。在框580处,执行子过程以显示表面和执行测量,这将在下面参考图7更详细地描述。
图6是示出用于确定每个聚焦曲线中分别对应于第一表面和第二表面的第一局部聚焦峰和第二局部聚焦峰的示例性子过程530的流程图。在各种实施方式中,本文描述的任何过程和/或子过程可以是方法、例程、子例程等,或者可以作为方法、例程、子例程等的一部分来实施。在框610处,确定聚焦曲线的局部聚焦峰。在各种实施方式中,局部聚焦峰的确定可以包括基于图像堆栈集为每个感兴趣区域确定(例如,聚焦曲线的)聚焦峰确定数据集,其中,聚焦峰确定数据集包括基于成员图像中的(通常重叠的)感兴趣区域的聚焦度量。在各种实施方式中,可以基于(例如,对应于感兴趣区域的聚焦曲线的)感兴趣区域的聚焦峰确定数据集来(例如,为包括对应于第一表面和第二表面的第一局部聚焦峰和第二局部聚焦峰的聚焦曲线/感兴趣区域中的至少一些)确定局部聚焦峰。如上所述,在各种实施方式中,作为分析的一部分,聚焦曲线可以被分成或者以其他方式被确定为包括不同的部分,对于这种情况,可以为聚焦曲线的每个部分确定不同的局部聚焦峰。
在框620处,不满足质量准则的局部聚焦峰被消除。例如,可以利用类似于在已知的点形态聚焦算法中利用的质量测量的某些准则。在各种实施方式中,可以结合框610的操作来执行对不满足质量准则的局部聚焦峰的消除。关于框610和620的操作,在各种实施方式中,可以利用和调整某些特定类型的质量准则来保留最显著的局部聚焦峰。例如,可以平滑聚焦曲线,可以基于峰最大值(幅度)、形状和/或局部突显度来过滤局部聚焦峰,可以基于不同局部聚焦峰之间的最小可允许Z距离来执行过滤,可以基于局部聚焦峰的预期数量来执行过滤(例如,在某些实施方式中,只有两个最高的局部聚焦峰可以被保留),等等。
在判定框630处,关于是否要对局部聚焦峰进行内插做出确定。如果要对局部聚焦峰进行内插,则子过程前进到框640,在框640处,对局部聚焦峰执行内插。在各种实施方式中,可以执行这样的过程来为所确定的表面位置实现更好的Z准确度。例如,如下面将参考图9更详细描述的,局部聚焦峰可以被内插在聚焦曲线中,并且对于这种情况,对应于被内插的局部聚焦峰的数据可以被标记或以其他方式被指示(例如,用于基于给定聚焦曲线的内插数据来指示对应的2D EDOF或3D图像中的内插局部聚焦峰等)。在各种实施方式中,如果仅提供表面的2D EDOF图像(例如,而不提供表面的3D图像),则可以不利用/不需要局部聚焦峰的内插。更具体地,由于2D EDOF图像如何显现的性质,偶尔缺失的局部聚焦峰可能不会在图像中的表面的整体外观上产生显著的视觉差异,而在3D图像中,这种差异在表面的表示中可能更可见/显而易见/显著。
在判定框650处,关于是否要对剩余的局部聚焦峰进行排序做出确定。如果要对剩余的局部聚焦峰进行排序,则子过程前进到框660,在框660处,对剩余的局部聚焦峰进行排序。例如,剩余的局部聚焦峰可以根据结构类型或根据每个聚焦曲线中的每个局部聚焦峰的Z位置的次序(例如,升序,降序等)来排序。在各种实施方式中,聚焦曲线中的每个局部聚焦峰可以被编号,诸如相对于每个聚焦曲线中的Z位置以升序和/或降序编号。例如,每个聚焦曲线中的每个第一局部聚焦峰可以被给予/分派相同的数字或指代名称(例如,局部聚焦峰1),而每个聚焦曲线中的每个第二局部聚焦峰可以类似地被给予/分派相同的数字或指代名称(例如,局部聚焦峰2)。在这样的过程之后,所有的局部聚焦峰可以被排序(例如,使得来自每个聚焦曲线的所有第一局部聚焦峰因为对应于第一表面而被确定/指代/分组在一起,并且所有第二局部聚焦峰因为对应于第二表面而被确定/指定/分组在一起等)。
在判定框670处,关于是否要使用Z范围过滤做出确定。如果要使用Z范围过滤,则子过程前进到框680,在框680处,为Z范围过滤确定Z参数(例如,如用户所设置的),并且Z参数被用于根据落入或不落入指定Z范围内的聚焦峰来过滤局部聚焦峰。下面将参照图10A和图10B更详细地描述为用户提供选项以设置用于Z范围过滤的Z参数的用户界面。一旦完成Z范围过滤,或者如果不执行Z范围过滤,则子过程完成并返回所确定的局部聚焦峰。
图7是用于显示表面和执行测量的示例性子过程580的流程图。在判定框710处,关于第一表面是否已经被选择(例如,被用户选择)用于显示做出判定。如果第一表面已经被选择用于显示,则子过程前进到框720,在框720处,利用存储的对于第一图像堆栈的局部聚焦峰索引来确定(例如,来自第二图像堆栈(如果获取了第二图像堆栈的话)或者来自第一图像堆栈的)什么图像数据对应于第一表面和第二表面等。对于EDOF图像的显示/重构,在利用图案投影并获取第二图像堆栈的实施方式中,对于每个XY像素位置,由来自第一图像堆栈的局部聚焦峰的索引所指向的、来自第二图像堆栈中的图像的灰度值可用于确定来自第二图像堆栈中的图像的、对应于每个表面的灰度值。类似地,在不利用图案投影并且仅获取第一图像堆栈的实施方式中,对于每个XY像素位置,由来自第一图像堆栈的局部聚焦峰的索引所指向的、来自第一图像堆栈中的图像的灰度值可以用于确定来自第一图像堆栈中的图像的、对应于每个表面的灰度值。
一旦确定了对应于第一表面和第二表面的图像数据,子过程就前进到框730,在框730处,基于聚焦曲线的第一局部聚焦峰而不基于第二局部聚焦峰,显示包括第一表面而不包括第二表面的(多个)第一图像(例如,第一2D EDPF图像、第一3D图像)。一旦已经显示了(多个)第一图像,或者如果第一表面还没有被选择用于显示,则子过程前进到判定框740。
在判定框740处,关于第二表面是否已经被选择(例如,被用户选择)用于显示做出判定。如果第二表面已经被选择用于显示,则子过程前进到框750,在框750处,利用存储的对于第一图像堆栈的局部聚焦峰索引来确定(例如,来自第二图像堆栈(如果获取了第二图像堆栈的话)或者来自第一图像堆栈的)什么图像数据对应于第一表面和第二表面等(例如,类似于上面针对框720所描述的操作)。一旦确定了对应于第一表面和第二表面的图像数据,子过程就前进到框760,在框760处,基于聚焦曲线的第二局部聚焦峰而不基于第一局部聚焦峰,显示包括第二表面而不包括第一表面的(多个)第二图像(例如,第二EDOF图像、第二3D图像)。
一旦(多个)第二图像已经被显示,或者如果第二表面还没有被选择用于显示,则子过程前进到判定框770,在判定框770处,关于是否要对任何显示的表面(例如,作为框730或框760的操作的一部分而显示的表面)执行任何测量做出判定。如果要执行测量,则子过程前进到框780,在框780处,对显示的工件表面(例如,利用视频工具等)执行测量。一旦执行了测量,或者如果不执行测量,则子过程完成(例如,并返回任何确定的测量数据等)。
图8A和图8B是示出用于观察表面(例如,诸如图4的表面SRF-A和SRF-B)的2D EDOF图像和3D图像的示例性用户界面800的第一实施方式。在各种实施方式中,用户界面800可以在显示器(例如,图1的显示器16、图2的显示设备136等)上提供。如图8A所示,用户界面800A(即在用户界面800的第一配置中)包括EDOF图像区域810、3D图像区域820、表面选择区域830和向上/向下选择区域840。
在图8A的示例中,在用户界面800A中,用户已经在表面选择区域830中选择了“表面1”的选择选项831(例如,如图8A的图示中由所选择的选项831内的点状图案/突出显示所示)。在各种实施方式中,用户可以通过在选择选项831上(例如,使用鼠标或指针或其他选择机制)点击或执行另一动作、或另外通过移动选择指示器830S以对应于选择选项831等来进行选择。
选择区域830还可以包括用于选择“表面2”的选择选项832,这将在下面参考图8B进行更详细的描述。在一些实施方式中,选择区域830可以附加地包括用于选择“表面3”的选择选项833,这将在下面参考图10A更详细地描述。应当理解,在某些实施方式中,选择选项833可以不被包括在用户界面800中(例如,在系统被配置为仅确定工件的两个表面的实施方式中和/或在系统已经确定工件仅具有两个表面的实施方式中)。可替换地,在某些实施方式中,除了第三表面“表面3”,还可以根据被配置成确定附加表面(例如,最多N个表面,其中N大于3等)的系统提供用于选择附加表面(例如,“表面4”、“表面5”等)的选择选项。
在各种实施方式中,选择选项831的“表面1”可以对应于图4的表面SRF-A。如上所述,在用于确定表面的处理的一部分期间,表面SRF-A最初可以是候选表面(例如,包括局部聚焦峰P1A-P3A,但不包括局部聚焦峰P4AB-P6AB,而工件的另一候选上表面可以被指定为包括局部聚焦峰P1A-P3A和P4AB-P6AB)。一旦评估了候选表面,候选表面(例如,候选表面SRF-A)就可以被指定为要显示的工件上的(例如,对应于选择选项831的“表面1”的)第一表面SRF-1(例如,上表面)。如下文将更详细描述的,在各种实施方式中,可以诸如基于被应用于所显示图像的所选择表面的一个或多个视频工具(例如,尺寸测量工具、点工具、框工具、圆工具、弧工具等)的操作在显示的所选择工件表面上的特征之间确定一个或多个测量值。
在各种替代实施方式中,由于聚焦曲线FC4-FC6中对应于第一表面SRF A或第二表面SRF-B的局部聚焦峰P4AB-P6AB的模糊性,当选择“表面1”和/或选择“表面2”时,可以使EDOF图像区域810和/或3D视图图像区域820示出对应于局部聚焦峰P4AB-P6AB的表面部分的表示。在各种实施方式中,对应于局部聚焦峰P4AB-P6AB的表面部分可以在图像中被特别标记或以其他方式被指示(例如,以指示关于局部聚焦峰P4AB-P6AB对应于哪个表面的不确定性等)。
如在用户界面800A中进一步示出的,向上/向下选择区域840包括“向上”选择选项841和“向下”选择选项842(例如,用于在所显示工件的所确定表面中向上或向下滚动)。在各种实施方式中,在图8A的示例中,“向上”选择选项可以被标记(例如,变灰等)以指示工件的顶/上表面(即“表面1”)已经被选择,对于这种情况,没有进一步向上的表面选择可用于工件上的“表面1”以上的表面。相反,在图8A的示例中,“向下”选择选项842可以被指示为可由用户选择,这将在下面参考图8B更详细地描述。根据已经被选择的选择选项831(即对于“表面1”),EDOF图像区域810和3D视图图像区域820都提供了图4的表面SRF-A(即也称为表面SRF-1)的对应表示。
更具体地,EDOF图像区域810被示为包括EDOF图像811,并且3D图像区域820被示为包括3D图像821,它们各自包括表面SRF-1/SRF-A(例如,对应于图4的第一局部聚焦峰P1A-P3A以及表面的附加3D数据)。在图8A所示的示例中(并且类似的原理应用于图8B和图10A),为了简化图示,可以为沿着表面的其它y轴位置确定类似于图4的表面的2D数据的3D数据(例如,对应于图4的局部聚焦峰P1A-P3A),从而产生表面SRF-A的其他确定的局部聚焦峰(即作为3D数据的一部分)。通常,在图8A、图8B和图10A的具体示例中,表面的Z高度可以被确定为沿着Y轴近似线性(例如,沿着y轴方向具有恒定的Z高度或具有恒定的斜率),从而产生如图所示的表面的对应3D数据。应当理解,这些示例仅出于简化说明的目的而提供,并且各种类型的表面可以具有更复杂的3D数据(例如,沿着x轴和y轴方向、作为斜率/曲线等的一部分具有变化的Z高度值)。
关于EDOF图像811,根据本文公开的技术,图像是根据图像堆栈的、对应于表面的每个局部聚焦峰(例如,图4的局部聚焦峰P1A-P3A以及对应于沿着表面的y轴方向的3D数据的其他局部聚焦峰)的部分(例如,对应于感兴趣区域和/或感兴趣区域中心处的像素或其他)来构建的。更具体地,表面SRF-A/SRF-1的局部聚焦峰P1A-P3A和其他局部聚焦峰对应于在对应于局部聚焦峰的Z高度处被确定为“最佳聚焦”的感兴趣区域/像素,并且对于这种情况,那些“最佳聚焦”的感兴趣区域/像素中的每一个是从图像堆栈的对应图像中提取的并用于(例如,缝合在一起等)重构/形成2D EDOF图像811。
作为更具体的示例,EDOF图像811可以包括表面SRF-A的对应于局部聚焦峰P1A的第一部分,并且对于该第一部分,来自图像堆栈的用于该部分的图像的部分是来自用系统的对应于局部聚焦峰P1A的聚焦位置获取的图像。类似地,EDOF图像811可以包括表面SRF-A的分别对应于局部聚焦峰P2A和P3A的第二部分和第三部分,并且对于该第二部分和第三部分,来自图像堆栈的用于这些部分的图像的部分来自用系统的分别对应于局部聚焦峰P2A和P3A的聚焦位置获取的图像。附加局部聚焦峰可用于确定EDOF图像811的附加部分。这样的处理产生了具有表面SRF-A的不同部分的EDOF图像811,这些不同部分各自在EDOF图像中聚焦(即尽管这些不同部分处于系统不同的焦距处)。关于3D图像821,该图像可以根据已知的“点云”或用于3D图像的其他技术来形成(例如,该3D图像也对应于第一局部聚焦峰P1A、P2A和P3A、以及与沿着表面SRF-A的不同y轴位置相对应的其他第一局部聚焦峰,对于这种情况,用于3D图像的局部聚焦峰是用于2D EDOF图像的相同局部聚焦峰)。
在各种实施方式中,可以提供视频工具来定位、检查和/或测量工件表面(例如,2DEDOF图像811和/或3D图像821中的工件表面SRF-1/SRF-A)上的各种特征。例如,可以定位表面的某些特征和/或可以测量表面的尺寸(例如,该表面可以包括某些部分,对于这些部分尺寸将被测量和/或可能超出公差和/或另外包括瑕疵或缺陷,对于这些瑕疵或缺陷可能希望测量超出公差量和/或瑕疵或缺陷等的程度或大小)。在各种实施方式中,用于这种操作的视频工具(例如,视频工具部分143的视频工具,诸如图2的视频工具143a、143n等)可以包括尺寸测量工具、点工具、框工具、圆工具、弧工具等中的任何一个。用于执行工件特征检查和测量操作的这种视频工具的操作在先前并入的参考文献中有更详细的描述,特别包括先前并入的美国专利第7,627,162号和第9,830,694号。
在图8A的示例中,表面SRF-1/SRF-A在EDOF图像811中被示出为具有确定的表面点SA11-SA15,并且在3D图像821中具有确定的表面点SA21-SA25(例如,根据一个或多个视频工具的操作等来确定)。在一些实施方式中,表面点SA11-SA15可以对应于沿着3D视图中的表面点SA21-SA25的z轴的2D俯视图。作为示例,边缘检测视频工具(例如,点工具)可以被选择并用于分别确定2D EDOF图像811中的在表面SRF-1/SRF-A的边缘处的表面点SA11、SA12、SA14、SA15和/或3D图像812中的在表面SRF-1/SRF-A的边缘处的表面点SA21、SA22、SA24、SA25。(例如,在表面SRF-1/SRF-A的中心部分中的)表面点SA13和/或SA23也可以(例如,利用视频工具或以其他方式)被指定或被确定。在各种实施方式中,可以从用户界面的视频工具选择区域(例如,选择栏或视频工具栏等)中选择视频工具(例如,如先前并入的美国专利第7,627,162号和第9,830,694号所示)。
各种视频工具也可以或可替换地用于确定工件表面SRF-1/SRF-A的尺寸。例如,尺寸测量工具811A、812A、821A、822A、823A可以(例如,从视频工具选择区域中)被选择并用于测量工件表面SRF-1/SRF-A上的各种尺寸。更具体地,在2D EDOF图像811中,尺寸测量工具811A用于测量表面点SA13和SA14之间的尺寸DA11,并且尺寸测量工具812A用于测量表面点SA13和SA15之间的尺寸DA12。在3D图像821中,尺寸测量工具821A用于测量表面点SA23和SA24之间的尺寸DA21,尺寸测量工具822A用于测量表面点SA23和SA25之间的尺寸DA22,并且尺寸测量工具823A用于测量沿Z轴方向的、表面点SA22的Z高度与表面点SA21的Z高度之间的尺寸DA23。
在各种实施方式中,诸如图4的图像也可以或可替换地提供在用户界面中,和/或对于该图像,可以利用视频工具或其他过程来确定尺寸等。例如,在图4中,尺寸D1可以被确定/测量为对应于沿Z轴方向的、局部聚焦峰P1A的Z高度与局部聚焦峰P2A的Z高度之间的Z轴尺寸/距离(例如,这可以类似地针对3D图像821中的表面SRF-A上的对应表面点进行测量)。作为另一示例,可以确定/测量表面SRF-A和SRF-B上的位置之间的尺寸D2(例如,这对应于局部聚焦峰P1A和P1B的位置之间的距离,局部聚焦峰P1A和P1B的位置可以分别对应于不同Z高度处的(进而是沿着Z轴方向的并且进而是在相同的xy坐标处的)相同感兴趣区域)。通常,工件的任何这种测量/确定(例如,如以上关于图4和图8A所述的)可以关于测量工件表面的尺寸(例如,可能是对于工件或表面的一般尺寸,或针对测量工件和/或表面的某些超出公差量和/或缺陷或瑕疵的程度或尺寸等)。
如图8B所示,在用户界面800B(即用户界面800的第二状态)中,用户已经做出选择或以其他方式移动选择指示器830S以对应于选择选项832(即对应于“表面2”),如图8B的图示中由所选择的选项832内的虚线图案/突出显示所示。用于形成所示图像的原理和用户界面800B的操作将被理解为类似于如上所述的用户界面800A的那些操作。在各种实施方式中,用户可以通过选择(例如,点击)“向下”选择选项842(例如,以用于将视图/图像从工件的上“表面1”的视图/图像向下移动到下“表面2”的视图/图像)将选择指示器830从选择选项831移动到选择选项832(即用于从“表面1”的图像平移到“表面2”的图像)。
如图8B所示,由于用户对选项832(即对于“表面2”)的选择,EDOF图像区域810显示EDOF图像812,并且3D视图图像区域820显示3D图像822,它们各自包括第二工件表面SRF-2/SRF-B(即,因此每个图像对应于局部聚焦峰P1B-P3B和P4AB-P6AB、以及与图4的表面SRF-B的3D数据相对应的其他局部聚焦峰)。如上所述,在用于确定表面的处理的一部分期间,表面SRF-B最初可以是候选表面(例如,因为包括局部聚焦峰P1B-P3B和P4AB-P6AB,而工件的另一候选下表面可以被指定为仅包括局部聚焦峰P1B-P3B,而不包括局部聚焦峰P4AB-P6AB)。一旦评估了候选表面,候选表面(例如,候选表面SRF-B)就可以被指定为要显示的工件上的(例如,对应于选择选项832的“表面2”的)第二表面SRF-2(例如,下表面)。
在图8B的示例中,EDOF图像811中的表面SRF-1/SRF-B被示出为具有确定的表面点SB11-SB16,并且在3D图像821中具有确定的表面点SB21-SB26(例如,根据一个或多个视频工具的操作等来确定)。各种视频工具也可以或可替换地用于确定工件表面SRF-2/SRF-B的尺寸。例如,尺寸测量工具811B、821B和823B可以被选择并用于测量图像中工件表面SRF-2/SRF-B上的各种尺寸。更具体地,在2D EDOF图像812中,尺寸测量工具811B用于测量表面点SB11和SB13之间的尺寸DB11。在3D图像822中,尺寸测量工具821B用于测量表面点SB21和SB23之间的尺寸DB21,并且尺寸测量工具823B用于测量沿Z轴方向的、表面点SB22的Z高度与表面点SB23的Z高度之间的尺寸DB23。
在各种实施方式中,在一些应用中,工件的(例如,透明或半透明的)上表面(例如,表面SRF-A)可能具有某些特性,这些特性在观察工件的下表面(例如,表面SRF-B)时可能引起一定量失真。在这种情况下,进行对失真的某些特性(例如,通过建模和/或测量等确定的失真的类型和/或数量)的确定使得可以进行调整和/或执行校准以帮助提高下表面(例如,表面SRF-B)的显示和/或测量的准确度。一般来说,将会理解,即使在通过上表面观察时下表面的观察可能具有一定量失真的情况下,下表面的所确定的3D数据对于希望的测量仍可以具有足够的准确度。此外,上表面的观察(例如,作为工件顶表面的表面SRF-A)可能不具有这种观察失真,并且对于上表面的观察,上表面(例如,表面SRF-A)的显示和/或测量可以相应地具有高水平的准确度。
图9是示出第二组900聚焦曲线FC1'-FC7'的图,这些聚焦曲线具有对应于至少包括透明或半透明的上表面SRF-A'和通过上表面至少部分可观察的下表面SRF-C2'的表面的局部聚焦峰。在某些实施方式中,在每个像素可能有一个以上的局部聚焦峰的情况下,并且当局部聚焦峰的数量在整个图像堆栈中可能不恒定时,某些表面重构可能变得相对模糊,如不同的示例候选表面SRFA'、SRFB1'、SRFB2'、SRFC1'和SRFC2'所示。
在图9的示例中,聚焦曲线FC1'和FC6'都各自显示出潜在地具有三个局部聚焦峰(即分别为P1A'-P1C’和P6A'-P6C’)。聚焦曲线FC2'、FC5'和FC7'显示出各自具有两个局部聚焦峰。更具体地,聚焦曲线FC2’具有局部聚焦峰P2AB'和P2BC',而聚焦曲线FC5'具有局部聚焦峰P5AB'和P5BC',并且聚焦曲线FC7'具有局部聚焦峰P7AB'和P7BC'。聚焦曲线FC3'和FC4'各自显示出仅具有一个局部聚焦峰(即分别为P3ABC'和P4ABC')。
取决于用于确定对应于不同局部聚焦峰的不同表面的不同技术,可以确定不同的候选表面。例如,候选表面SRF-A'可以被确定为对应于局部聚焦峰P1A'、P2AB'、P3ABC'、P5AB'、P6A'和P7AB'。候选表面SRF-B1'可以被确定为对应于局部聚焦峰P1B'、P2BC'、P4ABC'、P5BC'、P6B'和P7ABC'。候选表面SRF-B2'可以被确定为对应于局部聚焦峰P1B'、P2AB'、P3ABC'、P4ABC'、P5AB'、P6A'和P7AB'。候选表面SRF-C1'可以被确定为对应于局部聚焦峰P1C'、P2BC'、P4ABC'、P5BC'、P6B'。候选表面SRF-C2'可以被确定为对应于局部聚焦峰P1C'、P2BC'、P4ABC'、P5BC'、P6C'和P7BC'。
在各种实施方式中,关于这样的潜在候选表面,为了解决模糊性和/或关于哪些候选表面将被选择作为表面SRF-1、SRF-2(例如,在一些实施方式中还有表面SRF-3等)用于显示做出确定,各种平滑度约束和/或误差度量最小化(例如,正则化优化等)可以附加地用于以更高程度的可靠性来确定/重构多个表面(例如,从而潜在地从考虑中消除候选表面中的一些等)。此外,在各种实施方式中,所有局部聚焦峰可被视为3D点并被包括在3D数据中(例如,以点云格式显示)。然而,这种方法可能不具有如本文公开的(例如,可以简化非专家操作员的操作等)、容易/不太复杂地选择工件表面以用于在(例如,基于PFF的)EDOF图像和/或3D图像中显示的能力。不过,在一些实施方式中,这种方法(例如,其中所有局部聚焦峰可以被视为3D点并被包括在3D数据中)可以被提供作为可选特征(例如,以用于与本文公开的技术结合地使用和/或除本文公开的技术之外地使用,并且潜在地提供3D数据的附加可视化和/或使用等)。
在各种实施方式中,对应于要显示的第一表面SRF-1'(例如,可以对应于候选表面SRF-A')的第一局部聚焦峰可以基于在聚焦曲线中的每个聚焦曲线中共享相同第一编号位置(例如,第一局部聚焦峰)的所有第一局部聚焦峰(例如,P1A'、P2AB'、P3ABC'、P5AB'、P6A'和P7AB')来确定。在这种实施方式中,局部聚焦峰P4ABC'(即对应于聚焦曲线FC4'的第一个且唯一的局部聚焦峰)最初也可以被包括在内。可以利用附加技术从用于/指定用于表面SRF-1'/SRF-A'的局部聚焦峰中过滤局部聚焦峰P4ABC'(例如,因为不满足指定的质量准则,或不落在用户为指定表面设置的Z过滤范围内,或基于表面平滑度约束或误差度量最小化等)。
作为另一示例,对应于要显示的表面SRF-3'(或在一些实施方式中为SRF-2')(例如,可以对应于候选表面SRF-C2')的局部聚焦峰可以基于在聚焦曲线中的每个聚焦曲线中共享相同编号位置的所有局部聚焦峰(例如,P1C'、P2BC'、P4ABC'、P5BC'、P6C'和P7BC')来确定。例如,局部聚焦峰也可以或可替换地从底部到顶部计数/编号,对于这种情况,局部聚焦峰P1C'、P2BC'、P4ABC'、P5BC'、P6C'和P7BC'各自都将是以这种次序被第一个计数/编号的局部聚焦峰。在这种实施方式中,局部聚焦峰P3ABC'(即,对应于聚焦曲线FC3'的第一个且唯一的局部聚焦峰)最初也可以被包括在内。可以利用附加技术来从用于/指定用于表面SRF-C2'/SRF-3'(或在一些实施方式中为SRF-2')的局部聚焦峰中过滤局部聚焦峰P3ABC'(例如,因为不满足指定的质量准则,或不落在用户为指定表面设置的Z过滤范围内,或基于表面平滑度约束或误差度量最小化等)。如上所述,在各种实施方式中,可能希望将所确定的表面数量限制为2个表面。在这种实施方式中,表面SRF-C2'可以对应于要显示/观察/测量的第二表面SRF-2'。
在各种实施方式中,诸如图9的图像也可以或可替换地被提供在用户界面中,和/或对于该图像,可以利用视频工具或其他过程来确定某些尺寸/测量值等。例如,尺寸D1'可以被确定/测量为对应于沿着Z轴方向的、局部聚焦峰P6C'的Z高度与局部聚焦峰P7BC'的Z高度之间的Z轴尺寸/距离(例如,可以类似地针对图10A的3D图像823中的表面SRF-C2'上的对应表面点进行测量,这将在下面更详细地描述)。作为另一示例,可以在候选表面SRF-A'和SRF-C2'的位置之间确定/测量尺寸D2'(例如,这对应于局部聚焦峰P7AB'和P7BC'的位置之间的距离/尺寸,局部聚焦峰P7AB'和P7BC'的位置可以对应于不同Z高度处(进而是沿着Z轴方向的并且进而是在相同的xy坐标处的)的相同感兴趣区域)。
图10A和图10B是示出用于观察表面(例如,诸如图9的表面)的2D EDOF图像和3D图像的用户界面1000的第二示例性实施方式。用户界面1000类似于如上所述的图8A和图8B的用户界面800,并且将被理解为类似地进行操作,除非下面另有描述。如图10A所示,在用户界面1000中,用户已经选择了选择选项833(即对应于“表面3”),如图10A的图示中由所选择的选项833内的点状图案/突出显示所示。在各种实施方式中,用户可以通过选择(例如,点击)“向下”选择选项842来将选择移动到选择选项833(例如,以用于将选择从工件的上表面向下移动到下“表面3”)。如上所述,在各种实施方式中,可能希望将所确定的表面数量限制为2个表面。在这种实施方式中,表面SRF-C2'可以对应于第二表面SRF-2',对于该第二表面SRF-2',在用户界面1000中呈现的唯一选择选项可以是选择选项831和832,并且对于该第二表面SRF-2',用户界面1000将指示对选择选项832进行选择以对下表面SRF-C2'进行观察/测量等。
用户界面1000相对于用户界面800的一个不同之处在于,用户界面1000还包括Z范围选择区域1050和过滤器局部聚焦峰选择区域1060。过滤器局部聚焦峰区域1060包括用于通过“编号位置”(例如,根据如本文所述的在聚焦曲线中的每个聚焦曲线中共享相同编号位置的局部聚焦峰)进行过滤的选择选项1061(例如,单选按钮)和用于通过“Z范围”(例如,如下面将针对Z范围选择区域1050进行更详细描述的)进行过滤的选择选项1062(例如,单选按钮)。在各种实施方式中,选择选项1061和1062可以表示排他性选择(例如,其中用户可以基于一个或另一个来选择或过滤局部聚焦峰),或者可以存在利用这种过滤功能的组合的选项(例如,其中用户界面被配置成允许用户对选择选项1061和1062两者进行选择),并且对于这种选项,可以对其应用这种过滤功能的某些组合。
Z范围选择区域1050(例如,可以根据选择选项1062的选择被显示和/或启用)包括第一滑块1051(即用于设置较高的Z范围值)和第二滑块1052(即用于设置较低的Z范围值)。第一滑块1051包括(例如,由用户)可移动/可调整的可移动指针1051S来为Z范围设置较高的Z值。第二滑块1052包括(例如,由用户)可移动/可调整的可移动指针1052来为Z范围选择较低的Z值。如下面将参照图10B更详细描述的,通过设置如图10A所示的Z范围的较高或较低的Z值,可以过滤和/或选择/确定对应于候选表面SRF-C2'的某些局部聚焦峰。
针对Z范围的图示和对于对应于候选表面SRF-C2'的局部聚焦峰的过滤/选择/确定,可以利用各种技术。例如,在各种实施方式中,可以确定聚焦曲线中对应于表面的、但在相应聚焦曲线中不与对应于该表面的其它局部聚焦峰共享相同编号位置的局部聚焦峰,其中该局部聚焦峰改为基于落入由用户设置的Z过滤范围内来确定。关于图10B中的表面SRF-C2',在一个应用中,局部聚焦峰P2BC'、P5BC'和P7BC'由于各自在聚焦曲线FC2',FC5'和FC7'中的每一个中共享相同编号位置(例如,按照从顶到底计数/编号次序中的第二编号位置),因此可以各自被确定为对应于表面SRF-C2'。然后,附加局部聚焦峰P1C'和P6C'也可以被确定为对应于表面SRF-C2'(例如,由于落入由较高Z范围值1151S和较低Z范围值1152S指示的Z过滤范围内,所以即使附加局部聚焦峰可能处于它们各自的聚焦曲线中的第三编号位置,并因此可能不与其他局部聚焦峰P2BC'、P5BC'和P7BC'共享相同编号位置,它们也可以被确定为对应于表面SRF-C2')。
作为另一示例,局部聚焦峰P1C'和P6C'由于各自在聚焦曲线FC1和FC6'的每一个中共享相同编号位置(例如,按照从顶至底的计数/编号次序中的第三编号位置),因此可以各自被确定为对应于表面SRF-C2'。附加局部聚焦峰P2BC'、P5BC'和P7BC'也可以被确定为对应于表面SRF-C2'(例如,由于落入由较高Z范围值1151S和较低Z范围值1152S指示的Z过滤范围内,所以即使附加局部聚焦峰可能在它们各自的聚焦曲线中处于第二编号位置,并因此可能不与其他局部聚焦峰P1C'和P6C'共享相同编号位置,它们也可以被确定为对应于表面SRF-C2')。
一般而言,将会理解,即使在利用Z过滤范围来帮助确定对应于表面的局部聚焦峰的应用中,根据本文公开的技术,附加表面(例如,图9的候选表面SRF-A')也可能不需要利用Z过滤范围来确定对应的局部聚焦峰。例如,如上所述,在各种实施方式中,可以基于在聚焦曲线中的每个聚焦曲线中共享相同编号位置的局部聚焦峰来初始确定对应于表面的局部聚焦峰。同样如上所述,要显示的第一表面SRF-1'(例如,可以对应于候选表面SRF-A')可以基于在聚焦曲线中的每个聚焦曲线中共享相同第一编号位置(例如,按照由顶至底计数的第一局部聚焦峰)的所有第一局部聚焦峰(例如,P1A'、P2AB'、P3ABC'、P5AB'、P6A'和P7AB')来确定。关于这样的过程,即使利用Z过滤范围来帮助确定附加表面(例如,表面SRF-C2')的对应局部聚焦峰,确定另一表面(例如,诸如表面SRF-1'/SRF-A'的第一上表面)的局部聚焦峰也可能不包括利用Z过滤范围。
在各种实施方式中,可以基于在对应于表面的其他聚焦曲线的至少两个局部聚焦峰之间的内插来为不包括对应于该表面的局部聚焦峰的聚焦曲线确定内插局部聚焦峰。例如,如图10B所示,聚焦曲线FC3'可以包括局部聚焦峰P3ABC'(例如,其被确定为对应于如图9所示的候选表面SRF-A'),但不包括被确定为对应于候选表面SRF-C2'的局部聚焦峰。关于聚焦曲线FC2'的局部聚焦峰P2BC'和聚焦曲线FC4'的局部聚焦峰P4ABC',基于对应于表面SRF-C2'的在局部聚焦峰P2BC'与P4ABC'之间的内插,聚焦曲线FC3'的“内插”局部聚焦峰可以(例如,因为落在区域122内)被确定为对应于表面SRF-C2'。
在图10A的示例中,EDOF图像813中的表面SRF-3/SRF-C2'被示出为具有确定的表面点SC11-SC16,并且在3D图像823中具有确定的表面点SC21-SC26(例如,根据一个或多个视频工具的操作等来确定)。各种视频工具也可以或可替换地用于确定工件表面SRF-2/SRF-C2'的尺寸。例如,可以选择和利用尺寸测量工具1011C、1012C、1021C、1022C和1023C来确定(例如,测量)工件表面SRF-2/SRF-C2'上的各种尺寸。更具体地,在2D EDOF图像813中,尺寸测量工具1011C用于确定(例如,测量)表面点SC14和SC15之间的尺寸DC11,并且尺寸测量工具1012C用于测量表面点SA14和SA16之间的尺寸DC12。在3D图像823中,尺寸测量工具1021C用于测量表面点SC24和SC25之间的尺寸DC21,尺寸测量工具1022C用于测量表面点SC24和SC26之间的尺寸DC22,并且尺寸测量工具1023C用于测量沿Z轴方向的、表面点SC22的Z高度与表面点SC23的Z高度之间的尺寸DC23。
在图10A的示例中,EDOF图像813中的表面SRF-3/SRF-C2'被示出为还具有被确定和显示的指示器区域1015C和1016C,并且3D图像823具有被确定和显示的指示器区域1025C和1026C。在各种实施方式中,某些聚焦曲线(例如,聚焦曲线FC3')可能不具有对应于表面(例如,表面SRF-C2')的局部聚焦峰和/或可能没有局部聚焦峰,在一些情况下,对于这种情况,这样的结果可以在2D EDOF图像中被相应地标记(例如,在2D EDOF图像813中由指示器区域1015C指示,其可以以指定的颜色、图案或者以其他方式作为指示器区域的一部分来指示没有数据)。在一些情况下,这样的结果也可以或可替换地在3D图像中被标记(例如,在3D图像823中由指示器区域1025C指示,其可以指示非数字NaN,或以其他方式作为指示器区域的一部分用于指示3D图像823中未定义或不可表示的值)。
在各种实施方式中,2D EDOF图像813和3D图像823中的指示器区域1016C和1026C可以指示表面SRF-3/SRF-C2'的特定部分或特征(例如,可能超出公差和/或另外包含缺陷或不完美)。例如,局部聚焦峰PC6'和/或对应的表面点SC22可以对应于表面SRF-3/SRF-C2'中相对于不应该在表面中的其他局部聚焦峰/表面点的下降或下沉,并且可以指示和/或对应于表面中的缺陷或不完美。在各种实施方式中,指示器区域1016C和1026C的尺寸可以对应于表面的超出公差的部分的尺寸和/或缺陷或瑕疵的尺寸(例如,向用户指示表面具有问题的部分的尺寸和/或可以帮助测量/确定表面具有问题的部分的尺寸)。
在各种实施方式中,诸如图10B的图像也可以或可替换地被提供在用户界面中,和/或对于该图像,可以利用视频工具或其他过程来确定尺寸/测量等。例如,针对表面SRF-C2',尺寸D1'可以被确定/测量为对应于沿着Z轴方向的、表面SRF-C2’的局部聚焦峰P6C'的Z高度和局部聚焦峰P7BC'的Z高度之间的Z轴尺寸/距离(例如,这可以类似地对图10A的3D图像823中的表面SRF-C2'上的对应表面点进行测量)。
虽然已经示出和描述了本公开的优选实施方式,但是在本公开的基础上,在所示出和描述的特征布置和操作序列中的许多变化对于本领域技术人员来说是显而易见的。可以使用各种替代形式来实施本文公开的原理。
在本说明书中引用的所有美国专利和美国申请都通过整体引用并入本文。若有必要,实施方式的各方面可以修改,以采用各种专利和申请的构思来提供进一步的实施方式。根据以上详细描述,可以对实施方式进行这些和其他改变。一般而言,在以下权利要求中,所使用的术语不应被解释为将权利要求限制为说明书和权利要求中公开的具体实施方式,而应被解释为包括所有可能的实施方式以及这些权利要求被赋予的等同物的全部范围。

Claims (23)

1.一种计量系统,包括:
光源;
透镜,其输入从被光源照射的工件的表面产生的图像光,并沿着成像光路传输所述图像光;
照相机,其接收沿着成像光路传输的图像光并提供工件的图像,其中,所述系统的聚焦位置被配置为在沿着Z高度方向靠近工件的聚焦范围内的多个位置上可变;
一个或多个处理器;以及
耦合到所述一个或多个处理器并存储程序指令的存储器,当所述程序指令由所述一个或多个处理器执行时,使得所述一个或多个处理器至少:
获取包括多个图像的图像堆栈,其中,所述图像堆栈的每个图像被获取为对应于聚焦范围内的不同Z高度,并且所述图像堆栈的每个图像包括工件的第一表面和工件的第二表面,第一表面是透明或半透明中的至少一个,第二表面通过第一表面至少部分可观察;
基于所述图像堆栈的图像确定多个聚焦曲线;
对于每个聚焦曲线,确定对应于第一表面的第一局部聚焦峰以及对应于第二表面的第二局部聚焦峰;
显示包括由用户根据用于选择第一表面或第二表面的选项来选择的第一选择表面的第一显示图像,其中第一选择表面是以下各项中的一个:
第一选择表面是第一表面,对于这种情况,基于第一局部聚焦峰而不基于第二局部聚焦峰,第一显示图像包括第一表面而不包括通过第一表面至少部分可观察的第二表面;或者
第一选择表面是通过第一表面至少部分可观察的第二表面,对于这种情况,基于第二局部聚焦峰而不基于第一局部聚焦峰,第一显示图像包括第二表面而不包括第一表面。
2.根据权利要求1所述的系统,其中,获取所述图像堆栈包括将图案投影到第一表面和第二表面上,这导致聚焦曲线中的至少一些局部聚焦峰比将在相同图像获取过程和条件但没有投影图案的情况下产生的局部聚焦峰高。
3.根据权利要求2所述的系统,其中,当所述程序指令由所述一个或多个处理器执行时,还使得所述一个或多个处理器在不利用所述图案投影的情况下获取第二图像堆栈,并且对于第二图像堆栈,第一局部聚焦峰被用于确定来自第二图像堆栈的什么图像数据对应于第一表面,其中,第一选择表面是第一表面,并且来自第二图像堆栈的对应于第一表面的图像数据被用于显示包括第一表面的第一显示图像。
4.根据权利要求1所述的系统,其中,第一显示图像是包括第一选择表面的第一显示二维2D扩展景深EDOF图像。
5.根据权利要求4所述的系统,其中,当所述程序指令由所述一个或多个处理器执行时,还使得所述一个或多个处理器还基于与第一显示2D EDOF图像所基于的相同的局部聚焦峰来显示包括第一选择表面的第一显示三维3D图像。
6.根据权利要求1所述的系统,其中,第一显示图像是包括第一选择表面的第一显示3D图像。
7.根据权利要求1所述的系统,其中,当所述程序指令由所述一个或多个处理器执行时,还使得所述一个或多个处理器基于应用于第一显示图像中的第一选择表面的一个或多个视频工具的操作来确定第一选择表面上的两个特征之间的尺寸。
8.根据权利要求7所述的系统,其中,所述一个或多个视频工具包括尺寸测量工具、点工具、框工具、圆工具或弧工具中的至少一个。
9.根据权利要求1所述的系统,其中,当所述程序指令由所述一个或多个处理器执行时,还使得所述一个或多个处理器在不同时间显示第二选择表面的第二显示图像,第二选择表面由用户根据用于选择第一表面或第二表面的选项来选择,其中第二选择表面是以下各项中的一个:
当第一选择表面是第一表面时,第二选择表面是第二表面,对于这种情况,基于第二局部聚焦峰而不基于第一局部聚焦峰,第二显示图像包括第二表面而不包括第一表面;
当第一选择表面是第二表面时,第二选择表面是第一表面,对于这种情况,基于第一局部聚焦峰而不基于第二局部聚焦峰,第二显示图像包括第一表面而不包括第二表面。
10.根据权利要求9所述的系统,其中,第一显示图像和第二显示图像分别是第一显示2D EDOF图像和第二显示2D EDOF图像。
11.根据权利要求10所述的系统,其中,当所述程序指令由所述一个或多个处理器执行时,还使得所述一个或多个处理器:
基于与第一显示2D EDOF图像所基于的相同的局部聚焦峰,与第一显示2D EDOF图像同时显示包括第一选择表面的第一显示3D图像;以及
基于与第二显示2D EDOF图像所基于的相同的局部聚焦峰,与第二显示2D EDOF图像同时显示包括第二选择表面的第二显示3D图像。
12.根据权利要求1所述的系统,其中,对应于第一表面的第一局部聚焦峰基于在聚焦曲线中的每个聚焦曲线中共享相同的第一编号位置的第一局部聚焦峰来确定,并且对应于第二表面的第二局部聚焦峰基于在聚焦曲线中的每个聚焦曲线中共享相同的第二编号位置的第二局部聚焦峰来确定。
13.根据权利要求12所述的系统,其中,当所述程序指令由所述一个或多个处理器执行时,还使得所述一个或多个处理器确定聚焦曲线中对应于第二表面的、但在相应聚焦曲线中不共享相同第二编号位置的局部聚焦峰,其中,所述局部聚焦峰基于落入由用户设置的Z过滤范围内来确定。
14.根据权利要求1所述的系统,其中,确定分别对应于第一表面和第二表面的第一局部聚焦峰和第二局部聚焦峰包括从考虑中消除聚焦曲线的不满足至少一个指定质量准则的一个或多个局部聚焦峰。
15.根据权利要求1所述的系统,其中,当所述程序指令由所述一个或多个处理器执行时,还使得所述一个或多个处理器基于在其他聚焦曲线的对应于表面的至少两个局部聚焦峰之间的内插来为不包括对应于所述表面的局部聚焦峰的聚焦曲线确定至少一个内插局部聚焦峰。
16.根据权利要求1所述的系统,其中,输入从工件的表面产生的图像光的透镜是物镜,并且所述系统还包括:
可变焦距VFL透镜,其中,所述物镜沿着穿过所述VFL透镜的成像光路传输工件光;以及
VFL透镜控制器,其控制所述VFL透镜以工作频率在光焦度范围内周期性地调制所述VFL透镜的光焦度,以便在沿着Z高度方向靠近工件的聚焦范围内的多个位置上改变所述系统的聚焦位置。
17.根据权利要求1所述的系统,其中,当所述程序指令由所述一个或多个处理器执行时,还使得所述一个或多个处理器在用户界面中呈现用于在第一表面和第二表面之间进行选择的选项。
18.根据权利要求1所述的系统,其中,所述系统被配置为仅确定分别对应于第一表面和第二表面的第一局部聚焦峰和第二局部聚焦峰,并且不被配置为确定聚焦曲线的附加局部聚焦峰,所述附加局部聚焦峰对应于工件的可以通过第一表面至少部分可观察的附加表面。
19.一种用于操作计量系统的计算机实施方法,所述计量系统包括光源、输入从被所述光源照射的工件的表面产生的图像光并沿着成像光路传输所述图像光的透镜、以及接收沿着成像光路传输的图像光并提供工件的图像的照相机,其中所述系统的聚焦位置被配置为在沿着Z高度方向靠近工件的聚焦范围内的多个位置上可变,所述计算机实施方法包括:
在被配置有可执行指令的一个或多个计算系统的控制下,
获取包括多个图像的图像堆栈,其中,所述图像堆栈的每个图像被获取为对应于聚焦范围内的不同Z高度,并且所述图像堆栈的每个图像包括为透明或半透明中的至少一个的第一表面和通过第一表面至少部分可观察的第二表面;
基于所述图像堆栈的图像确定多个聚焦曲线;
对于每个聚焦曲线,确定对应于第一表面的第一局部聚焦峰以及对应于第二表面的第二局部聚焦峰;
显示第一显示图像,其包括由用户根据用于选择第一表面或第二表面的选项来选择的第一选择表面,其中,第一选择表面是以下各项中的一个:
第一选择表面是第一表面,对于这种情况,基于第一局部聚焦峰而不基于第二局部聚焦峰,第一显示图像包括第一表面而不包括通过第一表面至少部分可观察的第二表面;或者
第一选择表面是通过第一表面至少部分可观察的第二表面,对于这种情况,基于第二局部聚焦峰而不基于第一局部聚焦峰,第一显示图像包括第二表面而不包括第一表面。
20.根据权利要求19所述的计算机实施方法,其中,获取所述图像堆栈包括将图案投影到第一表面和第二表面上。
21.根据权利要求19所述的计算机实施方法,还包括基于应用于第一显示图像中的第一选择表面的一个或多个视频工具的操作来确定第一选择表面上的两个特征之间的测量值。
22.根据权利要求19所述的计算机实施方法,还包括确定每个聚焦曲线中对应于多个附加相应表面的多个附加局部聚焦峰。
23.根据权利要求19所述的计算机实施方法,其中,对应于表面的局部聚焦峰基于以下各项中的至少一个来确定:
在聚焦曲线中的每个聚焦曲线中共享相同编号位置的局部聚焦峰中的至少一些;
落入所选择的Z范围内的局部聚焦峰中的至少一些;或
在所选择的Z范围内共享相同编号位置的局部聚焦峰中的至少一些。
CN202011504114.1A 2019-12-19 2020-12-18 具有透明工件表面模式的计量系统 Active CN113008789B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/720,432 2019-12-19
US16/720,432 US10880468B1 (en) 2019-12-19 2019-12-19 Metrology system with transparent workpiece surface mode

Publications (2)

Publication Number Publication Date
CN113008789A CN113008789A (zh) 2021-06-22
CN113008789B true CN113008789B (zh) 2022-05-10

Family

ID=73598668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011504114.1A Active CN113008789B (zh) 2019-12-19 2020-12-18 具有透明工件表面模式的计量系统

Country Status (4)

Country Link
US (1) US10880468B1 (zh)
EP (1) EP3839599A1 (zh)
JP (1) JP2021119338A (zh)
CN (1) CN113008789B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11430105B2 (en) * 2020-06-15 2022-08-30 Mitutoyo Corporation Workpiece inspection and defect detection system including monitoring of workpiece images
US11756186B2 (en) 2021-09-15 2023-09-12 Mitutoyo Corporation Workpiece inspection and defect detection system utilizing color channels
US11714051B2 (en) 2021-11-30 2023-08-01 Mitutoyo Corporation Metrology system configured to measure apertures of workpieces

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8318094B1 (en) * 2010-06-18 2012-11-27 Pacific Biosciences Of California, Inc. Substrate analysis systems
CN108088424A (zh) * 2016-11-23 2018-05-29 株式会社三丰 机器视觉检查系统和用于获得具有扩展景深的图像的方法
CN109951632A (zh) * 2017-12-21 2019-06-28 株式会社三丰 包括聚焦状态参考子系统的可变焦距透镜系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542180B1 (en) 2000-01-07 2003-04-01 Mitutoyo Corporation Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part
US7030351B2 (en) 2003-11-24 2006-04-18 Mitutoyo Corporation Systems and methods for rapidly automatically focusing a machine vision inspection system
US7324682B2 (en) 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US7454053B2 (en) 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
US7627162B2 (en) 2005-01-31 2009-12-01 Mitutoyo Corporation Enhanced video metrology tool
US7570795B2 (en) 2006-07-18 2009-08-04 Mitutoyo Corporation Multi-region autofocus tool and mode
US8111938B2 (en) 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
US8111905B2 (en) 2009-10-29 2012-02-07 Mitutoyo Corporation Autofocus video tool and method for precise dimensional inspection
US8581162B2 (en) 2009-12-08 2013-11-12 Mitutoyo Corporation Weighting surface fit points based on focus peak uncertainty
US10001622B2 (en) * 2011-10-25 2018-06-19 Sanford Burnham Medical Research Institute Multifunction autofocus system and method for automated microscopy
JP6101706B2 (ja) 2011-12-23 2017-03-22 株式会社ミツトヨ マシンビジョンシステムにおいて複数の照明設定を使用する合焦点動作
US8928874B2 (en) 2012-02-24 2015-01-06 Mitutoyo Corporation Method for identifying abnormal spectral profiles measured by a chromatic confocal range sensor
US9143674B2 (en) 2013-06-13 2015-09-22 Mitutoyo Corporation Machine vision inspection system and method for performing high-speed focus height measurement operations
US9830694B2 (en) 2015-08-31 2017-11-28 Mitutoyo Corporation Multi-level image focus using a tunable lens in a machine vision inspection system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8318094B1 (en) * 2010-06-18 2012-11-27 Pacific Biosciences Of California, Inc. Substrate analysis systems
CN108088424A (zh) * 2016-11-23 2018-05-29 株式会社三丰 机器视觉检查系统和用于获得具有扩展景深的图像的方法
CN109951632A (zh) * 2017-12-21 2019-06-28 株式会社三丰 包括聚焦状态参考子系统的可变焦距透镜系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SAMPLING for Shape from Focus in Optical Microscopy;MYHANNAD M ET AL;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE,IEEE COMPUTER SOCIETY,USA》;20120301;第34卷(第3期);564-573 *

Also Published As

Publication number Publication date
US10880468B1 (en) 2020-12-29
CN113008789A (zh) 2021-06-22
EP3839599A1 (en) 2021-06-23
JP2021119338A (ja) 2021-08-12

Similar Documents

Publication Publication Date Title
CN113008789B (zh) 具有透明工件表面模式的计量系统
CN108106603B (zh) 具有多级扩展景深图像处理的可变焦距透镜系统
JP6761312B2 (ja) 可変焦点距離レンズを含む撮像システムにおける色収差補正
US9830694B2 (en) Multi-level image focus using a tunable lens in a machine vision inspection system
US9930243B2 (en) Variable focal length imaging system
CN111380470B (zh) 利用机器视觉检查系统测量工件表面的z高度值的方法
JP6717692B2 (ja) 倍率調整可能光学システムにおける可変焦点距離レンズの適応的な動作周波数の調整方法
US9736355B1 (en) Phase difference calibration in a variable focal length lens system
JP6469368B2 (ja) マシンビジョン検査システム及び高速合焦高さ測定動作を実行する方法
CN109951632B (zh) 包括聚焦状态参考子系统的可变焦距透镜系统
US8773526B2 (en) Edge detection using structured illumination
US20130027538A1 (en) Multi-region focus navigation interface
CN103175469A (zh) 增强型边缘聚焦工具及利用该工具的聚焦方法
CN109995996B (zh) 包括聚焦状态参考子系统的可变焦距透镜系统
US20200371335A1 (en) Light microscope with automatic focusing
CN111325785B (zh) 高速tag透镜辅助3d计量和扩展景深成像
US8885945B2 (en) Method for improving repeatability in edge location results of a machine vision inspection system
US10579890B2 (en) Automatic alignment of a 3D model to a test object
US11119382B2 (en) Tunable acoustic gradient lens system with amplitude adjustment corresponding to z-height as indicated by calibration data
US11249225B2 (en) Tunable acoustic gradient lens system utilizing amplitude adjustments for acquiring images focused at different z-heights
US10827114B2 (en) Imaging system and setting device
CN114174791A (zh) 光学成像性能测试系统和方法
JP6293453B2 (ja) エッジ測定ビデオツールパラメータ設定ユーザインタフェース
JP2022074065A (ja) ポイントフロムフォーカスタイプのプロセスのための投射パターンを用いた計測システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant