CN101738728A - 机器视觉检查系统的光学像差校正 - Google Patents

机器视觉检查系统的光学像差校正 Download PDF

Info

Publication number
CN101738728A
CN101738728A CN200910207992A CN200910207992A CN101738728A CN 101738728 A CN101738728 A CN 101738728A CN 200910207992 A CN200910207992 A CN 200910207992A CN 200910207992 A CN200910207992 A CN 200910207992A CN 101738728 A CN101738728 A CN 101738728A
Authority
CN
China
Prior art keywords
image
region
focusing
height
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910207992A
Other languages
English (en)
Other versions
CN101738728B (zh
Inventor
罗伯特·K·布里尔
马克·L·德莱尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Publication of CN101738728A publication Critical patent/CN101738728A/zh
Application granted granted Critical
Publication of CN101738728B publication Critical patent/CN101738728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608Height gauges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/045Correction of measurements

Abstract

提供了一种用于校正光学像差的表面高度测量的系统和方法。基于新的误差校准而校正由自动聚焦工具确定的高度,其可以依赖于聚焦感兴趣区域(ROI)中的表面特征角度,并且依赖于视场中的ROI位置。误差校准数据包括对于图像中的不同特征角度、以及对于视场中的多个位置的高度校正。通过加权和组合角度依赖的误差校准数据(例如,基于ROI中确定的梯度(边缘)角度分布)而确定高度校正。当为视场中的多个ROI确定Z高度时,可以基于在处理中较早确定特定图像是否是充分聚焦的“近峰”聚焦的图像,有效地控制来自全局图像堆栈的特定图像的图像数据的存储。

Description

机器视觉检查系统的光学像差校正
对相关申请的交叉引用
此申请是2005年10月31日提交的申请号为11/263,002的美国专利申请的部分继续申请,通过引用将其完整公开合并在此。
技术领域
本发明涉及机器视觉度量系统,更具体地,涉及一种用以校正由诸如像散(astigmatism)的透镜像差引起的误差(例如,Z高度测量误差)的高精度光学像差校正系统和方法。
背景技术
可以利用精密机器视觉检查系统(或简称“视觉系统”)来获得检查的对象的精确尺寸测量、以及检查各种其它对象特性。这样的系统可以包括计算机、照相机和光学系统、以及在多个方向上可移动的精密工作台(stage),以便允许照相机扫描正被检查的工件(workpiece)的特征。一个商用示例性现有技术系统是从位于Aurora IL(伊利诺斯州的奥罗拉)的Mitutoyo美国公司(MAC)可得到的QUICK
Figure G2009102079924D0000011
系列的基于PC的视觉系统和
Figure G2009102079924D0000012
软件。例如,在2003年1月公布的QVPAK 3D CNC视觉测量机器用户指南、以及1996年9月公布的QVPAK 3D CNC视觉测量机器操作指南中,大体描述了QUICK
Figure G2009102079924D0000013
系列的视觉系统和
Figure G2009102079924D0000014
软件的特征和操作,在这里通过全文引用将所述指南的每一个合并在此。例如,由QV-302Pro模型所示例的此产品能够使用显微镜类型光学系统来提供在不同放大倍率的工件图像,并且根据需要移动该工作台以穿过(traverse)在任何单个视频图像的界限之外的工件表面。
在这样的系统中,通常期望微米范围的准确度。一般从“最佳聚焦”位置得到Z高度测量(沿着照相机系统的光学轴)。对于Z高度测量所实现的精密度和可靠性的级别通常低于对于其它测量轴所实现的精密度和可靠性的级别。将期望机器视觉检查系统能够获得具有改进的准确度和可靠性的Z高度测量。此外,在特定的机器视觉检查系统中,可以利用自动聚焦工具获得最佳聚焦位置和作为结果的Z高度测量。将期望自动聚焦工具以改进的准确度和可靠性自动运行。本发明旨在提供一种可以克服前述和其它缺点的系统和方法。
发明内容
提供此发明内容以引入对简化形式的构思的选择,在下面具体实施方式中进一步描述该构思。此发明内容不是意在识别所主张的主题的关键特征,也不是意在被用作帮助确定所主张的主题的范畴。
提供了一种高准确度光学像差校正系统和方法。更具体地,本发明旨在一种高精度光学像差校正系统和方法,其用以校正包括对视场中“方向性”特征的取向的依赖性的聚焦误差和/或Z高度测量误差。这样的误差可以由诸如像散的透镜像差以及机器视觉光学系统的其它特征或瑕疵引起。在像散中,透镜的焦距对于在不同平面穿过透镜的光线而不同(这对应于位于视场中不同角度处的特征-例如,边缘)。结果,透镜的聚焦(Z)位置针对视场中的边缘的不同(主导的)方向而不同。
更具体地,发明人已经发现:当测量展现视场中的“方向性”特征的表面或特征时,可能发生显著的Z高度测量变化(误差)。该变化依赖于该方向性特征的取向(例如,视场中的有条状纹理、线条、边缘等的取向)。这里,这种方向性表面和特征称作为各向异性的表面和特征。不管作为造成所述误差的原因的潜在物理过程,这里通常把这种依赖于方向性特征的取向的变化(误差)称为像散误差。
当对应于视场中的聚焦感兴趣区域(ROI)的聚焦位置被表征为聚焦ROI中可见的边缘或纹理的方向(角度)的函数、并且随后根据它们的主导的边缘(或梯度)方向表征度量的表面时,可以为每个在该聚焦ROI中测量的表面应用适当的Z补偿,消除对应于聚焦ROI中的主导边缘方向的聚焦位置误差。这使所有Z测量较不依赖于、并且名义上(nominally)独立于聚焦ROI中的边缘或纹理的方向。
在许多情况下,纹理或线条边缘和/或方向性越强或越明显,则像散误差越显著。此外,已经发现像散误差可能在照相机视场上显著变化。即,给定贯穿视场的均匀方向性纹理,则基于来自视场的一部分(来自一个ROI)的图像数据的聚焦操作可导致与基于来自视场的另一部分(来自另一ROI)的图像数据的聚焦操作不同的Z高度测量。这样的ROI依赖的像散误差可以由这里公开的系统和方法至少部分地补偿或校正,以提高Z高度测量准确度并且降低贯穿视场的度量变化性。
这里公开的误差校正系统和方法通常还可以而校正依赖于视场中的测量位置、独立于任何像散误差的聚焦变化和/或Z高度变化。例如,这样的变化可以是由于透镜场曲率导致的、由于照相机CCD对系统的光学轴的不完美的垂直而导致的、由于CCD的曲率导致的、由于视觉系统的光学轴对视觉系统工作台的不完美的垂直导致的、以及由可使得最佳聚焦位置在视场上变化的类似的误差源导致的。这里,不管作为造成所述误差的原因的潜在物理过程,这样的误差通常被共同称作静态光学误差。当在照相机视场中不同位置测量Z高度时,对于具有静态高度的工件表面(甚至对于不展现方向性特征的表面或图案),静态光学误差导致改变Z高度测量。这里,这样的“非方向性”表面和图案被称作各向异性表面和图案。
根据本发明的一个方面,使用在不同的各自校准角度上取向的方向性图案来表征像散误差,作为包括各个像散误差分量的各个Z高度测量的基础。这里,方向性图案的这样的Z高度测量还称作各向异性测量。
将理解的是,各向异性测量通常包括像散误差分量和静态光学误差分量两者,即,组合误差。这里,这样的在各向异性测量中的组合误差被称作各向异性误差。根据本发明的一个方面,可以确定各向异性误差,并且可以存储作为结果的各向异性误差校准数据,用于补偿或校正未来Z高度测量的各向异性误差。
根据本发明的另一方面,在视场中的相同位置、在使用方向性图案的Z高度测量(各向异性测量)与各向同性Z高度测量(下面进一步描述)之间的差异可以确定在该位置的像散误差分量或像散误差校准数据。可以存储作为结果的像散误差校准数据,用于补偿或校正未来Z高度测量的像散误差分量。
根据本发明的另一方面,在视场内的多个位置表征(characterize)各向异性误差和/或像散误差。存储作为结果的校准数据,用于补偿或校正未来Z高度测量误差,包括将该校正基于提供用于确定Z高度测量的数据的、视场内的位置。在不同实施例中,对应于视场中精确已知的位置,可以确定多个各向异性测量和/或各向异性误差和/或像散误差,并且随后,可以进行内插(interpolation)来估计与视场中任何特定位置相关联的各向异性测量和/或各向异性误差和/或像散误差。
根据本发明的另一方面,针对机器视觉系统中使用的每个特定透镜或透镜组合(或放大倍率)表征各向异性误差和/或像散误差。存储作为结果的校准数据,用于当使用所述特定透镜或透镜组合(或放大倍率)时、补偿或校正未来Z高度测量误差。
根据本发明的另一方面,可以利用校准目标,用以获得校准数据。校准目标可以由多个相应各向异性目标元件组成,每个元件包括在不同的各个角度方向上取向的方向性图案。在一个实施例中,相应各向异性目标元件可以以离散角度步长(step)提供覆盖0°-180°的不同的各个角度方向。步长大小可以依赖于期望的校准数据粒度而变化。作为示例,所述粒度可以对应于5°或7.5°或15°等的步长大小。
根据本发明的另一方面,可以使用通过使用校准目标而提供的Z高度测量表征静态光学误差。在一个实施例中,基于对一系列的各向异性目标元件的测量取平均来表征静态光学误差,以提供Z高度测量,其中,(多个)像散误差分量已经通过取平均而被有效去除了。这样的取平均提供了可用以确定静态光学误差的第一类型的各向同性或非方向性测量。
根据本发明的另一方面,静态光学误差被表征在视场内的多个位置。存储作为结果校准数据,用于补偿或校正未来Z高度测量误差,包括将所述校正基于提供用以确定静态光学误差的数据的、视场内的位置。在一个实施例中,对应于视场中精确已知的位置,可以确定多个各向同性测量和/或静态光学误差,并且随后,可以进行内插来估计与视场中任何特定位置相关联的各向同性测量和/或静态光学误差。
根据本发明的另一方面,可以在校准目标上提供各向同性目标元件,即,由缺乏“方向性”的图案组成的目标元件。因为当测量各向同性图案时,通过聚焦在这些图案中之一上来最小化或消除像散误差,所以可以获得名义上仅包括静态光学误差的Z高度测量(如果有的话)。这样的各向同性目标元件测量提供可用以确定静态光学误差的第二类型的各向同性或非方向性测量。可以提供多个各向同性目标元件,并且,因为精确已知它们在校准目标上的位置,所以可以进行内插来估计与在校准目标上的任何特定位置相关联的各向同性测量和/或静态光学误差。
根据本发明的另一方面,如下面更加详细概述的,可能基于一组各向同性测量而确定“真实的”或参考Z高度测量。即,可以估计名义上不包括静态光学误差和像散误差的“真实的”或参考Z高度测量。在相同位置的、在“真实的”或参考Z高度估计与各向异性Z高度测量之间的差异确定在该位置的各向异性误差或各向异性误差校准数据。在相同位置的、在“真实的”或参考Z高度估计与各向同性Z高度测量之间的差异确定在该位置的静态光学误差分量或静态光学误差校准数据。这里,静态光学误差还可以称作“各向同性误差”。
根据本发明的另一方面,校准目标可以由各个目标元件的多个不同大小的组组成。在每组中,各个目标元件中的每一个可以被设计为在最低放大倍率稍微大于视场,其中,对于该最低放大倍率而设计该特定组的目标元件。另外,在每组中,可以选择目标元件图案内的任何各向异性特征(以及各向同性特征(如果包含))的密度或间隔,以提供具有所设计的(多个)放大倍率的良好校准,例如,特征与照相机像素间隔相比应当足够“厚”,以便防止混淆,并且,在视场中应当具有足够的特征(例如,线条和间隔、纹理“划痕(scratch)”等),以便提供视场中“清晰的(strong)”图案,特别对于各向异性目标元件。
根据本发明的另一方面,在获得了校准数据之后,在对于视场内的特定感兴趣区域(ROI)的在后Z高度测量(例如,通过使用自动聚焦工具)期间,通过内插或外插校准数据以获得对应于该特定感兴趣区域位置的校正值而校正Z高度测量。此处理的第一部分可以包括重构或增加现有校准误差校正数据,以估计与视场中自动聚焦工具感兴趣区域的特定位置对应的值。所述重构或估计可以通过对在校准处理期间在视场内的离散位置上捕获的误差校正数据的内插(例如,双线性、双二次(biquadratic)、双三次(bicubic)等等)来进行。此处理的第二部分可以包括使用重构的或估计的错误校正数据来计算对由自动聚焦例程确定的初始或原始Z位置的Z校正。
根据本发明的又一方面,在根据本发明获得校准数据之后,在对于在视场内的特定感兴趣区域(ROI)的在后Z高度测量(例如基于自动聚焦工具)期间,根据依照依赖于该感兴趣区域中存在的特征的强度(strength)和/或取向的一个或多个表征(characterization)或权重因子所加权的校准误差校正数据来计算和应用Z校正。不考虑图像的形式,一般可以将图像中的感兴趣区域中存在的特征的强度和/或取向的表征称作(多个)取向角度内容特性,或者可替换地称作(多个)角度内容特性等。在一个实施例中,与用于确定相关校准数据的各向异性目标元件的特征的强度和/或取向相比,确定感兴趣区域中存在的特征的强度和/或取向。
根据本发明的另一方面,在不同实施例中,可以使用在感兴趣区域中确定的梯度(边缘)方向的直方图来确定一个或多个“方向”权重或内插因子。在不同实施例中,可以使用在感兴趣区域中确定的梯度(边缘)强度的直方图来确定一个或多个“强度”权重因子。
根据本发明的另一方面,可以通过计算梯度大小(magnitude)和方向(或者更确切地,在一个实施例中垂直于梯度方向的方向,以便使得它们与一组误差校准数据中的边缘方向数据一致)两者来形成直方图。可以对应于自动聚焦工具感兴趣区域中的每个像素而进行梯度计算。与图像噪声相比,在期望仅处理与图像噪声相比相对“清晰的”边缘的实施例中,可以不考虑梯度大小小于特定的(低)噪声阈值的像素。如果图像噪声显著,则可以在梯度大小和方向计算之前,利用空间上小平均滤波器(spatially-small averagingfilter)来另外平滑感兴趣区域。随后可以为所有剩余“有资格的(qualified)”像素(即,梯度大小超过适当的噪声阈值的像素)、以及相应地加权的校准数据创建梯度方向的直方图。
根据上面概括的本发明的不同方面,校准数据可以区分静态光学误差与像散误差。在这样的情况下,当测量感兴趣区域缺乏显著方向性内容时,可以直接依据静态光学误差校准数据来补偿静态光学误差,不需要与权重因子等相关的附加补偿。
在不同的实施例中,为了确定视场中不同位置处的各向异性误差和/或静态光学误差,基于分析或实验,为校准目标基底形状建立实际通用模型。例如,可以假设其是平面的、并且相对于光学系统轴而潜在地倾斜的。或者,还可以假设其沿着一个或多个方向具有曲率。依赖于该模型,可以为多个各向同性Z高度测量拟合直线、曲线、或平面、或曲面,如下面更详细描述的。可以使用作为结果的“最优拟合”基底位置,作为贯穿其适用范围内的位置处的参考或真实Z高度测量值。在不同位置处的、在各向异性Z高度测量与真实Z高度值之间的差异可以用以确定对于所述不同位置的各向异性误差和相关联的各向异性误差校准数据。在不同位置处的、在各向同性Z高度测量与真实Z高度值之间的差异可以用以确定所述不同位置的静态光学误差和相关联的静态光学误差校准数据。
根据本发明的另一方面,本发明的误差校正系统和方法可以被应用于多个初级(primary)感兴趣区域(例如,初级感兴趣区域可以是由图形用户界面中的视频工具感兴趣区域边界所界定的广泛感兴趣区域)、和/或与特定初级感兴趣区域内的点相关联的多个子区域。当使用特定类型的自动聚焦工具(例如,多区域或多点自动聚焦工具)时,可能需要这样。多区域自动聚焦工具可以执行与为工具的多个相应初级聚焦感兴趣区域提供各个Z聚焦位置和/或高度坐标相关联的操作。多点自动聚焦工具可以执行与为多个相应次级(secondary)聚焦感兴趣区域或子区域提供相应Z聚焦位置或高度值相关联的类似操作,其中,所述多个相应次级聚焦感兴趣区域或子区域可以与位于该工具的初级感兴趣区域内的点相关联。多区域和多点自动聚焦工具可以提供至少表面类型自动聚焦操作,作为Z高度测量的基础。
与仅分析单个感兴趣区域(例如,对于单独的自动聚焦工具)相比,应当理解,关于分析具有高吞吐量(throughput)的多个感兴趣区域和/或子区域的Z高度(例如,对于多区域或多点自动聚焦工具),会出现各种困难,特别当考虑根据本发明校正各向异性误差的每个Z高度所需的存储器和/或处理操作时。例如,应当理解,当正分析多个感兴趣区域时,不再存在普遍适于每个感兴趣区域和/或子区域的单个“焦点对准(in focus)”位置或“最佳聚焦”Z高度,这是因为多个感兴趣区域和/或子区域中的每一个可以具有不同高度。此外,重复移动工件台或照相机以为每个感兴趣区域和/或子区域提供自动聚焦图像的单独组(set)(还称作自动聚焦图像堆栈)、和/或单独的最终“最佳聚焦的”自动聚焦图像是不切实际的,这是因为提供必要的机械运动通常是自动聚焦高度确定的最耗时(吞吐量限制)方面。这会导致速度瓶颈,并且,关于检查吞吐量的代价是不容许的,特别当存在大量要被分析的感兴趣区域和/或子区域时。此外,在一些实施例或应用中,关于合理的吞吐量预期和实时检查操作,分析多个感兴趣区域和/或子区域所需的存储器量和/或硬件操作会变得不切实际、或至少非期望地慢。
在不同实施例中,为了避免机械运动瓶颈,如下面更详细描述的,获取并使用单个全局(global)图像堆栈(还简单地称作单个、完全或全局图像堆栈等)而作为整个多区域和/或多子区域(例如,多点工具子区域)高度确定处理的基础会是有益的。另外,在不同实施例中会是有益的是,将这里概述的取向角度分析操作(关于各个Z高度校正)基于全局图像堆栈中可用的相应图像部分,而非基于在最佳可能聚焦位置处分别获取的额外的“最佳可能”图像(例如,在所确定的Z高度或聚焦曲线峰值位置处获取的单独图像)的部分。
关于基于全局图像堆栈中可用的各个图像部分而确定各个Z高度校正,应当理解,当可以使用最佳可能聚焦图像(例如,在聚焦曲线峰值处获取的一个最佳可能聚焦图像)、来允许对被用作为Z高度校正的基础的取向角度内容特性的最准确的或可重复的确定时,在一些实施例或应用中,基于任何充分聚焦的图像,可以以充分的准确度而确定或估计取向角度内容特性。在一些实施例中,可以通过从全局图像堆栈中选择具有超过已知对应于相对良好聚焦的阈值的聚焦度量(例如,任何已知类型的图像对比度或锐度度量、任何其它适当类型的聚焦表征)的图像部分,来确保适当的充分聚焦的图像部分。在其它实施例中,可以通过从全局图像堆栈中选择与图像堆栈中的其它图像相比而具有对于该图像部分可用的最佳聚焦度量的图像部分,来确保充分聚焦的图像部分。在其它实施例中,可以通过选择包括在图像堆栈中的图像中的图像部分(该图像部分充分接近或最接近于已经为该部分确定的未校正的最佳聚焦Z高度),来确保该充分聚焦的图像部分。下面更加详细地描述这些可替换的实施例。在任何情况下,将理解,任何前述方法可以基于来自对应于与感兴趣区域的最佳聚焦未校正的Z高度充分近似的Z高度的图像的该感兴趣区域或子区域,而提供角度内容特性,使得其可以提供根据本发明的不同实施例或应用中的充分准确的Z高度校正。在不同实施例中,前述操作可以关联于用以识别与各个感兴趣区域或子区域对应的充分聚焦的图像的近峰操作控制元件(例如,电路或例程)。在一些实施例中,近峰操作控制元件还可以关联于确定相应的取向角度内容特性和/或Z高度校正。
在一些实施例中,近峰操作控制元件还可以关联于特定的条件式存储器关联操作。基于“近峰”数据和/或操作的条件式存储器关联操作,对于在实施例或应用(诸如,需要大区域多点自动聚焦工具、和/或大的兆像素照相机图像、和/或大的自动聚焦和/或高度变化扫描范围、和/或大量高分辨率(例如,微米级别)的自动聚焦和/或高度变化扫描增量的这些)中节省存储器,会是特别有益的。一般而言,关于Z高度校正操作,仅需要“近峰”数据(即,来自在近似对应于聚焦曲线峰值的高度处所获取的图像的图像数据)。在不同实施例中,近峰操作控制元件可以区别这样的近峰数据与不需要的数据,并且消除该不需要的数据和/或相关操作。换句话说,在数据并非“近峰”数据的条件下,可以由峰值附近的数据控制元件抑制或消除特定的数据存储和/或处理。在不同实施例中,可以基于对于图像堆栈的各个图像中的特定感兴趣区域或子区域的各个聚焦表征或聚焦度量,区别近峰数据与非近峰数据。下面描述用以支配条件式操作的聚焦表征数据的不同使用。然而,应当理解,在不同实施例中,所确定的聚焦表征或度量中的一些或全部还可以被用作定义相应感兴趣区域或子区域的“聚焦曲线”的数据点。如本领域的技术人员已知的,可以对应于数据点系列而定义聚焦曲线,其中,每个数据点包括为在相应已知高度(独立变量)获取的图像中的感兴趣区域所确定的聚焦表征或聚焦度量值(相关变量)。通常,聚焦表征或聚焦度量可以是任何已知类型的图像对比度或锐度度量、或任何其它适当类型的聚焦表征(例如,模糊逻辑类型表征等)。随后,可以根据已知自动聚焦和/或高度确定技术来确定聚焦曲线的内插的峰值(例如,拟合聚焦曲线数据的曲线的峰值)。如这里的别处描述的,聚焦曲线的这样的内插的峰值可以对应于未校正的Z高度测量,其中,根据本发明将其与对应的各向异性误差校正相组合,以提供对应的已校正的Z高度。
关于根据本发明的一个方面而使用聚焦表征数据以支配特定的条件式操作,在不同实施例中,条件式数据存储和/或处理可以基于被分析用于全局图像堆栈的“当前”图像的当前感兴趣区域或子区域的聚焦表征是否优于(例如,更接近于聚焦曲线峰值)先前确定的“在前”图像中的该感兴趣区域或子区域的聚焦表征。在一些实施例中,条件式数据存储和/或处理操作还可以(或者可替换地)视当前感兴趣区域或子区域的聚焦表征是否超过指明充分良好的聚焦的默认值或阈值而定。
在一些实施例中,如果当前聚焦表征优于先前确定的“运行最佳的(running best)”聚焦表征(例如,其具有大于先前确定的“运行最佳的”聚焦度量值的聚焦度量值),则存储其,否则,将其识别为该感兴趣区域或子区域的新的“运行最佳的”聚焦表征。在一些实施例中,在已经对于感兴趣区域或子区域而分析了整个全局图像堆栈之后,最终的运行最佳的聚焦度量可以被用于识别图像堆栈中的最佳聚焦的图像(对于对应的感兴趣区域或子区域),随后可以使用其来确定用于确定对应Z高度校正的对应取向角度内容特性。在其它实施例中,当对应于堆栈中的特定图像中的特定区域或子区域而确定新的“运行最佳的”聚焦表征时,该条件可以触发对该特定图像的对应部分的存储,用于Z高度校正的随后潜在的使用。在这样的实施例中,所存储的新“运行最佳的”数据可以取代类似的先前存储的运行最佳的数据,随后可以删除所述类似的先前存储的运行最佳的数据以节省存储器。
在一些实施例中,当对应于特定图像中的特定区域或子区域而确定新的“运行最佳的”聚焦表征时,该条件还可以(或者可替换地)触发与该特定图像的该部分对应的角度内容特性和/或作为结果的Z高度校正的确定和存储。在一些实施例中,当存储与新的运行最佳的聚焦表征对应的角度内容特性或Z高度校正时,所存储的数据可以取代类似的先前存储的运行最佳的数据,随后可以删除所述类似的先前存储的运行最佳的数据以节省存储器。将理解,当如上所述、运行最佳的角度内容特性被存储、或者另外地被识别时,在各种不同实施例中,关于存储、或者另外地识别对应的“运行最佳的”图像数据,这可以补充、取代、或替换先前上述的操作中的一个或多个。即,根据本发明,由于运行最佳的取向角度内容特性足以提供对应的各向异性误差校正,所以可以在处理期间在任何有利的时间从存储器删除对应潜在的图像数据。类似地,当存储新的“运行最佳的”各向异性误差校正时,其可以替换或取代先前存储的取向角度内容特性和/或先前存储的各向异性误差校正,它们会随后被在处理期间在任何有利的时间删除,以节省存储器。在一些实施例中,在已经为感兴趣区域或子区域分析了整个图像堆栈之后,作为结果的“运行最佳的”各向异性误差校正立即可用于为该感兴趣区域或子区域确定对应的校正的Z高度。
将理解,与现有技术方法相比,当在自动聚焦Z高度确定操作期间获取并处理图像时,上述条件式操作方法中的每一个可以导致显著减少的存储器和存储需求。即,图像数据(例如,图像堆栈中不同图像中的区域或子区域数据)可以在最早的有利时间(例如,随后地、在分析期间)被抑制或删除,而非被获取和保留直到完全分析了整个图像堆栈为止。在一个特定示例实施例中,对于非重叠的感兴趣区域或子区域,同时存储的信息的总量可以足够小以不超过单个图像的大小。另外,上述条件式操作方法还可以对于Z高度确定操作而显著减少处理时间、并且增加吞吐量,特别当提供具有大量测量子区域的多点自动聚焦工具中的Z高度的各向异性误差校正时。此外,特定实施例中的方法与特定的现有产品中的当前自动聚焦工具很好地结合。
在不同实施例中,提供例程用于定义一组要测量的感兴趣区域ROI(k)、并且产生已校正的Z高度测量。该例程以定义一组选择的感兴趣区域或子区域ROI(k)(k=1至P)(要为其确定Z高度)而开始。将理解,如上所述,感兴趣区域ROI(k)可以包括全部或初级感兴趣区域(例如,在多区域自动聚焦工具的情况下),或者可以包括次级感兴趣区域或子区域(例如,在多点自动聚焦工具的情况下)。随后为图像堆栈组定义图像(i)(i=1至N),其包含感兴趣区域ROI(k)组、并且跨越要确定的Z高度,并且,随后获取图像堆栈组。为图像(i)中的感兴趣区域或子区域ROI(k)确定聚焦度量(k,i)。在一个实施例中,聚焦度量可以包括图像(i)中的感兴趣区域ROI(k)的锐度量度。为感兴趣区域ROI(k)确定最佳聚焦的未校正的Z高度,并且,为对应于与感兴趣区域ROI(k)的最佳聚焦的未校正的Z高度近似的Z高度的图像的感兴趣区域ROI(k),确定角度内容特性。在一个实施例中,可以基于梯度(边缘)角度直方图来确定角度内容特性。基于感兴趣区域ROI(k)的角度内容特性确定感兴趣区域ROI(k)的Z高度校正值,并且,基于感兴趣区域ROI(k)的Z高度校正值和最佳聚焦的未校正的Z高度为感兴趣区域ROI(k)确定校正的Z高度。例程还可以包括先前概述的和下面更详细描述的数据分析和/或存储方法中的一个或多个。
附图说明
通过参考与附图结合时的下面的详细描述,本发明的前述方面和许多附带优势变得更好理解,从而本发明的前述方面和许多附带优势将变得更容易理解,其中:
图1是示出通用机器视觉检查系统的不同典型组件的图示;
图2是机器视觉检查系统的控制系统部分和视觉组件部分的图示;
图3A-图3D是具有方向性条状的、方向性纹理的和各向同性纹理的图案的图示;
图4是图示了作为图3A-图3D的表面取向的函数的、用于测量的Z可变性的图示;
图5是图示了根据本发明形成的一个示例性校准目标的图示;
图6是使用图5的校准目标而确定的一组示例性的像散误差校准数据的图示;
图7是图示了对于以[0,180°]的间隔旋转的方向性图案的,透镜的视场内的不同位置、以及可发生在所述不同位置处的不同各向异性误差校准数据结果的图示;
图8A-图8C是图示了可用于确定在图7的图示的视场中的离散校准位置之间的位置的误差校正的示例性内插技术的图示;
图9A-图9D是图示了一个示例性的均匀条纹表面的直方图结果的图示;
图10A-图10B是图示了一个示例性的非均匀纹理表面的直方图结果的图示;
图11A-图11B是图示了条纹表面的未校正和已校正测量结果的图示;
图12A-图12B是所图示的纹理表面的未校正和已校正测量结果的图示;
图13A和图13B是图示了包括不规则取向划痕的粗糙纹理方向性表面的未校正和已校正测量结果的图示;
图14是图示根据本发明的、用于产生已校正的Z高度测量的运行时间操作的一个示例性例程的流程图;
图15是图示用于执行图14的角度特性确定和查找表重构操作的一个示例性例程的流程图;
图16是类似于图2并且还包括自动聚焦工具部分、一组自动聚焦工具和近峰操作控制元件的、机器视觉检查系统的控制系统部分和视觉组件部分的图示;
图17是图示根据本发明的,用于定义一组要被测量的感兴趣区域、并且产生已校正的Z高度测量的一个普通示例性例程的流程图;以及
图18A-图18C是图示与图17的例程类似的示例性例程的具体实施例的流程图。
具体实施方式
图1是根据本发明的一个示例性机器视觉检查系统10的框图。所述机器视觉检查系统10包括视觉测量机器12,其可操作地被连接以与控制计算机系统14交换数据和控制信号。控制计算机系统14进一步可操作地被连接以与监视器16、打印机18、操纵杆22、键盘24和鼠标26交换数据和控制信号。监视器或显示器16可以显示适于控制和/或编程机器视觉检查系统10的操作的用户界面。
视觉测量机器12包括可移动工件台32和光学成像系统34,该光学成像系统34可以包括变焦透镜或可互换透镜。变焦透镜或可互换透镜通常可以为由光学成像系统34提供的图像提供不同的放大倍率。机器视觉检查系统10通常可以与上面讨论的QUICK
Figure G2009102079924D0000131
系列的视觉系统和
Figure G2009102079924D0000132
软件、以及类似技术发展水平的商业可用精密机器视觉检查系统相比。申请号为10/978,227的美国专利申请中也描述了机器视觉检查系统10,通过引用将该专利申请合并在此。
图2是根据本发明的机器视觉检查系统100的控制系统部分120和视觉组件部分200的图示。如下面将更加详细描述的,使用控制系统部分120来控制视觉组件部分200。视觉组件部分200包括光学组合件(assembly)部分205、光源220、230和240、以及具有中央透明部分212的工件台210。沿着位于通常平行于可放置由工件20的台面的平面上的X和Y轴,工件台210可控制地移动。光学组合件部分205包括照相机系统260、可互换物镜250,并且可以包括透镜转盘(turret lens)组合件280、以及同轴光源230。对于透镜转盘组合件可替换地,可以包括固定或手动可互换的放大倍率改变的透镜、或变焦透镜配置等。如下面进一步描述的,通过使用可控电机294,光学组合件部分205可控制地沿着通常正交于X和Y轴的Z轴可移动。
要使用机器视觉检查系统100来成像的工件200被放置在工件台210上。光源220、230和240中的一个或多个分别发射可以用于照明工件20的光源光222、232或242。由光源220、230和/或240发射的光照明工件20,并且被反射和透射为工件光255,其穿过可互换物镜250和透镜转盘组合件280、并且被照相机系统260聚集。在信号线262上,将由照相机系统260捕获的工件20的图像输出至控制系统部分120。
用于照明工件20的光源220、230和240可以包括工作台光220、同轴光230和表面光240(诸如,环形光或可编程环形光),它们全部通过信号线或总线221、231和241而分别连接至控制系统部分120。作为机器视觉检查系统100的主要光学组合件,除了先前讨论的组件之外,光学组合件部分205还可以包括其它透镜以及诸如光圈、分束器等的其它光学元件,例如,可能需要它们来提供同轴照明、或其它期望的机器视觉检查系统特征。当它被包含作为机器视觉检查系统100的从属光学组合件时,透镜转盘组合件280至少包括第一透镜转盘位置和透镜286、以及第二透镜转盘位置和透镜288。控制系统部分120通过信号线或总线281控制透镜转盘组合件280在至少第一与第二透镜转盘位置之间沿着轴284的旋转。
可以调节工件台210与光学组合件部分205之间的距离以改变由照相机系统260捕获的工件20的图像的焦点。特别地,在不同示例性实施例中,通过使用驱动致动器的可控电机294、连接线缆等来沿着Z轴移动光学组合件部分205,光学组合件部分205在垂直的Z轴方向上相对于工件台210可移动。这里使用的术语Z轴指意欲用于聚焦由光学组合件部分205获得的图像的轴。可控电机294当使用时、经由信号线296而连接至输入/输出接口130。
如图2中所示,在不同示例性实施例中,控制系统部分120包括控制器125、输入/输出接口130、存储器140、工件程序生成器和执行器170、CAD文件特征提取器180、以及电源部分190。将理解,这些组件、以及下面描述的附加组件中的每一个可以通过一个或多个数据/控制总线和/或应用软件编程接口而互连,或者通过不同元件之间的直接连接而互连。
输入/输出接口130包括成像控制接口131、运动控制接口132、照明控制接口133、以及透镜控制接口134。运动控制接口132包括位置控制元件132A以及速度/加速度控制元件132B。然而,应当理解,在不同示例性实施例中,这样的元件可以合并和/或是不能区别的。照明控制接口133包括照明控制元件,其例如控制对于机器视觉检查系统100的不同对应光源(诸如光源220、230和240)的选择、加电、打开/关闭开关、以及选通脉冲定时(如果可应用)。
存储器140包括图像文件存储器部分141、工件程序存储器部分142、以及视频工具部分143,其中,工件程序存储器部分142可以包括一个或多个部件(part)程序等。视频工具部分143包括工具部分143a-143m,它们为对应工具中的每一个确定GUI、图像处理操作等。在本发明的不同示例性实施例中,视频工具部分143还包括自动聚焦工具145、自动聚焦校正部分148、查找表生成器部分148A、查找表存储器部分148B、内插部分148C、以及方向-强度确定部分148D。如下面将更加详细描述的,聚焦校正部分148可以校正在聚焦工具145的操作期间导致的Z高度测量误差,包括当像散误差存在时校正像散误差。
查找表生成器部分148A可以为每个特定透镜和/或特定放大倍率准备误差校正校准数据(例如,查找表、或误差校正校准数据的任何其它供替换的形式或布置)。在一个实施例中,对于透镜/照相机视场中的多个点,透镜的校准数据包括一组垂直(Z)校正,其包括在方向性图案的取向的0-180°范围上的像散误差的校正。在一个实施例中,对于视场中的多个点,校准数据可以包括垂直(Z)校正,其包括一组静态光学误差校正和一组像散误差校正。在另一实施例中,对于视场中的多个点,校准数据可以包括垂直(Z)校正,其包括一组各向异性误差校正。查找表被存储在查找表存储器部分148B中。应当理解,虽然这里一般将误差校准数据描述为以“查找表”的形式确定并存储,但是这样的实施例仅是示例性的、并非限制。更一般地,根据本发明的原理,这里描述为生成或存储“查找表”的任何元件或方法应当被理解为代表可以生成或存储可用以校正Z高度测量的误差校准数据的任何其它现在已知的或稍后开发的形式或布置的更加一般的元件或方法。
使用内插部分148C用于对与当前聚焦感兴趣区域(例如,自动聚焦工具感兴趣区域)对应的视场中的位置的查找表数据的内插、外插、或其它估计或重构。通常,通过对存储在查找表存储器部分148B中的查找表等的误差校准值的内插(例如,双线性、双二次、双三次等)而进行重构。方向-强度(方向和强度)确定部分148D用于确定聚焦感兴趣区域的内容的方向(标称(nominal)取向)和/或强度(例如,梯度大小)的适当测量。在一个实施例中,方向-强度确定部分148D确定存在于当前聚焦感兴趣区域中的梯度(边缘)方向的直方图,如下面将更加详细描述的,其可以用以重构的(内插的)误差校准数据,来计算并且应用对Z高度测量的适当的校正。
视频工具部分143仍进一步包括感兴趣区域生成器143x,其支持定义在包括在视频工具部分143中的不同视频工具中可操作的不同感兴趣区域的自动、半自动和/或手动操作。一般,存储器部分140存储可用于操作视觉系统组件部分200以捕获或获取工件20的图像的数据,使得所获取的工件20的图像具有期望的图像特性。存储器部分140还存储可用于操作机器视觉检查系统100以执行对所获取的图像的不同检查和度量操作(手动地或自动地)、并且通过输入/输出接口130输出结果的数据。
工作台光220、同轴光230和表面光240分别的信号线或总线221、231和241全部连接至输入/输出接口130。来自照相机系统260的信号线262、以及来自可控电机294的信号线296连接至输入/输出接口130。除了运送图像数据之外,信号线262还可以运送来自于启动图像获取的控制器125的信号。
一个或多个显示设备136、以及一个或多个输入设备138也可以连接至输入/输出接口130。显示设备136和输入设备138可以用于查看、创建和/或修改部件程序,以查看由照相机系统260捕获的图像,并且/或者直接控制视觉系统组件部分200。在具有预定义的部件程序(或工件程序)的全自动系统中,可以省略显示设备136和/或输入设备138。
关于CAD文件特征提取器180,诸如表示工件的CAD文件的信息经常在机器视觉检查系统的工业应用中可得到。可以手动地、以半自动方式地、或全自动地确定CAD文件表示中的边缘、边界和/或工件特征图案的位置,并且,这种信息可有益于工件部件编程、或导引(navigate)至期望的工件特征。
在不同示例性实施例中,当用户利用机器视觉检查系统100来为工件20创建工件图像获取程序时,用户通过使用工件编程语言而自动地、半自动地、或手动地明确编码指令来生成工件程序指令,或者通过图像获取训练序列移动机器视觉检查系统100而生成指令使得工件程序指令捕获训练序列,来生成所述工件程序指令。对于要被捕获的一组图像中的多个图像重复此过程。这些指令当执行时将促使机器视觉检查系统以特定的(多个)速度来操纵工件台210和/或照相机系统260,从而工件20的具体部分处于照相机系统260的视场内、并且对于要被捕获的一组图像中的每一个而处于期望的聚焦状态下。除了控制照相机和工件的相对运动的程序指令之外,工件图像获取程序也需要包括用以激活光源220-240中的一个或多个以在每个图像获取期间提供对工件20的期望照明的程序指令。
一旦定义了一组工件图像获取指令,在本发明的不同示例性实施例中,控制系统120则执行所述指令、并且命令照相机系统260根据所述指令捕获工件20的一个或多个图像。在控制器125的控制下,控制系统120将随后通过输入/输出接口130输入所捕获的(多个)图像、并且将所捕获的(多个)图像存储在存储器140中。控制器125还可以在显示设备136上显示所捕获的图像。
控制系统部分120还可用以调用所捕获并存储的工件检查图像,以检查和分析这样的工件检查图像中的工件特征,并且存储和/或输出检查结果。这些方法典型地实施于在存储器140的视频工具部分143中包括的各种视频工具中,诸如,自动聚焦工具145、边缘/边界检测工具、尺寸(dimension)测量工具、坐标匹配工具等。这些工具中的一些被例行地使用在各种商用的机器视觉检查系统中,诸如,QUICK系列的视觉系统和相关联的软件。
在完成使用这些视频工具中的一个或多个的图像检查/分析操作之后,控制系统120将每个分析/检查操作的结果输出至输入/输出接口,用以输出至不同的显示设备136,诸如,视频显示器、打印机等。控制系统120还可以将每个检查操作的结果存储在存储器140中。
图3A-3D是根据本发明的可以测量并校正Z高度的示例表面的图示。图3A和3B分别是“理想的”条纹表面300A和300B的图示,它们分别包括在分配值为0°和90°的取向的方向性图案。将理解,此取向指定是任意的,以及,如果在校准和稍后的误差校正期间始终应用一个协定(convention),则可以使用其它取向协定。图3C是各向异性纹理表面300C(展现显著方向性的表面)的图示,而图3D是各向同性纹理表面300D(未展现显著方向性的表面)的图示。下面将参考图4来更加详细地描述图3A-图3D的表面的测量结果。
图3A和图3B的理想条纹表面图示了引起本发明意在解决的基本测量问题的方向性图案。更具体地,实验上已经确定了:对于许多实际的机器视觉系统,当测量呈现出展现明显取向的纹理或线条的目标时,基于对比度度量等而执行的高度测量(Z位置)可以显著地变化。传统的自动聚焦工具典型地使用这样的对比度度量来确定它们的最佳聚焦位置和相关联的Z高度测量。因此,如这里公开的,当包括方向性图案的目标被置于不同取向(诸如,当与图3B的90°取向时的图3A的0°取向)时,即使当目标表面的真实Z高度未改变时,使用这样的工具确定的Z高度测量也可以显著地变化。下面参考图4而更加详细地描述这样的不希望的测量变化。
图4是图示图3A-图3D的表面的Z高度测量结果的变化性的曲线图400。三条曲线410、412和414基于全部在视场中的相同位置获取的原始数据。已经通过将每组点(减去180度点,其名以上对于0度点是冗余的)的平均值分配给曲线图400中的值0而归一化原始数据。由于下面进一步描述的原因,这意味着曲线410、412和414近似有效地反映存在于每个原始数据Z测量中的像散误差分量。曲线410图示了不同取向(旋转角度)的图3A和图3B的理想条纹表面图案的Z高度测量变化,而曲线412图示了在不同取向(旋转角度)的图3C的纹理表面的Z高度测量变化,以及曲线414图示了在不同取向(旋转角度)的图3D的各向同性表面的Z高度测量变化。
利用传统自动聚焦工具获得曲线410、412和414的变化的高度测量。随着在180°范围内旋转每个表面图案的标称取向,在视场中的一致的感兴趣区域位置处进行测量。曲线410、412和414图示了:随着各向异性表面图案旋转通过180°、像散误差导致所述各向异性表面图案的变化的Z高度测量(曲线410和412),以及像散误差不显著影响对于各向同性表面图案的Z高度测量(曲线414)。如图4中所示,分别对应于理想条纹和纹理表面的、曲线410和412的Z高度测量示出了作为取向的函数的显著的Z值变化,其中,“较强的”方向性图案(理想条纹图案-曲线410)比“较弱的”方向性图案(方向纹理图案-曲线412)示出了更大的像散误差。更具体地,与示出近似0.26微米的小的Z高度变化的、各向同性表面的曲线414相比,曲线410示出近似5微米的Z高度变化,而曲线412的Z高度变化是近似3.7微米。
本发明提供了用于校正像散误差的方法。在优选实施例中,该方法还校正静态光学误差(如果存在的话)。如下面将结合图5和6而更加详细地描述的,为每个特定透镜组合和/或特定放大倍率而准备误差校准数据(例如,查找表)。在一个实施例中,对于透镜的视场中的多个点,校准数据可以包括一组Z高度测量校正,其包括在方向性图案的取向的0-180°范围上的像散误差的校正。校准数据还可以包括对于透镜的视场中的多个点的静态光学误差的Z高度测量校正。在优选实施例中,对于透镜的视场中的多个点,校准数据可以包括一组Z高度测量校正,其包括在方向性图案的取向的0-180°范围上的各向异性误差的校正。于是,如下面将结合图7-10而更加详细地描述的,在自动聚焦Z高度测量期间,完成并应用Z校正。可以根据从(多个)校准查找表重构的内插的校准数据来确定Z校正,以对应于视场中的当前位置。Z校正可以包括基于存在在当前自动聚焦工具感兴趣区域中的梯度方向的直方图(表示方向性表面特征的取向角度内容特性)而对各向异性误差校正或像散误差校正的大小的调节、加权或选择。
图5是示意性图示了根据本发明的形成的并可用的校准目标500的图示。校准目标500可以包括包含目标元件组500A和500B的扁平基底520。目标元件组500A包括用于生成像散误差校准数据的6×4栅格(grid)的各向异性目标元件,如下面进一步描述的。更具体地,目标元件组500A包括布置在列512-717和行522-525中的6×4栅格的矩形目标元件。
在一个实施例中,每个矩形的各向异性目标元件可以包括特定角度取向的条纹表面图案(例如,与图3A和图3B中所示的图案类似的图案)。例如,在列512和行522中的“0°”矩形的目标元件可以包括水平取向的条纹,而列512和行524中的90°矩形目标可以包括垂直取向的条纹。其它矩形目标元件中的每一个包含以图5中指示的各个角度取向的相同条纹图案。合起来,它们以7.5度的离散步长覆盖0°-180°范围的取向角度。由于180°方向等效于0°方向,所以在此实施例中不包括额外的180°目标元件。在不同的其它实施例中,步长大小可以依赖于各向异性或像散误差校准数据或查找表的期望粒度而变化。在图5中,粒度是7.5°。将理解,所有的矩形目标元件包括分别以图示的度数取向的条纹表面图案(未示出)。因此,即使将在列514和行522中的15°矩形目标元件图示为具有数目“15°”,也将理解,在实际的实施例中,该矩形目标元件将实际上包括取向在15°的条纹表面图案。在其它实施例中,各向异性目标元件可以具有其它类型的方向性图案,例如,纹理图案、或条纹状纹理图案、或被选择以匹配经常在检查工件时遭遇的图案的各向异性图案。
上述各向异性校准目标是通用像散误差校准目标。另一类型的各向异性校准目标可以特别有益于校准可能另外存在于“边缘聚焦”类型的自动聚焦操作中的误差,与这里通常假设的“表面自动聚焦”相反。例如,边缘聚焦操作可以发现使跨越边缘的强度梯度最大化的Z高度,而非典型用于表面自动聚焦操作的更一般的基于面积的对比度测量。在强调边缘聚焦像散误差的校正的实施例中,单个直边(亮区与暗区之间的边界)可以被用作各向异性目标元件。因为这样的目标元件是非对称的,所以用于校准的取向角度范围优选地为0°-360°,而非先前描述的0-180°范围。
目标元件组500A还包括一组35个各向同性目标元件510。如下面更加详细描述的,每个各向同性目标元件510可以用于在它们各个位置处发现“各向同性测量Z高度”(还称作“各向同性测量”)。使用各向同性目标元件的中心作为其位置的参考点可能是方便的。如果期望,则如下面描述的,可以通过减去一致的内插的各向同性测量来隔离出包括在相邻各向异性目标元件测量中的像散误差分量,以提供像散误差校准数据。
在操作中,因为当度量各向同性的图案(例如,各向同性目标元件150)时,像散误差被最小化或不存在,所以对这些图案执行自动聚焦测量提供了名义上无像散误差的各向同性测量。在用于确定校准目标500上的不同位置的真实的和/或参考Z高度值的一组示例性操作中,如果视场内的相同自动聚焦感兴趣区域位置(例如,视场的中心)用于测量各向同性图案510中的每一个,则静态光学误差分量对于所有这样的度量在名义上将是相同的。因此,此过程将提供在校准目标500上的各向同性图案510的位置处的原始Z高度测量,其中,各向同性图案510中的每一个仅包含相同“共同模式”静态光学误差。因此,在这样的Z高度测量之间的差异名义上仅由于校准目标基底表面的不同部分中的真实的Z高度差异导致的。因此,在视场中的相同点进行的一组这样的各向同性Z高度测量可以被用作遍及校准目标的一组真实的Z高度值,反映校准目标的位置、倾斜和/或变形。
在一个实施例中,可以从校准目标500忽略各向同性目标,并且,通过对在取向角度的范围上进行的一组各向异性测量取平均以提供Z高度测量平均值,可以为视场中的任何设置(恒定)位置提供不同类型的各向同性测量,其中,已经通过取平均而有效地去除了(多个)像散误差分量。随后,可以以与上述各向同性测量的类型相同的方式来使用各向同性测量的此种类型。
在另一情况下,因为可以精确已知每个各向同性测量的X-Y位置,所以可以在实际测量位置之间估计附加的真实Z高度值。如果使用双线性内插,则所估计的真实Z高度值可以反映校准目标的任何整体的和/或局部的倾斜。如果使用例如双二次的更高阶的、或其他更加复杂的内插方案,则可以更加准确地反映校准目标的弯曲变形。
将理解,如果相对于参考或“零”Z平面而测量所有其他Z测量,则可以相当任意地选择此平面。因此,如上所述的,在视场中的相同点处确定的任何一组真实Z高度值可以被用作遍及校准目标的参考Z高度值,反映校准目标的位置、倾斜和/或变形。使用视场的中心作为提供校准目标的参考Z高度值的视场中的点可能是方便的。应当理解,可以将参考Z高度值视为仿佛它们无像散误差和静态光学误差两者。
在根据本发明的一个实施例中,可以在遍及视场的不同位置处确定各向异性误差校准数据。以用于在视场中的一个位置处为一个取向角度确定单个各向异性误差校准值的一组示例性操作,而这里开始对此过程的一个示例性实施例的描述。
为了确定单个各向异性误差校准值,可以放置上述各向异性目标元件中的第一个来用在其各个取向角度上的其各向异性图案来填充视场。于是,将聚焦感兴趣区域的中心置于视场中的期望位置(这假设使用感兴趣区域的中心,作为其位置的参考点)。随后,例如,通过使用聚焦感兴趣区域的自动聚焦,在视场中的该位置处获得各向异性测量。在视场中的该位置处的在各个取向角度的各向异性测量、与视场中的该相同位置处的参考Z高度值之间的差,可以提供应当与在视场中的该位置处的所述各个取向角度相关联的各向异性误差校准值。
可以在视场中的该相同位置处、为在其各个取向角度上的每个相应各向异性目标重复上述各向异性误差校准步骤,以提供对应于视场中的该位置的完整的各向异性误差校准数据组。可以基于下面的图6的描述而更好地理解为视场中的单个位置所收集的这样的各向异性校准数据组的特性。
随后,可以在遍及视场的大量期望位置处重复上述的完整的各向异性误差校准操作组,以提供对应于这些期望位置的每一个的完整的各向异性误差校准数据组。随后,可以通过使用与上面指示的或下面进一步描述的内插技术类似的各种内插技术,在视场中的其它未测量的位置上估计对应于各个取向角度中的任何一个的各向异性误差校准值或数据。通常,对应于相同取向角度、但在视场中的不同位置处的各向异性误差值所表示的各向异性误差“形状(shape)”可能比校准目标表面的形状更加复杂。因此,较高阶类型的内插可以提供较好的准确度。下面参考图7而描述视场中的各个位置处的相应组的各向异性误差校准数据的一个示例。
如果期望,则可以确定静态光学误差。在用于确定要与视场中的期望位置相关联的静态光学误差的一个示例性操作组中,将具有各个已知参考Z高度值的各个各向同性目标元件置于视场中的期望位置处。接下来,在视场中的该位置处设置聚焦感兴趣区域,并且,在视场中的该位置处获得新的各向同性测量。该各向同性目标元件的已知参考Z高度、与新获得的各向同性测量Z高度之间的差是要与视场中的该位置相关联的静态光学误差。如果期望,则可以使用具有各个已知参考Z高度值的附加各向同性目标元件来在视场中的该位置处重复此处理,并且,可以对该结果取平均以便为视场中的该位置处的静态光学误差提供更精确的值。在任何情况下,如果期望,则可以将作为结果的静态光学误差存储为对应于视场中的该位置的静态光学误差校准数据。
可以在遍及视场的各个位置处重复上述静态光学误差校准处理,以提供对应于遍及视场的这些位置的各个静态光学误差校准数据。随后,可以通过使用类似于上述内插技术的、但在此情况下用以内插静态光学误差的各种内插技术,为视场中的其它未测量的位置估计静态光学误差校准值或数据。通常,静态光学误差“形状”会比校准目标表面的形状更加复杂,因此更高阶类型的内插可能提供较好的准确度。
如果在遍及视场的不同位置处确定静态光学误差,则如果期望,可以在遍及视场的不同位置处也确定像散误差校准数据。可以以用于确定各向异性误差校准数据的上述方式(除了代替从每个位置处的每个各向异性测量减去一致的参考Z高度值,而从每个位置处的每个各向异性测量减去一致的各向同性测量值之外),确定对应于视场中的每个期望位置的像散误差校准数据的完整组。可以基于下面对图6的描述而更好地理解为视场中的单个位置收集的像散校准数据组的特性。
在不同实施例中,可以基于聚焦感兴趣区域而从原始Z高度测量减去与该聚焦感兴趣区域的位置和取向角度内容对应的各向异性误差值,以提供校正的Z高度测量值。校正的Z高度测量值在名义上与工件的度量区域的真实Z高度值相同。替换地,应当理解,减去与聚焦感兴趣区域的位置和取向角度内容对应的静态光学误差值和像散误差值两者,等同于减去与聚焦感兴趣区域的位置和取向角度内容对应的各向异性误差值。因此,在根据本发明的不同实施例中,可以以不同形式准备和应用误差校准数据,而具有相同结果。
将理解,即使分开像散误差校准数据和静态光学误差校准数据,应用像散误差校正和静态光学误差校正两者来确定校正的Z高度测量值也通常是有利的。然而,一般,单独使用所述校正中任意一个仍将提供至少部分校正的Z高度测量值,其比原始Z高度测量更加独立于视场中的表面特性和/或测量位置。因此,单独使用所述校正中的任意一个仍可以在不同应用中提供某些益处。例如,在一些极好工艺的精密机器视觉检查系统中,静态光学误差可能是无关紧要的,并且,单独使用像散误差校准和校正操作会可能是最简单和最有利的选择。
将理解,上面参考图5概括的误差校准操作仅是示例性的,并且,多种变型是可能的。上面确定的不同值全部基于各向同性和各向异性测量值的不同组合。通常,可以以任何高效的(或低效的)顺序获得不同所需的各向同性和各向异性测量值的全部,并且,随后以任何功能上等效的方式来处理所述不同所需的各向同性和各向异性测量值的全部,以提供所期望的各向异性误差校准值、像散误差校准值、或静态光学误差校准值等。
此外,虽然上述误差校准数据通常包括存储的误差值,但是误差校准数据可以替换地包括用于确定这些误差值的不同的测量值。在一个这样的实施例中,不同类型的测量值可以被存储在一个或多个查找表中,并且后来被处理以校正原始Z高度测量(如需要)。在另一实施例中,不同类型的测量值或误差可以被存储为描述与所述不同类型的测量或误差对应的不同“表面”的解析表达式。例如,参考Z高度表面、各向同性测量表面、对应于不同取向角度的大量各向异性测量表面等。可以将前述数据形式的全部看作一种类型的Z高度误差校准数据,该类Z高度误差校准数据表征关于聚焦感兴趣区域中的各向异性图像内容的取向角度变化的、基于聚焦感兴趣区域的Z高度测量结果的变化。在任何情况下,可以通过正确使用数据的这些形式中的任何一种来在原始测量中校正Z高度误差。因此,每个形式被认为是所存储的误差校准数据的形式。在不同实施例中,可以重复任何各向同性或各向异性测量所期望次数,并且,对所述结果取平均,以提供可以代替单个测量值使用的更加可靠的和/或可重复的值。基于此公开,这些和其它变型将是显而易见的。
将理解,图5中所示的目标元件组500B包括与目标元件组500A中的元件类似的元件(尽管以更小规模)。因此,以与先前描述的用于目标元件组500A相同的方式(但是,使用具有比目标元件组500A典型被使用的放大倍率更高的透镜布置),方便地利用目标元件组500B。
目标元件组500A和500B中的各向异性目标元件中的每一个被设计为稍微大于设计该目标的最低放大倍率的透镜的视场,并且,方向性图案被取向在指定角度。选择各向异性目标元件内的线条或特征的密度,以提供在设计该目标的全部放大倍率的自动聚焦感兴趣区域中的良好校准。更具体地,线条或特征被设计为不太细(这会导致与照相机像素混淆),并且还被设计为在自动聚焦感兴趣区域中具有足够的循环以在自动聚焦感兴趣区域中提供“清晰的”各向异性图案。在一个具体示例中,目标元件组500A意在对在具有2.5x物镜的1x和2x透镜转盘组合件设置的100×100像素自动聚焦感兴趣区域(假设大小为640×480像素的视场)工作良好。在此示例中,目标元件组500B将意在对在6x盘位置的100×100自动聚焦感兴趣区域工作良好(目标元件组500B比目标元件组500A小三倍)。
将理解,图5的目标元件组500A和500B的特征、布置和/或纵横比仅是说明性的,并且可以不同于所示的这些。例如,在一个实施例中,通常,每个各向异性目标元件的大小依赖于总透镜放大倍率和/或目标元件组要被用于的视场。使得每个各向异性目标元件稍微大于最大预期的视场。此约束允许使用商用多点自动聚焦工具或操作以在整个视场上快速收集特定取向角度的各向异性测量。
依赖于用于各向异性校正的查找表的所选择的粒度,各向异性目标元件的数量可以更小或更大。校准目标500具有7.5°的粒度,但是,依赖于校准的所期望的准确度和速度,粒度可以更小或更大。由于像散误差曲线的平滑特性,在不同实施例中、使用用于以5°、7.5°、10°或15°间隔收集数据的粒度通常是足够的。各向异性目标元件的数量通常可以被计算为180°/粒度。
在各向异性目标元件包括周期性线条图案的一个实施例中,期望选择线条间距,使得远小于视场的自动聚焦感兴趣区域(例如,640×480像素视场中的100×100像素)将包含至少2-3个全循环,但是,同时使得该线条不太精细(例如,不细于5个像素)以防止与像素间距混淆,其会歪曲校准结果。在一个示例实施例中,选择目标元件组500A中使用的线条间距以提供在5x放大倍率的91×91自动聚焦区域中的大约3个全循环(在2.5x放大倍率具有约7.5像素线宽)。要用在15x放大倍率上的目标元件组500B的缩放版本提供在自动聚焦感兴趣区域中的、与5x放大倍率的目标元件组500A给定的相同数量的循环(大约3个)。线条图案中的线条厚度与间隔厚度的比率可以是1:1,但是该比率也可以改变。
各向同性目标元件510还可以包含与图5中所示的同心圆不同的图案。在一个实施例中,可以使用不具有主导梯度(边缘)方向(即,具有均匀梯度方向直方图)的任何图案。可以增加或减少各向同性图案的数量,或者,可以省略它们,而可以使用各向异性测量值的平均以提供它们的功能,如先前描述的。
在根据本发明的一个实施例中,不使用诸如图5中所示的校准目标之类的校准目标。下面的校准过程具有其是更加劳动密集的、并且需要更多设备的缺点,然而,具有合适的误差校准数据结果。在此实施例中,轮盘(rotarytable)被置于机器视觉检查系统视场中,并且,其旋转轴被排列为名义上平行于系统的Z轴。包括各向异性图案的平坦表面(诸如用于校准目标500的各向异性目标元件之一的平坦表面)被拉至(level)平行于机器视觉检查系统的X-Y平面。各向异性图案可以具有填满视场的大小(不管其取向角度)。为了获得视场中的期望位置的各向异性测量,轮盘的旋转轴被置于该期望位置。于是,通过根据一组取向角度(诸如先前参考图5描述的取向角度组)而以离散步长来旋转轮盘,在视场中的该位置处进行一组各向异性测量。在视场中的每个期望位置重复此处理,并且,将旋转轴置于每个期望位置。如先前说明的,可以对视场中的每个位置处的该组各向异性测量取平均,使得消除像散误差分量的影响,以在视场中的该位置处有效地提供各向同性测量。可以以与参考与图5相关联的操作而先前描述的各向异性和各向同性测量相同的方式来使用这些各向异性和各向同性测量。可以从这样的测量得出相同校准数据的全部。
图6是表示如先前参考图5描述而可以获得、并且被存储为查找表或以任何其它方便形式的像散误差校准数据600的图示。更具体地,图6包括在视场中的聚焦感兴趣区域的特定位置处的、与条状的各向异性目标元件的不同取向角度对应的像散误差数据点。当使用位于视场中与用于获得误差校准数据的位置相同的位置的聚焦感兴趣区域时,可以使用像散误差校准数据来确定应当被应用至工件上的Z高度测量、以便校正或消除像散误差分量的Z高度调节。当聚焦感兴趣区域内容具有与条状各向异性目标元件近似相同的方向性内容时,在对应于聚焦感兴趣内容的取向角度上,可以直接从曲线图获取Z高度调节(即,像散误差校正值)。例如,对于近似140°的取向角度,示出了近似2.5微米的最大正误差校正值,而对于近似60°的旋转,示出了近似2.5微米的最大负误差校正。
应当理解,在视场中的聚焦感兴趣区域的相同特定位置处的、与相同条状各向异性目标元件的不同取向角度对应的各向异性误差校准数据将看起来与像散误差校准数据600相同,除了误差校准数据(该曲线)将在垂直方向上位移了在该位置处的静态光学误差量之外。当使用位于视场中与用于获得误差校准数据的位置相同的位置上的聚焦感兴趣区域时,可以使用这样的各向异性误差校准数据来确定应当被应用至工件上的Z高度测量、以便校正或消除各向异性误差(组合的像散和静态光学误差)的Z高度调节。当聚焦感兴趣区域内容具有与条状各向异性目标元件近似相同的方向性内容时,对于对应于聚焦感兴趣区域的内容的取向角度,可以直接从该数据获取Z高度调节(即,各向异性误差校正值)。
图7示出了为视场700中的九个位置收集的、类似于图6的各向异性误差校准数据组的说明性示例。在一个实施例中,九组各向异性误差校准数据是用于使用双二次内插估计在其它位置处的各向异性误差校准值所必须的最小数量。在其它实施例中,依赖于不同数据组之间的预期的变换量、以及期望的各向异性误差校正准确度,可以在更多或更少位置提供各向异性误差校准数据组。双三次内插可能需要为十六个位置收集的各向异性误差校准数据组。
如图7中所示,由曲线图710-790表示视场700内的不同位置处的九组各向异性误差校准数据。曲线图710、730、770和790是基于视场的四个角落处的各向异性测量,而矩形图720、740、760和780是基于视场的侧边的中间的各向异性测量,并且,矩形图750是基于视场的中心处的各向异性测量。使用近似地如所示而定位的100×100(正方形)自动聚焦工具感兴趣区域来收集图7中反映的特定各向异性测量。将理解,曲线图710-790仅用于说明目的,用以象征性地表示在视场700内的这些位置处可能是什么各向异性误差校准结果。如下面将结合图8A-图8C而更加详细描述的,矩形部分795图示了:对于视场700内的附加位置,可以使用相邻的误差校准数据组之间的内插来估计用于校正视场中的任何位置处的像散和静态光学误差的Z高度测量结果的各向异性误差校准值。
因为在小的邻近区域中,误差表面可以是近似“分段平坦的”,所以,使用属于四个最接近的视场位置的各向异性误差校准数据组的双线性内插在一些实施方式中是足够的。然而,在一些实施例中,为了更好的准确度,期望使用多于九个的查找表和九个最接近的各向异性误差校准数据组的双二次内插。
图8A-8C是图示不同内插技术的图示。在一个实施例中,双线性内插被用于补偿校准目标倾斜/弯曲/凹陷,并且,在运行时间,结合在视场中收集的误差校准查找表而使用双二次内插,以估计用于视场中的当前自动聚焦感兴趣区域位置的查找表。
图8A示出了双线性内插方案的构思。四个点A、B、C和D对应于视场中矩形栅格上的测量位置。这四个点的标记A、B、C和D在此情况下还表示要被内插的值。在此特定示例中,假设所述值为Z高度测量值,但是,可以将相同原理应用于任何类型的值。矩形栅格的水平间距是W,而垂直间距是V。间隔W和V不一定相等,即,栅格不需要为正方形,但是,其可以是。期望估计(恢复)点Z3处的内插的值(Z),其在图8A中被标注以问号。相对于点A而表示点Z3的位置,点A被当作临时的局部(local)坐标系统的原点。点Z3具有自点A开始的水平距离m和垂直距离n。
对四个点A、B、C和D的双线性内插处理包括两个步骤。第一步骤是使用点对(A,B)和(C,D)来在水平方向上进行内插以获得两个水平内插的点Z1和Z2(见图8A)。第二步骤是使用在前一步骤中计算的内插的点对(Z1,Z2)来在垂直方向上进行内插,以获得最终的内插的值Z3。或者,该过程可以始于从在垂直方向上进行内插,并且随后在水平方向上进行内插。结果不依赖于首先考虑哪个方向的内插。
如果使用辅助比率r和s(见图8A),其中,r=m/w并且s=n/V,则使用基本线性比例(加权平均值)而水平地内插所述点Z1和Z2:
Z1=(r-1)A+rB            (等式1)
Z2=(r-1)C+rD            (等式2)
并且,在计算Z1和Z2之后,使用该比例(加权平均值)垂直地内插最终期望的结果(Z值):
Z3=(1-s)Z1+sZ2          (等式3)
因此,Z3是由比率r和s(从格栅间距和格栅内的点Z3的位置得出)指定的矩形格栅内的位置处的四个初始值(A、B、C和D)的双线性内插结果。将理解,此内插方法可以用于与位置/点A、B、C和D相关联的任何类型的值,例如,与相同角度取向对应的各向异性测量、各向同性测量、参考Z高度值、静态光学误差值、各向异性误差值、或像散误差值,等等。
图8B示出了双二次内插方案的构思。双二次内插的基本原理类似于在图8A的双线性内插中使用的基本原理,即,首先水平地进行内插,随后垂直地进行内插。唯一差异是:代替用直线内插点,该内插是用抛物线进行的。这要求更多的内插点,即,需要三个位置处的值用于在每个方向上的内插,因此,9个(代替4个)点用于双二次内插。
如图8B中所示,9个点A、B、C、D、E、F、G、H和K对应于视场中矩形栅格上的测量位置。这9个点的标记也表示要被内插的值。在此特定示例中,假设所述值为Z高度测量值。使用标记K而非I仅仅为了提高可读性。矩形栅格的水平间距是W,而垂直间距是V。期望计算(恢复)点Z4处的内插的值(Z),其在图8B中被标注以问号。相对于点E而表示点Z4的位置,点E被当作临时局部坐标系统的原点。点Z4相对于点E的水平坐标是m,而其相对于点E的垂直坐标是n。依赖于图8B中所示的点Z4的相对位置和坐标系统(x,y)的方向,坐标(m,n)可以是正的或负的。
对9个点A、B、C、D、E、F、G、H和K的双二次内插处理包括两个步骤。第一步骤是为每组水平排列的点(A,B,C)、(D,E,F)和(G,H,K)在水平方向上进行内插以获得三个水平内插的点Z1、Z2和Z3(见图8B)。第二步骤是使用在前一步骤中计算的三个内插的点(Z1,Z2,Z3)来在垂直方向上进行内插以获得最终内插的值Z4。或者,该过程可以从在垂直方向上进行内插而开始,并且随后在水平方向上进行内插。
为了内插图8B中的点Z1、Z2、Z3和Z4,计算通过这些点的抛物线的参数,这比对于线性内插稍微复杂些。下面参考图8C而描述用于对三个点拟合单个抛物线的等式,在其后,示出图8B的全双二次内插等式。
图8C示出通过具有等于ZI、ZII和ZIII的给定Z(垂直坐标)坐标的三个点的抛物线片段。抛物线等式为:
f(x)=ax2+bx+c                (等式4)
以及
f(-Δx)=ZI                   (等式5)
f(0)=ZII                     (等式6)
f(Δx)=ZIII                  (等式7)
根据已知方法,可以从所述抛物线等式计算抛物线的参数a、b和c。结果是:
c=ZII                        (等式8)
b = Z III - Z I 2 Δx (等式9)
a = Z I + Z III - 2 Z II 2 ( Δx ) 2 (等式10)
因此,图8C中所示的通过三个点的抛物线的完整等式可以写为:
f ( x ) = Z I + Z III - 2 Z II 2 ( Δx ) 2 x 2 + Z III - Z I 2 Δx x + Z II (等式11)
使用等式11,可以估计(内插)具有任意x位置的点的Z坐标。将理解,此内插方法可以用于与位置/点A、B、C、D、E、F、G、H和K相关联的任何类型的值。
通过把B、E和H当作水平抛物线的中心,并且用水平栅格间距W替换等式11中的Δx、用三个一组的对应水平点((A,B,C)、(D,E,F)或(G,H,K))替换值ZI、ZII和ZIII的,并且使用点Z4的水平坐标m作为相对于水平抛物线的中心位置的x变量,返回至图8B的双二次内插:
Z 1 = A + C - 2 B 2 W 2 m 2 + C - A 2 W m + B (等式12)
Z 2 = D + F - 2 E 2 W 2 m 2 + F - D 2 W m + E (等式13)
Z 3 = G + K - 2 H 2 W 2 m 2 + K - G 2 W m + H (等式14)
作为双二次内插的最终步骤,可以通过对上面估计(内插)的三个点拟合垂直的抛物线来内插值Z4。在此情况下,用Z1、Z2、Z3替换等式11的ZI、ZII和ZIII,用垂直栅格间距V替换Δx,并且用点Z4相对于垂直抛物线的中心位置(Z2)的垂直坐标n来替换x变量。计算Z4的最终等式为:
Z 4 = Z 3 + Z 1 - 2 Z 2 2 V 2 n 2 + Z 1 - Z 3 2 V n + Z 2 (等式15)
在根据本发明的误差校准方法的一个实施例中,图5的校准目标、以及参考图5和图6描述的各种各向异性和各向同性测量技术以及误差校准数据确定技术、以及参考图7和图8描述的内插技术中的一个或多个可以被用于提供误差校准数据,所述误差校准数据用于校正在当检查视场中的期望位置处的工件时获得的原始Z高度测量中包含的各向异性误差、或像散误差分量和/或静态光学误差分量。用于检查目的的值随后是通过校正各向异性误差、或像散误差分量和/或静态光学误差分量而获得的已校正的Z高度测量。可以为由机器视觉检查系统使用的每个物镜和动力转盘(power turret)位置组合重复上述所有误差校准步骤(因为各向异性误差、像散误差和静态光学误差在不同的物镜和动力转盘位置之间不同)。
例如,机器视觉检查系统通常可以被编程为自动执行步骤并重复各向异性和各向同性校准目标测量、并且根据先前概述的原则而确定所有需要的误差校准数据值。自动操作可以包括确定对应于一个透镜组合和/或放大倍率的所有误差校准数据值、以及随后自动改变该放大倍率、并使用对于该放大倍率的适当大小的不同目标元件组而重复误差校准操作。
图9A-图9D图示了存在于聚焦感兴趣区域中的理想条状表面的边缘(或梯度)角度直方图的形成。如将在下面更加详细描述的,直方图可以被用作为Z高度校正处理中的部分。如图9A中所示,理想条状表面900A具有标称取向角度,如将在下面参考图9B和9D而更加消息描述的。如图9B中所示,通过确定与图9A的表面900A的不同条状部分相关联的实际边缘角度而形成直方图。可以通过已知的梯度方向分析方法来确定不同边缘角度。如期望,则可以代替边缘取向角度,而使用相对于对应边缘取向角度而被简单旋转了90度的梯度方向作为直方图的基础。可以对应于期望角度“步长大小”来确定水平轴。可以将垂直轴确定为对于每个角度步长的归一化事件(occurrence)频率。图9B的直方图900B图示了:因为表面的条状部分的边缘是相对一致和平行的,所以直方图示出了在具有一些微小偏差的近似相同的取向角度发生的大部分事件。
图9C是图示了对在形成条状表面900A的直方图期间被应用至“在中间(in between)”角度的三角形核心(kernel)利用的图900C。如下面更加详细描述的,这可能导致更加准确地反映边缘(或梯度)角度分布的直方图。图9D图示了通过利用图9C的三角形核心而形成的更加准确的直方图。图9D的直方图被认为比不使用三角形核心的图9B的直方图更加精确,这是因为:与图9B的柱状体(bin)910B(第六柱状体)相比,图9D的直方图中的柱状体910D(第六柱状体)的较高值更好地反映图案的实际标称取向角度(其实际上“在”两个直方图柱状体的中心“中间”)。
图10A和图10B图示了纹理表面的直方图的形成。如图10A中所示,可以对应于聚焦感兴趣区域的纹理表面1000A包括通常分布在相对窄的取向角度范围上的纹理特征,并且还包括落在相对窄的范围外的少量特征。如图10B中所示,纹理表面1000A的直方图1000B图示了存在特征取向角度的分布,特征取向角度在直方图的第六柱状体的角度范围中达到峰值,并且随后逐渐降低(taper off)至对于在直方图的较大角度值的柱状体的较低的归一化频率。如将在下面更加详细描述的,此角度取向分布图示了直方图利用的部分,这是因为:为了确定对于不同方向性或各向异性表面的适当的像散误差校正,期望将像散误差校正适配于在聚焦感兴趣区域中包括的特征边缘的不同方向。
在一个实施例中,通过计算自动聚焦工具感兴趣区域中的所有像素的梯度大小和方向而形成诸如图9D和图10B中所示的直方图之类的直方图。这里,梯度大小被理解为与梯度的绝对值相等。在一个实施例中,所计算的方向垂直于梯度方向,以便使得它们与诸如图6的查找表之类的查找表中的边缘方向数据一致。可以从期望仅处理与图像噪声或表面像差相比相对“清晰的”边缘的实施例中的考虑因素中丢弃梯度大小小于确定的(低的)噪声阈值的像素。如果图像噪声是显著的,则可以在梯度大小和方向计算之前,用空间上小的平均滤波器来额外地平滑感兴趣区域。随后,为所有的余下的像素创建梯度方向的直方图H。随后,对直方图H进行归一化,使得所有其柱状体总和为1。
将理解,在一个实施例中,在计算梯度之前丢弃低梯度像素和/或平滑感兴趣区域图像的选择不是关键的,这是因为对于具有非常弱的梯度(最有可能由于图像噪声而导致)的像素所获得的随机(噪声)梯度方向可以形成均匀分布(所有梯度方向等可能),并且因此同等地影响所有的直方图柱状体,而不改变其形状或标称值。然而,滤除具有非常弱的梯度大小的像素会在一些实施方式中提高算法的性能。在一个实施例中,例如,可以使用Sobel算子或用于确定遍及聚焦感兴趣区域的梯度方向的任何其它已知方法来计算梯度方向。
在用于将各向异性(或像散)误差校正适配于聚焦感兴趣区域中的特定表面的一个实施例中,利用视场中的位置处的聚焦感兴趣区域的梯度直方图H、以及与视场中的该位置对应的查找表L(例如,类似于图6中表示的查找表),可用于校正由传统自动聚焦操作确定的原始Z位置的总的或适配的各向异性(或像散)误差校正C可以被计算为:
C = Σ a = 0 N - 1 H a L a (等式16)
其中,N是直方图中的柱状体数量(等于查找表L中的条目数量),Ha是直方图中第a个柱状体的值,而La是存储在查找表L的相应取向角度或值上的各向异性(或像散)误差校正值(正的或负的)。
一个重要关系是:
Σ a = 0 N - 1 H a = 1 (等式17)
其对应于对直方图进行归一化。
直观上,所适配的各向异性(或像散)误差校正是对应于不同边缘取向角度的各向异性(或像散)校正的加权和,并且,权重与自动聚焦感兴趣区域中的表面的“方向性边缘内容”成比例。因此,所测量的表面的方向性纹理特性(表现为梯度方向直方图H)被用于影响不同边缘取向角度的各向异性(或像散)误差校正的相对贡献。上面的公式提供了一种用于为诸如具有清晰定义的方向性结构的表面(例如,诸如图3A和图3B中图示的“理想”条形图案的“理想”条形图案、或诸如图3C中所示的纹理图案)、以及不具有主导梯度方向的各向同性表面(例如,诸如图3D中图示的各向同性图案)之类的所有类型的表面确定合理的各向异性(或像散)误差校正值的方法。应当理解,根据此技术确定像散误差校正值、以及添加相同位置的静态光学误差校正值,产生总的误差校正结果,其等效于根据此过程为相同位置确定各向异性误差校正值。
在用于将各向异性(或像散)误差校正适配于聚焦感兴趣区域中的特定表面的另一实施例中,例可以基于贡献于所述柱状体的像素的梯度大小而进一步调节如先前描述所确定的每个直方图柱状体值。梯度大小通常可以对应于边缘的锐度、或“强度”。在一个实施例中,对于具有柱状体的范围内的梯度角度的每个像素,直方图柱状体增加1(应用至梯度的绝对值的指数0.0)在另一实施例中,直方图柱状体被增加具有柱状体的范围内的梯度角度的、每个像素的梯度的绝对值的平方根(应用至梯度的绝对值的指数0.5)。在又一实施例中,直方图柱状体被增加具有柱状体的范围内的梯度角度的、每个像素的梯度的绝对值(应用至梯度的绝对值的指数1.0)。将柱状体增加梯度的绝对值对较清晰的边缘进行了强调,其最有可能对自动聚焦算法(对比度计算)具有最强的影响。然而,由于自动聚焦感兴趣区域是2D结构、并且梯度角度直方图是1D阵列的事实而导致,单个像素对聚焦感兴趣区域内的对比度类型聚焦度量的影响小于其对梯度角度直方图的影响。如果仅少量的高梯度像素存在在感兴趣区域中,则这会导致过校正。因此,在一些实施例或应用中,期望直方图柱状体增加对于每个柱状体中的像素的梯度的绝对值的分数幂。在一个具体实施方式中,使用指数0.5,其导致直方图柱状体增加梯度的绝对值的平方根,这已经被发现产生所期望的结果。
在对直方图确定的先前的讨论中,通过计算自动聚焦工具感兴趣区域中的所有像素的梯度大小和方向而形成直方图。然而,在另一实施例中,可以通过计算遍及聚焦感兴趣区域而相对均匀分布的像素的子采样的梯度大小和方向来形成直方图。
先前描述的误差校准和校正方法通常被描述为被应用至基于表面聚焦操作而确定的Z高度测量。然而,“边缘聚焦”方法或工具也一般在机器视觉检查系统中可用。可以以与先前描述的方式类似的方式进行对在边缘聚焦期间出现的各向异性或像散误差的处理,差别是在校准过程期间以及在工件检查操作期间二者中、将表面聚焦操作的每个实例替换以边缘聚焦操作。一旦确定并存储了误差校准数据,则确定感兴趣区域内的梯度方向、创建直方图、以及计算总的适配的Z校正的处理不显著减慢不同实施例中的自动聚焦操作。该处理不是计算密集的,并且,该自动聚焦感兴趣区域通常仅是整个视场的小部分。在一个实例实施例中,所观察到的对实际实施方式中的自动聚焦的减慢涉及范围从1%到3%,并且依赖于所选择的自动聚焦速度(对于更高的速度、更低的准确度的自动聚焦操作而更加减慢)和自动聚焦感兴趣区域大小(对于更大的感兴趣区域而更加减慢)。
本发明意在提供独立于工件表面特性和它们的取向角度、并且还独立于视场中的测量位置的已校正的Z高度测量值。在一些实施例中,校正的Z高度测量可以偏离将要对应于实际或理论的最佳聚焦位置的Z高度测量。由于此原因,通常期望输出已校正的Z高度测量值作为检查测量结果,而非实际将不同误差校正在物理上并入自动聚焦操作中,或者将机器视觉检查系统移动至校正的Z高度值。例如,自动聚焦操作的主要目的经常仅仅是提供清晰聚焦的图像,其提供X和Y测量的良好基础。因此,根据不同误差校正而调节物理定位或移动操作将对于此目的而起反作用的。在一些实施例中,可以手动地或自动地打开或关闭输出值的Z高度校正。可以依赖于由用户运行的自动聚焦工具的类型而自动完成对Z校正的打开或关闭。一些商用机器视觉检查系统包括“利用点的自动聚焦工具”,其将要使用“Z校正打开”,这是因为所返回的或输出的测量值是要用于三维测量的(X,Y,Z)坐标等。相反,“不利用点的自动聚焦工具”可以使用“Z校正关闭”,这是因为此工具的主要目标可以是获得用于X和Y测量的清晰图像(不返回测量坐标)。
图11-图13是图示不同表面的未校正和已校正的Z高度测量结果的图示。图11A、图12A和图13A是分别包括理想条状表面1100A、方向性纹理表面1200A和粗糙纹理表面1300A的示例表面的图示。图11B、图12B和图13B分别是对于视场中的固定位置处的不同取向角度的各个表面中的每一个的未校正和已校正的Z高度测量结果的曲线图1100B、1200B和1300B。在每种情况下,垂直轴单位是毫米,并且水平轴示出以度数为单位的取向角度。如图11B中所示,对于图11A的条状表面1100A,与未校正的测量结果的原始4.9微米的Z高度变化相比,已校正的Z高度测量结果提供了在取向角度的全范围上的仅0.7微米的Z高度变化。如图12B中所示,对于图12A的纹理表面1200A,与未校正的测量结果中的4.0微米的Z高度变化相比,已校正的测量结果示出了在取向角度的全范围上的仅0.9微米的Z高度变化。如图13B中所示,对于图13A的粗糙纹理表面1300A,与未校正的测量结果的原始3.9微米的Z高度变化相比,已校正的测量结果提供在取向角度的全范围上的仅1.4微米的Z高度变化。因此,在这些具体示例中,对于不同各向异性表面,本发明的各向异性误差校正方法(或等效地,像散+静态光学误差校正方法)已经将Z高度像散误差分量减少了近似40%至80%。
在图11B-图13B中所示的数据组中包括的任何静态光学误差不贡献于每个数据组的变化,这是因为视场中的测量位置在每个组中相同。即,静态光学误差(如果存在)等同地贡献于每个测量。然而,在分析的静态光学误差分量的其它测试中,由于未校正的静态光学误差而导致的在视场中的不同位置处的测量变化已经处于几微米或更多的量级,并且已经通过先前描述的误差校准和校正技术而非常显著地降低。
图14是图示一个示例性运行时间例程1500的流程图,其用于使用所存储的、这里根据参考图5和别处而先前描述的方法确定的各向异性误差查找表,来确定位于自动聚焦感兴趣区域中的工件表面上进行的Z高度测量的各向异性误差校正值。可以通过参考上面结合图7-图10而描述的不同各向异性误差校正值确定操作的描述而更好地理解此方法的不同方面。如图14中所示,在方框1510,根据部件程序而进行传统的自动聚焦操作,并且,存储作为结果的原始Z高度测量(例如,最佳聚焦、最佳对比度位置)用于进一步参考。在方框1520,对于当前自动聚焦感兴趣区域中心位置(例如,XC、YC),通过内插所存储的、对于最接近于当前自动聚焦感兴趣区域的视场位置的查找表,为此位置确定所估计的各向异性误差查找表。可以利用不同的可应用的内插技术,例如,双线性、双二次或双三次内插。注意,双线性内插要求至少四个存储的查找表,双二次内插要求九个查找表,而双三次内插要求十六个查找表。
在方框1530,确定或表征自动聚焦感兴趣区域中的表面图像的角度内容特性(即,取向角度内容特性),并且,基于在方框1520估计的角度内容特性和各向异性误差查找表而确定适合于自动聚焦感兴趣区域中的特定表面的估计的各向异性误差校正。在一个实施例中,可以在与先前描述的角度内容直方图中之一类似的角度内容直方图中体现角度内容特性,并且,如先前参考等式16和等式17描述的,确定适配的各向异性误差校正。在方框1540,从在方框1510存储的Z高度测量减去所计算的(正的或负的)校正,并且,可以将所校正的Z高度值报告为已校正的Z高度测量。
图15是图示可以被用于执行图14的方框1530的操作的一个示例性例程1600的流程图。在方框1610,对于当前自动聚焦感兴趣区域中的每个图像像素,确定梯度大小和梯度方向角度。在一个实施例中,Sobel算子或类似的已知算子可用以确定梯度大小和角度。在方框1620,在第一实施例中,使用所确定的梯度的绝对值来构建梯度方向角度直方图。在另一实施例中,对于柱状体中的每个像素,将梯度方向角度直方图的每个柱状体进一步增加被提升至0和1之间的预定幂(指数值)的像素的梯度的绝对值。在第二实施例的修改中,在增加之前,忽视具有小于指定阈值T的绝对梯度大小的像素。在另一实施例中,可以将每个像素的梯度的绝对值提升至预定幂(指数),并且,基于这些值而编译的直方图用以使得单个“方向性”像素对Z校正的影响更接近于该像素对自动聚焦对比度计算的影响。可以通过分析或实验确定预定幂。典型地,它可能落在0至2的范围中。在一个实施例中,其可以被设置在0.5。在这些实施例中的任何一个中,可以使得直方图柱状体的数量等于用于在方框1520确定的各向异性误差校准查找表的取向角度的数量,并且,它们的中心值可以对应于这些取向角度。当编译和增加直方图柱状体时可以使用三角形的或其它的核心(有效地,核心估计器),以便获得较平滑的直方图,并且减少由于柱状体离散化导致的不期望的影响。
在方框1630,对在方框1620确定的直方图进行归一化,使得它的柱状体值的总和为1。在方框1640,通过将来自在图14的方框1520确定的各向异性误差查找表的每个取向角度条目乘以对应于在方框1630确定的归一化直方图中的该取向角度的柱状体值、以及对作为结果的乘积求和,来确定适配于自动聚焦感兴趣区域中的特定表面的各向异性误差校正。
图16是机器视觉检查系统100’的控制系统部分120和视觉组件部分200的图示,其类似于图2,并且还包括更明确图示的自动聚焦工具部分143f,其中,自动聚焦工具部分143f包括不同的自动聚焦工具、近峰操作控制元件和相关元件。在一个实施例中,图16的自动聚焦工具143fb1、143fb2、143fc等中的一个或多个可以对应于图2的自动聚焦工具145,如将在下面更详细描述的。将理解,图16的其余组件类似于图2的组件,并且可以通过类比而理解,除非在下面另外指明的。
如图16中所示,在根据本发明的不同实施例中,视频工具部分143包括自动聚焦工具部分143f,其提供与多区域和多点自动聚焦操作相关的不同操作和特征,这将在下面更详细描述。在2006年7月18日提交的序列号为11/489,030的美国专利申请(’030申请)中更详细描述了用于多区域自动聚焦操作的自动聚焦工具部分143f的特定部分,其中,该专利申请一般被转让,并且通过全文引用而合并在此。在一个实施例中,自动聚焦工具部分143f可以包括自动聚焦模式控制143fa、诸如多区域自动聚焦工具143fb1、多点自动聚焦工具143fb2和/或单独(individual)自动聚焦工具143fc的视频工具、以及近峰操作控制元件143fd。简而言之,该单独自动聚焦工具143fc执行与为工具的单个总体或初级感兴趣区域(例如,由图形用户界面中的视频工具感兴趣区域所界定的广泛的感兴趣区域)提供单个Z高度测量相关联的操作。该单独自动聚焦工具143fc还可以自动聚焦照相机,并且报告对应于最佳聚焦的照相机位置的Z高度。多区域自动聚焦工具143fb 1可以执行与为由多区域自动聚焦工具指示的多个相应初级感兴趣区域提供多个相应Z高度测量相关联的类似的Z高度测量操作(例如,如在’030中请中描述的)。多点自动聚焦工具143fb2可以执行与为多个相应次级感兴趣区域或子区域提供多个相应Z高度测量相关联的类似的Z高度测量操作,这可以关联于位于由多点自动聚焦工具指示的初级感兴趣区域内的各个测量点。
如这里概述的,自动聚焦模式控制143fa执行用以确定和/或控制激活哪个自动聚焦工具(例如,多区域自动聚焦工具143fb1、多点自动聚焦工具143fb2或单独自动聚焦工具143fc)和/或工具模式的操作。近峰操作控制元件143fd通常意在识别充分聚焦的图像,使得它们可以用于根据此发明的Z高度校正操作,并且还基于为图像堆栈的“当前”图像分析的当前感兴趣区域或子区域的聚焦表征是否优于先前确定的所述感兴趣区域或子区域的聚焦表征,支配或帮助支配特定条件的数据存储和/或处理操作。在一些实施例中,近峰操作控制元件143fd可以包括提供与如这里概述的近峰操作控制元件相关联的不同功能的独特电路和/或例程。然而,应当理解,在其他实施例中,这些近峰操作和控制功能可以替换地由与控制系统部分120的其他部分合并的和/或不能区分的元件来提供。
在一些实施例中,近峰操作控制元件143fd可以用于减少或最小化存储器需求、和特定的数据存储和/或处理操作,以便为大量的测量位置有效提供校正的Z高度测量。通常,最佳聚焦表征将出现在接近聚焦曲线的峰值的聚焦位置。在不同实施例中,“近峰”操作控制单元143fd的名称反映置于对接近于或对应于聚焦曲线的峰值的数据的存储和/或分析上的着重强调。在本领域中通常已知关于自动聚焦和高度测量操作的聚焦曲线的一般确定和使用,例如,如在编号为7,030,351的美国专利中详细描述的,通过全文引用而将该专利合并在此。
应当理解,对于自动聚焦工具部分143f,可替换的配置是可能的。例如,多区域自动聚焦工具143fb1、多点自动聚焦工具143fb2和单独自动聚焦工具143fc可以包括模式控制功能,使得可以省略分开的模式控制部分143fa。或者,自动聚焦工具部分143f可以提供一个或多个一般自动聚焦工具单元,并且,模式控制部分143fa可以提供以依赖于是否期望多区域自动聚焦工具行为、多点自动聚焦工具行为或单独自动聚焦工具行为的方式支配用户界面和一般自动聚焦工具元件的相互关系的操作。在这样的情况下,提供多区域自动聚焦工具143fb1、多点自动聚焦工具143fb2和/或单独自动聚焦工具143fc的操作的电路、例程或应用可以合并和/或是不可区分的。更一般地,可以以与机器视觉检查系统100结合可操作、以关于不同的自动聚焦Z高度测量操作而提供这里公开的特征的任何现在已知的或稍后开发的形式,来实施本发明。
对于多区域自动聚焦工具143fb1的操作,多区域自动聚焦模式提供与工具的多个相应初级感兴趣区域(ROI)对应的多个相应Z高度测量。在学习的操作模式期间,当用户选择(或继续于)多区域自动聚焦工具操作模式作为当前操作模式、并且定义新多区域组的第一组员(member)感兴趣区域时,可以定义和/或显示初级感兴趣区域的新多区域组。当当前操作模式为多压域自动聚焦工具模式时,用户可以随后定义该组的第二组员感兴趣区域。用户可以中断多区域自动聚焦工具模式,并且执行与此模式不相关的操作。用户可以随后恢复多区域自动聚焦工具模式,并且定义该组的附加组员。通常,对应于多区域自动聚焦工具143fb1的特定实例的一组组员可以全部在单个图像或视场中定义和展现(例如,通过多区域自动聚焦工具143fb1的图形用户界面中的各个感兴趣区域边界)。因此,可以基于单个、全局图像堆栈而确定与多区域自动聚焦工具143fb1的特定实例相关联的各个Z高度测量的全部。多区域自动聚焦工具143fb1可以最佳适合于视场中的多个离散表面区域的更快速测量,它们中的每一个可以趋向于处在不同的Z高度。
对于多点自动聚焦工具143fb2的操作,多点自动聚焦模式提供与多个相应次级感兴趣区域或子区域对应的多个相应Z高度测量,其可以与位于由多点自动聚焦工具(例如,通过多点自动聚焦工具143fb2的图形用户界面中的“全局”感兴趣区域边界)指示的初级感兴趣区域内的测量点相关联。例如,在一些实施例中,多点自动聚焦工具143fb2的操作自动或半自动地将所指示的感兴趣区域细分为Z高度测量点的栅格,其中,每个测量点被自动定义的与该点相关联的感兴趣子区域包围。在不同实施例中,不向用户显示感兴趣子区域(还称作次级感兴趣区域)。在任何情况下,为特定测量点确定的Z高度测量是基于与该点相关联的感兴趣子区域的(例如,中心在测量点的5×5像素子区域)。在一些实施例中,与特定测量点相关联的子区域大小可以依赖于周围的测量点栅格密度(例如,50个像素、10个像素或5个像素或更少像素的栅格间距等)。在一些实施例中,用户可以以像素或X和Y度量单位为单位、作为初级感兴趣区域内要被返回的点的数量而隐性地来选择测量点栅格间距。
将理解,当这里可以将感兴趣次级或子区域、以及感兴趣全局、总体或初级感兴趣区域均称为“感兴趣区域”或ROI时,当正在讨论多点自动聚焦工具时,所谓的“感兴趣区域”或“ROI”通常是与各个Z高度测量点相关联的各个感兴趣子区域,除非明确地或通过上下文另外指明。在学习操作模式期间,当用户选择多点自动聚焦工具操作模式作为当前操作模式、并且画出或定义多点自动聚焦工具初级感兴趣区域的边界时,可以定义和/或显示新的多点全局感兴趣区域。随后,由用户、或基于自动默认值,在初级感兴趣区域内定义大量(例如,“n×m”个)Z高度测量点和/或感兴趣子区域。通常,可以在单个图像或视场中全部定义和展现(例如,通过多点自动聚焦工具143fb2的图像用户界面中的各个感兴趣区域边界)与多点自动聚焦工具143fb2的特定实例对应的初级感兴趣区域。因此,可以基于单个图像堆栈确定与多点自动聚焦工具143fb2的特定实例的各个测量点和/或子区域相关联的各个Z高度测量的全部。多点自动聚焦工具143fb2可以最佳适合于对定义视场内的表面区域的轮廓或3D形状的大量测量点的快速测量。
用以确定与多区域工具的各个感兴趣区域或多点工具的各个感兴趣子区域相关联的各个Z高度的“自动聚焦”操作可以包括在Z高度搜索范围上分析图像组(或“堆栈”),该Z高度搜索范围被估计或定义为包括对应于多区域或多点工具的多个或全部预期的Z高度值。在Z高度搜索范围上连续运动期间,可以获取图像的堆栈。该搜索范围可以被设置为默认范围,或由用户定义,或基于在学习模式期间的操作而定义(例如,基于当定义多区域或多点组时、或由一个或多个自动的自动聚焦操作等使用的Z高度位置)。还可以至少部分基于当前光学配置而确定默认搜索范围。
如先前指明的,在一些实施例中,近峰操作控制元件143fd可以用于识别充分聚焦的图像,使得它们可以用于根据此发明的Z高度校正操作,并且在一些实施例中,用以依据减少存储器需求的潜在意图而帮助支配特定的条件式数据存储和/或处理操作、和/或特定的数据存储和/或处理操作,以便为大量测量位置有效地提供校正的Z高度测量。近峰操作控制元件143fd可以操作在多区域自动聚焦模式和/或工具的上下文、或多点自动聚焦模式和/或工具的上下文中。在一些实施例中,近峰操作控制元件143fd的操作可以基于对于图像堆栈的“当前”图像的当前感兴趣区域或子区域的聚焦表征(例如,图像锐度度量)是否优于先前确定的对于该图像堆栈的不同图像中的该感兴趣区域或子区域的聚焦表征。较佳的“当前”聚焦表征指明:与先前分析的图像相比,相应的“当前”图像对应于更接近于聚焦曲线的最佳聚焦峰值的高度,如下面更详细描述的。
如先前概述的,关于分析具有高吞吐量的多个感兴趣区域和/或子区域的Z高度(例如,对于多区域或多点自动聚焦工具),会产生各种困难,并且尤其当考虑根据本发明校正各向异性误差的每个Z高度所需的存储器和/或处理操作时。例如,应当理解,当正分析多个感兴趣区域时,不再有普遍应用至每个感兴趣区域和/或子区域的单个“焦点对准”位置或“最佳聚焦”Z高度,这是因为所述多个感兴趣区域和/或子区域中的每一个可以具有不同的高度。此外,重复移动工件台或照相机以为每个感兴趣区域和/或子区域提供单独的图像堆栈和/或单独的最终“最佳聚焦的”自动聚焦图像是不实际的,这是因为必要的机械运动通常是自动聚焦高度确定的最耗时(吞吐量限制)方面。此外,在一些实施例或应用中,结合合理的吞吐量预期和实时检查操作,分析多个感兴趣区域和/或子区域所需的存储器和/或硬件操作量会变得不实际、或至少不期望地慢。因此,为了避免不同实施例中的机械运动瓶颈,获取并使用单个全局图像堆栈作为整个多区域和/或多子区域高度确定处理的基础可能是有利的,这在下面更详细地描述。此外,在不同实施例中,将这里概述的取向角度分析操作(关于各个Z高度校正)基于全局图像堆栈内可用的各个图像部分、而非基于在最佳可能聚焦位置处单独获取的附加“最佳可能”图像的部分(例如,在所确定的Z高度或聚焦曲线峰值位置获取的单独图像)可能是有利的。
关于基于全局图像堆栈内可用的各个图像位置而确定各个Z高度校正,应当理解,虽然最佳可能聚焦图像(例如,在聚焦曲线峰值获取的一个聚焦图像)可以允许对用作为Z高度校正的基础的取向角度内容特性的最准确或可重复的确定,但是,在一些实施例或应用中,可以基于任何充分聚焦的图像来以足够的准确度确定或估计取向角度内容特性。如先前指明的,近峰操作控制元件143fd(例如,电路或例程)可以识别这样的充分聚焦的图像和/或支配相关操作,例如,如下面概述的。在一些实施例中,近峰操作控制元件143fd还可以关联于确定对应的取向角度内容特性和/或Z高度校正。
在一些实施例中,可以由近峰操作控制元件143fd从全局图像堆栈选择具有超过已知对应于相对良好聚焦(例如,如通过实验或分析建立的)的阈值的聚焦度量的图像部分,来确保适合的充分聚焦的图像部分。在其它实施例中,可以通过从全局图像堆栈选择与该图像堆栈中的其它图像相比、可用于图像部分的最高聚焦度量的该图像部分,来确保充分聚焦的图像部分。在其它实施例中,通过选择包括在图像堆栈的图像中的、充分接近或最接近于已经为图像部分确定的未校正的最佳聚焦Z高度的该图像部分,来确保充分聚焦的图像部分。在下面更加详地细描述这些可替换的实施例。在任何情况下,将理解,任何前述方法可以基于来自与近似于对于感兴趣区域的最佳聚焦未校正的Z高度的Z高度对应的图像的感兴趣区域或子区域,提供角度内容特性,这可在根据本发明的不同实施例或应用中提供充分准确的Z高度校正。
在一些实施例中,近峰操作控制元件143fd确定当前聚焦表征是否优于先前确定的“运行最佳”聚焦表征(例如,其具有大于先前确定的“运行最佳”聚焦度量值的聚焦度量值),随后,将其存储或另外识别为该感兴趣区域或子区域的新的“运行最佳”聚焦表征。在一些实施例中,在已经为感兴趣区域或子区域分析了整个全局图像堆栈之后,最终的运行最佳聚焦度量可以被用于识别图像堆栈中的最佳聚焦的图像(对于相应的感兴趣区域或子区域),随后,其可以被用以确定用来确定相应Z高度校正的相应取向角度内容特性。在其它实施例中,当对应于堆栈的特定图像中的特定区域或子区域而确定新的“运行最佳”聚焦表征时,该情况可触发近峰操作控制元件143fd存储该特定图像的相应部分,用于Z高度校正的潜在的稍后使用。在这样的实施例中,所存储的新的“运行最佳”数据可取代类似的先前存储的运行最佳数据,其可以随后被删除以节省存储器,例如,如下面结合图18A而描述的。
将理解,在这样的实施例中,工作台不需要被移动回至“最佳聚焦”位置以便获取充分聚焦的图像而用于表征感兴趣区域或子区域的角度内容。更确切地,可以基于对应存储的“运行最佳”聚焦特性和/或图像数据而为感兴趣区域或子区域表征角度内容并用于确定Z高度校正。
在一些实施例中,可以通过存储与对于感兴趣区域或子区域的、得到的“运行最佳”角度内容特性(例如,角度内容直方图、或加权系数等)、或甚至作为结果的Z高度校正相关联的较少量数据,而非存储运行最佳图像部分本身,来实现进一步的存储器节省。下面结合图18B和图18C而描述采用此原理的一些示例实施例。
将理解,与现有技术方法相比,上述条件式操作方法中的每一个可以导致当在自动聚焦Z高度确定操作期间获取和处理图像时、显著减少的存储器和存储需求。即,可以在最早的有利时间(例如,在分析期间、顺序地)抑制或删除图像数据(例如,图像堆栈中的不同图像中的区域或子区域数据),而非获取并保留该图像数据直到完全分析了整个图像堆栈为止。在一个特定示例实施例中,对于非重叠的感兴趣区域或子区域,同时存储的信息的总量可以足够少以不超过单个图像的大小。实际上,由于特定的现有实际硬件/软件限制(例如,由32位操作系统施加的应用存储器分配)而导致这些考虑因素尤其重要。克服这些限制的其它选择会在技术上和实践上无吸引力(例如,需要非标准硬件和/或软件方法)。此外,上述条件式操作方法还可以对于Z高度确定操作而显著减少处理时间、并且增加吞吐量,尤其当在具有大量测量点或子区域的多点自动聚焦工具中提供Z高度的各向异性误差校正时。此外,特定的实施例中的方法与当前的自动聚焦工具(例如,特定的现有产品中的多区域或多点自动聚焦工具)结合良好。例如,添加与维持聚焦度量的运行最大值并且管理相关的图像数据、或角度内容特性或直方图的条件式存储有关的操作、与所有必须的处理功能一起,兼容于上述特定
Figure G2009102079924D0000421
视觉检查系统中的现有软件对象和/或自动聚焦例程。下面将结合图17和图18A-图18C而更加详细地描述本发明的方法的具体示例性实施,其有利于对于大量测量位置的校正的Z高度测量的有效确定。
图17是图示根据本发明的、用于定义一组要测量的感兴趣区域ROI(k)以及产生校正的Z高度测量的一个一般示例性例程1700的流程图。在方框1705,定义或选择感兴趣区域(ROI)组,包括感兴趣区域ROI(k),其中,k=1至P(要为其确定Z高度)。将理解,如上所述,感兴趣区域ROI(k)可以包括初级感兴趣区域(例如,在多区域自动聚焦工具143fb1的情况下),或者可包括次级感兴趣区域或感兴趣子区域(例如,在多点自动聚焦工具143fb2的情况下)。在方框1710,定义图像的图像堆栈组,包括图像(i),其中,i=1至N。图像堆栈组的视场可以包含该感兴趣区域ROI(k)组,并且,图像堆栈组的Z范围通常跨越对于该感兴趣区域ROI(k)组而预期的Z高度。在方框1715,获取图像堆栈组,其包括在对应已知的Z高度Z(i)处获取的组员图像(i)。Z高度Z(i)是由机器视觉检查系统在获取图像(i)时指示的Z高度,并且对应于图像(i)的聚焦的对象平面位置,而不管工件表面实际上是否位于该聚焦的对象平面上。
在一些实施例中,如果与方框1715部分并行地执行其它方框的操作,则其会是有利的,即,图像分析操作可以在已经获取了一个或多个初始图像的一个或多个区域或子区域之后、在任何方便的时间开始。在方框1720,处理循环开始用于与首个/下一个感兴趣区域ROI(k)(k=1至P)有关的处理操作的。
在方框1730,为图像堆栈组中的多个(例如,大部分或全部)的当前感兴趣区域ROI(k)确定聚焦度量(k,i),并且,每个这样的聚焦度量(k,i)和对应的Z(i)被添加至聚焦峰值确定数据组(例如,聚焦曲线数据组)。如先前概述的,在一个实施例中,聚焦度量可以包括图像(i)中的感兴趣区域ROI(k)的一个或多个量化的聚焦度量,例如,图像锐度或对比度度量。
在方框1750,基于在方框1730建立的聚焦峰值确定数据组而为当前感兴趣区域ROI(k)(即,对于当前感兴趣区域ROI(k)中的表面或表面部分)确定最佳聚焦未校正的Z高度。例如,未校正的Z高度可以对应于拟合聚焦峰值确定数据组的曲线的峰值。在方框1760,为对应于与感兴趣区域ROI(k)的最佳聚焦未校正的Z高度近似的Z高度的图像(i)的感兴趣区域ROI(k)(例如,充分近似于最佳聚焦未校正的Z高度,使得其是充分聚焦的图像,如先前概述的),确定角度内容特性。下面结合图18A-图18C而描述用于识别图像(i)的操作的不同具体实施例,该图像(i)对应于与感兴趣区域ROI(k)的最佳聚焦未校正的Z高度近似的Z高度。如上所述,在一个实施例中,可以基于梯度(边缘)角度直方图而确定角度内容特性。在方框1765,基于在方框1760为感兴趣区域ROI(k)确定的角度内容特性,为感兴趣区域ROI(k)确定Z高度校正值。如上所述,对特定的实施例中的Z高度校正的确定可以牵涉基于角度内容特性而对所存储的方向依赖的校准数据进行加权。在方框1770,基于在方框1765建立的Z高度校正、以及在方框1750建立的用于感兴趣区域ROI(k)的最佳聚焦未校正的Z高度,为感兴趣区域ROI(k)(即,为当前感兴趣区域ROI(k)中的表面或表面部分)确定校正的Z高度。在方框1780,关于当前感兴趣聚焦区域ROI(k)是要处理的最后的ROI(k)而进行确定。如果存在附加的要处理的感兴趣区域ROI(k),则例程返回到在方框1720上的感兴趣区域ROI(k)处理循环的起始,否则,该例程结束。将理解,图17中所示的实施例仅为示例性的,并非限制。例如,将理解,在不同的其它实施例中,可以与图示的顺序不同的顺序执行与方框1730-1765相关联的各种操作。在任何情况下,将理解,例程1700(以及下面描述的例程1700’-1700”)可以基于来自图像堆栈的充分聚焦的近峰图像(即,接近峰值聚焦高度的图像),提供角度内容特性和作为结果的Z高度校正,而不需要要在最佳聚焦高度获取的一个或多个附加图像。因此,根据本发明,在不同实施例中,这样的例程和/或所包括的操作可以显著减少与运动和图像获取相关的操作时间。还可以减少用于图像存储的存储器需求。
图18A-图18C是图示类似于图17的例程的、或作为图17的例程的实例的示例性例程的具体实施例的流程图。将理解,图18A-图18C的特定方框和操作类似于或相似于图17的特定方框和操作,并且/或者图18A-图18C的特定方框和操作彼此相似。在图17和图18A-图18C中相同或相似地对类似或相似的方框或操作进行编号(例如,1760’类似于1760)。在这样的情况下,一些这样的方框不需要在下面具体描述,并且可以通过类比而理解,除了被另外指明之外。
图18A是图示根据本发明的、用于定义一组要测量的感兴趣区域ROI(k)、并产生校正的Z高度测量的示例性例程1700’的具体实施例的流程图。例程1700’明确包括有效地处理和存储近峰数据的条件式操作,如下面更加详细描述的。例程1700’开始,并且方框1705和1710可以类似于或相同于关于图17而先前描述的方框。在方框1715’,开始操作,以便获取包括在对应已知Z高度Z(i)获取的组员图像(i)的图像堆栈组。在方框1717,用于关于首个/下一个图像(i)的图像分析操作的处理循环可以在已经获取了首个/下一个图像(i)的一个或多个区域或子区域之后、在任何方便的时间开始。因此,在例程1700’中,与获取图像堆栈组并行地执行不同的操作(例如,在循环操作1720’-1743内的操作),以便节省操作时间和/或存储器。在方框1720’,处理循环开始用于对于当前图像(i)中的k=1至P而进行与首个/下一个感兴趣区域ROI(k)相关的处理操作。
在方框1730’,为当前图像(i)中的当前感兴趣区域ROI(k)确定聚焦度量(k,i),并且,每个这样的聚焦度量(k,i)和对应的Z(i)被添加至聚焦峰值确定数据组(例如,聚焦曲线数据组)。在判决框1740,确定当前聚焦度量(k,i)是否优于先前存储的或默认的运行最佳聚焦度量(k)。在一些实施例中,默认的运行最佳聚焦度量可以是指示充分聚焦的以用于确定Z高度校正的角度内容特性的图像的聚焦度量的阈值。在一些实施例中,可以在学习操作模式期间,为特定工件类型的特定感兴趣区域或子区域确定或建立默认水平,并且将其存储在相关部件程序等中。如果在判决框1740确定当前聚焦度量(k,i)不优于先前存储的或默认的运行最佳聚焦度量(k),则该例程继续至方框1741,在方框1741,从存储器删除当前图像(i)的当前感兴趣区域ROI(k)部分。将理解,如果当前聚焦度量(k,i)不优于先前存储的或默认的运行最佳聚焦度量(k),则它不具有作为用于Z高度校正的“近峰”数据的资格。因此,不需要进一步分析其,并且,可以抑制或删除其。如果在判决框1740确定当前聚焦度量(k,i)优于先前存储的或默认的运行最佳聚焦度量(k),则该例程继续到方框1742,在方框1742,将当前图像(i)的感兴趣区域ROI(k)部分存储为新的运行最佳角度内容源图像(k)。可以在方框1760’使用最终的运行最佳角度内容源图像(k)(例如,在退出在方框1744结束的处理循环之后),如下面描述的。从方框1742或1741,操作可以在判决框1743继续,在方框1743,确定是否还存在用于当前图像(i)的要处理的更多感兴趣区域ROI(k)。如果存在,则操作返回至方框1720’,否则,操作继续至判决框1744。在判决框1744,确定是否存在另一个要处理的图像(i)。如果存在,则操作返回至方框1730’,否则,操作继续至方框1750。
在方框1750,对于每个ROI(k)(例如,对于k=1至P),基于在方框1730,为该ROI(k)建立的聚焦峰值确定数据组,为该ROI(k)确定最佳聚焦未校正的Z高度。随后,操作继续至方框1760’,在方框1760’,对于每个ROI(k),基于在方框1742为该ROI(k)建立的最后的运行最佳角度内容源图像(k),为该ROI(k)确定角度内容特性。随后,操作继续至方框1765,在方框1765,对于每个ROI(k),基于在方框1760’为该ROI(k)建立的角度内容特性,为该ROI(k)确定Z高度校正值。随后,操作继续至方框1770,在方框1770,对于每个ROI(k),基于为该感兴趣区域ROI(k)而在方框1765建立的Z高度校正值、以及在方框1750建立的最佳聚焦未校正的Z高度,为该感兴趣区域ROI(k)确定校正的Z高度。一旦在方框1770为每个期望的ROI(k)确定已校正的Z高度,则例程结束。
可以理解,在一些实施例中,参考方框1740-1742的上述操作可以被包括在近峰操作控制元件的部分中,或包括近峰操作控制元件的部分(例如,先前概述的近峰操作控制元件143fd)。在一些实施例中,与方框1760、1760’和/或1765相关的操作还可以被包括在近峰操作控制元件的部分中,或包括近峰操作控制元件的部分。图18A-图18C的实施例之间的主要差异通常包括在这些方框中,如下面描述的。
图18B是图示根据本发明的、用于定义一组要测量的感兴趣区域ROI(k)、并产生校正的Z高度测量的示例性例程1700”的具体实施例的流程图。类似于例程1700’,例程1700”明确地包括有效地处理和存储近峰数据的条件式操作,如下面更加详细描述的。例程1700’开始,并且,方框1705-1741可以类似于或相同于先前参考图18A描述的方框。如果在判决框1740确定当前聚焦度量(k,i)不优于先前存储的或默认的运行最佳聚焦度量(k),则该例程继续至下面描述的方框1741。如果在判决框1740确定当前聚焦度量(k,i)优于先前存储的或默认的运行最佳聚焦度量(k),则该例程继续至方框1742’,在方框1742’,基于当前图像(i)的感兴趣区域ROI(k)部分,为该ROI(k)确定角度内容特性。在方框1742’,该确定的角度内容特性还被存储为该ROI(k)的新的运行最佳角度内容特性。如下面描述的,可以在方框1765使用对于该ROI(k)的最终的运行最佳的角度内容特性(例如,在退出在方框1744结束的处理循环之后)。从方框1742’,操作进行至方框1741。在方框1741,无论是从方框1740还是从方框1742’到达,均可以删除当前图像(i)的当前感兴趣区域ROI(k)部分。从方框1740到达方框1741指明当前聚焦度量(k,i)不优于先前存储的或默认的运行最佳聚焦度量(k),使得当前图像(i)的当前感兴趣区域ROI(k)部分不具有作为可以用于Z高度校正的“近峰”数据的资格,并且因此可以被删除以节省存储器。从方框1742’到达方框1741指明已经为当前图像(i)的当前感兴趣区域ROI(k)确定并存储Z高度校正所需的相关角度内容特性。因此,对于当前图像(i),不再需要来自ROI(k)的图像数据,并且,可以删除其以节省存储器。
从方框1741,操作在判决框1743继续。方框1743-方框1750可以类似于或相同于先前参考图18A描述的方框。从方框1750,操作可以在方框1765继续,在方框1765,对于每个ROI(k),基于在方框1742’为该ROI(k)建立的最后的运行最佳角度内容特性,为该ROI(k)确定Z高度校正值。随后,操作在方框1770继续,其中,方框1770可以类似于或相同于参考图18A而先前描述的方框,在其后,该例程结束。
图18C是图示根据本发明的、用于定义一组要测量的感兴趣区域ROI(k)、并产生校正的Z高度测量的示例性例程1700”’的具体实施例的流程图。类似于例程1700”,例程1700”’明确包括有效地处理和存储近峰数据的条件式操作,如下面更加详细描述的。例程1700”’开始,并且,方框1705-1741可以类似于或相同于先前参考图18B描述的方框。如果在判决框1740确定当前聚焦度量(k,i)不优于先前存储的或默认的运行最佳聚焦度量(k),则该例程继续至下面描述的方框1741。如果在判决框1740确定当前聚焦度量(k,i)优于先前存储的或默认的运行最佳聚焦度量(k),则该例程继续至方框1742”,在方框1742”,基于确定对应于聚焦度量(k,i)的图像部分中的角度内容特性,确定Z高度校正值。在方框1742”,还将所确定的Z高度校正值存储为当前图像(i)中的该ROI(k)的新的运行最佳Z高度校正值。如下面描述的,可以在方框1770’使用对于该ROI(k)的最终的Z高度校正值(例如,在退出在方框1744结束的处理循环之后)。从方框1742”,操作进行至方框1741。在方框1741,无论是从方框1740还是从方框1742”到达,均可以删除当前图像(i)的当前感兴趣区域ROI(k)部分。从方框1740到达方框1741指明当前聚焦度量(k,i)不优于先前存储的或默认的运行最佳聚焦度量(k),使得当前图像(i)的当前感兴趣区域ROI(k)部分不具有作为可以用于Z高度校正的“近峰”数据的资格,并且因此可以删除其。从方框1742”到达方框1741指明已经为当前图像(i)的当前感兴趣区域ROI(k)确定并存储了所需的Z高度校正。因此,对于当前图像(i),不再需要来自ROI(k)的图像数据,并且,可以将其删除以节省存储器。
从1741,操作在判决框1743继续。方框1743-1750可以类似于或相同于参考图18A或18B而先前描述的方框。从方框1750,操作可以在方框1770’继续,在方框1770’,对于每个ROI(k),基于为该感兴趣区域ROI(k)而在方框1742”建立的Z高度校正、以及在方框1750建立的最佳聚焦未校正的Z高度,为该感兴趣区域ROI(k)确定校正的Z高度。一旦在方框1770’为每个期望的ROI(k)确定已校正的Z高度,则该例程结束。
将理解,与图18A的例程1700’相比,图18B的例程1700”和和图18C的例程1700”’分别可以减少图像数据所需的存储器量,从而允许用于为大量感兴趣区域或子区域确定校正的Z高度的有效处理。在一些实施例中,可以如此快速地分析和删除图像数据(例如,在方框1740、1742’、1742”和1741),以使得即使可以获取并分析大得多的图像堆栈,也可以将对于图像数据的存储器需求限制于对应于较少图像或甚至更少的图像(例如,近似为单个图像)的存储器需求。
虽然已经图示并描述了本发明的优选实施例,但是,基于此公开,所图示和描述的特征布置和操作顺序的大量变换对于本领域中的技术人员将是显而易见的。可以单独地或组合地使用本发明的不同方面,并且使用与明确公开的顺序不同的顺序。因此,将理解,在其中可以进行各种改变,而不脱离本发明的精神和范畴。

Claims (12)

1.一种用于操作机器视觉检查系统(100’)以定义工件(20)上要被测量的多个感兴趣区域ROI(k)、并且提供对应于所述感兴趣区域ROI(k)中的每一个的已校正的Z高度测量的方法,所述方法包括:
a)定义在所述工件上的、要被确定Z高度的所述多个感兴趣区域ROI(k)(1705);
b)定义包括多个图像(i)的图像堆栈组,其中,所述图像堆栈组的图像包含感兴趣区域ROI(k)组,并且,所述图像堆栈组跨越要为所述多个感兴趣区域ROI(k)确定的Z高度(1710);
c)获取所述图像堆栈组的图像,其中,在对应已知的Z高度Z(i)获取所述图像堆栈组的每个组员图像(i)(1715、1715’);
d)对于每个感兴趣区域ROI(k),确定包括多个聚焦度量(k,i)和对应已知的Z高度Z(i)的相应聚焦峰值确定数据组,其中,基于多个图像(i)中的所述感兴趣区域ROI(k)而确定所述多个聚焦度量(k,i)(1730、1730’),以及
e)对于每个感兴趣区域ROI(k),基于所述相应的聚焦峰值确定数据组而确定相应的最佳聚焦未校正的Z高度(1750);
f)对于每个感兴趣区域ROI(k),基于所述感兴趣区域ROI(k)的充分聚焦的图像来确定相应的角度内容特性(1760、1760’、1742’);
g)对于每个感兴趣区域ROI(k),基于所述感兴趣区域ROI(k)的相应角度内容特性来确定相应的Z高度校正值,包括访问Z高度误差校准数据,该Z高度误差校准数据包括对基于用于校准的聚焦感兴趣区域的Z高度测量结果的变化、相对于用于校准的聚焦感兴趣区域中的各向异性图像内容的取向角度的变化的表征(1765、1742”);以及
h)对于每个感兴趣区域ROI(k),基于所述感兴趣区域ROI(k)的相应的Z高度校正值和相应的最佳聚焦未校正的Z高度,确定相应的已校正的Z高度(1770、1770’),
其中:
在步骤b)中,定义所述图像堆栈组,使得对于每个感兴趣区域ROI(k),所述图像堆栈组包括在与所述感兴趣区域ROI(k)的相应的最佳聚焦未校正的Z高度近似的Z高度Z(i)处获取的至少一个组员图像(i);
在步骤f)中,用于确定它的相应角度内容特性的、所述感兴趣区域ROI(k)的充分聚焦的图像是在与如步骤e)中确定的所述感兴趣区域ROI(k)的相应的最佳聚焦未校正的Z高度近似的Z高度Z(i)处获取的图像堆栈组的组员图像(i);
在步骤d)中,基于多个图像(i)中的感兴趣区域ROI(k)来确定所述多个聚焦度量(k,i)的步骤包括迭代地确定所述聚焦度量(k,i)中的至少一些(1717、1744),使得在已经基于在前的相应图像(i)而确定并存储了所述感兴趣区域ROI(k)的在前聚焦度量(k,i)之后,基于当前相应图像(i)来确定所述感兴趣区域ROI(k)的当前聚焦度量(k,i);以及
所述方法还包括:
W1)对于感兴趣区域ROI(k)而确定当前相应图像(i)中的感兴趣区域ROI(k)的当前相应聚焦度量(k,i)是否优于在前相应图像(i)中的感兴趣区域ROI(k)的先前存储的默认的或在前聚焦度量(k,i)(1740);以及
W2)执行条件式操作,其中,如果对于所述感兴趣ROI(k),当前相应的聚焦度量(k,i)不优于先前存储的默认或在前聚焦度量(k,i),则从所述机器视觉检查系统的存储器元件删除对应于当前相应图像(i)中的聚焦感兴趣区域ROI(k)的图像数据(1741)。
2.如权利要求1所述的方法,其中,所述相应的Z高度误差校正值校正在相应的最佳聚焦未校正的Z高度中包括的i)像散误差分量、ii)像散误差分量和静态光学误差分量、以及iii)各向异性误差中的至少一个。
3.如权利要求1所述的方法,其中,所述Z高度误差校准数据包括与所述机器视觉检查系统的视场内的多个相应位置对应的相应数据组,其中,对于所述相应位置中的每个,所述误差校准数据的相应组表征相对于在所述位置用于校准的聚焦感兴趣区域中的各向异性图像内容的取向角度的变化的、基于在该位置用于校准的聚焦感兴趣区域的Z高度测量结果的变化。
4.如权利要求1所述的方法,其中,每个感兴趣区域ROI(k)是由包括在所述机器视觉检查系统的用户界面中的视频工具(143fb1、143fb2、143fc)所定义的感兴趣总体、初级、次级或子区域中至少一个。
5.如权利要求4所述的方法,其中,所述视频工具包括自动聚焦工具(143f)、多区域自动聚焦工具(143fb1)和多点自动聚焦工具(143fb2)中至少一个。
6.如权利要求1所述的方法,其中,所述方法包括:选择用于确定它的相应的角度内容特性的感兴趣区域ROI(k)的充分聚焦的图像,作为具有聚焦度量(k,i)的图像堆栈组的组员图像(i),该聚焦度量(k,i)指明在所述聚焦感兴趣区域ROI(k)中被充分聚焦的图像。
7.如权利要求1所述的方法,其中,所述方法包括:选择用于确定其相应的角度内容特性的所述聚焦感兴趣区域ROI(k)的充分聚焦的图像,作为具有指示它是所述聚焦感兴趣区域ROI(k)中的最佳聚焦的组员图像(i)的聚焦度量(k,i)的所述图像堆栈组的组员图像(i)。
8.如权利要求1所述的方法,其中,在步骤W2)中,从所述存储器元件删除与当前相应图像(i)中的聚焦感兴趣区域ROI(k)对应的图像数据的操作包括:在完成步骤c)中的对所述图像堆栈组的所有图像的获取之前删除所述图像数据。
9.如权利要求1所述的方法,其中,所述方法还包括:
W3)执行条件式操作,其中,如果所述当前相应聚焦度量(k,i)优于先前存储的默认的或在前的聚焦度量(k,i),则所述条件式操作包括下列步骤中的至少一个:W3a)将与所述当前相应图像(i)中的聚焦感兴趣区域ROI(k)对应的图像数据、作为最后的运行最佳角度内容源图像(k)而存储在所述机器视觉检查系统的存储器元件中(1742),W3b)基于所述当前相应图像(i)中的所述聚焦感兴趣区域ROI(k)而确定角度内容特性、并且将所述角度内容特性作为最后的运行最佳角度内容特性而存储在所述机器视觉检查系统的存储器元件中(1742’),以及W3c)基于所述当前相应图像(i)中的所述聚焦感兴趣区域ROI(k)而确定角度内容特性和对应的Z高度校正值、并且将所述对应的Z高度校正值作为最后的运行最佳Z高度校正值而存储在所述机器视觉检查系统的存储器元件中(1742”)。
10.如权利要求9所述的方法,其中:
步骤W3b)和W3c)的每个还包括:在基于当前相应的图像(i)中的聚焦感兴趣区域ROI(k)确定所述角度内容特性之后,从所述机器视觉检查系统的存储器元件中删除与当前相应的图像(i)中的所述聚焦感兴趣区域ROI(k)对应的图像数据(1741)。
11.如权利要求9所述的方法,其中,步骤g)包括:使用条件式操作W3c)中确定的所述最后的运行最佳Z高度校正值中的最后一个,作为基于所述感兴趣区域ROI(k)的相应角度内容特性的相应Z高度校正值(1770’、1742”)。
12.如权利要求9所述的方法,其中,步骤f)包括:使用条件式操作W3b)中确定的所述最后的运行最佳角度内容特性中的最后一个,作为基于所述感兴趣区域ROI(k)的充分聚焦的图像的相应角度内容特性(1765、1742’)。
CN2009102079924A 2008-11-04 2009-11-04 机器视觉检查系统的光学像差校正 Active CN101738728B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/264,850 US8311311B2 (en) 2005-10-31 2008-11-04 Optical aberration correction for machine vision inspection systems
US12/264,850 2008-11-04

Publications (2)

Publication Number Publication Date
CN101738728A true CN101738728A (zh) 2010-06-16
CN101738728B CN101738728B (zh) 2013-07-17

Family

ID=42114794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102079924A Active CN101738728B (zh) 2008-11-04 2009-11-04 机器视觉检查系统的光学像差校正

Country Status (3)

Country Link
US (2) US8311311B2 (zh)
CN (1) CN101738728B (zh)
DE (1) DE102009046295B4 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102538669A (zh) * 2010-10-13 2012-07-04 株式会社三丰 精密阻焊剂配准检查方法
WO2013026205A1 (en) * 2011-08-25 2013-02-28 Harman International (Shanghai) Management Co., Ltd. System and method for detecting and recognizing rectangular traffic signs
CN103176793A (zh) * 2011-11-15 2013-06-26 株式会社三丰 包含同步用户界面特征的机器视觉系统程序编辑环境
CN104121852A (zh) * 2013-04-26 2014-10-29 株式会社三丰 利用鲁棒边缘判别余量的边缘测量视频工具
CN104807406A (zh) * 2014-01-27 2015-07-29 康耐视公司 确定物体上3d表面特征和不平度的系统和方法
CN104884894A (zh) * 2012-02-07 2015-09-02 株式会社尼康 成像光学系统、测定装置、形状测定装置、构造物制造系统、及构造物制造方法
CN105321206A (zh) * 2015-11-16 2016-02-10 中国工程物理研究院核物理与化学研究所 一种适用于中子层析成像系统的旋转轴线偏摆角的误差补偿方法
CN107588747A (zh) * 2016-07-07 2018-01-16 韩华泰科株式会社 测量高度校正规则生成装置及方法、高度测量装置及方法
CN109283651A (zh) * 2018-12-12 2019-01-29 广东奥普特科技股份有限公司 一种体积小的高分辨率机器视觉镜头结构
CN110376623A (zh) * 2019-07-08 2019-10-25 中国空间技术研究院 星载gnss-r镜面反射点海洋潮汐修正定位方法和系统
CN110381812A (zh) * 2016-12-30 2019-10-25 巴科股份有限公司 用于相机校准的系统和方法
CN111656779A (zh) * 2018-01-24 2020-09-11 赛博光学公司 用于镜像表面的结构式光投射
US10807579B2 (en) * 2018-01-19 2020-10-20 Goodrich Corporation System for maintaining near-peak friction of a braking wheel
CN113739696A (zh) * 2020-05-29 2021-12-03 株式会社三丰 用于执行点自聚焦类型测量操作的带视觉探针的坐标测量机

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011113051A1 (en) * 2010-03-12 2011-09-15 Cascade Microtech, Inc. System for testing semiconductors
CN102803895B (zh) * 2010-03-16 2015-04-01 株式会社尼康 高度测定方法、高度测定装置
US20120050490A1 (en) * 2010-08-27 2012-03-01 Xuemin Chen Method and system for depth-information based auto-focusing for a monoscopic video camera
US20130162806A1 (en) * 2011-12-23 2013-06-27 Mitutoyo Corporation Enhanced edge focus tool
US9392158B2 (en) 2012-10-04 2016-07-12 Nvidia Corporation Method and system for intelligent dynamic autofocus search
US9621780B2 (en) * 2012-10-04 2017-04-11 Nvidia Corporation Method and system of curve fitting for common focus measures
US9177222B2 (en) 2012-11-05 2015-11-03 Mitutoyo Corporation Edge measurement video tool and interface including automatic parameter set alternatives
US8689127B1 (en) * 2012-11-05 2014-04-01 Mitutoyo Corporation Edge measurement video tool parameter-setting user interface
US9235337B2 (en) * 2013-05-09 2016-01-12 Mitutoyo Corporation System, GUI and method for editing step and repeat operation instructions in a machine vision inspection system
US9833962B2 (en) 2014-02-26 2017-12-05 Toyota Motor Engineering & Manufacturing Norh America, Inc. Systems and methods for controlling manufacturing processes
US9675430B2 (en) 2014-08-15 2017-06-13 Align Technology, Inc. Confocal imaging apparatus with curved focal surface
US9740190B2 (en) * 2014-10-09 2017-08-22 Mitutoyo Corporation Method for programming a three-dimensional workpiece scan path for a metrology system
EP3131283A4 (en) * 2015-02-25 2017-06-21 Panasonic Intellectual Property Management Co., Ltd. Image processing device, image processing method and program for executing same
US9786053B2 (en) 2015-03-06 2017-10-10 ZephaVision, LLC Optical measuring device
DE102015112651B3 (de) * 2015-07-31 2016-07-28 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Messgerät zum Bestimmen von dimensionalen Eigenschaften eines Messobjekts
WO2017124074A1 (en) * 2016-01-15 2017-07-20 Mecha Industries, Inc. Methods for automatically generating a common measurement across multiple assembly units
JP6858878B2 (ja) * 2017-02-28 2021-04-14 クオリティー ヴィジョン インターナショナル インコーポレイテッドQuality Vision International, Inc. 3dモデルの試験対象物への自動アライメント
US11049236B2 (en) * 2017-11-17 2021-06-29 Kodak Alaris Inc. Automated in-line object inspection
US10520301B1 (en) * 2018-12-31 2019-12-31 Mitutoyo Corporation Method for measuring Z height values of a workpiece surface with a machine vision inspection system
CN110909732B (zh) * 2019-10-14 2022-03-25 杭州电子科技大学上虞科学与工程研究院有限公司 一种图中数据的自动提取方法
DE102020216419B4 (de) 2020-12-21 2023-09-28 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zum Bestimmen einer Astigmatismuskorrektur
DE102021108238A1 (de) * 2021-03-31 2022-10-06 Carl Zeiss Industrielle Messtechnik Gmbh Computerimplementiertes Verfahren, Verfahren, Messgerät und Computerprogrammprodukt
DE102022118582A1 (de) 2022-07-25 2024-01-25 Carl Zeiss Industrielle Messtechnik Gmbh Computerimplementiertes Verfahren, Verfahren, Messgerät und Computerprogrammprodukt
CN115760595B (zh) * 2022-10-26 2023-07-21 中国电子科技集团公司第五十四研究所 一种基于线段特征的超广角镜头相片畸变校正方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2928548B2 (ja) 1989-08-02 1999-08-03 株式会社日立製作所 立体形状検出方法及びその装置
JP2690603B2 (ja) * 1990-05-30 1997-12-10 ファナック株式会社 視覚センサのキャリブレーション方法
US6137893A (en) 1996-10-07 2000-10-24 Cognex Corporation Machine vision calibration targets and methods of determining their location and orientation in an image
US6219461B1 (en) 1997-07-29 2001-04-17 Cognex Corporation Determining a depth
US6915007B2 (en) * 1998-01-16 2005-07-05 Elwin M. Beaty Method and apparatus for three dimensional inspection of electronic components
US6239590B1 (en) 1998-05-26 2001-05-29 Micron Technology, Inc. Calibration target for calibrating semiconductor wafer test systems
US6076915A (en) 1998-08-03 2000-06-20 Hewlett-Packard Company Inkjet printhead calibration
US6677565B1 (en) 1998-08-18 2004-01-13 Veeco Tucson Inc. High speed autofocus and tilt for an optical imaging system
TW490596B (en) * 1999-03-08 2002-06-11 Asm Lithography Bv Lithographic projection apparatus, method of manufacturing a device using the lithographic projection apparatus, device manufactured according to the method and method of calibrating the lithographic projection apparatus
US7800758B1 (en) * 1999-07-23 2010-09-21 Faro Laser Trackers, Llc Laser-based coordinate measuring device and laser-based method for measuring coordinates
US6825480B1 (en) * 1999-06-23 2004-11-30 Hitachi, Ltd. Charged particle beam apparatus and automatic astigmatism adjustment method
US6630681B1 (en) * 1999-07-21 2003-10-07 Nikon Corporation Charged-particle-beam microlithography apparatus and methods including correction of aberrations caused by space-charge effects
US6535291B1 (en) * 2000-06-07 2003-03-18 Cyberoptics Corporation Calibration methods for placement machines incorporating on-head linescan sensing
US6816625B2 (en) 2000-08-16 2004-11-09 Lewis Jr Clarence A Distortion free image capture system and method
US6703634B2 (en) * 2000-12-11 2004-03-09 Matsushita Electric Industrial Co., Ltd. 3D-shape measurement apparatus
US6796240B2 (en) 2001-06-04 2004-09-28 Quad/Tech, Inc. Printing press register control using colorpatch targets
WO2003007237A1 (fr) 2001-07-12 2003-01-23 Do Labs Procede et systeme pour produire des informations formatees liees aux distorsions geometriques
DE10154125A1 (de) 2001-10-25 2003-05-22 Zeiss Carl Semiconductor Mfg Messverfahren und Messsystem zur Vermessung der Abbildungsqualität eines optischen Abbildunsgssystems
US7003161B2 (en) * 2001-11-16 2006-02-21 Mitutoyo Corporation Systems and methods for boundary detection in images
US6778275B2 (en) * 2002-02-20 2004-08-17 Micron Technology, Inc. Aberration mark and method for estimating overlay error and optical aberrations
US7067763B2 (en) * 2002-05-17 2006-06-27 Gsi Group Corporation High speed, laser-based marking method and system for producing machine readable marks on workpieces and semiconductor devices with reduced subsurface damage produced thereby
US7030351B2 (en) 2003-11-24 2006-04-18 Mitutoyo Corporation Systems and methods for rapidly automatically focusing a machine vision inspection system
US7164128B2 (en) * 2003-11-25 2007-01-16 Hitachi High-Technologies Corporation Method and apparatus for observing a specimen
US7324682B2 (en) * 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US7454053B2 (en) 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
ATE535346T1 (de) * 2005-05-06 2011-12-15 Satisloh Gmbh Verfahren für die automatische kalibrierung der werkzeuge in einer drehmaschine benutzt für die herstellung von insbesondere brillenlinsen
US7466466B2 (en) * 2005-05-11 2008-12-16 Gsi Group Corporation Optical scanning method and system and method for correcting optical aberrations introduced into the system by a beam deflector
US7277810B2 (en) * 2005-07-05 2007-10-02 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for automating calibration of test instruments
US7724942B2 (en) * 2005-10-31 2010-05-25 Mitutoyo Corporation Optical aberration correction for machine vision inspection systems
US7570795B2 (en) 2006-07-18 2009-08-04 Mitutoyo Corporation Multi-region autofocus tool and mode
JP2010098143A (ja) * 2008-10-16 2010-04-30 Canon Inc 露光装置およびデバイス製造方法

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102538669A (zh) * 2010-10-13 2012-07-04 株式会社三丰 精密阻焊剂配准检查方法
CN102538669B (zh) * 2010-10-13 2016-02-03 株式会社三丰 精密阻焊剂配准检查方法
WO2013026205A1 (en) * 2011-08-25 2013-02-28 Harman International (Shanghai) Management Co., Ltd. System and method for detecting and recognizing rectangular traffic signs
CN103176793B (zh) * 2011-11-15 2017-08-01 株式会社三丰 包含同步用户界面特征的机器视觉系统
CN103176793A (zh) * 2011-11-15 2013-06-26 株式会社三丰 包含同步用户界面特征的机器视觉系统程序编辑环境
CN104884894B (zh) * 2012-02-07 2018-05-15 株式会社尼康 成像光学系统、测定装置、形状测定装置、构造物制造系统、及构造物制造方法
CN104884894A (zh) * 2012-02-07 2015-09-02 株式会社尼康 成像光学系统、测定装置、形状测定装置、构造物制造系统、及构造物制造方法
CN104121852B (zh) * 2013-04-26 2018-07-24 株式会社三丰 利用鲁棒边缘判别余量的边缘测量视频工具
CN104121852A (zh) * 2013-04-26 2014-10-29 株式会社三丰 利用鲁棒边缘判别余量的边缘测量视频工具
CN104807406A (zh) * 2014-01-27 2015-07-29 康耐视公司 确定物体上3d表面特征和不平度的系统和方法
CN112097696A (zh) * 2014-01-27 2020-12-18 康耐视公司 确定物体上3d表面特征和不平度的系统和方法
CN105321206B (zh) * 2015-11-16 2017-10-13 中国工程物理研究院核物理与化学研究所 一种适用于中子层析成像系统的旋转轴线偏摆角的误差补偿方法
CN105321206A (zh) * 2015-11-16 2016-02-10 中国工程物理研究院核物理与化学研究所 一种适用于中子层析成像系统的旋转轴线偏摆角的误差补偿方法
CN107588747B (zh) * 2016-07-07 2020-10-16 韩华精密机械株式会社 测量高度校正规则生成装置及方法、高度测量装置及方法
CN107588747A (zh) * 2016-07-07 2018-01-16 韩华泰科株式会社 测量高度校正规则生成装置及方法、高度测量装置及方法
US11889979B2 (en) 2016-12-30 2024-02-06 Barco Nv System and method for camera calibration
CN110381812A (zh) * 2016-12-30 2019-10-25 巴科股份有限公司 用于相机校准的系统和方法
CN110381812B (zh) * 2016-12-30 2022-08-30 巴科股份有限公司 用于相机校准的系统和方法
US10807579B2 (en) * 2018-01-19 2020-10-20 Goodrich Corporation System for maintaining near-peak friction of a braking wheel
CN111656779A (zh) * 2018-01-24 2020-09-11 赛博光学公司 用于镜像表面的结构式光投射
CN111656779B (zh) * 2018-01-24 2022-10-18 赛博光学公司 用于镜像表面的结构式光投射
US11421983B2 (en) 2018-01-24 2022-08-23 Cyberoptics Corporation Structured light projection for specular surfaces
CN109283651A (zh) * 2018-12-12 2019-01-29 广东奥普特科技股份有限公司 一种体积小的高分辨率机器视觉镜头结构
CN109283651B (zh) * 2018-12-12 2021-12-14 广东奥普特科技股份有限公司 一种体积小的高分辨率机器视觉镜头结构
CN110376623A (zh) * 2019-07-08 2019-10-25 中国空间技术研究院 星载gnss-r镜面反射点海洋潮汐修正定位方法和系统
CN110376623B (zh) * 2019-07-08 2021-09-07 中国空间技术研究院 星载gnss-r镜面反射点海洋潮汐修正定位方法和系统
CN113739696A (zh) * 2020-05-29 2021-12-03 株式会社三丰 用于执行点自聚焦类型测量操作的带视觉探针的坐标测量机
CN113739696B (zh) * 2020-05-29 2024-02-06 株式会社三丰 用于执行点自聚焦类型测量操作的带视觉探针的坐标测量机

Also Published As

Publication number Publication date
DE102009046295B4 (de) 2024-02-29
US8534113B2 (en) 2013-09-17
US20130061650A1 (en) 2013-03-14
CN101738728B (zh) 2013-07-17
DE102009046295A1 (de) 2010-05-27
US20090088999A1 (en) 2009-04-02
US8311311B2 (en) 2012-11-13

Similar Documents

Publication Publication Date Title
CN101738728B (zh) 机器视觉检查系统的光学像差校正
US7724942B2 (en) Optical aberration correction for machine vision inspection systems
JP6282508B2 (ja) 凸凹表面のエッジに向けて強化されたエッジ検出ツール
US5657079A (en) Correction for monitor refraction using empirically derived data
CN101762268B (zh) 用于快速近似聚焦的系统和方法
EP2568253B1 (en) Structured-light measuring method and system
CN108332946B (zh) 一种微透镜阵列模具车削加工中的反射焦距在位检测方法
Douxchamps et al. High-accuracy and robust localization of large control markers for geometric camera calibration
CN107920246B (zh) 摄像头模组的倾斜度测试方法及装置
US9456120B2 (en) Focus height repeatability improvement in a machine vision inspection system
US8885945B2 (en) Method for improving repeatability in edge location results of a machine vision inspection system
CN102169573A (zh) 高精度的宽视场镜头实时畸变矫正方法及系统
JP2011153905A (ja) マシンビジョン検査システム用の光学収差補正
CN113198692B (zh) 一种适用于批量产品的高精度点胶方法及装置
CN111028340A (zh) 精密装配中的三维重构方法、装置、设备及系统
JP5313187B2 (ja) 立体画像補正装置および立体画像補正方法
Chen et al. Simple and efficient method of calibrating a motorized zoom lens
CN114174791A (zh) 光学成像性能测试系统和方法
CN114578537B (zh) 一种基于区域多点定面法的显微扫描平台焦平面确定方法
CN113411497A (zh) 一种基于曲线交点和高斯曲线拟合的自动对焦方法和装置
CN114071133A (zh) 半导体芯片检测图像成像方法
CN105654499A (zh) 一种激光表面改性的图像评价方法
CN103927755A (zh) 多景深图像处理方法
US20220398778A1 (en) Lens calibration method for digital imaging apparatus
Li Locally Adaptive Stereo Vision Based 3D Visual Reconstruction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant