CN1782661A - 在视觉系统中用于自动恢复视频工具的系统和方法 - Google Patents

在视觉系统中用于自动恢复视频工具的系统和方法 Download PDF

Info

Publication number
CN1782661A
CN1782661A CNA2005101187849A CN200510118784A CN1782661A CN 1782661 A CN1782661 A CN 1782661A CN A2005101187849 A CNA2005101187849 A CN A2005101187849A CN 200510118784 A CN200510118784 A CN 200510118784A CN 1782661 A CN1782661 A CN 1782661A
Authority
CN
China
Prior art keywords
tool
image
video frequency
parameter
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005101187849A
Other languages
English (en)
Other versions
CN1782661B (zh
Inventor
罗伯特·K·布雷尔
有我幸三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Publication of CN1782661A publication Critical patent/CN1782661A/zh
Application granted granted Critical
Publication of CN1782661B publication Critical patent/CN1782661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Abstract

我们描述在精密机器视觉检查系统中用于自动恢复失效视频检查工具的方法和系统。一组恢复指令可以与视频工具相联系或合并，从而允许视频工具自动恢复并着手提供初始失效之后的检查结果。恢复指令包含用于评估和改变特征检查参数的操作，这些参数控制工件特征图像的获取并检查工件特征。该组恢复指令可以包含用于调整图像采集参数的初始阶段恢复。若调整图像采集参数不能导致合适的工具操作，则可以调整其他的特征检查参数，例如，工具位置。可以预先确定用于研究多个特征检查参数及其相关特性的顺序，为的是最有效地完成自动工具恢复过程。

Description

在视觉系统中用于自动 恢复视频工具的系统和方法
技术领域
本发明一般涉及用于操作机器视觉检查系统的方法，该系统有可以相对运动的摄像机和载物台，为的是扫描和检查载物台上选取的工件特征，本发明具体涉及自动恢复或扩展这种视觉系统上所用视频基检查/测量工具操作的系统和方法。
背景技术
精密机器视觉检查系统(或简称“视觉系统”)可用于得到被检查物体的精确尺寸测量结果并检查各种其他的物体特性。这种系统可以包含计算机，摄像机和光学系统，以及可以沿多个方向运动的精确载物台，为的是使摄像机扫描正在被检查的工件特征。一种典型现有技术的商品化系统是QUICK VISION系列PC基视觉系统和QVPAK软件，它们可以从位于Aurora，IT.的Mitutoyo America Corporation(MAC)购得。例如，在2003年1月出版的QVPAK 3D CNC VisionMeasuring Machine User′s Guide和1996年9月出版的QVPAK 3DCNC Vision Measuring Machine Operation Guide中大致描述QUICKVISION系列视觉系统和QVPAK软件的特征和操作，二者的全文合并在此供参考。例如，这种典型的QV-302原型产品能够利用显微镜型光学系统提供各种放大倍数的工件图像，并根据需要移动载物台使工件表面超出任何单个视频图像的限制。
机器视觉检查系统通常利用自动化视频检查，US Patent No.6,542,180描述这种自动化视频检查的各种特性，全文合并在此供参考。如在′180 Patent中所描述的，自动化视频检查计量仪器通常有编程能力，它允许用户对每个特定工件结构确定自动检查事件序列。例如，这可以借助于文本基编程实施，或通过逐渐“学习”检查事件序列的记录模式，其中存储对应于用户完成一系列检查操作的机器控制指令序列，或通过这两种方法的组合。这种记录模式通常称之为“学习模式”或“训练模式”。一旦确定检查事件序列是在“学习模式”，则这个序列可用在“运行模式”期间自动获取(和附加地分析或检查)工件的图像。
包含特定检查事件序列(即，如何获取每个图像以及如何分析/检查每个获取的图像)的机器控制指令通常存储为特定工件结构专用的“零件程序”或“工件程序”。例如，零件程序规定如何获取每个图像，即，如何相对于工件放置摄像机，在什么照明强度上，在什么放大倍数上，等等。此外，零件程序规定如何分析/检查获取的图像，例如，利用诸如边缘/边界检测视频工具的一个或多个视频工具。
视频工具的正常操作取决于正确设置各种机器，图像，和影响工具操作的视频工具参数。例如，为了利用边缘/边界检测视频工具查找图像中的目标边缘/边界，获取的图像应当有合适的照明/亮度，聚焦，放大倍数。此外，必须设定视频工具的评价区(即，视频工具搜索的视频图像内区域)，为了实际上包含被检测的边缘/边界特征。
一般地说，在确定和训练视频工具的开始，例如，在操作和编程的训练模式期间，在相当理想的条件下建立和设置相关的机器和视频工具参数，这些参数控制工件特征图像的获取并检查工件特征。一般地说，这是因为操作员观察工件特征的实时显示，并调整相关的机器和视频工具参数，例如，机器定位，照明，工具定位和取向，以及其他的参数，直至在相对理想的状态下观察到这些参数，用于提供工件特征的精确检查结果。然而，在运行模式下视频工具的后续重复自动操作期间，零件加工，零件固定，视觉机器退化，环境照明条件等各种不可预见的变化可以影响一组操作状态，这些状态不适合按照以前建立的操作参数正常操作视频工具。因此，普通的视频工具在“运行模式”操作期间不能正常地运行，例如，由于操作状态或工件特性中一个或多个不可预见的变化。普通的视频工具在“学习模式”操作期间也不能正常地运行，因为相对无经验的用户可能不会正确地设置相关的机器，图像，或视频工具参数，这是由于他们不明白工具的操作和/或缺乏其使用的经验。
目前，当视频工具不能正常地运行时，就放弃该工具的下一步操作，并迫使用户按照人工方式干预和恢复该工具，例如，利用人工方式调整摄像机相对于工件的位置，和/或调整照明强度，和/或调整视频工具的各种参数。这是一个麻烦和耗费时间的过程，它大大地降低操作员在学习模式期间的生产率和/或视觉系统在运行模式期间的检查处理能力。它还要求部分操作员具有相对高的专业技术和经验，为的是分析视频工具失效的原因，并调整视频工具参数以确保未来的健全运行。
所以，我们需要一种用于自动恢复和/或扩展失效视频工具运行的方法和系统，它可以在视频工具失效的情况下减小或消除操作员的干预需要。
发明内容
本发明在视觉系统中提供用于自动恢复失效视频工具的方法和系统。按照一个方面，本发明提供一种程序或例行程序，它可以与视频工具相联系或合并，或视频工具失效发生时被调用，从而使该工具自动恢复并着手提供检查结果。即，在遭遇到失效之后，恢复程序或例行程序包含用于改变，重新编程，或维修相关机器，图像，和视频工具参数的操作，这些参数控制工件特征图像的获取并检查工件特征。相关的机器，图像，和视频工具参数此处还统一或分别地称之为特征检查参数，这些参数控制工件特征图像的获取并检查工件特征。
在本发明的各个典型实施例中，一种在精密机器视觉检查系统中用于自动恢复视频工具操作的方法，它可以包含图像特性分析的恢复阶段，通常有三个步骤。第一，在检查到与被检查工件特征有关的视频工具失效之后，至少在围绕该特征的区域，基于特征图像的分析，确定一个或多个图像特性值。图像特性值表示图像的相关特性或质量的任何数值，例如，图像亮度，图像聚焦等。第二，对于每个确定的图像特性值，确定它是否落在可接受的范围内，该范围通常是预定的范围，缺省范围，或取决于一个或多个当前特征检查参数的范围。根据图像特性值，确定该图像是太暗，太亮，模糊等等。然后，第三，调整精密机器视觉检查系统的合适特征检查参数，为了使该图像特性值是在可接受的范围内。例如，若图像的平均亮度超出可接受的范围，则调整影响图像照明条件的各种硬件/软件参数。
在本发明的各个典型实施例中，研究多个特征检查参数，并对多个特征检查参数中的每个参数，类似于以上的描述，重复评估和修正特征检查参数的方法。例如，若上述图像特性分析的恢复阶段没有导致视频工具的正常运行，则可以完成附加的恢复阶段，例如，工具/特征位置和取向分析阶段，为的是调整其他的特征检查参数。此外，若这种附加的恢复阶段没有导致视频工具的正常运行，则图像增强的恢复阶段可以包含在本发明的一些实施例中。
与完成的特征检查参数调整操作次数无关，可以预先确定用于研究多个特征检查参数及其相关特性的顺序，为了最有效地完成自动工具恢复过程。例如，可以首先评估和调整特征检查参数，这些参数的正确设置是评估和/或调整其他特征检查参数的先决条件，而在最后评估和修正可以正常调整的其他参数之后，完成其评估和/或调整是最佳的另一个特征检查参数，例如，在许多情况下，在评估和调整图像亮度之后，评估和修正聚焦是最佳的图像。此外，在相对早的阶段，可以评估和修正一个特征检查参数，该参数是与最频繁工具失效的原因之一相联系，而在相对早的阶段，可以研究另一个特征检查参数，该参数是与较不频繁工具失效的原因之一相联系。此外，可以较早地评估和修正一个特征检查参数，该参数通过相对少的调整或快速分析和调整的硬件/软件特性是可修正的，而在此后可以研究另一个特征检查参数，该参数要求调整几个或相对慢分析和调整的硬件/软件特性。
按照本发明的一方面，在一些实施例中，一种用于自动恢复视频工具的方法计算表示图像亮度和/或图像聚焦的一个或多个图像特性值。然后，若确定任何一个图像特性值是在预定的可接受范围之外，则调整精密机器视觉检查系统的合适硬件/软件参数，例如，各种照明控制参数，为了使该图像特性值是在预定的可接受范围内。
按照本发明的另一方面，在各个实施例中，该方法可以包括重新定位和/或重新定向视频工具的步骤，或更精确地说，相对于被检查特征的视频工具评价区。通过在图像中重新定位视频工具评价区，和/或重新定位相对于工件的摄像机并获取新的图像(如果需要)，可以完成上述步骤。
按照本发明的另一方面，在各个实施例中，该方法可以包括调整各种视频工具操作参数的步骤。例如，对于各种边缘检测工具，基于当前图像的各种特性，可以调整边缘极性指示符，一个或多个边缘检测阈值，或其他的边缘工具参数。简要地说，边缘检测阈值确定视频工具识别的光强梯度，它作为存在边缘/边界特征的指示。因此，通过降低视频工具的边缘检测阈值，该方法可以使视频工具对即使有很小光强梯度的“微弱”边缘更灵敏。在许多机器视觉检查系统中，在操作的学习模式期间，通过“训练”用于检测特征定位的边缘检测工具，可以确定与特定工件特征相关的一个或多个边缘检测参数的特定数值。这种训练通常是在操作的学习模式期间自动完成的，而存储的相关参数值是与检查相关工件的零件程序有关。
按照本发明的另一方面，在一些实施例中，若各种特征检查参数的调整并没有导致视频工具的正常运行，则可以完成一个或多个图像增强操作以使视频工具能够正常运行。例如，至少在围绕被检查特征的图像区中，可以完成各种过滤和/或图像阈值化操作。然后，对形成的图像重新运行视频工具。然而，在这种情况下，重要的是必须当心图像增强操作没有严重改变被检查特征的相关特性，例如，边缘表观位置的位移。
按照本发明的另一方面，在一些实施例中，若一组恢复操作不能使视频工具正常运行，则可以利用产生类似检查结果的更健全视频工具代替该视频工具。例如，基于工件图像中强度梯度运行的普通边缘检测工具可能由于边际照明有效性或围绕和遮蔽边缘的纹理化表面而失效。在这种情况下，恢复操作可以包括：利用基于彩色或纹理变化的边界检测工具代替普通的边缘检测工具。这种“代替”工具在最初可能不是优选的，因为它需要较长的执行时间，或提供较低的精确结果。
按照本发明的另一方面，利用装入到精密机器视觉检查系统中控制系统部分的计算机可执行指令，实现自动工具的恢复方法。
按照本发明的另一方面，在一些实施例中，提供一种健全的视频工具，它对照明，聚焦，位置和取向，以及工件边缘/表面特性起伏有较高的容差。视频工具配置成对被检查的工件图像实施预定的图像分析/检查操作。此外，视频工具与一组自动工具恢复指令相联系，这些指令试图在视频工具失效时恢复它的运行。例如，这些指令可以包含在计算机程序中。在一些实施例中，这些指令与视频工具的操作合并和/或与它们不可区分。在其他的实施例中，这些指令包括与视频工具分开存储的程序或例行程序，但它们可以与视频工具操作一起运行。在各个实施例中，自动工具恢复指令可以按照上述本发明的一个或多个特性运行。
按照本发明的另一方面，在各个实施例中，自动工具恢复指令的运行可以由用户配置，或全局地，或与特定视频工具的操作相联系，或二者。例如，用户可以这样配置指令，借助于自动恢复指令仅仅完成一个或多个选取类型的特征检查参数调整(照明调整，聚焦调整，定位和定向调整等)。作为另一个例子，对于由该指令可能完成的每种类型的调整，用户可以规定容差水平，或允许的调整范围。
按照本发明的另一方面，在一些实施例中，自动工具恢复指令配置成跟踪失效的视频工具类型和/或用于恢复每种工具所完成的调整类型，它们与具体特征，和/或工件，和/或机器视觉检查系统有关。用户可以编译和分析这种数据，例如，用于研究频繁的工具失效原因以减少未来的工具失效。例如，基于这种分析，用户可以调整或维修机器，和/或最佳地确定正常操作每个工具的各种硬件/软件参数，和/或最佳地配置各种有关的恢复操作，或全局地，或与特定工具有关。
按照本发明的另一方面，在一些实施例中，基于CAD数据等，“离线”建立零件程序，而该零件程序包含按照本发明的自动恢复操作。然后，最初运行离线建立的零件程序以检查实际的工件，而自动恢复操作试图至少恢复一些在最初运行期间失效的视频工具。当工具恢复成功时，成功工具操作所用的调整特征检查参数用于代替零件程序中最初包含的“失效”参数。基于输出报告，可以按照人工方式完成这种代替，该报告识别用于每个成功工具恢复的调整特征检查参数，或半自动方式，或全自动方式。若代替是按照半自动或全自动方式完成的，则在代替之后可以中止或删除造成这种自动代替的指令，因此，形成的新零件程序是“稳定的”，除非在此之后被用户故意地改变。存储形成的新零件程序。此后，在自动检查操作时，参照初始的零件程序使用新的零件程序。
按照本发明的另一方面，按照本发明运行包含自动恢复操作的零件程序以检查实际的工件，而自动恢复操作试图至少恢复在运行期间失效的一些视频工具。零件程序包含这样一些指令，它能使成功工具恢复的一个或多个调整的特征检查参数自动地代替零件程序中以前包含的相应“失效”参数。在一个实施例中，在代替之后，可以中止或删除造成自动代替的指令，因此，形成的新零件程序是“稳定的”，除非在此之后被用户故意地改变。在另一个实施例中，启动成功特征检查参数以代替相应“失效”参数的指令连续地驻留在零件程序中，并通过用户添加或改变一个或多个合适的零件程序控制语句，可以启动或中止该指令的执行。
附图说明
参照以下结合附图的详细描述，可以更容易地理解本发明的上述特征和许多伴随的优点，其中：
图1是机器视觉检查系统中各种典型元件的示意图；
图2是机器视觉检查系统中控制系统部分和视觉元件部分的示意图；
图3A是按照本发明一个实施例的例行程序流程图，用于自动恢复失效的视频工具；
图3B是按照本发明另一个实施例的例行程序流程图，用于自动恢复失效的视频工具；
图4A和4B表示相对于最接近边缘特征重新定位失效视频工具的例行程序流程图，它可以作为用于自动恢复失效视频工具的部分实施例的例行程序；
图5是在图像中找到边缘的例行程序流程图，它可以作为相对于最接近边缘重新定位失效视频工具的部分实施例的例行程序；
图6是按照本发明一个例子的用户接口屏幕图，它可用于配置一组自动工具恢复的指令。
具体实施方式
图1是按照本发明一个典型机器视觉检查系统10的方框图。机器视觉检查系统10包括：与控制计算机系统14的视觉测量机器12，用于交换数据和控制信号。控制计算机系统14还与监视器16，打印机18，操纵杆22，键盘24，和鼠标26连接，用于交换数据和控制信号。视觉测量机器12包括：可移动的工件载物台32和包含变焦透镜或可交换透镜的光学成像系统34。变焦透镜或可交换透镜通常给光学成像系统34形成的图像提供各种放大倍数。
操纵杆22通常用于控制可移动工件载物台32沿X方向和Y方向的运动，X方向和Y方向大致平行于光学成像系统34的焦平面。操纵杆22还可以控制可移动光学成像系统34沿Z方向或聚焦方向的运动。通常，Z轴运动是受操纵杆22的手柄上旋转偏转元件或旋钮的控制。操纵杆22可以有不同于附图所示的形式，例如，监视器16上任何的直观表示或配件，其功能是作为机器视觉检查系统10的“虚拟运动控制装置”，并通过任何计算机输入装置接受控制，例如，鼠标26。
图2是按照本发明机器视觉检查系统100中的控制系统部分120和视觉元件部分200。如以下更详细描述的，控制系统部分120用于控制视觉元件部分200。视觉元件部分200包括：光学组件部分205，光源220，230和240，和有中央透明部分212的工件载物台210。工件载物台210可以沿一个平面上的X轴和Y轴受控地运动，X轴和Y轴大致平行于可以放置工件20的载物台表面。光学组件部分205包括：摄像机系统260，可交换物镜250，并可以包括：透镜旋转台组件280，和同轴光源230。代替透镜旋转台组件，可以包括固定或手动可交换的可变放大倍数透镜或变焦透镜结构，等等。利用以下详细描述的可控电机294，光学组件部分205可以沿大致垂直于X轴和Y轴的Z轴方向受控地运动。
利用机器视觉检查系统100成像的工件20放置在工件载物台210上。一个或多个光源220，230和240分别发射用于照明工件20的源光222，232，或242。光源220，230和/或240射出的光照明工件20，并被反射或透射成工件光255，工件光255传输通过可交换物镜250和透镜旋转台组件280，并被摄像机系统260收集。摄像机系统260捕获的工件20图像在信号线262上输出到控制系统部分120。
用于照明工件20的光源220，230和240可以包含载物台光220，同轴光230，和表面光240，例如，环形光或可编程环形光，它们分别通过信号线或总线221，231，和241都连接到控制系统部分120。作为机器视觉检查系统100的主光学组件，除了以上讨论的元件以外，光学组件部分205还可以包含其他的透镜和其他的光学元件，例如，光阑，分束器等，可以满足同轴照明或其他指定机器视觉检查系统特征的需要。作为机器视觉检查系统100的次光学组件，透镜旋转台组件280至少包括：第一透镜旋转台位置和透镜286和第二透镜旋转台位置和透镜288。控制系统部分120通过信号线或总线281沿至少第一与第二透镜旋转台位置之间的轴284旋转透镜旋转台组件280。
可以调整工件载物台210与光学组件部分205之间的距离，为的是改变摄像机系统260捕获工件20图像的焦点。具体地说，在各个典型的实施例中，利用驱动传动装置的可控电机294，连接电缆等，光学组件部分205可以沿相对于工件载物台210的垂直Z轴方向运动，从而使光学组件部分205沿Z轴方向运动。此处使用的术语Z轴是指用于聚焦光学组件部分205形成图像的轴。在利用可控电机294时，它经信号线296连接到输入/输出接口130。
如图2所示，在各个典型的实施例中，控制系统部分120包括：控制器125，输入/输出接口130，存储器140，工件程序发生器和执行器170，CAD文件特征提取器180，和电源部分190。可以理解，利用一个或多个数据/控制总线和/或应用程序设计接口，或利用各个元件之间的直接连接，可以互连这些元件中的每个元件，以及以下描述的其他元件。
输入/输出接口130包括：成像控制接口131，运动控制接口132，照明控制接口133，和透镜控制接口134。运动控制接口132包含位置控制元件132a，和速度/加速度控制元件132b。然而，应当理解，在各个典型的实施例中，这些元件可以合并和/或不可区分。照明控制接口133包含照明控制元件133a-133n，它们用于控制机器视觉检查系统100中各种相应光源的选取，功率，on/off开关，和选通脉冲定时，例如，光源220，230，和240。
存储器140包括：图像文件存储器部分141，工件程序存储器部分142，和视频工具部分143，其中工件程序存储器部分142可以包含一个或多个零件程序。视频工具部分143包含工具部分143a-143m，它们确定每个对应工具的GUI，图像处理操作等。视频工具部分143还包含评价区发生器143x，它支持全自动，半自动和/或人工方式的操作，用于确定视频工具部分143中包含各种视频工具操作的各个评价区。一般地说，存储器部分140存储这样的数据，它用于操作视觉系统元件部分200以捕获或获取工件20的图像，使获取的工件20图像有指定的图像特性。存储器部分140还存储这样的数据，它用于操作机器视觉检查系统100以完成对获取图像的各种检查和测量操作，或人工方式或自动方式，并通过输入/输出接口130输出这些结果。存储器部分140还包含这样的数据，它通过输入/输出接口130确定图形用户接口。
载物台光220，同轴光230，和表面光240的各自信号线或总线221，231，和241分别连接到输入/输出接口130。摄像机系统260的信号线262和可控电机294的信号线296连接到输入/输出接口130。除了传送图像数据以外，信号线262可以传送来自控制器125的信号，该信号启动图像的采集。
一个或多个显示装置136和一个或多个输入装置138也可以连接到输入/输出接口130。显示装置136和输入装置138可用于观察，建立和/或改变零件程序，观察摄像机系统260捕获的图像，和/或直接控制视觉系统元件部分200。在一个有预定零件程序(或工件程序)的全自动系统中，可以省略显示装置136和/或输入装置138。
关于CAD文件特征提取器180，在机器视觉检查系统的工业应用中通常利用诸如CAD文件的信息，该文件代表工件或基本相同工件的以前图像。在CAD文件表示的情况下，应当理解，利用各种已知的CAD文件特征提取方法，按照人工方式，半自动或全自动方式，根据CAD表示可以确定CAD文件表示中边缘和边界的位置。
在各个典型实施例中，当用户利用机器视觉检查系统100建立工件20的工件图像采集程序时，用户产生工件程序指令，或利用工件编程语言，按照全自动，半自动或人工方式明确地编码这些指令，或移动机器视觉检查系统100通过图像采集训练序列产生这些指令，使工件程序指令捕获训练序列。对于一组被捕获图像中的多个图像，重复这个过程。在执行这些指令时，该指令可以使机器视觉检查系统以某种速度操纵工件载物台210和/或摄像机系统260，因此，对于一组被捕获图像中的每个图像，工件20的特定部分是在摄像机系统260的视场内，并处在理想的聚焦状态。除了控制摄像机和工件相对运动的程序指令以外，工件图像采集程序还需要包含启动一个或多个光源220-240的程序指令，它们在每个图像采集期间给工件20提供所需的照明。
在本发明的各个典型实施例中，一旦确定一组工件图像采集指令，控制系统120执行该指令，并命令摄像机系统260按照该指令捕获一个或多个工件20图像。然后，在控制器125的控制下，控制系统120通过输入/输出接口130输入捕获的图像，并在存储器140中存储捕获的图像。控制器125还可以在显示装置136上显示捕获的图像。
控制系统部分120还可用于再调用捕获和存储的工件检查图像，检查和分析这些工件检查图像中的工件特征，和存储和/或输出检查结果。这些方法通常体现在存储器140的视频工具部分143中包含的各种视频工具。例如，这种视频工具可以包括：边缘/边界检测工具(其中一个例子是在US Application No.09/987,986中公开，全文合并在此供参考)，形状或模式匹配工具，尺寸测量工具，坐标匹配工具等。例如，这些工具通常用在各种商品化机器视觉检查系统中，例如，以上讨论的QUICK VISION系列视觉系统和相关的QVPAK软件。
例如，在QVPAK软件中包含的视频边缘/边界检测工具包括：Point工具，Box工具，Circle工具，和Arc工具。简要地说，Point工具产生(查找)图像上单条扫描线相交处的数据点。Box工具产生一系列平行扫描线，每条扫描线返回已找到边缘特征的数据点。Circle工具产生一系列以原点为中心围绕360度的径向扫描线，每条扫描线返回已找到边缘特征的数据点。Arc工具产生一系列以原点为中心的径向扫描线，每条扫描线返回已找到边缘特征的数据点(例如，用于返回来自圆角的数据点)。这些工具中的每种工具用于自动检测图像中特定的边缘/边界特征。
在利用这些视频工具中一个或多个工具完成的图像检查/分析操作之后，控制系统120输出每个检查/分析操作的结果到输入/输出接口，用于输出到各种显示装置135，例如，视频显示器，打印机，等等。控制系统120还在存储器140中存储每个检查操作的结果。
如以上在背景部分所讨论的，视频工具可能由于各种原因不能正常地运行，例如，影响视频工具运行的至少一些参数被不合适地设置，或者，零件加工，零件固定，视觉机器退化，环境照明条件等中各种不可预见的变化，它们影响一组操作条件，这些条件使它不能按照以前建立的运行参数正常地运行视频工具。当视频工具失效时，例如，控制系统120在视频显示器上输出错误的消息，通知用户该工具的运行不能产生任何的分析/检查结果。在这种情况下，以往迫使用户按照人工方式恢复该工具。另一方面，本发明的目的是提供一种用于自动恢复失效视频工具的方法和系统，例如，按照存储器140中一个或多个部分中包含的自动恢复指令。
图3A是按照本发明一个相对通用实施例的自动工具恢复例行程序300流程图。在工具不能在当前图像中正常运行之后，在方框301，分析当前图像以确定和记录各种相关的图像特性。例如，计算和记录图像的平均亮度，图像中过饱和像素的数目，指出图像聚焦状态的数值，等等。如此处所使用的，图像特性值包含表示获取图像某个特性或质量的任何数值。在一些情况下，图像特性值可以表示是否存在条件或特性。用于确定这种图像特性值(例如，平均亮度，过饱和，聚焦状态等)的各种方法和视频工具是熟知的，例如，在以上讨论的QVPAK软件中。以上合并的′180 Patent和′986 Application更详细地描述用于确定图像特性的各种方法，这些图像特性与各种图像中的边缘可见度，对比度，和其他的特性有关。在这个公开内容的基础上，普通的专业人员显然知道其他有用的特性以及确定这些特性的方法。
在判定方框302，是否可以接受关于方框301操作中确定的各种相关图像特性评价。在一些情况下，比较定量数值与可接受的范围。在其他的情况下，比较存在或不存在指示符与它们的理想状态。在任何的情况下，若所有评估的图像特性是可接受的，则操作转跳到方框306的操作。若所有评估的图像特性是不可接受的，则该操作进行到方框303的操作。
在方框303的操作中，调整合适的特征检查参数(在这种情况下是一个或多个图像采集参数)，使评估的图像特性是可接受的。例如，若在方框302中确定图像的平均亮度或强度值太低，则在方框303中调整影响平均亮度值的硬件/软件参数，例如，光功率强度参数。作为另一个例子，可以自动地运行以上′180 Patent和′986 Application中公开的一个或多个评估工具，并根据该结果可以自动调整合适的图像采集参数和/或工具参数。作为另一个例子，可以利用给Wasserman的US Patent No.6,627,863中所公开的综合自动照明选择和调整工具，全文合并在此供参考。类似地，可以利用许多商品化机器视觉检查系统中包含的自聚焦工具。作为另一个例子，在其初始设置的合理范围内，可以改变合适的图像采集参数和/或工具参数，和评估每个变化的图像特性结果，直至得到可接受的图像特性结果，或直至视频工具正常地运行。更一般地说，按照任何现在已知或以后开发的方法，可以完成参数调整。
一旦在方框303中调整合适的图像采集参数和评估的图像特性是可接受的，则在方框304，基于形成的调整图像，运行视频工具。当然，若在方框303的操作中对相同图像运行视频工具作为部分的参数调整评估，则实际上已完成方框304的操作。在任何一种情况下，在运行视频工具之后，按照在判定方框305中的操作，若视频工具运行正常，则完成方框305′的操作(如果实施)和/或例行程序结束。
如果需要，在各个实施例或例行程序300的应用中，可以实施方框305′的操作。方框305′的操作准备并输出或存储“工具恢复报告”。这种报告可以识别发生工具失效的类型，和进行什么特征检查参数调整可以使该工具恢复。这种报告可用于检测或诊断机器退化，意外或新发生的零件加工变化等。在对类似零件重复地运行零件程序的应用中，可以分析一系列这种失效和恢复趋势的报告，为的是检测零件加工过程的“过程漂移”，识别防护性维修机器视觉系统的需要，或者，它们可用于识别一个或多个“最佳”或平均特征检查参数调整，这些调整的参数可以永久地代替零件程序指令中容易失效的相关参数，从而防止或减小在随后工件检查期间发生的视频工具失效。
另一方面，若视频工具不能在当前调整图像中正常地运行，则操作是从方框305进行到判定方框306的操作。在判定方框306的操作中，决定是否评估和调整当前视频工具的另一个特征检查参数。在一些实施例和应用中，其中以前确定自动改正一些视频工具失效潜在原因的风险太大(例如，因为图像中的特征通常是高度纹理化或有噪声，或各种特征的位置特别地接近，等等)，自动工具恢复操作可以配置成调整一些“低风险”参数(例如，影响照明的参数)，试图恢复失效的工具，但避免调整那些“高风险”的参数(例如，在密集，高度纹理化特征中重新定位视频工具)。这是一种保守的方法，试图在增大操作员干预需要以恢复失效视频工具的同时，减小错误检查结果的机会。相反地，在一些实施例和应用中，其中许多类型的自动参数调整是低风险的(例如，若被检查的工件特征在可预见的低纹理工件上是充分孤立的)，可以配置自动工具恢复操作，试图调整所有的自动可调整的参数。因此，在各个实施例中，自动恢复试图中包含的特定类型参数或单独的参数可以规定为缺省条件，或在各个其他的实施例中(例如，基于学习模式操作期间的操作员输入)，配置特定应用或单个特征或视频工具。在任何情况下，按照支持判定方框306的判定操作方式，确定允许的自动参数调整候选方案。若在判定方框306中没有被评估和调整的其他特征检查参数，或由于它们的禁止，或因为已耗尽它们的试图调整，则操作进行到方框307，其中输出工具失效指示符和/或报告，且该例行程序结束。失效的指示符可以警告用户干预以实现该工具的正常运行。例如，视频工具的失效可能是由于机械故障(例如，灯泡损坏)，它不能通过调整硬件/软件参数得到改正，因此，就需要用户的干预。
另一方面，若在判定方框306中确定有被评估和调整当前视频工具的另一个特征检查参数，则完成方框308的操作。在方框308，相对于某些特性和/或过程和/或与被评估和调整当前特征检查参数有关的参数，分析当前的图像(它通常可以是在例行程序300中通过以前参数的调整得到“改进的”图像)。例如，被评估的特征检查参数是与这样的参数有关，该参数确保诸如边缘的预期特征是在当前图像的视频工具评价区，则可以研究该评价区以确定表示边缘强度梯度的存在和/或幅度(应当理解，表示边缘存在的要求不同于精确测量边缘位置的要求)。然后，在方框309，评估方框309操作中分析的各个特性或因素结果，确定它们支持视频工具的正常运行是否可以被接受。若该结果是可接受的，则操作返回到判定方框306，其中确定是否有另一个被评估和调整的特征检查参数。否则，若该结果是不可接受的，则操作进行到方框310。
在方框310的操作中，调整合适的特征检查参数，使与当前特征检查参数相关的特性和/或过程和/或参数为提供工具的正常操作是可接受的。例如，若在判定方框309确定在边缘工具的评价区中没有找到表示边缘的梯度，则在方框310，可以在围绕评价区的合理容差范围内完成搜索操作，为的是找到(假设的)失准边缘特征并相应地调整评价区位置参数。以下更详细地描述这种操作。一旦完成这种修正可以确保当前特征检查参数支持工具的正常运行，则操作返回到方框304，其中基于调整的参数再次运行该工具。重复方框304-310中的操作，直至例行程序结束，或因为该工具成功地运行，或因为自动恢复操作允许或现有的调整参数被耗尽而没有成功。
如以下更充分描述的，在本发明的各个典型实施例中，研究各个图像特性和/或其他特征检查参数的顺序对于工具恢复效率的最大化是重要的。具体地说，必须首先评估和/或调整一些图像和/或工具参数，从而允许评估和/或调整其他的参数(例如，在确保正确调整图像亮度之后，可以最佳地评估和调整图像聚焦)。另一个考虑是较频繁发生工具失效的一些原因，从而可以在自动恢复序列中较早地给出评估相关参数的原因。另一个考虑是较容易或较快地修正的一些特征检查参数。例如，在利用LED照明时，可以评估，调整，和测试照明的变化，它比工件的重新定位快得多。因此，在许多情况下，在恢复序列中较早地调整这种“可快速调整的”参数可以导致较快地执行恢复操作。因此，应当首先考虑和修正那些图像特性值，这些特性值说明较频繁工具失效的原因和/或较容易修正和/或必须修正才可以评估和/或修正其他的参数，为的是最有效地完成自动工具恢复过程。例如，在本发明的各个典型实施例中，首先考虑和修正表示获取图像照明和/或聚焦质量的图像特性值，这在以下参照图3B要充分描述的。
应当理解，利用已知的模糊逻辑或神经编程训练方法，可以“预先确定”方框301和308的操作中完成特性分析结果与某些参数之间的相关，这些参数对于修正从特性分析结果中观察到的图形通常是有效的。即，按照已知的方法，利用一组典型的图像和失效，可以开发或训练“分类器”。分类器可应用于特性分析的结果，例如，在方框302-303和/或方框308-309的操作中，为的是分类该结果并选取对应的参数调整，这种参数调整对于有效修正该类失效是熟知的。我们知道，这些方法在许多应用中可以提供健全和快速的失效分析。然而，即使利用这些技术，但首先对第一组特性应用第一组分类器仍然是有利的，第一组特性适合于那些特性值，它说明工具失效的较频繁原因和/或容易或快速地修正和/或必须修正以启动评估和/或其他参数的修正。在此之后是对第二组特性应用第二组分类器，第二组特性适合于那些特性值，它说明工具失效的较不频繁原因和/或较难或耗费时间修正和/或最好在其他参数修正之后再修正，为的是最有效地完成自动工具恢复过程。例如，第一组特性和分类器主要涉及与亮度和聚焦有关的图像采集参数，而第二组特性和分类器涉及这些特征检查参数，该参数要求合适照明和聚焦的图像进行它们的评估和调整，例如，这些参数可以包括：与定位，取向，和/或特征专用边缘检测参数有关的参数，它可以确保精确的测量结果(这些参数可以包括：梯度有关阈值参数和/或边缘阈值参数的强度变化)。
图3B是相当详细的例行程序315流程图，它是一个可用于自动恢复视频工具的具体实施例。例行程序315涉及大致叙述可以使视频工具失效的四类原因：不合适照明，不合适聚焦，视频工具相对于图像中特征的不合适定位或定向，和一个或多个不合适边缘检测参数。例行程序315按照这个顺序叙述这些原因，因为在许多情况下修正工具失效的一些潜在原因是可靠评估和修正其他失效原因的先决条件(例如，只有在确保合适的图像照明之后，可以最佳或最可靠地评估聚焦)。专业人员应当明白，可以改变叙述这些各种原因的顺序，它取决于具体应用中有效的各种假设或判断，在特定的例行程序中还可以提出或多或少的原因，取决于具体的应用。例行程序315中给出的顺序对于这个例行程序中考虑的失效原因与参数调整的组合是有利的。
在方框316，当视频工具失效时，开始判定方框318的操作，其中评估图像的亮度，并确定该亮度是否在可接受的范围内。例如，在视频工具的评价区内，计算过饱和像素的平均亮度和/或数目，并与每个数值的预定接受范围进行比较。至少在评价区，若图像的亮度不是在可接受的范围内，则在方框320调整影响获取图像亮度的合适硬件/软件参数。例如，可以调整所用光源的数目/类型和每个光源的光功率强度。关于这一点，可以利用按照自动或半自动方式设置最佳照明强度的各种工具。例如，可以利用以上包含的′863 Patent或以上讨论的QVPAK软件中Lighting WizardTM描述的方法。简要地说，LightingWizardTM按照自动方式找到用于获取图像的最佳照明强度，其中在不同照明设置组合下拍摄几个图像，模拟和内插照明设置的其他组合，并基于最佳模拟/内插图像，有选择地叠加模拟图像并识别最佳的照明设置组合。作为另一个例子，可以利用Dual Area Contrast工具，该工具利用以上包含的′180 Patent或以上讨论的QVPAK软件中描述的方法，用于重复地和自动地分析在边缘相对侧上两个选取的图像区，并调整照明强度，使这两个区之间的亮度和/或对比度差最大化以增强确定边缘的梯度。在调整合适的硬件/软件参数之后，推测已修正了图像的亮度，或在方框318确定图像的亮度已在可接受的范围内而无须调整时，则在方框322确定图像的聚焦是否在可接受的范围内。为此目的，可以利用自动或半自动方式确定图像聚焦状态的各种工具或方法，这些工具或方法是现在已知的或在未来可以开发的。若确定聚焦状态是不可接受的，则在方框324调整影响聚焦状态的合适硬件/软件参数。例如，可以调整工件载物台210与光学组件部分205(见图2)之间距离以改变聚焦状态。此外，可以利用自动或半自动方式实现最佳聚焦的各种工具。例如，可以利用以上讨论QVPAK软件中的AutoFocus工具，它在沿相对于工件的Z轴调整摄像机的同时，拍摄部分工件的多个图像，并基于对获取图像的分析，选取产生最佳聚焦图像的摄像机位置。
在调整合适的硬件/软件参数之后，推测已修正了图像的聚焦状态，或在方框322中确定图像的聚焦状态已在可接受的范围内而无须调整时，则在方框326再重新运行视频工具。或者，我们注意到在方框320完成亮度调整之后和在方框322检查图像聚焦状态之前(例如，若获取的图像可以评估任何的照明调整，则运行视频工具是显然的)，立刻可以重新运行视频工具，虽然在各种应用中，在完成亮度和聚焦调整之后重新运行视频工具是更有效的，因为这个组合中的一个或两个因素通常是工具失效的原因。当然，若在方框318和322中发现亮度和聚焦是可接受的，因此无须进行调整，则在方框326中重新运行视频工具不可能提供新的信息，因此，可以跳过方框326的操作。
在方框328确定重新运行视频工具是否失效。如果不是，则操作跳到方框242，例行程序315结束(例如，已成功地恢复视频工具)。另一方面，若重新运行视频工具再次失效，则假设另一个最可能失效的原因是视频工具，或更具体地说，视频工具的评价区，它相对于被检测的目标边缘/边界没有合适地定位或定向。所以，在方框330重新定位和/或重新定向视频工具到最接近的边缘特征，为的是使目标边缘/边界是在视频工具评价区内。以下参照图4A和4B更详细地描述这个过程。
在方框330的重新定位和/或重新定向操作之后，在方框332中再次重新运行视频工具。在方框334确定该工具是否失效。如果不是，则视频工具被成功地恢复，因此，该例行程序在方框342结束。若视频工具再次失效，则操作进行到方框336的操作，其中调整诸如边缘强度阈值的边缘检测阈值参数。通常，在工具失效的情况下，边缘强度阈值减小。利用各种类型边缘检测阈值是常见的，其参数是在学习模式操作期间基于实际边缘图像特性被“训练”或设置的。这种技术提供的参数倾向于指出边缘的“标识”以及提供拒绝边缘特征图像的参数或限制，具有产生相对差边缘位置检查精确度的梯度。如以上在QVPAK 3D CNC Vision Measuring Machine User′s Guide和QVPAK3D CNC Vision Measuring Machine Operation Guide中所描述的，边缘检测阈值用于设置视频工具识别目标边缘/边界特征的阈值水平。具体地说，边缘/边界检测工具识别光强变化为被检测的边缘/边界。因此，在它的简化形式中，边缘检测阈值确定边缘/边界检测工具识别的光强变化量作为存在边缘/边界的指示符。例如，若边缘检测阈值设置成高值，则只有在检测到两个相邻区之间相对大的光强变化量之后，边缘/边界检测工具可以识别边缘/边界。所以，若边缘检测阈值设置成高值，则视频工具能够检测到两个高对比度区域之间相对明显确定或“强”边缘。另一方面，若边缘检测阈值设置成低值，则视频工具可以识别相对小的光强变化量作为存在边缘/边界的指示符。所以，当边缘检测阈值设置成低值时，视频工具能够识别不太明显确定的模糊边缘，或“弱”边缘，以及强边缘。在方框336，降低边缘检测阈值，其中假设视频工具不能识别目标边缘/边界，因为最初设置的阈值太高。一般地说，边缘检测阈值越高，则很可能是这样的情况，图像支持良好的边缘位置测量精确度，但视频工具较频繁地失效。相反地，当边缘检测阈值设置成相对低值时，视频工具很少失效，但可以增大接受假阳性(检测噪声为边缘)的似然性或接受低测量精确度的似然性。最初，边缘检测阈值可以设置或训练成仅仅接受支持最佳边缘选择性和测量精确度的边缘梯度。然而，在工具失效的事件中，较低的阈值在许多情况下允许视频工具成功地运行(即，阈值限制不会被边缘梯度特性破坏)，并仍然获得合适的(但不是最佳的)选择性和精确度。
在方框336的阈值调整之后，在方框337重新运行视频工具。在方框338确定视频工具是否失效。如果不是，则视频工具被成功地恢复，因此，例行程序在方框342结束。另一方面，若视频工具再次失效，则在方框340，例行程序发出错误指示符，它可以是提示操作员按照人工方式恢复视频工具。例如，工具失效的原因可能是需要用户干预的机械故障。然后，操作员按照人工方式恢复视频工具。
在另一个实施例中，若一组恢复操作在方框338的操作中不能使视频工具正常运行，则可以利用提供类似检查结果的预定“替换”视频工具代替当前视频工具。一般地说，“替换”视频工具的操作略微不同于它代替的视频工具，所以，它有成功运行的机会。例如，基于工件图像中强度梯度运行的普通边缘检测工具可能因边际照明有效性或围绕和遮蔽边缘的纹理表面而失效。在这种情况下，恢复操作可以包括：基于彩色或纹理变化，利用边界检测工具代替普通边缘检测工具。最初，这种“代替”工具可能不是优选的，因为它需要较长的执行时间或提供较低精确的结果。例如，一种这样的工具是健全的边界检测工具，它可用于代替在上包含的′986 Application中描述的普通边缘工具。若这种工具替换是在方框338的操作之后进行，则放置替换工具的评价区以代替以前工具的评价区，该工具对当前的图像上或新获取的图像上进行操作。若替换的工具成功地运行，则该例行程序结束。否则，例行程序315的继续(重复)是在方框318的操作中开始。
图4A和4B表示相对于最接近的边缘重新定位(在图4A的情况下，它可以包括重新定向)失效视频工具的例行程序流程图，在图3B所示例行程序315的一些实施例中，可以在方框330中完成该操作。图4A表示可用于实现边缘工具重新定位的例行程序401，例如，沿边缘(通常是直边缘)检测多个点的Box工具，或沿边缘通常检测单个点的Point工具，为的是促使这种工具的自动恢复。在以上讨论的QVPAK软件中列举和描述这种工具。
在确定应当重新定位边缘工具时，例如，在工具失效的原因很可能在自动恢复序列中被耗尽时，例行程序401是在方框402开始操作，其中在当前图像中找到边缘(或边缘像素)，至少是在围绕当前评价区的邻近。以下参照图5更详细地描述一个有用的边缘像素识别过程。更一般地说，可以利用各种已知的边缘检测(边缘像素识别)方法，例如，Canny边缘检测器。在Ramesh Jain et al.的Machine Vision一书第5章中列举和描述几个已知的边缘检测方法，McGraw Hill于1995年出版，全文合并在此供参考。在各个实施例中，边缘像素的检测局限于视频工具的评价区邻近(它通常略大于确定具体视频工具评价区的框)，为的是减少执行时间和防止不重要(远离)的图像特征影响或混淆指定边缘的识别。因此，参照图4A，4B和5使用的“图像”是指在原始摄像机视场内的子图像。
一旦在图像中识别边缘像素，则在方框404完成，重新定位工具中心的操作，或更精确地说，重新定位视频工具评价区中心到最接近的“足够强”边缘像素，例如，沿相关边缘工具扫描方向展示高梯度值位置相关的像素。在一些情况下，若在应用中需要转动失准恢复，还可以重新定向视频工具。可以确定包含最接近“足够强”边缘像素的直边缘取向，例如，利用从最接近“足够强”边缘像素或一组包含“足够强”边缘像素的邻近像素中提取梯度方向信息。在完成重新定位和/或重新定向之后，该例行程序结束。如以上有关边缘检测阈值的简要描述，每个边缘的强度可以定义为确定该边缘的两个邻近区之间光强变化量。因此，边缘检测阈值，或梯度阈值，或其他边缘检测参数，可以设定在缺省设置，用户设置，或在相关工具训练期间从边缘特性中推导出设置确定的合适高数值上，因此，视频工具的重新定位仅仅是相对与边缘强度相关的那些像素，该边缘强度足以支持视频工具的正常运行。
图4B表示可用于实现重新定位曲线边缘工具的例行程序410，例如，Circle工具或Arc工具。在以上讨论的QVPAK软件中列举和描述这种工具。图6展示Circle工具。在确定应当重新定位Circle工具或Arc工具时，例如，当工具失效的原因很可能在自动恢复序列中被耗尽时，调用例行程序410。例行程序410开始的操作是在方框412，其中在当前图像中找到边缘(或边缘像素)，如以上参照图4A对方框402的描述。在方框414，按照已知的图像过滤技术将图像平滑化，可以使它的边缘像素梯度方向有较少噪声。
其次，在方框415，完成广义Hough变换。广义Hough变换是专业人员熟知的用于图像分析的标准工具，它通常可以找到隐藏在大量数据中的图形(它们的位置)。根据给Flickner的US Patent No.5,136,660中描述具体实施该技术的内容，可以知道Hough变换技术的各种一般特性。参照D.H.Ballard在Pattern Recognition，13(2)，1981，pp.111-122中的“Generalizing The Hough Transform To DetectArbitrary Shapes”，可以进一步理解广义Hough变换的应用。此处的基本技术是找到圆形/弧形图形，它在二维或多维的合适参数空间中可以参数化。
具体地说，在方框416，制备对应于圆半径为(R1+R2)/2的[梯度方向，中心偏移]查阅表，其中R1是Circle工具或Arc工具边界评价区的内半径，R2是该工具的外半径(例如，见图6中的623A′和623B′)。这个半径是视频工具查找和测量边缘特征半径的合理估算值。梯度方向是指圆边缘或其部分边缘上的最大梯度方向或标称径向。该查阅表是按照梯度方向编排索引，即，相对于参考轴用度表数示的取向角。
在方框418，计算从方框412和414的操作中得到所有边缘像素(不是图像中任何的其他像素)的梯度方向。在方框420，对于每个边缘像素，利用[梯度方向，中心偏移]查阅表增大2D累加器阵列的小区。具体地说，利用广义Hough变换的直接扩展，增大小区是沿直线段完成的，这个直线段连接当前边缘像素两侧上(沿梯度方向)的两个可能圆中心。利用与查阅表中与计算当前边缘像素梯度方向的中心偏移矢量，计算这两个可能的中心位置。把该矢量相加当前像素的坐标上，可以得到第一个潜在圆中心，而相减可以得到第二个潜在圆中心。考虑两个可能边缘斜率或极性的两侧边缘上两个潜在圆中心，一个圆中心是与沿边缘上扫描方向的上升强度相关，而另一个圆中心是与边缘上的下降强度相关。
利用直线段取代增大累加器阵列的单个小区，可以使这个算法找到圆形或弧形，其半径略微不同于(R1+R2)/2的标称估算值。因此，这个例子中圆形或弧形的Hough变换有效地利用三参数空间：确定位置的2D累加器阵列，和圆半径灵活性(第三个参数)。在2D累加器阵列中产生对应于直线段的数值，代替各个点，可以实现Hough变换。
在方框421，2D累加器阵列(它可以考虑成参数图像)作为阈值，不考虑方框420操作中累积的较小数值的所有其他小区。具有低数值的小区不是在有预期尺寸和形状的特征上。存储原始的和阈值化2D累加器阵列供以后参考。
在方框422，在阈值化2D累加器阵列上运行形态闭合操作(膨胀之后腐蚀)以闭合区域中的开孔。在方框424，按照已知的图像处理方法(区域标记法)，识别阈值化2D累加器阵列中的连接元件(区域)，并标记对应的“像素”以表示它们是特定连接区中的成员。在方框426，基于其标记像素的地址，确定每个连接区的形心，而把对应于(即，叠合的)原始2D累加器阵列中连接区的所有小区数值相加可以得到“投票数”，指出它们与被查找的预期半径和形状是如何的符合。
在方框428，基于它们各自的投票数(每个区中投票数之和)和与当前工具中心的距离，排列所有的连接区(即，候选的圆中心)。例如，投票数和该距离的数值可以归一化成相同的数字范围，然后，对于每个连接区，可以对各自归一化投票数和各自归一化距离求和以给出定量的排列数值。在方框430，重新定位视频工具，使其相关圆的中心放置在有最高排列数值的连接区形心，即，与被视频工具分析的失准特征的最可几中心对准。然后，该例行程序结束。
图5是一个用于找到图像中边缘(边缘像素)的可能例行程序500流程图，它可以在图4A所示一些实施例的例行程序401中方框402和/或在图4B所示一些实施例的例行程序410中方框412中完成。在方框502，例如，利用平均化过滤器使图像平滑化，为的是改进包含高度纹理表面图像的直方图模式。在方框504，计算和平滑化该图像的灰度级直方图。在判定方框506，确定灰度级直方图是否有不同的模式(即，反映像素值的孤立组数值，该数值最通常发生在图像中)。如果是，在方框508，基于直方图模式(自动阈值化)找到阈值，并对图像应用该阈值以产生二进制图像，二进制图像较好地确定对应于直方图中一组或两组孤立数值的不同区(物体或特征)。否则，若在方框506确定灰度级直方图没有不同的模式，则在方框507完成计算梯度图像的操作，例如，利用Sobel算符，并给梯度图像应用合适的阈值以产生二进制边缘图像。
不管二进制图像的确定是利用方框507或508的操作，在方框510，在二进制图像上运行形态闭合操作(膨胀之后腐蚀)，用于闭合不同区(物体或边缘特征)中的开孔。
在方框512，在从操作方框510形成的形态过滤二进制图像中确定连接区，并对连接区进行尺寸过滤，为的是去除小于某个尺寸阈值的任何无关区。在方框514，识别剩余连接区的边界上像素作为边缘像素，该例行程序结束。若利用上述的Sobel算符，它在技术上是剩余连接区的“中心线”，该连接区最佳地对应于图像中的边缘像素。然而，这种连接区非常狭窄，因此，识别其边界上像素作为边缘像素不会严重影响后续操作的结果，该操作利用边缘像素实现本发明的目的。
按照本发明的各种典型实施例，借助于包含计算机可执行指令的自动工具恢复计算机程序实现自动工具恢复方法，该程序可以装入到精密机器视觉检查系统的控制系统部分120(见图2)，可以实践自动工具恢复方法。在各个实施例中，自动工具恢复计算机程序可以包含在控制系统部分120中存储器140的视频工具部分143。恢复程序可以与视频工具相关(合并成每个视频工具功能的整体部分)，或者，它可以与视频工具分开，并在其中任何一个工具失效时被调用。在任何一种情况下，当这种程序是与视频工具的操作相关时，该视频工具变得高度健全，即，它在遭遇到失效之后变得能够自动地恢复。
按照本发明各个典型的实施例，用户可以配置一组自动工具恢复指令。图6是一个用户接口例子的视频显示样本屏幕图，该接口允许用户配置(定制)一组自动工具恢复指令以及Circle工具相对于图像中圆形特征的自动重新定位。在图6中，视频显示屏601包含展示被检查圆形特征602的图像窗口603，消息窗口605，和控制屏面607。控制屏面607包含图像特性值屏面610，它显示基于图像分析计算的相关图像特性值，例如，图像聚焦和亮度，它可用作专业用户的参考。控制屏面607还包含恢复型选择屏面608，容差规定屏面609，和恢复试验命令屏面611。
恢复型选择屏面608允许用户选取由自动工具恢复计算机程序完成的一种或多种调整类型。在所示的例子中，选取4种调整类型：“Light”，“Focus”，“Position(相对于图像特征的工具)”，和“THS(边缘强度阈值)”。因此，形成的自动工具恢复指令组配置成自动完成这些调整类型中的每种调整，例如，上述包含这种调整的各种例行程序。通过改变相关的复选框，用户可以停用这些调整类型中的任何一种，它取决于不同的应用。例如，用户可以停用“Position”和“THS”调整，因此，自动工具恢复计算机程序仅完成“Light”和“Focus”的调整(如果需要)。
容差规定屏面609允许用户规定每种调整类型(例如，图6中的“Light”，“Focus”，“Position”和“THS”)的通用容差水平。具体地说，各种调整类型中的每种调整有可能的设置范围，它可以在恢复过程期间使用，而容差水平有效地规定工具恢复期间内这个范围的百分比。在所示的例子中，容差规定屏面609允许每种容差设置成“Low”，“Medium”，或“High”。“Low”容差意味着，允许利用相对小范围的总可能调整设置，使给定的参数(照明，聚焦，工具位置等)达到可接受的数值。而“High”意味着，允许利用相对大范围的(或整个)可能调整设置，使给定的参数达到可接受的数值。在这个语境下，“容差”意味着，在工具恢复操作期间试图成功地调整各种特征检查参数是，利用给各种参数搜索范围设定的限制。一般地说，低容差的调整往往需要较短的时间周期，这是因为参数搜索范围较小。然而，低容差也表示较高的恢复失效似然性，这是因为它不可能在有限的参数搜索范围内找到合适的参数调整。因此，当用户希望加速自动工具恢复过程并愿意接受增大的恢复失效似然性时，用户可以选取这种调整类型的“Low”容差水平。另一方面，若需要较高概率的有效参数调整，且用户接受调整的参数值可以与引起工具失效的参数值有很大的不同，以及恢复速度可以较慢，则用户可以选取这种调整类型的“High”容差水平。应当明白，利用各种其他格式或接口配件，可以按照各种其他的方法设置容差水平，它不局限于图6所示的具体实施例。例如，代替可以选取的三个选项(“Low”，“Medium”和“High”)，可以给用户提供或多或少的选项。作为另一个例子，容差规定屏面609可以提示用户输入用于规定准确容差值的数字值。
恢复试验命令屏面611可用于运行一组自动工具恢复指令的预先测试特定配置，因此，用户能够评价该配置的功效。例如，用户可以故意地限定和定位工具，例如，图6中所示的Circle工具620是在“不正确的位置”，并故意误调光强设置等，则激励“Recover Circle Tool”按钮，为的是运行该工具和当前配置的自动工具恢复指令。若恢复是成功的，则光强被正确地调整，且其他特征检查参数被正确地调整，该工具就成功地运行，如消息窗口605中“TOOL OK！...”消息所示。重新定位的Circle工具620′与原始Circle工具620一起显示，因此，用户可以在显示图像上看到该工具相对于圆形特征602的初始位置和调整后位置。如图6所示，恢复的Circle工具620′是在这样的位置，它的评价区内半径623A′和外半径623B′包围被检查圆形特征602的边缘。
在本发明的各个典型实施例中，自动工具恢复计算机指令还配置成跟踪它的操作，即，收集如下的信息，什么类型工具已失效，失效多少次，以及对于每次工具失效，需要什么类型调整可以以恢复该工具。可以提供合适数目的计数器以实施跟踪操作。用户可以记录和分析工具失效和恢复的历史，例如，用于研究频繁的工具失效原因。
虽然我们已说明和描述本发明的优选和典型实施例，但可以理解，在不偏离本发明精神和范围的条件下，按照本发明的原理可以在其中进行各种变化。

Claims (1)

1.一种在检查工件的精密机器视觉检查系统中用于自动恢复视频工具的方法，精密机器视觉检查系统包括：获取工件图像的机器视觉检查系统，和控制图像采集操作和图像分析/检查操作的控制系统部分，其中视频工具对工件图像实施预定的图像分析/检查操作，该方法包括：
(a)在检测到视频工具失效之后，基于工件图像的分析，至少评估一个特征检查参数；
(b)对于每个评估的特征检查参数，确定该参数是否落在预定的可接受范围内；和
(c)若在步骤(b)中确定一个或多个特征检查参数是在预定的可接受范围之外，则调整精密机器视觉检查系统的一个或多个特征检查参数，为了使视频工具成功地运行。
CN2005101187849A 2004-10-29 2005-10-28 在视觉系统中用于自动恢复视频工具的系统和方法 Active CN1782661B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/978,227 US7454053B2 (en) 2004-10-29 2004-10-29 System and method for automatically recovering video tools in a vision system
US10/978,227 2004-10-29

Publications (2)

Publication Number Publication Date
CN1782661A true CN1782661A (zh) 2006-06-07
CN1782661B CN1782661B (zh) 2010-04-14

Family

ID=35395973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005101187849A Active CN1782661B (zh) 2004-10-29 2005-10-28 在视觉系统中用于自动恢复视频工具的系统和方法

Country Status (5)

Country Link
US (1) US7454053B2 (zh)
EP (1) EP1653408B1 (zh)
JP (1) JP4933771B2 (zh)
CN (1) CN1782661B (zh)
DE (1) DE602005008857D1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102954760A (zh) * 2011-08-11 2013-03-06 株式会社三丰 图像测量装置和图像测量方法
CN103176793A (zh) * 2011-11-15 2013-06-26 株式会社三丰 包含同步用户界面特征的机器视觉系统程序编辑环境
CN104137147A (zh) * 2011-12-23 2014-11-05 株式会社三丰 机器视觉系统中的使用多个光设置的对焦点操作
CN108805857A (zh) * 2017-04-28 2018-11-13 波音公司 复合材料制造工艺的工艺控制
CN114091498A (zh) * 2020-07-31 2022-02-25 斑马技术公司 优化机器视觉系统的性能的系统和方法

Families Citing this family (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8127247B2 (en) * 2004-06-09 2012-02-28 Cognex Corporation Human-machine-interface and method for manipulating data in a machine vision system
US20130074005A1 (en) * 2004-11-12 2013-03-21 Cognex Corporation System, method and graphical user interface for displaying and controlling vision system operating parameters
US9292187B2 (en) 2004-11-12 2016-03-22 Cognex Corporation System, method and graphical user interface for displaying and controlling vision system operating parameters
US7627162B2 (en) * 2005-01-31 2009-12-01 Mitutoyo Corporation Enhanced video metrology tool
CN100377151C (zh) * 2005-03-11 2008-03-26 鸿富锦精密工业（深圳）有限公司 量测设备离线编程系统及方法
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7724942B2 (en) * 2005-10-31 2010-05-25 Mitutoyo Corporation Optical aberration correction for machine vision inspection systems
US8311311B2 (en) 2005-10-31 2012-11-13 Mitutoyo Corporation Optical aberration correction for machine vision inspection systems
US9208582B2 (en) * 2005-11-02 2015-12-08 Hitachi Medical Corporation Image analyzing system and method
US7567713B2 (en) * 2006-02-08 2009-07-28 Mitutoyo Corporation Method utilizing intensity interpolation for measuring edge locations in a high precision machine vision inspection system
US8103105B2 (en) * 2006-04-26 2012-01-24 Mitsubishi Electric Corporation Object detection device, and object detection device for elevator
WO2007134447A1 (en) * 2006-05-18 2007-11-29 Resonant Medical Inc. Methods and systems for segmentation using boundary reparameterization
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US7570795B2 (en) * 2006-07-18 2009-08-04 Mitutoyo Corporation Multi-region autofocus tool and mode
US7636478B2 (en) * 2006-07-31 2009-12-22 Mitutoyo Corporation Fast multiple template matching using a shared correlation map
US9451928B2 (en) * 2006-09-13 2016-09-27 Elekta Ltd. Incorporating internal anatomy in clinical radiotherapy setups
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
US7769222B2 (en) * 2006-10-27 2010-08-03 Mitutoyo Corporation Arc tool user interface
US7769230B2 (en) * 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
US8249317B2 (en) * 2007-07-20 2012-08-21 Eleckta Ltd. Methods and systems for compensating for changes in anatomy of radiotherapy patients
US10531858B2 (en) * 2007-07-20 2020-01-14 Elekta, LTD Methods and systems for guiding the acquisition of ultrasound images
US8135198B2 (en) * 2007-08-08 2012-03-13 Resonant Medical, Inc. Systems and methods for constructing images
US8085295B2 (en) * 2007-10-26 2011-12-27 Mitutoyo Corporation Controllable micro light assembly
JP5053830B2 (ja) * 2007-12-28 2012-10-24 株式会社竹中工務店 施設稼動シミュレーション装置及び施設稼動シミュレーションプログラム
JP5039570B2 (ja) * 2008-01-09 2012-10-03 キヤノン株式会社 表示装置、映像表示システム、及び表示方法
JP5210643B2 (ja) 2008-01-11 2013-06-12 株式会社ミツトヨ 画像測定装置における照明光量の設定方法および画像測定装置
US8189738B2 (en) * 2008-06-02 2012-05-29 Elekta Ltd. Methods and systems for guiding clinical radiotherapy setups
US8923602B2 (en) * 2008-07-22 2014-12-30 Comau, Inc. Automated guidance and recognition system and method of the same
JP4730412B2 (ja) * 2008-08-12 2011-07-20 ソニー株式会社 画像処理装置及び画像処理方法
US8736751B2 (en) 2008-08-26 2014-05-27 Empire Technology Development Llc Digital presenter for displaying image captured by camera with illumination system
US8111938B2 (en) * 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
DE102009015594B4 (de) * 2009-03-30 2015-07-30 Carl Zeiss Sms Gmbh Verfahren und Vorrichtung zur subpixelgenauen Positionsbestimmung einer Kante einer Markerstruktur in einer Vielzahl von Aufnahmepixeln aufweisenden Aufnahme der Markerstruktur
AU2010262034B2 (en) * 2009-04-30 2013-01-10 Hexagon Technology Center Gmbh An inspection method and an inspection apparatus
US10542962B2 (en) * 2009-07-10 2020-01-28 Elekta, LTD Adaptive radiotherapy treatment using ultrasound
US8111905B2 (en) * 2009-10-29 2012-02-07 Mitutoyo Corporation Autofocus video tool and method for precise dimensional inspection
US8605209B2 (en) 2009-11-24 2013-12-10 Gregory Towle Becker Hurricane damage recording camera system
BR112012013721A2 (pt) * 2009-12-07 2016-03-15 Hiok Nam Tay sistema de imagem de auto-focagem
US8581162B2 (en) * 2009-12-08 2013-11-12 Mitutoyo Corporation Weighting surface fit points based on focus peak uncertainty
US8941726B2 (en) * 2009-12-10 2015-01-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting moving objects from images using foreground extraction
US9248316B2 (en) 2010-01-12 2016-02-02 Elekta Ltd. Feature tracking using ultrasound
US20110172526A1 (en) 2010-01-12 2011-07-14 Martin Lachaine Feature Tracking Using Ultrasound
US8271895B2 (en) 2010-03-22 2012-09-18 Mitutoyo Corporation GUI for programming step and repeat operations in a machine vision inspection system
CN101853393B (zh) * 2010-04-22 2013-02-13 深圳市鼎为科技有限公司 机器视觉系统检测算法的自动产生和自动学习方法
US8194251B2 (en) 2010-08-26 2012-06-05 Mitutoyo Corporation Method for operating a dual beam chromatic point sensor system for simultaneously measuring two surface regions
US8456637B2 (en) 2010-08-26 2013-06-04 Mitutoyo Corporation Multiple measuring point configuration for a chromatic point sensor
US8600188B2 (en) 2010-09-15 2013-12-03 Sharp Laboratories Of America, Inc. Methods and systems for noise reduction and image enhancement
US8588535B2 (en) 2010-09-15 2013-11-19 Sharp Laboratories Of America, Inc. Methods and systems for estimation of compression noise
US8175411B2 (en) 2010-09-28 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for estimation of compression noise
US8532429B2 (en) 2010-09-28 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for noise reduction and image enhancement involving selection of noise-control parameter
US8538193B2 (en) 2010-09-28 2013-09-17 Sharp Laboratories Of America, Inc. Methods and systems for image enhancement and estimation of compression noise
US8648906B2 (en) 2010-10-13 2014-02-11 Mitutoyo Corporation Precision solder resist registration inspection method
US8773526B2 (en) 2010-12-17 2014-07-08 Mitutoyo Corporation Edge detection using structured illumination
US8280172B1 (en) * 2011-03-22 2012-10-02 Mitutoyo Corporation Edge location measurement correction for coaxial light images
US8269830B1 (en) 2011-04-14 2012-09-18 Mitutoyo Corporation Inspecting potentially interfering features in a machine vision system
US9080855B2 (en) 2011-09-23 2015-07-14 Mitutoyo Corporation Method utilizing image correlation to determine position measurements in a machine vision system
US8902307B2 (en) 2011-11-15 2014-12-02 Mitutoyo Corporation Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode
US9223306B2 (en) 2011-11-15 2015-12-29 Mitutoyo Corporation System and method utilizing an editing initialization block in a part program editing environment in a machine vision system
US9167215B2 (en) 2011-11-15 2015-10-20 Mitutoyo Corporation Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode
US8957960B2 (en) 2011-11-15 2015-02-17 Mitutoyo Corporation Machine vision system program editing environment including real time context generation features
US9013574B2 (en) 2011-11-15 2015-04-21 Mitutoyo Corporation Machine vision system program editing environment including synchronized user interface features
US20130162806A1 (en) 2011-12-23 2013-06-27 Mitutoyo Corporation Enhanced edge focus tool
US8937654B2 (en) 2012-08-22 2015-01-20 Mitutoyo Corporation Machine vision inspection system comprising two cameras having a rotational offset
JP5947169B2 (ja) * 2012-09-14 2016-07-06 株式会社キーエンス 外観検査装置、外観検査法およびプログラム
US8689127B1 (en) 2012-11-05 2014-04-01 Mitutoyo Corporation Edge measurement video tool parameter-setting user interface
US9177222B2 (en) 2012-11-05 2015-11-03 Mitutoyo Corporation Edge measurement video tool and interface including automatic parameter set alternatives
US8885945B2 (en) 2012-12-27 2014-11-11 Mitutoyo Corporation Method for improving repeatability in edge location results of a machine vision inspection system
US8995749B2 (en) 2013-03-28 2015-03-31 Mitutoyo Corporation Enhanced edge detection tool for edges of irregular surfaces
US9304089B2 (en) * 2013-04-05 2016-04-05 Mitutoyo Corporation System and method for obtaining images with offset utilized for enhanced edge resolution
US8917940B2 (en) * 2013-04-26 2014-12-23 Mitutoyo Corporation Edge measurement video tool with robust edge discrimination margin
US9235337B2 (en) 2013-05-09 2016-01-12 Mitutoyo Corporation System, GUI and method for editing step and repeat operation instructions in a machine vision inspection system
DE112014002389B4 (de) 2013-05-13 2022-08-04 Mitutoyo Corporation Bearbeitungsumgebung für ein Programm für ein maschinelles Bilderkennungssystem, enthaltend ein betriebskontextbewusstes Kopier-und Einfüge-Merkmal
US9350921B2 (en) 2013-06-06 2016-05-24 Mitutoyo Corporation Structured illumination projection with enhanced exposure control
US9143674B2 (en) 2013-06-13 2015-09-22 Mitutoyo Corporation Machine vision inspection system and method for performing high-speed focus height measurement operations
US9789462B2 (en) * 2013-06-25 2017-10-17 The Boeing Company Apparatuses and methods for accurate structure marking and marking-assisted structure locating
US9456120B2 (en) 2013-07-11 2016-09-27 Mitutoyo Corporation Focus height repeatability improvement in a machine vision inspection system
US9444995B2 (en) 2013-10-11 2016-09-13 Mitutoyo Corporation System and method for controlling a tracking autofocus (TAF) sensor in a machine vision inspection system
US9182583B2 (en) 2013-11-15 2015-11-10 Mitutoyo Corporation Structured illumination microscopy optical arrangement including projection artifact supression element
US10178321B2 (en) 2013-11-27 2019-01-08 Mitutoyo Corporation Machine vision inspection system and method for obtaining an image with an extended depth of field
US9726876B2 (en) 2013-11-27 2017-08-08 Mitutoyo Corporation Machine vision inspection system and method for obtaining an image with an extended depth of field
US20150178484A1 (en) 2013-12-20 2015-06-25 Mitutoyo Corporation Remote Accessory Management in a Programming Environment for a Progammable Metrology System
US9606525B2 (en) 2013-12-23 2017-03-28 Mitutoyo Corporation Remote accessory for generating customized and synchronized reference notes for a programmable metrology system
DE102015208337A1 (de) 2014-06-17 2015-12-17 Mitutoyo Corp. Bearbeitungsumgebung eines maschinellen sichtsystems für ein teileprogramm, in dem ein durchgehender datenstrom von bilderfassungsvorgängen in einem laufmodus ausgeführt wird
US9740190B2 (en) 2014-10-09 2017-08-22 Mitutoyo Corporation Method for programming a three-dimensional workpiece scan path for a metrology system
EP3243166B1 (en) * 2015-01-06 2020-07-08 Sikorsky Aircraft Corporation Structural masking for progressive health monitoring
US9261351B1 (en) 2015-03-04 2016-02-16 Mitutoyo Corporation Chromatic range sensor including high sensitivity measurement mode
US11357149B2 (en) * 2015-05-21 2022-06-07 Fuji Corporation Component orientation determination data creation device and component orientation determination data creation method
US9958266B2 (en) 2015-07-09 2018-05-01 Mitutoyo Corporation Chromatic range sensor including dynamic intensity compensation function
US9602715B2 (en) 2015-07-09 2017-03-21 Mitutoyo Corporation Adaptable operating frequency of a variable focal length lens in an adjustable magnification optical system
US10095214B2 (en) * 2015-08-21 2018-10-09 Processchamp, Llc System and method for joining workpieces to form an article
JP6599697B2 (ja) * 2015-08-31 2019-10-30 株式会社ミツトヨ 画像測定装置及びその制御プログラム
US9830694B2 (en) 2015-08-31 2017-11-28 Mitutoyo Corporation Multi-level image focus using a tunable lens in a machine vision inspection system
JP6599698B2 (ja) * 2015-08-31 2019-10-30 株式会社ミツトヨ 画像測定装置及びその制御プログラム
US9774765B2 (en) 2015-09-15 2017-09-26 Mitutoyo Corporation Chromatic aberration correction in imaging system including variable focal length lens
US9930243B2 (en) 2016-05-02 2018-03-27 Mitutoyo Corporation Variable focal length imaging system
US9736355B1 (en) 2016-05-03 2017-08-15 Mitutoyo Corporation Phase difference calibration in a variable focal length lens system
US9961253B2 (en) 2016-05-03 2018-05-01 Mitutoyo Corporation Autofocus system for a high speed periodically modulated variable focal length lens
US10151962B2 (en) 2016-09-29 2018-12-11 Mitutoyo Corporation Variable focal length lens system with focus monitoring and control
US10142550B2 (en) 2016-11-15 2018-11-27 Mitutoyo Corporation Extending a focus search range in an imaging system including a high speed variable focal length lens
DE102017220101A1 (de) 2016-11-23 2018-05-24 Mitutoyo Corporation Prüfsystem unter Verwendung von maschinellem Sehen zum Erhalten eines Bilds mit erweiterter Tiefenschärfe
US10101572B2 (en) 2016-11-23 2018-10-16 Mitutoyo Corporation Variable focal length lens system with multi-level extended depth of field image processing
US10768404B2 (en) 2017-03-22 2020-09-08 Mitutoyo Corporation Modulation monitoring system for use with an imaging system that includes a high speed periodically modulated variable focal length lens
US10225457B1 (en) 2017-09-06 2019-03-05 Mitutoyo Corporation Stabilizing operation of a high speed variable focal length tunable acoustic gradient lens in an imaging system
US10341646B2 (en) 2017-09-29 2019-07-02 Mitutoyo Corporation Variable focal length lens system with optical power monitoring
US10171725B1 (en) 2017-12-21 2019-01-01 Mitutoyo Corporation Variable focal length lens system including a focus state reference subsystem
US10281700B1 (en) 2017-12-21 2019-05-07 Mitutoyo Corporation Variable focal length lens system including a focus state reference subsystem
US11294363B2 (en) 2018-04-17 2022-04-05 Processchamp, Llc System and method for positioning workpiece in a workstation using an automatic guided vehicle
US10578827B2 (en) 2018-04-27 2020-03-03 Mitutoyo Corporation Variable focal length lens system with quasi-sinusoidal periodic intensity modulated light
US10498948B1 (en) * 2018-06-05 2019-12-03 Applied Materials, Inc. Methods and apparatus for absolute and relative depth measurements using camera focus distance
US10812701B2 (en) 2018-12-13 2020-10-20 Mitutoyo Corporation High-speed tag lens assisted 3D metrology and extended depth-of-field imaging
US11125967B2 (en) 2018-12-26 2021-09-21 Mitutoyo Corporation System and method for calibrating variable focal length lens system using calibration object with planar tilted pattern surface
US10520301B1 (en) 2018-12-31 2019-12-31 Mitutoyo Corporation Method for measuring Z height values of a workpiece surface with a machine vision inspection system
US11313671B2 (en) 2019-05-28 2022-04-26 Mitutoyo Corporation Chromatic confocal range sensing system with enhanced spectrum light source configuration
CN114271031A (zh) 2019-08-30 2022-04-01 株式会社三丰 用于高速计量成像的快速高功率脉冲式光源系统
US10880468B1 (en) 2019-12-19 2020-12-29 Mitutoyo Corporation Metrology system with transparent workpiece surface mode
US11119382B2 (en) 2019-12-20 2021-09-14 Mitutoyo Corporation Tunable acoustic gradient lens system with amplitude adjustment corresponding to z-height as indicated by calibration data
US11249225B2 (en) 2019-12-20 2022-02-15 Mitutoyo Corporation Tunable acoustic gradient lens system utilizing amplitude adjustments for acquiring images focused at different z-heights
US11430105B2 (en) 2020-06-15 2022-08-30 Mitutoyo Corporation Workpiece inspection and defect detection system including monitoring of workpiece images
US11150200B1 (en) 2020-06-15 2021-10-19 Mitutoyo Corporation Workpiece inspection and defect detection system indicating number of defect images for training
US11328409B2 (en) 2020-09-30 2022-05-10 Mitutoyo Corporation System and method utilizing multi-point autofocus to align an optical axis of an optical assembly portion to be normal to a workpiece surface
US11587246B2 (en) 2020-10-30 2023-02-21 Mitutoyo Corporation Metrology system with projected pattern for points-from-focus type processes
US11486694B2 (en) 2020-12-18 2022-11-01 Mitutoyo Corporation Chromatic range sensor system for measuring workpiece thickness
US20230032656A1 (en) 2021-07-29 2023-02-02 Mitutoyo Corporation Chromatic range sensor system including camera
US11756186B2 (en) 2021-09-15 2023-09-12 Mitutoyo Corporation Workpiece inspection and defect detection system utilizing color channels

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0356680A1 (de) 1988-08-11 1990-03-07 Siemens Aktiengesellschaft Optische Aufnahmeeinrichtung für Bildverarbeitungssysteme
JP2761391B2 (ja) 1988-10-04 1998-06-04 オリンパス光学工業株式会社 焦点検出装置
US5136660A (en) 1989-10-13 1992-08-04 International Business Machines Corporation Apparatus and method for computing the radon transform of digital images
US5227830A (en) 1989-11-27 1993-07-13 Olympus Optical Co., Ltd. Automatic camera
DE19727471C1 (de) * 1997-06-27 1998-12-17 Siemens Ag Verfahren zur automatischen Intensitätseinstellung einer Beleuchtung für Einrichtungen zur Lageerkennung und/oder Qualitätskontrolle bei der automatischen Bestückung von Bauelementen
US6753919B1 (en) 1998-11-25 2004-06-22 Iridian Technologies, Inc. Fast focus assessment system and method for imaging
US6665425B1 (en) 1999-12-16 2003-12-16 Xerox Corporation Systems and methods for automated image quality based diagnostics and remediation of document processing systems
US6542180B1 (en) 2000-01-07 2003-04-01 Mitutoyo Corporation Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part
JP4477782B2 (ja) * 2000-01-18 2010-06-09 株式会社ミツトヨ 被測定物のイメージにおける複数選択領域該当箇所の照明調整装置及び方法
US6627863B2 (en) 2000-12-15 2003-09-30 Mitutoyo Corporation System and methods to determine the settings of multiple light sources in a vision system
US7003161B2 (en) * 2001-11-16 2006-02-21 Mitutoyo Corporation Systems and methods for boundary detection in images
JP2004150855A (ja) * 2002-10-29 2004-05-27 Nikon Corp 測定機の光量補正方法及び光量補正装置
US20050207655A1 (en) * 2004-03-22 2005-09-22 Nasreen Chopra Inspection system and method for providing feedback

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102954760A (zh) * 2011-08-11 2013-03-06 株式会社三丰 图像测量装置和图像测量方法
US8995773B2 (en) 2011-08-11 2015-03-31 Mitutoyo Corporation Image measurement apparatus and method of measuring works using edge detection tools
CN102954760B (zh) * 2011-08-11 2016-08-03 株式会社三丰 图像测量装置和图像测量方法
CN103176793A (zh) * 2011-11-15 2013-06-26 株式会社三丰 包含同步用户界面特征的机器视觉系统程序编辑环境
CN103176793B (zh) * 2011-11-15 2017-08-01 株式会社三丰 包含同步用户界面特征的机器视觉系统
CN104137147A (zh) * 2011-12-23 2014-11-05 株式会社三丰 机器视觉系统中的使用多个光设置的对焦点操作
CN104137147B (zh) * 2011-12-23 2017-05-31 株式会社三丰 机器视觉系统中的使用多个光设置的对焦点操作
CN108805857A (zh) * 2017-04-28 2018-11-13 波音公司 复合材料制造工艺的工艺控制
CN108805857B (zh) * 2017-04-28 2023-08-25 波音公司 复合材料制造工艺的工艺控制
CN114091498A (zh) * 2020-07-31 2022-02-25 斑马技术公司 优化机器视觉系统的性能的系统和方法

Also Published As

Publication number Publication date
CN1782661B (zh) 2010-04-14
US20060093205A1 (en) 2006-05-04
DE602005008857D1 (de) 2008-09-25
JP4933771B2 (ja) 2012-05-16
EP1653408B1 (en) 2008-08-13
EP1653408A1 (en) 2006-05-03
JP2006126200A (ja) 2006-05-18
US7454053B2 (en) 2008-11-18

Similar Documents

Publication Publication Date Title
CN1782661B (zh) 在视觉系统中用于自动恢复视频工具的系统和方法
CN101762268B (zh) 用于快速近似聚焦的系统和方法
JP6001305B2 (ja) マシンビジョンシステムにおける潜在的な干渉要素の検査
JP2005055443A (ja) 高度性状加工材料に埋込まれた線群の検査に用いられる画像測定機検査システムの操作方法および画像測定機検査システムのプログラミング方法
CN1904545A (zh) 用于高精度机器视觉测量的测量被遮蔽特征的方法
US7120286B2 (en) Method and apparatus for three dimensional edge tracing with Z height adjustment
CN1699916A (zh) 从由机器视觉检查系统执行的检查操作中排除无关特征的系统和方法
CN1805542A (zh) 在视觉系统中用于编制中断操作程序的系统和方法
JP2020187656A (ja) 画像検査装置
CN114820475B (zh) 边缘识别方法、系统、晶圆加工装置及晶圆与加工台同心状态确定方法
CN112070762A (zh) 液晶面板的mura缺陷检测方法、装置、存储介质及终端
CN117309892B (zh) 一种电池蓝膜的缺陷检测方法、装置及系统和光源控制器
JP2019057211A (ja) 部品計数装置、部品計数方法およびプログラム
CN111665249B (zh) 一种光强调整方法、系统及光学检测设备
CN112322713B (zh) 成像方法、装置及系统及存储介质
CN113727022B (zh) 巡检图像的采集方法及装置、电子设备、存储介质
CN116523882B (zh) 一种基于视觉的光学目标区域准确率检测方法与系统
JP6595800B2 (ja) 欠損検査装置、及び欠損検査方法
JPH09192983A (ja) 工具損耗量計測方法
JP2020187655A (ja) 画像検査装置
CN116626052B (zh) 电池盖板表面检测方法、装置、设备及存储介质
CN112291469A (zh) 成像方法、装置及系统
JP2019197401A (ja) 教師データ作成装置および方法
CN116908183A (zh) 基于变倍环倍数变换的大口径kdp晶体微缺陷快速检测与寻位方法
CN117649542A (zh) 一种基于主动视觉的动车运维机器人自动示教方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant