CN1699916A - 从由机器视觉检查系统执行的检查操作中排除无关特征的系统和方法 - Google Patents

从由机器视觉检查系统执行的检查操作中排除无关特征的系统和方法 Download PDF

Info

Publication number
CN1699916A
CN1699916A CNA200510081748XA CN200510081748A CN1699916A CN 1699916 A CN1699916 A CN 1699916A CN A200510081748X A CNA200510081748X A CN A200510081748XA CN 200510081748 A CN200510081748 A CN 200510081748A CN 1699916 A CN1699916 A CN 1699916A
Authority
CN
China
Prior art keywords
extraneous features
pixel
interest
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200510081748XA
Other languages
English (en)
Other versions
CN1699916B (zh
Inventor
R·M·韦瑟曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Publication of CN1699916A publication Critical patent/CN1699916A/zh
Application granted granted Critical
Publication of CN1699916B publication Critical patent/CN1699916B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

提供用于机器视觉计量和检查系统的系统和方法，从该机器视觉系统的各种检查和控制操作中排除无关图像特特征。该无关图像特征可能与需检查的其它图像特性紧密相邻。该方法包含：获取包括无关特征的图像；定义与由用户接口提供的视频工具相关的感兴趣区域，该视频工具具有一个或多个相关操作；至少在感兴趣区域识别无关特征像素；并且执行与该视频工具相关的一个或多个操作，至少在感兴趣区域，从与该视频工具相关的至少一个操作中排除该识别的无关特征像素。

Description

从由机器视觉检查系统执行 的检查操作中排除无关特征的系统和方法
发明领域
本发明主要涉及机器视觉检查系统，尤其涉及一种从检查操作中排除无关特征的系统和方法。
发明背景
精确的机器视觉检查系统可以用来获得被检测物体的精确的尺寸测量以及用来检查各种其它的物体特征。这种系统可以包括计算机，用户接口，照明系统，摄像机和光学系统，以及在多个方向上可移动的精密载物台，以允许操作者定位摄像机来成像工件的各种特征。在其它事物中，用户界面主要包括在检查图像上可定位的各种图像工具。这样，机器视觉检查系统的用户可以定位并操作视频工具来执行可用于各种控制和检查操作的图像处理操作，而其可以具有很少或者不具有图像处理知识。一种具有这些特征的典型的现有技术系统是商业上可以获得的QUICK VISIONTM系列视觉检查机器并且可以从位于伊利诺伊州(Aurora，IL)的Mitutoyo America Corporation(MAC)获得的QVPAKTM软件，该现有技术系统表征为通用“离线”精确视觉系统的类型，。包括用户接口和各种图象工具QUICK VISIONTM系列的视觉检查机器的特征和操作以及QVPAKTM软件主要描述在例如，2003年1月出版的QVPAK 3D CNC视觉测量机器用户指南和1996年9月出版的QVPAK 3D CNC视觉检测机器操作指南中，这两个指南均在此全部引入作为参考。例如，作为例子的QV-302Pro型产品应用了显微镜型光学系统来提供在各种放大倍率下工件的图像，并且包括所有上面概述的特征。
这种通用“离线”精密视觉系统特征在于它们的多功能性，它们为用户或者自动程序提供了迅速改变他们的配置和成像参数的能力，使得可以在各种类型的物体或者检查工件，或者一个单独工件的不同方位执行多种类的检查任务。
通用精密机器视觉检查系统，例如QUICK VISIONTM系统，通常还是可编程的，并且可操作的提供自动视频检查。通常希望的是，这种系统包括简化这种系统的编程和操作的特征和工具，以致于操作和编程可以由“非专家”操作者可靠的执行。
自动视频检查计量仪器通常具有编程能力，这使得对于每一个特定的工件结构由用户定义自动检查事件序列。编程能力典型地还提供存储和/或输出各种检查操作结果的能力。这种编程可以以预置的方式执行，例如文本编程，或者通过记录模式执行，记录模式是通过存储相应于由用户执行的检查操作序列的机器控制指令来逐渐的“学习”检查事件序列，或者通过两种方法的结合来执行。这种记录方式经常被称为“学习模式”或者“训练模式”。
在任何一个技术中，机器控制指令通常作为部件加工程序存储，该部件加工程序对于特定的工件结构是特有的。这种利用指令生成部件加工程序的能力提供了几个益处，包括增强的检查可重复性，以及在多个可兼容的机器视觉检查系统和/或多次自动执行相同部件加工程序的能力，该部件加工程序在操作的“运行模式”期间自动执行检查操作的预定序列。
上述的典型的QUICKⅥSIONTM系统以及许多其它商业上可获得的通用“离线”视觉系统，典型地采用传统的基于PC的图像采集附件或组件和传统的基于PC的计算机操作系统，例如 Windows操作系统，来提供它们的操作方法，包括在自动聚焦操作序列中的它们的操作方法。
在机器视觉系统中，“掩蔽现象(occlusion)”类问题有时出现，也就是，前景物体干扰背景物体的观察或检查的状况。掩蔽现象问题通常并未由检查和测量工件的通用机器视觉系统所提出。以前并没有容易地可编程的 替换方案。通常，用户必须利用人的判断仔细的量尺寸和放置工具来避免掩蔽物体和/或阴影。在这种情况下，当检查具有前景和背景特征的图像时，例如边缘特征，在图像中紧邻位置，各种工件之间结构上最细微的变化，或者照明和阴影，都将使得经小心定位和训练的工具失效或提供错误的结果。
可选择的，专家们已经设计了各种常规设计的图象滤波处理来去除不必要的图像特征。然而，这种滤波处理也滤掉了期望的图像特征，这在某种程度上改变了它的特征。在许多情况下，这是不和需要的，尤其对于用来检查工件的各种精密计量操作。
作为另一个选择，各种常规设计的区域或边界“生长”和“连接”处理已经被用来“重建”背景物体特征。然而，这种方法执行很耗时，并且需要相当多的知识。此外，这种方法实际创造了人造的特征，而并没有实际增加在图像中可获得的“真实”的信息。因此，这种方法引入了风险，其中这种风险为特定检查操作可能返回主要基于人造特征，而不是基于所了解的真实并且有效的原始图像部分的结果。前面描述的所有方法为质量控制和检查操作提供了差的基础，尤其在目的是提供可靠操作和为相对无经验的操作者提供相对简单的编程环境的通用机器视觉检查系统中。
本发明把注意力贯注在克服上述和其它缺点的系统和方法上。更具体的，本发明把注意力贯注在从由机器视觉检查系统执行的检查操作中排除无关特征的系统和方法上。
发明概述
本发明把注意力贯注在对于机器视觉计量和检查系统的系统和方法上，其为了从机器视觉系统的各种检查操作和控制操作中排除无关图像特征。
当例如平板显示屏幕掩膜的屏幕网格的一个栅格在图像中作为前景物体被看到时，就出现了无关图像特征的一个例子。在这种情况下，栅格可以掩蔽待检查的背景物体或图像。当前景物体例如栅格掩蔽背景物体时，在图像中产生常见(frequently)的强“边缘”。然而，这些边缘经常不被认为属于背景物体的特征。也许，它们可能是被认为是属于前景物体的特征。然而，也存在一种很大的可能性，即把阴影的边缘作为物体的布置和照明的人造因素引入到背景物体上。人们可以迅速辨别出这个。然而，对于机器来说是不容易的。由于真实的背景物体特征和很强的前景物体或阴影边缘可能在图像中紧密邻近，因此难于从试图测量背景物体真实特征的操作中排除前景物体或阴影边缘。
本发明的多个实施例的一个方面是没有滤波或者其它图像修正被执行在需检查特征的区域中“非排除”原始图像数据上。本发明的多个实施例的另一个方面在于，与由机器视觉系统的用户接口提供的视频工具相关的感兴趣区域可能包含一个或多个需检查的特征区域，以及具有排除数据的区域，使得视频工具容易使用并且 坚强的抵制在需检查特征和无关图像特征之间的间隔中的合理预期的变化。
在本发明的多个实施例中，无关图像排除操作集中在定义机器视觉系统操作的感兴趣区域，以致于机器视觉系统的特征测量或表征化操作操作相似，无论在相关的感兴趣区域是否存在排除数据。当机器视觉系统运行在对于重复的自动工件检查有用的用来生成零件加工程序的学习或训练模式时，各种用户接口特征和方法被提供来执行和利用无关图像特征排除操作。当检查平板显示器，或者在其生产中采用的组成图案的屏幕印刷掩膜时，其中经常有需检查的掩蔽特征，本发明是有特别有用的。
根据本发明的另一个方面，该系统通过多种方法的任何一种识别无关图像特征像素，并且在一个实施例中从由计量和分析工具执行的操作中排除这些像素。
根据本发明的另一个方面，工具的感兴趣区域可以被定位而无需考虑无关图像特征(也就是，因为将从分析中排除无关图像特征像素)。这也就是，例如，感兴趣区域可以横跨无关图像特征和一个或多个有效边缘部分。这大大简化了对于这种应用的工具使用。
根据本发明的另一个方面，系统在包含无关图像特征之外的有效图像数据的图像部分上不执行信息变更形态学的操作。这样就在其最完整形式中保存了原始工件信息。在一个实施例中，无关图像特征定位操作并不同时改变“非无关图像特征”信息。在一个实施例中，一个像素或多个像素的完全排除优于修正和参杂(inclusion)。
根据本发明的另一个方面，系统以一种方式执行无关图像特征排除，这种方式允许标准的，或接近标准的多种图像计量工具的模型来操作包括无关图像特征的图像。这导致避免“工具增殖(tool proliferation)”和对于相关操作者训练的需要，因此使得整体系统更容易使用和维护。
附图的简要描述
当与附图结合，通过参考下面的详细描述本发明前述的方面和许多附带的优点将更容易被认同并且更容易理解。
图1是典型的通用机器视觉和检查系统的示意图；
图2是典型的工件和需检查特征的示意图，其包含平板显示屏幕掩膜的覆盖栅格；
图3是图2中典型工件和特征的示意图，欺显示了选定边缘部分；
图4是方框图，更详细的显示了图1中机器视觉检查系统的控制系统部分和视觉组件部分的一个典型实施例；
图5是图2中典型工件和特征的示意图，其中去除了无关数据；
图6显示了中间的伪图像(pseudo-images)，其说明用来识别相应于特定类型无关特征的像素的第一类形式的方法的一个实施例；
图7显示了中间的伪图像，其说明用来识别相应于特定类型无关特征的像素的第二类形式的方法的一个实施例；
图8是图5中典型工件和特征的放大部分的示意图，进一步说明了在特征的边缘部分利用的划线工具；
图9是由横跨图8的划线工具获得的图像亮度值示意图
图10是图5典型工件和特征的示意图，说明了表示边缘定位的框，弧和点工具的GUI窗口小部件以及自动聚焦工具的典型实施例；
图11是包含框工具的图10的典型工件和特征的放大部分的示意图；
图12是图11放大部分的示意图，进一步说明了框工具操作；
图13是流程图，说明对于通用精密机器视觉系统编程和运行一组检查操作的程序的一个典型实施例；
图14流程图，说明排除相应于无关特征的无关像素数据的程序的一个典型实施例；
图15是程序的一个典型实施例的流程图，该程序提供目标为在感兴趣区域内被检查的特征的操作结果；
图16是程序的一个典型实施例的流程图，该程序对目标为在感兴趣区域的被检测特征的操作提供在感兴趣区域中定义的标称扫描行的可操作部分；
图17是GUI框工具窗口小部件和控制窗口小部件的实施例，其可用来选择掩膜模式和与无关特征识别和排除操作相关的操作；
图18是GUI工具栏窗口的典型实施例的示意图，其包括无关特征识别模式按钮或窗口小部件；以及
图19是流程图，其说明了执行学习/训练模式的程序的典型实施例。
优选实施例的详细描述
图1是根据本发明的通用可编程机器视觉检查系统10的一个典型实施例的结构图。机器视觉检查系统10包括视觉测量机200，其可操作的与控制系统100连接来交换数据和控制信号。控制系统100还可操作的与监视器111、打印机112、操纵杆113、键盘114、和/或鼠标115中的一个或多个连接，以实现交换数据和控制信号。视觉测量机200包括可以移动的工件台210和光学成像系统205，光学成像系统可以包括变焦透镜或若干可互换透镜。变焦透镜或可互换透镜通常为由光学成像系统205提供的图像提供多种放大率。
操纵杆113典型地可以用来控制可移动工件台210在X和Y方向的移动，其通常平行于光学成像系统205的焦平面，并且平行于在Z或聚焦方向上可移动的光学成像系统205的移动方向组件。经常，控制Z轴的偏转是操纵杆113的手柄或球形捏手的旋转偏转组件。操纵杆113可以提供为除了所示出的其它形式，例如监视器111上的任何视觉表示或窗口小部件，它们的目的是起到机器视觉检查系统10的“视觉运动控制装置”的作用，并且通过任何计算机输入装置，例如鼠标或者类似物，是可操纵的。
图2是通用机器视觉检查系统的显示区300部分的示意图，其显示了待检查的典型的工件和特征，其中包括平板显示屏幕掩膜的覆盖栅格。如图2所示，显示区300是标准的640×480摄影像素格式，并且由平板显示屏幕掩膜的重复栅格图案304所覆盖。在一个实施例中，在检查前了解栅格304的标称尺寸，布局和一般定位，尽管在下面将进行更详细的描述，这种信息对于检查过程不是必要的。并且，在栅格304的下面是背景层302，其包含基底，组成图案的薄膜，或者其它表面，并且通常包括非测量过程焦距的图像信息。工件上的待检测物体包括痕迹320和330，这将在下面将进行详细的描述。如也将在下面详细描述的，栅格图案304使得检查过程变复杂，原因在于栅格本身固有的具有很强的交错边缘特征，这就使痕迹320和330边缘部分的确定和评估变得复杂。
图3是显示了图2中典型工件和特征的显示区300A的示意图，说明了选定的特征的边缘部分。如图3所示，显示区300A为了说明的目的人工使其变亮，目的是更好的强调痕迹320和330。背景层302通过栅格304的开孔部分是可见的。应当理解的是尽管在这里讨论栅格类物体304，但是本发明的方法可以应用到任何类型的无关的前景或背景物体上。一个栅格部分304A被示出位于背景层302的部分的上方，而另一个栅格部分304B被示出位于痕迹320的部分的上方。一系列大的椭圆340被示出通常环绕痕迹320和330的边缘部分。大的椭圆340包括了较小的圆342，其强调了痕迹320和330边缘部分的相关部分。圆350也被示出环绕痕迹330的圆形末端。圆350包括较小的圆352，其环绕并强调痕迹330的相关边缘部分，这可以被应用在例如确定边缘(例如，作为确定弧的半径或痕迹330圆形末端部分的直径的部分)的操作中。
在一个实施例中，在痕迹320两边上的两个大椭圆340中的图像信息可以被用在操作中，例如确定痕迹320边缘之间的间隔(也就是，宽度)。较小的圆342显示出执行这种操作的典型的有效数据区域。可以理解的是，尽管较小的圆显示出可以利用的有效数据区域，但是在大的椭圆340内还可以存在其它有效数据区域。如在下面将详细描述的，经常所不希望的是试图重建痕迹的非可见部分，相反优选的是从可获得的数据中获得精确的量度。换句话说，对于测量操作所不希望的是试图重建完整物体的视觉表示，因为在一些情况下任何遗漏部分的推断可能包括关于物体边缘的一定误差。
如在下面将要详细描述的，相似于大椭圆340和圆350，根据本发明，可以利用视频工具，其可以包围需检查特征的一个或多个区域，以及具有排除数据的区域，这样使得视频工具容易使用，并且坚强的抵制在需检查特征和无关图像特征之间的间隔中合理的预期变化。如在下面将要详细描述的，无关图像排除操作可以集中在定义机器视觉系统操作的感兴趣区域中，以致于机器视觉系统的特征测量或特征化操作相似的操作，而不管是否在感兴趣区域存在排除数据。
图4是方框图，其更详细的显示了图1中机器视觉检查系统的视觉组件部分200和控制系统部分100的一个典型实施例。如图4所示，控制系统部分100控制视觉组件部分200。视觉组件部分200包括光学组件部分250，光源220、230和240，以及具有中心透明部分212的工件台210。工件台210沿X和Y轴可操纵的移动，X和Y轴位于基本上平行于载物台表面的平面中，该载物台表面是工件20定位的平面。光学组件部分250包括摄像系统260，可互换物镜252，透镜旋转盘组件280和同轴光源230。光学组件部分250通过利用可操纵电机294可操纵的沿与X和Y轴基本上正交的Z轴移动。
可以利用机器视觉检查系统10成像的工件20放置在工件台210上。光源220、230或240中的一个或多个分别发出用来照亮工件20的光线222、232、或242。由光源220、230和域240发出的光线照亮工件20，并作为工件光255被反射或透射，其穿过可互换物镜252和透镜旋转盘组件280的透镜286或透镜288中的一个，并由摄像系统260收集。工件20的图像由摄像系统260捕获，该图象通过信号线262输出到控制系统部分100。
用来照亮工件20的光源220、230、和240可能包括载物台光源220、同轴光源230和表面光源240，例如环形照明器或可编程环形照明器，并可以分别通过信号线或总线221、231、和241连接到控制系统部分100。作为光学视觉检查系统10的主要光学组件，光学组件部分250除了包括前面讨论过的组件外，还可以包括其它透镜和其它光学元件，例如，光圈、分光器以及其它类似物，例如为了提供同轴照明或其它希望的机器视觉检查系统特征所需要的。控制系统部分100响应于信号线或总线281上传输的控制信号，在第一和第二透镜旋转盘位置之间沿轴284旋转透镜旋转盘组件280。
工件台210和光学组件部分250之间的距离可以调整来改变由摄像系统260捕获的工件20的图像的焦距。更具体的，在机器视觉检查系统10的各种典型的实施例中，光学组件部分250利用可操纵电机294在相对于工件台210的垂直Z轴上是可移动的，其中电机294驱动执行机构、连接电缆或者类似物，以使光学组件250沿Z轴移动。这里用到的术语Z轴，指的是试图用来聚焦由光学组件部分250获得的图像的轴。当使用可操纵电机294时，可操纵电机通过信号线296与控制系统部分100连接。
如图4所示，在各种典型的实施例中，控制系统部分100包括：输入/输出接口110；控制器120；存储器130；运动控制电路、程序或应用软件132；照明控制电路、程序或应用软件133；视频工具电路、程序或应用软件143；感兴趣区域生成电路、程序或应用软件150；无关特征识别和显示电路、程序、或应用软件160；工件程序生成和执行电路、程序或应用软件170；CAD文件特征提取电路、程序、或应用软件180；以及电源部分190。应该可以理解的是这些组件可以包含硬接线的电路、软件电路、子程序、对象、操作、应用程序设计接口、管理程序、应用程序、或任何其它已知或之后开发的硬件或软件结构。进一步可以理解的是控制系统100的每个元件，以及下面描述的附加元件，可以由一个或多个数据和/或控制总线和/或应用程序接口195互相连接。
控制系统部分100可用来确定图像获取设定值或参数和/或获取工件20的图像，以致于工件20的输入图像在包括需检查工件特征的感兴趣区域中具有所希望的图像特征。在各种典型的实施例中，当用户根据本发明利用机器视觉检查系统10建立工件20的工件图像获取程序时，用户可以生成工件程序指令，其或者通过利用工件程序设计语言自动、半自动或者手动的明确的编辑指令，或者通过这样生成指令，即通过移动机器视觉检查系统100经过图像获取训练序列，以致于工件程序指令捕获训练序列来产生指令。具体而言，这些指令将使得机器视觉检查系统操作工件台210和/或摄像系统260，以致于工件20的特定部分位于摄像系统260的可视范围内，并会提供所希望的放大倍率，所希望的焦距状态以及所希望的照明。这个过程可以对于检查工件捕获到的一系列的图像的多个图象重复进行。
在多个典型实施例中，对于每个所希望的图像，控制系统部分100将命令摄像系统260去捕获工件20的图像，并将捕获到的图像输出到控制系统部分100。具体而言，捕获到的图像是从摄像系统260通过输入/输出接口110被输入，并在控制器120的控制下被存储在存储器130中。控制器120还可以使得被捕获的图像显示在显示装置102的其中一个上。
控制系统部分100还可用来在这样的工件检查图像中检查工件特征，并且存储和/或输出检查结果。在各种典型的实施例中，当用户根据本发明利用机器视觉检查系统10建立工件20的工件图像获取程序时，用户可以生成工件程序指令，其或者通过利用工件程序设计语言自动、半自动或者手动的明确编辑指令，或者通过这样生成指令，即通过移动和/或控制机器视觉检查系统100经过图像检查训练序列，以致于工件程序指令捕获训练序列来产生指令。
具体而言，这些指令将使得机器视觉检查系统10在图像上执行各种检查操作。各种已知的，将在下面详细描述的机器视觉系统“工具”，可以存储在视频工具组件143中，并且能够用来执行各种前述的操作。对于各种检查操作有用的一些视频工具的例子公开在美国专利申请09/736,187，09/921,886以及美国专利6,542,180中，这些中的每一个都在此整体引入作为参考。对于用来检查工件20的一系列图像的多个图像可以重复这个处理。
一个或多个显示装置102(例如，图1中的监视器111和打印机112)以及一个或多个输入设备104(例如，图1中的装置113-115)可以与输入/输出接口110连接。显示装置102和输入装置104可以用来观看、生成和/或修改部件加工程序，观看摄像系统260捕获的图像，和/或直接控制视觉系统组件部分200。在一个具有预定工件程序的全自动系统中，可以忽略显示装置102和/或一个或多个输入装置104。
载物台光源220、同轴光源230和表面光源240的信号线或总线221、231和241也可以分别连接到输入/输出接口110上。透镜旋转盘组件280的控制信号线或总线281也可以连接到输入/输出接口110上。来自于摄像系统260的信号线262和来自于可控制电机294的信号线296也可以连接到输入/输出接口110上。除了传送图像数据，信号线262可以传输来自于启动图像获取的控制器120的信号。
光源控制电路、程序或应用软件133包括光源控制元件133A-133N，其对机器视觉检查系统的各种相应光源的选择、供电和开/关定时进行控制，该相应光源例如光源220、230和240。移动控制电路、程序或应用软件132可以包括位置控制元件和/或速度/加速度控制元件。在各种典型的实施例中，这些元件可以合并和/或是不可区分的。
在各种典型的实施例中，存储器部分130可以包含数据，该数据定义了通过输入/输出接口110可操作的图形用户接口。这个实施例由例如前面讨论的QUICK VISIONTM系列视觉检查机和QVPAKTM软件作为例子。存储器部分130还可以存储数据和/或“工具”，其用来操作视觉系统组件部分200捕获或获取工件20的图像，以致于获取的工件20的图像具有所希望的图像特征。为了这个目的，存储器部分130可以包括视频工具电路、程序、或应用软件143，其包括数据和/或视频工具143A-143M，用来操作机器视觉检查系统100在所获取的图像上手动或自动的执行各种检查和测量操作，并通过输入/输出接口110输出结果。在一个实施例中，工具143A-143M可以对于每个相应的工具确定GUI图像处理操作等。感兴趣区域生成电路、程序或应用软件150可以支持自动，半自动、和/或手动操作，其定义了包括在视频工具部分143的各种视频工具中可操作的感兴趣区域。
各种已知的图像处理和/或特征分析或检查工具143可以用来辅助执行各种检查操作。这些工具可以包括例如，形状或图形匹配工具、边缘和/或边界检测工具、圆周和尺寸测量工具、以及类似工具。在根据本发明的精密机器视觉检查系统中这些视频工具的使用的示例在下面参考图10进行详细描述。
在一个实施例中，视频工具电路、程序或应用软件143能够调用感兴趣区域生成电路、程序或应用软件150，尽管可以理解的是感兴趣区域生成电路、程序或应用软件150可以独立于视频工具电路、程序或应用软件143操作。在一个实施例中，感兴趣区域生成电路、程序或应用软件150定义感兴趣区域成为所提取的工具内的区域的子集，这在一个实施例中可以包含视频工具内的内部区域(例如，内部框或圆)。
如前面说明的，在根据本发明的各种典型实施例中，感兴趣区域生成电路、程序或应用软件150包括或调用操作，这种操作是为了辨别出传给视频工具成像处理算法的有效数据。执行与各种视频工具相关的多组操作的多种算法可以以通常的方式操作。换句话说，许多当前视频工具的操作和成像处理算法已经构造成可以确保或确认操作的特定方面，该操作的特定方面对于从它们使用的算法提供有效测量结果或控制指令是关键的，例如是否沿扫描线存在足够像素，或者足够的反差，等。因此，在各种典型实施例中，其中感兴趣区域生成电路、程序或应用软件150定义视频工具接受或操作的有效数据，视频工具能够根据对于“未检查过的(unscreened)”图像数据使用的操作相同的操作，并且它会照例产生有效的测量或者失效和/或设置一错误标记。当然，此外，视频工具在他的操作中不会受任何边缘或者其它图像特征的干扰，这些其它图像特征是无关数据的一部分，因为数据被从由感兴趣区域生成电路、程序或应用软件150传送到图像工具的地址或数据中排除。
总之，在各种实施例中，感兴趣区域生成电路、程序或应用软件150不仅确定关心像素，还基于标准排除了一些非关心像素，该标准是根据上述考虑定义的无关或者非关心像素。此外，在一个实施例中，无关像素(例如，重复栅格图案304像素)由无关特征识别和显示电路、程序、或应用软件160识别出。下面将更详细的描述感兴趣区域生成电路、程序或应用软件150，无关特征识别和显示电路、程序、或应用软件160以及视频工具电路、程序或应用软件143。
无关特征识别和显示电路、程序、或应用软件160可用来对于工件图像生成和/或应用各种无关特征识别、排除和显示操作，其中该工件图像具有要从各种图像处理操作中排除的无关特征。在各种典型实施例中操作者选择或生成一个或多个参数或部件加工程序指令来确定可用在无关特征识别和显示电路、程序或应用软件160中的无关特征识别操作和/或参数。在各种其它的典型实施例中，为操作者提供了一个或多个预先确定的无关特征识别操作，该操作者选择一个或多个要应用的预先确定的无关特征识别操作。在根据本发明的各种实施例的任何一种情况下，无关特征识别操作由无关特征识别和显示电路、程序、或应用软件160施加到捕获的图像上。无关特征识别和显示电路、程序、或应用软件160在控制器120的控制下，向存储器130提供操作结果和/或直接向一个或多个图像处理或分析操作输出结果，这些图像处理或分析结果施加到所捕获图像的所希望的检查特征上，例如由视频工具电路、程序或应用程序143提供的图像处理或分析操作。
在根据本发明的多个典型实施例中，其中一组或多组预先确定的无关特征识别操作被提供给操作者，用户可以基于其对于特定工件的功效选择这些预先确定的无关特征识别操作中的任意一组。此外，无关特征识别操作的选定组可以由一个或多个可选择的参数支配，以致于无关特征识别操作的选定组可以被定制来为特定类的工件提供最可靠的操作和准确结果。这种可选择的无关特征识别操作和参数允许相对不熟练的操作者改变无关特征识别操作的操作来生成健壮运行的工件特有的部件加工程序，而不需要操作者学习或懂得相对复杂的图像处理操作。在各种实施例中，可选择的无关特征识别操作组可以在操作训练模式期间或在部件加工程序设计的任何可选择类型期间被选择为半自动或者手动。在各种其它典型实施例中，可以使用默认的无关特征分析和/或识别操作和参数组。一旦确定了一个或多个分析参数的合适值，就启动工件程序生成和执行电路、程序或应用软件170来为转换分析参数的确定值生成部件加工程序指令。
工件程序生成和执行电路、程序或应用软件170可用来生成部件加工程序，这是基于操作者输入和/或机器视觉检查系统10的视觉测量机器200的操作者操纵生成的。工件程序生成和执行电路、程序或应用软件170可以被用来利用部件加工程序语言生成部件加工程序和/或当机器视觉检查系统10设置在训练模式时基于视觉测量机200的操纵来捕获视觉测量机器200的操纵并生成部件加工程序指令。
如果执行CAD文件特征提取电路、程序或应用软件180，它可用来分析工件定义文件(workpiece definition file)，例如CAD文件和类似的文件，来提取关于线型特征，平面等的几何信息，包括从工件定义文件中由各种图像处理操作排除的无关特征的标称形状(nominal shape)和/或布局。这些提取出的特征随后可以用来为辅助编程和/或检查工件确定和/或定义位置、尺寸、和约束条件。这些约束条件包括，例如一对线之间的间隔、一对线之间的交叉角、线和工件一些其它特征之间的间隔和/或线和工件一些其它特征之间的角度。
CAD文件特征提取电路、程序或应用软件180对例如CAD文件的信息起作用，该CAD文件表示工件或实质相同的工件的前一个图像，其常常在机器视觉检查系统的工业应用中获得。关于CAD文件表示(CAD representation)，应当理解的是CAD文件表示的边缘和边界的位置可以通过多种已知的CAD文件特征提取方法从CAD文件表示中以手动、半自动方式或完全自动方式确定。在这种情况下，在相应工件检查图像的当前组中相应边缘和边界的空间位置可以由更多的已知手动、半自动或自动空间叠合和/或特征叠合图像处理方法确定。这些方法可以包括，例如，坐标匹配、图像匹配、模板匹配等等。例如，在多种商业上可获得的机器视觉检查系统中这些方法常规的用来检查工件上的边缘和边界的位置，例如上面讨论过的QUICK VISIONTM系列视觉检查机器和QVPAKTM软件。应当理解的是，CAD文件特征提取电路、程序、或应用软件180是可选的，因此在根据本发明的多种典型实施例中可以省略，并且特别是在不需要确定或使用基于几何信息的线相关约束条件的实施例中，或者如果需要检查的工件表面的电子文本不存在和/或不会被用来识别或分离工件图像中的线。
图5是显示区域300B部分的示意图，其包括已经去除了无关数据(例如，重复栅格图案304)的图2中的典型工件和特征。如图5所示，背景层302和痕迹320和330不再由重复栅格图案304覆盖。如在下面将更详细描述的，根据本发明，当执行去除无关数据的操作时，例如已经在显示区域300B中执行的，所希望的是不仅去除无关结构，还有由于无关结构存在于图像中的任何阴影。因此，这种阴影包含在这里的多个实施例和/或应用中去除的部分无关特征和无关数据。
在图5中，白色区域是被识别为无关数据(例如，重复栅格图案304)并去除的区域。存在许多情况，其中所希望的不仅是去除前景结构的物理界限(也就是无关结构)，还有任何阴影。换句话说，当这些特征在前景时，照明可能在特征周围产生阴影，并且这些阴影可以提供取决于工件的结构和在机器视觉系统中使用的光源的类型的相当强的边缘。应当指出的是，如果CAD数据已经预先指出无关图像特征的预测位置，这取决于用户如何布置照明系统，阴影实际上可以改变图像中无关图像特征的位置，以致于它不会在CAD数据预测出现的位置出现。如下面将详细描述的，所希望的是利用去除无关数据(例如，重复栅格图案304)的方法，其也提出(address)了由阴影产生的任何问题。在一定的其它情况下，阴影可能不是问题，其中可以使用情况更简单的方法(例如，纯分析方法)。换句话说，如果无关图像特征在图像中特别好的表现并且不具有照明并发或其它问题，在无关图像数据假定如何出现上基于模型的CAD数据可以用来作为从图像中去除无关图像特征的分析方法的主要部分。换句话说，如果无关数据是特别确定的，有时它可以通过纯分析方法去除。为了去除无关数据，这种分析方法可以仅需要旋转或别样的操纵无关图像特征图案到其适当的方位。
如前面记载的，在执行边缘检测之前，存在多种方法可以被采用来从显示区域300B数据中识别和去除无关图像数据，例如栅格图案304。
图6显示了说明第一类形式方法的一个实施例的中间图像或伪图像，该方法可用来在根据本发明的各种实施例和/或应用中识别和去除特定类型无关特征数据，如在图2中示出的平板显示屏幕掩膜图像显示的。简要的，第一类形式方法包括利用阈值方法在图像中识别相应于无关像素的区域，以及利用形态学方法来滤波和/或平滑区域边界的不规则部分。
对于图6中示出的结果采用的方法的实施例不需要工件无关特征的特性的先验知识。当图像中的无关数据具有相对一致和/或极端的(高或低)亮度值时，它特别有效。例如，当工件是下面的类型时，可能经常是这种情况，该类型是可以利用载物台光源或类似的照明来从背后照亮各种有效和/或无关特征，因此在图像中可以以很强的亮度对比显示。
伪图像600-A由从图2中示出的图像确定，并且通过确定亮度阈值产生出来，例如大约双峰亮度分布峰值之间的亮度值，并且赋予所有具有低于阈值的亮度的像素零值，所有其它的像素一值。如在图600-A中“模糊”部分示出的，这种阈值操作不可以识别所有无关(白)像素，并且已知图像处理操作可以增强图600-A中显示的结果。
伪图像600-B显示了结果，该结果来自于应用侵蚀(erosion)操作，接着第一闭合操作(接着侵蚀的膨胀)，接着膨胀操作，接着第二闭合操作，接着最终膨胀操作。例如，侵蚀操作可以包括赋予每个像素一值，该值相应于8个连接邻域最小像素值(0，对于二进制图像)。膨胀操作可以包括赋予每个像素一值，该值相应于在它8个连接邻域中的最大像素值(1，对于二进制图像)。如在图600-B中看到的，操作已经几乎无例外保守的识别了整个图像的无关图像数据(白栅格)。
应该理解的是，当在二进制图像中无关数据用“1”表示的时候，执行一个或多个最终膨胀操作是一种方法，该方法在无关数据边缘提供了“缓冲区”，目的是增加可能性，该可能性是都保守的包括了相应于无关物体的所有像素。这些操作还易于向无关图像数据增加相应于阴影和/或其它图像人工因素的邻近图像像素。应当理解的是根据本发明的各种无关图像数据排除方法的一个强项在于即使一些有效像素增加到需排除的无关图像数据中，剩余的有效像素在任何情况下都不会改变。因此，增加这种缓冲区域的仅有的潜在负面结果是有限数量的有效像素被排除了。对于大多数检查图像来说，这不是很重要的问题。因此在根据本发明的多个典型实施例中，在一组“最佳估计”无关图像数据的所有边界增加缓冲区域的一些像素宽，目的是使该组无关图像数据更加可能的包括所有无关图像数据。上面概述的可以用在识别根据本发明的各种实施例中的无关特征数据的多种图像处理操作以及各种其它图像处理操作可以在图像处理文献中找到，例如在1995年McGraw Hill由Ramesh Jain等人写的机器视觉(Machine Vision)中，该文献整体引入这里作为参考，。
图7显示了说明第二类形式方法的一个实施例的中间图像或伪图像，该方法可用来在根据本发明的各种实施例和/或应用中识别和去除特定类型的无关特征数据，如在图2中示出的平板显示屏幕图像上表示的。简要的，如对于在图7中示出的结果采用的方法，利用工件的先验知识在分析上确定相应于图像中无关像素的区域。例如，先验知识可以由下述确定，即工件规格，或CAD文件，和/或初步图像特征测量，和/或初步图像特征表征，例如工件无关特征的一个或多个特性的模板或类似物。
用来确定图7中示出的结果的实施例开始于上面描述的伪图像600-A。伪图像模板700-A是一图像部分，该部分包含在伪图像600-A中发现的重复特征的选定实例。这种图像部分可以由例如训练模式过程中的机器操作员定义。在这种情况下，该模板包括无关栅格图案304的典型交叉。
伪图像700-B显示了基于模板700-B和伪图像600-A由确定标准化互相关矩阵获得的结果。在伪图像700-B中更高亮度相应于更好的相关。标准化互相关方法，和可用的可选择模板匹配方法描述在由L.G.Brown 1992年发表在ACM Computing Surveys，第24卷第4期，第325-376页的“A Survey of ImageRegistration Techniques”中，该文献在这里整体引入作为参考。无关栅格图案304的各种交叉的位置由伪图像700-B中的亮度峰值清楚的表示。
下面，在各种实施例中，每个峰值的有效中心或质心由多种已知方法中的一种确定。例如，阈值可以应用到伪图像700-B，如先前对于伪图像600-A描述的，并且可以确定在作为结果的二进制图像中相应于相关峰值的“岛屿”的质心。于是，当无关图像特征包含线的栅格时，多数的线与中心或质心保持一致。线段拟合可以依赖于栅格线的定向和/或标称间隔，或类似物的先验知识。在各种典型实施例中，线可以被套在有限量的点上，这些点是在图像局部区域，例如对于定义的检查操作的感兴趣区域。在任何情况下，应当理解的是在该典型实施例中，线以相应于任何变形的方式定位，该变形可以存在于特定图像的栅格中。
下面，基于先验知识，与中心或质心保持一致的线被给定了相应于无关特征上标称线宽度的宽度，例如标称线宽度的规格或量度。在各种实施例中，具有标称宽度的线是根据本发明排除的无关图像数据。图像700-D显示了叠合在图2中所示的部分图像上的这种分析上确定的无关图像数据的表示。
一般地说，当无关图像特征包含可以基于先验知识表征的可识别标称几何特征时，例如规格或者量度，几何特征可以以相对于一个或多个相关峰值位置合适的方式被标称的配合或定位，该峰值位置以类似于上面概括的方法的方式确定。在各种实施例中，这种标称配合或定位的标称几何特征是根据本发明需排除的无关图像数据。不管需排除的无关图像数据的形状，在各种典型实施例中，缓冲区域可以被增加到无关图像数据中，如在此之前描述的。
不管采用前述的哪一类形式方法，在特定检查操作期间从检查图像数据中都可以识别和排除作为结果的无关像素。例如，原始图像数据可以用无关栅格图案“掩盖”。当用这种情况下时，术语“掩膜(mask)”或“掩膜(masking)”是指特定图像数据操作的动词。在这里各种图案中示出的工件碰巧是“屏幕掩膜”时才是一致的。应当理解的是术语数据和/或图像掩盖、去除、排除、免除等在这里都是非特定应用并且近似同义，来表示无关图像数据和/或图像部分被标记、标志、“阻塞访问”、排除或其他使得其对于根据本发明的特定图像分析操作是不可用。
在根据本发明的多个典型实施例中，至少每个前述第一和第二类形式方法的一个实施例包含在图4中示出的无关特征识别和显示电路、程序或应用软件160中，其中前述第一和第二类形式方法可用来识别和去除特定类型无关特征数据。在这个实施例中，机器视觉检查系统10的GUI或其它用户接口提供了一个或多个在手工或者训练模式操作中用户可操作的特征，用来选择和/或调整该第一或第二类形式方法的任何一个和/或它们相关的控制参数或控制次操作，例如阈值确定控制参数、模板确定次操作、或类似的操作。
如图5示出的，在根据本发明的各种典型实施例中，一规定组的无关图像像素可以由显示区域表示，其中已经去除了无关图像像素或图像数据(例如，重复栅格图案304，或类似的)，以致于作为排除数据识别的图像部分，以及剩余有效图像数据的外形和内容对于机器操作者是很明显的。这样一种显示对于无关数据去除操作结果的观察和/或确认或认可是有用的，并且对于随后操作者的特征检查操作定义也是有用的，如下面进一步描述的。然而，应该理解的是这种显示技术是根据本发明在特定实施例中的方便的技术。根据本发明，无关数据在它被破坏的意义上不必排除，并且它也不必明显的和/或连续的在实际图像显示中标注或排除，特别是在机器视觉系统自动操作中。要点是识别无关数据以致于通过在可操作程序结构下任何现在已知或今后开发的方法从特定图像分析操作中排除，或对于特定图像分析操作不可用。然而，为了解释的目的，象传统图像或伪图像一样显示和讨论操作的结果也很方便，并且这里通常遵循常规。应该理解的是这种描述不按字面或限制的意义解释，除非是通过陈述或通过上下文特别表明了。
图8是显示区域300C的示意图，其显示了图5中典型工件和特征的放大部分，并且进一步示出了在特征边缘部分应用的线工具。更具体的，具有选择器612的划线工具610显示在位于边缘部分650之上，其位于痕迹330的左边缘。在操作中，用户尽可能近的将选择器612放置在靠近痕迹330边缘。如将参考图9更详细描述的，划线工具610沿它的长度扫描过数据点(例如，像素)。
图9是显示了图像亮度值725的图700的示意图，该亮度值跨越图8中的划线工具610获得。如图9中所示，跨越划线工具的数据点定位为沿水平轴的0-60，具有大约在划线工具14-37区域之间的有效数据区域。无效数据区域710(从区域0-14)和无效数据区域730(从区域37-60)相应于由划线工具610覆盖的白背景无关特征部分。有效数据区域720(从区域14-37)表示在哪一区域跨越划线工具610获得的图像亮度值。如所示的开始于数据点15，图像亮度值起初表示较亮的区域，其跟随着值的迅速减小，这表示较暗的区域。如在下面将要详细描述的，这些图像亮度值和迅速的减少可以由处理算法利用来确定痕迹330的边缘位置。
为了确定痕迹330边缘的位置，算法通常查找第一边缘作为所希望的特性。在一个实施例中，通过定位亮度数据内最大梯度确定边缘。如果沿划线工具610存在多个梯度，选择器612的位置可以帮助算法确定哪一个梯度是所希望的梯度。一指标(例如，工具610的定向或方向)还可以被提供来帮助算法确定应该寻找上升还是下降边缘。
应该提到的是，如图9所示，当根据本发明和上面关于图5的描述，执行边缘确定方法时，排除了已经识别为无关的数据，并且因此完全不被工具610考虑。(如上面提到的，有效数据区域710和730相应于白背景部分，其中已经去除了栅格图案304。)因此，在各种实施例中，无效或无关图像数据在不影响成像工具的正常操作的方式下不予考虑。这种工具典型的已经具有内嵌有效算法，考虑到例如是否存在足够像素来确定有效梯度等，以及操作者学习和使用的简便，程序可靠性，程序维护简易和类似的，对于那些算法所希望的是能够以它们正常方式操作。同样希望的是不管采用什么方法去除无关图像特征像素，使那些操作继续可靠。，因此，如上所述，图5-9示出的操作以这样一种方式去除无关图像数据，该方式是工具610将以正常方式操作。
图10是显示区域300D的示意图，其显示了图5中需检查的典型工件和特征，以及对于边缘定位表示框，弧和点工具的GUI窗口小部件和自动聚焦工具GUI窗口小部件的典型实施例，所有这些都可用在根据本发明的系统和方法的各种实施例中。如图10所示，显示区域300D包括框工具窗口小部件810A和810B，划线工具窗口小部件820，弧工具窗口小部件830以及表面聚焦工具GUI窗口小部件840。在各种典型实施例中，这些视频工具810-840以预定默认设置值使用。在各种典型实施例中，这些设置值由用户调整或重新定义，但是不需要为了使用工具而重新定义。在各种典型实施例中，所使用的工具具有可选择的预定的可选择设定值。边缘聚焦工具GUI窗口小部件和表面聚焦工具GUI窗口小部件的各种操作特性通常描述在QVPAK 3D CNC视觉测量机用户指南和QVPAK 3D CNC视觉测量机操作指南，这些预先引入这里作为参考。
在各种典型实施例中，框工具窗口小部件810A和810B以框显示，其具有沿边的箭头和位于中心的选择器。在各种典型实施例中，框工具窗口小部件810A和810B由操作者量尺寸，定位和旋转，直到框表示或限定了感兴趣区域，并且箭头表示了需确定和检查的边缘。在各种典型实施例中，框工具窗口小部件810A和810B利用沿感兴趣区域边缘的一个或多个传统边缘梯度，并且边缘基于选择器的位置和沿多个扫描线的边缘梯度的局部放大率确定。箭头的方向定义了与在这些各种典型实施例中边缘梯度相关的参考方向或极性。应当理解的是，当希望时，感兴趣区域的范围是完全可调整和可旋转的，其中感兴趣区域由框工具窗口小部件810A和810B的边界所表示。
线工具窗口小部件820确定了沿像素行的梯度(与前面对于图8中划线工具610描述的操作相似)，而弧工具窗口小部件830确定了对于图像特征边缘的弯曲(例如，半径)。线工具窗口小部件820和弧工具窗口小部件830都包括与框工具窗口小部件810A和810B相似的操作，由于图像特征边缘被确定是基于选择器的位置和沿多个扫描线的边缘梯度的局部放大率，如上所述。如下面参考图12更详细的描述，框工具窗口小部件810A和810B以及弧工具窗口小部件830的操作可以包含扫描线的多种用途。
在各种典型实施例中，表面焦距工具窗口小部件840被作为在中心有一“X”的框显示。在各种典型实施例中，表面焦距工具窗口小部件840被操作者测量、定位和旋转，直到框表现出或定义了关心的自动焦距区域。应该理解的是，在各种典型实施例中，表面焦距工具窗口小部件840的感兴趣区域在尺寸上增加或减小，来近似的包括对于特定检查操作的适当的表面部分，例如高度确定，或者表面加工评价，或者类似的。在多个典型实施例中，表面焦距操作提供了图像焦距，其最大化感兴趣区域中表面纹理的清晰度或锐度，或者投射到感兴趣区域光滑表面的图案，目的是提供坐标值，该坐标值准确的定位沿Z轴方向的表面，或提供在坐标处的检查图像，其提供了对于检查表面最清晰的图像。在各种典型实施例中，用来确定对于自动焦距图像的焦距值的表面焦距量度表现出感兴趣区域的对比度。
图11是显示区域300E的示意图，其显示了图10中的显示区域的放大部分，进一步说明了框工具窗口小部件810A和810B。如图11所示，框工具窗口小部件810A和810B分别包括中心选择器部分912A和912B，它们与划线工具610的选择器部分612的操作相似。如下面关于图12的更详细的描述，框工具窗口小部件810A被显示包围痕迹320的左边缘的边缘部分910、920、930和940，而框工具窗口小部件810B被显示包围痕迹320的右边缘的边缘部分950、960和970。
图12是图11中显示区域300E的示意图，进一步说明了框工具窗口小部件810A和810B内的扫描线的应用和有效数据区域的选择。如图12所示，显示边缘部分910此刻包括四个扫描线1010，而边缘部分920此刻包括四个扫描线1020。根据通常包括在这种框工具操作中的标准，这些扫描线表示了可以发现有效边缘数据的区域。对于这种扫描线的各种考虑可以包括间距、次级扫描线资格(例如，连续像素的数量是扫描线)，以及其它因素。在一个实施例中，扫描线的间距可以可编程作为可定制的默认值，或者能够在每个实例中确定，在一些情况下利用一机制，例如用户利用子菜单改变间距。
在显示区域300E中，因为存在非常少的有效数据区域，所希望的是使扫描线相对精密地间隔(例如，每一个或两个像素行)。应该注意的是边缘部分930和940不包括扫描线。在一个实施例中，根据框工具810A的操作，扫描线没有提供给边缘部分930和940，因为沿潜在的扫描线它们不包括足够的连续有效数据，因此，不能有助于边缘评价处理。相似的，在框工具窗口小部件810B内，边缘部分950和960包括扫描线，而由于没有包括足够连续有效数据排除了边缘部分970。如在框工具窗口小部件910B中也示出的，边缘部分960包括仅一个单一的扫描线1060，其在一个实施例中表示出了边缘部分960，该边缘部分具有比其它具有更多扫描线的边缘部分更少的有效数据，但是与边缘部分970相比具有足够的有效数据，它能够有助于边缘评价处理。
在一个实施例中，框工具窗口小部件810A和810B是工具类型的例子，该工具可以用来作为部分图4中的视频工具143。如上所述，感兴趣区域生成组件150可以支持自动、半自动、和/或手动操作，该操作定义多个感兴趣区域，该感兴趣区域在包括在视频工具部分143中的多个视频工具中可操作。关于框工具窗口小部件810A和810B，感兴趣区域生成组件150可以辅助限制和识别有效数据的处理，该有效数据被传给进一步的各种视频工具的图像处理函数。在一个实施例中，感兴趣区域生成组件150可以调用无关特征识别和显示组件160的操作。在另一个实施例中，感兴趣区域生成组件150的操作和无关特征识别和显示组件160可以被合并和/或不可区别。在任何一种情况下，无关特征识别和显示组件160的操作的启动可以取决于机器视觉检查系统操作员的无关特征排除模式的启动，如下面进一步概述的。感兴趣区域生成组件150还可以具有对于确定非有效数据的附加内部标准。例如，就扫描线而言，感兴趣区域生成组件150可以预先筛分有效数据扫描线，并且需要在扫描线两边具有足够有效数据，目的是考虑其会是有效的数据，否则它会被筛除，除了由无关特征识别操作识别的非有效数据(例如，相似于前面描述的筛选被筛选的边缘部分930和940)。在一个实施例中，感兴趣区域生成组件150的一个功能因此是包括所有的有效数据点并排除所有无效数据点。在另一个实施例中，这些操作还可以更多被包括在图像处理操作，而不是感兴趣区域生成组件150。如上面描述的，感兴趣区域生成组件150还可以在一个实施例中执行特定预先筛选操作(例如，可以确定标称边缘位置和确定是否存在足够的有效像素使其作为有效扫描线位置)。
图13是一个流程图，示出了程序1100的一个典型实施例，该程序是生成和利用部分程序来检查具有无关特征的工件，该无关特征将被从感兴趣区域中的多个图像处理操作中排除。在块1110，部件加工程序被生成，其可用来检查具有无关特征的工件部分，其中该无关特征被从各种图像处理操作中排除。在块1120，生成的部件加工程序被运行。在块1130，利用部件加工程序检查若干具有无关特征的工件，该无关特征被从各种图像处理操作中排除。
图14是流程图，示出了排除相应于无关特征的无关像素数据的程序1200的一个典型实施例。在块1210，获取一图像，其包括需检查的图像特征和最接近工件特征的无关图像特征。在块1220，为一操作定义感兴趣区域，该操作由视觉系统在至少需检查的部分工件特征上执行。应该理解的是在根据本发明的各种实施例中，感兴趣区域可以包括有效数据区域和无效数据区域。并且在各种典型实施例中，用户接口可以被利用，该用户接口能够辅助用户通过提供框或其它工具定义感兴趣区域，如在此之前描述的。应该注意的是，与特定已知系统对比，特定已知系统预先需要用户选择性的在由用户认可的有效数据区域上仔细定位多个点工具或类似的工具，本发明更容易使用。应该理解的是根据本发明，在各种实施例中，通用框工具，和/或其它这种有效的多点工具，可以被通常定位在区域之上，该区域包括环绕需检查的希望特征的有效和无效数据。因此，用户被允许以他们正常的方式采用这种更有效的多点工具，而无需特殊考虑可能存在的无关数据。在块1230，指定的操作可以被视觉系统执行在感兴趣区域，排除相应于无关特征的无关像素数据。
如在下面将详细讨论的，应该理解的是图14的程序1200可以用在训练模式和运行模式。还可以理解的是，程序1200不需要遍及完整图像全局定位无关特征，代替的，在各种操作的实施例和/或操作实例中，仅在感兴趣区域定位无关特征是足够的。当预料到图像变形和/或实际工件变形(例如，具有无关结构栅格或类似的)并且无关物体的分析定义被定位在图像上时，这是特别有用的，因为当所需要的仅有配合在关心的区域局部时，存在更大机会的准确配合，尽管整体图像的通常扭曲。
图15是流程图，显示出程序1300的一个典型实施例，该程序提供了目标为感兴趣区域中需检查特征的操作结果。在一个实施例中，程序1300可以用在图14的块1230中。如图15所示，在块1310，相应于无关特征的像素被识别。在块1320，被识别的无关特征像素被排除，以致于它们不会包括在该操作中，该操作目标在感兴趣区域需检查的特征。应该理解的是，被识别的无关特征像素的排除可以被执行在感兴趣区域处理操作中，或者被执行在成像处理操作中，或者被执行在两者中。换句话说，相应于无关特征的像素首先被识别，并且被从未来处理操作中排除，以致于仅相应于需检查的所希望特征的有效象素包括在处理操作中。该排除可以由任何选定的数据操作完成(例如，访问排除、替换、数学操作、由成像处理操作的筛选等)。在块1330，目标在剩余有效像素的操作可以被执行，该像素相应于感兴趣区域中需检查的特征。这种操作可以包括对象，例如边缘探测、表面聚焦、边缘聚焦、弧测量等。在块1340，操作的结果被显示和/或输出。
图16是流程图，表示出程序1400的一个典型实施例，该程序为目标为感兴趣区域中需检查特征的操作，提供感兴趣区域中标称扫描线的定义可操作部分给操作。在一个实施例中，程序1400可用在图15的块1320中。如图16所示，在块1410，无关特征去除模式可以手动、半自动和自动的选择。在块1420，标称扫描线在感兴趣区域内基于工具参数被识别。如上面讨论的，工具参数可以涉及一些方面，例如扫描线的间隔等。在块1430，被识别的无关特征被从标称扫描线排除，并且感兴趣区域中的标称扫描线的可操作部分被定义。因此，实际排除无关特征的操作是在执行在感兴趣区域类型操作的情况下，因为标称扫描线被改进(refine)到可操作的扫描线，并且仅标称扫描线的可操作部分被传给下一个步骤。应该可以理解的是在其它实施例中，无关特征像素的排除可以被代替执行在成像处理操作中，该成像处理操作基于特定无关数据标识符、或标记、或值、或类似的，或被代替执行在感兴趣区域操作和成像处理操作的结合中。在块1440，在感兴趣区域中的标称扫描线的规定可操作部分被传送到操作，该操作的目的为感兴趣区域需检查的特征。如上提到的，这种操作可以包括多个目标，例如边缘定位、表面聚焦、边缘聚焦、弧测量等。应该理解的是，程序1400是特别有优势的，由于它允许已经生成的图像处理工具运行在正常方式，它也相对强壮，并且需要对存在的系统作出的主要变化主要是在感兴趣区域发生器。该感兴趣区域发生器通常也是需要相应模式选择的唯一部件。
图17显示框工具GUI窗口小部件1510的典型实施例，还一并显示了控制窗口小部件1520的典型实施例，在机器操作的训练模式或手动模式中，该控制窗口小部件用来根据本发明选择与无关特征识别和排除操作相关的掩膜模式和操作。在各种典型实施例中，控制窗口小部件1520包括一开按钮1522和一个关按钮1524。当开按钮1522被鼠标点按或以其它方式启动时，它启动自动操作，以致于感兴趣区域能够被分析来排除无关特征像素，该无关特征象素来自于与框工具相关的多个图像处理操作。其它工具也可以被提供相似的控制窗口小部件1520。当然控制窗口小部件1520能够以许多其它形式呈现、划分、包括在更多复杂的多功能窗口小部件内，或者直接包括在视频工具表示内，或者类似的。窗口小部件1520的本质方面在于它可用来启动或撤销一运行模式，该运行模式可用来从根据本发明的各种图像处理或分析操作中识别和排除无关图像数据。
在各种典型实施例中，可以提供涉及无关特征识别操作的示范模式。在这个实施例中，控制窗口小部件1520可以被鼠标点按或其它方式启动方式来启动自动操作，该自动操作提供无关特征识别学习或训练模式演示，该演示预览或模拟可比性的运行模式操作结果，例如，如前面概述的。这种演示可以被机器操作员评价来确认或不接受它的功效和相关程序参数或指令。
在各种其它典型实施例中，在操作环境内，其中无关特征排除模式已经是当前的或连续的在操作中，控制窗口小部件1520可以被鼠标点按或其它启动方式来接收完全定义或训练的无关特征识别操作设定值，例如，或绕过训练模式无关特征识别演示，或接受结果，该结果通过作为训练模式无关特征识别演示的结果提供的评估图像指示，目的是移到附加训练模式操作。换句话说，控制窗口小部件1520的操作可以依赖于是否存在实际上更高级别或背景命令，是否已经根据本发明将机器设置在无关特征排除模式。例如，当无关特征覆盖了包括需检查的多样特征或区域的大部分或全部图像(例如，重复栅格图案304，或类似的)时，这种模式可能是合适的。应当理解的是，在各种典型实施例中，前面描述的无关特征识别工具和窗口小部件的多个方面可以分别执行或多种组合执行。此外，应当理解的是，在各种典型实施例中，各种GUI窗口小部件和控制窗口小部件的可选择形式是明显的。因此，前面实施例仅仅是示例性的说明，而不是限制。
图18示出了图形用户接口工具栏窗口1600的典型实施例，该图形用户接口工具栏窗口包括根据本发明可用的无关特征识别掩膜模式选择器1610。工具栏窗口1600的剩余部分与上面讨论过的QVPAKTM软件中提供的相似。在一个实施例中，掩膜模式选择器1610可以对于全局掩膜模式托拽到图像上，或者对于特定工具(tool-specific)掩膜模式托拽到单独工具上。在一个实施例中，工具可以具有窗口小部件，其当它们在掩膜模式时反映。在第二实施例中，掩膜模式选择器1610可以保持在工具栏1600上并且提供切换功能。当掩膜模式选择器1610切换到开时，视频工具被从工具栏1600拉出，并且在掩膜模式，其也可以被提供视觉特征，表示它在掩膜模式。在一个实施例中，用户接口能够支持无关像素识别的半自动方法，在这种情况下，当掩膜模式启动时，工具可以询问用户选择半自动方式，或显示几个用户可以从中选择的可替换的结果的例子。换句话说，在学习模式，用户能够点按关心区域并定位光标到用户希望去除的无关特征的类型，于是系统施加各种不同方法试图去除无关特征，并显示多个方法的结果，这样用户能够客观的选择客观上提供最好结果的方法，于是该方法成为所利用的模式。用户接口如何能够支持无关像素识别的半自动方法的多个例子包括使用与形态学方法结合的阈值，使用与区域增长补充结合的纹理工具，与对准结合的分析图案引入等。在各种典型实施例中，当掩膜模式启动或有效并且无关特征像素被令人满意的识别在与视频工具相关的感兴趣区域中的时候，机器视觉检查系统包括程序指令，其识别状态，并且系统自动从与感兴趣区域中视频图像相关的操作中排除识别的无关特征像素。
图19是流程图，显示出程序1700的典型的实施例，该程序根据掩膜模式窗口小部件执行学习模式操作。在块1710，进入学习/训练模式。在块1712，一个和多个操作被提供，这些操作可用来识别在一个和多个感兴趣区域中需排除的特征。在块1714，提供掩膜模式启动/撤销窗口小部件，其可用来在感兴趣区域设置模式。
在块1720，图像被获取。在块1722，为了训练建立工具。在判断块1724，作出关于是否掩膜模式已经被选择的决定。如果掩膜模式还没有被选定，程序继续到块1740，如将在下面详细描述的。如果掩膜模式已经被选定，程序继续到块1730。
在块1730，在感兴趣区域中的排除像素被识别和/或指示。在判定块1732，作出关于是否当前结果可以接受的决定。在各种典型实施例中，决定可以由手动、半自动、和自动作出。如果当前结果不能接受，程序继续到块1734，其中修订候选的操作被选择或者可用来识别需排除像素的操作，在此之后程序返回到块1730。如果在判定块1732，结果被表示为可接受，程序继续到块1736，其中程序设置工具参数和与感兴趣区域相关的操作来排除来自于工具的工件特征分析操作的排除像素。
在块1740，工具被训练。在块1742，显示被训练的工具操作结果。在确定块1744，决定被作出关于是否被训练工具的当前结果是可接受的(例如，预期的边缘被定位了吗？它的位置是近似预期的位置吗？等)。如果当前结果是不可接受的，程序返回到块1722。如果当前结果是可接受到的，程序继续到判定块1746。
在判定块1746，关于是否执行更多的训练操作的决定被作出。如果执行附加训练操作，程序返回到块1720。如果不执行无关训练操作，程序继续到块1748，其中部分程序被保存和域退出学习模式。
应当理解的是程序1700由用户提供简单操作，因为视频工具的标准化类型可以被利用，而不是需要自定义操作。换句话说，用户不需要利用脚本语言执行专用操作。作为替换，系统允许使用预先编程的图标等等，这样即使不熟练的用户具备最少的训练也可以使用。此外，如上提及的，感兴趣区域能够包围有效和无效数据。因此，用户不需要在所有有效数据区域上放置单独的点工具。
应当注意的是特定现存机器视觉检查系统可以根据本发明使用多个系统和方法的实施例，对于这些现存机器具有最小的或者没有“改进”的修正，并且这种机器的无关特征识别能力，强壮性和通用性仍然可以根据本发明的宗旨增加。在各种典型实施例中，仅根据本发明的机器视觉检查软件方法和/或修正的补充被包括在改进修正中。
尽管结合上述概述的典型实施例描述了本发明，各种替换、修正、变化、改进和/或实质的等效，无论已知还是当前无法预料，对于本领域技术人员可以变得明显。因此，如前所述，本发明的典型实施例是示例性的，而不是限制。在不背离本发明的要旨和范围的情况下可以作出各种变化。因此，提出的和可以被改正的权利要求的目的是包含所有已知或今后发展的可替换物、修正、变化、改进和/或实质的等效。

Claims (22)

1、一种检查由机器视觉检查系统获取的工件图像的方法，该机器视觉检查系统具有用户接口，该用户接口可用来定义用来检查图像的一系列操作，该方法包含：
获取包括无关特征的图像；
定义与由用户接口提供的视频工具相关的感兴趣区域，该视频工具具有一个或多个相关操作；
至少在感兴趣区域识别无关特征像素；并且
执行与该视频工具相关的一个或多个操作，至少在感兴趣区域，从与该视频工具相关的至少一个操作中排除该识别的无关特征像素，。
2、权利要求1中的方法，其中该无关特征包含至少其中一个a)栅格类特征，和b)平板显示屏幕掩膜的栅格类特征。
3、权利要求1中的方法，其中在执行与视频工具相关的一个或多个操作之前，相应于没有被识别为该无关特征像素的感兴趣区域的像素的图像数据不被修正，。
4、权利要求1中的方法，其中至少在感兴趣区域识别无关特征像素包括：
识别估计与无关特征相应的第一组像素；
确定包含邻近该第一组至少部分像素的缓冲区域的第二组像素；以及
包括相应于在识别的无关特征像素中的该第一和第二组的像素。
5、权利要求4中的方法，其中确定该第二组像素包含在该第一组像素上执行至少一膨胀操作。
6、权利要求1中的方法，其中无关特征像素仅在感兴趣区域被识别。
7、权利要求1中的方法，其中该用户接口包括对于其中一个可用的至少一个特征：a)启动该机器视觉检查系统的操作模式，其中可用来识别无关特征像素的操作被启动，b)表示该机器视觉检查系统的操作模式的至少一“开”状态，其中可用来识别无关特征的操作被启动。
8、权利要求7中的方法，其中该用户界面包括至少一个特征，其可用来暂停该机器视觉检查系统的操作模式，其中可用来识别无关特征的操作被启动。
9、权利要求7中的方法，其中定义感兴趣区域包含利用视频工具的图形感兴趣区域表示窗口小部件定义该感兴趣区域，该至少一个特征与视频工具相关，并且该至少一个特征包含至少其中一个a)模式状态指示特征，和b)模式控制窗口小部件。
10、权利要求1中的方法，其中至少在感兴趣区域识别无关特征像素包含利用阈值技术来识别相应于无关特征像素的区域，和利用形态学方法来滤波被识别部分边界的不规则部分。
11、权利要求1中的方法，其中至少在感兴趣区域识别无关特征像素包含：
确定至少部分无关特征的模板；
基于模板和检查图像执行相关操作，并识别相应于检查图像中的特征的至少一相关峰值位置，该检查图像至少近似与该模板匹配；
基于该工件的先验知识表征相应于至少部分无关特征的标称几何特征；
以相对于该至少一相关峰值位置的合适方式定位标称几何特征；以及
识别该相应于被定位的标称几何特征的像素作为无关特征像素。
12、权利要求1中的方法，其中该机器视觉检查系统包括操作模式，其中可用来识别无关特征像素的操作被启动，并且该用户接口包含至少一用来启动操作模式的控制窗口小部件。
13、权利要求12中的方法，其中该机器视觉检查系统包括预定无关特征像素识别操作，并且该用户接口包括由操作者可用的特征来确定至少其中一个S1)需施加到图像上的该预定无关特征像素识别操作的至少一个子集，S2)调节需施加到图像上的预定无关特征像素识别操作的至少一个参数，以及至少在感兴趣区域识别无关特征像素包含操作者选择S1)和S2)中的至少一个。
14、权利要求13中的方法，其中至少在感兴趣区域识别无关特征像素包含：
根据该操作者的s1)和s2)的至少一个的选择识别一组无关特征像素；
提供该被识别的无关特征像素组的显示，其被重叠在至少部分原始检查图像上的它们合适的位置上，以致于它们容易被辨别；以及
操作者认可基于该显示的被识别的无关特征像素组，
其中该操作者认可发生在执行与该视频工具相关的该一个或多个操作之前。
15、权利要求14中的方法，其中该方法被执行在该机器视觉检查系统的操作的训练模式期间，并且当用户认可发生在执行与视频工具相关的该一个或多个操作之前时，相应于该操作者的s1)和s2)的至少一个的选择的机器控制指令是在自动检查工件的部件加工程序中。
16、权利要求1中的方法，其中用来至少在感兴趣区域中识别无关特征像素的第一组操作被执行在开始用来执行与视频工具相关的该一个或多个操作的第二组操作之前。
17、权利要求16中的方法，其中在用来控制该机器视觉检查系统操作的程序源代码中，执行该第一组操作的程序指令没有不时的被执行该第二组操作的程序指令打断。
18、一种用来获取和检查包括无关特征的工件图像的机器视觉检查系统，该机器视觉检查系统包含：
用户接口，其可用来定义用来检查工件图像的一组操作；
图像获取部分，其可用来获取包括无关特征的工件图像；
感兴趣区域定义部分，其可用来在所获取的图像中定义各自的感兴趣区域，该各自的感兴趣区域相应于该用户接口提供的一类的各自视频工具，该视频工具具有一个或多个相关的操作；以及
无关特征识别部分，其可用来至少在该各自感兴趣区域识别无关特征像素，
其中，当该无关特征识别部分被用来至少在该工件图像的该各自感兴趣区域识别无关特征像素的时候，该机器视觉检查系统是可操作的来执行与该各自视频工具相关的该一个或多个操作，并且从至少与该视频工具相关的一操作中排除该识别的无关特征像素。
19、权利要求18中的机器视觉检查系统，其中当该无关特征识别部分被用来识别包括在该各自感兴趣区域的无关特征像素时，该机器视觉检查系统自动的从与该各自视频工具相关的至少一操作中排除该识别的无关特征像素。
20、权利要求18中的机器视觉检查系统，其中该用户接口包括至少一特征，其对于至少其中一个可用a)启动机器视觉检查系统的操作模式，其中可用来识别无关特征像素操作的操作被启动，b)表示至少该机器视觉检查系统的操作模式的至少一“开”状态，其中可用来识别无关特征像素的操作被启动。
21、权利要求20中的机器视觉检查系统，其中该感兴趣区域限定部分可用来基于相应于该各自视频工具的图形操作者可配置感兴趣区域表示窗口小部件定义该各自感兴趣区域，并且对于a)和b)的至少其中一个可用的该至少一特征与该各自视频工具相关，并且该至少一特征包含至少其中一个a)模式状态表示特征和b)模式控制窗口小部件。
22、权利要求18中的方法，其中该无关特征识别部分包含预定无关特征像素识别操作，并且该用户接口包括由操作者可用的特征来确定至少其中一个S1)施加到该工件图像上的该预定无关特征像素识别操作的至少一个子集，S2)施加到工件图像上的调节预定无关特征像素识别操作的操作的至少一参数，以及该无关特征识别部分根据该操作者的S1)和S2)的至少一个的确定识别无关特征。
CN200510081748XA 2004-03-25 2005-03-25 从由机器视觉检查系统执行的检查操作中排除无关特征的系统和方法 Expired - Fee Related CN1699916B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/808,948 2004-03-25
US10/808,948 US7324682B2 (en) 2004-03-25 2004-03-25 System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system

Publications (2)

Publication Number Publication Date
CN1699916A true CN1699916A (zh) 2005-11-23
CN1699916B CN1699916B (zh) 2010-10-06

Family

ID=34862086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200510081748XA Expired - Fee Related CN1699916B (zh) 2004-03-25 2005-03-25 从由机器视觉检查系统执行的检查操作中排除无关特征的系统和方法

Country Status (4)

Country Link
US (1) US7324682B2 (zh)
EP (1) EP1580693A3 (zh)
JP (1) JP4641441B2 (zh)
CN (1) CN1699916B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102162722A (zh) * 2010-12-30 2011-08-24 广东万濠精密仪器股份有限公司 密集型多边测量工件之影像寻边方法
CN101738728B (zh) * 2008-11-04 2013-07-17 株式会社三丰 机器视觉检查系统的光学像差校正
WO2015096345A1 (zh) * 2013-12-23 2015-07-02 中国科学院自动化研究所 基于机器视觉的牧草饲料检测系统和方法
CN107479334A (zh) * 2017-09-06 2017-12-15 上海华力微电子有限公司 一种线宽量测和问题评估的方法
CN107561875A (zh) * 2017-09-06 2018-01-09 上海华力微电子有限公司 一种套刻误差量测和问题评估的方法
CN109073366A (zh) * 2016-06-20 2018-12-21 三洋机工株式会社 粘接剂检查装置及粘接剂检查方法
CN109313333A (zh) * 2016-06-14 2019-02-05 通用电气公司 用于接合视觉检视装置的方法和系统
CN109900720A (zh) * 2019-03-22 2019-06-18 武汉艾维视智能技术有限公司 一种适应不同网板光学检测光源亮度自动调整方法及系统
CN110730923A (zh) * 2017-05-05 2020-01-24 卡尔蔡司显微镜有限责任公司 确定光学系统的可互换部件的情境信息
CN111382615A (zh) * 2018-12-28 2020-07-07 致茂电子(苏州)有限公司 影像检测方法
CN112749705A (zh) * 2019-10-31 2021-05-04 深圳云天励飞技术有限公司 训练模型更新方法及相关设备
CN114998357A (zh) * 2022-08-08 2022-09-02 长春摩诺维智能光电科技有限公司 基于多信息分析的工业检测方法、系统、终端和介质

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266420B2 (en) * 2004-04-03 2007-09-04 Gerald Walter Budd Automatic detection system for broken tools in CNC machining centers using advanced machine vision techniques
CA2567280A1 (en) * 2004-05-21 2005-12-01 Pressco Technology Inc. Graphical re-inspection user setup interface
KR101079599B1 (ko) * 2004-08-06 2011-11-03 삼성전자주식회사 디스플레이장치 및 그 제어방법
US7698010B2 (en) * 2004-09-29 2010-04-13 Haeger, Inc. Methods, systems and computer program products for altering video images to aid an operator of a fastener insertion machine
US7583852B2 (en) * 2004-10-26 2009-09-01 Mitutoyo Corporation Method of filtering an image for high precision machine vision metrology
US7627162B2 (en) * 2005-01-31 2009-12-01 Mitutoyo Corporation Enhanced video metrology tool
DE102005009536A1 (de) * 2005-02-25 2006-08-31 Carl Zeiss Sms Gmbh Verfahren zur Maskeninspektion im Rahmen des Maskendesigns und der Maskenherstellung
US8126253B2 (en) * 2005-11-12 2012-02-28 Cognex Technology And Investment Corporation Automatically determining machine vision tool parameters
US8126290B2 (en) * 2005-12-16 2012-02-28 Thomson Licensing Method, apparatus and system for color component registration
US7567713B2 (en) * 2006-02-08 2009-07-28 Mitutoyo Corporation Method utilizing intensity interpolation for measuring edge locations in a high precision machine vision inspection system
US7570795B2 (en) * 2006-07-18 2009-08-04 Mitutoyo Corporation Multi-region autofocus tool and mode
US7769222B2 (en) * 2006-10-27 2010-08-03 Mitutoyo Corporation Arc tool user interface
US7925075B2 (en) * 2007-05-07 2011-04-12 General Electric Company Inspection system and methods with autocompensation for edge break gauging orientation
DE102007036811B3 (de) * 2007-08-03 2008-12-18 Vistec Semiconductor Systems Gmbh Vorrichtung und Verfahren zum Erfassen der gesamten Oberfläche eines Wafers
US8085295B2 (en) * 2007-10-26 2011-12-27 Mitutoyo Corporation Controllable micro light assembly
WO2010016137A1 (ja) * 2008-08-07 2010-02-11 株式会社ケー・デー・イー 検査システム
US8111938B2 (en) * 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
US8111905B2 (en) 2009-10-29 2012-02-07 Mitutoyo Corporation Autofocus video tool and method for precise dimensional inspection
US8581162B2 (en) * 2009-12-08 2013-11-12 Mitutoyo Corporation Weighting surface fit points based on focus peak uncertainty
US8271895B2 (en) * 2010-03-22 2012-09-18 Mitutoyo Corporation GUI for programming step and repeat operations in a machine vision inspection system
US8456637B2 (en) 2010-08-26 2013-06-04 Mitutoyo Corporation Multiple measuring point configuration for a chromatic point sensor
US8194251B2 (en) 2010-08-26 2012-06-05 Mitutoyo Corporation Method for operating a dual beam chromatic point sensor system for simultaneously measuring two surface regions
US8648906B2 (en) 2010-10-13 2014-02-11 Mitutoyo Corporation Precision solder resist registration inspection method
US8773526B2 (en) 2010-12-17 2014-07-08 Mitutoyo Corporation Edge detection using structured illumination
US8280172B1 (en) 2011-03-22 2012-10-02 Mitutoyo Corporation Edge location measurement correction for coaxial light images
US8269830B1 (en) 2011-04-14 2012-09-18 Mitutoyo Corporation Inspecting potentially interfering features in a machine vision system
US9080855B2 (en) 2011-09-23 2015-07-14 Mitutoyo Corporation Method utilizing image correlation to determine position measurements in a machine vision system
CN103092577A (zh) * 2011-10-28 2013-05-08 鸿富锦精密工业（深圳）有限公司 三维影像量测程序生成系统及方法
US8902307B2 (en) 2011-11-15 2014-12-02 Mitutoyo Corporation Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode
US9013574B2 (en) 2011-11-15 2015-04-21 Mitutoyo Corporation Machine vision system program editing environment including synchronized user interface features
US9167215B2 (en) 2011-11-15 2015-10-20 Mitutoyo Corporation Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode
US9223306B2 (en) 2011-11-15 2015-12-29 Mitutoyo Corporation System and method utilizing an editing initialization block in a part program editing environment in a machine vision system
DE102012220759A1 (de) 2011-11-15 2013-06-27 Mitutoyo Corporation Programmbearbeitungsumgebung eines maschinell sehenden Systems mit synchronisierten Benutzerschnittstellenmerkmalen
US8957960B2 (en) 2011-11-15 2015-02-17 Mitutoyo Corporation Machine vision system program editing environment including real time context generation features
US20130162806A1 (en) 2011-12-23 2013-06-27 Mitutoyo Corporation Enhanced edge focus tool
US9060117B2 (en) * 2011-12-23 2015-06-16 Mitutoyo Corporation Points from focus operations using multiple light settings in a machine vision system
US10599944B2 (en) * 2012-05-08 2020-03-24 Kla-Tencor Corporation Visual feedback for inspection algorithms and filters
US8989511B1 (en) * 2012-06-28 2015-03-24 Western Digital Technologies, Inc. Methods for correcting for thermal drift in microscopy images
US8937654B2 (en) 2012-08-22 2015-01-20 Mitutoyo Corporation Machine vision inspection system comprising two cameras having a rotational offset
US8689127B1 (en) 2012-11-05 2014-04-01 Mitutoyo Corporation Edge measurement video tool parameter-setting user interface
US9177222B2 (en) 2012-11-05 2015-11-03 Mitutoyo Corporation Edge measurement video tool and interface including automatic parameter set alternatives
US8885945B2 (en) 2012-12-27 2014-11-11 Mitutoyo Corporation Method for improving repeatability in edge location results of a machine vision inspection system
US10477154B2 (en) 2013-03-07 2019-11-12 Cognex Corporation System and method for aligning two work pieces with a vision system in the presence of occlusion
US8995749B2 (en) 2013-03-28 2015-03-31 Mitutoyo Corporation Enhanced edge detection tool for edges of irregular surfaces
US9304089B2 (en) 2013-04-05 2016-04-05 Mitutoyo Corporation System and method for obtaining images with offset utilized for enhanced edge resolution
US8917940B2 (en) 2013-04-26 2014-12-23 Mitutoyo Corporation Edge measurement video tool with robust edge discrimination margin
US9235337B2 (en) 2013-05-09 2016-01-12 Mitutoyo Corporation System, GUI and method for editing step and repeat operation instructions in a machine vision inspection system
US9733902B2 (en) 2013-05-13 2017-08-15 Mitutoyo Corporation Machine vision system program editing environment including operating context aware copy and paste feature
US9350921B2 (en) 2013-06-06 2016-05-24 Mitutoyo Corporation Structured illumination projection with enhanced exposure control
US9143674B2 (en) 2013-06-13 2015-09-22 Mitutoyo Corporation Machine vision inspection system and method for performing high-speed focus height measurement operations
US9456120B2 (en) 2013-07-11 2016-09-27 Mitutoyo Corporation Focus height repeatability improvement in a machine vision inspection system
US9444995B2 (en) 2013-10-11 2016-09-13 Mitutoyo Corporation System and method for controlling a tracking autofocus (TAF) sensor in a machine vision inspection system
CN104551865A (zh) * 2013-10-17 2015-04-29 鸿富锦精密工业（深圳）有限公司 影像量测系统及方法
US9182583B2 (en) 2013-11-15 2015-11-10 Mitutoyo Corporation Structured illumination microscopy optical arrangement including projection artifact supression element
US9726876B2 (en) * 2013-11-27 2017-08-08 Mitutoyo Corporation Machine vision inspection system and method for obtaining an image with an extended depth of field
US10178321B2 (en) * 2013-11-27 2019-01-08 Mitutoyo Corporation Machine vision inspection system and method for obtaining an image with an extended depth of field
US20150178484A1 (en) 2013-12-20 2015-06-25 Mitutoyo Corporation Remote Accessory Management in a Programming Environment for a Progammable Metrology System
US9606525B2 (en) 2013-12-23 2017-03-28 Mitutoyo Corporation Remote accessory for generating customized and synchronized reference notes for a programmable metrology system
DE102015208337A1 (de) 2014-06-17 2015-12-17 Mitutoyo Corp. Bearbeitungsumgebung eines maschinellen sichtsystems für ein teileprogramm, in dem ein durchgehender datenstrom von bilderfassungsvorgängen in einem laufmodus ausgeführt wird
US9740190B2 (en) 2014-10-09 2017-08-22 Mitutoyo Corporation Method for programming a three-dimensional workpiece scan path for a metrology system
US10223589B2 (en) * 2015-03-03 2019-03-05 Cognex Corporation Vision system for training an assembly system through virtual assembly of objects
US9261351B1 (en) 2015-03-04 2016-02-16 Mitutoyo Corporation Chromatic range sensor including high sensitivity measurement mode
US9602715B2 (en) 2015-07-09 2017-03-21 Mitutoyo Corporation Adaptable operating frequency of a variable focal length lens in an adjustable magnification optical system
US10290118B2 (en) 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
JP6599698B2 (ja) * 2015-08-31 2019-10-30 株式会社ミツトヨ 画像測定装置及びその制御プログラム
US9830694B2 (en) 2015-08-31 2017-11-28 Mitutoyo Corporation Multi-level image focus using a tunable lens in a machine vision inspection system
US9774765B2 (en) 2015-09-15 2017-09-26 Mitutoyo Corporation Chromatic aberration correction in imaging system including variable focal length lens
US9930243B2 (en) 2016-05-02 2018-03-27 Mitutoyo Corporation Variable focal length imaging system
US9736355B1 (en) 2016-05-03 2017-08-15 Mitutoyo Corporation Phase difference calibration in a variable focal length lens system
US9961253B2 (en) 2016-05-03 2018-05-01 Mitutoyo Corporation Autofocus system for a high speed periodically modulated variable focal length lens
US10151962B2 (en) 2016-09-29 2018-12-11 Mitutoyo Corporation Variable focal length lens system with focus monitoring and control
US10142550B2 (en) 2016-11-15 2018-11-27 Mitutoyo Corporation Extending a focus search range in an imaging system including a high speed variable focal length lens
US10101572B2 (en) 2016-11-23 2018-10-16 Mitutoyo Corporation Variable focal length lens system with multi-level extended depth of field image processing
DE102017220101A1 (de) 2016-11-23 2018-05-24 Mitutoyo Corporation Prüfsystem unter Verwendung von maschinellem Sehen zum Erhalten eines Bilds mit erweiterter Tiefenschärfe
US10579890B2 (en) * 2017-02-28 2020-03-03 Quality Vision International Inc. Automatic alignment of a 3D model to a test object
US10768404B2 (en) 2017-03-22 2020-09-08 Mitutoyo Corporation Modulation monitoring system for use with an imaging system that includes a high speed periodically modulated variable focal length lens
US10225457B1 (en) 2017-09-06 2019-03-05 Mitutoyo Corporation Stabilizing operation of a high speed variable focal length tunable acoustic gradient lens in an imaging system
US10341646B2 (en) 2017-09-29 2019-07-02 Mitutoyo Corporation Variable focal length lens system with optical power monitoring
US10171725B1 (en) 2017-12-21 2019-01-01 Mitutoyo Corporation Variable focal length lens system including a focus state reference subsystem
US10281700B1 (en) 2017-12-21 2019-05-07 Mitutoyo Corporation Variable focal length lens system including a focus state reference subsystem
US10578827B2 (en) 2018-04-27 2020-03-03 Mitutoyo Corporation Variable focal length lens system with quasi-sinusoidal periodic intensity modulated light
US10812701B2 (en) 2018-12-13 2020-10-20 Mitutoyo Corporation High-speed tag lens assisted 3D metrology and extended depth-of-field imaging
US11125967B2 (en) 2018-12-26 2021-09-21 Mitutoyo Corporation System and method for calibrating variable focal length lens system using calibration object with planar tilted pattern surface
US10520301B1 (en) 2018-12-31 2019-12-31 Mitutoyo Corporation Method for measuring Z height values of a workpiece surface with a machine vision inspection system
US11313671B2 (en) 2019-05-28 2022-04-26 Mitutoyo Corporation Chromatic confocal range sensing system with enhanced spectrum light source configuration
CN110404985B (zh) * 2019-08-29 2024-07-30 福建三钢闽光股份有限公司 一种基于机器视觉的冷床智能控制系统及其使用方法
JP2022548206A (ja) 2019-08-30 2022-11-17 株式会社ミツトヨ 高速計測撮像のための高速高パワーパルス光源システム
US12014459B2 (en) * 2019-09-12 2024-06-18 Sony Interactive Entertainment Inc. Image processing device, image processing method, and program for forming an accurate three-dimensional map
US10880468B1 (en) 2019-12-19 2020-12-29 Mitutoyo Corporation Metrology system with transparent workpiece surface mode
US11119382B2 (en) 2019-12-20 2021-09-14 Mitutoyo Corporation Tunable acoustic gradient lens system with amplitude adjustment corresponding to z-height as indicated by calibration data
US11249225B2 (en) 2019-12-20 2022-02-15 Mitutoyo Corporation Tunable acoustic gradient lens system utilizing amplitude adjustments for acquiring images focused at different z-heights
US11150200B1 (en) 2020-06-15 2021-10-19 Mitutoyo Corporation Workpiece inspection and defect detection system indicating number of defect images for training
US11430105B2 (en) 2020-06-15 2022-08-30 Mitutoyo Corporation Workpiece inspection and defect detection system including monitoring of workpiece images
US11328409B2 (en) 2020-09-30 2022-05-10 Mitutoyo Corporation System and method utilizing multi-point autofocus to align an optical axis of an optical assembly portion to be normal to a workpiece surface
US11587246B2 (en) * 2020-10-30 2023-02-21 Mitutoyo Corporation Metrology system with projected pattern for points-from-focus type processes
US11486694B2 (en) 2020-12-18 2022-11-01 Mitutoyo Corporation Chromatic range sensor system for measuring workpiece thickness
JP2022134809A (ja) 2021-03-04 2022-09-15 株式会社リコー 画像検査装置及び画像形成装置
US20230032656A1 (en) 2021-07-29 2023-02-02 Mitutoyo Corporation Chromatic range sensor system including camera
US11756186B2 (en) 2021-09-15 2023-09-12 Mitutoyo Corporation Workpiece inspection and defect detection system utilizing color channels
CN117706757B (zh) * 2023-11-20 2024-08-23 奈米科学仪器装备(杭州)有限公司 基于双z轴的对焦装置及方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4975972A (en) * 1988-10-18 1990-12-04 At&T Bell Laboratories Method and apparatus for surface inspection
JPH05256791A (ja) * 1992-03-13 1993-10-05 Komatsu Ltd 基板の欠陥検査装置
US5859923A (en) * 1992-12-29 1999-01-12 Cognex Corporation Mark quality inspection apparatus and method
US5481712A (en) * 1993-04-06 1996-01-02 Cognex Corporation Method and apparatus for interactively generating a computer program for machine vision analysis of an object
US6064759A (en) * 1996-11-08 2000-05-16 Buckley; B. Shawn Computer aided inspection machine
US5859698A (en) * 1997-05-07 1999-01-12 Nikon Corporation Method and apparatus for macro defect detection using scattered light
JP4328399B2 (ja) * 1998-08-31 2009-09-09 キヤノン株式会社 画像処理装置、画像処理方法、及び記憶媒体
US6542180B1 (en) * 2000-01-07 2003-04-01 Mitutoyo Corporation Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part
JP4612754B2 (ja) * 2000-02-04 2011-01-12 キヤノン株式会社 画像取得装置及び画像取得方法
US6748119B1 (en) * 2000-11-02 2004-06-08 Xerox Corporation Systems and methods for interactively using and training an automatic image processing technique
US6627863B2 (en) * 2000-12-15 2003-09-30 Mitutoyo Corporation System and methods to determine the settings of multiple light sources in a vision system
WO2002065480A1 (en) * 2001-02-01 2002-08-22 Creatv Microtech, Inc. tNTI-SCATTER GRIDS AND COLLIMATOR DESIGNS, AND THEIR MOTION, FABRICATION AND ASSEMBLY
JP3825988B2 (ja) * 2001-05-01 2006-09-27 キヤノン株式会社 放射線画像処理装置、画像処理システム、放射線画像処理方法、記録媒体、及びプログラム
US6859923B2 (en) * 2001-05-09 2005-02-22 Sun Microsystems, Inc. Method, system, program, and data structures for using a database to apply patches to a computer system
JP3631215B2 (ja) * 2002-03-12 2005-03-23 キヤノン株式会社 放射線画像処理装置、放射線画像処理システム、放射線撮影システム、放射線撮影装置、放射線画像処理方法、コンピュータ可読記憶媒体、及びプログラム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101738728B (zh) * 2008-11-04 2013-07-17 株式会社三丰 机器视觉检查系统的光学像差校正
CN102162722A (zh) * 2010-12-30 2011-08-24 广东万濠精密仪器股份有限公司 密集型多边测量工件之影像寻边方法
WO2015096345A1 (zh) * 2013-12-23 2015-07-02 中国科学院自动化研究所 基于机器视觉的牧草饲料检测系统和方法
CN109313333A (zh) * 2016-06-14 2019-02-05 通用电气公司 用于接合视觉检视装置的方法和系统
CN109073366A (zh) * 2016-06-20 2018-12-21 三洋机工株式会社 粘接剂检查装置及粘接剂检查方法
CN110730923B (zh) * 2017-05-05 2022-10-04 卡尔蔡司显微镜有限责任公司 确定光学系统的可互换部件的情境信息
CN110730923A (zh) * 2017-05-05 2020-01-24 卡尔蔡司显微镜有限责任公司 确定光学系统的可互换部件的情境信息
CN107479334B (zh) * 2017-09-06 2019-08-23 上海华力微电子有限公司 一种线宽量测和问题评估的方法
CN107561875B (zh) * 2017-09-06 2019-12-24 上海华力微电子有限公司 一种套刻误差量测和问题评估的方法
CN107561875A (zh) * 2017-09-06 2018-01-09 上海华力微电子有限公司 一种套刻误差量测和问题评估的方法
CN107479334A (zh) * 2017-09-06 2017-12-15 上海华力微电子有限公司 一种线宽量测和问题评估的方法
CN111382615A (zh) * 2018-12-28 2020-07-07 致茂电子(苏州)有限公司 影像检测方法
CN109900720A (zh) * 2019-03-22 2019-06-18 武汉艾维视智能技术有限公司 一种适应不同网板光学检测光源亮度自动调整方法及系统
CN109900720B (zh) * 2019-03-22 2021-05-11 武汉艾维视智能技术有限公司 一种适应不同网板光学检测光源亮度自动调整方法及系统
CN112749705A (zh) * 2019-10-31 2021-05-04 深圳云天励飞技术有限公司 训练模型更新方法及相关设备
CN112749705B (zh) * 2019-10-31 2024-06-11 深圳云天励飞技术有限公司 训练模型更新方法及相关设备
CN114998357A (zh) * 2022-08-08 2022-09-02 长春摩诺维智能光电科技有限公司 基于多信息分析的工业检测方法、系统、终端和介质

Also Published As

Publication number Publication date
JP2005274576A (ja) 2005-10-06
JP4641441B2 (ja) 2011-03-02
EP1580693A3 (en) 2011-11-02
EP1580693A2 (en) 2005-09-28
US7324682B2 (en) 2008-01-29
US20050213807A1 (en) 2005-09-29
CN1699916B (zh) 2010-10-06

Similar Documents

Publication Publication Date Title
CN1699916A (zh) 从由机器视觉检查系统执行的检查操作中排除无关特征的系统和方法
CN1904545A (zh) 用于高精度机器视觉测量的测量被遮蔽特征的方法
US7580560B2 (en) System and method for fast template matching by adaptive template decomposition
JP4950837B2 (ja) 画像検査システムおよび画像検査方法
JP4933785B2 (ja) 画像検査システムのビデオツール制御方法
US7394926B2 (en) Magnified machine vision user interface
US8902307B2 (en) Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode
CN1580748A (zh) 检测嵌入在高度织构材料中线条的方法和装置
CN1769838A (zh) 用于高精确机器视觉计量术的过滤图像的方法
US9866747B2 (en) Optical displacement measurement system, imaging condition optimization method, and imaging condition optimization program
US8269830B1 (en) Inspecting potentially interfering features in a machine vision system
JP6071452B2 (ja) マシンビジョンシステムのパートプログラム編集環境内で編集初期化ブロックを利用するシステム及び方法
JP6243705B2 (ja) 自動パラメータ設定選択肢を含むエッジ測定ビデオツール及びインタフェース
CN1805542A (zh) 在视觉系统中用于编制中断操作程序的系统和方法
JP2006126200A (ja) 画像システムにおいてビデオツールを自動的にリカバリーするシステムおよび方法
JP2006133224A (ja) にじみ限界に基づいて画像システムを制御するためのシステムおよび方法
JP6293453B2 (ja) エッジ測定ビデオツールパラメータ設定ユーザインタフェース
US9167215B2 (en) Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101006