CN1769838B - 用于高精确机器视觉计量术的过滤图像的方法 - Google Patents

用于高精确机器视觉计量术的过滤图像的方法 Download PDF

Info

Publication number
CN1769838B
CN1769838B CN2005101160225A CN200510116022A CN1769838B CN 1769838 B CN1769838 B CN 1769838B CN 2005101160225 A CN2005101160225 A CN 2005101160225A CN 200510116022 A CN200510116022 A CN 200510116022A CN 1769838 B CN1769838 B CN 1769838B
Authority
CN
China
Prior art keywords
orientation
image
feature
structural unit
workpiece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005101160225A
Other languages
English (en)
Other versions
CN1769838A (zh
Inventor
维德亚·文卡塔查拉姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Publication of CN1769838A publication Critical patent/CN1769838A/zh
Application granted granted Critical
Publication of CN1769838B publication Critical patent/CN1769838B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开一种利用高精确机器视觉计量术过滤图像的结构形态过滤方法,它利用专门确定的结构单元精确地保存过滤图像中具体特征的位置。选取的结构单元形状通常有与过滤图像中被保存的至少部分特征几何相似性。结构单元的取向对应于被检查特征的取向。例如,对于被检查的直线特征,最佳结构单元是相同取向的直线或狭窄矩形,而对于被检查的圆形图像,最佳结构单元是圆形。基于自动确定被检查特征的取向,在一组自动检查操作期间可以自动确定或调整结构单元的取向。

Description

用于高精确机器视觉计量术的过滤图像的方法
技术领域
本发明一般涉及机器视觉检查系统,具体涉及过滤图像的方法。
背景技术
精确机器视觉检查系统可用于得到被检查物体的精确几何尺寸测量结果并检查各种其他的物体特性。这种系统可以包括:计算机,用户接口,照明系统,摄像机和光学系统,以及可以沿多个方向运动的精确载物台,从而允许操作员放置摄像机以成像工件的各种特征。用户接口通常包含可以放置在检查图像上的各种视频工具。按照这种方式,机器视觉检查系统的用户可以放置并操作视频工具以完成用于各种控制和检查操作的图像处理操作,而仅需很少或没有图像处理的知识。一种有这个特征的典型现有技术系统可以是通用“离线”精确视觉系统,我们可以从位于Aurora,IL的Mitutoyo America Corporation(MAC)购得商品化QUICK VISIONTM系列视觉检查机器和QVPAKTM软件。QUICK VISIONTM系列视觉检查机器和QVPAKTM软件的特征和操作,包括用户接口和各种视频工具,例如,在2003年1月出版的QVPAK 3D CNC Vision Measuring Machine UsersGuide和1996年9月出版的QVPAK 3D CNC Vision MeasuringMachine Operation Guide中描述,全文合并在此供参考。诸如QV-302Pro Model的这种产品利用显微镜型光学系统形成各种放大倍数的工件图像,并包含以上描述的全部特征。
这种通用“离线”精确视觉系统的特征是它们的多功能性,因此,能够使用户或自动程序能够快速改变它们的配置和成像参数,为了对各种类型物体或检查工件,或单个工件的各种特征完成各种检查任务。
通用精确机器视觉检查系统,例如,QUICK VISIONTM系统,通常还是可编程的,并提供自动的视觉检查。理想的是,这种系统包含可以简化这种系统编程和操作的特征和工具,因此,“非专家”操作员能够可靠地操作和编程。
自动视频检查计量术仪器通常有编程能力,对于每个特定的工件配置,允许用户规定自动的检查事件序列。编程能力通常还提供存储和/或输出各种检查操作的结果。这种编程可以借助于人工方式实施,例如,文本基编程,或通过逐渐“学习”检查事件序列的记录模式,其中存储对应于用户完成检查操作序列的一系列机器控制指令,或通过这两种方法的组合。这种记录模式往往称之为“学习模式”“训练模式”或“教学模式”。
在这些技术中,机器控制指令通常存储为特定工件配置专用的零件程序。在操作的“运行模式”期间,能够建立具有自动完成预定检查操作序列指令的零件程序有以下几个优点:其中包括:提高检查的可重复性,以及能够在多个相容机器视觉检查系统上和/或多个时间内执行相同的零件程序。
在机器视觉系统中,有时出现一些“遮挡”型问题,即,前景物体干扰观察或检查背景物体的情况。用于工件检查或测量的通用机器视觉系统通常不能解决遮挡问题。以前,没有容易编程的其他方案。一般地说,用户必须利用个人判断仔细地测量和放置工具以避免遮挡物体和/或阴影。在这种情况下,当检查有前景和背景特征的图像时,例如,与被检查特征最接近的边缘特征,各个工件之间结构的略微变化,或照明和阴影,可以使仔细放置和受过训练的工具失效或提供错误的结果。
或者,某些专家设计了各种定制设计的图像过滤过程和/或边界生长或“连接”过程,用于去除多余的遮挡图像特征。然而,这些过程往往在某种程度上总体改变图像的特性,从而存在改变图像中各种边缘特征位置的巨大风险。这种情况是不理想的,特别是对用于检查工件的各种精确计量操作,因为即使略微改变各种边缘特征的位置可以导致不精确的检查结果,这与精确检查的要求不相容。例如,通常要求的精确检查容差是5-10μm数量级或更小。因此,用于去除遮挡特征的各种先前方法没有给质量控制和检查操作提供良好的基础,特别是在通用机器视觉检查系统中,这种系统可以给相对非专业操作人员提供可靠的操作和相当简单的编程环境。
本发明的目的是一种用于克服上述或其他缺点的系统和方法。更具体地说,本发明的目的是一种用于过滤图像的方法,该方法能够以高精确度保存图像中具体特征的位置。
发明内容
本发明涉及一种用于高精确机器视觉计量术的过滤图像的方法,本发明还涉及一种可以由相对非专业操作人员实施的方法,它具有相对低的风险引入重大的工件测量误差。按照本发明的一个方面,形态基解决方法用于过滤图像以去除外来特征或遮挡特征。膨胀腐蚀过程可用于过滤操作。然而,反复使用膨胀腐蚀的过程容易使被测量的特征适应于所用结构单元的形状。因此,在直线特征上使用正方形状导致形状畸变(除非该直线的取向是在任何一个正方形边长的方向上),圆形特征也是如此。因此,为了保存图像中特定形状的指定特征,在按照本发明形态过滤评价区或图像时,我们利用这样的结构单元,它与被保存或检查的特征有基本相同的形状,或形状和特征。例如,若被保存或检查的特征包含直线边缘,则利用直线形或矩形结构单元用于过滤操作,而结构单元的轴取向与直线边缘基本平行。当被保存或检查的特征是圆形时,使用的结构单元也是圆形。因此,利用这样一种结构形态术方法,其中结构单元的选取是基于被测量的特征。
按照本发明的另一方面,过滤方法的开始是获取包含被检查工件特征的图像和与被检查工件特征最接近的外来特征或遮挡特征。然后,在至少部分的工件特征上,视觉系统完成该操作的评价区。结构形态操作是由视觉系统在至少评价区上完成的。然后,存储结构形态的图像。视觉系统在评价区上完成的操作是在结构形态图像中的合适位置实施的。然后,返回操作结果作为获取图像的结果。
按照本发明的另一方面,视觉系统在评价区完成结构形态操作的开始是首先确定评价区中被保存工件单元的形状,或形状和取向的适用特性。然后,确定评价区中外来特征的可利用特性。一般地说,对于结构单元,基于被保存工件单元的可利用特性和外来特征,选取结构单元的形状,几何尺寸(例如,宽度),和取向(如果可利用)。例如,在一些实施例或应用中,其中直线边缘被检查或测量,外来特征是网格条宽度尺寸为T的网格,而一些网格条相对于被检查或测量直线边缘的角度是φ,平行于被检查直线边缘的直线形或矩形结构单元的长度约为L=T(1/sinφ+1/cosφ),或上缺省限制,选取较短的一个数值。
按照本发明的另一方面,在各个实施例中,确定结构单元的长度和/或宽度的操作可以包括:确定是否给结构单元的长度和/或宽度施加缺省限制。作为一个例子,在利用直线或矩形结构单元的各个实施例中,适宜的是设置结构单元的最小宽度为3个或大于3个像素,为的是确保平行于结构单元的外来特征被过滤掉。作为另一个例子,在需要提供圆盘状或圆形结构单元合适近似的各个实施例中,直径的缺省限制至少是7个像素。为了较好和较可靠地近似于圆盘,圆盘直径至少是13个像素,而为了更好和更可靠地近似于圆盘,圆盘直径至少是17个像素。当被过滤掉的外来特征是条宽度或厚度为T的网格时,在一些实施例中,适宜的是设置圆盘直径d的缺省限制为奇数个像素,在图像中至少是d=2T+1个像素,为的是确保在过滤速度与可靠和完全过滤操作之间有合理的折衷。在各个实施例中,有利的是设置上缺省限制,它大致是被过滤区域的对角线尺寸,但与所使用的结构单元类型无关。
按照本发明的另一方面,通常基于被去除外来特征的一个或多个尺寸和/或结构单元的尺寸,确定完全去除外来特征所需的形态处理操作迭代次数。然后,至少对评价区完成形态处理操作迭代。在一些实施例中,令L′表示遮挡特征的相关跨距,按照本发明的形态过滤操作利用沿相关跨距方向有尺寸X的结构单元,其迭代次数大于或等于L′/X次。对于圆形结构单元,在与被检查特征邻近的指定区或评价区中,相关跨距通常是沿任何方向的遮挡特征中所包含的最长“不中断”像素跨距。对于直线形结构单元,在与被检查特征邻近的指定区或评价区中,相关跨距通常是沿某个方向的遮挡特征中所包含的最宽不中断像素跨距,该方向平行于被检查直线特征的边缘取向。
按照本发明的另一方面,可以按照人工方式,半自动或全自动方式确定评价区中被保存工件特征或单元的形状或形状和取向的适用特性。按照本发明的另一方面,确定结构单元的开始是确定被测工件特征是否有CAD数据。若有CAD数据,则基于适用的形状和对应于被保存工件特征的CAD数据,选取结构单元。若没有CAD数据,则基于获取的图像,确定工件特征是否有规则的几何形状(例如,直线形,圆形等)。若工件特征确实有规则的形状,则可以从列表和形状尺寸中选取结构单元的形状,或规定尺寸和取向对应于工件特征的尺寸和取向。若工件特征没有规则的形状,则利用图像处理算法或操作提取工件特征并重新构造工件特征(例如,填充或平滑),而选取的结构单元尺寸或尺寸和取向对应于提取的工件特征。在过程的结束,被保存工件特征或单元的控制特性存储在零件程序和/或用于确定结构单元在操作运行模式期间的特性。此外,在操作运行模式期间,基于存储的形状和/或取向,而不是CAD数据或用户输入,可以重复以上描述的操作,并可以调整零件程序中存储或确定的各种位置和取向参数以补偿定位失准,工件变化等,用于保持所需水平的形态过滤和检查功效,不管合理预期的运行时间工件和图像变化。
按照本发明的另一方面,可以按照人工方式确定外来特征的尺寸。人工方式过程的开始是用户目测确定相关尺寸的位置,即,外来特征沿与被检查特征邻近适用方向或取向的最大直径或跨距。然后,视觉系统工具可用于测量最大直径或跨距。然后,存储相关的尺寸作为控制外来特征尺寸。
按照本发明的另一方面,可以按照半自动或全自动方式确定外来特征的控制相关尺寸和/或取向。在一些实施方案中,在操作的学习或训练模式期间,自动过程的开始是用户规定或指出至少部分被测量外来特征的形状(例如,通过至少选取该图像中外来特征的相关部分,从形状库中选取,或利用任何合适装置输入的形状,规定模板)。然后,模式匹配算法可用于查找该图像饿至少评价区中规定形状的实例。若存在规定形状的多个实例,则由用户或利用缺省方法选取外来特征形状的优选实例。然后,利用算法确定外来特征的取向和/或相关尺寸。然后,外来特征的控制取向和/或相关尺寸存储在零件程序和/或用于确定在操作运行模式期间的结构单元特性。此外,在操作运行模式期间,基于存储的模板和/或存储的取向和/或相关尺寸,而不是用户输入,可以重复以上描述的操作,并可以调整结构单元的取向和/或尺寸以补偿定位失准,工件变化等,用于保持所需水平的形态过滤功效,不管合理预期的运行时间工件和图像变化。
应当理解,利用过滤方法(例如,形态术)去除外来特征(例如,网格)可以与实际图像特征测量过程(例如,直线工具,圆形工具等)分开。换句话说,一旦图像被过滤,则基于过滤的图像,普通图像分析的任何边缘测量工具可用于测量该特征。因此,任何现有,新的,或改进的边缘测量方法可以与本发明的方法结合使用。
应当理解,本发明的方法给用户提供简单的操作,其中可以利用标准化或熟悉类型的视频工具而无须任何定制的操作。此外,本发明的方法提供这样一种装置,它可以使相对非专业用户实施形态过滤操作和确定用于控制过滤操作的重要参数(例如,结构单元参数)变得很简单。换句话说,不要求用户利用实施定制操作的脚本语言以避免遮挡特征。取而代之,该系统允许使用预编程图标,即使非专业用户经过很少的训练就能够使用。还应当理解,某些现有的机器视觉检查系统可以采用按照本发明方法的各个实施例,而对于这种现有的机器仅作很少改动或没有“翻新”的改动。在各个典型的实施例中,在翻新的改动中只要求添加机器视觉检查软件方法和/或按照本发明原理的改动。
利用此处公开的系统和方法,对于被网格遮挡的边缘特征,实验得到的位置精确度是在0-1μm的范围内,而对于类似遮挡圆形的直径,位置精确度是在1-2.5μm的范围内。获得的实验测量可重复性小于0.1μm。因此,可以理解,按照本发明的形态过滤系统和方法可用于提供这样的过滤图像或图像部分,它可与现有的机器视觉检查系统视频工具结合使用,测量到被遮挡特征的精确度和重复性是在微米或亚微米范围内,这是普通过滤方法至今还不能实现的精确度和可重复性。
附图说明
参照以下结合附图的详细描述,可以更容易地理解本发明的上述特征和许多伴随的优点,其中:
图1是典型通用机器视觉和检查系统的示意图;
图2是被检查典型工件和特征的示意图,它包含平板显示屏掩模的阻挡网格;
图3是图2所示典型工件和特征的示意图,它说明选取的特征边缘部分;
图4是图3所示典型工件和特征的示意图,叠加的典型实施例GUI配件代表用于边缘定位的盒形,弧形,和点状工具;
图5是图4所示典型工件和特征的示意图,其中过滤过程应用在盒形和弧形工具的评价区;
图6A-6F表示利用圆形结构单元加在圆形特征上过滤过程的各种状态图;
图7A-7D表示利用直线形矩形结构单元加在直线特征上过滤过程的各种状态图;
图8表示用于确定直线形结构单元长度的各种参数示意图,它可去除外来网格特征;
图9是一个典型实施例的例行程序流程图,用于检查有外来特征的工件;
图10是一个典型实施例的例行程序流程图,用于确定结构单元和完成结构形态操作;
图11是一个典型实施例的例行程序流程图,用于人工方式确定外来特征的控制相关尺寸;
图12是一个典型实施例的例行程序流程图,用于半自动或全自动方式确定外来特征的控制相关尺寸;
图13是一个典型实施例的例行程序流程图,用于确定结构单元的特性;
图14表示盒形工具的屏幕显示图,用于确定包含圆形工件特征的大评价区;
图15表示在形态过滤器设置对话框中选取预览功能提供过滤图像的屏幕显示图,它允许用户在接受检查操作的过滤器设置之前预览过滤器设置的结果;
图16表示扩展过滤器配置列表的屏幕显示图,它允许用户命名和保存过滤器设置;
图17表示在直线形工件特征的形态过滤器设置对话框中各种设置的屏幕显示图;
图18表示在盒形工具对话框菜单的过滤器型列表中选项的屏幕显示图;
图19表示预览一组过滤器设置加到直线工件特征上得到的过滤图像屏幕显示图;
图20表示选取对应于被检查旋转直线工件特征的旋转过滤器设置的屏幕显示图;
图21是一个典型实施例的例行程序流程图,用于自动确定被检查直线特征的取向角;
图22包括图像和有关的曲线图,它表示利用投影矢量确定被检查直线特征取向角的各种状态;和
图23是一个典型实施例的例行程序流程图,用于在对应的图像评价区中确定被检查直线工件特征的取向。
具体实施方式
图1是按照本发明一个典型实施例的通用可编程机器视觉检查系统10方框图。机器视觉检查系统10包括:视觉测量机器200,它与控制系统100连接,用于交换数据和控制信号。控制系统100还与监视器111,打印机112,操纵杆113,键盘114,和/或鼠标26中的一个或多个连接,用于交换数据和控制信号。视觉测量机器200包括:可运动的工件载物台210和光学成像系统205,它可以包含变焦透镜或多个可交换透镜。变焦透镜或可交换透镜通常给光学成像系统205形成的图像提供各种放大倍数。
操纵杆113通常用于控制沿X方向和Y方向运动的可运动工件载物台210,和沿Z或聚焦方向可运动光学成像系统205的运动方向元件,X方向和Y方向大致平行于光学成像系统205的焦平面。通常,控制Z轴的偏转是操纵杆113的手柄或旋钮中可转动偏转元件。操纵杆113可以有不同于附图所示的形式,例如,监视器16上任何可视的表示或配件,它的功能是作为机器视觉检查系统10的“虚拟运动控制装置”并可接受任何计算机输入装置的控制,例如,鼠标26。控制系统100和视觉测量机器200的各个特征基本上类似于2004年3月25日申请的US Patent Application Serial No.10/808,948和2003年8月4日申请的US Patent Application Serial No.10/632,823中更详细描述的,全文合并在此供参考。
图2是通用机器视觉检查系统的部分显示区300的图,它展示被检查典型工件和特征的图像,其中包含平面板显示屏掩模的遮挡网格。如图2所示,显示区300是标准的640×480摄像机像素格式,并包含平面板显示屏掩模的遮挡重复网格图形304。在网格304的下方是工件背景层302,它可以包含基片,图案化薄膜,或其他表面,且通常包含图像信息,它是检查或测量过程的中心。工件上被检查的物体包含以下更详细描述的轨迹320和330。如以下更详细描述的,外来网格图形304使检查过程复杂化,因为网格本身有很强的交错边缘特征,它可以使轨迹320和330边缘部分的确定和评价变得复杂化。
图3是图2所示典型工件和特征的显示区300A图,它展示该特征的选取边缘部分。如图3所示,显示区300A中的轨迹320和330被人为地增亮,为的是更好地强调轨迹320和330以及它们的边缘。通过网格304的开口部分可以看到背景层302。应当理解,虽然我们在此处讨论网格型的外来遮挡物体304,但是,本发明的方法通常适用于任何类型外来的前景物体或背景物体。所示的网格部分304A是在背景层302的基片部分之上,而所示的另一种网格部分304B是轨迹部分320之上。所示一系列大的椭圆形340基本上围绕轨迹320和330的边缘部分。大的椭圆形340包含较小的圆形342,这些小圆形强调轨迹320和330的部分的边缘段,它们的边缘通过遮挡网格304实际上是可见的。所示的圆形350围绕轨迹330的圆形末端。圆形350包含较小的圆形352,这些小圆形围绕和强调轨迹330的边缘部分,其中边缘通过遮挡网格304实际上是可见的。
图4是图3所示被检查的典型工件和各种特征的显示区300D图,其中典型实施例的GUI配件代表用于边缘定位的盒形,弧形,和点状工具,所有这一切都可用在按照本发明系统和方法的各个实施例中。如图4所示,显示区300D包含盒形工具配件810A和810B,直线工具配件820,和弧形工具配件830。在QVPAK 3D CNC VisionMeasuring Machine Users Guide和QVPAK 3D CNC VisionMeasuring Machine Operation Guide以及在2004年7月30日申请的US Patent Application No.10/903,714中大致描述边缘检测工具GUI配件的各种操作特性,全文合并在此供参考。
直线工具配件820可直接用于确定工件图像中边缘点的位置,或可以作为盒形边缘工具(例如,盒形工具配件810A和810B)操作的基础,如以下详细描述的。直线工具配件820是在轨迹330左侧边缘的边缘部分之上。在用于检查目的的操作中,用户可以选取直线工具配件820,并拖动它横跨显示区,放置在轨迹330指定边缘的可视部分之上。在操作中,直线工具820通常沿它的长度方向扫描数据点(例如,像素),它与各种操作一起确定边缘位置。
为了确定图像中边缘的位置,通过查找强度数据内的最大梯度幅度,许多算法可以找到边缘的位置。若沿强度数据的方向有多个梯度,则选择器的位置可以帮助该算法确定哪个梯度对应于指定的边缘。还可以提供一种指示(例如,工具820的取向或方向),有助于算法确定它应当查找上升边缘或下降边缘。此外,在训练模式下确定和存储边缘的各种特性,便于更可靠地选择和确定类似部分上的指定边缘,在此之后,在运行模式下进行。这种特性可以包括:围绕边缘的总体谷值-峰值强度变化;边缘位置上的标称强度值;和/或这两个数值之间的比率,等等。
然而,应当理解,若直线工具配件820包含在用于检查多个工件的自动零件程序中,则遮挡网格304相对于轨迹330位置的任何变化可以定位直线工具820之下的遮挡网格304,并使它失效。本发明的意图是通过滤掉遮挡网格304以防止这种类型的失效模式。然而,还应当理解,在某些实施例中,利用已知的曲线拟合技术或已知的形心查找技术,该技术识别围绕最大梯度值的梯度曲线以下的区域形心,通过找到内插饿最大梯度位置,实际找到的边缘位置(最大梯度位置)具有子像素的精确度。因此,仔细地研究本发明的过滤方法和参数,使它在这种精确度下不严重改变过滤图像中被检查边缘的位置。
在各个典型实施例中,盒形工具配件810A和810B显示成一侧带箭头和中心处有选择器的盒子。在各个典型实施例中,操作员测量,定位和旋转盒形工具配件810A和810B,直至该盒子表示或确定评价区,且“+”边缘选择器标记表示被测定和检查的边缘。在各个典型实施例中,盒形工具配件810A和810B沿评价区中的边缘通常利用一个或多个普通的边缘梯度,并基于人工操作方式或训练模式下的选择器位置,和沿各个扫描线的边缘梯度局部幅度,可以确定该边缘,如同以上对直线工具配件820所描述的。在这些典型实施例中,箭头的方向确定与边缘梯度相关的参考方向或极性。应当理解,如果需要,盒形工具配件810A和810B边界指出的评价区范围是完全可调整和可旋转的。弧形工具配件830还指出评价区,对选取的边缘作标记,并通常按照类似于盒形工具配件810A或810B的方式进行安排和操作,为的是确定限制图像特征曲线(例如,半径)的各个边缘点。
图5表示图4所示典型工件和特征的视图300E,其中过滤过程应用在盒形和弧形工具的评价区。如以下更详细描述的,利用按照本发明的图像处理算法,即,形态基图像处理方法,至少可以从评价区中去除外来特征(例如,网格),因此,可以对评价区中的清晰边缘图像进行测量。如图5所示,过滤操作应用在盒形工具配件810A和810B和弧形工具配件830的评价区内,为的是基本去除网格。在各个典型实施例中,如果需要,在机器视觉系统操作的训练模式期间,可以给操作员显示类似于图300E的图像,使操作员可以定性或定量地评价根据一组形态基过滤参数得到的过滤边缘图像,并基于这种评价,接受或改变过滤器参数。
在按照本发明的各个实施例中,膨胀腐蚀过程用于过滤图像。例如,膨胀操作可以包括:给结构单元中每个像素分配对应于结构单元中包含最大像素值的数值。类似地,膨胀操作可以包括:给结构单元中每个像素分配对应于结构单元中包含最小像素值的数值。在按照本发明各个实施例中,这种图像处理操作以及可用于去除外来特征数据的各种其他图像处理操作,在多个图像处理出版物中有进一步的说明和描述,例如,Ramesh Jain et al.:Machine Vision,McGraw Hill,1995,全文合并在此供参考。
在此处描述的各个实施例中,当指出“一次迭代”膨胀腐蚀过程时,这相当于顺序步进结构单元通过指定图像区内的每个像素位置,并在该顺序中的每个位置上完成上述的膨胀操作。在此之后是顺序步进结构单元通过指定图像区内的每个像素位置,并在该顺序中的每个位置上完成上述的膨胀操作,从而完成一次迭代操作。类似地,当指出“K次迭代”膨胀腐蚀过程时,这相当于首先顺序步进结构单元通过指定图像区内的每个像素位置,并在该顺序中的每个位置上完成上述膨胀操作。然后,在完成的总数为“K”次之前,重复另一次整个膨胀操作顺序通过指定区。在此之后是顺序步进结构单元通过指定图像区内的每个像素位置,并在该顺序的每个位置完成上述的膨胀操作。然后,重复另一次整个顺序膨胀操作通过指定区,直至它已完成总数为“K”次迭代。这就完成“K次迭代”的膨胀腐蚀过程。
在此处的说明和讨论中,我们假设在图像中相对较明亮的(较高像素值)特征被保存和测量,而相对较黑暗的遮挡特征被过滤掉。因此,膨胀腐蚀过程是合适的,然而,应当明白,若遮挡特征普遍地比被保存和检查的特征更明亮,则按照本发明,以上描述的膨胀腐蚀过程是按相反的顺序进行,即,膨胀腐蚀过程是去除较明亮的遮挡特征和保存较黑暗的被检查特征。在这种情况下,正确地保存较黑暗的特征,它没有以下参照图6B和7B讨论的后生物。
如以上所指出的,在重复地利用膨胀腐蚀过程时,它通常是使被检查的特征适合于所用结构单元的形状。因此,在直线特征上应用正方形可以导致直线特征的畸变(除非该直线的取向是正方形中任一个边长的方向),对于圆形特征也是如此。为了避免图像中具体特征的畸变,按照本发明,最佳结构单元有对应于被检查特征的形状或形状和取向。因此,对于被检查有给定取向的直线或矩形图像,则最佳结构单元是相同取向的直线或矩形,而对于被检查的圆形图像,则最佳结构单元是圆形,等等。因此,按照本发明,利用这样一种结构形态术方法,其中选取结构单元的形状或形状和取向通常是基于被测量的特征。
为了过滤图像中的遮挡特征以便测量圆形,最佳结构单元是有足够直径的圆形或圆盘形单元。图6A-6F表示按照本发明形态过滤过程的各个视图,其中圆形结构单元加到包含圆形特征的图像上。图6A表示5x放大倍数拍摄的640×480像素图像,它包含处在中心位置被检查的圆形特征601,以及围绕该特征的区域,它们都被遮挡网格所覆盖。当图6C所示的近似圆形结构单元602加到图6A所示的图像上时,按照本发明利用膨胀腐蚀过程从中心位置的圆形特征601中去除遮挡网格,图6B表示产生的过滤图像。具体地说,为了产生图6B所示的结果,利用包含5次膨胀腐蚀迭代圆形结构单元602的形态过滤过程,其中结构单元602的直径是27个像素。如图6B所示,网格已被去除。具体地说,圆形特征601的内部没有遮挡网格和没有过滤后生物。图6B所示显现的圆形特征601边缘所在位置与图6A所示遮挡圆形特征601的边缘位置没有显著的不同,这是所理想的结果。图6D和6E分别表示圆形特征601的未过滤图像和过滤图像近视图(放大倍数为15x)。
应当理解,圆形结构单元602的所示尺寸相对于图6A和6B所示比例是夸大的。一般地说,为了过滤遮挡网格或其他遮挡特征,诸如圆形结构单元602的结构单元最大可用尺寸d至多略大于网格条内沿任何方向所包含的最长未中断像素跨距。通常,这个尺寸小于或远远小于被检查圆形特征的直径。
关于围绕显现的圆形特征601区域,从图6B的过滤图像中可以看出,垂直臂603和水平臂604的边界以及与垂直臂603和水平臂604相交的邻近外圆形边界605的边界是畸变的。如上所述,这种情况的发生是因为,在利用形态膨胀腐蚀过程时,有不同于结构单元形状的特征容易适合于结构单元的形状。在这种情况下,图6C所示圆形结构单元加到垂直臂603和水平臂604的直线边界,以及它们与外圆形特征边界606相交的相对尖锐角度上容易畸变相关边缘,该边缘适合于结构单元601的形状。
理想的是,为了在被检查特征邻近的指定区或评价区中利用单次膨胀腐蚀迭代有效地去除诸如网格的遮挡物体,结构单元圆盘直径必须足够大,可以完全覆盖遮挡特征的相关跨距。对于圆形结构单元,相关跨距通常是在被检查特征邻近的指定区或评价区中沿任何方向的最长“不中断”遮挡特征像素跨距。然而,因为结构单元“圆盘”的边缘不是真正的圆形,而仅仅是由大致排列成行列格式的一组像素构成,在某些实际情况下,利用这种尺寸结构单元的形态过滤方法不能完全或合适地过滤图像。在结构单元直径很小时,这是特别真实的。
为了说明这一点并强调盘状结构单元直径或尺寸的重要性,更一般地说,它代表其他形状结构单元尺寸的重要性,我们考虑直径为两个像素的假想“圆盘状”结构单元。对于离散正方形像素的行列安排,应当明白,“直径”为两个像素的结构单元实际上是正方形。因此,在过滤器加到包含圆形特征的图像上时,圆形特征的边缘通常显示出由不同形状粗略结构单元引入的后生物。例如,图6E展示这种效应。具体地说,为了产生图6E所示的结果,利用包含27次膨胀腐蚀迭代正方形结构单元的形态过滤过程,该结构单元的尺寸是3×3像素。如图6E所示,网格被去除,但是显现的圆形特征601′包含形成不规则边缘的边缘后生物,这些边缘后生物的边缘位置远远不同于图6A所示遮挡圆形特征601限定的实际边缘位置。在需要相对高精确度的检查和测量结果时,并强调按照本发明选取结构单元的数值,使它的形状很好地近似于被检查特征的形状。
在各个实施例或应用中,利用其尺寸远远小于相关跨距长度的结构单元,并根据需要增大迭代次数以实现所需的过滤结果,可以导致最快的过滤操作。例如,在理论上,若d′是在理想或无噪声条件下通过单次迭代完全过滤掉或去除网格或其他遮挡特征所需的圆形结构单元直径,则在理想条件下直径为d的结构单元通过N=d′/d次迭代可以实现大致相同的过滤结果。然而,在实际上,如图6F中利用“太小”3×3结构单元得到的较差结果所指出的,需要限制圆形结构单元有足够大的尺寸,它允许沿行和列排列的一组像素近似于有合适分辨率的圆以提供精确的过滤操作。更一般地说,有其他形状的结构单元也应当有满足这个准则的尺寸。通常,随着结构单元尺寸的增大,其弯曲边缘和/或夹角的形状可以由行和列排列的一组离散像素近似。为了克服以上描述的效应,并附加地提供这样的过滤操作,它可以克服真实图像中噪声造成的潜在过滤缺陷,在需要合适地近似于盘状或圆形结构单元的各个实施例中,其直径至少限定在7个像素。为了较好和较可靠地近似于圆盘,圆盘的直径至少是13个像素,而为了更好和更可靠地近似于圆盘,圆盘的直径至少是17个像素。此外,当被过滤的遮挡特征是条宽度或厚度为T的网格时,在各个实施例中,适宜的是设置圆盘直径d至少为上述的最小允许数值,或提供简单和合适的缺省值,它大致是d=2T+1,取其中较大的一个数值,为的是在过滤速度与可靠和完全过滤操作之间提供合理的折衷。
在各个实施例中,为了避免在各种过滤图像特征的明显位置上引入空间位移或偏置,并提供最佳的过滤精确度,有利的是,结构单元的直径对应于奇数个像素。在这种情况下,结构单元的像素是围绕该结构单元的中心像素呈对称分布,而且,当过滤操作是在迭代期间的评价区(图像)中各个像素地址位置上完成时,中心像素唯一地对应于每个当前像素的地址位置。若结构单元的直径或长度很小,则提供围绕中心像素呈对称分布的结构单元是特别重要。
关于形态过滤操作中所用的迭代次数,如上所述,可以确定迭代次数为略大于在理想条件下所需的最小迭代次数N=d′/d。作为另一个方案,在包含噪声的实际成像条件下,N+3次迭代可以确保可靠的过滤结果。基于具体特征所需最小迭代次数,作为有效确定迭代次数的另一个方案是,可以简单地设置结构单元的尺寸为预定的缺省值,而迭代次数设置成确保完全过滤所对应的预定缺省值。例如,当遮挡特征是条宽度或厚度为T的网格时,以及结构单元尺寸设置为缺省值d=2T+1,则迭代次数可以简单地设置成5次迭代的缺省值,它是一个保守的“增大”数值,在保持合理过滤速度的同时,也可以确保有效地过滤噪声图像。应当注意,在某些情况下,即使诸如网格的遮挡特征被完全地去除,指定特征的边界可能并不平滑。在这种情况下,可以增大迭代次数以得到较平滑的边界。
关于从图像中过滤遮挡特征以便测量矩形特征和/或直线边缘,最佳的结构单元是直线形单元,即,具有足够长度和宽度的直线或矩形单元。图7A-7C展示按照本发明形态过滤操作的各个视图,其中直线结构单元加到包含直线特征的图像上。图7A表示放大倍数5x拍摄640×480像素的图像,它包含被检查特征的中心位置直线特征701以及围绕的区域,它们都被遮挡网格所覆盖。当类似于图7C所示直线结构单元702的近似直线结构单元加到图7A所示的图像上时,按照本发明利用膨胀腐蚀过程从中心位置的直线特征701中去除遮挡网格,图7B表示产生的过滤图像。具体地说,为了产生图7B所示的结果,利用包含5次膨胀腐蚀迭代直线结构单元的形态过滤过程,该直线结构单元的取向平行于直线特征701的边缘,且其长度L=27个像素和宽度w=1个像素。如图7B所示,图7B中所示的显现直线特征701有从其内部完全去除的遮挡网格,它构成按照本发明充分或完全地去除遮挡特征,且图7B中所示显现直线特征701的边缘位置与图7A所示遮挡直线特征701边缘位置没有很大的不同,这是一个理想的结果。应当理解,围绕矩形特征的区域中呈周期性分布的锯齿状直线后生物并不干扰检测和测量显现直线特征701的指定边缘。如图7B所示,按照本发明的膨胀腐蚀过程保存被检查的特征,因此,它的内部没有遮挡特征和后生物。所以,通过定向边缘检测视频工具的扫描方向(图5所示各种视频工具中箭头所指出的方向),并开始从保存特征的内部扫描,能够可靠地找到被保存特征的指定边缘。因此,遇到的第一个边缘是指定的边缘。所以,在按照本发明的各个实施例中,当按照本发明的形态过滤器用于检查操作时,按照人工方式,半自动或全自动方式确定相关边缘检测工具的扫描方向,使它是从被检查特征的内部开始。或者,在确定检查操作时,适宜的是利用以上参照图4和5所示各种视频工具描述的“+”形状边缘选择器,可以从相邻边缘中有效地判别被检查的指定边缘,例如,锯齿状直线后生物的边缘。然而,这种仅仅检测指定边缘的方法不如以上描述的扫描方向技术可靠。当然,这两种方法可以结合使用以增强稳健性。
应当理解,所示的直线结构单元702尺寸相对于图7A和7B的比例是夸大的。通常确定矩形结构单元701的尺寸w小于或远远小于被检查带边缘特征的宽度。具体地说,在各种应用中,其中它确保遮挡单元的边缘(例如,遮挡网格条的边缘)不平行于被检查特征的边缘,而矩形或直线结构单元可以一致地对准至少基本平行于被检测的边缘,则矩形或直线结构单元的尺寸w至少有1个像素已足够。然而,在遮挡单元的边缘(例如,遮挡网格条的边缘)基本平行于被检测特征边缘的具体情况下,就不可能去除沿平行于宽度w=1个像素的直线结构单元方向的遮挡特征。然而,这种情况下的简单解决方案是利用这样的矩形结构单元,例如,它的厚度或宽度w为3个像素或更多个像素。因此,在各个典型实施例中,至少当遮挡单元的边缘平行或基本平行于被检查特征的边缘时,结合本发明方法的零件程序中所用直线形结构单元的宽度w至少是3个像素。这可以确保从被检查特征的内部去除甚至“平行”的遮挡单元。
关于长度尺寸L,理想的是,为了在单次膨胀腐蚀迭代中从被检查特征邻近的指定区或评价区中有效地去除诸如网格的遮挡物体,长度L必须足够长,它可以完全覆盖遮挡特征的相关跨距。我们假设结构单元的取向基本平行于被检查直线形特征的边缘,则相关跨距是遮挡特征沿某个方向包含的最长不中断像素跨距,该方向在被检查特征邻近的指定区或评价区中平行于被检查直线形特征的边缘取向。
在各个实施例或应用中,利用其长度远远小于相关跨距长度的结构单元,并增加所需的迭代次数以实现理想的过滤结果,可以得到最快过滤操作。例如,在理论上,若L′是通过单次迭代完全过滤掉或去除网格或其他遮挡特征所需的直线形结构单元长度,则长度为L′/N的结构单元通过N次迭代可以实现大致相同的结果。由于结构单元有较小的尺寸,尽管增加了迭代次数,这种实施例实际上可以在少于利用相对较长结构单元完成上述一次迭代过滤操作所需时间内完成所需的多次迭代过滤操作。
然而,根据其他的考虑,在一些实施例或应用中,尺寸L可以限制在足以确保直线形结构单元的取向有所需角分辨率和精确度的缺省长度上。与没有明显取向的圆形结构单元对比,有直线边缘的形态结构单元,具体地说,诸如矩形和直线单元的直线形结构单元,相对于被检查特征的直线边缘必须有正确的取向,为的是产生理想的精确过滤结果。一般地说,直线形结构单元的边长越接近平行于被检查的边缘特征,则过滤操作保存边缘的直线性和位置越精确,以及随后的检查和测量结果就越精确。
为了清楚地说明结构单元长度在这方面的重要性,我们考虑长度为2个像素的结构单元。对于行和列排列的结构单元像素,应当理解,长度为2个像素和宽度为1个像素的结构单元有意义角取向仅仅是0°,45°,和90°。即,两个相邻像素的选择是排成一行,排成一列,或沿对角线排列。因此,有意义的角取向分辨率仅仅是45°。通常,随着结构单元长度的增大,可以改进有意义的角取向分辨率。例如,当结构单元长度约为58个像素时,可以提供有意义的角取向分辨率为1°。被检查直线特征的(理想)直线边缘通常展示与边缘不平行的直线结构单元引入的后生物。例如,图7D展示这种效应。具体地说,为了产生图7D所示的结果,利用包含5次膨胀腐蚀迭代矩形/直线结构单元的形态过滤过程,该结构单元的长度L=27个像素和宽度w=1个像素。直线结构单元相对于被检查直线特征边缘的失准为2°。如图7D所示,网格被去除,但是显现的直线特征701′包含导致不规则边缘的边缘后生物。在要求相对高精度检查和测量结果时,这是不可接受的过滤结果。这个例子强调正确定向结构单元的价值,它可以提供按照本发明的形态过滤操作,在直线形结构单元的情况下,要求它的长度取向平行于被检查边缘有足够的角分辨率。当然,具体检查测量的精确度要求确定用于定向结构单元的所需角分辨率,而它又确定所需的结构单元长度。所以,在所需检查精确度是相对低时,就允许相对短的结构单元。因此,在要求至少有一个直线边缘的结构单元提供有意义角取向分辨率至少为1°的各个实施例中,直线边缘至少有58个像素。类似地,在相对低精确度可接受的实施例中,对于2°,5°,或10°的各个角取向,至少一个直线边缘的长度分别是29个像素,12个像素,或6个像素。更一般地说,为了提供约为K°的角分辨率,至少一个直线边缘的长度有[180°/(π*K°)]个像素。以下更详细地描述与人工方式,半自动或全自动方式选取或调整直线形或矩形结构单元取向和/或长度有关的各种考虑和方法。
关于直线形结构单元的最大长度L,假想地,若我们希望在一次迭代中清楚地去除诸如网格的遮挡特征,则直线结构单元需要有足够的长度L,使它完全地达到遮挡特征沿某个方向包含的最宽不中断像素跨距,该方向平行于被检查直线特征的边缘取向,为的是清楚地去除遮挡特征。在遮挡网格的情况下,按照以下参照图8所描述的方法,可以计算这条直线长度L。
图8表示被检查直线或边缘特征801和部分外来遮挡网格802的示意图。令Ga表示网格的取向角(相对于参考轴),T表示网格条宽度或厚度,和La表示被检查直线或边缘特征801的取向角(相对于参考轴)。按照本发明,La也是相关结构单元的理想取向角。令
Figure 051B60225_0
=(La-Ga)表示直线或边缘特征801或相关结构单元相对于网格的取向角。如图8所示,沿平行于直线或边缘特征801或结构单元方向的方向,遮挡网格802中包含的最长不中断像素跨距是沿网格条内的直线,该直线正好掠过各个网格条相交的角度。沿这条直线的不中断网格像素的跨距长度L是:
L = T ( 1 sin φ + 1 cos φ ) 公式1
按照本发明,若直线取向和网格取向是对准的,即,若当=0°,90°,180°,或270°时,长度L在理论上是无限长。然而,不管遮挡特征是网格或其他类型的物体,实际上,L的最大有用数值一定不大于被过滤区中包含的最长尺寸。在各个实施例或应用中,仅仅过滤与当前单个视频工具相关的当前评价区,在这种情况下,尺寸L的最大有用数值一定不大于当前评价区的对角线尺寸。在过滤整个图像的实施例或应用中,尺寸L的最大有用数值一定不大于该图像的对角线尺寸。若这种相对长的长度用于结构单元,且过滤操作是在迭代期间的评价区(或图像)中各个像素地址位置上完成的,则可以忽略与特定像素地址相关的延伸超出评价区(或图像)之外的部分结构单元。
然而,对于许多遮挡网格结构,按照公式1确定的L值小于以上描述的对角线尺寸。在这种情况下,对于具体的特征或图像,得到按照公式1确定数值L的有价值目的是,确定那个具体的特征或图像的数值L是否小于以上描述的对角线尺寸,或具体实施例或应用中所用某个其他缺省的最大结构单元长度。即,对于遮挡网格,结构单元的长度大于按照公式1确定的数值不可能大大改进相对无噪声图像中的图像过滤结果,而是导致相对慢的过滤操作。因此,在各个实施例中,为了确保过滤操作不超过产生理想过滤结果所需的时间,结构单元的长度限制在大致等于或小于按照以上确定的相关跨距长度。如上所述,若结构单元长度小于相关跨距长度,则需要多次膨胀腐蚀迭代,为的是可靠地去除遮挡特征。理论上,若L′是直线形结构单元的长度,它在理想条件下(例如,无噪声条件)通过单次迭代可以完全过滤掉或去除网格或其他遮挡特征,则在理想条件下,N=L′/L次迭代可以获得与长度为L的结构单元大致相同的结果。
类似于以上参照圆形结构单元讨论的考虑,当遮挡特征是条宽度或厚度为T的网格时,在各个实施例中,适宜的是设置直线形结构单元的长度按照以上参照公式1所计算的,或提供一个简单或合适的缺省值,大约是L=2T+I,取其中较大的一个,为的是在过滤速度与可靠和完全过滤操作之间提供合理的折衷。此外,在各个实施例中,为了避免在各种过滤图像特征的明显位置上引入空间位移或偏置并提供最佳的过滤精确度,有利的是,直线形结构单元的长度L对应于奇数个像素,其理由如上所述。此外,可以确定利用直线形结构单元形态过滤操作所用的迭代次数,它略大于上述在理想条件下的最小迭代次数N=L′/L次迭代。例如,作为另一个方案,N+3次迭代可以确保可靠的过滤结果。或者,对于某些应用和/或特征,直线形结构单元的长度和相应的迭代次数可以设置成确保完全过滤的预定缺省值。例如,对于条宽度或厚度为T的遮挡网格,若结构单元的长度设置成缺省值d=2T+1,则迭代次数可以设置成5次迭代的缺省值,它是确保有效过滤包括噪声图像在内大部分或全部典型图像的评价区中保守“大”的数值,而同时保持合理的过滤速度。
在各个实施方案中,在确定工件的零件程序中包含各种参数和指令的“运行模式”或训练阶段期间,按照人工方式,半自动或全自动方式可以确定用于控制结构单元的选取和适用迭代次数的任何或所有特性。在操作的运行模式或运行阶段期间,可以按照自动方式记录零件程序以及随后再调用和执行该程序以检查工件。例如,在各种应用中,这种特性可以包括,但不限于,外来网格的厚度和/或取向,外来网格的相关尺寸,或其他遮挡特征,被过滤和检查的直线特征取向,评价区尺寸,等等。
利用此处公开的系统和方法,借助于诸如各个附图中所示网格遮挡的边缘特征实验,我们得到的位置精确度是在0-1μm范围内,而对于类似遮挡圆的直径精确度是在1-2.5μm范围内。得到的实验测量结果可重复性小于0.1μm。这些误差小于一般过滤方法用于相同图像所得到误差的50-75%。因此,可以理解,按照本发明的形态过滤系统和方法可用于提供特定过滤的图像或图像部分,它可与现有机器视觉检查系统视频工具结合使用以测量有微米和亚微米精确度和重复性的遮挡特征,这是普通过滤方法不能实现的精确度和可重复性。
图9是一个典型实施例的通用例行程序900的流程图,用于检查有外来特征的工件。在方框920,获取包含被检查工件特征和最接近被检查工件特征的外来特征(例如,网格)的图像。在方框930,确定视觉系统对至少部分图像完成操作的评价区,该图像包含被检查的工件特征。在方框940,至少在评价区上完成由视觉系统完成的结构形态操作。在方框950,存储结构形态图像。在方框960,在结构形态图像的叠合位置上完成视觉系统在评价区上完成的操作。在方框970,返回操作结果作为获取图像的结果。可以在人工方式下完成例行程序900的运行,为的是完成人工方式的工件检查操作。在其他的情况下,可以按照人工方式,半自动或全自动方式在学习模式/训练模式下完成这些操作,为的是确定包含零件程序中记录形态过滤操作的检查步骤。在其他的情况下,可以在自动执行零件程序的期间完成,该零件程序包含一组有形态过滤操作的工件检查指令。
图10是一个典型实施例的例行程序1000的流程图,用于完成结构形态操作。在一个实施例中,可以在图9的方框940中完成图10的结构形态操作。如图10所示,在方框1020,确定评价区中被检查工件单元或特征形状和/或取向的适用特性。在方框1030,确定评价区中外来特征的适用特性(例如,网格宽度或厚度,取向,相关尺寸等)。在方框1040,基于方框1020和1030操作中得到的信息,确定结构单元的形状,取向和尺寸(例如,直径,长度,宽度,或厚度等)。在各个实施例中,在方框1040中确定取向和/或尺寸也可以考虑适用于取向和/或尺寸的操作缺省限制。以上我们已描述过这种缺省限制的各种例子。
在方框1050,基于以上得到的信息,确定去除外来特征所要求的形态处理迭代次数,至少是从被检查特征的内部除外来特征。在各个实施例中,基于操作方框1020和/或方框1030得到的信息,可以确定迭代次数。在各个实施例中,确定迭代次数也可以考虑操作的缺省迭代次数,例如,它可以与方框1040中确定的缺省尺寸相联系。以上我们已描述确定特征专用和/或缺省迭代次数的各种例子。在方框1060,基于确定的结构单元和迭代次数,至少在评价区上完成指定的形态处理操作。在操作方框1060之后,该例行程序结束。
图11是一个典型实施例的例行程序1100流程图,用于人工方式确定图像中外来特征的控制相关尺寸。在各个实施例中,在图10的方框1030或图13所示例行程序1300的方框1370可以完成例行程序1100。如图11所示,在方框1110,开始按照人工方式确定当前图像,ROI,或被检查特征的外来特征控制相关尺寸。可以按照人工方式完成例行程序1100的运行,为的是完成人工方式的工件检查操作。在其他的情况下,在学习模式/训练模式下按照人工方式,半自动或全自动方式可以完成例行程序1100的运行,为的是确定包含在零件程序中记录形态过滤操作的检查步骤。在方框1120,视觉识别,或借助于任何已知或以后开发的视频工具识别外来特征的最大遮挡跨距位置,该特征是与当前图像,ROI,或被检查的特征有关。在方框1130,视觉系统视频工具用于测量最大遮挡跨距。在一些实施方案中,若遮挡跨距是部分的重复特征或图形,则可以测量该图形中任何位置包含的合适代表性跨距。在方框1140,确定和存储和/或实施外来特征的控制相关尺寸。在一些情况下,可以确定最大遮挡跨距为控制相关尺寸。在各个实施例中,在方框1140确定控制相关尺寸也可以考虑适用于控制相关尺寸的任何运行缺省限制,,并基于与最大遮挡跨距的比较,可以确定缺省限制为控制相关尺寸。以上我们已描述这种缺省限制的各种例子。
可以实施控制相关尺寸以确定用于人工方式检查操作的结构单元特性。或者,可以在零件程序中存储或实施控制相关尺寸,可以在以后时刻确定用于自动检查工件的结构单元特性。
图12是一个典型实施例的例行程序1200流程图,用于按照半自动或全自动方式确定与被检查特征最接近的外来特征控制相关尺寸。在各个实施例中,在图10的方框1030或在图13所示例行程序1300的方框1370,可以完成例行程序1200。如图12所示,在方框1210,开始按照半自动或全自动方式确定当前图像,ROI,或被检查特征的外来特征控制相关尺寸。可以按照半自动或全自动操作完成例行程序1200的运行,例如,在操作的运行模式下利用视频工具的操作,为的是完成人工方式的工件检查操作。在其他的情况下,在学习模式/训练模式下可以按照半自动或全自动方式操作完成例行程序1200的运行,为的是确定包含零件程序中记录的形态过滤操作检查步骤。在其他一些的情况下,在操作的运行模式期间可以按照全自动方式完成,用于确定或改进零件程序执行期间的过滤特性或参数,该零件程序包含一组有形态过滤操作的工件检查指令。
在方框1220,借助于任何现在已知或以后开发的装置,识别,输入,或规定外来特征的形状。例如,在操作的训练模式期间,用户可以从形状菜单或库中选取或输入形状的类型,或借助于文本或绘图输入,或识别使用的形状作为模板,或借助于几何模式识别方法可以识别形状。在操作的自动运行模式期间,可以从存储器中再调用外来特征形状的形状类型或模板,或由零件程序指令规定。作为一个例子,若外来特征是部分网格,取决于评价区相对于网格的尺寸,则该形状可以是对应于网格中一条或多条的矩形,对应于网格中一个或多个相交处的x形状,或对应于网格中一个或多个盒形单元的形状或图形。
在方框1230,模式匹配算法用于查找ROI(或在其他的实施例,在当前图像的较大区域)中规定外来特征形状的实例。在方框1240,若在ROI中(或在其他的实施例,在当前图像的较大区域)存在规定外来特征形状的多个实例,则识别和/或选取该形状的一个或多个相关实例。作为一个例子,在自动操作期间,可以选取相关实例为当前ROI中包含的实例,或有最接近于,或足够接近于边缘选择器位置的形心,或点状工具位置等,它用于确定对评价区中被检查当前特征的检查操作。作为另一个例子,在操作的运行模式期间,可以在显示屏上的工件图像中指出多个实例(例如,借助于彩色形状轮廓或填充物等),而用户可以通过用户接口按照人工方式识别或选取优选的实例。
在方框1250,利用算法测量最大遮挡跨距并确定外来特征的控制相关尺寸。例如,若被检查的当前特征是直线边缘,则该算法可以包含输入,再调用或确定该边缘的取向,并估算沿平行于边缘取向的多条扫描线的外来特征形状相关实例中包含的相连像素数目。确定的最大相连像素数目对应于最大相关尺寸,然后,在方框1260,确定和存储和/或实施控制相关尺寸。在一些情况下,可以确定最大遮挡跨距为控制相关尺寸。在各个实施例中,在方框1140确定控制相关尺寸也可以考虑任何适用于控制相关尺寸的操作缺省限制,并基于与最大遮挡跨距的比较,确定缺省限制为控制相关尺寸。以上我们已描述这种缺省限制的各种例子。
可以实施控制相关尺寸以确定人工方式检查操作中所用的结构单元特性。或者,在操作的运行模式期间,可以在零件程序中存储或实施控制相关尺寸,用于确定在以后时刻按照自动方式检查工件的结构单元特性。此外,在操作的运行模式期间,可以实施控制相关尺寸,用于确定或改进零件程序执行期间所用的过滤特性或参数。
图13是一个典型实施例的例行程序1300流程图,用于确定结构单元的特性。通常是在机器视觉检查系统操作的人工方式检查或学习模式期间完成例行程序1300的运行。然而,在某些情况下,例行程序的运行可以适合于自动改进结构单元的特性,在操作的运行模式期间可以调整相同零件程序检查的各个零件之间微小变化。在一个实施例中,例行程序1300可以用在图10中的方框1020-1040和/或图9中方框940的操作中。如图13所示,在方框1310,开始确定结构单元的特性。在方框1320,再调用和/或输入被检查工件特征的表示,用于随后例行程序1300的运行。在各个实施例或应用中,工件特征表示可以包括CAD数据,基于CAD数据的模拟图像,或包含工件特征的实际图像。
在判定方框1330,分析工件特征表示以确定被检查的工件特征是否有对应于一组预定结构单元候选形状中包含的任何形状(即,可以被它精确地过滤)。如上所述,选取的结构单元形状通常与被检查的特征或部分特征匹配。因此,为了方便起见,按照本发明的机器视觉检查系统可以包含用于限定一组预定类型结构单元候选形状的库,菜单,或列表等,例如,它可以包含直线和/或一个或多个普通矩形(用于过滤以上描述的直线特征和边缘),直角“L形”图形(用于过滤角度),圆形(用于过滤圆形或部分圆形),恒定曲率弧形(用于过滤环形段),一个或多个普通三角形(用于过滤三角形),或预期在检查特征形状时通常发生的任何其他形状。在操作的人工方式或学习模式期间,确定工件特征是否对应于按照人工方式,半自动或全自动方式可以完成的一个预定形状,例如,借助于视觉识别或比较,几何分析和分类,几何模式匹配(它可以包括形态的形状变化),或模板匹配等。
若被检查的工件特征对应于该组预定结构单元候选形状中包含的任何形状,则操作进行到方框1340,其中相应地设置预定的结构单元。在各个实施例中,若要求精确的过滤,则在方框1340的操作中可以改变或适应普通形状的各种角度和/或纵横比等,为的是更好地匹配被检查的特征。也是在方框1340,若可以识别结构单元形状的取向,则按照人工方式(通常是借助于机器视觉检查系统中的一个或多个视频工具),半自动或全自动方式确定被检查特征的取向。然后,限定结构单元的取向平行于被检查特征的取向,并可以存储有关的取向参数或特性,以后可以在零件程序中使用和/或在结构单元中实施用于过滤。以下进一步讨论按照自动方式确定直线特征取向的各个方面。
若在方框1330中确定工件特征不对应于任何预定的形状(例如,它是不规则形状或各种形状的组合),则操作进行到方框1350,其中利用任何现在已知或以后开发的方法,从工件特征表示中提取或确定工件特征形状。例如,利用各种已知的图像处理技术,可以识别,和/或完成和平滑特征边缘或边界,或借助于区域生长技术或用于显现边缘或边界的其他已知图像处理技术,可以填充被检查的特征。然后,借助于已知的图像处理技术,可以“提取”形成的显现特征形状,并用作结构单元的形状。在这种情况下,结构单元的几何形状类似于被检查的特征。也是在方框1350,若可以识别结构单元形状的取向(通常是这种情况),则确定,存储和/或实施被检查特征的取向,如同以上在方框1340中描述的类似操作。
从方框1330或1350开始,操作进行到判定方框1360,其中确定某个类型的缺省尺寸是否用作结构单元的尺寸。基于形态过滤操作的缺省设置,基于结构单元所用的形状类型,可以按照半自动或全自动方式确定这个判定,或可以由用户输入确定这个判定。在各个实施例或应用中,特别是在被检查特征的特性是一致和可预测的情况下,适宜的是建立各种结构单元形状的缺省尺寸。一般地说,使用缺省尺寸可以使没有经验的用户更快地得到检查结果和/或建立零件程序。基于形态过滤操作的缺省设置,基于结构单元所用的形状类型,可以按照半自动或全自动方式确定这个判定,或可以由用户输入确定这个判定。通常,在使用缺省尺寸时,形成的结构单元尺寸相对于被检查特征的尺寸减小缺省尺寸确定的量。利用类似于以上的描述以及与圆形和直线特征及其对应结构单元有关的例子,可以明白和实施用于缺省尺寸的功能和/或指定的尺寸减小量,和/或最小尺寸(例如,与过滤速度,有效过滤操作所需的迭代次数,和/或给各种形状提供足够的形状或取向分辨率有关)。
若在判定方框1360决定使用缺省尺寸,则操作进行到方框1380,其中利用缺省尺寸确定结构单元的尺寸。若在判定方框1360决定不使用缺省尺寸,则操作进行到方框1370,其中确定与被检查特征最接近的遮挡特征控制相关尺寸。例如,按照参考图11或图12中描述的操作,或此处描述的其他方法,可以确定控制相关尺寸。若在操作方框1370之前完成这种操作,则在方框1370可以再调用控制相关尺寸的存储数值,用于随后的操作,或者,在方框1370中包含这种操作。在任何一种情况下,在方框1380,利用控制相关尺寸确定结构单元的尺寸。
在方框1390,如果需要,存储限定结构单元特性的参数或数据,例如,它的形状,尺寸,和取向,以后可用于零件程序和/或在结构单元中实施用于过滤,例行程序到此结束。
图14-20是屏幕显示图,它说明可以与按照本发明系统和方法结合使用的各种图形用户接口和控制特征。如以下更详细描述的,为了限定和/或使用按照本发明的各种形态过滤器操作,用户首先利用视频工具(例如,盒形工具等)确定评价区。在一个实施例中,用户可以操作该工具,例如,双击工具部分或特征,可以出现该特定工具的对话框。在“advanced””标志和在“filter type”列表中,用户选取“morphology”,为的是启动或激励按照本发明使用各种形态过滤操作,然后,单击“parameters”。这可以出现“morphology filter settings”对话框,由此用户可以预览和/或选取各种过滤器设置。
图14是屏幕显示视图1400,它说明用于确定包含圆形工件特征的评价区(其边界大致与图14中图像窗口显示区1410的边界一致)的盒形工具。如图14所示,盒形工具选取的圆形工件特征显示在显示区1410。对话框1420指出,掩模形状或此处称之为结构单元形状,选自诸如椭圆形的预定候选列表,并有相同79个像素的行和列尺寸,它使椭圆形变成圆形。在各个实施例中,这些尺寸最初可以设定为缺省值,和/或按照上述原理确定当前图像的尺寸并由用户输入。在右下角对话框1420的高亮“Restore”按钮指出,该显示图像是机器视觉检查系统中摄像机看到的图像。
图15是屏幕显示图1500,其中显示区1410包含过滤的图像,它是应用按照对话框1420中参数确定的形态过滤操作到图14中所示图像得到的过滤图像。在一个实施例中,基于激励右下角对话框1420的“Preview”按钮,建立并显示过滤的图像。高亮的“Preview”按钮指出,显示图像是按照对话框1420中设置的过滤图像。通过这个特征,用户在零件程序中应用或包含过滤器设置之前,能够预览这种设置的结果。用户借助于按钮可以在“恢复”图像与“预览”图像之间切换,利用两个图像上的视频工具进行比较测量。
图16是屏幕显示图1600,它表示扩展过滤器配置列表。如图16所示,对话框1420包含各种过滤器配置设置,其中有“JESS”和“MLD”。这个特征允许用户命名和保存当前的过滤器设置。例如,我们可以在不同的照明条件下检查特定工件或特征的各个方面,例如,同轴照明和载物台照明。于是,即使结构单元的尺寸和形状保持相同,应用形态过滤操作的某些方面可以不同。例如,若外来特征(网格)比圆形特征明亮,则在所有其他过滤器参数保持相同的同时,这种操作应当设置成“Opening”。这可以存储为分开的过滤器配置,每当相关的照明条件占优势时被调用。作为另一个例子,若被检查的工件特征有不同的形状,则在学习模式期间可以确定对应于每种形状的结构单元,而在以后或重复地检查包含对应特征的类似工件相关部分时,利用相关的过滤器配置命名,可以容易地检索保存的对应过滤器设置。提供这种功能的主要目的是便于操作员的使用。
图17是屏幕显示图1700,它说明对话框1420中各种形态过滤器设置,其中有矩形结构单元形状,或此处称之为直线形结构单元形状。如图17所示,显示区1410展示盒形工具确定的评价区,它包含矩形工件特征的选取边缘。对话框1420表示选取的掩模形状为矩形,而结构单元的尺寸确定为27行和1列,从而使结构单元是一条平行于被测量选取边缘的直线取向像素。在各个实施例中,最初可以设定这些尺寸为缺省值,和/或按照上述原理确定的当前图像尺寸并由用户输入。应当理解,‘Mask’或结构单元可以有复杂和/或复合的形状。结构单元不限于此处例子中通常使用和图17中列出的简单几何形状。可以设计用于形态过滤操作的更复杂结构单元形状,它几乎有与被保存工件特征形状匹配的任何形状(或如上所述,取自从实际工件特征图像导出的模板),这些形状精确地保存类似形状的复杂工件特征。可以恰当地命名这些复杂的结构单元形状,如果需要,可以添加到图17所示的列表中。
图18是屏幕显示图1800,它说明盒形工具菜单上过滤器型的选项。如图18所示,在盒形工具对话框1430中,通过单击“Advanced”标记,和在“Filter Type”列表中,用户可以选取“Morphology”,为的是启动和/或激励利用按照本发明的各种形态过滤器操作。选取“Morphology”可以调用以上描述的“Morphology Filter Settings”对话框1420,如图19所示。图19还表示显示区1410中的过滤图像,它是根据对话框1420中过滤器设置得到的,如以上参照图15所描述的。在图18所示的实施例中,在对话框1430中还提供选取“standard”,“brightness”,和“texture”设置的选项,用于设定控制盒形工具操作特征的各种阈值,这些阈值与确定的形态过滤器操作无关。过滤器类型的选项有“median”,“averaging”,“gaussian”,和“morphology”。
图19是屏幕显示图1900。如图19所示,在显示区1410,已应用对话框1420中的过滤器设置,为的是产生图18所示摄像机图像的过滤版本,其方式是以上参照图5所描述的。对话框1420指出,掩模形状是“rectangle”。在对话框1420,基于被检查工件特征与遮挡特征之间的亮度关系,选取“operation type”。若被检查的特征是明亮的和遮挡特征是黑暗的,则选取“closing”操作,并保存被检查的特征。若被检查的特征是黑暗的和遮挡特征是明亮的,则选取“opening”操作,并保存被检查的特征。
图20是屏幕显示图2000,它说明旋转操作使矩形结构单元和被检查特征的取向互相平行。(图像显示区1410中盒形工具的取向,和矩形结构单元的“Size”数值是建立图20所示图像方法的后生物,它们的状态对于检查图20所示的图像是不需要的或无用的。不应当把它们当作有意义的。)如图20所示,在显示区1410,矩形工件特征被“旋转”或定向成45°角。为了使选取的矩形结构单元取向平行于被检查的特征,用户在对话框1420中单击“Rotation”对话区以“Enable”旋转(或取向)功能,然后,在“Angle”数值框中输入指定的旋转角。这个数值通常是由用户预定的,虽然可以根据图像处理技术得到的图像自动确定该数值。若旋转选项不是由用户启动,则不能从它们的缺省取向角旋转结构单元的轴。包含的‘Optimize’功能可以使结构单元与工件特征自动对准。从以下的理由考虑,这是有用的:第一,它允许用户在‘学习’时间输入工件特征取向的粗略角度估算值,然后,在围绕粗略角度估算值的指定搜索范围启动‘Optimize’特征(例如,缺省搜索范围是+/-10或20度),它调用一些图像处理算法,用于精确地确定围绕粗略角度的估算值搜索范围内工件特征取向。通常,与用户估算的数值比较,这可以提供更可重复和精确地确定的取向角,而且还消除用户精确测量取向角的负担。第二,通过自动重新确定工件特征的取向(由于工件的定位变化或运动,和/或制造尺寸的易变性,取向已发生少量变化),通常是搜索围绕‘学习’时确定标称值的最佳取向,并调整结构单元取向的任何有关参数,它可以在运行时间内提供总是保持最可能结构单元对准的选项。若在工件在测量时被精确地固定,且不同工件之间没有很大的变化,就不需要在运行时自动确定和调整取向。然而,为了给工件特征图像提供最精确的形态过滤器,它往往是需要的。如上所述,一旦取向被确定,就形成结构单元并完成形态操作。
图21是一个典型实施例的通用例行程序2100流程图,如果需要,可以完成自动取向检测。在一个实施例中,例行程序2100可用于操作图9的方框940,和/或图10的方框1020,和/或图13的方框1340和1350。更一般地说,在操作的运行模式期间,通常按照零件程序指令可以完成例行程序2100的运行,可以自动确定被检查特征的取向,和改进或调整结构单元相对于被检查特征的取向,为的是提供精确的过滤结果,尽管工件配置或固定有微小的变化。例如,为了说明一种可能的实施方案,在利用诸如图14-20描述的用户接口时,且在操作的学习模式下建立零件程序期间,在图20所示的Rotation对话框中检查“Enable”框,  可以实施例行程序2100的运行作为零件程序中包含的对应指令,用于与被检查当前工件特征有关的过滤操作。然而,在某些情况下,例行程序的运行可以确定结构单元取向,用于人工方式检查操作时的过滤操作,或在操作的学习模式下半自动或全自动方式确定工件特征的取向,因此,它可以记录在零件程序中作为结构单元的标称取向参数。在各种零件程序中,结构单元的标称取向可以不作改变在运行时间下使用,或者,它可以用作一种参数,指导在操作的运行模式期间完成的类似自动取向确定操作,如上所述,用于改进或调整结构单元的取向,提供更健全的操作或最佳可能的过滤精确度。
例行程序2100的运行是从判定方框2110开始,其中做出是否自动确定被检查工件特征取向的判定。例如,在操作的运行模式下建立零件程序期间,在图20所示Rotation对话框中检查“Enable”框和“Optimize”框,然后,在零件程序中包含相关的标志或指令,可以指出被检查工件特征的取向是自动地被确定。若不是自动地确定工件特征的取向,则该例行程序结束。
若工件特征的取向是自动地被确定,则例行程序是从方框2110进行到方框2120,其中确定工件特征的取向,例如,借助于以下参照图22描述的方法,或借助于其他合适的现在已知方法或以后开发的方法。然后,例行程序进行到方框2130,其中记录,输出,和/或实施方框2120操作中得到的取向角,它作为与被检查工件特征有关的过滤操作中结构单元所用的取向角。
例行程序2100在以下的情况下是特别有用的,其中重要的是使结构单元与被检查的直线特征精确地对准。换句话说,虽然此处公开的结构形态过滤方法提供的精确度在许多情况下是有用的,即使正确形状的结构单元没有与被检查的工件特征很好地对准,但是一般地说,当结构单元的取向尽可能与工件特征的取向对准时,可以提供最佳的精确度。当然,通常要求以高分辨率和精确度确定工件特征的取向,如果可能,也是在高速度下进行。高速度在运行模式的操作期间是特别有用的,其中检查操作的处理能力是重要的因素。
如以下所公开的,借助于一种利用投影矢量的方法,在相当短的执行时间内,可以在机器视觉检查系统上以高精确度确定工件特征的取向角。简要地说,此处所使用的术语投影矢量是这样一组数值,每个数值对应于一个纯图像强度,它是沿各自投影方向通过求和或“投影”包含每个空间增量的图像强度到投影直线或平面上确定的。一个完全的投影矢量是由沿相同投影方向并在沿投影直线或平面上已知位置确定的几个这样数值构成。例如,在一个简单的情况下,可以确定图像上的水平方向是在0°的取向角上。在这种情况下,沿各个水平行像素求和像素强度值提供一个投影矢量数值,它是沿“0°”投影方向到垂直投影直线或平面上确定的。对于相继的水平行像素,沿“0°”投影方向的完全投影矢量是由几个相继的这种数值构成。类似地,对于相继的垂直列像素,沿“90°”投影方向到水平投影直线或平面上的完全投影矢量是由几个相继的这种数值构成。图22进一步说明投影矢量的概念,并描述如何利用它确定直线特征或直线边缘的取向。
图22表示包含直线特征2201的工件图像2200,它有被遮挡网格覆盖的直线2202和2203所指出的直线边缘。图22还表示包含投影矢量2241的投影矢量曲线图2240,它是从工件图像2200导出的。在这个例子中,通过沿水平或“0°”投影方向(对应于图像2200的水平行像素)求和或投影像素值到垂直投影直线或平面上,得到投影矢量2241的投影值,而每个投影值(沿该曲线图的水平轴画出)对应于沿图像2200的每行像素求和强度值确定的强度参数值。更一般地说,最好是确定对总体图像强度不灵敏的强度参数,因此,检查结果对不同机器的照明变化,环境光照明变化,工件反射率变化等引起的变化不灵敏。例如,强度参数值可以是沿对应投影方向包含强度值的空间或“每个像素”平均,除以确定投影矢量的所有强度值的总体平均强度或由它归一化。
如图22所示,投影矢量2241清楚地说明在直线特征2201范围之外区域的强度参数值特性范围,它通常是用直线2245指出,以及在直线特征2201范围之内区域的强度参数值特性范围,它通常是用直线2246指出。此外,具体地说,参考数字2242和2243表示的两个过渡区清楚地对应于直线特征2201的直线边缘2202和2203。
图22还表示投影矢量导数值曲线2260,它显示沿投影矢量2241的每个投影直线位置上确定一组导数值的导数值曲线2261。除了在正导数极值2262和负导数极值2263之外的区域,导数值曲线2261清楚地表示近似为零的标称导数值。这些导数极值清楚地对应于两个过渡区2242和2243,以及直线特征2201的直线边缘2202和2203。具体地说,应当理解,当直线边缘2202(或2203)与投影直线完全对准时,对应的过渡区2242(或2243)是最窄(沿投影直线指示轴)和最陡。这对应于展示其最大可能幅度的导数极值2262(或2263)。
因此,应当理解,通过确定在包含直线特征或直线边缘的图像上各个角度的一组投影矢量,对应于有最大导数的投影矢量角度是直线特征或直线边缘的良好取向角估算值。对应的投影矢量可以称之为“最佳对准”投影矢量。通过确定各个更小间隔角度上的投影矢量和/或利用内插法找到对应于曲线峰值的角度,该曲线包含各种投影矢量角的导数极值,可以改进这个估算值。一种用于确定相对于工件图像有特定角度的投影矢量方法是,按照保持图像强度分布有像素级精确度的已知图像旋转技术,暂时旋转围绕工件特征或评价区的大部分(或全部)图像一个角度。然后,沿大部分(或全部)水平行像素或沿垂直列像素,选取那个适合于最佳显现被检查工件特征的取向,可以确定对应于旋转角的投影矢量。另一种用于确定投影矢量相对于工件图像一个特定角度的方法是,沿对应于未旋转工件图像的投影方向计算投影矢量,给各个像素值仔细地正确分配最合适的投影值,或对于每个投影值,在精确地对应于应当分配该投影值的位置上计算内插像素值,为的是确定对应于该角有所需精确度的投影矢量。
图23是一个典型实施例的例行程序2300流程图,用于自动确定可用作对应结构单元取向角的工件特征取向角。可以在相对短执行时间内运行例行程序2300确定有高精确度的取向角。在一个实施例中,例行程序2300可用在图21的方框2120-2130的操作中。更一般地说,例行程序2300的运行可用在需要自动确定工件特征取向角的任何情况,使相同的取向角可用于过滤该工件特征图像的对应结构单元。
例行程序2300的运行是从方框2310开始,其中输入或再调用被分析的工件特征标称取向角。例如,在一个可能的实施方案中,当利用诸如描述图14-20的用户接口时,用户可以在图20所示“Rotation”对话框的“Angle”框中输入工件特征的标称取向角。标称取向角可以基于CAD数据,或基于操作的人工方式或学习模式下可以显示的特征图像,由用户猜想或测量。在操作的学习模式下建立零件程序期间输入标称角时,该数值包含在零件程序中,并在操作的运行模式期间操作方框2310中被再调用。然后,在一种版本的例行程序2300中,该例行程序是从方框2310进行到任选方框2320。或者,该例行程序进行到方框2330。
在任选的方框2320,在操作运行模式期间确定并包含在零件程序中的标称“最佳对准”投影矢量可以在操作的运行模式期间被输入或再调用。可以利用各种方法,例如,参照图22描述的那些方法,可以确定标称最佳对准投影矢量。在一个版本的例行程序2300中,在方框2350,再调用的标称最佳对准投影矢量用在相关操作以确定工件特征的取向角,如以下进一步描述的。然后,操作从方框2320进行到方框2330。
在方框2330,输入或再调用特征取向的搜索范围。搜索范围通常确定搜索的角度范围限制并估算被检查工件特征的取向。例如,在一个可能的实施方案中,当利用诸如描述图14-20的用户接口时,用户可以在图20所示“Rotation”对话框的“Range”框中输入搜索范围,并在检查“Optimize”启动检查框时被激活。在某些实施方案中,基于零件加工容差和固定容差,搜索范围应当设置成包含围绕标称特征取向的预期特征取向变化范围。一般地说,需要设置的搜索范围排除不被检查特征的直线特征取向,因为这还可以导致很大的投影矢量导数值,或很难或耗费时间利用分析方法区分被检查的工件特征。然而,若不可能设置排除这些特征的搜索范围,则附加的分析方法可能仍需要排除这些特征,并识别被检查工件的取向,如以下进一步所描述的。然后,操作从方框2330进行到方框2340。
在方框2340,基于被检查工件特征的图像,在搜索范围内确定多个角度的投影矢量,例如,按照以上参照图22所描述的。然后,操作进行到方框2350,其中基于操作方框2340确定的投影矢量,完成用于确定被检查工件特征取向的操作。在一些实施方案或应用中,在方框2330中设置搜索范围,可以排除不被检查特征的直线特征取向。在这些情况下,可以识别工件特征的取向角为对应于有最大导数的投影矢量角度。
在某些情况下,排除其他直线特征的搜索范围是不切实际的。因此,在一些实施方案中,可以考虑投影矢量的附加特性和参数。例如,可以考虑特征宽度和/或极性参数(即,与该特征是否比其周围更明亮或更黑暗有关的参数)。投影矢量导数的间隔和极性,如图22中曲线图2260所示,可用于确定这种参数。在一些实施方案中,在操作的学习模式期间可以确定这些参数,并包含在零件程序中,且在操作的运行模式期间,可以输入或再调用这些参数。
在其他的实施方案中,在完成方框2330时,可以得到工件特征的标称最佳对准投影矢量,相关操作可用于综合地区分指出被检查工件特征取向的投影矢量和指出其他特征取向的投影矢量。即,利用任何合适的常规或已知相关技术,操作方框2340确定的投影矢量数据可以与输入或再调用的标称最佳对准投影矢量的数据相关,而展示最佳相关值的投影矢量对应于被检查工件特征的取向。在任何的情况下,如果需要,通过确定更密集间隔角度上的投影矢量和/或利用内插法找到对应于曲线峰值的角度,该曲线包含不同的导数极值,可以改进操作方框2350时估算的取向角,如以上参照图22所描述的。
然后,操作从方框2350进行到方框2360,其中记录和/或输出和/或实施被检查工件特征的确定取向角,它作为与被检查工件特征相关的形态过滤操作中所用结构单元取向的基础。然后,例行程序2300结束。基于上述技术的实验结果具有极高的精确性,通常可以使取向角确定在1°或更小的分辨率和可重复性范围内,并可以在至少一种类型商品化机器视觉检查系统上在约100 ms的时间内执行。
可以使以上关于确定被检查直线特征取向的描述各个内容变得更加清晰,或借助于上述′823 Application描述的类似或适用内容给予补充。例如,′823 Application描述利用典型机器视觉检查系统的视频工具按照人工方式确定直线取向以及利用Radon变换技术按照半自动或全自动方式确定直线取向的各个内容。一般地说,应用Radon变换或其变型的技术提供另一种方法,它可用在确定直线工件特征取向的各种方法中。因此,以上参照图22和23描述的方法或其变型仅仅是说明性的,而不是限制性的。
应当理解,利用过滤方法(例如,形态过滤)去除外来特征(例如,网格)可以与实际的图像特征测量过程(例如,直线工具,圆形工具等)分开。换句话说,一旦图像被过滤,可以利用任何边缘测量工具测量图像特征。因此,随着开发新的或改进的边缘测量方法,利用这些方法可以与本发明的方法进行结合。
应当理解,本发明的方法还给用户提供简单的操作,即,可以利用标准化型的视频工具,而不要求定制的操作。换句话说,不要求用户利用实施定制操作的脚本语言。取而代之,该系统允许使用预编程图标,即使经过很少训练的非专业用户也能够使用。此外,如上所述,评价区可以包含被遮挡特征和遮挡特征。因此,我们不要求检查操作局限于被检查工件特征的很小未被遮挡区。这是有意义的,小区域工件更可能落在很小的评价区之外,这是由于在运行模式操作时发生的对准变化,或由于工件加工的变化,更可能使它的外观发生变化或被遮挡。
应当理解,某些现有的机器视觉检查系统可以采用按照本发明各种实施例的系统和方法,只需要对这种现有机器做微小的改动或不需要作“翻新”改动。在各个典型实施例中,仅仅添加机器视觉检查软件方法和/或按照本发明原理的改动都包含在翻新改动中。
虽然本发明的描述是结合上述典型的实施例,但是,多个不同的操作序列和其他操作变化是可能的,而各种其他的选择,改动,变化,改进,和/或基本相当的内容,不管它们是现在已知的或当前未预见的,至少对于普通专业人员是显而易见的。因此,以上描述的本发明典型实施例仅仅是说明性,而不是限制性的。在不偏离本发明精神和范围的条件下,可以做出各种变化。所以,以下申请的权利要求以及可能的修改应当包括所有已知或以后开发的各种选择,改动,变化,改进,和/或基本相当的内容。

Claims (17)

1.一种用于检查工件特征的方法,该工件特征最接近由机器视觉检查系统获取的工件图像中的遮挡特征,该机器视觉检查系统具有用户接口,使用该用户接口限定一系列用于检查工件图像的操作,该方法包括:
获取第一工件图像;
基于工件图像中的要被检查的工件特征的形状,选取结构单元的形状,从而使结构单元的形状类似于要被检查的工件特征中的至少一部分的形状;
确定要被检查的工件特征的取向,并基于要被检查的工件特征的取向,选取结构单元的取向,从而使与要被检查的工件特征中的至少一部分的形状类似的结构单元形状的取向类似于要被检查的工件特征中的至少一部分的取向;
至少在包含要被检查的工件特征的区域中,利用结构单元过滤第一工件图像,从而至少在包含被检查工件特征的区域中提供过滤的图像;和
检查过滤图像中的工件特征。
2.按照权利要求1的方法,其中检查过滤的图像中的工件特征包括:执行由与第一工件图像中的工件特征最接近的至少一个视频工具限定的操作。
3.按照权利要求1的方法,其中确定要被检查的工件特征的取向至少包括下列之一:a)基于用户对包含工件特征的当前工件图像的观察,估算工件特征的取向,b)估算工件特征的取向,并通过对当前图像的分析,确定包含工件特征的当前图像的取向,和c)在操作运行模式下执行零件程序的期间,再调用工件特征的标称取向,并通过对当前图像的分析,确定包含工件特征的当前图像的取向。
4.按照权利要求1的方法,其中
确定要被检查的工件特征的取向包括:确定包含工件特征的当前图像的取向;
分析当前图像包括:沿多个对应的各自角度,确定多个各自的投影矢量;和
确定取向包括:分析多个各自的投影矢量。
5.按照权利要求4的方法,其中分析多个各自的投影矢量包括:通过至少包含以下一个的操作来确定最佳对准投影矢量:a)基于分析各个投影矢量的各个最大幅度导数,确定最佳对准投影矢量,和b)基于分析各个相关值,确定最佳的对准投影矢量,这些相关值对应于使各个投影矢量与学习模式操作期间确定的标称最佳对准投影矢量相关联。
6.按照权利要求4的方法,其中分析多个各自投影矢量包括:确定对应于曲线峰值的角度,该曲线峰值拟合各个投影矢量的各个最大幅度导数,并将工件特征的取向确定为与对应于峰值确定的角度相对应的取向。
7.按照权利要求1的方法,其中利用结构单元过滤第一工件图像包括:若干次迭代,结构单元沿各个方向具有各自的几何尺寸,并且迭代次数与各个尺寸的乘积至少与遮挡特征沿各个方向的尺寸同样大。
8.按照权利要求7的方法,其中各个方向平行于要被检查的部分工件特征的取向。
9.按照权利要求1的方法,其中:结构单元的形状选自可用于结构单元的预定的一组形状。
10.按照权利要求1的方法,其中:结构单元的形状是直线或矩形,而结构单元的长度至少有58个像素。
11.按照权利要求1的方法,其中:要被检查的工件特征是直线特征,而结构单元是宽度至少有3个像素的矩形单元。
12.按照权利要求1的方法,其中:结构单元的形状是圆形,而标称直径至少是13个像素。
13.按照权利要求1的方法,其中:结构单元的形状是圆形,遮挡特征是条宽度或厚度为T的网格,而结构单元的标称直径至少是2T+1个像素。
14.按照权利要求1的方法,其中,该用户接口包括:
至少一个单元,用于限定形态过滤操作中所用结构单元的形状,使结构单元的形状确定为类似于被检查的工件特征的所述至少一部分的形状;
显示窗口,用于显示第一工件图像和另一个图像,该另一个图像包含施加形态过滤操作到第一工件图像得到的结果;和
至少用于a)人工运行模式,和b)学习运行模式中一种模式的单元,该单元利用确定的结构单元形状激励形态过滤操作并在显示窗口中显示得到的图像。
15.按照权利要求7的方法,还包括:使用用户接口限定结构单元的至少一个尺寸。
16.按照权利要求14的方法,其中,所述至少一个单元用于激励自动确定结构单元的取向角的操作,从而使结构单元的取向角比标称取向角更匹配被检查工件特征的取向角。
17.按照权利要求2的方法,其中所述至少一个视频工具操作用来限定对未过滤的工件图像和形态过滤的工件图像的检查操作,而无须改变视频工具的操作。
CN2005101160225A 2004-10-26 2005-10-25 用于高精确机器视觉计量术的过滤图像的方法 Expired - Fee Related CN1769838B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/974,423 US7583852B2 (en) 2004-10-26 2004-10-26 Method of filtering an image for high precision machine vision metrology
US10/974,423 2004-10-26

Publications (2)

Publication Number Publication Date
CN1769838A CN1769838A (zh) 2006-05-10
CN1769838B true CN1769838B (zh) 2010-12-22

Family

ID=35695928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005101160225A Expired - Fee Related CN1769838B (zh) 2004-10-26 2005-10-25 用于高精确机器视觉计量术的过滤图像的方法

Country Status (4)

Country Link
US (1) US7583852B2 (zh)
EP (1) EP1653407A3 (zh)
JP (1) JP2006127517A (zh)
CN (1) CN1769838B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7730141B2 (en) * 2005-12-16 2010-06-01 Microsoft Corporation Graphical interface for defining mutually exclusive destinations
CN100462672C (zh) * 2005-12-30 2009-02-18 鸿富锦精密工业(深圳)有限公司 影像量测系统及方法
JP4201025B2 (ja) 2006-06-30 2008-12-24 ソニー株式会社 監視装置、監視システム及びフィルタ設定方法、並びに監視プログラム
WO2010016137A1 (ja) * 2008-08-07 2010-02-11 株式会社ケー・デー・イー 検査システム
US20100046790A1 (en) * 2008-08-22 2010-02-25 Koziol Anthony R Method and system for generating a symbol identification challenge
KR101209566B1 (ko) * 2008-12-01 2012-12-07 엘지디스플레이 주식회사 동화상 해상도 평가 방법
KR101550070B1 (ko) * 2009-03-05 2015-09-04 삼성전자주식회사 입력영상에서 용이하게 에지를 검출할 수 있는 영상처리방법 및 장치
US8155770B2 (en) * 2009-03-31 2012-04-10 Globalfoundries Inc. Method and apparatus for dispatching workpieces to tools based on processing and performance history
US20110181716A1 (en) * 2010-01-22 2011-07-28 Crime Point, Incorporated Video surveillance enhancement facilitating real-time proactive decision making
US8269830B1 (en) 2011-04-14 2012-09-18 Mitutoyo Corporation Inspecting potentially interfering features in a machine vision system
US8761543B2 (en) * 2011-08-30 2014-06-24 Microsoft Corporation Image processing using bounds adjustment
JP5984630B2 (ja) * 2012-11-14 2016-09-06 三菱重工工作機械株式会社 工作機械のインターフェースシステム
US10477154B2 (en) * 2013-03-07 2019-11-12 Cognex Corporation System and method for aligning two work pieces with a vision system in the presence of occlusion
US10192283B2 (en) * 2014-12-22 2019-01-29 Cognex Corporation System and method for determining clutter in an acquired image
US10290118B2 (en) * 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
US10452949B2 (en) 2015-11-12 2019-10-22 Cognex Corporation System and method for scoring clutter for use in 3D point cloud matching in a vision system
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
GB201611819D0 (en) * 2016-07-07 2016-08-17 Univ Court Of The Univ Of Edinburgh The Imaging method and apparatus
WO2018109764A1 (en) * 2016-12-14 2018-06-21 Eyes Ltd System and methods for fully automated data analysis, reporting and quantification for medical and general diagnosis, and for edge detection in digitized images
EP3559721B1 (en) * 2016-12-23 2021-09-15 Bio-Rad Laboratories, Inc. Reduction of background signal in blot images
US10579905B2 (en) * 2017-03-17 2020-03-03 Google Llc Fully parallel, low complexity approach to solving computer vision problems
JP2019045177A (ja) * 2017-08-30 2019-03-22 キヤノン株式会社 計測方法、プログラム、計測装置、システムおよび、物品の製造方法
US11562505B2 (en) 2018-03-25 2023-01-24 Cognex Corporation System and method for representing and displaying color accuracy in pattern matching by a vision system
US10796426B2 (en) * 2018-11-15 2020-10-06 The Gillette Company Llc Optimizing a computer vision inspection station
US20220215669A1 (en) * 2019-05-21 2022-07-07 Nippon Telegraph And Telephone Corporation Position measuring method, driving control method, driving control system, and marker
DE112019007827T5 (de) 2019-11-28 2022-08-04 Mitsubishi Electric Corporation Werkstückbildsuchvorrichtung, Werkstückbildsuchverfahren und Maschinelles-Lernen-Gerät
JP2021140524A (ja) * 2020-03-06 2021-09-16 株式会社東芝 検査端末装置、検査装置、検査システム、及び、検査プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0431962B1 (en) * 1989-12-08 1998-06-17 Xerox Corporation Method and apparatus for identification of document skew
EP1134697A2 (en) * 1995-03-29 2001-09-19 Fuji Photo Film Co., Ltd. Image processing method and apparatus

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481712A (en) * 1993-04-06 1996-01-02 Cognex Corporation Method and apparatus for interactively generating a computer program for machine vision analysis of an object
JP3690844B2 (ja) * 1995-08-09 2005-08-31 富士写真フイルム株式会社 画像処理方法および装置
JP3669455B2 (ja) * 1996-03-15 2005-07-06 富士写真フイルム株式会社 画像処理方法および画像処理装置
US5859698A (en) * 1997-05-07 1999-01-12 Nikon Corporation Method and apparatus for macro defect detection using scattered light
US6542180B1 (en) 2000-01-07 2003-04-01 Mitutoyo Corporation Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part
US6627863B2 (en) 2000-12-15 2003-09-30 Mitutoyo Corporation System and methods to determine the settings of multiple light sources in a vision system
JP4516253B2 (ja) * 2001-12-04 2010-08-04 オリンパス株式会社 欠陥分類装置
US20050031191A1 (en) 2003-08-04 2005-02-10 Mitutoyo Corporation Methods and apparatus for inspection of lines embedded in highly textured material
US7324682B2 (en) 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US7522763B2 (en) 2004-07-30 2009-04-21 Mitutoyo Corporation Method of measuring occluded features for high precision machine vision metrology

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0431962B1 (en) * 1989-12-08 1998-06-17 Xerox Corporation Method and apparatus for identification of document skew
EP1134697A2 (en) * 1995-03-29 2001-09-19 Fuji Photo Film Co., Ltd. Image processing method and apparatus

Also Published As

Publication number Publication date
US20060088202A1 (en) 2006-04-27
EP1653407A3 (en) 2008-09-03
CN1769838A (zh) 2006-05-10
US7583852B2 (en) 2009-09-01
JP2006127517A (ja) 2006-05-18
EP1653407A2 (en) 2006-05-03

Similar Documents

Publication Publication Date Title
CN1769838B (zh) 用于高精确机器视觉计量术的过滤图像的方法
EP1622082B1 (en) Method of measuring occluded features for high precision machine vision metrology
CN108106603B (zh) 具有多级扩展景深图像处理的可变焦距透镜系统
US8995749B2 (en) Enhanced edge detection tool for edges of irregular surfaces
CN1699916B (zh) 从由机器视觉检查系统执行的检查操作中排除无关特征的系统和方法
CN103175469B (zh) 增强型边缘聚焦工具及利用该工具的聚焦方法
US20130027538A1 (en) Multi-region focus navigation interface
CN101762268B (zh) 用于快速近似聚焦的系统和方法
US7580560B2 (en) System and method for fast template matching by adaptive template decomposition
US7394926B2 (en) Magnified machine vision user interface
CN104101295B (zh) 获得具有用于增强边缘分辨率的偏移的图像的系统和方法
US8269830B1 (en) Inspecting potentially interfering features in a machine vision system
US20060093205A1 (en) System and method for automatically recovering video tools in a vision system
CN104121852B (zh) 利用鲁棒边缘判别余量的边缘测量视频工具
US9177222B2 (en) Edge measurement video tool and interface including automatic parameter set alternatives
US9456120B2 (en) Focus height repeatability improvement in a machine vision inspection system
EP3839599A1 (en) Metrology system with transparent workpiece surface mode
CN105740874B (zh) 确定自动化测试脚本回放时的操作坐标的方法及装置
CN112835191A (zh) 显微镜和处理显微图像的方法
CN103808259B (zh) 边缘测量视频工具参数设置用户界面
CN109934858A (zh) 图像配准方法及装置
Liu et al. Video-based wetting detection for blended fabrics

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101222

Termination date: 20111025