CN104121852A - 利用鲁棒边缘判别余量的边缘测量视频工具 - Google Patents
利用鲁棒边缘判别余量的边缘测量视频工具 Download PDFInfo
- Publication number
- CN104121852A CN104121852A CN201410174629.8A CN201410174629A CN104121852A CN 104121852 A CN104121852 A CN 104121852A CN 201410174629 A CN201410174629 A CN 201410174629A CN 104121852 A CN104121852 A CN 104121852A
- Authority
- CN
- China
- Prior art keywords
- extreme value
- gradient
- edge
- scanning
- robust
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
一种用于在机器视觉系统的边缘特征视频工具的关注区域内的多个边缘之间进行判别的可靠方法,包括以下步骤:确定扫描方向和强度梯度阈值;以及限定关联梯度突起。可能要求梯度阈值落在基于根据关注区域的图像推导出的强度梯度分布的特定特性的最大范围内。利用位于强度梯度分布和边缘梯度阈值之间的顺序交点处的限制值来限定梯度突起。允许一个突起包括与多个边缘分别相对应的梯度极值。自动确定表示所选边缘的相对于所限定的梯度突起的位置的梯度突起计数参数。该梯度突起计数参数可以与扫描方向相对应。
Description
技术领域
本发明通常涉及机器视觉检查系统,并且更特别地涉及针对紧密间隔的边缘的鲁棒精密边缘位置确定。
背景技术
可以利用精密机器视觉检查系统(或简称为“视觉系统”)来获得被检查对象的精密尺寸测量并且检查各种其它对象特征。这种系统可以包括计算机、照相机和光学系统、以及在多个方向上可移动以使得能够进行工件检查的精密台。可以表征为通用“离线”精密视觉系统的一个示例性现有技术是可商购获得的QUICK系列的基于PC的视觉系统和可购自位于伊利诺伊州奥罗拉的美国三丰公司(MAC)的软件。例如,在2003年1月出版的QVPAK3D CNC Vision Measuring Machine User’s Guide和1996年9月出版的QVPAK3D CNC Vision Measuring Machine Operation Guide中大体描述了QUICK系列的视觉系统和软件的特征和操作,这些均通过引用全部包含于此。这类系统能够使用显微镜型光学系统并且移动台从而以各种倍率提供小的或相对较大的工件的检查图像。
诸如QUICK VISIONTM系统等的通用精密机器视觉检查系统通常也是可编程的以提供自动化视频检查。这些系统通常包括GUI特征和预定义的图像分析“视频工具”以使得“非专家”操作员可以进行操作和编程。例如,通过引用全部包含于此的美国专利6,542,180教导了使用包括各种视频工具的使用的自动化视频检查的视觉系统。示例性视频工具包括有时被称为“框工具”的边缘定位工具,其中这些边缘定位工具用来定位工件的边缘特征。例如,通过引用全部包含于此的共同受让的美国专利7,627,162教导了框工具的各种应用。
包括特定检查事件序列(即,如何获取各图像和如何分析/检查各所获取图像)的机器控制指令通常被存储为特定工件配置特有的“零件程序”或“工件程序”。例如,零件程序定义如何获取各图像,诸如如何相对于工件定位照相机、以何种照明水平、以何种倍率水平等。此外,零件程序例如通过使用诸如边缘/边界检测视频工具等的一个或多个视频工具来定义如何分析/检查所获取图像。
可以手动地使用视频工具(或简称为“工具”)和其它图形用户界面特征来实现手动检查和/或机器控制操作(采用“手动模式”)。还可以在学习模式期间记录这些视频工具的设置参数和操作,从而创建自动检查程序或“零件程序”。视频工具例如可以包括边缘/边界检测工具、自动调焦工具、形状或图案匹配工具和尺寸测量工具等。
已知有用于定位工件图像中的边缘特征的各种方法。例如,已知有例如Candy边缘检测器或微分边缘检测器等的向包括边缘特征的图像应用亮度梯度算子以确定该边缘特征的位置的各种算法。这些边缘检测算法可以包括在机器视觉检查系统中,其中这些机器视觉检查系统还使用仔细配置的照明和/或特殊图像处理技术以增强亮度梯度或提高边缘定位精度和可重复性。
一些机器视觉系统(例如,利用上述的软件的机器视觉系统)提供具有边缘检测算法的可调整参数的边缘定位视频工具。在特定实现中,初始可以在学习模式操作期间针对代表工件上的边缘确定这些参数,然后可以在运行模式操作期间利用这些参数来寻找相似工件的相应边缘。在学习模式期间难以或无法自动确定期望的边缘检测参数的情况下,用户可以选择手动调整这些参数。然而,某些边缘检测参数(例如,这里概述的诸如TH和THS等的阈值)被认为对于大多数用户(例如,相对不熟练的用户)而言难以理解,并且针对这些参数的调整如何影响特定边缘检测操作被认为难以可视化。这些参数的调整可能因在编程和使用通用机器视觉检查系统时遇到的各零件差异的各种边缘条件和工件材料而进一步复杂化。将期望一种改进方法和系统,其中该改进方法和系统使得相对不熟练的用户能够调整边缘定位视频工具的参数,以使得可使用这些边缘定位视频工具来可靠地检查各种类型的边缘。更具体地,期望用于提高包括多个边缘的关注区域内的边缘检测的可靠性的方法和系统。
发明内容
该发明内容部分是为了以简化形式介绍以下在具体实施方式部分进一步说明的概念的选择所提供的。该发明内容部分并不意图指定所请求保护的主题的关键特征,也并不意图辅助确定所请求保护的主题的范围。
这里公开一种用于在机器视觉检查系统中所包括的边缘特征视频工具的关注区域内的多个边缘之间进行判别的情况下提高边缘检测的可靠性的方法,所述方法包括以下步骤:提供边缘特征视频工具,所述边缘特征视频工具包括关注区域即ROI、由包含边缘梯度阈值的多个边缘检测参数所管理的边缘检测操作、分布扫描方向和梯度突起计数参数、以及包含关注区域指示符和边缘选择元件的视频工具GUI;将工件放置在所述机器视觉检查系统的视场内;使所述边缘特征视频工具工作,以在所述工件的所获取图像中限定包括多个边缘特征的ROI;使所述边缘特征视频工具工作,以选择所述ROI内的边缘特征作为所述边缘特征视频工具的边缘检测操作所检测到的所选边缘;使所述边缘特征视频工具工作,以确定所述分布扫描方向和所述边缘梯度阈值;以及使所述边缘特征视频工具工作,以自动确定与所述分布扫描方向和所述边缘梯度阈值相对应的所述梯度突起计数参数。
使所述边缘特征视频工具工作以确定所述边缘梯度阈值的步骤包括:使所述边缘特征视频工具工作以将所述边缘梯度阈值设置在具有所述所选边缘的梯度分布极值作为一个限制值和对向限制值的最大范围内,其中所述对向限制值离所选边缘极值不比如下两个相邻极值的两个梯度分布相邻极值中的限制性梯度分布相邻极值离所选边缘极值远,所述两个相邻极值沿着跨所述关注区域的所述所选边缘的强度梯度分布与所选边缘极值邻接,并且具有与所述所选边缘极值相反的极性(例如,如果极值是“峰值”,则与该极值相反的极性是“谷值”,反之亦然)。在这种情况下,所选边缘极值由此可以是沿着所确定的分布扫描方向在其关联梯度突起中出现的第一个极值和最后一个极值的其中一个。
使所述边缘特征视频工具工作以自动确定与所确定的所述分布扫描方向和所述边缘梯度阈值相对应的所述梯度突起计数参数的步骤包括:进行所述边缘特征视频工具的被配置成使得所述梯度突起计数参数满足以下条件的自动操作,要满足的该条件包括:(a)至少针对沿着所确定的所述分布扫描方向在所述所选边缘之前出现的交点,利用沿着所述强度梯度分布的位于所述强度梯度分布和所确定的所述边缘梯度阈值之间的顺序交点处的限制值来限定梯度突起;(b)允许一个梯度突起包括与沿着所述强度梯度分布的位于所述条件(a)所限定的所述限制值之间的多个边缘分别相对应的多个梯度极值;以及(c)所述梯度突起计数参数表示所述所选边缘相对于所限定的梯度突起的位置。例如,在一个实施例中,梯度突起计数参数表示包括所选边缘极值的梯度突起。在这种情况下,可以使用相关信号处理来根据这里概述的原理可靠且鲁棒地定位所选边缘。参考这里的附图,以下更详细地说明与梯度突起有关的概念。
在一些实施例中,两个相邻极值梯度值中的限制性极值梯度值(即,限制最大范围的极值梯度值)是离所选边缘的梯度分布极值最近的极值梯度值。在这种情况下,所选边缘极值由此可以是在关联梯度突起中出现的唯一极值,从而使得能够通过最少的附加信号处理定位该极值来实现良好的检测可靠性。在其它实施例中,两个相邻极值梯度值中的限制性极值梯度值可以是与沿着所确定的分布扫描方向在所选边缘之前出现的相邻极值相对应的极值梯度值,而与是否离所选边缘的梯度分布极值最近无关。在这种情况下,所选边缘极值由此可以是沿着所确定的分布扫描方向在关联梯度突起中出现的第一个极值,从而使得能够通过很简单的信号处理定位该极值来实现良好的检测可靠性。
在其它实施例中,两个相邻极值梯度值中的限制性极值梯度值可以是与沿着所确定的分布扫描方向在所选边缘之后出现的相邻极值相对应的极值梯度值,而与是否离所选边缘的梯度分布极值最近无关。在这种情况下,所选边缘极值由此可以是沿着所确定的分布扫描方向在关联梯度突起中出现的最后极值。然而,该在后的替代例可能需要相对更加复杂的信号处理来定位该极值,或者可能在一些应用中被视为不太可靠。
在一些实施例中,所述边缘特征视频工具可以包括用于自动防止将所述边缘梯度阈值设置为包括梯度值0的梯度噪声带内的值的操作。在一些这种实施例中,在所述两个梯度分布相邻极值中的限制性梯度分布相邻极值落在所述梯度噪声带内的情况下,将所述最大范围的所述对向限制值限定为离所述所选边缘极值不比所述梯度噪声带的与所述所选边缘极值最近的限制值离所述所选边缘极值远。
在一些实施例中,使所述边缘特征视频工具工作以将所述边缘梯度阈值设置在所述最大范围内的步骤包括:将所述边缘梯度阈值设置在所述最大范围中所包括的鲁棒极值余量内,其中所述鲁棒极值余量满足以下的限定条件,其中所述限定条件包括:(a)利用作为梯度极值的排名列表中的顺序值的第一梯度极值和第二梯度极值来限制所述鲁棒极值余量,其中所述梯度极值与所述强度梯度分布中的包括在所述最大范围内、并且沿着所确定的所述分布扫描方向在所述所选边缘之前出现且包括所述所选边缘的梯度极值相对应;以及(b)用于限制所述鲁棒极值余量的所述第一梯度极值和所述第二梯度极值是展现出以下其中之一的顺序值:(b1)所述排名列表中的顺序值之间的最大差;以及(b2)超过所述边缘特征视频工具中所限定的最小余量值的差。
在一些实施例中,所述边缘特征视频工具包括被配置为自动确定满足所述限定条件的鲁棒极值余量的操作,并且所述方法包括自动进行这些操作。在一些这种实施例中,用于限制所述鲁棒极值余量的所述第一梯度极值和所述第二梯度极值是展现出所述排名列表中的顺序值之间的最大差的顺序值。在一些实施例中,所述方法还包括:将自动确定的所述鲁棒极值余量以叠加在所显示的强度梯度分布上的方式显示在所述视频工具GUI中。在一些实施例中,使所述边缘特征视频工具工作以将所述边缘梯度阈值设置在所述鲁棒极值余量内的步骤包括:将所述边缘梯度阈值自动设置在自动确定的所述鲁棒极值余量内。
在一些实施例中,被配置为自动确定所述鲁棒极值余量的操作包括:确定满足以下条件的第一分布扫描方向的鲁棒极值余量和第二分布扫描方向的鲁棒极值余量,要满足的该条件包括:
(a)利用作为以下梯度极值的第一排名列表中的顺序值的第一梯度极值和第二梯度极值来限制所述第一分布扫描方向的鲁棒极值余量:与所述强度梯度分布中沿着所述第一分布扫描方向在所述所选边缘之前出现且包括所述所选边缘的、并且包括在第一最大范围内的梯度极值相对应的梯度极值,并且用于限制所述第一分布扫描方向的鲁棒极值余量的所述第一梯度极值和所述第二梯度极值是展示出所述第一排名列表中的顺序值之间的最大差的顺序值;以及
(b)利用作为以下梯度极值的第二排名列表中的顺序值的第一梯度极值和第二梯度极值来限制所述第二分布扫描方向的鲁棒极值余量:与所述强度梯度分布中沿着所述第二分布扫描方向在所述所选边缘之前出现且包括所述所选边缘的、并且包括在第二最大范围内的梯度极值相对应的梯度极值,并且用于限制所述第二分布扫描方向的鲁棒极值余量的所述第一梯度极值和所述第二梯度极值是展示出所述第二排名列表中的顺序值之间的最大差的顺序值。在一些这种实施例中,所述第一最大范围和所述第二最大范围可以是相同的最大范围,并且该最大范围的对向限制值离所述所选边缘极值不比两个梯度分布相邻极值中与所述所选边缘的梯度分布极值最近的极值离所述所选边缘极值远。在其它这种实施例中,基于沿着所述第一分布扫描方向在所述所选边缘之前出现的第一相邻极值的梯度值来确定所述第一最大范围,并且基于沿着所述第二分布扫描方向在所述所选边缘之前出现的第二相邻极值的梯度值来确定所述第二最大范围。
在确定第一分布扫描方向的鲁棒极值余量和第二分布扫描方向的鲁棒极值余量的实施例中,使所述边缘特征视频工具工作以将所述边缘梯度阈值设置在所述鲁棒极值余量内的步骤还可以包括:选择所述第一分布扫描方向的鲁棒极值余量和所述第二分布扫描方向的鲁棒极值余量的其中一个;以及将所述边缘梯度阈值设置在所选择的鲁棒极值余量内。在这些实施例中,使所述边缘特征视频工具工作以确定所述分布扫描方向的步骤可以包括:在选择所述第一分布扫描方向的鲁棒极值余量的情况下,将所述分布扫描方向设置为所述第一分布扫描方向,并且在选择所述第二分布扫描方向的鲁棒极值余量的情况下,将所述分布扫描方向设置为所述第二分布扫描方向。在一些这种实施例中,所述方法可以包括以下步骤:将所述第一分布扫描方向的鲁棒极值余量和所述第二分布扫描方向的鲁棒极值余量以叠加在所显示的强度梯度分布上的方式显示在所述视频工具GUI中,其中,选择所述第一分布扫描方向的鲁棒极值余量和所述第二分布扫描方向的鲁棒极值余量的其中一个的步骤包括手动选择以下至少之一:(a)所显示的所述第一分布扫描方向的鲁棒极值余量和所述第二分布扫描方向的鲁棒极值余量其中之一;以及(b)与所显示的所述第一分布扫描方向的鲁棒极值余量和所述第二分布扫描方向的鲁棒极值余量相对应的所述第一分布扫描方向和所述第二分布扫描方向其中之一。在其它这种实施例中,选择所述第一分布扫描方向的鲁棒极值余量和所述第二分布扫描方向的鲁棒极值余量的其中一个的步骤可以包括自动选择所述第一分布扫描方向的鲁棒极值余量和所述第二分布扫描方向的鲁棒极值余量中较大的鲁棒极值余量;以及将所述边缘梯度阈值设置在所选择的鲁棒极值余量内的步骤可以包括将所述边缘梯度阈值自动设置在自动选择的鲁棒极值余量内。
在各实施例中,所述方法还可以包括以下步骤:将与所述边缘梯度阈值的当前值相对应的边缘梯度阈值指示符以叠加在所显示的强度梯度分布上的方式显示在所述视频工具GUI中。在一些这种实施例中,在所述视频工具GUI中能够手动调整所显示的所述边缘梯度阈值指示符;以及使所述边缘特征视频工具工作以将所述边缘梯度阈值设置在所述最大范围内的步骤包括手动调整所述边缘梯度阈值指示符。在一些实施例中,所述方法还可以包括在所述视频工具GUI中指示相应限定的梯度突起,以及随着调整所述边缘梯度阈值指示符而调整梯度突起的指示。
在各实施例中,使所述边缘特征视频工具工作以将所述边缘梯度阈值设置在所述最大范围内的步骤可以包括将所述边缘梯度阈值自动设置在所述最大范围内。
在各实施例中,可以根据操作的学习模式来进行所述方法,并且所述方法中所确定的参数可以保存在零件程序内以供将来用在相似工件上。
在各实施例中,所述视频工具GUI可以包括检测鲁棒性指示符,所述检测鲁棒性指示符表示与如下操作相关联的风险程度:使用所述边缘特征视频工具基于所述边缘检测参数的当前集合来检测所选边缘特征,以及所述方法还可以包括将所述检测鲁棒性指示符显示在所述视频工具GUI中。在一些这种实施例中,所述检测鲁棒性指示符可以包括与所述视频工具GUI中显示的对应于所述鲁棒极值余量的当前大小的边缘梯度阈值指示符相关联的颜色。
附图说明
通过参考以下结合附图所进行的详细说明,将更加容易地解释和更好地理解本发明的前述方面以及许多随之而来的优点,其中:
图1是示出通用精密机器视觉检查系统的各种典型组件的图;
图2是与图1的精密机器视觉检查系统相似并且包括这里所公开的特征的机器视觉检查系统的控制系统部和视觉组件部的框图;
图3和4是示出包括与这里所公开的用于定位多个边缘中的特定边缘的原理和特征有关的各种元件的用户界面显示的相似实施例的图;
图5是示出与定位多个边缘中的特定边缘有关、特别是与用于在鲁棒极值余量中设置梯度阈值以使得边缘定位结果对于工件之间的合理预期变化不太敏感的方法有关的各种考虑的图;
图6和7是与图5相似的示出用于限定梯度阈值的最大范围并且在与替代最大范围有关的替代鲁棒极值余量中设置梯度阈值的各种替代例;以及
图8A和8B是示出用于在机器视觉检查系统中所包括的边缘特征视频工具的关注区域内的多个边缘之间进行判别时提高边缘检测的可靠性的方法和/或例程的流程图。
具体实施方式
图1是根据这里所述的方法可使用的一个示例性机器视觉检查系统10的框图。该机器视觉检查系统10包括视觉测量机12,其中该视觉测量机12被可操作地连接以与控制计算机系统14交换数据和控制信号。控制计算机系统14被进一步可操作地连接以与监视器或显示器16、打印机18、操纵杆22、键盘24和鼠标26交换数据和控制信号。监视器或显示器16可以显示适合控制和/或编程机器视觉检查系统10的操作的用户界面。应当理解,在各实施例中,计算机系统14、显示器16、操纵杆22、键盘24和鼠标26中的任意或所有的功能可以替换成触摸屏平板电脑等,以及/或者触摸屏平板电脑可以冗余地提供计算机系统14、显示器16、操纵杆22、键盘24和鼠标26中的任意或所有的功能。
本领域技术人员应当理解,控制计算机系统14通常可以包括任何计算系统或装置。合适的计算系统或装置可以包括个人计算机、服务器计算机、小型计算机、大型计算机和包括前述任一的分布式计算环境等。这些计算系统或装置可以包括执行软件以进行这里所述的功能的一个或多个处理器。处理器包括可编程通用或专用微处理器、可编程控制器、专用集成电路(ASIC)或可编程逻辑装置(PLD)等、或者这些装置的组合。可以将软件存储在诸如随机存取存储器(RAM)、只读存储器(ROM)或闪速存储器等、或者这些组件的组合等的存储器中。还可以将软件存储在诸如基于磁性或光学的盘、闪速存储器装置或用于存储数据的任何其它类型的非易失性存储介质等的一个或多个存储装置中。软件可以包括包含用于进行特定任务或实现特定抽象数据类型的例程、程序、对象、组件和数据结构等的一个或多个程序模块。在分布式计算环境中,可以采用有线或无线配置在多个计算系统或装置中组合或分配程序模块的功能并且经由服务调用来访问该功能。
视觉测量机12包括可动工件台32和可包括变焦透镜或可更换透镜的光学成像系统34。变焦透镜或可更换透镜通常为光学成像系统34所提供的图像提供各种倍率。机器视觉检查系统10大体上与以上论述的QUICK系列的视觉系统和软件、以及类似的当前可商购获得的精密机器视觉检查系统可比较。在共同受让的美国专利7,454,053、7,324,682、8,111,905和8,111,938中也描述了机器视觉检查系统10,其中这些专利各自通过引用全部包含于此。
图2是与图1的机器视觉检查系统相似并且包括如这里所述的特征的机器视觉检查系统100的控制系统部120和视觉组件部200的框图。如以下将更详细地说明,利用控制系统部120来控制视觉组件部200。视觉组件部200包括光学组件部205、光源220、230和240以及具有中央透明部212的工件台210。工件台210沿着X轴和Y轴可控制地移动,其中X轴和Y轴存在于与可以定位工件20的台的表面大体平行的面内。光学组件部205包括照相机系统260、可更换物镜250,并且可以包括具有透镜286和288的转台透镜组件280。作为转台透镜组件的替代,可以包括固定或手动可更换倍率改变透镜或变焦透镜结构等。
通过使用可控马达294,光学组件部205沿着与X轴和Y轴大体垂直的Z轴可控制地移动,其中该可控马达294驱动致动器以使光学组件部205沿着Z轴移动以改变工件20的图像的焦点。可控马达294经由信号线296连接至输入/输出接口130。
将使用机器视觉检查系统100要摄像的工件20或保持多个工件20的托盘或夹具放置在工件台210上。工件台210可被控制为相对于光学组件部205移动,以使得可更换物镜250在工件20上的位置之间以及/或者在多个工件20之间移动。台灯220、同轴灯230和表面灯240(例如,环形灯)中的一个或多个可以分别发射源光222、232和/或242,以对工件20进行照明。光源230可以沿着包括镜290的路径发射光232。该源光被反射或透射作为工件光255,并且摄像所用的工件光穿过可更换物镜250和转台透镜组件280并且被照相机系统260收集。将照相机系统260所拍摄到的工件20的图像经由信号线262输出至控制系统部120。光源220、230和240可以分别经由信号线或总线221、231和241连接至控制系统部120。为了改变图像倍率,控制系统部120可以经由信号线或总线281使转台透镜组件280沿着轴284转动,以选择转台透镜。
如图2所示,在各种典型实施例中,控制系统部120包括控制器125、输入/输出接口130、存储器140、工件程序生成器和执行器172、以及电源部190。这些组件各自以及以下所述的附加组件可以经由一个或多个数据/控制总线和/或应用程序编程接口、或者通过各元件之间的直接连接来互连。
输入/输出接口130包括摄像控制接口131、运动控制接口132、照明控制接口133和透镜控制接口134。运动控制接口132可以包括位置控制元件132a和速度/加速度控制元件132b,尽管这些元件可以进行合并和/或不进行区分。照明控制接口133包括照明控制元件133a~133n和133fl,其中这些照明控制元件133a~133n和133fl例如在可应用的情况下,针对机器视觉检查系统100的各种相应光源,控制选择、功率、接通/断开开关和选通脉冲定时。
存储器140可以包括图像文件存储器部141、边缘检测存储器部140ed、可具有一个或多个零件程序等的工件程序存储器部142、以及视频工具部143。视频工具部143包括:视频工具部143a和其它视频工具部(例如,143n),用于针对各相应视频工具,来确定GUI、图像处理操作等;以及关注区域(ROI)生成器143roi,用于支持用以限定视频工具部143所包括的各种视频工具中可操作的各种ROI的自动、半自动和/或手动操作。
在本发明的上下文中并且如本领域普通技术人员已知,术语视频工具通常是指机器视觉用户在无需创建视频工具中所包括的逐步操作序列或采用广义的基于文本的编程语言等的情况下、经由相对简单的用户界面(例如,图形用户界面、可编辑参数窗口和菜单等)就可以实现的一组相对复杂的自动或编程操作。例如,视频工具可以包括通过调整用于管理这些操作和计算的一些变量或参数来在特定实例中应用并定制的一组复杂预先编程的图像处理操作和计算。除基础(underlying)操作和计算以外,视频工具还包括使得用户能够针对视频工具的特定实例来调整这些参数的用户界面。例如,许多机器视觉视频工具使得用户能够使用鼠标通过简单的“手柄拖动”操作来配置图形关注区域(ROI)指示符,从而限定通过视频工具的特定实例的图像处理操作要分析的图像子集的位置参数。应当注意,在隐含地包括基础操作的情况下,有时将可见用户界面特征称为视频工具。
与许多视频工具相同,本发明的边缘位置和参数设置主题包括用户界面特征和基础图像处理操作这两者等,并且可以将相关特征表征为具有相应的参数设置部143ps的多边缘特征视频工具(或多边缘视频工具)143ef的特征。多边缘特征视频工具143ef通常包括用于确定边缘位置的算法。可以利用边缘检测参数来管理该算法,其中这些边缘检测参数可以是在学习模式期间在一些情况下自动确定和编程的、以及/或者通过用户来手动调整(例如,诸如以下更详细地所述的THS等的阈值)。参数设置部143ps可以包括根据以下更详细地所述的原理来实现各种操作的梯度阈值部143gt和梯度突起计数器143gpc。
视频工具部143还可以或作为代替包括根据已知边缘检测或定位方法进行工作的传统边缘特征视频工具。在一个实施例中,多边缘特征视频工具143ef可以与这种工具关联或与这种工具连动。例如,在一个实施例中,可以将这里所公开的边缘梯度阈值和/或突起计数操作作为多边缘模式而包括在包含相当于已知边缘工具(例如,已知的框工具、弧工具、圆工具等)的模式的多模式边缘特征工具中;也就是说,在一个边缘工具中可以存在两个操作模式。在其它实施例中,多边缘特征视频工具143ef和已知或传统的边缘工具可以是单独工具。在这些工具是一个边缘工具的两个模式的一些实施例中,边缘工具可以基于手动操作(例如,如参考以下的图3和4所述,通过选择框工具用户界面的“多边缘框工具-高级参数”标签、以及/或者选择多边缘模式参数/编辑框中的多边缘选项)或者基于自动操作(例如,基于ROI中包括多少个相似边缘的自动分析),来选择特定模式。
在一个实现中,为了使用户可以验证以及/或者手动设置或调整边缘特征视频工具参数,参数设置部143ps可以包括指示和/或调整各种视频工具参数和/或它们的相关效果的各种用户界面特征。如以下将针对图3、4、5和6更详细地所述,提供了示出根据当前参数配置可检测到的参数和/或边缘特征的变化的(例如,示出机器视觉系统的扫描线强度和/或扫描线强度梯度和/或视场的)一个或多个边缘特征表示窗口。
台灯220、同轴灯230和230'以及表面灯240的信号线或总线221、231和241分别全部连接至输入/输出接口130。来自照相机系统260的信号线262和来自可控马达294的信号线296连接至输入/输出接口130。除输送图像数据外,信号线262还可以输送来自控制器125的用于启动图像获取的信号。
一个或多个显示装置136(例如,图1的显示器16)和一个或多个输入装置138(例如,图1的操纵杆22、键盘24和鼠标26)也可以连接至输入/输出接口130。可以使用显示装置136和输入装置138来进行以下操作:显示能够包括可用于进行检查操作以及/或者创建和/或修改零件程序的各种图形用户界面(GUI)特征的用户界面;查看照相机系统260所拍摄到的图像;以及/或者直接控制视觉系统组件部200。显示装置136可以显示以下更详细地说明的与边缘特征视频工具143ef和参数设置部143ps相关联的用户界面特征。
在各种典型实施例中,在用户利用机器视觉检查系统100创建工件20的零件程序时,用户通过以学习模式操作机器视觉检查系统100来生成零件程序指令以提供期望的图像获取训练序列。例如,训练序列可以包括:在视场(FOV)中定位代表工件的特定工件特征;设置光水平;调焦或自动调焦;获取图像;以及提供应用于图像的检查训练序列(例如,在该工件特征上使用视频工具其中之一的实例)。使学习模式工作,以使得这些序列被捕获或记录并转换成相应的零件程序指令。这些指令在执行零件程序的情况下,将使机器视觉检查系统再现训练后的图像获取和检查操作,以在与创建零件程序时所使用的代表工件相匹配的运行模式工件上自动检查特定工件特征(即,相应位置的相应特征)。
图3和4是示出包括与这里所公开的用于定位多个边缘中的特定边缘的原理和特征有关的各种元件的用户界面显示300(300')的相似实施例的图。图3和4包括包含工件图像的视场窗口310、诸如选择栏320和340等的各种测量和/或操作选择栏、实时X-Y-Z(位置)坐标窗口330、灯控制窗口350、以及包含边缘检测参数窗口360的边缘检测视频工具用户界面(“框工具”用户界面),其中在图3和4所示的实施例中,通过选择框工具用户界面的“多边缘框工具-高级参数”标签来显示该边缘检测视频工具用户界面。该框工具用户界面还包括叠加在视场窗口310中的图像上的框工具GUI窗口小部件352,其中该框工具GUI窗口小部件352包括作为商用系统中已知的元件的关注区域指示符355、上升/下降指示符RF、扫描方向箭头SD和(在该特定实施例中为虚线所示的)边缘选择器ES。上升/下降指示符RF与扫描方向箭头SD相结合来限定所检测到的边缘是具有沿着扫描方向上升还是下降的强度。边缘选择器ES表示(例如,利用工具参数的当前集合)要检测的边缘。边缘检测参数窗口360还可以包括多边缘模式参数/编辑框(可以用来使这里所公开的多边缘模式操作有效或无效,其替代例是使用传统的边缘检测操作的模式)、ROI位置参数/编辑框、扫描方向参数/编辑框、上升/下降边缘斜率参数/编辑框、所选边缘突起计数器参数/编辑框、以及扫描间隔参数/编辑框。应当理解,各种参数可以具有默认值和/或基于先前的用户界面操作等而自动确定的值。可以参考共同受让的美国专利申请11/669,333('333申请)的公开内容来进一步理解用户界面300(300')的原理、以及/或者可与这里所述的原理和特征组合的附加特征,其中该申请通过引用而全部包含于此。值得注意的是,尽管这里所述的多边缘特征工具操作和参数使用与传统边缘特征工具的操作和参数使用相比存在差异,但在各实施例中,针对多边缘特征工具操作和传统边缘特征工具操作这两者,GUI窗口小部件352等可以以基本相似或相同的方式出现。这从用户训练和易用性的观点而言是期望的。
边缘检测参数窗口360可以包括以下进一步说明的扫描线强度分布窗口362(仅图3示出)和扫描线强度梯度分布窗口364、以及当前边缘检测参数的表示或指示符。扫描线强度分布窗口362和扫描线强度梯度分布窗口364针对跨相对于边缘特征视频工具352的所选边缘呈横向的关注区域的代表扫描线(例如,中央或平均扫描线等),在沿着该扫描线方向的像素位置处示出扫描线强度分布IP和扫描线强度梯度分布GP(扫描线强度分布IP的斜率)的图形。在图3所示的扫描线强度分布窗口362中,应当理解为边缘特征由强度相对于沿着扫描线的相对有限距离的显著变化来表示。这种强度的显著变化由扫描线强度梯度分布窗口364中的强度梯度分布GP的相应显著极值(即,梯度峰值或谷值)来反映。
为了更好地理解这里所公开的多边缘操作的新颖特征,首先将概述已知的边缘检测工具的一些操作。通常应用已知的边缘检测操作和/或视频工具以定位相对独特孤立的边缘。通常,这种边缘在整个边缘中展现出与扫描线强度分布IP中的边缘的显著强度变化相对应的显著对比度,并且该边缘通常相对局部或“尖锐”,这与扫描线强度梯度分布GP中的显著梯度峰值或谷值相对应。因而,传统上利用强度阈值参数(其可以具有在由于照明故障或零件缺陷等而导致跨边缘的强度变化不如所期望的那样的情况下、触发错误通知的重要功能)和强度梯度阈值参数来判别这种边缘。图3所示的参数TH限定了与跨边缘所需的最低水平的亮度或强度变化有关的阈值。
在另一情况中,需要跨边缘的最低水平的强度变化率的参数(例如,可以表现边缘的宽度或锐度的特征的梯度值)还可以表现边缘的特定实例的特征,并且可以防止如下情况:在边缘或该边缘的照明(例如,环境照明变化或方向变化)或该边缘的图像的焦点(模糊的图像使图像变宽和柔化)的形式相对于视频工具初始训练/编程所使用的“学习模式”边缘形成或照明发生不期望变化的情况下,边缘检测视频工具返回边缘定位。在所并入的'333申请中,将相关梯度阈值参数指定为THS。(在图3中示出类似的梯度值阈值THSP,但如以下进一步所述,以不同方式使用该梯度值阈值THSP来限定梯度突起)。仅为了说明的目的,在图3的窗口362中,利用标记为“TH66.7”的水平线来示出强度阈值参数。在窗口364中,利用标记为“THSP-20.3”的水平线来示出强度梯度阈值参数。在窗口364中,还利用标记为“THSP23.8”的水平线来示出第二强度梯度阈值参数。以下将进一步说明该第二强度梯度阈值的用途。
应当理解,在边缘特征定位的现有技术方法和相关视频工具中,以上概述的参数TH和THS的组合是被设置成对应于和/或表征学习模式期间边缘的“原型”实例的这些参数的代表,然后已使用相同的参数在运行模式期间检测相应边缘。在预期条件没有满足(或没有近似满足)的情况下,这些参数还可能导致视频工具的“故障”,这是该方法的故障保护特征。这种方法在ROI中可以可靠地隔离单个或强边缘的情况下是有效的。
在图3所示的实施例中,窗口362和364相对真实地表示针对相对于ROI的所选边缘ES和视场窗口310中示出的所选边缘ES呈横向的所有扫描线的平均值所观察到的强度特性。为了明确各窗口之间的关系,在窗口362和364中利用虚线的所选边缘指示符ES'来标记所选边缘ES。在各实施例中,在视频工具用户界面中实际可以示出或可以不示出所选边缘指示符ES'。在图3中可以看出,所选边缘ES在具有满足所指示阈值TH和THSP的强度值和梯度值方面不是唯一的,这示出了ROI中包括多个边缘的情况下的现有技术的边缘检测方法存在的一个问题。例如,图3中的所选边缘ES的左侧的下一边缘具有非常相似的特性(例如,相似的低强度值和负梯度值)。在一些现有技术方法中,已尝试通过应用传统参数(例如,TH和THS)和/或已知方法识别多个相似边缘而在多个边缘之间进行判别,然后从扫描的右侧或左侧起“对边缘计数”以隔离所选边缘。然而,这进一步使传统阈值参数的选择复杂化和/或变窄,并且由此得到的边缘检测参数经常导致容易出现因必须计数的多个边缘中的一个或多个边缘的特性的微小变化所引起的错误的检测操作。在这里公开的各实施例中,由于在ROI中可能存在多个相似边缘,因此窗口362中示出的强度阈值TH可能无法用于所选边缘ES的判别,并且可以在多边缘工具操作中被忽略或省略。由于该原因和其它原因,应当理解,窗口362和364中的信息相互关联并且在一定程度上是冗余的,并且(例如,如图4所示)在各实施例中可以省略窗口362。
由于以上概述的原因,边缘定位的现有技术方法无法广泛地应用或可靠地在ROI中的多个和/或相似边缘之间进行判别。作为又一示例,在窗口310中,可以观察到可以将ROI内的“边缘”中的几个边缘更好地表征为纹理变化等。这些边缘具有在一定程度上与所选边缘ES相似的特性,但这些边缘的配置和数量可能根据应用于特定工件的精加工操作的随机变化而实际在一定程度上有所改变。
关于这里所公开的多边缘操作的新颖特征,与现有技术方法相比,在一个意义上,与依赖于检测个体边缘相对比,这里所公开的方法可以被定性地视为依赖于ROI中的边缘特性或纹理的整个图案从而“指向”或隔离ROI中的所选边缘。特别是在多个相似边缘彼此接近、或者在工件的区域中发生不可预期数量的相似边缘(例如,由于表面精加工而产生的“边缘”等)的情况下,这可能是与排他地检测个体边缘相比更加可靠和具有鲁棒性的方法。简言之,对比于识别与相应个体边缘有关的个体梯度峰值,以下所述的相对简单且可靠的方法包括:对可能包括多个边缘状特征(准确数量并不关键)的“梯度突起”进行限定并计数。与设置主要基于所选边缘的特性的阈值相比,利用根据有可能得到稳定的梯度突起的原理所设置的阈值来限定或划界这些梯度突起。然后,基于关联突起计数参数,这些梯度突起在ROI的边缘特性的整个图案中如同指出向着所选边缘的路线的地标那样起作用。
图4示出强调这里所公开的多边缘操作和/或模式的特征的用户界面300'的一个实施例。在用户界面300'中,省略了图3所示的强度分布窗口362,并且如以下更详细地所述,利用一些相关特征来强调并增强强度梯度分布窗口364。
如以下更详细地所述,应当理解,用户界面300'反映了包括多边缘操作的边缘特征视频工具的“当前实例”。可以利用已知方法来实现边缘特征视频工具的当前实例,其中这些方法例如包括如下操作:通过使用用户界面300'中示出的“工具”菜单来显示视频工具栏(未示出),在该工具栏上选择适当的视频工具图标,然后在窗口310中点击(或将该图标拖至窗口310内等)以创建可编辑/可调整框工具GUI窗口小部件352的当前实例。在一些实施例中,该动作还可以打开参数窗口360。如图4所示,已调整了GUI窗口小部件352以在工件上限定包括多个边缘状特征的ROI,并且已定位了边缘选择器ES以限定ROI内的利用视频工具的多边缘模式的边缘检测操作要检测的所选边缘特征。
在一些实施例中,一旦限定了ROI,则可以将相应的强度梯度分布GP显示在强度梯度分布窗口364中。如前面所示,可以利用已知方法基于沿着跨包括所选边缘的ROI的代表“扫描线”的像素强度值来计算梯度分布GP。在各实施例中,代表扫描线可以是与一行图像像素相对应的中央或所选扫描线、或滤波扫描线、或可选地基于几行像素的平均扫描线等。梯度分布GP通常将展现出与边缘或边缘状特征相对应的多个极值(还称为局部最大值和局部最小值、或者峰值和谷值)。这里,与大小无关地,峰值和谷值在指向相反方向的情况下被称为具有相反极性。在各实施例中,由于以下参考图5更详细地所述的原因,利用视频工具所进行的多边缘操作可以包括沿着梯度分布GP来识别显著的局部最大值和局部最小值。例如,可以利用先前参考图2所概述的梯度分布分析部143gpa来进行这些操作。
在图4中,利用浅色水平虚线来标记这些极值中的一部分的峰值(谷值),以供参考。图4还示出梯度值0周围的梯度噪声带GNB。在一些实施例中,值在梯度噪声带GNB内的局部最大值和局部最小值被视为不重要(例如,作为不重要的边缘或纹理特征)并且被忽略。在一些实施例中,视频工具的多边缘操作可以自动防止将边缘梯度阈值参数设置为梯度噪声带内的值。在一些实施例中,可以基于经验来将GNB限制值设置为预定值。在一些实施例中,GNB限制值可以基于梯度分布GP的噪声分析来自动设置、以及/或者由用户(例如,通过在用户界面内点击并拖动梯度噪声带GNB的限制值线、或者输入期望数值等)手动调整。
在一些实施例中,如以下更详细地所述,一旦限定了所选边缘特征,则可以进行各种多边缘模式操作,并且可以确定和/或显示相关特征。图4示出各种相关元件。使用边缘梯度阈值THSP(例如,两个边缘梯度阈值THSP的其中一个)来限定梯度突起(例如,突起P1>、P2>等)。在具有所选边缘的梯度分布极值作为一个限制值L-SE和如下的对向限制值(例如,两个对向限制值OL-LNE和OL-RNE的其中一个)的最大范围内设置边缘梯度阈值THSP,其中该对向限制值离所选边缘极值并不比沿着强度梯度分布GP的与所选边缘极值邻接的相邻极值更远,并且该相邻极值(例如,左相邻极值LNE和右相邻极值RNE的其中一个)具有与所选边缘ES的极值相反的极性。在图4中,由于以下进一步说明的原因,因此示出两个“候选”边缘梯度阈值THSP。基于左相邻极值LNE在具有对向限制值OL-LNE的最大范围内设置具有值23.8的阈值THSP。基于右相邻极值RNE在具有对向限制值OL-RNE的最大范围内设置具有值-20.3的阈值THSP。在一些实施例中,在这样限定的最大范围内设置边缘梯度阈值THSP的情况下,由此通常可以求出所选边缘极值是沿着所确定的分布扫描方向在相关梯度突起中所出现的第一个极值和最后一个极值的其中一个,从而可以简化与可靠地识别所选边缘位置有关的处理。
突起在地理学领域是可以包括中央峰以及超过特定高程的周围次峰值的地理特征。术语“梯度突起”暗示了类似特性。特别地,在这里使用该术语时,利用沿着强度梯度分布GP的所确定边缘梯度阈值THSP和强度梯度分布之间的交点处的限制值来限定梯度突起。为了定位所选边缘,在一些实施例中,仅需考虑沿着所确定的分布扫描方向在所选边缘之前出现的交点和/或突起。应当理解,由如上示出的交点处的一个或多个限制值限定的一个梯度突起可以包括与沿着强度梯度分布GP的多个边缘分别相对应的多个梯度极值。在一些实施例中,将突起视为与梯度分布GP的如下部分相对应就足够了,其中这些部分延伸至边缘梯度阈值THSP的与对应于所选边缘的极值相同的一侧。然而,在其它实施例中,在对这里所述的方法和实施例进行适当调整的情况下,可以考虑任意极性的突起。
为了明确,利用双向影线标记一些梯度突起并且在图4中进行标注。在该示例中,各标注突起延伸至边缘梯度阈值THSP的与对应于所选边缘的极值相同的侧。例如,(与左相邻极值LNE和从左向右的扫描方向相关联的)候选阈值THSP=23.8与梯度分布GP交叉,以限定扫描方向开始点和第一交点之间的第一突起P1>(其中,符号“>”沿着从左向右的扫描方向进行指向)。在沿着扫描线梯度分布从左向右前进的第二交点和第三交点之间限定梯度突起P2>,并且将梯度突起P3>限定为从第四交点开始。可以看出,所选边缘ES'是通过在梯度突起P3>中沿着扫描方向前进而出现的第一极值,从而使得能够在无需考虑梯度突起P3>的右端限制值的情况下定位所选边缘。作为另一示例,(与右相邻极值RNE和从右向左的扫描方向相关联的)候选阈值THSP=-20.3与梯度分布GP交叉,以在沿着扫描线梯度分布从右向左前进的第一交点和第二交点之间限定第一突起P1<(其中,符号“<”沿着从右向左的扫描方向进行指向)。可以看出,所选边缘ES'是在梯度突起P1<中出现的第一极值(并且在该特定情况下,也是梯度突起P1<中出现的唯一极值)。
应当理解,基于用户定位边缘选择器ES,已知了所选边缘ES'的沿着梯度分布GP的大致位置。因此,可以自动确定出突起包括所选边缘。此外,如以上针对这里所述的实施例所概述的,在沿着相关扫描方向前进时,更具体地将所选边缘识别为该突起中出现的第一显著极值。可以使用已知编程方法和/或信号处理电路来实现以上概述的原理和方法。例如,这些操作可以由先前参考图2概述的梯度分布分析部143gpa和/或梯度突起计数器部143gpc来进行。
在图4所示的示例中,已选择候选阈值THSP=-20.3作为要用于定位所选边缘ES/ES'的边缘候选阈值。如前面所述,边缘梯度阈值THSP=-20.3与基于右相邻极值RNE的最大范围相关联。在图4所示的实施例中,如由扫描方向参数/编辑框所示,将扫描方向选择为从右向左(即,扫描方向向着左侧前进)。在图4所示的特定实施例中,将边缘梯度阈值THSP=-20.3设置在与该扫描方向和/或该最大范围相关联的鲁棒极值余量REM<的中点处。以下参考图5来更详细地说明鲁棒极值余量。
在梯度分布中沿着扫描方向在所选边缘之前出现右相邻极值RNE,其中可以认为该右相邻极值RNE与限定梯度突起限制值的相邻交点相关,由此所选边缘是在沿着扫描方向前进时在相应突起P1<中出现的第一显著极值。由于与所选边缘ES/ES'相关联的梯度突起是(如上所概述的可以自动确定的)沿着扫描方向的第一梯度突起P1<,因此可以将所选边缘突起计数器参数/编辑框自动设置为“1”。该特定类型的突起计数参数仅是示例性的而非限制性的。例如,应当理解,作为代替,梯度突起计数参数可以对交点或两个极性的突起等进行计数。更通常地,基于前述说明应当理解,在梯度突起计数参数表示所选边缘相对于所限定的梯度突起的位置的情况下梯度突起计数参数就足够了,其中在这种情况下,可以使用相关信号处理来可靠地并且鲁棒地根据以上概述的原理来定位所选边缘。识别包括所选边缘的梯度突起的数量仅是这样一种可能性。
在前述说明中,选择候选阈值THSP=-20.3作为要用于定位所选边缘ES/ES'的边缘梯度阈值。然而,应当理解,在替代例中可以使用候选阈值THSP=23.8。在这种情况下,有利地,可以使边缘梯度阈值THSP=23.8与基于左相邻极值LNE的最大范围相关联。可以(例如通过选择扫描方向参数/编辑框中的“右”单选按钮)将扫描方向选择为从左向右。在一个实施例中,可以将边缘梯度阈值THSP=23.8设置在与向着右侧的扫描方向和/或关于左相邻极值LNE的最大范围相关联的鲁棒极值余量REM>的中点处。在梯度分布中沿着向着右侧前进的扫描方向在所选边缘之前出现左相邻极值LNE,其中可以看出,该左相邻极值LNE与限定梯度突起限制值的相邻交点相关,由此所选边缘是在沿着该方向前进时在相应突起P3>中出现的第一显著极值。由于与所选边缘ES/ES'相关联的梯度突起是(如上所概述的可以自动确定的)沿着扫描方向的第三梯度突起P3>,因此可以将所选边缘突起计数器参数/编辑框自动设置为“3”(未示出)。
在一些实施例中,可以与两个扫描方向各自相对应地确定鲁棒极值余量REM>和REM<(例如图4所示),并且可以选择这两个鲁棒极值余量的其中一个。在一些实施例中,(例如通过选择关联鲁棒极值余量指示符或参数编辑框等)可以手动进行选择,并且可以将边缘梯度阈值设置在所选余量内。还可以将扫描方向设置为与所选鲁棒极值余量相对应。可选地,在一些实施例中,(例如通过手动选择扫描方向单选按钮)选择扫描方向可以自动选择相应的鲁棒极值余量。
应当理解,图3和4的用户界面示例中所示的元件的组合仅是示例性而非限制性的。根据需要,可以在各实施例中和/或在这里所概述的操作的不同阶段添加或删除各种元件,以及/或者可以以实现相似功能的不同形式来呈现各种元件。例如,在一些实施例中,可以自动确定和/或选择最大范围,以及/或者可以自动确定和/或选择鲁棒极值余量,并且可以将边缘梯度阈值自动设置在所确定或所选择的最大范围或鲁棒极值余量内。在这种情况下,在各实施例中,(例如通过显示诸如限制值线或阴影带等的相应指示符)可以为了便利而显示与前述有关的任何期望GUI元件,或者为了简化而省略这些GUI元件。
在一些实施例中,根据期望,可以显示根据参数的当前集合得到的相关梯度突起。可选地,在各实施例中,可以显示与上述有关的任何期望GUI元件以供用户识别和/或确认和/或调整。例如,可以通过将显示梯度分布叠加在视频工具GUI中(例如图4所示)来显示与边缘梯度阈值的当前值相对应的梯度阈值指示符,并且可以(例如通过在GUI中选择并且拖动阈值指示符)手动调整阈值指示符(和基础参数)。在一些实施例中,可以显示根据参数的当前集合所得的相关梯度突起,并且根据需要来与参数指示符的手动调整相对应地实时进行更新。
尽管图3和4所示的典型实施例示出框型工具的使用,但应当理解,相同的操作同样可以应用于弧工具或圆工具等,其中相对于所选边缘呈横向的扫描线分布可以跟随径向方向。
图5是示出如下各种考虑的图500,其中这些考虑涉及定位多个边缘中的特定边缘,特别涉及用于在鲁棒极值余量中设置梯度阈值以使得边缘定位结果对工件之间的合理预期变化相对不敏感的方法。图5中的元件与图3和4的用户界面所示的对应元件基本相似,并且通常可以通过类推来理解。例如,除非以下另外说明或暗示,否则图5中的具有与图3和4中的附图标记3XX和4XX相同的后缀“XX”的附图标记5XX可以指定相似或相同的元件。
图5示出扫描线梯度分布GP。(例如,如通过在适当分析例程中实现的已知数学方法自动识别出的)局部最大值和局部最小值具有图5中所标记的梯度极值GEV。特别地,将位于所选边缘ES'的左侧(并且包括所选边缘ES')的第一集合的梯度极值标记为梯度极值GEV-L1~GEV-L11。后缀“-LXX”表示这些梯度极值位于所选边缘ES/ES'的左侧。应当理解,这些极值是沿着沿梯度分布GP从左端向着右侧前进的直至所选边缘ES/ES'为止并且包括所选边缘ES/ES'的“右”扫描方向出现的。这些极值与确定作为“右”扫描方向鲁棒极值余量的第一扫描方向鲁棒极值余量有关。
应当理解,使用梯度阈值水平来限定梯度突起,其中在这里所公开的各实施例中,这些梯度突起是用于定位所选边缘的地标。因而,将梯度阈值设置为距离梯度分布GP中所展现出的任何极值相对较远的水平,这是有利的。这将以稳定且可重复的方式限定梯度突起,尽管在工件和/或工件图像之间的特定梯度极值中存在潜在变化。可以看出,实现这点的一个方式是将梯度阈值设置于梯度分布GP中沿着扫描方向在所选边缘之前出现的梯度极值之间的最大间隙内。因而,可以认为鲁棒极值余量满足包括以下的限定条件:
(a)利用作为与强度梯度分布中的梯度极值相对应的梯度极值的排名列表中的顺序值的第一梯度极值和第二梯度极值来限制鲁棒极值余量,其中这些梯度极值包括在最大范围内并且是沿着所确定的分布扫描方向在所选边缘之前(包括该所选边缘)出现的;以及
(b)限制鲁棒极值余量的第一梯度极值和第二梯度极值是展示以下其中之一的顺序值:(b1)排名列表中的顺序值之间的最大差;以及(b2)超过边缘特征视频工具中所限定的最小余量值的差。
在图5中,示出梯度极值GEV-L1~GEV-L11作为排名列表,因为这些值是按沿着纵轴的值顺次排名或排序的。通过检查,发现GEV-L1落在与鲁棒极值余量REM>有关的最大范围外,其中在该特定示例中,该鲁棒极值余量REM>与左相邻极值LNE有关。也就是说,在该特定示例中,将与鲁棒极值余量REM>有关的最大范围限制在L-SE=GEVsel=GEV-L2和OL-LNE=GEV-nL=GEV-L11之间。因此,GEV-L1在相关最大范围外,并且将其排除而不予考虑。例如,其余排名列表中的顺序值之间的较大差中的两个差在GEV-L3与GEV-L4之间和GEV-L9与GEV-L10之间。GEV-L9和GEV-L10之间的差是其余排名列表中的顺序值之间的最大差。因此,在该特定实施例中,如指示符REM>所示,GEV-L9和GEV-L10是限制“右”扫描方向鲁棒极值余量的两个梯度极值。在该示例中,可以将梯度阈值THSP=23.8自动设置在“右”扫描方向鲁棒极值余量REM>的中间。然而,在一些实施例中,用户可以选择将梯度阈值定位在扫描方向鲁棒极值余量内的其它位置处。
通过图5的检查可以看出,鲁棒极值余量REM>内(除其限制值以外)的任何位置处的梯度阈值THSP将导致所选边缘在沿着“右”扫描方向前进时出现在突起P3>中。根据前面概述的原理,可以将所选边缘突起计数器参数/编辑框自动设置为相应值(例如,“3”)。因而,尽管工件和/或图像之间的特定极值的合理变化、以及视频工具ROI中所包括的多个相似边缘,但仍可以将以上概述的参数集合视为鲁棒地表示所选边缘。
在图5中,将第二集合的梯度极值定位到所选边缘ES'的右侧(并包括所选边缘ES'),并且标记为梯度极值GEV-R1~GEV-R4。后缀“-RXX”表示这些梯度极值位于所选边缘ES/ES'的右侧。应当理解,这些极值是沿着沿梯度分布GP从右端向着左侧前进、直至所选边缘ES/ES'为止并且包括所选边缘ES/ES'的“左”扫描方向出现的。这些极值与确定作为“左”扫描方向鲁棒极值余量的第二扫描方向鲁棒极值余量有关。示出梯度极值GEV-R1~GEV-R4作为排名列表,其中这些值是按沿纵轴的值顺次排名或排序的。
通过检查,得出GEV-R4落在与鲁棒极值余量REM<有关的最大范围外,其中在该特定示例中,该鲁棒极值余量REM<与右相邻极值RNE有关。也就是说,在该特定示例中,将与鲁棒极值余量REM<有关的最大范围限制在L-SE=GEVsel=GEV-R1和OL-RNE=GEV-nR=GEV-R3之间。因此,GEV-R4在相关最大范围外并且将其排除而不予考虑。其余排名列表中的顺序值之间的最大差落在GEV-R1和GEV-R2之间。因此,在该特定实施例中,如指示符REM<所示,GEV-R1和GEV-R2限制“左”扫描方向鲁棒极值余量的两个梯度极值。在该示例中,可以将梯度阈值THSP=-20.3自动设置在“左”扫描方向鲁棒极值余量REM<的中间。
通过图5的检查可以看出,鲁棒极值余量REM<内(除其限制值以外)的任何位置处的梯度阈值THSP将导致所选边缘在沿着“左”扫描方向前进时出现在突起P1<中。根据前面概述的原理,可以将所选边缘突起计数器参数/编辑框自动设置为相应值(例如,“1”)。因而,尽管工件和/或图像之间的特定极值的合理变化、以及视频工具ROI中所包括的多个相似边缘,但仍可以将以上概述的参数集合视为鲁棒地表示所选边缘。
在紧上所述的特定示例中,左扫描方向鲁棒极值余量REM<相当大,并且将阈值设置在中间。在一些实施例或应用中,这使梯度噪声带变得不需要并且可以忽略或省略。因而,左扫描方向鲁棒极值余量REM<可以扩展至在一些实施例中可落在梯度噪声带内的GEV-R2。然而,在一些实施例中,假定梯度分布GP的形式不可预测是较为安全的,并且梯度噪声带内的极值与相对较弱的边缘和/或纹理相对应,并且在工件和/或图像之间可能变化大和/或极不可靠。因此,在一些实施例中,边缘特征视频工具包括自动防止将边缘梯度阈值设置为包括梯度值0的梯度噪声带内的值的操作。
在一些实施例中,对于特定梯度分布,可以将梯度噪声带设置为将梯度极值GEV中绝对值最小的25%排除。在其它实施例中,基于分析或实验,可以设置为已知与弱边缘或不可靠边缘相对应的预定限制值。
在一些实施例中,在相邻极值落在梯度噪声带内的情况下,可以将最大范围中与该相邻极值相对应的对向限制值限定为:离所选边缘极值并不比梯度噪声带中最接近所选边缘极值的限制值更远。这样将最大范围限制成排除了“含噪声的”相邻极值,由此还自动排除了梯度噪声带内的任何含噪声的鲁棒极值余量限制值,并且自动确保了没有将梯度阈值限制值设置在梯度噪声带内。
上述的右鲁棒极值余量和左鲁棒极值余量各自基于展现出排名列表中的顺序值之间的最大差的两个顺序梯度极值。然而,本实施例仅是示例性的而非限制性的。在其它实施例中,多个边缘操作可以包括为了提供针对合理预期的工件和/或图像变化的稳定结果所确定的最小余量值或差要求,并且可以使用超过该最小余量值或差要求的任何鲁棒极值余量。
此外,在一些实施例中,可以自动分别确定左鲁棒极值余量和右鲁棒极值余量,并且可以自动和/或手动选择较大的一个(例如,在图5中为“左”扫描方向鲁棒极值余量REM<)。在一些实施例中,可以在左鲁棒极值余量和右鲁棒极值余量中所选择的鲁棒极值余量内自动设置边缘梯度阈值。应当理解,图3、4和5所示的示例边缘可以向有经验的用户建议优选进行从右向左的扫描,并且这里概述的方法对于该示例边缘而言可能并不需要。然而,应当理解,以上概述的方法不仅满足该常识结论,而且还提供了在这种“常识”解决方案和其它现有技术方法将失败的情况下(例如,在诸如所选边缘ES的左侧的边缘和纹理等的边缘和纹理也在所选边缘的右侧出现的情况下)也工作的自动或半自动方法。
图5还示出在视频工具用户界面的一些实施例中可以显示的检测鲁棒性指示符特征。该检测鲁棒性指示符可以表示与如下操作相关联的风险程度:使用边缘特征视频工具,基于边缘检测参数的当前集合来检测所选边缘特征。例如,在假定梯度分布极值内的合理预期或可预测变化的情况下,23.8处的梯度阈值指示符线示出检测鲁棒性指示符“阈值安全性=OK(良好)”,这表示右扫描方向鲁棒极值余量REM>的相应大小使得与使用“右扫描”参数的当前集合来检测所选边缘以达到可接受或“OK”水平相关联的风险降低。-20.3处的梯度阈值指示符线示出检测鲁棒性指示符“阈值安全性=高”,这是因为左扫描方向鲁棒极值余量REM<的大小大,从而针对梯度分布极值的合理预期或可预测变化,使得与使用“左扫描”参数的关联当前集合来检测所选边缘相关联的风险程度大幅降低。应当理解,检测鲁棒性指示符可以包括与表示边缘梯度阈值的线相关联的颜色等。例如,可以使用绿色阈值线来表示低风险/高安全性,可以使用黄色线来表示OK风险/OK安全性,并且可以使用红色线来表示高风险/低安全性。当然,还可以使用风险指示符的任何其它便利形式。
在一个实施例中,可以基于如下比率来自动确定风险指示符,其中该比率为相关鲁棒极值余量(或在特定实施例或应用中鲁棒极值余量不可用的情况下的相关最大范围等)相对于梯度扫描线GP中所包括的梯度值的范围的比率(例如,在一些实施例中,大于.25的比率可以表示OK风险,并且大于.33的比率可以表示低风险)。可以基于实验或分析来确定用于设置与以上概述的风险指示符类似的风险指示符的替代分析或替代基础。
图6和7包括与图5相似的分别示出用于限定梯度阈值的最大范围、并且在与替代最大范围有关的替代鲁棒极值余量中设置梯度阈值的各种替代例的图600和700。图6和7中的元件与图5所示的对应元件基本相似,并且通常可以通过类推来理解。例如,除非以下另外说明或暗示,否则图6和7中具有与图5的附图标记5XX相同的后缀“XX”的附图标记6XX和7XX可以指定相似或相同的元件。
如前面所示,在左右扫描方向的一些实施例中,可以自动确定鲁棒极值余量,并且可以自动和/或手动选择较大的鲁棒极值余量。以下参考图6和7来概述示例或相关操作,其中所选边缘ES/ES'是与图5所示的边缘不同的边缘。
在图6中,将位于所选边缘ES'的左侧(并且包括所选边缘ES')的第一集合的梯度极值标记为梯度极值GEV-L1~GEV-L10。后缀“-LXX”表示这些梯度极值位于所选边缘ES/ES'的左侧。应当理解,这些极值是沿着沿梯度分布GP从左端向着右侧前进、直至所选边缘ES/ES'为止并且包括该所选边缘ES/ES'的“右”扫描方向出现的。这些极值与确定作为“右”扫描方向鲁棒极值余量的第一扫描方向鲁棒极值余量有关。
由于以上概述的原因,将梯度极值GEV-L1~GEV-L10示出为排名列表,其中这些值是按沿纵轴的值顺次排名或排序的。通过检查,发现梯度极值GEV-L1~GEV-L10全部落在与鲁棒极值余量REM>有关的最大范围内,其中在该特定示例中,该鲁棒极值余量REM>与左相邻极值LNE有关。也就是说,在该特定示例中,将与鲁棒极值余量REM>有关的最大范围限制在L-SE=GEVsel=GEV-L10和OL-LNE=GEV-nL=GEV-L1之间。GEV-L1和GEV-L2之间的差是其余排名列表中的顺序值之间的最大差。因此,在该特定实施例中,如指示符REM>所示,GEV-L1和GEV-L2是限制“右”扫描方向鲁棒极值余量的两个梯度极值。
第二集合的梯度极值位于所选边缘ES'的右侧(并且包括所选边缘ES'),并且作为梯度极值GEV-R1~GEV-R5标记在排名列表中。后缀“-RXX”表示这些梯度极值位于所选边缘ES/ES'的右侧。应当理解,这些极值是沿着沿梯度分布GP从右端向着左侧前进、直至所选边缘ES/ES'为止并且包括该所选边缘ES/ES'的“左”扫描方向出现的。这些极值与确定作为“左”扫描方向鲁棒极值余量REM<的第二扫描方向鲁棒极值余量有关。将梯度极值GEV-R1~GEV-R5示出作为排名列表,因为这些值是按沿纵轴的值顺次排名或排序的。
通过检查,发现梯度极值GEV-R1~GEV-R5全部落在与鲁棒极值余量REM<有关的最大范围内,其中在该特定示例中,该鲁棒极值余量REM<与右相邻极值RNE有关。也就是说,在该特定示例中,将与鲁棒极值余量REM<有关的最大范围限制在L-SE=GEVsel=GEV-R5和OL-RNE=GEV-nR=GEV-R1之间。排名列表中的顺序值之间的最大差落在GEV-R1和GEV-R2之间。因此,在该特定实施例中,如指示符REM<所示,GEV-R1和GEV-R2是限制“右”扫描方向鲁棒极值余量的两个梯度极值。
在各实施例中,可以将差REM<与差REM>进行比较。在该特定示例中,REM>较大。因此,选择REM>作为用于检测所选边缘的基准,并且可以在“右”扫描方向鲁棒极值余量REM>的中间自动设置梯度阈值(例如,THSP=-35.6)。将扫描方向设置为向右。根据前面概述的原理,可以将所选边缘突起计数器参数/编辑框自动设置为相应值(例如,“2”)。在该示例中,所选边缘ES'是沿扫描方向在其相应梯度突起中出现的第一极值。尽管在工件和/或图像之间的特定极值中存在合理变化、以及在视频工具ROI中包括多个相似边缘,但仍可以将以上概述的参数集合视为鲁棒地表示所选边缘。
由于工件图像610和扫描线梯度分布GP相同,因此图7及以下说明与图6相当。然而,在以下概述的实施例中,使用相同的最大范围来确定各鲁棒极值余量。特别地,在图7所示的实施例中,最大范围的对向限制值OL离所选边缘极值并不比两个相邻极值梯度值中最接近所选边缘的梯度分布极值的一个极值梯度值更远。在该特定示例中,右相邻极值梯度值GEV-nR与左相邻极值梯度值GEV-nL相比,更接近所选边缘的梯度分布极值GEVsel。因此,将与鲁棒极值余量REM>和REM<这两者有关的最大范围限制在L-SE=GEVsel=GEV-R5=GEV-L10和OL-RNE=GEV-nR=GEV-R1之间。
通过检查,发现排名列表中与扫描方向鲁棒极值余量REM>有关的梯度极值GEV-L1~GEV-L3落在最大范围外。GEV-L8和GEV-L9之间的差是排名列表中剩余的顺序值之间的最大差。因此,在该特定实施例中,如指示符REM>所示,GEV-L8和GEV-L9是限制“右”扫描方向鲁棒极值余量的两个梯度极值。关于“左”扫描方向鲁棒极值余量,梯度极值GEV-R1~GEV-R5全部落在最大范围内。排名列表中的顺序值之间的最大差落在GEV-R1和GEV-R2之间。因此,如指示符REM<所示,GEV-R1和GEV-R2是限制“右”扫描方向鲁棒极值余量的两个梯度极值。
在该特定示例中,REM>大于REM<。因此,选择REM>作为用于检测所选边缘的基准,并且可以在“右”扫描方向鲁棒极值余量REM>的中间自动设置梯度阈值(例如,THSP=22.2)。将扫描方向设置为向右。根据前面所述的原理,可以将所选边缘突起计数器参数/编辑框自动设置为相应值(例如,“2”)。
由于最大范围是基于两个相邻极值梯度值中最接近所选边缘的梯度分布极值的极值梯度值,因此在该示例中,所选边缘ES'是沿扫描方向在其相应梯度突起中出现的唯一极值。应当理解,在这些实施例中,根据梯度分布GP的特定实例,限定最大范围的相邻极值无需沿扫描方向在所选边缘之前出现,尽管该相邻极值也可以在所选边缘之前出现。在任何情况下,尽管在工件和/或图像之间的特定极值中存在合理变化、以及在视频工具ROI中包括多个相似边缘,但仍可以将以上概述的参数集合视为鲁棒地表示所选边缘。
上述的右鲁棒极值余量和左鲁棒极值余量各自基于展现出排名列表内的顺序值之间的最大差的两个顺序梯度极值。然而,本实施例仅是示例性的而非限制性的。在其它实施例中,多个边缘操作可以包括为了提供针对合理预期的工件和/或图像变化的稳定结果所确定的最小余量值或差要求,并且可以使用超过该最小余量值或差要求并且落在最大范围内的任何鲁棒极值余量。
可以使用已知编程方法和/或信号处理电路来实现以上参考图5、6和/或7概述的原理和方法。例如,这些操作可以由前面参考图2概述的梯度分布分析部143gpa和/或梯度阈值部143gt和/或梯度突起计数器143gpc来自动进行。
图8A和8B示出表示如下方法和/或例程的流程图80,其中该方法和/或例程用于在机器视觉检查系统中所包括的边缘特征视频工具的关注区域内的多个边缘之间进行判别时,提高边缘检测的可靠性。可以基于实现前面公开的相关操作和/或元件的各种组合来进行以下概述的一般方法或例程的各实施例。
在块810中,提供边缘特征视频工具,其中该边缘特征视频工具包括:关注区域(ROI);由包括边缘梯度阈值的多个边缘检测参数所管理的边缘检测操作;分布扫描方向和梯度突起计数参数;以及包括关注区域指示符和边缘选择元件的视频工具GUI。
在块820中,将工件放置在机器视觉检查系统的视场内。
在块830中,使边缘特征视频工具工作,以在工件的所获取图像中限定包括多个边缘特征的ROI。
在块840中,使边缘特征视频工具工作,以选择ROI内的边缘特征作为边缘特征视频工具的边缘检测操作所检测到的所选边缘。
在块850中,使边缘特征视频工具工作,以确定分布扫描方向和边缘梯度阈值。使边缘特征视频工具工作以确定边缘梯度阈值的操作包括以下:使边缘特征视频工具工作以在具有所选边缘的梯度分布极值作为一个限制值以及对向限制值的最大范围内设置边缘梯度阈值,其中该对向限制值离所选边缘极值并不比如下两个相邻极值的两个梯度分布相邻极值中的限制性梯度分布相邻极值更远,这两个相邻极值与沿关注区域内的所选边缘的强度梯度分布的所选边缘极值邻接,并且具有与所选边缘的极值相反的极性。
如前面所示,在一些实施例中,两个相邻极值梯度值中的限制性极值梯度值(即,用于限制最大范围的极值梯度值)是离所选边缘的梯度分布极值最近的极值梯度值。在这种情况下,所选边缘极值由此可以是在关联梯度突起中出现的唯一极值,从而可以通过以最少的附加信号处理对极值进行定位来实现良好的检测可靠性。
在其它实施例中,两个相邻极值梯度值中的限制性极值梯度值可以是与沿着所确定的分布扫描方向在所选边缘之前出现的相邻极值相对应的极值梯度值,而与其离所选边缘的梯度分布极值是否最近无关。在这种情况下,所选边缘极值由此可以是沿着所确定的分布扫描方向在其关联梯度突起中出现的第一极值,从而可以以非常简单的信号处理对该极值进行定位来实现良好的检测可靠性。
在其它实施例中,两个相邻极值梯度值中的限制性极值梯度值可以是与沿着所确定的分布扫描方向在所选边缘之后出现的相邻极值相对应的极值梯度值,而与其离所选边缘的梯度分布极值是否最近无关。在这种情况下,所选边缘极值由此可以是沿着所确定的分布扫描方向在其关联梯度突起中出现的最后极值。然而,在后的替代例可能需要相对更复杂的信号处理来定位该极值,或者在一些应用中可能被视为可靠性较差。在块850之后,该处理继续进入图8B中继续的附图标记A。
在图8B的附图标记A之后,在块860中,使边缘特征视频工具工作以自动确定与分布扫描方向和边缘梯度阈值相对应的梯度突起计数参数。使边缘特征视频工具工作以自动确定与所确定的分布扫描方向和边缘梯度阈值相对应的梯度突起计数参数的操作包括进行边缘特征视频工具的被配置成使梯度突起计数参数满足包括以下的条件的自动操作:(a)针对至少沿着所确定的分布扫描方向在所选边缘之前出现的交点,利用沿着强度梯度分布的位于该强度梯度分布和所确定的边缘梯度阈值之间的顺序交点处的限制值来限定梯度突起;(b)允许一个梯度突起包括与沿着强度梯度分布的位于条件(a)所限定的限制值之间的多个边缘分别相对应的多个梯度极值;以及(c)梯度突起计数参数表示所选边缘相对于所限定的梯度突起的位置。在块860之后,该处理结束。
应当理解,可以进行以上所公开的各种方法和操作,并且根据操作的学习模式,可以显示关联的用户界面特征。然后可以将该方法中所确定的参数保存在零件程序中以供将来用在相似工件上。当然,在各实施例中,还可以或可选地在零件程序的自动运行时间执行时实现这些方法。
尽管已经例示和说明了本发明的各实施例,但本领域技术人员基于本公开内容将明白所例示和说明的特征配置和操作序列的多种变形。因而,应当理解,可以在没有背离本发明的精神和范围的情况下在本发明中进行各种改变。
Claims (20)
1.一种用于在机器视觉检查系统中所包括的边缘特征视频工具的关注区域内的多个边缘之间进行判别的情况下提高边缘检测的可靠性的方法,所述方法包括以下步骤:
提供边缘特征视频工具,所述边缘特征视频工具包括关注区域即ROI、由包含边缘梯度阈值的多个边缘检测参数所管理的边缘检测操作、分布扫描方向和梯度突起计数参数、以及包含关注区域指示符和边缘选择元件的视频工具GUI;
将工件放置在所述机器视觉检查系统的视场内;
使所述边缘特征视频工具工作,以在所述工件的所获取图像中限定包括多个边缘特征的ROI;
使所述边缘特征视频工具工作,以选择所述ROI内的边缘特征作为所述边缘特征视频工具的边缘检测操作所检测到的所选边缘;
使所述边缘特征视频工具工作,以确定所述分布扫描方向和所述边缘梯度阈值;以及
使所述边缘特征视频工具工作,以自动确定与所述分布扫描方向和所述边缘梯度阈值相对应的所述梯度突起计数参数,
其中,使所述边缘特征视频工具工作以确定所述边缘梯度阈值的步骤包括:使所述边缘特征视频工具工作以将所述边缘梯度阈值设置在具有所述所选边缘的梯度分布极值作为一个限制值和对向限制值的最大范围内,其中所述对向限制值离所选边缘极值不比如下两个相邻极值的两个梯度分布相邻极值中的限制性梯度分布相邻极值离所选边缘极值远,所述两个相邻极值沿着跨所述关注区域的所述所选边缘的强度梯度分布与所选边缘极值邻接,并且具有与所述所选边缘极值相反的极性,以及
使所述边缘特征视频工具工作以自动确定与所确定的所述分布扫描方向和所述边缘梯度阈值相对应的所述梯度突起计数参数的步骤包括进行所述边缘特征视频工具的被配置成使得所述梯度突起计数参数满足以下条件的自动操作,要满足的该条件包括:
(a)至少针对沿着所确定的所述分布扫描方向在所述所选边缘之前出现的交点,利用沿着所述强度梯度分布的位于所述强度梯度分布和所确定的所述边缘梯度阈值之间的顺序交点处的限制值来限定梯度突起;
(b)允许一个梯度突起包括与沿着所述强度梯度分布的位于所述条件(a)所限定的所述限制值之间的多个边缘分别相对应的多个梯度极值;以及
(c)所述梯度突起计数参数表示所述所选边缘相对于所限定的梯度突起的位置。
2.根据权利要求1所述的方法,其中,所述边缘特征视频工具包括用于自动防止将所述边缘梯度阈值设置为包括梯度值0的梯度噪声带内的值的操作。
3.根据权利要求2所述的方法,其中,
在所述两个梯度分布相邻极值中的限制性梯度分布相邻极值落在所述梯度噪声带内的情况下,将所述最大范围的所述对向限制值限定为离所述所选边缘极值不比所述梯度噪声带的与所述所选边缘极值最近的限制值离所述所选边缘极值远。
4.根据权利要求1所述的方法,其中,
使所述边缘特征视频工具工作以将所述边缘梯度阈值设置在所述最大范围内的步骤包括:将所述边缘梯度阈值设置在所述最大范围中所包括的鲁棒极值余量内,其中所述鲁棒极值余量满足以下的限定条件,其中所述限定条件包括:
(a)利用作为梯度极值的排名列表中的顺序值的第一梯度极值和第二梯度极值来限制所述鲁棒极值余量,其中所述梯度极值与所述强度梯度分布中的包括在所述最大范围内、并且沿着所确定的所述分布扫描方向在所述所选边缘之前出现且包括所述所选边缘的梯度极值相对应;以及
(b)用于限制所述鲁棒极值余量的所述第一梯度极值和所述第二梯度极值是展现出以下其中之一的顺序值:(b1)所述排名列表中的顺序值之间的最大差;以及(b2)超过所述边缘特征视频工具中所限定的最小余量值的差。
5.根据权利要求4所述的方法,其中,所述两个梯度分布相邻极值中的限制性梯度分布相邻极值是与所述所选边缘的梯度分布极值最近的极值。
6.根据权利要求4所述的方法,其中,所述两个梯度分布相邻极值中的限制性梯度分布相邻极值是与沿着所确定的所述分布扫描方向在所述所选边缘之前出现的相邻极值相对应的极值。
7.根据权利要求4所述的方法,其中,所述方法还包括以下步骤:进行所述边缘特征视频工具的被配置为自动确定满足所述限定条件的鲁棒极值余量的操作。
8.根据权利要求7所述的方法,其中,用于限制所述鲁棒极值余量的所述第一梯度极值和所述第二梯度极值是展现出所述排名列表中的顺序值之间的最大差的顺序值。
9.根据权利要求7所述的方法,其中,所述方法还包括以下步骤:将自动确定的所述鲁棒极值余量以叠加在所显示的强度梯度分布上的方式显示在所述视频工具GUI中。
10.根据权利要求7所述的方法,其中,使所述边缘特征视频工具工作以将所述边缘梯度阈值设置在所述鲁棒极值余量内的步骤包括:将所述边缘梯度阈值自动设置在自动确定的所述鲁棒极值余量内。
11.根据权利要求7所述的方法,其中,
被配置为自动确定所述鲁棒极值余量的操作包括:确定满足以下条件的第一分布扫描方向的鲁棒极值余量和第二分布扫描方向的鲁棒极值余量,要满足的该条件包括:
(a)利用作为以下梯度极值的第一排名列表中的顺序值的第一梯度极值和第二梯度极值来限制所述第一分布扫描方向的鲁棒极值余量:与所述强度梯度分布中沿着所述第一分布扫描方向在所述所选边缘之前出现且包括所述所选边缘的、并且包括在第一最大范围内的梯度极值相对应的梯度极值,并且用于限制所述第一分布扫描方向的鲁棒极值余量的所述第一梯度极值和所述第二梯度极值是展示出所述第一排名列表中的顺序值之间的最大差的顺序值;以及
(b)利用作为以下梯度极值的第二排名列表中的顺序值的第一梯度极值和第二梯度极值来限制所述第二分布扫描方向的鲁棒极值余量:与所述强度梯度分布中沿着所述第二分布扫描方向在所述所选边缘之前出现且包括所述所选边缘的、并且包括在第二最大范围内的梯度极值相对应的梯度极值,并且用于限制所述第二分布扫描方向的鲁棒极值余量的所述第一梯度极值和所述第二梯度极值是展示出所述第二排名列表中的顺序值之间的最大差的顺序值;
使所述边缘特征视频工具工作以将所述边缘梯度阈值设置在所述鲁棒极值余量内的步骤包括:选择所述第一分布扫描方向的鲁棒极值余量和所述第二分布扫描方向的鲁棒极值余量的其中一个;以及将所述边缘梯度阈值设置在所选择的鲁棒极值余量内;以及
使所述边缘特征视频工具工作以确定所述分布扫描方向的步骤包括:在选择所述第一分布扫描方向的鲁棒极值余量的情况下,将所述分布扫描方向设置为所述第一分布扫描方向,并且在选择所述第二分布扫描方向的鲁棒极值余量的情况下,将所述分布扫描方向设置为所述第二分布扫描方向。
12.根据权利要求11所述的方法,其中,所述方法还包括以下步骤:将所述第一分布扫描方向的鲁棒极值余量和所述第二分布扫描方向的鲁棒极值余量以叠加在所显示的强度梯度分布上的方式显示在所述视频工具GUI中,其中,选择所述第一分布扫描方向的鲁棒极值余量和所述第二分布扫描方向的鲁棒极值余量的其中一个的步骤包括手动选择以下至少之一:(a)所显示的所述第一分布扫描方向的鲁棒极值余量和所述第二分布扫描方向的鲁棒极值余量其中之一;以及(b)与所显示的所述第一分布扫描方向的鲁棒极值余量和所述第二分布扫描方向的鲁棒极值余量相对应的所述第一分布扫描方向和所述第二分布扫描方向其中之一。
13.根据权利要求11所述的方法,其中,
选择所述第一分布扫描方向的鲁棒极值余量和所述第二分布扫描方向的鲁棒极值余量的其中一个的步骤包括自动选择所述第一分布扫描方向的鲁棒极值余量和所述第二分布扫描方向的鲁棒极值余量中较大的鲁棒极值余量;以及
将所述边缘梯度阈值设置在所选择的鲁棒极值余量内的步骤包括将所述边缘梯度阈值自动设置在自动选择的鲁棒极值余量内。
14.根据权利要求11所述的方法,其中,所述第一最大范围和所述第二最大范围满足以下条件其中之一:(a)所述第一最大范围和所述第二最大范围是相同的最大范围,并且该最大范围的对向限制值离所述所选边缘极值不比两个梯度分布相邻极值中与所述所选边缘的梯度分布极值最近的极值离所述所选边缘极值远;以及(b)基于沿着所述第一分布扫描方向在所述所选边缘之前出现的第一相邻极值的梯度值来确定所述第一最大范围,并且基于沿着所述第二分布扫描方向在所述所选边缘之前出现的第二相邻极值的梯度值来确定所述第二最大范围。
15.根据权利要求1所述的方法,其中,所述方法还包括以下步骤:将与所述边缘梯度阈值的当前值相对应的边缘梯度阈值指示符以叠加在所显示的强度梯度分布上的方式显示在所述视频工具GUI中。
16.根据权利要求15所述的方法,其中,
在所述视频工具GUI中能够手动调整所显示的所述边缘梯度阈值指示符;以及
使所述边缘特征视频工具工作以将所述边缘梯度阈值设置在所述最大范围内的步骤包括:手动调整所述边缘梯度阈值指示符。
17.根据权利要求1所述的方法,其中,使所述边缘特征视频工具工作以将所述边缘梯度阈值设置在所述最大范围内的步骤包括:将所述边缘梯度阈值自动设置在所述最大范围内。
18.根据权利要求1所述的方法,其中,根据操作的学习模式来进行所述方法,并且所述方法中所确定的参数保存在零件程序内以供将来用在相似工件上。
19.根据权利要求1所述的方法,其中,所述视频工具GUI包括检测鲁棒性指示符,所述检测鲁棒性指示符表示与如下操作相关联的风险程度:使用所述边缘特征视频工具基于所述边缘检测参数的当前集合来检测所选边缘特征,以及
所述方法还包括将所述检测鲁棒性指示符显示在所述视频工具GUI中。
20.根据权利要求19所述的方法,其中,所述方法还包括以下步骤:将与所述边缘梯度阈值的当前值相对应的边缘梯度阈值指示符以叠加在所显示的强度梯度分布上的方式显示在所述视频工具GUI中,其中所述检测鲁棒性指示符包括与所述边缘梯度阈值指示符相关联的颜色。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/872,041 | 2013-04-26 | ||
US13/872,041 US8917940B2 (en) | 2013-04-26 | 2013-04-26 | Edge measurement video tool with robust edge discrimination margin |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104121852A true CN104121852A (zh) | 2014-10-29 |
CN104121852B CN104121852B (zh) | 2018-07-24 |
Family
ID=51685246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410174629.8A Active CN104121852B (zh) | 2013-04-26 | 2014-04-28 | 利用鲁棒边缘判别余量的边缘测量视频工具 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8917940B2 (zh) |
JP (1) | JP6355411B2 (zh) |
CN (1) | CN104121852B (zh) |
DE (1) | DE102014207095A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108346138A (zh) * | 2017-12-04 | 2018-07-31 | 广东嘉铭智能科技有限公司 | 一种基于图像处理的表面缺陷检测方法及系统 |
CN114450722A (zh) * | 2020-04-17 | 2022-05-06 | 腾讯美国有限责任公司 | 边缘增强滤波 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9449248B1 (en) * | 2015-03-12 | 2016-09-20 | Adobe Systems Incorporated | Generation of salient contours using live video |
US10430664B2 (en) * | 2015-03-16 | 2019-10-01 | Rohan Sanil | System for automatically editing video |
US9602715B2 (en) | 2015-07-09 | 2017-03-21 | Mitutoyo Corporation | Adaptable operating frequency of a variable focal length lens in an adjustable magnification optical system |
JP6599697B2 (ja) * | 2015-08-31 | 2019-10-30 | 株式会社ミツトヨ | 画像測定装置及びその制御プログラム |
US9830694B2 (en) | 2015-08-31 | 2017-11-28 | Mitutoyo Corporation | Multi-level image focus using a tunable lens in a machine vision inspection system |
US9774765B2 (en) | 2015-09-15 | 2017-09-26 | Mitutoyo Corporation | Chromatic aberration correction in imaging system including variable focal length lens |
EP3835721A1 (en) * | 2019-12-13 | 2021-06-16 | Mitutoyo Corporation | A method for measuring a height map of a test surface |
US11308693B2 (en) * | 2020-06-26 | 2022-04-19 | Lucasfilm Entertainment Company Ltd. | Smart edge loop selection |
CN116758067B (zh) * | 2023-08-16 | 2023-12-01 | 梁山县成浩型钢有限公司 | 基于特征匹配的金属结构件检测方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6627863B2 (en) * | 2000-12-15 | 2003-09-30 | Mitutoyo Corporation | System and methods to determine the settings of multiple light sources in a vision system |
CN1921560A (zh) * | 2005-08-26 | 2007-02-28 | 电子科技大学 | 一种视频对象外边界提取方法 |
CN101286228A (zh) * | 2008-05-15 | 2008-10-15 | 浙江大学 | 一种基于特征的实时的视频和图像抽象化方法 |
CN101738728A (zh) * | 2008-11-04 | 2010-06-16 | 株式会社三丰 | 机器视觉检查系统的光学像差校正 |
CN102142148A (zh) * | 2011-04-02 | 2011-08-03 | 上海交通大学 | 视频空时特征提取方法 |
CN102200910A (zh) * | 2010-03-22 | 2011-09-28 | 株式会社三丰 | 机器视觉检查系统中编程分步重复操作的图形用户界面 |
JP2012103758A (ja) * | 2010-11-05 | 2012-05-31 | Denso It Laboratory Inc | 局所特徴量算出装置及び方法、並びに対応点探索装置及び方法 |
JP2012225913A (ja) * | 2011-04-14 | 2012-11-15 | Mitsutoyo Corp | マシンビジョンシステムにおける潜在的な干渉要素の検査 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0706155A4 (en) * | 1994-04-22 | 1997-06-11 | Sony Corp | METHODS AND APPARATUS FOR ENCODING / DECODING IMAGE SIGNALS |
JP3645643B2 (ja) * | 1996-03-25 | 2005-05-11 | 株式会社ミツトヨ | エッジ検出方式 |
JP3185916B2 (ja) * | 1996-05-27 | 2001-07-11 | 日産自動車株式会社 | 画像2値化方法および表面欠陥検査装置 |
JP3645656B2 (ja) * | 1996-06-03 | 2005-05-11 | 株式会社ミツトヨ | エッジ検出方式 |
US6542180B1 (en) | 2000-01-07 | 2003-04-01 | Mitutoyo Corporation | Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part |
JP4727874B2 (ja) * | 2001-09-28 | 2011-07-20 | 株式会社キーエンス | 画像処理装置および画像処理方法、画像処理プログラムならびにコンピュータで読み取り可能な記憶媒体 |
CN100536347C (zh) | 2002-04-26 | 2009-09-02 | 东芝松下显示技术有限公司 | 电流驱动型显示装置的驱动用半导体电路组及显示装置 |
US7324682B2 (en) | 2004-03-25 | 2008-01-29 | Mitutoyo Corporation | System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system |
US7454053B2 (en) * | 2004-10-29 | 2008-11-18 | Mitutoyo Corporation | System and method for automatically recovering video tools in a vision system |
US7627162B2 (en) * | 2005-01-31 | 2009-12-01 | Mitutoyo Corporation | Enhanced video metrology tool |
US7769222B2 (en) * | 2006-10-27 | 2010-08-03 | Mitutoyo Corporation | Arc tool user interface |
US8111938B2 (en) | 2008-12-23 | 2012-02-07 | Mitutoyo Corporation | System and method for fast approximate focus |
US8111905B2 (en) | 2009-10-29 | 2012-02-07 | Mitutoyo Corporation | Autofocus video tool and method for precise dimensional inspection |
-
2013
- 2013-04-26 US US13/872,041 patent/US8917940B2/en active Active
-
2014
- 2014-04-14 DE DE102014207095.3A patent/DE102014207095A1/de active Pending
- 2014-04-28 CN CN201410174629.8A patent/CN104121852B/zh active Active
- 2014-04-28 JP JP2014092644A patent/JP6355411B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6627863B2 (en) * | 2000-12-15 | 2003-09-30 | Mitutoyo Corporation | System and methods to determine the settings of multiple light sources in a vision system |
CN1921560A (zh) * | 2005-08-26 | 2007-02-28 | 电子科技大学 | 一种视频对象外边界提取方法 |
CN101286228A (zh) * | 2008-05-15 | 2008-10-15 | 浙江大学 | 一种基于特征的实时的视频和图像抽象化方法 |
CN101738728A (zh) * | 2008-11-04 | 2010-06-16 | 株式会社三丰 | 机器视觉检查系统的光学像差校正 |
CN102200910A (zh) * | 2010-03-22 | 2011-09-28 | 株式会社三丰 | 机器视觉检查系统中编程分步重复操作的图形用户界面 |
JP2012103758A (ja) * | 2010-11-05 | 2012-05-31 | Denso It Laboratory Inc | 局所特徴量算出装置及び方法、並びに対応点探索装置及び方法 |
CN102142148A (zh) * | 2011-04-02 | 2011-08-03 | 上海交通大学 | 视频空时特征提取方法 |
JP2012225913A (ja) * | 2011-04-14 | 2012-11-15 | Mitsutoyo Corp | マシンビジョンシステムにおける潜在的な干渉要素の検査 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108346138A (zh) * | 2017-12-04 | 2018-07-31 | 广东嘉铭智能科技有限公司 | 一种基于图像处理的表面缺陷检测方法及系统 |
CN108346138B (zh) * | 2017-12-04 | 2021-04-09 | 广东嘉铭智能科技有限公司 | 一种基于图像处理的表面缺陷检测方法及系统 |
CN114450722A (zh) * | 2020-04-17 | 2022-05-06 | 腾讯美国有限责任公司 | 边缘增强滤波 |
Also Published As
Publication number | Publication date |
---|---|
JP6355411B2 (ja) | 2018-07-11 |
US20140321731A1 (en) | 2014-10-30 |
DE102014207095A1 (de) | 2014-10-30 |
US8917940B2 (en) | 2014-12-23 |
JP2014215301A (ja) | 2014-11-17 |
CN104121852B (zh) | 2018-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104121852A (zh) | 利用鲁棒边缘判别余量的边缘测量视频工具 | |
US7394926B2 (en) | Magnified machine vision user interface | |
JP6001305B2 (ja) | マシンビジョンシステムにおける潜在的な干渉要素の検査 | |
US7522763B2 (en) | Method of measuring occluded features for high precision machine vision metrology | |
JP6470506B2 (ja) | 検査装置 | |
JP4641441B2 (ja) | 画像検査方法および画像検査システム | |
JP5972563B2 (ja) | 構造化照明を用いるエッジ検出 | |
US9177222B2 (en) | Edge measurement video tool and interface including automatic parameter set alternatives | |
US9866747B2 (en) | Optical displacement measurement system, imaging condition optimization method, and imaging condition optimization program | |
JP5655134B2 (ja) | 3次元シーンにおけるテクスチャを生成する方法及び装置 | |
KR101117472B1 (ko) | 육안 검사장치와 육안 검사방법 | |
CN104075666A (zh) | 用于不规则表面边缘的增强型边缘检测工具 | |
CN104236463A (zh) | 机器视觉检查系统和进行高速对焦高度测量操作的方法 | |
CN104137147A (zh) | 机器视觉系统中的使用多个光设置的对焦点操作 | |
CN103106076A (zh) | 机器视觉检查系统和在该系统上编辑部件程序的方法 | |
US20140185910A1 (en) | Method for improving repeatability in edge location results of a machine vision inspection system | |
CN106415198B (zh) | 图像记录方法和执行该方法的坐标测量机 | |
JP2010133744A (ja) | 欠陥検出方法およびその方法を用いた視覚検査装置 | |
CN105277122B (zh) | 图像测量设备及显示测量结果的方法 | |
CN103808259B (zh) | 边缘测量视频工具参数设置用户界面 | |
KR102000938B1 (ko) | 영역 지정에 따른 지능형 판정 기준의 자동 설정 방법 및 그에 의한 스마트 학습 방식의 엑스레이 검사 방법 | |
JP6825067B2 (ja) | 検査装置およびその制御方法 | |
KR20150093959A (ko) | 영역 지정에 따른 지능형 판정 기준의 자동 설정 방법 및 그에 의한 스마트 학습 방식의 엑스레이 검사 방법 | |
EP3087345A1 (en) | Method of establishing multi-sensor measuring machine routines | |
KR20220062568A (ko) | 결함 분류 장치, 결함 분류 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |