CN113870172A - 指示用于训练的缺陷图像的数目的工件检查和缺陷检测系统 - Google Patents

指示用于训练的缺陷图像的数目的工件检查和缺陷检测系统 Download PDF

Info

Publication number
CN113870172A
CN113870172A CN202110640878.1A CN202110640878A CN113870172A CN 113870172 A CN113870172 A CN 113870172A CN 202110640878 A CN202110640878 A CN 202110640878A CN 113870172 A CN113870172 A CN 113870172A
Authority
CN
China
Prior art keywords
defect
images
training
image
defect detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110640878.1A
Other languages
English (en)
Inventor
W.T.沃森
S.R.坎贝尔
R.K.布瑞尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Publication of CN113870172A publication Critical patent/CN113870172A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

一种工件检查和缺陷检测系统包括：光源；透镜，所述透镜输入由工件的表面引起的图像光；以及相机，所述相机接收沿着成像光路透射的成像光。所述系统利用用所述相机获取的工件的图像作为训练图像来训练缺陷检测部分以检测包括具有缺陷的工件的缺陷图像，并且确定如用所述训练图像所训练的所述缺陷检测部分的性能。基于所述缺陷检测部分的性能，提供关于是否应该提供附加缺陷图像以用于训练的指示。在训练完成之后，利用所述相机来获取工件的新图像，所述新图像被分析以确定包括具有缺陷的工件的缺陷图像，并且对于所述新图像可执行附加操作(例如，用于测量所述缺陷的尺寸的量测操作等)。

Description

指示用于训练的缺陷图像的数目的工件检查和缺陷检测系统
技术领域
本公开涉及工件检查系统，并且更具体地涉及用于检查工件并且检测缺 陷的精密机器视觉系统。
背景技术
可利用诸如机器视觉检查系统(或简称“视觉系统”)的精密非接触式工 件检查系统来获得工件的图像以进行检查。此类系统可用于各种类型的应用 (例如，一般工件检查、用于确定工件的精确尺寸测量结果的量测应用等)。 此类系统通常包括计算机、相机和光学系统。在某些配置中，可包括移动机 构(例如，精密工作台、输送机等)，其移动以允许工件横动和检查。一个 示例性现有技术的机器视觉检查系统是可从位于伊利诺伊州奥罗拉的 Mitutoyo America Corporation(MAC)购得的QUICK
Figure BDA0003107631060000011
系列基于PC 的视觉系统和
Figure BDA0003107631060000012
软件。例如，在2003年1月发布的《QVPAK 3D CNC 视觉测量机器用户指南》中一般地描述了QUICK
Figure BDA0003107631060000013
系列视觉系统和
Figure BDA0003107631060000014
软件的特征和操作，该指南特此通过引用整体地并入本文。这种类 型的系统使用显微镜型光学系统并且移动工作台以提供工件的检查图像。
此类机器视觉检查系统通常面对用于检查工件的各种类型的挑战(例 如，由于正被检查的工件的类型或表面的变化、变化的检查条件等而导致)。 能够对于某些类型的检查操作(例如，用于工件缺陷检测和/或改进缺陷检测 的准确度)提供针对此类问题的改进的系统将是所希望的。
发明内容
本发明内容的提供是为了以简化形式引入下文在具体实施方式中进一 步描述的概念的选择。本发明内容并非旨在标识要求保护的主题的关键特 征，也并非旨在用于辅助确定所要求保护的主题的范围。
提供了一种工件检查和缺陷检测系统，该系统包括光源、透镜、相机、 一个或多个处理器和存储器。透镜输入由被光源照射的工件的表面引起的图 像光，并且沿着成像光路透射该图像光。相机接收沿着成像光路透射的成像 光并且提供工件的图像。
存储器耦合到一个或多个处理器并且存储程序指令，这些程序指令当由 一个或多个处理器执行时使该一个或多个处理器至少：利用用相机获取的工 件的图像作为训练图像来训练缺陷检测部分以检测包括具有缺陷的工件的 缺陷图像，其中训练图像包括缺陷图像和无缺陷图像二者；确定如用训练图 像所训练的缺陷检测部分的准确度性能；至少部分地基于如用训练图像所训 练的缺陷检测部分的准确度性能，提供关于是否应该提供附加缺陷图像以用 作用于训练缺陷检测部分的训练图像的指示；以及在没有附加图像要用作训 练图像来训练缺陷检测部分之后，利用相机来在运行模式期间获取工件的多 个新图像并且利用缺陷检测部分来分析新图像以确定包括具有缺陷的工件 的缺陷图像。
在各种实施方案中，被提供的指示包括指示应该提供附加缺陷图像并且 用被相应地提供的附加缺陷图像来训练缺陷检测部分的消息。如用附加缺陷 图像所训练的缺陷检测部分的准确度性能被确定，并且至少部分地基于如用 附加缺陷图像所训练的缺陷检测部分的准确度性能，提供关于是否应该提供 附加缺陷图像以用作用于训练缺陷检测部分的训练图像的指示。在各种实施 方案中，如用附加缺陷图像所训练的缺陷检测部分的性能可对应于准确度性 能曲线的一部分，所述部分与性能曲线的对应于缺陷检测部分的在使用附加 缺陷图像来训练缺陷检测部分之前的性能的一部分比具有较低的斜率。另 外，当没有附加图像要用于训练缺陷检测部分时，准确度性能曲线的对应于 如通过当前数目的缺陷图像所训练的缺陷检测部分的性能的部分的斜率相 对于性能曲线的早期部分可以是近似平坦的。
在各种实施方案中，对缺陷检测部分的准确度性能的确定可至少部分地 基于对由缺陷检测部分准确地分类为缺陷像素或缺陷图像的缺陷像素或缺 陷图像的数目的确定。在各种实施方案中，对缺陷检测部分的准确度性能的 确定可同样或替代地至少部分地基于对由缺陷检测部分准确地分类为无缺 陷像素或无缺陷图像的无缺陷像素或无缺陷图像的数目的确定。
在各种实施方案中，可执行使用在运行模式期间获取的工件的新图像中 的一个或多个的一个或多个量测操作(例如，用于测量工件上的缺陷的尺寸 等)。
在各种实施方案中，训练图像可包括第一多个训练图像和第二多个训练 图像，并且确定缺陷检测部分的准确度性能可包括：利用用相机获取的并且 未被包括在第一多个训练图像中的工件的第一多个测试或验证图像，以测试 如使用第一多个训练图像来训练的缺陷检测部分，其中第一准确度性能度量 从测试中确定；利用用相机获取的并且未被包括在第一多个训练图像或第二 多个训练图像中的第二多个测试或验证图像，以测试如使用第一多个训练图 像和第二多个训练图像来训练的缺陷检测部分，其中第二准确度性能度量从 测试中确定；以及至少部分地基于第一性能度量和第二性能度量，确定用于 训练缺陷检测部分的缺陷图像的推荐数目。在各种实施方案中，提供指示可 包括生成消息，该消息包括用于训练的缺陷图像的推荐数目，并且对该消息 来说，缺陷图像的推荐数目相对于已被用于训练的缺陷图像的当前数目相应 地指示是否应该提供附加缺陷图像。
在各种实施方案中，可利用扩增数据来训练缺陷检测部分(例如，除了 其他训练图像之外)。至少部分地基于如在有和没有扩增数据的情况下训练 的缺陷检测部分的准确度性能，可做出以下项中的一个或多个的确定：是否 应该提供附加缺陷图像以用作用于训练缺陷检测部分的训练图像；或用于训 练缺陷检测部分的缺陷图像的推荐数目(例如，对此缺陷图像的推荐数目可 相对于已被用于训练的缺陷图像的当前数目相应地指示是否应该提供附加 缺陷图像)。
在各种实施方案中，可提供一种如由包括至少光源、透镜、相机和缺陷 检测部分的工件检查和缺陷检测系统所执行的方法(例如，一种在配置有可 执行指令的一个或多个计算系统的控制下操作的计算机实现的方法)，该方 法包括：利用用相机获取的工件的图像作为训练图像来训练缺陷检测部分以 检测包括具有缺陷的工件的缺陷图像，其中训练图像包括缺陷图像和无缺陷 图像二者；确定如用训练图像所训练的缺陷检测部分的准确度性能；至少部 分地基于如用训练图像所训练的缺陷检测部分的准确度性能，提供关于是否 应该提供附加缺陷图像以用作用于训练缺陷检测部分的训练图像的指示；以 及在没有附加图像要用作训练图像来训练缺陷检测部分之后，利用相机来在 运行模式期间获取工件的多个新图像并且利用缺陷检测部分来分析新图像 以确定包括具有缺陷的工件的缺陷图像。
在各种实施方案中，可提供一种非暂时性计算机可读介质，该非暂时性 计算机可读介质存储程序指令，这些程序指令当由一个或多个处理器执行时 使该一个或多个处理器至少：利用用工件检查和缺陷检测系统的相机获取的 工件的图像作为训练图像来训练缺陷检测部分以检测包括具有缺陷的工件 的缺陷图像，其中训练图像包括缺陷图像和无缺陷图像二者；确定如用训练 图像所训练的缺陷检测部分的准确度性能；至少部分地基于如用训练图像所 训练的缺陷检测部分的准确度性能，提供关于是否应该提供附加缺陷图像以 用作用于训练缺陷检测部分的训练图像的指示；以及在没有附加图像要用作 训练图像来训练缺陷检测部分之后，利用相机来在运行模式期间获取工件的 多个新图像并且利用缺陷检测部分来分析新图像以确定包括具有缺陷的工 件的缺陷图像。
附图说明
当结合附图参考以下详细描述时，本发明的前述方面和许多伴随的优点 将变得更容易理解，同时变得更好理解，其中：
图1是示出了通用精密机器视觉检查系统的各种典型的部件的图；
图2是与图1的机器视觉检查系统类似并且包括本文公开的某些特征的 机器视觉检查系统的控制系统部分和视觉部件部分的框图；
图3A-3F是如可使用与图1的机器视觉检查系统类似的机器视觉检查系 统来获取的不包括缺陷的工件的各部分的图像的实施例。
图4A-4E是如可使用与图1的机器视觉检查系统类似的机器视觉检查系 统来获取的包括缺陷的工件的各部分的图像的实施例。
图5A-5D是如可使用与图1的机器视觉检查系统类似的机器视觉检查系 统来获取的具有和没有缺陷的工件的类似部分的图像的实施例。
图6是图示了利用一个或多个视频工具来对包括缺陷的工件的图像执行 量测操作的图。
图7是图示了缺陷检测部分的性能曲线的实施例的曲线图。
图8A和图8B示出了可由与图1的机器视觉检查系统类似的机器视觉 检查系统生成的消息的实施例。
图9示出了用于操作与图1的机器视觉检查系统类似的机器视觉检查系 统的方法的流程图。
图10示出了用于操作与图1的机器视觉检查系统类似的机器视觉检查 系统的方法的流程图。
图11示出了用于操作与图1的机器视觉检查系统类似的机器视觉检查 系统的方法的流程图。
图12示出了用于操作与图1的机器视觉检查系统类似的机器视觉检查 系统的方法的流程图。
图13是图示了缺陷检测部分的性能曲线的实施例的曲线图。
图14示出了用于操作与图1的机器视觉检查系统类似的机器视觉检查 系统的方法的流程图。
图15示出了用于操作与图1的机器视觉检查系统类似的机器视觉检查 系统的方法的流程图。
具体实施方式
图1是依照本文描述的方法可用作成像系统的一个示例性机器视觉检查 系统10的框图。机器视觉检查系统10包括可操作地连接以与控制计算机系 统14交换数据和控制信号的视觉检查机器12。控制计算机系统14进一步可 操作地连接以与监视器或显示器16、打印机18、操纵杆22、键盘24和鼠标 26交换数据和控制信号。监视器或显示器16可显示适合于对机器视觉检查 系统10的操作进行控制和/或编程的用户界面。应领会，在各种示例性实施 方案中，触摸屏平板和/或类似的装置等可取代和/或冗余地提供元件14、16、 22、24和26中的任一个或全部的功能。
本领域的技术人员应领会，通常可使用包括分布式或联网计算环境等的 任何合适的计算系统或装置来实现本文描述的控制计算机系统14和/或其他 控制系统。此类计算系统或装置可包括执行软件以执行本文描述的功能的一 个或多个通用或专用处理器(例如，非定制或定制装置)。可将软件存储在 诸如以下项的存储器中：随机存取存储器(RAM)、只读存储器(ROM)、 闪速存储器等，或此类部件的组合。还可将软件存储在诸如以下项的一个或 多个存储装置中：基于光学的盘、闪速存储器装置、或用于存储数据的任何 其他类型的非易失性存储介质。软件可包括一个或多个程序模块，这些模块 包括执行特定任务或者实现特定抽象数据类型的例程、程序、对象、部件、 数据结构等。在分布式计算环境中，可跨多个计算系统或装置组合或分发程 序模块的功能性，并且以有线或无线配置经由服务调用访问程序模块的功能 性。
视觉检查机器12包括可移动工件工作台32和光学成像系统34，该光学 成像系统可包括变焦透镜或可互换物镜。变焦透镜或可互换物镜通常为由光 学成像系统34提供的图像提供各种放大倍率。也在共同转让的美国专利号 7,454,053、7,324,682、8,111,905和8,111,938中描述了机器视觉检查系统10 的各种示例性实施方案，这些专利中的每一个均特此通过引用整体地并入本 文。
图2是包括本文公开的某些特征的与图1的机器视觉检查系统类似的机 器视觉检查系统100的控制系统部分120和视觉部件部分200的框图。如将 在下面更详细地描述的，控制系统部分120用于控制视觉部件部分200。控 制系统部分120可被布置为与视觉部件部分200交换数据和控制信号。视觉 部件部分200包括光学组件部分205、光源220、230、240、300和具有中央 透明部分212的工件工作台210。工件工作台210可沿着x轴和y轴可控制 地移动，该x轴和y轴位于通常与可定位工件20的工作台的表面平行的平 面中。
光学组件部分205包括相机系统260和可互换物镜250。在一些实施方 案中，光学组件部分205可任选地包括可变焦距(VFL)透镜，例如，诸如 美国专利号9,143,674中所公开的可调声梯度(TAG)，该专利特此通过引用 整体地并入本文。
在各种示例性实施方案中，光学组件部分205还可包括具有透镜226和 228的转台透镜组件223。作为转台透镜组件的替代方案，在各种示例性实 施方案中，可包括固定或手动可互换的放大倍率更改透镜或变焦透镜配置 等。在各种示例性实施方案中，可互换物镜250可选自作为可变放大倍率透 镜部分的一部分被包括的固定放大倍率物镜的集合(例如，与诸如0.5倍、1 倍、2倍或2.5倍、5倍、10倍、20倍或25倍、50倍、100倍等的放大倍率 相对应的物镜的集合)。
光学组件部分205可通过使用可控电机294来沿着通常与x轴和y轴正 交的z轴可控制地移动，所述可控电机驱动致动器以使光学组件部分205沿 着z轴移动以改变工件20的图像的焦点。可控电机294经由信号线296连 接到输入/输出接口130，以在一定范围上改变图像的焦点。可将工件20放 置在工件工作台210上。可控制工件工作台210相对于光学组件部分205移 动，使得可互换物镜250的视场在工件20上的各位置之间和/或在多个工件20当中移动。
工作台光源220、同轴光源230和面光源240(例如，环形灯)中的一 个或多个可分别发出源光222、232和/或242，以照射一个或多个工件20。 例如，在图像曝光期间，同轴光源230可沿着包括分束器290(例如，部分 反射镜)的路径发出源光232。源光232被反射或透射为工件光255，并且 用于成像的工件光穿过可互换物镜250和转台透镜组件223并且由相机系统 260收集。包括工件20的图像的工件图像曝光由相机系统260捕获，并且在 信号线262上被输出到控制系统部分120。
各种光源(例如，光源220、230、240、300)可通过相关信号线(例如， 分别为总线221、231、241、331)连接到控制系统部分120的照明控制接口 133。控制系统部分120可通过信号线或总线223′来控制转台透镜组件223 沿着轴224旋转以选择转台透镜来更改图像放大倍率。
如图2所示，在各种示例性实施方案中，控制系统部分120包括控制器 125、输入/输出接口130、存储器140、工件程序生成器和执行器170及电源 部分190。这些部件中的每一个以及下述附加部件可通过一个或多个数据/ 控制总线和/或应用程序编程接口或者通过各种元件之间的直接连接来互连。 输入/输出接口130包括成像控制接口131、运动控制接口132、照明控制接 口133和透镜控制接口134。
照明控制接口133可包括照明控制元件133a-133n，它们控制例如用于 机器视觉检查系统100的各种对应光源的选择、电源和开/关开关。照明控制 接口133还包括照明控制元件133sip，其在所图示的实施方式中，可与结构 化照射图案(SIP)生成部分300结合地工作以在图像获取期间提供结构化 照射。在各种实施方案中，投影图案可被从SIP生成部分300输出以被输入 到分束器290，其中投影图案作为同轴光被引导通过物镜250以提供SIP结 构化光232′来照射视场。
存储器140可包括图像文件存储器部分141、缺陷检测部分140dp、可 包括一个或多个零件程序等的工件程序存储器部分142以及视频工具部分 143。视频工具部分143包括视频工具部分143a和对于所对应的视频工具中 的每一个确定GUI、图像处理操作等的其他视频工具部分(例如，143n)以 及感兴趣区域(ROI)生成器143roi，该ROI生成器支持自动操作、半自动 操作和/或手动操作，这些操作定义可在视频工具部分143中包括的各种视频工具中操作的各种ROI。在某些先前并入的参考文献中以及在美国专利号 7,627,162中更详细地描述了用于定位边缘特征并且执行其他工件特征检查 操作的此类视频工具的操作的实施例，该专利特此通过引用整体地并入本 文。
视频工具部分143还包括确定用于聚焦高度测量操作的GUI、图像处理 操作等的自动聚焦视频工具143af。在各种示例性实施方案中，自动聚焦视 频工具143af可附加地包括高速聚焦高度工具，该高速聚焦高度工具可用于 使用硬件来高速地测量聚焦高度，如在美国专利号9,143,674中更详细地描 述的，该专利特此通过引用整体地并入本文。在各种示例性实施方案中，高 速聚焦高度工具可以是可根据用于自动聚焦视频工具的常规方法以其他方 式操作的自动聚焦视频工具143af的特殊模式，或者自动聚焦视频工具143af 的操作可仅包括高速聚焦高度工具的那些操作。针对一个或多个图像感兴趣 区域的高速自动聚焦和/或聚焦方位确定可基于根据已知方法来分析图像以 对于各个区域确定对应的定量对比度度量。例如，在美国专利号8,111,905、 7,570,795和7,030,351中公开了此类方法，这些专利特此通过引用整体地并 入本文。
在本公开的上下文中，并且如由本领域的普通技术人员已知的，术语“视 频工具”通常是指机器视觉用户能够通过相对简单的用户界面来实现的一组 相对复杂的自动或编程操作。例如，视频工具可包括一组复杂预编程的图像 处理操作和计算，这些操作和计算通过调整控治操作和计算的几个变量或参 数来应用并且在特定实例中定制。除了底层操作和计算之外，视频工具还包 括允许用户针对视频工具的特定实例调整那些参数的用户界面。应该注意， 有时将可见用户界面特征称为视频工具，同时隐式地包括底层操作。
可将一个或多个显示装置136(例如，图1的显示器16)和一个或多个 输入装置138(例如，图1的操纵杆22、键盘24和鼠标26)连接到输入/ 输出接口130。显示装置136和输入装置138可用于显示用户界面，该用户 界面可包括各种图形用户界面(GUI)特征，这些GUI特征可用于执行检查 操作，和/或创建和/或修改零件程序，查看由相机系统260捕获的图像，和/ 或直接地控制视觉部件部分200。
在各种示例性实施方案中，当用户利用机器视觉检查系统100来为工件20创建零件程序时，用户通过在学习模式下操作机器视觉检查系统100以提 供所需图像获取训练序列来生成零件程序指令。例如，训练序列可包括在视 场(FOV)中定位代表性工件的特定工件特征，设置光水平、聚焦或自动聚 焦，获取图像，以及提供应用于图像的检查训练序列(例如，对该工件特征 使用视频工具中的一个的实例)。学习模式操作，使得序列被捕获或记录并 且转换为对应的零件程序指令。当零件程序被执行时，这些指令将使机器视 觉检查系统再现经训练后的图像获取并且使检查操作自动地检查特定工件 特征(即对应位置中的对应特征)位于与在创建零件程序时使用的代表性工 件匹配的一个或多个运行模式工件上。在各种示例性实施方案中，可同样或 替代地利用某些类型的训练模式(例如，用于训练缺陷检测部分以便检测缺 陷的训练模式、用于训练异常检测器部分以检测对缺陷检测过程来说不可接 受的异常图像的训练模式等)。
视频工具部分143还包括Z高度测量工具部分143z，其提供与Z高度 测量操作有关的各种操作和特征。在一个实施方案中，Z高度测量工具部分 143z可包括Z高度工具143zt。例如，Z高度工具143zt可包括自动聚焦工 具143af和多点自动聚焦工具143maf。Z高度工具143zt可与被配置在确定 最佳聚焦高度和/或Z高度测量结果的模式下的Z高度工具结合地控治图像 栈获取和相关结构化光图案生成操作的某些方面。通常，Z高度测量工具部 分143z可类似于已知的Z高度测量工具执行至少一些操作，例如，在学习 模式和/或运行模式或其他模式下执行操作，以便生成聚焦曲线的全部或部 分，并且找到其峰值作为最佳聚焦方位。例如，在美国专利号10,520,301中 描述了用于Z高度测量工具的某些已知操作，该专利特此通过引用整体地并 入本文。
缺陷检测部分140dp执行各种缺陷检测操作，如将在下面更详细地描述 的。在各种实施方案中，缺陷检测部分140dp利用需要训练数据的模型。在 各种示例性实施方案中，模式可以是监督(例如，人工智能(AI)等)模型。 缺陷检测部分140dp处理与用户标记的缺陷图像相对应的图像数据以训练分 类模型，该分类模型在各种实施方案中可以是AI分类模型。取决于诸如缺 陷及背景复杂性、变化和视觉区别的因素，在测试图像上实现精确模型预测 所需要的图像的数目可能大大地变化(例如，从约25到300)。缺陷检测部 分140dp分析由用户提供和标记的缺陷图像集，并且给用户提供关于是否应 该提供附加缺陷图像以用于训练的指示。作为一个实施例，在各种实施方案 中，可给用户提供关于更多的图像是否将改进性能的推荐(例如，是或否推 荐)。作为另一实施例，可提供为了训练分类模型使得它能够执行高准确度 分类需要多少个缺陷图像的估计。如本文所公开的，此类确定和推荐对由用 户提供的图像、缺陷的特性和正在使用的特定模型而言是唯一的，而不是预定数目的图像(例如，100个图像)的通用推荐。这种指南使得用户能够提 供足够数量的缺陷图像以实现具有极好的准确度分类能力的模型，而不加重 用户在从此类附加图像中期望很少的模型准确度改进时提供此类附加图像 的负担。
在各种示例性实施方案中，缺陷检测部分140dp可实现连同量测过程一 起执行的缺陷检测过程。在各种实施方案中，可能期望将缺陷检测部分140dp 包括在与图1的机器视觉检查系统100类似的机器视觉检查系统中，该系统 被配置为执行量测过程，因为该系统能够生成被输入到由缺陷检测部分 140dp实现的缺陷检测过程的图像数据。因此，单个机器被配置为执行量测 过程和缺陷检测过程二者，这能够提供优于常规量测系统的优点。例如，如 果在执行缺陷检测过程的同时在工件中检测到缺陷，则可能没有要对工件执 行量测过程的理由，这能够节约时间。更具体地，如果在执行缺陷检测过程 的同时在工件中检测到缺陷，则可能不必要测量无疑有缺陷的零件。因此， 在开始量测过程之前执行缺陷检测过程可以是有利的。
另外，一些缺陷可能需要进一步量测或检查以确定附加缺陷参数。例如， 2D图像可能使得能够快速地识别很可能的缺陷并且使得能够快速地探知缺 陷的XY方位和缺陷的近似XY面积。如果潜在缺陷的3D性质是重要的， 则缺陷检测部分140dp可使附加处理(例如，量测操作)被执行以确定潜在 缺陷是否为实际缺陷。例如，如果工件的表面中的划痕必须比特定阈值深以 被认为是缺陷，则缺陷检测部分140dp可能使受影响区域的更耗时的3D点 云被获取(例如，利用z高度测量工具部分143z)，以了解划痕的深度是否 足以使零件被剔除。在各种实施方案中，作为初始缺陷分类的结果可执行不 同的动作(例如，如可被编程为自动地发生)，诸如(1)继续标准量测过程， (2)停止或暂停缺陷检测过程并且执行包括潜在缺陷的更多信息量度(例 如，3D、不同的照明、诸如表面粗糙度的触摸探头测量结果等)的量测过程， (3)将工件发送到回炉料(例如，丢弃或回收工件)，(4)将工件送去进行附加人工检查，(5)向生产线提供指示机械或过程可能出错的反馈等。
在各种示例性实施方案中，存储器140的缺陷检测部分140dp存储用于 缺陷检测系统的各种工具和算法的模型数据和程序指令，这些能够用于推理 在工件的图像中是否存在各种类型的缺陷(例如，如在被包括在图像中的工 件的表面中指示缺陷那样)。虽然在训练或学习模式下操作机器视觉检查系 统，但是缺陷检测系统使用包括缺陷图像和无缺陷图像的训练图像集来训练 缺陷检测部分140dp。训练图像集是使用特定(例如，当前)成像、照明和 工件条件来捕获的。在最初训练了缺陷检测部分140dp之后，在运行模式下 操作缺陷检测部分140dp以推理在新的先前未看见的工件图像中是否包括缺 陷，并且相应地将每个工件图像分类为缺陷或无缺陷。
更特别地，在各种实施方案中，缺陷检测部分140dp可利用被训练以识 别图像中的缺陷的模型(例如，机器学习模型、人工智能(AI)模型等)， 这常常需要许多实施例缺陷图像。获得极好的结果所需要的缺陷训练图像的 数目将取决于正被检查的特定工件和工件中的缺陷的类型(例如，以可能难 以向用户描述的方式)变化。因为良好结果所需的训练图像的数目是未知的， 所以某个缺陷检测软件可能推荐提供预定数目的缺陷图像(例如，100个)， 其中可提供附加缺陷图像，若可用的话。对于一些缺陷和工件背景，为了获 得极好的结果可能仅需要数目比预定数目的缺陷图像(例如，100个)少的 缺陷图像(例如，50个)，并且为此用户可通过提供并且标记比所需更多的 缺陷图像而浪费宝贵的时间。对于其他在视觉上更困难的缺陷和工件背景， 可能需要数目比预定数目的缺陷图像(例如，100个)大的缺陷图像(例如， 200个)来产生最佳模型性能(例如，具有很少的假阴性检测和很少的假阳 性检测)。在这种情况下，如果用户已提供了通常推荐的默认数目的缺陷图 像(例如，100个缺陷图像)，则用户将不知道提供附加缺陷图像是否很可能 在不用花时间来收集和标记这些图像并且进一步训练模型以评估性能的情 况下改进性能。这可能浪费时间和努力，有时对模型性能具有很少或没有潜 在好处。虽然提供更多的缺陷训练图像可在一些情况下产生更好的模型性 能，但是针对对每个图像缺陷/背景数据集而言唯一的一定数目的图像，能够 预期的性能改进可以是在名义上可忽略不计的。因此，可能期望提供关于更 多的图像何时将不再显著地改进性能的数据集特定的指导。因此，缺陷检测 部分140dp被配置为自动地评估模型的性能并且提供是否应该提供附加缺陷 图像以用于训练的指示(例如，与用附加缺陷图像进行训练是否很可能显著 地改进性能或者替代地任何此类改进是否很可能是在名义上可忽略不计的 有关)。
如将在下面更详细地描述的，图3A-3F、图4A-4E和图5A-5D示出了 一些工件图像的实施例，这些工件图像可由机器视觉检查系统100获取并且 可在一些实施方案中用于在训练模式期间训练缺陷检测部分140dp(例如， 作为训练图像和/或测试图像)(和/或一些图像可以是由机器视觉检查系统 100在运行模式期间稍后获取的工件图像的实施例并且可由经训练后的缺陷 检测部分140dp分析)。特别地，图3A-3F和图4A-4E的实施例工件图像在 加工铝板上具有不同的截面(即，在不同的XY位置处)，并且为此图3A-3F 示出了无缺陷图像的实施例，而图4A-4E示出了缺陷图像的实施例(例如， 对此来说训练图像集将通常包括许多缺陷工件图像和无缺陷工件图像二 者)，如将在下面更详细地描述的。图像之间的差异帮助部分地说明为什么 可能期望利用许多训练图像来训练缺陷检测部分140dp。更具体地，部分地 由于可被获取以用于检查工件的类型(例如，如由用于检查加工铝板的类型的工件图像图3A-3F和图4A-4E之间的差异所图示的)的不同的工件图像的 不同可能的特性，可通过利用用于训练的各种工件图像来改进用于检测缺陷 的缺陷检测部分140dp的准确度，这些用于训练的工件图像可与可稍后在运 行模式期间获取和/或可以其他方式更好地使得能够检测此类图像中的缺陷 的各种图像类似。例如，具体地关于图3A-3F、图4A-4E和图5A-5D的实 施例，这种训练可帮助缺陷检测部分140dp区分缺陷(例如，其在所图示的实施例中可包括各种不同的类型的划痕缺陷等)和正常工件表面的特征(例 如，其在所图示的实施例中可包括在作为通常跨表面变化的散列纹理出现的 板表面上形成的各种不同类型的加工标记等)。
如以上所指出的，图3A-3F和图4A-4E是相对“平坦的”加工铝板的工件 的截面的工件图像的实施例。每个图像是从同一角度视点(例如，在与板成 90度角度正上方)拍摄的，但各个是在板上的不同XY位置处拍摄的。每个 图像示出了为板的表面的约2.5毫米乘1.9毫米(XY)的视图。因此，每个 图像示出了板的表面的一部分的放大视图。在板表面上形成的加工标记创建 通常跨表面变化的散列纹理。在图像中，在这样的放大比例下，相对较平坦 的板可能看起来不平坦。在当前示例中，散列加工标记脊中的一些的高度可 以为大约5微米或更小。
图3A-3F所示的加工铝板的截面不包括缺陷。换句话说，图3A-3F示出 了“无缺陷”的加工铝板的截面的图像的实施例。相比之下，图4A-4E示出了 包括缺陷的工件的截面的图像的实施例。图4A-4E所示的图像与图3A-3F 所示的图像类似，不同之处是图4A-4E的图像包括在加工铝板的表面上形成 的缺陷402。这些示例中的缺陷402是在加工铝板的表面中形成的划痕。更 具体地，图4A图示了划痕缺陷402A1和402A2，图4B图示了划痕缺陷402B1和402B2，图4C图示了划痕缺陷402C1和402C2，图4D图示了划痕缺陷 402D，并且图4E图示了划痕缺陷402E1和402E2。如以上所指出的，图3A-3F 和图4A-4E所图示的缺陷和工件表面的各种特性帮助部分地说明为什么可 能期望利用许多训练图像来训练缺陷检测部分140dp(例如，为此训练图像 集将通常包括许多缺陷工件图像和无缺陷工件图像)。
图5A-5D是如可使用与图1的机器视觉检查系统类似的机器视觉检查系 统来获取的具有和没有缺陷的工件的类似部分的图像的实施例。图5A示出 了可被分类为“无缺陷”的板的实施例截面。图5B-5D示出了可被分类为“缺 陷”的板的截面的图像的实施例，其中每个图像包括划痕缺陷502(例如，包 括相应的划痕缺陷502B、502C和502D)。在图5A-5D的实施例中，图像是 工件的类似部分的(例如，为此在各部分的表面上形成的加工标记的类型在 每个图像中类似或在名义上相同，并且图像之间的主要差异是相应的划痕缺 陷502B、502C和502D的特性)。在一个实施例实施方案中，图5A-5C的图 像可作为用于训练缺陷检测部分140dp的训练图像集的一部分被包括。
在一个实施例实施方案中，图5D的图像可以是运行模式图像的实施例， 该运行模式图像可由缺陷检测部分140dp分析以确定它应该被分类为缺陷图 像还是无缺陷图像。在各种实施方案中，缺陷检测部分140dp可能已被很好 地训练以便能够将图5D的图像适当地分类为缺陷图像(例如，如已通过图 5A-5C的包括工件的类似部分以及与划痕缺陷502D具有某些类似特性的划 痕缺陷502B和502C的训练图像所训练的那样)。在各种实施方案中，可对 于实施例划痕缺陷502D执行某些附加过程。例如，可与缺陷检测过程结合 地执行一个或多个量测过程，为此可确定实施例划痕缺陷502D的各种尺寸 或其他特性，如将在下面关于图6更详细地描述的。
图6是图示了利用一个或多个视频工具来对包括缺陷的工件的图像执行 量测操作(例如，以便确定缺陷的尺寸等)的图。如图所示，对于包括划痕 缺陷602(例如，其可与划痕缺陷502D类似或相同)的图像601(例如，其 可与图5D的图像类似或相同)，视频盒工具606包括扫描线608(例如，其 可同样或替代地表示视频点工具等)，这些扫描线被用于确定划痕缺陷602 的边缘位置、尺寸和/或其他方面。在各种示例性实施方案中，视频盒工具606可被调整大小、定位和旋转，直到盒工具606指示或定义感兴趣区域(例 如，盒工具606内的区域)为止，并且可利用图6所示的箭头(例如，表示 扫描线、点工具等)来确定划痕缺陷602的边缘。在各种示例性实施方式中， 视频盒工具606通常可使用沿着感兴趣区域中的缺陷602的边缘的一个或多 个常规边缘梯度，并且可基于沿着各个扫描线608等的边缘梯度的局部幅度 来确定缺陷602的边缘。
在各种示例性实施方案中，此类量测操作还可包括执行某些形态学过滤 或其他过滤(例如，以区分划痕的边缘和工件的加工图案，对此在美国专利 号7,522,763中描述了这种过滤的某些类型，该专利特此通过引用整体地并 入本文)。如图6所示，在图像中包括的显示区域中，利用具有扫描线608 的盒工具606来确定划痕缺陷602的边缘位置(例如，外边缘或周边)。基 于此类确定，视频工具和/或其他量测操作可包括确定划痕缺陷的尺寸D1(例 如，与划痕缺陷602的长度或其他尺寸相对应)。在各种示例性实施方案中， 可利用盒工具606、扫描线608和/或其他视频工具和/或量测操作来确定划 痕缺陷602的其他尺寸(例如，宽度、深度等)。例如，如上所述，视频工 具部分143可包括Z高度测量工具部分143z，为此对应的视频工具或操作 可用于确定划痕缺陷的Z高度尺寸(例如，包括确定划痕相对于工件表面的 其他部分或特征的深度等)。
作为缺陷检测部分的一般操作的一部分，检测到的一些缺陷可能需要进 一步量测或检查以确定附加缺陷参数。例如，如以上所指出的，对包括划痕 缺陷602的缺陷图像的各种类型的分析和/或处理可使得能够确定缺陷602 的XY方位和近似XY面积和/或其他尺寸(例如，利用如上所述的视频工具 和/或其他操作)。如果潜在缺陷的3D性质是重要的(例如，如果划痕必须 比某个值深以被认为是缺陷)，则缺陷检测部分140dp可启动用于利用(例 如，Z高度测量工具部分143z的)Z高度测量工具的过程或其他3D感测 过程(例如，用于获取受影响区域的3D点云以确定划痕的深度等)。
如先前提及的，缺陷检测部分140dp被配置为自动地评估模型的性能并 且提供附加缺陷训练图像是否很可能改进模型的性能的指示。在各种示例性 实施方案中，缺陷检测部分140dp被配置为将可用于训练的可用的缺陷图像 集划分成若干组(例如，3至10组)。在各种实施方案中，缺陷检测部分140dp 使得在多个训练循环中用渐进更多的缺陷图像(例如，更多的组)来训练模 型，并且在每个训练循环之后获得两个性能结果(例如，诸如使用用于训练 的图像集的性能结果和使用尚未在训练中使用的缺陷图像的性能结果)。
作为简化实施例，图5A-5D的图像可被划分为使得图5A和图5B的图 像可作为第一组的一部分与其他图像包括在一起，图5C的图像可作为第二 组的一部分与其他图像包括在一起，而图5D的图像可作为第三组的一部分 与其他图像包括在一起。如由缺陷检测部分140dp所实现的第一训练循环可 包括利用第一组的图像(包括图5A和图5B的图像)作为训练图像，并且 利用第二组的图像和第三组的图像中的一者或二者(包括图5C和图5D的 图像)作为测试图像。在第二训练循环中，可将第一组和第二组的图像(包 括图5A、图5B和图5C的图像)用作测试图像，同时可将第三组的图像(包 括图5D的图像)用作测试图像。利用附加组的图像，可执行附加训练循环， 并且此简化实施例图示了可用于确定用于训练缺陷检测部分140dp的缺陷图 像的推荐数目的过程的一部分，如将在下面关于图7-12更详细地描述的。
图7是图示了如由缺陷检测部分所利用的模型的性能曲线702和704的 实施例的曲线图。在各种实施方案中，可能存在可根据提供给模型的缺陷训 练图像的数目观察到的若干典型的趋势。训练图像集的准确度性能对少量的 训练图像来说可能高(例如，模型记忆训练图像集)。随着提供给模型的训 练图像的数目增加，训练图像集的准确度性能可能稍微下降并且变得稳定。 另外，与训练图像比较，随着提供给模型的训练图像的数目增加然后变得稳 定，测试图像集的准确度性能可能增加。对一些较大数目的训练图像来说， 训练图像集和测试图像集的准确度性能可变得非常类似。使用扩增数据和原 始训练图像集的准确度性能可在一些实施方案中更快速地接近训练所需的 图像的最小数目。当用于训练模型的缺陷图像的数目提供训练图像集和测试 图像集都变得稳定且类似的性能时，在各种实施方案中，可认为模型不再很 可能从附加缺陷训练图像中提供明显的性能好处。
在各种示例性实施方案中，为了协助确定缺陷图像的推荐数目以获得极 好的模型结果，缺陷检测部分被配置为拟合训练性能和测试性能二者与用于 训练的缺陷成像器的数目的关系(即，分别图示为曲线拟合702和704)。如 图7所图示的，可将这两个曲线拟合在某个公差内在交点附近的X轴值定义 为针对要提供用于训练的缺陷图像的数目的推荐。或者，缺陷检测部分可被 配置为仅拟合测试图像性能并且寻找斜率在某个公差内在名义上接近零的 区域。
另外，缺陷检测部分可被配置为用扩增数据来训练模型以得到给定用于 训练的附加图像可能获得多少改进的某个量度。由缺陷检测部分实现的算法 可能用扩增数据来训练模型以做出最佳确定。在各种示例性实施方案中，缺 陷检测部分可被配置为训练简单的机器学习算法以从这些数据预测训练图 像的推荐数目，而不是对于不同的情况使用曲线拟合和算法。
现在将描述用于使用缺陷检测部分的以上模型训练特征的典型的工作 流程。用户将与零件的多个图像相对应的图像数据导入到缺陷检测模型训练 过程中。用户然后将每个图像分类为无缺陷或缺陷。接下来，用户在每个缺 陷图像中标记与缺陷相对应的像素(例如，使用油漆状工具来标记重叠在原 始图像上的透明层的像素以创建其着色像素与原始图像中的匹配缺陷像素 相对应的图像)。用户然后选择提供推荐以获得改进的性能的模型训练选项。 或者，模型训练选项可以是默认选项。最后，用户启动模型训练(例如，按 钮按压)。在各种实施方案中，所有后续缺陷检测模型训练和分析功能性都 可以是自动的(例如，不需要进一步用户输入)。
缺陷检测部分然后将可用的无缺陷图像和缺陷图像划分成许多组(例 如，3个或更多个)，在每个组中具有类似数目的缺陷图像和无缺陷图像。例 如，如果用户已提供了80个缺陷图像和64个无缺陷图像，则缺陷检测部分 创建标记为A、B、C和D的4个图像组，其中每个组具有一组唯一随机地 选择的20个缺陷集图像和16个无缺陷图像。
接下来，缺陷检测部分仅使用A组图像来训练模型，使用A组图像来 获得模型性能度量(例如，准确度)(用于用20个缺陷图像进行训练的训练 图像性能)，并且还使用D组图像或者共同地使用B组图像、C组图像和D 组图像来获得模型性能度量。在任何一种情况下，这提供用于用20个缺陷 图像进行训练的测试图像性能。在各种示例性实施方案中，性能度量包括被 准确地分类为缺陷图像的缺陷图像的百分比(例如，被准确地分类为缺陷图 像的缺陷图像的数目除以缺陷图像的总数)、被准确地分类为无缺陷图像的 无缺陷图像的百分比(例如，被准确地分类为无缺陷图像的无缺陷图像的数 目除以无缺陷图像的总数)或二者的组合。附加地或替代地，性能度量可考 虑假阳性检测的百分比(例如，被不准确地分类为缺陷图像的无缺陷图像的 数目除以无缺陷图像的总数)、假阴性检测的百分比(例如，被不准确地分 类为无缺陷图像的缺陷图像的数目除以缺陷图像的总数)或二者的组合。
缺陷检测部分然后使用组A图像和组B图像来训练模型，然后使用组A 图像和B组图像来获得模型性能度量(例如，准确度)(用于用40个缺陷图 像进行训练的训练图像性能)，并且还使用D组图像或者共同地使用C组图 像和D组图像来获得性能度量。在任何一种情况下，这提供用于用40个缺 陷图像进行训练的测试图像性能。
随后，缺陷检测部分使用A组图像、B组图像和C组图像来训练模型， 然后使用A组图像、B组图像和C组图像来获得模型性能度量(例如，准 确度)(用于用60个缺陷图像进行训练的训练图像性能)，并且使用D组图 像来获得模型性能度量，从而提供用于用60个缺陷图像进行训练的测试图 像性能。
缺陷检测部分然后使用A组图像、B组图像、C组图像和D组图像来训 练模型，然后使用A组图像、B组图像、C组图像和D组图像来获得模型准 确度(性能)。换句话说，获得了用于用所有80个缺陷图像进行训练的训练 图像性能。
接下来，缺陷检测部分用适当的曲线拟合训练图像性能与用于模型训练 结果的缺陷图像的数目的关系。所得的训练拟合曲线被外推到用于训练模型 的缺陷图像的数目的更大值。
缺陷检测部分然后用适当的曲线拟合测试图像性能与用于模型训练结 果的缺陷图像的数目的关系。所得的测试拟合曲线被外推到用于训练模型的 缺陷图像的数目的更大值。
缺陷检测部分然后确定(例如，利用收敛算法)用于训练测试拟合曲线 和训练拟合曲线朝向彼此收敛的模型的缺陷图像的数目的值。收敛算法可使 用曲线之间的距离、相交位置和斜率(例如，接近零)作为用于确定收敛的 度量。收敛算法在估计或预期发生最佳收敛的情况下确定用于训练模型的缺 陷图像的数目。在各种实施方案中，可将此值确定为用于模型训练的缺陷图 像的推荐数目(RNDI)。在某些替代实施方案中(例如，如将在下面关于图 13更详细地描述的)，不是利用收敛算法，而是可利用其他技术来确定RNDI 和/或何时已提供了足够数目的缺陷图像以用于训练的其他一般指示等。例 如，如图7所示，随着用于训练的缺陷图像的数目增加，观察到性能曲线704 通常具有渐减的斜率，并且为此RNDI对应于添加附加缺陷图像以用于训练 在性能方面产生相对较少的改进的部分。依照此类原理，可确定RNDI和/ 或用于训练的其他足够数目的缺陷图像，这可对应于性能曲线的一部分，其 中斜率已相应地减小，例如达到添加附加缺陷图像以用于训练在性能方面产生相对较少的(例如，在名义上可忽略不计的)改进的某个水平。在各种实 施方案中，依照此类技术，可能需要/利用与仅单个性能曲线相对应的某些数 据(例如，与性能曲线704相对应的数据)。
为了保留一些缺陷图像以用于模型验证和测试，在各种实施方案中，可 能期望获得未用于模型训练的附加缺陷图像。因此，缺陷检测部分可在一些 实施方案中被配置为通知用户为模型训练提供比缺陷图像的推荐数目 (RNDI)多预定量(例如，15％)的缺陷图像。换句话说，可为用于训练的 缺陷图像的数目推荐值，即通过将所确定的RNDI乘以预定量(例如，1.15) 来确定。
如果用户已供应了数目大于或等于推荐数目的缺陷图像，则缺陷检测部 分可被配置为生成通知用户供应附加缺陷图像以用于训练不可能显著地改 进模型准确度/性能的消息。如果用户已供应了数目小于推荐数目的缺陷图 像，则缺陷检测部分可被配置为生成通知用户应该继续提供附加缺陷图像以 用于训练的消息。在确定RNDI的一些情况下，这样的消息可指示为了实现 极好的模型准确度/性能推荐要供应多少个附加缺陷图像以用于训练。
因此，缺陷检测部分能够合理必然地通知用户提供附加训练图像是否很 可能在模型性能方面提供明显的改进，为此此类确定基于使用特定用户提供 的图像集的模型训练性能而不是可能不精确的通用推荐。在一些实施方案中 (例如，在确定RNDI等的情况下)，缺陷检测部分能够给用户提供对为了 获得所需性能(例如，接近特定模型能够提供的最佳性能)用户的特定图像 数据集期望多少个缺陷图像的估计。在各种实施方案中，当所需缺陷图像的 最小数目显著地高于当前提供的缺陷图像的总数时，缺陷检测部分可能不能 够自信地外推针对该数目的推荐。在此类情况下，缺陷检测部分可按这种数 目的图像将改进模型缺陷检测预测准确度并且可能允许实现需要多少个图 像才能获得最佳准确度的确信估计的高置信度而提供用户应该提供预设数 目的附加图像的消息或其他指示。另外，缺陷检测部分除提供标记的缺陷图 像以进行分析以外，还能够在没有任何用户协助的情况下自动地执行此类评 估。
图8A和图8B示出了可相对于RNDI生成并且显示给用户的某些类型 的消息的实施例。图8A所示的消息指示由用户为当前模型供应的缺陷图像 的数目是115，并且为获得最佳结果而推荐的缺陷图像的最小数目是125。 因此，用户被通知应该用用户应该提供的10(即，125-115)个附加缺陷图 像来训练当前模型以改进模型的性能。
图8B所示的消息指示由用户为当前模型供应的缺陷图像的数目是40， 不能够提供针对最佳结果所需的缺陷图像的最小数目的可靠推荐，用户应该 供应至少25个以上的缺陷图像，并且应该使用25个附加缺陷图像来在分析 模式(例如，训练或学习模式)下重新训练模型。因此，用户被通知很可能 能够用附加缺陷训练图像显著地改进当前模型的准确度性能，并且劝告用户 不要将当前训练后的模型用于缺陷检测，直到用至少25个附加缺陷图像重 新训练了模型为止，此后可以能够提供针对最佳结果所需的缺陷图像的最小 数目的可靠推荐。
图9示出了用于操作与图1的机器视觉检查系统类似的机器视觉检查系 统的方法900的流程图。方法900在910开始。在910，获取一个或多个工 件的多个图像。例如，相机系统260获取工件20的多个图像。方法900然 后进行到920。
在920，将在910获取的工件的图像中的每一个分类为无缺陷或缺陷。 例如，用户目视检查在910获取的每个图像。在各种实施方案中，如果图像 被视为不包括缺陷，则将包括与图像相对应的图像数据的文件的报头中包括 的预定字段设置为指示图像为无缺陷图像的预定值(例如，0)。如果图像被 视为包括缺陷，则将包括与图像相对应的图像数据的文件的报头中包括的预 定字段设置为指示图像为缺陷图像的预定值(例如，1)。方法900然后进行 到930。
在930，对于在920被分类为缺陷的工件的图像中的每一个，确定与缺 陷相对应的多个像素。例如，用户目视检查被分类为缺陷的每个图像，然后 使用使得用户能够将颜色值(例如，灰度值)设置为在重叠透明图像中与每 个缺陷相对应的每个像素的预定值(例如，255)的软件工具。方法900然 后进行到940。
在940，确定模型训练。例如，缺陷检测部分基于那些图像在920如何 被分类来以与以上关于图7描述的方式类似的方式将在910获取的图像划分 成多个组。另外，用户可使用图形用户界面来选择缺陷检测部分中包括的多 个模型中的一个。方法900然后进行到950。
在950，基于在940确定的模型训练来启动模型训练。例如，可自动地 执行这种启动，或者用户可使用图形用户界面来按压按钮或选择图标，这使 模型训练基于在940确定的模型训练开始。方法900然后结束。
图10示出了用于操作与图1的机器视觉检查系统类似的机器视觉检查 系统的方法1000的流程图。方法1000在1010开始。在1010，利用用相机 (例如，相机系统260)获取的一个或多个工件的第一多个训练图像来训练 缺陷检测部分(例如，缺陷检测部分140dp)以检测包括具有缺陷的工件的 缺陷图像。方法1000然后进行到1020。
在1020，利用用相机获取的并且未被包括在第一训练图像集中的工件的 第一多个测试图像来测试如使用第一训练图像集所训练的缺陷检测部分。第 一测试图像性能度量从测试中确定。例如，可通过将被准确地分类为缺陷图 像的训练图像的数目除以第一多个测试图像中的无缺陷图像的总数来计算 性能度量。方法1000然后进行到1030。
在1030，利用用相机获取的第一多个训练图像和第二多个训练图像来训 练缺陷检测部分以检测缺陷图像。方法1000然后进行到1040。
在1040，利用用相机获取的并且未被包括在第一多个训练图像或第二多 个训练图像中的第二测试图像集来测试如使用第一多个训练图像和第二多 个训练图像来训练的缺陷检测部分。第二测试图像性能度量从测试中确定。 例如，性能度量可对应于缺陷检测部分的准确度，该准确度可以是通过将被 正确地分类为缺陷图像的缺陷图像的数目除以第二测试图像集中包括的缺 陷图像的总数来计算出的。方法1000然后进行到1050。
在1050，至少部分地基于第一测试图像性能度量和第二测试图像性能度 量，确定用于训练缺陷检测部分的缺陷图像的推荐数目。例如，缺陷检测部 分用适当的曲线拟合训练图像性能与用于模型训练结果的缺陷图像的数目 的关系，用适当的曲线拟合测试图像性能与用于模型训练结果的缺陷图像的 数目的关系，并且利用收敛算法来以与以上关于图7描述的方式类似的方式 找到用于训练测试拟合曲线和训练拟合曲线朝向彼此收敛的模型的缺陷图 像的数目的值。方法1000然后进行到1060。
在1060，在已使用至少推荐数目的缺陷图像来训练缺陷检测部分之后， 利用相机来在运行模式期间获取工件的新图像，并且利用缺陷检测部分来分 析新图像以确定包括具有缺陷的工件的缺陷图像(例如，包括将新图像分类 为缺陷图像或无缺陷图像)。方法1000然后结束。
图11示出了用于操作与图1的机器视觉检查系统类似的机器视觉检查 系统的方法1100的流程图。例如，以与以上关于图7描述的方式类似的方 式，使用多组训练图像来训练缺陷检测部分，其中训练图像的每个组包括预 定数目的缺陷图像。更特别地，在一系列训练循环期间训练缺陷检测部分。 在第一训练循环期间，用第一组训练图像来训练缺陷检测部分。在第二训练 循环期间，用第一组训练图像以及第二组训练图像来训练缺陷检测部分。在 第三训练循环期间，用第一组训练图像和第二组训练图像以及第三组训练图 像来训练缺陷检测部分。在第四训练循环期间，用第一组训练图像、第二组 训练图像和第三组训练图像以及第四组训练图像来训练缺陷检测部分。在每 个训练循环之后，使用两个图像集来确定缺陷检测部分的准确度，这两个图 像集包括用于在先前训练循环中训练缺陷检测部分的训练图像集、以及未用 于在先前循环中训练缺陷检测部分的测试图像集。
方法1100在1110开始。在各种实施方案中，图11的方法1100可以是 作为图10的1050的一部分执行的某些过程的特定实施例。如图11所示， 在1110，用对应曲线拟合训练图像性能与用于模型训练结果的缺陷图像的数 目的关系。例如，使用常规的曲线拟合技术来用对应曲线拟合在每个训练循 环之后使用用于在先前训练循环中训练缺陷检测部分的训练图像集来确定 的缺陷检测部分的准确度。方法1100然后进行到1120。
在1120，用对应曲线拟合测试图像性能与用于模型训练结果的缺陷图像 的数目的关系。例如，使用常规的曲线拟合技术来用对应曲线拟合在每个训 练循环之后使用未用于在先前训练循环中训练缺陷检测部分的训练图像集 来确定的缺陷检测部分的准确度。方法1100然后进行到1130。
在1130，利用算法来找到用于训练测试拟合曲线和训练拟合曲线朝向彼 此收敛的模型的缺陷图像的数目的值。例如，以与以上关于图7描述的方式 类似的方式，缺陷检测部分利用考虑测试拟合曲线与训练拟合曲线之间的距 离的收敛算法，并且获得用于训练测试拟合曲线和训练拟合曲线朝向彼此收 敛使得曲线之间的距离小于或等于预定值的模型的缺陷图像的数目的值。方 法1100然后进行到1140。
在1140，确定是否要推荐附加缺陷图像以用于训练。例如，缺陷检测部 分将当前用于训练缺陷检测部分的缺陷图像的数目与用于训练测试拟合曲 线和训练拟合曲线如在1130所发现的那样朝向彼此收敛的模型的缺陷图像 的数目的值进行比较。如果缺陷检测部分确定当前用于训练缺陷检测部分的 缺陷图像的数目大于或等于用于训练测试拟合曲线和训练拟合曲线如在 1130所发现的那样朝向彼此收敛的模型的缺陷图像的数目的值，则缺陷检测 部分确定不要推荐附加缺陷图像以用于训练。如果否，则缺陷检测部分确定要推荐附加缺陷图像以用于训练。方法1100然后结束。
图12示出了用于操作与图1的机器视觉检查系统类似的机器视觉检查 系统的方法1200的流程图。方法1200在1210开始。在1210，确定缺陷图 像中的缺陷的位置。例如，缺陷检测部分确定图5D所示的缺陷502D的位 置。方法1200然后进行到1220。
在1220，确定要对缺陷执行的一个或多个量测操作。例如，可确定将确 定/测量缺陷的什么尺寸/特性，诸如深度、长度、宽度等(例如，如以上关 于图6所描述的)。在一个特定实施例实施方案中，缺陷检测部分可确定将 执行获取包括缺陷502D的区域的3D点云的量测操作和使用3D点云来确定 缺陷的最大深度的量测操作。方法1200然后进行到1230。
在1230，对缺陷502D执行在1220确定的一个或多个量测操作。例如， 可利用视频工具和/或其他量测过程来确定缺陷502D的一个或多个尺寸/特 性。在一个特定实施例实施方案中，缺陷检测部分可执行获取包括缺陷502D 的区域的3D点云的量测操作和使用3D点云来确定缺陷的最大深度的量测 操作。方法1200然后进行到1240。
在1240，基于在1230确定的尺寸和/或特性来确定是否要执行动作。例 如，如果缺陷502D的尺寸被确定为高于阈值，则可执行动作(例如，可提 供警报、可将工件发送到回炉料等)。在一个特定实施例实施方案中，缺陷 检测部分可确定缺陷502D的最大深度是否大于或等于预定阈值。如果缺陷 检测部分确定缺陷502D的最大深度大于或等于预定阈值，则缺陷检测部分 可确定要生成并且显示消息(例如，指示关于缺陷和/或应该将工件发送到回 炉料的信息)。如果(例如，缺陷502D的)尺寸或其他特性不高于阈值，则 缺陷检测部分可确定将不执行动作。方法1000然后结束。
图13是图示了缺陷检测部分的准确度性能曲线1304的实施例的曲线 图。如以上所指出的，并且如将在下面关于图13更详细地描述的，在各种 实施方案中可能期望训练缺陷检测部分直到达到某个准确度为止(例如，如 接近缺陷检测部分能够对于给定图像缺陷/背景数据集标识/分类缺陷和/或 缺陷像素的潜在最大准确度那样)。关于这种训练，可能期望确定为了获得 某个准确度可能需要多少个缺陷图像以用于训练(例如，如可对应于不会预 期将附加缺陷图像用于训练进一步显著地提高准确度的准确度那样)。在各 种实施方案中，可将这样的准确度指定为与预期拟合准确度性能曲线(例如， 准确度性能曲线1304)要达到的最大值(例如，最大IoU值)的至少某个 百分比(例如，90％、95％、97.5％等)相对应，使得提供大数目(例如，500 个)或无限数目的附加缺陷图像以用于训练仅会预期在准确度方面(例如， 相对于最大值等)产生相对较小的百分比增加(例如，10％、5％、2.5％等)。 关于拟合准确度性能曲线(例如，准确度性能曲线1304)的对应渐近线，在 各种实施方案中，可对于此类确定利用不同的技术。例如，此类技术可包括 确定曲线的斜率、在曲线的顶部部分上校验与模型的误差和/或定义曲线的渐 近部分(例如，根据负曲率的最大值)并且校验以查看当前数据是否可能超 过拟合曲线的那个点(例如，或如上所述的其他点)(或者校验数据它本身 或二者的某种组合)。作为一些其他实施例，可训练DNN或SVM或其他机 器学习工具以提供对应指示等。在某些实施方案中，依照此类确定训练所需 的缺陷图像的数目可变化(例如，取决于特定图像数据集，并且为此在一些 实施例实施方案中，数目可从20到300个缺陷图像变化)并且为此数目可 取决于各种因素(例如，诸如缺陷和背景的视觉特性中的变化、图像质量等)， 如将在下面更详细地描述的。
在图13的曲线图中，x轴对应于用于训练的缺陷图像的数目，而y轴对 应于交并比(IoU)分数(即，用于使用神经网络来评估对象的语义分割的 正确性的若干常用准确度度量中的一个)。在各种实施方案中，IoU像素级 准确度分数从0到1变化，其中1是图像中的所有像素作为正常或缺陷的完 美分类。性能曲线1304被拟合到确定的数据点(例如，对其来说用于训练 的一定数目的缺陷图像被指示要产生某些IoU分数)并且相应地指示缺陷检测部分针对唯一图像数据集的性能。在各种实施方案中，所指示的在性能曲 线1304上方和下方的线可指示曲线拟合的确定性水平。在各种实施方案中， IoU分数可始于起点并且通常可随用于训练的更多的缺陷图像而增加到某个 值，此后几乎看不到发生改进。在各种实施方案中，IoU分数可能不接近1 (即，如对应于完美分类那样，并且为此在一些情况下，诸如可由人类在用 于训练的缺陷图像中标记的不完美地标记的缺陷和/或缺陷像素通常可使分 数保持在值1以下)。在各种实施方案中，还能将神经网络分类模型领域的 技术人员通常已知的与IoU类似的其他度量如F1分数(
Figure BDA0003107631060000241
系数) 有效地用作此方法中的准确度性能的度量。
在各种实施方案中，如与唯一图像数据集相对应的缺陷检测部分的性能 曲线可具有与S形曲线(例如，逻辑增长曲线)类似的形状。在此类情况下， 通常可能存在将附加缺陷图像用于训练可在性能方面提供相对较少的改进 的点(即，与一定数目的缺陷图像相对应)。如用于训练的缺陷图像的这样 的数目通常可被指定为MTR，如图13所指示的那样(并且在一些情况下通 常可表示要用于训练缺陷检测部分的缺陷图像的所需最小数目)。在图13的 特定实施例中，MTR对应于用于训练的大约37个缺陷图像。如以上所指出 的，在各种实施方案中，这种分析可使得能够向用户提供关于是否应该继续 提供附加缺陷图像以用于训练缺陷检测部分的指示(例如，与已被用于训练 的缺陷图像的当前数目有关)。
在各种实施方案中，由于预期性能曲线可近似为S形曲线，此信息可帮 助确定何时已实现了对性能曲线(例如，性能曲线1304)的良好拟合(例如， 如与对指示缺陷检测部分的性能的数据点的良好拟合相对应那样)。例如， 在各种实施方案中，当存在被指示为对应于S形曲线性能曲线的“顶部”部分 的若干(例如，3个或更多个)数据点(例如，其在一些情况下可对应于x 值大于如从拟合中获得MTr的数据点)时，可认为已实现了良好拟合。在图 13的图示中，性能曲线1304被示出为具有底部部分1310、上升斜率部分1320 和顶部部分1330。在此实施例中，顶部部分1330被示出为包括6个数据点， 对于这些数据点，可能相应地在训练以实现所需性能所需的缺陷图像的最小 数目MTr的估计中存在相对较高的置信度。在各种实施方案中，可能存在与 性能曲线的顶部部分相对应的较少的数据点(例如，在一些情况下具有少至 2或3或4个数据点，取决于与数据点中的每一个相对应的缺陷图像的数目 中的间距/差异等)。在各种实施方案中，在性能曲线的顶部部分处的数据点 可对应于相对平坦(例如，接近零)的斜率和/或否则斜率可以仅是在性能曲 线的上升斜率部分期间发生的最大斜率的小百分比(例如，小于5％)(例如， 其中每个点处的斜率在一些情况下被认为对应于用于训练的每个附加缺陷 图像的性能增加量等)。
应领会，依照这种分析，可提供各种指示(例如，给用户)以指示是否 应该提供附加缺陷图像以用于训练。通过向用户提供此类指示，用户被通知 他们是否已供应了足够的缺陷图像以用于训练以关于特定缺陷图像数据集 对于缺陷检测部分实现所需性能结果(例如，如可能正在接近几乎最佳可能 的性能结果那样)。例如，一旦确定已由用户提供的当前数目的缺陷图像是 足够的(例如，当被确定为与性能曲线的顶部部分相对应时)，就可以提供 向用户指示他们不需要提供更多的缺陷图像以用于训练的指示(例如，消息、 显示的指示符等)。作为另一实施例，如果确定已由用户提供的当前数目的 缺陷图像是几乎足够的(例如，当被确定为接近和/或几乎对应于性能曲线的 顶部部分时)，则可提供向用户指示象这样的(例如，指示用户可能需要仅 提供几个或否则某个低数目的附加缺陷图像以用于训练和/或缺陷检测部分 的性能被认为/估计为几乎在所需水平下等)的指示(例如，消息、显示的指 示符等)。作为另一实施例，如以上关于图7所描述的，在一些实施方案中可利用某些分析来确定用于训练的缺陷图像的推荐数目(例如，依照对应于 性能曲线的估计顶部何时将发生，和/或如还可对应于与另一曲线或值集的近 似收敛那样等)。依照这样的确定，在一些情况下预先向用户通知关于用于 训练的缺陷图像的推荐数目(例如，其相对于用于训练的缺陷图像的当前数 目，可提供关于是否应该继续提供附加缺陷图像以用于训练的指示)。
如以上所指示的，对于每个唯一图像数据集，各种因素可影响训练所需 的缺陷图像的数目。一个这种因素可以是关于缺陷与图像中的背景在视觉上 差别有多少的。例如，关于图3-5的实施例图像，能够看到划痕缺陷402和 502可能在一些情况下稍微难以在视觉上与加工标记(例如，如在作为散列 纹理出现的板表面上形成的)的背景区分开。关于如可包括图3-5的图像这 样的实施例图像数据集，通常与包括缺陷更多在视觉上与背景区分开(例如， 假定其他因素近似相等等)的图像的图像数据集将需要的缺陷图像比，为了 获得一定水平的准确度可能需要更多的缺陷图像以用于训练。相反地，通常 与包括确定更少在视觉上与背景区分开(例如，假定其他因素近似相等等) 的图像的图像数据集将需要的缺陷图像比，为了获得一定水平的准确度可能 需要更少的缺陷数据以用于训练。
另一因素可以是关于缺陷在视觉特性方面变化有多大的。例如，能够看 到图4A-4E和图5B-5D的划痕缺陷402A1、402A2、402B1、402B2、402C1、 402C2、402D、402E1、402E2、502B、502C和502D各自在某些视觉特性 (例如，形状、尺寸等)方面具有一定量的变化。关于如可包括此类缺陷图 像这样的实施例图像数据集，通常与包括缺陷在视觉特性方面具有更少的变 化(例如，假定其他因素是近似相等的等)的缺陷图像的图像数据集将需要 的缺陷图像比，为了获得一定水平的准确度可能需要更多的缺陷图像以用于 训练。作为具体实施例，在所有缺陷图像都包括了几乎相同的划痕缺陷(例 如，与划痕缺陷502D类似或相同)的图像数据集中，那么与包括缺陷在视 觉特性(诸如由图4A-4E和图5B-5D的图像所图示的)方面具有更多的变 化(例如，假定其他因素近似相等等)的图像的图像数据集将需要的缺陷图 像比，为了获得一定水平的准确度可能需要更少的缺陷图像以用于训练。
另一因素可以是关于图像背景在视觉特性方面变化有多少的。例如，能 够看到图3A-3F和图4A-4E中的图像背景各自在某些视觉特性方面具有一定 量的变化(例如，依照在作为通常跨板的表面变化的散列纹理出现的板表面 上形成的各种不同类型的加工标记)。关于如可包括图3A-3F和图4A-4E的 图像这样的实施例图像数据，通常与包括背景在视觉特性方面具有更少的变 化(例如，假定其他因素近似相等等)的图像的图像数据集将需要的缺陷图 像比，为了获得一定水平的准确度可能需要更多的缺陷图像以用于训练。作 为特定实施例，在图5A-5D的图像中，背景更为类似(即，在板的各部分的 表面上形成的加工标记的类型在每个图像中类似或在名义上相同，并且图像 之间的主要差异是相应的划痕缺陷502B、502C和502D的特性)。关于如可 包括图5A-5D的图像这样的实施例图像数据集(并且为此该集合的其他图像 可包括类似的背景)，通常与包括背景在视觉特性(诸如由图3A-3F和图 4A-4E所图示的)方面具有更多的变化(假定其他因素近似相等等)的图像 的图像数据集将需要的缺陷图像比，为了获得一定水平的准确度可能需要更 少的缺陷图像以用于训练。
另一因素可能是关于图像质量的(例如，关于图像质量对于聚焦、照明 等是否一致且良好和/或它对于图像数据集中的不同图像是否可变化)。例 如，能够看到图3A-3F、图4A-4E和5A-5D中的图像各自似乎具有相对良 好的聚焦等。关于如可包括此类图像这样的实施例图像数据集，通常与包括 图像具有更低的图像质量(例如，假定其他因素近似相等等)的图像的图像 数据集将需要的缺陷图像比，为了获得一定水平的准确度将需要更少的缺陷 图像以用于训练。作为特定实施例，在具有除了所有图像具有更少的聚焦之 外的类似图像的图像数据集(例如，对其来说它可能相应地更难以准确地确 定划痕缺陷、背景等的特性和/或区分划痕缺陷和背景等)中，通常为了获得 一定水平的准确度(例如，假定其他因素近似相等等)可能需要更多的缺陷 图像以用于训练。
关于此类因素，如以上针对每个唯一图像缺陷/背景数据集所指出的，可 能期望确定缺陷检测部分的性能(例如，以表征所利用的模型的预测准确度) (例如，作为被提供用于训练的缺陷图像的数目的函数)。依照本文公开的 原理，通过确定这种性能，可(例如，相对于已被用于训练的缺陷图像的当 前数目)提供关于是否应该继续提供附加缺陷图像以用于训练以便实现某个 准确度(例如，提供附加缺陷图像以用于训练不会预期产生明显的附加改进 的准确度)的指示。
图14示出了用于操作与图1的机器视觉检查系统类似的机器视觉检查 系统的方法1400的流程图。在1410，将用工件检查和缺陷检测系统的相机 获取的工件的图像用作训练图像来训练缺陷检测部分以检测包括具有缺陷 的工件的缺陷图像。在各种实施方案中，训练图像包括缺陷图像和无缺陷图 像二者。在1420，确定如用训练图像所训练的缺陷检测部分的性能。例如， 相对于以上关于图13描述的过程，可针对缺陷检测部分确定性能曲线1304 的全部或部分和/或相关性能度量。作为另一实施例，相对于以上关于图7 描述的过程，可确定性能曲线702和/或704的全部或部分和/或相关性能度 量。如以上所指出的，在一些实施方案中，性能曲线702和704分别可对应 于训练图像集和测试图像集。在各种实施方案中，有时也可将一些图像(和 /或对应的集合和/或数据)称为“验证”图像(和/或对应的集合和/或数据)。 如本文所使用的，此类图像、集合和/或数据被认为是特定类型的“测试”图像、 集合和/或数据。
在1430，至少部分地基于如用训练图像所训练的缺陷检测部分的性能， 提供关于是否应该提供附加缺陷图像以用作用于训练缺陷检测部分的训练 图像的指示。例如，相对于以上关于图13描述的过程，可做出关于是否应 该提供附加缺陷图像的确定(例如，如基于性能曲线1304的斜率和/或相关 性能度量那样)。关于这样的确定，可提供指示(例如，可生成指示是否应 该提供附加缺陷图像的消息等)。作为另一实施例，相对于以上关于图7描述的过程，可做出关于是否应该提供附加缺陷图像的确定(例如，如基于利 用算法或其他技术来找到用于训练性能曲线702和704朝向彼此收敛的缺陷 检测部分的缺陷图像的数目的值那样和/或如基于性能曲线704的斜率(例 如，接近零)那样和/或如基于其他相关性能度量那样)。关于这样的确定， 可提供指示(例如，可指示用于训练缺陷检测部分的缺陷图像的推荐数目， 其相对于已被使用的缺陷图像的当前数目可相应地指示是否应该提供附加 缺陷图像)。在1440，在没有附加图像要用作训练图像以训练缺陷检测部分 之后(例如，如果已提供了指示不需要附加缺陷图像的消息和/或如果已指示 的缺陷图像的推荐数目已经被用于训练等)，则可利用系统的相机来在运行 模式期间获取工件的多个新图像，并且可利用缺陷检测部分来分析新图像以 确定包括具有缺陷的工件的缺陷图像。还可执行其他操作(例如，如以上关 于图6和图12所描述的量测操作等)。
图15示出了用于操作与图1的机器视觉检查系统类似的机器视觉检查 系统的方法1500的流程图。在各种实施方案中，方法1500可表示图14的 1410-1430的某些操作的更特定和/或更详细的实施例实施方案，如将在下面 更详细地描述的。在1510，利用已提供的图像(例如，包括缺陷和/或与缺 陷相对应的缺陷像素已由用户标记了的缺陷图像)来训练缺陷检测部分。在 1520，确定性能曲线和/或相关性能度量(例如，如以上关于图13的性能曲 线1304或图7的性能曲线704等所描述的)。在1530，做出是否应该提供附 加缺陷图像以用于训练缺陷检测部分的确定(例如，基于性能曲线的近似斜 率、相交或其他特性和/或相关性能度量，诸如以上关于图7和图13所描述 的)。在1540，如果要提供附加图像，则方法1500进行到1550，其中提供 指示应该提供附加图像以用于训练缺陷检测部分的指示(例如，消息)。在 1560，接收附加图像(例如，如由用户提供的等)。从1560，方法1500返回 到1510(例如，其中附加图像被用于进一步训练)。如果在1540将不提供附 加图像，则方法1500进行到1570，其中提供指示不需要/推荐附加图像等用 于训练缺陷检测部分的指示(例如，消息)。方法1500然后结束。
如由1510-1560的操作序列所图示的，在各种实施方案中，训练过程可 通过多次迭代继续进行。依照此类迭代，在用户已提供了新缺陷图像集以用 于训练之后，在各种实施方案中，可继续通知用户当前量的缺陷图像是否已 经足以实现缺陷检测部分的所需性能水平或者是否应继续提供附加缺陷图 像。通过使用户保持知情，在附加图像将不再显著地改进缺陷检测部分的性 能之后，能够通过不使用户继续提供缺陷图像来节约时间和资源。应领会， 在不利用诸如本文公开的那些的过程的情况下，用户可能不知道提供附加缺陷图像是否很可能在不花时间来收集和标记缺陷图像(例如，标记缺陷像素 或以其他方式标记缺陷)的情况下改进性能并且进一步训练缺陷检测部分以 评估性能。如以上所指出的，针对对每个图像缺陷/背景数据集而言唯一的一 定数目的图像，能够从提供附加缺陷图像以用于训练中预期的性能改进可以 是在名义上可忽略不计的。因此，可能期望为何时已提供了足够数目的缺陷 图像以便实现所需性能结果(例如，其可对应于性能曲线的接近零斜率和/ 或否则相对平坦的一部分等)提供数据集特定的指导。
尽管已经示出和描述了本公开的优选实施方式，但是基于本公开，本领 域技术人员应当理解特征的所示和所描述的布置以及操作序列的许多变化。 可使用各种替代形式来实现本文公开的原理。
本说明书中提及的所有美国专利特此以引用方式全部并入本文。如果需 要采用各种专利和申请的概念以提供另外的实施方式，则可以修改实施方式 的各方面。可以根据上述详细描述对实施凡是进行这些和其它改变。通常， 在下面的权利要求中，所使用的术语不应当被解释为将权利要求限制为在说 明书和权利要求中公开的特定实施方式，而应当被解释为包含所有可能的实 施方式以及此类权利要求被授权的等同物的全部范围。

Claims (24)

1.一种工件检查和缺陷检测系统，包括：
光源；
透镜，所述透镜输入由被所述光源照射的工件的表面引起的图像光，并且沿着成像光路透射所述图像光；
相机，所述相机接收沿着所述成像光路透射的成像光并且提供所述工件的图像；
一个或多个处理器；以及
存储器，所述存储器耦合到所述一个或多个处理器并且存储程序指令，所述程序指令当由所述一个或多个处理器执行时使所述一个或多个处理器至少：
利用用所述相机获取的工件的图像作为训练图像来训练缺陷检测部分以检测包括具有缺陷的工件的缺陷图像，其中所述训练图像包括缺陷图像和无缺陷图像二者；
确定如用所述训练图像所训练的所述缺陷检测部分的准确度性能；
至少部分地基于如用所述训练图像所训练的所述缺陷检测部分的准确度性能，提供关于是否应该提供附加缺陷图像以用作用于训练所述缺陷检测部分的训练图像的指示；以及
在没有附加图像要用作训练图像来训练所述缺陷检测部分之后，利用所述相机来在运行模式期间获取工件的多个新图像，并且利用所述缺陷检测部分来分析所述新图像以确定包括具有缺陷的工件的缺陷图像。
2.根据权利要求1所述的系统，其中被提供的所述指示包括指示应该提供附加缺陷图像并且用被相应地提供的附加缺陷图像来训练所述缺陷检测部分的消息，并且所述程序指令当由所述一个或多个执行时还使所述一个或多个处理器：
确定如用所述附加缺陷图像所训练的所述缺陷检测部分的准确度性能；以及
至少部分地基于如用所述附加缺陷图像所训练的所述缺陷检测部分的准确度性能，提供关于是否应该提供附加缺陷图像以用作用于训练所述缺陷检测部分的训练图像的指示。
3.根据权利要求2所述的系统，其中如用所述附加缺陷图像所训练的所述缺陷检测部分的性能对应于准确度性能曲线的一部分，所述部分与所述性能曲线的对应于所述缺陷检测部分的在使用所述附加缺陷图像来训练所述缺陷检测部分之前的性能的一部分比具有较低的斜率。
4.根据权利要求3所述的系统，其中当没有附加图像要用于训练所述缺陷检测部分时，所述准确度性能曲线的对应于如通过当前数目的缺陷图像所训练的所述缺陷检测部分的性能的部分的斜率相对于所述性能曲线的早期部分是近似平坦的。
5.根据权利要求1所述的系统，其中对所述缺陷检测部分的准确度性能的确定至少部分地基于对由所述缺陷检测部分准确地分类为缺陷像素或缺陷图像的缺陷像素或缺陷图像的数目的确定。
6.根据权利要求1所述的系统，其中对所述缺陷检测部分的准确度性能的确定至少部分地基于对由所述缺陷检测部分准确地分类为无缺陷像素或无缺陷图像的无缺陷像素或无缺陷图像的数目的确定。
7.根据权利要求1所述的系统，其中所述程序指令当由所述一个或多个处理器执行时还使所述一个或多个处理器：
使用在所述运行模式期间获取的工件的新图像中的一个或多个来执行一个或多个量测操作。
8.根据权利要求1所述的系统，其中所述训练图像包括第一多个训练图像和第二多个训练图像，并且确定所述缺陷检测部分的准确度性能包括：
利用用所述相机获取的并且未被包括在所述第一多个训练图像中的工件的第一多个测试或验证图像来测试如使用所述第一多个训练图像来训练的所述缺陷检测部分，其中第一准确度性能度量从所述测试中确定；
利用用所述相机获取的并且未被包括在所述第一多个训练图像或所述第二多个训练图像中的第二多个测试或验证图像来测试如使用所述第一多个训练图像和所述第二多个训练图像来训练的所述缺陷检测部分，其中第二准确度性能度量从所述测试中确定；以及
至少部分地基于所述第一性能度量和所述第二性能度量，确定用于训练所述缺陷检测部分的缺陷图像的推荐数目。
9.根据权利要求8所述的系统，其中提供所述指示包括生成消息，所述消息包括用于训练的缺陷图像的推荐数目，并且对所述消息来说，所述缺陷图像的推荐数目相对于已被用于所述训练的缺陷图像的当前数目相应地指示是否应该提供附加缺陷图像。
10.一种由包括至少光源、透镜、相机和缺陷检测部分的工件检查和缺陷检测系统执行的方法，所述方法包括：
利用用所述相机获取的工件的图像作为训练图像来训练缺陷检测部分以检测包括具有缺陷的工件的缺陷图像，其中所述训练图像包括缺陷图像和无缺陷图像二者；
确定如用所述训练图像所训练的所述缺陷检测部分的准确度性能；
至少部分地基于如用所述训练图像所训练的所述缺陷检测部分的准确度性能，提供关于是否应该提供附加缺陷图像以用作用于训练所述缺陷检测部分的训练图像的指示；以及
在没有附加图像要用作训练图像来训练所述缺陷检测部分之后，利用所述相机来在运行模式期间获取工件的多个新图像，并且利用所述缺陷检测部分来分析所述新图像以确定包括具有缺陷的工件的缺陷图像。
11.根据权利要求10所述的方法，其中被提供的所述指示包括指示应该提供附加缺陷图像并且用被相应地提供的附加缺陷图像来训练所述缺陷检测部分的消息，并且所述方法还包括：
确定如用所述附加缺陷图像所训练的所述缺陷检测部分的准确度性能；以及
至少部分地基于如用所述附加缺陷图像所训练的所述缺陷检测部分的准确度性能，提供关于是否应该提供附加缺陷图像以用作用于训练所述缺陷检测部分的训练图像的指示。
12.根据权利要求11所述的方法，其中如用所述附加缺陷图像所训练的所述缺陷检测部分的性能对应于性能曲线的一部分，所述部分与所述性能曲线的对应于所述缺陷检测部分的在使用所述附加缺陷图像来训练所述缺陷检测部分之前的性能的一部分比具有较低的斜率。
13.根据权利要求12所述的方法，其中当没有附加图像要用于训练所述缺陷检测部分时，所述性能曲线的对应于如通过当前数目的缺陷图像所训练的所述缺陷检测部分的性能的部分的斜率小于所述性能曲线的最大斜率的5％。
14.根据权利要求10所述的方法，其中对所述缺陷检测部分的性能的确定至少部分地基于：
对由所述缺陷检测部分准确地分类为缺陷像素或缺陷图像的缺陷像素或缺陷图像的数目的确定；或
对由所述缺陷检测部分准确地分类为无缺陷像素或无缺陷图像的无缺陷像素或无缺陷图像的数目的确定。
15.根据权利要求10所述的方法，还包括：
使用在所述运行模式期间获取的工件的新图像中的一个或多个来执行一个或多个量测操作。
16.根据权利要求10所述的方法，其中所述训练图像包括第一多个训练图像和第二多个训练图像，并且确定所述缺陷检测部分的性能包括：
利用用所述相机获取的并且未被包括在所述第一多个训练图像中的工件的第一多个测试或验证图像来测试如使用所述第一多个训练图像来训练的所述缺陷检测部分，其中第一准确度性能度量从所述测试中确定；
利用用所述相机获取的并且未被包括在所述第一多个训练图像或所述第二多个训练图像中的第二多个测试或验证图像来测试如使用所述第一多个训练图像和所述第二多个训练图像来训练的所述缺陷检测部分，其中第二准确度性能度量从所述测试中确定；以及
至少部分地基于所述第一性能度量和所述第二性能度量，确定用于训练所述缺陷检测部分的缺陷图像的推荐数目，其中提供所述指示包括生成消息，所述消息指示用于训练的缺陷图像的推荐数目，并且对所述消息来说，所述缺陷图像的推荐数目相对于已被用于所述训练的缺陷图像的当前数目相应地指示是否应该提供附加缺陷图像。
17.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储程序指令，所述程序指令当由一个或多个处理器执行时使所述一个或多个处理器至少：
利用用工件检查和缺陷检测系统的相机获取的工件的图像作为训练图像来训练缺陷检测部分以检测包括具有缺陷的工件的缺陷图像，其中所述训练图像包括缺陷图像和无缺陷图像二者；
确定如用所述训练图像所训练的所述缺陷检测部分的准确度性能；
至少部分地基于如用所述训练图像所训练的所述缺陷检测部分的准确度性能，提供关于是否应该提供附加缺陷图像以用作用于训练所述缺陷检测部分的训练图像的指示；以及
在没有附加图像要用作训练图像来训练所述缺陷检测部分之后，利用所述相机来在运行模式期间获取工件的多个新图像，并且利用所述缺陷检测部分来分析所述新图像以确定包括具有缺陷的工件的缺陷图像。
18.根据权利要求17所述的非暂时性计算机可读介质，其中被提供的所述指示包括指示应该提供附加缺陷图像并且用被相应地提供的附加缺陷图像来训练所述缺陷检测部分的消息，并且所述程序指令当由所述一个或多个执行时还使所述一个或多个处理器：
确定如用所述附加缺陷图像所训练的所述缺陷检测部分的准确度性能；以及
至少部分地基于如用所述附加缺陷图像所训练的所述缺陷检测部分的准确度性能，提供关于是否应该提供附加缺陷图像以用作用于训练所述缺陷检测部分的训练图像的指示。
19.根据权利要求18所述的非暂时性计算机可读介质，其中如用所述附加缺陷图像所训练的所述缺陷检测部分的性能对应于性能曲线的一部分，所述部分与所述性能曲线的对应于所述缺陷检测部分的在使用所述附加缺陷图像来训练所述缺陷检测部分之前的性能的一部分比具有较低的斜率。
20.根据权利要求19所述的非暂时性计算机可读介质，其中当没有附加图像要用于训练所述缺陷检测部分时，所述性能曲线的对应于如通过当前数目的缺陷图像所训练的所述缺陷检测部分的性能的部分的斜率相对于所述性能曲线的早期部分是近似平坦的。
21.根据权利要求17所述的非暂时性计算机可读介质，其中对所述缺陷检测部分的性能的确定至少部分地基于：
对由所述缺陷检测部分准确地分类为缺陷像素或缺陷图像的缺陷像素或缺陷图像的数目的确定；或
对由所述缺陷检测部分准确地分类为无缺陷像素或无缺陷图像的无缺陷像素或无缺陷图像的数目的确定。
22.根据权利要求17所述的非暂时性计算机可读介质，其中所述程序指令当由所述一个或多个处理器执行时还使所述一个或多个处理器：
使用在所述运行模式期间获取的工件的新图像中的一个或多个来执行一个或多个量测操作。
23.根据权利要求17所述的非暂时性计算机可读介质，其中所述训练图像包括第一多个训练图像和第二多个训练图像，并且确定所述缺陷检测部分的准确度性能包括：
利用用所述相机获取的并且未被包括在所述第一多个训练图像中的工件的第一多个测试或验证图像来测试如使用所述第一多个训练图像来训练的所述缺陷检测部分，其中第一性能度量从所述测试中确定；
利用用所述相机获取的并且未被包括在所述第一多个训练图像或所述第二多个训练图像中的第二多个测试或验证图像来测试如使用所述第一多个训练图像和所述第二多个训练图像来训练的所述缺陷检测部分，其中第二准确度性能度量从所述测试中确定；以及
至少部分地基于所述第一性能度量和所述第二性能度量，确定用于训练所述缺陷检测部分的缺陷图像的推荐数目，其中提供所述指示包括生成消息，所述消息指示用于训练的缺陷图像的推荐数目，并且对所述消息来说，所述缺陷图像的推荐数目相对于已被用于所述训练的缺陷图像的当前数目相应地指示是否应该提供附加缺陷图像。
24.根据权利要求17所述的非暂时性计算机可读介质，其中所述程序指令当由所述一个或多个处理器执行时还使所述一个或多个处理器：
利用扩增数据来训练所述缺陷检测部分；
至少部分地基于如在有和没有所述扩增数据的情况下训练的所述缺陷检测部分的准确度，确定以下项中的至少一个：
是否应该提供附加缺陷图像以用作用于训练所述缺陷检测部分的训练图像；或
用于训练所述缺陷检测部分的缺陷图像的推荐数目。
CN202110640878.1A 2020-06-15 2021-06-09 指示用于训练的缺陷图像的数目的工件检查和缺陷检测系统 Pending CN113870172A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/902,182 2020-06-15
US16/902,182 US11150200B1 (en) 2020-06-15 2020-06-15 Workpiece inspection and defect detection system indicating number of defect images for training

Publications (1)

Publication Number Publication Date
CN113870172A true CN113870172A (zh) 2021-12-31

Family

ID=78083304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110640878.1A Pending CN113870172A (zh) 2020-06-15 2021-06-09 指示用于训练的缺陷图像的数目的工件检查和缺陷检测系统

Country Status (4)

Country Link
US (1) US11150200B1 (zh)
JP (1) JP2021196363A (zh)
CN (1) CN113870172A (zh)
DE (1) DE102021114967A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11430105B2 (en) * 2020-06-15 2022-08-30 Mitutoyo Corporation Workpiece inspection and defect detection system including monitoring of workpiece images
US20220189005A1 (en) * 2020-12-16 2022-06-16 Baker Hughes Holdings Llc Automatic inspection using artificial intelligence models
CN115375609A (zh) * 2021-05-21 2022-11-22 泰连服务有限公司 自动零件检查系统
US11756186B2 (en) 2021-09-15 2023-09-12 Mitutoyo Corporation Workpiece inspection and defect detection system utilizing color channels
CN114273261A (zh) * 2021-11-10 2022-04-05 上海艾豚科技有限公司 一种汽车内饰件多工件套件的同时检测方法及系统
DE102021130143B3 (de) * 2021-11-18 2022-04-28 Audi Aktiengesellschaft Verfahren zum Bereitstellen von Lerndaten für ein KI-System und Verarbeitungssystem
CN115218798B (zh) * 2022-09-20 2022-12-09 西安中科慧远视觉技术有限公司 测量板材孔和/或槽尺寸的光学测量系统、方法及介质
CN116645370B (zh) * 2023-07-27 2023-10-10 山东顺发重工有限公司 基于三维点云数据的高温锻件表面缺陷实时检测方法
CN116934746B (zh) * 2023-09-14 2023-12-01 常州微亿智造科技有限公司 划伤缺陷检测方法、系统、设备及其介质
CN117474904B (zh) * 2023-12-26 2024-03-12 北京阿丘机器人科技有限公司 工业缺陷检测方法、装置、设备及存储介质
CN117557564A (zh) * 2024-01-11 2024-02-13 广东贝洛新材料科技有限公司 连接器的接口参数检测方法、装置、设备及存储介质

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982920A (en) 1997-01-08 1999-11-09 Lockheed Martin Energy Research Corp. Oak Ridge National Laboratory Automated defect spatial signature analysis for semiconductor manufacturing process
US6885977B2 (en) 2002-12-20 2005-04-26 Applied Materials, Inc. System to identify a wafer manufacturing problem and method therefor
US6718526B1 (en) 2003-02-07 2004-04-06 Kla-Tencor Corporation Spatial signature analysis
US7359544B2 (en) 2003-02-12 2008-04-15 Kla-Tencor Technologies Corporation Automatic supervised classifier setup tool for semiconductor defects
US7602962B2 (en) 2003-02-25 2009-10-13 Hitachi High-Technologies Corporation Method of classifying defects using multiple inspection machines
US7030351B2 (en) 2003-11-24 2006-04-18 Mitutoyo Corporation Systems and methods for rapidly automatically focusing a machine vision inspection system
US7324682B2 (en) 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US7522763B2 (en) 2004-07-30 2009-04-21 Mitutoyo Corporation Method of measuring occluded features for high precision machine vision metrology
US7454053B2 (en) 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
US7627162B2 (en) 2005-01-31 2009-12-01 Mitutoyo Corporation Enhanced video metrology tool
US7676077B2 (en) 2005-11-18 2010-03-09 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7570796B2 (en) 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US8041103B2 (en) 2005-11-18 2011-10-18 Kla-Tencor Technologies Corp. Methods and systems for determining a position of inspection data in design data space
JP4644613B2 (ja) 2006-02-27 2011-03-02 株式会社日立ハイテクノロジーズ 欠陥観察方法及びその装置
US7570795B2 (en) 2006-07-18 2009-08-04 Mitutoyo Corporation Multi-region autofocus tool and mode
JP4908995B2 (ja) 2006-09-27 2012-04-04 株式会社日立ハイテクノロジーズ 欠陥分類方法及びその装置並びに欠陥検査装置
US8126255B2 (en) 2007-09-20 2012-02-28 Kla-Tencor Corp. Systems and methods for creating persistent data for a wafer and for using persistent data for inspection-related functions
US8135204B1 (en) 2007-09-21 2012-03-13 Kla-Tencor Technologies Corp. Computer-implemented methods, carrier media, and systems for creating a defect sample for use in selecting one or more parameters of an inspection recipe
US8254661B2 (en) 2008-06-02 2012-08-28 Applied Materials Israel, Ltd. System and method for generating spatial signatures
US8165837B1 (en) 2008-06-09 2012-04-24 Kla-Tencor Corporation Multi-scale classification of defects
US8255172B2 (en) 2008-09-24 2012-08-28 Applied Materials Israel, Ltd. Wafer defect detection system and method
US8111938B2 (en) 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
US8111905B2 (en) 2009-10-29 2012-02-07 Mitutoyo Corporation Autofocus video tool and method for precise dimensional inspection
US8315453B2 (en) 2010-07-27 2012-11-20 Applied Materials Israel, Ltd. Defect classification with optimized purity
US9013574B2 (en) 2011-11-15 2015-04-21 Mitutoyo Corporation Machine vision system program editing environment including synchronized user interface features
US9167215B2 (en) 2011-11-15 2015-10-20 Mitutoyo Corporation Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode
US10043264B2 (en) 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
US9715723B2 (en) 2012-04-19 2017-07-25 Applied Materials Israel Ltd Optimization of unknown defect rejection for automatic defect classification
US9607233B2 (en) 2012-04-20 2017-03-28 Applied Materials Israel Ltd. Classifier readiness and maintenance in automatic defect classification
US9430824B2 (en) 2013-05-14 2016-08-30 Kla-Tencor Corporation Machine learning method and apparatus for inspecting reticles
US9143674B2 (en) 2013-06-13 2015-09-22 Mitutoyo Corporation Machine vision inspection system and method for performing high-speed focus height measurement operations
US9639083B2 (en) 2013-12-18 2017-05-02 Mitutoyo Corporation System and method for programming workpiece feature inspection operations for a coordinate measuring machine
US9430743B2 (en) 2014-03-06 2016-08-30 Kla-Tencor Corp. Composite defect classifier
US9613411B2 (en) 2014-03-17 2017-04-04 Kla-Tencor Corp. Creating defect classifiers and nuisance filters
US20160189055A1 (en) 2014-12-31 2016-06-30 Applied Materials Israel Ltd. Tuning of parameters for automatic classification
US9613255B2 (en) 2015-03-30 2017-04-04 Applied Materials Israel Ltd. Systems, methods and computer program products for signature detection
US9646425B2 (en) 2015-04-09 2017-05-09 Mitutoyo Corporation Inspection program editing environment with editing environment automatically globally responsive to editing operations in any of its portions
US9952586B2 (en) 2015-04-09 2018-04-24 Mitutoyo Corporation Inspection program editing environment with simulation status and control continually responsive to selection operations
US9898811B2 (en) 2015-05-08 2018-02-20 Kla-Tencor Corporation Method and system for defect classification
US9830694B2 (en) * 2015-08-31 2017-11-28 Mitutoyo Corporation Multi-level image focus using a tunable lens in a machine vision inspection system
US10436720B2 (en) 2015-09-18 2019-10-08 KLA-Tenfor Corp. Adaptive automatic defect classification
US9961253B2 (en) * 2016-05-03 2018-05-01 Mitutoyo Corporation Autofocus system for a high speed periodically modulated variable focal length lens
US10860879B2 (en) 2016-05-16 2020-12-08 Raytheon Technologies Corporation Deep convolutional neural networks for crack detection from image data
US10395358B2 (en) 2016-11-10 2019-08-27 Kla-Tencor Corp. High sensitivity repeater defect detection
US10101572B2 (en) * 2016-11-23 2018-10-16 Mitutoyo Corporation Variable focal length lens system with multi-level extended depth of field image processing
US10964013B2 (en) 2017-01-10 2021-03-30 Kla-Tencor Corporation System, method for training and applying defect classifiers in wafers having deeply stacked layers
US11237119B2 (en) 2017-01-10 2022-02-01 Kla-Tencor Corporation Diagnostic methods for the classifiers and the defects captured by optical tools
US10699926B2 (en) 2017-08-30 2020-06-30 Kla-Tencor Corp. Identifying nuisances and defects of interest in defects detected on a wafer
US10713534B2 (en) 2017-09-01 2020-07-14 Kla-Tencor Corp. Training a learning based defect classifier
US10341646B2 (en) * 2017-09-29 2019-07-02 Mitutoyo Corporation Variable focal length lens system with optical power monitoring
JP7245839B2 (ja) 2017-12-29 2023-03-24 株式会社ミツトヨ 遮蔽されたワークピース形体のための自動透過動作を用いた検査プログラム編集環境
US10748271B2 (en) 2018-04-25 2020-08-18 Applied Materials Israel Ltd. Method of defect classification and system thereof
US10520301B1 (en) 2018-12-31 2019-12-31 Mitutoyo Corporation Method for measuring Z height values of a workpiece surface with a machine vision inspection system
US11379967B2 (en) * 2019-01-18 2022-07-05 Kla Corporation Methods and systems for inspection of semiconductor structures with automatically generated defect features
CN114271031A (zh) * 2019-08-30 2022-04-01 株式会社三丰 用于高速计量成像的快速高功率脉冲式光源系统
US11119382B2 (en) * 2019-12-20 2021-09-14 Mitutoyo Corporation Tunable acoustic gradient lens system with amplitude adjustment corresponding to z-height as indicated by calibration data

Also Published As

Publication number Publication date
DE102021114967A1 (de) 2021-12-16
JP2021196363A (ja) 2021-12-27
US11150200B1 (en) 2021-10-19

Similar Documents

Publication Publication Date Title
US11150200B1 (en) Workpiece inspection and defect detection system indicating number of defect images for training
US7668388B2 (en) System and method for single image focus assessment
US11536669B2 (en) Detecting machining errors of a laser machining system using deep convolutional neural networks
JP5982144B2 (ja) 落射照明画像用のエッジ位置測定値補正
JP4933771B2 (ja) 画像システムにおいてビデオツールを自動的にリカバリーするシステムおよび方法
US20200371333A1 (en) Microscopy method, microscope and computer program with verification algorithm for image processing results
US11430105B2 (en) Workpiece inspection and defect detection system including monitoring of workpiece images
JP5972563B2 (ja) 構造化照明を用いるエッジ検出
JP6001305B2 (ja) マシンビジョンシステムにおける潜在的な干渉要素の検査
US20050031191A1 (en) Methods and apparatus for inspection of lines embedded in highly textured material
US8917940B2 (en) Edge measurement video tool with robust edge discrimination margin
JP6243705B2 (ja) 自動パラメータ設定選択肢を含むエッジ測定ビデオツール及びインタフェース
JP6858878B2 (ja) ３ｄモデルの試験対象物への自動アライメント
US20080040064A1 (en) Surface inspection apparatus and surface inspection method
US9990724B2 (en) Image recording simulation in a coordinate measuring machine
US7636466B2 (en) System and method for inspecting workpieces having microscopic features
CN114226262A (zh) 瑕疵检测方法、瑕疵分类方法及其系统
US11756186B2 (en) Workpiece inspection and defect detection system utilizing color channels
US10241000B2 (en) Method for checking the position of characteristic points in light distributions
JP2020079720A (ja) 検査装置及び検査方法
JP2019139104A (ja) パターン検査方法およびパターン検査装置
US20230294173A1 (en) Method and Apparatus for Additive Manufacturing of a Workpiece using Statistical Learning Model
CN112683788A (zh) 物件表面可能缺陷的影像检测扫描方法及其系统
JP2009133729A (ja) 周期性パターンのムラ検査方法及び検査装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination