CN115136209A - 缺陷检测系统 - Google Patents

缺陷检测系统 Download PDF

Info

Publication number
CN115136209A
CN115136209A CN202180014984.7A CN202180014984A CN115136209A CN 115136209 A CN115136209 A CN 115136209A CN 202180014984 A CN202180014984 A CN 202180014984A CN 115136209 A CN115136209 A CN 115136209A
Authority
CN
China
Prior art keywords
images
subset
image
computing system
metric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180014984.7A
Other languages
English (en)
Inventor
托尼斯拉夫·伊万诺夫
丹尼斯·巴贝什科
瓦迪姆·潘斯基
马修·C·普特曼
安德鲁·桑德斯特罗姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nano Electronic Imaging Co ltd
Original Assignee
Nano Electronic Imaging Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nano Electronic Imaging Co ltd filed Critical Nano Electronic Imaging Co ltd
Publication of CN115136209A publication Critical patent/CN115136209A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796—Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

计算系统生成用于训练预测模型以检测目标样本的目标表面中存在的缺陷的训练数据集，以及基于训练数据集训练预测模型以检测目标样本的目标表面中存在的缺陷。计算系统通过识别用于训练预测模型的图像集来生成训练数据集，图像集包括第一图像子集。深度学习网络基于包括第一图像子集的图像集，生成用于后续标记的第二图像子集。深度学习网络基于包括第一图像子集和所标记的第二图像子集的图像集，生成用于标记的第三图像子集。计算系统继续该过程，直到生成阈值数量的标记图像。

Description

缺陷检测系统
相关申请的交叉引用
本申请要求于2020年3月9日提交的美国临时申请序列No.62/987,002的优先权，该申请的全部内容通过引用并入本文。
技术领域
本公开总体上涉及一种缺陷检测系统。
背景技术
深度学习模型已经在对象检测任务中变得流行。这些模型需要有效地训练大量的标记数据。在许多情况下，收集大量数据并不困难，但手动标记数据可能是非常繁琐且耗时的过程。数据集的自动标记正在增加其适用性，但是仍然缺乏替代人工操作者所必需的进动，并且在没有先前历史示例的情况下通常表现不佳。
发明内容
在一些实施例中，本文公开了一种计算系统。计算系统包括处理器和存储器。存储器上存储有编程指令，该编程指令在由处理器执行时执行操作。该操作包括：生成用于训练预测模型以检测目标样本的目标表面中存在的缺陷的训练数据集，以及基于训练数据集训练预测模型以检测目标样本的目标表面中存在的缺陷。该计算系统通过识别用于训练预测模型的图像集来生成训练数据集，图像集包括第一图像子集，其中第一图像子集中的每个图像均被标记有识别相应样本上的缺陷的标签；由深度学习网络基于包括第一图像子集的图像集，生成用于后续标记的第二图像子集；提示操作者标记第二图像子集中的每个图像；由深度学习网络基于包括第一图像子集和所标记的第二图像子集的图像集，生成用于标记的第三图像子集；提示操作者标记第三图像子集中的每个图像；以及聚合第一图像子集、第二图像子集和第三图像子集，其中第一图像子集、第二图像子集和第三图像子集中的每个图像均被标记。
在一些实施例中，本文公开了一种方法。计算系统识别用于训练预测模型以检测样本表面中的缺陷的图像集。图像集包括第一图像子集。第一图像子集中的每个图像均被标记有识别相应样本上的缺陷的标签。计算系统的深度学习网络基于包括第一图像子集的图像集，生成用于后续标记的第二图像子集。计算系统提示操作者标记第二图像子集中的每个图像。深度学习网络基于包括第一图像子集和所标记的第二图像子集的图像集，生成用于标记的第三图像子集。计算系统提示操作者标记第三图像子集中的每个图像。计算系统聚合第一图像子集、第二图像子集和第三图像子集。第一图像子集、第二图像子集和第三图像子集中的每个图像均被标记以形成用于训练预测模型的训练数据集。
在一些实施例中，本文公开了一种计算系统。计算系统包括处理器和存储器。存储器上存储有编程指令，该编程指令在由处理器执行时执行操作。该操作包括：识别用于训练预测模型以检测样本表面中的缺陷的图像集。该图像集包括第一图像子集。第一图像子集中的每个图像均被标记有识别相应样本上的缺陷的标签。该操作进一步包括：由计算系统的深度学习网络基于包括第一图像子集的图像集，生成用于后续标记的第二图像子集。该操作进一步包括：提示操作者标记第二图像子集中的每个图像。该操作还包括：由深度学习网络基于包括第一图像子集和所标记的第二图像子集的图像集，生成用于标记的第三图像子集。该操作还包括：提示操作者标记第三图像子集中的每个图像。操作还包括：聚合第一图像子集、第二图像子集和第三图像子集。第一图像子集、第二图像子集和第三图像子集中的每个图像均被标记以形成用于训练预测模型的训练数据集。
附图说明
为了能够详细地理解本公开的上述特征的方式，可以参考实施例(在附图中展示了这些实施例中的一些实施例)对以上简要概述的本公开进行更具体的描述。然而，应注意，附图仅示出了本公开的典型实施例，因此不应视为对本公开范围的限制，因为本公开可允许其他等效实施例。
图1是示出了根据示例实施例的成像系统的框图。
图2示出了根据示例实施例的深度学习模型的架构。
图3是示出了根据示例实施例的生成用于训练预测模型的训练数据集的方法的流程图。
图4是示出了根据示例实施例的识别样本中的缺陷的方法的流程图。
图5示出了根据示例实施例的由预测模型生成的示例性图形输出。
图6A示出了根据示例实施例的系统总线计算系统架构。
图6B示出了根据示例实施例的具有芯片组架构的计算机系统。
为了便于理解，在可能的情况下，使用相同的附图标记来指代附图共有的相同元件。可以预期，在一个实施例中公开的元件可以有益地用于其他实施例而无需具体叙述。
具体实施方式
训练用于良好概括的对象检测和分类的机器学习模型可以受益于多样化的训练数据集。该训练数据集通常涉及人工注释，其中人顺序地遍历图像列表，在每个图像中标记足够高数量的示例，直到达到施加的阈值。这种传统过程既耗时又不必要，特别是当许多类似示例可以重复时。对于大型的数据集，由于成本和时间的固有约束标记每个示例可能是不可行的。对于最佳处理，底层任务是基于对深度学习算法的训练的贡献来对人工标记的图像划分优先级。
固有地，大多数操作者可以按照图像可能被保存的顺序或者软管目录中的编号来以字母数字方式分类和标记图像。这可能随着收集和文件系统而变化，并且可能很少与所获取的数据相关。在对底层类别的简要全局检查和确定之后，操作者可以在所分配的时间内顺序地遍历目录对每个图像进行标记。大部分数据可能是过量重复、缺乏所需的灵敏度、包含背景不规则性、以及可能使标记的数据不适合最佳训练的其他迭代。最终训练模型和标记之间的反馈通常可以是非正式的。通常，贴标器与数据处理之间的分隔如此大，以致于贴标器不接收关于标记数据的有用性的反馈，或者接收关于如何正式优化标记过程的知识。通常报告总体误差，但是这些误差容易从数据中分类并且不会对总体训练模型产生负面影响。虽然可以指示操作者忽略或通过某些示例，但是合规性可能变成未解决的问题并且难以跟踪或有效地强制执行，尤其是在非常大的组和许多贴标器上。
操作者还可以形成习惯模式和标记，在检测某些类别(即，具有大量示例的那些类别)时变得非常熟练。这可能会产生效率错觉，但反而会传播远离稀有类别以及难以识别和分类的对象的偏差。当许多图像经受重复曝光于共同类别时，操作者可能更可能忽略作为背景的稀有示例而非将稀有示例标记为缺陷。对于某些架构(诸如深度学习架构)，这会带来极大的问题，因为未被分类到标记类的区域被视为背景，并且导致模型无法检测到这些类型的缺陷。可以通过若干贴标器或投票过程来解决这个问题，但是成本高并且不能保证在结果上产生巨大的改进。
本文提供的一种或更多种技术呈现了一种多阶段方法，该方法可以用于通过连续不断地更新数据集中要被手动标记的图像的顺序来改进传统过程，以便使标签的唯一性和多样性最大化。在一些实施例中，多阶段方法可以采用深度学习分割模型，该深度学习分割模型被配置为预测先前未见数据的图像中的区域。在一些实施例中，多阶段方法可以集中于数据集，其中对象可以随机分布、可以在类内的形态上变化、以及可以在每个类中少量或大量出现。对于这些数据集，本方法可以实现高精度的模型标记。
进一步地，本文提供的一种或更多种技术提供了优于传统自动标记技术的改进。例如，使用传统方法，传统系统将运行在先前数据上训练的模型，以在期望的数据集上生成标签和边界框。贴标器将简单地修改边界框。在半导体领域和类似的专有材料领域中，传统自动标记方法由于缺乏对历史数据的暴露和对作为检查和分类任务的主题的材料特定类别的访问而失败。为了解决这个问题，本文提供的一种或更多种技术提示用户或操作者标记图像的小子集并定义总体分类任务的类焦点。目标不是强制实施行业范围或多用户类别的限制；而是将手动标记集中在关键影响者上。由本系统实现的模型可以提供操作者的分层有序列表以进行标记。在一些实施例中，可以以主动学习方式训练模型。例如，该模型可以在小的初始数据集上被训练，然后可以使用该模型来辅助标记下一批数据，然后可以重新训练包括新数据的模型。
更进一步地，与传统方法不同，本文描述的一种或更多种技术可以利用包括更稀有类别示例的策划训练数据集。该策划训练数据集可以帮助模型在训练数据集中实现更好的类别平衡。
图1示出了根据示例性实施例的用于检查支撑在平台上的样本的示例性计算环境100。如图所示，根据示例实施例，计算环境100可以包括与计算系统150通信的装置102。装置102可以被配置为用一个或更多个光源104、106照射样本101。一个或更多个光源104、106可以被配置为以一定角度将倾斜光108、110朝向样本101引导。倾斜照射可以从样本101的表面被反射为反射光112。装置102可以包括具有图像传感器的相机设备114，该图像传感器被配置为捕获反射光。在一些实施例中，光源104、106可以被移动到围绕对象圆周地定位的不同位置，其中在每个位置处拍摄图像。
在一些实施例中，装置102可以将由相机设备114捕获的图像提供给计算系统150以供处理。计算系统150可以经由一个或更多个通信信道与装置102通信。在一些实施例中，一个或更多个通信信道可以表示经由互联网(诸如蜂窝或Wi-Fi网络)的单独连接。在一些实施例中，一个或更多个通信信道可以使用直接连接(诸如，射频识别(RFID)、近场通信(NFC)、蓝牙TM、低能量蓝牙TM(BLE)、Wi-FiTM、ZigBeeTM、环境反向散射通信(ABC)协议、USB、WAN或LAN)来连接终端、服务和移动设备。计算系统150可以被配置为分析由相机设备114捕获的图像并且生成样本101的形貌。
如图所示，计算系统150可以包括：预处理引擎152和预测模型154。预处理引擎152和预测模型154中的每一个都可以包括一个或更多个软件模块。一个或更多个软件模块可以是存储在介质(例如，计算系统150的存储器)上的代码或指令的集合，该代码或指令的集合表示实施一个或更多个算法步骤的一系列机器指令(例如，程序代码)。这样的机器指令可以是处理器解释以实施指令的实际计算机代码，或者可替换地，这样的机器指令可以是被解释以获得实际计算机代码的指令的更高级编码。一个或更多个软件模块还可以包括一个或更多个硬件组件。示例算法的一个或更多个方面可以由硬件组件(例如，电路)本身执行，而不是作为指令的结果。
预处理引擎152可以被配置为生成一个或更多个训练数据集来训练预测模型154。如以上提供的，用户手动标记和开发用于训练预测模型154的训练集通常是繁琐的任务。预处理引擎152可以包括深度学习模型156。深度学习模型156可以被训练以对图像进行分类以供标记。在一些实施例中，可以在图像的初始小子集上训练深度学习模型156。图像的初始小子集中的所有感兴趣对象可以用矩形边界框来标记。在一些实施例中，所有标记的对象的边界框内的像素可以被分组到第一类别中(例如，“前景”)；图像像素的其余部分可以被分组到第二类别中(例如，“背景”)。使用此分类，可以生成两个输入分割掩膜：用于背景的第一输入分割掩膜和用于前景的第二输入分割掩膜。在一些实施例中，可以放大围绕前景对象的边界框，以消除或减少对边界框的边界上的像素进行分类的模糊性。
在一些实施例中，深度学习模型156可以被训练以产生两个概率图：提供每个像素属于前景的概率的第一概率图；以及提供每个像素属于背景的概率的第二概率图。在一些实施例中，每个概率图的大小可以与输入图像的大小相同。使用第一概率图和第二概率图，预处理引擎152可以计算尚未看到像素的度量，例如Sunseen。可能属于尚未标记的新类别的示例或属于先前标记类别的看起来新颖的示例的像素将具有高未见分数。例如：
Sunseen(x，y)＝1-P((x，y)∈bg)-P((x，y)∈fg)
使用每像素未见分数，预处理引擎可以计算整体图像度量并且用于对图像进行排序。在一些实施例中，高图像度量可以对应于图像包括尚未被看到且因此值得标记优先级的像素的高置信度。在一些实施例中，可能不清楚以下哪个图像应具有较高优先级：具有较少高得分像素的图像或具有大量低得分像素的图像。为了解决这个问题，在一些实施例中，预处理引擎118可以计算两个度量：阈值度量Mthresh和阿尔法度量Malpha。在一些实施例中，阈值度量可以等于具有高于某一阈值的未见分数的像素数量。在阈值度量下，低得分像素可能对度量没有影响。例如：
Figure BDA0003799173590000061
在一些实施例中，阿尔法度量可以等于在指数α下所有未见分数的总和。在阿尔法度量下，可以考虑所有像素，但较低得分像素对分数具有较小影响。
Figure BDA0003799173590000062
在使用这些度量之一对图像进行排序之后，可以产生要标记的下一批图像。该过程可以以主动学习方式迭代：新图像被标记并且可以使用新可用的标记图像来重新训练深度学习模型156，并且可以调用深度学习模型156以产生要被标记的下一批图像。
在标记了足够量的数据之后，可以训练预测模型154来检测样本中的缺陷。在一些实施例中，预测模型154还可用于自动地标记数据集的其余部分。
图2示出了根据示例实施例的深度学习模型156的架构200。如图所示，架构200可以基于U-net架构。架构200是修改后的U-net架构，其移除了产生分割掩膜的最终softmax层，以便直接获得每类的像素概率。架构200还包括一组不同的卷积层填充，以匹配由卷积层使用的特征图的输入大小和数量。
图3是示出了根据示例实施例的生成用于训练预测模型154的训练数据集的方法300的流程图。方法300可以在步骤302处开始。
在步骤302处，计算系统150可以接收用于训练预测模型154的图像集。在一些实施例中，计算系统150可以从与计算系统150通信的客户端设备接收图像集。在一些实施例中，计算系统150可以从与计算系统150相关联的数据库接收图像集。在一些实施例中，计算系统150可以从第三方网站或系统接收图像集。在一些实施例中，该图像集可以包括标记图像的子集。标记图像的子集可以由人或操作者标记。标记图像的子集可以包括图像中存在的所有缺陷的标签。在一些实施例中，不选择随机选择以防止操作者的任何选择偏差和迫使字母数字偏差，如在传统示范下将由操作者执行的。
在步骤304处，计算系统150可以生成用于后续标记的第二图像子集。例如，计算系统150可以将该图像集提供给深度学习模型156以供处理。图像集可以包括标记图像的子集以及未标记图像的剩余部分。深度学习模型156可以为每个图像生成两个概率图：提供每个像素属于前景的概率的第一概率图；以及提供每个像素属于背景的概率的第二概率图。使用第一概率图和第二概率图，预处理引擎152可以计算Sunseen度量。基于Sunseen度量，预处理引擎152可以为每个图像生成Malpha度量。一旦预处理引擎152生成每个Malpha度量，预处理引擎152就可以对图像进行排序，并且选择一组最高得分图像以形成第二图像子集。
在步骤306处，计算系统150可以提示用户对第二图像子集进行标记。例如，计算系统150可以提示用户标记包括在第二图像子集中的所有缺陷。因为深度学习模型156能够识别包括与来自原始图像集的标记图像子集相比未见像素的第二图像子集，所以深度学习模型156已经识别了可能对预测模型154的后续训练有用的附加图像。
在步骤308处，计算系统150可以生成用于后续标记的第三图像子集。例如，计算系统150可以将该图像集提供给深度学习模型156用于连续训练。图像集可以包括标记图像子集、(现在也被标记的)第二图像子集和其余的未标记图像。深度学习模型156可以为每个图像生成两个概率图：提供每个像素属于前景的概率的第一概率图；以及提供每个像素属于背景的概率的第二概率图。使用第一概率图和第二概率图，预处理引擎152可以计算Sunseen度量。基于Sunseen度量，预处理引擎152可以为每个图像生成Malpha度量。一旦预处理引擎152生成每个Malpha度量，预处理引擎152就可以对图像进行排序，并且选择一组最高得分图像以形成第三图像子集。
在步骤310处，计算系统150可以提示用户对第三图像子集进行标记。例如，计算系统150可以提示用户标记包括在第三图像子集中的所有缺陷。因为深度学习模型156能够识别包括与来自原始图像集的标记图像子集和第二图像子集相比未见像素的第三图像子集，所以深度学习模型156已经识别了可能对预测模型154的后续训练有用的附加图像。
在步骤312处，计算系统150可以确定是否存在由Mthresh指定的用于训练预测模型154的阈值数量的标记图像。例如，基于步骤304-310，计算系统150可以确定是否存在用于训练预测模型154的足够的标记图像。如果在步骤312处，计算系统150确定不存在阈值数量的标记图像，则方法300可以返回到步骤308以继续生成图像标签。换言之，如果不存在阈值量的标记图像，则计算系统150可以继续向深度学习模型156提供标记图像子集、第二标记图像子集、第三标记图像子集、第n标记图像子集、和剩余的未标记的图像以用于新的未标记图像的继续排序以供标记的过程。
然而，如果在步骤312处，计算系统150确定存在阈值量的标记图像，则方法300可以进行到步骤314。在步骤314处，计算系统150可以输出用于训练预测模型154的标记图像集。
图4是示出了根据示例实施例的识别样本中的缺陷的方法400的流程图。方法400可以在步骤402处开始。
在步骤402处，计算系统150可以识别用于训练预测模型154的训练集，以识别在样本中存在的缺陷。训练集可以表示由深度学习模型156生成的标记图像集。例如，训练集可以包括各种样本的多个图像，每个图像包括一个或更多个伪像标签。
在步骤404处，计算系统150可以训练预测模型154。例如，计算系统150可以基于训练集训练预测模型154以识别样本图像中的缺陷。在一些实施例中，预测模型154可以表示更快的基于区域的卷积神经网络(R-CNN)。预测模型154可以在顺序标记的图像上被训练，直到它标记在算法上选择的图像所花费的时间(即，标记相同数量的边界框)。
在步骤406处，计算系统150可以从装置102接收受检查样本的图像。在一些实施例中，受检查样本可以是可能包括一个或更多个缺陷或可能不包括一个或更多个缺陷的半导体衬底。尽管将半导体衬底作为一个特定示例进行讨论，但所属领域的技术人员认识到，本文中所公开的技术不限于半导体衬底。例如，本文公开的技术可以扩展到检测生物组织中的特征或缺陷/异常。
在步骤408处，计算系统150可以识别在样本图像中存在的一个或更多个缺陷。例如，计算系统150可以将图像作为输入提供给完全训练的预测模型154。预测模型154可以分析图像以识别样本图像中存在的一个或更多个缺陷。在一些实施例中，预测模型154可以通过在每个缺陷周围生成边界框来识别图像中存在的一个或更多个缺陷。在一些实施例中，预测模型154可以通过生成与设备相关联的概率图来识别图像中存在的一个或更多个缺陷。
在步骤410处，计算系统150可以生成样本图像中存在的一个或更多个缺陷的图形表示。在一些实施例中，预测模型154可以生成将一个或更多个边界框覆盖在图像中所识别的一个或更多个缺陷中的每个上的图形表示。在一些实施例中，预测模型154可以生成覆盖图像上的热图的图形表示。热图可以包括基于缺陷存在于哪里来验证强度。例如，存在缺陷的图像区域将具有比不存在缺陷的图像区域更高的强度。
图5示出了根据示例实施例的由预测模型154生成的示例性图形输出500。如图所示，图形输出500可以对应于由预测模型154生成的概率图502。概率图502可以覆盖在样本图像上。概率图502的较高强度区域可以指示在该位置中存在缺陷的高概率。
图6A示出了根据示例实施例的系统总线计算系统架构600。系统600的一个或更多个组件可以使用总线605彼此电通信。系统600可包括：处理器(例如，一个或更多个CPU、GPU或其他类型的处理器)610和系统总线605，系统总线605将包括系统存储器615(诸如只读存储器(ROM)620和随机存取存储器(RAM)625)的各种系统组件耦接至处理器610。系统600可以包括与处理器610直接连接、紧邻处理器610或集成为处理器610的一部分的高速存储器的高速缓存。系统600可以将数据从存储器615和/或存储设备630复制到高速缓存612，以供处理器610快速访问。这样，高速缓存612可提供避免处理器610在等待数据时延迟的性能提升。这些和其他模块可以控制或被配置为控制处理器610以执行不同动作。也可以使用其他系统存储器615。存储器615可以包括具有不同性能特性的多种不同类型的存储器。处理器610可以表示单个处理器或多个处理器。处理器610可以包括通用处理器或硬件模块或软件模块以及专用处理器(其中软件指令被并入到实际处理器设计中)中的一个或更多个，所述软件模块诸如存储在存储设备630中的服务1632、服务2634和服务3636，通用处理器或硬件模块或软件模块被配置为控制处理器610。处理器610本质上可以是完全独立的计算系统，包含多个核或处理器、总线、存储器控制器、高速缓存等。多核处理器可以是对称的或非对称的。
为了使用户与计算设备600交互，输入设备645可以是任何数量的输入机构，诸如用于语音的麦克风、用于手势或图形输入的触摸屏、键盘、鼠标、运动输入、语音等。输出设备635还可以是本领域技术人员已知的多个输出机构中的一种或更多种。在一些示例中，多模式系统可以使得用户能够提供多种类型的输入，以与计算设备600通信。通信接口640通常可以支配和管理用户输入和系统输出。在任何特定硬件装置上操作没有限制，因此这里的基本特征可以容易地被替代为被开发的改进的硬件或固件装置。
存储设备630可以是非易失性存储器，以及可以是硬盘或可以存储可由计算机访问的数据的其他类型的计算机可读介质，诸如磁带盒、闪存卡、固态存储器设备、数字多功能盘、盒式磁带、随机存取存储器(RAM)625、只读存储器(ROM)620、以及它们的混合。
存储设备630可以包括用于控制处理器610的服务632、634和636。构想了其他硬件或软件模块。存储设备630可以连接到系统总线605。在一个方面，执行特定功能的硬件模块可以包括与必要硬件组件(诸如处理器610、总线605、显示器635等)相连的存储在计算机可读介质中以执行该功能的软件组件。
图6B示出了根据示例实施例的具有芯片组架构的计算机系统650。计算机系统650可以是可用于实现所公开的技术的计算机硬件、软件和固件的示例。系统650可以包括一个或更多个处理器655，一个或更多个处理器655表示能够执行被配置为执行所识别的计算的软件、固件和硬件的任何数量的物理上和/或逻辑上不同的资源。一个或更多个处理器655可以与芯片组660通信，芯片组660可以控制到一个或更多个处理器655的输入以及来自一个或更多个处理器655的输出。在该示例中，芯片组660将信息输出到输出665(例如，显示器)，且可以将信息读取和写入到存储设备670，存储设备670可以包括例如磁介质和固态介质。芯片组660还可以从RAM 675读取数据并向RAM 675写入数据。可以提供用于与各种用户接口组件685接口连接的桥680，以用于与芯片组660接口连接。这样的用户接口组件685可以包括键盘、麦克风、触摸检测和处理电路、诸如鼠标之类的指点设备等。通常，到系统650的输入可以来自机器生成和/或人工生成的各种源中的任一种源。
芯片组660还可以与一个或更多个通信接口690接口连接，一个或更多个通信接口690可以具有不同的物理接口。这样的通信接口可以包括用于有线和无线局域网、用于宽带无线网络以及个人局域网的接口。用于生成、显示和使用本文公开的GUI的方法的一些应用可包括：通过物理接口接收有序数据集，或通过一个或更多个处理器655分析存储在存储设备670或675中的数据而由机器本身生成。进一步地，机器可以通过用户接口组件685从用户接收输入，并通过使用一个或更多个处理器655解释这些输入来执行适当的功能，诸如浏览功能。
可以理解，示例系统600和650可以具有多于一个处理器610，或者可以是联网在一起以提供更大处理能力的一组或一集群计算设备的一部分。
虽然前述内容是针对本文描述的实施例，但是在不脱离本文的基本范围的情况下，可以设计其他和另外的实施例。例如，本公开的各方面可以用硬件或软件或硬件和软件的组合来实现。本文描述的一个实施例可以被实现为与计算机系统一起使用的程序产品。程序产品的程序定义了实施例的功能(包括本文描述的方法)，并且可以被包含在各种计算机可读存储介质上。示例性计算机可读存储介质包括但不限于：(i)在其上永久地存储信息的不可写存储介质(例如，计算机内的只读存储器(ROM)设备，诸如可由CD-ROM驱动器读取的CD-ROM盘、闪存、ROM芯片或任何类型的固态非易失性存储器)；以及(ii)在其上存储有可变信息的可写存储介质(例如，软盘驱动器或硬盘驱动器内的软盘或任何类型的固态随机存取存储器)。当承载指导所公开的实施例的功能的计算机可读指令时，这样的计算机可读存储介质是本公开的实施例。
本领域技术人员将理解，前述示例是示例性的而非限制性的。在阅读说明书和研究附图之后，旨在对本领域技术人员显而易见的所有置换、增强、等同物和改进都将包括在本公开的真实精神和范围内。因此，所附权利要求旨在包括落入这些教导的真实精神和范围内的所有这些修改、置换和等同物。

Claims (20)

1.一种计算系统，包括：
处理器；以及
存储器，所述存储器上存储有编程指令，所述编程指令在由所述处理器执行时执行操作，所述操作包括：
通过以下操作生成用于训练预测模型以检测目标样本的目标表面中存在的缺陷的训练数据集：
识别用于训练所述预测模型的图像集，所述图像集包括第一图像子集，其中所述第一图像子集中的每个图像均被标记有识别相应样本上的缺陷的标签；
由深度学习网络基于包括所述第一图像子集的所述图像集，生成用于后续标记的第二图像子集；
提示操作者标记所述第二图像子集中的每个图像；
由所述深度学习网络基于包括所述第一图像子集和所标记的第二图像子集的所述图像集，生成用于标记的第三图像子集；
提示所述操作者标记所述第三图像子集中的每个图像；以及
聚合所述第一图像子集、所述第二图像子集和所述第三图像子集，其中所述第一图像子集、所述第二图像子集和所述第三图像子集中的每个图像均被标记；以及
基于所述训练数据集训练所述预测模型，以检测所述目标样本的目标表面中存在的缺陷。
2.根据权利要求1所述的计算系统，其中，由所述深度学习网络基于包括所述第一图像子集的所述图像集，生成用于后续标记的所述第二图像子集包括：
为所述图像集中的每个图像，生成对应于所述图像中的每个像素属于第一类别的第一概率的第一概率图；以及
为所述图像集中的每个图像，生成对应于所述图像中的每个像素属于第二类别的第二概率的第二概率图。
3.根据权利要求2所述的计算系统，还包括：
基于所述第一概率图和所述第二概率图为所述图像集中的每个图像生成未见度量，其中所述未见度量对应于所述图像包括所述深度学习网络未见的像素的可能性。
4.根据权利要求3所述的计算系统，其中，所述图像的所述未见度量基于所述图像中的每个像素的未见度量的聚合。
5.根据权利要求4所述的计算系统，还包括：
基于对应的未见度量为所述图像生成阿尔法度量。
6.根据权利要求4所述的计算系统，还包括：
基于所述图像中具有超过阈值的未见分数的像素的数量，为所述图像生成阈值度量。
7.根据权利要求1所述的计算系统，还包括：
由所述计算系统从成像装置接收所述目标样本的目标表面的目标图像；
由所述预测模型检测所述目标样本的目标表面中存在的一个或更多个缺陷；以及
基于所述检测，由所述计算系统生成示出所述一个或更多个缺陷的图形输出。
8.一种方法，包括：
由计算系统识别图像集，所述图像集用于训练预测模型以检测样本表面中的缺陷，所述图像集包括第一图像子集，其中所述第一图像子集中的每个图像均被标记有识别相应样本上的缺陷的标签；
由所述计算系统的深度学习网络基于包括所述第一图像子集的所述图像集，生成用于后续标记的第二图像子集；
由所述计算系统提示操作者标记所述第二图像子集中的每个图像；
由所述深度学习网络基于包括所述第一图像子集和所标记的第二图像子集的所述图像集，生成用于标记的第三图像子集；
由所述计算系统提示所述操作者标记所述第三图像子集中的每个图像；以及
由所述计算系统聚合所述第一图像子集、所述第二图像子集和所述第三图像子集，其中所述第一图像子集、所述第二图像子集和所述第三图像子集中的每个图像均被标记以形成用于训练所述预测模型的训练数据集。
9.根据权利要求8所述的方法，其中，由所述深度学习网络基于包括所述第一图像子集的所述图像集，生成用于后续标记的所述第二图像子集包括：
为所述图像集中的每个图像，生成对应于所述图像中的每个像素属于第一类别的第一概率的第一概率图；以及
为所述图像集中的每个图像，生成对应于所述图像中的每个像素属于第二类别的第二概率的第二概率图。
10.根据权利要求9所述的方法，还包括：
基于所述第一概率图和所述第二概率图为所述图像集中的每个图像生成未见度量，其中所述未见度量对应于所述图像包括所述深度学习网络未见的像素的可能性。
11.根据权利要求10所述的方法，其中，所述图像的所述未见度量基于所述图像中的每个像素的未见度量的聚合。
12.根据权利要求11所述的方法，还包括：
基于对应的未见度量为所述图像生成阿尔法度量。
13.根据权利要求11所述的方法，还包括：
基于所述图像中具有超过阈值的未见分数的像素的数量，为所述图像生成阈值度量。
14.根据权利要求8所述的方法，还包括：
基于所述训练数据集训练所述预测模型，以检测目标图像中的目标缺陷。
15.一种计算系统，包括：
处理器；以及
存储器，所述存储器上存储有编程指令，所述编程指令在由所述处理器执行时使所述计算系统执行操作，所述操作包括：
识别用于训练预测模型以检测样本表面中的缺陷的图像集，所述图像集包括第一图像子集，其中第一图像子集中的每个图像均被标记有识别相应样本上的缺陷的标签；
由所述计算系统的深度学习网络基于包括所述第一图像子集的所述图像集，生成用于后续标记的第二图像子集；
提示操作者标记所述第二图像子集中的每个图像；
由所述深度学习网络基于包括所述第一图像子集和所标记的第二图像子集的所述图像集，生成用于标记的第三图像子集；
提示所述操作者标记所述第三图像子集中的每个图像；以及
聚合所述第一图像子集、所述第二图像子集和所述第三图像子集，其中所述第一图像子集、所述第二图像子集和所述第三图像子集中的每个图像均被标记以形成用于训练所述预测模型的训练数据集。
16.根据权利要求15所述的计算系统，其中，由所述深度学习网络基于包括所述第一图像子集的所述图像集，生成用于后续标记的所述第二图像子集包括：
为所述图像集中的每个图像，生成对应于所述图像中的每个像素属于第一类别的第一概率的第一概率图；以及
为所述图像集中的每个图像，生成对应于所述图像中的每个像素属于第二类别的第二概率的第二概率图。
17.根据权利要求16所述的计算系统，还包括：
基于所述第一概率图和所述第二概率图为所述图像集中的每个图像生成未见度量，其中所述未见度量对应于所述图像包括所述深度学习网络未见的像素的可能性。
18.根据权利要求17所述的计算系统，其中，所述图像的所述未见度量基于所述图像中的每个像素的未见度量的聚合。
19.根据权利要求18所述的计算系统，还包括：
基于对应的未见度量为所述图像生成阿尔法度量。
20.根据权利要求18所述的计算系统，还包括：
基于所述图像中具有超过阈值的未见分数的像素的数量，为所述图像生成阈值度量。
CN202180014984.7A 2020-03-09 2021-03-09 缺陷检测系统 Pending CN115136209A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062987002P 2020-03-09 2020-03-09
US62/987,002 2020-03-09
PCT/US2021/021449 WO2021183473A1 (en) 2020-03-09 2021-03-09 Defect detection system

Publications (1)

Publication Number Publication Date
CN115136209A true CN115136209A (zh) 2022-09-30

Family

ID=77555785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180014984.7A Pending CN115136209A (zh) 2020-03-09 2021-03-09 缺陷检测系统

Country Status (7)

Country Link
US (2) US11416711B2 (zh)
EP (1) EP4118580A4 (zh)
JP (1) JP2023516775A (zh)
KR (1) KR20220149727A (zh)
CN (1) CN115136209A (zh)
TW (1) TWI798655B (zh)
WO (1) WO2021183473A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7281041B2 (ja) * 2018-11-29 2023-05-25 京セラドキュメントソリューションズ株式会社 種類判別システム
KR20220045499A (ko) * 2020-10-05 2022-04-12 삼성전자주식회사 웨이퍼 상의 결함을 추론하는 시스템 및 방법
US11823366B2 (en) * 2020-12-28 2023-11-21 Wipro Limited System and method for anomaly detection using images

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2145276B1 (en) * 2007-04-05 2020-06-10 Fundação D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud System and method for handling, diagnose and predict the occurrence of a medical condition
US8825570B2 (en) * 2012-07-31 2014-09-02 Hewlett-Packard Development Company, L.P. Active learning with per-case symmetrical importance scores
US10108714B2 (en) * 2015-12-22 2018-10-23 International Business Machines Corporation Segmenting social media users by means of life event detection and entity matching
US10424064B2 (en) * 2016-10-18 2019-09-24 Adobe Inc. Instance-level semantic segmentation system
WO2018081654A1 (en) * 2016-10-28 2018-05-03 Edico Genome, Corp. Bioinformatics systems, apparatuses, and methods for performing secondary and/or tertiary processing
JP2020510463A (ja) * 2017-01-27 2020-04-09 アーテリーズ インコーポレイテッド 全層畳み込みネットワークを利用する自動化されたセグメンテーション
US10417524B2 (en) * 2017-02-16 2019-09-17 Mitsubishi Electric Research Laboratories, Inc. Deep active learning method for civil infrastructure defect detection
CA3056498A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
WO2018170401A1 (en) * 2017-03-16 2018-09-20 Siemens Aktiengesellschaft Visual localization in images using weakly supervised neural network
US20180373980A1 (en) * 2017-06-27 2018-12-27 drive.ai Inc. Method for training and refining an artificial intelligence
US10474464B2 (en) * 2017-07-05 2019-11-12 Deep Vision, Inc. Deep vision processor
US11200665B2 (en) * 2017-08-02 2021-12-14 Shanghai Sixth People's Hospital Fundus image processing method, computer apparatus, and storage medium
CN107368614B (zh) * 2017-09-12 2020-07-07 猪八戒股份有限公司 基于深度学习的图像检索方法及装置
US10713769B2 (en) * 2018-06-05 2020-07-14 Kla-Tencor Corp. Active learning for defect classifier training
US11062180B2 (en) * 2018-07-18 2021-07-13 Shenzhen Malong Technologies Co., Ltd. Complexity-based progressive training for machine vision models
US11250294B2 (en) * 2019-01-13 2022-02-15 Lightlab Imaging, Inc. Systems and methods for classification of arterial image regions and features thereof
US11151706B2 (en) * 2019-01-16 2021-10-19 Applied Material Israel, Ltd. Method of classifying defects in a semiconductor specimen and system thereof
US20220319704A1 (en) * 2019-05-06 2022-10-06 Tesaro, Inc. Methods for characterizing and treating a cancer type using cancer images
US10984529B2 (en) * 2019-09-05 2021-04-20 Pearl Inc. Systems and methods for automated medical image annotation
EP3798899A1 (en) * 2019-09-30 2021-03-31 Basf Se Quantifying plant infestation by estimating the number of insects on leaves, by convolutional neural networks that provide density maps
US20210142168A1 (en) * 2019-11-07 2021-05-13 Nokia Technologies Oy Methods and apparatuses for training neural networks

Also Published As

Publication number Publication date
TW202143083A (zh) 2021-11-16
US11416711B2 (en) 2022-08-16
JP2023516775A (ja) 2023-04-20
TW202324175A (zh) 2023-06-16
KR20220149727A (ko) 2022-11-08
US20210279520A1 (en) 2021-09-09
EP4118580A4 (en) 2024-02-28
EP4118580A1 (en) 2023-01-18
TWI798655B (zh) 2023-04-11
US20220391641A1 (en) 2022-12-08
WO2021183473A1 (en) 2021-09-16

Similar Documents

Publication Publication Date Title
CN110610166B (zh) 文本区域检测模型训练方法、装置、电子设备和存储介质
CN115136209A (zh) 缺陷检测系统
CN111368636B (zh) 目标分类方法、装置、计算机设备和存储介质
US20210397170A1 (en) Implementation of deep neural networks for testing and quality control in the production of memory devices
Wang et al. A welding defect identification approach in X-ray images based on deep convolutional neural networks
CN116596875B (zh) 晶圆缺陷检测方法、装置、电子设备及存储介质
CN110929795A (zh) 高速焊线机焊点快速识别与定位方法
CN114330588A (zh) 一种图片分类方法、图片分类模型训练方法及相关装置
CN116385380A (zh) 基于深度特征的缺陷检测方法、系统、设备及存储介质
Voon et al. Computer-vision-based integrated circuit recognition using deep learning
CN113128565B (zh) 面向预训练标注数据不可知的图像自动标注系统和装置
Cui et al. Real-time detection of wood defects based on SPP-improved YOLO algorithm
CN113780116A (zh) 发票分类方法、装置、计算机设备和存储介质
Shahriyar et al. An approach for multi label image classification using single label convolutional neural network
Kulshrestha et al. Deep learning models for object recognition and quality surveillance
CN116681961A (zh) 基于半监督方法和噪声处理的弱监督目标检测方法
Bian et al. Real-time object detection for smart connected worker in 3d printing
TWI843465B (zh) 用於缺陷偵測模型的訓練集產生的運算系統、方法和非暫時性電腦可讀媒體
Robotyshyn et al. Surface defect detection based on deep learning approach.
CN115527089A (zh) 基于Yolo的目标检测模型训练方法及其应用和装置
Zhang et al. A dual-structure attention-based multi-level feature fusion network for automatic surface defect detection
CN113869352A (zh) 模型训练方法、服装检索方法及相关装置
CN112084364A (zh) 对象分析方法、局部图像搜索方法、设备及存储介质
Noroozi et al. Towards Optimal Defect Detection in Assembled Printed Circuit Boards Under Adverse Conditions
Li et al. A unified deep neural network for scene text detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination