CN114092386A - 缺陷检测方法和设备 - Google Patents

缺陷检测方法和设备 Download PDF

Info

Publication number
CN114092386A
CN114092386A CN202110447693.9A CN202110447693A CN114092386A CN 114092386 A CN114092386 A CN 114092386A CN 202110447693 A CN202110447693 A CN 202110447693A CN 114092386 A CN114092386 A CN 114092386A
Authority
CN
China
Prior art keywords
image
defect
training
images
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110447693.9A
Other languages
English (en)
Inventor
樋田祐辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN114092386A publication Critical patent/CN114092386A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

实施方式包括一种处理物理样本的图像以识别成像的物理样本上的缺陷的设备、方法以及计算机可读介质。该方法包括：执行对生成器神经网络的无监督训练，以生成输入图像的无缺陷重建；获取产品或材料的目标物理样本的实时图像；将实时图像输入至经训练的生成器神经网络以生成实时图像的无缺陷重建；将所生成的实时图像的无缺陷重建与所获取的实时图像进行比较以确定差异；在所确定的差异的位置处识别目标物理样本上的缺陷。其中，由叠加的缺陷图像数据引起的每个训练数据图像与相应父图像之间的差异量根据训练条件从最小值增长到最大值。

Description

缺陷检测方法和设备
技术领域
本发明属于缺陷识别领域。具体地，本发明涉及使用机器学习算法以使缺陷检测和识别自动化。
背景技术
材料制造公司处于非常严格的标准的约束中。为了提供可能的最高质量的材料，同时生产总是更复杂的部件，制造商必须高效地控制他们自己的产品。为此，已经使用了无损检测(NDT)。NDT涵盖了科学与技术行业中用于评估材料、部件或系统的特性而不会造成损坏的广泛的分析技术。然而，在自动化生产线中，检查处理是瓶颈，因此增加了生产成本。
制造商通过对产品进行成像来捕获大量数据，但是由于产品未被标记，因此在检查过程中需要人工输入。
用于使材料表面检查自动化的现有技术可以分类成以下两种方式：
·第一，创建带有人工标签的图像的大型数据集，这非常费力，并且受到注释者的专业知识的限制。
·第二，创建手工制作的算法。该技术对未标记的数据集应用计算机视觉方法，并且针对标记的小型数据集评估算法。这样的技术具有使有效算法工程化的困难。
发明内容
本发明在现在应当对其进行参考的独立权利要求中被定义。另外的特征在从属权利要求中陈述。
实施方式包括一种计算设备，该计算设备被配置用于通过在处理硬件和存储器硬件上执行以下处理来对物理样本的图像进行处理以识别成像的物理样本上的缺陷，所述处理包括：执行对生成器神经网络的无监督训练，以生成对输入图像的无缺陷重建；获取产品或材料的目标物理样本的实时图像(live image)；将实时图像输入至经训练的生成器神经网络以生成实时图像的无缺陷重建；将所生成的实时图像的无缺陷重建与所获取的实时图像进行比较以确定差异；在所确定的差异的位置处识别目标物理样本上的缺陷。其中，无监督训练包括：获取产品或材料的无缺陷物理样本的图像集；第一训练阶段，包括多个时期，在多个时期中：通过将缺陷图像数据叠加在作为父图像的无缺陷物理样本的图像集的每个成员上来针对每个时期合成训练数据图像；在每个时期处，由生成器神经网络重建针对相应时期的经合成的训练数据图像，并且对生成器神经网络进行迭代地训练，以使对经合成的训练数据图像的重建中的每个重建与无缺陷物理样本的相应父图像之间的损失函数最小化；其中，由叠加的缺陷图像数据引起的每个训练数据图像与相应父图像之间的差异量根据训练条件从最小值增长到最大值。
实施方式提供了一种自动缺陷检查机制。实施方式自动地训练生成器神经网络以产生物理样本的图像的无缺陷或减少缺陷的版本，物理样本的图像的无缺陷或减少缺陷的版本在与实际图像进行比较时揭示缺陷的位置。以这种方式，可以在没有标记的训练数据的情况下执行基于AI的缺陷识别。
实施方式使用无监督的人工智能，这意指模型(即，生成器神经网络和损失函数)自学以检测缺陷。实施方式利用无缺陷或近乎无缺陷的样本图像来训练神经网络以从图像中去除缺陷，例如，划痕、凹痕等，使得可以通过与原始图像进行比较来检测缺陷，在其中缺陷可见。由于训练是自动化的，因此与现有技术相比，训练系统的成本大大降低。此外，所检测到的缺陷不受人类训练员的知识的限制。
异常(例如，随机异常、真实缺陷或经修改的真实缺陷)在缺陷图像数据中示出，并且被叠加在无缺陷数据(父图像)上以获得训练数据图像。然后，对输入了训练数据图像的生成器神经网络(自动编码器)进行训练，以便去除异常。在该训练阶段中，生成器神经网络的输入是无缺陷图像(即，父图像)，其附加(叠加)如人工异常的缺陷图像数据，并且输出是没有异常的训练数据图像的重建。可以经由该训练过程来训练可以去除异常(例如，划痕等)的生成器神经网络。
例如，比较是用于创建残差(两个版本之间的差异的位图或某些其他表示)并且查找缺陷的视觉比较。例如，可以逐像素、逐块、使用一些局部度量、或者基于预训练的神经激活、或者根据那些技术的某种组合来完成比较。
实施方式适于在制造领域中(尤其是在生产线中)实现，其中，产品或材料的物理样本是正在制造的材料或部件。实施方式也适于在医学领域中实现，其中，物理样本是人类或非人类(包括尤其是爬行动物、鸟类、兽)组织(例如，组织表面)的成像部分，包括电活动或组织的扫描的内部器官的图像。实施方式还适于在基础设施检查领域中实现，以用于识别结构中的缺陷，例如，(从无人机成像的)风力涡轮机的叶片、(从无人机成像的)桥梁或(利用车载摄像机成像的)道路表面。
缺陷可以是从背景中突出的任何事物(包括表示的背景是规则纹理或一系列结构的那些实例)，缺陷还可以包括凸起/凹陷(可能指示厚度不一致)、脱色。缺陷可以被配置成不包括特定形状，例如，动物状。
实施方式管理通过将缺陷图像数据叠加到父图像上引起的变化量。可以直接管理变化量，并且可以通过变化的像素的数量，或者通过变化的像素的数量以及每个像素的像素值的变化的量(例如，对所有变化的像素的这样的量的总和)来量化变化量。因此，例如，叠加包括确定要叠加的缺陷图像数据，并且可选地还包括叠加条件，例如，不透明度(opacity)，以引起所需的变化量。可替选地，可以间接地管理变化量，例如，因为变化量与要叠加到父图像上的缺陷图像数据的大小或量直接相关。例如，缺陷图像数据可以被存储为多个图像，每个图像具有基本上相等(即，正负约10％)的大小，使得通过管理叠加的这样的缺陷图像的数量，即使不测量变化量也可以管理变化量。可以进行管理以提供所需的变化量的缺陷图像数据的其他方面是大小、形状、颜色、透明度(transparency)和异常量。
实施方式提供了一种特定的训练技术，该训练技术相对于训练时期的数量快速地减少了损失。实施方式仅需要物理样本的无缺陷图像，缺陷图像数据可以被随机生成。因此，实际缺陷图像数据的可用性不是限制。
根据训练条件而增长意指增长取决于是否满足条件，该条件是表示训练过程的进展的变量(例如，完成的训练时期、时期内的累计损失函数值、可配置权重(和偏差)的稳定性)是否满足阈值。其中，满足阈值引起父图像与相应训练数据图像之间的差异的增长，并且引起对来自一系列阈值中的新阈值的设定。
可选地，无监督训练还包括：初始训练阶段，该初始训练阶段包括一个或更多个时期并且在第一训练阶段之前，其中，用于初始训练阶段的训练数据图像包括无缺陷物理样本的图像集的每个成员。
可选地，初始训练阶段包括：生成器神经网络重建用于初始训练阶段的训练数据图像，并且对生成器神经网络进行迭代地训练，以使用于初始训练阶段的训练数据图像中的每一个与相应重建之间的损失函数最小化。
有利地，初始训练阶段使生成器神经网络能够学习与物理样本的正常条件或正常状态相对应的潜在特征。
可选地，对于多个训练时期，每个训练数据图像与相应父图像之间的差异量处于最大值。
可选地，可以存在父图像与相应的一个训练数据图像或多个训练数据图像之间的差异量处于最大值的多个训练时期。可以通过在差异量处于最大值的情况进行训练来提高生成器神经网络去除缺陷的效率。然而，根据实施方式，随着缺陷图像数据的逐渐增加，损失减小得更快。因此，通过逐渐增加多个训练时期(然后具有最大差异量的另外的多个训练时期)内的差异量，实现了有效性以及损失的快速减少。
可选地，该函数是反曲增加函数或线性增加函数。
不同的实现场景可以受益于控制缺陷图像数据叠加到父图像上的不同功能。此外，还可以考虑训练时期的计算开销以及完成训练阶段所花费的时间。
缺陷图像数据可以包括独立的缺陷图像。可以以多种方式来控制无缺陷图像(父图像)与合成的图像(训练数据图像)之间的差异量。可选地，每个训练数据图像与相应父图像之间的差异量是通过在每个时期的合成中进行以下操作而引起的：在作为父图像的无缺陷物理样本的图像集的每个成员上进行叠加，提高来自以下各项中的一个或更多个：缺陷图像的数量、缺陷图像的大小、缺陷图像数据的量、缺陷图像像素的数量、父图像与缺陷图像之间的平均像素值差、叠加的缺陷图像数据的不透明度(opacity)。
可选地，缺陷图像数据包括除了无缺陷物理样本的图像集中的产品或材料以外的产品或材料的图像和/或计算机生成的纹理或图案的图像、和/或无缺陷物理样本的图像集中的所述产品或材料的表面上的缺陷的图像。
也就是说，在可获得实际缺陷的图像的情况下，这些图像可以用作缺陷图像数据。然而，由于这样的图像难以获得，因此实施方式是灵活的，并且可以利用随机生成的纹理图像以及其他计算机生成的缺陷图像来实现实施方式。
可选地，缺陷图像数据在叠加到相应父图像上时是部分透明的。另外，缺陷图像数据可以是完全不透明的。选择可能取决于实现场景和可能出现的缺陷的性质。可以根据正在分析的特定产品或材料来配置实施方式。
实施方式的训练技术特别适于作为卷积自动编码器的生成器神经网络。
在实现损失的减少特别快(即，在训练生成器神经网络以从输入图像中去除缺陷方面特别有效)的实施方式中，在三元组网络上对训练阶段进行建模。例如，在每个训练时期中：根据作为父图像的无缺陷物理样本的图像集的每个成员合成两个训练数据图像，不同的缺陷图像数据叠加在两个训练数据图像中的每一个上；生成器神经网络的迭代训练包括：对于每个父图像，将父图像和两个相应的训练数据图像输入至生成器神经网络，从而用于重建，损失函数是包括第一因子、第二因子和第三因子的多个因子的累计，第一因子与父图像和重建的父图像之间的第一损失函数的计算值成比例，第二因子和第三因子分别与父图像和重建的训练数据图像中的每一个之间的第二损失函数的计算值成比例；其中，第一损失函数和第二损失函数可以是相同的损失函数，也可以是不同的损失函数。
可选地，第一损失函数和第二损失函数中的每一个是对相应的图像对之间的损失的一个定量评估，或者是对相应的图像对之间的损失的多个不同的定量评估的累计。
可选地，训练条件为：完成的训练时期的数量的计数的增加；经合成的训练数据图像的重建中的每个重建与无缺陷物理样本的相应父图像之间的损失函数在训练时期内的平均值或累计低于系列阈值中的阈值；生成器神经网络中的可调参数在最新训练时期的开始与结束之间变化小于一系列阈值中的阈值；或者对合成的训练数据图像的重建的清晰度(clarity)的评估满足一系列阈值中的阈值。
训练条件可以是完成的训练时期的数量的计数，使得：每一个或每n个训练时期，父图像与每个训练数据图像之间的差异量增长。可替选地，训练条件可以是：合成的训练数据图像的重建中的每个重建与无缺陷物理样本的相应父图像之间的损失函数在训练时期内的平均值或累计低于一个阈值或一系列阈值中的一个。将训练时期内损失函数的量与第一阈值进行比较，并且一旦满足第一阈值，父图像与每个训练数据图像之间的差异量就会增长(对于即将到来的训练时期而言)，并且设定新阈值。新阈值可以低于第一阈值。该过程对于一个或多个新阈值继续。
可替选地，训练条件可以是生成器神经网络中的可调参数在最新训练时期的开始与结束之间变化小于一系列阈值中的阈值。也就是说，将可调参数在训练时期的开始与结束之间的变化的量化与第一阈值进行比较，并且一旦满足第一阈值，则父图像与每个训练数据图像之间的差异量增长(对于即将到来的训练时期而言)，并且设定新阈值。新阈值可以低于第一阈值。该过程对于一个或多个新阈值继续。
可替选地，训练条件可以是对合成的训练数据图像的重建的清晰度的评估满足一系列阈值中的阈值。也就是说，对横跨训练时期的合成的训练数据图像的重建的清晰度的评估的量满足一系列阈值中的阈值。将量化与第一阈值进行比较，并且一旦满足第一阈值，父图像与每个训练数据图像之间的差异量就增长(对于即将到来的训练时期而言)，并且设定新阈值。新阈值可以低于第一阈值。该过程对于一个或多个新阈值继续。
已经发现，在实施方式中，这样的损失函数计算导致生成器神经网络的特别快速的训练。
实施方式包括一种设备，该设备包括处理器硬件和存储器硬件，存储器硬件存储处理指令，当由处理器硬件执行处理指令时，使处理器硬件执行实施方式的方法。处理硬件可以是一个CPU或多个互连的CPU。存储器硬件可以是易失性和非易失性存储器中的至少一者。处理硬件能够访问存储器硬件。
该设备还可以包括：成像硬件，用于获取实时图像；以及显示单元，在该显示单元上显示识别到缺陷处的、确定的差异的位置。
另一方面的实施方式包括一种计算机程序，当该计算机程序由计算设备执行时，该计算机程序使计算设备执行实施方式的方法。计算机程序可以存储在计算机可读介质上。计算机可读介质可以是非暂态的。
附图说明
现在将仅通过示例的方式、参照附图来描述实施方式，在附图中：
图1示出了实施方式的方法；
图2示出了无监督训练处理；
图3示出了用于执行无监督训练处理的软件架构；
图4示出了对缺陷图像数据的叠加的控制；
图5示出了实时阶段中的图像处理；
图6示出了可以用于实现实时阶段的软件构架；
图7A示出了父图像；
图7B示出了其上已经叠加了缺陷图像数据的同一父图像；
图8A示出了训练阶段中的图像处理；
图8B示出了实时阶段中的图像处理；
图9将利用实施方式的示例获得的训练损失与通过现有技术获得的训练损失进行比较；
图10示出了相比于现有技术的经训练的生成器神经网络的、根据样例获得的AUC的数值结果；以及
图11是实施方式的硬件配置的框图。
具体实施方式
图1示出了实施方式的方法。通过示例的方式、从制造环境的广泛角度以及通常与该领域相关联的缺陷的类型撰写了实施方式的描述。实施方式不限于这样的实现方式，并且可以应用于需要识别物理样本中的缺陷的任何技术环境中。例如，实施方式可以应用于存在识别物理样本上的任何非标准的期望的任何技术领域。物理样本可以是材料的样本，其中，对材料表面成像。例如，材料表面可以包括人体组织、植被表面、织物、用于检查的基础设施(使用无人机进行涡轮叶片或桥梁的检查，使用车载摄像机进行道路表面的检查)。物理样本可以是产品的样本，产品是一种或多种材料的特定人工生产的装置。
在步骤S101处，执行对生成器神经网络的无监督训练。S101包括执行对生成器神经网络的无监督训练以生成对输入图像的无缺陷重建。S101可以包括对生成器神经网络的自动(即，无监督)训练，以生成减少缺陷的或无缺陷的版本的输入训练数据图像的材料或产品表面。在该背景下，“自动”意指无监督，也就是说，在没有对来自神经网络的输出的人工校正的情况下执行训练。在训练S101中，对生成器神经网络340进行训练以将正常状态图像数据嵌入到输入图像中。
图2中示出了S101的示例性的无监督训练处理。图3中示出了用于执行无监督训练处理的软件架构。
软件架构包括：第一存储位置310，用于存储无缺陷的物理样本的图像集；第二存储位置320，用于存储缺陷图像数据；训练数据图像管理器330，用于根据无缺陷的物理样本的图像集提供训练数据图像，并且在需要时根据缺陷图像数据提供训练数据图像；生成器神经网络340，生成器神经网络340在训练处理中被训练以从输入图像中去除缺陷；以及用于计算损失函数值的损失计算器350，训练处理试图通过适当地配置生成器神经网络340中的可调参数来使损失函数值最小化。在该说明性示例中，负责基于计算的损失来确定如何配置生成器神经网络340的可调参数的软件功能是生成器神经网络340自身的一部分。
缺陷图像数据可以包括纯缺陷的图像。也就是说，不是缺陷和背景的组合。因此，例如，将缺陷图像数据的100个像素添加至父图像被认为是将价值100个像素的缺陷添加至父图像。缺陷图像数据可以包括根据其表示的缺陷而成形的图像(例如，划痕、凹痕等)，而不包括由方形或矩形的宽度×高度的像素图像。
训练过程并不依赖于人类专家的地面实况标签(或其他形式的指示)。无监督训练处理的输入是物理样本的无缺陷图像集以及缺陷图像数据，缺陷图像数据叠加在无缺陷图像上以用于输入至生成器神经网络。无缺陷图像是真实图像，即，真实物理样本的图像。S201包括获取产品或材料的无缺陷物理样本的图像集。所获取的无缺陷物理样本的图像存储在第一存储位置310中。图像可以是完全无缺陷的，或者可以是在实现所述方法的背景下被认为是无缺陷的足够无缺陷的。例如，在某些背景下，90％、95％、99％或100％无缺陷的图像可以被视为无缺陷。
作为缺陷或异常的图像的缺陷图像数据存储在第二存储位置320中。缺陷图像数据包括除了无缺陷物理样本的图像集中的产品或材料以外的产品或材料的图像和/或计算机生成的纹理或图案的图像和/或无缺陷物理样本的图像集中的所述产品或材料的表面上的缺陷的图像。缺陷图像数据可以是通用的，即，不对物理样本定制；或者可以对物理样本定制。缺陷图像数据可以是随机纹理图像数据。
缺陷图像数据是可以在S202处附加至无缺陷物理样本的图像集的异常或缺陷的图像。缺陷图像数据可以包括零个、小于10个或(在面积方面)小于20％的无缺陷物理样本的图像(即，在某些实现方式中，缺陷图像数据可以包括少量的无缺陷图像)。训练数据图像管理器330从第一存储位置310访问存储的无缺陷物理样本的图像集，并且(在需要时)从第二存储位置320访问缺陷图像数据，以产生用于输入至生成器神经网络340的训练数据图像。
训练数据图像管理器330可以控制用于附加至父图像的缺陷图像数据的数量、透明度、颜色、大小和形状中的一个或更多个，以便引起父图像与训练数据图像之间的差异量，根据训练条件(例如，完成的训练时期的数量)对该差异量进行控制。
生成器神经网络340包括编码器341和解码器342。生成器神经网络340可以是包括编码器341和解码器342的自动编码器。具体地，生成器神经网络340可以是卷积自动编码器。卷积自动编码器具有多层神经网络架构，多层神经网络架构包括一个或更多个卷积层，随后是下采样层(池化层)和一个或更多个全连接层。示例是跳跃连接，例如UNet(https://lmb.informatik.uni-freiburg.de/people/ronneber/u-net/)。
编码器341和解码器342的组合实现了生成器神经网络340。解码器342有效地逆转了自动编码器的动作，因为它采取输入图像的解码表示并且根据解码表示生成图像。自动编码器的作用是提取图像的特征，特别地，对自动编码器进行训练以提取无缺陷图像的特征。自动编码器还原(restore)输入图像并且提取输入图像的特征。跳跃连接(例如，UNet)是自动编码器的功能部分的示例。
对于整个无监督训练处理，执行一次步骤S201。贯穿无监督训练处理，使用相同的无缺陷物理样本的图像集；同样地，贯穿无监督训练处理，使用相同的缺陷图像数据。
每个训练时期执行一次步骤S202。训练时期是对要输入至生成器神经网络的图像的完整迭代。在S202处，通过将缺陷图像数据叠加在作为父图像的无缺陷物理样本的图像集的每个成员上，来针对每个时期合成训练数据图像。缺陷图像数据在父图像上的叠加引起(得出的)训练数据图像与(原始的)父图像之间的差异量。差异量不为零，并且根据训练条件(例如，完成的训练时期的数量)对差异量进行管理。在初始训练阶段中，省略步骤S202。也就是说，在初始训练阶段中，训练数据图像管理器330将无缺陷物理样本的图像直接提供至生成器神经网络340。在初始训练阶段之后的第一训练阶段中，每个训练时期执行一次步骤S202，以使得在每个时期生成用于输入至生成器神经网络的新的图像组。也就是说，在第一训练阶段中，训练数据图像管理器330将来自第二存储位置320的缺陷图像数据叠加到来自第一存储位置310的父图像上，以产生用于输入至生成器神经网络340的训练数据图像。由训练数据图像管理器330控制缺陷图像数据在每个父图像上的叠加，以使得父图像与得到的训练数据图像(即，叠加的结果)之间的差异量随着完成的训练时期的数量的增加而根据函数增长。对生成器神经网络340进行训练以从图像中去除缺陷图像数据(具体地，利用物理样本的正常状态图像数据替换缺陷图像数据)。根据完成的训练时期的数量，由训练数据图像管理器330以动态方式对缺陷图像数据的叠加进行管理，具体地，根据训练条件(例如，完成的训练时期的数量)来使训练数据图像与父图像之间的变动量(delta)增长。
叠加可以包括将缺陷图像数据附加在父图像上的随机或伪随机位置。每个训练数据图像与相应父图像之间的差异量是通过在每个时期的合成中进行以下操作而引起的：在作为父图像的无缺陷物理样本的图像集的每个成员上叠加，提高来自以下各项中的一个或更多个：缺陷图像的数量、缺陷图像的大小、缺陷图像数据的量、缺陷图像像素的数量、父图像与缺陷图像之间的平均像素值差、叠加的缺陷图像数据的不透明度。可以控制缺陷图像的特定数量/大小/像素数量，以使得由叠加的缺陷图像数据引起的每个训练数据图像与相应父图像之间的差异量根据训练条件(例如，完成的训练时期的数量)的函数从最小值增长到最大值。缺陷图像的特定数量/大小/像素的数量/像素的不透明度可以是单个值或值的范围，并且由训练数据图像管理器330根据下述函数来控制：所述函数根据完成的训练时期的数量而增长。缺陷图像数据可以出现在预定的固定大小或大小变化的的独立图像中。叠加可以包括重新调整缺陷图像数据的大小以满足用于叠加在父图像上的像素的指定大小或数量。叠加可以排除与其他缺陷图像数据重叠的缺陷图像数据。
在初始训练阶段中，在没有任何缺陷图像数据的情况下将父图像(即，物理样本的无缺陷部分的图像集)输入至生成器。初始训练阶段是可选的。如果包括初始训练阶段，则初始训练阶段可以包括一个训练时期或多个训练时期。初始训练阶段使生成器神经网络能够学习与物理样本的正常条件或正常状态相对应的潜在特征。
在S203处，由生成器神经网络340对相应时期的训练数据图像进行重建，并且对生成器神经网络340进行训练以使合成的训练数据图像的重建中的每个重建与相应父图像之间的损失函数(例如，由损失计算器350计算的)最小化。在初始训练阶段中，输入至生成器神经网络340的训练数据图像是无缺陷的物理样本的图像。在第一训练阶段中，输入至生成器神经网络340的训练数据图像是包括叠加在来自无缺陷物理样本的图像集中的相应父图像上的缺陷图像数据的合成的训练数据图像。
缺陷图像数据是缺陷或异常(即，随机纹理、来自物理样本的实际缺陷或异常、或CGI缺陷或异常)的图像的集：该缺陷或异常的图像部分透明地(缺陷图像数据和下面的父图像数据两者均是可见的)叠加在父图像(物理样本的无缺陷图像)上，以针对每个训练时期提供训练数据图像组。缺陷图像数据也可以作为不透明的图像数据叠加在相应图像上。可选地，训练数据图像管理器330可以根据完成的训练时期的数量来控制不透明度/透明度的水平，使得叠加的缺陷图像数据的不透明度的水平被控制成随着完成的训练时期的数量的增加而增长。换言之，任何特定缺陷图像的不透明度的水平都不是图像数据自身的属性，而是能够由训练数据图像管理器330在叠加时进行配置。不透明度的水平可以在叠加中随机分配，或者可以被控制成随着完成的训练时期的数量的增加而增加。可选地，不透明度的水平由缺陷图像数据自身确定，并且是不可配置的。图7a示出了父图像，即，产品或材料(在这种情况下为金属网格)的无缺陷物理样本的图像集的成员，并且图7b示出了已经由训练数据图像管理器330在其上叠加了缺陷图像数据的同一父图像。图7b输入至被训练成去除缺陷图像数据的生成器神经网络340。
生成器神经网络340(可以简称为生成器)包括编码器和解码器。例如，生成器神经网络340可以包括卷积自动编码器。
生成器神经网络340的输出是一个输入图像或多个输入图像的重建版本。在每个训练时期中，将无缺陷物理样本的图像集的每个成员(在第一训练阶段具有叠加的缺陷图像数据，并且在初始阶段没有缺陷图像数据)输入至生成器神经网络340一次或一次以上。例如，在第一训练阶段中，可以根据作为父图像的无缺陷物理样本的图像集的每个成员合成两个(或更多个)训练数据图像，不同的缺陷图像数据被叠加在两个训练数据图像中的每一个上。训练时期是被输入至生成器至少一次的物理样本的无缺陷图像集中的每个成员的周期。因此，如果将训练配置成使用每个父图像生成两个不同的训练数据图像，则训练时期中训练数据图像的数量是物理样本的无缺陷图像集中的图像的数量的至少两倍。
如通过沿着图2的顶部的箭头指示的，在S204处，损失函数用于评估由生成器神经网络340输出的重建图像与相应的无缺陷物理样本的图像之间的误差或差异。在图3的软件架构中，损失计算器350被示出为从生成器神经网络340接收输入(重建的图像)并且从第一存储位置310接收输入(父图像，即重建的图像的无缺陷版本)。损失计算器350的输出是表示重建的一个图像(或多个图像)与该图像的无缺陷版本之间的损失(即，差异或误差)的计算值或值的向量。一个值或多个值输出至生成器神经网络340，或者具体地输出至负责配置可调参数(即，权重和偏差)以便使一个损失函数值或多个损失函数值最小化的软件实体。
在初始训练阶段中，产品或材料的无缺陷物理样本的相应图像是输入至生成器神经网络340以生成相关的输出图像的图像。在第一训练阶段中，产品或材料的无缺陷物理样本的相应图像是父图像，即，来自无缺陷物理样本的图像集的图像，在来自无缺陷物理样本的图像集的图像上叠加缺陷图像数据以用于输入至生成器神经网络340以生成相关的输出图像。
图2所示的训练处理的目标是通过迭代地修改生成器神经网络340的可调参数来使一个损失函数值或多个损失函数值最小化。因此，在S204处，响应于计算的损失函数值，训练器或其他软件实体修改(即，重新配置)生成器神经网络340的可调参数。图像输入、图像输出、损失函数计算、可调参数的重新配置的该处理持续直到训练处理结束，该处理可以是预定义的数量的训练时期，或者可以是可调参数到稳定配置的收敛。
随着在训练处理中进行训练处理，通过在S202处将缺陷图像数据叠加至无缺陷图像(即，无缺陷物理样本的图像)而引起的差异增长。如果初始训练阶段包括在训练处理中，则存在在所述阶段中叠加的零缺陷图像数据。在第一训练阶段期间，训练数据图像管理器330根据训练条件(例如，完成的训练时期的数量的计数)的函数将每个训练数据图像与相应的父(即，无缺陷)图像之间的差异量从最小值增加到最大值。可以根据形式为y＝mx+c的线性函数对增长进行分级，其中，y为差异量，x为(第一训练阶段的、或总体的——这取决于实现方式)完成的训练时期的计数，c为最小量(即，完成的训练时期的计数为零时要附加的量)，m为每个计数的增长率。可以根据步进函数来控制该增长，其每n个训练时期增长预定义的量，其中例如，n为1、2、5或10(并且例如，第一训练阶段中的训练时期的数量为至少20、至少50、至少100或至少1000)。可以根据反曲函数(sigmoidal function)来控制该增长。
根据训练处理的进展来控制通过将缺陷图像数据叠加至无缺陷图像而引起的差异。训练处理的进展由训练条件表示并且根据训练条件对训练处理的进展进行评估。训练条件是变量和在每个训练时期的结束处对照其对变量进行评估的一系列阈值。
训练条件可以是完成的训练时期的数量的计数，使得每一个或每n个训练时期，父图像与每个训练数据图像之间的差异量增加。可替选地，训练条件可以是合成的训练数据图像的重建中的每个重建与无缺陷物理样本的相应父图像之间的损失函数在训练时期内的平均值或累计低于一个阈值或一系列阈值中的一个。将训练时期内损失函数的量化与第一阈值进行比较，并且一旦满足第一阈值，父图像与每个训练数据图像之间的差异量就会增加(对于即将到来的训练时期而言)，并且设定新阈值。新阈值可以低于第一阈值。该处理针对一个或多个新阈值继续。
可替选地，训练条件可以是生成器神经网络中的可调参数在最新训练时期的开始与结束之间变化小于一系列阈值中的阈值。也就是说，将可调参数在训练时期的开始与结束之间的变化的量与第一阈值进行比较，并且一旦满足第一阈值，则父图像与每个训练数据图像之间的差异量增加(对于即将到来的训练时期而言)，并且设定新阈值。新阈值可以低于第一阈值。该处理针对一个或多个新阈值继续。
可替选地，训练条件可以是对合成的训练数据图像的重建的清晰度的评估满足一系列阈值中的阈值。也就是说，对整个训练时期的合成的训练数据图像的重建的清晰度的评估的量满足一系列阈值中的阈值。将该量与第一阈值进行比较，并且一旦满足第一阈值，父图像与每个训练数据图像之间的差异量就增加(对于即将到来的训练时期而言)，并且设定新阈值。新阈值可以低于第一阈值。该处理针对一个或多个新阈值继续。
每个父图像与根据其产生的训练数据图像之间的差异取决于训练条件(即，根据完成的训练时期的数量或者根据表示训练的进展的一些其他量)而增长。如图4中示意性地示出的，可以根据例如反曲函数来控制该增长。图4还示出了通过实施方式实现的损失(即，损失函数值)的快速下降。当然，差异量可以由范围而不是单个值来定义，然而，范围的端点可以各自根据反曲函数来计算(即，最大值为f(e)+x，最小值为f(e)-x，其中，e为完成的训练时期的数量，并且x为差异量的可接受范围的一半。)
缺陷图像数据可以作为相同大小(以像素为单位)的或者在预定义的范围内的相同大小(例如，预定大小加减5％、10％，或者加减50个像素、100个像素或500个像素)的独立图像存储在第二存储位置320中。例如，预定大小可以是256个像素、512个像素、1024个像素、2048个像素。可替选地，可以根据无缺陷物理样本的图像集中的每个图像的大小来对缺陷图像的大小进行调整或重新调整。例如，缺陷图像可以是来自所述图像集的单个图像的大小的预定百分比，例如，该预定大小是1％、2％、3％、4％、5％、10％、12％、15％。
父图像(来自物理样本的无缺陷图像集)与其相应的一个训练数据图像或多个训练数据图像之间的差异量可以在每个训练时期增长或者每n个训练时期增长1次(其中，n是等于或大于2的正整数)。可以将第一训练阶段配置成使得在已经达到最大差异量之前不会结束。最大量是在开始训练之前可控制的参数，并且可以是像素的数量、像素数量和每个像素的平均像素值差或者所有像素内的度量累计像素值差。第一训练阶段可以持续，其中，从父图像到训练数据图像的变化处于最大量，达预定数量的训练时期，或者直到满足收敛阈值。
通过训练阶段S101获得的结果是经训练的生成器神经网络340。具体地，对生成器神经网络340进行训练以从材料或产品的物理样本的图像中去除或减少缺陷、缺陷的视觉影响。一旦对生成器神经网络进行了训练，就有效地锁定或设定可配置参数(即，权重和偏差)，直到进行另外的训练阶段。可以定期地执行另外的训练。
在S101处对生成器神经网络340进行训练以再生去除了缺陷(即，异常)的图像(即，再生图像)。在S104处，将重建的(即，再生的)图像与输入图像(即，获取的实时图像)进行比较以识别缺陷。例如，比较可以基于跨图像的两个版本的等效(即，等效地定位的)的像素的像素值之间的差异的位置。生成器神经网络340具有特定的架构，例如，卷积自动编码器的架构或包括卷积自动编码器的架构。生成器神经网络340被配置成处理输入图像(物理样本的训练图像或物理样本的获取的实时图像)、将输入图像编码至潜在空间(编码的)、然后解码图像。由于S101中的训练，因此生成器神经网络340进行优化以重建没有异常或缺陷的输入图像。
经训练的生成器神经网络用于实时阶段或产品测试阶段。例如，在制造线环境中，经训练的生成器可以与成像设备和控制台(例如，计算机)耦接，以识别制造材料上的缺陷。实时阶段包括步骤S102至步骤S105，这些步骤在图1中被示出，以示出这些步骤与训练阶段S101的关系，并且在图5中再次被示出，以示出其他细节。图6示出了可以用于实现实时阶段的软件架构。
图6示出了：第三存储位置610，在该第三存储位置610处存储获取的实时图像；经训练的生成器神经网络340；图像比较器620，用于将获取的实时图像的重建版本与获取的实时图像进行比较以识别差异；第四存储位置620，在该第四存储位置620处以掩模或标识所识别的差异的位置的其他人工制品的形式存储输出。
步骤S102包括获取产品或材料的物理样本的实时图像。所获取的实时图像可以存储在第三存储位置610处以供经训练的生成器340访问，使得将所获取的实时图像存储在存储位置610处的动作是将图像有效地输入至经训练的生成器神经网络340。例如,可以将第三存储位置610管理为用于输入至经训练的生成器神经网络340的图像队列。例如，实时图像可以是物理样本的表面的图像，或者实时图像可以是物理样本的内部的图像(只要适当地也利用表面图像或内部图像执行了训练)。物理样本是用户或操作员希望在其上(或其中)识别任何缺陷的存在和/或位置的材料。例如,可以通过以下操作中的一个或更多个操作来获取图像：通过网络接收，从存储装置中读取，由成像硬件执行的成像处理。实时图像被称为是实时的，因为它是生成器神经网络340的实时阶段(也可以称为测试阶段、检测阶段或实现阶段)中的生成器神经网络340的输入。获取步骤S102可以包括将图像预处理成生成器神经网络340所需的大小和/或格式。
在步骤S102和步骤S101之后执行步骤S103。由于在生成器神经网络340处理实时图像之前已经对生成器神经网络340进行了训练，因此在S101之后执行步骤S103。然而，注意，可以在现有的基础上执行对神经网络340的另外的训练。在S103处，将获取的实时图像输入至生成器神经网络340以生成实时图像的重建版本，该重建版本是获取的实时图像的无缺陷或减少缺陷的版本。例如，在S103处，向经训练的生成器神经网络340提供获取的实时图像作为输入(该实时图像可能已经被预处理)，并且生成从其已经去除了缺陷的获取的实时图像的新版本。
在步骤S103之后执行步骤S104。在步骤S104处，将实时图像的重建版本(即，获取的实时图像的再生版本)与获取的实时图像进行比较，以识别差异。例如，步骤S104可以由图像比较器620执行。应注意的是，与获取的图像的生成的版本进行比较的获取的实时图像可以是原始获取的版本或获取的实时图像的预处理版本。预处理可以作为S102的一部分被执行，例如，以对获取的图像进行格式化。
比较可以基于图像的两个版本之间的等效像素位置处的像素值。像素值可以呈RGB中的一个或更多个或者像素处强度的某些其他指标。因此，比较采取直接逐像素缺陷预测的形式。
比较跨图像的两个版本的等效像素位置处的像素值(例如，RGB或强度)，并且评估差异。差异可以表示为重建残差，重建残差是获取的实时图像与由经训练的生成器神经网络340生成的重建图像之间的差。也就是说，在实时阶段中，重建残差(可以称为残留误差图)是仅使用经训练的生成器神经网络340产生的。评估可以是跨区域(即，多个局部像素)的累计，或者基于像素值的差异高于或低于阈值将两个图像之间的像素位置标记为不同或没有不同。阈值可以是预定义的，或者可以基于跨整个图像的差异来适应性地确定阈值。例如，距平均差异多于一个标准偏差的差异可以被标记为不同。为了将差异检测为缺陷，可以应用条件，例如，在最小尺寸的Y个像素的区域中多于X％的像素满足差异阈值。该区域可以增长，直到不再满足百分比阈值为止。可替选地，缺陷可以是大于最小像素大小的不间断的差异区域。
基于差异的像素位置，形成局部差异的边界(例如，标记为不同的不间断的像素位置区域)。例如，可以在差异的像素位置周围创建智能边界框。可选地，如果要将图像呈现给用户，则可以应用对误差的处理以强调差异。例如，这样的处理可以是平滑、分段。其中，误差是指像素差异位置。
可选地，输出突出显示边界区域的掩模，使得用户可以识别材料表面上的缺陷或潜在缺陷的位置。在图6中，输出存储在存储位置630处。输出可以存储在用于由用户或控制制造过程的某些实体访问的位置处，或者可以通过网络传送，使得位置630处的存储可以是临时的(并且仅在传输正在进行中时)。注意，掩模可以不输出至用户，并且可以用作用于处理目的的位图，以便将要从原始图像提取的区域映射为有缺陷或潜在有缺陷的区域。例如，可以通过使用阈值化方法自动地执行基于聚类的图像阈值化来定义边界区域。一种算法假定图像包括遵循双峰直方图的两类像素(差异位置处的前景像素，无差异位置处的背景像素)，并且然后计算将这两类像素分开的阈值，使得它们的组合散布类内方差最小或等效(因为成对平方差之和为常量)，因此它们的类间方差最大。根据该阈值化，框架在每个区周围使用优于给定阈值化方法的平均值创建边界框。每个边界区域可以与表示该区域处异常的可能性的分数相关联地存储，例如，该分数可以是该边界区域中的误差之和。
在步骤S104之后执行步骤S105。步骤S105包括在识别的差异的位置处识别物理样本表面上的缺陷。可以参考获取的实时图像来执行步骤S105，例如，将获取的其中识别的差异的位置被突出显示的实时图像的版本输出(输出至用户、控制台、计算机或某个其他输出目的地)。可选地，输出可以是突出显示识别出差异的区域的掩模(其中，正在识别的差异可以基于同一像素的两个版本之间的逐像素的差异的阈值水平)。可替选地，该方法可以包括直接地照亮或以其他方式突出显示物理样本自身上的差异的位置。S104的比较允许识别缺陷的位置，可以经由掩模的显示来输出该缺陷，掩模允许观察者容易地识别物理样本上的缺陷的位置。
图8A示出了图3的架构的一些部件的特定示例。图8b示出了图5的架构的一些部件的特定示例。
图8A还示出了在生成器神经网络340的第一训练阶段中由训练数据图像管理器330、生成器神经网络340和损失计算器350进行的对图像的处理。图像由变量x和变量y指示，其中，x是输入至生成器神经网络340的图像，y是由此输出的图像(即，y是重建图像)。下标(和箭头)使得能够通过处理跟踪图像。下标real表示图像是来自无缺陷物理样本的图像集中的物理样本的真实图像。下标anoA和anoB指示由训练数据图像管理器330通过将缺陷(或异常)图像数据叠加到父图像上而产生的父真实图像的新版本。训练处理迭代(iterate)整个无缺陷物理样本的图像集。训练数据图像管理器330利用透明度、大小、形状、颜色、图像数量、像素数量、缺陷图像数据量中的一个或更多个，将缺陷图像数据附加至父图像xreal，这些是取决于完成的训练时期的数量确定的，通过叠加引起的图像差异量随着完成的训练时期的数量的增加而增大。产生xanoA使用与产生xanoB使用的缺陷图像数据不同的缺陷图像数据。C指示由训练数据图像管理器330在根据相应父图像xreal产生训练数据图像xanoA和xanoB时的处理。xanoA和xanoB是根据同一父图像xreal产生的不同训练数据图像。
在图8A的示例中，根据每个父图像xreal产生两个训练数据图像xanoA和xanoB。xanoA和xanoB是训练数据图像，并且由于由训练数据图像管理器330在其上叠加了不同的缺陷图像数据而不同。在第一训练阶段的背景中，xreal严格地不被视为训练数据图像(在初始训练阶段中，xreal用作训练数据图像，其中未叠加缺陷图像数据)。然而，将xreal输入至生成器神经网络340，以便可以将其相应的重建yreal用于由损失计算器350来计算损失函数值。图8A示出了在第一训练阶段中对单个父图像xreal的处理。在每个训练时期中(训练时期照此定义)，针对作为父图像xreal的无缺陷物理样本的图像集中的每个成员，对所述处理进行重复。
生成器神经网络340是卷积自动编码器(或者可以称为卷积自动编码器生成器)，生成器神经网络340包括编码器341和解码器342。在图8A的示例中，卷积自动编码器生成器利用三元组网络(triplet network)。三元组网络在以下文献中更详细地描述：EladHoffer and Nir Ailon；Deep metric learning using triplet network；InternationalWorkshop on Similarity—Based Pattern Recognition,第84-92页；Springer,2015。生成器神经网络340重建输入图像，并且将重建的图像输出至损失计算器350。取决于由损失计算器350计算的损失值对生成器神经网络340进行重新配置(即，修改其可调整的权重和参数)。在图8A的示例中，损失计算器350包括特征提取器351。例如，特征提取器351可以是VGG19特征提取器。
经由损失函数将三个重建图像yi(i＝real，anoA，anoB)与父图像xreal进行比较。例如，损失函数可以包括L2损失、NST损失和SSIM损失中的一个或更多个。重建图像通过VGG19网络传递(在Leon A Gatys,Alexander S Ecker,and Matthias Bethge.A neuralalgorithm of artistic style.arXiv preprint arXiv:1508.06576,2015中更详细地描述的)并且神经风格迁移(neural style transfer，NST)损失是在结果输出特征图上计算的。在这种情况下，VGG19充当特征提取器，而不是鉴别器。在训练过程中计算的损失的组合使生成器神经网络能够在实时阶段中重建无缺陷的获取的实时图像zreal，并且获得残留误差图。
如式(1)所示，示例性损失函数计算器350可以计算损失函数值的组合。每个损失都具有其自身的权重。首先，式(2)和(3)所示的L2损失，在式(3)中，仅在掩模区域(人工附加的缺陷的区域)上计算差异。其次，式(4)中的逆SSIM损失取输入图像与重建图像之间的平均差异。最后，使用预训练的(在ImageNet上的)VGG19网络对用于(5)中NST的内容(6)损失和风格(7)损失进行组合。根据用于ReLU激活的特征图输出的Gram矩阵计算风格损失。内容损失是作为风格损失的在xreal与同一层上的yi之间的特征的均方误差。
Figure BDA0003037477060000191
Figure BDA0003037477060000192
Figure BDA0003037477060000193
Figure BDA0003037477060000194
Figure BDA0003037477060000195
Figure BDA0003037477060000196
Figure BDA0003037477060000197
图8B示出了正在由经训练的卷积自动编码器340处理物理样本zreal的实时图像以产生实时图像zreal的重建版本yreal。通过比较zreal与yreal产生残差图。基于残留误差图，能够识别zreal中的任何缺陷。
在样例中，MVTec AD数据集用作无缺陷物理样本的图像集，其具有15种不同的类别，这些类别根据真实世界应用分成纹理和对象。在预处理步骤处，将图像重新调整大小并且标准化为256×256像素。在某些类别中，可以将图像旋转(0、90、180、270度)以及翻转。在第一训练阶段期间，图像集具有由训练数据图像管理器330在其上叠加的人工缺陷。由于线缆、胶囊(capsule)、药丸(pill)、牙刷、晶体管和拉链具有固定的位置并且不会翻转或旋转，因此翻转和旋转可能不会应用于每种类别。具体地，避免这种情况，以便不改变这些嵌入式固定特征中的任何特征。类似地，这可以发生在产品保持固定的制造生产线中。针对每个类别训练不同的生成器神经网络340，其中，每个类别对应于特定的产品或材料。
训练在PyTorch中实现。八个256×256图像的集用于训练网络。使用具有下述参数的ADAM优化器对模型进行优化：学习速率＝2×10-4，β1＝0.5，β2＝0.999，eps＝10-8，权重衰减＝0，amsgrad＝假(False)。
训练数据图像管理器330通过叠加缺陷图像数据来管理无缺陷图像与根据无缺陷图像合成的训练数据图像之间的差异量。例如，可以通过控制要附加至特定产品或材料的无缺陷样本的图像集的缺陷的数量来管理差异量。在该特定示例中，缺陷数量关于50个时期每个时期增加1个，从0增加至50。第一训练阶段持续到100个时期，但是一旦达到最大缺陷数量，则缺陷数量关于其余训练时期保持不变。
当计算输入图像与重建图像之间的差异时，计算残差图作为实时阶段中图像比较器620的输出。窗口大小为11的模糊(blurring)用于消除噪声。最后，通过计算真阳性率(TPR)、假阳性率(FPR)和具有0-255范围的逐像素的阈值的接收器工作特性(ROC)曲线来计算曲线下面积(AUC)。
图9示出了利用先前技术的训练损失以及使用MVTec网格数据集的样例的训练损失。情况(I)是先前技术，它连续地附加50个缺陷而不依赖于完成的训练时期的数量，并且情况(II)是样例。如图9所示，情况(II)更快地减少损失。在50个时期内，情况(II)中的损失低于情况(I)中的损失，尽管两种情况都附加了相同数量的缺陷(50个缺陷)。
图10示出了相比于现有技术的经训练的生成器神经网络的样例的AUC的数值结果。现有技术A是根据Paul Bergmann,Sindy Lowe,Michael Fauser,David Sattlegger,and Carsten Steger；Improving unsupervised defect segmentation by applyingstructural similarity to autoencoders；arXiv preprint:1807.02011,2018的CAE(SSIM)；并且现有技术B是根据同一文献的CAE(l2)。现有技术C是根据T.Schlegl,P.Seebock,S.Waldstein,U.Schmidt-Erfurth,and G.Langs；Unsupervised anomalydetection with generative adversarial networks to guide marker discovery；International Conference on IPMI,第146–157页；Springer,2017的AnoGAN。样例在来自数据集中的任何类别方面均胜过现有技术。这些结果中使用FPR率的5％的阈值。样例成功地重建了没有任何缺陷并且没有模糊或崩溃(collapse)的输入图像。
图11是呈现本发明的计算装置(例如，计算设备或服务器)的框图，并且其可以用于实现对材料表面的图像进行处理以识别成像的材料表面上的缺陷的方法，例如，图1、图2、图3、图5和图6所示的方法。计算装置包括处理器993和存储器994。可选地，计算装置还包括用于与其他计算装置(例如，与本发明实施方式的其他计算装置)通信的网络接口997。
例如，实施方式可以由这样的计算装置的网络构成。可选地，计算装置还包括一个或更多个输入机构(例如，键盘和鼠标)996，以及显示单元(例如，一个或更多个监视器)995。部件能够经由总线992彼此连接。计算装置可以包括用于获取材料表面的图像的成像装置(例如，摄像机)或者可以与成像装置进行数据通信。
存储器994可以包括计算机可读介质，该术语可以指被配置成携载计算机可执行指令或在其上存储有数据结构的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的缓存和服务器)。例如，计算机可执行指令可以包括可由通用计算机、专用计算机或专用处理装置(例如，一个或更多个处理器)访问并且使通用计算机、专用计算机或专用处理装置(例如，一个或更多个处理器)执行一个或更多个功能或操作的指令和数据。因此，术语“计算机可读存储介质”还可以包括能够存储、编码或携载用于由机器执行的指令集并且使机器执行本公开内容的方法中的任何一个或更多个方法的任何介质。术语“计算机可读存储介质”可以相应地被认为包括但不限于固态存储器、光学介质和磁性介质。作为示例而非限制，这样的计算机可读介质可以包括非暂态计算机可读存储介质，非暂态计算机可读存储介质包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、致密盘只读存储器(CD-ROM)或其他光盘存储装置、磁盘存储装置或其他磁性存储装置、闪速存储器装置(例如，固态存储器装置)。
处理器993被配置成控制计算装置并且执行处理操作，例如，执行存储在存储器中的代码以实现此处以及权利要求书中描述的图1、图2、图3、图5和图6的各种不同步骤。处理器993可以包括适于实现一个或更多个神经网络(例如，生成器神经网络340)的GPU(图形处理单元)。存储器994存储由处理器993读取和写入的数据。如本文中提及的，处理器可以包括一个或更多个通用处理装置，例如，微处理器、中央处理单元等。处理器可以包括复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、或实现其他指令集的处理器或实现指令集的组合的处理器。处理器还可以包括一个或更多个专用处理装置，例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器等。在一个或更多个实施方式中，处理器被配置成执行用于执行本文中论述的操作和步骤的指令。
显示单元997可以显示由计算装置存储的数据的表示，并且还可以显示实现用户与存储在计算装置上的程序和数据之间的交互的光标和对话框以及屏幕。输入机构996可以使得用户能够将数据和指令输入至计算装置。
网络接口(网络I/F)997可以连接至网络如因特网，并且能够经由网络连接至其他这样的计算装置。网络I/F 997可以控制经由网络从其他设备输入或者输出至其他设备的数据。计算装置中可以包括其他外围装置，例如，麦克风、扬声器、打印机、电力供应单元、风扇、机箱、扫描仪、跟踪球等。
可以在诸如图11所示的计算装置上执行呈现本发明的方法。这样的计算装置不需要具有图11所示的每个部件，并且可以由图11所示的部件的子集构成。可以通过经由网络与一个或更多个数据存储服务器通信的单个计算装置来执行呈现本发明的方法。计算装置可以是数据存储装置自身，该数据存储装置存储经训练的生成器神经网络340以及来自获取的实时图像的缺陷的输出标识。
可以通过彼此协作操作的多个计算装置来执行呈现本发明的方法。多个计算装置中的一个或更多个可以是数据存储服务器，数据存储服务器存储经训练的生成器神经网络340的至少一部分以及来自获取的实时图像的缺陷的输出标识。
图3和图8A的训练数据图像管理器330可以是执行存储在存储器994上的处理指令(程序)并且经由网络I/F 997交换数据的一个处理器993(或多个处理器993)。特别地，如图2的步骤S202中那样，处理器993执行处理指令以经由网络I/F或以其他方式从第一存储位置310接收来自无缺陷物理样本的图像集的图像，并且叠加来自存储位置320的缺陷图像数据，通过叠加引起的差异量是根据随着完成的训练时期的数量的增加而增大的函数确定的。此外，处理器993可以执行处理指令以将由此产生的训练数据图像存储在连接的存储单元上以及/或者经由网络I/F 997或以其他方式将训练数据图像发送至生成器神经网络340以从而用于处理。
图2、图3、图5、图6、图8A和图8B的生成器340可以是执行存储在存储器994中的处理指令(程序)并且经由网络I/F 997交换数据的一个处理器993(或多个处理器993)。特别地，如在图1的步骤S103和图2的步骤S203中那样，处理器993执行处理指令以经由网络I/F或以其他方式在第一训练阶段中从训练数据图像管理器330接收输入图像、或者在初始训练阶段中直接从第一存储位置310接收输入图像、或者在实时阶段中从第三存储位置610接收输入图像，并且生成输入图像的无缺陷版本。此外，处理器993可以执行处理指令以将输入图像的重建版本存储在连接的存储单元上，以及/或者经由网络I/F 997或以其他方式将输入图像的重建版本发送至用于与训练阶段中的无缺陷物理样本的图像进行比较的损失计算器350、或者发送至用于与实时阶段中的获取的实时图像进行比较的图像比较器620。
图3的损失计算器350可以是执行存储在存储器994上的处理指令(程序)并且经由网络I/F 997交换数据的一个处理器993(或多个处理器993)。特别地，如图2的步骤S204中那样，处理器993执行处理指令以经由网络I/F或以其他方式从第一存储位置310接收作为无缺陷物理样本的图像集的成员的父图像以及从生成器神经网络340接收训练数据图像的重建版本，并且计算一个或更多个损失函数的值以表示由生成器340引入的误差或损失。此外，处理器993可以执行处理指令，以将计算的损失值存储在连接的存储单元上以及/或者经由网络I/F 997或以其他方式将计算的一个损失值或多个损失值传送至生成器神经网络340以用于在训练阶段中配置生成器神经网络340的可调参数。
图6的图像比较器620可以是执行存储在存储器994上的处理指令(程序)并且经由网络I/F 997交换数据的一个处理器993(或多个处理器993)。特别地，如在图1的步骤S104和步骤S105中那样，处理器993执行处理指令以经由网络I/F或以其他方式从第三存储位置610接收获取的实时图像以及从经训练的生成器神经网络340接收获取的实时图像的重建版本，并且生成识别获取的实时图像与获取的实时图像的重建版本之间的差异的残差图。此外，处理器993可以执行处理指令以将残差图存储在连接的存储单元上以及/或者经由网络I/F 997或以其他方式将残差图传送至生产线的操作员的控制台或计算机。

Claims (15)

1.一种计算设备，包括处理器硬件和存储器硬件，所述存储器硬件存储处理指令，所述处理指令在由所述处理器硬件执行时使所述处理器硬件通过执行以下处理来处理物理样本的图像以识别成像的物理样本上的缺陷，所述处理包括：
执行对生成器神经网络的无监督训练，以生成输入图像的无缺陷重建；
获取产品或材料的目标物理样本的实时图像；
将所述实时图像输入至经训练的生成器神经网络，以生成所述实时图像的无缺陷重建；
将所生成的所述实时图像的无缺陷重建与所获取的实时图像进行比较，以确定差异；
在所确定的差异的位置处识别所述目标物理样本上的缺陷；
其中，所述无监督训练包括：
获取产品或材料的无缺陷物理样本的图像集；
第一训练阶段，其包括多个时期，在所述多个时期中：
通过将缺陷图像数据叠加在作为父图像的所述无缺陷物理样本的图像集的每个成员上，针对每个时期合成训练数据图像；
在每个时期，由所述生成器神经网络重建针对相应时期的经合成的训练数据图像，并且对所述生成器神经网络进行迭代地训练，以使经合成的训练数据图像的重建中的每个重建与相应的无缺陷物理样本的父图像之间的损失函数最小化；
其中，由叠加的缺陷图像数据引起的、每个训练数据图像与相应父图像之间的差异量根据训练条件从最小值增长到最大值。
2.根据权利要求1所述的计算设备，其中，所述无监督训练还包括：
初始训练阶段，所述初始训练阶段包括一个或更多个时期并且在所述第一训练阶段之前，其中，用于所述初始训练阶段的训练数据图像包括所述无缺陷物理样本的图像集中的每个成员。
3.根据权利要求1所述的计算设备，其中，所述初始训练阶段包括：
所述生成器神经网络重建用于初始训练阶段的训练数据图像，并且对所述生成器神经网络进行迭代地训练，以使用于所述初始训练阶段的训练数据图像中的每一个与相应重建之间的损失函数最小化。
4.根据权利要求1所述的计算设备，其中，对于多个训练时期，每个训练数据图像与相应父图像之间的差异量处于最大值。
5.根据权利要求1所述的计算设备，其中，所述函数是反曲增加函数或线性增加函数。
6.根据前述权利要求中任一项所述的计算设备，其中，
每个训练数据图像与相应父图像之间的差异量是通过在每个时期的通过在作为父图像的所述无缺陷物理样本的图像集的每个成员上进行叠加而进行的合成中进行以下操作而引起的：提高以下中的至少一者：缺陷图像的数量、缺陷图像的大小、缺陷图像数据的量、缺陷图像像素的数量、父图像与缺陷图像之间的平均像素值差、以及叠加的缺陷图像数据的不透明度。
7.根据前述权利要求中任一项所述的计算设备，其中，
所述缺陷图像数据包括以下中的至少一者：
除了所述无缺陷物理样本的图像集中的产品或材料以外的产品或材料的图像；
计算机生成的纹理或图案的图像；以及
所述无缺陷物理样本的图像集中的产品或材料的表面上的缺陷的图像。
8.根据权利要求1所述的计算设备，其中，
所述缺陷图像数据在被叠加到相应父图像上时是部分透明的。
9.根据权利要求1所述的计算设备，其中，
所述生成器神经网络是卷积自动编码器。
10.根据权利要求1所述的计算设备，其中，在每个训练时期中：
根据作为父图像的所述无缺陷物理样本的图像集的每个成员合成两个训练数据图像，不同的缺陷图像数据被叠加在所述两个训练数据图像中的每一个上；
对所述生成器神经网络的迭代训练包括：对于每个父图像，将父图像和两个相应的训练数据图像输入至所述生成器神经网络，从而用于重建，所述损失函数是包括第一因子、第二因子和第三因子的多个因子的累计，所述第一因子与父图像和重建的父图像之间的第一损失函数的计算值成比例，所述第二因子和所述第三因子分别与父图像和重建的训练数据图像中的每一个之间的第二损失函数的计算值成比例；
其中，所述第一损失函数和所述第二损失函数是相同的损失函数或者不同的损失函数。
11.根据权利要求10所述的计算设备，其中，所述第一损失函数和所述第二损失函数中的每一个是以下中的至少一者：对相应的图像对之间的损失的定量评估，以及对相应的图像对之间的损失的多个不同的定量评估的累计。
12.根据权利要求1所述的计算设备，其中，所述训练条件是以下中的至少一者：
完成的训练时期的数量的计数的增加；
经合成的训练数据图像的重建中的每个重建与相应的无缺陷物理样本的父图像之间的损失函数在训练时期内的平均值或累计降到一系列阈值中的阈值以下；
所述生成器神经网络中的可调参数在最新训练时期的开始与结束之间的变化小于一系列阈值中的阈值；以及
对经合成的训练数据图像的重建的清晰度的评估满足一系列阈值中的阈值。
13.根据权利要求1所述的计算设备，还包括：成像硬件，用于获取实时图像；以及显示单元，在所述显示单元上显示识别到缺陷的、所确定的差异的位置。
14.一种处理物理样本的图像以识别成像的物理样本上的缺陷的方法，所述方法包括：
执行对生成器神经网络的无监督训练，以生成输入图像的无缺陷重建；
获取产品或材料的目标物理样本的实时图像；
将所述实时图像输入至经训练的生成器神经网络，以生成所述实时图像的无缺陷重建；
将所生成的所述实时图像的无缺陷重建与所获取的实时图像进行比较，以确定差异；
在所确定的差异的位置处识别所述目标物理样本上的缺陷；
其中，所述无监督训练包括：
获取产品或材料的无缺陷物理样本的图像集；
第一训练阶段，其包括多个时期，在所述多个时期中：
通过将缺陷图像数据叠加在作为父图像的所述无缺陷物理样本的图像集的每个成员上，针对每个时期合成训练数据图像；
在每个时期，由所述生成器神经网络重建针对相应时期的经合成的训练数据图像，并且对所述生成器神经网络进行迭代地训练，以使经合成的训练数据图像的重建中的每个重建与相应的无缺陷物理样本的父图像之间的损失函数最小化；
其中，由叠加的缺陷图像数据引起的、每个训练数据图像与相应父图像之间的差异量根据训练条件从最小值增长到最大值。
15.一种用于存储处理指令的非暂态计算机可读介质，当所述处理指令由包括存储器硬件和处理硬件的计算设备执行时，使所述计算设备通过执行以下处理来处理物理样本的图像以识别成像的物理样本上的缺陷，所述处理包括：
执行对生成器神经网络的无监督训练，以生成输入图像的无缺陷重建；
获取产品或材料的目标物理样本的实时图像；
将所述实时图像输入至经训练的生成器神经网络，以生成所述实时图像的无缺陷重建；
将所生成的所述实时图像的无缺陷重建与所获取的实时图像进行比较，以确定差异；
在所确定的差异的位置处识别所述目标物理样本上的缺陷；
其中，所述无监督训练包括：
获取产品或材料的无缺陷物理样本的图像集；
第一训练阶段，其包括多个时期，在所述多个时期中：
通过将缺陷图像数据叠加在作为父图像的所述无缺陷物理样本的图像集的每个成员上，针对每个时期合成训练数据图像；
在每个时期，由所述生成器神经网络重建针对相应时期的经合成的训练数据图像，并且对所述生成器神经网络进行迭代地训练，以使经合成的训练数据图像的重建中的每个重建与相应的无缺陷物理样本的父图像之间的损失函数最小化；
其中，由叠加的缺陷图像数据引起的、每个训练数据图像与相应父图像之间的差异量根据训练条件从最小值增长到最大值。
CN202110447693.9A 2020-05-26 2021-04-25 缺陷检测方法和设备 Pending CN114092386A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20176620.1A EP3916635B1 (en) 2020-05-26 2020-05-26 Defect detection method and apparatus
EP20176620.1 2020-05-26

Publications (1)

Publication Number Publication Date
CN114092386A true CN114092386A (zh) 2022-02-25

Family

ID=70861221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110447693.9A Pending CN114092386A (zh) 2020-05-26 2021-04-25 缺陷检测方法和设备

Country Status (4)

Country Link
US (1) US11727670B2 (zh)
EP (1) EP3916635B1 (zh)
JP (1) JP2021190105A (zh)
CN (1) CN114092386A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693685A (zh) * 2022-06-02 2022-07-01 深圳市华汉伟业科技有限公司 无监督的缺陷检测模型的训练方法、缺陷检测方法
CN115240031A (zh) * 2022-07-21 2022-10-25 无锡锤头鲨智能科技有限公司 一种基于生成对抗网络的板材表面缺陷生成方法及系统
CN118229642A (zh) * 2024-03-28 2024-06-21 江苏菲尔浦工程科技有限公司 一种建筑加工质量安全监测方法及系统

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114764765A (zh) * 2020-12-30 2022-07-19 富泰华工业（深圳）有限公司 图像瑕疵检测方法、装置、电子设备及存储介质
CN114881913A (zh) * 2021-02-05 2022-08-09 富泰华工业（深圳）有限公司 图像瑕疵检测方法、装置、电子设备及存储介质
CN114943672A (zh) * 2021-02-09 2022-08-26 富泰华工业（深圳）有限公司 图像瑕疵检测方法、装置、电子设备及存储介质
US20230101218A1 (en) * 2021-09-30 2023-03-30 Saudi Arabian Oil Company Method for denoising wellbore image logs utilizing neural networks
CN116416190A (zh) * 2021-12-31 2023-07-11 鸿海精密工业股份有限公司 瑕疵检测方法及装置、电子设备及存储介质
CN114092322A (zh) * 2022-01-19 2022-02-25 清华大学 异常检测模型生成方法及装置和异常检测方法及装置
CN114565567B (zh) * 2022-02-15 2024-04-09 清华大学 复杂纹理花边布的缺陷检测方法及装置
CN114529529B (zh) * 2022-02-21 2024-04-09 清华大学 基于图像仿真增强的花边布匹表面缺陷检测方法及装置
CN114332086B (zh) * 2022-03-14 2022-05-13 启东市固德防水布有限公司 基于风格迁移和人工智能的纺织品缺陷检测方法及系统
CN114359276B (zh) * 2022-03-17 2022-05-27 武汉海明亮科技发展有限公司 基于麻点缺陷的钢模下料优选方案获取方法
KR102476048B1 (ko) * 2022-04-07 2022-12-12 세이지리서치 주식회사 공정의 이상 여부를 감지하는 방법 및 공정의 이상 여부를 감지하는 장치
CN114943684B (zh) * 2022-04-15 2023-04-07 上海波士内智能科技有限公司 一种利用对抗生成自编码神经网络的曲面异常检测方法
CN115049842B (zh) * 2022-06-16 2023-11-17 南京航空航天大学深圳研究院 一种飞机蒙皮图像损伤检测与2d-3d定位方法
CN114897909B (zh) * 2022-07-15 2022-09-20 四川大学 基于无监督学习的曲轴表面裂纹监测方法及系统
US11798263B1 (en) * 2022-09-22 2023-10-24 Sas Institute Inc. Manufacturing defective object detection system
CN115239719A (zh) * 2022-09-22 2022-10-25 南昌昂坤半导体设备有限公司 缺陷检测方法、系统、电子设备及存储介质
CN115439721B (zh) * 2022-11-08 2023-04-18 南方电网数字电网研究院有限公司 电力设备异常少样本缺陷分类模型训练方法、装置
CN116088307B (zh) * 2022-12-28 2024-01-30 中南大学 基于误差触发自适应稀疏辨识的多工况工业过程预测控制方法、装置、设备及介质
CN115690102B (zh) * 2022-12-29 2023-04-18 摩尔线程智能科技(北京)有限责任公司 缺陷检测方法、装置、电子设备、存储介质和程序产品
CN116167923B (zh) * 2023-04-26 2023-07-28 无锡日联科技股份有限公司 x射线图像的样本扩充方法、样本扩充装置
CN116309554B (zh) * 2023-05-12 2023-08-22 广东奥普特科技股份有限公司 缺陷检测网络的构建及缺陷检测方法、装置和设备
TWI843591B (zh) * 2023-06-01 2024-05-21 聯策科技股份有限公司 影像瑕疵檢測模型的建立方法、瑕疵影像的檢測方法及電子裝置
CN116912237B (zh) * 2023-09-08 2023-12-12 江西麦可罗泰克检测技术有限公司 一种基于图像识别的印制线路板缺陷检测方法及系统
CN117312809B (zh) * 2023-11-30 2024-01-26 山东建筑大学 一种基于知识图谱的软件缺陷预测方法及系统
CN117455902B (zh) * 2023-12-15 2024-03-08 北京交通大学 一种基于预训练大模型的轨道缺陷检测方法及装置
CN118297931B (zh) * 2024-04-30 2024-10-11 广西精记拉链有限公司 一种基于机器视觉的拉链质量在线检测方法及其系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018022752A1 (en) * 2016-07-27 2018-02-01 James R. Glidewell Dental Ceramics, Inc. Dental cad automation using deep learning
KR102403494B1 (ko) * 2017-04-27 2022-05-27 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
US11314215B2 (en) * 2017-09-15 2022-04-26 Kohler Co. Apparatus controlling bathroom appliance lighting based on user identity
US11455541B2 (en) * 2018-05-10 2022-09-27 Fmr Llc AI-based neighbor discovery search engine apparatuses, methods and systems

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693685A (zh) * 2022-06-02 2022-07-01 深圳市华汉伟业科技有限公司 无监督的缺陷检测模型的训练方法、缺陷检测方法
CN115240031A (zh) * 2022-07-21 2022-10-25 无锡锤头鲨智能科技有限公司 一种基于生成对抗网络的板材表面缺陷生成方法及系统
CN115240031B (zh) * 2022-07-21 2023-10-27 无锡锤头鲨智能科技有限公司 一种基于生成对抗网络的板材表面缺陷生成方法及系统
CN118229642A (zh) * 2024-03-28 2024-06-21 江苏菲尔浦工程科技有限公司 一种建筑加工质量安全监测方法及系统

Also Published As

Publication number Publication date
US20210374928A1 (en) 2021-12-02
EP3916635B1 (en) 2023-05-10
EP3916635A1 (en) 2021-12-01
JP2021190105A (ja) 2021-12-13
US11727670B2 (en) 2023-08-15

Similar Documents

Publication Publication Date Title
CN114092386A (zh) 缺陷检测方法和设备
JP7547751B2 (ja) 表面欠陥識別方法及び装置
Iizuka et al. Globally and locally consistent image completion
Engin et al. Cycle-dehaze: Enhanced cyclegan for single image dehazing
Lee et al. Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration
Sarkar et al. Deep learning for structural health monitoring: A damage characterization application
Lu et al. Deep texture and structure aware filtering network for image smoothing
US20220392025A1 (en) Restoring degraded digital images through a deep learning framework
WO2023202265A1 (zh) 用于伪影去除的图像处理方法、装置、设备、产品和介质
Vu et al. Perception-enhanced image super-resolution via relativistic generative adversarial networks
US11379992B2 (en) Patch expansion for segmentation network training
CN115147426B (zh) 基于半监督学习的模型训练与图像分割方法和系统
DE102023104829A1 (de) Objektklasseninpainting - bzw. manipulieren in Digitalbildern unter Einsatz von klassenspezifischen Inpainting-Neuronalen- Netzwerken
Wang et al. Total generalized variation-based Retinex image decomposition
CN116258632A (zh) 一种基于文本辅助的文本图像超分辨率重建方法
Zhu et al. Low-light image enhancement network with decomposition and adaptive information fusion
Chen et al. Attention-based broad self-guided network for low-light image enhancement
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN113962905A (zh) 基于多阶段特征互补网络的单幅图像去雨方法
Liu et al. Dual UNet low-light image enhancement network based on attention mechanism
Gupta et al. A robust and efficient image de-fencing approach using conditional generative adversarial networks
Huang et al. Learning to restore ssTEM images from deformation and corruption
CN117173463A (zh) 一种基于多分类稀疏点云的骨关节模型重建方法及装置
CN114708353B (zh) 图像重建方法、装置、电子设备与存储介质
DE102023117605A1 (de) Mehrdimensionale Bildbearbeitung aus einem Eingabebild

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination